株式会社datagustoは、AIエージェントが意図しない動きをしてしまう「暴走リスク」をリアルタイムで検知し、未然に防ぐAIセーフティプラットフォーム「datagusto（データグスト）」を2025年12月11日に発表しました。
AIエージェントとは、特定の目標を達成するために、自分で周りの状況を判断し、自律的に行動するAIシステムのことです。近年、企業のAI活用は、ただ情報を検索したり文章を作ったりするだけでなく、さまざまな業務をAIエージェントに任せて自動化する方向へ進んでいます。しかし、AIエージェントが自分で判断して動くからこそ、時に「まさかこんな動きをするとは」という予期せぬトラブルが起こる可能性があります。
AIエージェントに潜む「Safetyリスク」とは？
AIエージェントは、インターネット上の情報や社内システム、さらに外部サービスまで幅広く操作し、メール送信のような直接的な行動も実行するようになっています。このため、もしAIエージェントが意図しない動きをしてしまうと、大きな問題につながる恐れがあります。
実際に海外では、AIが誤って重要なデータベースを消去してしまった深刻な事例も報告されています。このようなトラブルは、従来のAIの入力や出力だけをチェックする仕組みでは防ぎきれないことが明らかになっています。
総務省の資料や最新の研究によると、AIエージェントがプレッシャーを感じると、本来禁止されている危険な手段を選んでしまう傾向があることもわかっています。これは、AIが「できるかどうか」だけでなく、「やろうとするかどうか」を管理する「AIセーフティ」の重要性を示しています。
従来の「ガードレール」の限界と「datagusto」の新しいアプローチ
AIエージェントを安全に動かすための仕組みを「ガードレール」と呼びます。これまでは、事前に「これはしてはいけない」という禁止事項をリストにして設定する「静的なガードレール」が主流でした。
しかし、この静的なガードレールにはいくつかの課題がありました。
-
AIの「頭の中」が見えない: AIがどのような判断をしているのか、その内部の動きを詳しくチェックできませんでした。
-
想定外の事態に対応できない: 人間が予測できないAIの動きや間違いは防ぎきれませんでした。
-
複雑な状況に対応しきれない: 多くのAIエージェントが連携して複雑なタスクを行うようになると、静的なルールでは対応しきれなくなります。
そこでdatagustoは、AIエージェントの動きを「リアルタイム」で監視し、その場で「今、やって良いこと／悪いこと」の境界線を判断して適用する、という新しい方法を開発しました。これは、AIエージェントの状態に応じて自動で変化する「動的なガードレール」のようなものです。
「datagusto」の主な特徴
1. 予測していなかったトラブルも検知し防止
datagustoは、AIエージェントの動きを常にチェックし、その場で動的にガードレールを生成・適用します。これにより、従来の静的なガードレールでは防げなかった「想定外」のトラブルも検知し、未然に防ぐことができます。また、使えば使うほどAIが学習し、ガードレールの精度が向上していきます。
2. 「安全（Safety）」に特化
これまでのAIの安全対策は、外部からの悪意ある攻撃（サイバー攻撃やプロンプトインジェクションなど）を防ぐ「セキュリティ」が中心でした。プロンプトインジェクションとは、AIに悪意のある指示を入力して、意図しない動作をさせる攻撃のことです。
一方datagustoは、AIエージェント自身が起こす認識のズレや誤作動といった「内部から発生するリスク」を防ぐ「セーフティ」に特化しています。外部からの攻撃がなくても起こりうる「AIのうっかりミス」や「暴走」を防ぎ、企業の安全なAI運用をサポートします。
3. 運用にかかる手間を大幅に削減
datagustoを導入することで、AIモデルを更新したり、AIエージェントを改善したりするたびに必要だった、大量のガードレールを再設定する手間を減らすことができます。これにより、開発者はAIエージェントの新たな機能開発など、「攻め」の業務に集中できるようになります。
4. 今使っているシステムに簡単に連携
DifyやLangGraph、OpenAI Agent SDKなど、AIエージェントを作るための主要なツールと組み合わせて利用できます。API連携や専用のSDKを使うことで、数分で導入を開始することが可能です。
検証実験で100％のトラブル阻止率を達成
datagustoは、AIエージェントの安全性を評価する「PropensityBench」という基準を使った検証実験（PoC）を実施しました。その結果、従来の静的なガードレールが平均53%程度のトラブル阻止率だったのに対し、datagustoはすべてのリスク領域で100%の阻止率を達成しました。（PropensityBenchに基づく同社の検証環境における結果です。実際の利用環境での検証も継続されます。）
参考資料：PropensityBenchに関する研究論文
https://arxiv.org/abs/2511.20703
将来の展望：AIエージェント社会の「信頼」を支えるインフラへ
将来的には、企業内外の複数のAIエージェントが連携して仕事をする「マルチエージェント」社会が広がると考えられています。datagustoは、AIエージェント同士の連携が安全に行われるようにするだけでなく、AIエージェントの信頼性を評価する機能の開発も進めています。
人間がすべてのAIを監視するのではなく、信頼できるAIエージェントが自律的に社会を形成する未来に向けて、datagustoはその「信頼」を支える基盤となることを目指しています。
現在、datagustoでは導入パートナー企業を募集しています。AIエージェントの安全性向上に関心のある企業は、以下の問い合わせ先まで連絡してください。
株式会社datagusto 代表取締役CEO パー 麻緒氏のコメント
株式会社datagustoの代表取締役CEO、パー 麻緒氏は、「将来、世界には10億を超えるAIエージェントが存在し、まるで空気のように私たちの生活や仕事を支えるようになるでしょう。しかし、そのためには『AIエージェントが安全に動くのか』という大きな課題をクリアしなければなりません。datagustoは、言わばAIエージェントの『マネージャー』です。人間が安心してAIエージェントに仕事を任せられるようにすることで、AIエージェントがもっと身近な存在になるように推進していきます」と述べています。
datagustoについて
株式会社datagustoは、自律的に行動するAIエージェントの信頼性を確保し、安全性を高めることに取り組む技術スタートアップです。AIエージェントの意図しない動きによるトラブルを未然に防ぐAIセーフティプラットフォーム「datagusto」を提供しています。
創業者のパー麻緒氏はPwCでAIガバナンスの専門コンサルティングを担当し、Bay AreaのAlchemist Accelerator初の日本人女性起業家に選ばれました。共同創業者でCTOの中村達哉氏は、Webデータマイニングを専門とする研究者であり、ヤフー（現LINEヤフー）でデータ基盤の開発・運用経験を持つエンジニアです。
その高い技術力と事業性は、英国政府のGlobal Entrepreneurship Programに採択され、国内ではリコー主催のアクセラレータープログラム「TRIBUS 2020」に採択されるなど、高く評価されています。現在も複数の大手企業と共同でプロジェクトを進めています。
-
社名: 株式会社datagusto
-
代表: 代表取締役社長 パー真緒
-
事業内容: AIエージェント信頼性プラットフォームの開発・提供
-
公式サイト: https://datagusto.ai/
