株式会社LegalOn Technologiesは、Googleが2025年11月18日に公開した最新のAIモデル「Gemini 3」について、独自に作成したテストデータを使ってその性能を詳しく調べました。
「Gemini 3」ってどんなAI？
「Gemini 3」は、Googleが開発した新しいAIモデルです。これまでのモデルと比べて、特に以下の3つの点で進化しています。
-
複雑な情報を理解する力アップ：たくさんの情報から、まるで専門家のように深く考えて、新しい答えを導き出すことができます。
-
いろいろなデータを扱える：文字だけでなく、画像、音声、動画、プログラムのコードなど、さまざまな形式の情報をまとめて理解し、処理できるようになりました。
-
一度に覚えられる情報量が増加：AIが一度に読み込み、記憶できる情報量がぐっと増えました。小説1冊分（最大100万トークン）もの膨大なデータを一度に読み込んで、全体を把握した上で質問に答えることができます。
契約書業務での「Gemini 3」の性能は？他のAIと比べてみた
LegalOn Technologiesは、契約書業務でよくある「大事なポイントを見つける」「契約書を直す」「決まったルールを契約書に反映する」「契約に関する質問に答える」といったタスクで、「Gemini 3」がどれくらい優秀かを検証しました。比較対象として、「GPT-5.1」と「Claude Sonnet 4.5」という他の主要なAIモデルも使われました。
この検証は、LegalOn Technologiesが独自に作った日本語と英語のテストデータセットを用いて行われました。
その結果、「Gemini 3」は多くのタスクで高い品質を示しましたが、タスクによって得意・不得意があり、特に応答速度が他のモデルに比べて2〜4倍程度遅いという課題も見つかりました。現在のところ、すべての契約業務で完璧な性能を発揮する「万能なAIモデル」は存在せず、それぞれのAIモデルが異なるタスクで独自の強みを持っていることが分かっています。
英語でのタスク比較
英語の契約書業務では、「GPT-5.1」と「Gemini 3」がそれぞれ異なる強みを見せました。「Gemini 3」は、ルールに沿って情報を整理したり、論理的に考える必要があるタスクで優れている傾向があります。
-
契約書の内容を要約したり、必要な情報を抜き出したり、翻訳したりするスキルでは、「GPT-5.1」よりも「Gemini 3」の方が3〜6ポイント高い精度を記録しました。
-
会社のひな形契約書を、決まったルール（プレイブック）に基づいて修正するタスクでは、「Gemini 3」が「GPT-5.1」よりも約5ポイント高い評価を得ています。ただし、取引先が提示した契約書にルールを適用するタスクでは、両モデルはほぼ同じくらいの精度でした。
-
契約書を修正するタスクのうち、会社のひな形契約書の修正では、「GPT-5.1」が約30%の評価だったのに対し、「Gemini 3」は約70%と高い評価でした。
一方で、「GPT-5.1」は、リスクを見つけたり、リスクに基づいて修正したりするタスクで優れていました。
-
契約書から論点（問題点）を抜き出すタスクでは、「GPT-5.1」が「Gemini 3」をわずかに上回りました。
-
リスクを見つけたり、ルールに基づいて修正したりする契約書修正タスクでは、「GPT-5.1」の方が「Gemini 3」よりも適切に修正できたケースが多かったようです。
また、応答速度に関しては、「GPT-5.1」がすべてのタスクで「Gemini 3」よりも2〜4倍速いという結果が出ています。
日本語でのタスク比較
日本語の契約書業務では、英語とは少し異なる結果が見られました。
-
「Claude Sonnet 4.5」は、論点抽出（問題点を見つけること）や、ルールに基づいたレビュー（確認）で最も高い精度を示しました。
-
「Gemini 3」は、契約書を修正するタスクで最も優れた性能を発揮しました。
-
「GPT-5.1」は、英語で強みを見せたものの、日本語のタスクでは特に目立ったスコアは出ませんでした。
LegalOn Technologiesは、これからもAIモデルの比較検証を続け、それぞれのAIモデルがどんな場面で一番役立つかを見極めていくとのことです。
株式会社LegalOn Technologiesについて
株式会社LegalOn Technologiesは、AIの高度な技術と法律の専門知識を組み合わせた、グローバルに展開するリーガルAIの会社です。2017年の設立以来、AIを使ったリーガルAIサービスの開発に力を入れており、現在では「LegalOn: World Leading Legal AI」というサービスを提供しています。2025年9月末時点で、世界中で7,500社以上の企業が有料でサービスを導入しています。2025年1月からは、企業全体の業務をサポートするAIカウンセル「CorporateOn」の提供も開始しました。最先端のAI技術を活用し、さまざまな企業の課題解決を支援しています。
株式会社LegalOn Technologiesの詳細はこちら：
https://legalontech.jp/
