株式会社ELYZAは、日本語の文章生成をより速く、より効率的に行える新しいAIモデル「ELYZA-LLM-Diffusion」シリーズを開発し、商用利用できる形で公開しました。
このモデルは、私たちが普段使っているような文章を生成する「大規模言語モデル（LLM）」の一種ですが、一味違う「拡散モデル」という技術を使っているのが特徴です。KDDI株式会社のGPU基盤を活用して開発され、日本語の理解力や指示に従う能力が大きく向上しています。
拡散大規模言語モデル（dLLM）とは？
「拡散大規模言語モデル（dLLM）」は、もともと画像を作るAI（画像生成AI）で使われていた「拡散モデル」という技術を、文章を作ることに応用したものです。
従来の文章生成AIの多くは、単語を一つずつ左から右へと順番に生成していく「自己回帰モデル（ARモデル）」と呼ばれる方法を採用していました。しかし、dLLMはこれとは異なり、まるでノイズだらけの画像から少しずつノイズを取り除いて鮮明な画像にしていくように、ノイズの中から段階的に文章を作り出します。
この方法の大きなメリットは、文章を順番に作る必要がないため、設計次第ではより少ない処理で文章を生成できる点です。これにより、AIが文章を作るスピードが速くなったり、使う電力が少なくなったりすることが期待されています。
しかし、dLLMはまだ新しい技術で、学習に費用がかかったり、性能面での課題があったり、実際に利用するための環境がまだ整っていなかったりする点が現状の課題です。それでも、基礎研究は進んでおり、将来的に非常に役立つ技術になる可能性を秘めています。
ELYZAが開発した日本語特化モデル
ELYZAは、既存のdLLMをベースに、日本語のデータを使って追加の学習を行うことで、日本語の知識や指示への対応能力を高めた「ELYZA-LLM-Diffusion」シリーズを開発しました。現在、以下の2つのモデルが公開されています。
-
ELYZA-Diffusion-Base-1.0-Dream-7B
日本語データによる追加の事前学習を行ったモデルです。
https://huggingface.co/elyza/ELYZA-Diffusion-Base-1.0-Dream-7B -
ELYZA-Diffusion-Instruct-1.0-Dream-7B
上記のモデルに指示学習を行ったモデルです。
https://huggingface.co/elyza/ELYZA-Diffusion-Instruct-1.0-Dream-7B
これらのモデルを使ったチャット形式のデモも公開されており、実際にその性能を体験できます。
開発の詳しいプロセスや技術的な詳細については、公式テックブログで解説されています。
日本語タスクでの高い性能
ELYZAは、開発したモデルが日本語のタスクでどれくらいの性能を発揮するかを評価しました。その結果、「ELYZA-Diffusion-Instruct-1.0-Dream-7B」は、一般的な日本語能力を測るタスクにおいて、他のオープンなdLLMと比較しても同等か、それ以上の優れた性能を示しています。
なぜこの研究が重要なのか
AIの利用が広がるにつれて、AIが使う電力の量が増え、データセンターが不足するといった問題が世界中で起きています。そのため、これからのAI活用には、より効率的にAIを動かしたり学習させたりする技術が求められています。
dLLMは、少ない処理で文章を生成できる特徴があるため、従来のAIモデルに比べて文章を作る時間が短く、電力消費も抑えられる可能性があります。この研究が進むことで、電力効率の良い高性能な日本語AIの開発がさらに加速し、AIが抱える社会問題の解決にも貢献することが期待されます。
ELYZAは、今後も最先端のAI研究開発に取り組み、その成果を広く公開・提供することで、日本におけるAIの社会での活用を推進し、自然言語処理技術の発展を支援していくとしています。
ELYZAの会社概要はこちらです。
