ZOZO研究所の研究員による2本の論文が、機械学習の分野で最も権威ある学術会議の一つである「ICLR（The International Conference on Learning Representations） 2026」に採択されました。これは、AIの実用的な活用をさらに進めるための重要な一歩となります。
複数のAIモデルを上手に組み合わせる「モデルマージ」技術の課題と解決策
研究背景と課題
AIの世界では、すでに作られた複数のAIモデルを、新しく学習させ直すことなく一つにまとめる「モデルマージ」という技術が注目されています。これは、データを集める手間や計算にかかる費用を抑えながら、たくさんの機能を持ったAIを作ることを可能にする技術です。しかし、これまでの研究は、すべてのAIモデルが同じ条件で学習された理想的な状況を前提としており、実際の開発現場で起こりがちな「モデルの性能が落ちてしまう」という問題は十分に調べられていませんでした。
ZOZO研究所の研究では、現実の状況でモデルマージを使うと、なぜ性能が大きく落ちてしまうのか、その原因を明らかにしました。主な原因は二つあります。
- 学習条件の違いによるズレ: 各モデルが異なる条件で学習されていると、モデルの「知識の重み」に大きな違いが生まれます。重みの大きいモデルが他のモデルの知識を打ち消してしまい、結果として統合されたモデルの性能が大きく下がってしまいます。
- 予測の自信の低さ: AIが予測をするときに「自信がない」状態のモデルを統合に使うと、統合後のモデルの性能が大幅に低下することがわかりました。
新しい調整手法「DisTaC」
これらの課題を解決するために、研究グループは「DisTaC（ディスタック）」という新しい調整手法を提案しています。DisTaCは、モデルを統合する前に、まだ分類ラベルが付いていないデータを使って、短い時間だけ追加で学習を行うことで、上記の二つの問題を取り除き、各モデルを統合に適した状態に整えます。これにより、知識の重みのズレをなくし、予測の自信の低さという悪影響を解消します。
実験では、これまでのモデルマージ手法では性能が大きく落ちていた状況でも、DisTaCを使うことで性能の低下が抑えられ、安定した統合結果が得られることが確認されました。
今後の展望
この研究は、モデルマージを現実世界で安定して使うための課題と、それに対する具体的な解決策を提示しました。今後は、ファッションEC（インターネット通販）で使われるAIモデルの開発において、この研究で得られた知識をどのように活用できるか検討が進められる予定です。
論文の詳細は以下のURLから確認できます。
DisTaC: Conditioning Task Vectors via Distillation for Robust Model Merging
AIの「公平性」を保つための新しい調整方法
研究背景と課題
最近よく耳にする大規模言語モデル（LLM）のようなAIが広く使われるようになるにつれて、「AIの判断が公平であるか」という点が非常に重要な課題となっています。LoRA（ローラの略）のような、計算にかかる費用を抑えて効率的に学習できる方法は広く使われていますが、ヘイトスピーチ（憎悪表現）の検出のような、学習データや判断の基準に偏りが入りやすい分野では、もともとモデルが持っている偏りを十分に修正できず、公平ではない判断をしたり、その偏りを強めてしまう心配がありました。
この研究では、新しく学習し直さなくてもAIモデルの振る舞いを調整できる「タスク演算」という方法に注目し、それがAIの公平性にどのような影響を与えるのかを体系的に明らかにしました。
「タスクベクトル」で公平性を調整
研究では、AIモデルの重みの違いを表す「タスクベクトル」というものを使うことで、AIの性能を保ちながら公平性を調整できる有効な手段であることを示しました。これまでの学習方法と比べて、タスクベクトルを元のモデルに足し合わせる際の調整の強さを変えることで、精度を大きく損なわずに不公平さを抑えられるかを検証しました。
文章や画像を扱う複数のAIモデルを使い、ヘイトスピーチ検出や年齢分類などのタスクで評価を行った結果、タスク演算を使うことで、精度を保ちつつ、特定のグループ間で生じる判断の偏りを減らせることが確認されました。
また、調整の強さを適切に設定すれば、精度を大きく損なわずに公平性を高められることが判明しました。さらに、特定のグループで特に公平性指標が悪かった場合に、そのグループのタスクベクトルをモデルに注入することで、不公平さを和らげられるケースがあることも確認されました。一方で、あるグループのタスクベクトルを注入すると、別のグループの公平性が悪くなる場合もあるため、調整方法を考える際には注意が必要であることも明らかになっています。これらの結果は、タスクベクトルの調整が公平性指標に与える影響を理論的に分析することによっても裏付けられました。
今後の展望
本研究は、タスク演算が公平性を意識したAIの調整方法として有効であることを示しました。今後は、より大きなモデルや、商用で提供されているAPI型のモデルへの適用、そして複数の調整パラメータを使ったより柔軟な制御への展開が考えられます。また、文章生成のような複雑なタスクや、複数の属性が重なり合う状況における公平性の評価も重要な課題です。ZOZO研究所は、この研究で得られた知見をもとに、ファッションECにおけるAIの活用において、効率性と公平性の両方を実現するための実践的なツールの開発を目指しています。
論文の詳細は以下のURLから確認できます。
On Fairness of Task Arithmetic: The Role of Task Vectors
ZOZO研究所について
ZOZO研究所は、「ファッションを数値化する」ことをミッションに掲げ、ZOZOグループが持つファッションに関する膨大な情報をもとに、ファッションを科学的に解明するための研究開発を行っています。
ZOZO研究所の詳細は以下のURLから確認できます。
https://research.zozo.com/
