AIの性能は学習データの量と質に依存します。では、高品質な文章を大量に生成できるAI自身が、次世代AIの学習データを作ればいいのではないか。
ところが、AI生成データを使って次のAIを育てることには、根本的な限界があります。むしろ精度が高いにもかかわらず、それが使えない理由があります。
そもそも何が枯渇しているのか
AIの学習には、大量のテキストや画像などのデータが必要です。現在の大規模言語モデルは、公開ウェブ、書籍、論文、ニュース、コード、Q&Aサイトといった人間が作り上げたデータを大量に取り込むことで性能を上げてきました。
しかし、この戦略には物理的な上限があります。人間がこれまでに書き残してきたテキストの量は有限であり、主要言語での高品質データは、すでに大規模モデルの学習にかなり使い尽くされつつあります。スタンフォード大学のAI Index Reportなどが問題提起しているのも、従来のデータ量を増やせば性能が上がるというスケーリング戦略がそろそろ限界に近づいている可能性です。新たな人間由来データが生まれる速度は、モデルが必要とする量の増加に追いついていません。
では、AIが生成したデータで補えばいい。その発想は間違いではありませんが、話はそう単純ではありません。
AI生成データは学習に使えないわけではない
AI生成データがまったく学習に使えないというのは正確ではありません。用途を限定すれば、AI生成データは有効に機能します。
代表的な使い方として、大きなモデルが生成した出力を使って小さなモデルを育てる知識蒸留があります。教師モデルの振る舞いを学ばせることで、軽量なモデルでも高い精度を実現できます。また、コードや数学の問題は、外部から正誤判定が可能なため、AIが大量に問題と解答のセットを生成して学習データを増やす手法が実際に使われています。要約、翻訳、言い換えのような変換タスクでも、AI生成データは補助的に機能します。
つまり、AI生成データが補助燃料として機能する領域は確かに存在します。問題になるのは、それを人間由来のデータの完全な代替として使おうとしたときです。
AI生成データだけで学習させると何が起きるか。モデルコラプスという崩壊
AI生成データを繰り返し学習に使い続けると平均化による崩壊が起きる、2024年にNature誌に掲載されたオックスフォード大学のシュマイロフらによる研究です。彼らはこの現象をモデルコラプス（model collapse、モデル崩壊）と名付けました。
仕組みはこうです。第1世代のモデルが人間のデータで学習し、文章を生成します。第2世代はその出力を学習データとして使います。この時点で、元のデータが持っていた分布の裾野、つまり珍しい表現、少数派の意見、例外的なケースが少しずつ削れ始めます。第3世代、第4世代と繰り返すうちに、出力は平均的で無難なパターンに収束していきます。最終的には似たような文章しか生成できなくなり、モデルとしての多様性が失われます。
コピー機でコピーを繰り返す場面を想像するとわかりやすいかもしれません。1回のコピーは元とほぼ区別がつきません。しかし10回、20回と繰り返すうちに、細部がぼやけ、かすれ、輪郭だけが残ります。
豆知識：モデルコラプスは生物の近親交配と同じ構造
モデルコラプスは、生物における遺伝的多様性の喪失と非常に似た構造を持っています。同じ遺伝子を持つ個体同士が繁殖を繰り返すと、遺伝子プールが狭まり、環境変化への適応力が失われます。AIの場合も、同じデータの系譜を引き継ぎ続けることで、現実に対応できるパターンの幅が狭まっていきます。多様性は生物にとっても、AIにとっても、生き残りの条件です。
高品質と多様性
AIが生成する文章は、文法的に正確で、読みやすく、整合性が取れています。人間が書いた文章と比較しても、平均的な品質という意味では遜色ないか、むしろ高いこともあります。
では、なぜそれが学習データとして弱いのか。
AIは、すでに学習した情報をもとに再構成したものを出力しています。どれだけ流暢な文章であっても、それは過去のデータの圧縮と変形であり、現実世界から新しい観測値を持ってくるわけではありません。人間が作ったデータには、実際に起きた出来事、失敗、矛盾、方言、感情的な揺れ、文化的なニュアンス、誰も整理していない未加工の経験が含まれています。これらは平均から外れた情報であり、だからこそ次の学習の豊かさになります。
AIは多数派のパターンを平均化して整えることが得意です。しかしその整えられた出力を学習データにすると、今度は少数派のパターンが削れます。均質な正確さは、学習においては毒になりえます。
特に危険なのは、社会分析、医療判断、法律判断、人間心理、ニュース解釈のように、正解の判定自体が難しい領域です。これらの分野では、AI生成データの均質さが現実の複雑さをそぎ落とし、モデルの判断能力を実質的に劣化させます。
現実の汚染が静かに進んでいる
完全な捏造データ、つまり存在しない研究成果や架空の統計をAIが生成し、それがウェブ上に出回るという問題は、モデルコラプスとは別の経路でAIの品質を傷つけます。現在のAI開発は、ウェブのテキストを広くスクレイピングして学習データを作ります。ウェブ上にAI生成コンテンツが増えるほど、それが人間由来データに混入する可能性が高まります。意図せずAI生成データが学習データに混入するデータ汚染は、すでに現実の課題として認識されています。
ただし、架空データの問題と、モデルコラプスの問題は切り分けて考える必要があります。より根本的な限界はモデルコラプスの方です。精度の高いデータを作れるAIが生成したものであっても、現実から新しい情報を持ち込まない以上、代替にはならない。これが枯渇問題の本質です。
豆知識：合成データが有効に機能する条件
AI生成データ（合成データ）が学習に役立つのは、外部から正誤判定が可能な領域に限られます。コードは実行すれば動くか動かないかがわかります。数学の証明は正しいか間違いかが検証できます。ゲームのシミュレーションは結果を評価できます。これらの領域では、正解という外部の基準があるため、AI生成データを大量に使っても品質を担保できます。逆に言えば、外部の基準がない領域では、AI生成データを大量投入することのリスクが高くなります。
では、どこから次のデータを持ってくるのか
現在の研究と産業の流れでは、いくつかの方向が試みられています。
一つは、企業や専門機関が保有する非公開データの活用です。医療記録、法律文書、金融データ、製造現場のログなど、ウェブには出ていない専門性の高いデータは、まだ学習に使われていないものが大量に存在します。ただし、これらは法的・倫理的なハードルが高く、容易ではありません。
もう一つは、合成データを意図的にデザインする手法です。ランダムなノイズを加えたり、多様性を人工的に担保したりすることで、モデルコラプスを遅らせる試みが研究段階にあります。ただしこれも、現実から新しい情報を持ち込むことにはならないため、根本的な解決策にはなりません。
データの量を増やすだけでなく、データの品質、検証可能性、専門性、現実との接続を重視する方向へ、AI開発の軸足が移りつつあります。スケーリングの時代から、データの選別と設計の時代への転換といえます。
問題は品質ではなく、新しい現実を持ってこないこと
AI生成データが問題なのは、精度が低いからではありません。現実世界から新しい情報を持ち込まないからです。
AIは既存の知識を整理し、増幅し、別の形に変換することが得意です。補助的な用途では有効に機能します。しかし、AIが生成したものはどこまでいっても、過去に人間が観測し書き記した情報の変形に過ぎません。世界で新たに起きたこと、誰かが初めて経験したこと、これまで誰も書かなかった視点は、AIが自分の出力から取り出すことができません。それを供給できるのは、現実を生きて観測し続ける人間だけです。
多様性のある人間由来データが増えなくなることが、AIの学習に対する本質的な制約です。そして、AIが高度化するほど大量のデータを必要とするというこの構造は、AI開発が人間の書き残しの量と質に依存している以上、避けられません。データ枯渇問題は、AIの技術的な問題である以上に、人間が現実をどれだけ観測し、どれだけ書き残せるかという問いを突きつけています。
コメント