★2分で読める「生成AIのいま」 Vol.1
～「学習」と「推論」- "詰め込み"から"よく考えさせる"へ。"o1"が示唆するAIの進化 ～
OpenAIが発表した最新モデル「OpenAI o1」。
ChatGPT-o1 previewとして使えるようになってしばらく経ちました。
とあるテストでは、人間の中でも上位5%（20人に1人程度の秀才）に相当するIQ 120を記録したとか。
ソース: https://trackingai.org/IQ
※GPT-4oはじめ、最近の他のAIは軒並み80～100程度であり、これは人間の平均IQである100に近いレベルです。
OpenAI o1とは何者なのか、そしてなぜ、このような急激な進化を遂げたのか。
まだ全貌は明らかになっていませんが、、
これを理解するカギは、おそらく「学習」と「推論」にあります。
・AIの「学習」と「スケール則」
AIにインターネットなどからデータや情報をひたすら読み込ませる作業、これを「学習」と呼びます。
これまでGPT等の生成AIは、この「学習量」を増やすことで、その性能をどんどん向上させてきました。これを「スケール則」と呼びます。
しかしここにきてスケール則が早くも限界に。どんなにデータや計算能力を増やしても、それだけでAIがもっと賢くなるわけではないことがわかってきました。
特に「知識の詰め込み」による単なるパターンの認識だけでは、人間のような「複雑な問題を対応する」ことには限界があります。
・「学習」から「推論」へ - OpenAIがとった進路変更
そこで、OpenAIは新しい方向に進みました。それが「推論」です。
※これまでの生成AIとOpenAI o1の違い示した図。
”Training”が「学習」、"Inference"が学習です。
下段のイチゴがOpenAI o1に相当します。これまでのモデルに比べて、「推論」に重点が置かれていることがお分かりいただけると思います。
※OpenAI o1のコードネームが”Strawberry”だったため、この図では”o1”がイチゴとして描かれています。
出典元: https://x.com/DrJimFan/status/1834279865933332752
推論能力とは、学習した知識を基に「よく考える」こと。
単なる情報の詰め込みではなく、その情報をどう使うか、どう解釈するかを重視するのです。
これまで「学習」に投下してきた開発資源を「推論」にそそぐことになり、
たとえば
「勉強に苦しんでいた学生が、知識を詰め込むだけでなく、ホワイトボードに書きながらじっくり考えることで、行き詰まりを突破した」
というようなブレークスルーが起きつつあるわけです。
