かんな＠AI速報 
生成AIの活用が叫ばれて久しい昨今ですが、「PoC止まりで本番導入に至らない」という声も依然として多く聞かれます。そんな中で一歩抜け出す鍵となるのが、LLM（大規模言語モデル）の根っこのロジックを理解することです。本記事では、文系エンジニアの視点からTransformerの基本構造とGPT系モデルの生成の仕組みを、数式に頼らず体系的に解き明かします。読み終わる頃には「LLMってこんな仕組みで動いてるんだ！」と腹落ちできるはずです。
LLMはTransformerのDecoderのみを使うCasual Decoderが主流。自己教師あり学習で大量文章を学習し、1トークンずつ出力を繰り返して文章を生成する。仕組みを理解すれば改善の糸口が見える。
LLMとは何か？まずは定義から整理しよう
何でもかんでも「LLM」と呼ばれがちですが、定義を曖昧にしたまま議論すると迷走します。本記事ではLLMを「大量の学習データを用いて学習された、創発的能力を獲得したAIモデル」と定義します。創発的能力とは、規模を大きくすることで初めて現れる、学習時に明示的に教えていない能力のことです。翻訳や要約、推論といった振る舞いはその代表例と言えます。
Transformerとは何か？2017年の革命
現在のLLMはほぼ例外なくTransformerという仕組みをベースにしています。GPTの正式名称は「Generative Pre-trained Transformer」、つまり生成に特化した事前学習済みTransformerです。この仕組みは2017年にGoogleが発表した論文「Attention Is All You Need」で提唱され、翻訳タスクにおいて従来の自然言語処理AIを凌駕しました。これが文章生成に転用されたのが現在のLLMの出発点です。
エンコーダーとデコーダーの役割分担
Transformerは大きく「エンコーダー」と「デコーダー」に分かれます。エンコーダーはユーザー入力をトークン単位に分割し、ベクトル化（Input Embedding）した上でSelf Attentionにより文章の特徴量を抽出します。一方デコーダーは実際に文章を生成する部分で、自身の出力を入力として受け取りながら1トークンずつ生成していきます。エンコーダーの出力はCross Attentionとしてデコーダーに組み込まれ、入力の文脈を生成に反映させます。
現在のLLMはDecoderだけを使っている
では実際のGPT-4などはTransformerをそのまま使っているのかというと、そうではありません。今主流なのはTransformerのDecoderのみを使ったCasual Decoderという構造です。GPT-4やLlamaなどもこの系統に属します。エンコーダーを省略することで構造がシンプルになり、大規模化しやすくなるという利点があります。
自己教師あり学習による学習の仕組み
Decoderだけを使ってどう学習するのか。ここで登場するのが自己教師あり学習です。たとえば「日本で一番高い山は富士山です。」という文章を学習させる場合、次のトークンを予測するタスクを繰り返します。ラベリングが不要なため、大量の文章を読ませて傾向を学習させられるのが直感的に理解できるでしょう。
仕組みを理解すると何が変わるのか
LLMの内部構造を知ると、ハルシネーション（事実と異なる出力）やプロンプト設計の勘所が見えてきます。たとえば出力が1トークンずつの確率予測の積み重ねである以上、文脈の与え方が精度に直結することは自明です。現場で「なぜこの回答になったのか」を説明できるエンジニアは、改善の打ち手も具体的に提示できます。
なお、本記事の内容は執筆者個人の理解に基づく部分を含みます。より正確な数式やモデル詳細は一次情報にあたることをおすすめします。学習リソースを探す際は、専門書籍やオンライン講座を活用すると理解が深まるでしょう。
Encoder系とDecoder系の比較
| 項目 | Encoder-Decoder型 | Casual Decoder型 |
|---|---|---|
| 代表例 | 翻訳向けTransformer | GPT-4、Llama系 |
| 主な用途 | 翻訳・要約 | 文章生成・対話 |
| 構造 | エンコーダー＋デコーダー | デコーダーのみ |
| 学習方式 | 教師あり中心 | 自己教師あり |
よくある質問
LLMと従来のAIの違いは何ですか？
Transformerの数式は理解必須ですか？
なぜ出力が1トークンずつなのですか？
まとめ
- LLMは大量データで学習し創発的能力を得たAIモデルと定義できる
- Transformerは2017年の論文発祥で、エンコーダーとデコーダーに分かれる
- 現在の主流はDecoderのみのCasual Decoderで、GPT-4やLlamaが該当する
- 自己教師あり学習によりラベリング不要で大量文章の傾向を学習する
- 生成は次の1トークン予測の繰り返しで、<eos>で終了する
参考情報: qiita.com
