※この商品はタブレットなど大きいディスプレイを備えた端末で読むことに適しています。また、文字だけを拡大することや、文字列のハイライト、検索、辞書の参照、引用などの機能が使用できません。

※この電子書籍は紙版書籍のページデザインで制作した固定レイアウトです。

大規模言語モデル（LLM）の本質の解説
　生成AIの1つである大規模言語モデル（LLM）は、言語を操る数理モデルの1つのあり方です。LLMを活用するシステムの研究・開発は、その不確実性の高さや制御の難しさから、多くの試行錯誤を要します。そのため、より効率的に、より効果的に課題解決をするためには、LLMがテキストを生成する仕組みの理解や、LLMを強化する方法論に向き合うことは欠かせません。また同時に、言語をつかさどる暗黙的な規則性を炙り出す、LLMとは異なるタイプの数理モデルにも目を向けるべきでしょう。これらの知見は、地に足のついた試行錯誤へと繋がります。
　上記のような知見は、計算言語学という領域で蓄積されています。本書は、LLM時代における計算言語学の「言語の理論としての側面」と、「言語の工学としての側面」に着目した入門書です。本書により、LLMをはじめとする言語の数理モデルが読者の皆さまの手札の1つとなり、より多くの実務的課題・学術的課題が解き明かされることを願います。


第1章　自然言語の数理
1.1　計算言語学とは
1.2　言語の理論としての計算言語学
1.3　言語の工学としての計算言語学
1.4　まとめと本書の構成

第2章　形式的手法による言語学
2.1　意味現象
2.2　依存型意味論序説
2.3　未指定型による形式証明の制御

第3章　大規模言語モデルの仕組み
3.1　言語モデルによるテキストの生成
3.2　大規模言語モデルのパイプライン
3.3　Transformerの機構
3.4　大規模言語モデルの学習
3.5　大規模言語モデルの評価
3.6　データセットの作成方法
3.7　次章へ向けて

第4章　大規模言語モデルは何を理解しているか
4.1　注意機構の分析
4.2　プロービング
4.3　Logit lens：語彙空間への射影
4.4　次章へ向けて

第5章　大規模言語モデルの実用
5.1　大規模言語モデルの軽量化・高速化
5.2　RAG：大規模言語モデルの知識拡張
5.3　LLMエージェント：自律・推論・動態

付録　数学と機械学習の基礎
参考文献