LLMは単なる次トークン予測機ではないとする技術考察が公開される

LLMは単なる次トークン予測機ではないとする技術考察が公開される https://bunrin.work/news/ja/news/stop-thinking-of-llms-as-next-token-predictors-94362 LLMの学習プロセスにおいて、事前学習とポストトレーニング後の動作の違いを、チェスエンジンの例を用いて解説する考察が公開されました。