一般社団法人 次世代社会システム研究開発機構（INGS）は2023年10月16日、『機械学習／ディープラーニング（DL）／生成AI・大規模言語モデルと機械学習・DL白書 2023年版』の発刊ならびにその概要を発表した。
本白書は、機械学習（Machine learning：ML）／ディープラーニング（Deep Learning：DL）の全容・最新動向に加え、生成AIや大規模言語モデル（LLM）における機械学習やディープラーニングのメカニズムのモデル選択、アーキテクチャ、アルゴリズム、適用、実装、研究、ファインチューニング等によるモデルのカスタマイズ、実用化などを網羅的に、かつ最新の動向を取り上げながら、詳細に解説している。
機械学習／ディープラーニングは、多様な分野を包括するAI（人工知能）に含まれる一分野である。人間の学習能力と同様の機能をシステム的に実行するための技術や手法のことであり、AIの分野では主要な研究課題の一つとされている。
機械学習のなかでも、ニューラルネットワーク、k近傍識別器、ベイズ分類、SVM（サポートベクターマシン）、といった手法でみられるように、識別器を活用しながら、クラス分類という識別問題、認識問題に対し、多様・多元的な視点・立場にたった研究が大きな成果をあげている。
LLMとは、AIアルゴリズムの一種であり、AIにおける言語モデルの概念を進化させたものでもある。学習と推論に使用するデータを劇的に拡張することで、AIモデルの能力が飛躍的に向上させることができる。また、ディープラーニング（深層学習）技術と大規模なデータセットを用いて、新しいコンテンツの理解、要約、生成、予測を行う。生成AIもLLMと密接不可分の関係にあり、LLMはテキストベースのコンテンツを生成するために特別に設計された生成AIの一種である。
LLMは、複数のコンポーネントを含む複雑なアプローチをとっている。基礎となるレイヤーでは、LLMは、通常ペタバイト級の大容量データ（コーパスと呼ばれることもある）で学習する。学習には複数の段階があり、通常は教師なし学習アプローチから始める。LLMの次のステップは、自己教師あり学習による訓練とファインチューニングである。ここでデータのラベリングが行われ、モデルが異なる概念をより正確に識別できるようになる。
次に、LLMはトランスフォーマ・ニューラル・ネットワーク・プロセスを経て、ディープラーニングを行う。トランスフォーマー・モデル・アーキテクチャーにより、LLMは自己アテンション・メカニズムを使用して、単語と概念の間の関係とつながりを理解し、認識することができる。
一度LLMが訓練されると、AIが実用的な目的で使用できるベースが確立する。LLMにプロンプトをクエリすることで、AIモデルの推論は、質問への回答、新しく生成されたテキスト、要約されたテキスト、センチメント分析レポートなどのレスポンスを生成することができる。
本白書は、カテゴリー別にこれらの開発・実装動向、市場動向、アルゴリズム高度化など先進的な研究開発動向、業界別活用動向、技術的・手法的課題、機械学習のエコシステム／プラットフォーム形成を巡る動き、生成系AIや大規模言語モデル（LLM）における機械学習やディープラーニングのメカニズムの研究動向／モデル選択／アーキテクチャ／アルゴリズム／適用／実装／ファインチューニング等によるモデルのカスタマイズ、実用化について取り上げ、解説している。
また、次世代チップ／量子コンピュータ／スマートファクトリー／デジタルマーケティング／ブロックチェーン／コネクテッドカー／自動運転などの関連領域の動向を体系的・包括的に取り上げて解説している。
また、最新のツール／ソフトウェア／アプリケーションの開発・サービス動向、今後の進展予測まで、関係する領域を体系的・包括的に取り上げた調査報告書（白書）として編纂されている。
以下、本レポートで扱っている主なテーマをリストで記載する。
● 教師あり学習
● 自己教師あり対照学習
● 自己教師なし学習
● 強化学習（RL）
● 人間のフィードバックによる強化学習（RLHF）
● PPO（Proximal Policy Optimization）アルゴリズム／報酬モデルに対するポリシー最適化
● Direct Preference Optimization (DPO)／強化学習を使わずに嗜好から言語モデルを学習させる学習パラダイム
● 模倣学習（徒弟学習／実演からの学習）
● メタ学習
● メモリ拡張型ニューラルネットワーク（MANN）
● 転移学習（トランスファー・ラーニング）
● ファインチューニング（微調整）
● 多言語言語モデルの基本
● 低ランク適応（Low-rank adaption：LoRA）
● 量子化
● 生成モデル／深層生成モデル（DGM）
● ユニバーサル言語モデルファインチューニング（ULMFiT)
● 事前学習（Pre-training）
● 説明ベースの学習（EBL）
● ゼロショット学習
● ゼロショットCoT
● ワンショット学習（コンピュータビジョン）
● ドメイン適応
● マルチタスク学習（MTL）／知識の移転
● 基礎モデル（ベースモデル／ファンデーションモデル）
● 生成的事前訓練トランスフォーマー／生成的事前訓練トランスフォーマー（GPT）
● 生成的敵対ネットワーク（GAN）
● 拡散モデル（Diffusion Model）
● Stable Diffusion（安定した拡散）
● 思考の連鎖：CoT（Chain of Thought）
● 思考の木：ToT（Tree of Thoughts）
● 視覚のマルチレベル理論
● 手続き的生成
● 生成トポグラフィーマップ
● 自己組織化マップ
● 変分オートエンコーダ（VAE）
● ロボット学習
● 進化ロボット工学
● 発達ロボティクス（DevRob）
● 認知ロボット工学
※ なお、「機械学習／ディープラーニング（DL）」というテーマは、複眼的、立体的な視点で解明し、アプローチすることで、より精確で深みのある理解が得られるものである。当団体でもそうしたコンセプトで本白書を編纂している。
そのため、以下の白書（ほぼ当団体よりほぼ同時期に発刊）がそれぞれ独立して編纂されながらも、４巻セットとしてシリーズ編成されている。まとめて全４巻を購入された場合、特別に半額の価格設定で提供している。
■ 生成AI白書 2023年版
（A4判／約3,200ページ）
https://www.x-sophia.com/?pid=177427870
■ 大規模言語モデル（LLM）白書 2023年版
（A4判／約1,400ページ）
https://www.x-sophia.com/?pid=177427957
■ 次世代NLP（自然言語処理）と大規模言語モデル（LLM）白書 2023年版
（A4判／約1,180ページ）
https://www.x-sophia.com/?pid=177428071
※※ 各白書とも、英語版について近刊を予定している。
┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌┌
▼ 内容等の詳細は、下記（リンク先）をご参照ください。
機械学習／ディープラーニング（DL）／生成AI・大規模学習モデルと機械学習・DL白書 2023年版 製本版
https://www.x-sophia.com/?pid=177427990
機械学習／ディープラーニング（DL）／生成AI・大規模学習モデルと機械学習・DL白書 2023年版 PDF版
https://www.x-sophia.com/?pid=177428005
（※ 「PDF版」はeメール／ダウンロードでの納品方法にも対応しています。）
● 監修・発行：
発行：一般社団法人 次世代社会システム研究開発機構
● 発刊日
2023年10月16日
■ 法人案内Webサイト（メディア向けのお問い合わせ先）
法人概要
http://www.x-sophia.com/?mode=sk#info
当団体刊行物に関する告知・案内Webサイト
■ 法人のご紹介
当団体は、前身会社を含め、二十数年に渡って、産業／先進先端技術／経済／IT分野のシンクタンク活動（受託調査／各種レポート刊行／コンサルティング／寄稿・啓蒙活動／講演・講義／カンファランス議長およびセミナー講演）を展開してきた。
このうち、当団体の各種刊行物については、日本・海外の政府系シンクタンク、国内の主要研究所、コンサルティングファーム、産学官連携団体、大学、研究所、大手企業、投資ファンド、ベンチャーなどに納め、多数のご高評をいただき、今日に至っている。延べ、数百巻の刊行実績を持つ。英語版、中国語版を刊行し、対象とする購読層の幅を広げている。
本店・連絡先（お問い合わせ先）
〒140-0004
Tel：03-5843-4365
Fax：03-6856-2861
Mobile:080-8533-9249
配信元企業：一般社団法人 次世代社会システム研究開発機構
コメント