【元記事をASCII.jpで読む】

 Anthropicの「Claude Fable 5」や、OpenAIの「GPT-5.6 Sol」を使用したCodexから、3D制作ツール「Blender」を操作する手法が注目を集めています。無料で使えることからBlenderは多くの人が利用していますが、初心者が使いこなすためのハードルはかなり高いという実情があります。しかし、AIエージェントと外部ソフトをつなぐための共通規格のMCP(モデル・コンテキスト・プロトコル)を使うことで、LLMに日本語で指示し、Blenderを直接操作することが可能になります。3Dを使った表現をより容易にできる可能性が出てきており、すでにAI動画制作の土台として使える可能性が模索され始めています。「夏の和室」、「ダンス」、「ロボットの戦闘」と筆者の作例を通じて、強みと弱みを見ていきます。

Blenderを触らずに3D動画制作 MCP連携は驚くほど簡単

 次の夏の和室のシーンの作例は、筆者がFable 5を通じて、Blenderで作成したプリビズ(カメラワークや動きを指定するための簡易な3D動画)を、「Seedance 2.0」のリファレンス動画として利用して完成させたものです。この記事では、その作成過程を紹介します。

△夏の和室(Seedance2.0をAIサービスの「Hailuo AI」を使って作成。以下、同じ)

△夏の和室、プリビズ動画とセットにしたもの

 Fable 5を使用するClaude CodeとBlenderをMCPで接続するのはとても簡単です。MCPでは、LLM側のクライアントと、Blenderの機能を提供するMCPサーバーを接続します。4月に、Blender開発者製の新しいMCP Connectorが公開され、多様な操作ができるようになったことで、一気に使い勝手がよくなりました。あまり複雑なことを考えず、Blender(4.2以上)を立ち上げた状態で、Claude Codeから「Blenderを操作できる環境を整えて」と指示するだけで、必要なアドオンのインストールなど、環境整備をLLMがすべてやってくれます。

 そこからの指示も、それほど複雑ではありません。何を作らせたいかを具体的に固めた状態で指示することで、指示通りにやってくれます。

 AI系エンジニアのposi_posiさんが、Fable 5とBlenderを組み合わせた作例と方法論を提案しています。先に具体的なイメージを、「GPT Image 2.0」などの画像AIで作成して、そのイメージを使って指示し、簡易モデルを作成して、だんだんとディテールアップをしていくという方法です。

 筆者も、夏の和室を作る際に、この方法を参考にしてみることにしました。

昭和の和室をAIが3D化 画像からプリビズができるまで

 まず作成したのが、夏の和室の風景です。昭和をイメージした、障子と襖、縁側のある部屋で、麦茶に蚊取り線香、ブラウン管テレビといったものを指示して出てきたものが1枚目です。そこから、様々な角度で、特に全体がわかるように上からのカメラ位置のものも出すように指示しました。そして、この画像をFable 5に参照させて、これをBlenderで再現してほしいと指示します。

 GPT Image 2にも限界があり、完全な一貫性は取れていません。そのため、Fable 5は画像間に矛盾する場合は1枚目を基準とすると決めて、制作を進めていきました。その際に重要なのが、Fable 5には、トークン消費を抑えるために、設計と検収のみを担当し、実作業は下位モデルの「Opus」や「Sonnet」をAIエージェントとして作業させるようにと強く指示しておくことです。Fable 5は能力がずば抜けて高いのですが、トークン消費量も大きく、実作業をやらせるとあっという間に利用上限に達してしまうためです。トークン消費量の少ない他のLLMと作業分担することで、かなり抑制できます。

 いったん作業が始まると、ただ進捗が進むのを待つことになります。簡易形状でのモデリングをするためのツールをダウンロードするなど、Claude Codeは、様々な権限を認めることを求めてきます。

 作成は、プリミティブという基本的な図形モデルの組み合わせが基本です。3Dモデルは、「bpy(Blender Python)」という素のスクリプトをLLM側で設計して指示する方式で作られていきます。立方体・円柱・平面のプリミティブを寸法指定で置くことになるので、寸法を定義できるものの作成は得意ですが、今回のようにAIがプリミティブを組み合わせて形状を設計する方法では、複雑な有機形状の再現は苦手です。

 作業は、PythonのスクリプトをLLMが書き、それを実行して、結果のスクリーンショットを撮影し、それをチェックするという繰り返しで進みますが、それなりに時間がかかり、ある程度の形になるまでには2時間ほどかかります。LLMがチェックに使うスクショを通じて、作業の進捗を眺めることができます。

 作業が進むにつれて、中庭などが追加されていきます。途中で、筆者のリクエストで、扇風機を追加しました。扇風機のイメージ画像は、Claude Code経由でCodexを呼び出し、GPT Image 2を使ってイメージ画像を作り、それに合わせて作らせています。

 完成品は、Fable 5の判断に任せて、部屋全体の雰囲気が伝わるカメラワークで動画を作成するよう指示し、動画ファイルとして作成させました。その際、扇風機の羽の回転や首振りの追加は、Fable 5から提案があったものに任せて設定しています。

△完成したプリビズ動画

 こうなってくるとキャラクターも配置したくなりますが、比較的簡単に実現できます。アバターフォーマットの「VRM」を使うやり方です。BlenderのアドオンにはVRMを操作するためのものもあり、それを利用していきます。といっても、これもFable 5に、読み込ませるVRMファイルを指定して、読み込んで配置するよう指示するだけです。そうすると、同じように環境整備から、配置まですべてをやってくれます。「女性キャラクターが座布団の上に座っていて、頭を動かしながら、手で仰いでいるシーンにして」と指示しました。

 ドローンタイプのカメラ構成だとわかりにくかったため、カットを数秒ごとに切り替える形に変えて、最終的なプリビズとしました。そして、Seedance2.0で、実際に動画化するために、GPT Image 2を使って、6カットのカメラが切り替わる最初のフレームをアニメ風に変換しました。

 この作成結果が、冒頭の動画になります。

存在しないダンスも作れる AIによる振り付けの実力

 この方法を使えば、ダンス動画も作れるだろうと考えました。実際に作成したのが、以下の動画です。下がBlender MCPを通じて作成したプリビズ動画で、上がそれを下敷きにして、Seedance 2.0で作成した動画です。リファレンスとして、キャラクターと背景の4枚の画像を与えています。元となるキャラクターは前後がわかるようにと指示し、アニメーションやカメラワークも、Fable 5に検討させています。

△Blenderで作成したプリビズを使ったダンス

 この手法は、Ryo@AI動画×AIツール紹介さんが公開している方法を参考にしています。

 この手法のメリットは、存在しないダンスを自由に作成できることです。一方で、課題は、3Dモデルの作成時と同じで、bpy(Blender Python)を使ってダンスを設計しているために、単純なモーションになりがちです。筆者の例では、バク転を入れるように指示したのですが、その後の足の動きが不自然です。Seedance 2.0に対し、元動画の動きを参照する度合いを弱めるよう指示することで対策はできるのですが、そうすると、元動画との一致度は下がっていきます。この辺は、バランスを探る必要があります。

 他のアプローチとしては、人間のダンスを撮影した動画を参照する方法があります。Blenderには、ポーズ推定の「DW Pose」の利用を可能にするアドオンがあり、それを組み込むことで、動画に登場する人物の動きを推測できます。それで人間の動きを解析させ、3Dモデルのモーションデータとして変換・補正して、キャラクターに適用する手法です。

 作例では、以前、Sora2を使って作成したダンス動画の動きを解析させ、プリビズ化しました。VRMのキャラクターを使ってそのモーションを当ててみました。モーションをVRMのリグに適用する過程でスカートが崩れていますが、モーションの理解には都合がいいため、そのまま使っています。そして、Seedance2.0のリファレンスとして使いました。手のひらに動きがないなど、まだまだ改善の余地はありますが、一定の成果は得られています。

△モーション抽出した動画。Seedance 2.0(上)、Sora2の動画(左下)、Blenderプリビズ(右下)

Fable 5はCodexより優秀? ロボット制作で比較した結果

 今回、Fable 5を中心に紹介しましたが、これには理由があり、やはりデザイン系の能力は、Codex(GPT-5.6)に比べて優れていると思われるためです。

 ロボットをモデル化するケースを見てみましょう。同じデザインで作らせても、複雑なデザインは、Codexにはかなり難しい印象です。とはいえ、Fable 5のデザインも、元のデザインをきちんと作れているとは言えず、まだまだ、期待される品質との間にはギャップがありそうです。

 また、プリビズをSeedance2.0のリファレンス動画にする場合には、それほど差がなく、むしろ形状が単純であるほうが良い可能性はあります。次の動画は、同じリファレンス画像を指定して作成した動画です。

△Fable 5とBlenderで作成したプリビズ(下)とSeedance 2.0動画(上)

△Codex(GPT-5.5作成時)とBlenderで作成したプリビズ(下)とSeedance 2.0動画(上)。

 注意点としては、抑制しても、それなりにトークン消費はかかるということです。筆者の環境では、100ドルプランのMaxでも、1シーンを作るのに、Fable 5の週間トークン上限の20~40%は使っています。

 筆者はこれまで、Blenderの習得に何度も挑戦しました。どうにも操作や概念を把握できず、そのたびに諦めていたのですが、まったく操作することなくBlenderを使ってシーン作成をすることができるようになりました。

 もちろん、3Dモデル単体の品質としてはまだまだ課題はありますが、これらは今後有効な方法が発見され、解消されていくと思われます。カメラワークやアニメーションの管理など、さまざまな機能を組み合わせることで、現在でも、プリビズ用途であれば、十分に使えると筆者は感じています。

 多くの人にとって、手を出しにくかった3Dの世界も、LLMとBlenderが接続することで新しい表現の可能性が開かれたことは間違いありません。新しい表現方法が、今後次々と発見されていくことでしょう。

 
AIがBlenderを勝手に操作 3D制作のハードルが一気に下がった