
こんにちは!レイです。AIを使ってWASHABIというバーチャルバンドのプロデュースをしています。
動画生成AI(たとえば fal.ai の H3 MAX や H3 MAX Turbo など)でMVを作るとき、短いカットをつなぐのではなく「カメラが1つの部屋の中を縦横無尽に動き回る、長回しのワンカットMV」を作れたらカッコいいですよね。
ただ、動画生成AIだけでカメラを大きく動かすと、少し横に振っただけで部屋の壁や家具が別物に変わってしまい、同じ空間を保ったまま1曲を通すことができません。
そこで新曲「#035 シークレット」(54.8秒・ガレージロック)では、AIエージェントのマルと一緒に「① 3Dの部屋(背景)」「② 青い市松ガイドで撮ったH3 MAXキャラ動画(人物)」「③ 部屋の照明色・リムライト・煙の統合(仕上げ)」を分け、同じ3Dカメラで重ねるパイプラインを作りました!
この記事には「Blenderで3Dの部屋を組む」「オブジェクトごとにAIの絵を焼き込む」「青い市松を抜いて合成する」といった工程が出てきますが、僕(レイ)が手作業でやったわけではありません。
Blenderの画面は一度も開かず、AIエージェント(Claude Code・Codex・Antigravityなど)に指示を出し、出てきた結果を見て直してもらうやり取りを重ねながら、3Dの組み立てから塗装・合成・仕上げまでをPythonスクリプトで進めました。
記事の最後に、同じ流れをAIエージェントに組んでもらうためのプロンプトのたたき台も載せています(そのまま渡せば完成するものではなく、途中の確認と調整は必要です)。
1. この3ステップ(+Step 0)で何ができるのか?
まずは、この手法で完成した「#035 シークレット」のワンカットMV(全編54.8秒)をご覧ください!
冒頭の客席テーブルからステージ、間奏の移動、2番Aメロのバーカウンター、ラストのシャウト&サビまで、カメラが地下バーの中を54.8秒間動き続けても、レンガ壁・アンプ・酒棚のボトルが一切破綻せず1つの空間としてつながっています。
この記事で紹介する「Step 0 + 3ステップ」を使うと、最初は簡素な3Dモデルだった空間が、段階を追って「破綻ゼロの2Dアニメ・ワンカットMV」へと進化していきます。

実際の2番Aメロ(バーカウンターの場面)が、Step 0 から Step 3 でどう変わっていくかを並べたのがこちらです!

- まず Step 0(3Dモデル&カメラワーク設計)では:Blenderで簡素な3Dの部屋と家具を組み、曲の展開に合わせて「カメラがいつ・どこを通るか」の設計図(プリビズ)を作ります。
- Step 1(3D部屋のカメラマップAI塗装)では:カメラの通り道から見た3Dの線画を画像生成AI(
gpt-image-2.5)で塗り、壁・棚・15種の酒瓶などオブジェクトごとに貼り付けて「どこから撮っても絵柄が崩れない3D背景」を作ります。 - Step 2(青い市松ガイドでのH3 MAX生成&切り出し合成)では:部屋を「細かい青い市松模様」にしたガイド動画で動画生成AI(fal.ai
H3 MAX)にロクと手元の小物(グラス・キャンドル)を描かせ、青い市松だけを抜いてStep 1の背景へ天板の反射と共に重ねます。 - Step 3(光・色味・煙で全体を馴染ませる仕上げ)では:「部屋の照明色の反映・暗部の色合わせ・輪郭のリムライト・カメラと連動する煙」を重ねて、AIで描いたロクを3Dの部屋へ完全に馴染ませます。
2. Step 0(3D設計):Blenderで簡素な3Dの部屋とカメラワークを作る
ワンカットMVで一番大切な土台は、動画生成AIを回す前に「部屋の中のどこに何があり、カメラがどういう軌道で動くか」を簡素な3Dモデルで先に決めてしまうことです。
まずは Python の librosa で楽曲(54.83秒)の全ビート時刻と各フレーズの秒数を抽出し、それに合わせて Blender 上で地下バーの簡素な3Dモデル(ステージ、アンプ、ドラム、客席テーブル、バーカウンター、酒棚)と人型ガイドを配置しました。
曲の展開に合わせて、54.8秒を5つのブロック(①冒頭の客席テーブル → ②1番サビのステージ → ③間奏の移動 → ④2番Aメロのバーカウンター → ⑤シャウト&2番サビ)に分け、カメラの寄り・引き・回り込みを設計したプリビズ映像がこちらです。
動画生成AIを回す前に(費用0円で)、単色の3Dモデルと人型ガイドの上で、曲のビートとカメラの寄り・引き・回り込みのスピードが気持ちよく噛み合うかを確認します。
3. Step 1(背景の層):通り道の線画をAIで塗り、3Dの部屋と酒瓶にカメラマップで貼る
Step 0 で簡素な3Dモデルとカメラワークが決まったら、次はそれを「手描きアニメ・イラストの密度を持った地下バーの背景」に進化させます。
カメラが部屋の中を大きく動き回るワンカットMVで、どの角度から見ても継ぎ目やチラつきが出ないようにする秘訣は、「3Dモデルの輪郭線画を画像生成AI(gpt-image-2.5)で塗り、部屋のオブジェクト(壁・棚・アンプ・酒瓶など)ごとにカメラマップで焼き込むこと」です。
たとえば、2番Aメロで大きく映る「バーの棚と酒瓶」が、どうやって簡素な3Dモデルから完成背景になるのかを3段階で並べたのがこちらです!

1. ① 3Dモデルの背景(塗装前・左):
- 塗装前の段階では、壁も棚も単色の板で、棚に並ぶボトルも緑色のシンプルな3D円柱(5種類のボトル形状)だけです。
2. ② カメラマップで貼り付ける元画像(中央):
- カメラの通り道から見た3Dの輪郭線画を書き出し、画像生成AI(gpt-image-2.5)で「赤い壁の質感・真鍮の棚板・アンプの網」や「15種類の酒瓶の正面イラスト(液体の色・ラベル・ガラスのツヤ)」を塗らせます。
- ポイント:このとき、空中の光の筋や煙、天板の反射は元画像に塗らせません(塗ってしまうと壁に貼り付いて見えるため、光や反射は3D側で計算します)。
3. ③ カメラマップ後の3D背景(完成・右):
- 塗った元画像を3Dの壁・棚・15種のボトルに正面から投影(カメラマップ/UV焼き込み)し、カウンター天板の3D鏡面反射とスポットライトを加えてレンダリングします。
- 1本1本の酒瓶や棚が3Dの形を持っているため、下段右のようにカメラが斜めに回り込んでも、瓶の立体感やカウンター天板への映り込みが一切崩れません。
こうして完成した「背景のみ」の1曲フル映像がこちらです!
Step 0 の簡素な3Dモデルに、カメラマップ塗装と15種の酒瓶・6種のポスター・床やカウンター天板の3D反射を組み込んだ「背景のみ」の完成映像です。54秒間どこへカメラが回り込んでもチラつきや破綻が一切ありません!
4. Step 2(人物の層):「青い市松ガイド」でH3 MAXのロクを生成し、切り出して背景に重ねる
Step 1 で背景の3D空間ができたら、同じカメラの動きでキャラクター(ロク)のアニメーションを動画生成AI(fal.ai H3 MAX / minimax/h3-max/reference-to-video)で作って重ねます。
(※ロクの全身のロックな動きをどうやって作ったかは、同時公開の 記事②:ロックシンガーの動きをAIで作ろうとしたら、結局自分が演じることになった ― 動画生成AI(H3 MAX)×3D棒人間キャプチャで作る2DアニメMV ― で詳しく解説しています!)
ここでは「① 人形+青い市松 → ② ロク+青い市松(H3生成) → ③ ロク切り出し → ④ ロク+背景」の4段階で合成を行います。実際のフレームで4段階を並べたのがこちらです!

1. ① 人形+青い市松(Blenderで出力した3Dガイド・左上):
- Step 1の背景で差し替える部分(壁やカウンター本体)はすべて「細かい青い市松模様(チェッカーボード)」にし、H3に描かせたい「ロク(濃い青の人形)」「座るスツール」「手で触れるグラス・赤いキャンドル」だけに色を付けたガイド動画を書き出します。
- 市松模様にしておくことで、カメラが動いたときのパースや回転がH3に正確に伝わります(プロンプトには matte blue studio set surfaces と記述し、余計な背景物を描かせないようにします)。
2. ② ロク+青い市松(H3が出力した動画・右上):
- ガイド動画とロクの参照画像をH3に渡すと、青い市松の部屋のカメラワークに追従したまま、ロクの歌唱・グラスの氷とライム・揺れるキャンドルの炎が綺麗に清書されて出てきます。
3. ③ ロク&小物の切り出し(青い市松だけを透過・左下):
- 青の強さ(B - max(R, G))を使って、背景の青い市松模様だけをクロマキーで透明化し、ロク・スツール・グラス・キャンドルだけを切り出します(透明なグラスの中も青が抜けて、後ろのカウンターが自然に透けるようになります)。
4. ④ ロク+3D背景(天板への映り込みを足して合成・右下):
- 切り出したロクと小物を Step 1 の3D背景に重ねます。その際、H3のわずかなカメラの先行・遅延を「小数フレーム補間(frac_bg)」でピタッと合わせ、さらにグラスとキャンドルのすぐ下にだけ3D天板の鏡面反射(折り返し)を足すことで、カウンターの上にしっかり接地させます。
この4段階で作ったバーカウンターの合成動画がこちらです!
青い市松模様の部分だけをクロマキーで綺麗に抜き、Step 1 で作った3Dのバーカウンター背景と合成した映像です。小数フレーム補間と天板の映り込みによって、グラス・キャンドル・ロクがカウンターにピタッと接地しています!
5. Step 3(仕上げ):光・色味・煙でAIキャラを3D背景に馴染ませる
Step 2 で3Dの部屋にH3のロクを切り抜いて重ねると、位置や反射は合っていても、最初は「キャラだけがくっきりしすぎて、背景から少し浮いて見える(切り抜きを貼った感が出る)」という状態になります。
分析すると、キャラが背景から浮いて見える理由は次の4つでした。
- くっきりさ(解像感)の違い:3D背景の柔らかい質感に対して、H3の輪郭線が鋭すぎる。
- 環境光の違い:部屋の赤や青緑のスポットライトの色が、H3の均一な光で塗られたロクに乗っていない。
- 黒の違い:ロクの黒いTシャツが真っ黒(無彩色)な一方、部屋の暗部は赤みを帯びた黒になっている。
- 空気(大気)の有無:カメラとロクの間に、地下バー特有のもや(ヘイズ)や光の滲みがない。
これを解決するため、動画AIの再生成は一切行わず(費用0円)、Pythonの合成仕上げスクリプト(look.py)で以下の2つの処理をかけました。
- ① キャラを部屋に馴染ませる処理(
look.integrate):周囲の背景の照明色比率をロクに乗算し、暗部(黒シャツ)に部屋の暗部色を足し、ロクの輪郭の内側(10〜22px)に背後の照明の光を回り込ませ(ライトラップ/リムライト)、最後に輪郭を0.8pxだけ柔らかく馴染ませます。 - ② 空間全体の空気と光(
look.atmos):高輝度部分の光の滲み(ブルーム)、天井照明からの光の筋(ゴッドレイ)、周辺減光、フィルム粒子、そしてカメラの動きに合わせて空間を流れるスモークを全編に重ねます。
強さを「元(処理なし)・弱・中・強」の4段階で比較したテスト映像がこちらです(本番では「中」を採用しました)。
4分割の比較です。「中(左下)」では、ロクの黒Tシャツや肌に地下バーの赤・青緑の照明と煙の空気感が乗り、3D背景と完全に1つの絵として馴染んでいます!
こうして Step 0〜Step 3 のすべてを統合した完成形が、こちらの全編MVです!
Step 0 の3Dカメラ設計、Step 1 のカメラマップ塗装背景、Step 2 の青い市松×H3キャラ合成、Step 3 の光・煙の馴染ませ処理を統合した最終マスターです。
6. コピペで使える!AIエージェント用「3D部屋×AI塗装×H3ワンカットMV制作プロンプト」
以下のプロンプトは、この3層ワンカットMVパイプラインを AIエージェント(Claude Code・Codex・Antigravityなど)に組んでもらうためのたたき台です。素材や曲に合わせて調整し、各ステップの結果を見ながら進めてください。
# AIエージェント用:3D部屋×カメラマップAI塗装×H3合成によるワンカットMV制作仕様書
あなた(AIエージェント)は、Blenderヘッドレス実行(Python `bpy`)・画像生成AI・動画生成AI(fal.ai `minimax/h3-max/reference-to-video`)・Python合成(OpenCV/NumPy/FFmpeg)を組み合わせて、カメラが室内を自由に動き回っても背景が一切破綻しない「ワンカット風アニメーションMV」を構築します。
## Step 0:音源解析と3Dカメラ軌道(Previz)の構築
1. `librosa` で音源のBPM・拍時刻・ボーカル強度包絡線(RMS)を抽出し、歌詞の各行の発声区間(開始・終了秒)を特定する。
2. Blenderでステージ・部屋の簡素な3Dモデルを組み、曲の構成(5秒前後の区間ブロック)に合わせてカメラとキャラクターの移動パスを設計する。
- 鉄則:背中を追い続けるゲーム風の構図は避け、先回りして正面・斜め前から捉える。バストアップの寄りと全身の引きを大きく動かしてつなぐ。
3. 生成AIを回す前に、3Dの仮マネキンと音源を合わせたプリビズ動画を書き出してユーザーの確認を取る。
## Step 1:カメラマップAI塗装による3D背景の構築(入れ替わりゼロ方式)
1. **構造物の線画塗装とカメラマップ焼き込み**:
- 壁・柱・棚・ステージ機材など立ったオブジェクトについて、カメラの通り道から見た複数視点(6〜10視点)の線画を書き出し、画像生成AIで「面の上の色と陰影・光源周りの色だまり」だけを塗らせる(空中の光の筋・煙・反射は塗らせない)。
- 箱型のオブジェクトは最も正面から捉えた1視点の絵を選び、壁面は角度ごとに視点を割り当ててオブジェクトごとのテクスチャとして焼き込む(オブジェクトの途中に切り替え境界を作らない)。
2. **小道具の正面塗装と3D反射・大気**:
- 棚のボトルなどは3D形状の輪郭線画を正射影で書き出し、画像生成AIで塗った正面画をUV投影して乱数配置する。
- 床・ステージ面・テーブル天板には3Dの鏡面反射を持たせ、スポットライトを重ねてレンダリングする。
## Step 2:青い市松ガイドによるH3キャラクター生成・切り出し・背景合成
1. **ガイド動画の作成(人形+青い市松)**:
- 3Dで描画する背景オブジェクト(壁・カウンター本体など)はすべて「細かい青い市松模様(チェッカーボード)」に置き換え、H3に描かせるキャラクター・椅子・手元の小物だけに色を付けたガイド動画を出力フレーム数ぴったりで作る。
- プロンプトには場所を連想させる語を入れず、`matte blue studio set surfaces` と肯定形で記述する。
2. **青抜き切り出しと小数フレーム補間(`frac_bg`)・天板反射**:
- H3の出力動画から青の強さ(`B - max(R, G)`)で青い市松の部屋だけを透過し、キャラクターと小物を切り出す。
- コマごとに青い市松のカメラ進行度を計測し、ガウス平滑化(σ=1コマ)した小数の背景フレーム番号を求め、前後フレームを補間したStep 1の3D背景に重ねる。テーブル天板には接地部分の反射だけを折り返して合成する。
## Step 3:光・色味・煙で全体を馴染ませるルック統合(`look.py`)
1. **キャラクターの馴染ませ(`look.integrate`)**:
- キャラクターが背景から浮く4要因(解像度差・環境光・黒浮き・空気感)を消すため、①周囲背景の照明色比率の乗算、②暗部への部屋色加算、③輪郭内側への背景光ライトラップ(リムライト)、④微細なブラー(0.8px)をかけて合成する。
2. **空間全体の空気感(`look.atmos`)**:
- 最後に全編へ、高輝度ブルーム・天井照明からのゴッドレイ・周辺減光・フィルム粒子、および画面の位相相関に連動して流れるスモークを重ねて書き出す。

