
こんにちは!レイです。AIを使ってWASHABIというバーチャルバンドのプロデュースをしています。
AI動画生成(fal.ai で使える動画生成モデル H3 MAX Turbo など)でMVを作るとき、5秒ごとの短いカットをつなぐ構成ならとても綺麗に作れます。
なぜかというと、現在の動画生成AIは1回で6〜10秒ほどの動画を生成できますが、そのままの速度だと動きがスローモーション気味になりやすいため、自然なスピード(1.25〜1.5倍速)に引き締めると1カットあたり実質5秒前後になるからです。
ところが、「ボーカルが歩き続ける通りを、30秒間ノーカットで引き続けたい」「最後にカメラが上空へ一気に駆け上がって街を見下ろしたい」といった大きなカメラワークをやろうとすると、動画生成AIだけではどうしても限界がきます。
5秒ごとに動画をつなぐと後ろの建物や電柱が毎回別の形にグニャグニャと描き変わってしまい、逆に終了フレームの画像で縛ると、平面の絵が奥へ縮むだけで立体感がなくなってしまいます。
そこで今回、AIエージェントのマルと一緒に作ったのが、「Meshyで1枚のイラストから3Dの建物を作り、Blenderの街に並べて、そこに2Dの背景画を投影する(カメラマップ)」という手法です。
新海誠監督の『君の名は。』など、アニメ映画の背景美術で使われている定番技法「カメラマップ(Camera Projection Mapping)」に、画像生成AIの描き足しを組み合わせることで、「3DCGのポリゴン感を完全に消したまま、手描きアニメの街を自由なカメラワークで駆け抜ける」映像が作れるようになりました。
この記事では、その仕組みとステップを、実際の比較動画(音声つき)とあわせて公開します。記事の最後には、AIエージェントにそのまま渡して再現できる「カメラマップ制作ノウハウ集」も載せています!
この記事は「Meshy」「Blender」「画像生成AI」を組み合わせた応用編です。各ツールの基本的な仕組みや無料プランでの始め方、初期設定から知りたい方は、先にこちらの入門記事を読むとスムーズです!
1. まずは完成形:動画AIのつなぎ合わせ vs 3Dカメラマップ
百聞は一見にしかずということで、まずは「動画生成AI(H3)だけで5秒ごとにカットをつないだ失敗例(左)」と、今回作った「Meshy×Blender カメラマップ版(右)」の比較動画をご覧ください(音声つきで再生できます)。
左の動画AI版は4.5秒や9秒のつなぎ目で後ろの建物や電柱が変形して動いてしまいますが、右のカメラマップ版は建物の形を保ったまま奥へ流れていきます。
さらに、「Meshyの3Dモデルに輪郭線を足しただけの状態(左)」と、そこに「AIで描いた背景画をカメラマップで投影した状態(右)」の比較がこちらです。
カメラマップで背景画を投影することで、3Dモデルの粘土感・ポリゴン感が消え、水彩・アニメ背景画の筆致のまま立体的に動きます。
ここに行き着くまでに試したステップを順番に解説します。
2. Step 1:2Dの板(書き割り)vs Meshyで3D化した建物
最初に試したのは、Blenderの中に「正面から描いた建物のイラスト(2Dの板)」を並べる方法でした。ひさしや看板だけ少し前に出せば立体に見えるのでは?と思ったのですが、カメラが動くと紙芝居(書き割り)の箱庭感が隠せませんでした。
そこで導入したのが、1枚の画像から3Dモデル(GLB)を生成できるAIツール Meshy(メシー) です(※Meshyの料金プランや基本的な使い方については こちらのMeshy入門記事 を参照してください)。
Meshyをうまく動かす「入力画像」のコツ
Meshyに建物のイラストを渡すとき、正面図を渡すと側面の奥行きがうまく作れません。
AIエージェントに指示して、次の条件で画像AI(gpt-image-2.5)に入力画像を作ってもらいました。
- 1軒だけを白背景で描く(隣の建物や電柱を入れない)
- 「左斜め前30°・少し上から」の角度で、正面と左側の壁、屋上までが全部見える構図にする
- 道の左側に置く建物はそのまま使い、右側に置く建物は反転(ミラー)して配置する(看板に文字を入れないでおけば反転しても違和感がありません)

Meshyの設定(無料枠の 6 Lite でも十分使える!)
Meshyには上位の Meshy 7.1 Flagship と、無料プランでも月10個までGLBをダウンロードできる Meshy 6 Lite があります。
両方比べてみたところ、後ろに流れていく背景の建物であれば 6 Lite で十分立体感が出ることが分かりました。

1. Image Enhancement(画像強化):OFF —— オンにすると、せっかく揃えたアニメ調の入力画像が勝手に写実寄りに描き直されてしまいます。
2. PBR Maps(PBRテクスチャ):OFF —— 今回はBlender側で発光マテリアル(フラットな色)として使うため不要で、オフの方が元の色が素直に残ります。
ダウンロードしたGLBモデルをBlenderで読み込んで、真上と四方から確認したものがこちらです。ひさしや出窓、店先の植木鉢までしっかり立体の凹凸になっています。

これをBlenderの通りの両側に並べて、最初の「2Dの板(書き割り)」と比較した動画がこちらです。
右のMeshy版は建物の凹凸や隙間の立体感がしっかり出ていますが、まだ輪郭線がないため白っぽくぼやけて見えます。
この動画を見ると、立体感(奥行き)は間違いなく右側のMeshyの方があるものの、絵としての見やすさは左側の2Dの板の方がハッキリして見えると思います。
右側のMeshyの建物はまだ全体が白っぽく、建物の輪郭(主線)がないため、このままではアニメの背景動画としてはイマイチです。
そこで次のStep 2以降で、この3Dの街に「輪郭線」と「手描き背景画の質感」を足して改善していきます!
3. Step 2:Blender 5.2 で「輪郭線」と「植物のアニメ塗り」を足す
Meshyの建物を並べただけの状態(下の画像)だと、立体感はありますが、アニメのキャラクター(2Dのロク)を上に重ねたときに境界線(主線)がないため3DCGだけ浮いて見えてしまいます(※BlenderへのGLBの読み込み方や、発光マテリアル・Standard色管理の基本設定については こちらのBlender入門記事 を参照してください)。

かといって、Blender標準の線描画(Freestyle や Line Art)を使うと、Meshyの高密度なポリゴンメッシュ(数百万〜数千万ポリゴン)をすべて計算するため、1コマの描画が何分もかかってしまいます。
そこで、Blender 5.2 のコンポジットノード(File Output)から Depth(奥行き)パス と Normal(面の向き)パス を32bit EXRで書き出し、Pythonで高速に輪郭線を抽出する仕組みを作りました。
- 外形の輪郭線:奥行きの逆数の2階差分から、建物と建物の重なりを検出して濃紺(
#343846)の線を引く - 角(エッジ)の線:法線(面の向き)を少しだけ平滑化してから、40°以上折れ曲がる角に線を引く(そのまま計算するとMeshyの表面の細かな凹凸で壁じゅうが線だらけになるため)
- 遠景のフェード:10mより奥の建物は線を少しずつ薄くし、遠くが線で潰れないようにする

さらに、店先の植木や街路樹は3Dのままだと緑の粘土の塊に見えるため、色相で緑の部分を検出して明暗3色のフラットなアニメ塗りに置き換え、葉の境目に細い線を入れる処理(v2)を加えました。

輪郭線なし・初期の太い線(v1)・細い線+植物アニメ塗り(v2)の動きの比較がこちらです(音声つき)。
輪郭線が入ることで、白っぽくぼやけていた建物の形がハッキリ見えるようになります。
線を細く整えて植物を3色アニメ塗りにすることで、さらに自然な2Dイラスト調に近づきました。
4. Step 3:動画AI(3d-to-video)と「カメラマップ」の決定的な違い
線が綺麗に入ったものの、まだ壁や屋根のグラデーションに「3Dモデルっぽさ」が残っています。
ここで最初に試したのが、fal.ai にある minimax/h3-max/3d-to-video という「Blenderの3D描画を渡して動画AIに描き直させるモデル」でした。

建物の形とカメラワークは忠実に保たれますが、質感が写実的な3DCG映画風になってしまいます。
建物の形とカメラの動きは驚くほど正確に保たれるのですが、出力される絵が「写実的な3DCG映画」の質感になってしまい、アニメ調の2Dキャラクターとは馴染みませんでした。
そこで「カメラマップ(Camera Projection Mapping)」へ
動画AIに毎フレーム描き直させるのではなく、「1.5秒おきの視点画像を、画像AI(gpt-image-2.5)で手描きアニメの背景画に清書させ、その絵をプロジェクターのように3Dの街へ貼り付ける」というカメラマップ方式に切り替えました。

これなら、見た目は100%手描き風の2D背景画でありながら、形と動きは100% Blenderの3D空間に従うため、どれだけカメラが動いても筆致がチラついたり建物が変形したりしません。
5. Step 4:カメラが下がり続ける32.5秒間を「順次描き足し」でつなぐ
カメラが少ししか動かないカットなら背景画は1枚で足りますが、カメラが後ろへ下がり続けるワンショットでは、どんどん手前に新しい建物が入ってきます。
そこで、1.5秒おき(カメラが約1.95m下がるごと)の視点を順番に処理する「プログレッシブ描き足しパイプライン」を組みました。
- 0.0秒の視点(1枚目):画面全体を画像AIで背景画に清書し、3D空間へ貼り付ける。
- 1.5秒後の視点(2枚目):1枚目の絵を貼った状態でカメラを1.5秒後ろへ下げて描画する。すると、奥の街並みはすでに1枚目の絵で塗られており、手前に入ってきた左右の建物(画面の約10%)だけが「まだ絵がない状態」になる。
- 未着色部分だけをAIで描き足す:すでに塗られている部分はそのまま固定し、まだ絵がない部分だけをマスク付き画像編集(inpaint)で画像AIに描き足させる。
- これを3.0秒、4.5秒……と繰り返すことで、すでに描いた建物は一度も描き直されないまま、手前の街並みだけがシームレスに伸びていく。

6. 全尺(32.5秒)に広げたときの注意点(AIエージェントが自動で回避!)
5秒のテストから32.5秒(全23視点・975フレーム)の本番へ広げた際、次のような3DCG・画像AI特有の細かい技術トラブルが起きました。
- 視点が増えるとBlenderのシェーダー上限に達して描画が崩れる(→ 全視点の絵を1枚のタイル画像にまとめることで解決)
- 地面までAIに毎回描き足させると徐々に影が濃くなる(→ 地面だけは真上のシームレス模様を1枚敷くことで解決)
- AI描き足しごとの微妙な明るさズレや、カメラキーフレームの加減速(→ 既描部分のLab色合わせと、数式でのカメラ制御で解決)
こうした細かい計算や対策を人間が覚える必要はありません。次の第8章にある「AIエージェント用ノウハウ集」に対策をすべて書き込んであるので、それをAIエージェントに渡すだけで、最初からトラブルを回避した状態で全自動処理してくれます!
7. 完成した全23視点の背景画と、32.5秒ワンショット完成映像
こうして書き出した全23視点のプログレッシブ背景画一覧と、そこに空・2Dのボーカル(ロク)・歌詞を重ねた新曲「#033 まいごみち」(※2026年10月30日公開予定)の32.5秒間ワンショット完成映像(先行抜粋)がこちらです!

32.5秒間カメラが後ろへ引き続けても建物の形が一切崩れず、手描きアニメ背景の質感のまま立体的に流れます。
3DCGの「形が崩れない強み」と、2Dイラストの「手描きの温度感」。
MeshyとBlender、そして画像AIのカメラマップを組み合わせることで、個人制作でもアニメーション映画のような背景カメラワークが作れるようになりました。
8. コピペで使える!AIエージェント用「3Dカメラマップ制作ノウハウ集」
この記事で紹介した「Meshy × Blender × 画像AI カメラマップ」の全工程と、私たちが踏んだ落とし穴の回避策を、AIエージェント(Claude Code・Codex・Antigravityなど)にそのまま読み込ませられるノウハウ集にまとめました。
下の枠をコピーしてプロジェクトのドキュメント(camera_map_knowhow.md など)として保存し、AIエージェントに「このノウハウ集に従ってカメラマップ背景を作って」と指示してみてください!
# 3Dの街+カメラマップ(Camera Projection Mapping)MV背景制作 ノウハウ集
長いワンショット移動や上空への引きなど、カメラが大きく動くアニメ調MV背景を「Meshy(3D建物)× Blender 5.2(配置・描画)× 画像生成AI(手描き背景画の投影)」で制作するためのAIエージェント用実装仕様書です。
## 1. 全体の役割分担(ハイブリッド方式)
- **形の固定(3D)**:Meshyで1枚の建物イラスト(左斜め前30°・白背景・画像強化OFF・PBR OFF)から `.glb` を作り、Blenderの通りに並べる。
- **質感の投影(カメラマップ)**:1.5秒おきの視点をBlenderで描画し、画像生成AI(`gpt-image-2.5` 等)で手描き背景画に清書したものを、描いた視点のカメラから3D空間へプロジェクター投影する。
- **人物(2D)**:主役キャラクターは3D化せず、2Dアニメーション動画のまま切り抜いて合成する。
## 2. プログレッシブ描き足しパイプライン(順次inpaint)
1. **視点1(0.0秒)**:Blender描画(輪郭線+植物アニメ塗り付き)を下書きとして渡し、画像AIで画面全体を手描き背景画に清書する。
2. **視点2以降(1.5秒=約1.95m後退ごと)**:
- それまでに作った背景画を3D空間に投影した状態で、次の視点からレンダリングする。
- すでに前の視点で見えていた奥の建物は塗られた状態で出力され、新しく手前に入ってきた左右の建物(約10%)だけが未着色になる。
- 未着色領域だけをマスク付き `images.edit` で画像AIに描き足させる。
- **重要**:時間方向で2枚の絵をブレンドすると筆致がズレて二重像になるため、空間の各点ごとに「最初に見えた視点の絵」を固定して使うこと。
## 3. 必ず守るべき6つの落とし穴対策(トラブル回避ルール)
1. **テクスチャのアトラス化(全面マゼンタ防止)**:
- Blenderのシェーダーに視点ごとの画像とDepthを個別ノードで渡すと、7視点付近でGPUのテクスチャスロット上限に達し全面マゼンタに壊れる。
- 必ず全視点(例:23視点)の背景画を1枚の大きなタイル画像(スプライトシート)にまとめ、Depthも1枚のEXRアトラスにまとめて、テクスチャ2枚だけでシェーダー参照すること。
2. **地面の分離(影の黒ずみ防止)**:
- 道路や歩道まで毎回AIに描き足させると、回を重ねるごとに影が濃く黒ずんでいく。
- 地面だけはカメラマップ投影から外し、真上から見たシームレスな石畳・白タイル模様(例:10.8m周期)を1枚AIで清書してリピート配置する。
3. **AI描き足しの色ズレ補正(Lab中央値マッチ)**:
- 画像AIが返す画像は毎回わずかに明度・色味がズレる。画面全体の平均色で補正すると、黒い縁などが混入した際に白飛びする。
- 必ず「描き足す境界から80px以内にある、地平線より上の既描の建物壁面」だけでLab色空間の中央値を測り、差分を差し引くこと(明度差が8以上の場合は自動リトライ)。
4. **オクルージョン(見えていたか)判定は近傍の最小〜最大で**:
- 1ピクセルのDepth値だけで比較すると斜めの壁や遠景で外れるため、近傍3×3の最小〜最大Depthで可視判定を行う。
5. **カメラはキーフレームを使わず数式で直接配置**:
- Blenderのキーフレーム補間(ベジェ)による加減速で視点位置がズレるのを防ぐため、`frame_change_pre` ハンドラで毎フレーム直接カメラ座標を計算して置く。
6. **空は1枚目の背景画から固定レイヤーとして分離**:
- 全コマの3D描画では空を透明(アルファ0)で書き出し、合成時に1枚目の背景画の空を固定背景として一番奥に敷く。

