← MAKING / LAB 一覧へ戻る
🎬 MV・3D・映像 2026-10-22

2Dイラストから3Dの街へ:Meshy × Blender「カメラマップ」でポリゴン感ゼロの背景MVを作る

1枚の建物イラストをMeshyで3D化してBlenderの通りに並べ、画像AIで清書した背景画をカメラマップ投影することで、3DCGのポリゴン感を消して長いワンショット背景を作る全工程。

2Dイラストから3Dの街へ:Meshy × Blender カメラマップ

こんにちは!レイです。AIを使ってWASHABIというバーチャルバンドのプロデュースをしています。

AI動画生成(fal.ai で使える動画生成モデル H3 MAX Turbo など)でMVを作るとき、5秒ごとの短いカットをつなぐ構成ならとても綺麗に作れます。
なぜかというと、現在の動画生成AIは1回で6〜10秒ほどの動画を生成できますが、そのままの速度だと動きがスローモーション気味になりやすいため、自然なスピード(1.25〜1.5倍速)に引き締めると1カットあたり実質5秒前後になるからです。

ところが、「ボーカルが歩き続ける通りを、30秒間ノーカットで引き続けたい」「最後にカメラが上空へ一気に駆け上がって街を見下ろしたい」といった大きなカメラワークをやろうとすると、動画生成AIだけではどうしても限界がきます。

5秒ごとに動画をつなぐと後ろの建物や電柱が毎回別の形にグニャグニャと描き変わってしまい、逆に終了フレームの画像で縛ると、平面の絵が奥へ縮むだけで立体感がなくなってしまいます。

そこで今回、AIエージェントのマルと一緒に作ったのが、「Meshyで1枚のイラストから3Dの建物を作り、Blenderの街に並べて、そこに2Dの背景画を投影する(カメラマップ)」という手法です。

新海誠監督の『君の名は。』など、アニメ映画の背景美術で使われている定番技法「カメラマップ(Camera Projection Mapping)」に、画像生成AIの描き足しを組み合わせることで、「3DCGのポリゴン感を完全に消したまま、手描きアニメの街を自由なカメラワークで駆け抜ける」映像が作れるようになりました。

この記事では、その仕組みとステップを、実際の比較動画(音声つき)とあわせて公開します。記事の最後には、AIエージェントにそのまま渡して再現できる「カメラマップ制作ノウハウ集」も載せています!

初めての方へ:Meshy・Blender・画像/動画AIの基本記事はこちら

この記事は「Meshy」「Blender」「画像生成AI」を組み合わせた応用編です。各ツールの基本的な仕組みや無料プランでの始め方、初期設定から知りたい方は、先にこちらの入門記事を読むとスムーズです!

  • Meshyの基本:【Meshy入門】1枚のイラストから3Dモデルを作る「Meshy」の基本と無料プランの設定
  • Blenderの基本:【Blender入門】2Dイラスト・MV背景制作のための「Blender 5.2」超入門ガイド
  • 画像・動画AIの基本:【画像・動画AI入門】gpt-image-2.5 と fal.ai(H3)で同じキャラの原画・アニメ動画を作る基本
  • AIエージェントの基本:【AIエージェント入門】Claude Code・Codex・Antigravityとは?

  • 1. まずは完成形:動画AIのつなぎ合わせ vs 3Dカメラマップ

    百聞は一見にしかずということで、まずは「動画生成AI(H3)だけで5秒ごとにカットをつないだ失敗例(左)」と、今回作った「Meshy×Blender カメラマップ版(右)」の比較動画をご覧ください(音声つきで再生できます)。

    左(NG):動画AI(H3)で5秒ごとにつないだ版 / 右(OK):Meshy×Blender カメラマップ版

    左の動画AI版は4.5秒や9秒のつなぎ目で後ろの建物や電柱が変形して動いてしまいますが、右のカメラマップ版は建物の形を保ったまま奥へ流れていきます。

    さらに、「Meshyの3Dモデルに輪郭線を足しただけの状態(左)」と、そこに「AIで描いた背景画をカメラマップで投影した状態(右)」の比較がこちらです。

    左:Meshy 3Dモデル+輪郭線 / 右:カメラマップ(背景画投影)

    カメラマップで背景画を投影することで、3Dモデルの粘土感・ポリゴン感が消え、水彩・アニメ背景画の筆致のまま立体的に動きます。

    ここに行き着くまでに試したステップを順番に解説します。


    2. Step 1:2Dの板(書き割り)vs Meshyで3D化した建物

    最初に試したのは、Blenderの中に「正面から描いた建物のイラスト(2Dの板)」を並べる方法でした。ひさしや看板だけ少し前に出せば立体に見えるのでは?と思ったのですが、カメラが動くと紙芝居(書き割り)の箱庭感が隠せませんでした。

    そこで導入したのが、1枚の画像から3Dモデル(GLB)を生成できるAIツール Meshy(メシー) です(※Meshyの料金プランや基本的な使い方については こちらのMeshy入門記事 を参照してください)。

    Meshyをうまく動かす「入力画像」のコツ

    Meshyに建物のイラストを渡すとき、正面図を渡すと側面の奥行きがうまく作れません。
    AIエージェントに指示して、次の条件で画像AI(gpt-image-2.5)に入力画像を作ってもらいました。

    • 1軒だけを白背景で描く(隣の建物や電柱を入れない)
    • 「左斜め前30°・少し上から」の角度で、正面と左側の壁、屋上までが全部見える構図にする
    • 道の左側に置く建物はそのまま使い、右側に置く建物は反転(ミラー)して配置する(看板に文字を入れないでおけば反転しても違和感がありません)
    画像AIで作った「左斜め前30°・白背景」の建物入力画像3種(左から:ベーカリー・レコード店・花屋)
    画像AIで作った「左斜め前30°・白背景」の建物入力画像3種(左から:ベーカリー・レコード店・花屋)

    Meshyの設定(無料枠の 6 Lite でも十分使える!)

    Meshyには上位の Meshy 7.1 Flagship と、無料プランでも月10個までGLBをダウンロードできる Meshy 6 Lite があります。
    両方比べてみたところ、後ろに流れていく背景の建物であれば 6 Lite で十分立体感が出ることが分かりました。

    Meshy 7.1 Flagship(上段)と 6 Lite(下段)の比較
    Meshy 7.1 Flagship(上段)と 6 Lite(下段)の比較
    Meshyで必ずオフにする2つの設定

    1. Image Enhancement(画像強化):OFF —— オンにすると、せっかく揃えたアニメ調の入力画像が勝手に写実寄りに描き直されてしまいます。

    2. PBR Maps(PBRテクスチャ):OFF —— 今回はBlender側で発光マテリアル(フラットな色)として使うため不要で、オフの方が元の色が素直に残ります。

    ダウンロードしたGLBモデルをBlenderで読み込んで、真上と四方から確認したものがこちらです。ひさしや出窓、店先の植木鉢までしっかり立体の凹凸になっています。

    Blenderに読み込んだMeshy 6 LiteのGLBモデル(四方+上面の確認図)
    Blenderに読み込んだMeshy 6 LiteのGLBモデル(四方+上面の確認図)

    これをBlenderの通りの両側に並べて、最初の「2Dの板(書き割り)」と比較した動画がこちらです。

    左:2Dの板(書き割り)を並べた通り / 右:Meshyの3D建物を並べた通り

    右のMeshy版は建物の凹凸や隙間の立体感がしっかり出ていますが、まだ輪郭線がないため白っぽくぼやけて見えます。

    この動画を見ると、立体感(奥行き)は間違いなく右側のMeshyの方があるものの、絵としての見やすさは左側の2Dの板の方がハッキリして見えると思います。
    右側のMeshyの建物はまだ全体が白っぽく、建物の輪郭(主線)がないため、このままではアニメの背景動画としてはイマイチです。

    そこで次のStep 2以降で、この3Dの街に「輪郭線」と「手描き背景画の質感」を足して改善していきます!


    3. Step 2:Blender 5.2 で「輪郭線」と「植物のアニメ塗り」を足す

    Meshyの建物を並べただけの状態(下の画像)だと、立体感はありますが、アニメのキャラクター(2Dのロク)を上に重ねたときに境界線(主線)がないため3DCGだけ浮いて見えてしまいます(※BlenderへのGLBの読み込み方や、発光マテリアル・Standard色管理の基本設定については こちらのBlender入門記事 を参照してください)。

    Meshyの建物をBlenderに並べただけの状態(輪郭線なし)
    Meshyの建物をBlenderに並べただけの状態(輪郭線なし)

    かといって、Blender標準の線描画(Freestyle や Line Art)を使うと、Meshyの高密度なポリゴンメッシュ(数百万〜数千万ポリゴン)をすべて計算するため、1コマの描画が何分もかかってしまいます。

    そこで、Blender 5.2 のコンポジットノード(File Output)から Depth(奥行き)パス と Normal(面の向き)パス を32bit EXRで書き出し、Pythonで高速に輪郭線を抽出する仕組みを作りました。

    • 外形の輪郭線:奥行きの逆数の2階差分から、建物と建物の重なりを検出して濃紺(#343846)の線を引く
    • 角(エッジ)の線:法線(面の向き)を少しだけ平滑化してから、40°以上折れ曲がる角に線を引く(そのまま計算するとMeshyの表面の細かな凹凸で壁じゅうが線だらけになるため)
    • 遠景のフェード:10mより奥の建物は線を少しずつ薄くし、遠くが線で潰れないようにする
    Depth・Normalパスから抽出した輪郭線マスクと、線を重ねた結果
    Depth・Normalパスから抽出した輪郭線マスクと、線を重ねた結果

    さらに、店先の植木や街路樹は3Dのままだと緑の粘土の塊に見えるため、色相で緑の部分を検出して明暗3色のフラットなアニメ塗りに置き換え、葉の境目に細い線を入れる処理(v2)を加えました。

    植物のアニメ塗り処理(Before / After)
    植物のアニメ塗り処理(Before / After)

    輪郭線なし・初期の太い線(v1)・細い線+植物アニメ塗り(v2)の動きの比較がこちらです(音声つき)。

    左:輪郭線なし / 右:輪郭線あり(v1)

    輪郭線が入ることで、白っぽくぼやけていた建物の形がハッキリ見えるようになります。

    左:輪郭線 v1(太め) / 右:輪郭線 v2(細線+植物アニメ塗り)

    線を細く整えて植物を3色アニメ塗りにすることで、さらに自然な2Dイラスト調に近づきました。


    4. Step 3:動画AI(3d-to-video)と「カメラマップ」の決定的な違い

    線が綺麗に入ったものの、まだ壁や屋根のグラデーションに「3Dモデルっぽさ」が残っています。
    ここで最初に試したのが、fal.ai にある minimax/h3-max/3d-to-video という「Blenderの3D描画を渡して動画AIに描き直させるモデル」でした。

    H3 3d-to-video で変換したフレーム比較
    H3 3d-to-video で変換したフレーム比較
    左:Blender描画 / 右:H3 3d-to-video の出力

    建物の形とカメラワークは忠実に保たれますが、質感が写実的な3DCG映画風になってしまいます。

    建物の形とカメラの動きは驚くほど正確に保たれるのですが、出力される絵が「写実的な3DCG映画」の質感になってしまい、アニメ調の2Dキャラクターとは馴染みませんでした。

    そこで「カメラマップ(Camera Projection Mapping)」へ

    動画AIに毎フレーム描き直させるのではなく、「1.5秒おきの視点画像を、画像AI(gpt-image-2.5)で手描きアニメの背景画に清書させ、その絵をプロジェクターのように3Dの街へ貼り付ける」というカメラマップ方式に切り替えました。

    Blenderの3D描画(下書き)と、画像AIで手描きに清書した背景画
    Blenderの3D描画(下書き)と、画像AIで手描きに清書した背景画

    これなら、見た目は100%手描き風の2D背景画でありながら、形と動きは100% Blenderの3D空間に従うため、どれだけカメラが動いても筆致がチラついたり建物が変形したりしません。


    5. Step 4:カメラが下がり続ける32.5秒間を「順次描き足し」でつなぐ

    カメラが少ししか動かないカットなら背景画は1枚で足りますが、カメラが後ろへ下がり続けるワンショットでは、どんどん手前に新しい建物が入ってきます。

    そこで、1.5秒おき(カメラが約1.95m下がるごと)の視点を順番に処理する「プログレッシブ描き足しパイプライン」を組みました。

    1. 0.0秒の視点(1枚目):画面全体を画像AIで背景画に清書し、3D空間へ貼り付ける。
    2. 1.5秒後の視点(2枚目):1枚目の絵を貼った状態でカメラを1.5秒後ろへ下げて描画する。すると、奥の街並みはすでに1枚目の絵で塗られており、手前に入ってきた左右の建物(画面の約10%)だけが「まだ絵がない状態」になる。
    3. 未着色部分だけをAIで描き足す:すでに塗られている部分はそのまま固定し、まだ絵がない部分だけをマスク付き画像編集(inpaint)で画像AIに描き足させる。
    4. これを3.0秒、4.5秒……と繰り返すことで、すでに描いた建物は一度も描き直されないまま、手前の街並みだけがシームレスに伸びていく。
    0.0秒から5.0秒までの6視点で、手前の建物が順番に描き足されていく様子
    0.0秒から5.0秒までの6視点で、手前の建物が順番に描き足されていく様子

    6. 全尺(32.5秒)に広げたときの注意点(AIエージェントが自動で回避!)

    5秒のテストから32.5秒(全23視点・975フレーム)の本番へ広げた際、次のような3DCG・画像AI特有の細かい技術トラブルが起きました。

    • 視点が増えるとBlenderのシェーダー上限に達して描画が崩れる(→ 全視点の絵を1枚のタイル画像にまとめることで解決)
    • 地面までAIに毎回描き足させると徐々に影が濃くなる(→ 地面だけは真上のシームレス模様を1枚敷くことで解決)
    • AI描き足しごとの微妙な明るさズレや、カメラキーフレームの加減速(→ 既描部分のLab色合わせと、数式でのカメラ制御で解決)

    こうした細かい計算や対策を人間が覚える必要はありません。次の第8章にある「AIエージェント用ノウハウ集」に対策をすべて書き込んであるので、それをAIエージェントに渡すだけで、最初からトラブルを回避した状態で全自動処理してくれます!


    7. 完成した全23視点の背景画と、32.5秒ワンショット完成映像

    こうして書き出した全23視点のプログレッシブ背景画一覧と、そこに空・2Dのボーカル(ロク)・歌詞を重ねた新曲「#033 まいごみち」(※2026年10月30日公開予定)の32.5秒間ワンショット完成映像(先行抜粋)がこちらです!

    全23視点のプログレッシブ背景画(地面分離・色合わせ済み)
    全23視点のプログレッシブ背景画(地面分離・色合わせ済み)
    完成映像:Meshy × Blender カメラマップによる 0〜32.5秒ワンショット背景(#033 まいごみち 先行抜粋)

    32.5秒間カメラが後ろへ引き続けても建物の形が一切崩れず、手描きアニメ背景の質感のまま立体的に流れます。

    3DCGの「形が崩れない強み」と、2Dイラストの「手描きの温度感」。
    MeshyとBlender、そして画像AIのカメラマップを組み合わせることで、個人制作でもアニメーション映画のような背景カメラワークが作れるようになりました。


    8. コピペで使える!AIエージェント用「3Dカメラマップ制作ノウハウ集」

    この記事で紹介した「Meshy × Blender × 画像AI カメラマップ」の全工程と、私たちが踏んだ落とし穴の回避策を、AIエージェント(Claude Code・Codex・Antigravityなど)にそのまま読み込ませられるノウハウ集にまとめました。

    下の枠をコピーしてプロジェクトのドキュメント(camera_map_knowhow.md など)として保存し、AIエージェントに「このノウハウ集に従ってカメラマップ背景を作って」と指示してみてください!

    # 3Dの街+カメラマップ(Camera Projection Mapping)MV背景制作 ノウハウ集
    
    長いワンショット移動や上空への引きなど、カメラが大きく動くアニメ調MV背景を「Meshy(3D建物)× Blender 5.2(配置・描画)× 画像生成AI(手描き背景画の投影)」で制作するためのAIエージェント用実装仕様書です。
    
    ## 1. 全体の役割分担(ハイブリッド方式)
    - **形の固定(3D)**:Meshyで1枚の建物イラスト(左斜め前30°・白背景・画像強化OFF・PBR OFF)から `.glb` を作り、Blenderの通りに並べる。
    - **質感の投影(カメラマップ)**:1.5秒おきの視点をBlenderで描画し、画像生成AI(`gpt-image-2.5` 等)で手描き背景画に清書したものを、描いた視点のカメラから3D空間へプロジェクター投影する。
    - **人物(2D)**:主役キャラクターは3D化せず、2Dアニメーション動画のまま切り抜いて合成する。
    
    ## 2. プログレッシブ描き足しパイプライン(順次inpaint)
    1. **視点1(0.0秒)**:Blender描画(輪郭線+植物アニメ塗り付き)を下書きとして渡し、画像AIで画面全体を手描き背景画に清書する。
    2. **視点2以降(1.5秒=約1.95m後退ごと)**:
       - それまでに作った背景画を3D空間に投影した状態で、次の視点からレンダリングする。
       - すでに前の視点で見えていた奥の建物は塗られた状態で出力され、新しく手前に入ってきた左右の建物(約10%)だけが未着色になる。
       - 未着色領域だけをマスク付き `images.edit` で画像AIに描き足させる。
       - **重要**:時間方向で2枚の絵をブレンドすると筆致がズレて二重像になるため、空間の各点ごとに「最初に見えた視点の絵」を固定して使うこと。
    
    ## 3. 必ず守るべき6つの落とし穴対策(トラブル回避ルール)
    1. **テクスチャのアトラス化(全面マゼンタ防止)**:
       - Blenderのシェーダーに視点ごとの画像とDepthを個別ノードで渡すと、7視点付近でGPUのテクスチャスロット上限に達し全面マゼンタに壊れる。
       - 必ず全視点(例:23視点)の背景画を1枚の大きなタイル画像(スプライトシート)にまとめ、Depthも1枚のEXRアトラスにまとめて、テクスチャ2枚だけでシェーダー参照すること。
    2. **地面の分離(影の黒ずみ防止)**:
       - 道路や歩道まで毎回AIに描き足させると、回を重ねるごとに影が濃く黒ずんでいく。
       - 地面だけはカメラマップ投影から外し、真上から見たシームレスな石畳・白タイル模様(例:10.8m周期)を1枚AIで清書してリピート配置する。
    3. **AI描き足しの色ズレ補正(Lab中央値マッチ)**:
       - 画像AIが返す画像は毎回わずかに明度・色味がズレる。画面全体の平均色で補正すると、黒い縁などが混入した際に白飛びする。
       - 必ず「描き足す境界から80px以内にある、地平線より上の既描の建物壁面」だけでLab色空間の中央値を測り、差分を差し引くこと(明度差が8以上の場合は自動リトライ)。
    4. **オクルージョン(見えていたか)判定は近傍の最小〜最大で**:
       - 1ピクセルのDepth値だけで比較すると斜めの壁や遠景で外れるため、近傍3×3の最小〜最大Depthで可視判定を行う。
    5. **カメラはキーフレームを使わず数式で直接配置**:
       - Blenderのキーフレーム補間(ベジェ)による加減速で視点位置がズレるのを防ぐため、`frame_change_pre` ハンドラで毎フレーム直接カメラ座標を計算して置く。
    6. **空は1枚目の背景画から固定レイヤーとして分離**:
       - 全コマの3D描画では空を透明(アルファ0)で書き出し、合成時に1枚目の背景画の空を固定背景として一番奥に敷く。
    🎛️ Suno v6 音色&プロンプト逆引き図鑑(全5部門・107種・131サンプル音源)

    シンセ・ボーカル・ギター・ベース・ドラムの131音源をその場で聴き比べ、Style欄プロンプトを1クリックでコピー&★ブックマーク保存できます。

    🎹 シンセ・鍵盤 (28) 🎤 ボーカル・歌い方 (24) 🎸 ギター (20) 🎸 ベース (19) 🥁 ドラム・打楽器 (16)

    🎛️ ほかの制作記・ツール解説を読む

    MAKING / LAB 一覧へ →
    AIでカメラが激しく動くワンカットのロックMVを作る方法 ― 3Dモデル(Blender)×カメラマップ(gpt-image-2.5)×動画生成AI(H3 MAX)の3層合成 ―
    🎬 MV・3D・映像🎬 7動画+4図解で比較🏠 3D部屋 × AI塗装 × 3層合成

    AIでカメラが激しく動くワンカットのロックMVを作る方法 ― 3Dモデル(Blender)×カメラマップ(gpt-image-2.5)×動画生成AI(H3 MAX)の3層合成 ―

    カメラが地下バーの中をぐるぐる動き回る54.8秒のワンカット風2DアニメMV(#035「シークレット」)の作り方。Blenderでの3Dカメラワーク設計(Step 0)から、通り道の線画を使った3Dオブジェクト別AI塗装・カメラマップ(Step 1)、青い市松ガイド×動画生成AI(H3 MAX)でのキャラ生成・切り出し・天板反射合成(Step 2)、部屋の環境光と煙で全体を馴染ませる仕上げ(Step 3)までを解説。

    ロックシンガーの動きをAIで作ろうとしたら、結局自分が演じることになった ― 動画生成AI(H3 MAX)×3D棒人間キャプチャで作る2DアニメMV ―
    🎬 MV・3D・映像🎬 13動画で比較🎸 棒人間キャプチャ × H3 MAX

    ロックシンガーの動きをAIで作ろうとしたら、結局自分が演じることになった ― 動画生成AI(H3 MAX)×3D棒人間キャプチャで作る2DアニメMV ―

    動画生成AI(fal.ai H3 MAX)でロックバンドの2DアニメMVを作ろうとしたら、キャラクターが全然ロックに動いてくれない!プロンプト指示ではコレじゃない動きになり、無料の3Dモーションデータではゲームの移動モーションになり……試行錯誤の末、けっきょく僕がスマホの前で演じることになりました。