
こんにちは!レイです。AIを使ってWASHABIというバーチャルバンドのプロデュースをしています。
動画生成AI(たとえば fal.ai の H3 MAX や H3 MAX Turbo など)でバンドのアニメMVを作るとき、キャラクターがなかなかロックっぽい動きをしてくれなくて困ってました。
(※普段の「開始絵・終了絵から動かすカット」では Image-to-Video モデルの H3 MAX Turbo を使っていますが、今回のMVのように「ガイド動画+キャラ設定画+歌声」の3つを同時に渡して動かす場合は、Reference-to-Video モデルの H3 MAX(minimax/h3-max/reference-to-video) を使っています。基本的な使い方は 【画像・動画AI入門】gpt-image-2.5 と fal.ai(H3)で同じキャラのイラスト・アニメーション動画を作る基本 で解説しています。)
新曲「#035 シークレット」(54.8秒・ガレージロック)のワンカットMVを作る中で、「AIへのプロンプト指示」や「無料の3Dモーションキャプチャ」などいろんな方法を試した結果、「すべてのシーンを同じ方法で作るのではなく、動きのパターン(①座る・②歩く・③全身で歌う)によって作り方を分けるのが正解!」だということが分かりました。
具体的には、最初はすべてAIや無料の3Dモーションデータに任せようとしたのですが、ロックシンガーらしい動きがどうしても出せず、最終的に「僕がスマホの前で演じた動きから『3Dの棒人間+太さのある濃い青の影(3Dボーンにロクの体幅の太さをつけた影)+銀のマイク』を作って青い3D部屋のガイドに入れ、H3 MAXに渡す」という方法に辿り着きました!
この記事には「スマホ動画から3Dの関節(ボーン)を抽出する」「Blenderで作った青い市松の3D部屋に棒人間と銀のマイクを配置する」といった工程が出てきますが、僕が手作業でやったわけではありません。
僕がやったのは主に「スマホの前で曲に合わせてエアボーカルを演じること」と、出てきた結果の確認で、骨格抽出・ビート同期・3Dガイド生成のPythonスクリプトはAIエージェント(Claude Code・Codex・Antigravityなど)とやり取りしながら作ってもらいました。記事の最後にAIエージェント用プロンプトのたたき台も載せています。
1. この3つのシーン別アプローチで何ができるのか?
まずは、この方法で完成した「#035 シークレット」の1番サビ(モニターに足をかけて見下ろし、全身でリズムを刻んでシャウトするシーン)をご覧ください!こういう動きって動画生成AIだとなかなか出せないんです。
ステージモニターに左足のブーツをかけ、シャッフルビートに合わせて膝を沈み込ませ、頭を振ってのけぞりながら歌うロクの1番サビです(3D背景・ネオン歌詞との合成方法は記事①で解説しています)。
この記事では、MVの動きを「3つのシーン(座る・歩く・歌う)」に分けて、それぞれ何が起き、どう解決したのかを順番に紹介します。

- Step 1(座って演じるシーン)では:Aメロのように椅子に座って歌う大きな動きがないシーンは、モーションガイドを作らず「青い市松の部屋+手足のない位置目安の形」だけで H3 MAX に任せるのが一番自然でした。
- Step 2(歩くシーン)では:ただ歩くだけなら H3 MAX でOKですが、曲のリズムに合わせたり途中で変化をつけるのは H3 MAX だけでは難しく、無料の3Dモーションデータを使うと「ゲームの移動モーション」になってしまったため、僕が演じた棒人間モーションガイドで解決しました。
- Step 3(全身で歌うサビのシーン)では:H3 MAX 任せだと棒立ちになり、プロンプトで細かく動きを指示すると不自然な動きになり、3Dモーションデータには「ロックに歌うデータ」自体が見つけられなかったため、僕が全力で演じた棒人間モーションガイドを渡すことで最高のロックモーションが生まれました!
- H3(fal.ai)の基本的な使い方:【画像・動画AI入門】gpt-image-2.5 と fal.ai(H3)で同じキャラのイラスト・アニメーション動画を作る基本 / 動画編集ソフトを使わず、AIエージェントと毎週MVを作っている話(fal H3 × Remotion)
- Blender 5.2 の基本的な使い方:【Blender入門】2Dイラスト・MV背景制作のための「Blender 5.2」超入門ガイド / AI動画でも部屋と小道具が変わらない:Blender「3Dの部屋+カメラごとに1枚の絵」で一貫した室内MVを作る方法
- #035「シークレット」の3Dの部屋・ネオン歌詞・3層合成の作り方(同時公開):記事①:AIでカメラが激しく動くワンカットのロックMVを作る方法 ― 3Dモデル(Blender)×カメラマップ(gpt-image-2.5)×動画生成AI(H3-MAX)の3層合成 ―
2. Step 1(座って演じるシーン):大きな動きがないAメロは「H3 MAXおまかせ」でOK!
まずは1番Aメロ(客席の丸テーブルに頬づえをついて座り、気だるく歌い始めるシーン)や、2番Aメロ(バーカウンターに座って歌うシーン)です。
こうした「座って演じる、大きな全身移動がないシーン」では、最初から人間の動きや3D骨格を渡す必要はありませんでした。
むしろ、3D人形の関節に細かく動きをつけてなぞらせようとすると肩や肘が硬くなってしまい、「青い市松の部屋に、手足のない単純な形(座っている位置の目安)だけを置いて、演技はすべて H3 MAX と歌声に任せる」方が、圧倒的に自然な芝居になったんです!
実際に「位置の目安だけ」を渡して H3 MAX が生成した、最終版1番Aメロの元動画(青い市松背景)がこちらです。
モーションのガイドは一切渡していませんが、カメラの回り込みに合わせて「頬づえをつく → 顔を上げて両腕をテーブルに置く → 肩をすくめてぷいと横を向く → グラスを見下ろす」という細かい芝居と口パクを、H3 MAXが歌声に合わせて自然に演じてくれています!
3. Step 2(歩くシーン):リズムに合わせた歩きは「H3 MAXのみ → 3Dモーキャプ失敗 → 自分の演技」で突破!
次に、間奏(ギターリフと「Ah〜 ha〜 ah〜!」のボーカルフェイクに合わせて、ロクがステージを歩いて移動するシーン)です。ここでは3段階の試行錯誤がありました。
① ただ歩くだけならH3 MAXでOKだが、リズムに合わせたり途中で変化をつけるのは難しい
最初はAメロと同じように、モーションガイドなしで「3Dのカメラワーク+手足のない円柱が移動するだけ」のガイドを渡し、H3 MAX に歩かせてみました。
ただ一定のペースで歩くだけならH3 MAXだけでも綺麗に描いてくれます。ただ、曲のシャッフルビートに歩幅をロックさせたり、「歩きながら途中で挑発的にフェイクを入れてキメを作る」といった緩急をH3 MAX任せで出すのは困難でした。
② 汎用の3Dモーションデータ(CMU)を使ってみたら「ゲームの動き」になった
「それなら、無償で公開されている3Dモーションキャプチャ(CMU Graphics Lab Motion Capture Database)を3Dモデルに流し込み、足の接地やジャンプの瞬間を曲の拍にピタッと合わせて H3 MAX に清書させればカッコよくなるのでは?」と考えて実験しました。
まずは3Dモデルに汎用モーションデータを反映し、曲の拍に合わせて調整した動き動画がこちらです。
走って大きく跳ぶモーションデータ(CMU `49_04`)を3Dモデルに入れ、踏み切りと着地の瞬間を曲のビートに1コマ単位で合わせた3D動画です。
そして、この3Dモーションをガイドにして H3 MAX でロクに清書させた結果がこちらです。
踏み切りや着地のタイミングは曲の拍に1コマ以内で合っているのですが、両手を開いて跳ぶポーズや上体のバランスが、どう見ても「3Dアクションゲームの移動・ジャンプモーション」になってしまいました……。
汎用の3Dモーションデータはあくまで「日常の歩行やスポーツ動作の記録」であって、ロックバンドのステージングではないため、上からAIで2Dアニメの絵を塗っても「ゲームのキャラが移動している感」は消えなかったのです。
③ しょうがないので僕が演じました!(棒人間キャプチャガイド → 完成!)
そこで、スマホを立てて曲を流しながら、僕自身がロクになりきってリズムに乗って歩く動きを演じました!

撮影したスマホ動画は外部へは一切出さず、手元のPCで動画から一度3Dモデル(ボーンの線+関節の点+右手の銀のマイク)に変換し、その周りにロクの体幅に合わせた「太さのある濃い青の影(3Dボーンにカプセル状の太さをつけた影)」をつけて、青い市松の3D部屋の歩行ルートに配置します。
(※細い棒人間の線だけだと H3 MAX が「背景の線」や「服の柄」と勘違いしやすく、逆に実写の体型より太い影を入れると余った面積を「黒いモヤ」や「謎の棒」として描いてしまうため、3Dボーンの周りにロクの体幅ぴったりの濃い青の影をつけて渡すのがポイントです。一度3D化しているのでカメラアングルも自由に変えられますし、実写の映像や生身のシルエットも一切出ません!)
まず、僕の動きをキャプチャして作成した「青い市松部屋の棒人間+濃い青の影ガイド動画」がこちらです。
スマホで演じた動きから抽出した3Dボーン(左半身=赤、右半身=水色、背骨=白)にロクの体幅の「濃い青の影」と右手の銀のマイクをつけ、青い市松の3D部屋に配置したガイド映像です。
そして、このモーションをもとに H3 MAX で生成された「最終版の間奏の元動画(青い市松背景)」がこちらです!
3Dモーキャプのときのようなゲームっぽさが完全に消え、シャッフルビートに乗って肩でリズムを取りながら挑発的に歌い歩く、ロックバンドならではのグルーヴが出ました!
4. Step 3(歌うシーン):一番大事なサビも「H3 MAX棒立ち → プロンプト失敗 → 自分の演技」で突破!
そしてMVの最大の山場である「1番サビ(モニターに足をかけて見下ろし、全身で激しく歌うシーン)」です。ここでも段階を追って検証しました。
① H3 MAXにそのまま任せると、大きな動きのない映像になってしまう
まず、Step 1 のAメロと同じように、位置の目安だけ置いて演技を H3 MAX に任せてみた1番サビの元動画がこちらです。
指さしや手振りは入れてくれるものの、足元が固定されたまま上半身だけでおとなしく歌っており、サビの爆発的なロックのノリに対して「棒立ち感」が拭えませんでした。
② プロンプトで細かく動きを指示しても、変な動きになってしまう
「じゃあ人物ガイドをなくして、言葉(プロンプト)でロックな動きを徹底的に指示したらどうだろう?」と考え、青い部屋だけのカメラガイドを渡して、次のような熱いプロンプトを H3 MAX に送ってみました。
実際に送ったプロンプト(抜粋):
*She is a wild rock singer with a heavy, low groove, full of attitude. On the first words she drops low with her knees bent and her head bowed over the microphone. She kicks one boot up behind her, hops and stamps on each 'naku', throwing her head. Then she stands wide and sings hard into the microphone, one hand in her hair, and throws her free arm out to the side on the last words.*
(重心の低いグルーヴを持ったワイルドなロックシンガー。歌い出しで膝を曲げて低く沈み込み、『なく』のたびに片足のブーツを後ろに蹴り上げて跳ね、頭を振る。その後、足を開いて力強く歌い込み、片手を髪にやり、最後のフレーズで空いた腕を横に大きく振り出す。)
その結果、H3 MAX から出てきた動画がこちらです。
動きは出たものの、コレじゃない感がすごい……。
③ 3Dモーションデータには「ロックの歌う姿」なんてデータはない
では Step 2 で試した無償の3Dモーションデータ(CMU等)はどうかというと、そもそも汎用モーションデータベースには「走る・歩く・跳ぶ・ボクシングする」といった動作はあっても、「ステージモニターに片足をかけて、103 BPMのシャッフルビートに膝のバネを合わせながら、マイクを握ってシャウトするロックボーカルの動き」なんてデータは見つけられませんでした。
④ 僕が演じました!(手拍子3回でビート同期&3D棒人間でローアングル見上げに変換 → 完成!)
こうして「ロックのサビのノリは、人間が曲に乗って自分で演じるしかない!」と腹を括り、1番サビもスマホの前で全力でエアボーカルを演じました。
ここでの工夫は次の2つです。
1. 冒頭の「手拍子3回」で曲のビートとミリ秒単位で同期させる:
- 演技を始める直前の小節(サビ前の1・2・3拍目)で、カメラに向かって「パン・パン・パン」と3回手拍子を入れてから歌い始めることで、手拍子のフレーム時刻と曲の拍をミリ秒単位でピタッと同期させました。
2. 動画から一度3Dモデル(3D棒人間)に変換することで、スマホ正面撮影でも「超ローアングル見上げ」に自在にカメラを回せる:
- スマホは正面の目の高さで撮っていますが、動画から一度3Dモデル(棒人間+ロクの体幅の濃い青の影)に変換してステージモニターの上に配置しているため、床すれすれの超ローアングルから見上げる3Dカメラで撮っても、左足をモニターにかけて見下ろす立体的なガイドがそのまま作れます(※注:技術的には Google の姿勢推定ライブラリ MediaPipe を使い、スマホ動画から3D空間の関節座標を抽出してロクの身長1.48mに合わせて配置しています。また、細かいロックの揺れが潰れないよう、関節のスムージング幅は「1コマ」だけに抑えています)。

こうして作った、僕の動きをキャプチャした1番サビのモーションガイド動画(前半:モニター見上げ / 後半:全身アクション)がこちらです!
ステージモニターに左足をかけ、ビートに合わせて体を揺らしながら見下ろすローアングル〜顔アップの3D棒人間+濃い青の影ガイドです。
モニターから足を下ろし、膝を深く沈み込ませて頭に手を添え、ラストの「疲れるでしょー!」でのけぞりながらシャウトする全身ガイドです。
そして、このモーションをもとに H3 MAX で生成された「最終版の1番サビの元動画(青い市松背景)」をご覧ください!
モニタースピーカーの角にしっかりブーツを載せ、ビートに合わせて上半身を揺らしながら見下ろすロックなカメラワークが1コマの遅れもなく実現しました!
頭に手を添える仕草やのけぞるシャウトまで、人間ならではのロックのグルーヴがそのままロクの2Dアニメーションになりました!
5. コピペで使える!AIエージェント用「3D棒人間キャプチャ×H3 MAX 2DアニメMV制作プロンプト」
以下のプロンプトは、スマホで撮った自分の演技動画から3D棒人間+濃い青の影ガイドを作って動画生成AI(H3 MAX)でアニメ化するパイプラインを、AIエージェント(Claude Code・Codex・Antigravityなど)に組んでもらうためのたたき台です。素材や曲に合わせて調整し、各ステップの結果を見ながら進めてください。
# AIエージェント用:3シーン別モーション設計(座り・歩き・サビ歌唱)&3D棒人間キャプチャ×H3 MAX制御仕様書
あなた(AIエージェント)は、MVのシーンの動きの激しさに応じてガイド方式を使い分け、ユーザーがスマホ等で撮影した演技動画から MediaPipe で「3D骨格(ボーン・関節点)」を抽出し、その周りにキャラクターの体幅に合わせた「濃い青の影(カプセル形状)」をつけて、Blenderの青い市松3D部屋カメラへ投影し、動画生成AI(fal.ai `minimax/h3-max/reference-to-video`)で躍動感のある2Dキャラクターアニメーションを生成します。
## Step 1:座って演じるシーン(小さな芝居)
1. 3D骨格や実写モーションは使わず、青い市松模様の3D部屋に「手足のない位置目安の形」だけを置く。
2. 細かい仕草(頬づえ・視線・腕の動き)とリップシンクはプロンプトと歌声(`reference_audio_urls`)に任せる。
## Step 2:歩く・移動するシーン(間奏など)
1. 汎用3Dモーションキャプチャ(ゲーム風になる)は使わず、ユーザーの演技動画から抽出した3D関節(`pose_*.json` の `world` 座標)を3D空間の歩行ルート(Pchip補間)の上に配置し、進行方向へ回転させて足を床の高さに接地させる。
2. 3Dボーンの周りにキャラクターの体幅に合わせた濃い青(例:`RGB(10, 30, 150)`)のカプセル影をつけ、右手(関節16)から口(関節0)の方向へ18cmの銀色マイクを描画し、青い市松の3D部屋カメラ(`cameras_full.json`)で投影する。
## Step 3:全身で激しく歌うシーン(サビ・シャウト)
1. **プライバシー保護(生身・実写シルエット完全非公開)**:元の実写動画はローカルの一時フォルダからのみ読み込み、外部APIや公開フォルダには絶対にコピー・送信しない。視覚化には3Dボーンから計算したカプセル影・ボーン線・関節点・銀のマイクのみを使う。
2. **手拍子マーカーによる拍同期**:演技動画の冒頭(サビ前小節の1・2・3拍目など)に入れた手拍子3回のフレーム時刻を検出し、楽曲の拍時刻とミリ秒単位でオフセットを合わせる。
3. **ローアングル見上げへの対応**:3Dワールド関節をキャラクターの身長(例:鼻まで1.48m)にスケーリングし、ステージモニターの尾根に左足(関節27・31)を固定することで、正面撮影のスマホ動画からでも超ローアングル見上げの3Dカメラ投影を可能にする。
4. **スムージングは最小限(1コマ)**:30fpsから24fpsへの変換は時刻補間で行い、関節のガウシアン平滑化は前後1コマ幅(`sigma=1.0`)にとどめる(2.5コマ以上にすると0.4秒以下の細かいロックな揺れ・グルーヴが潰れるため)。
5. **ガイドの長さと分割**:4秒を超える1本はH3 MAXがガイドをゆっくり再生して遅れが溜まるため、3秒前後(73コマ)に分割して前の動画の最終良いコマを次の開始絵にする。6. 関連ガイド(#035「シークレット」制作記シリーズ&H3・Blenderの詳しい使い方)
この記事で紹介した H3 MAX(fal.ai)や Blender 5.2 の詳しいセットアップ・使い方、および「#035 シークレット」の3D部屋合成・楽曲制作記は以下の記事で解説しています。ぜひあわせてご覧ください!
- 記事①:AIでカメラが激しく動くワンカットのロックMVを作る方法 ― 3Dモデル(Blender)×カメラマップ(gpt-image-2.5)×動画生成AI(H3 MAX)の3層合成 ―
- 記事③:【Suno + Logicでオリジナル曲作り】曲作りの裏側を公開:#035「シークレット」
- 【画像・動画AI入門】gpt-image-2.5 と fal.ai(H3)で同じキャラのイラスト・アニメーション動画を作る基本
- 【Blender入門】2Dイラスト・MV背景制作のための「Blender 5.2」超入門ガイド
- AI動画でも部屋と小道具が変わらない:Blender「3Dの部屋+カメラごとに1枚の絵」で一貫した室内MVを作る方法
- 動画編集ソフトを使わず、AIエージェントと毎週MVを作っている話(fal H3 × Remotion)


