← MAKING / LAB 一覧へ戻る
🎬 MV・3D・映像 2026-09-21

動画編集ソフトを使わず、AIエージェントと毎週MVを作っている話(fal H3 × Remotion)

PremiereもCapCutも使わず、AIエージェント「マル」との会話で原画生成(gpt-image-2.5)、動画生成(fal H3 MAX Turbo)、コード編集(Remotion)を回して毎週のMVを作るワークフロー。

動画編集ソフトを使わず、AIエージェントと毎週MVを作っている話

こんにちは!レイです。AIを使ってWASHABIというバーチャルバンドのプロデュースをしています。
1分前後の新曲MVを、毎週金曜にTikTok・YouTube・Xで公開しています。

曲ができたあとのMV制作には、Premiereも、iMovieも、Canvaも使っていません。
デスクトップのAIエージェント(Codex / Claude Code)で動かしている相棒の「マル」とやり取りしながら、毎週のMVを作っています。

例えば、こんな映像を作っています。完成した #027「colorful days」 のMV抜粋がこちらです(音が出ます)。

「colorful days」MV抜粋(gpt-image-2.5 × fal H3 MAX Turbo × Remotion)

マルがプログラム(Remotion)を書いて、映像と音楽と歌詞を組み合わせ、完成した動画ファイルを書き出してくれます。
僕は作りたい映像を伝えて、出てきたものを見ながら、方向性や直してほしいところを相談しています。

この記事では、「AIエージェントとどうやって会話しながらMVを詰めているか」という制作フローと、裏側で動かしている fal.ai(動画生成AI)× Remotion(コード動画編集)の仕組みをまとめました。

初めての方へ:AIエージェントと画像・動画生成AIの基本記事はこちら

この記事で登場するツールの基本的な仕組みや始め方、料金の目安から知りたい方は、先にこちらの入門記事を読むとスムーズです!

  • AIエージェントの基本:【AIエージェント入門】Claude Code・Codex・Antigravityとは?「チャットAI」との違いと創作プロジェクトの作り方
  • 画像・動画AIの基本:【画像・動画AI入門】gpt-image-2.5 と fal.ai(H3)で同じキャラのイラスト・アニメーション動画を作る基本

  • 1. AIの相棒「マル」に、どんな仕事を任せているか

    僕は一緒に制作しているAIを「マル」と呼んでいます。
    僕がレイ(0)、AIがマル(0)で、ゼロが2つ。WASHABIの原点は「0 & 0」ということにしています。

    僕の制作環境では、マルが画像や動画を生成するAIに制作を依頼し、返ってきた素材をプログラムで編集します。会話での相談から、PC上のファイルを読むこと、必要なツールを使って作業を進めることまで任せています。こうした役割を担うAIが、いわゆる「AIエージェント」です。

    具体的に使っているツールはこの3つです。

    工程使っているツール役割
    ① 原画・開始/終了フレーム生成OpenAI gpt-image-2.5メンバーの三面図・設定画を参照しながら、各カットの最初の絵・最後の絵を描く
    ② 動画生成(アニメーション)fal.ai(動画生成モデル H3 MAX Turbo 等)原画をもとに5秒前後のアニメーション動画を生成する
    ③ 音源解析・カット編集・歌詞合成Remotion + Python(librosa / faster-whisper)BPMと歌詞の秒数を自動検出し、React(TypeScript)のコードで映像・字幕・エフェクトを合成してMP4に書き出す

    ただ、僕自身はこれらのツールやプログラムにほとんど直接触っていません。
    マルが生成に使う画像や指示を用意して、外部AIに動画の生成を依頼する。返ってきた映像を、マルが書いたプログラムで音楽や歌詞と組み合わせて、MVに仕上げていく、という流れです。

    WASHABIでは、だいたいこんな役割分担になっています。

    • 曲のメロディ、歌詞、アレンジ、ミックス:僕(レイ)
    • 歌と演奏の音作り:僕がSunoで作成してLogic Proでミックス
    • MVの構想:僕とマルで相談
    • 画像素材の準備、動画生成AIへの指示・生成依頼:マル
    • 素材を組み合わせる編集、歌詞入れ:マル
    • 出てきたものを見て、採用するか、どこを直すか決める:僕(レイ)
    • 投稿文の草案、投稿の仕込み、数字の整理、作業記録:マル
    レイとマル、外部AIの役割分担
    レイとマル、外部AIの役割分担

    動画生成AIを自分で使うとなると、プロンプトを何度も調整したり、参考画像を選んだり、生成時の細かな設定(パラメータ)を詰めたりと、やることが膨大にあります。
    そうした作業は全部マルがやってくれるので、僕は「映像の方向性を示して、出てきたものを見ながら希望を伝える」ことに集中できています。


    2. 「街に色が広がる」を、どう伝えるか(colorful days の実例)

    冒頭の動画で紹介した「colorful days」のMVでは、ボーカルのロクが歩くモノクロの街に、色が広がっていく映像を作りました。

    1. 最初の試作:水たまりを踏むと、足元から色のついた波紋が広がる映像が出ました。ただ、その色は最後に消えてしまいます。
    2. 方向性の相談:そこで、「建物や道の形に沿って、プロジェクションマッピングのように色が広がり、街全体が彩られていく方向にしたい」と伝えました。
    3. 開始フレームと終了フレームの指定:マルはそれをもとに、「動画の最後に使う画像(街全体がカラフルに彩られた絵)」も先に画像AIで用意し、最初の画像(モノクロの街)と最後の画像(カラフルな街)の両方を指定して、動画生成AI(H3 MAX Turbo)にもう一度生成を依頼しました。

    すると、道から壁やひさしへと色が広がり、最後まで鮮やかに残る映像が出てきました。実際の2つの試作動画を並べて比較したものがこちらです。

    ① 最初の試作(足元の色が消えてしまう)

    水たまりを踏んだ瞬間に色の波紋が広がりますが、建物の白黒は変わらず最後に色が消えてしまいます。

    ② 修正した方向(開始+終了フレーム指定で街全体に色が残る)

    カラフルに彩られた終了フレームも画像AIで用意してH3に渡すことで、壁やひさしに沿って色が広がり最後まで鮮やかに残ります。

    もちろん、それですべて一発完成ではありません。
    別の試作では、壁に映したい模様が立体になって飛び出してきたり、街を上から見るカットが模型のようになってしまったり。そういうものは作り直したり、別のカットにしたりしています。
    動きがゆっくりしすぎていた部分は速くして、最後には跳ねるように歩くカットも追加しました。

    僕が伝えるのは、こういう「見たときに、どう感じてほしいか」「今の映像の、どこがイメージと違うか」です。マルがそれを画像や動画の生成、編集の作業に落とし込んでくれるので、出てきたものを見ながら少しずつイメージを詰めていけます。


    3. 裏側の仕組み:どうやってキャラの顔と曲のテンポを揃えている?

    「AIでMVを作ると、カットごとにキャラの顔が変わったり、音ハメがズレたりしない?」と聞かれることが多いので、マルが裏側でやっている工夫を3つ紹介します。

    ① メンバー全員の「固定参照画像(リファレンス)」を毎回渡す

    プロジェクトのフォルダの中に、メンバー6人それぞれの顔・髪型・服装・楽器をまとめた設定画と、絵柄の基準になる参照画像を置いています。
    各カットの原画を gpt-image-2.5 で生成するときは、文章だけで指示するのではなく、必ずこの参照画像を一緒に渡して(Image Edit)描かせることで、どの曲でも同じロク(女性Vo.)、同じゴウ(男性Vo.)の顔になるように揃えています。

    ② 音源をPythonで解析して、BPMと歌詞の秒数を取る

    完成した曲のMP3を渡すと、まず librosa でテンポ(BPM)と拍の位置を取り、faster-whisper に歌詞テキストを渡して「どの単語が何秒何ミリ秒から歌われているか」を自動で検出します。

    ③ Remotionで「プログラムとして」動画を組む

    タイムラインを手作業でドラッグする代わりに、Remotion というReactベースの動画フレームワークを使っています。
    「サビの頭(32.4秒)でカットを切り替え、1拍ごとに画面を揺らし、歌詞を1文字ずつフェードインさせる」といった演出がすべてコードで書かれているため、「歌詞の文字をもう少し小さくして、位置を20px下げて」と一言伝えるだけで、全カット一括で正確に直せるのが大きな強みです。


    4. 次の曲のために「作り方(スキル)」をファイルに残す

    もう一つ、マルに任せている大事な仕事があります。
    作業が終わったあとに、「何をして、何がうまくいって、何がダメだったか」をプロジェクト内のファイル(スキル定義)に残すことです。

    • 採用した画像とプロンプト
    • うまくいかなかった生成パターンと、その原因
    • スマホ画面(TikTok / Shorts)でボタンや説明文に隠れない「セーフゾーン」の座標
    • メンバーの見た目や性格、曲ごとの制作方針
    制作記録とノウハウをファイルに蓄積して次の曲に活かす仕組み
    制作記録とノウハウをファイルに蓄積して次の曲に活かす仕組み

    次に新しい曲のMVを作るときは、マルにその記録を読んでもらってから始めます。
    こうすることで、「前にやったあれ、どうやったんだっけ?」を毎回一から説明しなくて済み、1曲作るごとにMVの品質とスピードが上がっていく仕組みになっています。


    5. 実際にマルへ最初に投げている相談の例

    新しい曲のMVを作り始めるときは、いつもこんなシンプルな相談からスタートしています。

    xxx.mp3(音源ファイル)と xxx.md(歌詞や曲のイメージを書いたファイル)のMVを作りたいです。
    画像素材は gpt-image-2.5 で、動画素材は fal を使って H3 MAX Turbo で生成し、Remotion で編集してください。
    曲調は明るいロック。落ち込んでいた人が、少し前向きになる雰囲気にしたいです。
    まずは構成案をいくつか考えてください。

    そこから「3番の案がいいね、まずはイメージ図を3枚描いてみて」「この絵で5秒だけ動かしてみて」と会話を重ねながら、毎週金曜のMVを作っています。

    なお、さらに大きなカメラワーク(30秒ノーカットで通りを引き続ける背景など)を作るときは、このフローに Meshy(3D生成) と Blender を組み合わせています。詳しくはこちらの記事もあわせて読んでみてください:

    これからも新しい表現やツールの組み合わせを試していくので、完成したMVと一緒に楽しんでもらえたら嬉しいです!

    🎛️ Suno v6 音色&プロンプト逆引き図鑑(全5部門・107種・131サンプル音源)

    シンセ・ボーカル・ギター・ベース・ドラムの131音源をその場で聴き比べ、Style欄プロンプトを1クリックでコピー&★ブックマーク保存できます。

    🎹 シンセ・鍵盤 (28) 🎤 ボーカル・歌い方 (24) 🎸 ギター (20) 🎸 ベース (19) 🥁 ドラム・打楽器 (16)

    🎛️ ほかの制作記・ツール解説を読む

    MAKING / LAB 一覧へ →
    AIでカメラが激しく動くワンカットのロックMVを作る方法 ― 3Dモデル(Blender)×カメラマップ(gpt-image-2.5)×動画生成AI(H3 MAX)の3層合成 ―
    🎬 MV・3D・映像🎬 7動画+4図解で比較🏠 3D部屋 × AI塗装 × 3層合成

    AIでカメラが激しく動くワンカットのロックMVを作る方法 ― 3Dモデル(Blender)×カメラマップ(gpt-image-2.5)×動画生成AI(H3 MAX)の3層合成 ―

    カメラが地下バーの中をぐるぐる動き回る54.8秒のワンカット風2DアニメMV(#035「シークレット」)の作り方。Blenderでの3Dカメラワーク設計(Step 0)から、通り道の線画を使った3Dオブジェクト別AI塗装・カメラマップ(Step 1)、青い市松ガイド×動画生成AI(H3 MAX)でのキャラ生成・切り出し・天板反射合成(Step 2)、部屋の環境光と煙で全体を馴染ませる仕上げ(Step 3)までを解説。

    ロックシンガーの動きをAIで作ろうとしたら、結局自分が演じることになった ― 動画生成AI(H3 MAX)×3D棒人間キャプチャで作る2DアニメMV ―
    🎬 MV・3D・映像🎬 13動画で比較🎸 棒人間キャプチャ × H3 MAX

    ロックシンガーの動きをAIで作ろうとしたら、結局自分が演じることになった ― 動画生成AI(H3 MAX)×3D棒人間キャプチャで作る2DアニメMV ―

    動画生成AI(fal.ai H3 MAX)でロックバンドの2DアニメMVを作ろうとしたら、キャラクターが全然ロックに動いてくれない!プロンプト指示ではコレじゃない動きになり、無料の3Dモーションデータではゲームの移動モーションになり……試行錯誤の末、けっきょく僕がスマホの前で演じることになりました。