
こんにちは!レイです。AIを使ってWASHABIというバーチャルバンドのプロデュースをしています。
1分前後の新曲MVを、毎週金曜にTikTok・YouTube・Xで公開しています。
曲ができたあとのMV制作には、Premiereも、iMovieも、Canvaも使っていません。
デスクトップのAIエージェント(Codex / Claude Code)で動かしている相棒の「マル」とやり取りしながら、毎週のMVを作っています。
例えば、こんな映像を作っています。完成した #027「colorful days」 のMV抜粋がこちらです(音が出ます)。
マルがプログラム(Remotion)を書いて、映像と音楽と歌詞を組み合わせ、完成した動画ファイルを書き出してくれます。
僕は作りたい映像を伝えて、出てきたものを見ながら、方向性や直してほしいところを相談しています。
この記事では、「AIエージェントとどうやって会話しながらMVを詰めているか」という制作フローと、裏側で動かしている fal.ai(動画生成AI)× Remotion(コード動画編集)の仕組みをまとめました。
この記事で登場するツールの基本的な仕組みや始め方、料金の目安から知りたい方は、先にこちらの入門記事を読むとスムーズです!
1. AIの相棒「マル」に、どんな仕事を任せているか
僕は一緒に制作しているAIを「マル」と呼んでいます。
僕がレイ(0)、AIがマル(0)で、ゼロが2つ。WASHABIの原点は「0 & 0」ということにしています。
僕の制作環境では、マルが画像や動画を生成するAIに制作を依頼し、返ってきた素材をプログラムで編集します。会話での相談から、PC上のファイルを読むこと、必要なツールを使って作業を進めることまで任せています。こうした役割を担うAIが、いわゆる「AIエージェント」です。
具体的に使っているツールはこの3つです。
| 工程 | 使っているツール | 役割 |
|---|---|---|
| ① 原画・開始/終了フレーム生成 | OpenAI gpt-image-2.5 | メンバーの三面図・設定画を参照しながら、各カットの最初の絵・最後の絵を描く |
| ② 動画生成(アニメーション) | fal.ai(動画生成モデル H3 MAX Turbo 等) | 原画をもとに5秒前後のアニメーション動画を生成する |
| ③ 音源解析・カット編集・歌詞合成 | Remotion + Python(librosa / faster-whisper) | BPMと歌詞の秒数を自動検出し、React(TypeScript)のコードで映像・字幕・エフェクトを合成してMP4に書き出す |
ただ、僕自身はこれらのツールやプログラムにほとんど直接触っていません。
マルが生成に使う画像や指示を用意して、外部AIに動画の生成を依頼する。返ってきた映像を、マルが書いたプログラムで音楽や歌詞と組み合わせて、MVに仕上げていく、という流れです。
WASHABIでは、だいたいこんな役割分担になっています。
- 曲のメロディ、歌詞、アレンジ、ミックス:僕(レイ)
- 歌と演奏の音作り:僕がSunoで作成してLogic Proでミックス
- MVの構想:僕とマルで相談
- 画像素材の準備、動画生成AIへの指示・生成依頼:マル
- 素材を組み合わせる編集、歌詞入れ:マル
- 出てきたものを見て、採用するか、どこを直すか決める:僕(レイ)
- 投稿文の草案、投稿の仕込み、数字の整理、作業記録:マル

動画生成AIを自分で使うとなると、プロンプトを何度も調整したり、参考画像を選んだり、生成時の細かな設定(パラメータ)を詰めたりと、やることが膨大にあります。
そうした作業は全部マルがやってくれるので、僕は「映像の方向性を示して、出てきたものを見ながら希望を伝える」ことに集中できています。
2. 「街に色が広がる」を、どう伝えるか(colorful days の実例)
冒頭の動画で紹介した「colorful days」のMVでは、ボーカルのロクが歩くモノクロの街に、色が広がっていく映像を作りました。
- 最初の試作:水たまりを踏むと、足元から色のついた波紋が広がる映像が出ました。ただ、その色は最後に消えてしまいます。
- 方向性の相談:そこで、「建物や道の形に沿って、プロジェクションマッピングのように色が広がり、街全体が彩られていく方向にしたい」と伝えました。
- 開始フレームと終了フレームの指定:マルはそれをもとに、「動画の最後に使う画像(街全体がカラフルに彩られた絵)」も先に画像AIで用意し、最初の画像(モノクロの街)と最後の画像(カラフルな街)の両方を指定して、動画生成AI(H3 MAX Turbo)にもう一度生成を依頼しました。
すると、道から壁やひさしへと色が広がり、最後まで鮮やかに残る映像が出てきました。実際の2つの試作動画を並べて比較したものがこちらです。
水たまりを踏んだ瞬間に色の波紋が広がりますが、建物の白黒は変わらず最後に色が消えてしまいます。
カラフルに彩られた終了フレームも画像AIで用意してH3に渡すことで、壁やひさしに沿って色が広がり最後まで鮮やかに残ります。
もちろん、それですべて一発完成ではありません。
別の試作では、壁に映したい模様が立体になって飛び出してきたり、街を上から見るカットが模型のようになってしまったり。そういうものは作り直したり、別のカットにしたりしています。
動きがゆっくりしすぎていた部分は速くして、最後には跳ねるように歩くカットも追加しました。
僕が伝えるのは、こういう「見たときに、どう感じてほしいか」「今の映像の、どこがイメージと違うか」です。マルがそれを画像や動画の生成、編集の作業に落とし込んでくれるので、出てきたものを見ながら少しずつイメージを詰めていけます。
3. 裏側の仕組み:どうやってキャラの顔と曲のテンポを揃えている?
「AIでMVを作ると、カットごとにキャラの顔が変わったり、音ハメがズレたりしない?」と聞かれることが多いので、マルが裏側でやっている工夫を3つ紹介します。
① メンバー全員の「固定参照画像(リファレンス)」を毎回渡す
プロジェクトのフォルダの中に、メンバー6人それぞれの顔・髪型・服装・楽器をまとめた設定画と、絵柄の基準になる参照画像を置いています。
各カットの原画を gpt-image-2.5 で生成するときは、文章だけで指示するのではなく、必ずこの参照画像を一緒に渡して(Image Edit)描かせることで、どの曲でも同じロク(女性Vo.)、同じゴウ(男性Vo.)の顔になるように揃えています。
② 音源をPythonで解析して、BPMと歌詞の秒数を取る
完成した曲のMP3を渡すと、まず librosa でテンポ(BPM)と拍の位置を取り、faster-whisper に歌詞テキストを渡して「どの単語が何秒何ミリ秒から歌われているか」を自動で検出します。
③ Remotionで「プログラムとして」動画を組む
タイムラインを手作業でドラッグする代わりに、Remotion というReactベースの動画フレームワークを使っています。
「サビの頭(32.4秒)でカットを切り替え、1拍ごとに画面を揺らし、歌詞を1文字ずつフェードインさせる」といった演出がすべてコードで書かれているため、「歌詞の文字をもう少し小さくして、位置を20px下げて」と一言伝えるだけで、全カット一括で正確に直せるのが大きな強みです。
4. 次の曲のために「作り方(スキル)」をファイルに残す
もう一つ、マルに任せている大事な仕事があります。
作業が終わったあとに、「何をして、何がうまくいって、何がダメだったか」をプロジェクト内のファイル(スキル定義)に残すことです。
- 採用した画像とプロンプト
- うまくいかなかった生成パターンと、その原因
- スマホ画面(TikTok / Shorts)でボタンや説明文に隠れない「セーフゾーン」の座標
- メンバーの見た目や性格、曲ごとの制作方針

次に新しい曲のMVを作るときは、マルにその記録を読んでもらってから始めます。
こうすることで、「前にやったあれ、どうやったんだっけ?」を毎回一から説明しなくて済み、1曲作るごとにMVの品質とスピードが上がっていく仕組みになっています。
5. 実際にマルへ最初に投げている相談の例
新しい曲のMVを作り始めるときは、いつもこんなシンプルな相談からスタートしています。
xxx.mp3(音源ファイル)と xxx.md(歌詞や曲のイメージを書いたファイル)のMVを作りたいです。
画像素材は gpt-image-2.5 で、動画素材は fal を使って H3 MAX Turbo で生成し、Remotion で編集してください。
曲調は明るいロック。落ち込んでいた人が、少し前向きになる雰囲気にしたいです。
まずは構成案をいくつか考えてください。そこから「3番の案がいいね、まずはイメージ図を3枚描いてみて」「この絵で5秒だけ動かしてみて」と会話を重ねながら、毎週金曜のMVを作っています。
なお、さらに大きなカメラワーク(30秒ノーカットで通りを引き続ける背景など)を作るときは、このフローに Meshy(3D生成) と Blender を組み合わせています。詳しくはこちらの記事もあわせて読んでみてください:
- 【Meshy入門】1枚のイラストから3Dモデルを作る「Meshy」の基本と無料プランの設定
- 【Blender入門】2Dイラスト・MV背景制作のための「Blender 5.2」超入門ガイド
- 2Dイラストから3Dの街へ:Meshy × Blender「カメラマップ」でポリゴン感ゼロの背景MVを作る
これからも新しい表現やツールの組み合わせを試していくので、完成したMVと一緒に楽しんでもらえたら嬉しいです!


