動画系のAIをまとめています。何をつくるのに向いているか、筆者なりに調べて書いています。サンプル動画として、飼い猫の静止画像を走らせてみることを想定してプロンプトを与え、動画を生成しています。
動画系AIサービスの特徴として、無料版では月に数個だけ旧バージョンのものを使えて動画にはウォーターマーク（すかし）が入ります。有料版ではもう少し作れる動画が増えて新しいバージョンが使えるものの、最上位プランじゃないと最新バージョンじゃなかったり、有料でもウォーターマークが入るようです。
最上位プランでは月に数万円かかるものもあることから、サンプル生成して使用感を確かめつつ、気に入ったサービスに徐々にプランを上げて、バージョンを新しいものを使ってみると良いと思います。
画像から動画に
こちらの画像の猫を走らせてみます。静止画から動画にする時は「Image to Video」や「Text and Image to Video」という処理になります。これは、画像から動画を作る時にこういう言い方になります。他にはimage2videoやimg2videoとか言うときもあります。toが2として書きます、ちょっとおしゃれですね。
画像から動画を作るといっても、画像を与えてどうしたいか伝えるためにテキストも一緒に与えます。このAIに与えるテキストのことをプロンプトといいます。画像をアップロードして、プロンプトを与えて、生成ボタンを押して、できあがるのを待つ、これが一連の流れになります。基本的には5〜10秒くらいの動画が数個できあがり、気に入ったものを選ぶか、プロンプトを変えて再生成して、次の作業に移ります。
長い動画を作る場合は、この5〜15秒くらいの動画をつなぎあわせて作るようです。SNSであがる生成AI動画で、妙に場面展開が多いのが気になる方もいるかもしれません。これは今の生成技術の限界みたいなもので、いきなり10分の動画を1回で作るとかはまだできないようです。場面展開が多いからこそ人間の目から見たらAIっぽいな、と気づくこともありそうですよね。
他にも画像以外にも文章だけで動画生成するときはtext2videoや、動画からさらに動画を作る時はvideo2videoなんていい方もできます。
動画系AIの主な機能や頻出単語
随時追加します。独立した記事を書くかもしれません。
image2video
前述した静止画から動画をつくる機能のことです。
video2video
動画から新たな動画をつくる機能です。動画内のこのキャラクターの動きを変えたい、顔を変えたい、動画のスタイルを変えたい（アニメ調やレトロ調など）、ノイズを除去したい、エンハンス、背景の自動削除などを行います。
フレームプロンプティング(Frames Pronpting)としてrunwayでまとまっています。
https://help.runwayml.com/hc/en-us/articles/35694045317139-Frames-Prompting-Guide
動画系AIサービス
VideoFX
https://labs.google/fx/ja
Google製の動画系AIです。一般公開されていないので、まずは順番待ちのリストに登録することをおすすめします。
sora
https://sora.com/
ChatGPTを作っているOpenAIによる動画系特化のサービス。ChatGPTのPlus会員ならsoraもPlus会員として利用できますが、無料会員だと動画生成に制限がかかっているようです。
猫はちゃんと走ってくれました。部屋も生成しています。
runway
https://runwayml.com/
動画生成AIとして割と早い段階でローンチされていたので認知度が高いです。無料版でも動画が作れます。
生成動画だけではなく、AI動画編集の側面が強いのがrunwayの特徴です。編集機能として、こういうこともできます。
・背景の自動削除（グリーンスクリーンなし）
・自動字幕生成
・モーショントラッキング
・音声から動画を自動生成
・画像の補完や拡張
Gen-3 Alpha Turbo
猫は走ってくれませんでした。
Kling AI
https://klingai.com/
中国の動画生成AIです。グイグイ勢いがある感じです。画像からシチュエーションを読み取るのが上手な印象があって、プロンプトの解釈が「こういうことでしょ？」のようなざっくりしたもので、動画もそれっぽいのが出てくる感じです。ざっくりしているからこそ、けっこうすごくてこれでいっか、と思えるものが多いです。無料でも使えるけど、人気がありすぎて出力まで数時間ほど待つこともあります。
Kling 1.6
猫は立ち去りました。部屋の生成がなく、背景固定のものが強いのかもしれません。
Pika
https://pika.art/
「アニメ風」「映画風」「手描き風」といったスタイル変換や、カメラワーク変換が得意なようです。無料版もありますし月10ドルで最新バージョンのモデルを試せるのでお財布に優しいです。創始者はハーバード大学やスタンフォード大学やGoogleAIでのインターン経験などガチンコで賢い人達が作っています。
Pika 1.5
猫は走らずひょこひょこ向かってきました。かわいいです。Pikaはスタイル変換の方が向いていそうなので今度ためそうと思います。
Luma AI
https://lumalabs.ai/
画像から動画がつくれるようなことが書いてあったけど、無料プランだから画像が悪いからか動画を作れませんでした。テキストから動画をつくるのが得意なようで、動きが滑らかだったりカメラワークがわかっている感じの動きをします。3Dモデルも作れるようですが、ポリゴンがちょっと微妙という声もありました。
Ray 1.6
元画像&テキスト、ができなかったので、テキストのみで生成しました。走っていませんね。
他の動画系生成AIはこちら。ひとつひとつ試して、さらに情報を追っていきたいと思います。
NoLang（他と違って解説動画とかを作るのに特化、こういうのが欲しかった）
Hunyuan（中国の無料の動画生成AI）
Vidu（klingと同じくらい人気）
tensor.art（ComfyUIをベースに開発されたTAMS 2.0エンジン）
Seaart.AI（コミュニティに力点）
Hailuo AI (MiniMax）