AI情報
目次
AI Art Creator@ainextastro https://twitter.com/ainextastro 実際に様々AIツールを自分で体験し、リアルな解説を心がけています。
Runway Gen-3 Video to Videoとは
Runway社が開発したGen-3プラットフォームの「Video to Video」機能は、AIを活用して既存の動画を新しい動画に変換する革新的な技術です。
本記事では、この機能の実用性と可能性について、具体的な実例を中心に解説します。
Gen-3 prompt:
訳：
ダイナミックな手持ちカメラの動き： カメラは暗い刺繍入りのパーカーを着た若い男性に焦点を合わせ、彼が表情豊かな手振りでエネルギッシュに話しながら、頻繁にまばたきをしている。背景の群衆はそれぞれ独立した動きを見せ、さまざまな活動に参加し、活気ある雰囲気を作り出している。群衆の一人一人が微妙な動きで生き生きと動き、場面に奥行きを与えている。照明が金色の装飾をやわらかく揺らめかせ、男の強烈な表情と活気ある舞台のコントラストを引き立てている。
画像：midjourney
音声：ElevenLabs
Lip Sync：RenderNet
Runway Gen-3 Video to Videoの主な仕様は以下の通りです。
– 最大解像度：1080p
– 最大長さ：30秒
– アスペクト比：16:9（ワイドスクリーン形式）
【基本】Runway Gen-3 Video to Videoの使用方法
1. Runway Gen-3のダッシュボードにログイン
2. 「Generative Video」ツールを選択
3. モデル選択で「Gen-3 Alpha Turbo」を選択
4. ソース動画をアップロード
5. テキストプロンプトを入力
6. 「Structure Transformation」を調整
7. 「Generate」ボタンをクリック
Runway Gen-3 Video to Videoでスタイルを変換
実写風映像のアニメ化
※midjourneyで生成したモノクロの画像を話題のHailuoAIで動画化しました。
（HailuoAI…かなり自然に動きます。。。この動画はPromptなしでここまで動きました。まだサブスクはしていないのでwatermarkがありますがご勘弁を）
Midjourney Prompt:
訳：
東京のヴィンテージ写真、1960年代のストリートライフ、黒い服を着た美しい女性、ソフトでレトロな魅力、モノクロームのポートレート、看板に描かれた日本の文字、ノスタルジックな雰囲気、映画のようなフィルムスチール、詳細な都市の背景、ハイコントラストのモノクローム、時代を超越した美しさ。
実例：東京の街並みの実写映像を「アニメスタイルに変換」
HailuoAI Prompt:なし
結果：
建物の形状や人々の動きは維持されつつ、鮮やかな色彩が加わり、アニメのような映像に変換されました。看板の文字や車の動きまでアニメ調に変化しています。
細かな髪の毛の動きまでの再現されているのが分かります。
Gen-3 Prompt:
モノクロ映像のカラー化
先ほど使用したPromptをFLUX1.1proで生成しました。ツールによって同じPromptでも出力される結果が違うことが分かります。
自分の好みや用途によって使い分けることが現状の最適です。
Flux1.1Pro Prompt：
(womanの前にjapaneseを追加しました)※使用するツールに合わせてプロンプトを微調整します
東京のヴィンテージ写真、1960年代のストリートライフ、黒い服を着た美しい日本人女性、ソフトでレトロな魅力、モノクロームのポートレート、看板に描かれた日本の文字、ノスタルジックな雰囲気、映画のようなフィルムスチール、詳細な都市の背景、ハイコントラストのモノクローム、時代を超越した美しさ。
実例：1960年代の白黒街頭映像を「現代的な色彩でカラー化」
今回もHailuoAiを使用します。(記事を書きながらサブスク契約しました。。。)
画像：Flux1.1 Pro、動画；Hailuo、Video to Video：Gen-3
Hailuo Prompt:
Slow zoom-in shot: The camera begins with a wide shot of a bustling, neon-lit city street in black and white, gradually zooming in on a woman standing still amidst the crowd. The vibrant city blurs softly behind her, while her expression remains calm and focused. The neon signs flicker, casting a soft glow on her face as she gazes directly into the camera. The busy street noises fade into the background, highlighting her poised and mysterious presence. Cinematic, noir style with a soft focus.wink,Turn around and talk
訳：
スローズームインショット： カメラはまず、ネオンで照らされた賑やかな街並みをモノクロでワイド撮影し、人ごみの中で佇む女性を徐々にズームアップしていく。彼女の表情は穏やかで集中したままだが、背後の活気ある街はやわらかくぼやけている。ネオンサインが明滅し、カメラを直視する彼女の顔に柔らかな光を投げかけている。賑やかな街の雑音は背景に消えていき、彼女のどっしりと構えたミステリアスな存在感を際立たせる。シネマティックでノワールなスタイルにソフトフォーカス。
結果：
主な構図や動画全体の状態を残して建物の色、ネオンのライト、人々の服の色彩が自然に再現されています。看板の文字や人物の人相は変わっています。
完全に元の状態を維持してのカラー化は現状では難しいですが構図や動きを維持しながら状態を変更することができます。
Gen-3 Prompt:
スローズームインショット： にぎやかな街路に佇む女性をカメラがとらえる。ネオンサインが鮮やかな赤、黄色、青に輝き、彼女の周囲の光景を照らしている。彼女の黒い髪はカラフルな街と対照的で、赤いドレスと繊細なネックレスが光を受けている。背景には群衆の動きがあり、彼らのカラフルな衣装がシーンに活気を与えている。街は活気に満ち、この瞬間に命を吹き込んでいる。映画的で、豊かな色彩とネオンの鮮やかさ。wink,Turn around and talk
Runway Gen-3 Video to Videoで背景変更
室内から屋外への変更
今回はMidjourneyで画像を生成します。
midjourney prompt:
テレビスタジオで女性にインタビューするスーツに眼鏡姿の日本人男性。スタジオの明るい照明の下で、男性が女性と向き合って質問している。背景にはカメラ、モニター、日本のニュース番組用にデザインされたセット。クールな色調と温かみのある照明がプロフェッショナルな雰囲気を醸し出している。制作素材：スタジオ撮影機材、ニュース放送スタイル、映画のような照明、超高解像度レンズ、日本のテレビセットデザイン、クリアフォーカス
実例：室内インタビュー映像を「熱帯雨林の中に配置」
結果：
被写体の周りの背景が緑豊かな熱帯雨林に変わりました。照明や影の変化も自然に調整されました。インタビュー対象者の輪郭や動きは維持されつつ、背後に鮮やかな緑の木々や熱帯植物が現れました。モニターの女性が気になります。
Gen-3 Prompt:
A young Japanese man in a suit and glasses interviewing a woman in the heart of a tropical rainforest. The man is standing close to the woman, both surrounded by lush greenery, tall trees, and dense vegetation. Soft sunlight filters through the canopy, casting dappled light on them. The sounds of nature fill the air, and the background is alive with vibrant plant life. ,Change background only
訳：
熱帯雨林の真ん中で、スーツに眼鏡姿の若い日本人男性が女性にインタビューしている。男は女の近くに立っており、ふたりは豊かな緑、高い木々、生い茂る植物に囲まれている。柔らかな日差しが樹冠の隙間から差し込み、2人を薄っすらと照らす。自然の音が空気を満たし、背景には生き生きとした植物の生命が息づいている。背景のみ変更
Runway Gen-3 Video to Videoで季節を変更
midjourney prompt:
夕暮れの夏の公園を空撮。黄金色に輝くオレンジ色の光が梢を暖かく照らし、小道を散歩する人々、遠くに遊具が見える。木々のドラマチックな影が池に夕焼けの色を映し出している。使用素材：ドローン撮影、ゴールデンタイム、鮮やかな色彩、柔らかな影、シネマティックスタイル、HD画質
実例：夏の公園の映像を「冬景色に変換」
今回もHailuoにて動画生成しました。プロンプトは上記の画像生成時のプロンプトを併用しました。
結果：
緑の木々が雪化粧し、地面も雪で覆われた冬の風景に変わりました。人物の服装も自動的に冬物に変更されました。
Gen-3 Prompt:
広角空撮、冬の公園、日没、ゴールデンアワーの柔らかい光、雪に覆われた木々と地面、かすかに反射する凍った湖、むき出しの枝、長い影、冷たく静かな雰囲気、冬の静けさ
Runway Gen-3 Video to Videoで特殊効果を追加
SF要素の追加
実例：都市の街並み映像に「SF的な要素を追加」
結果：
空飛ぶ車や未来的な建築物が追加された映像が生成されました。既存の建物が未来的なデザインに変更され、月が見え、ホログラムの広告が浮かんでいます。
ここまでくると少しやり過ぎ感が、、、
Gen-3 Prompt：
近未来的な都市型フェスティバル、通りにそびえ立つガラスと金属のファサードを持つ高層ビル、エリアに並ぶ活気あるフェスティバルの装飾、ビルの間のネオンライトとホログラフィックバナー。光り輝くアクセント、なめらかなメタリック生地、拡張現実（AR）アクセサリーを身につけ、デジタル扇子を持った未来的なハイテクファッションに身を包んだフェスティバルの参加者たち。通りを滑空する磁気浮上式の乗り物、背景のぼやけた群衆。ネオンサインと浮遊するホログラム広告。夜空に見える複数の月、映画のような照明、広角レンズ、未来的な街並みにインスパイアされた、HD画質、高コントラストの影、ボケ効果、鮮やかなネオンカラー。
人物の衣装変更
Midjourney Prompt:
実例：スーツを着た男性の映像を「スーパーマン風の衣装に変更」
今回もHailuoを使用しました。プロンプトは「なし」で生成しました。
結果：
その男性がスーパーマン風のコスチュームを着ている映像に変換されました。マントが風になびく効果やマスクが追加されました。
Gen-３ Prompt:
スーパーマンのようなスーツを着た男のアップ。象徴的な衣装を現代風にアレンジしたメタリックなディテールが施され、胸には光る「S」のマーク、赤いマントが風になびく。彼は、反射するガラス張りのビルが立ち並ぶ都会に佇み、空は鮮やかな青色で雲が散らばっている。太陽光がビルにシャープな影を落としている。HD画質、鮮やかな色彩、高コントラスト、壮大なライティング。
Video to Video機能は他のツールにはない革新的な技術です。しかし様々な検証結果まだ完璧では無いように感じます。
どのようなプロンプトが最適に「効く」のかも引き続き検証していきたいと思います。
Runway Gen-3 Video to Videoのメリットと課題
メリット
– 制作時間の大幅な短縮
– コスト削減
– クリエイティビティの拡張
課題
– 著作権の問題
– 倫理的な懸念（ディープフェイク技術の悪用）
– 技術的な制限（長時間の映像処理や複雑な変換の限界）
Runway Gen-3 Video to Videoの未来展望
日々進化している生成AIですが下記のようなこともいづれできるようになるかもしれません。
1. より長時間の映像処理：数分から数十分の長さの動画も処理可能に
2. 高解像度対応：4K、8K映像への対応
3. リアルタイム処理：ライブ配信中のリアルタイム変換
4. マルチモーダル入力：音声や他の映像を参照として使用
5. インタラクティブな編集：AIの提案に基づく対話的な編集プロセス
6. 3D統合：3Dモデルや環境との統合
Runway Gen-3 Video to Videoのまとめ
Runway Gen-3のVideo to Video機能は、動画制作に革命をもたらす可能性を秘めています。
クリエイターは時間とコストを節約しながら、より創造的なコンテンツを生み出すことができます。ただし、著作権や倫理的な問題に注意を払いながら使用することが重要です。生成AI技術は日々進化しています。
興味がありましたらぜひご自身で体験してみることをおすすめします！
