AI動画生成Luma AI Dream Machineのプロンプトや使い方を徹底解説！

2024年6月現在、一般ユーザーでも使用することができ、その最前線にいるのが、Luma AIが開発した「Dream Machine」です。

本記事では、この革新的なAI動画生成ツールの特徴、使い方、そしてプロンプト作成のちょっとしたコツを解説します。

Luma AI Dream Machineとは

Luma AI Dream Machineの特徴

Dream Machineは、最新のAI技術を駆使して高品質な動画を簡単に生成できるツールです。

テキストや静止画から、わずか数分で驚くほどリアルな5秒間の動画を作成できます。

他のAI動画生成ツールと比較して、Dream Machineは特に人物描写の一貫性と自然さにおいて優れています。

Luma AIの強みは、3Dモデル生成技術の蓄積にあります。この技術基盤が、Dream Machineの高品質な動画生成能力を支えています。

3D spatiotemporal joint attention mechanismとは

Dream Machineの核心技術である3D spatiotemporal joint attention mechanismは、時間的・空間的な一貫性を保ちながら高品質な動画生成を可能にします。

この技術により、自然な動きと視覚的な連続性が実現されています。

Luma AI Dream Machineと競合他社との比較

OpenAI SoraやRunway Gen-3 Alphaなどの競合製品と比較すると、Dream Machineは使いやすさと高品質のバランスが優れています。

Soraはより長い動画生成が可能ですが一般利用は制限されており、最近登場して話題のGen-3 Alphaはまだ使用できるユーザーは限定されています。（2024.6.29現在）

SNSでの投稿動画を見るとかなり高品質であることが分かり期待できそうです。

Dream Machineの独自性は、一般ユーザーでも簡単に利用できる点にあります。

無料で30個も高品質な動画を生成することができるのも魅力です。

Luma AI Dream Machineの主な機能

Luma AI Dream Machineの主な機能は以下の6つです。

テキストから動画生成
リアルなカメラワーク
人物描写の精度と一貫性
Extend機能
キーフレーム機能（NEW）
多言語対応（日本語含む）

それぞれ解説していきます。

テキストから動画生成：ユーザーが入力したテキストプロンプトを基に、複雑なシーンや物語性のある動画を生成

画像から動画生成：静止画を入力すると、AIがその画像を分析し、動きのある要素を追加して動画を生成

リアルなカメラワーク：プロフェッショナルな映像作品のようなカメラワークを再現。パン、ティルト、ズームなど多様な動きが可能。

人物描写の精度と一貫性：顔の特徴や体の動きを一貫して表現し、自然な動きを再現。

Extend機能：生成された5秒の動画をさらに延長することができる新機能。より長尺の動画制作が可能。

キーフレーム機能（NEW）：開始キーフレームと終了キーフレームで動画の始点と終点をコントロールし、プロンプトの指示が可能。照明や季節を変えたり、視点をコントロールしたり、被写体を変形したり、ありえないトランジションを作成できる。

多言語対応（日本語含む）：日本語を含む多様な言語でのプロンプト入力が可能。しかし英語のプロンプトが一番「通る」ので英語の使用を個人的にはオススメ。

Luma AI Dream Machineの使い方

動画の生成方法（Text-to-Video）

1.プロンプトを入力します

2.Enhance promptのオン/オフを選択します。

3.生成ボタンをクリックします。

4.生成完了を待ちます（通常5〜10分）。

IN QUEUEは待機中…

DREAMING…になれば生成中！あと少しです！

5.サムネイルが表示されれば生成完了です。

動画の生成方法（Image to Video）

1.画像を選択します

AIジェネレーターを使用する（Midjourney、DALL·E、Leonardo）:
- 好みのプロンプトを16:9のアスペクト比で入力します。
- Midjourneyの場合： -ar 16:9 パラメーターを使用します。
- DALL·Eの場合：プロンプトで16:9のアスペクト比をリクエストします。
- 生成された画像をダウンロードします。
自分の写真を使用する:
- 画像が横長（16:9）のフォーマットであることを確認します。縦モードでも素晴らしい結果が得られます。

2.生成ページの画像アイコンをクリックしてJPG、JPEG、またはPNG形式の画像をアップロードします。

この扇風機で涼しんでいる女の子の画像をつかってみます

2.オプションでシーンを説明するプロンプトを追加することができます。

3.’Enhance Prompt’機能を有効にすると、画像に追加したい動きや変化を簡潔に記述するだけで、AIが自動的に詳細を補完して動画を生成します。

より細かい制御が必要な場合は、’Enhance Prompt’をオフにして、画像の詳細な説明と加えたい動きの両方を記述することで、より具体的な指示を与えることができます。

4.Enhanceあり

5.Enhanceなし

数回テストしましたがEnhanceあり、なし双方にガチャ要素はまだまだある印象でした。（うまくいくときといかない時があります）

以前に比べて動画生成AIはかなり進化していますが「結果的にいい方を選ぶ」という段階にまだあると思います。

ダウンロード方法

生成された動画の下にある「Download」ボタンをクリックします。無料版ではウォーターマーク付き、有料版ではウォーターマークなしの動画がダウンロードできます。

Extend機能の使用方法

こちらのプロンプトで生成した動画を使用します。

プロンプト：

colorful fireworks, exploding in various patterns, over Tokyo Bay with illuminated skyscrapers and Rainbow Bridge, clear summer night, festive and awe-inspiring, wide angle shot slowly panning upwards, reflections of fireworks on water surface, sparks falling like rain

1.生成された5秒動画の下にある「Extend」ボタンをクリックします。

2.プロンプトを入れてみます

illuminated Rainbow Bridge and colorful fireworks, fireworks bursting above the bridge, Tokyo Bay with city skyline in background, clear summer night, dynamic and breathtaking, drone shot starting wide then smoothly zooming in towards the bridge, reflections on water, light trails from boats, lens flare from bridge lights

3.追加の5秒が生成されるまで待ちます（約2〜5分）。

4.新しく生成された部分を確認し、必要に応じて再度Extendを実行します。

試した結果、あまり動画を長くしすぎると破綻の原因となりそうでした。

キーフレーム機能

1.まずは準備

いつもの画像アップロード画面が表示されます。ここに最初の画像、つまり動画の開始フレームとなる画像をアップロードします。

2.エンドフレームの設定

開始フレームをアップロードすると、その右側に「+」マークと「End Frame (オプション)」という新しいボタンが現れます。

このボタンをクリックして、動画の最後のフレームとなる画像をアップロードしましょう。

3.テキストで指示を追加（任意）

2つの画像の下にテキスト入力欄があります。ここに、2つの画像の間をどのように変化させたいか、具体的な指示を入力できます。例えば、「カメラがゆっくりズームアウトしながら、空の色が徐々に夕焼け色に変化する」といった具合です。何も入力せずに空欄のままでも大丈夫です。

4.生成開始！

白い矢印ボタンをクリックすると、AIが2つの画像の間を自動的につなぎ、スムーズな動画を作成してくれます。あとは処理が終わるのを待つだけ。完成した動画はすぐに確認できます。

5.もっと長く作りたいとき（オプション）

動画が完成したあと、さらに延長したくなった場合はExtendボタンをクリックします。新しく追加される部分についても、テキストで指示を加えられます。

有料プランについて

プラン	月額料金	生成回数/月	主な特徴
Free	¥0	30回	– 基本機能　- 商用利用不可 – ウォーターマーク付き
Standard	$29.99(約¥4,350)	120回(+30回)	– 高優先度の生成　- 商用利用可　- ウォーターマークなし
Pro	$99.99(約¥14,500)	400回(+30回)	-最高優先度の生成　- 商用利用可　- ウォーターマークなし
Premier	$499.99(約¥72,500)	2,000回(+30回)	-最高優先度の生成　- 商用利用可　- ウォーターマークなし

公式サイトより

共通の特典（Standard以上）:
– 生成の優先処理（待ち時間短縮）
– ウォーターマークなしの動画ダウンロード
– 商用利用の許可
-年間払いで20％OFF

注意:
1. 為替レートは1ドル = 145円で計算しています。実際の日本円での価格は為替レートの変動により異なる場合があります。
2. 最新の正確な価格と機能については、Luma AIの公式サイトでご確認ください。

Luma AI Dream Machineのプロンプト作成のコツ

こちらのプロンプトの作成方法を参考にしています。

公式サイトのFAQ and Prompt Guide

プロンプトの作成方法

プロンプトとは、AIにコンテンツを生成する際の指示や説明です。

創造的なアシスタントに指示を与えるようなもので、作りたいものにどんな要素が必要で、最終的な成果をどのように想像しているかを伝えます。

プロンプトは重要なんですね。

なぜかというと、それがAIにあなたの想いにに合ったコンテンツを生成するための道しるべになるからです。

プロンプトがより明確で詳細になればなるほど、AIはあなたの要望を理解しやすく、期待に応える結果を提供できます。

公式サイトからの抜粋

具体的にする：主題、設定、およびビデオに含めたい重要な要素を明確に説明します。
詳細を含める：ビデオに重要な特定の詳細を指定します。
感情や雰囲気に焦点を当てる：伝えたいムードや雰囲気を説明します。
シンプルな言葉を使用する：複雑な用語や専門用語は避けます。シンプルで明確な言葉が効果的です。
カメラの動きを加える
アクションと動きを加える
オブジェクトの特徴を加える
設定と背景を決める

基本構文と7つの主要素

画像生成AIにもプロンプトの基本構文は存在しており動画生成AIにも応用が可能でした。

基本構文：<主題>, <動作>, <場所>, <時間>, <雰囲気>, <カメラ技法>, <特殊効果>

7つの主要素：

主題（Main Object）
動作（Action）
場所（Setting）
時間（Time）
雰囲気（Atmosphere）
カメラ技法（Camera Technique）
特殊効果（Special Effects）

例として先ほどの花火の動画のプロンプトの構成は…

<主題>colorful fireworks, <動作>exploding in various patterns, <場所>over Tokyo Bay with illuminated skyscrapers and Rainbow Bridge, <時間>clear summer night, <雰囲気>festive and awe-inspiring, <カメラ技法>wide angle shot slowly panning upwards, <特殊効果>reflections of fireworks on water surface, sparks falling like rain

Enhance promptの使い方

オン：簡単な指示で自動的に詳細を補完します。
オフ：より細かい制御が必要な場合に使用します。

プロンプト作成のコツとテクニック

具体的な視覚的描写を心がけます。
動作や変化を明確に記述します。
感情や雰囲気を表現する言葉を含めます。
カメラワークや特殊効果を指定します。
重要な要素を優先順位付けします。
カメラワークをプロンプトの前に配置すると、より効果的な結果が得られることがあります。
長文よりも短文で区切る

Luma AI Dream Machineのカメラワークの種類とプロンプト

実際にDream Machineを使用してカメラワークが効果的に作用するところに感動しました。

パン：camera panning slowly from left to right, revealing cityscape
ティルト：camera tilting up from ground to sky, tall trees framing the shot
ズーム：dramatic zoom in on character’s face, emotion intensifying
トラッキングショット：camera tracking alongside running athlete, keeping pace
ドリー：smooth dolly in towards ornate door, details becoming clearer
Fast FPV drone flythrough：Fast FPV drone flythrough of a lush forest, sunlight filtering through leaves
Low-angle shot：Low-angle shot of a towering skyscraper, clouds moving rapidly overhead

これらのカメラワークを効果的に組み合わせることで、より動的で魅力的な動画を生成できます。

【ジャンル別】Luma AI Dream Machineのプロンプト例

野外ライブ

Outdoor concert: energetic rock band, performing on massive stage, sprawling music festival grounds, twilight turning to night, electrifying and euphoric mood, wide crane shot panning over cheering crowd, dynamic stage lighting and pyrotechnic effects

ホラー映画

Horror movie: pale ghostly figure, slowly emerging from shadows, abandoned Victorian mansion, midnight during a thunderstorm, eerie and spine-chilling atmosphere, shaky handheld camera slowly approaching, desaturated color palette with sudden lightning flashes

野生の動物の映像

Wildlife footage: majestic lion pride, stalking through tall grass, African savanna, golden hour sunset, tense and primal atmosphere, slow-motion telephoto shot, heat haze effect with dust particles catching light

自動車CM風

TV Commercial: luxury sports car, speeding along winding coastal road, picturesque seaside, golden sunset, exhilarating and aspirational mood, sweeping drone shot following the car, lens flare and motion blur effects

ドキュメンタリー

Documentary: weathered fisherman, casting net into sea, small coastal village, early morning mist, authentic and contemplative atmosphere, steady handheld medium shot, natural lighting with focus pull to distant horizon

ジャンルごとのプロンプト作成のコツは、そのジャンルの典型的な視覚要素を含め、適切な雰囲気や感情を表現する言葉を使うことです。また、カメラワークや照明効果を指定することで、よりジャンルの特徴を強調できます。

Luma AI Dream Machineのまとめ

Luma AI Dream Machineは、AI動画生成技術に新たな可能性を開きました。その高品質な出力、使いやすさ、そして多様な応用可能性により、大きな話題となりました。プロンプトの作成技術を磨き、カメラワークやジャンルの特性を理解することで、より印象的な動画を生成できそうですよね。AI技術の進化とともに、Dream Machineやその他のツールも日々進化を続けています。