Инструкция по промптам для WildClips v4.4

Как писать промпты для видео из кадров и референсов: структура, сцены, таймкоды и привязка изображений: 0:

Выберите режим

WildClips v4.4 создаёт видео со звуком в двух режимах:

Кадры — первый, последний или оба кадра. Видео начинается с первого кадра и приходит к последнему.
Референсы — до 4 изображений. Модель переносит из них внешность героев, одежду, предметы, окружение или стиль, но кадр видео не обязан повторять референс.

Кадры и референсы в одной генерации не совмещаются.

Структура промпта для кадров

Промпт состоит из трёх полей. Названия полей пишите на английском, как в примере, а содержание — на удобном вам языке.

integrated_multimodal_description: [Shot 1] ...

overall_soundscape: ...

non_diegetic_music: ...

integrated_multimodal_description — визуальный ряд: стиль, композиция, герои, действия, движение камеры и реплики в том порядке, в котором они происходят.
overall_soundscape — звуки окружения и действий: шаги, ветер, дождь, дыхание, шум города.
non_diegetic_music — закадровая музыка, которую слышит только зритель. Если музыка не нужна, напишите N/A.

Первая сцена — [Shot 1] без таймкода. Каждая следующая сцена начинается с метки и времени склейки в итоговом видео: [Shot 2] At 00:03.000, [Shot 3] At 00:06.500. Время должно возрастать и укладываться в выбранную длительность.

Для короткого клипа обычно достаточно одной сцены с одним понятным действием. Добавляйте склейку, только когда она показывает что-то новое. В первой сцене задайте стиль, композицию, внешность и положение героев, место действия и свет, а затем описывайте действие по порядку.

Привяжите кадры ко времени

Перед полями добавьте строку, которая сообщает модели, где в видео находится загруженный кадр. Замените 10.00 на выбранную длительность.

Только первый кадр:

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

Только последний кадр (N — номер последней сцены):

How the reference pictures align with the target video — <Picture 1> (from [Shot N]) aligns with the 10.00-second mark of the target video.

Первый и последний кадры:

How the reference pictures align with the target video — Picture 1 (from Shot 1) aligns with the 0.00-second mark of the target video; Picture 2 (from Shot N) aligns with the 10.00-second mark of the target video.

С первым кадром описывайте не саму картинку, а то, что начинает происходить. С последним кадром опишите путь, который плавно приводит к нему. С двумя кадрами опишите переход между ними, а не два отдельных статичных изображения.

Пример с первым кадром:

For the target video, at 0.00 seconds into the target video, <Picture 1> (from [Shot 1]) is fully referenced.

integrated_multimodal_description: [Shot 1] С неподвижного портрета женщина медленно открывает глаза. Короткие тёмные волосы колышутся от лёгкого ветра. За её спиной начинают падать лепестки сакуры и проплывают мимо лица. [Shot 2] At 00:04.000 она слегка поворачивает голову влево и ловит лепесток кончиком пальца; размытый сад за ней становится резким, и среди ветвей видны традиционные фонари.

overall_soundscape: Лёгкий весенний ветер, далёкое пение птиц, тихий шелест листьев и падающих лепестков.

non_diegetic_music: Нежная мелодия кото и сякухати мягко вступает после 00:01.000 и тепло нарастает к последней секунде.

Структура промпта для референсов

Промпт состоит из шести разделов в таком порядке:

subject_definitions:
<Subject 1> ...

summary:
[reference generation] ...

retention_analysis:
<Subject 1> (appears in [Shot 1]): fully_preserved — ...

detailed_description:
...

overall_soundscape:
...

non_diegetic_music:
...

subject_definitions — каждый герой, предмет или место как <Subject N>: из какого изображения он взят и какие черты важны. Если изображение задаёт конкретную композицию кадра, ссылайтесь на само изображение.
summary — один короткий абзац, который начинается с [reference generation].
retention_analysis — по строке на каждую метку: насколько точно сохранить референс. Значения: fully_preserved — полностью, partially_preserved — частично, attribute_transfer — перенести только отдельные черты, weak_reference — использовать как ориентир.
detailed_description — стиль в одном-двух предложениях, затем сцены [Shot N] с таймкодами.
overall_soundscape и non_diegetic_music — как в режиме кадров.

Используйте каждую метку в одном и том же значении во всех разделах.

Пример с референсом:

subject_definitions:
<Subject 1> — женщина с @Image1: короткие рыжие волосы, веснушки, зелёные глаза, оливковая куртка поверх белой футболки.

summary:
[reference generation] Десятисекундное кинематографичное видео 16:9, в котором <Subject 1> находит старую фотографию в книжном магазине и улыбается.

retention_analysis:
<Subject 1> (appears in [Shot 1]-[Shot 2]): fully_preserved — сохранить лицо, причёску, веснушки и одежду во всех сценах.

detailed_description:
Реалистичная съёмка с тёплым вечерним светом и малой глубиной резкости.

[Shot 1] Средний план. <Subject 1> идёт вдоль книжных полок, проводит пальцами по корешкам и вытаскивает потрёпанный томик; из него выпадает старая фотография. Камера медленно движется за ней.

[Shot 2] At 00:05.000 крупный план. Она поднимает фотографию, всматривается и тихо смеётся; камера с небольшой амплитудой наезжает на её лицо.

overall_soundscape:
Тихий гул магазина, шелест страниц, шаги по деревянному полу, приглушённый смех.

non_diegetic_music:
Спокойное фортепиано, которое мягко нарастает во второй сцене.

Общие советы

Описывайте только то, что видно и слышно: взгляд, мимику, позу, жесты, движение предметов.
Называйте тип движения камеры: наезд, отъезд, панорама, наклон, проводка, облёт, статичный план. При необходимости укажите амплитуду и скорость.
Текст, который должен появиться в кадре, и точные реплики пишите в кавычках.
Сохраняйте внешность, одежду, свет и расположение героев между сценами.
Убирайте противоречивые указания и общие фразы вроде «сделай красиво».

Используйте улучшение промпта

Нажмите Улучшить промпт, если исходная идея короткая. Инструмент сам соберёт нужную структуру и строки привязки по загруженным кадрам или референсам и выбранной длительности, сохранив вашу сцену и язык промпта.