Как правильно писать промты для Stable Diffusion — Правила создания и примеры

Для того, чтобы получались красивые готовые изображения в Stable Diffusion, необходимо писать составленные по всем правилам подсказки (промты).

При составлении хорошей подсказки важно сделать ее подробной и конкретной. Один из эффективных подходов заключается в просмотре списка категорий ключевых слов и определении того, подходит ли какая-либо из них для вашей подсказки.

Вот категории ключевых слов, которые следует учитывать:

Предмет
Способ(средства)
Стиль
Художник
Вебсайт
Разрешение
Дополнительные сведения
Цвет
Освещение

Используя релевантные ключевые слова из этих категорий, вы можете повысить качество и ясность вашей подсказки.Давайте рассмотрим каждую категорию и создадим несколько изображений, включив в них ключевые слова из каждой категории. Мы будем использовать базовую модель v1.5. Чтобы проследить эффект только от подсказок, мы не будем включать негативные подсказки на этом этапе. Об этом напишем позже.

Все изображения сгенерированы с помощью 30-шагового сэмплера DPM++ 2M Karas, размер изображения 512×704.

Предмет или тема — это то , что вы хотите видеть на изображении. Распространенная ошибка — написать недостаточно подробностей.

Допустим, мы хотим сгенерировать магию волшебницы. Новичок может просто написать:

волшебница

Это оставляет слишком много места для воображения. Как вы хотите, чтобы волшебница выглядела? Любые слова, описывающие ее, которые сузили бы ее образ? Что она носит? Какую магию она использует? Она стоит, бежит или парит в воздухе? На каком фоне?

Стабильная диффузия не может читать наши мысли. Мы должны написать в запрос именно то, что мы хотим увидеть.
Обычный трюк для людей — использовать имена знаменитостей. Они обладают сильным эффектом и являются отличным способом управления внешним видом субъекта. Однако учтите, что эти имена могут менять не только лицо, но и позу и еще что-то. Мы отложим эту тему до следующей части этой статьи.

В качестве демонстрации давайте сделаем волшебницу похожей на Эмму Уотсон , наиболее часто используемое ключевое слово в Stable Diffusion. Допустим, она могущественна и загадочна и использует магию молнии. Мы хотим, чтобы ее наряд был очень детализирован, чтобы она выглядела интересно.

Эмма Уотсон в образе могущественной таинственной волшебницы, использующей магию молний, детализированную одежду.

Мы получаем Эмму Уотсон 11 из 10 раз. Ее имя так сильно подействовало на модель. Мы думаем, что она популярна среди пользователей Stable Diffusion, потому что выглядит похоже, молодо и «стабильно» в самых разных сценах. Поверьте мне, мы не можем сказать то же самое обо всех актрисах, особенно о тех, кто был популярен в 90-х или раньше…

Это материал, используемый для создания художественных работ. Вот некоторые примеры: иллюстрация, масляная живопись, 3D-рендеринг и фотография. Этот параметр имеет сильный эффект, потому что одно ключевое слово может кардинально изменить стиль.

Давайте добавим ключевое слово “цифровая живопись”.

Эмма Уотсон в образе могущественной таинственной волшебницы, вызывающая магию молнии, детализированная одежда, цифровая живопись.

Мы видим то, что ожидали! Изображения превратились из фотографий в «цифровые картины». Все идет нормально.

Под стилем понимается художественный стиль изображения. Примеры включают импрессионистов, сюрреалистов, поп-арт и т.д.

Давайте добавим к подсказке гиперреализм, фантазию, сюрреализм, в полный рост.

Эмма Уотсон в образе могущественной таинственной волшебницы, вызывающая магию молнии, детализированная одежда, цифровая живопись, гиперреалистичная, фэнтезийная, сюрреалистичная, тело в полный рост.

Ммм… не уверены, что они много добавили. Возможно, эти ключевые слова уже подразумевались предыдущими подсказками.

Имена художников оказывают сильное влияние на генерацию изображения. Они позволяют вам выбрать точный стиль, используя конкретного исполнителя в качестве эталона. Также принято использовать несколько имен исполнителей, чтобы смешать их стили. Теперь добавим Стэнли Артгерма Лау , художника комиксов о супергероях, и Альфонса Муху , художника-портретиста 19 века.

Эмма Уотсон в образе могущественной таинственной волшебницы, вызывающей магию молнии, детализированная одежда, цифровая живопись, гиперреалистичная, фантазийная, сюрреалистичная, в полный рост, Стэнли Артгерм Лау и Альфонс Муха.

Стили смешались, главное не смотреть на руки

Нишевые графические веб-сайты, такие как Artstation и Deviant Art, собирают множество изображений разных жанров. Использование их в подсказке — верный способ направить изображение в сторону этих стилей.

Давайте добавим artstation в подсказку.

Эмма Уотсон в образе могущественной таинственной волшебницы, создающая магию молнии, детализированная одежда, цифровая живопись, гиперреалистичная, фантазия, сюрреалистка, в полный рост, Стэнли Артгерм Лау и Альфонс Муха, artstation.

Это небольшое изменение, но изображения действительно выглядят так, как вы найдете на Artstation. Но продолжайте не смотреть на руки, и “затроенные” коленки

Разрешение показывает, насколько резким и подробным будет изображение. Давайте добавим ключевые слова с высокой детализацией и четким фокусом.

Эмма Уотсон в образе могущественной таинственной волшебницы, создающая магию молнии, детализированная одежда, цифровая живопись, гиперреалистичная, фантазия, сюрреалистка, в полный рост, Стэнли Артгерм Лау и Альфонс Муха, artstation, высокая детализация, резкий фокус.

Ну, возможно, не слишком большой эффект, потому что предыдущие изображения уже довольно четкие и детализированные. Но добавить не помешает.

Дополнительные детали — это подсластители, добавленные для изменения изображения. Мы добавим научную фантастику, потрясающе красивую и антиутопическую, чтобы придать изображению некоторую атмосферу.

Эмма Уотсон в образе могущественной таинственной волшебницы, вызывающая магию молнии, детализированная одежда, цифровая живопись, гиперреалистичная, фэнтезийная, сюрреалистичная, в полный рост, Стэнли Артгерм Лау и Альфонс Муха, artstation, высокая детализация, резкий фокус, научная фантастика, потрясающе красивая, антиутопия.

Если еще первое изображение похоже на Эмму, то последующие 2 — еле уловимый образ и уж точно не потрясающе красивая. Хотя молнии прекрасны

Вы можете контролировать общий цвет изображения, добавляя цветовые ключевые слова. Указанные цвета могут отображаться в виде тона или в объектах.

Давайте добавим немного золотого цвета к изображению с помощью ключевого слова переливающееся золото.

Эмма Уотсон в образе могущественной таинственной волшебницы, вызывающая магию молнии, детализированная одежда, цифровая живопись, гиперреалистичная, фэнтезийная, сюрреалистичная, в полный рост, Стэнли Артгерм Лау и Альфонс Муха, artstation, высокая детализация, резкий фокус, научная фантастика, потрясающе красивая, антиутопия, переливающееся золото.

Золото! Золото получилось, только: ”Лицом к лицу — Лица не увидать…”. P.s. Проблемы с генерацией лица.

Любой фотограф скажет вам, что освещение является ключевым фактором в создании удачных снимков. Ключевые слова “освещения” могут оказать огромное влияние на то, как выглядит изображение. Давайте добавим к подсказке кинематографическое освещение и темноту.
Эмма Уотсон в образе могущественной таинственной волшебницы, вызывающая магию молнии, детализированная одежда, цифровая живопись, гиперреалистичная, фантазия, сюрреалистка, в полный рост, Стэнли Артгерм Лау и Альфонс Муха, artstation, высокая детализация, резкий фокус, научная фантастика, потрясающе красивая, антиутопия, переливающееся золото, кинематографическое освещение, темнота.

Как вы, возможно, заметили, изображения уже довольно хорошо получаются с несколькими ключевыми словами, добавленными к теме. Когда дело доходит до создания промта для Stable Diffusion, зачастую вам не нужно иметь много ключевых слов, чтобы получить хорошие изображения.

В зависимости от того, через какую платформу вы пользуетесь Stable Diffusion, максимальное количество ключевых слов, которые вы можете использовать в приглашении, может быть ограничено. В базовой модели Stable Diffusion v1 этот лимит составляет 75 токенов.

Обратите внимание, что токены — это не то же самое, что слова. Модель CLIP, которую использует Stable Diffusion, автоматически преобразует подсказку в токены — числовое представление слов, которые она знает. Если вы вставите слово, которого он раньше не видел, оно будет разбито на 2 или более подслов, пока оно не узнает, что это такое. Слова, которые он знает, называются токенами, которые представлены в виде чисел. Например, мечта — это один токен, пляж — это один токен. Но Dreambeach — это два слова, потому что модель не знает этого слова, и поэтому модель разбивает слово на то, “dream” и “beach”, которые она знает по отдельности.

Использование негативных подсказок — еще один отличный способ управлять результатом генерации, но вместо того, чтобы вставлять то, что вы хотите, вы вставляете то, что вы хотите, чтобы не было изображено. Они не должны быть объектами. Они также могут быть стилями и нежелательными атрибутами. (например, уродливый, деформированный)

Использование отрицательных подсказок является обязательным для моделей v2 . Без него изображения выглядели бы намного хуже, чем в v1. Они необязательны для моделей v1, но мы советуем их использовать, потому что они либо помогают, либо не мешают

Мы постоянно используем универсальную отрицательную подсказку. Сохраняйте на всякий случай:

некрасиво, мозаично, плохо прорисованы руки, плохо прорисованы ноги, плохо прорисовано лицо, вне кадра, лишние конечности, изуродовано, деформировано, тело вне кадра, плохая анатомия, водяной знак, подпись, обрезано, низкий контраст, недоэкспонированный, переэкспонированный, плохое искусство, искаженное лицо, размытое, зернистое.

Мы рекомендуем вам начинать с простой подсказки используя : тему, способ(средство) и стиль. Создавайте как минимум 4 изображения за раз, чтобы увидеть, что у вас получится. Ни одна из подсказок не работает в 100% случаев. Если вы хотите понять как влияют подсказки статистически, то не добавляйте более двух ключевых слов за раз. Точно так же создайте как минимум 4 изображения, чтобы оценить его эффект.

Если вы только начинаете свой творческий путь созидания, вы можете использовать универсальную отрицательную подсказку.

Добавление ключевых слов к отрицательному приглашению может быть частью процесса происходящего в несколько этапов. Ключевые слова могут быть объектами или частями тела, которых вы хотите избежать (поскольку модели v1 не очень хорошо отображают руки, было бы неплохо использовать «руку» в отрицательной подсказке, чтобы ИИ их не пыталось создать).

Чтобы составлять хорошие подсказки, вам нужно мыслить как Stable Diffusion. По своей сути это сэмплер изображений, генерирующий значения пикселей, которые мы, люди, скорее всего, сочтем законными и хорошими. Вы даже можете использовать его без подсказок, и он будет генерировать много несвязанных изображений. С технической точки зрения это называется безусловной или неуправляемой диффузией.

Подсказка(промт) — это способ направить процесс диффузии в область выборки, где он соответствует. Ранее мы писали, что подсказка должна быть подробной и конкретной. Это потому, что подробная подсказка сужает пространство выборки. Давайте посмотрим на пример.

замок

Дополним подсказку:
замок, фон голубого неба

Добавляя в подсказку дополнительные описывающие ключевые слова, мы сужаем выборку замков. Мы запросили любое изображение замка в первом примере. Затем мы попросили получить только те, у которых фон голубого неба.

Чем больше вы укажете в подсказке, тем меньше различий в изображениях.

Помните, что несколько удачно подобранных слов могут сыграть огромную роль в создании изображений с помощью Stable Diffusion. Так что используйте силу своих слов, экспериментируйте с ключевыми словами и приготовьтесь удивляться результатам. И если у вас хватило сил прочитать эту статью, то обязательно посмотрите как мы генерировали знаменитостей.