Stable Diffusion: что за нейросеть, как скачать, установить и пользоваться

Stable Diffusion — бесплатная нейросеть, которая выдаёт качественные изображения с высоким соответствием промпту. В этом материале расскажем о функциях и возможностях Stable Diffusion и как работать с нейросетью — скачать, установить и пользоваться. 

Что такое нейросеть Stable Diffusion

Stable Diffusion — нейросеть компании Stability AI для генерации изображений по текстовому запросу. Работает через веб-версию или десктопное приложение. 

Stable Diffusion выполняет функции:

• генерация изображений: стиль изображения может быть любым – от карандашнго наброска до фотореалистичных картинок. Также можно задать стиль определённого художника и фотографа;
• создание ассетов для игр: генерация внутриигровых предметов с возможностью интеграции в игровое пространство (для Unreal Engine);
  создание покадровой анимации;
• дорисовка: вы можете показать нейросети набросок, и она дорисует всё остальное;
• изменение изображений: удалить или добавить объект, поменять размер.

Промпт: Makoto Shinkai's watercolor painting, a concept car, vibrant colors, tropical paradise, masterpiece

Преимущества и недостатки Stable Diffusion

В отличие от Midjourney и DALL-E, у нейросети Stable Diffusion открытый исходный код: вы можете бесплатно скачать и установить приложение, а также модифицировать и изменять нейросеть. 

Но в исходной версии интерфейс Stable Diffusion не очень удобен в использовании. Кроме того, нейросеть требовательна к “железу” ПК: стабильная работа возможна только на видеокартах объёмом от 6 Гб. 

Эти проблемы решили энтузиасты, которые доработали и модернизировали приложение, повысив удобство и упростив системные требования. Но это негативно сказалось на скорости работы. 

Промпт: a still from an 80's movie, a woman dressed in 80s style, walking a russian village, 80's aesthetic, soft light, natural light, cinematic

Как использовать Stable Diffusion онлайн

1. Mage. Не требует регистрации, бесплатный и не имеет лимита по количеству генераций, но имеет ограничения по настройкам. Также есть продвинутый режим с расширенными настройками. 
2. ClipDrop. Официальный сайт Stability AI, который генерирует по запросу четыре варианта изображения. У одного из них можно увеличить разрешение. 
3. Dream Studio. Облегчённая веб-версия Stable Diffusion. Для использования необходима регистрация. Бесплатные кредиты позволяют сгенерировать около 400 изображений, 1000 кредитов (примерно на 4000 генераций) стоит 10$. 
4. HuggingFace. Сайт предлагает большое количество пользовательских моделей Stable Diffusion. Сервис бесплатный и безграничный, но не даёт менять настройки изображений. 

Промпт: pixel art, ancient ruins, forest, scenic view, maximum details, 16 bit, cinematic

Как скачать и установить Stable Diffusion на Windows

Наиболее качественная версия нейросети, открывающая все её возможности — Stable Diffusion WebUI от Automatic. Рекомендуем использовать эту сборку и пошагово рассмотрим, как её установить:

1. Для установки потребуются: довольно мощный ПК с видеокартой не менее 4 гб памяти, 10 гб свободного места на диске.
2. Установите Python версии 3.10.6. Скачать установочный файл на официальном сайте. При установке отметьте пункт «Добавить Python в переменную PATH».
3. Установите Git с настройками по умолчанию.
4. На странице разработчика Automatic1111 на GitHub скачайте zip-архив с приложением Stable Diffusion WebUI. При распаковке архива поместите файлы в папку, не содержащую пробелов или кириллицы.
5. Скачайте нейросеть Stable Diffusion с официального сайта проекта (для этого потребуется регистрация).
6. Переименуйте скачанный файл в «model.ckpt», затем поместите его в ту же папку, куда распаковывали zip-файл от Automatic.
7. В этой же папке запустите файл «webui-user.bat». Этот скрипт самостоятельно установит недостающие компоненты для работы. Учтите, что он не отражает процент загрузки. Не закрывайте окно.
8. Когда установка завершится, вы увидите сообщение: «Running on local URL: https://127.0.0.1:7860/». Перейдите по указанному адресу. Готово! Теперь можно приступать к генерации изображений. 

Если вам достаточно базовых возможностей нейросети с генерацией по текстовому запросу с ограничениями по настройкам, подойдут приложения:

• NMKD Stable Diffusion GUI ― генерирует картинки по промптам и референсам, можно улучшать их качество и исправлять лица.
• Easy Diffusion ― работает на всех операционных системах: Windows, macOS, Linux. В приложении можно генерировать изображения только по промпту. 

Как скачать и установить Stable Diffusion на MacOC

Самый простой способ работать со Stable Diffusion на MacOC — программа Diffusion Bee. Чтобы ей воспользоваться, скачайте установочный файл с официального сайта разработчика и установите программу на свой ПК. 

Настройки в Stable Diffusion

Кроме поля ввода для промпта, Stable Diffusion имеет блок настроек для более качественной генерации:

• Steps — количество шагов генерации изображения. Чем их больше, тем более детально нейросеть обрабатывает запрос. По умолчанию выставляется 50 шагов. Хотя некоторые бесплатные версии позволяют выставить только 25 шагов, а продвинутые версии — 150 и более.
• Classifier Free Guidance (CFG) — параметр детализации и контраста. По умолчанию выставлен на 7. При более низком значении контрастность и насыщенность снижаются, но увеличивается фотореалистичность.
• Seed — стартовый шум, из которого формируется изображение. Этот параметр по умолчанию случайный, но если выставить определённое значение и повторно сгенерировать тот же промпт, результаты будут похожими. Чем больше значение, тем разнообразнее будут варианты одного промпта.
• Resolution — размер изображения. Лучше всего нейросеть справляется с размерами 512х512 и 1024х1024. Чем больше размер, тем дольше нейросеть будет обрабатывать запрос.
• Sampler — метод обработки шумов. Каждый метод эффективен с разным количеством шагов.
• Restore faces ― делает лица людей реалистичными.
• Tiling ― настройка для создания абстракций и текстур.
• Hires.fix ― не допускает повторения одинаковых объектов в одном изображении.

Наглядное сравнение настроек Stable Diffusion

Как пользоваться нейросетью Stable Diffusion

В Stable Diffusion есть два поля для ввода промпта: в первое поле пишем, что должно быть на изображении. Во второе поле – чего не должно быть на картинке. 

Советы, как написать промпт:

1. Стандартная схема запроса: объект, фон, стиль, дополнительные описания качества картинки, освещения и деталей на изображении. Все ключевые слова промпта пишутся через запятую.
2. Порядок слов имеет значение: сначала – все самые важные слова, затем – менее значимые детали. Иногда увеличить эффективность генерации можно благодаря изменению порядка слов.
3. Чем подробнее запрос – тем лучше результат.
4. Активное использование синонимов: для более эффективной генерации пропишите одну и ту же характеристику разными словами, например “зимний, морозный, холодный, снежный” для создания зимнего пейзажа.
5. Используйте сайты-промптеры:

• PromptoMania — сайт поможет составить подробный промпт для Stable Diffusion  с большим количеством настроек.
• Lexica Art — сайт с огромной библиотекой сгенерированных картинок с указанием промпта.
• OpenArt — аналогичный сайт со встроенным инструментом для генерации с возможностью объединения картинок.
• My Stable Diffusion — паблик в вк, где пользователи делятся своими промптами и настройками и показывают результаты генерации.