Диффузионные модели генерации изображений¶

Диффузионные модели генерации изображений — класс генеративных моделей машинного обучения, в которых изображение синтезируется путём последовательного удаления шума из случайного начального состояния. Такие модели обучаются на обратной задаче: прямой процесс постепенно зашумляет реальное изображение, а нейросеть учится восстанавливать его шаг за шагом. К середине 2020-х годов этот подход стал доминирующим в задачах синтеза изображений, превзойдя по качеству более ранние генеративно-состязательные сети (GAN).

¶Принцип работы

Основу метода составляет идея диффузии, заимствованная из физики: подобно тому как частицы газа рассеиваются из упорядоченного состояния, изображение можно постепенно превратить в чистый шум, а затем обратить процесс.

• Прямой процесс (зашумление). К исходному изображению за несколько сотен или тысяч шагов добавляется гауссов шум. На финальном шаге от исходного сигнала не остаётся информации — получается случайный шум.
• Обратный процесс (генерация). Нейросеть обучается предсказывать, какой шум был добавлен на каждом шаге, и вычитать его. Запуская обратный процесс из случайного шума, модель постепенно «проявляет» новое изображение.

Ключевое отличие от GAN — отсутствие состязательного обучения: модель тренируется на устойчивой задаче регрессии, что делает обучение стабильнее, хотя генерация требует множества последовательных итераций.

¶История развития

Идея диффузионных вероятностных моделей восходит к работам 2015 года, однако практическое применение стало возможным лишь после 2020 года. Значительный вклад внесла архитектура DDPM (Denoising Diffusion Probabilistic Models), показавшая качество, сопоставимое с GAN. Дальнейшие работы ускорили генерацию за счёт сокращения числа шагов и перехода в латентное пространство.

Переломным стал 2022 год, когда появились открытые модели, генерирующие изображения по текстовому описанию. Они сделали технологию массовой и доступной широкой аудитории.

¶Разновидности

Латентный подход считается наиболее распространённым, поскольку генерация в сжатом пространстве существенно быстрее при сохранении качества.

¶Применение

• Генерация изображений по текстовому описанию.
• Редактирование и реставрация: удаление объектов, дорисовка, повышение разрешения.
• Стилизация и перенос стиля.
• Создание иллюстраций для дизайна, рекламы, игр.
• Вспомогательные задачи в науке: синтез данных, визуализация молекул.

¶Ограничения и критика

Несмотря на качество результатов, у подхода есть существенные недостатки. Генерация вычислительно затратна и требует мощных ускорителей. Модели могут воспроизводить искажения и артефакты, а также отражать смещения обучающих данных. Отдельную проблему составляют вопросы авторского права: обучающие наборы нередко включают защищённые произведения, что порождает юридические споры. Кроме того, технология позволяет создавать реалистичные подделки, что затрудняет проверку подлинности изображений.

¶Значение

Диффузионные модели изменили подход к синтезу визуального контента, сделав генерацию изображений доступной без специальных навыков. Их архитектурные принципы были перенесены на генерацию видео, звука и трёхмерных объектов, что вывело метод за рамки одной задачи.