Генерация изображений со скоростью ввода текста
Я сейчас изучаю возможности Foocus V2 (собственно, для этого я и покупал новую видеокарту) - это нейросеть, создающая изображения по текстовому описанию (и, возможно, по другим изображениям), базирующаяся на Stable Diffusion XL. Система крайне интересная, однако генерация каждой картинки по не особенно сложному запросу занимает на моем компьютере примерно 25 секунд. Что, с одной стороны, очень недолго, но, с другой, там явно есть возможности для совершенствования процесса.
Так вот, буквально вчера компания Stability.ai, разработчик Stable Diffusion XL, представила новую модель Stable Diffusion XL Turbo, которая может генерировать и изменять изображение прямо в процессе набора текстового запроса.
Вот как это выглядит.
А вот здесь в онлайне вы можете попробовать самостоятельно сгенерировать изображение (на английском) наблюдая за тем, как картинка появляется в реальном времени (внимание: бесплатно дается только пара попыток).
Вот, например, моя попытка.
Ну вот что мне нарисовала Foocus V2 в реалистичной манере по тому же запросу (без уточнений) за 30 шагов.
Тот же запрос у Leonardo.ai.
Примеры изображений, созданных с помощью Stable Diffusion XL Turbo.
Главная инновация SDXL Turbo заключается в способности создавать изображения за один шаг, что значительно меньше, чем 20-50 шагов, которые требовались его предшественнику. Компания Stability приписывает этот скачок в эффективности технике, которую она называет Adversarial Diffusion Distillation (ADD).
Компания Stability подробно описала внутреннюю работу модели в опубликованном во вторник исследовательском документе, посвященном технике ADD.
Изображения SDXL Turbo не столь детализированы, как изображения SDXL, полученные при большем количестве шагов, поэтому его нельзя считать заменой предыдущей модели. Но за счет экономии скорости результаты получаются впечатляющими.
Скорость генерации SDXL Turbo - это то, что называется "реальным временем". Stability AI утверждает, что на Nvidia A100 (мощном GPU с поддержкой искусственного интеллекта) модель может генерировать изображение размером 512×512 за 207 мс, включая кодирование, один шаг шумоподавления и декодирование. Подобная скорость может привести к созданию генеративных видеофильтров ИИ в реальном времени.
Генерация высокоточных изображений за один шаг. Все образцы сгенерированы с помощью диффузионной дистилляции (ADD)
