Попалась ссылочка на ИИ LumaLabs, который "оживляет" фотографии - делает из них кусочек видео.

Потестировал. Когда модели просто скармливаешь фото, и она его "оживляет" по своему усмотрению - получается очень по-разному. Иногда прям хорошо. Иногда очень так себе. Реже - прям совсем ужас-ужас. Но там в запросе можно указывать, что именно вы хотите получить, и это можно влиять на результаты.

Ну и вот что у меня получилось. (Я уточняющие запросы не делал, просто смотрел, как она обработает.)

Оригинал фото из 1986 года (значит, мне было ровно 20).

Обработка. Прикольно получилось.

Наша компания перед каким-то MWC в Барселоне.

Фирменную плющевскую ухмылку модель обработать не смогла, а вот нас с Пашей Кушелевым обработала прикольно.

Фото неизвестного испанца XXI века.

Обработка. Ну так, прикольно, хотя черты лица заметно исказила.

Еще фото.

Вот тут уже дурдом полный. Но оно и понятно: хуже всего получается, когда модель начинает изображать какие-нибудь заметные движения. В данном случае у Сакмарова флейта располовинилась.

Ну и еще вот эту фоточку модели подсунул.

В видео я, судя по всему, что-то кому-то горячо доказываю: понять бы что именно.

Поиграйтесь, там бесплатно можно 25 изображений обработать. Подождать придется, но это не страшно.

Что искусственный интеллект-то вытворяет! Мало того, что озвучивает на других языках, но при этом еще и сохраняет оригинальные голоса актёров, фантастика!

Проверял тут одну штуку. Попросил четыре разных ИИ нарисовать группу довольных мужчин, безо всяких уточнений. 

Stable Diffusion, реалистичная модель.

DALL-E в ChatGPT.

Плагин Image Edit and img2img в ChatGPT.

DALL-E в CoPylot. Единственный, кто добавил атмосферу праздника.

Ну и вот статья со сравнением результатов рисования по разным промптам четырех AI: Stable Diffusion, Midjourney, DALL-E vivid и DALL-E natural.

OpenAI представила модель GPT-4o, которая умеет полноценно общаться человеческим голосом: интонации, смех, запинки и так далее.

Вот демонстрация. Впечатляет, да.

Upd: И еще одна демонстрация - эта модель используется для перевода с английского на испанский и обратно.

Компания Microsoft представила модель искусственного интеллекта VASA-1, предназначенную для генерирования реалистичных видео персонажей, произносящих заданный текст, по одной фотографии и аудиоклипу с речью. VASA-1, способна не только воспроизводить движения губ, синхронизированные со звуком, но и улавливать широкий спектр нюансов лица и естественных движений головы, которые способствуют реалистичному восприятию.

Пишут, что эта модель поддерживает онлайн-генерацию видео 512x512 с частотой до 40 кадров в секунду с незначительной задержкой.

Для чего это может применяться? Ну, например, для создания реалистичных аватаров, которые имитируют человеческий разговор.

На странице проекта выложено множество примеров работы VASA-1, вот один из них.

Ну и вот ролик, который показывает, как работает эта технология в реальном времени.

Попалась тут ссылка на нейросеть для реставрации и раскрашивания старых фото. Работает в онлайне, бесплатная.

Погонял на всяких произвольных старых фото. Ну, в принципе, работает вполне неплохо. Никак не идеально, но неплохо. А до нужного вида потом можно в "Фотошопе" довести. 

Следы невиданных зверей!

Don Allen Stevenson III в содружестве с OpenAI и моделью Sora создал демонстрационный ролик о несуществующих животных.

Вот что он пишет в описании (оригинал на английском).

Я очень рад представить нечто поистине революционное в сотрудничестве с @openai - взгляд в будущее повествования с помощью технологии Sora. 🌟

В этом трейлере мы исследуем параллельный мир за пределами нашей реальности, где границы воображения расширяются, оживляя несколько существ, которых я придумал. То, что вы видите, - это не традиционные кадры 🎞️, а результат работы новейшей видеотехнологии, созданной искусственным интеллектом, которая стирает границы между реальностью и фантазией. Я попытался заложить в основу своих работ что-то знакомое, например, животных, но также и то, что в настоящее время невозможно с точки зрения биологии, 🧬 эти гибридные существа.

Сейчас, когда мы вступаем в новую эру, я понимаю опасения, связанные с быстрой эволюцией наших творческих индустрий. Я действительно считаю, что Sora предлагает другой вид визуального холста, расширяя мои творческие возможности и дополняя мои различные творческие ремесла. Я всегда был творческой студией, состоящей из одного человека, поэтому существовали ограничения на то, что я мог создать в одиночку. С Sora я чувствую, что могу рассказывать истории в таких масштабах, которые раньше мне казались невозможными.

Продолжая быть ранним художником, работающим с Sora, я обещаю помнить о ее глубоком влиянии. Я буду продолжать делиться знаниями о ней в образовательном и творческом качестве.

Я чувствую, что мы открываем 🔓 новую эру творческого повествования, которую мы никогда раньше не могли представить коллективно! Оставайтесь любопытными и творческими!!!

Ну и вот сам ролик, который некоторым образом взрывает мозг...

Компания HarrisX, занимающаяся различными маркетинговыми исследованиями, по заказу Variety Intelligence Platform (VIP+) провела исследование на тему того, могут ли люди отличить видео, созданное инструментом "текст в видео" Sora от OpenAI от реальных видеороликов.

Вот подробные результаты исследования.

Кратко. Более чем 1000 участников в режиме онлайн показывали четыре реалистичных видео, созданных Sora, и четыре видео с похожими сюжетами из стокового материала. В итоге в 60% испытуемые считали, что ролики от Sora - созданы человеком.

После этого респондентам сообщили, какие именно ролики созданы Sora, которые они приняли за реальные, и спросили, что они в связи с этим чувствуют. Реакция была смешанной, положительной и отрицательной: от любопытства (28 %), неуверенности (27 %) и непредвзятости (25 %) до тревоги (18 %), вдохновения (18 %) и страха (2 %).

Также на вопрос, считают ли респонденты, что правительство США должно принять постановление, требующее, чтобы контент, созданный искусственным интеллектом, был обозначен как таковой - респонденты одинаково категорично заявили о необходимости регулирования всех форматов контента, включая видео, изображения, текст, музыку, субтитры и звуки.

Image credit: Adobe Stock/ _veiksme_

Компания Adobe представила проект Music GenAI - это ресурс на основе искусственного интеллекта для создания и настройки музыкальных произведений из текстовых подсказок. Система была разработана в сотрудничестве с Калифорнийским университетом и Школой компьютерных наук Университета Карнеги-Меллон.

В издании Wired пишут, что данная система является частью платформы Firefly, семейства моделей искусственного интеллекта, которые были интегрированы в такие сервисы, как Photoshop, Illustrator и Express. Она работает аналогично моделям MusicLM от Google и AudioCraft от Meta. Достаточно ввести запрос, описывающий тип и стиль желаемой мелодии, после чего ИИ выдаст песню с заранее заданными характеристиками. Модель также способна генерировать результаты на основе уже существующей эталонной композиции.

В отличие от других подобных программ, этот подход включает в себя встроенные элементы управления редактированием. Проект позволяет легко вносить изменения в структуру, темп, интенсивность и повторяющиеся паттерны генерируемого произведения. Она позволяет смешивать фрагменты разных клипов, создавать музыкальные петли и увеличивать продолжительность произведений.

Впрочем, пока проект находится на ранней стадии разработки, и пока нет никаких подробностей о том, как будет работать интерфейс, как будет обеспечиваться безопасность исходных материалов и какова максимальная длина клипов, которые можно будет создавать.

Ну и вот небольшая демонстрация возможностей этой модели, которую показала компания Adobe.

Совсем недавно компания OpenAI представила модель ИИ под названием Sora, которая умеет создавать реалистичные видео по обычным текстовым запросам.

А теперь компания ElevenLabs, занимающаяся автоматической озвучкой текста и генерацией аудио, показала, как ее ИИ может создавать озвучку для видео - тоже по простым текстовым промптам.

В демонстрационном ролике озвучиваются примеры, созданные Sora.

Кстати, компания ElevenLabs была основана Петром Дабковским, бывшим инженером по машинному обучению Google, и Мати Станишевским, бывшим стратегом по внедрению Palantir, для разработки сверхреалистичных моделей преобразования текста в речь для образования, аудиокниг, игр, фильмов, бизнеса и так далее. Компания получила $19 млн инвестиций.

И вот один из впечатляющих примеров их разработок: ИИ вслух читает роман Скотта Фицджеральда "Великий Гэтсби".