Адрес для входа в РФ: exler.click

Инструмент для восстановления старых фотографий

12.08.2022 11:04  11965   Комментарии (61)

Разработчики из китайской компании Tencent представили бесплатный инструмент GFP-GAN (Generative Facial Prior-Generative Adversarial Network) для восстановления и улучшения старых фотографий.

Вот ролик, в котором они рассказывают, как работает эта технология.

А вот онлайновая версия самого инструмента, который можно опробовать в работе.

Я его погонял на различных снимках.

Сначала старое фото приличного качества, но не особенно четкое. Слева - оригинал, справа - обработка. (На фото, кстати, я сам собственной персоной.) А что - лицо очень прилично вытянули. Понятно, что я бы подобных результатов смог бы добиться в "Фотошопе", но на это ушло бы значительно больше времени, чем те несколько секунд, которые на обработку потратил данный инструмент. 

Более старое фото. Тоже очень прилично.

Теперь возьмем совсем некачественное изображение. У мужчины лицо вытянули прям здорово, хотя и не отремонтировали повреждения на фото. Лицо ребенка вытянуть не смогли, но и неудивительно - там деталей нет совсем.

Еще одно, сильно поврежденное фото. Лица вытянули хорошо, но трещины все как были, так и остались. Хотя на примере в ролике алгоритм вроде бы с трещинами должен справляться.

Ну, в общем, интересно, да, для определенных снимков может заметно улучшить качество лиц, однако жалко, что алгоритм трещины не удаляет - это было бы очень полезно.

Если будете пробовать и получите какие-то интересные результаты, поделитесь в комментах, плиз.

12.08.2022 11:04
Комментарии 61

Обычное семейное фото, но редактор пишет This image can not be rendered.
Почему не пойму.
02.09.22 11:03
0 0

На 3.18 сек в ютуб видео показано, что она исправляет переломы/трещинки и прочие дефекты на лице. Воодушевился. Загрузил туда пару десятков старых отсканированных фоток. Результат не вдохновил. Дефекты фото игнорируются, лица после обработки, и при увеличении, оказываются, даже не знаю как сказать, закуклены. Не реалистичны. Кожа лица сглажена, глаза прорисованы аки макияж. Губы перманентны. Но самое забавное, правки касаются только лица, остальные объекты на фото почти игнорируются, как и дефекты. ПС: на одной из фото моего дедушку превратили в баб... дивчину... 😒
13.08.22 04:45
0 2

А это не история аналогичная гугл фото? То есть выкатили, потому-что нужна data ? А если уж совсем сгущать, то китайцам нужна data вчех рас, на азиатских лицах обучили нейронку, а тепрь вот
12.08.22 21:02
0 0

Тема сисек не раскрыта.
Загрузил старую фотографию с обнажёнкой, но, судя по всему, алгоритм распознал на предложенной фотографии голые, женские сиськи и заявил что фотография не может быть улучшена.
12.08.22 17:58
0 1

Да, неплохо.
12.08.22 16:37
0 3

Заметили появление цвета на лицах? Это не появление, а неполное убирание цвета на тех фрагментах чужих лиц, что использовались для "реставрации".

Ну так побаловаться можно))) Чем лучше изначальное качество фото, тем больше шансов на успех. Востанавливает, основываясь на каких-то своих представлениях о прекрасном.
1) Попробовала " востановить" одну фотографию несколько раз - все результаты разнились, хотя родство просматривалось.
2) На групповом фото другу неповезло запечатлеться в профиль. Ему программа дорисовала лишние нос и губы.
3) Другому товарищу "досталось" - его прога зачем-то состарила лет примерно на тридцать. Исходнику на тот момент было 13))).
Ну и так по мелочи всякого : слишком сильно улыбаешься - зубов тебе побольше. Если моргнул - без глаз остался.
12.08.22 16:07
0 1

Подскажите программу для телефонов Android, которая может из нескольких последовательно сделанных скриншотов экрана сделать одну длинную фотографию, как длинный скриншот сверху до низу с прокруткой.
12.08.22 15:14
0 0

На эту тему уже есть отличный текст habr.com очень рекомендую.
Использовать сетки для "посмотреть чо умеет" - отлично. Использовать сетки для "восстановления" - нельзя ни в коем случае. В самом лучшем случае - с человеком, который абсолютно точно знает что было на кадре и проверяет результат придумывание сетки на мотив представленного.
12.08.22 15:02
0 0

Как уже много раз говорилось, нельзя получить ту информацию, которой нет. Это касается хоть изображения, хоть звука, хоть чего угодно.
Для проверки можно взять любое не слишком плохое фото, размыть его, а потом попробовать восстановить.
12.08.22 14:22
0 11

На самом деле на молодого Тихонова стал похож.
12.08.22 23:40
0 0

Навеяло вашей картинкой. ))
12.08.22 17:37
0 1

Рисовать поверх размытого пятна какое-то другое лицо - оно зачем?
Потому что программе не сказали, что этого делать не надо. Но проблема тут не в программе, а в прокладке между программой и стулом - зачем такое программе подсовывать?

А вот улучшение не катастрофически размытых изображений будет уже вполне качественным. Скажем, использовать эту технологию для увеличения фотографий, апскейла видео или исправления промахнувшегося фокуса.

Но даже и при сильном размытии, как на этом примере со Штирлицем, можно вполне адекватно "восстановить" лицо, если напичкать нейронку качественными фотографиями Тихонова.
12.08.22 17:17
0 0

Имено это делает и нейронная сеть в подобных программах
Это понятно. Смысл-то в чём?
Просто поиграть и посмотреть на прикольный результат - ну ОК.

А в плане восстановления фотографий?
Удалять дефекты, повышать резкость - это здорово.
Рисовать поверх размытого пятна какое-то другое лицо - оно зачем?
12.08.22 15:28
0 2

Разумеется. Но тут работает принцип пиксель-арта: мы видим некие опорные точки, на основе которых наш мозг дорисовваает изображение, руководствуясь нашим опытом,- составляет фооторобот из паттернов.
Имено это делает и нейронная сеть в подобных программах.
12.08.22 15:13
0 0

Как уже много раз говорилось, нельзя получить ту информацию, которой нет.
Причем, относится это не только к фотографии )

Но если алгоритм хотя бы убирал трещины/пятна/мелкие дефекты, увеличивая четкость - уже было бы неплохо для реставрации.
12.08.22 15:09
0 8

Из виденных мной программ для реконструкции лиц по фото наиболее аккуратно и деликатно справляется PhotoApp, но он обрабатывает только лица, не трогая окружение. Ну зерно только подглаживает.
12.08.22 14:01
0 0

я бы подобных результатов смог бы добиться в "Фотошопе",
Смог бы, но не стал бы. Не стал бы ты состовлять фоторобот из высококачественных фотографий других людей, комбинируя и деформируя по месту элементы их лиц.
12.08.22 13:56
0 2

Мне тоже кажется, что "добиться в фотошопе" такого результата нифига не просто. Тут недостаточно просто подвигать ползунки резкости, или контраста.
12.08.22 15:06
0 5

PixeLeap:
12.08.22 13:52
0 2

Что-то похожее и с лучшими результатами давно существует на MyHeritage.
12.08.22 12:56
0 0

Пока ещё, скорее, нет. То есть, понятно, что подобные системы на основе AI - за ними будущее реставрации старых фото и видео, но эта конкретная реализация - всё-таки нет. Слишком искусственно выглядят результаты на большинстве снимков - но уже есть приятные исключения, и это радует.
12.08.22 12:52
0 3

К сожалению он много чего не умеет, что было бы легко делать ИИ - например, тиснение с фотки убирать. Но, я думаю, скоро и такое сделают.
А в целом у меня впечатление, что лицо он не вытягивает, а дорисовывает готовыми заготовками из своей библиотеки. Выходит красиво, но недостоверно. А все, что вокруг лица он поправить не умеет и оно только хуже становится. (Для фото в плохом состоянии)
12.08.22 12:44
0 5

видимо, лицо в профиль оно не опознает как лицо. А в его библиотеке заготовок есть только лица и только анфас

Оно ещё не умеет если человек не в камеру смотрит. Фото в профиль вообще не вытягивает.

My Heritage Deep Nostalgia позволяет и очищать, и окрашивать ч-б, и оживлять.
12.08.22 12:07
1 4

Зачем Райан Рейнольдс в женском парике.
И что с ним рядом Нестор Петрович забыл.
12.08.22 13:53
1 1

My Heritage Deep Nostalgia позволяет и очищать, и окрашивать ч-б, и оживлять.
ППКС.
12.08.22 12:57
1 1

Зачем Райан Рейнольдс в женском парике.

7 человек на фото, 2-е слева не очень похожи на оригинал
12.08.22 12:05
0 0

7 человек на фото, 2-е слева не очень похожи на оригинал
Самый левый немного на китайца стал похож.
12.08.22 12:27
0 0

12.08.22 12:08
0 0

У AI грандиозное будущее.
Подобные онлайн сервисы восстановления фотографий существуют уже несколько лет.
Есть и сервисы для восстановления цвета черно-белых фотографий, напр
www.myheritage.com

Я давно жду, пока появятся хардварные коробки ремастеринга аудио в реальном времени.
Включаешь какую-то старую некачественную запись, а слушаешь уже прилично восстановленный звук.
12.08.22 11:49
1 0

что-то по ссылке не то
извиняюсь, вот полная ссылка
www.myheritage.com
12.08.22 13:08
0 0

очень похожий
- не вопрос. Но 1/32 ля пятой октавы, пискнутую тромбоном в 43-м такте и отброшенную алгоритмом mp3 "патамуштониктоеенеуслышит" - не восстановит.
Какого цвета глаза у прототипов античных статуй? Можно раскрашивать всеми цветами радуги, но это фантазия на тему, а не восстановление.
Ч/б фото - аналогично.

"Исходного" это как
Ну тогда было модно перегонять в mp3 коллекции CD-audio, кодировать на лету доступное оборудование не умело...

Включаешь какую-то старую некачественную запись, а слушаешь уже прилично восстановленный звук.
Из старых некачественных записей интереснее всего те, которые остались на античных глиняных горшках. Вот если нейросеть восстановит ту похабную песню, которую орал микенский гончар Наполнасракис, пока лепил очередной кувшин на гончарном круге - это будет тема.
12.08.22 12:38
0 4

"Исходного" это как ) С чем сравнивать?

Если это был оркестр но нейросеть вполне может перегнать в очень похожий проект для синтезатора.

что-то по ссылке не то
12.08.22 12:11
0 1

восстановление цвета черно-белых фотографий
Лет 20 назад коллега крайне убедительно убежденно рассказывал о программе восстановления исходного звука из mp3...

Интересно, что оно сделает с пейзажем/натюрмортом? Или чисто на перешарпливание портретов заточено?
Самому пробовать лень...
12.08.22 11:48
0 1

Если попробовать (один раз) лень, то пользоваться (неоднократно) тем более будет лень.
"Вот такие субъекты, как ты, и тормозят мировой прогресс. Вспомни-ка о человеке, который впервые попробовал немецкую сосиску!" 😄

Проверил на своих старых фото. Хорошо алгоритм работает, буду пользоваться.
12.08.22 11:47
0 1

Имхо, получаются немного другие лица. Особенно парень (который с ребёнком).
12.08.22 11:34
0 0

Мне кажется, что в основном он усиливает локальный контраст и грамотно повышает разрешение. В общем-то небогатый набор. Таких готовых фильтров много.
12.08.22 11:33
0 4

Мне кажется, что в основном
Я думаю, он просто подбирает из фотобанка максимально похожего человека.
12.08.22 12:46
0 1

На myheritage подобный инструмент есть года два уже, кажется. Там он очень хорошо работает. Плюс еще есть приличная расцветка чёрно-белых фото. Правда все уже в платной версии, хотя был долгий бесплатный промо период
12.08.22 11:28
0 3

Причём Алекс о нем и рассказывал. Там ещё оживление фоток было.
12.08.22 11:34
0 2

Херня получилась.
12.08.22 11:18
4 2

Голливудский штамп про увеличение четкости видео с камер наблюдения практические уже реальность.
12.08.22 11:15
1 0

А ещё в CSI (Майямском) при выстреле из РПГ была отдача! и синяк под глазом от прицела! Но мы же их любим не за это... 😄
12.08.22 15:35
0 1

мы ту тс ребёнком смотрели Бегущего по лезвию 82 года. Герой сидел и рассматривал фото. Управлял голосом. Сильно увеличивал. Но пошёл ещё дальше CSI - он заглядывал за угол на фото и за мебель))))
12.08.22 11:20
1 1

Молодой Экслер похож на старого Галкина. 😄
12.08.22 11:07
0 12

Говорят, Галкин - это один из пяти Экслеров.
Какой Галкин? Их тоже больше одного 😄
12.08.22 15:12
0 0

😁😁👍

Да, до восстания 1773—1775 годов.

Молодой Экслер похож на старого Галкина. 😄
Говорят, Галкин - это один из пяти Экслеров.
12.08.22 12:29
0 0

Старого Галкина, в смысле, допугачевской эпохи?

Прикольно, собственно, зашел прокомментировать, что первое фото - Галкин, Макс.
12.08.22 11:13
1 1

Молодой Экслер похож на старого Галкина. 😄
А старый Экслер похож на молодого Галкина, что ли? 😄
12.08.22 11:08
0 4
Теги
Сортировать по алфавиту или записям
BLM 20
Calella 140
exler.ru 245
авто 427
видео 3755
вино 346
еда 478
ЕС 56
игры 114
ИИ 19
кино 1542
попы 185
СМИ 2575
софт 902
США 77
шоу 6