29 октября специализирующийся на искусственном интеллекте разработчик Алекс Джей Чампандэрд (Alex J. Champandard) из Вены опубликовал в GitHub код, который позволяет с помощью нейросети улучшить качество снимков низкого разрешения.
Как отмечает Чампандэрд, улучшение качества снимков низкого разрешения с помощью вымышленного компьютерного алгоритма стало крайне популярным штампом на телевидении и в кино.
Герои голливудских блокбастеров и детективных сериалов моментально улучшают качество размытых снимков с камер видеонаблюдения, получая возможность их увеличивать и разглядывать мельчайшие детали.
По словам разработчика, ему удалось достигнуть схожего эффекта при помощи всего лишь 340 строк кода. С помощью нейросети он научился заметно улучшать качество снимков низкого разрешения, убирая эффект пикселизации и повышая чёткость.
Чампандэрд пояснил, что хоть полученный им эффект и похож на тот, что показывают в кино и сериалах, вымысел так и остался вымыслом. В реальной жизни, если у фотографии низкое качество, то информации о мелких деталях в кадре просто неоткуда взяться: искусственному интеллекту приходится их придумывать на основе предыдущих опытов.
Нейросеть «галлюцинирует» детали на основе тестовых примеров, которые были пропущены через неё ранее.
Таким образом, в зависимости от того, с помощью каких примеров была обучена нейросеть, она лучше или хуже справляется с фотографиями определённого типа.
Сервис можно протестировать и самостоятельно. Разработчики запустили его веб-версию, в которую можно заливать фотографии с разрешением 256 на 256 или 320 на 200 точек (для попадания в экран заливки нужно нажать на ссылку с текстом Neural Enhance 4x: Photos в левом верхнем углу).
Проверка TJ показала, что наиболее наглядного результата удаётся достигнуть, если загружать изображение в разрешении 128 на 128 точек.
В последнее время нейросети всё чаще находят различные применения в области обработки и анализа изображений. Например, с их помощью уже научились распознавать размытые лица и реалистично деформировать объекты на снимках.
А вот так нейросеть сможет?
Не может - научим. Не хочет - заставим.
Это останется твоей эксклюзивной фичей до конца жизни
Где-то в Екатеринбурге сейчас плачет один JJ.
А ведь работает!
Комментарий недоступен
Справедливости ради, этот алгоритм заточен под конкретный стиль рисования, а не фотореалистичность.
Комментарий недоступен
И давно эта фича появилась?
Комментарий недоступен
Почему никто не постит несмешные баяны?
Теперь понял
Комментарий удален модератором
Комментарий недоступен
> специализирующийся на искусственном интеллекте разработчик
Заебали
Комментарий недоступен
Просто авторам таких заголовков надо мозги на нейросеть менять, может тогда поймут различие
Мы пока не можем себе такого позволить.
Уже давно существует http://waifu2x.udp.jp/
Чампандэрд - это что за покемон?
Хуета же, большинство фоторедакторов делают тоже самое без проблем
Чё?
Четкость
Похожего эффекта можно добиться в редакторе, да, но тут результат в деталях получше, потому что нейросеть не просто играется с резкостью и другими параметрами. Она пытается угадать недостающие детали.
Присмотревшись к примерам у меня появились вопросы. На большинстве картинок банально повышена резкость, кроме той, где глаза и губы. Там алгоритм очень умно "дорисовывает" детали, и это вызывает вопрос почему детали не дорисовываются на снимках с малой глубиной резкости. На мой взгляд, это обман
Я сделаль
Мало резкости. Надо больше.
блеришь небось?
Бикубическая интерполяция.
http://www.wisdom.weizmann.ac.il/~vision/SingleImageSR.html
При таком применении многие мелки детали размываются и заполняются одним цветом, чем теряют объём, становятся как будто нарисованными
бикубическая в сравнении с двумя другими по ссылке не самый лучший результат дает. но интересно, да.
Ну так насколько интерполяция проще.
Для фотошопа еще есть платный плагин Genuine Fractals http://www.kenrockwell.com/tech/gf.htm
И такое для рисованного
https://en.wikipedia.org/wiki/Pixel_art_scaling_algorithms
Думаю, это будет тренд ближайшего будущего. Мобильное фото будут улучшать не только с точки зрения аппаратной составляющей, но и таким софтом.
Не знаю, как у Pixel, но Apple про это на презентации семёрки говорила.
Антишакал
Наконец-то нейросеть научили что-то полезное делать.
А вообще тема то очень интересная. Вопрос качества лишь в том, сколько у вас в библиотеке фактур.
По сути, даже обычный шум, наложенный на изображение уже добавляет ему "разрешения", а если накладывать более-менее разумные фактурки, то это возможность дать интерполяции революционный уровень качества. Я бы на месте адоба вложил в эту технологию много денег. Для профессионалов такая штука даже более актуальна, чем для любителей.
https://www.extremetech.com/extreme/132950-csi-style-super-resolution-image-enlargment-yeeaaaah
"The only real problem with super-resolution is that it’s computationally expensive. In the Weizmann Institute research paper, there isn’t a single mention of just how long it takes to create each super-resolution image, which suggests that the algorithm is very slow. Some research groups have reported that real-time super-resolution is possible with GPU acceleration, though."
Учитывая проблему подбора "подходящих фактурок", видимо адоб считает, что пока оно не готово для массового применения.
Пока не готово, но перспективы там огромные. :) Все методы интерполяции сегодня берут информацию из файла. Подключить внешние библиотеки будет революционным.
Хотя авторы конечно жулики в том плане, что эффектные картинки рисуют, где "исходный" файл показывают с интерполяцией без сглаживания. Надо было хоть с обычным бикубиком сравнивать.
Но потенциал крутой.
Поправлюсь, авторы вообще мудаки. :( Та же картинка с Пикадилли сделана в размере 7 мегапискелей и понять как и что делал алгоритм вообще невозможно. Никаких ярких красивых тестов, какое-то шуллерство. Либо у них руки кривые, либо они просто хотят обмануть. Я больше склоняюсь к первому варианту :)
Но это не отменяет крутой идеи. Подбирать фактурки и делать фотографии более живыми,
Комментарий недоступен
Эту хрень нужно срочно на одноклассниках внедрять