Нейросеть научили превращать каракули из Paint в художественные шедевры

Программа Neural Doodle, сделанная на основе нейросети, превращает в настоящие картины обычные рисунки или фотографии. Создатель программы Алекс Шампандар (Alex Champandard) разместил исходный код на GitHub, а конструкцию нейросети описал в научной работе, подготовленной для конференции nucl.ai Conference 2016.

Программа представляет собой скрипт Python, который генерирует изображения, принимая три картинки в качестве входных параметров. На «вход» подаются рисунок или фотография, образец, демонстрирующий стиль, которому пользователь хочет подражать в своём изображении, а также его «семантическая карта» — схематический рисунок, сделать который можно в любом графическом редакторе наподобие Microsoft Paint.

Нейросеть считывает особенности стиля образца, переносит их на набросок, и на выходе у Neural Doodle получается новая полноценная картина.

Шампандар поэкспериментировал на картинах классических художников. Например, он взял пейзаж Ренуара, создал его упрощенный набросок, затем добавил к нему собственный рисунок в Paint.

На выходе у него получилась новая версия его собственного пейзажа, который будто бы сам Ренуар и нарисовал.

Точно такой же эксперимент создатель провел с фотографией Фредди Меркьюри, решив уподобить её стилю художницы Мии Бержерон. Шампадар взял одну из её картин, сделал эскиз полотна и добавил фотографию знаменитого певца.

Для работы скрипта понадобится предварительно обученная нейросеть. Скачать её, а также ознакомиться с инструкциями по установке локального окружения можно на GeekTimes.

В обсуждении программы на Reddit Шампадар рассказал, что на современном компьютере (он использует MacBook Pro 2014 года) рендеринг одного изображения невысокого разрешения занимает около часа времени. Его Твиттер-бот @DeepForger, стилизующий фотографии под картины художников, умеет масштабировать конечные изображения до разрешения 1080p, однако Neural Doodle пока на такое не способен.

Ранее в сети приобрел популярность алгоритм «Deep Dream» от компании Google, с помощью которого нейросети могли рисовать картины и имитировать полотна знаменитых мастеров.