Группа учёных из Иллинойсского университета в рамках подготовки к Международной конференции по компьютерному зрению и распознаванию образов, презентовало впечатляющее видео, как искусственный интеллект помогает бороться с шумами на фотографиях.
Авторы исследования сделали по два кадра каждого сюжета - сильно недоэкспонированные (на вид чёрные) и с правильной экспозицией (без шумов) за счёт длинной выдержки — «эталонные». В итоге, искусственный интеллект попытался приблизить результат недоэкспонированных кадров к «эталонным».
Примеры - обычные методы и методы ИИ:
Ниже сравнение с инновационной матрицей X-Trans и шумодавом от Fuji:
Для тех, кто хочет подробнее изучить работу, рекомендую обратиться к PDF, в котором авторы детально описывают свои исследования.
Комментарий недоступен
нет. При отсутствии данных ИИ может их достоверно придумать (т.е. создать аналог который мог бы быть) но эти данные не будут истинными.
ну да. Создавали же "типичное лицо", может и с помощью ИИ , не помню. Так вот, вместо лиц грабителей банка будет пара "типичных лиц" смазливых. Сразу на всех похожих
На самом деле не понимаю, почему нельзя сделать несколько кадров (4-6-8) с высоким ISO и короткой выдержкой программно выявить артефакты и заменить их точками на другом снимке? Шумы же распределены равномерно-случайно - значит собрав "мозаику" из разных кадров получим идеальное изображение
Ну, так если выдержка не ограничена, то зачем снимать на высоких ISO. Можно снять на длинной выдержке :))) А там, где выдержка не ограничена, именно так и делают.
Например, при съёмке треков звёзд, я снимаю 40 кадров по 1 минуте и потом складываю их (шумы действительно сильно снижаются). Например, вот, выдержка эквивалентна 40 мин, и чувствительность там что-то около ISO 1600 или выше, не помню уже. Но шумов почти нет:
Не, тогда будут смазанные кадры как минимум в силу дрожания рук.
А так это можно скомпенсировать программно по ключевым точкам.
А, если в этом смысле, то да, возможно... Но будет работать только для статичных кадров, где ничего не происходит. И при выдержках типа 1/60 секунды, чтобы дрожание рук не сильно сказывалось...
Комментарий под статьёй о методе борьбы с шумами путём выявления артефактов при сравнении нескольких снимков:
На самом деле не понимаю, почему нельзя натренировать нейронку и очищать фотографии от шума по одному снимку?Можно. 4-8 фото достаточно.
Но надо очень быстро их снимать, чтобы ничего в кадре не поменялось. То есть около секунды на это количество снимков. Это высокая нагрузка на процессор и на оперативную память в процессе съемки (кеширование такого количества снимков, их обработка и запись финального результата). И так каждый раз, когда хочешь сделать фото.
Не, дело не в нагрузке на оперативную память, процессор и прочее. Если бы всё было так просто...
Дело в том, что 10 кадров по 1/10 секунды по шумам будут не лучше 1 кадра длинной в 1 секунду. =) Это как украсть ящик водки, продать, а деньги пропить :))) Ключевой смысл высоких ISO (в большинстве случаев), сделать так, чтобы выдержка была короче. И складывание кадров при таких условиях не сможет помочь.
Комментарий недоступен
Я правильно понимаю, что сеть дорисовывает изображения используя паттерны, которые видела при обучении? То есть фактически, результат это не реальное изображение, а дорисованное? Интересно было бы сравнить результат и фотографии без шума
Я так понимаю, вот:
Исходники Сони (12Гб)
https://drive.google.com/file/d/1wfkWVkauAsGvXtDJWX0IFDuDl5ozz2PM/view?usp=sharing
Исходники Фуджи (22Гб)
https://drive.google.com/file/d/1nJM0xYVnzmOZNacBRKebiXA4mBmiTjte/view?usp=sharing
Комментарий недоступен
А потянут ли это ИИ чипы смартфонов?
Это пока исследовательская работа. Они в PDF пишут, что обработка полноразмерного RAW пока не может происходить в режиме реального времени даже на современных компьютерах (они планируют в будущем работать над этим)
Комментарий недоступен