Microsoft запустила сервис, автоматически генерирующий подписи к фото Статьи редакции
Компания Microsoft запустила проект под названием CaptionBot — онлайн-приложение, которое автоматически генерирует релевантные подписи к изображениям.
Сервис способен анализировать как фотографии доступные в сети, так и снимки, загруженные с компьютера. В Microsoft уточняют, что компания будет сохранять все изображения, предложенные пользователями, для того, чтобы в дальнейшем совершенствовать систему.
CaptionBot работает на базе двух нейросетей: одна анализирует фотографии, а вторая генерирует описания к ним на английском языке. Чем больше через систему пропускают изображений с подписями, тем точнее становится её анализ.
CaptionBot легко может узнать на снимке церковь или Владимира Путина на лошади. Кроме того, система способна определить, насколько тот или иной человек похож на какую-либо знаменитость, а также распознать эмоции на лицах.
Однако часто система ошибается. Например, во время проверки TJ она не смогла опознать Apple Store, девушку, играющую на барабанах, «отправила на кухню», а молодого человека в футболке описала как «мужчину в галстуке».
Microsoft — не первая крупная IT-компания, показавшая подобную технологию за последнее время. В 2014 году аналогичное решение представила Google, а в начале апреля 2016-го Facebook запустил функцию автоматической подписи снимков для незрячих.
это наверно была бетка, а вы смеялись
нечаянно засмеялся в офисе как умственно отсталый попугай, теперь все думают я странный.
They think you are dibiloid.
Welcome to TJ, bro.
Хаха, не справилась программа буржуйская!
And he seems 😭.
Предпоследняя картинка, разумеется, лучшая.
Подруга поняла, что от судьбы не уйти.
То бот-расист, то нейросеть-сексист :/
Майкрософт молодцы. Запилил нейронную сеть, а теперь пусть тысячи хомячков ее обучат.
Там нет обратной связи, так что мы ее не обучаем.
Ай не, есть голосовалка
Microsoft создала искусственного Капитана Очевидность. CaptainBot.
И это офигенно круто. Машина учится понимать смысл.
Комментарий удален модератором
Комментарий недоступен
Вот потыкайте сами https://commons.wikimedia.org/wiki/Special:Random/File, всё очень плохо. В половине случаев вообще никаких идей, в четверти он предлагает вариант, но совсем неправильно, а ещё в четверти лишь отчасти опознаёт какие-то элементы (как на вашем снимке выше).
Я два десятка случайных изображений перебрал, скармливая всё подряд, не поставил ни одной пятёрки.
Результаты от @ya
1. "Эту картинку можно понимать как запрос "крутицкое подворье в москве"
2. "Эту картинку можно понимать как запрос "путин на коне"
3. "Эту картинку можно понимать как запрос "безысходность деревья"
4. Похоже, ты хочешь найти "мужские бороды"
5. Наверное, люди назвали бы это "барабанщик(drummer)"
6. Пользователи обычно находят такое по запросу типа "restaurant". Похоже?
А скормите изображения из моего коммента ниже, а? https://tjournal.ru/26480-microsoft-zapustila-servis-avtomaticheski-generiruushii-podpisi-k-foto#comment1260432
I think it is dron from Scandinavia.
no. its killermachine schoolboy from Tagil city
Потыкал случайные изображения с Wikimedia Commons (https://commons.wikimedia.org/wiki/Special:Random/File).
Вот у вас с Путиным всё норм, а у меня мужика с голым торсом принял за женщину и засмущался, высушенный побег из гербария, смешную деревянную скульптуру, рок-группу с явно видимой гитарой и даже простой сельский пейзаж вообще не смог описать, химическую схему принял за футбольный мяч. Кое-как опознал камни и воду на голландской дамбе, а с газетой меня рассмешил.
https://commons.wikimedia.org/wiki/File:Cobra_Gold_2012_120214-M-VG363-121.jpg
https://commons.wikimedia.org/wiki/File:Neuchâtel_Herbarium_-_Euonymus_europaeus_-_NEU000041526.jpg
https://commons.wikimedia.org/wiki/File:Squire_Waterton_out_of_his_lookout_-_geograph.org.uk_-_719803.jpg
https://commons.wikimedia.org/wiki/File:Serious_Black_Rockharz_2015_11.jpg
https://commons.wikimedia.org/wiki/File:Boggy_ground_-_geograph.org.uk_-_1598590.jpg
https://commons.wikimedia.org/wiki/File:Carb_-_tab5.gif
https://commons.wikimedia.org/wiki/File:De_Roode_Klif.jpg
В-общем, где-то четыре балла по десятибальной шкале, не выше.
commons.wikimedia.org/wiki/File:Cobra_Gold_2012_120214-M-VG363-121.jpg
Похоже, ты хочешь найти "даниэль кормье"
commons.wikimedia.org/wiki/File:Neuchâtel_Herbarium_-_Euonymus_europaeus_-_NEU000041526.jpg
091450
commons.wikimedia.org/wiki/File:Squire_Waterton_out_of_his_lookout_-_geograph.org.uk_-_719803.jpg
Наверное, люди назвали бы это "скворечник на дереве"
commons.wikimedia.org/wiki/File:Serious_Black_Rockharz_2015_11.jpg
"Эту картинку можно понимать как запрос "бригадный подряд"
commons.wikimedia.org/wiki/File:Boggy_ground_-_geograph.org.uk_-_1598590.jpg
Ты хочешь поискать "земельный участок"?
commons.wikimedia.org/wiki/File:Carb_-_tab5.gif
Ты хочешь поискать "как сделать октаэдр"?
commons.wikimedia.org/wiki/File:De_Roode_Klif.jpg
Пользователи обычно находят такое по запросу типа "giant s causeway". Похоже?
Короче, очередной Artificial Stupidity(
Комментарий недоступен