Пятница, 26 апреля, 2019

Нейросети и революция в мобильной фотографии

В конце февраля китайский производитель электроники OPPO продемонстрировал камеру для смартфона с возможностью революционного 10-кратного увеличения фотокамеры. Для сравнения, до сих пор самой “сильной” камерой мог похвастаться только серийный Huawei P20 Pro с пятикратным зумом. Для остальных моделей смартфонов (включая маститые iPhone Xs и Galaxy S10) “потолок” оптического увеличения невелик — всего в два раза с последующим цифровым масштабированием.

Уникальная инновация OPPO представляет собой модуль, состоящий из трёх объективов: основной линзы в 48 мегапикселей, 16-мм широкоугольной линзы и телефотокамеры, равной 160-мм объективу. Все они будут работать одновременно в разных диапазонах приближения для создания картинки оптимального качества. Благодаря системе перископа и призмы китайским инженерам удалось вписать конструкцию в смартфон толщиной менее 6 мм, однако вместо самого мобильного устройства был представлен лишь его прототип — полноценная презентация состоится не раньше лета этого года.

Тем временем OPPO уже наступают на пятки конкуренты из компании Huawei. 26 марта в Париже состоялся показ её модели P30 Pro, “вооружённой” четырьмя основными камерами и таким же 10-кратным гибридным зумом.

Эволюция мобильной фотографии: от HDR к нейросетям

С момента появления на мобильных телефонах фотокамер их было принято считать чем-то вроде безделушек. Времена шли, но утверждение, что камера смартфона никогда не сможет стать лучше профессиональной “зеркалки” оставалось незыблемым. Главной проблемой на пути к этому всегда были небольшие размеры гаджета: крошечная матрица не способна обеспечить такой же охват динамического диапазона как объектив полноразмерной фотокамеры.

Сначала для исправления этого недостатка была разработана технология HDR (High-Dynamic Range). Принцип её работы состоит в том, что вместо одного кадра камера смартфона делает сразу несколько снимков: кадр со стандартным уровнем экспозиции и ещё от 3 до 5 недо- и переэкспонированных снимков. Все они объединяются в одну фотографию при помощи специальных алгоритмов, зависящих от производителей ПО и “железа” мобильного устройства. К минусам HDR можно было отнести смазанную картинку при тряске и сложности в фотографировании движущихся объектов.

Читайте также
Переход на латиницу: к чему эта дискуссия и от чего нас отвлекают

В 2011 году специалисты компании Google X (сейчас X Development LLC) при создании очков дополненной реальности Google Glass были вынуждены разработать камеру с размерами матрицы, меньшими, чем на смартфонах и, соответственно, ещё меньшим динамическим диапазоном. Для захвата и обработки изображений понадобилось изобретение нового метода — HDR+. В его основе лежит достаточно сложная технология совмещения целой серии снимков с короткой выдержкой и процесса постобработки, включающего шумоподавление, увеличение цветовой насыщенности, резкости и т.д..

Инновационный подход к улучшению фотографий принесло развитие технологии машинного обучения (deep learning) и нейронных сетей. Именно на них (а не на улучшение оптических данных смартфонов), сегодня делают ставку все без исключения производители гаджетов, которые обозначают присутствие на борту девайса искусственного интеллекта аббревиатурой AI (Artificial Intelligence). Эта технология помогает автоматически ретушировать финальное изображение, применяя различные хитроумные фильтры, убирая шумы, артефакты или размывая задний план фотографии. Пока такой режим на смартфонах является опциональным и его можно отключить, однако эксперты уверены, что со временем такая обработка станет нормой.

Эволюция мобильной фотографии и дорисованная реальность

Профессиональная ретушь фото — это далеко не предел возможностей нейронных сетей. Принцип их работы подсмотрен в природе и имеет схожее с интеллектом живых существ свойство — обучаемость. “Бородатый” анекдот про тысячу обезьян за печатными машинками, которые рано или поздно напечатают полное собрание сочинений Шекспира, оказался недалёк от правды. Искусственный нейрон как набор математических действий просто раскладывает входящие данные на “правду” и “ложь”. Этот процесс больше напоминает подбрасывание монеты до тех пор, пока за каждый правильный ответ система не получает “вознаграждение”, а за ошибку — “штраф”. Самое интересное начинается, когда такие нейроны объединяются в многослойную сеть и получают достаточное количество данных. К примеру, для того, чтобы научить сеть различать виды рыб, машине нужно показать несколько миллионов их фотографий, снабжённых подписями. Такой массив данных называется датасетом и чем качественнее он подобран, тем больше шансов добиться от нейросети минимальной погрешности.

Самой идее машинного обучения уже давно за 50 лет. Долгое время из-за слабой вычислительной мощности компьютеров активные исследования в этой сфере практически не велись. Однако всё изменилось после появления гигантских массивов данных и дата-центров, способных быстро обрабатывать информацию и “скармливать” её многослойным нейросетям. Область применения технологии ограничивается разве что фантазией исследователей, вплоть до создания искусственных отпечатков пальцев и изображения готовой еды по тексту рецепта.

В плане генерации изображений за два последних года нейросети достигли огромного прогресса: от рисования небольших птиц до чётких высокодетализированных человеческих лиц.

А не так давно американская компания NVIDIA  презентовала графическое приложение GauGAN, превращающее схематический набросок в фотореалистичный пейзаж. Пользователю нужно только обозначить в меню, что он хочет нарисовать. Причём о таких деталях, как отражение деревьев в воде или серое зимнее небо художнику задумываться не надо. Программа сделает всё за него.

Пока приложения нет в свободном доступе, но с аналогичным проектом Массачусетского технологического института можно ознакомиться в режиме онлайн.

Нейросети способны не только рисовать или восстанавливать казалось бы безнадёжно испорченные фото и убирать с них ненужные объекты, но и буквально дорисовывать недостающие фрагменты, а также превращать бесформенный набор пикселей в человеческие лица.

Такой метод был впервые обнародован ещё в позапрошлом году в рамках исследовательского проекта Google Brain, в ходе которого нейросеть создавала подробное изображение лиц на основе крошечной картинки 8х8 пикселей. Естественно, что ни о каком восстановлении исходной фотографии речи не шло. Компьютер просто пытался “угадать” черты лиц на исходнике исходя из закономерностей, выявленных в ходе изучения огромной выборки. Полученные фото были показаны фокус-группам и 10% опрошенных не смогли отличить оригинал от восстановленной картинки.

В целом, результат оказался не самым достоверным, а наиболее вероятным. Этот факт особо подчёркивают сами исследователи. По их словам, добавленные в ходе увеличения детали фотографии называются ничем иным, как машинными “галлюцинациями”, что окончательно ставит крест на домыслах сценаристов криминальных драм о возможности узнать номер автомобиля или лицо подозреваемого путём максимального увеличения кадра видео или фото никчемного качества. Бесконечный компьютерный зум возможен, но результат вряд ли будет на 100% подлинным.

Пока до полноценного использования нейросетей в серийных смартфонах ещё далеко и, по мнению эксперта рынка телекоммуникаций Романа Химича, дело здесь не столько в технических сложностях, сколько в вопросах юридического и этического характера. Таких, как, например, можно ли считать документальным доказательством фотографию, большая часть которой, по сути, была сгенерирована случайным образом и можно ли реконструировать исходное изображение. Тем не менее, эксперт констатирует, что “тихая” революция в фотографии уже произошла.

Поделиться в соц сетях
Оставить комментарий

Выбор редакции

Коммунальные тарифы: что будет с ценами с 1 мая

МаркерУА вместе с экспертами вспомнил, как Порошенко «требовал» снижения тарифов и разбирался, чт...

23/4/2019

Пенсии для оккупированного Донбасса: новое дыхание неудобной темы

Кандидат в президенты Владимир Зеленский заявил, что необходимо начать платить пенсии на оккупиро...

16/4/2019

«Мины замедленного действия»: что ждет Зеленского после ухода Порошенко

В случае победы 21 апреля несистемного Владимира Зеленского над действующим президентом Петром По...

9/4/2019

Зеленский против Порошенко: мнение экспертов о последних событиях

Борьба претендентов на президентское кресло в самом разгаре. При этом текущая избирательная кампа...

6/4/2019