Коллектив Авторов - Цифровой журнал «Компьютерра» № 179

Когда последовательность готова, все кадры программно сливаются воедино. Изображение, которое получается в результате, имеет идеально проработанные детали и в светлых областях сцены, и в тенях. Информация о тенях извлекается из кадров с долгой экспозицией, а о свете — из кадров с короткой.

Фотографы часто используют HDR для того, чтобы достичь особого художественного эффекта: почти сверхъестественной освещённости и детализации сюжета, вызывающей ассоциации, скорее, с компьютерным рендером, чем с реальностью.

Мобильным устройствам HDR нужен для другого: алгоритм позволяет выжать максимум из не очень качественных матриц и плохонькой оптики. Разработчики Google Glass не открыли Америки: обработчик HDR с некоторых пор имеется в iPhone и множестве других смартфонов, а nVidia даже включила аппаратную поддержку этого алгоритма в чипсет Tegra 4.

Извлечение информации по крупицам из последовательности снимков, сделанных с разными настройками — один из важнейших методов вычислительной фотографии. Кроме переменной выдержки, как в случае HDR, используется съёмка с переменной диафрагмой, переменной резкостью и даже переменной освещённостью.

Вот, например, алгоритм Flash — No Flash, который предложило исследовательское подразделение Microsoft. Как можно догадаться по названию, идея состоит в объединении двух снимков, первый из которых снят со вспышкой, а второй — без.

Фотографии, сделанные со вспышкой, всегда хорошо освещены, но это очень специфическое освещение, которое никак не назовёшь естественным. Если же отключить вспышку, то возникает другая проблема: при съёмке с низкой освещённостью становится заметен цветовой шум матрицы, а вынужденно долгая выдержка не идёт на пользу чёткости.

По замыслу исследователей из Microsoft, камера должна очень быстро снять два кадра. Чёткий кадр, сделанный со вспышкой, будет источником информации о деталях сцены, а цвета и естественную освещённость сообщит второй кадр, полученный без вспышки.

Тот же метод подходит для подавления эффекта красных глаз, улучшения баланса белого и интерактивной настройки мощности вспышки.

Съёмку последовательности кадров можно использовать и в других целях. Например, это может быть простым способом повысить чёткость при съёмке с рук при низкой освещённости. Из-за долгой выдержки такие снимки часто оказываются смазанными. Если же камера делает не один снимок, а целую последовательность, то процессор может автоматически выбрать из них самый чёткий и сохранить только его.

Амит Агравал из исследовательского центра Mitsubishi Electric приспособил для борьбы со смазыванием движущихся объектов алгоритмы машинного зрения. Эффект превосходит ожидания.

Самый, пожалуй, радикальный метод вычислительной фотографии называется записью светового поля. В отличие от обычных цифровых снимков, фиксирующих лишь освещённость ячеек фоточувствительной матрицы, камера светового поля записывает ещё и направление каждого луча света, составляющего снимаемую сцену.

Между матрицей и объективом камеры светового поля (её также называют плёноптической камерой) имеется дополнительная деталь: сетка с тысячами микролинз. Чтобы выяснить направление луча, достаточно определить его путь от линзы до сенсора. Из этого следует кое-что интересное: зная направление луча, можно вычислить, что с ним произойдёт, если фокальная плоскость изменит своё положение. Иными словами, эта информация позволяет точно моделировать изменение фокусировки объектива на уже готовом снимке.

Проще всего это проиллюстрировать кадром, который получен с помощью любительской плёноптической камеры Lytro. Чтобы сфокусироваться на размытой области кадра, достаточно кликнуть по ней. Глубина резкости изменится, и выбранная точка станет чёткой.

У Lytro и других плёноптических камер есть несколько менее очевидных достоинств. Поскольку фокусировка выполняется уже после съёмки, объектив может состоять из неподвижных деталей. Это не только упрощает его конструкцию, но ещё и позволяет начать съёмку практически мгновенно и не тратить время на автофокус. Кроме того, поскольку диафрагма Lytro зафиксирована в максимально открытом положении, камера не требует долгой выдержки даже при относительно плохой освещённости.

В этой бочке мёда непременно должна быть ложка дёгтя, и она, увы, есть: разрешение Lytro зависит от количества микролинз, а оно не так уж велико. Камера делает снимки с разрешением 525 на 525 пикселей, что по нынешним временам просто слёзы.

Немногочисленные элементы вычислительной фотографии можно встретить в мобильных устройствах и дешёвых компактных камерах-мыльницах. Более серьёзные фотоаппараты — это крайне консервативные устройства, наотрез отказывающиеся признавать свою компьютерную сущность.

Дело осложняется неправдоподобным по меркам компьютерной индустрии градусом проприетарности, который производители фотокамер считают нормой. То, что в этой области нет открытых стандартов, — ещё полбеды. Хуже то, что электронную начинку камеры, как правило, не просто не документируют — её держат в строгом секрете.

Это, на самом деле, серьёзная проблема для специалистов по вычислительной фотографии. Чтобы найти камеру, подходящую для испытания новых идей, приходится потрудиться. Открытые программные интерфейсы обычных фотоаппаратов имеют слишком много ограничений. Они годятся для того, чтобы автоматизировать съёмку, но не позволяют перехватить «сырые» данные с матрицы или, скажем, перепрограммировать автофокус.

Один из пионеров вычислительной фотографии, Марк Ливой из Стэнфордского университета, использует для своих экспериментов самодельные «франкенкамеры», собранные из деталей, позаимствованных у других устройств. Кроме того, некоторые «франкенкамеры» были построены на основе Nokia N900 — смартфона Nokia, работавшего под управлением Linux.

В статье для журнала IEEE Computer Graphics and Applications Марк Ливой рассуждает о причинах ситуации, сложившейся в этой отрасли. Откуда у производителей фотокамер такая любовь к секретности? Оказывается, всё просто: это защитная реакция на засилье патентов. Современный цифровой фотоаппарат невозможно сделать, не нарушив при этом патенты, которые принадлежат конкурентам. Ситуацию спасает лишь то, что до тех пор, пока нарушение не афишируется, никто не потащит за него в суд. Не принято.

Другая причина сводится к тому, что программное обеспечение — это не то, что производители камер умеют или хотят делать. За минувшие пятнадцать лет им пришлось освоить разработку софта, но не по доброй воле, а вынужденно. Механика и оптика этим компаниям по-прежнему ближе, чем алгоритмы и файлы.

Определённое негативное влияние можно приписать устаревшим традициям. Производители камер, такие, как Nikon и Canon, очень гордятся качеством своей продукции и предпочитают надёжность новизне. У такого подхода есть свои плюсы, но он определённо не способствует быстрому прогрессу.

Отрасли не помешала бы новая кровь, но её появление маловероятно. Кто станет продираться через чащу патентов, чтобы заняться бизнесом с настолько мизерной прибыльностью? Проще поверить в то, что переворот начнётся снизу — со встроенных камер мобильных устройств, качество которых с каждым годом становится всё выше.

К оглавлению

Опубликовано 29 июня 2013

В фантастических фильмах иногда показывают установки, позволяющие видеть людей за стенами и укрытиями. Благодаря усилиям специалистов Лаборатории искусственного интеллекта Массачусетского технологического института такая возможность понемногу становится реальностью. Речь не о тепловизорах и не о рентгене. Определить число людей в помещении за стеной или закрытой дверью теперь помогает обычный Wi-Fi.

Возможность обнаружить человека за непрозрачной преградой всегда интересовала военных, службы специального назначения и спасателей. Дальше всех продвинулась компания Camero-Tech, представив в последние годы несколько серийных вариантов такого оборудования.