Google создала камеру светового поля для съемки объемных видео

Michael Broxton et al. / SIGGRAPH 2020

Исследователи из Google разработали алгоритмы и камеру для съемки объемных роликов. Камера состоит из множества отдельных камер, закрепленных на прозрачной полусфере. Алгоритмы преобразуют ролики с камер в массив полусферических слоев, каждый из которых содержит данные о цвете, прозрачности и глубине. Такое представление позволяет затем «пересобирать» слои и менять ракурс просмотра, корректно передавая параллакс, отражения и другие оптические эффекты. Помимо этого разработчики создали алгоритм сжатия, позволяющий в реальном времени передавать этот огромный массив данных через интернет. Статья с описанием разработки будет представлена на конференции SIGGRAPH 2020, а примеры видео опубликованы на сайте авторов.

Мы воспринимаем мир объемным в основном по двум причинам. Во-первых, поскольку у нас есть два глаза, расположенных, хотя и близко друг к другу, но все же в разных точках в пространстве, мозг получает два изображения с немного разных ракурсов. Одно это уже позволяет воспринимать мир объемным и понимать удаленность разных объектов (если у человека нет нарушений бинокулярного зрения). Во-вторых, мы также можем менять ракурс «съемки», поворачивая и двигая голову, задействуя параллакс движения, и понимая объем и расстояние по смещению объектов относительно друг друга.

Существуют серийные VR-шлемы и стереокамеры, которые воспроизводят бинокулярное зрение за счет того, что каждому глазу дается кадры с разных ракурсов. Но такой метод не позволяет воспроизвести параллакс движения, потому что в момент съемки камера находилась в одном месте и после съемки ракурс изменить нельзя. Исследователи из Google в последние несколько лет приблизились к решению этой проблемы. В их последних разработках можно выделить две основные идеи, одна из которых в основном программная, а вторая аппаратная: они научились разбивать изображения и кадры видео на множество плоских слоев, в которых объекты расположены по мере удаления от камеры, а также использовать массив из множества близко расположенных камер.

Многоплоскостное представление кадра

Tinghui Zhou et al. / SIGGRAPH 2018

В новой статье исследователи из Google под руководством Пола Дебевека (Paul Debevec) объединили подходы из прошлых разработок и создали камеру и алгоритмы для нее, позволяющие пользователю двигать голову и видеть ролик с любого ракурса и направления, находящихся внутри 70-сантиметровой полусферы.

Здесь должно было быть видео, но что-то пошло не так.

Камера состоит из прозрачной полимерной полусферы, внутри которой закреплены 46 отдельных небольших экшн-камер с разрешением 4K. Они соединены между собой и снимают синхронизированное видео.

Сверточная нейросеть собирает кадры с камер и разбивает их на множество слоев, которые располагаются на разном расстоянии, и, соответственно, захватывают разные объекты. Главное отличие нового подхода при формировании слоев заключается в том, что они имеют полусферическую форму, а не плоскую. В некотором смысле это представление сцены перед камерой можно представить в виде половины луковицы, состоящей из множества слоев с единым центром. Каждый из слоев это полусферическое изображение, в котором каждый пиксель имеет цвета, а также альфа-значение, то есть уровень прозрачности. Альфа-канал отвечает за отображение расстояния — если объект далеко, у него будет непрозрачные значения на дальних слоях, а если близко, то на близких слоях.

Общая схема работы алгоритма

Michael Broxton et al. / SIGGRAPH 2020

Каждое видео разбивается на 160 слоев с разрешением 1800 на 1350 пикселей. Это огромный объем данных, поэтому на следующем этапе он оптимизируется. Для этого алгоритм объединяет каждые восемь слоев, и в каждом из создает полигональную сетку, а изображение накладывается на нее в качестве текстуры. Это значительно снижает размер данных и вычислительную нагрузку при рендеринге, но при этом лишь немного снижает его качество по сравнению с исходным 160-слойным представлением.

Преобразование исходного набора из более чем сотни полусферических слоев в 16 полусферических слоев с полигональными сетками

Michael Broxton et al. / SIGGRAPH 2020

После этого текстуры объединяются в текстурный атлас с разрешением 3240 на 5760 пикселей. Каждый атлас создается сразу для группы кадров (эта техника кодирования применяется во многих видеокодеках и экономит место), причем если в группе кадров какой-то из фрагментов полигональной сетки прозрачен или почти прозрачен, он удаляется.

Пример получаемого текстурного атласа (слева цвет, справа альфа-канал).

Michael Broxton et al. / SIGGRAPH 2020

В результате изначальный поток, в котором каждый кадр — это большой массив из множества слоев, превращается в два потока: изображения, который можно эффективно сжимать современными кодеками, и отдельный поток с полигональными сетками. Разработчики создали множество видеозаписей и протестировали на них сжатие. Результаты показали, что в зависимости от снимаемой сцены битрейт видеопотока составляет примерно 150-300 мегабит в секунду. Таким образом, потенциально этот алгоритм можно использовать для стриминга реалистичного объемного видео пользователям VR-шлемов в гигабитным интернетом. Разработчики опубликовали на своей странице несколько примеров видео и статичных кадров, в которых ракурс можно менять, двигая курсором.

В 2018 году Google представила другой прототип светопольной камеры, но предназначенный для съемки статичных сцен. Он состоит из дуги с камерами, которая двигается по кругу и снимает все вокруг. В результате полученные данные тоже позволяют передавать параллакс движения. Компания опубликовала приложение для популярных шлемов виртуальной реальности, в котором можно просматривать несколько снятых на эту камеру сцен.

Григорий Копиев

Пленоптическое телевидение, Или жизнь после 3D.

Пленоптическое телевидение, Или жизнь после 3D

Автор: Александр Серов

Эта статья рассказывает об одном возможном направлении развития телевидения – телевидении на базе технологий, которые реализуют так называемую «пленоптическую функцию».

В настоящий момент подобные технологии начинают появляться в фотографии, и небольшая компания Raytrix(из города Киль на севере Германии) предлагает пленоптические фотокамеры, способные сохранять информацию о всех световых лучах, которые попадают в объектив. Такие камеры называют еще «камерами светового поля» (lightfield cameras) или пленоптическими камерами. Еще одно название, которое употреблялось в ХХ веке – интегральная фотография.

Пленоптика

Прежде чем погрузиться в увлекательные футуристические размышления, рассмотрим, что такое пленоптическая функция и чем она интересна.

На рисунке 1 приведена схема обычной видеокамеры, которая фиксирует изображение на матрице, представляющей собой плоскость. Функция, которая выполняется камерой, может быть записана в виде F (x, y,t, ƛ), где x, y – координаты элемента матрицы, t – время, ƛ – длина волны (т.е. цвет).

Рис. 1. Схема классической видеокамеры.

Обратим внимание, что функция обычной камеры не включает в себя углы, под которыми лучи попадают в объектив. Эта информация никак не фиксируется и, соответственно, теряется. Кроме того, невозможно определить расстояние до объекта съемки, таким образом, устройство воспроизведения (телевизор) никаким способом не сможет показать объем.

Но было бы интересно записывать вообще всю информацию о световых лучах, которая помогла бы впоследствии произвести реконструкцию наблюдаемого объема пространства. Эта задача актуальна для науки, для систем машинного зрения и т.п. И, как мы увидим дальше, это могло бы дать многое для будущего телевидения.

Сохранение полной информации о световых лучах и есть задача, которая выполняется пленоптической камерой или камерой светового поля. Название «камера светового поля» как раз и подчеркивает, что сохраняется вся информация о лучах света.

Способы реализации

Рассмотрим, каким образом можно этого достичь.

Для того, чтобы сохранить информацию о реальном положении объекта в пространстве, необходимо использовать сложную оптическую систему, принцип действия которой показан на рисунке 2. Необходимо иметь в виду, что щели камеры-обскуры, которые показаны на рисунке, располагаются на плоскости, а не на прямой, т.е. представляют собой двумерный массив отверстий.

Рис.2. Принцип действия камеры светового поля (камера Айвса).

В результате на матрице создается не одно, а несколько изображений.  Путем анализа этих изображений возможно восстановить недостающие переменные V_x, V_y и V_z,_{которые представляют собой координаты излучающей точки в трехмерном пространстве.}

На рисунке 2 показана так называемая камера Айвса (Frederic Eugene Ives, американский изобретатель), которая была изобретена в начале ХХ века. Но изобретателем «интегральной фотографии» считается Габриэль Липман. Еще в конце XIX века им была придумана конструкция, в которой вместо щелей камеры-обскуры использовались линзы (камера Габриэля Липмана).  Существовал также вариант подобной камеры с призмами вместо линз.

С тех пор, конечно, многое изменилось. Были предложены новые конструкции камер, а также методы анализа получаемых ими изображений, развивалось понимание пленоптической геометрии. В область теории пленоптического изображения (интегральной фотографии) большой вклад внес кандидат технических наук Ю. А. Дудников, а в область практического воплощения технологий пленоптики – американский инженер и энтузиаст Тодор Георгиев (его фамилию вы можете найти в списке разработчиков Adobe Photoshop).

В последнее время пленоптической фотографией заинтересовались крупные компании, например, Adobe, которая создала лабораторию, занимающуюся исследованием пленоптики и алгоритмов работы с пленоптическими изображениями.

Фокусирующая линза

На рисунке 3 изображена схема современной пленоптической камеры. Как видно, принцип остался тем же самым, но добавилась фокусирующая линза. Такой тип камеры называется сфокусированной пленоптической камерой. В современных камерах в массиве линз используются линзы с различным фокусным расстоянием, что позволяет корректировать глубину поля.

Рис. 3. Сфокусированная пленоптическая камера.

Пример изображения, которое генерирует подобная камера, приведен на рисунке 4. Что можно получить из этого изображения? Путем вычислительных методов возможно, например, по своему желанию менять фокус на уже отснятом материале или имитировать поворот камеры.

Если размер матрицы достаточно велик, то теоретически возможно в процессе обработки после съемки менять положение объектива в пространстве. Собственно, это все вытекает из принципа, которые был озвучен в начале статьи – сохранять всю информацию о приходящих световых лучах.

 Рис. 4. Пример изображения, получаемого пленоптической камерой (источник: http://www.tgeorgiev.net).

Видео

Для обработки пленоптических изображений требуются серьезные вычислительные мощности. В последние годы, в связи с появлением мощных графических процессоров, появилась возможность решить такую задачу. В частности, хорошие результаты достигнуты с применением процессоров компании Nvidia, поддерживающих технологию CUDA. Более того, применение этих процессоров позволило Raytrix впервые продемонстрировать видеопоследовательность, снятую камерой светового поля, что нельзя не рассматривать как признак приближающейся революции.

Допустим, мы имеем достаточно вычислительных мощностей для того, чтобы использовать камеры светового поля в видеопроизводстве. Что это может нам дать?

Во-первых, в том виде, в котором это существует сейчас, пленоптика может использоваться в науке и производстве, там, где необходимо построение динамических трехмерных моделей. В случае использования в видео, пленоптические камеры могут дать уникальную возможность зрителю самому управлять изображением.

Поскольку камеры фиксируют все световое поле, которое имеется в наблюдаемом объеме, то становится возможным изменение положения камеры на устройстве презентации. Давайте, например, представим сцену из фильма «Хоббит: Нежданное путешествие», в которой зритель может сам устанавливать и динамически изменять положение камеры – путешествовать по созданному режиссером сказочному миру (допустим, при помощи джойстика).

ПленОпТВ

Помните, несколько лет назад появился термин «самопрограммирование» по отношению к сервисам передачи изображения. Он означал отказ от составления сетки вещания канала и передачи этой функции в руки самого зрителя, у которого появлялась возможность выбирать телепрограммы и их последовательность. Похожую функцию, но только уже относительно операторской деятельности, могут предоставить пленоптические камеры. Это, в частности, может привести к появлению различных «операторских» версий одного и того же действия. И более того – создание таких версий может быть доступно самому зрителю.

Помимо динамического изменения положения камеры, возможно изменять фокусировку изображения – это как раз эффектно демонстрирует Raytrix на своем сайте.

Для того, чтобы все эти фантазии осуществились, необходимо понимать, что концепция состоит в том, что «решение» о том, как что-то должно выглядеть принимает сам зритель – а поставщик контента должен предоставить ему для этого всю необходимую информацию. То есть, фактически, информацию, полученную матрицей пленоптической камеры. Далее, по заданию зрителя, мощный графический процессор абонентского устройства производит обработку этой информации и ее презентацию (показ).

Очевидно, что устройство, поддерживающее пленоптическую функцию, будет генерировать объем информации, который намного превышает существующий объем информации как SD, так и HD. Однако, эта информация сильно структурирована (см. рис. 4) , а соответственно может быть эффективна подвергнута компрессии. Действительно, внимательно посмотрев на рис. 4, можно заметить, что соседние «ячейки» отличаются друг от друга незначительно и в основном сдвигом. Таким образом, эффективным механизмом компрессии может стать интеллектуальная разбивка на макроблоки, выделение среди них ключевых макроблоков и вычисление предсказываемых макроблоков  с применением компенсации движения. Помимо этого, очевидно, должна применяться межкадровая компрессия. Таким образом, большие объемы информации, генерируемой пленоптической камерой, могут быть эффективно уменьшены.

Следует отдельно отметить, что существующее стереоскопическое телевидение это лишь частный случай пленоптического. То есть,

из пленоптического сигнала можно будет получить стереоскопический сигнал, если зрителю это потребуется.

В настоящий момент сделаны только первые шаги в направлении развития устройств, реализующих пленоптическую функцию, поэтому самые смелые фантазии и идеи только приветствуются – давайте попробуем включиться в этот процесс.

(с) 625

Назад в раздел

будущее где-то рядом / Фото и видео

С момента появления первого потребительского цифрового фотоаппарата минуло уже почти тридцать лет. За это время фотокамеры заметно преобразились, хотя основные изменения носили скорее количественный характер. Росли разрешение матриц, чувствительность сенсоров, скорострельность затворов, фокусное расстояние объективов, но сам принцип работы цифровых фотоаппаратов за три десятилетия оставался неизменным.

Именно поэтому анонс в 2011 году камеры светового поля (пленоптической камеры) Lytro не остался незамеченным – многие специалисты называли её революционным продуктом в мире фотографии. И ведь было за что: лежащая в её основе технология дает возможность сначала сделать снимок — и только потом настроить фокус, а особый формат фотографии позволяет переводить фокусировку с одного объекта на другой. Да-да, всё это можно настраивать уже после того, как снимок был сделан.

Сама камера выглядела тоже весьма необычно, больше напоминая калейдоскоп или телескоп, чем фотоаппарат. Устройство позволяло получать снимки, «сравнимые по качеству с HD-разрешением». Камера могла захватывать 11 «мегалучей», а размер одного снимка составлял примерно 22 Мбайт. Продажи революционной камеры стартовали лишь через год по цене $399. Несмотря на свою уникальность, Lytro не стала бестселлером. Наверняка многих покупателей отпугивала необычная форма устройства, а её преимущества не казались очевидными.

Однако производитель не забросил свою идею и в 2014 году представил новый продукт: Lytro Illum. Данное устройство выглядело уже гораздо более похожим на современные цифровые фотокамеры, напоминая типичную зеркалку. Принцип работы фотоаппарата остался прежним: в камере имеется комплекс микрообъективов между первичным объективом и датчиком изображения. Данная система преломляет световой поток по тысячам отдельных световых путей, которые датчик и внутренний процессор сохраняют как один файл специального формата (. lpf). Впоследствии пользователь может изменять фокус и даже менять диафрагменное число.

В основе Lytro Illum лежит КМОП-сенсор с разрешением 40 мегалучей. Физические размеры сенсора — 1/1,2″, что сравнимо c аналогичным показателем беззеркальных камер Nikon 1. Отдельно стоит отметить объектив – его диапазон эквивалентных фокусных расстояний составляет 30–250 мм, при этом диафрагменное число постоянно — ƒ/2,0. В мире остальных фотокамер оптики с подобными параметрами просто не существует. Также вызывает любопытство наличие в Lytro Illum процессора Qualcomm Snapdragon 800 — видимо, для работы камеры требуется немалая вычислительная мощь.

⇡#Технические характеристики Lytro Illum

Тип матрицы	КМОП
Размеры матрицы	1/1,2”
Разрешение матрицы	40 мегалучей
Диапазон эквивалентных фокусных расстояний объектива, мм	30–250
Минимальная дистанция фокусировки, мм	0 (от передней линзы объектива)
Диапазон выдержек, с	1/4000–32
Экран	4 дюйма, ЖК, 480 × 800 точек
Углы обзора экрана	до 80 градусов
Аккумулятор	сменный, Li-ion, 3760 мА·ч
Поддержка беспроводных сетей	IEEE 802. 11a/b/g/n/ac
Разъёмы	Micro-USB 3.0
Память	слот для карт SD
Габариты, мм	86 × 145 × 166
Масса, г	940

⇡#Внешний вид

Камера Lytro Illum, как это часто бывает с тестовыми экземплярами, доехала до редакции не в полной комплектации. Кроме собственно фотоаппарата, мы получили фирменный наплечный ремень, кабель питания, зарядное устройство, аккумулятор, кабель Micro-USB 3.0, бленду и крышку объектива, а также ND-фильтр на 72 мм.

Lytro Illum, как мы уже говорили, внешне напоминает современные зеркальные и беззеркальные камеры, хотя отличий от прочих фотоаппаратов можно найти предостаточно. Так, на верхней части корпуса нет никаких поворотных дисков и переключателей — присутствуют лишь три клавиши: спусковая, кнопка включения камеры и клавиша Lytro, а также разъём типа «горячий башмак» для подключения внешней вспышки. Впрочем, совсем от поворотных дисков Lytro не отказалась – они расположены на передней и тыльной сторонах корпуса камеры.

Правая сторона корпуса камеры имеет утолщение для более удобного хвата, там же расположен и аккумулятор. Эта часть камеры закрыта прорезиненной накладкой, так что ей можно пользоваться одной рукой, хотя солидный вес даёт о себе знать – всё-таки без малого целый килограмм!

Центральная часть объектива разделена на три кольца: то, что посередине, неподвижно. Оставшиеся отвечают за изменение фокусного расстояния и, как это ни странно, фокусировку. Рифлёная прорезиненная поверхность облегчает данные процессы, хотя для того, чтобы вслепую привыкнуть крутить нужное кольцо, требуется время.

Комплектная бленда внушительных размеров фиксируется на объективе с характерным щелчком, а для её снятия имеется специальная кнопка разблокировки, так что риск случайно потерять бленду сведён к минимуму. Крышка объектива имеет удобный зажим — бленда не помешает её установке на объектив.

На нижней части корпуса камеры присутствует стандартное резьбовое гнездо для установки фотоаппарата на штатив. Там же расположена и дверца, скрывающая отсек установки аккумулятора.

Тыльная часть корпуса выглядит вполне в духе ультракомпактных камер: большой экран и минимум кнопок. Тут их всего четыре, также имеется и упомянутый выше поворотный диск. Благодаря тому, что экран сенсорный, большинство параметров можно изменять с его помощью. Кроме того, практически все клавиши можно перепрограммировать по своему вкусу.

Экран у Lytro Illum с переменным углом наклона, правда, пределы регулировки невелики: от –10 до +90 градусов, так что снимать с вытянутых рук будет проблематично.

На левой (если смотреть со стороны экрана) боковой поверхности камеры скрыт отсек установки SD-карты и подключения кабеля Micro-USB.

В целом качество сборки и сам корпус камеры производят приятное впечатление. Инженерам Lytro удалось грамотно совместить оригинальный внешний вид устройства с продуманной эргономичностью. В отличие от первого продукта производителя, Lytro Illum достаточно удобно держать в руках и делать фотографии.

Как уже было сказано выше, экран у камеры сенсорный. Его диагональ составляет 4 дюйма, разрешение — 480 × 800 точек. Параметры – как у дисплея недорогого смартфона. Что же до ощущений от взаимодействия с экраном камеры, то в этом он даст фору многим конкурентам: отзывчивая, чёткая и быстрая работа, есть поддержка мультисенсорных жестов. Работать с экраном камеры – одно удовольствие.

Меню камеры отлично адаптировано под сенсорное управление. В правой части экрана выделена область в виде полосы, с помощью которой можно менять различные параметры съёмки.

В основном меню можно переназначить кнопки, перегруппировать само меню, подключить камеру к смартфону и изменить прочие параметры съёмки. Организация пунктов меню настолько проста и удобна, что привыкнуть можно буквально за пять минут.

Благодаря тому, что экран сенсорный и поддерживает мультитач, в режиме просмотра можно менять диафрагменное число и точку фокусировки – при этом результаты своих действий видишь в режиме реального времени.

Резюмируя всё вышесказанное, нужно отметить, что специалистам компании Lytro удалось создать понятный и удобный интерфейс, который по всем параметрам не уступит реализации управления в камерах более известных брендов.

⇡#Lytro Desktop

Для импорта, конвертации и обработки снимков с камеры необходимо скачать и установить программу Lytro Desktop – без неё не получится даже посмотреть снимки, так как сохраняются они в проприетарном формате. При попытке установить приложение на MacBook обнаружилась неприятная особенность – Lytro Desktop свежей версии не работает на компьютерах Apple с интегрированной графикой, выпущенных в 2011 году и ранее. Потенциальным покупателям камеры стоит об этом помнить.

При запуске программы она сразу показывает фотографии со вставленной в кардридер карты памяти. Для работы с изображениями их сначала нужно импортировать с карты памяти, затем выбрать команду «Обработка». Весь этот процесс занимает немало времени: современный ультрабук с 8 Гбайт ОЗУ, процессором Core i5 и SSD-накопителем на одну фотографию тратил около минуты.

Lytro Desktop позволяет менять как привычные параметры фотографии вроде баланса белого, экспозиции, резкости и так далее, так и такие уникальные параметры, как диафрагменное число и зона фокусировки, а также работать с картой ГРИП (глубина резко изображаемого пространства). Кроме того, изображение можно «оживить», превратив в анимацию — при этом доступны различные эффекты.

Прежде чем поделиться отснятыми фотографиями с друзьями, необходимо создать аккаунт на сайте Lytro. Изображение можно загрузить в веб-альбом прямо из программы Lytro Desktop, также доступен вариант «шаринга» в Facebook или на сайт 500px.com.

Lytro Desktop полностью русифицирована, качество перевода, как и в случае с интерфейсом камеры, выше всяких похвал.

⇡#Примеры снимков

Чтобы снять хоть сколько-нибудь интересный кадр на Lytro Illum, придётся следить за тем, чтобы фотография содержала объекты не только на переднем, но и на заднем плане. Ведь если на обычных фотографиях главный интерес вызывает часть изображения в фокусе, то в случае с Lytro Illum необходимо следить, чтобы просматривающему было с чего переводить фокус, иначе пропадает весь смысл. Именно поэтому для фотографии пейзажей камера совсем не подходит – у неё вообще весьма специфическая область применения. Ночные снимки – тоже не конёк Lytro Illum – шумы с ростом светочувствительности растут весьма интенсивно.

Пример 1

Пример 2

Пример 3

Пример 4

Пример 5

Пример 6

Пример 7

⇡#Личные впечатления от камеры

В руках Lytro Illum лежит достаточно удобно, хотя небольшой дискомфорт вызывает неидеальная развесовка. Благодаря прорезиненной поверхности правой части корпуса камеры и центральной – объектива, обеспечивается надёжный хват. Как уже было сказано выше, изменение фокусного расстояния осуществляется при помощи одного из колец на объективе, второе отвечает за ручную фокусировку.

Несмотря на то, что точку фокусировки можно менять постфактум, при съёмке фокусироваться на объекте всё же нужно, поскольку возможности камеры не безграничны и регулировать границы резко изображаемого пространства можно лишь в определённых рамках. Автофокус у Lytro Illum, по меркам современных камер, довольно медленный, поэтому иногда быстрее прибегнуть к ручной фокусировке, тем более что точно попадать в фокус совсем не обязательно.

Главная сложность при фотографировании – в выстраивании композиции кадра. При съёмке необходимо пытаться так построить кадр, чтобы затем при просмотре у зрителей действительно возникло желание изменить точку фокусировки и рассмотреть другую часть фотографии. Сами фотографии при переводе их в привычный формат JPEG не поражают воображения: невысокая резкость и небольшое (4 Мп) разрешение. К слову, видео камера записывать не умеет. Совсем.

Так на кого же рассчитана Lytro Illum? На увлечённых энтузиастов, готовых выложить немалую сумму за эту, без сомнения, революционную камеру. Устройство даёт большой простор для творчества. Современные цифровые камеры прошли долгий путь, поэтому требовать всего и сразу от Lytro Illum было бы неправильно. Инженеры компании Lytro заслуживают уважения хотя бы за то, что в одиночку бросили вызов всей индустрии цифровой фотографии, предложив собственный, уникальный вариант фотокамеры.

Если Вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.

Камера светового поля — Light-field camera

Тип камеры, которая также может фиксировать направление движения световых лучей

Lytro Illum 2-е поколение камеры светового поля.

Лицевая и задняя части Lytro , первой потребительской камеры светового поля, с передним объективом и сенсорным ЖК-экраном.

Световое поле камера , также известная как пленоптическая камера , собирает информацию о световом поле , выходящем из сцены; то есть интенсивность света в сцене, а также направление, в котором световые лучи распространяются в пространстве. Это контрастирует с обычной камерой , которая регистрирует только интенсивность света.

В одном из типов камер светового поля используется набор микролинз, размещенных перед обычным датчиком изображения, чтобы определять интенсивность, цвет и информацию о направлении. Многокамерные массивы — еще один тип камер светового поля. Голограммы — это тип изображения светового поля на пленке.

Технологии

Раннее исследование

Первую камеру светового поля предложил Габриэль Липпманн в 1908 году. Он назвал свою концепцию « интегральной фотографией ». Экспериментальные результаты Липпмана включали грубые интегральные фотографии, сделанные с использованием пластикового листа с тиснением с регулярным набором микролинз или путем частичного встраивания очень маленьких стеклянных шариков, плотно упакованных в случайный узор, на поверхность фотоэмульсии .

В 1992 году Адельсон и Ван предложили дизайн пленоптической камеры, которая может быть использована для значительного уменьшения проблемы соответствия при стереосогласовании. Для этого в фокальной плоскости основного объектива камеры размещается массив микролинз . Датчик изображения расположен немного позади микролинз. Используя такие изображения, можно анализировать смещение частей изображения, которые не в фокусе, и извлекать информацию о глубине.

Стандартная пленоптическая камера

Это демонстрирует возможность изменения фокусного расстояния и глубины резкости после того, как фотография сделана — Ближний фокус (вверху), Дальний фокус (посередине), Полная глубина резкости (внизу) — с помощью программного обеспечения камеры светового поля Lytro Illum.

«Стандартная пленоптическая камера» — это стандартизированная математическая модель, используемая исследователями для сравнения различных типов пленоптических (или световых) камер. По определению «стандартная пленоптическая камера» имеет микролинзы, расположенные на расстоянии одного фокусного расстояния от плоскости изображения сенсора. Исследования показали, что его максимальная базовая линия ограничена размером входного зрачка основной линзы, который оказывается малым по сравнению со стереоскопическими установками. Это означает, что «стандартная пленоптическая камера» может быть предназначена для приложений с близкого расстояния, поскольку она демонстрирует повышенное разрешение по глубине на очень близких расстояниях, которое можно метрически спрогнозировать на основе параметров камеры.

В 2004 году команда Лаборатории компьютерной графики Стэнфордского университета использовала 16-мегапиксельную камеру с массивом из 90000 микролинз (что означает, что каждая микролинза покрывает около 175 пикселей, а конечное разрешение составляет 90 килопикселей), чтобы продемонстрировать, что изображения можно перефокусировать после того, как они принимаются.

Сфокусированная пленоптическая камера

Ламсдайн и Георгиев описали конструкцию пленоптической камеры, в которой матрица микролинз может располагаться до или за фокальной плоскостью основного объектива. Эта модификация делает выборку светового поля таким образом, чтобы угловое разрешение было более высоким пространственным разрешением . С такой конструкцией изображения можно постфокусировать с гораздо более высоким пространственным разрешением, чем изображения со стандартной пленоптической камеры. Однако более низкое угловое разрешение может привести к нежелательным артефактам наложения спектров.

Камера с кодированной апертурой

Тип пленоптической камеры, использующей недорогую пленочную маску с печатью вместо массива микролинз, был предложен исследователями из MERL в 2007 году. Эта конструкция преодолевает некоторые ограничения массивов микролинз с точки зрения хроматических аберраций и потери граничных пикселей и позволяет более высокую фотографии с пространственным разрешением. Однако конструкция на основе маски уменьшает количество света, попадающего на датчик изображения, по сравнению с камерами на основе массивов микролинз.

Стерео с пленоптическими камерами

Пленоптические камеры хороши для визуализации быстро движущихся объектов, где автофокус может не работать должным образом, а также для визуализации объектов, где автоматическая фокусировка недоступна или недоступна, например, с камерами наблюдения. Запись с камеры видеонаблюдения на основе пленоптической технологии может быть использована для создания точной 3D-модели объекта.

Производители

Камеры доступны для покупки

Lytro был основан выпускником Лаборатории компьютерной графики Стэнфордского университета Рен Нг для коммерциализации камеры светового поля, которую он разработал там, будучи аспирантом. Lytro разработала потребительские цифровые камеры со световым полем, способные снимать изображения с использованием пленоптической техники. После того, как Lytro прекратила свою деятельность в марте 2018 года, осталось мало вариантов для покупки камер светового поля.

С 2010 года компания Raytrix продала несколько моделей пленоптических камер для промышленного и научного применения с полем зрения от 1 мегапикселя.

d’Optron и Rebellion Photonics продают несколько пленоптических камер, специализирующихся на микроскопии и обнаружении утечек газа соответственно.

Другие камеры

Pelican Imaging имеет тонкие многокамерные матричные системы, предназначенные для бытовой электроники. В системах Pelican используется от 4 до 16 близко расположенных микрокамер вместо матрицы матрицы микролинз. Nokia инвестировала в Pelican Imaging для производства системы пленоптических камер с 16-линзовой матрицей, которая, как ожидается, будет реализована в смартфонах Nokia в 2014 году. В последнее время компания Pelican перешла к разработке дополнительных камер, которые добавляют возможности определения глубины к основной камере устройства. а не автономные массивные камеры.

Камера со световым полем Adobe — это прототип 100- мегапиксельной камеры, которая делает трехмерную фотографию сцены в фокусе с помощью 19 объективов уникальной конфигурации. Каждый объектив будет делать 5,2-мегапиксельную фотографию всей сцены вокруг камеры, и каждое изображение можно будет сфокусировать позже любым способом.

Камера CAFADIS — пленоптическая камера, разработанная Университетом Ла Лагуна (Испания). CAFADIS означает (по-испански) фазовую камеру, поскольку ее можно использовать для оценки расстояния и оптического волнового фронта . Из одного кадра он может создать несколько изображений, перефокусированных на разных расстояниях, карты глубины, полностью сфокусированные изображения и стереопары. Подобная оптическая конструкция может также использоваться в адаптивной оптике в астрофизике для коррекции аберраций, вызванных атмосферной турбулентностью на изображениях телескопов . Для выполнения этих задач различные алгоритмы , работающие на GPU и FPGA , работают с необработанным изображением, захваченным камерой.

Камера светового поля Mitsubishi Electric Research Laboratories (MERL) основана на принципе оптического гетеродинирования и использует печатную пленку (маску), расположенную рядом с датчиком. Любую ручную камеру можно превратить в камеру светового поля с использованием этой технологии, просто вставив недорогую пленку поверх датчика. Дизайн на основе маски позволяет избежать проблемы потери разрешения, так как фотография с высоким разрешением может быть создана для сфокусированных частей сцены.

Любительские камеры светового поля

Для модификации стандартных цифровых камер требуется немного больше, чем способность производить подходящие листы материала микролинз, поэтому многие любители смогли создать камеры, изображения которых можно обрабатывать для получения выборочной глубины резкости или информации о направлении.

Использование в образовании

В исследовании, опубликованном в 2017 году, исследователи отметили, что включение сфотографированных изображений светового поля в онлайн-модуль анатомии не привело к лучшим результатам обучения по сравнению с идентичным модулем с традиционными фотографиями препарированных трупов.

Микроскоп светового поля

Лаборатория компьютерной графики Стэнфордского университета разработала микроскоп светового поля, использующий матрицу микролинз, аналогичную той, которая используется в камере светового поля, разработанной лабораторией. Прототип построен на базе микроскопа проходящего света Nikon Eclipse / широкоугольного флуоресцентного микроскопа и стандартных камер CCD . Возможность захвата светового поля обеспечивается модулем, содержащим матрицу микролинз и другие оптические компоненты, размещенные на пути света между линзой объектива и камерой, при этом конечное мультифокусное изображение визуализируется с использованием деконволюции . В более позднюю версию прототипа добавлена ​​система освещения светового поля, состоящая из видеопроектора (позволяющего вычислительное управление освещением) и второго массива микролинз на пути освещения микроскопа. Добавление системы освещения световым полем позволило одновременно использовать дополнительные типы освещения (такие как наклонное освещение и квазитемное поле ) и коррекцию оптических аберраций .

Смотрите также

Рекомендации

внешние ссылки

Разработчик камер светового поля Lytro объявил о своей ликвидации, часть команды перешла в Google

На прошлой неделе появилось сообщение, что Google приобрела компанию Lytro, известную своими камерами светового поля. Но вот вчера Lytro объявила о своей ликвидации. Соответствующее сообщение было размещено на официальном сайте производителя, в нем говорится, что с 27 марта компания прекращает производство камер и перестает предоставлять свои услуги.

О причинах такого шага в Lytro ничего не рассказали, хотя, как мы уже сообщали в предыдущем материале, несмотря на весьма многообещающее начало, дела у компании шли не очень.

«Мы готовимся к сворачиванию бизнеса. Мы рады новым возможностям, которые преподнесет будущее после того, как каждый из команды Lytro пойдет разной дорогой. Мы хотели бы поблагодарить различные сообщества, которые поддержали нас, и надеемся, что наши пути еще пересекутся в будущем».

Сообщая о сделке с Google на прошлой неделе, ресурс TechCrunch отмечал, что поискового гиганта интересовали прежде всего патенты Lytro, которых у компании насчитывается 59 штук. Не исключено, что Google приобрел только интеллектуальную собственность Lytro. Впрочем, представители Google сообщили TechCrunch, что часть команды Lytro перешла на работу в Google. При этом знакомый с ситуацией источник The Verge отметил, что Google не планирует использовать технологии Lytro в своих проектах, связанных с технологиями светового поля. Также собеседник The Verge охарактеризовал сделку не как поглощение, а как набор новых кадров. То есть, вероятнее всего, в Google сотрудники Lytro будут работать над какими-то уже другими проектами, никак не связанными с камерами своей старой компании.

Источник: Lytro и The Verge

• Lytro была основана в 2006 году и занималась производством камер светового поля, которые могут менять глубину резкости и фокус на готовых снимках.
• Камеры светового поля фиксируют не распределение освещенности в плоскости действительного изображения объектива, а создаваемое им векторное поле световых лучей (световое поле). данная технология позволяет воссоздать наиболее полную информации об изображении и лучше всего подходит для создания VR-контента, а также для решения различных задач компьютерной графики.

Революционная камера Lytro стала похожа на нормальный фотоаппарат и подорожала в 7,5 раз

23.04.2014, Ср, 09:04, Мск
, Текст: Сергей Попсулин

Стартап Lytro представил камеру для захвата «светового поля» Lytro Illum. В отличие от первой модели, анонсированной 2 года назад, новинка больше похожа на обычную камеру как внешне, так и по функционалу. Она обладает более мощным сенсором, 4-дюймовым дисплеем для предварительного просмотра снимков, поддержкой карт памяти и Wi-Fi. Стоимость по предзаказу — $1499.

Основанный в 2006 г. стартап Lytro представил новую цифровую камеру для захвата «светового поля» — Illum.

Принцип действия Lytro Illum аналогичен камере Lytro, анонсированной в октябре 2011 г., но новая модель больше похожа на обычную цифровую камеру.

Устройство, как выражается производитель, захватывает «световое поле» — направление, цвет и яркость лучей света, попадающих в объектив. Это позволяет впоследствии, уже после того, как фотоснимок сделан, произвольно выбирать на изображении точку фокусировки, приближать и удалять изображение и изменять угол просмотра. При этом картинка становится «живой»: у зрителя создается ощущение, что перед ним находится неподвижная сцена, свидетелем которой он стал (или, как пишет производитель, «окно в сфотографированный мир»). Просмотр снимков в интернете осуществляется с помощью специального плеера. Пример фото можно посмотреть здесь.

Lytro Illum обладает модифицированной матрицей (формат 1″, физическое разрешение 40 МП, снимки на выходе — около 5 МП), запатентованной системой микролинз, объективом с 8-кратным увеличением (эквивалентное фокусное расстояние 30-250 мм), с постоянным диафрагменным числом f/2.0, разъемом для дистанционной кнопки спуска затвора, «башмаком» для подключения вспышки, креплением для штатива, сменной батареей, разъемом для SD-карт, разъемом USB 3.0 и встроенным модулем Wi-Fi.

Корпус изготовлен из магниевого сплава. Вес камеры с объективом составляет 680 г.

В отличие от Lytro, новая модель Lytro Illum больше похожа на обычную камеру

Управление в основном осуществляется с помощью 4-дюймового сенсорного дисплея. Он расположен под углом к объективу (для удобной съемки «от бедра»).

4-дюймовый сенсорный дисплей позволяет увидеть интерактивное изображение перед сохранением

На дисплее можно просматривать выводимое с матрицы интерактивное изображение перед тем, как сохранить его. Обрабатывать снимки можно на ПК — специальное ПО идет в комплекте с камерой. Помимо прочего, оно позволяет создавать интерактивные анимации из созданных снимков.

При оформлении предзаказа на Lytro Illum, покупателю обещают бесплатно выгравировать на корпусе камеры надпись, дать в подарок специальный ремень и опубликовать два снимка, которые он сделает на новую камеру, на сайте Lytro. Стоимость по предзаказу — $1499 (на $100 ниже стандартной цены). Срок доставки — июль 2014 г.

Дисплей расположен по углом для удобной съемки «от бедра», его можно повернуть

По сравнению с первой камерой Lytro новая модель обладает неоспоримыми преимуществами: дисплей позволяет увидеть, каким в итоге будет снимок (этой возможности не хватало в первой модели), более массивный корпус позволил установить разъем для карт памяти, более мощный сенсор с в 3,6 раза большим разрешением по сравнению с первой моделью и другие важные элементы.

Камера оснащена креплением для вспышки, разъемом для SD-карт, поддержкой Wi-Fi

Но и цена возросла существенно: первая версия камеры Lytro поступила в продажу по цене $399 при комплектации 8 ГБ памяти. Сейчас ее цена равна $199.

Lytro ILLUM

Фотокамера Lytro ILLUM — камера светового поля.

Lytro очень необычный цифровой фотоаппарат, в котором сенсор камеры записывает не только информацию о цвете и интенсивности света, но также и векторную информацию о направлении света в каждой точке изображения.

Что это означает? Это означает то, что в полученном изображении можно менять фокусировку и значение диафрагмы.

Первые камеры Lytro и на фотоаппарат не были похожи, они представляли собой странноватого вида параллелепипед с объективом.

По прошествии некоторого времени разработчики выпустили новую камеру, которая была уже похожа на фотокамеру стандартного дизайна, хотя все равно смотрелась несколько странно.

Технические характеристики:

• Световое поле — 40 Мегарей, CMOS-сенсор
• Матрица — 4 Мпикс
• Кроп-фактор — 3,19
• Процессор — Qualcomm Snapdragon 800
• Объектив — 9,5-77,8 мм (30-250 мм 35-мм эквивалента), f 2.0, несменный
• Диапазон ISO — 80-3200
• Дисплей — 4″, сенсорный, 480 x 800 пикселов
• Карта памяти — SD
• Аккумулятор — съемный Li-Ion
• Сети — Wi-Fi (802.11a/b/g/n/ac)
• Порты — USB 3.0
• Размеры — 86 х 145 х 166 мм
• Вес — 940 граммов
• Цена — примерно $1599

Сравнивать характеристики с какими-то другими камерами здесь почти бессмысленно, потому что это не типичная цифровая фотокамера в привычном понимании этого слова. Поэтому производитель и не указывает разрешение матрицы, он пишет «Light Field Resolution: 40 Megaray».

Внешний вид камеры.

По сравнению с первой версией внешний вид камеры претерпел значительные изменения к лучшему. Теперь это не коробка с линзой, а современно выглядящая камера.

Корпус камеры вместе с дисплеем находится под небольшим углом по отношению к объективу.

Дисплей поворотный и может отклоняться на угол до 90 градусов.
Видоискатель не предусмотрен.

Экран также поворачивается дисплеем вниз, что позволяет делать снимки от уровня глаз и даже поднимая камеру над собой.

Вид камеры сзади.

Принцип работы камеры светового поля.

Принцип работы этой камеры, существенно отличается от принципа, используемого в обычных цифровых камерах.

Здесь используется технология Light Field, которая записывает информацию о направлении и интенсивности освещения кадра.

Сенсор фотоаппарата использует массив микролинз, расположенных напротив CMOS-сенсора, чтобы получить данные об интенсивности световых потоков, их направлении и цвете.

Простыми словами — Lytro Illum не делает снимок, а по нажатию на кнопку записывает трёхмерную карту обозреваемого пространства.

Далее используется фирменная программа Lytro, которая преобразует полученные данные в некий цифровой массив. Вы можете его преобразовать в обычную фотографию с выбранной точкой фокусировки, или создать ролик (слайд-шоу), в котором эта фокусировка будет изменяться.

Эффект от изменения диафрагмы в приложении Lytro Desktop

Эффект от изменения точки фокусировки в приложении Lytro — фокусировка на заднем плане.

Фокусировка на среднем плане.

Фокусировка на переднем плане.

В заключении нужно сказать, что Lytro имеет много недостаткоу: низкая разрешающая способность сенсора (примерно 4-5 мегапикселей), высокая стоимость и др. — перечислять можно долго.
Главное, что это камера совершенно нового типа. Можно провести аналогия с появлением первых цифровых фотоаппаратов.

Вспомните с чего начиналась цифровая фотография в 90-х годах. 1мпиксельные камеры с жутким качеством и функционалом! Прошло каких-то 20 лет — и кто кроме закостенелых консерваторов вспоминает про пленку?!

Amazon.com: Lytro Light Field Camera, 16GB, Red Hot: Point And Shoot Цифровые камеры: Камера и фото

Появился новый способ делать и испытывать снимки. Камера Lytro — первая в мире камера со световым полем, которая позволяет мгновенно снимать интерактивные «живые картинки», чтобы поделиться ими с друзьями и семьей в Интернете.

Камера Lytro — первая потребительская камера, которая записывает все световое поле — все лучи света, проходящие во всех направлениях через сцену, — вместо

плоского 2D-изображения.

Сначала снимай, потом сфокусируйся

Снимая световое поле, можно делать невероятные вещи. Как будто перефокусировать снимки после того, как вы их сделали. Это также означает, что у камеры Lytro нет автофокуса и нет связанной с ним задержки срабатывания затвора.

Не просто рассказывать истории. Воссоздайте это. Сфокусируйтесь, чтобы обнаружить новые элементы в сцене, и перемещайте изображение в любом направлении, чтобы изменить свою точку зрения с помощью функции «Сдвиг перспективы». Используйте живые фильтры, чтобы создать неповторимый образ.Теперь каждая сделанная вами фотография — это шанс рассказать новую историю.

Будьте готовы поделиться.
Поделитесь своими фотографиями в Twitter, Facebook, Google+ или в своем блоге, и ваши друзья смогут мгновенно перефокусировать их и поиграть со сдвигом перспективы, как и вы.

EXTERIOR

Рукоятка
Рукоятка, изготовленная из высокоточного силикона, удобна в использовании.

Кнопка спуска затвора
Камера Lytro не имеет автофокуса — и никакой задержки срабатывания затвора, которая у нее есть.

Объектив

Объектив с 8-кратным оптическим зумом и постоянной диафрагмой f / 2 предлагает широкий спектр творческих снимков.

Сенсорный экран

Вы управляете большинством функций камеры касанием или смахиванием. А дисплей с подсветкой позволяет создавать, просматривать и перефокусировать изображения.

ИНТЕРЬЕР

Датчик светового поля

Мы соединили массив микролинз с цифровым датчиком изображения, чтобы фиксировать цвет, интенсивность и направление света, попадающего в камеру — 11 миллионов световых лучей, если быть точным.

Механизм светового поля

Модуль светового поля обрабатывает световые лучи, захваченные датчиком, поэтому вы можете просматривать изображения на экране и перефокусировать их одним касанием.

Аккумулятор
Литий-ионный аккумулятор с длительным сроком службы позволяет продолжать съемку, не останавливаясь для зарядки.

ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ

Размер

41 мм x 41 мм x 112 мм
Вес 214 г

ВКЛЮЧЕНО ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ

Импортируйте изображения на свой компьютер с помощью бесплатного приложения Lytro Desktop.С помощью пары щелчков мышью вы можете разместить сообщение на своей личной странице в Lytro Web, где ваши изображения будут храниться бесплатно *.

Кончина Lytro и будущее камер светового поля

Внезапная, но не совсем неожиданная кончина Lytro в конце марта и приобретение Google многих ее сотрудников (но, очевидно, не ее IP) привлекли новое внимание к Камеры «светового поля». В частности, основное внимание уделяется их будущему на рынке потребительских технологий и тому, как технология может повлиять на мобильные устройства.

Компания Lytro начала свою деятельность в 2006 году и шесть лет спустя выпустила на рынок свою первую камеру потребительской модели. Несмотря на впечатляющие технологии, в последнее время компания столкнулась с трудностями, поскольку переключила свое внимание на виртуальную реальность и захват изображений на 360 градусов.

Подробности участия Google пока не ясны, но уже было известно, что технический гигант участвует в собственных исследованиях и разработках в области световых полей. Судя по всему, это добавило таланта Lytro к этим усилиям.Но что такое камера светового поля?

Дополнительная литература: Что такое апертура?

На что способны обычные камеры и как эта технология может принести пользу мобильным устройствам и их пользователям в будущем?

Оригинальная камера Lytro продавалась по цене 399 долларов, что частично объясняет, почему она так и не стала популярной.

Когда был выпущен первый продукт Lytro, известный просто как «камера первого поколения», основными преимуществами, заявленными для этой технологии, была возможность перефокусировать изображение после того, как оно было снято.Они также содержат некоторую трехмерную информацию и могут создавать впечатление глубины, когда вы меняете видимую точку обзора даже на двухмерном экране. Литро называл эти изображения «живыми картинками», и в их возможностях была хоть какая-то новизна. Камера — квадратная трубка около полутора дюймов по бокам и чуть меньше четырех с половиной дюймов в длину — продавалась по цене 399 долларов.

Камера первого поколения Lytro

lytro.com Камера первого поколения Lytro

По этой цене она примерно равна цене смартфона, который уже стал популярным инструментом для повседневной фотографии.Конечно, Lytro просто фотографировал. Конечно, это была новая картинка, но вы не могли использовать ее, чтобы играть в Candy Crush, смотреть YouTube или даже звонить. Его цена также ставит его в конкуренцию с некоторыми довольно приличными (хотя и традиционными) цифровыми камерами с более широким набором функций — только не с 3D-эффектами. Возможно, неудивительно, что он так и не стал популярным.

Следующим шагом Lytro стал Illum стоимостью почти 1600 долларов. Он предлагал более высокое разрешение и еще несколько функций. Кроме того, он был больше по размеру и не давал общего качества изображения наравне с профессиональными или обычными камерами, против которых теперь выступала его цена и объем.В результате он оказался не лучше оригинала. Сегодня оба продукта можно найти за небольшую часть их первоначальной цены.

Итак, подход светового поля интересен, но в конечном итоге тупиковый? Что это вообще за световое поле?

Учитывая неудачу Lytro, является ли подход светового поля интересной странностью, но в конечном итоге тупиком?

Основная идея вовсе не нова; Захват светового поля был впервые предложен в 1908 году лауреатом Нобелевской премии физиком Габриэлем Липпманном (который также внес вклад в раннюю цветную фотографию).Липпманн назвал эту технику «интегральной фотографией» и использовал набор линз для захвата изображений объекта с разных точек зрения за одну экспозицию на одном листе пленки. При просмотре через аналогичную линзу фотографии Липпманна давали ощущение глубины, схожее с «живыми картинами» Литро более века спустя. Однако оборудование как для фотосъемки, так и для их просмотра было громоздким, а «цельные фотографии» ни для чего не годились без специальных смотровых линз.Конечно, не было возможности создать 2D-версию со способностями изменения фокуса, которые позже разработал Lytro.

Фундаментальная техника, лежащая в основе этих изображений, на самом деле не так уж и сложна. Что отличает камеру светового поля, также известную как пленоптическая камера, — это ее способность фиксировать как интенсивность, так и направление световых лучей, пересекающих заданную плоскость, также известную как «световое поле» в этой плоскости. Как мы уже обсуждали ранее, голограмма также достигает этого, только записывая интерференционную картину, созданную путем комбинирования светового поля изображения с опорным световым лучом — для чего обычно требуется лазер и немного сложная оптика.

Матрица микролинз, аналогичная той, что может использоваться в камере светового поля.

www.planetechn.com Матрица микролинз, аналогичная той, что может использоваться в камере светового поля.

В камере светового поля используется набор крошечных «микролинз», обычно (как это было в конструкции Lytro) между основным объективом и пленкой или датчиком изображения. Это означает, что снимаются несколько двухмерных изображений, каждое с немного разной точки зрения. Это похоже на то, как если бы вы сделали несколько обычных снимков, меняя положение камеры, вверх-вниз и из стороны в сторону, за исключением того, что камера светового поля делает все это одновременно.

Но, как говорится, бесплатного обеда не бывает. Стоимость сбора этих дополнительных данных, которые в основном вносят в изображение информацию о глубине, заключается в значительном снижении разрешения по горизонтали и вертикали. В исходной камере Lytro использовался датчик изображения с разрешением 11 МП для получения изображений с конечным разрешением 1080 x 1080 пикселей. Вы можете перефокусировать их на другую глубину, а также добавить некоторые эффекты перспективы и параллакса, но текущая обработка может пойти только на улучшение этого базового 2D-разрешения.Поздняя камера Lytro Illum предлагала значительно улучшенное разрешение — в четыре раза дороже — за счет использования сенсора 40MP.

Стоимость — еще одна причина, по которой эта техника стояла на полке более века.

Этот метод простоял на полке более века отчасти из-за его стоимости. В оригинальных пленочных фотоаппаратах светового поля специальные линзы требовались не только для захвата изображения, но и для его просмотра. В современном цифровом воплощении этой технологии вы никогда не увидите даже необработанного изображения с сенсора.

Необработанное изображение с сенсора камеры Lytro. Изображение Кори Зисмана.

lightfield-forum.com Необработанное изображение с камеры Lytro. Изображение: Кори Зисман.

Вместо этого для этого метода требуется довольно сложное программное обеспечение и оборудование для обработки изображений, чтобы извлекать информацию о глубине с разных точек зрения и представлять ее как «перефокусируемое» 2D-изображение. Аппаратные и программные алгоритмы, лежащие в основе его, даже не существовали до последнего десятилетия, и это одна из причин, почему камеры стоят так дорого.

Lytro, по-видимому, не удалось добиться коммерческого успеха технологии светового поля, но пока не стоит сбрасывать со счетов этот подход навсегда. Как свидетельствует интерес Google к таланту Lytro, по-прежнему есть ряд сильных сторонников, серьезно занимающихся захватом изображений с легким полем, особенно в связи с быстро растущим интересом к областям VR и AR.

Датская компания Raytrix производит собственную линейку камер светового поля, хотя ее продукция предназначена в первую очередь для коммерческого и промышленного использования, а не для потребительских устройств.Два года назад компания Pelican Imaging, занимающаяся разработкой технологии светового поля, приобрела Tessera Technologies в сделке, очевидно, направленной на создание недорогих приложений, таких как камеры для смартфонов. Adobe, Sony и Mitsubishi Electric также работали в этой области. Методы светового поля также вызывают значительный интерес в киноиндустрии. Компания Radiant Images, лидер в разработке технологий цифрового кино, недавно продемонстрировала систему захвата изображения в светлом поле, основанную на большом количестве камер Sony:

А как насчет смартфонов? Датчики изображения и оборудование для обработки графики продолжают расширяться в возможностях и падать в цене, поэтому эти тенденции могут сделать такую ​​технологию доступной с коммерческой точки зрения.

Можем ли мы ожидать, что смартфоны получат выгоду от методов и преимуществ светового поля без высокой цены или других недостатков?

Самая большая проблема — это размер необходимых компонентов. Вам нужен датчик изображения с большим количеством пикселей, чтобы получить достойные результаты, и вы можете только сделать пиксель датчика настолько маленьким, чтобы столкнуться с проблемами с чувствительностью и шумом. Кроме того, размер используемой оптики — как основного объектива, так и набора меньших объективов — оказывает значительное влияние на общую чувствительность камеры и используемую глубину резкости получаемых данных изображения светового поля.Эти вещи нелегко уместить в упаковку размером со смартфон.

Тем не менее, случаются странные вещи, и производители смартфонов являются ничем иным, как новаторскими. Возможно, оптический конец системы можно было бы изготовить как отдельный съемный модуль, чтобы вам не пришлось носить его как часть телефона. Может быть, продуманная оптическая конструкция позволит, по крайней мере, значительно уменьшить глубину оптического пути, так что дополнительные габариты не будут столь же нежелательными. В любом случае, это определенно область, за которой следует внимательно следить, даже если некоторые из ее пионеров останутся на второй план.Не удивляйтесь, если в не столь отдаленном будущем фотографии на вашем смартфоне буквально приобретут дополнительную глубину.

Камера светового поля — снимай сейчас, фокусируйся позже!

То, что вы смотрите, — это не четыре фотографии, сделанные с разными настройками фокусировки. Это всего лишь один снимок светового поля, который можно реконструировать как угодно (фото Lytro).

Новая камера, которая должна появиться на рынке к концу года, собирается «произвести революцию в фотографии».Это заявление молодой американской компании, ответственной за разработку камеры, может показаться немного чрезмерно амбициозным, но после многих лет исследований прототип уже существует.

«Наша миссия — навсегда изменить фотографию, — утверждает Рен Нг, изобретатель камеры — генеральный директор и основатель компании Lytro из Кремниевой долины. — Обычные камеры уйдут в прошлое».

Если верить Lytro, пользователям этой новой камеры больше не придется беспокоиться о настройке времени экспозиции, диафрагм или фокусировки, а также не будут возникать проблемы с условиями освещения; и если вы думаете, что всю тяжелую работу перед съемкой сделает автоматизация, вы ошибаетесь.У этой камеры просто нет этих настроек!

Камера Lytro готова снимать любую сцену менее чем через секунду после включения. Нет задержки между режимом сна и моментом съемки. Нет необходимости пролистывать запутанные меню, нет задержки срабатывания затвора и не нужно нажимать кнопку наполовину, чтобы установить автоматическую фокусировку. Lytro просто не справляется с этим. Просто стреляй сейчас, чудеса случатся позже!

Передовая технология камеры почти волшебна: каждое изображение занимает намного меньше памяти, чем на традиционной камере, и позволяет настраивать фокусировку на любой конкретной точке изображения, представляющей интерес, после события.

Используя файл, полученный после съемки, специальное программное обеспечение позволяет изменять глубину резкости и фокусироваться в любом месте кадра по вашему желанию. Просто щелкните нужный объект на переднем плане, на среднем расстоянии или на заднем плане, и он станет резким, а объекты в других плоскостях станут размытыми.

Более того, это размытие не является искусственным типом, который вы получаете в программах для редактирования изображений, таких как Photoshop. Все образы появляются и снова исчезают в тумане — они настоящие.Все работает так, как если бы вы снимали несколько десятков или даже сотен снимков, сделанных за одну и ту же долю секунды, с фокусировкой каждого на разном расстоянии.

Загляните в галерею изображений Lytro и убедитесь сами, как происходит перефокусировка.

Секрет технологии заключается в том, как новая камера фиксирует все световое поле фотографируемой сцены. Проще говоря, световое поле определяет внешний вид изображения. Представьте это как серию лучей, проходящих из всех точек окружающей среды во всех направлениях.

Упрощенное изображение светового поля (рисунок Lytro).

Камера Lytro может отдельно хранить информацию обо всех лучах света, попадающих в объектив, с разных расстояний и под разными углами.

В результате данные, захваченные матрицей ПЗС, могут обрабатываться сопутствующим программным обеспечением, что позволяет не только изменять глубину резкости окончательного изображения, но также до определенной степени сдвигать перспективу и даже плавно перемещаться с плоской поверхности. Преобразование 2D-изображения в 3D-изображение.Звучит невероятно, не правда ли? Но это то, что Lytro обещает вывести на рынок.

Рен Нг — выпускник Стэнфордского университета по информатике, ныне генеральный директор Lytro. Ученый, Рен, держит стандартную цифровую камеру, которую его команда настроила для создания прототипа Lytro с использованием ряда готовых и самодельных запчастей (фото с сайта k9ventures.com).

Если копнуть глубже, в технологии скрыты некоторые интересные детали.Например, Нг изобрел датчик светового поля не с нуля. В своей работе он следовал принципам так называемой пленоптической камеры.

Научное сообщество знает об этом типе фотоаппаратов уже много лет. Он бродил по исследовательским отделам — только в экспериментальной форме — от одного института к другому, так и не достигнув потребительского рынка.

Как пленоптическая камера запечатлела бы сцену (рис. Рен Нг).

Взяв исходные пиксели и решив несколько довольно сложных уравнений, можно получить представление о сцене с более высоким разрешением, чем это доступно из отдельного фрагмента мозаики.

Расстояние между объективом и фотографируемым объектом не имеет значения. Зная законы рассеивания света, мы можем выбрать такую ​​обработку изображения, чтобы каждый объект был визуализирован в резком фокусе.

Часть изображения, полученная с помощью массива микролинз, лежащих непосредственно перед матрицей (с точно определенным зазором). Справа вверху — фрагменты в еще большем увеличении (на основном кадре обведены квадратами), внизу — получившееся синтезированное изображение (рисунок Ren Ng).

Однако у пленоптических камер есть свои проблемы. Например, размер микролинз и их соотношение с пикселями матрицы, которая находится под ними, расстояние между микролинзами и матрицей — все эти параметры объединены таким образом, что затрудняет четкую фокусировку, высокую точность. изображения разрешения под каждой микролинзой одновременно. Что-то получается хорошо, а что-то теряется.

Имея это в виду, важно, чтобы набор таких миниатюрных изображений передавал информацию не только о яркости и цвете различных точек, но также и о расстоянии между камерой и любой конкретной частью сцены.Что произойдет, если все эти знания объединить? Чтобы упростить задачу, изобретатели технологии задали себе вопрос: возможно ли, исходя из необработанных и грубых изображений под микролинзами, рассчитать всю ситуацию во всех ее деталях?

Чтобы ответить на этот вопрос, Нг использовал концепцию плеоптической камеры, чтобы построить целую теорию о различных способах представления световых полей, а также о различных математических методах их преобразования, и в результате он смог разработать свою собственное устройство (с сопутствующим программным обеспечением), способное выполнять все указанные выше трюки.

(Подробнее о научной стороне проекта вы можете узнать в PDF-документе, где вы также узнаете об истории возникновения Lytro и предшествовавшей ей работе специалистов из Стэнфорда — в блоге Венчурной компании K9, который помог воплотить мечту Рена в реальность.)

Микросетка квадратных линз, использованная в экспериментальном прототипе. Габариты — 296х296 линз. Эти линзы покрывают почти 100% площади. Сетка размещалась на ПЗС-матрице с разрешением 4096 x 4096 пикселей.Сборка этих агрегатов показана ниже (рисунки Ren Ng).

Lytro Camera позволяет снимать при очень слабом освещении без вспышки, и — с помощью всего лишь одного объектива — она ​​может создавать 3D-изображения, по словам инсайдеров компании, недавно цитированных в PC World.

А насчет трехмерности, честно говоря, эта область не совсем ясна. Чтобы добиться эффекта трехмерности на 2D-фотографии, вам обычно нужно снимать объект как минимум с двух разных точек зрения.Скорее всего, та же сетка микролинз позволяет снимать, как если бы у нас было две линзы.

Расстояние между ними в этом случае будет диаметром основной линзы. Lytro, однако, пока не предоставил никаких подробностей, и он еще не показал нам трехмерных «снимков Lytro».

Увы, многие аспекты работы камеры и программного обеспечения остаются неясными, но самое главное — не было ответа на вопрос: какой конечный продукт американцы будут выводить на рынок?

Точная дата появления Lytro в магазинах, цена или даже форма (будь то тонкий «кусок мыла» или увесистый «SLR») еще не уточняются.Так что тем, кто хочет присоединиться к фотографической революции, придется терпеливо ждать.

Источник: http://www.membrana.ru/particle/16321

Обзор камеры светового поля

Lytro: камера светового поля Lytro

Примечание редактора: 24 июля 2012 года Lytro выпустила 64-битную версию своего настольного программного обеспечения для Windows 7, которое требуется для выгрузки и обработки изображений с камеры светового поля.Теперь камеру Lytro можно использовать с компьютерами Mac OS X 10.6.6 или новее и Windows 7 (64-бит). Этот обзор и рейтинг продукта были обновлены, чтобы отразить эту доступность.

Камера Lytro не останется без внимания. Достаточно одного взгляда на захватывающий дизайн этого длинного прямоугольного устройства, и вы поймете, что Lytro представляет собой полное переосмысление индустрии фотоаппаратов в том виде, в каком мы ее знаем.

Вместо того, чтобы полагаться на стандартный датчик, который есть в других цифровых устройствах и камерах, Lytro оснащает эту камеру набором микролинз, которые позволяют ей фиксировать цвет, интенсивность и направление вектора световых лучей.Эта технология, называемая фотографией в светлом поле, позволяет камере снимать мгновенно, не требуя предварительной фокусировки.

Когда вы нажимаете кнопку спуска затвора, камера собирает свет со всех сторон. Затем программное обеспечение камеры компилирует то, что по сути является трехмерной картой захваченного изображения. После того, как вы разместите фотографию, любой, у кого есть URL-адрес, может перефокусировать изображение, щелкнув новую область фокусировки.

Технология, без сомнения, потрясающая. Радикальное переосмысление фотографии обнадеживает, и мы продолжим пересматривать этот обзор по мере того, как Lytro обновляет свою флагманскую камеру.Но моя работа здесь — сказать вам, покупать ли камеру Lytro. Для большинства из вас ответ: пока нет.

Дизайн
Гладкий двухцветный металлический корпус — 4,4 дюйма в длину и 1,6 дюйма в квадрате — совсем не похож на то, что вы ожидаете от камеры. По сути, это металлическая трубка, в которой находится объектив с постоянной диафрагмой f / 2.0 на всем протяжении 8-кратного оптического зума.

Его элементы управления так же просты, с не более чем кнопками включения и спуска затвора, крошечной сенсорной полосой для управления масштабированием и 1.5-дюймовый сенсорный ЖК-экран для настройки экспозиции, кадрирования и просмотра. И батарея, и память — 8 ГБ на 350 снимков или 16 ГБ на 750 снимков — встроены и не извлекаются, а порт Micro-USB используется для зарядки и передачи. Встроенного крепления для штатива нет, но вы можете купить его примерно за 20 долларов, который скользит по корпусу.

Сенсорная полоса масштабирования (обратите внимание на маленькие линии в четвертом ряду вниз) может быть неудобной в использовании.

Поначалу мне было неудобно пользоваться этим дизайном, но через некоторое время я стал держать его двумя руками, как телескоп, с маленьким ЖК-дисплеем перед глазами.Это действительно хорошо работает и позволяет лучше контролировать дрожание рук. Это то место, где вы должны его сохранить, потому что если даже немного выше, ниже или сбоку от линии глаз, в основном, получается перевернутое изображение, что очень затрудняет кадрирование вашего снимка. Неважно, что он смехотворно мал для кадрирования кадра с самого начала.

Полоса зума одновременно интересна и разочаровывает. Здесь не так много точного управления, но одно длинное движение по нему полностью выдвигает или втягивает его.С другой стороны, он расположен таким образом, что, когда я кадрирую снимки и нажимаю на спусковую кнопку затвора, я в конечном итоге случайно увеличивал масштаб объекта. С другой стороны, конструкция работает как для левшей, так и для правшей.

Съемка с помощью Lytro
Автофокус и задержка срабатывания затвора — огромные камни преткновения для обычных компактных фотоаппаратов, поэтому исключение этого из уравнения, безусловно, выгодно даже при высокой стартовой цене камеры в 399 долларов.Спросите себя, сколько мимолетных моментов вы упустили за эти годы, пока ваша камера фокусировалась, или, возможно, еще хуже, сколько снимков вы сделали только для того, чтобы позже узнать, что ваш объект был полностью не в фокусе, и вы поймете, почему Возможность сначала снимать, а потом фокусироваться — это прорыв в области фотосъемки.

Однако главный прием для Lytro заключается не только в фокусировке после выстрела. Суть в том, что вы можете снова и снова перефокусировать изображение, используя программное обеспечение Lytro, давая вам то, что компания называет «живым изображением».»Просто нажмите на любую область фотографии, и эта часть будет в фокусе. Это придает фотографиям уровень интерактивности, который невозможно сопоставить с обычной камерой.

В камере предусмотрено два режима съемки: повседневный и творческий. Ежедневный режим позволяет камере установить диапазон перефокусировки — расстояние между объектами на переднем и заднем плане, которое можно перефокусировать. Он ограничивает вас примерно 3,5-кратным зумом, но не требует от вас ничего, кроме наведения и съемки и, в зависимости от вашего освещения, касания объекта для правильной экспозиции.

Творческий режим позволяет лучше контролировать степень размытия и лучше всего подходит для случаев, когда расстояние между двумя объектами обычно слишком мало для фокусировки. Это хорошо для экстремальных крупных планов, потому что позволяет упирать объектив в объект. Или, если вы немного расширите объектив и увеличите масштаб для портрета, вы можете получить красивый мягкий и размытый фон. Это также единственный способ получить доступ к полному 8-кратному зуму, так что вы все еще можете приблизиться к удаленному объекту и получить изображение с перефокусировкой.

Я видел много комментариев читателей о том, что это, по сути, ярлык для создания изображений, которые фотографы пытаются освоить. Это действительно неправда. На самом деле эта камера требует много внимания, чтобы получить хорошее живое изображение, не говоря уже о том, чтобы получить интересное.

Частично это связано с тем, что вы должны находиться очень близко к ближайшему (переднему) объекту, примерно от 4 до 6 дюймов. Также должно быть некоторое ощутимое расстояние между ближайшим объектом и другими (фоновыми) объектами.Если ваши объекты расположены слишком близко друг к другу или выглядят так, как будто они находятся в одной плоскости, когда вы кадрируете снимок, вы не получите большого эффекта перефокусировки. Опять же, в то время как Lytro легко взять в руки и сделать живой снимок, создание не отстойного снимка требует некоторого творчества и знаний о том, как лучше всего кадрировать снимок.

Apple изобретает систему панорамных камер со световым полем для iDevices и HMD, которая позволяет создавать иммерсивные сцены с 6 степенями свободы

Сегодня Бюро по патентам и товарным знакам США опубликовало патентную заявку Apple, которая относится к системе панорамных камер следующего поколения со световым полем, которая в конечном итоге появится в iPhone, iPad и будущих HMD.Это важно, потому что Google будет поставлять такую ​​систему на рынок в какой-то момент в будущем в связи с приобретением Lytro в 2018 году. Lytro была одним из лидеров в области изображений светового поля, относящихся к фотографии и виртуальной реальности.

В целом, изобретение Apple предоставит систему панорамы светового поля, в которой пользователь, держащий мобильное устройство, выполняет жест для захвата изображений сцены с разных позиций. Дополнительная информация, такая как информация о положении и ориентации, также может быть получена.Изображения и информация могут обрабатываться для определения метаданных, включая относительные положения изображений и информацию о глубине для изображений. Изображения и метаданные могут быть сохранены в виде панорамы светового поля.

Панорама светового поля может обрабатываться механизмом визуализации для визуализации различных трехмерных видов сцены, чтобы позволить зрителю исследовать сцену с разных позиций и под разными углами с шестью степенями свободы. Используя систему рендеринга и просмотра, такую ​​как мобильное устройство или головной дисплей , зритель может видеть позади или над объектами в сцене, увеличивать или уменьшать масштаб сцены или просматривать различные части сцены.

Если вы когда-либо видели такие изображения и возможности, то вы знаете, что это будет убийственное приложение для камер iPhone и будущих HMD.

Технически Apple заявляет, что при фотосъемке в световом поле камера в световом поле фиксирует интенсивность цвета света в сцене, а также направление, в котором световые лучи движутся в пространстве. Это контрастирует с обычной камерой, которая регистрирует только интенсивность цвета света. В одном из типов камер светового поля используется набор микролинз, размещенных перед датчиком изображения.Многокамерные массивы — это еще один тип камер светового поля.

Виртуальная реальность (VR) позволяет пользователям испытывать и / или взаимодействовать с иммерсивной искусственной средой, так что пользователь чувствует себя физически в этой среде. Например, системы виртуальной реальности, такие как налобные дисплеи (HMD), могут отображать стереоскопические сцены для пользователей, чтобы создать иллюзию глубины, а компьютер может настраивать содержимое сцены в режиме реального времени, чтобы создать иллюзию движения пользователя. внутри сцены.

Таким образом, когда пользователь просматривает изображения через систему виртуальной реальности, он может чувствовать, как будто они движутся внутри сцены с точки зрения первого лица. Системы виртуальной реальности могут использоваться для обеспечения интерактивного взаимодействия с пользователем для множества приложений.

Изобретение Apple предлагает различные варианты осуществления методов и устройств для захвата, обработки и визуализации панорам светового поля.

В вариантах осуществления системы панорамы светового поля пользователь, держащий мобильное устройство, которое включает в себя камеру, например смартфон, планшет или планшет, выполняет жест, чтобы переместить камеру перед интересующей сценой, чтобы захватить набор. цифровых изображений сцены с разных позиций.

Патент Apple РИС. 2 ниже графически иллюстрирует компоненты системы панорамы светового поля.

Apple, патент РИС. 4A-4F выше иллюстрируют неограничивающие примерные жесты на iPhone, которые могут использоваться для захвата кадров для создания панорамы светового поля. Патент Apple ФИГ. 5A и 5B ниже графически иллюстрируют просмотр панорамы светового поля с использованием портативного мобильного устройства, такого как смартфон или планшет.

В заявке на патент

Apple также отмечается, что дополнительная информация, например информация о положении и ориентации, полученная с помощью технологии определения движения и положения устройства, также может быть захвачена с изображениями.

Захваченные изображения и информация могут быть обработаны для определения метаданных, включая относительные положения камеры изображений по отношению к сцене и информацию о глубине и геометрии для содержимого сцены, захваченной в изображениях.Изображения и метаданные вместе могут называться панорамой светового поля.

Захваченная сцена, представленная панорамой светового поля, может быть исследована зрителем с помощью системы визуализации и просмотра на HMD , мобильном устройстве, таком как смартфон, планшет или планшет, или в компьютерной системе. Данные панорамы светового поля (изображения и метаданные) для сцены могут обрабатываться механизмом визуализации для визуализации различных трехмерных видов сцены, чтобы позволить наблюдателю исследовать сцену с разных позиций и под разными углами с шестью степенями свободы.

Используя систему рендеринга и просмотра, зритель может изменить свое положение и угол обзора, чтобы видеть позади или над объектами сцены, увеличивать или уменьшать масштаб сцены или просматривать различные части сцены.

Таким образом, панорама светового поля позволяет зрителю исследовать сцену с шестью степенями свободы (6DOF), что означает, что зритель может вращаться вместе с контентом, а также перемещаться в разных направлениях. Напротив, типичная панорама 360 (или сфера) допускает только три степени свободы при рендеринге, что означает, что зритель может только поворачивать голову, но не может перемещаться по контенту, как он может при изучении панорамы светового поля.

Варианты осуществления

могут, например, позволить зрителю испытать захваченный широкоугольный контент сцены в иммерсивной виртуальной реальности, например, через HMD.

Захваченное изображение учитывает «параллакс» в том смысле, что, когда изображение визуализируется в виртуальной реальности, объекты в сцене будут перемещаться должным образом в соответствии с их положением в мире и относительным положением зрителя по отношению к ним. Кроме того, содержимое изображения выглядит фотографически реалистичным по сравнению с визуализацией компьютерного содержимого, которое обычно просматривается в системах виртуальной реальности.

Наконец, патент Apple FIG. 7 ниже иллюстрирует архитектуру в реальном времени и постобработку для системы панорамы светового поля.

Патентная заявка Apple

, опубликованная сегодня Патентным ведомством США, была подана еще в третьем квартале 2019 года. Учитывая, что это патентная заявка, сроки вывода такого продукта на рынок в настоящее время неизвестны.

Для справки, в июне 2017 года компания Apple опубликовала отчет по IP под названием «Apple выигрывает ключевой патент на камеры Light Field, которые могут обеспечить иммерсивную дополненную реальность для компьютеров Mac, iDevices и гарнитур.«Патент был первоначально подан в 2016 году. Таким образом, Apple работает над этим проектом не менее 3,5 лет.

Некоторые из изобретателей Apple

Дэн Лелеску, Вычислительное зрение; Тобиас Рик, Video Engineering; Бретт Миллер, технический директор, Camera Incubation; Гэри Вондран, специалист по визуализации, Camera Architecture

Камеры светового поля: новая эра в фотографии

Фотография в световом поле в последнее время вызвала значительный интерес как в исследовательских институтах, так и на потребительском рынке из-за ее феноменальных возможностей в пользовательском опыте, таких как перефокусировка и возможности создания трехмерных изображений.Внедряя их на потребительский рынок, мы можем с уверенностью сказать, что фотография находится на пороге новой эры. Представьте себе камеру наблюдения, которая может точно записывать 3D-модель подозреваемого (камеры со световым полем хороши для отслеживания движущихся объектов!) Или способную запечатлеть подробную 3D-форму объекта, сделав поток фотографий с помощью вашего мобильного телефона. Фактически, Управление по патентам и товарным знакам США недавно предоставило Apple патент под названием «создание стереоскопического изображения», в котором подробно описан метод захвата данных стереоскопического изображения, возможного предшественника режима фотосъемки с глубиной для мобильных устройств компании.Так что дождитесь своего iPhone 6, который, как сообщается, будет иметь такую ​​возможность.

Несмотря на их недавнее появление на потребительском рынке, технологическая основа имеющихся в настоящее время камер светового поля (или Plenoptic) насчитывает более века и не претерпела кардинальных изменений за это время. Однако привлечение внимания крупных игроков в потребительской электронике, таких как Apple, может иметь огромное значение для этой технологии.

Первая камера светового поля была предложена Габриэлем Липпманном в 1908 году, а термин «световое поле» был впервые описан в классической одноименной статье Аруна Гершуна 1936 года.Световое поле — это четырехмерная функция, которая описывает яркость как функцию положения и направления в свободном пространстве, то есть без окклюзии. Марк Левой и Пэт Ханрахан ввели световые поля в область вычислительной фотографии в 1996 году. Их предложенным приложением был рендеринг на основе изображений , вычисление новых видов сцены из ранее существовавших видов без необходимости в геометрии сцены.

В дополнение к новым игрокам, таким как Apple, исследовательские институты, такие как MIT, Stanford и Disney Research, активно работают над способами улучшения методов захвата, управления и отображения световых полей.В недавней публикации в SIGGRAPH 2013 исследователи Disney Research представили новый алгоритм трехмерной реконструкции с использованием камер светового поля. Первое, что делает этот алгоритм, — это вычисляет надежные оценки глубины вокруг границ объектов, а не внутри их внутренних областей. Они могут делать это, воздействуя на отдельные лучи света, а не на участки света. Из-за того, что в этом процессе не используется глобальная оптимизация, алгоритм может сохранять точные контуры объекта, при этом обеспечивая плавность реконструкций в менее детализированных областях объекта.Еще одно отличие этого алгоритма от других заключается в том, что он оказывает меньшую нагрузку на оборудование компьютера, чем это обычно бывает при построении трехмерных моделей из изображений с высоким разрешением.

Эта разработка может изменить природу видеоигр, а также качество фильмов, производимых режиссерами. В основном потому, что эта технология поможет им создавать более четкие, детализированные и реалистичные изображения, особенно в том, что касается создания анимационных фильмов. В ближайшем будущем мы обязательно услышим больше о камерах светового поля, поскольку они станут более доступными и доступными.

Публикация по теме:

К. Ким, Циммер, Х., Прич, Ю., Соркин-Хорнунг, А., и Гросс, М., «Реконструкция сцены из световых полей с высоким пространственно-угловым разрешением», Транзакции ACM на графике (Proceedings of ACM SIGGRAPH ), т. 32, стр. 73: 1–73: 12, 2013.

Фото: Николас Эрвин

«Видео со световым полем» с 46 камерами Google позволяют менять перспективу и заглядывать за угол — TechCrunch

Google демонстрирует одну из самых впечатляющих попыток превратить традиционную фотографию и видео в нечто более захватывающее: 3D-видео, которое позволяет зрителю изменять свою перспективу и даже смотреть вокруг объектов в кадре.К сожалению, если у вас нет 46 запасных камер для синхронизации, вы, вероятно, не собираетесь снимать эти «видео в светлом поле» в ближайшее время.

Новая техника, которая должна быть представлена ​​на SIGGRAPH, использует кадры с десятков камер, снимающих одновременно, образуя своего рода гигантский сложный глаз. Эти многие перспективы объединяются в одну, в которой зритель может перемещать свою точку обзора, и сцена соответственно реагирует в реальном времени.

Это изображение из статьи исследователей показывает, как камеры фиксируют и сегментируют изображение.

Эффект видео высокой четкости и свобода передвижения придают этим видео в светлом поле реальное ощущение реальности. В существующем видео с улучшенной виртуальной реальностью обычно используется обычное стереоскопическое 3D, которое на самом деле не позволяет изменить точку обзора. И хотя метод Facebook понимать глубину фотографий и добавлять к ним перспективу является умным, он гораздо более ограничен и создает лишь небольшое изменение перспективы.

В видеороликах Google вы можете повернуть голову на фут в сторону, чтобы выглянуть из-за угла или увидеть другую сторону данного объекта — изображение фотореалистичное и полное движение, но на самом деле визуализировано в 3D, поэтому даже небольшие изменения точка зрения точно отражена.

Кредиты изображений: Google

И поскольку буровая установка настолько широкая, части сцены, которые скрыты с одной точки зрения, видны с другой. Когда вы перемещаетесь из крайней правой стороны в крайнюю левую и увеличиваете масштаб, вы можете обнаружить совершенно новые функции — устрашающе напоминающие печально известную сцену «улучшения» из «Бегущего по лезвию».

Это, вероятно, лучше всего испытать в VR, но вы можете протестировать статическую версию системы на веб-сайте проекта или посмотреть несколько демонстрационных видеороликов светового поля, если у вас есть Chrome и включены экспериментальные функции веб-платформы (есть инструкции на сайте).

Эксперимент является близким родственником светодиодного яйца, которое использовалось для объемного захвата движения человека, которое мы видели в конце прошлого года. Очевидно, что подразделение Google по искусственному интеллекту заинтересовано в обогащении мультимедийных материалов, хотя можно только догадываться, как они будут это делать в смартфоне Pixel, а не в массиве камер размером с автомобиль.