Принципы работы цифровых камер светового поля с массивом микролинз

Реализация регистрации СП достигается путем расположения массива микролинз между датчиком изображения и основным объективом. Массив микролинз способен определить не только общее количество света, приходящего от разных точек поверхности регистрируемого объекта на матричный фотоприемник, но и интенсивность каждого приходящего луча по направлению распространения. Это позволяет путем заданных алгоритмов ретроспективного анализа проводить учет различных лучей и получать резкие изображения объектов, с разной глубиной расположения в пространстве. Данные принципы регистрации изображения определяют новую стратегию при разработке системы регистрации и визуализации трехмерно расположенных объектов.

Введение

Оптические методы отображения окружающих объектов имеют свои преимущества, такие как бесконтактность, быстродействие, возможность автоматизации. Поэтому оптико-электронные системы (ОЭС) находят широкое применение в различных сферах деятельности человека и отраслях промышленности. В последнее время пространственное разрешение некоторых твердотельных матричных фотоприемников (ФП) изображения превышает разрешающую способность объективов проектирующих систем. Одноканальные ОЭС регистрации изображения изначально имеют ограничения диапазона и степени детализации регистрируемых объектов пространства. Достигаемая детализация часто сопоставляется с пространственной дискретизацией светового поля регистрируемого изображения элементами матричного ФП. В оптических системах, проектирующих изображение на ФП, максимальная детализация достигается при точной фокусировке на тот или иной фрагмент объекта, что затрудняет резкое отображение пространственно расположенных объектов. При оценке точности отображения объектов необходимо учитывать и свойства оптической проектирующей системы (аберрации).

В настоящее время известен оптический метод, основанный на регистрации волновых фронтов, позволяющих фиксировать объемные параметры пространственно расположенных объектов (метод голографии). Фактически этот метод определяет совокупности большей части , идущих в разных направлениях от поверхности наблюдаемого объекта в регистратор. Однако практическая реализация подобного метода предполагает использование квадратичных регистраторов высокого разрешения и высокую степень механической стабильности регистрируемого объекта. Это затрудняет построения автоматизированных систем регистрации и обработки изображения.

Рис. 1. Методы регистрации объемных поверхностей: а) двухкамерная; б) многокамерная

Известны методы регистрации формы поверхности трехмерных объектов на базе цифровых оптико-электронных систем светового поля. Регистрация СП ОЭС основана на фиксировании матрицами фотодиодов разных частей волнового фронта (наборов лучей), идущих от различных точек поверхности S (x, y, z)наблюдаемого объекта в разных расправлениях L_i (x, y, θ, φ). Чаще всего для этого применяется несколько ЦК с разными углами визирования. Однако работа такой системы обеспечивается средствами фокусировкой и глубиной резкости объективов цифровых камер (рис. 1а). Увеличивая число ЦК и направлений регистрации, можно повысить количество выбранных наборов лучей и точность регистрации всего волнового фронта. Например, японские ученые во главе с профессором Ишино Юзиру (Ishino Youziro) из Института технологии Нагоя (Nagoya Institute of Technology) создали уникальную трехмерную (3D) камеру, которая имеет 158 объективов в корпусе полукруговой формы. Такие методы трехмерной регистрации объектов  и их последующей реконструкцией позволяет синтезировать различные ракурсы объекта (рис. 1б). При этом многие проблемы контроля объемных или неточно позиционированных объектов связаны с недостаточной или неопределенной резкостью получаемого изображения.

Рис. 1. Методы регистрации объемных поверхностей: а) двухкамерная; б) многокамерная

Сегодня существуют и другие подходы к получению трехмерных изображений. Так, фирма «ИФМ Электроник» (IFM Electronic) разработала бюджетные 3D-камеры серии Efector pmd3d для трехмерного измерения и оценки размеров объектов в промышленности. В этой камере 3D-датчики действуют по принципу измерения времени пролета луча на основе запатентованной технологии PMD (Photonic Mixer Device). У фирмы Mitsubishi есть система MERL (Mitsubishi Electric Research Labs), реализованная  на основе растровой маски, расположенная перед фотоматрицей. Установка такой маски перед штатным сенсором, по сути, трансформирует цифровой регистратор в пленоптический регистратор. Из-за отличий растровой маски от линзового массива MERL не снижает разрешающую способность сенсора. Фирма Adobe Systems создала камеру, которая снимает 100-Мпикс изображение через 19 объективов, сфокусированных на разной дистанции. В результате получается 19 изображений разрешением по 5,2 Мпикс с разной длиной фокусировки. Постобработка выбирает изображение с требуемой фокусировкой или предоставляет возможность совместить сразу несколько изображений в одно.

В последнее время разрабатываются новые типы цифровых камер СП [1]. В таких камерах СП определение направления хода входящих в оптическую систему лучей (рис. 2) достигается расположением после основного проектирующего объектива (1) перед матрицей фотодиодов (2) на некотором заданном расстоянии (l) массива микролинз (3). В этом случае отпадает необходимость фокусировки ОЭС.

Рис. 2. Схема работы регистратора СП с матрицей микролинз:
1 — основной проектирующий объектив; 2 — матрица фотодиодов; 3 — массив микролинз

Описанный принцип функционирования регистратора СП реализует способ регистрации совокупности координат и направлений лучей от поверхности объекта, что впоследствии разрешает выделять и обработать заранее заданную совокупность лучей. По сути, данный принцип обеспечивает возможность формирования нового изображения путем угловой фильтрации входящих в оптическую систему лучей [2], соответствующих рассеивающим свойствам точек поверхности (рис. 3а, б). В свою очередь это позволяет по иному принципу определять параметры формы рельефа поверхности (рис. 3б).

Рис. 3. Принцип регистрации формы поверхности S(x,y,z) объекта методом регистрации СП:
а) принцип регистрации СП;
б) разрешающая способность регистрации рельефа поверхности;
в) массив микролинз эквивалентен массиву ЦК

Пленоптическую камеру СП можно представить как частный случай массива цифровых камер (рис. 3в), роль каждой камеры выполняет микролинза. Но в отличии от массива ЦК в пленоптической камере каждая микролинза распределяет пришедшие в нее световые лучи разных направлений в различные участки одной и той же матрицы ФД (рис. 3а, 4).

Рис. 4. Схема регистрации светового поля матрицей фотодиодов

Выбор относительного отверстия основного объектива определяет полноту заполнения лучами матрицы ФД для заданных конструктивных параметров камеры СП. Для камеры Lytro Illum B5-0036 основной объектив с переменным фокусным расстоянием имеет постоянное относительное отверстие f/2. Если взять отверстие меньше конструктивно заданного (рис. 5а), на матрице ФД останутся неиспользуемые пиксели, если больше — проецируемые изображения на матрице ФД будут пересекаться (рис. 5в). Оптимально подобранное относительное отверстие объектива обеспечивает полное заполнение матрицы ФД изображениями под микролинзами (рис. 5б).

Рис. 5. Влияние апертуры объектива на заполняемость матрицы ФД:
а) f/4 — неиспользуемые пиксели;
б) f/2,8 — полное заполнение матрицы;
в) f/4 — наложение изображений

Для синтеза плоского изображения из файла данных СП необходимо проинтегрировать сигналы с участков фотодиодов под микролинзами (рис. 6а). При этом появляется новая (не деструктивная) возможность цифровой рефокусировки изображения в ОЭС, которая определяется выбором способа суммирования сигналов с участков фотодиодов под каждой микролинзой (рис. 6б).

Рис. 6. Формирование плоского изображения из файла светового поля

Регистрируемый файл светового поля позволяет также произвести некоторое смещение наблюдателя, что определяется выбором конкретных точек области фотодиодов внутри под микролинзами (рис. 7).

Рис. 7. Смещение наблюдателя в ЦК светового поля

Указанный принцип регистрации реализует высокую степень детализации при отображении различных параметров в объемных структурах поверхности трехмерных объектов, в том числе формы и дефектов поверхности одной камерой (рис. 3б) [3, 4], исключить влияние искажений, вносимых основным проектирующим объективом [5].

Массив микролинз и матрица ФД представляют собой упорядоченную гетеродинную оптическую структуру [6]. Оптическая проекционная модель цифровой камеры СП на основе массива микролинз (рис. 1) [7] принципиально отличается от проектирующей ОЭС. Математически она может быть достаточно точно описана на основе законов как геометрической [8], так и матричной оптики [9].

Все лучи из произвольной точки A (рис. 8а) проходят через основной объектив камеры СП (1) в точку своего изображения A’.

Рис. 8. Проекционная модель камер СП на основе микролинз:
a) ход лучей в оптической системе камеры СП;
б) микролинзовая оптическая схема аналогична камере обскура, где:
1 — основной объектив камеры СП;
2 — микролинзы;
3 — матрица фотодиодов (ФД)

Для каждой микролинзы (2) луч от изображения проходит через центры микролинз C и попадает на матрицу фотодиодов (ФД) (3) — A«. Массив микролинз (2) проецирует точку A на множество участков матрицы ФД (3). Связь между координатами (X_c, Y_c, Z_c) и изображением (X, Y, Z) описывается как

Проецируемое изображение (x, y) вычисляется продолжением линии, соединяющей точку изображения и центра микролинзы C, следующим образом:

Уравнение (3) упрощается путем вычитания из него проекционного микролинзового центра C (x_c, y_c):

Подставляя (1) в уравнение (4), получим:

где K₁ = 1/F–1/L и K₂ = L(L/l+1).

Проекционная модель (5) описывает принцип формирования изображения на матрице ФД в цифровой камере СП на основе микролинз и определяет основные свойства регистратора СП в зависимости от его геометрических и оптических параметров, размера и положения массива микролинз 2 (N_MLA), размера и разрешения  матрицы ФД (3) (NxM).

В настоящее время ряд фирм разрабатывает и серийно выпускает однокамерные регистратора СП с микролинзами: Raytrix GmbH [5] (Патент EP 2244484 A1; дата публикации: 27 октября 2010 года), Lytro Inc. [10](US 7936392 B2; дата публикации: 1 октября 2004 года, 3 мая 2011 года). Проектирование аналогичных принципов регистраторов СП в настоящее время ведут и многие другие известные фирмы, например SamsungElectronics Co., Ltd. (Патент US20140204183 A1; дата публикации: 24 июля 2014 года), Pixar (Патент US20110169994 A1; дата публикации: 14 июля 2011 года), Adobe Systems Inc., Sony Corporation и т. д.

Серия цифровых камер СП фирмы Raytrix [5] обеспечивают сочетание максимальной глубины резко изображаемого пространства (ГРИП) и высокое пространственное разрешение. Файл получаемого трехмерного изображения представляется послойным набором по глубине пространства плоских изображений. Для ряда моделей камер Raytrix в техническом описании приводится количество слоев 200 [11]. Для камер СП от компании Refocus Imaging (Lytro Inc.) приводится количество регистрируемых лучей, при этом имеется возможность программно (программа Lytro Desktop) формировать слои изображения на установленном расстоянии c заданной глубинной пространства [12].

Характеристики некоторых моделей выпускаемых этими фирмами цифровых камер  СП представлены в таблице.

При разработке регистраторов СП возникают трудности удовлетворения противоречивых конструктивных и оптических параметров, влияющих на характеристики получаемых 3D-файлов и 2D-изображений. Приведем для примера основные конструктивные и технические характеристик камеры СП Lytro (версия А6). Датчик CMOS: Aptina MT9F002 14,4 Мпикс с сенсором 1/2,3″ (эффективная площадь изображения: 6,14×4,6 мм, обрезанный до 3280×3280 пикс), размер пикселя 1,4 мкм; количество микролинз в массиве приблизительно 130 000 (фокусное расстояние 25 мкм, шаг 13,89 мкм). Отсюда видно, что разработчик вынужден использовать матрицу ФД малой площади с высокой плотностью ФД и малым размером пикселей. Конструктивные особенности регистратора СП Lytro (версия А6) представлены на рис. 9а.

Камера СП с апертурой основного объектива f/N, у которой под каждой микролинзой находятся P×Pпикселей, создает изображение по резкости камеры с апертурой объектива f/(N×P). То есть камера СП позволяет получить изображения с глубиной резкости f/N, сфокусированные в пределах ГРИП камеры с апертурой f/(N^.P). Для ЦК Lytro с постоянной апертурой объектива f/2 имеем f/(N×P)=f/14, то есть P=7(P×P = 49 пикс). Эти данные согласуются с расчетами по представленной проекционной модели (5). Малое число пикселей и их малый размер под микролинзами повышает технологические требования к изготовлению матриц фотодиодов.Конструкция регистратора СП Raytrix (R29/R47 Series) представлена на рис. 9б.

Рис. 9. Регистраторы СП на основе микролинз:
a) камера Lytro (версия А6);
б) камера Raytrix (R29/R47 Series)

Ввиду необходимости геометрической калибровки изображения [13] основным достоинством регистраторов СП является независимость получения изображения от ряда неконтролируемых параметров регистрации объектов, таких как фокусировка, радиальная и глубинная дисторсия. В то же время недостатки регистраторов СП связанны в первую очередь с их конструктивными параметрами и технологией производства. Трудно подобрать параметры оптической схемы, чтобы реализовать регистратор СП с сенсором большой площади. Это снижает его светочувствительность и дает более высокий уровень шумов. Микролинзы в массиве расположены неравномерно и несоосно, поэтому необходимо проводить калибровку алгоритма. Наблюдается и влияние виньетирования микролинз. Учитывая, что под каждой микролинзой порядка 50 пикс, калибровка может иметь большую погрешность. В матрице ФД могут присутствовать дефектные пиксели. Их заранее нужно определять статистически, так как они будут сильно влиять на карту глубины резкости. Для получения слоев изображения требуется большой объем вычислений, который производится в частотном домене [9] (4D-преобразование Фурье).

Поскольку камера фактически регистрирует не сетку точек пространства, а количество лучей — в технических характеристиках ЦК СП чаще всего указывается число регистрируемых лучей (мегалучей), что не соответствует размеру матрицы или размеру плоского получаемого изображения [14].

Рассмотри некоторые вопросы теории формирования регистрируемых лучей. Исходное изображение Im₀камеры СП образовано пучками отраженных от поверхностей лучей . Совокупность входящих в объектив лучей формируется путем взаимодействия освещающих пучков лучей () с поверхностями регистрируемых объектов сцены S (x, y, z):

где L1 = SL1(x,y,q,j) — совокупность всех отраженных от поверхностей объектов лучей света, входящих в оптическую систему регистратора СП.

Световое поле в пространстве представлено совокупностью распространяемых лучей и описывается функцией лучей в пятимерном пространстве L(x,y,z,q,f) (рис. 10а). Способ описания координат и направления распространения лучей L_i формируемого поверхностью объекта контроля СП  (рис. 10б), который применяется в регистраторах фирмы Lytro Inc. [5], заключается в задании координат пересечений луча в двух плоскостях (рис. 10в). Две плоскости регистратора СП — это задняя плоскость основного объектива (H) и плоскость матрицы фотодиодов (M_NxM). Координаты любого луча L_i (x, y) и направление его распространения (q,f) эквивалентно определяются заданием координатами пересечения луча в указанных плоскостях H (u, v) и M (s, t): .

Рис. 10. Модель описания светового поля:
a) в регистраторе СП;
б) координатно-угловое описание хода лучей;
в) координатное описание хода лучей

Оптическая система камеры СП (фокусное расстояние основного объектива — f_O’, апертурная диафрагма объектива — D_O, фокусное расстояние микролинз — f’_MLA) формирует поле освещенности в плоскости матрицы ФД (7), сигналы которых создают файл с информационной структурой 3D-изображения Im_3D (x, y, z)(Im_3D⸦Im₀). Как отмечалось ранее, файл трехмерного изображения можно представить в виде набора K плоских изображений:

где K = (z2–z1)/Dz’ — конструктивный набор изображений, определяемый числом регистрируемых лучей.

Световое поле в плоскости матричного фотоприемника (M) описывает интегральную энергетическую яркость точек регистрируемого ОЭС пространства, связанную с интенсивностью и направлений лучей из этих точек:

Информационное поле Im_2D  (x, y) выделенного слоя Im_3D задается настройками алгоритма конвертации  полученного СП в 2D-изображение (Im_2D[Â]⸦Im_3D). В нашем случае Im_2D формируется приложением производителя камеры LytroDesktop из информационного поля файла регистратора СП 3D (Im₁=Im_3D) на базе четырехмерного преобразования Фурье выборок сигналов с подлинзовых областей фотоприемников, регистрирующих векторы лучей [9, 16]:

где N = 4 — размерность пространства (преобразования), x — координаты вектора луча.

Полный алгоритм формирования двухмерных изображений (Â) определяется как преобразованием (9), так и рядом дополнительных функций, обусловливающих создание заданной гистограммы в каналах освещенностей с учетом избыточности разрядности АЦП по отношению к представляемому формату 2D-изображения. С другой стороны, информационное поле двухмерного полученного изображения Im_2D[Â] определяет энергетический слой удаленного на расстоянии z, отображаемого по заданной глубине ∆z пространства СП:

где Â — полный алгоритм преобразования исходного 3D-файла СП в 2D-изображение.

Для получения из исходного файла изображения ЦК Lytro Illum (Light Field RAW Format lfr и Light FieldXRAW Format lfх) имеются настройки параметров (чувствительность, экспозиция и т. д.) работы самой камеры (рис. 11а).

Приложение Lytro Desktop имеет большое число параметров интерактивной настройки алгоритма преобразования (рис. 11г): «Цвет» (баланс белого, градация, насыщенность); «Виртуальная камера» (диафрагма, карта ГРИП, Focus spread). Особенностью данной программы и ее интерфейса является возможность установки точки фокусировки, диафрагмы и ГРИП. В процессе настройки преобразования светового поля также можно в небольших пределах изменить масштаб ориентации исходного трехмерного образа регистрируемой сцены. На этом этапе необходимо сформировать оптимальную информационную структуру получаемого плоского изображения (jpg, tiff, png) для ее последующего применения в алгоритмах обработки изображения. Информационная структура изображения сцены формируется как на стадии установки параметров камеры при регистрации изображения, так и на стадии формирования выходного файла изображения в программе обработки, при создании плоского изображения.

Рис. 11. Настройки получения файла светового поля с ЦК Lytro Illum и конвертации в изображение в приложении Lytro Desktop:
а) параметры настройки ЦК;
б) исходная информация о файле светового поля;
в) гистограмма изображения;
г) параметры настройки преобразования файла светового поля

Процесс обработки файла СП подробно описан в работе Ren Ng [9]. Сначала происходит демозаик RAW-файла традиционными методами (рис. 12). Путем поворота и масштабирования файл СП преобразуется, чтобы микролизны попадали на целое число пикселей. После этого СП интегрируется с определенными параметрами, и на выходе получается набор изображений с разными расстояниями фокусировки. Далее результирующий файл заново упаковывается.

Рис. 12. Процесс обработки файла светового поля в изображение

У регистраторов фирмы Lytro есть один формат — .lfp, используемый и для RAW, и для веб-оптимизированных файлов. Файл .lfp представляет собой контейнер, разделенный на секции: метаданные о файле, который описывает секции файла и содержит их SHA-1-хеши; формат json с метаданными о кадре (только в RAW-файле), это показания со всех сенсоров на момент съемки в json; Private metadata — серийник камеры и матрицы в json; Raw sensor data (только в RAW-файле) представляет собой RAW-данные с матрицы; Depth lookup table (только в веб-оптимизированном файле) — карта глубины изображения; Prerendered λ = %lambda% (только в веб-оптимизированном файле) — показываемое изображение, когда выбирается фокусировка на каком-либо его участке (1–12 секций).

Для формирования отображаемого двухмерного образа изображения в формате jpg необходимо выполнить большой объем вычислительных операций, чей алгоритм реализуется в компьютерном приложении Lytro Desktop(рис. 11). Формируемый регистратором файл светового поля имеет большой размер, поэтому возникают трудности с его передачей в компьютерную систему [15, 16].

Сегодня проводятся активные разработки принципов действия регистраторов СП и их конструкций. Наряду с этим начинаются исследования возможностей их применения в различных областях. Некоторые материалы, посвященные вопросам создания и применения регистраторов СП, представлены в в библиографии [17].

Выводы

1. Цифровые камеры светового поля реализуют новый принцип регистрации и записи информации об изображении в базу данных о координатах и направлениях входящих в оптическую систему лучей света.
2. Для практического использования ЦК СП необходима калибровка изображений.
3. ЦК СП в полной мере используют информационные возможности матричных фотоприемников. Однако получаемый файл изображения СП имеет значительный размер, что затрудняет его передачу на вычислительное устройство, а также требует больших ресурсов для обработки.
4. Конструктивные противоречия не позволяют использовать матричные приемники большого размера, что на практике снижает светочувствительность и приводит к большему уровню шумов.

Степень реальной детализации плоских изображений объектов сравнима с детализацией изображений, полученных традиционными ЦК сфокусированного изображения.