Kodak улучшает чувствительность цветных ПЗС-матриц

№ 9’2010
Современный рынок систем регистрации и обработки изображения предъявляет очень жесткие требования к качеству картинки при различных условиях эксплуатации (широкий динамический диапазон, низкий уровень освещения, внешние помехи и т. д.). Особенно следует подчеркнуть такие ответственные области применения, как машинное зрение, промышленные системы контроля качества, охранная аппаратура, а также интеллектуальные комплексы отслеживания состояния на дорогах общего пользования, для которых необходимы высокая частота кадров, большое разрешение, считывание накопленной матрицей информации за один такт (Global Shutter) и низкий уровень шумов.

Как известно, «глазами» любой аппаратуры регистрации и обработки изображения является КМОП или ПЗС
датчик (он же сенсор и матрица). В статье
пойдет речь о новой технологии компании
Kodak, применяемой в приборах с зарядовой
связью последнего поколения, выполненных по схеме строчно-кадрового переноса
[3] (ITCCD). Именно светочувствительные
матрицы подобного типа максимально соответствуют всем перечисленным выше требованиям.

Как известно, сейчас современные технологии устаревают по истечении небольшого
промежутка времени. Поэтому даже несмотря на все преимущества ПЗС ITCCD, сферы его применения предъявляют с каждым
годом все новые и новые требования к качеству получаемой картинки; к примеру, регистрация цветного изображения в условиях
с малым уровнем освещенности. В настоящее время стандартным подходом настройки чувствительности при разных условиях
эксплуатации является подбор правильных
значений времени экспозиции, аналогового
и цифрового коэффициентов усиления.

Большинство современных цветных сенсоров обладают матрицей Bayer с расположенными непосредственно над пикселями
в определенном порядке фильтрами красного, зеленого и синего цветов. Впервые
эта технология была освоена ученым компании Kodak Брюсом Байером в 1976 году.
Благодаря этому изобретению половина всех
пикселей сенсора поглощает только зеленый
свет, а другая половина поровну разделена
на пиксели, поглощающие красный и синий участки спектра. Проникая вглубь полупроводника, свет генерирует электроннодырочные пары, которые впоследствии
разделяются в пространстве посредством
электрических полей. Заряд, состоящий
из электронов, собранных в одной потенциальной яме, преобразуется в соответствующий ему сигнал на выходе датчика изображения. Обрабатывая электроникой миллионы таких зарядов, равных числу пикселей,
в итоге мы получаем цветную картинку.
Описанный выше принцип работы является
стандартным для всех ПЗС-матриц, производимых в настоящее время.

В 2007 году компания Kodak анонсировала
новую конструкцию цветных фильтров, названную Truesense, основная цель которой —
увеличить фотометрическую чувствительность прибора. Эта технология представляет
собой развитие стандартной матрицы Bayer
с добавлением в нее дополнительных панхроматических пикселей.

Сам термин «панхроматический» изначально был известен благодаря технологии
производства черно-белых пленок, чувствительных во всем диапазоне видимого спектра. Фотографии, запечатленные на пленках
данного типа, отличаются своей реалистичностью. Известно, что основу обычных
фоточувствительных пленок составляет
эмульсия галоидного серебра, способная хорошо поглощать световой поток УФ-диапазона. Немецкий химик Герман Вегель разработал технологию уширения спектрального
поглощения в сторону зеленого и красного
спектров за счет добавки светочувствительной краски в эмульсию. В результате в сентябре 1913 года компания Kodak представила
публике широкий ассортимент панхроматических пленок, на которые можно было запечатлеть как динамически изменяющиеся
объекты, так и сцены в условиях пониженного освещения.

В настоящее время широкое распространение получили панхроматические камеры,
собирающие весь отраженный свет от поверхности тела в широком спектральном диапазоне и преобразующие его в конечном счете
в черно-белое изображение. Такой способ важен прежде всего в аэрофотосъемке и зондировании Земли с космоса. В последнем случае
особенностью является большое пространственное разрешение. В свою очередь чернобелые изображения, сделанные панхроматической камерой с борта геологоразведывательного самолета, далее обычно преобразуются
в стереоскопические (используя метод наложения, получаем трехмерное изображение).

Основываясь на большом опыте производства пленок и фоточувствительных матриц,
а также понимая современные тенденции
развития рынка, компания Kodak скомпоновала в одном приборе как обычную цветную
ПЗС-матрицу, так и технологию с применением панхроматических материалов.

Рис. 1. а) Матрица Bayer; б) фильтр Truesense

Рассмотрим более подробно стандартную
матрицу Bayer. Фильтрующий элемент, расположенный над каждым пикселем, выделяет из общего светового потока зеленый,
красный либо синий цвета (рис. 1a). Как
было сказано выше основным цветом является зеленый, как наиболее воспринимаемый
человеческим зрением и предоставляющий
50% всей информации картины. Этот канал
цвета — основа для восстановления конечного изображения, так как он обеспечивает
пространственную составляющую сцены,
на которую накладываются оставшиеся два
цвета. Так как зеленые, синие и красные пиксели разбросаны по всей матрице в определенном порядке, то для создания трех шаблонов наложения используется алгоритм,
называемый demosaicking (в дословном переводе — «разрушение структуры мозаики»).
В настоящее время существует большое количество различных методов по восстановлению цветного изображения.

Теперь рассмотрим конструкцию фильтра
Truesense компании Kodak, использующую
в отличие от обычной матрицы Bayer красную, зеленую, синюю и панхроматическую составляющие (рис. 1б). Как было сказано ранее,
RGB-фильтр, являясь преградой для большей
части спектра, выбирает из него только узкие
участки. Тем самым огромная составляющая
полезного (с точки зрения информации) светового потока теряется, а мы получаем исключительно цветовую характеристику изображения. Панхроматические пиксели в свою
очередь поглощают весь падающий на них
свет, регистрируя распределение яркостной
составляющей сцены. Следует отметить, что
расположение панхроматических пикселей
в фильтре Truesense такое же, как зеленых
пикселей в матрице Bayer. Поэтому они также
представляют собой базис для формирования
конечного изображения.

Алгоритм обработки цветного изображения, запечатленного через фильтр Truesense,
такой же, как и для ПЗС с обычной матрицей
Bayer. В обоих случаях яркостная информация
финальной сцены сгенерирована половиной
пикселей (панхроматических в Truesense и зеленых — в RGB), в то время как информацию
о цвете несут все RGB-пиксели матрицы (соответственно, половина всех пикселей в Kodak
Truesense и все пиксели в матрице Bayer). В отличие от обычных фильтров Bayer, матрицы,
оборудованные панхроматическим каналом,
обладают дополнительными возможностями по улучшению визуального восприятия
сцены. Упрощенная схема обработки изображения с использованием фильтра Truesense
представлена на рис. 2.

Рис. 2. Порядок обработки изображения для матрицы Truesense

Далее будет проведен сравнительный анализ двух одинаковых по конструкции, но разных по типам фильтров сенсоров KAI-02150
(таблица): один снабжен стандартным фильтром Bayer, другой — Truesense. Оба прибора
обладают разрешением 1920×1080 пикселей,
оптическим форматом 2/3 дюйма и соотношением сторон 16:9. Испытуемые образцы
KAI-02150 выполнены по схеме строчнокадрового переноса и способны обеспечить
на выходе частоту 60 кадров/с.

Таблица. Основные технические характеристики
матриц KAI-02150

Параметр Значение
Архитектура Строчно-кадровый перенос;
прогрессивное считывание
Размер пикселя 5,5×5,5 мкм2
Число выходов 1, 2 или 4
Емкость потенциальной ямы 20 000 электронов
Квантовая эффективность (500 нм) 50%
Квантовая эффективность
R (620 нм), G (540 нм), B (470 нм)
31%, 42%, 43%
Шум при чтении (f = 40 МГц) Среднеквадратическая ошибка —
12 электронов
Темновой ток Фотодиод: 7 электронов/с
Вертикальный регистр:
70 электронов/с
Температура, удваивающая
значение темнового тока
Фотодиод: 7 °С
Вертикальный регистр: 9 °С
Динамический диапазон 64 дБ
Эффективность переноса заряда 0,999999
Подавление засветки 300-кратное
Максимальная частота тактирования 40 МГц
Максимальная частота чтения 40 Мп/с (один выход)
80 Мп/с (двойной выход)
120 Мп/с (счетверенный выход)

Квантовая эффективность является стандартной мерой определения спектральной
чувствительности ПЗС-матрицы и предоставляет информацию о том, как реагирует прибор при поглощении светового потока разной
длины волны. Этот параметр определяет соотношение сгенерированных электронов к общему числу падающих фотонов за все время
накопления. Для сравнения на рис. 3 представлены кривые квантовой эффективности ПЗС-матрицы KAI-02150 в монохромном варианте,
а также с фильтрами Bayer и Truesense.

Рис. 3. Сравнение квантовой эффективности

Для более наглядного представления
о преимуществах новой технологии компании Kodak следует взглянуть на фотографии,
представленные на рис. 4. На камере слева
установлена матрица KAI-02150 с фильтром
Bayer, а справа — та же камера, но на базе ПЗС
с фильтром Truesense. Все остальные параметры, такие как апертура объектива, фокусное
расстояние, аналоговый коэффициент усиления камер и т. д., идентичны. Следовательно,
поместив обе камеры в одинаковые условия,
мы можем оценить только параметры сравниваемых фильтров. Хорошая яркость изображения, которую мы наблюдаем на фотографии справа, является прямым следствием
улучшенной чувствительности сенсора, выполненного на основе Truesense.

Рис. 4. Сравнение двух фильтров: а) Bayer; б) Truesense

Теперь рассмотрим цветошумовые характеристики обеих ПЗС-матриц согласно
международному стандарту ISO 12232:2006
[4], нормирующему способы определения
аналога светочувствительности ISO для конкретного типа приборов.

Рис. 5. Характеристики цвета: а) ISO 2300; б) ISO 12800

На рис. 5а представлены две секции цветовых табло, запечатленные матрицами
KAI-02150 c фильтрами Bayer и Truesense с одинаковым уровнем яркости. Настройки оптики
не менялись, в то время как цифровой и аналоговый коэффициенты усиления настраивались так, чтобы добиться уравнивания времени накопления. В итоге обе фотографии были
сделаны оборудованием, более или менее соответствующим параметрам чувствительности ISO 2300. Визуальное сравнение двух цветовых табло в свою очередь показывает, что при
необходимом увеличении VGA-коэффициента
усиления до 33,8 дБ в ПЗС с матрицей Bayer появляется дополнительный шум.

На рис. 5б продемонстрированы аналогичные цветовые табло, но соответствующие чувствительности ISO 12800. Значение
аналогового коэффициента усиления обеих
камер равнялось 36 дБ, а цифровой коэффициент усиления выбирался таким, чтобы
уравнять общую яркость на выходе обеих
камер. В итоге для достижения одинакового
вида обеих половинок цифровой коэффициент в матрице с фильтром Bayer должен быть
выше, чем в матрице с фильтром Truesense,
что приводит также к усилению и шумовой
составляющей.

Теперь несколько слов о пространственном разрешении. Как известно, для этих
целей используют испытательную таблицу, некоторые миры которой были взяты
для сравнения фильтров Bayer и Truesense.
При вертикальном разрешении картинки
в 1080 пикселей количество черных и белых
пар линий составляет 540 штук.

Рис. 6. Пространственное разрешение: а) необработанных данных; б) обработанных данных

Для начала сравним качество необработанных данных (RAW-data). Если всмотреться в миры, представленные на рис. 6а,
то можно отметить одинаковую пространственную частоту обоих типов KAI-02150.
Необработанные данные панхроматических
пикселей фильтра Truesense и зеленых пикселей фильтра Bayer демонстрируют идентичное собственное разрешение, а вместе с тем
эквивалентный в обоих случаях эффект наложения.

При внедрении алгоритмов обработки
цвета (без учета программного уменьшения
шума) полученных изображений, сделанных
через фильтры Bayer и Truesense (рис. 6), может наблюдаться эффект наложения частот.
Можно заметить, что матрицы с фильтром
Bayer имеют бóльшую разрешающую способность, чем фильтр Truesense. Это объясняется преимуществом в интерполяции
«красного» и «синего» шаблонов, а также
в правильном добавлении недостающих
данных в полученную информацию зеленого канала. При далеком расположении друг
от друга в комбинации пикселей красного,
синего и зеленого цветов невозможно точно
угадать, какая информация была пропущена
в панхроматических ячейках ПЗС-матрицы.

Рис. 7. Сравнение таблиц цветового шума в: a) ПЗС-матрице с фильтром Bayer; б) ПЗС-матрице с фильтром Truesense; в) ПЗС-матрице с фильтром Truesense и программной обработкой

Цветовые искажения при съемке штрихов являются общей проблемой для любого типа светочувствительных матриц.
На рис. 7 представлены результаты тестирования фильтров, на которых присутствуют
цветовые муары, образованные в обоих случаях по разным причинам. Вследствие того,
что пространственное разрешение матрицы
Bayer выше, чем у фильтра Truesense, цветовой муар преимущественно проявляется
на высоких пространственных частотах объекта, в то время как в фильтрах Truesense —
на низких. Следует заметить, что на высоких частотах (зоны 9, 10 на рис 7а, б) фильтр
Bayer показывает более выраженные цветные
искажения, в то время как Truesense выдает
одинаковый уровень нейтральных искажений во всех областях частот. Это происходит
потому, что выходной сигнал сформирован
исключительно цветовой информацией,
в то время как Truesense использует и данные
с монохромного канала. Если приложить алгоритмы обработки шума фильтра Truesense,
то можно добиться очень хороших результатов в качестве изображения.

Рис. 8. Сравнение двух фильтров при уровне освещенности в 3 лк (ISO 204800) с обработкой всех каналов

На рис. 8 продемонстрированы цветные
фотографии, сделанные в условиях с малым
уровнем освещенности. Меньшее значение
шума на картинке справа является прямым
следствием улучшенной чувствительности
матрицы KAI-02150 c фильтром Truesense,
что делает картинку приемлемой для визуального восприятия в отличие от фотографии на рис. 8а.

Рис. 9. Характеристики при уровне освещенности в 3 лк (ISO 204800) с интерполяцией:
а) зеленого канала; б) панхроматического канала

На рис. 9 представлены два фотоснимка,
сделанные с использованием только интерполяции зеленого (рис. 9а) и панхроматического (рис. 9б) каналов матриц с фильтрами
Bayer и Truesense соответственно. При проведении экспериментов алгоритмы интерполяции были идентичными, в то время как
значение цифрового коэффициента усиления зеленого канала выбиралось таким, чтобы яркость изображения стала идентичной
изображению справа. Полученные при этом
черно-белые фотографии демонстрируют
отличия в области пространственных частот
между ПЗС-матрицами с фильтрами Bayer
и Truesense. Это также доказывает тот факт,
что в условиях с малым уровнем освещенности необязательно собирать максимально
возможную информацию о цветности, чтобы распознать объекты и детали сцены.

Как мы неоднократно утверждали ранее,
зеленый канал матрицы Bayer обеспечивает такое же пространственное разрешение,
как и панхроматический канал фильтра
Truesense, что дает нам повод рассуждать
об эффективности использования обоих вариантов для достижения одной цели.

В настоящий момент семейство Truesense
включает в себя 1-Мп, 2-Мп, 4-Мп и 8-Мп
ПЗС-матрицы со строчно-кадровым переносом: KAI-01050, KAI-02150, KAI-04050
и KAI-08050 соответственно. Также следует отметить, что ко всей этой серии предусмотрен набор разработчика, который значительно сокращает сроки производства готового прибора.

Литература

  1. DiBella J., Andreghetti M., Enge A., Chen W.,
    Stanka T., Kaser R. Improved sensitivity highdefinition
    interline CCD using the Kodak Truesense
    Color Filter Pattern. 2010.
  2. KAI-02150 performance specification Rev 3.0 MTD/
    PS-1066. March 29, 2010.
  3. Пресс Ф. П. Фоточувствительные приборы с зарядовой связью. М.: Радио и Связь, 1991.
  4. www.iso.org
  5. www.nevael.ru

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *