Plug&Play технология для мультипроекторных дисплейных систем

В настоящее время большеформатные дисплеи высокого разрешения широко используются в различных приложениях: это визуализация результатов научных исследований, сфера развлечений, фотореалистичные панорамные экраны для коллективного просмотра, системы виртуальной реальности, тренажеры. Традиционный путь для реализации таких дисплеев — использование мультипроекторных систем, формирующих одно общее «бесшовное» изображение. Однако установка и настройка таких систем до недавнего времени требовали использования труда высококвалифицированных специалистов и огромной трудоемкости при ручной настройке. В последние годы был предложен ряд новых решений на базе технологии компьютерного зрения для автоматизации стыковки как геометрии, так и цветовой палитры составных изображений в мультипроекторных дисплейных системах. Была разработана архитектура Plug&Play с автоматической калибровкой проекторов за счет использования видеокамер и компьютерной коррекции проецируемых изображений. Новая технология позволяет до предела упростить процесс установки и полностью автоматизировать калибровку проекционного оборудования без вмешательства квалифицированного оператора.

Современные технологии предоставляют широкие возможности для создания систем визуализации, предназначенных для коллективного просмотра. Для построения экранов коллективного пользования применяются различные технологии, в том числе видеостены, светодиодные экраны, а также проекционные дисплейные системы. Модульный принцип позволяет создавать видеостены сколь угодно больших размеров в соответствии с приложением. Существуют видеостены площадью в десятки и даже сотни квадратных метров. Размеры видеостены всегда кратны размерам видеокубов, из которых собирается полиэкран. Недостатки технологии видеостен — заметный шов в изображении за счет рамки видеокубов и громоздкая конструкция, которая занимает большое пространство при монтаже. Достоинство — практически нет проблем при стыковке изображений видеокубов. Видеосигналы для системы видеокубов формирует специальный видеоконтроллер. Технология обработки видеосигнала и система передачи данных от контроллера к проекционным модулям позволяют достичь стабильности и совпадения соседних элементов изображения на границах смежных модулей с точностью до одного пикселя. Высокая однородность изображения по всей поверхности видеостены достигается путем тонкой подстройки цветовых оттенков по площади каждого модуля. Видеостены широко используются в тех областях, где необходим оперативный контроль непрерывно поступающей информации и где исключительно велика ответственность за принимаемые управленческие решения: в энергетике, на транспорте, телекоммуникациях, промышленности, в системах обеспечения безопасности, в управлении финансами. Высокая цена и громоздкость оборудования видеостен ограничивает сферу их применения.

Мультипроекторные дисплейные системы

Принцип формирования изображения большого размера, в частности, панорамного, с помощью согласованной системы, состоящей из множества проекторов, используют уже давно. Достаточно вспомнить многопроекторные панорамные кинозалы, которые появились много десятилетий назад. С появлением мультимедийных дисплейных проекторов расширилась сфера применения мультипроекторных систем. Обычно в мультипроекторных системах используется принцип передней проекции.

Как правило, проекционное оборудование таких систем монтируется на потолочных несущих фермах с помощью кронштейнов. Система подвеса проекторов может быть полностью моторизованной за счет использования поворотных платформ. При монтаже проекторов производится регулировка углов положения оптической оси объектива по вертикали и горизонтали, а также настройка зума и фокуса проектора. Но даже при точной подгонке краев изображение будет иметь характер скроенного из лоскутов, поскольку яркость и цветовая палитра различных проекторов отличается и также требует настройки и согласования. На больших площадях экрана будет очень сильно заметно даже небольшое рассогласование в смежных сегментах «сшиваемого» изображения по яркости и палитре цветов. Настройка и калибровка многопроекторной системы осуществляют в пошаговом режиме. При этом используют систему эталонных изображений. Процедуры настройки специалист производит вручную. Облегчение труда, безусловно, обеспечивает наличие системы дистанционного управления для регулировки углов поворота платформы проектора по горизонтали и вертикали, а также управление зумом и фокусом. Также с помощью пульта управления производится выбор тестовых изображений.

Архитектура мультипроекционных систем с автокалибровкой

В последние годы был предложен ряд компьютерных технологий с использованием видеокамер для того, чтобы облегчить процедуру настройки проекторов в многопроекторных дисплейных системах. Эти автоматизированные системы используют видеокамеры для калибровки дисплейной геометрии, деформации изображений и неоднородностей яркости, что необходимо для бесшовной стыковки мозаичной структуры изображений от нескольких проекторов. Изображение с камеры оцифровывается и подается на видеопроцессор. Видеопроцессор производит сравнение цифрового образа исходного изображения и полученного с цифровой камеры. Оцениваются границы поля, яркость, цветовая палитра. Обработка производится в буферной памяти видеопроцессора. По результату сравнения осуществляется коррекции изображения. С одной стороны коррекция проводится в самом видеопроцессоре, а с другой — с регулировкой параметров самого видеопроектора. Видеопроцессор обеспечивает аффинные преобразования изображения, смещение рамки, масштабирование, сжатие и растяжение изображения, а также вычисление корректирующей матрицы для яркости.

Известно, что наибольшие искажения в проецируемом изображении можно наблюдать на периферии. Для уменьшения этого эффекта поля изображений всех проекторов проецируются с нахлестом (overlapping). Смещение рабочего поля в кадре ликвидирует нахлест изображения. Для маскирования границ стыковки изображений используется специальная обработка, которая обеспечивает плавную и незаметную «склейку» изображений. Также корректируются и неоднородность поля изображения от каждого проектора по яркости. Неоднородность яркости и цвета происходит по двум причинам. Во-первых, вследствие того, что присутствуют наложения изображений от смежных проекторов. Но даже при точном совмещении изображений, на стыках возникает усиление по яркости (hot-spot). Во-вторых, вследствие использования оптики, в центральной части изображения яркость на 30–40% больше, чем по краям.

Централизованная и распределенная архитектура мультипроекционной системы

Существуют две архитектуры мультипроекционных систем с визуальной обратной связью для автокалибровки, в которых используются различные принципы распределения видеоинформации и управления процессом калибровки.

В структуре, показанной на рис. 2, реализована централизованная система распределения видеоинформации и управление калибровкой.

Централизованная система использует архитектуру master-slave, где камера (камеры) и проекторы соединены с единственным сервером, который и выполняет процедуру калибровки. Для визуальной обратной связи применяется всего одна видеокамера. Исходная видеоинформация поступает на видеосервер, который через локальную сеть связан с компьютерами-клиентами, управляющими проекторами. Каждый клиент получает от сервера только свой фрагмент видеоинформации. Информация от видеокамеры анализируется видеопроцессором сервера. В соответствии с программным обеспечением, заложенным в сервере, производится пошаговая калибровка каждого проектора (клиента сети) и коррекция клиентских изображений.

В распределенной системе (рис. 3) нет центрального сервера, и каждый клиент сети получает от источника видеоинформации всю картинку целиком.

Все клиенты абсолютно равноправны в сети. В качестве среды для передачи используется одно- или 10-гигабитный Ethernet. Для каждого клиента используются локальные видеокамеры обратной связи. После включения питания производится автоконфигурирование — на основе анализа своего изображения и изображения соседей каждый клиент определяет положение своего фрагмента изображения в общей картинке, то есть производит идентификацию собственного положения в двумерном массиве составного экрана. Для выполнения конфигурации и калибровки используется система тестовых изображений. Они генерируются автономно каждым клиентом. Разработанное программное обеспечение позволяет осуществлять независимую настройку каждого проектора без вмешательства оператора. Процедура автокалибровки запускается для каждого клиента. Для всех клиентов используется одна и та же программа. На рис. 4 показан процесс смены изображений на составном экране в процессе автокалибровки проекторной системы.

С помощью мультипроекторной системы можно осуществлять масштабирование изображений вплоть до форматов 10 000 × 10 000 пикселей. Изображение может формироваться десятками, сотнями и даже тысячами проекторов.

Проекторы становятся дешевле, легче именьше. Современный проектор высокого разрешения и яркости помещается на ладони руки.

В настоящее время цена компонентов, необходимых для построения мультипроекторной системы, относительно небольшая: портативный проектор (рис. 5) можно приобрести менее чем за $1000. Видеокамера среднего качества c оптикой стоит не более $600. Компьютер не требует специального оборудования. Стандартная конфигурация имеет достаточные вычислительные мощности и функциональные возможности для аппаратной поддержки различных операций обработки изображений. Реально можно построить систему из 10–20 проекторов за приемлемую цену и получить достаточно высокое качество изображения.

Новая технология автокалибровки мультипроекторных дисплеев обеспечивает огромный потенциал для создания составных дисплеев без необходимости сложных процедур установки, конфигурирования и калибровки системы. Кроме того, новая технология обеспечивает и ряд дополнительных полезных функций, которые ранее не были достижимы в мультипроекционных системах.

Проекция изображений на криволинейные поверхности экранов

Традиционно в качестве экрана для проекционных систем использовались исключительно плоские поверхности. Новая технология с обратной визуальной связью и компьютерной коррекцией изображения позволяет выйти за рамки этого ограничения и использовать в качестве экранов поверхности практически любой формы (рис. 6). Компьютерная видеообработка позволяет обеспечивать различные аффинные преобразования изображения: сдвиг, пропорциональное масштабирование, выделение рамки, изменение размеров рамки кадра. В том числе и нелинейные преобразования координат изображениярастяжение и сжатие изображения с тем расчетом, чтобы на криволинейной поверхности экрана можно было восстановить реальное изображение без искажений.

Реализация функции горячего резервирования

Архитектура мультипроекторной системы должна обеспечивать высокую надежность. Слабым звеном в проекторах является лампа сверхвысокого давления. Ресурс лампы составляет всего несколько сот часов. В новой технологии заложен потенциальный ресурс для горячего резервирования вышедшего из строя проектора. «Выбитый» фрагмент изображения будет немедленно on-fly автоматически замещен за счет модификации зон изображений соседних проекторов! С помощью своих камер (или общей камеры в централизованной архитектуре) соседи «погибшего» проектора обнаружат факт пропадания фрагмента изображения. Далее будет запущена программа изменения настроек для смежных проекторных узлов. За счет зума будут расширены окна проецируемых изображений соседних проекторов, так, чтобы полностью перекрыть сектор изображения выбывшего из строя проектора. Затем будут скорректированы границы окон и карты битовых полей изображений, а также яркость и цветовая палитра. При резервировании, естественно, будет немного потеряно разрешение на полях изображений проекторов, участвующих в операции резервирования. Но это будет практически незаметно, а с другой стороны, значительно лучше «черного квадрата» на фоне остального изображения. Вся операция перехода в режим резервирования выполняется без участия оператора или центральной системы мониторинга. По сути, каждая узловая проекционная система будет решать общую задачу независимо друг от друга. Наличие связи между компьютерами проекторов через компьютерную сеть обеспечит их согласованное действие.

Динамическая компенсация теней наблюдателей

Традиционные системы передней проекции имеют существенный недостаток — при нахождении наблюдателя непосредственно в зоне проецируемого изображения неизбежно возникновение теней на экране от фигуры наблюдателя. Модифицированная функция резервирования (горячего резерва on-fly) может использоваться и для компенсации изображения на теневых участках экрана. Но даже при точном совмещении изображений, на стыках возникает усиление по яркости (hot-spot) (рис. 7).

Каждый проектор «реставрирует» теневой участок изображения смежного проектора (рис. 8).

Увеличение разрешения или яркости

Мультипроекторная технология позволяет также увеличивать разрешение изображения и его яркость за счет наложения двух изображений от двух проекторов со смещением. Достаточно выполнить точное смещение одного изображения внутри другого, как показано на рис. 9.

Технология EasyBlend™ компании Scalable Display Technologies, Inc.

Одной из первых компаний, разработавших коммерческий вариант мультипроекторной системы с автокалибровкой, является американская компания Scalable Display Technologies, Inc. (SDT). Технология мультипроекторной бесшовной стыковки изображений была разработана сотрудниками Массачусетского Технологического Института (MIT). Для коммерческого освоения разработанной технологии сотрудники MIT в 2004 году создали компанию Scalable Display Techno-logies, Inc. В технологии SDT применялась недорогая и простая в реализации централизованная архитектура (рис. 10). В качестве аппаратных средств системы были использованы недорогие проекторы и одна веб-камера.

Для поддержки автокалибровки мультипроекторной централизованной системы было разработано программное обеспечение EasyBlend™ (http://www.scalabledisplay.com/scalable_l2_apps_multi.html).

В системе могут быть использованы любые проекционные системы — LCD, LCOS, DLP и т. д. Программное обеспечение поддерживает работу до четырех проекторов. Если необходимо большее число проекторов — нужны дополнительные компьютерные мощности. Для автокалибровки четырех проекторов применяется всего одна видеокамера. Компьютер с установленным программным обеспечением управляет калибровкой проекторов (сопряжение краев изображения, баланс цветов и яркости), используя обратную связь через камеру. При этом экран может иметь поверхность любой криволинейной формы — программное обеспечение позволяет скорректировать видеоинформацию таким образом, чтобы сохранить неизменными пропорции исходного изображения.

В качестве видеосервера может служить один готовый высокопроизводительный PC с готовой графической картой. Коммерческий вариант мультипроекторной системы Scalable Display Technologies использовался для демонстрации большеформатных фотореалистичных изображений в новом музее современного искусства в Нью-Йорке: 4-проекторная система обеспечивает формат 5000 × 1000 пикселей и размер изображения 12 × 2,4 м. В настоящее время система «путешествует» по всему миру и демонстрирует возможности технологии. После установки всего оборудования требуется всего около трех минут для того, чтобы провести калибровку изображений. Автоматически вычисляются геометрические размеры и рамки экранов, баланс цветов и выравнивание для всех проекторов. Систему легко устанавливается. ПО EasyBlend позволяет минимизировать время восстановления при сбоях и нарушениях.

Достоинства мультипроекторной системы Scalable Display Technologies:

• возможность применения любых проекторов;
• используется недорогой стандартный ПК и веб-камера;
• легкая установка и калибровка системы;
• малая цена готовой системы;
• доступность.

Пример реализации мультипроекционной системы

Мультипроекторные технологии с обратной визуальной связью могут быть использованы и для создания настольных панорамных дисплеев. На рис. 11 показан проекционный диспетчерский монитор, в состав которого входят три проектора.

Ранее такой дисплей мог быть создан только на базе трех или четырех составных ЖК-панелей. Однако при этом был бы заметен шов между фрагментами изображений. В настоящее время применяют и технологию бесшовной стыковки изображений нескольких ЖК-панелей, но при этом используется дополнительная оптическая система.

Дисплеи для формирования сцен виртуальной реальности

Виртуальная реальность — это один из секторов для наиболее эффективного использования мультипроекторных систем. Многопроекторная система может обеспечить формирование стерескопического трехмерного изображения с реальными размерами. На рис. 12 показана топология мультипроекционной системы, разработанной специалистами исследовательского центра Hitachi для формирования сцен виртуальной реальности.

Система состоит из 24 проекторов, которые обеспечивают формирование бесшовного стереоскопического изображения на полусферической поверхности (рис. 13).

Видеоизображение для проекторов обеспечивают 24 отдельных ПК, которые связаны между собой через 2-гигабитный канал. UDP-механизм осуществляет синхронизацию каждого фрейма видеоизображений. Механизм UDP (User Datagram Protocol — протокол пользовательских датаграмм) — это транспортный протокол для передачи данных в сетях IP. Видеовыход каждого ПК не подключен непосредственно к проектору, а поступает сначала на вход видеопроцессора, который обеспечивает фильтрацию геометрических искажений и коррекцию цветовой палитры.

Мультипроекторная система C6 в Университете штата Айова

Мультипроекторная система С6, установленная в университете штата Айова, в центре VRAC (Virtual Reality Applications Centre — «Центр применений виртуальной реальности») создает полное погружение в искусственную среду. Комната с размерами 3 × 3 × 3 м обеспечивает визуальное представление результатов научных исследований в разнообразных академических дисциплинах, от молекулярной биологии и техники до визуализации статистических данных. Четыре стены плюс потолок и пол освещаются снаружи 24 проекторами. На каждую поверхность куба проецируется изображение с разрешением 16 млн пикселей. Общее разрешение объемного изображения, формируемого 24 проекторами, достигает 96 млн пикселей.

Компактная купольная мультипроекторная система DOME

Дисплейная система состоит из куполооборазного экрана, который подсвечивается снизу кластером проекторов на подвижной стойке. Каждый проектор соединяется со своим персональным компьютером, который и обеспечивает формирование части изображения. Все компьютеры объединены в сеть через стандартный гигабитный Ethernet. На платформе монтирована камера с механическим приводом pan-tilt, обеспечивающим возможность управления наклоном и поворотом. Наблюдатели находятся с внешней стороны купольного экрана (рис. 14). Камера обеспечивает автоматическую калибровку мультипроекторной системы и бесшовную стыковку изображения.

Компания Audi использует мультипроекционную систему виртуальной реальности для снижения затрат и существенного сокращения цикла разработки новых моделей в своей штаб-квартире в Ингольштадте, Бавария. Проекторы отображают визуальные модели, созданные на высокопроизводительных компьютерных рабочих станциях. Высокое разрешение и контраст, которые обеспечивает система, позволяют инженерам видеть все поверхности автомобиля с величайшей точностью. Цвета виртуальной модели соответствуют окраске реального автомобиля.

Области применения мультипроекторных дисплеев:

• симуляторы и тренажеры;
• виртуальные музеи;
• сценическое оборудование;
• оформление конференц-залов;
• стадионы, площадки, аттракционы, системы обучения, игровые симуляторы;
• рекламные панно;
• праздничное оформление зданий;
• кинематография.

Заключение

Новая технология мультипроекторных дисплеев имеет огромный потенциал для различных секторов применения. Легкий монтаж и установка, малая цена, масштабируемость, доступность — безусловные преимущества технологии. Большинство существующих сегодня систем виртуальной реальности имеют достаточно специфическое назначение и используются в таких областях, где цена и доступность не являются основными факторами. Технология виртуальной реальности как способа представления информации сегодня востребована во многих областях, но высокая цена существующих систем сдерживает их широкое распространение. С помощью недорогих мультипроекторных систем можно расширить сферу применения технологии виртуальной реальности, сделав ее более доступной.

Литература

1. Brown M., Majumder A., Yang R. Camera-Based Calibration Techniques for Seamless Multi-Projector Displays. IEEE Transactions on Visualization and Computer Graphics, vol. X, No. X.
2. Bhasker E. S., Majumder A. Self-Calibrating Tiled Displays. Dept. of Computer Science, Univ. of California, Irvine, California, USA 92697. Digest SID’07.
3. Yamasaki M., Minakawa T., Takeda H., Hasegawa S., Sato M. Technology for Seamless Multi-Projection onto a Hybrid Screen Composed of Differently Shaped Surface Elements.
4. Yuqun Chen, Clark D. W., Finkelstein A., Housel T. C., Kai Li. Automatic Alignment Of High-Resolution Multi-Projector Displays Using An Un-Calibrated Camera. Princeton University.
5. Jeroen van Baar, Will T., Srinivas W., Raskar R. R. Seamless Multi-Projector Display on Curved Screens. TR-2003-77. June 2003. A Mitsubishi Electric Research Laboratory. http://www.merl.com
6. Sukthankar R., Tat-Jen Cham, Sukthankar G. Dynamic Shadow Elimination for Multi-Projector Displays.
7. Webb S., Jaynes S. E a s y B l e n d™ Automatic Digital Image Calibration Technology and Applications The DOME: A Portable Multi-Projector Visualization System for Digital Artifacts.