Исследование и разработка общедоступных крупномасштабных систем виртуального окружения для научных и образовательных целей

Никитина Л.Д.

Фраунгоферовский Институт Медиакоммуникаций, Санкт Августин, Германия

lialia.nikitina@imk.frauhofer.de

Аннотация. Виртуальные окружения - одна из наиболее перспективных областей компьютерной графики, которая стала особенно актуальной в современных условиях быстрого роста производимой человеком информации. В настоящее время в мире существует более 100 крупномасштабных установок виртуальной реальности, которые используются в самых различных областях науки и техники, решая задачи как фундаментальных научных дисциплин, так и в узко специализированных прикладных направлениях. В данной работе обсуждается возможность использования широкодоступных установок виртуального окружения в научных и образовательных целях. Автор представляет существующие крупномасштабные проекционные системы, акцентируя внимание на доступности их компонент, описывает программную среду, необходимую для создания виртуальных окружений, а также ряд разработанных в настоящее время программных комплексов, использующих виртуальные окружения в различных прикладных областях.

1 Введение.

Многопользовательские, ориентированные на большие аудитории виртуальные окружения создаются на основе крупномасштабных проекционных систем. Это отличает их от установок индивидуального пользования, таких как виртуальные шлемы . В настоящее время разработаны три основных типа проекционных систем. CRT-проекторы используют три электронно-лучевые трубки, производящие красную, синюю и зеленую компоненты изображения, сведенные вместе и сфокусированные на экране. LCD-проекторы имеют три жидкокристаллических панели и яркий источник, свет которого разделяется на красную, синюю и зеленую компоненты, пропускается через соответствующие панели, затем вновь объединяется и проецируется на экран. DLP-проекторы используют специальную плату, состоящую из множества микроскопических зеркал, каждое

из которых имеет два положения: отражающее свет в линзу с дальнейшим попаданием на экран, и отклоняющее его от линзы. Зеркала могут переключаться в течении микросекунд (десятки тысяч раз за кадр), что позволяет модулировать сигнал для получения непрерывных переходов яркости для каждого пикселя. Переключение цветовых компонент обычно производится с помощью быстро вращающегося колеса с тремя светофильтрами.

Стереоскопические проекционные системы основаны на раздельной передаче изображений для левого и правого глаза, вследствие чего пользователь наблюдает стереоскопический эффект. Имеются два способа передачи стерео-изображения.

Активная, или последовательная схема использует поочередную проекцию изображения для левого и правого глаза на экран и специальные жидкокристаллические (шаттр) очки с поочередно затемняющимися стеклами, синхронизованными с изображением с помощью инфракрасного излучателя. Таким образом, каждый глаз получает предназначенное для него изображение. В данной схеме необходимо использовать проекторы с большой частотой вертикальной развертки, обычно 120 Гц (60 кадров в секунду для каждого глаза).

В пассивной схеме разделение изображений обычно производится с помощью поляризации света. Используются два проектора, снабженные поляризационными фильтрами, ориентированными ортогонально друг относительно друга. Оба изображения одновременно проецируются на экран из специального материала, обладающего минимальной степенью деполяризации. Материалы разного типа используются для прямой проекции, при которой зрители и проекторы находятся по одну сторону экрана, и обратной проекции, при которой они находятся по разные стороны. Используются очки (широко применяемые в стерео-кинотеатрах) с поляризационными фильтрами, ориентированными параллельно соответствующим фильтрам проекторов, вследствие чего каждый глаз получает предназначен-

ное для него изображение. Пассивные стерео-системы обычно устанавливаются для больших аудиторий, т.к. пассивные стерео-очки просты в изготовлении и легко доступны.

Основной проблемой стерео-проекционных систем являются побочные изображения, известные также как тени или духи . Эта проблема существует как для активных, так и для пассивных систем, но причины ее возникновения для каждого типа - разные. Для активных стерео-проекционных систем, обычно использующих CRT-проекторы, причина состоит в большом времени послесвечения зеленого люминофора, изготовленного на основе сульфида цинка. Вследствие послесвечения, часть изображения, предназначенного для одного глаза, становится видимой для другого; пользователь при этом видит зеленые тени от ярких объектов. Проблема уменьшается, но не исчезает полностью, при использовании CRT-проекторов со специальным зеленым люминофором, который содержит редкоземельные элементы и обладает малым временем послесвечения. Стандартные DLP-проекторы не могут использоваться для активных стерео-проекций, из-за проблем синхронизации внутренней системы управления зеркалами проектора с шаттр-системой. Имеются экспериментальные разработки компании FakeSpace (США) по использованию для этой цели специальным образом перестроенных DLP-проекторов. LCD-проекторы не используются для активных стерео-проекций, из-за наличия поляризации в излучаемом ими свете, что проблематично для работы шаттр очков. Для пассивных стерео-систем время послесвечения люминофора не играет решающей роли, причина удвоения изображения состоит в деполяризующих свойствах экрана, которые могут быть уменьшены, но не устранены полностью. Имеются экспериментальные разработки компании TAN (Германия) по использованию недавно изобретенной технологии, называемой цветовым кодированием. В таких пассивных стерео-проекционных системах не требуется специальный экран, удвоение изображения отсутствует, но имеются отклонения в цветопередаче. Существуют решения на уровне программного обеспечения, применимые как для активных, так и для пассивных систем, компенсирующие удвоение и другие проблемы с помощью дополнительной обработки изображений перед передачей их для проекции на экран.

Активные стерео-проекционные системы существенно дороже пассивных, потому что для активного стерео необходимыми являются такие дорогостоящие компоненты как CRT-проекторы со специальным люминофором, шаттр-очки, система синхронизации, а также графические суперкомпьютеры SGI, обеспечивающие слаженную работу всех систем. Для пассивных стерео-проекций могут быть использованы стандартные LCD-или DLP-проекторы оффисного типа, простые в из-

готовлении пассивные стерео-очки, и кластеры персональных компьютеров.

Для поддержания ощущения полного погружения в виртуальную реальность важной компонентой является система слежения за положением головы (точнее - глаз) пользователя. Существуют большое разнообразие таких систем, основанных на разных принципах: механические, электромагнитные, оптические, ультразвуковые. Используя данные системы слежения, графический обработчик производит отрисовку сцены, соблюдая правильную перспективу для точки зрения пользователя. Недостаток этой схемы состоит в том, что точка зрения только одного пользователя обычно может быть учтена. Остальные пользователи наблюдают искажения, усиливающиеся по мере удаления от этой точки зрения. Существуют экспериментальные разработки по учету точек зрения двух пользователей. Требуемая точность отслеживания положения глаз в системах виртуального окружения составляет 1 см, т.к. стереобаза (расстояние между глазами) варьируется для разных пользователей, что приводит к отклонениям стереовосприятия координат объектов на этот порядок величины. Наиболее популярные и наиболее дорогостоящие электромагнитные системы слежения регистрируют положение, а также ориентацию датчиков (размера 1 см3), прикрепляемых к шаттр-очкам и другим предметам, использумым в качестве устройств взаимодействия. В случае больших аудиторий учет всех точек зрения невозможен. В этом случае надобность в системе слежения отпадает (необходим расчет оптимальной точки зрения аудитории).

В следующих главах мы раскажем подробнее об основных прототипах крупномасштабных систем виртуального окружения и разработанного для них программного обеспечения. В качестве дополнительных компонент в такие системы часто включаются установки пространственного звука, генераторы тактильных ощущений и т.д.

2 Крупномасштабные проекционные системы.

Рис.1. Система CyberStage.

CyberStage [1] - это проекционная система размера комнаты (3мх3мх2.4м), которая включает

четырехстороннюю CRT-проекцию активных стерео-изображений с шаттр-очками (Crystal Eyes), используемыми для объемного восприятия;

восьмиканальную пространственную проекцию звука, дополненную излучателями вибрации, встроенными в пол;

датчики Polhemus Fastrak, контролирующие положение и ориентацию глаз пользователя и различных устройств взаимодействия (указка, джойстик и т.п.);

суперкомпьютер SGI Onyx 2 с четырьмя графическими подсистемами Infinite Reality 2 и двенадцатью процессорами MIPS R12000, производящими четыре изображения 1280 x 1024 пикселей с частотой 120 Гц.

Рис.2. Система i-Cone.

i-CONE [2] - это проекционная система полного погружения, использующая прямую бесшовную проекцию активных стерео-изображений на широкоугольный (230°) искривленный экран. Высота экрана 2.8м,

радиус кривизны нижнего края 2.96м, верхнего -3.3м. Полный размер полученного изображения 5760 x 1320 пикселей. Другие характеристики оборудования i-CONE аналогичны CyberStage.

Рис.3. Система Responsive Workbench.

Responsive Workbench [1] - это двухэкранная активная стерео-проекционная система. Для компакти-фикации установки используется система больших зеркал высокого качества. В качестве основного графического вычислителя в этой системе может использоваться суперкомпьютер SGI Onyx с двумя графическими подсистемами Infinite Reality, производящий два изображения 1280 x 1024 пикселей с частотой 96 Гц. Традиционные области применения Responsive Workbench - медицинская, инженерная, архитектурная визуализация.

Teleport [2] - это более простая мобильная проекционная система выставочного типа, использующая:

одностороннюю обратную проекцию активного или пассивного стерео-изображения;

компьютер SGI Octane или Onyx, графическая подсистема MXI или Infinite Reality, производящие два изображения 1024 x 768 пикселей с частотой

96 Гц;

вспомогательный компьютер SGI O2 для синтезирования звукового сопровождения;

В качестве альтернативы к SGI компьютерам может быть использован более доступный Linux PC кластер, описанный ниже.

Рис.4. Система Teleport.

VEonPC [3] - это менее дорогостоящая, но также весьма эффективная мобильная система виртуального окружения, состоящая из

проекционной системы, включающей два LCD или DLP проектора, снабженных поляризационными фильтрами, специальный экран, обладающий наименьшими деполяризующими свойствами, прямую проекцию изображения, поляризационные очки;

две графические станции HP X4000 с графическими подсистемами ATI FireGL4, производящими два изображения 1024 x 768 пикселей с частотой 85 Гц (что в данной конфигурации отвечает скорости обновления изображения 85 кадров в секунду для каждого глаза);

вспомогательный вычислитель, используемый для синтеза звуковых эффектов, выполняющий также роль файл-сервера и маршрутизатора.

Рис.5. Система VEonPC.

Рис.6. Принципиальные схемы мобильных систем виртуального окружения: (а) обратная проекция, (б) прямая проекция. Цифрами на рисунке обозначены: (1) основной графический вычислитель(8С1-компьютер или Linux-PC кластер); (2) вспомогательный вычислитель для синтеза звуковых эффектов; (3) экран из специального материала, обладающего минимальными деполяризующими свойствами; (4,5) проекторы, снабженные поляризационными фильтрами; (6,7) аудио-система (динамики); (8) устройства ввода и управления (мышь, джойстик, трекбол).

Для создания иллюзии присутствия в виртуальном пространстве системы виртуального окружения используют различные интерфейсы и метафоры взаимодействия. С помощью этих интерфейсов осуществляется передвижение внутри виртуальных пространств и манипулирование виртуальными объектами. Программным обеспечением таких систем является среда разработки приложений Аванго.

3 Программная среда.

Аванго [4] - среда программирования, предназначенная для создания распределенных взаимодействующих приложений виртуального окружения. Аванго использует язык программирования C+-+ для определения двух категорий объектов - узлы и датчики. Узлы составляют объектно-ориентированный граф сцены,ко-торый осуществляет представление изображаемой геометрической модели. Датчики обеспечивают связь с реальным миром и используются для ввода данных с внешних устройств в приложение. Все объекты Аванго - полевые контейнеры, представляющие информацию о своем состоянии в виде совокупности полей. Объекты Аванго обладают универсальным потоковым интерфейсом, который позволяет записывать в поток сами обьекты и информацию об их состоянии и впоследствии реконструировать эти данные из потока. Аванго использует язык сценариев Scheme [5] для объединения объектов в граф сцены, а также вводит понятие графа потоков данных, концептуально ортогонального графу сцены и служащего для определения взаимодействия между обьектами и для ввода в сцену реальных данных, необходимых для моделирования интерактивного поведения. Scheme - универсальный язык

программирования, происходящий от Алгола и Лиспа. Это язык высокого уровня, который умеет оперировать со структурными данными, такими как строки, списки и векторы. Все объекты Аванго могут быть созданы и управляемы посредством Scheme. Аванго основан на графической системе OpenGL Performer, которая обеспечивает наиболее качественное исполнение приложения, и удовлетворяет специальным требованиям, возникающим при разработке приложений для виртуального окружения. Расширенные графические возможности, такие как стирание невидимых граней, переключение степени детализации и взаимодействие с графическим оборудованием, целиком выполняется системой OpenGL Performer.

Scripting Application

Avango Scripting Runtime

Avango Core Runtime

OpenGL Performer

Operating System

Рис.7. Структура системы Аванго.

Аванго является системой, которая объединяет обычную модель программирования автономных систем со встроенной поддержкой параллелизма, которая является почти незаметной для разработчика приложения. Такая эффективность достигается путем расширения концепций графов сцены и потоков данных на случай распределенных приложений и использования модели распределенной общедоступной памяти. Распределенные процессы обладают локальной копией обобществленного сегмента памяти, которую Аванго поддерживает синхронизованной относительно всех изменений, производимых прикрепленными к сегменту процессами. Таким образом, процессы Аванго могут присоединятся и отсоединятся прямо во время работы распределенного приложения, исполняясь на разных машинах, но сохраняя ту же эффективность, как если бы они исполнялись на одной. Аванго самостоятельно заботится о взаимодействии с сетевой инфраструктурой нижнего уровня, позволяя разработчику сконцентрироваться собственно на создании сценария приложения.

Интерфейс сценариев Аванго предлагает двухуровневый подход к разработке приложений. Сложные и критичные для исполнения возможности реализуются в C+-Ь, расширяя существующие объектные классы Аванго. Само приложение в этом случае - только

набор Scheme сценариев, которые создают требуемые объекты Аванго, вызывают их методы, устанавливают значения их полей и определяют отношения между ними. Сценарии могут быть написаны, проверены и отлажены прямо во время работы приложения, не требуя перекомпиляции. Это значительно уменьшает время разработки и обеспечивает весьма эффективную среду для быстрого создания прототипа приложения.

4 Приложения.

Виртуальный планетарий

Рис.8. Виртуальный планетарий.

Данное образовательное приложение [6] предназначено для обучения астрономии в виртуальной реальности. Особые усилия были предприняты для реалистичного изображения астрономических объектов. Для этой цели объемные модели создавались на основе реальных астрономических данных и изображений, сохраняя правильные угловые размеры всех объектов для любой точки зрения. Стереоскопическая проекционная система использовалась для создания иллюзии открытого космического пространства.

Модель представляет 3200 ярчайших звезд, 30 объектов Солнечной Системы, включая 9 основных планет и их крупнейшие спутники, интерактивную карту созвездий, составленную из древних рисунков [7], базу данных, описывающих астрономические объекты текстуально и вокально на немецком и английском языках.

Топологический зоопарк

Рис.9. Топологический зоопарк.

Основная цель данного проекта - разработка прототипа лекторского зала, который был бы оснащен системой виртуальной реальности, располагался в реальном образовательном центре и активно использовался в повседневном учебном процессе.

В частности, такие области высшей математики как дифференциальная геометрия и топология требуют визуального представления изучаемых объектов для лучшего понимания материала. Данное приложение [8] демонстрирует в виртуальной реальности основные свойства элементарных топологически нетривиальных объектов, таких как лента Мебиуса, бутылка Клейна, поверхность Боя и др., и дает возможность их интерактивного исследования. Приложение сопровождается www-курсом по топологии многообразий малой размерности, где вводятся все необходимые понятия, а также иллюстрируется четырьмя видеофильмами.

Рис.10. Комплекс программ по моделированию упругих деформаций в виртуальном окружении. Справа внизу - виртуальная модельмашины для шлифовки солнечных батарей, созданная в Институте Производственных Технологий г.Аахен (Германия).

Несколько приложений [9] представляют моделирование деформаций упругих объектов на основе точной теории сопротивления материалов и численных методов, обладающих высокой скоростью сходимости. С помощью данных приложений модели упругих объектов, состоящие из 10000 узлов, удается интерактивно деформировать в виртуальной реальности при скорости графики 85 Гц. Это позволяет использовать такие приложения в медицинской визуализации, например для создания хирургических симуляторов, а так же в машиностроительных индустриях, таких как автомобильная, судостроительная и аэрокосмическая промышленность. Описанный здесь комплекс программ использовался в распределенных системах виртуальной реальности для осуществления технологического сценария сборки специальной машины для шлифовки солнечных батарей, разработанного Институтом Производственных Технологий г.Аахен (Германия).

Виртуальный музей

Это приложение, разработанное в Немецком Центре Информационных Технологий Др.Герардом Эйке-лем, представляет собой виртуальную копию музея искусств г.Бонна и предназначено для планирования выставок, размещения экспонатов, подбора условий освещения и т.д. Для этого приложение снабжено широким набором средств выставочного дизайна. В результате использования приложения процесс подготовки выставок, обычно требующий многих дней, и особенно долгий в случае крупных выставок, ретроспектив, или перемещающихся из города в город, сейчас занимает всего лишь несколько часов. Другая возможность, предоставляемая данным приложением, - это организация виртуальных выставок предметов искусства в случае, когда нет другой возможности представить их широкой публике (например, отсутствие выставочного пространства, бюджетные проблемы и т.д.). Таким образом, любой городской краеведческий музей может иметь установку размера комнаты, содержащую все остальные музеи мира. Работы в этом направлении ведутся во многих странах, в проектах по так называемому цифровому обмену культурным наследием . В России виртуальный музей демонстрировал работы заслуженного художника РФ В.С.Губарева на специальной выставке в апреле 2002 г. в г.Протвино (Московская обл.).

Упругие деформации

Рис.11. Виртуальная модель музея исскуств г.Бонна.

Археологическая реконструкция

Приложение представляет археологическую реконструкцию древнеримского поселения Колония Ульпия Траяна вблизи современного г. Ксантен, Германия. Модель создана студентами строительного факультета университета г. Дортмунд на лабораторных занятиях по компьютерной графике с использованием данных археологических раскопок и исторических документов. В Немецком Центре Информационных Технологий модель была адаптирована в систему виртуальной реальности Аванго. Наиболее интересной для посетителей этого виртуального археологического парка является возможность с помощью трехмерных фотореалистических изображений увидеть, каким это место было много веков назад. При выполнении виртуальных прогулок в такой большой модели (260 тыс. треугольников) для обеспечения высокой частоты обновления изображения (32 стерео-кадра в секунду) был использован специальный графический ускоритель [10], активно использующий возможности Аванго по распределению приложений.

Рис.12. Виртуальная модель древнеримского поселения Колония Ульпия Траяна.

5 Заключение.

В данной статье были описаны различные типы установок виртуальной реальности, необходимое для их работы программное обеспечение и примеры их приложений в научных и образовательных целях. Было показано, что некоторые из этих установок построены из недорогих компонент и вполне доступны научно-исследовательским институтам и университетам. Описанные выше приложения постоянно демонстрируются в системе CyberStage Института Медиакоммуникаций г.Санкт Августин (Германия) во время студенческих и школьных экскурсий. Эти приложения также представлялись на зарубежных выставках CeBIT 99/02 в Ганновере и ZeitReise 2000 в Берлине.

В декабре 2001 года система виртуального окружения VEonPC была продемонстрирована студентам и преподавателям Московского Физико-Технического Института. Демонстрация проходила в лекторском зале, зрители имели возможность самостоятельно осуществлять навигацию в виртуальном пространстве и взаимодействовать с виртуальными объектами. В ближайшее время установка такого типа будет стационарно размещена в МФТИ для использования в повседневном учебном процессе. Применение подобных общедоступных систем виртуальной реальности позволит существенно обогатить лекционный материал, включив в него объемные модели изучаемых объектов, свободно парящие в пространстве лекторского зала, с которыми можно взаимодействовать, изучая их поведение и внутреннюю структуру. Удобный пользовательский интерфейс и мощный инструментарий Аванго позволяют быстро конструировать требуемые демонстрационные приложения.

Список литературы

[1] Eckel G., Gobel M., Hasenbrink F., Heiden W., Lechner U., Tramberend H., Wesche G., Wind J. Benches and Caves. In: Bullinger H.J., Riedel O. (eds.) Proc. 1st Int. Immersive Projection Technology Workshop. Springer-Verlag, London, 1997.

[2] домашняя страничка Фраунгоферов-

ского Института Медиакоммуникаций

http: www.imk.fraunhofer.de

[3] Труды 1-ой Международной Конференции По Системам Виртуального Окружения На Кластерах Персональных Компьютеров. VE on PC 2001. Протвино, 22-25 сентября 2001 г., Институт Физико-Технической Информатики, 2001.

[4] Dai P., Eckel G., Gobel M., Hasenbrink F., Lalioti V., Lechner U., Strassner J., Tramberend H., Wesche G.

Virtual Spaces: VR Projection System Technologies and Applications. Tutorial Notes. Eurographics 97, Budapest, 1997, 75 pages.

[5] R. Kent Dybvig. The Scheme programming language: ANSI Scheme. P T R Prentice-Hall, Englewood Cliffs, NJ 07632, USA, second edition, 1996.

[6] Valery Burkin, Martin Goebel, Frank Hasenbrink, Stanislav Klimenko, Igor Nikitin and Henrik Tramberend: Virtual Planetarium in CyberStage, in Proc. of 6th Eurographics Workshop on Virtual Environments, June 1-2, 2000, Amsterdam, pp.177186, eds. J.D.Mulder and R. van Liere, published by Springer-Verlag 2000.

[7] Hemisphaerium coeli boreale / Hemisphaerium coeli australe : in quo fixarum loca secundum eclipticae ductum ad an[n]um 1730 completum exhibentur / a Ioh. Gabriele Doppelmaiero math. prof. publ. Acad. imper. leopoldino-carolinae naturae curiosorum et Acad. scient. regiae prussicae socio ; opera Ioh. Baptistae Homanni sac. caes. maj. geogra. - Norimbergae [Nurnberg] : [Homannische Erbe], [erschienen 1742].

[8] Martin Goebel, Stanislav Klimenko, Lialia Nikitina and Igor Nikitin, Topological Zoo: Mathematical Visualization in Virtual Environment, Proceedings of EUROMICRO 2001 (Warsaw, Poland, September 46), IEEE Comp.Society Press, Los Alamitos 2001,

pp.420-426.

[9] Lialia Nikitina, Igor Nikitin, Stanislav Klimenko, Gernot Goebbels, Martin Goebel, Real-time simulation of elastic objects in Virtual Environments using finite element methods and precomputed Greens functions, Proc. of EGVE 2002 (Barcelona,

Spain, May 2002), p.47, published by ACM, New York, 2002, ISBN 1-58113-535-1.

[10] Lialia Nikitina, Igor Nikitin, Stanislav Klimenko, Implementation of Occlusion Culling in AvangoTM Virtual Environment Framework, accepted at VisGis

2002, Beijin, China.