Новая технологическая демонстрация. SLAR + SL5

Итак. Поигравшись с Balder для Sliverlight 4, я понял - он не справляется с производительностью. Было принято решение перейти на Silverlight 5 XNA. Что дало приличный прирост производительности. Правда все еще не перенесены некоторые ф-ции (залипание объекта, множественные одинаковые теги).
Создана демонстрация концепции интерактивного объекта смешанных реальностей (Визитка\Портфолио).

Новые вопросы:

1. Правильное положение и дизайн логотипа.
2. Как правильно активировать объекты портфолио (сами картинки).
3. Дизайн и носитель карточки.
4. Возможность дальнейшего уменьшения элементов карточки.

Серия статей про Augmented Reality. Моя точка зрения.

Начинаю публикацию результатов моих исследовательских работ связанных с концепциями AR (Augmentet reality), NUI (Natural User Interface).
Идея концепции которую я хочу проверить состоит в построении системы пользовательского интерфейса на принципах смешанных реальностей. В теории пользователь, для удовлетворения своих информационных потребностей, должен производить действия не с экранными объектами , а с объектами реального или виртуального-трехмерного миров(реальностей).  Пользователь может воздействовать на объекты виртуального мира посредством воздействия на объекты реального мира (AR-теги), путем относительных перемещений, вращения или внесения новых AR-тегов. А так-же распознания трехмерного положения пользователя относительно виртуальных объектов производимых системой Kinekt или подобной ей.
Для проверки данной концепции были выбраны следующие технологические платформы:

1. Система смешивания реальностей построена на AR-тегах. ( ARToolkit: Реализация SLARToolkit )
2. Система 3D визуализации ( Balder , Silverlight 5 XNA ) 

Список опубликованных мною материалов по данному  исследованию: (все видео в статьях)

1. Первые результаты экспериментов SLARToolkit + Blader + Концепция
2. Демонстрация концепции интерактивного объекта смешанных реальностей

SLARToolkit + Balder + Концепция

В последнее время я все чаще стал задумываться на тему создания интерфейсов пользователей взаимодействующих с 3D окружение пользователя. Здесь можно увидеть первые эксперименты на эту тему. Как тех. основа взяты SLARToolkit (ARToolkit для Silverlight), Balder (3d движок полностью реализованный на C# для Silverlight)

Существующие в эксперименте сущности: 

1. Информационный объект (Тег: SLAR, время жизни 50 циклов распознания, отображается как большой синий куб)
2. Объект команда (Тег: L, время жизни 5 циклов, отображается маленьким зеленым кубом, выполняет произвольную смену цветов объекта)
3. Связи команда-объект отображаются зелеными линиями

Часть 1

Часть 2

Выводы:

1. Распознание AR-тегов  происходит быстро и плавно (при распознании 3х тегов по 16 сегментов на стороне FPS не падало меньше 60).
2. Качество и стабильность распознания сильно зависят от освещения и деформаций маркеров.
3. Необходима калибровка камеры для улучшения качества распознания положения маркеров

Вопросы для экспериментов:

1. Возможно ли распознание цветных паттернов?
2. Максимальное количество распознаваемых тегов за один раз.
3. Схемы композиции тегов (для считывания большего количества информации)
4. Оптимальная размерность тегов (16,32 ... )

Путь развития

1. Теги разных размеров
2. Создание удобного движка манипулирования 3D сценой
3. Отслеживание позиций ушедших с экранов тегов
4. Разные размеры для тегов объектов и тегов команд (как линейные так и количество сегментов)
5. Разработать систему команд для воздействия на объекты. (сейчас вижу что-то вроде набора из Переместить, Вращать, Активация, Считать стоку данных)
6. Вывод изображения через 3D-телевизор для получения эффекта установки 3D-объекта дат AR-тегом непосредственно.

Меркантильные вопросы. Буду благодарен за помощь в разрешении этих вопросов.

1. Нужна внешняя веб-камера.
2. Нужна система Kinekt с кабелем питания \ адаптером подключения к ПК
3. Нужен 3D телевизор для проверки системы отображения