SLARToolkit + Balder + Концепция

В последнее время я все чаще стал задумываться на тему создания интерфейсов пользователей взаимодействующих с 3D окружение пользователя. Здесь можно увидеть первые эксперименты на эту тему. Как тех. основа взяты SLARToolkit (ARToolkit для Silverlight), Balder (3d движок полностью реализованный на C# для Silverlight)

Существующие в эксперименте сущности: 

1. Информационный объект (Тег: SLAR, время жизни 50 циклов распознания, отображается как большой синий куб)
2. Объект команда (Тег: L, время жизни 5 циклов, отображается маленьким зеленым кубом, выполняет произвольную смену цветов объекта)
3. Связи команда-объект отображаются зелеными линиями

Часть 1

Часть 2

Выводы:

1. Распознание AR-тегов  происходит быстро и плавно (при распознании 3х тегов по 16 сегментов на стороне FPS не падало меньше 60).
2. Качество и стабильность распознания сильно зависят от освещения и деформаций маркеров.
3. Необходима калибровка камеры для улучшения качества распознания положения маркеров

Вопросы для экспериментов:

1. Возможно ли распознание цветных паттернов?
2. Максимальное количество распознаваемых тегов за один раз.
3. Схемы композиции тегов (для считывания большего количества информации)
4. Оптимальная размерность тегов (16,32 ... )

Путь развития

1. Теги разных размеров
2. Создание удобного движка манипулирования 3D сценой
3. Отслеживание позиций ушедших с экранов тегов
4. Разные размеры для тегов объектов и тегов команд (как линейные так и количество сегментов)
5. Разработать систему команд для воздействия на объекты. (сейчас вижу что-то вроде набора из Переместить, Вращать, Активация, Считать стоку данных)
6. Вывод изображения через 3D-телевизор для получения эффекта установки 3D-объекта дат AR-тегом непосредственно.

Меркантильные вопросы. Буду благодарен за помощь в разрешении этих вопросов.

1. Нужна внешняя веб-камера.
2. Нужна система Kinekt с кабелем питания \ адаптером подключения к ПК
3. Нужен 3D телевизор для проверки системы отображения