著者:
（１）ハメド・アリモハマドザデ、南カリフォルニア大学、ロサンゼルス、米国
（２）ロヒット・バーナード、南カリフォルニア大学、ロサンゼルス、米国
（３）ヤン・チェン、南カリフォルニア大学、ロサンゼルス、米国
（4）Trung Phan、南カリフォルニア大学、ロサンゼルス、米国
（５）プラシャント・シン、南カリフォルニア大学、ロサンゼルス、米国
（6）シュキン・チュー、南カリフォルニア大学、ロサンゼルス、米国
（7）ヘザー・カルバートソン、南カリフォルニア大学、ロサンゼルス、米国
（8）シャーラム・ガンデハリザデ、南カリフォルニア大学、ロサンゼルス、米国。
リンク一覧
概要と序論
飛んでいる光の粒
ユーザーインタラクション
マルチメディアシステムの課題
関連作業
結論と現在の取り組み、謝辞、参考文献
DV は、マルチメディア システムに関する多くの興味深い課題を引き起こします。課題の特性は、アプリケーションによって異なる場合があります。このセクションでは、2 つの課題について説明します。
4.1 FLSローカリゼーション
FLS は、形状を照らし、触覚インタラクションを実装するために、位置を特定する必要があります。DV のモジュール設計により、実験者は代替の位置特定手法を評価できます。これらの手法は、DV ディスプレイ、FLS、またはその両方に接続されたハードウェア コンポーネントによって実装できます。このセクションでは、位置特定用の赤外線カメラ、RGB カメラ、超広帯域 (UWB) トランシーバー、反射マーカー、またはこれらのコンポーネントのハイブリッドを紹介します。以下では、4 つの手法について順に説明します。
まず、DV ディスプレイに赤外線カメラを設置し、FLS に反射マーカーを取り付けることができます。DV-Hub でホストされているソフトウェアは、カメラで撮影した画像を処理し、FLS の位置を計算します。この集中化された手法は、高い精度を提供する Vicon にヒントを得ています (35、54、57)。FLS はカメラとの視線を維持する必要があります。対角線の長さが数十ミリメートルの小型ドローンが数十機以上ある場合は、固有のマーカーを形成するのは困難 (不可能ではない) です (54)。
第二に、DV ディスプレイのサイド ビーム、背面パネル、床、または天井などの既知の位置 (37) にセンサー セットを設置する方法があります。これらのカードはアンカーとして機能します。センサーを各 FLS に取り付けてタグにすることができます (これは図 4 の LOC です)。この設定を使用して FLS の位置を特定するために、集中型アルゴリズムと分散型アルゴリズムの両方を実装できます。このアプローチでは、アンカーの位置は固定されており、個々の FLS によって認識されている必要があります。このアプローチでは、アンカー間の正確な時間同期が必要です。アルゴリズムによっては、アンカーとタグ間の時間同期も必要になる場合があります。UWB カード (20) を候補センサーとして実験しました。実験 (52) では、1 cm などの小さな距離の測定で大きな誤差が見られました (図 7 を参照)。これは、距離測定の誤差が 5 ～ 15 cm であると報告されていることと一致しています (14、20、37)。
3 番目に、各 FLS の CPU は、床 (および天井) タイル上に重ねられたパターンを処理して位置を計算する視覚ベースのアルゴリズムをホストします (10、60、78)。この手法の制限は、一部の FLS が他の FLS とパターンの間の視線を遮る可能性があることです。固定サイズの DV ディスプレイを使用すると、この制限に対処するアルゴリズムを開発できる可能性があります。
第4に、FLSにセンサーとアンテナを搭載し、アンカーFLSとの相対距離と角度を計算できるようにすることを想定しています。ローカライズFLSは、この情報を地上の真実の望ましい距離と角度と比較し、地上の真実をより正確に近似するように調整します。この分散型ローカライズアルゴリズムでは、ローカライズFLSとアンカーFLSの間に視線が必要です。アニメーション化された形状をレンダリングするために、自然に触発された群集プロトコル（56）を実装する場合があります。
4.2 3D音響
DV オーディオは多面的なトピックです。FLS からの不要なノイズを抑制する方法と、アプリケーションの仕様に一致する音響を生成する方法の両方が含まれます。それぞれについて順に検討します。まず、不要なノイズは、エンジンとプロペラ (61) で構成される FLS の推進システムによって発生します。このノイズは、プロペラの速度が速くなり、プロペラ ブレードが大きくなると増加します (43、64)。
第二に、アプリケーションは、3D 照明 (25) を考慮して 3D 音響をレンダリングしたい場合があります。たとえば、ディスプレイの 1 つの角に配置されたキャラクターが、ディスプレイの最も遠い角に配置された別のキャラクターに向かって叫んでいる照明シーンを考えてみましょう。アプリケーションは、叫んでいるキャラクターの近くにいるユーザーに対して、オーディオを大きくしたい場合があります。
私たちは、上記の 2 つの課題に対処するために、さまざまな技術を調査します。望ましくないノイズについては、サウンドの抑制とキャンセルの技術を調査します。3D 音響については、DV ディスプレイに内蔵されたスピーカーと FLS のサブセットの使用を調査します。また、すぐに使用できるソリューションも検討します。このシステムの中心となるのは、表示されるコンテンツの邪魔になる可能性のある周囲のドローン ノイズを最小限に抑えるように意図的に設計された、ノイズ キャンセリング ヘッドフォンです。この機能により、ユーザーはオーディオ ビジュアル プレゼンテーションに完全に集中でき、全体的なエクスペリエンスが向上します。さらに、3D オーディオ テクノロジを組み込むことで、表示されるコンテンツに基づいてサウンドを動的に調整できます。つまり、ディスプレイが変化すると、オーディオ コンポーネントがリアルタイムで調整され、ドローンの空間的な位置と動きが反映されます。