LyricBathe

LyricBathe

本研究プロジェクトでは、「MR(複合現実)技術を用いたインタラクティブな歌詞体験の創出」をテーマとして研究を行っている。

歌詞体験MR環境: LyricBathe

MR技術を用いた歌詞体験システムとして、LyricBatheを開発している。
LyricBatheは、日常的な音楽鑑賞の環境で歌詞をより深く楽しむというアイデアを基に、革新的かつインタラクティブな音楽体験を提供するMRシステムである。
本システムでは、光学透過式ヘッドマウントディスプレイ(HoloLens 2)を用いたMR環境において、楽曲の進行と同期して歌詞を文字ごとにオブジェクトとして表示し、ユーザーの身体的動作や周囲の物理環境とのインタラクションを通じて、歌詞に「浸る」音楽体験の実現を目指している。
LyricBatheでは、MR技術を用いて物理空間に歌詞がオブジェクトとして現れるように表現することで、ユーザは歌詞を空間的に体験できるだけでなく、「歌詞に手で触れる」「身体から歌詞が飛び出る」「歌詞をシャワーのように浴びる」といった身体的なインタラクションを通じて、歌詞を新たな形で楽しむことができる。
LyricBatheが創出する歌詞体験において、ユーザがどのような箇所に注目しながら音楽を体験しているかを調査するため、注視箇所の分析を実施した。HoloLens 2のアイトラッキング機能を用い、8種類のビジュアルインタラクティビティモードにおける音楽体験中の注視箇所を計測し、注視対象となるオブジェクトごとに注視箇所を分類して、音楽体験における注視行動を分析した。
反復的な開発を重ね、24種類のビジュアルインタラクティビティモードを実装している。この24のモードからMR環境における歌詞表現を定義する12個のデザインプリミティブを抽出し、空間配置、文字表示のタイミング、ユーザインタラクションの種類といった要素を特定した。

発表実績

S