【学生シーズ特集】ゆりずむ：超没入型音楽鑑賞によるリズム感の向上
電気通信大学 IE情報学専攻博士前期 2年 松浦悠
概要：「体がリズムに乗っている」状態を体験することで、リズム感覚を養うことが出来るシステム
背景：
楽器演奏の習熟や、より深い音楽鑑賞体験を行うにはリズム感が重要である。しかしリズム感は主体的に発生する自己の身体感覚に基づくため、他者からの指導による向上が困難である。よって効率よくリズム感を養う方法は音楽を愛する人々に対して大きな需要がある。そもそもリズム感とは、
“等加速度で落下し 反発する運動の繰り返しである”と指揮法のスタンダードとなっている文献〈1〉は示している。本提案では、本定義に基づきリズム感を次の3つの能力からなる感覚と定義する。
① 身体の重心を等加速度で遍移し、反発地点で鉛直方向の速度成分を反転させる能力
② ①を周期的に繰り返す能力
③ 速度が最高になる反発地点を「拍」と認識する能力
我々は専攻するバーチャルリアリティの技術を応用し、「リズム感をもつ人の身体感覚」を再現することを目的とし、効率よくリズム感を養うことができるシステム、「ゆりずむ」を提案する。ユーザはハンモック型装置に座り、ヘッドマウントディスプレイを被った状態で音楽を聴き、視触覚情報を加えてリズムに没入する。これによってリズム感を受動的に養うことができる。先行研究として強制的に手を動かし、受動的に楽器演奏を体験させることで、できなかった演奏ができるようになる事例が報告されている〈２〉、このことから本提案の実現性は高いと考えられる。
提案手法：
リズム感をもつ人の身体感覚を再現するために、（a）ハンモック型モーションプラットフォーム、（b）視覚刺激提示装置、（c）音楽再生装置の3つから構成されるシステムを考案した
(a)ハンモック型モーションプラットフォーム
ハンモック型モーションプラットフォームは、公園の遊具であるブランコの揺らぎのように、ユーザを一定の時間間隔で揺らし続ける装置である。市販の座位用ハンモックに結びつけた綱をモーターで制御することで、減衰しない揺れを提示する。また、取り付けた加速度センサにより揺れの周期及びタイミングの情報を音楽再生装置に送信する。我々は前項で述べた①の能力を外発的に体験する最良の方法としてハンモックを発見した。ハンモックの振る舞いを、空気抵抗などのエネルギーロスを除外して考慮すれば、ハンモックは「重力由来の加速度を持ち、最高速度を提示する最下点で鉛直方向の速度成分を反転させるモーションプラットフォーム」とみなすことができ、少ない労力で望ましい刺激が提示できる。
(b)視覚刺激提示装置
視覚刺激提示装置は、ハンモック型プラットフォームによって得られる身体感覚を、視覚刺激によって増幅させる装置である。ヘッドマウントディスプレイ上に、自分が実際より大きく揺れているような３D映像を、実際の揺れに同期して表示する。提示映像はUnityにより作成する。
(c)音楽再生装置
音楽再生装置は前項の③の能力を体験するために、ユーザが体感する揺れの最下点に拍のタイミングが合うように音楽を再生する装置である。ハンモック型モーションプラットフォームから送信されたタイミング情報に基づいて、音楽を再生する。
プロトタイプの実装：
ゆりずむのプロトタイプを製作した。ハンモックを人力で一定時間間隔に調整し揺らしながら、音楽をその揺れの周期に合ったテンポに調整して実際に音楽鑑賞を行った。その結果、揺れの最下点のタイミングに拍が合っていない場合、強い違和感を感じ、合っている場合爽快感を感じることが3人中3人の被験者で確認できた。これは、頭部への電気刺激を用いて三半規管を操作し、音楽に合わせて身体を揺らす先行研究〈3〉が報告するものと一致する。今後はリズム感が無いという自己認識を持つ被験者を集め、提案システムを評価する。
参考文献：
〈1〉 斎藤秀雄 1956．指揮法教程 .音楽之友社.
〈2〉 Ayaka Ebisu,et al.2016.Stimulated percussions:techniques for controlling human as percussive musical instrument by using electrical muscle stimulation. In SIGGAPH ASIA 2016 Posters (SA’16) .ACM,NewYork,NY,USA,Article37,2pages.
〈3〉 前田太郎、安藤英由樹、渡邊淳司、杉本麻樹、前庭感覚電気刺激を用いた感覚の提示、2007、バイオメカニズム学会誌、31巻2号p82-89
※図1に関しては産学連携推進協会のサイトを参照ください
詳細内容
背景：
楽器演奏の習熟や、より深い音楽鑑賞体験を行うにはリズム感が重要である。しかしリズム感は主体的に発生する自己の身体感覚に基づくため、他者からの指導による向上が困難である。よって効率よくリズム感を養う方法は音楽を愛する人々に対して大きな需要がある。そもそもリズム感とは、
“等加速度で落下し 反発する運動の繰り返しである”と指揮法のスタンダードとなっている文献〈1〉は示している。本提案では、本定義に基づきリズム感を次の3つの能力からなる感覚と定義する。
① 身体の重心を等加速度で遍移し、反発地点で鉛直方向の速度成分を反転させる能力
② ①を周期的に繰り返す能力
③ 速度が最高になる反発地点を「拍」と認識する能力
我々は専攻するバーチャルリアリティの技術を応用し、「リズム感をもつ人の身体感覚」を再現することを目的とし、効率よくリズム感を養うことができるシステム、「ゆりずむ」を提案する。ユーザはハンモック型装置に座り、ヘッドマウントディスプレイを被った状態で音楽を聴き、視触覚情報を加えてリズムに没入する。これによってリズム感を受動的に養うことができる。先行研究として強制的に手を動かし、受動的に楽器演奏を体験させることで、できなかった演奏ができるようになる事例が報告されている〈２〉、このことから本提案の実現性は高いと考えられる。
提案手法：
リズム感をもつ人の身体感覚を再現するために、（a）ハンモック型モーションプラットフォーム、（b）視覚刺激提示装置、（c）音楽再生装置の3つから構成されるシステムを考案した
(a)ハンモック型モーションプラットフォーム
ハンモック型モーションプラットフォームは、公園の遊具であるブランコの揺らぎのように、ユーザを一定の時間間隔で揺らし続ける装置である。市販の座位用ハンモックに結びつけた綱をモーターで制御することで、減衰しない揺れを提示する。また、取り付けた加速度センサにより揺れの周期及びタイミングの情報を音楽再生装置に送信する。我々は前項で述べた①の能力を外発的に体験する最良の方法としてハンモックを発見した。ハンモックの振る舞いを、空気抵抗などのエネルギーロスを除外して考慮すれば、ハンモックは「重力由来の加速度を持ち、最高速度を提示する最下点で鉛直方向の速度成分を反転させるモーションプラットフォーム」とみなすことができ、少ない労力で望ましい刺激が提示できる。
(b)視覚刺激提示装置
視覚刺激提示装置は、ハンモック型プラットフォームによって得られる身体感覚を、視覚刺激によって増幅させる装置である。ヘッドマウントディスプレイ上に、自分が実際より大きく揺れているような３D映像を、実際の揺れに同期して表示する。提示映像はUnityにより作成する。
(c)音楽再生装置
音楽再生装置は前項の③の能力を体験するために、ユーザが体感する揺れの最下点に拍のタイミングが合うように音楽を再生する装置である。ハンモック型モーションプラットフォームから送信されたタイミング情報に基づいて、音楽を再生する。
プロトタイプの実装：
ゆりずむのプロトタイプを製作した。ハンモックを人力で一定時間間隔に調整し揺らしながら、音楽をその揺れの周期に合ったテンポに調整して実際に音楽鑑賞を行った。その結果、揺れの最下点のタイミングに拍が合っていない場合、強い違和感を感じ、合っている場合爽快感を感じることが3人中3人の被験者で確認できた。これは、頭部への電気刺激を用いて三半規管を操作し、音楽に合わせて身体を揺らす先行研究〈3〉が報告するものと一致する。今後はリズム感が無いという自己認識を持つ被験者を集め、提案システムを評価する。
参考文献：
〈1〉 斎藤秀雄 1956．指揮法教程 .音楽之友社.
〈2〉 Ayaka Ebisu,et al.2016.Stimulated percussions:techniques for controlling human as percussive musical instrument by using electrical muscle stimulation. In SIGGAPH ASIA 2016 Posters (SA’16) .ACM,NewYork,NY,USA,Article37,2pages.
〈3〉 前田太郎、安藤英由樹、渡邊淳司、杉本麻樹、前庭感覚電気刺激を用いた感覚の提示、2007、バイオメカニズム学会誌、31巻2号p82-89
※図1に関しては産学連携推進協会のサイトを参照ください
【お問い合わせ】
さらに詳しい内容は、一般社団法人産学連携推進協会へお問い合わせください。
