バーチャルライブのリアリティを向上させる
低周波振動と物理振動の併用による感覚体験の向上
バーチャルライブのリアリティを向上させる 保原雄生
鹿野研究室
2020 年度卒業
コロナ禍において行われているバーチャルライブ。その体験は映像の体験と変わらないものである。そしてそれは今までのライブの体験の代替になるものとは言い難いものである。そのバーチャルライブの体験を外部的な要因、音の振動と物理的な振動による触覚への刺激によるもので向上させることができないかを考えた。

はじめに

2020年、新型コロナウイルスの流行によってさまざまな弊害が生まれた。コロナウイルスによる景気の悪化はどの業界にも打撃を与え、職を失った人も少なくない。また、新しい生活様式に沿った生活を国民は強いられ、今までの自由な生活はなくなってしまった。この状況下の中、特に打撃を受け、かつ今でも活動ができていないものがある。ライブを生業とするアーティストである。彼らの主な収入源になっているライブは感染のリスクが高く、様々な制限の中で行われており、完全な形とは程遠い。そのライブの1つの手法としてバーチャルライブが行われている。Youtubeなどでリアルタイムのライブ映像を放映するというものである。しかし、このバーチャルライブには欠点が存在しており、映像の体験にとどまっていることである。そこで私は映像の体験を超えるために、高次元感覚を刺激することが重要であると考えこの研究を行った。

調査

1 ボディソニックについて
体に直接振動を与え、ライブや映画館などの大音量の音響による体験を小音量で再現するというものである。ボディソニックを使用した商品はチョッキ型のものが存在した。

2 鎖骨への振動による音楽体験の変化について
体表に振動を与えた場合、音楽体験にどのような影響を与える
かという論文。この論文では鎖骨へ振動を与える時、手のひら
に当てた時と同等の体験が得られると書かれており、これは音
楽の種類ごとに調査し、総合的に判断したものであることがわかった。また、鎖骨に当てることで全身への伝導感が感じられる(岡崎・櫻木・Yem・梶本,2016)。

3 4DXの技術
映画館で上映されている4DXは、映画の中の振動や水しぶきな
どを、席の振動や、ミスとの噴射、送風などにより再現し、映画の没入感を上げるものである。

4 PS5のコントローラーの振動機能
Sonyが新しく発売したゲームハードPS5のコントローラーは従来のコントローラーとは違い、繊細な振動による表現やトリガーの押し込み時の抵抗を発生させるなどの多彩な機能を持っている。これらにより、水との接触や、左右の振動、また、ゲームによっては銃の引き金の重さを感じながらゲームをプレイすることが可能になる。

研究方法

仮説
コントローラーの振動と鎖骨に対して低周波数の音を当て、か
つ、オーディオビジュアルと連動させることで、高次元感覚を刺激し、より現実に近い体験ができるのではないか。

開発
製作はバーチャルライブとボディソニックウーファーの2つのプロトタイプを制作した。

バーチャルライブ
Unreal Engineを用い、現実のライブでは体験できない非現実さを体験させることを目標に制作した。まず、全体のシーン遷移として、待合シーン、スラム街シーン、宇宙シーンの3つのシーンを遷移する。ビジュアル表現としてはライブ会場を模したステージとスラム街の共存や、アクターの巨大化など、どれも現実とは少し離れている表現やビジュアルの組み合わせを用いた。これらの表現のヒントはFortnite のバーチャルライブから得ている。また、逆に現実に忠実な部分としては宇宙のジャンプ力上昇や花火、水の表現などがある。これらはコントローラーの振動と連動する部分であるため、ビジュアルや体験のリアリティをそがないようにした。これらの表現はオーソドックスで、想像ができるようなものにした。その理由としては、適度に没入でき、かつ振動の方への体験を阻害しないようにするためである。また、他ユーザーの代替としてキャラクターを配置し、大人数で同時に同じ場所にいる体験を模し、臨場感が上昇するようにしている。そしてメインキャラクターとして他のキャラとは違うメインアクターを実装した。実装した理由としては、実際のライブではメインアクターと呼ばれるパフォーマーが存在していること、そして体験をする際のユーザーが目的を見失わないようにするためである。
そして、全体としてソフトの重さが目立たないよう、なるべく軽くなるような設計にした。

コントローラーの振動
振動の表現としては花火、水、月面歩行時の着地、の3つを実装している。各振動はブループリントによって制御しており、振動の発生とバーチャルライブ内のビジュアルの変化のラグを最小限にするように設計した。その理由として、振動の情報そのものが、理解されなくなってしまうためである。ビジュアルの変化に振動の発生が追い付いていない、またはその逆が発生してしまうと、ユーザーの体験の質が顕著に落ちてしまう。そうならないために、ラグをなくし、同時に発生させなければならない。そしてこれら3つの振動の項目を採用した理由としては、環境やライブというものから推測しやすく、発生した時の認知の違和感が発生しない、かつ振動が発生した場合に認知が早いことから採用した。そして、これらの振動は、同時に発生しないように設定してある。振動を同時に発生させてしまうと、振動に特徴を付けたとしてもわからなくなってしまう。そのため、すべての振動が被らないように演出をしている。実際に付けた各振動の特徴としては、花火の場合、インパクトを発生させるような振動で、一回の鋭い振動を左右のモータ-によって発生させている。水に関しては弱い振動を長めに発生させることで、水中歩行時のもたつき感を演出している。アステロイドの歩行時の衝撃に関しては、花火同様インパクトを優先した振動に設定されている。

ボディソニックウーファ-
ボディソニックウーファーの形は従来のチョッキ型ではなく、首掛け扇風機のような形を選択した。理由として、バーチャルライブを家で視聴する際の手軽さや、鎖骨周辺への伝達に適した形であると考えたからである。パーツとしてはヘッドホンのユニット部、ステレオスピーカーのサーキット部を使用し製作した。また、ローパスフィルタ、パライコライザーとしてdbx DriveRackPxを使用した。ローパスフィルタの設定としては160Hzから上の周波数をカットしかつ、入りの信号を10db分増幅させる。それにより、音を構成する上で物を揺らす性質を持つ低音域のみ出力することができる。その後、パライコライザーによって100Hz近辺を10db増加させている。ここで局所的に周波数を上げることには、2つ理由がある。1つ目は100Hzが物を揺らす性質を最も持っているため、ボディソニックウーファーとして効果的であるからである。そして2つ目は全体を上げてしまうと音の位相により音が埋もれてしまい、結果的に音の振動を上手く伝えることができなくなってしまうためである。また、音の振動をうまく伝導させるために、コーン紙のみの振動だけではなく、イヤーマフを装着し、そこから伝導させる形をとる。これにより、凹凸に対応して均等に振動を伝えることができ、かつ、コーン紙のみの場合よりも人体への振動の伝導率が高かった。使用方法については、鎖骨上部に固定し、振動させる。

使用方法
ボディソニックウーファーを首から下げ、鎖骨につくようにセッティングする。その後ヘッドホンをはめ、プレイする。

検証
本装置が実際に体験の質を上昇させているのかを実証するた
めに、以下の条件で検証を行った。六畳ほどの空間でヘッドホ
ン、ボディソニックウーファーを装着し、コントローラーを操作しバーチャルライブを体験してもらった。その後、ボディソニックウーファー、コントローラーの振動を切り体験してもらい、インタビュー形式で感想を聴取した。その結果、体験の質が向上し、ライブ感が発生したといった結果があった。その反面、今回作成したボディソニックウーファー特有の装着のしづらさが仇となってしまい、上手く鎖骨に伝導させることができないといった課題も生まれてしまった。また、振動がくすぐったいや痛いという声もあり、ユーザーの体型等による個人差が生まれやすいと考えられる。しかし、全員コントローラーの振動の発生項目は理解しており、コントローラーの振動の方は問題がなく作成することができていたことがうかがえる。

まとめ

今後の展望
この研究で製作したボディソニックウーファーの形を変えることで様々なものに応用できると考えられる。例を挙げると椅子型にすることでより、体表への伝導性が増し、体験の質が向上すると考えられる。また、車の座席に仕込むことでドライブ時の音楽体験の向上や、車からのフィードバックの向上など、バーチャルライブだけではなく、様々なものに応用可能であると考えた。今後、音の振動をウーファーの延長としてだけではなく、ハプティックデザインとして別の情報を乗せることができると応用の幅が広がると考えられる。

参考文献

鎖骨への触覚提示による体表伝搬振動とその音楽体験への影
響 岡崎 龍太, 櫻木 怜, Vibol Yem, 梶本 裕之 2016
https://www.jstage.jst.go.jp/article/tvrsj/21/4/21_645/_article
/-char/ja
ファミ通 PS5の新コントローラー、デュアルセンスの特徴は? その使い心地や基本情報を総まとめ
https://www.famitsu.com/news/202011/08209080.html
4DXとは https://www.cinemasunshine.co.jp/4dx/about/
身体で聴こう音楽会とボディソニックについて
https://jpn.pioneer/ja/corp/sustainability/karadadekikou/about
https://www.udiscovermusic.jp/ ミュージシャンとツアーの歴史:ヴォードヴィルからフェス、巨大ライブまで
https://panora.tokyo/top.html VTuber専用スタジオ「BitStar Akihabara Lab」を激写! コラボ配信や歌・ASMRの収録にも便利
https://www.cinematoday.jp/ ライブビューイングの先駆は日本?映画館の可能性
https://automaton-media.com/クラウドゲーミングサービス「GeForce NOW」日本では6月に正式サービス開始へ。
/

研究を終えて

今回研究を通して感じたことは、無理に片方のものに合わせずにそのままということも解決策の一つとしてあることです。今回私はバーチャルライブを現実のライブに近づけるというものを研究しました。しかし、それには多くの機材が必要になってしまいました。結果としてライブに近い体験を得られましたが、それはあくまで近いというだけで完ぺきではありません。そして、ユーザーはこの体験の向上を求めているのでしょうか。バーチャルライブはバーチャルライブ。現実のライブは現実のライブとして別のものとしてみるというのも1つの正解なのかなと感じました。これから生まれるであろうバーチャルのものに対して、現実への忠実さというものを求めすぎることはナンセンスなのではないかと個人的に感じました。

メニュー