「ALS（筋萎縮性側索硬化症）」という病気をご存知だろうか。難病指定を受ける病気のひとつで、運動神経の損傷により脳から筋肉への指令が伝わらなくなることで、全身の筋肉が少しづつ動かしにくくなるというものだ。一般的に、身体を自由に動かすことができなくなっても、脳の機能や皮膚感覚、視力や聴力、内臓機能などは保たれることが多い。
こうした難病を抱えるなかで、テクノロジーの力で“ふたたび身体性を手に入れる”ことに挑戦する人物がいる。ALSアーティスト・武藤将胤だ。
一般社団法人・WITH ALS代表を務め、DJとしても活躍する武藤氏は現在、Dentsu Lab Tokyo、NTTと協力し、リアルタイムでメタバース上のアバターを操作できるプロジェクト『Project Humanity』に取り組んでいる。同プロジェクトは9月8日からオーストリア・リンツ市で開催される「アルスエレクトロニカ・フェスティバル」にて発表する予定だ。
プロジェクトの根幹となるのは、身体の微細な筋活動によって得られる生体情報「筋電」だ。冒頭でも述べた通り、ALSは「運動神経の損傷により脳から筋肉への指令が伝わらなくなる」病気だ。しかし、それは一切の電気信号が遮断されるということではなく、また脳から指令が送られなくなるということでもない。神経を流れる電気信号を拾って、操作情報に変換し、入出力をおこない、これを利用したシステムを構築、メタバース上の3Dアバターを動かすというのが『Project Humanity』の概要だ。
今回、筆者は『Project Humanity』の技術説明会に参加、武藤氏がリハーサルをおこなう様子を間近で見た。Dentsu Lab Tokyo・田中直基氏、NTT・中村真理子氏、WITH ALS・武藤将胤氏の3名に、本プロジェクト設立の背景と経緯から、メタバースの可能性と身体性への喜びまで、話も聞けたのでぜひお届けしたい。（三沢光汰）
■「筋電」をもとにアバターを“自分の意思で動かす”
冒頭でも述べた通り、『Project Humanity』は「筋電」を操作情報としてアバターを動かすという試みだ。身体の6ヶ所に取り付けた筋電センサーからの信号を「オン」「オフ」に切り分け、視線操作との組み合わせで動作を決定する。筋電の操作、つまり「動かす」という意思（指令）が実際にアバター上に反映されること、つまり「身体性を取り戻す」というコンセプトを嘘偽り無く実現するシステムとなっているところが本プロジェクトの最も画期的な点といえる。
ALS共生者が身体を動かした際の微細な動きを、筋電データとして取り込む。すると、はっきりとした波形で検出されるので、それを視線操作との組み合わせでアバターのモーションに反映させる。この一連の流れをもう少しわかりやすく例えると、エレキギターとアンプの関係性に近いかもしれない。ギターの弦を鳴らした際に発生する波形を、ピックアップで検出し、アンプで増幅する。筋電センサーの取り付け位置はどの弦を鳴らすか、視線は弦を抑える運指の役割を担うといったところだろうか。
右腕の筋肉を動かせば右腕が動き、視線によって動作を決定する。そして、首を左右に振る動きでアバターの左右への回転が可能になる。実際に動作している様子を見てみると、一般的なVRゴーグルとコントローラーを用いた動作よりも“有機的な動き”であることに驚かされる。武藤氏の「こう動かす」という意思がアバターにしっかりと反映されているとはっきり感じられた。
理論的には、手首、指先などにもセンサーを取り付けて複雑化することも可能だろう。しかし、今回のプロジェクトではそうした煩雑さが極力抑えられている。「武藤氏の意思でアバターが動くことが第一」というコンセプトがチーム全体できちんと共有されており、誤動作を防ぐための複数の工夫がなされている。先に述べた「視線によって動作を決定する」、逆にいえば視線で動作を確定するまではアバターのモーションに反映されないこともそうであるし、筋電センサーの閾値も武藤氏と話し合いながら設定していったこともその一つだ。
■プロジェクトの設立背景と、武藤氏が感じた“メタバースの可能性”
リハーサルの合間には武藤氏へのインタビューもおこなわれ、目の前で我々の質問にも回答してもらったのだが、インタビューの内容をお伝えする前に、前段としてNTTが取り組む「音声合成技術」についても紹介したい。
ALSと共生する人々の言葉として、「コミュニケーションが、何より重要」という一文がNTTのプレスリリースに掲載されている。ALSが進行すると、徐々に呼吸機能も弱まっていくことから、人工呼吸器を装着する共生者が多い。しかし、生きるためのその選択は「声を失う」という結果をもたらす。それによって社会との断絶をおそれるという人も少なくないそうだ。
こうした中で、近年のAI技術の進歩が有効に働く。本人の声を録音・学習することで、自然な形で本人の声色を再現し、「自分の声」で会話をおこなっていけるようになった。さらに、NTTは昨年、数分程度の録画映像の音声から本人らしい声を再現することに成功し、今年はさらに短い数秒程度の映像からも合成音声を作成することができている。この様子は6月に開催された『MOVE FES. 2023』で発表され、その後に続く取り組みとして今回の「筋電センサーによるアバター操作」へと繋がっている。
今回のインタビューでも、武藤氏は視線誘導による文字入力を用いて、自身の声で取り組みを通じて身体性を再び手に入れたことへの喜びや「メタバース」に感じる可能性、自身の活動との親和性などを語ってくれた。
ーー今回の取り組みを体験してみての感想はいかがでしたか？
武藤将胤（以下、武藤）：今回のこの『Project Humanity』を通じて、ALSによって失った身体機能をただ補完するだけでなく、身体を拡張することができた感覚だったので、とてもワクワクしています。久々に身体を解放して、僕の音楽で世界中のお客さんと踊ったり、手拍子などで盛り上がったりできるのが今から楽しみです。“ALS患者の身体は動かない”という固定概念を、テクノロジーとクリエイティブの力で覆したいと考えています」
ーーありがとうございます。メタバースとアバターを用いた表現は、年々利用するパフォーマーが増えています。武藤さんから見てメタバースにはどんな可能性がありますか？
武藤：メタバースの世界は、ALSなどで寝たきりになってしまったとしても、あらゆる人が『BORDERLESS』に活躍できる世界になっていくと思っているので、新たな表現の場として期待しています。
僕は視線入力DJのアーティストとしても活動しているので、このプロジェクトで身体を拡張できたことで、世界中でライブができるようになるので、これからがとても楽しみです。さまざまなライブをしてきましたが、どうしてもお客さんとインタラクティブに身体を動かせないもどかしさがあったので、今回のプロジェクトはその身体的制約を突破できるのがうれしいですね。たくさんの身体障害を抱える仲間たちの希望になってくれたらと願っています。
田中氏、中村氏が語ってくれたところによれば、今回の筋電センサーを用いた取り組みは初実験が3月末におこなわれたそうだ。取材日である8月末に至るまでの短い期間で実装・発表にこぎつけており、それを踏まえるとより今後の最適化次第ではさらなる発展に期待がもてる。
現在はまだセンサーが高額であることから誰でも気軽に使えるわけではないということだが、『Project Humanity』が披露する今回のパフォーマンスは、間違いなく多くの人に新たな可能性を提示するものだろう。9月8日からの『アルスエレクトロニカ・フェスティバル』での発表と、その後の反響が今から楽しみだ。
〈参考〉
・難病情報センター「筋萎縮性側索硬化症（ALS）」https://www.nanbyou.or.jp/entry/52
・Dentsu Lab Tokyo運営事務局プレスリリース https://prtimes.jp/main/html/rd/p/000000022.000088502.html
・「音声合成技術」について、NTTプレスリリース
https://group.ntt/jp/newsrelease/2023/06/14/230614a.html
■登壇概要
イベント名：アルスエレクトロニカ・フェスティバル
日程：9月8日（日本時間）
場所：オーストリア・リンツ
会場：Deep Space 8K
登壇者：田中直基（Dentsu Lab Tokyo）、中村真理子（NTT）、武藤将胤（WITH ALS）
（文・写真・取材＝三沢光汰）
コメント