MRとの融合とは、いけばなにとってどのような意味を持つのだろうか。
小原氏は、「若い世代に対しては、日本古来の美や価値観をMRでより直感的に伝えることができます。ベテランの世代に対しては、従来の表現手法が一気に広がることを、わかりやすく見せることができます」と語る。
一方、山田氏は写真を例に説明する。「モノクロ写真では、色彩や奥行きなど、表現できない部分を鑑賞者の想像に委ねます。カラー写真なら、作者が表現できる可能性が広がります」（山田氏）。同様に、MRは従来の表現手法の限界を突破するだろうと話す。
伝統と言えば、何か古びたもののように感じられるが、実は時代ごとに新しいものを取り入れてきた蓄積だ。MRという新たな表現手法を手に入れ、日本文化はさらに進化する。その一方で、それを見た外国人が独自の感性で日本文化を再解釈し、新たな創造につなげる。
「日本の寿司を見て、米国人はカリフォルニア・ロールを生み出しました。グローバルな時代ですから、日本人と外国人、両方の感性があってよいのではないでしょうか」（山田氏）。
小原氏が行ったパフォーマンスでは、まず、レーニア山とオリンポス山という、ワシントン州を代表する二つの山を表現した舞台に花を生け、作品をいったん完成させる。これが第1部だ。次に、小原氏が HoloLens 2 を装着し、完成したいけばなとMRの融合によって新たな世界を見せる。それが第2部だ。
第2部では、舞台上のレーニア山とオリンポス山のふもとに詳細なコンピューター・グラフィックス（CG）でシアトル市の街並みが出現した。数メートル程度に見えていたいけばなが、突然、街との対比で数10キロの広がりを持つ光景に変わる。
かと思えば、街が消え、舞台の床から7本の竹がニョキニョキと伸びてきて、小原氏がそれをカットし、作品に加える。花吹雪が舞って春になり、山は緑に覆われる。清らかな水の流れがいくつもの川筋を作る。こうした動きをCGで表現し、幻想的な風景を連続的に見せていく。
小原氏は、従来の「静」のいけばなでは表現できないものを、「動」のMRで表現したいと考えていた。「咲いていた花が落ちて、そこから芽が出て、成長して木になる。従来のいけばなでは表現できない、命の循環を表現できたら面白いと思いました」（小原氏）。
「静」のいけばなでも、小原氏は四季の移ろいを表現することがある。例えば、赤い花の上に雪が積もり、温かさと冷たさが同居する幽玄な世界観を表現する。だが、そうした表現は、日本の四季や文化を知る日本人だからこそ理解できるもの。気候や言語が異なる外国人にとっては難しい。そうした部分をMRで表現すれば、誰にでも理解しやすいパフォーマンスが実現できる。
MRアプリケーションの開発は、南国アールスタジオが担当した。同社は製造業や建設業を中心に、 HoloLens 2 を活用したデジタルトランスフォーメーション（DX）の支援や、拡張現実空間におけるコミュニケーションプラットフォームの開発に取り組んでいる。
開発における最大の焦点は、小原氏が HoloLens 2 で見ている映像を、会場にいる500人の観客とどう共有するかだ。観客全員に、HoloLens 2 を装着させるわけにはいかない。となれば、来場者全員が見られる巨大スクリーンに、MRの3D映像を投影する必要がある。もちろん、物理空間の映像とCGを合成したうえでだ。
また、小原氏が HoloLens 2 で見ている主観的な映像には、当然ながら、小原氏自身は映っていない。しかし、観客が見たいのは小原氏の動きであり、物理的な物やCGと格闘する姿なのだ。HoloLens 2 の映像をそのままスクリーンに出すことはたやすいが、それでは観客は納得しない。そこで今回は、担当者のiPhoneを使って、小原氏のパフォーマンスと、小原氏が HoloLens 2 を通して見ている CG を同時にスクリーンに投影できる Spectator View という仕組みを利用することにした。
今回、iPhoneアプリからの投影を通じて、来場者全員がMRの世界を感じることができた。
[クリックで写真を拡大する]
ライブである以上、小原氏の動きとCGを完全に同期させる必要がある。そのためには、 HoloLens 2 とiPhoneの空間認識を一致させなければならない。その部分が、技術上の課題となった。特に、コンサートホールのような大きな会場では、空間認識で誤動作が起きやすい。照明を最適化し、空間認識に有利な場所を選んでCGを出すなどの工夫をした。
南国アールスタジオの代表取締役を務める秦勝敏氏は、今回の挑戦で様々な技術とノウハウを確立できたと話す。「これまでは、全員が HoloLens 2 を装着しないとビジョンを共有できませんでした。しかし、今後はiPhoneでも容易に共有できます。違う角度で撮影した情報を同期させる技術も確立でき、ビジネスへの応用が期待できます」（秦氏）。HoloLens 2 とiPhoneの同時使用に関して、自信を深めることができたという。
今回、芸術家の小原氏が実現したいアイデアと、開発に携わるエンジニアの間を橋渡しするために活躍したのが、ストーリーボードだ。言葉で伝わりにくい内容をすべて絵で表現し、齟齬のない確実な意思疎通を目指した。
小原氏がストーリーボードにコメントを加え、それを開発者がアプリケーションに反映させる。小原氏の立ち位置や動きも、ストーリーボードによってビジュアルで確認した。特に難しかったのは、水の流れるシーンだ。「上流にモミジの葉を浮かべて秋を表現し、下流ではまだ秋になる前の状態を表現したい」など、家元の要求は高度だったという。「流れる水の表現へのこだわりは強く、何度も修正しました」（秦氏）。最終的に全員の努力は実り、本番はリハーサルを含む中で最高の出来になったという。
今回のパフォーマンスは、最先端の IT テクノロジーとの連携に前向きな小原流、日本の文化を新しい形で紹介しようとした在シアトル日本国総領事館、史上初の取り組みに強い意欲を見せた南国アールスタジオの三者が協力して実現した。HoloLens 2 が芸術のライブパフォーマンスに活用された事例は、これが初めてとなる。新たな挑戦という意味で、確かな足跡を残せたと言えよう。
また、広い会場で HoloLens 2 とiPhoneを同時に使用し、大きなスクリーンを介して多数の観客と共有できたことも、MR活用のさらなる可能性に一石を投じた。これを機に、芸術や文化活動の分野における HoloLens 2 の活用はさらに広がるだろう。製造業のラインや医療現場など、ビジネスにおけるMR活用へも大いに期待される。近い将来、「今回のイベントは小さな一歩だが、MRにとって大きな一歩だった」と語られる日が来るかもしれない。
