Mixed Realityから始まる産業革命

Mixed Realityから始まる産業革命 武蔵精密工業が生産技術の分野にMRを活用 遠隔支援で海外の生産ラインを続々と立ち上げへ

離島の数が日本一多い長崎県。その中心部にある長崎大学病院と離島にある長崎県五島中央病院(以下、五島中央病院)が、MR(複合現実)と 3D カメラを融合させたリウマチ遠隔診療システムを開発した。2つの病院をバーチャルにつなぎ、専門医による高度な診療を離島でも可能にする。患者の指の細かい皺までを 3D ホログラムで再現。遠隔地にいても、まるで患者が目の前にいるかのように診察できる。医療格差に苦しむ離島の医療を救う画期的な試みとして期待が集まっている。

患者の手がそこにあるかのような臨場感

長崎大学大学院医歯薬学総合研究科
先進予防医学共同専攻
地域医療学分野 講師
川㞍 真也 氏

長崎県は離島の数が日本一多いだけでなく、リアス式海岸の影響でへき地も多い。離島やへき地は高齢化が進み、都市部との医療格差に苦しんできた。
関節リウマチは医学的な専門性が高く、知識と経験を持つ専門医でなければ十分な治療が難しい。離島やへき地の患者が専門医の治療を受けるには、本島の病院へ行く必要がある。1~2日がかりの行程になるうえ、悪天候で船や飛行機はすぐに欠航する。関節リウマチを患う方にとっては負担が大きい。
そんな長崎の地に、待望のシステムが誕生した。MR と 3D カメラを活用した関節リウマチの遠隔診療システム NURAS (ニューラス、Nagasaki University Rheumatoid Arthritis remote medical System)だ。
五島列島にある五島中央病院の診察室において、患者の患部を汎用性の高い設計で高精度な空間認識を可能にする3台の 3D カメラ「Azure Kinect DK」が3方向から撮影する。その詳細な 3D データを100キロメートル離れた長崎大学病院へリアルタイムに送る仕組みだ。「HoloLens 2」を装着した専門医は、ホログラムによって患者が目の前にいるかのように診察できる。また、2つの部屋をビデオ会議システム「Microsoft Teams」でもつなぎ、お互いの顔を見ながら会話を行う。

Azure Kinect DK を活用した診察の様子。
HoloLens 2 を装着した専門医の様子が、Microsoft Teams を通じて確認できる

このホログラムを初めて見たとき、長崎大学大学院医歯薬学総合研究科 先進予防医学共同専攻 地域医療学分野 講師の川㞍真也氏は驚いた。「患者の手がそこにあるかのような臨場感です。手の側面や裏側も自在に観察できました」(川㞍氏)。

高精細な 3D ホログラムで指の皺までリアルに再現

長崎大学大学院医歯薬学総合研究科
離島・へき地医療学講座
(離島医療研究所) 助教
野中 文陽 氏

「手の腫れの状態は、皮膚の細かい皺を見て判断します。皮膚の表面を忠実に再現できなければ、関節リウマチの診察には使えません」(川㞍氏)。体表の凹凸がきれいに表現されなければ、腫れの状態がわからないという。
また、関節リウマチの診察では、患者の手を動かしながら反応を見る。どの動きができないか、どの指が動きにくいか、関節に腫れはないか、どれくらいの痛みがあるかなどを確かめなければならない。患者の手を動かした時の反応を、専門医にリアルタイムに伝える必要がある。
システムの開発はロケットスタジオが担当し、日本マイクロソフトが全面的にバックアップした。2020年の夏ごろから Teams による定例ミーティングを毎週行い、開発要件を詰めていった。
「医師の立場から必要なことを伝えると、ロケットスタジオとマイクロソフトの皆さんが努力して対応してくれました。開発は意外にスムーズで、ほぼ予定通りに進みました」(川㞍氏)。ロケットスタジオから試作版を送ってもらい、医師側はそれを見ながら要望を出した。開発の初期段階では指の形状が角張って見えたり、3台のカメラ映像がずれてしまったりしたが、そうした課題は徐々に解決されていった。
また、五島中央病院で対応した長崎大学大学院医歯薬学総合研究科 離島・へき地医療学講座(離島医療研究所)助教の野中文陽氏は「ボタンの配置やインターフェイスも使いやすいように細かく調整してくれました。要望をかなり実現していただいた実感があります」と語る。使いやすいツールに仕上がったことで、医師たちのモチベーションは大いに向上したという。

HoloLens 2 を装着した医師が見る映像イメージ

2020年12月にはほぼ実用に耐えるレベルに漕ぎ着け、2021年2月から診療現場で実証実験がスタートした。
日本マイクロソフト技術統括室で医学博士の肩書を持つ千葉慎二氏によれば、「診療現場にホログラフィックを導入できるかどうかは、医師の負担をどこまで軽減できるか」にかかっている。
「HoloLens 2 は小型で軽く、長く装着しても疲れません。これは重要なことです」(川㞍氏)。また野中氏によれば、Azure Kinect DK も予想以上にコンパクトだった。「意外なくらい場所を取りません。固定用の治具を容易に組み立て、3台のカメラを繋げるだけなので設置も簡単です」(野中氏)。

HoloLens 2 と Azure Kinect DK はどちらも小型なため、装着・設置が簡単。専門医に負担をかけないことは導入障壁を取り除く大きな点だ

実は、野中氏は1年ほど前に今回とは異なるシステムで遠隔診療を経験したことがある。野中氏が小型カメラ付きのスマートグラスを装着し、遠隔地にいる専門医と会話しながら患者を診た。しかし、このシステムは使いやすいとは言えなかったという。
「専門医の声が私のイヤホンにしか聞こえないのです。私が専門医との会話に夢中になると、患者は置き去りにされているように感じるかもしれません。また、私の視野とカメラの画角が少しずれているため、専門医に見せたい部分を撮影する際、微妙な調整が必要でした。送るデータも2Dです」(野中氏)。
今回のシステムは、患者の患部を 3D データで送ることに意義がある。3D だからこそ、HoloLens 2 を装着した専門医は場所や角度を変えて自分の見たい部分を自由に観察できる。専門医がデータを見ている間、現場にいる野中氏と患者は自然に会話ができ、患者を置き去りにすることはない。
しかも、長崎大学病院にいる専門医の表情や動きは、Teams を介して離島にいる患者と野中氏にも見えている。野中氏、患者、専門医の3人がそこにいるかのような臨場感を生み出し、リラックスした雰囲気で診療を進められる。
「診察室の主役は患者です。このシステムは患者を中心に据え、現地のかかりつけ医と遠隔地にいる専門医が協力して診察できる体制を作ります。患者に安心感を与えられることが、何より素晴らしいと思います」(野中氏)。

AI の実装で医師の診察を支援、さらなる高みを目指す

今後は、このシステムに Azure の人工知能(AI)を実装する計画だ。表情認識、言語認識、画像認識の3分野で AI を活用する。
表情認識では、患者の顔の表情を Azure Kinect DK で撮影し、その変化を AI で客観的に評価する。通常は「今日の痛みは1から10で言うと何点?」とか「手のこわばりは1から10で言うと何点?」など、患者の自己評価を問診やアンケートで聞く。しかし、これだけでは患者の主観に大きく影響されてしまう。
そこで、患部を動かしたときの患者の表情を AI が評価し、痛みや違和感の度合いを定量的に評価することで、医師の正確な判断を支援する考えだ。
患者へのアンケートは今後も継続する。従来は紙ベースなので集計に手間がかかっていたが、今後はタブレット端末「Microsoft Surface Go 2」で回答してもらい、自動的に集計できる仕組みに変える。
言語認識では、患者と医師の会話を AI が認識してテキスト化し、電子カルテに記録する。患者の話を漏れなくフォローし、診療方針に生かすためだ。また、患者が本当に伝えたかったことは何か、医師に遠慮して言えていない可能性はないかなど、テキスト化した会話から患者の意志を解析し、医師へのフィードバックを図る。

AI を活用した言語認識のイメージ。会話内容がテキスト化され、診療方針に生かされる

画像認識では、Azure の AI サービス「Custom Vision」を活用する。Azure Kinect DK で撮影した患部データを AI で解析し、腫れの程度を自動評価するシステムを目指す。「医師が気づけていない微妙な変化をAIが検知できれば、さらに患者に寄り添った診療が可能になります」(野中氏)。医師が AI を活用する時代へ向けて、1歩も2歩も踏み出したい考えだ。

多数の離島をつなぎ、医療体制の強化を目指す

長崎大学大学院医歯薬学総合研究科
先進予防医学共同専攻
リウマチ・膠原病内科学分野 教授
長崎大学大学院医歯薬学総合研究科長
川上 純 氏

本プロジェクトを統括した長崎大学大学院医歯薬学総合研究科長で同先進予防医学共同専攻 リウマチ・膠原病内科学分野教授の川上純氏は、今回の成功は複数の要因が支えていると語る。
「長崎大学と五島中央病院の長年の信頼関係がなければ、これほどスムーズには行かなかったでしょう。また、野中先生が所属する離島・へき地医療学講座は長崎県と五島市の寄付金で運営されています。離島の医療を本気で考える自治体の協力がありました」(川上氏)。

「このシステムが持つ可能性を最大化するには、医師や患者だけでなく、看護師を含む医療スタッフ全員の協力が必要です」(野中氏)。システムを活用する現場では、患者への丁寧な説明や、3D 撮影を円滑にするための介助などが必要だ。離島で苦しむ患者を1人でも多く救うため、医療関係者の理解と協力を広げたいと野中氏は語る。
今回はまず、本島と直接行き来ができる一次離島の五島中央病院をつないだ。実は離島とはいえ、五島中央病院のある一帯は立派な市街地だ。
これが成功したら、本土と直接往来できない二次離島にもつないでいきたいと川上氏は話す。「本島、一次離島、二次離島が縦につながれば、長崎県の医療体制はかなり強くなります。また、同じ悩みを抱える日本各地の離島やへき地、さらにはグローバルへの広がりも期待できます」(川上氏)。他の病院や治療への応用も進んでいくだろう。
川上氏は先が楽しみだと語る。関係者の理想は高く、期待は大きい。このシステムは今回1つの成功を見たが、その挑戦はさらに続いていく。

Microsoft HoloLens についての詳細はこちら→