画像技術が切り拓く未来

臓器の変形、移動をリアルタイムに追従

プロジェクションマッピング技術が
手術現場を革新

元田光一

POINT-研究員の眼

日経BP 技術メディア局 局長 河井保博氏

  • 高度な専門知識と繊細かつ熟練した手技、そして高い集中力。当然、それに対応できる人材は限られます。先進技術により、そのハードルを下げたのが、このMIPSの事例です。導入コストなど課題はありますが、製造現場などほかの領域にも応用は効きそうです。今後の広がりが楽しみなソリューションです。

建物や舞台などに映像を映し出し、さまざまな演出を行うプロジェクションマッピングは、最先端のエンターテインメント技術として活用されている。そのプロジェクションマッピング技術を、医療の分野でも活用する試みが進められている。京都大学とパナソニック、三鷹光器は、手術中の変形や移動をリアルタイムに反映して臓器に直接切離線などを投影する、手術支援システム「Medical Imaging Projection System(MIPS)」を開発した。パナソニックが持つ最先端の画像処理技術が、医療の分野でどのように活用されようとしているのか。

(動画)臓器の変形、移動にリアルタイムで追従し、手術情報を直接投影する手術支援システム、MIPS

肝臓の腫瘍摘出手術の課題を解決する
プロジェクションマッピング技術

動物の体内にある臓器は、大きく2つの種類に分類される。胃や腸のように中身が空洞になっている臓器は「管腔臓器」と呼ばれ、これに対して、脳を含め肝臓や腎臓など中身が詰まった臓器は「実質臓器」と呼ばれている。一般的に、実質臓器は管腔臓器に比べて出血量が多く手術の難易度が高い。

例えば肝臓がんによる腫瘍摘出手術の場合、出血のコントロールと肝機能の温存が必要になる。とはいえ、事前にCTスキャンなどによって臓器内の腫瘍の位置が把握できても、実際の手術では肝臓の外側から切離を進めていくための目印がないことが手術を困難にしている。

最近では、肝臓の腫瘍摘出手術を少しでも効率的に行えるよう、手術前に臓器の3D画像を見ながらシミュレーションが行われている。そして、近年注目されているのが、近赤外線光によって蛍光するインドシアニングリーン(ICG)という色素を体内に注入し、手術中に医師が赤外線カメラでリアルタイムにICGの蛍光画像を見ながら切離を進めていく「蛍光ナビゲーション手術」だ。

しかし、こういった最新の技術を利用しても、肝臓の腫瘍摘出手術にはまださまざまな課題が残されていると、京都大学 外科(肝胆膵・移植外科)の瀬尾智氏は説明する。

「手術前のシミュレーションでは、とても精緻な3D画像が利用できます。ところが、肝臓は非常に柔らかい臓器なので手術中に簡単に変形してしまい、リアルタイム性が保てないのです。また、蛍光ナビゲーション手術では、手術の際に医師が逐次モニターを見て腫瘍の位置を確認する必要があり、頻繁な視線の移動が負担になります。さらに、光の干渉を避けるために無影灯を消しておく必要があり、手元が暗くなります。重量がある赤外線カメラを使うための人員も、確保しなければなりません」(瀬尾氏)

京都大学 外科(肝胆膵・移植外科)
助教 医学博士
瀬尾 智氏

蛍光ナビゲーション手術自体はとても有用性がある。そこで、これらの課題を解決すべく瀬尾氏が注目したのが、パナソニックのプロジェクションマッピング技術だ。

臓器の変形にリアルタイムに追従することで
患部の見える化を実現

パナソニックのプロジェクションマッピング技術と、三鷹光器の医療用顕微鏡製造技術を組み合わせた手術支援システム「MIPS」は、赤外線カメラで撮影したICGの蛍光映像を、プロジェクターを使って患者の臓器に直接投影する手術支援システムだ。カメラとプロジェクターは光学系の軸を誤差無く合わせているので、臓器が動いたり変形したりしてもリアルタイムに追従する。

京都大学とパナソニックが共同研究したMIPSによる肝臓手術

MIPSを活用することで、執刀医は視線を動かすことなく手術に集中できる。また、MIPSは蛍光領域以外も白色で照らせるため、無影灯を使わずにMIPSの光のみでの手術が可能になるというのだ。

手術支援システム「Medical Imaging Projection System(MIPS)」

ボタン一つで操作を明るさの調節を行うことが可能

三鷹光器の中村勝之氏は、MIPSの開発における同社の役割について、次のように説明する。

「MIPSでは、パナソニックの赤外線カメラやプロジェクターなどの画像機器を組み込んだ筐体を設計しました。弊社は脳神経外科や形成外科などで使われる、片手1本、指1本で動かせるサスペンションアームを搭載した手術用顕微鏡を製造しています。MIPSにもそのノウハウを注ぎ込むことで、長時間に渡る手術での医師への負担を軽減しました」(中村氏)

三鷹光器株式会社
取締役
先端医療機器開発室長
中村 勝之氏

肝臓以外の部位の手術にも
MIPSの適用に期待

京都大学では、乳がんが転移しているかどうかを調べるセンチネルリンパ節生検においても、MIPSを活用しようとしている。京都大学医学部付属病院 乳腺外科の高田正泰氏は、そこでのMIPS活用にも、さまざまな有用性があると説明する。

「手術中に皮下脂肪に埋もれているセンチネルリンパ節を探し出すのは、結構時間がかかる面倒な作業になります。そこで、乳輪のあたりからICGを注入してその動きを赤外線カメラで追っていけば、容易にセンチネルリンパ節にたどり着けます。従来の蛍光ナビゲーション手術では肝臓手術と同じような課題があるのですが、MIPSはその課題を克服できます」(高田氏)

京都大学医学部付属病院 乳腺外科
医師 医学博士
高田 正泰氏

肝臓の腫瘍摘出にしてもセンチネルリンパ節生検にしても、専門性の高い手術である。しかし、MIPSがもたらす功績は、医師が専門性の高い手術を効率的に行えるだけではない。MIPSによって外科手術のハードルが下げられれば、地方の医院でも専門性の高い手術が受けられるようになる。また、短時間で効率的に手術が受けられれば、患者の体への負担も軽減される。

瀬尾氏はMIPSが医学界に普及していくことは、外科医師のスキルアップにも繋がると述べる。

「外科医にとって手術の基礎は解剖です。そして、解剖の根幹となるのは脈管なのです。MIPSで血流の有無がリアルタイムに見える化できれば、さまざまな手術にも応用可能になると思います。今後、MIPSは医学界に革命を起こすかもしれません」(瀬尾氏)

プロジェクターを連動させ、肝臓の位置を追従することが可能

AMEDに採択され
臨床試験機を開発

京都大学とパナソニック、三鷹光器との3者で進められたMIPSの開発は、どのような経緯で取り組みが始まったのか。パナソニック コネクティッドソリューションズ社の川村壮一郎氏は、「2013年頃に弊社先行開発部門がプロジェクションマッピング技術を使ってさまざまな分野における課題解決に貢献できないかと、テーマを探していました。ちょうどその頃に京都大学医学部附属病院のドクターにご縁があり、赤外線カメラとプロジェクターを組み合わせた原理試作機を使ってプロジェクションマッピングのデモを行ったところ、評判が良く、この技術が手術にも応用できるかもしれないという話になりました」と振り返る。

パナソニック株式会社 コネクティッドソリューションズ社
セキュリティシステム事業部
インダストリアル&メディカルVSBU 戦略企画課
川村 壮一郎氏

京都大学とデモや実験を繰り返す中で、十分に有用性が感じられたことから、次に臨床試験での有用性実証フェーズに移行すべく、AMED産学連携医療イノベーション創出プログラム(ACT-M)に申し込んだ。その結果、AMED支援課題に採択され、共同開発プロジェクトが立ち上がった。その後、MIPSの実用化に向けた2年ほどの開発期間の中で、京都大学での臨床試験は約80症例行われた。このような経緯を経て、2017年からはセキュリティシステム事業部が、MIPSの商品化を目指して先行開発部門から事業を引き継ぐことになった。同時に手術用顕微鏡などを製造販売する三鷹光器株式会社の参画が決定した。

パナソニックはMIPSの画像処理に関わる基幹部品を開発製造し、三鷹光器に納品している。「このプロジェクトにおけるパナソニックの役割は、赤外線カメラやプロジェクターのモジュール、コントロールユニット、画像解析プログラムなどを開発して統合することで、見えなかったものを可視化することです。また、MIPSの赤外線カメラには、サブミクロンオーダーの高精度な接着技術など、パナソニックが以前から取り組んできた医療機器用カメラの製造技術が活かされています」(川村氏)

MIPS開発の肝になったのは
パナソニックの総合力

MIPSのプロジェクトリーダーを務める佐々木雄飛氏は、開発の苦労について「もともと、セキュリティシステム事業部は業務用カメラの開発を進める部隊でした。MIPSでは、カメラで撮るということだけでなくそれをズレなく投射するというアウトプットが必要です。同じパナソニックの中で、メディアエンターテインメント事業部のプロジェクターユニットが他社と比べても性能がよく、社内なので情報のやりとりもしやすい。したがって、今回のプロジェクトでは、当社のプロジェクターユニットを使用することにしました。しかし、このユニットは最初からMIPS専用に作られたものではないため、MIPSのヘッドに組み込む際の摺り合わせが大変でした。特に、赤外線カメラとプロジェクターの光軸を合わせる設計に苦労しました。ただ、いろいろな試行錯誤によってノウハウが溜まってきたので、今後別の分野でプロジェクションマッピングを製品化する際の設計に活かせると思っています」と語る。

パナソニック株式会社 コネクティッドソリューションズ社
セキュリティシステム事業部
インダストリアル&メディカルVSBU 開発部
佐々木 雄飛氏

一方で、このような苦労がパナソニックの画像処理ソリューションにおける優位性にも繋がっている。

「同じパナソニックグループの中で、さまざまなユニットやパーツを調達できたことが今回のプロジェクト成功に結びつきました。メディアエンターテインメント事業部で作っているプロジェクターを医療機器に応用するという発想は、パナソニックだからこそ生まれたのではないでしょうか。まさに、パナソニックが持つあらゆる分野での最先端技術の総合力が活かせたと言えます」(川村氏)

産学の連携を活かした開発が
さまざまな分野の課題解決にも役立つ

開発の課程で京都大学とパナソニック、三鷹光器は密な連携体制を組んでいる。試作1号機はパナソニックが開発したものだったが、それを基にパナソニックと三鷹光器のエンジニアはお互いの工場を行き来しながら、製品としての完成度を高めるミーティングを重ねた。そして、京都大学も交えての2カ月に1回の定例進捗会議の他にも、スカイプによる会議も適宜行われ、実際にどういった機能を乗せればいいのかといった意見交換が3者の間で頻繁に行われた。

中村氏はこのような開発体制を通して、「ここまで他の企業と密に連携を深めていったケースは、弊社にはありませんでした。今回は、特に赤外線カメラの基礎技術や、プロジェクションマッピングで画像を正確に位置補正して同期させるなど、パナソニックの技術力の高さと安定した製品供給体制に魅力を感じました」と語る。また、高田氏は医師の立場から、「異なる分野のエキスパートの方々と一緒に関わったことで、さまざまな勉強ができました。特に、現場で出た課題を拾って、すぐに解決策を持ってくるパナソニックの対応に感心しました」と語る。

手術支援システム「Medical Imaging Projection System(MIPS)」で操作する様子

MIPSの将来展望について瀬尾氏は、「今後は単色で血流の有無を浮き上がらせるだけでなく、血管や神経、腫瘍などを色別にプロジェクションマッピングできないかと考えています。そうすれば、肝臓だけでなくさまざまな部位の手術でも、残すものと切除するものの区別が付きやすくなります。パナソニックの技術力を持ってすれば、いずれ可能になるでしょう」と、パナソニックへの期待も込めて語った。

駅ホームからの転落を自動検知

乗客の安全を見守り続ける
画像解析技術

東京急行電鉄が新たに導入したという、駅ホームから線路へ転落した人を自動的に検知して通知する「転落検知支援システム」に迫る

記事を読む

富士急ハイランドで始まった顔パス

顔認証技術で、
次世代のアミューズメント体験を

富士急ハイランドは大きな変貌を遂げた。今回新たに導入されたパナソニックの「顔認証入退場システム」がもたらすメリットとはなにか

記事を読む

航空機に搭乗橋を自動装着

顔認証技術で、
次世代のアミューズメント体験を

新明和工業が完成させた、空港ビルと航空機を繋ぐ搭乗橋の自動装着システム。このシステムの開発に画像認識技術とAIがどのように使われたのだろうか

記事を読む

臓器の変形、移動をリアルタイムに追従

プロジェクションマッピング技術が
手術現場を革新

京都大学とパナソニック、三鷹光器が開発した手術支援システムMIPS。最先端の画像処理技術が、医療の分野でどのように活用されようとしているのか

記事を読む

顔認証技術とIoTで省力化・効率化を実現

「次世代コンビニ」が
店舗運営のあり方を変える

顔認証とIoTの最新テクノロジーがフル活用された「ファミリーマート佐江戸店」。ファミリーマートとパナソニックが“次世代のコンビニ像”を検証する

記事を読む

画像鮮明化技術が損傷箇所を照らし出す

水中ロボットが変えた
ダム点検の常識とは

人力では困難だった点検作業をロボットが担う。画像の鮮明化技術に優れた水中ロボットが、長寿化する岐阜県横山ダムの維持管理に新たな光明を見出す

記事を読む

シェアオフィスの入退室も顔パスに

顔認証技術が支える未来のオフィス空間で
理想の働き方を先取り

『point 0 marunouchi』では、未来のオフィス空間づくりに向けた実証実験を展開中。パナソニックの「KPAS」は働き方をどう変えるのか

記事を読む