Mixed Realityから始まる産業革命

長谷工がマンションの現場にMixed Realityを導入ファーストラインワーカーの生産性向上が本格化

Mixed Reality(MR、複合現実)は、企業の最前線で活躍するファーストラインワーカーの生産性を向上させる立役者として期待されている。長谷工コーポレーションとアウトソーシングテクノロジーが共同開発した「AR匠RESIDENCE」は、まさにその期待を具現化する本格的アプリケーションだ。マンションの大規模修繕に伴う外壁検査の効率を飛躍的に高め、技術者の生産性向上と省人化を進める。MRで現場の仕事はどう変わるのか。その実際と効果についてレポートする。

あらゆるITで生産性向上を模索

株式会社長谷工アネシス
価値創生部門ICT活用推進部
チーフスタッフ
奥村 靖彦 氏

ビルやマンションの建設は、現地生産、一品生産が基本だ。このため、「大量生産の利点を生かしにくく、自動化や効率化が難しい業界と言われてきました」(長谷工アネシス価値創生部門ICT活用推進部チーフスタッフの奥村靖彦氏)。加えて、現場で作業にあたる技術者への依存度が高く、熟練技術者の高齢化や減少の影響を受けやすいのが悩みだ。

こうした状況を受け、建設業界でも現場作業の生産性向上が叫ばれるようになり、最先端のIT活用が検討され始める。奥村氏は2016年ごろから、AI(人工知能)、IoT(モノのインターネット)、VR(仮想現実)、AR(拡張現実)、MR、ドローン、各種センサーなど、ありとあらゆるITを調査し、建設現場の生産性向上に役立つかどうか検証を重ねてきた。
そして、今回発表された「AR匠RESIDENCE」によって、その取り組みは大きな1歩を踏み出すことになる。グループ会社の長谷工リフォームが行っているマンションの大規模修繕に欠かせない外壁検査をMRで支援し、生産性を大幅に向上させる。2人掛かりでやってきた業務を1人でこなせるようになり、 さらにはこれまで時間を要していた報告書作成も自動化によって全体業務が約30%削減されるのだ。

HoloLens 2 を見て成功の可能性を直感

「直感で HoloLens 2 が良いと感じました。迷うことはありませんでしたね」と語る奥村氏

「マンションの外壁検査は頻雑な作業が多く、改善を望む声が根強く聞かれていました」(奥村氏)。検査は通常、2人の技術者で行う。1人が打診棒と呼ばれる専用器具で外壁を叩き、壁の状態を入念にチェックする。タイルの浮きやひび割れなどの不具合を見つけたら、もう1人がデジタルカメラで撮影し、平面図に位置を正確に記録する。
現地での検査が終わると技術者はオフィスに戻り、家主やマンション管理組合に提出するための報告書を作成する。2Dの図面データに検査結果を1つひとつ入力し、説明を加え、写真を添付する。この際、不具合の位置と内容、写真を正確に符合させなければならず、かなりの手間と時間を要してきた。
こうした工程の効率化にたどり着くまで、奥村氏はまずドローンで写真撮影し、図面データに重畳表示させるシステムを検討した。また、2017年ごろには、ある大手電機メーカーとARを活用する方法を検討したが、どちらも実用化には至らなかった。
そんなとき、マイクロソフトの HoloLens 2 と出会う。技術者の視界に直接3Dの図面データを重ね合わせ、直感的な作業を可能にする。不具合を見つけたらその場で写真や動画を撮り、正確な位置情報とともに記録できる。その基本性能を見て、奥村氏は成功の可能性を直感したという。「MR機器はほかにもありますが、 HoloLens 2 の実用性は群を抜いていました」(奥村氏)。

奥村氏はすぐに HoloLens 2 のアプリケーションを開発している複数の企業にコンタクト。その中で、アウトソーシングテクノロジーが開発していた「AR匠」の完成度の高さに着目し、「ここに当社のノウハウを提供して必要な機能を追加すれば、早いタイミングで実用化できると考えました」(奥村氏)。

両社 は2019年10月に契約を交わし、共同開発をスタート。長谷工コーポレーションが検査ノウハウや問題点、必要な機能などを提案し、それをアウトソーシングテクノロジーが開発する体制で進められた。

株式会社アウトソーシングテクノロジー
代表取締役社長
茂手木 雅樹 氏

「マンション開発を知り尽くす長谷工コーポレーションと、最先端技術を応用、開発できる当社が手を組めば、ほかの誰にも真似できない画期的なアプリケーションを開発できると確信しました」(アウトソーシングテクノロジー代表取締役社長の茂手木雅樹氏)。
同社では、長谷工コーポレーションが必要とする一連の機能を詳しく吟味し、より少ない工数でそれを実現したり、使いやすさをさらに向上できる数々の提案を行った。両社の協力により、開発は加速度的に進んだという。

2人の作業を1人で可能に

図1:AR匠RESIDENCEによる外壁検査

AR匠RESIDENCEによる外壁検査は、1人の技術者が HoloLens 2 を装着して行う。打診棒で外壁を叩きながら、タイルや外壁の不具合を入念に探っていく(図1)。

技術者は HoloLens 2 を介した現場の視界と CGの図面データを重ねて確認しながら、外壁検査を進める。外壁の不具合を発見したら HoloLens 2 に備わっているカメラで写真を撮影。その正確な位置が、図面データに自動的に反映される(図2 )。

図2:HoloLens 2 を通して見た外壁の様子。不具合の場所を入力すると、正確な位置情報とともに図面データに位置が反映される。

不具合の位置と内容が記録された図面データはクラウド上に保存されるため、パソコンのウェブブラウザーから容易に確認できる。これを活用すれば、家主やマンション管理組合への説明が、より直感的でわかりやすく実施できる。従来は、そうした説明のためだけに資料を作成していたが、今後は徐々に削減される見込みだ。
また、AR匠RESIDENCEを利用すれば、検査終了後の報告書作成を自動化できる。Mixed Reality空間に記録した検査結果を2Dの平面図に展開し、不具合の場所や写真を紐づける報告書の大部分を自動的に作成できるからだ(図3)。

図3:AR匠RESIDENCEが自動で作成した報告書の一部。Mixed Reality空間に記録した不具合の場所、内容、写真を2Dの平面図に自動的に展開する。

外壁検査に参加する技術者は、長年にわたって報告書の作成に苦労してきた。かつて、報告書の作成を他の従業員に任せる案も浮上したが、外壁検査の結果は専門的な内容が多く、それを伝える労力を考えると、技術者本人が作成してしまった方が早いという結論に至ったという。今回、報告書の作成が自動化されることにより、技術者はこの業務から解放され、より専門的な業務に時間を使えるようになる。

精度を高める独自のアルゴリズムを開発

今回の開発で難しかったのは、現場の視界に図面データを投影する際、その正確な位置と精度を維持させることだった。技術者は、常に場所を移動し、視角を変えながら検査を進めていく。そうしているうちに、現場の視界とHoloLens 2 が認識する図面データがずれてしまうのだ。
この問題を解決するため、アウトソーシングテクノロジーは原点を設定するマーカーを通常の1つから2つに増やした(図4)。2つのマーカーを使用して原点を補正するため、独自の計算手法を開発したという。
これには、日本マイクロソフトのサポートがひと役買っている。日本側の担当者の仲介で米国本社とつながり、HoloLens 2 の開発チームと直接やり取りしてアドバイスを得たことが、開発のヒントとなったという。

図4:HoloLens 2 の視界と3Dデータの原点を合わせるマーカー。複数のマーカーを使用することによって、原点から遠く離れた場合に発生する図面のズレを最小限に抑えている。

また、AR匠RESIDENCEは、紙の図面しかない古いマンションの外壁検査にも使える。紙の平面図や立面図をスキャンして画像データを作成し、これをシステムに取り込めば、現場で装着した HoloLens 2 の視界にデータを原寸大で重ね合わせることができる。図面の正確な縮尺がわからない場合でも、簡単な計算で原寸大に重ね合わせられることが可能になった。

ファーストラインワーカーの生産性向上に貢献

「技術系専門職を抱える企業だからこそできる技術革新を進めていきたい」と意欲を語る茂手木氏

アウトソーシングテクノロジーは、実は1万8000人もの技術系専門職を抱える人材サービス会社である。派遣先の企業と新しい技術を共同開発するだけでなく、それを扱う専門人材を育成し、活用の幅を広げていく。比較的短い期間に多くの成功事例を作ることで、ノウハウや知見をすばやく吸収し、技術開発を加速させられるのが同社の強みだ。
「今回、 信頼性の高い HoloLens 2 のテクノロジーで確かな成果を得ることができました。今後はこれにAIやロボティクスなどを加えながら、さらなる進化を目指します」(茂手木氏)。

AR匠RESIDENCEはいよいよ実用化の段階に入ったが、その開発はまだ始まったばかりだ。
「まずは現場への浸透を進め、基本性能を改善、強化していきます。将来的には、蓄積されたデータを活用してよりインテリジェントな進化を期待しています」(奥村氏)。AR匠RESIDENCEの利用が進み、多数のデータが蓄積されていけば、ビッグデータとしての活用も可能になる。未知の問題の発見や改善に生かせるだけでなく、そこにAIやロボティクスを加えることで、その可能性は飛躍的に高まる。
AR匠RESIDENCEは、2020年末まで長谷工グループのみで使用される予定だが、2021年からは他の企業にも供給していく考えだ。
長谷工コーポレーションは、1968年から約50年間にわたって65万戸を超えるマンションを建設してきた。まさに日本のマンション界をリードする企業の1社である。そのノウハウが投入されたAR匠RESIDENCEは、マンションの外壁検査のスタンダードとして業界全体に普及していく可能性を十分に秘めている。

コロナ禍の最中に行われた今回のインタビューは Microsoft Teams で実施(写真撮影だけ現地にて)。

Microsoft HoloLens についての詳細はこちら→