三菱重工技報 Vol.60 No.1 (2023) 新製品・新技術特集

技 術 論 文1

3D デジタル記録化を実現する
写真投影による簡易 3D 検査記録システム
Simple 3D Inspection Recording System Using Photographic Projection to Create 3D DigitalRecords

石 井 翔 太 *1

坂 井 達 也 *2

Shota Ishii

Tatsuya Sakai

一般的に，２次元（2D）展開図に損傷情報を記録する方法は容易に検査記録を作成できる利点はあるが，展開図への損傷位置の忠実性，及び事後における損傷範囲の分析精度などの課題があり，３次元（3D）デジタル情報として検査記録を保存する技術が求められている。そこで，検査対象品を撮影した写真（カメラ）の位置・方向を 3D CG（Computer Graphics）空間上で再現し，写真上で指示した損傷領域と写真を対象 3D CAD（Computer Aided Design）モデル上に投影することで，損傷領域の面積と写真のテクスチャーを取得・記録する技術を開発した。これにより，2D 検査記録と同等な作業量・装置で 3D デジタル検査記録を作成し，品質管理の向上を図ることが可能である。

|1. はじめに当社では，高温高圧の環境下で使用される部品（発電用タービン等）に対して，2D 展開図に減肉や亀裂などの損傷情報を描画することで検査記録を作成している。しかしながら，2D 展開図に損傷情報を記録する場合，一般的に，展開図への損傷位置の忠実性，事後における損傷範囲の分析，及び損傷のトレーサビリティ精度の課題があり，3D デジタル情報として検査記録を保存する技術が求められていた。また，従来の 2D 展開図に損傷情報を記録する方法と変わらない作業時間で，汎用性（国内外，野外等の様々な環境・利用者を想定）の観点から 3D スマートカ
メラ・ハンディ型 3D スキャナなどの高価な専用装置は使用しないことが，新技術に対する検査現場からの要望としてあった。
このような背景と課題に対し，他社では，2D 実画像ピクセルに対応する 3D CAD 情報と紐づけた疑似画像を用いて疑似 3D 情報（損傷領域の面積・長さ）を算出する技術を開発した。しかし，撮影の位置・画角を疑似画像と完全に一致させる必要があり，柔軟性に乏しいという課題があった。また，他社の多くは，3D 情報の取得方法として，大掛かりな装置・手法（例：3D スマートカメラ，ハンディ型 3D スキャナ，フォトグラメトリー手法）を用いているが，これらの方法は汎用性に欠け費用と時間がかかる。
本報の目的は，広く様々な製品に対して，撮影した位置・画角に依存せず，また高価で時間のかかる大掛かりな装置を必要としない構成で，損傷領域の面積と写真のテクスチャーを取得・記録できる汎用的な 3D 検査記録システム・技術を開発することである。

*1 総合研究所 サービス技術部 理博*2 エナジードメイン エナジートランジション&パワー事業本部 GTCC 事業部 日立品質保証部

三菱重工技報 Vol.60 No.1 (2023)

2|2. 開発技術の特徴
検査記録に対する要望を満たすため，撮影した位置・画角に依存せず，写真のみから損傷領域の面積を算出し，さらに取得した写真のテクスチャーから 3D デジタル検査記録を作成できる技術・システムを開発した。表１に開発した技術・システムの機能と用途の概要を示す。
表１ 開発した技術・システムの機能と用途の概要
No.

開発した機能用途

1

写真（撮影カメラ）の位置・方向の推定

・3D CG 空間内のカメラの位置・方向の設定
・被写体における変形の確認利用した技術，もしくは情報・3D 重畳2

損傷領域の描画（手書き，もしくは自動）・検査記録への損傷領域の指示・GUI（Graphical User Interface）,・CNN（Convolutional Neural Network）

3

写真と損傷領域の投影

・3D 検査記録の作成

・3D CG，幾何学的変換，・RPA（Robotic Process Automation）

4

写真のみで損傷領域の面積と長さの算出

・損傷状態の記録と評価

・3D CAD モデルの形状・スケール

5Web ブラウザから 3D 検査記録の閲覧

・検査記録の情報共有

・glTF（GL Transmission Format）|3. ソフトウェアと機器の構成開発したシステム・技術は，独自開発したアプリケーション（名称：簡易 3D 検査記録システム）と市販の 3D CG ソフトウェアの機能を連携させる体系である。3D CG ソフトウェア（以下，3D CG ソフトと略す）には無料の Blender Ver. 3.3.0(1)を利用し，独自開発の各プログラム処理では無料ライブラリを用いた。また，利用者がアプリケーション内で利用できるカメラ機器を追加することも可能であり，カメラ機種による制限はない。このように，ライセンス費用がかかるソフトウェア・装置に比べ，開発したシステム・技術は初期費用と維持費用が安価である。

|4. アプリケーションの操作手順と処理プロセス
4.1 操作手順と処理プロセスの概要
表２に利用者の操作手順と本システムにおける処理プロセスの概要を示す。簡易 3D 検査記録システムでは，表２に示した操作手順と処理プロセスで 3D デジタル検査記録を作成する。各手順と処理プロセスの詳細は，以降の節で説明する。
表２ 操作手順と処理プロセス
No.

操作手順と処理プロセス

手動操作

(1)

任意のカメラ位置で撮影した写真をシステムに読込み〇(2)

特徴点の指定と損傷領域の描画

〇

自動処理〇

(3)

特徴点を用いて写真（撮影カメラ）の位置・方向を自動的に推定(4)

3D CG ソフト内のカメラ位置・方向を設定

〇
〇

(5)

3D CG ソフト内のカメラ位置・方向に基づきレンダリング〇(6)

レンダリングした画像を簡易 3D 検査記録システム上に表示（推定したカメラの位置・方向の確認）〇(7)

3D CG ソフト内の 3D CAD モデルへの写真と損傷領域の投影〇(8)

損傷領域の面積・長さの算出，及び簡易 3D 検査記録システム上への表示〇

4.2 特徴点の指定と損傷領域の描画
表２の(1)と(2)における本システムに読み込んだ写真への特徴点の指定と損傷領域の描画について説明する。図１に特徴点の指定と損傷領域の描画を示す。図１の簡易 3D 検査記録システ
ムに読み込んだ写真は，ガスタービンの部品の一つであるタービン翼である。
画面上の黄色の十字印は，利用者が指定した特徴点であり，カメラの位置・方向を推定するために，簡易 3D 検査記録システム画面上で数点指定する。これらの特徴点は，検査対象品の形状

三菱重工技報 Vol.60 No.1 (2023)

3や模様など，利用者が写真上で正確に指定できる位置に設定することが望ましい。また，指定する特徴点の位置は，3D CG 空間座標系における 3D CAD モデル上の位置と対応している。尚，特徴点を利用者が指定するのではなく，機械学習の機能を用い自動識別することも可能である。
高温高圧の環境下で使用されるタービン翼には，複数の損傷形態（摩耗や減肉，亀裂等）が発生し，これらの損傷領域と損傷形態を検査記録として保存している。損傷は色分けした枠（領域）と線で描画でき，製品ごとに損傷形態を設定できる。タービン翼の例では，摩耗や減肉は枠に，亀裂は実線に設定する。ただし，本報で示した損傷領域と損傷形態は実際の損傷ではなく，本報の説明用として仮定した損傷指示である。利用者は，損傷の種類を指定した後に，画面上に損傷領域を描画することで損傷を指示する。尚，写真上で識別できる損傷に対しては領域を利用者が描画するのではなく，機械学習の機能を用い自動で損傷の種類と領域を識別することが可能である。また，従来の検査記録データを簡易 3D 検査記録システムに読み込むことで，損傷領域を自動で描画するなど，従来の検査記録・システムを活用する機能を組み込むことも可能である。

図１ 特徴点の指定と損傷領域の描画

4.3 撮影カメラの位置・方向の推定
表２の(3)と(4)における 3D CG 内のカメラ位置・方向の推定と設定について説明する。図２に 3D
CG ソフト内におけるカメラの初期位置を示す。この 3D CG ソフト内には，図１の写真に対応したタービン翼の 3D CAD モデルを配置している。橙色の四角錐は 3D CG ソフト内のカメラであり，このカメラに写る被写体を白枠内に示している。簡易 3D 検査記録システムは，3D CG ソフト内におけるカメラの初期位置に関係なく，利用者が任意に撮影した写真（撮影カメラ）の位置・方向を 3DCG ソフト内のカメラに再現する。4.2 節で示したように，利用者は数点の特徴点を指示するのみで，治具などの固定器具を使用せずに任意に撮影したカメラの位置・方向を推定できる。そのため，複雑な設定が不要で簡便であり，使用できる写真（カメラの位置・方向・画角）の適用範囲が広いことが特徴である。

図２ 3D CG ソフト内におけるカメラの初期位置

三菱重工技報 Vol.60 No.1 (2023)

44.4 推定したカメラの位置・方向の確認
表２の(5)と(6)における推定したカメラの位置・方向の確認について説明する。開発した簡易 3D
検査記録システムにより，自動で 3D CG ソフト内のカメラの位置・方向が調整されていることを画面上で確認できる。図３に自動処理にてレンダリングされた画像を写真に重ねて表示した様子を示す。レンダリングとは，3D CG 制作において 3D 空間の物体を 2D 画像にすることである。図３では，レンダリングした画像を透明度 60％（半透明）で表示しており，3D CG ソフト内の 3D CAD モデルと写真の被写体における位置・方向が完全に一致していることに注目されたい。このように重ね合わせることで，3D CG ソフト内のカメラの位置・方向が調整されたことを確認するだけでなく，被写体の変形の有無も確認できる。

図３ 自動処理にてレンダリングされた画像を写真に重ねて表示した様子

4.5 写真と損傷領域の投影
表２の(7)における写真と損傷領域の投影について説明する。3D CG ソフト内のカメラの位置・方向が調整された後，自動で 3D CG ソフト内の 3D CAD モデルに写真と損傷領域が投影される。
この損傷領域は，利用者が画面上に描画した領域，または機械学習の機能を用い自動で識別した領域である。図４に自動処理にて 3D CAD モデルに投影された写真と損傷領域を示す。写真と損傷領域は，3D CAD モデルの形状に沿って投影され，3D 検査記録（Blender ファイル形式）として保存される。以上の CG 処理は，プログラム制御により自動で実行される。尚，異なる位置・方向から撮影した複数枚の写真を同一 3D CAD モデルに投影することも可能である。

図４ 自動処理にて 3D CAD モデルに投影された写真と損傷領域三菱重工技報 Vol.60 No.1 (2023)

54.6 損傷領域の面積・長さの算出
表２の(8)における損傷領域の面積・長さの算出と表示について説明する。3D CAD モデルに投影された損傷領域の面積（mm2），もしくは長さ（mm）は，自動処理にて 3D CAD モデルの形状とスケールに基づき算出される。この算出した面積・長さは，簡易 3D 検査記録システム上に表示され，デジタル情報として保存される。図５に簡易 3D 検査記録システム上に損傷領域の面積と長さを表示した様子を示す。損傷領域の面積，もしくは長さは，利用者が画面上に描画した領域付近，または機械学習の機能を用い自動で識別した領域付近にある白抜き黒縁の矩形内に表示される。ただし，各寸法値は製品情報であるため，本報では寸法値を隠している。以上の処理により，実物の製品上で損傷領域を計測しなくても，写真のみで損傷領域の面積，もしくは長さを算出することが可能である。

図５ 損傷領域の面積・長さの表示|5. 3D デジタル検査記録
４章での操作と処理により取得した情報を用いて，3D デジタル検査記録を作成する。3D CAD
モデルに写真と損傷領域を投影した 3D デジタル検査記録について，取り扱い可能なファイル形式を表３に示す。写真のテクスチャー情報が含まれるファイル形式として，代表的な２種類のファイル形式のどちらかを選択し，3D デジタル検査記録を作成する。
表３ 3D デジタル検査記録の出力ファイル形式
ファイル形式

ファイル形式の説明

テクスチャー情報.blenderBlender 専用のファイル形式

テクスチャー情報を内部に格納

.obj
.mtl
.glb
（glTF 2.0）

obj ：Wavefront 社が開発した 3D モデルフォーマット
mtl ：モデルの色やテクスチャー情報を格納したファイル

ｔｅｘｔｕｒｅ表示には画像ファイルが必要

Web ブラウザ上で動作する 3D モデルのファイル形式

テクスチャー情報を内部に格納

図６に投影したタービン翼写真の１枚を 3D デジタル検査記録として表示した例を示す。図６では， Microsoft Windows の OS に搭載されている 3D Viewer を用いて，glb 形式の 3D デジタル検査記録を表示している。左右の図は，3D デジタル検査記録の向き（視点）を変えた場合の表示である。本 3D デジタル検査記録は，投影対象域となった 3D CAD モデル面のみに写真（テクスチャー）を表示させる仕様であり，写真が投影されていない面は空白としている。また，簡易 3D 検査
記録システム上で示した損傷領域の枠と線を 3D デジタル検査記録上でも確認できる。このように，3D デジタル検査記録は，2D 展開図に損傷情報を記録する方法に比べ，損傷位置情報，領域情報の正確さにおいて品質管理の向上を図ることが可能である。

三菱重工技報 Vol.60 No.1 (2023)

6

図６ 投影した写真を用いた 3D デジタル検査記録|6. まとめ
本技術・システムにより，カメラ機器で任意に撮影した写真（カメラ）の位置・方向を 3D CG 空間上で再現し，写真上で指示した損傷領域と写真を対象 3D CAD モデル上に投影することで，テクスチャー情報の取得と 3D CAD モデルの形状に基づいた損傷領域の面積，もしくは長さの自動算出が可能となった。この技術・システムは，汎用性に欠ける高価な装置は使用せず，従来の 2D展開図に損傷情報を記録する方法と変わらない作業時間で，一般的な撮影装置（カメラ）を用いて 3D デジタル検査記録を手軽・安価に作成できることが特徴の１つである。また，システム画面に表示した写真上に損傷領域を描画するため，損傷位置及び領域の記録精度・再現性を向上させることが可能である。加えて，3D デジタル検査記録を活用することで，事後における損傷範囲の分析，及び損傷のトレーサビリティ精度の向上にも有効である。今後は，適用先の検査記録・評価方式ごとに必要な機能を開発することで適用範囲を広げていく予定である。

参考文献(1) Blender 公式サイト，（2022）
https://www.blender.org/