(57)【要約】【課題】本発明の課題は、撮影条件に制約を受けずに撮影された画像を用いて特定した部品の情報を管理する方法を提供することである。【解決手段】携帯端末装置が、電子カメラにより、部品に対して所定の位置関係に配置されたマーカーと共に、部品を撮影して、部品管理装置に撮影画像データを送信する部品撮影ステップと、部品管理装置が、撮影画像データからマーカー画像を検出して、標準マーカーの形状情報を用いて、座標変換行列を算出して、これを三次元ＣＡＤデータに対して適用して、部品ＣＧ画像を生成する部品ＣＧ画像生成ステップと、部品管理装置が、部品ＣＧ画像と撮影画像データの部品画像を比較して類似度を算出して、高い類似度の部品ＣＧ画像の部品データを用いて部品情報画面データを作成して携帯端末装置に返信する部品情報画面作成返信ステップと、を含んだ手順でなされることを特徴とする交換部品管理方法である。【選択図】図２
2010267113.tif 000002
【特許請求の範囲】
【請求項１】
電子カメラ付携帯端末装置と画像認識プログラムを有する部品管理装置を用いる交換部品管理方法であって、
部品管理装置が備える、標準マーカー情報と、部品番号が対応付けられた三次元ＣＡＤデータと部品データと、を管理する部品データベースとを用いる交換部品管理方法において、
携帯端末装置の電子カメラにより部品に対して所定の位置関係に配置されたマーカーと共に、部品を撮影して撮影画像データを生成する部品撮影ステップと、
撮影画像データを部品管理装置に送信する撮影画像送信ステップと、
部品管理装置が、受信した撮影画像データからマーカー画像を検出するマーカー検出ステップと、
部品管理装置が、検出したマーカー画像と標準マーカーの形状情報を用いて、座標変換行列を算出する撮影条件算出ステップと、
部品管理装置が、部品データベースから読み出した三次元ＣＡＤデータに対して、算出した座標変換行列を適用して、レンダリング処理して、部品ＣＧ画像を生成して、部品番号と対応付ける部品ＣＧ画像生成ステップと、
部品管理装置が、画像認識プログラムを用いて、生成した部品ＣＧ画像データと撮影画像データの部品画像を比較して類似度を算出して、高い類似度の部品ＣＧ画像に対応付けられた部品番号を抽出する部品特定ステップと、
部品管理装置が、抽出した部品番号の部品データを用いて部品情報画面データを作成して携帯端末装置に返信する部品情報画面作成返信ステップと、
を含んだ手順でなされることを特徴とする交換部品管理方法。
【請求項２】
標準マーカー情報を格納する標準マーカー格納領域と、
部品情報画面データを格納する部品情報画面格納領域と、
部品番号と対応付けた三次元ＣＡＤデータと、部品番号と対応付けられた部品データを管理する部品データベースを格納する部品格納領域と、
部品画像とマーカー画像を含む撮影画像データを格納する撮影画像格納領域と、
を有する記憶手段と、
部品に対して所定の位置関係に配置されたマーカーと共に、部品を撮影した撮影画像データを携帯端末装置から受信する撮影画像受信手段と、
受信した撮影画像データからマーカー画像を検出するマーカー検出手段と、
検出したマーカー画像と標準マーカーの寸法情報を用いて、座標変換行列を算出する撮影条件算出手段と、
部品データベースから読み出した三次元ＣＡＤデータに対して、撮影条件算出手段が算出した座標変換行列を適用して、レンダリング処理して、部品ＣＧ画像を生成して、部品番号と対応付ける部品ＣＧ画像生成手段と、
画像認識プログラムを有する部品データベースに対して、生成した部品ＣＧ画像データと撮影画像データの部品画像の類似度を算出させて、高い類似度の部品ＣＧ画像に対応付けられた部品番号を特定する部品特定手段と、
特定された部品番号を検索キーにして検索させて、抽出させた部品データを受け取る部品データ抽出手段と、
抽出した部品データを用いて部品情報画面データを作成する部品情報画面作成手段と、
作成した部品情報画面データを携帯端末装置に返信する部品情報画面返信手段と、
を備えることを特徴とする部品管理装置。
【請求項３】
コンピューターに組込むことによって、コンピューターを請求項２に記載の部品管理装置として動作させるコンピュータプログラム。
【請求項４】
請求項３に記載のコンピュータプログラムを記録したコンピューター読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、部品撮影画像を用いて、部品情報を管理する方法、装置、プログラム、記録媒体に関するものである。
本発明は、特に、工事現場や整備工場において、部品を写真撮影した画像を用いて、多種類の部品の中から、類似形状の部品を交換部品候補として抽出することで、交換部品を特定する作業の能率を向上させる場合に有用である。
【背景技術】
【０００２】
建築物などの施設や自動車などの機械製品を維持管理するためには、故障破損箇所の修理や、定期点検による整備が不可欠である。
施設の工事現場や機械製品の整備工場において、修理や整備を円滑に進めるためには、故障破損した部品や定期点検した部品を速やかに特定し交換部品を手配することが、肝心である。
【０００３】
そこで、交換部品を特定する方法を説明する。
《 Ａ．部品番号による部品の特定 》
交換部品を特定する方法としては、交換部品の部品番号を用いる方法が、一般的である。
部品番号は、補修部品に記されているものを読み取るか、部品カタログを参照して調べる。
たとえば、特許文献１では、インターネットに接続された端末に部品番号が入力されると、部品番号にて特定された部品の画像を端末に表示させて、交換部品を発送処理する技術が開示されている。
《 Ｂ．画像検索による部品の特定》
あるいは、交換部品を特定する方法としては、交換部品の画像を検索キーにして、部品データベースを検索して、交換部品を調べて特定する方法がある。
たとえば、特許文献２では、商品の手書き画像を入力してこれを検索キーに用いて、商品データベースの商品画像と比較して、商品を判定（＝特定）する技術が開示されている。
あるいは、非特許文献１では、携帯電話で、部品を撮影して、部品撮影画像の特徴データを求めて、これをインターネットの該当Ｗｅｂサイトに送信させて、特徴データに対応する情報の返信を受けて、これを携帯電話に表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２５６３８２号公報（段落番号「００２３」〜段落番号「００３２」、図３）
【特許文献２】特開２００６−２０９２６０号公報（段落番号「００７１」〜段落番号「００７９」、図９）
【非特許文献】
【０００５】
【非特許文献１】オリンパス株式会社新事業企画部、“Sync★R（シンクる）”、サービス概要−特長（Sync★Rの概要）、オリンパス株式会社、[online]、[平成２１年３月２日検索]、インターネット＜http://gwmj.jp/＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、《Ａ．部品番号による部品の特定 》の方法では、部品カタログの大量の部品情報の中から所望の部品を探し出して部品番号を調べる作業には、多大な時間を要するという問題点がある。また、故障や破損した設備器具・部品に記されている部品番号が不鮮明な場合には、読み取ることができないことがある。あるいは、故障や破損した設備器具・部品が古いなどの理由で、部品カタログに掲載されていないことがある。
また、《 Ｂ．画像検索による部品の特定 》の方法では、手書き画像にて像検索する場合には、手書き画像が部品の特徴を捉えていないと、所望の商品を検索できずに部品の特定ができないという欠点がある。あるいは、撮影画像を用いて画像検索する場合には、部品を所定の撮影角度等の撮影条件にて撮影しない場合には、正しい特徴データを生成できないので、該当Ｗｅｂサイトから正しい特徴データに対応する情報（たとえば、部品を特定する情報）を得られないという不都合が生じる。
【０００７】
本発明は以上のような点を解決するためになされたものであって、本発明の課題は、撮影条件に制約を受けずに撮影された画像を用いて特定した部品の情報を管理する方法、装置、プログラム、記録媒体を提供することである。
【課題を解決するための手段】
【０００８】
本発明は、以下の各態様に記載の手段により、前記課題を解決する。
すなわち、本願発明の第１の発明は、
電子カメラ付携帯端末装置と画像認識プログラムを有する部品管理装置を用いる交換部品管理方法であって、
部品管理装置が備える、標準マーカー情報と、部品番号が対応付けられた三次元ＣＡＤデータと部品データと、を管理する部品データベースとを用いる交換部品管理方法において、
携帯端末装置の電子カメラにより部品に対して所定の位置関係に配置されたマーカーと共に、部品を撮影して撮影画像データを生成する部品撮影ステップと、
撮影画像データを部品管理装置に送信する撮影画像送信ステップと、
部品管理装置が、受信した撮影画像データからマーカー画像を検出するマーカー検出ステップと、
部品管理装置が、検出したマーカー画像と標準マーカーの形状情報を用いて、座標変換行列を算出する撮影条件算出ステップと、
部品管理装置が、部品データベースから読み出した三次元ＣＡＤデータに対して、算出した座標変換行列を適用して、レンダリング処理して、部品ＣＧ画像を生成して、部品番号と対応付ける部品ＣＧ画像生成ステップと、
部品管理装置が、画像認識プログラムを用いて生成した部品ＣＧ画像データと撮影画像データの部品画像を比較して類似度を算出して、高い類似度の部品ＣＧ画像に対応付けられた部品番号を抽出する部品特定ステップと、
部品管理装置が、抽出した部品番号の部品データを用いて部品情報画面データを作成して携帯端末装置に返信する部品情報画面作成返信ステップと、
を含んだ手順でなされることを特徴とする交換部品管理方法である。
【０００９】
このように、マーカーを部品に対して所定の位置関係に配置することで、部品の撮影条件を算出することが可能である。
また、部品の撮影条件を用いて生成した部品ＣＧ画像を用いて、部品撮影画像を画像認識することで、撮影した部品の形状に類似した部品の部品データを容易に簡便に抽出することが可能である。
ここで、マーカーとは、点対称とならない図柄を有する正方形の図形である。マーカーの寸法と図柄が分かっているので、撮影されたマーカー形状の大きさと変形の程度から、カメラの撮影距離と撮影角度を算出することができる。ここで、マーカーは点対称とならない図柄を用いているので、マーカーが１８０度回転しても、同じ図柄とはならない。
【００１０】
本願発明の第２の発明は、標準マーカー情報を格納する標準マーカー格納領域と、
部品情報画面データを格納する部品情報画面格納領域と、
部品番号と対応付けた三次元ＣＡＤデータと、部品番号と対応付けられた部品データを管理する、画像認識プログラムを有する部品データベースを格納する部品格納領域と、
部品画像とマーカー画像を含む撮影画像データを格納する撮影画像格納領域と、
を有する記憶手段と、
部品に対して所定の位置関係に配置されたマーカーと共に、部品を撮影した撮影画像データを携帯端末装置から受信する撮影画像受信手段と、
受信した撮影画像データからマーカー画像を検出するマーカー検出手段と、
検出したマーカー画像と標準マーカーの寸法情報を用いて、座標変換行列を算出する撮影条件算出手段と、
部品データベースから読み出した三次元ＣＡＤデータに対して、撮影条件算出手段が算出した座標変換行列を適用して、レンダリング処理して、部品ＣＧ画像を生成して、部品番号と対応付ける部品ＣＧ画像生成手段と、
画像認識プログラムを有する部品データベースに対して、生成した部品ＣＧ画像データと撮影画像データの部品画像の類似度を算出させて、高い類似度の部品ＣＧ画像に対応付けられた部品番号を特定する部品特定手段と、
特定された部品番号を検索キーにして検索させて、抽出させた部品データを受け取る部品データ抽出手段と、
抽出した部品データを用いて部品情報画面データを作成する部品情報画面作成手段と、
作成した部品情報画面データを携帯端末装置に返信する部品情報画面返信手段と、
を備えることを特徴とする部品管理装置である。
【００１１】
本願発明の第３の発明は、コンピューターに組込むことによって、コンピューターを第２の発明に記載の部品管理装置として動作させるコンピュータプログラムである。
【００１２】
本願発明の第４の発明は、第３の発明に記載のコンピュータプログラムを記録したコンピューター読取り可能な記録媒体である。
【発明の効果】
【００１３】
本願発明によれば、
（１）部品に対して所定の位置関係に配置したマーカーを用いることで、撮影条件の制約を受けずに部品を撮影することが可能である。
（２）部品の撮影画像と同じ撮影条件（＝同じ撮影角度、同じ撮影距離など）の部品ＣＧ画像をレンダリング処理して生成した部品ＣＧ画像を用いて、部品の撮影画像を画像認識することで、撮影した部品の形状に類似した交換部品候補を抽出することが可能である。
従って、所定の位置に配置されたマーカーと共に部品を撮影した画像を用いることで、交換部品を特定する作業の能率を向上できるという効果がある。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の部品管理システムの全体構成である。（実施例１）
【図２】図２は、部品管理システムの大まかな作業手順を説明する図である。
【図３】図３は、携帯端末装置の表示画面の例である。
【図４】図４は、マーカーの例である。
【図５】図５は、各座標系の関係を説明する図である。
【図６】図６は、部品データベースを説明する図である。
【図７】図７は、（４）《撮影条件算出》の詳細な処理手順を説明する図である。
【図８】図８は、（５）《部品データの抽出》の詳細な処理手順を説明する図である。
【図９】図９は、サーバー装置の詳細な構成図を説明する図である。
【図１０】図１０は、情報処理装置の詳細な構成図を説明する図である。
【図１１】図１１は、（５）《部品データの抽出》の詳細な処理手順の例である。
【発明を実施するための形態】
【００１５】
以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。
【実施例１】
【００１６】
図１は、本発明の実施の形態による部品管理システム１の概要を説明する図である。
部品管理システム１は、部品情報サーバー装置１００(＝部品管理装置)と携帯端末装置３００とから構成される。
【００１７】
携帯端末装置３００は、基地局６００と無線接続して、ゲートウェー８００を介して、ネットワーク９００上の部品情報サーバー装置１００と接続する。
携帯端末装置３００は、既存の携帯電話やスマートフォンで、電子カメラを具備して、後述する専用プログラムを搭載する。
携帯端末装置３００の電子カメラは、グレースケールまたはＲＧＢ値を有する二次元デジタル画像データを生成する。
【００１８】
部品情報サーバー装置１００は、既存のデータベースシステムを備えたサーバーコンピューターに、周知技術による画像認識プログラムと後述する専用プログラムを搭載したものである。
【００１９】
図２は部品管理システム１の大まかな作業手順を説明する。
（１）《部品撮影》工事業者は、携帯端末装置３００の電子カメラで部品とマーカーを撮影する。
（２）《撮影画像送信》携帯端末装置３００は、撮影画像データ（＝二次元デジタル画像データ）を、たとえば、電子メールに添付して、部品管理サーバー装置に送信する。
（３）《撮影画像受信》部品情報サーバー装置１００は、撮影画像データを受信する。
（４）《撮影条件の算出》部品情報サーバー装置１００は、受信した撮影画像のマーカー画像の形状から、撮影条件を算出する。
（５）《部品データの抽出》部品情報サーバー装置１００は、部品データベースの三次元ＣＡＤデータに対して、この撮影条件を適用して生成した部品ＣＧ画像データ（＝二次元デジタル画像データ）を、撮影画像データから切出した部品撮影画像と比較して、類似度を算出して、所定の閾値以上の類似度の部品ＣＧ画像の部品データを部品データベースから抽出する。
（６）《部品情報画面の返信》部品情報サーバー装置１００は、抽出した部品データを用いて部品情報画面データを作成して、携帯端末装置５００に返信する。
（７）《部品情報画面の表示》帯端末装置３００は、部品情報画面データを受信して表示する。
（８）《交換部品注文》工事業者は、携帯端末装置３００に表示された部品情報画面を閲覧して、交換商品を注文する情報を入力すると、携帯端末装置３００はこの入力を受け付けて、注文情報を部品情報サーバー装置１００に送信する。
【００２０】
図４は、マーカー１６の例である。
マーカー１６は、正方形の黒い太枠の中に図形を有するパターンである。
この図形には、点対称とならない二次元コードパターンや絵柄や文字などを用いる。なお、点対称とならない図形を用いるので、１８０度回転しても、同じ図形とはならない。
マーカーの正方形枠の寸法は、事前に定められた既知の値（たとえば、正方形の１辺の長さ「Ｌ」）である。
【００２１】
図３は、携帯端末装置の表示画面１０６の例である。
図３の（ａ）には、撮影画像を表示した画面が例示されている。
例示されている画面１０６の撮影画像３９１は、部品１４の撮影画像とマーカー１６の撮影画像とを含んで構成される。
撮影画像３９１のマーカー１６は、この部品１４に対して、所定の位置関係に配置されている。所定の位置関係とは、たとえば、マーカー１６を、部品１４の正面の面に対して平行に立ててから、正面から奥に向かって倒して、水平に置いた状態である。
ここで、部品１４の正面を基準にする理由は、部品正面と部品データベースの三次元ＣＡＤデータの正面座標情報が対応付けられていて、撮影画像のマーカー画像の形状から算出した撮影条件を三次元ＣＡＤデータに適用できるようにするためである。（詳細は後述する）なお、工事業者は、各部品１４の正面はどこであるかを周知している。
【００２２】
図３の（ｂ）には、部品情報画面が例示されている。
例示されている注文画面は、部品写真と部品番号と在庫ボタンと注文ボタンとが関連付けられて構成される。
なお、在庫ボタンは、在庫個数などの在庫情報の表示を要求するための指示を受け付けるボタンである。注文ボタンは、当該部品の注文情報を入力するときに用いるボタンである。
【００２３】
ここで、図６を用いて、部品管理システム１が扱う３つの座標系の説明をする。
部品管理システム１が扱う３つの座標系は、三次元空間座標系（Ｘm、Ｙm 、Ｚm ）と、電子カメラ座標系（Ｘc 、Ｙc 、Ｚc ）と、撮影画像平面座標系（Ｘp 、Ｙp ）とである。
三次元空間座標系（Ｘm、Ｙm 、Ｚm ）は、マーカーを原点とする三次元空間である。三次元空間座標系には、部品と携帯端末装置３００の電子カメラが配置されている。
電子カメラ座標系（Ｘc 、Ｙc 、Ｚc ）は、携帯端末装置３００の電子カメラを原点とする三次元空間である。
撮影画像平面座標系（Ｘp 、Ｙp ）は、携帯端末装置３００の電子カメラが撮影した二次元画像を現わす二次元空間である。
【００２４】
図５は、部品データベースを説明する図である。
部品データベース１９３は、ＣＡＤテーブル１９３１と部品情報テーブル１９３２を含んで管理する。
ＣＡＤテーブル１９３１は、部品番号（主キー）１９３１１とその部品番号で特定される部品の三次元ＣＡＤデータ１９３１２とを対応付けた表形式データである。
部品番号１９３１１は、ユニークな文字列である。
三次元ＣＡＤデータ１９３１２は、部品の立体形状を表現する三次元空間座標系（Ｘｍ、Ｙｍ  、Ｚｍ  ）の数値データである。
部品情報テーブル１９３２は、部品番号（主キー）１９３２１とその部品番号で特定される部品の部品データ１９３２２とを対応付けた表形式データである。部品番号１９３２１は、部品番号１９３１１と同一である。部品データ１９３２２は、部品在庫数量や部品番号などを含むデータである。
従って、三次元ＣＡＤデータ１９３１２と部品データ１９３２２とは、部品番号にて関連付けられている。
【００２５】
次に、図７を用いて、（４）《撮影条件の算出》の詳細な処理手順を説明する。
（４）《撮影条件の算出》
（４−１）《マーカーの抽出》
撮影画像から、以下の６つの手順によって、マーカー画像を切出す。
（４−１−１）《撮影画像の二値化処理》部品情報サーバー装置１００は、撮影画像の明度情報（たとえば、ＲＧＢ値の相加平均など）を用いて、適切な閾値（たとえば、明度情報の最高値の２分の１など）を用いて二値化処理して、二値化画像を生成する。
なお、撮影画像の明度情報は、たとえば、撮影画像がグレースケールの場合には、グレースケール値を用いる。また、撮影画像がＲＧＢ値を有する場合には、ＲＧＢ値の相加平均や加重平均などにより算出すれば良い。
（４−１−２）《輪郭部画素抽出処理》品情報サーバー装置１００は、二値化画像の黒画素領域を端から走査して、４連結画素を用いる輪郭抽出アルゴリズムを用いて、黒画素を抽出して、抽出した黒画素を輪郭部画素とする。
ここで、４連結画素を用いる輪郭抽出アルゴリズムとは、二値化画像を端から走査して、検出した未追跡黒画素を始点の輪郭部画素として、この画素を中心にした４連結画素を反時計回りに追跡して黒画素を検出して輪郭部画素として、この画素を次の中心にして、４連結画素追跡により黒画素を検出して、始点に戻るまで繰り返えすものである。輪郭抽出アルゴリズムは、８連結画素を用いてもよい。
（４−１−３）《四角形画像の切出し処理》部品情報サーバー装置１００は、輪郭部画素に対して折れ線近似処理して線分を算出して、４本の算出された線分で囲まれた四角形画像を抽出して、マーカー候補画像とする。
なお、折れ線近似処理とは、たとえば、多数の輪郭部画素の並びから直線を検出できるということが数学的にすでに分かっているハフ変換式（下記の数式１）を用いて、以下の手順にて、画素を通る直線を算出すればよい。
（ａ）輪郭部画素に対してハフ変換式（下記の数式１）を適用して正弦曲線に変換する。
（ｂ）正弦曲線を画素に対応付ける。
（ｃ）所定の本数以上の正弦曲線が交差する点の座標（ρ0、θ0）を抽出する。
（ｄ）抽出した点の座標（ρ0、θ0）をハフ変換式（下記の数式１）に代入して、この点に交差する正弦曲線に対応する画素を通る直線（下記の数式２）を算出する。
【数１】
2010267113.tif 000003
【数２】
2010267113.tif 000004
（４―１−４）《形状正規化処理》部品情報サーバー装置１００は、マーカー候補画像の４本の線分の４つの交点座標（＝４つの頂点座標）を用いて、マーカー候補画像を、正方形にアフィン変換処理して、正方形マーカー候補画像に変換する。
（４−１−５）《画素数正規化処理》部品情報サーバー装置１００は、正方形マーカー候補画像に対して、標準マーカーの画素数と一致するように拡大／縮小処理して、正規化マーカー候補画像に変換する。
（４−１−６）《マーカー認識処理》部品情報サーバー装置１００は、相互相関関数（たとえば、類似度を算出できるということが数学的にすでに分かっている下記の数式３）を用いて、正規化マーカー候補画像と標準マーカー画像（二次元画像）の類似度を算出して、最も類似度の高い正規化マーカー候補画像をマーカーとして認識して、検出する。
【数３】
2010267113.tif 000005
なお、ｔは、標準マーカー画像である。
Ｍは、標準マーカー画像の横方向の画素数である。
Ｎは、標準マーカー画像の縦方向の画素数である。
ｆは、正規化マーカー候補画像である。
ｋは、正規化マーカー候補画像ｆまたは標準マーカー画像ｔの横方向の画素位置である。
ｌは、正規化マーカー候補画像ｆまたは標準マーカー画像ｔの縦方向の画素位置である。
ｆ［ｋ］［ｌ］は、正規化マーカー候補画像ｆの画素位置（ｋ、ｌ）の画素値（０または１）である。
ｔ［ｋ］［ｌ］は、標準マーカー画像ｔの画素位置（ｋ、ｌ）の画素値（０または１）である。
オーバーライン付ｆは、正規化マーカー候補画像ｆの画素値の平均値である。
オーバーライン付ｔは、標準マーカー画像ｔの画素値の平均値である。
【００２６】
なお、たとえば、拡張現実感プログラミングライブラリーであるARToolKitのarDetectMarkerを用いることにより、撮影画像からマーカーを容易に抽出することができる。ここで、ARToolKitは、the University of Washingtonのthe Human Interface Technology Laboratoryが開発提供するオープンソースのプログラミングライブラリーである。
【００２７】
（４−２）《撮影条件算出処理》部品情報サーバー装置１００は、撮影画像から検出したマーカー画像の形状から、以下の２つの手順によって、撮影条件としての座標変換行列を算出する。
（４−２−１）《撮影画像の座標変換》
部品情報サーバー装置１００は、周知のカメラキャリブレーション処理により算出したカメラキャリブレーション行列関係式（数式４）を用いて、撮影画像の撮影画像平面座標系（Ｘp 、Ｙp ）の座標値を、カメラ座標系（Ｘc 、Ｙc 、Ｚc ）の座標値に変換する。
【数４】
2010267113.tif 000006
Ｘpは、撮影画像平面座標系における画像のＸ座標値である。Ｙpは、撮影画像平面座標系における画像のＹ座標値である。Ｐijは、所与のキャリブレーションの行列要素である。ここで、ｉ，ｊ＝１、２，３である。ｈは、カメラ原点と画像平面の距離である。
（４−２−２）《座標変換行列の算出》
部品情報サーバー装置１００は、座標変換行列関係式（たとえば、座標変換行列関係式として、すでに数学的に分かっている下記の数式５）に対して、カメラ座標系の撮影画像のマーカーの４つの頂点座標値［Ｘck 、Ｙck 、Ｚck ］（ｋ＝１、２，３、４）と、三次元空間座標系の標準マーカーの４つの頂点座標値［Ｘmk、Ｙmk 、Ｚmk ］（ｋ＝１、２，３、４）とを代入して、１２個の式を作成してこれらを解いて、座標変換行列の回転移動成分の９つの行列要素Ｒij （ｉ，ｊ＝１、２，３）と、座標変換行列の平行移動成分の３つの行列要素Ｔi （ｉ＝１、２，３）と、を算出して、電子カメラ座標系（Ｘc 、Ｙc 、Ｚc ）と三次元空間座標系（Ｘm、Ｙm 、Ｚm ）との座標変換行列関係式（下記の数式６）を算出する。
【数５】
2010267113.tif 000007
Ｘc は、カメラ座標系における画像のＸ座標値である。Ｙc は、カメラ座標系における画像のＹ座標値である。Ｚc は、カメラ座標系における画像のＺ座標値である。
Ｘmは、三次元空間座標系における画像のＸ座標値である。Ｙm は、三次元空間座標系における画像のＹ座標値である。Ｚm は、三次元空間座標系における画像のＺ座標値である。
Ｒij は、座標変換行列の回転移動成分の行列要素である。
Ｔi は、座標変換行列の平行移動成分の行列要素である。
ここで、ｉ，ｊ＝１、２，３である。
【数６】
2010267113.tif 000008
Ｒa 、Ｒb 、・・、Ｒi は、算出した回転移動成分の行列要素である。Ｔa 、Ｔb 、Ｔc は、算出した平行移動成分の行列要素である。
なお、たとえば、前述したＡＲＴｏｏｌＫｉｔのarGetTransMat を用いることにより、撮影画像のマーカーを用いた座標変換行列関係式を、容易に求めることができる。
【００２８】
図８と図１１とを用いて、（５）《部品データの抽出》の詳細な処理手順を説明する。
図８は、（５）《部品データの抽出》の詳細な処理手順を説明する図である。
（５）《部品データの抽出》
（５−１）《部品撮影画像の切出処理》部品情報サーバー装置１００は、撮影画像から、背景画像と位置の分かっているマーカー画像を除去して、この画像を二値化処理して二値化画像を生成して、二値化画像の黒画素の最外郭四角形を作成して、この最外郭四角形を用いて撮影画像から部品撮影画像を切出す。
なお、撮影画像には、たとえば、部品の色とは異なる色のスクリーンを、部品の後ろに立てかけて撮影した撮影画像を用いればよい。この撮影画像の背景画像は、スクリーン色の画素であるので、これを除去することで、撮影画像から背景画像を除去することができる。
図１１には、部品撮影画像の切出処理により切出された部品撮影画像３９１１の例が示されている。
【００２９】
図８に戻って、（５）《部品データの抽出》の詳細な処理手順の説明を続ける。
（５−２）《部品ＣＧ画像生成処理》部品情報サーバー装置１００は、部品データベース１９３から三次元ＣＡＤデータ１９３１２と部品番号を読み取って、このＣＡＤデータ１９３１２を、算出した座標変換行列関係式（＝数式５を用いて算出した関係式）の［Ｘm、Ｙm 、Ｚm ］に代入して、カメラ座標系の三次元ＣＡＤデータ［Ｘc 、Ｙc 、Ｚc ］に変換して、変換した三次元ＣＡＤデータをレンダリング処理して部品ＣＧ画像を生成して、この部品ＣＧ画像に読み取った部品番号を関連付ける。
図１１には、部品ＣＧ画像生成処理の例が示されている。例示されている部品ＣＧ画像生成処理では、まず、算出した座標変換行列関係式１９５が、［Ｘm、Ｙm 、Ｚm ］に代入された三次元ＣＡＤデータ１９３１２を行列演算して、その結果を変換した三次元ＣＡＤデータ１９３１３として［Ｘc 、Ｙc 、Ｚc ］に出力する。
次に、例示されている部品ＣＧ画像生成処理では、変換した三次元ＣＡＤデータ１９３１３の入力を受け付けて、レンダリング処理して、部品ＣＧ画像１９３１４を出力する。
【００３０】
図８に戻って、（５）《部品データの抽出》の詳細な処理手順の説明を続ける。
（５−３）《部品の画像認識処理》
部品情報サーバー装置１００は、画像認識プログラムを呼び出して、この画像認識プログラムに、切出した部品撮影画像データ３９１１と生成した部品ＣＧ画像データ１９３１４を渡して、画像認識プログラムが算出する類似度を受け取って、所定の閾値以上の類似度の部品ＣＧ画像に関連付けられた部品番号を、部品画像に似ている部品の部品番号として、保持する。
なお、画像認識プログラムは、受け取った部品撮影画像と部品ＣＧ画像のそれぞれの特徴量データを算出して両者を比較して類似度を算出する。この画像認識プログラムとしては、たとえば、非特許文献１の技術を用いればよい。
図１１には、画像認識処理の例が示されている。例示されている画像認識処理は、画像認識プログラム１８３が、部品撮影画像３９１１と部品ＣＧ画像１９３４とを入力して、類似度１９６を出力する。
【００３１】
図８に戻って、（５）《部品データの抽出》の詳細な処理手順を説明を続ける。
（５−４）《部品データの検索処理》部品情報サーバー装置１００は、保持した部品番号１９３１１を検索キーにして、部品データベース１９３の部品情報テーブル１９３２を検索して、検索キーと一致する部品番号１９３２１に対応付けられた部品データ１９３２２を読み出す。
【００３２】
図９は、携帯端末装置３００の詳細な構成図である。
携帯端末装置３００は、ＣＰＵ３０１と、表示部３０２と、操作部３０３と、カメラ部３０４と、ネットワーク通信部３０８と、記憶部３０９と専用プログラムとを備える。
ＣＰＵ３０１と、表示部３０２と、入力部３０３と、カメラ部３０４と、通信部３０８と、記憶部３０９とは、ＢＵＳ１９９で接続される。
【００３３】
ＣＰＵ３０１は、中央演算装置である。
表示部３０２は、液晶表示装置や有機ＥＬ表示装置である。
操作部３０３は、キーボタンである。操作部３０２は、表示部１０３に表示されたソフトキーボタンであってもよい。
カメラ部３０４は、撮影対象を露光記録した撮像素子から電気信号を読み出してデジタル画像データを生成する電子カメラである。電子カメラ３０４は、工事現場の部品とマーカー１６を撮影して、部品画像とマーカー画像を含む撮影画像データ３９１を生成する。
マイク３０５は、音声を入力する装置である。
スピーカー３０６は、音声を出力する装置である。
電源部３０７は、２次電池である。
通信部３０８は、基地局と相互に無線信号を通信する装置である。
【００３４】
記憶部３０９は、半導体メモリーや磁気メモリーである。
記憶部３０９は、撮影画像格納領域３０９１と、交換部品候補格納領域３０９２とを備えて、オペレーティングシステム３８５と、専用プログラムとを記憶する。
撮影画像格納領域３０９１は、撮影画像データ３９１を格納する。
部品情報画面格納領域３０９２は、部品情報画面データ１９７を格納する。
【００３５】
オペレーティングシステム３８５は、携帯端末装置３００のハードウェア（たとえば、ＣＰＵ３０１と、表示部３０２と、入力部３０３と、カメラ部３０４と、ネットワーク通信部３０８と、記憶部３０９と、ＢＵＳ３９９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
【００３６】
このほかに、撮影画像送信手段３１０と、部品情報画面受信表示手段３２０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ３０１に解釈・実行されることによって機能する。
【００３７】
撮影画像送信手段３１０は、電子カメラ３０４が生成した、部品画像とマーカー画像を含む撮影画像データ３９１を通信部３０８および基地局を介して、部品管理サーバー装置１００に送信する。
部品情報画面受信表示手段３２０は、部品管理サーバー装置１００が返信する部品情報画面データ１９７を、基地局および通信部３０８を介して、受信して、これを表示部３０２に表示する。
【００３８】
図１０は、部品管理サーバー装置１００の詳細な構成図である。
部品管理サーバー装置１００は、ＣＰＵ１０１と、ネットワーク通信部１０４と、記憶部１０９と専用プログラムとを備える。
ＣＰＵ１０１と、ネットワーク通信部１０４と、記憶部１０９とは、ＢＵＳ１９９で接続される。
【００３９】
ＣＰＵ１０１は、中央演算装置である。
ネットワーク通信部１０４は、ＬＡＮアダプターである。
【００４０】
記憶部１０９は、半導体メモリーや磁気メモリーである。
記憶部１０９は、標準マーカー格納領域０９１と、部品情報画面格納領域０９２と、部品情報格納領域０９３と、撮影画像格納領域０９４と、座標変換行列格納領域０９５と、を備えて、データベースプログラム１８０と、画像認識プログラム１８３と、オペレーティングシステム１８５と、専用プログラムとを記憶する。
【００４１】
標準マーカー格納領域０９１は、寸法情報を含む標準マーカー情報１９１を格納する。
部品情報画面格納領域０９２は、部品情報画面データ１９７を格納する。
部品格納領域０９３は、部品データベース１９３を格納する。
部品データベース１９３は、部品データや、三次元ＣＡＤデータを有するデータベースで、データベースプログラム１８０により管理される。
撮影画像格納領域０９４は、撮影画像データ３９１を格納する。
座標変換行列格納領域０９５は、座標変換行列関係式データ１９５を格納する。
【００４２】
画像認識プログラム１８３は、周知の画像認識アルゴリズムを用いたプログラムである。
オペレーティングシステム１８５は、コンピューターのハードウェア（たとえば、ＣＰＵ１０１と、ネットワーク通信部１０４と、記憶部１０９と、ＢＵＳ１９９など）を管理・制御して、応用ソフトウエア（たとえば、データベースプログラム１８０や専用プログラムなど）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。
【００４３】
このほかに、マーカー検出手段１２０と、撮影条件算出手段１３０と、部品ＣＧ画像生成手段１４０と、部品データ抽出手段１５０と、部品情報画面作成手段１６０と、撮影画像受信手段１７０と、部品情報画面返信手段１７５と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。
【００４４】
撮影画像受信１７０は、携帯端末装置３００が送信する、部品画像とマーカー画像を含む撮影画像データ３９１を、ネットワーク通信部１０４を介して受信する。
【００４５】
マーカー検出手段１２０は、受信した撮影画像データ３９１からマーカー画像を検出する。
なお、マーカー検出手段１２０の処理の詳細は、図７の（４）《撮影条件の算出》の詳細な処理手順の説明における（４−１）《マーカーの抽出》の項で述べた。
【００４６】
撮影条件算出手段１３０は、検出したマーカー画像の４つの頂点座標と、標準マーカー１９１の４つの頂点座標とを用いて、電子カメラ座標系（Ｘc 、Ｙc 、Ｚc ）の座標と三次元空間座標系（Ｘm、Ｙm 、Ｚm ）の座標との座標変換行列関係式１９５を算出する。
なお、撮影条件算出手段１３０の処理の詳細は、図７の（４）《撮影条件の算出》の詳細な処理手順の説明における（４−２）《撮影条件算出処理》の項で述べた。
【００４７】
部品ＣＧ画像生成手段１４０は、部品データベース１９３のＣＡＤテーブル１９３１から三次元ＣＡＤデータ１９３１２を読み出して、この三次元ＣＡＤデータ１９３１２に対して、撮影条件算出手段１３０が算出した座標変換行列関係式１９５を適用して、レンダリング処理して、電子カメラ座標系（Ｘc 、Ｙc 、Ｚc ）の部品ＣＧ画像(＝二次元デジタル画像データ)を生成して、部品番号１９３１１と対応付ける。
【００４８】
部品特定手段１５５は、生成した部品ＣＧ画像データと、撮影画像データから切出した部品画像とを比較して画像認識して、所定の閾値以上の類似度で画像認識された部品ＣＧ画像データに対応付けられた部品番号１９３１１を特定する。
【００４９】
部品特定手段１５５は、部品撮影画像切出機能と交換部品画像認識機能と検索機能を備える。
部品撮影画像切出機能の処理の詳細は、図８の（５）《部品データの抽出》の詳細な処理手順の説明における（５−２）《部品撮影画像の切出処理》の項で述べた。
交換部品画像認識機能の処理の詳細は、図８の（５）《部品データの抽出》の詳細な処理手順の説明における（５−３）《部品の画像認識処理》の項で述べた。
【００５０】
部品データ抽出手段１５０は、特定された部品番号１９３１１を検索キーにして、部品データベース１９３を検索して、部品データ１９３２２を読み出す。
部品データ抽出手段１５０の処理の詳細は、図８の（５）《部品データの抽出》の詳細な処理手順の説明における（５−４）《部品データの検索処理》の項で述べた。
【００５１】
部品情報画面作成手段１６０は、読み出した部品データを用いて部品情報画面データ１９７を作成する。
【００５２】
部品情報画面返信手段１７５は、作成した部品情報画面データ１９７を携帯端末装置３００に返信する。
【符号の説明】
【００５３】
１  部品管理システム
１６  マーカー
１００  部品管理サーバー装置
１３０  撮影条件算出手段
１４０  部品ＣＧ画像生成手段
１５０  部品データ抽出手段
１６０  部品情報画面作成手段
１７０  撮影画像受信手段
１７５  部品情報画面返信手段
１９３  部品データベース
１９３１  ＣＡＤテーブル
１９３１１  部品番号
１９３１２  三次元ＣＡＤデータ
１９３２  部品情報テーブル
１９３２１  部品番号
１９３２２  部品データ
１９５  座標変換行列関係式データ
１９７  部品情報画面データ
３００  携帯端末装置
３１０  撮影画像送信手段
３２０  部品情報画面受信表示手段
３９１  撮影画像データ
【図１】
2010267113.tif 000009
【図２】
2010267113.tif 000010
【図３】
2010267113.tif 000011
【図４】
2010267113.tif 000012
【図５】
2010267113.tif 000013
【図６】
2010267113.tif 000014
【図７】
2010267113.tif 000015
【図８】
2010267113.tif 000016
【図９】
2010267113.tif 000017
【図１０】
2010267113.tif 000018
【図１１】
2010267113.tif 000019