(57)【要約】【課題】カメラが撮影した画像に基づき生成される仮想カメラの画質を向上させること。【解決手段】３次元モデルデータを用いて、遠隔操作ロボットに取り付けられたカメラが撮像したカメラ画像に基づき、設定された仮想的なカメラ視点からみた仮想カメラ画像を生成する仮想カメラ画像生成部５３５と、メッシュごとに、実空間内におけるカメラの位置姿勢情報に基づき、メッシュに対応する実空間を撮像したカメラ画像内のメッシュ画像の位置を示す情報を取得し、メッシュ画像の位置を示す情報に基づき、仮想カメラ画像に使用するための条件を満たすメッシュ画像を選択するカメラ画像選定部５３２と、を備える。【選択図】図６
2014056496.tif 000002
【特許請求の範囲】
【請求項１】
３次元空間内の立体形状を表す３次元モデルデータを用いて、遠隔操作ロボットに取り付けられたカメラが撮像したカメラ画像に基づき、設定された仮想的なカメラ視点からみた仮想カメラ画像を生成する仮想カメラ画像生成部と、
前記３次元モデルデータを構成する２次元パーツであるメッシュごとに、実空間内における前記カメラの位置を示すカメラ位置情報と、前記カメラの姿勢を示すカメラ姿勢情報とに基づき、前記メッシュに対応する実空間を写した前記カメラ画像内の画像領域であるメッシュ画像の位置を示す情報を取得し、前記メッシュ画像の位置を示す情報に基づき、複数の前記メッシュ画像の中から、前記仮想カメラ画像に使用するための条件を満たす前記メッシュ画像を選択するカメラ画像選定部と、
を備えることを特徴とする仮想カメラ画像生成装置。
【請求項２】
前記カメラ画像選定部は、
前記仮想カメラ画像に使用する条件を満たす前記メッシュ画像として、前記メッシュ画像の頂点の全てが前記カメラ画像内に含まれている前記メッシュ画像を選択することを特徴とする請求項１に記載の仮想カメラ画像生成装置。
【請求項３】
前記カメラ画像選定部は、
前記仮想カメラ画像に使用する条件を満たす前記メッシュ画像として、複数の前記カメラ画像内に含まれる同一の前記メッシュに対応するメッシュ画像のうち、前記メッシュ画像の面積が最大となる前記メッシュ画像を選択することを特徴とする請求項１に記載の仮想カメラ画像生成装置。
【請求項４】
実空間内における前記遠隔操作ロボットの位置を示す位置情報と、前記遠隔操作ロボットの姿勢を示す姿勢情報と、実空間内における前記仮想的なカメラ視点の位置を示す位置情報と、前記仮想的なカメラ視点の姿勢を示す姿勢情報とに基づき、各仮想カメラ画像の画角内に含まれる前記遠隔操作ロボットの合成画像を作成するロボットモデルデータ重畳処理部をさらに備え、
前記仮想カメラ画像生成部は、
前記ロボットモデルデータ重畳処理部によって生成された前記遠隔操作ロボットの合成画像を、前記仮想カメラ画像上に重畳させた画像を生成することを特徴とする請求項１から３のうちいずれか一項に記載の仮想カメラ画像生成装置。
【請求項５】
前記仮想カメラ画像生成部は、
指定された仮想的なカメラ視点に対応する右目視点からみた右目用の仮想カメラ画像と、前記指定された仮想的なカメラ視点に対応する左目視点からみた左目用の仮想カメラ画像とを生成し、
前記右目用の仮想カメラ画像と、前記左目用の仮想カメラ画像とを合成して、視差を利用した立体画像を生成する立体画像合成部と、
をさらに備えることを特徴とする請求項１から４のうちいずれか一項に記載の仮想カメラ画像生成装置。
【請求項６】
前記カメラ画像内のメッシュ画像の位置を示す情報に基づき、前記カメラ画像選定部によって判定された前記カメラ画像から、前記メッシュ画像を切り出す切り出し処理部と、
をさらに備えることを特徴とする請求項１から５のうちいずれか一項に記載の仮想カメラ画像生成装置。
【請求項７】
前記仮想カメラ画像生成部は、
前記仮想的なカメラ視点を有する仮想カメラの実空間内における位置を示す仮想カメラ位置情報と、前記仮想カメラの姿勢を示す仮想カメラ姿勢情報とに基づき、前記仮想カメラ画像に含まれる前記メッシュの位置を示す情報を取得し、前記仮想カメラ画像に含まれる前記メッシュの位置に、前記切り出し処理部によって切り出された前記メッシュ画像を貼り付けて前記仮想カメラ画像を生成することを特徴とする請求項６に記載の仮想カメラ画像生成装置。
【請求項８】
前記請求項１から７のうちいずれか一項に記載の仮想カメラ画像生成装置と、
前記遠隔操作ロボットの位置を示す位置情報と、前記遠隔操作ロボットの姿勢を示す姿勢情報とを取得し、取得した前記位置情報と前記姿勢情報とを、前記仮想カメラ画像生成装置に送信するロボット制御装置と、
を備えることを特徴とする仮想カメラ画像生成システム。
【請求項９】
前記ロボット制御装置は、
前記実空間内の立体形状を表わす情報を取得する第１の３次元計測部と、
前記第１の３次元計測部によって取得された情報に基づき、実空間のモデルデータを生成する第１の実空間モデルデータ生成部と、
前記第１の実空間モデルデータ生成部によって生成された前記実空間のモデルデータと、予め用意されている前記３次元モデルデータとを、同一座標系に統合する３次元モデルデータ統合部と、
を備えることを特徴とする請求項８に記載の仮想カメラ画像生成システム。
【請求項１０】
前記ロボット制御装置は、
前記実空間内の立体形状を表わす情報を取得する第２の３次元計測部と、
前記第２の３次元計測部によって取得された情報に基づき、実空間のモデルデータを生成する第２の実空間モデルデータ生成部と、
前記第２の実空間モデルデータ生成部によって生成された前記実空間のモデルデータと、予め用意されている前記３次元モデルデータとに基づき、前記遠隔操作ロボットの位置を示す位置情報と、前記遠隔操作ロボットの姿勢を示す姿勢情報とを補正する第１の位置姿勢補正部と、
を備えることを特徴とする請求項８に記載の仮想カメラ画像生成システム。
【請求項１１】
前記ロボット制御装置は、
前記カメラによって撮像されたカメラ画像に含まれる基準物に基づき、前記遠隔操作ロボットの位置ズレと姿勢ズレを検出し、前記位置ズレと前記姿勢ズレに基づき、前記遠隔操作ロボットの位置を示す位置情報と、前記遠隔操作ロボットの姿勢を示す姿勢情報とを補正する第２の位置姿勢補正部と、
を備えることを特徴とする請求項８に記載の仮想カメラ画像生成システム。
【請求項１２】
コンピュータが、
３次元空間内の立体形状を表す３次元モデルデータを構成する２次元パーツであるメッシュごとに、実空間内における前記カメラの位置を示すカメラ位置情報と、前記カメラの姿勢を示すカメラ姿勢情報とを算出するステップと、
前記カメラ位置情報と前記カメラ姿勢情報とに基づき、前記メッシュに対応する実空間を写したカメラ画像内の画像領域であるメッシュ画像の位置を示す情報を取得するステップと、
前記メッシュ画像の位置を示す情報に基づき、複数の前記メッシュ画像の中から、前記仮想カメラ画像に使用するための条件を満たす前記メッシュ画像を選択するステップと、
選択された前記メッシュ画像に基づき、設定された仮想的なカメラ視点からみた仮想カメラ画像を生成するステップと、
を備えることを特徴とする仮想カメラ画像生成方法。
【請求項１３】
コンピュータを、
３次元空間内の立体形状を表す３次元モデルデータを用いて、遠隔操作ロボットに取り付けられたカメラが撮像したカメラ画像に基づき、設定された仮想的なカメラ視点からみた仮想カメラ画像を生成する仮想カメラ画像生成手段、
前記３次元モデルデータを構成する２次元パーツであるメッシュごとに、実空間内における前記カメラの位置を示すカメラ位置情報と、前記カメラの姿勢を示すカメラ姿勢情報とに基づき、前記メッシュに対応する実空間を映した前記カメラ画像内の画像領域であるメッシュ画像の位置を示す情報を取得し、前記メッシュ画像の位置を示す情報に基づき、複数の前記メッシュ画像の中から、前記仮想カメラ画像に使用するための条件を満たす前記メッシュ画像を選択するカメラ画像選定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想カメラ画像生成装置、仮想カメラ画像生成システム、仮想カメラ画像生成方法、およびプログラムに関する。
【背景技術】
【０００２】
人が作業できない作業エリアにおいては、作業エリアを撮影した画像に基づき、作業エリアに配置されたロボットを遠隔操作することによって、人の代わりにロボットに作業を行わせるシステムがある。ロボットは、作業エリアを撮像した画像を操作者のコンピュータ等に送信し、コンピュータから受信した操作指示に従って動作する。作業者は、ロボットから送信される映像を確認しながらロボットを遠隔操作することとなる。このため、カメラの取り付け位置によらずに、作業者がみやすい画像を提供することが好ましい。
【０００３】
例えば、車両の後退時にカメラの取り付け位置によらずに、運転者にとって見やすい車両の後方の画像を提供する装置がある（例えば、特許文献１参照）。
この装置は、車両の後方に搭載されたカメラによって撮影した車両の後方の画像を、変換テーブルを用いて、カメラが搭載されたカメラ位置と異なる仮想カメラ位置から、所定の伏角で撮影したと仮想された出力画像に変換して、モニタに表示させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１６３１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、遠隔操作用のロボットの操作者の操作では、配管などの検査を目的に狭い空間でロボットのアームを動かす細かな作業が必要な場合がある。この場合、仮想カメラ位置からの映像であっても、操作者に提供される映像の画質が悪いと、操作者は現状を正確に把握することができず、迅速で正確な操作が出来ないという問題があった。
【０００６】
本発明は、前記の点に鑑みてなされたものであり、カメラが撮影した画像に基づき生成される仮想カメラの画質を向上させるための仮想カメラ画像生成装置、仮想カメラ画像生成システム、仮想カメラ画像生成方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）この発明は上述した課題を解決するためになされたもので、本発明の一態様による仮想カメラ画像生成装置は、３次元空間内の立体形状を表す３次元モデルデータを用いて、遠隔操作ロボットに取り付けられたカメラが撮像したカメラ画像に基づき、設定された仮想的なカメラ視点からみた仮想カメラ画像を生成する仮想カメラ画像生成部と、前記３次元モデルデータを構成する２次元パーツであるメッシュごとに、実空間内における前記カメラの位置を示すカメラ位置情報と、前記カメラの姿勢を示すカメラ姿勢情報とに基づき、前記メッシュに対応する実空間を写した前記カメラ画像内の画像領域であるメッシュ画像の位置を示す情報を取得し、前記メッシュ画像の位置を示す情報に基づき、複数の前記メッシュ画像の中から、前記仮想カメラ画像に使用するための条件を満たす前記メッシュ画像を選択するカメラ画像選定部と、を備える。
これにより、本実施形態に係る仮想カメラ画像生成装置は、仮想カメラ画像に使用するための条件を満たさないものを除外することができるため、仮想カメラの画質を向上させることができる。
【０００８】
（２）また、本発明の一態様による仮想カメラ画像生成装置において、前記カメラ画像選定部は、前記仮想カメラ画像に使用する条件を満たす前記メッシュ画像として、前記メッシュ画像の頂点の全てが前記カメラ画像内に含まれている前記メッシュ画像を選択する。
これにより、本実施形態に係る仮想カメラ画像生成装置は、一部が欠けているメッシュ画像を選択対象から排除することができるため、仮想カメラ画像が欠損してしまう不都合を防止することができる。
【０００９】
（３）また、本発明の一態様による仮想カメラ画像生成装置において、前記カメラ画像選定部は、前記仮想カメラ画像に使用する条件を満たす前記メッシュ画像として、複数の前記カメラ画像内に含まれる同一の前記メッシュに対応するメッシュ画像のうち、前記メッシュ画像の面積が最大となる前記メッシュ画像を選択する。
これにより、本実施形態に係る仮想カメラ画像生成装置は、画質の高いメッシュ画像を、仮想カメラ画像として用いるメッシュ画像として選択することができる。よって、最適メッシュのメッシュ画像から仮想カメラ画像を生成することにより、仮想カメラの解像度を向上させることができる。
【００１０】
（４）また、本発明の一態様による仮想カメラ画像生成装置は、実空間内における前記遠隔操作ロボットの位置を示す位置情報と、前記遠隔操作ロボットの姿勢を示す姿勢情報と、実空間内における前記仮想的なカメラ視点の位置を示す位置情報と、前記仮想的なカメラ視点の姿勢を示す姿勢情報とに基づき、各仮想カメラ画像の画角内に含まれる前記遠隔操作ロボットの合成画像を作成するロボットモデルデータ重畳処理部をさらに備え、前記仮想カメラ画像生成部は、前記ロボットモデルデータ重畳処理部によって生成された前記遠隔操作ロボットの合成画像を、前記仮想カメラ画像上に重畳させた画像を生成する。
これにより、本実施形態に係る仮想カメラ画像生成装置は、操作者が操作している遠隔操作ロボットを仮想カメラ画像上に表示することができ、操作者の操作性を向上することができる。
【００１１】
（５）また、本発明の一態様による仮想カメラ画像生成装置において、前記仮想カメラ画像生成部は、指定された仮想的なカメラ視点に対応する右目視点からみた右目用の仮想カメラ画像と、前記指定された仮想的なカメラ視点に対応する左目視点からみた左目用の仮想カメラ画像とを生成し、前記右目用の仮想カメラ画像と、前記左目用の仮想カメラ画像とを合成して、視差を利用した立体画像を生成する立体画像合成部と、をさらに備える。
これにより、本実施形態に係る仮想カメラ画像生成装置は、仮想カメラ画像に基づき作成される立体画像の画質を向上させることができる。
【００１２】
（６）また、本発明の一態様による仮想カメラ画像生成装置は、前記カメラ画像内のメッシュ画像の位置を示す情報に基づき、前記カメラ画像選定部によって判定された前記メッシュ画像を、対応する前記カメラ画像から切り出す切り出し処理部と、をさらに備える。
これにより、本実施形態に係る仮想カメラ画像生成装置は、カメラ画像選定部によって選択された高画質なメッシュ画像を切り出すことができる。
【００１３】
（７）また、本発明の一態様による仮想カメラ画像生成装置において、前記仮想カメラ画像生成部は、前記仮想的なカメラ視点を有する仮想カメラの実空間内における位置を示す仮想カメラ位置情報と、前記仮想カメラの姿勢を示す仮想カメラ姿勢情報とに基づき、前記仮想カメラ画像に含まれる前記メッシュの位置を示す情報を取得し、前記仮想カメラ画像に含まれる前記メッシュの位置に、前記切り出し処理部によって切り出された前記メッシュ画像を貼り付けて前記仮想カメラ画像を生成する。
【００１４】
（８）また、本発明の一態様による仮想カメラ画像生成システムは、上述の仮想カメラ画像生成装置と、前記遠隔操作ロボットの位置を示す位置情報と、前記遠隔操作ロボットの姿勢を示す姿勢情報とを取得し、取得した前記位置情報と前記姿勢情報とを、前記仮想カメラ画像生成装置に送信するロボット制御装置とを備える。
【００１５】
（９）また、本発明の一態様による仮想カメラ画像生成システムにおいて、前記ロボット制御装置は、前記実空間内の立体形状を表わす情報を取得する第１の３次元計測部と、前記第１の３次元計測部によって取得された情報に基づき、実空間のモデルデータを生成する第１の実空間モデルデータ生成部と、前記第１の実空間モデルデータ生成部によって生成された前記実空間のモデルデータと、予め用意されている前記３次元モデルデータとを、同一座標系に統合する３次元モデルデータ統合部と、を備える。
これにより、本実施形態に係る仮想カメラ画像生成システムは、現時点の実空間内の状況に応じて、３次元モデルデータを最新のデータに更新することができる。よって、仮想カメラ画像生成装置は、最新の周囲環境に基づき、仮想カメラ画像を生成することができる。
【００１６】
（１０）また、本発明の一態様による仮想カメラ画像生成システムにおいて、前記ロボット制御装置は、前記実空間内の立体形状を表わす情報を取得する第２の３次元計測部と、前記第２の３次元計測部によって取得された情報に基づき、実空間のモデルデータを生成する第２の実空間モデルデータ生成部と、前記第２の実空間モデルデータ生成部によって生成された前記実空間のモデルデータと、予め用意されている前記３次元モデルデータとに基づき、前記遠隔操作ロボットの位置を示す位置情報と、前記遠隔操作ロボットの姿勢を示す姿勢情報とを補正する第１の位置姿勢補正部と、を備える。
これにより、本実施形態に係る仮想カメラ画像生成システムは、正確な位置情報や姿勢情報を取得できない場合であっても、位置姿勢補正部が補正した位置情報や姿勢情報を、仮想カメラ画像生成装置に送信することができる。よって、仮想カメラ画像生成装置が作成する仮想カメラ画像が、遠隔操作ロボットの位置や姿勢とズレる事態を防止することができる。
【００１７】
（１１）また、本発明の一態様による仮想カメラ画像生成システムにおいて、前記ロボット制御装置は、前記カメラによって撮像されたカメラ画像に含まれる基準物に基づき、前記遠隔操作ロボットの位置ズレと姿勢ズレを検出し、前記位置ズレと前記姿勢ズレに基づき、前記遠隔操作ロボットの位置を示す位置情報と、前記遠隔操作ロボットの姿勢を示す姿勢情報とを補正する第２の位置姿勢補正部と、を備える。
これにより、本実施形態に係る仮想カメラ画像生成システムは、正確な位置情報や姿勢情報を取得できない場合であっても、位置姿勢補正部が補正した位置情報や姿勢情報を、仮想カメラ画像生成装置に送信することができる。よって、仮想カメラ画像生成装置が作成する仮想カメラ画像が、遠隔操作ロボットの位置や姿勢とずれる事態を防止することができる。
【００１８】
（１２）また、本発明の一態様による仮想カメラ画像生成方法は、コンピュータが、３次元空間内の立体形状を表す３次元モデルデータを構成する２次元パーツであるメッシュごとに、実空間内における前記カメラの位置を示すカメラ位置情報と、前記カメラの姿勢を示すカメラ姿勢情報とを算出するステップと、前記カメラ位置情報と前記カメラ姿勢情報とに基づき、前記メッシュに対応する実空間を写したカメラ画像内の画像領域であるメッシュ画像の位置を示す情報を取得するステップと、前記メッシュ画像の位置を示す情報に基づき、複数の前記メッシュ画像の中から、前記仮想カメラ画像に使用するための条件を満たす前記メッシュ画像を選択するステップと、選択された前記メッシュ画像に基づき、設定された仮想的なカメラ視点からみた仮想カメラ画像を生成するステップと、を備える。
【００１９】
（１３）また、本発明の一態様によるプログラムは、コンピュータを、３次元空間内の立体形状を表す３次元モデルデータを用いて、遠隔操作ロボットに取り付けられたカメラが撮像したカメラ画像に基づき、設定された仮想的なカメラ視点からみた仮想カメラ画像を生成する仮想カメラ画像生成手段、前記３次元モデルデータを構成する２次元パーツであるメッシュごとに、実空間内における前記カメラの位置を示すカメラ位置情報と、前記カメラの姿勢を示すカメラ姿勢情報とに基づき、前記メッシュに対応する実空間を映した前記カメラ画像内の画像領域であるメッシュ画像の位置を示す情報を取得し、前記メッシュ画像の位置を示す情報に基づき、複数の前記メッシュ画像の中から、前記仮想カメラ画像に使用するための条件を満たす前記メッシュ画像を選択するカメラ画像選定手段、として機能させるためのプログラムである。
【発明の効果】
【００２０】
本発明によれば、カメラが撮影した画像に基づき生成される仮想カメラの画質を向上させることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る一実施形態に係る仮想カメラ画像生成システムの構成を示すブロック図である。
【図２】本発明に係る一実施形態に係る仮想カメラ画像生成システムの概要について説明するための図である。
【図３】本発明に係る一実施形態に係るカメラ画像の一例を示す図である。
【図４】本発明に係る一実施形態で用いられる３次元モデルデータの一例を示す図である。
【図５】本発明に係る一実施形態に係るロボット制御装置の制御系の一例を示すブロック図である。
【図６】本発明に係る一実施形態に係る仮想カメラ画像生成装置の制御系の一例を示すブロック図である。
【図７】本発明に係る一実施形態に係るカメラ位置姿勢画像テーブルの一例を示す図である。
【図８】本発明に係る一実施形態に係る切り出し情報テーブルの一例を示す図である。
【図９】本発明に係る一実施形態に係るカメラ画像内に含まれるメッシュの一例を示す図である。
【図１０】本発明に係る一実施形態に係る演算式について説明するための参考図である。
【図１１】本発明に係る一実施形態に係るロボットモデルデータ重畳テーブルの一例を示す図である。
【図１２】本発明に係る一実施形態に係る貼り付け情報テーブルの一例を示す図である。
【図１３】本発明に係る一実施形態に係る本実施形態に係る仮想カメラ画像内に含まれるメッシュの一例を示す図である。
【図１４】本発明に係る一実施形態に係るカメラ画像選定部による処理の概略について説明するための図である。
【図１５】本発明に係る一実施形態に係る仮想カメラ画像生成方法の一例を説明するためのフローチャートである。
【図１６】本発明に係る一実施形態に係る仮想カメラ画像生成方法の一例を説明するためのフローチャートである。
【図１７】本発明に係る一実施形態に係るカメラ画像選択処理方法の一例を説明するためのフローチャートである。
【図１８】本発明に係る第２実施形態に係るロボット制御装置の制御系の一例を示すブロック図である。
【図１９】本発明に係る第３実施形態に係るロボット制御装置の制御系の一例を示すブロック図である。
【図２０】本発明に係る第４実施形態に係る仮想カメラ画像生成システムの制御系の一例を示すブロック図である。
【発明を実施するための形態】
【００２２】
［第１実施形態］
本発明の実施形態について図面を参照して詳細に説明する。図１は、本実施形態に係る仮想カメラ画像生成システムの構成を示すブロック図である。なお、ここでは、本実施形態に係る仮想カメラ画像生成システムの構成例について説明する。
図１に示す通り、本実施形態に係る仮想カメラ画像生成システムは、例えば、遠隔操作ロボット１に取り付けらた第１カメラ１００、第２カメラ２００、および第３カメラ３００と、遠隔操作ロボット１に搭載されたロボット制御装置４００と、仮想カメラ画像生成装置５００と、表示装置６００と、操作装置７００を含む。ロボット制御装置４００と、仮想カメラ画像生成装置５００と、操作装置７００は、ネットワークを介して、それぞれ通信可能に接続されている。
【００２３】
遠隔操作ロボット１は、例えば、人が立ち入ることができないような作業場等に配置され、操作装置７００から受信する操作情報に基づき、動作するロボットの一例である。
ロボット制御装置４００は、第１カメラ１００、第２カメラ２００、および第３カメラ３００によって撮像されたカメラ画像を仮想カメラ画像生成装置５００に送信する。なお、本実施形態において、カメラ画像は連続する複数の画像のうちの１つであって、仮想カメラ画像生成システムは、これらを連続して再生することによって映像を提供することができる。
仮想カメラ画像生成装置５００は、ロボット制御装置４００から受信した第１カメラ１００、第２カメラ２００、および第３カメラ３００のカメラ画像に基づき、設定された仮想カメラの視点から見た仮想カメラ画像を生成し、表示装置６００に出力する。なお、仮想カメラ画像とは、第１カメラ１００、第２カメラ２００、および第３カメラ３００によってそれぞれ異なる視点から撮像されたカメラ画像に基づき合成される画像であって、設定された１つの仮想的な視点（以下、仮想カメラ視点という）から見た画像をいう。
【００２４】
表示装置６００は、仮想カメラ画像生成装置５００と接続されており、仮想カメラ画像生成装置５００によって生成された仮想カメラ画像を表示する。
操作装置７００は、例えば、マスクやキーボードを介して、ユーザからの操作を受け付け、ユーザから受け付けた操作内容を示す操作情報を、ネットワークを介してロボット制御装置４００に送信する。
この構成により、操作装置７００の操作者は、表示装置６００に表示される仮想カメラ画像を見ながら、遠隔操作ロボット１を操作することができる。
なお、仮想カメラ画像生成装置５００と操作装置７００は、１つのコンピュータによって構成される装置であってもよく、別々のコンピュータによって構成される装置であってもよい。
【００２５】
次に、図２を参照して、本実施形態に係る仮想カメラ画像生成システムの概要について説明する。図２は、本実施形態に係る仮想カメラ画像生成システムの概要について説明するための図である。図２に示す通り、実空間中の点は、ｘｙｚの三次元座標系により定義されており、実空間中の点の位置は、この座標値（ｘ，ｙ，ｚ）によって示される。なお、このｘｙｚの直交三次元座標系の原点（０，０，０）は、例えば、実空間中の任意の場所に設定可能である。また、座標値（ｘ，ｙ，ｚ）は、緯度、経度、高度を示す情報であってもよい。
遠隔操作ロボット１は、例えば、移動台車３と、多段伸縮部材４と、マニピュレータ５と備える。このマニピュレータ５の先端には、可視化検出モジュール７が取り付けられている。また、マニピュレータ５には、第１カメラ１００、第２カメラ２００、および第３カメラ３００が取り付けられている。本実施形態において、第１カメラ１００、第２カメラ２００、および第３カメラ３００は、それぞれ、マニピュレータ５の上部、中部、下部に取り付けられている。
【００２６】
移動台車３は、遠隔操作ロボット１を移動させる車両であって、停止した位置に遠隔操作ロボット１を固定するアウトリガ１３を備える。
多段伸縮部材４は、例えば、テレスコープ状の多重筒型伸縮機構であり、移動台車３の上面に取り付けられた多段階の筒部を有している。この多段伸縮部材４は、所定の油圧システムによって、伸縮自在に構成されており、操作装置７００から受信する操作情報に基づき、マニピュレータ５、可視化検出モジュール７、第１カメラ１００、第２カメラ２００、および第３カメラ３００を任意の高さ位置へ移動させることが可能である。
マニピュレータ５は、例えば、３つの軸（関節）を備えた３軸（３自由度）マニピュレータ（多関節ロボット）である。このマニピュレータ５は、４本のアーム１４と、各々のアーム１４を接続する３つの軸１５とを有している。マニピュレータ５は、最も基端側のアーム１４が多段伸縮部材４の先端に設置されており、最も先端側のアーム１４には可視化検出モジュール７が取り付けられている。なお、マニピュレータ５の自由度は３自由度に限らず、様々な自由度のマニピュレータを採用することができる。
【００２７】
この遠隔操作ロボット１は、操作装置７００から遠隔の現場に配置された配管８００の前に固定されているとする。この場合、第１カメラ１００、第２カメラ２００、および第３カメラ３００は、それぞれ異なる角度から配管８００を撮像する。
具体的説明すると、第１カメラ１００は、遠隔操作ロボット１の上位に取り付けられているため、上方から配管８００を至近距離で撮像する。
第２カメラ２００は、遠隔操作ロボット１の中位に取り付けられているため、配管８００を横側から撮像する。
第３カメラ３００は、遠隔操作ロボット１の下位に取り付けられているため、下方から配管８００を遠近で撮像する。
【００２８】
なお、配管８００に対する各カメラの距離は、マニピュレータ５を操作することによって変更することができる。
この場合、第１カメラ１００、第２カメラ２００、および第３カメラ３００は、例えば、図３に示すようなカメラ画像データＧ１〜Ｇ３を取得する。なお、このカメラ画像の各画素の位置は、左上を原点（０，０）とするＵＶ座標系（Ｕ，Ｖ）によって示される。本実施形態において、第１カメラ１００、第２カメラ２００、および第３カメラ３００は、同一の解像度を有するものとする。
【００２９】
図３（ａ）は、第１カメラ１００が撮像したカメラ画像の一例を示す図である。このカメラ画像は、第１カメラ１００によって取得されたカメラ画像データＧ１に基づき、例えば表示装置６００に表示した場合の画像である。図示の通り、第１カメラ１００によって撮像されたカメラ画像は、配管８００を至近距離から撮像した画面である。
図３（ｂ）は、第２カメラ２００が撮像したカメラ画像の一例を示す図である。このカメラ画像は、第２カメラ２００によって取得されたカメラ画像データＧ２に基づき、例えば表示装置６００に表示した場合の画像である。図示の通り、第２カメラ２００によって撮像されたカメラ画像は、第１カメラ１００より配管８００から遠い位置で撮像した画像である。
図３（ｃ）は、第３カメラ３００が撮像したカメラ画像の一例を示す図である。このカメラ画像は、第３カメラ３００によって取得されたカメラ画像データＧ３に基づき、例えば表示装置６００に表示した場合の画像である。図示の通り、第３カメラ３００によって撮像されたカメラ画像は、第２カメラ２００よりさらに配管８００から遠い位置で撮像した画像である。
【００３０】
図２に戻って、本実施形態に係る仮想カメラ画像生成システムの概要についての説明を続ける。
可視化検出モジュール７の内部には、ロボット制御装置４００が搭載されている。このロボット制御装置４００は、第１カメラ１００、第２カメラ２００、および第３カメラ３００から、撮像されたカメラ画像の仮想カメラ画像データＧ１〜３を受信し、仮想カメラ画像生成装置５００に送信する。仮想カメラ画像生成装置５００は、受信した仮想カメラ画像データＧ１〜３に基づき、仮想カメラ１１００、仮想カメラ１２００、仮想カメラ１３００および仮想カメラ１４００によって撮像された仮想カメラ画像を生成する。これら仮想カメラ１１００〜１４００は、仮想カメラ視点から見た画像を撮像する仮想的なカメラである。なお、これら仮想カメラの個数や仮想カメラ視点は、操作装置７００の操作者が任意に設定可能であってもよく、予め決められているものであってもよい。
本実施形態において、仮想カメラ１１００は、遠隔操作ロボット１の左側上部の後方から配管８００を見下ろす位置に設定された仮想カメラ視点を有する。仮想カメラ１２００は、遠隔操作ロボット１の右側上部の後方から配管８００を見下ろす位置に設定された仮想カメラ視点を有する。仮想カメラ１３００は、遠隔操作ロボット１の左側上部の前方から配管８００を見下ろす位置に設定された仮想カメラ視点を有する。仮想カメラ１４００は、遠隔操作ロボット１の右側上部の前方から配管８００を見下ろす位置に設定された仮想カメラ視点を有する。
【００３１】
次に、図４を参照して、仮想カメラ画像生成装置５００において用いられる３次元モデルデータの一例について説明する。図４は、本実施形態において用いられる３次元モデルデータの一例を示す図である。
本実施形態における３次元モデルデータは、コンピューターグラフィックの技術において、遠隔操作ロボット１が配置されている周囲の実空間内の立体形状を表わしたモデルデータである。この３次元モデルデータは、例えば、遠隔操作ロボット１が作業する建物の設計図や、配管８００の形状、サイズ、および配置位置を示す設計図等によって、予め作成されているデータである。
また、この３次元モデルデータは、メッシュと呼ばれる２次元パーツによって構成されている。本実施形態において、メッシュは、三角形の２次元パーツであって、３次元モデルデータを構成する２次元パーツの最小単位である。なお、２次元パーツとは、３次元空間内のＡＢＣの３つの頂点によって定義される面である。また、各メッシュのＡＢＣの頂点には、ワールド座標系で示される位置情報が対応付けられている。なお、各メッシュのＡＢＣの頂点の位置情報を、メッシュ頂点世界座標組Ｌ（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ，ｘｃ，ｙｃ，ｚｃ）という。
【００３２】
次に、図５を参照して、本実施形態に係るロボット制御装置４００の制御系の一例について説明する。図５は、本実施形態に係るロボット制御装置４００の制御系の一例を示すブロック図である。
図示の通り、ロボット制御装置４００は、ロボット動作制御部４０１と、ロボット通信部４０２と、位置検出部４０３と、姿勢センサー４０４と、記憶部４０５と、位置姿勢情報算出部４０６とを備える。
ロボット動作制御部４０１は、遠隔操作ロボット１の動作を制御する制御部である。
このロボット動作制御部４０１は、例えば、移動台車３に対して、遠隔操作ロボット１を移動あるいは停止させる制御を実行する。また、ロボット動作制御部４０１は、アウトリガ１３に対して、停止した位置で遠隔操作ロボット１を固定させる制御を実行する。さらに、ロボット動作制御部４０１は、多段伸縮部材４およびマニピュレータ５に対して、可視化検出モジュール７、第１カメラ１００、第２カメラ２００、および第３カメラ３００を所定の位置に移動させる制御を実行する。例えば、ロボット動作制御部４０１は、軸１５の回転角度を制御して、マニピュレータ５の傾きを自在に制御することができる。ロボット動作制御部４０１は、制御した軸１５の回転角度を示す情報（以下、アーム角度情報という。）を記憶部４０５に書き込む。
なお、ロボット動作制御部４０１は、第１カメラ１００、第２カメラ２００、および第３カメラ３００のカメラ視点を変更するため、それぞれの回転角度を調整制御することができる。ロボット動作制御部４０１は、調整制御したカメラの回転角度を示す情報（以下、カメラ角度情報という）を記憶部４０５に書き込む。
【００３３】
ロボット通信部４０２は、第１カメラ１００、第２カメラ２００、および第３カメラ３００と接続されており、各カメラからカメラ画像データＧ１〜Ｇ３を入力する。また、ロボット通信部４０２は、ネットワークを介して、仮想カメラ画像生成装置５００と接続されており、位置姿勢情報算出部４０６によって算出された各カメラの位置姿勢情報と、カメラ画像データＧ１〜Ｇ３とをそれぞれ対応付けた情報を、仮想カメラ画像生成装置５００に送信する。さらに、ロボット通信部４０２は、ネットワークを介して、操作装置７００と接続されており、操作装置７００を操作する操作者によって入力された操作内容を示す操作情報を、操作装置７００から受信する。
【００３４】
位置検出部４０３は、遠隔操作ロボット１の現在位置を検出する。この位置検出部４０３は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）からの世界座標系の位置を示す位置信号（緯度、経度、高度を示す情報）を受信する受信機であって、受信した位置信号を位置姿勢情報算出部４０６に出力する。本実施形態において、位置検出部４０３は、遠隔操作ロボット１の位置を示す位置情報（ｘＲｏｂ，ｙＲｏｂ，ｚＲｏｂ）を検出し、位置姿勢情報算出部４０６に出力する。なお、位置情報（ｘＲｏｂ，ｙＲｏｂ，ｚＲｏｂ）は、ｘｙｚの世界座標系で示される座標値である。
【００３５】
姿勢センサー４０４は、例えば、振動ジャイロセンサーや加速度センサー等であって、遠隔操作ロボット１の姿勢を検出する。本実施形態において、姿勢センサー４０４は、遠隔操作ロボット１の姿勢を示す姿勢情報（ｒｘＲｏｂ，ｒｙＲｏｂ，ｒｚＲｏｂ）を検出し、位置姿勢情報算出部４０６に出力する。なお、姿勢情報（ｒｘＲｏｂ，ｒｙＲｏｂ，ｒｚＲｏｂ）は、世界座標系のｘｙｚ軸周りの回転角を示す値である。
【００３６】
記憶部４０５は、ロボット動作制御部４０１および位置姿勢情報算出部４０６の制御に使用される情報を格納する。この記憶部４０５は、例えば、ロボット動作制御部４０１がマニピュレータ５を動作制御した際のアーム角度情報や、第１カメラ１００、第２カメラ２００、および第３カメラ３００を動作制御した際のカメラ角度情報を格納する。また、記憶部４０５は、遠隔操作ロボット１のカメラの取り付け位置に応じて定まる遠隔操作ロボット１と第１カメラ１００、第２カメラ２００、および第３カメラ３００それぞれの位置関係を示す情報（以下、カメラ相対位置情報という）を格納する。なお、このカメラ相対位置情報は、第１カメラ１００、第２カメラ２００、および第３カメラ３００を遠隔操作ロボット１に取り付ける際に、設計上決まる情報であるため、予め記憶部４０５に記憶されている。
【００３７】
位置姿勢情報算出部４０６は、位置検出部４０３によって検出された位置情報（ｘＲｏｂ，ｙＲｏｂ，ｚＲｏｂ）に基づき、記憶部４０５に格納されているアーム角度情報およびカメラ相対位置情報を参照して、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの位置を示す位置情報を算出する。具体的に説明すると、位置姿勢情報算出部４０６は、アーム角度情報およびカメラ相対位置情報に基づき、遠隔操作ロボット１に対する各カメラの相対的な位置を判定することができる。また、位置姿勢情報算出部４０６は、遠隔操作ロボット１の位置情報（ｘＲｏｂ，ｙＲｏｂ，ｚＲｏｂ）に基づき、遠隔操作ロボット１に対する各カメラの相対的な位置から各カメラの実空間内の位置（つまり、絶対的な位置）を示す位置情報を算出する。本実施形態において、位置姿勢情報算出部４０６は、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの実空間内の位置を示す位置情報（ｘ１，ｙ１，ｚ１）、位置情報（ｘ２，ｙ２，ｚ２）、および位置情報（ｘ３，ｙ３，ｚ３）を算出する。なお、位置姿勢情報算出部４０６は、３次元の直交座標系における座標値（ｘ，ｙ，ｚ）を算出する。
【００３８】
位置姿勢情報算出部４０６は、姿勢センサー４０４によって検出された姿勢情報（ｒｘＲｏｂ，ｒｙＲｏｂ，ｒｚＲｏｂ）に基づき、記憶部４０５に格納されているアーム角度情報およびカメラ相対位置情報を参照して、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの姿勢を示す姿勢情報を算出する。具体的に説明すると、位置姿勢情報算出部４０６は、アーム角度情報およびカメラ相対位置情報に基づき、遠隔操作ロボット１に対する各カメラの相対的な姿勢を判定することができる。また、位置姿勢情報算出部４０６は、遠隔操作ロボット１の姿勢情報（ｒｘＲｏｂ，ｒｙＲｏｂ，ｒｚＲｏｂ）に基づき、遠隔操作ロボット１に対する各カメラの相対的な姿勢から各カメラの実空間内の姿勢（つまり、絶対的な姿勢）を示す姿勢情報を算出する。本実施形態において、位置姿勢情報算出部４０６は、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの実空間内の姿勢を示す姿勢情報（ｒｘ１，ｒｙ１，ｒｚ１）、姿勢情報（ｒｘ２，ｒｙ２，ｒｚ２）、および姿勢情報（ｒｘ３，ｒｙ３，ｒｚ３）を算出する。
【００３９】
位置姿勢情報算出部４０６は、算出した位置情報と姿勢情報をまとめて、各カメラの位置姿勢情報を取得する。本実施形態において、位置姿勢情報算出部４０６は、第１カメラ１００の位置姿勢情報Ｐ１（ｘ１，ｙ１，ｚ１，ｒｘ１，ｒｙ１，ｒｚ１）と、第２カメラ２００の位置姿勢情報Ｐ２（ｘ２，ｙ２，ｚ２，ｒｘ２，ｒｙ２，ｒｚ２）と、第３カメラ３００の位置姿勢情報Ｐ３（ｘ３，ｙ３，ｚ３，ｒｘ３，ｒｙ３，ｒｚ３）とを算出する。
【００４０】
次に、図６を参照して、本実施形態に係る仮想カメラ画像生成装置５００の制御系の一例について説明する。図６は、本実施形態に係る仮想カメラ画像生成装置５００の制御系の一例を示すブロック図である。
図示の通り、仮想カメラ画像生成装置５００は、通信部５０１と、記憶部５０２と、ＣＰＵ５０３とを備える。
通信部５０１は、ネットワークを介して、ロボット制御装置４００と接続されており、位置姿勢情報算出部４０６によって算出された各カメラの位置姿勢情報Ｐ１〜Ｐ３と、各カメラのカメラ画像データＧ１〜Ｇ３とを、ロボット制御装置４００から受信する。また、通信部５０１は、ＣＰＵ５０３によって生成された仮想カメラ画像の画像データを、表示装置６００に送信する。
【００４１】
記憶部５０２は、カメラ位置姿勢画像テーブル５２１と、切り出し情報テーブル５２２と、ロボットモデルデータ重畳テーブル５２３と、貼り付け情報テーブル５２４と、３次元モデルデータ記憶領域５２５と、ロボットモデルデータ記憶領域５２６とを備える。
【００４２】
以下、図７〜１０を参照して、各テーブルのデータ構造の一例について説明する。
図７は、カメラ位置姿勢画像テーブル５２１の一例を示す図である。
図示の通り、カメラ位置姿勢画像テーブル５２１は、時間情報と、カメラＩＤと、各カメラの位置姿勢情報と、各カメラから取得されたカメラ画像データとを、それぞれ対応づけるテーブルである。
時間情報は、例えば、第１カメラ１００、第２カメラ２００、および第３カメラ３００においてカメラ画像データが撮像された順番やタイミングあるいは時刻を示す情報である。この時間情報は、例えば、第１カメラ１００、第２カメラ２００、および第３カメラ３００によって撮影される映像を構成する各画像のフレーム番号を示す情報である。なお、時間情報は、仮想カメラ画像生成装置５００がロボット制御装置４００から各カメラ画像データを受信した順番やタイミングあるいは時刻を示す情報であってもよい。本実施形態において、この時間情報は、フレーム番号（ｉ）によって示される。
【００４３】
カメラＩＤは、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれを識別するための情報である。このカメラＩＤは、各カメラに割り当てられている製造番号等であってもよく、ロボット制御装置４００がそれぞれを別カメラとして認識するために割り当てた識別番号等であってもよい。本実施形態において、第１カメラ１００のカメラＩＤ＝ＣＭＲ１、第２カメラ２００のカメラＩＤ＝ＣＭＲ２、第３カメラ３００のカメラＩＤ＝ＣＭＲ３と決められている。
位置姿勢情報は、位置姿勢情報算出部４０６によって算出された情報である。例えば、位置姿勢情報Ｐ１ｉは、第１カメラ１００によって撮影されたカメラ画像のうち、フレーム番号＝ｉのカメラ画像を撮像した際の第１カメラ１００の位置および姿勢を示す位置姿勢情報Ｐ１である。
カメラ画像データは、第１カメラ１００、第２カメラ２００、および第３カメラ３００によって撮像されたカメラ画像を表わすデータである。例えば、カメラ画像データＧ１ｉは、第１カメラ１００によって撮影されたカメラ画像のうち、フレーム番号＝ｉのカメラ画像の画像データである。
【００４４】
図８は、切り出し情報テーブル５２２の一例を示す図である。
図示の通り、切り出し情報テーブル５２２は、メッシュナンバーと、メッシュ頂点世界座標組Ｌと、メッシュ頂点カメラ画像座標組Ｍと、最適メッシュのカメラＩＤとを、それぞれ対応づけるテーブルである。なお、メッシュ頂点カメラ画像座標組Ｍは、第１カメラ１００、第２カメラ２００、および第３カメラ３００によって撮像されたカメラ画像ごとに、それぞれ対応付けられている。
メッシュナンバーとは、３次元モデルデータ内に存在する各メッシュを識別するための情報である。例えば、この切り出し情報テーブル５２２に書き込まれているメッシュナンバーＭＥＳＨ＿００１〜ＭＥＳＨ＿１００は、仮想カメラ１１００の仮想カメラ視点からみた仮想カメラ画像の画角に含まれる全てのメッシュを示す情報である。ここでは、仮想カメラ画像の画角内に１００個のメッシュが含まれるものとする。
メッシュ頂点世界座標組Ｌは、メッシュナンバーが示す各メッシュの位置を示す情報であって、例えば、仮想カメラ１１００の仮想カメラ視点からみた仮想カメラ画像の画角に含まれる全てのメッシュの位置を示す情報である。なお、メッシュ頂点世界座標組Ｌは、３次元モデルデータ記憶領域５２５に、各メッシュナンバーと対応付けて、記憶部５０２に予め登録されている情報である。例えば、メッシュ頂点世界座標組Ｌｉ００１は、フレーム番号＝ｉの仮想カメラ画像に含まれるメッシュナンバーＭＥＳＨ＿００１のメッシュの各頂点Ａ〜Ｃの世界座標値を示す情報である。
【００４５】
メッシュ頂点カメラ画像座標組Ｍは、仮想カメラ画像の画角に含まれるメッシュのそれぞれに相当する実空間を写したカメラ画像内におけるメッシュの位置を示す情報である。言い換えると、仮想カメラ画像の画角に含まれるメッシュのカメラ画像内の位置を示す情報である。
本実施形態において、メッシュ頂点カメラ画像座標組Ｍｉ１は、フレーム番号＝ｉの第１カメラ１００のカメラ画像に含まれるメッシュ（仮想カメラ画像の画角に含まれるメッシュ：ＭＥＳＨ＿００１〜ＭＥＳＨ＿１００）に相当するメッシュ画像のカメラ画像内の位置を示す情報である。また、メッシュ頂点カメラ画像座標組Ｍｉ２は、フレーム番号＝ｉの第２カメラ２００のカメラ画像に含まれるメッシュ（仮想カメラ画像の画角に含まれるメッシュ：ＭＥＳＨ＿００１〜ＭＥＳＨ＿１００）に相当するメッシュ画像のカメラ画像内の位置を示す情報である。さらに、メッシュ頂点カメラ画像座標組Ｍｉ３は、フレーム番号＝ｉの第３カメラ３００のカメラ画像に含まれるメッシュ（仮想カメラ画像の画角に含まれるメッシュ：ＭＥＳＨ＿００１〜ＭＥＳＨ＿１００）に相当するメッシュ画像のカメラ画像内の位置を示す情報である。
なお、メッシュ画像とは、実空間内おいてメッシュ頂点世界座標組Ｌ（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ，ｘｃ，ｙｃ，ｚｃ）で示されるメッシュ部分を写したカメラ画像内に含まれる画像領域である。
最適メッシュのカメラＩＤは、ＣＰＵ５０３によって、仮想カメラ画像に使用するカメラ画像として最適のカメラ画像と判定されたカメラを示す情報である。
【００４６】
ここで、図９を参照して、メッシュ頂点世界座標組Ｌとメッシュ頂点カメラ画像座標組Ｍとの関係について説明する。図９は、本実施形態に係るカメラ画像内に含まれるメッシュの一例を示す図である。
図９（ａ）は、第１カメラ１００のカメラ画像内のメッシュ画像を示す図である。図９（ｂ）は、第２カメラ２００のカメラ画像内のメッシュ画像を示す図である。図９（ｃ）は、第３カメラ３００のカメラ画像内のメッシュ画像を示す図である。
図９（ａ）〜（ｃ）に示す通り、第１カメラ１００、第２カメラ２００、および第３カメラ３００が撮像したカメラ画像内には、３次元モデルデータのメッシュに対応するメッシュ画像が含まれている。図示する３角形がメッシュ画像の外縁を示している。第１カメラ１００、第２カメラ２００、および第３カメラ３００が撮像した実空間を３次元モデルデータに置き換えた際、３次元モデルデータのメッシュに相当するカメラ画像の画像領域を、メッシュ画像と定義することができる。各カメラ画像内のメッシュ頂点カメラ画像座標組Ｍは、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの位置と姿勢が定まることによって、メッシュ頂点世界座標組Ｌを用いて、式（１）に示す演算式により算出することができる。
【００４７】
【数１】
2014056496.tif 000003
【００４８】
なお、「Ｕ，Ｖ」は、各カメラ画像内における座標値（Ｕ，Ｖ）である。
「ｆ」は、変換係数［ｐｉｘｅｌ］である。
「ｕ０，ｖ０」は、カメラ画像内の中心座標値［ｐｉｘｅｌ］である。
「Ｒ」は、３×３のカメラ回転行列である。なお、カメラ回転行列「Ｒ」は、各カメラの姿勢情報（ｒｘ１，ｒｙ１，ｒｚ１）、姿勢情報（ｒｘ２，ｒｙ２，ｒｚ２）、あるいは姿勢情報（ｒｘ３，ｒｙ３，ｒｚ３）が含まれる行列である。
「ｔ」は、３×１のカメラ並進ベクトルである。このカメラ並進ベクトル「ｔ」は、各カメラの位置情報（ｘ１，ｙ１，ｚ１）、位置情報（ｘ２，ｙ２，ｚ２）、あるいは位置情報（ｘ３，ｙ３，ｚ３）が含まれる行列である。
「ｘ，ｙ，ｚ，１」のベクトルは、メッシュ頂点世界座標組Ｌ（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ，ｘｃ，ｙｃ，ｚｃ）のｘ，ｙ，ｚ値を含むベクトルである。
【００４９】
ここで、図１０を参照して、式（１）について説明する。図１０は、式（１）の数式に含まれるカメラ回転行列「Ｒ」とカメラ並進ベクトル「ｔ」が示す回転と並進の関係を示す図である。
図１０には、測定対象物Ｏと、カメラの視点Ｃ１，Ｃ２，Ｃ３とを示す。例えば、測定対象物の３頂点の世界座標系の座標値をＰａ，Ｐｂ，Ｐｃとする。この３頂点のカメラ画像Ｄ１〜Ｄ３内の点の座標値をｐａ，ｐｂ，ｐｃとする。図示の通り、カメラの視点Ｃ１，Ｃ２，Ｃ３と、測定対象物の３頂点の座標値をＰａ，Ｐｂ，Ｐｃとが定まることによって、カメラ画像内における対象物の３頂点の座標値ｐａ，ｐｂ，ｐｃが求まる。つまり、カメラの視点Ｃ１，Ｃ２，Ｃ３と座標値Ｐａ，Ｐｂ，Ｐｃとをそれぞれ結ぶ直線と、カメラ画像Ｄ１〜Ｄ３との交点を、カメラ画像内のける対象物の３頂点の座標値ｐａ，ｐｂ，ｐｃとして算出することができる。
【００５０】
カメラ回転行列「Ｒ」は、各カメラの視点Ｃ１，Ｃ２，Ｃ３のカメラ回転行列であって、以下に示す行列で表される。
【００５１】
【数２】
2014056496.tif 000004
【００５２】
なお、式（２）に示すＲ（κ）、Ｒ（φ）、Ｒ（ω）は、それぞれ、ｚ，ｙ，ｘ軸周りの回転角を示す情報である。κ，φ，ωは、それぞれ、カメラの姿勢情報に含まれるｒｚ，ｒｘ，ｒｙに相当する値である。
【００５３】
また、カメラ並進ベクトル「ｔ」は、各カメラの視点Ｃ１，Ｃ２，Ｃ３のカメラ並進ベクトルであって、以下に示す行列で表される。なお、ｔｘ，ｔｙ，ｔｚは、それぞれ、カメラの位置情報に含まれるｘ，ｙ，ｚに相当する値である。
【００５４】
【数３】
2014056496.tif 000005
【００５５】
仮想カメラ画像生成装置５００は、式（１）に、各カメラの位置姿勢情報Ｐ１〜３やメッシュ頂点世界座標組Ｌ等の情報を代入し、式（１）の右辺の計算結果である行列の３行目の値が１となるように正規化する。なお、この仮想カメラ画像生成装置５００による正規化を、以下、正規化演算という。これにより、仮想カメラ画像生成装置５００は、メッシュ画像のメッシュ頂点カメラ画像座標組Ｍを算出することができる。なお、本発明はこの式（１）に限られず、メッシュ画像のカメラ画像内の位置を算出する演算式であればよい。
【００５６】
図１１は、ロボットモデルデータ重畳テーブル５２３の一例を示す図である。
図示の通り、ロボットモデルデータ重畳テーブル５２３は、メッシュナンバーと、メッシュ頂点世界座標組Ｌと、メッシュ頂点仮想カメラ画像座標組Ｎとをそれぞれ対応付けるテーブルである。
メッシュナンバーとは、遠隔操作ロボット１をコンピューターグラフィックの技術によって３次元モデルで表したロボットモデルデータ内における各メッシュを識別する情報である。このメッシュナンバーには、ロボットモデルデータに含まれ全てのメッシュを示すＭＥＳＨ＿Ｒ１，ＭＥＳＨ＿Ｒ２・・・が書き込まれている。
【００５７】
メッシュ頂点世界座標組Ｌは、メッシュナンバーが示すメッシュの実空間内における位置を示す情報であって、世界座標系の座標値（ｘ，ｙ，ｚ）で示される。例えば、ロボットモデルデータに含まれる各メッシュの相対的な位置関係が、遠隔操作ロボット１の重心を原点とするロボット座標系において規定されているとする。メッシュ頂点世界座標組Ｌは、遠隔操作ロボット１の位置情報や姿勢情報に基づき、ロボットモデルデータに含まれる各メッシュの相対的な位置関係から算出される各メッシュの絶対的な位置を示す情報である。このメッシュ頂点世界座標組Ｌは、例えば、ＣＰＵ５０２のロボットモデルデータ重畳処理部５３４によって算出される情報である。
【００５８】
メッシュ頂点仮想カメラ画像座標組Ｎは、メッシュナンバーが示すメッシュの仮想カメラ画像内の位置を示す情報であって、仮想カメラ画像内の位置を示す仮想カメラ座標系の座標値（Ｊ，Ｋ）で示される。このメッシュ頂点仮想カメラ画像座標組Ｌは、ロボットモデルデータに含まれる各メッシュのメッシュ頂点世界座標組Ｎに基づき、式（１）を用いて、ＣＰＵ５０２のロボットモデルデータ重畳処理部５３４によって算出される値である。
【００５９】
図１２は、貼り付け情報テーブル５２４の一例を示す図である。
貼り付け情報テーブル５２４は、メッシュナンバーと、各仮想カメラ１１００〜１４００の仮想カメラ画像内におけるメッシュの位置を示すメッシュ頂点仮想カメラ画像座標組Ｎとをそれぞれ対応付けるテーブルである。なお、図１２には、仮想カメラ１１００のテーブルの一例を示す。なお、図示は省略するが、他の仮想カメラ１２００〜１４００についても、図１２に示すテーブルと同様のテーブルが記憶部５０２に格納されている。
メッシュナンバーは、仮想カメラ１１００の仮想カメラ視点からみた仮想カメラ画像の画角に含まれる全てのメッシュを示す情報である。上述の通り、仮想カメラ画像の画角内には、ＭＥＳＨ＿００１〜ＭＥＳＨ＿１００の１００個のメッシュが含まれている。
【００６０】
メッシュ頂点仮想カメラ画像座標組Ｎは、仮想カメラ画像の画角に含まれるメッシュの位置を示す情報である。本実施形態において、メッシュ頂点仮想カメラ画像座標組Ｎｉ１１は、フレーム番号＝ｉの仮想カメラ１１００のカメラ画像に含まれるメッシュ（ＭＥＳＨ＿００１〜ＭＥＳＨ＿１００）に相当する貼付メッシュエリアの仮想カメラ画像内の位置を示す情報である。なお、貼付メッシュエリアとは、実空間内おいてメッシュ頂点世界座標組Ｌで示されるメッシュ部分を、仮想カメラ１１００が撮像したと仮定した場合に、仮想カメラ画像内におけるメッシュ部分で示す領域である。
【００６１】
ここで、図１３を参照して、メッシュ頂点世界座標組Ｌとメッシュ頂点仮想カメラ画像座標組Ｎとの関係について説明する。図１３は、本実施形態に係る仮想カメラ画像内に含まれるメッシュの一例を示す図である。
図１３は、仮想カメラ１１００の仮想カメラ画像内の貼付メッシュエリアを示す図である。
仮想カメラ１１００〜１４００の各仮想カメラ画像内には、３次元モデルデータのメッシュに対応する貼付メッシュエリアが含まれている。図示する３角形が貼付メッシュエリアの外縁を示している。仮想カメラ１１００〜１４００の仮想カメラ視点からみた画角内に収まる実空間を３次元モデルデータに置き換えた際、３次元モデルデータのメッシュに相当する仮想カメラ画像の画像領域を、貼付メッシュエリアと定義することができる。各仮想カメラ画像内のメッシュ頂点仮想カメラ画像座標組Ｎは、仮想カメラ１１００〜１４００のそれぞれの位置と姿勢が定まることによって、メッシュ頂点世界座標組Ｌを用いて、式（１）を正規化演算することにより算出することができる。
【００６２】
仮想カメラ画像生成装置５００は、式（１）に、各仮想カメラの位置姿勢情報Ｐ１１〜Ｐ１４やメッシュ頂点世界座標組Ｌ等の情報を代入し、正規化演算することによって、貼付メッシュエリアのメッシュ頂点仮想カメラ画像座標組Ｎを算出することができる。なお、本発明はこの式（１）に限られず、貼付メッシュエリアの仮想カメラ画像内の位置を算出する演算式であればよい。
なお、詳細について後述するが、ＣＰＵ５０３は、カメラ画像内からメッシュ画像を切り出し、同一のメッシュナンバーが示す仮想カメラ画像内の貼付メッシュエリアに、切り出したメッシュ画像を貼り付けることによって、仮想カメラ画像を生成することができる。
また、図１２に示す通り、貼付メッシュエリアにメッシュ画像が貼り付けられた仮想カメラ画像上には、遠隔操作ロボット１の合成画像が重畳して表示される。この遠隔操作ロボット１の合成画像は、ＣＰＵ５０３によって生成される。詳細については後述する。
【００６３】
３次元モデルデータ記憶領域５２５には、３次元モデルデータが格納されている。この３次元モデルデータ記憶領域５２５には、３次元モデルデータに含まれる全てのメッシュのメッシュ頂点世界座標組Ｌ（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ，ｘｃ，ｙｃ，ｚｃ）と、メッシュのメッシュナンバーとが対応付けられた情報が格納されている。
【００６４】
ロボットモデルデータ記憶領域５２６には、ロボットモデルデータが格納されている。このロボットモデルデータ記憶領域５２６には、ロボットモデルデータに含まれる全てのメッシュの相対的な位置関係を示す情報、例えば、遠隔操作ロボット１の重心を原点とするロボット座標系の座標値が、各メッシュのメッシュナンバーと対応付けられた情報が格納されている。
【００６５】
次に、図６に戻って、仮想カメラ画像生成装置５００のＣＰＵ５０３に含まれる各構成部について説明する。
ＣＰＵ５０３は、登録部５３１と、カメラ画像選定部５３２と、切り出し処理部５３３と、ロボットモデルデータ重畳処理部５３４と、仮想カメラ画像生成部５３５とを備える。
【００６６】
登録部５３１は、通信部５０１を介して、ロボット制御装置４００から受信した位置姿勢情報およびカメラ画像データを、それぞれ対応付けてカメラ位置姿勢画像テーブル５２１に書き込む。ロボット制御装置４００から受信したカメラ画像データにフレーム番号（ｉ）を示す情報が対応付けらている場合、登録部５３１は、このフレーム番号を、位置姿勢情報およびカメラ画像データにそれぞれ対応付けてカメラ位置姿勢画像テーブル５２１の時間情報の欄に書き込む。なお、登録部５３１は、カメラ画像データを受信した順番やタイミングに応じて昇順に割り当てた番号を、カメラ位置姿勢画像テーブル５２１の時間情報に書き込むものであってもよい。
【００６７】
カメラ画像選定部５３２は、３次元モデルデータを構成するメッシュごとに、実空間内におけるカメラの位置を示すカメラ位置情報と、カメラの姿勢を示すカメラ姿勢情報とに基づき、メッシュに対応する部分を撮像したカメラ画像内のメッシュ画像の位置を示す情報を取得し、メッシュ画像の位置を示す情報に基づき、複数のメッシュ画像の中から、仮想カメラ画像に使用するための条件を満たすメッシュ画像を選択する。
ここで、図１４を参照して、カメラ画像選定部５３２による処理の概略について説明する。図１４は、カメラ画像選定部５３２による処理の概略について説明するための図である。
本実施形態に係るカメラ画像選定部５３２は、カメラ画像選定処理を実行する。このカメラ画像選定処理は、以下に示す（１）〜（４）の処理を含む。
【００６８】
（１）仮想カメラ画像内のメッシュ特定処理
カメラ画像選定部５３２は、仮想カメラ１１００〜１４００の仮想カメラ画像内に含まれる全てのメッシュを、仮想カメラごとに特定する。本実施形態において、仮想カメラ１１００〜１４００の位置と姿勢は、例えば、操作装置７００の操作者等によって、あるいは設定値として、予め指定されている。
このカメラ画像選定部５３２は、仮想カメラ１１００の位置情報（ｘ１１，ｙ１１，ｚ１１）と姿勢情報（ｒｘ１１，ｒｙ１１，ｒｚ１１）に基づき、仮想カメラ１１００の仮想カメラ視点から見た画角内に含まれる３次元モデルデータのメッシュを特定する。カメラ画像選定部５３２は、例えば、仮想カメラ１１００の仮想カメラ視点から見た画角内に含まれるメッシュが、ＭＥＳＨ＿００１〜ＭＥＳＨ＿１００であると判定する。
【００６９】
（２）貼り付け情報テーブル５２４の作成処理
カメラ画像選定部５３２は、（１）仮想カメラ画像内のメッシュ特定処理において特定した全てのメッシュのそれぞれについて、メッシュ頂点仮想カメラ画像座標組Ｎ（Ｊａ，Ｋａ，Ｊｂ，Ｋｂ，Ｊｃ，Ｋｃ）を算出する。具体的に説明すると、カメラ画像選定部５３２は、メッシュのメッシュ頂点世界座標組Ｌ（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ，ｘｃ，ｙｃ，ｚｃ）と、例えば仮想カメラ１１００の姿勢情報（ｒｘ１１，ｒｙ１１，ｒｚ１１）とを、式（１）のｘ，ｙ，ｚ，Ｒ行列に代入して正規化演算することにより、メッシュ頂点仮想カメラ画像座標組Ｎ１１（Ｊａ＿１１，Ｋａ＿１１，Ｊｂ＿１１，Ｋｂ＿１１，Ｊｃ＿１１，Ｋｃ＿１１）を算出する。
このカメラ画像選定部５３２は、例えば仮想カメラ１１００の仮想カメラ画像内の全てのメッシュ（ＭＥＳＨ＿００１〜ＭＥＳＨ＿１００）についてメッシュ頂点仮想カメラ画像座標組Ｎを算出し、算出したメッシュ頂点仮想カメラ画像座標組Ｎを、それぞれメッシュナンバーと対応付けて、貼り付け情報テーブル５２４に書き込む。
なお、カメラ画像選定部５３２は、仮想カメラ１２００〜１４００の仮想カメラ画像についても同様にして、それぞれの位置姿勢情報およびメッシュ頂点世界座標組Ｌに基づき、各メッシュのメッシュ頂点仮想カメラ画像座標組Ｎ１２，Ｎ１３，Ｎ１４を算出し、算出した切り出しメッシュ頂点仮想カメラ画像座標組Ｎ１２，Ｎ１３，Ｎ１４を、それぞれ、各仮想カメラ１２００〜１４００の貼り付け情報テーブル５２４に書き込む。
【００７０】
（３）切り出し情報テーブル５２２の作成処理
カメラ画像選定部５３２は、実空間内におけるメッシュに対応するメッシュ部分を写したカメラ画像内のメッシュ画像の位置を示す情報を取得する。本実施形態において、仮想カメラ画像内に含まれる全てのメッシュに対して、各カメラ画像内におけるメッシュ頂点カメラ画像座標組Ｍ（Ｕａ，Ｖａ，Ｕｂ，Ｖｂ，Ｕｃ，Ｖｃ）を算出する。具体的に説明すると、カメラ画像選定部５３２は、メッシュのメッシュ頂点世界座標組Ｌ（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ，ｘｃ，ｙｃ，ｚｃ）と、例えば第１カメラ１００の位置姿勢情報Ｐ１（ｘ１，ｙ１，ｚ１，ｒｘ１，ｒｙ１，ｒｚ１）とを、式（１）に代入して正規化演算することにより、メッシュ頂点カメラ画像座標組Ｍ１（Ｕａ＿１，Ｖａ＿１，Ｕｂ＿１，Ｖｂ＿１，Ｕｃ＿１，Ｖｃ＿１）を算出する。
このカメラ画像選定部５３２は、仮想カメラ画像内の全てのメッシュ（ＭＥＳＨ＿００１〜ＭＥＳＨ＿１００）についてメッシュ頂点カメラ画像座標組Ｍを算出し、算出したメッシュ頂点カメラ画像座標組Ｍを、メッシュナンバーと対応付けて、切り出し情報テーブル５２２に書き込む。
なお、カメラ画像選定部５３２は、第２カメラ２００および第３カメラ３００のカメラ画像についても同様にして、それぞれの位置姿勢情報およびメッシュ頂点世界座標組Ｌに基づき、各メッシュのメッシュ頂点カメラ画像座標組Ｍ２，Ｍ３を算出し、算出した切り出しメッシュ頂点カメラ画像座標組Ｍ２，Ｍ３を、それぞれ、メッシュナンバーと対応付けて切り出し情報テーブル５２２に書き込む。
【００７１】
（４）仮想カメラ画像に使用するメッシュ画像判定処理
カメラ画像選定部５３２は、メッシュ画像の位置を示す情報に基づき、複数のメッシュ画像の中から、仮想カメラ画像に使用するための条件を満たすメッシュ画像を選択する。言い換えると、カメラ画像選定部５３２は、仮想カメラ画像に使用するための条件に最も合致するメッシュ画像を、仮想カメラ画像に使用するメッシュ画像を切り出すカメラ画像を判定する。
本実施形態において、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍ１，Ｍ２，Ｍ３に基づき、各メッシュの頂点ＡＢＣがそれぞれのカメラ画像内に収まっているか否かを判定する。この場合、仮想カメラ画像に使用する条件として、メッシュ画像の頂点の全てがカメラ画像内に含まれていることが決められている。
例えば、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍ１，Ｍ２，Ｍ３の座標値のうち、Ｕ値が０≦Ｕ≦カメラ画像の画像幅であり、かつ、Ｖ値が０≦Ｖ≦カメラ画像の画像高さである場合、各メッシュの頂点ＡＢＣがそれぞれのカメラ画像内に収まっていると判定する。なお、画像幅とは、Ｕ軸方向のカメラ画像の長さであって、画像高さとは、Ｖ軸方向のカメラ画像の長さである。
つまり、カメラ画像選定部５３２は、各メッシュのメッシュ画像の全てが、一部も欠けることなく、各カメラ画像内に存在しているか否かを判定する。メッシュ画像の一部が欠けている場合、仮想カメラ画像が欠損してしまう不都合が生じるため、仮想カメラ画像に用いることができないからである。
【００７２】
次いで、カメラ画像選定部５３２は、各メッシュの頂点ＡＢＣがそれぞれのカメラ画像内に収まっていると判定されたメッシュ画像の中から、最も解像度の高いメッシュ画像を判定する。本実施形態において、カメラ画像選定部５３２は、メッシュ画像の各カメラ画像内の面積を算出し、その面積が最大となるメッシュ画像を、仮想カメラ画像に用いるメッシュ画像であると判定する。この場合、仮想カメラ画像に使用する条件として、複数のカメラ画像内に含まれる同一のメッシュに対応するメッシュ画像のうち、メッシュ画像の面積が最大であることが決められている。
なお、本発明はこれに限られず、カメラ画像選定部５３２は、面積ではなく、メッシュ画像内の画素値（解像度）や明度に基づき、最も画質の高いメッシュ画像を選択するものであってもよい。これにより、カメラ画像選定部５３２は、メッシュ画像毎に、例えば鮮明に映っている画像を選択することができ、ピンボケによる画像を除外することができる。
【００７３】
切り出し処理部５３３は、カメラ画像内のメッシュ画像の位置を示す情報に基づき、カメラ画像選定部５３２によって判定されたカメラ画像から、メッシュ画像を切り出す。具体的に説明すると、切り出し処理部５３３は、切り出し情報テーブル５２２を参照して、各メッシュナンバーに対応するメッシュ画像を、最適メッシュのカメラＩＤに対応するカメラ画像から切り出す。その際、切り出し処理部５３３は、切り出し情報テーブル５２２に対応付けられている各カメラ画像のメッシュ頂点カメラ画像座標組Ｍ１，Ｍ２，Ｍ３を参照して、この座標値で示されるメッシュ画像を切り出す。
【００７４】
ロボットモデルデータ重畳処理部５３４は、各仮想カメラ画像の画角内に含まれる遠隔操作ロボット１の合成画像を作成し、仮想カメラ画像上に重畳させた画像を作成する。
具体的に説明すると、ロボットモデルデータ重畳処理部５３４は、仮想カメラ１１００〜１４００の位置情報と姿勢情報に基づき、仮想カメラ１１００〜１４００の仮想カメラ画像内に含まれる遠隔操作ロボット１をロボットモデルデータに置き換えた場合に含まれる全てのメッシュを、仮想カメラ画像ごとに特定する。
ロボットモデルデータ重畳処理部５３４は、特定した仮想カメラ画像内に含まれるメッシュのメッシュナンバーＭＥＳＨ＿Ｒ１，ＭＥＳＨ＿Ｒ２・・・を、ロボットモデルデータ重畳テーブル５２３に書き込む。
【００７５】
また、ロボットモデルデータ重畳処理部５３４は、特定した仮想カメラ画像内に含まれるメッシュのメッシュ頂点世界座標組Ｌを、仮想カメラ１１００〜１４００のそれぞれについて算出する。このロボットモデルデータ重畳処理部５３４は、遠隔操作ロボット１の位置情報と姿勢情報とに基づき、例えば、遠隔操作ロボット１の重心を原点とするロボット座標系における各メッシュの座標値を用いて、例えば仮想カメラ１１００に含まれるメッシュのメッシュ頂点世界座標組ＬＲ１１（ｘａ＿Ｒ１１，ｙａ＿Ｒ１１，ｚａ＿Ｒ１１，ｘｂ＿Ｒ１１，ｙｂ＿Ｒ１１，ｚｂ＿Ｒ１１，ｘｃ＿Ｒ１１，ｙｃ＿Ｒ１１，ｚｃ＿Ｒ１１）を算出する。つまり、ロボットモデルデータ重畳処理部５３４は、ロボットモデルデータに含まれるメッシュのロボット座標系の座標値を、世界座標系の座標値に変換する。
ロボットモデルデータ重畳処理部５３４は、仮想カメラ１１００の仮想カメラ画像内の全てのメッシュ（ＭＥＳＨ＿Ｒ１，ＭＥＳＨ＿Ｒ２・・・）についてメッシュ頂点仮想カメラ画像座標組Ｎを算出し、算出したメッシュのメッシュ頂点世界座標組ＬＲ１１を、それぞれメッシュナンバーに対応付けて、ロボットモデルデータ重畳テーブル５２３に書き込む。
【００７６】
さらに、ロボットモデルデータ重畳処理部５３４は、特定した仮想カメラ画像内に含まれるメッシュのメッシュ頂点仮想カメラ画像座標組Ｎ（Ｊａ，Ｋａ，Ｊｂ，Ｋｂ，Ｊｃ，Ｋｃ）を算出する。具体的に説明すると、ロボットモデルデータ重畳処理部５３４は、メッシュのメッシュ頂点世界座標組ＬＲ１１（ｘａ＿Ｒ１１，ｙａ＿Ｒ１１，ｚａ＿Ｒ１１，ｘｂ＿Ｒ１１，ｙｂ＿Ｒ１１，ｚｂ＿Ｒ１１，ｘｃ＿Ｒ１１，ｙｃ＿Ｒ１１，ｚｃ＿Ｒ１１）と、例えば仮想カメラ１１００の位置情報（ｘ１１，ｙ１１，ｚ１１）と姿勢情報（ｒｘ１１，ｒｙ１１，ｒｚ１１）とを、式（１）に代入して正規化演算することにより、メッシュ頂点仮想カメラ画像座標組ＮＲ１１（Ｊａ＿Ｒ１１，Ｋａ＿Ｒ１１，Ｊｂ＿Ｒ１１，Ｋｂ＿Ｒ１１，Ｊｃ＿Ｒ１１，Ｋｃ＿Ｒ１１）を算出する。
このロボットモデルデータ重畳処理部５３４は、例えば仮想カメラ１１００の仮想カメラ画像内の全てのメッシュ（ＭＥＳＨ＿Ｒ１，ＭＥＳＨ＿Ｒ２・・・）についてメッシュ頂点仮想カメラ画像座標組ＮＲ１１を算出し、算出したメッシュ頂点仮想カメラ画像座標組ＮＲ１１を、それぞれメッシュナンバーと対応付けて、ロボットモデルデータ重畳テーブル５２３に書き込む。
なお、ロボットモデルデータ重畳処理部５３４は、仮想カメラ１２００〜１４００の仮想カメラ画像についても同様にして、それぞれの位置姿勢情報およびメッシュ頂点世界座標組Ｌに基づき、各メッシュのメッシュ頂点仮想カメラ画像座標組ＮＲ１２，ＮＲ１３，ＮＲ１４を算出する。ロボットモデルデータ重畳処理部５３４は、算出した切り出しメッシュ頂点仮想カメラ画像座標組ＮＲ１２，ＮＲ１３，ＮＲ１４を、それぞれ、各仮想カメラ１２００〜１４００のロボットモデルデータ重畳テーブル５２３に書き込む。
【００７７】
ロボットモデルデータ重畳処理部５３４は、ロボットモデルデータ重畳テーブル５２３を参照して、仮想カメラ１１００の仮想カメラ画像内のメッシュ頂点仮想カメラ画像座標組ＮＲ１１が示す領域に、ロボットモデルデータに含まれる各メッシュの画像を貼り付けた合成画像であるロボットモデル画像を生成する。
なお、ロボットモデルデータ重畳処理部５３４は、同様にして、ロボットモデルデータ重畳テーブル５２３を参照して、仮想カメラ１２００〜１４００の仮想カメラ画像内のメッシュ頂点仮想カメラ画像座標組ＮＲ１２，ＮＲ１３，ＮＲ１４が示す領域に、ロボットモデルデータに含まれる各メッシュの画像を貼り付けた合成画像であるロボットモデル画像を生成する。
【００７８】
仮想カメラ画像生成部５３５は、切り出し処理部５３３によって切り出されたメッシュ画像を、仮想カメラ画像内の各メッシュに対応する部分に合成させて、仮想カメラ画像を生成する。具体的に説明すると、仮想カメラ画像生成部５３５は、貼り付け情報テーブル５２４を参照して、切り出し処理部５３３が切り出したメッシュ画像の仮想カメラ画像内の位置を特定する。言い換えると、仮想カメラ画像生成部５３５は、貼り付け情報テーブル５２４のメッシュ頂点仮想カメラ画像座標組Ｎが示す貼付メッシュエリアを特定する。
この仮想カメラ画像生成部５３５は、切り出し処理部５３３によって切り出されたメッシュ画像の形状を、仮想カメラ画像内の貼付メッシュエリアの形状に合わせて変形させる画像処理を行う。
仮想カメラ画像生成部５３５は、形状処理を行ったメッシュ画像を、対応する仮想カメラ画像内の貼付メッシュエリアに貼り付ける。
なお、仮想カメラ画像生成部５３５は、切り出し処理部５３３によってメッシュ画像が切り出されてなかった仮想カメラ画像内の貼付メッシュエリアについては、予め決められた色で塗りつぶす等の処理を行う。
また、仮想カメラ画像生成部５３５は、貼付メッシュエリアにメッシュ画像を貼り付けた画像の上に、ロボットモデル画像を重畳させて、仮想カメラ画像を生成する。
【００７９】
次に、図１５を参照して、本実施形態に係る仮想カメラ画像生成方法の一例について説明する。図１５は、本実施形態に係る仮想カメラ画像生成方法の一例を説明するためのフローチャートである。ここでは、ロボット制御装置４００の処理について説明する。
【００８０】
（ステップＳＴ１０１）
遠隔操作ロボット１に取り付けられている第１カメラ１００、第２カメラ２００、および第３カメラ３００は、例えば、同じタイミングで配管８００を撮影し、カメラ画像を取得する。
第１カメラ１００、第２カメラ２００、および第３カメラ３００は、それぞれ、撮影したカメラ画像のカメラ画像データＧ１〜Ｇ３をロボット制御装置４００に出力する。
ロボット制御装置４００は、カメラ画像データＧ１〜Ｇ３を、ロボット通信部４０２を介して受信する。
なお、第１カメラ１００、第２カメラ２００、および第３カメラ３００によって撮影されたカメラ画像データＧ１〜Ｇ３は、フレーム番号＝ｉの画像であるとする。
【００８１】
（ステップＳＴ１０２）
次いで、ロボット制御装置４００の姿勢センサー４０４は、遠隔操作ロボット１の姿勢を検出し、遠隔操作ロボット１の姿勢を示す姿勢情報（ｒｘＲｏｂ，ｒｙＲｏｂ，ｒｚＲｏｂ）を位置姿勢情報算出部４０６に出力する。
【００８２】
（ステップＳＴ１０３）
また、ロボット制御装置４００の位置検出部４０３は、遠隔操作ロボット１の現在位置を検出し、遠隔操作ロボット１の位置を示す位置情報（ｘＲｏｂ，ｙＲｏｂ，ｚＲｏｂ）を位置姿勢情報算出部４０６に出力する。
【００８３】
（ステップＳＴ１０４）
そして、位置姿勢情報算出部４０６は、位置検出部４０３によって検出された位置情報（ｘＲｏｂ，ｙＲｏｂ，ｚＲｏｂ）に基づき、記憶部４０５に格納されているアーム角度情報およびカメラ相対位置情報を参照して、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの位置を示す位置情報を算出する。本実施形態において、位置姿勢情報算出部４０６は、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの実空間内の位置を示す位置情報（ｘ１，ｙ１，ｚ１）、位置情報（ｘ２，ｙ２，ｚ２）、および位置情報（ｘ３，ｙ３，ｚ３）を算出する。
【００８４】
（ステップＳＴ１０５）
また、位置姿勢情報算出部４０６は、姿勢センサー４０４によって検出された姿勢情報（ｒｘＲｏｂ，ｒｙＲｏｂ，ｒｚＲｏｂ）に基づき、記憶部４０５に格納されているアーム角度情報およびカメラ相対位置情報を参照して、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの姿勢を示す姿勢情報を算出する。本実施形態において、位置姿勢情報算出部４０６は、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの実空間内の姿勢を示す姿勢情報（ｒｘ１，ｒｙ１，ｒｚ１）、姿勢情報（ｒｘ２，ｒｙ２，ｒｚ２）、および姿勢情報（ｒｘ３，ｒｙ３，ｒｚ３）を算出する。
【００８５】
（ステップＳＴ１０６）
次いで、位置姿勢情報算出部４０６は、算出した位置情報と姿勢情報をまとめて、各カメラの位置姿勢情報を取得し、カメラ画像データと対応付けて仮想カメラ画像生成装置５００に送信する。本実施形態において、位置姿勢情報算出部４０６は、第１カメラ１００の位置姿勢情報Ｐ１（ｘ１，ｙ１，ｚ１，ｒｘ１，ｒｙ１，ｒｚ１）と、カメラ画像データＧ１とを対応付けて、仮想カメラ画像生成装置５００に送信する。また、位置姿勢情報算出部４０６は、第２カメラ２００の位置姿勢情報Ｐ２（ｘ２，ｙ２，ｚ２，ｒｘ２，ｒｙ２，ｒｚ２）と、カメラ画像データＧ２とを対応付けて、仮想カメラ画像生成装置５００に送信する。また、位置姿勢情報算出部４０６は、第３カメラ３００の位置姿勢情報Ｐ３（ｘ３，ｙ３，ｚ３，ｒｘ３，ｒｙ３，ｒｚ３）と、カメラ画像データＧ３とを対応付けて、仮想カメラ画像生成装置５００に送信する。
【００８６】
次に、図１６を参照して、本実施形態に係る仮想カメラ画像生成方法の一例について説明する。図１６は、本実施形態に係る仮想カメラ画像生成方法の一例を説明するためのフローチャートである。ここでは、仮想カメラ画像生成装置５００の処理について説明する。
【００８７】
（ステップＳＴ２０１）
仮想カメラ画像生成装置５００の通信部５０１は、ロボット制御装置４００から、各カメラの位置姿勢情報Ｐ１〜Ｐ３と、カメラ画像データＧ１〜Ｇ３とを対応付けた情報を受信し、登録部５３１に出力する。
【００８８】
（ステップＳＴ２０２）
そして、登録部５３１は、受信したそれぞれ対応する情報をそれぞれ対応づけてカメラ位置姿勢画像テーブル５２１に格納する。
具体的に説明すると、登録部５３１は、第１カメラ１００の位置姿勢情報Ｐ１（ｘ１，ｙ１，ｚ１，ｒｘ１，ｒｙ１，ｒｚ１）と、カメラ画像データＧ１とを対応付けて、カメラ位置姿勢画像テーブル５２１に書き込む。また、登録部５３１は、第２カメラ２００の位置姿勢情報Ｐ２（ｘ２，ｙ２，ｚ２，ｒｘ２，ｒｙ２，ｒｚ２）と、カメラ画像データＧ２とを対応付けて、カメラ位置姿勢画像テーブル５２１に書き込む。さらに、登録部５３１は、第３カメラ３００の位置姿勢情報Ｐ３（ｘ３，ｙ３，ｚ３，ｒｘ３，ｒｙ３，ｒｚ３）と、カメラ画像データＧ３とを対応付けて、カメラ位置姿勢画像テーブル５２１に書き込む。
【００８９】
（ステップＳＴ２０３）
次いで、カメラ画像選定部５３２が、カメラ画像選択処理を実行する。なお、このカメラ画像処理については、図１７を参照して詳細に説明する。
このカメラ画像選択処理により、カメラ画像選定部５３２は、仮想カメラ１１００〜１４００の仮想カメラ画像に使用するカメラ画像をメッシュごとに決定する。
【００９０】
（ステップＳＴ２０４）
そして、切り出し処理部５３３は、切り出し情報テーブル５２２を参照して、各メッシュナンバーに対応するメッシュ画像を、最適メッシュのカメラＩＤに対応するカメラ画像から切り出す。その際、切り出し処理部５３３は、切り出し情報テーブル５２２に対応付けられている各カメラ画像のメッシュ頂点カメラ画像座標組Ｍｉ１，Ｍｉ２，Ｍｉ３を参照して、この座標値に対応するメッシュ画像を切り出す。
具体的に説明すると、切り出し情報テーブル５２２において、メッシュナンバーＭＥＳＨ＿００１には、最適メッシュのカメラＩＤとして、ＣＭＲ１が対応付けられている。よって、切り出し処理部５３３は、メッシュナンバーＭＥＳＨ＿００１のメッシュ画像を、第１カメラ１００が撮像したカメラ画像から切り出す。つまり、切り出し処理部５３３は、切り出し情報テーブル５２２を参照して、第１カメラ１００のカメラ画像におけるメッシュナンバーＭＥＳＨ＿００１のメッシュ頂点カメラ画像座標組Ｍｉ１＿００１で示されるメッシュ画像を切り出す。これにより、切り出し処理部５３３は、メッシュナンバーＭＥＳＨ＿００１のメッシュのメッシュ画像を取得する。
切り出し処理部５３３は、同様にして、メッシュナンバーＭＥＳＨ＿００２〜ＭＥＳＨ＿１００のメッシュのメッシュ画像を取得する。
切り出し処理部５３３は、取得したメッシュ画像を仮想カメラ画像生成部５３５に出力する。
【００９１】
（ステップＳＴ２０５）
次いで、ロボットモデルデータ重畳処理部５３４は、各仮想カメラ画像の画角内に含まれる遠隔操作ロボット１の合成画像を作成し、仮想カメラ画像上に重畳させた画像を作成する。
つまり、ロボットモデルデータ重畳処理部５３４は、仮想カメラ１１００〜１４００の位置情報（ｘ１１，ｙ１１，ｚ１１）と姿勢情報（ｒｘ１１，ｒｙ１１，ｒｚ１１）に基づき、仮想カメラ１１００〜１４００の仮想カメラ画像内に含まれる遠隔操作ロボット１をロボットモデルデータに置き換えた場合に含まれる全てのメッシュを特定する。仮想カメラ１１００〜１４００本実施形態において、ロボットモデルデータ重畳処理部５３４は、特定した仮想カメラ画像内に含まれるメッシュのメッシュナンバーＭＥＳＨ＿Ｒ１，ＭＥＳＨ＿Ｒ２，ＭＥＳＨ＿Ｒ３・・・を、ロボットモデルデータ重畳テーブル５２３に書き込む。
【００９２】
そして、ロボットモデルデータ重畳処理部５３４は、仮想カメラ１１００〜１４００遠隔操作ロボット１の位置情報と姿勢情報とに基づき、例えば、遠隔操作ロボット１の重心を原点とするロボット座標系における各メッシュの座標値を用いて、例えば仮想カメラ１１００の仮想カメラ画像の画角内に含まれるメッシュのメッシュ頂点世界座標組ＬｉＲ１１（ｘａ＿Ｒ１１，ｙａ＿Ｒ１１，ｚａ＿Ｒ１１，ｘｂ＿Ｒ１１，ｙｂ＿Ｒ１１，ｚｂ＿Ｒ１１，ｘｃ＿Ｒ１１，ｙｃ＿Ｒ１１，ｚｃ＿Ｒ１１）を算出する。
【００９３】
次いで、ロボットモデルデータ重畳処理部５３４は、メッシュのメッシュ頂点世界座標組ＬｉＲ１１（ｘａ＿Ｒ１１，ｙａ＿Ｒ１１，ｚａ＿Ｒ１１，ｘｂ＿Ｒ１１，ｙｂ＿Ｒ１１，ｚｂ＿Ｒ１１，ｘｃ＿Ｒ１１，ｙｃ＿Ｒ１１，ｚｃ＿Ｒ１１）と、例えば仮想カメラ１１００の位置情報（ｘ１１，ｙ１１，ｚ１１）と姿勢情報（ｒｘ１１，ｒｙ１１，ｒｚ１１）とを、式（１）に代入して正規化演算することにより、メッシュ頂点仮想カメラ画像座標組ＮｉＲ１１（Ｊａ＿Ｒ１１，Ｋａ＿Ｒ１１，Ｊｂ＿Ｒ１１，Ｋｂ＿Ｒ１１，Ｊｃ＿Ｒ１１，Ｋｃ＿Ｒ１１）を算出する。
このロボットモデルデータ重畳処理部５３４は、例えば仮想カメラ１１００の仮想カメラ画像内の全てのメッシュ（ＭＥＳＨ＿Ｒ１，ＭＥＳＨ＿Ｒ２・・・）についてメッシュ頂点仮想カメラ画像座標組ＮｉＲ１１を算出し、算出したメッシュ頂点仮想カメラ画像座標組ＮｉＲ１１を、それぞれメッシュナンバーと対応付けて、ロボットモデルデータ重畳テーブル５２３に書き込む。
【００９４】
そして、ロボットモデルデータ重畳処理部５３４は、ロボットモデルデータ重畳テーブル５２３を参照して、仮想カメラ１１００の仮想カメラ画像内のメッシュ頂点仮想カメラ画像座標組ＮｉＲ１１が示す領域に、ロボットモデルデータに含まれる各メッシュの画像を貼り付けて、仮想カメラ１１００の仮想カメラ画像の重畳するロボットモデル画像を生成する。
【００９５】
（ステップＳＴ２０６）
次いで、仮想カメラ画像生成部５３５は、切り出し処理部５３３によって切り出されたメッシュ画像を、仮想カメラ画像内の各メッシュに対応する部分に合成させて、仮想カメラ画像を生成する。具体的に説明すると、仮想カメラ画像生成部５３５は、貼り付け情報テーブル５２４を参照して、切り出し処理部５３３が切り出したメッシュ画像の仮想カメラ画像内の位置を特定する。具体的に説明すると、仮想カメラ画像生成部５３５は、貼り付け情報テーブル５２４のメッシュ頂点仮想カメラ画像座標組Ｎが示す貼付メッシュエリアを特定する。
【００９６】
（ステップＳＴ２０７）
この仮想カメラ画像生成部５３５は、切り出し処理部５３３によって切り出されたメッシュ画像の形状を、仮想カメラ画像内の貼付メッシュエリアの形状に合わせて変形させる画像処理を行う。仮想カメラ画像生成部５３５は、形状処理を行ったメッシュ画像を、対応する仮想カメラ画像内の貼付メッシュエリアに貼り付ける。
なお、仮想カメラ画像生成部５３５は、切り出し処理部５３３によってメッシュ画像が切り出されてなかった仮想カメラ画像内の貼付メッシュエリアについては、予め決められた色で塗りつぶす等の処理を行う。
【００９７】
（ステップＳＴ２０８）
そして、仮想カメラ画像生成部５３５は、全ての仮想カメラ１１００〜１４００の仮想カメラ画像を生成したか否かを判定する。
全て終了していない場合、仮想カメラ画像生成部５３５は、ステップＳＴ２０４に戻って、全ての仮想カメラ１２００〜１４００の仮想カメラ画像を生成する。
【００９８】
次に、図１７を参照して、本実施形態に係るカメラ画像選択処理方法の一例について説明する。図１７は、本実施形態に係るカメラ画像選択処理方法の一例を説明するためのフローチャートである。
（ステップＳＴ３０１）
カメラ画像選定部５３２は、仮想カメラごとに、（１）仮想カメラ画像内のメッシュ特定処理を実行する。このカメラ画像選定部５３２は、例えば、仮想カメラ１１００の仮想カメラ画像内に含まれる全てのメッシュを特定する。具体的説明すると、カメラ画像選定部５３２は、仮想カメラ１１００の位置情報と姿勢情報に基づき、仮想カメラ１１００の仮想カメラ視点から見た画角内に含まれる３次元モデルデータのメッシュを特定する。このカメラ画像選定部５３２は、例えば、この仮想カメラ１１００の仮想カメラ画像内に含まれるメッシュとして、メッシュナンバーＭＥＳＨ＿００１〜ＭＥＳＨ＿１００で示されるメッシュを特定したとする。
【００９９】
（ステップＳＴ３０２）
次いで、カメラ画像選定部５３２は、仮想カメラごとに、（２）貼り付け情報テーブル５２４の作成処理を実行する。このカメラ画像選定部５３２は、特定したメッシュナンバーＭＥＳＨ＿００１〜ＭＥＳＨ＿１００で示されるメッシュのそれぞれについて、メッシュ頂点仮想カメラ画像座標組Ｎｉを算出する。具体的に説明すると、カメラ画像選定部５３２は、メッシュナンバーＭＥＳＨ＿００１のメッシュのメッシュ頂点世界座標組Ｌｉ（ｘａ，ｙａ，ｚａ，ｘｂ，ｙｂ，ｚｂ，ｘｃ，ｙｃ，ｚｃ）と、仮想カメラ１１００の位置情報（ｘ１１，ｙ１１，ｚ１１）と姿勢情報（ｒｘ１１，ｒｙ１１，ｒｚ１１）とを、式（１）に代入して正規化演算することにより、メッシュ頂点仮想カメラ画像座標組Ｎｉ１１＿００１（Ｊａ＿１１＿００１，Ｋａ＿１１＿００１，Ｊｂ＿１１＿００１，Ｋｂ＿１１＿００１，Ｊｃ＿１１＿００１，Ｋｃ＿１１＿００１）を算出する。なお、カメラ画像選定部５３２は、他のメッシュに対しても同様の処理を実行し、カメラ画像選定部５３２は、メッシュナンバーＭＥＳＨ＿００１〜ＭＥＳＨ＿１００で示されるメッシュのそれぞれについて、メッシュ頂点仮想カメラ画像座標組Ｎｉ１１＿００１〜Ｎｉ１１＿１００を算出する。
そして、カメラ画像選定部５３２は、算出したメッシュ頂点仮想カメラ画像座標組Ｎｉ１１＿００１〜Ｎｉ１１＿１００を、それぞれメッシュナンバーＭＥＳＨ＿００１〜ＭＥＳＨ＿１００と対応付けて、貼り付け情報テーブル５２４に書き込む。
【０１００】
（ステップＳＴ３０３）
次いで、カメラ画像選定部５３２は、任意のメッシュを選択する。例えば、カメラ画像選定部５３２は、メッシュナンバーＭＥＳＨ＿００１を選択する。
【０１０１】
（ステップＳＴ３０４）
そして、カメラ画像選定部５３２は、第１カメラ１００のカメラ画像内におけるメッシュナンバーＭＥＳＨ＿００１のメッシュ頂点カメラ画像座標組Ｍ１を算出する。具体的に説明すると、カメラ画像選定部５３２は、メッシュナンバーＭＥＳＨ＿００１のメッシュのメッシュ頂点世界座標組Ｌｉ００１（ｘａ＿００１，ｙａ＿００１，ｚａ＿００１，ｘｂ＿００１，ｙｂ＿００１，ｚｂ＿００１，ｘｃ＿００１，ｙｃ＿００１，ｚｃ＿００１）と、第１カメラ１００の位置姿勢情報Ｐ１（ｘ１，ｙ１，ｚ１，ｒｘ１，ｒｙ１，ｒｚ１）とを、式（１）に代入して正規化演算することにより、メッシュ頂点カメラ画像座標組Ｍｉ１＿００１（Ｕａ＿１＿００１，Ｖａ＿１＿００１，Ｕｂ＿１＿００１，Ｖｂ＿１＿００１，Ｕｃ＿１＿００１，Ｖｃ＿１＿００１）を算出する。そして、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍｉ１＿００１を、メッシュナンバーＭＥＳＨ＿００１と対応付けて、切り出し情報テーブル５２２に書き込む。
【０１０２】
（ステップＳＴ３０５）
次いで、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍｉ１＿００１に基づき、このメッシュの頂点ＡＢＣが第１カメラ１００のカメラ画像内に収まっているか否かを判定する。つまり、カメラ画像選定部５３２は、頂点ＡＢＣの全てのカメラ画像内の座標値を算出できたか否かを判定する。なお、この頂点ＡＢＣが第１カメラ１００の画角に収まっていない場合、撮像されないため、カメラ画像に収まっていないこととなる。
【０１０３】
（ステップＳＴ３０６）
メッシュの頂点ＡＢＣが第１カメラ１００のカメラ画像内に収まっていると判定した場合、カメラ画像選定部５３２は、このカメラ画像内のメッシュ画像を最適メッシュ候補に決定する。カメラ画像選定部５３２は、例えば、最適メッシュ候補と決定されたカメラ画像のカメラＩＤを記憶部５０２内の一次記憶領域に書き込む。
【０１０４】
一方、メッシュの頂点ＡＢＣのうち少なくとも１つが第１カメラ１００のカメラ画像内に収まっていないと判定した場合、カメラ画像選定部５３２は、このカメラ画像内のメッシュ画像を最低メッシュ候補には決定しない。
【０１０５】
（ステップＳＴ３０７）
そして、カメラ画像選定部５３２は、全てのカメラのカメラ画像に対して、メッシュナンバーＭＥＳＨ＿００１についてのステップＳＴ３０４〜３０６の処理を実行したか否かを判定する。
ここでは、第２カメラ２００と第３カメラ３００のカメラ画像に対して処理を実行していないため、ステップＳＴ３０４に戻る。
【０１０６】
以下、ここでのループ処理を詳細に説明する。
カメラ画像選定部５３２は、メッシュナンバーＭＥＳＨ＿００１のメッシュのメッシュ頂点世界座標組Ｌｉ００１（ｘａ＿００１，ｙａ＿００１，ｚａ＿００１，ｘｂ＿００１，ｙｂ＿００１，ｚｂ＿００１，ｘｃ＿００１，ｙｃ＿００１，ｚｃ＿００１）と、第２カメラ２００の位置姿勢情報Ｐ２（ｘ２，ｙ２，ｚ２，ｒｘ２，ｒｙ２，ｒｚ２）を、式（１）に代入して正規化演算することにより、メッシュ頂点カメラ画像座標組Ｍｉ２＿００１（Ｕａ＿２＿００１，Ｖａ＿２＿００１，Ｕｂ＿２＿００１，Ｖｂ＿２＿００１，Ｕｃ＿２＿００１，Ｖｃ＿２＿００１）を算出する。そして、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍｉ２＿００１を、メッシュナンバーＭＥＳＨ＿００１と対応付けて、切り出し情報テーブル５２２に書き込む。
次いで、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍｉ２＿００１に基づき、このメッシュの頂点ＡＢＣが第２カメラ２００のカメラ画像内に収まっているか否かを判定する。
メッシュの頂点ＡＢＣが第２カメラ２００のカメラ画像内に収まっていると判定した場合、カメラ画像選定部５３２は、このカメラ画像内のメッシュ画像を最適メッシュ候補に決定する。カメラ画像選定部５３２は、例えば、最適メッシュ候補と決定されたカメラ画像のカメラＩＤを記憶部５０２内の一次記憶領域に書き込む。一方、メッシュの頂点ＡＢＣのうち少なくとも１つが第２カメラ２００のカメラ画像内に収まっていないと判定した場合、カメラ画像選定部５３２は、このカメラ画像内のメッシュ画像を最低メッシュ候補には決定しない。
【０１０７】
カメラ画像選定部５３２は、メッシュナンバーＭＥＳＨ＿００１のメッシュのメッシュ頂点世界座標組Ｌｉ００１（ｘａ＿００１，ｙａ＿００１，ｚａ＿００１，ｘｂ＿００１，ｙｂ＿００１，ｚｂ＿００１，ｘｃ＿００１，ｙｃ＿００１，ｚｃ＿００１）と、第３カメラ３００の位置姿勢情報Ｐ３（ｘ３，ｙ３，ｚ３，ｒｘ３，ｒｙ３，ｒｚ３）とを、式（１）に代入して正規化演算することにより、メッシュ頂点カメラ画像座標組Ｍｉ３＿００１（Ｕａ＿３＿００１，Ｖａ＿３＿００１，Ｕｂ＿３＿００１，Ｖｂ＿３＿００１，Ｕｃ＿３＿００１，Ｖｃ＿３＿００１）を算出する。そして、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍｉ３＿００１を、メッシュナンバーＭＥＳＨ＿００１と対応付けて、切り出し情報テーブル５２２に書き込む。
次いで、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍｉ３＿００１に基づき、このメッシュの頂点ＡＢＣが第３カメラ３００のカメラ画像内に収まっているか否かを判定する。
メッシュの頂点ＡＢＣが第３カメラ３００のカメラ画像内に収まっていると判定した場合、カメラ画像選定部５３２は、このカメラ画像内のメッシュ画像を最適メッシュ候補に決定する。カメラ画像選定部５３２は、例えば、最適メッシュ候補と決定されたカメラ画像のカメラＩＤを記憶部５０２内の一次記憶領域に書き込む。一方、メッシュの頂点ＡＢＣのうち少なくとも１つが第３カメラ３００のカメラ画像内に収まっていないと判定した場合、カメラ画像選定部５３２は、このカメラ画像内のメッシュ画像を最低メッシュ候補には決定しない。
【０１０８】
（ステップＳＴ３０８）
そして、第１カメラ１００、第２カメラ２００、および第３カメラ３００の全てのカメラ画像について、メッシュナンバーＭＥＳＨ＿００１に対応するメッシュ画像が最適メッシュ候補であるか否かの判定が終了した場合、カメラ画像選定部５３２は、最適メッシュ候補に決定されたメッシュ画像の各カメラ画像内の面積を算出する。
（ステップＳＴ３０９）
次いで、カメラ画像選定部５３２は、算出した面積を比較し、その面積が最大となる最適メッシュ候補のメッシュ画像を最適メッシュと決定する。例えば、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれのカメラ画像に含まれるメッシュ画像が、最適メッシュ候補に決定されている場合、カメラ画像選定部５３２は、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれのカメラ画像に含まれるメッシュ画像を比較する。そして、最適メッシュと決定したメッシュ画像を撮像したカメラのカメラＩＤをメッシュナンバーに対応づけて、切り出し情報テーブル５２２に書き込む。
【０１０９】
（ステップＳＴ３１０）
そして、カメラ画像選定部５３２は、仮想カメラ１１００の仮想カメラ画像内のすべてのメッシュ（ここでは、メッシュナンバーＭＥＳＨ＿００１〜メッシュナンバーＭＥＳＨ＿１００）について、最適メッシュを決定したか否かを判定する。
全て終了していない場合、カメラ画像選定部５３２は、ステップＳＴ３０３に戻って処理を繰り返す。
（ステップＳＴ３１１）
次いで、カメラ画像選定部５３２は、全ての仮想カメラ１１００〜１４００について、最適メッスを決定したか否かを判定する。
全て終了していない場合、カメラ画像選定部５３２は、ステップＳＴ３０１に戻って処理を繰り返す。
【０１１０】
（効果）
上述の通り、本実施形態に係る仮想カメラ画像生成システムにおいて、カメラ画像選定部５３２は、第１カメラ１００、第２カメラ２００、および第３カメラ３００のそれぞれの位置姿勢情報Ｐ１〜Ｐ３に応じて、それぞれが撮像したカメラ画像の画角内に含まれるメッシュのメッシュ頂点カメラ画像座標組Ｍ１，Ｍ２，Ｍ３を算出する。そして、カメラ画像選定部５３２は、算出したメッシュ頂点カメラ画像座標組Ｍ１，Ｍ２，Ｍ３が示す各カメラ画像内のメッシュ画像のうち、仮想カメラ画像に使用するための条件を満たすメッシュ画像を選択する。
これにより、仮想カメラ画像に使用するための条件を満たさないものを除外することができるため、仮想カメラの画質を向上させることができる。また、各カメラの位置姿勢情報Ｐ１〜Ｐ３を用いてメッシュ頂点カメラ画像座標組Ｍ１，Ｍ２，Ｍ３を算出することにより、マニピュレータ５が動作され、各カメラの位置や姿勢が変化した場合であっても、各カメラのカメラ画像データＧ１〜Ｇ３に基づき、仮想カメラ画像を生成することができる。
【０１１１】
また、本実施形態に係る仮想カメラ画像生成システムにおいて、カメラ画像選定部５３２は、仮想カメラ画像に使用する条件を満たすメッシュ画像として、メッシュ画像の頂点Ａ〜Ｃの全てがカメラ画像内に含まれているメッシュ画像を、最適メッシュ候補として選択する。
これにより、カメラ画像選定部５３２は、一部が欠けているメッシュ画像を選択対象から排除することができるため、仮想カメラ画像が欠損してしまう不都合を防止することができる。
【０１１２】
さらに、本実施形態に係る仮想カメラ画像生成システムにおいて、カメラ画像選定部５３２は、仮想カメラ画像に使用する条件を満たすメッシュ画像として、第１カメラ１００、第２カメラ２００、および第３カメラ３００によってそれぞれ撮像された複数のカメラ画像内に含まれる同一のメッシュに対応する最適メッシュ候補のうち、メッシュ画像の面積が最大となる最適メッシュ候補のメッシュ画像を最適メッシュと判定する。
これにより、カメラ画像選定部５３２は、画質の高いメッシュ画像を、最適メッシュとして選択することができる。よって、最適メッシュのメッシュ画像から仮想カメラ画像を生成することにより、仮想カメラの解像度を向上させることができる。
【０１１３】
また、本実施形態に係る仮想カメラ画像生成システムにおいて、ロボットモデルデータ重畳処理部５３４は、仮想カメラ画像内に含まれる遠隔操作ロボット１の合成画像を生成し、仮想カメラ画像上に重畳して表示する。
これにより、仮想カメラ画像を見ながら遠隔操作ロボット１を操作する操作者は、自身が操作している遠隔操作ロボット１の位置を、仮想カメラ画像により確認しながら操作ができるため、操作性を向上することができる。
【０１１４】
さらに、本実施形態に係る仮想カメラ画像生成システムにおいて、切り出し処理部５３３は、カメラ画像選定部５３２によって判定されたメッシュ画像を、対応するカメラ画像から切り出す。
これにより、切り出し処理部５３３は、カメラ画像選定部５３２によって選択された高画質なメッシュ画像を切り出すことができる。
【０１１５】
なお、ユーザは、操作装置７００に対して、表示装置６００に表示される仮想カメラを切り替える操作や、全ての仮想カメラの仮想カメラ画像を表示する操作を入力することができる。操作装置７００がユーザからのこれら操作を受け付けた場合、表示装置６００は、操作装置７００からこれらを示す操作情報を入力し、仮想カメラ画像生成装置５００によって生成された仮想カメラ１１００〜１４００の仮想カメラ画像を表示させることができる。
また、操作装置７００は、第１カメラ１００、第２カメラ２００、および第３カメラ３００が撮像したカメラ画像を表示装置６００に表示させる操作をユーザから受け付けることができる。操作装置７００がユーザからのこれら操作を受け付けた場合、表示装置６００は、操作装置７００からこれらを示す操作情報を入力し、第１カメラ１００、第２カメラ２００、および第３カメラ３００によって撮像されらカメラ画像を表示させることができる。
【０１１６】
本実施形態において、カメラ画像選定部５３２は、異なるカメラによって同じタイミングに撮像されたカメラ画像に基づき、仮想カメラ画像に使用するための条件を満たすメッシュ画像を選択する例について説明した。しかし、本発明はこれに限られず、カメラ画像選定部５３２は、同一のカメラによって異なるタイミングで撮像された複数のカメラ画像に基づき、仮想カメラ画像に使用するための条件を満たすメッシュ画像を選択するものであってもよい。また、カメラ画像選定部５３２は、異なるカメラによって異なるタイミングで撮像された複数のカメラ画像に基づき、仮想カメラ画像に使用するための条件を満たすメッシュ画像を選択するものであってもよい。
【０１１７】
なお、従来は、配管などの３次元情報（奥行情報）を用いた画像合成を行わないため、合成された仮想カメラ画像は不正確であり、配管の位置を正しく把握することができず、迅速で正確な操作ができないという問題があった。
即ち、単なる画質低下でなく、正しい３次元情報（奥行情報）を用いた画像合成を行わないため、例えば車両周囲の地面のような平面等の限られたシーンや、実カメラに対して姿勢や距離の変化が小さい場合等の限られた仮想カメラ位置にしか適用できない。したがって、このようなシーンやカメラ位置の制限を超えた運用を行うと、極端に歪んだ不正確な画像となり、視認性の低下につながってしまっていた。
これに対して本実施形態の仮想カメラ画像生成システムでは３次元情報を用いた画像構成を行っているため、上記シーンや仮想カメラ位置の制限を受けずに視認性を高く維持した状態で配管等の位置を把握することが可能となる。
【０１１８】
［第２実施形態］
次に、図１８を参照して、本発明に係る第２実施形態について説明する。図１８は、本実施形態に係るロボット制御装置４００＿２の制御系の一例を示すブロック図である。
図１８に示す通り、ロボット制御装置４００＿２は、ロボット動作制御部４０１と、ロボット通信部４０２と、位置検出部４０３と、姿勢センサー４０４と、記憶部４０５と、位置姿勢情報算出部４０６と、３次元計測部４０７と、実空間モデルデータ生成部４０８と、３次元モデルデータ統合部４０９と、レーザーカメラ４１０とを備える。なお、本実施形態に係るロボット制御装置４００＿２は、一部が第１実施形態に係るロボット制御装置４００と異なるものであって、同一の機能構成部については、同一の符号を付して、詳細な説明は省略する。
【０１１９】
記憶部４０５は、さらに、３次元モデルデータを記憶する。この３次元モデルデータは、例えば、遠隔操作ロボット１が配置される建物等の作業エリアの床や床付近の壁の一部の形状を示すモデルデータである。
【０１２０】
３次元計測部４０７は、例えば、レーザービームを出射する発光部を備え、世界座標系のＺ軸方向に実空間内を走査する。レーザービームが走査されることによって、実空間内の壁や天井あるいは配管８００等にレーザービームの走査線が照射される。なお、３次元計測部４０７は、照射角度を少しずつ変更し、実空間上に複数の走査線を照射する。
【０１２１】
レーザーカメラ４１０は、３次元計測部４０７によって走査されたレーザービームが実空間内の対象物に照射された走査線を撮像する。このレーザーカメラ４１０は、実空間に照射された走査線を撮像した画像データを、実空間モデルデータ生成部４０８に出力する。
【０１２２】
実空間モデルデータ生成部４０８は、レーザーカメラ４１０から入力する画像データに基づき、３次元計測部４０７からのレーザービームの出射方向を参照して、実空間内の立体形状を認識し、認識した実空間内の立体形状を示す３次元モデルデータを作成する。例えば、実空間モデルデータ生成部４０８は、遠隔操作ロボット１が固定されている周辺の壁や天井などの立体形状を示す３次元モデルデータを作成する。
【０１２３】
３次元モデルデータ統合部４０９は、記憶部４０５に格納されている３次元モデルデータと、実空間モデルデータ生成部４０８によって生成されたモデルデータとを、同一座標系に統合する。例えば、３次元モデルデータ統合部４０９は、建物の床や床付近のモデルデータである３次元モデルデータに、実空間モデルデータ生成部４０８が作成した建物の壁や天井などのモデルデータをつなぎ合わせて、同一座標系の空間のモデルデータを作成する。
【０１２４】
ロボット通信部４０２は、３次元モデルデータ統合部４０９によって統合された３次元モデルデータを、仮想カメラ画像生成装置５００に送信する。
なお、仮想カメラ画像生成装置５００は、ロボット制御装置４００から３次元モデルデータを受信すると、記憶部５０２の３次元モデルデータ記憶領域５２５に格納する。
【０１２５】
この構成により、本実施形態に係る仮想カメラ画像生成システムは、完全な３次元モデルデータが用意されていない場合や、用意した３次元モデルデータから変化した場合に、仮想カメラ画像を生成する以前に、３次元モデルデータを生成することができる。よって、このような場合であっても、仮想カメラ画像生成装置５００は、第１実施形態で説明したとおり仮想カメラ画像を生成することができる。
また、本実施形態に係る仮想カメラ画像生成システムによると、現時点の実空間内の状況に応じて、３次元モデルデータを最新のデータに更新することができる。よって、仮想カメラ画像生成装置５００は、最新の周囲環境に基づき、仮想カメラ画像を生成することができる。
【０１２６】
［第３実施形態］
次に、図１９を参照して、本発明に係る第３実施形態について説明する。図１９は、本実施形態に係るロボット制御装置４００＿３の制御系の一例を示すブロック図である。
図１９に示す通り、ロボット制御装置４００＿３は、ロボット動作制御部４０１と、ロボット通信部４０２と、位置検出部４０３と、姿勢センサー４０４と、記憶部４０５と、位置姿勢情報算出部４０６と、３次元計測部４０７と、実空間モデルデータ生成部４０８と、レーザーカメラ４１０と、位置姿勢補正部４１１とを備える。なお、本実施形態に係るロボット制御装置４００＿３は、第１実施形態に係るロボット制御装置４００と第２実施形態に係るロボット制御装置４００＿２に含まれる構成を備えており、同一の機能構成部については、同一の符号を付して、詳細な説明は省略する。
【０１２７】
位置姿勢補正部４１１は、例えば、記憶部４０５に記憶されている３次元モデルデータと、実空間モデルデータ生成部４０８によって生成されたモデルデータとを、対応するメッシュを一致させるように重ねた場合のズレ量に応じて、遠隔操作ロボット１の位置情報と姿勢情報とを算出する。例えば、遠隔操作ロボット１が位置検出部４０３によって検出された位置情報が示す位置に位置されている場合、つまり、位置情報が正確な値である場合、ズレ量はゼロになる。一方、屋内等の通信状況が悪い環境に遠隔操作ロボット１が配置されている場合、位置情報が検出できない、あるいは、不正確な位置情報が検出される場合がある。この場合、ズレ量が発生する。よって、位置姿勢補正部４１１は、ズレ量に応じて、位置検出部４０３によって検出された位置情報、あるいは、３次元モデルデータの座標空間内における遠隔操作ロボット１の位置情報を補正する。また、位置姿勢補正部４１１は、ズレ量に応じて、姿勢センサー４０４によって検出された姿勢情報、あるいは、３次元モデルデータの座標空間内における遠隔操作ロボット１の姿勢情報を補正する。
【０１２８】
また、位置姿勢補正部４１１は、レーザーカメラ４１０によって撮像された画像内に写るランドマーク等の基準物に基づき、遠隔操作ロボット１の位置ズレと姿勢ズレを検出し、検出した位置ズレと前記姿勢ズレに基づき、遠隔操作ロボット１の位置を示す位置情報と、遠隔操作ロボット１の姿勢を示す姿勢情報とを補正する。例えば、位置姿勢補正部４１１は、レーザーカメラ４１０によって撮像した画像と、位置検出部４０３によって検出された位置に遠隔操作ロボット１が位置していた場合に撮像可能な画像とを、基準物を一致させるように重ねた場合のズレ量に応じて、遠隔操作ロボット１の位置情報と姿勢情報とを算出する。なお、位置検出部４０３によって検出された位置に遠隔操作ロボット１が位置していた場合に撮像可能な画像は、遠隔操作ロボット１との相対的な位置関係によって決まるレーザーカメラ４１０の位置姿勢情報に基づき、式（１）を正規化演算することにより得られるメッシュ頂点カメラ画像座標組Ｍのメッシュによって構成される。位置姿勢補正部４１１は、このメッシュ頂点カメラ画像座標組Ｍに基づき、画像の画角内のランドマークの位置を検出し、レーザーカメラ４１０によって撮像した画像内のランドマークとのズレ量を検出することができる。よって、位置姿勢補正部４１１は、ズレ量に応じて、位置検出部４０３によって検出された位置情報、あるいは、３次元モデルデータの座標空間内における遠隔操作ロボット１の位置情報を補正する。また、位置姿勢補正部４１１は、ズレ量に応じて、姿勢センサー４０４によって検出された姿勢情報、あるいは、３次元モデルデータの座標空間内における遠隔操作ロボット１の姿勢情報を補正する。
【０１２９】
位置姿勢補正部４１１は、補正した位置情報および姿勢情報を、位置姿勢情報算出部４０６に出力する。これにより、位置姿勢補正部４１１は、補正された位置姿勢情報を、ロボット通信部４０２を介して、仮想カメラ画像生成装置５００に送信することができる。
【０１３０】
この構成により、本実施形態に係る仮想カメラ画像生成システムは、正確な位置情報や姿勢情報を取得できない場合であっても、位置姿勢補正部４１１が補正した位置情報や姿勢情報を、仮想カメラ画像生成装置５００に送信することができる。よって、仮想カメラ画像生成装置５００が作成する仮想カメラ画像が、遠隔操作ロボット１の位置や姿勢とずれる事態を防止することができる。
【０１３１】
［第４実施形態］
次に、図２０を参照して、本発明に係る第４実施形態について説明する。図２０は、本実施形態に係る仮想カメラ画像生成システムの制御系の一例を示すブロック図である。
本実施形態に係る仮想カメラ画像生成システムは、第１カメラ１００と、ロボット制御装置４００と、仮想カメラ画像生成装置５００＿４とを備える。カメラが１台である点で、第１〜３の実施形態と異なる。なお、第１の実施形態と同一の機能構成部については、同一の符号を付して、詳細な説明は省略する。
【０１３２】
仮想カメラ画像生成装置５００＿４は、仮想右目カメラ視点を有する仮想カメラ４１と、仮想左目カメラ視点を有する仮想カメラ４２とが設定されている。なお、仮想右目カメラ視点と仮想左目カメラ視点とは、右目と左目の視差を利用した立体画像を生成するための仮想カメラ視点である。例えば、操作装置７００を介してユーザから仮想カメラの視点が設定されると、ＣＰＵ５０３は、設定された仮想カメラの視点に応じた仮想右目カメラ視点と仮想左目カメラ視点とを決定する。
仮想カメラ画像生成装置５００＿４のＣＰＵ５０３は、第１実施形態と同様にして、仮想右目カメラ視点からみた仮想カメラ画像（以下、右目仮想カメラ画像という）と、仮想左目カメラ視点からみた仮想カメラ画像（以下、左目仮想カメラ画像という）とを生成する。
【０１３３】
このＣＰＵ５０３は、さらに、立体画像合成部５３６を備える。
立体画像合成部５３６は、仮想カメラ画像生成部５３５によって生成された、右目仮想カメラ画像と左目仮想カメラ画像とを合成した立体画像を生成する。この立体画像合成部５３６は、合成した立体画像を、通信部５０１を介して表示装置６００に出力する。
表示装置６００は、入力した立体画像に基づき、右目仮想カメラ画像と左目仮想カメラ画像とを重畳して、あるいは、交互に表示する。これにより、操作装置７００の操作者は、表示装置６００に表示された立体画像を認識することができる。
【０１３４】
なお、本実施形態の場合、第１カメラ１００から、時間差で撮像された複数のカメラ画像データが時系列に従って、ロボット制御装置４００を介して仮想カメラ画像生成部５３５＿４に送信されている。仮想カメラ画像生成装置５００＿４のカメラ画像選定部５３２は、例えば、第１カメラ１００によって撮像された複数のカメラ画像のうち、時系列に連続するカメラ画像のうち複数枚（例えば３枚）に基づき、仮想カメラ画像に使用するための条件を満たすメッシュ画像を選択する。
これにより、仮想カメラ画像に使用するための条件を満たさないものを除外することができるため、仮想カメラの画質を向上させることができる。
【０１３５】
また、本実施の形態に係るロボット制御装置４００および仮想カメラ画像生成装置５００は、内部にコンピュータシステムを有している。そして、動作の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータシステムが読み出して実行することによって、上記処理が行われる。ここでいう「コンピュータシステム」とは、ＣＰＵ及び各種メモリやＯＳ、周辺機器等のハードウェアを含むものである。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１３６】
また、各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、また、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各処理を行ってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１３７】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【０１３８】
その他、本発明の趣旨を逸脱しない範囲で、上記した実施の形態における構成要素を周知の構成要素に置き換えることは適宜可能である。また、この発明の技術範囲は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。
【符号の説明】
【０１３９】
１・・・遠隔操作ロボット
１００・・・第１カメラ
２００・・・第２カメラ
３００・・・第３カメラ
４００・・・ロボット制御装置
５００・・・仮想カメラ画像生成装置
６００・・・表示装置
７００・・・操作装置
４０１・・・ロボット制御部
４０２・・・ロボット通信部
４０３・・・位置検出部
４０４・・・姿勢センサー
４０５・・・記憶部
４０６・・・位置姿勢情報算出部
４０７・・・３次元計測部
４０８・・・実空間モデルデータ生成部
４０９・・・３次元モデルデータ統合部
４１０・・・レーザーカメラ
４１１・・・位置姿勢補正部
５０１・・・通信部
５０２・・・記憶部
５０３・・・ＣＰＵ
５２１・・・カメラ位置姿勢画像テーブル
５２２・・・切り出し情報テーブル
５２３・・・ロボットモデルデータ重畳テーブル
５２４・・・貼り付け情報テーブル
５２５・・・３次元モデルデータ記憶領域
５２６・・・ロボットモデルデータ記憶領域
５３１・・・登録部
５３２・・・カメラ画像選定部
５３３・・・切り出し処理部
５３４・・・ロボットモデルデータ重畳処理部
５３５・・・仮想カメラ画像生成部
５３６・・・立体画像生成部
【図１】
2014056496.tif 000006
【図２】
2014056496.tif 000007
【図３】
2014056496.tif 000008
【図４】
2014056496.tif 000009
【図５】
2014056496.tif 000010
【図６】
2014056496.tif 000011
【図７】
2014056496.tif 000012
【図８】
2014056496.tif 000013
【図９】
2014056496.tif 000014
【図１０】
2014056496.tif 000015
【図１１】
2014056496.tif 000016
【図１２】
2014056496.tif 000017
【図１３】
2014056496.tif 000018
【図１４】
2014056496.tif 000019
【図１５】
2014056496.tif 000020
【図１６】
2014056496.tif 000021
【図１７】
2014056496.tif 000022
【図１８】
2014056496.tif 000023
【図１９】
2014056496.tif 000024
【図２０】
2014056496.tif 000025