(57)【要約】      （修正有）【課題】対象物の変動量を検出することで、対象物の異常の検出精度を向上させる情報処理装置を提供する。【解決手段】情報処理システムにおいて、情報処理装置は、撮像画像を取得し、撮像画像に含まれる被写体の第１の状態から第２の状態への変動量を検出する変動量検出部と、変動量検出部によって検出された変動量に基づいた変動情報を出力する出力部とを備える。【選択図】図１
2020086491.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像を取得し、前記撮像画像に含まれる被写体の第１の状態から第２の状態への変動量を検出する変動量検出部と、
前記変動量検出部によって検出された前記変動量に基づいた変動情報を出力する出力部と、
を備える情報処理装置。
【請求項２】
前記変動情報は、前記変動量を示す情報である
請求項１に記載の情報処理装置。
【請求項３】
前記変動量が異常であるかを判定する判定部をさらに備え、
前記変動情報は、前記判定部による判定結果を示す情報である
請求項１または２に記載の情報処理装置。
【請求項４】
前記出力部は、前記被写体を含む前記撮像画像を前記変動情報と併せて出力する
請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項５】
前記変動量検出部によって検出された前記変動量のデータを蓄積する蓄積部をさらに備える
請求項１〜４のいずれか一項に記載の情報処理装置。
【請求項６】
前記変動量検出部は、前記被写体に設定された着目部の変動量を、前記変動量として検出する
請求項１〜５のいずれか一項に記載の情報処理装置。
【請求項７】
前記変動量検出部は、前記第１の状態及び前記第２の状態それぞれにおいて、前記着目部を基準とする第１の座標系及び第２の座標系を取得し、前記第１の座標系と前記第２の座標系との関係に基づき、前記変動量を検出する
請求項６に記載の情報処理装置。
【請求項８】
前記変動量検出部は、前記撮像画像の前記被写体において画像特徴部を抽出し、前記画像特徴部の変動量を、前記変動量として検出する
請求項１〜５のいずれか一項に記載の情報処理装置。
【請求項９】
前記変動量検出部は、前記第１の状態及び前記第２の状態それぞれにおいて、前記被写体上における前記画像特徴部に対応する複数の３次元位置と、前記撮像画像の前記画像特徴部における前記複数の３次元位置それぞれに対応する複数の２次元位置とを取得し、前記第１の状態及び前記第２の状態における前記３次元位置及び前記２次元位置を用いて、前記変動量を検出する
請求項８に記載の情報処理装置。
【請求項１０】
前記被写体の３次元モデルの画像であるレンダリング画像と前記レンダリング画像に関する情報とを格納するレンダリング画像格納部から、前記レンダリング画像と前記レンダリング画像に関する情報とを取得し、前記レンダリング画像の中から、前記撮像画像の前記被写体と類似する被写体を含む前記レンダリング画像を検出する類似検出部をさらに備え、
前記変動量検出部は、前記類似検出部によって検出された前記レンダリング画像に関する情報を用いて、前記変動量を検出し、
前記レンダリング画像に関する情報は、前記３次元モデルの状態に関する情報を含む
請求項１〜５のいずれか一項に記載の情報処理装置。
【請求項１１】
前記被写体を撮像する撮像部と、
前記レンダリング画像を生成するレンダリング画像生成部と、
前記レンダリング画像生成部によって生成された前記レンダリング画像を格納する前記レンダリング画像格納部と、
前記撮像部によって撮像された画像と前記レンダリング画像格納部に格納された前記レンダリング画像とを用いる、請求項１０に記載の情報処理装置と
を備える情報処理システム。
【請求項１２】
撮像画像を取得し、
前記撮像画像から、前記撮像画像に含まれる被写体の第１の状態から第２の状態への変動量を検出し、
検出された前記変動量に基づいた変動情報を出力する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム及び情報処理方法に関する。
【背景技術】
【０００２】
従来、機器の可動部分の動作の異常を検出する技術がある。
【０００３】
例えば、航空機の機体の舵面の故障及び損傷を検出する技術がある（例えば、特許文献１参照）。特許文献１の技術は、舵面が駆動したことに起因する機体の運動状態量から機体の空力係数を推定し、空力係数の推定値に基づいて、いずれの舵面が故障又は損傷しているかを検出する。機体の仰角、横滑り角、対気速度、角速度、姿勢角及び舵角等の運動状態量は、機体に予め設けられたセンサ等から取得される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の技術は、舵面の故障又は損傷が、舵面自体の異常に起因するのか、舵面を駆動するアクチュエータの異常に起因するのか、センサの異常に起因するのかを検出することができない。つまり、特許文献１の技術は、舵面が正常に動作しているか否かの検出精度が高くない。
【０００５】
そこで、本開示の情報処理装置、情報処理システム及び情報処理方法は、対象物の変動量を検出することで、対象物の異常の検出精度を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態による情報処理装置は、撮像画像を取得し、前記撮像画像に含まれる被写体の第１の状態から第２の状態への変動量を検出する変動量検出部と、前記変動量検出部によって検出された前記変動量に基づいた変動情報を出力する出力部とを備える。
【０００７】
本発明の一実施形態による情報処理システムは、前記被写体を撮像する撮像部と、前記レンダリング画像を生成するレンダリング画像生成部と、前記レンダリング画像生成部によって生成された前記レンダリング画像を格納する前記レンダリング画像格納部と、前記撮像部によって撮像された画像と、前記レンダリング画像格納部に格納された前記レンダリング画像とを用いる、本発明の一実施形態による情報処理装置とを備える。
【０００８】
本発明の一実施形態による情報処理方法は、撮像画像を取得し、前記撮像画像に含まれる被写体の第１の状態から第２の状態への変動量を検出し、検出された前記変動量に基づいた変動情報を出力する。
【発明の効果】
【０００９】
本開示の技術によれば、対象物の変動量を検出することで、対象物の異常の検出精度を向上させることが可能になる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１に係る情報処理装置を備える情報処理システムの機能的な構成の一例を示すブロック図
【図２】実施の形態１に係る移動体の機能的な構成の一例を示すブロック図
【図３】実施の形態１に係る情報処理システムにおけるカメラの配置例を示す平面図
【図４】可動部の３次元モデルの一例を示す斜視図
【図５】実施の形態１に係る可動部の３次元モデルとカメラのカメラモデルと投影画像との３次元的な位置関係の一例を示す図
【図６】実施の形態１に係る情報処理システムのハードウェア構成の一例を示すブロック図
【図７】実施の形態１に係るレンダリング画像生成部のレンダリング画像の生成動作の一例を示すフローチャート
【図８】実施の形態１に係る情報処理装置の動作の一例を示すフローチャート
【図９】実施の形態２に係る可動部とカメラと撮像画像との３次元的な位置関係の一例を示す図
【図１０】実施の形態に係る情報処理装置の適用例を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について添付の図面を参照しつつ説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することによって重複した説明を省く。
【００１２】
（実施の形態１）
＜情報処理システム１の構成＞
図１は、実施の形態１に係る情報処理装置１０を備える情報処理システム１の機能的な構成の一例を示すブロック図である。本実施の形態では、情報処理装置１０は、移動体１００に搭載され、移動体１００における可動部の変動量を検出することで、当該可動部の異常の有無を監視するとして説明する。可動部の変動量は、平行移動及び回転移動等を含む可動部の移動の量及び方向を含む。なお、本実施の形態では、移動体１００は、航空機であるが、これに限定されず、いかなる移動可能なものであってもよい。さらに、情報処理装置１０の搭載対象は、移動体１００に限定されず、静止物であってもよい。また、情報処理装置１０の監視対象は、可動部に限定されず、不可動部であってもよい。
【００１３】
また、本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。例えば、情報処理装置１０は、１つ以上の装置で構成されてもよい。情報処理装置１０が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。
【００１４】
図１に示すように、情報処理システム１は、情報処理装置１０と、撮像部２０と、レンダリング画像生成部３０と、撮像画像格納部４０と、レンダリング画像格納部５０と、出力結果格納部６０とを含む。情報処理装置１０は、その出力結果を、提示装置１１１に提示し、且つ、出力結果格納部６０に記憶させる。
【００１５】
図２は、実施の形態１に係る移動体１００の機能的な構成の一例を示すブロック図である。図２に示すように、移動体１００は、情報処理システム１のうち、情報処理装置１０と、撮像部２０と、撮像画像格納部４０と、レンダリング画像格納部５０と、出力結果格納部６０とを搭載する。さらに、移動体１００は、操作系１１０と、アクチュエータ１２０と、可動部１３０とを備える。本実施の形態では、レンダリング画像生成部３０は、移動体１００に搭載されないが、移動体１００に搭載されてもよい。レンダリング画像生成部３０は、レンダリング画像格納部５０と、有線通信又は無線通信を介して接続される。レンダリング画像生成部３０は、レンダリング画像生成部３０によって生成されたレンダリング画像をレンダリング画像格納部５０に記憶させる。
【００１６】
操作系１１０は、移動体１００を操縦するための種々の装置を含む。操作系１１０は、提示装置１１１と、制御部１１２と、出力結果格納部６０とを含む。制御部１１２は、操作系１１０を介して入力される指令に従って、移動体１００の全体の動作を制御する。提示装置１１１は、画像、音声及び光等を用いた情報を、移動体１００の操縦者に提示する。例えば、提示装置１１１は、制御部１１２の制御のもと、情報処理装置１０から出力される情報を提示する。提示装置１１１は、ディスプレイ、スピーカ及びランプ等で構成されてもよい。ディスプレイの例は、液晶パネル、有機又は無機ＥＬ（Electroluminescence）であるが、これに限定されない。
【００１７】
可動部１３０は、移動体１００における動作可能である部分である。可動部１３０の例は、操縦翼面（「動翼」とも呼ばれる）、プロペラ及びロータ等である。操縦翼面の例は、補助翼、方向舵及び昇降舵などの主操縦翼面、並びに、プラップ、スポイラ及びエアブレーキなどの二次操縦翼面等である。アクチュエータ１２０は、制御部１１２の制御のもと、可動部１３０を駆動し動作させる。
【００１８】
図１及び図２に示すように、撮像部２０は、可動部１３０を撮像する。撮像部２０は、１つ以上のカメラ２１を含む。１つ以上のカメラ２１はそれぞれ、１つ以上の可動部１３０を撮像し、撮像された画像を撮像画像格納部４０に記憶させる。カメラ２１は、静止画及び／又は動画のデジタル画像を出力する。カメラ２１は、アナログ画像を撮像し、当該アナログ画像は、カメラ２１又は他の装置によってデジタル変換されてもよい。なお、本明細書及び特許請求の範囲において、「画像」とは、画像そのものを意味するだけでなく、画像を示すデータである画像データ及び画像を示す信号である画像信号をも意味し得る。
【００１９】
例えば、図３に示すように、カメラ２１の１つは、移動体１００の機体に固定して配置され、１つの可動部１３０を撮像する。図３は、実施の形態１に係る情報処理システム１におけるカメラ２１の配置例を示す平面図である。図３では、可動部１３０は補助翼である。各カメラ２１は、予め設定されたタイミング若しくは時間間隔で撮像する、又は、連続的に撮像する。各カメラ２１の３次元空間内での位置及び向き、並びに、各カメラ２１と撮像対象の可動部１３０との３次元空間内での位置関係等の各カメラ２１に関する情報は、予め取得されている。例えば、各カメラ２１に関する情報は、機体への設置時等に取得される。各カメラ２１に関する情報は、当該カメラ２１のＩＤ等の識別情報と対応付けられて、撮像画像格納部４０及び／又はレンダリング画像生成部３０のカメラ情報格納部３３（図１参照）に記憶されている。なお、１つのカメラ２１が、２つ以上の可動部１３０を一緒に撮像してもよく、２つ以上のカメラ２１が、１つの可動部１３０を撮像してもよい。
【００２０】
また、カメラ２１は、移動体１００が飛行中の画像を撮像するため、霧のかかった状態、暗闇の状態、又は太陽光の影響を受けた状態で撮像する場合がある。このため、カメラ２１は、飛行中も安定した画像を取得できる特殊なカメラが適用されてもよい。又は、カメラ２１又は情報処理装置１０が、上記状態による影響を補正する画像処理部を備えてもよい。
【００２１】
図１に示すように、撮像画像格納部４０は、種々の情報を記憶し、記憶した情報を取り出すことができる。撮像画像格納部４０は、各カメラ２１によって撮像された画像である撮像画像を記憶する。撮像画像は、当該画像の識別情報と、当該画像を取得したカメラ２１の識別情報と、当該画像の撮像時刻と、当該画像の各画素の画素値等の画像を表す情報とを含む。
【００２２】
レンダリング画像生成部３０は、各可動部１３０をカメラ２１で撮像した場合の推定画像を示すレンダリング画像を生成し、レンダリング画像格納部５０に記憶させる。レンダリング画像生成部３０は、画像生成部３１と、３次元モデル格納部３２と、カメラ情報格納部３３と、変動量格納部３４とを含む。
【００２３】
３次元モデル格納部３２、カメラ情報格納部３３及び変動量格納部３４はそれぞれ、種々の情報を記憶し、記憶した情報を取り出すことができる。３次元モデル格納部３２は、各可動部１３０の３次元モデルを予め記憶する。可動部１３０の３次元モデルは、３次元空間内で任意に視点を指定して形状を表現することができる３次元幾何情報である。可動部１３０の３次元モデルは、当該３次元モデルの３次元空間内での位置、向き、形状、寸法、動作方向及び回転中心軸等の情報を含む。３次元空間は移動体１００に設定された３次元座標を基準としてもよく、世界座標を基準としてもよい。また、３次元モデル格納部３２に記憶される３次元モデルは、動作量が０である初期状態を示してもよい。例えば、補助翼である可動部１３０の３次元モデルの一例は、図４の斜視図のように示される。なお、３次元モデルは、各可動部１３０を含む移動体１００の３次元モデルあってもよい。
【００２４】
ここで、初期状態は、第１の状態の一例である。なお、第１の状態は、初期状態に限定されず、いかなる状態であってもよい。また、初期状態から変動した状態は、第２の状態の一例である。なお、第２の状態は、第１の状態からの動作量が０であってもよい。例えば、第１の状態の時刻と異なる時刻の状態は、第２の状態の一例である。
【００２５】
カメラ情報格納部３３は、各カメラ２１に関する情報であるカメラ情報を予め記憶する。各カメラ２１のカメラ情報は、当該カメラ２１のカメラパラメタを含み、カメラパラメタは外部パラメタと内部パラメタとを含む。外部パラメタの例は、カメラ２１の３次元空間内での位置及び向き等を示すパラメタである。内部パラメタの例は、レンズの歪み、焦点距離、撮像素子の１画素のサイズ及び光軸中心の画素座標等を示すパラメタである。さらに、カメラ情報は、カメラ２１が撮像対象とする可動部１３０、カメラ２１と当該可動部１３０との３次元空間内での位置関係等も含む。例えば、３次元空間は、カメラ２１若しくは移動体１００に設定された３次元座標又は世界座標を基準としてもよい。画素座標は、画素を単位とする座標であり、画像上での２次元座標である画像座標の一例である。
【００２６】
変動量格納部３４は、各可動部１３０の動作可能な方向及び範囲等を含む変動可能量を予め記憶する。各可動部１３０の変動可能量の例は、各可動部１３０の３次元空間内でのＸ軸、Ｙ軸及びＺ軸方向の移動可能な範囲、並びに、各可動部１３０の３次元空間内での回転中心軸及び当該回転中心軸を中心とする回転可能な範囲等である。
【００２７】
画像生成部３１は、各カメラ２１から撮像対象の可動部１３０を撮像した場合に得られる画像の推定画像であるレンダリング画像を生成し、レンダリング画像格納部５０に記憶させる。
【００２８】
具体的には、画像生成部３１は、３次元モデル格納部３２から、撮像対象の可動部１３０の３次元モデルを取得する。さらに、画像生成部３１は、カメラ情報格納部３３から、取得された３次元モデルに対応する可動部１３０を撮像対象とするカメラ２１のカメラ情報を取得する。さらに、画像生成部３１は、変動量格納部３４から、上記可動部１３０の変動可能量を取得する。
【００２９】
そして、画像生成部３１は、３次元モデルとカメラ２１のカメラ情報と可動部１３０の変動可能量とを用いて、カメラ２１のカメラモデルを視点として３次元モデルを２次元平面に投影した画像である３次元モデルの２次元画像を生成する。カメラモデルは、３次元モデルの３次元空間座標系においてカメラ２１を示すモデルである。２次元画像は、カメラモデルによって３次元モデルを撮像したときに得られる画像であり、カメラ２１を視点とする可動部１３０の推定画像を示すレンダリング画像である。レンダリング画像は、可動部１３０の３次元モデルの画像である。
【００３０】
さらに、画像生成部３１は、３次元モデルを変動可能量内の各変動量で移動させ、当該変動量で移動された３次元モデルの２次元画像を生成する。よって、画像生成部３１は、可動部１３０を変動可能量内の各変動量で移動させた場合にカメラ２１によって撮像され得る可動部１３０の推定画像を示すレンダリング画像を取得する。つまり、画像生成部３１は、可動部１３０に関連するレンダリング画像を取得する。画像生成部３１は、レンダリング画像を、カメラ２１の識別情報、可動部１３０の識別情報及び３次元モデルの変動量と対応付けて、レンダリング画像格納部５０に記憶させる。
【００３１】
さらに、画像生成部３１におけるレンダリング画像の生成処理の詳細を説明する。カメラ２１の位置は固定されているため、カメラ２１の位置から、初期状態の可動部１３０がどのように見えるかは決まる。例えば、図３を参照すると、可動部１３０が付随する非可動の主翼１００ａとカメラ２１との３次元的な位置関係が既知である。さらに、当該位置関係を用いることによって、初期状態の可動部１３０とカメラ２１との３次元的な位置関係の取得が可能である。そして、初期状態の可動部１３０とカメラ２１との３次元的な位置関係に基づき、カメラ２１の位置からの可動部１３０の見え方が算出可能である。
【００３２】
図５は、実施の形態１に係る可動部１３０の３次元モデル１３０Ｍとカメラ２１のカメラモデル２１Ｍと投影画像ＲＩとの３次元的な位置関係の一例を示す図である。図５に示すように、可動部１３０の３次元モデル１３０Ｍは、補助翼の３次元モデルであり、主翼１００ａの一部に含まれる回転中心軸ＲＡを中心として、回動する。
【００３３】
３次元空間中での３次元モデル１３０Ｍとカメラモデル２１Ｍとの位置関係が既知である場合、３次元空間座標系での３次元モデル１３０Ｍの３次元位置は、カメラモデル２１Ｍの視点での座標系での位置に変換することが可能である。なお、カメラモデル２１Ｍの視点での座標系は、カメラモデル２１Ｍの位置を原点とするカメラ座標系である。上記変換を利用して、カメラモデル２１Ｍの視点での３次元モデルの見え方を表現した２次元画像ＲＩを生成することが可能である。このような２次元画像ＲＩがレンダリング画像である。３次元空間座標系での３次元モデルの３次元位置と２次元画像上での３次元モデルの位置との間の変換は、以下の式１のように示すことができる。
【００３４】
【数１】
2020086491.tif 000003
【００３５】
式１において、「〜」は、その両辺が定数倍の違いを許容して等しいことを示し、左辺及び右辺の一方が他方の定数倍であることを示す。座標（Ｘｗｉ，Ｙｗｉ，Ｚｗｉ）は、３次元モデルに設定された３次元空間座標系における３次元モデル１３０Ｍ上の点の座標を示し、世界座標でもある。座標（ｕｉ，ｖｉ）は、カメラモデル２１Ｍの焦点位置の２次元画像である撮像画像上に、点（Ｘｗｉ，Ｙｗｉ，Ｚｗｉ）を投影した点の座標を示し、画素座標でもある。行列Ａは、３×３の行列であり、カメラモデル２１Ｍに固有の内部パラメタを、要素として含む。行列Ｒは、カメラモデル２１Ｍの３次元空間座標系での回転を示し、カメラモデル２１Ｍの外部パラメタを構成する。ベクトルＴは、カメラモデル２１Ｍの３次元座標系での並進（平行移動）を示し、カメラモデル２１Ｍの外部パラメタを構成する。「ＲＴ」と変換行列とも呼ぶ。式１の変換を３次元モデル１３０Ｍ上のすべての点で行うことで、カメラモデル２１Ｍの焦点位置の２次元画像へ３次元モデル１３０Ｍを投影した画像であるレンダリング画像が生成されることができる。カメラモデル２１Ｍの上記のカメラパラメタは、カメラ２１のカメラパラメタに対応する。
【００３６】
３次元モデル１３０Ｍは、３次元座標空間内においてあらゆる方向に動かすことができる。このため、画像生成部３１は、回転中心軸ＲＡを中心とする回転方向である可動方向に、３次元モデル１３０Ｍを所定の変動量で動作させたときの投影画像を、レンダリング画像として生成する。画像生成部３１は、変動可能範囲内の所定の変動量毎の全ての変動量について、レンダリング画像を生成し、レンダリング画像と変動量とを対応付けてレンダリング画像格納部５０に記憶させる。
【００３７】
また、図１に示すように、情報処理装置１０は、第一取得部１１と、第二取得部１２と、抽出部１３と、類似度検出部１４と、変動量検出部１５と、判定部１６と、出力部１７と、判定モデル格納部１８とを含む。類似度検出部１４は、類似検出部の一例である。
【００３８】
第一取得部１１は、各カメラ２１によって撮像され且つ撮像画像格納部４０に格納された撮像画像を取得する。例えば、第一取得部１１は、各カメラ２１について、当該カメラ２１の撮像画像を撮像時刻の経過順序に合わせた順序で取得する。第一取得部１１は、取得された撮像画像とその識別情報とを対応付けて、抽出部１３に出力する。識別情報は、画像及びカメラ２１の識別情報を含んでもよい。
【００３９】
抽出部１３は、第一取得部１１から取得された撮像画像から、当該撮像画像内に含まれる被写体の一例である可動部１３０を抽出する。抽出部１３は、抽出された可動部１３０の画像と、可動部１３０の画像が抽出された撮像画像の識別情報とを対応付けて、類似度検出部１４に出力する。
【００４０】
なお、可動部１３０の画像は、可動部１３０を明示する画像であればよい。例えば、可動部１３０の画像は、可動部１３０のみを含む画像であってもよく、可動部１３０と可動部１３０以外の被写体とを含む画像であってもよい。例えば、可動部１３０の画像は、撮像画像から可動部１３０以外の領域が除去された画像であってもよく、撮像画像から可動部１３０を囲む枠の外側の領域が除去された画像であってよい。又は、可動部１３０の画像は、撮像画像に可動部１３０の領域を示す情報が付加された画像であってもよい。例えば、可動部１３０の画像は、撮像画像に可動部１３０を囲む枠の位置、形状及び寸法等を含む情報が付加された画像であってもよい。
【００４１】
抽出部１３は、既知の技術を用いて、撮像画像から可動部１３０を抽出する。例えば、抽出部１３は、撮像画像においてエッジを抽出し、当該エッジが囲む領域の外部領域を除去することによって、可動部１３０を抽出してもよい。又は、抽出部１３は、撮像画像においてエッジを抽出し、当該エッジの形状と可動部１３０の輪郭等の形状パターンとをパターンマッチング等で照合することによって、可動部１３０を抽出してもよい。各可動部１３０の形状パターンは、抽出部１３によって保持されていてもよく、撮像画像格納部４０に記憶されていてもよい。各可動部１３０の形状パターンは、カメラ２１又は当該カメラ２１の撮像画像の識別情報と対応付けられてもよい。
【００４２】
第二取得部１２は、類似度検出部１４から取得される指令に従って、レンダリング画像格納部５０からレンダリング画像を取得し、類似度検出部１４に出力する。
【００４３】
類似度検出部１４は、抽出部１３から可動部１３０の画像を取得すると、可動部１３０に関連するレンダリング画像を第二取得部１２に要求する。具体的には、類似度検出部１４は、可動部１３０が抽出された撮像画像を撮像したカメラ２１の識別情報に対応するレンダリング画像を要求する。撮像画像の識別情報は、当該画像を撮像したカメラ２１の識別情報と対応している。このため、第二取得部１２は、撮像画像の識別情報と、レンダリング画像に対応するカメラ２１の識別情報とに基づき、当該カメラ２１のカメラモデルを視点とするレンダリング画像を、可動部１３０に対応するレンダリング画像として取得し、類似度検出部１４に出力する。
【００４４】
類似度検出部１４は、可動部１３０の画像と、取得されたレンダリング画像とを順次比較し、互いの間の類似度を算出する。類似度検出部１４は、算出された類似度を、類似度を算出した対象のレンダリング画像の識別情報と対応付けて、変動量検出部１５に出力する。類似度検出部１４は、可動部１３０に関連するレンダリング画像の全てについて、類似度を算出してもよい。又は、類似度検出部１４は、類似度を算出する対象のレンダリング画像を制限してもよい。例えば、類似度検出部１４は、前回の変動量の算出時に用いられたレンダリング画像の変動量に対して、所定の範囲内の変動量のレンダリング画像についてのみ、類似度を算出してもよい。類似度の算出方法の一例は、画像間の相互情報量を用いた算出方法であるが、類似度の算出方法はいかなる方法であってもよい。相互情報量の算出方法は、既知の技術であり、例えば非特許文献１にも開示されているため、その詳細な説明を省略する。ここで、類似度検出部１４は、類似検出部の一例である。
【００４５】
変動量検出部１５は、類似度検出部１４から取得された類似度の中で最も大きい類似度を与えるレンダリング画像の識別情報を特定し、当該識別情報のレンダリング画像に対応する変動量をレンダリング画像格納部５０から取得する。取得される変動量は、撮影画像に写し出される可動部１３０の３次元モデルの初期状態からの変動量を示す。変動量検出部１５は、取得された変動量と、類似度の検出対象の可動部１３０の識別情報とを対応付けて、判定部１６に出力する。ここで、変動量検出部１５は、類似検出部の一例であり、変動量検出部１５によって取得される変動量は、変動情報の一例である。
【００４６】
判定部１６は、変動量検出部１５から取得される変動量が、可動部１３０の動作の異常を示すか否かを判定する。具体的には、判定部１６は、判定モデル格納部１８に記憶される判定モデルを用いて、取得される変動量が異常であるか否かを判定する。判定部１６は、判定結果と、当該判定結果に対応する可動部１３０の識別情報及び変動量とを対応付けて、出力部１７に出力する。ここで、判定結果は、変動情報の一例である。
【００４７】
判定モデル格納部１８は、種々の情報を記憶し、記憶した情報を取り出すことができる。判定モデル格納部１８は、判定モデルを記憶する。判定モデルは、可動部１３０の変動量を入力情報として、当該可動部１３０の動作の異常の有無を示す出力情報を出力する。入力情報は、１つの変動量の値であってもよく、変動量の時系列データであってもよい。変動量の時系列データは、変動量と当該変動量の検出時刻とを対応付けて含むデータである。判定モデルは、予め作成されて判定モデル格納部１８に記憶される。判定モデルは、カルマンフィルタ及び機械学習等を用いて作成されてもよい。
【００４８】
ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。判定モデルに適用される機械学習方法は、教師あり学習、教師なし学習、半教師学習、構造学習、強化学習、及び深層学習のいずれかの方法でもよく、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
【００４９】
出力部１７は、判定部１６から取得された情報を提示装置１１１及び出力結果格納部６０に出力する。具体的には、出力部１７は、判定部１６から取得された判定結果と、当該判定結果の対象である可動部１３０とを示す情報を、提示装置１１１が提示可能なデータ形式で、提示装置１１１に出力する。例えば、出力部１７は、上記情報を、画像データ、文字列データ、音声データ又は警報等として提示装置１１１に出力する。また、出力部１７は、判定部１６から取得された判定結果と、当該判定結果の対象である可動部１３０及び変動量とを対応付けて、出力結果格納部６０に記憶させる。出力結果格納部６０に記憶されたデータは、変動量検出部１５及び／又は判定部１６の処理に利用されてもよい。これにより、変動量検出部１５及び／又は判定部１６の処理精度が向上し得る。
【００５０】
出力結果格納部６０は、種々の情報を記憶し、記憶した情報を取り出すことができる。出力結果格納部６０は、出力部１７の出力結果を記憶し蓄積する。出力結果格納部６０は、蓄積部の一例である。
【００５１】
情報処理システム１のハードウェア構成を説明する。図６は、実施の形態１に係る情報処理システム１のハードウェア構成の一例を示すブロック図である。図６に示すように、情報処理システム１において、撮像部２０と情報処理装置１０とは、例えばバスを介して互いに接続され、移動体１００に含まれている。撮像部２０と情報処理装置１０とは、有線通信又は無線通信を介して接続されてもよい。撮像部２０及び情報処理装置１０と、レンダリング画像生成部３０とは、有線通信又は無線通信を介して接続及び接続解除可能に接続されているが、バスを介して互いに接続されてもよい。さらに、いかなる有線通信及び無線通信が用いられてもよい。
【００５２】
情報処理システム１は、移動体１００において、情報処理装置１０、撮像部２０、第一メモリ４０Ａ、第二メモリ５０Ａ及び第三メモリ６０Ａを含む。撮像部２０は、カメラ２１を含む。図６では、２つのカメラ２１が記載されているが、カメラ２１の数量は、１つ以上であればよい。
【００５３】
情報処理装置１０は、ＣＰＵ（Central Processing Unit）１０Ａと、ＲＯＭ（Read Only Memory）１０Ｂと、ＲＡＭ（Random Access Memory）１０Ｃと、メモリ１０Ｄと、入出力Ｉ／Ｆ１０Ｅとを構成要素として含む。撮像部２０のカメラ２１、情報処理装置１０の構成要素、第一メモリ４０Ａ、第二メモリ５０Ａ及び第三メモリ６０Ａは、例えばバスを介して互いに接続されているが、有線通信又は無線通信を介して接続されてもよい。
【００５４】
入出力Ｉ／Ｆ１０Ｅは、レンダリング画像生成部３０の入出力Ｉ／Ｆ３０Ｅと接続され、互いの間で情報及び指令等を送受信する。入出力Ｉ／Ｆ１０Ｅ及び３０Ｅは、通信Ｉ／Ｆの機能を備えてもよい。
【００５５】
ＣＰＵ１０Ａは、第一取得部１１、第二取得部１２、抽出部１３、類似度検出部１４、変動量検出部１５、判定部１６及び出力部１７の機能を実現する。メモリ１０Ｄは、判定モデル格納部１８の機能を実現する。メモリ１０Ｄは、半導体メモリ、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）等の記憶装置で構成される。なお、メモリ１０Ｄが、ＲＯＭ１０Ｂ及び／又はＲＡＭ１０Ｃを含んでもよい。
【００５６】
ＣＰＵ１０Ａはプロセッサ等で構成され、ＲＯＭ１０Ｂは不揮発性半導体記憶装置等で構成され、ＲＡＭ１０Ｃは揮発性半導体記憶装置等で構成される。各構成要素を動作させるプログラムは、ＲＯＭ１０Ｂ又はメモリ１０Ｄ等に予め保持されている。プログラムは、ＣＰＵ１０Ａによって、ＲＯＭ１０Ｂ又はメモリ１０Ｄ等からＲＡＭ１０Ｃに読み出されて展開される。ＣＰＵ１０Ａは、ＲＡＭ１０Ｃに展開されたプログラム中のコード化された各命令を実行することによって、その機能を実現する。なお、プログラムは、ＲＯＭ１０Ｂ及びメモリ１０Ｄに限らず、例えば記録ディスク等の記録媒体に格納されていてもよい。また、プログラムは、有線ネットワーク、無線ネットワーク又は放送等を介して伝送され、ＲＡＭ１０Ｃに取り込まれてもよい。
【００５７】
なお、ＣＰＵ１０Ａによって機能が実現されると上述した各構成要素は、ＣＰＵ１０Ａ等のプログラム実行部によって実現されてもよく、回路によって実現されてもよく、プログラム実行部及び回路の組み合わせによって実現されてもよい。例えば、これらの構成要素は、集積回路であるＬＳＩ（大規模集積回路：Large Scale Integration）として実現されてもよい。これらの構成要素は個別に１チップ化されてもよく、一部又は全てを含むように１チップ化されてもよい。ＬＳＩとして、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、ＬＳＩ内部の回路セルの接続及び／又は設定を再構成可能なリコンフィギュラブル・プロセッサ、又は、特定用途向けに複数の機能の回路が１つにまとめられたＡＳＩＣ（Application Specific Integrated Circuit）等が利用されてもよい。
【００５８】
また、第一メモリ４０Ａは、撮像画像格納部４０の機能を実現する。第二メモリ５０Ａは、レンダリング画像格納部５０の機能を実現する。第三メモリ６０Ａは、出力結果格納部６０の機能を実現する。第一メモリ４０Ａ、第二メモリ５０Ａ及び第三メモリ６０Ａは、半導体メモリ、ＨＤＤ又はＳＳＤ等の記憶装置で構成される。
【００５９】
また、レンダリング画像生成部３０は、ＣＰＵ３０Ａと、ＲＯＭ３０Ｂと、ＲＡＭ３０Ｃと、メモリ３０Ｄと、入出力Ｉ／Ｆ３０Ｅとを構成要素として含む。これらの構成要素は、例えばバスを介して互いに接続されているが、有線通信又は無線通信を介して接続されてもよい。
【００６０】
入出力Ｉ／Ｆ３０Ｅは、情報処理装置１０の入出力Ｉ／Ｆ１０Ｅと接続される。メモリ３０Ｄは、３次元モデル格納部３２、カメラ情報格納部３３及び変動量格納部３４の機能を実現する。メモリ３０Ｄは、半導体メモリ、ＨＤＤ又はＳＳＤ等の記憶装置で構成される。なお、メモリ３０Ｄが、ＲＯＭ３０Ｂ及び／又はＲＡＭ３０Ｃを含んでもよい。
【００６１】
ＣＰＵ３０Ａは、画像生成部３１の機能を実現する。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ及びＲＡＭ３０Ｃの構成及び機能は、ＣＰＵ１０Ａ、ＲＯＭ１０Ｂ及びＲＡＭ１０Ｃについて上述した構成及び機能と同様である。なお、画像生成部３１は、ＣＰＵ３０Ａ等のプログラム実行部によって実現されてもよく、回路によって実現されてもよく、プログラム実行部及び回路の組み合わせによって実現されてもよい。
【００６２】
＜レンダリング画像生成部３０の動作＞
実施の形態１に係るレンダリング画像生成部３０の動作、具体的にはレンダリング画像を生成する動作を説明する。図７は、実施の形態１に係るレンダリング画像生成部３０のレンダリング画像の生成動作の一例を示すフローチャートである。
【００６３】
図７に示すように、レンダリング画像生成部３０の画像生成部３１は、３次元モデル格納部３２から、レンダリング画像を生成する対象の３次元モデルを取得する（ステップＳ１）。対象となる３次元モデルは、レンダリング画像生成部３０を搭載するコンピュータ装置又はサーバ装置等の入力装置を介して、操作者によって指定されてもよい。又は、画像生成部３１は、３次元モデル格納部３２に記憶された全ての３次元モデルから順番に３次元モデルを取得してもよい。
【００６４】
次いで、画像生成部３１は、カメラ情報格納部３３から、取得された３次元モデルに対応するカメラ２１に関する情報を取得する（ステップＳ２）。具体的には、画像生成部３１は、３次元モデルの３次元位置等の情報を、カメラ情報格納部３３のカメラ２１に関する情報と照合することによって、当該３次元モデルを撮像対象とするカメラ２１を特定し、当該カメラ２１に関する情報を取得する。なお、３次元モデルの識別情報とカメラ２１の識別情報とが対応付けられていてもよい。
【００６５】
次いで、画像生成部３１は、変動量格納部３４から、取得された３次元モデルに対応する変動量の情報を取得する（ステップＳ３）。具体的には、画像生成部３１は、３次元モデルの識別情報を、変動量格納部３４の変動量に対応付けられた３次元モデルの識別情報と照合することによって、当該３次元モデルの変動量の情報を取得する。変動量の情報は、３次元モデルの移動方向及び移動範囲等を含む。
【００６６】
次いで、画像生成部３１は、変動量の情報に含まれる移動範囲のうち、レンダリング画像をまだ生成していない変動量を選択する。さらに、画像生成部３１は、選択された変動量で移動された３次元モデルを、カメラ２１のカメラモデルを視点とした２次元平面に投影した画像であるレンダリング画像を生成する（ステップＳ４）。
【００６７】
次いで、画像生成部３１は、変動量の情報に含まれる移動範囲のうち、レンダリング画像の生成対象の全ての変動量について、レンダリング画像を生成したか否かを判定する。つまり、画像生成部３１は、全ての変動量についてレンダリング画像の生成を完了したか否かを判定する（ステップＳ５）。画像生成部３１は、完了している場合（ステップＳ５でＹＥＳ）、３次元モデルについてのレンダリング画像の生成を終了する。画像生成部３１は、未完了である場合（ステップＳ５でＮＯ）、ステップＳ３に戻る。
【００６８】
上述のように、画像生成部３１は、各３次元モデルについて、当該３次元モデルに設定されている全ての変動量でのレンダリング画像を生成する。
【００６９】
＜情報処理装置１０の動作＞
実施の形態１に係る情報処理装置１０の動作、具体的には可動部１３０の変動量を判定する動作を説明する。図８は、実施の形態１に係る情報処理装置１０の動作の一例を示すフローチャートである。
【００７０】
図８に示すように、情報処理装置１０の第一取得部１１は、カメラ２１によって撮像され且つ撮像画像格納部４０に格納された撮像画像を、撮像時刻順に撮像画像格納部４０から取得する（ステップＳ１０１）。さらに、抽出部１３は、取得された撮像画像から可動部１３０の画像を抽出する、つまり被写体を抽出する（ステップＳ１０２）。
【００７１】
次いで、類似度検出部１４は、可動部１３０が抽出された撮像画像を撮像したカメラ２１の識別情報に対応するレンダリング画像を、第二取得部１２に要求する。つまり、類似度検出部１４は、可動部１３０及びカメラ２１に関連するレンダリング画像を要求する。第二取得部１２は、カメラ２１の識別情報とレンダリング画像の識別情報との対応関係に基づき、レンダリング画像格納部５０から、要求されたレンダリング画像を取得し、類似度検出部１４に出力する（ステップＳ１０３）。このとき、類似度検出部１４は、類似度を検出済みのレンダリング画像の識別情報を第二取得部１２に出力する。第二取得部１２は、類似度が未検出のレンダリング画像を類似度検出部１４に出力する。
【００７２】
次いで、類似度検出部１４は、取得されたレンダリング画像と可動部１３０の画像との間の類似度を算出する、つまり検出する（ステップＳ１０４）。
【００７３】
次いで、類似度検出部１４は、第二取得部１２に問い合わせ、可動部１３０及びカメラ２１に関連する全てのレンダリング画像と可動部１３０の画像との類似度の検出が完了したか否かを判定する（ステップＳ１０５）。類似度検出部１４は、完了している場合（ステップＳ１０５でＹＥＳ）、ステップＳ１０６へ進み、未完了の場合（ステップＳ１０５でＮＯ）、ステップＳ１０３に戻る。
【００７４】
ステップＳ１０６において、変動量検出部１５は、可動部１３０の画像に対して得られた全ての類似度の中から、最大の類似度を選択し、最大の類似度を有するレンダリング画像の識別情報を抽出する。
【００７５】
次いで、変動量検出部１５は、抽出された識別情報のレンダリング画像に対応付けられている変動量を取得する、つまり検出する（ステップＳ１０７）。
【００７６】
次いで、判定部１６は、取得された変動量を、判定モデル格納部１８に格納されている判定モデルに入力し、判定モデルの出力結果を取得する。つまり、判定部１６は、判定モデルを用いて、取得された変動量を判定し、当該変動量が異常であるか否かの判定結果を取得する（ステップＳ１０８）。なお、判定モデルの入力情報として、過去の変動量も用いる場合、判定部１６は、出力結果格納部６０から過去の変動量を取得してもよい。
【００７７】
次いで、出力部１７は、判定部１６の判定結果を出力する（ステップＳ１０９）。具体的には、出力部１７は、判定結果と判定結果の対象の可動部１３０とを対応付けて、提示装置１１１に提示させる。また、出力部１７は、判定結果と、判定結果の対象の可動部１３０及びその変動量とを出力結果格納部６０に記憶させる。
【００７８】
上述のように、情報処理装置１０は、各カメラ２１について、当該カメラ２１の撮像画像を順次処理することによって、当該撮像画像に写し出される可動部１３０の変動量の異常の有無を判定する。
【００７９】
＜効果等＞
上述のような実施の形態１に係る情報処理装置１０は、撮像画像を取得し、当該撮像画像に含まれる被写体としての可動部１３０の第１の状態から第２の状態への変動量を検出する変動量検出部１５と、変動量検出部１５によって検出された可動部１３０の変動量に基づいた変動情報を出力する出力部１７とを備える。
【００８０】
上記構成によると、情報処理装置１０は、可動部１３０の変動量を、可動部１３０を写し出す撮像画像から検出する。つまり、可動部１３０の見た目の変動量が検出される。これにより、可動部１３０の動作又は移動等における可動部１３０の異常の検出精度が向上する。さらに、可動部１３０の変動量に基づいた変動情報が出力されることで、可動部１３０の異常の程度を利用者に通知することが可能になる。なお、変動情報は、変動量を示す情報等であってもよい。
【００８１】
また、実施の形態１に係る情報処理装置１０は、可動部１３０の変動量が異常であるかを判定する判定部１６を備え、変動情報は、判定部１６による判定結果を示す情報であってもよい。上記構成によると、可動部１３０の変動量が異常であるか否かの出力が可能になる。
【００８２】
また、実施の形態１に係る情報処理装置１０において、出力部１７は、可動部１３０を含む撮像画像を変動情報と併せて出力してもよい。上記構成によると、可動部１３０の異常の程度を利用者に画像で提示することが可能になる。
【００８３】
また、実施の形態１に係る情報処理装置１０において、出力部１７は、変動量検出部１５によって検出された可動部１３０の変動量のデータを蓄積部としての出力結果格納部６０に蓄積してもよい。上記構成によると、変動量検出部１５及び判定部１６は、それぞれの処理に、出力結果格納部６０に蓄積された可動部１３０の過去の状態を示すデータを利用することができる。よって、変動量検出部１５及び判定部１６の処理精度の向上が可能である。また、情報処理装置１０の利用者は、出力結果格納部６０を参照することで、可動部１３０の過去の状態を確認することができる。
【００８４】
また、実施の形態１に係る情報処理装置１０は、可動部１３０の３次元モデルの画像であるレンダリング画像とレンダリング画像に関する情報とを格納するレンダリング画像格納部５０から、レンダリング画像と当該レンダリング画像に関する情報とを取得し、レンダリング画像の中から、撮像画像の可動部１３０と類似する被写体を含むレンダリング画像を検出する類似検出部としての類似度検出部１４及び変動量検出部１５を備えてもよい。さらに、変動量検出部１５は、検出されたレンダリング画像に関する情報を用いて、可動部１３０の変動量を検出してもよい。なお、レンダリング画像に関する情報は、３次元モデルの状態に関する情報を含んでもよい。
【００８５】
上記構成によると、撮像画像の可動部１３０と類似する被写体を含むレンダリング画像に関する情報は、可動部１３０の状態に関連する３次元モデルの状態を含む。このような３次元モデルの状態を用いて検出される可動部１３０の変動量は、高い精度を有し得る。
【００８６】
また、実施の形態１に係る情報処理システム１は、可動部１３０を撮像する撮像部２０と、レンダリング画像を生成するレンダリング画像生成部３０と、レンダリング画像生成部３０によって生成されたレンダリング画像を格納するレンダリング画像格納部５０と、撮像部２０によって撮像された画像とレンダリング画像格納部５０に格納されたレンダリング画像とを用いる情報処理装置１０とを備える。上記構成によると、実施の形態１に係る情報処理装置１０と同様の効果が得られる。
【００８７】
（実施の形態２）
実施の形態２に係る情報処理装置は、可動部に設定された着目部について、当該着目部の撮像画像から可動部の変動量を検出する点で、可動部の３次元モデルを用いる実施の形態１と異なる。以下、実施の形態２について、実施の形態１と異なる点を中心に説明し、実施の形態１と同様の点の説明を適宜省略する。
【００８８】
図９は、実施の形態２に係る可動部１３０とカメラ２１と撮像画像Ｉとの３次元的な位置関係の一例を示す図である。図９の例では、着目部は、可動部１３０に直接設けられたマーカＭである。マーカＭは、画像における検出が容易であり、且つ、マーカＭの画像からマーカの向きの変化方向及び変化量を検出することが容易であることが好ましい。マーカの例は、ＡＲ（Augmented Reality）マーカ等である。
【００８９】
図９に示すように、可動部１３０に設けられたマーカＭは、カメラ２１の撮像画像Ｉにおいて、マーカＩＭとして写し出される。可動部１３０が変動したときの可動部１３０の変動量と撮像画像Ｉ上におけるマーカＩＭの変動量との関係について説明する。
【００９０】
マーカの一例として、正方形等の向かい合う２辺が互いに平行である形状のＡＲマーカを用いた場合、非特許文献２及び非特許文献３に記載の方法により、マーカＭの位置を原点とした３次元座標系であるマーカ座標系から、カメラ２１の位置を原点とするカメラ座標系（３次元座標系）への変換行列が取得できる。例えば、マーカ座標系は、マーカＭが形成する平面に平行であり且つ互いに直交する２つの座標軸と、当該平面に垂直な１つの座標軸とで構成される。
【００９１】
具体的には、変換行列ＲＴｃｍｏが取得される。変換行列ＲＴｃｍｏは、可動部１３０の初期状態においてマーカ座標系からカメラ座標系へ変換する行列である。可動部１３０の初期状態でのマーカＭの位置及びマーカ座標系とカメラ２１の位置及びカメラ座標系とは予め算出することができる。このため、変換行列ＲＴｃｍｏは、これら２つの位置及び座標系から算出され保持される。
【００９２】
さらに、可動部１３０が初期状態から変動した状態の変換行列ＲＴｃｍ１が、変動後の可動部１３０を撮像した画像から検出されたマーカＩＭの位置と、カメラ２１に対する撮像画像の投影面の位置とを用いて算出される。画像中のマーカＩＭの２次元位置（例えば、マーカＩＭの４つの辺の情報）から、変動後のマーカＭの位置を原点とするマーカ座標系を算出することは、例えば、非特許文献２及び非特許文献３等に記載の方法により可能である。算出されたマーカ座標系と、カメラ座標系とから変換行列ＲＴｃｍ１が算出される。
【００９３】
そして、変換行列ＲＴｃｍｏ及びＲＴｃｍ１を用いることによって、可動部１３０の初期状態でのマーカ座標系から変動後のマーカ座標系への変換行列ＲＴｍｃｍ１が以下の式２を用いて算出される。なお、（ＲＴｃｍ０）−１は、ＲＴｃｍ０の逆行列を示す。
ＲＴｍｃｍ１＝ＲＴｃｍ１（ＲＴｃｍ０）−１        （式２）
【００９４】
マーカＭは可動部１３０に付随しているため、変換行列ＲＴｍｃｍ１はそのまま、可動部１３０の変化を表現する変換行列となる。変換行列ＲＴｍｃｍ１を分解することで、可動部１３０の変動量を取得することができる。例えば、可動部１３０が舵面である場合、可動部１３０は、回転軸を中心として回転する。このため、変換行列ＲＴｍｃｍ１から回転軸周りの回転成分を算出することによって、可動部１３０の回転量を変動量として算出することができる。このように、変換行列ＲＴｍｃｍ１から各方向の平行移動成分及び回転移動成分の算出が可能である。
【００９５】
情報処理装置は、予め算出された変換行列ＲＴｃｍｏを保持しておき、マーカＭを撮像した画像を取得すると、当該画像を用いて、変換行列ＲＴｃｍ１を算出し、さらに、変換行列ＲＴｍｃｍ１を算出する。そして、情報処理装置は、変換行列ＲＴｍｃｍ１を分解することによって、マーカＭの各方向の平行移動成分及び回転移動成分を、可動部１３０の変動量として算出する。情報処理装置は、可動部１３０の変動量に対して、異常の有無を判定し、判定結果を提示装置１１１に提示させる。なお、情報処理装置の上述の変動量の取得処理は、変動量検出部によって行われてもよい。上述のような情報処理装置の処理は、ＣＰＵ１０Ａ等のプログラム実行部によって実現されてもよく、回路によって実現されてもよく、プログラム実行部及び回路の組み合わせによって実現されてもよい。
【００９６】
実施の形態２に係る情報処理装置のその他の構成及び動作は、実施の形態１と同様であるため、その説明を省略する。そして、上述のような実施の形態２に係る情報処理装置によると、実施の形態１と同様の効果が得られる。さらに、実施の形態２に係る情報処理装置は、可動部１３０に設定された着目部としてマーカの変動量を、可動部１３０の変動量として検出してもよい。これにより、変動量を検出する対象領域を可動部１３０よりも小さくすることができるため、画像処理量の低減が可能になる。
【００９７】
なお、実施の形態２に係る情報処理装置は、可動部１３０の第１の状態及び第２の状態それぞれにおいて、マーカを基準とする第１の座標系及び第２の座標系を取得し、第１の座標系と第２の座標系との関係に基づき、マーカ変動量を検出してもよい。上記構成において、第１の座標系と第２の座標系との関係は、マーカの変動量を示し得る。よって、可動部１３０の変動量の取得が可能である。例えば、第１の座標系と第２の座標系との関係は、第１の座標系から第２の座標系への変換行列であってもよい。第１の座標系の一例は、初期状態のマーカ座標系であり、第２の座標系の一例は、変動後の状態のマーカ座標系である。
【００９８】
また、実施の形態２に係る情報処理装置は、可動部１３０に設けられたマーカＭの画像を用いて、可動部１３０の変動量を検出していたが、これに限定されない。例えば、情報処理装置は、可動部１３０の撮像画像における画像特徴部を用いて、可動部１３０の変動量を検出してもよい。
【００９９】
具体的には、情報処理装置は、第１の状態及び第２の状態それぞれにおいて、可動部１３０上における画像特徴部に対応する複数の３次元位置と、撮像画像の画像特徴部における上記複数の３次元位置それぞれに対応する複数の２次元位置とを取得し、第１の状態及び第２の状態における上記３次元位置及び上記２次元位置を用いて、可動部１３０の変動量を検出してもよい。
【０１００】
例えば、可動部１３０のテクスチャ又はエッジ等の画像特徴と呼ばれる、画像中で認識しやすい画像特徴部が予め設定されてもよい。そして、可動部１３０における画像特徴部の対応部分の３次元位置が予め求められてもよい。情報処理装置は、撮像画像から抽出された画像特徴部における複数の選択点の２次元位置と、可動部１３０における画像特徴部の対応部分における当該選択点の３次元位置とを用いて、初期状態の変換行列、変動後の状態の変換行列、及び、初期状態から変動後への変化を示す変換行列を算出してもよい。そして、情報処理装置は、初期状態から変動後への変化を示す変換行列を用いて、可動部１３０の変動量を算出してもよい。これにより、変動量を検出する対象領域を可動部１３０よりも小さくすることができるため、画像処理量の低減が可能になる。さらに、マーカの設置が困難又は不可能である可動部の変動量の検出が可能になる。
【０１０１】
画像特徴部を用いた変動量の検出処理の詳細を説明する。まず、情報処理装置は、初期状態の可動部１３０の撮像画像Ｉ０を画像処理することによって、撮像画像Ｉ０の画像特徴部において、検出可能な複数の点を選択する。例えば、撮像画像Ｉ０上におけるｉ番目（ｉ＝１，２，・・・）の選択点ｐｉ０の２次元座標は、画素座標系を用いた（ｕｉ０，ｖｉ０）で表される。撮像画像Ｉ０上の選択点ｐｉ０に対応する可動部１３０上の点Ｐｉの３次元座標は、世界座標系を用いた（Ｘｉ，Ｙｉ，Ｚｉ）で表される。
【０１０２】
このような選択点ｐｉ０と点Ｐｉとの組が複数ある場合にカメラ２１の外部パラメタを推定する問題は、perspective n problem（ＰｎＰ問題）と呼ばれ、例えば、非特許文献４に、ＰｎＰ問題の解法の一例が開示されている。
【０１０３】
情報処理装置は、非特許文献４等の方法を用いることによって、画像特徴部の選択点ｐｉ０と点Ｐｉとの複数の組から、カメラ２１の外部パラメタを推定する。外部パラメタは、行列ＲＴｃｍ０として表されることができる。このような外部パラメタは、カメラ２１のカメラ座標系から、点Ｐｉが表現されている初期状態の３次元座標系（通常であれば世界座標系）へ変換する行列である。なお、変換行列ＲＴｃｍ０は、予め算出され、情報処理装置によって保持されていてもよい。
【０１０４】
次に、情報処理装置は、初期状態から変動した状態の可動部１３０が撮像された撮像画像Ｉ１から、複数の選択点ｐｉ０それぞれに対応する撮像画像Ｉ１上の点を、特徴点ｐｉ１として検出し選択点ｐｉ０と対応付ける。撮像画像Ｉ０及びＩ１の間での対応点の検出には、例えば、非特許文献５に開示されるような特徴点のマッチング手法が、用いられてもよい。さらに、情報処理装置は、撮像画像Ｉ１について、選択点ｐｉ１と点Ｐｉとの複数の組からＰｎＰ問題を解くことで、新たな変換行列ＲＴｃｍ１を取得する。
【０１０５】
ここで、通常、ＰｎＰ問題は、３次元点Ｐｉを移動せずにカメラ２１を動かした際のカメラ２１の外部パラメタを推定する方法である。しかしながら、この方法は、逆にカメラ２１が固定された状態で３次元点Ｐｉを移動させたときの変換と同義である。このため、変換行列ＲＴｃｍ１は、カメラ２１が固定された状態で可動部１３０が変動した場合のカメラ座標系と、可動部１３０を基準とし且つ可動部１３０の３次元位置を表す３次元座標系との間の変換行列として利用することができる。
【０１０６】
よって、情報処理装置は、変換行列ＲＴｃｍ０と変換行列ＲＴｃｍ１とを用いることで、式３に示すような変換行列ＲＴｍｃｍ１を算出する。
ＲＴｍｃｍ１＝ＲＴｃｍ１（ＲＴｃｍ０）−１        （式３）
【０１０７】
変換行列ＲＴｍｃｍ１は、初期状態の可動部１３０を基準とする３次元座標系を、変動後の可動部１３０を基準とする３次元座標系に変換する行列である。情報処理装置は、変換行列ＲＴｍｃｍ１を分解することにより、可動部１３０の変動量、変動方向及び変動角等を取得する。変換行列ＲＴｍｃｍ１は、複数の選択点を用いて算出されるため、可動部１３０の３軸方向の移動及び３軸周りの回転移動等を含む変動を表すことできる。
【０１０８】
また、実施の形態２において上述した変換行列を用いた変動量の算出方法は、実施の形態１において用いられてもよい。
【０１０９】
また、実施の形態２では、情報処理装置は、実際の可動部１３０におけるマーカ又は画像特徴部の対応部分の３次元位置と、可動部１３０の撮像画像におけるマーカ又は画像特徴部の２次元位置とを用いて、可動部１３０の実際の変動量を検出していたが、これに限定されない。例えば、情報処理装置は、可動部１３０の３次元モデルにおけるマーカ又は画像特徴部の対応部分の３次元位置と、カメラモデルによって撮像された可動部１３０の撮像画像におけるマーカ又は画像特徴部の２次元位置とを用いて、可動部１３０の実際の変動量を検出してもよい。
【０１１０】
（その他の実施の形態）
以上、本発明の実施の形態の例について説明したが、本発明は、上記実施の形態及に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１１１】
例えば、実施の形態に係る情報処理装置では、１つの可動部を撮像するカメラの数量が１つであったが、カメラの数量は２つ以上であってもよい。２つ以上のカメラの撮像画像を用いることによって、撮像画像における可動部、マーカ又は画像特徴部の検出精度、及び類似度の検出精度が向上する。
【０１１２】
また、実施の形態に係る情報処理装置は、航空機に搭載されていたが、これに限定されない。例えば、情報処理装置は、船舶の航行時の揺れを抑えるフィンスタビライザへ適用されてもよい。フィンスタビライザは、船体の揺れに対応して船底近くに設置される魚のヒレのような金属板で構成され、その回動角度が調節されることで船体の揺れを抑えるように働く装置である。加速度センサ等による船体の揺れの検出結果を用いて、フィンスタビライザは制御される。カメラは、フィンスタビライザを撮影できる位置に配置される。情報処理装置は、カメラの撮像画像を処理することによって、フィンスタビライザの実際の回動角度を検出することができる。このとき、カメラは水中での撮影となるため、情報処理装置は、水中での撮影画像の影響を画像処理によって除外するように構成されてもよい。又は、暗い水中で撮影を可能にするための照明が備えられてもよい。
【０１１３】
また、図１０は、実施の形態に係る情報処理装置の他の適用例を示す図である。図１０に示すように、情報処理装置は、移動体に搭載されなくてもよい。例えば、情報処理装置及びカメラは、移動体に搭載されずに静止物に配置され、カメラは、移動体から離れた位置から可動部を撮像してもよい。図１０の例では、情報処理装置は、水位を調節するための水門に設置されるゲート設備に適用される。油圧式等の駆動装置によって開閉されるゲートである可動部１３０を撮影でき且つ可動部１３０から離れた位置、例えば岸壁等に、カメラ２１が配置される。情報処理装置は、このようなカメラ２１の撮像画像を用いて、可動部１３０の回動角度等の変動量を検出することができ、検出結果が可動部１３０の制御に活かすことができる。
【０１１４】
また、例えば、本発明は情報処理方法であってもよい。例えば、本発明に係る情報処理方法は、撮像画像を取得し、前記撮像画像に含まれる被写体の第１の状態から第２の状態への変動量を検出し、検出された前記変動量に基づいた変動情報を出力する。この情報処理方法によれば、上記実施の形態に係る情報処理装置と同様の効果が得られる。このような情報処理方法は、ＣＰＵ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。
【０１１５】
また、上記で用いた序数、数量等の数字は、全て本発明の技術を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。また、構成要素間の接続関係は、本発明の技術を具体的に説明するために例示するものであり、本発明の機能を実現する接続関係はこれに限定されない。
【０１１６】
また、機能ブロック図におけるブロックの分割は一例であり、複数のブロックを一つのブロックとして実現する、一つのブロックを複数に分割する、及び／又は、一部の機能を他のブロックに移してもよい。また、類似する機能を有する複数のブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【符号の説明】
【０１１７】
１  情報処理システム
１０  情報処理装置
１４  類似度検出部（類似検出部）
１５  変動量検出部（類似検出部）
１６  判定部
１７  出力部
２０  撮像部
３０  レンダリング画像生成部
５０  レンダリング画像格納部
６０  出力結果格納部
１３０  可動部（被写体）
【先行技術文献】
【特許文献】
【０１１８】
【特許文献１】特許第５５５０３９８号公報
【非特許文献】
【０１１９】
【非特許文献１】F. Maes，A. Collignon，D. Vandermeulen，G. Marchal及びP. Suetens著、「Multimodality Image Registration by Maximization of Mutual Information」、IEEE、IEEE Transactions on Medical Imaging、1997年4月、vol. 16、no. 2、p. 187-198
【非特許文献２】Hirokazu Kato及びMark Billinghurst著、「Marker tracking and hmd calibration for a video-based augmented reality conferencing system」、IEEE、Proceedings 2nd IEEE and ACM International Workshop on Augmented Reality (IWAR '99)、1999年10月、p. 85
【非特許文献３】加藤博一、浅野浩一及び橘啓八郎他著、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、1999年、Vol. 4、No. 4、p. 607-616
【非特許文献４】Vincent Lepetit, Francese Moreno-Noguer及び Pascal Fua著、「EPnP: An Accurate O(n) Solution to the PnP Problem」、International Journal of Computer Vision.、2009年、81 (2)、p. 155-166
【非特許文献５】Pablo F. Alcantarilla, Jesus Nuevo及びAdrien Bartoli、「Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces」、In British Machine Vision Conference (BMVC)、2013年9月
【図１】
2020086491.tif 000004
【図２】
2020086491.tif 000005
【図３】
2020086491.tif 000006
【図４】
2020086491.tif 000007
【図５】
2020086491.tif 000008
【図６】
2020086491.tif 000009
【図７】
2020086491.tif 000010
【図８】
2020086491.tif 000011
【図９】
2020086491.tif 000012
【図１０】
2020086491.tif 000013