(57)【要約】      （修正有）【課題】移動体の撮影画像と背景の海面波の撮影画像から、当該撮影画像が撮影された時刻を推定する。【解決手段】海面上の移動体を撮影した検証対象画像データを、移動体を示す移動体画像と移動体以外の海面波を含む背景画像とに分離する分離部２と、背景画像の海面波の３次元座標を推定するスケール推定部３と、海面波スペクトラムを取得するＦＦＴ処理部４と、ＦＦＴ処理部４が取得した海面波スペクトラムをハッセルマン変換し、推定合成開口レーダ画像を取得するハッセルマン変換部５と、所定領域をあらかじめ設定された時間間隔で撮影した複数の実測画像を、撮影時刻と共に記憶する実測画像記憶部７と、ハッセルマン変換部５が取得した推定合成開口レーダ画像と、実測画像記憶部７に記憶された各実測画像との類似性を示す類似度を算出し、高い類似度を示す実測画像の撮影時刻を用いて検証対象画像データの撮影時刻を推定する評価比較部６とを備える。【選択図】図１
2013134114.tif 000002
【特許請求の範囲】
【請求項１】
海面上の移動体を撮影した検証対象画像データを、前記移動体を示す移動体画像と前記移動体以外の海面波を含む背景画像とに分離する分離部と、
前記分離部が分離した移動体画像内の移動体の縮尺に基づいて、前記背景画像の海面波の３次元座標を推定するスケール推定部と、
前記スケール推定部が推定した海面波の３次元座標を高速フーリエ変換し、海面波スペクトラムを取得するＦＦＴ処理部と、
前記ＦＦＴ処理部が取得した海面波スペクトラムをハッセルマン変換し、推定合成開口レーダ画像を取得するハッセルマン変換部と、
所定領域をあらかじめ設定された時間間隔で撮影した複数の実測画像を、撮影時刻と共に記憶する実測画像記憶部と、
前記ハッセルマン変換部が取得した推定合成開口レーダ画像と、前記実測画像記憶部に記憶された各実測画像との類似性を示す類似度を算出し、高い類似度を示す実測画像の撮影時刻を用いて前記検証対象画像データの撮影時刻を推定する評価比較部とを備えた画像処理装置。
【請求項２】
前記評価比較部は、
前記ハッセルマン変換部が取得した推定合成開口レーダ画像と、前記実測画像記憶部に記憶された各実測画像との前記類似度を算出し、算出した類似度と対応する前記実測画像の撮影時刻とを関連付けて示した類似性テーブルを作成する類似性算出部と、
前記類似性算出部が作成した類似性テーブルを記憶する類似性テーブル記憶部と、
前記類似性テーブル記憶部に記憶された類似性テーブルを参照し、類似度の高い上位２値を選択し、選択した２値の類似度に対応する２つの実測画像の撮影時刻が連続する場合に、前記選択した２値の類似度の大きさで重み付けを行い、類似度が最大となる撮影時刻を前記検証対象画像データの撮影時刻と推定し、前記選択した２値の類似度に対応する２つの実測画像の撮影時刻が連続しない場合に、該２つの実測画像の撮影時刻を前記検証対象画像データの撮影時刻と推定する評価比較部とを備えた請求項１記載の画像処理装置。
【請求項３】
海面上の移動体を撮影した検証対象画像データを、前記移動体を示す移動体画像と前記移動体以外の海面波を含む背景画像とに分離する分離部と、
前記分離部が分離した移動体画像内の移動体の縮尺に基づいて、前記背景画像の海面波の３次元座標を推定するスケール推定部と、
前記スケール推定部が推定した海面波の３次元座標を高速フーリエ変換し、検証対象画像海面波スペクトラムを取得するＦＦＴ処理部と、
所定領域をあらかじめ設定された時間間隔で撮影した複数の実測画像を、撮影時刻と共に記憶する実測画像記憶部と、
前記実測画像記憶部に記憶された実測画像をハッセルマン逆変換し、実測画像海面波スペクトラムを取得するハッセルマン逆変換部と、
前記ハッセルマン逆変換部が取得した実測画像海面波スペクトラムを、撮影時刻と共に記憶する海面波スペクトラム記憶部と、
前記ＦＦＴ処理部が取得した検証対象画像海面波スペクトラムと、前記海面波スペクトラム記憶部に記憶された実測画像海面波スペクトラムとの類似性を示す類似度を算出し、高い類似度を示す実測画像海面波スペクトラムを有する実測画像の撮影時刻を用いて前記検証対象画像データの撮影時刻を推定する評価比較部とを備えた画像処理装置。
【請求項４】
前記評価比較部は、
前記ＦＦＴ処理部が取得した検証対象画像海面波スペクトラムと、前記海面波スペクトラム記憶部に記憶された実測画像海面波スペクトラムとの前記類似度を算出し、算出した類似度と対応する前記実測画像の撮影時刻とを関連付けて示した類似性テーブルを作成する類似性算出部と、
前記類似性算出部が作成した類似性テーブルを記憶する類似性テーブル記憶部と、
前記類似性テーブル記憶部に記憶された類似性テーブルを参照し、類似度の高い上位２値を選択し、選択した２値の類似度に対応する２つの実測画像の撮影時刻が連続する場合に、前記選択した２値の類似度の大きさで重み付けを行い、類似度が最大となる撮影時刻を前記検証対象画像データの撮影時刻と推定し、前記選択した２値の類似度に対応する２つの実測画像の撮影時刻が連続しない場合に、該２つの実測画像の撮影時刻を前記検証対象画像データの撮影時刻と推定する評価比較部とを備えた請求項３記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、海面上の移動体の撮影画像から、当該画像が撮影された時刻を推定する画像処理装置に関するものである。
【背景技術】
【０００２】
従来の衛星、航空機搭載の合成開口レーダからの海洋画像は、リアルタイム／準リアルタイムの波浪情報の提供、あるいは波浪予測数値モデルの精度向上などに利用されている。また、合成開口レーダの海洋画像は環境事故状況把握や、法的資料として使用される（例えば、非特許文献１参照）。
【０００３】
一方、海洋波形状をスペクトラムで現し、これを非線形変換して、対応する合成開口レーダ画像（仮想）を作成する技術も知られている（例えば、非特許文献２参照）。非特許文献２によれば、海面波スペクトラムをハッセルマン変換することにより、対応する合成開口レーダ画像が得られ、また、合成開口レーダ画像を逆ハッセルマン変換することにより、対応する海面波スペクトラムが得られる。
【０００４】
また、合成開口レーダ画像生成のために、海洋波形状をランダムにモデル化する技術も知られている（例えば、非特許文献３参照）。
さらに、撮影画像から、顔や船舶等の特定物体を背景から認識識別する方法が多数知られている（例えば、非特許文献４参照）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】大内和夫、リモートセンシングのための合成開口レーダの基礎、１．２合成開口レーダの応用分野、１．２．１  海洋、東京電機大学出版局、２００４年１月２０日
【非特許文献２】Ｋ．  Ｈａｓｓｅｌｍａｎｎ  ｅｔ  ａｌ．，  Ｏｎ  ｔｈｅ  ｎｏｎｌｉｎｅａｒ  ｍａｐｐｉｎｇ  ｏｆ  ａｎ  ｏｃｅａｎ  ｗａｖｅ  ｓｐｅｃｔｒｕｍ  ｉｎｔｏ  ａ  ｓｙｎｔｈｅｔｉｃ  ａｐｅｒｔｕｒｅ  ｒａｄａｒ  ｉｍａｇｅ  ｓｐｅｃｔｒｕｍ  ａｎｄ  ｉｔｓ  ｉｎｖｅｒｓｉｏｎ，  Ｊｏｕｒｎａｌ  ｏｆ  Ｇｅｏｐｈｙｓｉｃａｌ  ｒｅｓｅａｒｃｈ，  Ｖｏｌ．９６，  Ｎｏ．Ｃ６，  ｐｐ．  １０，７１３−１０，７２９，  Ｊｕｎｅ  １５，  １９９１  ）
【非特許文献３】Ｆ．  Ｂｅｒｉｚｚｉ  ｅｔ  ａｌ．，  Ｓｅａ−ｗａｖｅ  ｆｒａｃｔａｌ  ｓｐｅｃｔｒｕｍ  ｆｏｒ  ＳＡＲ  ｒｅｍｏｔｅ  ｓｅｎｓｉｎｇ，  ＩＥＥ  Ｐｒｏｃ．  −Ｒａｄａｒ，  Ｓｏｎａｒ  Ｎａｖｉｇ．，  Ｖｏｌ．Ｉ４８，  Ｎｏ．２，  ｐｐ．５６−６６，Ａｐｒｉｌ  ２００１
【非特許文献４】山下隆義、藤吉弘亘、特定物体認識に有効な特徴量、情報処理学会  研究報告ＣＶＩＭ  １６５  Ｎｏｖ．  ２００８、ｐｐ．２２１−２３６
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した非特許文献１から非特許文献３に開示された従来の合成開口レーダによるリモートセンシング技術では、船舶等の移動目標物と背景の海面との相互の位置関係が実画像と異なる相互位置にあり、撮影時刻が既知の合成開口レーダ画像と、撮影時刻が未知の海面上の船舶の２次元写真とから、移動目標部を手掛かりとして相互に比較することにより、画像が撮影された時刻を推定することは困難であるという課題があった。
【０００７】
また、従来の海面波スペクトラムと合成開口レーダ画像の変換アルゴリズムでは、数式で表現された海面波スペクトラムと、合成開口レーダ画像とを、相互に変換／逆変換するのみでは、移動目標物の２次元画像が撮影された時刻を推定することは困難であるという課題があった。
【０００８】
この発明は、上記のような課題を解決するためになされたもので、移動体の撮影画像と背景の海面波の撮影画像から、当該撮影画像が撮影された時刻を推定することを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る画像処理装置は、海面上の移動体を撮影した検証対象画像データを、移動体を示す移動体画像と移動体以外の海面波を含む背景画像とに分離する分離部と、分離部が分離した移動体画像内の移動体の縮尺に基づいて、背景画像の海面波の３次元座標を推定するスケール推定部と、スケール推定部が推定した海面波の３次元座標を高速フーリエ変換し、海面波スペクトラムを取得するＦＦＴ処理部と、ＦＦＴ処理部が取得した海面波スペクトラムをハッセルマン変換し、推定合成開口レーダ画像を取得するハッセルマン変換部と、所定領域をあらかじめ設定された時間間隔で撮影した複数の実測画像を、撮影時刻と共に記憶する実測画像記憶部と、ハッセルマン変換部が取得した推定合成開口レーダ画像と、実測画像記憶部に記憶された各実測画像との類似性を示す類似度を算出し、高い類似度を示す実測画像の撮影時刻を用いて検証対象画像データの撮影時刻を推定する評価比較部とを備えるものである。
【発明の効果】
【００１０】
この発明によれば、移動体の撮影画像と背景の海面波の撮影画像から、当該撮影画像が撮影された時刻を推定することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１による画像処理装置の構成を示すブロック図である。
【図２】実施の形態１による画像処理装置の動作を示すフローチャートである。
【図３】実施の形態１による画像処理装置の類似性テーブルを示す図である。
【図４】実施の形態１による画像処理装置の類似性算出部の動作を示すフローチャートである。
【図５】実施の形態１による画像処理装置の推定時刻算出部の動作を示すフローチャートである。
【図６】実施の形態１による画像処理装置の推定時刻算出部の重み付け処理を示す図である。
【図７】実施の形態２による画像処理装置の構成を示すブロック図である。
【図８】実施の形態２による画像処理装置の動作を示すフローチャートである。
【図９】実施の形態２による画像処理装置のハッセルマン逆変換部の動作を示すフローチャートである。
【図１０】実施の形態２による画像処理装置の類似性算出部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態１．
図１は、この発明の実施の形態１による画像処理装置の構成を示すブロック図である。図１において、画像処理装置１０は、読込部１、分離部２、スケール推定部３、ＦＦＴ処理部４、ハッセルマン変換部５、評価比較部６および実測画像記憶部７で構成されている。なお、この実施の形態１では、海面上の船舶などの移動体を撮影した場合を例に説明する。
読込部１は、検証対象となる撮影画像（以下、検証対象画像と称する）を電子データに変換する。電子データに変換する方法として例えば、紙媒体に印刷された撮影画像を二次元の画素に分割し、それぞれの画素の濃淡をテーブルに保持する方法が挙げられる。該方法以外にも一般的な電子データ変換方法を適用可能である。なお、紙媒体に印刷された撮影画像ではなく、電子データで撮影画像が入力された場合には、電子データの入力の受け付けのみを行う。
【００１３】
分離部２は、検証対象画像の電子データから、船舶などの移動体を示す移動体画像と、移動体以外の海面波などを含む背景画像に分離する。移動体画像と背景画像の分離には、移動体と背景の海面波では隣接する画素の輝度が異なることを利用したピクセル差分などの方法を適用する。移動体と背景の海面波の分離に用いる画像認識方法の詳細は上述した非特許文献４などに記載されている。スケール推定部３は、分離部２から入力される移動体画像中の移動体の形状から移動体の種類（例えば、船種）および大きさを推定し、推定した移動体の種類および大きさに基づいて背景画像中の海面波の大きさを推定して海面波の３次元画像を生成する。
【００１４】
ＦＦＴ処理部４は、海面波の３次元画像に高速フーリエ変換（ＦＦＴ）処理を行い、海面波スペクトラムを算出する。ハッセルマン変換部５は、ＦＦＴ処理部４から入力される海面波スペクトラムにハッセルマン変換を施し、推定合成開口レーダ画像を取得する。なお、ハッセルマン変換の詳細は非特許文献３などに開示されているため、記載を省略する。評価比較部６は、ハッセルマン変換部５から入力される推定合成開口レーダ画像と、実測画像記憶部７に記憶された実測画像とを比較し、読込部１が読み込んだ検証対象画像が撮影された日時を推定し、推定日時情報として出力する。
【００１５】
実測画像記憶部７は、あらかじめ所定の時間間隔τ（例えば、２時間毎など）で、所定の空間を撮影した撮影画像の電子データ（以下、実測画像データと称する）を、撮影された日時情報や位置情報と共に格納する。時刻を示す時間情報と共に格納する。なお、図１では実測画像記憶部７を画像処理装置１０内に設ける構成を示したが、画像処理装置１０外の記憶手段として構成してもよい。
なお、この実施の形態１では、図１に示すようにユーザから検証対象画像が撮影された日付や大まかな撮影場所に関する情報が提供され、提供された情報から候補領域Ｌおよび候補時間帯Ｔを設定し、検証対象画像の撮影時刻を推定するものとする。
【００１６】
図２は、実施の形態１による画像処理装置の動作を示すフローチャートである。
読込部１は、検証対象画像を読み込み電子データに変換する（ステップＳＴ１）。
分離部２は、ステップＳＴ１で変換された検証対象画像の電子データを移動体画像と背景画像に分離する（ステップＳＴ２）。スケール推定部３は、ステップＳＴ２で分離された移動物体画像の移動体形状から移動体の種別および大きさを推定し、検証対象画像の縮尺を推定する（ステップＳＴ３）。さらにスケール推定部３は、ステップＳＴ３で推定した検証対象画像の縮尺およびステップＳＴ２で分離された背景画像に基づいて海面波の３次元画像を生成する（ステップＳＴ４）。ＦＦＴ処理部４は、海面波の３次元画像に高速フーリエ変換を行い、海面波スペクトラムを取得する（ステップＳＴ５）。ハッセルマン変換部５は、海面波スペクトラムにハッセルマン変換を行い、推定合成開口レーダ画像を取得する（ステップＳＴ６）。評価比較部６は、ステップＳＴ６で取得された推定合成開口レーダ画像と、実測画像記憶部７に記憶された候補領域Ｌおよび候補時間帯Ｔの条件を満たす実測画像とを比較し、検証対象の撮影画像が撮影された時刻を推定し（ステップＳＴ７）、推定した時刻を推定日時情報として出力し（ステップＳＴ８）、処理を終了する。
【００１７】
次に、評価比較部６の詳細について説明する。
図１に示すように、評価比較部６は、類似性算出部６１、類似性テーブル記憶部６２および推定時刻算出部６３で構成されている。
類似性算出部６１には、外部より候補領域Ｌおよび候補時間帯Ｔに関する情報が入力される。類似性算出部６１は、入力された候補領域Ｌおよび候補時間帯Ｔの条件を満たす複数の実測画像を実測画像記憶部７から読み込み、読み込んだ実測画像と、ハッセルマン変換部５から入力される推定合成開口レーダ画像との類似性を示す類似度を算出する。類似性の代表的な算出方法は、二次元の画素毎の相関をとる方法であるが、その他の一般的な方法を適用してもよい。さらに類似性算出部６１は、実測画像の撮影時刻と算出した類似度とを対応付けて示した類似性テーブルを作成し、類似性テーブル記憶部６２に格納する。
【００１８】
図３は、実施の形態１による画像処理装置の類似性テーブル記憶部に記憶される類似性テーブルの一例を示す図である。
類似性テーブルは、ある日付の位置ｃ１における時刻ｔでの推定合成開口レーダ画像と実測画像の類似性を示す表である。図３の例では時刻ｔは６：００、８：００、・・・、２０：００に対応した各類似度が格納されている。時刻ｔは、候補時間帯Ｔの条件を満たす実測画像が撮影された時刻であり、所定の時間間隔τで撮影されていることを示している。図３の例では時間間隔τ＝２：００で撮影された実測画像との類似度が算出されている。類似度は、推定合成開口レーダ画像と実測画像との相関値（０≦類似度≦１）を示し、類似度＝０の場合には相関が無く、類似度＝１の場合には相関が強いことを示している。
なお、図３の例では、時刻ｔと類似度とを対応付けた類似性テーブルを示しているが、日付情報や位置情報などその他の情報も対応付けて格納することが可能である。
【００１９】
推定時刻算出部６３は、類似性テーブル記憶部６２に格納された類似性テーブルを参照し、類似度が最大となる時刻ｔ１および類似度が２番目に大きくなる時刻ｔ２を選択し、選択した時刻ｔ１およびｔ２に基づいて検証対象画像の撮影時刻を推定する。
図３（ａ）に示す類似性テーブルを参照した場合、時刻ｔ１として時刻１２：００が選択され、時刻ｔ２として時刻１４：００が選択される。同様に、図３（ｂ）に示す類似性テーブルを参照した場合、時刻ｔ１として時刻１８：００が選択され、時刻ｔ２として時刻６：００が選択される。
【００２０】
次に、評価比較部６の動作を図４および図５を参照しながら説明する。
図４は、実施の形態１による画像処理装置の類似性算出部の動作を示すフローチャートである。
類似性算出部６１は、ハッセルマン変換部５から推定合成開口レーダ画像が入力されると（ステップＳＴ１１）、実測画像記憶部７から時刻ｔ、位置ｃの実測画像を取得する（ステップＳＴ１２）。次に、ステップＳＴ１１で取得した推定合成開口レーダ画像と、ステップＳＴ１２で取得した実測画像の類似度を算出し（ステップＳＴ１３）、算出した類似度と実測画像の撮影時刻を示す時刻ｔとを関連付けて類似性テーブルに書き込む（ステップＳＴ１４）。その後、検証対象の撮影画像が撮影されたと考えられる候補時間内の全ての時刻ｔについて類似度を算出したか否か判定する（ステップＳＴ１５）。全ての時刻ｔについて類似度を算出していない（ステップＳＴ１５；ＮＯ）場合、時刻ｔに時間間隔τを加算し（ステップＳＴ１６）、ステップＳＴ１２の処理に戻る。一方、全ての時刻ｔについて類似度を算出した（ステップＳＴ１５；ＹＥＳ）場合、類似性テーブルを類似性テーブル記憶部６２に格納し（ステップＳＴ１７）、処理を終了する。
【００２１】
図５は、実施の形態１による画像処理装置の推定時刻算出部の動作を示すフローチャートである。
推定時刻算出部６３は、類似性テーブル記憶部６２に記憶された類似性テーブルを参照し、候補時間帯Ｔの全ての類似度を読み込む（ステップＳＴ２１）。ステップＳＴ２１で読み込んだ類似度のうち、類似度が最大となる時刻ｔ１を選択し（ステップＳＴ２２）、さらに類似度が２番目に高い時刻ｔ２を選択する（ステップＳＴ２３）。続いて推定時刻算出部６３は、ステップＳＴ２２で選択した時刻ｔ１と、ステップＳＴ２３で選択した時刻ｔ２が隣り合う時刻であるか否か、すなわち時刻ｔ１と時刻ｔ２の差が時間間隔τであるか否か判定を行う（ステップＳＴ２４）。
【００２２】
時刻ｔ１と時刻ｔ２が隣り合う時刻である場合（ステップＳＴ２４；ＹＥＳ）、時刻ｔ１と時刻ｔ２との間に類似度が「１」となる時刻が存在すると仮定し、時刻ｔ１と時刻ｔ２の類似度の差分で、時刻ｔ１と時刻ｔ２の間で重み付けを行った時刻ｔｗを算出し（ステップＳＴ２５）、算出した時刻ｔｗを推定日時情報として出力し（ステップＳＴ２６）、処理を終了する。一方、時刻ｔ１と時刻ｔ２が隣り合う時刻でない場合（ステップＳＴ２４；ＮＯ）、時刻ｔ１と時刻ｔ２の２値を推定日時情報として出力し（ステップＳＴ２７）、処理を終了する。
【００２３】
図５のフローチャートで示した動作を、図３で示した類似性テーブルの具体例を用いて説明する。
まず、図３（ａ）の類似性テーブルを参照する場合について説明する。
推定時刻算出部６３は、ステップＳＴ２２，２３として最大の類似度「０．９」を有する時刻１２：００を時刻ｔ１に選択し、２番目に大きい類似度「０．７」を有する時刻１４：００を時刻ｔ２に選択する。ステップＳＴ２４；ＹＥＳとして、時刻ｔ１＝１２：００と時刻ｔ２＝１４：００の時間間隔がτ＝２：００であると判定されることから、ステップＳＴ２５の処理に進む。ステップＳＴ２５として、類似度（ｔ１）＝０．９と類似度（ｔ２）＝０．７の差分で、時刻ｔ１と時刻ｔ２間の重み付けを行った時刻ｔｗ＝１２：３０を算出する。時刻ｔｗの算出を図６に示している。ステップＳＴ２６として算出した時刻ｔｗを推定日時情報として出力する。
【００２４】
次に、図３（ｂ）の類似性テーブルを参照する場合について説明する。
推定時刻算出部６３は、ステップＳＴ２２，２３として最大の類似度「０．９」を有する時刻１８：００を時刻ｔ１に選択し、２番目に大きい類似度「０．８」を有する時刻６：００を時刻ｔ２に選択する。ステップＳＴ２４；ＮＯとして、時刻ｔ１＝１８：００と時刻ｔ２＝６：００の時間間隔がτ＝２：００でないと判定されることから、ステップＳＴ２６として時刻ｔ１＝１８：００と時刻ｔ２＝６：００の２値を推定日時情報として出力する。
【００２５】
以上のように、この実施の形態１によれば、移動体画像の移動体の形状から検証対象画像の縮尺を推定し、推定した縮尺に基づいて背景画像から海面波の３次元画像を生成するスケール推定部３と、海面波スペクトラムを取得するＦＦＴ処理部４と、海面波スペクトラムから推定合成開口レーダ画像を取得するハッセルマン変換部５と、推定合成開口レーダ画像と実測画像とを比較し、検証対象画像が撮影された時刻を推定する評価比較部６とを備えるように構成したので、移動体画像と背景画像の海面波から、検証対象画像が撮影された時刻を推定することができる。具体的には、撮影時刻が既知の合成開口レーダ画像と、撮影時刻が未知の海面上の移動体の２次元画像とを、当該移動体を基準として相互に比較し、２次元画像の撮影時刻を推定することができる。
【００２６】
また、この実施の形態１によれば、複数の実測画像と推定合成開口レーダ画像との類似性を示す類似度を算出し、算出した類似度と実測画像の撮影時刻とを対応付けて示した類似性テーブルを作成する類似性算出部６１と、類似度が最大となる時刻ｔ１および類似度が２番目に大きくなる時刻ｔ２を選択し、選択した時刻ｔ１およびｔ２に基づいて検証対象画像の撮影時刻を推定する推定時刻算出部６３とを備えるように構成したので、画像の類似性に基づいて検証対象画像が撮影された時刻を推定することができる。
【００２７】
このように、実施の形態１によれば、背景画像の海面波を用いて海面状の移動体が撮影された時刻を推定する際に、合成開口レーダの画像では、船舶などの移動物体と背景との相互位置が実際とはずれて見える場合にも、正しい撮影時刻を算出することができる。これにより、船舶事故の船舶保険、海難審判、環境損害賠償などの判断資料あるいは参考資料として提出される事故状況の写真と、船舶からの申告情報（時間、場所等）が正しいか否か判定することができる。
【００２８】
なお、上述した実施の形態１では、外部から候補領域Ｌおよび候補時間帯Ｔに関する情報が評価比較部６に入力される構成を示したが、これらの情報の入力が行われず、実測画像記憶部７に記憶された全ての実測画像と推定合成開口レーダ画像とを比較して類似度を算出するように構成してもよい。また、検証対象画像が電子データで入力された場合には、当該電子データに含まれる撮影時刻から候補時間帯Ｔを設定してもよい。このように、候補領域Ｌおよび候補時間帯Ｔの設定方法は適宜変更可能である。
【００２９】
実施の形態２．
上述した実施の形態１では、検証対象画像から取得した海面波スペクトラムに対して、ハッセルマン変換を行う構成を示したが、この実施の形態２では実測画像記憶部７に記憶された実測画像にハッセルマン逆変換を行う構成を示す。
図７は、実施の形態２の画像処理装置の構成を示すブロック図である。なお、以下では、実施の形態１による画像処理装置１０の構成要素と同一または相当する部分には実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００３０】
まず、読込部１からＦＦＴ処理部４は実施の形態１と同一の構成である。なお、この実施の形態２では、ＦＦＴ処理部４が生成した海面波スペクトラムを、検証対象海面波スペクトラムと称する。この検証対象海面波スペクトラムは、評価比較部６´の類似性算出部６１´に出力される。
ハッセルマン逆変換部８は、読込部１から検証対象画像の読み込みを示す読み込み情報が入力されると、実測画像記憶部７から読み出した実測画像に、ハッセルマン逆変換を施し、実測画像海面波スペクトラムを取得する。取得した実測画像海面波スペクトラムは、日時情報や位置情報などと共に海面波スペクトラム記憶部９に記憶する。ハッセルマン逆変換の詳細は非特許文献３などに開示されているため、記載を省略する。
なお、この実施の形態２では、図７に示すようにユーザから検証対象画像が撮影された日付や大まかな撮影場所に関する情報が提供され、提供された情報から候補領域Ｌおよび候補時間帯Ｔを設定し、検証対象画像の撮影時刻を推定するものとする。
【００３１】
評価比較部６´は、類似性算出部６１´、類似性テーブル記憶部６２および推定時刻算出部６３で構成される。類似性算出部６１´は、ＦＦＴ処理部４から入力される検証対象海面波スペクトラムと、海面波スペクトラム記憶部９に記憶された複数の実測画像海面波スペクトラムとの類似度を算出し、実測画像の撮影時刻と算出した類似度とを対応付けて示した類似性テーブルを作成し、類似性テーブル記憶部６２に格納する。推定時刻算出部６３が、類似性テーブルに基づいて検証対象の撮影時刻を推定する処理は実施の形態１と同様であり、二次元の画素毎の相関をとる方法や、その他の一般的な方法を適用可能である。
【００３２】
次に、実施の形態２の画像処理装置１０´の動作について説明する。
図８は、実施の形態２の画像処理装置の動作を示すフローチャートである。なお、実施の形態１による画像処理装置１０と同一のステップには図２で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ＦＦＴ処理部４は、ステップＳＴ４で生成された海面波の３次元画像に高速フーリエ変換を行い、検証対象海面波スペクトラムを取得する（ステップＳＴ５´）。
一方、ステップＳＴ１において検証対象画像が読み込まれると、ハッセルマン逆変換部８は、実測画像記憶部７から候補領域Ｌおよび候補時間帯Ｔの条件を満たす実測画像を取得し（ステップＳＴ３１）、取得した実測画像にハッセルマン逆変換を施し、実測画像海面波スペクトラムを取得し、日時情報や位置情報などと共に海面波スペクトラム記憶部９に格納する（ステップＳＴ３２）。
【００３３】
評価比較部６´は、ステップＳＴ３１で格納された実測画像海面波スペクトラムと、ステップＳＴ５´で取得された検証対象画像海面波スペクトラムとを比較して検証対象画像が撮影された時刻を推定し（ステップＳＴ３３）、推定した時刻を推定日時情報として出力し（ステップＳＴ８）、処理を終了する。
【００３４】
次に、ハッセルマン逆変換部８の動作について説明する。
図９は、実施の形態２の画像処理装置のハッセルマン逆変換部の動作を示すフローチャートである。
ハッセルマン逆変換部８は、実測画像記憶部７から候補領域Ｌおよび候補時間帯Ｔの条件を満たす時刻ｔ、位置ｃの実測画像を読み出す（ステップＳＴ４１）。ステップＳＴ４１で読み出した実測画像にハッセルマン逆変換を行って実測画像海面波スペクトラムを取得し（ステップＳＴ４２）、取得した実測画像海面波スペクトラムを日時情報や位置情報などと共に海面波スペクトラム記憶部９に格納する（ステップＳＴ４３）。その後、候補時間帯Ｔの全ての時刻の実測画像について実測画像海面波スペクトラムを取得したか否か判定する（ステップＳＴ４４）。全ての時刻の実測画像について実測画像海面波スペクトラムを取得していない場合（ステップＳＴ４４；ＮＯ）、時刻ｔに時間間隔τを加算し（ステップＳＴ４５）、ステップＳＴ４１の処理に戻る。一方、全ての時刻の実測画像について実測画像海面波スペクトラムを取得した場合（ステップＳＴ４４；ＹＥＳ）、処理を終了する。
【００３５】
次に、評価比較部６´の類似性算出部６１´の動作について説明する。
図１０は、実施の形態２の画像処理装置の類似性算出部の動作を示すフローチャートである。なお、実施の形態１の類似性算出部６１と同一のステップには図４で使用した符号と同一の符号を付し、説明を省略または簡略化する。
類似性算出部６１´は、ＦＦＴ処理部４から検証対象海面波スペクトラムが入力されると（ステップＳＴ５１）、海面波スペクトラム記憶部９から時刻ｔ、位置ｃの実測画像海面波スペクトラムを取得する（ステップＳＴ５２）。次に、ステップＳＴ５１で取得した検証対象海面波スペクトラムと、ステップＳＴ５２で取得した実測画像海面波スペクトラムの類似度を算出し（ステップＳＴ５３）、算出した類似度と実測画像の撮影時刻を示す時刻ｔとを関連付けて類似性テーブルに書き込む（ステップＳＴ１４）。その後、候補時間帯Ｔ内の全ての時刻ｔについて類似度を算出したか否か判定を行う（ステップＳＴ１５）。全ての時刻ｔについて類似度を算出していない（ステップＳＴ１５；ＮＯ）場合、時刻ｔに時間間隔τを加算し（ステップＳＴ１６）、ステップＳＴ５２の処理に戻る。一方、全ての時刻ｔについて類似度を算出した（ステップＳＴ１５；ＹＥＳ）場合、類似性テーブルを類似性テーブル記憶部６２に格納し（ステップＳＴ１７）、処理を終了する。
【００３６】
上述した類似性算出部６１´が生成した類似性テーブルを用いた推定時刻算出部６３の処理動作は、実施の形態１と同一であるため、説明を省略する。
【００３７】
以上のように、この実施の形態２によれば、移動体画像の移動体の形状から検証対象画像の縮尺を推定し、推定した縮尺に基づいて背景画像から海面波の３次元画像を生成するスケール推定部３と、海面波スペクトラムを取得するＦＦＴ処理部４と、実測画像にハッセルマン逆変換処理を施し、実測画像海面波スペクトラムを取得するハッセルマン逆変換部８と、検証対象海面波スペクトラムと実測画像海面波スペクトラムとを比較し、検証対象画像が撮影された時刻を推定する評価比較部６´とを備えるように構成したので、移動体画像と背景画像の海面波から、検証対象画像が撮影された時刻を推定することができる。具体的には、撮影時刻が既知の実測画像海面波スペクトラムと、撮影時刻が未知の検証対象海面波スペクトラムとを、検証対象画像中の移動体を基準として相互に比較し、検証対象画像の撮影時刻を推定することができる。
【００３８】
また、この実施の形態２によれば、検証対象海面波スペクトラムと実測画像海面波スペクトラムとの類似性を示す類似度を算出し、算出した類似度と実測画像の撮影時刻とを対応付けて示した類似性テーブルを作成する類似性算出部６１´と、類似度が最大となる時刻ｔ１および類似度が２番目に大きくなる時刻ｔ２を選択し、選択した時刻ｔ１およびｔ２に基づいて検証対象画像の撮影時刻を推定する推定時刻算出部６３とを備えるように構成したので、画像の類似性に基づいて検証対象画像が撮影された時刻を推定することができる。
【００３９】
このように、実施の形態２によれば、背景画像の海面波を用いて海面状の移動体が撮影された時刻を推定する際に、検証対象海面波スペクトラムでは、船舶などの移動物体と背景との相互位置が実際とはずれて見える場合にも、正しい撮影時刻を算出することができる。これにより、船舶事故の船舶保険、海難審判、環境損害賠償などの判断資料あるいは参考資料として提出される事故状況の写真と、船舶からの申告情報（時間、場所等）が正しいか否か判定することができる。
【００４０】
なお、上述した実施の形態２では、外部から候補領域Ｌおよび候補時間帯Ｔに関する情報がハッセルマン逆変換部８に入力される構成を示したが、これらの情報の入力が行われず、実測画像記憶部７に記憶された全ての実測画像に対してハッセルマン逆変換を施して実測画像海面波スペクトラムを取得し、類似性算出部６１´が類似度を算出するように構成してもよい。また、検証対象画像が電子データで入力された場合には、当該電子データに含まれる撮影時刻から候補時間帯Ｔを設定してもよい。このように、候補領域Ｌおよび候補時間帯Ｔの設定方法は適宜変更可能である。
【００４１】
また、上述した実施の形態１および実施の形態２では、候補領域Ｌに対して１つの位置ｃを割り当てる例を示したが、候補領域Ｌ内に複数の位置ｃ１、ｃ２、・・・ｃｎを設定し、当該位置ｃ１、ｃ２、・・・ｃｎと時刻ｔについて類似度を算出することも可能である。
【００４２】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００４３】
１  読込部、２  分離部、３  スケール推定部、４  ＦＦＴ処理部、５  ハッセルマン変換部、６，６´  評価比較部、７  実測画像記憶部、８  ハッセルマン逆変換部、９  海面波スペクトラム記憶部、１０、１０´  画像処理装置、６１，６１´  類似性算出部、６２  類似性テーブル記憶部、６３  推定時刻算出部。
【図１】
2013134114.tif 000003
【図２】
2013134114.tif 000004
【図３】
2013134114.tif 000005
【図４】
2013134114.tif 000006
【図５】
2013134114.tif 000007
【図６】
2013134114.tif 000008
【図７】
2013134114.tif 000009
【図８】
2013134114.tif 000010
【図９】
2013134114.tif 000011
【図１０】
2013134114.tif 000012