(57)【特許請求の範囲】
【請求項１】
複数の撮像装置と、
前記複数の撮像装置の各々から得られる画像フレームを同期表示する制御装置と、を備える映像処理システムであって、
前記複数の撮像装置の各々は、
車両へ取り付け可能であり、前記車両が走行する道路上の道路構造物を撮像して撮像された映像データを前記制御装置へ供給する撮像装置であって、
前記道路構造物を撮像する撮像部と、
前記撮像部の撮像時刻を取得する時刻取得部と、
前記撮像部の撮像位置を取得する位置取得部と、
前記撮像部の出力信号に基づいて、複数の画像フレームを含む映像データを順次生成する映像データ生成部と、
生成された前記映像データをエンコーダを介して圧縮処理するなどにより生成された映像ファイルを記憶媒体に記憶する記憶部と、を有し、
前記複数の撮像装置の各々の前記映像データ生成部は、
前記映像データを生成する際に、前記映像データの前記画像フレームごとに、前記撮像時刻及び前記撮像位置を含む撮像環境情報を、映像再生に影響のない形式で、対応する画像フレームに書き込み、
前記制御装置は前記同期表示をする際に、前記複数の撮像装置の各々が取得した前記撮像時刻を使用することを特徴とする映像処理システム。
【請求項２】
前記車両の揺れを検出可能な位置に設置され、前記車両の加速度情報及び角速度情報を含む撮像姿勢を取得する姿勢取得部をさらに備え、前記撮像環境情報は前記撮像姿勢を含むことを特徴とする請求項１に記載の映像処理システム。
【請求項３】
前記時刻取得部は、標準電波から得られる標準時刻情報を、前記撮像時刻として取得することを特徴とする請求項１または２に記載の映像処理システム。
【請求項４】
前記位置取得部は、測位衛星から送信される衛星信号から得られる測位情報を、前記撮像位置として取得することを特徴とする請求項１〜３のいずれか１項に記載の映像処理システム。
【請求項５】
前記姿勢取得部は、３軸加速度センサおよび３軸ジャイロセンサの少なくとも一方で検出した情報を、前記撮像姿勢として取得することを特徴とする請求項２に記載の映像処理システム。
【請求項６】
前記制御装置は、前記記憶部で記憶した前記映像データに基づいて、前記画像フレームと当該画像フレームに対応する前記撮像環境情報とを重畳させて表示部に表示する第一の表示制御部を備えることを特徴とする請求項１〜５のいずれか１項に記載の映像処理システム。
【請求項７】
前記制御装置は、特定の道路構造物を検出するための閾値を用いて前記道路構造物の映像データを二値化または多値化処理し、当該二値化または多値化処理後の映像データに対して特異点抽出処理を施す処理部を備えることを特徴とする請求項１〜６のいずれか１項に記載の映像処理システム。
【請求項８】
前記制御装置は、検出対象の道路構造物の画素の輝度値に対応する二値化閾値又は多値化閾値を設定する閾値設定部を有し、
前記処理部は、設定された前記二値化閾値又は多値化閾値を用いて、取得された前記映像データを二値化処理又は多値化処理し、当該二値化処理又は多値化処理後の映像データに対して特異点抽出処理を施すことを特徴とする請求項７に記載の映像処理システム。
【請求項９】
前記閾値設定部は、検出対象の道路構造物と当該道路構造物の周囲との画素の輝度値の相違に基づいて二値化閾値又は多値化閾値を設定することを特徴とする請求項８に記載の映像処理システム。
【請求項１０】
前記制御装置は、ユーザが指定した前記撮像環境情報を取得する指定情報取得部と、
前記記憶部で記憶した前記映像データから、前記指定情報取得部で取得した情報が書き込まれた画像フレームを検索する画像検索部と、
前記画像検索部で検索した画像フレームを前記表示部に表示する第二の表示制御部と、を備えることを特徴とする請求項６に記載の映像処理システム。
【請求項１１】
車両に取り付け可能な複数の撮像装置の各々から得られる画像フレームを制御装置によって同期表示する映像処理方法であって、
前記複数の撮像装置の各々が、前記車両が走行する道路上の道路構造物を撮像するステップと、
前記複数の撮像装置の各々が、当該撮像装置の撮像時刻を取得するステップと、
前記複数の撮像装置の各々が、当該撮像装置の撮像位置を取得するステップと、
前記複数の撮像装置の各々が、当該撮像装置の出力信号に基づいて、複数の画像フレームを含む映像データを順次生成する映像データ生成ステップと、
前記複数の撮像装置の各々が、生成された前記映像データをエンコーダを介して圧縮処理するなどにより生成された映像ファイルを記憶媒体に記憶するステップと、
前記制御装置が、前記複数の撮像装置の各々から得られる画像フレームを同期表示するステップと、を含み、
前記複数の撮像装置の各々の前記映像データ生成ステップは、
前記映像データを生成する際に、前記映像データの前記画像フレームごとに、前記撮像時刻及び前記撮像位置を含む撮像環境情報を、映像再生に影響のない形式で、対応する画像フレームに書き込むステップを含み、
前記制御装置が、同期表示するステップを行う際に、前記複数の撮像装置の各々が取得した前記撮像時刻を使用することを特徴とする映像処理方法。
【請求項１２】
コンピュータを、前記請求項１〜１０のいずれか１項に記載の映像処理システムの各部として機能させるためのプログラム。
【請求項１３】
前記請求項１２に記載のプログラムを記録した、コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理システム及び映像処理方法に関する。
【背景技術】
【０００２】
従来、路面に関連する路面構造物や路面の周辺に設置された付属構造物等を含む道路構造物を点検する場合、点検用車両に搭載したカメラ等によって撮像した映像を点検者が確認している。
特許文献１には、車両にＣＣＤカメラを搭載し、当該ＣＣＤカメラが車両走行中に取得した路面映像をもとに路面のひびわれを検出する路面ひびわれ検出装置が開示されている。この路面ひびわれ検出装置は、１／３０秒毎に路面画像（画像フレーム）を取得すると共に、当該路面画像の取得タイミングで車両の走行距離データと時刻とを取得する。特許文献１において、上記時刻は、走行距離データの計測開始時刻を基準とする相対時刻（経過時間）である。
特許文献２には、２台のカメラを使用して走行中の撮像画像を蓄積して、自車位置を推定する装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−９６５１５号公報
【特許文献２】特開２０１２−１７３８４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
カメラ等で撮像された映像をもとに点検対象となる物体の状態を確認する場合、例えば、特定の時刻に撮像されたフレームを取り出して確認することができると、点検作業効率が一段と向上する。
しかしながら、特許文献１に記載の技術にあっては、各フレームの時刻情報は、計測開始時刻からの経過時間のみにより管理されている。そのため、映像からフレームを取り出す場合、「計測開始から何分何秒後のフレーム」という指定をすることしかできない。つまり、特定の時刻を指定してフレームを取り出すことができないため、映像を効率的に確認することができない。
【０００５】
特許文献２の装置でも、撮像された映像のフレーム毎に時刻データが記録されていないので、特定の時刻を指定して所望のフレームを取り出すことができない。従って、２台のカメラの撮像画像を正確に同期表示することはできない。
本発明は、上記した従来技術に鑑み考案されたもので、複数のカメラの撮像画像を正確に同期表示することができる映像処理システム及び映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る映像処理システムの一態様は、複数の映像処理装置と、前記複数の映像処理装置の各々から得られる画像フレームを同期表示する制御部とを備え、前記複数の映像処理装置の各々は、少なくとも撮像時刻を含む複数の撮像環境に関する情報を取得する撮像環境情報取得部と、被写体を結像する光学系および撮像素子を有する撮像部の出力信号に基づいて、複数の画像フレームを含む映像データを生成する映像データ生成部と、前記映像データに対して、画像フレームごとに前記撮像環境情報取得部で取得した情報を付加し、記憶媒体に記憶する記憶部と、を有し、前記制御部は前記同期表示をする際に前記撮像環境に関する情報を使用する。
【０００７】
各映像処理装置は、各画像フレームと撮像時刻等の撮像環境に関する情報とを直接的に関連付けて記録する。従って、制御部は、例えば、特定の時刻を指定して各映像処理装置から同時刻の画像フレームを取り出すことができる。同時刻の画像フレームを用いれば、各映像処理装置が撮像した映像を正確に同期表示することができる。
上記撮像環境情報取得部は、上記撮像環境に関する情報として、上記撮像時刻と、撮像位置および撮像姿勢の少なくとも１つとに関する情報を取得してもよい。これにより、特定の位置を指定して画像フレームを取り出したり、特定の姿勢を指定して画像フレームを取り出したりすることができる。
【０００８】
上記撮像環境情報取得部は、標準電波から得られる標準時刻情報を、上記撮像時刻に関する情報として取得してもよい。これにより、正確な撮像時刻を各画像フレームに関連付けることができる。
上記撮像環境情報取得部は、測位衛星から送信される衛星信号から得られる測位情報を、上記撮像位置に関する情報として取得してもよい。これにより、正確な撮像位置を各画像フレームに関連付けることができる。
上記撮像環境情報取得部は、３軸加速度センサおよび３軸ジャイロセンサの少なくとも一方で検出した情報を、上記撮像姿勢に関する情報として取得してもよい。これにより、加速度情報や角速度情報を撮像姿勢に関する情報として各画像フレームに関連付けることができる。
【０００９】
上記記憶部で記憶した映像データに基づいて、画像フレームと当該画像フレームに対応する撮像環境に関する情報とを重畳させて表示部に表示する第一の表示制御部をさらに備えもよい。このように、映像データと撮像環境に関する情報とを１画面に表示することで、撮像環境の把握が容易となる。
ユーザが指定した上記撮像環境に関する情報を取得する指定情報取得部と、上記記憶部で記憶した映像データから、上記指定情報取得部で取得した情報が付加された画像フレームを検索する画像検索部と、当該画像検索部で検索した画像フレームを表示部に表示する第二の表示制御部と、を備えてもよい。これにより、ユーザは、自身が指定した撮像環境に対応する画像フレームを容易に確認することができる。
【発明の効果】
【００１０】
本発明によれば、各映像処理装置が、映像データに対して、画像フレームごとに少なくとも撮像時刻を含む撮像環境情報を付加するので、特定の時刻を指定して各映像処理装置から同時刻の画像フレームを取り出すことができる。同時刻の画像フレームを用いれば、各映像処理装置が撮像した映像を正確に同期表示することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施形態における映像処理システムの一例を示す概略構成図である。
【図２】撮像装置の構成を示すブロック図である。
【図３】映像ファイルの構成例である。
【図４】画像処理装置の構成を示すブロック図である。
【図５】画像検索結果の表示例である。
【図６】表示装置に３つの画像を同期表示した場合の一例である。
【図７】第２の実施形態の画像処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を図面に基づいて説明する。
（第１の実施形態）
図１は、本実施形態における映像処理システム１００の一例を示す概略構成図である。
図１に示すように、映像処理システム１００は、例えば車両２００に搭載可能である。車両２００は、例えば、高速道路をはじめとする各種道路において、毎日もしくは数日おきに行われる日常点検を実施するための点検用車両である。映像処理システム１００は、３つの撮像装置１０ａ、１０ｂ、１０ｃと、３つの画像処理装置２０ａ、２０ｂ、２０ｃと、１つの同期制御部３０とを備える。３つの撮像装置１０ａ、１０ｂ、１０ｃは同じ構造を有する。３つの画像処理装置２０ａ、２０ｂ、２０ｃも、同じ構造を有する。撮像装置１０ａは画像処理装置２０ａに接続され、撮像装置１０ｂは画像処理装置２０ｂに接続され、撮像装置１０ｃは画像処理装置２０ｃに接続されている。そして、画像処理装置２０ａ、２０ｂ、２０ｃは同期制御部３０に接続されている。同期制御部３０は表示装置３５に接続されている。
【００１３】
撮像装置１０ａ、１０ｂ、１０ｃは、車両２００のルーフに取り付けられる。撮像装置１０ａ、１０ｂ、１０ｃは、それぞれ約６０度の画角（視野角）のデジタルビデオカメラである。撮像装置１０ｂは、車両２００の長手方向正面（進行方向）に向けられて設置されており、当該方向の左右３０度ずつ（合計６０度）の範囲で車両２００の周辺を撮像する。撮像装置１０ａは、撮像装置１０ｂの左６０度の範囲で車両２００の周辺を撮像する。撮像装置１０ｃは、撮像装置１０ｂの右６０度の範囲で車両２００の周辺を撮像する。従って、撮像装置１０ａ、１０ｂ、１０ｃは、合計で１８０度の撮像範囲を有することになる。なお、図示の都合上、図１では撮像装置１０ａ、１０ｂ、１０ｃが車両２００の長手方向に並んで配置されているように描かれているが、撮像装置１０ａ、１０ｂ、１０ｃは、車両２００の幅方向に配置されてよい。撮像装置１０ａ、１０ｂ、１０ｃは、同じ構造を有するので、以下の説明では、撮像装置１０ａを説明する。
【００１４】
撮像装置１０ａは、例えば、アスペクト比１６：９の横長のハイビジョン映像を撮像するハイビジョンカメラである。これにより、アスペクト比４：３の映像に対し、人の視野に近い状態で映像を撮像することができる。撮像装置１０ａは、例えば車両２００が所定の点検対象道路を走行しているとき、若しくは車両２００が停車しているときに、当該車両２００の周辺の映像を撮像する。
画像処理装置２０ａ、２０ｂ、２０ｃは、例えば、車両２００の内部に設けられる。画像処理装置２０ａ、２０ｂ、２０ｃは同じ構造を有するので、以下の説明では画像処理装置２０ａを説明する。
画像処理装置２０ａは、撮像装置１０ａから映像ファイルを取得し、映像の表示制御を行う。この画像処理装置２０ａは、例えばノート型パーソナルコンピュータ（ノートＰＣ）により構成される。画像処理装置２０ａは、撮像装置１０ａと通信可能に有線または無線で接続されている。なお、画像処理装置２０ａは、ノートＰＣに限定されるものではなく、例えば、スマートフォンやタブレット端末などの携帯端末であってもよい。また、画像処理装置２０ａは、例えば、撮像装置１０ａに内蔵されていてもよい。さらに、画像処理装置２０ａは、例えば、撮像装置１０ａとネットワーク等を介して接続されたサーバ装置であってもよい。
【００１５】
以下、撮像装置１０ａの構成について具体的に説明する。
図２に示すように、撮像装置１０ａは、撮像部１１と、信号処理部１２と、記録部１３と、時刻情報取得部１４と、位置情報取得部１５と、姿勢情報取得部１６と、を備える。
撮像部１１は、レンズ１１ａや撮像素子１１ｂ等を含んで構成される。レンズ１１ａは、被写体を結像するための光学系である。撮像素子１１ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等である。撮像部１１は、レンズ１１ａで集めた光を撮像素子１１ｂに結像させ、結像された光像を光電変換により電気信号に変換し、これを撮像部１１の出力信号として信号処理部１２に出力する。
【００１６】
信号処理部１２は、撮像部１１から得られた電気信号に所定の信号処理を施し、複数のフレーム（画像フレーム）を含む映像データを生成する。本実施形態では、撮像時刻、撮像位置、撮像時の姿勢（撮像姿勢）などの撮像環境に関する情報（以下、「環境情報」と称す。）を、各フレームに対応付けて映像データを生成する。この映像データの生成方法については後述する。また、信号処理部１２は、エンコーダを介して映像データを圧縮処理するなどにより映像ファイルを生成する。ここでの圧縮方式は、例えば、Ｈ．２６４、ＭＰＥＧ４（Moving Picture Experts Group phase4）、ＭＪＰＥＧ（Motion-JPEG）などの規格に基づく。記録部１３は、信号処理部１２で生成した映像ファイルを、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気テープ等の磁気記録媒体、光ディスクや光磁気ディスク等の光／光磁気記憶媒体等の記録媒体に記録する。
【００１７】
時刻情報取得部１４は、例えば、電波時計等に用いられる標準電波を受信する受信機を備え、当該受信機で受信した標準電波から得られる標準時刻情報を、撮像時刻を示す情報として信号処理部１２に出力する。ここで、標準電波としては、日本のＪＪＹ、米国のＷＷＶＢ、英国のＭＳＦ、及び、独国のＤＣＦ７７などがある。なお、インターネットを通じて時刻情報を提供する時刻情報提供サービスや放送の時報を利用して時刻情報を取得してもよいし、パソコンに内蔵された時計（例えば、画像処理装置２０ａに内蔵された時計）を利用して時刻情報を取得してもよい。
【００１８】
位置情報取得部１５は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星から送信される信号を受信するＧＮＳＳ受信機を含んで構成される。位置情報取得部１５は、受信した信号から撮像装置１０ａの位置（車両２００の位置）を示す位置情報を取得し、その位置情報を、撮像位置を示す情報として信号処理部１２に出力する。なお、ＧＮＳＳとは、ＧＰＳ（米国）、ＧＡＬＩＬＥＯ（欧州）、ＣＬＯＮＡＳＳ（ロシア）、準天頂衛星（日本）などの測位衛星の総称である。
【００１９】
姿勢情報取得部１６は、例えば、３軸加速度センサ、３軸ジャイロセンサ等の３軸センサにより構成される。姿勢情報取得部１６は、撮像装置１０ａ（車両２００）の加速度情報や角速度情報を取得し、取得した情報を、撮像姿勢を示す情報として信号処理部１２に出力する。
なお、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６は、それぞれ時刻情報、位置情報及び姿勢情報を取得可能な構成であれば、上記の構成に限定されない。また、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６は、それぞれ撮像装置１０ａに内蔵してもよいし、車両２００に設置してもよい。例えば、姿勢情報取得部１６を車両２００のサスペンションによって車体の揺れが緩衝されない位置（例えば、車輪近傍）に設置した場合、路面の僅かな変動による揺れを検出することができる。
【００２０】
信号処理部１２は、時刻情報取得部１４、位置情報取得部１５及び姿勢情報取得部１６から時刻情報、位置情報及び姿勢情報を入力し、これらの撮像情報が書き込まれた映像ファイルを生成する。
図３は、映像ファイルの一例を示している。図３に示すように、映像ファイル４０は、ヘッダ部４１と映像データ部４２とを含んで構成されている。ヘッダ部４１には、映像ファイル４０のファイル名、ファイルの種類、ファイルサイズ等、映像ファイル４０の構造を示すヘッダ情報（Ｈ）が含まれる。また、映像データ部４２には、フレーム単位（１Ｆ，２Ｆ，…）の映像データが含まれる。映像データ部４２内におけるフレームとフレームとの間には、環境情報４３が、例えば数値データとして書き込まれる。環境情報４３は、例えば、対応するフレームの直前に書き込む。すなわち、第２フレーム（２Ｆ）の環境情報４３は、第１フレーム（１Ｆ）と第２フレーム（２Ｆ）との間に書き込む。なお、環境情報４３とそれに対応するフレームとの対応付けがされていれば、環境情報４３を書き込む位置は上記に限定されない。また、環境情報４３は、映像データの全フレームに対して書き込んでもよいし、所定間隔で書き込んでもよい。
【００２１】
本実施形態においては、信号処理部１２は、環境情報４３を、映像データの再生に影響しない形で書き込む。例えば、環境情報４３は、フレームごとに設けられたヘッダ（フレームヘッダ）内に格納してもよいし、フレームごとのメタデータとして格納してもよい。また、映像再生時に環境情報４３が読み飛ばされるような制御コードを付加して環境情報４３を書き込んでもよい。なお、映像再生時に環境情報４３がコメントアウトされる形で環境情報４３を書き込んでもよい。環境情報４３の書き込み方法は、映像処理システム１００のユーザ（例えば、車両２００の乗員）が適宜設定することができる。
このように、信号処理部１２は、各フレームに関連する環境情報４３を書き込みながらフレーム単位で映像データ部４２を順次生成していく。そして、信号処理部１２は、映像データ部４２の生成が完了すると、映像データ部４２に対応するヘッダ部４１を生成し、映像ファイル４０を生成する。信号処理部１２は、生成した映像ファイル４０を記録部１３に記録する。
【００２２】
次に、画像処理装置２０ａの構成について具体的に説明する。
図４に示すように、画像処理装置２０ａは、画像取得部２１と、パラメータ取得部２２と、画像処理部２３と、表示制御部２４と、を備える。
画像取得部２１は、撮像装置１０ａから映像ファイル４０を取得し、これを画像処理部２３に出力する。パラメータ取得部２２は、ユーザが所定の操作部（例えば、キーボードやマウス等のポインティングデバイス）を操作して入力した、後述する画像処理に関するパラメータを取得する。画像処理部２３は、映像ファイル４０に対して、必要に応じてパラメータ取得部２２が取得したパラメータをもとに画像処理を施し、その結果を表示制御部２４に出力する。表示制御部２４は、画像処理部２３の画像処理結果を液晶ディスプレイ（ＬＣＤ）等のモニタで構成される表示部７１（図５）に表示する。例えば、画像処理部２０ａがノート型パーソナルコンピュータやタブレット等である場合、表示部７１はノート型パーソナルコンピュータの表示部である。
【００２３】
本実施形態では、上記画像処理として、例えば画像検索処理を実施する。すなわち、画像処理部２３は、ユーザが上記パラメータとして検索条件を入力している場合、入力された検索条件を充足する画像（フレーム）を映像ファイル４０から検索する画像検索処理を実施する。
例えば、画像処理部２３は、ユーザが検索条件として時刻を指定している場合、映像データ内の環境情報４３を読み出し、ユーザが指定した時刻と同一の時刻に撮像されたフレームを検索する。また、ユーザが検索条件として位置を指定している場合には、映像データ部４２内の環境情報４３を読み出し、ユーザが指定した位置と同一の位置で撮像されたフレームを検索する。ここで、ユーザによる位置の指定は、例えば、緯度及び経度を入力することで実行されてもよいし、表示部等に表示されたマップ上の位置をポインティングデバイスで指示することで実行されてもよい。さらに、ユーザが検索条件として撮像姿勢を指定している場合には、映像データ部４２内の環境情報４３を読み出し、ユーザが指定した撮像姿勢で撮像されたフレームを検索する。
【００２４】
上記の画像検索処理は、映像データ部４２から環境情報４３を抜き出す（検出する）処理を行うプログラムを実行することで実現可能である。ここで、環境情報４３に制御コードが付加されている場合には、当該制御コードをピックアップする処理を行うプログラムを実行することで、環境情報４３以外の付加情報と区別して検索処理を実現可能である。
画像処理部２３は、当該画像検索処理によって検索されたフレームを、画像検索結果として表示制御部２４に出力する。これにより、表示制御部２４は、画像処理部２３によって検索されたフレームを表示部に表示することができる。また、画像処理部２３は、画像検索処理によって検索されたフレームを、再生開始位置として表示制御部２４に出力することもできる。この場合、表示制御部２４は、画像処理部２３によって検索されたフレームから映像データを再生する。映像データの再生は、静止画でもよいし、動画でもよい。
【００２５】
図５は、画像検索結果の表示画面の一例を示す図である。この図５に示すように、表示部７１は、撮像部１１により取得した映像データ（画像フレーム）を表示する映像表示領域７２と、環境情報４３を表示する環境情報表示領域７３とを有する。また、表示部７１は、映像データの再生や一時停止、停止、巻戻し、早送り等を指示可能なボタン７４等を表示することができる。環境情報表示領域７３には、映像表示領域７２に表示したフレームの撮像時刻、撮像位置、撮像姿勢を、例えば数値データで表示することができる。図５の例では、撮像時刻として西暦２０ＸＸ年ＸＸ月ＸＸ日のＸＸ時ＸＸ分が表示され、撮像位置として北緯（Ｎ）ＸＸ度ＸＸ分、東経（Ｅ）ＸＸ度ＸＸ分が表示され、３軸加速度センサの値（Ｇ）として、Ｘ．ＸＸＸ（ｃｍ／ｓ２）が表示されている。尚、撮像位置は地図で表示してもよいし、撮像姿勢は波形で表示してもよい。環境情報の表示方法は適宜設定可能である。また、ユーザが環境情報の表示方法を切替可能な構成であってもよい。
このように、映像データの中からユーザが指定した撮像時刻や撮像位置の画像（フレーム）を容易に検索し、車両２００付近の映像に撮像時刻等を重畳して表示することができる。所望の時刻を指定して画像を表示することができるので、巻戻しや早送りの操作が不要である。
【００２６】
以上の構成により、本実施形態では、ユーザが撮像装置１０ａの電源を投入すると、撮像装置１０ａは車両周辺の撮像を開始する。撮像装置１０ａは、車両２００の走行中及び停車中のいずれであっても撮像可能である。このとき、撮像装置１０ａは、所定のフレームレートで撮像処理を実行して各フレームの映像データを生成しながら、各フレームに関連する撮像時刻、撮像位置、撮像姿勢等に関する情報を環境情報４３として画像データに書き込み、映像ファイル４０を生成する。ここで、フレームレートは、例えば、２４ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓなどを採用することができる。撮像装置１０ａによる撮像処理が終了すると、画像処理装置２０ａは、撮像装置１０ａから映像ファイル４０を取り込み、ユーザが指定した検索条件を充足する画像（フレーム）を検索し、表示する。なお、ユーザが指定した時刻の前後の所定時間を含む時間帯の画像（フレーム）を検索し、例えば、当該指定時刻を含む数分間の画像を表示してもよい。
【００２７】
このように、本実施形態では、映像データの各フレームに環境情報４３を数値データとして書き込むので、特定の時刻や位置等を指定することで、映像ファイル４０の映像データ部４２から容易に対応するフレームを検索、表示することができる。また、環境情報４３は、映像再生時に影響のない形式で書き込むため、不具合を発生させることなく適切に映像データを再生することができる。尚、所定時間の間、動画で映像を再生したい場合、再生開始時刻と再生終了時刻を指定すればよい。また、図５の環境情報表示領域７３に表示する内容は、ユーザが適宜決定することができる。例えば、ユーザが加速度センサの計測値を表示する必要がないと考えるならば、時刻情報と位置情報のみを環境情報表示領域７３に表示してもよい。
【００２８】
映像データの各フレームと時刻情報とを関連付ける方法としては、例えば、映像データに変換した時刻情報をフレームごとに画像合成して記録する方法がある。しかしながら、この場合、映像の再生画面上では各フレームの撮像時刻を確認することはできるが、特定の時刻のフレームを検索するためには、ユーザが映像を巻戻したり早送りしたりする必要がある。
また、映像データの各フレームには、ＬＴＣ（Longitudinal TimeCode）などに代表される時間．分．秒．フレーム番号からなるタイムコードが付与されている。しかしながら、例えば日本や米国等で採用されているＮＴＳＣ（National Television System Committee）方式の場合、フレーム数が２９．９７フレーム／秒であるため、実時間に対して、タイムコードの歩進が僅かにずれる。このずれを長時間において解消するための補正モードとしてドロップフレームがあるが、フレーム１枚１枚に正確な時刻を関連付けることは困難である。
【００２９】
これに対して、本実施形態では、各フレームに時刻情報取得部１４によって取得した時刻情報をそれぞれ関連付けることができる。また、時刻情報取得部１４によって取得する時刻情報として、電波時計情報を用いるので、正確な撮像時刻を各フレームに関連付けることができる。
また、撮像時刻と共に、撮像位置や撮像姿勢（加速度、角速度等）といった撮像環境に関する情報を各フレームに付加し、各フレームとこれらの撮像環境に関する情報とを直接的に関連付けることができる。
【００３０】
従来、各フレームに関連する情報は、映像データとは別に記録媒体等に記録されており、各フレームと各フレームに関連する情報とのリンクは、映像撮像時のタイムコード等を双方に付与することによりなされていた。しかしながら、この場合、映像データを処理する際に、記録媒体等からタイムコードを介して対応する情報を読み出さなければならない。このように、各フレームとそれに対応する各情報とが間接的に関連付けられた構成であると、映像データとは別に上記情報を記録、管理する必要があり不便であると共に、必要な情報の抽出や表示が非効率であるとの問題があった。これに対して、本実施形態では、各フレームとそれに対応する撮像環境に関する情報とを直接的に関連付けることができるので、上記のような問題がない。
【００３１】
さらに、本実施形態では、撮像装置１０ａにおいて、撮像部１１から得られる信号をもとに映像データを生成する際に、撮像時刻等の環境情報４３を一緒に書き込む。すなわち、ビデオカメラが出力した映像ファイルを加工して撮像情報を書き込む構成ではない。そのため、映像データと撮像情報との関連付けを行うために、ビデオカメラに映像ファイルの加工を行うための装置を接続する必要がない。したがって、システム内の機器数を削減することができる。また、機器間の接続不具合に起因して撮像情報の書き込み不具合が発生することを抑制することができる。
環境情報４３を用いて検索したフレームは、例えば、車両２００周辺の状態確認に用いることができる。例えば、ユーザが検索条件として時刻情報を指定した場合、指定した時刻に車両２００が走行していた場所及びその周辺の状態を確認することができる。
【００３２】
また、ユーザが検索条件として点検の対象となる物体の設置位置を示す位置情報を指定した場合には、点検の対象となる物体が撮像されたフレームを検索、表示することができ、当該物体の異常等の確認が可能となる。ここで、点検の対象となる物体としては、例えば、車両２００が走行可能な道路、トンネル、橋などに関する構造物がある。例えば、舗装やジョイント部、道路区画線（白線）、マンホール、排水溝、中央分離帯、標識、看板、電柱、支柱、照明灯、街路灯、防音壁、ケーブル、ワイヤ、信号機、反射鏡、ガードレール、縁石、横断歩道橋、電話ボックス等は、上記構造物に含まれる。
【００３３】
さらに、ユーザが検索条件として撮像姿勢の許容値を指定した場合、車両２００に許容値を超える大きさの振動が発生した場所を撮像したフレームを検索、表示することができ、その場所の路面の状態を確認することができる。これにより、例えば、上記振動が発生した原因が路面の劣化である場合には、これを適切に把握することができる。また、上記振動が発生した場所が道路のジョイント部７５である場合には、当該ジョイント部の状態を確認することもできる。
【００３４】
また、例えば図５に示すように、環境情報４３を道路の映像と共に１つの画面に表示するので、点検者は映像の撮像時刻、撮像位置及び撮像姿勢等を容易に把握することができる。したがって、例えば、映像データをもとに、点検者が目視で、もしくは画像処理により自動で上述した構造物等の異常を検出した場合には、異常を検出したフレームの撮像時刻や撮像位置等を容易に把握することができる。その結果、異常を検出した構造物の設置場所に、詳細点検や修理の作業員を向かわせるなどの適正な対応が可能となる。
尚、表示部７１は、映像表示領域７２と環境情報表示領域７３とを有するとしたが、環境情報表示領域７３を設けなくてもよい。即ち、環境情報４３を表示部７１において表示するかは、ユーザが適宜決定してよい。
このようにして、撮像装置１０ａ、１０ｂ、１０ｃは３つの撮像方向の画像を撮像することができ、撮像装置１０ａ、１０ｂ、１０ｃに接続された３つの画像処理装置２０ａ、２０ｂ、２０ｃは、３つの撮像方向の画像をそれぞれの表示部７１に表示することができる。また、画像処理装置２０ａ、２０ｂ、２０ｃは、各画像のフレーム毎に撮像時刻等の情報を格納する。
【００３５】
撮像装置１０ａ、１０ｂ、１０ｃの３つの撮像画像を同期表示したい場合には、同期制御部３０と表示装置３５を使用する。例えば、ユーザは、同期制御部３０に画像表示開始時刻と画像表示終了時刻を入力する。例えば、撮像した日が平成２７年５月２０日１５時〜１６時であれば、ユーザは画像表示開始時刻として平成２７年５月２０日１５：１０：００を入力し、画像表示終了時刻として平成２７年５月２０日１５：５０：００を入力する。画像表示開始時刻と画像表示終了時刻が入力されると、同期制御部３０は画像処理装置２０ａ、２０ｂ、２０ｃから、前記入力された開始時刻から終了時刻までの動画を取得し、当該動画を表示装置３５に表示する。同期制御部３０は、その際、各画像フレームに記録されている撮像時刻を使用する。
【００３６】
図６は、３つの画像処理装置２０ａ、２０ｂ、２０ｃから取得した３つの画像７２Ａ、７２Ｂ、７２Ｃが表示装置３５に表示されている様子を示している。画像７２Ａは画像処理装置２０ａから取得した画像であり、画像７２Ｂは画像処理装置２０ｂから取得した画像であり、画像７２Ｃは画像処理装置２０ｃから取得した画像である。表示装置３５は、画像７２Ｃの下に環境情報７３Ａを表示している。また、表示装置３５は、画像７２Ａの下に映像データの再生や一時停止、停止、巻戻し、早送り等を指示可能なボタン７４を表示している。
【００３７】
図６に示した表示装置３５は、同期制御部３０の制御の下、３つの画像７２Ａ、７２Ｂ、７２Ｃを同時に再生する。即ち、同期制御部３０は、各画像に記録されている撮像時刻を用いて、３つの画像７２Ａ、７２Ｂ、７２Ｃの再生が正確に同期して行われるように、表示装置３５に動画再生を実行させる。
従って、本実施形態によれば、３つのカメラ（撮像装置１０ａ、１０ｂ、１０ｃ）で撮像した画像を、正確に同期表示することができる。
【００３８】
なお、上記した実施形態では、撮像装置１０ａ、１０ｂ、１０ｃは車両２００の前方の映像を撮像するとしたが、３つの撮像装置１０ａ、１０ｂ、１０ｃの全てまたは一部を車両の２００の後方の撮像に使用してもよい。また、撮像装置の数は３に限定されない。撮像装置の数は、映像処理システム１００の用途等に応じて増減され得る。さらに、各撮像装置の視野角は６０度に限定されない。例えば、図６の７２Ａと７２Ｂが所定量だけオーバーラップするようにするために、撮像装置１０ａと１０ｂの視野角は６０数度にしてよい。また、９０度の視野角のカメラを使用する場合には、撮像装置の数を２つにしてもよい。
【００３９】
図６の説明では、動画を表示装置３５に表示するとしたが、表示装置３５に表示される画像は静止画像でもよい。例えば、ユーザが特定の時刻の３つの画像７２Ａ、７２Ｂ、７３Ｃを見たいときには、表示装置３５に当該時刻を入力して、当該時刻の静止画像７２Ａ、７２Ｂ，７２Ｃを見ることができる。
上記した実施形態では、表示装置３５は映像処理システム１００に含まれていないが、表示装置３５を映像処理システム１００に含めてもよい。  
【００４０】
（第２の実施形態）
第１の実施形態において、振動が発生した場所が道路のジョイント部７５である場合には、当該ジョイント部７５の状態を確認することができるとした。撮像画像中において横方向に延びる物体が道路のジョイント部７５であるか否かの判断は、撮像した画像を用いて行ってもよいし、撮像した画像に画像処理を施した後の画像を用いて行ってもよい。後者の場合に採用される画像処理を、第２の実施形態として説明する。なお、以下の記載では、第１の実施形態との相違点のみを説明する。
第２の実施形態では、道路のジョイント部７５の検出を、以下のような特異点抽出に基づいて行う。図７は、第２の実施形態で採用する画像処理のフローチャートである。
この画像処理は、例えば画像処理装置２０ａの電源が投入されたタイミングで実行開始することができる。
【００４１】
先ずステップＳ１で、画像取得部２１は、撮像部１１から撮影画像を取得し、ステップＳ２に移行する。なお、このステップＳ１では、撮影画像に対して種々の補正処理を行ってもよい。例えば、撮影画像に対してワイドダイナミックレンジ（ＷＤＲ）処理を行うことで、逆光が強いシーンや明暗の差が大きいシーンを撮影した画像の高品位化を図ることができる。
ステップＳ２では、画像処理部２３は、ステップＳ１で取得した画像データに対して所定の二値化閾値を用いて二値化処理を施す。
【００４２】
この二値化閾値は、検出対象である道路のジョイント部７５を検出可能な値に設定する。一般に、路面にはアスファルト舗装が施されており、撮影画像において、当該アスファルト路面部分に対応する画素の輝度値（以下、「画素値」ともいう）は黒色の輝度値「０」に近い値となる。これに対して、ジョイント部７５では、路面上に金属製の継手部材や後打コンクリートが露出しており、撮影画像において、当該ジョイント部７５に対応する領域の画素値は、上記のアスファルト路面部分に対応する領域の画素値よりも白色の輝度値「２５５」に近い値となる。
したがって、道路構造物としてジョイント部７５を検出する場合には、二値化閾値をジョイント部７５に対応する領域の画素値の下限値と同等、若しくはそれよりも所定のマージン分だけ小さく（黒色の輝度値に近く）設定する。これにより、二値化処理の結果、ジョイント部に対応する画素は白、アスファルト路面に対応する画素は黒となる。
【００４３】
次にステップＳ３で、画像処理部２３は、二値化画像から特異点を抽出し、ステップＳ４に移行する。ここで、特異点とは、二値化画像内において予め設定した注目画素値を有する画素である。注目画素値は、検出対象の道路構造物（ジョイント部７５）の二値化処理後の画素値に設定しておく。検出対象の道路構造物がジョイント部７５である場合、注目画素値は、二値化処理後の白色の輝度値「１」となる。なお、このステップＳ３では、特異点を抽出する前に、二値化画像に対して孤立点除去や膨張処理、収縮処理等を行ってノイズを除去するようにしてもよい。
【００４４】
ステップＳ４では、画像処理部２３は、ステップＳ３で抽出した特異点の連続性を判定する。具体的には、画像処理部２３は、先ず二値化画像に対してラベリング処理を施し、ジョイント部７５の候補となる領域（点群）を識別する。次に画像処理部２３は、各領域について、二値化画像の車両２００の幅方向に対応する方向（Ｘ方向）で連続する特異点の数Ｎｘと、車両２００の進行方向に対応する方向（Ｙ方向）で連続する特異点の数Ｎｙとを計測する。そして、これら特異点数Ｎｘ，Ｎｙがそれぞれ予め設定した判定範囲内であるか否かを判定することで、ジョイント部７５の有無を判定する。
【００４５】
上記判定範囲は、検出対象であるジョイント部７５の撮影画像内での大きさをもとに設定する。ジョイント部７５は、道路の幅方向に沿って道路幅に相当する長さを有すると共に、車両の進行方向に沿って所定の幅（例えば、５００ｍｍ程度）を有する。したがって、検出対象がジョイント部７５である場合、特異点数Ｎｘの判定範囲は、ジョイント部７５の長さ（道路幅）に相当する画素数に基づいて設定し、特異点数Ｎｙの判定範囲は、ジョイント部７５の幅に相当する画素数に基づいて設定する。このように、抽出した特異点の点群の数に基づいて、ジョイント部７５の有無を判定する。なお、判定範囲の設定ファイルは、予め記憶部１３に記憶しておき、ユーザが適宜調整可能である。
【００４６】
ステップＳ５では、画像処理部２３は、ステップＳ４の判定の結果、ジョイント部７５があると判断した場合にはステップＳ６に移行し、ジョイント部７５がないと判断した場合には後述するステップＳ８に移行する。
ステップＳ６では、画像処理部２３は、ステップＳ１で取得した撮影画像に対して環境情報４３を各画像フレーム（１Ｆ、２Ｆ、３Ｆ、・・・）に付加する。
ステップＳ７では、画像処理部２３と表示制御部２４は、上記環境情報付きの撮影画像を記録部１３に保存すると共に、画像処理後のジョイント部７５の画像を表示部７１（映像表示領域７２）に表示することができる。
ステップＳ８では、画像処理部２３は、ジョイント部７５の検出処理を終了するか否かを判定する。例えば、車両２００の乗員が画像処理装置２０ａに設けられた処理終了ボタンを押すなどにより、画像処理部２３が道路構造物の検出処理を終了するための指示を受信した場合に、当該検出処理を終了する。
【００４７】
このように、ジョイント部７５の検出に際し、撮影画像から特異点を抽出し、当該特異点の連続性を判断する。すなわち、ジョイント部７５の撮影画像内における輝度が路面の輝度とは異なることを利用し、路面の輝度値とは異なる輝度値を有する画素を特異点として抽出する。そして、画像内において所定の方向に連続する特異点の数が所定の判定範囲内にあると判断した場合に、当該特異点の点群に対応する領域をジョイント部７５として検出する。そのため、検出対象のジョイント部７５の撮影画像内における大きさ及び姿勢に概ね一致する大きさ及び姿勢を有する特異点の点群を、ジョイント部７５として検出することができる。したがって、複雑な処理を必要とすることなく、適切にジョイント部７５の検出が可能となる。また、ジョイント部７５と同等の輝度値を有する構造物が存在する場合であっても、ジョイント部７５とは大きさや姿勢が異なる構造物は検出対象から除外することができる。したがって、ジョイント部７５を適切に検出することができる。本実施形態では、ジョイント部７５の輝度値を有する画素を特異点として抽出し、当該特異点の点群に基づいてジョイント部７５を検出するので、検出対象であるジョイント部７５とは輝度値の異なる影は検出対象から除外することができる。そして、特異点抽出に基づく画像処理を施した画像を表示部７１の映像表示領域７２に表示することができる。
【００４８】
さらに、撮影画像に対して二値化処理を施すことで特異点を抽出するので、比較的簡易な処理で特異点を抽出することができる。また、二値化処理で用いる二値化閾値は外部記憶媒体等に記憶し、検出対象の道路構造物の輝度値に応じて調整可能である。換言すると、上記二値化閾値を変更することで、検出可能となる道路構造物を変更することができる。したがって、非検出としたい道路構造物がある場合には、その道路構造物が検出されないように上記二値化閾値を設定することができる。
また、上記判定範囲は外部記憶媒体等に記憶し、検出対象とする道路構造物に応じて調整可能である。そのため、上述した二値化閾値と同様に、上記判定範囲を変更することで、検出可能となる道路構造物を変更することができる。このように、解析に必要な道路構造物のみを検出するような設定とすることができるので、作業性を向上させることができる。
【００４９】
本実施形態の画像処理では、特異点を抽出する方法により道路構造物を検出するので、さまざまな道路構造物を検出対象とすることができる。すなわち、道路構造物はジョイント部７５に限定されず、撮影画像における道路構造物に対応する画素が特異点として抽出できれば、当該道路構造物の自動検出が可能である。路面に関連する路面構造物の場合、アスファルト路面とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。例えば、このような路面構造物としては、道路区画線（白線等）、轍、路面上の落下物、路面の損傷による穴などが挙げられる。また、路面周辺の付属構造物の場合にも同様に、周囲とは異なる輝度値を有する構造物であれば、いずれも検出対象とすることができる。例えば、このような付属構造物としては、標識、標識の文字、他車両のナンバープレートの文字、照明灯、防音壁やトンネル等の損傷部（亀裂、ボルト抜け部等）などが挙げられる。
【００５０】
道路構造物を検出した撮影画像は、道路構造物の状態確認に用いることができる。すなわち、点検者は、当該撮影画像から道路構造物の異常の有無を判断することができる。また、トンネル内の照明や破線状の白線等、通常は等間隔で配列している道路構造物について、点検者は、照明切れや白線切れの有無を判断することもできる。
このようにして、各画像処理装置２０ａ、２０ｂ、２０ｃは二値化した画像を作成することができる。そして、これら画像を同期表示したい場合には、第１の実施形態と同じように、同期制御装置３０と表示装置３５を使用する。なお、３つの画像処理装置２０ａ、２０ｂ、２０ｃの１つまたは２つについてのみ、撮影画像に二値化処理を実行してもよい。
【００５１】
また、上記実施形態においては、特異点の抽出に際し、撮影画像を二値化処理する場合について説明したが、撮影画像を多値化処理し、多値化処理後の画像から、道路構造物の当該多値化処理後の輝度値を有する画素を特異点として抽出してもよい。
さらに、特異点の抽出に際し、撮像画像に対して減色処理を施し、減色処理後の画像から特異点を抽出してもよい。例えば、フルカラーの撮像画像を、２５６色や１６色等に減色した画像に変換し、減色処理後の画像から検出対象の物体の色に対応する画素を選出し、これを特異点として抽出することができる。例えば、検出対象の物体が道路標識である場合、道路標識に主に用いられる色（赤、緑、青、黄など）に対応する画素を特異点として抽出する。また、例えば、検出対象の物体が錆である場合、錆の色（茶色、茶褐色など）に対応する画素を特異点として抽出する。これにより、より高精度に検出対象の物体を検出することができる。この検出方法は、検出対象の物体の色が既知である場合に有効である。
【００５２】
（変形例）
上記実施形態においては、撮像環境に関する情報として、撮像時刻、撮像位置および撮像姿勢を取得する場合について説明したが、少なくとも撮像時刻を含んでいればよく、例えば撮像時の速度に関する情報や、撮像時の音に関する情報などを含んでもよい。また、撮像時の音（音声データ）は、各フレーム１Ｆ、２Ｆ、３Ｆに含まれてもよい。各フレーム１Ｆ、２Ｆ、３Ｆは映像フレームと称してもよい。
上記実施形態では、表示装置３５を設けたが、表示装置３５は省略してもよい。その場合、同期制御装部３５は３つの画像処理装置２０ａ、２０ｂ、２０ｃの表示部７１に表示される画像（映像）を同期表示する。つまり、３つの表示部７１を用いて、これら３つの表示部７１の画像を同期表示するようにしてもよい。
【００５３】
また、上記実施形態においては、撮像装置１０ａ、１０ｂ、１０ｃを車両２００に設置する場合について説明したが、本発明はこのような構成に限定されない。例えば、車両以外の移動体（ラジコン、ドローン（無人航空機）、ヘリコプターなど）に撮像装置１０ａ、１０ｂ、１０ｃを設置してもよいし、路肩等に撮像装置１０ａ、１０ｂ、１０ｃを固定してもよい。さらに、撮像装置１０ａ、１０ｂ、１０ｃは、店舗や施設等に設置することもできる。この場合、映像処理システム１００は、店舗や施設内を監視する監視システムとして機能させることができる。また、撮像装置１０ａ、１０ｂ、１０ｃは、人が携帯してもよい。
【００５４】
上記実施形態においては、画像処理装置２０ａ、２０ｂ、２０ｃにおいて、画像検索処理で検索したフレームを表示部に表示する場合について説明したが、検索したフレームを記録媒体に記録したり、サーバ装置へ転送したりするようにしてもよい。
なお、上記実施形態における画像処理装置２０ａ、２０ｂ、２０ｃで実行されるプログラムは、インストール可能なファイル形式または実行可能なファイル形式で、コンピュータが読み取り可能な記憶媒体に記憶されて提供されてもよい。また、上記実施形態における画像処理装置２０ａ、２０ｂ、２０ｃで実行されるプログラムは、インターネット等のネットワーク経由で提供されてもよい。
以上、本発明の実施形態について詳細に説明したが、上述した実施形態は、本発明を実施するにあたっての一例を示したにすぎず、本発明の技術的範囲は、上述した実施形態に限定されるものではない。本発明は、その趣旨を逸脱しない範囲において種々の修正又は変更が可能である。
【符号の説明】
【００５５】
１０ａ、１０ｂ、１０ｃ…撮像装置、１１…撮像部、１２…信号処理部、１３…記録部、１４…時刻情報取得部、１５…位置情報取得部、１６…姿勢情報取得部、２０ａ、２０ｂ、２０ｃ…画像処理装置、２１…画像取得部、２２…パラメータ取得部、２３…画像処理部、２４…表示制御部、３０…同期制御部、４０…映像データ、４１…ヘッダ部、４２…映像データ部、４３…環境情報、７１…表示部、７２…映像表示領域、７３…環境情報表示領域、７４…ボタン、１００…映像処理システム、２００…車両
【要約】
【課題】複数のカメラの撮像画像を正確に同期表示することができる映像処理システムを提供すること。
【解決手段】映像処理システムは、複数の映像処理装置と、前記複数の映像処理装置の各々から得られる画像フレームを同期表示する制御部とを備える。前記複数の映像処理装置の各々は、少なくとも撮像時刻を含む複数の撮像環境に関する情報を取得する撮像環境情報取得部と、被写体を結像する光学系および撮像素子を有する撮像部の出力信号に基づいて、複数の画像フレームを含む映像データを生成する映像データ生成部と、前記映像データに対して、画像フレームごとに前記撮像環境情報取得部で取得した情報を付加し、記憶媒体に記憶する記憶部と、を有する。前記制御部は前記同期表示をする際に前記撮像環境に関する情報を使用する。
【選択図】      図１【図１】
0005948465.tif 000002
【図２】
0005948465.tif 000003
【図３】
0005948465.tif 000004
【図４】
0005948465.tif 000005
【図５】
0005948465.tif 000006
【図６】
0005948465.tif 000007
【図７】
0005948465.tif 000008