(57)【要約】【課題】視野範囲を拡大した三次元画像が得られる三次元画像作成システムおよび三次元画像作成方法を提供する。【解決手段】移動体に取付けた１以上のステレオカメラ１００と、ステレオカメラが撮影した画像から時系列に三次元データを生成する三次元データ生成手段１０１と、移動体の移動を検出する移動検出手段１０２と、三次元データ生成手段が生成した三次元データを、過去の三次元データと、移動検出手段が検出した移動と、に基づいて補間して統合する時系列データ統合手段１０４、１０３と、を有する。【選択図】図１
2011204118.tif 000002
【特許請求の範囲】
【請求項１】
移動体に取付けた１以上のステレオカメラと、
前記ステレオカメラが撮影した画像から時系列に三次元データを生成する三次元データ生成手段と、
前記移動体の移動を検出する移動検出手段と、
前記三次元データ生成手段が生成した前記三次元データを、過去の前記三次元データと、前記移動検出手段が検出した前記移動と、に基づいて補間して統合する時系列データ統合手段と、
を有することを特徴とする三次元画像作成システム。
【請求項２】
前記時系列データ統合手段は、前記三次元データ生成手段が生成した前記三次元データのオクルージョン領域に相当するデータを、過去の前記三次元データで補間して統合することを特徴とする請求項１に記載の三次元画像作成システム。
【請求項３】
前記オクルージョン領域は、前記ステレオカメラを構成する２つのカメラでそれぞれ撮影した画像相互間の対応関係の信頼性が低い領域であることを特徴とする請求項２に記載の三次元画像作成システム。
【請求項４】
前記移動検出手段が検出する前記移動は、前記移動体の移動ベクトルであることを特徴とする請求項１〜３のいずれかに記載の三次元画像作成システム。
【請求項５】
前記移動検出手段は、加速度センサ、ジャイロセンサ、前記画像のフレーム間の相関演算、のいずれか一つまたは二つ以上の測定値に基づいて前記移動体の移動ベクトルを検出することを特徴とする請求項４に記載の三次元画像作成システム。
【請求項６】
前記相関演算は、位相限定相関法、差分絶対値和、差分自乗和、正規化相互相関、のいずれかで行なうことを特徴とする請求項５に記載の三次元画像作成システム。
【請求項７】
前記ステレオカメラの数は４つであり、
前記三次元データ生成手段は、各ステレオカメラが撮影した画像から時系列に三次元データを個別に生成する個別三次元データ生成手段と、
前記各ステレオカメラと移動体との既知の位置関係をもとに、前記個別三次元データ生成手段が生成した各スレテオカメラの前記三次元データを前記移動体の三次元座標系に変換する三次元座標変換手段と、
前記三次元座標変換手段が変換した各スレテオカメラの前記三次元データを統合し、三次元データを作成する三次元データ統合手段と、
を有することを特徴とする請求項１〜６のいずれかに記載の三次元画像作成システム。
【請求項８】
前記三次元データ生成手段が生成した三次元データと、前記移動検出手段が検出した前記移動体の前記移動と、を時系列に保持する時系列データ保持手段をさらに有し、
前記時系列データ統合手段は、前記時系列データ保持手段が保持した前記三次元データを、前記時系列データ保持手段が保持した過去の前記三次元データと、前記移動体の前記移動と、に基づいて補間して統合し、
前記時系列データ保持手段は、保持する時系列のデータのフレームレートを前記移動体の速度に基づいて変化させることを特徴とする請求項１〜７のいずれかに記載の三次元画像作成システム。
【請求項９】
前記時系列データ統合手段が統合した前記三次元データを表示手段に表示するために出力する出力手段と、
前記出力手段が出力した前記三次元データを表示する表示手段と、
をさらに有することを特徴とする請求項１〜８のいずれかに記載の三次元画像作成システム。
【請求項１０】
前記移動体の画像である移動体モデル画像を保持する移動体モデル画像保持手段をさらに有し、
前記出力手段は、前記移動体モデル画像保持部が保持した前記移動体モデル画像を、前記三次元データとともに表示デバイスに表示するために出力することを特徴とする請求項９に記載の三次元画像作成システム。
【請求項１１】
前記移動体モデル画像は三次元画像であることを特徴とする請求項１０に記載の三次元画像作成システム。
【請求項１２】
前記時系列データ統合手段が作成する前記三次元データの領域を設定する領域設定手段をさらに有することを特徴とする請求項１〜１１のいずれかに記載の三次元画像作成システム。
【請求項１３】
前記ステレオカメラが撮影した画像に含まれた画像が静止物体の画像かどうかを、前記ステレオカメラが撮影した画像と、前記移動体の移動ベクトルと、に基づいて、前記移動体の移動前後における前記物体の位置ベクトルの変化を演算することで判断する静止物体判断手段をさらに有し、
前記時系列データ統合手段が補間する前記三次元データは、静止物体の画像の三次元データであることを特徴とする請求項１〜１２のいずれかに記載の三次元画像作成システム。
【請求項１４】
前記時系列データ統合手段が補間する前記三次元データは、信頼度が高いものであることを特徴とする請求項１〜１３のいずれかに記載の三次元画像作成システム。
【請求項１５】
前記時系列データ統合手段が補間する前記三次元データは、最も近くで撮影された画像であることを特徴とする請求項１〜１４のいずれかに記載の三次元画像作成システム。
【請求項１６】
前記データ保持手段が保持する前記三次元データは、静止物体の画像の三次元データであることを特徴とする請求項８〜１５のいずれかに記載の三次元画像作成システム。
【請求項１７】
前記データ保持手段が保持する前記三次元データは、信頼度が高いものであることを特徴とする請求項８〜１６のいずれかに記載の三次元画像作成システム。
【請求項１８】
前記データ保持手段が保持する前記三次元データは、最も近くで撮影された画像であることを特徴とする請求項８〜１７のいずれかに記載の三次元画像作成システム。
【請求項１９】
前記出力手段は、前記時系列データ統合手段が前記三次元データを補間した領域について、点滅表示、影付き表示、グレー表示のいずれかで前記表示デバイスに表示させることを特徴とする請求項９〜１８のいずれかに記載の三次元画像作成システム。
【請求項２０】
移動体に取付けた１以上のステレオカメラが撮影した画像から時系列に三次元データを生成する三次元データ生成段階と、
前記移動体の移動を検出する移動検出段階と、
前記三次元データ生成段階で生成した前記三次元データを、過去の前記三次元データと、前記移動検出段階で検出した前記移動と、に基づいて補間して統合する時系列データ統合段階と、
を有することを特徴とする三次元画像作成方法。
【請求項２１】
前記時系列データ統合段階は、前記三次元データ生成段階で生成した前記三次元データのオクルージョン領域に相当するデータを、過去の前記三次元データで補間して統合することを特徴とする請求項２０に記載の三次元画像作成方法。
【請求項２２】
前記オクルージョン領域は、前記ステレオカメラを構成する２つのカメラでそれぞれ撮影した画像相互間の対応関係の信頼性が低い領域であることを特徴とする請求項２１に記載の三次元画像作成方法。
【請求項２３】
前記移動検出段階で検出する前記移動は、前記移動体の移動ベクトルであることを特徴とする請求項２０〜２２のいずれかに記載の三次元画像作成方法。
【請求項２４】
前記移動検出段階は、加速度センサ、ジャイロセンサ、前記画像のフレーム間の相関演算、のいずれか一つまたは二つ以上の測定値に基づいて前記移動体の移動ベクトルを検出することを特徴とする請求項２３に記載の三次元画像作成方法。
【請求項２５】
前記相関演算は、位相限定相関法、差分絶対値和、差分自乗和、正規化相互相関、のいずれかで行なうことを特徴とする請求項２４に記載の三次元画像作成方法。
【請求項２６】
前記ステレオカメラの数は４つであり、
前記三次元データ生成段階は、各ステレオカメラが撮影した画像から時系列に三次元データを個別に生成する個別三次元データ生成段階と、
前記各ステレオカメラと前記移動体との既知の位置関係をもとに、前記個別三次元データ生成段階で生成した各スレテオカメラの前記三次元データを前記移動体の三次元座標系に変換する三次元座標変換段階と、
前記三次元座標変換段階で変換した各スレテオカメラの前記三次元データを統合し、三次元データを作成する三次元データ統合段階と、
を有することを特徴とする請求項２０〜２５のいずれかに記載の三次元画像作成方法。
【請求項２７】
前記三次元データ生成段階で生成した三次元データと、前記移動検出段階で検出した前記移動体の前記移動と、を時系列に保持する時系列データ保持段階をさらに有し、
前記時系列データ統合段階は、前記時系列データ保持段階で保持した前記三次元データを、前記時系列データ保持段階で保持した過去の前記三次元データと、前記移動体の前記移動と、に基づいて補間して統合し、
前記時系列データ保持段階は、保持する時系列のデータのフレームレートを前記移動体の速度に基づいて変化させることを特徴とする請求項２０〜２６のいずれかに記載の三次元画像作成方法。
【請求項２８】
前記時系列データ統合段階で統合した前記三次元データを表示手段に表示するために出力する出力段階と、
前記出力段階で出力した前記三次元データを表示する表示段階と、
をさらに有することを特徴とする請求項２０〜２７のいずれかに記載の三次元画像作成方法。
【請求項２９】
前記移動体の画像である移動体モデル画像を保持する移動体モデル画像保持段階をさらに有し、
前記出力段階は、前記移動体モデル画像保持段階で保持した前記移動体モデル画像を、前記三次元データとともに表示デバイスに表示するために出力することを特徴とする請求項２８に記載の三次元画像作成方法。
【請求項３０】
前記移動体モデル画像は三次元画像であることを特徴とする請求項２９に記載の三次元画像作成方法。
【請求項３１】
前記時系列データ統合段階で作成する前記三次元データの領域を設定する領域設定段階をさらに有することを特徴とする請求項２０〜３０のいずれかに記載の三次元画像作成方法。
【請求項３２】
前記ステレオカメラが撮影した画像に含まれた画像が静止物体の画像かどうかを、前記ステレオカメラが撮影した画像と、前記移動体の移動ベクトルと、に基づいて、前記移動体の移動前後における前記物体の位置ベクトルの変化を演算することで判断する静止物体判断段階をさらに有し、
前記時系列データ統合段階で補間する前記三次元データは、静止物体の画像の三次元データであることを特徴とする請求項２０〜３１のいずれかに記載の三次元画像作成方法。
【請求項３３】
前記時系列データ統合段階で補間する前記三次元データは、信頼度が高いものであることを特徴とする請求項２０〜３２のいずれかに記載の三次元画像作成方法。
【請求項３４】
前記時系列データ統合段階で補間する前記三次元データは、最も近くで撮影された画像であることを特徴とする請求項２０〜３３のいずれかに記載の三次元画像作成方法。
【請求項３５】
前記データ保持段階で保持する前記三次元データは、静止物体の画像の三次元データであることを特徴とする請求項２７〜３４のいずれかに記載の三次元画像作成方法。
【請求項３６】
前記データ保持段階で保持する前記三次元データは、信頼度が高いものであることを特徴とする請求項２７〜３５のいずれかに記載の三次元画像作成方法。
【請求項３７】
前記データ保持段階で保持する前記三次元データは、最も近くで撮影された画像であることを特徴とする請求項２７〜３６のいずれかに記載の三次元画像作成方法。
【請求項３８】
前記出力段階は、前記時系列データ統合段階で前記三次元データを補間した領域について、点滅表示、影付き表示、グレー表示のいずれかで前記表示デバイスに表示させることを特徴とする請求項２８〜３７のいずれかに記載の三次元画像作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像作成システムおよび三次元画像作成方法に関し、詳細には、移動体に設置したステレオカメラを用いた三次元画像作成システムおよび三次元画像作成方法に関する。
【背景技術】
【０００２】
近年、車両にステレオカメラを設置して三次元画像を取得することで地形を認識し、車両の安全な運転を確保する運転支援システムが開発されている。
【０００３】
下記特許文献１には、車両に設置したステレオカメラにより時系列に画像データを取得し、第１の画像データと、それ以前の第２の画像データと、これらの画像データに関する距離データと、から車両の移動量を検出する。そして、該移動量を考慮した上で、画像データから得た地形データを順次合成する。これにより、地面の三次元形状を精度よく認識する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１４４６４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、ステレオカメラで取得した三次元画像はオクルージョンによる画像の欠落が発生するが、上記従来技術ではオクルージョンによる画像の欠落を削減することができない。このため、上記従来技術は、限定した視野範囲しか三次元画像が取得できないという問題がある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る三次元画像作成システムは、移動体に取付けた１以上のステレオカメラと、ステレオカメラが撮影した画像から時系列に三次元データを生成する三次元データ生成手段と、移動体の移動を検出する移動検出手段と、三次元データ生成手段が生成した三次元データを、過去の三次元データと、移動検出手段が検出した前記移動と、に基づいて補間して統合する時系列データ統合手段と、を有する。
【０００７】
また、本発明に係る三次元画像作成方法は、移動体に取付けた１以上のステレオカメラが撮影した画像から時系列に三次元データを生成する三次元データ生成段階と、移動体の移動を検出する移動検出段階と、三次元データ生成段階で生成した三次元データを、過去の三次元データと、移動検出段階で検出した前記移動と、に基づいて補間して統合する時系列データ統合段階と、を有する。
【発明の効果】
【０００８】
本発明に係る三次元画像作成システムおよび三次元画像作成方法によれば、移動体に取付けたステレオカメラの画像の三次元データを、過去の三次元データと、移動検出手段が検出した前記移動と、に基づいて補間して統合する。これにより、オクルージョンによるデータの欠落を削減し、視野範囲を拡大した三次元画像を得ることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第一実施形態に係る三次元画像作成システムの構成を示すブロック図である。
【図２】オクルージョンの第１の例を示す図である。
【図３】オクルージョンの第２の例を示す図である。
【図４】オクルージョンの第３の例を示す図である。
【図５】本発明の第一実施形態に係る三次元画像作成方法のフローチャートを示す図である。
【図６】図５に示すフローチャートのステップＳ５０５のサブルーチンフローチャートを示す図である。
【図７】図５に示すフローチャートのステップＳ５０６のサブルーチンフローチャートを示す図である。
【図８】物体が静止物体かどうかを判断するためのベクトルを図示した説明図である。
【図９】本発明の第二実施形態に係る三次元画像作成方法のフローチャートを示す図である。
【図１０】図９に示すフローチャートのステップＳ９０１のサブルーチンフローチャートを示す図である。
【図１１】図９に示すフローチャートのステップＳ９０９のサブルーチンフローチャートを示す図である。
【図１２】本発明の第三実施形態において、保持する時系列データのフレームレートを変化させる場合の時系列データの保持に関するフローチャートの例を示す図である。
【図１３】本発明の第四実施形態に係る三次元画像作成システムの移動体とステレオカメラの相対位置関係を示す図である。
【図１４】本発明の第四実施形態に係る三次元画像作成システムを示すブロック図である。
【図１５】本発明の第四実施形態に係る三次元画像作成方法のフローチャートを示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明の実施形態に係る三次元画像作成システムおよび三次元画像作成方法について詳細に説明する。
【００１１】
[第一実施形態]
図１は、本発明の第一実施形態に係る三次元画像作成システムの構成を示すブロック図である。
【００１２】
本実施形態に係る三次元画像作成システム１０は、ステレオカメラ１００、三次元データ生成部（三次元データ生成手段、静止物体判断手段）１０１、移動量演算部（移動検出手段、静止物体判断手段）１０２、時系列データ保持部（時系列データ保持手段）１０３、時系列データ統合部（時系列データ統合手段）１０４、出力部（出力手段）１０５、を有する。これらの構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ハードディスク、入出力装置といったコンピュータのハードウェアおよびソフトウェア（コンピュータプログラム）で一部または全部を構成してもよい。
【００１３】
これらの構成要素は、移動体に実装することができる。しかし、ステレオカメラ１００以外の構成要素は移動体に実装しなくてもよい。ここで、移動体としては車両のほかロボット等のあらゆる移動体が考えられる。
【００１４】
ステレオカメラ１００は、２つのカメラ、すなわち、基準カメラおよび参照カメラを有する。基準カメラおよび参照カメラは、それぞれ、ＣＣＤ素子などの撮像素子とその他の光学系によって構成可能であり、その構成は一般的なステレオカメラと同様である。
【００１５】
ステレオカメラ１００は、基準カメラおよび参照カメラでそれぞれ画像を取得する。基準カメラで取得した基準画像と参照カメラで取得した参照画像は、ディジタル画像に変換され、それぞれ、基準画像データと参照画像データとしてフレーム単位、または、画素単位で出力される。
【００１６】
三次元データ生成部１０１は、ステレオカメラ１００から基準画像データと参照画像データとを受信し、これらの画像データに基づいて三次元データを生成する。三次元データは、基準画像データと参照画像データとから視差を演算し、該視差と、ステレオカメラ１００の基線長と、焦点距離と、から三角測量の原理により、ステレオカメラ１００から物体までの距離を演算することで得られる。三次元データには、少なくとも画素ごと（または、複数の画素グループごと）の視差および輝度のデータを含む。
【００１７】
また、三次元データ生成部１０１は、画像の信頼度（以下、「信頼度」と称する）を算出する。ここで、信頼度とは、基準画像データと参照画像データとのマッチングの明確性をいう。すなわち、基準画像データおよび参照画像データの一方に存在する物体の画像データが他方に存在しない場合が低信頼度であり、基準画像データおよび参照画像データの両方に物体の画像データが存在する場合が高信頼度である。ここで、基準画像および参照画像の一方に存在する物体の画像が他方に存在しないという現象はオクルージョンの一種であると考えることができる。すなわち、低信頼度の画像データは、オクルージョン領域の画像データとなる。
【００１８】
なお、信頼度は、数値化可能な概念であり、基準画像データおよび参照画像データの両方に物体の画像データが存在する場合であっても信頼度の高低を評価することができる。
【００１９】
一方、画像中の障害物により物体が隠れる現象もオクルージョンである。すなわち、画像データ中で、障害物により物体が隠れた領域はオクルージョン領域の画像データである。
【００２０】
移動量演算部１０２は、ステレオカメラ１００から基準画像データと参照画像データとを受信し、基準画像データと参照画像データ間、および、フレーム間の画像の移動を演算することで、相関演算により画像内の物体の移動量および移動方向（以下、「移動ベクトル」と称する）を演算する。さらに、移動量演算部１０２は、基準画像データと参照画像データ間、および、フレーム間の相関演算により移動体の移動ベクトルを演算する。ここで、相関演算は、位相限定相関法、差分絶対値和、差分自乗和、正規化相互相関、のいずれで行なってもよい。
【００２１】
なお、移動体の移動ベクトルは、加速度センサやジャイロセンサの測定結果を用いて演算してもよい。
【００２２】
時系列データ保持部１０３は、三次元データ生成部１０１から受信した三次元データおよび信頼度と、移動量演算部から受信した画像内の物体の移動ベクトルおよび移動体の移動ベクトルと、を保持する。保持したデータは、所望の時間におけるデータとして読み出すことができる。ここで、三次元データおよび信頼度を、時系列データ保持部１０３に保持するのは、時系列データ統合部１０４において、現在の三次元データを過去の三次元データで補間することを容易にするためである。
【００２３】
時系列データ統合部１０４は、三次元データ生成部１０１から三次元データおよび信頼度を、時系列データ保持部１０３から過去の三次元データおよび信頼度を受信する。データ統合部１０４は、現在の三次元データにオクルージョン領域のデータが含まれる場合は、該オクルージョン領域に対応する過去の三次元データが所定の条件を満たすことを条件として、該オクルージョン領域のデータを過去の三次元データで補間して統合する。
【００２４】
出力部１０５は、時系列データ統合部１０４が統合した三次元データをモニタへ出力する。
【００２５】
オクルージョンについて、さらに詳細に説明する。
【００２６】
図２は、オクルージョンの第１の例を示す図である。図２の斜線部は、時刻ｔ１におけるオクルージョン領域２１０を示す。図２に示すように、時刻ｔ０（時刻ｔ１に対し過去の時刻である）における移動体２００ａから見ると、時刻ｔ１におけるオクルージョン領域２１０は、障害物２２０によって視野が妨げられず、オクルージョン領域とはならない。しかし、時刻ｔ１における移動体２００ｂから見ると、領域２１０は、障害物２１０によって視野が妨げられるため、オクルージョン領域となる。
【００２７】
図３は、オクルージョンの第２の例を示す図である。図３の斜線部は、時刻ｔ１におけるオクルージョン領域２１０ａ、２１０ｂを示す。図３に示すように、時刻ｔ０における移動体２００ａから見ると、時刻ｔ１におけるオクルージョン領域２１０ａ、２１０ｂは、障害物２２０によって視野が妨げられず、オクルージョン領域とはならない。しかし、時刻ｔ１における移動体２００ｂから見ると、領域２１０は、障害物２１０によって視野が妨げられるため、オクルージョン領域となる。
【００２８】
図４は、オクルージョンの第３の例を示す図である。図４に示すように、ステレオカメラ１００の参照カメラ１００ｂから見ると、物体４００は、障害物２１０によって視野が妨げられず、参照画像データには物体の画像データが存在することになる。しかし、ステレオカメラ１００の基準カメラ１００ａから見ると、物体４００は、障害物２１０によって視野が妨げられ、基準画像データには物体の画像データが存在しないことになる。このように、基準画像データと参照画像データとで物体４００のマッチングがとれない現象は、低信頼度によるオクルージョンであり、物体４００の画像データはオクルージョン領域の画像データとなる。
【００２９】
図５は、本実施形態に係る三次元画像作成方法のフローチャートを示す図である。
【００３０】
図６は、図５に示すフローチャートのステップＳ５０５のサブルーチンフローチャートを示す図である。
【００３１】
図７は、図５に示すフローチャートのステップＳ５０６のサブルーチンフローチャートを示す図である。
【００３２】
以下、図５〜図７に示すフローチャートを参照して、本実施形態に係る三次元画像作成方法について詳細に説明する。本実施形態に係る三次元画像作成方法は、図１に示す三次元画像作成システムにより行なう。
【００３３】
三次元データ生成部１０１は、ステレオカメラ１００から受信した基準画像データおよび参照画像データに基づいて三次元データを生成し（Ｓ５００）、時系列データ保持部１０３は、三次元データ生成部１０１が生成した三次元データを保持する（Ｓ５０１）。このような三次元データの生成および保持は、１フレームの全測定点（画素）について行なう（Ｓ５０２、Ｓ５０３）。すなわち、全ての三次元測定点の処理が終了したかどうかを判断し（Ｓ５０２）、全ての三次元測定点の処理が終了していないと判断した場合は（Ｓ５０２、Ｎｏ）、次の測定点に移行し（Ｓ５０３）、三次元データの作成（Ｓ５００）、および、時系列データの保持（Ｓ５０１）を行なう。
【００３４】
出力データ生成領域を設定する（Ｓ５０４）。すなわち、モニタに出力して表示すべき三次元画像の領域を設定する。例えば、モニタに表示する三次元画像の座標を指定することで、出力データの生成領域を設定することができる。
【００３５】
オクルージョンの判定をする（Ｓ５０５）。オクルージョンの判定は、図６に示すサブルーチンフローチャートに従って行なう。
【００３６】
現在の三次元データにデータが存在するかどうかを確認する（Ｓ６００）。すなわち、現在の三次元データに画像の欠落が存在するかどうかを判断する。現在の三次元データに画像の欠落が存在する場合は、当該欠落はオクルージョン領域であるため、オクルージョンであると判定する（Ｓ６０３）。現在の三次元データに画像の欠落が存在しない場合は（Ｓ６００、Ｙｅｓ）、ステップＳ６０１に移行する。
【００３７】
画像の欠落が存在するかどうかは、現在の画像データと過去の画像データ（例えば、１フレーム前の画像データ）とを比較し、過去の画像データに存在する物体が現在の画像データに存在するかどうかで判断することができる。
【００３８】
現在の三次元データが高信頼度かどうかを判断する（Ｓ６０１）。現在の三次元データが高信頼度でないと判断した場合は（Ｓ６０１、Ｎｏ）、オクルージョンがあると判定し（Ｓ６０３）、現在の三次元データが高信頼度であると判断した場合は（Ｓ６０１、Ｙｅｓ）、オクルージョンではないと判定する（Ｓ６０２）。
【００３９】
三次元データが高信頼度かどうかは、基準画像データと参照画像データとを比較することで判断する。すなわち、例えば、基準画像データに物体のデータが存在せず、参照画像データに物体のデータが存在する場合は、物体の三次元データは低信頼度（すなわち、高信頼度ではない）と判断する。基準画像データと参照画像データとの比較は、相関演算により行なう。相関演算は、例えば、位相限定相関法、差分絶対値和、差分自乗和、正規化相互相関、のいずれかで行なうことができる。
【００４０】
オクルージョンの判定（Ｓ５０５）をした後、時系列データを補間する（Ｓ５０６）。時系列データの補間は、図７に示すサブルーチンフローチャートに従って行なう。
【００４１】
オクルージョンでないと判断した場合は（Ｓ７００、Ｎｏ）、データの補間は行なわず、現在の三次元データをそのまま現在の三次元データとして使用する（Ｓ７０８）。
【００４２】
オクルージョンであると判断した場合は（Ｓ７００、Ｙｅｓ）、整数型変数Ｎに初期値１を付与し、Ｎで指定されたフレーム（すなわち、第１フレーム）から現在の三次元データのオクルージョン領域に対応するデータを抽出する（Ｓ７０２）。ここで、第１フレームとは、現在のフレームの直前の過去のフレームを指す。
【００４３】
抽出したデータが静止物体のものであり、かつ、高信頼度かどうかを判断する（Ｓ７０３）。抽出したデータが静止物体のもので、かつ、高信頼度である場合は（Ｓ７０３、Ｙｅｓ）、抽出したデータで、現在の三次元データのオクルージョン領域のデータを補間する（Ｓ７０６）。当該補間にあたっては、必要に応じて、移動体の移動を考慮し、抽出したデータに対して座標変換を行なう。この際、時系列データ統合部１０４は、ステップＳ５０４で指定された領域に整合した三次元データを作成する。すなわち、時系列データ統合部１０４は、三次元データの補間の前または後において、ステップＳ５０４で指定された領域に整合した三次元データとするために、当該画素の三次元データを座標変換する。
【００４４】
なお、抽出したデータが静止物体のものであり、かつ、高信頼度かどうかを判断することに代えて、もしくは、加えて、最も近くで撮影された画像かどうかを判断してもよい。
【００４５】
図８は、物体が静止物体かどうかを判断するためのベクトルを図示した説明図である。
【００４６】
図８に示すように、時刻ｔ０における移動体２００ａの位置と、時刻ｔ０より後の時刻ｔ１における移動体２００ｂの位置と、の変位を示すベクトルＭは移動体２００ａ、２００ｂの移動ベクトルである。また、時刻ｔ０における物体８００ａの位置と、時刻ｔ１における移動体８００ｂの位置と、の変位を示すベクトルＡ０１は物体８００ａ、８００ｂの移動ベクトルである。ベクトルＡ０１が零であれば、物体８００ａ、８００ｂは静止物体であると判断することができる。
【００４７】
ベクトルＡ０は、時刻ｔ０における物体８００ａの移動体２００ａに対する位置ベクトルであり、ベクトルＡ１は、時刻ｔ１における物体８００ｂの移動体２００ｂに対する位置ベクトルである。ベクトルＡ０およびベクトルＡ１は、ステレオカメラ１００の時刻ｔ０およびｔ１における三次元データから算出することができる。また、前述したように、移動体２００ａ、２００ｂの移動ベクトルであるベクトルＭは三次元データのフレーム間の相関演算により算出することができる。したがって、これらのベクトルＡ０、ベクトルＡ１、ベクトルＭから物体８００ａ、８００ｂの移動ベクトルＡ０１を算出することができる。
【００４８】
なお、物体８００ａ、８００ｂが静止物体かどうか判断する必要があるのは、現在の物体８００ｂがオクルージョン領域の画像データである場合である。そうすると、現在は、物体８００ｂをステレオカメラ１００からは視認できないことになる。そのため、厳密には、現在は、ベクトルＡ１を算出することができないため、現在の物体８００ｂが静止物体かどうかは判断できないことになる。そこで、実際には、物体８００ｂが画像データとして存在する過去（例えば、数フレーム前の過去）において物体８００ｂが静止物体かどうかを判断することになろう。
【００４９】
抽出したデータが静止物体のものでなく、または、高信頼度でない場合は（Ｓ７０３、Ｎｏ）、時系列データ保持部１０３に保持されている全てのフレームについて、チェックが終了したかどうかを判断する（Ｓ７０４）。すなわち、時系列データ保持部１０３に保持されている過去の全てのフレームについて、抽出したデータが静止物体のものであり、かつ、高信頼度かどうかを判断する。全てのフレームについて、チェックが終了したと判断した場合は（Ｓ７０４、Ｙｅｓ）、現在の三次元データに関するオクルージョン領域は、測定不可点に決定し（Ｓ７０７）、データの補間は行なわない。
【００５０】
一方、全てのフレームについて、チェックが終了していないと判断した場合は（Ｓ７０４、Ｎｏ）、整数型変数Ｎをインクリメントし（Ｓ７０５）、Ｎで指定されたフレーム（すなわち、第２フレーム）から現在の三次元データのオクルージョン領域に対応するデータを抽出する（Ｓ７０２）。ここで、第Ｎ＋１フレームとは、第Ｎフレームの直前のフレームを指す。
【００５１】
以後、ステップＳ７０２〜Ｓ７０７を、時系列データ保持部１０３に保持されている全てのフレームについて、チェックが終了するまで（Ｓ７０４、Ｙｅｓ）行なう。これにより、現在の三次元データの直前のフレームに補間に適したデータが存在しない場合でも、さらに過去のフレームに遡って補間に適したデータの有無をチェックするため、測定不可点となる確率を低下させ、視野範囲を拡大した三次元画像を得ることができる。
【００５２】
ただし、補間に適するデータのチェックは、現在の三次元データの直前のフレームについてのみ行なってもよい。この場合は、時系列データ保持部１０３は、２つのフレームを保持するだけの記憶容量で足りるため、時系列データ保持部１０３の記憶容量サイズを小さくすることができる。
【００５３】
現在の三次元画像の全ての出力点（画素）について、処理が終了していない場合は（Ｓ５０７、Ｎｏ）、次の出力点に移行し（Ｓ５０８）、現在のフレームの全ての出力点についてステップＳ５０５〜Ｓ５０７を行なう。
【００５４】
現在の三次元画像の全ての出力点の処理が終了した場合は、現在のフレームについての本フローチャートによる三次元画像作成方法は終了し、次のフレームについて本フローチャートを実施する。
【００５５】
以上、本実施形態に係る三次元画像作成システムおよび三次元画像作成方法について説明したが、本実施形態によれば、移動体に取付けたステレオカメラの三次元データを過去の三次元データと、移動検出手段が検出した前記移動ベクトルと、に基づいて補間して統合する。これにより、オクルージョンによるデータの欠落を削減し、視野範囲を拡大した三次元画像を得ることができる。
【００５６】
[第二実施形態]
本発明の第二実施形態に係る三次元画像作成システムおよび三次元画像作成方法について、図９〜図１１、および図６を参照して詳細に説明する。本実施形態に係る三次元画像作成方法は、第一実施形態と同様に、図１に示す三次元画像作成システムにより行なう。
【００５７】
本実施形態が第一実施形態と異なるのは次の点である。すなわち、本実施形態においては、時系列データ保持部１０３に保持する三次元データを、高信頼度かつ静止物体のものに限定し、現在の三次元データの補間の際には、過去の三次元データについて高信頼度かつ静止物体かどうかの判断をしない点である。
【００５８】
本実施形態の説明において、第一実施形態と重複する説明は省略する。
【００５９】
図９は、本発明の第二実施形態に係る三次元画像作成方法のフローチャートを示す図である。
【００６０】
図１０は、図９に示すフローチャートのステップＳ９０１のサブルーチンフローチャートを示す図である。
【００６１】
図１１は、図９に示すフローチャートのステップＳ９０９のサブルーチンフローチャートを示す図である。
【００６２】
なお、図９に示すフローチャートのステップＳ９０５のサブルーチンフローチャートは、第一実施形態と同様に図６である。
【００６３】
三次元データ生成部１０１は、ステレオカメラ１００から受信した基準画像データおよび参照画像データに基づいて三次元データを生成し（Ｓ９００）、時系列データ保持部１０３は、保持している過去の時系列の三次元データを現在の三次元データで更新する（Ｓ９０１）。時系列データの更新は、図１０に示すステップＳ５０１のサブルーチンフローチャートに従って行なう。
【００６４】
現在の三次元データが高信頼度かどうか判断する（Ｓ１０００）。現在の三次元データが高信頼度ではないと判断した場合は（Ｓ１０００、Ｎｏ）、時系列データ保持部１０３のデータを更新しない（Ｓ１００４）。現在の三次元データが高信頼度であると判断した場合は（Ｓ１０００、Ｙｅｓ）、さらに、現在の三次元データより過去の三次元データの方が高信頼度かどうか判断する（Ｓ１００１）。
【００６５】
現在の三次元データより過去の三次元データの方が高信頼度ではないと判断した場合は（Ｓ１００１、Ｎｏ）、時系列データ保持部１０３のデータを更新しない（Ｓ１００４）。現在の三次元データより過去の三次元データの方が高信頼度であると判断した場合は（Ｓ１００１、Ｙｅｓ）、さらに、過去の三次元データが静止物体のものかどうか判断する（Ｓ１００２）。
【００６６】
現在の三次元データが静止物体のものではないと判断した場合は（Ｓ１００２、Ｎｏ）、時系列データ保持部１０３のデータを更新しない（Ｓ１００４）。現在の三次元データが静止物体のものであると判断した場合は（Ｓ１００２、Ｙｅｓ）、時系列データ保持部１０３のデータを現在の三次元データで更新する（Ｓ１００３）。
【００６７】
なお、過去のデータが静止物体のものかどうかの判断や、高信頼度かどうかの判断に代えて、もしくは、これに加えて、最も近くで撮影された画像かどうかを判断してもよい。最も近くで撮影された画像かどうかは、ステレオカメラ１００の三次元データから画像内の物体までの距離を算出することで判断することができる。
【００６８】
このように、本実施形態においては、時系列データ保持部１０３に保持する三次元データを、高信頼度かつ静止物体のものに限定する。これにより、時系列データ保持部１０３を構成するメモリのサイズを小さくすることができるため、システムの低コスト化、低消費電力化を実現できる。
【００６９】
１フレームの全ての測定点（画素）について、三次元データの作成（Ｓ９００）、および、時系列の三次元データの更新（Ｓ９０１）を行なった後（Ｓ９０２、Ｓ９０３）、ステップＳ９０４に移行する。
【００７０】
出力データ生成領域を設定する（Ｓ９０４）。すなわち、モニタに出力して表示すべき三次元画像の領域を設定する。
【００７１】
オクルージョンの判定をする（Ｓ９０５）。オクルージョンの判定は、図６に示すサブルーチンフローチャートに基づいて行なう。オクルージョンの判定は、第一実施形態と同様であるため、説明は省略する。
【００７２】
オクルージョンの判定（Ｓ９０５）をした後、時系列データを補間する（Ｓ９０６）。時系列データの補間は、図１１に示すサブルーチンフローチャートに基づいて行なう。
【００７３】
オクルージョンでないと判断した場合は（Ｓ１１００、Ｎｏ）、データの補間は行なわず、現在の三次元データをそのまま現在の三次元データとして使用する（Ｓ１１０５）。
【００７４】
オクルージョンであると判断した場合は（Ｓ１１００、Ｙｅｓ）、現在の三次元データのオクルージョン領域に対応する過去の三次元データを、時系列データ保持部１０３において検索する（Ｓ１１０１）。現在の三次元データのオクルージョン領域に対応する過去の三次元データが時系列データ保持部１０３に存在する場合は（Ｓ１１０２、Ｙｅｓ）、該対応する過去の三次元データで現在の三次元データを補間する（Ｓ１１０３）。
【００７５】
現在の三次元データのオクルージョン領域に対応する過去の三次元データが時系列データ保持部１０３に存在しない場合は（Ｓ１１０２、Ｎｏ）、現在の三次元データに関するオクルージョン領域は、測定不可点に決定し（Ｓ１１０４）、データの補間は行なわない。
【００７６】
現在の三次元画像の全ての出力点（画素）について、まだ処理が終了していない場合は（Ｓ９０７、Ｎｏ）、次の出力点に移行し（Ｓ９０８）、現在のフレームの全ての出力点についてステップＳ９０５〜Ｓ９０７を行なう。
【００７７】
現在の三次元画像の全ての出力点の処理が終了した場合は、現在のフレームについての本フローチャートによる三次元画像作成方法は終了する。そして、次のフレームについて本フローチャートに従い、三次元画像作成方法を実施する。
【００７８】
以上、本実施形態に係る三次元画像作成システムおよび三次元画像作成方法について説明したが、本実施形態によれば、第一実施形態と同様に、移動体に取付けたステレオカメラの三次元データを過去の三次元データと、移動検出手段が検出した前記移動と、に基づいて補間して統合する。これにより、オクルージョンによるデータの欠落を削減し、視野範囲を拡大した三次元画像を得ることができる。
【００７９】
さらに、本実施形態においては、時系列データ保持部に保持する三次元データを、高信頼度かつ静止物体のものに限定する。これにより、時系列データ保持部を構成するメモリのサイズを小さくすることができるため、システムの低コスト化、低消費電力化を実現できる。
【００８０】
[第三実施形態]
本発明の第三実施形態に係る三次元画像作成システムおよび三次元画像作成方法について、詳細に説明する。
【００８１】
本実施形態が第一実施形態と異なるのは次の点である。すなわち、本実施形態においては、時系列データ保持部１０３に保持する時系列の三次元データのフレームレートを、ステレオカメラ１００を実装した移動体の速度に基づいて変化させる点である。その他の点については、本実施形態は第一実施形態と同様であり、第一実施形態と重複する説明は省略する。
【００８２】
本実施形態に係る三次元画像作成方法は第一実施形態と同様に図５〜図７に示すフローチャートにより行なう。ここで、図５のステップＳ５０１における三次元データの保持においては、前述したように、時系列データ保持部１０３に保持する時系列の三次元データのフレームレートを、ステレオカメラ１００を実装した移動体の速度に基づいて変化させる。図５のステップＳ５０１に関する内容以外は、本実施形態は第一実施形態と同様であるため説明は省略する。
【００８３】
時系列データ保持部１０３に保持する時系列の三次元データのフレームレートは、例えば、次のようにすることができる。すなわち、移動体の速度が低速であるときは、時系列データ保持部１０３に保持する時系列の三次元データのフレームレートを、三次元データ生成部１０１から受信する三次元データのフレームレートの４分の１（低速）とする。移動体の速度が中速であるときは、時系列データ保持部１０３に保持する時系列の三次元データのフレームレートを、三次元データ生成部１０１から受信する三次元データのフレームレートの３分の１（中速）とする。移動体の速度が高速であるときは、時系列データ保持部１０３に保持する時系列の三次元データのフレームレートを、三次元データ生成部１０１から受信する三次元データのフレームレートの２分の１（高速）とする。このように、移動体の速度が低くなるに従って時系列データ保持部１０３に保持する時系列の三次元データのフレームレートを低くするのは、移動体の速度が低い場合は、時間的に隣接する三次元データのフレームの画像の変化が小さく、また、フレームレートを変化させる前と比較してフレームの画像の変化が小さいと考えられるからである。
【００８４】
時系列データ保持部１０３に保持する時系列の三次元データのフレームレートを、ステレオカメラ１００を実装した移動体の速度に基づいて変化させることで、時系列データ保持部１０３に保持するデータサイズを削減する。これにより、時系列データ保持部１０３を構成するメモリのサイズを小さくすることができるため、システムの低コスト化、低消費電力化を実現できる。
【００８５】
図１２は、保持する時系列データのフレームレートを変化させる場合の三次元データの保持に関するフローチャートの例を示す図である。すなわち、図１２に示すフローチャートは、図５のステップＳ５０１の具体例に相当する。
【００８６】
図１２のフローチャートによれば、フレームレートが低速時は、保持する時系列データのフレームレートは三次元データ生成部１０１が作成する三次元データのフレームレートの４分の１、中速時は３分の１、高速時は２分の１、とすることができる。
【００８７】
具体的には、フレームレートが低速時は（Ｓ１２０２、低速）、整数型変数ｎに初期値０を付与した後（Ｓ１２００）、ｎ＝０では、ｎがｎ＝１にインクリメントされ（Ｓ１２０６）、三次元データ生成部１０１が作成した三次元データを保持しない（Ｓ１２０７、Ｓ１２０８、Ｓ１２１０）。ｎ＝１〜２でも（Ｓ１２０３、Ｎｏ）、ｎがそれぞれインクリメントされ（Ｓ１２０６）、三次元データ生成部１０１が作成した三次元データを保持しない（Ｓ１２０７、Ｓ１２０８、Ｓ１２１０）。ｎ＝３になると（Ｓ１２０３、Ｙｅｓ）、強制的にｎ＝０とされ（Ｓ１２０５）、三次元データ生成部１０１が作成した三次元データを保持する（Ｓ１２０７〜Ｓ１２０９）。
【００８８】
すなわち、フレームレートが低速時は、三次元データを保持するかどうかの判断の直前のｎの値が０、１、２、３のうち０のときのみ（Ｓ１２０８、Ｙｅｓ）、三次元データを保持する（Ｓ１２０９）。したがって、保持する三次元データのフレームレートは三次元データ生成部１０１が作成する三次元データのフレームレートの４分の１とすることができる。
【００８９】
フレームレートが中速時は（Ｓ１２０２、中速）、ｎに初期値０を付与した後（Ｓ１２００）、ｎ＝０では、ｎがｎ＝１にインクリメントされ（Ｓ１２０６）、三次元データ生成部１０１が作成した三次元データを保持しない（Ｓ１２０７、Ｓ１２０８、Ｓ１２１０）。ｎ＝１でも（Ｓ１２０４、Ｎｏ）、ｎがｎ＝２にインクリメントされ（Ｓ１２０６）、三次元データ生成部１０１が作成した三次元データを保持しない（Ｓ１２０７、Ｓ１２０８、Ｓ１２１０）。ｎ＝２になると（Ｓ１２０４、Ｙｅｓ）、強制的にｎ＝０とされ（Ｓ１２０５）、三次元データ生成部１０１が作成した三次元データを保持する（Ｓ１２０７〜Ｓ１２０９）。
【００９０】
すなわち、フレームレートが中速時は、三次元データを保持するかどうかの判断の直前のｎの値が０、１、２のうち０のときのみ（Ｓ１２０８、Ｙｅｓ）、三次元データを保持する（Ｓ１２０９）。したがって、保持する三次元データのフレームレートは三次元データ生成部１０１が作成する三次元データのフレームレートの３分の１とすることができる。
【００９１】
フレームレートが高速時は（Ｓ１２０２、高速）、ｎに初期値０を付与した後（Ｓ１２００）、ｎがｎ＝１にインクリメントされ（Ｓ１２０６）、三次元データ生成部１０１が作成した三次元データを保持しない（Ｓ１２０７、Ｓ１２０８、Ｓ１２１０）。ｎ＝１になると（Ｓ１２１５、Ｙｅｓ）、強制的にｎ＝０とされ（Ｓ１２０５）、三次元データ生成部１０１が作成した三次元データを保持する（Ｓ１２０７〜Ｓ１２０９）。
【００９２】
すなわち、移動体が高速時は、三次元データを保持するかどうかの判断の直前のｎの値が０、１のうち０のときのみ（Ｓ１２０８、Ｙｅｓ）、三次元データを保持する（Ｓ１２０９）。したがって、保持する三次元データのフレームレートは三次元データ生成部１０１が作成する三次元データのフレームレートの２分の１となる。
【００９３】
フレームレートに応じた三次元データの保持は当該フレームの全測定点が終了するまで継続し（Ｓ１２１１、Ｓ１２１２）、当該フレームの処理が終了したときは、システム停止要求がない限り（Ｓ１２１３）、後続するフレームの処理を継続して行なう（Ｓ１２１４）。
【００９４】
このように、本実施形態によれば、第一実施形態が奏する効果に加え、以下の効果を奏する。すなわち、本実施形態によれば、時系列データ保持部１０３に保持する時系列の三次元データのフレームレートを、ステレオカメラ１００を実装した移動体の速度に基づいて変化させることで、時系列データ保持部１０３に保持するデータサイズを削減する。これにより、時系列データ保持部１０３を構成するメモリのサイズを小さくすることができるため、システムの低コスト化、低消費電力化を実現できる。
【００９５】
[第四実施形態]
本発明の第四実施形態に係る三次元画像作成システムおよび三次元画像作成方法について、詳細に説明する。
【００９６】
本実施形態が第一実施形態と異なるのは次の点である。すなわち、本実施形態においては、ステレオカメラ１００を複数有し、各ステレオカメラ１００の三次元データを統合した広視野の三次元データに関し、現在の三次元データを過去の三次元データと、移動検出手段が検出した前記移動と、に基づいて補間して統合する。これにより、オクルージョンによるデータの欠落を削減し、視野範囲を拡大したアラウンドビューの三次元画像を得る。
【００９７】
さらに、本実施形態は、オクルージョン領域を補間した三次元データに移動体の三次元画像（以下、「移動体モデル」と称する）を統合し、移動体外部の任意の位置から見た移動体の位置を把握できるようにする。
【００９８】
その他の点については、本実施形態は第一実施形態と同様であり、第一実施形態と重複する説明は省略する。
【００９９】
図１３は、本実施形態に係る三次元画像作成システムの移動体とステレオカメラの相対位置関係を示す図である。
【０１００】
図１３に示すように、本実施形態に係る三次元画像作成システムは、移動体１３００に実装された複数のステレオカメラ１００を有する。ステレオカメラ１００は、各カメラ全体で、より広い視野（理想的には３６０度の視野）の三次元画像が得られるように移動体１３００に実装される。
【０１０１】
図１３のＡのように４つのステレオカメラ１００を中心に対し互いに９０度づつずらして実装することで、最小限のカメラ数でより広い視野の三次元画像が得られる。しかし、本実施形態はステレオカメラ１００の数を限定するものではなく、例えば、図１３のＢのように、８つのステレオカメラ１００を用いてもよい。移動体１３００の適切な位置に実装されたステレオカメラ１００の数を増やすことで、さらに広い視野の三次元画像が得られる。以下、本実施形態の説明においては、４つのステレオカメラ１００を用いた場合について説明する。
【０１０２】
図１４は、本実施形態に係る三次元画像作成システムを示すブロック図である。本実施形態に係る三次元画像作成システム１０は、第１実施形態と同様に、ステレオカメラ１００ａ〜１００ｄ、三次元データ生成部１０１、移動量演算部１０２、時系列データ保持部１０３、出力部１０５、を有する。さらに、本実施形態は、領域設定部（領域設定手段）１４００、移動体モデル保持部（移動体モデル画像保持手段）１４０１、表示部（表示手段）１４０２、を有する。
【０１０３】
三次元データ生成部１０１は、三次元化計算部（個別三次元データ生成手段）１４０３ａ〜１４０３ｄ、座標変換部（三次元座標変換手段）１４０４ａ〜１４０４ｄ、三次元データ統合部（三次元データ統合手段）１４０５、を有する。
【０１０４】
三次元化計算部１４０３ａ〜１４０３ｄは、ステレオカメラ１００ａ〜１００ｄからそれぞれ基準画像データと参照画像データとを受信し、これらの画像データに基づいて三次元データを算出する。三次元データは、基準画像データと参照画像データとから視差を演算し、該視差と、ステレオカメラ１００ａ〜１００ｄの基線長と、焦点距離と、から三角測量の原理により、ステレオカメラ１００ａ〜１００ｄから物体までの距離を演算することで得られる。すなわち、各三次元化計算部１４０３ａ〜１４０３ｄは、各ステレオカメラ１００ａ〜１００ｄが撮影した画像を、各ステレオカメラ１００ａ〜１００ｄの座標系（以下、「ステレオカメラ座標系」と称する）で表現された三次元データとして算出する。
【０１０５】
座標変換部１４０４ａ〜１４０４ｄは、各三次元化計算部１４０３ａ〜１４０３ｄが算出したステレオカメラ座標系の三次元データを、移動体１３００の座標系（以下、「移動体座標系」と称する）の三次元データに変換する。該変換は、ステレオカメラ座標系の三次元データに、移動体座標系内での各ステレオカメラ１００ａ〜１００ｄの位置姿勢を表現する変換行列Ｍａｔ１〜Ｍａｔ４をそれぞれ適用することで行なう。変換行列Ｍａｔ１〜Ｍａｔ４は、あらかじめ三次元データ生成部１０１内のメモリに記憶させておき、各座標変換部１４０４ａ〜１４０４ｄは、これを参照してもよい。
【０１０６】
三次元データ統合部１４０５は、座標変換部１４０４ａ〜１４０４ｄが変換した４つの三次元データを統合し、測定空間の三次元シーンを生成する。
【０１０７】
時系列データ保持部１０３は、三次元データ生成部１０１から受信した三次元データおよび信頼度と、移動量演算部から受信した物体の移動ベクトルおよび移動体の移動ベクトルと、を保持する。保持したデータは、所望の時間におけるデータとして読み出すことができる。
【０１０８】
時系列データ統合部１０４は、三次元データ生成部１０１から三次元データおよび信頼度を、時系列データ保持部１０３から過去の三次元データおよび信頼度を受信する。データ統合部１０４は、現在の三次元データにオクルージョン領域のデータが含まれる場合は、該オクルージョン領域のデータを所定の条件を満たす過去の三次元データで補間して統合する。これにより、視野範囲を拡大した三次元画像を生成する。
【０１０９】
領域設定部１４００は、ユーザが入力する領域設定信号を受け、時系列データ統合部１０４が生成する三次元データの領域を設定する。すなわち、ユーザが視認したい三次元データの領域を設定する。
【０１１０】
移動量演算部１０２は、移動体１３００の移動ベクトルを演算する。移動ベクトルは、例えば、加速度センサの測定結果から算出してもよい。また、移動量演算部１０２は、画像内の物体の移動ベクトルを演算する。
【０１１１】
移動体モデル保持部１４０１は、移動体１４００を三次元データに重ね合わせて表示させるための移動体１４００の外観に関するモデルデータ（移動体モデル）を保持する記憶装置である。
【０１１２】
出力部１０５は、時系列データ統合部１０４が統合した三次元データに、移動体モデル保持部１４０１が保持している移動体モデルを重ね合わせて表示部１４０２に出力する。
【０１１３】
出力部１０５は、時系列データ統合部１０４が三次元データを補間した領域について、点滅表示、影付き表示、グレー表示のいずれかで表示デバイスに表示させてもよい。これにより、ユーザは、三次元画像作成システム１０が補間したデータを視覚的に認識することができる。
【０１１４】
表示部１４０２は、時系列データ統合部１０４が作成した三次元画像を表示する。該三次元画像には移動体モデルを含むことができる。
【０１１５】
図１５は、本実施形態に係る三次元画像作成方法のフローチャートを示す図である。
【０１１６】
以下、図１５に示すフローチャートを参照して、本実施形態に係る三次元画像作成方法について詳細に説明する。本実施形態に係る三次元画像作成方法は、図１４に示す三次元画像作成システムにより行なう。
【０１１７】
各ステレオカメラ１００ａ〜１００ｄで取得した（Ｓ１５００）画像に基づいて、三次元化計算部１４０３ａ〜１４０３ｄは、ステレオカメラ座標系で表現された三次元データを作成する（Ｓ１５０１）。
【０１１８】
三次元化計算部１４０３ａ〜１４０３ｄが作成した各ステレオカメラ１００ａ〜１００ｄの三次元データは、座標変換部１４０４ａ〜１４０４ｄにより移動体座標系の三次元データに変換された後、三次元データ統合部１４０５で統合される。
【０１１９】
時系列データ保持部１０３は、三次元データ統合部１４０５が統合した三次元データを保持する（Ｓ１５０３）。
【０１２０】
領域設定部１４００は、ユーザが入力する領域設定信号を受け、時系列データ統合部１０４が生成する三次元データの領域を設定する（Ｓ１５０５）。時系列データ統合部１０４は、データ統合部１０４は、現在の三次元データにオクルージョン領域のデータが含まれる場合は、該オクルージョン領域のデータを所定の条件を満たす過去の三次元データで補間して統合する（Ｓ１５０５）。この際、領域設定部１４００が設定した領域の三次元データを作成する。すなわち、時系列データ統合部１０４は、三次元データの補間の前または後において、領域設定部１４００が設定した領域の三次元データと整合させるために三次元データを座標変換する。
【０１２１】
出力部１０５は、時系列データ統合部１０４が作成した三次元データに、移動体モデル保持部１４０１が保持している移動体モデルを重ね合わせて表示部１４０２に出力する（Ｓ１５０６）。
【０１２２】
表示部１４０２は、出力部１０５から受信した三次元データの画像を表示する（Ｓ１５０７）。
【０１２３】
処理終了の制御信号を受けるまでステップＳ１５００〜Ｓ１５０７を繰り返し行なう（Ｓ１５０８）。
【０１２４】
以上、本発明の第四実施形態に係る三次元画像作成システムおよび三次元画像作成方法について説明したが、本実施形態は以下の効果を奏する。
【０１２５】
ステレオカメラを複数有し、各ステレオカメラの三次元データを統合した広視野の三次元データに関し、現在の三次元データを過去の三次元データと、移動検出手段が検出した前記移動と、に基づいて補間して統合する。これにより、オクルージョンによるデータの欠落を削減し、視野範囲を拡大したアラウンドビューの三次元画像を得ることができる。
【０１２６】
さらに、本実施形態は、オクルージョン領域を補間した三次元データに移動体モデルを統合することで、移動体外部の任意の位置から見た移動体の位置を把握することができる。
【０１２７】
以上、本願発明を実施形態に基づき説明してきたが、本発明の範囲は実施形態に限定されるものではない。
【０１２８】
例えば、上述の実施形態では、複眼画像システムとしてステレオカメラを用いているが、２つの単体のカメラで複眼画像システムを構成してもよい。
【符号の説明】
【０１２９】
１０    三次元画像作成システム、
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ    ステレオカメラ、
１００ａ    基準カメラ、
１００ｂ    参照カメラ、
１０１    三次元データ生成部（三次元データ生成手段、静止物体判断手段）、
１０２    移動量演算部（移動検出手段、静止物体判断手段）、
１０３    時系列データ保持部（時系列データ保持手段）、
１０４    時系列データ統合部（時系列データ統合手段）、
１０５    出力部（出力手段）、
２００ａ、２００ｂ    移動体、
２１０、２１０ａ、２１０ｂ    オクルージョン領域、
２２０    障害物、
４００    物体、
１３００    移動体、
１４００    領域設定部（領域設定手段）、
１４０１    移動体モデル保持部（移動体モデル画像保持手段）、
１４０２    表示部（表示手段）、
１４０３ａ、１４０３ｂ、１４０３ｃ、１４０３ｄ    三次元化計算部（個別三次元データ生成手段）、
１４０４ａ、１４０４ｂ、１４０４ｃ、１４０４ｄ    座標変換部（三次元座標変換手段）、
１４０５    三次元データ統合部（三次元データ統合手段）。
【図１】
2011204118.tif 000003
【図４】
2011204118.tif 000004
【図５】
2011204118.tif 000005
【図６】
2011204118.tif 000006
【図７】
2011204118.tif 000007
【図９】
2011204118.tif 000008
【図１０】
2011204118.tif 000009
【図１１】
2011204118.tif 000010
【図１２】
2011204118.tif 000011
【図１３】
2011204118.tif 000012
【図１４】
2011204118.tif 000013
【図１５】
2011204118.tif 000014
【図２】
2011204118.tif 000015
【図３】
2011204118.tif 000016
【図８】
2011204118.tif 000017