(57)【要約】【課題】  操作者の操作入力負担を低減することが可能な技術を提供する。【解決手段】  カメラ２０による撮影画像から第１の画像ＧＡを取得する第１の画像取得部５１ａと、第１の画像ＧＡに基づいて第１の３次元情報ＭＡを算出する第１の情報算出部５２ａと、カメラ２０による撮影画像から第２の画像ＧＢを取得する第２の画像取得部５１ｂと、第２の画像ＧＢに基づいて、第１の３次元情報ＭＡよりも高精度の第２の３次元情報ＭＢを算出する第２の情報算出部５２ｂと、第２の３次元情報ＭＢの算出処理を実行する条件を満たしているか否かを、第１の３次元情報ＭＡに関する所定の評価値に基づいて判定する判定部５３とを備える。【選択図】図２
2008089410.tif 000002
【特許請求の範囲】
【請求項１】
カメラによる撮影画像から第１の画像を取得する第１の画像取得手段と、
前記第１の画像に基づいて第１の３次元情報を算出する第１の情報算出手段と、
カメラによる撮影画像から第２の画像を取得する第２の画像取得手段と、
前記第２の画像に基づいて、前記第１の３次元情報よりも高精度の第２の３次元情報を算出する第２の情報算出手段と、
前記第２の３次元情報の算出処理を実行する条件を満たしているか否かを、前記第１の３次元情報に関する所定の評価値に基づいて判定する判定手段と、
を備えることを特徴とする３次元情報取得システム。
【請求項２】
請求項１に記載の３次元情報取得システムにおいて、
前記第２の画像は、前記第１の画像よりも高い解像度を有していることを特徴とする３次元情報取得システム。
【請求項３】
請求項２に記載の３次元情報取得システムにおいて、
前記第２の画像は、前記カメラによる撮影画像を高解像度化して取得される画像であることを特徴とする３次元情報取得システム。
【請求項４】
請求項２に記載の３次元情報取得システムにおいて、
前記第１の画像は、前記カメラによる撮影画像を低解像度化して取得される画像であることを特徴とする３次元情報取得システム。
【請求項５】
請求項１ないし請求項４のいずれかに記載の３次元情報取得システムにおいて、
前記第１の３次元情報に関する所定の評価値は、前記カメラで撮像されるステレオ画像相互間での対応付けの信頼性を反映した指標値を含み、
前記判定手段は、前記条件を満たしているか否かを前記指標値に基づいて判定することを特徴とする３次元情報取得システム。
【請求項６】
請求項１ないし請求項５のいずれかに記載の３次元情報取得システムにおいて、
前記第１の３次元情報は、前記カメラから被写体までの最短距離を含み、
前記判定手段は、前記条件を満たしているか否かを前記最短距離に基づいて判定することを特徴とする３次元情報取得システム。
【請求項７】
請求項１ないし請求項６のいずれかに記載の３次元情報取得システムにおいて、
前記判定手段は、前記カメラとの距離が所定の区間内となる被写体部分が前記第１の画像内に占める占有度を前記第１の３次元情報に基づいて算出し、前記条件を満たしているか否かを前記占有度に基づいて判定することを特徴とする３次元情報取得システム。
【請求項８】
請求項１ないし請求項７のいずれかに記載の３次元情報取得システムにおいて、
前記条件は、開始条件と続行条件とを有しており、
前記判定手段は、前記開始条件が満たされている場合に前記第２の３次元情報の算出を許可し、前記続行条件が満たされていない場合に前記第２の３次元情報の算出を禁止することを特徴とする３次元情報取得システム。
【請求項９】
請求項８に記載の３次元情報取得システムにおいて、
前記開始条件と前記続行条件とは、互いに異なる厳しさを有することを特徴とする３次元情報取得システム。
【請求項１０】
請求項１ないし請求項９のいずれかに記載の３次元情報取得システムにおいて、
前記第２の情報算出手段は、前記第２の画像内における前記第２の３次元情報の算出対象領域を、前記第１の３次元情報に基づいて、前記第１の画像の一部領域に対応する領域に限定して設定し、当該算出対象領域の画像情報に基づいて前記第２の３次元情報を算出することを特徴とする３次元情報取得システム。
【請求項１１】
請求項１ないし請求項１０のいずれかに記載の３次元情報取得システムにおいて、
前記判定手段は、前記第１の３次元情報に基づく所定の評価値の変化を検出すると、前記条件を満たしていると判定することを特徴とする３次元情報取得システム。
【請求項１２】
請求項１１に記載の３次元情報取得システムにおいて、
前記判定手段は、前記第１の３次元情報に基づく所定の評価値が所定程度よりも大きく変化すると、前記条件を満たしていると判定することを特徴とする３次元情報取得システム。
【請求項１３】
請求項１１または請求項１２に記載の３次元情報取得システムにおいて、
前記判定手段は、前記第１の３次元情報に基づく所定の評価値が所定方向に変化すると、前記条件を満たしていると判定することを特徴とする３次元情報取得システム。
【請求項１４】
請求項１１ないし請求項１３のいずれかに記載の３次元情報取得システムにおいて、
前記第２の情報算出手段は、前記判定手段によって前記条件を満たしていると判定される場合には、前記第２の３次元情報を更新することを特徴とする３次元情報取得システム。
【請求項１５】
請求項１ないし請求項１４のいずれかに記載の３次元情報取得システムにおいて、
前記第２の情報算出手段は、未完了の前記第２の３次元情報の算出処理である第１の算出処理が存在する場合において、前記第１の算出処理の開始時点に対応する前記第１の３次元情報に基づく評価値よりも、新たな前記第２の３次元情報の算出処理である第２の算出処理の開始時点に対応する前記第１の３次元情報に基づく評価値の方が良好であると判定されるときには、前記第１の算出処理を中止して、前記第２の算出処理を実行することを特徴とする３次元情報取得システム。
【請求項１６】
請求項１ないし請求項１４のいずれかに記載の３次元情報取得システムにおいて、
前記第２の情報算出手段は、前回の前記第２の３次元情報の算出処理である第１の算出処理の開始時点に対応する前記第１の３次元情報に基づく評価値よりも、今回の前記第２の３次元情報の算出処理である第２の算出処理の開始時点に対応する前記第１の３次元情報に基づく評価値の方が良好であると判定される場合において、前記第１の算出処理が未だ終了していないときには、当該第１の算出処理を中止して、前記第２の算出処理を実行することを特徴とする３次元情報取得システム。
【請求項１７】
請求項１ないし請求項１６のいずれかに記載の３次元情報取得システムにおいて、
前記カメラは、ステレオカメラであり、
前記第１の３次元情報は、前記ステレオカメラによる撮影画像から取得されるステレオ画像の対応点探索にＳＡＤ法を用いることによって、取得されることを特徴とする３次元情報取得システム。
【請求項１８】
請求項１ないし請求項１７のいずれかに記載の３次元情報取得システムにおいて、
前記カメラは、ステレオカメラであり、
前記第２の３次元情報は、前記ステレオカメラによる撮影画像から取得されるステレオ画像の対応点探索にＰＯＣ法を用いることによって、取得されることを特徴とする３次元情報取得システム。
【請求項１９】
請求項１ないし請求項１８のいずれかに記載の３次元情報取得システムにおいて、
前記第２の画像は、前記第１の画像と同一のカメラで撮影された撮影画像に基づいて取得されることを特徴とする３次元情報取得システム。
【請求項２０】
カメラによる撮影画像に基づく第１の３次元情報を取得する第１の情報取得手段と、
カメラによる撮影画像に基づく第２の３次元情報であって、前記第１の３次元情報よりも高精度の第２の３次元情報を取得する第２の情報取得手段と、
前記第２の３次元情報の取得動作を実行する条件を満たしているか否かを、前記第１の３次元情報に関する所定の評価値に基づいて判定する判定手段と、
を備えることを特徴とする３次元情報取得システム。
【請求項２１】
カメラによる撮影画像に基づく第１の３次元情報を取得するステップと、
前記第１の３次元情報よりも高精度の第２の３次元情報の取得動作を実行する条件を満たしているか否かを前記第１の３次元情報に関する所定の評価値に基づいて判定し、その判定結果に応じて、カメラによる撮影画像に基づく前記第２の３次元情報を取得するステップと、
を備えることを特徴とする３次元情報取得方法。
【請求項２２】
コンピュータに、
カメラによる撮影画像に基づく第１の３次元情報を取得するステップと、
前記第１の３次元情報よりも高精度の第２の３次元情報の取得動作を実行する条件を満たしているか否かを前記第１の３次元情報に関する所定の評価値に基づいて判定し、その判定結果に応じて、カメラによる撮影画像に基づく前記第２の３次元情報を取得するステップと、
を実行させるためのプログラム。
【請求項２３】
カメラによる撮影画像から第１の画像を取得する第１の画像取得手段と、
前記第１の画像に基づいて第１の３次元情報を算出する第１の情報算出手段と、
前記第１の画像よりも高い解像度を有する第２の画像をカメラによる撮影画像から取得する第２の画像取得手段と、
前記第２の画像に基づいて第２の３次元情報を算出する第２の情報算出手段と、
前記第２の３次元情報の算出処理を実行する条件を満たしているか否かを、前記第１の３次元情報に関する所定の評価値に基づいて判定する判定手段と、
を備えることを特徴とする３次元情報取得システム。
【請求項２４】
カメラによる撮影画像から第１の画像を取得するステップと、
前記第１の画像に基づいて第１の３次元情報を算出するステップと、
前記第１の画像よりも高い解像度を有する第２の画像をカメラによる撮影画像から取得するステップと、
前記第２の画像に基づく第２の３次元情報の算出処理を実行する条件を満たしているか否かを前記第１の３次元情報に関する所定の評価値に基づいて判定し、その判定結果に応じて前記第２の３次元情報を算出するステップと、
を備えることを特徴とする３次元情報取得方法。
【請求項２５】
コンピュータに、
カメラによる撮影画像から第１の画像を取得するステップと、
前記第１の画像に基づいて第１の３次元情報を算出するステップと、
前記第１の画像よりも高い解像度を有する第２の画像をカメラによる撮影画像から取得するステップと、
前記第２の画像に基づく第２の３次元情報の算出処理を実行する条件を満たしているか否かを前記第１の３次元情報に関する所定の評価値に基づいて判定し、その判定結果に応じて前記第２の３次元情報を算出するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物の３次元情報を取得する３次元情報取得技術に関する。
【背景技術】
【０００２】
対象物の３次元情報を取得する技術、例えば２眼式のステレオカメラの撮影画像に基づいて、当該撮影画像内の被写体についての３次元情報を取得する技術が存在する（特許文献１等参照）。
【０００３】
【特許文献１】特開平５−３４１１７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の３次元情報取得技術においては、３次元情報取得用の高精細画像の取得タイミングを操作者が決定して操作入力を行う必要がある。特に、対象物体が移動する場合には、当該対象物体の撮影状況が時間変化するため、操作者が適切なタイミングを決定して操作入力を行う必要がある。
【０００５】
そこで、この発明の課題は、操作者の操作入力負担を低減することが可能な３次元情報技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決すべく、請求項１の発明は、３次元情報取得システムであって、カメラによる撮影画像から第１の画像を取得する第１の画像取得手段と、前記第１の画像に基づいて第１の３次元情報を算出する第１の情報算出手段と、カメラによる撮影画像から第２の画像を取得する第２の画像取得手段と、前記第２の画像に基づいて、前記第１の３次元情報よりも高精度の第２の３次元情報を算出する第２の情報算出手段と、前記第２の３次元情報の算出処理を実行する条件を満たしているか否かを、前記第１の３次元情報に関する所定の評価値に基づいて判定する判定手段とを備えることを特徴とする。
【０００７】
請求項２の発明は、請求項１の発明に係る３次元情報取得システムにおいて、前記第２の画像は、前記第１の画像よりも高い解像度を有していることを特徴とする。
【０００８】
請求項３の発明は、請求項２の発明に係る３次元情報取得システムにおいて、前記第２の画像は、前記カメラによる撮影画像を高解像度化して取得される画像であることを特徴とする。
【０００９】
請求項４の発明は、請求項２の発明に係る３次元情報取得システムにおいて、前記第１の画像は、前記カメラによる撮影画像を低解像度化して取得される画像であることを特徴とする。
【００１０】
請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る３次元情報取得システムにおいて、前記第１の３次元情報に関する所定の評価値は、前記カメラで撮像されるステレオ画像相互間での対応付けの信頼性を反映した指標値を含み、前記判定手段は、前記条件を満たしているか否かを前記指標値に基づいて判定することを特徴とする。
【００１１】
請求項６の発明は、請求項１ないし請求項５のいずれかの発明に係る３次元情報取得システムにおいて、前記第１の３次元情報は、前記カメラから被写体までの最短距離を含み、前記判定手段は、前記条件を満たしているか否かを前記最短距離に基づいて判定することを特徴とする。
【００１２】
請求項７の発明は、請求項１ないし請求項６のいずれかの発明に係る３次元情報取得システムにおいて、前記判定手段は、前記カメラとの距離が所定の区間内となる被写体部分が前記第１の画像内に占める占有度を前記第１の３次元情報に基づいて算出し、前記条件を満たしているか否かを前記占有度に基づいて判定することを特徴とする。
【００１３】
請求項８の発明は、請求項１ないし請求項７のいずれかの発明に係る３次元情報取得システムにおいて、前記条件は、開始条件と続行条件とを有しており、前記判定手段は、前記開始条件が満たされている場合に前記第２の３次元情報の算出を許可し、前記続行条件が満たされていない場合に前記第２の３次元情報の算出を禁止することを特徴とする。
【００１４】
請求項９の発明は、請求項８の発明に係る３次元情報取得システムにおいて、前記開始条件と前記続行条件とは、互いに異なる厳しさを有することを特徴とする。
【００１５】
請求項１０の発明は、請求項１ないし請求項９のいずれかの発明に係る３次元情報取得システムにおいて、前記第２の情報算出手段は、前記第２の画像内における前記第２の３次元情報の算出対象領域を、前記第１の３次元情報に基づいて、前記第１の画像の一部領域に対応する領域に限定して設定し、当該算出対象領域の画像情報に基づいて前記第２の３次元情報を算出することを特徴とする。
【００１６】
請求項１１の発明は、請求項１ないし請求項１０のいずれかの発明に係る３次元情報取得システムにおいて、前記判定手段は、前記第１の３次元情報に基づく所定の評価値の変化を検出すると、前記条件を満たしていると判定することを特徴とする。
【００１７】
請求項１２の発明は、請求項１１の発明に係る３次元情報取得システムにおいて、前記判定手段は、前記第１の３次元情報に基づく所定の評価値が所定程度よりも大きく変化すると、前記条件を満たしていると判定することを特徴とする。
【００１８】
請求項１３の発明は、請求項１１または請求項１２の発明に係る３次元情報取得システムにおいて、前記判定手段は、前記第１の３次元情報に基づく所定の評価値が所定方向に変化すると、前記条件を満たしていると判定することを特徴とする。
【００１９】
請求項１４の発明は、請求項１１ないし請求項１３のいずれかの発明に係る３次元情報取得システムにおいて、前記第２の情報算出手段は、前記判定手段によって前記条件を満たしていると判定される場合には、前記第２の３次元情報を更新することを特徴とする。
【００２０】
請求項１５の発明は、請求項１ないし請求項１４のいずれかの発明に係る３次元情報取得システムにおいて、前記第２の情報算出手段は、未完了の前記第２の３次元情報の算出処理である第１の算出処理が存在する場合において、前記第１の算出処理の開始時点に対応する前記第１の３次元情報に基づく評価値よりも、新たな前記第２の３次元情報の算出処理である第２の算出処理の開始時点に対応する前記第１の３次元情報に基づく評価値の方が良好であると判定されるときには、前記第１の算出処理を中止して、前記第２の算出処理を実行することを特徴とする。
【００２１】
請求項１６の発明は、請求項１ないし請求項１４のいずれかの発明に係る３次元情報取得システムにおいて、前記第２の情報算出手段は、前回の前記第２の３次元情報の算出処理である第１の算出処理の開始時点に対応する前記第１の３次元情報に基づく評価値よりも、今回の前記第２の３次元情報の算出処理である第２の算出処理の開始時点に対応する前記第１の３次元情報に基づく評価値の方が良好であると判定される場合において、前記第１の算出処理が未だ終了していないときには、当該第１の算出処理を中止して、前記第２の算出処理を実行することを特徴とする。
【００２２】
請求項１７の発明は、請求項１ないし請求項１６のいずれかの発明に係る３次元情報取得システムにおいて、前記カメラは、ステレオカメラであり、前記第１の３次元情報は、前記ステレオカメラによる撮影画像から取得されるステレオ画像の対応点探索にＳＡＤ法を用いることによって、取得されることを特徴とする。
【００２３】
請求項１８の発明は、請求項１ないし請求項１７のいずれかの発明に係る３次元情報取得システムにおいて、前記カメラは、ステレオカメラであり、前記第２の３次元情報は、前記ステレオカメラによる撮影画像から取得されるステレオ画像の対応点探索にＰＯＣ法を用いることによって、取得されることを特徴とする。
【００２４】
請求項１９の発明は、請求項１ないし請求項１８のいずれかの発明に係る３次元情報取得システムにおいて、前記第２の画像は、前記第１の画像と同一のカメラで撮影された撮影画像に基づいて取得されることを特徴とする。
【００２５】
請求項２０の発明は、３次元情報取得システムであって、カメラによる撮影画像に基づく第１の３次元情報を取得する第１の情報取得手段と、カメラによる撮影画像に基づく第２の３次元情報であって、前記第１の３次元情報よりも高精度の第２の３次元情報を取得する第２の情報取得手段と、前記第２の３次元情報の取得動作を実行する条件を満たしているか否かを、前記第１の３次元情報に関する所定の評価値に基づいて判定する判定手段とを備えることを特徴とする。
【００２６】
請求項２１の発明は、３次元情報取得方法であって、カメラによる撮影画像に基づく第１の３次元情報を取得するステップと、前記第１の３次元情報よりも高精度の第２の３次元情報の取得動作を実行する条件を満たしているか否かを前記第１の３次元情報に関する所定の評価値に基づいて判定し、その判定結果に応じて、カメラによる撮影画像に基づく前記第２の３次元情報を取得するステップとを備えることを特徴とする。
【００２７】
請求項２２の発明は、コンピュータに、カメラによる撮影画像に基づく第１の３次元情報を取得するステップと、前記第１の３次元情報よりも高精度の第２の３次元情報の取得動作を実行する条件を満たしているか否かを前記第１の３次元情報に関する所定の評価値に基づいて判定し、その判定結果に応じて、カメラによる撮影画像に基づく前記第２の３次元情報を取得するステップとを実行させるためのプログラムであることを特徴とする。
【００２８】
請求項２３の発明は、３次元情報取得システムであって、カメラによる撮影画像から第１の画像を取得する第１の画像取得手段と、前記第１の画像に基づいて第１の３次元情報を算出する第１の情報算出手段と、前記第１の画像よりも高い解像度を有する第２の画像をカメラによる撮影画像から取得する第２の画像取得手段と、前記第２の画像に基づいて第２の３次元情報を算出する第２の情報算出手段と、前記第２の３次元情報の算出処理を実行する条件を満たしているか否かを、前記第１の３次元情報に関する所定の評価値に基づいて判定する判定手段とを備えることを特徴とする。
【００２９】
請求項２４の発明は、３次元情報取得方法であって、カメラによる撮影画像から第１の画像を取得するステップと、前記第１の画像に基づいて第１の３次元情報を算出するステップと、前記第１の画像よりも高い解像度を有する第２の画像をカメラによる撮影画像から取得するステップと、前記第２の画像に基づく第２の３次元情報の算出処理を実行する条件を満たしているか否かを前記第１の３次元情報に関する所定の評価値に基づいて判定し、その判定結果に応じて前記第２の３次元情報を算出するステップとを備えることを特徴とする。
【００３０】
請求項２５の発明は、コンピュータに、カメラによる撮影画像から第１の画像を取得するステップと、前記第１の画像に基づいて第１の３次元情報を算出するステップと、前記第１の画像よりも高い解像度を有する第２の画像をカメラによる撮影画像から取得するステップと、前記第２の画像に基づく第２の３次元情報の算出処理を実行する条件を満たしているか否かを前記第１の３次元情報に関する所定の評価値に基づいて判定し、その判定結果に応じて前記第２の３次元情報を算出するステップとを実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００３１】
請求項１ないし請求項２５に記載の発明によれば、第２の３次元情報の算出処理を実行する条件を満たしているか否かが第１の３次元情報に基づいて判定されて、第１の３次元情報よりも高精度の第２の３次元情報が算出されるので、操作者の操作入力負担を低減することが可能である。
【００３２】
特に、請求項８に記載の発明によれば、３次元情報の取得処理の開始と終了とを自動的に決定することができる。
【００３３】
また特に、請求項１０に記載の発明によれば、算出対象領域が限定されるので、処理時間を短縮することが可能である。
【００３４】
また特に、請求項１１に記載の発明によれば、第１の３次元情報に基づく所定の評価値の変化が検出されると第２の３次元情報が取得されるので、撮影状況の変化に応じて新たな３次元情報を取得することができる。
【００３５】
また特に、請求項１５に記載の発明によれば、未完了の３次元情報ＭＢの算出処理（第１の算出処理）が存在する場合には、当該第１の算出処理を中止して、新たな第２の算出処理が実行されるので、当該第２の算出処理の実行が妨げられることを回避できる。また、より良好な評価値に対応する第２の算出処理が実行されるため、より良好な３次元情報を取得できる。
【発明を実施するための最良の形態】
【００３６】
以下、本発明の実施形態を図面に基づいて説明する。
【００３７】
＜１．第１実施形態＞
＜１−１．システム構成概要＞
図１は、本発明の第１実施形態に係る３次元情報取得システム１の要部構成を示す概略図である。
【００３８】
３次元情報取得システム１は、カメラユニット２と、カメラユニット２にデータ伝送可能に接続する情報処理装置３とを備えている。
【００３９】
カメラユニット２は、２眼のステレオカメラ２０（単にカメラ２０とも称する）を有している。このステレオカメラ２０には、それぞれ撮像素子を有する２つの撮像系２１、２２が設けられている。これらの撮像系２１、２２では、カメラ正面の被写体をタイミングを同期して異なる視点から撮像できるように構成されており、撮像して取得された各画像データは、データ線４を介して情報処理装置３に送信される。
【００４０】
情報処理装置３は、例えばパーソナルコンピュータとして構成されており、マウスやキーボードからなる操作部３１と、例えば液晶ディスプレイとして構成される表示部３２と、ステレオカメラ２０からのデータを受信するためのインターフェース(Ｉ／Ｆ)部３３とを備えている。また、情報処理装置３は、記憶部３４と入出力部３５と制御部３６とを有している。
【００４１】
記憶部３４は、例えばハードディスクとして構成される。記憶部３４は、後述の種機能を実現するプログラムＰＧなどが格納されるとともに、算出された３次元情報等の各種のデータが記憶される。
【００４２】
入出力部３５は、例えばディスクドライブとして構成されており、光ディスク９とのデータ授受を行うための部位である。
【００４３】
制御部３６は、コンピュータとして働くＣＰＵ３６ａおよびメモリ３６ｂを有しており、情報処理装置３の各部を統括的に制御するための部位である。この制御部３６で記憶部３４内のプログラムＰＧが実行されることにより、各種の機能（例えば、３次元情報の算出機能等）が実現される。
【００４４】
制御部３６のメモリ３６ｂには、記録媒体である光ディスク９に記録されているプログラムデータを入出力部３５を介して格納することができる。これにより、この格納されたプログラムを情報処理装置３の動作に反映できる。
【００４５】
＜１−２．機能ブロック＞
図２は、３次元情報取得システム１の機能的構成を示すブロック図である。
【００４６】
図２に示すように、３次元情報取得システム１は、カメラ（撮像部）２０による時系列の撮影画像（ステレオ画像）から時系列の画像（ステレオ画像）ＧＡを取得する画像取得部５１ａと、当該画像ＧＡに基づいて３次元情報ＭＡを算出する情報算出部５２ａとを備える。また、３次元情報取得システム１は、或る時点での画像（ステレオ画像）ＧＢをカメラ２０による撮影画像から取得する画像取得部５１ｂと、画像取得部５１ｂにより取得される画像ＧＢに基づいて、３次元情報ＭＡよりも高精度の３次元情報ＭＢを算出する情報算出部５２ｂとを備える。さらに、３次元情報取得システム１は、比較的高精度の３次元情報ＭＢの算出処理を実行する条件を満たしているか否かを、比較的低精度の３次元情報ＭＡ（端的に言えば「粗い」３次元情報ＭＡ）に基づいて判定する判定部５３と、３次元情報ＭＢをデータとして出力する情報出力部５４とを備える。
【００４７】
特に、判定部５３は、３次元情報ＭＢの算出タイミングを決定する機能を有している。この実施形態においては、判定部５３によって決定されたタイミングで画像ＧＢが取得され、当該画像ＧＢに基づいて３次元情報ＭＢが算出される。判定部５３は、画像取得部５１ｂ、情報算出部５２ｂおよび情報出力部５４を制御下において、３次元情報ＭＢを算出し出力する機能を有している。
【００４８】
また、ここでは、画像取得部５１ｂによって取得される画像（すなわち３次元情報ＭＢ算出用の画像）ＧＢは、画像取得部５１ａによって取得される画像ＧＡよりも高い解像度を有しているものとする。
【００４９】
具体的には、画像取得部５１ａは、カメラ２０による撮影画像を低解像度化し、当該低解像度化された画像（端的に言えば粗い画像）をカメラ２０からの時系列の画像ＧＡとして取得するものとする。一方、画像取得部５１ｂは、カメラ２０による撮影画像を解像度変換することなく、カメラ２０による高解像度のままの撮影画像を、３次元情報ＭＢ算出用の画像ＧＢとして取得するものとする。
【００５０】
ただし、これに限定されず、様々な改変が可能である。例えば、逆に、画像取得部５１ａは、カメラ２０による比較的低解像度の撮影画像を解像度変換することなく３次元情報ＭＡ算出用の時系列画像ＧＡとしてそのまま取得し、画像取得部５１ｂは、カメラ２０による時系列の撮影画像のうちの或る時点での画像を高解像度化した画像を、比較的高精度の３次元情報ＭＢを算出するための画像ＧＢとして取得するようにしてもよい。
【００５１】
本質的には、情報算出部５２ａで得られる３次元情報ＭＡに対して、情報算出部５２ｂで得られる３次元情報ＭＢは、「より多い情報量を利用することで、より高精度の３次元情報として得られるものである」ことを意図している。よって、画像取得部５１ａおよび画像取得部５１ｂで得られる画像ＧＡ，ＧＢの解像度が同じ、または、画像取得部５１ｂによる画像ＧＢの方が低解像度である場合においても、３次元情報ＭＡを得るための処理において、画像取得部５１ａでは一定の割合で画素を間引いて処理するなどを行うことで実質的に画像取得部５１ｂよりも少ない解像度での情報しか用いていないときには、「粗い」３次元情報ＭＡが算出されるとともに当該３次元情報ＭＡよりも高精度の３次元情報ＭＢが算出され得る。
【００５２】
また、情報算出部５２ａ，５２ｂに入力される「画像」は、物体表面の反射光量を表現した所謂テクスチャ画像に限らず、ＤＣＴ（離散コサイン変換）やガウシアンフィルタによって全く異なる空間に変換された画像であってもよい。この場合において、例えば、画像取得部５１ａ，５１ｂによる所定の変換後に取得される画像ＧＡ，ＧＢに関して、変換後の画像ＧＢの方が変換後の画像ＧＡよりも大きなデータ量を有するときには、３次元情報ＭＡよりも高精度の３次元情報ＭＢを得ることができる。
【００５３】
また、この実施形態においては、カメラ２０と画像取得部５１ａと情報算出部５２ａとが、カメラユニット２内に設けられている場合を例示する。また、この態様においては、情報処理装置３は、カメラユニット２の情報算出部５２ａからの３次元情報ＭＡを受信する情報入力部５５を有している。この情報入力部５５は、３次元情報ＭＡよりも高精度の３次元情報ＭＢを取得する情報取得部（の一部）として機能する。
【００５４】
＜１−３．対応点探索処理＞
また、この実施形態においては、３次元情報ＭＡ，ＭＢを算出する際のステレオ画像間の対応点探索処理として、２つの異なる手法を用いる。具体的には、比較的低精度の３次元情報ＭＡをＳＡＤ(Sum of Absolute Difference)法を用いて算出し、比較的高精度の３次元情報ＭＢをＰＯＣ（Phase Only Correlation)法（位相限定相関法）を用いて算出する。
【００５５】
ただし、これに限定されず、様々な改変が可能である。例えば、３次元情報ＭＡ，ＭＢを共に同じ手法を用いて算出してもよい。具体的には、比較的低解像度の画像ＧＡを用いてＳＡＤ法により３次元情報ＭＡを算出し、比較的高解像度の画像ＧＢを用いてＳＡＤ法により３次元情報ＭＢを算出するようにしてもよい。
【００５６】
あるいは、３次元情報ＭＡ，ＭＢを、それぞれ、ＳＡＤ法あるいはＰＯＣ法とはさらに別の手法を用いて算出してもよい。例えば、３次元情報ＭＡを、濃度差の二乗和を求めるＳＳＤ法を用いて算出するようにしてもよく、あるいは、濃度の正規化を伴うＮＣＣ（Normalize Cross Correlation）法（正規化相互相関法）を用いて算出するようにしてもよい。
【００５７】
なお、３次元情報ＭＡの算出には、ＳＡＤ法などの比較的高速な算出処理に適した手法が好適に採用され、３次元情報ＭＢの算出には、ＰＯＣ法などの比較的高精度の算出が可能な手法が好適に採用される。
【００５８】
短い時間間隔で取得可能な３次元情報ＭＡを用いることによれば、被写体が動く場合であっても、３次元形状取得に適した被写体状態の瞬間を逃すことなく高精度の３次元情報ＭＢを取得することが可能となる。
【００５９】
以下では、ＳＡＤ法およびＰＯＣ法について説明する。
【００６０】
＜ＳＡＤ＞
まず、ＳＡＤ(Sum of Absolute Difference)法を用いたステレオ画像間の対応点探索処理について図３を参照して説明する。
【００６１】
図３は、ＳＡＤ法を用いた対応点探索処理を説明するための図である。
【００６２】
ステレオカメラ２０の撮像系２１、２２により同期して取得された２つの画像を、基準画像(第１画像)Ｇａおよび参照画像(第２画像)Ｇｂとして設定する。そして、参照画像Ｇｂ上での対応画素(対応点)を探索するために基準画像Ｇａ上で指定される画素(指定点)Ｗａｏを中心点として内包するウィンドウ(第１領域)Ｗａを基準画像Ｇａ上に設定するとともに、ウィンドウＷａのサイズと同じサイズを有するウィンドウ(第２領域)Ｗｂを参照画像Ｇｂにおける複数の位置に設定する。
【００６３】
ここで、参照画像Ｇｂにおける複数のウィンドウＷｂは、最大視差ｐmaxの範囲にわたって水平方向(横方向)に設定される。例えば、図３に示す参照画像Ｇｂ上における位置（視差ｐ＝０の位置）Ｑoから、最大視差ｐmaxに対応した位置Ｑmaxまで水平方向に１画素ずつずらせた複数のウィンドウＷｂが設定される。
【００６４】
次に、各視差ｐ、つまり参照画像Ｇｂ上に設定されるウィンドウＷｂの各位置において、基準画像ＧａにおけるウィンドウＷａ内の画像と参照画像ＧｂにおけるウィンドウＷｂ内の画像とに関する類似度を示す相関値を演算する。この相関演算では、例えばウィンドウＷａ内の各画素の濃度をImg1(i,j)、視差ｐでのウィンドウＷｂ内の各画素の濃度をImg2(i,j+p)として次の式(１)を用いた相関値ＣＯＲｐが算出される。
【００６５】
【数１】
2008089410.tif 000003
【００６６】
上式(１)によって各視差ｐに対する相関値が算出されると、図３のグラフＫｆのように視差ｐと相関値との関係が明らかになる。このグラフＫｆにおいて相関値の極大値(極値点)をとる視差ｐｓに対応するウィンドウＷｂの中心点が、基準画像Ｇａの指定点Ｗａｏに対応した点となる。すなわち、上式(１)を用いて算出される相関値に基づき相関値のピーク位置を特定することで、基準画像Ｇａの指定点Ｗａｏに対応した参照画像Ｇｂ上の対応点が探索されることとなる。
【００６７】
＜ＰＯＣ＞
次に、ＰＯＣ（Phase Only Correlation)法（位相限定相関法）を用いたステレオ画像間の対応点探索処理について図４および図５を参照して説明する。図４は、位相限定相関法を用いた対応点探索処理を説明するための図であり、図５はＰＯＣ値の算出結果を示す図である。
【００６８】
位相限定相関法を用いた対応点探索処理では、まず基準画像上のウィンドウ内の画像と、参照画像上のウィンドウ内の画像とが抽出される。これらの画像については、次の式（２）のように表されるものとする。
【００６９】
【数２】
2008089410.tif 000004
【００７０】
ここで、上記の式（２）におけるｆ(ｎ1,ｎ2)およびｇ(ｎ1,ｎ2)は、基準画像上のウィンドウ内の画像および参照画像上のウィンドウ内の画像を示している。また、Ｎ1およびＮ2は、例えばＮ1＝２×Ｍ1＋１、Ｎ2＝２×Ｍ2＋１と設定されている。
【００７１】
次に、基準画像および参照画像のウィンドウ内の各画像に対し、次の式（３）に示す演算式を用いた２次元のフーリエ変換処理Ｔ１ａ、Ｔ１ｂを行う。
【００７２】
【数３】
2008089410.tif 000005
【００７３】
なお、上記の式（３）のただし書におけるＷの添字Ｐには、Ｎ1、Ｎ2が代入され、またｋの添字ｓには、１、２が代入される。
【００７４】
このようなフーリエ変換処理Ｔ１ａ、Ｔ１ｂが施された各画像に対しては、次の式（４）に示す演算式を用いて、画像の振幅成分を除去するための規格化処理Ｔ２ａ、Ｔ２ｂが行われる。
【００７５】
【数４】
2008089410.tif 000006
【００７６】
規格化処理Ｔ２ａ、Ｔ２ｂが完了すると、次の式（５）に示す演算式を用いた合成処理Ｔ３が行われるとともに、式（６）に示す演算式を用いた２次元の逆フーリエ変換処理Ｔ４が行われる。これにより、各画像間の相関演算が実施されることとなり、その結果(ＰＯＣ値)が出力される。
【００７７】
【数５】
2008089410.tif 000007
【００７８】
【数６】
2008089410.tif 000008
【００７９】
以上の位相限定相関法を用いた処理により、例えば図５に示すような結果が得られる。この図５においては、ウィンドウ(Ｎ1×Ｎ2)内で相関が高い箇所のＰＯＣ値が大きくなっており、ＰＯＣ値のピークＪｃに対応する参照画像上のウィンドウ内の位置が、基準画像上のウィンドウの中心点(指定点)に対応した参照画像上の対応点に相当することとなる。
【００８０】
以上のような位相限定相関法を用いた対応点探索処理によれば、画像の振幅成分を除去し画像の位相成分のみで相関演算が行われるため、輝度変動やノイズの影響を抑制して参照画像上の対応点を精度良く探索できる。
【００８１】
＜１−４．判定条件ＣＡ＞
この第１実施形態においては、或る時刻のステレオ画像から取得される３次元情報ＭＡに関する所定の評価値に基づく判定条件ＣＡに基づいて、３次元情報ＭＢの取得動作の是非を判定する場合を例示する。
【００８２】
この判定条件ＣＡとしては、例えば、ステレオ画像相互間での対応付けの信頼性（ないし正確性）を反映した指標値（詳細には、例えばＳＡＤ法における指標値ＣＯＲ（式（１）参照））に関する条件を採用することができる。具体的には、ＣＯＲ値が所定の閾値ＴＨより大きいこと（判定条件ＣＡ１とも称する）を、判定条件ＣＡとして採用することができる。なお、この指標値ＣＯＲは、当該ステレオ画像に基づいて算出される３次元情報の信頼性を表す指標値でもあるため算出信頼度とも称される。このＣＯＲ値は、３次元情報ＭＡに関する評価値の一例である。
【００８３】
また、判定条件ＣＡは、これに限定されない。例えば、カメラ２０から被写体までの最短距離ＤＳが所定の区間（範囲）内に存在する（ＤＡ＜ＤＳ＜ＤＢ）こと（判定条件ＣＡ２とも称する）を、判定条件ＣＡとして採用するようにしてもよい（図６参照）。例えば、下限側の閾値ＤＡは、被写体の存在位置がカメラ２０に近過ぎるためにステレオ画像における対応付けが困難になることを回避可能となるような値に設定され、上限側の閾値ＤＢは、被写体の存在位置がカメラ２０から遠く離れ過ぎることによる精度不足を回避することが可能となるような値に設定される。
【００８４】
あるいは、所定区間内の被写体距離を有する被写体部分ＲＡ（図７および図８参照）が画像ＧＡ内に占める割合である占有度ＯＰを求め、当該占有度ＯＰに基づく基準を判定条件ＣＡとして採用してもよい。具体的には、カメラとの距離Ｄが所定の区間（Ｄ１＜Ｄ＜Ｄ２；Ｄ１，Ｄ２は閾値）となる被写体部分ＲＡ（＝ＲＡ１＋ＲＡ２）を求め、当該被写体部分ＲＡが画像ＧＡ内に占める割合である占有度ＯＰを３次元情報ＭＡに基づいて算出し、当該占有度ＯＰが所定の範囲内（ＯＰ１＜ＯＰ＜ＯＰ２；ＯＰ１，ＯＰ２は閾値）であること（判定条件ＣＡ３とも称する）を判定条件ＣＡとして採用するようにしてもよい。
【００８５】
この占有度ＯＰとしては、２次元的な占有度（面積比で表現される占有度）を採用することができる他、１次元的な占有度、具体的には、或る方向における被写体部分ＲＡが占有する画角βをカメラ画角αで除した値γ（＝β／α）を採用することなどが可能である。
【００８６】
このように、判定条件ＣＡは、ステレオ画像ＧＢによる高精度の３次元情報ＭＢを取得するか否かを決定するための条件であり、特に、「或る時刻」でのステレオ画像ＧＡに関する３次元情報ＭＡに関する所定の評価値を用いるものである。
【００８７】
そして、判定条件ＣＡが満たされるときには、当該判定条件ＣＡの判定用の画像ＧＡと略同一時刻に取得された画像ＧＢに関する撮影状況が良好であると判定され、当該画像ＧＢに基づいて３次元情報ＭＢが取得される。
【００８８】
＜１−５．動作＞
つぎに、図９のフローチャートを参照しながら、３次元情報取得システム１の情報処理装置３における動作について説明する。図９は、情報処理装置３における処理動作を示すフローチャートである。
【００８９】
まず、カメラユニット２内の情報算出部５２ａで算出された３次元情報ＭＡが情報処理装置３の情報入力部５５で受信され、３次元情報ＭＡが取得される（ステップＳ１２）。この３次元情報ＭＡは、上述のＳＡＤ法による対応点探索結果に基づいて情報算出部５２ａによって算出される。
【００９０】
次に、ステップＳ１３において、この３次元情報ＭＡに関する上述の判定条件ＣＡが充足されるか否かが判定される。なお、この判定処理は、３次元情報ＭＢの算出動作を実行するか否かを３次元情報ＭＡに基づいて決定する処理であるとも表現される。
【００９１】
ステップＳ１３で判定条件ＣＡが満たされていないと判定されると、比較的高精度の３次元情報ＭＢを算出することなく、処理対象画像を次の時刻（ｔ＋Δｔ）での画像（次のフレーム画像）に変更して（ステップＳ１４）、再びステップＳ１２に戻り同様の処理を繰り返す。これによって、信頼性の低い３次元情報ＭＢの算出処理を回避することができる。
【００９２】
一方、ステップＳ１３で判定条件ＣＡが満たされていると判定されると、高解像度の画像ＧＢが取得され（ステップＳ１５）、当該画像ＧＢに基づいて比較的高精度の３次元情報ＭＢが算出される（ステップＳ１６）。
【００９３】
以上のような処理によれば、３次元情報ＭＡよりも高精度の３次元情報ＭＢの取得動作を実行する条件を満たしているか否かを、３次元情報ＭＡに基づいて判定し、その判定結果に応じて３次元情報ＭＢを取得するので、操作者の入力負担を低減しつつ信頼性の高い（高精度の）３次元情報ＭＢを適時に算出して取得することが可能になる。また、被写体の動きを阻害することもない。さらに、画像ＧＢは適時に取得されるので、画像ＧＢを常に追加的に記憶していく場合に比べて、不要画像の蓄積による使用記憶容量の増大を回避することができる。特に、被写体が移動する場合においては、被写体の状態が計測に適した状態であることを検出して自動的に３次元情報ＭＢを算出することが可能になる。例えば、判定条件ＣＡとして判定条件ＣＡ２を採用する場合には、所定の範囲内に入ってきた被写体を検出して、当該範囲内に存在する被写体に関する３次元情報ＭＢを取得することができる。
【００９４】
なお、上記各実施形態においては、低解像度画像ＧＡに基づく３次元情報ＭＡの算出処理等がカメラユニット２内で行われる場合を例示しているが、これに限定されず、様々な改変が可能である。例えば、画像取得部５１ａと情報算出部５２ａとの双方をカメラユニット２内に設けずに情報処理装置３内に設けるようにしてもよい。低解像度画像ＧＡに基づく３次元情報ＭＡの算出処理等がカメラユニット２内で行われず、情報処理装置３で行われる場合には、ステップＳ１２の動作に代えて、ステップＳ１１ａ，Ｓ１１ｂの動作を実行するようにすればよい（図１０参照）。具体的には、或る時刻の撮像部２０による撮影画像を低解像度化した画像ＧＡを取得し（ステップＳ１１ａ）、その後、画像ＧＡに基づいて、３次元情報ＭＡを算出する（ステップＳ１１ｂ）ようにすればよい。
【００９５】
＜２．第２実施形態＞
＜２−１．概要＞
第１実施形態においては、３次元情報ＭＢの算出処理を行うための条件として、或る時刻において取得される３次元情報ＭＡに関する判定条件ＣＡを例示したが、これに限定されない。例えば、３次元情報ＭＡの時間変化を考慮した判定条件ＣＢを採用するようにしてもよい。これによれば、被写体に変化が生じたときにのみ３次元情報ＭＢを算出するようにすることができる。
【００９６】
図１１は、第２実施形態に係る３次元情報取得動作を示すフローチャートである。図１１に示すように、まず、時刻ｔ（＝ｔ０）における画像ＧＡに基づく比較的低精度の３次元情報ＭＡを取得し（ステップＳ２２）、その後、次の時刻（ｔ＋Δｔ）における画像ＧＡに基づく比較的低精度の３次元情報ＭＡを再度取得する（ステップＳ２４）。
【００９７】
そして、ステップＳ２５において、３次元情報ＭＡに関して判定条件ＣＢが満たされているかが判定される。
【００９８】
ステップＳ２５で判定条件ＣＢが満たされていないと判定されると、比較的高精度の３次元情報ＭＢを算出することなく、処理対象画像をさらに次のフレーム画像に変更して（ステップＳ２６）、再びステップＳ２４に戻り同様の処理を繰り返す。判定条件ＣＢが満たされていないと判定される場合には、３次元情報ＭＢの算出処理が行われないので、信頼性の低い３次元情報ＭＢが算出されることを回避できる。
【００９９】
一方、ステップＳ２５で判定条件ＣＢが満たされていると判定されると、高解像度の画像ＧＢが取得され（ステップＳ２７）、当該画像ＧＢに基づいて比較的高精度の３次元情報ＭＢが算出される（ステップＳ２８）。これによれば、被写体に変化が生じたときにのみ、信頼性の高い３次元情報ＭＢを算出して取得することが可能になる。また、画像ＧＢは適時に取得されるので、画像ＧＢを常に追加的に記憶していく場合に比べて、不要画像の蓄積による使用記憶容量の増大を回避することができる。
【０１００】
＜２−２．判定条件ＣＢ＞
次に、判定条件ＣＢについて説明する。ここでは、判定条件ＣＢとして、「時系列の各画像ＧＡから得られる各３次元情報ＭＡに基づく所定の評価値が所定程度よりも大きく変化すること」、を採用する場合を例示する。判定部５３は、３次元情報ＭＡに基づく所定の評価値が所定程度よりも大きく変化すると、判定条件ＣＢを満たしていると判定し、この判定結果に応じて、画像取得部５１ｂは画像ＧＢを取得し、情報算出部５２ｂは画像ＧＢに基づいて比較的高精度の３次元情報ＭＢを算出する。
【０１０１】
判定条件ＣＢとしては、次の条件ＣＢ１〜ＣＢ５、具体的には、
ＣＢ１：回転角度の変化、
ＣＢ２：物体断面積の変化、
ＣＢ３：射影面積の変化、
ＣＢ４：分散の変化、
ＣＢ５：顔らしさを示す指標値（例えば楕円度）の変化、
が例示される。
【０１０２】
例えば、図１２に示すように、３次元情報ＭＡに基づく所定の評価値として、被写体の基準状態（例えば人物の顔の正面からの撮影状態）からの回転角度θ（図１２（ｂ）参照）を採用し、当該回転角度θが変化することを判定条件ＣＢ１として設定することができる。
【０１０３】
また、図１３に示すように、３次元情報ＭＡに基づく所定の評価値として、物体に関する固定点ＧＰ（例えば重心等）を通り光軸ＡＺに直交する面内での物体の断面積（物体断面積）ＳＣを採用し、当該物体断面積ＳＣが変化することを判定条件ＣＢ２として設定することができる。
【０１０４】
また、図１４に示すように、３次元情報ＭＡに基づく所定の評価値として、一定距離から所定幅（範囲）内に存在する物体の、或る平面ＰＬへの射影面積ＳＤを採用し、当該射影面積ＳＤが変化することを判定条件ＣＢ３として設定することができる。
【０１０５】
また、図１５に示すように、３次元情報ＭＡに基づく所定の評価値として、対象物体表面の奥行き位置ｚのばらつき（分散）ρを採用し、当該分散ρが変化することを判定条件ＣＢ４として設定することができる。例えば、顔の前面側が比較的平面に近いことを利用し、顔の表面の奥行き位置のばらつき（分散）を３次元情報ＭＡに基づく所定の評価値として採用することができる。
【０１０６】
また、図１６に示すように、３次元情報ＭＡに基づく所定の評価値として、対象物体（例えば人物の顔）を楕円に近似したときの長軸方向の長さＡＬと短軸方向の長さＡＳとの比ＲＬＳを採用し、当該比ＲＬＳが変化することを判定条件ＣＢ５として設定することができる。例えば、被写体の理想の撮影状態と現在の撮影状態との双方について、対象物体の画像内での上述の比ＲＬＳ（「楕円度」とも称する）を求め、理想状態における比ＲＬＳと現状における比ＲＬＳとの差を指標値ＲＥとして算出する。このような指標値ＲＥを評価値として採用してもよい。
【０１０７】
さらに、或る特徴点までの距離、複数の特徴点間の距離など、３次元情報ＭＡに関する様々な特徴量を３次元情報ＭＡに基づく所定の評価値として採用するようにしてもよい。
【０１０８】
ここにおいて、「変化」は、上述のように、現在のフレーム画像に基づいて取得された評価値と、直前のフレーム画像に基づいて取得された評価値とを比較することによって検出されればよい。ただし、これに限定されず、現在のフレーム画像に基づいて取得された評価値との比較対象は、直前フレーム画像に基づく評価値だけでなく、それよりも前のフレーム画像（例えば所定時間前のフレーム画像）に基づく評価値などであってもよい。
【０１０９】
また、変化の有無に応じて判定条件ＣＢの充足性を判定する場合には、例えば、所定の評価値が所定程度（所定の閾値）よりも大きく変化するときに判定条件ＣＢを満たしていると判定すればよい。詳細には、現在の評価値とそれ以前の評価値との差分絶対値（あるいは自乗誤差等）を所定の閾値（例えば固定値）と比較することによって、「変化」の有無を判断することができる。
【０１１０】
以上のような判定条件ＣＢを用いて上記の動作を行えば、３次元情報ＭＡに基づく所定の評価値が所定程度よりも大きく変化すると第２の３次元情報が取得される。したがって、撮影状況の変化に応じて新たな３次元情報ＭＢを取得することができる。特に、被写体が移動する場合において、被写体の状態が変化したことを検出して自動的に３次元情報ＭＢを算出することが可能になる。
【０１１１】
また、短い時間間隔で取得可能な３次元情報ＭＡを用いることによって、被写体の位置や向きが変わった状態における更なる３次元情報ＭＢを被写体状態の変化を逃すことなく取得可能となり、また、３次元情報取得回数を最低限に抑えることが可能となるためＣＰＵ、記憶装置、転送経路等の負荷を低く抑えることが可能になる。
【０１１２】
ところで、上記においては、変化の「有無」のみを判断する場合を例示したが、変化の「（大小の）方向」、すなわち増減方向（すなわち増加傾向（増加方向）或いは減少傾向（減少方向）のいずれであるか）、をも含めて「変化」を検出するようにしてもよい。換言すれば、判定条件ＣＢとして、「時系列の各画像ＧＡから得られる各３次元情報ＭＡが所定方向に所定程度よりも大きく変化すること」を採用するようにしてもよい。
【０１１３】
例えば、図１２において、顔の正面からの回転角度θがゼロ（図１２（ａ）参照）に近い程、すなわち正面に近い方向から撮影されている程、撮影状態が良好であると考えられる場合には、回転角度θがさらに小さくなること、詳細には回転角度θが所定程度より大きく減少すること、を判定条件ＣＢ１として設定することができる。
【０１１４】
あるいは、図１３において、略楕円形状の対象物をその横幅が広い状態で撮影されている程、撮影状態は良好であると考えられる場合には、物体断面積ＳＣがさらに大きくなること、詳細には所定程度より大きく増加することを判定条件ＣＢ２として設定することができる。
【０１１５】
あるいは、図１４において、略楕円形状の対象物をその横幅が広い状態で撮影されている程、撮影状態は良好であると考えられる場合には、射影面積ＳＤがさらに大きくなること、詳細には所定程度より大きく増加すること、を判定条件ＣＢ３として設定することができる。
【０１１６】
あるいは、図１５において、顔が正面から撮影されている程、撮影状態は良好であると考えられる場合には、分散ρがさらに小さくなること、詳細には分散ρが所定程度より大きく減少することを、判定条件ＣＢ４として設定することができる。
【０１１７】
あるいは、図１６において、指標値ＲＥが小さくなるにつれて理想状態に近づいていると考えられる場合には、指標値ＲＥがさらに小さくなること、詳細には指標値ＲＥが所定程度より大きく減少することを、判定条件ＣＢ５として設定することができる。
【０１１８】
また、このような場合において、所定方向への所定程度の変化を、変化量と固定的な閾値との比較処理を用いて判断することに限定されない。例えば、各評価値に関する閾値を時間変化させることによって所定方向への変化の有無を判定するようにしてもよい。具体的には、或る時刻Ｔで評価値ＶＬ（例えば回転角度θ）が取得された時点のｔ秒後の評価値ＶＬについての閾値Ｔｈを、所定の単調減少関数Ｑ（ｔ）を用いて、Ｔｈ＝Ｑ（ｔ）＋ＶＬ、となるように設定し、時間の経過にしたがって徐々に厳しくなる閾値Ｔｈと現在の評価値とを比較することによって、所定方向への変化の有無を判定するようにしてもよい。
【０１１９】
さらには、変化の「方向」のみを考慮し、変化の大きさを問わないようにしてもよい。例えば、変化の方向が確認できる場合には、変化の大きさを判断することなく、「変化」が検出されたものとして判定するようにしてもよい。
【０１２０】
また、判定の精度をより高めるために、画像（テクスチャ画像）から得られる情報を併用（例えば条件のＡＮＤ（論理積）をとる等）してもよい。画像（テクスチャ画像）から得られる情報の例として、テクスチャ情報に基づく「顔向き」がある。この「顔向き」は、例えば、画像内の肌色領域や楕円領域を検出することによって顔領域を取得するとともに、当該顔領域内で黒目検出処理を行うことによって両眼の当該顔領域内での位置を求め、当該顔領域内での顔の輪郭と両眼との位置関係に基づいて得られる。このような「顔向き」の変化量と閾値との比較結果に関する条件を併用すること等によって、「変化」を検出するようにしてもよい。
【０１２１】
＜３．第３実施形態＞
第３実施形態は、第１実施形態および第２実施形態の変形例である。以下、相違点を中心に説明する。
【０１２２】
この第３実施形態においては、判定条件ＣＡと判定条件ＣＢとの両方を用いる場合を例示する。詳細には、この第３実施形態では、まず、判定条件ＣＡを用いて３次元情報ＭＢの取得の是非が判定され、その後、３次元情報ＭＢの取得が一旦開始されると今度は判定条件ＣＢを用いて３次元情報ＭＢの再取得の是非が判定される。
【０１２３】
図１７は、第３実施形態に係る３次元情報取得動作を示すフローチャートである。
【０１２４】
ステップＳ１２〜Ｓ１６は、第１実施形態と同様である（図９参照）。その後、ステップＳ３２で新たな３次元情報ＭＡが取得されると、ステップＳ３３で当該新たな３次元情報ＭＡに関する判定条件ＣＢが満たされているか否かが判定される。
【０１２５】
ステップＳ３３で判定条件ＣＢが満たされていないと判定されると、比較的高精度の３次元情報ＭＢを算出することなく、処理対象画像を次のフレーム画像に変更して（ステップＳ３４）、再びステップＳ３２に戻り、ステップＳ３２の３次元情報ＭＡの取得動作およびステップＳ３３の判定動作が実行される。これによって、信頼性の低い３次元情報ＭＢが算出されることを回避できる。
【０１２６】
一方、ステップＳ３３で判定条件ＣＢが満たされていると判定されると、高解像度の画像ＧＢが取得され（ステップＳ３５）、当該画像ＧＢに基づいて比較的高精度の３次元情報ＭＢが算出される（ステップＳ３６）。また、取得された新たな３次元情報ＭＢに基づいて、３次元情報ＭＢが更新される（ステップＳ３７）。その後、処理対象画像を次のフレーム画像に変更して（ステップＳ３４）、再びステップＳ３２に戻る。
【０１２７】
なお、３次元情報ＭＢの「更新」の態様には、例えば、
「置換」：以前の取得情報に新たな取得情報を上書きして記憶する、
「追加」：以前の取得情報に加えて新たな取得情報を別個の情報として追加して記憶する、
「合成」：以前の取得情報と新たな取得情報とを合成した情報を記憶する（合成後の情報を「新たな情報」として記憶する）、
などの態様が存在する。
【０１２８】
以上のような動作によれば、信頼性の高い３次元情報ＭＢを適時に算出して取得することが可能になる。また、画像ＧＢは適時に取得されるので、画像ＧＢを常に追加的に記憶していく場合に比べて、不要画像の蓄積による使用記憶容量の増大を回避することができる。また、３次元情報ＭＢが適時に更新されるので、３次元情報ＭＢを常に追加的に記憶していく場合に比べて、不要な３次元情報ＭＢの蓄積による使用記憶容量の増大を回避することができる。
【０１２９】
＜４．第４実施形態＞
第４実施形態においても、判定条件ＣＡと判定条件ＣＢとの両方を用いる変形例を例示する。この第４実施形態では、まず、判定条件ＣＡのみを用いて３次元情報ＭＢの取得の是非が判定され、その後、３次元情報ＭＢの取得が一旦開始されると、今度は判定条件ＣＡと判定条件ＣＢとの両方を用いて３次元情報ＭＢの再取得の是非が判定される。
【０１３０】
図１８は、第４実施形態に係る３次元情報取得動作を示すフローチャートである。
【０１３１】
ステップＳ１２〜Ｓ１６は、第１実施形態と同様である（図９参照）。その後、ステップＳ４２で新たな３次元情報ＭＡが取得されると、ステップＳ４３で当該新たな３次元情報ＭＡに関する判定条件ＣＡと判定条件ＣＢとの両方が満たされているか否かが判定される。
【０１３２】
ステップＳ４３で両判定条件ＣＡ，ＣＢの少なくとも一方が満たされていないと判定されると、比較的高精度の３次元情報ＭＢを算出することなく、処理対象画像を次のフレーム画像に変更して（ステップＳ４８）、再びステップＳ４２に戻り、ステップＳ４２の３次元情報ＭＡの取得動作およびステップＳ４３の判定動作が実行される。これによって、信頼性の低い３次元情報ＭＢが算出されることを回避できる。
【０１３３】
一方、ステップＳ４３で判定条件ＣＡと判定条件ＣＢとのいずれもが満たされていると判定されると、高解像度の画像ＧＢが取得され（ステップＳ４５）、当該画像ＧＢに基づいて比較的高精度の３次元情報ＭＢが算出される（ステップＳ４６）。また、取得された新たな３次元情報ＭＢに基づいて、３次元情報ＭＢが更新される（ステップＳ４７）。
【０１３４】
以上のような動作によれば、第３実施形態と同様の効果を得ることができる。また、特に、３次元情報ＭＢは、判定条件ＣＡ，ＣＢの両方が満たされる場合にのみ取得（再取得）されるので、さらに信頼性の高い３次元情報ＭＢを適時に算出して取得することが可能になる。換言すれば、より厳選されたタイミングで３次元情報ＭＢを取得することが可能になる。
【０１３５】
＜５．第５実施形態＞
第５実施形態は、第１実施形態の変形例である。以下、相違点を中心に説明する。
【０１３６】
ここにおいて、上述の判定条件ＣＡは、３次元情報ＭＢの取得を開始する条件である開始条件ＣＡｓと、３次元情報ＭＢの取得を続行する条件である続行条件ＣＡｅとに区別することが可能である。この第５実施形態においては、開始条件ＣＡｓと続行条件ＣＡｅとが、互いに異なる厳しさを有するように設定される場合について例示する。
【０１３７】
具体的には、新たな被写体検知の感度を向上させたい場合には、開始条件ＣＡｓを続行条件ＣＡｅよりも緩い条件となるように設定すればよい。
【０１３８】
例えば、判定条件ＣＡとして、上記の判定条件ＣＡ２（カメラ２０から被写体までの最短距離ＤＳが所定の範囲内に存在する（ＤＡ＜ＤＳ＜ＤＢ）こと（図６参照））を採用する場合には、開始条件ＣＡｓにおける遠側の閾値ＤＢ（ＤＢｓ）を、続行条件ＣＡｅにおける遠側の閾値ＤＢ（ＤＢｅ）よりも大きな値に設定すればよい。また、それに代えて或いはそれに加えて、開始条件ＣＡｓにおける近側の閾値ＤＡ（ＤＡｓ）を、続行条件ＣＡｅにおける近側の閾値ＤＡ（ＤＡｅ）よりも小さな値に設定してもよい。
【０１３９】
あるいは、判定条件ＣＡとして、上記の判定条件ＣＡ１（相関値（ＣＯＲ値）が所定の閾値ＴＨより大きいこと（図３参照））を採用する場合には、開始条件ＣＡｓにおける閾値ＴＨ（ＴＨｓ）を、続行条件ＣＡｅにおける閾値ＴＨ（ＴＨｅ）よりも小さな値に設定すればよい。
【０１４０】
また、逆に、その存在が確実に確認された被写体に対して多数回の情報取得を行いたい場合には、開始条件ＣＡｓを続行条件ＣＡｅよりも厳しい条件となるように設定すればよい。
【０１４１】
例えば、判定条件ＣＡとして、上記の判定条件ＣＡ２（図６参照）を採用する場合には、開始条件ＣＡｓにおける遠側の閾値ＤＢ（ＤＢｓ）を、続行条件ＣＡｅにおける遠側の閾値ＤＢ（ＤＢｅ）よりも小さな値に設定すればよい。また、それに代えて或いはそれに加えて、開始条件ＣＡｓにおける近側の閾値ＤＡ（ＤＡｓ）を、続行条件ＣＡｅにおける近側の閾値ＤＡ（ＤＡｅ）よりも大きな値に設定してもよい。
【０１４２】
あるいは、判定条件ＣＡとして、上記の判定条件ＣＡ１（図３参照）を採用する場合には、開始条件ＣＡｓにおける閾値ＴＨ（ＴＨｓ）を、続行条件ＣＡｅにおける閾値ＴＨ（ＴＨｅ）よりも大きな値に設定すればよい。
【０１４３】
図１９は、第５実施形態に係る３次元情報取得動作を示すフローチャートである。
【０１４４】
ステップＳ１２〜Ｓ１６は、第１実施形態と同様である（図９参照）。ただし、ステップＳ１３（Ｓ１３ｓ）においては、判定条件ＣＡとして開始条件ＣＡｓが採用される。すなわち、開始条件ＣＡｓが満たされていると判定される場合に、３次元情報ＭＢの算出処理等が許可され、画像ＧＢの取得動作（ステップＳ１５）および３次元情報ＭＢの取得動作（ステップＳ１６）が実行される。
【０１４５】
ステップＳ１６の後、ステップＳ５２で新たな３次元情報ＭＡが取得されると、ステップＳ５３で当該新たな３次元情報ＭＡに関する判定条件ＣＡが満たされているか否かが判定される。ただし、ステップＳ５３においては、判定条件ＣＡとして続行条件ＣＡｅが採用される。
【０１４６】
ステップＳ５３で判定条件ＣＡ（続行条件ＣＡｅ）が満たされていると判定されると、３次元情報ＭＢの算出処理等が継続して許可される。具体的には、高解像度の画像ＧＢが取得（再取得）され（ステップＳ５５）、当該画像ＧＢに基づいて比較的高精度の３次元情報ＭＢが算出される（ステップＳ５６）。また、取得された新たな３次元情報ＭＢに基づいて、３次元情報ＭＢが更新される（ステップＳ５７）。その後、処理対象画像を次のフレーム画像に変更して（ステップＳ５８）、再びステップＳ５２に戻る。
【０１４７】
一方、ステップＳ５３で続行条件ＣＡｅが満たされていないと判定されると、比較的高精度の３次元情報ＭＢを算出することなく、処理対象画像を次のフレーム画像に変更して（ステップＳ５４）、再びステップＳ１２に戻る。すなわち、３次元情報ＭＢの算出処理等が禁止され、継続的な３次元情報ＭＢの算出処理が中止されて終了することになる。これによれば、信頼性の低い３次元情報ＭＢが算出されることを回避できる。
【０１４８】
なお、ステップＳ１２に戻った後には、開始条件ＣＡｓを用いた判定動作等が再び実行される（ステップＳ１２，Ｓ１３）。
【０１４９】
以上のような動作によれば、第１実施形態と同様の効果を得ることができる。また、３次元情報ＭＡに関する開始条件ＣＡｓが満たされている場合に３次元情報ＭＢの算出が許可され、３次元情報ＭＡに関する続行条件ＣＡｅが満たされていない場合に３次元情報ＭＢの算出が禁止されるので、３次元情報の取得処理の開始と終了とを自動的に決定することができる。また、特に、開始条件ＣＡｓと続行条件ＣＡｅとは、互いに異なる厳しさを有するので、３次元情報ＭＢの取得開始のタイミングと３次元情報ＭＢの取得終了のタイミングとを異なる基準で決定することが可能である。したがって、より好適なタイミングで３次元情報ＭＢを取得することが可能である。
【０１５０】
＜６．第６実施形態＞
第６実施形態は、第１実施形態の変形例である。以下、相違点を中心に説明する。
【０１５１】
上記の各実施形態において、情報処理装置３の性能にもよるが、情報算出部５２ｂによる３次元情報ＭＢの算出には比較的長時間を要することがある。
【０１５２】
そのような場合に、３次元情報ＭＢの算出処理中に新たな３次元情報ＭＢの取得タイミングが発生すると、情報処理装置３は、直ぐに当該新たな３次元情報ＭＢの取得動作に移行できず、当該タイミングでの３次元情報ＭＢを取得し損ねてしまうことも考えられる。特に、取得し損ねた３次元情報ＭＢは、より好適な３次元情報ＭＢである場合も存在し得るため、このようなタイミングの逸失は回避することが好ましい。
【０１５３】
そこで、この第６実施形態においては、より確実に３次元情報ＭＢを取得することが可能な手法を例示する。
【０１５４】
具体的には、前回の３次元情報ＭＢの算出処理の開始時点に対応する３次元情報ＭＡに基づく評価値ＶＡ（ＶＡａ）と、今回の３次元情報ＭＢの算出処理ＰＳａの開始時点に対応する３次元情報ＭＡに基づく評価値ＶＡ（ＶＡｂ）とを求め、両者ＶＡａ，ＶＡｂを比較する。そして、今回の評価値ＶＡｂの方が良好であると判定される場合において、前回の３次元情報ＭＢの算出処理が未だ終了していないときには、当該前回の３次元情報ＭＢの算出処理を中止して、今回の３次元情報ＭＢを算出処理を実行する。この状況において、前回の３次元情報ＭＢの算出処理が中止されるので、前回の３次元情報ＭＢの算出処理の影響を受けて今回の３次元情報ＭＢの算出処理が不可能になる事態を回避できる。また、前回の３次元情報ＭＢの算出処理に代えて、評価値ＶＡ（ＶＡｂ）が比較的良好な今回の３次元情報ＭＢの算出処理をより確実に実行することができる。
【０１５５】
図２０は、第６実施形態に係る３次元情報取得動作を示すフローチャートである。
【０１５６】
ステップＳ１２〜Ｓ１６は、第１実施形態と同様である（図９参照）。ただし、ステップＳ１３で判定条件ＣＡを満たすと判定される場合には、画像ＧＢの取得動作（ステップＳ１５）および３次元情報ＭＢの算出処理（ステップＳ１６）に加えて、撮影条件（撮影状況）を評価する評価値ＶＡの算出処理（ステップＳ６１）も実行される。ステップＳ６１では、３次元情報ＭＡに基づいて評価値ＶＡが求められる。
【０１５７】
この評価値ＶＡとしては、例えば、上述の条件ＣＡ１で利用したＣＯＲ値、を採用することができる。また、上述の条件ＣＢ１で利用した基準状態（正面からの撮影状態）からの回転角度θの逆数（正面向き度合いを表す）、条件ＣＢ４で利用した分散の逆数、あるいは、条件ＣＢ５で利用した楕円度の逆数等を採用するようにしてもよい。また、上記条件ＣＡ，ＣＢで例示した他の評価値を採用するようにしてもよい。また、これらを含む複数の要素の幾つかを組み合わせた評価関数に基づいて評価値ＶＡを算出するようにしてもよい。
【０１５８】
ステップＳ６１で取得された評価値ＶＡは「前回の評価値ＶＡ（ＶＡａ）」として記憶される（ステップＳ６２）。具体的には、前回の評価値ＶＡを表す変数に、ステップＳ６１で取得された評価値ＶＡが代入される。これにより、「前回の評価値ＶＡ（ＶＡａ）」が更新される。
【０１５９】
その後、ステップＳ６３で新たな３次元情報ＭＡが取得されると、ステップＳ６４で当該３次元情報ＭＡに基づいて今回の（新たな）評価値ＶＡ（ＶＡｂ）が算出される。
【０１６０】
次のステップＳ６５では、今回の評価値ＶＡｂが前回の評価値ＶＡａより大きい（良好である）か否かが判定される。
【０１６１】
ステップＳ６５で今回の評価値ＶＡｂが前回の評価値ＶＡａより大きい（良好である）と判定されると、３次元情報ＭＢを算出するための初期化処理が実行される（ステップＳ６７）。この初期化処理は、前回の３次元情報ＭＢの算出処理が終了しているか否かに関わらず実行される。そのため、前回の３次元情報ＭＢの算出処理が未だ終了していないときには、当該前回の３次元情報ＭＢの算出処理が中止されることになる。
【０１６２】
その後、高解像度の画像ＧＢが取得され（ステップＳ６８）、当該画像ＧＢに基づいて比較的高精度の３次元情報ＭＢが算出される（ステップＳ６９）。また、取得された新たな３次元情報ＭＢに基づいて、３次元情報ＭＢが更新される（ステップＳ７０）。そして、処理対象画像を次のフレーム画像に変更して（ステップＳ６６）、再びステップＳ６２に戻る。なお、ステップＳ６２では、ステップＳ６４で取得されていた評価値ＶＡが「前回の評価値ＶＡ（ＶＡａ）」として記憶され、「前回の評価値ＶＡ（ＶＡａ）」が更新される。
【０１６３】
このような動作によって、前回よりも良好な最新の３次元情報ＭＢが、より確実に取得される。
【０１６４】
一方、ステップＳ６５で今回の評価値ＶＡｂが前回の評価値ＶＡａ以下であると判定されると、新たな３次元情報ＭＢの算出処理を開始することなく、処理対象画像を次のフレーム画像に変更して（ステップＳ６６）、再びステップＳ６２に戻る。これによって、信頼性の低い３次元情報ＭＢが算出されることを回避できる。
【０１６５】
以上のような動作によれば、第１実施形態と同様の効果を得ることができる。
【０１６６】
また、特に、上記の動作中に未完了の３次元情報ＭＢの算出処理ＰＳａが存在する場合において、当該算出処理ＰＳａの開始時点に対応する３次元情報ＭＡに基づく評価値ＶＡ（ＶＡａ）と、新たな３次元情報ＭＢの算出処理ＰＳｂの開始時点に対応する３次元情報ＭＡに基づく評価値ＶＡ（ＶＡｂ）とが比較され、評価値ＶＡｂの方が良好であると判定されるときには、未完了の算出処理ＰＳａを中止して、新たな算出処理ＰＳｂが実行される。したがって、当該第２の算出処理の実行が妨げられることを回避できる。また、より良好な評価値に対応する第２の算出処理が実行されるため、より良好な３次元情報を取得できる。すなわち、より良好な撮影状況に対応する３次元情報ＭＢをより確実に取得することが可能である。
【０１６７】
なお、この第６実施形態においては、前回の評価値ＶＡａと今回の評価値ＶＡｂとを比較し、今回の３次元情報ＭＢの算出処理を優先させるか否かを決定しているが、これに限定されない。
【０１６８】
例えば、次のような改変が可能である。具体的には、上記と同様の動作中に現在実行中（すなわち未完了）の３次元情報ＭＢの算出処理が存在する場合を想定する。この場合において、現在実行中の算出処理ＰＳｃの開始時点Ｔｃに対応する３次元情報ＭＡに基づく評価値ＶＡ（ＶＡｃ）を、少なくとも当該算出処理ＰＳｃの処理完了時点まで記憶しておく。そして、時点Ｔｃよりも後の或る時点Ｔｄに対応する３次元情報ＭＡに基づく新たな評価値ＶＡ（ＶＡｄ）が求められると、両者ＶＡｃ，ＶＡｄを比較する。なお、この評価値ＶＡｄは、新たな３次元情報ＭＢの算出処理ＰＳｄの開始時点に対応する３次元情報ＭＡに基づく評価値ＶＡであるとも表現される。
【０１６９】
そして、後者の評価値ＶＡｄの方が評価値ＶＡｃよりも良好であると判定されるときには、現在実行中の３次元情報ＭＢの算出処理ＰＳｃを中止して、当該新たな３次元情報ＭＢの算出処理ＰＳｄを実行するのである。
【０１７０】
ここにおいて、新たな評価値ＶＡ（ＶＡｄ）の比較対象は、現在実行中の算出処理ＰＳｃの開始時点に対応する３次元情報ＭＡに基づく評価値ＶＡ（ＶＡｃ）であり、必ずしも、前回求めた評価値ＶＡに限定されない。
【０１７１】
これによれば、例えば、直前よりもさらに前の評価値に対応する３次元情報ＭＢの算出処理ＰＳｃ（未完了処理）の途中で、新たな３次元情報ＭＢの算出処理ＰＳｄを実行しようとする場合においても、当該未完了処理ＰＳｃを中止して、新たな３次元情報ＭＢをより確実に取得することが可能である。
【０１７２】
＜７．変形例＞
以上、この発明の実施の形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０１７３】
たとえば、上記第１実施形態においては、画像ＧＢおよび３次元情報ＭＢを１回だけ算出しているがこれに限定されず、複数回にわたって３次元情報ＭＢを算出するようにしてもよい。具体的には、ステップＳ１６（図９）の後に、処理対象画像を次のフレームに変更して、再びステップＳ１２に戻るようにすればよい。また、２回目以降の３次元情報ＭＢの算出処理が行われた場合には、３次元情報ＭＢの更新処理を行うようにすればよい。なお、上記第５実施形態（図１９参照）において、開始条件ＣＡｓと続行条件ＣＡｅとを同じ条件に設定した改変例も、同様の思想の変形例に相当する。
【０１７４】
第２実施形態についても同様であり、判定条件ＣＢによる判定処理を伴って、複数回にわたって３次元情報ＭＢを算出するようにしてもよい。
【０１７５】
また、判定条件ＣＡは、上述したものに限定されない。例えば、第２実施形態の判定条件ＣＢで用いた各評価値と各対応閾値との比較結果に関する条件を、第１実施形態等における判定条件ＣＡとして採用するようにしてもよい。詳細には、条件ＣＢ１における「回転角度θ」が所定の閾値以下であること（すなわち、顔の向きが正面に近いこと）を、判定条件ＣＡとして採用することなどが可能である。
【０１７６】
また、判定条件ＣＢは、上述したものに限定されない。例えば、第１実施形態の判定条件ＣＡで用いた各評価値と各対応閾値との比較結果に関する条件を、第２実施形態等における判定条件ＣＢとして採用するようにしてもよい。詳細には、最短距離ＤＳが所定量よりも大きく変化する（近くなる或いは遠くなる）ことを、判定条件ＣＢとして採用することなどが可能である。
【０１７７】
また、上記各実施形態においては、画像ＧＢに基づく３次元情報ＭＢの取得に際して、画像ＧＡの全体領域に対応する画像ＧＢの全体領域を対象にする場合を例示したが、これに限定されず、画像ＧＢ内における３次元情報ＭＢの算出対象領域を３次元情報ＭＡに基づいて画像ＧＡの一部領域に対応する領域に限定して設定し、当該算出対象領域の画像情報に基づいて３次元情報ＭＢを算出するようにしてもよい。すなわち、３次元情報ＭＡに基づいて、３次元情報ＭＢの算出対象領域を画像ＧＢの全体領域の一部に限定するようにしてもよい。
【０１７８】
例えば、被写体である人物が或る奥行き距離範囲内に存在することが確認された場合に、さらに、その被写体人物の顔部分について高精細な３次元情報ＭＢを取得して、当該顔部分を認識する状況を想定する。なお、ここでは画像ＧＢは、画像ＧＡと異なる解像度を有するが、画像ＧＡと同一の対象領域を撮影した画像であるものとする。
【０１７９】
図２１に示すように、この状況において、ステレオ画像ＧＢのうちの基準画像ＧＢ１内での顔部分ＨＭの平面位置を画像ＧＡ（詳細には基準画像ＧＡ１）に基づいて特定して、当該顔部分の存在領域を算出対象領域ＲＧ１として採用する。また、ステレオ画像ＧＢの他方の画像ＧＢ２において、当該顔部分が存在し得る限定領域（平面領域）ＲＧ２を求める。すなわち、画像ＧＢ２内の一部領域ＲＧ２を算出対象領域ＲＧ２として採用する。具体的には、３次元情報ＭＡ（当該顔部分の奥行き位置（詳細には、顔部分に対応する最至近距離ＤＮ（図２２参照）および最遠方距離ＤＦ））と、画像ＧＢ１のＸ方向における顔部分の存在領域ＲＸ１と、視差情報と、幾何学的関係とに基づいて、画像ＧＢ２内において当該被写体人物の顔部分ＨＭが存在し得るＸ方向範囲ＲＸ２を求め当該範囲ＲＸ２を含む領域ＲＧ２を、３次元情報ＭＢの算出処理対象領域として特定する。そして、この一部領域ＲＧ２の画像情報を用いることによって、３次元情報ＭＢを取得することができる。
【０１８０】
このようにステレオ画像ＧＢ（ＧＢ１，ＧＢ２）のうち、顔が存在し得る限定された範囲ＲＧ１，ＲＧ２のみを処理対象にして、３次元情報ＭＢの算出処理を行うことが可能である。これによれば、算出対象領域が限定されるので、処理負担を低減して処理時間を短縮することが可能である。
【０１８１】
また、上記各実施形態においては、画像ＧＢは、画像ＧＡと同一のカメラ２０で撮影された撮影画像に基づいて取得される場合を例示したが、これに限定されない。例えば、画像ＧＡ取得用のステレオカメラと画像ＧＢ取得用のステレオカメラとを別個に備えるようにしてもよい。
【０１８２】
また、上記各実施形態においては、情報処理装置３がカメラユニット２とは別体として構成される場合を例示しているが、これに限定されない。例えば、情報処理装置３がカメラユニット２に内蔵される態様であってもよい。
【図面の簡単な説明】
【０１８３】
【図１】３次元情報取得システムの要部構成を示す概略図である。
【図２】３次元情報取得システムの機能的構成を示すブロック図である。
【図３】ＳＡＤ法を用いた対応点探索処理を説明するための図である。
【図４】位相限定相関法（ＰＯＣ法）を用いた対応点探索処理を説明するための図である。
【図５】ＰＯＣ値の算出結果を示す図である。
【図６】被写体までの最短距離に関する条件を説明するための図である。
【図７】画像内での占有度に関する条件を説明するための図である。
【図８】画像内での占有度に関する条件を説明するための図である。
【図９】情報処理装置における処理動作を示すフローチャートである。
【図１０】変形例に係る処理動作を示すフローチャートである。
【図１１】第２実施形態に係る３次元情報取得動作を示すフローチャートである。
【図１２】被写体の回転角度について説明するための図である。
【図１３】物体断面積を説明するための図である。
【図１４】射影面積について説明するための図である。
【図１５】対象物体表面の奥行き位置のばらつき（分散）について説明するための図である。
【図１６】楕円度について説明する図である。
【図１７】第３実施形態に係る３次元情報取得動作を示すフローチャートである。
【図１８】第４実施形態に係る３次元情報取得動作を示すフローチャートである。
【図１９】第５実施形態に係る３次元情報取得動作を示すフローチャートである。
【図２０】第６実施形態に係る３次元情報取得動作を示すフローチャートである。
【図２１】３次元情報取得のための対象画像領域を限定する様子を示す図である。
【図２２】被写体と撮像系との平面位置関係を示す図である。
【符号の説明】
【０１８４】
１  ３次元情報取得システム
２  カメラユニット
３  情報処理装置
２０  ステレオカメラ（カメラ）
２１、２２  撮像系
ＧＡ  低解像度画像（時系列画像）
ＧＢ  高解像度画像
ＣＡ，ＣＢ  判定条件
ＣＡｅ  続行条件
ＣＡｓ  開始条件
ＤＦ  最遠方距離（閾値）
ＤＮ  最至近距離（閾値）
ＤＳ  最短距離
【図１】
2008089410.tif 000009
【図２】
2008089410.tif 000010
【図３】
2008089410.tif 000011
【図４】
2008089410.tif 000012
【図５】
2008089410.tif 000013
【図６】
2008089410.tif 000014
【図７】
2008089410.tif 000015
【図８】
2008089410.tif 000016
【図９】
2008089410.tif 000017
【図１０】
2008089410.tif 000018
【図１１】
2008089410.tif 000019
【図１２】
2008089410.tif 000020
【図１３】
2008089410.tif 000021
【図１４】
2008089410.tif 000022
【図１５】
2008089410.tif 000023
【図１６】
2008089410.tif 000024
【図１７】
2008089410.tif 000025
【図１８】
2008089410.tif 000026
【図１９】
2008089410.tif 000027
【図２０】
2008089410.tif 000028
【図２１】
2008089410.tif 000029
【図２２】
2008089410.tif 000030