(57)【要約】【課題】対象物の３次元位置を精度良く推定することができる位置推定装置、方法、及びプログラムを提供する。【解決手段】第１取得部は、対象物が撮影された第１画像上での対象物のサイズと、第１画像上での対象物の位置とに関する第１データを取得する。第２取得部は、（１）対象物までの距離、又は（２）対象物が撮影された第２画像上での対象物の位置、に関する第２データを取得する。第１算出部は、第１データから推定される対象物の第１実サイズと、第２データから推定される対象物の第２実サイズとに対する重みを、第１データと第２データとに基づいて算出する。第２算出部は、第１実サイズと第２実サイズと重みとを用いて、対象物の第３実サイズを算出する。推定部は、第３実サイズから、対象物の３次元位置を推定する。【選択図】図１
2014002489.tif 000002
【特許請求の範囲】
【請求項１】
対象物が撮影された第１画像上での前記対象物のサイズと、前記第１画像上での前記対象物の位置とに関する第１データを取得する第１取得部と、
（１）前記対象物までの距離、又は（２）前記対象物が撮影された第２画像上での前記対象物の位置、に関する第２データを取得する第２取得部と、
前記第１データから推定される前記対象物の第１実サイズと、前記第２データから推定される前記対象物の第２実サイズとに対する重みを、前記第１データと前記第２データとに基づいて算出する第１算出部と、
前記第１実サイズと前記第２実サイズと前記重みとを用いて、前記対象物の第３実サイズを算出する第２算出部と、
前記第３実サイズから、前記対象物の３次元位置を推定する推定部と
を備える、位置推定装置。
【請求項２】
前記第１算出部は、前記第２データの信頼度に応じて前記重みを算出する、
請求項１記載の位置推定装置。
【請求項３】
前記第２取得部は、前記第１画像の画素毎、又は前記第２画像の画素毎に、前記第２データを取得し、
前記第１算出部は、前記第２データを取得することが可能な画素が小さい程、前記第１データに対する重みを相対的に大きくする、
請求項２記載の位置推定装置。
【請求項４】
各時刻の前記実サイズを記憶する記憶部をさらに備え、
前記２算出部は、過去時刻の前記第３実サイズをさらに用いて、現在時刻の前記第１実サイズを算出する、
請求項１〜３記載の位置推定装置。
【請求項５】
前記第２取得部は、前記第１データを用いて、前記第２データを算出する、
請求項１記載の位置推定装置。
【請求項６】
前記重みに応じて、推定された前記対象物の３次元位置を修正する修正部をさらに備える、
請求項１記載の位置推定装置。
【請求項７】
対象物が撮影された第１画像上での前記対象物のサイズと、前記第１画像上での前記対象物の位置とに関する第１データを取得し、
（１）前記対象物までの距離、又は（２）前記対象物が撮影された第２画像上での前記対象物の位置、に関する第２データを取得し、
前記第１データから推定される前記対象物の第１実サイズと、前記第２データから推定される前記対象物の第２実サイズとに対する重みを、前記第１データと前記第２データとに基づいて算出し、
前記第１実サイズと前記第２実サイズと前記重みとを用いて、前記対象物の第３実サイズを算出し、
前記第３実サイズから、前記対象物の３次元位置を推定する、
位置推定方法。
【請求項８】
コンピュータを、
対象物が撮影された第１画像上での前記対象物のサイズと、前記第１画像上での前記対象物の位置とに関する第１データを取得する手段と、
（１）前記対象物までの距離、又は（２）前記対象物が撮影された第２画像上での前記対象物の位置、に関する第２データを取得する手段と、
前記第１データから推定される前記対象物の第１実サイズと、前記第２データから推定される前記対象物の第２実サイズとに対する重みを、前記第１データと前記第２データとに基づいて算出する手段と、
前記第１実サイズと前記第２実サイズと前記重みとを用いて、前記対象物の第３実サイズを算出する手段と、
前記第３実サイズから、前記対象物の３次元位置を推定する手段と
して機能させる、位置推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、位置推定装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
人物を可視光カメラで撮影した画像と、距離センサで測定した当該人物までの距離とに基づいて、実空間上での当該人物の３次元位置を推定する位置推定装置がある。
【０００３】
このような位置推定装置には、撮影した画像における人物の顔領域を検出し、当該顔領域に対応する方向を距離センサでセンシングして当該人物までの距離を測定することにより、当該人物の３次元位置を推定しようとするものがある。
【０００４】
しかしながら、距離センサで測定可能な範囲は限られているため、人物の位置によっては、当該人物の３次元位置を精度良く推定することができない。
【０００５】
一方、人物を２つの可視光カメラ（ステレオカメラ）で撮影した画像から、実空間上での当該人物の３次元位置を推定する位置推定装置がある。
【０００６】
このような位置推定装置には、撮影した各画像における人物の顔領域の位置に基づき、三角測量によって当該人物の３次元位置を推定しようとするものがある。
【０００７】
しかしながら、人物の位置によっては、一方のカメラにしか当該人物が写らない場合があり、当該人物の３次元位置を精度良く推定することができない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１１−２１７２２９号公報
【非特許文献】
【０００９】
【非特許文献１】Ｐａｕｌ  Ｖｉｏｌａ  ａｎｄ  Ｍｉｃｈａｅｌ  Ｊｏｎｅｓ，“Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ”ＩＥＥＥ  ｃｏｎｆ．  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ  ２００１）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
発明が解決しようとする課題は、対象物の３次元位置を精度良く推定することができる位置推定装置、方法、及びプログラムを提供することである。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の一の実施形態に係る位置推定装置は、第１取得部と、第２取得部と、第１算出部と、第２算出部と、推定部とを備える。
【００１２】
第１取得部は、対象物が撮影された第１画像上での前記対象物のサイズと、前記第１画像上での前記対象物の位置とに関する第１データを取得する。第２取得部は、（１）前記対象物までの距離、又は（２）前記対象物が撮影された第２画像上での前記対象物の位置、に関する第２データを取得する。第１算出部は、前記第１データから推定される前記対象物の第１実サイズと、前記第２データから推定される前記対象物の第２実サイズとに対する重みを、前記第１データと前記第２データとに基づいて算出する。第２算出部は、前記第１実サイズと前記第２実サイズと前記重みとを用いて、前記対象物の第３実サイズを算出する。推定部は、前記第３実サイズから、前記対象物の３次元位置を推定する。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態に係る位置推定装置１の利用形態を表す一例図。
【図２】位置推定装置１を表すブロック図。
【図３】位置推定装置１の処理を表すフローチャート。
【図４】第１取得部１１の処理を表すフローチャート。
【図５】人物領域の一例図。
【図６】第２取得部１２の処理を表すフローチャート。
【図７】可視光カメラ１０１と人物との位置関係、及び人物のサイズについての説明図。
【図８】第２算出部１４の処理を表すフローチャート。
【図９】第２の実施形態に係る位置推定装置２の利用形態を表す一例図。
【図１０】第２の実施形態における第２取得部１２の処理を表すフローチャート。
【図１１】位置推定装置３を表すブロック図。
【図１２】位置推定装置４を表すブロック図。
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について図面を参照して詳細に説明する。
【００１５】
本願明細書と各図において、既出の図に関して前述したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【００１６】
（第１の実施形態）
第１の実施形態に係る位置推定装置１は、専用メガネ無しで立体画像を観察可能なＴＶ（テレビ）、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、医用モニタ、スマートフォン、デジタルフォトフレーム等の立体画像表示装置や、デジタルカメラ等に用いられ得る。
【００１７】
図１に示すように、位置推定装置１は、可視光カメラ１０１と距離センサ１０２とを用いて、人物の３次元位置を推定するものである。例えば、位置推定装置１が立体画像表示装置１０に用いられる場合、立体画像表示装置１０は、推定された人物（観察者）の３次元位置に基づいて、観察者が立体画像を観察可能な視域を制御することができる。
【００１８】
また、例えば、位置推定装置１がデジタルカメラ（不図示）に用いられる場合、デジタルカメラは、推定された人物（被写体）の位置に基づいて、レンズのフォーカスを制御することができる。
【００１９】
位置推定装置１は、可視光カメラ１０１によって人物を撮影した画像上での、当該人物の顔領域のサイズに関する第１データを求める。位置推定装置１は、距離センサ１０２を用いて、可視光カメラ１０１から当該人物までの距離に関する第２データを求める。位置推定装置１は、第１データと第２データとに基づいて、当該人物の実際のサイズ（実サイズ）を算出し、当該実サイズから当該人物の３次元位置を推定する。
【００２０】
図２は、位置推定装置１を表すブロック図である。位置推定装置１は、第１取得部１１と、第２取得部１２と、第１算出部１３と、第２算出部１４と、推定部１５とを備える。
【００２１】
第１取得部１１は、可視光カメラ１０１で撮影した第１画像から、人物が写っている領域（人物領域）を検出し、当該人物領域のサイズ及び位置に関する第１データを取得する。人物領域は、人物全体の領域に限られず、人物の一部の領域（例えば、顔領域）であっても構わない。本実施形態では、人物領域は、顔領域であるとして説明する。第１画像は、可視光カメラ１０１が撮影した動画のフレームであってよい。第１取得部１１は、第１データを、第１算出部１３と、第２算出部１４と、推定部１５とに供給する。
【００２２】
第２取得部１２は、距離センサ１０２のセンシング情報から、当該人物までの距離に関する第２データを取得する。すなわち、本実施形態における第２データは、可視光カメラ１０１から当該人物までの距離に関するものである。第２取得部１２は、第２データを、第１算出部１３と、第２算出部１４とに供給する。
【００２３】
第１算出部１３は、第１データから推定される人物の第１実サイズと、第２データから推定される第２実サイズとに対する重みを、第１データと第２データとに基づいて算出する。第１算出部１３は、算出した重みを第２算出部１４に供給する。第１実サイズ、第２実サイズ、第３実サイズについては後に詳述する。
【００２４】
第２算出部１４は、第１実サイズと第２実サイズと重みとに基づいて、より精度の高い人物の第３実サイズを算出する。第２算出部１４は、第３実サイズを推定部１５に供給する。第２算出部１４は、第３実サイズを記憶部５１に書き込む。記憶部５１に書き込まれた第３実サイズは、第１取得部１１が、次の時刻以降の第１データを取得する際に用いられる（後述する）。
【００２５】
推定部１５は、当該人物の実サイズと第１データとから、当該人物の３次元位置を推定する。推定部１５は、推定した３次元位置を出力部１６に供給する。
【００２６】
出力部１６は、推定した３次元位置を、例えば立体画像表示装置やデジタルカメラ等に出力する。
【００２７】
第１取得部１１と、第２取得部１２と、第１算出部１３と、第２算出部１４と、推定部１５と、出力部１６とは、中央演算処理装置（ＣＰＵ）、及びＣＰＵが用いるメモリにより実現されてよい。
【００２８】
以上、位置推定装置１の構成について説明した。
【００２９】
図３は、位置推定装置１の処理を表すフローチャートである。第１取得部１１は、第１データを取得する（Ｓ１０１）。第２取得部１２は、第２データを取得する（Ｓ１０２）。第１算出部１３は、第１データから推定される人物の第１実サイズと、第２データから推定される第２実サイズとに対する重みを、第１データと第２データとに基づいて算出する（Ｓ１０３）。第２算出部１４は、第１実サイズと第２実サイズと重みとに基づいて、より精度の高い人物の第３実サイズを算出する（Ｓ１０４）。推定部１５は、当該人物の実サイズと第１データとから、当該人物の３次元位置を推定する（Ｓ１０５）。出力部１６は、推定した３次元位置を出力する（Ｓ１０６）。
【００３０】
以上、位置推定装置１の処理について説明した。
【００３１】
以下、本実施形態の各構成ブロックについて説明する。
【００３２】
図４は、第１取得部１１の処理を表すフローチャートである。ステップＳ２０１において、第１取得部１１は、取得した第１画像中で人物領域（人物の顔領域）を検出する（Ｓ２０１）。例えば、第１取得部１１は、第１画像上で、人物領域を検出するための探索窓を走査し、当該探索窓内に含まれる画像に対して複数の矩形特徴を求める。第１取得部１１は、各々の矩形特徴に対する弱識別器を直列につないだ強識別器（不図示）によって、当該探索窓内に人物領域が含まれているか否かを判定してよい。この方法は、例えば非特許文献１に開示されている。
【００３３】
なお、本実施形態で上記の人物領域の検出方法を用いる場合、当該検出を行なう各機能部（詳細後述）に、パターン識別器（不図示）を備えた構成とすればよい。パターン識別器は、複数の弱識別器を直列に接続したカスケード構造の識別器であって、非特許文献１に開示されたカスケード型ＡｄａＢｏｏｓｔベース識別器である。
【００３４】
具体的には、パターン識別器は、第１画像に対して、カスケードの各段の弱識別器で顔であるか否かを判定し、顔であると判定された画像のみを次段の弱識別器へ供給する。そして、最後の弱識別器で顔であると判定された画像を、最終的に人物領域を含む画像であると判定する。
【００３５】
カスケードの各段を構成する強識別器は、複数の弱識別器を直列につないだ構成である。各弱識別器では、探索窓内の画像に対して求めた矩形特徴を用いて、当該探索窓内に人物領域が存在するか否かを判定する。
【００３６】
ここで、探索窓の画像内における２次元座標の位置ベクトルをｘとすると、位置ベクトルｘにおいての、弱識別器ｎの出力は、式１により表される。
【数１】
2014002489.tif 000003
【００３７】
式１中、ｈｎ（ｘ）は弱識別器ｎの出力を示し、ｆｎ（ｘ）は弱識別器ｎの判定関数を示す。また、ｐｎは不等号の等号の向きを定めるために、１あるいは−１となる数を示し、θｎは各弱識別器ｎに対して予め定められている閾値を示す。例えばθｎは、識別器作成の際の学習において設定される。
【００３８】
また、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力は、式２によって表される。
【数２】
2014002489.tif 000004
【００３９】
式２中、Ｈ（ｘ）は、Ｎ個の弱識別器を直列につないだ構成の強識別器の出力を示す。また、式２中、αｎは予め定められている弱識別器ｎの重みを示し、ｈｎは式１で表した弱識別器ｎの出力を示す。例えばαｎは、識別器作成の際の学習において設定される。
【００４０】
なお、パターン識別器を通過した画像について、式３により、顔らしさを表す尤度ｌ（ｘ）を算出する。
【数３】
2014002489.tif 000005
【００４１】
式３中、ａは、識別器作成の際の学習において生成される重みを表す定数である。また、式３中、Ｈ（ｘ）は、強識別器の出力を示す。
【００４２】
なお、人物は必ずしも一定の方向から撮影されるわけではない。例えば、横方向や斜め方向から撮影される場合もあり得る。このような場合には、人物の横顔を検出するためのパターン識別器を用いればよい。あるいは、人物の１つないし複数の姿勢の各々に対応するパターン識別器を用いてもよい。
【００４３】
すなわち、ステップＳ２０１において、第１取得部１１は、所定のサイズの探索窓を用いて、取得した第１画像全体を走査し、各走査位置において、探索窓内に含まれる画像に人物領域が含まれるか否かを、上述のようなパターン識別器により判定する。このとき、第１取得部１１は、異なるサイズの複数の探索窓を用いて、第１画像を走査する。各々の探索窓サイズの情報は予め設定され、第１取得部１１が保持していてよい。
【００４４】
第１取得部１１は、第１画像内の、各探索窓サイズで走査した各走査位置ベクトルｘにおける強識別器の出力値Ｈ（ｘ）から、各探索窓サイズ及び各走査位置ベクトルｘにおける尤度ｌ（ｘ）を求める。当該強識別器の出力値Ｈ（ｘ）は式２を用いて算出する。各探索窓サイズ及び各走査位置ベクトルｘにおける尤度ｌ（ｘ）は、式３を用いて算出する。
【００４５】
さらに、第１取得部１１は、最も尤度ｌ（ｘ）の高い走査位置ベクトルｘの探索窓サイズの探索窓内の中心位置を、第１画像における人物領域の位置（２次元位置）として検出する。
【００４６】
ステップＳ２０２において、第１取得部１１は、検出した人物領域に対して第１データを求める（Ｓ２０２）。第１データは、第１画像上で検出された人物領域の２次元位置及びサイズと、人物領域らしさを表す尤度と、人物の第１実サイズ（後述）とを含む。第１取得部１１は、時刻ごとの第１画像について、第１データを求める。ここで、時刻ｔにおける、人物ｋが撮影された第１画像の第１データを表すベクトルＳｋ（ｔ）を式４で表すこととする。
【数４】
2014002489.tif 000006
【００４７】
図５は、人物領域の一例図である。可視光カメラ１０１によって撮影した第１画像の左上を原点とし、水平方向にｘ軸、垂直方向にy軸を設定する。この場合、図５における人物領域１の２次元位置は、人物領域１の中心点（ｘ１（ｔ），ｙ１（ｔ））と表され、人物領域１のサイズは、ｗ１（ｔ）と表される。また、人物領域２の２次元位置は、人物領域２の中心点（ｘ２（ｔ），ｙ２（ｔ））と表され、人物領域２のサイズは、ｗ２（ｔ）と表される。
【００４８】
Ｗｋ（ｔ）は、人物の第１実サイズを表す。第１実サイズＷｋ（ｔ）は、人物領域のサイズｗｋ（ｔ）に対応する平均的な実サイズとして、予め設定されていてよい。この場合、第１取得部１１は、第１実サイズＷｋ（ｔ）を予め保持しておく。第１取得部１１は、このようにして求めた時刻ごとの第１データを保持しておく。
【００４９】
ステップＳ２０３において、第１取得部１１は、現在の第１画像に対して求めた第１データと、過去の第１画像（例えば直前の時刻の第１画像）に対して求めた第１データとを比較し、各々が対応する人物が同一の人物であるか否かを判定する（Ｓ２０３）。このとき、第１取得部１１は、記憶部５１から、過去の時刻の第１データを読み出す。
【００５０】
例えば、第１取得部１１は、過去の第１データに対応する人物領域と、現在の第１データに対応する人物領域との重なり度合いによって、それらが同一の人物であるか否かを判定する。この場合、人物領域どうしの重なり合う面積の比率が一定以上（例えば７５％以上）であれば同一の人物であると判定してよい。
【００５１】
同一の人物である場合（Ｓ２０３：ＹＥＳ）、ステップＳ２０４において、第１取得部１１は、現在求めた第１実サイズを、当該過去に求めた第３実サイズ（後述）に置換する（Ｓ２０４）。例えば、第１取得部１１は、式５にように、現在求めた第１実サイズＷｋ（ｔ）に直前の時刻の第３実サイズＷｋ（ｔ−１）を代入してよい。
【数５】
2014002489.tif 000007
【００５２】
同一の人物でない場合（Ｓ２０３：ＮＯ）、ステップＳ２０５において、第１取得部１１は、現在求めた第１実サイズＷｋ（ｔ）を、そのまま第１データに用いる（Ｓ２０５）。
【００５３】
以上、第１取得部の処理について説明した。
【００５４】
図６は、第２取得部１２の処理を表すフローチャートである。ステップＳ３０１において、第２取得部１２は、距離センサ１０２のセンシング情報に基づき、可視光カメラ１０１で撮影された第１画像に含まれる少なくとも１つの画素毎に、当該画素に対応する被写体と、可視光カメラ１０１との距離を測定する（Ｓ３０１）。第１画像の画素に対応する被写体の方向については、既知であるものとする。
【００５５】
図５に示す座標において、時刻ｔでの位置（ｘ，ｙ）の画素に対応する物体までの距離をｄ（ｔ）（ｘ，ｙ）と表す。したがって、本実施形態における第２データは、距離ｄ（ｔ）（ｘ，ｙ）を含む。
【００５６】
第２取得部１２は、第１画像の全画素について、距離ｄ（ｔ）（ｘ，ｙ）を測定したか否かを判定する（Ｓ３０２）。全画素について測定が終了していない場合は（Ｓ３０２：ＮＯ）、ステップＳ３０１に遷移し、まだ測定を終了していない画素について、距離ｄ（ｔ）（ｘ，ｙ）を測定する。全画素について測定が終了した場合は（Ｓ３０２：ＹＥＳ）、処理を終了する。
【００５７】
なお、距離センサ１０２は、全ての画素に対応する物体までの距離を測定できないものであってもよく、距離を測定できなかった位置（ｘ、ｙ）における画素に対応する物体までの距離は、測定不能であることを示す値（例えば、ＮＵＬＬ）とすればよい（すなわち、ｄ（ｔ）（ｘ，ｙ）＝ＮＵＬＬ）。
【００５８】
以上、第２取得部１２について説明した。
【００５９】
第１算出部１３は、第１データと第２データとを取得し、第１画像での人物領域に対応する距離ｄ（ｔ）（ｘ，ｙ）に基づいて、第１データから推定される人物の第１実サイズと、第２データから推定される人物の第２の実サイズに対する重みであって、当該人物についてより精度の高い第３実サイズを算出するための当該重みを算出する。本実施形態における第１算出部１３は、第２データの信頼度に応じて、当該重みを算出する。すなわち、第２データの信頼度が小さいほど、第１実サイズに対する重みを相対的に大きくする。ここでは、第２実サイズに対する重みλｋ（ｔ）の算出方法について説明する。
【００６０】
本実施形態の重みλｋ（ｔ）は、０〜１の実数で表現され、第２データでの人物ｋの人物領域に関する距離ｄ（ｔ）（ｘ，ｙ）がＮＵＬＬでない画素（ｘ，ｙ）が多い場合ほど（第２データの測定が可能である画素（ｘ，ｙ）が多いほど）、１に近くなるものとする。例えば、重みλｋ（ｔ）は、式６により表されてよい。
【数６】
2014002489.tif 000008
【００６１】
ここで、Ωｋは、第１画像において人物ｋの人物領域に含まれる画素の座標を表している。Ｎは、集合Ωｋに含まれる画素の数を表す。関数Ｉｆ（ａ≠ｂ）は、ａとｂとが異なる値であれば１を、そうでなければ０とする関数である。ｔｈ１は、０≦ｔｈ１≦１の範囲の実数であり、取得可能な第２データが多いほど、大きくなる値とする。
【００６２】
すなわち、本例での信頼度とは、第２データの測定が可能である画素の個数が、人物ｋの人物領域において一定数に達すれば１となる。
【００６３】
以上、第１算出部１３の処理について説明した。
【００６４】
第２算出部１４は、第１データと第２データと重みλｋ（ｔ）とを取得し、第１データから推定される第１実サイズＷｋ（ｔ）と、第２データから推定される第２実サイズＷ＾ｋ（ｔ）と、重みλｋ（ｔ）とを用いて、第３実サイズを算出する。
【００６５】
図７は、可視光カメラ１０１と人物との位置関係、及び人物のサイズについての説明図である。図７では、ｘｚ平面上において、可視光カメラ１０１人物ｋの幾何的関係を示している。本例では、点Ｏに可視光カメラ１０１を配置する。可視光カメラ１０１のＸ軸方向の画角をθｘ、第１画像のｚ軸方向の焦点位置をＦとし、人物ｋのｚ軸方向の位置をＺとする。第１データに含まれる人物ｋの人物領域のサイズｗｋ（ｔ）をＡＡ’とし、人物ｋの実サイズをＢＢ’とし、可視光カメラ１０１から人物ｋまでの距離をＯＺとする。
【００６６】
ここで、可視光カメラ１０１で撮影された第１画像の水平解像度をＩｗとすると、距離ＯＦは式７により表すことができる。
【数７】
2014002489.tif 000009
【００６７】
すなわち、このＯＦは、カメラの仕様によって定まる定数である。
【００６８】
ＡＡ’と、ＢＢ’と、ＯＦと、ＯＺとは、ＡＡ’：ＢＢ’＝ＯＦ：ＯＺの関係がある。この関係を、第１データに基づいて表すと、式８のようになる。
【数８】
2014002489.tif 000010
【００６９】
ここでＺｋ（ｔ）＝ＯＺである。
【００７０】
図８は、第２算出部１４の処理を表すフローチャートである。ステップＳ４０１において、第２算出部１４は、第１データと第２データとに基づいて、可視光カメラ１０１から人物ｋまでの実距離Ｚ＾ｋ（ｔ）を算出する（Ｓ４０１）。
【００７１】
例えば、第２算出部１４は、式９により実距離Ｚ＾ｋ（ｔ）を算出してもよい（「＾」はハットを表す）。
【数９】
2014002489.tif 000011
【００７２】
ここで、Ωｋは、第1画像においてｄ（ｔ）（ｘ，ｙ）≠ＮＵＬＬである人物ｋの人物領域の画素の集合を表し、Ｎは、集合Ωｋに含まれる画素数を表す。
【００７３】
あるいは、第２算出部１４は、Ωｋに含まれるｄ（ｔ）（ｘ，ｙ）の中間値や平均値を実距離Ｚ＾ｋ（ｔ）として算出してもよい。あるいは、第２算出部１４は、式１０のように、第２データの距離に関する情報が、第１データの人物領域の中心に近いほど、大きい重みを付ける加重平均により実距離Ｚ＾ｋ（ｔ）を算出してもよい。
【数１０】
2014002489.tif 000012
【００７４】
ここで、σｋは、人物ｋの人物領域のサイズによって変化する変数であり、第１データに含まれるｗ（ｔ）を２で除したものとする。
【００７５】
ステップＳ４０２において、第２算出部１４は、第１データと実距離Ｚ＾ｋ（ｔ）とから、人物ｋの第２実サイズＷ＾ｋ（ｔ）を算出する（Ｓ４０２）。例えば、第２算出部１４は、式（１１）により、第２実サイズＷ＾ｋ（ｔ）を算出してもよい。
【数１１】
2014002489.tif 000013
【００７６】
ステップＳ４０３において、第２算出部１４は、第１実サイズＷｋ（ｔ）と、第２実サイズＷ＾ｋ（ｔ）と、重みλｋ（ｔ）とから、より精度の高い人物の第３実サイズを算出する（Ｓ４０３）。例えば、第２算出部１４は、式１２により、第３実サイズを算出してもよい。第２算出部１４は、第３実サイズを記憶部５１に書き込む。
【数１２】
2014002489.tif 000014
【００７７】
ここで、式１２の左辺が、第３実サイズである。
【００７８】
推定部１５は、第１データと第３実サイズとから、可視光カメラ１０１に対する人物ｋの３次元位置を推定する。人物ｋのＺ軸方向の位置Ｚｋ（ｔ）については、式（８）によって求められる。また、Ｘ軸方向についての位置をＸｋ（ｔ）、Ｙ軸方向についての位置をＹｋ（ｔ）とすると、推定部１５は、式１３により、Ｘｋ（ｔ）とＹｋ（ｔ）とを求めてよい。
【数１３】
2014002489.tif 000015
【００７９】
本実施形態では、人物を対象物の例として説明したが、これに限られない。例えば、動物や車等、第１画像から検出可能なものであれば、いかなるものであっても構わない。
【００８０】
上述したように、本実施形態によれば、対象物の３次元位置を精度良く推定することができる。
【００８１】
一般的に距離センサ１０２には、当該人物までの距離を測定することが可能な範囲がある。例えば、距離センサ１０２と当該人物とが一定距離より近い場合、距離センサ１０２は、当該人物までの距離を求めることができない。本実施形態の位置推定装置１は、過去に求めた当該人物の実サイズと、現在求めた第１データとを用いて、当該人物の３次元位置を推定することができる。このため、距離センサ１０２による正確な距離測定が行なえない場合であっても、人物の３次元位置を精度良く推定することができる。
【００８２】
（変形例１）
本実施形態における重みλｋ（ｔ）は、式１４により算出してもよい。
【数１４】
2014002489.tif 000016
【００８３】
Ωｋは、第１画像においてｄ（ｔ）（ｘ，ｙ）≠ＮＵＬＬである人物ｋの人物領域の画素の集合を表している。ここで、σｋは、人物ｋの人物領域サイズによって変化する変数であり、第１データに含まれるｗｋ（ｔ）を２で除したものとする。ｔｈ２は、予め定められた０≦ｔｈ２≦１の範囲の実数である。
【００８４】
あるいは、本実施形態における重みλｋ（ｔ）は、式１５により算出してもよい。
【数１５】
2014002489.tif 000017
【００８５】
変数等については、式（１４）と同様である。
【００８６】
（第２の実施形態）
図９に示すように、第２の実施形態における位置推定装置２は、距離センサ１０２の代わりに、可視光カメラ２０１を用いて、人物までの距離に関する第２データを取得する点が、第１の実施形態の場合と異なる。すなわち、本実施形態の位置推定装置２は、可視光カメラ１０１及び可視光カメラ２０１を用いたステレオカメラにより、人物の３次元位置を推定する。可視光カメラ２０１は、可視光カメラ１０１とのエピポーラ幾何が既知であるものとする。エピポーラ幾何は、一般的なステレオカメラの校正方法によって求めることができる。
【００８７】
位置推定装置２を表すブロック図は、位置推定装置１と同様のため省略する。位置推定装置２では、第２取得部１２の処理と、第１算出部１３の処理と、第２算出部１４の処理とが、位置推定装置１の場合と主に異なる。
【００８８】
図１０は、本実施形態における第２取得部１２の処理を表すフローチャートである。ステップＳ５０１において、第２取得部１２は、可視光カメラ２０１が撮影した第２画像中で人物領域を検出する（Ｓ５０１）。検出の方法は、第１取得部１１と同様であってよい。
【００８９】
ステップＳ５０２において、第２取得部１２は、第２データを求める（Ｓ５０２）。本実施形態の第２データは、第２画像に対して、第１取得部１１と同様の探索法を用いて検出した人物領域の位置に関するものである。時刻ｔにおける、人物ｋの人物領域の第２データを表すベクトルｓ＾ｋ（ｔ）を式１６によりで表すとする。
【数１６】
2014002489.tif 000018
【００９０】
ここでの人物ｋは、式４に人物ｋと同じである。例えば、第２取得部１２は、可視光カメラ１０１に写っている人物と、可視光カメラ２０１に写っている人物とが同じであるか否かを、例えば、第１画像における人物領域の画素値と、第２画像における人物領域の画素値との類似度により判定してよい。
【００９１】
第１算出部１３は、式１７を用いて、第２データに対する重みλｋ（ｔ）を算出してよい。
【数１７】
2014002489.tif 000019
【００９２】
すなわち、第２画像の人物ｋの第２データに含まれる尤度が高ければ高いほど、第２データに対する重みλｋ（ｔ）が高くなる。あるいは、第1算出部１３は、式１８を用いて、第２データに対する重みλｋ（ｔ）を算出してよい。
【数１８】
2014002489.tif 000020
【００９３】
ここで、ｔｈ３は、０〜１の間の実数である。
【００９４】
なお、人物ｋが可視光カメラ２０１の死角に存在していた場合等、上述した探索方法で人物ｋが検出されなかった場合には、第１算出部１３は、第２データに対する重みλｋ（ｔ）を０にしてよい。
【００９５】
第２算出部１４は、第１データに含まれる人物ｋの人物領域の２次元位置と、第２データに含まれる人物ｋの人物領域の２次元位置とから、三角測量により人物ｋまでの実距離Ｚ＾ｋ（ｔ）を算出する。第２算出部１４は、第１データと実距離Ｚ＾ｋ（ｔ）とから、人物ｋの第２実サイズＷ＾ｋ（ｔ）を算出する。第２算出部１４は、第１実サイズＷｋ（ｔ）と、第２実サイズＷ＾ｋ（ｔ）と、重みλｋ（ｔ）とから、より精度の高い人物ｋの第３実サイズを算出する。
【００９６】
例えば、第２算出部１４は、以下に示す方法に従って、人物ｋの第３実サイズを算出して良い。
【００９７】
例えば、人物ｋの仮の３次元位置を式１９で表すとする。
【数１９】
2014002489.tif 000021
【００９８】
第１画像上における人物ｋの位置ベクトルｕｋ,１を式２０で表す。
【数２０】
2014002489.tif 000022
【００９９】
第２画像上における人物ｋの位置ベクトルｕｋ,２を式２１で表す。
【数２１】
2014002489.tif 000023
【０１００】
人物ｋの実空間上における仮の３次元位置を、式２２のように同次座標系で表現する。
【数２２】
2014002489.tif 000024
【０１０１】
上記式中の「Ｔ」は転置を表す。これにより、式２３及び式２４の関係式が得られる。  
【数２３】
2014002489.tif 000025
【数２４】
2014002489.tif 000026
【０１０２】
式（２３）中のαは、可視光カメラ１０１の撮像時のカメラスケールを示す。式（２４）中のβは、可視光カメラ２０１の撮像時のカメラスケールを示す。また、式（２３）中のＰは、実空間（３次元座標系）上の点から第１画像への射影行列を示す。また、式（２３）中のＱは、実空間（３次元座標系）上の点から第２画像への射影行列を示す。なお、これらの射影行列は、事前に可視光カメラ１０１と可視光カメラ２０１とのキャリブレーションを行なう事で得られ、第２算出部１４が予め保持しておいてよい。
【０１０３】
そして、上記式（２３）及び式（２４）から式（２５）の連立方程式が得られる。
【数２５】
2014002489.tif 000027
【０１０４】
第２算出部１４は、式（２５）の左辺の行列の擬似逆行列を、最小二乗法によって求めることで、人物ｋの仮の３次元位置を算出する。
【０１０５】
この人物ｋの仮の３次元位置のｚ座標が、本実施形態における実距離Ｚ＾ｋ（ｔ）である。
【０１０６】
そして、第２算出部１４は、第１の実施形態の場合と同様にして、第１データと実距離Ｚ＾ｋ（ｔ）とから、人物ｋの第２実サイズＷ＾ｋ（ｔ）を算出する。第２算出部１４は、第１実サイズＷｋ（ｔ）と、第２実サイズＷ＾ｋ（ｔ）と、重みλｋ（ｔ）とから、第３実サイズを算出する。
【０１０７】
本実施形態によれば、ステレオカメラを用いた場合であっても、対象物の３次元位置を精度良く推定することができる。 
（第３の実施形態）
一般的に、可視光カメラを用いて人物領域（例えば、顔領域）を検出する際には、画像に混入するノイズの影響や、画像のダイナミックレンジの低下（暗所で撮影されている場合）の影響を受け、検出される人物領域の位置に誤差が生じることがある。一方、赤外線は暗所においても影響がなく、安定した測定が可能である。
【０１０８】
第３の実施形態に係る位置推定装置３は、人物を検出した際の人物領域の大きさに誤差があった場合、実距離Ｚ＾ｋ（ｔ）を用いて人物の３次元位置を修正する点が、上記実施形態の推定装置と異なる。
【０１０９】
図１１は、位置推定装置３を表すブロック図である。位置推定装置３は、位置推定装置１に対して、修正部３１をさらに備える。また、推定部１５は、推定した３次元位置を修正部３１に供給する。
【０１１０】
修正部３１は、推定部１５から人物ｋの３次元位置を取得し、第１算出部１３から重みλｋ（ｔ）を取得し、第１取得部１１から第１データを取得し、第２算出部１４から実距離Ｚ＾ｋ（ｔ）を取得し、人物ｋの３次元位置を修正する。例えば、修正部３１は、式２６により、人物ｋの３次元位置のｚ座標である実距離Ｚ＾ｋ（ｔ）を修正してよい。
【数２６】
2014002489.tif 000028
【０１１１】
修正部３１は、修正した実距離Ｚ＾ｋ（ｔ）を用いて、式２７により、人物ｋの３次元位置のｘ座標とｙ座標とを修正してよい。
【数２７】
2014002489.tif 000029
【０１１２】
ＯＦは、式（７）に示した、可視光カメラの仕様によって定まる定数である。
【０１１３】
本実施形態によれば、対象物の３次元位置をさらに精度良く推定することができる。
【０１１４】
（第４の実施形態）
第４の実施形態に係る位置推定装置４は、第２取得部１２が、第１データに含まれる人物の検出位置をさらに用いて、第２データを求める点が、上述の実施形態の場合と異なる。
【０１１５】
図１２は、位置推定装置４を表すブロック図である。位置推定装置１に対して、位置推定装置４の第１取得部１１は、第１データを第２取得部１２に供給する。
【０１１６】
第２取得部１２が距離センサを用いる場合には、人物領域の示す人物の方向に赤外線等のセンサプローブを照射して、人物領域内の距離の情報を得ることができる。
【０１１７】
また、第２取得部１２が可視光カメラ２０１を用いる場合には、第２取得部１２が探索窓を用いて走査する範囲を、第１画像において第１取得部１１が検出した人物領域を通るエピポーラ線上に限定することが可能である。
【０１１８】
これにより、対象物の３次元位置を効率的に精度良く推定することができる。
【０１１９】
（第５の実施形態）
第５の実施形態では、位置推定装置１が立体画像表示装置１０に用いられる場合についてさらに説明する。立体画像表示装置１０は、推定された人物の３次元位置に基づいて、観察者が立体画像を観察可能な視域を制御する。
【０１２０】
立体画像表示装置１０は、視域制御部（不図示）を備える。視域制御部（不図示）は、
位置推定装置１が推定した３次元位置を用いて、視域を制御する。
【０１２１】
特殊なメガネを要さない立体画像表示装置１０には、パララックスバリアやレンチキュラーレンズを表示パネルに対向して配置することで、視点の異なる複数の視点画像を立体画像として観察者に提示することができる。
【０１２２】
立体画像表示装置１０では、観察者の観察位置によっては、右目が観察する視点画像に対して、相対的に右側の視点画像を左目が観察してしまう逆視領域が存在するため、視域は限られてしまう。この視域は、立体画像装置１０の設計値等によって定まる。
【０１２３】
上記の場合、例えば、左目が観察する視点画像と、右目が観察する視点画像を入れ替えることで、視域を変更することが可能になる。
【０１２４】
視域決定部（不図示）は、位置推定装置１が推定した３次元位置が視域内に含まれるように、視域を変更する。
【０１２５】
これにより、位置推定装置１が立体画像表示装置１０に用いられる場合、観察者は良好な立体画像を観察することができる。
【０１２６】
なお、上述の位置推定装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、第１取得部１１、第２取得部１２、第１算出部１３、第２算出部１４、推定部１５、出力部１６、修正部３１は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、位置推定装置は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、第１取得部１１、第２取得部１２、第１算出部１３、第２算出部１４、推定部１５、出力部１６、修正部３１、記憶部５１は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【０１２７】
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１２８】
１，３，４  位置推定装置
１１  第１取得部
１２  第２取得部
１３  第１算出部
１４  第２算出部
１５  推定部
１６  出力部
３１  修正部
５１  記憶部
【図１】
2014002489.tif 000030
【図２】
2014002489.tif 000031
【図３】
2014002489.tif 000032
【図４】
2014002489.tif 000033
【図５】
2014002489.tif 000034
【図６】
2014002489.tif 000035
【図７】
2014002489.tif 000036
【図８】
2014002489.tif 000037
【図９】
2014002489.tif 000038
【図１０】
2014002489.tif 000039
【図１１】
2014002489.tif 000040
【図１２】
2014002489.tif 000041