(57)【要約】【課題】物体の位置関係が分かり易い全方位画像を表示すること。【解決手段】円柱作成部１０３は、互いに中心軸が同一であり、それぞれ半径が異なる複数の円柱を作成する。オブジェクト位置決定部１０２は、全方位画像に含まれる各注目物体の全方位画像の中心からの距離に基づいて、各注目物体を複数の円柱のいずれかの円柱の側面に立ち上げて配置する。これにより、全方位画像に含まれる注目物体を３次元的に表示でき、ユーザは注目物体の位置関係（距離及び角度）を直感的に理解できるようになる。【選択図】図３
2011059854.tif 000002
【特許請求の範囲】
【請求項１】
全方位画像から注目物体の画像を抽出するオブジェクト抽出部と、
前記注目物体の画像を前記全方位画像と交わる方向に立ち上げるオブジェクト位置決定部と、
抽出された各注目物体がどの方向を向いているかを検出するオブジェクト向き検出部と、
前記オブジェクト位置決定部によって立ち上げられた前記各注目物体の表示形態を、前記オブジェクト向き検出部によって検出された向きに応じて選択する表示形態選択部と、
を具備する画像表示装置。
【請求項２】
全方位画像から注目物体の画像を抽出するオブジェクト抽出部と、
互いに中心軸が同一であり、それぞれ半径が異なる、複数の円柱を作成する円柱作成部と、
前記全方位画像に含まれる各注目物体の前記全方位画像の中心からの距離に基づいて、前記各注目物体を前記複数の円柱のいずれかの円柱の側面に立ち上げて配置するオブジェクト位置決定部と、
を具備する画像表示装置。
【請求項３】
前記各注目物体がどの方向を向いているかを検出するオブジェクト向き検出部と、
前記オブジェクト位置決定部によって配置された前記各注目物体の表示形態を、前記オブジェクト向き検出部によって検出された向きに応じて選択する表示形態選択部と、
をさらに具備する、
請求項２に記載の画像表示装置。
【請求項４】
前記円柱作成部によって作成される前記複数の円柱の前記中心軸は、前記全方位画像の中心と同じ位置である、
請求項２又は請求項３に記載の画像表示装置。
【請求項５】
前記オブジェクト位置決定部は、
前記各注目物体について、前記全方位画像の中心から注目物体までの距離を前記各円柱の半径と比較し、前記距離に最も近い半径を有する円柱の側面に配置する、
請求項２又は請求項３に記載の画像表示装置。
【請求項６】
前記表示形態選択部は、前記向きに加えて、前記各注目物体が前記円柱の手前側に配置されるか、向こう側に配置されるかに応じて前記各注目物体の表示形態を選択する、
請求項３に記載の画像表示装置。
【請求項７】
前記各注目物体を測位する測位センサを、さらに具備し、
前記オブジェクト位置決定部は、前記測位センサにより得られた測位データを用いて、前記各注目物体の前記全方位画像の中心からの距離を求める、
請求項２に記載の画像表示装置。
【請求項８】
全方位画像から注目物体の画像を抽出するステップと、
前記注目物体の画像を前記全方位画像と交わる方向に立ち上げるステップと、
抽出された各注目物体がどの方向を向いているかを検出するステップと、
立ち上げられた前記各注目物体の表示形態を、検出された向きに応じて選択するステップと、
を含む画像表示方法。
【請求項９】
全方位画像から注目物体の画像を抽出するステップと、
互いに中心軸が同一であり、それぞれ半径が異なる、複数の円柱を作成するステップと、
前記全方位画像に含まれる各注目物体の前記全方位画像の中心からの距離に基づいて、前記各注目物体を前記複数の円柱のいずれかの円柱の側面に立ち上げて配置するステップと、
を含む画像表示方法。
【請求項１０】
コンピュータに、
全方位画像から注目物体の画像を抽出するステップと、
前記注目物体の画像を前記全方位画像と交わる方向に立ち上げるステップと、
抽出された各注目物体がどの方向を向いているかを検出するステップと、
立ち上げられた前記各注目物体の表示形態を、検出された向きに応じて選択するステップと、
を実行させるプログラム。
【請求項１１】
コンピュータに、
互いに中心軸が同一であり、それぞれ半径が異なる、複数の円柱を作成するステップと、
前記全方位画像に含まれる各注目物体の前記全方位画像の中心からの距離に基づいて、前記各注目物体を前記複数の円柱のいずれかの円柱の側面に立ち上げて配置するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位画像を表示する画像表示装置及び画像表示方法に関する。
【背景技術】
【０００２】
全方位カメラは、１台のカメラで広い視野範囲の画像を得ることができるため、種々の分野で広く用いられている。全方位カメラは、例えば監視システム等に用いられている。全方位カメラは、全方位レンズ光学系や全方位ミラー光学系を用いることで、全方位画像を得ることができるようになっている。
【０００３】
全方位カメラにより得られる全方位画像は、一般に同心円状の画像（ドーナツ画像）である。
【０００４】
全方位画像を表示する形態としては、例えば、全方位画像をパノラマ画像に展開して表示する形態（非特許文献１参照）や、全方位画像から注目物体を含む領域を切り出して表示する形態（特許文献１参照）、などがある。なお、全方位画像を表示する場合には、一般に歪補正が行われる。
【０００５】
ところで、全方位画像においては、表示時に、全方位画像に含まれる物体の位置関係がユーザにとって分かりにくくなる欠点がある。
【０００６】
図１を用いて、その例を簡単に説明する。図１Ａは、全方位画像１を示す。全方位画像１には、物体として、人物２Ａ及び人物２Ｂが含まれている。人物２Ａ、２Ｂはそれぞれ矢印で示す方向を向いている。図１Ｂは、全方位画像１をパノラマ展開したパノラマ画像３を示す。図から明らかなように、実際には人物２Ａと人物２Ｂは逆方向を向いている（図１Ａ）にも拘わらず、パノラマ画像３では人物２Ａと人物２Ｂが同じ方向を向いているように表示される。また、実際には人物２Ａと人物Ｂは近い位置に存在する（図１Ａ）にも拘わらず、パノラマ画像３では人物２Ａと人物２Ｂが遠い位置に存在しているように表示される。
【０００７】
従来、全方位画像を表示する場合に、物体の位置関係を分かり易く表示する技術が、特許文献２に開示されている。特許文献２では、ドーナッツ形状でなる全方位画像の外部領域及び内部領域に、当該全方位画像と位置関係を合わせた地図画像を表示する。これにより、ユーザは、全方位画像を地図画像と対比させながら見ることで、全方位画像内の物体間の位置関係を把握しやすくなると考えられる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】国際公開第２００７／１２５８２５号パンフレット
【特許文献２】特開２００３−１３２３４８号公報
【特許文献３】特開２００２−８３２８５号公報
【非特許文献】
【０００９】
【非特許文献１】佐藤辰雄、「全方位カメラのためのパノラマ画像展開（Extension Method for Omni-directional Camera）」、大分県産業科学技術センター研究報告、2003年6月、pp.9-11
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献２で開示された表示方法は、全方位画像と同時に地図画像を表示しなければならないので、全方位画像の表示サイズが小さくならざるを得ないという欠点がある。また、特許文献２で開示された表示方法は、物体間の位置関係のうち、角度の関係は視認しやすくなると考えられるが、物体間の距離の関係は視認し易くなるとは考えられない。
【００１１】
また、特許文献１のように、注目物体を含む領域を切り出して表示すると、当然のことながら、切出画像間の位置関係は把握しにくくなる。特許文献１では、縮小された全方位画像と拡大された切出画像とを同一画面上に表示し、さらに縮小された全方位画像に、全方位画像中での切出画像の位置を明示することで、切出画像間の位置関係を把握し易くする技術が開示されている。特許文献１の方法を用いると、切出画像の数が少ない場合などには、ユーザは表示画像から全方位画像と切出画像との対応関係を比較的容易に認識できると考えられる。しかしながら、切出画像の数が多くなるにつれて、ユーザは、全方位画像と切出画像との関係を認識し難くなる。つまり、特許文献１の図６で例示されているように、全方位画像を上・下・左・右・中央の５つの領域程度に区分するのであれば、ユーザは比較的容易に全方位画像と切出画像との関係を認識できると考えられるが、さらに細かい領域に区分すると、切出画像の表示が複雑化し、全方位画像と切出画像との関係を一目で認識することが困難になると考えられる。
【００１２】
このように、従来の全方位画像の表示方法は、物体の位置関係が分かり易い全方位画像を表示するといった点で未だ不十分であった。
【００１３】
本発明はかかる点に鑑みてなされたものであり、従来に比して、物体の位置関係が格段に分かり易い全方位画像を表示できる画像表示装置及び画像表示方法を提供する。
【課題を解決するための手段】
【００１４】
本発明の画像表示装置の一つの態様は、全方位画像から注目物体の画像を抽出するオブジェクト抽出部と、前記注目物体の画像を前記全方位画像と交わる方向に立ち上げるオブジェクト位置決定部と、抽出された各注目物体がどの方向を向いているかを検出するオブジェクト向き検出部と、前記オブジェクト位置決定部によって立ち上げられた前記各注目物体の表示形態を、前記オブジェクト向き検出部によって検出された向きに応じて選択する表示形態選択部と、を具備する構成を採る。
【００１５】
本発明の画像表示装置の一つの態様は、全方位画像から注目物体の画像を抽出するオブジェクト抽出部と、互いに中心軸が同一であり、それぞれ半径が異なる、複数の円柱を作成する円柱作成部と、前記全方位画像に含まれる各注目物体の前記全方位画像の中心からの距離に基づいて、前記各注目物体を前記複数の円柱のいずれかの円柱の側面に立ち上げて配置するオブジェクト位置決定部と、を具備する構成を採る。
【発明の効果】
【００１６】
本発明によれば、注目物体の画像を全方位画像と交わる方向に立ち上げて表示するので、物体の位置関係が非常に分かり易い全方位画像を表示できる。
【図面の簡単な説明】
【００１７】
【図１】図１Ａは全方位画像を示す図、図１Ｂは全方位画像をパノラマ展開したパノラマ画像を示す図
【図２】実施の形態１における表示画像の例を示す図
【図３】実施の形態１の構成を示すブロック図
【図４】実施の形態１の動作の説明に供するフローチャート
【図５】実施の形態２における表示画像の例を示す図
【図６】実施の形態２の構成を示すブロック図
【図７】実施の形態２の動作の説明に供するフローチャート
【図８】実施の形態３における表示画像の例を示す図
【図９】実施の形態３の構成を示すブロック図
【図１０】他の実施の形態の表示例を示す図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１９】
［１］実施の形態１
［１−１］原理
本実施の形態の構成を説明する前に、本実施の形態の画像表示方法の原理について説明する。
【００２０】
図２に、本実施の形態における全方位画像の表示例を示す。
【００２１】
本実施の形態では、複数の円柱のいずれかの側面に、全方位画像に含まれる注目物体を貼り付けて表示する。図２の例の場合、３つの円柱１１−１、１１−２、１１−３のいずれかの側面に、全方位画像２０に含まれる注目物体１２〜１６が貼り付けられて（すなわち立ち上げられて）表示されている。具体的には、注目物体１２は円柱１１−１の側面に、注目物体１３、１４、１５は円柱１１−２の側面に、注目物体１６は円柱１１−３の側面に貼り付けられて表示されている。なお、図２の例の場合、注目物体１２〜１６は人物であるが、注目物体は人物に限らない。注目物体は、例えば車輌などでもよい。また、円柱の側面に貼り付けるとは、投影すると言い換えてもよい。また、円柱の側面に貼り付けるとは、注目物体の画像を全方位画像に対して鉛直な方向に立ち上げると言い換えてもよい。
【００２２】
各円柱１１−１〜１１−３は、中心軸Ｃ１が全方位画像２０の中心にほぼ一致するように配置されている。円柱１１−１は半径ｒ１であり、円柱１１−２は半径ｒ２であり、円柱１１−３は半径ｒ３である。また、各円柱１１−１〜１１−３は、透明とされ、図に示したように輪郭のみが表示される。なお、図２の例では、円柱の輪郭が表示されているが、輪郭を表示しなくてもよい。つまり、必ずしも円柱そのものを表示する必要はない。
【００２３】
各注目物体１２〜１６は、複数の円柱１１−１〜１１−３のうち、最も近い円柱に貼り付けられる。具体的には、全方位画像２０上の注目物体１２’から全方位画像２０の中心Ｃ０までの距離は、半径ｒ１〜ｒ３のうち半径ｒ１に最も近いので、注目物体１２’は半径ｒ１の円柱１１−１に貼り付けられている。また、注目物体１３’、１４’、１５’は、中心Ｃ０までの距離が半径ｒ１〜ｒ３のうち半径ｒ２に最も近いので、注目物体１３’、１４’、１５’は半径ｒ２の円柱１１−２に貼り付けられている。また、注目物体１６’は、中心Ｃ０までの距離が半径ｒ１〜ｒ３のうち半径ｒ３に最も近いので、注目物体１６’は半径ｒ３の円柱１１−３に貼り付けられている。
【００２４】
このように、本実施の形態では、全方位画像２０の中心Ｃ０から各注目物体までの距離に応じた半径の円柱の側面に、各注目物体を貼り付けて表示したことにより、全方位画像に含まれる注目物体を３次元的に表示でき、これにより、ユーザは、注目物体の位置関係（距離及び角度）を直感的に理解できる。
【００２５】
また、本実施の形態では、注目物体が、円柱の手前側に貼り付けられているか円柱の向こう側に貼り付けられているかで、注目物体の表示形態を切り替える。図の例では、注目物体１４、１５、１６は、円柱の手前側に貼り付けられているので、シルエット表示されている。一方、注目物体１２、１３は、円柱の向こう側に貼り付けられているので、実画像表示されている。このようにすることで、ユーザは、各注目物体がどの円柱のどの位置に貼り付けられているかを容易に理解できる。
【００２６】
なお、図２の例では、シルエット表示するか実画像表示するかで、注目物体が円柱の手前側に貼り付けられているか円柱の向こう側に貼り付けられているかを区別したが、これに限らない。例えば、注目物体が円柱の手前側に貼り付けられているか円柱の向こう側に貼り付けられているかに応じて、注目物体の色を変える方法、アイコン表示にて区別する方法、又は、文字表示にて区別する方法などを用いることができる。要は、注目物体が円柱の手前側に貼り付けられているか円柱の向こう側に貼り付けられているかを、ユーザが区別できる表示形態で注目物体を表示すればよい。
【００２７】
また、円柱に貼り付ける注目物体は、実画像でもよいし、予め用意したモデル化した画像でもよい。実画像を貼り付ける場合には、全方位画像２０上の注目物体１２’〜１６’の画像を、対応する円柱の側面に貼り付ければよい。このような３Ｄモデル（本実施の形態の場合には円柱）への画像の投影技術は、例えば特許文献３に開示されているように、当業者にとっては既知の技術なので、ここでの説明は省略する。この際、全方位画像２０上の注目物体１２’〜１６’の画像は歪みがある画像なので、歪補正した後に、円柱に貼り付けるとよい。
【００２８】
なお、注目物体を円柱の側面に貼り付ける場合、注目物体の画像が側面に沿うように貼り付けてもよいし、側面に一部接するように貼り付けてもよい。
【００２９】
また、図２の例では、円柱に貼り付けた注目物体の画像に加えて、全方位画像２０を円柱の底面に同時に表示しているが、全方位画像２０を円柱の上面に表示してもよい。また、全方位画像２０を表示せずに、円柱に貼り付けた注目物体のみを表示してもよい。
【００３０】
［１−２］構成及び動作
図３に、本実施の形態の画像表示装置の構成を示す。画像表示装置１００は、全方位カメラ１１０により撮像された全方位画像Ｓ１０をオブジェクト抽出部１０１に入力する。また、画像表示装置１００は、測位センサ１２０により得られた測位データＳ１１をオブジェクト位置決定部１０２に入力する。
【００３１】
全方位カメラ１１０は、全方位レンズ光学系や全方位ミラー光学系を用いることで、同心円状の全方位画像を得ることができるようになっている。全方位カメラ１１０は、例えば天井又は床に取り付けられ、地表上方から地表方向を、又は、地表方向から地表上方を撮像することで全方位画像Ｓ１０を得る。本実施の形態の例では、全方位カメラ１１０は、交差点の上方に地表方向に向けて取り付けられ、交差点の上方から交差点を見た全方位画像Ｓ１０を撮像する。
【００３２】
測位センサ１２０は、実空間に存在する注目物体の位置を測位し、測位データＳ１１を出力する。測位センサ１２０は、例えばタグリーダであり、注目物体である人物又は車輌等の物体に付帯された無線タグ等からのセンシング信号を受信することで、注目物体を即位する。なお、測位センサ１２０は、注目物体を測位できるものであれば、どのような構成を採用してもよい。
【００３３】
測位データＳ１１は、全方位画像Ｓ１０と同一の撮像座標系において、全方位カメラ１１０のカメラ中心座標（全方位画像の中心といってもよい）を原点（０，０）とした（ｘ，ｙ）座標で示される情報である。
【００３４】
オブジェクト抽出部１０１は、全方位画像Ｓ１０から、全方位画像Ｓ１０に含まれる注目物体の画像を抽出する。オブジェクト抽出部１０１は、例えばパターンマッチング等の画像認識処理によって注目物体の画像を抽出する。また、オブジェクト抽出部１０１は、測位センサ１２０からの測位データＳ１１を用いて全方位画像Ｓ１０上での注目物体の位置を認識し、その位置に基づいて注目物体の画像を抽出してもよい。さらに、オブジェクト抽出部１０１は、ユーザが操作入力部１０９を用いてマウスカーソル等で指定した位置の画像を注目物体の画像として抽出してもよい。オブジェクト抽出部１０１は、抽出した注目物体の画像をオブジェクト位置決定部１０２に出力する。
【００３５】
円柱作成部１０３は、半径データベース（ＤＢ）１０４で定められた半径で円柱を作成する。例えば、半径ＤＢ１０４に半径ｒ１、ｒ２、ｒ３が格納されていた場合には、円柱作成部１０３は、図２に示したような円柱１１−１、１１−２、１１−３を作成する。なお、半径は、固定値を用いてもよく、測位データＳ１１に基づいて動的に変化させてもよい。半径を測位データＳ１１に基づいて動的に変化させれば、実際に注目物体が存在する近傍にのみ円柱を作成できるようになるので、無駄な円柱を作成することを回避できる。また、注目物体が多く存在する位置に、注目物体の分散の度合い等に応じて適宜必要な数の円柱を作成することもできるようになる。円柱作成部１０３は、作成した円柱の形状データをオブジェクト位置決定部１０２に出力する。
【００３６】
オブジェクト位置決定部１０２は、オブジェクト抽出部１０１からの注目物体の画像データと、測位センサ１２０からの注目物体の測位データと、円柱作成部１０３からの円柱の形状データとを入力する。オブジェクト位置決定部１０２は、注目物体の測位データと円柱の形状データとに基づいて、注目物体の画像をどの円柱のどの位置に貼り付けるかを決定する。具体的には、オブジェクト位置決定部１０２は、上述したように、注目物体の画像を、注目物体に最も近い円柱の側面に貼り付ける。これにより、ある閾値以下の距離に存在する注目物体の画像は、同一円柱上に貼り付けられる。オブジェクト位置決定部１０２によって円柱上に貼り付けられた注目物体の画像データは、表示形態選択部１０５に出力される。
【００３７】
表示形態選択部１０５は、注目物体の画像が円柱の手前側に貼り付けられているか円柱の向こう側に貼り付けられているかに応じて、注目物体の表示形態を選択する。例えば、図２に示したように、円柱の手前側に貼り付けられている注目物体１４、１５、１６についてはシルエット表示を選択し、円柱の向こう側に貼り付けられている注目物体１２、１３については実画像表示を選択する。形態データベース（ＤＢ）１０６には、選択された表示形態を実現するためのデータが格納されている。形態ＤＢ１０６には、例えば、シルエットデータ、色データ、アイコンデータ、又は、文字データ等が格納されており、表示形態選択部１０５は、選択した表示形態に対応するデータを形態ＤＢ１０６から読み出して、円柱に貼り付けられた画像の表示形態をその読み出したデータを用いて変更する。
【００３８】
表示部１０７は、表示形態選択部１０５からの画像データを入力すると共に、視点変換部１０８からの全方位画像データを入力し、これらを合成して表示する。これにより、表意部１０７は、図２に示すような画像を表示する。
【００３９】
また、表示部１０７は、マウス等からなる操作入力部１０９からのユーザ操作信号に応じて、図２の矢印に示すように、ユーザにより指定された円柱をその円柱に貼り付けられた注目物体画像と共に回転させるようになっている。これにより、ユーザは、どの注目物体がどの円柱に貼り付けられているかを容易に認識できる。例えば、円柱１１−２を回転させれば、その円柱１１−２に貼り付けられている注目物体１４、１５のみが回転するので、ユーザは、注目物体１４、１５が同一の円柱に貼り付けられた物体であることを容易に認識できる。また、ユーザは、円柱に貼り付けられた注目物体を３６０°の視点で見ることができるようになる。
【００４０】
次に、図４を用いて、本実施の形態の画像表示装置１００の動作について説明する。
【００４１】
画像表示装置１００は、ステップＳＴ０で処理を開始すると、ステップＳＴ１で全方位カメラ１１０から全方位画像Ｓ１０を入力し、ステップＳＴ２でオブジェクト抽出部１０１によって注目物体の画像（すなわちオブジェクト）を抽出する。また、画像表示装置１００は、ステップＳＴ３で注目物体の測位データＳ１１を入力する。
【００４２】
次に、画像表示装置１００は、ステップＳＴ４でオブジェクトの有無を判定し、オブジェクトが検出されるまでステップＳＴ０〜ＳＴ４の処理を繰り返す。画像表示装置１００は、オブジェクトが検出されると（ステップＳＴ４；ＹＥＳ）、ステップＳＴ５に移る。
【００４３】
ステップＳＴ５では、オブジェクト位置決定部１０２が、注目物体の画像をどの円柱のどの位置に貼り付けるかを決定し、注目物体を円柱上に貼り付ける。続くステップＳＴ６では、表示形態選択部１０５が、注目物体の画像が円柱の手前側に貼り付けられているか円柱の向こう側に貼り付けられているかに応じて、注目物体の表示形態を選択する。
【００４４】
そして、ステップＳＴ７において、表示部１０７が、図２に示すような、円柱上に注目物体画像が貼り付けられた画像を表示する。
【００４５】
以上説明したように、本実施の形態によれば、互いに中心軸が同一であり、それぞれ半径が異なる複数の円柱を作成し、全方位画像に含まれる各注目物体の全方位画像の中心からの距離に基づいて、各注目物体を複数の円柱のいずれかの円柱の側面に立ち上げて表示したことにより、ユーザは、注目物体の位置関係（距離及び角度）を直感的に理解できる。
【００４６】
また、注目物体の測位データＳ１１を用いて、貼り付ける円柱を選択したことにより、全方位画像の歪みにかかわらず、実際の距離が正確に反映された位置（円柱）に注目物体の画像を貼り付けることができる。
【００４７】
［２］実施の形態２
本実施の形態では、実施の形態１に加えて、注目物体（オブジェクト）の向きに応じて表示形態を選択することを提示する。これにより、実施の形態１の効果に加えて、各注目物体がどの方向を向いているかをユーザに認識させることができるようになる。
【００４８】
図５に、本実施の形態の表示例を示す。図５の例では、注目物体に向きに応じて、注目物体の表示形態が次のように選択されている。
【００４９】
・円柱手前側で、後ろ向きの注目物体（人物）は、シルエット表示される（例えば注目物体１６）。なお、シルエット表示のかわりに人物の背面を表す図形表示でもよく、このようにすれば、より直感的に人物の向きを把握することができるようになる。
・円柱手前側で、横向きの人物は、そのまま（実画像で）表示される（例えば注目物体１５）。
・円柱手前側で、前向きの人物は、一部がシルエット表示され、一部が実画像で表示される（例えば注目物体１４）。図５の例の場合、注目物体１４は、顔のみが実画像で表示され、その他の部分がシルエット表示されている。なお、シルエット表示のかわりに人物の前面を表す図形表示でもよく、このようにすれば、より直感的に人物の向きを把握することができるようになる。
【００５０】
なお、表示画像の視点は、全方位カメラの視点とは異なるので、円柱上に貼り付けるべき実画像が現時点の全方位画像には存在しない場合がある。このような場合には、過去に取得した画像や疑似画像を、円柱上に貼り付ければよい。例えば、全方位カメラの視点からは後ろ向きの人物であって、表示画像上では前向きに表示したい人物の顔画像は、その人物の顔画像が過去に取得され保存されていれば、それを表示すればよい。保存された顔画像が無い場合は、擬似顔画像を代用すればよい。
【００５１】
図３との対応部分に同一符号を付して示す図６に、本実施の形態の画像表示装置の構成を示す。
【００５２】
画像表示装置２００は、オブジェクト向き検出部２０１を有する。オブジェクト向き検出部２０１は、注目物体（本実施の形態の場合、人物）がどの方向を向いているかを検出し決定する。オブジェクト向き検出部２０１としては、例えば、向き毎の識別器を有し、各識別器にオブジェクト抽出部１０１によって抽出された人物画像を入力し、最も信頼度の高い値を出力した識別器に対応する向きを人物の向きとして決定するものを用いればよい。なお、ここで検出された向きは、全方位カメラ１１０の視点に対する向きなので、オブジェクト向き検出部２０１は、その向きを表示画像の視点に対する向きに変換してから出力する。
【００５３】
表示形態選択部２０２は、注目物体の画像が円柱の手前側に貼り付けられているか円柱の向こう側に貼り付けられているかに加えて、注目物体の向きに応じて、各注目物体の表示形態を選択する。表示形態を選択例については、上述した通りである。
【００５４】
図４との対応部分に同一符号を付して示す図７に、本実施の形態の画像表示装置２００の処理手順を示す。図４と比較して、オブジェクト向き検出部２０１によるオブジェクト向き判定手順（ステップＳＴ１１）が追加されている。
【００５５】
［３］実施の形態３
図８に、本実施の形態の表示画像例を示す。なお、図８は、図５との対応部分に同一符号を付して示してある。
【００５６】
図９に、本実施の形態の画像表示装置の構成を示す。なお、図９は、図６との対応部分に同一符号を付して示してある。
【００５７】
本実施の形態では、実施の形態１、２と比較して、次の２つの点が異なる。
【００５８】
・注目物体を測位しない。つまり、本実施の形態の画像表示装置３００は、測位センサ１２０（図３、図６）を有しない。
【００５９】
・円柱を作成及び表示しない。つまり、本実施の形態の画像表示装置３００は、円柱作成部１０３及び半径ＤＢ１０４（図３、図６）を有さない。
【００６０】
図９に示すように、本実施の形態の画像表示装置３００は、全方位画像Ｓ１０をオブジェクト抽出部３０１に入力する。オブジェクト抽出部３０１は、全方位画像Ｓ１０から、全方位画像Ｓ１０に含まれる注目物体の画像を抽出する。ここで、本実施の形態のオブジェクト抽出部３０１は、注目物体の周辺の背景画像は抽出せずに、注目物体（例えば人物）のみを抽出する。すなわち、実施の形態１、２のオブジェクト抽出部１０１は、注目物体に加えて、注目物体の周辺の背景画像（図２、図５における点線領域）も抽出したが、本実施の形態のオブジェクト抽出部３０１は注目物体のみを抽出する。
【００６１】
オブジェクト位置決定部３０２は、オブジェクト抽出部３０１で抽出された注目物体の画像をどの位置に表示させるかを決定し、その位置に注目物体の画像を立ち上げる。例えば、図８に示したように、注目物体が人物である場合には、全方位画像における人物の足元の位置からその人物の画像を立ち上げる。注目物体を立ち上げるにあたっては、実画像をそのまま立ち上げてもよいし、モデル化した注目物体画像を立ち上げてもよい。立ち上げる注目物体画像の大きさは、実画像の大きさに合わせてもよく、図８に示したように、表示画面上（透視投影上）で手前ほど大きくなるようにしてもよい。立ち上げる注目物体画像の大きさを手前ほど大きくすれば、遠近感を出すことができる。
【００６２】
このように本実施の形態によれば、注目物体の画像を全方位画像２０に対して鉛直な方向に立ち上げるオブジェクト位置決定部３０２と、各注目物体がどの方向を向いているかを検出するオブジェクト向き検出部２０１と、立ち上げられた各注目物体の表示形態を、検出された向きに応じて選択する表示形態選択部２０２とを設けたことにより、全方位画像に含まれる注目物体を３次元的に表示でき、さらに、注目物体の向きも表示できる。これにより、ユーザは、注目物体の位置関係（距離及び角度）と、向きとを、直感的に理解できる。
【００６３】
なお、本実施の形態では、注目物体の画像を全方位画像２０に対して鉛直な方向に立ち上げる場合について述べたが、本発明はこれに限らず、要は、注目物体の画像を全方位画像２０に交わる方向に立ち上げればよい。
【００６４】
［４］他の実施の形態
実施の形態１、２のように、注目物体を円柱の側面に貼り付ける場合、図１０のような表示を行うと好適である。図１０について説明する。図１０Ａは、注目物体画像（注目物体画像を含む切出領域画像）が円柱の手前にあり、かつ注目物体画像の右端と円柱の右端が一致している状態を示すものである。図１０Ｂは、本来であれば注目物体画像の右半分が円柱の向こう側に貼り付けられ左半分が円柱の手前側に貼り付けられるべきところを、右半分を円柱の向こう側に貼り付けずに、円柱からはみ出させて表示させた状態を示すものである。図１０Ｃは、円柱からはみ出させて表示させた状態で、注目物体画像の左端と円柱の右端が一致している状態を示すものである。図１０Ｄは、注目物体画像が円柱の向こう側にあり、かつ注目物体画像の右端と円柱の右端が一致している状態を示すものである。つまり、図１０Ｃから図１０Ｄのような状態に移るまでは、注目物体画像を円柱の手前側の画像として表示し、図１０Ｄのような状態となったときに始めて注目物体画像を円柱の向こう側の画像として表示することにより、注目画像が円柱の手前側と向こう側に分断される表示状態を避けることができ、違和感の少ない表示画像を得ることができる。
【００６５】
上述の実施の形態の画像表示装置は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、画像表示装置を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００６６】
本発明は、物体の位置関係が分かり易い全方位画像を表示でき、例えば全方位カメラが用いられた監視システムに適用可能である。
【符号の説明】
【００６７】
１、２０  全方位画像
１１−１、１１−２、１１−３  円柱
１２〜１６  注目物体
１００、２００、３００  画像表示装置
１０１、３０１  オブジェクト抽出部
１０２、３０２  オブジェクト位置決定部
１０３  円柱作成部
１０５、２０２  表示形態選択部
１０７  表示部
１０８  視点変換部
１０９  操作入力部
１１０  全方位カメラ
１２０  測位センサ
２０１  オブジェクト向き検出部
Ｃ０  全方位画像の中心
Ｃ１  円柱の中心軸
【図１】
2011059854.tif 000003
【図２】
2011059854.tif 000004
【図３】
2011059854.tif 000005
【図４】
2011059854.tif 000006
【図５】
2011059854.tif 000007
【図６】
2011059854.tif 000008
【図７】
2011059854.tif 000009
【図８】
2011059854.tif 000010
【図９】
2011059854.tif 000011
【図１０】
2011059854.tif 000012