(57)【要約】【課題】従来の電子鏡装置は、表示切り替え時にリモコン等を用いた切り替え操作を行う必要があり、わずらわしいという課題があった。【解決手段】本発明に係る表示装置は、複数の方向から利用者を撮影した映像について、それぞれの奥行き値の変化を調べ、奥行き値の変化の大きい方向からの映像を選択して表示することにより、わずらわしい表示切り替え操作を行うことなく、利用者の動きに合わせた自動表示切り替えを実現することが可能となる。【選択図】図１
2010016507.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影する複数の撮像部を備え、前記撮像部により撮影された映像に基づいて生成された映像を表示する表示装置であって、
前記撮像部で撮影された複数の映像の各奥行き値を計測する奥行き値計測部と、
前記奥行き値計測部で計測された各奥行き値を複数フレーム記憶する奥行き値記憶部と、
前記奥行き値記憶部に記憶された過去のフレームの奥行き値と現在のフレームの奥行き値の変化量を算出する奥行き値変化量算出部と、
前記奥行き値変化量算出部で算出された各奥行き値の変化量に基づいて前記表示装置に表示する映像を決定する表示映像判定部と、
を備えた表示装置。
【請求項２】
前記表示映像判定部は、前記奥行き値変化量算出部で算出された各奥行き値の変化量を比較して、変化量が最大となるものを前記表示装置に表示する映像として決定する、
請求項１記載の表示装置。
【請求項３】
前記撮像部で取得した映像で画像処理を行う画像処理部を備え、前記画像処理部で画像処理を行った映像を表示する、
請求項１記載の表示装置。
【請求項４】
対象物の３次元データを取得する３次元データ取得部を備え、前記３次元データ取得部で取得された３次元データに基づいて描画された映像を表示する表示装置であって、
前記３次元データ取得部で取得された３次元データを複数の仮想的な視点から見たときの各奥行き値を計測する奥行き値計測部と、
前記奥行き値計測部で計測された各奥行き値を複数フレーム記憶する奥行き値記憶部と、
前記奥行き値記憶部に記憶された過去のフレームの奥行き値と現在のフレームの奥行き値の変化量を算出する奥行き値変化量算出部と、
前記奥行き値変化量算出部で算出された各奥行き値の変化量に基づいて前記表示装置に表示する３次元データの仮想的な視点位置および視線方向を決定する表示視点位置決定部と、
前記視点位置判定部で決定された視点位置に基づいて、前記表示装置に表示する３次元データの描画を行う３次元データ描画部と、
を備えた表示装置。
【請求項５】
前記３次元データ取得部は、対象物の３次元位置座標を取得する３次元座標取得部と、対象物のテクスチャデータを取得するテクスチャデータ取得部からなる、
請求項４記載の表示装置。
【請求項６】
前記３次元データ描画部は、前記３次元位置座標取得部で取得された対象物の３次元位置座標と、前記テクスチャデータ取得部で取得された対象物のテクスチャデータを用いて、前記表示装置に表示する３次元データの描画を行う、
請求項５記載の表示装置。
【請求項７】
前記３次元データ取得部で取得された３次元データに対して、複数の仮想的な視点位置および視線方向を指定する仮想視点指定部を備え、前記奥行き値計測部は、前記仮想視点指定部で指定された複数の仮想的な視点から前記３次元データを見たときの各奥行き値を計測する、
請求項４記載の表示装置。
【請求項８】
前記表示視点位置決定部は、前記奥行き値変化量算出部で算出された各奥行き値の変化量を比較して、変化量が最大となるものを３次元データの表示視点として決定する、
請求項４記載の表示装置。
【請求項９】
前記表示視点位置決定部は、前記奥行き値変化量算出部で算出された各奥行き値の変化量を比較して、それぞれの変化量の割合から最終的に描画する３次元データの表示視点位置および視線方向を決定する、
請求項４記載の表示装置。
【請求項１０】
前記３次元データ描画部で描画された３次元映像に対して画像処理を行う画像処理部を備え、前記画像処理部で画像処理を行った映像を表示する、
請求項４記載の表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物を周囲の複数の方向から撮影し、複数の方向から撮影された映像に基づいて生成された映像を表示する表示装置に関するものである。より具体的には、従来のガラス製の鏡に代わって撮像装置によって撮影した利用者の映像を、電子的な表示装置に表示させる電子鏡装置に関するものである。
【背景技術】
【０００２】
電子鏡装置の従来技術としては、撮像装置によって利用者を撮影し、撮影された利用者の映像を表示部にリアルタイムに表示するものがある。この電子鏡装置は複数の撮像装置と表示装置を組み合わせ、利用者の正面、横、後姿を表示装置上に選択的に切り替えて表示、もしくは、同時に表示できるようにしたものである。
【０００３】
このような従来の技術としては、例えば特許文献１に記載されたものが知られている。
【０００４】
また、複数の撮像装置による映像のうち適切な映像を自動的に選択する従来技術としては、撮像装置による映像を予め登録されたパターンと比較し、登録されたパターンに一致した場合にそのカメラからの映像を選択するものがある。
【０００５】
このような従来の技術としては、例えば特許文献２に記載されたものが知られている。
【特許文献１】特開２００１−２５００４号公報
【特許文献２】特開２００６−９４１００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術では、表示切り替え時にリモートコントロール装置の操作を行って表示を切り替える必要があったので、このような処理は非常にわずらわしいという課題があった。例えば、ドライヤー使用時などの表示方向を切り替えたい場合等である。また、従来の複数映像の自動切換え処理には、パターンマッチング等のコストの高い画像処理や認識処理が必要であるという課題があった。
【０００７】
そこで、本発明は上記のような課題に鑑みてなされたものであり、複数の方向から利用者を撮影した映像について、それぞれの奥行き値の変化を調べる。そして、奥行き値の変化の大きい方向からの映像を選択して表示することにより、わずらわしい表示切り替え操作を行うことがなくなることを目的とする。また、奥行き値の変化の大きい方向からの映像を選択して表示することにより、計算コストの高い画像処理や認識処理を行うことなく、利用者の動きに合わせた自動表示切り替えを実現することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る表示装置は、対象物を撮影する複数の撮像部を備え、前記撮像部により撮影された映像に基づいて生成された映像を表示する表示装置であって、前記撮像部で撮影された複数の映像の各奥行き値を計測する奥行き値計測部と、前記奥行き値計測部で計測された各奥行き値を複数フレーム記憶する奥行き値記憶部と、前記奥行き値記憶部に記憶された過去のフレームの奥行き値と現在のフレームの奥行き値を比較する奥行き値変化量算出部と、前記奥行き値変化量算出部で比較された結果に基づいて前記表示装置に表示する映像を変更する表示映像判定部とを備えた表示装置である。
【発明の効果】
【０００９】
以上のように、本発明に係る表示装置は、複数の方向から利用者を撮影した映像について、それぞれの奥行き値の変化を調べ、奥行き値の変化の大きい方向からの映像を選択して表示することにより、わずらわしい表示切り替え操作を行うことなく、利用者の動きに合わせた自動表示切り替えを実現することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施形態における表示装置について、図面を参照しながら説明する。なお、本発明の実施の形態に係る表示装置の例としては、撮像装置で撮影した利用者の映像を電子的な表示装置に表示させる電子鏡装置である。
【００１１】
（実施の形態１）
以下、実施の形態１に係る表示装置について説明する。実施の形態１に係る表示装置は、撮像装置で利用者を撮影し、撮影された利用者の映像を表示部にリアルタイムに表示する表示装置であり、複数の撮像装置で撮影された利用者の正面、横、後姿等を、表示装置上に選択的に切り替えて表示、もしくは、同時に表示できるようにした表示装置である。
【００１２】
図１は、実施の形態１に係る表示装置の構成を示すブロック図である。図１において、表示装置は、撮像部１０１と、奥行き値計測部１０２と、奥行き値記憶部１０３と、奥行き値変化量算出部１０４と、表示映像判定部１０５と、表示部１０６とを備えている。
【００１３】
撮像部１０１は、撮影される対象物の周りを取り巻く形で複数存在し、それぞれが周囲の異なる方向から対象物を撮影する。奥行き値計測部１０２は、撮像部１０１で撮影された複数の映像それぞれについて奥行き値を計測する。奥行き値記憶部１０３は、奥行き値計測部１０２で計測された各奥行き値を、現在のフレームから過去のフレームに渡って複数フレーム記憶する。奥行き値変化量算出部１０４は、奥行き値記憶部１０３に記憶された各方向から撮影された映像の過去のフレームの奥行き値と現在のフレームの奥行き値の変化量を算出する。表示映像判定部１０５は、奥行き値変化量算出部１０４で算出された各奥行き値の変化量に基づいて表示する映像を決定する。表示部１０６は、表示映像判定部１０５で判定された映像を撮像部１０１から取得して表示する。
【００１４】
以下、実施の形態１に係る表示装置の処理の流れを説明する。図２は実施の形態１に係る表示装置の処理の流れを示すフローチャートである。まず、撮像部１０１は利用者の周囲を取り巻く形で複数台設置され、複数の方向から利用者を撮影し、視差映像を取得する（ステップＳ２０１）。ここで、撮像部１０１は、ＣＣＤカメラ等の撮像装置であり、奥行き値を取得するための視差映像を撮影可能なステレオカメラである。
【００１５】
次に、奥行き値計測部１０２は、ステップＳ２０１において複数の撮像部１０１で撮影された視差映像それぞれに対して、映像に映っている対象物までの奥行き値を計測する（ステップＳ２０２）。ここで、視差映像から奥行き値を求める手法に関しては既知の技術であるため説明を省略する。奥行き値は撮像部１０１で撮影された映像の全画素に対して求めるのが望ましいが、一部の画素に対する奥行き値のみでも構わない。例えば、映像全体ではなく、背景差分法などにより利用者だけを切り出し、利用者の奥行き値のみの計測でも構わない。
【００１６】
そして、奥行き値記憶部１０３は、ステップＳ２０２において奥行き値計測部１０２で計測された現在のフレームの奥行き値を記憶する（ステップＳ２０３）。ここで、奥行き値記憶部１０３は、メモリ装置上に確保した記憶用バッファであり、奥行き値計測部１０２で計測された奥行き値それぞれについて、現在のフレームから過去のフレームにさかのぼって複数フレーム記憶する。奥行き値は毎フレーム記憶するのが望ましいが、処理性能に応じて一定フレーム間隔の記憶でも構わない。さらに、奥行き値記憶部１０３に記憶された各方向から撮影された映像の過去のフレームの奥行き値を取得する（ステップＳ２０４）。
【００１７】
そして、奥行き値変化量算出部１０４は、ステップＳ２０４において奥行き値記憶部１０３から取得した過去のフレームの奥行き値と、ステップＳ２０２において計測した現在のフレームの奥行き値との差を取ることで映像全体の奥行き値の変化量を算出する（ステップＳ２０５）。さらに、表示映像判定部１０５は、ステップＳ２０５において奥行き値変化量算出部１０４で算出された各奥行き値の変化量を比較し、撮像部に近づく方向に奥行き値が最も大きく変化した映像を表示映像として決定する（ステップＳ２０６）。
【００１８】
最後に、表示部１０６は、ステップＳ２０６において表示映像判定部１０５で判定された映像を撮像部１０１から取得して表示する（ステップＳ２０７）。ここで、必要であれば撮像部１０１で撮影した画像に何らかの処理を行ってから表示を行うことも可能である。例えば、選択された映像が利用者正面に置かれた撮像部からの映像である場合は、表示前に左右反転処理を行ってから表示することで、従来の鏡と同様の感覚で使用することができる。また、選択された映像に完全に切り替えてしまうのではなく、表示部１０６の画面を分割して、選択された映像とその他の方向からの映像を同時に表示しても構わない。例えば、利用者の後方の映像が選択された場合、利用者の前方の映像から後方の映像に完全に切り替えるのではなく、表示部１０６の画面を２画面に分割し、一方に前方の映像を、もう一方に後方の映像を表示するような形態も考えられる。
【００１９】
以上のように、実施の形態１によれば、撮像部に近づく方向に奥行き値が最も大きく変化した映像を表示映像とすることで、利用者が身体を動かしている方向、つまり、利用者が映像を見たい方向を判定することが可能となる。
【００２０】
（実施の形態２）
以下、実施の形態２に係る表示装置について説明する。実施の形態２に係る表示装置は、利用者の３次元データを取得し、取得された３次元データをレンダリングしてリアルタイムに表示する表示装置であり、生成された３次元データについて仮想的な視点からレンダリングした画像を、表示装置上に選択的に視点を切り替えて表示、もしくは、同時に複数の視点で表示できるようにした表示装置である。
【００２１】
図３は、実施の形態２に係る表示装置の構成を示すブロック図である。図３において、表示装置は、３次元データ取得部３０１と、奥行き値計測部３０４と、奥行き値記憶部３０５と、奥行き値変化量算出部３０６と、表示視点位置決定部３０６と、３次元データ描画部３０８と、表示部３０９とを備えている。また、３次元データ取得部３０１は、３次元座標取得部３０２と、テクスチャデータ取得部３０３からなる。
【００２２】
まず、図３の構成の概要を説明する。３次元データ取得部３０１は、３次元データをキャプチャーされる対象物の周りを取り巻く形で存在し、対象物の３次元データを取得する。３次元データ取得部３０１は、３次元座標取得部３０２と、テクスチャデータ取得部３０３からなり、３次元座標取得部３０２は、対象物の３次元座標データを取得し、テクスチャデータ取得部３０３は、対象物の３次元座標データに対応したテクスチャ画像データを取得する。奥行き値計測部３０４は、あらかじめ設定された複数の仮想的な視点から３次元座標取得部３０２で取得された３次元データを見たときの各奥行き値を計測する。奥行き値記憶部３０５は、奥行き値計測部３０４で計測された各奥行き値を、現在のフレームから過去のフレームに渡って複数フレーム記憶する。
【００２３】
奥行き値変化量算出部３０６は、奥行き値記憶部３０５に記憶された各視点からの奥行き値に対して、過去のフレームの奥行き値と現在のフレームの奥行き値の変化量を算出する。表示視点位置決定部３０７は、奥行き値変化量算出部３０６で算出された各奥行き値の変化量に基づいて表示する３次元画像の視点位置および視線方向を決定する。３次元データ描画部３０８は、表示視点位置決定部３０７で決定された視点位置および視線方向と、３次元データ取得部３０１で取得したデータを用いて３次元画像の描画を行う。表示部３０９は、３次元データ描画部３０８で描画された３次元画像の表示を行う。
【００２４】
以下、実施の形態２に係る表示装置の処理の流れを説明する。図４は実施の形態２に係る表示装置の処理の流れを示すフローチャートである。まず、３次元データ取得部３０１は、撮影する対象物の３次元座標データ、および、テクスチャ画像データを取得する（ステップＳ４０１）。ここで、３次元データ取得部３０１は、撮影する対象物の３次元座標データを取得する３次元座標取得部３０２と、３次元座標データに対応したテクスチャ画像データを取得するテクスチャデータ取得部３０３とを備えた装置であり、例えば、撮影対象の視差画像から３次元データを生成することが可能なステレオＣＣＤカメラを備えた装置である。
【００２５】
次に、奥行き値計測部３０４は、あらかじめ設定された複数の仮想的な視点から、ステップＳ４０１において３次元座標取得部３０２で取得した３次元データを見たときの各奥行き値を計測する（ステップＳ４０２）。ここで、仮想的な視点位置としては、３次元データを取得する対象である利用者を正面から見るような視点、および、利用者を後方から見るような視点が適切である。そして、奥行き値記憶部３０５は、ステップＳ４０２において奥行き値計測部３０４で計測された現在のフレームの奥行き値を記憶する（ステップＳ４０３）。ここで、奥行き値記憶部３０５は、メモリ装置上に確保した記憶用バッファであり、奥行き値計測部３０４で計測された奥行き値それぞれについて、現在のフレームから過去のフレームにさかのぼって複数フレーム記憶する。奥行き値は毎フレーム記憶するのが望ましいが、処理性能に応じて一定フレーム間隔の記憶でも構わない。さらに、奥行き値記憶部３０５に記憶された各視点からの過去のフレームの奥行き値を取得する（ステップＳ４０４）。
【００２６】
そして、奥行き値変化量算出部３０６は、ステップＳ４０４において奥行き値記憶部３０５から取得した過去のフレームの奥行き値と、ステップＳ４０２において計測した現在のフレームの奥行き値の変化量を算出する（ステップＳ４０５）。さらに、表示視点位置決定部３０７は、ステップＳ４０５において奥行き値変化量算出部３０６で算出された各奥行き値の変化量を比較し、視点に近づく方向に奥行き値が最も大きく変化した視点の視点位置および視線方向を表示視点として決定する（ステップＳ４０６）。ここで、表示視点として決定される視点としては、奥行き値変化量算出部３０６で算出された各奥行き値の変化量の割合から求めた新たな仮想視点を用いても構わない。
【００２７】
そして、３次元データ描画部３０８は、ステップＳ４０６において表示視点位置決定部３０７で決定された視点位置および視線方向と、３次元データ取得部３０１で取得した３次元座標データおよびテクスチャ画像データを用いて３次元データの描画を行う（ステップＳ４０７）。
【００２８】
最後に、表示部３０９は、ステップＳ４０７において３次元データ描画部３０８で描画された３次元画像の表示を行う（ステップＳ４０８）。ここで、必要であれば３次元データ描画部３０８で生成した画像に何らかの処理を行ってから表示を行うことも可能である。例えば、表示視点位置決定部３０７で決定された表示視点が利用者を正面から見るような視点である場合は、表示前に左右反転処理を行ってから表示することで、従来の鏡と同様の感覚で使用することができる。また、表示視点位置決定部３０７で決定された視点から描画された画像に完全に切り替えてしまうのではなく、表示部３０９の画面を分割して、決定された視点から描画された画像とその他の視点から描画された画像を同時に表示しても構わない。
【００２９】
以上のように、実施の形態２によれば、利用者の３次元データを取得して、取得された３次元データをレンダリングして表示する表示装置において、あらかじめ設定された複数の仮想視点に対して、奥行き値が最も大きく変化した視点を表示視点とすることで、利用者が身体を動かしている方向、つまり、利用者が映像を見たい方向を自動的に判定し表示することが可能となる。
【００３０】
なお、上記の表示装置は、表示方法、表示プログラム、表示プログラムを記録した記録媒体としても実現できる。また、上記の表示装置の各機能ブロックは典型的には集積回路であるＬＳＩとしても実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積化回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現しても良い。ＬＳＩ製造後にプログラム化することが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【００３１】
本発明に係る表示装置は、撮像装置で撮影した利用者の映像を電子的な表示装置に表示させる電子鏡装置において有効である。また、監視システム等において複数の映像から表示もしくは記録する映像を切り替えるような場合においても有効である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態１に係る表示装置の構成の一部を示すブロック図
【図２】本発明の実施の形態１に係る表示装置の処理の流れを示すフローチャート
【図３】本発明の実施の形態２に係る表示装置の構成の一部を示すブロック図
【図４】本発明の実施の形態２に係る表示装置の処理の流れを示すフローチャート
【符号の説明】
【００３３】
１０１    撮像部
１０２    奥行き値計測部
１０３    奥行き値記憶部
１０４    奥行き値変化量算出部
１０５    表示映像判定部
１０６    表示部
３０１    ３次元データ取得部
３０２    ３次元座標取得部
３０３    テクスチャデータ取得部
３０４    奥行き値計測部
３０５    奥行き値記憶部
３０６    奥行き値変化量算出部
３０７    表示視点位置決定部
３０８    ３次元データ描画部
３０９    表示部
【図１】
2010016507.tif 000003
【図２】
2010016507.tif 000004
【図３】
2010016507.tif 000005
【図４】
2010016507.tif 000006