(57)【要約】      （修正有）【課題】デッドゾーンの発生を防ぐと同時に、視聴者の位置とは関係なく同じ映像を提供することができる多視点映像表示装置および方法を提供する。【解決手段】多視点映像表示装置は、視聴者の位置を追跡する位置追跡部と、位置追跡部の位置追跡結果に基づいて、追跡された位置上に局部的に多視点入力映像を表示する表示部とを備える。また、多視点映像表示方法は、位置追跡モジュールを用いて視聴者の位置を追跡するステップと、位置追跡モジュールの位置追跡結果に基づいて、追跡された位置上に局部的に多視点入力映像を表示するステップとを含む。【選択図】図５
2011004388.tif 000002
【特許請求の範囲】
【請求項１】
視聴者の位置を追跡する位置追跡部と、
前記位置追跡部の位置追跡結果に基づいて、前記の追跡された位置上に局部的に多視点入力映像を表示する表示部と、
を備える多視点映像表示装置。
【請求項２】
前記位置追跡部は
前記視聴者の頭を識別して前記頭の位置を追跡し、
前記表示部は、前記の追跡された頭の位置上に前記多視点入力映像を表示する請求項１に記載の多視点映像表示装置。
【請求項３】
前記表示部は
前記多視点映像表示装置が表現可能な複数の視点のうちで前記追跡された頭の位置に対応する少なくとも１つの視点と、前記多視点入力映像を構成する少なくとも１つの視点とを整合する視点整合部、
を備える請求項２に記載の多視点映像表示装置。
【請求項４】
前記表示部は、
前記追跡された頭の位置に対応する少なくとも１つの視点を介して前記多視点入力映像を表示する請求項３に記載の多視点映像表示装置。
【請求項５】
前記頭の位置が変化する場合、前記位置追跡部の位置追跡結果に基づいて、前記頭の位置変化量を測定する変化量測定部と、
前記測定された位置変化量と閾値とを比べ、前記測定された位置変化量が前記閾値を超過するか否かを判断する判断部と、
前記測定された位置変化量が前記閾値を超過する場合、前記変化した頭の位置に対する前記位置追跡部の位置追跡結果を前記表示部に伝達する伝達部と、
をさらに備える請求項２に記載の多視点映像表示装置。
【請求項６】
前記表示部は、
前記伝達部から前記変化した頭の位置に対する位置追跡結果を受信すれば、前記変化した頭の位置上に前記多視点入力映像を表示する請求項５に記載の多視点映像表示装置。
【請求項７】
前記位置追跡部は、
前記頭の位置をリアルタイムで追跡する請求項２に記載の多視点映像表示装置。
【請求項８】
前記多視点映像表示装置が表示可能な複数の視点の個数は、前記多視点入力映像を構成する少なくとも１つの視点の個数を超過する請求項３に記載の多視点映像表示装置。
【請求項９】
多視点映像表示装置の多視点映像表示方法であって、
位置追跡モジュールを用いて視聴者の位置を追跡するステップと、
前記位置追跡モジュールの位置追跡結果に基づいて、前記の追跡された位置上に局部的に多視点入力映像を表示するステップと、
を含む多視点映像表示方法。
【請求項１０】
前記位置を追跡するステップは、
前記視聴者の頭を識別して前記頭の位置を追跡し、
前記表示するステップは、前記の追跡された頭の位置上に前記多視点入力映像を表示する請求項９に記載の多視点映像表示方法。
【請求項１１】
前記表示するステップは、
前記多視点映像表示装置が表現可能な複数の視点のうちで前記追跡された頭の位置に対応する少なくとも１つの視点と、前記多視点入力映像を構成する少なくとも１つの視点とを整合するステップと、
前記追跡された頭の位置に対応する少なくとも１つの視点を介して前記多視点入力映像を表示するステップと、
を含む請求項１０に記載の多視点映像表示方法。
【請求項１２】
前記頭の位置が変化する場合、前記位置追跡モジュールの位置追跡結果に基づいて、前記頭の位置変化量を測定するステップと、
前記測定された位置変化量と閾値とを比べ、前記測定された位置変化量が前記閾値を超過するか否かを判断するステップと、
をさらに含む請求項１０に記載の多視点映像表示方法。
【請求項１３】
前記表示するステップは、
前記測定された位置変化量が前記閾値を超過する場合、前記変化した頭の位置に対する前記位置追跡モジュールの位置追跡結果に基づいて、前記変化した頭の位置上に前記多視点入力映像を表示する請求項１２に記載の多視点映像表示方法。
【請求項１４】
請求項９〜１３のうちのいずれか一項の方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、多視点（Ｍｕｌｔｉ−Ｖｉｅｗ）映像表示方法及び多視点映像表示装置と関連する技術分野に属する。
【背景技術】
【０００２】
多視点映像やステレオ（Ｓｔｅｒｅｏｓｃｏｐｉｃ）映像などは、２台以上のカメラを用いて撮影した映像を幾何学的に校正し、空間的に処理して生成されることができる。
【０００３】
このような多視点映像などは、多様な視点映像を視聴者に提供する３次元映像処理技術と関連するものであり、同じ３次元場面を２台以上のカメラで取得してより立体感のある画面を提供する技術である。
【０００４】
最近では、多視点映像だけではなく、超多視点（Ｓｕｐｅｒ  Ｍｕｌｔｉ−Ｖｉｅｗ：ＳＭＶ）映像や自由視点ＴＶ（Ｆｒｅｅ  Ｖｉｅｗｐｏｉｎｔ  ＴＶ：ＦＴＶ）などに対する多様な研究が進められている。
【０００５】
また、多視点映像などは、単眼（Ｍｏｎｏｃｕｌａｒ）映像などのような所定の入力映像と、この入力映像に対する深さマップ（ｄｅｐｔｈ  ｍａｐ）を用いてレンダリング（ｒｅｎｄｅｒｉｎｇ）を実行することによって生成されることができる。
【０００６】
このように多視点映像に対する関心が集中するなかで、多視点映像に対する技術水準を一次元高めることができる研究が求められている。
【０００７】
図１は、一般的な多視点映像表示装置を概略的に示す概念図である。
【０００８】
通常、多視点映像表示装置は、図１に示すように、パネル（ｐａｎｅｌ）１１０およびレンチキュラーシート（ｌｅｎｔｉｃｕｌａｒ  ｓｈｅｅｔ）（またはパララックスバリアー（ｐａｒａｌｌａｘ  ｂａｒｒｉｅｒ）１２０を用いて複数の視点を生成することができる。
【０００９】
多視点映像表示装置が複数の視点を介して映像を出力するため、視聴者は、多様な位置で多視点映像表示装置が出力する映像を鑑賞することができる。
【００１０】
一般的な多視点映像表示装置では、内部に含まれているレンチキュラーシートの光学的な特性により、特定の間隔で視点が繰り返されることができる。
【００１１】
図１は、８個の視点間隔で同じ視点が繰り返される多視点映像表示装置の一例を示す図である。図１に示された例では、視点１から視点８が繰り返されている。図１に示された例のように、視点が特定の間隔で繰り返される場合、視点が繰り返される境界に位置した視聴者は、正確な出力映像を視聴できないことがある。
【００１２】
例えば、多視点映像表示装置が３次元映像を出力し、視点１から視点８の順序に応じて視点１〜視点８上に左側から右側に偏った映像を出力すると仮定しよう。
【００１３】
すなわち、視聴者が視点２と視点３上に位置している場合、視聴者は視点２を介して左視点映像を見るし、視点３を介して右視点映像を見ることによって３次元映像を視聴することができ、視聴者が視点３と視点４上に位置している場合、視聴者は視点３を介して左視点映像を見るし、視点４を介して右視点映像を見ることによって３次元映像を視聴することができると仮定しよう。
【００１４】
このとき、視聴者１（１３１）は、パネル１１０とレンチキュラーシート１２０が生成した視点１〜視点８上に位置しているため、多視点映像表示装置が出力する３次元映像を正常に視聴することができる。
【００１５】
また、視聴者２（１３２）も、パネル１１０とレンチキュラーシート１２０が生成した視点１〜視点８上に位置しているため、多視点映像表示装置が出力する３次元映像を正常に視聴することができる。
【００１６】
しかしながら、視聴者３（１３３）は、視点８と視点１上に位置しているため、正常な３次元映像を視聴できないことがある。
【００１７】
これと関連して、視聴者３（１３３）が正常な３次元映像を視聴するためには、視点８から左視点映像が出力されなければならず、視点１から右視点映像が出力されなければならない。
【００１８】
しかしながら、上述したように、視点１から視点８の順序によって左側から右側に偏った映像が出力されると仮定したため、実質的には視点８から右視点映像が出力され、視点１から左視点映像が出力される。
【００１９】
したがって、視聴者３（１３３）は、正常な３次元映像を視聴できないことがある。
【００２０】
すなわち、視点８から視点１に変わる位置１４１、１４２では、視聴者が正常に３次元映像を視聴できないことがある。
【００２１】
このように、一般的な多視点映像表示装置は、視聴者が正常に出力映像を視聴することができないデッドゾーン（Ｄｅａｄ  Ｚｏｎｅ）１４１、１４２を発生させることがあるため、このようなデッドゾーン１４１、１４２の発生を防ぐために、最近は表現可能な視点数を増加させた多視点映像表示装置が登場した。
【００２２】
以下、一般的な多視点映像表示装置に比べて表現可能な視点数が増加した多視点映像表示装置を「ワイド多視点（Ｗｉｄｅ  Ｍｕｌｔｉ−Ｖｉｅｗ）映像表示装置」と命名することにする。
【００２３】
図２は、ワイド多視点映像表示装置を概略的に示す概念図である。
【００２４】
ワイド多視点映像表示装置は、一般的な映像表示装置と同様、パネル２１０とレンチキュラーシート２２０を用いて複数の視点を生成することができる。
【００２５】
ただし、ワイド多視点映像表示装置は、一般的な映像表示装置よりも表現可能な視点数がより多く存在する。
【００２６】
図２の例では、ワイド多視点映像表示装置が２４個の視点を生成できるものとして示している。
【００２７】
ワイド多視点映像表示装置が２４個の視点を生成することができるため、視聴者は、２４個視点のどの位置にいても正常な出力映像を視聴することができる。
【００２８】
例えば、ワイド多視点映像表示装置が２４個の視点を介して３次元映像を出力する場合、視聴者１（２３１）は視点３と視点４を介して３次元映像を視聴することができ、視聴者２（２３２）は視点１１と視点１２を介して３次元映像を視聴することができ、視聴者３（２３３）は視点１８と視点１９を介して３次元映像を視聴することができる。
【００２９】
しかしながら、このようなワイド多視点映像表示装置は、左右に渡って多数の視点を表示するため、互いに異なる位置に存在する視聴者に同じ映像を提供できないことがある。
【００３０】
例えば、ワイド多視点映像表示装置が視点１〜視点２４を介して「自動車」を表示する場合、視聴者１（２３１）は「自動車」の左側部分のみを見ることがあり、視聴者２（２３２）は「自動車」の中間部分のみを見ることがあり、視聴者３（２３３）は「自動車」の右側部分のみを見ることがある可能性が高い。
【００３１】
これは、ワイド多視点映像表示装置が一般的な多視点映像表示装置とは異なり、多数の視点映像を左右方向で出力するためである。
【００３２】
したがって、映画などのように、視聴者に視聴者の位置とは関係なく同じ映像を提供しなければならない場合には、ワイド多視点映像表示装置の利用が困難になることがある。
【００３３】
また、ワイド多視点映像表示装置で利用が可能な映像コンテンツを製作するためには、多視点カメラの台数が一般の多視点映像表示装置の場合よりも多く必要となり、映像コンテンツの大きさも一般的な映像コンテンツの大きさよりも大きいため、広い帯域幅の確保が必要となる。
【００３４】
以上、一般的な多視点映像表示装置とワイド多視点映像表示装置について簡略に説明した。一般的な多視点映像表示装置は、視点が特定の間隔で繰り返され、視聴者が正しい出力映像を見ることができないデッドゾーンを発生させることがある。また、ワイド多視点映像表示装置は、デッドゾーンは発生させないが、視聴者の位置によって視聴者に同じ映像を提供できないことがある。
【００３５】
したがって、多視点映像表示装置でデッドゾーンを排除すると同時に、視聴者の位置とは関係なく同じ映像を提供することができる方案に対する研究が必要である。
【００３６】
これと関連して、本発明の一実施形態に係る多視点映像表示装置および方法は、視聴者の位置を追跡し、追跡された視聴者の位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぐことができると同時に、視聴者の位置とは関係なく同じ映像を提供できるようにする。
【発明の概要】
【発明が解決しようとする課題】
【００３７】
本発明の一実施形態によれば、視聴者の位置を追跡（ｔｒａｃｋｉｎｇ）し、追跡された視聴者の位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぐと同時に、視聴者の位置とは関係なく同じ映像を提供することができる多視点映像表示装置および方法を提供する。
【課題を解決するための手段】
【００３８】
本発明の一実施形態に係る多視点映像表示装置は、視聴者の位置を追跡する位置追跡部と、前記位置追跡部の位置追跡結果に基づいて、前記追跡された位置上に局部的（ｌｏｃａｌｌｙ）に多視点入力映像を表示する表示部とを備える。
【００３９】
また、本発明の一実施形態に係る多視点映像表示装置の多視点映像表示方法は、位置追跡モジュールを用いて視聴者の位置を追跡するステップと、前記位置追跡モジュールの位置追跡結果に基づいて、前記追跡された位置上に局部的に多視点入力映像を表示するステップとを含む。
【発明の効果】
【００４０】
本発明の一実施形態に係る多視点映像表示装置および方法は、視聴者の位置を追跡し、追跡された視聴者の位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぐと同時に、視聴者の位置とは関係なく同じ映像を提供することができる。
【図面の簡単な説明】
【００４１】
【図１】一般的な多視点映像表示装置を概略的に示す概念図である。
【図２】ワイド多視点映像表示装置を概略的に示す概念図である。
【図３】本発明の一実施形態に係る多視点映像表示装置を概略的に示す概念図である。
【図４】本発明のさらに他の一実施形態に係る多視点映像表示装置を概略的に示す概念図である。
【図５】本発明の一実施形態に係る多視点映像表示装置の構造を示す図である。
【図６】本発明の一実施形態に係る多視点映像表示方法を示すフローチャートである。
【発明を実施するための形態】
【００４２】
以下、添付の図面を参照しながら、本発明に係る実施形態を詳細に説明する。しかしながら、本発明が実施形態によって制限または限定されることはない。各図面に提示された同じ参照符号は、同じ部材を示す。
【００４３】
以下では、図３〜６を参照しながら、本発明の一実施形態に係る多視点映像表示装置および方法について詳しく説明する。
【００４４】
図３は、本発明の一実施形態に係る多視点映像表示装置を概略的に示す概念図である。
【００４５】
本発明の一実施形態に係る多視点映像表示装置は、パネル３１０とレンチキュラーシート３２０を用いてワイド多視点映像表示装置のように多数の視点を生成することができる。
【００４６】
また、本発明の一実施形態に係る多視点映像表示装置は、視聴者の目を追跡することができる位置追跡モジュール３４０を備える。
【００４７】
位置追跡モジュール３４０は、視聴者３３１、３３２の目をリアルタイムで追跡して目の位置を識別する。
【００４８】
位置追跡モジュール３４０が位置追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、多視点映像表示装置が生成した多数の視点のうちで視聴者３３１、３３２の目が位置している視点を介して左視点映像および右視点映像を表示する。
【００４９】
例えば、図３に示すように、視聴者１（３３１）の左目が視点１〜視点２４のうちで視点６上に位置しており、視聴者１（３３１）の右目が視点１〜視点２４うちで視点７上に位置していると仮定しよう。
【００５０】
このとき、位置追跡モジュール３４０が視聴者１（３３１）の左目および右目に対する位置追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、視点６を介して左視点映像を表示し、視点７を介して右視点映像を表示することができる。
【００５１】
これにより、視聴者１（３３１）は、正確な３次元映像を視聴することができる。
【００５２】
また、視聴者２（３３２）の場合、視聴者２（３３２）の左目は視点１４上に位置しており、視聴者２（３３２）の右目は視点１５上に位置しているため、多視点映像表示装置は、位置追跡モジュール３４０の位置追跡結果に基づいて、視点１４を介して左視点映像を表示し、視点１５を介して右視点映像を表示することができる。
【００５３】
これにより、視聴者２（３３２）も、正確な３次元映像を視聴することができる。
【００５４】
結局、本発明の一実施形態に係る多視点映像表示装置は、位置追跡モジュール３４０を介して視聴者３３１、３３２の目の位置を追跡し、視聴者３３１、３３２の目が位置している視点を介して左視点映像および右視点映像を表示することにより、視聴者３３１、３３２の位置によるデッドゾーンの発生を防ぎ、視聴者３３１、３３２の位置とは関係なく視聴者３３１、３３２に同じ映像を提供することができる。
【００５５】
ただし、本実施形態は、視聴者の目の位置をリアルタイムで追跡しなければならないという点において、精密な位置追跡が必要となる。もし、位置追跡に軽微な誤差が発生する場合には、視聴者に正しい映像を提供できないことがある。
【００５６】
また、本実施形態は、視聴者の位置とは関係なく同じ左視点映像および右視点映像を提供することにより、運動視差（Ｍｏｔｉｏｎ  Ｐａｒａｌｌａｘ）が反映されずに視聴者に疲労感を与えることがある。すなわち、視聴者に実質的に１視点を有する３次元映像を提供するため、視聴者が位置移動しても、視聴者は同じ方向から眺める映像が自分についてくるような感覚を受けることがある。
【００５７】
さらに、本実施形態は、視聴者に実質的に多視点映像を提供するものではないため、多視点映像を提供するときの特徴である自動的な深さスケーリング（ａｕｔｏｍａｔｉｃ  ｄｅｐｔｈ  ｓｃａｌｉｎｇ）がなされないことがある。
【００５８】
したがって、本発明の他の一実施形態に係る多視点映像表示装置は、視聴者の頭を追跡し、追跡された位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぎ、視聴者の位置とは関係なく同じ映像を提供すると同時に位置追跡の誤差を減少させ、運動視差を反映し、自動的な深さスケーリングがなされるようにできる。
【００５９】
以下、図４を参照しながら、本発明の他の一実施形態に係る多視点映像表示装置について詳しく説明する。
【００６０】
図４は、本発明のさらに他の一実施形態に係る多視点映像表示装置を概略的に示す概念図である。
【００６１】
本発明の一実施形態に係る多視点映像表示装置は、パネル４１０とレンチキュラーシート４２０を用いて多数の視点を生成することができる。
【００６２】
また、本発明の一実施形態に係る多視点映像表示装置は、視聴者の頭を追跡することができる位置追跡モジュール４４０を備える。
【００６３】
位置追跡モジュール４４０は、視聴者４３１、４３２の頭をリアルタイムで追跡して頭の位置を識別する。
【００６４】
ここで、位置追跡モジュール４４０は、視聴者４３１、４３２の頭を追跡するため、視聴者４３１、４３２の目を追跡する場合よりも位置追跡の誤差を減少させることができる。
【００６５】
位置追跡モジュール４４０が位置追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、多視点映像表示装置が生成した多数の視点のうちで視聴者４３１、４３２の頭の位置に対応する少なくとも１つの視点と、多視点入力映像を構成する少なくとも１つの視点とを整合（ｍａｔｃｈｉｎｇ）する。
【００６６】
この後、多視点映像表示装置は、視聴者４３１、４３２の頭の位置に対応する少なくとも１つの視点を介して多視点入力映像を表示する。
【００６７】
以上のような過程を例を挙げて説明するために、多視点映像表示装置が６個の視点を有する多視点入力映像を出力する場合を仮定する。
【００６８】
視聴者１（４３１）の頭は、視点１〜視点２４のうちで視点４〜視点９上に位置しているため、位置追跡モジュール４４０が視聴者１（４３１）の頭の位置に対する追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、視点４〜視点９と、多視点入力映像を構成する６個の視点とを整合する。
【００６９】
すなわち、視点４には多視点入力映像の視点１が整合され、視点５には多視点入力映像の視点２が整合され、視点６には多視点入力映像の視点３が整合され、視点７には多視点入力映像の視点４が整合され、視点８には多視点入力映像の視点５が整合され、視点９には多視点入力映像の視点６が整合されることができる。
【００７０】
この後、多視点映像表示装置は、多視点入力映像を視点４〜視点９を介して表示する。
【００７１】
これにより、視聴者１（４３１）は、６個の視点を有する多視点入力映像を視聴することができる。
【００７２】
また、視聴者２（４３２）の頭は、視点１〜視点２４のうちで視点１２〜視点１７上に位置しているため、位置追跡モジュール４４０が視聴者２（４３２）の頭に対する位置追跡を完了すれば、多視点映像表示装置は、位置追跡結果に基づいて、視点１２〜視点１７と、多視点入力映像を構成する６個の視点とを整合する。
【００７３】
すなわち、視点１２には多視点入力映像の視点１が整合され、視点１３には多視点入力映像の視点２が整合され、視点１４には多視点入力映像の視点３が整合され、視点１５には多視点入力映像の視点４が整合され、視点１６には多視点入力映像の視点５が整合され、視点１７には多視点入力映像の視点６が整合されることができる。
【００７４】
この後、多視点映像表示装置は、多視点入力映像を視点１２〜視点１７を介して表示する。
【００７５】
これにより、視聴者２（４３２）も、６個の視点を有する前記多視点入力映像を視聴することができる。
【００７６】
結局、本発明の一実施形態に係る多視点映像表示装置は、視聴者４３１、４３２の頭の位置を追跡し、追跡された位置上に局部的に多視点入力映像を表示することにより、視聴者４３１、４３２の位置によるデッドゾーンの発生を防ぎ、視聴者４３１、４３２に視聴者４３１、４３２の位置とは関係なく同じ映像を提供することができる。
【００７７】
このとき、多視点映像表示装置が生成することができる視点の個数は、多視点入力映像を構成する視点の個数よりも多くなければならない。
【００７８】
本発明の一実施形態によれば、位置追跡モジュール４４０は、視聴者４３１、４３２の頭の位置変化量を測定し、位置変化量が所定の閾値を超過する場合に、視聴者４３１、４３２の頭の位置が変化したものと判断することができる。
【００７９】
例えば、閾値が５個の視点の個数だけ視聴者４３１、４３２が移動したときの位置変化量である場合、視聴者１（４３１）が視点４〜視点９上の位置から視点６〜視点１１上の位置に移動すれば、位置追跡モジュール４４０は、視聴者１（４３１）が移動しなかったものと判断することができる。
【００８０】
したがって、この場合に、多視点映像表示装置は、視聴者１（４３１）が移動する前に多視点入力映像を表示していた視点４〜視点９を介して、引き続き多視点入力映像を表示することができる。
【００８１】
このとき、視聴者１（４３１）が視点４〜視点９上の位置から視点６〜視点１１上の位置に移動しても、多視点映像表示装置が視点４〜視点９を介して多視点入力映像を表示しているため、視聴者１（４３１）は、視点４〜視点９を介して表示される多視点入力映像を正常に視聴することができる。
【００８２】
すなわち、視聴者１（４３１）は、視点４〜視点９上の位置で見ることができた多視点入力映像の視点とは異なる視点を介して多視点入力映像を見ることができる。
【００８３】
しかしながら、視聴者１（４３１）が視点４〜視点９上の位置から視点１０〜視点１５上の位置に移動する場合、位置追跡モジュール４４０は、視聴者１（４３１）が移動したものと判断し、視聴者１（４３１）の頭の位置を追跡することができる。
【００８４】
したがって、この場合に、多視点映像表示装置は、視点１０〜視点１５を介して多視点入力映像を表示することができる。
【００８５】
すなわち、視聴者１（４３１）が視点４〜視点９上の位置から視点１０〜視点１５上の位置に移動する場合、視聴者１（４３１）が視点４〜視点９を介して表示される多視点入力映像を見ることができないため、多視点映像表示装置は、視聴者１（４３１）が移動した視点１０〜視点１５を介して多視点入力映像を表示することができる。
【００８６】
このように、本発明の一実施形態に係る多視点映像表示装置は、視聴者４３１、４３２の頭の位置変化量が軽微な場合には、視聴者４３１、４３２の動きを無視することにより、運動視差が反映された多視点入力映像を表示することができる。
【００８７】
もし、多視点映像表示装置が視聴者４３１、４３２の頭の位置が変化するたびに視聴者４３１、４３２の頭の位置を追跡して新たに多視点入力映像を表示する場合には、図３の実施形態と同様、視聴者４３１、４３２に実質的に多視点映像を提供するものとして見ることができず、視聴者４３１、４３２に疲労感を与えることがある。
【００８８】
結局、本発明の一実施形態に係る多視点映像表示装置は、視聴者４３１、４３２の頭の位置を追跡して局部的に多視点入力映像を表示することにより、図３の実施形態とは異なって精密に視聴者４３１、４３２の頭位置を追跡する必要性を減らすことができ、デッドゾーンを防ぐと同時に視聴者４３１、４３２に同じ映像を提供することができ、視聴者４３１、４３２に多視点映像を提供することによって運動視差が反映されるようにして視聴者４３１、４３２の疲労感を減らすことができ、多視点映像を提供するときの特徴である自動的な深さスケーリングがなされるようにできる。
【００８９】
図５は、本発明の一実施形態に係る多視点映像表示装置の構造を示す図である。
【００９０】
図５を参照すれば、本発明の一実施形態に係る多視点映像表示装置５１０が示されている。
【００９１】
多視点映像表示装置５１０は、位置追跡部５１１および表示部５１２を備える。
【００９２】
位置追跡部５１１は、視聴者の位置を追跡する。
【００９３】
このとき、位置追跡部５１１は、視聴者の頭を識別して頭の位置を追跡することができる。
【００９４】
さらに、位置追跡部５１１は、頭の位置をリアルタイムで追跡することができる。
【００９５】
表示部５１２は、位置追跡部５１１の位置追跡結果に基づいて、追跡された位置上に局部的に多視点入力映像を表示する。
【００９６】
このとき、表示部５１２は、追跡された頭の位置上に多視点入力映像を表示することができる。
【００９７】
このとき、多視点映像表示装置５１０が表示可能な複数の視点の個数は、多視点入力映像を構成する少なくとも１つの視点の個数を超過することができる。
【００９８】
本発明の一実施形態によれば、表示部５１２は、視点整合部５１３を備えることができる。
【００９９】
視点整合部５１３は、多視点映像表示装置５１０が表現可能な複数の視点のうちで追跡された頭の位置に対応する少なくとも１つの視点と、多視点入力映像を構成する少なくとも１つの視点とを整合する。
【０１００】
このとき、表示部５１２は、追跡された頭の位置に対応する少なくとも１つの視点を介して多視点入力映像を表示することができる。
【０１０１】
本発明の一実施形態によれば、多視点映像表示装置５１０は、変化量測定部５１４と、判断部５１５と、伝達部５１６とをさらに備えることができる。
【０１０２】
変化量測定部５１４は、頭の位置が変化する場合、位置追跡部５１１の位置追跡結果に基づいて頭の位置変化量を測定する。
【０１０３】
判断部５１５は、測定された位置変化量と閾値とを比べ、測定された位置変化量が閾値を超過するか否かを判断する。
【０１０４】
伝達部５１６は、測定された位置変化量が閾値を超過する場合、変化した頭の位置に対する位置追跡部５１１の位置追跡結果を表示部５１２に伝達する。
【０１０５】
このとき、表示部５１２は、伝達部５１６から変化した頭の位置に対する位置追跡結果を受信すれば、変化した頭の位置上に多視点入力映像を表示することができる。
【０１０６】
以上、図５を参照しながら、本発明の一実施形態に係る多視点映像表示装置５１０の構造について説明した。ここで、多視点映像表示装置５１０に対する具体的な動作は、図３および図４を参照しながら既に詳しく説明したため、これに対するより詳細な説明は省略する。
【０１０７】
図６は、本発明の一実施形態に係る多視点映像表示方法を示すフローチャートである。
【０１０８】
ステップＳ６１０では、位置追跡モジュールを用いて視聴者の位置を追跡する。
【０１０９】
このとき、ステップＳ６１０では、視聴者の頭を識別して頭の位置を追跡することができる。
【０１１０】
ステップＳ６２０では、位置追跡モジュールの位置追跡結果に基づいて、追跡された位置上に局部的に多視点入力映像を表示する。
【０１１１】
このとき、ステップＳ６２０では、追跡された頭の位置上に多視点入力映像を表示することができる。
【０１１２】
本発明の一実施形態によれば、ステップＳ６２０では、多視点映像表示装置が表現可能な複数の視点のうちで追跡された頭の位置に対応する少なくとも１つの視点と、多視点入力映像を構成する少なくとも１つの視点とを整合するステップを含むことができる。
【０１１３】
この後、ステップＳ６２０では、追跡された頭の位置に対応する少なくとも１つの視点を介して多視点入力映像を表示するステップをさらに含むことができる。
【０１１４】
本発明の一実施形態に係る多視点映像表示方法は、ステップＳ６１０の後に頭の位置が変化する場合、位置追跡モジュールの位置追跡結果に基づいて、頭の位置変化量を測定するステップをさらに含むことができる。
【０１１５】
この後、測定された位置変化量と閾値とを比べ、測定された位置変化量が閾値を超過するか否かを判断するステップをさらに含むことができる。
【０１１６】
このとき、ステップＳ６２０では、測定された位置変化量が閾値を超過する場合、変化した頭の位置に対する位置追跡モジュールの位置追跡結果に基づいて、変化した頭の位置上に多視点入力映像を表示することができる。
【０１１７】
以上、図６を参照しながら、本発明の一実施形態に係る多視点映像表示方法について説明した。ここで、本発明の一実施形態に係る多視点映像表示方法は、図３〜５を参照しながら説明した多視点映像表示装置の構成と対応することができるため、これに対するより詳細な説明は省略する。
【０１１８】
結論的に、本発明の一実施形態に係る多視点映像表示装置および方法は、視聴者の位置を追跡し、追跡された視聴者の位置上に局部的に多視点映像を表示することにより、デッドゾーンの発生を防ぐと同時に、視聴者の位置とは関係なく同じ映像を提供することができる。
【０１１９】
なお、本発明に係る実施形態は、コンピュータにより実現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。当該記録媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含むこともでき、記録媒体およびプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知であり使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれる。また、記録媒体は、プログラム命令、データ構造などを保存する信号を送信する搬送波を含む光または金属線、導波管などの送信媒体でもある。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。前記したハードウェア要素は、本発明の動作を実行するために一以上のソフトウェアモジュールとして作動するように構成することができ、その逆もできる。
【０１２０】
上述したように、本発明の好ましい実施形態を参照して説明したが、該当の技術分野において熟練した当業者にとっては、特許請求の範囲に記載された本発明の思想および領域から逸脱しない範囲内で、本発明を多様に修正および変更させることができることを理解することができるであろう。すなわち、本発明の技術的範囲は、特許請求の範囲に基づいて定められ、発明を実施するための最良の形態により制限されるものではない。
【符号の説明】
【０１２１】
５１０：多視点映像表示装置
５１１：位置追跡部
５１２：表示部
５１３：視点整合部
５１４：変化量測定部
５１５：判断部
５１６：伝達部
【図１】
2011004388.tif 000003
【図２】
2011004388.tif 000004
【図３】
2011004388.tif 000005
【図４】
2011004388.tif 000006
【図５】
2011004388.tif 000007
【図６】
2011004388.tif 000008