(57)【要約】【課題】  より利用者の視聴スタイルに合わせた自由度のある映像再生装置及び映像変換方法を提供する。【解決手段】  映像を入力する映像入力部と、ユーザの位置情報を入力し位置特定する位置特定部と、この位置特定結果に基づいてユーザの変位量を計算する変位量計算部と、この変位量に基づいて前記映像の変換処理を行う変換処理部とを備えた映像再生装置。また、映像を入力する映像入力工程と、ユーザの位置情報を入力し位置特定する位置特定工程と、この位置特定結果に基づいてユーザの変位量を計算する変位量計算工程と、この変位量に基づいて前記映像の変換処理を行う変換処理工程とを含んだ映像変換方法。【選択図】  図２
2014011694.tif 000002
【特許請求の範囲】
【請求項１】
映像を入力する映像入力部と、
ユーザの位置情報を入力し位置特定する位置特定部と、
この位置特定結果に基づいてユーザの変位量を計算する変位量計算部と、
この変位量に基づいて前記映像の変換処理を行う変換処理部とを
備えた映像再生装置。
【請求項２】
前記変換処理は前記映像の角度またはサイズの変更である請求項１に記載の映像再生装置。
【請求項３】
前記変位量はユーザの頭位の変位量である請求項１に記載の映像再生装置。
【請求項４】
前記位置情報は加速度センサーの出力に基づいてもたらされる請求項１に記載の映像再生装置。
【請求項５】
映像を入力する映像入力工程と、
ユーザの位置情報を入力し位置特定する位置特定工程と、
この位置特定結果に基づいてユーザの変位量を計算する変位量計算工程と、
この変位量に基づいて前記映像の変換処理を行う変換処理工程とを
含んだ映像変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、映像再生装置及び映像変換方法に関する。
【背景技術】
【０００２】
現在のTV映像は、補正技術や３D化のための処理技術の向上によって、よりきれいに自然に見えるものが作られるようになった。また、表示方法では多画面化することで複数画面を同時に楽しめるようになっており、ユーザごとに好みの映像が視聴できるようになった（例えば、特許文献１参照。）。
【０００３】
また、HMD（ヘッドマウント・ディスプレイ）では飛び出す絵本のように傾けても絵本上に映像がでているかのように見せることが可能となった。
しかし、現在のTV映像はすべてTVのフレームと水平に配置されており、ユーザ目線の配置になっていないため、利用者が傾いて視聴する場合など利用者の視聴スタイルに合わせた映像を提供することができない。
【０００４】
またHMDでの絵本視聴では、本とHMDとの関係は本の上にあるマーカーやそれを写すカメラが必須で自由度がない。即ち、より利用者の視聴スタイルに合わせた自由度のある技術への要望があるが、かかる要望を実現するための手段は知られていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２２４５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施の形態は、より利用者の視聴スタイルに合わせた自由度のある映像再生装置及び映像変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、実施形態によれば映像再生装置は、映像を入力する映像入力部と、ユーザの位置情報を入力し位置特定する位置特定部と、この位置特定結果に基づいてユーザの変位量を計算する変位量計算部と、この変位量に基づいて前記映像の変換処理を行う変換処理部とを備える。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態にかかる映像表示装置の一構成例を説明するための図。
【図２】同実施形態の主部を示す概略機能ブロック構成図。
【図３】同実施形態の全体の処理フロー図。
【図４】実施形態にかかる映像表示装置のリモートコントローラの一構成例を説明するための図。
【図５】同実施形態に用いられる再生映像のイメージ図。
【図６】同実施形態に用いられる変換方法例１(回転)。
【図７】同実施形態に用いられるHMDでの応用例１。
【図８】同実施形態に用いられるHMDでの応用例２。
【図９】同実施形態に用いられるHMDでの応用例３。
【図１０】同実施形態に用いられる変換方法例２（横移動）。
【発明を実施するための形態】
【０００９】
以下に、実施形態にかかる映像表示装置（映像再生装置）および映像表示方法（映像変換方法）について図面を参照して説明する。
【００１０】
本実施形態にかかる映像表示装置は、図１に示すようなデジタルテレビジョン放送受信装置１１である。すなわち、ＢＳ／ＣＳデジタル放送受信用のアンテナ４７で受信した衛星デジタルテレビジョン放送信号は、入力端子４８を介して衛星デジタル放送用のチューナ４９に供給されることにより、所望のチャンネルの放送信号が選局される。
【００１１】
そして、このチューナ４９で選局された放送信号は、ＰＳＫ（phase shift keying）復調器５０に供給されて、デジタルの映像信号及び音声信号に復調された後、信号処理部５１に出力される。
【００１２】
また、地上波放送受信用のアンテナ５２で受信した地上デジタルテレビジョン放送信号は、入力端子５３を介して地上デジタル放送用のチューナ５４に供給されることにより、所望のチャンネルの放送信号が選局される。
【００１３】
そして、このチューナ５４で選局された放送信号は、ＯＦＤＭ（orthogonal frequency division multiplexing）復調器５５に供給されて、デジタルの映像信号及び音声信号に復調された後、上記信号処理部５１に出力される。
【００１４】
また、上記地上波放送受信用のアンテナ５２で受信した地上アナログテレビジョン放送信号は、入力端子５３を介して地上アナログ放送用のチューナ５６に供給されることにより、所望のチャンネルの放送信号が選局される。そして、このチューナ５６で選局された放送信号は、アナログ復調器５７に供給されてアナログの映像信号及び音声信号に復調された後、上記信号処理部５１に出力される。
【００１５】
ここで、上記信号処理部５１は、ＰＳＫ復調器５０及びＯＦＤＭ復調器５５からそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部５８及び音声処理部５９に出力している。
【００１６】
また、上記信号処理部５１には、複数（図示の場合は４つ）の入力端子６０ａ，６０ｂ，６０ｃ，６０ｄが接続されている。これら入力端子６０ａ〜６０ｄは、それぞれ、アナログの映像信号及び音声信号を、デジタルテレビジョン放送受信装置１１の外部から入力可能とするものである。
【００１７】
そして、この信号処理部５１は、上記アナログ復調器５７及び各入力端子６０ａ〜６０ｄからそれぞれ供給されたアナログの映像信号及び音声信号を選択的にデジタル化し、そのデジタル化された映像信号及び音声信号に対して所定のデジタル信号処理を施した後、グラフィック処理部５８及び音声処理部５９に出力している。
【００１８】
このうち、グラフィック処理部５８は、信号処理部５１から供給されるデジタルの映像信号に、ＯＳＤ（on screen display）信号生成部６１で生成されるＯＳＤ信号を重畳して出力する機能を有する。このグラフィック処理部５８は、信号処理部５１の出力映像信号と、ＯＳＤ信号生成部６１の出力ＯＳＤ信号とを選択的に出力すること、また、両出力をそれぞれ画面の半分を構成するように組み合わせて出力することができる。
【００１９】
そして、グラフィック処理部５８から出力されたデジタルの映像信号は、映像処理部６２に供給される。この映像処理部６２は、入力されたデジタルの映像信号を、映像表示器１４で表示可能なフォーマットのアナログ映像信号に変換した後、映像表示器１４に出力して映像表示させるとともに、出力端子６３を介して外部に導出させる。
【００２０】
また、上記音声処理部５９は、入力されたデジタルの音声信号を、スピーカ１５で再生可能なフォーマットのアナログ音声信号に変換した後、スピーカ１５に出力して音声再生させるとともに、出力端子６４を介して外部に導出させる。
【００２１】
ここで、このデジタルテレビジョン放送受信装置１１は、上記した各種の受信動作を含むその全ての動作を制御部６５によって統括的に制御されている。この制御部６５は、ＣＰＵ（central processing unit）等を内蔵しており、操作部１６からの操作情報、または、リモートコントローラ１７から送出され受光部１８を介して受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
【００２２】
この場合、制御部６５は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（read only memory）６６と、該ＣＰＵに作業エリアを提供するＲＡＭ（random access memory）６７と、各種の設定情報及び制御情報等が格納される不揮発性メモリ６８とを利用している。
【００２３】
また、制御部６５は、カードＩ／Ｆ（interface）６９を介して、第１のメモリカード１９が装着可能なカードホルダ７０に接続されている。これによって、制御部６５は、カードホルダ７０に装着された第１のメモリカード１９と、カードＩ／Ｆ６９を介して情報伝送を行なうことができる。同様に制御部６５は、カードＩ／Ｆ（interface）７１を介して、第２のメモリカード２０が装着可能なカードホルダ７２に接続されている。これによって、制御部６５は、カードホルダ７２に装着された第２のメモリカード２０と、カードＩ／Ｆ７１を介して情報伝送を行なうことができる。
【００２４】
また、制御部６５は、通信Ｉ／Ｆ７３を介してＬＡＮ端子２１と接続されている。これにより、制御部６５は、ＬＡＮ端子２１に接続されたＬＡＮ対応のＨＤＤ（図示せず）と、通信Ｉ／Ｆ７３を介して情報伝送を行なうことができる。この場合、制御部６５は、ＤＨＣＰ（dynamic host configuration protocol）サーバ機能を有し、ＬＡＮ端子２１に接続されたＬＡＮ対応のＨＤＤ２６にＩＰ（internet protocol）アドレスを割り当てて制御している。
【００２５】
さらに、制御部６５は、第１のＨＤＭＩ Ｉ／Ｆ７４を介して第１のＨＤＭＩ端子２２と接続されている。これにより、制御部６５は、第１のＨＤＭＩ端子２２に接続された各機器（図示せず）と、第１のＨＤＭＩ Ｉ／Ｆ７４を介して情報伝送を行なうことができる。また、制御部６５は、第２のＨＤＭＩ Ｉ／Ｆ７５を介して第２のＨＤＭＩ端子２３と接続されている。これにより、制御部６５は、第２のＨＤＭＩ端子２３に接続された各機器（図示せず）と、第２のＨＤＭＩ Ｉ／Ｆ７５を介して情報伝送を行なうことができる。
【００２６】
そして、制御部６５は、ＵＳＢ Ｉ／Ｆ７６を介して前記ＵＳＢ端子２４と接続されている。これにより、制御部６５は、ＵＳＢ端子２４に接続された各機器（一部を除き図示せず）と、ＵＳＢ Ｉ／Ｆ７６を介して情報伝送を行なうことができる。
【００２７】
さらに、制御部６５は、ｉ．ＬＩＮＫ Ｉ／Ｆ７７を介してｉ．ＬＩＮＫ端子２５と接続されている。これにより、制御部６５は、ｉ．ＬＩＮＫ端子２５に接続された各機器（図示せず）と、ｉ．ＬＩＮＫ Ｉ／Ｆ７７を介して情報伝送を行なうことができる。
【００２８】
さらに、制御部６５は、２つの映像のそれぞれが表示される画面を左右に並べて同時に表示する２画面モードとする２画面表示部ＤＹＰと、２画面モードで映像を表示している際に、リモートコントローラ１７からの信号に従って、左右の画面の変位バランスを複数の段階で切換えるバランス切換部ＳＷと、を有している。
【００２９】
バランス切換部ＳＷは、２画面モードで映像を表示している際に、１以上の段階を省略して左右の画面の変位バランスを切換えるジャンプ切換部ＳＷＪを有している。本実施形態に係る映像表示装置では、ジャンプ切換部ＳＷＪは、リモートコントローラ１７からの信号に従って、２つの画面のいずれか一方の画面を転置とし、他方の画面も必要により転置とするように画面変位バランスを切換えるジャンプ切換部ＳＷＪを有している。
【００３０】
図２は本実施形態の装置を示す概略機能ブロック図である。１０１は映像入力部、１０２は画像処理部、１０３は映像出力部であり一般的な映像系の処理装置を構成している。
【００３１】
これに、本実施形態では、１０４の位置特定部、１０５の変位量計算部、１０６の変換処理部を設け、トラッキング装置として図１のＵＳＢ端子２４に接続された２４ａの入力部で加速度センサーなどから得る位置情報を入力とする構成をとる。
【００３２】
映像入力部１０１は図１のチューナ４９，５４と対応する復調器５０，５５と信号処理部５１から構成され、画像処理部１０２はグラフィック処理部５８による。また、映像出力部１０３は映像処理部６２と映像表示器１４とによる。また、位置特定部１０４、変位量計算部１０５、変換処理部１０６は制御部６５の機能としてある。
【００３３】
位置特定部１０４では位置情報から基本となる位置のポイント決めやその後の位置などを随時特定していく。変位量計算部１０５では、位置特定部１０４で得た内容から位置の移動方向や距離を表す変位量を計算で求め、変換処理部１０６で画像処理部１０２とあわせて変換処理を行う。
【００３４】
図３は本実施形態のトラッキングと位置情報を含めた全体の流れの例をフロー化したものである。制御部６５を主体とした処理でここでは、通常モードとの切り替えが行えるものとして説明する。
【００３５】
ステップＳ201では、通常モードと変動モードを切り替えるモード設定を行える。ステップＳ202によって、通常モードになっていた場合には、変位測定モード”OFF”となり一般の画像処理を介してステップＳ203の画像表示となる。
【００３６】
ステップＳ202によって、測定モード”ON”の場合には、ステップＳ205としてトラッキング装置を起動し位置情報を測定する。トラッキング開始直後の場合や再設定された場合などは、初期情報を保存する必要があるため、ステップＳ206の初期設定判断にて分岐される。
【００３７】
初期設定が必要な場合には211の初期状態設定にて設定を行い、それ以外の場合にはステップＳ207の変位量計算を行う。ステップＳ207で計算された変位量を基にステップＳ208にて画像の加工を行い、ステップＳ209にて表示される。その後、トラッキング処理を終了しない場合には、ステップＳ205に戻りステップＳ205〜210を繰り返すが、終了する場合には、ステップＳ203の後と同様ステップＳ204の画像表示の終了可否判断にうつる。ユーザにより終了が指定されなければ、ステップＳ201へ戻る。
【００３８】
図４に示すように、リモートコントローラ１７には、主として、電源キー１７ａ、入力切換キー１７ｂ、衛星デジタル放送チャンネルのダイレクト選局キー１７ｃ、地上波放送チャンネルのダイレクト選局キー１７ｄ、クイックキー１７ｅ、カーソルキーＣＳ（ＣＳＵ、ＣＳＤ、ＣＳＲ、ＣＳＬ）、決定キー１７ｇ、青、赤、緑、黄のカラーキー１７ｍ、チャンネルアップダウンキー１７ｎ、音量調整キー１７ｏ、メニューキー１７ｐ等が設けられている。
【００３９】
ジャンプ切換手段ＳＷＪは、リモートコントローラ１７のカーソルキーＣＳＲ、ＣＳＬがダブルクリック操作されることによって、２画面のいずれか一方の画面を垂直方向まで転置とし、他方の画面も必要により垂直方向まで転置とするように画面変位バランスを切換える。
【００４０】
すなわち、図５（本実施形態を利用した場合の画像出力イメージ図）に示すように、図５（ａ）で富士山の画面が出ている状態でリモートコントローラ１７の二画面ボタンの操作を受けてサッカー中継の画面が追加されたあと、図５（ｂ）のように左画面に制御を切り換えている状態でＣＳＲがダブルクリック操作されると左画面は右に転置する。例えば映像が表示されているときに左カーソルキーＣＳＬが押された場合、バランス切換部ＳＷは受光部１８を介してリモートコントローラ１７からの指令信号を受信し、左画面に制御を切り換える（左画面が音声出力などを伴って選択される）。
【００４１】
また、図５（ｃ）に示すように、左カーソルキーＣＳＬが長押された場合、画面をスムーズに角度を増して左に転置する。
またある場合では、既存のキーボタンである「青」、「赤」、「緑」のカラーキー１７ｍに画面バランス切換機能が割り振られている。「青」キーは「左最大」キーとして使用される。「赤」キーは「左漸次」キーとして使用される。「緑」キーは「右漸次」キー、「黄」キーは「右最大」キーとして使用される。
【００４２】
例えば、カラーキー１７ｍに既に他の機能が割り振られている場合であっても、その機能が２画面モードで映像を表示している際には使用されない機能であれば、さらに画面バランス切換機能を割り振ることが可能である。このようなリモートコントローラ１７で画面バランスを切り換える方法の一例について説明する。
【００４３】
たとえば、２画面モードで映像が表示されているときに「青」キー（「左最大」キー）が押された場合、どの画面バランス状態であっても、ジャンプ切換部ＳＷＪは選択画面に左垂直転置を切り換える。
【００４４】
また、２画面モードで映像が表示されているときに「緑」キー（「右漸次」キー）が押された場合、どの画面バランス状態であっても、ジャンプ切換部ＳＷＪは選択画面に右一段階転置を切り換える。
【００４５】
上記のように画面バランスを切換えることによって、リモートコントローラ１７に新たなボタンを配置することなく、利用者が画面バランスを画面に切り換えたいと思ったとき、専用キーを１回押すだけで、画面バランスを切り換えることができるため、利用者が画面バランスを切り換える手間が削減される。
【００４６】
この実施形態にかかる映像表示装置および映像表示方法では、バランス切換機能を既存のキーボタンに割り振ることで、リモートコントローラ１７のキー入力操作を１回のみにすることができ、リモートコントローラ１７のキーを何度も操作したり、リモートコントローラ１７のキーを押し続けたりすることが必要なく、利用者にとって画面バランスを切換える操作が手間になることがない。
【００４７】
なお、この実施形態は、上記までの実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。例えば、上記の映像表示装置は、ディスプレイ画面を有する映像表示器１４を一体に備えていたが、ディスプレイ画面は映像表示器１４の外部に接続されるものであっても良い。
【００４８】
上記の実施形態にかかる映像表示装置では、制御部６５が２画面モードとする２画面表示手段ＤＹＰを有していたが、２画面以上の多画面表示をさせる手段を有していても良い。
【００４９】
図６は上記の変換方法の一例を表す図である。
図６（ａ）にあるような一画面分の赤枠領域内に四角形ABCDが表示されている場合に、視聴者が頭をかしげた時の変位量を、図６（ｂ）にあるように中心点をもとに変位角BB’とし、すべての画素の位置を回転させて新しい画像である四角形A’B’C’D’を生成する。さらに、図６（ｃ）にあるように表示領域に合わせた四角形A’’B’’C’’D’’に変形（縮小）させることにより、全画素の表示を可能とする。
【００５０】
このようにすることで、図５に示すイメージでの視聴が可能となり、トラッキングを続けていればHMDを装着しているように、追従する画像で映像を楽しむこともできる。
【００５１】
また、本実施形態はHMD本来の追従する映像を追従させたくない場合に利用することができる。具体的に追従させたくない例としては、図７のように実際に傾いて見たい場合、図８の驚いて画像から離れたい場合、図９の目の端に映像をとらえながら何かをしたい場合などがある。基本画像があり変位量が測定できれば、追従させない映像を生成することが可能となる。
【００５２】
より詳しく述べると、まず図７では、図７（ａ）がユーザが上体を向こう側に正対して見ている状態である。図７（ｂ）は頭Ｈを傾け、この動作に追従して映像も傾いている。しかし図７（ｃ）のように実際に傾いて見たい場合は、映像は傾かないように構成する。
【００５３】
図８では、図８（ａ）が映像のキャラクタの飛び出し表現の画像に驚いてのけぞるも、映像が追従してきた場合であり、他方で図８（ｂ）は驚いて画像から離れられるよう（ここでは距離Ｄが確保される）映像全体の追従がない。
【００５４】
図９は、例えば映画の開始のイントロを目の端に映像をとらえながら新聞等を読んでいる（映画の開始に伴い視聴したい体勢である）。
図１０は図９のように映像を横にずらす場合の変換方法の例を示したものである。図１０（ａ）のようにもとの映像のままずらして（Bの一部・Cは表示されない）表示することも、図１０（ｃ）の破線で示すスコープのように位置に合わせて投影図のように表示させる（図１０（ａ）ＡがＡ‘へと遠近をつけて右辺が長い台形様に変形している）ことも可能とする（図１０（ｂ）はこの状態を上から見た図である）。もとの画像がなくなった箇所に関しては、関連映像が準備されていればそちらを利用することも可能であり、シースルーHMDであれば現実を見ることも可能であり、カメラが付いたHMDであれば撮影画像とマージさせて出力させることも可能である。
【００５５】
他の実施例、変形例としては次のようなものがある。
（１）表示場所や領域があらかじめ決まっている場合には、回転処理中に位置変更も可能とする。
（２）トラッキング処理は停止・中断することも可能とする。
（３）3D映像の場合には、奥行や視差の計算に利用できる。
（４）トラッキング装置は、変位量を求められるものであれば、加速度センサー以外のものも利用可能である。
効果として、トラッキング結果を従来の位置特定だけに利用するのではなく映像変換処理に用いることで、ユーザの利用法用・視聴スタイルに合わせたより良い映像を提供することができる。
【００５６】
（実施形態の補足）
従来の技術に、変位量測定装置（部）と映像の変換処理（角度・サイズ変更）を追加する。つまり例えば頭位の変位量をもとに映像を変換し映像再生を行う。これにより、利用者が傾いて視聴する場合には、利用者は自身の目線と水平の映像を視聴することができる。また、マーカーやカメラのないHMDで見る映像は、一定の距離を保ち追従してくるが、この実施形態の技術応用によって追従しない映像を提供することが可能となる。なお頭位の変位による操作を可能とした場合には、手間の削減効果もある。
【００５７】
なお、この発明は上記実施形態に限定されるものではなく、この外その要旨を逸脱しない範囲で種々変形して実施することができる。
また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係わる構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００５８】
ＤＹＰ…２画面表示部、ＳＷ…２画面バランス切換部、ＳＷＪ…ジャンプ切換部、１１…デジタルテレビジョン放送受信装置（映像表示装置）、１４…映像表示器、１７…リモートコントローラ、２４ａ…入力部、４７…アンテナ、４９…チューナ、５１…信号処理部、５２…アンテナ、５４…チューナ、６５…制御部。
【図１】
2014011694.tif 000003
【図２】
2014011694.tif 000004
【図３】
2014011694.tif 000005
【図４】
2014011694.tif 000006
【図５】
2014011694.tif 000007
【図６】
2014011694.tif 000008
【図７】
2014011694.tif 000009
【図８】
2014011694.tif 000010
【図９】
2014011694.tif 000011
【図１０】
2014011694.tif 000012