(57)【要約】【課題】本発明は、ユーザーに対して縦方向で撮影された３Ｄ映像を擬似的な３Ｄ映像として提供できる３Ｄ映像再生装置を提供することを目的とする。【解決手段】本発明は、左右方向で視差を有するように撮影された左眼用画像と右眼用画像を含む立体画像データを表示する３Ｄ映像再生装置である。そして、３Ｄ映像再生装置は、立体画像データから表示画面を生成する表示画面変換部と、前記変換部で変換された表示画面を出力する出力部と、を備え、前記表示画面変換部は、前記立体画像データに含まれる左眼用画像及び右眼用画像を９０度回転させて表示画面を生成する場合、左眼用画像又は右眼用画像の何れか一方を用いて、表示画面を生成する。【選択図】図２
2014099671.tif 000002
【特許請求の範囲】
【請求項１】
左右方向で視差を有するように撮影された左眼用画像と右眼用画像を含む立体画像データを表示する３Ｄ映像再生装置であって、
立体画像データから表示画面を生成する表示画面変換部と、
前記変換部で変換された表示画面を出力する出力部と、
を備え、
前記表示画面変換部は、前記立体画像データに含まれる左眼用画像及び右眼用画像を９０度回転させて表示画面を生成する場合、左眼用画像又は右眼用画像の何れか一方を用いて、表示画面を生成する、
３Ｄ映像再生装置。
【請求項２】
前記立体画像データには、撮影時の姿勢情報が格納されており、
前記表示画面変換部は、前記撮影時の姿勢情報に縦方向での撮影を示す情報が含まれていた場合、前記立体画像データに含まれる左眼用画像及び右眼用画像を９０度回転させて表示画面を生成するよう動作する、
請求項１に記載の３Ｄ映像再生装置。
【請求項３】
前記表示画面変換部は、左眼用画像又は右眼用画像の何れか一方を用いて、表示画面を生成する際、任意の左右方向の視差に基づいて、前記回転後の一方の画像から、立体視可能な左眼用表示画面及び右眼用表示画面を生成する、
請求項１に記載の３Ｄ映像再生装置。
【請求項４】
前記立体映像データは、ＭＶＣフォーマットで圧縮符合化されており、
前記表示画面変換部は、前記ＭＶＣフォーマットで用いられる左右画像間の動きベクトルを用いて左右方向の視差を決定し、当該決定した左右方向の視差に基づいて、前記回転後の一方の画像から、立体視可能な左眼用表示画面及び右眼用表示画面を生成する、
請求項３に記載の３Ｄ映像再生装置。
【請求項５】
前記表示画面変換部は、立体映像データに含まれる左右画像間の被写体のズレ量を用いて左右方向の視差を決定し、当該決定した左右方向の視差に基づいて、前記回転後の一方の画像から、立体視可能な左眼用表示画面及び右眼用表示画面を生成する、
請求項３に記載の３Ｄ映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元立体（３Ｄ）映像（静止画像又は動画像）を再生する装置に関する。
【背景技術】
【０００２】
従来、３次元立体映像を再生する装置としては、人間の左右の目にそれぞれ別々の左右の目用の映像を見せるために、いくつかの方式が立案、実現され、知られている。たとえば人間の左目用、右目用の別々の映像をディスクから読み出し、それぞれ左目用、右目用の映像を交互にディスプレイに出画する。ディスプレイは交互に表示する映像信号と同期して、液晶シャッターつきメガネの左目右目用シャッターを交互に切り替える。上記の構成により、液晶シャッターつきメガネをかけた視聴者の左目には左目用の映像を、右目には右目用の映像のみが届くことになり、視聴者は３次元立体映像を見ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−８２３０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで３Ｄ映像は、通常、モニタ画面に合わせて撮影されることが一般的である。例えば、モニタ画面は、横：縦が１６：９のアスペクト比で構成されているので、３Ｄ映像も１６：９で撮影される。つまり、通常の３Ｄ撮影可能なカメラでは、横方向で３Ｄ映像が撮影される。
【０００５】
しかしながら、３Ｄ撮影可能なカメラでは、縦方向で映像を撮影することも可能である。このような場合、縦方向に視差を有する映像が撮影されてしまう。これでは、縦方向で撮影された３Ｄ映像を、３Ｄ映像を再生可能な表示装置で適切な表示ができなくなってしまう。具体的に説明する。３Ｄカメラを縦方向にして写真を撮影すると、図４のような３Ｄ写真が得られる。この場合、３Ｄ映像再生装置が、縦方向で表示を行なうとすると、図７のような映像がモニタ画面に表示されてしまう。これでは、モニタ画面上に縦方向の視差が発生し、縦方向で撮影された３Ｄ写真をユーザーは３Ｄ映像として認識することができない。
【０００６】
そこで本発明の目的は、上記の問題を解決すべく、ユーザーに対して縦方向で撮影された３Ｄ映像を擬似的な３Ｄ映像として提供できる３Ｄ映像再生装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
すなわち、本発明は、左右方向で視差を有するように撮影された左眼用画像と右眼用画像を含む立体画像データを表示する３Ｄ映像再生装置である。そして、３Ｄ映像再生装置は、立体画像データから表示画面を生成する表示画面変換部と、前記変換部で変換された表示画面を出力する出力部と、を備え、前記表示画面変換部は、前記立体画像データに含まれる左眼用画像及び右眼用画像を９０度回転させて表示画面を生成する場合、左眼用画像又は右眼用画像の何れか一方を用いて、表示画面を生成する。
【発明の効果】
【０００８】
上記の構成の３Ｄ映像再生装置によれば、ユーザーに対して縦方向で撮影された３Ｄ映像を擬似的な３Ｄ映像として提供できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１にかかる３次元立体映像再生表示システム構成図
【図２】実施の形態１にかかる３次元立体映像再生装置の構成図
【図３】実施の形態１にかかる横方向で撮影された３Ｄ写真の一例を示す図
【図４】実施の形態１にかかる縦方向で撮影された３Ｄ写真の一例を示す図
【図５】実施の形態１にかかる縦表示モードにおける再生装置の動作を示すフローチャート
【図６】実施の形態１にかかる縦表示モードにおける表示装置の画面表示例を示す図
【図７】課題を説明するための図
【発明を実施するための形態】
【００１０】
（実施の形態１）
[１． ３次元立体映像再生表示システム構成（図１）]
図１に３次元立体映像再生表示システムを示す。３Ｄ映像再生装置１０１は３次元立体映像をディスクから再生し、表示装置１０２に出力する。表示装置１０２は３次元立体映像を表示し、左目用の映像と右目用の映像を交互に表示する。表示装置１０２は、例えば赤外線などの無線で映像同期信号を３Ｄ用メガネ１０３に送り、３Ｄ用メガネ１０３は例えば液晶シャッターを左目用と右目用のレンズ部に持ち、これら液晶シャッターを左右交互に閉じたり開いたりする。表示装置１０２が左目映像を表示した時には視聴者の左目側の液晶シャッターが開き、表示装置１０２が右目映像を表示した時には視聴者の右目側の液晶シャッターが開くように映像同期信号を用いて動作する。視聴者は左右の目で別々の映像を見ることができ、それぞれに視差がついているため、これを３Ｄ映像として認識することができ、３次元立体映像として視聴することができる。
【００１１】
[２． ３次元立体映像再生装置（図２）]
図２に３Ｄ映像再生装置１０１を示す。３Ｄ映像再生装置１０１は、メモリカードスロット２０２、信号処理部２０３、メモリ２０４、リモコン受信部２０５および出力部２０６により構成される。リモコン受信部２０５は、視聴者からの再生開始、停止等といった指示を受け付ける。メモリカードスロット２０２は、２Ｄや３Ｄ映像（静止画・動画）、音声等が記録されたメモリカード２０１が挿入され、これらメモリカード内のデータを再生する。信号処理部２０３は、メモリカードスロット２０２から再生した映像、音声といったデータをデコードし、メモリ２０４に一時的に蓄積させる。メモリ２０４に蓄積された映像、音声等のデータは、その映像データが２Ｄのデータである場合には、２Ｄのフォーマットで出力部２０６から出力される。一方、その映像データが３Ｄのデータである場合には、３Ｄのフォーマットで出力部２０６から出力される。
【００１２】
信号処理部２０３は、ＬＳＩで実現可能である。具体的には、信号処理部２０３は、デコーダー、メモリインタフェース、画像処理ブロック、ＣＰＵ、内蔵メモリ等で実現可能である。
【００１３】
[３． 写真データの説明（図３、４）]
メモリカードの中には撮影時の撮影装置の向きにより、Ａタイプ、Ｂタイプの映像データが存在する。特に３Ｄ映像データについて説明する。
【００１４】
Ａタイプは、撮影装置を横に構えて撮影したいわゆる通常の映像データである。図３にＡタイプの映像データ例を示す。３０１が左目用の画像（Ｌ画像とする）、３０２が右目用の画像（Ｒ画像とする）から構成された静止画映像データである。Ｌ画像、Ｒ画像を比較すると、３０３、３０５の遠景に対して、３０４、３０６の近景には左右横方向の視差（画像のずれ）がついている。
【００１５】
Ｂタイプは、撮影装置を縦に構えて撮影した映像データである。図４にＢタイプの映像データ例を示す。４０１が左目用のＬ画像、４０２が右目用のＲ画像で構成された静止画映像データである。
【００１６】
［４．映像データタイプに応じた画像表示］
［４−１  Ａタイプの表示］
Ａタイプの表示を行う場合、Ｌ画像、Ｒ画像は正しく左右に視差がついた状態で撮影されているので、図１の３次元立体映像再生表示システムで表示することで、Ｌ画像は左目で、Ｒ画像は右目で見ることができ、３次元立体映像として見ることができる。
【００１７】
［４−２  Ｂタイプの表示］
Ｂタイプの表示を行う場合、撮影装置を縦にして撮影している映像データであるため、このまま３次元立体映像再生表示システムで再生した場合、撮影された画像データが横向きのまま表示されてしまう。そこで、Ｂタイプのような映像データを再生する場合、画像を回転して表示するモードを備えている。図４の例の場合、再生する時に、画像を９０度右に回転して表示することで、空や地面、撮影対象物を正しい向きで表示することができる。
【００１８】
［５．縦表示モード説明］
本実施の形態では、少なくとも２つの表示モードを有する。１つ目が、横表示モードであり、２つ目が縦表示モードである。横表示モードは、上記Ａタイプの映像を３Ｄ映像としてユーザーに提供できるモードである。縦表示モードについては、以下で具体的に説明する。なお、表示モードは、ユーザーによるリモコンの操作指示に基づいて、モードが変更される。モード変更は、リモコンの操作信号に基づいて信号処理部２０３が行なう。
【００１９】
上記説明した通り、本実施の形態では、映像データが横向きの画像データからなるものが表示された場合、これを補正するために、３Ｄ映像再生装置１０１には画像を回転して縦に表示するモードを設けている。例えばユーザーがリモコン装置を使って操作することで、リモコン受信部２０５から信号を受け取り、信号処理部２０３の働きにより、メモリ２０４に格納された横向きの画像を例えば９０度回転させ、出力部２０６から出力させることで、画像の向きを正しく表示することができる。
【００２０】
ところが、３Ｄ映像データの場合、Ｂタイプの映像データで、Ｌ画像、Ｒ画像をそれぞれそのまま９０度回転させて表示すると、図７のように表示される。
【００２１】
図７では７０１がＬ画像、７０２がＲ画像である。このように、縦撮りの３Ｄ映像データをそのまま回転させると、Ｌ画像の７０３、７０４に比較して、Ｒ画像の７０５、７０６は、視差のずれが横ではなくて縦方向にずれてしまうという課題がある。３次元立体映像再生表示システムでは、横方向の視差をもった画像を人間の目の左右の目に届けることで立体映像を再生する仕組みであり、縦方向に視差がずれた映像データでは正しく３次元立体映像にはならない。
【００２２】
［６．縦表示モード時の動作（図５）］
本実施の形態に係る３Ｄ映像再生装置の動作を説明する。
【００２３】
以下の動作は、３Ｄ映像再生装置１０１が縦表示モードに設定された際の動作例である。図５を用いて具体的に説明する。
【００２４】
図５には縦表示モード時の３次元立体映像再生装置の動作を示すフローチャートである。メモリカードスロット２０２に挿入されたメモリカード２０１の映像データは、図５の処理の前に、信号処理部２０３によりメモリ２０４上に、図４に示すようなＬ画像、Ｒ画像としてデコードされている。そして、信号処理部２０３は、Ｌ画像、またはＲ画像のどちらかの画像を選択する（Ｓ１）。例えば、Ｌ画像を固定的に選択してもよいし、解像度が高いであろう、データ量の多い方の画像データを選択してもよい。またはユーザーの指示でＬ、Ｒ画像を切り替えて選択してもよい。ここでは仮にＬ画像を選択したとする。
【００２５】
次に、Ｌ画像を信号処理部２０３では、９０度右方向へ回転させて、新たにＬ画像を生成させメモリ２０４上に配置する。（Ｓ２）。例えば、信号処理部２０３は、図４のＬ画像４０１を図６のＬ画像６０１に変換する。
【００２６】
次に、Ｌ画像を９０度右方向に回転させた画像を元に、Ｒ画像を新たに生成する（Ｓ３）。例えば、信号処理部２０３は、Ｓ２で生成された図６のＬ画像６０１に基づいて、Ｒ画像６０２を生成する。
【００２７】
Ｌ画像に基づいてＲ画像を生成する方法は、以下の２つの方法が考えられる。
【００２８】
（１）全体に視差を付ける方法
（２）一部の物体に視差を付ける方法
上記方法については７章で説明する。
【００２９】
最後に、新たに生成したＬ、Ｒ画像を出力部２０６から出力させることで、３Ｄ映像再生装置１０１から縦表示モードで生成された新たな３次元立体映像データが出力される。（Ｓ４）。
【００３０】
[７．Ｌ画像に基づくＲ画像生成方法]
[７−１．全体に視差を付ける方法]
全体に視差を付ける方法には、例えば、以下の方法が考えられる。１つ目は、Ｌ画像６０１を全体に右又は左方向にずらした画像をＲ画像とする。２つ目は、Ｌ画像６０１を九つの領域に分け、中心の画像を、周辺の画像よりも大きくずらした画像をＲ画像とする。つまり、Ｌ画像に対してＲ画像が、中心に大きな視差を持ち、周辺に小さな視差を持つ。
【００３１】
全体に視差を付ける場合、ユーザーが指定した任意の値に基づいて視差量を調整してもよいし、３Ｄ映像再生装置１０１が予め記憶した値に基づいて視差量を調整してもよい。
【００３２】
[７−２．一部の物体に視差を付ける方法]
一部の物体に視差を付ける方法には、例えば、以下の方法が考えられる。まず、信号処理部２０３は、縦方向で撮影されたＬ画像４０１及びＲ画像４０２を用いて、視差を持つ物体を認識する。例えば、信号処理部２０３は、画像を比較して、画素毎に動きベクトルを算出する。信号処理部２０３は、動きベクトルが所定値よりも大きな画素については、視差を持つ物体が存在すると判別できる。例えば、物体４０４と物体４０６が視差を持つ物体であると判別できる。この際、物体４０４に対する物体４０６の動きベクトルが左に２０画素ずれていたとする。
【００３３】
信号処理部２０３は、この視差を持つ物体に関して、上記算出した動きベクトルを基に、Ｒ画像を生成する。例えば、信号処理部２０３は、Ｌ画像に基づき、上記算出された動きベクトルに用いて物体６０４を移動したＲ画像６０２を生成する。この場合、物体６０４は、動きベクトルが左に２０画素ずれていたため、回転による画像の縮小を考慮して、例えば、左に１６画素ずらされて物体６０６となる。
【００３４】
[８．まとめ]
本実施の形態の３次元立体映像再生装置は、メモリカード２０１に記録されているコンテンツをメモリカードスロット２０２から読み出し、３Ｄ映像（静止画・動画）、音声等が記録されたメモリカード２０１を再生する。信号処理部２０３は、メモリカードスロット２０２から再生した映像、音声といったデータをデコードし、メモリ２０４に一時的に蓄積させる。メモリ２０４に蓄積された映像、音声等のデータは、その映像データが３Ｄのデータである場合には、３Ｄのフォーマットで出力部２０６から出力される。
【００３５】
この際に撮影装置を縦にして撮られた３Ｄ映像データを再生する場合、ユーザーからの操作により、縦表示モードで表示することができる。この時、縦方向に視差がついた不正規なＬ、Ｒ画像データを出力せずに、Ｌ画像データをもとに縦表示用に回転した画像データから、Ｒ画像データを生成することで新たな３Ｄ映像データを生成して３Ｄのフォーマットで出力部２０６から出力される。
【００３６】
このような構成により、縦向けに撮影された３Ｄ映像データを含むメモリカードを、縦表示モードで再生可能な３次元立体映像再生表示システムにおいて違和感のないスムーズな３Ｄ視聴が可能となる。
【００３７】
（他の実施の形態）
本発明の実施の形態として実施の形態１を例示した。しかし、本発明はこれには限らない。そこで、本発明の他の実施の形態を以下まとめて説明する。なお、本発明は、これらには限定されず、適宜修正された実施の形態に対しても適用可能である。
【００３８】
実施の形態１において、図１には表示装置１０２は左右の目用の映像を交互に切り替え表示し、３Ｄ用メガネ１０３で左右の映像を交互に切り替えて視聴する構成とした。しかし、表示装置１０２で左右の目用の映像を１ラインごとに奇数ラインと偶数ラインでわけて表示し、かつ、左右の映像表示部に異なる偏光フィルムをはり、３Ｄ用メガネ１０３は、液晶シャッター方式でなく、左右の目の前に異なる向きの偏光フィルターをはり、左右の目用の映像を分離できる構成としてもよい。同様に画素ごとに左右の映像を横方向に１画素ずつ交互に表示し、異なる偏光面をもつ偏光フィルムを貼る表示装置１０２構成としてもよい。また、レンチキュラーレンズや視差バリア方式など、３Ｄ用のメガネを使わずに３Ｄ視聴を実現する方式でもよい。
【００３９】
要するに、３Ｄ映像として左目用、右目用の画像データを、視聴者の左目、右目にそれぞれ届かせる構成であれば３Ｄの方式には関わらない。
【００４０】
なお、３Ｄ映像再生装置１０１にはメモリカードスロット２０２からメモリカード２０１データを再生する構成としたが、３Ｄ映像は、ネットワーク経由のストリーム入力、ブルーレイディスク、ＤＶＤディスク、ＵＳＢメモリ等の記録媒体からの再生など、他の媒体から再生する場合に適用する構成としてもよい。
【００４１】
なお、動画の３Ｄ映像データがＭＶＣ（ＭｕｌｔｉＶｉｅｗＣｏｄｅｃ）でエンコードされているストリームの場合Ｌ画像、Ｒ画像の画像データ間の参照動きベクトル情報を用いて、視差情報を得ることで、縦表示モードの画像を生成しても良い。この場合、ＭＶＣの参照動きベクトル情報を、７−２で算出する動きベクトルの代わりとすることができる。
【００４２】
なお、本実施の形態の３次元立体映像再生装置は、ユーザーからの指示により、縦表示モードへの切り替えを実施する形態としたが、映像データに付加されたＩＤ情報に、撮影装置を縦向けにして撮影したことを示すフラグを記録している場合、ユーザーの指示なく、自動的に縦表示モードへ切り替えて表示する構成としてもよい。
【００４３】
なお、本実施の形態の映像データは、再生するコンテンツが静止画の３Ｄコンテンツで説明したが、動画の３Ｄコンテンツであっても良い。
【００４４】
なお、上記実施の形態では、７章で説明したＬ画像に基づくＲ画像の方法だけでなく、従来から用いられる方法を適用することも可能である。
【産業上の利用可能性】
【００４５】
本発明は、３次元立体映像再生装置に関するもので、特に３Ｄで撮影された映像データが記録されたメモリカードの再生に対応した装置において、撮影装置を縦向けにして撮影された３Ｄ映像を回転して正しく３Ｄ映像を表示することを可能とする。このため、視聴者は違和感の無いスムーズな３Ｄ縦表示モードでの３Ｄ映像データ視聴を実現できる。
【００４６】
このため、本発明は、３Ｄブルーレイディスクプレーヤー、３Ｄブルーレイディスクレコーダー、３Ｄ ＤＶＤプレーヤー、３Ｄ ＤＶＤレコーダー、３Ｄ放送受信装置、３Ｄテレビ、３Ｄ画像表示端末、３Ｄ携帯電話端末、３Ｄカーナビゲーションシステム、３Ｄデジタルスチルカメラ、３Ｄデジタルムービー、３Ｄネットワークプレーヤ、３Ｄ対応コンピューター、３Ｄ対応ゲームプレーヤー等の、３次元立体映像対応機器に適用できる。
【符号の説明】
【００４７】
１０１    ３Ｄ映像再生装置
１０２    表示装置
１０３    ３Ｄ用メガネ
２０１    メモリカード
２０２    メモリカードスロット
２０３    信号処理部
２０４    メモリ
２０５    リモコン受信部
２０６    出力部
【図１】
2014099671.tif 000003
【図２】
2014099671.tif 000004
【図３】
2014099671.tif 000005
【図４】
2014099671.tif 000006
【図５】
2014099671.tif 000007
【図６】
2014099671.tif 000008
【図７】
2014099671.tif 000009