(57)【要約】【課題】各映像素材を任意に拡大もしくは縮小した場合でも、他の素材との立体深度の関係を常に適切に保った立体映像を得る事【解決手段】第1の３Ｄ映像信号と第2の３Ｄ映像信号とを合成し、左目用の映像信号と右目用の映像信号とを含む３Ｄ映像信号を生成可能な再生装置１２であって、第1の３Ｄ映像信号が入力され、少なくとも拡大もしくは縮小のいずれかの処理が可能であり、その処理後の第1の３Ｄ映像信号を出力する第１のスケーリング部３０５と、第2の３Ｄ映像信号が入力され、その入力された第2の３Ｄ映像信号の深度を調整して出力するオフセット印加部３０６と、第１のスケーリング部３０５の出力とオフセット印加部３０６との出力とを合成して出力する合成部３０７とを備え、オフセット印加部３０６は、第１のスケーリング部３０５における拡大もしくは縮小の比率に応じて、第2の３Ｄ映像信号の深度を調整する。【選択図】図２
2011035858.tif 000002
【特許請求の範囲】
【請求項１】
第1の立体映像信号と第2の立体映像信号とを合成し、左目用の映像信号と右目用の映像信号とを含む立体映像信号を生成可能な映像処理装置であって
前記第1の立体映像信号が入力され、少なくとも拡大もしくは縮小のいずれかの処理が可能であり、その処理後の第1の立体映像信号を出力する第１のスケーリング部と、
前記第2の立体映像信号が入力され、その入力された第2の立体映像信号のデプスを調整して出力するデプス調整部と、
前記第１のスケーリング部の出力とデプス調整部との出力とを合成して出力する合成部とを備え、
前記デプス調整部は、前記第１のスケーリング部における拡大もしくは縮小の比率に応じて、前記第2の立体映像信号のデプスを調整する、映像処理装置。
【請求項２】
前記第2の立体映像信号は、
非立体映像信号と、その非立体映像信号から左目用の映像信号と右目用の映像信号とを生成する場合に用いられる、その左目用の映像信号と右目用の映像信号の画面における位置ズレ量を示すオフセットとを含み、
前記デプス調整部は、前記非立体映像信号と前記オフセットに基づき左目用の映像信号と右目用の映像信号とを生成する場合において、前記第１のスケーリング部における拡大もしくは縮小の比率に応じて、前記オフセットを調整する、請求項１に記載の映像処理装置。
【請求項３】
前記デプス調整部によるオフセットの縮小比率は、前記第１のスケーリング部における縮小比率よりも小さいことを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記デプス調整部によるオフセットの拡大比率は、前記第１のスケーリング部における拡大比率よりも大きいことを特徴とする請求項２に記載の映像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、二眼式の３Ｄ映像処理装置に関する。
【背景技術】
【０００２】
古くから、左右の目に対して視差を持つ映像を提示する事で立体視効果が得られる事が知られている。（以下、二眼式３Ｄ方式と呼ぶ）。二眼式３Ｄ方式の一例として、例えば、特許文献１に記載の技術がある。従来からこの原理を応用した３Ｄ映像再生装置が実用化されており、近年は、通常のビデオ動画素材に加えて、コンピューターグラフィックスによる動画素材やタイトルメニューなどのグラフィックスなど、複数の素材を合成して３Ｄとして表示される事も多い。３Ｄ再生表示装置では、ディスプレイ面に対して映像がどれくらい飛び出すか、あるいは引っ込むか、という立体視の度合いを正しく制御する事が重要であるが、特に複数の素材を合成する場合は、それらの立体視の関係を適切に制御する必要がある。（以下、奥行方向の立体視の度合いを「立体深度」或いは「深度」と呼び、ディスプレイ面から視聴位置に近づく方向を「手前方向」、視聴位置から遠ざかる方向を「奥方向」と呼ぶ）
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平０７−３３６７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
二眼式３Ｄの映像再生装置において、複数の映像素材を拡大もしくは縮小した後に合成する場合、拡大もしくは縮小により映像素材の立体深度が変化する。これにより、拡大率もしくは縮小率が異なる映像素材同士を合成した場合には立体深度の関係が変化するため、合成後の３Ｄ映像全体として適切な立体深度が得られないという課題がある。
【０００５】
本発明は、二眼式３Ｄ映像再生装置において、複数の映像素材を拡大もしくは縮小した後に合成して３Ｄ表示する場合に、各映像素材間の立体深度の関係を適切に制御する映像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の映像処理装置は、第1の３Ｄ映像信号と第2の３Ｄ映像信号とを合成し、左目用の映像信号と右目用の映像信号とを含む３Ｄ映像信号を生成可能な再生装置１２であって、第1の３Ｄ映像信号が入力され、少なくとも拡大もしくは縮小のいずれかの処理が可能であり、その処理後の第1の３Ｄ映像信号を出力する第１のスケーリング部３０５と、第2の３Ｄ映像信号が入力され、その入力された第2の３Ｄ映像信号の深度を調整して出力するオフセット印加部３０６と、第１のスケーリング部３０５の出力とオフセット印加部３０６との出力とを合成して出力する合成部３０７とを備え、オフセット印加部３０６は、第１のスケーリング部３０５における拡大もしくは縮小の比率に応じて、第2の３Ｄ映像信号の深度を調整する。
【発明の効果】
【０００７】
上記手段により、各映像素材を任意に拡大もしくは縮小した場合でも、他の素材との立体深度の関係を常に適切に保った立体映像を得る事ができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１における３Ｄ再生表示システムの全体構成図
【図２】実施の形態１における３Ｄ表示装置の構成図
【図３】実施の形態１における３Ｄ再生装置の構成図
【図４】実施の形態１における３Ｄ再生装置の第２のＡＶ信号処理部の構成図
【図５】３Ｄビデオ映像に、深度方向にオフセットを加えた２Ｄ字幕を重畳した場合を示す模式図
【図６】縮小された３Ｄビデオ映像に、深度方向にオフセットを加えた２Ｄ字幕を重畳した場合を示す模式図
【図７】縮小された３Ｄビデオ映像に、深度方向に縮小率に応じて補正されたオフセットを加えた２Ｄ字幕を重畳した場合を示す模式図
【発明を実施するための形態】
【０００９】
（実施の形態１）
本実施の形態について、図１、２、３、４、５、６、７を用いて説明する。図１は、本実施の形態における３Ｄ再生表示システムの全体構成図である。図１において、表示装置１１は３Ｄ映像を表示するディスプレイなどの表示装置である。再生装置１２は、記憶媒体やネットワ−クなどから映像素材を読み出して３Ｄ映像として再生する再生装置である。立体メガネ１３は、表示装置１１が表示する３Ｄ映像を右目用と左目用に分離する液晶シャッタを備えた偏光メガネである。
【００１０】
図２は、本実施の形態における３Ｄ表示装置の構成図であり、図１の表示装置１１の内部構成を示す。図２において、第１の入出力部１０１は、図１の再生装置１２の出力を受ける第１の入出力部であり、例えば、ＨＤＭＩ信号入力部などである。第１のＡＶ処理部１０２は、第１の入出力部１０１の出力を受けて映像及び音声信号を処理して表示部１０３の駆動信号を生成する第１のＡＶ処理部である。表示部１０３は、第１のＡＶ処理部１０２の出力を受けて３Ｄ映像を表示する表示部である。第１のリモコン信号受信部１０４は、ユーザーが操作するリモコンの信号を受ける第１のリモコン信号受信部である。送信部１０５は、第１のＡＶ処理部１０２の出力に応じて、図１の立体メガネ１３に対して、左目用或いは右目用右のどちらの映像を表示するかを切り替える同期信号送信する送信部である。一般的には、赤外線信号などを使って送信される。
【００１１】
図３は、本実施の形態における３Ｄ再生装置の構成図であり、図１の再生装置１２の内部構成を示す。図３において、ディスク２００は、３Ｄ映像素材を記録する光ディスクやＨＤＤなどの記録媒体であり、ビデオ映像、グラフィックス映像、字幕映像などの映像データ及び音声データが、圧縮されたストリーム信号として記録されている。ディスクドライブ部２０１は、ディスク２００から記録されたストリーム信号を読み出す。第２のＡＶ処理部２０２は、ディスクドライブ部２０１から得られた複数の映像ストリーム信号（ビデオ、グラフィックス、字幕など）を合成して、左目用及び右目用が多重化された映像信号として出力する。第２の入出力部２０３は、第２のＡＶ処理部２０２から受けた映像信号を図１の表示装置１１に出力する。第２のリモコン信号受信部２０５は、ユーザーが操作するリモコンの信号を受信する。ＣＰＵ２０４は、第２のリモコン信号受信部２０５から受けたユーザー操作指令を受けて、第２のＡＶ処理部２０２を制御する。
【００１２】
このように構成された全体システムにおいて、図１の再生装置１２では、ユーザーの操作に応じて、記録媒体やネットワーク等から３Ｄ映像ストリームを読み出して再生し、左目用の映像信号と右目用の映像信号を多重化して表示装置１１に転送する。表示装置１１では、入力した左目用と右目用の映像をディスプレイ上で時分割表示し、この時分割の切替タイミングを、赤外線による同期信号などの手段で立体メガネ１３に伝える。立体メガネ１３は、表示装置１１から受けた同期信号に応じて液晶シャッタの透過率を切替え、左目側或いは右目側の何れかの光を交互に透過させる事により、左目用の映像信号は左目だけに、右目用の映像信号は右目だけに提示する。このようにして３Ｄ立体視を実現するものである。
【００１３】
図４は、図３の第２のＡＶ処理部２０２の内部構成を示す。図４において、ストリーム制御部３０１は、図３のディスクドライブ部２０１から読み出した記録ストリーム信号から、ビデオ映像ストリーム、グラフィックス映像ストリーム、字幕映像ストリームなどを分離して出力する。ビデオデコーダ３０２は、ストリーム制御部３０１が出力するビデオ映像ストリームをデコードして、左目用のビデオ映像信号（Ｌ）と右目用のビデオ映像信号（Ｒ）を出力する。
【００１４】
第１のスケーリング部３０５は、ＣＰＵ２０４が出力する制御信号に応じて、ビデオデコーダ３０２が出力する左目用のビデオ映像信号（Ｌ）と右目用のビデオ映像信号（Ｒ）を、各々所定の倍率で拡大もしくは縮小する。グラフィックデコーダ３０３は、ストリーム制御部３０１が出力するグラフィックス映像ストリームをデコードして、左目用のグラフィクス映像信号（Ｌ）と右目用のグラフィックス映像信号（Ｒ）を出力する。この場合のグラフィックス映像とは、例えば、記録されたコンテンツを選択するためのメニュ−画面などである。
【００１５】
字幕デコーダ３０４は、ストリーム制御部３０１が出力する字幕映像ストリームをデコードして、２Ｄの基準字幕映像データと、これに３Ｄ方向の深度を与えるオフセットデータを出力する。第２のスケーリング部３１３は、字幕デコーダ３０４が出力する基準字幕映像データを、ＣＰＵ２０４が出力する制御信号に応じて所定の倍率で拡大もしくは縮小する。オフセット印加部３０６は、第２のスケーリング部３１３が出力するスケーリングされた基準字幕映像データと、字幕デコーダ３０４が出力するオフセットデータを受けて、基準字幕映像データから、オフセットデータに応じて画面水平左方向に位置をずらした字幕映像データ（Ｌ’）と、これと対称に右方向に位置をずらした字幕映像デ−タ（Ｒ’）を出力する。二眼式３Ｄ方式では、人間の立体視が、左右の目の水平方向の視差に依ることを利用している。そのため、通常の２Ｄで表現された字幕データであっても、これを画面の水平方向に左右対称にずらせた２つの映像を作り、これを各々左目、右目用の映像とする事で、３Ｄ方向の深度を与える事ができる。これについては後に詳しく説明する。
【００１６】
合成部３０７は、第１のスケーリング部３０５、グラフィックデコーダ３０３、オフセット印加部３０６の出力を左目用と右目用に分けて各々合成する合成部である。第１の加算部３０８、第２の加算部３０９、第３の加算部３１０、第４の加算部３１１、多重化部３１２は、各々合成部３０７の構成要素である。第１の加算部３０８は、第１のスケーリング部３０５が出力する左目用ビデオ映像データ（Ｌ）とグラフィックデコーダ３０３が出力する左目用グラフィックス映像データ（Ｌ）を合成する。第２の加算部３０９は、第１のスケーリング部３０５が出力する右目用ビデオ映像データ（Ｒ）とグラフィックデコーダ３０３が出力する右目用グラフィックス映像データ（Ｒ）を合成する。第３の加算部３１０は、第１の加算部３０８が出力する左目用のビデオ映像とグラフィックス映像の合成データと、オフセット印加部３０６が出力する左目用字幕映像データ（Ｌ’）を合成する。第４の加算部３１１は、第２の加算部３０９が出力する右目用のビデオ映像とグラフックス映像の合成データと、オフセット印加部３０６が出力する右目用字幕映像データ（Ｒ’）を合成する。多重化部３１２は、第３の加算部３１０、第４の加算部３１１の出力を受けて、左目用と右目用の信号を多重化して出力する。
【００１７】
ＣＰＵ２０４は、図１の第２のリモコン信号受信部２０５のリモコン受信データに応じて、ストリーム制御部３０１、オフセット印加部３０６の動作を制御するとともに、ストリーム制御部３０１からストリーム中記録された拡大或いは縮小情報を読み出し、これに基づいて第１のスケーリング部３０５及び第２のスケーリング部３１３に拡大縮小率を出力する。
【００１８】
以下に、このように構成された第２のＡＶ処理部２０２の動作を説明する。まず、３Ｄビデオ映像を通常動作モードとして字幕付きで再生する場合について説明する。ストリーム制御部３０１は、ディスクに記録された圧縮ストリームから３Ｄビデオ映像ストリームを抽出し、これをビデオデコーダ３０２でデコードし、左目用（Ｌ）、右目用（Ｒ）の映像信号を得る。ここでは、第１のスケーリング部３０５でのスケーリングは行わず（拡大縮小率＝１．０）、またグラフィックス映像データは表示しないものとする。また、ストリーム制御部３０１は、ディスクに記録された圧縮ストリームから字幕映像ストリームを抽出し、これを字幕デコーダ３０４でデコードし、２Ｄの基準字幕映像信号と、これに３Ｄ方向の深度を与えるオフセットデータを出力する。ここでは、第２のスケーリング部３１３でのスケーリングは行わない（拡大縮小率＝１．０）ため、２Ｄの基準字幕映像信号は第２のスケーリング部３１３を経由し、オフセット印加部３０６で３Ｄ方向の深度を与えるオフセットが印加され、左目用の字幕映像データ（Ｌ）と右目用の字幕映像データ（Ｒ）を出力する。
【００１９】
ビデオデコーダ３０２が出力する左目用ビデオ映像データ（Ｌ）は、第１のスケーリング部３０５と第１の加算部３０８を経由し、第３の加算部３１０において、オフセット印加部３０６が出力する左目用字幕映像データ（Ｌ’）と合成される。またビデオデコーダ３０２が出力する右目用ビデオ映像データ（Ｒ）は、第１のスケーリング部３０５と第２の加算部３０９を経由し、第４の加算部３１１において、オフセット印加部３０６が出力する右目用の字幕映像データ（Ｒ’）と合成される。これらの右目用と左目用の映像データは、多重化部３１２で多重化されてディスプレイに転送される。
【００２０】
ここで、二眼式３Ｄの立体視の仕組みについて説明する。図５は、立体視の原理を示す模式図である。ディスプレイに正対して視聴する様子を頭の上方向から見た図であり、ディスプレイ面での映像の水平方向位置と、それを見る左右の目の視線（角度）を示している。図５（１）は、ビデオ映像を見たときの様子、図５（２）は、字幕映像を見た時の様子を示す。図５（１）において、まず、左目用のビデオ映像と右目用のビデオ映像をディスプレイ面で水平方向の同じ位置（点Ｏ）に表示した場合、人間はこのビデオ映像が点０の深度（ディスプレイ面）にあると認識する。左目用のビデオ映像を点Ｌｂ、右目用のビデオ映像を点Ｒｂの位置に表示すると、人間はこのビデオ映像が点ｂの深度にある（ディスプレイ面より奥方向に位置する）と認識する。また、左目用のビデオ映像を点Ｌａ、右目用のビデオ映像を点Ｒａに表示すると、人間はこのビデオ映像が点ａの深度にある（ディスプレイ面より手前方向に位置する）と認識する。このように、左右の目が映像を見る視線の角度によって、立体深度が認識される。一般的な３Ｄビデオ映像では、立体深度は映像に応じて常に変化している。ここでは、３Ｄビデオ映像の立体深度を点ｂから点ａの範囲にあるとする。
【００２１】
次に、字幕映像について図５（２）で説明する。基本的な立体視の考え方は図５（１）のビデオ映像と同じである。ここでは、字幕映像を基本的に通常の２Ｄ映像としている。つまり、ディスクから読み出したデータに左目用や右目用の区別はなく、そのままではいずれも同じ点（点Ｏ）に表示されるので、字幕映像はディスプレイ面上に位置すると認識される。ここで、図５の（１）のビデオ映像において、立体深度が点Ａから点Ｏの範囲にある場合に、（２）の字幕映像（点Ｏに位置する場合）を合成して一つの３Ｄ映像として見ると、ディスプレイ面より手前方向に飛び出して見えるビデオ映像の一部分に、プレーン上はその上に重なる状態（字幕が重なった部分のビデオ映像は字幕に隠れて見えない）でありながら、立体視としてはそれより奥方向に引っ込んだ字幕が表示される。しかし現実の世界では、このような見え方になる事は基本的にあり得ない。そのためこのような表示では人間の立体視認識がうまく働かず、気分が悪くなるなどのいわゆる３Ｄ酔いと呼ばれる状態になる恐れがある。また逆に、字幕映像をビデオ映像より過度に手前に飛び出した深度に表示すると、やはり人間の立体視の認識能力に負荷がかかり、疲れやすいという問題が発生する。このような問題を避けるため、字幕を表示する深度は、ビデオ映像の深度と大きく乖離しない範囲で、かつビデオ映像より若干手前に表示する事が望ましい。
【００２２】
このため図５（２）に示すように、ディスプレイ面上の字幕映像を、左目用と右目用の２つに分けて表示する。具体的には、左目の字幕映像デ−タは、点Ｏから所定オフセット量だけ右方向にずらした点Ｌｃに表示し、右目用の字幕映像データは、点Ｏから所定オフセット量だけ左方向にずらした点Ｒｃに表示する。これにより、字幕映像そのものは２Ｄで平板に見えるが、３Ｄ方向の位置としては点ｃの深度にあると認識される。このように、ビデオ映像の最も手前方向の深度（点Ａ）から、ｄだけ手前方向の深度（点Ｃ）に字幕を表示する事により、ビデオ映像と字幕を合成した場合でも自然な３Ｄ立体視を得る事ができる。
【００２３】
次に、ビデオ映像を縮小するとともに、その縮小するビデオ信号に字幕が重畳される場合について説明する。まず、図３の第２のリモコン信号受信部２０５が、ユーザーのリモコン操作「メニュー表示」の信号を受信したとする。これをＣＰＵ２０４で検出し、図４のストリーム制御部３０１を制御して、記録ストリームデータからグラフィックス映像ストリームを抽出する。このグラフィックス映像ストリームをグラフィックデコーダ３０３がデコードし、メニュー画面を構成するグラフィックス映像データを出力する。ここでは、メニュー画面も３Ｄ映像とし、左目用データ（Ｌ）と右目用データ（Ｒ）が出力される。ここで、メニュー表示時はビデオ映像を縮小してメニュー画面の一部の領域に表示するものとする。
【００２４】
このメニュー画面の一部の領域に表示するために、左目用ビデオ映像（Ｌ）と右目用ビデオ映像（Ｒ）とを１／２にスケーリングする場合を例に説明する。ＣＰＵ２０４の制御に応じて、第１のスケーリング部３０５で左目用ビデオ映像（Ｌ）、右目用ビデオ映像（Ｒ）を各々１／２に縮小スケーリングし、これらを、第１の加算部３０８、第２の加算部３０９でグラフィックス映像データと合成する。さらに、ビデオ映像データに付加する字幕の基準映像データも、ＣＰＵ２０４の制御に応じて、第２のスケーリング部３１３で１／２に縮小する。これに、オフセット印加部３０６で水平方向のオフセットを印加し、左目用字幕データ（Ｌ’）、右目用字幕データ（Ｒ’）として出力し、第３の加算部３１０、第４の加算部３１１でビデオ映像及びグラフィックス映像と合成する。これにより、縮小されたビデオ映像と字幕が合成されたメニュー画面が構成される。
【００２５】
図6は、１／２にスケーリングしたにも関わらず、オフセット量を調整しなかった場合の例を示す。この時の立体視の様子を図６（１）及び（２）を用いて説明する。図６は、図５と同様に、ディスプレイに正対して視聴する様子を頭の上から見た図であり、ディスプレイ上の水平方向の映像の位置と、それを見る左右の目の視線（角度）を示している。図６（１）は、ビデオ映像を見たときの様子、図６（２）は、字幕映像を見た時の様子を示す。
【００２６】
まずビデオ映像は、図５（１）と比べて１／２に縮小されるので、全ての画素間隔が１／２に縮小される。ゆえに、映像が奥方向の深度にある時は、左目用のビデオ映像は点Ｌｂ’、右目用のビデオ映像は点Ｒｂ’に表示され、ビデオ映像は点ｂ’の深度にあると認識される。また映像が手前方向の深度にある時は、左目用のビデオ映像は点Ｌa’、右目用のビデオ映像は点Ｒa’に表示され、ビデオ映像は点ａ’の深度にあると認識される。このように、二眼式３Ｄ方式の左目用及び右目用の映像を各々２次元空間で水平方向に縮小すると、それに比例して立体深度が小さくなる。反対に、水平方向に拡大するとそれに比例して立体深度が大きくなる。これは二眼式３Ｄ方式が、水平方向の視差によって深度が決まるためであり、原理的な現象である。
【００２７】
つぎに字幕映像は、第２のスケーリング部３１３で２Ｄの基準字幕映像信号として縮小され、左右の視差を決めるオフセットは変わらない。ゆえに、左目用字幕映像データは点Ｌｃの位置に、右目用字幕映像データは点Ｒｃの位置に表示され、字幕映像は点ｃの深度にあると認識される。
【００２８】
このように、３Ｄビデオ映像とオフセット付き２Ｄ字幕映像を各々１／２に縮小した場合、ビデオ映像の深度は１／２に低減するのに対し、字幕映像の深度は変わらないため、ビデオ映像と字幕映像の立体深度の差ｄ’が大きくなる。すなわち、字幕映像がビデオ映像より過度に手前に飛び出した深度に表示されるため、人間の立体視の認識能力に負荷がかかり、疲れやすいという問題が生じる。ここでは縮小する例を述べたが、逆に２倍に拡大する場合を考えると、ビデオ映像の映像深度が２倍に拡大され、字幕の深度は変わらないため、ビデオ映像が字幕より手前に表示される状態になる。この場合も、前述したように、人間の立体視認識がうまく働かず、気分が悪くなるなどのいわゆる３Ｄ酔いと呼ばれる状態になる恐れがある。
【００２９】
そこで、本実施の形態では、この問題を解決するために、ビデオ映像を拡大もしくは縮小した場合に、字幕に印加するオフセット量を可変する。以下にその手順と仕組みを説明する。まず、図３の第２のリモコン信号受信部２０５が、ユーザーのリモコン操作「メニュー表示」の信号を受信した場合、これを図４のＣＰＵ２０４で検出する。さらにＣＰＵ２０４は、ストリーム中に記録されたか縮小或いは拡大率をストリーム制御部３０１から読み出し、これに応じて、オフセット印加部３０６で印加するオフセットを制御する。具体的には、例えば拡大率が２倍であれば、印加するオフセット量も２倍、拡大率が１／２であれば印加するオフセット量も１／２にする。
【００３０】
図７にこの時の立体視の様子を示す。図７は、図５及び６と同様に、ディスプレイに正対して視聴する様子を頭の上から見た図であり、ディスプレイ上の水平方向の映像の位置と、それを見る左右の目の視線（角度）を示している。図７（１）は、ビデオ映像を見たときの様子、図７（２）は、字幕映像を見た時の様子を示す。
【００３１】
ビデオ映像は１／２に縮小されるため、図６（１）と同様に立体深度も１／２となり、点ａ’から点ｂ’の深度と認識される。字幕映像は、オフセットが１／２に低減されるため、左目用字幕映像データは点Ｌｃ’の位置に、右目用字幕映像データは点Ｒc’の位置に表示され、この字幕映像は点ｃ’の深度にあると認識される。これにより、ビデオ映像と字幕の相対的な深度の関係が保存され、字幕とビデオ映像の深度が大きく乖離せす、かつ字幕がビデオ映像より若干手前に表示する事ができる。
【００３２】
ここで、拡大縮小率に応じてオフセットを算出する場合に、デジタル演算の語調によるビット丸めが発生する場合がある。例えば、字幕映像のオフセットが、左目用と右目用で±７画素であった場合、これを１／２に縮小すると、オフセットは±３．５画素になる。一般に、小数点点以下の画素位置に映像の位相を正確に合わせるのは非常に困難である。ゆえに、画素位置を丸める事になるが、その場合、字幕映像データがビデオ映像データより手前方法にずれるように丸める事が有効である。図７（２）の例であれば、左目用字幕映像データ（Ｌc’）は右側寄りに、右目用字幕映像データ（Ｒc’）は左側寄りになるように丸める。（この場合、オフセット値は切り上げ方向になる）。図７（２）は字幕映像の深度がディスプレイより手前方向にある場合であるが、字幕映像の深度がディスプレイより奥方向にある場合も、同様に、左目用字幕映像データは右側寄りに、右目用字幕映像データは左側寄りになるように丸める。但しこの場合は、オフセット値は切り捨て方向になる。つまり、オフセット印加部３０６によるオフセットの縮小比率は、第１のスケーリング部３０５における縮小比率よりも小さい。
【００３３】
これらの処理により、映像の拡大縮小に依らず、常に自然でかつ疲れにくい立体映像を得る事ができる。
【００３４】
なお、上記においては、ビデオ映像を１／２に縮小する例について説明したが、１．５倍に拡大する場合も同様にオフセット量を調整すれば良い。この場合は、オフセット量を１．５倍にすれば良い。また、例えば、１．５倍に拡大する場合に画素位置を丸めることが必要な場合は、同様に幕映像データがビデオ映像データより手前方法にずれるように丸める事が有効である。つまり、オフセット印加部３０６によるオフセットの拡大比率は、第１のスケーリング部３０５における拡大比率よりも大きい。
【００３５】
つまり、本実施の形態の映像処理装置は、第1の３Ｄ映像信号と第2の３Ｄ映像信号とを合成し、左目用の映像信号と右目用の映像信号とを含む３Ｄ映像信号を生成可能な再生装置１２であって、第1の３Ｄ映像信号が入力され、少なくとも拡大もしくは縮小のいずれかの処理が可能であり、その処理後の第1の３Ｄ映像信号を出力する第１のスケーリング部３０５と、第2の３Ｄ映像信号が入力され、その入力された第2の３Ｄ映像信号の深度を調整して出力するオフセット印加部３０６と、第１のスケーリング部３０５の出力とオフセット印加部３０６との出力とを合成して出力する合成部３０７とを備え、オフセット印加部３０６は、第１のスケーリング部３０５における拡大もしくは縮小の比率に応じて、第2の３Ｄ映像信号の深度を調整する。
【００３６】
これにより、各映像素材を任意に拡大もしくは縮小した場合でも、他の素材との３Ｄ深度の関係を常に適切に保った３Ｄ映像を得る事ができる。
【００３７】
また、本実施の形態の映像処理装置は、
第2の３Ｄ映像信号は、２Ｄ映像信号と、その２Ｄ映像信号から左目用の映像信号と右目用の映像信号とを生成する場合に用いられる、その左目用の映像信号と右目用の映像信号の画面における位置ズレ量を示すオフセットとを含み、
オフセット印加部３０６は、２Ｄ映像信号とオフセットに基づき左目用の映像信号と右目用の映像信号とを生成する場合において、第１のスケーリング部３０５における拡大もしくは縮小の比率に応じて、オフセットを調整する。
【００３８】
これにより、字幕情報がオフセット量を持つ２Ｄ映像であった場合も、他の素材との３Ｄ深度の関係を常に適切に保った３Ｄ映像を得る事ができる。
【００３９】
また、本実施の形態の映像処理装置は、オフセット印加部３０６によるオフセットの縮小比率は、第１のスケーリング部３０５における縮小比率よりも小さい。
【００４０】
これにより縮小時に丸め誤差が発生する場合であっても、他の素材との３Ｄ深度の関係を常に適切に保った３Ｄ映像を得る事ができる。
【００４１】
また、本実施の形態の映像処理装置は、オフセット印加部３０６によるオフセットの拡大比率は、第１のスケーリング部３０５における拡大比率よりも大きい
これにより拡大時に丸め誤差が発生する場合であっても、他の素材との３Ｄ深度の関係を常に適切に保った３Ｄ映像を得る事ができる。
【００４２】
なお、本実施の形態における説明において、図４を用いて、３Ｄビデオ映像とオフセット付きの字幕映像を合成する場合について説明した。通常、字幕はビデオ映像に合わせて拡大や縮小を行うため、図４の第２のスケーリング部３１３に示すスケーリング部を設けたが、この構成を設けない他の実施の形態もあり得る。それは、例えば、３Ｄビデオ映像を、オフセット付きのメニューや、表示画面全体にオフセットが付与されたグラフィックス映像と合成する場合である。この場合、ビデオ映像を拡大や縮小を行っても、メニューやグラフィックスは拡大や縮小は行わない。そのため、オフセット付きのメニューや表示画面全体に付与されたグラフィックスは、拡大や縮小を行う事無く、オフセットのみを適切に補正すればよい。
【００４３】
また、本実施の形態における説明において、３Ｄ映像素材は主に光ディスクやＨＤＤなどの記録媒体から読み出すとしたが、半導体メモリ等の記録媒体、ＬＡＮなどのネットワークから読み出してもよい。
【００４４】
また、本実施の形態における説明において、左目用の映像と右目用の映像は、ディスプレイで時分割に表示し、これに同期した液晶シャッタを用いたメガネで視聴するとしたが、このような構成に限定されるものではない。ディスプレイ表面に貼り付けた偏光フィルタなどで空間方向に分割して表示する方法など、多くの方式が提案されており、いわゆる二眼式の３Ｄ再生装置であれば、広く適用が可能である。
【産業上の利用可能性】
【００４５】
本発明は、ハードディスクレコーダなど、立体映像を再生可能な再生装置などに適用できる。
【符号の説明】
【００４６】
１１    表示装置
１２    再生装置
１３    立体メガネ
１０１    第１の入出力部
１０２    第１のＡＶ処理部
１０３    表示部
１０４    第１のリモコン信号受信部
１０５    送信部
２００    ディスク
２０１    ディスクドライブ部
２０２    第２のＡＶ処理部
２０３    第２の入出力部
２０４    ＣＰＵ
２０５    第２のリモコン信号受信部
３０１    ストリーム制御部
３０２    ビデオデコーダ
３０３    グラフィックデコーダ
３０４    字幕デコーダ
３０５    第１のスケーリング部
３０６    オフセット印加部
３０７    合成部
３０８    第１の加算部
３０９    第２の加算部
３１０    第３の加算部
３１１    第４の加算部
３１２    多重化部
３１３    第２のスケーリング部
【図１】
2011035858.tif 000003
【図２】
2011035858.tif 000004
【図３】
2011035858.tif 000005
【図４】
2011035858.tif 000006
【図５】
2011035858.tif 000007
【図６】
2011035858.tif 000008
【図７】
2011035858.tif 000009