(57)【要約】【課題】多視差画像にＯＳＤを重ねた表示を可能にする視差画像変換装置の提供。【解決手段】一実施形態の視差画像変換装置は、第１画像信号に関する第１多視差画像を生成する第１多視差画像生成部と、ＯＳＤの画像に関する、第２画像信号、奥行き情報、およびブレンド情報を受信し、前記ブレンド情報を前記奥行き情報に基づいて変更し、この変更されたブレンド情報と、前記第２画像信号と、前記奥行き情報とに基づいて、前記ＯＳＤの画像に関する第２多視差画像を生成する第２多視差画像生成部と、前記変更されたブレンド情報を用いて、前記第１多視差画像と前記第２多視差画像を合成する合成部と、を備えている。【選択図】図１
2012114766.tif 000002
【特許請求の範囲】
【請求項１】
第１画像信号に関する第１多視差画像を生成する第１多視差画像生成部と、
ＯＳＤの画像に関する、第２画像信号、奥行き情報、およびブレンド情報を受信し、前記ブレンド情報を前記奥行き情報に基づいて変更し、この変更されたブレンド情報と、前記第２画像信号と、前記奥行き情報とに基づいて、前記ＯＳＤの画像に関する第２多視差画像を生成する第２多視差画像生成部と、
前記変更されたブレンド情報を用いて、前記第１多視差画像と前記第２多視差画像を合成する合成部と、
を備えていることを特徴とする視差画像変換装置。
【請求項２】
前記変更されたブレンド情報が０となる領域は、前記ＯＳＤの画像の変更前のブレンド情報αが０となる領域を、画面の左右方向に広げることにより得られることを特徴とする請求項１記載の視差画像変換装置。
【請求項３】
前記第１画像信号から前記第１画像信号に関する奥行き情報を生成する奥行き情報生成部を更に備え、
前記第１多視差画像生成部は、前記第１画像信号に奥行き情報が含まれていない場合に、前記奥行き情報生成部によって生成された奥行き情報を用いて前記第１多視差画像を生成することを特徴とする請求項１または２記載の視差画像変換装置。
【請求項４】
前記第１多視差画像生成部は、前記第１画像信号に奥行き情報が含まれている場合に、前記第１画像信号に含まれている前記奥行き情報を用いて前記第１多視差画像を生成することを特徴とする請求項１または２記載の視差画像変換装置。
【請求項５】
前記第１画像信号、前記第２画像信号、前記ＯＳＤに関する奥行き情報、および前記ＯＳＤに関するブレンド情報を受信し、前記第１画像信号を前記第１多視差画像生成部に送り、前記第２画像信号、前記ＯＳＤに関する奥行き情報、および前記ＯＳＤに関するブレンド情報を前記第２多視差画像生成部に送る回路インタフェースを更に備えていることを特徴とする請求項１乃至４のいずれかに記載の視差画像変換装置。
【請求項６】
前記第１画像信号が奥行き情報を含んでいる場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記第１画像信号の奥行き情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値に関する第３フレームと、前記ＯＳＤの画像の奥行き情報およびブレンド情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項５記載の視差画像変換装置。
【請求項７】
前記第１画像信号が奥行き情報を含んでいる場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記第１画像信号の奥行き情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値およびブレンド情報に関する第３フレームと、前記ＯＳＤの画像の奥行き情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項５記載の視差画像変換装置。
【請求項８】
前記第１画像信号が奥行き情報を含んでいない場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記ＯＳＤの画像のブレンド情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値に関する第３フレームと、前記ＯＳＤの画像の奥行き情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項５記載の視差画像変換装置。
【請求項９】
前記合成部によって合成された画像を表示する表示パネルを更に備えていることを特徴とする請求項１乃至８のいずれかに記載の視差画像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、視差画像変換装置に関する。
【背景技術】
【０００２】
近年、送信された符号化された２次元画像信号を受信し復号化した後、この復号化された２次元画像信号から多視差画像に変換する視差画像変換装置が提案されている。
【０００３】
また、奥行き情報を有しない２次元画像にメニュー等の設定画面であるＯＳＤ（オンスクリーンディスプレイ）を重ねて表示することが行われている。
【０００４】
しかし、２次元画像信号を用いて画像を表示する際に奥行き情報が必要な表示装置、例えば裸眼式立体画像表示装置では、ＯＳＤをどのように表示するかは十分に検討されていなかった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−７８６１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、多視差画像にＯＳＤを重ねた表示を可能にする視差画像変換装置を提供することである。
【課題を解決するための手段】
【０００７】
本実施形態の視差画像変換装置は、第１画像信号に関する第１多視差画像を生成する第１多視差画像生成部と、ＯＳＤの画像に関する、第２画像信号、奥行き情報、およびブレンド情報を受信し、前記ブレンド情報を前記奥行き情報に基づいて変更し、この変更されたブレンド情報と、前記第２画像信号と、前記奥行き情報とに基づいて、前記ＯＳＤの画像に関する第２多視差画像を生成する第２多視差画像生成部と、前記変更されたブレンド情報を用いて、前記第１多視差画像と前記第２多視差画像を合成する合成部と、を備えていることを特徴とする。
【図面の簡単な説明】
【０００８】
【図１】一実施形態による視差画像変換装置を示すブロック図。
【図２】２次元画像信号にＯＳＤの画像信号を重ねて合成した表示した画像。
【図３】図２に示す２次元画像から奥行き情報を生成する場合を説明する図。
【図４】図４（ａ）、４（ｂ）はそれぞれ左目用および右目の視差画像を示す図。
【図５】ＯＳＤの画像のブレンド情報を説明する図。
【図６】図６（ａ）、６（ｂ）はそれぞれ、図５に示すブレンド情報を用いて合成した左目用および右目の視差画像を示す図。
【図７】一実施形態において用いられるＯＳＤの画像のブレンド情報を説明する図。
【図８】図８（ａ）、８（ｂ）はそれぞれ、一実施形態において用いられるＯＳＤの画像の左目用および右目用のブレンド情報を説明する図。
【図９】図９（ａ）、９（ｂ）はそれぞれ、図８（ａ）、８（ｂ）で説明したブレンド情報を用いて合成した左目用および右目用の視差画像を示す図。
【図１０】一実施形態における回路インタフェースの一具体例の構成を示す図。
【図１１】画像データとＯＳＤデータの伝送方法の第１例を示す図。
【図１２】画像データとＯＳＤデータの伝送方法の第２例を示す図。
【図１３】画像データとＯＳＤデータの伝送方法の第３例を示す図。
【発明を実施するための形態】
【０００９】
以下に図面を参照して実施形態を説明する。
【００１０】
一実施形態による視差画像変換装置を図１に示す。本実施形態の視差画像変換装置１０は、回路インタフェース１２と、奥行き情報生成部１４と、第１多視差画像生成部１６と、第２多視差画像生成部１８と、合成回路１９と、を備えている。
【００１１】
回路インタフェース１２は、画像信号処理部２で受信した画像信号を第１多視差画像生成部１６に送り、ＯＳＤ描画部４によって描画され生成された例えばメニュー等のＯＳＤ（オンスクリーンディスプレイ）を第２多視差画像生成部１８に送る。
【００１２】
画像信号処理部２で受信される画像信号は、放送またはネットワークを介して入力される、符号された２次元画像信号であるかまたは符号された多視差画像信号である。画像信号処理部２では、これらの符号された、２次元画像信号または多視差画像信号を復号化し、復号化された２次元画像信号または多視差画像信号を生成する。復号化された２次元画像信号にＯＳＤを単に重ねて合成し、表示パネル２０に表示すると、例えば図２に示すようになる。図２において、符号４４で示す「ＣＨ  １３１」がＯＳＤを表す。このＯＳＤ４４は、図２において、チャネル番号を示している。
【００１３】
奥行き情報生成部１４は、復号化された２次元画像信号または多視差画像信号を解析し、画像の奥行き情報（デプス情報）を生成する。例えば、図２に示す２次元画像から物体（例えば「猫」）４０の奥行き情報生成する。この奥行き情報の生成は、周知の方法を用いて行う。この方法は、例えば、図２に示す背景領域４２と、それ以外の領域の像４０の信号に分離し、２次元画像の動きベクトルと、上記背景領域４２の動きベクトルから、背景領域４２の代表動きベクトルを算出し、上記２次元画像の動きベクトルから上記代表動きベクトルを減算することで相対動きベクトルを算出し、この相対動きベクトルを用いて、図３に示すように２次元画像信号の画像４０の奥行き情報を生成する。なお、奥行き情報は、手前にあると示されている物体（例えば図２に示す物体４０）のほうが、奥にあるとされる物体（例えば、図２示す背景４２）よりも大きな値となる。
【００１４】
第１多視差画像生成部１６は、奥行き情報生成部１４で生成された奥行き情報を用いて、多視差画像を生成する。例えば、本実施形態の視差画像変換装置がめがね式の立体画像表示装置に用いられた場合は２視差画像を生成し、裸眼式立体画像表示装置に用いられた場合は例えば９方向から見た多視差画像、すなわち中央を含め９視差画像を生成する。第１多視差画像生成部１６では奥行き情報が大きな、手前にあるとされる物体（例えば図２に示す物体４０）に関する、例えば左の方向から見た視差画像としては、その物体４０は背景４２にある物体よりも右側にずれて見えるので、右側にずらすような処理を画像に対して行うことにより、左の方向から見た視差画像を生成する。また、右の方向から見た視差画像としては、左側にずらすような処理を画像に対して行うことにより、右の方向から見た視差画像を生成する。このようにして、２視差画像、または水平方向に左から右にかけて９個の位置から見た９視差画像を生成する。このように、視差画像を生成する際に物体の位置をずらす処理を行うことは、本来ならばその背景の画像が見えるはずであるが、入力された画像にその情報はないため、単に画像を歪ませる処理となる。なお、第１多視差画像生成部１６は、画像信号受信処理部２から回路インタフェース１２を介して送信される画像信号に奥行き情報が含まれている場合には、奥行き情報生成部１４によって生成された奥行き情報を用いずに、画像信号（破線で示す画像信号）を用いて、多視差画像を生成する。
【００１５】
ＯＳＤ描画部４は、例えば、メニュー等の設定画像であるＯＳＤを描画または設定する。このＯＳＤには、メニュー等の設定画像の他に、グラフィック画像等も含まれている。そして、本実施形態では、表示パネルに表示した場合にＯＳＤの領域を目立たせるために、ＯＳＤの領域を飛び出して表示させるので、ＯＳＤには、奥行き情報を含んでいる。また、ＯＳＤには、奥行き情報の他に、各画素における、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の輝度値と、ブレンド情報αとを含んでいる。このブレンド情報αはいわゆるαブレンド（アルファブレンド）に用いられる情報（値）であり、ＯＳＤの画像が背景とブレンドする度合いを示し、ｎビットで表現される場合には０≦α≦２ｎ−１の範囲の整数値をとる。なお、奥行き情報は、ＯＳＤの描画または設定時にＯＳＤ描画部４に入力しても良いし、ＯＳＤ描画部４においてソフトウェアを用いて作成してもよい。また、ＯＳＤに含まれる奥行き情報はユーザがメニュー画面上で操作することにより、修正または変更されるように構成してもよい。このように構成することにより、表示したときのＯＳＤの飛び出し状態が、ユーザが所望するものとなるようにすることができる。
【００１６】
ＯＳＤ描画部４で描画または設定されたＯＳＤは、回路インタフェース１２を介して第２多視差画像生成部１８に送られる。
【００１７】
第２多視差画像生成部１８は、回路インタフェース１２を介して送られてきたＯＳＤに基づいて、このＯＳＤに含まれる奥行き情報を用いて、第１多視差画像生成部１６によって生成されたと同じ視差数を有する多視差画像を生成する。例えば、ＯＳＤが、図２においてチャネル番号を示す「ＣＨ  １３１」であり、かつ第１多視差画像生成部１６によって生成される視差画像が２視差画像である場合には、２視差画像として、ＯＳＤ描画部４で描画または設定された、元のＯＳＤの画像から、変形させるフィルタを用いて左目用の視差画像（図４（ａ））と、右目用の視差画像（図４（ｂ））を作成する。なお、図４（ａ）、４（ｂ）は、ＯＳＤの画像を含む一部分の画像を取り出して作成した視差画像を示す。左目用の視差画像としては、ＯＳＤの画像４４を示す矩形領域を右の方向にずらし、右目用の視差画像としては、ＯＳＤの画像４４を示す矩形領域を左の方向にずらす。このとき、背景はずらさないので、ＯＳＤの画像４４と背景との継ぎ目のところは、歪みを起こさせることになる。この歪みにより矩形領域のエッジ部分は、ぼやけたみにくい画像となってしまう。ただし、奥行き情報に関しては、例えば図２に示す画像４０に対しての奥行き情報と、ＯＳＤ４４についての奥行き情報とが独立して存在している。しかし、第２視差画像生成部１８による視差画像の生成は、ＯＳＤの画像４４に対してはＯＳＤ用の奥行き情報を使用するため、背景４２には歪みを発生することはない。
【００１８】
本実施形態では、上記歪みによるＯＳＤの画像を示す領域のエッジ部分にぼやけた見にくい画像が生じるのを防止するために、第２多視差画像生成部１８によって生成された、ＯＳＤの多視差画像を、第１多視差画像生成部１６によって生成された多視差画像に合成する際に、ブレンド情報αを用いて合成する。
【００１９】
この合成は、合成回路１９において行われる。ブレンド情報αを用いて、ＯＳＤを示す領域４４の視差画像と背景４２とを単純にブレンドすると、ブレンド情報αは、図５に示すＯＳＤ描画部４で描画または設定された元のＯＳＤの画像を示す領域における値と、図４（ａ）、４（ｂ）に示す視差画像のＯＳＤの領域における値とは、異なっている。このため、図６（ａ）に示すように、ＯＳＤの画像４４が無い部分まで背景４２が置き換えられてしまうことによる黒い部分が生じたり、図６（ｂ）に示すように、ＯＳＤの画像４４自体が欠けてしまう現象が起こる。
【００２０】
そこで、本実施形態では、ＯＳＤの画像の奥行き情報に関しては、背景よりも手前となる領域、すなわち奥行き情報として大きな値を有する領域５０として、図４（ａ）、４（ｂ）に示すＯＳＤの画像４４よりも、図７に示すように、画面において左右方向（画面の水平方向）に広げた範囲に取る。これは例えば、奥行き情報のデータ（値）を左方向にずらしたデータと、右方向にずらしたデータの、それぞれの最大値を取ることで、左右方向に広げた範囲をとった奥行き情報が実現できる。また、当該左右方向に広げた奥行き情報を示すデータ（値）が、ＯＳＤ描画部４に予め設定されていてもよい。当該データは例えば、ＯＳＤデータ作成時に設定される。これにより、奥行き情報の値の変化点５２は、ＯＳＤの画像におけるブレンド情報αが０、つまり画像が透明となる部分に位置する。なお、図７において、領域５４は、画面におけるブレンド情報αが０である領域を示している。したがって、領域５０として、ＯＳＤの画像４４よりも画面において左右方向に広げた範囲に取ることは、ＯＳＤの画像のブレンド情報αが０となる領域を、画面の左右方向に広げることを意味し、更に、ＯＳＤの奥行き情報に基づいて、ＯＳＤの画像のブレンド情報αが修正または変更されることを意味する。
【００２１】
したがって、第２多視差画像生成部１８においては、上記ＯＳＤの奥行き情報に基づいて、多視差画像が生成されるが、このとき、各視差画像において、上記奥行き情報に基づいて左右方向に移動された（ずらされた）ＯＳＤの画像の領域に、ＯＳＤの奥行き情報に基づいてブレンド情報αが修正または変更される。例えば、第２多視差画像生成部１８において、左目用の視差画像および右目用の視差画像を生成した場合の、ＯＳＤの奥行き情報に基づいた修正または変更されたブレンド情報αを、図８（ａ）、８（ｂ）にそれぞれ示す。なお、図８（ａ）、８（ｂ）において、符号５６はブレンド値αが０でない領域を示し、符号５８は、修正または変更されたブレンド情報αが０となる領域と０でない領域の境界を示す。
【００２２】
このように、本実施形態においては、多視差画像を生成する際の画像の変形が適用されるのは画像が透明の部分、すなわちブレンド情報αが０となる領域となり、ＯＳＤの画像４４を示す矩形領域が変形することは無い。
【００２３】
合成回路１９においては、第２多視差画像生成部１８においてＯＳＤの奥行き情報に基づいて修正または変更されたブレンド情報αを用いて、第１多視差画像生成部１６によって生成された多視差画像と、第２多視差画像生成部１８によって生成されたＯＳＤに関する多視差画像とを合成し、合成された多視差画像を生成する。その合成は、各多視差画像の各画素に対して、以下の式を用いて行われる。
【数１】
2012114766.tif 000003
ここで、ＭをＯＳＤの奥行き情報に基づいて修正または変更されたブレンド情報αの最大値、Ａを第１多視差画像生成部１６によって生成された多視差画像における画素の画素値（輝度値）、Ｂを第１多視差画像生成部１６によって生成された多視差画像における画素の画素値、Ｃを合成回路１９において合成された多視差画像における画素の画素値である。例えば、ブレンド情報αがｎビットで表現される場合には、Ｍ＝２ｎ−１となる。
【００２４】
このようにして合成された多視差画像は、合成回路１９において、立体画像表示用の画像に並び替えられ、表示パネル２０に送られて表示される。表示パネル２０に表示された、立体画像表示用の画像は、矩形領域４４のエッジ部分は元の画像のきれいなエッジが保たれたままとなり、欠けたりすることもなく、不要な色が付くこともないＯＳＤのブレンドが実現された画像となる。例えば、本実施形態において、左目用として合成された視差画像を図９（ａ）に示し、右目用として合成された視差画像を図９（ｂ）に示す。図９（ａ）、９（ｂ）からわかるように、ＯＳＤについても自然できれいな立体画像を生成することができる。
【００２５】
次に、本実施形態における、画像データとＯＳＤデータの伝送方法について、図１０乃至図１３を参照して説明する。図１０は、図１に示す本実施形態における回路インタフェース１２の一具体例の構成を示す図である。この具体例の回路インタフェース１２は、多重部１２Ａと、分離部１２Ｂとを備えている。多重部１２Ａは、書き込み制御回路１２Ａ１と、フレームメモリ１２Ａ２と、読み出し制御回路１２Ａ３と、を有している。また、分離部１２Ｂは、書き込み制御回路１２Ｂ１と、フレームメモリ１２Ｂ２と、読み出し制御回路１２Ｂ３と、を有している。
【００２６】
書き込み制御回路１２Ａ１は、画像信号処理部２から送られてくる画像信号と、ＯＳＤ描画部４において描画または設定されたＯＳＤの画像信号とを受信し、それぞれの画像信号をフレームメモリ１２Ａ２の所定の領域にフレーム毎に書き込む。画像信号処理部２から送られてくる画像信号には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値を含まれているので、これらのＲ、Ｇ、Ｂの信号値からなるフレームがフレームメモリ１２Ａ２の所定の領域に書き込まれる。また、画像信号処理部２から送られてくる画像信号に、各画素に対する奥行き情報が含まれている場合には、この奥行き情報に関するフレームがフレームメモリ１２Ａ２の所定の領域に書き込まれる。
【００２７】
また、ＯＳＤ描画部４から送られてくるＯＳＤの画像信号には、Ｒ、Ｇ、Ｂの信号値の他に、ブレンド情報αと、奥行き情報とが含まれている。このため、ＯＳＤの画像信号に関しては、Ｒ、Ｇ、Ｂの信号値、ブレンド情報α、および奥行き情報に関するフレームがフレームメモリ１２Ａ２の所定の領域に書き込まれる。なお、後述するように、ＯＳＤのブレンド情報αは、ＯＳＤのＲ、Ｇ、Ｂの信号値とともに、１フレームを構成してもよいし、奥行き情報とともに１フレームを構成してもよい。
【００２８】
フレームメモリ１２Ａ２に書き込まれた画像信号は、読み出し制御回路１２Ａ３によって、フレーム毎に順次読み出され、分離部１２Ｂの書き込む制御回路１２Ｂ１に送られる。この書き込み制御回路１２Ｂ１は、入力されたフレーム毎の画像信号をフレームメモリ１２Ｂ２の所定領域に書き込む。フレームメモリ１２Ｂ２に書き込まれた画像信号は、読み出し制御回路１２Ｂ３によって、フレーム毎に順次読み出され、第１多視差画像生成部１６または第２多視差画像生成部１８に送られる。
【００２９】
回路インタフェース１２において、ＨＤＭＩ（High-Definition Multimedia Interface)規格が用いられる場合には、Ｒ、Ｇ、Ｂの３つの信号値の伝送が可能である。このため、図１１に示すように、画像信号処理部２からの画像信号が奥行き情報を含む画像信号、例えば、３次元画像信号である場合には、この画像信号に関するＲ、Ｇ、Ｂの信号値からなるフレーク５１と、この画像信号に関する奥行き情報からなるフレーム５２と、ＯＳＤの画像に関するＲ、Ｇ、Ｂの信号値からなるフレーク５３と、ＯＳＤの画像の奥行き情報およびブレンド情報αからなるフレーム５４とにそれぞれ分けられる。画像信号をこれらのフレームに分ける処理は、書き込み制御回路１２Ａ１によって行われ、それぞれのフレーム５１、５２、５３、５４はそれぞれ、フレームメモリ１２Ａ２の所定の領域に書き込まれる。これにより、フレーム数を増やすことなく伝送を行うことができる。なお、図１１において、符号６１は水平ブランキング期間を示し、符号６３は水平走査期間を示し、符号７０は一画像走査期間を示し、符号７１は垂直ブランキング期間を示し、符号７３は垂直走査期間を示す。
【００３０】
なお、画像信号処理部２からの画像信号に奥行き情報を情報が含まれない画像信号、例えば２次元画像信号である場合には、図１２に示すように、この画像信号に関するＲ、Ｇ、Ｂの信号値からなるフレーク５１と、ＯＳＤの画像に関するブレンド情報αからなるフレーム５５と、ＯＳＤの画像に関するＲ、Ｇ、Ｂの信号値からなるフレーク５３と、ＯＳＤの画像の奥行き情報からなるフレーム５６とにそれぞれ分けられてもよい。この場合もフレーム数を増やすことなく伝送を行うことができる。
【００３１】
これに対して、回路インタフェース１２において、ＬＶＤＳ（Low Voltage Differential Signaling)が用いられる場合には、３５ビットデータが伝送できるので、Ｒ、Ｇ、Ｂの３信号値とブレンド情報αを各８ビット、合計３２ビットで伝送してもよい。この場合、図１３に示すように、画像信号処理部２からの画像信号に関するＲ、Ｇ、Ｂの信号値からなるフレーク５１と、この画像信号に関する奥行き情報からなるフレーム５２と、ＯＳＤの画像に関するＲ、Ｇ、Ｂの信号値およびブレンド情報αからなるフレーク５７と、ＯＳＤの画像の奥行き情報からなるフレーム５６とにそれぞれ分けられる。この場合も、フレーム数を増やすことなく、従来の伝送路の形式を変更せずに伝送することができる。
【００３２】
以上説明したように、本実施形態によれば、多視差画像にＯＳＤを重ねた表示を可能にすることができる。
【００３３】
また、本実施形態の視差画像変換装置１０は、映像記録再生装置、例えばＤＶＤプレイヤー等に用いることができる。
【００３４】
なお、本実施形態の視差画像変換装置は、表示パネル２０を含んでいてもよい。また、画像信号処理部２およびＯＳＤ描画部４の少なくとも一方を含んでいてもよい。
【００３５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００３６】
２  画像信号処理部
４  ＯＳＤ描画部
１０  視差画像変換装置
１２  回路インタフェース
１４  奥行き情報生成部
１６  第１多視差画像生成部
１８  第２多視差画像生成部
１９  合成部
２０  表示パネル
【図１】
2012114766.tif 000004
【図１０】
2012114766.tif 000005
【図１１】
2012114766.tif 000006
【図１２】
2012114766.tif 000007
【図１３】
2012114766.tif 000008
【図２】
2012114766.tif 000009
【図３】
2012114766.tif 000010
【図４】
2012114766.tif 000011
【図５】
2012114766.tif 000012
【図６】
2012114766.tif 000013
【図７】
2012114766.tif 000014
【図８】
2012114766.tif 000015
【図９】
2012114766.tif 000016
【手続補正書】
【提出日】平成23年9月27日(2011.9.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１画像信号に関する第１多視差画像を生成する第１多視差画像生成部と、
ＯＳＤの画像に関する、第２画像信号、奥行き情報、およびブレンド情報を受信し、前記ブレンド情報を前記奥行き情報に基づいて変更し、前記第２画像信号と、前記奥行き情報とに基づいて、前記ＯＳＤの画像に関する第２多視差画像を生成する第２多視差画像生成部と、
前記変更されたブレンド情報を用いて、前記第１多視差画像と前記第２多視差画像を合成する合成部と、
を備えていることを特徴とする視差画像変換装置。
【請求項２】
前記変更されたブレンド情報が０となる領域は、前記ＯＳＤの画像の変更前のブレンド情報αが０となる領域を、画面の水平方向に移動させることにより得られることを特徴とする請求項１記載の視差画像変換装置。
【請求項３】
前記第１画像信号から前記第１画像信号に関する奥行き情報を生成する奥行き情報生成部を更に備え、
前記第１多視差画像生成部は、前記第１画像信号に奥行き情報が含まれていない場合に、前記奥行き情報生成部によって生成された奥行き情報を用いて前記第１多視差画像を生成することを特徴とする請求項１または２記載の視差画像変換装置。
【請求項４】
前記第１多視差画像生成部は、前記第１画像信号に奥行き情報が含まれている場合に、前記第１画像信号に含まれている前記奥行き情報を用いて前記第１多視差画像を生成することを特徴とする請求項１または２記載の視差画像変換装置。
【請求項５】
前記第１画像信号、前記第２画像信号、前記ＯＳＤに関する奥行き情報、および前記ＯＳＤに関するブレンド情報を受信し、前記第１画像信号を前記第１多視差画像生成部に送り、前記第２画像信号、前記ＯＳＤに関する奥行き情報、および前記ＯＳＤに関するブレンド情報を前記第２多視差画像生成部に送る回路インタフェースを更に備えていることを特徴とする請求項１乃至４のいずれかに記載の視差画像変換装置。
【請求項６】
前記第１画像信号が奥行き情報を含んでいる場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記第１画像信号の奥行き情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値に関する第３フレームと、前記ＯＳＤの画像の奥行き情報およびブレンド情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項５記載の視差画像変換装置。
【請求項７】
前記第１画像信号が奥行き情報を含んでいる場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記第１画像信号の奥行き情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値およびブレンド情報に関する第３フレームと、前記ＯＳＤの画像の奥行き情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項５記載の視差画像変換装置。
【請求項８】
前記第１画像信号が奥行き情報を含んでいない場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記ＯＳＤの画像のブレンド情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値に関する第３フレームと、前記ＯＳＤの画像の奥行き情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項５記載の視差画像変換装置。
【請求項９】
前記合成部によって合成された画像を表示する表示パネルを更に備えていることを特徴とする請求項１乃至８のいずれかに記載の視差画像変換装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
画像信号処理部２で受信される画像信号は、放送またはネットワークを介して入力される、符号化された２次元画像信号であるかまたは符号化された多視差画像信号である。画像信号処理部２では、これらの符号化された、２次元画像信号または多視差画像信号を復号化し、復号化された２次元画像信号または多視差画像信号を生成する。復号化された２次元画像信号にＯＳＤを単に重ねて合成し、表示パネル２０に表示すると、例えば図２に示すようになる。図２において、符号４４で示す「ＣＨ  １３１」がＯＳＤを表す。このＯＳＤ４４は、図２において、チャネル番号を示している。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
奥行き情報生成部１４は、復号化された２次元画像信号または多視差画像信号を解析し、画像の奥行き情報（デプス情報）を生成する。例えば、図２に示す２次元画像から物体（例えば「猫」）４０の奥行き情報を生成する。この奥行き情報の生成は、周知の方法を用いて行う。この方法は、例えば、図２に示す背景領域４２と、それ以外の領域の像４０の信号に分離し、２次元画像の動きベクトルと、上記背景領域４２の動きベクトルから、背景領域４２の代表動きベクトルを算出し、上記２次元画像の動きベクトルから上記代表動きベクトルを減算することで相対動きベクトルを算出し、この相対動きベクトルを用いて、図３に示すように２次元画像信号の画像４０の奥行き情報を生成する。なお、奥行き情報は、手前にあると示されている物体（例えば図２に示す物体４０）のほうが、奥にあるとされる物体（例えば、図２示す背景４２）よりも大きな値となる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
そこで、本実施形態では、ＯＳＤの画像の奥行き情報に関しては、背景よりも手前となる領域、すなわち奥行き情報として大きな値を有する領域５０として、図４（ａ）、４（ｂ）に示すＯＳＤの画像４４よりも、図７に示すように、画面において左右方向（画面の水平方向）に広げた範囲に取る。これは例えば、奥行き情報のデータ（値）を左方向にずらしたデータと、右方向にずらしたデータの、それぞれの最大値を取ることで、左右方向に広げた範囲をとった奥行き情報が実現できる。また、当該左右方向に広げた奥行き情報を示すデータ（値）が、ＯＳＤ描画部４に予め設定されていてもよい。当該データは例えば、ＯＳＤデータ作成時に設定される。これにより、奥行き情報の値の変化点５２は、ＯＳＤの画像におけるブレンド情報αが０、つまり画像が透明となる部分に位置する。なお、図７において、領域５４は、画面における奥行き情報が領域５０よりも小さい領域を示している。したがって、領域５０として、ＯＳＤの画像４４よりも画面において左右方向に広げた範囲に取ることは、ＯＳＤの画像のブレンド情報αが０となる領域に領域５０を広げることを意味し、更に、ＯＳＤの奥行き情報に基づいて、ＯＳＤの画像のブレンド情報αが修正または変更されることを意味する。
【手続補正書】
【提出日】平成24年2月22日(2012.2.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１画像信号に関する第１多視差画像を生成する第１多視差画像生成部と、
ＯＳＤの画像に関する、第２画像信号、奥行き情報、およびブレンド情報を受信し、前記ブレンド情報を前記奥行き情報に基づいて変更し、前記第２画像信号と、前記奥行き情報とに基づいて、前記ＯＳＤの画像に関する第２多視差画像を生成する第２多視差画像生成部と、
前記変更されたブレンド情報を用いて、前記第１多視差画像と前記第２多視差画像を合成する合成部であって、前記第１多視差画像と前記第２多視差画像を合成する際に、前記ＯＳＤの画像の変更前のブレンド情報αが０となる領域を画面の水平方向に移動させることにより前記変更されたブレンド情報が０となる領域を得る合成回路と、
を備えていることを特徴とする視差画像変換装置。
【請求項２】
前記第１画像信号から前記第１画像信号に関する奥行き情報を生成する奥行き情報生成部を更に備え、
前記第１多視差画像生成部は、前記第１画像信号に奥行き情報が含まれていない場合に、前記奥行き情報生成部によって生成された奥行き情報を用いて前記第１多視差画像を生成することを特徴とする請求項１記載の視差画像変換装置。
【請求項３】
前記第１多視差画像生成部は、前記第１画像信号に奥行き情報が含まれている場合に、前記第１画像信号に含まれている前記奥行き情報を用いて前記第１多視差画像を生成することを特徴とする請求項１記載の視差画像変換装置。
【請求項４】
前記第１画像信号、前記第２画像信号、前記ＯＳＤに関する奥行き情報、および前記ＯＳＤに関するブレンド情報を受信し、前記第１画像信号を前記第１多視差画像生成部に送り、前記第２画像信号、前記ＯＳＤに関する奥行き情報、および前記ＯＳＤに関するブレンド情報を前記第２多視差画像生成部に送る回路インタフェースを更に備えていることを特徴とする請求項１乃至３のいずれかに記載の視差画像変換装置。
【請求項５】
前記第１画像信号が奥行き情報を含んでいる場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記第１画像信号の奥行き情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値に関する第３フレームと、前記ＯＳＤの画像の奥行き情報およびブレンド情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項４記載の視差画像変換装置。
【請求項６】
前記第１画像信号が奥行き情報を含んでいる場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記第１画像信号の奥行き情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値およびブレンド情報に関する第３フレームと、前記ＯＳＤの画像の奥行き情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項４記載の視差画像変換装置。
【請求項７】
前記第１画像信号が奥行き情報を含んでいない場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記ＯＳＤの画像のブレンド情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値に関する第３フレームと、前記ＯＳＤの画像の奥行き情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項４記載の視差画像変換装置。
【請求項８】
前記合成部によって合成された画像を表示する表示パネルを更に備えていることを特徴とする請求項１乃至７のいずれかに記載の視差画像変換装置。