(57)【要約】【課題】立体視感を損なうことなく、視差映像相互間のクロストークによって立体視感の強い表示部分で発生する映像の多重像化を抑制することを可能とし、十分に実用に適し得るようにした立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラムを提供すること。【解決手段】実施の形態によれば、立体視映像処理装置は、取得手段と変換手段と処理手段とを備える。取得手段は、立体視映像表示用の複数の視差映像を取得する。変換手段は、取得手段で取得された複数の視差映像から立体視映像の奥行き毎の空間周波数を得る。処理手段は、変換手段で得られた各空間周波数に対してフィルタリング処理を行なう。【選択図】    図２
2015039059.tif 000002
【特許請求の範囲】
【請求項１】
立体視映像表示用の複数の視差映像を取得する取得手段と、
前記取得手段で取得された複数の視差映像から立体視映像の奥行き毎の空間周波数を得る変換手段と、
前記変換手段で得られた各空間周波数に対してフィルタリング処理を行なう処理手段とを具備する立体視映像処理装置。
【請求項２】
前記処理手段は、前記変換手段で得られた各空間周波数のうち、立体視感の強い映像部分に対応する空間周波数を高域制限するようにフィルタリング処理を行なう請求項１記載の立体視映像処理装置。
【請求項３】
前記変換手段は、前記取得手段で取得された複数の視差映像を実空間から光線空間に変換し、その変換された光線空間データをフーリエ変換することにより、立体視映像の奥行き毎に分離された空間周波数を得る請求項１記載の立体視映像処理装置。
【請求項４】
前記変換手段は、前記取得手段で取得された複数の視差映像を実空間から光線空間に変換する請求項１記載の立体視映像処理装置。
【請求項５】
前記処理手段は、前記変換手段で得られた各空間周波数のうち、立体視映像として飛び出し量または奥行き量の大きい映像部分に対応する空間周波数に対して、周波数空間上のフィルタを用いて高域制限するようにフィルタリング処理を行なう請求項３記載の立体視映像処理装置。
【請求項６】
前記処理手段によってフィルタリング処理された各空間周波数に逆フーリエ変換処理を行なって光線空間データを得、その光線空間データを視差映像に展開する立体視映像処理手段を具備する請求項５記載の立体視映像処理装置。
【請求項７】
前記処理手段は、前記変換手段で得られた光線空間データに対し、光線空間上のフィルタを用いて畳込み処理することにより、立体視映像として飛び出し量または奥行き量の大きい映像部分を制限するようにフィルタリング処理を行なう請求項４記載の立体視映像処理装置。
【請求項８】
前記処理手段によってフィルタリング処理された光線空間データを視差映像に展開する立体視映像処理手段を具備する請求項７記載の立体視映像処理装置。
【請求項９】
前記処理手段によってフィルタリング処理された光線空間データを視差映像に展開し、入力されたそれぞれの視差映像との差分量の大きさに応じて視差方向のない方向に空間周波数の抑制処理を施す立体視映像処理手段を具備する請求項７記載の立体視映像処理装置。
【請求項１０】
前記処理手段によってフィルタリング処理された光線空間データを１方向の視差映像に展開する映像処理手段を具備する請求項７記載の立体視映像処理装置。
【請求項１１】
立体視映像表示用の複数の視差映像を取得する工程と、
取得した複数の視差映像から立体視映像の奥行き毎の空間周波数を得る工程と、
得られた各空間周波数に対してフィルタリング処理を行なう工程とを有する立体視映像処理方法。
【請求項１２】
立体視映像表示用の複数の視差映像を取得する処理と、
取得した複数の視差映像から立体視映像の奥行き毎の空間周波数を得る処理と、
得られた各空間周波数に対してフィルタリング処理を行なう処理とを、
コンピュータに実行させる立体視映像処理用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明の実施の形態は、立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラムに関する。
【背景技術】
【０００２】
周知のように、平面的な映像表示画面を用いてユーザに立体感のある映像を認識させる立体視映像処理技術の開発が進められている。この立体視映像処理技術は、相互に視差を有する複数種類の映像を用意し、ユーザの右目及び左目にそれぞれ対応する映像を視認させることにより立体視を行なうものである。
【０００３】
ところで、時分割眼鏡式立体視表示装置では、映像表示パネルの入力映像信号に対する出力映像の応答特性によっては、次のフレームの映像表示期間になっても、その直前のフレームの表示映像が残ってしまうことにより、現在表示すべきフレームの映像にその直前のフレームの映像が重畳されて表示される、いわゆる３次元クロストークが生じることになる。また、同様に、偏向フィルタ方式や裸眼方式においても、少なからず視差間のクロストークが生じることが知られている。
【０００４】
そして、この３次元クロストークでは、立体視感を強く感じられる表示部分、つまり、映像表示パネル面を基準にしてユーザ側への飛び出し量が大きい表示部分ほど、または、映像表示パネル面よりも奥行き量が深い表示部分ほど、映像表示されている対象物が多重像化されて視認されることになる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８３２４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
立体視感を損なうことなく、視差映像相互間のクロストークによって立体視感の強い表示部分で発生する映像の多重像化を抑制することを可能とし、十分に実用に適し得るようにした立体視映像処理装置、立体視映像処理方法及び立体視映像処理用プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施の形態によれば、立体視映像処理装置は、取得手段と変換手段と処理手段とを備える。取得手段は、立体視映像表示用の複数の視差映像を取得する。変換手段は、取得手段で取得された複数の視差映像から立体視映像の奥行き毎の空間周波数を得る。処理手段は、変換手段で得られた各空間周波数に対してフィルタリング処理を行なう。
【図面の簡単な説明】
【０００８】
【図１】実施の形態におけるデジタルテレビジョン放送受信装置の信号処理系の一例を説明するために示すブロック構成図。
【図２】同実施の形態におけるデジタルテレビジョン放送受信装置の映像処理部に設けられた抑制処理部の一例を説明するために示すブロック構成図。
【図３】視差映像を光線空間データに変換する基本概念を示すもので、カメラと座標系との位置関係の一例を説明するために示す図。
【図４】視差映像と光線空間との対応関係を説明するために示す図。
【図５】視差映像と簡易的な光線空間との対応関係を説明するために示す図。
【図６】実空間と光線空間とを対応させて説明するために示す図。
【図７】同実施の形態における抑制処理部が行なう視差映像を光線空間データに変換する処理動作の一例を説明するために示す図。
【図８】同実施の形態における抑制処理部が行なう光線空間データにフィルタリング処理を行なう処理動作の一例を説明するために示す図。
【図９】同実施の形態における抑制処理部が行なう光線空間データにフィルタリング処理を行なう処理動作の他の例を説明するために示す図。
【図１０】同実施の形態における抑制処理部が行なう主要な処理動作の一例を説明するために示す図。
【図１１】同実施の形態における抑制処理部が行なう主要な処理動作の一例を説明するために示すフローチャート。
【図１２】同実施の形態におけるデジタルテレビジョン放送受信装置の制御部が行なう処理動作の一例を説明するために示すフローチャート。
【発明を実施するための最良の形態】
【０００９】
以下、実施の形態について図面を参照して詳細に説明する。図１は、この実施の形態で説明するデジタルテレビジョン放送受信装置１１の信号処理系を概略的に示している。なお、このデジタルテレビジョン放送受信装置１１は、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけでなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。
【００１０】
すなわち、アンテナ１２で受信したデジタルテレビジョン放送信号は、入力端子１３を介してチューナ部１４に供給されることにより、所望のチャンネルの放送信号が選局される。そして、このチューナ部１４で選局された放送信号は、復調復号部１５に供給されてデジタルの映像信号及び音声信号等に復元された後、信号処理部１６に出力される。
【００１１】
この信号処理部１６は、復調復号部１５から供給されたデジタルの映像信号及び音声信号に対してそれぞれ所定のデジタル信号処理を施している。この信号処理部１６が行なう所定のデジタル信号処理には、通常の平面視（２次元）表示用の映像信号を立体視（３次元）表示用の映像信号に変換する処理や、立体視表示用の映像信号を平面視表示用の映像信号に変換する処理等も含まれている。
【００１２】
そして、この信号処理部１６は、デジタルの映像信号を合成処理部１７に出力し、デジタルの音声信号を音声処理部１８に出力している。このうち、合成処理部１７は、信号処理部１６から供給されるデジタルの映像信号に、ＯＳＤ（on screen display）信号を重畳して出力している。そして、合成処理部１７から出力されたデジタルの映像信号は、映像処理部１９に供給される。
【００１３】
この映像処理部１９は、入力されたデジタルの映像信号を、後段の、例えば液晶表示パネル等を有する平面型の映像表示部２０で表示可能なフォーマットに変換している。そして、この映像処理部１９から出力された表示映像信号が、映像表示部２０に供給されて映像表示に供される。
【００１４】
また、この映像処理部１９は、合成処理部１７から供給される映像信号が立体視（３次元）表示用の映像信号である場合、その視差映像相互間のクロストークによって発生する立体視映像の多重像化を目立たなくするための多重像化抑制処理を施している。この多重像化抑制処理は、詳細は後述するが、映像表示部２０の映像表示パネル面を基準にして、ユーザ側への飛び出し量が大きい表示部分ほど、または、映像表示パネル面よりも奥行き量が深い表示部分ほど、局所的に映像をぼかすことによって実現される。
【００１５】
さらに、上記音声処理部１８は、入力されたデジタルの音声信号を、後段のスピーカ２１で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２１に供給されることにより音声再生に供される。
【００１６】
ここで、このデジタルテレビジョン放送受信装置１１は、上記した各種の受信動作を含むその全ての動作を制御部２２によって統括的に制御されている。この制御部２２は、ＣＰＵ（central processing unit）２２ａを内蔵しており、デジタルテレビジョン放送受信装置１１の本体に設置された操作部２３からの操作情報を受けて、または、リモートコントローラ２４から送出され受信部２５で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
【００１７】
この場合、制御部２２は、メモリ部２２ｂを利用している。このメモリ部２２ｂは、主として、ＣＰＵ２２ａが実行する制御プログラムを格納したＲＯＭ（read only memory）と、該ＣＰＵ２２ａに作業エリアを提供するためのＲＡＭ（random access memory）と、各種の設定情報及び制御情報等が格納される不揮発性メモリとを有している。
【００１８】
また、この制御部２２には、ＨＤＤ（hard disk drive）２６が接続されている。この制御部２２は、ユーザによる操作部２３やリモートコントローラ２４の操作に基づいて、上記復調復号部１５から得られるデジタルの映像信号及び音声信号を、記録再生処理部２７によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ２６に供給してハードディスク２６ａに記録させるように制御することができる。
【００１９】
さらに、この制御部２２は、ユーザによる操作部２３やリモートコントローラ２４の操作に基づいて、ＨＤＤ２６によりハードディスク２６ａからデジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部２７によって復号化した後、信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００２０】
また、上記デジタルテレビジョン放送受信装置１１には、入力端子２８が接続されている。この入力端子２８は、デジタルテレビジョン放送受信装置１１の外部からデジタルの映像信号及び音声信号を直接入力するためのものである。この入力端子２８を介して入力されたデジタルの映像信号及び音声信号は、制御部２２の制御に基づいて、記録再生処理部２７を介した後、信号処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。
【００２１】
さらに、この入力端子２８を介して入力されたデジタルの映像信号及び音声信号は、制御部２２の制御に基づいて、記録再生処理部２７を介した後、ＨＤＤ２６によるハードディスク２６ａに対しての記録再生に供される。
【００２２】
また、上記制御部２２には、ネットワークインターフェース２９が接続されている。このネットワークインターフェース２９は、入出力端子３０を介して外部のネットワーク３１に接続されている。そして、このネットワーク３１には、当該ネットワーク３１を介した通信機能を利用して各種のサービスを提供するためのネットワークサーバ３２が接続されている。
【００２３】
このため、制御部２２は、ユーザによる操作部２３やリモートコントローラ２４の操作に基づき、ネットワークインターフェース２９、入出力端子３０及びネットワーク３１を介して、ネットワークサーバ３２にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。
【００２４】
図２は、上記した映像処理部１９において多重像化抑制処理を施すための抑制処理部３３の一例を示している。この場合、抑制処理部３３は、左目用の映像信号が入力される入力端子３３ａと右目用の映像信号が入力される入力端子３３ｂとを有する、２視差タイプのものとして説明する。これらの入力端子３３ａ，３３ｂにそれぞれ供給された左目用及び右目用の各映像信号は、光線空間データ保持部３３ｃに供給される。
【００２５】
この光線空間データ保持部３３ｃは、入力された左目用及び右目用の各映像信号を、光線空間データに変換し保持している。この光線空間データとは、入力された左目用及び右目用の各映像信号に基づいて表示される立体視映像を、視差方向の角度（撮影された角度）と視差方向の空間座標（通常水平座標）とを直交させた座標系に対応する映像を配置したデータ形式である。このデータ形式で表わした場合、後述する原理に基づいて画素の奥行き値を表わす傾きを持った直線の集合となる映像データとなる。そして、この光線空間データ保持部３３ｃに保持された光線空間データは、フィルタ処理部３３ｄに出力される。
【００２６】
このフィルタ処理部３３ｄは、光線空間データ保持部３３ｃによって出力された光線空間データに対し、傾き毎の各空間周波数に対しそれぞれ独立したフィルタリング処理を施している。これは、空間周波数の傾きが奥行きに対応するため、立体視映像の奥行き毎に分離した各空間周波数に対して、それぞれ独立したフィルタリング処理を施していることといえる。すなわち、このフィルタリング処理は、映像表示部２０の映像表示パネル面を基準にして、ユーザ側への飛び出し量が大きい表示部分に対応する空間周波数ほど、または、映像表示パネル面よりも奥行き量が深い表示部分に対応する空間周波数ほど抑制して、表示映像をぼかすように設定される。
【００２７】
そして、このフィルタ処理部３３ｄで空間周波数毎にフィルタリング処理の施された光線空間データは、立体視映像処理部３３ｅに供給されて、左目用に映像信号と右目用に映像信号とに変換される。その後、フィルタ処理部３３ｄから出力された左目用及び右目用の映像信号は、出力端子３３ｆ，３３ｇから出力されて、映像表示部２０での立体視映像表示に供される。
【００２８】
上記した実施の形態によれば、左目用及び右目用の各映像信号を、立体視映像の奥行き毎に空間周波数に分離可能とした光線空間データに変換し、各空間周波数に対して、飛び出し量が大きい部分ほど、または、奥行き量が深い部分ほど、表示映像をぼかすようにフィルタリング処理を施すようにしている。このため、立体視感を損なうことなく、視差映像相互間のクロストークによって発生する立体視映像の多重像化を目立たなくすることが可能となる。また、余計なzバッファを介することなく、ぼけの前後関係を正しく再現することが可能となる。
【００２９】
図３乃至図６は、２台のカメラ３４，３５を用いて撮影した視差映像を、光線空間データに変換する基本概念を示している。図３は、座標系とカメラ３４，３５の位置関係とを示している。各カメラ３４，３５には、それぞれ、レンズ３４ａ，３５ａと、ＣＭＯＳ（complementary metal-oxide semiconductor）センサ等でなる撮像素子３４ｂ，３５ｂとが備えられている。
【００３０】
撮影面（想定される結像位置）を基準面３６とし、２台のカメラ３４，３５のレンズ３４ａ，３５ａの中心によって決定される平面と、基準面３６との交線の一端（各カメラ３４，３５によって撮像される共通部分の端）を原点３７とする座標系を定義する。この座標系は、原点３７から上記交線方向に延びる座標軸をＸ軸とし、基準面３６の法線をＺ軸（基準軸）とし、これらのＸ軸及びＺ軸に直交する軸をＹ軸としたとき、この基準軸に対する、レンズ３４ａ，３５ａの中心を通る光線の傾き角θを視差角度として定義する。
【００３１】
例えば、図３においては、カメラ３５における撮像素子３５ｂの画素Ｐは、その画素Ｐとカメラ３５のレンズ３５ａの中心とを通る視差角度θの光線が、基準面３６と交差する点のＸ座標に対応する。すなわち、カメラ３５における撮像素子３５ｂの画素Ｐと、カメラ３５のレンズ３５ａの中心とを通る光線は、視差角度θと、上記Ｘ座標とを与えることによって決定されることになる。
【００３２】
横軸に上記Ｘ座標をとり、縦軸にtanθをとり、上記横軸及び縦軸と直交する軸（実空間のＹ軸）で定義される空間を光線空間と称する。このため、光線空間の点は、基準面３６の点（Ｘ座標、Ｙ座標）と、レンズ（３４ａまたは３５ａ）の中心とを通り、視差角度θを有する、実空間の１本の光線を表わしている。この光線空間に、画素値（ＲＧＢ等の輝度情報と色度情報とを持った値）を配置したものを、光線空間映像と称する。この光線空間映像のそれぞれのカメラ３４，３５の画素は、エピポーラ線上の画素に対応しており、このエピポーラ線がステレオマッチング等に用いる対応点の検索範囲を示している。
【００３３】
図４は、図３に示した２台のカメラ３４，３５で撮影したときの取得映像と光線空間との対応を示している。図４において、直線ｇａ，ｇｂは、それぞれカメラ３４，３５で取得した場合の取得映像を光線空間で表示した一例を示している。図３に示すように、水平同一面にカメラ３４，３５を設置している場合は、図４に示す取得画像ｇａ，ｇｂは、同じＹ座標の映像を並べることになる。
【００３４】
次に、簡易的に光線空間対応について説明する。正確な角度データ（すなわち、視差角度θ）でなくても、奥行き頻度の抽出には影響が少ない。カメラ３４，３５間のパースが等しく設定されているとき、シフト量が等しくなる。このため、画素の並びだけで視差方向と位置で並べる簡易的なデータ変換方法を用いることもできる。
【００３５】
図５は、簡易的な光線空間を示している。ここでは、横軸座標を位置に対応する軸「ｉ」とし、縦軸を角度に対応する軸「ｊ」として示している。実空間はメインカメラ（３４または３５）の画素アドレスに対応しており、同様に「ｉ」の軸はメインカメラ（３４または３５）の画素アドレスとして与えることができる。この簡易的な光線空間は、カメラ３４，３５のパースペクティブを等しいと仮定し、その角度ずれを無視して扱うことによって、カメラ３４，３５間の距離によって視差角度として扱うことができる。このように配列されたデータは、光線空間と対応がとれている。また、コンピュータ等で演算するときに相性が良く効率が良い。
【００３６】
次に、奥行きのある物体を異なる角度から観察すると、対応する画素位置が移動する。図６（ａ）は実空間を示し、図６（ｂ）は光線空間を示している。例えば、図６（ａ）の点Ｑ（Ｘｑ，Ｚｑ）から四方八方に出る光線は、基準面３６のさまざまな点を通る直線として表わすことができ、図６（ｂ）の光線空間上では、この直線の変化は次のような関数として表わすことができる。
【００３７】
tanθ＝（Ｘ−Ｘｑ）／Ｚｑ
この関数は、異なる観察角度で画素の位置が移動していくことを表わしている。すなわち、図６（ｂ）に示すように、画素の位置の移動は、光線空間上において光線空間上に傾きを持った線として表わすことができる。これは、上式からもわかる。この角度毎の移動量は直線の傾きであり、奥行きに対応している。光線空間映像においても、それぞれの点に対し奥行きに対応した同じ画素値を持った直線を得ることができる。また。簡易的な光線空間配列に対しても、同様の直線（ベクトル）を定義することができる。
【００３８】
なお、図４及び図５に示す光線空間では、２台のカメラ３４，３５のデータを模式的に示したが、オクルージョンデータに対応するため、３台以上のカメラのデータを扱い、複数の視差データ（多視差データ）によりカメラ位置を変更して、奥行きの飛び出し量等を調整することもできる。
【００３９】
上記した視差映像を光線空間データに変換する基本概念を踏まえて、この実施の形態の特徴的な部分ついて説明する。すなわち、図７（ａ）に示すように、実空間上において、基準面３６よりも遠方に被写体Ａが存在し、基準面３６上に被写体Ｂが存在し、基準面３６よりも手前側に被写体Ｃが存在している状態を、Ｘ座標に沿って配置された複数（例えば２台）のカメラで撮影すると、視差映像θＲ，θＬが得られる。
【００４０】
これらの各視差映像θＲ，θＬは、相互間の水平座標が直行する実空間内に配置されている。そして、各視差映像θＲ，θＬの実線Ｄで示す同じ水平ラインを光線空間データで表現すると、図７（ｂ）に示すように表わされる。この光線空間では、各視差映像θＲ，θＬにおける同じ奥行きを有する対応する画素同士は近い画素値（色）で縦軸（tanθ）に沿って直線状に並び、その直線の傾きによって立体視感の強さ、つまり、飛び出し量や奥行き量の大きさを表わしている。
【００４１】
図７（ｃ）は、図７（ａ）に示した被写体Ａ，Ｂ，Ｃを、Ｘ座標に沿って配置された３台以上のカメラで撮影した複数の視差映像（多視差データ）について、それらの同じ水平ラインを光線空間データで表現したものである。被写体Ｃは、その実空間上における座標を（Ｘｑ，Ｚｑ）とすると、先に述べたように、
tanθ＝（Ｘ−Ｘｑ）／Ｚｑ
なる関数で示される直線の傾きによって、その立体視感の強さ（飛び出し量や奥行き量）が表わされている。
【００４２】
図８（ａ）は、図７（ｃ）に示したものと同様な多視差データの場合の光線空間データを示している。そして、この図８（ａ）に示す光線空間データを２次元フーリエ変換し、周波数特性（パワースペクトル）を求める。このときのフーリエ変換に用いられるアルゴリズムとしては、ＦＦＴ（first fourier transform）が知られている。
【００４３】
図８（ｂ）に、光線空間データに２次元フーリエ変換を行なったときの周波数特性３８を示している。この周波数特性３８では、光線空間データの傾きが、その角度毎に原点を中心として分離していることがわかる。つまり、光線空間のデータを２次元フーリエ変換することにより、原点を中心として傾き毎の空間周波数を分離させることができる。このことは、取りも直さず、立体視映像の奥行き毎の空間周波数を分離していることを意味している。また、この周波数特性３８では、原点を示す中心から周辺に行くほど高周波を表わしている。
【００４４】
そして、立体視映像の奥行き毎に分離された各空間周波数のうち、立体視映像として表示させたときに多重像化を発生させるような、立体視感の強い（飛び出し量や奥行き量の大きい）映像部分に対応する空間周波数を、周波数空間上のローパスフィルタ３９によって高周波成分を制限するようにフィルタリング処理することにより、多重像化を発生させる立体視感の強い映像部分に対応する周波数成分の削減された周波数特性４０を得る。
【００４５】
その後、フィルタリング処理された周波数特性４０に対して、逆フーリエ変換処理を行なって光線空間データを得、その光線空間データを視差映像に展開すると、図８（ｃ）に示すように、立体視感の強い（飛び出し量や奥行き量の大きい）部分がぼかされ、立体視感の弱い部分がぼかされていない視差映像を得ることができる。これにより、立体視映像上で多重像を目立たなく（知覚されづらく）することができる。
【００４６】
図９は、立体視映像の奥行き毎に分離された各空間周波数に対してフィルタリング処理を行なう他の例を示している。図９（ａ）に示すように、多視差映像データから変換した光線空間データに対して、図８（ｂ）に示した周波数空間上のローパスフィルタ３９を逆フーリエ変換して得られる光線空間上のローパスフィルタ４１を用いて、畳込み処理を実行する。そして、畳込み処理後の光線空間データを視差映像に展開することにより、図９（ｂ）に示すように、図８（ｃ）と同様に、立体視感の強い（飛び出し量や奥行き量の大きい）部分がぼかされ、立体視感の弱い部分がぼかされていない視差映像を得ることができ、立体視映像上で多重像を目立たなく（知覚されづらく）することができる。
【００４７】
図１０は、以上に述べた抑制処理部３３が行なう一連の処理動作を模式的にまとめて示したものである。すなわち、視差映像Ｒ（１），Ｌ（１）からそのまま立体視映像（１）を表示させると、立体視感の強い部分で対象物が多重像化されてユーザに視認される。そこで、この抑制処理部３３では、視差映像Ｒ（１），Ｌ（１）を光線空間データに変換する。これは、立体視映像の奥行き毎に空間周波数を分離していることに相当する。
【００４８】
そして、その分離された空間周波数のうち、立体視映像として表示させたときに多重像化を発生させるような、立体視感の強い（飛び出し量や奥行き量が大きい）映像部分に対応する周波数成分を、フィルタリング処理によって制限し、そのフィルタリング処理後の光線空間データを視差映像に展開することにより、立体視感の強い（飛び出し量や奥行き量の大きい）部分がぼかされ、立体視感の弱い部分がぼかされていない視差映像Ｒ（２），Ｌ（２）を得ることができる。
【００４９】
このようにして得られた視差映像Ｒ（２），Ｌ（２）を用いて立体視映像（２）を表示させると、多重像がぼやけて目立たなくなりユーザに知覚され難くなる。
【００５０】
図１１は、上記した抑制処理部３３が行なう一連の処理動作をまとめたフローチャートを示している。すなわち、処理が開始（ステップＳ１）されると、抑制処理部３３の光線空間データ保持部３３ｃは、ステップＳ２で、入力された複数の視差映像を光線空間データに変換して保持する。
【００５１】
その後、抑制処理部３３のフィルタ処理部３３ｄは、ステップＳ３で、視差映像から得られた光線空間データに対し、立体視感の強い（飛び出し量や奥行き量の大きい）映像部分に対応する空間周波数の高周波成分を制限するように、光線空間上のローパスフィルタ４１を用いてフィルタリング処理を実行する。
【００５２】
そして、抑制処理部３３の立体視映像処理部３３ｅは、ステップＳ４で、フィルタリング処理の行なわれた光線空間データを視差映像に展開して出力し、処理を終了（ステップＳ５）する。
【００５３】
上記した実施の形態によれば、複数の視差映像を立体視映像の奥行き毎に空間周波数に分離可能な光線空間データに変換し、分離された各空間周波数のうち立体視感の強い、つまり、飛び出し量や奥行き量が大きい映像部分に対応する周波数成分を、フィルタリング処理によって制限した後、視差映像に展開して立体視表示に供させるようにしている。このため、立体視感を損なうことなく、視差映像相互間のクロストークによって発生する立体視映像の多重像化を目立たなくすることが可能となる。
【００５４】
特に、奥行き毎に分離された空間周波数に対してそれぞれ独立に周波数制限を行なっているので、奥側の映像のぼやけが手前側の映像に影響されることがなく、高品質な立体視映像を表示させることが可能となる。逆に、手前側の映像のぼやけを奥側の映像に影響させるという表示形態を実現することも容易に可能である。
【００５５】
また、ローパスフィルタ３９，４１のパラメータは、映像表示部２０を構成している映像表示パネルの入力映像信号に対する出力映像の応答特性や、映像表示部２０における立体視映像の表示方式（例えば眼鏡式、裸眼二眼式、裸眼多眼式等）に応じて、予め最適の値を設定することができる。
【００５６】
さらに、デジタルテレビジョン放送受信装置１１の制御部２２が、３次元のクロストークキャンセラとしての機能を備えている場合、そのクロストークキャンセラでは全ての映像範囲に対してクロストークの低減効果が得られないような視差映像に対して、上記した抑制処理部３３による多重像化抑制処理を行なうようにすることもできる。
【００５７】
図１２は、クロストークキャンセラと抑制処理部３３とを併用する場合における、上記制御部２２の処理動作をまとめたフローチャートを示している。すなわち、処理が開始（ステップＳ６）されると、制御部２２は、ステップＳ７で、テレビジョン放送信号、ＨＤＤ２６、入力端子２８またはネットワークサーバ３２等から視差映像を取得する。
【００５８】
その後、制御部２２は、ステップＳ８で、取得した視差映像に対してクロストークキャンセラによるクロストーク低減処理を実行させ、ステップＳ９で、全ての映像範囲に対してクロストーク低減効果が得られたか否かを判別する。そして、クロストーク低減効果が得られたと判断された場合（ＹＥＳ）、制御部２２は、ステップＳ１０で、クロストークキャンセラにクロストークの低減処理を継続させ、ステップＳ１２で、視差映像を出力させて、処理を終了（ステップＳ１３）する。
【００５９】
また、上記ステップＳ９で全ての映像範囲に対してクロストーク低減効果が得られないと判断された場合（ＮＯ）、制御部２２は、ステップＳ１１で、抑制処理部３３による多重像化抑制処理を実行させ、ステップＳ１２で、視差映像を出力させて、処理を終了（ステップＳ１３）する。
【００６０】
ここで、上記映像処理部１９は、抑制処理部３３によって多重像化抑制処理が行なわれた視差映像を、通常の平面視（２次元）表示用の映像信号として出力可能にすることもできる。これは、抑制処理部３３から出力される視差映像が右目用と左目用との２種類である場合、そのいずれか一方のみを出力すればよいものである。具体的に言えば、フィルタリング処理後の光線空間データを１方向の視差映像に展開する映像処理機能を、例えば制御部２２が備えることで実現することができる。
【００６１】
また、視差映像の複数ラインをメモリに格納し、水平方向の画素座標だけでなく、垂直方向の画素座標に対しても、抑制処理部３３と同様な多重像化抑制処理を実行すれば、視差映像に対してより自然なぼかしを行なうことができ、立体視映像における多重像化をより一層目ただなくすることが可能となる。
【００６２】
ただし、垂直方向の視差情報が与えられていない場合には、水平方向の処理結果と入力映像の差分強度とに基づいて、垂直方向の空間周波数の抑制強度を与え処理しても良い。具体的に言えば、フィルタリング処理後の光線空間データを視差映像に展開し、入力されたそれぞれの視差映像との差分量の大きさに応じて視差方向のない方向に空間周波数の抑制処理を施す立体視映像処理機能を、例えば制御部２２が備えることで実現することができる。
【００６３】
なお、この発明は上記した実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を種々変形して具体化することができる。また、上記した実施の形態に開示されている複数の構成要素を適宜に組み合わせることにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素から幾つかの構成要素を削除しても良いものである。さらに、異なる実施の形態に係る構成要素を適宜組み合わせても良いものである。
【符号の説明】
【００６４】
１１…デジタルテレビジョン放送受信装置、１２…アンテナ、１３…入力端子、１４…チューナ部、１５…復調復号部、１６…信号処理部、１７…合成処理部、１８…音声処理部、１９…映像処理部、２０…映像表示部、２１…スピーカ、２２…制御部、２２ａ…ＣＰＵ、２２ｂ…メモリ部、２３…操作部、２４…リモートコントローラ、２５…受信部、２６…ＨＤＤ、２６ａ…ハードディスク、２７…記録再生処理部、２８…入力端子、２９…ネットワークインターフェース、３０…入出力端子、３１…ネットワーク、３２…ネットワークサーバ、３３…抑制処理部、３３ａ，３３ｂ…入力端子、３３ｃ…光線空間データ保持部、３３ｄ…フィルタ処理部、３３ｅ…立体視映像処理部、３３ｆ，３３ｇ…出力端子、３４，３５…カメラ、３４ａ，３５ａ…レンズ、３４ｂ，３５ｂ…撮像素子、３６…基準面、３７…原点、３８…周波数特性、３９…ローパスフィルタ、４０…周波数特性、４１…ローパスフィルタ。
【図１】
2015039059.tif 000003
【図２】
2015039059.tif 000004
【図３】
2015039059.tif 000005
【図４】
2015039059.tif 000006
【図５】
2015039059.tif 000007
【図６】
2015039059.tif 000008
【図７】
2015039059.tif 000009
【図８】
2015039059.tif 000010
【図９】
2015039059.tif 000011
【図１０】
2015039059.tif 000012
【図１１】
2015039059.tif 000013
【図１２】
2015039059.tif 000014