(57)【要約】  取得部（１３１）は、入力された立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する。平滑化部（１３２）は、奥行き情報を画像面において平滑化する。補正部（１３３）は、平滑化された奥行き情報を補正し、前景と後景との境界部分において前景の奥行き値を有する領域の範囲を拡げる。画像生成部（１３４）は、補正された奥行き情報を用いて、新たな立体画像を生成する。
2014045471.tif 000002
【特許請求の範囲】
【請求項１】
入力される立体画像信号を処理する画像信号処理装置であって、
前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
前記奥行き情報を、前記画像面において平滑化する平滑化部と、
平滑化された前記奥行き情報を補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げる補正部と、
補正された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備えた
ことを特徴とする画像信号処理装置。
【請求項２】
請求項１記載の画像信号処理装置において、
前記補正部は、前記奥行き情報に含まれた奥行き値を、前記画像面の当該奥行き値の位置を含む所定領域において最も前景側を表す奥行き値に、変更する補正を行う
ことを特徴とする画像信号処理装置。
【請求項３】
請求項１記載の画像信号処理装置において、
前記画像生成部は、前記新たな立体画像として、２より多い視点の画像を生成する
ことを特徴とする画像信号処理装置。
【請求項４】
請求項１記載の画像信号処理装置において、
前記平滑化部は、平滑化の強度を調整可能に構成されており、
前記補正部は、補正の強度を調整可能に構成されており、かつ、前記平滑化部における平滑化の強度に応じて、補正の強度を調整する
ことを特徴とする画像信号処理装置。
【請求項５】
請求項１記載の画像信号処理装置において、
前記画像生成部は、前記新たな立体画像に対して立体感補正を行う機能を有しており、
前記補正部は、補正の強度を調整可能に構成されており、かつ、前記画像生成部における立体感補正の補正量に応じて、補正の強度を調整する
ことを特徴とする画像信号処理装置。
【請求項６】
立体画像信号を処理する画像信号処理方法であって、
前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得し、
前記奥行き情報を、前記画像面において平滑化し、
平滑化された前記奥行き情報を補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げて、
補正された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する
ことを特徴とする画像信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、入力される立体画像信号を処理する画像信号処理装置に関する。
【背景技術】
【０００２】
特許文献１では、多視点画像内挿装置において、奥行深度情報や視差情報を平滑化することによって、その誤りが軽減され、欠落した奥行深度情報や視差情報が補間されることによって、内挿画像の画質を向上させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１７５８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、視聴者により自然に感じられる立体画像を生成できる画像信号処理装置を提供する。
【課題を解決するための手段】
【０００５】
本開示における画像信号処理装置は、入力される立体画像信号を処理するものであり、立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、奥行き情報を画像面において平滑化する平滑化部と、平滑化された奥行き情報を補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げる補正部と、補正された奥行き情報に基づいて、立体画像信号から新たな立体画像を生成する画像生成部と、を備える。
【発明の効果】
【０００６】
本開示における画像信号処理装置は、より自然な立体画像を生成するのに有効である。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１における立体画像表示装置の機能構成例を示す図
【図２】図１における画像信号処理部の機能構成例を示す図
【図３】図２における新立体画像生成部の機能構成例を示す図
【図４】実施の形態１における新立体画像生成処理のフローチャート
【図５】（ａ）視差マップの例、（ｂ）平滑化処理後の視差マップの例、（ｃ）補正処理後の視差マップの例
【図６】最大値フィルタを用いた補正処理を説明するための図
【図７】最大値フィルタのウィンドウサイズの設定方法の例を示す図
【図８】立体感補正を行う場合の画像生成の例を示す図
【図９】補正処理の効果を説明するための図
【図１０】実施の形態２における立体画像表示装置の機能構成例を示す図
【図１１】図１０における画像信号処理部の機能構成例を示す図
【図１２】図１１における複数視点画像生成部の機能構成例を示す図
【図１３】実施の形態２における複数視点画像生成処理のフローチャート
【図１４】複数視点画像の生成例を示す図
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
立体画像表示装置は、立体画像の左眼用画像と右眼用画像とを、それぞれ左眼と右眼とで知覚されるように表示する。左眼用画像と右眼用画像は、領域毎に画像上で異なったずれ量（視差）を持ち、その視差によって画像が立体として知覚される。
【００１１】
視差が大きい立体画像は豊かな立体感を持つが、視差が過度に大きくなると視聴者には見難い画像となる場合がある。そこで、画像信号処理によって視差を小さくした立体画像を生成して表示する技術が開発されている。立体画像の視差を小さくするには、左眼用画像と右眼用画像との領域毎の視差を検出して、検出した視差に応じて新たな視差を持つ立体画像を生成する方法がある。
【００１２】
しかし、入力される立体画像信号のみから視差を正確に検出することは困難である。誤った視差の検出に基づいて立体画像を生成すると、生成した立体画像と、実際に立体視できる内容とが異なるものとなる。
【００１３】
特許文献１のように、奥行き情報や視差情報に平滑化処理を施すことによって、検出した視差に含まれる画像面における局所的な誤り（ノイズ等）を抑制することができる。その一方で、平滑化処理は、立体画像の前景と背景との境界部分において、本来急峻に変化すべき視差量をより緩やかな変化に変えてしまう可能性がある。このため、平滑化処理を施された視差情報に基づいて立体画像を生成すると、本来の立体画像とは異なる立体画像となってしまう場合がある。
【００１４】
（実施の形態１）
［１−１．構成］
図１は実施の形態１に係る立体画像表示装置１００の機能構成例を示す図である。図１の立体画像表示装置１００は、ＨＤＭＩ(High Definition Multimedia Interface)部１０１、ＨＤＤ(Hard Disk Drive)部１０２、ＳＤ部１０３、ＢＤ(Blu-ray Disc)部１０４、チューナー部１０５、ＭＰＥＧデコーダ１０６、アナログ入力部１０７、Ａ／Ｄコンバータ１０８、画像信号処理部１２０、ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、および、表示パネル１１３を備えている。
【００１５】
なお、以下の説明では、「画像」と記載した場合には、特段の断りがない限り、静止画像と動画像（映像）との両者を含むことを意図している。
【００１６】
ＨＤＭＩ部１０１は、立体画像表示装置１００の外部からＨＤＭＩケーブル等で画像信号等が入力される入力インタフェースである。ＨＤＤ部１０２は、画像が記録されたハードディスクドライブ等の記録媒体から画像信号を読み出す。ＳＤ部１０３は、画像が記録されたＳＤカード等の記録媒体から画像信号を読み出す。ＢＤ部１０４は、画像が記録されたＢｌｕ−ｒａｙディスク等の記録媒体から画像信号を読み出す。チューナー部１０５は、放送局やケーブルテレビ局から配信された放送信号を受信し、この放送信号を復調し所望の画像信号を抽出して出力する。アナログ入力部１０７は、立体画像表示装置１００の外部からの画像信号をアナログ信号として受け付けるインタフェースである。
【００１７】
ＭＰＥＧデコーダ１０６は、ＨＤＤ部１０２、ＳＤ部１０３、ＢＤ部１０４およびチューナー部１０５等から入力された符号化された画像信号を復号する。Ａ／Ｄコンバータ１０８は、アナログ入力部１０７から入力されたアナログ画像信号をデジタル画像信号に変換する。
【００１８】
画像信号処理部１２０は、ＨＤＭＩ部１０１、ＭＰＥＧデコーダ１０６およびＡ／Ｄコンバータ１０８等から入力された画像信号に、各種の処理を行う。具体的な処理内容等については後述する。
【００１９】
ＣＰＵ１１０は、立体画像表示装置１００全体を制御する。ＣＰＵ１１０は、特に、画像信号処理部１２０に各種の制御指示を出し、好適な画像信号処理を実行させる。ＲＡＭ１１１は、ＣＰＵ１１０がプログラム等を実行する際の各種変数の一次保持の場所等として使用される記憶領域である。ＲＯＭ１１２は、ＣＰＵ１１０が動作するために必要なプログラム等を保持しておく記憶領域である。
【００２０】
表示パネル１１３は、画像信号処理部１２０等で処理された画像信号を、視聴者等に表示する。表示パネル１１３には具体的には、プラズマ表示パネル（ＰＤＰ：Plasma Display Panel）や、液晶表示パネル（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ表示パネル（ＯＬＥＤ：Organic Light-Emitting Diode）等を用いることが可能である。
【００２１】
表示する画像が立体画像である場合、表示パネル１１３は立体画像を表示するディスプレイを用いる。立体画像を利用者に提示するには、利用者の左右の眼にそれぞれ別の画像を提示する必要がある。本実施の形態では、立体表示ディスプレイとして、視聴者がメガネをかけて視聴するメガネ式の３Ｄディスプレイを例にとって説明する。
【００２２】
なお、ＨＤＭＩ部１０１、ＨＤＤ部１０２、ＳＤ部１０３、ＢＤ部１０４、チューナー部１０５、およびアナログ入力部１０７は、いずれかの入力信号を採用すればよく、必ずしも全ての入力信号が必要となるわけではない。
【００２３】
図２は画像信号処理部１２０内部の機能構成を示す図である。図２に示す画像信号処理部１２０は、高画質化処理部１２１と、新立体画像生成部１３０とを備えている。高画質化処理部１２１は、表示する画像に対して高画質化処理を行う。高画質化処理として、例えばノイズ除去処理、クロストークキャンセル処理、輪郭強調処理、色補正処理等がある。新立体画像生成部１３０は、入力等される立体画像に基づいて、新たな視点からの立体画像、新たな視差を有する立体画像、等を生成する。
【００２４】
図３は新立体画像生成部１３０の機能構成を示す図である。図３に示す新立体画像生成部１３０は、視差マップ取得部１３１と、視差マップ平滑化部１３２と、補正部１３３と、画像生成部１３４とを有する。
【００２５】
視差マップ取得部１３１は、入力される立体画像が有する視差量を取得する。立体画像信号における左眼用画像と右眼用画像とは、一般に、その内容が視差の分だけ横（水平）方向にずれている。このため、左眼用画像と右眼用画像とで相互に対応する部分は、表示位置が横方向にずれていることが多い。そこで、視差マップ取得部１３１は、このような特性を利用して、左眼用画像と右眼用画像との相互に対応する部分等から、立体画像の画像面の各領域における視差量を奥行き値として検出する。そして、取得した視差量を画像面と同様に２次元（平面）状に配したものが、奥行き情報としての視差マップとなる。
【００２６】
視差マップ平滑化部１３２は、視差マップ取得部１３１が取得した視差マップに対して平滑化処理を行う。すなわち、視差マップ平滑化部１３２によって、奥行き情報が画像面において平滑化される。この際、平滑化処理は、画像面全体を平滑化処理するものであってもよいし、画像面を構成する所定数の画素を含む領域内での平滑化を行うものであってもよい。
【００２７】
補正部１３３は、視差マップ平滑化部１３２により平滑化処理が行われた視差マップに対して、補正処理を行う。この補正処理の目的は、平滑化処理が行われた視差マップに基づいて新たに生成される立体画像が、より自然な立体画像となるようにすることである。この処理の詳細については後述する。
【００２８】
画像生成部１３４は、平滑化処理および補正処理が行われた視差マップに基づいて、新たな視点での立体画像、あるいは、新たな視差量を有する立体画像等を生成する。
【００２９】
［１−２．動作］
図４は新立体画像生成部１３０の処理フローを示したフローチャートである。なお、以下の説明では、視差マップにおける視差量は、表示ディスプレイ面を視差量「０」とし、視聴者に近い方（前景側）を正、遠い方（背景側）を負として数値化されているものとする。
【００３０】
（ステップＳ１１）視差マップ取得部１３１は、入力した立体画像を構成する左右画像の画像面を分割した領域毎の視差量を、視差マップとして取得する。この処理では例えば、左眼用画像のある領域の位置と、当該領域に内容的にほぼ同一と推測される右眼用画像の対応する領域の位置との略水平方向の「ずれ」の大きさを、当該領域の視差量として検出する。この視差量を画像面上の各領域で取得し、それぞれの領域での視差量を示したものが「視差マップ」となる。
【００３１】
もちろん、左眼用画像と右眼用画像とを逆にして視差量を検出してもかまわない。また、左眼用画像と右眼用画像との間の領域の対応付けは、例えばブロックマッチング法を用いて行えばよい。ただし、視差マップを取得する方法は、ブロックマッチング法に限らない。
【００３２】
（ステップＳ１２）視差マップ平滑化部１３２は、視差マップ取得部１３１によって取得された視差マップを平滑化する。この平滑化処理では、視差マップを構成するある領域の視差量とその周辺の領域の視差量とから、当該領域の視差を新たに決定する。視差マップに誤った視差量が含まれていたり、あるいは、元の立体画像の部分的な不良等により正しい視差量が検出されていない場合であっても、平滑化処理によって、正しくない視差量やその他のノイズとなる視差量の影響を抑制することが可能となる。
【００３３】
平滑化処理では、周辺の領域が有する視差量が、当該領域の視差量を決定する際の大きな要因となる。具体的には、例えば、当該領域の視差量と、複数の周辺領域の視差量とを平均化する。あるいは、それぞれの視差量に所定の係数を乗じた上で、平均化等する。
【００３４】
また別の方法として、視差マップ上である大きさを持ったウィンドウ（領域）内において、重み付け加算処理を行ってもよい。重み付け加算処理は、例えば正規分布に則った重みを持つガウシアンフィルタを用いて、行ってもよい。このとき、ガウシアンフィルタの平滑化の強度は、画面一律に、または領域ごとに、自由に設定してもよい。
【００３５】
また、別の重み付け加算処理として、計算量を削減するために、ウィンドウ内の視差量の単純な平均値を計算してもよい。平均値を用いた平滑化処理では、ウィンドウのサイズを、画面一律にまたは領域ごとに変えることによって、平滑化の強度を変えることができる。
【００３６】
（ステップＳ１３）補正部１３３は、視差マップ平滑化部１３２によって平滑化された視差マップ（視差情報）を好適な値に補正する処理を行う。この処理の目的は、平滑化処理等された視差マップに基づいて新たに生成される立体画像が、より自然な立体画像になるようにすることである。なお、以下、補正部１３３によって補正処理が施された視差マップのことを「補正視差マップ」と称する。
【００３７】
補正部１３３は、平滑化処理によって背景物体の視差が混ざったために、本来の視差よりも背景側の値に近くなってしまった前景の視差量を、前景側の値に近づけるように補正する。すなわち、視差マップを補正し、前景と背景との境界部分において前景の視差量を有する領域の範囲を拡げる。
【００３８】
ここでは補正処理の一例として、最大値フィルタを用いる。この最大値フィルタは、フィルタが適用される範囲（ウィンドウ）内の視差量のうち最大の値を、当該範囲を代表する視差量として設定する。画像は２次元の略平面状態で表示されるため、ウィンドウとしては、２次元の形状を有する矩形等を用いるのが一般的である。補正処理の具体的なデータ処理方法等については、後述する。
【００３９】
（ステップＳ１４）画像生成部１３４は、補正部１３３から出力された補正視差マップと、入力された立体画像を構成する左右原画像とを基にして、新たな立体画像を構成する左右画像を生成する。そして新立体画像生成部１３０は、生成した新たな立体画像を表示部１１３へ出力する。
【００４０】
上述したように、ここでの説明では、視差マップおよび補正視差マップにおける視差量は、表示ディスプレイ面を視差量「０」とし、視聴者に近い方（前景側）を正、遠い方（背景側）を負として数値化されているものとする。ただし、視差マップの表現方法（視差量の数値化方法）はこの限りではなく、例えば遠い方を正、近い方を負としても良い。この場合は、以降の処理の値の大小をすべて反転すれば良いし、また最大値フィルタに代えて、最小値フィルタを用いればよい。すなわち、補正部１３３は、奥行き情報に含まれた奥行き値を、当該奥行き値の位置を含む所定領域において最も前景側を表す奥行き値に、変更する。さらに、視差量「０」の位置を必ずしも表示ディスプレイ面にしなくてもよい。
【００４１】
図５は新立体画像生成部１３０により、視差マップがどのように生成され変化するかを示す図である。図５において、値「０」〜「５」は視差量を示す。
【００４２】
図５（ａ）は視差マップ取得部１３１により取得された視差マップの一例である。視差量「５」の領域が例えば人物等の前景であり、視差量「０」の領域が背景である。一般に、入力された立体画像を構成する左右画像のみから視差マップを正確に検出することは容易ではない。取得した視差マップには、エラー等、入力される立体画像が本来示す視差とは異なる値が含まれることがある。図５（ａ）の例では、領域ＮＧ１，ＮＧ２における視差量がノイズ（誤差）である。
【００４３】
図５（ｂ）は視差マップ平滑化部１３２が図５（ａ）の視差マップに対して平滑化処理を行った結果の例である。図５（ｂ）では、図５（ａ）と比較すると、領域ＮＧ１，ＮＧ２等のノイズが抑制されている。また図５（ｂ）では、図５（ａ）と比較すると、前景と背景との境界部において視差量の変化が滑らかになり、前景側の視差量が小さくなっている。すなわち、図５（ａ）では視差量「５」の領域と視差量「０」の領域とが直接接しているのに対して、図５（ｂ）では視差量「５」の領域と視差量「０」の領域とは直接接しておらず、その間に視差量「１」〜「４」の領域が含まれている。この結果、図５（ａ）において視差量「５」を有する領域は、その境界付近において、視差量が段階的に「０」に近づいている。
【００４４】
これは、平滑化処理によって、視差量が異なる領域同士の境界付近がより緩やかな視差量変化となるように、視差マップが処理されたためである。視差検出処理により生じた誤差やエラー等は、平滑化処理によって抑制される。その一方で、視差量の大きな変化がある境界付近では、その視差量の急峻な変化は抑制される。このため、平滑化処理を施された視差マップに基づいて新しい立体画像を生成すると、前景と背景との境界付近の視差変化が実際の立体感とは異なり、ぼやけた「奥行き感」を有する立体画像となる可能性がある。
【００４５】
図５（ｃ）は補正部１３３が図５（ｂ）の平滑化後の視差マップに対して補正処理を行った結果の例である。図５（ｃ）では、前景と背景との境界部分において、前景側の視差量「５」を有する領域の範囲が拡がっている。これにより、前景と背景との境界付近の視差変化を、例えば実際の立体感に近づけることができるので、より自然な奥行き感を有する立体画像を生成することができる。
【００４６】
図６は補正部１３３における補正処理の内容を説明するための図である。図６では説明を簡単にするために、視差マップが一次元の場合を例にとっている。図６において、値「１」〜「５」は視差量を示す。視差量「５」の領域が前景に相当する。
【００４７】
図６（ａ）は補正前の視差マップである。視差マップに対して、最大値フィルタにより補正処理を行う範囲（ウィンドウ）を設定する。図６（ａ）では説明のために、４個のウィンドウＷ１，Ｗ２，Ｗ３，Ｗ４を示している。各ウィンドウＷ１，Ｗ２，Ｗ３，Ｗ４のサイズ（ここでは一次元方向の長さ）は、この例では「５」に設定されている。
【００４８】
補正処理において、各ウィンドウは入力された値の最大値を出力する。例えば、ウィンドウＷ１に入力される値（視差量）は「１」「２」「３」「４」「５」である。この場合、最大値は「５」なので、ウィンドウＷ１の出力（補正した視差量）は「５」となる。この「５」が、ウィンドウＷ１の中心位置（入力値が「３」であった位置）の補正後の値になる。
【００４９】
同様に、ウィンドウＷ２は、入力される値が「５」「５」「５」「５」「５」なので、、最大値「５」を出力する。この「５」がウィンドウＷ２の中心位置の補正後の値になる。ウィンドウＷ３は、入力される値が「２」「１」「０」「０」「０」なので、最大値「２」を出力する。ウィンドウＷ４は、入力される値が「０」「０」「０」「０」「０」なので、最大値「０」を出力する。
【００５０】
この結果、図６（ｂ）に示すような視差マップに補正される。図６（ａ）と比較すると、図６（ｂ）では、前景の領域が全体的に拡がっていることが分かる。すなわち、補正部１３３の最大値フィルタは、各ウィンドウ内の最大値を出力することによって、小さくなってしまっていた前景の視差量を本来の値に近くなるように大きく補正する。この結果、補正後の視差マップでは、前景の視差量を持つ領域が拡がることになる。
【００５１】
すなわち、補正部１３３が行う補正内容は、ウィンドウ内の最大視差量を当該ウィンドウの特定位置における視差量としているため、補正後の視差マップは全体的に前景寄りの視差量を有する。これにより、平滑化処理によって前景部分の領域が小さくなってしまった視差マップが、改善される。
【００５２】
立体画像を視聴する際に、視聴者の注目度は、一般に、前景側に表示される部分に対して、より高いものと考えられる。このため、平滑化処理によって前景部分の視差量が小さくなる（背景側にシフトされる）と、立体画像の視聴者は、本来注目度が高い前景の一部、特に背景との境界部分等を、背景側として知覚する。このため、立体画像の視聴者にとって、画像として表示される内容（注目部分）と視差量との関係が不自然なものとなり、視聴しづらい立体画像となる可能性がある。
【００５３】
本実施形態のように、視差マップに対して平滑化処理後に補正処理を行うことによって、平滑化処理により背景側に移された画像の一部を前景側に再度近づけることができる。したがって、立体画像を視聴する視聴者に、より自然な立体画像を提供することが可能となる。加えて本実施形態では、平滑化処理も行っているため、視差マップ検出時等に含まれるエラーや誤差等についても、抑制することが可能となる。
【００５４】
ここで、最大値フィルタのウィンドウサイズは、平滑化の強度に応じて変化させてもよい。これにより、好適なフィルタ処理を行うことができる。例えば、図７（ａ）に示すように、平滑化のためのウィンドウサイズが大きいほど、最大値フィルタのウィンドウを大きくすればよい。平滑化ウィンドウサイズが大きいほど、平滑化の強度が強くなる。平滑化の強度が強いと、前景側の視差量が受ける影響も大きいため、最大値フィルタによって視差量を再度前景側にシフトさせる効果を大きくするのが好ましい。逆に、平滑化の強度が弱い場合は、最大値フィルタのウィンドウサイズを小さくすればよい。
【００５５】
これにより、平滑化処理により前景側の視差を有する領域が小さくなった場合でも、平滑化処理の内容と関連した好適な補正処理により、前景側の視差を有する領域を拡げることによって、視聴者により自然な立体画像を表示することができる。なお、図７（ａ）では、平滑化ウィンドウサイズと最大値フィルタウィンドウサイズとがリニアな関係になっているが、これに限られるものではない。
【００５６】
また、最大値フィルタのウィンドウサイズは、視差を検出するためのブロックマッチングのブロックサイズに応じて決定してもよい。ブロックマッチングを用いて視差を検出すると、前景側の視差を有する画像範囲が背景領域にまで拡がる傾向があり、ブロックサイズが大きいほど、この傾向が強くなる。
【００５７】
すなわち、ブロックサイズが大きい場合、平滑化処理を行う前に既に前景側の視差を有する画像範囲が拡がっているため、最大値フィルタによって前景側の視差を有する領域を拡げる効果を小さくして、バランスを取ることが考えられる。そこで、ブロックマッチングのブロックサイズが大きいほど最大値フィルタのウィンドウサイズを小さくし、ブロックサイズが小さいほど最大値フィルタのウィンドウサイズを大きくしてもよい。
【００５８】
また、最大値フィルタのウィンドウサイズは、後述する立体感補正量に応じて決定してもよい。この立体感補正量は、ユーザーが設定してもよい。例えば図７（ｂ）に示すように、立体感補正量が小さいときは、最大値フィルタによる補正量は小さくても影響が小さいため、ウィンドウサイズを小さくしてもよい。なお、図７（ｂ）では、立体感補正量と最大値フィルタウィンドウサイズとがリニアな関係になっているが、これに限られるものではない。
【００５９】
なお、補正部１３３における補正処理として最大値フィルタを用いる例について説明したが、本開示はこれに限られない。例えば、各ウィンドウが、ウィンドウ内の最大値ではなく、大きい方から２番目またはｎ番目の値を出力しても、同様の効果が得られる。ただし、ｎはウィンドウ内に含まれる視差量の個数の半分より小さい値を設定するのが好ましい。
【００６０】
次に、立体感補正について説明する。画像生成部１３４は、補正部１３３から出力された補正視差マップと、入力された立体画像を構成する左右原画像とを用いて、立体感を補正した新たな立体画像の左右画像を生成する。
【００６１】
画像生成部１３４は、新しい視点位置での視差量を次の（式１）に従って計算する。そして、計算された視差量に基づいて視差マップを修正し、画像を生成する。
ｄ’＝  ｄ*ｇａｉｎ  （式１）
【００６２】
（式１）において、ｄ’は実際に付加する視差量、ｄは補正部１３３から出力された補正視差マップにおける視差量、ｇａｉｎは立体感補正量の設定値を表す。ｇａｉｎは正負の値を持つ。原画像に対して左側に画像を生成する場合はｇａｉｎに正の値を与え、右側に画像を生成する場合はｇａｉｎに負の値を与える。ｇａｉｎの値は、例えば、ユーザーがリモコン操作等によって設定すればよい。あるいは、自動で最適な値を計算して設定してもよい。例えば、表示部１１３と視聴者の視聴位置との関係に基づいて、ＣＰＵ１１０あるいは画像信号処理部１２０が好適な値を設定してもよい。
【００６３】
図８を用いて、立体感補正を行う場合の画像生成の例について説明する。まず、立体感を小さく補正する場合は、左右画像の視差を小さくする。この場合は、例えば図８（ａ）に示すとおり、左右それぞれの原画像から視差を小さくする方向に生成した２枚の画像、すなわち左原画像から右側に視差をつけた画像と、右原画像から左側に視差をつけた画像とを出力する。この左右の生成画像によって、立体感補正後の立体画像が得られる。この他にも、例えば図８（ｂ）に示すように、左原画像と、右原画像から左方向に生成した生成画像と、を出力してもよい。あるいはその逆に、右原画像と、左原画像から右方向に生成した生成画像と、を出力しても良い。
【００６４】
一方、立体感を大きく補正する場合は、左右画像の視差を大きくする。この場合は、例えば図８（ｃ）に示すとおり、左原画像から左側に視差をつけた画像と、右原画像から右側に視差をつけた画像とを生成する。この他にも、例えば図８（ｄ）に示すように、左原画像と、右原画像から右方向に生成した生成画像と、を出力してもよい。あるいはその逆に、右原画像と、左原画像から左方向に生成した生成画像と、を出力してもよい。
【００６５】
以上の処理により、本実施形態に係る立体画像表示装置１００は、入力された立体画像に比べて、立体感を小さく、または立体感を大きく補正した立体画像を表示することができる。すなわち、新しい視聴位置や、表示パネル１１３から視聴者の視聴位置までの距離等に応じて、好適な立体画像の表示を可能とするものである。
【００６６】
［１−３．効果等］
図９を用いて本実施形態における視差マップの補正処理の効果について説明する。図９は立体画像を上方から見た場合の奥行きを表現したイメージ図であり、図面上方向が背景側、下方向が前景側である。また、視差マップが示す視差量すなわち奥行き値を細点線で示している。図９（ａ）は平滑化処理後で補正前の状態を示し、図９（ｂ）は補正後の状態を示している。
【００６７】
図９（ａ）に示すように、平滑化処理後の視差マップでは、前景と背景との境界部分において奥行き値がなだらかに変化している。このため、前景領域における、背景との境界に近い部分は、本来の奥行き値よりも背景側に近い奥行き値を有している。すなわち、前景領域の画面位置からの飛び出し量が、背景との境界近傍とその他の部分とで異なってしまっている。この状態で、立体感を小さくする補正をかけたとする。すると、本来の前景領域のように視差が大きい領域については、その視差に応じて物体を遠方に補正する作用が働く。しかし、背景との境界近傍はその他の部分と比べて視差が小さいため、遠方に補正される量が小さくなる。すなわち、前景領域に対する飛び出し補正量が、背景との境界近傍とその他の部分とで異なることになり、この結果、前景領域が、中心部に比べて境界部が相対的に飛び出したように見える。この状態で立体画像を表示すると、非常に不快な見え方になる可能性がある。
【００６８】
これに比べて、図９（ｂ）に示すように、補正後の視差マップでは、平滑化処理によって奥行き値が背景側に近くなっていた前景領域の境界近傍について、視差が、前景領域本来の視差に近い値に補正されている。すなわち、前景領域の画面位置からの飛び出し量が、ほぼ均等になっている。このため、立体感を小さくする補正を行なっても、前景領域はほぼ同程度に遠方に補正される。この結果、前景領域が、中心部に比べて境界部が飛び出したように見えるといった問題が生じず、見やすい立体画像を表示することができる。
【００６９】
以上のように、本実施の形態において、立体画像表示装置１００は、取得部としての視差マップ取得部１３１と、平滑化部としての視差マップ平滑化部１３２と、補正部１３３と、画像生成部１３４とを備えている。視差マップ取得部１３１は、入力される立体画像信号について、画像面の各位置における視差を表す視差マップを取得する。視差マップ平滑化部１３２は、視差マップの視差量を、画像面において平滑化する。補正部１３３は、視差マップ平滑部１３２によって平滑化された視差マップを補正し、前景と背景との境界部分において前景の視差量を有する領域の範囲を拡げる。画像生成部１３４は、補正された視差マップに基づいて、入力された立体画像信号から、新たな立体画像を生成する。
【００７０】
これにより、視差マップ平滑化部１３２によって平滑化された視差マップが、補正部１３３によって補正され、前景と背景との境界部分において前景の視差量を有する領域の範囲が拡がる。この結果、平滑化により前景と背景との境界部分において視差の変化が滑らかになった視差マップが、視聴者に視聴しやすい立体画像の視差マップに補正される。したがって、入力された立体画像信号から新たな立体画像を生成する場合に、より自然な立体画像を生成することが可能となる。
【００７１】
また、本実施の形態において、補正部１３３は、平滑化された視差マップの視差量を、画像面の当該視差量の位置を含む所定領域において最も前景側を表す視差量に、変更する補正を行う。例えば、前景側がより大きな視差量を持つ場合には、最大値フィルタを用いて補正を行う。これにより、補正部１３３は、平滑化された視差マップを、確実に、視聴者に視聴しやすい立体画像の視差マップに補正することができる。
【００７２】
また、本実施の形態において、補正部１３３は、補正の強度を、平滑化の強度に応じて、あるいは、立体感補正の補正量に応じて、調整する。これにより、好適な補正処理を行うことができ、視聴者により自然な立体画像を表示することができる。
【００７３】
（実施の形態２）
実施の形態２の説明では、実施の形態１と相違する点を中心に説明し、実施の形態１と実質的に同一の内容に対する重複説明を省略する場合がある。
【００７４】
［２−１．構成］
図１０は実施の形態２に係る立体画像表示装置２００の機能構成例を示す図である。図１０の立体画像表示装置２００は、ＨＤＭＩ部１０１、ＨＤＤ部１０２、ＳＤ部１０３、ＢＤ部１０４、チューナー部１０５、ＭＰＥＧデコーダ１０６、アナログ入力部１０７、Ａ／Ｄコンバータ１０８、画像信号処理部２２０、ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、および、裸眼立体ディスプレイ２０１を備える。
【００７５】
図１０の立体画像表示装置２００は、実施の形態１で説明した立体画像表示装置１００と対比すると、画像信号処理部１２０および表示パネル１１３に代えて、画像信号処理部２２０および裸眼立体ディスプレイ２０１を備えた点が異なっている。その他の点については、実施の形態１と実質的に同じであるので説明を省略する。
【００７６】
画像信号処理部２２０は、実施の形態１で説明した画像信号処理部１２０と同様に、立体画像としての好適な信号処理を行う。画像信号処理部２２０はさらに、裸眼立体ディスプレイ２０１に適した立体画像のための画像信号処理を行う。詳細については後述する。
【００７７】
裸眼立体ディスプレイ２０１には、視差バリア方式、レンチキュラー方式など多数の方式があるが、視聴者が裸眼で立体画像を視聴できるものであればどの方式でもよく、限定しない。裸眼立体ディスプレイ２０１は、立体画像を視聴する位置と裸眼ディスプレイ２０１との位置関係によって左右の目に逆の画像を提示してしまう逆視を防止するために、メガネ式の２視点よりも多い、４視点、８視点またはそれ以上の視点の画像を表示する場合がある。
【００７８】
入力される立体画像は、通常、左眼用画像と右眼用画像を有する２視点画像である。画像信号処理部２２０は、２視点より多い複数視点の画像を生成する。以下、４視点の画像を生成する場合を例として説明するが、本開示の視点数はこれに限定されない。
【００７９】
図１１は画像信号処理部２２０の機能構成を示す図である。図１１に示す画像信号処理部２２０は、高画質処理部１２１と、複数視点画像生成部２３０とを備えている。高画質処理部１２１については実施の形態１ですでに説明したので、ここでは説明を省略する。複数視点画像生成部２３０は、実施の形態１で説明したような、視差量の検出、平滑化処理、および補正処理を行い、さらに２より多い複数視点での立体画像生成処理を行う。
【００８０】
図１２は複数視点画像生成部２３０の機能構成を示す図である。図１２に示す複数視点画像生成部２３０は、視差マップ取得部１３１と、視差マップ平滑化部１３２と、補正部１３３と、画像生成部２３４とを有する。視差マップ取得部１３１、視差マップ平滑化部１３２、および補正部１３３については実施の形態１ですでに説明したので、ここでは説明を省略する。
【００８１】
画像生成部２３４は、補正後の視差マップに基づいて、２より多い複数視点の立体画像を生成する。本実施の形態では４視点の画像を生成する場合を例としているが、本開示内容はこれに限定されるものではない。
【００８２】
［２−２．動作］
図１３は複数視点画像生成部２３０の処理フローを示したフローチャートである。図１３において、ステップＳ２１〜Ｓ２３は、実施の形態１で説明した図４のフローチャートのステップＳ１１〜Ｓ１３と実質的に同一であるため、説明を省略する。
【００８３】
（ステップＳ２４）画像生成部２３４は、所定視点数の立体画像の生成が完了したか否かを判断する。ここでは視点数４としているので、４視点分の立体画像の生成が完了したか否かを判断する。すべての視点での立体画像の生成が完了していれば処理を終了する。未生成の立体画像があれば、処理をステップＳ２５に移す。
【００８４】
（ステップＳ２５）画像生成部２３４は、未生成分の立体画像を、補正後の視差マップに基づいて生成する。この個々の立体画像の生成方法については、実施の形態１で説明した図４のステップＳ１４と実質的に同一であるため、説明を省略する。立体画像の生成および出力が終了すれば、ステップＳ２４に処理を戻す。
【００８５】
複数視点画像生成部２３０（画像生成部２３４）から出力された立体画像は、裸眼立体ディスプレイ２０１に出力され表示される。
【００８６】
図１４を用いて、画像生成部２３４が複数の立体画像を生成する例について説明する。
【００８７】
図１４（ａ）では、入力される立体画像を構成する左右原画像と、左原画像から右側に生成した左生成画像と、右原画像から左側に生成した右生成画像と、を４視点画像としている。画像生成部２３４は、これらの画像を生成し、１）左原画像と左生成画像との組み合わせ、２）左生成画像と右生成画像との組み合わせ、３）右生成画像と右原画像との組み合わせ、により、３つの立体画像を生成することができる。入力される立体画像の視差量が比較的大きい場合は、この生成方法によって好適な立体感が得られる。
【００８８】
図１４（ｂ）では、左右原画像と、左原画像から左側に生成した左生成画像と、右原画像から左側に生成した右生成画像と、を４視点画像としている。画像生成部２３４は、これらの画像を生成し、１）左生成画像と左原画像との組み合わせ、２）左原画像と右生成画像との組み合わせ、３）右生成画像と右原画像との組み合わせ、により、３つの立体画像を生成することができる。入力される立体画像の視差量が中程度である場合は、この生成方法によって好適な立体感が得られる。
【００８９】
なお、図１４（ｂ）の例では、左右原画像に対して、それぞれ左側に左右生成画像を生成したが、これに限定されるものではない。反対に、左右原画像に対してそれぞれ右側に左右生成画像を生成するものであっても、同様の効果が得られる。
【００９０】
図１４（ｃ）では、左右原画像と、左原画像の左側に生成した左生成画像と、右原画像の右側に生成した右生成画像と、を４視点画像としている。画像生成部２３４は、これらの画像を生成し、１）左生成画像と左原画像との組み合わせ、２）左原画像と右原画像との組み合わせ、３）右原画像と右生成画像との組み合わせ、により、３つの立体画像を生成することができる。図１４（ｃ）の例は、入力される立体画像の視差量が比較的小さい場合に、好適な立体感が得られる。
【００９１】
なお、本実施形態では、補正部１３３は、最大値フィルタのウィンドウサイズを、多視点画像を生成する際の視差付加量に応じて、決めるようにしてもよい。
【００９２】
［２−３．効果等］
本実施の形態では、画像生成部２３４は、補正後の視差マップに基づいて、２より多い視点の画像を生成する。これにより、裸眼立体ディスプレイを用いる場合等、立体画像を視聴する視聴位置が複数あるような場合でも、複数視点の立体画像を生成して視聴者に提供することが可能となる。
【００９３】
なお、本実施の形態では４つの異なる視点に対応する立体画像を生成する場合について説明したが、本出願で開示する内容はこれに限定されない。さらに、多くの視点での立体画像等を生成するものであってもよい。
【００９４】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００９５】
上述の実施の形態１，２では、視差マップは立体画像信号から検出されるものとした。視差マップは、例えば、立体体画像信号とともに外部から与えられてもよい。また、視差マップは、奥行き情報の一例であり、立体画像信号の画像面の各位置における奥行き値を表す奥行き情報について、本開示内容は適用可能である。
【００９６】
上述の実施の形態１，２では、平滑化された視差マップの補正処理を、フィルタ処理によって実現するものとした。フィルタ処理以外でも、例えば、画像から前景と背景とのエッジを検出し、検出したエッジから前景領域を特定し、この前景領域の視差量を補正するようにしてもかまわない。
【００９７】
上述の実施の形態１，２では、立体画像表示装置を用いた場合を例にとって本出願の内容を説明した。しかし、本出願が開示する内容はこれに限定されない。例えば、実施の形態１，２で説明した立体画像表示装置１００，２００から、表示部１１３や裸眼立体ディスプレイ２０１を省いた装置を、本開示の画像信号処理装置として実現してもかまわない。この画像信号処理装置が処理（出力）した画像信号をモニターに出力することによって、上述の実施の形態１，２で説明した立体画像表示装置と同等の機能を実現することができる。また、画像生成部１３４，２３４を備えた他の構成の装置を、本開示の画像信号処理装置として実現してもかまわない。
【００９８】
上述の実施の形態１，２では、画像信号処理部１２０，２２０はＣＰＵ１１０とは独立した構成要素として記載しているが、本願で開示する内容はこれに限定されない。画像信号処理部１２０，２２０が実現する機能は、独立したＩＣ等のハードウェアによるコントローラチップで実現されるものであってもよいし、ＣＰＵ１１０上で動作するソフトウェアプログラムとして実現されるものであってもよい。
【００９９】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１００】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１０１】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１０２】
本開示は、より自然な立体画像を生成する画像信号処理装置に適用可能である。具体的には、立体画像を表示するテレビやタブレット、立体画像を記録再生するレコーダなどに、本開示は有効である。
【符号の説明】
【０１０３】
１００，２００  立体画像表示装置
１２０，２２０  画像信号処理部
１３０  新立体画像生成部
２３０  複数視点画像生成部
１３１  視差マップ取得部（取得部）
１３２  視差マップ平滑化部（平滑化部）
１３３  補正部
１３４，２３４  画像生成部
【図１】
2014045471.tif 000003
【図２】
2014045471.tif 000004
【図３】
2014045471.tif 000005
【図４】
2014045471.tif 000006
【図５】
2014045471.tif 000007
【図６】
2014045471.tif 000008
【図７】
2014045471.tif 000009
【図８】
2014045471.tif 000010
【図９】
2014045471.tif 000011
【図１０】
2014045471.tif 000012
【図１１】
2014045471.tif 000013
【図１２】
2014045471.tif 000014
【図１３】
2014045471.tif 000015
【図１４】
2014045471.tif 000016
【手続補正書】
【提出日】平成25年9月18日(2013.9.18)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、入力される立体画像信号を処理する画像信号処理装置に関する。
【背景技術】
【０００２】
特許文献１では、多視点画像内挿装置において、奥行深度情報や視差情報を平滑化することによって、その誤りが軽減され、欠落した奥行深度情報や視差情報が補間されることによって、内挿画像の画質を向上させている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−１７５８６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、視聴者により自然に感じられる立体画像を生成できる画像信号処理装置を提供する。
【課題を解決するための手段】
【０００５】
本開示における画像信号処理装置は、入力される立体画像信号を処理するものであり、立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、奥行き情報を画像面において平滑化する平滑化部と、平滑化された奥行き情報を補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げる補正部と、補正された奥行き情報に基づいて、立体画像信号から新たな立体画像を生成する画像生成部と、を備える。
【発明の効果】
【０００６】
本開示における画像信号処理装置は、より自然な立体画像を生成するのに有効である。
【図面の簡単な説明】
【０００７】
【図１】実施の形態１における立体画像表示装置の機能構成例を示す図
【図２】図１における画像信号処理部の機能構成例を示す図
【図３】図２における新立体画像生成部の機能構成例を示す図
【図４】実施の形態１における新立体画像生成処理のフローチャート
【図５】（ａ）視差マップの例、（ｂ）平滑化処理後の視差マップの例、（ｃ）補正処理後の視差マップの例
【図６】最大値フィルタを用いた補正処理を説明するための図
【図７】最大値フィルタのウィンドウサイズの設定方法の例を示す図
【図８】立体感補正を行う場合の画像生成の例を示す図
【図９】補正処理の効果を説明するための図
【図１０】実施の形態２における立体画像表示装置の機能構成例を示す図
【図１１】図１０における画像信号処理部の機能構成例を示す図
【図１２】図１１における複数視点画像生成部の機能構成例を示す図
【図１３】実施の形態２における複数視点画像生成処理のフローチャート
【図１４】複数視点画像の生成例を示す図
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１０】
立体画像表示装置は、立体画像の左眼用画像と右眼用画像とを、それぞれ左眼と右眼とで知覚されるように表示する。左眼用画像と右眼用画像は、領域毎に画像上で異なったずれ量（視差）を持ち、その視差によって画像が立体として知覚される。
【００１１】
視差が大きい立体画像は豊かな立体感を持つが、視差が過度に大きくなると視聴者には見難い画像となる場合がある。そこで、画像信号処理によって視差を小さくした立体画像を生成して表示する技術が開発されている。立体画像の視差を小さくするには、左眼用画像と右眼用画像との領域毎の視差を検出して、検出した視差に応じて新たな視差を持つ立体画像を生成する方法がある。
【００１２】
しかし、入力される立体画像信号のみから視差を正確に検出することは困難である。誤った視差の検出に基づいて立体画像を生成すると、生成した立体画像と、実際に立体視できる内容とが異なるものとなる。
【００１３】
特許文献１のように、奥行き情報や視差情報に平滑化処理を施すことによって、検出した視差に含まれる画像面における局所的な誤り（ノイズ等）を抑制することができる。その一方で、平滑化処理は、立体画像の前景と背景との境界部分において、本来急峻に変化すべき視差量をより緩やかな変化に変えてしまう可能性がある。このため、平滑化処理を施された視差情報に基づいて立体画像を生成すると、本来の立体画像とは異なる立体画像となってしまう場合がある。
【００１４】
（実施の形態１）
［１−１．構成］
図１は実施の形態１に係る立体画像表示装置１００の機能構成例を示す図である。図１の立体画像表示装置１００は、ＨＤＭＩ(High Definition Multimedia Interface)部１０１、ＨＤＤ(Hard Disk Drive)部１０２、ＳＤ部１０３、ＢＤ(Blu-ray Disc)部１０４、チューナー部１０５、ＭＰＥＧデコーダ１０６、アナログ入力部１０７、Ａ／Ｄコンバータ１０８、画像信号処理部１２０、ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、および、表示パネル１１３を備えている。
【００１５】
なお、以下の説明では、「画像」と記載した場合には、特段の断りがない限り、静止画像と動画像（映像）との両者を含むことを意図している。
【００１６】
ＨＤＭＩ部１０１は、立体画像表示装置１００の外部からＨＤＭＩケーブル等で画像信号等が入力される入力インタフェースである。ＨＤＤ部１０２は、画像が記録されたハードディスクドライブ等の記録媒体から画像信号を読み出す。ＳＤ部１０３は、画像が記録されたＳＤカード等の記録媒体から画像信号を読み出す。ＢＤ部１０４は、画像が記録されたＢｌｕ−ｒａｙディスク等の記録媒体から画像信号を読み出す。チューナー部１０５は、放送局やケーブルテレビ局から配信された放送信号を受信し、この放送信号を復調し所望の画像信号を抽出して出力する。アナログ入力部１０７は、立体画像表示装置１００の外部からの画像信号をアナログ信号として受け付けるインタフェースである。
【００１７】
ＭＰＥＧデコーダ１０６は、ＨＤＤ部１０２、ＳＤ部１０３、ＢＤ部１０４およびチューナー部１０５等から入力された符号化された画像信号を復号する。Ａ／Ｄコンバータ１０８は、アナログ入力部１０７から入力されたアナログ画像信号をデジタル画像信号に変換する。
【００１８】
画像信号処理部１２０は、ＨＤＭＩ部１０１、ＭＰＥＧデコーダ１０６およびＡ／Ｄコンバータ１０８等から入力された画像信号に、各種の処理を行う。具体的な処理内容等については後述する。
【００１９】
ＣＰＵ１１０は、立体画像表示装置１００全体を制御する。ＣＰＵ１１０は、特に、画像信号処理部１２０に各種の制御指示を出し、好適な画像信号処理を実行させる。ＲＡＭ１１１は、ＣＰＵ１１０がプログラム等を実行する際の各種変数の一次保持の場所等として使用される記憶領域である。ＲＯＭ１１２は、ＣＰＵ１１０が動作するために必要なプログラム等を保持しておく記憶領域である。
【００２０】
表示パネル１１３は、画像信号処理部１２０等で処理された画像信号を、視聴者等に表示する。表示パネル１１３には具体的には、プラズマ表示パネル（ＰＤＰ：Plasma Display Panel）や、液晶表示パネル（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ表示パネル（ＯＬＥＤ：Organic Light-Emitting Diode）等を用いることが可能である。
【００２１】
表示する画像が立体画像である場合、表示パネル１１３は立体画像を表示するディスプレイを用いる。立体画像を利用者に提示するには、利用者の左右の眼にそれぞれ別の画像を提示する必要がある。本実施の形態では、立体表示ディスプレイとして、視聴者がメガネをかけて視聴するメガネ式の３Ｄディスプレイを例にとって説明する。
【００２２】
なお、ＨＤＭＩ部１０１、ＨＤＤ部１０２、ＳＤ部１０３、ＢＤ部１０４、チューナー部１０５、およびアナログ入力部１０７は、いずれかの入力信号を採用すればよく、必ずしも全ての入力信号が必要となるわけではない。
【００２３】
図２は画像信号処理部１２０内部の機能構成を示す図である。図２に示す画像信号処理部１２０は、高画質化処理部１２１と、新立体画像生成部１３０とを備えている。高画質化処理部１２１は、表示する画像に対して高画質化処理を行う。高画質化処理として、例えばノイズ除去処理、クロストークキャンセル処理、輪郭強調処理、色補正処理等がある。新立体画像生成部１３０は、入力等される立体画像に基づいて、新たな視点からの立体画像、新たな視差を有する立体画像、等を生成する。
【００２４】
図３は新立体画像生成部１３０の機能構成を示す図である。図３に示す新立体画像生成部１３０は、視差マップ取得部１３１と、視差マップ平滑化部１３２と、補正部１３３と、画像生成部１３４とを有する。
【００２５】
視差マップ取得部１３１は、入力される立体画像が有する視差量を取得する。立体画像信号における左眼用画像と右眼用画像とは、一般に、その内容が視差の分だけ横（水平）方向にずれている。このため、左眼用画像と右眼用画像とで相互に対応する部分は、表示位置が横方向にずれていることが多い。そこで、視差マップ取得部１３１は、このような特性を利用して、左眼用画像と右眼用画像との相互に対応する部分等から、立体画像の画像面の各領域における視差量を奥行き値として検出する。そして、取得した視差量を画像面と同様に２次元（平面）状に配したものが、奥行き情報としての視差マップとなる。
【００２６】
視差マップ平滑化部１３２は、視差マップ取得部１３１が取得した視差マップに対して平滑化処理を行う。すなわち、視差マップ平滑化部１３２によって、奥行き情報が画像面において平滑化される。この際、平滑化処理は、画像面全体を平滑化処理するものであってもよいし、画像面を構成する所定数の画素を含む領域内での平滑化を行うものであってもよい。
【００２７】
補正部１３３は、視差マップ平滑化部１３２により平滑化処理が行われた視差マップに対して、補正処理を行う。この補正処理の目的は、平滑化処理が行われた視差マップに基づいて新たに生成される立体画像が、より自然な立体画像となるようにすることである。この処理の詳細については後述する。
【００２８】
画像生成部１３４は、平滑化処理および補正処理が行われた視差マップに基づいて、新たな視点での立体画像、あるいは、新たな視差量を有する立体画像等を生成する。
【００２９】
［１−２．動作］
図４は新立体画像生成部１３０の処理フローを示したフローチャートである。なお、以下の説明では、視差マップにおける視差量は、表示ディスプレイ面を視差量「０」とし、視聴者に近い方（前景側）を正、遠い方（背景側）を負として数値化されているものとする。
【００３０】
（ステップＳ１１）視差マップ取得部１３１は、入力した立体画像を構成する左右画像の画像面を分割した領域毎の視差量を、視差マップとして取得する。この処理では例えば、左眼用画像のある領域の位置と、当該領域に内容的にほぼ同一と推測される右眼用画像の対応する領域の位置との略水平方向の「ずれ」の大きさを、当該領域の視差量として検出する。この視差量を画像面上の各領域で取得し、それぞれの領域での視差量を示したものが「視差マップ」となる。
【００３１】
もちろん、左眼用画像と右眼用画像とを逆にして視差量を検出してもかまわない。また、左眼用画像と右眼用画像との間の領域の対応付けは、例えばブロックマッチング法を用いて行えばよい。ただし、視差マップを取得する方法は、ブロックマッチング法に限らない。
【００３２】
（ステップＳ１２）視差マップ平滑化部１３２は、視差マップ取得部１３１によって取得された視差マップを平滑化する。この平滑化処理では、視差マップを構成するある領域の視差量とその周辺の領域の視差量とから、当該領域の視差を新たに決定する。視差マップに誤った視差量が含まれていたり、あるいは、元の立体画像の部分的な不良等により正しい視差量が検出されていない場合であっても、平滑化処理によって、正しくない視差量やその他のノイズとなる視差量の影響を抑制することが可能となる。
【００３３】
平滑化処理では、周辺の領域が有する視差量が、当該領域の視差量を決定する際の大きな要因となる。具体的には、例えば、当該領域の視差量と、複数の周辺領域の視差量とを平均化する。あるいは、それぞれの視差量に所定の係数を乗じた上で、平均化等する。
【００３４】
また別の方法として、視差マップ上である大きさを持ったウィンドウ（領域）内において、重み付け加算処理を行ってもよい。重み付け加算処理は、例えば正規分布に則った重みを持つガウシアンフィルタを用いて、行ってもよい。このとき、ガウシアンフィルタの平滑化の強度は、画面一律に、または領域ごとに、自由に設定してもよい。
【００３５】
また、別の重み付け加算処理として、計算量を削減するために、ウィンドウ内の視差量の単純な平均値を計算してもよい。平均値を用いた平滑化処理では、ウィンドウのサイズを、画面一律にまたは領域ごとに変えることによって、平滑化の強度を変えることができる。
【００３６】
（ステップＳ１３）補正部１３３は、視差マップ平滑化部１３２によって平滑化された視差マップ（視差情報）を好適な値に補正する処理を行う。この処理の目的は、平滑化処理等された視差マップに基づいて新たに生成される立体画像が、より自然な立体画像になるようにすることである。なお、以下、補正部１３３によって補正処理が施された視差マップのことを「補正視差マップ」と称する。
【００３７】
補正部１３３は、平滑化処理によって背景物体の視差が混ざったために、本来の視差よりも背景側の値に近くなってしまった前景の視差量を、前景側の値に近づけるように補正する。すなわち、視差マップを補正し、前景と背景との境界部分において前景の視差量を有する領域の範囲を拡げる。
【００３８】
ここでは補正処理の一例として、最大値フィルタを用いる。この最大値フィルタは、フィルタが適用される範囲（ウィンドウ）内の視差量のうち最大の値を、当該範囲を代表する視差量として設定する。画像は２次元の略平面状態で表示されるため、ウィンドウとしては、２次元の形状を有する矩形等を用いるのが一般的である。補正処理の具体的なデータ処理方法等については、後述する。
【００３９】
（ステップＳ１４）画像生成部１３４は、補正部１３３から出力された補正視差マップと、入力された立体画像を構成する左右原画像とを基にして、新たな立体画像を構成する左右画像を生成する。そして新立体画像生成部１３０は、生成した新たな立体画像を表示パネル１１３へ出力する。
【００４０】
上述したように、ここでの説明では、視差マップおよび補正視差マップにおける視差量は、表示ディスプレイ面を視差量「０」とし、視聴者に近い方（前景側）を正、遠い方（背景側）を負として数値化されているものとする。ただし、視差マップの表現方法（視差量の数値化方法）はこの限りではなく、例えば遠い方を正、近い方を負としても良い。この場合は、以降の処理の値の大小をすべて反転すれば良いし、また最大値フィルタに代えて、最小値フィルタを用いればよい。すなわち、補正部１３３は、奥行き情報に含まれた奥行き値を、当該奥行き値の位置を含む所定領域において最も前景側を表す奥行き値に、変更する。さらに、視差量「０」の位置を必ずしも表示ディスプレイ面にしなくてもよい。
【００４１】
図５は新立体画像生成部１３０により、視差マップがどのように生成され変化するかを示す図である。図５において、値「０」〜「５」は視差量を示す。
【００４２】
図５（ａ）は視差マップ取得部１３１により取得された視差マップの一例である。視差量「５」の領域が例えば人物等の前景であり、視差量「０」の領域が背景である。一般に、入力された立体画像を構成する左右画像のみから視差マップを正確に検出することは容易ではない。取得した視差マップには、エラー等、入力される立体画像が本来示す視差とは異なる値が含まれることがある。図５（ａ）の例では、領域ＮＧ１，ＮＧ２における視差量がノイズ（誤差）である。
【００４３】
図５（ｂ）は視差マップ平滑化部１３２が図５（ａ）の視差マップに対して平滑化処理を行った結果の例である。図５（ｂ）では、図５（ａ）と比較すると、領域ＮＧ１，ＮＧ２等のノイズが抑制されている。また図５（ｂ）では、図５（ａ）と比較すると、前景と背景との境界部において視差量の変化が滑らかになり、前景側の視差量が小さくなっている。すなわち、図５（ａ）では視差量「５」の領域と視差量「０」の領域とが直接接しているのに対して、図５（ｂ）では視差量「５」の領域と視差量「０」の領域とは直接接しておらず、その間に視差量「１」〜「４」の領域が含まれている。この結果、図５（ａ）において視差量「５」を有する領域は、その境界付近において、視差量が段階的に「０」に近づいている。
【００４４】
これは、平滑化処理によって、視差量が異なる領域同士の境界付近がより緩やかな視差量変化となるように、視差マップが処理されたためである。視差検出処理により生じた誤差やエラー等は、平滑化処理によって抑制される。その一方で、視差量の大きな変化がある境界付近では、その視差量の急峻な変化は抑制される。このため、平滑化処理を施された視差マップに基づいて新しい立体画像を生成すると、前景と背景との境界付近の視差変化が実際の立体感とは異なり、ぼやけた「奥行き感」を有する立体画像となる可能性がある。
【００４５】
図５（ｃ）は補正部１３３が図５（ｂ）の平滑化後の視差マップに対して補正処理を行った結果の例である。図５（ｃ）では、前景と背景との境界部分において、前景側の視差量「５」を有する領域の範囲が拡がっている。これにより、前景と背景との境界付近の視差変化を、例えば実際の立体感に近づけることができるので、より自然な奥行き感を有する立体画像を生成することができる。
【００４６】
図６は補正部１３３における補正処理の内容を説明するための図である。図６では説明を簡単にするために、視差マップが一次元の場合を例にとっている。図６において、値「１」〜「５」は視差量を示す。視差量「５」の領域が前景に相当する。
【００４７】
図６（ａ）は補正前の視差マップである。視差マップに対して、最大値フィルタにより補正処理を行う範囲（ウィンドウ）を設定する。図６（ａ）では説明のために、４個のウィンドウＷ１，Ｗ２，Ｗ３，Ｗ４を示している。各ウィンドウＷ１，Ｗ２，Ｗ３，Ｗ４のサイズ（ここでは一次元方向の長さ）は、この例では「５」に設定されている。
【００４８】
補正処理において、各ウィンドウは入力された値の最大値を出力する。例えば、ウィンドウＷ１に入力される値（視差量）は「１」「２」「３」「４」「５」である。この場合、最大値は「５」なので、ウィンドウＷ１の出力（補正した視差量）は「５」となる。この「５」が、ウィンドウＷ１の中心位置（入力値が「３」であった位置）の補正後の値になる。
【００４９】
同様に、ウィンドウＷ２は、入力される値が「５」「５」「５」「５」「５」なので、、最大値「５」を出力する。この「５」がウィンドウＷ２の中心位置の補正後の値になる。ウィンドウＷ３は、入力される値が「２」「１」「０」「０」「０」なので、最大値「２」を出力する。ウィンドウＷ４は、入力される値が「０」「０」「０」「０」「０」なので、最大値「０」を出力する。
【００５０】
この結果、図６（ｂ）に示すような視差マップに補正される。図６（ａ）と比較すると、図６（ｂ）では、前景の領域が全体的に拡がっていることが分かる。すなわち、補正部１３３の最大値フィルタは、各ウィンドウ内の最大値を出力することによって、小さくなってしまっていた前景の視差量を本来の値に近くなるように大きく補正する。この結果、補正後の視差マップでは、前景の視差量を持つ領域が拡がることになる。
【００５１】
すなわち、補正部１３３が行う補正内容は、ウィンドウ内の最大視差量を当該ウィンドウの特定位置における視差量としているため、補正後の視差マップは全体的に前景寄りの視差量を有する。これにより、平滑化処理によって前景部分の領域が小さくなってしまった視差マップが、改善される。
【００５２】
立体画像を視聴する際に、視聴者の注目度は、一般に、前景側に表示される部分に対して、より高いものと考えられる。このため、平滑化処理によって前景部分の視差量が小さくなる（背景側にシフトされる）と、立体画像の視聴者は、本来注目度が高い前景の一部、特に背景との境界部分等を、背景側として知覚する。このため、立体画像の視聴者にとって、画像として表示される内容（注目部分）と視差量との関係が不自然なものとなり、視聴しづらい立体画像となる可能性がある。
【００５３】
本実施形態のように、視差マップに対して平滑化処理後に補正処理を行うことによって、平滑化処理により背景側に移された画像の一部を前景側に再度近づけることができる。したがって、立体画像を視聴する視聴者に、より自然な立体画像を提供することが可能となる。加えて本実施形態では、平滑化処理も行っているため、視差マップ検出時等に含まれるエラーや誤差等についても、抑制することが可能となる。
【００５４】
ここで、最大値フィルタのウィンドウサイズは、平滑化の強度に応じて変化させてもよい。これにより、好適なフィルタ処理を行うことができる。例えば、図７（ａ）に示すように、平滑化のためのウィンドウサイズが大きいほど、最大値フィルタのウィンドウを大きくすればよい。平滑化ウィンドウサイズが大きいほど、平滑化の強度が強くなる。平滑化の強度が強いと、前景側の視差量が受ける影響も大きいため、最大値フィルタによって視差量を再度前景側にシフトさせる効果を大きくするのが好ましい。逆に、平滑化の強度が弱い場合は、最大値フィルタのウィンドウサイズを小さくすればよい。
【００５５】
これにより、平滑化処理により前景側の視差を有する領域が小さくなった場合でも、平滑化処理の内容と関連した好適な補正処理により、前景側の視差を有する領域を拡げることによって、視聴者により自然な立体画像を表示することができる。なお、図７（ａ）では、平滑化ウィンドウサイズと最大値フィルタウィンドウサイズとがリニアな関係になっているが、これに限られるものではない。
【００５６】
また、最大値フィルタのウィンドウサイズは、視差を検出するためのブロックマッチングのブロックサイズに応じて決定してもよい。ブロックマッチングを用いて視差を検出すると、前景側の視差を有する画像範囲が背景領域にまで拡がる傾向があり、ブロックサイズが大きいほど、この傾向が強くなる。
【００５７】
すなわち、ブロックサイズが大きい場合、平滑化処理を行う前に既に前景側の視差を有する画像範囲が拡がっているため、最大値フィルタによって前景側の視差を有する領域を拡げる効果を小さくして、バランスを取ることが考えられる。そこで、ブロックマッチングのブロックサイズが大きいほど最大値フィルタのウィンドウサイズを小さくし、ブロックサイズが小さいほど最大値フィルタのウィンドウサイズを大きくしてもよい。
【００５８】
また、最大値フィルタのウィンドウサイズは、後述する立体感補正量に応じて決定してもよい。この立体感補正量は、ユーザーが設定してもよい。例えば図７（ｂ）に示すように、立体感補正量が小さいときは、最大値フィルタによる補正量は小さくても影響が小さいため、ウィンドウサイズを小さくしてもよい。なお、図７（ｂ）では、立体感補正量と最大値フィルタウィンドウサイズとがリニアな関係になっているが、これに限られるものではない。
【００５９】
なお、補正部１３３における補正処理として最大値フィルタを用いる例について説明したが、本開示はこれに限られない。例えば、各ウィンドウが、ウィンドウ内の最大値ではなく、大きい方から２番目またはｎ番目の値を出力しても、同様の効果が得られる。ただし、ｎはウィンドウ内に含まれる視差量の個数の半分より小さい値を設定するのが好ましい。
【００６０】
次に、立体感補正について説明する。画像生成部１３４は、補正部１３３から出力された補正視差マップと、入力された立体画像を構成する左右原画像とを用いて、立体感を補正した新たな立体画像の左右画像を生成する。
【００６１】
画像生成部１３４は、新しい視点位置での視差量を次の（式１）に従って計算する。そして、計算された視差量に基づいて視差マップを修正し、画像を生成する。
ｄ’＝  ｄ*ｇａｉｎ  （式１）
【００６２】
（式１）において、ｄ’は実際に付加する視差量、ｄは補正部１３３から出力された補正視差マップにおける視差量、ｇａｉｎは立体感補正量の設定値を表す。ｇａｉｎは正負の値を持つ。原画像に対して左側に画像を生成する場合はｇａｉｎに正の値を与え、右側に画像を生成する場合はｇａｉｎに負の値を与える。ｇａｉｎの値は、例えば、ユーザーがリモコン操作等によって設定すればよい。あるいは、自動で最適な値を計算して設定してもよい。例えば、表示パネル１１３と視聴者の視聴位置との関係に基づいて、ＣＰＵ１１０あるいは画像信号処理部１２０が好適な値を設定してもよい。
【００６３】
図８を用いて、立体感補正を行う場合の画像生成の例について説明する。まず、立体感を小さく補正する場合は、左右画像の視差を小さくする。この場合は、例えば図８（ａ）に示すとおり、左右それぞれの原画像から視差を小さくする方向に生成した２枚の画像、すなわち左原画像から右側に視差をつけた画像と、右原画像から左側に視差をつけた画像とを出力する。この左右の生成画像によって、立体感補正後の立体画像が得られる。この他にも、例えば図８（ｂ）に示すように、左原画像と、右原画像から左方向に生成した生成画像と、を出力してもよい。あるいはその逆に、右原画像と、左原画像から右方向に生成した生成画像と、を出力しても良い。
【００６４】
一方、立体感を大きく補正する場合は、左右画像の視差を大きくする。この場合は、例えば図８（ｃ）に示すとおり、左原画像から左側に視差をつけた画像と、右原画像から右側に視差をつけた画像とを生成する。この他にも、例えば図８（ｄ）に示すように、左原画像と、右原画像から右方向に生成した生成画像と、を出力してもよい。あるいはその逆に、右原画像と、左原画像から左方向に生成した生成画像と、を出力してもよい。
【００６５】
以上の処理により、本実施形態に係る立体画像表示装置１００は、入力された立体画像に比べて、立体感を小さく、または立体感を大きく補正した立体画像を表示することができる。すなわち、新しい視聴位置や、表示パネル１１３から視聴者の視聴位置までの距離等に応じて、好適な立体画像の表示を可能とするものである。
【００６６】
［１−３．効果等］
図９を用いて本実施形態における視差マップの補正処理の効果について説明する。図９は立体画像を上方から見た場合の奥行きを表現したイメージ図であり、図面上方向が背景側、下方向が前景側である。また、視差マップが示す視差量すなわち奥行き値を細点線で示している。図９（ａ）は平滑化処理後で補正前の状態を示し、図９（ｂ）は補正後の状態を示している。
【００６７】
図９（ａ）に示すように、平滑化処理後の視差マップでは、前景と背景との境界部分において奥行き値がなだらかに変化している。このため、前景領域における、背景との境界に近い部分は、本来の奥行き値よりも背景側に近い奥行き値を有している。すなわち、前景領域の画面位置からの飛び出し量が、背景との境界近傍とその他の部分とで異なってしまっている。この状態で、立体感を小さくする補正をかけたとする。すると、本来の前景領域のように視差が大きい領域については、その視差に応じて物体を遠方に補正する作用が働く。しかし、背景との境界近傍はその他の部分と比べて視差が小さいため、遠方に補正される量が小さくなる。すなわち、前景領域に対する飛び出し補正量が、背景との境界近傍とその他の部分とで異なることになり、この結果、前景領域が、中心部に比べて境界部が相対的に飛び出したように見える。この状態で立体画像を表示すると、非常に不快な見え方になる可能性がある。
【００６８】
これに比べて、図９（ｂ）に示すように、補正後の視差マップでは、平滑化処理によって奥行き値が背景側に近くなっていた前景領域の境界近傍について、視差が、前景領域本来の視差に近い値に補正されている。すなわち、前景領域の画面位置からの飛び出し量が、ほぼ均等になっている。このため、立体感を小さくする補正を行なっても、前景領域はほぼ同程度に遠方に補正される。この結果、前景領域が、中心部に比べて境界部が飛び出したように見えるといった問題が生じず、見やすい立体画像を表示することができる。
【００６９】
以上のように、本実施の形態において、立体画像表示装置１００は、取得部としての視差マップ取得部１３１と、平滑化部としての視差マップ平滑化部１３２と、補正部１３３と、画像生成部１３４とを備えている。視差マップ取得部１３１は、入力される立体画像信号について、画像面の各位置における視差を表す視差マップを取得する。視差マップ平滑化部１３２は、視差マップの視差量を、画像面において平滑化する。補正部１３３は、視差マップ平滑部１３２によって平滑化された視差マップを補正し、前景と背景との境界部分において前景の視差量を有する領域の範囲を拡げる。画像生成部１３４は、補正された視差マップに基づいて、入力された立体画像信号から、新たな立体画像を生成する。
【００７０】
これにより、視差マップ平滑化部１３２によって平滑化された視差マップが、補正部１３３によって補正され、前景と背景との境界部分において前景の視差量を有する領域の範囲が拡がる。この結果、平滑化により前景と背景との境界部分において視差の変化が滑らかになった視差マップが、視聴者に視聴しやすい立体画像の視差マップに補正される。したがって、入力された立体画像信号から新たな立体画像を生成する場合に、より自然な立体画像を生成することが可能となる。
【００７１】
また、本実施の形態において、補正部１３３は、平滑化された視差マップの視差量を、画像面の当該視差量の位置を含む所定領域において最も前景側を表す視差量に、変更する補正を行う。例えば、前景側がより大きな視差量を持つ場合には、最大値フィルタを用いて補正を行う。これにより、補正部１３３は、平滑化された視差マップを、確実に、視聴者に視聴しやすい立体画像の視差マップに補正することができる。
【００７２】
また、本実施の形態において、補正部１３３は、補正の強度を、平滑化の強度に応じて、あるいは、立体感補正の補正量に応じて、調整する。これにより、好適な補正処理を行うことができ、視聴者により自然な立体画像を表示することができる。
【００７３】
（実施の形態２）
実施の形態２の説明では、実施の形態１と相違する点を中心に説明し、実施の形態１と実質的に同一の内容に対する重複説明を省略する場合がある。
【００７４】
［２−１．構成］
図１０は実施の形態２に係る立体画像表示装置２００の機能構成例を示す図である。図１０の立体画像表示装置２００は、ＨＤＭＩ部１０１、ＨＤＤ部１０２、ＳＤ部１０３、ＢＤ部１０４、チューナー部１０５、ＭＰＥＧデコーダ１０６、アナログ入力部１０７、Ａ／Ｄコンバータ１０８、画像信号処理部２２０、ＣＰＵ１１０、ＲＡＭ１１１、ＲＯＭ１１２、および、裸眼立体ディスプレイ２０１を備える。
【００７５】
図１０の立体画像表示装置２００は、実施の形態１で説明した立体画像表示装置１００と対比すると、画像信号処理部１２０および表示パネル１１３に代えて、画像信号処理部２２０および裸眼立体ディスプレイ２０１を備えた点が異なっている。その他の点については、実施の形態１と実質的に同じであるので説明を省略する。
【００７６】
画像信号処理部２２０は、実施の形態１で説明した画像信号処理部１２０と同様に、立体画像としての好適な信号処理を行う。画像信号処理部２２０はさらに、裸眼立体ディスプレイ２０１に適した立体画像のための画像信号処理を行う。詳細については後述する。
【００７７】
裸眼立体ディスプレイ２０１には、視差バリア方式、レンチキュラー方式など多数の方式があるが、視聴者が裸眼で立体画像を視聴できるものであればどの方式でもよく、限定しない。裸眼立体ディスプレイ２０１は、立体画像を視聴する位置と裸眼ディスプレイ２０１との位置関係によって左右の目に逆の画像を提示してしまう逆視を防止するために、メガネ式の２視点よりも多い、４視点、８視点またはそれ以上の視点の画像を表示する場合がある。
【００７８】
入力される立体画像は、通常、左眼用画像と右眼用画像を有する２視点画像である。画像信号処理部２２０は、２視点より多い複数視点の画像を生成する。以下、４視点の画像を生成する場合を例として説明するが、本開示の視点数はこれに限定されない。
【００７９】
図１１は画像信号処理部２２０の機能構成を示す図である。図１１に示す画像信号処理部２２０は、高画質化処理部１２１と、複数視点画像生成部２３０とを備えている。高画質化処理部１２１については実施の形態１ですでに説明したので、ここでは説明を省略する。複数視点画像生成部２３０は、実施の形態１で説明したような、視差量の検出、平滑化処理、および補正処理を行い、さらに２より多い複数視点での立体画像生成処理を行う。
【００８０】
図１２は複数視点画像生成部２３０の機能構成を示す図である。図１２に示す複数視点画像生成部２３０は、視差マップ取得部１３１と、視差マップ平滑化部１３２と、補正部１３３と、画像生成部２３４とを有する。視差マップ取得部１３１、視差マップ平滑化部１３２、および補正部１３３については実施の形態１ですでに説明したので、ここでは説明を省略する。
【００８１】
画像生成部２３４は、補正後の視差マップに基づいて、２より多い複数視点の立体画像を生成する。本実施の形態では４視点の画像を生成する場合を例としているが、本開示内容はこれに限定されるものではない。
【００８２】
［２−２．動作］
図１３は複数視点画像生成部２３０の処理フローを示したフローチャートである。図１３において、ステップＳ２１〜Ｓ２３は、実施の形態１で説明した図４のフローチャートのステップＳ１１〜Ｓ１３と実質的に同一であるため、説明を省略する。
【００８３】
（ステップＳ２４）画像生成部２３４は、所定視点数の立体画像の生成が完了したか否かを判断する。ここでは視点数４としているので、４視点分の立体画像の生成が完了したか否かを判断する。すべての視点での立体画像の生成が完了していれば処理を終了する。未生成の立体画像があれば、処理をステップＳ２５に移す。
【００８４】
（ステップＳ２５）画像生成部２３４は、未生成分の立体画像を、補正後の視差マップに基づいて生成する。この個々の立体画像の生成方法については、実施の形態１で説明した図４のステップＳ１４と実質的に同一であるため、説明を省略する。立体画像の生成および出力が終了すれば、ステップＳ２４に処理を戻す。
【００８５】
複数視点画像生成部２３０（画像生成部２３４）から出力された立体画像は、裸眼立体ディスプレイ２０１に出力され表示される。
【００８６】
図１４を用いて、画像生成部２３４が複数の立体画像を生成する例について説明する。
【００８７】
図１４（ａ）では、入力される立体画像を構成する左右原画像と、左原画像から右側に生成した左生成画像と、右原画像から左側に生成した右生成画像と、を４視点画像としている。画像生成部２３４は、これらの画像を生成し、１）左原画像と左生成画像との組み合わせ、２）左生成画像と右生成画像との組み合わせ、３）右生成画像と右原画像との組み合わせ、により、３つの立体画像を生成することができる。入力される立体画像の視差量が比較的大きい場合は、この生成方法によって好適な立体感が得られる。
【００８８】
図１４（ｂ）では、左右原画像と、左原画像から左側に生成した左生成画像と、右原画像から左側に生成した右生成画像と、を４視点画像としている。画像生成部２３４は、これらの画像を生成し、１）左生成画像と左原画像との組み合わせ、２）左原画像と右生成画像との組み合わせ、３）右生成画像と右原画像との組み合わせ、により、３つの立体画像を生成することができる。入力される立体画像の視差量が中程度である場合は、この生成方法によって好適な立体感が得られる。
【００８９】
なお、図１４（ｂ）の例では、左右原画像に対して、それぞれ左側に左右生成画像を生成したが、これに限定されるものではない。反対に、左右原画像に対してそれぞれ右側に左右生成画像を生成するものであっても、同様の効果が得られる。
【００９０】
図１４（ｃ）では、左右原画像と、左原画像の左側に生成した左生成画像と、右原画像の右側に生成した右生成画像と、を４視点画像としている。画像生成部２３４は、これらの画像を生成し、１）左生成画像と左原画像との組み合わせ、２）左原画像と右原画像との組み合わせ、３）右原画像と右生成画像との組み合わせ、により、３つの立体画像を生成することができる。図１４（ｃ）の例は、入力される立体画像の視差量が比較的小さい場合に、好適な立体感が得られる。
【００９１】
なお、本実施形態では、補正部１３３は、最大値フィルタのウィンドウサイズを、多視点画像を生成する際の視差付加量に応じて、決めるようにしてもよい。
【００９２】
［２−３．効果等］
本実施の形態では、画像生成部２３４は、補正後の視差マップに基づいて、２より多い視点の画像を生成する。これにより、裸眼立体ディスプレイを用いる場合等、立体画像を視聴する視聴位置が複数あるような場合でも、複数視点の立体画像を生成して視聴者に提供することが可能となる。
【００９３】
なお、本実施の形態では４つの異なる視点に対応する立体画像を生成する場合について説明したが、本出願で開示する内容はこれに限定されない。さらに、多くの視点での立体画像等を生成するものであってもよい。
【００９４】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１，２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜２で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００９５】
上述の実施の形態１，２では、視差マップは立体画像信号から検出されるものとした。視差マップは、例えば、立体体画像信号とともに外部から与えられてもよい。また、視差マップは、奥行き情報の一例であり、立体画像信号の画像面の各位置における奥行き値を表す奥行き情報について、本開示内容は適用可能である。
【００９６】
上述の実施の形態１，２では、平滑化された視差マップの補正処理を、フィルタ処理によって実現するものとした。フィルタ処理以外でも、例えば、画像から前景と背景とのエッジを検出し、検出したエッジから前景領域を特定し、この前景領域の視差量を補正するようにしてもかまわない。
【００９７】
上述の実施の形態１，２では、立体画像表示装置を用いた場合を例にとって本出願の内容を説明した。しかし、本出願が開示する内容はこれに限定されない。例えば、実施の形態１，２で説明した立体画像表示装置１００，２００から、表示パネル１１３や裸眼立体ディスプレイ２０１を省いた装置を、本開示の画像信号処理装置として実現してもかまわない。この画像信号処理装置が処理（出力）した画像信号をモニターに出力することによって、上述の実施の形態１，２で説明した立体画像表示装置と同等の機能を実現することができる。また、画像生成部１３４，２３４を備えた他の構成の装置を、本開示の画像信号処理装置として実現してもかまわない。
【００９８】
上述の実施の形態１，２では、画像信号処理部１２０，２２０はＣＰＵ１１０とは独立した構成要素として記載しているが、本願で開示する内容はこれに限定されない。画像信号処理部１２０，２２０が実現する機能は、独立したＩＣ等のハードウェアによるコントローラチップで実現されるものであってもよいし、ＣＰＵ１１０上で動作するソフトウェアプログラムとして実現されるものであってもよい。
【００９９】
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
【０１００】
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【０１０１】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【０１０２】
本開示は、より自然な立体画像を生成する画像信号処理装置に適用可能である。具体的には、立体画像を表示するテレビやタブレット、立体画像を記録再生するレコーダなどに、本開示は有効である。
【符号の説明】
【０１０３】
１００，２００  立体画像表示装置
１２０，２２０  画像信号処理部
１３０  新立体画像生成部
２３０  複数視点画像生成部
１３１  視差マップ取得部（取得部）
１３２  視差マップ平滑化部（平滑化部）
１３３  補正部
１３４，２３４  画像生成部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力される立体画像信号を処理する画像信号処理装置であって、
前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
前記奥行き情報を、前記画像面において平滑化する平滑化部と、
平滑化された前記奥行き情報を補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げる補正部と、
補正された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備えた
ことを特徴とする画像信号処理装置。
【請求項２】
請求項１記載の画像信号処理装置において、
前記補正部は、前記奥行き情報に含まれた奥行き値を、前記画像面の当該奥行き値の位置を含む所定領域において最も前景側を表す奥行き値に、変更する補正を行う
ことを特徴とする画像信号処理装置。
【請求項３】
請求項１記載の画像信号処理装置において、
前記画像生成部は、前記新たな立体画像として、２より多い視点の画像を生成する
ことを特徴とする画像信号処理装置。
【請求項４】
請求項１記載の画像信号処理装置において、
前記平滑化部は、平滑化の強度を調整可能に構成されており、
前記補正部は、補正の強度を調整可能に構成されており、かつ、前記平滑化部における平滑化の強度に応じて、補正の強度を調整する
ことを特徴とする画像信号処理装置。
【請求項５】
請求項１記載の画像信号処理装置において、
前記画像生成部は、前記新たな立体画像に対して立体感補正を行う機能を有しており、
前記補正部は、補正の強度を調整可能に構成されており、かつ、前記画像生成部における立体感補正の補正量に応じて、補正の強度を調整する
ことを特徴とする画像信号処理装置。
【請求項６】
立体画像信号を処理する画像信号処理方法であって、
前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得し、
前記奥行き情報を、前記画像面において平滑化し、
平滑化された前記奥行き情報を補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げて、
補正された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する
ことを特徴とする画像信号処理方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2014045471.tif 000017
【図２】
2014045471.tif 000018
【図３】
2014045471.tif 000019
【図４】
2014045471.tif 000020
【図５】
2014045471.tif 000021
【図６】
2014045471.tif 000022
【図７】
2014045471.tif 000023
【図８】
2014045471.tif 000024
【図９】
2014045471.tif 000025
【図１０】
2014045471.tif 000026
【図１１】
2014045471.tif 000027
【図１２】
2014045471.tif 000028
【図１３】
2014045471.tif 000029
【図１４】
2014045471.tif 000030
【手続補正書】
【提出日】平成26年7月7日(2014.7.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本開示における画像信号処理装置は、入力される立体画像信号を処理するものであり、立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、奥行き情報を画像面において平滑化する平滑化部と、平滑化された奥行き情報を、当該奥行き情報以外の情報を用いないで、補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げる補正部と、補正された奥行き情報に基づいて、立体画像信号から新たな立体画像を生成する画像生成部と、を備える。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力される立体画像信号を処理する画像信号処理装置であって、
前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
前記奥行き情報を、前記画像面において平滑化する平滑化部と、
平滑化された前記奥行き情報を、当該奥行き情報以外の情報を用いないで、補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げる補正部と、
補正された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備えた
ことを特徴とする画像信号処理装置。
【請求項２】
請求項１記載の画像信号処理装置において、
前記補正部は、前記奥行き情報に含まれた奥行き値を、前記画像面の当該奥行き値の位置を含む所定領域において最も前景側を表す奥行き値に、変更する補正を行う
ことを特徴とする画像信号処理装置。
【請求項３】
請求項１記載の画像信号処理装置において、
前記画像生成部は、前記新たな立体画像として、２より多い視点の画像を生成する
ことを特徴とする画像信号処理装置。
【請求項４】
入力される立体画像信号を処理する画像信号処理装置であって、
前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
前記奥行き情報を、前記画像面において平滑化する平滑化部と、
平滑化された前記奥行き情報を補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げる補正部と、
補正された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備え、
前記平滑化部は、平滑化の強度を調整可能に構成されており、
前記補正部は、補正の強度を調整可能に構成されており、かつ、前記平滑化部における平滑化の強度に応じて、補正の強度を調整する
ことを特徴とする画像信号処理装置。
【請求項５】
入力される立体画像信号を処理する画像信号処理装置であって、
前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得する取得部と、
前記奥行き情報を、前記画像面において平滑化する平滑化部と、
平滑化された前記奥行き情報を補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げる補正部と、
補正された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する画像生成部とを備え、
前記画像生成部は、前記新たな立体画像に対して立体感補正を行う機能を有しており、
前記補正部は、補正の強度を調整可能に構成されており、かつ、前記画像生成部における立体感補正の補正量に応じて、補正の強度を調整する
ことを特徴とする画像信号処理装置。
【請求項６】
立体画像信号を処理する画像信号処理方法であって、
前記立体画像信号について、画像面の各位置における奥行き値を表す奥行き情報を取得し、
前記奥行き情報を、前記画像面において平滑化し、
平滑化された前記奥行き情報を、当該奥行き情報以外の情報を用いないで、補正し、前景と背景との境界部分において前景の奥行き値を有する領域の範囲を拡げて、
補正された前記奥行き情報に基づいて、前記立体画像信号から、新たな立体画像を生成する
ことを特徴とする画像信号処理方法。
【国際調査報告】
2014045471.tif 000031
2014045471.tif 000032