(57)【要約】【課題】  周辺の画素との関係性を考慮した奥行き値を演算し、滑らかで自然な立体視画像が得られる画像処理装置を提供する。【解決手段】  １枚の非立体視画像の画像信号である入力画像信号２０８に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値を一時的に保持するバッファー部２０と、前記演算対象画素群の画素値に基づいて前記注目画素の奥行き値を生成する奥行き値生成部３０と、前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部４０と、を含む。【選択図】  図１
2012060246.tif 000002
【特許請求の範囲】
【請求項１】
１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、
前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値を一時的に保持するバッファー部と、
前記演算対象画素群の画素値に基づいて前記注目画素の奥行き値を生成する奥行き値生成部と、
前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含む画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記奥行き値生成部は、
前記演算対象画素群の画素値の平均値に基づき前記奥行き値を生成する画像処理装置。
【請求項３】
請求項１乃至２のいずれかに記載の画像処理装置において、
前記奥行き値生成部は、
前記演算対象画素群の画素値、又は前記演算対象画素群の画素値に基づき演算した修正画素値から輝度と彩度とを求め、前記輝度と前記彩度とを所与の割合で加算することで前記注目画素の前記奥行き値を生成する画像処理装置。
【請求項４】
１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、
前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値に基づいて、前記注目画素の奥行き値を生成する奥行き値生成部と、
前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含み、
前記奥行き値生成部は、
前記演算対象画素群の画素値に基づいて、前記注目画素の輝度と彩度とを求め、前記輝度と前記彩度とを所与の割合で加算することで前記注目画素の奥行き値を生成する画像処理装置。
【請求項５】
請求項３乃至４のいずれかに記載の画像処理装置において、
前記奥行き値生成部は、
前記演算対象画素群の画素値に基づいて、前記非立体視画像に含まれるオブジェクトのエッジを検出し、
前記非立体視画像を前記オブジェクトのエッジで区切られた領域に区分し、
前記注目画素が前記領域のいずれに属するかを判断して、判断結果に基づき前記輝度と前記彩度とを加算する際の前記所与の割合を定める画像処理装置。
【請求項６】
請求項３乃至４のいずれかに記載の画像処理装置において、
前記奥行き値生成部は、
前記演算対象画素群の画素値に基づいて、輝度、彩度とは異なる前記注目画素の属性を求め、
前記注目画素の属性に基づいて、前記輝度と前記彩度とを加算する前記所与の割合を定める画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記奥行き値生成部は、
前記演算対象画素群の明度差を前記注目画素の属性として求める画像処理装置。
【請求項８】
請求項３乃至５のいずれかに記載の画像処理装置において、
前記奥行き値生成部は、
前記演算対象画素群の明度差を求めて、
前記明度差に基づいて、前記注目画素が前記非立体視画像において焦点からどれだけ離れているかを示すぼやけ度を求め、
前記輝度と前記彩度と前記ぼやけ度とを所与の割合で加算することで前記注目画素の奥行き値を生成する画像処理装置。
【請求項９】
請求項１又は８に記載の画像処理装置において、
前記立体視画像生成部は、
前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する場合において、
前記注目画素をその奥行き値に基づいて画素移動させた位置である対象画素理想位置と、前記注目画素に隣接する隣接画素をその奥行き値に基づいて画素移動させた位置である隣接画素理想位置とを求め、
前記対象画素理想位置と前記隣接画素理想位置とに挟まれる前記左目用画像又は前記右目用画像の画素の画素値を、前記注目画素および前記隣接画素の画素値に基づく補間処理により求める画像処理装置。
【請求項１０】
１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、
前記入力画像信号に基づいて前記非立体視画像の各画素の奥行き値を生成する奥行き値生成部と、
前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含み、
前記立体視画像生成部は、
前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する場合において、
前記非立体視画像における１つの画素である注目画素をその奥行き値に基づいて画素移動させた位置である対象画素理想位置と、前記注目画素に隣接する隣接画素をその奥行き値に基づいて画素移動させた位置である隣接画素理想位置とを求め、
前記対象画素理想位置と前記隣接画素理想位置とに挟まれる画素の画素値を、前記注目画素および前記隣接画素の画素値に基づく補間処理により求める画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかに記載の画像処理装置を含む集積回路装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、集積回路装置等に関する。
【背景技術】
【０００２】
近年、２Ｄ３Ｄ変換によって非立体視画像（２次元画像）を加工し、立体視画像（３次元画像）として鑑賞者に認識させる立体視が行われている。２Ｄ３Ｄ変換では、例えば立体視画像における奥行きを示す奥行き値を非立体視画像の特徴から推定し、視差のある２枚の画像を生成する。この２枚の画像はそれぞれ右目用画像と左目用画像であり、画像生成の際には、奥行き値に基づいて画素を移動させる画素移動が一般に行われる。
【０００３】
特許文献１によれば、各画素の彩度から画像の奥行き値を推定している。しかし、推定される彩度は各画素でばらつく。このような奥行き値に基づいて画素移動を行った場合、鑑賞者にとってギザギザで滑らかさのない立体視画像に見える可能性がある。特許文献１ではこれを回避するために、画像中のオブジェクトを抽出し、その中に含まれる画素の奥行き値を平均する。しかし、平均化により各オブジェクトは平面的に飛び出す、又は奥まることになり、不自然な立体視画像が得られることになる。
【０００４】
特許文献２によれば、各画素の輝度から画像の奥行き値を推定している。そして、オブジェクト単位ではなく画素単位で周囲の奥行き値との平均化を行っており、オブジェクトが平面的に飛び出す又は奥まるという問題は生じない。しかし、奥行き値の推定は１つの画素の画素値に基づき画一的に行われ、周辺画素との関係性を考慮した奥行き値を得ることはできない。例えば、奥行き値を求める画素が遠景に含まれるか、近景に含まれるかによって、適応的に奥行き値の推定に用いるパラメーターを変更することはできない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−１２３８４２号公報
【特許文献２】特許第４０６１３０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明はこのような問題点に鑑みてなされたものである。本発明のいくつかの態様によれば、周辺の画素との関係性を考慮した奥行き値を演算し、滑らかで自然な立体視画像が得られる画像処理装置を提供することができる。
【課題を解決するための手段】
【０００７】
（１）本発明は、１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値を一時的に保持するバッファー部と、前記演算対象画素群の画素値に基づいて前記注目画素の奥行き値を生成する奥行き値生成部と、前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含む。
【０００８】
（２）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の画素値の平均値に基づき前記奥行き値を生成してもよい。
【０００９】
本発明の奥行き値生成部は、１つの画素（注目画素）の画素値から奥行き値を生成するのではなく、注目画素を含む例えばＵ画素×Ｖ画素（Ｕ、Ｖは２以上の整数）の領域に含まれる画素（演算対象画素群）から奥行き値を生成する。具体的には、演算対象画素群の画素値を演算することにより求められる修正画素値に基づいて奥行き値を生成する。修正画素値とは例えば演算対象画素群の画素値の平均値であるが、画素毎に異なった重み付けをして求めてもよい。これらの発明によれば、周辺の画素との関係性を考慮した修正画素値に基づいて奥行き値が生成されるため、奥行き値を得た後に平均化の処理を行わなくても自然な立体視画像が得られる。なお、一般の画像信号の処理と同様に、注目画素はこの画像処理装置のシステムクロックに同期してシフトし、所定の時間が経過すると１フレーム全ての画素について奥行き値が生成される。つまり、注目画素は非立体視画像の画素のいずれかであって、時間と共に変化する。また、右目用画像と左目用画像とは常に対になって生成される必要はない。例えば、相関の高い２フレームの非立体視画像が得られる場合に、第１フレーム目では右目用画像を生成し、第２フレーム目では左目用画像を生成してもよい。
【００１０】
（３）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の画素値、又は前記演算対象画素群の画素値に基づき演算した修正画素値から輝度と彩度とを求め、前記輝度と前記彩度とを所与の割合で加算することで前記注目画素の前記奥行き値を生成してもよい。
【００１１】
（４）本発明は、１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、前記入力画像信号のうち、前記非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値に基づいて、前記注目画素の奥行き値を生成する奥行き値生成部と、前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含み、前記奥行き値生成部は、前記演算対象画素群の画素値に基づいて、前記注目画素の輝度と彩度とを求め、前記輝度と前記彩度とを所与の割合で加算することで前記注目画素の奥行き値を生成する。
【００１２】
これらの発明によれば、  輝度と彩度を所与の割合で加算して奥行き値とすることができる。よって、加算する割合を調整することで、画像の特性（例えば遠景、又は近景）にあった奥行き値を生成することが可能となる。さらに、本発明の奥行き値生成部は、注目画素と周囲の画素の画素値に基づいて加算する割合を調整することができるため、１フレームの非立体視画像の中でも例えば画素毎に前記の割合を変更することが可能である。
【００１３】
（５）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の画素値に基づいて、前記非立体視画像に含まれるオブジェクトのエッジを検出し、前記非立体視画像を前記オブジェクトのエッジで区切られた領域に区分し、前記注目画素が前記領域のいずれに属するかを判断して、判断結果に基づき前記輝度と前記彩度とを加算する際の前記所与の割合を定めてもよい。
【００１４】
本発明によれば、オブジェクトのエッジで区切られた領域毎に  、奥行き値を構成する輝度と彩度の割合を調整できるので、より自然な画像を生成することができる。
【００１５】
（６）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の画素値に基づいて、輝度、彩度とは異なる前記注目画素の属性を求め、前記注目画素の属性に基づいて、前記輝度と前記彩度とを加算する前記所与の割合を定めてもよい。
【００１６】
（７）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の明度差を前記注目画素の属性として求めてもよい。
【００１７】
これらの発明によれば、演算対象画素群（注目画素と周囲の画素）の画素値に基づいて輝度、彩度とは異なる画像の情報（属性）を求めて、輝度と彩度とを加算する所与の割合を調整できるので、より自然な画像の生成を可能にする。例えば、当該属性としては演算対象画素群の明度差（コントラスト）であってもよい。
【００１８】
（８）この画像処理装置において、前記奥行き値生成部は、前記演算対象画素群の明度差を求めて、前記明度差に基づいて、前記注目画素が前記非立体視画像において焦点からどれだけ離れているかを示すぼやけ度を求め、前記輝度と前記彩度と前記ぼやけ度とを所与の割合で加算することで前記注目画素の奥行き値を生成してもよい。
【００１９】
本発明によれば、演算対象画素群の画素値に基づいて輝度、彩度、ぼやけ度を求めて、輝度と彩度とぼやけ度とを加算する所与の割合を調整できるので、さらに自然な画像を生成することができる。ぼやけ度は、注目画素が画像において焦点から離れており、ピントが合っていない場合に絶対値が大きくなるような画像の情報である。コントラストが低い場合には、ぼやけ度は大きくなる。
【００２０】
（９）この画像処理装置において、前記立体視画像生成部は、前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する場合において、前記注目画素をその奥行き値に基づいて画素移動させた位置である対象画素理想位置と、前記注目画素に隣接する隣接画素をその奥行き値に基づいて画素移動させた位置である隣接画素理想位置とを求め、前記対象画素理想位置と前記隣接画素理想位置とに挟まれる前記左目用画像又は前記右目用画像の画素の画素値を、前記注目画素および前記隣接画素の画素値に基づく補間処理により求めてもよい。
【００２１】
（１０）本発明は、１枚の非立体視画像の画像信号である入力画像信号に基づいて、立体視画像を構成する右目用画像及び左目用画像の少なくとも一方の画像信号を生成する画像処理装置であって、前記入力画像信号に基づいて前記非立体視画像の各画素の奥行き値を生成する奥行き値生成部と、前記奥行き値に基づいて前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する立体視画像生成部と、を含み、前記立体視画像生成部は、前記左目用画像及び前記右目用画像の少なくとも一方の画像信号を生成する場合において、前記非立体視画像における１つの画素である注目画素をその奥行き値に基づいて画素移動させた位置である対象画素理想位置と、前記注目画素に隣接する隣接画素をその奥行き値に基づいて画素移動させた位置である隣接画素理想位置とを求め、前記対象画素理想位置と前記隣接画素理想位置とに挟まれる画素の画素値を、前記注目画素および前記隣接画素の画素値に基づく補間処理により求める。
【００２２】
これらの発明によれば、視差のある左目用画像と右目用画像との画像信号を生成する際に、画素の移動量を小数点以下まで求めて理想的な画素移動の位置（対象画素理想位置、隣接画素理想位置）を計算する。そして、対象画素理想位置と隣接画素理想位置とに挟まれた画素の画素値を補完処理によって求めることで、移動量の小数点以下を切り上げ、切り捨て、又は四捨五入等して画素値を求める手法に比べて、画素の不連続感を与えない自然な画像を生成することができる。
【００２３】
（１１）本発明は、前記のいずれかに記載の画像処理装置を含む集積回路装置である。
【００２４】
本発明によれば、自然な立体視画像の立体視を可能にする半導体デバイスなどの集積回路を提供することができる。
【図面の簡単な説明】
【００２５】
【図１】第１実施形態における画像処理装置を含む集積回路装置のブロック図。
【図２】図２（Ａ）は非立体視画像を例示した図。図２（Ｂ）は第１実施形態におけるバッファー部のブロック図。
【図３】第１実施形態における奥行き値生成部のブロック図。
【図４】図４（Ａ）〜（Ｄ）は奥行き値を説明するための図。
【図５】図５（Ａ）は非立体視画像を例示した図。図５（Ｂ）は右目用画像の補間処理を説明するための図。図５（Ｃ）は左目用画像の補間処理を説明するための図。
【図６】第１実施形態における立体視画像生成部のブロック図。
【図７】図７（Ａ）、（Ｂ）は補間処理用変数を説明するための図。
【図８】補間処理における係数を説明するための図。
【図９】第１実施形態における立体視画像生成部の処理を表すフローチャート。
【図１０】第１変形例における奥行き値生成部のブロック図。
【図１１】第２変形例における奥行き値生成部のブロック図。
【図１２】第３変形例における奥行き値生成部のブロック図。
【図１３】図１３（Ａ）、（Ｂ）は非立体視画像の領域を例示した図。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について図面を参照して説明する。
【００２７】
１．第１実施形態
本発明の第１実施形態について図１〜図９を参照して説明する。
【００２８】
１．１．画像処理装置の入出力信号
図１の２Ｄ３Ｄ変換器が本実施形態の画像処理装置である。本実施形態では、画像処理装置（２Ｄ３Ｄ変換器）１０は集積回路装置１０００の一部であり、入力画像信号２０８を受け取って出力立体視画像信号２１４に変換して出力する。なお、画像処理装置１０は集積回路装置１０００の一部ではなく独立した装置であってもよい。
【００２９】
本実施形態では、画像処理装置１０は、集積回路装置１０００の入力インターフェース（入力Ｉ／Ｆ）８０、メモリーインターフェース（メモリーＩ／Ｆ）８２、フレームバッファー８４、別のメモリーインターフェース（メモリーＩ／Ｆ）８６を経由した入力画像信号２０８を取得する。フレームバッファー８４は１フレーム分以上の画素値を一時保存できるメモリーであり、フレームバッファー８４にアクセスするためのインターフェースとしてメモリーインターフェース８２、８６が設けられている。集積回路装置１０００の外部から入力される画像信号２００は、例えばホストＣＰＵから供給されてもよい。このとき、入力インターフェース８０により適切なデータの受け渡しが行われる。画像信号２０２、２０４、２０６は集積回路装置１０００の内部信号である。
【００３０】
本実施形態では、画像処理装置１０は３Ｄパネルの特性に合わせて、すなわちＬＣＤインターフェース（ＬＣＤＩ／Ｆ）９０の要求する入力フォーマットに合わせて出力立体視画像信号２１４を出力する。出力立体視画像信号２１４は、ＦＩＦＯ８８を経由して画像信号２１６としてＬＣＤインターフェース９０に入力されて画像信号２１８として、集積回路装置１０００の外部へと出力される。
【００３１】
本実施形態では、画像処理装置１０は、例えばホストＣＰＵから奥行き値の演算で用いる係数を制御する制御信号２２０を受け取ってもよい。
【００３２】
１．２．画像処理装置の構成
本実施形態の画像処理装置１０は、バッファー部２０、奥行き値生成部３０、立体視画像生成部４０を含む。
【００３３】
バッファー部２０は、入力画像信号２０８のうち、非立体視画像における１つの画素である注目画素とその周囲の画素を含む演算対象画素群の画素値２１０を一時的に保持する。
【００３４】
奥行き値生成部３０は、バッファー部２０に保持される演算対象画素群の画素値２１０に基づいて、前記注目画素の前記立体視画像における奥行きを示す奥行き値を生成する。演算対象画素群の画素値２１０に基づいて、前記注目画素の画素値を修正した修正画素値を求める画素値修正部を含んでいてもよい。このとき、修正画素値に基づいて奥行き値が生成される。
【００３５】
立体視画像生成部４０は、前記注目画素および前記注目画素に隣接する画素の画素値に基づいて補間処理を行うことで、出力立体視画像信号２１４を構成する左目用画像及び右目用画像の少なくとも一方の画像信号を生成する。本実施形態の立体視画像生成部４０は、図１のように、バッファー部２０から注目画素の画素値２２４、前記注目画素に隣接する画素（隣接画素）の画素値２２６、ピクセルカウンターの値２２８、奥行き値生成部３０から注目画素の奥行き値２１２、隣接画素の奥行き値２２２を受け取る。
【００３６】
１．３．バッファー部
図２（Ａ）はバッファー部２０に保持される画素値を説明するための非立体視画像３００の例である。非立体視画像３００は水平方向にＮ画素、垂直方向にＭ画素を含む。その画素Ｐｉｊは画素の位置に応じて添え字が付されている。添え字ｉはＭまでの自然数であり垂直方向のｉライン目の画素であることを示す。添え字ｊはＮまでの自然数であり水平方向のｊカラム目の画素であることを示す。なお、図２（Ｂ）では、画素Ｐｉｊの画素値もＰｉｊで表現している。
【００３７】
画素Ｐｉｊの画素値は、例えばＲＧＢそれぞれ８ビットのデータを有する２４ビットデータであってもよいし、Ｇが６ビット、ＲとＢは５ビットのデータを有する１６ビットデータであってもよい。また、ＹＵＶなどのデータフォーマットであってもよい。
【００３８】
図２（Ｂ）は本実施形態のバッファー部２０のブロック図である。本実施形態のバッファー部２０は、奥行き値生成部３０の演算に必要な画素の画素値を一時的に保持する。バッファー部２０が画素値を保持することにより、後段の奥行き値生成部３０は注目画素と周辺画素との関係性を考慮した演算結果を得ることができる。そして、周辺画素との関係性を考慮して生成された奥行き値により、画像処理装置１０はより自然な立体視画像を生成することができる。
【００３９】
本実施形態のバッファー部２０では、バッファーＰＬ１１〜ＰＬ３３は図外のクロックに同期してＰＬｕｖのデータをＰＬｕｖ＋１へとシフトさせる（但し、この例ではｕ＝｛１、２、３｝、ｖ＝｛１、２｝）。ラインバッファー１とラインバッファー２はそれぞれ１つ前のライン、２つ前のラインの画素値を保持するラインバッファーである。
【００４０】
本実施形態のバッファー部２０は、演算対象画素群の画素値２１０を奥行き値生成部３０に出力する。そして、注目画素の画素値（ＰＤＣ）２２４と、水平方向に１つ前の隣接画素の画素値（ＰＤＰ）２２６と、ピクセルカウンターの値（ＰＣＮＴ）２２８を立体視画像生成部４０に出力する。
【００４１】
図２（Ｂ）の例では、入力画像信号２０８として非立体視画像３００のＰ４５の画素値が入力されＰＬ１１に保持されており、バッファーＰＬ１１〜ＰＬ３３には、図２（Ａ）の領域３０２に含まれる画素の画素値が保持されている。
【００４２】
この例では、後段の奥行き値生成部３０は、領域３０２の中央の画素であるＰ３４の画素値を周辺の画素Ｐ２３、Ｐ２４、Ｐ２５、Ｐ３３、Ｐ３５、Ｐ４３、Ｐ４４、Ｐ４５の画素値に基づいて調整して修正画素値を得る。そして、奥行き値生成部３０は修正画素値に基づいて注目画素Ｐ３４の奥行き値を求める。
【００４３】
また、この例では、後段の立体視画像生成部４０は、領域３０２の中央に位置する注目画素Ｐ３４の画素値と隣接画素Ｐ３３の画素値とに基づいて補間処理を行う。そして、ＰＣＮＴ２２８によって注目画素のカラム数を把握することができる。
【００４４】
この例では注目画素が画素Ｐ３４である場合についてのみ図示しているが、前記のように、図外のクロックに同期して保持される画素値は変化（シフト）する。例えば１クロック後には、ＰＬ２２には新たに注目画素となったＰ３５の画素値が保持され、ＰＬ２３には新たに隣接画素となったＰ３４の画素値が保持される。このように、本実施形態の画像処理装置１０では、１フレーム分の非立体視画像の各画素をシフトさせながら注目画素とすることで、各画素の奥行き値を求め、立体視に必要な右目用画像と左目用画像とを生成する。
【００４５】
なお、バッファー部２０はピクセルカウンターの値（ＰＣＮＴ）や図外のラインカウンターの値に基づいて、いわゆる外周画素（周辺画素）の処理を行ってもよい。外周画素の処理とは、例えば非立体視画像３００の外周部分の画素（例えばＰ１１〜Ｐ１Ｎ）を予めラインバッファーやバッファーにコピーしておき、データを欠くバッファーをなくす処理をいう。
【００４６】
また、バッファーの数は領域３０２（Ｕ画素×Ｖ画素）に対応する。本実施形態ではＵ＝Ｖ＝３であるが、例えばＵ＝Ｖ＝２のように偶数であってもよいし、Ｕ＝３、Ｖ＝２のようにＵとＶとで異なる値でもよい。
【００４７】
ここで、バッファー部２０は、必ずしも画像処理装置１０に含まれている必要はない。例えば、画像処理装置１０の外部にあって必要なデータを画像処理装置１０に出力してもよい。
【００４８】
１．４．奥行き値生成部
図３は本実施形態の奥行き値生成部３０のブロック図である。本実施形態の奥行き値生成部３０は、輝度値４０２と彩度４０４とを所与の比率で加算して拡大率４１６を乗じたものを奥行き値２１２とする。前記の所与の比率は、例えばＣＰＵからの制御信号２２０によって変更可能である。例えば、非立体視画像が遠景であれば大気の影響を考慮して奥行き値の推定に彩度を用いる方がよく、逆に近景であれば輝度を用いる方がよい。本実施形態の奥行き値生成部３０は、例えば、非立体視画像が遠景か近景かに応じて輝度値４０２と彩度４０４との比率を変更することができ、最適な奥行き値２１２を出力することが可能である。
【００４９】
本実施形態の奥行き値生成部３０は画素値修正部３２を含んでもよい。画素値修正部３２は、演算対象画素群の画素値２１０、すなわち非立体視画像における注目画素（例えば図２（Ａ）のＰ３４）とその周囲の画素（例えば図２（Ａ）の領域３０２の画素）の画素値から修正画素値４００を生成する。本実施形態では、修正画素値４００は演算対象画素群の画素値２１０の平均値である。また、本実施形態では各画素値はＲＧＢそれぞれ８ビットのデータ（０〜２５５）を有する２４ビットデータであるとする。
【００５０】
なお修正画素値４００の別の例として、画素値修正部３２は演算対象画素群の画素値２１０の一部から平均値を求めてもよい。例えば、注目画素と上下左右に隣接する４つの画素（例えば図２（Ａ）のＰ２４、Ｐ３３、Ｐ３５、Ｐ４４）の画素値を平均して修正画素値４００としてもよい。また、画素値修正部３２は演算対象画素群の画素値２１０の各画素値に重み付けを行って修正画素値４００を計算してもよい。図２（Ａ）の領域３０２の例では、注目画素Ｐ３４の画素値には０．２を乗じ、その他８つの画素の画素値には０．１を乗じて、それらを加算して修正画素値４００としてもよい。
【００５１】
修正画素値４００は、周囲の画素の画素値を用いて注目画素の画素値を修正したものである。よって、注目画素の画素値だけから求められる奥行き値に比べて、修正画素値４００から求められる奥行き値は周囲の画素の奥行き値との関連性を有しており、結果的に、より自然な立体視画像を生じさせる。
【００５２】
輝度値計算部３１０は、修正画素値４００のＲ成分（Ｒ）、Ｇ成分（Ｇ）、Ｂ成分（Ｂ）から輝度値（Ｙ）４０２を数１によって求める。なお、本実施形態の輝度値（Ｙ）４０２は０≦Ｙ≦１の範囲の値をとる。
【００５３】
【数１】
2012060246.tif 000003
彩度計算部３１２は、修正画素値４００のＲ成分（Ｒ）、Ｇ成分（Ｇ）、Ｂ成分（Ｂ）から彩度（Ｓ）４０４を数２によって求める。なお、本実施形態の彩度（Ｓ）４０４は０≦Ｓ≦１の範囲の値をとる。
【００５４】
【数２】
2012060246.tif 000004
比率係数設定部３２０は、制御信号２２０に基づいて、輝度値（Ｙ）４０２の比率係数（ＲＹ）４０６と彩度（Ｓ）４０４の比率係数（ＲＳ）４０８とを定める。比率係数（ＲＹ）４０６と比率係数（ＲＳ）４０８とは数３の関係に従う。なお、本実施形態の比率係数（ＲＹ）４０６は、０≦ＲＹ≦１の範囲の値をとる。
【００５５】
【数３】
2012060246.tif 000005
本実施形態の奥行き値生成部３０は、輝度値（Ｙ）４０２、彩度（Ｓ）４０４にそれぞれ比率係数（ＲＹ）４０６、比率係数（ＲＳ）４０８を乗じて中間値４１０、４１２を生成する。そして、加算器３１６でこれらの中間値を加算して数４で与えられる原奥行き値（Ｚ０）４１４を求める。
【００５６】
【数４】
2012060246.tif 000006
そして、奥行き値生成部３０は、原奥行き値Ｚ０４１４に拡大率（Ｄ）４１６を乗じて奥行き値（ＺＣ）２１２を生成する。ここで、拡大率（Ｄ）４１６は、制御信号２２０に基づいて比率係数設定部３２０から出力される。奥行き値（ＺＣ）２１２は数５（ここでは上の式）で与えられ、拡大率（Ｄ）４１６は本実施形態においては１≦Ｄ≦８の範囲の値である。なお、上限値８は立体視画像生成部４０のＦＩＦＯのサイズによって決定されている。補間処理の対象となる画素数がＦＩＦＯのサイズ内に収まるようにするためである。
【００５７】
【数５】
2012060246.tif 000007
ここで、奥行き値（ＺＣ）は大小関係を反転する機能を持っていてもよい。このとき、通常の場合に奥行き値は式（５）の上の式で表され、反転した場合には下の式となる。反転した場合には、原奥行き値Ｚ０４１４ではなく、固定値の１から原奥行き値（Ｚ０）４１４を引いた値（以下、反転値）が用いられる。
【００５８】
図３では、減算器４５０が反転値４６４を生成している。比率係数設定部３２０からの選択信号４６６に従って、マルチプレクサー４５２は原奥行き値（Ｚ０）４１４又は反転値４６４を選択する。そして、拡大率（Ｄ）４１６を乗じて奥行き値（ＺＣ）が求められる。
【００５９】
原奥行き値（Ｚ０）４１４に代えて反転値４６４を選択するのは、例えば次のような場合である。非立体視画像において輝度又は彩度の高い画素は手前にある場合が多い。例えば比率係数（ＲＹ）４０６や比率係数（ＲＳ）４０８の画一的な設定が原因で、このような画素が奥まった位置に配置されそうな場合に、反転値を選択することで奥行き値を調整して手前に配置させることが可能になる。反転値を選択する機能（反転値選択機能）により、手前にあるべき画素が奥まって見える不自然な画像が生成されることを回避でき、自然な立体視画像が得られる。
【００６０】
このとき、選択信号４６６により瞬時に切り替えが可能であるため、画素毎の制御ができる。例えば、比率係数設定部３２０は、輝度値（Ｙ）および彩度（Ｓ）の少なくとも一方を直接受け取ってもよい（図外）。そして、閾値等を用いてその画素が手前に配置されるべきか否かを判断して、画素毎に選択信号４６６を切り替えてもよい。なお、比率係数設定部３２０は画像の情報を制御信号２２０経由で受け取り、画像毎に反転値選択機能を使用するか否かを判断してもよい。
【００６１】
ここで、再び図２（Ａ）および（Ｂ）の例を用いて奥行き値（ＺＣ）について説明する。この場合の奥行き値（ＺＣ）２１２は領域３０２の中央に位置する注目画素Ｐ３４の奥行き値である。そして、遅延回路３２２は１つ前の注目画素の奥行き値（ＺＰ）２２２を保持している。本実施形態において「１つ前」とは、バッファー部２０のレジスターの値をシフトさせるクロック（図外）を基準として１クロック前を意味する。図２（Ａ）および（Ｂ）の例では、１つ前の注目画素は隣接画素Ｐ３３である。
【００６２】
このように、本実施形態の奥行き値生成部３０は、注目画素、隣接画素にそれぞれ対応した奥行き値（ＺＣ）２１２、奥行き値（ＺＰ）２２２を出力する。
【００６３】
ここで、遅延回路３２２は、奥行き値生成部３０でなく、例えばバッファー部２０にあってもよい。この場合、奥行き値（ＺＰ）２２２は隣接画素の画素値ＰＤＰ２２６と共にバッファー部２０から立体視画像生成部４０に出力されてもよい。また、奥行き値（ＺＣ）２１２についても、一度、バッファー部２０を経由して、注目画素の画素値ＰＤＣ２２４と共に立体視画像生成部４０に出力されてもよい。
【００６４】
１．５．奥行き値と画素移動について
図４（Ａ）〜（Ｄ）は奥行き値を説明するための図である。図４（Ａ）〜（Ｄ）は非立体視画像３３２を上方から見ており、鑑賞者の右目３３０Ｒと左目３３０Ｌとが示されている。前記の通り立体視のためには視差のある２枚の画像を生成する必要がある。ここでは、右目用画像を作成する場合における奥行き値について図４（Ａ）〜（Ｄ）を用いて説明する。なお、左目用画像については、画素移動させる方向が左右対称となるだけで、右目用画像の作成方法と同様であるため図示および詳細な説明を省略する。
【００６５】
図４（Ａ）は、ある画素３４０が立体視画像においても非立体視画像３３２の上に表示される場合、すなわち鑑賞者と非立体視画像３３２までの距離に等しい距離だけ離れている場合を示している。このとき、非立体視画像３３２に表示される当該画素の位置を移動させる必要はなく奥行き値はゼロである。しかし、画素３４０が立体視画像において非立体視画像３３２よりも手前、または奥まった位置に表示される場合には、画素移動を行う必要がある。
【００６６】
図４（Ｂ）は、画素３４０が立体視画像において非立体視画像３３２よりも手前に位置するように表示される場合を示している。なお、垂線３３４は画素３４０を含む非立体視画像３３２に対する仮想的な垂線である。ここで、非立体視画像３３２の位置をゼロとして鑑賞者から見て奥の方の奥行きをプラスにとる。図４（Ｂ）では、立体視画像における画素３４０の奥行きは−Ｌ１である。このとき、右目用画像では、非立体視画像３３２が当初に画素３４０を表示している位置（非立体視画像画素位置）３４２から左方にＳ１だけずれた位置（右目用画像画素位置）３４４に画素移動を行う必要がある。
【００６７】
図４（Ｃ）は、画素３４０が立体視画像において非立体視画像３３２よりも少し奥まった位置（＋Ｌ２の位置）に表示される場合を示している。このとき、右目用画像では、非立体視画像画素位置３４２から右方にＳ２だけ画素移動を行う必要がある。
【００６８】
図４（Ｄ）は、画素３４０が立体視画像において図４（Ｃ）の場合よりも更に奥まった＋Ｌ３の位置に表示される場合を示している。このとき、右目用画像では、右方にＳ２よりも大きいＳ３だけ画素移動を行う必要がある。
【００６９】
これらの例における、画素の移動量Ｓ１〜Ｓ３が奥行き値である。右方へ画素移動する場合をプラスにとると、図４（Ｂ）の場合の奥行き値は−Ｓ１であり、図４（Ｃ）、（Ｄ）の場合の奥行き値はそれぞれ＋Ｓ２、＋Ｓ３である。このとき奥行き値は、立体視画像において表示される位置（奥行き）と正の相関関係をもつ。
【００７０】
本実施形態では、例えば奥行き値生成部３０の比率係数設定部３２０によって適当な拡大率（Ｄ）４１６（図３参照）を与えることにより、奥行き値（すなわち、画素の移動量）と、鑑賞者が認識する立体視画像における奥行きとの関係とを調整することが可能である。
【００７１】
ここで、左目用画像を作成する場合には左右の対称性を利用できる。つまり、右目用画像を作成するのに用いる演算式において奥行き値の符号を変えて適用すればよい。例えば図４（Ｃ）の例において、右目用画像では非立体視画像画素位置３４２から＋Ｓ２だけ画素移動を行うが、左目用画像では対称性により−Ｓ２だけ画素移動を行うと考えることが可能である。左右の対称性を利用することにより、奥行き値生成部３０が右目用画像と左目用画像について個別に奥行き値を求める場合に比べて演算量が半分で済む。
【００７２】
１．６．補間処理の概要
前記の通り、奥行き値生成部３０が生成した奥行き値（ＺＣ）２１２だけ画素移動を行うことで、例えば右目用画像を生成することが可能である。しかし、奥行き値（ＺＣ）は立体視画像において表示されるべき位置（奥行き）に基づいて決定されるため、整数値、すなわち画素間隔の倍数になるとは限らない。奥行き値が小数部分を含む場合には、例えば小数点以下の切り捨てや切り上げ等が行われるが、その誤差によって不自然な立体視画像が生成される恐れがある。
【００７３】
そこで、本実施形態においては、奥行き値生成部３０が出力する注目画素および隣接画素の奥行き値を用いて、補間処理によって右目用画像および左目用画像の画素値を生成する。
【００７４】
図５（Ａ）〜（Ｃ）は、補間処理を説明するための図である。図５（Ａ）は非立体視画像の例を示し、バッファー部２０の説明で用いた図２（Ａ）と同一の画像である。補間処理を行う立体視画像生成部４０は、バッファー部２０からピクセルカウンターの値ＰＣＮＴと領域３０４内の２つの画素Ｐ３３、Ｐ３４の画素値を受け取る。また、立体視画像生成部４０は、奥行き値生成部３０から画素Ｐ３３、Ｐ３４のそれぞれの奥行き値ＺＰ、ＺＣを受け取る。画素Ｐ３４は注目画素であり、画素Ｐ３３は１つ前の隣接画素である。立体視画像生成部４０は、ＰＣＮＴの値が５であることから、注目画素のカラム数が４であると判断できる。
【００７５】
図５（Ｂ）は、立体視画像生成部４０が右目用画像における補間処理の対象画素を選択する手順を示している。図５（Ｂ）の上図は、画素Ｐ３３、Ｐ３４の移動位置を計算する前、すなわち非立体視画像における配置を示す。画素Ｐ３３、Ｐ３４は右目用画像においてはそれぞれ奥行き値ＺＰ、ＺＣが加算され、理想的には図５（Ｂ）の下図に示す位置に移動する。図５（Ｂ）の下図の画素Ｐ３３の位置は隣接画素理想位置であり、画素Ｐ３４の位置は対象画素理想位置である。このとき、前記のように奥行き値ＺＰ、ＺＣは小数部分を含むため、画素があるべき位置Ｘ１、Ｘ２、…、ＸＮからずれている。ここで、奥行き値の小数点以下の切り捨て等を行うと不自然な立体視画像が生成され得る。そこで、本実施形態の立体視画像生成部４０は、理想的に移動した図５（Ｂ）の下図の画素Ｐ３３、Ｐ３４の画素値を用いて、これらに挟まれた画素を例えば線形補間によって作成することで自然な立体視画像を生成する。この例においては位置Ｘ５、Ｘ６の画素が、画素Ｐ３３、Ｐ３４の画素値を用いた補間処理の対象となる。そして、注目画素と隣接画素をシフトさせながら、右目用画像の各画素をこの補間処理により作成することで、自然な立体視画像を表示できる右目用画像が生成される。
【００７６】
図５（Ｃ）は、立体視画像生成部４０が左目用画像における補間処理の対象画素を選択する手順を示している。左目用画像を生成する場合には、奥行き値ＺＰ、ＺＣの符号を変えた−ＺＰ、−ＺＣを加算して画素Ｐ３３、Ｐ３４の理想的な移動位置を求める。それ以外は右目用画像の場合と同じである。この例では、位置Ｘ２の画素だけが、画素Ｐ３３、Ｐ３４の画素値を用いた補間処理の対象となる。
【００７７】
１．７．立体視画像生成部
１．７．１．全体構成
図６は、本実施形態の立体視画像生成部４０のブロック図である。前記のように、立体視画像生成部４０は注目画素と隣接画素の画素値から、補間処理の対象となる画素（補間処理対象画素）の画素値を演算で求める。
【００７８】
立体視画像生成部４０は、注目画素の画素値ＰＤＣ２２４、隣接画素の画素値ＰＤＰ２２６、奥行き値ＺＣ２１２、ＺＰ２２２、ピクセルカウンターの値（ＰＣＮＴ）２２８を受け取る。
【００７９】
立体視画像生成部４０は、理想的な注目画素と隣接画素の移動位置を計算する移動位置計算部３５０を含む。移動位置計算部３５０は、ＰＣＮＴ２２８から注目画素のカラム数を把握し、ＺＣ２１２とＺＰ２２２に基づいて画素移動の位置を計算する。
【００８０】
立体視画像生成部４０は、補間処理対象画素の画素値を計算で求める際の係数を出力する補間係数設定部３５２を含む。本実施形態では補間処理対象画素の画素値は数６のように求められ、補間係数設定部３５２は、移動位置計算部３５０からの制御信号４２２に従って係数ＣＯＰ４２６とＣＯＣ４２４を出力する。
【００８１】
【数６】
2012060246.tif 000008
なお、数６はＰＤＰ、ＰＤＣのデータ形式に従って各要素に対して展開される。例えば、本実施形態のようにＲＧＢの各要素を有する場合には、具体的には数７のように求められる。
【００８２】
【数７】
2012060246.tif 000009
例えば、図５（Ｂ）の例において、補間処理対象画素は位置Ｘ５、Ｘ６にある２つの画素である。このうち、位置Ｘ５の画素は隣接画素理想位置（画素移動後の画素Ｐ３３の位置）に近いため、係数ＣＯＰをＣＯＣよりも大きくすることが好ましい。逆に、位置Ｘ６の画素は対象画素理想位置（画素移動後の画素Ｐ３４の位置）に近いため、係数ＣＯＣをＣＯＰよりも大きくすることが好ましい。本実施形態の移動位置計算部３５０は、補間処理対象画素の位置情報を計算し、位置Ｘ５の画素と位置Ｘ６の画素とで異なる係数が出力されるように補間係数設定部３５２を制御信号４２２によって制御する。
【００８３】
立体視画像生成部４０は、乗算器３５４、３５６や加算器３５８によって、数６の画素値ＰＤｉ４３２を計算する。選択回路３６０は、移動位置計算部３５０から右目用画像の補間処理であるか左目用画像の補間処理であるかを指定する選択信号４３４を受け取って、画素値ＰＤｉ４３２をＲＦＩＦＯ３６２、又はＬＦＩＦＯ３６４に出力する。ＲＦＩＦＯ３６２、ＬＦＩＦＯ３６４はそれぞれ、右目用画像、左目用画像を一時保存するためのＦＩＦＯである。
【００８４】
立体視画像生成部４０は、合成出力部３６６を含んでいてもよい。合成出力部３６６は右目用画像と左目用画像とを例えば後段のＬＣＤインターフェースに適したフォーマットに合成し、出力立体視画像信号２１４として出力する。このとき、例えばＰＣＮＴ２２８の値や処理の状況を示すパラメーターなどを移動位置計算部３５０から内部信号４４４として受け取り、例えば出力タイミングの調整を行ってもよい。
【００８５】
１．７．２．移動位置計算
図７（Ａ）〜（Ｂ）は移動位置計算に用いられる補間処理用変数を説明するための図である。図７（Ａ）は、この例では画素移動後の画素Ｐ３３、Ｐ３４を含む１ライン分の右目用画像であるとする。記号等については、図５（Ｂ）の下図と同じであり説明を省略する。
【００８６】
図７（Ａ）に示された補間処理用変数Ｄｉｓｔ、Ａｃｃは、奥行き値ＺＣ、ＺＰと同じように、隣接する画素の間隔を１とする数値で表現される。なお、奥行き値ＺＣ、ＺＰについては重複記載となるため説明を省略する。
【００８７】
変数Ｄｉｓｔは、画素移動後の隣接画素Ｐ３３と注目画素Ｐ３４との距離であり、数８で与えられる。
【００８８】
【数８】
2012060246.tif 000010
変数Ａｃｃの初期値は、画素移動後の隣接画素Ｐ３３と最も近い画素位置（この例ではＸ５）との距離であり、数９で与えられる。
【００８９】
【数９】
2012060246.tif 000011
ただし、［］はガウス記号であり、［ＺＰ］はＺＰを越えない最大の整数値を表す。移動位置計算部３５０は、上記の変数ＤｉｓｔとＡｃｃを計算で求め、これらの変数の比率に応じた係数を補間係数設定部３５２が出力するように制御信号４２２によって制御する。
【００９０】
ここで、左目用画像の計算は、奥行き値ＺＣ、ＺＰの符号を変えて同様に行う。
【００９１】
【数１０】
2012060246.tif 000012
【数１１】
2012060246.tif 000013
なお、変数Ａｃｃは後述するように係数を選択する際の計算において、値を１ずつインクリメントして用いられる。数９および数１１の式は、その初期値を与えるものである。
【００９２】
図７（Ｂ）は、補間処理用変数Ｄｉｓｔ、Ａｃｃの別の例を示す図である。このとき、変数ＤｉｓｔはＡｃｃよりも小さい。Ｄｉｓｔ＜Ａｃｃが成り立つ場合には、補間処理対象画素は存在しないため、移動位置計算部３５０は例えば次の注目画素の計算を開始することになる（図９のＳ１６Ｎ参照）。
【００９３】
１．７．３．補間係数
図８のテーブルは、補間処理における係数の具体例である。このテーブルが示すように、変数ＡｃｃとＤｉｓｔの比に応じて係数ＣＯＰ、ＣＯＣが変化する。図８の下図では、変数Ｄｉｓｔは理想的に画素移動した画素Ｐ３３、Ｐ３４の間の距離である。また、変数Ａｃｃは理想的に画素移動した画素Ｐ３３から画素位置までの距離であり、図ではその初期値Ａｃｃとして示している。
【００９４】
図８の下図で、画素位置Ｘ５の画素の画素値ＰＤ５を補間処理で求める場合、ＡｃｃはＤｉｓｔに比べて小さく、２／８＜Ａｃｃ／Ｄｉｓｔ≦３／８が成り立つ。すると、数６と図８のテーブルに従ってＰＤ５は（６／８）＊Ｐ３３＋（２／８）＊Ｐ３４と計算される。なお、ここでは画素Ｐ３３、Ｐ３４の画素値もＰ３３、Ｐ３４で表すこととする。このとき、近接する画素Ｐ３３の係数ＣＯＰの方が大きい。
【００９５】
次に、画素位置Ｘ６の画素の画素値ＰＤ６を補間処理で求める場合には、Ａｃｃに画素間隔である１を加えた値を新たなＡｃｃとして計算する。このとき、５／８＜Ａｃｃ／Ｄｉｓｔ≦６／８であるとすると、数６と図８に従ってＰＤ６は（３／８）＊Ｐ３３＋（５／８）＊Ｐ３４と計算される。このとき、近接する画素Ｐ３４の係数ＣＯＣの方が大きい。
【００９６】
画素位置Ｘ７の画素については、Ａｃｃに２を加えた値を新たなＡｃｃとするとＤｉｓｔよりも値が大きくなる。よって、前記の通り、画素Ｐ３３、Ｐ３４に基づく補完処理は行われない。
【００９７】
なお、仮に画素位置Ｘ５が画素Ｐ３３、Ｐ３４の中央付近にあり、５／８＜Ａｃｃ／Ｄｉｓｔ≦６／８を満たす場合には、ＰＤ５は（４／８）＊Ｐ３３＋（４／８）＊Ｐ３４と計算される。つまり、画素Ｐ３３、Ｐ３４の画素値を１／２ずつ加算した値となる。
【００９８】
移動位置計算部３５０は、このように係数ＣＯＰとＣＯＣを求め、補間係数設定部３５２がこれらの係数を出力するように制御する。なお、図８のテーブルは変数ＡｃｃとＤｉｓｔの比率を８段階に区分して係数を定めているが、より細かく設定（例えば１６段階）してもよいし、逆に区分を粗くしてもよい。
【００９９】
１．７．４．フローチャート
図９は、本実施形態における立体視画像生成部４０の移動位置計算部３５０における処理を表すフローチャートである。
【０１００】
本実施形態では、移動位置計算部３５０は新たにＰＣＮＴ２２８、奥行き値ＺＣ２１２、ＺＰ２２２を取得し（Ｓ１０）、まず右目用画像を作成するための計算を行う（Ｓ１２）。
【０１０１】
変数ＡｃｃとＤｉｓｔを計算により求めて（Ｓ１４）、これらの変数の大小関係を判断する（Ｓ１６）。Ａｃｃ＜Ｄｉｓｔであれば（Ｓ１６Ｙ）、その比率から補間係数を求めて（Ｓ２２）、補間係数設定部３５２や他の機能ブロックに対して制御信号を出力し（Ｓ２４）、例えば補間係数を更新させる。次に、Ａｃｃの値に１を加えて新たなＡｃｃとし（Ｓ２６）、次の画素位置の画素に対しても同様の処理を行うためにＳ１６に戻る。
【０１０２】
もし、Ａｃｃ≧Ｄｉｓｔであれば（Ｓ１６Ｎ）、補間処理対象画素がなくなったことを意味する。その場合、右目用画像を作成していたならば（Ｓ１８Ｙ）、左目用画像の作成に移行し（Ｓ３２）同様の処理を行う。左目用画像の作成していた場合には（Ｓ１８Ｎ）１フレーム分の処理を終えたならば（Ｓ２０Ｙ）一連の処理を終了し、そうでなければＳ１０に戻って処理を継続する（Ｓ２０Ｎ）。
【０１０３】
このように、立体視画像生成部４０がこのようなフローに従って補間処理で右目用画像と左目用画像の画素値を得ることで、本実施形態の画像処理装置は自然な立体視画像を生成することができる。
【０１０４】
２．変形例
２．１．第１変形例
２．１．１．構成
図１０は、第１変形例における奥行き値生成部３０Ａのブロック図である。なお、図３と同じ要素には同じ番号を付しており説明を省略する。
【０１０５】
第１実施形態においては、比率係数設定部３２０は制御信号２２０にのみ基づいて奥行き値の比率係数を決定する（図３参照）。画像処理装置１０を含む集積回路装置１０００の外部に存在するホストＣＰＵ等が制御信号２２０を出力している場合、アクセスに時間がかかるため、１フレームの非立体視画像の全領域で同じ比率係数が使用されることがある。しかし、例えば１フレームの非立体視画像をいくつかの領域に区分して各領域の特徴に応じて適応的に比率係数を変更できれば、より自然な立体視画像を生成するための適切な奥行き値を生成することができる。
【０１０６】
第１変形例の奥行き値生成部３０Ａは、バッファー部２０に保持された演算対象画素群の画素値２１０に基づいて修正画素値の演算とは異なる画像処理を行い、その処理結果を比率係数設定部３２０Ａに出力することで、領域ごとに比率係数を変えることを可能にする。具体的には、明度差（コントラスト）を計算する明度差計算部３２４を含み、その処理結果４１８を比率計数設定部３２０Ａに出力する。
【０１０７】
本願発明では、周辺の画素との関係を考慮して奥行き値を生成できる。このとき、奥行き値の計算に必要な画像処理と周辺の画素との関係を数値化する画像処理とを並列に行い、必要な画像処理の結果を反映させて、適切な１つの奥行き値を得ることができる。例えば、第１変形例では、画素値修正部３２と明度差計算部３２４は並列に画像処理を行っており、周辺の画素との関係を示す明度差を反映させた１つの奥行きが生成される。奥行き値を複数得てから平均化処理などを必要とする特許文献１又は特許文献２の発明に比べても、本願発明は、奥行き値の生成時に必要な画像処理の結果を反映できるとの有利な効果がある。
【０１０８】
２．１．２．具体例
図１３（Ａ）は、第１変形例での非立体視画像の領域の例を示す図である。ポートレートなどの写真（非立体視画像）では、近く（近景）にフォーカスの合った人物像が配置され、背景（遠景）にぼやけた景色が写っている場合がある。図１３（Ａ）がこのような非立体視画像であるとすると、近景の領域３８０Ｂと遠景の領域３８０Ａに領域を区分することができる。
【０１０９】
このとき、近景の領域３８０Ｂにのみフォーカスが合っている。よって、両領域を区別するには、隣接画素間での明るさの差（コントラスト）を検出して判断すればよい。例えば、明度差計算部３２４は演算対象画素群の画素値２１０から輝度を求めて隣接画素間の差の絶対値をとり、その絶対値の和から注目画素が近景の領域３８０Ｂに含まれるか、遠景の領域３８０Ａに含まれるかを判断してもよい。例えば、前記の絶対値の和が大きい場合には、フォーカスが合っていると判断されるため、注目画素は近景の領域３８０Ｂに含まれると判断できる。
【０１１０】
ここで、遠景は大気の影響が強いため、彩度を用いて奥行き値を推定するのが有効であり、逆に近景は大気の影響を無視できるため、輝度を用いて奥行き値を推定するのが有効である。
【０１１１】
よって、第１変形例の比率係数設定部３２０Ａは、明度差計算部３２４から注目画素が遠景であるか近景であるかを示す処理結果４１８を受け取り、遠景であれば彩度の比率係数ＲＳ４０８を高く設定し、近景であれば輝度の比率係数ＲＹ４０６を高く設定する。このように、第１変形例の奥行き値生成部３０Ａは、適応的に比率係数を変更して、より自然な立体視画像を生成するための適切な奥行き値を生成することができる。
【０１１２】
２．２．第２変形例
図１１は、第２変形例における奥行き値生成部３０Ｂのブロック図である。なお、図３、図１０と同じ要素には同じ番号を付しており説明を省略する。
【０１１３】
第２変形例の奥行き値生成部３０Ｂも第１変形例の奥行き値生成部３０Ａと同じように明度差により、遠景であるか近景であるかを判断して奥行き値を調整する。
【０１１４】
しかし、原奥行き値（Ｚ０）４１４Ａは数４ではなく、明度差から求められる画像のぼけ具合を示す「ぼやけ度σ」を含めた数１２の式で与えられる。
【０１１５】
【数１２】
2012060246.tif 000014
このとき、ぼやけ度σはコントラストが低い遠景において大きくなり、原奥行き値も大きくなる。よって直接的に明度差計算部３２４の処理結果４１８（ぼやけ度σ）を奥行き値に反映させることができ、比率係数設定部の制御も第１変形例の場合に比べて単純化できる。
【０１１６】
２．３．第３変形例
図１２は、第３変形例における奥行き値生成部３０Ｃのブロック図である。なお、図３と同じ要素には同じ番号を付しており説明を省略する。
【０１１７】
第３変形例における奥行き値生成部３０Ｃは、非立体視画像のオブジェクトのエッジを検出して、非立体視画像を複数の領域に区分した上で、領域毎に適応的に比率係数を変更するものである。
【０１１８】
図１３（Ｂ）は、第３変形例での非立体視画像の領域の例を示す図である。第１変形例の場合と異なり、人物像（近景）と背景（遠景）の領域区分だけでなく、各人物の頭部とそれ以外などの領域に区分されている（領域３８２Ａ〜３８２Ｅ）。領域は非立体視画像のオブジェクトの輪郭に基づいて定められる。よって、人間の視覚による認識と対応した領域毎に奥行き値の比率係数を変更できるので、より自然な立体視画像を得ることができる。
【０１１９】
これらの領域、すなわちオブジェクトの輪郭を検出するために、第３変形例の奥行き値生成部３０Ｃはエッジ検出部３２８を含む。エッジ検出部３２８は、ラプラシアンフィルターやソーベルフィルターを用いてエッジ検出を行ってもよい。
【０１２０】
第３変形例の比率係数設定部３２０Ｃは、注目画素がどの領域に属するかとの情報を含む処理結果４１９を受け取り、領域に応じて適応的に比率係数を変更する。第３変形例の奥行き値生成部３０Ｃは、より自然な立体視画像を生成するための適切な奥行き値を生成することができる。
【０１２１】
これらの例示に限らず、本発明は、実施の形態で説明した構成と実質的に同一の構成（例えば、機能、方法および結果が同一の構成、あるいは目的および効果が同一の構成）を含む。
【０１２２】
本発明による立体視については、視差バリア、レンチキュラーレンズを用いた裸眼立体視だけでなく、偏光眼鏡、シャッター眼鏡を用いた方式等、両眼の視差を利用する様々な立体視方式に適用できる。
【０１２３】
また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
【符号の説明】
【０１２４】
１０…画像処理装置（２Ｄ３Ｄ変換器）、２０…バッファー部、３０、３０Ａ、３０Ｂ、３０Ｃ…奥行き値生成部、３２…画素値修正部、４０…立体視画像生成部、８０…入力インターフェース（入力Ｉ／Ｆ）、８２…メモリーインターフェース（メモリーＩ／Ｆ）、８４…フレームバッファー、８６…メモリーインターフェース（メモリーＩ／Ｆ）、８８、３６２、３６４…ＦＩＦＯ、９０…ＬＣＤインターフェース（ＬＣＤＩ／Ｆ）、２００…画像信号、２０２、２０４、２０６…内部信号、２０８…入力画像信号、２１０…演算対象画素群の画素値、２１２、２１２Ａ…奥行き値（ＺＣ）、２１４…出力立体視画像信号、２１６、２１８…画像信号、２２０…制御信号、２２２、２２２Ａ…奥行き値（ＺＰ）、２２４…画素値（ＰＤＣ）、２２６…画素値（ＰＤＰ）、２２８…ピクセルカウンターの値（ＰＣＮＴ）、３００、３３２…非立体視画像、３０２…（演算対象画素群を示す）領域、３０４…（注目画素と隣接画素を示す）領域、３１０…輝度値計算部、３１２…彩度計算部、３１３、３１４、３１８、３１８Ａ、３２６、３５４、３５６…乗算器、３１６、３１６Ａ、３５８…加算器、３２０、３２０Ａ、３２０Ｂ、３２０Ｃ…比率係数設定部、３２２…遅延回路、３２４…明度差計算部、３２８…エッジ検出部、３３０Ｒ…右目、３３０Ｌ…左目、３３４…垂線、３４０…画素、３４２…非立体視画像画素位置、３４４…右目用画像画素位置、３５０…移動位置計算部、３５２…補間係数設定部、３６０…選択回路、３６６…合成出力部、３８０Ａ〜Ｂ、３８２Ａ〜Ｅ…領域、４００…修正画素値、４０２…輝度値（Ｙ）、４０４…彩度（Ｓ）、４０６…比率係数（ＲＹ）、４０８…比率係数（ＲＳ）、４１０、４１２…中間値、４１４、４１４Ａ…原奥行き値（Ｚ０）、４１６…拡大率（Ｄ）、４１８…明度差計算部の処理結果（ぼやけ度σ）、４１９…エッジ検出部の処理結果、４２０…比率係数（１−ＲＹ−ＲＳ）、４２２…制御信号、４２４…係数（ＣＯＣ）、４２６…係数（ＣＯＰ）、４２８、４３０、４３６、４３８、４４０、４４２、４４４、４６０、４６８…内部信号、４３２…画素値（ＰＤｉ）、４３４、４６６…選択信号、４５０…減算器、４５２…マルチプレクサー、４６４…反転値、１０００…集積回路装置
【図１】
2012060246.tif 000015
【図２】
2012060246.tif 000016
【図３】
2012060246.tif 000017
【図４】
2012060246.tif 000018
【図５】
2012060246.tif 000019
【図６】
2012060246.tif 000020
【図７】
2012060246.tif 000021
【図８】
2012060246.tif 000022
【図９】
2012060246.tif 000023
【図１０】
2012060246.tif 000024
【図１１】
2012060246.tif 000025
【図１２】
2012060246.tif 000026
【図１３】
2012060246.tif 000027