(57)【特許請求の範囲】
【請求項１】
平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
を備え、
前記重み決定部は、
前記基準画素の奥行値が表す奥行方向の距離と、前記近傍画素の奥行値が表す奥行方向距離との差に基づいて、前記重み係数を定めることを特徴とする画像処理装置。
【請求項２】
平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
を備え、
前記重み決定部は、
前記基準画素の平面画像上の位置と奥行値が表す３次元位置と、前記近傍画素の平面画像上の位置と奥行値が表す３次元位置との距離の差に基づいて、前記重み係数を定めることを特徴とする画像処理装置。
【請求項３】
平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
前記補間座標の奥行値を、前記近傍画素の奥行値を補間して算出する奥行情報補間部と、を備え、
前記重み決定部は、
前記補間座標の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、を備えることを特徴とする画像処理装置。
【請求項４】
前記重み決定部は、
前記近傍画素から前記補間座標までの前記平面上の距離に基づいて、前記重み係数を定めることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記重み決定部は、
前記補間座標の奥行値と前記近傍画素の領域に含まれる他の補間座標の奥行値の差に基づいて、前記補間に用いる重み係数を定めることを特徴とする請求項３に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置に関する。
【背景技術】
【０００２】
従来から、同一の画像を様々な表示サイズや解像度の媒体に表示するために、ディジタル画像の拡大処理が提案されている。拡大処理とは、原画像に含まれる画素（以下、原画素と呼ぶ）の間隔を広げ、原画素間に新たな画素を生成することである。新たな画素に係る信号値は、その周辺の原画素に係る信号値を補間（ｉｎｔｅｒｐｏｌａｔｉｏｎ、内挿とも呼ぶ）して求めることがある。これにより、表示サイズがより大きい表示媒体、や解像度がより高い表示媒体に原画像と同一の画像を表示することができる。近年、高解像度の画像表示装置（コンピュータ、テレビなどの映像表示装置）の普及が進み、表示媒体における画像の拡大処理の重要性が高まっている。
【０００３】
非特許文献１には、拡大処理の例として最近接内挿法（ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ、ニアレストネイバー法、最近傍法ともいう）、共一次内挿法（ｂｉ−ｌｉｎｅａｒ  ｉｎｔｅｒｐｏｌａｔｉｏｎ、バイリニア法、線形補間法ともいう）、共三次内挿法（ｂｉ−ｃｕｂｉｃ  ｉｎｔｅｒｐｏｌａｔｉｏｎ、バイキュービック法、３次畳み込み内挿法[ｃｕｂｉｃ  ｃｏｎｖｏｌｕｔｉｏｎ  ｉｎｔｅｒｐｏｌａｔｉｏｎ]ともいう）が記載されている。
最近接内挿法とは、新たに生成する画素（以下、補間画素と呼ぶ）に最も近い原画素に係る信号値を、補間画素に係る信号値と定める処理である。
共一次内挿法とは、補間画素の周囲にある４個の原画素に係る信号値の加重平均値を、補間画素に係る信号値と定める処理である。
共三次内挿法とは、補間画素の周囲にある１６個の原画素に係る信号値に当てはめられた３次式を用いて補間画素に係る信号値を定める処理である。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】高木  幹雄、下田  陽久  監修、６．３．２  画像データの内挿、「画像解析ハンドブック」、東京大学出版会、２００４年９月１０日、１３６０−１３７３頁
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、最近接内挿法では、原画像の画素ピッチ（画素間間隔）に相当する位置誤差を生じるため、画質が劣化することがある。例えば、原画像において信号値が急激に変化する境界（エッジ）の方向が、水平方向又は垂直方向から離れた斜め方向である場合  、エッジが階段状（ギザギザ）に現れる画像（ジャギー；Ｊａｇｇｙ）が生成されることがある。
共一次内挿法では、画素間で信号値が滑らかに変化するため、画質が劣化することがある。例えば、エッジが不明瞭な画像（ぼやけ）が生成されることがある。
共三次内挿法では、最近接内挿法や共一次内挿法よりも画質の劣化度合いが少ない画像を生成することがある。その反面、共三次内挿法では、１個の補間画素に係る信号値を算出するための原画素の参照範囲が広く、演算量が大きいという問題がある。
【０００６】
本発明は上記の点に鑑みてなされたものであり、画像の拡大処理をする際に演算量の増加を抑制しつつ画質の劣化を緩和する画像処理装置、画像処理方法、画像処理プログラム、撮像装置、及び画像表示装置を提供する。
【課題を解決するための手段】
【０００７】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の第一の技術手段は、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部とを備えることを特徴とする画像処理装置である。
【０００８】
（２）本発明の第二の技術手段は、前記第一の技術手段における画像処理装置であって、前記重み決定部は、前記基準画素の奥行値が表す奥行方向の距離と、前記近傍画素の奥行値が表す奥行方向の距離との差に基づいて、前記重み係数を定めることを特徴とする。
【０００９】
（３）本発明の第三の技術手段は、前記第一の技術手段における画像処理装置であって、
前記重み決定部は、前記基準画素の平面画像上の位置と奥行値が表す３次元位置と、前記近傍画素の平面画像上の位置と奥行値が表す３次元位置との距離の差に基づいて、前記重み係数を定めることを特徴とする。
【００１０】
（４）本発明の第四の技術手段は、前記第二の技術手段における画像処理装置であって、前記重み決定部は、前記近傍画素から前記補間座標までの前記平面上の距離に基づいて、前記重み係数を定めることを特徴とする。
【００１１】
（５）本発明の第五の技術手段は、前記第一の技術手段における画像処理装置であって、前記補間座標の奥行値を、前記近傍画素の奥行値を補間して算出する奥行情報補間部を備え、前記重み決定部は、前記補間座標の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、を備えることを特徴とする。
【００１２】
（６）本発明の第六の技術手段は、前記第五の技術手段における画像処理装置であって、前記重み決定部は、前記補間座標の奥行値と前記近傍画素の領域に含まれる他の補間座標の奥行値の差に基づいて、前記補間に用いる重み係数を定めることを特徴とする。
【００１３】
（７）本発明の第七の技術手段は、画像処理装置における画像処理方法であって、前記画像処理装置が、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する過程と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する過程と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める過程とを有することを特徴とする画像処理方法である。
【００１４】
（８）本発明の第八の技術手段は、画像処理装置のコンピュータに、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する手順、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する手順、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める手順を実行させるための画像処理プログラムである。
【００１５】
（９）本発明の第九の技術手段は、各々異なる視点から画像を撮像する複数の撮像部と、前記複数の撮像部が各々撮像した画像に含まれる画素であって、平面上に配置された画素の信号値に基づいて画素に対応する奥行値を含む奥行情報を生成する奥行情報生成部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部とを備えることを特徴とする撮像装置である。
【００１６】
（１０）本発明の第十の技術手段は、平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値に基づいて、前記補間に用いる重み係数を定める重み決定部と、前記補間座標の信号値を含む補間平面画像信号が表す画像を表示する表示部とを備えることを特徴とする画像表示装置である。
【発明の効果】
【００１７】
本発明によれば、画像の拡大処理において、演算量の増加を抑制しつつ画質の劣化を緩和する。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態に係る画像処理装置の構成を表す概略図である。
【図２】平面画像の一例を示す図である。
【図３】奥行画像の一例を示す図である。
【図４】本実施形態に係る画像処理を表すフローチャートである。
【図５】画像ブロックの一例を表す図である。
【図６】画像ブロックの一例を表すその他の図である。
【図７】奥行ブロックの一例を表す拡大図である。
【図８】奥行ブロックと補間座標の一例を表す図である。
【図９】奥行値と奥行座標の関係の一例を表す概念図である。
【図１０】補間画像ブロックの一例を表す図である。
【図１１】補間画像ブロックのその他の例を表す図である。
【図１２】本発明の第２の実施形態に係る画像処理装置の構成を表す概略図である。
【図１３】奥行ブロックのその他の例を表す図である。
【図１４】補間奥行ブロックの一例を表す図である。
【図１５】画像ブロックのその他の例を表す図である。
【図１６】平面画像の一例を示すその他の図である。
【図１７】補間画像ブロックのその他の例を表す図である。
【図１８】補間画像ブロックのその他の例を表す図である。
【図１９】補間画像ブロックのその他の例を表す図である。
【図２０】本発明の第３の実施形態に係る撮像装置の構成を表す概略図である。
【図２１】本発明の第４の実施形態に係る画像表示装置の構成を表す概略図である。
【図２２】本発明の第４の実施形態の一変形例に係る画像表示装置の構成を表す概略図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
以下、図面を参照しながら本発明の第１の実施形態について説明する。
図１は、本実施形態に係る画像処理装置１０の構成を表す概略図である。
画像処理装置１０は、平面画像入力部１０１、奥行情報入力部１０２、入力平面画像記憶部１０３、入力奥行情報記憶部１０４、重み決定部１０５、パラメータ記憶部１０６、平面画像補間部１０７、奥行情報補間部１０８、補間平面画像記憶部１０９、補間奥行情報記憶部１１０、平面画像出力部１１１及び奥行情報出力部１１２を含んで構成される。
【００２０】
平面画像入力部１０１には、画像処理装置１０の外部からフレーム毎に平面画像信号が入力される。平面画像信号は、被写空間に含まれる被写体の色彩や濃淡を表す信号値であって、二次元平面に配置された画素毎の信号値からなる画像信号である。平面画像信号は、画素毎に色空間を表す信号値を有する画像信号、例えばＲＧＢ信号である。ＲＧＢ信号は、赤色成分の値を表すＲ信号、緑色成分の値を示すＧ信号、青色成分の値を示すＢ信号を信号値として含む。
平面画像入力部１０１は、入力された平面画像信号を入力平面画像記憶部１０３に記憶させる。
【００２１】
図２は、平面画像の一例を示す図である。
平面画像Ｉ２１は、被写体として太陽Ｉ−Ｓ１、山岳Ｉ−Ｍ１及び人物Ｉ−Ｐ１を表す画像である。人物Ｉ−Ｐ１の左側面に示される正方形の領域は、画像ブロックＩ２２である。画像ブロックＩ２２は、平面画像Ｉ２１の一部の領域であって、複数の画素から構成される画像である。
【００２２】
図１に戻り、奥行情報入力部１０２は、画像処理装置１０の外部からフレーム毎に奥行情報が入力される。奥行情報は、視点（例えば、撮影装置の設置位置）から被写空間に含まれる被写体表面までの距離を表す奥行値（「デプス値」、「深度値」、「デプス」ということがある。）を含む情報である。奥行値は、平面画像における二次元平面に配置された複数の画素の各画素に対応し、且つ、平面画像信号に含まれる信号値と対応する。奥行値は、距離そのものに限らず、距離を表す変数、例えば視差値であってもよい。奥行情報は、例えばデプスマップ（「奥行画像」ということがある。）である。
奥行情報入力部１０２は、入力された奥行情報を入力奥行情報記憶部１０４に記憶させる。
【００２３】
奥行画像は、画素毎の奥行値に対応する輝度を表す画像である。次に示す奥行画像の例では、視点からの距離が短いほど輝度が高いことを表す。
図３は、奥行画像の一例Ｉ３１を示す図である。
奥行画像Ｉ３１は、平面画像Ｉ２１が表す被写体までの距離を表す画像である。奥行画像Ｉ３１において、人物Ｉ−Ｐ２を表す領域が、その他の領域よりも明るい色で示されている。即ち、奥行画像Ｉ３１は、人物Ｉ−Ｐ２が、その他の被写体よりも視点からの距離が短いことを表す。
人物Ｉ−Ｐ２の左側面に示される正方形の領域は、奥行ブロックＩ３２である。奥行ブロックＩ３２が占める領域は、図２の画像ブロックＩ２２が占める領域と同一である。
【００２４】
図１に戻り、重み決定部１０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。重み決定部１０５は、パラメータ記憶部１０６から後述する補間処理に用いるパラメータ（以下で、「補間パラメータ」という。）を読み出す。
重み決定部１０５は、読み出した補間パラメータを用いて、読み出した平面画像信号に含まれる信号値を補間するために用いる重み係数を定める。ここで、重み決定部１０５は、補間画素から予め定めた範囲内の各画素（以下、近傍画素と呼ぶ）に対応する奥行値と、補間画素と各近傍画素との間の距離に基づいて重み係数を定める。補間画素とは、複数の画素の間に新たに生成する画素である。重み係数を定める処理については、後述する。
重み決定部１０５は、定めた重み係数を平面画像補間部１０７に出力する。
【００２５】
パラメータ記憶部１０６は、補間パラメータを予め記憶している。補間パラメータは、例えば、補間倍率、補間座標、フレームサイズ（１フレームの平面画像信号もしくは奥行情報に含まれる水平方向の画素数、垂直方向の画素数）、等がある。補間倍率は、ある表示領域に係る補間後の平面画像信号（補間平面画像信号）のサイズの、その表示領域に係る入力された平面画像信号（入力平面画像信号）のサイズに対する比である。ここで、サイズとは、その表示領域における水平方向の画素数（幅）、又は垂直方向の画素数（幅）である。即ち、補間倍率は、補間平面画像の解像度の入力平面画像の解像度に対する比である。補間座標とは、補間画素が占める領域の中心点の位置を表す座標である。
【００２６】
平面画像補間部１０７は、入力平面画像記憶部１０３から平面画像信号を読み出し、パラメータ記憶部１０６から補間パラメータを読み出す。また、平面画像補間部１０７は、重み決定部１０５から重み係数を読み出す。
平面画像補間部１０７は、読み出した平面画像信号に含まれる各近傍画素の信号値を入力して、重み係数を用いて補間して、補間座標に対する信号値を算出する。補間座標に対する信号値を算出する処理については後述する。
平面画像補間部１０７は、算出した信号値を補間座標と対応付けて補間平面画像記憶部１０９に記憶させる。これにより、補間平面画像記憶部１０９には、補間座標毎の信号値を含む補間平面画像信号が記憶される。
【００２７】
奥行情報補間部１０８は、入力奥行情報記憶部１０４から奥行情報を読み出し、パラメータ記憶部１０６から補間パラメータを読み出す。
奥行情報補間部１０８は、読み出した補間パラメータを用いて、読み出した奥行情報に含まれる各近傍画素の奥行値を補間して、補間座標に対する奥行値を算出する。
奥行情報補間部１０８は、補間を行うために、例えば、最近接内挿法、共一次内挿法、共三次内挿法、等の方法を用いることができる。
奥行情報補間部１０８は、算出した奥行値を補間座標と対応付けて補間奥行情報記憶部１１０に記憶させる。これにより、補間奥行情報記憶部１１０は、補間座標毎の奥行値を含む補間奥行情報が記憶される。
【００２８】
平面画像出力部１１１は、補間平面画像記憶部１０９から補間平面画像信号を読み出し、読み出した補間平面画像信号をフレーム毎に画像処理装置１０の外部に出力する。
奥行情報出力部１１２は、補間奥行情報記憶部１１０から補間奥行情報を読み出し、読み出した補間奥行情報をフレーム毎に画像処理装置１０の外部に出力する。
【００２９】
次に、画像処理装置１０が行う画像処理について説明する。
図４は、本実施形態に係る画像処理を表すフローチャートである。
（ステップＳ１０１）画像処理装置１０は、処理に要する係数等を初期設定する。ここで、重み決定部１０５、平面画像補間部１０７、奥行情報補間部１０８は、パラメータ記憶部１０６から補間パラメータを読み出す。画像処理装置１０は、各フレームにおける初期の補間座標を、例えば、各フレームの原点に最も近い座標にある補間座標と定める。フレームの原点は、フレームの最上列、最左段の座標である。その後、ステップＳ１０２に進む。
（ステップＳ１０２）平面画像入力部１０１には、画像処理装置１０の外部からフレーム毎に平面画像信号が入力される。平面画像入力部１０１は、入力された平面画像信号を入力平面画像記憶部１０３に記憶させる。その後、ステップＳ１０３に進む。
（ステップＳ１０３）奥行情報入力部１０２には、画像処理装置１０の外部からフレーム毎に奥行情報が入力される。奥行情報入力部１０２には、入力された奥行情報を入力奥行情報記憶部１０４に記憶させる。その後、ステップＳ１０４に進む。
【００３０】
（ステップＳ１０４）重み決定部１０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。
重み決定部１０５は、補間パラメータを用いて、読み出した平面画像信号に含まれる信号値を補間するための重み係数を定める。重み決定部１０５は、定めた重み係数を平面画像補間部１０７に出力する。その後、ステップＳ１０５に進む。
【００３１】
（ステップＳ１０５）平面画像補間部１０７は、入力平面画像記憶部１０３から平面画像信号を読み出す。平面画像補間部１０７には、重み決定部１０５から重み係数が入力される。
平面画像補間部１０７は、読み出した平面画像信号に含まれる各近傍画素の信号値を入力した重み係数を用いて補間して、補間座標における信号値を算出する。平面画像補間部１０７には、算出した信号値を、補間座標と対応付けて補間平面画像記憶部１０９に記憶させる。その後、ステップＳ１０６に進む。
【００３２】
（ステップＳ１０６）奥行情報補間部１０８は、入力奥行情報記憶部１０４から奥行情報を読み出す。
奥行情報補間部１０８は、補間パラメータを用いて、読み出した奥行情報に含まれる各近傍画素の奥行値を補間して、補間座標における奥行値を算出する。
奥行情報補間部１０８は、算出した奥行値を補間座標と対応付けて補間奥行情報記憶部１１０に記憶させる。その後、ステップＳ１０７に進む。
【００３３】
（ステップＳ１０７）画像処理装置１０は、各フレームに含まれる全ての補間座標について処理が終了したか否か判断する。処理が終了したと判断された場合（ステップＳ１０７  Ｙ）、ステップＳ１０９に進む。処理が終了していないと判断された場合（ステップＳ１０７  Ｎ）、ステップＳ１０８に進む。
（ステップＳ１０８）画像処理装置１０は、処理の対象となる補間座標を変更する。画像処理装置１０が補間座標を変更する順序は、例えば、ラスター順である。ラスター順においては、行毎に左端から右側に向かって順次隣接する列の座標に補間座標を変更し、補間座標が右端に達した後、補間座標を次の行の左端に変更する。その後、ステップＳ１０４に進む。
【００３４】
（ステップＳ１０９）平面画像出力部１１１は、補間平面画像記憶部１０９から補間平面画像信号を読み出し、読み出した補間平面画像信号をフレーム毎に画像処理装置１０の外部に出力する。その後、ステップＳ１１０に進む。
（ステップＳ１１０）奥行情報出力部１１２は、補間奥行情報記憶部１１０から補間奥行情報を読み出し、読み出した補間奥行情報をフレーム毎に画像処理装置１０の外部に出力する。その後、処理を終了する。
【００３５】
次に、近傍画素と補間座標の一例について説明する。
近傍画素は、入力画像信号における画素のうち補間の対象となる画素である。近傍画素のうち、補間座標を含む領域を占める画素を、特に基準画素と呼ぶ。
平面（ｘｙ平面）上の補間座標ｐｉ（ｘｙ）は、例えば式（１）で表される。
【００３６】
【数１】
0005911166.tif 000002
【００３７】
式（１）において、ｉｘは、基準画素の水平方向（ｘ方向）のインデックスである。ｋは、補間座標の水平方向のインデックスである。ｋは、基準画素毎に独立に定められ、基準画素から水平方向に隣接する基準画素を表す点において０となる。ｋは、−Ｎ又は−Ｎよりも大きく、Ｎより小さい整数である。Ｎは、予め定めた補間倍率、即ち基準画素間の補間画素数を表す整数値である。ｉｙは、基準画素の垂直方向（ｙ方向）のインデックスである。ｌは、補間座標の垂直方向のインデックスである。ｌは、基準画素毎に独立に定められ、基準画素から垂直方向に隣接する基準画素を表す点において０となる。ｌは、−Ｎ又は−Ｎよりも大きく、Ｎより小さい整数である。式（１）において、補間座標ｐｉ（ｘｙ）は、基準画素間の画素間距離（画素ピッチ）が１となるように正規化されている。
【００３８】
ここで、補間座標とその基準画素との一例を図５に示す。
図５は、画像ブロックの一例Ｉ２２を表す図である。
図５は、画像ブロックＩ２２（図２参照）を表す。画像ブロックＩ２２において、上下左右の４辺が実線で示された矩形は、入力画像信号に含まれる各信号値に対応した画素が占める領域を表す。ここでは、この画素を、特に原画素と呼ぶ。画像ブロックＩ２２には、２５個（水平方向５個×垂直方向５個）の原画素が含まれる。上下左右の４辺の何れかの辺が実線、その残りの辺が破線で示された矩形は、補間画素を表す。補間画素とは、補間座標を中心座標とする画素である。図５では、１個の原画素が４個（水平方向２個×垂直方向２個）の補間画素を含む。
例えば、図５において、左下から右上に向かう斜線で塗りつぶされた領域は、補間画素Ｉ５５を表す。補間画素Ｉ５５の中心に表される記号×は、補間画素Ｉ５５の補間座標である。補間画素Ｉ５５と、左上から右下に向かう斜線で塗りつぶされた領域を併せた領域は、基準画素Ｉ５１を表す。基準画素Ｉ５１の中心に表される記号＋は、基準画素Ｉ５１の中心座標である。
【００３９】
次に、補間座標とその近傍画素の一例を図６に示す。
図６は、画像ブロックの一例Ｉ２２を表す図である。
図６は、画像ブロックＩ２２（図２参照）を表す。画像ブロックＩ２２に含まれる２５個（水平方向５個×垂直方向５個）の四角形は、それぞれ原画素が占める領域を表す。各四角形に含まれる２００や、１００という数字は、その画素に対応する信号値（例えば、Ｒ信号の信号値）を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。各矩形に含まれる記号＋は、中心座標を表す。
上から２行目、左から２段目の画素Ｉ６１に含まれる×印は、補間座標Ｉ６５を表す。即ち、画素Ｉ６１は、基準画素であり、近傍画素のうちの１つである。基準画素Ｉ６１の右隣の画素は、近傍画素Ｉ６２である。基準画素Ｉ６１の下隣の画素は、近傍画素Ｉ６３である。基準画素Ｉ６１の右下隣の画素は、近傍画素Ｉ６４である。即ち、補間座標Ｉ６５から原画素の中心までの距離が予め定めた距離よりも短くなる画素を近傍画素Ｉ６１〜Ｉ６４と定めていることを示す。図６の例では、補間座標Ｉ６５から原画素の中心までの水平方向の距離と垂直方向の距離の最大値が原画像の画素ピッチより小さな画素を近傍画素と定めている。
【００４０】
上述の平面画像に対応する奥行情報における補間座標とその近傍画素の例を図７に示す。
図７は、奥行ブロックの一例Ｉ３２を表す図である。
図７は、奥行ブロックＩ３２（図３参照）を表す。奥行ブロックは、奥行画像の一部の領域に含まれる複数の画素の各々について奥行値が与えられた情報である。奥行ブロックＩ３２に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ奥行情報における原画素が占める領域を表す。各矩形に含まれる０等の数字は、その画素に対応する奥行値を示す。各矩形は、奥行値が大きくなるほど明るい色で塗りつぶされている。各矩形に含まれる記号＋は、中心座標を表す。
補間座標Ｉ７５は、補間座標Ｉ６５（図６参照）と同一の位置の奥行情報における座標を表す。近傍画素Ｉ７１〜Ｉ７４は、近傍画素Ｉ６１〜Ｉ６４と同一の画素を表す。
【００４１】
次に、重み決定部１０５が重み係数を決定する処理について説明する。
重み決定部１０５は、中心点が補間座標から予め定めた距離（閾値）よりも短い距離にある画素を近傍画素と定める。重み決定部１０５は、近傍画素ｊに対応する奥行値ｐｊ（ｚ）と基準画素ｉに対応する奥行値ｐｉ（ｚ）に基づいて、近傍画素ｊ毎の重み係数ｗｊを定める。この距離の閾値と近傍画素の個数は、補間パラメータに含まれる。
重み決定部１０５は、例えば、以下に説明する方法のいずれかを用いて重み係数ｗｊを定めることができるが、これらには限られない。
【００４２】
＜第１の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐｊ（ｚ）と基準画素ｉに対応する奥行値ｐｉ（ｚ）の差分の絶対値Δｐｊ（ｚ）が予め定めた閾値（例えば１）よりも大きい場合、重み係数ｗｊを０と定める。ここで、添字（ｚ）は、視点からの距離（ｚ方向の座標値）を表す奥行値に係ることを表す添字である。差分絶対値Δｐｊ（ｚ）は｜ｐｊ（ｚ）−ｐｉ（ｚ）｜と表される。また、重み決定部１０５が、差分絶対値Δｐｊ（ｚ）が、その閾値より小さい、又は等しい値である場合、重み係数ｗｊを１と定める。この重み決定法では、奥行値の差分の閾値は、補間パラメータに含まれている。図７に示す例では、基準画素Ｉ７１、近傍画素Ｉ７２、Ｉ７３、Ｉ７４に対する重み係数は、それぞれ１、０、１、０と定められる。これにより、基準画素ｉとの奥行値の差が少ない近傍画素ｊが重視される。他方、基準画素ｉとの奥行値の差が著しい近傍画素ｊが無視される。
【００４３】
＜第２の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐｊ（ｚ）と基準画素ｉに対応する奥行値ｐｉ（ｚ）の差分の絶対値Δｐｊ（ｚ）が大きいほど連続的に小さくなるように、近傍画素ｊ毎の重み係数ｗｊを定める。重み決定部１０５は、重み係数ｗｊを定めるために、例えば、式（２）を用いる。
【００４４】
【数２】
0005911166.tif 000003
【００４５】
式（２）において、Δｐ（ｚ）ｍａｘは、当該補間画素に係る差分絶対値Δｐｊ（ｚ）の最大値である。従って、式（２）によれば、最大値Δｐ（ｚ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素について重み係数ｗｊが１となる。
【００４６】
＜第３の重み決定法＞重み決定部１０５は、奥行値に基づいて第２の重み決定法で決定した重み係数に対して、補間座標ｐｉ（ｘｙ）と近傍画素（ｊＸ，ｊＹ）の間の平面上の距離Δｐｊ（ｘｙ）を考慮した演算を行って重み係数ｗｊを決定する。添字（ｘｙ）は、水平方向（ｘ方向）及び垂直方向（ｙ方向）平面上の画素間の距離に係ることを表す。重み決定部１０５は、重み係数ｗｊを定めるために、例えば、式（３）を用いる。
【００４７】
【数３】
0005911166.tif 000004
【００４８】
式（３）において、Δｐ（ｘｙ）ｍａｘは、平面上の距離Δｐｊ（ｘｙ）の最大値である。従って、式（３）によれば、最大値Δｐ（ｘｙ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素i について重み係数ｗｊが最大になる。このように、重み係数ｗｊは、更に距離Δｐｊ（ｘｙ）の増加に対して線形に小さくなるように決定される。
【００４９】
＜第４の重み決定法＞重み決定部１０５は、近傍画素ｊに対応する奥行値ｐｊ（ｚ）の３次元空間における奥行座標Ｚｊと、基準画素ｉに対応する奥行値ｐｉ（ｚ）の３次元空間における奥行座標Ｚｉの間の距離Δｄｊ（ｚ）に基づいて重み係数ｗｊを決定する。
ここで、重み決定部１０５は、奥行情報に含まれる奥行値を参照して近傍画素の中心座標ｊを、例えば式（４）を用いて奥行座標Ｚｊに変換する。
【００５０】
【数４】
0005911166.tif 000005
【００５１】
式（４）において、奥行座標Ｚｉは、撮影装置の設置位置を原点として光学軸の方向を奥行方向とする座標である。Ｂは、基線長、即ち２台の撮影装置間の距離を表す。ｑは、撮影装置が備える撮像素子の画素ピッチを表す。ｆは、撮影装置の焦点距離を表す。即ち、式（４）を用いて求められた奥行方向の座標値Ｚｊは、焦点距離に基線長を乗じた値を奥行値で除した値である。
重み決定部１０５は、重み係数ｗｊを定めるために、例えば、式（５）を用いる。
【００５２】
【数５】
0005911166.tif 000006
【００５３】
式（５）において、Δｄ（ｚ）ｍａｘは、距離Δｄｊ（ｚ）の最大値である。従って、式（５）によれば、最大値Δｄ（ｚ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素i について重み係数ｗｊが１となる。この重み決定法によれば、画素ピッチｑ、焦点距離ｆ、基線長Ｂが補間パラメータに含まれる。
なお、第３の重み決定法と同様に、平面上の距離Δｐｊ（ｘｙ）を考慮して、更に（１−Δｐｊ（ｘｙ）／Δｐ（ｘｙ）ｍａｘ）を乗じて重み係数ｗｊを決定してもよい。
【００５４】
＜第５の重み決定法＞重み決定部１０５は、基準画素ｉの中心座標に対応する３次元位置ｐｊ（ｘｙｚ）と近傍画素ｊの中心座標に対応する３次元位置ｐｉ（ｘｙｚ）の間の距離Δｄｊ（ｘｙｚ）を考慮して重み係数ｗｊを決定する。ここで、添字（ｘｙｚ）は、３次元座標に係ることを表す。
ここで、重み決定部１０５は、奥行情報に含まれる奥行値を参照して近傍画素の中心座標ｊを、例えば式（６）を用いて３次元位置ｐｊ（ｘｙｚ）に変換する。
【００５５】
【数６】
0005911166.tif 000007
【００５６】
式（６）において、（Ｘｊ，Ｙｊ，Ｚｊ）は、撮影装置の設置位置（光学系の焦点、即ち視点）を基準とした被写体空間内の３次元位置ｐｊ（ｘｙｚ）を表す。Ｘｊ、Ｙｊ、Ｚｊは、それぞれ水平方向の座標値、垂直方向の座標値、奥行方向の座標値を表す。即ち、式（６）を用いて求められた水平方向の座標値、垂直方向の座標値は、それぞれ撮影装置における画素の座標値に、基線長を乗じた値に奥行値で除した値である。
重み決定部１０５は、重み係数ｗｊを定めるために、例えば、式（７）を用いる。
【００５７】
【数７】
0005911166.tif 000008
【００５８】
式（７）において、Δｄ（ｘｙｚ）ｍａｘは、距離Δｄｊ（ｘｙｚ）の最大値である。
この重み決定法によれば、画素ピッチｑ、焦点距離ｆ、基線長Ｂが補間パラメータに含まれる。従って、式（７）によれば、最大値Δｄ（ｘｙｚ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素i について重み係数ｗｊが最大になる。このように、重み係数ｗｊは、３次元空間内の距離Δｄｊ（ｘｙｚ）の増加に対して線形に小さくなるように決定される。
【００５９】
次に、ある奥行ブロックに対し重み係数ｗｊを定める場合について、第２の重み決定法を用いる場合と、第４の重み決定法を用いる場合を例にとって比較する。
図８は、奥行ブロックと補間座標の一例を表す図である。
図８は、奥行ブロックＩ８１を表す。奥行ブロックＩ８１は、水平方向３画素、垂直方向３画素、計９画素を含む。左から２段目、最上行の画素は、近傍画素Ｉ８２を表す。左から３段目、最上行の画素は、近傍画素Ｉ８３を表す。左から２段目、上から２行目の画素が近傍画素Ｉ８４を表す。左から３段目、上から２行目の画素は、近傍画素Ｉ８５を表す。近傍画素Ｉ８４に含まれる×印は、補間画素Ｉ８６を表す。従って、近傍画素Ｉ８４が基準画素である。近傍画素Ｉ８２、Ｉ８３、Ｉ８４、Ｉ８５の奥行値は、１、１、３、５となる。
【００６０】
第２の重み決定法を用いる際に算出される差分絶対値Δｐｊ（ｚ）は、近傍画素Ｉ８２、Ｉ８３、Ｉ８４、Ｉ８５各々について、２、２、０、２となる。式（２）を用いた場合、重み係数ｗｊは、差分絶対値Δｐｊ（ｚ）が最小となる近傍画素Ｉ８４について最大となる。これに対し、差分絶対値Δｐｊ（ｚ）が互いに等しい、近傍画素Ｉ８２、Ｉ８３及びＩ８５については互いに等しくなる。
【００６１】
これに対し、第４の重み決定法では、例えば、式（４）を用いて奥行値ｐｊ（ｚ）を奥行座標Ｚｊに変換する。ここで、式（４）で表される奥行値と奥行座標の関係の一例を示す。
図９は、奥行値ｐｊ（ｚ）と奥行座標Ｚｊの関係の一例を表す概念図である。
図９によれば、奥行座標Ｚｊが増加するに従って、奥行値ｐｊ（ｚ）は単調に減少する。また、奥行座標Ｚｊが増加するに従って、奥行値ｐｊ（ｚ）の減少率も単調に減少する。例えば、奥行値が５と３の場合の奥行座標の差である距離Δｄｊ（ｚ）よりも、奥行値が３から１に減少するときの奥行座標の距離Δｄｊ（ｚ）の方が大きくなる。
従って、近傍画素Ｉ８２及びＩ８３よりも近傍画素Ｉ８５の方が、奥行座標の距離Δｄｊ（ｚ）が短くなる。そのため、近傍画素Ｉ８２及びＩ８３よりも被写体空間上の距離が短い近傍画素Ｉ８５の方が、重み係数ｗｊが大きくなる。このように、第４の重み決定法によれば、被写体空間上の距離を考慮して近傍画素毎の重み係数ｗｊを決定することができる。
【００６２】
次に、平面画像補間部１０７が補間座標に対する信号値を算出する処理について説明する。
平面画像補間部１０７は、重み決定部１０５から入力された重み係数ｗｊを用いて近傍画素ｊの信号値ｖｊを重み付け加算して補間座標ｉに対する信号値ｖｉを算出する。平面画像補間部１０７は、重み付け加算において、例えば式（８）を用いる。
【００６３】
【数８】
0005911166.tif 000009
【００６４】
式（８）において、総和記号Σｊは、補間座標ｉ毎の全ての近傍画素ｊにわたる総和を表す。Ｗは、全ての近傍画素ｊにわたる重み係数ｗｊの総和を表す。即ち、式（８）は、Ｗを用いて重み係数ｗｊを正規化することを表す。
【００６５】
次に、本実施形態によって生成された補間画像信号について説明する。
図１０は、補間画像ブロックの一例Ｉ１０１を表す図である。
図１０は、補間画像ブロックＩ１０１を表す。補間画像ブロックＩ１０１に含まれる１００個（水平方向１０個×垂直方向１０個）の矩形は、それぞれ補間画素が占める領域を表す。各矩形に含まれる２００等の数字は、その画素に対応する信号値を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。補間画像ブロックＩ１０１の表示領域は、画像ブロックＩ２２（図６参照）の表示領域と同一である。
補間画像ブロックＩ１０１は、上述の第２の重み決定法を用いて定めた重み係数ｗｊを用いて算出した補間画素毎の信号値を含む。ここで、左から第３段目から第６段目までの信号値は、それぞれ２００、２００、１００、１００である。画像ブロックＩ２２（図６参照）の同一の表示領域における信号値２００、１００と同様である。
【００６６】
これに対し、従来技術を用いて生成した補間画像信号について説明する。
図１１は、補間画像ブロックのその他の例Ｉ１１１を表す拡大図である。
図１１は、補間画像ブロックＩ１１１を表す。補間画像ブロックＩ１１１に含まれる補間画素の配置は、補間画像ブロックＩ１０１（図１０参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１１１の表示領域も、補間画像ブロックＩ１０１の表示領域と同一である。補間画像ブロックＩ１１１は、従来技術の一例として共一次内挿法を用いて定めた重み係数ｗｊを用いて算出した補間画素毎の信号値を含む。
左から第３段目から第６段目までの信号値は、それぞれ２００、１７５、１２５、１００である。これらの信号値は、画像ブロックＩ１０１の同一の表示領域における信号値２００、２００、１００、１００よりもなだらかである。
従って、本実施形態によれば、信号値の変化が急激なエッジが維持され、エッジが不明瞭になる現象（ぼやけ）が回避される。
【００６７】
なお、上述の共一次内挿法では、補間座標ｐｉ（ｘｙ）の信号値ｖｉは、例えば、式（９）を
用いて算出される。
【００６８】
【数９】
0005911166.tif 000010
【００６９】
式（９）において、（ｉｘ，ｉｙ）は、４つの原画素の中心座標のうち、最も原点に近接する中心座標である。信号値ｖｉｘ，ｉｙ、ｖｉｘ，ｉｙ＋１、ｖｉｘ＋１，ｉｙ、ｖｉｘ＋１，ｉｙ＋１は、補間座標ｐｉ（ｘｙ）周囲に隣接する４つの原画素（周囲画素）の信号値を表す。なお、式（９）
は、ｋ、ｌがともに正の値である場合（式（１）参照）に用いる数式である。
ここで、信号値ｖｉｘ，ｉｙに対する重み係数の分母（２Ｎ−ｋ）・（２Ｎ−ｌ）は、補間座標ｐｉ（ｘｙ）から中心座標（ｉｘ，ｉｙ）とは反対側の中心座標（ｉｘ＋１，ｉｙ＋１）への水平方向の長さ２Ｎ−ｋと垂直方向の長さ２Ｎ−ｌの積である。他の信号値についても、重み係数は、補間座標ｐｉ（ｘｙ）から各中心座標とは反対側の中心座標までの水平方向の長さと垂直方向の長さによる面積に比例する値である。
なお、ｋ又はｌのいずれかが負の値である場合、用いられる周囲画素が異なるが、同様な観点で定められた重み係数を用いて重み付け加算を行うことができる。
【００７０】
このように、本実施形態によれば、画素間の補間座標に係る信号値を、前記補間座標から予め定めた範囲内の各近傍画素に対応する信号値を補間することによって求める。ここで、本実施形態では、補間座標に最も近接する基準画素の奥行値と補間画素から予め定めた範囲内の各近傍画素の奥行値に基づいて重み係数を定め、定めた重み係数を用いて各近傍画素の信号値を補間する。これにより、補間画素として被写体の奥行方向の距離の変化に応じた信号値が与えられる。本実施形態によれば、特に、エッジが不明瞭になる現象が回避され、補間画像の画質劣化を低減できる。
【００７１】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について説明する。
図１２は、本実施形態に係る画像処理装置２０の構成を表す概略図である。
画像処理装置２０は、平面画像入力部１０１、奥行情報入力部１０２、入力平面画像記憶部１０３、入力奥行情報記憶部１０４、重み決定部２０５、パラメータ記憶部１０６、平面画像補間部１０７、奥行情報補間部１０８、補間平面画像記憶部１０９、補間奥行情報記憶部１１０、平面画像出力部１１１及び奥行情報出力部１１２を含んで構成される。
即ち、画像処理装置２０は、重み決定部１０５（図１参照）の代わりに重み決定部２０５を備える。画像処理装置２０は、その他の構成部については画像処理装置１０（図１参照）と同様である。以下、画像処理装置１０との差異を主に説明する。
【００７２】
重み決定部２０５は、入力平面画像記憶部１０３から平面画像信号を読み出し、入力奥行情報記憶部１０４から奥行情報を読み出す。重み決定部１０５は、パラメータ記憶部１０６から補間パラメータを読み出す。重み決定部２０５は、補間奥行情報記憶部１１０から補間奥行情報を読み出す。
重み決定部２０５は、補間画素に対応する奥行値と、各近傍画素が占める領域に含まれる他の補間画素に対応する奥行値との差分絶対値に基づいて、各近傍画素に対する重み係数ｗｊを定める。
【００７３】
重み決定部２０５は、例えば、補間画素に対応する奥行値との差分絶対値が予め定めた値（例えば２）よりも小さくなる他の補間画素を含む近傍画素ｊについて重み係数ｗｊを１と定める。重み決定部２０５は、補間画素に対応する奥行値との差分絶対値が予め定めた値（例えば２）よりも小さくなる他の補間画素を含まない近傍画素ｊについて重み係数ｗｊを０と定める。
【００７４】
かかる処理について、奥行ブロックが与えられている場合を例にとって説明する。
図１３は、奥行ブロックのその他の例Ｉ１３１を表す図である。
図１３は、奥行ブロックＩ１３１を表す。奥行ブロックＩ１３１に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ原画素が占める領域を表す。各矩形に含まれる０等の数字は、その画素に対応する奥行値を示す。各四角形は、奥行値が大きくなるほど明るい色で塗りつぶされている。左から３段目、上から３行目の画素に含まれる×印は、補間座標Ｉ１３６を表す。
【００７５】
図１４は、補間奥行ブロックの一例Ｉ１４１を表す図である。
図１４は、補間奥行ブロックＩ１４１を表す。補間奥行ブロックは、奥行画像の一部の領域に含まれる複数の補間座標の各々について補間された奥行値が与えられた情報である。補間奥行ブロックＩ１４１に含まれる１００個（水平方向１０個×垂直方向１０個）の四角形は、補間画素が占める領域を表す。各矩形に含まれる０等の数字は、その補間画素に対応する奥行値を示す。
補間奥行ブロックＩ１４１は、奥行情報補間部１０８が共一次内挿法を用いて生成した補間奥行情報の一部であって、奥行ブロックＩ１３１の表示領域と同一である部分である。
補間奥行ブロックＩ１４１の左から６段目、上から６行目の補間画素に含まれる×印は、補間画素Ｉ１３６を表し、その補間画素の中心座標である。
補間奥行ブロックＩ１４１の左から５〜６段目、上から５〜６行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４２、左から７〜８段目、上から５〜６行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４３、左から５〜６段目、上から７〜８行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４４、左から７〜８段目、上から７〜８行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４５を表す。
【００７６】
近傍画素Ｉ１４２に含まれる４つの補間画素の奥行値は、０、１、１、４であり、注目する補間画素の奥行値４を含む。近傍画素Ｉ１４３に含まれる４つの補間画素の奥行値は、５、８、８、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい奥行値５を含む。近傍画素Ｉ１４４に含まれる４つの補間画素の奥行値は、５、８、８、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい５を含む。近傍画素Ｉ１４５に含まれる４つの補間画素の奥行値は、９、１０、１０、１０であり、注目する補間画素の奥行値４との差分絶対値が２よりも小さい奥行値を含まない。
従って、重み決定部２０５は、近傍画素Ｉ１４２、Ｉ１４３、Ｉ１４４の重み係数ｗｊをそれぞれ１と決定する。重み決定部２０５は、近傍画素Ｉ１４５に対応する重み係数ｗｊを０と決定する。
【００７７】
図１５は、画像ブロックのその他の例Ｉ１５１を表す図である。
図１５は、画像ブロックＩ１５１を表す。画像ブロックＩ１５１は、奥行ブロックＩ１３１に対応する画像ブロックである。
画像ブロックＩ１５１に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ原画素が占める領域を表す。各矩形に含まれる１００等の数字は、その画素に対応する信号値を示す。画像ブロックＩ１５１の右上端から左下端への対角線上の画素の信号値は５０である。この対角線よりも左上の画素の信号値は１００である。この対角線よりも右下の画素の信号値は０である。このように画像ブロックＩ１５１は、水平方向又は垂直方向から離れた方向に向いているエッジ部分を有する。
左から３段目、上から３行目の画素に含まれる×印は、補間座標Ｉ１３６を表す。
補間座標Ｉ１３６を含む領域を占める画素が近傍画素Ｉ１４２である。近傍画素Ｉ１４２の右隣の画素が近傍画素Ｉ１４３である。近傍画素Ｉ１４２の下隣の画素が近傍画素Ｉ１４４である。近傍画素Ｉ１４４の右隣の画素が近傍画素Ｉ１４５である。
【００７８】
図１６は、平面画像の一例Ｉ２１を示すその他の図である。
図１６は、平面画像Ｉ２１を表す。画像ブロックＩ１５１は、平面画像Ｉ２１が表す人物Ｉ−ＰＩの頭部の左上部に表された矩形が占める部分の画像を表す。
【００７９】
次に、本実施形態によって生成された補間画像信号について説明する。
図１７は、補間画像ブロックのその他の例Ｉ１７１を表す拡大図である。
図１７は、補間画像ブロックＩ１７１を表す。補間画像ブロックＩ１７１に含まれる１００個（水平方向１０個×垂直方向１０個）の矩形は、それぞれ補間画素が占める領域を表す。各矩形に含まれる１００等の数字は、その画素に対応する信号値を示す。補間画像ブロックＩ１７１の表示領域は、画像ブロックＩ１５１（図１５参照）の表示領域と同一である。
補間画像ブロックＩ１７１は、平面画像補間部１０７が、重み決定部２０５が定めた重み係数ｗｊを用いて算出した補間画素毎の信号値を含む。例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、８７、８７、６６、３３、０である。
【００８０】
これに対し、従来技術を用いて生成した補間画像信号の２つの例について説明する。
図１８は、補間画像ブロックのその他の例Ｉ１８１を表す図である。
図１８は、補間画像ブロックＩ１８１を表す。補間画像ブロックＩ１８１に含まれる補間画素の配置は、補間画像ブロックＩ１７１（図１７参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１８１の表示領域も、補間画像ブロックＩ１７１の表示領域と同一である。補間画像ブロックＩ１８１は、従来技術の一例として最近接内挿法を用いて算出した補間画素毎の信号値を含む。
例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、１００、５０、５０、０、０である。
これらの信号値は、原画像の画像ブロックＩ１５１の同一の表示領域における信号値１００、５０、０と同一であり、エッジが階段状に表れることを示す。
従って、本実施形態によれば、エッジが階段状に現れる現象（ジャギー）が緩和される。
【００８１】
図１９は、補間画像ブロックのその他の例Ｉ１９１を表す図である。
図１９は、補間画像ブロックＩ１９１を表す。補間画像ブロックＩ１９１に含まれる補間画素の配置は、補間画像ブロックＩ１７１（図１７参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１９１の表示領域も、補間画像ブロックＩ１７１の表示領域と同一である。補間画像ブロックＩ１９１は、従来技術の一例として共一次内挿法を用いて算出した補間画素毎の信号値を含む。
例えば、上から第３行目の左から第５段目から第１０段目までの信号値は、それぞれ１００、９０、７１、５０、２５、９である。
これらの信号値は、補間画像ブロックＩ１７１の同一の表示領域における信号値よりも緩やかに変化している。
従って、本実施形態によれば、エッジの信号値が緩やかに変化する現象（ぼやけ）が緩和される。
【００８２】
重み決定部２０５は、上述の第２の重み決定法又は第４の重み決定法において、基準画素ｉに対応する奥行値ｐｉ（ｚ）の代わりに、補間画素に対応する奥行値を用いてもよい。上述の第２の重み決定法や第４の重み決定法では、奥行値に対応する平面上の座標の誤差が、画素ピッチの半分だけ生じうる。しかし、補間画素に対応する奥行値を用いることで、かかる誤差を低減することができる。これにより、高解像度化に伴う画質の向上を発揮することができる。
【００８３】
このように、本実施形態によれば、補間画素から予め定めた範囲内の各近傍画素に含まれる補間座標毎の奥行値に基づいて重み係数を定め、定めた重み係数を用いて各近傍画素の信号値を補間する。これにより、被写体の奥行方向の距離に対する信号値がより高精度になる。本実施形態によれば、特に、水平方向又は垂直方向から離れた方向に向いたエッジが階段状に表れる現象（ジャギー）や、エッジがなだらかになる現象（ぼやけ）が緩和される。これにより補間画像の画質劣化を低減できる。
【００８４】
（第３の実施形態）
以下、図面を参照しながら本発明の第３の実施形態について説明する。
図２０は、本実施形態に係る撮像装置３０の構成を表す概略図である。
撮像装置３０は、２個の撮像部３１、３２、奥行情報生成部３３及び画像処理部３４を含んで構成される。
撮像部３１、３２は、互いに異なる位置（視点）に設置され同一の視野に含まれる被写体の画像を予め定めたフレーム時間間隔で撮影する。撮像部３１、３２は、例えば、この両者が一体化されたステレオカメラであってもよい。撮像部３１、３２が撮影した画像を示す画像信号は、各々二次元平面に配置された画素毎の信号値からなる画像信号である。  撮像部３１、３２は、撮影した画像を示す画像信号を、それぞれ奥行情報生成部３３にフレーム毎に出力する。
【００８５】
奥行情報生成部３３は、撮像部３１、３２のいずれか一方、例えば撮像部３１から入力された画像信号を、基準とする画像信号（平面画像信号）と定める。
奥行情報生成部３３は、平面画像信号が表す画像と、他方の撮像部３２から入力された画像信号が表す画像との視差を画素毎に算出し、算出した視差値を奥行値として含む奥行情報を生成する。奥行情報生成部３３は、視差値を算出するために、例えば、ブロックマッチング法を用いる。
奥行情報生成部３３は、平面画像信号と生成した奥行情報を画像処理部３４に出力する。
【００８６】
画像処理部３４は、奥行情報生成部３３から入力された平面画像信号と奥行情報に基づいて、補間平面画像信号及び補間奥行情報を生成する。画像処理部３４は、画像処理装置１０（図１参照）又は画像処理装置２０（図１２参照）と同様な構成を備える。画像処理部３４は、生成した補間平面画像信号及び補間奥行情報を撮像装置３０の外部に出力する。
従って、本実施形態によれば、撮像部３１、３２が撮像した画像信号よりも解像度が高い補間平面画像信号を取得することができ、この補間平面画像信号が表す画像の画質劣化を低減することができる。
【００８７】
（第４の実施形態）
以下、図面を参照しながら本発明の第４の実施形態について説明する。
図２１は、本実施形態に係る画像表示装置４０の構成を表す概略図である。
画像表示装置４０は、画像処理部４１及び画像表示部４２を含んで構成される。
画像処理部４１には、画像表示装置４０の外部から平面画像信号と奥行情報が入力される。画像処理部４１に左画像の平面画像信号と右画像の平面画像信号とそれぞれに対応する奥行情報が入力された場合は、画像処理部４１は、左右それぞれの平面画像信号と奥行情報に基づいて、左右それぞれの補間平面画像信号及び補間奥行情報を生成する。画像処理部４１に平面画像信号と奥行情報が入力される場合は、入力された平面画像信号を左画像信号と定め、左画像の補間平面画像信号と補間奥行情報を生成する。そして、生成した左画像の補間平面画像信号と補間奥行情報に基づいて右画像信号を生成する。ここで、画像処理部４１は、左画像の補間平面画像信号に含まれる画素毎の信号値を、対応する画素の奥行値であって補間奥行情報に含まれる奥行値が表す視差量だけ離れた位置の画素に配置して右画像の補間平面画像信号を生成する。
画像処理部４１は、画像処理装置１０（図１参照）又は画像処理装置２０（図１２参照）と同様な構成を備える。
画像表示部４２は、画像処理部４１から入力された補間平面画像信号及び補間奥行情報が表す立体画像を表示する。
【００８８】
画像表示部４２は、例えば、視聴者の左眼に表示する左画像と右眼に表示する右画像を表示する２視点の立体ディスプレイ（ステレオディスプレイ）又はプロジェクタ（ステレオプロジェクタ）である。
【００８９】
画像表示部４２は、例えば、左画像信号が表す画像と右表示画像信号が表す画像をフレーム時間間隔の半分の時間間隔で（例えば、１／６０秒）交互にスクリーンに表示するプロジェクタである。視聴者は、この時間間隔に同期させて視聴者の左右各眼に光線を透過するか否かを制御することができるシャッター（例えば、液晶シャッター）を備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部４２は、その他、左画像信号が表す画像と右画像信号が表す画像を互いに異なる偏光特性でスクリーンに表示するプロジェクタであってもよい。視聴者は、左画像信号に対する偏光特性に対応した偏光フィルタを左眼レンズに備え、右画像信号に対する偏光特性に対応した偏光フィルタを右眼レンズに備えた立体視用眼鏡を用いて立体画像を視聴する。
画像表示部４２は、その他、左画像信号が表す画像と右画像信号が表す画像の上下方向に長い画像帯を交互に表示する表示面と、その前面を上下方向に延伸されたスリットを備えた視差バリア方式のディスプレイであってもよい。また、画像表示部４２は、その表示面と、その前面を上下方向に延伸された凸レンズ（レンティキュラレンズ）を備えたレンティキュラ方式のディスプレイであってもよい。
【００９０】
なお、本実施形態に係る画像表示装置は、上述の画像表示装置４０のように立体画像表示装置に限らず、例えば、平面画像表示装置であってもよい。図２２は、本発明の第４の実施形態の一変形例に係る画像表示装置５０の構成を表す概略図である。画像表示装置５０は、画像表示装置４０の画像表示部４２の代わりに画像表示部５２を備える。画像表示部５２は、画像処理部４１から入力された補間平面画像信号が表す平面画像を表示する。
【００９１】
従って、本実施形態によれば、入力された平面画像信号よりも解像度が高い補間平面画像信号、例えば画像表示部の解像度に合わせた補間平面画像信号を得ることができる。本実施形態によれば、この補間平面画像信号が表す画像の画質劣化を低減することができる。
【００９２】
上述した実施形態では、補間倍率が２である場合を例にとって説明したが、本実施形態ではこれには限られない。本実施形態では、補間倍率は、１より大きな倍率、例えば３であってもよい。
【００９３】
上述した実施形態では、平面画像補間部１０７が、重み決定部１０５、２０５から入力された重み係数ｗｊの総和Ｗを算出し、算出した総和Ｗで信号値ｖｊを重み付け加算した値を除算して正規化する場合を例にとって説明した。本実施形態では、これには限られない。本実施形態では、重み決定部１０５、２０５は、総和Ｗが１になるように正規化した重み係数ｗｊを定め、平面画像補間部１０７が、その正規化した重み係数ｗｊを用いて信号値ｖｊを重み付け加算してもよい。その場合、平面画像補間部１０７は、総和Ｗで除算する処理を省略してもよい。
【００９４】
上述の撮像装置３０は、２つの視点の各々に設置された撮像部を用いて２視点の立体画像を撮像する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、２視点よりも視点数が多い多視点の立体画像を撮像してもよい。ここで、撮像した多視点の画像信号から、1つの視点の画像信号と、その1つの視点と他の視点との関係を表す奥行情報を生成することができればよい。
【００９５】
上述の撮像装置３０は、補間平面画像信号と補間奥行情報を外部に出力する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、撮像装置３０は、生成した補間平面画像信号と補間奥行情報を対応付けて記憶する記憶部を備えてもよい。また、本実施形態では、撮像装置３０は、生成した補間平面画像信号と補間奥行情報に基づく立体画像を表示する表示部を備えてもよい。
【００９６】
上述の画像表示装置４０は、２視点の立体画像を表示する場合を例にとって説明したが、本実施形態では、これには限られない。本実施形態では、２視点よりも視点数が多い多視点の立体画像を表示してもよい。多視点の画像信号は、少ないとも1つの視点の画像信号と、その1つの視点と他の視点との関係を表す奥行情報を用いて生成することができる。
また、上述の画像表示装置４０は、生成した補間平面画像信号と補間奥行情報を対応付けて記憶する記憶部を備えていてもよい。
【００９７】
なお、上述した実施形態における画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の一部、例えば、重み決定部１０５、２０５、平面画像補間部１０７、奥行情報補間部１０８、奥行情報生成部３３、及び画像処理部３４、４１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置１０、２０、撮像装置３０又は画像表示装置４０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【００９８】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００９９】
１０、２０…画像処理装置、
１０１…平面画像入力部、
１０２…奥行情報入力部、
１０３…入力平面画像記憶部、
１０４…入力奥行情報記憶部、
１０５、２０５…重み決定部、
１０６…パラメータ記憶部、
１０７…平面画像補間部、
１０８…奥行情報補間部、
１０９…補間平面画像記憶部、
１１０…補間奥行情報記憶部、
１１１…平面画像出力部、
１１２…奥行情報出力部
３０…撮像装置、
３１、３２…撮像部、
３３…奥行情報生成部、
３４…画像処理部、
４０、５０…画像表示装置、
４１…画像処理部、
４２、５２…画像表示部
【図１】
0005911166.tif 000011
【図２】
0005911166.tif 000012
【図３】
0005911166.tif 000013
【図４】
0005911166.tif 000014
【図５】
0005911166.tif 000015
【図６】
0005911166.tif 000016
【図７】
0005911166.tif 000017
【図８】
0005911166.tif 000018
【図９】
0005911166.tif 000019
【図１０】
0005911166.tif 000020
【図１１】
0005911166.tif 000021
【図１２】
0005911166.tif 000022
【図１３】
0005911166.tif 000023
【図１４】
0005911166.tif 000024
【図１５】
0005911166.tif 000025
【図１６】
0005911166.tif 000026
【図１７】
0005911166.tif 000027
【図１８】
0005911166.tif 000028
【図１９】
0005911166.tif 000029
【図２０】
0005911166.tif 000030
【図２１】
0005911166.tif 000031
【図２２】
0005911166.tif 000032