【手続補正書】
【提出日】平成26年12月26日(2014.12.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
（４）本発明の第四の技術手段は、前記第二の技術手段における画像処理装置であって、前記重み決定部は、前記近傍画素から前記補間座標までの前記平面上の距離に基づいて、前記重み係数を定めることを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
式（１）において、ｉｘは、基準画素の水平方向（ｘ方向）のインデックスである。ｋは、補間座標の水平方向のインデックスである。ｋは、基準画素毎に独立に定められ、基準画素から水平方向に隣接する基準画素を表す点において０となる。ｋは、−Ｎ又は−Ｎよりも大きく、Ｎより小さい整数である。Ｎは、予め定めた補間倍率、即ち基準画素間の補間画素数を表す整数値である。ｉｙは、基準画素の垂直方向（ｙ方向）のインデックスである。ｌは、補間座標の垂直方向のインデックスである。ｌは、基準画素毎に独立に定められ、基準画素から垂直方向に隣接する基準画素を表す点において０となる。ｌは、−Ｎ又は−Ｎよりも大きく、Ｎより小さい整数である。式（１）において、補間座標ｐｉ（ｘｙ）は、基準画素間の画素間距離（画素ピッチ）が１となるように正規化されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
次に、補間座標とその近傍画素の一例を図６に示す。
図６は、画像ブロックの一例Ｉ２２を表す図である。
図６は、画像ブロックＩ２２（図２参照）を表す。画像ブロックＩ２２に含まれる２５個（水平方向５個×垂直方向５個）の四角形は、それぞれ原画素が占める領域を表す。各四角形に含まれる２００や、１００という数字は、その画素に対応する信号値（例えば、Ｒ信号の信号値）を示す。各矩形は、信号値が大きくなるほど明るい色で塗りつぶされている。各矩形に含まれる記号＋は、中心座標を表す。
上から２行目、左から２段目の画素Ｉ６１に含まれる×印は、補間座標Ｉ６５を表す。即ち、画素Ｉ６１は、基準画素であり、近傍画素のうちの１つである。基準画素Ｉ６１の右隣の画素は、近傍画素Ｉ６２である。基準画素Ｉ６１の下隣の画素は、近傍画素Ｉ６３である。基準画素Ｉ６１の右下隣の画素は、近傍画素Ｉ６４である。即ち、補間座標Ｉ６５から原画素の中心までの距離が予め定めた距離よりも短くなる画素を近傍画素Ｉ６１〜Ｉ６４と定めていることを示す。図６の例では、補間座標Ｉ６５から原画素の中心までの水平方向の距離と垂直方向の距離の最大値が原画像の画素ピッチより小さな画素を近傍画素と定めている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
上述の平面画像に対応する奥行情報における補間座標とその近傍画素の例を図７に示す。
図７は、奥行ブロックの一例Ｉ３２を表す図である。
図７は、奥行ブロックＩ３２（図３参照）を表す。奥行ブロックは、奥行画像の一部の領域に含まれる複数の画素の各々について奥行値が与えられた情報である。奥行ブロックＩ３２に含まれる２５個（水平方向５個×垂直方向５個）の矩形は、それぞれ奥行情報における原画素が占める領域を表す。各矩形に含まれる０等の数字は、その画素に対応する奥行値を示す。各矩形は、奥行値が大きくなるほど明るい色で塗りつぶされている。各矩形に含まれる記号＋は、中心座標を表す。
補間座標Ｉ７５は、補間座標Ｉ６５（図６参照）と同一の位置の奥行情報における座標を表す。近傍画素Ｉ７１〜Ｉ７４は、近傍画素Ｉ６１〜Ｉ６４と同一の画素を表す。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
式（３）において、Δｐ（ｘｙ）ｍａｘは、平面上の距離Δｐｊ（ｘｙ）の最大値である。従って、式（３）によれば、最大値Δｐ（ｘｙ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素i について重み係数ｗｊが最大になる。このように、重み係数ｗｊは、更に距離Δｐｊ（ｘｙ）の増加に対して線形に小さくなるように決定される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
式（５）において、Δｄ（ｚ）ｍａｘは、距離Δｄｊ（ｚ）の最大値である。従って、式（５）によれば、最大値Δｄ（ｚ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素i について重み係数ｗｊが１となる。この重み決定法によれば、画素ピッチｑ、焦点距離ｆ、基線長Ｂが補間パラメータに含まれる。
なお、第３の重み決定法と同様に、平面上の距離Δｐｊ（ｘｙ）を考慮して、更に（１−Δｐｊ（ｘｙ）／Δｐ（ｘｙ）ｍａｘ）を乗じて重み係数ｗｊを決定してもよい。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００５４
【補正方法】変更
【補正の内容】
【００５４】
＜第５の重み決定法＞重み決定部１０５は、基準画素ｉの中心座標に対応する３次元位置ｐｊ（ｘｙｚ）と近傍画素ｊの中心座標に対応する３次元位置ｐｉ（ｘｙｚ）の間の距離Δｄｊ（ｘｙｚ）を考慮して重み係数ｗｊを決定する。ここで、添字（ｘｙｚ）は、３次元座標に係ることを表す。
ここで、重み決定部１０５は、奥行情報に含まれる奥行値を参照して近傍画素の中心座標ｊを、例えば式（６）を用いて３次元位置ｐｊ（ｘｙｚ）に変換する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
式（７）において、Δｄ（ｘｙｚ）ｍａｘは、距離Δｄｊ（ｘｙｚ）の最大値である。
この重み決定法によれば、画素ピッチｑ、焦点距離ｆ、基線長Ｂが補間パラメータに含まれる。従って、式（７）によれば、最大値Δｄ（ｘｙｚ）ｍａｘとなる近傍画素ｊについて重み係数ｗｊが０となり、基準画素i について重み係数ｗｊが最大になる。このように、重み係数ｗｊは、３次元空間内の距離Δｄｊ（ｘｙｚ）の増加に対して線形に小さくなるように決定される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５９
【補正方法】変更
【補正の内容】
【００５９】
次に、ある奥行ブロックに対し重み係数ｗｊを定める場合について、第２の重み決定法を用いる場合と、第４の重み決定法を用いる場合を例にとって比較する。
図８は、奥行ブロックと補間座標の一例を表す図である。
図８は、奥行ブロックＩ８１を表す。奥行ブロックＩ８１は、水平方向３画素、垂直方向３画素、計９画素を含む。左から２段目、最上行の画素は、近傍画素Ｉ８２を表す。左から３段目、最上行の画素は、近傍画素Ｉ８３を表す。左から２段目、上から２行目の画素が近傍画素Ｉ８４を表す。左から３段目、上から２行目の画素は、近傍画素Ｉ８５を表す。近傍画素Ｉ８４に含まれる×印は、補間画素Ｉ８６を表す。従って、近傍画素Ｉ８４が基準画素である。近傍画素Ｉ８２、Ｉ８３、Ｉ８４、Ｉ８５の奥行値は、１、１、３、５となる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
これに対し、従来技術を用いて生成した補間画像信号について説明する。
図１１は、補間画像ブロックのその他の例Ｉ１１１を表す拡大図である。
図１１は、補間画像ブロックＩ１１１を表す。補間画像ブロックＩ１１１に含まれる補間画素の配置は、補間画像ブロックＩ１０１（図１０参照）に含まれる補間画素の配置と同一である。補間画像ブロックＩ１１１の表示領域も、補間画像ブロックＩ１０１の表示領域と同一である。補間画像ブロックＩ１１１は、従来技術の一例として共一次内挿法を用いて定めた重み係数ｗｊを用いて算出した補間画素毎の信号値を含む。
左から第３段目から第６段目までの信号値は、それぞれ２００、１７５、１２５、１００である。これらの信号値は、画像ブロックＩ１０１の同一の表示領域における信号値２００、２００、１００、１００よりもなだらかである。
従って、本実施形態によれば、信号値の変化が急激なエッジが維持され、エッジが不明瞭になる現象（ぼやけ）が回避される。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
なお、上述の共一次内挿法では、補間座標ｐｉ（ｘｙ）の信号値ｖｉは、例えば、式（９）を
用いて算出される。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６９
【補正方法】変更
【補正の内容】
【００６９】
式（９）において、（ｉｘ，ｉｙ）は、４つの原画素の中心座標のうち、最も原点に近接する中心座標である。信号値ｖｉｘ，ｉｙ、ｖｉｘ，ｉｙ＋１、ｖｉｘ＋１，ｉｙ、ｖｉｘ＋１，ｉｙ＋１は、補間座標ｐｉ（ｘｙ）周囲に隣接する４つの原画素（周囲画素）の信号値を表す。なお、式（９）
は、ｋ、ｌがともに正の値である場合（式（１）参照）に用いる数式である。
ここで、信号値ｖｉｘ，ｉｙに対する重み係数の分母（２Ｎ−ｋ）・（２Ｎ−ｌ）は、補間座標ｐｉ（ｘｙ）から中心座標（ｉｘ，ｉｙ）とは反対側の中心座標（ｉｘ＋１，ｉｙ＋１）への水平方向の長さ２Ｎ−ｋと垂直方向の長さ２Ｎ−ｌの積である。他の信号値についても、重み係数は、補間座標ｐｉ（ｘｙ）から各中心座標とは反対側の中心座標までの水平方向の長さと垂直方向の長さによる面積に比例する値である。
なお、ｋ又はｌのいずれかが負の値である場合、用いられる周囲画素が異なるが、同様な観点で定められた重み係数を用いて重み付け加算を行うことができる。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
このように、本実施形態によれば、画素間の補間座標に係る信号値を、前記補間座標から予め定めた範囲内の各近傍画素に対応する信号値を補間することによって求める。ここで、本実施形態では、補間座標に最も近接する基準画素の奥行値と補間画素から予め定めた範囲内の各近傍画素の奥行値に基づいて重み係数を定め、定めた重み係数を用いて各近傍画素の信号値を補間する。これにより、補間画素として被写体の奥行方向の距離の変化に応じた信号値が与えられる。本実施形態によれば、特に、エッジが不明瞭になる現象が回避され、補間画像の画質劣化を低減できる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
図１４は、補間奥行ブロックの一例Ｉ１４１を表す図である。
図１４は、補間奥行ブロックＩ１４１を表す。補間奥行ブロックは、奥行画像の一部の領域に含まれる複数の補間座標の各々について補間された奥行値が与えられた情報である。補間奥行ブロックＩ１４１に含まれる１００個（水平方向１０個×垂直方向１０個）の四角形は、補間画素が占める領域を表す。各矩形に含まれる０等の数字は、その補間画素に対応する奥行値を示す。
補間奥行ブロックＩ１４１は、奥行情報補間部１０８が共一次内挿法を用いて生成した補間奥行情報の一部であって、奥行ブロックＩ１３１の表示領域と同一である部分である。
補間奥行ブロックＩ１４１の左から６段目、上から６行目の補間画素に含まれる×印は、補間画素Ｉ１３６を表し、その補間画素の中心座標である。
補間奥行ブロックＩ１４１の左から５〜６段目、上から５〜６行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４２、左から７〜８段目、上から５〜６行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４３、左から５〜６段目、上から７〜８行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４４、左から７〜８段目、上から７〜８行目の４個の補間画素を含む領域を占める近傍画素Ｉ１４５を表す。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
奥行情報生成部３３は、撮像部３１、３２のいずれか一方、例えば撮像部３１から入力された画像信号を、基準とする画像信号（平面画像信号）と定める。
奥行情報生成部３３は、平面画像信号が表す画像と、他方の撮像部３２から入力された画像信号が表す画像との視差を画素毎に算出し、算出した視差値を奥行値として含む奥行情報を生成する。奥行情報生成部３３は、視差値を算出するために、例えば、ブロックマッチング法を用いる。
奥行情報生成部３３は、平面画像信号と生成した奥行情報を画像処理部３４に出力する。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
画像処理部３４は、奥行情報生成部３３から入力された平面画像信号と奥行情報に基づいて、補間平面画像信号及び補間奥行情報を生成する。画像処理部３４は、画像処理装置１０（図１参照）又は画像処理装置２０（図１２参照）と同様な構成を備える。画像処理部３４は、生成した補間平面画像信号及び補間奥行情報を撮像装置３０の外部に出力する。
従って、本実施形態によれば、撮像部３１、３２が撮像した画像信号よりも解像度が高い補間平面画像信号を取得することができ、この補間平面画像信号が表す画像の画質劣化を低減することができる。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
なお、本実施形態に係る画像表示装置は、上述の画像表示装置４０のように立体画像表示装置に限らず、例えば、平面画像表示装置であってもよい。図２２は、本発明の第４の実施形態の一変形例に係る画像表示装置５０の構成を表す概略図である。画像表示装置５０は、画像表示装置４０の画像表示部４２の代わりに画像表示部５２を備える。画像表示部５２は、画像処理部４１から入力された補間平面画像信号が表す平面画像を表示する。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
なお、上述した実施形態における画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の一部、例えば、重み決定部１０５、２０５、平面画像補間部１０７、奥行情報補間部１０８、奥行情報生成部３３、及び画像処理部３４、４１をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置１０、２０、撮像装置３０又は画像表示装置４０に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。画像処理装置１０、２０、撮像装置３０及び画像表示装置４０の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
【手続補正１９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
を備え、
前記重み決定部は、
前記基準画素の奥行値が表す奥行方向の距離と、前記近傍画素の奥行値が表す奥行方向距離との差に基づいて、前記重み係数を定めることを特徴とする画像処理装置。
【請求項２】
平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
を備え、
前記重み決定部は、
前記基準画素の平面画像上の位置と奥行値が表す３次元位置と、前記近傍画素の平面画像上の位置と奥行値が表す３次元位置との距離の差に基づいて、前記重み係数を定めることを特徴とする画像処理装置。
【請求項３】
平面上に配置された画素の信号値を含む平面画像信号と、前記画素に対応する奥行値を含む奥行情報を入力する画像入力部と、
前記平面上の画素間の補間座標の信号値を、前記補間座標から予め定めた範囲内の近傍画素の信号値を補間して算出する補間部と、
前記補間座標に最も近接する基準画素の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、
前記補間座標の奥行値を、前記近傍画素の奥行値を補間して算出する奥行情報補間部と、を備え、
前記重み決定部は、
前記補間座標の奥行値と、前記近傍画素の奥行値の差異に基づいて、前記補間に用いる重み係数を定める重み決定部と、を備えることを特徴とする画像処理装置。
【請求項４】
前記重み決定部は、
前記近傍画素から前記補間座標までの前記平面上の距離に基づいて、前記重み係数を定めることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記重み決定部は、
前記補間座標の奥行値と前記近傍画素の領域に含まれる他の補間座標の奥行値の差に基づいて、前記補間に用いる重み係数を定めることを特徴とする請求項３に記載の画像処理装置。