(57)【要約】【課題】少ない計算量で画像をぼかすことなくジャギーの発生を抑制できるように補間画素を生成する。【解決手段】対象画素を中心として対称の位置関係となるように水平方向に２本、および垂直方向に２本の候補ラインを設定する。対象画素が属する模様に応じて、水平方向および垂直方向のいずれか２本に候補ラインを絞り込む。さらに、模様に応じて、候補ライン上の探索画素を絞り込む。対象画素の属するブロックによりブロックマッチングにより処理対象となるブロックと、そのブロックから等距離であって、同位相となるブロックとの類似度に基づいて、重み値を算出する。候補ライン上の画素値と、重み値との重み付き加算により補間画素の画素値を生成する。本技術は、撮像装置に適用することができる。【選択図】図１
2016053848.tif 000002
【特許請求の範囲】
【請求項１】
画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む
信号処理装置。
【請求項２】
前記候補ラインは、前記対象画素を中心として対称な位置関係の２本を１組とし、直交する２組の前記候補ラインからなる
請求項１に記載の信号処理装置。
【請求項３】
前記直交する２組の前記候補ラインは、水平方向の候補ライン、および垂直方向の候補ラインである
請求項２に記載の信号処理装置。
【請求項４】
前記候補ラインは、前記対象画素を中心として対称な位置関係の２本を１組とし、４５度ずつ異なる４組の前記候補ラインからなる
請求項１に記載の信号処理装置。
【請求項５】
前記候補ラインは、前記対象画素を通る前記候補ラインを含む
請求項１に記載の信号処理装置。
【請求項６】
前記候補ライン上の画素を順次探索し、前記対象画素の属する模様と、前記候補ライン上の探索対象となる画素である探索画素とが同一の模様に属すると期待される度合に応じた重み値を算出する重み値算出部をさらに含み、
前記補間値算出部は、前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素の画素値と、前記重み値とを用いた重み付け加算により補間し、前記対象画素の画素値を補間値として算出する
請求項１に記載の信号処理装置。
【請求項７】
前記対象画素が属する模様に基づいて、前記候補ライン中の探索画素を絞り込む探索画素絞込部をさらに含む
請求項６に記載の信号処理装置。
【請求項８】
前記画素の属する模様は、画像中のエッジである
請求項６に記載の信号処理装置。
【請求項９】
前記補間値に対して、高周波成分を低減する画像処理フィルタによってアーティファクトを低減するアーティファクト低減部をさらに含む
請求項１に記載の信号処理装置。
【請求項１０】
前記補間値算出部における補間手法とは異なる補間手法で補間値を算出する、少なくとも１種類の他の補間値算出部と、
前記対象画素の属する模様を分類し、分類結果に基づいて、前記他の補間値算出部により算出された補間値を出力するか否かを判定し、判定結果に応じて、前記他の補間値算出部により算出された補間値を出力する模様分類部とをさらに含み、
前記模様分類部により、前記分類結果に基づいて、前記他の補間値算出部により算出された補間値を出力しないと判定されたとき、前記補間値算出部は、前記補間値を算出し、算出した補間値を出力する
請求項１に記載の信号処理装置。
【請求項１１】
前記対象画素の属する模様を分類する模様分類部と、
前記補間値算出部における補間手法とは異なる、少なくとも１種類の他の補間値算出部と、
前記模様分類部により分類された模様の種類に基づいて、複数の補間値から出力する補間値を選択する補間値選択部をさらに含む
請求項１に記載の信号処理装置。
【請求項１２】
画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択し、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定し、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込み、
絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出するステップを含む
信号処理方法。
【請求項１３】
画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部と
してコンピュータを機能させるプログラム。
【請求項１４】
画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む
固体撮像素子。
【請求項１５】
画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む
撮像装置。
【請求項１６】
画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む
電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、信号処理装置および信号処理方法、固体撮像素子、撮像装置、電子機器、並びにプログラムに関し、特に、少ない計算量で画像をぼかすことなくジャギーの発生を抑制できるようにした信号処理装置および信号処理方法、固体撮像素子、撮像装置、電子機器、並びにプログラムに関する。
【背景技術】
【０００２】
画素値の補間方法として周辺画素から空き画素に値を埋める技術がある。例えば、バイリニア補間やバイキュービック補間などが代表例であるが、これは補間結果にジャギー（滑らかでないガタガタのエッジ）を生じやすい。
【０００３】
また、通過周波数帯を低くしたローパスフィルタを用いて補間するという方法もあるが、こちらはジャギーを出さない代わりに結果画像がぼけやすい。
【０００４】
そこで、ブロックマッチングを利用する方法として、対象位置に対して点対称な位置同士の類似度をブロックマッチングによって算出し、対象画素と同じ模様に属しているかを判定して、平均値で補間値を求め、１方向への画像拡大を可能にする技術が提案されている（特許文献１参照）。
【０００５】
また、同じように対象位置に点対称の位置にある画素値を加算することでジャギーを低減する技術が提案されている（特許文献２参照）。この手法ではジャギーを原理的に低減するジャギー逆相を探索し、多くの角度に対応し、補間画像上の対象画素の上下±1ラインの画素値を利用している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許４３４３２５５号公報
【特許文献２】特開２０１２−２３４５０７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１の技術では、対象位置にある模様と参照画素が属する模様の相関が低い場合には適切にジャギーを低減することができず、急峻な角度に対するジャギーを低減させることはできないことがあった。
【０００８】
また、特許文献２の技術では、ジャギーを原理的に低減するジャギー逆相を探索し、多くの角度に対応をしているが、補間画像上の対象画素の上下±1ラインから値を持ってくるため画像がボケやすい。
【０００９】
本技術は、このような状況に鑑みてなされたものであり、少ない計算量で画像をぼかすことなくジャギーの発生を抑制できるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の信号処理装置は、画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む。
【００１１】
前記候補ラインは、前記対象画素を中心として対称な位置関係の２本を１組とし、直交する２組の前記候補ラインからなるものとすることができる。
【００１２】
前記直交する２組の前記候補ラインは、水平方向の候補ライン、および垂直方向の候補ラインとすることができる。
【００１３】
前記候補ラインは、前記対象画素を中心として対称な位置関係の２本を１組とし、４５度ずつ異なる４組の前記候補ラインからなるものとすることができる。
【００１４】
前記候補ラインには、前記対象画素を通る前記候補ラインを含ませるようにすることができる。
【００１５】
前記候補ライン上の画素を順次探索し、前記対象画素の属する模様と、前記候補ライン上の探索対象となる画素である探索画素とが同一の模様に属すると期待される度合に応じた重み値を算出する重み値算出部をさらに含ませるようにすることができ、前記補間値算出部には、前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素の画素値と、前記重み値とを用いた重み付け加算により補間させ、前記対象画素の画素値を補間値として算出させるようにすることができる。
【００１６】
前記対象画素が属する模様に基づいて、前記候補ライン中の探索画素を絞り込む探索画素絞込部をさらに含ませるようにすることができる。
【００１７】
前記画素の属する模様は、画像中のエッジとすることができる。
【００１８】
前記補間値に対して、高周波成分を低減する画像処理フィルタによってアーティファクトを低減するアーティファクト低減部をさらに含ませるようにすることができる。
【００１９】
前記補間値算出部における補間手法とは異なる補間手法で補間値を算出する、少なくとも１種類の他の補間値算出部と、前記対象画素の属する模様を分類し、分類結果に基づいて、前記他の補間値算出部により算出された補間値を出力するか否かを判定し、判定結果に応じて、前記他の補間値算出部により算出された補間値を出力する模様分類部とをさらに含ませるようにすることができ、前記模様分類部により、前記分類結果に基づいて、前記他の補間値算出部により算出された補間値を出力しないと判定されたとき、前記補間値算出部には、前記補間値を算出し、算出した補間値を出力させるようにすることができる。
【００２０】
前記対象画素の属する模様を分類する模様分類部と、前記補間値算出部における補間手法とは異なる、少なくとも１種類の他の補間値算出部と、前記模様分類部により分類された模様の種類に基づいて、複数の補間値から出力する補間値を選択する補間値選択部をさらに含ませるようにすることができる。
【００２１】
本技術の一側面の信号処理方法は、画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択し、前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定し、前記対象画素の属する模様に基づいて、前記候補ラインを絞り込み、絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出するステップを含む。
【００２２】
本技術の一側面のプログラムは、画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部としてコンピュータを機能させる。
【００２３】
本技術の一側面の固体撮像素子は、画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む。  
【００２４】
本技術の一側面の撮像装置は、画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む。
【００２５】
本技術の一側面の電子機器は、画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む。
【００２６】
本技術の一側面においては、画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置が選択され、前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組が、候補ラインとして少なくとも２組設定され、前記対象画素の属する模様に基づいて、前記候補ラインが絞り込まれ、絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値が補間値として算出される。
【００２７】
本技術の一側面の信号処理装置、固体撮像素子、撮像装置、および電子機器は、それぞれ独立した装置であっても良いし、信号処理装置、固体撮像素子、撮像装置、および電子機器のそれぞれとして機能するブロックであっても良い。
【発明の効果】
【００２８】
本技術の一側面によれば、少ない計算量で画像をぼかすことなくジャギーの発生を抑制することが可能となる。
【図面の簡単な説明】
【００２９】
【図１】本技術を適用した信号処理装置の一実施の形態の構成例を説明する図である。
【図２】入力画像を水平方向および垂直方向に２倍に拡大した画像の例を示す図である。
【図３】バイリニア補間により補間画素を生成した水平方向および垂直方向に２倍に拡大した画像の例を示す図である。
【図４】理想的な方式で補間画素を生成した水平方向および垂直方向に２倍に拡大した画像の例を示す図である。
【図５】バイリニア補間により補間画素を生成した画像における周期性を説明する図である。
【図６】本技術を適用した補間画素の生成方法の概要を説明する図である。
【図７】候補ラインの設定例を説明する図である。
【図８】探索画素の絞り込みを説明する図である。
【図９】図１の信号処理部による信号処理を説明するフローチャートである。
【図１０】演算における画素配列の定義を説明する図である。
【図１１】演算における画素配列の定義を説明する図である。
【図１２】演算における画素配列の定義を説明する図である。
【図１３】処理対象となる画素を含むブロックと、距離が同一であって、逆位相の２のブロックとの類似度に基づいた重み値の演算方法を説明する図である。
【図１４】重み値に基づいた補間画素の演算方法を説明する図である。
【図１５】アーティファクト低減処理におけるFIRフィルタの例を説明する図である。
【図１６】第１の変形例を説明する図である。
【図１７】第２の変形例を説明する図である。
【図１８】第３の変形例における信号処理部の構成例を説明する図である。
【図１９】図１８の信号処理部における模様分類部で使用するフィルタの構成例を説明する図である。
【図２０】図１９の信号処理部による信号処理を説明するフローチャートである。
【図２１】第４の変形例における信号処理部の構成例を説明する図である。
【図２２】電子機器への適用について説明する図である。
【図２３】汎用のパーソナルコンピュータの構成例を説明する図である。
【発明を実施するための最良の形態】
【００３０】
＜本技術を適用した信号処理部の一実施の形態の構成例＞
図１は、本技術を適用した信号処理部の一実施の形態の構成例を示している。
【００３１】
図１の信号処理部１１は、入力画像に対して既知の画素に基づいて、未知の画素を補間生成することで、アップサンプリングやデモザイクを実現するものである。信号処理部１１は、例えば、固体撮像素子や、撮像装置、または、スマートフォンなどに代表される電子機器などに内蔵されて、撮像された画像、または入力された画像に含まれる未知の画素を、既知の画素を利用して補間生成する。尚、以降においては、信号処理部１１が、入力画像を拡大して、アップサンプリングする例について説明をするものとするが、入力画像そのものに未知の画素が含まれており、それを既知の画素に基づいて補間生成する、いわゆるデモザイク処理に利用するようにしてもよいものである。
【００３２】
より具体的には、信号処理部１１は、拡大部３１、対象位置選択部３２、候補ライン設定部３３、候補ライン絞込部３４、探索画素絞込部３５、重み値算出部３６、補間値算出部３７、およびアーティファクト低減部３８を備えている。
【００３３】
拡大部３１は、入力画像Ｐ１１に含まれる既知の画素を、所定の倍率に応じて配置し直し、未知の画素を含む拡大画像を生成して対象位置選択部３２に出力する。例えば、水平方向および垂直方向に２倍に拡大する場合、拡大部３１は、例えば、入力画像Ｐ１１の各画素を既知の画素として、図２で示されるように、水平方向、および垂直方向に１画素おきに未知の画素を挟み込むように配置し直す。これにより、水平方向、および垂直方向に１画素おきに、既知の画素と、未知の画素とが交互に配置された、水平方向、および垂直方向に２倍に拡大された拡大画像が生成される。尚、図２においては、方形状のマス目が画素を示しており、０乃至１の規格化された画素値を示す値が入力されたマス目が既知の画素を示し、無記入のマス目が未知の画素を示している。
【００３４】
対象位置選択部３２は、拡大された画像に含まれる画素のうち、未処理の未知の画素のいずれかを対象位置の画素として選択し、選択結果である対象位置の画素の情報を、対象画素として候補ライン設定部３３に供給する。
【００３５】
候補ライン設定部３３は、対象画素の画素値を設定するにあたって、対象画素が属する模様の方向を仮定する必要があるため、属する模様の方向を決定するにあたって、必要な候補ラインを設定する。より具体的には、候補ライン設定部３３は、対象画素が属する模様の例として、例えば、対象画素が属するエッジであるものとすれば、そのエッジの方向を決定するための、水平方向に近い候補ライン群と垂直方向に近い候補ライン群とを設定し、候補ライン絞込部３４に出力する。
【００３６】
例えば、図２で示されるような既知の画素と、未知の画素とからなる画像において、未知の各画素をバイリニア補間すると、図３で示されるような画像が生成される。尚、図２，図３で示される画像のうち、丸印で示される位置のマス目が処理対象となる対象画素であり、対象画素を含めた点線で示される位置にエッジＥが存在するものとする。また、各画素値は、RGB画素からなる画像である場合、YUV画素へと変換したときのY画素の画素値、すなわち、いわゆる輝度値Yを画素値として表現している。
【００３７】
図３の場合、処理対象画素を左端部とした水平方向の５画素は、いずれも画素値が０．５で表現されており、同じ画素値として表現される。これにより、図３で示される画像におけるエッジＥ上の画素は、画素値の変化が不自然なものとなり、結果として、ジャギーが発生しているような画像となる。
【００３８】
一方、図４は、図２の未知の画素が、既知の画素により理想的に補間されたときに生成される画像を示している。図４の画像においては、エッジＥ上に配置される画素の画素値にはグラデーションが形成されている。このような場合、補間生成される画素の画素値には、滑らかに画素値が変化するグラデーション状の範囲が周期的に存在する。
【００３９】
本技術においては、既知の画素の画素値と、エッジＥ上に配置される画素の画素値の周期性を利用して、未知の画素の画素値を補間する。
【００４０】
すなわち、図４の画像の場合、処理対象画素を左端部の画素として、水平方向に５画素単位で設定される範囲Ｚ１における各画素を左から読み出すと、０．１，０．３，０．５，０．７，０．９とされた、滑らかに画素値が変化するグラデーションが形成されていることが示されている。さらに、この５画素単位の範囲Ｚ１に対応する範囲Ｚ２，Ｚ３が、エッジＥに沿って、周期的に繰り返されて配置されていることが示されている。このように、同一の周期で画素値が変化する範囲が繰り返し周期的に配列されるということは、同一の模様が周期的に描かれていることを示している。
【００４１】
一方、バイリニア方式で生成された画像の場合、例えば、図５で示されるように、対象画素を左端部の画素とした、図４に対応する５画素の範囲Ｚ２，Ｚ１，Ｚ３は、画素値が均一となる範囲と、グラデーション状に滑らかに変化する範囲とが交互に配置されていることが示されている。
【００４２】
そこで、本技術においては、図６で示されるように、対象画素を含む範囲Ｚ１に対して逆位相であって、双方が同位相となる範囲Ｚ２，Ｚ３を、対象画素を含むラインに対して１ラインだけ上下のラインにおいて探索し、探索した範囲Ｚ２，Ｚ３の対象画素と対応する位置の画素の画素値に重み付け加算により補間し、対象画素の画素値を求めるようにしている。
【００４３】
候補ライン設定部３３は、対象画素を中心とした対称であって、既知の画素を含む、水平方向および垂直方向の２本の線を候補ラインとして設定する。例えば、水平方向および垂直方向の２本の線を候補ラインは、図７で示される水平方向のラインＨ１，Ｈ２および垂直方向のラインＶ１，Ｖ２である。つまり、候補ラインとは、図６の場合、範囲Ｚ１と逆位相の範囲Ｚ２，Ｚ３を探索すべき、範囲Ｚ１の存在するラインの上下のラインＨ１，Ｈ２であり、候補ライン設定部３３は、これを水平方向のみならず垂直方向にもラインＶ１，Ｖ２として設定する。
【００４４】
候補ライン絞込部３４は、設定された候補ラインのうち、処理に必要な候補ラインを絞り込んで選択する。図２乃至図５の場合、例えば、対象画素の属する模様であるエッジＥの属するラインは、水平方向に近いことから、ラインＨ１，Ｈ２が絞り込まれる。
【００４５】
検索画素絞込部３５は、上述した周期性の有無を画素単位で検索するにあたって、いずれかの既知の画素値の画素に囲まれた範囲の画素は、周辺を取り囲む画素の画素値として判断されるので、検索対象とする必要がない。そこで、検索が必要な画素のみを絞り込む。例えば、図８で示されるように、範囲Ｚ２１，Ｚ２２における既知の画素は検索するまでもなく、範囲Ｚ２１の画素は、画素値が１．０であり、範囲Ｚ２２の画素は、画素値が０．０の画素であるので、検索対称から外してもよい。そこで、図１０の場合、検索画素絞込部３５は、候補ラインＨ１，Ｈ２上の既知の画素であって、範囲Ｚ２１，Ｚ２２以外の範囲の画素に検索対象となる画素を絞り込む。
【００４６】
重み値算出部３６は、候補ライン上の画素であって、検索対象となっている画素について、処理対象の画素、すなわち対象画素であると期待される値を重み値として算出する。尚、重み値の算出方法については詳細を後述する。
【００４７】
補間値算出部３７は、重み値算出部３６により算出された重み値と、それぞれの画素値とを用いた重み付け加算により、処理対象となった画素の画素値を補間生成する。
【００４８】
アーティファクト低減部３８は、補間生成された画素値をフィルタ処理することにより、補間画素からなる画像に生じるアーティファクトを低減させ、出力画像Ｐ１２として出力する。
【００４９】
このような処理により、信号処理部１１は、既知の画素より未知の画素の画素値を補間生成し、アップサンプリングやデモザイクを実現する。
【００５０】
＜第１の信号処理＞
次に、図９のフローチャートを参照して、図１の信号処理部１１による信号処理について、詳細を説明する。
【００５１】
ステップＳ１１において、拡大部３１は、入力画像Ｐ１１を所望とする倍率の画像に拡大する。このとき、拡大された画像には、入力画像に含まれる既知の画素と、拡大に伴って補間生成されるべき、未知の画素とが含まれた画像となる。すなわち、例えば、水平方向および垂直方向に２倍の画像の場合、図２で示されるような画像が生成されることになる。
【００５２】
尚、以降においては、画素値は、例えば、入力画像の画素値がRGB（赤色、緑色、青色）の３色から構成される場合、以下の式（１）により、RGBの画素信号をYUV信号に変換し、個々に求められる輝度値Yに基づいた値を例にとって説明するものとする。しかしながら、RGBのそれぞれの画像を処理するようにしてもよいし、その他の画素値を使用するようにしても良い。
【００５３】
【数１】
2016053848.tif 000003
【００５４】
尚、式（１）により求められたYUV信号については、以下の式（２）によりRGB信号に変換することが可能である。
【００５５】
【数２】
2016053848.tif 000004
【００５６】
ステップＳ１２において、対象位置選択部３２は、拡大後の画素値を求める処理対象となる画素を選択する。具体的には、対象位置選択部３２は、例えば、ラスタスキャン等によって画像左上の画素から順次、未知の画素のうち、未処理の画素を対象画素として選択する。尚、以降ここで、対象位置選択部３２により処理対象画素として選択された対象位置（対象画素）の画素、および、その画素値は画素Ｌ（ｘ，ｙ）、および画素値Ｌ（ｘ，ｙ）と表すものとする。
【００５７】
ステップＳ１３において、候補ライン設定部３３は、対象画素に基づいて、例えば、図７で示されるように水平方向の候補ラインＨ１，Ｈ２、および垂直方向の候補ラインＶ１，Ｖ２を設定し、候補ライン絞込部３４に出力する。
【００５８】
より詳細には、候補ライン設定部３３は、候補ラインＨ１，Ｈ２、およびＶ１，Ｖ２を、それぞれ平行かつ、対象画素に対して対称に設定する。これにより、後段の重み値算出部３６における、候補ライン上の探索画素と対象画素とが同じ模様上にあると期待される度合いをより正確に算出することが可能になる。
【００５９】
また、候補ライン設定部３３は、例えば、図７で示されるように水平方向の候補ラインＨ１，Ｈ２、および垂直方向の候補ラインＶ１，Ｖ２を、既知の画素を２画素以上含むものに制限する。これにより、後段の補間値算出部３７において、ボケにくい補間値を算出することが可能になる。
【００６０】
従って、対象画素が画素Ｌ（ｘ，ｙ）である場合、候補ラインＨ１，Ｈ２は、例えば、Ｙ＝ｙ＋１およびＹ＝ｙ−１であり、候補ラインＶ１，Ｖ２は、例えば、Ｘ＝ｘ＋１およびＸ＝ｘ−１とされる。
【００６１】
ステップＳ１４において、候補ライン絞込部３４は、対象画素が含まれる模様の方向を判定し、前述の候補ライン設定部３３で設定された候補ラインＨ１，Ｈ２、およびＶ１，Ｖ２のうちの、候補ラインＨ１，Ｈ２、または候補ラインＶ１，Ｖ２のいずれかに絞り込む。
【００６２】
例えば、図７で示されるような対象画素Ａと、エッジＥが存在する場合、対象画素Ａの補間値として理想的な既知の画素の画素値は水平方向の候補ラインＨ１，Ｈ２上であって、かつ、エッジＥ上の画素の画素値であり、垂直方向の候補ラインＶ１，Ｖ２の画素から所望の画素値を得ることは難しい。候補ライン絞込部３４は、このように事前に判明している対象画素Ａが属する模様から、走査する候補ラインを絞り込む。
【００６３】
より詳細には、候補ライン絞込部３４は、例えば、補間値算出部３７における、重み値算出部３６において重み値を算出する際に使用する閾値に用いる値を利用することができる。具体的には、例えば、以下の式（３），式（４）で定義される値wthh，wthvを算出し、比較する。
【００６４】
【数３】
2016053848.tif 000005
【００６５】
【数４】
2016053848.tif 000006
【００６６】
ここで、式（３），式（４）中の変数は、以下の式（５）により定義される。
【００６７】
【数５】
2016053848.tif 000007
【００６８】
また、Ｌ（Ｘ，Ｙ）で示される値は、図１０で示される各画素の画素値である。
【００６９】
ここで、式（３），式（４）における、σrp2，σip2はいずれもパラメータであり、重み値算出部３６における処理を説明する際に後述する。また、上記の値wthh，wthvは、対象画素の近傍の画素からなるブロックと、対象画素を含むブロックとの類似度を表している。後段の重み値算出部３６では、重み値を求める際に、近傍のブロックよりも類似していない画素を加算しないようにするための閾値として利用する。
【００７０】
候補ライン絞込部３４は、上記の値wthh，wthvを比較し、値wthhが値wthvよりも大きければ、対象画素が垂直方向の模様に属していると判断し、候補ラインを垂直方向の候補ラインＶ１，Ｖ２に絞り込む。また、候補ライン絞込部３４は、値wthvが値wthhよりも大きければ、対象画素が水平方向の模様に属していると判断し、候補ラインを水平方向の候補ラインＨ１，Ｈ２に絞り込む。
【００７１】
上記で算出した値wthh，wthvは後段の重み値算出部３６の閾値としても利用する。図１０で示されるように、式（３），式（４）で用いられる画素のうち、画素値が未知の画素には、上下左右に隣接する、画素値が入っている画素に基づいて補間された補間値が利用される。
【００７２】
例えば、上下方向に隣接する、画素値が既知の画素が存在する場合、上下方向に隣接する画素の、既知の画素値を用いて平滑化した値が補間値とされる。また、左右方向に隣接する、画素値が既知の画素が存在する場合、左右方向に隣接する、既知の画素値を用いて平滑化した値が補間値とされる。さらに、斜め方向に隣接する、画素値が既知の画素が存在する場合、上下左右方向に隣接する、既知の画素値を用いて平滑化した値が補間値とされる。
【００７３】
これは後段の探索画素絞込部３５、および、重み値算出部３６における演算においても同様である。
【００７４】
ステップＳ１５において、探索画素絞込部３５は、対象画素の模様に従い、候補ライン上を走査する画素を絞り込み、走査対象となる画素の情報を重み値算出部３６に出力する。
【００７５】
より詳細には、例えば、図８で示される対象画素ＡとエッジＥが存在する場合、対象画素Ａの画素値を補間生成する際に利用可能な理想的な画素は、図中の一点鎖線の丸印で示された走査ライン（候補ライン）Ｈ１，Ｈ２上であって、かつ、エッジＥ上の画素である。逆に、走査ラインＨ１，Ｈ２における点線で囲まれた範囲Ｚ２１，Ｚ２２の画素から所望の画素値を得ることはできない。すなわち、走査ラインＨ１，Ｈ２における点線で囲まれた範囲Ｚ２１の画素は、画素値が１．０の画素に囲まれており、画素値が１．０であることが明らかである。また、範囲Ｚ２２の画素は、画素値が０．０の画素に囲まれており、画素値が０．０であることが明らかである。このことから、これらの画素を用いても、対象画素Ａの画素値を求める際に利用することは難しい。
【００７６】
このように事前に対象画素Ａが属する模様が判明していれば、上記の範囲Ｚ２１，Ｚ２２に含まれる画素は走査しなくても良い事がわかる。模様の判定方法はいずれの方法でも良いが、例えば、以下の式（６）を利用することにより、対象画素Ａを含む模様が属するエッジが右下がりか左下がりかを大まかに判定することができる。
【００７７】
【数６】
2016053848.tif 000008
【００７８】
ここで、対象画素Ａは、Ｌ（ｘ，ｙ）の画素であり、その他のＬ（Ｘ，Ｙ）は、図１１で示されるものである。また、値gaは、右下がりの程度を示すものであり、値gdは、右上がりの程度を示すものである。
【００７９】
すなわち、値gaが値gdよりも大きい（ga>gd）場合、模様が右下がりであるものとみなされ、逆に、値gdが値gaよりも大きい（ga<gd）場合、模様が右上りであるものとみなされる。探索画素絞込部３５は、この値gd，gaの大小関係に基づいて、走査画素を絞り込む。より具体的には、例えば、候補ラインＨ１上の走査画素については、走査の中心位置からの相対距離を示す変数tが-10≦t≦10であった場合、探索画素絞込部３５は、右下がりのとき、変数tを-10≦t≦0に絞り込み、逆に、右上りのとき、変数tを0≦t≦10に絞り込む。
【００８０】
ステップＳ１６において、重み値算出部３６は、候補ライン上の各画素位置について、対象位置と同じ模様上にあると期待される度合、すなわち、候補ライン上の各画素位置の模様と対象位置の模様との類似度を重み値として算出する。より具体的には、重み値算出部３６は、例えば、SSD（Sum of Squared Difference）やSAD（Sum of Absolute Difference）などを用いて重み値を算出する。
【００８１】
また、重み値算出部３６は、例えば、上述した特許文献２（特開２０１２−２３４５０７号公報）の中で用いられている手法に基づいて、対象画素と探索画素（逆位相）の類似度、および対象画素に対して対称な位置に存在する探索画素同士（同位相）のブロックの類似度から、下記のようにして重み値w(t)を算出するようにしてもよい。例えば、候補ライン絞込部３３で水平方向への走査に絞り込まれた場合、重み値算出部３６は、以下の式（７）で示されるように、候補ラインＨ１，Ｈ２に直交する１画素おきに既知の画素値が含まれる１画素×５画素のブロックマッチングにより重み値w(t)を算出する。
【００８２】
【数７】
2016053848.tif 000009
【００８３】
ここで、式（７）中のＬ（Ｘ，Ｙ）は、図１２で示される各画素の画素値を示しており、tは、走査の中心位置からの相対距離を示す変数である。
【００８４】
また、式（７）中の変数は、以下の式（８）により定義される。
【００８５】
【数８】
2016053848.tif 000010
【００８６】
また、垂直方向の走査に絞り込まれた場合、重み値の算出は、以下の式（９）により、候補ラインＶ１，Ｖ２に直交する１画素おきに既知の画素値が含まれる１画素×５画素のブロックマッチングにより重み値w(t)が算出される。
【００８７】
【数９】
2016053848.tif 000011
【００８８】
式（７）または式（９）で算出された重み値w(t)が負の値を取った場合、重み値算出部３６は、重み値w(t)=0とする。値σrp2,σip2はいずれもパラメータであり、逆位相判定と同位相判定の厳しさを決める。すなわち、重み値w(t)が大きいブロックの画素ほど加算されやすくなり、小さいほど加算され難くなる。
【００８９】
上式のように重み値w(t)を算出する際に、閾値（値wthh，wthv）を減算することで、近傍の画素よりも類似していないブロックの画素値は重みが0になり、加算されないようにすることができる。
【００９０】
ここで、対象位置の画素（対象画素）を含むブロックと逆位相になる探索画素のブロック、および対象位置の画素に対して対称で、かつ同位相となる探索画素同士のブロックについて説明する。上述したように、エッジＥ画存在する場合、エッジＥに沿って、同一の模様となるブロックが周期的に存在する。従って、画素配列が図５と同一の図１３で示されるように、対象画素を含む、１画素×５画素のブロックＢ１１を考える場合、ブロックＢ１１から等距離にあって、ブロックＢ１１に対して逆位相となり、かつ、相互に同位相の、１画素×５画素のブロックＢ１２，Ｂ１３が、存在するはずである。すなわち、ブロックＢ１１に属する対象画素の画素値は、対応するブロックＢ１２，Ｂ１３の画素の画素値に対して同一の画素値とならず、周期性を考えると逆位相となる。重み値算出部３６は、このような関係となる、候補ライン上の各画素に対して、対象画素であることを示す期待値に対応する重み値を付ける。
【００９１】
尚、走査の間隔は、１画素ずつではなく３画素置きなどにしてもよい。その場合、精度を落とした分だけ計算量を減少させることが可能となる。
【００９２】
ステップＳ１７において、補間値算出部３７は、重み値算出部３６によって得られた重み値と候補ライン中の参照ブロックの中心画素値との重み付け加算を求め、重み値の総和で除算することで補間画素値を算出し、アーティファクト低減部３８に出力する。図１４で示されるように、対象画素を含むブロックに対して、参照ブロックの中心画素値は対称な位置に２つあるので、その平均値l(t)を加算する画素値とする。
【００９３】
具体的には、水平方向に走査する場合、補間値算出部３７は、以下の式（１０）で表される平均値l(t)を参照画素平均値とする。
【００９４】
【数１０】
2016053848.tif 000012
【００９５】
また、垂直方向に走査する場合、補間値算出部３７は、以下の式（１１）で表される平均値l(t)を参照画素平均値とする。
【００９６】
【数１１】
2016053848.tif 000013
【００９７】
結果として、補間値算出部３７は、重み算出部で求めた重みと、参照画素平均値の重み付き加算により、以下の式（１２）で示される演算により、対象画素の補間画素値Lnewを算出する。
【００９８】
【数１２】
2016053848.tif 000014
【００９９】
ステップＳ１８において、拡大部３１は、対象画素として処理されていない未処理の画素が存在するか否かを判定し、存在する場合、処理は、ステップＳ１１に戻り、以降の処理が繰り返される。そして、ステップＳ１８において、未処理の画素が存在しないとみなされた場合、処理は、ステップＳ１９に進む。
【０１００】
ステップＳ１９において、アーティファクト低減部３８は、補間値算出部３７より供給されてきた補間画素値が求められた画像に対して、アーティファクトの低減処理を施して、出力画像として出力する。
【０１０１】
より詳細には、アーティファクト低減部３８は、補間生成された画素値により画像全体を更新し、更新後の対象画素に対して、周辺画素を使用した重み付け加算により高周波のアーティファクトを低減する。周辺画素を使用した重み付け加算により高周波のアーティファクトを低減する処理は、具体的には、例えば、フィルタ処理である。
【０１０２】
ここでの処理に使用されるフィルタは、特に限定されるものではないが、ナイキスト周波数fs/2付近の高周波を落とすものが望ましい。画像の水平方向および垂直方向のそれぞれを２倍拡大する場合、該当帯域は本来存在せず、アーティファクトとして分類できるからである。
【０１０３】
このフィルタとしては、例えば、低域をできるだけ保持しつつ高周波を低減する、図１５で示されるような２次元FIR（Finite Impulse Response）フィルタを使用する。この２次元FIRフィルタは、[-1 4 10 4 -1]という1次元FIRフィルタを合成することで作成できる。また、図１５で示される近傍５画素×５画素での重みｗ（ｘ，ｙ）と画素値Ｌ（ｘ，ｙ）との重み付け加算は、処理画素位置が（ｘ，ｙ）であるとき、下記の式（１３）で示される。
【０１０４】
【数１３】
2016053848.tif 000015
【０１０５】
以上のように、画素を補間生成するにあたって、水平方向および垂直方向のいずれの方向に属する画素であるのか否かを判定することにより処理対象となる候補ラインを絞り込んで処理を進めるようにした。このため、補間生成に適切な既知の画素を選択して画素値を補間生成することができるので、計算量を低減しつつ適切な画素値を補間生成することが可能となる。
【０１０６】
また、探索する画素を絞り込んでから処理を進めるようにした。このため、補間生成に適切な既知の画素を選択して画素値を補間生成することができるので、計算量を低減しつつ適切な画素値を補間生成することが可能となる。
【０１０７】
さらに、対象画素を含む対象ブロックを用いたブロックマッチングにより、対象画素から等距離であって、相互に同位相であって、対象画素に対して逆位相となるとなるブロックの類似度に応じた重み値を設定して、既知の画素値と、その重み値とを利用して積和（重み付け加算）により画素値を補間生成するようにしたので、画像の周期性を利用することで適切に画素値を補間生成することが可能となる。
【０１０８】
また、補間生成された画素と周辺画素との関係からアーティファクトを低減する処理を施すようにしたので、アーティファクトの低減がなされた、より自然な画素値を補間生成することが可能となる。
【０１０９】
＜第１の変形例＞
以上においては、候補ラインの組を水平方向および垂直方向についてそれぞれ２本ずつ設定し、候補ライン絞込部３３で１組に絞り込む例について説明してきた。しかしながら、方向やラインの数を制限する必要はない。すなわち、図１６で示されるように、斜め45度や135度など斜め方向などに候補ラインＳＬ１，ＳＬ２およびＳＬ１１，ＳＬ１２を設けたり、さらには、任意の方向に設定するようにしても良い。
【０１１０】
例えば、水平方向および垂直方向の斜め２方向の合計４組のラインの組を候補ラインとして、候補絞り込みで垂直方向のみだけ除外して３組のラインの組に絞っても良い。その場合、重み値算出のための走査は候補ラインの方向と直交方向に１画素×５画素などの細長いブロックを用いてブロックマッチングをするのが良い。
【０１１１】
また、上記のように候補ラインを絞り込んだ後に候補ラインの組が複数ある場合、各候補ラインでの重み値と補間値の結果を保存しておき、全ての候補ラインの走査が終わった後に、最も大きい重み値だったラインの補間値を採用するようにしてもよい。このように候補ラインを増やすと、計算量が増えるが、性能を向上させることが可能となる。
【０１１２】
＜第２の変形例＞
さらに、以上においては、候補ラインの組を自身の画素値は含まないラインで設定していたが、図１７で示されるように、対象画素を含む候補ラインＨｃ，Ｖｃ等を設定するようにしても良い。この場合、対象画素に対称なラインは自身のラインとなるので、ラインは組とならず１つとなりラインの両端から同ライン中の対称位置にある画素を得つつ探索していくことになる。この場合は模様が完全な水平方向や垂直方向であっても対応可能である。このように候補ラインを増やすと、計算量が増えるが、性能を向上させることが可能となる。
【０１１３】
＜第３の変形例＞
以上においては、各画素について一律の補間生成処理を施す例について説明してきたが、例えば、画素毎の属する模様に応じて、異なる補間方法で算出される画素値を使用するようにしても良い。例えば、画素毎の属する模様としてエッジを利用するような場合、画素がエッジに属さない場合、上述した詳細な補間演算により補間値を算出し、エッジに属さない画素については、簡易的に補間生成された画素値をそのまま使用するようにすることで、処理を高速化するようにしてもよい。
【０１１４】
図１８は、画素毎に属する模様に応じて、簡易的な補間生成で済ませることができる画素については、簡易的に補間生成された画素値をそのまま使用するようにした信号処理部の構成を示している。尚、図１における信号処理部１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
【０１１５】
すなわち、図１８の信号処理部１１において、図１の信号処理部１１と異なる点は、対象位置選択部３２と補間ライン設定部３３との間に、簡易補間値算出部５１および模様分類部５２を備えた点である。
【０１１６】
簡易補間値算出部５１は、対象位置の画素と、その周辺の既知の画素を用いて平滑化により簡易的に対象画素の画素値を算出し、模様分類部５２に出力する。
【０１１７】
模様分類部５２は、高周波のエッジ領域を検出して、簡易補間値でなく、詳細な補間値を求める必要があるか否かを判定する。模様分類部５２は、例えば、図１９で示されるような、対象位置を中心としてジャギーが出やすい周波数帯のみを通すHPF(BPF)からなる、３画素×３画素のフィルタをかける。そして、模様分類部５２は、フィルタ処理結果が所定値以上でありエッジ領域であると判定した場合、簡易補間値でもよく、詳細な補間値を求める必要がないものとみなす。すなわち、エッジ上の画素であれば、画素値は既知の値として簡易的に求められた画素値でよいものとみなし、詳細な補間値は不要であるものとみなし、簡易補間値をそのまま出力する。一方、フィルタの処理結果が所定値よりも小さく、エッジ上の画素ではないとみなされれば、候補ライン設定部３３以降の詳細な補間画素値の生成処理を実行させる。
【０１１８】
＜第２の信号処理＞
【０１１９】
次に、図２０のフローチャートを参照して、図１８の信号処理部１１による画像処理について説明する。尚、図２０におけるステップＳ４１，Ｓ４２，Ｓ４６乃至Ｓ５２については、図９のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
【０１２０】
ステップＳ４１乃至Ｓ４２において、画像が拡大されて、処理対象画素が設定されると、処理は、ステップＳ４３に進む。
【０１２１】
ステップＳ４３において、簡易補間値算出部５１は、対象画素の補間画素値を簡易的な方法で算出し、模様分類部５２に供給する。
【０１２２】
ステップＳ４４において、模様分類部５２は、入力された対象画素が属する模様を分類する。模様分類部５２は、例えば、図１９で示されるような３画素×３画素のフィルタ処理を施して、エッジ上の画素であるか否かを示すフィルタ処理を実行する。より具体的には、模様分類部５２は、以下の式（１４）で示される演算を実行することにより、フィルタ処理を実行する。
【０１２３】
【数１４】
2016053848.tif 000016
【０１２４】
ここで、ｗ（ｘ，ｙ）は重み値を、Ｌ（ｘ，ｙ）は対象画素（ｘ，ｙ）の画素値を表している。
【０１２５】
ステップＳ４５において、模様分類部５２は、フィルタ処理結果に基づいて、対象画素の模様の分類が、エッジ上であるか否かに基づいて簡易的な補間画素値で良いか否かを判定し、エッジ上ではなく、詳細な補間画素値が必要な場合、処理は、ステップＳ４７以降の処理に進み、詳細な補間画素値が算出される。
【０１２６】
一方、ステップＳ４５において、処理対象画素がエッジ上であるとみなされた場合、処理は、ステップＳ５３に進む。
【０１２７】
ステップＳ５３において、模様分類部５２は、簡易的に求められた補間画素値をそのまま出力する。
【０１２８】
このような処理により、エッジ上の簡易な補間画素値でよい画素については、詳細に画素値を補間生成する必要がないので、処理負荷を低減することが可能となり、結果として、処理速度を向上させることが可能となる。
【０１２９】
尚、この例においては、詳細な補間画素値を算出する方法と、簡易的な補間画素値を算出する方法との２種類の補間画素値について、模様の分類に応じて切り替える例について説明してきたが、それ以上の複数の補間画素値の算出方法を模様の分類に応じて切り替えるようにしても良い。
【０１３０】
＜第４の変形例＞
以上においては、対象画素の模様がエッジであるか否かに基づいて、簡易的な補間画素値をそのまま出力するか、さらに、詳細に補間画素値を算出するか否かについて判定する例について説明してきた。しかしながら、ハードウェアの演算処理能力に余裕があれば、簡易的な補間画素生成処理と詳細な補間画素値の生成処理とを並列処理で求め、対象画素の模様に応じて選択的に出力するようにしてもよい。
【０１３１】
図２１は、簡易的な補間画素生成処理と詳細な補間画素値の生成処理とを並列処理で求め、対象画素の模様に応じて選択するようにした信号処理部１１の構成例である。尚
、図２１において、図１８、または図１の信号処理部１１における構成と同一の機能を備えた構成については、同一の名称および同一の符号を付しており、その説明は適宜省略するものとする。
【０１３２】
図２１の信号処理部１１において、図１８の信号処理部１１と異なる点は、対象位置選択部３２より出力される対象画素の情報が候補ライン設定部３３および模様分類部５２の両方に出力され、その後段に簡易補間値算出部５１が設けられて、さらに、最終的に、補間値選択部６１が設けられた点である。
【０１３３】
すなわち、模様分類部５２による対象画素の模様の分類した上で、簡易補間値算出部５１および補間値算出部３７にそれぞれ供給する。そして、簡易補間値算出部５１および補間値算出部３７が、それぞれ全画素について、簡易的な補間画素値と、詳細な処理による補間画素値とを算出し、模様の分類結果を付して補間値選択部６１に供給する。補間値選択部６１が、模様分類部５２の分類結果に応じて、簡易的な補間画素値、および、詳細な補間画素値のいずれかを選択的に出力する。
【０１３４】
尚、図２１の信号処理部１１における画像処理は、最後に、模様分類部５２の分類結果、すなわち、ここでは、対象画素がエッジ上であるか否かの結果に基づいて、エッジ上であれば簡易的な補間画素値を出力し、エッジ上でなければ詳細な補間画素値を出力するのみであり、その他の処理については上述した処理と同様であるので、その説明は省略するものとする。
【０１３５】
以上の如く、本技術により、画像をぼかすことなくジャギーを出さずに画素値の補間をすることが可能になる。また、探索すべき候補ラインを絞り込んだ上で、候補ライン中の探索画素も絞り込んでから処理することで、計算量を減らすことができ、演算負荷を低減すると共に、処理の高速化を実現することが可能となる。さらに、閾値として値wthh，wthvを使用することにより不要な画素の画素値を重み付け加算しないようにすることできるので、補間画素値の計算精度を向上させることが可能となる。また、補間画素以外は元の画素値を維持しているので余分な高周波アーティファクトを低減させることが可能となる。
【０１３６】
＜電子機器への適用例＞
上述した信号処理部は、例えば、固体撮像素子とは別体として構成してもよいし、固体撮像素子に内蔵された構成とすることもでき、いずれにおいても固体撮像素子により撮像された画像信号を処理することができる。このような信号処理部と共に固体撮像素子を備えた、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０１３７】
図２２は、本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【０１３８】
図２２に示される撮像装置２０１は、光学系２０２、シャッタ装置２０３、固体撮像素子２０４、駆動回路２０５、信号処理回路２０６、モニタ２０７、およびメモリ２０８を備えて構成され、静止画像および動画像を撮像可能である。
【０１３９】
光学系２０２は、１枚または複数枚のレンズを有して構成され、被写体からの光（入射光）を固体撮像素子２０４に導き、固体撮像素子２０４の受光面に結像させる。
【０１４０】
シャッタ装置２０３は、光学系２０２および固体撮像素子２０４の間に配置され、駆動回路２０５の制御に従って、固体撮像素子２０４への光照射期間および遮光期間を制御する。
【０１４１】
固体撮像素子２０４は、上述した固体撮像素子により構成される。固体撮像素子２０４は、光学系２０２およびシャッタ装置２０３を介して受光面に結像される光に応じて、一定期間、信号電荷を蓄積する。固体撮像素子２０４に蓄積された信号電荷は、駆動回路２０５から供給される駆動信号（タイミング信号）に従って転送される。固体撮像素子２０４は、それ単体でワンチップとして構成されてもよいし、光学系２０２ないし信号処理回路２０６などと一緒にパッケージングされたカメラモジュールの一部として構成されてもよい。
【０１４２】
駆動回路２０５は、固体撮像素子２０４の転送動作、および、シャッタ装置２０３のシャッタ動作を制御する駆動信号を出力して、固体撮像素子２０４およびシャッタ装置２０３を駆動する。
【０１４３】
信号処理回路２０６は、例えば、上述した信号処理部１１であり、固体撮像素子２０４から出力された信号電荷に対して各種の信号処理を施す。信号処理回路２０６が信号処理を施すことにより得られた画像（画像データ）は、モニタ２０７に供給されて表示されたり、メモリ２０８に供給されて記憶（記録）されたりする。
【０１４４】
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１４５】
図２３は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
【０１４６】
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
【０１４７】
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１４８】
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１４９】
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１５０】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１５１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５２】
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０１５３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１５４】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１５５】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５６】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１５７】
尚、本技術は、以下のような構成も取ることができる。
（１）  画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む
信号処理装置。
（２）  前記候補ラインは、前記対象画素を中心として対称な位置関係の２本を１組とし、直交する２組の前記候補ラインからなる
（１）に記載の信号処理装置。
（３）  前記直交する２組の前記候補ラインは、水平方向の候補ライン、および垂直方向の候補ラインである
（２）に記載の信号処理装置。
（４）  前記候補ラインは、前記対象画素を中心として対称な位置関係の２本を１組とし、４５度ずつ異なる４組の前記候補ラインからなる
（１）に記載の信号処理装置。
（５）  前記候補ラインは、前記対象画素を通る前記候補ラインを含む
（１）に記載の信号処理装置。
（６）  前記候補ライン上の画素を順次探索し、前記対象画素の属する模様と、前記候補ライン上の探索対象となる画素である探索画素とが同一の模様に属すると期待される度合に応じた重み値を算出する重み値算出部をさらに含み、
前記補間値算出部は、前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素の画素値と、前記重み値とを用いた重み付け加算により補間し、前記対象画素の画素値を補間値として算出する
（１）乃至（５）のいずれかに記載の信号処理装置。
（７）  前記対象画素が属する模様に基づいて、前記候補ライン中の探索画素を絞り込む探索画素絞込部をさらに含む
（６）に記載の信号処理装置。
（８）  前記画素の属する模様は、画像中のエッジである
（６）に記載の信号処理装置。
（９）  前記補間値に対して、高周波成分を低減する画像処理フィルタによってアーティファクトを低減するアーティファクト低減部をさらに含む
（１）乃至（８）のいずれかに記載の信号処理装置。
（１０）  前記補間値算出部における補間手法とは異なる補間手法で補間値を算出する、少なくとも１種類の他の補間値算出部と、
前記対象画素の属する模様を分類し、分類結果に基づいて、前記他の補間値算出部により算出された補間値を出力するか否かを判定し、判定結果に応じて、前記他の補間値算出部により算出された補間値を出力する模様分類部とをさらに含み、
前記模様分類部により、前記分類結果に基づいて、前記他の補間値算出部により算出された補間値を出力しないと判定されたとき、前記補間値算出部は、前記補間値を算出し、算出した補間値を出力する
（１）乃至（９）のいずれかに記載の信号処理装置。
（１１）  前記対象画素の属する模様を分類する模様分類部と、
前記補間値算出部における補間手法とは異なる、少なくとも１種類の他の補間値算出部と、
前記模様分類部により分類された模様の種類に基づいて、複数の補間値から出力する補間値を選択する補間値選択部をさらに含む
（１）乃至（９）のいずれかに記載の信号処理装置。
（１２）  画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択し、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定し、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込み、
絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出するステップを含む
信号処理方法。
（１３）  画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部と
してコンピュータを機能させるプログラム。
（１４）  画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む
固体撮像素子。
（１５）  画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む
撮像装置。
（１６）  画素値を補間する対象位置の画素である対象画素として入力画像上の画素位置を選択する対象位置選択部と、
前記対象画素の近傍であって、既知の画素値を有する、少なくとも２画素を含む、少なくとも１ライン以上の同一方向のラインの集合からなるラインの組を、候補ラインとして少なくとも２組設定する候補ライン設定部と、
前記対象画素の属する模様に基づいて、前記候補ラインを絞り込む候補ライン絞込部と、
前記候補ライン絞込部により絞り込まれた前記候補ライン上の各画素に基づいた補間により、前記対象画素の画素値を補間値として算出する補間値算出部とを含む
電子機器。
【符号の説明】
【０１５８】
１１  信号処理部，  ３１  拡大部，  ３２  対象位置選択部，  ３３  候補ライン設定部，  ３４  候補ライン絞込部，  ３５  探索画素絞込部，  ３６  重み値算出部，  ３７  補間値算出部，  ３８  アーティファクト低減部，  ５１  簡易補間値算出部，  ５２  模様分類部，  ６１  補間値選択部
【図１】
2016053848.tif 000017
【図２】
2016053848.tif 000018
【図３】
2016053848.tif 000019
【図４】
2016053848.tif 000020
【図５】
2016053848.tif 000021
【図６】
2016053848.tif 000022
【図７】
2016053848.tif 000023
【図８】
2016053848.tif 000024
【図９】
2016053848.tif 000025
【図１０】
2016053848.tif 000026
【図１１】
2016053848.tif 000027
【図１２】
2016053848.tif 000028
【図１３】
2016053848.tif 000029
【図１４】
2016053848.tif 000030
【図１５】
2016053848.tif 000031
【図１６】
2016053848.tif 000032
【図１７】
2016053848.tif 000033
【図１８】
2016053848.tif 000034
【図１９】
2016053848.tif 000035
【図２０】
2016053848.tif 000036
【図２１】
2016053848.tif 000037
【図２２】
2016053848.tif 000038
【図２３】
2016053848.tif 000039