(57)【要約】【課題】画像データの縮小又は拡大を行う画像処理装置及び撮像装置に関し、特に低輝度ノイズ除去を小規模な構成で行うことができる画像処理装置及び撮像装置を提供する。【解決手段】本実施形態の撮像装置１は、画像データを縮小又は拡大するための画像処理部４を有し、画像処理部４は水平処理部５及び垂直処理部６から構成される。水平処理部５は、参照画素に乗ずる補間係数を生成する補間係数出力部３０を有する。補間係数出力部３０は、複数の参照画素の画素値に応じて、各参照画素における補間対象画素との位置関係を調整する。そして、補間係数出力部３０は、調整後の位置関係に対して位置係数出力部３３からそれぞれ出力される位置係数の比を一定に維持しつつ合計が１となるように調整する。水平処理部５の補間部２０は、各前記参照画素に対する補間係数にその画素値を積算して合計した値を、前記補間対象画素の画素値として演算する。【選択図】図４
2010206301.tif 000002
【特許請求の範囲】
【請求項１】
複数の参照画素の画素値に基づいて当該参照画素間を補間する補間対象画素の画素値を演算する補間部を備え、
前記補間部は、
前記参照画素のそれぞれに対し、前記補間対象画素との位置関係に応じた補間係数を出力する補間係数出力部と、
各前記参照画素に対する補間係数にその画素値を積算して合計した値を、前記補間対象画素の画素値として演算する補間値演算部と、を備え、
前記補間係数出力部は、各前記参照画素に対する前記補間対象画素との位置関係に応じた前記補間係数を、前記複数の参照画素の画素値に応じて変更する画像処理装置。
【請求項２】
前記補間係数出力部は、
前記参照画素のそれぞれに対し、前記補間対象画素との位置関係に応じた位置係数を出力する位置係数出力部を備え、
前記複数の参照画素の画素値に応じた調整値で、各前記参照画素における前記補間対象画素との位置関係を調整し、
当該調整後の位置関係に対して前記位置係数出力部からそれぞれ出力される位置係数の比を一定に維持しつつ合計が１となるように調整することにより前記補間係数を生成する請求項１に記載の画像処理装置。
【請求項３】
前記補間部は、前記調整値を変更する調整値設定部を備え、
前記調整値設定部は、前記複数の参照画素の画素値のうち最も大きい画素値を判定用画素値とし、前記判定用画素値が所定値未満のときに前記調整値を変更する請求項２に記載の画像処理装置
【請求項４】
前記位置係数出力部は、Ｓｉｎｃ関数を用いて前記位置係数を出力する請求項２又は請求項３に記載の画像補間装置。
【請求項５】
被写体を撮像する撮像部と、前記撮像部から出力される画像データを縮小又は拡大する画像処理部とを備え、
前記画像処理部は、
当該撮像部の各画素の画素値を入力する入力部と、
前記入力部に入力される複数の画素を参照画素とし、当該複数の参照画素の画素値に基づいて当該参照画素間を補間する補間対象画素の画素値を演算する補間部を備え、
前記補間部は、
前記参照画素のそれぞれに対し、前記補間対象画素との位置関係に応じた補間係数を出力する補間係数出力部と、
各前記参照画素に対する補間係数にその画素値を積算して合計した値を、前記補間対象画素の画素値として演算する補間値演算部と、を備え、
前記補間係数出力部は、各前記参照画素に対する前記補間対象画素との位置関係に応じた前記補間係数を、前記複数の参照画素の画素値に応じて変更する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の縮小又は拡大を行う画像処理装置及び撮像装置に関し、特に低輝度ノイズ除去を小規模な構成で行うことができる画像処理装置及び撮像装置に関する。
【背景技術】
【０００２】
従来、画像の縮小又は拡大を行う装置が種々提案されている。例えば、下記特許文献１には、補間対象画素の周辺の参照画素値が記憶されたバッファメモリを用いて画像データの縮小又は拡大を行う装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１３５８２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、縮小又は拡大の対象となる画像に含まれている低輝度ノイズを除去するためには、図１３に示すように、縮小又は拡大を行う画像処理部の前段に低輝度ノイズ除去回路を設けることが一般的である。このような低輝度ノイズ除去回路はフィルタ回路として実現されるため、画素値を記憶するためのメモリが必要となり回路規模が増大するという問題がある。特に、水平方向の低輝度ノイズを除去するフィルタ回路に加え、垂直方向の低輝度ノイズを除去するフィルタ回路を設けると膨大なメモリが必要になり、回路が増大していた。
【０００５】
本発明は、画像の縮小又は拡大を行いつつ、低輝度ノイズの除去を小規模な構成で行うことができる画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１に係る発明は、複数の参照画素の画素値に基づいて当該参照画素間を補間する補間対象画素の画素値を演算する補間部を備え、前記補間部は、前記参照画素のそれぞれに対し、前記補間対象画素との位置関係に応じた補間係数を出力する補間係数出力部と、各前記参照画素に対する補間係数にその画素値を積算して合計した値を、前記補間対象画素の画素値として演算する補間値演算部と、を備え、前記補間係数出力部は、各前記参照画素に対する前記補間対象画素との位置関係に応じた前記補間係数を、前記複数の参照画素の画素値に応じて変更する画像処理装置とした。
【０００７】
また、請求項２に係る発明は、請求項１に記載の画像処理装置において、前記補間係数出力部は、前記参照画素のそれぞれに対し、前記補間対象画素との位置関係に応じた位置係数を出力する位置係数出力部を備え、前記複数の参照画素の画素値に応じた調整値で、各前記参照画素における前記補間対象画素との位置関係を調整し、当該調整後の位置関係に対して前記位置係数出力部からそれぞれ出力される位置係数の比を一定に維持しつつ合計が１となるように調整することにより前記補間係数を生成する。
【０００８】
また、請求項３に係る発明は、請求項２に記載の画像処理装置において、前記補間部は、前記調整値を変更する調整値設定部を備え、前記調整値設定部は、前記複数の参照画素の画素値のうち少なくとも１つ又は全部或はそれらの平均値を判定用画素値とし、前記判定用画素値が所定値未満のときに前記調整値を変更する。
【０００９】
また、請求項４に係る発明は、請求項２又は請求項３の画像処理装置において、前記位置係数出力部は、Ｓｉｎｃ関数を用いて前記位置係数を出力する。
【００１０】
また、請求項５に係る発明は、被写体を撮像する撮像部と、前記撮像部から出力される画像データを縮小又は拡大する画像処理部とを備え、前記画像処理部は、当該撮像部の各画素の画素値を入力する入力部と、前記入力部に入力される複数の画素を参照画素とし、当該複数の参照画素の画素値に基づいて当該参照画素間を補間する補間対象画素の画素値を演算する補間部を備え、前記補間部は、前記参照画素のそれぞれに対し、前記補間対象画素との位置関係に応じた補間係数を出力する補間係数出力部と、各前記参照画素に対する補間係数にその画素値を積算して合計した値を、前記補間対象画素の画素値として演算する補間値演算部と、を備え、前記補間係数出力部は、各前記参照画素に対する前記補間対象画素との位置関係に応じた前記補間係数を、前記複数の参照画素の画素値に応じて変更する撮像装置とした。
【発明の効果】
【００１１】
本発明によれば、画像処理装置及び撮像装置において、画像の縮小又は拡大を行いつつ、低輝度ノイズの除去を小規模な構成で行うことができる。
【図面の簡単な説明】
【００１２】
【図１】第１実施形態に係る撮像装置の構成を示す図である。
【図２】図１に示す画像処理部の構成を示す図である。
【図３】図２に示す水平処理部及び垂直処理部の入力及び出力画像を示す図である。
【図４】図２に示す水平処理部の構成を示す図である。
【図５】フィルタ関数を示す図である。
【図６】フィルタ関数を示す図である。
【図７】輝度値と位置係数との関係を示す図である。
【図８】位置係数出力処理のフローチャートである。
【図９】図２に示す垂直処理部の構成を示す図である。
【図１０】輝度値と位置係数との関係を示す図である
【図１１】輝度値と位置係数との関係を示す図である。
【図１２】その他の実施形態に係る水平処理部の構成を示す図である。
【図１３】画像処理部の前段に低輝度ノイズ除去回路が設けられた回路の構成を示す図である。
【発明を実施するための形態】
【００１３】
以下、発明を実施するための形態（以下、「実施形態」という。）について説明する。なお、説明は以下の順序で行う。
１．第１実施形態
２．その他の実施形態
【００１４】
［１．第１実施形態］
以下、第１実施形態に係る撮像装置について図面を参照して具体的に説明する。
【００１５】
［１−１．撮像装置１の構成］
図１に示すように、本実施形態に係る撮像装置１は、被写体を撮像して得られた画像データの各画素の画素値に対して補間処理を施すことにより、当該画像データを縮小又は拡大し、得られた画像を出力デバイス９００（メモリやディスプレイ等）に出力する装置である。この撮像装置１は、被写体を撮像する撮像部２と、撮像部２から出力される画像データの各画素の画素値を記憶する画像メモリ３と、画像メモリ３に記憶されている各画素の画素値を入力して後述する補間対象画素の画素値を演算する画像処理装置である画像処理部４とから構成される。
【００１６】
撮像部２は、例えばＣＣＤ（Charge Coupled Devices）カメラであり、被写体の像を電気信号に変換する。また、電気信号は画像データを構成する各画素の画素値として画像メモリ３に記憶される。画像処理部４は、画像メモリ３に記憶された各画素の画素値を入力として補間対象画素の画素値を演算し、その画素値を用いて撮像部２で撮像した画像の拡大又は縮小を行い、かかる処理により生成した画像データを出力デバイス９００に出力する。この画像処理部４は、後述するように画像データの低輝度ノイズを除去する機能を有しており、画像処理部４の前段に画像データのノイズを除去するための低輝度ノイズ除去回路を別途設けることなく、画像データの低輝度ノイズの除去を実現している。
【００１７】
［１−２．画像処理部４の構成］
次に、撮像装置１が備える画像処理部４について説明する。画像処理部４は、図２に示すように、画像データの画素間を水平方向に補間する画素の画素値を演算する水平処理部５と画像データの画素間を垂直方向に補間する画素の画素値を演算する垂直処理部６とから構成される。また、水平処理部５及び垂直処理部６は、画像データのノイズを除去する機能を有している。
【００１８】
画像処理部４における入力画像と出力画像について説明する。以下では、入力画像のサイズを６×６画素とし、当該入力画像を水平方向及び垂直方向に１．５倍に拡大して９×９画素の出力画像を得るものとして説明する。図３（ａ）〜（ｃ）は、それぞれ、水平処理部５の入力画像（すなわち、画像処理部４の入力画像）、水平処理部５の出力画像、垂直処理部６の出力画像（すなわち、画像処理部４の出力画像）を示している。なお、以下では、水平処理部５の出力画像を「中間出力画像」といい、垂直処理部６の出力画像を「最終出力画像」という。
【００１９】
図３に示すように、例えば最終出力画像（ｃ）における「５行５列目」の画素は、中間出力画像（ｂ）における「３.３３…行５列目」の位置（図３に丸内に×で表示）に対応している。すなわち、中間出力画像（ｂ）に実際には存在しない画素に対応している。また、例えば中間出力画素（ｂ）における「３行５列目」の画素は、入力画像（ａ)における「３行３.３３…列目」の位置（図３に黒点で表示）に対応している。すなわち、入力画像（ａ）に実際には存在しない画素に対応している。
【００２０】
水平方向に所望の倍率で拡大された中間出力画像を得るために、水平処理部５では、入力画像（ａ)に実際には存在しない画素の画素値を、入力画像（ａ)を構成する画素の画素値を用いて算出する。以下では、演算される画素値の画素を「補間対象画素」といい、補間対象画素の画素値を算出するために用いられる画素を「参照画素」という。水平処理部５は、補間対象画素の左右それぞれに隣接する２つの画素、すなわち４つの画素を用いて、補間対象画素の画素値を演算する。
【００２１】
図３では、中間出力画像（ｂ）の「３行５列目」の画素の画素値を演算するときに、入力画像（ａ)の「３行２列目」、「３行３列目」、「３行４列目」、「３行５列目」の各画素の画素値が参照画素として用いられる。
【００２２】
また、垂直方向に所望の倍率で拡大された最終出力画像を得るために、垂直処理部６では、中間出力画像（ｂ)に実際には存在しない画素の画素値を、中間出力画像（ｂ)を構成する画素の画素値を用いて算出する。垂直処理部６は、補間対象画素の上下それぞれに隣接する２つの画素、すなわち４つの画素を用いて、補間対象画素の画素値を演算する。
【００２３】
図３では、最終出力画像（ｃ）の「５行５列目」の画素の画素値を演算するときに、中間出力画像（ｂ)の「２行５列目」、「３行５列目」、「４行５列目」、「５行５列目」の各画素の画素値が参照画素として用いられる。
【００２４】
さらに、中間出力画像（ｂ）の「２行５列目」の画素の画素値は、入力画像（ａ)の「２行２列目」、「２行３列目」、「２行４列目」、「２行５列目」の各画素の画素値が参照画素として用いられる。中間出力画像（ｂ）の「４行５列目」の画素の画素値は、入力画像（ａ)の「４行２列目」、「４行３列目」、「４行４列目」、「４行５列目」の各画素の画素値が参照画素として用いられる。画像（ｂ）の「５行５列目」の画素の画素値は、入力画像（ａ)の「５行２列目」、「５行３列目」、「５行４列目」、「５行５列目」の各画素の画素値が参照画素として用いられる。
【００２５】
なお、入力画像を縮小した出力画像についても上述した処理によって得ることができる。また、本実施形態において、入力画像及び出力画像のサイズは限定されるものではない。すなわち、画像処理部４は、種々のサイズの入力画像及び出力画像に適用することができる。
【００２６】
［１−３．水平処理部５の構成］
次に、画像処理部４が備える水平処理部５について図面を参照しつつ具体的に説明する。水平処理部５は、図４に示すように、画像データを構成する画素の画素値を記憶するメモリ部１０と、このメモリ部１０に画素値を記憶した画素を参照画素とし当該参照画素間を補間する補間対象画素の画素値を演算する補間部２０とから構成される。
【００２７】
メモリ部１０は画素バッファ１１〜１４から構成され、画像メモリ３に記憶されている水平方向に隣接する４つの参照画素の画素値を記憶する。各画素値は、例えば８ビットで表現される。各画素バッファ１１〜１４は、それぞれ１画素分の画素データを保持するシフトレジスタによって構成されている。これらの画素バッファは直列に接続されており、撮像部２から画素バッファ１１に入力された画素値は、画素バッファ１２→１３→１４の順に転送される。
【００２８】
各画素バッファ１１〜１４の画素値は、補間部２０に出力され、補間対象画素の画素値を演算する際に用いられる。
また、補間対象画素は、画素バッファ１２の画素値に対応する参照画素と画素バッファ１３の画素に対応する参照画素との間に位置する。したがって、補間対象画素の位置を挟んで水平両方向に隣接する各２画素の画素値が補間対象画素の画素値を演算する際に用いられることになる。
【００２９】
［１−４．補間部２０の構成］
次に、水平処理部５が備える補間部２０について図面を参照しつつ具体的に説明する。補間部２０は、図４に示すように、補間係数出力部３０と補間値演算部４０とを備える。補間係数出力部３０は、参照画素のそれぞれに対し、補間対象画素との水平方向の位置関係に応じた補間係数を出力する。補間値演算部４０は、各参照画素に対する補間係数にその画素値を積算して合計した値を、補間対象画素の画素値として演算する。
【００３０】
補間値演算部４０には、乗算回路４１〜４４と加算回路４５〜４７とが設けられている。乗算回路４１は、画素バッファ１１の画素値と当該画素値に対する補間係数とを乗算して加算回路４５に出力する。同様に、乗算回路４２、４３、４４は、それぞれ、画素バッファ１２、１３、１４の画素値と当該画素値に対する補間係数とを乗算して加算回路４６、４７、４７に出力する。そして、加算回路４７で乗算回路４３及び４４の出力が加算され、加算回路４６で乗算回路４２及び加算回路４７の出力が加算され、加算回路４５で乗算回路４１及び加算回路４６の出力が加算される。
これにより、補間値演算部４０は、補間対象画素の画素値を出力することができる。
【００３１】
［１−５．補間係数出力部３０の構成］
次に、補間部２０が備える補間係数出力部３０について図面を参照しつつ具体的に説明する。補間係数出力部３０は、図４に示すように、調整値設定部３１と乗算部３２と位置係数出力部３３と係数調整部３４から構成される。
調整値設定部３１は、画素バッファ１１〜１４の各画素値に基いて、補間対象画素と各参照画素との位置関係を示す位置関係データ（乗算部３２への入力値）を調整するための調整値を出力する。調整値設定部３１の詳細については後述する。
【００３２】
乗算部３２は、補間対象画素と各参照画素との画素間距離を示す距離データと調整値とを乗算して位置関係データを算出し、位置係数出力部３３に出力する。なお、調整値設定部３１から入力された調整値が「１」の場合は、乗算部３２は、入力された距離データをそのまま位置関係データとして位置係数出力部３３に出力する。
位置係数出力部３３は入力された値に基いて位置係数を出力する。
係数調整部３４は、位置係数出力部３３からそれぞれ出力される位置係数を、それらの比を一定に維持しつつ合計が１となるように調整する。具体的には、画素バッファ１１〜１４の画素値に対応する４つの位置係数を加算して加算値を求め、各位置係数を加算値で除算することにより、補間値演算部４０に出力する補間係数を生成する。
【００３３】
なお、係数調整部３４に位置係数と補間係数との対応関係を定義したテーブルを設け、当該テーブルを用いて補間係数を生成するように構成してもよい。これにより、回路規模を削減することができるとともに、補間係数の生成における計算速度を向上させることができる。
【００３４】
［１−６．位置係数出力部３３の構成］
次に、補間係数出力部３０が備える位置係数出力部３３について図面を参照しつつ具体的に説明する。なお、以下では説明を簡略するため、調整値が「１」（すなわち、補間対象画素と各参照画素との画素間距離を示す距離データがそのまま位置関係データとして補間係数出力部３０に入力される）ものとする。
【００３５】
位置係数出力部３３は、位置関係データをフィルタ関数に代入して位置係数を算出する。本実施形態のフィルタ関数ｆ（ｘ）は、以下のＳｉｎｃ関数とＨａｍｍｉｎｇ窓関数を掛け合わせたものである。
【００３６】
フィルタ関数ｆ（ｘ）＝ Ｓｉｎｃ関数 × Ｈａｍｍｉｎｇ窓関数
【００３７】
Ｓｉｎｃ関数 ＝ ｓｉｎ（π × ｘ）／（π ×  ｘ）
【００３８】
Ｈａｍｍｉｎｇ窓関数 ＝ ０．５４ − ０．４６×ｃｏｓ（π（ｘ ＋ ４）／４））
【００３９】
Ｓｉｎｃ関数は非ゼロ値が無限に続く関数であるため、演算量が膨大となる。そこで、本実施形態では、Ｈａｍｍｉｎｇ窓関数をＳｉｎｃ関数に掛け合わせることで、位置係数の算出における演算量を削減させている。
【００４０】
図５は、フィルタ関数の波形を示している。横軸は、画素バッファ１２の画素値に対応する画素位置を基準位置とし、各参照画素及び補間対象画素の位置を示している。また、縦軸は位置係数を示している。
【００４１】
また、図５は、補間対象画素が、画素バッファ１２の画素値に対応する参照画素よりも右方向にphase分だけずれて位置していることを示している。さらに、補間対象画素の位置とフィルタ関数ｆ（ｘ）のピークとが一致している。
【００４２】
点８１〜点８４は、それぞれ画素バッファ１１〜１４の画素値に対する位置係数を示している。また、これらの位置係数の総和は「１」である。なお、phaseが０の場合（すなわち、補間対象画素と参照画素が一致している場合）は、画素バッファ１２の画素値に対する位置係数が「１」となり、それ以外の位置係数は「０」となる。
【００４３】
そして、補間対象画素の位置を基準位置とした場合、各画素バッファ１１〜１４の画素値に対応する参照画素の距離データ（ｘ１〜ｘ４）は、以下のとおりとなる。
【００４４】
ｘ１  ＝   (-1 - Phase)
ｘ２  ＝       - Phase
ｘ３  ＝   ( 1 - Phase)
ｘ４  ＝   ( 2 - Phase)
【００４５】
これらの距離データを位置関係データとしてフィルタ関数ｆ（ｘ）に代入することにより、画素バッファ１１〜１４のそれぞれの画素値に対する位置係数を算出することができる。
なお、位置係数出力部３３に位置関係データと位置係数との対応関係を定義したテーブルを設け、当該テーブルを用いて位置係数を生成するように構成してもよい。これにより、回路規模を削減することができるとともに、位置係数の生成における計算速度を向上させることができる。
【００４６】
［１−７．調整値設定部３１の構成］
次に、補間係数出力部３０が備える調整値設定部３１について図面を参照しつつ具体的に説明する。調整値設定部３１は、距離データを調整するための調整値を出力することで、位置係数出力部３３に入力する位置関係データを調整するためのものである。具体的には、調整値設定部３１は、画素バッファ１１〜１４の画素値に基いて調整値を算出し、算出した調整値を乗算部３２に出力することにより、乗算部３２に入力される距離データを調整する。  
【００４７】
乗算部３２に入力される距離データをｘ１〜ｘ４、調整値をｃｕｔｏｆｆとすれば、乗算部３２から出力される位置関係データをｘ１’〜ｘ４’は以下の式で表される。
【００４８】
ｘ１’＝ ｘ１ ＊ ｃｕｔｏｆｆ ＝（-1 - phase）＊ ｃｕｔｏｆｆ
ｘ２’＝ ｘ２ ＊ ｃｕｔｏｆｆ ＝ - phase ＊ ｃｕｔｏｆｆ
ｘ３’＝ ｘ３ ＊ ｃｕｔｏｆｆ ＝ ( 1 - phase) ＊ ｃｕｔｏｆｆ
ｘ４’＝ ｘ４ ＊ ｃｕｔｏｆｆ ＝ ( 2 - phase) ＊ ｃｕｔｏｆｆ
ただし、０＜ｃｕｔｏｆｆ≦１
【００４９】
そして、この位置関係データｘ１’〜ｘ４’を、上述したｘ１〜ｘ４の代わりに位置係数出力部３３に入力することで、位置係数出力部３３から出力される位置係数を変更することができる。
すなわち、調整値を変更することで、各参照画素の画素値に対応する位置係数を調整することができる。
【００５０】
図６は、調整値を変更した場合における画素バッファ１１〜１４の画素値の位置係数を示している。点８１’〜点８４’は、それぞれ、画素バッファ１１〜１４の画素値の位置係数を示している。
なお、図６では、ｃｕｔｏｆｆは、０．５としている。
【００５１】
図６に示すように、調整値を変更することで位置係数出力部３３から出力される位置係数を大きくすることができる。そして、調整値を変更しない場合に比べて各位置係数の大きさが近づくので、補間対象画素における各参照画素の影響度が等しくなる方向に変化する。これにより、補間処理の対象となる画像データに含まれる低輝度ノイズを除去することができる。
【００５２】
また、調整値は、画素バッファ１１〜１４の画素のうち最も画素値が大きい画素を判定用画素として、当該判定用画素の画素値に応じて決定される。図７は、判定用画素値と調整値との関係を示している。本実施形態では各画素値を８ビットで表現しているため、判定用画素値が取り得る値の範囲は、０〜２５５である。
【００５３】
図７に示すように、調整値は、判定用画素値が所定値未満のときには画素値が小さくなるほど小さくなるように変更される。すなわち、参照画像の画素値が小さいほど低輝度ノイズが画像に影響することから、参照画像の画素値が小さいほど調整値を小さくしている。一方、画像がある程度明るく参照画素の画素値が所定値（所定の輝度値）以上のときには、低輝度ノイズは画像に影響を及ぼす度合いが低いことから、調整値設定部３１による調整は行わない（すなわち、調整値を「１」とする。）。図７に示したように判定用調整値の大きさによって補間対象画素における参照画素の影響度を変化させることができるので、低輝度ノイズ除去の度合いをより適切に調整することができる。
【００５４】
調整値設定部３１は、画素バッファ１１〜１４の画素のうち最も画素値が大きい画素を判定用画素としているので、画素バッファ１１〜１４の全ての画素値が、所定値より小さい場合に限って調整値を変更し、そうではない場合は調整値を変更しない。調整値を設定するか否かの判断を当該調整値に対応する参照画素のみで行った場合、エッジ部分（低輝度と高輝度が切り替わる部分、例えば、光と影）に対しても調整値が設定され、出力画像の鮮鋭感が失われることになる。
本実施形態では、画素バッファ１１〜１４の４つの画素値を用いて調整値を変更するか否かの判断を行うことで、出力画像の鮮鋭感を維持することができる。
【００５５】
調整値設定部３１の処理について説明する。図８は、調整値設定部３１が実行する位置係数出力処理のフローチャートである。
【００５６】
まず、ステップＳ１１において、調整値設定部３１は、画素バッファ１１〜１４に記憶されている画素値を取得する。
次に、ステップＳ１２において、調整値設定部３１は、４画素の全ての画素値が設定値よりも低い画素値か否かを判断する。
ＹＥＳの場合は、ステップＳ１３において、調整値設定部３１は、各参照画素の画素値に対する調整値を変更する。
ステップＳ１４において、調整値設定部３１は、Ｓ１３で決定した調整値を乗算部３２に出力する。なお、調整値を変更しない場合（Ｓ１２でＮＯの場合）は、調整値を「１」として出力する。
【００５７】
なお、複数の参照画素の画素値の全部またはそれらの平均値を判定用画素値としてもよい。また、画素バッファ１１〜１４の画素値ごとに、調整値を決定するように構成してもよい。
【００５８】
以上のとおり水平処理部５は、縮小または拡大のための補間処理の際に、低輝度ノイズ除去も行うので、低輝度ノイズ除去回路を別途に設けることなく、画像データの低輝度ノイズの除去を小規模な構成で行うことができる。また、調整値によって補間対象画素における参照画素の影響度を変化させることができるので、低輝度ノイズ除去の度合いを容易に調整することができる。
【００５９】
［１−８．垂直処理部６の構成］
次に、画像処理部４が備える垂直処理部６について図面を参照しつつ具体的に説明する。垂直処理部６は、図９に示すように、水平処理部５から出力される画素値を記憶するメモリ部６０と、このメモリ部６０に画素値を記憶した画素を参照画素とし当該参照画素間を垂直方向に補間する補間対象画素の画素値を演算する補間部７０とから構成される。
【００６０】
メモリ部６０はラインバッファ６１〜６５から構成されている。それぞれのラインバッファ６１〜６５は、直列接続されている複数段のシフトレジスタなどによって構成され、それぞれ水平方向に拡大又は縮小された１ライン分の画素値を記憶する。また、ラインバッファ６１〜６５のうちの４つのラインバッファ（例えば、各ラインバッファ６２〜６５）に記憶されている複数の画素値から同じ水平方向の座標位置にある４つの画素値が補間部７０に出力され、１つの補間対象画素の画素値を算出する際に用いられる。
【００６１】
また、垂直処理部６における補間対象画素は、ラインバッファ６２の画素値に対応する参照画素とラインバッファ６３の画素に対応する参照画素との間に位置する。したがって、補間対象画素の位置を挟んで上下両方向に隣接する各２画素の画素値が補間対象画素の画素値を演算する際に用いられる。
【００６２】
［１−９．補間部７０］
次に、垂直処理部６が備える補間部７０について説明する。補間部７０は、図９に示すように、補間係数出力部８０と補間値演算部９０とを備える。補間係数出力部８０は、ラインバッファ６１〜６５のうちの４つのラインバッファに画素値が記憶されている参照画素のそれぞれに対し、補間対象画素との位置関係に応じた補間係数を出力する。補間値演算部９０は、各参照画素に対する補間係数にその画素値を積算して合計した値を、補間対象画素の画素値として演算する。なお、ラインバッファ６１〜６５のうちの残りの１つのラインバッファには、水平処理部５から出力される画素値が順次記憶される。
【００６３】
なお、補間部７０の動作は、上述した補間部２０の動作と基本的に同じであるので説明を省略する。さらに、補間係数出力部８０の動作は、上述した補間部７０の動作と基本的に同じであるので説明を省略する。
【００６４】
以上のとおり垂直処理部６は、縮小または拡大のための補間処理の際に、低輝度ノイズ除去も行うので、低輝度ノイズ除去回路を別途に設けることなく、画像データの低輝度ノイズの除去を小規模な構成で行うことができる。また、調整値によって補間対象画素における参照画素の影響度を変化させることができるので、低輝度ノイズ除去の度合いを容易に調整することができる。
【００６５】
上述したとおり、本実施形態の撮像装置１は、画像データを縮小又は拡大するための画像処理部４を有し、画像処理部４は水平処理部５及び垂直処理部６から構成される。水平処理部５及び垂直処理部６は、参照画素の画素値及び補間対象画素との位置関係に基いて当該画素値に対する補間係数を決定する。これにより、水平処理部５及び垂直処理部６は、補間処理を行うと同時に低輝度ノイズ除去処理も行うことができ、ノイズ除去回路を別途に設けることなく、画像データの低輝度ノイズの除去を小規模な構成で行うことができる。
【００６６】
［２．その他の実施形態］
上述の第１実施形態では、画像処理部４の前段部に水平処理部５を配置し後段部に垂直処理部６を配置したが、前段部に垂直処理部６を配置し後段部に水平処理部５を配置してもよい。また、上述の第１実施形態では、Ｓｉｎｃ関数を用いたが、その他の関数を用いてもよい。
【００６７】
上述の第１実施形態では、画素値と調整値との関係が階段状に定義されていたが、図１０及び図１１に示すような関係としてもよい。
また、図１２に示すように、位置係数出力部３３から出力される位置係数を補間値演算部４０に出力し、各画素値と各位置係数を積算して合計した値に、係数調整部３４の出力値を乗算回路２１で乗算して補間対象画素の補間値としてもよい。
なお、垂直処理部６についても同様である。
【００６８】
また、上述した実施形態の画像処理部は、撮像装置に限らず、他の回路や装置などにも用いることができる。
【００６９】
本発明に係る実施の一形態について具体的に説明したが、本発明は上述した実施の形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。
【符号の説明】
【００７０】
１…撮像装置
２…撮像部、３…画像メモリ、４…画像処理部
５…水平処理部、６…垂直処理部
１０…メモリ部、１１〜１４…画素バッファ
２０…補間部、３０…補間係数出力部
３１…調整値設定部、３２…乗算部、３３…位置係数出力部、３４…係数調整部
４０…補間値演算部
６０…メモリ部、７０…補間部、８０…補間係数出力部、９０…補間値演算部
【図１】
2010206301.tif 000003
【図２】
2010206301.tif 000004
【図３】
2010206301.tif 000005
【図４】
2010206301.tif 000006
【図５】
2010206301.tif 000007
【図６】
2010206301.tif 000008
【図７】
2010206301.tif 000009
【図８】
2010206301.tif 000010
【図９】
2010206301.tif 000011
【図１０】
2010206301.tif 000012
【図１１】
2010206301.tif 000013
【図１２】
2010206301.tif 000014
【図１３】
2010206301.tif 000015