(57)【要約】【課題】通常の画像をデッサン画のような画像に変換する。【解決手段】メモリ回路１２は、注目画素及び周辺画素の画像データを格納する。上位ビット抽出回路１４は、各画像データから上位４ビットのデータを抽出する。ヒストグラム回路１６は、抽出された４ビットデータのヒストグラムを生成する。データ処理回路１７は、ヒストグラムを参照し、同一レベルを有する画素の個数のうちの最大値を注目画素の画像データに置き換えて出力する。桁合わせ回路１８はデータ処理回路１７から出力されるデータを、８ビットデータに変換して出力する。【選択図】　　　　図１
2004102382.tif 000002
【特許請求の範囲】
【請求項１】
規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理装置において、
処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを格納するメモリ回路と、
前記画素データの輝度分布のヒストグラムを生成するヒストグラム回路と、
前記注目画素の画素データを前記ヒストグラムの最大値に応じて決定される値に置換して出力するデータ処理回路と、を備え、
前記データ処理回路の出力を前記第２の画像データとすることを特徴とする画像データ処理装置。
【請求項２】
請求項１に記載の画像データ処理装置において、
前記メモリ回路に格納された前記画素データの所定ビットを抽出する抽出回路を更に備え、
前記ヒストグラム回路は、前記抽出回路で抽出された前記画素データの所定ビットを取り込んで前記ヒストグラムを生成することを特徴とする画像データ処理装置。
【請求項３】
請求項１又は請求項２に記載の画像データ処理装置において、
前記データ処理回路の出力に所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせする桁合わせ回路を、更に備えたことを特徴とする画像データ処理装置。
【請求項４】
請求項１に記載の画像データ処理装置において、
前記第２の画像データを取り込んで色データを生成する色データ生成回路と、
前記色データに対して所定のゲインを与える色ゲイン回路と、を更に備え、
前記色ゲイン回路は、前記注目画素の色データに対するゲイン量をゼロとすることを特徴とする画像データ処理装置。
【請求項５】
規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理方法において、
処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを取得する第１のステップと、
前記画素データの輝度分布のヒストグラムを生成する第２のステップと、
前記注目画素の画素データに前記ヒストグラムの最大値に応じて決定される値に置換する第３のステップと、を有し、
前記第３のステップで置換された前記注目画素の画素データを前記第２の画像データとすることを特徴とする画像データ処理方法。
【請求項６】
請求項５に記載の画像データ処理方法において、
前記第１のステップと前記第２のステップとの間に、前記画素データの所定ビットを抽出するステップを更に有し、
前記第２のステップは、抽出された前記画素データの所定ビットに基づいて前記ヒストグラムを生成することを特徴とする画像データ処理方法。
【請求項７】
請求項５又は請求項６に記載の画像データ処理方法において、
前記第３のステップの後に、前記置換された前記注目画素の画素データに所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせするステップを更に有することを特徴とする画像データ処理方法。
【請求項８】
請求項５に記載の画像データ処理方法において、
前記第３のステップの後に、前記第２の画像データに基づいて輝度データ及び色データを生成するステップを更に有し、
前記輝度データ及び色データを生成するステップのうちの前記色データを生成する際には、前記注目画素の色データに対するゲイン量をゼロとすることを特徴とする画像データ処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、通常の画像に対して変換処理を行い、特殊効果が施された画像を得るための画像データ処理装置、及び画像データ処理方法に関する。
【０００２】
【従来の技術】
図８は、従来の撮像装置の概略構成を示すブロック構成図である。ここに示す撮像装置は、ＣＣＤイメージセンサ（固体撮像素子）１、ＣＣＤドライバ回路２、タイミング制御回路３、アナログ信号処理回路４、Ａ／Ｄ変換回路５及びデジタル信号処理回路６から構成される。
【０００３】
固体撮像素子１は、行列配置される複数の受光画素を有する受光領域を備えており、この受光面に入射される光を各受光画素で受けて光電変換によって情報電荷を発生する。固体撮像素子１では、この情報電荷を蓄積期間で各受光画素に蓄積し、その後、複数のシフトレジスタを介して順次転送する。そして、転送経路の最終段に設けられる出力部によって電圧値に変換し、画像信号Ｙ０（ｔ）として出力する。
【０００４】
ＣＣＤドライバ回路２は、後述するタイミング制御回路３から供給される垂直同期信号ＶＴ及び水平同期信号ＨＴに同期する複数のクロックパルスを生成する。そして、生成した複数のクロックパルスを固体撮像素子１に供給し、固体撮像素子１を駆動して複数の受光画素に蓄積された情報電荷を順次転送させる。
【０００５】
タイミング制御回路３は、基準クロックＣＫをカウントして垂直同期信号ＶＴ及び水平同期信号ＨＴを生成し、固体撮像素子１の垂直走査及び水平走査の期間を決定する。例えば、ＮＴＳＣ方式に従う場合、信号処理の過程で用いられる色副搬送波の周波数３．５８ＭＨｚの４倍の周波数の基準クロックＣＫを１／９１０に分周して水平同期信号ＨＴを生成する。更に、この水平同期信号ＨＴを２／５２５に分周して垂直同期信号ＶＴを生成する。
【０００６】
アナログ信号処理回路４は、固体撮像素子１から出力される画像信号Ｙ０（ｔ）に対してＣＤＳ（Ｃｏｒｒｅｌａｔｅｃ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ：相関二重サンプリング）やＡＧＣ（Ａｕｔｏｍａｔｉｃ　Ｇａｉｎ　Ｃｏｎｔｒｏｌ：自動利得制御）等のアナログ信号処理を施して画像信号Ｙ１（ｔ）を生成する。Ａ／Ｄ変換回路５は、固体撮像素子１の動作タイミングに同期して画像信号Ｙ１（ｔ）を規格化し、デジタル信号に変換して画像データＹ０（ｎ）として出力する。
【０００７】
デジタル信号処理回路６は、Ａ／Ｄ変換回路５から出力される画像データＹ０（ｎ）に対して色分離及びマトリクス演算等のデジタル信号処理を施し、輝度データ及び色差データを含む画像データＹ１（ｎ）を生成する。
【０００８】
このデジタル信号処理回路６から出力される画像データＹ１（ｎ）は、半導体メモリや磁気ディスク等の記憶媒体に格納されると共に、ＬＣＤパネル等の表示デバイスを駆動する駆動装置に供給される。
【０００９】
【発明が解決しようとする課題】
上述したような撮像装置では、例えば、画像データの各画素データを閾値で判別して二値化された画像としたり、または、配列する画素データを横方向又は縦方向に微分処理を行い、その微分値に応じて表示させることで輪郭抽出された画像とする処理などが行われている。この他にも様々な信号処理が提案され、多種多様な再生画像を得ることが考えられている。
【００１０】
【課題を解決するための手段】
本発明に係る画像データ処理装置は、規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理装置において、処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを格納するメモリ回路と、前記画素データの輝度分布のヒストグラムを生成するヒストグラム回路と、前記注目画素の画素データを前記ヒストグラムの最大値に応じて決定される値に置換して出力するデータ処理回路と、を備え、前記データ処理回路の出力を前記第２の画像データとするものである。
【００１１】
このような処理を行うことにより、処理前の規格化された画像は、画像の明るさの変化が小さい領域にて輝度値が高く、一方、明るさの変化が大きい領域にて輝度値が低い画像に変換される。このため、明るさの変化が大きい領域が強調された画像を得ることができる。
【００１２】
また、本発明に係る画像データ処理装置は、前記メモリ回路に格納された前記画素データの所定ビットを抽出する抽出回路を更に備え、前記ヒストグラム回路は、前記抽出回路で抽出された前記画素データの所定ビットを取り込んで前記ヒストグラムを生成することが好ましい。これにより処理される画素データのデータサイズが小さくなり、ヒストグラム処理などの処理を簡略化することができる。
【００１３】
また、本発明に係る画像データ処理装置は、前記データ処理回路の出力に所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせする桁合わせ回路を、更に備えることが好ましい。
【００１４】
また、本発明に係る画像データ処理装置は、前記第２の画像データを取り込んで色データを生成する色データ生成回路と、前記色データに対して所定のゲインを与える色ゲイン回路と、を更に備え、前記色ゲイン回路は、前記注目画素の色データに対するゲイン量をゼロとすることが好ましい。
【００１５】
本発明に係る画像データ処理方法は、規格化された第１の画像データに対してデータ変換処理を施し、特殊効果が施された再生画像を表示する第２の画像データを得る画像データ処理方法において、処理対象となる注目画素及びこの注目画素に隣接する複数の周辺画素に対応する画素データを取得する第１のステップと、前記画素データの輝度分布のヒストグラムを生成する第２のステップと、前記注目画素の画素データに前記ヒストグラムの最大値に応じて決定される値に置換する第３のステップと、を有し、前記第３のステップで置換された前記注目画素の画素データを前記第２の画像データとするものである。
【００１６】
また、本発明に係る画像データ処理方法は、前記第１のステップと前記第２のステップとの間に、前記画素データの所定ビットを抽出するステップを更に有し、前記第２のステップは、抽出された前記画素データの所定ビットに基づいて前記ヒストグラムを生成することが好ましい。
【００１７】
また、本発明に係る画像データ処理方法は、前記第３のステップの後に、前記置換された前記注目画素の画素データに所定の乗数を乗算して、ビット数を前記画素データのビット数に桁合わせするステップを更に有することが好ましい。
【００１８】
また、本発明に係る画像データ処理方法は、前記第３のステップの後に、前記第２の画像データに基づいて輝度データ及び色データを生成するステップを更に有し、前記輝度データ及び色データを生成するステップのうちの前記色データを生成する際には、前記注目画素の色データに対するゲイン量をゼロとすることが好ましい。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態に係る画像処理装置について説明する。
【００２０】
図１に、本実施形態の画像処理装置の概略構成を示すブロック図を示す。
【００２１】
画像処理装置は、大別して、風景などを撮像するＣＣＤイメージセンサから送られてきた画像データを規格化してアナログ信号からデジタル信号に変換するＡ／Ｄ変換回路１０と、画像データをデッサン画のような表示形式に変換処理するデッサン処理回路２０と、Ａ／Ｄ変換回路１０から直接入力される信号と、デッサン処理回路２０を介して入力される信号のいずれか一方を選択的に出力するセレクタ２２と、セレクタ２２が出力する信号に基づき輝度信号を生成する輝度信号生成回路２４と、色信号を生成する色信号生成回路２６と、を含み構成されている。
【００２２】
この画像処理装置が行う一連の処理について詳しく説明する。
【００２３】
まず、Ａ／Ｄ変換回路１０には、ＣＣＤイメージセンサが出力した画像信号が入力される。ここでＣＣＤイメージセンサとは、図２に示されるように、モザイク型のカラーフィルタが装着され、ＣＣＤイメージセンサの受光画素に各色成分が規則的に割り当てられている。画像信号は、これらの複数画素により生成される複数の画素信号が含まれたアナログ信号となっている。この画像信号がＡ／Ｄ変換回路１０に入力されるときには、下側の水平ラインの画素から順次、入力される。Ａ／Ｄ変換回路１０は、画像信号をアナログの信号からデジタルの信号に変換して画像データを生成する処理を行い、セレクタ２２及びメモリ回路１２に向けて出力する。
【００２４】
Ａ／Ｄ変換回路１０から出力された画像データは、セレクタ２２及びデッサン処理回路２０に入力される。このうち、デッサン処理回路２０に入力された画像データは、デッサン処理回路２０内で処理され、セレクタ２２に入力される。ここでセレクタ２２は、通常の画像撮影時には、Ａ／Ｄ変換回路１０からセレクタ２２に直接入力される画像データを輝度信号生成回路２４及び色信号生成回路２６に対して出力する。また、ユーザが通常の画像をデッサン画のような表示形式に変換することを望む時には、ユーザの操作により、デッサンモード選択信号がセレクタ２２に入力される。そして、デッサン処理回路２０を介して入力されるデータを輝度信号生成回路２４及び色信号生成回路２６に対して出力する。
【００２５】
図３は、データ変換の処理を説明するフローチャートである。以下、図３に従ってデッサン処理回路２０が行うデータ変換処理を説明する。
【００２６】
先ず、ステップＳ１においてアナログ信号処理回路（図示せず）から出力されるアナログ画像信号をＡ／Ｄ変換回路１０で規格化し、デジタル信号である第１の画像データを生成する。この第１の画像データには、注目画素の画素データ及び注目画素に隣接する複数の周辺画素データが含まれる。
次に、ステップＳ２において、メモリ回路１２が、Ａ／Ｄ変換回路１０から画素データが入力される毎に順次、処理対象となる注目画素及び注目画素と同一の色成に対応付けられた複数の周辺画素の画素データを格納する。一例を挙げて説明すると、図２において、（列３，行ｂ）の画素データが入力されると、隣接するグリーンＧのカラーフィルタが施されている６つの画素（列３，行ｂ），（列５，行ｂ），（列７，行ｂ），（列３，行ｄ），（列５，行ｄ），（列７，行ｄ）の画素データを格納する。これら６つの画素のうち、中央下側の画素（列５，行ｄ）が、６つの画素データのほぼ中央に位置しており、注目画素となっている。また、画素（列３，行ｂ）に続く画素（列２，行ｂ）の画素データが入力された場合には、隣接するブルーＢのカラーフィルタが施されている６つの画素（列２，行ｂ），（列４，行ｂ），（列６，行ｂ），（列２，行ｄ），（列４，行ｄ），（列６，行ｄ）の画素データを格納する。このような処理を繰り返すことにより、順次、注目画素に隣接する複数の周辺画素を格納する。
【００２７】
次に、ステップＳ３において、上位ビット抽出回路１４が、メモリ回路１２に格納された画素データを取り込んで各画素データから上位側の４ビットのデータのみを取り出し、この４ビットの画素データをヒストグラム回路１６に出力する。例えば、画素データが「１１０１００１０」であれば、このうち上位側の「１１０１」を取り出す。このように画素データの上位ビットを抽出し、ビット数を減らすことにより、８ビットで表現される２５６階調が４ビットの１６階調へ変換される。この結果、後のデータ処理量を簡略化することができ、処理回路の簡略化や、処理速度の向上が達成できる。なお、このステップＳ３の処理で取り出される画素データの上位ビット数は、４ビットに限らず、それ以上又はそれ以下のビット数でもよい。
【００２８】
次に、ステップＳ４において、ヒストグラム回路１６が、入力された６つの４ビットデータに対して、図４に示すような輝度分布のヒストグラムを生成する。尚、図４においては、図２に示すようなＧの色成分に対応する６つの画素の画素データを対象としたものであり、（列５，行ｄ）を注目画素Ｐ０とすると共に、（列３，行ｂ）、（列５，行ｂ）、（列７，行ｂ）、（列３，行ｄ）、（列７，行ｄ）を周辺画素Ｐ１〜Ｐ５としたものである。
【００２９】
次に、ステップＳ５において、データ処理回路１７が、注目画素Ｐ０の画素データＰ０（ｄ）をヒストグラムの最大値に置換する。詳しくは、画素データのうちの同一輝度レベルを有する画素数を計数し、この画素数のうちの最大値を、新たな注目画素Ｐ０の画素データＰ０’（ｄ）として出力する。例えば、図４に示すように、１６階調に変換された６つの画素Ｐ０〜Ｐ５の画像データＰ０（ｄ）〜Ｐ５（ｄ）の信号レベルが、それぞれ１４、１３、１３、１１、１２、１３である場合、同一レベルを有する画素の個数は、１１を有する画素が１つ、１２を有する画素が１つ、１３を有する画素が３つ、１４を有する画素が１つとなる。ステップＳ５では、同一レベルを有する画素の個数を参照し、画素の個数のうち最大値３を注目画素Ｐ０の画素データＰ０’（ｄ）として出力する。なお、このとき、判別する領域は６画素のみであるため出力される値は１〜６である。したがって、出力されるデータは、００１から１１０までの３ビットデータのそれぞれに対応付けられて出力される。
【００３０】
次に、ステップＳ６において、桁合わせ回路１８が、画素データＰ０’（ｄ）を輝度生成回路及び色信号生成回路に出力するのに適したビット数に変換する。桁合わせ回路１８のブロック図を図５に示す。本実施形態では、ヒストグラム回路から出力されるのは３ビットのデータであるため、桁追加部４０にて乗数２５を乗算して、３ビットデータの下位側に５ビットの０を追加する処理を行い、輝度信号生成回路２４などに出力するのに適した８ビットのデータに変換する。
【００３１】
また、画素データＰ０’（ｄ）の３ビットデータの値は、上述したように００１〜１１０で表される。これに対応して、桁追加部４０の出力「００１０００００」〜「１１００００００」である。輝度調整部４２は、この桁追加部４０から出力された８ビットデータに「１１１１１」を足す処理を行う。これにより、桁合わせ回路１８から出力される８ビットデータの最大値は、「１１０１１１１１」となり、８ビットを有効に用いて、より高輝度で表示可能となり、鮮明な画像表示が実現される。このステップＳ６の処理が完了することにより、デッサン処理回路２０の処理が終了する。
【００３２】
デッサン処理回路２０でのデータ変換処理が終了した後は、デッサン処理回路２０から画素データＰ０’（ｄ）がセレクタ２２に出力され、セレクタ２２で通常の画素データとデータ変換処理後のデータとが選択される。例えば、ユーザによりデッサンモードが選択され、デッサンモード選択信号がセレクタ２２に入力されているときには、桁合わせ回路１８から入力される８ビットに変換された画素データＰ０’（ｄ）を、輝度信号生成回路２４及び色信号生成回路２６に出力する。なお、このユーザによるデッサンモードの選択は、次のようにして可能となる。例えば、画像処理装置がデジタルカメラの一部として構成されている場合には、デジタルカメラの外部表面に押しボタンを設け、この押しボタンをユーザが押すことにより、デッサンモードが選択され、デッサンモード選択信号がセレクタ２２に入力されるように設定すればよい。
【００３３】
次に、輝度信号生成回路２４は、通常の画像データに対して行うのと同じ処理を、入力された画素データＰ０’（ｄ）に対して行い、輝度データを生成して表示装置（不図示）に向けて出力する。このとき同時に、色信号生成回路２６は色データを生成するが、生成された色データは、色信号生成回路２６の後段に配置される増幅回路２８でゲイン値が０とされて、値が０とされる。なお、増幅回路２８はデッサンモード選択信号が入力されたときのみ、ゲイン量を０とする。
【００３４】
以上で説明した処理が、本実施形態に係る画像処理装置が行う処理である。この処理を行った画像の例を、図６，図７に示す。図６はデッサン処理回路２０による処理を行わないときの画像であり、図７はデッサン処理回路２０による処理を行ったときの画像である。このように、デッサン処理回路２０によるデータ変換処理を行うことにより、同じ明るさの領域では輝度値が高く白色が出力され、明るさが変化する領域では輝度値が低く黒が出力される。このため、通常の撮像画像から、明るさの変化する領域が強調されたデッサン画のような画像を得ることができる効果がある。
【００３５】
なお、上述の実施形態では、ＣＣＤイメージセンサから取り込んだ画像データを対象としてデッサン処理を行ったが、別の実施形態では、メモリなどに保存された画像データに対してデッサン処理を行ってもよい。また、上述したデッサン処理をパーソナルコンピュータなどを用いて行う場合には、一連のデッサン処理をプログラム化して行うこともできる。また、上述の実施形態では、カラー画像に対してデッサン処理を行ったが、モノクロ画像に対して処理を行ってもよい。
【００３６】
【発明の効果】
本発明は、注目画素及びこれに隣接する周辺画素の輝度分布のヒストグラムを生成し、注目画素の画素データをヒストグラムの最大値に対応した値に置換するため、通常の画像をデッサン画のような形式の画像に変換することができる効果がある。
【図面の簡単な説明】
【図１】本実施形態の画像処理装置の概略構成を示すブロック図である。
【図２】ＣＣＤイメージセンサの画素配列を示す説明図である。
【図３】デッサン処理回路が行う処理を説明するフローチャートである。
【図４】ヒストグラム回路における処理を説明するための説明図である。
【図５】桁合わせ回路の概略構成を示すブロック図である。
【図６】デッサンモードの処理前の画像を示す画像例である。
【図７】デッサンモードの処理後の画像を示す画像例である。
【図８】従来の撮像装置の概略構成を示すブロック図である。
【符号の説明】
１０　Ａ／Ｄ変換回路、１２　メモリ回路、１４　上位ビット抽出回路、１６ヒストグラム回路、１８　桁合わせ回路、２０　デッサン処理回路、２２　セレクタ、２４　輝度信号生成回路、２６　色信号生成回路、２８　増幅回路。
【図１】
2004102382.tif 000003
【図２】
2004102382.tif 000004
【図３】
2004102382.tif 000005
【図４】
2004102382.tif 000006
【図５】
2004102382.tif 000007
【図６】
2004102382.tif 000008
【図７】
2004102382.tif 000009
【図８】
2004102382.tif 000010