(57)【要約】【課題】  ハードウェア処理によって、穴埋め補間処理や、ぼかし処理などの画素値補正処理を実行する装置を提供する。【解決手段】  画像データを構成する各画素の画素値と該画素に対応する付随情報とを入力し、異なる画素に対応する画素値と対応付随情報からなる複数のデータを、補正処理実行回路への入力データとして選択する回路と、これらのデータに基づいて、補正対象の画素の補正画素値を算出するとともに、該補正画素に対応する付随情報の更新処理を実行する補正処理実行回路とを構成した。本構成により、ラスタスキャン順にデータを順次、出力することで、複雑なメモリ制御を行うことなく、シンプルなハードウェア上の処理によって、穴埋め補間処理や、ぼかし処理などの画素値補正処理が実行可能となる。【選択図】  図６
2006031296.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であり、
画像データを構成する各画素の画素値と該画素に対応する付随情報とを入力し、異なる画素に対応する画素値と対応付随情報からなる複数のデータを、補正処理実行回路への入力データとして選択するデータ選択回路と、
前記データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値を算出するとともに、該補正画素に対応する付随情報の更新処理を実行する補正処理実行回路と、
を有することを特徴とする画像処理装置。
【請求項２】
前記データ選択回路は、
ラスタスキャン順に、画素値と対応付随情報からなるデータを入力し、
ｎ×ｍの隣接画素領域に含まれる画素値と対応付随情報とを補正処理実行回路に対する入力データとして選択する処理を実行する構成、ただし、ｎ，ｍは１以上の整数、
であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記データ選択回路は、
画像データの横方向に隣接するｎ個の画素の画素値と対応付随情報とを選択するライン対応データ選択部をｍ段有し、ただし、ｎ，ｍは１以上の整数、
異なる段のライン対応データ選択部の間に、（画像幅（ｗｉｄｔｈ）データ長−ｎ画素対応データ長）に相当するデータ遅延を実行する遅延回路を有し、
ｎ×ｍの隣接画素領域に含まれる画素値と対応付随情報とを補正処理実行回路に対する入力データとして選択する処理を実行する構成であることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理装置は、さらに、
画像データを構成する各画素の画素値と該画素に対応する付随情報とを対応付けて格納するメモリを有し、
前記データ選択回路は、
前記メモリからラスタスキャン順に、画素値と対応付随情報からなるデータを入力する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記補正処理実行回路は、
穴埋め補間処理による画素値補正処理を実行する構成であり、
前記データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値を穴埋め補間処理によって算出するとともに、該補正画素に対応する付随情報の更新処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記付随情報は、
補正対象画素であるか、
穴埋め補間に適用可能な画素値を持つ画素であるか、
を判別可能な情報であり、
前記補正処理実行回路は、
前記付随情報が補正対象画素であることを示す場合に、
前記付随情報が穴埋め補間に適用可能な画素値を持つ画素であることを示す画素の画素値のみを選択して、前記補正対象画素の補正画素値を算出する構成であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記補正処理実行回路は、
ぼかし処理による画素値補正処理を実行する構成であり、
前記入力データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値をぼかし処理によって算出する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記付随情報は、
補正対象画素または補正済み画素と、その他の画素とを判別可能な情報であり、
前記補正処理実行回路は、
前記付随情報が補正対象画素または補正済み画素であることを示す場合に、該画素を選択し、選択画素の周囲画素の画素値に基づいて、該選択画素の新たな補正画素値を算出する構成であることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記補正処理実行回路は、
前記付随情報が補正対象画素または補正済み画素であることを示す場合に、該画素を選択し、選択画素の周囲画素の画素値の平均値を算出し、該算出値を選択画素の新たな補正画素値とする処理を実行する構成であることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記補正処理実行回路は、
前記データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値を算出するとともに、該補正画素に対応する付随情報の更新処理を実行し、処理済みデータをラスタスキャン順に出力する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記付随情報は、
白とび画素と、補正対象画素と、補正済み画素と、前記画素のいずれにも該当しないその他の画素との判別を可能とした情報であり、
前記補正処理実行回路は、
前記付随情報を識別し、識別結果に応じた処理を実行する構成であることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記画像処理装置において、
前記データ選択回路と、前記補正処理実行回路は、複数回の繰り返し処理が実行可能な構成を有することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。さらに詳細には、例えばレンズの収差による偽色などによって誤った画素値が設定された画素や、画素値の不定な画素などに対して、補間処理等の画素値補正を実行して高品質な画像データを生成する画像処理装置に関する。
【背景技術】
【０００２】
例えば、カメラで撮影した画像は多数の画素によって構成され、各画素に対応する画素値が各々設定されてディスプレイに表示、あるいはプリントアウトされる。このような画像データにおいて、一部分の画素値が不定、あるいは、補正したほうが良い場合がある。
【０００３】
例えば、カメラのレンズ素材に対する光の屈折率がその波長により異なることに起因し、撮像面において偽色を生じ、特定位置の画素の値が不自然な値に設定されることがある。これは色収差に基づく現象である。色収差には、光軸上の焦点位置が波長によって異なるため色のにじみが起こる軸上色収差や、波長により像倍率が異なるため色ずれが起こる倍率色収差などがある。この色収差に基づく誤った画素値の設定現象として、例えば、輝度レベルにおける飽和状態としての白とび画素の近傍に発生する紫色の偽色があり、パープルフリンジとして知られている。
【０００４】
このようなパープルフリンジ以外にも、画像の撮影条件や撮影時のデータ処理における様々なトラブルによって、画像データを構成する多数の画素の中には、画素値が特定できない画素や、明らかに誤った画素値が設定されてしまう画素が発生することがある。
【０００５】
このような画素値不定画素、あるいは要補正画素については、画素値を補正することが必要となる。これらの画素の画素値を決定するための処理として多く行なわれるのは、これらの画素の近傍に存在する不定でない画素値を持つ画素、あるいは、補正しなくても元々正しい画素値を持つ画素の画素値に基づく補間処理である。すなわち、補正の必要な着目画素の周辺の正しい画素の画素値に基づいてこれらの画素の画素値を決定する。なお、このような画素値補正処理は、穴埋め（Ｈｏｌｅ  ｆｉｌｌｉｎｇ）処理と呼ばれている。
【０００６】
なお、画素値不定画素、あるいは要補正画素等は１画素が単独で存在することはまれであり、一定数の画素値不定画素あるいは要補正画素がかたまりで存在する場合が多い。このような画素群に対して穴埋め（Ｈｏｌｅ  ｆｉｌｌｉｎｇ）処理を実行する場合、
ａ）処理済みの画素と未処理画素
ｂ）穴埋めの際に適用可能な画素と、適用不可の画素
などを区別して処理を実行することが必要となる。
【０００７】
これまで、このような画素の穴埋め補正処理は、ソフトウェアによる処理として行なわれるのが一般的であり、各画素に対応するパラメータ（付随情報）を設定して、１つの処理ステップ毎に各画素対応のパラメータを変更して処理を進める構成がとられていた。しかし、穴埋め処理には、各画素対応のパラメータが多数必要であり、またそのパラメータの切り替えを効率的に確実に行なうことが必要となり、さらに、各画素の画素値決定のための多数の処理が必要となることなどの問題点があり、ハードウェアを適用した穴埋め処理構成は実現されていない。
【０００８】
ハードウェアを適用した画像処理装置構成として、たとえば特許文献１に記載の構成がある。この文献に開示された構成は、画像データに対して複数の処理を順番に行う際に、適応的に切り替えられる処理内容を領域番号情報としている。そして、各画素の処理に要する遅延時間分だけ、領域番号情報も遅延させて、処理の流れに一貫性を持たせ、制御を簡単化している。しかしながら、この開示構成における領域番号情報は書き換えることが出来ない構成であり、上述の穴埋め処理のように、画素対応のパラメータを適宜変更する必要がある処理の場合には、スムーズな制御が実行できない。
【特許文献１】特開平５−１５３３８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、上述の問題点に鑑みてなされたものであり、誤った画素値が設定された画素や、画素値の不定な画素などに対して、補間処理等の画素値補正をハードウェア回路を適用し、かつ小型の回路構成による処理を可能とした画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１の側面は、
画像処理装置であり、
画像データを構成する各画素の画素値と該画素に対応する付随情報とを入力し、異なる画素に対応する画素値と対応付随情報からなる複数のデータを、補正処理実行回路への入力データとして選択するデータ選択回路と、
前記データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値を算出するとともに、該補正画素に対応する付随情報の更新処理を実行する補正処理実行回路と、
を有することを特徴とする画像処理装置にある。
【００１１】
さらに、本発明の画像処理装置の一実施態様において、前記データ選択回路は、ラスタスキャン順に、画素値と対応付随情報からなるデータを入力し、ｎ×ｍの隣接画素領域に含まれる画素値と対応付随情報とを補正処理実行回路に対する入力データとして選択する処理を実行する構成、ただし、ｎ，ｍは１以上の整数、であることを特徴とする。
【００１２】
さらに、本発明の画像処理装置の一実施態様において、前記データ選択回路は、画像データの横方向に隣接するｎ個の画素の画素値と対応付随情報とを選択するライン対応データ選択部をｍ段有し、ただし、ｎ，ｍは１以上の整数、異なる段のライン対応データ選択部の間に、（画像幅（ｗｉｄｔｈ）データ長−ｎ画素対応データ長）に相当するデータ遅延を実行する遅延回路を有し、ｎ×ｍの隣接画素領域に含まれる画素値と対応付随情報とを補正処理実行回路に対する入力データとして選択する処理を実行する構成であることを特徴とする。
【００１３】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、画像データを構成する各画素の画素値と該画素に対応する付随情報とを対応付けて格納するメモリを有し、前記データ選択回路は、前記メモリからラスタスキャン順に、画素値と対応付随情報からなるデータを入力する構成であることを特徴とする。
【００１４】
さらに、本発明の画像処理装置の一実施態様において、前記補正処理実行回路は、穴埋め補間処理による画素値補正処理を実行する構成であり、前記データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値を穴埋め補間処理によって算出するとともに、該補正画素に対応する付随情報の更新処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像処理装置の一実施態様において、前記付随情報は、補正対象画素であるか、穴埋め補間に適用可能な画素値を持つ画素であるか、を判別可能な情報であり、前記補正処理実行回路は、前記付随情報が補正対象画素であることを示す場合に、前記付随情報が穴埋め補間に適用可能な画素値を持つ画素であることを示す画素の画素値のみを選択して、前記補正対象画素の補正画素値を算出する構成であることを特徴とする。
【００１６】
さらに、本発明の画像処理装置の一実施態様において、前記補正処理実行回路は、ぼかし処理による画素値補正処理を実行する構成であり、前記入力データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値をぼかし処理によって算出する構成であることを特徴とする。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記付随情報は、補正対象画素または補正済み画素と、その他の画素とを判別可能な情報であり、前記補正処理実行回路は、前記付随情報が補正対象画素または補正済み画素であることを示す場合に、該画素を選択し、選択画素の周囲画素の画素値に基づいて、該選択画素の新たな補正画素値を算出する構成であることを特徴とする。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記補正処理実行回路は、前記付随情報が補正対象画素または補正済み画素であることを示す場合に、該画素を選択し、選択画素の周囲画素の画素値の平均値を算出し、該算出値を選択画素の新たな補正画素値とする処理を実行する構成であることを特徴とする。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記補正処理実行回路は、前記データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値を算出するとともに、該補正画素に対応する付随情報の更新処理を実行し、処理済みデータをラスタスキャン順に出力する構成であることを特徴とする。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記付随情報は、白とび画素と、補正対象画素と、補正済み画素と、前記画素のいずれにも該当しないその他の画素との判別を可能とした情報であり、前記補正処理実行回路は、前記付随情報を識別し、識別結果に応じた処理を実行する構成であることを特徴とする。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置において、前記データ選択回路と、前記補正処理実行回路は、複数回の繰り返し処理が実行可能な構成を有することを特徴とする。
【００２２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２３】
本発明の構成によれば、画像データにおける画素値補正処理、例えば、誤った画素値が設定された画素や、画素値の不定な画素などに対して、補間処理等の画素値補正をハードウェア回路を適用し、かつ小型の回路構成による処理を可能とした画像処理装置が実現される。
【００２４】
本発明の構成では、画像データを構成する各画素の画素値と該画素に対応する付随情報とを入力し、異なる画素に対応する画素値と対応付随情報からなる複数のデータを、補正処理実行回路への入力データとして選択するデータ選択回路と、データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値を算出するとともに、該補正画素に対応する付随情報の更新処理を実行する補正処理実行回路とによって、補正に必要な画素データをデータ選択回路で順次、選択して、補正処理実行回路に供給とし、補正を実行する構成としたので、ラスタスキャン順にデータを順次、出力することで、複雑なメモリ制御を行うことなく、シンプルなハードウェア上の処理によって、穴埋め補間処理や、ぼかし処理などの画素値補正処理が実行可能となる。
【００２５】
本発明の構成によれば、ハードウェアによって構成した回路を適用して、穴埋め補間およびぼかし処理が実行される。しかも、処理手順は、メモリからラスタスキャン順に入力する画素値と付随情報を順次処理することによって実行可能であり、複雑なメモリの入出力制御を行なうことが不要であり、また、付随情報についても画素値に伴って処理の進行に従って各回路間において転送されるのみであるので、付随情報専用のメモリや制御も不要であり、シンプルな制御によって、穴埋め補間およびぼかし処理が実行可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照しながら、本発明の画像処理装置の詳細について説明する。
【００２７】
背景技術の欄においても説明したように、例えば、色収差によるパープルフリンジや、その他、画像の撮影条件や撮影時のデータ処理における様々なトラブルによって、画像データを構成する多数の画素の中には、画素値が特定できない画素や、明らかに誤った画素値が設定される場合があり、このような画素（着目画素）に対応する適切な画素値の決定のための処理として、周囲の画素値に基づいて着目画素の画素値を決定する処理が行なわれる。この処理が穴埋め（Ｈｏｌｅ  ｆｉｌｌｉｎｇ）処理、あるいは穴埋め補間処理と呼ばれる。
【００２８】
穴埋め補間処理の一例として、色収差によるパープルフリンジに対する穴埋め補間処理を適用した画像データの補正処理例を説明する。図１に色収差によるパープルフリンジの発生した画像データの例を示す。
【００２９】
図１（Ａ）に示されるように、画素は、「白とび画素１１」、「偽色（パープルフリンジ）画素１２」、「白とびでもパープルフリンジでもないその他の画素１３」のいずれかに分類される。この中で、画素値の再設定が必要な画素は、「偽色（パープルフリンジ）画素１２」であり、この画素の画素値を「白とびでもパープルフリンジでもないその他の画素１３」に基づいて決定する。この穴埋め補間処理は、図１（Ｂ）の矢印１５の方向に実行され、順次補間済み画素１４として、各画素の画素値が設定される。
【００３０】
この穴埋め補間処理を適用した画像データ補正処理の処理手順について説明する。以下、パープルフリンジに対する穴埋め補間処理を適用した画像データの補正処理は、例えば以下の５つのステップによって実行される。
ステップ１：白とびマスク算出
ステップ２：偽色発生部検索領域設定（Ｄｉｌａｔｅ）処理（白とびの周りに膨らませた部分の画素設定）
ステップ３：紫画素検出
ステップ４：色補間処理
ステップ５：色ぼかし処理
【００３１】
この５つのステップについて、簡単に説明する。まず、色収差の目立つ紫色をおびた画素は、画像の中で「白とび」を起こしている周囲の部分であることより、ステップ１で、「白とび」の画素を検出する。「白とび」の画素検出は、画素値の値が所定の値より高い画素（高輝度画素）を選択する処理として実行される。
【００３２】
次に、ステップ２で、「白とび」の周囲において偽色、すなわちパープルフリンジが存在する可能性のある画像中の領域を偽色発生部検索領域として設定する。
ステップ３では、ステップ２で設定した偽色発生部検索領域に含まれる各画素の画素値を取得し、紫色をおびた画素を選択し、これを偽色（パーブルフリンジ）画素、すなわち補間処理対象画素として選択する。
【００３３】
次に、ステップ４において、補間処理対象画素を、周囲の画素より補間する。この際、補正すべきであるにも係わらず補正できなかった画素については、例外的に、彩度を落とす処理を実行する。
そして、最後のステップ５において、ステップ４での通常の補正処理を行った画素（周囲より補間した画素）と、例外処理の画素（彩度を落とした画素）との差を目立たなくするために、ぼかす処理を実行する。ぼかし処理は、複数の隣接画素についてなだらかな画素値変化を示すように画素値を再設定する処理などによって実行される。
【００３４】
なお、上述した処理中、ステップ４の処理、すなわち、補間処理対象画素を周囲の画素より補間する処理は、補正の必要な画素の画素値を周囲の確定した画素の画素値を適用して決定する処理であり、この処理が穴埋め補間処理と呼ばれる。
【００３５】
本発明では、上述のステップ４の穴埋め補間処理と、ステップ５のぼかし処理をハードウェア構成としての回路を適用して実行する。処理対象の画像データについての構成画素が、「白とびを起こしている画素」であるか、あるいは、「紫色をおびた画素であり、補正すべき画素」であるか、あるいは、「それ以外の画素」であるかを検出した後、「紫色をおびた画素であり、補正すべき画素」についての画素値を、穴埋め補間処理によって順次決定する。
【００３６】
ステップ４とステップ５の処理について、詳しく述べる。まず、ステップ４に入る前に、各画素について、「白とびを起こしている画素」であるか、あるいは、「紫色をおびた画素であり、補正すべき画素」であるか、あるいは、「それ以外の画素」であるかを判別する。この判別処理は、各構成画素の画素値を取得することによって行なわれる。
【００３７】
「白とびを起こしている画素」を「Ｉ」、
「紫色をおびた画素であり、補正すべき画素（まだ補正処理の過程において補正をしていない画素）」を「Ｈ」、
「紫色をおびた画素であり、補正すべき画素（補正処理の過程において既に補正をした画素）」を「Ｍ」、
「それ以外の画素」を「Ｖ」
と表すことにする。
【００３８】
つまり、ステップ４に入る前に、各画素は、それぞれ対応する情報（以降、その画素の付随情報と言う。）として、「Ｉ」（白とび画素）あるいは「Ｈ」（補正対象画素）あるいは「Ｖ」（その他画素）のいずれかを持っている。また、後述するように処理の過程で、「Ｈ」（補正対象画素）に対応する画素の付随情報は、「Ｍ」（補正済画素）に変更されていく。
【００３９】
なお、「Ｉ」はｉｎｅｆｆｅｃｔｉｖｅの頭文字、「Ｈ」はＨｏｌｅの頭文字、「Ｍ」はＭｏｄｉｆｉｅｄの頭文字、「Ｖ」はＶａｌｉｄの頭文字である。
【００４０】
さて、ステップ４では、所定の回数（例えば１０回）、以下に説明する処理Ａを行った後、処理Ｂを行う。
処理Ａ：すべての「Ｈ」（補正対象画素）の画素（着目画素と呼ぶ。）について、その周囲の画素（前後、左右、斜めの合計８画素）の内、「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素がある場合には、その「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素の平均値で、着目画素の値を変更する。そして、その着目画素の付随情報は「Ｈ」（補正対象画素）から「Ｍ」（補正済画素）に変更する。
処理Ｂ：すべての「Ｈ」（補正対象画素）の画素の値を０にする。
【００４１】
なお、処理Ｂが必要な理由を補足しておく。処理Ａを所定の回数（１０回）だけ行っても、まだ、「Ｈ」（補正対象画素）の状態である画素が存在する可能性もある。つまり、「紫色をおびた画素であり、補正すべき画素」であるにも係わらず、「まだ補正処理の過程（所定回数の処理Ａ）において補正をしていない画素」が存在する可能性もある。このような画素については、周囲の画素からの補間を諦め、彩度を落とす（即ち、着目画素の値を０とする。）ようにしている。それが処理Ｂである。
【００４２】
さて、前述のステップ３において「Ｈ」（補正対象画素）であった画素間での境界（即ち、ステップ４において、処理Ａで変更された画素と、処理Ｂで変更された画素の境界）が目立つので、この境界の目立ちをステップ５において、ぼかす処理を実行する。ぼかし処理は、以下の処理Ｃを所定の回数（例えば５回）実行する。
処理Ｃ：すべての「Ｈ」（補正対象画素）あるいは「Ｍ」（補正済画素）の画素の値を、その周囲の画素（着目画素、および、前後、左右、斜めの合計９画素）の平均値で、変更する。
【００４３】
以上で、ステップ４の穴埋め補間処理と、ステップ５のぼかし処理が完了し、補正された画像が出力される。これらの処理によって、色収差に基づくパープルフリンジなどの偽色、その他の画素値の不定画素の画素値が補正され、高品質な画像データが生成されて出力可能となる。
【００４４】
このステップ４の穴埋め補間処理と、ステップ５のぼかし処理を実行する本発明に係る画像処理装置のハードウェア構成について、以下説明する。まず、本発明のポイントを述べておく。本発明の画像処理装置では、各画素は、ラスタスキャン順に処理していく。これにより、メモリからの読み出し／書き込みに関して、規則正しく順番に行うことが出来る。さらに、各画素に対応する付随情報、すなわち、
「Ｉ」（白とび画素）
「Ｈ」（補正対象画素）
「Ｖ」（その他画素）
「Ｍ」（補正済画素）
の各付随情報も、対応する画素と同じタイミングで、ラスタスキャン順に処理が可能であり、これらの付随情報を保持するための別メモリを確保することなく、これらの付随情報のメモリに対する入出力制御も不要となる。
【００４５】
本発明の画像処理装置の構成について、図２を用いて説明する。図２は、上述のステップ４の穴埋め補間処理と、ステップ５のぼかし処理をハードウェア構成としての回路を適用して実行する画像処理装置を示すブロック図である。
【００４６】
図２に示す画像処理装置２０は、入出力ポート２１、メモリ２２、画素判別処理部２３、穴埋め補間処理部２４、ぼかし処理部２５、バス２６、制御部２７を有する。
【００４７】
入出力ポート２１から、例えば、色収差を帯びた画像、すなわち補正すべき画素を含む画像データが入力され、後述する一連の処理が行われた後、色収差を補正した画像、すなわち、穴埋め補間処理とぼかし処理を実行した後の画像データが入出力ポート２１から出力される。
【００４８】
メモリ２２は、画像データを格納するメモリである。画素判別処理部は、前述のステップ１からステップ３までの処理、すなわち、
ステップ１：白とびマスク算出
ステップ２：偽色発生部検索領域設定（Ｄｉｌａｔｅ）処理（白とびの周りに膨らませた部分の画素設定）
ステップ３：紫画素検出
を実行し、各画素の補正対象の画素としての紫画素を選別する処理を実行する回路である。
【００４９】
穴埋め補間処理部２４は、前述のステップ４の穴埋め補間処理を実行する回路である。ぼかし処理部２５は、ステップ５のぼかし処理を行う回路である。
【００５０】
バス２６は、入出力ポート２１、メモリ２２、画素判別処理部２３、穴埋め補間処理部２４、ぼかし処理部２５の各構成部間のデータ転送用バスである。これらの構成部の動作制御およびデータ転送制御は、制御部２７において実行される。なお、穴埋め補間処理部２４からの出力は、直接ぼかし処理部２５に入力される。
【００５１】
穴埋め補間処理部２４と、ぼかし処理部２５の構成および処理の詳細は、図５〜図１０を用いて、後ほど説明する。まず、図２に示す画像処理装置２０を用いた全体処理の流れについて説明する。
【００５２】
まず、入出力ポート２１から補正対象画増、例えば、「色収差を帯びた画像データ」が入力され、バス２６を介してメモリ２２に格納される。メモリ２２に格納された画像データは、次に、メモリ２２からバス２６を介して画素判別処理部２３に入力される。
【００５３】
画素判別処理部２３では、前述のステップ１からステップ３までの処理、すなわち、
ステップ１：白とびマスク算出
ステップ２：偽色発生部検索領域設定（Ｄｉｌａｔｅ）処理（白とびの周りに膨らませた部分の画素設定）
ステップ３：紫画素検出
が実行される。
【００５４】
この処理の結果、各画素の付随情報（「Ｈ」（補正対象画素）「Ｖ」（その他画素）「Ｉ」（白とび画素）のいずれか）の付随情報が、メモリ２２に各画素の画素値データと併せて格納される。
【００５５】
例えば画像データを構成する各画素の画素値が８ビットとすると、メモリ２２のメモリは１ワード１０ビットとして設定され、画素値（８ビット）と付随情報（２ビット）として、同じ番地に画素値と付随情報が対応付けられて格納される。
【００５６】
メモリ２２におけるデータ格納構成について、図３を用いて、詳しく説明する。図３には、メモリ２２のＸＸ番地に格納されているある画素に対応するデータを示している。このメモリ２２は、１０ビット幅なので、その中の下位側の８ビット分のところ（図３では、Ｒ７〜Ｒ０）に、その画素の画素値（０〜２５５の８ビットデータ）が格納される。さらに、画素判別処理部２３の回路により確定されたこの画素に対応する付随情報（全部で４つの状態（Ｈ，Ｖ，Ｉ，Ｍ）を取るので２ビット分）は、同じ番地（ＸＸ番地）の上位側の２ビット分のところ（図３では、Ｒ９、Ｒ８）に格納される。
【００５７】
このように、メモリ２２には、画像データの構成画素の画素値と、その付随情報、すなわち、
「Ｈ」（補正対象画素）
「Ｖ」（その他画素）
「Ｉ」（白とび画素）
のいずれかの情報が対応付けられて格納されることになる。処理前であるので、
「Ｍ」（補正済み画素）
の付随情報が設定された画素データはない。
【００５８】
さて、このように画素値と付随情報とを対応付けて格納したメモリ２２から、格納データが、バス２６を介して、穴埋め補間処理部２４に出力され穴埋め補間処理が実行され、さらにぼかし処理部２５においてぼかし処理が実行されて、処理結果データがバス２６を介して、メモリ２２に一旦格納された後、バス２６を介して入出力ポート２１を介して出力される。
【００５９】
まず、メモリ２２からは、ラスタスキャン順に各画素に対応するデータ、すなわち画素値と付随情報が読み出される。この「画素値」と「付随情報」は、バス２６を介して、ラスタスキャン順に穴埋め補間処理部２４に入力される。穴埋め補間処理部２４での処理の詳細は後述する。穴埋め補間処理部２４では、前述の所定回数（例えば１０回）の処理Ａの後、処理Ｂが実行される。すなわち、
処理Ａ：すべての「Ｈ」（補正対象画素）の画素（着目画素と呼ぶ。）について、その周囲の画素（前後、左右、斜めの合計８画素）の内、「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素がある場合には、その「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素の平均値で、着目画素の値を変更する。そして、その着目画素の付随情報は「Ｈ」（補正対象画素）から「Ｍ」（補正済画素）に変更する。
処理Ｂ：すべての「Ｈ」（補正対象画素）の画素の値を０にする。
【００６０】
穴埋め補間処理部２４でのこれらの処理の後、ラスタスキャン順に、「画素値」と「付随情報」が、ぼかし処理部２５に出力される。
【００６１】
そして、穴埋め補間処理部２４から出力された「画素値」と「付随情報」は、ぼかし処理部２５にラスタスキャン順に入力され、ぼかし処理部２５では、ぼかし処理が実行される。ぼかし処理部２５の構成および処理の詳細は後述するが、ここでは、前述の処理Ｃが所定回数（例えば５回）実行される。すなわち、
処理Ｃ：すべての「Ｈ」（補正対象画素）あるいは「Ｍ」（補正済画素）の画素の値を、その周囲の画素（着目画素、および、前後、左右、斜めの合計９画素）の平均値で、変更する。
このぼかし処理が実行され、ラスタスキャン順に、「画素値」と「付随情報」が出力される。なお、実際には、「付随情報」は、このぼかし処理の後は、使用しないので、捨てても良いが、一貫性を持たせるために、ここでは、「付随情報」も出力する例として説明する。
【００６２】
そして、ぼかし処理部２５から出力された「画素値」と「付随情報」は、バス２６を介して、メモリ２２にラスタスキャン順に書き込まれる。最後に、メモリ２２に格納されている画像、即ち、穴埋め補間処理部１４における所定回数（例えば１０回）の処理Ａと処理Ｂと、ぼかし処理部における所定回数（例えば５回）の処理Ｃの行われた画像データを、バス２６を介して入出力ポート２１より出力し、補正された画像データが出力される。
【００６３】
上述したように、メモリ２２から読み出し、穴埋め補間処理部２４に供給する画像データ順はラスタスキャン順であり、ぼかし処理部２５から出力されメモリ２２に書き込む順番もラスタスキャン順である。
【００６４】
即ち、このメモリ２２の読み出し／書き込みの制御は、非常に単純な処理となる。制御は、例えば図４に示すメモリ読み出し制御、メモリ書き込み制御構成が適用される。具体的には、
（ａ）メモリ２２からのデータ読み出し処理：
ｆｏｒ（ｊ＝０；ｊ，ｈｅｉｇｈｔ；＋＋ｊ）｛
ｆｏｒ（ｉ＝０；ｉ＜ｗｉｄｔｈ；＋＋ｉ）｛
メモリ２２から位置（ｉ，ｊ）の画素を読み出し、
バス２６を介して穴埋め補間処理部２４へ供給する。
｝
｝
（ｂ）メモリ２２に対するデータ書き込み処理：
ｆｏｒ（ｊ＝０；ｊ，ｈｅｉｇｈｔ；＋＋ｊ）｛
ｆｏｒ（ｉ＝０；ｉ＜ｗｉｄｔｈ；＋＋ｉ）｛
ぼかし処理部２５から出力されるデータをバス２６を介し
て、メモリ２２へ位置（ｉ，ｊ）の画素として格納する。
｝
｝
【００６５】
［ｗｉｄｔｈ］は画像の横幅（あるいは、処理を行う部分の画像の幅）であり、［ｈｅｉｇｈｔ］はその高さである。
上記のメモリ制御は、すなわち、メモリからのデータ読み取り時は、
ｊ＝０の最上段のスキャンラインから順にｉ＝０から順次、横方向に画素対応データ（画素値および付随情報）を取得し、最上位のスキャンラインが終端に達したら、次の下のスキャンラインに移動し、さらに横方向に順次画素対応データを取り出して最下段のスキャンラインに至る処理であり、メモリに対するデータ書き込み処理も、上述の読み取り処理と同様の順番で、スキャンラインに沿って実行されることを示している。このように、メモリからのデータよみとり、メモリに対するデータ書き込みは、スキャンラインに沿って実行され、単純な制御で実行することが可能となる。
【００６６】
次に、図５〜図８を参照して、穴埋め補間処理部２４の構成および処理の詳細について説明し、その後、図９、図１０を参照して、ぼかし処理部２５の構成および処理の詳細について説明する。
【００６７】
まず、図５〜図８を参照して、穴埋め補間処理部２４の構成および処理の詳細について説明する。図５は、図２に示す穴埋め補間処理部２４の具体的構成について説明する図である。図５に示すように、穴埋め補間処理部２４は、フィルタ処理回路５０−１、５０−２〜５０−１０と、例外処理部５１を有する。
【００６８】
フィルタ処理回路５０−１、５０−２〜５０−１０は、それぞれ同じ構成を有し、同一の処理を行う回路であり、前述の処理Ａを繰り返し１０回実行する。すなわち、
処理Ａ：すべての「Ｈ」（補正対象画素）の画素（着目画素）について、その周囲の画素（前後、左右、斜めの合計８画素）の内、「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素がある場合には、その「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素の平均値で、着目画素の値を変更する。そして、その着目画素の付随情報は「Ｈ」（補正対象画素）から「Ｍ」（補正済画素）に変更する。
フィルタ５０−１、５０−２〜５０−１０は、この処理Ａを１０回、繰り返し実行する。なお、この例では、繰り返し回数を１０に設定した例を説明するが、繰り返し回数は１０回に限られない。
【００６９】
例外処理部５１は、前述の処理Ｂ、すなわち、
処理Ｂ：すべての「Ｈ」（補正対象画素）の画素の値を０にする。
処理を実行する。すなわち１０回の処理Ａで残存している「Ｈ」（補正対象画素）の画素の値を０にする処理を実行する。
【００７０】
図５以下を参照して、穴埋め補間処理部２４の処理について説明する。メモリ２２からバス２６を介して穴埋め補間処理部２４にラスタスキャン順に入力される「画素値」と「付随情報」は、まずフィルタ処理回路５０−１に入力される。そして、フィルタ処理回路５０−１の出力は、フィルタ処理回路５０−２へと入力される。フィルタ処理回路５０−２の出力は、フィルタ処理回路５０−３へと入力される。以降、同様であり、フィルタ処理回路５０−９の出力はフィルタ処理回路５０−１０に入力される。そして、フィルタ処理回路５０−１０の出力は、例外処理部５１に入力される。５１の出力（「画素」と「付随情報」）は、穴埋め補間処理部２４の出力として、ぼかし処理部２５に入力される。
【００７１】
処理Ａを実行するフィルタ処理回路５０−ｈ（ｈ＝１〜１０）の具体的回路構成について、図６を参照して説明する。フィルタ処理回路５０−ｈ（ｈ＝１〜１０）は、データ選択回路６００と補正処理実行回路としてのフィルタ計算回路６２３によって構成される。
【００７２】
メモリ２２からバス２６を介してラスタスキャン順に入力される「画素値」データは、データ選択回路６００を構成するデータ選択部としての単位遅延回路（ＦＦ）６０１に入力される。そして、単位遅延回路（ＦＦ）６０１の出力は、単位遅延回路６０２、単位遅延回路６０３、ディレイ回路（ディレイ量は、ｗｉｄｔｈ−３）６０４、単位遅延回路６０５、単位遅延回路６０６、単位遅延回路６０７、ディレイ回路（ディレイ量は、ｗｉｄｔｈ−３）６０８、単位遅延回路６０９、単位遅延回路６１０、単位遅延回路６１１へと順次送られていく。
【００７３】
ディレイ回路６０４、とディレイ回路６０８の遅延データ量は、スキャンライン幅（ｗｉｄｔｈ）−３画素分である。なお、この例では、データ選択回路において３×３の９画素を選択し、これらの９画素に対応する画素値と付随情報とを選択データを補正処理実行回路としてのフィルタ計算回路６２３に入力する構成であるが、データ選択回路６００は、ｎ×ｍの任意の画素データ（画素値と付随情報）を選択する構成とすることが可能であり、その構成によってディレイ回路６０４、とディレイ回路６０８の遅延データ量は異なってくる。
【００７４】
一般化して説明すると、データ選択回路６００は、画像データの横方向に隣接するｎ個の画素の画素値と対応付随情報とを選択するライン対応データ選択部をｍ段有する構成（ただし、ｎ，ｍは１以上の整数）であり、異なる段のライン対応データ選択部の間に、（画像幅（ｗｉｄｔｈ）データ長−ｎ画素対応データ長）に相当するデータ遅延を実行する遅延回路が構成される。この構成によって、ｎ×ｍの隣接画素領域に含まれる画素値と対応付随情報とを補正処理実行回路としてのフィルタ計算回路６２３に入力する構成である。
【００７５】
同様に、ラスタスキャン順に入力される「付随情報」データは、データ選択回路６００を構成するデータ選択部としての単位遅延回路６１２に入力される。そして、単位遅延回路（ＦＦ）６１２の出力は、単位遅延回路６１３、単位遅延回路６１４、ディレイ回路（ディレイ量は、ｗｉｄｔｈ−３）６１５、単位遅延回路６１６、単位遅延回路６１７、単位遅延回路６１８、ディレイ回路（ディレイ量は、ｗｉｄｔｈ−３）６１９、単位遅延回路６２０、単位遅延回路６２１、単位遅延回路６２２へと順次送られていく。
【００７６】
なお、「画素値」データのビット長は、８ビットなので、単位遅延回路（ＦＦ）６０１〜６１１は８ビット幅である。また、「付随情報」のビット長は、２ビットなので、単位遅延回路（ＦＦ）６１２〜６２２は２ビット幅である。これらの８ビット画素値データと、２ビット付随情報とが、３×３画素分、選択され、補正処理実行回路としてのフィルタ計算回路６２３に入力される。
【００７７】
このように、データ選択回路６００の構成要素である単位遅延回路（ＦＦ）６０１、６０２、６０３、６０５、６０６、６０７、６０９、６１０、６１１および６１２、６１３、６１４、６１６、６１７、６１８、６２０、６２１、６２２の出力は、補正処理実行回路としてのフィルタ計算回路６２３に入力され、図７に示す処理が行われ、その結果である「画素（８ビット）」と「付随情報（２ビット）」が、図６に示す回路から出力され、後段のフィルタ処理回路５０−ｋ、あるいは、例外処理部５１に入力される。
【００７８】
図７を参照して補正処理実行回路としてのフィルタ計算回路６２３で行う処理について説明する。図７においては、図６に示す単位遅延回路（ＦＦ）６０１の出力値をＤ００、単位遅延回路（ＦＦ）６０２の出力値をＤ１０、単位遅延回路（ＦＦ）６０３の出力値をＤ２０、単位遅延回路（ＦＦ）６０５の出力値をＤ０１、単位遅延回路（ＦＦ）６０６の出力値をＤ１１、単位遅延回路（ＦＦ）６０７の出力値をＤ２１、単位遅延回路（ＦＦ）６０９の出力値をＤ０２、単位遅延回路（ＦＦ）６１０の出力値をＤ１２、単位遅延回路（ＦＦ）６１１の出力値をＤ２２とし、さらに、単位遅延回路（ＦＦ）６１２の出力値をＦ００、単位遅延回路（ＦＦ）６１３の出力値をＦ１０、単位遅延回路（ＦＦ）６１４の出力値をＦ２０、６１６の出力値をＦ０１、単位遅延回路（ＦＦ）６１７の出力値をＦ１１、単位遅延回路（ＦＦ）６１８の出力値をＦ２１、単位遅延回路（ＦＦ）６２０の出力値をＦ０２、単位遅延回路（ＦＦ）６２１の出力値をＦ１２、単位遅延回路（ＦＦ）６２２の出力値をＦ２２としている。
【００７９】
Ｄｘｘは画素のデータであり、Ｄ１１を着目している画素とすると、その画素の周囲３×３の部分の画素の画素値データが、Ｄｘｘとしてフィルタ計算回路６２３に入力されていることになる。Ｆｘｘは付随情報であり、「Ｈ」（補正対象画素）「Ｍ」（補正済画素）「Ｖ」（その他画素）「Ｉ」（白とび画素）のいずれかであり、着目画素の周囲３×３の部分の付随情報が、Ｆｘｘとしてフィルタ計算回路６２３に入力されていることになる。
【００８０】
図８を参照して、フィルタ計算回路６２３に入力されるデータについて説明する。フィルタ計算回路６２３に入力されるデータは、図８に示すように、３×３画素に対応する画素値（Ｄｘｘ）とその画素に対応する付随情報（Ｆｘｘ）である。これらは、データ選択回路６００によって選択される。フィルタ計算回路６２３ではこれらの３×３画素に対応する画素値（Ｄｘｘ）とその画素に対応する付随情報（Ｆｘｘ）に基づいて、これらの画素値に基づいて、中央の注目画素の画素値（Ｄ１１）と付随情報（Ｆ１１）を更新する。
【００８１】
図７の処理について説明する。図７に示す演算処理は、以下の通りである。
【００８２】
if(F11==H){
sum=0;
num=0;
if(F00==VorM){sum+=D00;++num;}
if(F01==VorM){sum+=D01;++num;}
if(F02==VorM){sum+=D02;++num;}
if(F10==VorM){sum+=D11;++num;}
if(F12==VorM){sum+=D12;++num;}
if(F20==VorM){sum+=D20;++num;}
if(F20==VorM){sum+=D21;++num;}
if(F22==VorM){sum+=D22;++num;}
if(num!=0){
Do=sum/num;Fo=M;
}else{
Do=D11;Fo=F11;
}
}else{
Do=D11;Fo=F11;
}
【００８３】
上記の演算処理について説明する。まず、着目している画素に対応する付随情報Ｆ１１が「Ｈ」（補正対象画素）であるか調べ、「Ｈ」（補正対象画素）であれば、以下の処理によって、出力画素値（Ｄｏ）と出力付随情報（Ｆｏ）を決定する。即ち、変数：ｓｕｍとｎｕｍに０をセットし、付随情報：Ｆｐｑの値が「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）のいずれかである場合にのみ、対応する画素値：Ｄｐｑをｓｕｍに加算し、ｎｕｍを１だけインクリメントする（ｐ＝０〜２、ｑ＝０〜２、ｐ＝１かつｑ＝１は除く）。
【００８４】
そして、フィルタ計算回路６２３の出力である「画素」の値としてＤｏ＝ｓｕｍ／ｎｕｍを出力し、フィルタ計算回路６２３の出力である「付随情報」の値としてＦｏ＝「Ｍ」（補正済画素）を出力する。
【００８５】
この処理は、３×３画素の中心画素が「Ｈ」（補正対象画素）であるとき、周囲の８画素から、「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の付随情報が設定された画素のみを選択して、これらの画素の画素値の平均（ｓｕｍ／ｎｕｍ）を３×３画素の中心画素の補正画素値として設定し、その付随情報を「Ｍ」（補正済画素）とする処理である。
【００８６】
ただし、ｎｕｍが０、すなわち、３×３画素の中心画素が「Ｈ」（補正対象画素）であるが、周囲の８画素に「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の付随情報が設定された画素が無い場合は、フィルタ計算回路６２３の出力である「画素」の値としてＤｏ＝Ｄ１１を出力し、フィルタ計算回路６２３の出力である「付随情報」の値としてＦｏ＝Ｆ１１（即ち「Ｈ」（補正対象画素））を出力する。すなわち、画素値の補正を行なうことなく、入力画素値［Ｄ１１］をそのままの値とし、付随情報もＦ１１＝「Ｈ」（補正対象画素）のまま出力する。
【００８７】
また、Ｆ１１が「Ｈ」（補正対象画素）でない場合には、フィルタ計算回路６２３の出力である「画素」の値として、入力画素値のまま、すなわち、Ｄｏ＝Ｄ１１を出力し、フィルタ計算回路６２３の出力である「付随情報」の値も変更することなく、Ｆｏ＝Ｆ１１を出力する。
【００８８】
この図７に示すフィルタ計算回路６２３の処理は、加算処理回路、アンド、オア回路などの演算回路によって構成されるハードウェア回路で実現され、図６に示す複数の単位遅延回路（ＦＦ）からの画素値と付随情報を入力して、図７に示す演算処理が実行される。
【００８９】
この処理は、着目画素に対する処理Ａ、すなわち、
処理Ａ：すべての「Ｈ」（補正対象画素）の画素（着目画素）について、その周囲の画素（前後、左右、斜めの合計８画素）の内、「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素がある場合には、その「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素の平均値で、着目画素の値を変更する。そして、その着目画素の付随情報は「Ｈ」（補正対象画素）から「Ｍ」（補正済画素）に変更する。
の処理を行なうことに相当する。
この処理Ａが、図５に示すフィルタ処理回路５０−１〜１０の１０個の回路により１０回繰り返して行われることになる。結果として、付随情報として「Ｈ」（補正対象画素）が設定された画素は順次、穴埋め補間により、新たな画素値が設定されて、付随情報も「Ｍ」（補正済画素）に変更されることになる。
【００９０】
次に、図５に示す例外処理部５１での処理について、図９を参照して説明する。例外処理部５１での処理は、下記の処理である。
if(Fin==H){
Dout=const;
Fout=Fin;
}else{
Dout=Din;
Fout=Fin;
}
【００９１】
例外処理部５１では、前述の処理Ｂ、すなわち、
処理Ｂ：すべての「Ｈ」（補正対象画素）の画素の値を０にする。
処理を実行する。すなわち１０回の処理Ａで残存している「Ｈ」（補正対象画素）の画素の値を０にする処理を実行する。
【００９２】
入力された画素の値（Ｄｉｎ）と、その画素に対応する入力された付随情報（Ｆｉｎ）から、Ｆｉｎが「Ｈ」（補正対象画素）のときは、例外処理部５１は、出力「画素値」としてＤｏ＝「一定の値（たとえば０）」を出力する。また、その画素に対応する「付随情報」の値として、入力付随情報をそのまま変更することなく、Ｆｏ＝Ｆｉｎ、すなわち、「Ｈ」（補正対象画素）のまま出力する。
【００９３】
また、入力された付随情報（Ｆｉｎ）が「Ｈ」（補正対象画素）でないときは、例外処理部５１は、出力「画素値」として、入力画素値を変更することなく、そのまま、Ｄｏ＝Ｄｉｎを出力し、「付随情報」の値も入力付随情報をそのまま変更することなく、Ｆｏ＝Ｆｉｎを出力する。これは、明らかに、着目している画素（Ｄｉｎ）に対して処理Ｂ、すなわち、
処理Ｂ：すべての「Ｈ」（補正対象画素）の画素の値を０にする。
処理を実行する。すなわち１０回の処理Ａで残存している「Ｈ」（補正対象画素）の画素の値を０にする処理
を実行したことに相当する。
【００９４】
この図９に示す例外処理部５１の処理は、加算処理回路、アンド、オア回路などの演算回路によって構成されるハードウェア回路で実現され、図５に示す最終段のフィルタ処理回路５０−１０からの画素値と付随情報を入力して、図９に示す処理が実行される。
【００９５】
このように、図２に示す穴埋め補間処理部２４は、所定回数（ここでは１０回）の処理Ａと１回の処理Ｂによる穴埋め補間処理を実行する。なお、これらの処理は、メモリ２２から入力されるラスタスキャン順に従って実行され、穴埋め補間処理部２４からの処理結果も、ラスタスキャン順にぼかし処理部２５に入力される。
【００９６】
次に、図１０、図１１を参照してぼかし処理部２５の構成および処理について説明する。ぼかし処理部２５は、前述したように、穴埋め補間処理によって補間された画素値を持つ画像データの画素値のぼかし処理を実行する。すなわち、以下の処理Ｃを所定の回数（例えば５回）実行する。
処理Ｃ：すべての「Ｈ」（補正対象画素）あるいは「Ｍ」（補正済画素）の画素の値を、その周囲の画素（着目画素、および、前後、左右、斜めの合計９画素）の平均値で、変更する。
【００９７】
図１０は、図２に示すぼかし処理部２５の構成を示すブロック図である。図１０において、フィルタ処理回路９０−１、９０−２〜９０−５は、それぞれ同じ処理を行う回路である。なお、フィルタ処理回路９０−３と９０−４は、図示を省略している。
【００９８】
穴埋め補間処理部２４からぼかし処理部２５には、ラスタスキャン順に「画素値」と「付随情報」が入力され、まず、フィルタ処理回路９０−１に入力される。そして、フィルタ処理回路９０−１の出力は、フィルタ処理回路９０−２へと入力される。フィルタ処理回路９０−２の出力は、フィルタ処理回路９０−３へと入力される。以降、同様であり、フィルタ処理回路９０−４の出力はフィルタ処理回路９０−５に入力される。そして、フィルタ処理回路９０−５の出力（「画素値」と「付随情報」）は、ぼかし処理部２５の出力として、バス２６を介してメモリ２２に格納される。
【００９９】
フィルタ処理回路９０−ｈ（ｈ＝１〜５）の構成を図１１に示す。図１１に示すように、フィルタ処理回路９０−ｈ（ｈ＝１〜５）は、先に、穴埋め補間処理部２４の構成回路として図６を参照して説明した回路と同様の構成を持つ。すなわち、図８を参照して説明したように、３×３画素の画素値（Ｄｘｘ）と付随情報（Ｆｘｘ）をフィルタ計算回路９２３に入力するためのデータ選択回路９００と、補正処理実行回路としてのフィルタ計算回路９２３によって構成される。
【０１００】
データ選択回路９００は、単位遅延回路（ＦＦ）９０１〜９０３，９０５〜９０７，９０９〜９１１、９１２〜９１４，９１６〜９１８，９２０〜９２２とディレイ回路９０４，９０８，９１５，９１９とを有する。ぼかし処理部においては、これらの３×３画素データに対するデータ処理、すなわち、図１１に示す補正処理実行回路としてのフィルタ計算回路９２３の処理が、穴埋め補間処理部２４における補正処理（図７）とは異なる処理として実行される。
【０１０１】
図１２を参照して、ぼかし処理部２５のフィルタ計算回路９２３（図１１参照）の実行する処理について説明する。ぼかし処理部２５のフィルタ計算回路９２３は、以下に示す処理を実行する。
if(F11==HorM){
Do=(D00+D01+D02
+D10+D11+D12
+D20+D21+D22)/9;
Fo=F11;
}else{
Do=D11;
Fo=F11;
}
【０１０２】
まず、着目している画素、すなわち３×３画素の中心画素の付随情報Ｆ１１が「Ｈ」（補正対象画素）あるいは「Ｍ」（補正済画素）であるか調べ、「Ｈ」（補正対象画素）あるいは「Ｍ」（補正済画素）であれば、以下の処理によって、出力画素値（Ｄｏ）と出力付随情報（Ｆｏ）を決定する。即ち、入力する３×３＝９つの画素の画素値：Ｄｐｑ（ｐ＝０〜２、ｑ＝０〜２）の平均値を算出し、この平均値を、着目画素、すなわち３×３画素の中心画素の出力画素値（Ｄｏ）とする。また、「付随情報」の値として、入力付随情報を変更することなく、Ｆｏ＝Ｆ１１を出力する。
【０１０３】
また着目画素の付随情報：Ｆ１１が「Ｈ」（補正対象画素）でなく、かつ「Ｍ」（補正済画素）でない場合には、ぼかし処理部２５のフィルタ計算回路９２３は、着目画素の出力「画素値」としてＤｏ＝Ｄ１１、すなわち、入力画素値を変更することなく出力画素値として出力し、「付随情報」の値も変更することなく、Ｆｏ＝Ｆ１１を出力する。これは、着目画素に対する処理Ｃ、すなわち、
処理Ｃ：すべての「Ｈ」（補正対象画素）あるいは「Ｍ」（補正済画素）の画素の値を、その周囲の画素（着目画素、および、前後、左右、斜めの合計９画素）の平均値で、変更する処理、
を行ったことになる。
【０１０４】
この図１２に示すぼかし処理部２５のフィルタ計算回路９２３の処理は、加算処理回路、アンド、オア回路などの演算回路によって構成されるハードウェア回路で実現され、図２に示す穴埋め補間処理部２４の例外処理部５１（図５参照）からの画素値と付随情報を入力して、図１２に示す処理が実行される。
【０１０５】
図１１に示すフィルタ処理回路９０−１〜９０−５の５個の回路により、処理Ｃが５回行われることになる。
【０１０６】
このように、図２に示す穴埋め補間処理部２４では、図５〜図９を参照して説明した処理によって、
複数回の処理Ａ：すべての「Ｈ」（補正対象画素）の画素（着目画素）について、その周囲の画素（前後、左右、斜めの合計８画素）の内、「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素がある場合には、その「Ｍ」（補正済画素）あるいは「Ｖ」（その他画素）の画素の平均値で、着目画素の値を変更する。そして、その着目画素の付随情報は「Ｈ」（補正対象画素）から「Ｍ」（補正済画素）に変更する。
処理Ｂ：すべての「Ｈ」（補正対象画素）の画素の値を０にする。
が実行され、
また、図２に示すぼかし処理部２５では、図１０〜図１２を参照して説明した処理によって、
複数回の処理Ｃ：すべての「Ｈ」（補正対象画素）あるいは「Ｍ」（補正済画素）の画素の値を、その周囲の画素（着目画素、および、前後、左右、斜めの合計９画素）の平均値で、変更する処理、
が実行される。
【０１０７】
このように、本発明の構成では、ハードウェアによって構成した回路を適用して、穴埋め補間およびぼかし処理が実行される。しかも、処理手順は、メモリからラスタスキャン順に入力する画素値と付随情報を順次処理することによって実行可能であり、複雑なメモリの入出力制御を行なうことが不要であり、また、付随情報についても画素値に伴って処理の進行に従って各回路間において転送されるのみであるので、付随情報専用のメモリや制御も不要であり、シンプルな制御によって、穴埋め補間およびぼかし処理が実行可能となる。
【０１０８】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【産業上の利用可能性】
【０１０９】
以上、説明したように、本発明の構成によれば、画像データにおける画素値補正処理、例えば、誤った画素値が設定された画素や、画素値の不定な画素などに対して、補間処理等の画素値補正をハードウェア回路を適用し、かつ小型の回路構成による処理を可能とした画像処理装置が実現される。
【０１１０】
本発明の構成では、画像データを構成する各画素の画素値と該画素に対応する付随情報とを入力し、異なる画素に対応する画素値と対応付随情報からなる複数のデータを、補正処理実行回路への入力データとして選択するデータ選択回路と、データ選択回路から入力する画素値と付随情報からなる複数のデータに基づいて、補正対象の画素の補正画素値を算出するとともに、該補正画素に対応する付随情報の更新処理を実行する補正処理実行回路とによって、補正に必要な画素データをデータ選択回路で順次、選択して、補正処理実行回路に供給とし、補正を実行する構成としたので、ラスタスキャン順にデータを順次、出力することで、複雑なメモリ制御を行うことなく、シンプルなハードウェア上の処理によって、穴埋め補間処理や、ぼかし処理などの画素値補正処理が実行可能となる。
【０１１１】
本発明の構成によれば、ハードウェアによって構成した回路を適用して、穴埋め補間およびぼかし処理が実行される。しかも、処理手順は、メモリからラスタスキャン順に入力する画素値と付随情報を順次処理することによって実行可能であり、複雑なメモリの入出力制御を行なうことが不要であり、また、付随情報についても画素値に伴って処理の進行に従って各回路間において転送されるのみであるので、付随情報専用のメモリや制御も不要であり、シンプルな制御によって、穴埋め補間およびぼかし処理が実行可能となる。
【図面の簡単な説明】
【０１１２】
【図１】穴埋め補間処理を説明する図である。
【図２】穴埋め補間処理を適用した画像処理を実行する本発明の画像処理装置の構成を示す図である。
【図３】本発明の画像処理装置におけるメモリのデータ格納構成について説明する図である。
【図４】本発明の画像処理装置におけるメモリのデータ入出力制御構成について説明する図である。
【図５】本発明の画像処理装置における穴埋め補間処理部の構成を示すブロック図である。
【図６】本発明の画像処理装置における穴埋め補間処理部のフィルタ処理部の回路構成を示す図である。
【図７】本発明の画像処理装置における穴埋め補間処理部のフィルタ計算回路の処理について説明する図である。
【図８】本発明の画像処理装置における穴埋め補間処理部のフィルタ計算回路に対する入力データの構成について説明する図である。
【図９】本発明の画像処理装置における穴埋め補間処理部の例外処理部の処理について説明する図である。
【図１０】本発明の画像処理装置におけるぼかし処理部の構成を示すブロック図である。
【図１１】本発明の画像処理装置にぼかし処理部のフィルタ処理部の回路構成を示す図である。
【図１２】本発明の画像処理装置におけるぼかし処理部のフィルタ計算回路の処理について説明する図である。
【符号の説明】
【０１１３】
１１  白とび画素
１２  偽色（パープルフリンジ）画素
１３  その他の画素
１４  補間済画素
２０  画像処理装置
２１  入出力ポート
２２  メモリ
２３  画素判別処理部
２４  穴埋め補間処理部
２５  ぼかし処理部
２６  バス
２７  制御部
５０−１〜１０  フィルタ処理回路
５１  例外処理部
６００  データ選択回路
６０１〜６０３  単位遅延回路（ＦＦ）
６０４  ディレイ回路
６０５〜６０７  単位遅延回路（ＦＦ）
６０８  ディレイ回路
６０９〜６１４  単位遅延回路（ＦＦ）
６１５  ディレイ回路
６１６〜６１８  単位遅延回路（ＦＦ）
６１９  ディレイ回路
６２０〜６２２  単位遅延回路（ＦＦ）
６２３  フィルタ計算回路
９０−１〜５  フィルタ処理回路
９００  データ選択回路
９０１〜９０３  単位遅延回路（ＦＦ）
９０４  ディレイ回路
９０５〜９０７  単位遅延回路（ＦＦ）
９０８  ディレイ回路
９０９〜９１４  単位遅延回路（ＦＦ）
９１５  ディレイ回路
９１６〜９１８  単位遅延回路（ＦＦ）
９１９  ディレイ回路
９２０〜９２２  単位遅延回路（ＦＦ）
９２３  フィルタ計算回路
【図１】
2006031296.tif 000003
【図２】
2006031296.tif 000004
【図３】
2006031296.tif 000005
【図４】
2006031296.tif 000006
【図５】
2006031296.tif 000007
【図６】
2006031296.tif 000008
【図７】
2006031296.tif 000009
【図８】
2006031296.tif 000010
【図９】
2006031296.tif 000011
【図１０】
2006031296.tif 000012
【図１１】
2006031296.tif 000013
【図１２】
2006031296.tif 000014