(57)【要約】  装置の大型化を防止すると共に、現実性のある画像復元のための回路処理方式を提案するため、この画像処理装置において、画像変化の要因となる変化要因データＧを利用して、任意画像輝度データＹＩ０から比較画像輝度データＹＩ０′を生成し、その後、処理対象となる原画像輝度データＹＩｍｇ′と比較画像輝度データＹＩ０′とを比較し、得られた差分輝度データＹδを変化要因データＧに基づいて任意画像データＹＩ０に配分することで復元画像輝度データＹＩ０＋ｎを生成し、その後、この復元画像輝度データＹＩ０＋ｎを任意画像輝度データＹＩ０の代わりに使用し、同様の処理を繰り返すことで変化前（劣化等する前）の基画像の輝度データまたそれに近似する復元画像輝度データＹＩ０＋ｎを生成する処理を行う。
2008090858.tif 000002
【特許請求の範囲】
【請求項１】
カラー画像を処理する処理部を有する画像処理装置において、
上記処理部は、
処理対象となる原画像のデータである原画像データから、原画像輝度データと原画像色差データを分離し、
上記原画像輝度データと上記原画像色差データとをそれぞれを処理対象のデータとし、
上記原画像輝度データについては、
画像変化の要因のデータである変化要因データを利用して、任意の画像輝度データである任意画像輝度データから、この任意画像輝度データを変化させた比較用の比較画像輝度データを生成し、
上記原画像輝度データと上記比較画像輝度データとを比較した差分のデータである差分輝度データを求め、
上記差分輝度データを上記変化要因データに基づいて上記任意画像輝度データに配分した復元画像輝度データを生成し、
上記復元画像輝度データを上記任意画像輝度データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、
上記原画像が変化する前の画像である基画像の基画像輝度データまたはそれに近似する復元された復元画像輝度データを生成する処理を行い、
上記原画像色差データについては、
上記変化要因データを利用して、任意の画像色差データである任意画像色差データから、この任意画像色差データを変化させた比較用の比較画像色差データを生成し、
上記原画像色差データと上記比較画像色差データとを比較した差分のデータである差分色差データを求め、
上記差分色差データを上記変化要因データに基づいて上記任意画像色差データに配分した復元画像色差データを生成し、
上記復元画像色差データを上記任意画像色差データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、
上記原画像が変化する前の画像である基画像の基画像色差データまたはそれに近似する復元された復元画像色差データを生成する処理を行う、
ことを特徴とする画像処理装置。
【請求項２】
前記復元画像輝度データと前記復元画像色差データとを合成し、前記基画像の基画像データまたはそれに近似する復元された復元画像データを生成する処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記原画像色差データを２つとし、それぞれについての前記繰り返し処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記原画像色差データについては、圧縮処理を行い、圧縮された圧縮画像色差データについて前記繰り返し処理を行い前記復元画像色差データを生成することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記原画像色差データの圧縮は、前記原画像色差データのデータを間引く間引き処理であることを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記画像色差データの圧縮は、前記復元画像色差データを生成する処理を、前記復元画像輝度データを生成する処理を行うビット数よりも少ないビット数で処理することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
カラー画像を処理する画像処理方法において、
処理対象となる原画像のデータである原画像データから、原画像輝度データと原画像色差データを分離するステップと、
上記原画像輝度データと上記原画像色差データとをそれぞれを処理対象のデータとし、
上記原画像輝度データについては、
画像変化の要因のデータである変化要因データを利用して、任意の画像輝度データである任意画像輝度データから、この任意画像輝度データを変化させた比較用の比較画像輝度データを生成するステップと、
上記原画像輝度データと上記比較画像輝度データとを比較した差分のデータである差分輝度データを求めるステップと、
上記差分輝度データを上記変化要因データに基づいて上記任意画像輝度データに配分した復元画像輝度データを生成するステップと、
を有し、
上記復元画像輝度データを上記任意画像輝度データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、
上記原画像が変化する前の画像である基画像の基画像輝度データまたはそれに近似する復元された復元画像輝度データを生成する処理を行い、
上記画像色差画像データについては、
上記変化要因データを利用して、任意の画像色差データである任意画像色差データから、この任意画像色差データを変化させた比較用の比較画像色差データを生成するステップと、
上記原画像色差データと上記比較画像色差データとを比較した差分のデータである差分色差データを求めるステップと、
上記差分色差データを上記変化要因データに基づいて上記任意画像色差データに配分した復元画像色差データを生成するステップと、
を有し、
上記復元画像色差データを上記任意画像色差データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、
上記原画像が変化する前の画像である基画像の基画像色差データまたはそれに近似する復元された復元画像色差データを生成する処理を行う、
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来から、カメラ等で撮影を行った撮影画像には、画像劣化が生ずることが知られている。この画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。【０００３】
撮影時の手ぶれを補正するためには、撮影レンズの中の所定のレンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、撮影時に、手ぶれを検出し、この検出した手ぶれに合わせて所定のレンズを動かすことで、補正する方式が知られている（特許文献1参照）。【０００４】
また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、画像を復元する方式が知られている（特許文献２参照）。【０００５】
【特許文献１】特開平６−３１７８２４号公報（要約書参照）
【特許文献２】特開平１１−２４１２２号公報（要約書参照）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１記載の手ぶれ補正を採用したカメラは、モータ等、レンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。【０００７】
また、特許文献２記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち、取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の２つの理由で、画像復元が困難である。【０００８】
第１に、取得する伝達関数は、ノイズやぶれ情報誤差等に非常に弱く、これらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる復元画像は、手ぶれがない状態で写した画像とはほど遠いものとなり、実際上は利用できない。第２に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。【０００９】
上述したように、本発明の課題は、画像を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の画像処理装置は、カラー画像を処理する処理部を有する画像処理装置において、処理部は、処理対象となる原画像のデータである原画像データから、原画像輝度データと原画像色差データを分離し、原画像輝度データと原画像色差データとをそれぞれを処理対象のデータとし、原画像輝度データについては、画像変化の要因のデータである変化要因データを利用して、任意の画像輝度データである任意画像輝度データから、この任意画像輝度データを変化させた比較用の比較画像輝度データを生成し、原画像輝度データと比較画像輝度データとを比較した差分のデータである差分輝度データを求め、差分輝度データを上記変化要因データに基づいて任意画像輝度データに配分した復元画像輝度データを生成し、復元画像輝度データを任意画像輝度データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、原画像が変化する前の画像である基画像の基画像輝度データまたはそれに近似する復元された復元画像輝度データを生成する処理を行い、原画像色差データについては、変化要因データを利用して、任意の画像色差データである任意画像色差データから、この任意画像色差データを変化させた比較用の比較画像色差データを生成し、原画像色差データと比較画像色差データとを比較した差分のデータである差分色差データを求め、差分色差データを上記変化要因データに基づいて任意画像色差データに配分した復元画像色差データを生成し、復元画像色差データを任意画像色差データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、原画像が変化する前の画像である基画像の基画像色差データまたはそれに近似する復元された復元画像色差データを生成する処理を行うこととする。【００１１】
このように画像処理装置を構成した場合には、画像変化の要因情報を利用して、所定のデータを生成することだけで原画像の輝度データおよび色差データに近似する復元画像輝度データおよび復元画像色差データを生成しているので、ハードウェア的な増加はほとんど無く、装置が大型化しない。また、復元画像輝度データおよび復元画像色差データからそれぞれ比較輝度データおよび比較色差データを作り、その比較輝度データと処理対象の原画像の輝度データとを比較するという処理を繰り返し、また、比較色差データと処理対象の原画像の色差データとを比較するという処理を繰り返し、徐々に原画像の基となる変化前の画像に近い復元画像輝度データおよび復元画像色差データを得るので、現実的な復元処理作業となる。このため、画像の復元処理に当たって、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１２】
また、他の発明は、上述の発明に加え、復元画像輝度データと復元画像色差データとを合成し、基画像の基画像データまたはそれに近似する復元された復元画像データを生成する処理を行うこととする。【００１３】
このように画像処理装置を構成した場合には、現実性のある回路処理方式を有する画像処理装置とすることができる。【００１４】
また、他の発明は、上述の発明に加え、原画像色差データを異なる色についての２つのデータとし、それぞれについての繰り返し処理を行うこととする。【００１５】
このように画像処理装置を構成した場合には、異なる色についてそれぞれ復元画像色差データを生成するので、復元精度を高くすることができる。【００１６】
また、他の発明は、上述の発明に加え、原画像色差データについては、圧縮処理を行い、圧縮された圧縮画像色差データについて繰り返し処理を行い復元画像色差データを生成することとする。【００１７】
このように画像処理装置を構成した場合には、復元処理の高速化を図ることができる。【００１８】
また、他の発明は、上述の発明に加え、原画像色差データの圧縮は、原画像色差データのデータを間引く間引き処理であることとする。【００１９】
このように画像処理装置を構成した場合には、復元処理の高速化を図ることができる。【００２０】
また、他の発明は、上述の発明に加え、画像色差データの圧縮は、復元画像色差データを生成する処理を、復元画像輝度データを生成する処理を行うビット数よりも少ないビット数で処理することとする。【００２１】
このように画像処理装置を構成した場合には、復元処理の高速化を図ることができる。【００２２】
上記課題を解決するために、本発明の画像処理装置は、カラー画像を処理する画像処理方法において、処理対象となる原画像のデータである原画像データから、原画像輝度データと原画像色差データを分離するステップと、原画像輝度データと原画像色差データとをそれぞれを処理対象のデータとし、原画像輝度データについては、画像変化の要因のデータである変化要因データを利用して、任意の画像輝度データである任意画像輝度データから、この任意画像輝度データを変化させた比較用の比較画像輝度データを生成するステップと、原画像輝度データと比較画像輝度データとを比較した差分のデータである差分輝度データを求めるステップと、差分輝度データを上記変化要因データに基づいて任意画像輝度データに配分した復元画像輝度データを生成するステップとを有し、復元画像輝度データを任意画像輝度データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、原画像が変化する前の画像である基画像の基画像輝度データまたはそれに近似する復元された復元画像輝度データを生成する処理を行い、画像色差画像データについては、変化要因データを利用して、任意の画像色差データである任意画像色差データから、この任意画像色差データを変化させた比較用の比較画像色差データを生成するステップと、原画像色差データと比較画像色差データとを比較した差分のデータである差分色差データを求めるステップと、差分色差データを上記変化要因データに基づいて任意画像色差データに配分した復元画像色差データを生成するステップとを有し、復元画像色差データを任意画像色差データの代わりに使用し、同様の処理を繰り返す繰り返し処理を行うことで、原画像が変化する前の画像である基画像の基画像色差データまたはそれに近似する復元された復元画像色差データを生成する処理を行うこととする。【００２３】
このように画像処理方法による場合には、画像変化の要因情報を利用して、所定のデータを生成することだけで原画像の輝度データおよび色差データに近似する復元画像輝度データおよび復元画像色差データを生成しているので、ハードウェア的な増加はほとんど無く、この方法を採用した装置は大型化しない。また、復元画像輝度データおよび復元画像色差データからそれぞれ比較輝度データおよび比較色差データを作り、その比較輝度データと処理対象の原画像の輝度データとを比較するという処理を繰り返し、また、比較色差データと処理対象の原画像の色差データとを比較するという処理を繰り返し、徐々に原画像の基となる変化前の画像に近い復元画像輝度データおよび復元画像色差データを得るので、現実的な復元処理方法となる。このため、画像の復元処理に当たって、現実性のある画像処理方法とすることができる。
【発明の効果】
【００２４】
本発明によれば、劣化した画像を復元するに当たり、装置の大型化を防止できると共に、現実性のある回路処理方式を有する画像処理装置および画像処理方法とすることができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。
【図２】図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。
【図３】図１に示す画像処理装置の処理部で行う処理方法（処理ルーチン）であって基本的な考え方を説明するための処理フロー図である。
【図４】図３に示す処理方法の概念を説明するための図である。
【図５】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときのエネルギーの集中を示す表である。
【図６】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの輝度情報についての光エネルギー量の分布を示す図である。
【図７】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときの輝度情報についての光エネルギー量のエネルギーの分散を示す図である。
【図８】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、任意の画像の輝度データから比較画像輝度データを生成する状況を説明するための図である。
【図９】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、比較画像輝度データと、処理対象となるぶれた原画像の輝度データとを比較して、差分輝度データを生成する状況を説明するための図である。
【図１０】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、差分輝度データを配分し任意の画像の輝度データに加えることで復元画像輝度データを生成する状況を説明するための図である。
【図１１】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、生成された復元画像輝度データから新たな比較画像輝度データを生成し、そのデータと処理対象となるぶれた原画像の輝度データとを比較して差分輝度データを生成する状況を説明するための図である。
【図１２】図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、新たに生成された差分輝度データを配分し、新たな復元画像輝度データを生成する状況を説明するための図である。
【符号の説明】
【００２６】
１  ・・・  画像処理装置
４  ・・・  処理部
Ｉｍｇ′  ・・・  原画像データ
ＹＩｍｇ′  ・・・  原画像輝度データ
ＵＩｍｇ′，ＶＩｍｇ′  ・・・  原画像色差データ
Ｇ  ・・・  変化要因データ
ＹＩ０  ・・・  任意画像輝度データ
ＹＩ０′  ・・・  比較画像輝度データ
Ｙδ  ・・・  差分輝度データ
ＹＩ０＋ｎ  ・・・  復元画像輝度データ
ＹＩｍｇ  ・・・  基画像輝度データ
ＵＩ０，ＶＩ０  ・・・  任意画像色差データ
ＵＩ０′，ＶＩ０′  ・・・  比較画像色差データ
Ｕδ，Ｖδ  ・・・  差分色差データ
ＵＩ０＋ｎ，ＶＩ０＋ｎ  ・・・  復元画像色差データ
ＵＩｍｇ，ＶＩｍｇ  ・・・  基画像色差データ
【発明を実施するための最良の形態】
【００２７】
以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、撮像部にＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビ用カメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらには核磁気共鳴撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。また、画像処理方法については、画像処理装置１の説明と併せて行うこととする。【００２８】
画像処理装置１は、人物等の映像を撮影する撮像部２と、その撮像部２を駆動する制御系部３と、撮像部２で撮影された画像を処理する処理部４とを有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、撮影される画像の変化（劣化）の要因となる変化要因情報を検知する検出部６と、画像の変化等を生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。【００２９】
撮像部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備える部分である。この撮像部２は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の三色のカラー画像信号を生成し出力する。撮像部２は、撮像面にＲＧＢ別のフィルタがレイヤ配列されている撮像素子を１つ使用するいわゆる単板式のもの、あるいは、撮影光学系を通過した撮影光をダイクロイックプリズムによりＲＧＢの三色、別々の色光に分離し、各色光毎に撮像素子を備えるいわゆる３板式のもの、いずれのもの（単板式／３板式）でもよい。制御系部３は、撮像部２、処理部４、記録部５、検出部６、および要因情報保存部７等、画像処理装置１内の各部を制御するものである。【００３０】
処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）のようなハードウェアで構成されている。この処理部４には、後述する比較用画像の画像輝度データ（以下、比較画像輝度データ）や比較用画像の画像色差データ（以下、比較画像色差データ）を生成する際の元となる画像が保管されることもある。処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ等を使用する光記録手段等を採用しても良い。【００３１】
検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。【００３２】
要因情報保存部７は、撮影画像を変化させる変化要因の情報であって撮影を開始する前に判っている既知の変化要因データが保存される。既知の変化要因の情報としては、例えば、光学系の収差等である。なお、この実施の形態では、要因情報保存部７には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれのぼけの復元の際にはそれらの情報は、利用していない。【００３３】
次に、以上のように構成された画像処理装置１の処理部４の処理方法の概要を説明する。【００３４】
処理部４では、先ず、処理対象となる撮影画像データである原画像データＩｍｇ′から、ＹＵＶの信号を分離する。すなわち、原画像データＩｍｇ′から、撮影画像の輝度情報である原画像輝度データＹＩｍｇ′と、撮影画像の青色についての色差情報である原画像色差データＵＩｍｇ′と、赤色についての色差情報である原画像色差データＶＩｍｇ′とを分離する。かかる分離を行う処理ステップの後、原画像輝度データＹＩｍｇ′、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′のそれぞれについて、図３に示す復元処理を行う。図３は、原画像輝度データＹＩｍｇ′の処理（復元処理）につて説明したフローであるが、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′についても同様の復元処理を行う。【００３５】
図３中、「ＹＩ０」は、任意の画像の輝度データである任意画像輝度データであり、この任意画像輝度データＹＩ０は、処理部４の記録部に予め保存されている。「ＹＩ０′」は、その任意画像輝度データＹＩ０の変化画像のデータを示し、比較のための画像輝度データ（以下、比較画像輝度データ）である。「Ｇ」は、検出部６で検出された変化要因の情報（＝劣化要因の情報（点像関数））となる変化要因データであり、処理部４の記録部に保存されているものである。なお、原画像輝度データＹＩｍｇ′は、撮影画像データから分離されたものである。すなわち、撮影時の手ぶれ等による変化要因によって変化させられている原画像データＩｍｇ′（撮影画像データ）から分離された輝度データであり、この原画像輝度データＹＩｍｇ′も変化要因によって、変化させられている。【００３６】
「Ｙδ」は、原画像輝度データＹＩｍｇ′と、比較画像輝度データＹＩ０′との差分のデータである差分輝度データである。「ｋ」は、変化要因データＧに基づく配分比である。「ＹＩ０＋ｎ」は、任意画像輝度データＹＩ０に、差分輝度データＹδを変化要因データに基づいて配分して新たに生成した復元画像輝度データである。「ＹＩｍｇ」は、原画像データＩｍｇ′の基となった、変化する前の本来の画像の画像データ（以下、基画像データという）についての輝度データである（以下、基画像輝度データという。）。ここで、ＹＩｍｇとＹＩｍｇ′の関係は、次の（１）式で現されるものとする。
ＹＩｍｇ′＝ＹＩｍｇ＊Ｇ  ・・・（１）
「＊」は、重畳積分を表わす演算子である。
なお、差分輝度データＹδは、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因データＧにより異なり、次の（２）式で表わされる。
Ｙδ＝ｆ（ＹＩｍｇ′，ＹＩ０，Ｇ）・・・（２）【００３７】
処理部４の処理ルーチンは、まず、任意画像輝度データＹＩ０を初期データとして用意することから始まる（ステップＳ１０１）。この初期データである任意画像輝度データＹＩ０としては、撮影した画像のデータである原画像データＩｍｇ′の輝度データを用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像の輝度データを用いても良い。ステップＳ１０２で、（１）式のＹＩｍｇの代わりに任意画像輝度データＹＩ０を入れ、この任意画像輝度データＹＩ０が変化要因データＧにより変化させられた比較画像輝度データＹＩ０′を求める。次に、原画像輝度データＹＩｍｇ′と比較画像輝度データＹＩ０′とを比較し、差分輝度データＹδを算出する（ステップＳ１０３）。【００３８】
次に、ステップＳ１０４で、この差分輝度データＹδが所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな任意画像輝度データ（＝復元画像輝度データ）ＹＩ０＋ｎを生成する処理を行う。すなわち、差分輝度データＹδを変化要因データＧに基づいて、任意画像輝度データＹＩ０に配分し、復元画像輝度データＹＩ０＋ｎを生成する。その後、復元画像輝度データＹＩ０＋ｎをステップＳ１０２における任意画像輝度データＹＩ０の代わりに、ステップＳ１０２，Ｓ１０３，Ｓ１０４を繰り返す。【００３９】
ステップＳ１０４において、差分輝度データＹδが所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像輝度データＹＩ０＋ｎを正しい輝度データ、すなわち劣化のない基画像データＩｍｇの輝度データと推定し、その輝度データを記録部５に記録する。なお、記録部５には、任意画像輝度データＹＩ０や変化要因データＧを記録しておき、必要により処理部４に渡すようにしても良い。【００４０】
以上の処理方法の考え方をまとめると以下のようになる。すなわち、この処理方法においては、処理の解を逆問題としては解かず、合理的な解を求める最適化問題として解くのである。逆問題として解く場合、特許文献２の記載にもあるように、理論上は可能であるが、現実問題としては困難である。【００４１】
最適化問題として解くということは、次の条件を前提としている。
すなわち、
（１）入力に対する出力は、一意に決まる。
（２）出力が同じであれば、入力は同じである。
（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。【００４２】
このことを換言すれば、図４（Ａ）（Ｂ）に示すように、原画像輝度データＹＩｍｇ′と近似である比較画像輝度データＹＩ０′（ＹＩ０＋ｎ′）を生成できれば、その生成の基データとなる任意画像輝度データＹＩ０または復元画像輝度データＹＩ０＋ｎは、原画像輝度データＹＩｍｇ′の基となる基画像輝度データＹＩｍｇに近似したものとなる。【００４３】
なお、この実施の形態では、角速度検出センサは５μｓｅｃ毎に角速度を検出している。また、差分輝度データＹδの判定基準となる値は、各データを８ビット（０〜２５５）で表わした場合に、この実施の形態では「６」としている。すなわち、６より小さい、つまり５以下の時は、処理を終了している。また、角速度検出センサで検出した手ぶれの生データは、センサ自体の校正が不十分なときは、実際の手ぶれとは対応しない。よって実際の手ぶれに対応させるため、センサが校正されていないときは、センサで検出した生データに所定の倍率をかけたりする補正が必要とされる。【００４４】
次に、図３および図４に示す処理方法の詳細を、図５，図６，図７，図８，図９，図１０，図１１および図１２に基づいて説明する。【００４５】
（手ぶれの復元アルゴリズム）
手ぶれが無いとき、所定の画素に対応する光エネルギーは、露光時間中、その画素に集中する。また、撮影時の露光時間中に手ぶれにより画像処理装置１がぶれた場合、光エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のぶれが判れば、露光時間中の光エネルギーの分散の仕方が判るため、ぶれた画像からぶれの無い画像を作ることが可能となる。【００４６】
以下、簡単のため、横一次元で説明する。画素を左から順に、・・・，ｎ−１，ｎ，ｎ＋１，ｎ＋２，ｎ＋３，・・・とし、ある画素ｎに注目する。ぶれが無いとき、露光時間中の光エネルギーは、その画素に集中するため、光エネルギーの集中度は「１．０」である。この状態を図５に示す。このときの各画素についての輝度情報についての光エネルギー量分布を図６の表に示す。この図６に示すものが、手ぶれによる劣化のない基画像データＩｍｇについての輝度情報についての基画像輝度データＹＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表わしている。【００４７】
露光時間中にぶれがあり、露光時間中の５０％の時間はｎ番目の画素に、３０％の時間はｎ＋１番目の画素に、２０％の時間はｎ＋２番目の画素に、それぞれぶれていたとする。光エネルギーの分散の仕方は、図７に示す表の通りとなる。これが変化要因データＧとなる。【００４８】
ぶれは、全ての画素で一様であるので、上ぶれ（縦ぶれ）が無いとすると、ぶれの状況は、図８に示す表の通りとなる。図８中の「理想画像」として示されるデータは、基画像データＩｍｇの基画像輝度データＹＩｍｇで、「ぶれ画像」として示されるデータが、撮影された画像である原画像データＩｍｇ′の原画像輝度データＹＩｍｇ′となる。具体的には、たとえば「ｎ−３」の画素の「１２０」は、画像変化の要因であるぶれについての変化要因データＧの「０．５」「０．３」「０．２」の配分比に従い、「ｎ−３」の画素に「６０」、「ｎ−２」の画素に「３６」、「ｎ−１」の画素に「２４」というように分散する。同様に、「ｎ−２」の画素のデータである「６０」は、「ｎ−２」に「３０」、「ｎ−１」に「１８」、「ｎ」に「１２」として分散する。この原画像輝度データＹＩｍｇ′と、図７に示す変化要因データＧからぶれの無い撮影画像を算出することとなる。【００４９】
ステップＳ１０１に示す任意画像輝度データＹＩ０としては、どのようなものでも採用できるが、この説明に当たっては、原画像輝度データＹＩｍｇ′を用いる。すなわち、ＹＩ０＝ＹＩｍｇ′として処理を開始する。図９の表中に「入力」とされたものが任意画像輝度データＹＩ０に相当する。この任意画像輝度データＹＩ０、すなわち原画像輝度データＹＩｍｇ′に、ステップＳ１０２で変化要因データＧを作用させる。すなわち、たとえば、任意画像データＹＩ０の「ｎ−３」の画素の「６０」は、ｎ−３の画素に「３０」が、「ｎ−２」の画素に「１８」が、「ｎ−１」の画素に「１２」がそれぞれ割り振られる。他の画素についても同様に配分され、「出力」として示される比較画像輝度データＹＩ０′が生成される。その結果、ステップＳ１０３の差分輝度データＹδは、図９の最下欄に示すようになる。【００５０】
この後、ステップＳ１０４にて差分輝度データＹδの大きさを判断する。具体的には、差分輝度データＹδが全て絶対値で５未満となった場合に処理を終了するが、図９に示す差分輝度データＹδは、この条件に合わないため、ステップＳ１０５に進む。すなわち、差分輝度データＹδを変化要因データＧを使用して、任意画像輝度データＹＩ０に配分して、図１０中の「次回入力」として示される復元画像輝度データＹＩ０＋ｎを生成する。この場合、第１回目であるため、図１０では、ｎ＝１として、ＹＩ０＋１と表している。【００５１】
差分輝度データＹδの配分は、たとえば「ｎ−３」の画素のデータ「３０」に自分の所（＝「ｎ−３」の画素）の配分比である０．５をかけた「１５」を「ｎ−３」の画素に配分し、また「ｎ−２」の画素のデータ「１５」にその「ｎ−２」の画素に来ているはずの配分比である０．３をかけた「４．５」を配分し、さらに、「ｎ−１」の画素のデータ「９．２」に、その「ｎ−１」の画素に来ているはずの配分比である０．２をかけた「１．８４」を配分する。「ｎ−３」の画素に配分された総量は、「２１．３４」となり、この値を任意画像輝度データＹＩ０（ここでは撮影画像の輝度データである原画像輝度データＹＩｍｇ′を使用）にプラスして、復元画像輝度データＹＩ０＋１を生成している。この復元画像輝度データＹＩ０＋１は、図１０の表中の「次回入力」に相当するものである。【００５２】
図１１に示すように、この復元画像輝度データＹＩ０＋１がステップＳ１０２の入力画像のデータ（＝任意画像輝度データＹＩ０）になり、ステップＳ１０２が実行される。図１１の表中の「入力」は、復元画像輝度データＹＩ０＋１に相当する。そして、ステップＳ１０３へと移行し、新しい差分輝度データＹδを得る。この新しい差分輝度データＹδの大きさをステップＳ１０４で判断し、所定値以上の場合、ステップＳ１０５で新しい差分輝度データＹδを前回の復元画像輝度データＹＩ０＋１に配分し、新しい復元画像輝度データＹＩ０＋２を生成する。この復元画像輝度データＹＩ０＋２は、図１２の表中の「次回入力」に相当するものである。その後、ステップＳ１０２の遂行により、復元画像輝度データＹＩ０＋２から新しい比較用画像輝度データＹＩ０＋２′が生成される。このように、ステップＳ１０２，Ｓ１０３が実行された後、ステップＳ１０４へ行き、そこでの判断によりステップＳ１０５へ行ったり、ステップＳ１０６へ移行する。このような処理を繰り返す。【００５３】
この画像処理装置１では、処理するに当たり、ステップＳ１０４において、事前に処理回数と、差分輝度データＹδの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる差分輝度データＹδの値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力した場合、いずれか一方が満足されたとき処理は停止される。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、さらに所定回数の処理を繰り返すようにしても良い。【００５４】
上述した図３に示す処理を、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′についてもそれぞれ行う。この場合、原画像色差データＵＩｍｇ′について処理を行う場合には、図３に示すステップＳ１０１からステップＳ１０５の内容は以下のようになる。【００５５】
先ず、ステップＳ１０１においては、任意画像輝度データＹＩ０の変わりに、任意画像色差データＵＩ０が用意される。この任意画像色差データＵＩ０は、処理部４の記録部に予め保存されているようにしても良いが、ここでは、原画像データＩｍｇ′の色差データである原画像色差データＵＩｍｇ′を用いる。【００５６】
ステップＳ１０２では、任意画像色差データＵＩ０に、変化要因データＧを作用させ、比較画像色差データＵＩ０′を求める。そして、ステップＳ１０３では、原画像色差データＵＩｍｇ′と比較画像色差データＵＩ０′とを比較し、差分色差データＵδを算出する。【００５７】
ステップＳ１０４では、差分色差データＵδが所定値以上であるかどうか否かを判断し、所定値以上でれば、ステップＳ１０５において、新たな任意画像色差データ（＝復元画像色差データ）ＵＩ０＋１を生成する処理が行われる。その後、復元画像色差データＵＩ０＋１をステップＳ１０２における任意画像色差データＵＩ０として、ステップ１０２、ステップ１０３、ステップ１０４を繰り返す。【００５８】
そして、ステップＳ１０４において、差分色差データＵδが所定値より小さい場合、処理を終了する（Ｓ１０６）。この処理が終了した時点での復元画像色差データＵＩ０＋ｎ′を正しい色差データ、すなわち、劣化のない基画像データＩｍｇの青色についての色差情報のデータと推定し、この復元画像色差データＵＩ０＋ｎ′を記録部５に記録する。【００５９】
次に、原画像色差データＶＩｍｇ′について、図３に示すステップＳ１０１からステップＳ１０５の処理を行う場合について説明する。【００６０】
先ず、ステップＳ１０１においては、任意画像輝度データＹＩ０の変わりに、任意画像色差データＶＩ０が用意される。この任意画像色差データＶＩ０は、処理部４の記録部に予め保存されているようにしても良いが、ここでは、原画像データＩｍｇ′の色差データである原画像色差データＶＩｍｇ′を用いる。【００６１】
ステップＳ１０２では、任意画像色差データＶＩ０に、変化要因データＧを作用させ、比較画像色差データＶＩ０′を求める。そして、ステップＳ１０３では、原画像色差データＶＩｍｇ′と比較画像データＶＩ０′とを比較し、差分色差データＶδを算出する。【００６２】
ステップＳ１０４では、差分色差データＶδが所定値以上であるかどうか否かを判断し、所定値以上でれば、ステップＳ１０５において、新たな任意画像色差データ（＝復元画像色差データ）ＶＩ０＋１を生成する処理が行われる。その後、復元画像色差データＶＩ０＋１をステップＳ１０２における任意画像色差データＶＩ０として、ステップ１０２、ステップ１０３、ステップ１０４を繰り返す。【００６３】
そして、ステップＳ１０４において、差分色差データＶδが所定値より小さい場合、処理を終了する（Ｓ１０６）。この処理が終了された時点での復元画像色差データＶＩ０＋ｎ′を正しい色差データ、すなわち、劣化のない基画像データＩｍｇの赤色についての色差情報のデータと推定し、この復元画像色差データＶＩ０＋ｎ′を記録部５に記録する。【００６４】
なお、図３に示す処理の変形例や、図４から図１２を参照しながら説明した原画像輝度データの処理は、そのまま、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′の処理に適用することができる。【００６５】
以上のようにして求められ、そして、記録部５に記録されている復元画像輝度データＹＩ０＋ｎ′、復元画像色差データＵＩ０＋ｎ′および復元画像色差データＶＩ０＋ｎ′をＲＧＢの信号に変換し合成することで、ぶれが解消またはほとんど解消された復元画像データＩ０＋ｎ′を生成する。そして、この復元画像データＩ０＋ｎ′を、基画像データＩｍｇと推定し、図示外のディスプレー等の表示部に表示したり、あるいは、記録部５に記録する。【００６６】
ところで、原画像データＩｍｇ′からＹＵＶの信号（すなわち、原画像輝度データＹＩｍｇ′、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′）の分離は、例えば、次の式により行う。
ＹＩｍｇ′＝0.29891×Ｒ＋0.58661×Ｇ＋0.11448×Ｂ  ・・・  （３）
ＵＩｍｇ′＝−0.16974×Ｒ‐0.33126×Ｇ＋0.50000×Ｂ  ・・・  （４）
ＶＩｍｇ′＝0.50000×Ｒ−0.41869×Ｇ＋0.08131×Ｂ  ・・・  （５）
ここで、Ｒ、Ｇ、Ｂは、原画像データＩｍｇ′のＲ（赤）、Ｇ（緑）、Ｂ（青）の色成分についての光エネルギー量（輝度）のデータである。そして、上述した図３の処理により復元された結果の、復元画像輝度データＹＩ０＋ｎ′、復元画像色差データＵＩ０＋ｎ′および復元画像輝度データＶＩ０＋ｎ′を、例えば、次の式により、ＲＧＢの信号に変換する。
Ｒ＝ＹＩ０＋ｎ′＋1.40200×ＶＩ０＋ｎ′  ・・・  （６）
Ｇ＝ＹＩ０＋ｎ′−0.34414×ＵＩ０＋ｎ′−0.71414×ＶＩ０＋ｎ′  ・・・  （７）
Ｂ＝ＹＩ０＋ｎ′＋1.77200×ＵＩ０＋ｎ′  ・・・  （８）
そして、上記の式により求めたＲＧＢの信号を合成することで、復元画像Ｉ０＋ｎ′を求める。なお、上記（３）から（８）式は、例示であり、他の変換式を採用してもよい。【００６７】
ここで、ＲＧＢ信号から「ＵＩｍｇ′」および「ＶＩｍｇ′」への変換式である（４）（５）式において、減算の演算を行う項がある。そのため、「ＵＩｍｇ′」、「ＶＩｍｇ′」が負の値となる場合がある。この場合には、８ビットを０から２５５と設定した場合には、図３の処理に支障がでる。そこで、８ビットの値の−１２８から１２７とすることで、「ＵＩｍｇ′」、「ＶＩｍｇ′」が負の値となっても対応することができる。また、原画像色差データＵＩｍｇ′、原画像色差データＶＩｍｇ′の復元処理において、繰り返し処理の途中で、「ＵＩ０＋ｎ′」あるいは「ＶＩ０＋ｎ′」が、−１２８から１２７の範囲を超えた場合については、負側（マイナス側）に越えた分は、−１２８に、逆に、正側（プラス側）に超えた分は１２７として処理する。なお、「ＹＩ０＋ｎ′」についても、２５５を越える値が復元された場合には、２５５に制限する処理を行う。このようにすることで、異常な処理がされることやおかしな色に復元されることを防止することができる。【００６８】
また、（６）（７）（８）式において、「ＵＩ０＋ｎ′」、「ＶＩ０＋ｎ′」の値によっては、計算式上、ＲＧＢの値が負になってしまうことがあるが、現実的にはＲＧＢの値が負になってしまうことはない。この場合にも、０から２５５の範囲を超えた部分については、負側（マイナス側）に越えた分は、０に、逆に、正側（プラス側）に超えた分は２５５に補正した値をＲＧＢの値とし、このＲＧＢとして処理する。あるいは、さらに、補正したＲＧＢの値から、（３）（４）（５）式により、「ＹＩｍｇ′」、「ＵＩｍｇ′」、「ＶＩｍｇ′」を算出し、これらの「ＹＩｍｇ′」、「ＵＩｍｇ′」、「ＶＩｍｇ′」により図３に示す復元処理を行い、再び、（６）（７）（８）の式によりＲＧＢを算出する。そして、ＲＧＢの値が正の値になるまで、ＲＧＢの値の補正とこの補正されたＲＧＢの値に基づく「ＹＩｍｇ′」、「ＵＩｍｇ′」、「ＶＩｍｇ′」を算出および図３に示す復元処理、そして、ＲＧＢの算出という処理を繰り返すようにしてもよい。【００６９】
ところで、人間の目は、色の変化に対する感度は、明るさの変化に対する感度よりも低い。すなわち、撮影された画像を見た人間の感覚は、輝度の変化に対する感度に比べて、色の変化についての感度は鈍い。したがって、色差についての情報量を低めにしても、人間の視覚には判別できない場合がある。そこで、色差に関するデータである原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′については、圧縮処理を行いデータ量を少なくし、圧縮処理された原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′について上述した復元処理を行うことにより、復元処理の処理速度を速めることができる。また、圧縮処理を行うことによりデータ量が少なくなるので、記録部５あるいは処理部４の記録部の記録容量を減らすことができる。このように圧縮されたデータに基づいて復元処理された結果の復元画像色差データＵＩ０＋ｎ′および復元画像輝度データＶＩ０＋ｎ′は、復元の精度が低いものとなっている。【００７０】
しかしながら、人間の目に敏感な明るさに関する原画像輝度データＹＩｍｇ′については、圧縮処理を行うことなく復元処理を行っている。すなわち、復元画像データＩ０＋ｎ′は輝度の成分については、精度高く復元されている。そのため、復元画像データＩ０＋ｎ′に基づいて表示される映像は、人間の目には、良好に復元された画像として認識することができる。【００７１】
なお、圧縮の方法としては、原画像データ輝度データＹＩｍｇ′については８ビットで処理するのに対し、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′については、６ビットで処理するというようにデータのビット数を低くして処理する方法の他、処理画素を間引く（例えば、処理画素を１つ置き、あるいは２つ置きにする）方法がある。処理画素を間引いた場合には、ＲＧＢの信号に変換した後、処理された画素を用いて、処理されなかった画素のＲＧＢの信号を補完する。【００７２】
また、スッテプＳ１０４において、差分輝度データＹδおよび差分色差データＵδ，Ｖδに判断基準値を設定している場合には、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′の復元処理については、差分色差データＵδ，Ｖδについての判断基準値を差分輝度データＹδに対する判断基準値よりも差分のデータが大きいものであっても、復元処理を終了（ステップＳ１０６）させるようにすることで、復元処理の処理時間の短縮化を図るようにしてもよい。原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′については、色差に関するデータであるため、原画像輝度データＹＩｍｇ′ほど精度よく復元しなくても、復元画像データＩ０＋ｎ′に基づいて表示される映像は、人間の目には、良好に復元された画像として認識することができる。したがって、例えば、上記の説明では、差分輝度データＹδが５未満になった場合に、処理を終了（ステップＳ１０６）することとしているが、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′の復元処理については、差分色差データＵδ，Ｖδが１０未満になった場合に処理を終了（ステップＳ１０６）することとすることで、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′の復元処理の短時間化を図っても良い。【００７３】
また、ステップＳ１０４において、事前に処理回数を設定している場合には、原画像輝度データＹＩｍｇ′については、たとえば処理回数として２０回と設定するのに対し、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′の復元処理については、処理回数として１０回と設定してもよい。このようにすることで、原画像色差データＵＩｍｇ′および原画像色差データＶＩｍｇ′の復元処理の短時間化を図ることができ、ひいては、原画像データＩｍｇ′の復元処理の時間を短縮することができる。なお、２つの原画像色差データＵＩｍｇ′，ＶＩｍｇ′についての繰り返し処理回数を異ならせてもよい。【００７４】
以上に説明した実施の形態の説明の中では、要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の変化要因、たとえば光学収差やレンズのひずみ等のデータを使用するようにしても良い。その場合、たとえば、先の例（図３）の処理方法では、ぶれの情報と光学収差の情報を合わせて１つの変化要因として捉えて処理を行うのが好ましいが、ぶれの情報での処理を終了した後に光学収差の情報での補正を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、撮影時の動的要因、たとえばぶれのみで画像を修正したり復元したりしても良い。【００７５】
以上、本発明の実施の形態に係る画像処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウエアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。【００７６】
また、処理対象となる原画像としては撮影画像の他に、その撮影画像を色補正したり、フーリエ変換したり等、加工を施したものとしても良い。さらに、比較用画像データとしては、変化要因データＧを使用して生成したデータ以外に、変化要因データＧを使用して生成したものに色補正を加えたり、フーリエ変換したりしたデータとしても良い。また、変化要因データとしては、手ぶれによる画像の劣化の要因のデータ（情報）の他に、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含であってもよい。【００７７】
また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読み通り可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。
【図１】
2008090858.tif 000003
【図２】
2008090858.tif 000004
【図３】
2008090858.tif 000005
【図４】
2008090858.tif 000006
【図５】
2008090858.tif 000007
【図６】
2008090858.tif 000008
【図７】
2008090858.tif 000009
【図８】
2008090858.tif 000010
【図９】
2008090858.tif 000011
【図１０】
2008090858.tif 000012
【図１１】
2008090858.tif 000013
【図１２】
2008090858.tif 000014
【国際調査報告】
2008090858.tif 000015
2008090858.tif 000016
2008090858.tif 000017
2008090858.tif 000018