(57)【特許請求の範囲】
【請求項１】
二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理方法であって、
撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、
畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を下式（１）に基づき予め算出して畳み込み演算行列記憶手段に記憶しておき、
前記被写体を前記二焦点レンズにより撮像した際に、再生演算手段により、前記畳み込み演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（２）に基づき前記被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出することを特徴とする画像改質処理方法。
Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃpower
（ｘ＝０，ｙ＝０の場合）
＝−Ｗ（ｘ，ｙ）／ｃpower
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（１）
Ａ（ｓ，ｔ）＝ΣhΣkＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ）
・・・・・・・・・・・・・・・・・・・・・・（２）
ここで、
ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、
ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、
Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を前記二焦点レンズで撮像したときに前記一方および前記他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を前記行列Ｗの中央部に配置するとともに、前記中央部に配置された前記非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、
ｃは、比例係数で、前記二焦点レンズの全体面積に対する前記一方のレンズ部の面積の比の値であり、
ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
Σhは、ｈ＝１〜Ｍの和であり、Σkは、ｋ＝１〜Ｎの和である。
【請求項２】
請求項１に記載の画像改質処理方法において、
前記二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｓ，ｔ）の値をシェージング補正行列記憶手段に記憶しておき、
前記再生演算手段による処理を行った後に、シェージング補正手段により、前記シェージング補正行列記憶手段に記憶された各要素Φ（ｓ，ｔ）の値と前記被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて下式（３）に基づきシェージング補正を行った前記被写体の行列Ａshの各要素Ａsh（ｓ，ｔ）を算出することを特徴とする画像改質処理方法。
Ａsh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ）      ・・・・・・・・（３）
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎである。
【請求項３】
請求項１に記載の画像改質処理方法において、
前記二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｈ，ｋ）の値をシェージング補正行列記憶手段に記憶しておき、
前記再生演算手段による処理を行う前に、シェージング補正手段により、前記シェージング補正行列記憶手段に記憶された各要素Φ（ｈ，ｋ）の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（４）に基づきシェージング補正を行った前記画像の出力信号の行列Ｚshの各要素Ｚsh（ｈ，ｋ）を算出し、得られたＺsh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として前記式（２）に基づく前記再生演算手段による処理に使用することを特徴とする画像改質処理方法。
Ｚsh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ）      ・・・・・・・・（４）
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎである。
【請求項４】
請求項１〜３のいずれかに記載の画像改質処理方法において、
前記式（２）に基づく前記再生演算手段による処理は、デジタルフィルタ回路により行われ、
このデジタルフィルタ回路には、前記画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値に前記畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずる複数の乗算回路と、これらの乗算回路からの出力信号を加算する複数の加算回路と、順次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うための複数のディレイ回路とが含まれていることを特徴とする画像改質処理方法。
【請求項５】
二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置であって、
撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、
下式（５）に基づき算出された畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、
この畳み込み演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（６）に基づき前記被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する再生演算手段と
を備えたことを特徴とする画像改質処理装置。
Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃpower
（ｘ＝０，ｙ＝０の場合）
＝−Ｗ（ｘ，ｙ）／ｃpower
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（５）
Ａ（ｓ，ｔ）＝ΣhΣkＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ）
・・・・・・・・・・・・・・・・・・・・・・（６）
ここで、
ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、
ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、
Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を前記二焦点レンズで撮像したときに前記一方および前記他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を前記行列Ｗの中央部に配置するとともに、前記中央部に配置された前記非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、
ｃは、比例係数で、前記二焦点レンズの全体面積に対する前記一方のレンズ部の面積の比の値であり、
ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
Σhは、ｈ＝１〜Ｍの和であり、Σkは、ｋ＝１〜Ｎの和である。
【請求項６】
請求項５に記載の画像改質処理装置において、
前記二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｓ，ｔ）の値を記憶するシェージング補正行列記憶手段と、
このシェージング補正行列記憶手段に記憶された各要素Φ（ｓ，ｔ）の値と前記再生演算手段による処理を行って得られた前記被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて下式（７）に基づきシェージング補正を行った前記被写体の行列Ａshの各要素Ａsh（ｓ，ｔ）を算出するシェージング補正手段と
を備えたことを特徴とする画像改質処理装置。
Ａsh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ）      ・・・・・・・・（７）
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎである。
【請求項７】
請求項５に記載の画像改質処理装置において、
前記二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｈ，ｋ）の値を記憶するシェージング補正行列記憶手段と、
このシェージング補正行列記憶手段に記憶された各要素Φ（ｈ，ｋ）の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（８）に基づきシェージング補正を行った前記画像の出力信号の行列Ｚshの各要素Ｚsh（ｈ，ｋ）を算出し、得られたＺsh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として前記式（６）に基づく前記再生演算手段による処理に使用されるようにするシェージング補正手段と
を備えたことを特徴とする画像改質処理装置。
Ｚsh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ）      ・・・・・・・・（８）
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎである。
【請求項８】
請求項５〜７のいずれかに記載の画像改質処理装置において、
前記再生演算手段は、前記式（６）に基づく演算処理を行うデジタルフィルタ回路により構成され、
このデジタルフィルタ回路には、前記画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値に前記畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずる複数の乗算回路と、これらの乗算回路からの出力信号を加算する複数の加算回路と、順次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うための複数のディレイ回路とが含まれていることを特徴とする画像改質処理装置。
【請求項９】
二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置として、コンピュータを機能させるためのプログラムであって、
撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、前記被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、
下式（９）に基づき算出された畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、
この畳み込み演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と前記画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（１０）に基づき前記被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する再生演算手段と
を備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのプログラム。
Ｑ（ｘ，ｙ）＝１／ｃ−（Ｗ（０，０）−ｃ）／ｃpower
（ｘ＝０，ｙ＝０の場合）
＝−Ｗ（ｘ，ｙ）／ｃpower
（ｘ＝０，ｙ＝０以外の場合）
・・・・・・・・・・・・・・・・・・・・・・（９）
Ａ（ｓ，ｔ）＝ΣhΣkＱ（ｓ−ｈ，ｔ−ｋ）Ｚ（ｈ，ｋ）
・・・・・・・・・・・・・・・・・・・・・（１０）
ここで、
ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、
ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、
ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、
Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を前記二焦点レンズで撮像したときに前記一方および前記他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を前記行列Ｗの中央部に配置するとともに、前記中央部に配置された前記非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、
ｃは、比例係数で、前記二焦点レンズの全体面積に対する前記一方のレンズ部の面積の比の値であり、
ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、
Σhは、ｈ＝１〜Ｍの和であり、Σkは、ｋ＝１〜Ｎの和である。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体に係り、例えば、携帯情報端末（ＰＤＡ：Personal Digital Assistants）、携帯電話機（ＰＨＳ：Personal Handy phone Systemを含む。）、テレビジョンやビデオ等の家電機器の操作用のリモート・コントロール装置、カメラ付パーソナル・コンピュータ、および監視カメラ装置等の二焦点レンズによる画像入力機能を持つ情報端末装置などに利用できる。
【０００２】
【背景技術】
従来より、焦点距離の異なる二つのレンズ部を有する二焦点レンズが遠近両用コンタクトレンズとして使用されている。このような二焦点レンズにより構成されるコンタクトレンズを人間が装着した場合には、二つの各レンズ部により形成されるピントの合った画像とピントの合わない画像（いわゆるピンぼけ画像）とを人間が無意識のうちに選択し、ピントの合った画像のみを見るようにしていると考えられる。
【０００３】
ところで、このような二焦点レンズを、例えば携帯電話機や携帯情報端末等の情報端末装置に設ければ、焦点深度下限（例えば、０．３ｍ）から無限遠までの標準的な距離にある通常の被写体（例えば、人物や風景等）を、長い焦点距離を有する長焦点レンズ部により撮像し、一方、それよりも近い距離に配置された近接被写体（例えば、２次元バーコードや虹彩や文字等）を、短い焦点距離を有する短焦点レンズ部により撮像することにより、それぞれ高い解像度の画像を得ることができる。そして、このような二焦点レンズを備えた情報端末装置は、本願出願人により既に提案されている（特願２０００−３４８８００号等参照）。
【０００４】
【発明が解決しようとする課題】
しかしながら、前述した二焦点レンズを備えた情報端末装置では、例えば液晶シャッター等の光学シャッターを二焦点レンズと撮像素子との間に設けることにより長焦点レンズ部と短焦点レンズ部とを切替可能な構成とした場合等には、コントラストの高い画像を得ることができるものの、そのようなレンズ部の切替を行わない場合には、二つの各レンズ部により形成されるピントの合った画像とピントの合わない画像とが重なってしまうため、鮮明な画像を得ることが困難であるという問題がある。
【０００５】
この際、前述したように二焦点レンズを使用した遠近両用コンタクトレンズを人間が装着した場合には、ピントの合った画像とピントの合わない画像とを人間が無意識のうちに選択し、ピントの合った画像のみを見るようにしていると考えられるが、このような人間の脳内における画像の選択処理と類似の処理を、通常の携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度の性能を有する中央演算処理装置（ＣＰＵ）により短時間で実行できれば、情報端末装置の使い勝手や性能の向上を図ることができ、しかも低コストで実現できるので便利である。
【０００６】
また、このような処理を行うことができれば、携帯電話機や携帯情報端末等の携帯型の情報端末装置に二焦点レンズを設けた場合に限らず、広く一般的に二焦点レンズによる撮像を行う場合、例えば、パーソナル・コンピュータに二焦点レンズを有するカメラを接続した場合や、監視カメラとして二焦点レンズを用いる場合等においても、画像の質の改善が図られるため好都合である。
【０００７】
本発明の目的は、二焦点レンズで撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができる画像改質処理方法およびその装置、プログラム、並びにデータ記録媒体を提供するところにある。
【０００８】
【課題を解決するための手段】
本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理方法であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体を二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を下式（１）に基づき予め算出して畳み込み演算行列記憶手段に記憶しておき、被写体を二焦点レンズにより撮像した際に、再生演算手段により、畳み込み演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（２）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出することを特徴とするものである。
【０００９】
0004014512.tif 000002
【００１０】
0004014512.tif 000003
【００１１】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を二焦点レンズで撮像したときに一方および他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σhは、ｈ＝１〜Ｍの和であり、Σkは、ｋ＝１〜Ｎの和である。
【００１２】
また、「二焦点レンズ」とは、標準的な距離（焦点深度下限（例えば、０．３ｍ）から無限遠までの距離）にある通常の被写体（例えば、人物や風景等）を撮像するための長い焦点距離を有する長焦点レンズ部と、標準的な距離にある被写体よりも近距離にある近接被写体（例えば、２次元バーコードや虹彩や文字等）を撮像するための短い焦点距離を有する短焦点レンズ部とが、同一の面に一体化されて形成された撮像レンズである。以下の発明においても同様である。なお、長焦点レンズ部と短焦点レンズ部とを別部材により別々に形成してから一体化してもよく、あるいは、一つの部材を用いて長焦点レンズ部および短焦点レンズ部を加工して形成してもよい。また、同一の面は、撮像レンズの光軸に直交する面であることが最も好ましい。
【００１３】
そして、「一方のレンズ部」とは、ピントの合った画像を形成するレンズ部であり、標準的な距離にある通常の被写体を撮像する際には、長焦点レンズ部が該当し、通常の被写体よりも近距離にある近接被写体を撮像する際には、短焦点レンズ部が該当する。これに対し、「他方のレンズ部」とは、ピントのぼけた画像を形成するレンズ部であり、標準的な距離にある通常の被写体を撮像する際には、短焦点レンズ部が該当し、通常の被写体よりも近距離にある近接被写体を撮像する際には、長焦点レンズ部が該当する。
【００１４】
さらに、「二焦点レンズ」を構成する長焦点レンズ部の正面形状（レンズの光軸に沿う方向から見た形状）は、円形、楕円形、または多角形のいずれかであり、短焦点レンズ部の正面形状は、環状であり、短焦点レンズ部は、長焦点レンズ部の外側に配置され、かつ、長焦点レンズ部と同心に配置（各レンズ部の光軸同士が一致する状態で配置）されていることが、構造の簡易化、製造の容易化、質の高い画像の取得の容易化、解読精度の向上等の観点から望ましく、特に、長焦点レンズ部の正面形状を円形とし、短焦点レンズ部の正面形状を円環状とした同心円型構造とすると、極めて好ましい結果が得られる。なお、長焦点レンズ部と短焦点レンズ部との配置関係を逆にし（従って、正面形状を逆にし）、短焦点レンズ部を内側に長焦点レンズ部を外側に配置するようにしてもよい。
【００１５】
また、「撮像素子」としては、具体的には、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxide Semiconductor）や電荷結合素子（ＣＣＤ：Charge Coupled Device）等を採用することができる。
【００１６】
さらに、ｐｏｗｅｒの値は、ｃの値に応じて決定すればよい。この際、ｃの値が、０．５近傍（０．５を含む。以下、同様）のときには、ｐｏｗｅｒの値を２以外の値とする必要がある。より具体的には、ｃの値が、０．５近傍のときには、ｐｏｗｅｒの値を１以上２未満とし、より好ましくは１とする。一方、ｃの値が、０．５近傍以外のときには、１以上２以下とする。以下の発明においても、同様である。
【００１７】
このような本発明においては、被写体を二焦点レンズにより撮像した際に、再生演算手段により、畳み込み演算行列記憶手段に記憶された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と、撮像して得られた画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用い、前記式（２）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する。
【００１８】
この際、再生演算手段による演算処理は、前記式（１）に基づき予め算出されて畳み込み演算行列記憶手段に記憶された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を用いて行われるので、後述する式（１−２２）で示されるＭ×Ｎ行Ｍ×Ｎ列の巨大逆行列Ｔを用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出することが可能となる。
【００１９】
このため、短時間の処理で、ピントの合った画像を求めて被写体を再生することができるので、二焦点レンズで撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができるようになる。
【００２０】
また、再生演算手段による演算処理が非常に少ない計算量であることから、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することが可能である。従って、二焦点レンズを備えた携帯型の情報端末装置に本発明を適用すれば、情報端末装置の使い勝手や性能の向上を図ることができるようになり、これらにより前記目的が達成される。
【００２１】
さらに、前述した画像改質処理方法において、二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｓ，ｔ）の値をシェージング補正行列記憶手段に記憶しておき、再生演算手段による処理を行った後に、シェージング補正手段により、シェージング補正行列記憶手段に記憶された各要素Φ（ｓ，ｔ）の値と被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて下式（３）に基づきシェージング補正を行った被写体の行列Ａshの各要素Ａsh（ｓ，ｔ）を算出することが望ましい。
【００２２】
Ａsh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ）      ・・・・・・・・（３）
【００２３】
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎである。
【００２４】
このようにシェージング補正を行った場合には、シェージングの影響が排除されるため、画像の質を、より一層改善することが可能となる。
【００２５】
また、前述した画像改質処理方法において、二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｈ，ｋ）の値をシェージング補正行列記憶手段に記憶しておき、再生演算手段による処理を行う前に、シェージング補正手段により、シェージング補正行列記憶手段に記憶された各要素Φ（ｈ，ｋ）の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（４）に基づきシェージング補正を行った画像の出力信号の行列Ｚshの各要素Ｚsh（ｈ，ｋ）を算出し、得られたＺsh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として式（２）に基づく再生演算手段による処理に使用することが望ましい。
【００２６】
Ｚsh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ）      ・・・・・・・・（４）
【００２７】
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎである。
【００２８】
このようにシェージング補正を行った場合には、シェージングの影響が排除されるため、画像の質を、より一層改善することが可能となる。
【００２９】
また、以上に述べた画像改質処理方法において、式（２）に基づく再生演算手段による処理は、デジタルフィルタ回路により行われ、このデジタルフィルタ回路には、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値に畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずる複数の乗算回路と、これらの乗算回路からの出力信号を加算する複数の加算回路と、順次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うための複数のディレイ回路とが含まれていることが望ましい。
【００３０】
このように再生演算手段による処理をデジタルフィルタ回路により行うようにした場合には、畳み込み演算行列Ｑを用いた畳み込み演算処理を、ハードウェアにより実現することができるので、画像改質に要する処理時間を、より一層短くすることが可能となる。
【００３１】
また、以上に述べた本発明の画像改質処理方法を実現するための装置として、以下のような本発明の画像改質処理装置を挙げることができる。
【００３２】
すなわち、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、下式（５）に基づき算出された畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（６）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する再生演算手段とを備えたことを特徴とするものである。
【００３３】
0004014512.tif 000004
【００３４】
0004014512.tif 000005
【００３５】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を二焦点レンズで撮像したときに一方および他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σhは、ｈ＝１〜Ｍの和であり、Σkは、ｋ＝１〜Ｎの和である。
【００３６】
このような本発明の画像改質処理装置においては、前述した本発明の画像改質処理方法で得られる作用・効果をそのまま得ることができる。
【００３７】
また、前述した画像改質処理装置において、二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｓ，ｔ）の値を記憶するシェージング補正行列記憶手段と、このシェージング補正行列記憶手段に記憶された各要素Φ（ｓ，ｔ）の値と再生演算手段による処理を行って得られた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて下式（７）に基づきシェージング補正を行った被写体の行列Ａshの各要素Ａsh（ｓ，ｔ）を算出するシェージング補正手段とを備えた構成とすることが望ましい。
【００３８】
Ａsh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ）      ・・・・・・・・（７）
【００３９】
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎである。
【００４０】
このようにシェージング補正行列記憶手段およびシェージング補正手段を設けた構成とした場合には、シェージングの影響が排除されるため、画像の質を、より一層改善することが可能となる。
【００４１】
さらに、前述した画像改質処理装置において、二焦点レンズへの光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｈ，ｋ）の値を記憶するシェージング補正行列記憶手段と、このシェージング補正行列記憶手段に記憶された各要素Φ（ｈ，ｋ）の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（８）に基づきシェージング補正を行った画像の出力信号の行列Ｚshの各要素Ｚsh（ｈ，ｋ）を算出し、得られたＺsh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として式（６）に基づく再生演算手段による処理に使用されるようにするシェージング補正手段とを備えた構成とすることが望ましい。
【００４２】
Ｚsh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ）      ・・・・・・・・（８）
【００４３】
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎである。
【００４４】
このような構成とした場合にも、シェージングの影響が排除されるため、画像の質を、より一層改善することが可能となる。
【００４５】
そして、以上に述べた画像改質処理装置において、再生演算手段は、式（６）に基づく演算処理を行うデジタルフィルタ回路により構成され、このデジタルフィルタ回路には、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値に畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずる複数の乗算回路と、これらの乗算回路からの出力信号を加算する複数の加算回路と、順次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うための複数のディレイ回路とが含まれていることが望ましい。
【００４６】
このように再生演算手段をデジタルフィルタ回路により構成した場合には、畳み込み演算行列Ｑを用いた畳み込み演算処理を、ハードウェアにより実現することができるので、画像改質に要する処理時間を、より一層短くすることが可能となる。
【００４７】
また、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置として、コンピュータを機能させるためのプログラムであって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、下式（９）に基づき算出された畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記憶する畳み込み演算行列記憶手段と、この畳み込み演算行列記憶手段に記憶された各要素Ｑ（ｘ，ｙ）のうちの少なくとも一部の値と画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて下式（１０）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する再生演算手段とを備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのものである。
【００４８】
0004014512.tif 000006
【００４９】
0004014512.tif 000007
【００５０】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を二焦点レンズで撮像したときに一方および他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、Σhは、ｈ＝１〜Ｍの和であり、Σkは、ｋ＝１〜Ｎの和である。
【００５１】
さらに、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理で使用されるデータを記録したコンピュータ読取り可能なデータ記録媒体であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体の発する光の明るさを示すＭ行Ｎ列の行列をＡとし、被写体を前記二焦点レンズにより撮像して得られた画像の出力信号を示すＭ行Ｎ列の行列をＺとしたとき、行列Ｚから行列Ａを算出するために用いる行列として下式（１１）に基づき算出された畳み込み演算処理を行うための（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうち少なくとも非零要素を含む行列部分の値を記録したものである。
【００５２】
0004014512.tif 000008
【００５３】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）であり、Ｗ（ｘ，ｙ）は、（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素の値であり、この行列Ｗは、端部を除く座標（ｍ，ｎ）で示される１点のみに輝点のある被写体を二焦点レンズで撮像したときに一方および他方のレンズ部により形成される画像の出力信号を示すＭ行Ｎ列の行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素を含む行列部分を前記行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分の外側部分を零要素で埋めることにより構成され、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｐｏｗｅｒは、ｃのべき乗数となる実数で、１≦ｐｏｗｅｒ≦２であり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであるが、被写体端部のｍ＝１、ｍ＝Ｍ、ｎ＝１、およびｎ＝Ｎの近傍の点は除かれる。
【００５４】
そして、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理方法であって、被写体を二焦点レンズにより撮像して得られた画像の出力信号を撮像素子から引き出して出力信号記憶手段に記憶した後、この出力信号記憶手段に記憶した撮像素子の各画素の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出してから、ディスクリート・コサイン変換処理手段により、これらの取り出した信号レベルＳxyについて下式（１２）に基づきディスクリート・コサイン変換処理を行うことにより各空間周波数に対応した信号レベルＳFuvを求め、続いて、ピンぼけ画像消去処理手段により、ディスクリート・コサイン変換処理を行って得られたＳFuvのうちゼロの成分ＳF00の値に、二焦点レンズの全体面積に対するピントの合った画像を形成する一方のレンズ部の面積の割合を乗じ、この乗算により得られた値を新たなＳF00の値とし、その後、量子化処理手段により、ピンぼけ画像消去処理手段による処理後の信号レベルＳFuvについて量子化処理を行い、さらに、符号化処理手段により、量子化処理手段による処理で得られた量子化データを符号化し、ディスクリート・コサイン変換処理手段、ピンぼけ画像消去処理手段、量子化処理手段、および符号化処理手段による各処理を、区画された全ての画面について繰り返すことを特徴とするものである。
【００５５】
0004014512.tif 000009
【００５６】
ここで、ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の整数であり、Ｃu，Ｃv＝１／（２1/2）（ｕ，ｖ＝０のとき）、Ｃu，Ｃv＝１（ｕ，ｖ＝０以外のとき）であり、Σxはｘ＝０〜（Ｑ−１）の和、Σyはｙ＝０〜（Ｑ−１）の和である。
【００５７】
このような本発明においては、被写体を二焦点レンズにより撮像して得られた画像の出力信号を撮像素子から単位画面分だけ取り出し、取り出した信号についてディスクリート・コサイン変換処理、ピンぼけ画像消去処理、量子化処理、および符号化処理を行う。そして、これらの各処理を、区画された全ての画面について繰り返す。
【００５８】
この際、ピンぼけ画像消去処理は、ディスクリート・コサイン変換処理を行って得られたＳFuvのうちゼロの成分ＳF00の値に、二焦点レンズの全体面積に対するピントの合った画像を形成する一方のレンズ部の面積の割合を乗じ、この乗算により得られた値を新たなＳF00の値とするという簡単な処理を行うだけであり、残りの処理は、通常のＪＰＥＧ（Joint Photographic Experts Group）による画像の圧縮処理と略同様である。従って、少ない計算量で一連の処理を実行することが可能となる。
【００５９】
このため、短時間の処理で、ピントのぼけた画像を消去してピントの合った画像を求め、画像の質の改善を図ることが可能となるうえ、計算量が少ないことから、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することが可能である。従って、二焦点レンズを備えた携帯型の情報端末装置に本発明を適用すれば、情報端末装置の使い勝手や性能の向上を図ることができるようになり、これらにより前記目的が達成される。
【００６０】
また、以上に述べた本発明の画像改質処理方法を実現するための装置として、以下のような本発明の画像改質処理装置を挙げることができる。
【００６１】
すなわち、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置であって、被写体を二焦点レンズにより撮像して得られた画像の出力信号を撮像素子から引き出して記憶する出力信号記憶手段と、この出力信号記憶手段に記憶した撮像素子の各画素の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出してこれらの取り出した信号レベルＳxyについて下式（１３）に基づきディスクリート・コサイン変換処理を行うことにより各空間周波数に対応した信号レベルＳFuvを求めるディスクリート・コサイン変換処理手段と、このディスクリート・コサイン変換処理手段による処理で得られたＳFuvのうちゼロの成分ＳF00の値に、二焦点レンズの全体面積に対するピントの合った画像を形成する一方のレンズ部の面積の割合を乗じ、この乗算により得られた値を新たなＳF00の値とするピンぼけ画像消去処理手段と、このピンぼけ画像消去処理手段による処理後の信号レベルＳFuvについて量子化処理を行う量子化処理手段と、この量子化処理手段による処理で得られた量子化データを符号化する符号化処理手段とを備えたことを特徴とするものである。
【００６２】
0004014512.tif 000010
【００６３】
ここで、ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の整数であり、Ｃu，Ｃv＝１／（２1/2）（ｕ，ｖ＝０のとき）、Ｃu，Ｃv＝１（ｕ，ｖ＝０以外のとき）であり、Σxはｘ＝０〜（Ｑ−１）の和、Σyはｙ＝０〜（Ｑ−１）の和である。
【００６４】
このような本発明の画像改質処理装置においては、前述した本発明の画像改質処理方法で得られる作用・効果をそのまま得ることができる。
【００６５】
さらに、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置として、コンピュータを機能させるためのプログラムであって、被写体を二焦点レンズにより撮像して得られた画像の出力信号を撮像素子から引き出して記憶する出力信号記憶手段と、この出力信号記憶手段に記憶した撮像素子の各画素の出力信号をＱ画素×Ｑ画素の単位画面分だけ取り出してこれらの取り出した信号レベルＳxyについて下式（１４）に基づきディスクリート・コサイン変換処理を行うことにより各空間周波数に対応した信号レベルＳFuvを求めるディスクリート・コサイン変換処理手段と、このディスクリート・コサイン変換処理手段による処理で得られたＳFuvのうちゼロの成分ＳF00の値に、二焦点レンズの全体面積に対するピントの合った画像を形成する一方のレンズ部の面積の割合を乗じ、この乗算により得られた値を新たなＳF00の値とするピンぼけ画像消去処理手段と、このピンぼけ画像消去処理手段による処理後の信号レベルＳFuvについて量子化処理を行う量子化処理手段と、この量子化処理手段による処理で得られた量子化データを符号化する符号化処理手段とを備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのものである。
【００６６】
0004014512.tif 000011
【００６７】
ここで、ｕおよびｖは整数で、０≦ｕ≦（Ｑ−１）、０≦ｖ≦（Ｑ−１）、但し、Ｑは２以上の整数であり、Ｃu，Ｃv＝１／（２1/2）（ｕ，ｖ＝０のとき）、Ｃu，Ｃv＝１（ｕ，ｖ＝０以外のとき）であり、Σxはｘ＝０〜（Ｑ−１）の和、Σyはｙ＝０〜（Ｑ−１）の和である。
【００６８】
また、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理方法であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を二焦点レンズにより撮像して得られた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、下式（１５）に基づき座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出するとともに、算出した移動平均値Ｚmean（ｈ，ｋ）を用いて下式（１６）に基づきＺ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出することを特徴とするものである。
【００６９】
0004014512.tif 000012
【００７０】
0004014512.tif 000013
【００７１】
ここで、Ｑは、３以上の奇数の自然数であり、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であり、Σxは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σyは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にするための値である。
【００７２】
このように移動平均をとって画像補正を行うようにした場合には、ピンぼけ分の画像を除去することができるため、画像の質を改善することが可能となる。
【００７３】
また、移動平均をとって減ずるだけの簡単な演算処理であるため、計算量が少なく、短時間で処理することが可能であることから、携帯型の情報端末装置等にも好適に用いることができるようになり、これらにより前記目的が達成される。
【００７４】
そして、以上に述べた本発明の画像改質処理方法を実現するための装置として、以下のような本発明の画像改質処理装置を挙げることができる。
【００７５】
すなわち、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置であって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を二焦点レンズにより撮像して得られた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、下式（１７）に基づき座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出する移動平均算出手段と、この移動平均算出手段により算出した移動平均値Ｚmean（ｈ，ｋ）を用いて下式（１８）に基づきＺ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出する画像補正手段とを備えたことを特徴とするものである。
【００７６】
0004014512.tif 000014
【００７７】
0004014512.tif 000015
【００７８】
ここで、Ｑは、３以上の奇数の自然数であり、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であり、Σxは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σyは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にするための値である。
【００７９】
このような本発明の画像改質処理装置においては、前述した本発明の画像改質処理方法で得られる作用・効果をそのまま得ることができる。
【００８０】
また、前述した画像改質処理装置において、移動平均算出手段および画像補正手段は、デジタルフィルタ回路を含んで構成されていることが望ましい。このようにした場合には、移動平均算出手段および画像補正手段による各処理をハードウェアで実現することができるので、計算処理時間を短くすることが可能となる。
【００８１】
さらに、本発明は、二焦点レンズを構成する一方のレンズ部により形成されるピントの合った画像と、他方のレンズ部により形成されるピントのぼけた画像とが重なった画像から、ピントの合った画像を求める画像改質処理装置として、コンピュータを機能させるためのプログラムであって、撮像素子の大きさをＭ画素×Ｎ画素とし、被写体を二焦点レンズにより撮像して得られた画像の座標（ｈ，ｋ）の出力信号値をＺ（ｈ，ｋ）としたとき、下式（１９）に基づき座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面内での各出力信号値Ｚ（ｈ，ｋ）の移動平均値Ｚmean（ｈ，ｋ）を算出する移動平均算出手段と、この移動平均算出手段により算出した移動平均値Ｚmean（ｈ，ｋ）を用いて下式（２０）に基づきＺ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出する画像補正手段とを備えたことを特徴とする画像改質処理装置として、コンピュータを機能させるためのものである。
【００８２】
0004014512.tif 000016
【００８３】
0004014512.tif 000017
【００８４】
ここで、Ｑは、３以上の奇数の自然数であり、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であり、Σxは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σyは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和であり、ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にするための値である。
【００８５】
なお、以上に述べたプログラムまたはその一部は、例えば、光磁気ディスク（ＭＯ）、コンパクトディスク（ＣＤ）を利用した読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）、デジタル・バーサタイル・ディスク（ＤＶＤ）を利用した読出し専用メモリ（ＤＶＤ−ＲＯＭ）、ＤＶＤを利用したランダム・アクセス・メモリ（ＤＶＤ−ＲＡＭ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去および書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等の記録媒体に記録して保存や流通等させることが可能であるとともに、例えば、ＬＡＮ、ＭＡＮ、ＷＡＮ、インターネット、イントラネット、エクストラネット等の有線ネットワーク、あるいは無線通信ネットワーク、さらにはこれらの組合せ等の伝送媒体を用いて伝送することが可能であり、また、搬送波に載せて搬送することも可能である。さらに、以上に述べたプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。
【００８６】
また、以上に述べた本発明のデータ記録媒体としては、例えば、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、あるいはこれらの組合せ等を採用することができる。
【００８７】
さらに、以上に述べた本発明の各々の記載（各請求項の記載）において、「ｃは、比例係数で、二焦点レンズの全体面積に対する一方のレンズ部の面積の比の値であり、」と定義されているが、この定義は厳密な意味での定義ではなく、光の分割が面積に比例しない場合もあるので、この定義の意味には、以下のようにしてｃの値を求める場合も含まれている。すなわち、光の量の分割比がレンズの面積比と一致しない場合には、ｃの値は、一方のレンズ部を通過して実際にセンサ（撮像素子）に到達する光の量またはセンサの信号量と、レンズ全体（一方のレンズ部および他方のレンズ部を合わせた全体）を通過して実際にセンサに到達する光の量またはセンサの信号量との比の値として求めてもよい。
【００８８】
そして、以上に述べた本発明の各々の記載（各請求項の記載）において定義されている各要素Ｗ（ｘ，ｙ）の値には、次のような処理を行って定められる値も含まれる。すなわち、一方のレンズ部は、ピントの合った画像を形成するものとされているが、実際には、この一方のレンズ部により形成される画像にも、収差等によるボケが生じることがあるので、一方のレンズ部により形成される画像は、Ｗ（０，０）の周囲に拡がり、Ｗ（０，０）の周囲の要素も非零要素となり得る（他方のレンズ部により形成されるピントのぼけた画像を考慮しなくても、Ｗ（０，０）の周囲に、非零要素が生じ得るということ）。従って、このような場合には、Ｗ（０，０）の値およびＷ（０，０）の周囲に生じた非零要素の値（但し、他方のレンズ部により形成される画像がピンぼけして拡がる範囲は考慮せずに、一方のレンズ部により形成される画像がピンぼけして拡がる範囲内の非零要素の値のみを考える。）を合計し、その合計値をｃの値としてＷ（０，０）に入れ直すとともに、Ｗ（０，０）の周囲に生じた非零要素の値（上記かっこ書で述べた範囲内の非零要素の値のみ）をゼロにするという修正作業を行い、これらの修正作業を経て作成された各要素Ｗ（ｘ，ｙ）の値を用いて、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を算出すればよい。
【００８９】
【発明の実施の形態】
以下に本発明の各実施形態を図面に基づいて説明する。
【００９０】
［第１実施形態］
図１には、第１実施形態の画像改質処理装置３０を含む撮像システム１０の全体構成が示されている。また、図２には、画像改質処理装置３０による処理対象となる画像を形成する二焦点レンズ２１の詳細構成が示されている。撮像システム１０は、例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置に設けられた撮像システム、あるいはパーソナル・コンピュータおよびそれに接続されたカメラにより構成される撮像システム等である。
【００９１】
図１において、撮像システム１０は、被写体を撮像する撮像機構２０と、この撮像機構２０により撮像された画像の質を改善する画像改質処理装置３０と、この画像改質処理装置３０により質の改善を行った画像を表示する表示手段４０とを備えている。
【００９２】
撮像機構２０は、被写体を撮像する二焦点レンズ２１と、この二焦点レンズ２１により形成された画像を取り込む撮像素子２４とを含んで構成されている。
【００９３】
図２において、二焦点レンズ２１は、例えばガラス製の長焦点レンズ部２２と、例えばガラス製の短焦点レンズ部２３とにより構成され、これらの長焦点レンズ部２２および短焦点レンズ部２３は、同一の面に配置されて一体化されている。長焦点レンズ部２２は、例えば円形の正面形状を有し、中心に配置され、一方、短焦点レンズ部２３は、例えば円環状（ドーナツ型）の正面形状を有し、長焦点レンズ部２２の外側に長焦点レンズ部２２の外縁部に接する状態で配置されている。そして、これらの長焦点レンズ部２２および短焦点レンズ部２３は、両者の光軸が一致するように、すなわち同心に配置されて一体化され、これにより二焦点レンズ２１は、同心円型の二焦点レンズとなっている。また、これらの各レンズ部２２，２３が配置された面は、二焦点レンズ２１の光軸に直交している。
【００９４】
撮像素子２４としては、例えば、相補性金属酸化膜半導体（ＣＭＯＳ：Complementary Metal-oxide Semiconductor）や電荷結合素子（ＣＣＤ：Charge Coupled Device）等を採用することができる。撮像素子２４の大きさは、縦方向Ｍ画素×横方向Ｎ画素であるものとする。
【００９５】
画像改質処理装置３０は、撮像素子２４の出力信号を引き出して記憶する出力信号記憶手段３１と、後述する式（１−３３）または（１−３４）あるいは（１−３７）に基づき予め算出された畳み込み演算行列Ｑ（図７参照）の各要素Ｑ（ｘ，ｙ）の値のうちの少なくとも一部を記憶する畳み込み演算行列記憶手段３２と、被写体を再生する演算処理を行う再生演算手段３３とを備えている。
【００９６】
畳み込み演算行列記憶手段３２は、図７に示された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値のうちの少なくとも一部を、ｘ，ｙの並び順に従って表の如く整列させて記憶するものである。少なくとも一部であるから、全部を記憶しておいてもよいが、計算容量およびメモリ容量を小さくするため、非零要素を含む行列部分（図７の行列部分Ｈ）のみを記憶しておくことが好ましい。従って、ここでは、非零要素を含む行列部分Ｈのみを記憶するものとして説明を行う。
【００９７】
再生演算手段３３は、畳み込み演算行列記憶手段３２に記憶された畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値（行列部分Ｈの各値）と、出力信号記憶手段３１に記憶された画像の出力信号を示す行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用い、後述する式（１−３６）に基づき、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する処理を行うものである。なお、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）のうちの非零要素を含む行列部分（図７の行列部分Ｈ）以外の部分、すなわち、畳み込み演算行列記憶手段３２に記憶されない部分については、零要素であるので、計算は行われない。
【００９８】
出力信号記憶手段３１および畳み込み演算行列記憶手段３２としては、例えば、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用することができる。
【００９９】
再生演算手段３３は、撮像システム１０を構成する各種の情報端末装置（例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置、あるいはカメラを接続したパーソナル・コンピュータ、監視カメラ装置等）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０１００】
表示手段４０としては、例えば、液晶ディスプレイ、ＣＲＴディスプレイ、プロジェクタおよびスクリーン、あるいはこれらの組合せ等を採用することができる。
【０１０１】
以下には、畳み込み演算行列記憶手段３２に記憶される畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の算出方法およびその根拠、並びに再生演算手段３３により行われる演算処理の根拠を説明する。
【０１０２】
前提条件として、ここでは、標準的な距離にある通常の被写体（例えば、人物や風景等）を二焦点レンズ２１により撮像する場合、従って、内側の長焦点レンズ部２２によりピントの合った画像が形成され、外側の環状の短焦点レンズ部２３によりピントのぼけた画像が形成される場合の説明を行うものとする。但し、本発明の適用は、このような場合に限定されるものではない。
【０１０３】
先ず、被写体と画像に関する基本的な事項について説明を行う。図３は、被写体と、この被写体を二焦点レンズ２１により撮像して得られる画像との関係の説明図である。なお、レンズによって形成される像は、一般には倒立像であるため、図３では、物体と像とで座標軸の向きを逆にとることにより、互いに対応する物体の位置と像の位置とが同じ座標になるようにしている。
【０１０４】
＜単一輝点の像による二焦点レンズ２１の特性の表現＞
図３に示すように、１点（座標（ｍ，ｎ））のみに輝点のある被写体αmnを二焦点レンズ２１で撮像すると、像Ｚmnが形成される。ここで、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎ、但し、ＭおよびＮは撮像素子２４の縦横の画素数である。また、座標（ｍ，ｎ）とは、撮像素子２４上の座標（表示した画素番号）（ｍ，ｎ）に投影される被写体上の対応する点を意味する。さらに、αmnやＺmnは、Ｍ×Ｎ（Ｍ行Ｎ列）の行列を表し、その要素は、Ｍ画素×Ｎ画素の撮像素子２４上の対応する座標の輝度（明るさ）あるいは出力信号の大きさを示す。
【０１０５】
この像Ｚmnを、内側の長焦点レンズ部２２により形成されるピントの合った像Ｂmnと、外側の環状の短焦点レンズ部２３により形成される環状のボケ画像Ｄmnとに分割すると、次の式（１−１）のように表すことができる。
【０１０６】
Ｚmn＝Ｂmn＋Ｄmn      ・・・・・・・・・・・・・・・・・・・（１−１）
【０１０７】
ここで、Ｚmn、Ｂmn、Ｄmnは、撮像素子２４上の像を表現するＭ行Ｎ列の行列であるが、撮像素子２４上の座標（ｈ，ｋ）（ｈおよびｋは自然数、１≦ｈ≦Ｍ、１≦ｋ≦Ｎ）に対応した画素の明るさは、Ｚmn（ｈ，ｋ）、Ｂmn（ｈ，ｋ）、Ｄmn（ｈ，ｋ）のように表現される。また、αmnは被写体を表すＭ行Ｎ列の行列であるが、その座標（ｓ，ｔ）（ｓおよびｔは自然数、１≦ｓ≦Ｍ、１≦ｔ≦Ｎ）における被写体の明るさは、αmn（ｓ，ｔ）のように表現され、これらの各要素αmn（ｓ，ｔ）の値は、次の式（１−２）のように表すことができる。
【０１０８】
αmn（ｓ，ｔ）＝δs-m,t-n      ・・・・・・・・・・・・・・（１−２）
【０１０９】
ここで、δはクロネッカー（Kronecker）のデルタで、δs-m,t-n＝１（ｓ＝ｍ，ｔ＝ｎの場合）、δs-m,t-n＝０（ｓ＝ｍ，ｔ＝ｎ以外の場合）である。
【０１１０】
前記式（１−１）で示されるように、座標（ｍ，ｎ）のみに輝点のある被写体αmnの二焦点レンズ２１による像Ｚmnは、内側の長焦点レンズ部２２によるピントの合った像Ｂmnと、外側の短焦点レンズ部２３によるリング状のボケ画像Ｄmnとの重なったものであるが、その様子が、図３の撮像素子２４上に示されている。但し、図３は斜視図であるため、リング状のボケ画像Ｄmnは、実際には楕円環状ではなく円環状である。
【０１１１】
図３の撮像素子２４上において、Ｂmnは、座標（ｍ，ｎ）にゼロでない要素（信号）があり、他の要素はすべてゼロとなる行列であり、Ｄmnは、座標（ｍ，ｎ）を中心としたドーナツ状あるいはリング状のピントのボケた画像、いわゆるピンぼけ画像を示す行列になる。そして、このＤmnのドーナツの外径と内径は、二焦点レンズ２１を構成する外側の短焦点レンズ部２３の外径と内径に比例した大きさになる。なお、この検討では、二焦点レンズ２１を構成する外側の短焦点レンズ部２３により形成されるボケが広範囲に拡がり、Ｄmnの要素の値は、Ｂmnに比べて十分小さいものとしている。
【０１１２】
＜被写体全体の画像＞
被写体の各点（ｓ，ｔ）がそれぞれＡ（ｓ，ｔ）の明るさを持つとすると、被写体の発する光の全体は、ｓ行ｔ列にＡ（ｓ，ｔ）の値の要素を持つ行列Ａで表現される。これを被写体Ａというように表現する。そうすると、被写体Ａは、αmn（点（ｍ，ｎ）に輝点のある被写体）を用いて、次の式（１−３）のように表すことができる。
【０１１３】
Ａ＝ΣmΣn［Ａ（ｍ，ｎ）αmn］      ・・・・・・・・・・・・（１−３）
【０１１４】
ここで、Σmは、ｍ＝１〜Ｍの和、Σnは、ｎ＝１〜Ｎの和を表す。以下においても同様である。
【０１１５】
また、物体Ａと像Ｚとの変換関係と、αmnと像Ｚmnとの変換関係とは、同じ一次元の写像と考えられるので、次の式（１−４）のように表すことができる。
【０１１６】
Ｚ＝ΣmΣn［Ａ（ｍ，ｎ）Ｚmn］      ・・・・・・・・・・・・（１−４）
【０１１７】
さらに、ピントの合った画像Ｂとピンぼけ画像Ｄとを別個に表現すれば、次の式（１−５）および（１−６）のように表現することができる。
【０１１８】
Ｂ＝ΣmΣn［Ａ（ｍ，ｎ）Ｂmn］      ・・・・・・・・・・・・（１−５）
【０１１９】
Ｄ＝ΣmΣn［Ａ（ｍ，ｎ）Ｄmn］      ・・・・・・・・・・・・（１−６）
【０１２０】
そして、被写体Ａの画像Ｚは、ピントの合った画像Ｂとピンぼけ画像Ｄとの和になるので、次の式（１−７）のようになる。
【０１２１】
0004014512.tif 000018
【０１２２】
＜巨大ベクトルによる物体や像の表現方法＞
以上の説明では、画像を撮像素子２４の画面の形（Ｍ画素×Ｎ画素）に同形のＭ行Ｎ列の行列で表現するとともに、被写体もまた撮像素子２４の画面の相似形として表現されるとして同じくＭ行Ｎ列の行列で表現している。ところで、被写体Ａから画像Ｚを導く計算式は、後述する式（１−３５）に示す形式で表現することができ、これは一般に畳み込み演算というものである。従って、この計算式を逆に解くことができれば、二焦点レンズ２１で撮像された画像Ｚからピントの合った画像を計算できるが、この計算式からでは直接に導くことができないので、被写体および画像をＭ行Ｎ列の行列表現からＭ×Ｎ個の要素を持つベクトル表現に変換する。この場合の変換方法として、画像行列の各行（第１行〜第Ｍ行）を一番上の行から順番に横一列に並べ、それを行列演算しやすいように縦ベクトルにする。その具体例を例えば画像Ｚについて以下に挙げる。このようにして形成されたＭ×Ｎ個の要素を持つ画像表現ベクトルを巨大ベクトルと称することとする。
【０１２３】
【数１】
0004014512.tif 000019
【０１２４】
上記の行列：Ｚに対し、巨大ベクトル：Ｚは、次の式（１−８）のようになる。なお、式（１−８）において、上付きのtは縦横の転置、つまり横ベクトルから縦ベクトルへの変換を示す。
【０１２５】
0004014512.tif 000020
【０１２６】
以上の巨大ベクトル表現については、これまで出てきた被写体のＡやαmn、画像のＢ、ＤやＺmn、Ｂmn、Ｄmnについても同様に適用することができる。
【０１２７】
＜巨大行列による被写体からの画像形成の表現＞
以上の画像を表す巨大ベクトルを用いて、被写体から画像を形成するための「被写体から画像への一次変換（写影）」を表現する行列について検討する。被写体、画像を表現する巨大ベクトルについては、例えば、Ｚ、Ｚmnのように、行列表現の場合と同じ記号を用いるものとする。
【０１２８】
理想的な二焦点レンズ２１を考える。座標（ｍ，ｎ）における単一輝点被写体αmnのピントの合った画像Ｂmnは、Ｕを（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を持つ単位行列とすると、次の式（１−９）のように表すことができる。
【０１２９】
Ｂmn＝ｃＵαmn      ・・・・・・・・・・・・・・・・・・・・（１−９）
【０１３０】
ここで、ｃは比例係数で、二焦点レンズ２１のピントの合った画像を形成する部分である長焦点レンズ部２２の面積に比例する。この場合は、二焦点レンズ２１が理想レンズなのでこのように表現できる。なお、光の量の分割比がレンズの面積比と一致しない場合には、ｃの値は、面積比で定めるのではなく、二焦点レンズ２１のピントの合った画像を形成する部分である長焦点レンズ部２２を通過して実際に撮像素子２４に到達する光の量または撮像素子２４の信号量と、二焦点レンズ２１の全体を通過して実際に撮像素子２４に到達する光の量または撮像素子２４の信号量との比の値として求めてもよい。
【０１３１】
一方、ピントの合わない画像を形成する変換処理の行列をΔ（（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を持つ行列）とすると、次の式（１−１０）のように表現できる。
【０１３２】
Ｄmn＝Δαmn      ・・・・・・・・・・・・・・・・・・・・（１−１０）
【０１３３】
従って、２つの画像が重なった画像Ｚmnは、次の式（１−１１）のように表現できる。
【０１３４】
Ｚmn＝Ｂmn＋Ｄmn＝（ｃＵ＋Δ）αmn      ・・・・・・・・・（１−１１）
【０１３５】
上記の式（１−９）〜（１−１１）における行列Ｕ、Δは、（Ｍ×Ｎ）×（Ｍ×Ｎ）個の要素を持ち、画像を表現するＭ行Ｎ列の行列に比べてＭ×Ｎ倍の大きさ（要素数）を持つので、巨大行列と称して区別することにする。前記式（１−４）に、式（１−１１）を代入すると、次の式（１−１２）のようになり、被写体と二焦点レンズ２１による画像との関係は、簡単な変換式で表現される。
【０１３６】
0004014512.tif 000021
【０１３７】
＜巨大行列の内容＞
ここで、巨大行列の形・内容を具体的に見てみる。先ず、巨大行列ｃＵは、対角項がすべてｃとなるＭ×Ｎ行Ｍ×Ｎ列の行列である。また、Δは部分的にｃに比べて十分小さな値の要素を持つＭ×Ｎ行Ｍ×Ｎ列の行列である。その内容は、前記式（１−１０）における巨大ベクトル（縦ベクトル）Ｄmnを用いると、次の式（１−１３）のようになる。
【０１３８】
0004014512.tif 000022
【０１３９】
ここで、上記式（１−１３）における巨大ベクトル（縦ベクトル）Ｄmnに、前記式（１−８）の表現を用いると、Δを次の式（１−１４）のように表すことができる。
【０１４０】
【数２】
0004014512.tif 000023
【０１４１】
そして、上記式（１−１４）ように表されたΔにｃＵを加えると、ｃＵが対角項のみにｃという値の入った巨大行列であることを考慮すれば、（ｃＵ＋Δ）は、次の式（１−１５）のように、Δの対角項にｃが加わった値を要素に持つ巨大行列になる。
【０１４２】
【数３】
0004014512.tif 000024
【０１４３】
この巨大行列（ｃＵ＋Δ）は、前記式（１−１１）を考慮すると、次の式（１−１６）のようにも表現できる。
【０１４４】
【数４】
0004014512.tif 000025
【０１４５】
つまり、式（１−１５）と式（１−１６）との巨大行列（ｃＵ＋Δ）の要素を比較すると、次の式（１−１７）が得られる。
【０１４６】
0004014512.tif 000026
【０１４７】
ここで、ｊは自然数で、１≦ｊ≦Ｍ×Ｎである。上記式（１−１７）により、画像形成の一次変換の巨大行列（ｃＵ＋Δ）の要素は、Δの要素Ｄmn（ｊ）を求めることにより確定する。Δを構成する各列の縦ベクトルＤmnは、式（１−１４）から明らかなように任意の位置にある単一輝点被写体によるドーナツ状のピンぼけ画像を表す巨大ベクトルと等価であるから、ドーナツ状のピンぼけ画像を求めることによりΔの各要素の値を確定することができる。
【０１４８】
次に、二焦点レンズ２１により形成されるピントの合った画像とピンぼけ画像との重なった画像から、被写体にピントの合った画像を求める方法について説明する。
【０１４９】
＜基本的な考え方＞
画像改善の基本は、前記式（１−１２）において、巨大行列（ｃＵ＋Δ）と、撮影した画像Ｚとを既知として、被写体に相当する画像Ａを求めることである。つまり、次の式（１−１８）に示される逆行列（ｃＵ＋Δ）-1を求めることに尽きる。
【０１５０】
Ａ＝（ｃＵ＋Δ）-1Ｚ      ・・・・・・・・・・・・・・・（１−１８）
【０１５１】
巨大行列の大きさは、例えば、Ｍ＝６４０画素、Ｎ＝４８０画素（３０万画素相当）として、Ｍ×Ｎ＝３０７，２００となり、その大きさ（要素数）は、（Ｍ×Ｎ）2≒９００万となる。従って、この逆行列を求めることは相当の計算時間を要するため現実的ではない。
【０１５２】
そこで、Δの各要素の値が、ｃに比べて十分小さいという仮定をおく。この仮定は、ボケの大きさが直径１０画素以上であれば十分であり、二焦点レンズ２１の口径比、レンズ口径、各レンズ部２２，２３の焦点距離を設計上調整すればよい。このような前提条件をおいて、式（１−１８）の逆行列を近似法で簡易に求める方法を説明する。先ず、一般論として、次の式（１−１９）が成立する。
【０１５３】
0004014512.tif 000027
【０１５４】
但し、行列のゼロ乗は単位行列Ｕになるとする。上記式（１−１９）において、Δ／ｃが十分小さいと仮定して、最初の３項までとり、以下の項を棄却すると、次の式（１−２０）のようになる。なお、詳細は後述するが、これよりも高次の展開を必要とする場合もある。
【０１５５】
0004014512.tif 000028
【０１５６】
そして、上記の式（１−２０）を前記式（１−１８）に代入すると、次の式（１−２１）が得られる。
【０１５７】
0004014512.tif 000029
【０１５８】
＜被写体から画像への変換巨大行列の逆行列＞
逆行列の近似計算の結果として得られる巨大行列の各要素の値を求める。逆行列を次のようにＴとおく。Ｔは、Ｍ×Ｎ行Ｍ×Ｎ列の巨大逆行列である。
【０１５９】
（ｃＵ＋Δ）-1＝（１／ｃ）（Ｕ−Δ／ｃ）≡Ｔ
【０１６０】
上記の巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）の値を、前記式（１−１４）を用いて表示すると、次の式（１−２２）のようになる。但し、ｉおよびｊは自然数で、１≦ｉ≦Ｍ×Ｎ、１≦ｊ≦Ｍ×Ｎである。
【０１６１】
【数５】
0004014512.tif 000030
【０１６２】
ここで、Ｄmn（ｊ）（巨大ベクトル表現）は、Ｄmn（ｈ，ｋ）（行列表現）が求まれば、機械的に求めることができる。そして、Ｄmn（ｈ，ｋ）（行列表現）は、以下に示すように二焦点レンズ２１の特性から一義的に求めることができる。
【０１６３】
＜Ｄmn（ｈ，ｋ）の値＞
単一輝点の被写体αmnにより形成されるピンぼけ画像Ｄmnの（ｈ，ｋ）要素Ｄmn（ｈ，ｋ）（行列表現）は、以下のようにして求めることができる。
【０１６４】
二焦点レンズ２１の内側および外側の円の撮像素子２４上での半径をそれぞれｒiおよびｒoとする。ｒiは、長焦点レンズ部２２の外径（半径）、すなわち短焦点レンズ部２３の内径（半径）に対応し、ｒoは、短焦点レンズ部２３の外径（半径）に対応する。また、撮像素子２４の一つの画素の大きさをp×pとする。
【０１６５】
ピンぼけ画像を形成するレンズ部が外側の短焦点レンズ部２３であるとすると、αmnによるピンぼけ画像Ｄmnは、（ｍ，ｎ）を中心とする半径ｒi／pからｒo／pまでのドーナツ状になる（図３参照）。画像Ｚmnの全体の明るさの総量を１とすれば、ピントの合った画像Ｂmnの明るさはｃとなり、ピンぼけ画像Ｄmnの明るさの総量は（１−ｃ）となり、次の式（１−２３）が成立する。
【０１６６】
ｃ＝πｒi2／πｒo2＝ｒi2／ｒo2      ・・・・・・・・・・（１−２３）
【０１６７】
また、ピンぼけ画像Ｄmn中の画素当たりの平均的な明るさεは、ピンぼけ画像Ｄmnの全体の明るさが（１−ｃ）なので、次の式（１−２４）のように表すことができる。
【０１６８】
ε＝（１−ｃ）×p2／（πｒo2−πｒi2）      ・・・・・・（１−２４）
【０１６９】
上記の式（１−２４）を用いると、Ｄmn（ｈ，ｋ）の値は、次の式（１−２５）で表すことができる。
【０１７０】
0004014512.tif 000031
【０１７１】
ここで、撮像素子２４上での半径ｒiおよびｒoは、実験により求めることが好ましいが、二焦点レンズ２１を構成する各レンズ部２２，２３の内外径、各レンズ部２２，２３の焦点距離、および二焦点レンズ２１と撮像素子２４との間の距離を用いて計算により求めてもよい。
【０１７２】
以上により、単一輝点の被写体αmnに対するピンぼけ画像Ｄmnの行列表現の各要素Ｄmn（ｈ，ｋ）の値をすべて求めることができる。従って、この行列表現の場合の各要素Ｄmn（ｈ，ｋ）の値から、巨大ベクトル表現をした場合のＤmnの各要素Ｄmn（ｊ）の値を容易に求めることができるので、前記式（１−２２）に基づき巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）の値をすべて求めることができる。
【０１７３】
＜畳み込み演算行列Ｗの導入＞
ところで、巨大逆行列Ｔの各要素Ｔ（ｉ，ｊ）は、以下のような別の考え方をしても求めることができる。すなわち、先ず、図４に示すように、（１，１）要素のみに輝点のある被写体α11により形成される画像Ｚ11と、（１，Ｎ）要素のみに輝点のある被写体α1Nにより形成される画像Ｚ1Nと、（Ｍ，１）要素のみに輝点のある被写体αM1により形成される画像ＺM1と、（Ｍ，Ｎ）要素のみに輝点のある被写体αMNにより形成される画像ＺMNとの４つの画像行列を用いて構成される（２Ｍ−１）行（２Ｎ−１）列の行列Ｗを考える。
【０１７４】
図４において、行列Ｗは、右下部分に画像行列Ｚ11を配置し、左下部分に画像行列Ｚ1Nを配置し、右上部分に画像行列ＺM1を配置し、左上部分に画像行列ＺMNを配置して構成されている。但し、各画像行列Ｚ11，Ｚ1N，ＺM1，ＺMNは、１行分または１列分だけ重なって配置されている。ここで、Ｗ（ｘ，ｙ）は、行列Ｗの各要素であり、次の式（１−２６）のように規定され、ｘおよびｙは、正負のいずれの値もとる整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）である。なお、Ｗ（ｘ，ｙ）の各値は、これらの各要素の値の総和が１になるように正規化されている。
【０１７５】
0004014512.tif 000032
【０１７６】
また、行列Ｗは、別の表現をすれば、次のようになる。すなわち、行列Ｗは、単一輝点被写体αmnによるＭ行Ｎ列の画像行列Ｚmnを、ｘ＝ｈ−ｍ、ｙ＝ｋ−ｎを満たす座標（ｈ，ｋ）から座標（ｘ，ｙ）への座標変換で、Ｗ（０，０）＝Ｚmn（ｍ，ｎ）となるように平行移動することにより、Ｚmn（ｈ，ｋ）のうちの非零要素（図４中のｃやε）を含む行列部分Ｅを行列Ｗの中央部に配置するとともに、中央部に配置された非零要素を含む行列部分Ｅの外側部分を零要素で埋めることにより構成されている。
【０１７７】
そして、非零要素を含む行列部分Ｅは、例えば、３１画素×３１画素分に収まる程度の大きさ等である。非零要素を含む行列部分Ｅに含まれるｃの値は、例えば、ｃ＝０．８等であり、εの値は、例えば、ε＝０．００１３等である。但し、これらの数値に限定されるものではない。また、図４では、εは、１行または１列分の幅で線状に記載されているが、実際には、複数行または複数列の幅で帯状に配置される。例えば、Ｗ（０，０）＝ｃを中心として、７行または７列分の幅で零要素（Ｗ（ｘ，ｙ）＝０）が円環状に配置され、その外側に８行または８列分の幅でε（Ｗ（ｘ，ｙ）＝ε）が円環状に配置される等である。
【０１７８】
次に、行列Ｗにおいて、Ｍ行Ｎ列の切出行列Ｋを図４中の実線位置から点線位置のように１行または１列ずつ位置をずらしながら移動させることにより、行列Ｗの各要素Ｗ（ｘ，ｙ）の中からＭ×Ｎ個の要素を切り出せば、その切り出した要素により構成される各行列Ｋ11，Ｋ12…ＫMNは、画像行列Ｚmn（１≦ｍ≦Ｍ，１≦ｎ≦Ｎ）と同じになる。例えば、Ｚ11と同じになる切出行列Ｋ11は、次の式（１−２７）のようになる。
【０１７９】
【数６】
0004014512.tif 000033
【０１８０】
上記の式（１−２７）におけるＫ11は、行列表現であるが、これを巨大ベクトル表現にすると、次の式（１−２８）のような縦ベクトルになる。
【０１８１】
0004014512.tif 000034
【０１８２】
同様にして、図４において、切出行列Ｋを１列分だけ左方向に移動して切り出しを行うと、Ｚ12と同じになる切出行列Ｋ12が、次の式（１−２９）のように得られ、また、その巨大ベクトル表現が、次の式（１−３０）のように得られる。
【０１８３】
【数７】
0004014512.tif 000035
【０１８４】
0004014512.tif 000036
【０１８５】
このようにして切出行列Ｋを順次移動させてＫ11，Ｋ12…ＫMNが得られれば、変換巨大行列（ｃＵ＋Δ）は、これらの縦ベクトルＫ11，Ｋ12…ＫMNを用いて、次の式（１−３１）のように表すことができる。
【０１８６】
0004014512.tif 000037
【０１８７】
ここで、上記式（１−３１）における巨大ベクトル（縦ベクトル）Ｋ11，Ｋ12…ＫMNに、前記式（１−２８）および（１−３０）の表現を用いると、（ｃＵ＋Δ）を次の式（１−３２）のように表すことができる。
【０１８８】
【数８】
0004014512.tif 000038
【０１８９】
上記式（１−３２）において変換巨大行列（ｃＵ＋Δ）の対角項は、全てＷ（０，０）となることがわかる。これを具体的に表現してみると、図５のようになる。図５において、対角項は、Ｗ（０，０）＝ｃで一定であり、対角項以外の部分には、ｃに比べて微小な数値であるεが対角項と平行に現れている。これは、図４と図５とを見比べることにより、理解することができる。
【０１９０】
従って、前記式（１−２０）により、変換巨大行列（ｃＵ＋Δ）の逆行列である巨大逆行列Ｔは、具体的に表現すると、図６のようになる。図６において、対角項は、１／ｃで一定であり、対角項以外の部分には、ｃに比べて微小な数値である−ε／ｃ2が対角項と平行に現れている。
【０１９１】
＜畳み込み演算行列Ｑの導入＞
ここで、図４に示した（２Ｍ−１）行（２Ｎ−１）列の行列Ｗの各要素Ｗ（ｘ，ｙ）を切出行列Ｋで切り出すことにより、図５に示すような変換巨大行列（ｃＵ＋Δ）が得られることを考えれば、図６に示すような巨大逆行列Ｔを構成することができる（２Ｍ−１）行（２Ｎ−１）列の行列Ｑを考えることができる。
【０１９２】
このような行列Ｗに対応する行列Ｑは、図７のようになる。これは、図６と図７とを見比べることにより、理解することができる。図７において、行列Ｑの中央部は、Ｑ（０，０）＝１／ｃを中心として、円環状に−ε／ｃ2が配置された構成となっている。その他の部分は、零要素である。つまり、Ｑ（ｘ，ｙ）は、次の式（１−３３）のようになる。
【０１９３】
0004014512.tif 000039
【０１９４】
ここで、ｘおよびｙは整数で、（１−Ｍ）≦ｘ≦（Ｍ−１）、（１−Ｎ）≦ｙ≦（Ｎ−１）である。なお、図７の行列Ｑにおけるｃやεの値は、図４の行列Ｗにおけるｃやεの値と同じである。
【０１９５】
なお、本第１実施形態で説明を行っている状況設定の場合（ピンぼけ画像Ｄmnが円環状になる場合）に限らず、例えば、ピンぼけ画像Ｄmnが円形状や楕円形状や多角形状になる場合等も含め、上記式（１−３３）を一般化すると、次の式（１−３４）のようになる。なお、前述した式（１−２０）よりも高次の展開を考慮した場合には、より一般的な形の式になるが、これについての詳細は後述する。
【０１９６】
0004014512.tif 000040
【０１９７】
一方、画像行列Ｚの各要素Ｚ（ｈ，ｋ）の値は、上述した行列Ｗを用いて、次の式（１−３５）に基づき畳み込み演算を行うことにより、被写体の行列Ａの各要素Ａ（ｍ，ｎ）の値から算出することができる。従って、行列Ｗは、畳み込み演算処理を行うための畳み込み演算行列である。
【０１９８】
0004014512.tif 000041
【０１９９】
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｍおよびｎは自然数で、１≦ｍ≦Ｍ、１≦ｎ≦Ｎであり、Σmは、ｍ＝１〜Ｍの和であり、Σnは、ｎ＝１〜Ｎの和である。
【０２００】
これと同様に考えれば、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値は、上述した行列Ｑを用いて、次の式（１−３６）に基づき畳み込み演算を行うことにより、画像行列Ｚの各要素Ｚ（ｈ，ｋ）の値から算出することができる。従って、行列Ｑも、畳み込み演算処理を行うための畳み込み演算行列である。
【０２０１】
0004014512.tif 000042
【０２０２】
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎであり、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、Σhは、ｈ＝１〜Ｍの和であり、Σkは、ｋ＝１〜Ｎの和である。
【０２０３】
以上により、畳み込み演算行列Ｑを用いて畳み込み演算を行えば、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を再生する再生演算処理を行うことができることがわかる。
【０２０４】
ところで、以上の説明では、Ｃの値が、０．５近傍（０．５も含む。以下、同様）以外の値のときについて成立し得る処理やその根拠について述べてきた。一方、Ｃの値が、０．５に近づくと、式（１−２０）に示された展開では不十分であり、より高次の展開を必要とする。従って、式（１−３４）についても、より高次の展開に対応した形にする必要がある。
【０２０５】
しかし、式（１−２０）に比べ、より高次の展開を行うことは計算式が複雑になり、処理の複雑化や遅延化を招くことになるので好ましくない。そこで、Ｃの値が、０．５近傍の値のときにも対応し得る形で、式（１−３４）を簡易的に次の式（１−３７）のように置き換える。なお、このような置き換えにより高次の展開と同等な効果を得られることは、多くの演算を繰り返した結果、本願出願人により見出された。
【０２０６】
0004014512.tif 000043
【０２０７】
ここで、ｐｏｗｅｒの値は、ｃの値に応じて決定すればよい。この際、ｃの値が、０．５近傍のときには、ｐｏｗｅｒの値を２以外の値とする必要がある。より具体的には、ｃの値が、０．５近傍のときには、ｐｏｗｅｒの値を１以上２未満とし、より好ましくは１とする。一方、ｃの値が、０．５近傍以外のときには、１以上２以下とする。
【０２０８】
また、以上の説明では、二焦点レンズ２１のピントの合った画像を形成する部分である長焦点レンズ部２２は、ボケの無い画像を形成するという前提で、説明が行われている。従って、長焦点レンズ部２２により形成される画像には、Ｗ（０，０）にのみ非零要素があり、その値はｃであるという仮定を置いている。
【０２０９】
しかし、実際には、長焦点レンズ部２２により形成される画像には、収差等によるボケが生じることがあるので、長焦点レンズ部２２により形成される画像は、Ｗ（０，０）の周囲に拡がり、Ｗ（０，０）の周囲の要素も非零要素となり得る。例えば、Ｗ（ｘ，ｙ）の中心では、Ｗ（０，０）＝０．４１となり、その周囲の要素については、Ｗ（０，１）＝Ｗ（０，−１）＝Ｗ（１，０）＝Ｗ（−１，０）＝０．０８、Ｗ（１，１）＝Ｗ（１，−１）＝Ｗ（−１，１）＝Ｗ（−１，−１）＝０．０２となり、それ以外の要素については、Ｗ（ｘ，ｙ）＝０となる等である。
【０２１０】
そこで、長焦点レンズ部２２により形成される画像に、収差等によるボケが生じ、Ｗ（０，０）以外の要素も非零要素となる場合には、Ｗ（０，０）の値およびＷ（０，０）の周囲に生じた非零要素の値を合計し、その合計値をｃの値としてＷ（０，０）に入れ直すとともに、Ｗ（０，０）の周囲に生じた非零要素の値をゼロにするという修正作業を行い、これらの修正作業を経て作成された各要素Ｗ（ｘ，ｙ）の値を用いて、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を算出すればよい。例えば、前述した具体的数値例の場合には、中心の要素の値０．４１と、周囲の４要素の値０．０８×４と、周囲の別の４要素の値０．０２×４とを合計すると、０．８１になるので、Ｗ（０，０）＝ｃ＝０．８１とするとともに、Ｗ（０，１）＝Ｗ（０，−１）＝Ｗ（１，０）＝Ｗ（−１，０）＝Ｗ（１，１）＝Ｗ（１，−１）＝Ｗ（−１，１）＝Ｗ（−１，−１）＝０とする。
【０２１１】
このような第１実施形態においては、以下のようにして画像改質処理装置３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０２１２】
先ず、被写体の撮像を行う前に、式（１−３３）または（１−３４）、あるいは（１−３７）に基づき、畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を予め算出し、画像改質処理装置３０の畳み込み演算行列記憶手段３２に記憶しておく。なお、記憶するのは、非零要素を含む行列部分Ｈの各値のみでよい（図７参照）。
【０２１３】
次に、撮像機構２０により被写体を撮像する。この際、被写体から発せられた光は、二焦点レンズ２１の各レンズ部２２，２３を通過して撮像素子２４に至る。そして、被写体からの光を受けた撮像素子２４の出力信号を引き出して画像改質処理装置３０に取り込み、出力信号記憶手段３１に記憶する。
【０２１４】
続いて、再生演算手段３３により、畳み込み演算行列記憶手段３２に記憶された各要素Ｑ（ｘ，ｙ）の値（図７の行列部分Ｈの各値）と、出力信号記憶手段３１に記憶された画像の出力信号を示す行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用い、式（１−３６）に基づき被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出する。
【０２１５】
その後、求めた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を用い、撮像対象となった被写体を表示手段４０の画面上に表示する。また、必要に応じ、図示されないプリンター等の出力手段により、被写体の印刷を行ってもよい。
【０２１６】
このような第１実施形態によれば、次のような効果がある。すなわち、再生演算手段３３による演算処理は、式（１−３３）または（１−３４）、あるいは（１−３７）に基づき予め算出されて畳み込み演算行列記憶手段３２に記憶された（２Ｍ−１）行（２Ｎ−１）列の畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値（本第１実施形態では、さらにその一部である非零要素を含む行列部分Ｈの各値）を用いて行われるので、式（１−２２）で示されるＭ×Ｎ行Ｍ×Ｎ列の巨大逆行列Ｔを用いて演算処理を行う場合に比べ、非常に少ない計算量で、被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値を算出することができる。
【０２１７】
例えば、Ｍ＝３００画素、Ｎ＝４００画素とすれば、巨大逆行列Ｔを用いる場合の計算量（Ｍ×Ｎ）×（Ｍ×Ｎ）＝１．４４×１０10回に対し、畳み込み演算行列Ｑを用いる場合の計算量は、（２Ｍ−１）×（２Ｎ−１）＝約４８万回となり、さらに、畳み込み演算行列Ｑの中の非零要素を含む行列部分Ｈのみを用いる場合の計算量は、例えば３１×３１＝約１０００回程度となる。
【０２１８】
このため、短時間の処理で、ピントの合った画像を求めて被写体を再生することができるので、二焦点レンズ２１で撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができる。
【０２１９】
また、再生演算手段３３による演算処理が非常に少ない計算量であることから、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することができる。従って、二焦点レンズ２１を備えた携帯型の情報端末装置に本発明を適用すれば、情報端末装置の使い勝手や性能の向上を図ることができる。
【０２２０】
［第２実施形態］
図８には、本発明の第２実施形態の画像改質処理装置２３０を含む撮像システム２００の全体構成が示されている。撮像システム２００は、前記第１実施形態の撮像システム１０と画像改質処理装置２３０の構成が異なるのみであるので、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明する。
【０２２１】
図８において、画像改質処理装置２３０は、出力信号記憶手段２３１と、畳み込み演算行列記憶手段２３２と、再生演算手段２３３と、シェージング補正行列記憶手段２３４と、シェージング補正手段２３５とを備えている。これらのうち、出力信号記憶手段２３１、畳み込み演算行列記憶手段２３２、および再生演算手段２３３は、前記第１実施形態の出力信号記憶手段３１、畳み込み演算行列記憶手段３２、および再生演算手段３３と同じである。
【０２２２】
シェージング補正行列記憶手段２３４は、二焦点レンズ２１への光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｓ，ｔ）の値を記憶するものである。
【０２２３】
ここで、シェージング補正行列Φの各要素Φ（ｓ，ｔ）の値は、次のように求められる。先ず、均一白色の被写体（フラットな被写体）を撮像して形成される画像の各要素の出力信号値をΨ（ｓ，ｔ）とする。このΨ（ｓ，ｔ）の値は、実験により求めることが好ましいが、計算により求めてもよい。計算の場合には、二焦点レンズ２１の中央部の法線から測った被写体上の点の方位角θによる余弦値ｃｏｓθを用いて求めることができる。このとき、シェージング補正行列Φの各要素Φ（ｓ，ｔ）の値は、次の式（２−１）のようになる。
【０２２４】
Φ（ｓ，ｔ）＝１／Ψ（ｓ，ｔ）      ・・・・・・・・・・・・（２−１）
【０２２５】
ここで、ｓおよびｔは自然数で、１≦ｓ≦Ｍ、１≦ｔ≦Ｎである。なお、Ψ（ｓ，ｔ）の値は、最大の明るさ（輝度）となる要素の出力信号値が１になるように正規化されている。
【０２２６】
シェージング補正手段２３５は、シェージング補正行列記憶手段２３４に記憶された各要素Φ（ｓ，ｔ）の値と、再生演算手段２３３による処理を行って得られた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて、次の式（２−２）に基づき、シェージング補正を行った被写体の行列Ａshの各要素Ａsh（ｓ，ｔ）を算出する処理を行うものである。
【０２２７】
Ａsh（ｓ，ｔ）＝Ａ（ｓ，ｔ）×Φ（ｓ，ｔ）      ・・・・・・（２−２）
【０２２８】
シェージング補正行列記憶手段２３４は、畳み込み演算行列記憶手段２３２と同様に、例えば、ハードディスクやＲＯＭ等により実現される。
【０２２９】
シェージング補正手段２３５は、再生演算手段２３３と同様に、中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０２３０】
このような第２実施形態においては、以下のようにして画像改質処理装置２３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０２３１】
先ず、シェージング補正行列Φの各要素Φ（ｓ，ｔ）の値をシェージング補正行列記憶手段２３４に記憶しておく。
【０２３２】
次に、前記第１実施形態と同様な処理を行い、再生演算手段２３３による処理を行った後に、シェージング補正手段２３５により、各要素Φ（ｓ，ｔ）の値と、再生演算手段２３３による処理で得られた被写体の行列Ａの各要素Ａ（ｓ，ｔ）の値とを用いて、式（２−２）に基づき、シェージング補正を行った被写体の行列Ａshの各要素Ａsh（ｓ，ｔ）の値を算出する。
【０２３３】
このような第２実施形態によれば、前記第１実施形態で得られる効果に加え、シェージング補正手段２３５による処理を行うので、シェージングの影響が排除されるため、画像の質を、より一層改善することができるという効果がある。
【０２３４】
［第３実施形態］
図９には、本発明の第３実施形態の画像改質処理装置３３０を含む撮像システム３００の全体構成が示されている。撮像システム３００は、前記第１実施形態の撮像システム１０と画像改質処理装置３３０の構成が異なるのみであるので、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明する。
【０２３５】
図９において、画像改質処理装置３３０は、出力信号記憶手段３３１と、畳み込み演算行列記憶手段３３２と、再生演算手段３３３と、シェージング補正行列記憶手段３３４と、シェージング補正手段３３５とを備えている。これらのうち、出力信号記憶手段３３１、畳み込み演算行列記憶手段３３２、および再生演算手段３３３は、前記第１実施形態の出力信号記憶手段３１、畳み込み演算行列記憶手段３２、および再生演算手段３３と同じである。
【０２３６】
シェージング補正行列記憶手段３３４は、二焦点レンズ２１への光の入射角の不均一により画像周辺部の受光量が減少するシェージングの影響を補正するためのＭ行Ｎ列のシェージング補正行列Φの各要素Φ（ｈ，ｋ）の値を記憶するものである。
【０２３７】
ここで、シェージング補正行列Φの各要素Φ（ｈ，ｋ）の値は、前記第２実施形態と同様にして、Ψ（ｈ，ｋ）を用いて求められる。
【０２３８】
シェージング補正手段３３５は、シェージング補正行列記憶手段３３４に記憶された各要素Φ（ｈ，ｋ）の値と、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて、次の式（３−１）に基づき、シェージング補正を行った画像の出力信号の行列Ｚshの各要素Ｚsh（ｈ，ｋ）を算出し、得られたＺsh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）として再生演算手段３３３による処理に使用されるようにする処理を行うものである。
【０２３９】
Ｚsh（ｈ，ｋ）＝Ｚ（ｈ，ｋ）×Φ（ｈ，ｋ）      ・・・・・・（３−１）
【０２４０】
ここで、ｈおよびｋは自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎである。
【０２４１】
シェージング補正行列記憶手段３３４は、畳み込み演算行列記憶手段３３２と同様に、例えば、ハードディスクやＲＯＭ等により実現される。
【０２４２】
シェージング補正手段３３５は、再生演算手段３３３と同様に、中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０２４３】
このような第３実施形態においては、以下のようにして画像改質処理装置３３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０２４４】
先ず、シェージング補正行列Φの各要素Φ（ｈ，ｋ）の値をシェージング補正行列記憶手段３３４に記憶しておく。
【０２４５】
次に、再生演算手段３３３による処理を行う前に、シェージング補正手段３３５により、各要素Φ（ｈ，ｋ）の値と、画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値とを用いて、式（３−１）に基づき、シェージング補正を行った画像の出力信号の行列Ｚshの各要素Ｚsh（ｈ，ｋ）の値を算出した後、得られたＺsh（ｈ，ｋ）の値を新たなＺ（ｈ，ｋ）とする。
【０２４６】
続いて、シェージング補正手段３３５による処理を経たＺ（ｈ，ｋ）の値を用いて、前記第１実施形態と同様に、再生演算手段３３３による処理およびその後の処理を行う。
【０２４７】
このような第３実施形態によれば、前記第１実施形態で得られる効果に加え、シェージング補正手段３３５による処理を行うので、シェージングの影響が排除されるため、画像の質を、より一層改善することができるという効果がある。
【０２４８】
［第４実施形態］
図１０には、本発明の第４実施形態の画像改質処理装置４３０の一部を構成するデジタルフィルタ回路４３３の詳細構成が示されている。前記第１、第２、第３実施形態では、各再生演算手段３３，２３３，３３３は、中央演算処理装置（ＣＰＵ）およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現されていたが、本第４実施形態では、再生演算手段は、図１０に示すようなデジタルフィルタ回路４３３により実現されている。その他の構成は、前記第１、第２、第３実施形態と同様である。
【０２４９】
デジタルフィルタ回路４３３は、再生演算手段による処理、すなわち前記第１実施形態の式（１−３６）に基づく畳み込み演算行列Ｑを用いた畳み込み演算処理を、ハードウェアにより実現するものである。
【０２５０】
なお、図１０では、説明を簡略化するために、前記第１実施形態の式（１−３３）または（１−３４）、あるいは（１−３７）で規定される畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を３画素×３画素分だけ用いる場合の回路が図示されている。しかし、実際には、図７の非零要素を含む行列部分Ｈの画素分（例えば３１画素×３１画素分）だけＱ（ｘ，ｙ）の値が用いられるので、デジタルフィルタ回路４３３の大きさは、もっと大きくなるが、各構成回路の配置方法は、図１０と同様である。
【０２５１】
図１０において、デジタルフィルタ回路４３３は、順次入力されてくる画像の出力信号の行列Ｚの各要素Ｚ（ｈ，ｋ）の値に畳み込み演算行列Ｑの各要素Ｑ（ｘ，ｙ）の値を乗ずるための複数（図１０では、９個）の乗算回路４０１〜４０９と、これらの乗算回路４０１〜４０９からの出力信号を加算する複数（図１０では、８個）の加算回路４１１〜４１８と、順次入力される各要素Ｚ（ｈ，ｋ）の信号の流れの速度調整を行うための複数（図１０では、８個）のディレイ回路４２１〜４２８とを備えている。
【０２５２】
乗算回路４０１，４０２，４０３，４０４，４０５，４０６，４０７，４０８，４０９は、それぞれＱ（−１，−１），Ｑ（−１，０），Ｑ（−１，１），Ｑ（０，−１），Ｑ（０，０），Ｑ（０，１），Ｑ（１，−１），Ｑ（１，０），Ｑ（１，１）の各値を乗ずるための回路である。
【０２５３】
ディレイ回路４２１〜４２６は、画素から画素に移る時間だけ信号を遅らせる１クロックディレイを行うための回路であり、ディレイ回路４２７，４２８は、行から行に移る時間だけ信号を遅らせる１Ｈディレイを行うための回路である。
【０２５４】
このような第４実施形態によれば、前記第１〜第３実施形態で得られる効果に加え、畳み込み演算行列Ｑを用いた畳み込み演算処理を、ハードウェアにより実現することができるので、画像改質に要する処理時間を、より一層短くすることができるという効果がある。
【０２５５】
［第５実施形態］
図１１には、本発明の第５実施形態の画像改質処理装置５３０を含む撮像システム５００の全体構成が示されている。撮像システム５００は、前記第１実施形態の撮像システム１０と画像改質処理装置５３０の構成が異なるのみであるので、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明する。
【０２５６】
図１１において、撮像システム５００は、被写体を撮像する撮像機構２０と、この撮像機構２０により撮像された画像の質を改善する画像改質処理装置５３０と、この画像改質処理装置５３０により質の改善を行った画像を表示する表示手段４０とを備えている。これらのうち撮像機構２０および表示手段４０の構成は、前記第１実施形態の場合と同様である。
【０２５７】
画像改質処理装置５３０は、出力信号記憶手段５３１と、ディスクリート・コサイン変換処理手段５３２と、ピンぼけ画像消去処理手段５３３と、量子化処理手段５３４と、符号化処理手段５３５と、余弦値記憶手段５３６とを含んで構成されている。
【０２５８】
出力信号記憶手段５３１は、被写体を二焦点レンズ２１により撮像して得られた画像の出力信号を撮像素子２４から引き出して記憶するものである。
【０２５９】
ディスクリート・コサイン変換処理手段（ＤＣＴ処理手段）５３２は、出力信号記憶手段５３１に記憶した撮像素子２４の各画素の出力信号をＱ画素×Ｑ画素（ここでは、８画素×８画素として説明を行うものとする。）の単位画面分だけ取り出し、取り出した信号レベルＳxyについて後述する式（５−１）に基づきディスクリート・コサイン変換処理（ＤＣＴ処理）を行うことにより各空間周波数に対応した信号レベルＳFuvを求める処理を行うものである。このＤＣＴ処理は、通常のＪＰＥＧによる画像の圧縮処理で行うものと同様の処理である。
【０２６０】
ピンぼけ画像消去処理手段５３３は、ディスクリート・コサイン変換処理手段５３２による処理で得られたＳFuvのうちゼロの成分ＳF00の値に、二焦点レンズ２１の全体面積に対するピントの合った画像を形成するレンズ部（長焦点レンズ部２２または短焦点レンズ部２３）の面積の割合を乗じ、この乗算により得られた値を新たなＳF00の値とする処理を行うものである。
【０２６１】
量子化処理手段５３４は、ピンぼけ画像消去処理手段５３３による処理後の信号レベルＳFuvについて量子化処理を行うものである。この量子化処理は、通常のＪＰＥＧによる画像の圧縮処理で行うものと同様の処理である。
【０２６２】
符号化処理手段５３５は、量子化処理手段５３４による処理で得られた量子化データを符号化する処理を行うものである。この符号化処理は、通常のＪＰＥＧによる画像の圧縮処理で行うものと同様の処理である。
【０２６３】
余弦値記憶手段５３６は、ＤＣＴ処理手段５３２による演算処理で用いる後述する式（５−１）中のcos（余弦）の値を、xとｕ、および、yとvの各組み合わせについて格納して記憶するテーブルである。
【０２６４】
出力信号記憶手段５３１および余弦値記憶手段５３６としては、例えば、ハードディスク、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュ・メモリ、ＲＡＭ、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＦＤ、磁気テープ、あるいはこれらの組合せ等を採用することができる。
【０２６５】
ＤＣＴ処理手段５３２、ピンぼけ画像消去処理手段５３３、量子化処理手段５３４、および符号化処理手段５３５は、撮像システム５００を構成する各種の情報端末装置（例えば、携帯電話機や携帯情報端末等の携帯型の情報端末装置、あるいはカメラを接続したパーソナル・コンピュータ、監視カメラ装置等）の内部に設けられた中央演算処理装置（ＣＰＵ）、およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現される。
【０２６６】
以下には、画像改質処理装置５３０により行われる各種演算処理の根拠を説明する。
【０２６７】
前記第１実施形態の説明で述べたように、光軸を共有する二焦点レンズ２１による撮像素子２４上の画像は、内側に配置された長焦点レンズ部２２と、外側に配置された短焦点レンズ部２３とのうちの、一方のレンズ部によるピントの合った画像と、他方のレンズ部によるピントの合わない画像（いわゆるピンぼけ画像）との重ね合せになっている。
【０２６８】
この際、ピントの合わない画像は、レンズ部の口径および倍率を適切に選ぶことにより、被写体の情報をほとんど失った、画面内の受光量の変動の少ない画像になる。
【０２６９】
以上のことを考慮すると、ピンぼけ画像を適切な方法で消去できれば、ピントの合った画像の再生を実現することができる。そして、画像改善処理時間（計算量／処理能力）をできるだけ少なくすることができる簡易な消去方法とすれば、携帯情報端末のＣＰＵの能力の範囲内でも短時間に処理することができるようになる。そこで、以下では、処理時間を極力短くする消去方法について説明する。
【０２７０】
先ず、ピンぼけ画像消去処理の基本的な考え方を説明する。
【０２７１】
＜画像改善処理の対象となる画像と消去処理の基本的な方法＞
二焦点レンズ２１により形成されたピントの合った画像とピンぼけ画像との重なった画像を、画像改善処理の対象とする。ピンぼけ画像は、画面内でほぼ完全に被写体の情報を失っており、画面の各位置の、すなわち撮像素子２４の画素毎の出力信号レベルの変動も少ないものとする。この場合、二焦点レンズ２１の画像から、ピンぼけ画像（の信号値）を差し引くことでピントの合った画像を形成することができる。なお、ピンぼけ画像の信号値を求める際には、被写体上における任意の点の広がり範囲での平均値は、両方のレンズ部２２，２３の面積に比例すると考えてよい。
【０２７２】
＜消去処理時間の短縮のための方法＞
先ず、撮像素子２４の出力信号データ（＝ビットマップデータ）を適当な方法で圧縮する。ここでは、ＪＰＥＧデータに変換することとする。ＪＰＥＧでは、各画素を８×８画素の単位で分割して処理する。従って、ピンぼけ画像消去もこの分割を利用して実行する。すなわち、ＪＰＥＧで各分割単位毎のディスクリート・コサイン変換（ＤＣＴ）を実行し、その周波数成分を用いて、信号レベルの平均値をとる。この平均値を、ピントの合ったデータとピンぼけデータとの平均光量比により按分し、ピンぼけ画像の信号の平均値相当分を元のデータから差し引くことで、ピントの合った画像のみを残す。そして、分割された８×８画素の単位画面で行う一連の処理を、撮像素子２４の面上の全ての単位画面について繰り返して行う。
【０２７３】
次に、実際のデータ処理について説明する。ここでは、ＪＰＥＧの圧縮処理の実行過程に、ピンぼけ画像消去処理も入れることとして、その実際的なアルゴリズムについて説明する。
【０２７４】
＜ＤＣＴ処理＞
前述したように８×８画素を一単位として分割された単位画面内の各画素の信号レベルをＳxy（ｘ，ｙは８×８画素の単位画面内の位置座標を示し、それぞれ０〜７の値をとる。）とし、ＳxyをＤＣＴ処理した各空間周波数成分の信号レベルをＳFuv（ｕ，ｖは空間周波数を示し、それぞれ０〜７の値をとる。）とすると、次の式（５−１）が成立する。
【０２７５】
0004014512.tif 000044
【０２７６】
ここで、Σxはｘ＝０〜７の和を示し、Σyはｙ＝０〜７の和を示す。また、Ｃu，Ｃvは、次の式（５−２）で示される値をとる。
【０２７７】
0004014512.tif 000045
【０２７８】
一方、ＤＣＴ逆変換は、次の式（５−３）のようになる。
【０２７９】
0004014512.tif 000046
【０２８０】
ここで、Σuはｕ＝０〜７の和を示し、Σvはｖ＝０〜７の和を示す。しかし、実際には、量子化処理によりゼロでないＳFuvの数は６４個より遥かに少なく、ほぼ１０個程度と考えられる。
【０２８１】
＜ピンぼけ画像の消去処理＞
ここで、前記式（５−３）を用いて８×８画素に分割された単位画面内の信号レベルＳxyの総和Ｓsumを求めると、次の式（５−４）のようになる。
【０２８２】
0004014512.tif 000047
【０２８３】
ここで、Πmはｍ＝１〜４の積を示し、Πnはｎ＝１〜４の積を示すが、ｕ＝０，ｖ＝０以外ではΣ記号（あるいはΠ記号）の中はゼロになるので、最終的には、Ｓsumは上記の式（５−４）の右辺の最後尾に示すように８ＳF00になる。従って、各画素の信号レベルＳxyの平均値Ｓmeanは、次のように表すことができる。
【０２８４】
Ｓmean＝Ｓsum／６４＝ＳF00／８
【０２８５】
ピンぼけ画像の消去処理後の信号をＳpxyとし、また、ピンぼけ画像を生成する側のレンズ部を通過する光量の割合は、両レンズ部２２，２３の開口面積の按分比によって決まるので、その全光量に対する割合をρとすると、次の式（５−５）が成立する。
【０２８６】
Ｓpxy＝Ｓxy−ρ×Ｓmean      ・・・・・・・・・・・・・・・（５−５）
【０２８７】
上記の式（５−５）を前記式（５−１）に代入すると、次の式（５−６）のようになる。
【０２８８】
0004014512.tif 000048
【０２８９】
ここで、次の式（５−７）のようにおくと、式（５−８）および式（５−９）が得られる。
【０２９０】
ＳpFuv＝ＳFuv−Ｃuv      ・・・・・・・・・・・・・・・・（５−７）
【０２９１】
0004014512.tif 000049
【０２９２】
0004014512.tif 000050
【０２９３】
上記の式（５−９）において、Πmはｍ＝１〜４の積を示し、Πnはｎ＝１〜４の積を示すが、ｕ＝０，ｖ＝０以外ではΣ記号（あるいはΠ記号）の中はゼロになるので、結果として、次の式（５−１０）のようになる。
【０２９４】
0004014512.tif 000051
【０２９５】
従って、消去処理後の信号ＳpFuvと、処理前の信号ＳFuvとの関係は、式（５−７）および式（５−１０）より、次のようになる。
【０２９６】
0004014512.tif 000052
【０２９７】
以上のように、ピンぼけ画像の消去処理では、ＤＣＴにおける空間周波数ゼロの成分のみその値を（１−ρ）倍にすれば、消去処理は完了する。また、以上の一連の処理は、８×８画素の単位画面内での処理であるが、この処理を撮像素子２４上に分割形成された単位画面の数だけ実行すればよい。
【０２９８】
このような第５実施形態においては、以下のようにして画像改質処理装置５３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０２９９】
先ず、撮像機構２０により被写体を撮像する。この際、被写体から発せられた光は、二焦点レンズ２１の各レンズ部２２，２３を通過して撮像素子２４に至る。そして、被写体からの光を受けた撮像素子２４から、画素数分の出力信号データを引き出して画像改質処理装置５３０に取り込み、出力信号記憶手段５３１に記憶する。
【０３００】
続いて、ＤＣＴ処理手段５３２により、出力信号記憶手段５３１記憶した画像データから８×８画素の単位画面分のデータを読み込み、前記式（５−１）に基づきＤＣＴの処理計算を行い、各空間周波数に対応した信号レベルＳFuvを求める。この際、式（５−１）中のcos（余弦）の値は、余弦値記憶手段５３６に記憶された値を読み込んで使用するため、その都度の計算は行われない。
【０３０１】
次に、ピンぼけ画像消去処理手段５３３により、ＳF00（u＝０，v＝０）の値に、二焦点レンズ２１の全体面積に対するピントの合った画像を形成するレンズ部の面積の割合（１−ρ）をかけて得られる値を、新しいＳF00とする処理を行う。つまり、前記式（５−１０）により、消去処理後の信号ＳpFuvと、処理前の信号ＳFuvとが異なるのは、ｕ＝ｖ＝０のときだけであるから、ＳF00にだけ（１−ρ）を乗じれば、ピンぼけ画像の消去処理が完了する。
【０３０２】
その後、ＤＣＴ処理手段５３２およびピンぼけ画像消去処理手段５３３による各処理を経たＳFuvについて、量子化処理手段５３４による処理を行うなど、ＪＰＥＧの通常の処理を行うと、ＳFuvは高次のu、vに対してほとんどゼロになるので、データ量は大幅に圧縮される。
【０３０３】
さらに、このようにして求められたＳFuvを、符号化処理手段５３５により、ｕ＋ｖの小さい順にそれまでのゼロ要素の数とセットにしてメモリに収容する（ＪＰＥＧの処理）。
【０３０４】
そして、以上のＤＣＴ処理手段５３２、ピンぼけ画像消去処理手段５３３、量子化処理手段５３４、および符号化処理手段５３５による一連の処理を、撮像素子２４上の全ての単位画面に対して繰り返す（ＪＰＥＧの処理）。これらの処理により、ピンぼけ画像を消去した画像のＪＰＥＧ形式でのファイルを得ることができる。
【０３０５】
このような第５実施形態によれば、次のような効果がある。すなわち、ピンぼけ画像消去処理手段５３３による処理は、ＤＣＴ処理を行って得られたＳFuvのうちゼロの成分ＳF00の値のみに（１−ρ）を乗じ、この乗算により得られた値を新たなＳF00の値とするという簡単な処理を行うだけであり、残りの処理は、通常のＪＰＥＧによる画像の圧縮処理と同様であるため、少ない計算量で一連の処理を実行することができる。
【０３０６】
つまり、ＤＣＴを主体とするＪＰＥＧの圧縮法を用いることにより、その処理途中にピンぼけ画像の消去処理を簡単に盛込むことができるので、ＪＰＥＧ処理とほとんど同程度の処理時間でピンぼけ画像の消去処理を行うことができる。
【０３０７】
このため、短時間の処理で、ピントのぼけた画像を消去してピントの合った画像を求め、画像の質の改善を図ることができるうえ、計算量が少ないことから、例えば携帯電話機や携帯情報端末等の携帯型の情報端末装置に搭載されている程度のＣＰＵの能力でも短時間の処理で実行することができる。従って、二焦点レンズ２１を備えた携帯型の情報端末装置に本発明を適用すれば、情報端末装置の使い勝手や性能の向上を図ることができる。
【０３０８】
［第６実施形態］
図１２には、本発明の第６実施形態の画像改質処理装置６３０を含む撮像システム６００の全体構成が示されている。撮像システム６００は、前記第１実施形態の撮像システム１０と画像改質処理装置６３０の構成が異なるのみであるので、同一部分には同一符号を付して詳しい説明は省略し、以下には異なる部分のみを説明する。
【０３０９】
図１２において、撮像システム６００は、被写体を撮像する撮像機構２０と、この撮像機構２０により撮像された画像の質を改善する画像改質処理装置６３０と、この画像改質処理装置６３０により質の改善を行った画像を表示する表示手段４０とを備えている。これらのうち撮像機構２０および表示手段４０の構成は、前記第１実施形態の場合と同様である。
【０３１０】
画像改質処理装置６３０は、出力信号記憶手段６３１と、移動平均算出手段６３２と、画像補正手段６３３とを含んで構成されている。
【０３１１】
出力信号記憶手段６３１は、被写体を二焦点レンズ２１により撮像して得られた画像の各要素の出力信号値Ｚ（ｈ，ｋ）を撮像素子２４から引き出して記憶するものである。
【０３１２】
移動平均算出手段６３２は、次の式（６−１）に基づき、図１３に示すような座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面Ｆ内での各出力信号値Ｚ（ｈ，ｋ）の平均値Ｚmean（ｈ，ｋ）を算出する処理を行うものである。そして、Ｑ画素×Ｑ画素の単位画面Ｆは、処理の対象となる出力信号値Ｚ（ｈ，ｋ）の移動とともに移動するため、Ｚmean（ｈ，ｋ）は移動平均値となる。
【０３１３】
0004014512.tif 000053
【０３１４】
ここで、Ｑは、３以上の奇数の自然数であり、ｈおよびｋは、自然数で、１≦ｈ≦Ｍ、１≦ｋ≦Ｎであり、ｘおよびｙは、整数で、（１−Ｑ）／２≦ｘ≦（Ｑ−１）／２、（１−Ｑ）／２≦ｙ≦（Ｑ−１）／２であり、Σxは、ｘ＝（１−Ｑ）／２〜（Ｑ−１）／２の和、Σyは、ｙ＝（１−Ｑ）／２〜（Ｑ−１）／２の和である。
【０３１５】
画像補正手段６３３は、移動平均算出手段６３２により算出した移動平均値Ｚmean（ｈ，ｋ）を用いて、次の式（６−２）に基づき、Ｚ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出する処理を行うものである。この処理は、ピンぼけ分の信号を減算してから、減算後の信号を元の信号レベルに戻していることに相当する。
【０３１６】
0004014512.tif 000054
【０３１７】
ここで、ｃは、比例係数で、二焦点レンズ２１の全体面積に対するピントの合った画像を形成するレンズ部の面積の比の値であり、ｋは、正規化係数であり、Ｚnew（ｈ，ｋ）の最大値を１にするための値である。なお、光の量の分割比がレンズの面積比と一致しない場合には、ｃの値は、面積比で定めるのではなく、二焦点レンズ２１のピントの合ったレンズ部を通過して実際に撮像素子２４に到達する光の量または撮像素子２４の信号量と、二焦点レンズ２１の全体を通過して実際に撮像素子２４に到達する光の量または撮像素子２４の信号量との比の値として求めてもよい。
【０３１８】
出力信号記憶手段６３１は、ＲＡＭやハードディスク等により実現される。
【０３１９】
移動平均算出手段６３２および画像補正手段６３３は、中央演算処理装置（ＣＰＵ）およびこのＣＰＵの動作手順を規定する一つまたは複数のプログラムにより実現してもよく、あるいはデジタルフィルタ回路により実現してもよい。デジタルフィルタ回路とした場合には、ハードウェアによる処理となるため、計算処理時間を、より一層短くすることができる。この際、デジタルフィルタ回路は、乗算回路や加算回路等により構成され、乗算回路で乗ずる値は、｛−（１−ｃ）／（ｃ×Ｑ2）｝および｛（１／ｃ）−（１−ｃ）／（ｃ×Ｑ2）｝である。
【０３２０】
このような第６実施形態においては、以下のようにして画像改質処理装置６３０により、二焦点レンズ２１を用いて被写体を撮像して得られた画像の質の改善が図られる。
【０３２１】
先ず、被写体を撮像して得られた画像の各要素の出力信号値Ｚ（ｈ，ｋ）を出力信号記憶手段６３１に記憶する。
【０３２２】
次に、移動平均算出手段６３２により、処理対象となるＺ（ｈ，ｋ）について、式（６−１）に基づき、座標（ｈ，ｋ）を中心とするＱ画素×Ｑ画素の単位画面Ｆ内での各出力信号値Ｚ（ｈ，ｋ）の平均値Ｚmean（ｈ，ｋ）を算出する。
【０３２３】
続いて、画像補正手段６３３により、移動平均算出手段６３２により算出した移動平均値Ｚmean（ｈ，ｋ）を用いて、式（６−２）に基づき、Ｚ（ｈ，ｋ）を画像改質処理して得られる信号値Ｚnew（ｈ，ｋ）を算出する。なお、式（６−１）に基づく移動平均算出手段６３２による処理と、式（６−２）に基づく画像補正手段６３３による処理とは、１つの式で一体的に行ってもよい。
【０３２４】
そして、以上のような処理を各出力信号値Ｚ（ｈ，ｋ）について繰り返す。この際、Ｚ（ｈ，ｋ）の移動に伴って、平均をとる対象であるＱ画素×Ｑ画素の単位画面Ｆも移動するので、Ｚmean（ｈ，ｋ）は移動平均値をとっていることになる。
【０３２５】
その後、求めたＺnew（ｈ，ｋ）の値を用い、撮像対象となった被写体を表示手段４０の画面上に表示する。また、必要に応じ、図示されないプリンター等の出力手段により、被写体の印刷を行ってもよい。
【０３２６】
このような第６実施形態によれば、次のような効果がある。すなわち、画像補正手段６３３による処理が行われるので、ピンぼけ分の画像を除去することができるため、画像の質を改善することができる。
【０３２７】
また、移動平均をとって減ずるだけの簡単な演算処理であるため、計算量が少なく、短時間で処理することができる。このため、携帯型の情報端末装置等にも好適に用いることができる。
【０３２８】
［変形の形態］
なお、本発明は前記各実施形態に限定されるものではなく、本発明の目的を達成できる範囲内での変形等は本発明に含まれるものである。
【０３２９】
すなわち、前記各実施形態では、撮像機構２０を構成する二焦点レンズ２１は、内側に長焦点レンズ部２２が配置され、外側に短焦点レンズ部２３が配置されていたが、本発明の画像改質処理の対象は、このような配置の二焦点レンズにより撮像された画像に限定されるものではなく、例えば、逆の配置、すなわち内側に短焦点レンズ部が配置され、外側に長焦点レンズ部が配置された二焦点レンズによる画像であってもよい。
【０３３０】
また、前記各実施形態では、二焦点レンズ２１を構成する長焦点レンズ部２２と短焦点レンズ部２３とは、同心に配置されているが、これに限定されるものではなく、本発明におけるピントの合った画像を形成する一方のレンズ部と、ピントのぼけた画像を形成する他方のレンズ部とは、同心に配置されていてもよく、同心に配置されていなくてもよい。
【０３３１】
また、前記第１実施形態では、外側に配置されたレンズ部によりピンぼけ画像が形成される場合について説明されていたが、本発明は、内側に配置されたレンズ部によりピンぼけ画像が形成される場合についても適用することができる。なお、この場合には、ピンぼけ画像は、リング状ではなく、内側に配置されたレンズ部の正面形状に従った円形、楕円形、多角形等の形状となる。
【０３３２】
さらに、前記第１実施形態では、短焦点レンズ部によりピンぼけ画像が形成される場合について説明されていたが、本発明は、長焦点レンズ部によりピンぼけ画像が形成される場合についても適用することができる。なお、この場合には、被写体は、例えば、２次元バーコードや虹彩や文字等の近接被写体である。
【０３３３】
そして、前記第５実施形態の説明では、ピンぼけ画像の画面内では略完全に被写体の情報が失われており、画面の受光量、すなわち撮像素子２４の画素毎の出力信号レベルの変動も無視できるほど少ないものとしていたが、この条件は必ずしも必要ではなく、少なくともＪＰＥＧ処理をする際の単位画面の範囲で画素毎の出力信号レベルの変動がなければ、本発明を好適に適用することができる。
【０３３４】
【発明の効果】
以上に述べたように本発明によれば、畳み込み演算行列Ｑを用いて畳み込み演算を行い、あるいは、ＪＰＥＧ処理またはこれに類似する処理を利用してピンぼけ画像の消去処理を行い、あるいは、移動平均をとってピンぼけ分の信号を減ずる処理を行うので、二焦点レンズで撮像された画像の質を短時間の処理で改善することができ、ピント合わせ機構を用いることなく、標準的な距離にある通常の被写体およびこれよりも近距離にある近接被写体のいずれもについても鮮明な画像を得ることができるという効果がある。
【図面の簡単な説明】
【図１】本発明の第１実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図２】第１実施形態の画像改質処理装置による処理対象となる画像を形成する二焦点レンズの詳細構成図。
【図３】第１実施形態における被写体とこの被写体を二焦点レンズにより撮像して得られる画像との関係の説明図。
【図４】第１実施形態の畳み込み演算行列Ｗの説明図。
【図５】第１実施形態の変換巨大行列（ｃＵ＋Δ）の説明図。
【図６】第１実施形態の巨大逆行列Ｔの説明図。
【図７】第１実施形態の畳み込み演算行列Ｑの説明図。
【図８】本発明の第２実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図９】本発明の第３実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図１０】本発明の第４実施形態の画像改質処理装置の一部を構成するデジタルフィルタ回路の詳細構成図。
【図１１】本発明の第５実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図１２】本発明の第６実施形態の画像改質処理装置を含む撮像システムの全体構成図。
【図１３】第６実施形態における移動平均をとる処理の説明図。
【符号の説明】
２１  二焦点レンズ
２２  一方または他方のレンズ部に該当する長焦点レンズ部
２３  一方または他方のレンズ部に該当する短焦点レンズ部
２４  撮像素子
３０，２３０，３３０，４３０，５３０，６３０  画像改質処理装置
３２，２３２，３３２  畳み込み演算行列記憶手段
３３，２３３，３３３  再生演算手段
２３４，３３４  シェージング補正行列記憶手段
２３５，３３５  シェージング補正手段
４０１〜４０９  乗算回路
４１１〜４１８  加算回路
４２１〜４２８  ディレイ回路
４３３  再生演算手段であるデジタルフィルタ回路
５３１  出力信号記憶手段
５３２  ディスクリート・コサイン変換処理手段（ＤＣＴ処理手段）
５３３  ピンぼけ画像消去処理手段
５３４  量子化処理手段
５３５  符号化処理手段
６３２  移動平均算出手段
６３３  画像補正手段
Ｅ，Ｈ  非零要素を含む行列部分
Ｍ  撮像素子の縦方向の画素数
Ｎ  撮像素子の横方向の画素数
Ｑ  畳み込み演算行列
Φ  シェージング補正行列
【図１】
0004014512.tif 000055
【図２】
0004014512.tif 000056
【図３】
0004014512.tif 000057
【図４】
0004014512.tif 000058
【図５】
0004014512.tif 000059
【図６】
0004014512.tif 000060
【図７】
0004014512.tif 000061
【図８】
0004014512.tif 000062
【図９】
0004014512.tif 000063
【図１０】
0004014512.tif 000064
【図１１】
0004014512.tif 000065
【図１２】
0004014512.tif 000066
【図１３】
0004014512.tif 000067