(57)【要約】  場面のディジタル画像を生成する画像処理装置は、画像センサ、光学系及び1つ以上のアクチュエータを有する。画像センサはフォトセンサの配列を有する。光学系は、場面からの光線を画像センサの方へ少なくとも部分的に向けるように動作し、その場面の画像が画像センサで生成されるようにする。ディジタル画像を生成する際、その場面からの入射光線が画像センサのフォトセンサ上に分散するように、1つ以上のアクチュエータは、画像センサ及び光学系の少なくとも一方を動かし、その分散は、画像センサ上に生成される場面の画像における空間周波数が、画像センサのナイキスト周波数より低い値に制限されるようになされる。
2010515342.tif 000002
【特許請求の範囲】
【請求項１】
フォトセンサのアレイを有する画像センサと、
光学系と、
1つ以上のアクチュエータと
を有する、ある場面のディジタル画像を生成する画像処理装置であって、
前記光学系は、前記場面の画像が前記画像センサで生成されるように、前記場面から到来する光線の少なくとも一部を前記画像センサに向け、
前記ディジタル画像を生成する際、前記場面から到来する光線が、前記画像センサの前記フォトセンサ上で分散されるように、前記1つ以上のアクチュエータは、前記画像センサ及び前記光学系の少なくとも一方を動かし、該分散は、前記画像センサで生成される前記場面の画像の空間周波数を、前記画像センサのナイキスト周波数未満の値に制限するようになされる、画像処理装置。
【請求項２】
当該画像処理装置が、ディジタル静止画カメラ及びディジタルビデオカメラの少なくとも一方を形成している、請求項1記載の画像処理装置。
【請求項３】
前記1つ以上のアクチュエータが、前記画像センサを動かす、請求項1記載の画像処理装置。
【請求項４】
前記1つ以上のアクチュエータが、前記光学系を動かす、請求項1記載の画像処理装置。
【請求項５】
前記1つ以上のアクチュエータの少なくとも1つが、サーボモータを形成している、請求項1記載の画像処理装置。
【請求項６】
前記場面の所与の地点から到来する光線が、前記画像センサの2以上の異なる領域に分散されるように、前記1つ以上のアクチュエータが形成されている、請求項1記載の画像処理装置。
【請求項７】
前記場面の所与の地点から到来する光線が、前記画像センサの4つの異なる領域に分散されるように、前記1つ以上のアクチュエータが形成されている、請求項1記載の画像処理装置。
【請求項８】
前記4つの異なる領域は、四角形の四隅に実質的に位置付けられる、請求項7記載の画像処理装置。
【請求項９】
前記場面の所与の地点から到来する光線が、前記画像センサ上の実質的に連続的な領域に分散されるように、前記1つ以上のアクチュエータが形成されている、請求項1記載の画像処理装置。
【請求項１０】
前記実質的に連続的な領域が、前記画像センサ上で実質的に円形を描いている、請求項9記載の画像処理装置。
【請求項１１】
前記実質的に連続的な領域が、前記画像センサ上で三角形、正方形又は長方形を実質的に描いている、請求項9記載の画像処理装置。  
【請求項１２】
前記画像センサは1つより多いサンプリングモードで動作し、各サンプリングモードは異なるナイキスト周波数を有する、請求項1記載の画像処理装置。
【請求項１３】
画像処理装置において或る場面のディジタル画像を生成する場合にエイリアシングを減らす方法であって、前記画像処理装置は、フォトセンサのアレイを有する画像センサと、光学系とを有し、前記光学系は、前記場面の画像が前記画像センサで生成されるように、前記場面からの光線の少なくとも一部を前記画像センサに向け、当該方法は、
前記場面から到来する光線が、前記画像センサの前記フォトセンサ上で分散されるように、前記画像センサ及び前記光学系の少なくとも一方を動かし、該分散は、前記画像センサで生成される前記場面の画像の空間周波数を、前記画像センサのナイキスト周波数未満の値に制限するようになされる、方法。
【請求項１４】
前記場面の所与の地点から到来する光線が、前記画像センサの2以上の異なる領域に分散されるように、前記画像センサ及び前記光学系の少なくとも一方が動かされる、請求項13記載の方法。
【請求項１５】
前記場面の所与の地点から到来する光線が、前記画像センサ上の実質的に連続的な領域に分散されるように、前記画像センサ及び前記光学系の少なくとも一方が動かされる、請求項13記載の方法。
【請求項１６】
フォトセンサのアレイを有する画像センサと、
光学系と、
1つ以上の慣性センサと、
1つ以上のアクチュエータと
を有する、ある場面のディジタル画像を生成する画像処理装置であって、
前記光学系は、前記場面の画像が前記画像センサで生成されるように、前記場面から到来する光線の少なくとも一部を前記画像センサに向け、
前記1つ以上の慣性センサは、前記画像センサで生成される前記場面の画像と前記画像センサとの間の相対運動を検出し、
前記ディジタル画像を生成する際、前記1つ以上のアクチュエータは、前記画像センサで生成される前記場面の画像と前記画像センサとの間で検出された相対運動と反対方向に、前記画像センサ及び前記光学系の少なくとも一方を動かし、
前記ディジタル画像を生成する際、前記場面から到来する光線が、前記画像センサの前記フォトセンサ上で分散されるように、前記1つ以上のアクチュエータは、前記画像センサ及び前記光学系の少なくとも一方を動かし、該分散は、前記画像センサで生成される前記場面の画像の空間周波数を、前記画像センサのナイキスト周波数未満の値に制限するようになされる、画像処理装置。
【請求項１７】
前記1つ以上の慣性センサの少なくとも1つが、ジャイロスコープを形成している、請求項16記載の画像処理装置。
【請求項１８】
前記1つ以上のアクチュエータは、コマンド信号の少なくとも一部に応答して、前記画像センサ及び前記光学系の少なくとも一方を動かし、
前記コマンド信号は、第1のコマンド信号成分及び第2のコマンド信号成分を有し、
前記第1のコマンド信号成分は、前記1つ以上のアクチュエータが、前記画像センサで生成される前記場面の画像と前記画像センサとの間で検出された相対運動と反対方向に、前記画像センサ及び前記光学系の少なくとも一方を動かすことを引き起こし、
前記第2のコマンド信号成分は、前記場面から到来する光線が、前記画像センサの前記フォトセンサ上で分散されるように、前記1つ以上のアクチュエータが、前記画像センサ及び前記光学系の少なくとも一方を動かすことを引き起こし、該分散は、前記画像センサで生成される前記場面の画像の空間周波数を、前記画像センサのナイキスト周波数未満の値に制限するようになされる、請求項16記載の画像処理装置。
【請求項１９】
前記場面の所与の地点から到来する光線が、前記画像センサの2以上の異なる領域に分散されるように、前記1つ以上のアクチュエータが形成されている、請求項16記載の画像処理装置。
【請求項２０】
前記場面の所与の地点から到来する光線が、前記画像センサ上の実質的に連続的な領域に分散されるように、前記1つ以上のアクチュエータが形成されている、請求項16記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般にディジタル画像処理装置に関し、特に、画像安定化システムを使用する画像処理装置におけるエイリアシングを防止することに関する。
【背景技術】
【０００２】
今日のディジタルカメラは、生成されたディジタル画像品質を改善する多数の様々な特徴をしばしば備えている。そのような機能の1つは画像安定化システムであり、例えば、コダックEasyShare(登録商標)P712ズームディジタルカメラ等に搭載されている。ディジタルカメラで写真を撮る場合、撮影者は、露出中にディジタルカメラを不注意によりしばしば動かしてしまう。この動きは、画像処理される場面とディジタルカメラ内の画像センサとの間の相対的な動きを招く。露出が比較的短時間であり、その動きが小さかった場合、一般にディジタル画像の大部分は劣化しない。しかしながら、露出が比較的長かった場合、又は動きが大きかった場合、ディジタル画像は望ましくない不鮮明さを呈する。画像安定化システムは、ディジタルカメラの動きに起因する相対的な動きを減らすように機能し、その相対的な動きは、画像センサに向けられた場面の画像と画像センサ自身との間の動きである。場合によっては、画像安定化システムは、ディジタルカメラ内のレンズ又は他の光学系を機械的に動かし、その場面の相対的な動きを補償する。別の構成例の場合、画像安定化システムは、同様な補償効果を生じるように、カメラの画像センサを動かす。
【０００３】
画像安定化システムだけでなく、最近のディジタルカメラはエイリアシング防止システムをしばしば組み込んでいる。エイリアシング防止システムは、ディジタルカメラのサンプリング及び場面の再構築によって引き起こされるアーチファクトに対処する。これらのエイリアシングアーチファクトは、ディジタル画像の品質をかなり落としてしまうおそれがある。ディジタルカメラ画像センサの空間サンプリング周波数の二分の一に(すなわち、画像センサのナイキスト周波数)、場面の内容(場面コンテンツ)が制限されない限り、ディジタルカメラはエイリアシングを起こすことになる。例えば、ディジタルカメラの画像センサが1ミリメートル当たり500個標本化(サンプリング)する場合、その場面コンテンツの空間周波数は、1ミリメートル当たり250サンプルに制限される。この制限は、アンチエイリアシング空間フィルタ(ぼかしフィルタ(blur  filter)又はAAフィルタとも言及される)により通常は達成される。これらのフィルタは、複屈折、回折又は屈折を利用して、場面コンテンツの空間周波数を、ディジタルカメラの画像センサのサンプリング周波数の二分の一に制限する。カメラレンズのシングルスポットの点広がり関数を拡大することで(すなわち、ぼかすことで)、又は点広がり関数スポットを、間を隔てた2以上の個々のスポットに変換することで、場面コンテンツの空間周波数は制限される。最も一般的なアンチエイリアシングフィルタは、いくつかの石英板を有し、レンズのシングルスポットの点広がり関数を、四角形の四隅の4つの個々のスポットに変換するよう機能する。4つのスポットの中心間距離は、通常、カメラの画像センサのフォトセンサのピッチに等しく選ばれるが、他の値でもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来、画像安定化及びエイリアシングの問題については、画像安定化システム及びアンチエイリアシングシステムを別個にディジタルカメラに設けることで対応してきた。しかしながら、唯1つのシステムが双方の機能を実行するように製造できたならば、ディジタルカメラの製造コストを大幅に下げることができたかもしれない。
【課題を解決するための手段】
【０００５】
本発明の実施例は、画像安定化システム及びアンチエイリアシングシステムを個々に要求せずに、ディジタル画像処理装置において画像安定化機能及びアンチエイリアシング機能を実行する方法及び装置を提供することで、上記の要請に応じる。
【０００６】
本発明の一形態によれば、場面(シーン)のディジタル画像を生成する画像処理装置は、画像センサ、光学系及び1つ以上のアクチュエータを有する。画像センサはフォトセンサの配列(アレイ)を有する。光学系は、場面からの光線を画像センサの方へ少なくとも部分的に向けるように動作し、その場面の画像が画像センサで生成されるようにする。ディジタル画像を生成する際、その場面からの入射光線が画像センサのフォトセンサ上に分散するように、1つ以上のアクチュエータは、画像センサ及び光学系の少なくとも一方を動かし、その分散は、画像センサ上に生成される場面の画像における空間周波数が、画像センサのナイキスト周波数より低い値に制限されるようになされる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施例によるディジタルカメラのブロック図。
【図２】図1のディジタルカメラにおけるレンズ駆動モジュールのブロック図。
【図３】図2のレンズ駆動モジュールのレンズアクチュエータが、図1のディジタルカメラのレンズにどのように作用するかを示す概略図。
【図４】図2のレンズ駆動モジュールに使用される画像安定化及びアンチエイリアシングのコマンド信号の第1の組み合わせを示す図。
【図５】図2のレンズ駆動モジュールに使用される画像安定化及びアンチエイリアシングのコマンド信号の第2の組み合わせを示す図。
【発明を実施するための形態】
【０００８】
上記形態の一例として、ディジタルカメラは、レンズ、画像センサ及びレンズ駆動モジュールを有する。レンズ駆動モジュールは、慣性センサ及びレンズアクチュエータをさらに有する。コマンド信号がレンズアクチュエータに与えられ、レンズアクチュエータがレンズを二次元的に動かすことを引き起こす。コマンド信号は2つの部分を有する。コマンド信号の内の画像安定化部分は、センサに対する画像センサの動きと逆にレンズが動かされるようにする。その部分とは別のアンチエイリアシング部分は、露出の間、場面コンテンツを一定のパターンで画像センサ上に分散するようにレンズを動かす。画像センサへの場面コンテンツの分散は、場面コンテンツの空間周波数を、画像センサのナイキスト周波数未満に減らすように設計される。このようにして、レンズ駆動モジュールは、画像安定化機能及びアンチエイリアシング機能の双方をディジタルカメラの中で実行する。かくて、有利なことに、ディジタルカメラのコスト及び複雑さを低減させることができる。
【０００９】
本発明に関するこれらの及び他の特徴ならびに利点は、添付図面と共に説明される以下の詳細な説明からさらに明らかになるであろう。
【実施例１】
【００１０】
以下、本発明が実施例を参照しながら説明される。これらの実施例に対して様々な変形が可能であり、その変形例も本発明の範囲内に含まれることは、理解されるであろう。本発明は、明細書で説明される具体的な実施例に限定されない。
【００１１】
本発明は多種多様なディジタル画像処理装置に使用可能であり、ディジタル画像処理装置には、例えば、ディジタル静止画カメラ、ディジタルビデオカメラ又はそれらの組み合わせ等が含まれる。ディジタルカメラは他の装置と組み合わせられてもよく、他の装置は、例えば、移動電話機、パーソナルディジタルアシスタント(PDA)又は無線電子メール装置等である。
【００１２】
図1は、本発明の一実施例によるディジタルカメラ100を示す。ディジタルカメラは画像センサ100を含み、画像センサは、像の画素(ピクセル)に対応するフォトセンサの二次元配列を含む。画像センサは、例えば、電荷結合素子(CCD)や、相補型金属酸化膜半導体(CMOS)撮像装置等でもよい。画像センサの画素は好ましくは通常のベイヤ(Bayer)タイプのカラーフィルタで覆われ、赤−緑−青(RGB)のカラーフィルタ配列(CFA)を形成する。マイクロプロッサ120の制御の下で画像が捕捉され、マイクロプロセッサは、シャッタ130を開き、場面140からの光線が、レンズ150により画像センサへ向けられるようにする。画像センサが場面からの光線にさらされると、アナログ画像電荷がフォトセンサで生成される。シャッタが閉じると、画像センサにより生成された電荷情報は、アナログ信号プロセッサ160に送られる。アナログ信号プロセッサは、受信した電荷情報を、画像センサの個々のフォトセンサに対応するアナログ画像信号に変換する。アナログ信号プロセッサからのアナログ画像信号は、アナログディジタル(A/D)変換器170へ送られ、A/D変換器は、各フォトセンサについてのディジタル信号値を、アナログ入力信号から生成する。得られたディジタル画像信号はメモリ180に保存される。
【００１３】
ディジタルカメラ100は、レンズ駆動モジュール190をさらに有する。図2のブロック図に示されているように、レンズ駆動モジュールは、慣性センサ210及びレンズアクチュエータ220を含む。そしてレンズアクチュエータは、図3に示されるような方法でレンズ150に結合される。図示されているように、レンズアクチュエータは、x及びyの双方向に同時にレンズを並進させることができる。
【００１４】
レンズ150は、より一般的に「光学系(optic)」として言及されるものの一例を示す。本願で使用される「光学系」という用語は、他のタイプの光学要素やそのような要素の組み合わせをも含むように広く解釈されるように意図されており、例えば、複数のレンズや他のタイプの光学要素を含む光学アセンブリ等を含む。
【００１５】
慣性センサ及びレンズアクチュエータがディジタルカメラの通常の画像安定化システムに使用され、その実現手段及び動作は当業者にとって既知である。一般に、慣性センサは2つの小さなジャイロスコープを含み、ジャイロスコープはディジタルカメラが動いた場合に元に戻そうとする(すりこぎ運動を行う)。これらの小型ジャイロスコープは、レンズアクチュエータにコマンド信号を送信し、レンズアクチュエータは典型的には複数のサーボモータ一式を含む。ジャイロスコープは、ディジタルカメラの運動と反対方向にレンズを動かすようにサーボモータに通知する。画像安定化は、著しいボケを伴わずに写真を撮影する者を支援し、その写真は、画像安定化機能を使用せずに撮影される写真よりも、長い露出時間又は大きなズーム設定による写真である。
【００１６】
有利なことに、レンズ駆動モジュール190は、画像安定化機能及びアンチエイリアシング機能の双方をディジタルカメラ100の中で実行するように動作する。画像安定化は概して通常の方法で実行される。露出している間、慣性センサ210からのコマンド信号がレンズアクチュエータ220に送られ、レンズアクチュエータが、ディジタルカメラ自体の如何なる動きに対しても反対方向にレンズ150を動かすようにする。これにより、画像センサ110と画像センサに作用する場面画像との間の相対運動は小さくなる。それと同時に、レンズアクチュエータは、マイクロプロセッサ120により生成された別のコマンド信号により、ある一定のパターンで(レンズを)動かすようにさらに指示を受け、そのパターンは、以下でさらに説明されるようにエイリアシングを実質的に軽減又は解消する。したがって、レンズ駆動モジュールは1つのシステムで双方の機能を発揮し、画像安定化システム及びアンチエイリアシングシステムを別々に設ける必要性を排除する。
【００１７】
図4は、レンズ駆動モジュールが、画像安定化機能及びアンチエイリアシング機能の双方を実行するように、慣性センサ210及びマイクロプロセッサ120からのコマンド信号が、どのように組み合わせられるかを示す。上側のコマンド信号の組み合わせは、レンズアクチュエータ220がレンズ150をx方向に動かすことを引き起こし、下側のコマンド信号の組み合わせは、レンズをy方向に動かすことを引き起こす。コマンド信号の組み合わせ各々の中で、左側のコマンド信号は、画像安定化用に意図されている。そのコマンド信号は、特定の露出の間に生じたカメラの動きに応じている。したがって、それらは露出毎に形態が異なることが予想される。これに対して、右側の信号はエイリアシングの防止用に意図されている。右側のコマンド信号は、露出の各々の間に、レンズアクチュエータがレンズを一定のパターンで動かすことを引き起こす。
【００１８】
図4に示される特定の実施例の場合、右側のアンチエイリアシング用コマンド信号は、レンズアクチュエータ220が、所与の露出の間にレンズを動かすことを引き起こし、場面140の所与の点からの光線が、画像センサ110上の4つの別々の領域に分散されるようにする。画像センサ上のこれらの別々の領域は、四角形の4点を描き、かつ画像センサ上のフォトセンサのピッチにほぼ等しい間隔で隔てられていることが好ましいが、別の間隔も同様に有効である。場面からの光線をこのように分散することは、画像センサの統合機能により、画像センサに写る場面コンテンツを僅かにぼかすように機能する。画像センサに写る光波をぼかすことは、場面コンテンツの最大空間周波数を制限する影響をもたらす。言い換えれば、高い空間周波数の場面コンテンツは、その高い空間周波数の成分が有効に排除されるように不鮮明化される。
【００１９】
このように、レンズ駆動モジュール190は、画像センサ110に写る場面コンテンツの空間周波数を制限するよう機能し、その制限方法自体は、4スポットの複屈折(不鮮明化)フィルタのような通常のアンチエイリアシングフィルタによるものと同様である。場面コンテンツの点広がり関数(point  spread  function)を大きくすることで、その場面コンテンツの空間周波数は、画像センサのナイキスト周波数(すなわち、サンプリング周波数の二分の一)未満に容易に制限できる。したがって、レンズ駆動モジュールは、エイリアシングを軽減又は解消する一方、それと同時に画像安定化機能を発揮できる。
【００２０】
図4のアンチエイリアシング用コマンド信号は、レンズを4つの別個の位置に動かすように機能していたが、本発明はそのような特定の固定パターンに限定されない。むしろ、レンズ駆動モジュール190は、場面からの光波を他の様々なパターンで画像センサ110上に分散するようにプログラム可能であり、そのような態様も本発明の範囲に含まれる。これらの様々なパターンは、レンズアクチュエータ220に与えられるアンチエイリアシング用コマンド信号の形状を単に変更することで実現可能である。例えば、図5に示されるコマンド信号は、場面140の所与の地点からの光線が、画像センサ上で実質的に円形を描くようにする。同様に、コマンド信号は、三角形、正方形又は長方形のような他の形状を描くように合わせられてもよい。有利なことに、場面からの光線をレンズが画像センサ上に分散させる方法を変更できることは、画像センサに関する如何なる所望の周波数通過帯域でも或いは如何なる点広がり関数でも、レンズ駆動モジュールが合成できるようにしつつ、それと同時にディジタルカメラ100の画像安定化機能ももたらす。
【００２１】
さらに有利なことに、レンズ駆動モジュール190は、システムのモードに応じて、場面コンテンツを異なる空間週波数値に制限してもよい。最近のディジタルスチルカメラは、サブサンプリング及びビデオモードを有し、そのモードの場合、画像センサのサンプリング周波数が減らされる。画像センサ110に写る場面コンテンツのパターンを動的に変更できるので、任意の所与の時点において、場面コンテンツの空間周波数を、ディジタルカメラ100の特定のナイキスト周波数未満に調整するように、レンズ駆動モジュール190は構築されてもよい。
【００２２】
図1において、レンズ駆動モジュール190は、様々な画像安定化及びアンチエイリアシングの機能を実行するようにレンズ150を動かす。しかしながら、画像センサ110自体を同様に動かし、レンズを固定したままにすることで、同じ結果が得られることに留意を要する。最近のディジタルカメラの多くは、通常の画像安定化機能を実行する際、レンズではなく画像センサを動かしている。レンズを動かす代わりにアクチュエータを使って画像センサを動かすことで、本発明の実施例による画像安定化及びアンチエイリアシングの機能を発揮させるために、上記の実施例をどのように修正すべきかは、当業者に認識されているであろう。
【００２３】
以上本発明は図示の実施例に関して説明されてきた。しかしながら、本発明の範囲から逸脱せずに、変形例や修正例も当業者により提供可能であることが理解されるであろう。
【符号の説明】
【００２４】
100  ディジタルカメラ
110  画像センサ
120  マイクロプロセッサ
130  シャッタ
140  場面(シーン)
150  レンズ
160  アナログ信号プロセッサ
170  アナログディジタル(A/D)変換器
180  メモリ
190  レンズ駆動モジュール
210  慣性センサ
220  レンズアクチュエータ
【図１】
2010515342.tif 000003
【図２】
2010515342.tif 000004
【図３】
2010515342.tif 000005
【図４】
2010515342.tif 000006
【図５】
2010515342.tif 000007
【国際調査報告】
2010515342.tif 000008
2010515342.tif 000009
2010515342.tif 000010