(57)【要約】本発明の一側面によると、カメラシステムによって撮影された画像の動きを推定する動き推定部と、その推定に基づいて、既定のパラメータの更新頻度および／または既定のパラメータの更新周期毎の調整量を制御する制御部と、を備えるカメラシステムが提供される。【選択図】図1
2009508381.tif 000002
【特許請求の範囲】
【請求項１】
カメラシステムであって、
・  前記カメラシステムによって撮影された画像の動きを推定する動き推定部と、
・  前記推定に基づいて、既定のパラメータの更新頻度および／または前記既定のパラメータの更新周期毎の調整量を制御する制御部と、
を備える、カメラシステム。
【請求項２】
前記既定のパラメータが、前記カメラシステムの動作に関連する、請求項1に記載のカメラシステム。
【請求項３】
前記既定のパラメータが、露光、増幅、またはホワイトバランスのうちの一つ以上に関連する、請求項1に記載のカメラシステム。
【請求項４】
前記動き推定部が、撮影領域を論理的に区分に分割して、かつ前記区分のうちの各々において画像の動きを推定するように構成され、
前記制御部が、前記区分のうちの二つ以上における前記動き推定を踏まえて、前記制御を実行するように構成される、
請求項1に記載のカメラシステム。
【請求項５】
前記制御部が、動きを含むと推定される前記区分の数が少ない場合に、その数が多い場合と比べて、前記更新頻度および／または前記調整量を減少させるように構成される、請求項4に記載のカメラシステム。
【請求項６】
前記カメラシステムの動きを検出するための動きセンサーと、前記動きセンサーの出力信号を踏まえて、前記制御を実行する前記制御部とをさらに備える、請求項1に記載のカメラシステム。
【請求項７】
前記カメラシステムの動きを検出するための動きセンサーと、前記動きセンサーの出力信号を踏まえて、既定のパラメータの更新頻度および／または前記既定のパラメータの更新周期毎の調整量を制御する制御部と、を備える、カメラシステム。
【請求項８】
画像データを電子的に撮影するカメラモジュールを制御するため、及び前記カメラモジュールの出力信号を処理するための電子回路であって、
前記カメラモジュールによって撮影された画像の動きを推定し；
推定された動きに基づいて、
・  前記カメラモジュールを制御するために使用される制御パラメータの更新頻度、
・  前記制御パラメータの更新周期毎の調整量、
・  前記出力信号を処理するために使用される処理パラメータの更新頻度、
・  前記処理パラメータの更新周期毎の調整量、
のうちの一つ以上を変更する；
ように構成される、電子回路。
【請求項９】
前記制御パラメータは、前記カメラモジュールの動作に関連する、請求項8に記載の電子回路。
【請求項１０】
前記制御パラメータは、露光時間に関連する、請求項8に記載の電子回路。
【請求項１１】
前記カメラモジュールはダイヤフラムを備え、前記制御パラメータは、前記ダイヤフラムのダイヤフラム量に関連する、請求項8に記載の電子回路。
【請求項１２】
前記カメラモジュールは、画像センサーからの信号を増幅するための増幅部を備え、前記制御パラメータは、前記増幅部による前記信号の増幅量に関連する、請求項8に記載の電子回路。
【請求項１３】
前記処理パラメータは、ホワイトバランスの調整に関連する、請求項8に記載の電子回路。
【請求項１４】
前記回路はさらに、撮影領域を論理的に区分に分割して、かつ前記区分のうちの各々において画像の動きを推定し、前記区分のうちの二つ以上の前記推定された動きを踏まえて、前記変更を行うように構成される、請求項8に記載の電子回路。
【請求項１５】
動きを含む前記区分の数が少ないと前記回路が推定する場合に、前記回路は、前記制御パラメータの前記更新頻度、前記制御パラメータの前記調整量、前記処理パラメータの前記更新頻度、および前記処理パラメータの前記調整量のうちの一つ以上を、減少させるようにさらに構成される、請求項14に記載の電子回路。
【請求項１６】
請求項8に記載の電子回路を備える半導体チップ。
【請求項１７】
請求項8に記載の電子回路を備えるカメラ装置。
【請求項１８】
画像データを電子的に撮影するカメラモジュールを制御するため、ならびに前記カメラモジュールの出力信号を処理するための画像処理ユニットであって、前記画像処理ユニットは、プロセッサおよびプログラムを備え、前記プログラムは、
前記カメラモジュールによって撮影された画像の動きを推定し；
推定された動きに基づいて、
・  前記カメラモジュールを制御するために使用される制御パラメータの調整速度、
・  前記制御パラメータの更新周期毎の調整量、
・  前記出力信号を処理するために使用される処理パラメータの調整速度、
・  前記処理パラメータの更新周期毎の調整量、
のうちの一つ以上を変更する；
ように、前記プロセッサに指示するように構成される、画像処理ユニット。
【請求項１９】
前記プログラムは、撮影領域を論理的に区分に分割して、かつ前記区分のうちの各々における画像の動きを推定し、前記区分のうちの二つ以上の前記推定された動きを踏まえて、前記変更を実行するように、前記プロセッサを指示するようにさらに構成される、請求項18に記載の画像処理部。
【請求項２０】
請求項18に記載の画像処理部を備えるカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラシステムまたは画像処理システムに関する。
【背景技術】
【０００２】
カメラ装置は、その動作中に、その動作に関するさまざまなパラメータを制御している。例えば、録画中または静止画像撮影のプレビュー中に、カメラ装置は、撮影される画像の明るさまたはカラーバランスを連続的に測定し、露光時間またはホワイトバランスを調整する。
【０００３】
そのような制御機構が、状況変化に素早く反応できるのであれば有益である。例えば、窓からの明るい景色から非常に暗い室内の景色に、ユーザーがカメラを移動したとしても、露光時間を長くして、ある程度細かいところまで撮影可能であるようにしなければならない。
【０００４】
反対に、その素早い調整がユーザーにとって厄介になる場合がある。例えば、ビデオクリップを録画する場合に、連続する画像フレームの露光時間などのパラメータは、あまり変化しないほうがよい。変化させ過ぎると、画像の明るさが、短時間に明るくなったり暗くなったりする場合がある。そうなると、ビデオクリップが、いくつかの撮影をつなげたようになってしまう。例えば、カメラを静止させていても、その景色に太陽の光が急に差し込む状況において、明るさのパラメータが急激に変化して、結果的にポンピング効果がもらされる場合がある。つまり、明るさが急に明るくなったり暗くなったりするのが見えてしまい、いずれかに定まることはない。
【発明の開示】
【０００５】
このような背景に基づき、本発明は、状況に応じて変化に素早く反応することが好ましい場合と、より遅く反応するほうがよい場合とを十分把握することができる、インテリジェントな制御構造を提供することを目的とする。
【０００６】
本発明の一側面によると、カメラシステムによって撮影された画像の動きを推定する動き推定部と、その推定に基づいて、既定のパラメータの更新頻度および／または既定のパラメータの更新周期毎の調整量を制御する制御部と、を備えるカメラシステムが提供される。
【０００７】
したがって、前記更新頻度（または速度）および／または前記調整量は、撮影される前記景色の動きによって変更可能である。ゆえに、前記調整速度および／または調整量は、さまざまな状況について最適化可能である。ユーザーは、撮影される景色の動きに適した写真またはビデオに関して、適切な制御効果得ることができる。前記パラメータは、露光量、増幅量、ホワイトバランス、または前記カメラシステムのその他のいずれかの動作のうちの一つ以上に関連することができる。
【０００８】
好適な一実施形態において、前記動き推定部は、撮影領域を論理的に区分に分割して、かつ前記区分のうちの各々において画像の動きを推定するように構成され、前記制御部は、前記区分のうちの二つ以上の前記推定の結果を踏まえて、前記制御を実行するように構成される。
【０００９】
本実施形態において、前記カメラシステムは、撮影される景色における動きの構造を踏まえて、前記制御を実行することができる。ゆえに、より適切でかつインテリジェントな制御が実現可能になる。
【００１０】
前記動き推定は、いくつかの連続する画像フレームから実行可能である。しかしながら、一実施形態において、前記カメラシステムは、動きセンサーを使用してもよい。これを考慮した本発明の別の側面によると、カメラシステムの動きを検出するための動きセンサーと、前記動きセンサーの出力信号を踏まえて、制御部既定のパラメータの調整頻度および／または既定のパラメータの更新周期毎の調整量を制御する制御部と、を備えるカメラシステムを提供する。
【００１１】
本発明のさらなる側面によると、画像データを電子的に撮影するカメラモジュールを制御するため、ならびに前記カメラモジュールの出力信号を処理するための電子回路であって、前記カメラモジュールによって撮影された画像の動きを推定し、推定された動きに基づいて、前記カメラモジュールを制御するために使用される制御パラメータの調整頻度、前記制御パラメータの更新周期毎の調整量、前記出力信号を処理するために使用される処理パラメータの調整頻度、および前記処理パラメータの更新周期毎の調整量、のうちの一つ以上を変更するように、構成される、電子回路が提供される。
【００１２】
本発明のまたさらなる側面によると、画像データを電子的に撮影するカメラモジュールを制御するため、ならびに前記カメラモジュールの出力信号を処理するための画像処理部であって、前記画像処理部は、プロセッサおよびプログラムを備え、前記プログラムは、前記カメラモジュールによって撮影された画像の動きを推定し、推定された動きに基づいて、前記カメラモジュールを制御するために使用される制御パラメータの調整速度、前記制御パラメータの更新周期毎の調整量、前記出力信号を処理するために使用される処理パラメータの調整速度、および前記処理パラメータの更新周期毎の調整量、のうちの一つ以上を変更するように、前記プロセッサを指示するように構成される、画像処理部を提供する。
【００１３】
前記制御パラメータは、露光時間、前記カメラモジュールがダイヤフラムを備える場合は、ダイヤフラム量、画像センサーからの信号の増幅量、または前記カメラモジュールのその他の動作、に関連してもよい。前記処理パラメータは、ホワイトバランスに関連してもよい。
【００１４】
上に開示される電子回路は、半導体チップとして製造可能であり、市場で販売可能である。また、上に開示される電子回路は、カメラ装置、例えば、携帯デジタルカメラまたはカメラ付き携帯電話機において実装可能である。
【００１５】
本発明は、本明細書の記載事項のいかなる組み合わせも含む。例示的な図面および実施形態を使用することによって、さらなる特徴または利点を本明細書の以下に説明する。
【好適な実施形態の詳細な説明】
【００１６】
以下、添付の図面を参照して、本発明の実施形態の例を説明する。
【００１７】
図1は、本発明の好適な実施形態に係るカメラシステム1の概略図である。カメラシステムは、レンズ11、ダイヤフラム13、CCDまたはCMOSセンサー15、アナログ増幅部17、A/D変換部19、ホワイトバランス増幅部21、照明条件分析部23、制御部25、CFA補間部27、サムネイル作成部29、ディスプレイ31、データ圧縮部33、メモリ35を備える。レンズ11は、入射光をCCDセンサー15に集中および集光させる。センサー15は、入射光を電気信号に変換する。また、センサー15は、電気シャッターも備え、データ取り込み（撮影）は、電気シャッターの開放時のみ実行される。シャッター速度は可変であり、制御部25によって制御される。アナログ増幅部17は、CCDセンサー15の出力信号を増幅する。増幅の大きさ（量）は可変であり、制御部25によって制御される。A/D変換部19は、増幅された信号を、デジタル形式データに変換する。このデジタルデータは、RAWデータとも呼ばれ、RGBまたはCMYベイヤーフォーマットを有し、写真データまたはビデオデータの構成に使用される。
【００１８】
ホワイトバランス増幅部21は、RAWデータのホワイトバランスを調整、つまり、RAWデータの色成分のうちの一つ以上をデジタル的に増幅または判別して、RAWデータが白い物体を白く表現できるようにする。調整量は、照明条件分析部23の分析に基づいて、制御部25によって直接制御される。照明条件分析部23は、センサー15によって撮影された景色の照明条件を、ホワイトバランスされていないRAWデータから推定する。また、照明条件分析部23は、ホワイトバランスされていないRAWデータの明るさ（または輝度）も測定する。明るさの測定に基づいて、制御部は、ダイヤフラム13のダイヤフラム量、センサー15のシャッター速度、および増幅部17による増幅の大きさ（量）のうちの一つ以上を変更する。
【００１９】
CFA補間部27は、カラーフィルター配列（CFA: Color Filter Array）補間を適用することによって、ホワイトバランスされたRAWデータから写真画像データを生成する。この画像データは、多くの既存のデジタルシステム、つまりパーソナルコンピューター、携帯電話、またはデジタルカメラによって直接再現可能である。ある実施形態では、録画において、特に、センサーが各色成分に同数のピクセルを有する場合には、CFA補間部27は必要としなくてもよい。また、処理速度を上げるために、CFA補間部27は録画に使用されなくてもよい。
【００２０】
サムネイル作成部29は、CFA補間部27によって生成された画像データから、サムネイル画像を作成する。サムネイル画像は、ディスプレイ31に表示され、撮影された静止／ビデオ画像をプレビューまたは確認するために使用される。データ圧縮部33は、画像データを、例えば、JPEG、JPEG2000、Motion JPEG、またはMPEGで圧縮する。圧縮されたデータは、メモリ35に保存される。圧縮された画像データは、そのサムネイル画像とともに保存されるのが好ましい。 
【００２１】
また、カメラシステム1は、動き分析部37も備える。動き分析部は、RAWデータを分析して、CCDセンサーによって撮影された画像の動きを推定する。カメラシステム1は、要件（つまり、サイズ、価格、速度、電力消費）が満たされるのであれば、動き推定に関するいかなる既存の方法も使用できる。本実施形態において、動き推定は、連続する画像フレームを比較することによって実行される。フレームは、一連のビデオデータにおける静止画像または単一写真の全領域を意味する。動き分析部37は、複数の区分（より小さい領域）に論理的にフレームを分割し、その区分の各々について動き推定を実行する。このより小さい領域（区分）は、マクロブロックと呼ばれる。動き分析部37は、動きの量（速度）を推定することができる。また、動きの方向を推定するように動き分析部37を構成することも可能である。
【００２２】
図2は、フレームがマクロブロック（区分）に分割されて、各マクロブロックについて動きを推定することを図式的に示す。フレーム50は、一連のビデオデータにおける静止画像または単一画像の全領域を図式的に表す。動き分析部37は、フレーム50を4つのマクロブロック（A、B、C、およびD）に論理的に分割し、各マクロブロックの動きを推定する（図2a）。一事例において、全マクロブロックが、図2bに示されるようにほぼ同じ動き量を有することが推定できる。こういった事例は、ユーザーがカメラシステム1を動かしている場合に発生する。その他の事例では、マクロブロックDが大幅に動いているが、マクロブロックA、B、Cは動いていない（図2c）、あるいは動いているが、少しだけしか動いていない（図2d）ことが推測できる。こういった事例は、フレーム50が、動く物体、つまり、車、電車、走者などを、安定した背景に含む場合に発生する。
【００２３】
図2a〜dは、単に図式的な実例であることに留意されたい。実物に関しては、マクロブロックの数は、十または百の配列が可能である。
【００２４】
推定された動き速度が、図2aの実例のように全マクロブロックについて小さいまたはゼロの場合、制御部25は、一つ以上の制御パラメータを変更して、ダイヤフラム13、CCDまたはCMOSセンサー15のシャッター速度、増幅部17の増幅の大きさ、およびホワイトバランス増幅部21におけるホワイトバランスに関する調整速度のうちの一つ以上を減少させる。これは、照明条件が劇的に変更されず、これらの調整をそれほど頻繁に実行する必要がないからである。ひいては、ユーザーは、制御パラメータの素早い変化にもたらされる画像の色の素早い変化に悩まされる必要がなくなり、その画像は、ディスプレイ31に表示、またはメモリ35に保存される。また、この特徴により、調整に使用される電力消費を節約することもできる。
【００２５】
一つまたは複数の制御パラメータは、ダイヤフラム13、CCDセンサー15のシャッター速度、増幅部17の増幅の大きさ、およびホワイトバランス増幅部21におけるホワイトバランスに関して一度に調整可能である量うちの一つ以上を制御するための、一つまたは複数のパラメータであることができる。このような調整可能な量を減少させることによって、色または画像の素早い変化を回避することもできる。
【００２６】
推定された動き速度が、図2bの事例のように全マクロブロックについて大きい場合、制御部25は、一つ以上の制御パラメータを変更して、ダイヤフラム13、CCDまたはCMOSセンサー15のシャッター速度、増幅部17、およびホワイトバランス増幅部21のうちの一つ以上の調整速度を増加させる。このような事例において、ユーザーは、カメラシステム1を動かして写真またはビデオを撮っている可能性があることから、照明条件が、例えば屋内から屋外に大幅に変更される。調整速度を増加させることによって、カメラシステム1は、撮影される景色が素早く変化しても、適切な露光、増幅、および／またはホワイトバランスで撮影された画像をユーザーに提供することができる。
【００２７】
図2cまたは図2dに示されるように、大きな動きがフレームの一部にのみ存在することを、動き分析部37が推定する場合、制御部25は、調整速度を全く増加しない、あるいは図2bの事例ほど増加しない。これは、撮影される景色のフレームの一部のみに動く物体が含まれ、残りの部分は安定しているような事例において、照明条件が劇的に変化しないからである。したがって、システムは、露光、明るさ、またはホワイトバランスをそれほど頻繁に調整する必要がなくてもよい。
【００２８】
カメラシステム1は、カメラシステム1本体の動きを検出するための動きセンサー39を備えることが可能で、制御部25は、動きセンサーの信号を踏まえて、制御を実行するように構成することが可能である。
【００２９】
図3は、カメラシステム1の例示的な実施形態を示す。本実施形態において、カメラシステム1は、カメラ付き電話、つまり、カメラを備えて、かつ静止画像およびビデオを撮影可能である携帯電話機であることができる。カメラ付き電話100は、カメラモジュール102と、電話モジュール104とを備え、これらのモジュールは、共通のケースにおけるハウスである。カメラモジュール102は、レンズ111、ダイヤフラム113、CCDまたはCMOSセンサー115、アナログ増幅部117、およびA/D変換部119を備える。これらの構成部品は、カメラシステム1のレンズ11、ダイヤフラム13、CCDセンサー15、アナログ増幅部17、およびA/D変換部19にそれぞれ対応し、それらと同じ機能性を有する。
【００３０】
電話モジュール104は、ディスプレイおよびキーパッドを含むユーザーインターフェース131、メモリ135、動きセンサー139、CPU141、DSP143、ならびにベースバンド処理、RF処理、およびアンテナを含む通信部145を備える。UI131のディスプレイ、メモリ135、および動きセンサー139は、ディスプレイ11、メモリ35、動きセンサー39に対応し、それらと同じ機能性を有する。
【００３１】
メモリは、CPU141用のプログラムを保存する。CPU141は、プログラムの指示に応じて、電話モジュール104全体を制御する。メモリは、DSP143に使用される別のプログラムを保存する。このプログラムは、ホワイトバランス増幅部21、照明条件分析部23、制御部25、CFA補間部27、サムネイル作成部29、圧縮部33、および動き分析部37の機能性を実行させるように、DSP143を指示する。
【００３２】
DSP143は、DSP143、メモリ、およびDSP143用のプログラムを含むパッケージとして独立して販売可能である。
【００３３】
図4は、カメラシステム1の別の例示的な実施形態を示す。本実施形態において、カメラシステム1は、カメラ付き電話としても実現される。前述の実例のカメラ付き電話100と同様に、カメラ付き電話200は、カメラモジュール202および電話モジュール204も備える。しかしながら、カメラモジュール202は、カメラモジュール101よりも多くの機能を有する。
【００３４】
カメラモジュール202は、レンズ211、ダイヤフラム213、CCDおよび／またはCMOSセンサー215、アナログ増幅部217、A/D変換部219、ホワイトバランス増幅部221、照明条件分析部223、制御部225、CFA補間部227、サムネイル作成部229、および動き分析部237を備える。これらの構成部品は、カメラシステム1のレンズ11、ダイヤフラム13、センサー15、アナログ増幅部17、A/D変換部19、ホワイトバランス増幅部21、照明条件分析部23、制御部25、CFA補間部27、サムネイル作成部29、および動き分析部37とそれぞれ対応し、それらと同じ機能性を有する。しかしながら、図3で説明した実施形態とは対照的に、ホワイトバランス増幅部221、照明条件分析部223、制御部225、CFA補間部227、サムネイル作成部229、および分析部237は、ハードウェア回路によって実現される。すなわち、これらの機能性は、ソフトウェア処理を使用せず、あるいはこれらの機能性を実施するためにCPUまたはDSPを使用する実施形態ほどあまりソフトウェア処理を使用しない。ホワイトバランス増幅部221、照明条件分析部223、制御部225、CFA補間部227、サムネイル作成部229、および動き分析部237のうちの一つ以上を含むハードウェア回路は、チップに集積可能で、独立した製品として販売される。
【００３５】
電話モジュール204は、ユーザーインターフェース231、メモリ235、CPU241、および通信部245を備える。これらの構成部品は、ユーザーインターフェース131、メモリ135、CPU141、および通信部145に対応し、それらと同じ機能性を有する。CPU241は、プロフラムの指示に応じて、電話モジュール204全体を制御する。また、CPU241は、メモリ235に保存されたプロフラムの指示に応じて、またはユーザーインターフェース231から入力されたユーザーの指示に応じて、制御部225の制御機能の動作を変更することもできる。
【００３６】
本発明の範囲から逸脱することなく、さまざまな修正を加えてもよいことに留意されたい。例えば、制御部25が制御するものは、記載の実例に限定されず、カメラシステム1が機械シャッターを備える場合であれば、機械シャッターのシャッター速度など、その他の多くのものであることが可能である。
【００３７】
前述の明細書において、特に重要と考えられる本発明の特徴に注目するように試みたが、上に言及および／または図示された特徴の組み合わせに関するいかなる特許可能な特徴について、そこで特に強調されているか否かに関わらず、本出願者が保護を主張することを理解されたい。
【図面の簡単な説明】
【００３８】
【図１】本発明の好適な実施形態に係るカメラシステム1の概略図である。
【図２】フレームがマクロブロックに分割されている略図である。
【図３】カメラシステム1の実施形態を示す。
【図４】カメラシステム1の別の実施形態を示す。
【図１】
2009508381.tif 000003
【図２】
2009508381.tif 000004
【図３】
2009508381.tif 000005
【図４】
2009508381.tif 000006
【国際調査報告】
2009508381.tif 000007
2009508381.tif 000008
2009508381.tif 000009