(57)【特許請求の範囲】
【請求項１】
連続して取り込まれた複数のフレームの中の第一のフレームから前記明るさに関する情報を検出し、検出された前記明るさに関する情報に応じて第一のフレームにおけるアイリス調整内容の更新を行うアイリス調整処理工程と、連続して取り込まれた複数のフレームの中の第二のフレームの白バランスに関する情報を検出し、検出された前記白バランスに関する情報に応じて第二のフレームにおける白バランス補正内容の更新を行う白バランス補正処理工程とを含み、
前記複数のフレームの中の一つのフレームに対しては、前記アイリス調整処理工程または前記白バランス補正処理工程のいずれか一方の処理工程のみを行ないかつ
前記連続して取り込まれた複数のフレームの中の少なくとも一部の連続して取り込まれたフレームに対しては、前記いずれか一方の処理工程のみを行なうとともに前記アイリス調整処理工程および前記白バランス補正処理工程のいずれか一方の工程が連続して行なわれないように前記第１および前記第２の処理工程を行なうことを特徴とする入力画像処理方法。
【請求項２】
前記アイリス調整内容の更新または前記白バランス補正内容の更新により得られた値が所定の値に収束した場合には、未収束であるもう一方に係る処理工程のみを行うことを特徴とする請求項１記載の入力画像処理方法。
【請求項３】
連続して取り込まれた複数のフレームの中の第一のフレームから明るさに関する情報を検出し、検出された前記明るさに関する情報に応じて前記第一のフレームにおけるアイリス調整内容の更新を行うアイリス調整処理工程と、連続して取り込まれた複数のフレームの中の第二のフレームの白バランスに関する情報を検出し、検出された前記白バランスに関する情報に応じて前記第二のフレームにおける白バランス補正内容の更新を行う白バランス補正処理工程とを含み、
前記複数のフレームの中の一つのフレームに対しては、前記アイリス調整処理工程または前記白バランス補正処理工程のいずれか一方の処理工程のみを行ないかつ
前記連続して取り込まれた複数のフレームの中の少なくとも一部の連続して取り込まれたフレームに対しては、前記いずれか一方の処理工程のみを行なうとともに前記アイリス調整処理工程および前記白バランス補正処理工程のいずれか一方の工程が連続して行なわれないように前記第１および前記第２の処理工程が行なうことを特徴とする画像入力装置。
【請求項４】
前記アイリス調整内容の更新または前記白バランス補正内容の更新により得られた値が所定の値に収束した場合には、未収束であるもう一方に係る処理工程のみを行うことを特徴とする請求項３記載の画像入力装置。
【請求項５】
コンピュータに、連続して取り込まれた複数のフレームの中の第一のフレームから明るさに関する情報を検出し、検出された前記明るさに関する情報に応じて前記第一のフレームにおけるアイリス調整内容の更新を行うアイリス調整処理工程と、連続して取り込まれた複数のフレームの中の第二のフレームの白バランスに関する情報を検出し、検出された前記白バランスに関する情報に応じて前記第二のフレームにおける白バランス補正内容の更新を行う白バランス補正処理工程とを含み、
前記複数のフレームの中の一つのフレームに対しては、前記アイリス調整処理工程または前記白バランス補正処理工程のいずれか一方の処理工程のみを実行させかつ
前記連続して取り込まれた複数のフレームの中の少なくとも一部の連続して取り込まれたフレームに対しては、前記いずれか一方の処理工程のみを実行させるとともに前記アイリス調整処理工程および前記白バランス補正処理工程のいずれか一方の工程が連続して実行されないように前記第１および前記第２の処理工程を実行させることを特徴とする入力画像処理プログラムを記憶したコンピュータに読み取り可能な記憶媒体。
【請求項６】
前記アイリス調整内容の更新または前記白バランス補正内容の更新により得られた値が所定の値に収束した場合には、未収束であるもう一方に係る処理手順のみを実行させることを特徴とする請求項５記載の入力画像処理プログラムを記憶したコンピュータに読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を扱うことの可能な情報処理機器、特に、ハードウエア資源に制約のある小型で安価、かつ低消費電力が要求されるディジタルカメラや電子手帳的な携帯用情報処理機器に適用されることで効果を発揮する入力画像処理方法およびこの入力画像処理方法が適用された画像入力装置並びに入力画像処理プログラムを記憶した記憶媒体に関する。
【０００２】
【従来の技術】
ＣＣＤ撮像素子などを用いて画像を入力する場合には、適正な露光時間を決定するアイリス調整処理、カラーフィルタの特性を考慮した色再現処理、光源による色づき具合を補正するための白バランス補正処理が少なくとも必要となってくる。
【０００３】
これらの処理のうち、アイリス調整処理と白バランス補正処理は、その時の被写体や光源の状態に応じて、処理に必要な各種のパラメータを適正な値に変える処理が必要となってくる。
【０００４】
これを実現する一般的な方法として、明るさを検出するためのセンサや色温度センサを、ＣＣＤ撮像素子とは別個に設け、これによって、被写体付近の平均的な明るさと色温度を検出し、その検出値に応じて前述の各種パラメータを決定してアイリス調整処理や白バランス補正処理を行う方法がある。
【０００５】
しかし、この方法は、明るさを検出するためのセンサや色温度センサを必要とするため、部品点数が増え機器の小型、軽量化や低消費電力化、さらには低価格化を図る上で障害となる。
【０００６】
特に、ディジタルカメラや画像を取り込むことのできる電子手帳的な携帯用情報処理機にあっては、機器の小型、軽量化、低消費電力化は勿論、低価格なものとすることがきわめて重要な課題であるので、ハード的な部品はできるだけ少なくすることが必要となってくる。
【０００７】
この問題点を解決するために、従来では、連続的に複数フレームを撮像し、一つ前の撮像フレームにおいて画像処理を行って、画面内の明るさ分布や色温度の情報を抽出し、この結果に応じて次の撮像フレームの処理パラメータを決定して処理内容を更新して行く方法が採用されている。
【０００８】
【発明が解決しようとする課題】
しかし、連続的に複数フレームを撮像し、一つ前の撮像フレームにおける各種の画像情報を抽出し、この結果に応じて次の撮像フレームの処理パラメータを決定する前述の方法は、演算処理量が膨大なものとなるため、高速なハードウエアによって実現されるのが一般的である。
【０００９】
ところが、前述したような携帯用情報処理機器においては、より低コスト、低消費電力な機器とするために、できるだけ単一のＣＰＵにて処理を行わせることが不可欠となってくる。しかし、前述したように、一つ前の撮像フレームにおける各種の抽出情報を用いて次の撮像フレームの処理パラメータを決定する方法は、演算処理が膨大であることから、品質の良い画像を得ようとすると、１つ１つのフレームについてこのような処理に多くの時間が費やされることになり、他の処理（たとえば次のフレームの画像を取り込んで表示するというような処理）に取りかかるのが遅くなるため、フレームレートが低くなって高速な処理が行えず、画像の取り込みに時間がかかったり、動画像を撮影する場合だけでなく静止画撮影する場合にも、ねらいを付けるためのモニタ状態（動画）において画像の動きに滑らかさが欠けるなどの問題があった。
【００１０】
そこで本発明は、低価格かつ低消費電力が要求される機器において、アイリス調整処理および白バランス補正処理を効率よく行い、滑らかなフレーム処理を可能とすることを目的とする。
【００１１】
【課題を解決するための手段】
前述した目的を達成するために、本発明の入力画像処理方法は、連続して取り込まれた複数のフレームの中の第一のフレームから前記明るさに関する情報を検出し、検出された前記明るさに関する情報に応じて第一のフレームにおけるアイリス調整内容の更新を行うアイリス調整処理工程と、連続して取り込まれた複数のフレームの中の第二のフレームの白バランスに関する情報を検出し、検出された前記白バランスに関する情報に応じて第二のフレームにおける白バランス補正内容の更新を行う白バランス補正処理工程とを含み、前記複数のフレームの中の一つのフレームに対しては、前記アイリス調整処理工程または前記白バランス補正処理工程のいずれか一方の処理工程のみを行ないかつ前記連続して取り込まれた複数のフレームの中の少なくとも一部の連続して取り込まれたフレームに対しては、前記いずれか一方の処理工程のみを行なうとともに前記アイリス調整処理工程および前記白バランス補正処理工程のいずれか一方の工程が連続して行なわれないように前記第１および前記第２の処理工程を行なうことを特徴としている。
【００１２】
また本発明の入力画像処理方法は、前記アイリス調整内容の更新または前記白バランス補正内容の更新により得られた値が所定の値に収束した場合には、未収束であるもう一方に係る処理工程のみを行うことを特徴としている。
【００１３】
また本発明の画像入力装置は、連続して取り込まれた複数のフレームの中の第一のフレームから明るさに関する情報を検出し、検出された前記明るさに関する情報に応じて前記第一のフレームにおけるアイリス調整内容の更新を行うアイリス調整処理工程と、連続して取り込まれた複数のフレームの中の第二のフレームの白バランスに関する情報を検出し、検出された前記白バランスに関する情報に応じて前記第二のフレームにおける白バランス補正内容の更新を行う白バランス補正処理工程とを含み、前記複数のフレームの中の一つのフレームに対しては、前記アイリス調整処理工程または前記白バランス補正処理工程のいずれか一方の処理工程のみを行ないかつ前記連続して取り込まれた複数のフレームの中の少なくとも一部の連続して取り込まれたフレームに対しては、前記いずれか一方の処理工程のみを行なうとともに前記アイリス調整処理工程および前記白バランス補正処理工程のいずれか一方の工程が連続して行なわれないように前記第１および前記第２の処理工程が行なうことを特徴としている。
【００１４】
また本発明の画像入力装置は、前記アイリス調整内容の更新または前記白バランス補正内容の更新により得られた値が所定の値に収束した場合には、未収束であるもう一方に係る処理工程のみを行うことを特徴としている。
【００１５】
また本発明の入力画像処理プログラムを記憶したコンピュータに読み取り可能な記憶媒体は、コンピュータに、連続して取り込まれた複数のフレームの中の第一のフレームから明るさに関する情報を検出し、検出された前記明るさに関する情報に応じて前記第一のフレームにおけるアイリス調整内容の更新を行うアイリス調整処理工程と、連続して取り込まれた複数のフレームの中の第二のフレームの白バランスに関する情報を検出し、検出された前記白バランスに関する情報に応じて前記第二のフレームにおける白バランス補正内容の更新を行う白バランス補正処理工程とを含み、前記複数のフレームの中の一つのフレームに対しては、前記アイリス調整処理工程または前記白バランス補正処理工程のいずれか一方の処理工程のみを実行させかつ前記連続して取り込まれた複数のフレームの中の少なくとも一部の連続して取り込まれたフレームに対しては、前記いずれか一方の処理工程のみを実行させるとともに前記アイリス調整処理工程および前記白バランス補正処理工程のいずれか一方の工程が連続して実行されないように前記第１および前記第２の処理工程を実行させることを特徴としている。
【００１６】
また本発明の入力画像処理プログラムを記憶したコンピュータに読み取り可能な記憶媒体は、前記アイリス調整内容の更新または前記白バランス補正内容の更新により得られた値が所定の値に収束した場合には、未収束であるもう一方に係る処理手順のみを実行させることを特徴としている。
【００２０】
以上のように本発明は、一つのフレームにおいて、当該フレームにおける明るさに関する情報の検出を行ったのち、その検出結果に基づくアイリス調整内容の更新を行う処理と、当該フレームにおける白バランスに関する情報の検出を行ったのち、その検出結果に基づく白バランス補正内容の更新を行う処理のいずれかのみを行うようにしている。これによれば、１つ１つのフレームにおける処理は非常に軽いものとなり、フレームレートが高くなり、モニタ表示画面に映し出される画像の動きをきわめて滑らかなものとすることができる。これによって、たとえば、カメラボタンを半押し状態で動画を取り込みながら狙いを付けてある時点でカメラボタンを押し込んでその時点の静止画を取り込むというような操作を行う場合、モニタ画面に映し出される動画は滑らかな動きをするので、ユーザの所望とする画像を的確に捉えることができ、操作性を大幅に向上させることができる。
【００２１】
また、当該フレームにおける明るさに関する情報の検出を行ったのち、その検出結果に基づくアイリス調整内容の更新を行う処理工程と、当該フレームにおける白バランスに関する情報の検出を行ったのち、その検出結果に基づく白バランス補正内容の更新を行う処理工程を、連続するフレームにおいて交互に行い、それぞれのフレームにおいて更新されたアイリス調整内容と白バランス補正内容とを後続のフレームに反映させて画像処理を行うので、幾つかのフレーム処理を連続的に行うことで、適切なアイリス調整（具体的にはシャッタ時間調整）と白バランス補正が行え、しかも、１つ１つのフレームにおいては、当該フレームにおける明るさに関する情報の検出を行ったのち、その検出結果に基づくアイリス調整内容の更新を行う処理工程および当該フレームにおける白バランスに関する情報の検出を行ったのち、その検出結果に基づく白バランス補正内容の更新を行う処理工程のいずれか１つしか行わないので、フレームごとの処理は軽く、フレームレートを高くすることができ、なめらかな動画をモニタ画面上に表示することができる。
【００２２】
さらに、当該フレームにおける明るさに関する情報の検出を行ったのち、その検出結果に基づくアイリス調整内容の更新を行う処理工程と、当該フレームにおける白バランスに関する情報の検出を行ったのち、その検出結果に基づく白バランス補正内容の更新を行う処理工程を連続するフレームにおいて交互に行った結果、一方の処理行程により得られた更新結果が所定の値に収束した場合には、収束していない他方の処理行程のみを、以降のフレームについて行うようにすることで、たとえば、白バランス補正処理は、好結果が得られるまでに白バランス補正係数の値が収束してきたが、アイリス調整処理（シャッタ時間調整処理）がまだ好結果が得られるまでにシャッタ時間が収束しないというような場合に、それ以降のフレームについては、シャッタ時間更新処理のみを行わせるということも可能となる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照しながら説明する。なお、この実施の形態では、入力すべき画像を動画としてモニタしながら最終的に静止画として取り込む場合について説明する。たとえば、シャッタボタンを半押し状態とし、取り込むべき画像を動画として捉えてその動画をモニタしながら、最終的にシャッタボタンを押し込んでその時点の画像を静止画として取り込むような場合である。したがって、シャッタを半押し状態としている間の動画状態の時にアイリス調整処理と白バランス補整処理を行う。
【００２４】
図１は本発明の実施の形態である画像入力装置の概略構成を示すものであり、ＣＣＤカメラ１、このＣＣＤカメラ１が取り込んだ画像データから画素データを抽出する画素データ抽出手段２、ＣＣＤカメラ１を制御するＣＣＤカメラ制御手段３、前述の画素データ抽出手段２により抽出された画素データを記憶する画素データ記憶手段（ＲＡＭ）４、装置全体の制御を行う制御手段としてのＣＰＵ５、ＣＣＤカメラ１の動作開始終了をユーザが指示するカメラボタン（シャッタボタン）６、表示するデータを格納する表示メモリ（ＶＲＡＭ）７、取り込まれた画像を表示する画像表示手段８、これら各構成要素を接続するシステムバス９などから構成されている。
【００２５】
なお、この図１に示される構成は、本発明を説明するに必要な構成要素のみしか示されていないが、本発明が適用される機器が、たとえば、電子手帳的な携帯用情報処理機器であれば、それに必要な様々な構成要素が設けられることは勿論である。
【００２６】
本発明の実施の形態では、画像を取り込む際、前述したように、まず、カメラボタン６を半押し状態とし、取り込むべき画像を動画として捉えてその動画をモニタしながら、最終的にカメラボタン６を押し込んでその時点の画像を静止画として取り込むような場合であり、そのカメラボタン６を半押し状態としている間の動画状態の時にアイリス調整処理と白バランス補整処理を行う。このアイリス調整処理と白バランス補整処理はＣＰＵ５が行う。
【００２７】
以下、本発明が行う入力画像処理方法の実施の形態について図２のフローチャートを参照しながら説明する。なお、この装置のシステムはカメラボタン６が半押し状態に押されることにより動作を開始するようになっている。まず始めに、シャッタ時間と白バランス係数は予め決められた値（初期値）が設定される（ステップｓ１）。この装置の処理の流れは、処理するフレームの番号が偶数か奇数かによって分岐する（ステップｓ２）。この場合、１番目のフレームであり、フレーム番号は奇数であるので、図１における矢印Ａ側の処理手順に沿った処理が行われる。この矢印Ａ側の処理（第１の処理行程Ａという）は、ステップｓ３〜ステップｓ１０の処理（詳細は後述）を行うものであり、ある１つのフレームに対して行われる処理である。まず、ＣＣＤカメラ１により、初期値として設定されたシャッタ時間だけＣＣＤ撮像素子に光電荷を蓄積して最初の１フレーム分（１画面分）の画像データを保持する（ステップｓ３）。続いて、この最初の１フレーム（１番目のフレームという）の画像データをディジタル変換した後の画素データを抽出し、それを1ラインごとに順次、画素データ記憶手段４に転送する（ステップｓ４）。ＣＰＵ１では、画素データ記憶手段４上に抽出された１ラインの画像データに対して、通常行われている色再現処理を行いながら、各画素の明るさを算出し、その値を積算して行く（ステップｓ５，ｓ６）。この１ラインの各画素の明るさを算出する処理は、当該ラインの各画素の明るさの和を単純に求めることによっても得られるが、ここでは、次のようにして明るさを求める。
【００２８】
たとえば、各画素の明るさは色再現処理において使用する表色系によっても異なるが、その表色系がＲＧＢ表色系であれば、概ねＲ：Ｇ：Ｂ＝６：３：１の比によって明るさに寄与しているとされている。したがって、ＲＧＢ表色系である場合、各画素についてＲ：Ｇ：Ｂ＝６：３：１の比率を掛けて求められる各画素の明るさへの寄与の値を積算して行けばよい。
【００２９】
なお、この１ラインの明るさを求める処理は、色再現処理を行いながら行うことができる。この色再現処理は、ＣＣＤ撮像素子のカラーフィルタによる撮像時の表色系と、最終的に表示を行うときの表色系の変換を行うもので、通常は、予めＣＣＤ撮像素子ごとに定められたリニアマトリクス演算などによって行われる。この色再現処理は、ごく一般的に行われる手法であるのでここでは詳細な説明は省略する。
【００３０】
このようにして現在処理中のラインにおいて、色再現処理を行いながら明るさの情報の収集が終了すると、予め設定された白バランス補正係数（この場合は、まだ初期値のまま）に基づいた白バランス補正処理が施される（ステップｓ７）。この白バランス補正処理は、白バランス補正係数に基づいて、各色を個々に強調あるいは抑制する処理であり、これによって、たとえば、光源の色温度の違いによる「色の見え具合」の違いを少なくすることができる。具体的には、ＲＧＢ表色系であれば、一例として、Ｇを基準として、ＲとＢに係数を乗算するというような処理を行う。このような白バランス補正処理が施された１ラインはその時点の入力ラインとして扱うことができ、モニタ画像として表示できる（ステップｓ８）。
【００３１】
そして、現在取り込まれたフレーム（１番目のフレーム）内のすべてのラインについて処理が終了するまで（ステップｓ９）、ステップｓ４に処理を戻し、順次のラインについて、ステップｓ４〜ｓ９の処理を繰り返し行う。
【００３２】
以上のような処理をすべてのラインについて行うことで、現在取り込まれた１番目のフレームについて、明るさに関する情報収集処理と初期設定された白バランス補正係数による白バランス補正処理が終了する。
【００３３】
第１の処理行程Ａでは、これに続いて当該フレーム全体（１画面分）の明るさの情報（ステップｓ６で求められた積算値）に応じたシャッタ時間を算出して、そのシャッタ時間を新たなシャッタ時間とする処理（シャッタ時間の更新処理）を行う（ステップｓ１０）。
【００３４】
つまり、前述のステップｓ４〜ｓ８の処理を全ライン分繰り返すことによって求められた明るさの積算値に基づいて、たとえば、当該フレーム全体（１画面全体）の明るさの平均値を求めるというような処理を行い、それに基づいたシャッタ時間を算出し、そのシャッタ時間を新たなシャッタ時間とする。
【００３５】
この明るさの情報に基づいてシャッタ時間を決定する処理は、現在処理対象となっているフレームの明るさを示す値と、予め設定された値とを比較して、当該フレームの明るさを示す値が設定値よりも大きければ、シャッタ時間を短くし、当該フレームの明るさを示す値が設定値よりも小さければ、シャッタ時間を長くするというような処理である。たとえば、当該フレームの明るさを示す値と設定値との比を求め、その比をこれまでのシャッタ時間に掛け算し、その掛け算して得られた値を新たなシャッタ時間とする。
【００３６】
なお、この処理で用いられる前述の予め設定された値というのは、機器に使用されるＣＣＤ撮像素子の特性などに基づいて予め設定された明るさを表す値であり、この値は固定的な値である。
【００３７】
このステップｓ１０の処理がアイリス調整処理内容の更新処理である。このアイリス調整内容の更新処理は、これまでの説明では、当該フレームの明るさを示す値と設定値とを比較して、その比較結果に応じて、シャッタ時間を算出してその算出したシャッタ時間を新たなシャッタ時間とする処理であり、シャッタ時間の更新が主な処理であったが、実際には、たとえば、適切なシャッタ時間を求めるために、１つのフレームが終了したら、輝度値の入力と出力の関係をある関数で表し、その関係を表すテーブルを作成するというような処理も行うことが必要な場合も考えられ、このようなテーブルの内容を書き換える処理をも含めて、アイリス調整処理内容の更新処理とすることも想定するものである。
【００３８】
以上のようにして、１番目のフレームについてステップｓ２〜ｓ１０までの処理がなされると、引き続き、後続のフレームを処理すべきであれば（ステップｓ１１）、ステップｓ２に処理を戻す。後続の処理をすべきか否かの判断は、例えば、ユーザがボタンを半押しすることをやめ、ボタンが離されたことが検出された場合に、処理を中止するというような基準で行なえばよい。
【００３９】
ステップｓ２に処理が戻った場合、処理対象のフレームは２番目のフレームであり偶数であるので、図２における矢印Ｂ側の処理手順に沿った処理が行われる。この矢印Ｂ側の処理（第２の処理行程Ｂという）は、第１の処理行程Ａと同様、ステップｓ３〜ステップｓ５の処理を行った後、ステップｓ６の代わりにステップｓ１２を行い、続いて、ステップｓ７〜ｓ８を行ない、さらにステップｓ９と同等のステップｓ１３の判断と、ステップｓ１０の代わりにステップｓ１４の処理（詳細は後述）を行うものであり、第1の処理行程Aと同様、ある１つのフレームに対して行われる処理である。
【００４０】
まず、第1の処理行程Aと同じ処理（ステップｓ３）により、ＣＣＤカメラ１では、2番目のフレームの画像データを保持する。このとき、この２番目のフレームの画像データを取り込む際のシャッタ時間は、１番目のフレームにて決定されたシャッタ時間を用い、このシャッタ時間に基づく電荷の蓄積が行われる。
【００４１】
続いて、第1の処理行程Aと同じく、このフレームの各画素の画素データを抽出し、それを画素データ記憶手段４に順次転送する（ステップｓ４）。
【００４２】
ここでは、ＣＰＵ１は、画素データ記憶手段４上に抽出された１ラインの画像データごとに、通常行われている色再現処理（ステップｓ５）を行いながら、今度は、各色のバランス情報を収集する（ステップｓ１２）。具体的には、ＲＧＢ各色ごとに画素値を別個に積算して行く。
【００４３】
このようにして現在処理中のラインにおいて、色再現処理を行いながら各色のバランス情報の収集が終了すると、第1の処理行程Aの場合と同じく、この時点における最新の白バランス補正係数に基づいた白バランス補正処理が施される（ステップｓ７）。なお、この時点においては、白バランス補正係数はまだ一回も更新されておらず、初期値のままである。したがって、初期値による白バランス補正処理が施され、その白バランス補正が施された１ラインはその時点の入力ラインとして扱うことができ、モニタ画像として表示される（ステップｓ８）。
【００４４】
そして、現在取り込まれたフレーム内のすべてのラインについて処理が終了したか否かを判断し（ステップｓ１３）、終了していなければ、ステップｓ４に処理が戻り、次のラインについて、ステップｓ４〜ｓ５、ｓ１２、ｓ７〜ｓ８の処理を行う。
【００４５】
以上のような処理をすべてのラインについて行うことで、現在取り込まれたフレーム（２番目のフレーム）について、ＲＧＢ各色ごとの画素値の積算処理（白バランス情報の収集）と初期値による白バランス補正処理が終了する。
【００４６】
そして、２番目のフレームについて白バランス情報の収集と白バランス補正処理が終了すると、当該フレーム全体における各色（ＲＧＢ）ごとの画素値の積算値を基にそのフレーム全体（１画面全体）の白バランス情報を求める処理（たとえば平均値を求めるというような処理）を行い、それに基づく白バランス補正係数の更新を行う（ステップｓ１４）。
【００４７】
この２番目のフレーム全体における各色（ＲＧＢ）ごとの画素値の積算値を用いて白バランス補正係数を更新する処理は、各ラインごとにステップｓ１２で求められた各色（ＲＧＢ）ごとの画素値の積算値の比が、予め設定された各色（ＲＧＢ）ごとの画素値の比と同等になるように、各色に対する強調あるいは抑制の係数を算出する処理である。ここでの予め設定された各色ごとの画素値の比というのは、機器によって予め決定されている値である。つまり、機器によって予めどの程度の色温度の画像を出力するかが設定されているが、その色温度とするには、出力すべきＲ・Ｇ・Ｂのそれぞれの画素積算値をどのような比とすればよいかが決められている。したがって、予め設定された各色ごとの画素積算値の比というのは、このようにして決定された比を指しており、この比は固定的な数値である。
【００４８】
したがって、たとえば、あるフレームにおいて、赤みがかかった画像が入力されているとすれば、ＲＧＢ表色系のＲの積算値が優勢であるということになるが、このＲの積算値の割合が、予め定めた各色（ＲＧＢ）ごとの画素積算値の比に適合するような係数を求める。
【００４９】
このようにして白バランス補正係数が求められると、その白バランス補正係数を新たな白バランス補正係数とする。
【００５０】
以上のような処理を行うことにより、１番目のフレームと２番目のフレームについて処理が終了したことになる。
【００５１】
つまり、１番目のフレームにおいては、色再現処理を行いながら、そのフレームの明るさの情報を収集し、初期値による白バランス補正処理を行ったのち、収集したフレームの明るさの情報に基づいて、シャッタ時間を決定し、これを新たなシャッタ時間とする（シャッタ時間の更新）処理である。また、２番目のフレームは、更新されたシャッタ時間によってＣＣＤ撮像素子に電荷を蓄積し、色再現処理を行いながら、その２番目のフレームにおける各色（ＲＧＢ）のバランス情報を収集し、１番目のフレームと同様、白バランス補正係数の初期値をそのまま用いた白バランス補正処理を行ったのち、この２番目のフレームにおける各色のバランス情報に基づいて、白バランス補正係数を決定し、これを新たな白バランス補正係数とする（白バランス補正係数の更新）処理である。
【００５２】
したがって、１番目のフレームによってシャッタ時間が新たなシャッタ時間に更新され、２番目のフレームによって白バランス補正係数が新たな白バランス補正係数に更新されることになる。
【００５３】
ところで、この図２のフローチャートにおいて、第１の処理行程Ａにおける色再現処理（ステップｓ５）、明るさ算出積算処理（ステップｓ６）、白バランス補正処理（ステップｓ７）の処理順番は、フローチャートとして表す都合上、色再現処理を行った後、明るさ算出積算処理を行い、次に、白バランス補正処理を行うという順序としたが、この通りでなくてもよく、これらの処理順番は特に限定されるものではない。これは、第２の処理行程Ｂにおける色再現処理（ステップｓ５）、各色独立に画素値の積算処理（ステップ１２）、白バランス補正処理（ステップｓ７）についても同様である。
【００５４】
次に３番目のフレームを取り込むことになるが、このときはすでに、シャッタ時間および白バランス補正係数は更新された値となっているため、これら更新されたシャッタ時間および白バランス補正係数を用いて処理を行う。
【００５５】
つまり、この３番目のフレームは１番目のフレームと同様、第１の処理行程Ａを行う。この第１の処理行程Ａにおいて、ステップｓ３の電荷蓄積処理は１番目のフレーム処理により更新されたシャッタ時間（２番目のフレームで用いたシャッタ時間）により行われる。また、ステップｓ７の白バランス補正処理は、この場合、２番目のフレーム処理により更新された白バランス補正係数を用いて行われる。
【００５６】
そして、ステップｓ７で積算されたこの３番目のフレームにおける明るさの情報に基づいてシャッタ時間が新たに更新される（ステップｓ１０）。
【００５７】
次に４番目のフレームの処理に入るが、この４番目のフレームは２番目のフレームと同様、第２の処理行程Ｂを行う。この第２の処理行程Ｂにおいて、ステップｓ３の電荷蓄積処理は３番目のフレーム処理により更新されたシャッタ時間により行われる。また、ステップｓ７の白バランス補正処理は、２番目のフレーム処理により更新された白バランス補正係数をそのまま用いて行われる。
【００５８】
そして、ステップｓ１２で積算されたこの４番目のフレームにおける各色のバランス情報に基づいて、白バランス補正係数を決定し、これを新たな白バランス補正係数とする（白バランス補正係数の更新）処理を行う（ステップｓ１４）。
【００５９】
このように、奇数番目のフレームではシャッタ時間の更新がなされ、偶数番目のフレームでは白バランス補正係数の更新がなされることになり、段々と良好なシャッタ時間と白バランス係数になり、やがては、最適な画像が取り出されるようなシャッタ時間と白バランス係数に収束する。
【００６０】
このような交互の処理を行うことによって、各フレームにおける処理時間は、シャッタ時間の更新と白バランス補正係数の更新の両方を行う場合に比べて、概ね半分とすることができ、モニタ画像をスムーズに映し出すことができる。これによって、シャッタボタンを半押し状態とし、被写体を動画として取り込みながら狙いを付けてシャッタボタンを押し込んで、その時点の画像を静止画として取り込むような操作を行う場合、滑らかな動画がモニタに映し出されるので、操作し易いものとなる。
【００６１】
ところで、以上の処理はユーザがシャッタボタンを半押しの状態の時に行われるが、シャッタボタンを最後まで押し込むタイミングについては、ユーザは特に意識する必要はない。つまり、ユーザがシャッタボタンを半押し状態にして被写体をモニタしながらある時点でシャッタボタンを押し込む操作を行うが、モニタしている時間内で、シャッタ時間と白バランス補正係数をともに或る適正な値に収束させることは十分可能となるからである。また、必要に応じて、シャッタ時間と白バランス補正係数がともに或る適正な値に収束した以降に、シャッタボタンの押し込みが可能となるというようにすることもできる。
【００６２】
以上説明した処理は、シャッタ時間更新処理と白バランス補正係数更新処理を１つのフレームずつ交互に行うことで、シャッタ時間更新処理と白バランス補正係数更新処理の両方を行う例について説明したが、交互に行うのではなく、シャッタ時間更新処理と白バランス補正係数更新処理のいずれか一方を連続して行うことも可能であり、また、始めからシャッタ時間更新処理と白バランス補正係数更新処理のいずれか一方のみを行うようにすることも可能である。
【００６３】
すなわち、本発明は、個々のフレームにおいては、当該フレームにおける明るさに関する情報の検出を行ったのち、その検出結果に基づくアイリス調整内容の更新を行う第１の処理行程と、白バランスに関する情報の検出を行ったのち、その検出結果に基づく白バランス補正内容の更新を行う第２の処理行程のいずれか一方の処理行程のみを行うことを可能としている。これを利用して、たとえば、あるフレームにおいてシャッタ時間更新処理を行ったのち、次のフレームについてもシャッタ時間更新処理を行うようにすることも可能である。このように、連続して同じ処理を行わせる必要も時としてあり得る。たとえば、白バランス補正処理については、好結果が得られるまでに白バランス補正係数の値が収束してきたが、アイリス調整処理（シャッタ時間調整処理）がまだ好結果が得られるまでに良好なシャッタ時間に収束しないというような場合もある。このような場合は、シャッタ時間更新処理のみを続行させる必要がある。このような場合には、白バランス補正係数更新処理よりも、シャッタ時間更新処理を優先して連続的に行うことが望ましい。
【００６４】
このような処理を行わせるには、たとえば、図３に示すような処理手順とすればよい。図３は図２のフローチャートにおいて、後続のフレームを継続する判断（ステップｓ１１）の後に、シャッタ時間と白バランス補正係数の一方だけが収束した場合を判断する処理（ステップｓ１５，ｓ１６）を設けたもので、シャッタ時間が収束せず白バランス補正係数は収束していれば、第１の処理行程Ａのみを繰り返し行い（ステップｓ１５）、シャッタ時間は収束したが白バランス補正係数が収束していなければ第２の処理行程Ｂのみを繰り返し行う（ステップｓ１６）。
【００６５】
このような処理は、第１の処理行程Ａと第２の処理行程Ｂとを別個のフレームで行うことにより容易に実現できるものであり、アイリス調整と白バランス補正を効率よく、しかも、それぞれのフレームにおいて少ない処理量にて行うことができる。
【００６６】
また、シャッタ時間と白バランス補正係数が、共に同じような収束の度合いである場合には、フレームの奇偶によって分岐する処理（ステップｓ２）まで処理を戻し、これまで説明したようなフレーム番号に基づく処理を順次行い、両者を同様に収束させていく。
【００６７】
なお、本発明は以上説明した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。たとえば、前述の実施の形態では、シャッタボタンを半押しにした状態で、動画を取り込みながら狙いを付けて、或る時点の画像を静止画として取り込むような場合の処理について説明したが、これに限られるものではなく、たとえば、ビデオカメラのような動画を主として取り込むようなものにも適用できることは勿論である。
【００６８】
また、画面全体の明るさの情報を得る処理を行う際、画面位置に応じた重み付けを行うようにしてもよい。たとえば、画面の中央部の画素に対しては重み付けを大きくし周辺部の画素に対しては重み付けを小さくする方法や、画面の下部の画素に対しては重み付けを大きくし、上部の画素に対しては重み付けを小さくする方法などが考えられる。
【００６９】
このような方法を採用することで、重み付けを大きくした部分の明るさが処理に反映され、より好結果が得られる。このように、中央部の重み付けを大きくすることで、逆光あるいは夜景の中の人物などを取り込むときに良好な画像が得られる。また、画面の下部の重み付けを大きくすることで、青空を背景とする人物などを取り込む際に良好な画像を得ることができる。ただし、そのときの状況に応じて両者を切り替えて行うことは処理が面倒になるので、両方に対応できるように、たとえば、画面中央部の少し下部の部分を最も重み付けを大きくするなどの設定を行うことが一般的である。
【００７０】
また、すべての画素について明るさを算出するのではなく、たとえば、数画素置き、あるいは数ライン置きに算出するようにしてもよい。このような処理とすれば、処理量を大幅に減らすことができ、かつ、画面全体の明るさの情報を得るには大きな支障とならない。
【００７１】
さらに、このような飛び飛びの画素による明るさの算出処理を行う際、明るさの算出対象とする画素を画面の中央ほど密に、周辺ほど疎に選ぶことにより、処理量を減らしながら前述の逆光補正の効果も得られる。
【００７２】
さらに、前述の実施の形態では、表色系としてＲＧＢ表色系について説明したが、シアン、マゼンタ、イエロなど他の表色系についても同様に実施できる。
【００７３】
また、以上説明した本発明の入力画像処理を行う処理プログラムは、フロッピィディスク、光ディスク、ハードディスクなどの記憶媒体に記憶させておくことができ、本発明はその記憶媒体をも含むものである。また、ネットワークから処理プログラムを得るようにしてもよい。
【００７４】
【発明の効果】
以上説明したように本発明は、個々のフレームにおいて、第１の処理行程（当該フレームにおける明るさに関する情報の検出を行ったのち、その検出結果に基づくアイリス調整内容の１つとしてシャッタ時間の更新を行う処理）と、第２の処理行程（当該フレームにおける白バランスに関する情報の検出を行ったのち、その検出結果に基づく白バランス補正内容の更新を行う処理）のいずれかのみを行うようにしている。これによれば、１つ１つのフレームにおける処理は非常に軽いものとなり、フレームレートが高くなり、モニタ表示画面に映し出される画像の動きをきわめて滑らかなものとすることができる。これによって、たとえば、カメラボタンを半押し状態で動画を取り込みながら狙いを付けてある時点でカメラボタンを押し込んでその時点の静止画を取り込むというような操作を行う場合、モニタ画面に映し出される動画は滑らかな動きをするので、ユーザの所望とする画像を的確に捉えることができ、操作性を大幅に向上させることができる。
【００７５】
また、前記第１、第２の処理行程を、連続するフレームにおいて交互に行い、それぞれのフレームにおいて更新されたアイリス調整内容と白バランス補正内容とを後続のフレームに反映させて画像処理を行うようにすることにより、幾つかのフレーム処理を連続的に行うことによって、適切なアイリス調整（具体的にはシャッタ時間調整）と白バランス補正が行え、しかも、１つ１つのフレームにおいては、第１の処理行程または第２の処理行程のいずれか１つしか行わないので、フレームごとの処理は軽く、フレームレートを高くすることができ、なめらかな動画をモニタ画面上に表示することができる。
【００７６】
さらに、前記第１、第２の処理行程を連続するフレームにおいて交互に行った結果、一方の処理行程により得られた更新結果が所定の値（良好な画像が得られる値）に収束した場合には、収束していない他方の処理行程のみを、以降のフレームについて行うようにすることも可能であり、これによれば、たとえば、白バランス補正処理は、好結果が得られるまでに白バランス補正係数の値が収束してきたが、アイリス調整処理（シャッタ時間調整処理）がまだ好結果が得られるまでにシャッタ時間が収束しないというような場合に、それ以降のフレームについては、シャッタ時間更新処理のみを行わせるということも可能となり、個々のフレームごとの処理量を少なくして効率的なアイリス調整処理と白バランス補正処理が可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態である画像入力装置の概略的な構成を示すブロック図。
【図２】本発明の入力画像処理方法の実施の形態を説明するフローチャート。
【図３】本発明の入力画像処理方法の実施の形態において第１の処理行程または第２の処理行程のいずれかを連続させて行う処理手順を説明するフローチャート。
【符号の説明】
１  ＣＣＤカメラ
２  画素データ抽出手段
３  ＣＣＤカメラ制御手段
４  画素データ記憶手段
５  ＣＰＵ
６  カメラボタン（シャッタボタン）
７  表示メモリ
８  表示手段
９  システムバス
【図１】
0003777733.tif 000002
【図２】
0003777733.tif 000003
【図３】
0003777733.tif 000004