(57)【要約】【課題】急激な輝度変化に追従した露出制御により得られた画像データであっても、適正に補正された輝度で画像データを再生可能とする。【解決手段】画像処理装置は、撮像手段より出力される画像データに基づいて、目標の露出制御量である第１の露出制御量と実際の露出制御量である第２の露出制御量とを決定し（ステップＳ２０３）、前記第２の露出制御量に基づいて露出制御を行う（ステップＳ２０４）。次いで、画像処理装置は、前記第１の露出制御量と前記第２の露出制御量との差分を算出し（ステップＳ２０５）、その差分を用いて、露出制御された画像データの輝度を補正する。【選択図】図４
2007189524.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段より出力される画像データに基づいて、目標の露出制御量である第１の露出制御量と実際の露出制御量である第２の露出制御量とを決定する露出制御量決定手段と、
前記露出制御量決定手段により決定された前記第２の露出制御量に基づいて露出制御を行う露出制御手段と、
前記第１の露出制御量と前記第２の露出制御量との差分を算出する差分算出手段と、
前記差分算出手段により算出された差分を用いて、前記露出制御手段により露出制御された画像データの輝度を補正する輝度補正手段とを有することを特徴とする画像処理装置。
【請求項２】
前記輝度補正手段による処理の前段に、前記撮像手段より出力される画像データに対して行われるγ変換に用いられる所定のγテーブルと逆の特性を有する逆γテーブルを用いた変換処理を行う逆γ変換処理手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記差分算出手段は、前記第１の露出制御量と前記第２の露出制御量との差分をフレーム毎に算出し、前記輝度補正手段は、該当する差分を用いて対象となるフレームの輝度を補正することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記画像データは動画像データであり、前記第１の露出制御量は動画像撮影中に可変的に決定されることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
撮像手段より出力される画像データに基づいて、実際の露出制御量と目標の露出制御量を得るための差分データとを取得する取得手段と、
前記取得手段により取得された前記露出制御量と前記差分データとに基づいて露出制御を行う露出制御手段と、
前記露出制御手段により露出制御された画像データの輝度を補正する輝度補正手段とを有することを特徴とする画像処理装置。
【請求項６】
前記輝度補正手段による処理の前段に、前記撮像手段より出力される画像データに対して行われるγ変換に用いられる所定のγテーブルと逆の特性を有する逆γテーブルを用いた変換処理を行う逆γ変換処理手段を更に有することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記差分算出手段は、前記実際の露出制御量と前記目標の露出制御量との差分をフレーム毎に算出し、前記輝度補正手段は、該当する差分を用いて対象となるフレームの輝度を補正することを特徴とする請求項５又は６に記載の画像処理装置。
【請求項８】
前記画像データは動画像データであり、前記目標の露出制御量は動画像撮影中に可変的に決定されることを特徴とする請求項５乃至７の何れか１項に記載の画像処理装置。
【請求項９】
撮像手段より出力される画像データに基づいて、目標の露出制御量である第１の露出制御量と実際の露出制御量である第２の露出制御量とを決定する露出制御量決定ステップと、
前記露出制御量決定ステップにより決定された前記第２の露出制御量に基づいて露出制御を行う露出制御ステップと、
前記第１の露出制御量と前記第２の露出制御量との差分を算出する差分算出ステップと、
前記差分算出ステップにより算出された差分を用いて、前記露出制御ステップにより露出制御された画像データの輝度を補正する輝度補正ステップとを含むことを特徴とする画像処理方法。
【請求項１０】
撮像手段より出力される画像データに基づいて、実際の露出制御量と目標の露出制御量を得るための差分データとを取得する取得ステップと、
前記取得ステップにより取得された前記露出制御量と前記差分データとに基づいて露出制御を行う露出制御ステップと、
前記露出制御ステップにより露出制御された画像データの輝度を補正する輝度補正ステップとを含むことを特徴とする画像処理方法。
【請求項１１】
請求項９又は１０に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、露出制御された画像データを適正に輝度補正することが可能な画像処理装置及び画像処理方法に関するものである。
【背景技術】
【０００２】
近年、家庭用ビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及している。これらの撮像機器には、静止画・動画を記録・再生する機能を有しており、さらに動画の１コマを抜き出して印刷することもできている。
【０００３】
動画の映像は通常、露出が変わったときには急激な輝度変化を避けるため、目標値に対して、徐々に近づける処理を行っている。この近づけている最中の画像を抜きだしてプリントしようとすると、露出制御中なので適性輝度でない場合がある。
【０００４】
これらの問題を鑑みて特許文献１では、抜き出す画像の前後の画像と比較して、適正輝度を得ようとする方法が提案されている。
【０００５】
【特許文献１】特開２００５−２９４９１９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示される方法では、あくまでも予測値に基づくもので、露出制御中にシーンが変化してしまうと、正しい露出の画像がないので、予測することができなくなってしまう。
【０００７】
そこで、本発明の目的は、急激な輝度変化に追従した露出制御により得られた画像データであっても、適正に補正された輝度で画像データを再生可能とすることにある。
【課題を解決するための手段】
【０００８】
本発明の画像処理装置の第１の態様は、撮像手段より出力される画像データに基づいて、目標の露出制御量である第１の露出制御量と実際の露出制御量である第２の露出制御量とを決定する露出制御量決定手段と、前記露出制御量決定手段により決定された前記第２の露出制御量に基づいて露出制御を行う露出制御手段と、前記第１の露出制御量と前記第２の露出制御量との差分を算出する差分算出手段と、前記差分算出手段により算出された差分を用いて、前記露出制御手段により露出制御された画像データの輝度を補正する輝度補正手段とを有することを特徴とする。
本発明の画像処理装置の第２の態様は、撮像手段より出力される画像データに基づいて、実際の露出制御量と目標の露出制御量を得るための差分データとを取得する取得手段と、前記取得手段により取得された前記露出制御量と前記差分データとに基づいて露出制御を行う露出制御手段と、前記露出制御手段により露出制御された画像データの輝度を補正する輝度補正手段とを有することを特徴とする。
本発明の画像処理方法の第１の態様は、撮像手段より出力される画像データに基づいて、目標の露出制御量である第１の露出制御量と実際の露出制御量である第２の露出制御量とを決定する露出制御量決定ステップと、前記露出制御量決定ステップにより決定された前記第２の露出制御量に基づいて露出制御を行う露出制御ステップと、前記第１の露出制御量と前記第２の露出制御量との差分を算出する差分算出ステップと、前記差分算出ステップにより算出された差分を用いて、前記露出制御ステップにより露出制御された画像データの輝度を補正する輝度補正ステップとを含むことを特徴とする。
本発明の画像処理方法の第２の態様は、撮像手段より出力される画像データに基づいて、実際の露出制御量と目標の露出制御量を得るための差分データとを取得する取得ステップと、前記取得ステップにより取得された前記露出制御量と前記差分データとに基づいて露出制御を行う露出制御ステップと、前記露出制御ステップにより露出制御された画像データの輝度を補正する輝度補正ステップとを含むことを特徴とする。
本発明のプログラムは、前記画像処理方法の第１又は第２の態様をコンピュータに実行させることを特徴とする。
本発明のコンピュータ読み取り可能な記録媒体は、前記プログラムを記録したことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、急激な輝度変化に追従した露出制御により得られた画像データであっても、目標露出制御量と実際の露出制御量との差分を用いて輝度補正を行うため、適正に補正された輝度で画像データを再生することが可能となる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
図１は、本発明の実施形態に係る画像処理装置に構成を示すブロック図である。
【００１２】
図１において、１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッタ、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。
【００１３】
１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。
【００１４】
２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。
【００１５】
また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、画像処理回路２０は、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。
【００１６】
さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１７】
２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。
【００１８】
Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
【００１９】
２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。
【００２０】
画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。
【００２１】
また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することができる。
【００２２】
３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。
【００２３】
これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
【００２４】
また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。
【００２５】
３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
【００２６】
４０は絞り機能を備えるシャッタ１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。
【００２７】
４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。
【００２８】
４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。
【００２９】
５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。
【００３０】
５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等の表示部である。表示部５４は、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。
【００３１】
また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。
【００３２】
また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、等がある。
【００３３】
５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。
【００３４】
６０、６２、６４、６６、６８及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００３５】
ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。
【００３６】
６２はシャッタスイッチＳＷ１で、不図示のシャッタボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。
【００３７】
６４はシャッタスイッチＳＷ２で、不図示のシャッタボタンの操作完了でＯＮとなる。これにより、次の一連の処理の動作開始が指示される。
・撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理
・画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理
・メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理
【００３８】
この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。
【００３９】
７０は各種ボタンやタッチパネル等からなる操作部である。例えば、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。
【００４０】
８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御手段８０は、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
【００４１】
８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる電源手段である。
【００４２】
９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェースである。９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。
【００４３】
なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。
【００４４】
インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成して構わない。
【００４５】
さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ(登録商標)）カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
【００４６】
１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止するバリアである保護手段である。
【００４７】
１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。
【００４８】
１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。
【００４９】
１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
【００５０】
２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。
【００５１】
２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。
【００５２】
次に、図２乃至図６を参照して、本実施形態に係る画像処理装置１００の動作について説明する。
【００５３】
図２及び図３は本実施形態に係る画像処理装置１００の主ルーチンを示すフローチャートである。電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（Ｓ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ１０２）。
【００５４】
システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば（Ｓ１０３）、各表示部の表示を終了状態に変更し、保護手段１０２のバリアを閉じて撮像部を保護する。そして、システム制御回路５０は、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録する。次に、システム制御回路５０は、電源制御手段８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（Ｓ１０５）、Ｓ１０３に戻る。
【００５５】
モードダイアル６０が撮影モードに設定されていたならば（Ｓ１０３）、Ｓ１０６に進む。
【００５６】
モードダイアル６０が再生モードに設定されていたならば（Ｓ１０３）、システム制御回路５０は選択されたモードに応じた処理を実行し（Ｓ１０４）、処理を終えたならばＳ１０３に戻る。
【００５７】
システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作状況が画像処理装置１００の動作に問題があるか否かを判断する（Ｓ１０６）。問題があるならば、システム制御回路５０は、表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。
【００５８】
電源８６に問題が無いならば（Ｓ１０６）、システム制御回路５０は記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する（Ｓ１０７）。問題があるならば、システム制御回路５０は表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ１０８）、Ｓ１０３に戻る。
【００５９】
記録媒体２００或いは２１０の動作状態に問題が無いならば（Ｓ１０７）、システム制御回路５０は表示部５４を用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う（Ｓ１０９）。なお、画像表示部２８の画像表示がＯＮであったならば、システム制御回路５０は画像表示部２８も用いて画像や音声により画像処理装置１００の各種設定状態の表示を行う。
【００６０】
システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定して（Ｓ１１６）、Ｓ１１９に進む。
【００６１】
スルー表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。これにより、電子ファインダ機能を実現している。
【００６２】
システム制御回路５０は記録ＳＷの状態を調べ（Ｓ１１９）、記録ＳＷがＯＮならばシステム制御回路５０の内部メモリ或いはメモリ５２の記録フラグをＯＮに設定する（Ｓ１２０）。一方、システム制御回路５０は、記録ＳＷがＯＦＦならばシステム制御回路５０の内部メモリ或いはメモリ５２の記録フラグをＯＦＦに設定する（Ｓ１２１）。
【００６３】
次に、システム制御回路５０は、測距処理を行って撮影レンズ１０の焦点を被写体に合わせ、測光処理を行って絞り値及びシャッタ時間を決定する（Ｓ１２２）。このとき測光処理では動画像の輝度が急激に変化しないように、露出の変化量を制限している。そのため目標露出制御量と実際の露出制御量との差が発生するので、その差分を記録している。また、ホワイトバランス処理に於いては、ＲＧＢの色毎のゲインを決定する。この測距・測光処理（Ｓ１２２）の詳細は図４を用いて後述する。
【００６４】
測距・測光処理（Ｓ１２２）を終えたならば、Ｓ１２３に進む。ここで、システム制御回路５０は、システム制御回路５０の内部メモリ或いはメモリ５２の記録フラグの状態を調べ、記録フラグがＯＮであればＳ１２４で動画像とＳ１２２で求めた露出制御量の差分を記録媒体へ記録処理を行う。
【００６５】
図４は、図３のＳ１２２における測距・測光処理の詳細な処理を示すフローチャートである。
【００６６】
システム制御回路５０は、撮像素子１４から電荷信号を読み出し、Ａ／Ｄ変換器１６を介して画像処理回路２０に撮影画像データを逐次読み込む（Ｓ２０１）。この逐次読み込まれた画像データを用いて、画像処理回路２０はＴＴＬ（スルー・ザ・レンズ）方式のＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理、ＡＦ（オートフォーカス）処理に用いる所定の演算を行っている。
【００６７】
なお、ここでの各処理は、撮影した全画素数のうちの必要に応じた特定の部分を必要個所分切り取って抽出し、演算に用いている。これにより、ＴＴＬ方式のＡＥ、ＥＦ、ＡＷＢ、ＡＦの各処理において、中央重点モード、平均モード、評価モードの各モード等の異なるモード毎に最適な演算を行うことが可能となる。
【００６８】
画像処理回路２０での演算結果を用いて、システム制御回路５０は露出の目標値と現在の露出制御量の差分を求め、適正な輝度を得るための露出制御量を決定する。しかし輝度が急激に変化したときに、それに追従しようと露出制御量を急激に変化させると、動画の輝度が急激に変化するので、動画の見え方としては滑らかでなくなってしまう。
【００６９】
そのため、システム制御回路５０は露出制御の変化量を制限して、輝度が急激に変化するのを防いでいる（Ｓ２０３）。Ｓ２０３で求めた実際の露出制御量を用いて、Ｓ２０４のＡＥ制御処理で露出制御を行い、このときの目標露出制御量と実際の露出制御量との差分、ΔＢｖを求める。ΔＢｖは以下のようにフレーム毎に求める。
目標輝度：TargetBv
現在輝度：CurrentBv
露出制御量：ControlΔBｖ=TargetBv - CurrentBv
露出制御制限：|ControlΔBv| > LimitΔBv なら ControlΔBv = LimitΔBv
露出制御差分：ΔBv = TargetBv - CurrentBv + ControlΔBv
【００７０】
露出（ＡＥ）制御が終了したら、システム制御回路５０は上記の目標輝度（目標露出制御量）や現在輝度（実際の露出制御量）等の測定データ及び或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に画像データと共に記憶する。なお、目標輝度（目標露出制御量）や現在輝度（実際の露出制御量）等のデータは、動画像データ中の各フレームごとのデータとして記録しておくのが良い。そして、同一動画像ファイルに記録しても良いし、別のファイル形式にしても良く、その記録形式は問わない。
【００７１】
システム制御回路５０は、画像処理回路２０での演算結果及びＡＥ制御で得られた測定データを用いて、ホワイトバランス（ＡＷＢ）が適正と判断するまで（Ｓ２０６）、画像処理回路２０を用いて色処理のパラメータを調節してＡＷＢ制御を行う（Ｓ２０７）。
【００７２】
システム制御回路５０は、ホワイトバランス（ＡＷＢ）が適正と判断したならば（Ｓ２０６）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶する。
【００７３】
次に、システム制御回路５０は、ＡＥ制御及びＡＷＢ制御で得られた測定データを用いて、測距（ＡＦ）が合焦と判断されるまで（Ｓ２０８）、測距制御手段４２を用いてＡＦ制御を行う（Ｓ２０９）。
【００７４】
システム制御回路５０は、測距（ＡＦ）が合焦と判断したならば（Ｓ２０８）、測定データ及び／或いは設定パラメータをシステム制御回路５０の内部メモリ或いはメモリ５２に記憶し、測距・測光処理ルーチン（Ｓ１２２）を終了する。
【００７５】
図５は、図２のＳ１０４における再生モードの詳細な処理を示すフローチャートである。
【００７６】
もしモードダイアルが再生モード以外であれば（Ｓ７０１）、再生モードを終了する。再生モードでは、システム制御回路５０はインタフェース９０或いは９４、コネクタ９２或いは９６を介して、メモリカードやコンパクトフラッシュ(登録商標)カード等の記録媒体２００或いは２１０から最後に撮影した画像データを読み出す。
【００７７】
次に、システム制御回路５０は、メモリ制御回路２２を用いて、メモリ３０へ書き込み（Ｓ７０２）、画像表示部２８でメモリ３０に書き込まれた画像を表示する（Ｓ７０３）。これを連続的に繰り返すことで、動画として再生を行っている。
【００７８】
動画再生中に画像切り出しＳＷが押下されなければ（Ｓ７１０）、Ｓ７０１に戻り、動画の再生を続ける。但し、画像切り出しＳＷが押下されたら（Ｓ７１０）、システム制御回路５０は、現在表示しているフレームで画像の読み出しを停止して（Ｓ７１１）、当該フレームの輝度補正を行う（Ｓ７１２）。この輝度補正は図６を用いて後述する。
【００７９】
システム制御回路５０は、Ｓ７１２で輝度補正を行った後、画像の切り出し先（出力先）を調べる（Ｓ７１３）。画像記録と指定されていれば、システム制御回路５０は記録媒体２００に書き込みを行う（Ｓ７１４）。プリントと指定されていれば、システム制御回路５０はインタフェース９０或いは９４を介して接続されたプリンタに画像を送信してプリントを行う（Ｓ７１５）。これらの処理が終了したならば、動画の再生を行うため、Ｓ７０１に戻る。
【００８０】
図６は、図５のＳ７１２における輝度補正を説明するための図である。ＣＣＤ（撮像素子１２）から読み出された画像は動画として記録される際にビット変換を行っている。即ち、入力された輝度レベルは、図６（ａ）に示すようなγテーブルに基づいてγ変換が行われた後に記録されている。γテーブルはリニアな変換ではないので、露出差分による輝度補正を行うと、正しく変換できない。そのため本実施形態の輝度補正には、一旦リニアなデータに戻した後に、輝度補正を行うことを特徴とする。
【００８１】
まず動画から切り出した画像のＲＧＢレベルを図６（ａ）に示すγテーブルと逆の特性を持つ、図６（ｂ）に示す逆γテーブルで変換をする。これにより画像のＲＧＢレベルはもともとのＣＣＤ出力と同じリニアデータになるので、この状態で切り出した画像の露出制御量差分ΔBvを読み出して、輝度補正を掛ける。
リニアな画素データ ：PixelLevel_Linear = 逆γ( PixelLevel )
輝度補正後の画素データ ：PixelLevel_Correct = PixelLevel_Linear x ΔBv
再ビット変換 ：PixelLevel_Final = γ( PixelLevel_ Correct )
【００８２】
以上のように、本実施形態においては、目標露出制御量と実際の露出制御量との差分を用いて輝度補正を行っている。従って、本実施形態によれば、動画像から１フレームを抜き出して静止画として記録・印刷する際に、急激な輝度の変化に追従した露出制御中のフレームであっても、適正な輝度に補正された画像を記録・印刷することが可能となる。
【００８３】
上記の実施形態の説明では、目標露出制御量と実際の露出制御量との情報から差分を計算していたが、撮影時に、動画像データのフレームごとに、目標露出制御量にするための差分データを記録しておいても良い。これにより、プリント等の為に再生する際の計算負荷が少なくなる。
【００８４】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体をシステム或いは装置に供給し、そのシステム等のコンピュータが記憶媒体からプログラムコードを読み出し実行することによっても達成される。
【００８５】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８６】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００８７】
また、コンピュータが読み出したプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００８８】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに接続された機能拡張ユニット等に備わるメモリに書込まれた後、そのプログラムコードの指示に基づきＣＰＵ等が実際の処理を行い、前述した実施形態の機能が実現される場合も含まれる。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施形態に係る画像処理装置に構成を示すブロック図である。
【図２】本発明の実施形態に係る画像処理装置の主ルーチンを示すフローチャートである。
【図３】本発明の実施形態に係る画像処理装置の主ルーチンを示すフローチャートである。
【図４】図３のＳ１２２における測距・測光処理の詳細な処理を示すフローチャートである。
【図５】図２のＳ１０４における再生モードの詳細な処理を示すフローチャートである。
【図６】図５のＳ７１２における輝度補正を説明するための図である。
【符号の説明】
【００９０】
１０：撮影レンズ
１２：シャッタ
１４：撮像素子
１６：Ａ／Ｄ変換器
１８：タイミング発生回路
２０：画像処理回路
２２：メモリ制御回路
２４：画像表示メモリ
２６：Ｄ／Ａ変換器
２８：画像表示部
３０：メモリ
３２：画像圧縮・伸長回路
４０：露光制御手段
４２：測距制御手段
４４：ズーム制御手段
４６：バリア制御手段
４８：フラッシュ
５０：システム制御回路
５２：メモリ
５４：表示部
５６：不揮発性メモリ
６０：モードダイアルスイッチ
６２：シャッタスイッチＳＷ１
６４：シャッタスイッチＳＷ２
７０：操作部
８０：電源制御手段
８２：コネクタ
８４：コネクタ
８６：電源手段
９０：インタフェース
９２：コネクタ
９４：インタフェース
９６：コネクタ
９８：記録媒体着脱検知手段
１００：画像処理装置
１０２：保護手段
１０４：光学ファインダ
１１０：通信手段
１１２：コネクタ（またはアンテナ）
２００：記録媒体
２０２：記録部
２０４：インタフェース
２０６：コネクタ
２１０：記録媒体
２１２：記録部
２１４：インタフェース
２１６：コネクタ
【図１】
2007189524.tif 000003
【図２】
2007189524.tif 000004
【図３】
2007189524.tif 000005
【図４】
2007189524.tif 000006
【図５】
2007189524.tif 000007
【図６】
2007189524.tif 000008