(57)【要約】【課題】色味を確認しつつ、フォーカス合わせを容易に行う。【解決手段】撮像光学系２１および撮像素子２２は、画像を撮像し、輝度信号生成部４１は、撮像された撮像画像の輝度信号Ｙを生成し、画像合成部４３は、ビューファインダ部２７に表示される撮像画像の表示領域のうち、ビデオデータにおける矩形領域の範囲を輝度信号Ｙに変換し、ビデオデータのうちの矩形領域の範囲が輝度信号Ｙに変換された合成画像を、ビューファインダ部２７に表示する。本発明は、例えば、電子ビューファインダを備えるビデオカメラ装置に適用することができる。【選択図】図２
2009164985.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像を表示する撮像装置において、
前記画像を撮像する撮像手段と、
前記撮像手段により撮像された前記画像の輝度信号を生成する輝度信号生成手段と、
前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成する画像合成手段と、
前記合成画像を表示する表示手段と
を備える撮像装置。
【請求項２】
前記画像の表示領域のうちの前記所定の領域が前記表示手段に表示されるタイミングを示す信号を生成する信号生成手段をさらに備え、
前記画像合成手段は、前記信号に応じて、前記所定の領域についての前記画像データを前記輝度信号に変換して、前記合成画像を生成する
請求項１に記載の撮像装置。
【請求項３】
前記撮像手段により撮像された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、
前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、前記画像の表示領域の前記所定の領域における１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、
前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、前記合成画像と前記インジケータとを合成するインジケータ合成手段とをさらに備える
請求項１に記載の撮像装置。
【請求項４】
前記インジケータ合成手段は、前記インジケータを折れ線グラフとして生成する
請求項３に記載の撮像装置。
【請求項５】
前記抽出手段は、前記輝度信号生成手段により生成された前記輝度信号を用いて、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する
請求項３に記載の撮像装置。
【請求項６】
前記所定の領域を設定する設定手段をさらに備える
請求項１に記載の撮像装置。
【請求項７】
撮像された画像を表示する撮像装置の撮像方法において、
前記画像を撮像し、
前記撮像手段により撮像された前記画像の輝度信号を生成し、
前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成し、
前記合成画像を表示する
ステップを含む撮像方法。
【請求項８】
撮像された画像を表示する撮像装置として、コンピュータを機能させるプログラムにおいて、
前記画像を撮像する撮像手段と、
前記撮像手段により撮像された前記画像の輝度信号を生成する輝度信号生成手段と、
前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成する合成画像生成手段と、
前記合成画像を表示する表示手段
として、コンピュータを機能させるプログラム。
【請求項９】
請求項８に記載のプログラムが記録されている記録媒体。
【請求項１０】
撮像装置によって撮像された画像を表示する表示装置の、前記画像の表示を制御する表示制御装置において、
前記画像を取得し、前記画像の輝度信号を生成する輝度信号生成手段と、
前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成する画像合成手段と、
前記合成画像の表示を制御する表示制御手段と
を備える表示制御装置。
【請求項１１】
前記画像の表示領域のうちの前記所定の領域が前記表示装置に表示されるタイミングを示す信号を生成する信号生成手段をさらに備え、
前記画像合成手段は、前記信号に応じて、前記所定の領域についての前記画像データを前記輝度信号に変換して、前記合成画像を生成する
請求項１０に記載の表示制御装置。
【請求項１２】
前記撮像装置により撮像された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、
前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、前記画像の表示領域の前記所定の領域における１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、
前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、前記合成画像と前記インジケータとを合成するインジケータ合成手段とをさらに備える
請求項１０に記載の表示制御装置。
【請求項１３】
前記所定の領域を設定する設定手段をさらに備える
請求項１０に記載の表示制御装置。
【請求項１４】
撮像装置によって撮像された画像を表示する表示装置の、前記画像の表示を制御する表示制御装置の表示制御方法において、
前記画像を取得し、前記画像の輝度信号を生成し、
前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成し、
前記合成画像の表示を制御する
ステップを含む表示制御方法。
【請求項１５】
撮像装置によって撮像された画像を表示する表示装置の、前記画像の表示を制御する表示制御装置として、コンピュータを機能させるプログラムにおいて、
前記画像を取得し、前記画像の輝度信号を生成する輝度信号生成手段と、
前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成する合成画像生成手段と、
前記合成画像の表示を制御する表示制御手段
として、コンピュータを機能させるプログラム。
【請求項１６】
請求項１５に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法、表示制御装置および表示制御方法、プログラム、並びに記録媒体に関し、特に、例えば、色味を確認しつつ、フォーカス合わせを容易に行うことができるようにする撮像装置および撮像方法、表示制御装置および表示制御方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
主に業務用のビデオカメラ装置に搭載される電子ビューファインダは、CRT(Cathode Ray Tube)方式によるモノクロ表示のものが一般的であった。これは、人間の視覚特性は、色相の変化よりも明暗の変化に対する感度が高いため、ユーザにとって、モノクロ表示は、フォーカス合わせが容易であり、また、階調を確認しやすいことによるものである。
【０００３】
しかしながら、上述したビデオカメラ装置においては、撮像画像の色情報を得ることができなかった。このようなビデオカメラ装置において、色味の確認を行う場合、カメラの外部に配置したカラー表示が可能なモニタ装置に、撮像画像のビデオデータを別途出力する必要がある。
【０００４】
一方、より安価なビデオカメラ装置においては、電子ビューファインダとして、カラー表示が可能な液晶表示装置を用いるものが一般的である。このようなビデオカメラ装置において、マニュアルフォーカス制御機能を持つ場合、電子ビューファインダの表示を、モノクロ表示とカラー表示とに切り替えることができる撮像装置がある（例えば、非特許文献１参照）。
【０００５】
これにより、ユーザは、電子ビューファインダの表示をカラー表示にすることで、色味を確認することができ、また、特にマニュアルフォーカス制御機能を用いる場合には、電子ビューファインダの表示をモノクロ表示にすることで、フォーカス合わせを容易に行うことができる。
【０００６】
【非特許文献１】ソニーマーケティング株式会社、[online]、２００４年１０月１１日、［平成１９年１１月２８日検索］、インターネット,<URL：http://www.sony.jp/CorporateCruise/Press/200411/11-1110/>
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、非特許文献１の撮像装置では、電子ビューファインダに、カラー表示とモノクロ表示を同時に行うことはできず、ユーザは、色味を確認しつつ、フォーカス合わせを容易に行うことはできない。また、動画撮像中に、カラー表示とモノクロ表示の切り替えを行うのは非現実的である。
【０００８】
本発明は、このような状況に鑑みてなされたものであり、色味を確認しつつ、フォーカス合わせを容易に行うことができるようにするものである。
【課題を解決するための手段】
【０００９】
本発明の第１の側面の撮像装置、またはプログラムは、撮像された画像を表示する撮像装置であって、前記画像を撮像する撮像手段と、前記撮像手段により撮像された前記画像の輝度信号を生成する輝度信号生成手段と、前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成する合成画像生成手段と、前記合成画像を表示する表示手段とを備える撮像装置、または撮像装置として、コンピュータを機能させるプログラムである。
【００１０】
前記撮像装置には、前記画像の表示領域のうちの前記所定の領域が前記表示手段に表示されるタイミングを示す信号を生成する信号生成手段をさらに設け、前記画像合成手段には、前記信号に応じて、前記所定の領域についての前記画像データを前記輝度信号に変換して、前記合成画像を生成させることができる。
【００１１】
前記撮像装置には、前記撮像手段により撮像された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、前記画像の表示領域の前記所定の領域における１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、前記合成画像と前記インジケータとを合成するインジケータ合成手段とをさらに設けることができる。
【００１２】
前記インジケータ合成手段には、前記インジケータを折れ線グラフとして生成させることができる。
【００１３】
前記抽出手段には、前記輝度信号生成手段により生成された前記輝度信号を用いて、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出させることができる。
【００１４】
前記撮像装置には、前記所定の領域を設定する設定手段をさらに設けることができる。
【００１５】
本発明の第１の側面の撮像方法は、撮像された画像を表示する撮像装置の撮像方法であって、前記画像を撮像し、前記撮像手段により撮像された前記画像の輝度信号を生成し、前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成し、前記合成画像を表示するステップを含む。
【００１６】
本発明の第２の側面の表示制御装置、またはプログラムは、撮像装置によって撮像された画像を表示する表示装置の、前記画像の表示を制御する表示制御装置であって、前記画像を取得し、前記画像の輝度信号を生成する輝度信号生成手段と、前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成する合成画像生成手段と、前記合成画像の表示を制御する表示制御手段とを備える表示制御装置、または表示制御装置として、コンピュータを機能させるプログラムである。
【００１７】
前記表示制御装置には、前記画像の表示領域のうちの前記所定の領域が前記表示装置に表示されるタイミングを示す信号を生成する信号生成手段をさらに設け、前記画像合成手段には、前記信号に応じて、前記所定の領域についての前記画像データを前記輝度信号に変換して、前記合成画像を生成させることができる。
【００１８】
前記表示制御装置には、前記撮像装置により撮像された前記画像における、水平方向または垂直方向の少なくともいずれか一方の高周波成分を抽出する抽出手段と、前記抽出手段により抽出された、水平方向または垂直方向の少なくともいずれか一方の高周波成分に基づいて、水平方向または垂直方向の少なくともいずれか一方の、前記画像の表示領域の前記所定の領域における１または複数ラインごとの高周波成分の大きさを表すパラメータを算出する算出手段と、前記パラメータに基づいて、前記パラメータの大きさを示すインジケータを生成し、水平方向または垂直方向の少なくともいずれか一方の位置に対応させて、前記合成画像と前記インジケータとを合成するインジケータ合成手段とをさらに設けることができる。
【００１９】
前記表示制御装置には、前記所定の領域を設定する設定手段をさらに設けることができる。
【００２０】
本発明の第２の側面の表示制御方法は、撮像装置によって撮像された画像を表示する表示装置の、前記画像の表示を制御する表示制御装置の表示制御方法であって、前記画像を取得し、前記画像の輝度信号を生成し、前記画像の表示領域のうちの所定の領域についての画像データを前記輝度信号に変換して、前記画像データと前記輝度信号との合成画像を生成し、前記合成画像の表示を制御するステップを含む。
【００２１】
本発明の第１の側面においては、画像が撮像され、撮像手段により撮像された画像の輝度信号が生成され、画像の表示領域のうちの所定の領域についての画像データが輝度信号に変換されて、画像データと輝度信号との合成画像が生成され、合成画像が表示される。
【００２２】
本発明の第２の側面においては、画像が取得され、画像の輝度信号が生成され、画像の表示領域のうちの所定の領域についての画像データが輝度信号に変換されて、画像データと輝度信号との合成画像が生成され、合成画像の表示が制御される。
【００２３】
なお、プログラムは、記録媒体に記録することができる。
【発明の効果】
【００２４】
本発明の第１の側面によれば、画像を撮像することができ、特に、色味を確認しつつ、フォーカス合わせを容易に行うことができる。
【００２５】
また、本発明の第２の側面によれば、撮像装置によって撮像された画像を表示することができ、特に、色味を確認しつつ、フォーカス合わせを容易に行うことができる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して、本発明の実施の形態について説明する。
【００２７】
図１は、本発明を適用した撮像装置の一実施の形態の構成例を示すブロック図である。
【００２８】
図１において、撮像装置１１は、撮像光学系２１、撮像素子２２、カメラ信号処理部２３、コーディック部２４、記録部２５、ファインダ表示画像変換部２６、ビューファインダ部２７、および操作入力部２８から構成される。
【００２９】
撮像光学系２１は、レンズ、メカニカルシャッタなどで構成される。
【００３０】
撮像素子２２は、撮像光学系２１を介して入射される光を受光する。撮像素子２２は、図示しないAD（Analog/Digital）変換器を介してデジタル変換された撮像データをカメラ信号処理部２３に供給する。
【００３１】
ここで、AD変換器は、特に、撮像素子２２がCMOS（Complementary Metal Oxide Semiconductor）型固体撮像素子である場合などにおいては、撮像素子２２内に実装されていてもよいし、また、撮像素子２２がCMOS型固体撮像素子以外の固体撮像素子であるとき等においては、撮像素子２２の外部に配置されているものであってもよい。
【００３２】
また、図１において、撮像装置１１の撮像素子２２は、受光面に、画素ごとに異なる波長域を透過するカラーフィルタを持つ単板カラー方式の固体撮像素子であるものとして図示されているが、撮像装置１１の撮像システムは、プリズム光学系などを介して波長分離された光を３つの異なる撮像素子により受光する３板式の構成であってもよいことは言うまでもない。
【００３３】
なお、撮像素子２２からカメラ信号処理部２３に供給される撮像データは、所謂RAWデータである。
【００３４】
カメラ信号処理部２３は、撮像素子２２から供給されたRAWデータに対して、ホワイトバランス補正処理、ゲイン調整、デモザイク処理、リニアマトリクス処理、およびガンマ補正処理等の処理を施し、処理の結果得られたビデオデータをコーディック部２４およびファインダ表示画像変換部２６に供給する。
【００３５】
コーディック部２４は、カメラ信号処理部２３から供給されたビデオデータを、MPEG(Moving Picture Experts Group)2，H.264、または、JPEG（Joint Photographic Experts Group）2000等のビデオ信号符号化処理により圧縮し、符号化ストリームを生成して、記録部２５に供給する。
【００３６】
記録部２５は、例えば、光ディスク、ハードディスク、または、半導体メモリなどの記録媒体により構成され、コーディック部２４から供給された符号化ストリームを記録するか、または、リムーバブルな記録媒体（光ディスク、光磁気ディスク、または、半導体メモリなど）を装着可能なドライブにより構成され、装着されたリムーバブルな記録媒体に、コーディック部２４から供給された符号化ストリームを記録する。
【００３７】
ファインダ表示画像変換部２６は、カメラ信号処理部２３から供給されるビデオデータから輝度信号を生成し、ユーザが合焦具合を把握しやすくするために、撮像画像の表示領域についてのビデオデータのうち、任意の矩形領域の範囲を輝度信号に変換する、輝度信号変換処理を行うとともに、ビデオデータのうちの任意の矩形領域の範囲が輝度信号に変換されたことにより生成された、ビデオデータと輝度信号との合成画像をビューファインダ部２７に供給し、その表示を制御する。
【００３８】
なお、カメラ信号処理部２３からファインダ表示画像変換部２６に供給されるビデオデータは、ユーザの確認用の撮像画像としてビューファインダ部２７に表示される。
【００３９】
ファインダ表示画像変換部２６の詳細については、図２を参照して後述する。
【００４０】
ビューファインダ部２７は、ファインダ表示画像変換部２６から供給された合成画像を、任意の矩形領域がモノクロ表示された撮像画像としてユーザに呈示する。
【００４１】
操作入力部２８は、例えば、各種の操作ボタンやダイヤル等から構成され、撮像装置１１に対する指示を入力するためにユーザに操作され、その操作内容を示す情報を撮像装置１１の各ブロックに供給する。
【００４２】
なお、図１においては、コーディック部２４および記録部２５を撮像装置１１の構成要素として示しているが、撮像装置１１は、これらの処理部を持たず、カメラ信号処理部２３から出力（供給）されるビデオデータを、そのまま外部の装置やネットワークなどに出力する構成であっても構わない。
【００４３】
また、図１においては、コーディック部２４に供給されるビデオデータとファインダ表示画像変換部２６に供給されるビデオデータを同一のものとしているが、ファインダ表示画像変換部２６へは、ビューファインダ部２７の解像度に合わせて解像度変換したビデオデータを供給する形態としてもよい。
【００４４】
さらに、図１においては、ビューファインダ部２７を撮像装置１１の構成要素として示しているが、撮像装置１１は、ビューファインダ部２７を持たず、接続されている外部の表示装置に合成画像を供給して、表示させることができるような形態としてもよい。
【００４５】
また、撮像装置１１は、撮像光学系２１、撮像素子２２、カメラ信号処理部２３、コーディック部２４、記録部２５、および操作入力部２８で構成され、ファインダ表示画像変換部２６およびビューファインダ部２７は、別装置として構成されてもよい。
【００４６】
このとき、ファインダ表示画像変換部２６は、コーディック部２４に供給されるビデオデータと同一の、または、解像度変換されたビデオデータに対し、ユーザが合焦具合を把握しやすくするために、撮像画像の表示領域についてのビデオデータのうち、任意の矩形領域の範囲を輝度信号に変換する処理を行うとともに、ビデオデータのうちの任意の矩形領域の範囲が輝度信号に変換されたことにより生成された合成画像をビューファインダ部２７に供給し、その表示を制御する。
【００４７】
さらに、ファインダ表示画像変換部２６およびビューファインダ部２７は、それぞれ別装置として構成されてもよい。
【００４８】
このとき、ファインダ表示画像変換部２６に対応する表示制御装置は、コーディック部２４に供給されるビデオデータと同一の、または、解像度変換されたビデオデータに対し、ユーザが合焦具合を把握しやすくするために、撮像画像の表示領域についてのビデオデータのうち、任意の矩形領域の範囲を輝度信号に変換する処理を行うとともに、ビデオデータのうちの任意の矩形領域の範囲が輝度信号に変換されたことにより生成された合成画像を、図示しない外部の表示装置（ビューファインダ部２７に対応する表示装置）に供給し、その表示を制御する。
【００４９】
図２は、図１のファインダ表示画像変換部２６の構成を示すブロック図である。ファインダ表示画像変換部２６は、輝度信号生成部４１、切替パルス生成部４２、および画像合成部４３で構成される。
【００５０】
カメラ信号処理部２３からファインダ表示画像変換部２６に供給されるビデオデータ（以下、入力ビデオデータともいう）は、輝度信号生成部４１に供給されるとともに、画像合成部４３に供給される。
【００５１】
輝度信号生成部４１は、カメラ信号処理部２３からの入力ビデオデータに対して、式（１）に示すような変換処理を施し、輝度信号Ｙを生成して、画像合成部４３に供給する。
【００５２】
Ｙ＝０．２５７Ｒ＋０．５０４Ｇ＋０．０９８Ｂ      ・・・（１）
【００５３】
なお、式（１）において、Ｒは、入力ビデオデータのＲ信号であり、Ｇは、入力ビデオデータのＧ信号であり、Ｂは、入力ビデオデータのＢ信号である。
【００５４】
ここで、輝度信号Ｙへの変換処理は、式（１）に限ったものではなく、例えば、単純にＲ信号、Ｇ信号、およびＢ信号を加算する処理でも構わない。
【００５５】
切替パルス生成部４２は、ビューファインダ部２７に表示される撮像画像における、予め定められているか、または、操作入力部２８を用いてユーザが指定することにより決められる矩形領域を表す情報を記憶する矩形領域メモリ部４２ａを有し、その矩形領域メモリ部４２ａに記憶されている情報に基づいて、ビューファインダ部２７に表示されるタイミングを示すパルス信号MEを生成し、画像合成部４３に供給する。
【００５６】
より具体的には、矩形領域メモリ部４２ａは、操作入力部２８が操作されることにより入力された、矩形領域を表す画素の画素位置を記憶している。切替パルス生成部４２は、矩形領域メモリ部４２ａに記憶されている矩形領域の画素位置に基づいて、ビューファインダ部２７に表示される撮像画像の走査において、矩形領域の画素が走査される期間、パルス信号MEを有効にする（生成する）。また、切替パルス生成部４２は、矩形領域以外の領域の画素が走査される期間、パルス信号MEを無効にする（生成しない）。
【００５７】
切替パルス生成部４２が生成するパルス信号MEの詳細については、図３を参照して後述する。
【００５８】
画像合成部４３は、切替パルス生成部４２から供給されるパルス信号MEに基づいて、ビューファインダ部２７に表示される撮像画像についてのビデオデータのうちの矩形領域の範囲を、輝度信号生成部４１からの輝度信号Ｙに変換することにより、ビデオデータと輝度信号との合成画像を生成し、ビューファインダ部２７に供給するとともに、その表示を制御する。
【００５９】
画像合成部４３は、矩形領域判定部４３ａおよびバッファ部４３ｂを含むように構成される。
【００６０】
矩形領域判定部４３ａは、切替パルス生成部４２から供給されるパルス信号MEに応じて、撮像画像の走査において注目する画素である注目画素の画素位置が矩形領域内であるか否かを判定し、その判定結果に応じて、注目画素についてのビデオデータを輝度信号Ｙに変換する。
【００６１】
より具体的には、矩形領域判定部４３ａは、切替パルス生成部４２からのパルス信号MEが有効である場合には、注目画素の画素位置が矩形領域内であると判定し、注目画素についてのビデオデータを、輝度信号生成部４１からの輝度信号Ｙに変換して、バッファ部４３ｂに供給する。
【００６２】
また、矩形領域判定部４３ａは、切替パルス生成部４２からのパルス信号MEが無効である場合には、注目画素の画素位置が矩形領域内でないと判定し、注目画素についてのビデオデータを、そのままバッファ部４３ｂに供給する。
【００６３】
バッファ部４３ｂは、矩形領域判定部４３ａからの、撮像画像における各画素についての輝度信号Ｙまたはビデオデータを一時的に記憶する。そして、矩形領域判定部４３ａにおける判定処理が、撮像画像における全ての画素について終わったとき、画像合成部４３は、バッファ部４３ｂに記憶されている全ての画素の情報を、輝度信号Ｙとビデオデータとの合成画像として、ビューファインダ部２７に供給する。
【００６４】
このようにして、画像合成部４３からビューファインダ部２７に供給される合成画像が、パルス信号MEに応じて、ビューファインダ部２７の画面内の一部の矩形領域が輝度信号Ｙに変換された撮像画像として表示される。
【００６５】
なお、画像合成部４３は、バッファ部４３ｂを有しない構成であってもよい。この場合、画像合成部４３は、矩形領域判定部４３ａからの輝度信号Ｙまたはビデオデータを、そのままビューファインダ部２７に供給する。
【００６６】
図３は、切替パルス生成部４２が生成するパルス信号MEのタイミングを表すタイムチャートである。
【００６７】
ここで、ビューファインダ部２７に表示される撮像画像は、画素単位で左から右、そして上から下に向かって１ライン（水平ライン）ごとに走査される、いわゆるプログレッシブ方式の画像であるとする。
【００６８】
図３において、一番上に示す波形は、図示しない制御部から切替パルス生成部４２に供給される、入力ビデオデータと同期した垂直同期信号VDであり、上から２番目および５番目に示す波形は、図示しない制御部から切替パルス生成部４２に供給される、入力ビデオデータと同期した水平同期信号HDである。
【００６９】
また、図３において、上から３番目および６番目に示す波形は、実際にビューファインダ部２７に表示される有効画素領域を表すデータイネーブル信号DEであり、上から４番目および１番下に示す波形は、切替パルス生成部４２において生成されるパルス信号MEである。
【００７０】
なお、図３において、上から５番目に示す水平同期信号HDは、上から２番目に示す水平同期信号HDの１パルス分を表し、上から６番目に示すデータイネーブル信号DEは、上から３番目に示すデータイネーブル信号DEの１パルス分を表し、さらに、１番下に示すパルス信号MEは、上から４番目に示すパルス信号MEの１パルス分を表している。
【００７１】
図２の切替パルス生成部４２に、垂直同期信号VD、水平同期信号HD、およびデータイネーブル信号DEが供給されると、切替パルス生成部４２は、これらの信号のタイミングと、矩形領域メモリ部４２ａに記憶されている矩形領域の画素位置とから、ビューファインダ部２７に表示される撮像画像の走査において、矩形領域の画素が走査される期間、パルス信号MEを有効にし、また、矩形領域以外の領域の画素が走査される期間、パルス信号MEを無効にする。
【００７２】
すなわち、切替パルス生成部４２は、垂直方向の画素の走査に対して、垂直同期信号VD（図３の１番上の波形）がHIGHレベルであり、かつ、データイネーブル信号DE（図３の上から３番目の波形）がHIGHレベルである期間のうちの、垂直方向に矩形領域の画素が走査される期間、パルス信号MEをHIGHレベルとする。
【００７３】
図３の例においては、切替パルス生成部４２は、データイネーブル信号DE（図３の上から３番目の波形）がHIGHレベルになってから、期間sy（LOWレベル）が経過したあと、期間monovの間、パルス信号MEをHIGHレベルとする。
【００７４】
そして、矩形領域判定部４３ａは、垂直方向の画素の走査において、期間syを含む、パルス信号MEが無効（LOWレベル）である期間においては、カメラ信号処理部２３から供給されるビデオデータに対して何もせず、パルス信号MEが有効（HIGHレベル）である、期間monovにおいては、カメラ信号処理部２３から供給されるビデオデータを輝度信号生成部４１から供給される輝度信号Ｙに変換する。
【００７５】
また、切替パルス生成部４２は、水平方向の画素の走査に対して、水平同期信号HD（図３の５番上の波形）がHIGHレベルであり、かつ、データイネーブル信号DE（図３の上から６番目の波形）がHIGHレベルである期間のうちの、水平方向に矩形領域の画素が走査される期間、パルス信号MEをHIGHレベルとする。
【００７６】
図３の例においては、切替パルス生成部４２は、データイネーブル信号DE（図６の上から３番目の波形）がHIGHレベルになってから、期間sx（LOWレベル）が経過したあと、期間monohの間、パルス信号MEをHIGHレベルとする。
【００７７】
そして、矩形領域判定部４３ａは、水平方向の画素の走査において、期間sxを含む、パルス信号MEが無効（LOWレベル）である期間においては、カメラ信号処理部２３から供給されるビデオデータに対して何もせず、パルス信号MEが有効（HIGHレベル）である、期間monohにおいては、カメラ信号処理部２３から供給されるビデオデータを輝度信号生成部４１から供給される輝度信号Ｙに変換する。
【００７８】
図４は、ビューファインダ部２７に表示される撮像画像の例を示している。
【００７９】
図４に示すように、ビューファインダ部２７には、矩形領域メモリ部４２ａの矩形領域の画素位置で決定される矩形領域Ａが輝度信号Ｙに変換された撮像画像が表示される。この矩形領域Ａは、ユーザがフォーカスを合わせたい被写体が写っている領域であり、以下、フォーカシングエリアともいう。
【００８０】
図４において、例えば、ビューファインダ部２７に表示される有効画素領域の左上端の画素位置を原点（０，０）とし、水平右方向をｘ方向、垂直下方向をｙ方向とすると、フォーカシングエリアは、原点（０，０）から、期間sxに走査されるｘ方向の画素位置、および、期間syに走査されるｙ方向の画素位置で決定される画素位置（sx，sy）を左上端とし、水平右方向（ｘ方向）に、期間monohに走査される長さ、および、垂直下方向（ｙ方向）に、期間monovに走査される長さを２辺とした矩形領域Ａとなる。
【００８１】
フォーカシングエリアは、任意の位置に設定することが可能であり、操作入力部２８を用いて、矩形領域メモリ部４２ａに記憶されている、矩形領域を表す画素の画素位置を変更することにより、ユーザが動的に位置とサイズの変更を行うようにしても構わない。
【００８２】
また、本実施例では、フォーカシングエリアを矩形の領域としたが、切替パルス生成部４２が、任意形状の領域に対して有効（HIGHレベル）となるパルス信号MEを生成するようにして、円形や六角形等の領域にしても構わない。
【００８３】
さらに、本実施例では、フォーカシングエリアを１つとしたが、切替パルス生成部４２が、複数の領域に対して有効（HIGHレベル）となるパルス信号MEを生成するようにして、複数のフォーカシングエリアを表示するようにしても構わない。
【００８４】
次に、図５のフローチャートを参照して、撮像装置１１が実行する撮像処理について説明する。なお、ステップＳ１２乃至ステップＳ１８の各処理は、撮像された動画像のあるフレームの処理としては、ステップＳ１４およびステップＳ１５の処理とステップＳ１６およびステップＳ１７の処理とが並行して実行可能であるが、基本的には、記載されたステップの通りに順次実行されるものである。しかしながら、これらは、順次撮像される複数フレームにより構成される動画像全体に対して実行される処理であるので、撮像装置１１内においては、それぞれ、並行して実行される。
【００８５】
ステップＳ１１において、撮像光学系２１および撮像素子２２は、操作入力部２８によるユーザからの操作入力に基づいて、撮像を開始する。すなわち、撮像素子２２は、撮像光学系２１を介して入射される光を受光し、AD変換器によりデジタル変換された撮像データとしてのRAWデータを、カメラ信号処理部２３に供給して、処理は、ステップＳ１２に進む。
【００８６】
ステップＳ１２において、カメラ信号処理部２３は、撮像素子２２から供給されたRAWデータに対して、ホワイトバランス補正、ゲイン調整、デモザイク処理、リニアマトリクス処理、およびガンマ補正処理等の処理を施し、処理の結果得られたビデオデータを、コーディック部２４およびファインダ表示画像変換部２６に供給して、処理は、ステップＳ１３に進む。
【００８７】
ステップＳ１３において、操作入力部２８は、ユーザからの操作入力に基づいて、記録の開始が指令されたか否かを判断する。
【００８８】
ステップＳ１３において、記録の開始が指令されていないと判断された場合、処理は、ステップＳ１６に進む。
【００８９】
一方、ステップＳ１３において、記録の開始が指令されたと判断された場合、処理は、ステップＳ１４に進む。
【００９０】
ステップＳ１４において、コーディック部２４は、カメラ信号処理部２３から供給されたビデオデータを、MPEG2，H.264、または、JPEG2000等のビデオ信号符号化処理により圧縮し、符号化ストリームを生成して、記録部２５に供給する。その後、処理は、ステップＳ１５に進む
【００９１】
ステップＳ１５において、記録部２５は、コーディック部２４から供給された符号化ストリームを記録し、処理は、ステップＳ１６に進む。
【００９２】
ステップＳ１６において、ファインダ表示画像変換部２６は、図６を用いて説明する輝度信号変換処理を実行し、輝度信号変換処理の結果得られた合成画像をビューファインダ部２７に供給して、処理は、ステップＳ１７に進む。
【００９３】
ステップＳ１７において、ビューファインダ部２７は、例えば、図４を用いて説明したような、ユーザが合焦具合を把握しやすくするために、ビデオデータにおける任意の矩形領域Ａの範囲が輝度信号Ｙに変換された撮像画像を表示し、処理は、ステップＳ１８に進む。
【００９４】
ステップＳ１８において、操作入力部２８は、ユーザからの操作入力に基づいて、撮像の終了が指令されたか否かを判断する。
【００９５】
ステップＳ１８において、撮像の終了が指令されていないと判断された場合、処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。
【００９６】
一方、ステップＳ１８において、撮像の終了が指令されたと判断された場合、処理は終了する。
【００９７】
このような処理により、ビューファインダ部２７において、フォーカスを合わせたい被写体が表示されている矩形領域Ａが輝度信号Ｙで表示（モノクロ表示）され、それ以外の領域がカラー表示されるので、特に、フォーカスを合わせたい被写体については、人間の視覚特性に従って明暗の差が認識しやすくなり、ユーザは、色味を確認しつつ、フォーカス合わせを容易に行うことができる。
【００９８】
次に、図６のフローチャートを参照して、図５のステップＳ１６において実行される処理の例である、輝度信号変換処理について説明する。輝度信号変換処理は、ファインダ表示画像変換部２６により実行される。
【００９９】
ステップＳ２１において、輝度信号生成部４１は、カメラ信号処理部２３からのビデオデータに対して、例えば、上述した式（１）に示すような変換処理を施し、輝度信号を生成して、処理は、ステップＳ２２に進む。
【０１００】
ステップＳ２２において、矩形領域判定部４３ａは、ビューファインダ部２７に表示される撮像画像の走査における注目画素の画素位置（ｘ，ｙ）を、図４で説明した原点（０，０）とし、処理は、ステップＳ２３に進む。
【０１０１】
ステップＳ２３において、切替パルス生成部４２は、垂直同期信号VD、水平同期信号HD、およびデータイネーブル信号DEのタイミングと、矩形領域メモリ部４２ａに記憶されている矩形領域の画素位置とから、パルス信号MEの生成を開始し、処理は、ステップＳ２４に進む。
【０１０２】
ステップＳ２４において、矩形領域判定部４３ａは、切替パルス生成部４２から供給されるパルス信号MEに基づいて、撮像画像の走査における注目画素の画素位置（ｘ，ｙ）が矩形領域内であるか否かを判定する。
【０１０３】
ステップＳ２４において、撮像画像の走査における注目画素の画素位置（ｘ，ｙ）が矩形領域内であると判定された場合、すなわち、切替パルス生成部４２からのパルス信号MEが有効である場合、矩形領域判定部４３ａは、その注目画素についてのビデオデータを、輝度信号生成部４１からの輝度信号Ｙに変換し、バッファ部４３ｂに供給して、処理は、ステップＳ２６に進む。
【０１０４】
一方、ステップＳ２４において、撮像画像の走査における注目画素の画素位置（ｘ，ｙ）が矩形領域内でないと判定された場合、すなわち、切替パルス生成部４２からのパルス信号MEが無効である場合、矩形領域判定部４３ａは、その注目画素についてのビデオデータを、そのままバッファ部４３ｂに供給して、処理は、ステップＳ２６に進む。
【０１０５】
ステップＳ２６において、矩形領域判定部４３ａは、有効画素領域におけるｘ方向の全ての画素（すなわち１水平ライン）について、注目画素の画素位置（ｘ，ｙ）が矩形領域内であるかの判定処理が終わったか否かを判定する。
【０１０６】
ステップＳ２６において、ｘ方向の全ての画素についての処理が終わっていないと判定された場合、処理は、ステップＳ２７に進む。
【０１０７】
ステップＳ２７において、矩形領域判定部４３ａは、ｘを１インクリメントし、処理はステップＳ２４に戻り、これ以降の処理が繰り返される。すなわち、注目画素の画素位置（ｘ，ｙ）がｘ方向に１つ移動し、その注目画素についての処理が繰り返される。
【０１０８】
一方、ステップＳ２６において、ｘ方向の全ての画素についての処理が終わったと判定された場合、すなわち、ステップＳ２４乃至ステップＳ２７の処理が繰り返されて、水平方向の１ライン分の画素についての処理が終了したと判定された場合、ステップＳ２８において、矩形領域判定部４３ａは、ｘを０とし、処理は、ステップＳ２９に進む。
【０１０９】
ステップＳ２９において、矩形領域判定部４３ａは、有効画素領域におけるｙ方向の全ての画素（すなわち全ての水平ライン）について、注目画素の画素位置（ｘ，ｙ）が矩形領域内であるかの判定処理が終わったか否かを判定する。
【０１１０】
ステップＳ２９において、ｙ方向の全ての画素についての処理が終わっていないと判定された場合、処理は、ステップＳ３０に進む。
【０１１１】
ステップＳ３０において、矩形領域判定部４３ａは、ｙを１インクリメントし、処理はステップＳ２４に戻り、これ以降の処理が繰り返される。すなわち、注目画素の画素位置（ｘ，ｙ）が、ｙ方向に１つ移動した水平ラインの一番左側の画素位置となり、その水平ラインの画素についての処理が繰り返される。
【０１１２】
一方、ステップＳ２９において、ｙ方向の全ての画素についての処理が終わったと判定された場合、すなわち、ステップＳ２４乃至ステップＳ３０の処理が繰り返されて、全ての画素について、矩形領域内であるか否かの判定がなされたと判定された場合、画像合成部４３は、バッファ部４３ｂに記憶されている、撮像画像（有効画素領域）における全ての画素からなる画像を、輝度信号Ｙとビデオデータとの合成画像として、ビューファインダ部２７に供給して、処理は、図５のステップＳ１６に戻り、ステップＳ１７に進む。
【０１１３】
このような処理により、カメラ信号処理部２３から供給されるビデオデータのうち、フォーカスを合わせたい被写体が表示されている矩形領域Ａの範囲を輝度信号Ｙに変換することができる。
【０１１４】
ところで、業務用のビデオカメラ装置においては、マニュアルフォーカス制御時に、ユーザがフォーカス合わせを容易にするために、ビデオカメラ装置に搭載された電子ビューファインダ上に、さまざまな補助情報を表示するようにもなされている。
【０１１５】
例えば、従来、撮像画像の輪郭に相当する空間的な高周波成分を撮像画像から抽出し、輪郭成分を増大させた上で撮像画像と混合してビューファインダに表示することにより、合焦時に輪郭部を強調するピーキング回路が用いられている（例えば、特開２０００−３５０２２４号公報参照）。
【０１１６】
また、撮像画像の中央部の特定の領域に対して、高域フィルタを施した結果を積分し、その結果として得られる１次元のパラメータをビューファインダ上に表示することにより、合焦具合を表すことができる技術がある（例えば、特開平３−１１８８４号公報または特開平３−１７９９７６号公報参照）。
【０１１７】
上述した特開２０００−３５０２２４号公報に記載の、従来のピーキング回路を用いた場合に表示される画像は、画像中の被写体の輪郭が強調されたものであるため、実際にフォーカスを合わせるべき被写体を特定してフォーカス合わせを行い易いという特徴があった。
【０１１８】
しかしながら、広角レンズなどを使用した場合には、被写界深度が深くなるうえに画面上の被写体像が小さくなってしまうために、上述した特開２０００−３５０２２４号公報に記載の技術では、最適なフォーカス位置を得るのが難しくなる。
【０１１９】
また、上述した特開２０００−３５０２２４号公報に記載の技術では、被写体像の輪郭部を強調して表示しているだけであるため、ユーザは、この表示から、現状のフォーカス距離が最適値であるか否かを判断することはできなかった。
【０１２０】
一方、特開平３−１１８８４号公報または特開平３−１７９９７６号公報に記載の補助情報の表示方法では、画像中の高周波成分の大きさを表すパラメータを、例えば、バー状のインジケータとしてビューファインダ上にオーバーレイするため、レンズのフォーカス位置を動かした場合に、合焦具合がどの程度増減するかを把握しやすいという特徴がある。
【０１２１】
しかしながら、特開平３−１１８８４号公報または特開平３−１７９９７６号公報に記載の技術では、画面の特定領域の高周波成分を全て積分した結果としてパラメータを設定しているため、領域内のどの被写体に合焦しているかをユーザが正確に把握し、また、ユーザがフォーカスを合わせようとしている所望の被写体が撮像されている領域に対して、高域フィルタを施し、パラメータを算出することは難しかった。
【０１２２】
そこで、撮像装置１１では、ユーザが、撮像画像中において合焦している被写体を容易に把握し、また、所定の被写体に対する合焦具合のピークを容易に把握することができるようになっている。
【０１２３】
図７は、撮像装置１１の他の機能構成例を示すブロック図である。なお、図７においては、図１と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図７の撮像装置１１は、ファインダ表示画像変換部２６に代わってフォーカスアシスト処理部５１を備えている以外は、基本的に、図１の撮像装置１１と同様の構成を有するものである。
【０１２４】
カメラ信号処理部２３は、撮像素子２２から供給されたRAWデータに対して、ホワイトバランス補正処理、ゲイン調整、デモザイク処理、リニアマトリクス処理、およびガンマ補正処理等の処理を施し、処理の結果得られたビデオデータをコーディック部２４およびフォーカスアシスト処理部５１に供給する。
【０１２５】
フォーカスアシスト処理部５１は、カメラ信号処理部２３から供給されるビデオデータに対し、ユーザが合焦具合を把握しやすくするための補助情報であるフォーカスインジケータの合成を行うとともに、フォーカスインジケータが合成されたビデオデータをビューファインダ部２７に供給し、その表示を制御する。
【０１２６】
フォーカスアシスト処理部５１の詳細については、図８、図１６および図１８を参照して後述する。
【０１２７】
ビューファインダ部２７は、フォーカスアシスト処理部５１から供給されたビデオデータに基づいて、フォーカスインジケータが付加された撮像画像を表示する。つまり、ビューファインダ部２７は、ユーザに、撮像画像とともに、フォーカス合わせをするための補助情報を呈示する。
【０１２８】
図８は、図７のフォーカスアシスト処理部５１の第１の実施例であるフォーカスアシスト処理部５１−１の構成を示すブロック図である。フォーカスアシスト処理部５１−１は、輝度信号生成部７１、水平微分フィルタ処理部７２、加算部７３、およびインジケータ合成部７４で構成される。
【０１２９】
カメラ信号処理部２３からフォーカスアシスト処理部５１−１に供給される入力ビデオデータは、輝度信号生成部７１に供給されるとともに、インジケータ合成部７４に供給される。
【０１３０】
輝度信号生成部７１は、図２のファインダ表示画像変換部２６における輝度信号生成部４１と同様に、カメラ信号処理部２３からの入力ビデオデータに対して、上述した式（１）に示すような変換処理を施し、輝度信号Ｙを生成して、水平微分フィルタ処理部７２に供給する。
【０１３１】
水平微分フィルタ処理部７２は、輝度信号生成部７１から供給された輝度信号Ｙから、水平方向の高周波成分を抽出して、加算部７３に供給する。
【０１３２】
具体的には、水平微分フィルタ処理部７２は、例えば、輝度信号生成部７１からの輝度信号Ｙに対して、図９に示すような係数を持つ水平微分フィルタを施し、得られた微分データを加算部７３に供給する。
【０１３３】
図９に示される微分フィルタは、画像に対して水平空間方向の微分処理を行うため、水平微分フィルタ処理部７２は、垂直方向にエッジが存在する場合に大きい値を出力する。
【０１３４】
また、水平微分フィルタ処理部７２は、水平方向１ラインごとの処理ではなく、数ラインをまとめて処理する構成であっても構わない。
【０１３５】
なお、ここでは、図９に示した水平微分フィルタ以外のフィルタであっても、水平方向の高周波成分を抽出することが可能であれば、いかなる形状のフィルタを用いても良い。
【０１３６】
加算部７３は、水平微分フィルタ処理部７２から供給される微分データの、水平１ライン分の微分データの加算を行い、水平ラインごとの微分加算値を、その水平１ラインに対応する高周波成分の大きさを表すパラメータとして、インジケータ合成部７４に供給する。
【０１３７】
また、加算部７３は、水平１ラインごとに加算処理を行わずに、数ラインをまとめて処理する構成であっても構わない。
【０１３８】
さらに、加算部７３は、例えば、図１３を用いて後述するようにして、空間的にフォーカスを合わせる領域であるフォーカシングエリアを限定し、各水平ラインのうち、フォーカシングエリア内の微分データのみを加算するようにしてもよい。
【０１３９】
なお、水平１ラインに対する高周波成分の大きさを表すパラメータを求めることができれば、水平微分フィルタ処理部７２および加算部７３が、水平方向の高周波成分を抽出し、線形加算処理を行う代わりに、他の処理を実行する構成としても良い。例えば、画像内の所定の領域にFFT（Fast Fourier Transform）をかけることにより、高調波成分を求めるようにしても良い。
【０１４０】
インジケータ合成部７４は、加算部７３から供給される水平１ラインごとの高周波成分の大きさを表すパラメータに基づいて、ユーザが、所望の被写体に対してフォーカスを合わせるための指標となる補助情報であるフォーカスインジケータを生成し、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に供給するとともに、その表示を制御する。
【０１４１】
インジケータ合成部７４によりフォーカスインジケータが合成されたビデオデータは、フォーカスインジケータが付加された撮像画像として、ビューファインダ部２７に表示される。
【０１４２】
次に、インジケータ合成部７４により合成されるフォーカスインジケータの例を、図１０乃至図１５を参照して説明する。
【０１４３】
まず、図１０および図１１を参照して、フォーカスインジケータの第１の表示例について説明する。
【０１４４】
図１０および図１１における場合では、インジケータ合成部７４は、水平ラインごとのパラメータを示すフォーカスインジケータを、図中ａで示される折れ線グラフとして生成し、ビデオデータ上に合成する。図１０および図１１における場合、フォーカスインジケータのラインの位置が画面の右端に近いほど、対応する水平ラインのパラメータは小さい値、すなわち、対応する水平ラインには高調波成分が少ないことを示しており、折れ線グラフの山の部分に対応する水平ラインには、高周波領域が多いことを示している。
【０１４５】
図１０の例の場合、フォーカスは中央の女性に合っており、女性の像の中で高調波成分が多い顔の部分が写っている水平ライン上に、フォーカスインジケータの山が現れている。
【０１４６】
そして、図１１の例では、フォーカスは背景に合っているため、女性の像の中で高調波成分が多い顔の部分が写っている水平ラインではなく、背景部分が多い水平ラインに対応する部分に、フォーカスインジケータの山が現れている。すなわち、画像中において、女性は前ボケの状態になり解像していない。
【０１４７】
オートフォーカスではなくマニュアルフォーカスで、実際に、動画像（または静止画像）を撮像するとき、ユーザは、ビューファインダ部２７に表示される像を見ながら、焦点を定める（フォーカスを合わせる）。すなわち、図１０および図１１は、オートフォーカスではなくマニュアルフォーカスで焦点を定めるために、ユーザがフォーカス位置を移動させている間のある一瞬のビューファインダ部２７の表示内容に対応する。
【０１４８】
前景（この場合は女性）または背景の持つ空間周波数は、被写体そのものに依存するため、インジケータの山の大小は、被写体の合焦とは必ずしも一致しない。実際には、レンズのフォーカス位置を動作させて、フォーカス位置を手前から後方に動かした場合、表示される撮像画像およびインジケータは、図１０の状態から図１１の状態に遷移することとなる。
【０１４９】
具体的には、フォーカスを合わせたい領域である女性の顔が写っているラインに注目した場合、フォーカス位置が女性の位置より前である状態から次第に後方に動くに従って、女性の顔が写っているライン付近のインジケータの山が高くなっていき、図１０の状態で、女性の顔が写っているライン付近のインジケータの山が最大となり、図１１に向かって山が小さくなっていくことになる。
【０１５０】
一方、背景が写っているラインに注目した場合、図１０の状態では対応する部分のインジケータの山は小さく、図１１に向かってインジケータの山が大きくなり、レンズのフォーカス位置をさらに後方に動かした場合には、背景部のインジケータのラインの山は図１１の状態で最大値となり、その後、徐々に小さくなっていく。
【０１５１】
このように、フォーカスを合わせるための指標となる補助情報であるフォーカスインジケータの表示により、ユーザは、レンズのフォーカス位置を動作させたときのフォーカスの変化を知ることが容易となる。すなわち、ユーザは、レンズのフォーカス位置を前後させつつインジケータを確認することにより、所望の被写体にフォーカスが合っているか否かを容易に認識することが可能となる。また、画面内を動く被写体に対して動画像を撮像する場合であっても、フォーカスインジケータを確認することにより、その画面内の時間的な空間周波数の変化を確認しやすくなり、ユーザは、被写体の動きに合わせたフォーカス送りなどの作業を容易に行うことができる。
【０１５２】
なお、図１０および図１１の例においては、折れ線グラフの内側を任意の色で埋め、折れ線グラフが分かりやすいようにしているが、折れ線グラフの内側の部分のビデオデータ（撮像画像）が隠れてしまわないように、折れ線グラフの線分のみを表示して、折れ線グラフの内側の部分のビデオデータをそのまま表示しても構わないし、折れ線グラフの内側の部分に対して適当な透過率を設定して任意色との合成表示を行っても構わない。また、フォーカスインジケータである折れ線グラフの表示位置は画面の右端に限定するものではなく、画面の左端等いずれの位置であっても構わない。
【０１５３】
次に、図１２を参照して、フォーカスインジケータの第２の表示例について説明する。
【０１５４】
図１２における場合では、インジケータ合成部７４は、水平ラインごとのパラメータを示すフォーカスインジケータを、図中ａ´で示されるような棒グラフとして生成し、ビデオデータ上に合成する。図１２の例においては、棒グラフを数ラインおきに表示しているが、全てのラインに対して表示してもよいし、複数ラインのパラメータの平均値を算出し、その平均値を、複数ラインごとに表示するようにしてもよい。この場合、フォーカスインジケータの棒グラフが短いほど、パラメータは小さい値、すなわち、高調波成分が少ない水平ラインであることを示しており、棒グラフが最も長い水平ラインが最も高周波領域の多い水平ラインであることを示している。
【０１５５】
図１２の例の場合、フォーカスは中央の女性に合っており、女性の像の中で高調波成分が多い顔の部分が写っている部分に対応する水平ライン上の棒グラフが長くなっている。
【０１５６】
図１２に示されるように、フォーカスインジケータを棒グラフとして表示した場合においても、図１０および図１１における場合と同様に、フォーカスインジケータは、表示される撮像画像におけるそれぞれの水平ラインの時間的な高周波成分の遷移を表現する。
【０１５７】
したがって、ユーザは、レンズのフォーカス位置を前後させつつインジケータを確認することにより、レンズのフォーカス位置を動作させたときのフォーカスの変化を容易に知ることができ、所望の被写体にフォーカスを合わせることが可能となる。また、画面内を動く被写体に対して動画像を撮像する場合であっても、フォーカスインジケータを確認することにより、その画面内の時間的な空間周波数の変化を確認しやすくなり、ユーザは、被写体の動きに合わせたフォーカス送りなどの作業が容易になる。
【０１５８】
また、フォーカスインジケータである棒グラフの表示位置は画面の右端に限定するものではなく、画面の左端等いずれの位置でも構わない。
【０１５９】
また、画面内において、フォーカスを合わせる領域、すなわち、フォーカシングエリアを限定するようにしても良い。
【０１６０】
例えば、図１３に示されるように、画面上垂直に図中ｂ−１およびｂ−２で示される２本のラインを表示させ、それらのラインの内側をフォーカシングエリアとする。加算部７３は、図中ｂ−１およびｂ−２で示される２本のラインで挟まれた領域内の画素のみ加算処理を行う。この結果、フォーカスインジケータの表示は、フォーカシングエリア内の空間周波数のみに影響をうけるため、水平１ライン上に複数のオブジェクトが存在するような複雑なシーンにおいても、より的確なフォーカス合わせを実現するための補助となるフォーカスインジケータを表示させることができる。
【０１６１】
また、フォーカスインジケータを表示するためのフォーカシングエリアの設定に関しては、ユーザが自由に設定できるようにしてもよいし、撮像装置１１において予め決定されているものであってもよい。また、フォーカシングエリアは、画面内を円形、または、多角形で切り取った部分であってもよいし、複数設けられるものであってもよい。
【０１６２】
さらに、フォーカシングエリアを限定するか否かを、ユーザが選択可能な構成としてもよいことは言うまでもない。
【０１６３】
なお、以上の説明では、フォーカスアシスト処理部５１−１においては、水平微分フィルタ処理部７２が、輝度信号生成部７１から供給された輝度信号Ｙから、水平方向の高周波成分を抽出し、加算部７３が、水平１ライン分の微分データの加算を行い、水平ラインごとの微分加算値を、その水平１ラインに対応する高周波成分の大きさを表すパラメータとして算出するものとして説明した。
【０１６４】
これに対して、例えば、水平方向ではなく、垂直方向の高調波成分を抽出し、垂直１ラインに対応する高周波成分の大きさを表すパラメータを算出して、垂直１ラインごとの高周波成分の大きさを表すパラメータの大きさを示すインジケータを生成し、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に出力して表示させるようにしても良い。
【０１６５】
垂直１ラインごとの高周波成分の大きさを表すパラメータの大きさを示すインジケータを表示させる場合、フォーカスアシスト処理部５１−１は、例えば、垂直成分の微分データの加算結果を記憶する垂直１ライン分の加算メモリをさらに備えるようにし、水平微分フィルタ処理部７２に代わって、垂直方向の微分処理を行う垂直微分フィルタ処理部を備え、加算部７３に代わって、垂直１ラインごとに垂直微分フィルタ処理部からの微分データを、該当する垂直ラインにおける加算メモリの値に加算する処理を実行する加算部を備え、インジケータ合成部７４に代わって、各垂直ラインに対してパラメータの大きさを示すインジケータを生成し、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に供給するインジケータ合成部を備えるものとする。
【０１６６】
図１４を参照して、フォーカスインジケータの第３の表示例として、各垂直ラインに対してパラメータの大きさを示すインジケータが、折れ線グラフとして表示されている場合について説明する。
【０１６７】
図１４における場合では、インジケータ合成部７４は、垂直ラインごとのパラメータを示すフォーカスインジケータを、図中ｃで示される折れ線グラフとしてビデオデータ上に合成する。この場合、フォーカスインジケータのラインの位置が画面下端に近いほど、パラメータは小さい値、すなわち、高調波成分が少ない垂直ラインであることを示しており、折れ線グラフの山の部分は高周波成分の多い垂直ラインに対応することを示している。
【０１６８】
図１４の例の場合、フォーカスは中央の女性に合っており、女性の像が写っている垂直ラインの位置に、フォーカスインジケータの山が現れている。
【０１６９】
また、図１４における場合においても、フォーカスインジケータは、表示される撮像画像におけるそれぞれの垂直ラインの時間的な高周波成分の遷移を表現する。
【０１７０】
したがって、ユーザは、レンズのフォーカス位置を前後させつつインジケータを確認することにより、レンズのフォーカス位置を動作させたときのフォーカスの変化を容易に知ることができ、所望の被写体にフォーカスを合わせることが可能となる。また、画面内を動く被写体に対して動画像を撮像する場合であっても、フォーカスインジケータを確認することにより、その画面内の時間的な空間周波数の変化を確認しやすくなり、ユーザは、被写体の動きに合わせたフォーカス送りなどの作業が容易になる。
【０１７１】
また、フォーカスインジケータである折れ線グラフの表示位置は画面の下側に限定するものではなく、画面の上側等いずれの位置でも構わない。
【０１７２】
また、垂直方向の高周波成分を表現するフォーカスインジケータも、折れ線グラフのみならず、棒グラフで表されていてもよい。
【０１７３】
また、フォーカスインジケータの第４の表示例として、図１５に示されるように、各水平ラインに対してパラメータの大きさを示す図中ａで示されるフォーカスインジケータと、各垂直ラインに対してパラメータの大きさを示す図中ｃで示されるフォーカスインジケータとが、それぞれ、ビデオデータに合成されて表示されるようにしてもよい。
【０１７４】
図１５における場合では、インジケータ合成部７４は、水平ラインごとのパラメータを示すフォーカスインジケータを図中ａで示される折れ線グラフとして、垂直ラインごとのパラメータを示すフォーカスインジケータを図中ｃで示される折れ線グラフとして、それぞれビデオデータ上に合成する。
【０１７５】
以上、図１０乃至図１５を用いて、フォーカスインジケータの表示例を示したが、これらは本発明の機能を限定するものではなく、フォーカスインジケータは、画像の空間的な高周波成分の大きさに応じて、画像空間上における位置がわかるように表示されていれば、どのような形式で表示されていてもよいことは言うまでもない。
【０１７６】
次に、図１６は、図７のフォーカスアシスト処理部５１の第２の実施例であるフォーカスアシスト処理部５１−２の構成を示すブロック図である。なお、図１６においては、図８と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１６のフォーカスアシスト処理部５１−２は、新たに、比較部９１およびピークメモリ部９２を備え、インジケータ合成部７４に代わってインジケータ合成部９３を備えている以外は、基本的に、図８のフォーカスアシスト処理部５１−１と同様の構成を有するものである。
【０１７７】
比較部９１は、加算部７３から供給される各水平ラインの微分加算値と、予めピークメモリ部９２に記憶されている過去の各水平ラインの微分データの最大値とを、ラインごとに比較する。そして、比較部９１は、各ラインにおいて、過去のパラメータの最大値と、このフレームで求められたパラメータとのうちの大きな値を抽出し、加算部７３から供給される各水平ラインの微分加算値とともに、インジケータ合成部９３に供給する。
【０１７８】
また、比較部９１は、得られたパラメータに、過去のパラメータよりも大きな値がある場合、大きな値であった微分加算値でピークメモリ部９２の情報を上書きし、ピークメモリ部９２に記憶されている、過去の各水平ラインの微分データの最大値を更新する。
【０１７９】
ピークメモリ部９２は、比較部９１による比較結果に基づいて、各水平ラインの微分加算値の最大値を保持するメモリである。ピークメモリ部９２に記憶されている過去の各水平ラインの微分データの最大値を、以下、ピークホールド値ともいう。
【０１８０】
インジケータ合成部９３は、上述した場合と同様のフォーカスインジケータと、ピークホールド値を示すラインとを、ビデオデータに合成して、ビューファインダ部２７に出力するとともに、その表示を制御する。
【０１８１】
図１７は、インジケータ合成部９３により、図中ａで示される水平ラインごとのパラメータを示すフォーカスインジケータと、図中ｄで示されるピークホールド値を示すラインが生成された場合の、ビューファインダ部２７の表示例である。
【０１８２】
図中ａで示される、水平ラインごとのパラメータを示すフォーカスインジケータは、図１０および図１１を用いて説明したものと同じフォーカスインジケータである。図１７の例においては、数ラインをまとめて比較処理した結果を示しているが、各ラインごとに比較処理を行っても構わない。また、ピークホールドの表示方法は、過去の最大値が表現できればどのようなものでも構わない。
【０１８３】
それぞれの水平ラインにおいて高調波成分が多い場合、その水平ラインの画素は多くのエッジ要素を含んでいる。すなわち、ユーザは、レンズのフォーカス位置を前後させつつインジケータを確認し、所望の被写体に焦点が合っている場合にインジケータの山が高くなると思われるラインにおいて、インジケータの山がピークホールド値に合うように調整することにより、所望の被写体に容易にフォーカスを合わせることが可能となる。
【０１８４】
また、撮像される対象が変わった場合、過去の微分加算値の最大値は意味を持たない。したがって、ピークメモリ部９２に記録されている各水平ラインの微分加算値の最大値がずっとリセットされなかった場合、ピークホールド値の意味がなくなってしまう。
【０１８５】
そこで、ピークメモリ部９２に記録されている各水平ラインの微分加算値の最大値は、所定時間ごとに、または、ユーザの操作入力を受けてリセットされるものとする。換言すれば、ピークメモリ部９２には、次のリセットタイミングまでの最大微分データが保持されることになる。
【０１８６】
このように、図１７のｄで示される、ピークホールド値に対応するラインをフォーカスインジケータとともに表示させることにより、ユーザは、レンズのフォーカス位置を前後させつつ所望の被写体に焦点を合わせる場合に、フォーカスを合わせたい領域のインジケータがピークと一致しているかまたは近づいているか否かに基づいて、現在のフォーカス位置が、所望の被写体に対するフォーカス位置の最適値であるか否かを判断しやすくなる。この方法によれば、被写界深度が浅くフォーカス合わせが難しいような条件においても、所望の被写体に確実にフォーカス合わせを行うことが可能となる。
【０１８７】
なお、図１６および図１７を用いて説明した場合においては、水平方向のみの処理に限定して説明を行ったが、図１４を用いて説明した場合と同様にして、垂直方向の処理を行い、垂直方向のフォーカスインジケータおよびピークホールド値に対応するラインを生成し、表示させるようにしてもよい。
【０１８８】
また、図１５を用いて説明した場合と同様に、水平方向と垂直方向の処理を同時に行い、２次元的にフォーカスインジケータおよびピークホールド値に対応するラインを生成して、表示させることができるような構成にしても構わない。
【０１８９】
次に、図１８は、図７のフォーカスアシスト処理部５１の第３の実施例であるフォーカスアシスト処理部５１−３の構成を示すブロック図である。なお、図１８においては、図８と対応する部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図１８のフォーカスアシスト処理部５１−３は、図８のフォーカスアシスト処理部５１−１に、図２のファインダ表示画像変換部２６の切替パルス生成部４２および画像合成部４３をさらに備え、インジケータ合成部７４に代わってインジケータ合成部１１１を備えている以外は、基本的に、図８のフォーカスアシスト処理部５１−１と同様の構成を有するものである。
【０１９０】
カメラ信号処理部２３からフォーカスアシスト処理部５１−３に供給される入力ビデオデータは、輝度信号生成部７１に供給されるとともに、画像合成部４３に供給される。
【０１９１】
輝度信号生成部７１は、カメラ信号処理部２３からの入力ビデオデータに対して、上述した式（１）に示すような変換処理を施し、輝度信号Ｙを生成して、画像合成部４３および水平微分フィルタ処理部７２に供給する。
【０１９２】
画像合成部４３は、切替パルス生成部４２から供給されるパルス信号MEに基づいて、ビューファインダ部２７に表示される撮像画像についてのビデオデータのうちの矩形領域Ａの範囲を、輝度信号生成部７１からの輝度信号Ｙに変換し、インジケータ合成部１１１に供給する。
【０１９３】
インジケータ合成部１１１は、上述した場合と同様のフォーカスインジケータを、画像合成部４３からの、ビデオデータのうちの矩形領域Ａの範囲が輝度信号Ｙに変換されたビデオデータに合成して、ビューファインダ部２７に供給するとともに、その表示を制御する。
【０１９４】
次に、図１９を参照して、フォーカスインジケータの第４の表示例について説明する。
【０１９５】
図１９は、画像合成部４３によって、ビューファインダ部２７に表示される撮像画像についてのビデオデータのうちの矩形領域Ａの範囲が輝度信号Ｙに変換された合成画像に、インジケータ合成部１１１により、図中ａで示される水平ラインごとのパラメータを示すフォーカスインジケータが合成された場合の、ビューファインダ部２７の表示例である。
【０１９６】
図中、矩形領域Ａは、図４を用いて説明したものと同じフォーカシングエリアである。また、図中ａで示される、水平ラインごとのパラメータを示すフォーカスインジケータは、図１０および図１１を用いて説明したものと同じフォーカスインジケータである。
【０１９７】
図１９の例においては、加算部７３は、矩形領域Ａであるフォーカシングエリア内の画素のみ加算処理を行う。
【０１９８】
この結果、フォーカスインジケータは、矩形領域Ａと交差しない水平ラインについては表示されず、また、そのフォーカスインジケータの表示は、フォーカシングエリア内の空間周波数のみに影響をうけるため、水平１ライン上に複数のオブジェクトが存在するような複雑なシーンにおいても、より的確なフォーカス合わせを実現するための補助となるフォーカスインジケータを表示させることができ、また、フォーカスを合わせたい対象が輝度信号で表示（モノクロ表示）されるので、ユーザにとって、コントラストを見極めやすくなり、さらにフォーカス合わせが容易になる。
【０１９９】
なお、図１８および図１９を用いて説明した場合においては、水平方向のみの処理に限定して説明を行ったが、図１５を用いて説明した場合と同様に、水平方向と垂直方向の処理を同時に行い、２次元的にフォーカスインジケータを生成して、表示させるようにしてもよい。
【０２００】
また、図１７を用いて説明した場合と同様にして、水平方向のフォーカスインジケータおよびピークホールド値に対応するラインを生成し、表示させるようにしてもよい。
【０２０１】
さらに、水平方向と垂直方向の処理を同時に行った上で、２次元的にフォーカスインジケータおよびピークホールド値に対応するラインを生成して、表示させることができるような構成にしても構わない。
【０２０２】
以上、図７においては、撮像素子２２、およびカメラ信号処理部２３を有し、ユーザの操作入力に基づいてフォーカス位置が制御可能な撮像装置１１の構成を説明し、図８以下の図面を用いて、撮像装置１１における処理について説明したが、例えば、図８、図１６、または図１８を用いて説明したフォーカスアシスト処理部５１と、ビューファインダ部２７に対応する機能を有するものを１つの装置として構成しても良い。
【０２０３】
具体的には、ユーザの操作入力に基づいて、フォーカス位置が制御可能な撮像装置により撮像された撮像画像を外部の装置から取得して、上述したようなフォーカスインジケータ等の作成および撮像画像との合成処理を行って、ビューファインダに表示することができる機能を有する表示装置を構成するものとしても良い。
【０２０４】
さらに、図８、図１６、または図１８を用いて説明したフォーカスアシスト処理部５１に対応する機能を有するものを１つの装置として構成しても良い。
【０２０５】
具体的には、ユーザの操作入力に基づいて、フォーカス位置が制御可能な撮像装置により撮像された撮像画像を外部の装置から取得して、上述したようなフォーカスインジケータ等の作成および撮像画像との合成処理を行って、外部の他の表示装置に出力して表示させることができる機能を有する表示制御装置を構成するものとしても良い。
【０２０６】
次に、図２０のフローチャートを参照して、図７の撮像装置１１が実行する撮像処理について説明する。なお、ステップＳ３２乃至ステップＳ３８の各処理は、撮像された動画像のあるフレームの処理としては、ステップＳ３４およびステップＳ３５の処理とステップＳ３６およびステップＳ３７の処理とが並行して実行可能であるが、基本的には、記載されたステップの通りに順次実行されるものである。しかしながら、これらは、順次撮像される複数フレームにより構成される動画像全体に対して実行される処理であるので、撮像装置１１内においては、それぞれ、並行して実行される。
【０２０７】
ステップＳ３１乃至ステップＳ３５においては、図５のステップＳ１１乃至ステップＳ１５と同様の処理が実行される。すなわち、図７の撮像装置１１における撮像光学系２１および撮像素子２２は、撮像を開始し、カメラ信号処理部２３は、撮像素子２２から供給されたRAWデータに対して、ホワイトバランス補正、ゲイン調整、デモザイク処理、リニアマトリクス処理、およびガンマ補正処理等の処理を施し、コーディック部２４は、圧縮処理を行い、記録部２５は、符号化ストリームを記録する。
【０２０８】
ステップＳ３６において、フォーカスアシスト処理部５１は、図２１、図２２、または図２３を用いて説明するフォーカスインジケータ生成処理を実行し、処理は、ステップＳ３７に進む。
【０２０９】
ステップＳ３７において、ビューファインダ部２７は、例えば、図１０乃至図１５、図１７、または図１９を用いて説明したような、ユーザが合焦具合を把握しやすくするための補助情報であるフォーカスインジケータ、または、フォーカスインジケータおよびピークホールド値を示すラインが付加された撮像画像を表示し、処理は、ステップＳ３８に進む。
【０２１０】
ステップＳ３８においては、図５のステップＳ１８と同様の処理が実行される。すなわち、操作入力部２８は、ユーザからの操作入力に基づいて、撮像の終了が指令されたか否かを判断し、撮像の終了が指令されていないと判断された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。そして、撮像の終了が指令されたと判断された場合、処理は終了する。
【０２１１】
このような処理により、動画像が撮像され、記録されるとともに、記録されている動画像とともに、フォーカスインジケータ（または、フォーカスインジケータおよびピークホールド値を示すライン）が表示される。
【０２１２】
したがって、ユーザは、フォーカスインジケータを参照して、例えば、レンズリングを操作することなどにより、所望の対象物に容易にフォーカスを合わせることができる。また、電子的にレンズを動かし、フォーカスを自動修正することができるようにしてもよいことはいうまでもない。
【０２１３】
次に、図２１のフローチャートを参照して、図２０のステップＳ３６において実行される処理の第１の例である、フォーカスインジケータ生成処理１について説明する。フォーカスインジケータ生成処理１は、フォーカスアシスト処理部５１−１により実行される。
【０２１４】
ステップＳ４１において、輝度信号生成部７１は、カメラ信号処理部２３から供給される入力ビデオデータに対して、例えば、上述した式（１）に示すような変換処理を施し、輝度信号Ｙを生成して、水平微分フィルタ処理部７２に供給する。その後、処理は、ステップＳ４２に進む。
【０２１５】
ステップＳ４２において、水平微分フィルタ処理部７２は、輝度信号生成部７１からの輝度信号Ｙに対して、図９に示すような係数を持つ水平微分フィルタを施して微分データを得ること等により、輝度信号の水平方向の高周波成分を抽出して、加算部７３に供給し、処理は、ステップＳ４３に進む。
【０２１６】
ステップＳ４３において、加算部７３は、水平微分フィルタ処理部７２から供給される微分データの、水平１ライン分の微分データの加算を行うこと等により、水平１ラインに対する高周波成分の大きさを表すパラメータを求め、インジケータ合成部７４に供給して、処理は、ステップＳ４４に進む。
【０２１７】
ステップＳ４４において、インジケータ合成部７４は、加算部７３から供給される水平１ラインごとの高周波成分の大きさを表すパラメータに基づいて、各ラインに対するパラメータの大きさを示すインジケータを生成し、カメラ信号処理部２３から供給されるビデオデータ上に合成する。インジケータ合成部７４は、インジケータが合成されたビデオデータを、ビューファインダ部２７に供給し、その表示を制御して、処理は、図２０のステップＳ３６に戻り、ステップＳ３７に進む。
【０２１８】
このような処理により、カメラ信号処理部２３から供給されるビデオデータ上に、例えば、図１０乃至図１２を用いて説明したようなフォーカスインジケータを合成し、ビューファインダ部２７に、フォーカスインジケータが付加された撮像画像を表示させることができる。
【０２１９】
次に、図２２のフローチャートを参照して、図２０のステップＳ３６において実行される処理の第２の例である、フォーカスインジケータ生成処理２について説明する。フォーカスインジケータ生成処理２は、フォーカスアシスト処理部５１−２により実行される。
【０２２０】
ステップＳ７１乃至ステップＳ７３においては、図２１のステップＳ４１乃至ステップＳ４３と同様の処理が実行される。すなわち、輝度信号生成部７１は、輝度信号を生成し、水平微分フィルタ処理部７２は、輝度信号の水平方向の高周波成分を抽出し、加算部７３は、水平１ラインに対する高周波成分の大きさを表すパラメータを求める。
【０２２１】
ステップＳ７４において、比較部９１は、加算部７３から各水平ラインの微分加算値の供給を受けるとともに、予めピークメモリ部９２に記憶されている、過去の各水平ラインの過去のパラメータの最大値を読み出して、処理は、ステップＳ７５に進む。
【０２２２】
ステップＳ７５において、比較部９１は、加算部７３によって得られたパラメータのうち、予めピークメモリ部９２に記憶されている過去のパラメータよりも大きな値があるか否かを判断する。
【０２２３】
ステップＳ７５において、過去のパラメータよりも大きな値があると判断された場合、処理は、ステップＳ７６に進み、比較部９１は、大きな値であった微分加算値でピークメモリ部９２の情報を上書きし、ピークメモリ部９２に記録されている、過去の各水平ラインの微分データの最大値を更新する。
【０２２４】
ステップＳ７５において、過去のパラメータよりも大きな値がないと判断された場合、または、ステップＳ７６の処理の終了後、処理は、ステップＳ７７に進み、インジケータ合成部９３は、各水平ラインの微分加算値に基づいて、各ラインに対してパラメータの大きさを示すフォーカスインジケータを生成するとともに、ピークメモリ部９２に記録されている過去の各水平ラインの微分データの最大値に基づいて、ピークホールド値を示すラインを生成する。そして、インジケータ合成部９３は、フォーカスインジケータおよびピークホールド値を示すラインを、カメラ信号処理部２３から供給されるビデオデータ上に合成して、ビューファインダ部２７に供給し、その表示を制御して、処理は、図２０のステップＳ３６に戻り、ステップＳ３７に進む。
【０２２５】
このような処理により、カメラ信号処理部２３から供給されるビデオデータ上に、例えば、図１７を用いて説明したようなフォーカスインジケータおよびピークホールド値を示すラインを合成し、ビューファインダ部２７に、フォーカスインジケータおよびピークホールド値を示すラインが付加された撮像画像を表示させることができる。
【０２２６】
なお、ピークメモリ部９２に記録されているパラメータの最大値は、上述したように、一定時間が経過したらリセットされるものとしてもよいし、ユーザの操作入力によりリセットされるものとしてもよい。
【０２２７】
次に、図２３のフローチャートを参照して、図２０のステップＳ３６において実行される処理の第３の例である、フォーカスインジケータ生成処理３について説明する。フォーカスインジケータ生成処理３は、フォーカスアシスト処理部５１−３により実行される。
【０２２８】
ステップＳ１０１においては、図６で説明した輝度信号変換処理と同様の処理が実行される。すなわち、輝度信号生成部７１は、輝度信号Ｙを生成し、切替パルス生成部４２は、パルス信号MEの生成を開始し、画像合成部４３は、パルス信号MEに応じて、ビューファインダ部２７に表示される撮像画像についてのビデオデータのうちの矩形領域Ａの範囲を、輝度信号生成部７１からの輝度信号Ｙに変換することにより、ビデオデータと輝度信号Ｙとの合成画像を生成する。
【０２２９】
ステップＳ１０２およびステップＳ１０３においては、図２１のステップＳ４２およびステップＳ４３と同様の処理が実行される。すなわち、水平微分フィルタ処理部７２は、輝度信号の水平方向の高周波成分を抽出し、加算部７３は、矩形領域Ａと交差する水平１ラインに対する高周波成分の大きさを表すパラメータを求める。
【０２３０】
ステップＳ１０４において、インジケータ合成部１１１は、加算部７３からの矩形領域Ａと交差する水平１ラインごとの高周波成分の大きさを表すパラメータに基づいて、各ラインに対するパラメータの大きさを示すインジケータを生成し、画像合成部４３から供給される合成画像上に合成する。インジケータ合成部１１１は、インジケータが合成された合成画像を、ビューファインダ部２７に供給し、その表示を制御して、処理は、図２０のステップＳ３６に戻り、ステップＳ３７に進む。
【０２３１】
このような処理により、カメラ信号処理部２３から供給されるビデオデータのうち、ビューファインダ部２７に表示される撮像画像についてのビデオデータのうちの矩形領域Ａの範囲を、輝度信号Ｙに変換することにより生成された合成画像上に、例えば、図１９を用いて説明したようなフォーカスインジケータを合成するので、ビューファインダ部２７に、フォーカスを合わせたい被写体が表示されている領域がモノクロ表示され、フォーカスインジケータが付加されている合成画像を表示させることができる。
【０２３２】
また、図２０乃至図２３のフローチャートを用いて説明した処理では、水平方向１ラインごとに、高調波成分の大きさを示すパラメータを求め、インジケータを生成して表示させる場合について説明しているが、それ以外にも、上述したようにして、高調波成分の大きさを示すパラメータを複数ラインごとに求めて、それに対応するインジケータを表示するものとしてもよい。
【０２３３】
また、図１４および図１５を用いて説明したように、水平方向ではなく、垂直方向における高調波成分の大きさを示すパラメータを求め、それに対応するインジケータを表示するものとしてもよい。
【０２３４】
以上のように、撮像装置１１では、画像を撮像し、撮像された撮像画像の輝度信号Ｙを生成し、ビューファインダ部２７に表示される撮像画像の表示領域のうち、ビデオデータにおける矩形領域Ａの範囲を輝度信号Ｙに変換し、ビデオデータのうちの矩形領域Ａの範囲が輝度信号Ｙに変換された合成画像を、ビューファインダ部２７に表示するようにしたので、ビューファインダ部２７において、フォーカスを合わせたい被写体が表示されている矩形領域Ａが輝度信号Ｙで表示（モノクロ表示）され、それ以外の領域がカラー表示されて、特に、フォーカスを合わせたい被写体については、人間の視覚特性に従って明暗の差が認識しやすくなり、ユーザは、色味を確認しつつ、フォーカス合わせを容易に行うことができる。
【０２３５】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、上述した処理は、図２４に示されるようなパーソナルコンピュータ５００により実行される。
【０２３６】
図２４において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０２３７】
CPU５０１，ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
【０２３８】
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
【０２３９】
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
【０２４０】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２４１】
この記録媒体は、図２４に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。
【０２４２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２４３】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２４４】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２４５】
【図１】本発明を適用した撮像装置の一実施の形態の構成を示すブロック図である。
【図２】図１のファインダ表示画像変換部の構成例を示すブロック図である。
【図３】切替パルス生成部の処理を説明するタイミングチャートである。
【図４】フォーカシングエリアについて説明する図である。
【図５】図１の撮像装置による撮像処理について説明するフローチャートである。
【図６】輝度信号変換処理について説明するフローチャートである。
【図７】撮像装置の他の構成を示すブロック図である。
【図８】図１のフォーカスアシスト処理部の第１の構成例を示すブロック図である。
【図９】水平微分フィルタについて説明する図である。
【図１０】フォーカスインジケータについて説明する図である。
【図１１】フォーカスインジケータについて説明する図である。
【図１２】フォーカスインジケータの他の例について説明する図である。
【図１３】フォーカシングエリアについて説明する図である。
【図１４】フォーカスインジケータの他の例について説明する図である。
【図１５】フォーカスインジケータの他の例について説明する図である。
【図１６】図１のフォーカスアシスト処理部の第２の構成例を示すブロック図である。
【図１７】ピークホールド値を示すラインについて説明する図である。
【図１８】図１のフォーカスアシスト処理部の第３の構成例を示すブロック図である。
【図１９】フォーカシングエリアとフォーカスインジケータについて説明する図である。
【図２０】図７の撮像装置による撮像処理について説明するフローチャートである。
【図２１】フォーカスインジケータ生成処理１について説明するフローチャートである。
【図２２】フォーカスインジケータ生成処理２について説明するフローチャートである。
【図２３】フォーカスインジケータ生成処理３について説明するフローチャートである。
【図２４】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０２４６】
１１  撮像装置，  ２１  撮像光学系，  ２２  撮像素子，  ２３  カメラ信号処理部，  ２４  コーディック部，  ２５  記録部，  ２６  ファインダ表示画像変換部，  ２７  ビューファインダ部，  ２８  操作入力部，  ４１  輝度信号生成部，  ４２  切替パルス生成部，  ４３  画像合成部，  ５１  フォーカスアシスト処理部，  ７１  輝度信号生成部，  ７２  水平微分フィルタ処理部，  ７３  加算部，  ７４  インジケータ合成部，  ９１  比較部，  ９２  ピークメモリ部，  ９３  インジケータ合成部，  １１１  インジケータ合成部
【図１】
2009164985.tif 000003
【図２】
2009164985.tif 000004
【図３】
2009164985.tif 000005
【図４】
2009164985.tif 000006
【図５】
2009164985.tif 000007
【図６】
2009164985.tif 000008
【図７】
2009164985.tif 000009
【図８】
2009164985.tif 000010
【図９】
2009164985.tif 000011
【図１０】
2009164985.tif 000012
【図１１】
2009164985.tif 000013
【図１２】
2009164985.tif 000014
【図１３】
2009164985.tif 000015
【図１４】
2009164985.tif 000016
【図１５】
2009164985.tif 000017
【図１６】
2009164985.tif 000018
【図１７】
2009164985.tif 000019
【図１８】
2009164985.tif 000020
【図１９】
2009164985.tif 000021
【図２０】
2009164985.tif 000022
【図２１】
2009164985.tif 000023
【図２２】
2009164985.tif 000024
【図２３】
2009164985.tif 000025
【図２４】
2009164985.tif 000026