(57)【要約】【課題】人物を含めて複数の被写体が存在する場合であっても、より好ましい撮影構図を指示することができる撮像装置を提供する。【解決手段】制御部１９は、ＣＭＯＳ撮像素子１３によって取得した撮像画像から複数の被写体のうちユーザの選択操作に従って選択された第１被写体を決定する第１選択処理と、ＣＭＯＳ撮像素子１３によって取得した撮像画像から第２被写体を決定する第２選択処理と、第１被写体及び第２被写体を含む画像全体における撮影構図を決定し、当該撮影構図をユーザに指示する構図指示処理とを行う。【選択図】      図１
2009246438.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子によって撮像画像を取得する撮像手段と、
前記撮像手段によって取得した撮像画像に含まれている複数の被写体のうちユーザの選択操作に従って選択された第１被写体を決定する第１選択手段と、
前記撮像手段によって取得した撮像画像に含まれている複数の被写体のうち第２被写体を決定する第２選択手段と、
前記第１被写体及び前記第２被写体を含む画像全体における撮影構図を決定し、当該撮影構図をユーザに指示する構図指示手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記撮像手段によって取得した撮像画像から複数の被写体を抽出する被写体抽出手段を更に備え、
前記第１選択手段及び前記第２選択手段は、前記被写体抽出手段により抽出された被写体の中から第１被写体及び第２被写体を決定すること
を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記構図指示手段は、前記撮像手段によって取得されて表示手段に表示させる画像に撮影構図画像を重畳させることを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記第１選択手段は、ユーザの選択操作に従って第１被写体を決定する動作から、前記自動的に第１被写体を決定する動作に切り換え可能であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【請求項５】
前記第１選択手段は、前記撮像手段によって取得した撮像画像の複雑度合いを判定し、当該撮像画像が複雑ではないと判定した場合には前記第１被写体を自動的に検出し、当該撮像画像が複雑であると判定した場合には前記第１被写体をユーザの選択操作に従って選択することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記第２選択手段は、前記撮像手段によって取得した撮像画像の複雑度合いに基づいて、自動的に第２被写体を選択することを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記第２選択手段は、自動的に第２被写体を決定する動作と、ユーザの選択操作に従って第２被写体を決定する動作との間で切り換え可能であることを特徴とする請求項１乃至請求項３、請求項６の何れか一項に記載の撮像装置。
【請求項８】
前記第２選択手段は、前記撮像手段によって取得した撮像画像の複雑度合いを判定し、当該撮像画像が複雑ではないと判定した場合には前記第２被写体を自動的に検出し、当該撮像画像が複雑であると判定した場合には前記第２被写体をユーザの選択操作に従って選択することを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記構図指示手段は、前記第１被写体又は前記第２被写体の変化に基づいて、前記撮影構図を変更することを特徴とする請求項１乃至請求項８の何れか一項に記載の撮像装置。
【請求項１０】
前記構図指示手段は、前記撮像画像全体に対する前記第１被写体又は前記第２被写体の大きさ、位置、形状、色、又は、輪郭のシャープネスを含む特徴情報を検出して、当該検出した第１被写体又は第２被写体の特徴情報に基づいて前記撮影構図を変更することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記構図指示手段は、複数の撮影構図から所定数の撮影構図を選択し、当該選択された所定数の撮影構図から何れかの撮影構図を決定することを特徴とする請求項１乃至請求項１０の何れか一項に記載の撮像装置。
【請求項１２】
撮像装置に内蔵されたコンピュータが実行するプログラムであって、
撮像素子によって撮像画像を取得する撮像処理と、
前記撮像手段によって取得した撮像画像に含まれている複数の被写体のうちユーザの選択操作に従って選択された第１被写体を決定する第１選択処理と、
前記撮像手段によって取得した撮像画像に含まれている第２被写体を決定する第２選択処理と、
前記第１被写体及び前記第２被写体を含む画像全体における撮影構図を決定し、当該撮影構図をユーザに指示する構図指示処理と
をコンピュータに実行させることを特徴とする撮像装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像するときにユーザに対して撮影構図を案内する撮像装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来より、被写体を撮像するときにユーザに対して撮影構図を案内する技術としては、下記の特許文献１に記載されたものが知られている。
【０００３】
この特許文献１に記載された撮像装置は、撮像画像から人物位置を自動で分析して、撮影構図のガイドをしている。具体的には、撮像画像から顔位置を検出した場合には、当該顔位置が画像内の所定位置となるように、修正すべきカメラの向きを音声ガイドしている。
【特許文献１】特開２００５−２６９５６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載された技術を始めとする既存技術では、撮影画像中に複数の被写体が存在した場合には、人物位置と他の被写体位置とを自動で分析することが困難な場合がある。このような場合、ユーザが意図しない人物や被写体を認識してしまい、意図しない撮影構図を案内する可能性があった。
【０００５】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、人物を含めて複数の被写体が存在する場合であっても、より好ましい撮影構図を指示することができる撮像装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上述の課題を解決するために、撮像素子によって撮像画像を取得する撮像手段と、前記撮像手段によって取得した撮像画像に含まれている複数の被写体のうちユーザの選択操作に従って選択された第１被写体を決定する第１選択手段と、前記撮像手段によって取得した撮像画像に含まれている複数の被写体のうち第２被写体を決定する第２選択手段と、前記第１被写体及び前記第２被写体を含む画像全体における撮影構図を決定し、当該撮影構図をユーザに指示する構図指示手段とを備えることを特徴とする。
【０００７】
また本発明においては、前記撮像手段によって取得した撮像画像から複数の被写体を抽出する被写体抽出手段を更に備え、前記第１選択手段及び前記第２選択手段は、前記被写体抽出手段により抽出された被写体の中から第１被写体及び第２被写体を決定することが望ましい。
【０００８】
更にまた本発明において、前記構図指示手段は、前記撮像手段によって取得されて表示手段に表示させる画像に撮影構図画像を重畳させても良い。
【０００９】
更にまた本発明において、前記第１選択手段は、ユーザの選択操作に従って第１被写体を決定する動作から、前記自動的に第１被写体を決定する動作に切り換え可能であることが望ましい。
【００１０】
更にまた本発明において、前記第１選択手段は、前記撮像手段によって取得した撮像画像の複雑度合いを判定し、当該撮像画像が複雑ではないと判定した場合には前記第１被写体を自動的に検出し、当該撮像画像が複雑であると判定した場合には前記第１被写体をユーザの選択操作に従って選択するが望ましい。
【００１１】
更にまた本発明において、前記第２選択手段は、前記撮像手段によって取得した撮像画像の複雑度合いに基づいて、自動的に第２被写体を選択することが望ましい。
【００１２】
更にまた本発明において、前記第２選択手段は、自動的に第２被写体を決定する動作と、ユーザの選択操作に従って第２被写体を決定する動作との間で切り換え可能であることが望ましい。
【００１３】
更にまた本発明において、前記第２選択手段は、前記撮像手段によって取得した撮像画像の複雑度合いを判定し、当該撮像画像が複雑ではないと判定した場合には前記第２被写体を自動的に検出し、当該撮像画像が複雑であると判定した場合には前記第２被写体をユーザの選択操作に従って選択することが望ましい。
【００１４】
更にまた本発明において、前記構図指示手段は、前記第１被写体又は前記第２被写体の変化に基づいて、前記撮影構図を変更することが望ましい。
【００１５】
更にまた本発明において、前記構図指示手段は、前記撮像画像全体に対する前記第１被写体又は前記第２被写体の大きさ、位置、形状、色、又は、輪郭のシャープネスを含む特徴情報を検出して、当該検出した第１被写体又は第２被写体の特徴情報に基づいて前記撮影構図を変更してもよい。
【００１６】
更にまた本発明において、前記構図指示手段は、複数の撮影構図から所定数の撮影構図を選択し、当該選択された所定数の撮影構図から何れかの撮影構図を決定することが望ましい。
【００１７】
本発明においては、撮像装置に内蔵されたコンピュータが実行するプログラムであって、上述の課題を解決するために、撮像素子によって撮像画像を取得する撮像処理と、前記撮像手段によって取得した撮像画像に含まれている複数の被写体のうちユーザの選択操作に従って選択された第１被写体を決定する第１選択処理と、前記撮像手段によって取得した撮像画像に含まれている第２被写体を決定する第２選択処理と、前記第１被写体及び前記第２被写体を含む画像全体における撮影構図を決定し、当該撮影構図をユーザに指示する構図指示処理とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、第１被写体を選択し第２被写体を選択して、撮影構図を決定するので、人物を含めて複数の被写体が存在する場合であっても、より好ましい撮影構図を指示することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を参照して説明する。
【００２０】
まず、図１を用いて、本発明の実施の形態として示す撮像装置１の機能的な構成について説明する。
【００２１】
図１に示すように、撮像装置１は、モータ１１と、レンズユニット１２と、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）撮像素子１３と、Ａ／Ｄ変換処理部１４と、カラープロセス回路１５と、ＤＭＡ（Direct Memory Access）コントローラ１６と、ＤＲＡＭインターフェース（Ｉ／Ｆ）１７と、ＤＲＡＭ１８と、制御部１９と、ＶＲＡＭコントローラ２０と、ＶＲＡＭ２１と、デジタルビデオエンコーダ２２と、表示部２３と、画像処理部２４と、メモリ２５と、キー入力部２６と、データベース記憶部２７と、音声処理部２８と、マイクロフォン部（ＭＩＣ）３０と、スピーカ部（ＳＰ）３１と、ストロボ駆動部２９と、ストロボ発光部３２とを備えている。
【００２２】
レンズユニット１２は、外光を入射するための複数のレンズ群からなる。レンズユニット１２は、所定範囲の撮像領域の外光をＣＭＯＳ撮像素子１３に結像するための光学系である。レンズユニット１２は、図示しないシャッターユニット、絞りユニットを備えている。これらシャッターユニット、絞りユニットは、モータ１１の駆動により合焦位置や絞り位置が移動される。このレンズユニット１２は、制御部１９の制御に応じてズームアウト、ズームインを自在に実行し、撮影範囲を変化させることができるズームレンズも備えている。
【００２３】
ＣＭＯＳ撮像素子１３は、例えばＲＧＢの原色系のカラーフィルタを形成している。ＣＭＯＳ撮像素子１３は、図示しないタイミング発生器及び垂直ドライバによって走査駆動される。ＣＭＯＳ撮像素子１３は、一定周期毎に結像した光像に対応する光電変換出力を１画面分出力する。
【００２４】
Ａ／Ｄ変換処理部１４は、サンプルホールド回路、Ａ／Ｄ変換器を含む。Ａ／Ｄ変換処理部１４は、ＣＭＯＳ撮像素子１３から出力された光電変換出力に所望の処理を施す。具体的には、ＣＭＯＳ撮像素子１３からの光電変換出力に対して、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整する。その後、サンプルホールド回路によってサンプルホールドし、Ａ／Ｄ変換器によってデジタルデータに変換し、カラープロセス回路１５に出力する。
【００２５】
カラープロセス回路１５は、画素補間処理、γ補正処理、及びマトリックス演算を含むカラープロセス処理を行う。カラープロセス回路１５は、デジタル値としての輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを生成しＤＭＡコントローラ１６に出力する。
【００２６】
ＤＭＡコントローラ１６は、カラープロセス回路１５の出力する輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、一旦はＤＭＡコントローラ１６内部のバッファに書き込む。この時、ＤＭＡコントローラ１６は、同じくカラープロセス回路１５から供給された複合同期信号、メモリ書き込みイネーブル信号、及びクロック信号を参照して、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを書き込む。そして、ＤＭＡコントローラ１６は、輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、ＤＲＡＭインターフェース１７を介してバッファメモリとして使用されるＤＲＡＭ１８に直接的に転送を行う。
【００２７】
デジタルビデオエンコーダ２２は、輝度信号Ｙ及び色差信号Ｃｂ、ＣｒをＶＲＡＭコントローラ２０を介してＶＲＡＭ２１より定期的に読み出し、これらのデータを元にビデオ信号を発生して表示部２３に出力する。
【００２８】
このような構成により、撮像装置１は、ＣＭＯＳ撮像素子１３によって撮像した撮像画像を表示部２３に表示させることができる。
【００２９】
表示部２３は、図示しないが、撮像装置１の筐体の背面側に設けられている。画像処理部２４は、撮影モード時にはモニタ表示部（電子ファインダ）として機能する。この撮影モード時において、画像処理部２４は、デジタルビデオエンコーダ２２からのビデオ信号に基づいた表示を行う。これにより、撮像装置１は、その時点でＶＲＡＭコントローラ２０から取り込んでいる画像情報をリアルタイムに表示する。
【００３０】
このように、表示部２３に、その時点での画像がモニタ画像としてリアルタイムに表示されている、いわゆるスルー画像の表示状態で、撮像装置１は、撮像可能な状態となる。そして、撮影を行いたいタイミングで、キー入力部２６のうちの一つであるシャッターキーが操作されると、制御部１９に対してトリガ信号が発生される。
【００３１】
制御部１９は、このトリガ信号に応じて、その時点でＣＭＯＳ撮像素子１３から取り込んでいる１画面分の輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを画像処理部２４に供給する。このとき、ＤＲＡＭインターフェース１７は、ＤＭＡコントローラ１６から供給されてＤＲＡＭ１８に書き込んだ輝度信号Ｙ、色差信号Ｃｂ、色差信号Ｃｒの各コンポーネント毎に、画像処理部２４に供給する。ＤＲＡＭインターフェース１７は、例えば、縦８画素×横８画素の基本ブロックと呼称される単位で輝度信号Ｙ、色差信号Ｃｂ、色差信号Ｃｒを読み出して、画像処理部２４に供給する。
【００３２】
画像処理部２４は、制御部１９の制御に応じて、書き込まれた画像に対してＪＰＥＧ（Joint Photograph coding Experts Group）規格に従ったＡＤＣＴ（Adaptive Discrete Cosine Transform：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化などの処理によりデータ圧縮する。
【００３３】
メモリ２５は、固定的に常設された記録媒体や、当該撮像装置１に対して着脱自在なメモリカードなどの記録媒体などである。メモリ２５には、制御部１９の制御により、画像処理部２４の処理により得られた符号データが１画像のデータファイルとして書き込まれる。
【００３４】
キー入力部２６は、電源キー、シャッターキー、モード切替キー、メニューキー、十字キー及びセットキーなどを総称したユーザの操作を入力するためのキー群である。このキー入力部２６は、制御部１９に接続されている。各キーの操作に応じて操作された旨を指示する操作命令信号は、制御部１９へと出力される。
【００３５】
このようなキー入力部２６は、後述するように、ユーザの操作によって、撮影構図を指定するために被写体を選択する選択操作がなされる。この選択操作は、十字キーによって行われても良く、表示部２３が液晶パネルで構成されている場合に当該液晶パネルと同じ大きさにて設けられたタッチフィルムによって行われても良い。このような被写体を選択する操作は、制御部１９に対して操作入力信号として供給される。
【００３６】
音声処理部２８は、ＰＣＭ音源などの音源回路を備える。音声の録音時には、音声処理部２８は、マイクロフォン部３０より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＭＰ３（MPEG-1 audio layer 3）規格にしたがってデータ圧縮して音声データファイルを生成してメモリ２５に送出する。また、音声処理部２８は、音声の再生時には、メモリ２５から送られた音声データファイルの伸長してアナログ信号へと変換し、撮像装置１の図示しない筐体の背面に設けられたスピーカ部３１を介して拡声放音させる。
【００３７】
ストロボ駆動部２９は、静止画撮影時に図示しないストロボ用の大容量コンデンサを充電した上で、制御部１９からの制御に応じてストロボ発光部３２を閃光駆動させる。また、動画像の撮影時においては、１回目のシャッターキーが操作された時点で、上述した静止画データを画像処理部２４でデータ圧縮した静止画データファイルのメモリ２５への記録を開始する。以降、所定のフレームレート、例えば３０（フレーム／秒）でこの処理を連続して実行し、２回目にシャッターキーが操作されるか、また所定の制限時間、例えば、３０秒が経過した時点でそれら一連の静止画データファイルを一括してモーションＪＰＥＧのデータファイル（ＡＶＩファイル）として設定し直す。
【００３８】
また、再生モード時には、制御部１９が、先ずメモリ２５に記録されている画像データを選択的に読み出す。次に、画像処理部２４で撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを制御部１９が伸長し、伸長した画像データをＤＲＡＭインターフェース１７を介してＤＲＡＭ１８に保持させる。そして、このＤＲＡＭ１８の保持内容は、ＶＲＡＭコントローラ２０を介してＶＲＡＭ２１に記憶される。このＶＲＡＭ２１は、定期的に画像データが読み出され、表示部２３にビデオとして表示させる。
【００３９】
選択した画像データが、静止画像ではなく動画像であった場合、選択した動画像ファイルを構成する個々の静止画データの再生を時間的に連続して実行し、全ての静止画データの再生を終了した時点で、次に再生の指示がなされるまで先頭に位置する静止画データのみを用いて再生表示する。
【００４０】
制御部１９は、ＣＰＵ，後述するような構図画像に関する各種の処理をＣＰＵで実行されるコンピュータプログラムを固定的に記憶したＲＯＭ，及びワークメモリとして使用されるＲＡＭ等により構成され、撮像装置１全体の動作を制御する。具体的には、制御部１９は、ＤＲＡＭインターフェース１７を制御することによって、ＤＭＡコントローラ１６によってＤＲＡＭ１８への転送された輝度信号Ｙ及び色差信号Ｃｂ、Ｃｒを、当該ＤＲＡＭ１８から読み出す。その後制御部１９は、読み出した信号をＶＲＡＭコントローラ２０を介してＶＲＡＭ２１に書き込ませる。また、制御部１９は、上述のようにデータの圧縮及び伸長、メモリ２５に対する記録再生の制御などを行う。
【００４１】
このように構成された撮像装置１は、被写体を撮像する操作が行われる時に、撮像範囲に含まれる複数の被写体によって構成される構図を指示する構図指示処理を行う。この構図決定処理は、撮像画像から複数の被写体を抽出する被写体抽出処理と、抽出された複数の被写体のうちユーザの選択操作に従って選択された第１主要被写体を決定する第１選択処理と、第１選択処理によって選択されなかった第２主要被写体を決定する第２選択処理と、第１主要被写体及び第２主要被写体を含む画像全体における撮影構図を決定し当該撮影構図をユーザに指示する構図指示処理とを含む。そして、構図指示処理によって指示された構図で撮像を行うために、構図決定処理では、ＣＭＯＳ撮像素子１３によってＤＲＡＭ１８に記憶されて表示部２３に表示させる画像に撮影構図画像を重畳させる。このとき、制御部１９は、現在の撮像画像に適した撮影構図をデータベース記憶部２７から読み出す。
【００４２】
このような撮像装置１によって撮影構図を選択して撮像画像を記録する処理は、図２に示すような一連の手順によって行われる。
【００４３】
図２によれば、撮像装置１は、キー入力部２６における電源キーが操作されて起動すると、先ずステップＳ１において、ＣＭＯＳ撮像素子１３によって撮像画像を取り込み、カラープロセス回路１５，ＤＭＡコントローラ１６及びＤＲＡＭインターフェース１７を介してＤＲＡＭ１８に記憶する撮像処理が行われる。そして、このＤＲＡＭ１８に記憶された撮像画像は、撮像画像を表示部２３に表示させる設定となっている場合には、ＶＲＡＭコントローラ２０によってＶＲＡＭ２１に読み出され、デジタルビデオエンコーダ２２によって表示部２３に表示される。このように、表示部２３に、その時点での画像がモニタ画像としてリアルタイムに表示されている、いわゆるスルー画像の表示状態で、撮像装置１は、撮像可能な状態となる。
【００４４】
この状態において、ステップＳ２においては、制御部１９が、撮像画像に対して被写体抽出処理を行う。この被写体抽出処理は、撮像画像に含まれる人物のみならず、風景における空、地面、建築物、自然物をも被写体として抽出する。この時、制御部１９は、エッジ抽出処理によって、撮像画像に含まれる被写体を区分する。なお、この被写体抽出処理は、人物が撮像画像に含まれていなくても、その他のものを被写体として抽出する。この結果、制御部１９は、複数の被写体を認識することができる。これにより制御部１９は、撮像手段によって取得した撮像画像から複数の被写体を抽出する被写体抽出手段として機能する。
【００４５】
次のステップＳ３においては、制御部１９が、ステップＳ２にて抽出された複数の被写体のうちから、第１主要被写体を選択する処理を行い、次のステップＳ４においては、制御部１９が、ステップＳ２にて抽出された複数の被写体のうちから、第１主要被写体とは異なる第２主要被写体を選択する処理を行う。
【００４６】
第１主要被写体は、撮影構図において最も主役となるべき被写体である。一方、第２主要被写体は、第１主要被写体と同等に主役となる被写体又は第１主要被写体の脇役的な役割となる被写体である。なお、本発明においては、被写体として、人の顔や風景における空、地面、建築物、自然物をも被写体として抽出されるが、第１主要被写体が人の顔とは限らない。
【００４７】
このステップＳ３の第１主要被写体の選択処理を図３に示し、ステップＳ４の第２主要被写体の選択処理を図４に示す。
【００４８】
第１主要被写体の選択処理は、図３のステップＳ１１Ａにおいて、制御部１９によって、ステップＳ２にて検出されている複数の被写体のうち既に第１主要被写体が選択されているか否かを判定する。第１主要被写体が選択されている場合には、ステップＳ１３Ａにおいて、当該第１主要被写体を追尾する処理を継続して、ステップＳ４に処理を進める。この追尾処理を行うためには、第１主要被写体が選択された時に第１主要被写体の輪郭、色などの特徴情報を取得しておく。そして、追尾処理を行う時には、第１主要被写体の特徴情報とスルー表示されている撮像画像とを比較して、当該特徴情報と合致する画像内位置を更新する。
【００４９】
第１主要被写体が選択されていない場合には、ステップＳ１２Ａに処理を進める。このステップＳ１２Ａにおいては、制御部１９によって、第１主要被写体が選択されたか否かを判定する。この時、制御部１９は、キー入力部２６に含まれるキー操作又は表示部２３の表示画面に内蔵されたタッチパネルに対する操作などのユーザの選択操作を検出する。ユーザの選択操作を検出した場合にはステップＳ１４Ａに処理を進める。ユーザの選択操作を所定時間に亘って検出できなかった場合には処理をキャンセルして、ステップＳ４に処理を進める。
【００５０】
次のステップＳ１４Ａにおいては、制御部１９によって、ステップＳ１２Ａにて選択された被写体を第１主要被写体として認識する第１主要被写体の手動選択処理を行う。この時、制御部１９は、第１主要被写体の特徴情報を取得する。この特徴情報としては、撮像画像全体に対する第１主要被写体の大きさ、位置、形状、色、又は、輪郭のシャープネスである。そして処理は、ステップＳ４に進められる。
【００５１】
なお、ステップＳ２の被写体抽出処理は、必ずしもステップＳ３の第１主要被写体の選択処理の前に行う必要はない。すなわち、ステップＳ２の被写体抽出処理が行う構成でない場合、ステップＳ１２Ａにおいて表示部２３の表示画面に内蔵されたタッチパネルに対する操作を検出した時に、当該検出された表示画面に対する座標から、当該座標に対応する画像内位置の被写体を第１主要被写体としても良い。
【００５２】
第２主要被写体の選択処理は、図４のステップＳ１１Ｂにおいて、制御部１９によって、ステップＳ２にて検出されている複数の被写体のうち既に第２主要被写体が選択されているか否かを判定する。第２主要被写体が選択されている場合には、ステップＳ１３Ｂにおいて、当該第２主要被写体を追尾する処理を継続して、ステップＳ４に処理を進める。この追尾処理を行うためには、第２主要被写体が選択された時に第２主要被写体の輪郭、色などの特徴情報を取得しておく。そして、追尾処理を行う時には、第２主要被写体の特徴情報とスルー表示されている撮像画像とを比較して、当該特徴情報と合致する画像内位置を更新する。
【００５３】
第２主要被写体が選択されていない場合には、ステップＳ１２Ｂに処理を進める。このステップＳ１２Ｂにおいては、制御部１９によって、第２主要被写体が選択されたか否かを判定する。この時、制御部１９は、ＤＲＡＭ１８に記憶された撮像画像に対してパターンマッチング処理を行う。このパターンマッチング処理は、予めデータベース記憶部２７に記憶された被写体を表す特徴パターンと撮像画像とを比較する。この特徴パターンとしては、被写体の形状、色などが挙げられる。制御部１９は、特徴パターンと撮像画像を比較した結果、当該特徴パターンに該当する画像部分が撮像画像に含まれているかを判定する。判定した結果、当該特徴パターンに該当する画像部分が存在する場合には、当該画像部分を第２主要被写体として選択する。ここで、制御部１９は、第１主要被写体以外を第２主要被写体として選択する。そして処理は、ステップＳ１４Ｂに処理を進められる。
【００５４】
次のステップＳ１４Ｂにおいては、制御部１９によって、ステップＳ１２Ｂにて選択された被写体を第２主要被写体として認識する第２主要被写体の自動選択処理を行う。この時、制御部１９は、第２主要被写体の特徴情報を取得する。この特徴情報としては、撮像画像全体に対する第２主要被写体の大きさ、位置、形状、色、又は、輪郭のシャープネスである。そして処理は、ステップＳ５に進められる。
【００５５】
なお、図３に示した第１主要被写体の選択処理におけるステップＳ１２Ａは、自動的に第１主要被写体を検出しても良い。この自動的に第１主要被写体を検出する処理は、第２主要被写体を選択した処理と同様に、特徴パターンと撮像画像とを比較して第１主要被写体を検出する。
【００５６】
これにより、例えばユーザの選択操作が行われなかった場合に、自動的に第１主要被写体を検出することができる。また、ユーザに、第１主要被写体の選択作業をユーザの手動で行うか自動的に行うかを選択させることができる。更に、撮像画像の絵柄に応じて、手動で第１主要被写体の選択作業を行うか自動で第１主要被写体の選択を行うかを選択することもできる。制御部１９は、撮像画像の複雑度合いを判定し、例えば人の顔と背景の空しかない単純な絵柄の場合には自動的に人の顔を第１主要被写体として検出することができる。逆に、複雑な絵柄の場合には、手動で第１主要被写体の選択作業をすることを表示部２３に表示させて、ユーザの選択操作を促すこともできる。
【００５７】
また、図４に示した第２主要被写体の選択処理におけるステップＳ１２Ｂは、手動で第２主要被写体を検出しても良い。この自動的に第２主要被写体を検出する処理は、第１主要被写体を選択した処理と同様に、キー入力部２６に対するユーザの選択操作を検出する。なお、ステップＳ２の被写体抽出処理を行う構成でない場合、ステップＳ１２Ｂにおいて表示部２３の表示画面に内蔵されたタッチパネルに対する操作を検出した時に、当該検出された表示画面に対する座標から、当該座標に対応する画像内位置の被写体を第２主要被写体としても良い。
【００５８】
これにより、ユーザが希望とする被写体を第２主要被写体とはできない場合に、ユーザの選択操作によって第２主要被写体を決定できる。また、ユーザに、第２主要被写体の選択作業をユーザの手動で行うか自動的に行うかを選択させることができる。更に、撮像画像の絵柄に応じて、手動で第２主要被写体の選択作業を行うか自動で第２主要被写体の選択を行うかを選択することもできる。制御部１９は、撮像画像の複雑度合いを判定し、例えば人の顔と背景の空しかない単純な絵柄の場合には、自動的に背景の空を第２主要被写体として検出することができる。逆に、複雑な絵柄の場合には、手動で第２主要被写体の選択作業をすることを表示部２３に表示させて、ユーザの選択操作を促すこともできる。
【００５９】
このように第１主要被写体及び第２主要被写体を選択する処理をユーザの選択操作又は自動で行えるようにしたので、ユーザが撮影したい被写体を第１主要被写体、第２主要被写体に選択できる。これによって、後述する撮影構図をユーザの希望に沿ったものとできる。これにより制御部１９は、被写体抽出手段により抽出された複数の被写体のうちユーザの選択操作に従って選択された第１被写体を決定する第１選択手段、第１選択手段によって選択されなかった第２被写体を決定する第２選択手段として機能する。
【００６０】
ステップＳ４の次のステップＳ５においては、制御部１９によって、新たに撮影構図の選択を行うか否かを判定する。このとき、制御部１９は、第１主要被写体又は第２主要被写体の変化に基づいて撮影構図を変更する。具体的には、撮像画像を解析して絵柄、すなわち、第１主要被写体、第２主要被写体の特徴情報が変更したことを検出した場合に、撮影構図を変更する。これにより、現在撮像している画像が、一度選択した撮影構図に合わない場合には、撮影構図を変更できる。
【００６１】
なお、制御部１９は、電源が投入された直後である場合や、ユーザの操作に従ってキー入力部２６から撮影構図を変更する指示を入力した場合にも、新たに撮影構図を選択することとなる。新たな撮影構図を選択する場合にはステップＳ６に処理を進め、新たな撮影構図を選択しない場合にはステップＳ７に処理を進める。
【００６２】
ステップＳ６においては、制御部１９によって、撮影構図を選択する。このとき制御部１９は、表示部２３に表示させることによってユーザに撮影構図を選択させるために、撮影構図画像を選択することとなる。
【００６３】
この撮影構図の選択処理は、図５に示すように、先ずステップＳ２１において、制御部１９によって、撮像画像全体に対する第１主要被写体及び第２主要被写体の大きさ等の特徴情報を検出する。この画像状態の検出は、ステップＳ１４Ａ、ステップＳ１４Ｂにて検出した第１主要被写体、第２主要被写体の特徴情報を読み出す処理となる。
【００６４】
次のステップＳ２２においては、制御部１９によって、ステップＳ２１にて読み出した撮像画像全体に対する第１主要被写体又は第２主要被写体の大きさ、位置、形状、色、又は、輪郭のシャープネスといった特徴情報に基づいて、所定数の撮影構図を絞り込む。このように所定数の構図を絞り込んで、その後に何れかの撮影構図を選択させることによって、ユーザの意図に沿った撮影構図を選択させることができる。
【００６５】
次のステップＳ２３においては、制御部１９によって、ステップＳ２２にて絞り込んだ撮影構図を表示部２３に表示させる。このとき、制御部１９は、撮影構図をうちの一つ又はサムネイル画像として複数の撮影構図を表示する。撮影構図を一つづつ表示させる場合、制御部１９は、撮像画像に、撮影構図の輪郭を重畳させて表示させても良い。
【００６６】
次のステップＳ２４においては、制御部１９によって、表示部２３に表示させた撮影構図のうちで何れかの撮影構図を決定する。このとき制御部１９は、キー入力部２６に対するユーザの選択操作によって一つの撮影構図が選択されたことに応じて、実際に案内を行う撮影構図に決定する。そして処理は、図２のステップＳ７に進められる。これにより制御部１９は、第１主要被写体及び第２主要被写体を含む画像全体における撮影構図を決定し、当該撮影構図をユーザに指示する構図指示手段として機能する。
【００６７】
なお、このステップＳ６における撮影構図の選択処理は、後に具体例を挙げて説明する。
【００６８】
ステップＳ７においては、制御部１９によって、スルー表示されている撮像画像に、選択された撮影構図画像を重畳させて表示させる。これにより撮像装置１は、スルー表示させている撮像画像を撮影構図に合わせるように指示できる。
【００６９】
なお、撮像装置１は、撮影構図をスルー表示させている撮像画像に重畳して表示させると共に、スピーカ部３１を駆動して音声によって撮影構図を指示しても良い。このとき制御部１９は、追尾している第１主要被写体及び第２主要被写体と撮影構図との差異を演算し、当該差異を小さくするために、例えば「カメラを右（又は左、上、下）へ向けてください」、「ズームイン（又はズームアウト）してください」との音声を出力する。
【００７０】
次のステップＳ８においては、制御部１９によって、ＣＭＯＳ撮像素子１３によって取り込んだ撮像画像をメモリ２５に記録する本撮影を行うか否かを判定する。このとき制御部１９は、ユーザの操作によってシャッターキーが押された時にステップＳ９に処理を進めて本撮影を行っても良く、ステップＳ７にて表示させた撮影構図と追尾している第１主要被写体及び第２主要被写体との対応関係が略等しくなった時に自動的にステップＳ９に処理を進めて本撮影を行っても良い。
【００７１】
以上説明したように、本発明を適用した撮像装置１によれば、人物を含めて複数の被写体が撮影範囲に存在する場合であっても、第１主要被写体及び第２主要被写体を選択して、より好ましい撮影構図を指示することができる。
【００７２】
具体的には、本発明を適用した１は、図６に示すような手順によって撮影構図を設定する。なお、以下の説明においては、上述したステップ番号を使用して、その対応関係も示す。
【００７３】
図６に示すような撮像画像１００がスルー画像として得られている場合（ステップＳ１）、撮像装置１は、当該撮像画像１００から複数の被写体を抽出する（ステップＳ２）。このとき撮像装置１は、撮像画像１００の略中心に存在する注目被写体であるオブジェ１００ａ、撮像画像１００の上方の青空１００ｂ、撮像画像１００の下方の緑地１００ｃを抽出できる。
【００７４】
次に撮像装置１は、ユーザの選択操作によってオブジェ１００ａが第１主要被写体として指定される（ステップＳ３）。そして、撮像装置１は、オブジェ１００ａ以外の青空１００ｂ、緑地１００ｃを自動的に第２主要被写体として選択できる（ステップＳ４）。
【００７５】
第１主要被写体が選択された時、制御部１９は、当該オブジェ１００ａの撮像画像１００における位置（中央）、撮像画像１００にオブジェ１００ａが占める面積［％］、オブジェ１００ａが「人物ではい」との情報を含む特徴情報Ｄ１を取得することができる。ここで、撮像装置１は、人物の外郭情報や人物の顔としての肌色情報を予めデータベース記憶部２７に登録しておき、制御部１９によってオブジェ１００ａが「人物ではない」との情報を取得できる。
【００７６】
同様に、制御部１９は、青空１００ｂの分類が空、位置が上部、面積が２０％との特徴情報と、緑地１００ｃの分類が緑地、位置が下部、面積が７０％との特徴情報とを含む第２主要被写体の特徴情報Ｄ２を取得できる。ここで、撮像装置１は、風景に含まれることが多い空や緑地、海、山などの色情報や外郭情報を予めデータベース記憶部２７に登録しておき、制御部１９によって被写体の分類を取得できる。
【００７７】
このようにオブジェ１００ａの特徴情報Ｄ１と、青空１００ｂ及び緑地１００ｃの特徴情報Ｄ２を得ると、制御部１９は、データベース記憶部２７に記憶されているデータベースを参照して、撮影構図の選択処理を行う。
【００７８】
この撮影構図の選択処理は、先ず、データベース記憶部２７に記憶されているインデックスデータベースＤＢ１を参照して、撮影構図の絞り込みを行う。このインデックスデータベースＤＢ１は、撮影構図のインデックスと撮像画像１００に含まれる被写体群とが対応付けられて構成されている。具体的には、インデックス「緑地風景１」には、被写体群「空：緑地：物」が対応付けられている。他の例としては、インデックス「緑地ポートレート」には被写体群「空：緑地：物：人」が対応付けられている。
【００７９】
そして制御部１９は、オブジェ１００ａの分類「物」、青空１００ｂの分類「空」、緑地１００ｃの分類「緑地」を検索キーとしてインデックスデータベースＤＢ１に対して検索処理を行う。すると、制御部１９は、被写体群「空：緑地：物」に対応する緑地風景１というインデックスを取得することができる。
【００８０】
次に制御部１９は、インデックス「緑地風景１」を用いて、データベース記憶部２７に記憶されている撮影構図パターンデータベースＤＢ２を参照して、構図パターンを選択する。この撮影構図パターンデータベースＤＢ２は、上述したように検索されるインデックスの番号、評価値、構図パターンとが対応付けられている。この撮影構図パターンデータベースＤＢ２は、単一のインデックス番号「００１」に対して、構図パターンとして推薦するための評価値「１」、「２」、「３」と、当該各評価値に対応した構図パターンである「１−１」、「１−２」、「１−３」とを対応付けている。すなわち、同じ風景であっても複数の構図パターンを用意している。制御部１９は、検索して取得したインデックス「緑地風景１」を示す番号「００１」を検索キーとして撮影構図パターンデータベースＤＢに対して検索処理を行う。すると、制御部１９は、構図パターン１−１，１−２，１−３を得ることができる。このような処理は、図５におけるステップＳ２１，ステップＳ２２に相当する。
【００８１】
次に制御部１９は、撮影構図パターンデータベースＤＢ２から取り出した構図パターン１−１，１−２，１−３を構図画像１０１Ａ，１０１Ｂ，１０１Ｃとして表示部２３に表示させる（ステップＳ２３）。その後、ユーザの選択操作によって何れかの構図パターンが選択されると（ステップＳ２４）、制御部１９は、当該撮影構図をスルー表示させている撮像画像に重畳させる（ステップＳ７）。
【００８２】
なお、上述した実施の形態では、第１主要被写体及び第２主要被写体を選択する場合について説明したが、これに限らず、更に多くの被写体を選択しても良い。また、撮影構図を決定する場合に、複数の撮影構図からの絞り込みを行わずに、自動的又は手動で１つの撮影構図を選択するのみであっても良い。
【００８３】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００８４】
【図１】本発明を適用した撮像装置のブロック図である。
【図２】本発明を適用した撮像装置によって撮影構図を選択して撮影を行うときの処理手順を示すフローチャートである。
【図３】本発明を適用した撮像装置において、第１主要被写体を選択するときの処理手順を示すフローチャートである。
【図４】本発明を適用した撮像装置において、第２主要被写体を選択するときの処理手順を示すフローチャートである。
【図５】本発明を適用した撮像装置において、撮影構図を選択するときの処理手順を示すフローチャートである。
【図６】本発明を適用した撮像装置において、撮影構図を選択する具体的な処理を説明する図である。
【符号の説明】
【００８５】
１  撮像装置
１１  モータ
１２  レンズユニット
１３  ＣＭＯＳ撮像素子
１４  変換処理部
１５  カラープロセス回路
１６  ＤＭＡコントローラ
１７  ＤＲＡＭインターフェース
１８  ＤＲＡＭ
１９  制御部
２０  ＶＲＡＭコントローラ
２１  ＶＲＡＭ
２２  デジタルビデオエンコーダ
２３  表示部
２４  画像処理部
２５  メモリ
２６  キー入力部
２７  データベース記憶部
２８  音声処理部
２９  ストロボ駆動部
３０  マイクロフォン部
３１  スピーカ部
３２  ストロボ発光部
１００  撮像画像
１００ａ  オブジェ
１００ｂ  青空
１００ｃ  緑地
１０１Ａ，１０１Ｂ，１０１Ｃ  構図画像
【図１】
2009246438.tif 000003
【図２】
2009246438.tif 000004
【図３】
2009246438.tif 000005
【図４】
2009246438.tif 000006
【図５】
2009246438.tif 000007
【図６】
2009246438.tif 000008