(57)【要約】【課題】アマチュアの撮影者が撮影する主映像とは別に、副映像として適応的にシーンの切り替えを行ない躍動感のある映像を記録する半導体集積回路を提供する。【解決手段】本発明の半導体集積回路は、撮像素子３により撮像された映像を主映像としてメモリ７に格納する主画像格納部１５と、メモリ７に格納された主映像のうち、注視すべき領域である注視領域を繰り返し検出する検出部１２と、撮像素子３により撮像された映像のうち、注視領域の映像を副映像としてメモリ７に格納する副画像格納部１６と、メモリ７に格納された主映像及び副映像を圧縮するエンコーダ８と、エンコーダ８により圧縮された主映像及び副映像を記録媒体に記録する記録部９とを備え、検出部１２は、現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、注視領域を再度検出する変更部とを備える。【選択図】図１
2011087257.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子およびメモリに接続される半導体集積回路であって、
前記撮像素子により撮像された映像を主映像として前記メモリに格納する主映像格納部と、
前記メモリに格納された前記主映像のうち、注視すべき領域である注視領域を繰り返し検出する検出部と、
前記撮像素子により撮像された映像のうち、前記注視領域の映像を副映像として前記メモリに格納する副映像格納部と、
前記主映像格納部及び前記副映像格納部により前記メモリに格納された前記主映像及び前記副映像を圧縮するエンコーダ部と、
前記エンコーダ部により圧縮された前記主映像及び前記副映像を記録媒体に記録する記録部とを備え、
前記検出部は、
現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、前記注視領域を再度検出する
半導体集積回路。
【請求項２】
前記検出部は、
前記撮像素子により撮像された映像のうち、人物が含まれる領域である少なくとも１つの人物領域を検出する人物検出部と、
検出された少なくとも１つの人物領域のいずれかを含む領域を前記注視領域として検出する領域検出部とを備える
請求項１記載の半導体集積回路。
【請求項３】
前記領域検出部は、
検出された少なくとも１つの人物領域のうち、前記主映像の中心に近い人物領域を含む領域ほど優先的に前記注視領域として検出する
請求項２記載の半導体集積回路。
【請求項４】
前記領域検出部は、
検出された少なくとも１つの人物領域のうち、面積が大きい人物領域を含む領域ほど優先的に前記注視領域として検出する
請求項２記載の半導体集積回路。
【請求項５】
前記検出部は、さらに、
人物を示す人物情報を保持している保持部と、
前記人物検出部により検出された少なくとも１つの人物領域のそれぞれに含まれる人物と、前記保持部に保持されている前記人物情報とを照合する照合部を備え、
前記領域検出部は、
前記照合部による照合結果に基づいて前記注視領域を検出する
請求項２記載の半導体集積回路。
【請求項６】
前記保持部は、さらに、
前記人物情報に対応して、人物の特徴を示す特徴データを保持し、
前記照合部は、
前記人物検出部により検出された少なくとも１つの人物領域のそれぞれに含まれる人物の特徴と、前記保持部に保持されている前記特徴データとを照合することにより、当該人物の特徴と当該特徴データとの類似度を示す照合スコアを算出し、
前記領域検出部は、
算出された前記照合スコアが高い人物の人物領域を含む領域ほど優先的に前記注視領域として検出する
請求項５記載の半導体集積回路。
【請求項７】
前記保持部は、さらに、
現在までに前記人物検出部により検出された人物領域に含まれる人物の人物情報ごとに対応して、当該人物が現在までに検出された回数を保持し、
前記領域検出部は、
前記保持部に保持された回数が多い人物の人物領域を含む領域ほど優先的に前記注視領域として検出する
請求項５記載の半導体集積回路。
【請求項８】
前記検出部は、さらに、前記人物検出部により検出された少なくとも１つの人物領域のそれぞれに含まれる人物の向きを検出する人物向き検出部を備え、
前記領域検出部は、前記人物向き検出部により検出された前記向きを用いて、人物の後方の領域よりも前方の領域が大きくなるように前記注視領域を検出する
請求項２〜７のいずれか１項に記載の半導体集積回路。
【請求項９】
前記所定時間は、５秒以上かつ３０秒以下である
請求項１〜８のいずれか１項に記載の半導体集積回路。
【請求項１０】
請求項１〜９のいずれか１項に記載の半導体集積回路と、撮像素子と、表示装置とを備え、
前記主映像及び前記副映像を前記メモリに格納する
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子及びメモリに接続される半導体集積回路と、撮像装置とに関する。
【背景技術】
【０００２】
被写体をレンズにより撮像素子上に結像させ、光電変換により得られた画像データに各種信号処理を施し、液晶モニターなどに被写体映像を表示させると共に記録媒体に記録するデジタルスチルカメラやデジタルビデオカメラなどの撮像装置が実用化され広く普及している。撮影者はカメラの向きやズーム機能を制御し、子供が遊んでいるシーンを撮影するなど被写体の構図を自分の意思で決定し撮影を行なっている。
【０００３】
アマチュアの撮影者がビデオ撮影を行なう場合、一般的には撮影に関する訓練を受けていないので、しばしば誤った判断、操作で撮影を行なうため、観て楽しめる良好な映像になっていない場合がある。その多くは撮りっ放しの映像であり、冗長で退屈なものとなってしまう。またこのように記録された映像を魅力ある映像にするには撮影後の編集作業が必要になるが、編集作業には技術と時間を要するため実施されない場合が多い。
【０００４】
応用技術として、撮影者のカメラワークをモニターし、ズームアップのシーンばかりが続くなど撮影状態に偏りがある場合、撮影者に注意喚起し良好な映像が撮影できるようアシストする技術が提案されている（例えば特許文献１）。また本応用技術では、再生時に重要なシーンのみを選択して再生できるように、撮影状態の変化によりメタデータを生成し優先度の高い順に決められた個数のメタデータを付帯情報として記録する技術も開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２２７８５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来の撮像装置においては、良好なカメラワークをアシストする注意喚起を促したとしても必ずしも撮影者がカメラワークを変更するとは限らないし、撮影されたシーンの中から重要度の高いシーンを選択して再生するための機能を提供しているので、実際にカメラワークを変更して撮影されなければ良好な映像を撮影するという目的を達成できない。
【０００７】
ここで言う良好な映像とは、観ていて魅力的な（飽きない）映像を意味し、１つのシーン（カメラワーク）の持続時間が５秒から長くて数十秒程度の短い映像のことと定義する。テレビや映画などプロのカメラマンが撮影する映像はこの法則に当てはまっているものがほとんどである。
【０００８】
本発明は、上記従来の課題を解決するものであり、アマチュアの撮影者が撮影する主映像とは別に、副映像として適応的にシーンの切り替えを行ない躍動感のある映像を記録する半導体集積回路を提供することを目的とする。また、そのような半導体集積回路を含む撮像装置を提供することも、本発明の目的に含まれる。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る半導体集積回路は、撮像素子およびメモリに接続される半導体集積回路であって、前記撮像素子により撮像された映像を主映像として前記メモリに格納する主映像格納部と、前記メモリに格納された前記主映像のうち、注視すべき領域である注視領域を繰り返し検出する検出部と、前記撮像素子により撮像された映像のうち、前記注視領域の映像を副映像として前記メモリに格納する副映像格納部と、前記主映像格納部及び前記副映像格納部により前記メモリに格納された前記主映像及び前記副映像を圧縮するエンコーダ部と、前記エンコーダ部により圧縮された前記主映像及び前記副映像を記録媒体に記録する記録部とを備え、前記検出部は、現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、前記注視領域を再度検出する。
【００１０】
かかる構成により、撮影者が単調なカメラワークで撮影を行なった場合でも、副映像には変化のある映像を記録することができる。
【００１１】
また、前記検出部は、前記撮像素子により撮像された映像のうち、人物が含まれる領域である少なくとも１つの人物領域を検出する人物検出部と、検出された少なくとも１つの人物領域のいずれかを含む領域を前記注視領域として検出する領域検出部とを備えてもよい。
【００１２】
かかる構成により、人物を撮影した場合に映っている人物に注視する構図で副映像を記録することができる。
【００１３】
また、前記領域検出部は、検出された少なくとも１つの人物領域のうち、前記主映像の中心に近い人物領域を含む領域ほど優先的に前記注視領域として検出してもよい。
【００１４】
かかる構成により、撮影者が撮りたい人物を画面の中心になるように構図を決定する場合に、撮りたい人物を注視する構図で副映像を記録することができる。
【００１５】
また、前記領域検出部は、検出された少なくとも１つの人物領域のうち、面積が大きい人物領域を含む領域ほど優先的に前記注視領域として検出してもよい。
【００１６】
かかる構成により、撮影者が撮りたい人物を画面の手前に大きく配置されるように構図を決定する場合に、撮りたい人物を注視する構図で副画像を記録することができる。
【００１７】
また、前記検出部は、さらに、人物を示す人物情報を保持している保持部と、前記人物検出部により検出された少なくとも１つの人物領域のそれぞれに含まれる人物と、前記保持部に保持されている前記人物情報とを照合する照合部を備え、前記領域検出部は、前記照合部による照合結果に基づいて前記注視領域を検出してもよい。
【００１８】
また、前記保持部は、さらに、前記人物情報に対応して、人物の特徴を示す特徴データを保持し、前記照合部は、前記人物検出部により検出された少なくとも１つの人物領域のそれぞれに含まれる人物の特徴と、前記保持部に保持されている前記特徴データとを照合することにより、当該人物の特徴と当該特徴データとの類似度を示す照合スコアを算出し、前記領域検出部は、算出された前記照合スコアが高い人物の人物領域を含む領域ほど優先的に前記注視領域として検出してもよい。
【００１９】
かかる構成により、撮影する人物が予め決まっている場合に、撮りたい人物を注視する構図で副画像を記録することができる。
【００２０】
また、前記保持部は、さらに、現在までに前記人物検出部により検出された人物領域に含まれる人物の人物情報ごとに対応して、当該人物が現在までに検出された回数を保持し、前記領域検出部は、前記保持部に保持された回数が多い人物の人物領域を含む領域ほど優先的に前記注視領域として検出してもよい。
【００２１】
かかる構成により、撮影する人物が予め決まっていない場合に、頻繁に撮影されている人物を撮りたい人物として注視する構図で副画像を記録することができる。よって、撮影者は、予め人物を登録する必要がなくなり、煩わしさを回避できる。
【００２２】
また、前記検出部は、さらに、前記人物検出部により検出された少なくとも１つの人物領域のそれぞれに含まれる人物の向きを検出する人物向き検出部を備え、前記領域検出部は、前記人物向き検出部により検出された前記向きを用いて、人物の後方の領域よりも前方の領域が大きくなるように前記注視領域を検出してもよい。
【００２３】
かかる構成により、撮りたい人物を注視するとともに、人物の見ている方向にある被写体も合わせた形で構図を決定し副映像を記録することができる。つまり、人物の視線方向の領域を含む映像を副映像として撮影できるので、見ていて分かりやすい映像にすることができる。
【００２４】
また、前記所定時間は、５秒以上かつ３０秒以下が望ましい。
【００２５】
かかる構成により、副映像を観ていて飽きない魅力的な映像にできる。
【００２６】
また、本発明の撮像装置は、上記半導体集積回路と、撮像素子と、表示装置とを備え、前記主映像及び前記副映像を前記メモリに格納する。
【発明の効果】
【００２７】
本発明によれば、撮影者の決定した構図が単調で退屈なカメラワークであったとしても、副画像としては変化に富んだ躍動感のある映像を記録することが可能となる。また、主画像は撮影者の意思のまま記録されるため、副画像の領域切り替えに誤判定があったとしても本来記録されるべき場面が記録されていないという失敗が発生することもない。
【図面の簡単な説明】
【００２８】
【図１】本発明の撮像装置のシステム構成を示すブロック図である。
【図２】主画像読み出しを説明するための模式図である。
【図３】副画像読み出しを説明するための模式図である。
【図４】画像が記録メディアに格納されるまでのデータフローについて、メモリのバッファ構成について着目して示した図である。
【図５】デジタル処理部の画像取り込み動作を時系列で示した図である。
【図６】主画像および副画像のエンコード動作を説明するための模式図である。
【図７】検出部の詳細な構成を示すブロック図である。
【図８】検出部の動作を説明するための図である。
【図９Ａ】人物データベースのデータ構造の一例を示す図である。
【図９Ｂ】人物結果・照合結果のデータ構造の一例を示す図である
【図１０】領域決定部の動作を示すフローチャートである。
【発明を実施するための形態】
【００２９】
本発明の撮像装置は、撮像素子およびメモリに接続して使用される半導体集積回路であって、前記撮像素子により撮像された映像を主映像として前記メモリに格納する主映像格納部と、前記メモリに格納された前記主映像のうち、注視すべき領域である注視領域を検出する検出部と、前記撮像素子により撮像された映像のうち、前記注視領域の映像を副映像として前記メモリに格納する副映像格納部と、前記主映像格納部及び前記副映像格納部により前記メモリに格納された前記主映像及び前記副映像を圧縮するエンコーダ部と、前記エンコーダ部により圧縮された前記主映像及び前記副映像を記録媒体に記録する記録部とを備え、前記検出部は、さらに、前記注視領域に所定期間同一の被写体が含まれるか否かを判定する判定部と、前記判定部により前記同一の被写体が含まれると判定された場合、前記注視領域を変更する変更部とを備える。
【００３０】
以下、本発明の実施の形態における撮像装置について、図面を参照しながら説明する。
【００３１】
図１は、実施の形態１の撮像装置のシステム構成を示すブロック図である。
【００３２】
本撮像装置１００は、ズーム可能な光学素子であるレンズ１と、レンズ１を駆動しズーム動作を行なわせるレンズ駆動部２と、レンズ１のズーム方向／ズーム量を指定するズームスイッチ１１と、レンズ１を通過した被写体光を光電変換して画像信号を出力する撮像素子３と、撮像素子３から任意の領域を画像として取り出すための駆動信号を生成する撮像素子駆動部４と、撮像素子３から出力されるアナログの画像信号にノイズ低減やゲイン制御、Ａ／Ｄ変換などの各種処理を実施するアナログ処理部５と、デジタル化された画像信号に対してＹ／Ｃ変換処理や電子的なズーム処理を実施するデジタル処理部６と、デジタル処理部６により処理された画像を一時記憶しておくメモリ７と、メモリ７に格納された画像を所定のフォーマットに画像圧縮するエンコーダ８と、エンコーダ８により画像圧縮されたデータをＳＤカードやＨＤＤなどの記録メディア（記録媒体）に格納する記録部９と、デジタル処理部６から出力される画像を確認可能なように表示するＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）等の表示部１０と、デジタル処理部６により処理された画像データに対して注視すべき画像領域である注視領域を検出する検出部１２と、全体制御を実施する制御部１３と、撮影者によるモード切替指示を受け付けるモード切替スイッチ１４とを備える。
【００３３】
なお、本実施の形態では、撮像装置１００がメモリ７を有しているが、本発明は、メモリ内蔵の撮像装置に限られず、外部のメモリに接続されて使用される撮像装置であってもよい。また、点線で囲まれた処理部であるデジタル処理部６、エンコーダ８、記録部９、検出部１２及び制御部１３は、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ Ｃｈｉｐ）として実現されていてもよい。
【００３４】
デジタル処理部６は、主画像格納部１５および副画像格納部１６を備える。
【００３５】
主画像格納部１５は、撮像素子３に撮像された映像を主映像としてメモリ７に格納する、本発明の主映像格納部である。具体的には、主画像格納部１５は、撮像素子３に撮像された全体画像である主画像領域の画像に対応する画像信号をアナログ処理部５から読み出して、時間的に連続する複数の主画像からなる主映像としてメモリ７へ格納する。
【００３６】
副画像格納部１６は、撮像素子３に撮像された映像のうち、注視領域の映像を副映像としてメモリ７に格納する、本発明の副映像格納部である。具体的には、副画像格納部１６は、結像された全体画像のうち、検出部１２により検出された注視領域の画像に対応する画像信号をアナログ処理部５から読み出して、時間的に連続する複数の副画像からなる副映像としてメモリ７へ格納する。
【００３７】
次に各構成要素について、より具体的に説明する。
【００３８】
図２および図３は撮像素子３からデジタル処理部６が画像を読み出す動作を示す図である。説明を簡単にするため、例えば、撮像素子３の画素数を１６画素×１６画素の２５６画素、メモリ７に格納される動画の画素数を８画素×８画素の６４画素とする。
【００３９】
図２に示されるように、デジタル処理部６が有する主画像格納部１５は、撮像素子３により撮像された全体画像（主画像領域の画像）２１を主画像２２としてメモリ７に格納する。このとき、主画像格納部１５は、主画像領域の画像２１の縦横を１／２倍に縮小して主画像２２を作成する。つまり、主画像２２の画素数は、主画像領域の画像２１の画素数と比較して、縦横それぞれ１／２となる。
【００４０】
また、図３に示されるように、デジタル処理部６が有する副画像格納部１６は、撮像素子３により撮像された全体画像３１のうち、検出部１２により検出された注視すべき画像領域の画像（注視領域の画像）３２を副画像３３としてメモリ７に格納する。このとき副画像格納部１６は、縦横の倍率は変えず等倍で副画像３３を作成する。このように、撮像素子３は、メモリ７が主画像および副画像として記録する画像の画素数よりも多い数の画素数を有している。
【００４１】
なお、主画像格納部１５は、主画像２２を作成する際に、撮像素子３からの読出しを間引くことで画素数の変換を行なってもよいし、あるいは撮像素子３からは全画素を読み出しておいて、デジタルフィルタ処理を施した画素数変換を行なってもよい。
【００４２】
また、副画像格納部１６は、副画像３３を作成する際に、注視領域の画像３２と副画像３３が同じ画素数である例を示したが、画素数が異なってもよいし、画素数が異なる場合には画素読出しの間引きや、デジタルフィルタ処理による画素数変換を行なってもよい。
【００４３】
次に、撮像素子３に結像された画像が、記録部９により記録メディアに記録されるまでの流れについて説明する。
【００４４】
図４は、撮像素子３に結像された画像が記録メディアに格納されるまでのデータフローについて、メモリ７のバッファ構成について着目して示した図である。
【００４５】
同図に示すように、デジタル処理部６は、ハードウェア構成としては、ＹＣ変換処理部６Ａとデジタルズーム部６Ｂとを備える。ＹＣ変換処理部６Ａは、アナログ処理部５から出力されたＲＧＢの画像信号をＹ（輝度）およびＣ（色差）の画像信号に変換する。デジタルズーム部６Ｂは、ＹＣ変換処理部６Ａで変換された画像の拡大／縮小を行う。
【００４６】
図２および図３で説明している例では、全体画像２１はデジタルズーム部６Ｂにより１／２倍に縮小され、主画像２２としてメモリ７に格納される。一方、注視領域の画像３２は、デジタルズーム部６Ｂによる拡大／縮小処理を行なわず、等倍で切り出されて副画像３３としてメモリ７に格納される。つまり、主画像格納部１５は、ＹＣ変換処理部６Ａおよびデジタルズーム部６Ｂのハードウェア構成を有し、副画像格納部１６は、ＹＣ変換処理部６Ａのハードウェア構成を有する。なお、副画像格納部１６はデジタルズーム部６Ｂのハードウェア構成を有し、注視領域の画像３２の拡大／縮小処理を行い、副画像を生成してもよい。
【００４７】
次に、メモリ７に格納された主画像２２および副画像３３を入力画像としてエンコーダ８は圧縮処理を行なう。この際、エンコード処理に必要な参照画像やエンコードされた動画はエンコードバッファ７Ｃに格納され、記録部９はエンコードバッファ７Ｃからエンコードされた動画を取得し記録メディアに書き込む。
【００４８】
このように、本実施の形態の撮像装置１００は、撮像素子３が動画画素数よりも高精細な画素数を有しているため、副画像はデジタルズーム処理が不要になり、主画像についても高精細な画像から縮小処理を行なうため、画質劣化を抑えることが可能となる。また、所望のサイズに変換した画像をメモリ７へ格納するため、メモリアクセス回数や使用するメモリ容量を削減することも可能になる。
【００４９】
図５は、デジタル処理部６の画像取り込み動作を時系列で示した図である。撮像素子３は動画フレーム周期よりも高速に撮像可能な素子であり、例えば、毎秒１２０フレーム撮像できる撮像素子である。ここで、全体画像５１ａ〜５１ｈは１／１２０秒周期で撮像素子３に撮像された画像を表している。デジタル処理部６は、撮像素子３の１フレーム周期ごとに主画像と副画像とを切り替えながらメモリ７へ画像を格納する。
【００５０】
すなわち主画像格納部１５は、全体画像５１ｂ、５１ｄ、５１ｆ、５１ｈを主画像領域の画像として画素数を変換し、主画像５３ｂ、５３ｄ、５３ｆ、５３ｈとしてメモリ７へ格納する。また、副画像格納部１６は、全体画像５１ｂ、５１ｄ、５１ｆ、５１ｈとは時間が異なる全体画像５１ａ、５１ｃ、５１ｅ、５１ｇの注視領域の画像を副画像５２ａ、５２ｃ、５２ｅ、５２ｇとしてメモリ７へ格納する。
【００５１】
これにより、主画像５３ｂ、５３ｄ、５３ｆ、５３ｈは１／６０秒周期、副画像５２ａ、５２ｃ、５２ｅ、５２ｇも１／６０秒周期となる。つまり、デジタル処理部６は、１系列の全体画像から異なる２つの系列の画像を生成し、メモリ７へ格納する。
【００５２】
図６は、メモリ７に格納された主画像および副画像をエンコードし、外部の記録メディアに記録する動作を説明するための模式図である。
【００５３】
エンコーダ８は、主画像６１を画像圧縮し主画像動画６３を生成すると共に、副画像６２を画像圧縮し副画像動画６４を生成する。記録部９は生成された２つの異なる動画を２つのファイルとして記録メディア６５に格納する。また、エンコーダ８は主画像６１と副画像６２を画像圧縮しマルチアングル動画６６を生成する。記録部９は生成された１つのマルチアングル動画６６を１つのファイルとして記録メディア６５に格納する。
【００５４】
なお、ここでは２つの異なる画像をエンコードする例を記載しているが２つに限定するものではない。また、複数の動画として記録する場合において、関連のある動画であることを示すためにファイル名やファイル管理情報の属性に特徴を持たせるようなことを実施しても構わない。
【００５５】
また、撮像装置は、主画像の入力および副画像の入力について、撮像素子３の撮像能力（最高フレーム周期、画素数など）に応じて読み出しフレーム周期を決定し、エンコーダ８はそれぞれ決定されたフレーム周期で画像圧縮するようにしてもよい。
【００５６】
次に、検出部１２による注視領域の検出方法について説明する。
【００５７】
図７は、検出部１２の詳細な構成を示すブロック図である。なお、同図にはデジタル処理部６、制御部１３及びモード切替スイッチ１４も示されている。
【００５８】
検出部１２は、主画像のうち注視すべき領域である注視領域を繰り返し検出する。この検出部１２は、フレームメモリ７１、人物検出部７２、人物向き検出部７３、人物照合部７４、人物登録部７５、人物記憶部７６、領域決定部７７、経過時間タイマー７８及び無効時間タイマー７９を備える。具体的には、現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、注視領域を再度検出する。また、人物記憶部７６は人物データベース８１を保持し、領域決定部７７は人物検出・照合結果８２及び優先状態８３を保持する。
【００５９】
フレームメモリ７１は、デジタル処理部６の主画像格納部１５から出力された主画像領域の画像に対応する画像信号を格納することにより、主画像を格納する。このフレームメモリ７１はメモリ７の一部の領域であり、検出部１２はデジタル処理部６を介してメモリ７の当該一部の領域から主画像を取り込む。なお、フレームメモリ７１は、メモリ７とは物理的に別のメモリであってもよい。
【００６０】
人物検出部７２は、主画像のうち、人物が含まれる領域である少なくとも１つの人物領域を検出する。具体的には、人物検出部７２は、人物の特徴的なパターンを予め保持しており、パターンマッチングを用いて、フレームメモリ７１に格納された主画像に人物が含まれる否かを判定し、人物が含まれる場合、当該人物を含む領域を人物領域として検出する。さらに、人物検出部７２は、検出した人物領域を示す領域情報（領域ＩＤ、位置、大きさ）を領域決定部７７に渡す。ここで、領域ＩＤとは検出した人物領域のそれぞれと１対１に対応するＩＤであり、位置とは主画像における人物領域の基準点を示す座標であり、大きさとは主画像における人物領域の大きさである。
【００６１】
人物向き検出部７３は、人物検出部７２で検出された少なくとも１つの人物領域のそれぞれに含まれる人物の向きを検出する。具体的には、人物向き検出部７３は、人物検出部７２で検出された人物領域の情報を使用し、その人物がどちらの方向を向いているかを検出し、人物の向き情報（領域ＩＤ、方向、角度）を領域決定部７７に渡す。例えば、人物検出部７２で検出された人物領域の画像をフレームメモリ７１に格納された主画像から抽出し、抽出した人物領域の画像から当該人物領域の人物の向きを特定し、人物の向き情報を検出する。
【００６２】
人物照合部７４は、本発明の照合部であって、人物検出部７２により検出された少なくとも１つの人物領域のそれぞれに含まれる人物と、人物記憶部７６に保持されている人物情報とを照合する。具体的には、人物照合部７４は、人物検出部７２により検出された少なくとも１つの人物領域のそれぞれに含まれる人物の特徴と、人物記憶部７６に保持されている特徴データとを照合することにより、当該人物の特徴と当該特徴データとの類似度を示す照合スコアを算出する。より具体的には、人物照合部７４は、人物検出部７２で検出された人物領域の情報や人物向き検出部７３で検出された人物向き情報を使用して人物の特徴量を抽出する。さらに、人物照合部７４は、抽出した特徴量と、人物記憶部７６に保持されている人物データベース８１に登録された特定人物の特徴量とを照合し、特定人物である確からしさである類似度情報（領域ＩＤ、照合スコア）を領域決定部７７に渡す。例えば、人物照合部７４は、人物検出部７２で検出された人物領域の画像をフレームメモリ７１に格納された主画像から抽出し、抽出した人物領域の画像から当該人物領域に含まれる人物の特徴量を抽出する。そして、抽出した特徴量と、人物データベース８１に登録された特定人物との特徴データとを照合することにより、当該人物領域に含まれる人物の特徴と、当該特徴データとの類似度を示す照合スコアを算出する。
【００６３】
人物登録部７５は、人物照合部７４で照合した人物が人物データベース８１に登録されていなかった場合、人物データベース８１に新たな人物の特徴量データを登録する。
【００６４】
人物記憶部７６は、人物を示す人物情報を保持している、本発明の保持部である。具体的には、人物記憶部７６は、人物情報と、当該人物情報に対応して、人物の特徴を示す人物データとが格納された人物データベース８１を有する。人物データベース８１のデータ構造については、後述する。
【００６５】
領域決定部７７は、本発明の領域検出部であって、人物検出部７２によって検出された少なくとも１つの人物領域のいずれかを含む領域を注視領域として検出する。具体的には、領域決定部７７は、人物検出部７２、人物向き検出部７３及び人物照合部７４から渡された領域情報、人物の向き情報及び類似度情報と、撮影者により指示されたモードとに応じて、注視領域を決定する。この領域決定部７７は、人物検出・照合結果８２と優先状態８３とを有する。
【００６６】
人物検出・照合結果８２は、人物検出部７２で検出された人物領域ごとに対応して、当該人物領域を示す情報及び当該人物領域の人物を示す情報を格納するデータベースである。この人物検出・照合結果８２のデータ構造については後述する。
【００６７】
優先状態８３は、領域決定部７７による領域を決定するための判断基準となるモードを示す。具体的には、優先状態８３は、（Ａ）位置優先モード、（Ｂ）大きさ優先モード及び（Ｃ）照合優先モードのいずれかを示す。この優先状態８３は、撮影者がモード切替スイッチ１４を操作することにより、いずれかのモードに切り替えられる。
【００６８】
（Ａ）位置優先モードは、撮影者が撮りたい人物をより中央に映るよう構図を決定することを想定したモードである。領域決定部７７は、優先状態８３が位置優先モードの場合に、人物検出部７２により検出された少なくとも１つの人物領域のうち、主画像の中心に近い人物領域を含む領域ほど優先的に注視領域として検出する。
【００６９】
（Ｂ）大きさ優先モードは、撮影者が自身の撮りたい被写体をより手前に、より大きく映るように構図を決定することを想定したモードである。領域決定部７７は、優先状態８３が大きさ優先モードの場合に、人物検出部７２により検出された少なくとも１つの人物領域のうち、面積が大きい人物領域を含む領域ほど優先的に注視領域として検出する。
【００７０】
（Ｃ）照合優先モードは、撮影者が撮りたい人物は自分の家族や知人など予め決まっていることを想定したモードである。領域決定部７７は、優先状態８３が照合優先モードの場合に、人物照合部７４による照合結果に基づいて注視領域を検出する。具体的には、人物照合部７４により算出された照合スコアが高い人物の人物領域を含む領域ほど優先的に注視領域として検出する。
【００７１】
経過時間タイマー７８は、領域決定部７７により、所定の経過時間（例えば、１０秒）が設定される。そして、経過時間タイマー７８は、設定された経過時間が過ぎた場合にイベントを発生する。具体的には、経過時間タイマー７８は、領域決定部７７により所定の経過時間以上同一の領域が注視領域として決定されることを防止する。
【００７２】
無効時間タイマー７９は、領域決定部７７により、所定の無効時間（例えば、２０秒）が設定される。そして、無効時間タイマー７９は、設定された無効時間が過ぎた場合にイベントを発生する。具体的には、無効時間タイマー７９は、注視領域が所定の経過時間以上同一の領域である場合に起動されることにより、領域決定部７７に注視領域を強制的に変更させる。
【００７３】
以上のように構成された検出部１２は、撮影者によって指示されたモードに応じて、注視領域を適応的に切り替えることができる。
【００７４】
次に、図８、図９Ａ及び図９Ｂを用いて、上記のように構成された検出部１２の動作を説明する。具体的には、図８は検出部１２の動作を説明するための図であり、図９Ａは人物データベース８１のデータ構造の一例を示す図であり、図９Ｂは人物結果・照合結果８２のデータ構造の一例を示す図である。なお、ここでは人物を特定するための情報として顔の位置や向きを用いて説明するが、顔情報を用いた領域決定方法に限定するものではなく、別の手法を用いて領域を決定しても構わない。
【００７５】
図８に示す主画像９１は１６画素×１６画素の画像であり左上の画素を原点座標（０，０）として位置を表す。例えば、領域ＩＤ１の領域情報としては、位置（１１，４）、大きさ２として表される。
【００７６】
人物データベース８１は、図９Ａに示すように、登録された人物登録ＩＤごとに対応して、名前及び特徴量データが格納されている。この人物データベース８１には、例えば、撮影者により特徴量データが登録されている。
【００７７】
人物検出・照合結果８２は、人物検出部７２で検出された領域ＩＤごとに対応して、当該領域ＩＤに対応する人物領域の位置及び大きさと、当該人物領域に含まれる人物の向きと、当該人物領域に含まれる人物の照合スコアと、当該人物領域を有効とするか否かを示す有効フラグとが格納されている。具体的には、この人物検出・照合結果８２は、人物検出部７２で検出された領域ＩＤ、位置及び大きさと、人物向き検出部７３で検出された向きと、人物照合部７４で算出された照合スコアと、当該人物領域を注視領域として選択できるか否かを示す有効フラグとが格納されている。
【００７８】
まず人物検出部７２は、主画像９１から３人の人物それぞれに対応する人物領域を検出し、検出結果を領域決定部７７に渡す。検出結果はそれぞれ、例えば、領域ＩＤ１として位置（１１，４）、大きさ２の領域、領域ＩＤ２として位置（８，７）、大きさ２．５の領域、領域ＩＤ３として位置（２，９）、大きさ３の領域となっている。人物検出部７２から検出結果を受け取った領域決定部７７は、当該検出結果を人物検出・照合結果８２に格納する。
【００７９】
次に人物向き検出部７３は、人物検出部７２により検出された３つの人物領域のそれぞれについて人物の向き検出を行ない、結果を領域決定部７７に渡す。検出結果はそれぞれ、例えば領域ＩＤ１として右４５°、領域ＩＤ２として右９０°、領域ＩＤ３として正面となっている。人物向き検出部７３から検出結果を受け取った領域決定部７７は、当該検出結果を人物検出・照合結果８２に格納する。
【００８０】
次に人物照合部７４は、前記３つの人物領域のそれぞれに対して人物データベース８１に登録済みの特徴量データとの照合を行ない、照合結果を領域決定部７７に渡す。照合結果はそれぞれ、例えば、領域ＩＤ１は人物登録ＩＤ１との照合スコアとして９０ポイント、領域ＩＤ２は人物登録ＩＤ２との照合スコアとして８０ポイント、領域ＩＤ３と照合できたものは存在しないとなっている。人物照合部７４から照合結果を受け取った領域決定部７７は、当該照合結果を人物検出・照合結果８２に格納する。
【００８１】
次に、領域決定部７７は、人物検出・照合結果８２及び優先状態８３に基づき、注視領域を決定する。
【００８２】
図１０は、領域決定部７７の動作を示すフローチャートである。
【００８３】
領域決定部７７は、優先状態８３が（Ａ）位置優先モード、（Ｂ）大きさ優先モード及び（Ｃ）照合優先モードのいずれであるかを判定する（ステップＳ０１）。
【００８４】
優先状態８３が（Ａ）位置優先モードの場合（ステップＳ０１で位置優先モード）、領域決定部７７は、人物検出・照合結果８２に格納された各領域ＩＤのうち有効フラグが有効な領域ＩＤの中から、主画像の中心に最も近い位置に対応する領域ＩＤを選択する（ステップＳ０２）。例えば、図８の例においては、位置（８，８）に最も近い人物領域の領域ＩＤが選択される。よって、図８及び図９Ｂでは領域ＩＤ２が選択される。
【００８５】
また、優先状態８３が（Ｂ）大きさ優先モードの場合（ステップＳ０１で大きさ優先モード）、領域決定部７７は、人物検出・照合結果８２に格納された各領域ＩＤのうち有効フラグが有効な領域ＩＤの中から、最も大きさが大きい領域ＩＤを選択する（ステップＳ０３）。例えば、図８及び図９Ｂでは領域ＩＤ３が選択される。
【００８６】
また、優先状態８３が（Ｃ）照合優先モードの場合（ステップＳ０１で照合優先モード）、領域決定部７７は、人物検出・照合結果８２に格納された各領域ＩＤのうち有効フラグが有効な領域ＩＤの中から、照合スコアが最も高い領域ＩＤを選択する（ステップＳ０４）。例えば、図８及び図９Ｂでは領域ＩＤ１が選択される。
【００８７】
なお、優先状態８３がいずれのモードであっても、人物検出・照合結果８２に格納された各領域ＩＤのうち有効フラグが有効な領域ＩＤがない場合、領域ＩＤは選択されない。また、優先状態８３がいずれのモードであっても、人物検出部７２で検出された人物領域がない場合も、領域ＩＤは選択されない。
【００８８】
次に、領域決定部７７は、各モード（（Ａ）位置優先モード、（Ｂ）大きさ優先モード及び（Ｃ）照合優先モード）に応じた領域ＩＤの選択後に、選択した領域ＩＤがあるか否かを判断する（ステップＳ０５）。
【００８９】
選択された領域ＩＤがある場合（ステップＳ０５でＹＥＳ）、選択した領域ＩＤの人物領域を含む領域９２を注視領域とする（ステップＳ０６）。例えば、図８及び図９Ｂにおいて位置優先モードの場合、領域決定部７７は領域９２を注視領域とすることになる。ここで、領域決定部７７は、選択した領域ＩＤの人物領域が注視領域の中心になるように、注視領域を決定する。
【００９０】
なお、領域ＩＤ２の人物領域に含まれる人物の向きが右９０°であるので、人物領域を中心に注視領域を決定するのではなく、当該人物の向いている方向に何か別の被写体が存在すると判断し、人物の向きの方向にシフトさせた領域を中心に注視領域を決定してもよい。例えば、図８において、領域ＩＤ２をシフトさせた領域を中心とする領域９３を注視領域としてもよい。こうすることで、本実施の形態に係る撮像装置１００は、人物の視線方向も副画像として撮影できるので、見て分かりやすい映像にすることができる。
【００９１】
ところで、領域決定部７７は、単調なカメラワークにならないよう、経過時間タイマー７８により同一領域ＩＤが選択されている経過時間を監視する。
【００９２】
具体的には、領域決定部は注視領域を決定（ステップＳ０６）した後に、前回選択された領域ＩＤと今回選択された領域ＩＤを比較し、領域ＩＤに変化があるか否かを判断する（ステップＳ０７）。
【００９３】
領域ＩＤに変化があった場合（ステップＳ０７でＹＥＳ）、領域決定部７７は、経過時間タイマー７８に同一の領域ＩＤの選択が許容される経過時間を設定し、経過時間タイマーを起動する（ステップＳ０８）。言い換えると、経過時間タイマー７８を、所定時間に再設定する。この所定時間とは、例えば、５秒以上かつ３０秒以下である。これにより、副映像を観ていて飽きない魅力的な映像にできる。
【００９４】
一方、領域ＩＤに変化がない場合（ステップＳ０７でＮＯ）、又は、経過時間タイマー７８を再設定した後、領域決定部７７は、経過時間タイマー７８によりイベントが発生するか否かを判断する（ステップＳ０９）。
【００９５】
経過時間タイマー７８によりイベントが発生した場合（ステップＳ０９でＹＥＳ）、つまり同一の領域ＩＤが一定期間選択され続けた場合、領域決定部７７は、一定期間選択された領域ＩＤを以降の一定期間選択させないようにするため人物検出・照合結果８２の該当する領域ＩＤの有効フラグをクリアする。さらに、領域決定部７７は、該当する領域ＩＤの無効時間を無効時間タイマー７９に設定し、無効時間タイマー７９を起動する（ステップＳ１０）。その後、ステップＳ０１に戻り、上記処理を繰り返す。
【００９６】
撮影者がカメラワークを変更したり、被写体が移動したりする場合は、モードに応じた優先度で選択される領域ＩＤが変化し、経過時間タイマー７８に設定した経過時間のイベントが発生する前に、経過時間タイマー７８が再設定される。ところが単調なカメラワークで動きの少ないシーンなどの場合は、同一領域ＩＤが一定期間選択され続け、経過時間タイマー７８が再設定されないため、経過時間タイマー７８に設定した経過時間のイベントが発生し、人物検出・照合結果８２の該当する領域ＩＤの有効フラグをクリアし該当する領域ＩＤが一定期間選択できないようになる。有効フラグがクリアされている期間において、領域決定部７７が次回領域ＩＤを選択する際には（ステップＳ０２、ステップＳ０３又はステップＳ０４）、有効フラグがクリアされた領域ＩＤを除く残りの領域ＩＤから優先度の高い領域ＩＤを選択する。これにより、異なる人物領域が一定期間毎に選択されるので、注視領域も一定期間毎に異なる領域となる。よって、撮像装置１００は、副画像に変化をつけることができる。
【００９７】
ここで、主画像内に検出された人物が１人しかいない状態で一定期間経過したとき、あるいはカメラワークの変更もしくは被写体の移動により選択すべき領域ＩＤがなくなった場合（ステップＳ０５でＮＯ）、主画像９１の領域を注視領域とし、経過時間タイマー７８を停止する（ステップＳ１１）。こうすることで複数の人物が検出されない場合でも副画像に変化をつけることができる。
【００９８】
連続で選択された領域ＩＤは、一定期間後に選択対象に戻さなければならない。具体的には、ステップＳ０９で経過時間タイマー７８によるイベントが発生しなかったと判断された場合（ステップＳ０９でＮＯ）、又は、ステップＳ１１における経過時間タイマー７８を停止した後に、領域決定部７７は、無効時間タイマー７９によりイベントが発生した否かを判断する（ステップＳ１２）。
【００９９】
ステップＳ１０で設定された無効時間タイマー７９によりイベントが発生した場合（ステップＳ１２でＹＥＳ）、該当する領域ＩＤを選択対象に戻すため人物検出・照合結果８２の該当する領域ＩＤの有効フラグを有効にし、無効時間タイマー７９を停止する（ステップＳ１３）。その後、ステップＳ０１に戻り、上記処理を繰り返す。
【０１００】
一方、無効時間タイマー７９によるイベントが発生しない場合（ステップＳ１２でＮＯ）、ステップＳ０１に戻り、上記処理を繰り返す。
【０１０１】
このように、検出部１２は、撮影者によって指示されたモードに応じて、注視領域を適応的に切り替える。よって、本実施の形態に係る撮像装置１００は、撮影者が単調なカメラワークで撮影を行った場合でも、副画像として変化に富んだ映像を記録することができる。
【０１０２】
以上のように、本実施の形態に係る撮像装置１００は、撮像素子３により撮像された画像を主画像としてメモリ７に格納する主画像格納部１５と、メモリ７に格納された主画像のうち、注視すべき領域である注視領域を繰り返し検出する検出部１２と、撮像素子３に撮像された画像のうち、注視領域の映像を副映像としてメモリ７に格納する副画像格納部１６と、主画像格納部１５及び副画像格納部１６によりメモリ７に格納された主画像及び副画像を圧縮するエンコーダ８と、エンコーダ８により圧縮された主画像及び副画像を記録媒体に記録する記録部９とを備え、検出部１２は、現在の注視領域に所定期間同一の被写体が含まれるか否かを判定し、含まれると判定した場合、注視領域を再度検出する。
【０１０３】
これにより、本実施の形態に係る撮像装置１００は、アマチュアの撮影者が撮影する主画像とは別に、副画像として適応的にシーンの切り替えを行ない躍動感のある映像を記録できる。
【０１０４】
なお、フレームメモリ７１の物理的な場所は言及しておらず、メモリ７上に存在してもよい。また、一定期間同一の領域ＩＤが選択され続けた場合に一旦そのＩＤを無効化し次の候補を選択するが、その際に異なる領域ＩＤに切り替えてもよいし、以前選択されていた領域ＩＤと今回選択された領域ＩＤの両方を含む統合領域を注視領域としてもよい。また、一の人物領域を含む領域Ａから他の一の人物領域を含む領域Ｂへ注視領域を切り替えるときは、領域Ａからと領域Ｂへと注視領域を瞬間的に切り替えてもよいし、領域Ａから領域Ｂへと仮想的なパン／チルト／ズームを行なっているように連続的に領域を移動させてもよい。
【０１０５】
また、経過時間タイマー７８に設定する経過時間の値は毎回同じでもよいし、優先度の低い領域ＩＤが選択されたときは設定する経過時間を短くするなど、優先度に連動して時間を変更してもよい。領域ＩＤを無効にする場合も同様である。経過時間を計測する経過時間タイマー７８と、無効時間を計測する無効時間タイマー７９とは、物理的に別々に存在してもよいし、物理的には１つで論理的に２系統使える構成でもよい。
【０１０６】
また、実施の形態の内容は半導体集積回路として全てハードウェアで実現されてもよいし、一部の処理をソフトウェアで実現しても構わない。
【０１０７】
また、図１０では説明していないが、次のような実施の形態でも構わない。ステップＳ０４において照合優先モードで人物データベース８１に登録されていない人物が検出された場合は、人物登録部７５は今回検出された人物を人物データベース８１に登録し、出現頻度をカウントする。領域決定部７７は、新規に登録された人物の出現頻度と照合結果とを用いて特定の個人が含まれる領域を注視領域として選択することが可能となる。つまり、人物記憶部７６は、人物検出部７２により検出された人物領域に含まれる人物の人物情報ごとに対応して、当該人物が現在までに検出された回数を保持し、領域決定部７７は、人物記憶部７６に保持された回数が多い人物の人物領域を含む領域ほど優先的に注視領域として検出する。こうすることで、撮像装置が頻繁に出現する人物を副画像として撮影できるので、撮影者は、予め人物を登録しておくという煩わしさを回避することができる。
【０１０８】
以上、本発明に係る撮像装置１００について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。これらの実施の形態における任意の構成要素を組み合わせて実現される別の形態や、本発明の主旨を逸脱しない範囲でこれらの実施の形態に対して当業者が思いつく変形を施して得られる形態も、本発明に含まれる。
【０１０９】
例えば、人物向き検出部７３に加えて人物動き検出部を設け、人物の向きだけでなく動き方向も考慮して副画像領域の枠をシフトさせてもよい。
【０１１０】
また、上記実施の形態においては、被写体として人物を挙げたがこれに限らない。例えば、被写体として動物でもよいし、飛行機又は電車でもよい。
【産業上の利用可能性】
【０１１１】
本発明は、撮像装置として、特に、アマチュアの撮影者が手軽に良好な映像を撮影できる撮像装置として、例えば民生用ビデオカメラなどの分野で有用である。
【符号の説明】
【０１１２】
１  レンズ
２  レンズ駆動部
３  撮像素子
４  撮像素子駆動部
５  アナログ処理部
６  デジタル処理部
７  メモリ
８  エンコーダ
９  記録部
１０  表示部
１１  ズームスイッチ
１２  検出部
１３  制御部
１５  主画像格納部
１６  副画像格納部
２１、３１、５１ａ〜５１ｈ  全体画像
２２、５３ｂ、５３ｄ、５３ｆ、５３ｈ、６１、９１  主画像
３２  注視領域の画像
３３、５２ａ、５２ｃ、５２ｅ、５２ｇ、６２  副画像
６３  主画像動画
６４  副画像動画
６５  記録メディア
６６  マルチアングル動画
７１  フレームメモリ
７２  人物検出部
７３  人物向き検出部
７４  人物照合部
７５  人物登録部
７６  人物記憶部
７７  領域決定部
７８  経過時間タイマー
７９  無効時間タイマー
８１  人物データベース
８２  人物検出・照合結果
９２、９３  領域
【図１】
2011087257.tif 000003
【図２】
2011087257.tif 000004
【図３】
2011087257.tif 000005
【図４】
2011087257.tif 000006
【図５】
2011087257.tif 000007
【図６】
2011087257.tif 000008
【図７】
2011087257.tif 000009
【図８】
2011087257.tif 000010
【図９Ａ】
2011087257.tif 000011
【図９Ｂ】
2011087257.tif 000012
【図１０】
2011087257.tif 000013