(57)【要約】【課題】顔検出によるパターンマッチングによって追尾被写体を検出することができない場合であっても、追尾被写体に対してピントを合わせた撮影を行うことができる撮像装置、撮像方法およびプログラムを提供する。【解決手段】撮像装置１は、顔検出部２０７ａが人物の顔を検出できない場合において、被写体検出部２０７ｂが所定の姿勢状態にある被写体を検出できたとき、この被写体の領域に対して撮影パラメータを変更しながら追尾する追尾処理を実行する撮影制御部２２１ｄと、を備える。【選択図】図１
2014033265.tif 000002
【特許請求の範囲】
【請求項１】
複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、
前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、
前記画像データに対応する画像から人物の顔を検出する顔検出部と、
前記画像データに対応する画像から所定の姿勢状態にある被写体を検出する被写体検出部と、
前記顔検出部が前記人物の顔を検出できない場合において、前記被写体検出部が前記被写体を検出したとき、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記被写体を構成する各パーツの特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部が抽出した前記特徴点に基づいて、前記被写体の姿勢を特定する際に用いる被写体情報を生成する被写体情報生成部と、
をさらに備え、
前記被写体検出部は、前記被写体情報生成部が生成した前記被写体情報との一致度が所定の閾値以上である姿勢状態の被写体を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記特徴点抽出部が抽出した前記特徴点に基づいて、前記被写体を複数の関節よって人物をモデル化する関節モデルを生成する関節モデル生成部をさらに備え、
前記被写体情報生成部は、前記関節モデル生成部が生成した前記関節モデルを参照して前記被写体情報を生成することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記画像に含まれる複数の人物のいずれかを選択する選択信号の入力を受け付ける操作入力部をさらに備え、
前記被写体情報生成部は、前記顔検出部が前記選択信号に応じた人物の顔を検出した際に、該人物の前記被写体情報を生成することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記画像データを記録する記録部と、
前記画像データに対応する画像を表示する表示部と、
前記表示部が表示する前記画像に含まれる複数の人物のいずれかを選択する選択する選択信号の入力を受け付ける操作入力部と、
をさらに備え、
前記被写体情報生成部は、前記表示部が前記記録部によって記録された前記画像を再生している場合において、前記顔検出部が前記選択信号に応じた人物の顔を検出したとき、該人物の前記被写体情報を生成することを特徴とする請求項２または３に記載の撮像装置。
【請求項６】
前記撮影パラメータは、前記レンズ部のピント位置、露出値、前記レンズ部の光学ズームおよび電子ズームのいずれかであることを特徴とする請求項１〜５のいずれか一つに記載の撮像装置。
【請求項７】
前記撮影制御部は、前記顔検出部が前記人物の顔を検出できない場合において、前記被写体検出部が前記被写体を検出したとき、該被写体に対応する領域に対して前記レンズ部のピント位置を合わせながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記撮像部による生成タイミングが時間的に隣接する画像間で前記レンズ部のピントを合わせながら追尾する追尾被写体を設定する被写体設定部をさらに備え、
前記顔検出部は、前記画像データに対応する画像に含まれる複数の人物から前記追尾被写体の顔を検出し、
前記被写体検出部は、前記画像データに対応する画像に含まれる複数の被写体から前記姿勢状態の被写体を検出し、
前記撮影制御部は、前記顔検出部が前記追尾被写体の顔を検出した場合、前記追尾被写体の顔の領域に前記レンズ部のピント位置を合わせながら追尾する第１追尾処理を実行する一方、前記顔検出部が前記追尾被写体の顔を検出できない場合において、前記被写体検出部が前記追尾被写体を検出できたとき、該追尾被写体に対応する領域に前記レンズ部のピント位置を合わせながら追尾する第２追尾処理を実行することを特徴とする請求項７に記載の撮像装置。
【請求項９】
複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、を備えた撮像装置が実行する撮像方法であって、
前記画像データに対応する画像から、人物の顔を検出する顔検出ステップと、
前記顔検出ステップで前記被写体の顔を検出できない場合、前記画像データに対応する画像から所定の姿勢状態である被写体を検出する被写体検出ステップと、
前記被写体検出ステップで前記被写体を検出できた場合、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御ステップと、
を含むことを特徴とする撮像方法。
【請求項１０】
複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、を備えた撮像装置に実行させるプログラムであって、
前記画像データに対応する画像に対して、被写体の顔を検出する顔検出ステップと、
前記顔検出ステップで前記被写体の顔を検出できない場合、前記画像に対して、予め記録された姿勢状態の被写体を検出する被写体検出ステップと、
前記被写体検出ステップで前記被写体を検出したとき、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御ステップと、
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像し、該被写体の画像データを生成する撮像装置、撮像方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラ等の撮像装置において、顔検出によるパターンマッチングによって、隣接する画像間で撮像装置のピント位置を合わせながら追尾する追尾被写体を検出し、検出した追尾被写体に対して最適な状態で撮影する技術が知られている（特許文献１参照）。この技術では、顔検出によるパターンマッチングによって検出した追尾被写体の顔に予め対応付けられた画像パラメータの画像処理を画像データに施すことで、追尾被写体に対して最適な状態で撮影を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−７０２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した従来技術では、画像内に追尾被写体が写っていても、顔検出によるパターンマッチングによって、追尾被写体の顔を検出することができない場合、撮像装置のピント位置を合わせることができず、追尾被写体に対してピントがぼけた撮影や露出が適切でない撮影を行ってしまうという問題点があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、顔検出によるパターンマッチングによって追尾被写体を検出することができない場合であっても、追尾被写体に対してピントを合わせた撮影を行うことができる撮像装置、撮像方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明にかかる撮像装置は、複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、前記画像データに対応する画像から人物の顔を検出する顔検出部と、前記画像データに対応する画像から所定の姿勢状態にある被写体を検出する被写体検出部と、前記顔検出部が前記人物の顔を検出できない場合において、前記被写体検出部が前記被写体を検出したとき、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御部と、を備えたことを特徴とする。
【０００７】
また、本発明にかかる撮像装置は、上記発明において、前記被写体を構成する各パーツの特徴点を抽出する特徴点抽出部と、前記特徴点抽出部が抽出した前記特徴点に基づいて、前記被写体の姿勢を特定する際に用いる被写体情報を生成する被写体情報生成部と、をさらに備え、前記被写体検出部は、前記被写体情報生成部が生成した前記被写体情報との一致度が所定の閾値以上である姿勢状態の被写体を検出することを特徴とする。
【０００８】
また、本発明にかかる撮像装置は、上記発明において、前記特徴点抽出部が抽出した前記特徴点に基づいて、前記被写体を複数の関節よって人物をモデル化する関節モデルを生成する関節モデル生成部をさらに備え、前記被写体情報生成部は、前記関節モデル生成部が生成した前記関節モデルを参照して前記被写体情報を生成することを特徴とする。
【０００９】
また、本発明にかかる撮像装置は、上記発明において、前記画像に含まれる複数の人物のいずれかを選択する選択信号の入力を受け付ける操作入力部をさらに備え、前記被写体情報生成部は、前記顔検出部が前記選択信号に応じた人物の顔を検出した際に、該人物の前記被写体情報を生成することを特徴とする。
【００１０】
また、本発明にかかる撮像装置は、上記発明において、前記画像データを記録する記録部と、前記画像データに対応する画像を表示する表示部と、前記表示部が表示する前記画像に含まれる複数の人物のいずれかを選択する選択する選択信号の入力を受け付ける操作入力部と、をさらに備え、前記被写体情報生成部は、前記表示部が前記記録部によって記録された前記画像を再生している場合において、前記顔検出部が前記選択信号に応じた人物の顔を検出したとき、該人物の前記被写体情報を生成することを特徴とする。
【００１１】
また、本発明にかかる撮像装置は、上記発明において、前記撮影パラメータは、前記レンズ部のピント位置、露出値、前記レンズ部の光学ズームおよび電子ズームのいずれかであることを特徴とする。
【００１２】
また、本発明にかかる撮像装置は、上記発明において、前記撮影制御部は、前記顔検出部が前記人物の顔を検出できない場合において、前記被写体検出部が前記被写体を検出したとき、該被写体に対応する領域に対して前記レンズ部のピント位置を合わせながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行することを特徴とする。
【００１３】
また、本発明にかかる撮像装置は、上記発明において、前記撮像部による生成タイミングが時間的に隣接する画像間で前記レンズ部のピントを合わせながら追尾する追尾被写体を設定する被写体設定部をさらに備え、前記顔検出部は、前記画像データに対応する画像に含まれる複数の人物から前記追尾被写体の顔を検出し、前記被写体検出部は、前記画像データに対応する画像に含まれる複数の被写体から前記姿勢状態の被写体を検出し、前記撮影制御部は、前記顔検出部が前記追尾被写体の顔を検出した場合、前記追尾被写体の顔の領域に前記レンズ部のピント位置を合わせながら追尾する第１追尾処理を実行する一方、前記顔検出部が前記追尾被写体の顔を検出できない場合において、前記被写体検出部が前記追尾被写体を検出できたとき、該追尾被写体に対応する領域に前記レンズ部のピント位置を合わせながら追尾する第２追尾処理を実行することを特徴とする。
【００１４】
また、本発明にかかる撮像方法は、複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、を備えた撮像装置が実行する撮像方法であって、前記画像データに対応する画像から、人物の顔を検出する顔検出ステップと、前記顔検出ステップで前記被写体の顔を検出できない場合、前記画像データに対応する画像から所定の姿勢状態である被写体を検出する被写体検出ステップと、前記被写体検出ステップで前記被写体を検出できた場合、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御ステップと、を含むことを特徴とする。
【００１５】
また、本発明にかかるプログラムは、複数のレンズからなり、所定の視野領域から光を集光するレンズ部と、前記レンズ部によって集光された光を受光して電子的な画像データを時間的に連続して生成する撮像部と、を備えた撮像装置に実行させるプログラムであって、前記画像データに対応する画像に対して、被写体の顔を検出する顔検出ステップと、前記顔検出ステップで前記被写体の顔を検出できない場合、前記画像に対して、予め記録された姿勢状態の被写体を検出する被写体検出ステップと、前記被写体検出ステップで前記被写体を検出したとき、該被写体に対応する領域に対して撮影パラメータを変更しながら前記撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する撮影制御ステップと、を含むことを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮影制御部が顔検出部によって人物の顔を検出できない場合、被写体検出部が検出した所定の姿勢状態にある被写体を検出できた場合、この被写体の領域に対して撮影パラメータを変更しながら撮像部による生成タイミングが時間的に隣接する画像間で追尾する追尾処理を実行する。これにより、顔検出によるパターンマッチングによって追尾被写体を検出することができない場合であっても、追尾被写体に対してピントを合わせた撮影を行うことができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。
【図２】図２は、本発明の一実施の形態にかかる撮像装置の被写体情報記録部が記録する被写体情報の一例を示す図である。
【図３】図３は、本発明の一実施の形態にかかる撮像装置の被写体情報記録部が記録する被写体情報の別の一例を示す図である。
【図４】図４は、本発明の一実施の形態にかかる撮像装置が実行する処理の内容を示すフローチャートである。
【図５】図５は、本発明の一実施の形態にかかる撮像装置の表示部が表示する画像に対して追尾被写体を設定する際の概要を模式的に示す図である。
【図６】図６は、本発明の一実施の形態にかかる撮像装置の表示部が表示する画像の一例を示す図である。
【図７】図７は、図４の追尾被写体辞書生成処理の概要を示すフローチャートである。
【図８】図８は、図７の関節モデル化処理の概要を示すフローチャートである。
【図９】図９は、本発明の一実施の形態にかかる撮像装置の関節モデル生成部による追尾被写体の関節モデル生成方法の概要を模式的に示す図である。
【図１０】図１０は、図４の第２追尾処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）について説明する。また、以下において、同一の部分には同一の符号を付して説明する。なお、この実施の形態によって本発明が限定されるものではない。
【００１９】
図１は、本発明の一実施の形態にかかる撮像装置の構成を示すブロック図である。図１に示す撮像装置１は、本体部２と、本体部２に着脱自在であり、所定の視野領域から光を集光するレンズ部３と、を備える。
【００２０】
本体部２は、シャッタ２０１と、シャッタ駆動部２０２と、撮像素子２０３と、撮像素子駆動部２０４と、信号処理部２０５と、Ａ／Ｄ変換部２０６と、画像処理部２０７と、測距算出部２０８と、ＡＥ処理部２０９と、ＡＦ処理部２１０と、画像圧縮展開部２１１と、操作入力部２１２と、表示部２１３と、表示駆動部２１４と、記録媒体２１５と、メモリＩ／Ｆ２１６と、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）２１７と、Ｆｌａｓｈメモリ２１８と、本体通信部２１９と、バス２２０と、制御部２２１と、を備える。
【００２１】
シャッタ２０１は、撮像素子２０３の状態を露光状態または遮光状態に設定する。シャッタ駆動部２０２は、ステッピングモータ等を用いて構成され、制御部２２１から入力される信号に応じてシャッタ２０１を駆動する。
【００２２】
撮像素子２０３は、レンズ部３によって集光された光を受光して電子的な画像データを時間的に連続して生成する。具体的には、撮像素子２０３は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等を用いて構成される。また、撮像素子２０３は、位相差ＡＦ（auto-Focus）素子２０３ａを有する。位相差ＡＦ素子２０３ａは、レンズ部３の出射瞳を通る一対の焦点検出光束を受光する。位相差ＡＦ素子２０３ａは、受光した一対の焦点検出光束に対応した位相差ＡＦ検出用の一対の信号を信号処理部２０５へ出力する。
【００２３】
撮像素子駆動部２０４は、所定のタイミングで撮像素子２０３から画像データ（アナログ信号）を信号処理部２０５へ出力する。この意味で、撮像素子駆動部２０４は、電子シャッタとして機能する。
【００２４】
信号処理部２０５は、撮像素子２０３から入力されるアナログ信号に対して、ノイズ低減処理、ゲインアップ処理および波形整形処理等のアナログ処理を施してＡ／Ｄ変換部２０６へ出力する。
【００２５】
Ａ／Ｄ変換部２０６は、信号処理部２０５から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、バス２２０を介してＳＤＲＡＭ２１７へ出力する。
【００２６】
画像処理部２０７は、バス２２０を介してＳＤＲＡＭ２１７から画像データ（ＲＡＷデータ）を取得し、取得した画像データに対して各種の画像処理を行う。この画像処理を行った画像データは、バス２２０を介してＳＤＲＡＭ２１７へ出力される。ここで、画像処理としては、オプティカルブラック低減処理、ホワイトバランス調整処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理および撮像素子２０３がベイヤー配列の場合には画像データの同時化処理等である。また、画像処理部２０７は、顔検出部２０７ａと、被写体検出部２０７ｂと、特徴点抽出部２０７ｃと、を有する。
【００２７】
顔検出部２０７ａは、画像データに対応する画像から人物の顔をパターンマッチングにより検出する。具体的には、顔検出部２０７ａは、後述するＦｌａｓｈメモリ２１８に記録された人体を構成する各パーツの特徴を示すパーツ情報に基づいて、パターンマッチングを行うことにより、画像中の顔を検出後、目、鼻および口等の顔の特徴点の位置を検出することで、顔の位置、顔の大きさ（サイズ）、顔の向きおよび顔の角度（傾き）等を検出する。また、顔検出部２０７ａは、画像データに対応する画像に含まれる複数の被写体の中から後述するＦｌａｓｈメモリ２１８の被写体情報記録部２１８ｂに記録された被写体情報に基づいて、画像データに対応する画像に含まれる複数の被写体から追尾被写体の顔を検出する。なお、顔検出部２０７ａは、人物の顔だけでなく、犬や猫等の顔を検出してもよい。さらに、顔検出部２０７ａは、パターンマッチング以外の周知技術を用いて人物の顔を検出してもよい。
【００２８】
被写体検出部２０７ｂは、画像データに対応する画像から所定の姿勢状態にある被写体を検出する。具体的には、被写体検出部２０７ｂは、画像データに対応する画像に含まれる複数の被写体の中から後述するＦｌａｓｈメモリ２１８の被写体情報記録部２１８ｂに記録された被写体情報との一致度が所定の閾値以上である被写体を検出する。たとえば、被写体検出部２０７ｂは、画像データに対応する画像に含まれる複数の被写体に対して、後述するＦｌａｓｈメモリ２１８の被写体情報記録部２１８ｂに記録された被写体情報を用いてパターンマッチングを行い、被写体情報との一致度が所定の値以上である被写体を撮像素子２０３による生成タイミングが時間的に隣接する画像間で移動する追尾被写体として検出する。
【００２９】
特徴点抽出部２０７ｃは、生成タイミングが時間的に隣接する画像間でレンズ部３のピント位置を合わせながら追尾する被写体（以下、「追尾被写体」という）に対して、身体を構成する各パーツの特徴点を抽出する。具体的には、特徴点抽出部２０７ｃは、後述するＦｌａｓｈメモリ２１８のパーツ情報記録部２１８ｃが記録するパーツ情報に基づいて、追尾被写体の身体を構成する各パーツ、たとえば頭、腕、肩、手、腰、胴体および足等の特徴点を抽出する。
【００３０】
測距算出部２０８は、位相差ＡＦ素子２０３ａから出力された一対の画像信号の位相差に基づいて、撮像装置１から被写体までの距離を算出し、算出した結果を制御部２２１へ出力する。
【００３１】
ＡＥ処理部２０９は、バス２２０を介してＳＤＲＡＭ２１７に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部２０９は、画像データから輝度を算出し、算出した輝度に基づいて、たとえば絞り値（ｆ値）、シャッタ速度等を決定することで撮像装置１の自動露出を行う。
【００３２】
ＡＦ処理部２１０は、バス２２０を介してＳＤＲＡＭ２１７に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。たとえば、ＡＦ処理部２１０は、画像データから高周波成分の信号を取り出し、この高周波成分の信号に対してＡＦ（Auto  Focus）演算処理（コントラスト方式）を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。また、ＡＦ処理部２１０は、位相差ＡＦ素子２０３ａから出力された一対の画像信号の位相差に基づいて、撮像素子２０３上に結像された被写体像に対応するレンズ部３の焦点調節状態（デフォーカス量）を算出する瞳分割型位相差検出方式によって、撮像装置１の自動焦点の調整を行う。
【００３３】
画像圧縮展開部２１１は、バス２２０を介してＳＤＲＡＭ２１７から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２１７へ出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint  Photographic  Experts  Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部２１１は、バス２２０およびメモリＩ／Ｆ２１６を介して記録媒体２１５に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸張）してＳＤＲＡＭ２１７へ出力する。
【００３４】
操作入力部２１２は、静止画撮影を指示する指示信号の入力を受け付けるレリーズボタン２１２ａと、動画撮影を指示する指示信号の入力を受け付ける動画ボタン２１２ｂと、撮像装置１の撮影モードの切り替えを指示する指示信号の入力を受け付けるモード切替ボタン２１２ｃと、撮像装置１の各種パラメータの設定を指示する指示信号の入力を受け付けるメニューボタン２１２ｄと、記録媒体２１５に記録された画像データの再生を指示する指示信号の入力を受け付ける再生ボタン２１２ｅと、撮像装置１の電源をオン状態またはオフ状態に切り替える電源ボタン２１２ｆと、表示部２１３の表示画面上に設けられ、外部からの接触を検出し、検出した位置に応じた指示信号の入力を受け付けるタッチパネル２１２ｇと、を有する。レリーズボタン２１２ａは、外部からの押圧により進退可能である。レリーズボタン２１２ａが半押しされた場合、撮影順次動作を指示する１ｓｔレリーズ信号が入力される。これに対して、レリーズボタン２１２ａが全押しされた場合、静止画撮影を指示する２ｎｄレリーズ信号が入力される。
【００３５】
表示部２１３は、画像データに対応する画像を表示する。表示部２１３は、液晶または有機ＥＬ（Electro  Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２１４は、バス２２０を介してＳＤＲＡＭ２１７が記録する画像データを取得し、取得した画像データに対応する画像を表示部２１３に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（たとえば３秒）だけ表示するレックビュー表示、記録媒体２１５に記録された画像データを再生する再生表示、および撮像素子２０３が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１３は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。
【００３６】
記録媒体２１５は、撮像素子２０３が生成した画像データ、画像処理部２０７によって画像処理が施された画像データ、画像圧縮展開部２１１が処理を施した画像データおよびＲＡＷデータ等を記録する。記録媒体２１５は、撮像装置１の外部から装着されるメモリカード等を用いて構成され、メモリＩ／Ｆ２１６を介して撮像装置１に着脱自在に装着される。
【００３７】
ＳＤＲＡＭ２１７は、バス２２０を介してＡ／Ｄ変換部２０６から入力される画像データ、画像処理部２０７から入力される画像データおよび撮像装置１の処理中の情報を一時的に記録する。たとえば、ＳＤＲＡＭ２１７は、信号処理部２０５、Ａ／Ｄ変換部２０６およびバス２２０を介して、撮像素子２０３が１フレーム毎に順次出力する画像データを一時的に記録する。
【００３８】
Ｆｌａｓｈメモリ２１８は、撮像装置１を動作させるための各種プログラム、プログラムの実行中に使用される各種データおよび画像処理部２０７による画像処理の動作に必要な各種パラメータ等を記録するプログラム記録部２１８ａと、追尾被写体に関する被写体情報を記録する被写体情報記録部２１８ｂと、顔検出部２０７ａ、被写体検出部２０７ｂおよび特徴点抽出部２０７ｃが被写体に対してパターンマッチングを行う際に参照する人物の身体を構成する各パーツに関するパーツ情報を記録するパーツ情報記録部２１８ｃと、を有する。
【００３９】
ここで、被写体情報記録部２１８ｂが記録する被写体情報について説明する。図２は、被写体情報記録部が記録する被写体情報の一例を示す図である。図３は、追尾被写体状態記録部が記録する被写体情報の別の一例を示す図である。
【００４０】
図２に示す追尾被写体辞書テーブルＴ１には、顔検出部２０７ａがパターンマッチングで用いる追尾被写体に関する被写体情報が記載されている。具体的には、追尾被写体辞書テーブルＴ１には、辞書項目、辞書詳細項目、パラメータ、パターンマッチング結果および追尾区分がそれぞれ記載されている。たとえば、辞書項目が「顔」の場合、辞書詳細項目に「顔の大きさ」、「髪型」および「メガネ」が記載され、パラメータに顔の大きさのサイズを示す「Ｒ＝２０」、髪型を示す「坊主」およびメガネの有無を示す「あり」がそれぞれ記載されている。さらに、追尾区分に「第１追尾被写体判定用情報」として記載されている。
【００４１】
また、図３に示す追尾被写体辞書テーブルＴ２には、被写体検出部２０７ｂがパターンマッチングで用いる追尾被写体に関する被写体情報が記載されている。具体的には、追尾被写体辞書テーブルＴ２には、辞書項目、辞書詳細項目、パラメータ、パターンマッチング結果、追尾区分および姿勢区分がそれぞれ記載されている。たとえば、辞書項目が「走り方」の場合、辞書詳細項目に「腕の角度」、「歩幅」、「上体の角度」および「走行周期」が記載され、パラメータに腕の角度を示す「２０°」、歩幅を示す「１００ｃｍ」、上体の角度を示す「３０°」および走行周期を示す「３．６歩／Ｓ」がそれぞれ記載されている。さらに、追尾区分に第２追尾被写体判定用情報として記載され、姿勢区分に「走り姿勢」として記載されている。このように、追尾被写体辞書テーブルＴ１および追尾被写体辞書テーブルＴ２には、被写体検出部２０７ｂが追尾被写体を姿勢状態によりパターンマッチングを行う際の被写体情報が記載されている。
【００４２】
本体通信部２１９は、本体部２に装着されるレンズ部３との通信を行うための通信インターフェースである。本体通信部２１９には、レンズ部３との電気的な接点も含まれる。
【００４３】
バス２２０は、撮像装置１の各構成部を接続する伝送路として機能する。バス２２０は、撮像装置１の内部で発生した各種データを撮像装置１の各構成部に転送する。
【００４４】
制御部２２１は、ＣＰＵ（Central  Processing  Unit）等を用いて構成され、バス２２０を介して操作入力部２１２から入力される指示信号に応じて、撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。具体的には、制御部２２１は、レリーズボタン２１２ａから２ｎｄレリーズ信号が入力された場合、撮像装置１における静止画撮影動作を開始する制御を行う。ここで、撮像装置１における静止画撮影動作とは、シャッタ駆動部２０２および撮像素子駆動部２０４の駆動によって撮像素子２０３が出力した画像データに対して、信号処理部２０５および画像処理部２０７が所定の処理を施す動作をいう。このように処理が施された画像データは、画像圧縮展開部２１１で所定の形式に従って圧縮され、バス２２０およびメモリＩ／Ｆ２１６を介して記録媒体２１５に記録される。なお、本実施の形態では、記録媒体２１５が記録部の一部をなしているが、記録媒体２１５とは別に撮像装置１の内部に記録部の機能を有する記録領域を確保し、この記録領域に画像データを記録するようにしてもよい。
【００４５】
ここで、制御部２２１の詳細な構成について説明する。制御部２２１は、追尾被写体設定部２２１ａと、関節モデル生成部２２１ｂと、被写体情報生成部２２１ｃと、撮影制御部２２１ｄと、表示制御部２２１ｅと、を有する。
【００４６】
追尾被写体設定部２２１ａは、操作入力部２１２から入力される指示信号に応じて、画像内に含まれる複数の被写体から追尾被写体を設定する。具体的には、追尾被写体設定部２２１ａは、タッチパネル２１２ｇから入力される指示信号に応じて選択された被写体を追尾被写体として設定する。
【００４７】
関節モデル生成部２２１ｂは、パーツ情報記録部２１８ｃが記録するパーツ情報と特徴点抽出部２０７ｃが追尾被写体から抽出した特徴点とに基づいて、追尾被写体を複数の関節によって人物または動物をモデル化する関節モデルを生成する。具体的には、関節モデル生成部２２１ｂは、追尾被写体の各パーツの関節モデル、たとえば体幹を基準に頭、肩、手および足それぞれの関節同士を結ぶ直線によってモデル化された人物の関節モデルを生成する。
【００４８】
被写体情報生成部２２１ｃは、特徴点抽出部２０７ｃが追尾被写体から抽出した特徴点と関節モデル生成部２２１ｂが生成した追尾被写体の関節モデルとに基づいて、被写体の姿勢を特定する際に用いる被写体情報を生成し、生成した被写体情報を被写体情報記録部２１８ｂに記録する。
【００４９】
撮影制御部２２１ｄは、顔検出部２０７ａが画像から人物の顔を検出できない場合において、被写体検出部２０７ｂが所定の姿勢状態にある被写体を画像から検出できたとき、この被写体の領域に対して撮影パラメータを変更しながら隣接する画像間で追尾する追尾処理を実行する。ここで、撮影パラメータとは、レンズ部３のピント位置、撮像装置１の露出値、画像処理部２０７による電子ズームの位置（トリミング領域）、撮像装置１の露出時間、シャッタ速度、ＩＳＯ感度、表示部２１３が表示するライブビュー画像の明るさ、画像サイズ等である。また、撮影制御部２２１ｄは、顔検出部２０７ａが画像から人物の顔を検出できない場合において、被写体検出部２０７ｂが所定の姿勢状態にある被写体を画像から検出できたとき、この被写体の領域に対応する位置にレンズ部３のピント位置を合わせながら追尾する追尾処理を実行する。具体的には、撮影制御部２２１ｄは、顔検出部２０７ａが被写体設定部２２１ａによって設定された追尾被写体の顔を検出できた場合、この追尾被写体の顔の領域に対応する位置にレンズ部３のピント位置を合わせながら追尾する第１追尾処理を実行する一方、顔検出部２０７ａが被写体設定部２２１ａによって設定された追尾被写体の顔を検出できない場合において、被写体検出部２０７ｂが追尾被写体を検出できたとき、この追尾被写体の領域に対応する位置にレンズ部３のピント位置を合わせながら追尾する第２追尾処理を実行する。
【００５０】
表示制御部２２１ｅは、表示部２１３の表示態様を制御する。具体的には、表示制御部２２１ｅは、表示駆動部２１４を駆動し、画像データに対応する画像を表示部２１３に表示させる。また、表示制御部２２１ｅは、追尾被写体設定部２２１ａが設定した被写体に関する情報を画像に重畳して表示部２１３に表示させる。
【００５１】
以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に送信を行う機能を有する通信部等をさらに設けてもよい。
【００５２】
つぎに、レンズ部３の構成を説明する。レンズ部３は、光学系３０１と、レンズ駆動部３０２と、絞り３０３と、絞り駆動部３０４と、レンズ操作部３０５と、レンズＦｌａｓｈメモリ３０６と、レンズ通信部３０７と、レンズ制御部３０８と、を備える。
【００５３】
光学系３０１は、所定の視野領域から光を集光する。光学系３０１は、複数のレンズを用いて構成される。光学系３０１は、焦点距離を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。レンズ駆動部３０２は、光学系３０１を光軸Ｌ上に沿って移動させることにより、光学系３０１のピント位置や焦点距離等の変更を行う。
【００５４】
絞り３０３は、光学系３０１が集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部３０４は、ステッピングモータ等を用いて構成され、絞り３０３を駆動する。
【００５５】
レンズ操作部３０５は、レンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する指示信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３０５は、プッシュ式のスイッチやオンまたはオフを切り替え可能なレバー式のスイッチ等であってもよい。
【００５６】
レンズＦｌａｓｈメモリ３０６は、光学系３０１の位置および動きをそれぞれ決定するための制御用プログラム、光学系３０１のレンズ特性および各種パラメータを記録する。
【００５７】
レンズ通信部３０７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２１９と通信を行うための通信インターフェースである。
【００５８】
レンズ制御部３０８は、ＣＰＵ等を用いて構成され、レンズ操作部３０５から入力される指示信号または本体部２から入力される指示信号に応じてレンズ部３の動作を制御する。具体的には、レンズ制御部３０８は、撮影制御部２２１ｄから入力される指示信号に応じて、レンズ駆動部３０２を駆動させてレンズ部３のピント合わせを行う。さらに、レンズ制御部３０８は、撮影制御部２２１ｄから入力される指示信号に応じて、絞り駆動部３０４を駆動させて絞り３０３の絞り値の変更を行う。また、レンズ制御部３０８は、レンズ部３が本体部２に装着された際に、レンズ通信部３０７を介してレンズ部３に関するピント位置情報、焦点距離情報、明るさ情報（ｆ値）、レンズ部３を識別する固有情報を本体部２へ送信する。
【００５９】
以上のように構成された撮像装置１が行う処理の概要について説明する。図４は、撮像装置１が行う処理の概要を示すフローチャートである。
【００６０】
図４において、まず、撮像装置１が撮影モードに設定されていない場合（ステップＳ１０１：Ｎｏ）について説明する。この場合、表示制御部２２１ｅは、記録媒体２１５に記録された画像データに対応する画像を表示部２１３に表示させる（ステップＳ１０２）。
【００６１】
続いて、制御部２２１は、追尾被写体が選択されたか否かを判断する（ステップＳ１０３）。具体的には、図５に示すように、制御部２２１は、表示部２１３が画像Ｗ1を表示している際に、タッチパネル２１２ｇを介して追尾被写体が選択されたか否かを判断する。追尾被写体が選択されたと制御部２２１が判断した場合（ステップＳ１０３：Ｙｅｓ）、撮像装置１は、ステップＳ１０４へ移行する。これに対して、追尾被写体が選択されていないと制御部２２１が判断した場合（ステップＳ１０３：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。
【００６２】
ステップＳ１０４において、追尾被写体設定部２２１ａは、選択された被写体を追尾被写体として設定する。この際、図５に示すように、被写体情報生成部は、選択された被写体Ａ１に対して、顔検出部２０７ａが検出した被写体の顔Ｆ１の大きさ、髪型およびメガネの有無に関する情報を第１追尾区分の被写体情報として被写体情報記録部２１８ｂに記録する。ステップＳ１０４の後、撮像装置１は、ステップＳ１０１へ戻る。
【００６３】
ステップＳ１０１において、撮像装置１が撮影モードに設定されている場合（ステップＳ１０１：Ｙｅｓ）について説明する。この場合、撮影制御部２２１ｄは、ＡＥ処理部２０９にＡＥ処理を実行させ（ステップＳ１０５）、ＡＦ処理部２１０にＡＦ処理を実行させる（ステップＳ１０６）。この際、撮影制御部２２１ｄは、後述する表示部２１３が表示するライブビュー画像上の追尾枠を表示している場合、ＡＥ処理部２０９によるＡＥ処理およびＡＦ処理部２１０によるＡＦ処理それぞれを実行させる。
【００６４】
続いて、撮影制御部２２１ｄは、撮像素子駆動部２０４を駆動し、撮像素子２０３に画像データを信号処理部２０５に出力させることにより、電子シャッタによる撮像処理を実行する（ステップＳ１０７）。
【００６５】
その後、顔検出部２０７ａは、撮像素子２０３が生成した画像データに対応する画像に含まれる人物の顔を検出する（ステップＳ１０８）。
【００６６】
続いて、表示制御部２２１ｅは、撮像素子２０３が生成した画像データに対応するライブビュー画像を表示部２１３に表示させる（ステップＳ１０９）。この際、表示制御部２２１ｅは、顔検出部２０７ａが検出した被写体の顔を枠で強調して表示させてもよい。
【００６７】
その後、制御部２２１は、表示部２１３が表示するライブビュー画像に対して、追尾被写体がユーザによって選択されたか否かを判断する（ステップＳ１１０）。具体的には、図６（ａ）に示すように、表示部２１３が表示するライブビュー画像Ｗn（ｎ＝自然数）に対して、タッチパネル２１２ｇを介して複数の被写体の中から追尾被写体を選択する選択信号が入力されたか否かを判断する。追尾被写体が選択されたと制御部２２１が判断した場合（ステップＳ１１０：Ｙｅｓ）、撮像装置１は、ステップＳ１１１へ移行する。これに対して、追尾被写体が選択されていないと制御部２２１が判断した場合（ステップＳ１１０：Ｎｏ）、撮像装置１は、ステップＳ１１２へ移行する。
【００６８】
ステップＳ１１１において、追尾被写体設定部２２１ａは、選択された被写体を追尾被写体として設定する。
【００６９】
続いて、制御部２２１は、追尾被写体の設定が行われているか否かを判断する（ステップＳ１１２）。具体的には、制御部２２１は、ＳＤＲＡＭ２１７に追尾被写体の設定を示すフラグが記録されているか否かを判断する。制御部２２１が追尾被写体の設定が行われていると判断した場合（ステップＳ１１２：Ｙｅｓ）、撮像装置１は、後述するステップＳ１１３へ移行する。これに対して、制御部２２１が追尾被写体の設定が行われていないと判断した場合（ステップＳ１１２：Ｎｏ）、撮像装置１は、後述するステップＳ１１８へ移行する。
【００７０】
ステップＳ１１３において、追尾被写体に対して、顔検出部２０７ａが検出した追尾被写体の顔の領域に対応する位置にレンズ部３のピント位置を合わせながら撮影する第１追尾が可能である場合（ステップＳ１１３：Ｙｅｓ）、撮影制御部２２１ｄは、顔検出部２０７ａが検出した追尾被写体の顔にレンズ部３のピント位置を合わせながら生成タイミングが時間的に隣接する画像間で追尾する第１追尾処理を実行する（ステップＳ１１４）。具体的には、撮影制御部２２１ｄは、レンズ制御部３０８を介してレンズ駆動部３０２を駆動することにより、光学系３０１を光軸Ｌ方向に沿って移動させることで、顔検出部２０７ａが検出した追尾被写体の顔の領域にレンズ部３のピント位置を合わせながら生成タイミングが時間的に隣接するライブビュー画像間で合わせながら撮影を行う。
【００７１】
続いて、被写体情報生成部２２１ｃは、追尾被写体に関する被写体辞書生成処理を実行する（ステップＳ１１５）。なお、被写体辞書生成処理の詳細については後述する。
【００７２】
続いて、追尾被写体を追尾中である場合（ステップＳ１１６：Ｙｅｓ）、表示制御部２２１ｅは、追尾被写体に対する追尾枠をライブビュー画像中に重畳して表示部２１３に表示させる（ステップＳ１１７）。なお、追尾枠は、レンズ部３のピント位置、レンズ部３による光学ズームの位置、画像処理部２０７による電子ズームのいずれかの領域を示す。ステップＳ１１７の後、撮像装置１は、ステップＳ１１８へ移行する。これに対して、追尾被写体を追尾中でない場合（ステップＳ１１６：Ｎｏ）、撮像装置１は、ステップＳ１１８へ移行する。
【００７３】
レリーズボタン２１２ａからレリーズ信号が入力された場合（ステップＳ１１８：Ｙｅｓ）、撮影制御部２２１ｄは、シャッタ駆動部２０２を駆動することにより、メカシャッタによる静止画撮影を行う（ステップＳ１１９）。
【００７４】
続いて、電源ボタン２１２ｆが操作されることにより、撮像装置１の電源がオフ状態になっている場合（ステップＳ１２０：Ｙｅｓ）、撮像装置１は、本処理を終了する。これに対して、撮像装置１の電源がオフ状態になっていない場合（ステップＳ１２０：Ｎｏ）、撮像装置１は、ステップＳ１０１へ戻る。
【００７５】
ステップＳ１１８において、レリーズ信号が入力されておらず（ステップＳ１１８：Ｎｏ）、動画ボタン２１２ｂが押された場合（ステップＳ１２１：Ｙｅｓ）において、撮像装置１が動画中でないとき（ステップＳ１２２：Ｎｏ）、撮像装置１は、動画撮影を開始する（ステップＳ１２３）。具体的には、制御部２２１は、ＳＤＲＡＭ２１７に動画記録中であることを示す記録中フラグをオン状態にするとともに、画像データを時系列に沿って順次記録するための動画ファイルを記録媒体２１５に生成する。ステップＳ１２３の後、撮像装置１は、ステップＳ１２０へ移行する。
【００７６】
ステップＳ１１８において、レリーズ信号が入力されておらず（ステップＳ１１８：Ｎｏ）、動画ボタン２１２ｂが押された場合（ステップＳ１２１：Ｙｅｓ）において、撮像装置１が動画中であるとき（ステップＳ１２２：Ｙｅｓ）、撮像装置１は、動画撮影を終了する（ステップＳ１２４）。その後、撮像装置１は、ステップＳ１２０へ移行する。
【００７７】
ステップＳ１２１において、動画ボタン２１２ｂが押されていない場合（ステップＳ１２１：Ｎｏ）において、撮像装置１が動画中であるとき（ステップＳ１２５：Ｙｅｓ）、撮影制御部２２１ｄは、撮像素子駆動部２０４を駆動し、撮像素子２０３に画像データを信号処理部２０５に出力させることにより、電子シャッタによる画像データを動画として記録媒体２１５に記録する（ステップＳ１１６）。ステップＳ１１６の後、撮像装置１は、ステップＳ１２０へ移行する。これに対して、撮像装置１が動画中でないとき（ステップＳ１２５：Ｎｏ）、撮像装置１は、ステップＳ１２０へ移行する。
【００７８】
ステップＳ１１３において、追尾被写体に対して、レンズ部３による第１追尾が可能でない場合（ステップＳ１１３：Ｎｏ）において、Ｆｌａｓｈメモリ２１８の被写体情報記録部２１８ｂが記録する被写体情報に基づいて、追尾被写体を追尾する第２追尾が可能であるとき（ステップＳ１２７：Ｙｅｓ）、撮像装置１は、第２追尾処理を実行する（ステップＳ１２８）。なお、第２追尾処理の詳細な内容については後述する。ステップＳ１２８の後、撮像装置１は、ステップＳ１１６へ移行する。
【００７９】
ステップＳ１２７において、追尾被写体を追尾する第２追尾が可能でない場合（ステップＳ１２７：Ｎｏ）、撮像装置１は、ステップＳ１１６へ移行する。
【００８０】
つぎに、ステップＳ１１５の被写体辞書生成処理について説明する。図７は、被写体辞書生成処理の概要を示すフローチャートである。
【００８１】
図７に示すように、撮像装置１は、追尾被写体に関する関節モデル化処理を実行する（ステップＳ２０１）。
【００８２】
図８は、ステップＳ２０１の関節モデル化処理の概要を示すフローチャートである。図８に示すように、特徴点抽出部２０７ｃは、パーツ情報記録部２１８ｃが記録するパーツ情報を参照して追尾被写体に対してパターンマッチングを行うことによって、追尾被写体の頭部画像の特徴点を抽出する（ステップＳ３０１）。
【００８３】
続いて、関節モデル生成部２２１ｂは、特徴点抽出部２０７ｃが抽出した追尾被写体の頭部画像の特徴点に基づいて、追尾被写体の頭部の関節位置を推定する（ステップＳ３０２）。具体的には、図９に示すように、関節モデル生成部２２１ｂは、特徴点抽出部２０７ｃが抽出した追尾被写体の頭部の特徴点Ｐ１（図９（ａ））に基づいて、追尾被写体の頭部の関節位置Ｍ１を推定する（図９（ｂ））。
【００８４】
その後、特徴点抽出部２０７ｃは、パーツ情報記録部２１８ｃが記録するパーツ情報を参照してパターンマッチングを行うことによって、画像データに含まれる追尾被写体の上半身画像の特徴点を抽出する（ステップＳ３０３）。
【００８５】
続いて、関節モデル生成部２２１ｂは、特徴点抽出部２０７ｃが抽出した追尾被写体の上半身画像の特徴点に基づいて、追尾被写体の関節位置を推定する（ステップＳ３０４）。具体的には、図９に示すように、関節モデル生成部２２１ｂは、特徴点抽出部２０７ｃが抽出した追尾被写体の上半身画像の特徴点Ｐ１〜Ｐ８（図９（ａ））に基づいて、追尾被写体の上半身画像の関節位置Ｍ２〜Ｍ８を推定する（図９（ｂ））。
【００８６】
その後、特徴点抽出部２０７ｃは、抽出した上半身画像から追尾被写体の服装情報を取得する（ステップＳ３０５）。具体的には、特徴点抽出部２０７ｃは、抽出した上半身画像の領域に対応する画像データに含まれる色成分を上半身の服装情報として取得する。
【００８７】
続いて、特徴点抽出部２０７ｃは、パーツ情報記録部２１８ｃが記録するパーツ情報を参照してパターンマッチングを行うことによって、画像データに含まれる追尾被写体の下半身画像の特徴点を抽出する（ステップＳ３０６）。
【００８８】
その後、関節モデル生成部２２１ｂは、特徴点抽出部２０７ｃが抽出した追尾被写体の下半身画像の特徴点に基づいて、追尾被写体の関節位置を推定する（ステップＳ３０７）。具体的には、図９に示すように、関節モデル生成部２２１ｂは、特徴点抽出部２０７ｃが抽出した追尾被写体の上半身画像の特徴点Ｐ９〜Ｐ１２（図９（ａ））に基づいて、追尾被写体の下半新画像の関節位置Ｍ９〜Ｍ１２を推定する（図９（ｂ））。
【００８９】
続いて、特徴点抽出部２０７ｃは、抽出した下半身画像から追尾被写体の服装情報を取得する（ステップＳ３０８）。
【００９０】
その後、関節モデル生成部２２１ｂは、パーツ情報記録部２１８ｃが記録するパーツ情報を参照して、追尾被写体と地面との境界を推定する（ステップＳ３０９）。
【００９１】
続いて、関節モデル生成部２２１ｂは、パーツ情報記録部２１８ｃが記録するパーツ情報を参照してパターンマッチングを行うことによって、画像データに含まれる追尾被写体の下半身先端の関節位置を推定する（ステップＳ３１０）。
【００９２】
その後、特徴点抽出部２０７ｃは、追尾被写体の靴情報を取得する（ステップＳ３１１）。具体的には、特徴点抽出部２０７ｃは、関節モデル生成部２２１ｂによって推定された下半身先端の関節位置に対応する画像データに含まれる色成分を靴情報として取得する。ステップＳ３１０の後、図７の追尾被写体辞書生成処理へ戻る。
【００９３】
図７に戻り、ステップＳ２０２以降の説明を続ける。
ステップＳ２０２において、被写体情報生成部２２１ｃは、関節モデル生成部２２１ｂが生成した追尾被写体の関節モデル情報を被写体情報記録部２１８ｂに記録する。
【００９４】
続いて、制御部２２１は、追尾被写体が立ち姿勢であるか否かを判定する（ステップＳ２０３）。具体的には、制御部２２１は、被写体情報記録部２１８ｂが記録する被写体辞書情報に基づいて、追尾被写体の頭部の関節位置または追尾被写体の画像内における位置が隣接する画像間でほぼ一定である場合、追尾被写体が立ち姿勢であると判断する。追尾被写体が立ち姿勢であると制御部２２１が判断した場合（ステップＳ２０３：Ｙｅｓ）、撮像装置１は、後述するステップＳ２０４へ移行する。これに対して、追尾被写体が立ち姿勢でないと制御部２２１が判断した場合（ステップＳ２０３：Ｎｏ）、撮像装置１は、後述するステップＳ２０５へ移行する。
【００９５】
ステップＳ２０４において、被写体情報生成部２２１ｃは、被写体情報記録部２１８ｂが記録する追尾被写体辞書情報に立ち姿勢に関する被写体情報を追加して更新する（ステップＳ２０４）。
【００９６】
続いて、制御部２２１は、追尾被写体の膝関節の位置が最大であるか否かを判断する（ステップＳ２０５）。追尾被写体の膝関節の位置が最大であると制御部２２１が判断した場合（ステップＳ２０５：Ｙｅｓ）、撮像装置１は、ステップＳ２０６へ移行する。これに対して、追尾被写体の膝関節の位置が最大でないと制御部２２１が判断した場合（ステップＳ２０５：Ｎｏ）、撮像装置１は、図４のメインルーチンへ戻る。
【００９７】
ステップＳ２０６において、隣接する画像間で追尾被写体の移動速度が所定の速度、たとえば５ｋｍ／ｈ以上である場合（ステップＳ２０６：Ｙｅｓ）、被写体情報生成部２２１ｃは、被写体情報記録部２１８ｂが記録する追尾被写体辞書情報に走り姿勢の被写体情報を追加して更新する（ステップＳ２０７）。具体的には、図９（ｂ）に示すように、被写体情報生成部２２１ｃは、関節モデル生成部２２１ｂが生成した追尾被写体の関節モデルにおいて、腕の角度情報（θ＝８０°）、歩幅情報（１００ｃｍ）および上体の角度情報（θ＝３０°）を被写体情報記録部２１８ｂが記録する被写体情報の走り姿勢として追加して更新する。ステップＳ２０７の後、撮像装置１は、図４のメインルーチンへ戻る。
【００９８】
ステップＳ２０６において、隣接する画像間で追尾被写体の移動速度が所定の速度以上でない場合（ステップＳ２０６：Ｎｏ）、制御部２２１は、被写体情報記録部２１８ｂが記録する追尾被写体辞書情報に歩き姿勢に関する被写体情報を追加して更新する（ステップＳ２０８）。ステップＳ２０８の後、撮像装置１は、図４のメインルーチンへ戻る。
【００９９】
このように、被写体情報生成部２２１ｃは、被写体辞書生成処理において、同じ人物であっても、人物の姿勢状態、たとえば立ち姿勢、歩き姿勢および走り姿勢、人物固有の癖および走行スピードを加味して追尾被写体の被写体辞書情報を更新しながら作成してもよい。具体的には、被写体情報生成部２２１ｃは、画像から識別可能な個人特有の癖、たとえば走り姿勢状態における走行スピード、ピッチ幅（スライド幅）、肘の角度や傾斜具合、肘の角度から追尾被写体の被写体辞書情報を更新してもよい。
【０１００】
つぎに、図４のステップＳ１２８の第２追尾処理について説明する。図１０は、第２追尾処理の概要を示すフローチャートである。
【０１０１】
図１０に示すように、画像データに含まれる全人物に対して探索済みでない場合（ステップＳ４０１：Ｎｏ）、被写体検出部２０７ｂは、探索対象の被写体に対して、被写体情報記録部２１８ｂが記録する被写体情報を参照してパターンマッチング処理を行う（ステップＳ４０２）。この際、被写体検出部２０７ｂは、被写体情報記録部２１８が記録する記録する追尾被写体情報に含まれる走行スピードや姿勢状態を用いてパターンマッチング処理を実行してもよい。
【０１０２】
続いて、制御部２２１は、被写体検出部２０７ｂが画像データに含まれる全人物に対するパターンマッチング処理が終了したか否かを判断する（ステップＳ４０３）。被写体検出部２０７ｂが全人物に対するパターンマッチング処理が終了したと制御部２２１が判断した場合（ステップＳ４０３：Ｙｅｓ）、撮像装置１は、ステップＳ４０４へ移行する。これに対して、被写体検出部２０７ｂが全人物に対するパターンマッチング処理が終了していないと制御部２２１が判断した場合（ステップＳ４０３：Ｎｏ）、撮像装置１は、ステップＳ４０２へ戻る。
【０１０３】
ステップＳ４０４において、被写体検出部２０７ｂが探索した全人物の中に一致率が所定の閾値（たとえば７０％）以上である被写体が含まれている場合（ステップＳ４０４：Ｙｅｓ）、追尾被写体設定部２２１ａは、一致率が所定の閾値上である被写体を姿勢や動きによって追尾する追尾被写体として設定する（ステップＳ４０５）。
【０１０４】
その後、撮影制御部２２１ｄは、追尾被写体設定部２２１ａが設定した追尾被写体の領域に対応する位置にレンズ部３のピント位置を合わせながら追尾する追尾処理を実行する（ステップＳ４０６）。これにより、図６に示すように、顔検出部２０７ａが検出した追尾被写体の顔の領域に対応する位置にレンズ部３のピンチ位置を合わせながら追尾している場合（図６（ａ））において、ユーザが撮像装置１をパンニング操作したり、追尾被写体の姿勢が変化したり、またはユーザがレンズ部３を操作して撮像装置１の画角を変更したりして（図６（ｂ））、顔検出部２０７ａが追尾被写体Ａ１の顔を検出することができなくなったとき（図６（ｃ））、被写体検出部２０７ｂが被写体情報記録部２１８ｂの被写体情報の姿勢に一致する被写体を検出することで、瞬時に追尾被写体の追尾を行いながら撮影を行うことができる（図６（ｃ）→（図６）（ｄ））。ステップＳ４０６の後、撮像装置１は、図４のメインルーチンへ戻る。
【０１０５】
ステップＳ４０１において、画像データに含まれる全人物に対して探索済みである場合（ステップＳ４０１：Ｙｅｓ）、撮像装置１は、図４のメインルーチンへ戻る。
【０１０６】
ステップＳ４０４において、被写体検出部２０７ｂが探索した全人物の中に一致率が所定の閾値以上である被写体が含まれていない場合（ステップＳ４０４：Ｎｏ）、撮像装置１は、図４のメインルーチンへ戻る。
【０１０７】
以上説明した本発明の一実施の形態によれば、顔検出部２０７ａが被写体設定部２２１ａによって設定された追尾被写体の顔を検出した場合、撮影制御部２２１ｄが追尾被写体の顔の領域に対応する位置にレンズ部３のピント位置を合わせながら生成タイミングが時間的に隣接する画像間で追尾する第１追尾処理を実行する一方、顔検出部２０７ａが被写体設定部２２１ａによって設定された追尾被写体の顔を検出できない場合において、被写体検出部２０７ｂが予め記録された姿勢状態の被写体を検出したとき、撮影制御部２２１ｄが被写体検出部２０７ｂによって検出された被写体を生成タイミングが時間的に隣接する画像間でレンズ部３のピント位置を合わせながら追尾する追尾被写体として追尾する第２追尾処理を実行する。これにより、顔検出によるパターンマッチングによって追尾被写体を検出することができない場合であっても、追尾被写体に対してピントを合わせた撮影を行うことができる。
【０１０８】
また、本発明の一実施の形態によれば、被写体検出部２０７ｂが被写体情報生成部２２１ｃによって生成された追尾被写体に関する被写体情報との一致度に基づいて、画像内の複数の被写体の中から追尾被写体情報の姿勢状態に一致する被写体を追尾被写体として検出することができるので、撮像装置１の画角や視野領域が変わったとしても、瞬時に追尾被写体を追尾することができる。
【０１０９】
なお、本発明の一実施の形態では、表示部２１３が記録媒体２１５によって記録された画像データに対応する画像を再生している場合において、操作入力部２１２から追尾被写体を選択する選択信号が入力されたとき、被写体情報生成部２２１ｃは、選択された追尾被写体に関する被写体情報を生成し、生成した被写体情報を被写体情報記録部２１８ｂに記録してもよい。この際、被写体情報生成部２２１ｃは、表示部２１３が再生する画像の画像データに、被写体情報を対応付けて記録媒体２１５または被写体情報記録部２１８ｂに記録してもよい。
【０１１０】
また、本発明の一実施の形態では、追尾被写体の姿勢を立ち姿勢、歩き姿勢、走り姿勢のみであったが、たとえば泳ぎ姿勢、跳躍姿勢、投てき姿勢およびしゃがみ姿勢等を含む動作に関する姿勢であれば適用することができる。
【０１１１】
また、本発明の一実施の形態では、関節モデル生成部２２１ｂが特徴点抽出部２０７ｃによって抽出された追尾被写体の各パーツの特徴点に基づいて、追尾被写体の関節モデルを生成していたが、たとえば測距算出部２０８が出力する信号に基づいて、追尾被写体の関節モデルを生成してもよい。
【０１１２】
また、本発明の一実施の形態では、被写体検出部２０７ｂが画像から所定の姿勢状態にある人物を検出していたが、たとえば所定の姿勢状態にある動物（ペット）や、所定のスペードで移動する物体を検出してもよい。
【０１１３】
また、本発明の一実施の形態では、被写体検出部２０７ｂが画像から所定の姿勢状態にある人物を検出していたが、所定の形状、たとえば四角、球および丸等の形状を有する物体を追尾被写体として検出してもよい。
【０１１４】
（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態によってのみ限定されるべきものではない。
【０１１５】
たとえば、本発明において、表示部とは別に電子ビューファインダを本体部に設け、この電子ビューファインダにおいて本発明を適用するようにしてもよい。この場合には、表示部と電子ビューファインダとでライブビュー画像の見え方が異なるようにすればより好ましい。
【０１１６】
また、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。
【０１１７】
また、本発明にかかる撮像装置は、デジタル一眼レフカメラ以外にも、たとえばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。
【０１１８】
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１１９】
このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。
【符号の説明】
【０１２０】
１  撮像装置
２  本体部
３  レンズ部
２０１  シャッタ
２０２  シャッタ駆動部
２０３  撮像素子
２０３ａ  位相差ＡＦ素子
２０４  撮像素子駆動部
２０５  信号処理部
２０６  Ａ／Ｄ変換部
２０７  画像処理部
２０７ａ  顔検出部
２０７ｂ  被写体検出部
２０７ｃ  特徴点抽出部
２０８  測距算出部
２０９  ＡＥ処理部
２１０  ＡＦ処理部
２１１  画像圧縮展開部
２１２  操作入力部
２１２ａ  レリーズボタン
２１２ｂ  動画ボタン
２１２ｃ  モード切替ボタン
２１２ｄ  メニューボタン
２１２ｅ  再生ボタン
２１２ｆ  電源ボタン
２１３  表示部
２１４  表示駆動部
２１５  記録媒体
２１６  メモリＩ／Ｆ
２１７  ＳＤＲＡＭ
２１８  Ｆｌａｓｈメモリ
２１８ａ  プログラム記録部
２１９  本体通信部
２２０  バス
２２１  制御部
２２１ａ  被写体設定部
２２１ｂ  関節モデル生成部
２２１ｃ  被写体情報生成部
２２１ｄ  撮影制御部
２２１ｅ  表示制御部
【図１】
2014033265.tif 000003
【図２】
2014033265.tif 000004
【図３】
2014033265.tif 000005
【図４】
2014033265.tif 000006
【図５】
2014033265.tif 000007
【図６】
2014033265.tif 000008
【図７】
2014033265.tif 000009
【図８】
2014033265.tif 000010
【図９】
2014033265.tif 000011
【図１０】
2014033265.tif 000012