(57)【要約】【課題】所望の内容や構成の撮影画像を検索する際に有用な情報を得ることができるようにする。【解決手段】特徴抽出手段１０６は、画像から各々異なる特徴を抽出する複数の特徴抽出部Ａ、Ｂ、・・・を有している。撮影指示があった時点で撮像手段１２０により取り込まれて画像データメモリー１１１に一時的に記憶された画像データは、特徴抽出手段１０６に転送されるとともに、圧縮／符号化手段１１３に転送される。そして、特徴抽出手段１０６において予め選択されている特徴抽出部Ａ、Ｂ、・・・のいずれかにより、特徴が抽出され、この抽出された特徴は特徴データ符号化手段１０７で符号化される。また、画像データ自体は圧縮／符号化手段１１３で圧縮および符号化され、この圧縮および符号化された画像データと、前記符号化された特徴データとは、メモリー制御手段１１４により画像データメモリー１１５に記録される。【選択図】      図２
2007088814.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段と、
この撮像手段により撮像された画像からその特徴を抽出する複数種の特徴抽出手段と、
この複数種の特徴抽出手段から任意の特徴抽出手段を選択する特徴選択手段と、
この特徴選択手段により選択された特徴抽出手段を用いて、前記撮像手段により撮像される画像の特徴を抽出し取得する特徴取得手段と
を備えることを特徴とする撮像装置。
【請求項２】
前記特徴取得手段を動作させるか否かを設定する設定手段を更に備え、
前記特徴取得手段は、前記設定手段の設定に従って動作することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記撮像手段により撮像される画像を記録する記録手段を更に備え、
前記特徴取得手段は、前記記録手段に記録された画像の特徴を抽出して取得することを特徴とする請求項１または２記載の撮像装置。
【請求項４】
前記特徴取得手段は、前記画像から取得した特徴を当該画像に付加して記録する手段と、取得した特徴を外部に出力する手段との少なくとも一方を備えることを特徴とする請求項１、２または３記載の撮像装置。
【請求項５】
前記特徴取得手段は、前記特徴を記録する際、または前記特徴を外部に出力する際に、前記特徴選択手段により選択された特徴抽出手段を用いて特徴の抽出を行うことを特徴とする請求項４記載の撮像装置。
【請求項６】
前記特徴選択手段は、前記撮像手段により撮像される画像の用途を選択する用途選択手段を含み、この用途選択手段により選択された前記画像の用途に応じて、前記特徴抽出手段を選択することを特徴とする請求項１から５にいずれか記載の撮像装置。
【請求項７】
前記撮像手段の動作を制御するための撮影条件を設定する設定手段を更に備え、
前記特徴選択手段は、前記設定手段により設定された撮影条件に応じて、前記特徴抽出手段を選択することを特徴とする請求項１から５にいずれか記載の撮像装置。
【請求項８】
前記撮像手段の動作を制御するための撮影モードを設定する撮影モード設定手段を更に備え、
前記特徴選択手段は、前記撮影モード設定手段により設定された撮影モードに応じて、前記特徴抽出手段を選択することを特徴とする請求項１から５にいずれか記載の撮像装置。
【請求項９】
前記撮影モード設定手段は、
複数の撮影シーンの各々対応して撮影条件を記憶した記憶手段と、
この記憶手段に記憶されたいずれかの撮影シーンを選択する撮影シーン選択手段と、
この撮影シーン選択手段により選択された撮影シーンに対応する撮影条件に基づき、前記撮像手段を制御する制御手段とを更に備え、
前記特徴選択手段は、撮影シーン選択手段により選択された撮影シーンに応じて、前記特徴抽出手段を選択することを特徴とする請求項８記載の撮像装置。
【請求項１０】
前記撮像手段により撮像される画像中における被写体を選択する被写体選択手段を更に備え、
前記特徴選択手段は、前記被写体選択手段により選択された被写体に応じて、前記特徴抽出手段を選択することを特徴とする請求項１から５にいずれか記載の撮像装置。
【請求項１１】
前記特徴選択手段は、操作入力に応じて、前記特徴抽出手段を選択することを特徴とする請求項１から５にいずれか記載の撮像装置。
【請求項１２】
前記特徴取得手段は、
前記抽出し取得した画像の特徴を記述する記述様式を選択する記述様式選択手段と、
この様式選択手段により選択された記述様式で前記抽出した画像の特徴を記述する記述手段と
を含むことを特徴とする請求項１から１１にいずれか記載の撮像装置。
【請求項１３】
前記複数種の特徴抽出手段には、
（１）前記撮像手段により撮像される画像中における分割された領域の色情報または色分布に関する特徴を抽出する手段、
（２）前記分割された領域の輪郭線の形状に関する特徴を抽出する手段、
（３）前記画像中の全体領域または分割された領域、もしくは背景領域のテクスチャーに関する特徴を抽出する手段、
（４）前記撮像手段が画像を撮像する際に設定される撮像条件に基づき当該画像の特徴を抽出する手段、
のいずれかの抽出手段が含まれることを特徴とする請求項１から１２に記載の撮像装置。
【請求項１４】
前記複数種の特徴抽出手段には、
（１）前記撮像手段により撮像される画像中の分割された領域の輝度またはヒストグラム分布データ、
（２）前記分割された領域の輝度または色差データが周波数空間に変換された離散コサイン変換または離散フーリエ変換の係数、または、そのパワースペクトル、
（３）それらのピーク値または最頻値、平均値、分散、歪み度、尖り度などの統計量、
（４）前記分割された領域の輪郭線の偏角関数または位置座標が離散フーリエ変換された所定のフーリエ記述子、または、そのパワースペクトル、
（５）それらのピーク値または最頻値、平均値、分散、歪み度、尖り度などの統計量、
（６）前記分割された所定領域の画素と、当該画素に対し所定距離、所定角度にある画素とがそれぞれ所定の輝度または色差となる頻度またはそれを表す共起行列データ、
（７）前記分割された所定領域の輝度または色差となる頻度または色差データが所定のマスクパターンと積和演算された局所自己相関関数における特徴ベクトル、
（８）それらのピーク値または最頻値、平均値、分散、歪み度、尖り度、相関、角２次モーメント、逆差分なモーメントどの統計量、
のいずれかを前記抽出する特徴とする特徴抽出手段が含まれることを特徴とする請求項１から１２に記載の撮像装置。
【請求項１５】
画像を記録する記録手段と、
この記録手段により記録される画像からその特徴を抽出する複数種の特徴抽出手段と、
この複数種の特徴抽出手段から任意の特徴抽出手段を選択する特徴選択手段と、
この特徴選択手段により選択された特徴抽出手段を用いて、前記記録手段により記録される画像の特徴を抽出し取得する特徴取得手段と
を備えることを特徴とする画像記録装置。
【請求項１６】
画像を撮像する撮像手段を備える撮像装置が有するコンピュータを、
前記撮像手段により撮像された画像からその画像の特徴を抽出する複数種の特徴抽出手段と、
この複数種の特徴抽出手段から任意の特徴抽出手段を選択する特徴選択手段と、
この特徴選択手段により選択された特徴抽出手段を用いて、前記撮像手段により撮像される画像の特徴を抽出し取得する特徴取得手段と
して機能させることを特徴とする撮像制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像する撮像装置、画像記録装置および撮像制御プログラムに関する。
【背景技術】
【０００２】
従来、撮影した画像のみならず、他の情報も記録する機能を備えたカメラが提案されるに至っている。このカメラは、撮影時の被写体距離、レンズ焦点距離、ストロボ光源情報や、フィルム処理情報、露出不足画像の補正必要情報などの撮影情報を着脱自在な記録媒体に記録するものである（例えば、特許文献１参照）。
【特許文献１】特開平０２−３０６２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、前記カメラにおいて記録媒体に記録される情報は、撮影時の被写体距離やレンズ焦点距離などの撮影条件に関する情報であって、撮影した画像自体の内容や構成に関する情報ではない。したがって、前記記録媒体に記録された情報を用いても、撮影した多数の画像から所望の内容や構成の画像を検索することはできるものではなかった。
【０００４】
本発明は、かかる従来の課題に鑑みてなされたものであり、所望の内容や構成の撮影画像を検索する際に有用な情報を得ることのできる撮像装置、画像記録装置および撮像制御プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記課題を解決するために請求項１記載の発明に係る撮像装置は、画像を撮像する撮像手段と、この撮像手段により撮像された画像からその特徴を抽出する複数種の特徴抽出手段と、この複数種の特徴抽出手段から任意の特徴抽出手段を選択する特徴選択手段と、この特徴選択手段により選択された特徴抽出手段を用いて、前記撮像手段により撮像される画像の特徴を抽出し取得する特徴取得手段とを備える。
【０００６】
したがって、本発明においては、特徴抽出手段により撮像する画像自体の特徴を抽出することから、この特徴の抽出により、複数の撮像した画像から所望の内容や構成の画像を検索する際に有用な情報を得ることができる。また、予め選択された特徴抽出手段を用いて特徴抽出を行うことから、処理速度やメモリー容量などの処理負担の増加を抑制しつつ、適切な特徴の抽出を行うことができる。
【０００７】
また、請求項２記載の発明に係る撮像装置は、前記特徴取得手段を動作させるか否かを設定する設定手段を更に備え、前記特徴取得手段は、前記設定手段の設定に従って動作する。したがって、特徴抽出を行うか否かを任意に設定することができ、ユーザーが必要とする画像のみから特徴抽出を行うことができる。
【０００８】
また、請求項３記載の発明に係る撮像装置は、前記撮像手段により撮像される画像を記録する記録手段を更に備え、前記特徴取得手段は、前記記録手段に記録された画像の特徴を抽出して取得する。したがって、特徴抽出処理は、撮像した画像が記録された後に行えばよく、撮像処理時の処理負担が増大する不都合を未然に防止することがきる。
【０００９】
また、請求項４記載の発明に係る撮像装置は、前記特徴取得手段は、前記画像から取得した特徴を当該画像に付加して記録する手段と、取得した特徴を外部に出力する手段との少なくとも一方を備える。したがって、当該撮像装置において、取得した画像の特徴を当該画像とともに記録することもできるし、外部の機器に供給することもできる。
【００１０】
また、請求項５記載の発明に係る撮像装置は、前記特徴取得手段は、前記特徴を記録する際、または前記特徴を外部に出力する際に、前記特徴選択手段により選択された特徴抽出手段を用いて特徴の抽出を行う。したがって、特徴抽出処理は、画像の特徴を記録する際または外部に出力する際に、当該画像から抽出すればよく、撮像処理時の処理負担が増大する不都合を未然に防止することがきる。
【００１１】
また、請求項６記載の発明に係る撮像装置は、前記特徴選択手段は、前記撮像手段により撮像される画像の用途を選択する用途選択手段を含み、この用途選択手段により選択された前記画像の用途に応じて、前記特徴抽出手段を選択する。したがって、撮像される画像の用途に応じて選択される特徴抽出手段により、当該用途に応じた適切な特徴抽出を行うことができる。
【００１２】
また、請求項７記載の発明に係る撮像装置は、前記撮像手段の動作を制御するための撮影条件を設定する設定手段を更に備え、前記特徴選択手段は、前記設定手段により設定された撮影条件に応じて、前記特徴抽出手段を選択する。したがって、例えば、測光値、被写体距離、露出条件、感度、照明条件等に基づいて画像の特徴抽出を行うことができる。
【００１３】
また、請求項８記載の発明に係る撮像装置は、前記撮像手段の動作を制御するための撮影モードを設定する撮影モード設定手段を更に備え、前記特徴選択手段は、前記撮影モード設定手段により設定された撮影モードに応じて、前記特徴抽出手段を選択するしたがって、設定された撮影モードに応じて、適切な特徴抽出を行うことができる。
【００１４】
また、請求項９記載の発明に係る撮像装置は、前記撮影モード設定手段は、複数の撮影シーンの各々対応して撮影条件を記憶した記憶手段と、この記憶手段に記憶されたいずれかの撮影シーンを選択する撮影シーン選択手段と、この撮影シーン選択手段により選択された撮影シーンに対応する撮影条件に基づき、前記撮像手段を制御する制御手段とを更に備え、前記特徴選択手段は、撮影シーン選択手段により選択された撮影シーンに応じて、前記特徴抽出手段を選択する。したがって、例えば人物撮影シーンが選択されて撮像された画像では、画像から人物画像や顔画像としての特徴を抽出し、風景撮影シーンが選択されて撮像された画像では、画像から背景画像のパターンやテクスチャーの特徴を抽出する等、撮影シーンに応じて適切な特徴抽出を行うことができる。
【００１５】
また、請求項１０記載の発明に係る撮像装置は、  前記撮像手段により撮像される画像中における被写体を選択する被写体選択手段を更に備え、前記特徴選択手段は、前記被写体選択手段により選択された被写体に応じて、前記特徴抽出手段を選択する。したがって、画像中において選択された所望の被写体に応じて、適切な特徴抽出を行うことができる。
【００１６】
また、請求項１１記載の発明に係る撮像装置は、前記特徴選択手段は、操作入力に応じて、前記特徴抽出手段を選択する。したがって、画像からユーザーが必要とする特徴を抽出することができる。
【００１７】
また、請求項１２記載の発明に係る撮像装置は、前記特徴取得手段は、前記抽出し取得した画像の特徴を記述する記述様式を選択する記述様式選択手段と、この様式選択手段により選択された記述様式で前記抽出した画像の特徴を記述する記述手段とを含む。したがって、取得した特徴を、例えば撮影条件データを含む特徴データ、ＭＰＥＧ−７などのメタデータ記述規格や、ＸＭＬなど記述言語に準じた記述ファイルや、バイナリーデータファイル等にして記録あるいは出力することができる。
【００１８】
また、請求項１３記載の発明に係る撮像装置は、前記複数種の特徴抽出手段には、（１）前記撮像手段により撮像される画像中における分割された領域の色情報または色分布に関する特徴を抽出する手段、（２）前記分割された領域の輪郭線の形状に関する特徴を抽出する手段、（３）前記画像中の全体領域または分割された領域、もしくは背景領域のテクスチャーに関する特徴を抽出する手段、（４）前記撮像手段が画像を撮像する際に設定される撮像条件に基づき当該画像の特徴を抽出する手段のいずれかの抽出手段が含まれる。
【００１９】
また、請求項１４記載の発明に係る撮像装置は、前記複数種の特徴抽出手段には、（１）前記撮像手段により撮像される画像中の分割された領域の輝度またはヒストグラム分布データ、（２）前記分割された領域の輝度または色差データが周波数空間に変換された離散コサイン変換または離散フーリエ変換の係数、または、そのパワースペクトル、（３）それらのピーク値または最頻値、平均値、分散、歪み度、尖り度などの統計量、（４）前記分割された領域の輪郭線の偏角関数または位置座標が離散フーリエ変換された所定のフーリエ記述子、または、そのパワースペクトル、（５）それらのピーク値または最頻値、平均値、分散、歪み度、尖り度などの統計量、（６）前記分割された所定領域の画素と、当該画素に対し所定距離、所定角度にある画素とがそれぞれ所定の輝度または色差となる頻度またはそれを表す共起行列データ、（７）前記分割された所定領域の輝度または色差となる頻度または色差データが所定のマスクパターンと積和演算された局所自己相関関数における特徴ベクトル、（８）それらのピーク値または最頻値、平均値、分散、歪み度、尖り度、相関、角２次モーメント、逆差分なモーメントどの統計量のいずれかを前記抽出する特徴とする特徴抽出手段が含まれる。
【００２０】
また、請求項１５記載の発明に係る画像記録装置は、画像を記録する記録手段と、この記録手段により記録される画像からその特徴を抽出する複数種の特徴抽出手段と、この複数種の特徴抽出手段から任意の特徴抽出手段を選択する特徴選択手段と、この特徴選択手段により選択された特徴抽出手段を用いて、前記記録手段により記録される画像の特徴を抽出し取得する特徴取得手段とを備える。したがって、画像記録装置において、請求項１記載の発明と同様の作用効果を奏する。
【００２１】
また、請求項１６記載の発明に係る撮像制御プログラムは、画像を撮像する撮像手段を備える撮像装置が有するコンピュータを、前記撮像手段により撮像された画像からその画像の特徴を抽出する複数種の特徴抽出手段と、この複数種の特徴抽出手段から任意の特徴抽出手段を選択する特徴選択手段と、この特徴選択手段により選択された特徴抽出手段を用いて、前記撮像手段により撮像される画像の特徴を抽出し取得する特徴取得手段として機能させる。したがって、前記コンピュータがこのプログラムに従って処理を実行することにより、請求項１記載の発明と同様の作用効果を奏する。
【発明の効果】
【００２２】
以上説明したように本発明によれば、特徴抽出手段により撮像する画像自体の特徴を抽出することから、この特徴の抽出により、複数の撮像した画像あるいは記録した画像から所望の内容や構成の画像を検索する際に有用な情報を得ることができる。また、予め選択された特徴抽出手段を用いて特徴抽出を行うことから、処理速度やメモリー容量などの処理負担を抑制することができ、処理負担の増加を抑制しつつ、適切な特徴の抽出を行うことができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の一実施の形態を図に従って説明する。
【００２４】
（第１の実施の形態）
図１（Ａ）は各実施の形態に共通するデジタルカメラ１の正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。このデジタルカメラ１の本体２には、その上面部に半押し機能を備えたレリーズ釦（シャッタースイッチ）３と電源スイッチ４とが配置されており、正面部にはグリップ部５、ストロボ６および撮像レンズ部の受光窓７が配置されている。また、背面部には、モード切替スイッチ８、ズーム操作キー９、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３および電子ファインダとしても機能するＬＣＤからなる表示部１４が配置されているとともに、メモリー媒体と電池とを収納するメモリー媒体／電池収納部１５が設けられている。また、回動式ミラー１８、レンズ群１９およびＣＣＤ等で構成される電子撮像センサ２０等が配置されている。
なお、後述するフローチャートにおいて説明する「選択」あるいは「設定」は、カーソルキー１０、決定／ＯＫキー１１、ＤＩＳＰキー１２、メニューキー１３を適宜操作することによりなされる。
【００２５】
図２は、デジタルカメラ１の概略的回路構成を示すブロック図である。このデジタルカメラ１は、カメラ制御部１００を備えている。このカメラ制御部１００には、撮影条件設定手段１０１、特徴データの選択手段１０２、特徴データ付加の設定手段１０３、特徴記述様式の選択手段１０４、撮影・記録制御手段１０５、特徴抽出手段１０６、特徴データ符号化手段１０７、および画像再生／検索制御手段１０８が設けられている。そして、特徴抽出手段１０６は、画像から各々異なる特徴を抽出する複数の特徴抽出部Ａ、Ｂ、・・・を有している。
【００２６】
撮影条件設定手段１０１は、ユーザーにより操作される操作入力手段１０９からの操作入力信号に基づき、撮影条件を設定する。特徴データの選択手段１０２は、前記操作入力信号に基づき、特徴抽出手段１０６が有するいずれかの特徴抽出部Ａ、Ｂ、・・・を選択する。特徴データ付加の設定手段１０３は、前記操作入力信号に基づき、抽出された特徴データを画像に付加するか否かを設定する。特徴記述様式の選択手段１０４は、前記操作入力信号に基づき、特徴データを付加する際の記述様式を選択する。
【００２７】
さらに、このデジタルカメラ１には、撮像手段１２０、信号処理手段１１０、画像データメモリー１１１、表示手段１１２、圧縮／符号化手段１１３、メモリー制御手段１１４、画像データメモリー１１５、伸張／復号化手段１１６、および特徴データ復号手段１１７が設けられている。
【００２８】
前記撮影・記録制御手段１０５は、前記操作入力信号（撮影指示操作入力信号）に基づき、撮像手段１２０を制御するとともに、前記撮影条件設定手段１０１の設定内容に従って信号処理手段１１０を制御する。一定のタイミング毎に撮像手段１２０により取り込まれる画像信号は、信号処理手段１１０により処理されて画像データメモリー１１１に一時的に記憶されるとともに、スルー画像として表示手段１１２に表示される。また、撮影指示があった時点で撮像手段１２０により取り込まれて画像データメモリー１１１に一時的に記憶された画像データは、特徴抽出手段１０６転送されるとともに、圧縮／符号化手段１１３に転送される。
【００２９】
そして、特徴抽出手段１０６において予め選択されている特徴抽出部Ａ、Ｂ、・・・のいずれかにより、特徴が抽出され、この抽出された特徴は特徴データ符号化手段１０７で符号化される。また、画像データ自体は圧縮／符号化手段１１３で圧縮および符号化され、この圧縮および符号化された画像データと、前記符号化された特徴データとは、メモリー制御手段１１４により画像データメモリー１１５に記録される。また、前記操作信号に基づき、画像再生／検索制御手段１０８からの指示があった場合には、メモリー制御手段１１４は、指示された特徴に対応する特徴データとこれに対応する画像データとを画像データメモリー１１５から読み出す。この読み出された画像データは、伸張／復号化手段１１６で伸張および復号化され、特徴データは特徴データ符号化手段１１７で復号される。これら復号された画像データと特徴データとは、画像データメモリー１１１を介して表示手段１１２に供給されて表示されるように構成されている。
【００３０】
図３は、デジタルカメラ１の具体的回路構成を示すブロック図である。このデジタルカメラ１は、ＡＥ、ＡＷＢ、ＡＦ等の一般的な機能を有するものであり、ズームレンズ、フォーカスレンズで構成される前記レンズ群１９を有している。このレンズ群１９の光軸上には電子撮像センサ２０が配置されており、前記レンズ群１９は、モーター等を有する駆動部２１によって駆動される。
【００３１】
このデジタルカメラ１全体を制御する制御回路２２は、ＣＰＵおよびその周辺回路で構成されており、プログラムメモリー２３に格納されているプログラムに基づき、データメモリー２４をワークエリアとして使用しつつ各部を制御する。この制御回路２２には、撮影制御部２５が接続されている。撮影制御部２５は、制御回路２２が発生するタイミング信号に基づき、電子撮像センサ２０を駆動するとともに、測光／測距センサ３３より測光／測距部３４を介して入力される測光データおよび測距データに基づき、前記駆動部２１および映像信号処理部２６を制御する。
【００３２】
前記電子撮像センサ２０の受光面には、レンズ群１９によって被写体が結像される。電子撮像センサ２０は、撮影制御部２５によって駆動され、被写体の光学像に応じたアナログの撮像信号を映像信号処理部２６へ出力する。映像信号処理部２６は、電子撮像センサ２０の出力信号に含まれるノイズを相関二重サンプリングによって除去するＣＤＳ回路や、ノイズが除去された撮像信号をデジタル信号に変換するＡ／Ｄ変換器等から有するとともに、入力した撮像信号に対しペデスタルクランプ等の処理を施し、それを輝度（Ｙ）信号および色差（ＵＶ）信号に変換するとともに、オートホワイトバランス、輪郭強調、画素補間などの画品質向上のためのデジタル信号処理を行う。映像信号処理部２６で変換されたＹＵＶデータは順次画像メモリー２７に格納されるとともに、ＲＥＣスルー・モードでは１フレーム分のデータ（画像データ）が蓄積される毎にビデオ信号に変換され、表示制御部２８を介して前記表示部１４へ送られてスルー画像として画面表示される。したがって、このとき表示部１４は電子ファインダ２９として機能する。なお、表示部１４を電子ファインダ２９として機能させる際には、その中央部にフォーカス枠（図３７（Ａ）のフォーカス枠４００参照、以下同様。）を表示させ、このフォーカス枠内のをＡＦエリアとして、ＡＦがなされる。
【００３３】
そして、静止画撮影モードにおいては、前記レリーズ釦３に対する操作をトリガとして、制御回路２２は、電子撮像センサ２０、撮影制御部２５、および映像信号処理部２６に対してスルー画撮影モードから静止画撮影モードへの切り替えを指示し、この静止画撮影モードによる撮影処理により得られ画像メモリー２７に一時記憶された画像データは、圧縮符号化・伸張復号部３０で圧縮および符号化され、所定のフォーマットの静止画ファイルとして、画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。また、動画撮影モードにおいては、１回目のシャッターキーと２回目のシャッターキー操作との間に、画像メモリー２７に順次記憶される複数の画像データが圧縮符号化・伸張復号部３０で順次圧縮され、順次記憶された後、動画ファイルとして画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録される。この画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録された静止画ファイルおよび動画ファイルは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されて伸張および復号化され、ＹＵＶデータとしてに展開された後、表示部１４に表示される。したがって、このとき表示部１４は画像モニター３２として機能する。
【００３４】
前記プログラムメモリー２３には、制御回路２２に前記各部を制御させるための各種のプログラム、例えばＡＥ、ＡＦ、ＡＷＢ制御用のプログラムや、データ通信用プログラム、さらには、後述するフローチャートに示す処理を実行するためのプログラム等の各種のプログラムが格納されている。また、制御回路２２には、操作入力部３５が入力回路３６を介して接続されている。操作入力部３５には、前記レリーズ釦３や電源スイッチ４等の図１に示したスイッチやキー群等が設けられている。
【００３５】
また、このデジタルカメラ１は、前記動画撮影モード、音声のみを記録する録音モード、音声付き（静止画）撮影モードにおいて、周囲音を記録する録音機能を備えており、このため周囲音を検出するマイク３９が設けられている。このマイク３９からの音声信号は、アンプ４０で増幅され、Ａ／Ｄ変換器４１でデジタル変換され、音声メモリー４２に格納される。この音声メモリー４２に格納された音声データは、前記圧縮符号化・伸張復号部３０で圧縮される。制御回路２２は、この圧縮音声データと前記圧縮動画データとを含む音声付き動画ファイルを生成して画像＆音声メモリー媒体３１（又は後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録する。この画像＆音声メモリー媒体３１（磁気ディスク４８）に記録された動画ファイルの音声データは、ＰＬＡＹ・モードにおいてユーザーの選択操作に応じて圧縮符号化・伸張復号部３０に読み出されるとともに伸張および復号化される。この伸張および復号化された音声データは、Ｄ／Ａ変換器４３でアナログ信号に変換され、アンプ４４を介してスピーカー４５に供給されて音声として再生される。なお、音声記録を行うタイミングは、動画撮影時に限定されず、音声付き静止画撮影モードにおける録音動作時でもよく、また、録音モードやアフレコモードにおける録音動作時でもよい。
【００３６】
また、このデジタルカメラ１は、外部入出力インタフェース３８を介して制御回路２２に接続された外部入出力端子３７を備えている。この外部入出力端子３７には、ＰＣ等の外部機器７０を接続することが可能である。外部機器は７０は、ゲートウェイＧＷおよびインターネット７１を介して、サーバー装置７２に接続可能であり、サーバー装置７２は画像データを格納する画像データベース７３接続されている。一方、ＨＤＤ記憶装置４６は、ＨＤＤ・ＩＦ４７を介して制御回路２２に接続されている。ＨＤＤ記憶装置４６は、前記磁気ディスク４８を有するとともに、モータ４９、モータドライバ５０、マイコン部５１、ＶＣＭ５２、ヘッドアンプ５３、リード／ライトチャンネル５４、ＨＤＤ制御部５５等を有している。
【００３７】
また、制御回路２２には、画像・音声の特徴抽出／認識用データメモリー５６が画像・音声の特徴抽出／認識処理部５７を介して接続されている。後述するように、制御回路２２は、画像・音声の特徴抽出／認識処理部５７を制御して、前記電子撮像センサ２０により取り込まれた画像、および前記マイク３９により取り込まれた音声の特徴を抽出するとともに認識し、画像・音声の特徴抽出／認識用データメモリー５６は、これら抽出および認識された画像の特徴や音声の特徴を記述した特徴データ（特徴記述データ）を記憶する。
【００３８】
図４は、本実施の形態の処理手順を示すフローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、図４に示すフローチャートに従って処理を実行する。先ず、ユーザーによる操作入力部３５での操作により、撮影モードが設定されているか否かを判断する（ステップＳ１０１）。撮影モードが設定されていない場合には、再生モード、設定モードなど、その他のモード処理へ移行する（ステップＳ１０２）。
【００３９】
図５は、このステップＳ１０２により、その他の処理に移行した場合の処理手順を示すフローチャートである。先ず、前記ユーザーによる操作入力部３５での操作により、設定モードが選択されたか否かを判断し（ステップＳ２０１）、設定モードが設定されていない場合には、その他のモード処理へ移行する（ステップＳ２０２）。また、設定モードが設定された場合には、さらに特徴抽出の設定モードが設定されたか否かを判断し（ステップＳ２０３）、特徴抽出の設定モードが設定されていない場合にも、その他のモード処理へ移行する（ステップＳ２０４）。
【００４０】
また、特徴抽出の設定モードが設定された場合には、設定状態の表示など、設定モードの表示処理を行って、表示部１４に後述するような表示を行う（ステップＳ２０５）。次に、この表示処理により表示部１４に表示された選択肢から特徴抽出による撮影方法が選択されたか否かを判断する（ステップＳ２０６）。特徴抽出による撮影方法が選択されたならば、操作に応じて、特徴抽出するか否か、また、特徴抽出による撮影処理の識別を選択する（ステップＳ１０７）。
【００４１】
また、ステップＳ２０６での判断の結果、特徴抽出による撮影方法が選択されなかった場合には、特徴データの記録の設定が選択されたか否かを判断する（ステップＳ２０８）。特徴データの記録の設定が選択された場合には、操作に応じて、特徴データを付加して記録するか否か（ＯＮ／ＯＦＦ）を設定する。特徴データの記録の設定が選択されなかった場合には、特徴データの選択がなされたか否かを判断し（ステップＳ２１０）、特徴データの選択がなされた場合には、操作に応じて、抽出した特徴項目または特徴量を選択し（ステップＳ２１１）、選択された特徴項目、特徴量に基づいて、特徴抽出方法を選択する（ステップＳ１２）。
【００４２】
また、特徴データの選択がなされなかった場合には、特徴方法の選択がなされたか否かを判断し（ステップＳ２１３）、特徴方法の選択がなされた場合には、操作に応じて、オートまたはカスタム設定の特徴抽出方法を選択する（ステップＳ２１４）。特徴方法の選択がなされなかった場合には、特徴データの記述様式の選択がなされたか否かを判断し（ステップＳ２１５）、特徴データの記述様式の選択がなされた場合には、さらに送付先別に設定するが選択されたか否かを判断する（ステップＳ２１６）。そして、送付先別に設定するが選択された場合には、操作に応じて、送付先別に特徴データの記述様式および記述する特徴量を選択する（ステップＳ２１７）。しかし、送付先別に設定するが選択されなかった場合には、操作に応じて、特徴データの記述様式を選択する（ステップＳ２１８）。
【００４３】
また、前記ステップＳ２１５での判断の結果、特徴データの記述様式の選択がなされなかった場合には、識別する被写体の選択がなされたか否かを判断する（ステップＳ２１９）。識別する被写体の選択がなされ場合には、操作に応じて、特徴データに基づいて識別する被写体の種類または識別方法を選択し（ステップＳ２２０）、識別する被写体の選択がなされ場合には、その他のキー処理を実行する（ステップＳ２２１）。しかる後に、設定状態の表示更新など、表示処理を実行して（ステップＳ２２２）、リターンする。
【００４４】
したがって、本実施の形態においては、設定モードにおいて、ユーザー操作に従って、特徴抽出する場合の方法、および、抽出する特徴量、画像識別を行う被写体の設定、類似する画像か否かを比較参照する為のテンプレート画像（テンプレートデータ）の設定などを任意に選択して設定できる。また、撮影モードや画像認識モードなどに応じて、オート（自動）で特徴抽出や画像識別する場合にも、ユーザーの目的や希望に応じて、その抽出方法や識別方法、識別精度などを選択したり、加減調整することもできる。
したがって、本発明の複数種の特徴抽出手段から任意の特徴抽出手段を選択する特徴選択手段における選択とは、選択肢の中からいずれかを選択する動作のみならず、被写体の種別に応じて特徴抽出手段を決定して設定したり、抽出パラメータの値を選択して設定、つまり当該パラメータの値を任意の値に設定する動作も含む概念である。
【００４５】
なお、前記の設定モードでは、ユーザー操作に従って特徴抽出方法を任意に選択できるようにしたが、例えば、画像データの利用用途や目的等を選択する手段を設けて、特徴データを記録するように設定されている場合には、ユーザーにより選択された用途に応じて、複数の中から抽出すべき特徴を選択し、選択された特徴量に基づいて特徴抽出手段を自動的に選択し、また、記録する特徴データの種別を自動設定して記録できるように構成してもよい。
【００４６】
一方、前記図４のフローチャートにおいて、ステップＳ１０１での判断の結果、撮影モードが設定されたならば、露出条件などの撮影条件を設定するとともに（ステップＳ１０３）、測光処理、測距処理（ステップＳ１０４）、ズーム処理、ＡＦ処理を実行する（ステップＳ１０５）。
【００４７】
一方、制御回路２２は、予め行われたユーザーの操作に応じた設定処理により、特徴抽出がＯＮとなっているか否かを判断し（ステップＳ１０６）、ＯＮとなっている場合には、撮影前に特徴抽出が設定されているか否かを判断する（ステップＳ１０７）。撮影前に特徴抽出が設定されている場合には、画像データから前記ステップＳ２１７で選択されている特徴量を抽出する（ステップＳ１０８）。さらに、抽出被写体にＡＦする設定がＯＮとなっているか否かを判断し（ステップＳ１０９）、ＯＮとなっている場合には、抽出された特徴量に基づいてＡＦ処理、または、追尾ＡＦ処理を行う（ステップＳ１１０）。
なお、この特徴量に基づくＡＦ処理、追尾ＡＦ処理については、第３の実施の形態において詳述する。
【００４８】
また、ステップＳ１０９での判断の結果、抽出被写体にＡＦする設定がＯＮとなっていない場合には、撮影シーンの自動選択がＯＮに設定されているか否かを判断する（ステップＳ１１１）。ＯＮとなっている場合には、抽出特徴量に基づいて撮影シーンを選択し（ステップＳ１１２）、選択された撮影シーンに応じて撮影条件を設定する（ステップＳ１１３）。また、ステップＳ１１１での判断の結果、撮影シーンの自動選択がＯＦＦとなっている場合には、被写体の識別がＯＮとなっているか否かを判断する（ステップＳ１１４）。ＯＮとなっている場合には、抽出特徴量に基づいて内蔵テンプレート（図２１のテンプレートデータ２４６）と比較し、類似する被写体を識別し分類処理するとともに（ステップＳ１１５）、識別分類結果を記録する（ステップＳ１１６）。さらに、ステップＳ１１４での判断の結果、被写体の識別がＯＦＦとなっている場合には、抽出特徴量に基づいて顔領域を識別し（ステップＳ１１８）、被写体の顔領域にＡＦ処理する（ステップＳ１１９）。
【００４９】
しかる後に、撮像画像をスルー画像表示し（ステップＳ１２０）、これにより、表示部１４には、顔領域にＡＦされることによって被写体の顔にピントがあったスルー画像が表示部１４に表示され、ユーザーはこの表示部１４に表示されたスルー画像を見ながら、このデジタルカメラ１の向きを調整する等してシャッターチャンスを伺うこととなる。したがって、次にレリーズ釦３が押し操作されて撮影指示がなされたか否かを判断する（ステップＳ１２１）。そして、レリーズ釦３が押し操作されて撮影指示がなされたならば、測光処理、ＡＦ処理を実行するとともに（ステップＳ１２２）、設定撮影条件と測光値（および特徴抽出結果）に従い撮影動作し（ステップＳ１２３）、電子撮像センサ２０から取り込まれた画像データを圧縮符号化する（ステップＳ１２４）。
【００５０】
次に、特徴データの付加記録がＯＮに設定されているか否かを判断し（ステップＳ１２５）、ＯＮに設定されていない場合には画像データと撮影情報とを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する。また、ＯＮに設定されている場合には、撮影後に特徴抽出が設定されているか否かを判断し（ステップＳ１２６）、設定されている場合には前記記録した画像データから選択されている特徴量を抽出する（ステップＳ１２７）。また、被写体の識別分類がＯＮとなっているか否かを判断し（ステップＳ１２８）、ＯＮとなっている場合には、識別・分類結果を特徴データに付加する（ステップＳ１２９）。さらに、特徴データを選択されている記述様式で符号化し（ステップＳ１３０）、前記画像データ、撮影情報とともに特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１３１）。しかる後に、撮影画像を表示部１４にレビュー表示し、または、特徴抽出結果を表示し（ステップＳ１３３）、その他のキー処理、表処理を行って（ステップＳ１３４）、リターンする。
【００５１】
なお、ステップＳ１３１で画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録された前記画像データ、撮影情報及び特徴データは、外部入出力端子３７に、ＰＣ等の外部機器７０を接続した状態において、外部機器は７０、ゲートウェイＧＷおよびインターネット７１を介して、サーバー装置７２に送信されることとなる。
【００５２】
図６は、前記図５のフローチャートにより実行される特徴抽出の設定モードにおける表示部１４の表示画面例を示す図である。（ａ）特徴抽出撮影、画像認識撮影の設定メニューにおいては、「撮影モード  静止画」「特徴抽出・識別  抽出被写体にＡＦ」・・・等のメニューを表示し（ａ１）、「特徴抽出・識別  抽出被写体にＡＦ」が選択されると「ＯＦＦ（抽出しない）」「被写体の特徴記録」・・・等の選択肢を表示する（ａ２）。また、（ｂ）特徴抽出方法の設定メニューにおいては、「撮影モード 静止画」「特徴識別  被写体の特徴記録」「特徴抽出方法  オート（シーン別）」・・・等のメニューを表示し（ｂ１）、「特徴抽出方法  オート（シーン別）」が選択されると、「オート（撮影シーン別）」や「色の抽出」「輪郭の抽出」「テクスチャー抽出」・・・との特徴抽出方法の設定（ｂ２）に移行する。また、（ｃ）抽出した特徴データの記述様式の設定においては、「撮影モード」・・・「特徴データの記録」・・・等を表示し、「特徴データの記録」が選択されると「ＯＦＦ（記録しない）」「ＤＣＦ拡張形式」「ＭＰＥＧ−７」・・・等の記述様式を表示して、いずれか（図の例では「ＭＰＥＧ−７」）を選択させる。また、（ｄ）識別する被写体の設定においては、「識別する被写体  人物の顔」「識別アルゴリズム  特徴点グラフ」等を表示させて、いずれかを選択させる。
【００５３】
なお、選択項目は、図６に示したものに限らず、以下のような項目とするようにしてもよい。すなわち、写真を検索する場合には、その主な利用用途、例えばａ）画像を印刷する、ｂ）画像をホームページ等にアップロードする、ｃ）画像データを外部機器に送る、ｄ）画像を編集する、ｅ）他人に送る、などの主な用途や優先度を選択し、それに応じて、抽出すべき特徴量や組合せを選択し、特徴量に応じて、特徴抽出方法を選択するようにしてもよい。
【００５４】
例えば、画像を印刷する場合には、特定の画像やシーンだけで効率よく検索することが好ましく、画像の付加データとして、撮影日時とともに、シーンや被写体の種別、および、撮影場所などを識別して、特徴データやメタデータとして記録しておくことにより、迅速に検索でき、効率的となる。
【００５５】
また、ホームページなどのアップロードする画像素材を探すことが多い場合には、過去から最近までの画像の中から、文脈や目的に合った画像を検索する必要があり、被写体の識別だけでなく、その情景やイメージを表す、色調や配色パターン、テクスチャーなども特徴データとして記録しておくことにより、迅速な検索が可能となる。
【００５６】
また、画像を他人に送る場合には、送る相手の顔が写っている画像や、一緒に出かけた旅行の写真を検索することが多く、友人の登録画像との類似度など、顔の特徴データの抽出を行い、類似度や認識結果を記録しておくと、迅速な検索が可能となる。
【００５７】
また、特徴抽出においては、当該画像の撮影時に記録された撮影条件データ、例えば、撮影モード、画像サイズ、画質、ＡＦモード、測光モード、測光値、被写体距離、露出条件、感度、照明条件、静止画／動画／連写モード、などに基づいて、特徴抽出したり、特徴抽出手段を選択するように構成すると、当該画像の特徴の抽出を効率的に行い得る。例えば、選択されたオートフォーカスのＡＦ（合焦）枠や、測光方式がスポット測光や中央重点測光などの場合には、ＡＦ枠や測光枠は主要な被写体に向けられて撮影されることが多いので、当該枠を中心にその隣接周辺領域で、主要被写体の色相分布または輪郭線による人物や被写体の識別を行うのが効果的である。また、合焦ＡＦ枠が２〜３と複数の場合には、複数の人物や被写体の画像と判断され、複数の被写体の色相分布または輪郭線よる識別等を行うのが効果的である。他方、平均測光やパンフォーカスの場合では、画像の領域全体に被写体が分散した画像や近景、遠景を含む風景などを撮影した画像が多いので、それに応じて、広い範囲での輝度や色相分布による特徴抽出や、拝啓のテクスチャー解析などの特徴抽出手段を選択できる。このように、抽出すべき特徴量や抽出方法だけでなく、抽出対象の画像領域、抽出オブジェクトの設定、抽出アルゴリズム、抽出レベル、分解能やビット数、類似度など、特徴抽出や画像識別の設定パラメータを、前記撮影条件データに応じて設定することができる。
【００５８】
図７は、本実施の形態における特徴抽出処理と特徴データの記録処理の概要（制御の流れ）を示す説明図である。すなわち、ユーザーによって予めなされる設定項目２０１に対する設定操作ｃにより、抽出する特徴項目２０２、特徴データ付加のＯＮ／ＯＦＦ２０３、特徴データの記述様式２０４が選択される。また、撮影条件２０５に対する設定操作ｂにより、撮影条件などの撮影情報２０６が確定する。そして、撮影操作ａを行うと、撮影処理２０７が実行され、撮影画像２０８が取得され、この撮影画像２０８に対して画像の圧縮／符号化２０９がなされ、画像データファイル２１０において符号化画像データ２１１やサムネイル画像２１２として記録される。また、前記撮影条件などの撮影情報２０６は、画像データファイル２１０においてヘッダ情報２１３として記録される。
【００５９】
一方、撮影画像２０８からは、前記選択された特徴事項について特徴抽出２１４がなされて、特徴抽出データ２１５が得られる。この特徴抽出データ２１５は、前記選択された特徴データの記述様式２０４に従って、特徴データの記述符号化２１８されて、特徴記述コード２１６が得られ、この特徴記述コード２１６が前記画像データファイル２１０において拡張ヘッダ情報（画像特徴データ等）２１７として記録されるのである。
なお、図７において、２０６ａは撮影条件などの撮影情報２０６の具体例を示し、２１６ａは特徴記述コード２１６の具体例を示す。
【００６０】
図８は、本実施の形態おける、画像から抽出した特徴データの記述例を示す図である。すなわち、撮影した主画像（１）から、その画像の特徴部分の部分画像（Ｓｔｉｌｌ  Ｒｅｇｉｏｎ）（２）〜（８）を抽出する。そして、主画像（１）からは特徴データとして「類似：サッカー５」を抽出し、部分画像（２）からは特徴データとして「形：人間、代表色：Ｂｌｕｅ（ブルー）、類似：サッカー５」を抽出し、部分画像（３）からは特徴データとして「代表色：Ｇｒｅｅｎ（グリーン）、テクスチャー：植物、類似：芝生」を抽出する。以下同様にして、部分画像（４）〜（８）からの各々図中に記載した特徴データを抽出する。また、撮影した主画像（１０）から、その画像の特徴部分の部分画像（Ｓｔｉｌｌ  Ｒｅｇｉｏｎ）（１１）および（１２）を抽出する。そして、主画像（１０）からは特徴データとして「類似：港３」を抽出し、部分画像（１１）からは特徴データとして「形：人間、代表色：Ｂｌｕｅ（ブルー）、テクスチャー：海、類似：船１」を抽出する。
【００６１】
また、これら特徴データの記録（出力）は、ユーザー操作により選択された方法（記述用紙に従って、例えば、特徴データをＤＦＣやＥＸＩＦなどの画像ファイルのヘッダ情報の拡張データとしても、あるいは、ＭＰＥＧ−７（ＩＳＯ／ＩＥＣ  １５９３８）規格に準じたメタデータ記述ファイル、または、ＳＭＰＴＥ（Society of Motion Picture and Television Engineeers）規格、ＥＢＵ（European Broadcasting Union）によるＰ／Ｍｅｔａ規格、ＴＶ−Ａｎｙｔｉｍｅ（TV-Anytime Forum）規格、Ｗ３ＣによるＳＭＩＬ（Syncronized Multimedia Integration Language）規格、あるいは、Ｄｕｂｌｉｎ  Ｃｏｒｅ（Dublin Core Metadate Initiative）とＲＤＦ（W3C、Resource Description Framaework）によるＸＭＬ構文、などの各種メタデータ記述用の規格や言語、あるいは、ＸＭＬ（W3C）などの汎用記述言語に準じた記述ファイル、あるいは、これらをバイナリデータ等に交換した記述データファイル等から、任意に選択して記録（出力）するようにできる。
【００６２】
図９において、（ａ）はＭＰＥＧ−７による特徴データの記述例を示し、（ｂ）はＤｕｂｌｉｎ  ＣｏｒｅとＲＤＦのＸＭＬ構文による特徴データの記述例を示し、（ｃ）はＳＭＩＬによる特徴データの記述例を示す。
【００６３】
なお、例えば、最も古くから書誌情報のメタデータ記述法として用いられているＤｕｂｌｉｎ  Ｃｏｒｅ（１９９５）では、タイトル（title）、概要記述（description）、出版社（publisher）、作者（creator）、著作権（ights）、年月日（date）、種別（type）、様式（format）、・・・など１５の基本属性（Dublin Core Metadata Element Set:DCMES）が規定されており、表記法は例えばＸＭＬに準じたＲＤＦ（Resource Description framework）のスキーマなどを用いて記述する。各種メタデータ記述規格では、放送映像用やビットストリーム映像用、ネットワーク配信用など、用途別の規格によって記述子や記述スキーム等はそれぞれ異なるが、同様に、このような書誌情報の多くを記述できる。
【００６４】
マルチメディア用のメタデータ記述規格のＭＰＥＧ−７（ISO/IEC 15938）の、ＭＰＥＧ−７Ｖｉｓｕａｌ（ISO/IEC 15938-3）では、画像や映像データ、音声などの各種の特徴を記述できる記述子（Descriptor）と記述書式（Description Scheme）等も詳細に定義されている。例えば、色やテクスチャー、輪郭形状などの特徴を表すために以下のような記述子が用意されているので、これに準じて記述してもよい。
Ｃｏｌｏｒ  ｓｐａｃｅ（色空間を指定する記述子）、
Ｃｏｌｏｒ  ｑｕａｎｔｉｚａｔｉｏｎ（色空間の量子化方法を指定する記述子）、
Ｄｏｍｉｎａｎｔ  ｃｏｌｏｒ（任意形状領域における代表色を表す記述子）、
Ｓｃａｉａｂｌｅ  ｃｏｌｏｒ（色特徴をＨＳＶ色空間におけるカラーヒストグラムで表                               す記述子）、
Ｃｏｌｏｒ  ｌａｙｏｕｔ（色の分布をＤＣＴ係数で表す記述子）、
Ｃｏｌｏｒ  ｓｔｒｕｃｔｕｒｅ（色の分布における偏りの程度を表す記述子）など、
Ｈｏｍｅｇｅｎｅｏｕｓ  ｔｅｘｔｕｒｅ（テクスチャーの特徴を、画像強度と周波数空                                         間上のエネルギー分布により表す記述子）、
Ｔｅｘｔｕｒｅ  ｂｒｏｗｓｉｎｇ（テクスチャーの特徴を、均一性、粒度、方向性の３                                   要素で表す）、
Ｅｄｇｅ  ｈｉｓｔｏｇｒａｍ（エッジ特徴の分布をヒストグラムにより表す記述子）、
Ｒｅｇｉｏｎ  ｓｈａｐｅ（領域の形状特徴を表す記述子）、
Ｃｏｎｔｏｕｒ  ｓｈａｐｅ（領域の閉輪郭線の形状特徴を表す記述子）、
【００６５】
図１０は、前記図４に示したフロー中の、特徴量を抽出する処理（ステップＳ１０８、ステップＳ１２７）の処理手順を示すサブルーチンであり、対象となる画像データを読み込んだ後、設定されている抽出すべき特徴量または特徴抽出方法などの設定データを読み込み、それに応じて、設定されている特徴データを抽出して特徴データ記述ファイル出力すものである。
【００６６】
すなわち、対象画像データファイルを読み込み（ステップＳ３０１）、特徴抽出処理の設定データを読み込む（ステップＳ３０２）。次に、抽出する特徴はオートに設定されているか否かを判断し（ステップＳ３０３）、オートに設定されていない場合には、設定データに基づいて、特徴抽出する特徴の種類を設定する（ステップＳ３０４）。また、オードに設定されている場合には、当該画像の撮影情報を読み込み（ステップＳ３０５）、撮影モードまたは撮影条件に基づいて、抽出する特徴の種類を選択する（ステップＳ３０６）。
【００６７】
そして、このステップＳ３０６または前記ステップＳ３０４に続き、抽出する特徴の種別に応じて、前処理、および、特徴抽出手段を選択した後（ステップＳ３０７）、前処理１（ステップＳ３０８）および前処理２（ステップＳ３０９）を実行する。前処理１においては、画像強調、または、鮮鋭化などを行い、前処理２においては、２値化、または、正規化、回転、座標変換、細線化、膨脹収縮処理、などを行う。
【００６８】
しかる後に、特徴抽出処理（色領域の抽出）（ステップＳ３１０）、特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ３１２）、特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ３１４）、特徴抽出処理（位置・配置の特徴抽出）（ステップＳ３１６）、・・・特徴抽出処理（動きの抽出）（ステップＳ３１８）等を実行する。そして、特徴抽出処理（色領域の抽出）（ステップＳ３１０）を実行した場合には、代表色、色分布、ＲＧＢヒストグラム、ＤＣＴ係数などの特徴記述データを作成する（ステップＳ３１１）。特徴抽出処理（輪郭形状の特徴抽出）（ステップＳ３１２）を実行した場合には、代形状評価値、フーリエ記述子、パワースペクトルなどの特徴記述データを作成する（ステップＳ３１３）。特徴抽出処理（テクスチャーの特徴抽出）（ステップＳ３１４）を実行した場合には、輝度ヒストグラム、フーリエスペクトル、共起行列、自己関数などの特徴記述データを作成する（ステップＳ３１５）。特徴抽出処理（位置・配置の特徴抽出）（ステップＳ３１６）を実行した場合には、位置座標、ＤＣＴ係数など特徴記述データを作成する（ステップＳ３１７）。特徴抽出処理（動きの抽出）（ステップＳ３１８）を実行した場合には、動きスペクトル、強度分布などの特徴記述データを作成する（ステップＳ３１９）。
【００６９】
前記色の特徴抽出では、当該他像の色データに基づいて、ＲＧＢやＨＳＶ値などの色差ヒストグラムや色分布、あるいは、色差成分のＤＣＴ変換後のＤＣＴ係数などを求め、特徴量とする。輪郭形状の特徴抽出では、輪郭図形の外周輪郭線に沿って偏角関数や位置座標の列を一次元データに変換した後、Ｐ型フーリエ記述子（後述）等のフーリエ記述子や、各種の形状評価値などを求め、形状の特徴量とする。テクスチャーの特徴抽出では、当該画像データの輝度ヒストグラム分布やフーリエ変換スペクトルなどを求めたり、あるいは、後述するように輝度の共起行列や複数のマスクを用いる高次局所自己相関関数による相関行列等を求め、テクスチャーの特徴量とする。同様に、主要被写体の配置や配色などの特徴抽出には、輝度情報や色差情報の位置座標やＤＣＴ変換により周波数空間に変換した場合のＤＣＴ係数などを求め、配置や配色の特徴量とする。動きの特徴抽出では、動きベクトルやフーリエ変換、ＤＣＴ変換による強度分布などを特徴量とすることができる。その他、抽出する特徴量に応じて、所定の輝度や色相等の領域の抽出処理、所定のフィルタ処理などを行ってもよい。
【００７０】
次に、認識処理をするか否かを判断し（ステップＳ３２０）、認識処理をする場合には、認識対象のテンプレートデータ（図２１参照）を読み込む（ステップＳ３２１）。次の認識処理により、前記読み込んだテンプレートデータとのテンプレートマッチング、または、相関度、類似度、類似距離、差分我の算出などを行い（ステップＳ３２２）。つまり、被写体の識別や類似度の判定、人間顔領域の識別などを必要とする場合には、識別したいテンプレートとなる参照画像データやその特徴データを読み込み、対象画像と参照画像とのテンプレートマッチング、または、各々の特徴データを比較して、相関度、類似度、類似距離などを算出する。そして、前記ステップＳ３１０〜Ｓ３１９の処理により、抽出されたデータ、または、前記ステップＳ３２２の処理による認識結果を出力する（ステップＳ３２３）。
【００７１】
次に、上記において用いる特徴抽出方法の具体例について、その概要を説明する。
（先鋭化、輪郭抽出）
図１１は、特徴抽出処理の例として、１次微分フィルタまたは２次微分フィルタ処理による画像の先鋭化処理、エッジ（輪郭）抽出処理の例を示す図である。図示のように、入力画像２２０は、演算２２１により出力画像２２２に変換される。また、Ａ−Ａ′線上の入力画像２２３は、Ｐｒｅｗｉｔｔフィルタ（１次微分フィルタ）２２４により、Ａ−Ａ′線上の出力画像２２４に変換され、Ｓｏｂｅｉフィルタ（１次微分フィルタ）２２６により、Ａ−Ａ′線上の出力画像２２７に変換され、Ｌａｐｌａｃｉａｎｔフィルタ（２次微分フィルタ）２２８により、Ａ−Ａ′線上の出力画像２２９に変換される。
【００７２】
このようなフィルタ処理を、前述の前処理における画像の先鋭化処理や、特徴抽出処理における輪郭抽出やエッジ抽出などに利用できる。被写体像の輪郭形状や外形パターン、面積などを特徴データに利用するには、特徴抽出したい画像データの輝度置等を、画素毎に輪郭強調やエッジ検出用のフィルタ演算等を行って、輪郭強調や外形抽出した画像に変換してから、特徴データ等を抽出する。
【００７３】
一般に、階調が変化する部分のエッジがボケた画像ｆ（ｉ，ｊ）を、
Δｘｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
Δｙｆ＝ｆ（ｉ＋ｊ，ｊ）−ｊ（ｉ−１，ｊ）、
ｇ（ｉ，ｊ）＝√｛（Δｘｆ）２＋（Δｙｆ）２｝、
または、ｇ（ｉ，ｊ）＝｜Δｘｆ｜＋｜Δｙｆ｜、
等の演算により、１次部分や勾配（Gradient）を求めると、階調が変化する勾配部分や輪郭を抽出できる。
【００７４】
あるいは、
∇２ｆ（ｉ，ｊ）＝∂２ｆ／∂ｘ２＋∂２ｆ／∂ｙ２、または、
∇２ｆ（ｉ，ｊ）＝ｆ（ｉ＋１，ｊ）＋ｆ（ｉ−１，ｊ）＋ｆ（ｉ，ｊ−１）＋ｆ（ｉ，ｊ                 −１）−４ｆ（ｉ，ｊ）
等の演算により、さらに微分する２次微分（Laplacian）処理を施し、この結果を原画像データから差し引くと、エッジ部分の高周波成分を強調した画像を合成でき、ボケたエッジや輪郭を強調することができる。エッジや輪郭の強調処理をソフトウエア処理で御構内には、図１１に示した「Ｐｒｅｗｉｔｔフィルタ」「Ｓｏｂｅｉフィルタ」や「Ｋｉｒｓｃｈフィルタ」「Ｒｏｂｅｒｔｓフィルタ」等の１次微分の空間フィルタ演算子（オペレータ）、または、「Ｌａｐｌａｃｉａｎｔフィルタ」等の２次微分の空間フィルタ演算子等を用いることができる。
【００７５】
（２値化、平均化、輝度変換）
図１２は、輝度ヒストグラムの変換処理などにより、中間階調など画像強調を行う例、２値化処理や所定の輝度領域の抽出などの例を示す図である。（ａ）の線形の輝度変換（中間階調の改善）に示すように、入力画像２３０は、演算（変換式）２３１により出力画像２３２に変換される。また、入力画像の輝度ヒストグラム分布Ｐ（ｘ）２３３は、輝度変換式２３４により、出力画像の輝度ヒストグラム分布Ｐ（ｘ）２３５に変換される。また、（ｂ）の２値化処理に示すように、入力画像の輝度分布Ｐ（ｘ）２３６は、変換式２３７により、出力画像の輝度分布Ｐ（ｘ）２３８に変換される。
【００７６】
このように、被写体像の画像データ（輝度値や色差値）の分布パターンなどを特徴データとして利用する場合に、画像データの輝度分布（ヒストグラム）を求め、輝度変換処理を行うことにより中間階調などの強調や圧縮ができる。また、所定の閾値との大小で２値化したり、所定の輝度の領域だけを抽出することができる。あるいは、画素数毎に輝度値や色差値を平均化（モザイク化）してまとめて、パターン単純化や情報量の圧縮ができる。
【００７７】
（膨脹、収縮、細線化、線図形化）
図１３は、膨脹、収縮処理の例を示す図である。輪郭形状などから被写体の形状や特徴を判別するには、先ず、形状を単純化して情報量を圧縮や線図形化してから判別することが好ましい。例えば、図（ａ）のように、２値化された画像の輪郭や、１−画素と０−画素の境界領域で、１−画素を（８近傍の画素の）一層分だけ外側に太くする、所謂「膨脹」（Expansion）処理を行うと、輪郭などの境界部分の小さな孔や溝が取り除かれ、また、同図（ｂ）のように、逆に、一層分だけ細くする「収縮」（Contraction）処理により境界部分の突起や孤立点などが取り除かれるので、膨脹処理と収縮処理を組み合わせることで、図（ｃ）、（ｄ）のように、凹部や凸部の除去や形状の単純化ができる。
【００７８】
また、２値化された画像から、線幅が１の中心を抽出する、所謂「細線化」（Thinning）処理により、骨状（スケルトン）の概略形状を求めることができる。また、２値化された輪郭パターンの周囲を外側と内側とから境界に沿ってたどり、境界部画素を１とし、残りの画素を０とする「境界線追跡」処理により、輪郭の境界線のみの画像に変換できる。あるいは、輪郭形状の数画素毎に選択した画素のみを折れ線で連結する「折れ線近似」処理などを用いてもよい。
【００７９】
（輪郭形状の特徴）
形状の識別は、２値化や線図形化したテンプレート画像やその特徴量を記憶しておき、それらと入力画像の２値化や線図形化した画像や特徴データとの相関度や類似度などを計算して、形状の識別や類似度の判別ができる。あるいは、領域内の画像からテンプレート画像と類似する画像の位置を順次検索するテンプレートマッチング等の手法により、類似する画像や図形の検索ができる。また、簡略には、被写体像の２値化画像や輪郭図形、境界線図形等の縦横の大きさ、半径、周囲長、画素数、面積、幾何学的な寸法の比などから、簡易に類似度判断や被写体の識別を行ってもよい。
【００８０】
例えば、図１４に示すように、円では周囲長Ｌ＝２πｒ、面積Ｓ＝πｒ２なので、（周囲長Ｌ）２／（面積Ａ）＝４πとなることから、図形の輪郭線の円らしさを、
円らしさ＝（周囲長Ｌ）２／（面積Ｓ）、または、
円形度ｅ＝４π（円らしさ）＝４πＳ／Ｌ２として計算して、
円らしさが４π（＝12.57）に近い値かどうか、または、円形度が１．０に近いかどうかで、丸い形状の被写体か、凹凸が多い尖った被写体か等を計算し、形状の識別に利用できる。同様に、輪郭の縦横比＝長さｈ／幅ｗなどから、形状の「細長さ」等の評価値を求めてもよい。
【００８１】
（輪郭形状の偏角関数、位置座標関数）
また、図１５に示すように、図形の輪郭線に沿って、始点から順次、偏角θ（ｓ）を求めて、１次元関数（偏角関数）に変換して、輪郭形状の特徴量として利用できる。あるいは、図１６に示すように、同様に、輪郭線に沿って順次、位置座標ｘ（ｓ）、ｙ（ｓ）、または、ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ（ｓ）を求めて、１次元の位置座標関数に変換して、輪郭形状の特徴量として利用できる。
【００８２】
（輪郭形状のフーリエ記述子）
（Ｚ形記述子）
さらに、例えば、図１７に示すように、前述の偏角関数θ（ｓ）を正規化して、正規化偏角関数：θＮ（ｓ）＝θ（ｓ）−θ（０）−２πｓ／Ｌ、
を求め、これの（ｉ＝０，１，２・・・，Ｎ−１）の離散化データφ［ｉ］をフーリエ変換して、次のようなＺ（Zahn）形フーリエ記述子を求め、輪郭形状の識別に利用できる。
θＮ（ｓ）の離散化データ：φ［ｉ］＝θ［ｉ］−θ［０］−２πｉ／Ｎ
（i=0,1,2・・・,N-1）
θＮ（ｓ）の離散フーリエ変換（＝Ｚ形記述子）：Ｃｚ［ｋ］＝（１／Ｎ）Σφ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。
【００８３】
（Ｇ形記述子）
同様に、図１８に示すように、前述の位置座標の複素平面座標ｚ（ｓ）を離散フーリエ変換して、Ｇ（Grundlund）形フーリエ記述子を求め、輪郭形状の識別に利用してもよい。
位置座標の複素平面座標ｚ（ｓ）＝ｘ（ｓ）＋ｊ・ｙ［ｓ］、
ｚ（ｓ）の離散化データｚ（ｉ）＝ｘ［ｉ］＋ｊ・ｙ［０］  （i=0,1,2・・・,N-1）、
ｚ（ｓ）の離散フーリエ変換（＝Ｇ記述子）：Ｃｇ［ｋ］＝（１／Ｎ）Σｚ［ｉ］EXP（−ｊ２πｋｉ／Ｎ）。
【００８４】
（Ｐ形記述子）
また、図１９に示すように、折れ線近似した偏角θ［ｉ］の指数関数ｗ［ｉ］を求め、ｗ［ｉ］をフーリエ変換した、Ｐ（Phase）形記述子を求め、輪郭形状の識別に利用してもよい。
ｗ［ｉ］＝exp（ｊθ［ｉ］）＝cosθ［ｉ］＋sinθ［ｉ］
＝（ｚ［ｉ＋１］−ｚ［ｉ］）／δ、  
ただし、線分δ＝｜ｚ［ｉ＋１］−ｚ［ｉ］｜
ｗ［ｉ］の離散フーリエ変換（＝ｐ形記述子）：Ｃｐ［ｋ］＝（１／Ｎ）Σｗ［ｉ］exp（−ｊ２πｋｉ／Ｎ）。
【００８５】
（輪郭の抽出と形状の識別）
図２０は、輪郭形状の抽出と被写体の形状識別処理の処理手順を示すフローチャートである。先ず、被写体の画像を取り込み（ステップＳ４０１）、この処理により画像２４０を取り込む。次に、輝度階調値または色差信号に基づいて複数領域に分割し（ステップＳ４０２）、この処理により魚部分２４１を含む領域が分割される。さらに、被写体の領域を選択し（ステップＳ４０３）、この処理により魚部分２４１が選択される。引き続き、領域の画像を２値化し（ステップＳ４０４）、この処理により魚部分の２値化画像２４２が生成される。また、エッジを検出し（ステップＳ４０５）、この処理により魚形状のエッジ２４３が検出される。次に、検出したエッジをＮ辺の等辺多角形で近似し（ステップＳ４０６）、この処理により近似形状の輪郭線２４４が得られる。
【００８６】
さらに、得られた輪郭線のＰ形記述子などフーリエ記述子を求めて（ステップＳ４０７）、パワースペクトルを求め（ステップＳ４０８）、この処理によりパワースペクトル２４５が求められる。引き続き、低周波成分からｎ個の成分を取り出し、データ圧縮して、輪郭線データとし（ステップＳ４０９）、求めた特徴量をメモリー−（特徴抽出／認識用データメモリー５６）に記憶する（ステップＳ４１０）。そして、このメモリーに記憶した特徴量と記憶済のテンプレートデータ２４６（図２１参照）とを順次比較し、類似度を求める（ステップＳ４１１）。さらに、当該被写体を最も類似するテンプレートデータに対応する種類と判定して、当該種類の特徴データを記述し（ステップＳ４１２）、この特徴データの記述データを出力する（ステップＳ４１３）。
【００８７】
ここで、前記テンプレートデータ２４６は、図２１に示すように、魚における「科」「魚名」等の種類２４６ａ、特徴データ１２４ｂ、輪郭図形２４６ｃ、色・柄・テクスチャー２４６ｄとが対応して記憶されている。したがって、本例の場合、例えば前記ステップＳ４０９で得られた輪郭線特徴データとテンプレートデータ２４６における輪郭図形とを、ステップＳ４１１で比較して類似度を求めることにより、ステップＳ４１２で「チョウチョウウオ科」であると判定することができる。よって、この「チョウチョウウオ科」の特徴データ２４６ｂの記述データがステップＳ４１３で出力されることとなる。
【００８８】
（代表色、色分布の抽出）
図２２は、選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。被写体の画像を取り込み（ステップＳ５０１）、輝度階調値または色差信号に基づいて複数の輪郭領域に分割する（ステップＳ５０２）。次に、面積の大きい領域、または中央のフォーカス枠（図３７（Ａ）のフォーカス枠４００参照、以下同様。）に近い領域から順に１〜ｎ個の被写体領域を選択し（ステップＳ５０３）、各分割領域毎にＲＧＢ別ヒストグラム分布Ｐｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）を求める（ステップＳ５０４）引き続き、このＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）をそれぞれ全体が１．０となるように正規化する（ステップＳ５０５）。
【００８９】
そして、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の最頻値を求める（ステップＳ５０６）。
μｒ＝Ｍａｘ｛Ｐｒ（ｉ）｝，
μｇ＝Ｍａｘ｛Ｐｇ（ｉ）｝，
μｂ＝Ｍａｘ｛Ｐｂ（ｉ）｝，
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の平均μを求める（ステップＳ５０７）。
μｒ＝Σｉ・Ｐｒ（ｉ），
μｇ＝Σｉ・Ｐｇ（ｉ），
μｂ＝Σｉ・Ｐｂ（ｉ），
また、下記のようにＲＧＢヒストグラムＰｒ（ｉ）、Ｐｇ（ｉ）、Ｐｂ（ｉ）の分散σ２を求める（ステップＳ５０８）。
σｒ２＝Σ（ｉ−μｒ）２・Ｐｒ（ｉ），
σｇ２＝Σ（ｉ−μｇ）２・Ｐｇ（ｉ），
σｂ２＝Σ（ｉ−μｂ）２・Ｐｂ（ｉ），
次に、各領域のＲＧＢヒストグラムの最頻値または平均値を代表色とし、代表色とＲＧＢの分散値を色の特徴データとして記述して出力する（ステップＳ５０９）。
【００９０】
図２３は、領域画像を複数ブロックに分割して、ブロック毎の平均色を求め、そのＤＣＴ変換したＤＣＴ係数の分布データなど、色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。撮影画像、または、領域画像を取り込み（ステップＳ６０１）、領域を縦ｍ×横ｎの複数ブロック領域に分割する（ステップＳ６０２）。次に、各分割ブロック領域の平均色を算出し（ステップＳ２０３）、各分割ブロック領域の平均色をＲＧＢまたはＹＣｂＣｒ空間でＤＦＴ変換またはＤＣＴ変換で周波数に変換し、各係数を求める（ステップＳ６０４）。そして、ＤＦＴまたはＤＣＴの低周波成分の係数をジグザグスキャンなどで走査して１次元化し（ステップＳ６０５）、この１次元化した各係数を量子化（デジタル符号化）し（ステップＳ６０６）、このデジタル符号化したＤＦＴまたはＤＣＴ係数列を、色分布の特徴データとし記述し出力する（ステップＳ６０７）
【００９１】
（画像データの変換）
画像データのＲＧＢ信号や輝度信号Ｙ、色差信号Ｃｂ，Ｃｒ、あるいは、色相／彩度／明度を表すＨＳＶ（またはＨＳＢ）データ等は、以下の変換式で相互に容易に変換できる。
例えば、ＲＧＢデータをＹＣｂＣｒデータに変換するには、
Ｙ＝０．２９９＊Ｒ＋０．５８７＊Ｇ＋０．１１４＊Ｂ、
Ｃｂ＝０．１７２＊Ｒ−０．３３９＊Ｇ＋０．５１１＊Ｂ＋ＣＥＮＴＥＲ、
Ｃｒ＝０．５１１＊Ｒ−０．４２８＊Ｇ−０．０８３＊Ｂ＋ＣＥＮＴＥＲ、
ＹＣｂＣｒデータをＲＧＢデータに変換するには、
Ｒ＝Ｙ＋０．０００＊（Ｃｂ−ＣＥＮＴＥＲ）＋１．３７１＊（Ｃｒ−ＣＥＮＴＥＲ）、
Ｇ＝Ｙ−０．３３６＊（Ｃｂ−ＣＥＮＴＥＲ）−０．６９８＊（Ｃｒ−ＣＥＮＴＥＲ）、
Ｂ＝Ｙ＋１．７３２＊（Ｃｂ−ＣＥＮＴＥＲ）＋０．０００＊（Ｃｒ−ＣＥＮＴＥＲ）、
【００９２】
ＲＧＢデータ（各０〜１）をＨＳＶ（またはＨＳＢ）データに変換するには、
ｃｍａｘ＝ｍａｘｉｍｕｍ（Ｒ，Ｇ．Ｂ）、ｃｍｉｎ＝ｍｉｎｉｍｕｍ（Ｒ，Ｇ．Ｂ）とすると、
明度Ｖ＝ｃｍａｘ、彩度Ｓ＝（ｃｍａｘ−ｃｍｉｎ）／ｃｍａｘ（ただし、ｃｍａｘ＝０のときは、Ｓ＝０）、
Ｒ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛（Ｇ−Ｂ）／（ｃｍａｘ−ｃｍｉｎ）｝、
Ｇ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛２＋（Ｂ−Ｒ）／（ｃｍａｘ−ｃｍｉｎ）｝、
Ｂ＝ｃｍａｘのときは、色相Ｈ＝６０°＊｛４＋（Ｒ−Ｇ）／（ｃｍａｘ−ｃｍｉｎ）｝、
なお、Ｈ＜０のときはＨに３６０°を加える。また、Ｓ＝０のときはＨ＝０とする。
【００９３】
（色相の抽出、肌色の抽出）
図２４は、所定の色の領域を抽出する例として、人間の肌色領域の抽出例を示す。図（ａ）は、人間の肌の分光反射率特性の例であり、（ｂ）は、撮影画像サンプル中の肌色領域のＲＧＢ値、およびＨＳＶ値の例（色相：Ｈｕｅを０〜３６０°、彩度：Ｓａｔｕｒａｔｉｏｎを０〜２５５、明度：Ｖａｌｕｅ  ｏｆ  Ｂｒｉｇｈｔｎｅｓｓを０〜２５５として場合）である。また、（ｃ）は、肌色の色相：Ｈｕｅ：０〜３６０°、彩度：Ｓａｔｕｒａｔｉｏｎ：０〜１分布の例で、肌色の画像データの多くは、色相環で６°〜３８°の範囲に多く分布することが知られている（Skin Colour Analysis(by J.Sherrah and S.Gong)http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPLES/GONGI/cvOnline-skinColourAnalysis.html）。これらを利用すれば、ＨＳＶ値から、色相で約６°〜３８°の範囲の人間の顔の肌色とするなど、特定の色の被写体の領域を適宜抽出することができる。
【００９４】
（顔の認識処理）
前記の特徴抽出において、特定の被写体やシーン別撮影モードなどで注目する被写体別に専用の識別データや認識処理を必要とする場合がある。図２５は、例えば「人物撮影シーン」などにおいて、人物の顔の領域における特徴データを抽出する場合の処理手順を子示すフロー説明図である。すなわち、ステップ（ａ）顔の位置検出では、顔の輪郭画像に様々なグラフを当てはめて、人物の顔部分を検出する。次に、ステップ（ｂ）顔の特徴点の位置検出では、画像の顔部分を切り出し、顔の大きさを正規化して、顔の特徴点の位置を検出する。さらに、ステップ（ｃ）特徴量の検出においては、各特徴点から、ウェーブレット変換等で、周波数成分など個人毎の特徴量を抽出する。
【００９５】
図２６は、（ａ）顔の眼の領域を抽出するためのマスクパターンの例で、これを参照パターンとして、テンプレートマッチング等を用いて検索して、入力画像から眼や顔のある画像領域を検索できる。（ｂ）は、眼を認識するデータの例で、例えば、
眼の細長さ＝ｂ／ａとして、α１≦ｂ／ａ≦α２の条件に合致する、または、
（眼の面積）Ｓ１≒π×ａ×ｂ、（黒眼（瞳）の面積）Ｓ２＝π×ｒ２、黒眼（瞳）の比率Ｓ２／Ｓ１＝ｒ２／ａｂとして、β１≦ｒ２／ａｂ≦β２などの条件に合致する被写体画像の領域を「眼の領域」と識別することができる。また、（ｃ）は、人間の顔と認識するための条件データの設定で、例えば、（眉下〜鼻下までの長さ）ｈ１≒（鼻下〜あごまでの長さ）ｈ２、または、（右眼の幅）Ｗ１≒（両眼の間）Ｗ２≒（左眼の幅）Ｗ３、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。
【００９６】
図２７は、人間の顔の簡易な識別処理手順を示すフローチャートである。先ず、画像を取り込み（ステップＳ７０１）、輝度もしくは色差データに基づいて輪郭を抽出する（ステップＳ７０２）。次に、前記画像をこの抽出した輪郭を境界とする領域に分割し（ステップＳ７０３）、分割領域の中からいずれかの対象領域を選択する（ステップＳ７０４）。そして、ＲＧＢまたは色差データに基づいて、選択した領域の平均ＲＧＢまたは平均色差データを算出し（ステップＳ７０５）、この算出したＲＧＢまたは色差値をＨＳＶに変換する（ステップＳ７０６）。
【００９７】
引き続き、この変換したＨＳＶが肌色の領域は否か、つまり、色相（Ｈｕｅ）が６〜３８°か否かを判断し（ステップＳ７０７）、この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ７１５）。ステップＳ７０７での判断がＹＥＳである場合には、顔のマスクパターン（図２６参照）を設定し、前記対象領域において眼と瞳の領域を検索する（ステップＳ７０８）。次に、眼の領域は検出できたか否かを判断し（ステップＳ７０９）、検出できない場合には、顔の領域でないと判断する（ステップＳ７１５）。検出できた場合には、眼の縦横比（ｂ／ａ）、眼と瞳（黒眼）の面積比（ｒ２／ａｂ）を算出し（ステップＳ７１０）、眼と瞳の比率は所定範囲内か否か、すなわち前記α１≦ｂ／ａ≦α２の条件に合致するか否かを判断する（ステップＳ７１１）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ７１５）。
【００９８】
ステップＳ７１１の判断がＹＥＳである場合には、眼と瞳の比率は所定範囲内であるか否か、すなわち前記β１≦ｒ２／ａｂ≦β２の条件に合致するか否かを判断する（ステップＳ７１２）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ７１５）。ステップＳ７１２の判断がＹＥＳである場合には、右眼の幅Ｗ１、右眼と左眼の間隔Ｗ２、左眼の幅Ｗ３を算出し（ステップＳ７１３）、Ｗ１とＷ２、Ｗ３は等しいか否か、すなわちＷ１−δ≦Ｗ２≦Ｗ１＋δ、Ｗ１−δ≦Ｗ３≦Ｗ１＋δであるか否かを判断する（ステップＳ７１４）。この判断がＮＯである場合には、顔の領域でないと判断する（ステップＳ７１５）。そして、この判断がＹＥＳである場合、つまり、ステップＳ７０７、Ｓ７０９、Ｓ７１１、Ｓ７１２、Ｓ７１４の判断が全てＹＥＳである場合には、前記ステップＳ７０４で選択した領域を、顔の領域として認識する（ステップＳ７１６）。さらに、この認識された顔の領域の位置座標を記憶する（ステップＳ７１７）。次に、今回選択した領域が、当該画像において最後の領域であるか否かを判断し（ステップＳ７１８）、最後の領域でない場合には、ステップＳ７０４に戻って次の領域を選択し、前述した処理を繰り返す。そして、最後の領域まで以上の処理が実行されると、ステップＳ７１８の判断がＹＥＳとなり、認識結果を出力する（ステップＳ７１９）。
【００９９】
（動きの特徴抽出）
図２８は、時間的に連続する複数画像をそれぞれ複数ブロックに分割し、その輝度値または色差値を前画像とテンプレートマッチングして、移動方向と移動量を抽出して、動きベクトルなど動きの特徴を抽出する処理手順を示すフローチャートである。すなわち、時間的に連続する複数枚の画像を取り込み（ステップＳ８０１）、各画像をｍ×ｎの複数ブロック領域に分割する（ステップＳ８０２）。各画像の各ブロックの輝度値または色差値を前画像とテンプレートマッチングし、移動方法と移動量を抽出する（ステップＳ８０３）。分割ブロック毎に移動方向と移動量を量子化して、各ブロックの動きベクトルを求め（ステップＳ８０４）、画像、ブロック毎の動きベクトル（移動方向と移動量）を、動きの特徴データとして記述して出力する（ステップＳ８０５）。
【０１００】
（特徴量の比較、類似図形の検索）
また、記憶されたテンプレート画像と被写体画像の類似度の判別や検索には、テンプレートマッチングなどのパターンマッチング法や、動きベクトル検出におけるブロックマッチング法などが利用できる。テンプレートマッチングにより、特徴抽出領域の入力画像ｆ［ｉ，ｊ］の特徴データの中から、例えば、（ｍ×ｎ）の記録された参照画像（または特徴データ）ｔ［ｋ，ｌ］に一致する画像の位置を検出する。参照画像の中心（または端点）が入力画像のある点（ｉ，ｊ）に重なるように置いて、点（ｉ，ｊ）を順に縦横にラスター走査しながら、重なる部分の画像データの類似度を順次計算して、類似度が最も高い位置点（ｉ，ｊ）を、類似する被写体がある位置として求めることができる。
【０１０１】
このテンプレートマッチングは、選択した被写体像を記憶して、被写体を追尾して合焦する追尾式ＡＦ処理などにも利用でき、また、前回の被写体の位置から今回の被写体の位置へのベクトルは、当該被写体の動きベクトルとして動きの特徴データとすることもできる。
【０１０２】
（相関度（相関係数））
入力画像ｆ［ｋ，ｌ］とテンプレート画像（参照画像）ｔ［ｋ，ｌ］との相関度は、次式のピアソンの相関係数（積率相関係数）Ｒなどで算出でき、最も相関係数Ｒが大きくなる位置が、検索する類似被写体がある位置として求められる。
Ｒ＝（画像ｆと画像ｔの共分散）／ｆ（画像ｆの標準偏差）・（画像ｔの標準偏差）
＝［ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１｛ｆ［ｋ，ｌ］−ｆＡＶ｝｛ｔ［ｋ，ｌ］−ｔＡＶ｝］
／√［ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１｛ｆ［ｋ，ｌ］−ｆＡＶ｝２］・√［ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１｛ｔ［ｋ，ｌ］−ｔＡＶ｝２］
ただし、ｆＡＶ：参照画像ｆ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、
ｔＡＶ：参照画像ｔ［ｋ，ｌ］の画像データ（輝度値、色差値、特徴量など）の平均値、
【０１０３】
（テンプレートマッチングの類似度）
テンプレートマッチングなど、画像ｆ［ｉ，ｊ］の中から、画像サイズ（ｍ×ｎ）の画像ｔ［ｋ，ｌ］を走査して検索する場合、類似度は、次式で計算でき、類似度ｒ（ｉ，ｊ）が最も大きくなる走査位置の点（ｉ，ｊ）が類似する被写体の位置として求まる。
Ｒ（ｉ，ｊ）＝ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］・ｔ［ｋ，ｌ］
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。
これを、前述の相関係数Ｒと同様に、平均値を差し引くなど正規化してもちいてもよい。
【０１０４】
（絶対値差分和、距離）
前記の類似度、Ｒ（ｉ，ｊ）では乗算のための計算が増えるため、２値化画像など、平均値を差し引いたり、正規化を省略したりできる場合には、類似度の代わりに、次式のような画像間の差分和により、相違の程度（「距離」）を表すＤ（ｉ，ｊ）を求め、これを評価関数として利用できる。この場合には、加減算だけで計算できるので演算を高速化できる。この場合は、距離Ｄ（ｉ，ｊ）が最も小さい点（ｉ，ｊ）がマッチング位置を表す。
Ｄ（ｉ，ｊ）＝ΣＬ＝０ｎ−１ΣＫ＝０ｍ−１｜ｆ［ｉ−（ｍ／２）＋ｋ，ｊ−（ｎ／２）＋１］−ｔ［ｋ，ｌ］｜
ただし、（ｉ，ｊ）：点の位置座標、ｆ［ｉ，ｊ］：入力画像データ、ｔ［ｋ，ｌ］：テンプレート画像のデータ、（ｍ×ｎ）：テンプレート画像のサイズ。
【０１０５】
（テクスチャーの特徴抽出）
図２９〜図３２に、画像の肌の荒さ、細かさ、模様パターンなど、テクスチャーの特徴の抽出処理フローの例を示す。
図２９は、輝度ヒストグラム分布によりテクスチャーを解析する例であり、先ず撮影画像を取り込む（ステップＳ９０１）。次に、この取り込んだ取得画像の輝度ヒストグラム分布Ｐ′（ｉ）  （ｉ＝０，１・・・，ｎ−１）を求め（ステップＳ９０２）、全体が１．０となるように正規化した輝度ヒストグラムＰ（ｉ）に変換する（ステップＳ９０３）。引き続き、μ＝Σｉ／Ｐ（ｉ）により、輝度ヒストグラムＰ（ｉ）の平均μを求め（ステップＳ９０４）、σ２＝Σ（ｉ−μ）２・Ｐ（ｉ）により、輝度ヒストグラムＰ（ｉ）の分散σ２を求める（ステップＳ９０５）。また、ｆ１＝Ｓ＝［Σ（１−μ）３・Ｐ（ｉ）］／σ３により、ｆ１＝Ｓ（Skewness、歪み度）を求め（ステップＳ９０６）、ｆ２＝Ｋ＝［Σ（１−μ）４・Ｐ（ｉ）］／σ４により、ｆ２＝Ｋ（Kurtosis、尖り度）を求める（ステップＳ９０７）。そして、輝度ヒストグラムのｆ１（Skewness）、ｆ２（Kurtosis）をテクスチャーの特徴データとて記述し出力する（ステップＳ９０８）。
【０１０６】
図３０は、フーリエスペクトルからテクスチャー解析する例であり、先ず撮影画像を取り込む（ステップＳ１００１）。次に、Ｆ（ｕ，ｖ）＝ΣΣｆ（ｘ，ｙ）Ｗ１ｘｕＷ２ｙｕ（ただし、Ｗ１＝exp（−ｊ２π／Ｍ）、Ｗ２＝exp（−ｊ２π／Ｎ））により、画像ｆ（ｘ，ｙ）の離散２次元フーリエ変換（ＤＦＴ）Ｆ（ｕ，ｖ）を求め（ステップＳ１００２）、Ｐ（ｕ，ｖ）＝｜Ｆ（ｕ，ｖ）｜２により、Ｆ（ｕ，ｖ）のパワースペクトルＰ（ｕ，ｖ）を求める（ステップＳ１００３）。引き続き、Ｐ（ｕ，ｖ）を極座標形式のＰ（ｒ，θ）に変換し（ステップＳ１００４）、下記式により、原点を中心としたドーナツ形領域のエネルギーの和ｐ（ｒ）、および、角度θの扇形領域内のエネルギーの和ｑ（ｒ）を求める（ステップＳ１００５）。
ｐ（ｒ）＝２Σθ＝０πＰ（ｒ，θ）、
ｑ（ｒ）＝２Σｆ＝０Ｗ／２Ｐ（ｒ，θ）。
【０１０７】
また、Ｐ（ｒ），ｑ（θ）のヒストグラム分布を求め（ステップＳ１００６）、Ｐ（ｒ），ｑ（θ）のピーク、平均、分散など統計値を求め、Ｐ（ｒ）のピーク＝テクスチャーのきめの大きさ、ｑ（θ）のピーク＝テクスチャー画素の方向性とする（ステップＳ１００７）。そして、フーリエ変換（ｕ，ｖ）の各係数、または、パワースペクトルＰ（ｕ，ｖ）、または、Ｐ（ｒ，θ）、Ｐ（ｒ）、ｑ（θ）の統計値を、テクスチャーの特徴データとして記述し出力する（ステップＳ１００８）。
【０１０８】
図３１（ａ）は、フーリエスペクトルからテクスチャー解析する例であり、先ず撮影画像を取り込む（ステップＳ１１０１）。次に、同図（ｂ）に示すように、画像（ｘ，ｙ）において、画素ｆ（ｘ１、ｙ１）から距離ｄ、角度θの位置関係（ｄ，θ）にある画素ｆ（ｘ２，ｙ２）の輝度をｄ（１，２，・・・）、θ（０度、４５度、９０度、１３５度など）を変えて順次求める（ただし、距離ｄ＝ｍａｘ（｜ｘ１−ｘ２｜，｜ｙ１−ｙ２｜）（ステップＳ１１０２）。次に、位置関係（ｄ，θ）にある２点の輝度がそれぞれ、ｆ（ｘ１，ｙ１）＝ｉ，ｆ（ｘ２，ｙ２）＝ｊの対となる頻度（ヒストグラム）を集計し、輝度共起行列Ｐ（ｉ，ｊ；ｄ，θ）を求め（ステップＳ１１０３）、下記式により輝度共起行列Ｐ（ｉ，ｊ；ｄ，θ）を統合して正規化し、ｐ（ｉ，ｊ）とする（ステップＳ１１０４）。
Ｐ（ｉ，ｊ）＝ΣθＰ（ｉ，ｊ；ｄ，θ）、
ｐ（ｉ，ｊ）＝Ｐ（ｉ，ｊ）／ΣｉΣｊ（ｉ，ｊ）。
【０１０９】
引き続き、ｆ１＝ΣΣ｛ｐ（ｉ，ｊ）｝２により、共起行列ｐ（ｉ，ｊ）から、ｆ１（Angular second moment,角２次モーメント＝全体の均一性）を求め（ステップＳ１１０５）、ｆ２＝Σ｛ｎ２ｐ（ｉ，ｊ）｝により、共起行列ｐ（ｉ，ｊ）から、ｆ２（Contrast,コントラスト＝局所変化）を求める（ステップＳ１１０６）。さらに、下記式により、共起行列ｐ（ｉ，ｊ）から、ｆ３（Correlation,方向に関する相関）を求める（ステップＳ１１０７）。
ｆ３＝ΣΣ｛（ｉ，ｊ）ｐ（ｉ，ｊ−μ２）｝／σ２
ただし、μ＝Σｉｐ（ｉ）＝１／ｇ、（ｇ；階調数）
σ＝√｛Σ｛ｐ（ｉ）−μ｝／（ｇ−１）｝
【０１１０】
また、ｆ４＝ΣΣ｛（ｉ−μ）２ｐ（ｉ，ｊ）｝により、共起行列ｐ（ｉ，ｊ）から、ｆ４（Sum of Squares,平方和＝局所同調性）を求め（ステップＳ１１０８）、ｆ５＝ΣΣ［ｐ（ｉ，ｊ）／｛１＋（１−ｊ））｝］により、共起行列ｐ（ｉ，ｊ）から、ｆ５（Inverse difference Moment,逆差分モーメント＝複雑さの測度）を求める（ステップＳ１１０９）。そして、求めた輝度共起行列ｐ（ｉ，ｊ）、または、ｆ１、ｆ２、ｆ３、ｆ４、ｆ５などの統計量をテクスチャーの特徴データとして記述して出力する（ステップＳ１１１０）。
【０１１１】
図３２（ａ）は、高次局所自己相関関数によるテクスチャー特徴抽出例を示すフローチャートであり、同図（ｂ）はその説明図である。図（ａ）に示すように、撮影画像を取り込み（ステップＳ１２０１）、各画像のＲＧＢ成分をＹＩＱ成分に変換し、Ｙ画像、Ｉ画像、Ｑ画像を得る（ステップＳ１２０２）。次に、設定された特徴に応じて、同図（ｂ）に示すように、（ｎ×ｎ）画素のマスクパターン１〜２５（図（ｂ）のＮｏ．１〜２５）を作成する（ステップＳ１２０３）。さらに、下記に示すように、各画像で、各参照点（ｉ，ｊ）にマスクパターン１〜２５の参照点を重ね合わせ、各画素の輝度値ｆ（ｉ，ｊ）ｔと掛け合わせ（論理積）、特徴ベクトルＣ１〜２５を求める（ステップＳ１２０４）。
Ｃ１＝ΣｉΣｊ｛ｆ（ｉ，ｊ）｝、
Ｃ２＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）｝、
Ｃ６＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ）ｆ（ｉ＋１，ｊ）｝、
・・・
Ｃ２５＝ΣｉΣｊ｛ｆ（ｉ，ｊ）ｆ（ｉ−１，ｊ＋１）ｆ（ｉ＋１，ｊ＋１）｝。
【０１１２】
また、Ｃ（ａ１，・・・，ａＮ）＝Σｒ［ｎ√｛ｆ（ｒ）ｆ（ｒ＋ａ１）・・・ｆ（ｒ＋ａＮ）｝］により、上記のＣ１〜Ｃ２５を加算（積和）し（ステップＳ１２０５）、Ｃｉ＝Ｃｉ／Σｊ｛Ｃｊ｝（ｉ，ｊ＝１〜２５）により、各特徴量を特徴ベクトル全体の和Σｊ｛Ｃｊ｝で除算して、特徴ベクトルの絶対値が１となるように正規化する（ステップＳ１２０６）。そして、各ＹＩＱ画像毎に求めた局所自己相関による特徴ベクトルＣ１〜Ｃ２５、またはその統計量を、テクスチャーの特徴データとして記述し出力する（ステップＳ１２０７）。
【０１１３】
なお、以上のように本実施の形態においては、特徴抽出手段をソフトウェアで構成するようにしたが、ハードウェアで構成するようにしてもよい。また、本実施の形態においては、予め複数種の特徴抽出手段から任意の特徴抽出手段を選択し、この選択した特徴抽出手段を用いて、撮像手段により撮像される画像の特徴を抽出するようにしたが、任意の特徴抽出手段を選択することなく、全ての特徴抽出手段により撮像手段により撮像される画像の特徴を抽出し、しかる後に、特徴抽出手段が抽出した特徴データを手動あるいは自動的に選択し、所定の記述様式等で出力するようにしてもよい。
【０１１４】
（第２の実施の形態）
図３３〜図３５は、本発明の第２の実施の形態を示すものであり、撮影シーンに応じて、特徴量データを自動的に選択して抽出し、画像データの付加情報として記録するようにしたものである。
【０１１５】
すなわち、この実施の形態において前記プログラムメモリー２３には、図３３に示すように、人物を写す場合（ＢＳ１）、風景を移す場合（ＢＳ２）等の撮影シーン別に、当該シーンを撮影する場合に好適なシーン別撮影制御プログラムが記憶されているとともに、そのサンプル画像３００と、「色強調が肌色に設定されます。」等の当該シーン別撮影制御プログラムに関する説明文３０１等が記憶されている。
【０１１６】
図３４および図３５は、本実施の形態の処理手順を示す一連のフローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、同図に示すフローチャートに従って処理を実行する。先ず、ユーザーによる操作入力部３５での操作に応じて、前記撮影シーンＢＳ１〜ＢＳ１８のいずれか選択するとともに、この選択した撮影シーンＢＳ１〜ＢＳ１８に対応するシーン別撮影制御プログラムに従って撮影条件などを設定し、あるいは入力された撮影条件を設定する（図３４ステップＳ１３０１）。そして、レリーズ釦３が押し操作されて撮影指示がなされた時点で撮影処理を実行し（ステップＳ１３０２）、電子撮像センサ２０から画像データを取り込み圧縮符号化する（ステップＳ１３０３）。
【０１１７】
次に、特徴データ付加記録がＯＮに設定されているか否かを判断し（ステップＳ１３０４）、ＯＮに設定されていない場合には、撮影画像データとともに、撮影情報を画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１３２２）。また、ＯＮに設定されている場合には、オート（前記シーン別撮影制御プログラムを用いるモード）が設定されているか否かを判断し（ステップＳ１３０５）、オートに設定されていない場合には、その他の特徴抽出処理を実行する（ステップＳ１３０６）。
【０１１８】
そして、オートに設定されちる場合には、フォーカス枠周辺の領域内の被写体像を輝度もしくは色差データに基づいて輪郭抽出し（ステップＳ１３０７）、この抽出した輪郭を境界とする領域に分類する（ステップＳ１３０８）。引き続き、今回の撮影で選択されたシーンが人物撮影シーン（図３３のＢＳ１参照）であるか否かを判断し（ステップＳ１３０９）、人物撮影シーンでない場合には、後述する図３５のステップＳ１３２３に進む。人物撮影シーンである場合には、顔のテンプレートと各分割領域画像とを比較し、顔の領域を抽出する（ステップＳ１３１０）。また、この抽出した顔の領域の輝度、色差、ＨＳＢデータを平均化して、支配色を検出し（ステップＳ１３１１）、顔の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１３１２）。
【０１１９】
次に、顔の下の領域を選択して、上半身（衣服）領域を抽出する（ステップＳ１３１３）。この抽出した上半身（衣服）領域の輝度、色差、ＨＳＢデータを平均化し、支配色を検出し（ステップＳ１３１４）、上半身（衣服）領域の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１３１５）。さらに、他に顔の領域がないか否かを判断し（ステップＳ１３１６）、ある場合にはステップＳ１３１０からの処理を繰り返す。
【０１２０】
その結果、他に顔の領域がなくなった場合には、背景領域を検出し（ステップＳ１３１７）、背景の支配色を検出し（ステップＳ１３１８）、背景のテクスチャーを検出する（ステップＳ１３１９）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１３２０）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（ステップＳ１３２１）。
【０１２１】
一方、ステップＳ１３０９での判断の結果、人物撮影シーンでなかった場合には、風景＋人物シーン（図３３のＢＳ３参照）であるか否かを判断する（図３５ステップＳ１３２３）。風景＋人物シーンである場合には、人物のテンプレートと各分割領域画像とを比較し、人物の領域、顔の領域を抽出する（ステップＳ１３２４）。また、この抽出した人物と顔の支配色を検出し（ステップＳ１３２５）、人物と顔の輪郭形状を同様にデジタルデータに変換する（ステップＳ１３２６）。
【０１２２】
次に、人物以外の主な被写体領域を抽出して（ステップＳ１３２７）、この抽出した上半身（衣服）領域の輝度、色差、ＨＳＢデータを平均化し、支配色を検出し（ステップＳ１３２８）、人物以外の領域の輪郭形状をフーリエ記述子などのデジタルデータに変換する（ステップＳ１３２９）。さらに、他に人物、被写体の領域がないか否かを判断し（ステップＳ１３３０）、ある場合にはステップＳ１３２４からの処理を繰り返す。
【０１２３】
その結果、他に人物、被写体の領域がなくなった場合には、背景領域を検出し（ステップＳ１３３１）、背景の支配色を検出し（ステップＳ１３３２）、背景のテクスチャーを検出する（ステップＳ１３３３）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１３３４）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（図３５ステップＳ１３２１）。
【０１２４】
他方、ステップＳ１３２４での判断の結果、風景＋人物シーンでなかった場合には、風景シーン（図３３のＢＳ２参照）であるか否かを判断し（ステップＳ１３３５）、風景シーンでもなかった場合には、その他のシーン処理に移行する（ステップＳ１３３６）。風景シーンである場合には、風景のテンプレートと各分割領域画像とを比較し、主な被写体領域を抽出し（ステップＳ１３３７）、この抽出した主な被写体の支配色を検出し（ステップＳ１３３８）、主な被写体の輪郭形状を同様にデジタルデータに変換する（ステップＳ１３３９）。
【０１２５】
さらに、他に主な被写体の領域がないか否かを判断し（ステップＳ１３４０）、ある場合にはステップＳ１３３７からの処理を繰り返す。その結果、他に主な被写体の領域がなくなった場合には、背景領域を検出し（ステップＳ１３４１）、背景の支配色を検出し（ステップＳ１３４２）、背景のテクスチャーを検出する（ステップＳ１３４３）。そして、撮影シーン名、および、各領域の支配色、輪郭形状、テクスチャーなどの特徴データを処理の記述様式で記述し（ステップＳ１３３４）、撮影画像データとともに、撮影情報、および、前記特徴データを画像＆音声メモリー媒体３１（または磁気ディスク４８）に記録する（図３５ステップＳ１３２１）。
【０１２６】
（第３の実施の形態）
図３６および図３７は、本発明の第３の実施の形態を示すものであり、被写体像の特徴抽出による被写体追従ＡＦ処理の例である。本例では、被写体の特徴抽出方法を、ユーザー操作で、撮影しながらその場の状況に合わせて、簡単に操作できるようにしたものである。
【０１２７】
例えば、スポーツシーンでの撮影や高速で動くような被写体を追いかけて、連続してＡＦ処理する場合には、被写体の動きに合わせて、前述のテンプレートマッチングなどの手法により、フォーカス点周辺の画像から同一と思われる目標の被写体像を検索し、また、前後の画像などから被写体像の動きベクトル（動いた方向と動いた量）等を検出して、それに応じて、フォーカス枠を移動させて、コンティニュアス（連続）ＡＦや被写体追従式のＡＦ処理を行って撮影する機能を設ける場合がある。さらには、被写体が動く方向や次回の位置等を順次予測して追従性能を上げて、高速で動く被写体でも追従できるようにした予測追尾機能を備えたカメラもある。
【０１２８】
このような場合に、被写体の輝度や色相、もしくは形状などの特徴量で、同じ被写体を識別して追いかけるように追従して連続ＡＦができるうように工夫されているが、一つには、その被写体に類似の被写体が周囲にある場合には、追従に失敗して他の被写体を誤って追従したり、見失ったりする場合があった。また、検索領域を広げ、多数のＡＦ枠を設けると、被写体を見失わず、追従精度を上げることができるが、被写体の識別処理や動きベクトルの算出、あるいは、予測計算や追従ＡＦ処理などの処理時間が増加して、追従測速度が遅くなってしまう、などの課題があり、現状では、撮影者は、少ないＡＦ枠で追従精度は低いが追従速度が速い追従ＡＦモードを備えたカメラと、多数のＡＦ枠や広いＡＦエリアを設けて、追従速度は遅いが、検索範囲や追従精度を高めた追従ＡＦモードを備えたカメラとを使い分ける必要があった。
【０１２９】
本実施の形態では、前述のような撮影シーン別に設定できるようにした被写体の特徴抽出と認識機能を応用して、前記の被写体追従式のＡＦ撮影を行う際に、
ａ）撮影者が撮影シーンもしくは追従撮影する対象の被写体を予め選択できるようにすることで、対象被写体やその抽出特徴量を設定して、被写体識別処理に要する処理を削減して、追従速度を高めるようにする。
ｂ）また、同じ種別の被写体でも、周囲に類似の被写体が多い場合には、その特徴量を臨機応変に簡単に変更できるようにして、目標被写体を見失ったり御認識したりするのを減らすとともに、被写体の動き検出や検索に要する処理量や処理時間を短縮できるようにする。
ｃ）後述する図３７に示すように、ワンタッチでファインダーに呼び出したプルダウンメニュー等で、追従する対象被写体の種別を（人物、もしくは、顔、車、バイク、鳥、魚、・・・などから）任意に選択できるようにする。また、その種別に応じて特徴抽出処理を自動的に切り替えるようにする。
ｄ）また、特徴抽出方法もマニュアル操作で選択したい場合には、同様に、対象被写体から抽出する特徴量を（輝度や色差信号のパターン、もしくは、特定の色・柄、輪郭形状、面積や大きさ、動きベクトル（方向、速度）、動きパターン、・・・などから）任意に選択して、当該被写体の画像データとともに特徴データとして記録できるようにするものである。
【０１３０】
すなわち、図３６は、本実施の形態の処理手順を示すフローチャートであり、制御回路２２はプログラムメモリー２３に格納されているプログラムに基づき、同図に示すフローチャートに従って処理を実行する。先ず、フォーカス枠周辺の被写体像を取り込む（ステップＳ１４０１）。つまり、図３７（Ａ）に示すように、画像モニター３２において、その中央部に表示されるフォーカス枠４００の周辺までの被写体画像を、特徴抽出領域４０１として取り込む。したがって、フォーカス枠４００が被写体像４０２と合致している状態にあると、この被写体像４０２を含む画像領域が特徴抽出領域４０１として取り込まれることとなる。
【０１３１】
次に、ユーザーの選択操作に応じて撮影シーンまたは被写体の種別を選択する（ステップＳ１４０２）。ここで、撮影シーンに関しては、前記第２の実施の形態において説明した通りである。被写体の種別に関しては、図３７（Ｂ）に示すように、「被写体」の欄に「人物」「ペット」「車」「鳥」「魚」・・・等の選択肢を表示し、この選択肢の中からユーザーの選択操作に応じて選択する（図示の例では「人物」が選択）。
【０１３２】
引き続、ユーザーの選択操作により、特徴抽出方法の自動選択が設定されている否かを判断し（ステップＳ１４０３）、特徴抽出方法の自動選択が設定されていない場合には、操作に応じて、特徴量の種別、抽出方法等を選択する（ステップＳ１４０４）。つまり、図３７（Ｃ）に示すように、「特徴」の欄に「階調」「色・柄」「輪郭」「大きさ」「動き」・・・等の選択肢を表示し、この選択肢の中からユーザーの選択操作に応じて選択する（図示の例では「色・柄」が選択）。また、特徴抽出方法の自動選択が設定されている場合には、撮影シーン、被写体の種別に応じて、抽出する特徴量を自動選択する（ステップＳ１４０５）。
【０１３３】
さらに、選択された特徴量の抽出処理を実行して（ステップＳ１４０６）、例えば図３７（Ｄ）ａ）に示すように、輝度もしくは色差、階調の濃淡パターンを抽出し（ステップＳ１４０７）、図（Ｄ）ｂ）に示すように、特定の色相、彩度等を抽出し（ステップＳ１４０８）、図（Ｄ）ｃ）に示すように、特定の輪郭形状、大きさ等を算出し（ステップＳ１４０９）、あるいは図（Ｄ）ｄ）に示すように、前後画像の移動ベクトルや、動きパターン等を検出する。そして、これら抽出した特徴データを追従する被写体の特徴データとして、特徴抽出／認識用データメモリー５６に記憶する（ステップＳ１４１０）。
【０１３４】
しかる後に、フォーカス枠４００周辺の被写体像（前記特徴抽出領域４０１ないの被写体像）を取り込み（ステップＳ１４１１）、この取り込んだ被写体像の特徴抽出処理を実行する（ステップＳ１４１２）。さらに、このステップＳ１４１２で抽出した被写体像の特徴と、前記ステップＳ１４１０で特徴抽出／認識用データメモリー５６に記録済の特徴とを比較し、目標被写体を画像モニター３２に表示される画像内にて、検索する（ステップＳ１４１３）。引き続き、この検索が成功したか否か、すなわち画像モニター３２に表示される画像内において目標被写体の検索に成功したか否かを判断する（ステップＳ１４１４）。目標被写体を検索できず、検索が不成功であった場合には、追従処理を解除し（ステップＳ１４１５）、ステップＳ１４０１からの処理を実行する。
【０１３５】
また、目標被写体の検索に成功したならば、当該被写体像の移動を検出し、次回の移動位置を予測し（ステップＳ１０１６）、被写体の移動に応じてフォーカス枠４００を画像モニター３２中において移動する（ステップＳ１４１７）。そして、レリーズ釦３が押し操作されて撮影指示がなされた時点で撮影処理を実行し、画像メモリー２７に一時記憶された画像データを、圧縮符号化・伸張復号部３０で圧縮および符号化し、所定のフォーマットの静止画ファイルとして、画像＆音声メモリー媒体３１（または後述するＨＤＤ記憶装置４６の磁気ディスク４８）に記録する（ステップＳ１４１８）。また、前記静止画ファイルの一部に追尾した被写体の特徴データ（前記ステップＳ１４１０で特徴抽出／認識用データメモリー５６に記録した特徴）を記録する（ステップＳ１４１９）。
【０１３６】
したがって、本実施の形態によれば、周囲の他の被写体など、状況に応じて、ユーザーが対象被写体や特徴量を選択して、特徴抽出や特徴データの記録ができる。また、その場の被写体周囲の状況に応じて、追従ＡＦができるので、被写体を見失ったり誤追従することも減らせるとともに、処理量や処理時間を短縮でき、追従速度も向上できる。
【０１３７】
（第４の実施の形態）
図３８は、本発明の第４の実施の形態にかかるＨＤＤ内蔵のデジタルカメラ８００の外観構成を示す斜視図である。このデジタルカメラ８００のボディ８０１には、その背面部部にスピーカ８０２が設けられているとともに、開閉自在な蓋８０３が設けられている。この蓋８０３の外面部には、ズームスイッチ８０４、撮影スイッチ８０５、カーソル／再生操作スイッチ８０６、電源／モード切替スイッチ８０３が設けられている。また、ボディ８０１の側面部には、ファインダー兼画像モニター表示部８０８が開閉自在に設けられており、ボディ８０１の蓋８０３で覆われる部位には、ハードディスク（ＨＤＤ）媒体８０９とメモリー媒体８１０とを収納するメモリー媒体収容部８１１が設けられている。
【０１３８】
このように、本発明はこの実施の形態に示した外観構成のデジタルカメラ８００に限らず、前記実施の形態に示した外観構成のデジタルカメラ等、如何なる外観構成のデジタルカメラであっても適用することができる。また、実施の形態においては、本発明をデジタルカメラに適用するようにしたが、カメラに限らず撮像機能を備えた携帯電話等の各種機器、あるいは撮像機能を備えていないが画像記録機能を備えた画像記録装置にも本発明を適用することができる。
【図面の簡単な説明】
【０１３９】
【図１】（Ａ）は本発明の各実施の形態に共通するデジタルカメラの正面図、（Ｂ）は背面図、（Ｃ）は側面透視図である。
【図２】同デジタルカメラの概略的回路構成を示すブロック図である。
【図３】同デジタルカメラの具体的回路構成を示すブロック図である。
【図４】第１の実施の形態における処理手順を示すフローチャートである。
【図５】同実施の形態における設定モード時の処理手順を示すフローチャートである。
【図６】同実施の形態の表示画面例を示す図である。
【図７】同実施の形態における特徴抽出処理と特徴データの記録処理の概要（制御の流れ）を示す説明図である。
【図８】同実施の形態おける、画像から抽出した特徴データの記述例を示す図である。
【図９】特徴データの記述例を示す図である。
【図１０】図４に示したフロー中の、特徴量を抽出する処理の処理手順を示すサブルーチンである。
【図１１】特徴抽出処理の例を示す図である。
【図１２】輝度ヒストグラムの変換処理などにより、中間階調など画像強調を行う例、２値化処理や所定の輝度領域の抽出などの例を示す図である。
【図１３】膨脹、収縮処理の例を示す図である。
【図１４】輪郭形状の特徴を抽出する例を示す図である。
【図１５】輪郭形状の偏角関数、位置座標関数の例を示す図である。
【図１６】輪郭形状の偏角関数、位置座標関数の例を示す図である。
【図１７】輪郭形状のフーリエ記述子の例を示す図である。
【図１８】Ｇ形記述子の例を示す図である。
【図１９】Ｐ形記述子の例を示す図である。
【図２０】輪郭形状の抽出と被写体の形状識別処理の処理手順を示すフローチャートである。
【図２１】テンプレートデータの例を示す図である。
【図２２】選択された領域画像のＲＧＢヒストグラムから代表色やその分布の分散度合いを特徴抽出する処理手順例を示すフローチャートである。
【図２３】色分布や配色パターンの特徴を抽出する処理手順例を示すフローチャートである。
【図２４】所定の色の領域を抽出する例として、人間の肌色領域の抽出例を示す図である。
【図２５】人物の顔の領域における特徴データを抽出する場合の処理手順を子示すフロー説明図である。
【図２６】顔の眼の領域を抽出するためのマスクパターンの例を示す図である。
【図２７】人間の顔の簡易な識別処理手順を示すフローチャートである。
【図２８】動きベクトルなど動きの特徴を抽出する処理手順を示すフローチャートである。
【図２９】輝度ヒストグラム分布によりテクスチャーを解析する処理手順例を示すフローチャートである。
【図３０】フーリエスペクトルからテクスチャー解析する処理手順例を示すフローチャートである。
【図３１】（ａ）はフーリエスペクトルからテクスチャー解析する処理手順例を示すフローチャートであり、（ｂ）はステップＳ１１０２の説明図である。
【図３２】（ａ）は高次局所自己相関関数によるテクスチャー特徴抽出例を示すフローチャートであり、同図（ｂ）はその説明図である。
【図３３】本発明の第２の実施の形態において選択される撮影シーンを示す図である。
【図３４】同実施の形態の処理手順を示すフローチャートである。
【図３５】図３４のフローチャートに続くフローチャートである。
【図３６】本発明の第３の実施の形態における処理手順を示すフローチャートである。
【図３７】同実施の形態における処理手順に関する説明図である。
【図３８】本発明の第４の実施の形態にかかるデジタルカメラの外観構成を示す斜視図である。
【符号の説明】
【０１４０】
１    デジタルカメラ
２    本体
８    モード切替スイッチ
９    ズーム操作キー
１０    カーソルキー
１１    決定／ＯＫキー
１２    ＤＩＳＰキー
１３    メニューキー
１４    表示部
２０    電子撮像センサ
２１    駆動部
２２    制御回路
２３    プログラムメモリー
２４    データメモリー
２５    撮影制御部
２６    映像信号処理部
２７    画像メモリー
２８    表示制御部
２９    電子ファインダ
３０    伸張復号部
３１    画像＆音声メモリー媒体
３２    画像モニター
３５    操作入力部
４６    ＨＤＤ記憶装置
４８    磁気ディスク
５６    特徴抽出／認識用データメモリー
５７    特徴抽出／認識処理部
７０    外部機器
２１３    ヘッダ情報
２１４    特徴抽出
２１５    特徴抽出データ
２１５    記述符号化
２１６    特徴記述コード
２２０    入力画像
２４６    テンプレートデータ
３０１    説明文
４００    フォーカス枠
４０１    特徴抽出領域
４０２    被写体像
【図１】
2007088814.tif 000003
【図２】
2007088814.tif 000004
【図３】
2007088814.tif 000005
【図４】
2007088814.tif 000006
【図５】
2007088814.tif 000007
【図６】
2007088814.tif 000008
【図７】
2007088814.tif 000009
【図８】
2007088814.tif 000010
【図９】
2007088814.tif 000011
【図１０】
2007088814.tif 000012
【図１１】
2007088814.tif 000013
【図１２】
2007088814.tif 000014
【図１３】
2007088814.tif 000015
【図１４】
2007088814.tif 000016
【図１５】
2007088814.tif 000017
【図１６】
2007088814.tif 000018
【図１７】
2007088814.tif 000019
【図１８】
2007088814.tif 000020
【図１９】
2007088814.tif 000021
【図２０】
2007088814.tif 000022
【図２１】
2007088814.tif 000023
【図２２】
2007088814.tif 000024
【図２３】
2007088814.tif 000025
【図２４】
2007088814.tif 000026
【図２５】
2007088814.tif 000027
【図２６】
2007088814.tif 000028
【図２７】
2007088814.tif 000029
【図２８】
2007088814.tif 000030
【図２９】
2007088814.tif 000031
【図３０】
2007088814.tif 000032
【図３１】
2007088814.tif 000033
【図３２】
2007088814.tif 000034
【図３３】
2007088814.tif 000035
【図３４】
2007088814.tif 000036
【図３５】
2007088814.tif 000037
【図３６】
2007088814.tif 000038
【図３７】
2007088814.tif 000039
【図３８】
2007088814.tif 000040