(57)【要約】【課題】撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用する。【解決手段】撮影条件を設定する操作入力部104と、設定した撮影条件に従って撮影を実行する撮影レンズ群17、ＣＣＤ18を含む撮影系と、撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出／認識処理部90と、撮影で得た画像データと特徴抽出／認識処理部90で得た特徴抽出データとを対応付けて記憶する記録媒体89と、この記録媒体89に記憶した画像データと特徴抽出データを外部入出力インタフェース97を介して装置外部へ出力させる制御回路83とを備える。【選択図】図４
2007274195.tif 000002
【特許請求の範囲】
【請求項１】
撮影条件を設定する設定手段と、
この設定手段で設定した撮影条件に従って撮影を実行する撮影手段と、
この撮影手段での撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出手段と、
上記設定手段で設定した撮影条件と上記特徴抽出手段で得た特徴情報とを対応付けて撮影履歴情報として記憶する記憶手段と、
この記憶手段に記憶している複数の撮影履歴情報を集計し、その集計結果を利用してあらたに撮影を行なう際の撮影条件を決定して上記設定手段により設定させるとともに、上記撮影手段による撮影を行なわせる撮影制御手段と
を具備したことを特徴とする撮像装置。
【請求項２】
上記記憶手段に記憶している複数の撮影履歴情報を集計することにより、各種撮影条件と各種特徴情報との相関関係を抽出し、相関情報として記憶する相関抽出手段をさらに具備し、
上記撮影制御手段は、あらたに撮影を行なう撮影対象に対応する特徴情報を取得し、取得した特徴情報との相関関係を有する撮影条件を上記記憶した相関情報に基づいて特定し、特定した撮影条件を上記設定手段により設定させるとともに、上記撮影手段による撮影を行なわせる
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
撮影条件を設定する設定手段と、
この設定手段で設定した撮影条件に従って撮影を実行する撮影手段と、
この撮影手段での撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出手段と、
上記撮影手段で得た画像情報に対応した上記撮影条件と、該画像情報に対応して上記特徴抽出手段で得た特徴情報とを対応付けた撮影履歴情報を集計用の外部装置へ送信する送信手段と
を具備したことを特徴とする撮像装置。
【請求項４】
上記集計用の外部装置によって複数の撮像装置からの撮影履歴情報が集計されることにより得られた各種撮影条件と各種特徴情報との相関関係を示す相関情報を、前記集計用の外部装置より受信する受信手段と、
あらたに撮影を行なう撮影対象に対応する特徴情報を取得し、この取得された特徴情報との相関関係の高い撮影条件を前記受信した相関情報に基づいて特定し、この特定した撮影条件を前記設定手段により設定させるとともに、上記撮影手段による撮影を行なう撮影制御手段と
をさらに具備したことを特徴とする請求項３記載の撮像装置。
【請求項５】
装置外部から与えられる所定の観点を示す指定情報を入力する入力手段をさらに具備し、
上記特徴抽出手段は、上記入力手段で入力した指定情報に基づいて当該画像の特徴を示す特徴情報を抽出する
ことを特徴とする請求項３記載の撮像装置。
【請求項６】
上記入力手段は、上記指定情報に加えて撮影条件の情報も入力し、
上記設定手段は、上記入力手段より入力した情報に基づいて撮影条件を設定する
ことを特徴とする請求項５記載の撮像装置。
【請求項７】
上記送信手段は、当該撮像装置を分類する分類情報を合わせて出力し、
上記入力手段は、装置外部から与えられる、上記分類情報に対応した指定情報または撮影条件の情報を入力する
ことを特徴とする請求項５または６記載の撮像装置。
【請求項８】
撮影条件を設定する設定工程と、
この設定工程で設定した撮影条件に従って撮影を実行する撮影工程と、
この撮影工程での撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出工程と、
上記設定工程で設定した撮影条件と上記特徴抽出工程で得た特徴情報とを対応付けて撮影履歴情報として記憶する記憶工程と、
この記憶工程で記憶している複数の撮影履歴情報を集計し、その集計結果を利用してあらたに撮影を行なう際の撮影条件を決定して上記設定工程により設定させるとともに、上記撮影工程による撮影を行なわせる撮影制御工程と
を有したことを特徴とする撮像方法。
【請求項９】
撮影条件を設定する設定工程と、
この設定工程で設定した撮影条件に従って撮影を実行する撮影工程と、
この撮影工程での撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出工程と、
上記撮影工程で得た画像情報に対応した上記撮影条件と、該画像情報に対応して上記特徴抽出工程で得た特徴情報とを対応付けた撮影履歴情報を集計用の外部装置へ送信する送信工程と
を有したことを特徴とする撮像方法。
【請求項１０】
撮像装置に内蔵されるコンピュータが実行するプログラムであって、
撮影条件を設定する設定ステップと、
この設定ステップで設定した撮影条件に従って撮影を実行する撮影ステップと、
この撮影ステップでの撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出ステップと、
上記設定ステップで設定した撮影条件と上記特徴抽出ステップで得た特徴情報とを対応付けて撮影履歴情報として記憶する記憶ステップと、
この記憶ステップで記憶している複数の撮影履歴情報を集計し、その集計結果を利用してあらたに撮影を行なう際の撮影条件を決定して上記設定ステップにより設定させるとともに、上記撮影ステップによる撮影を行なわせる撮影制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１１】
撮像装置に内蔵されるコンピュータが実行するプログラムであって、
撮影条件を設定する設定ステップと、
この設定ステップで設定した撮影条件に従って撮影を実行する撮影ステップと、
この撮影ステップでの撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出ステップと、
上記撮影ステップで得た画像情報に対応した上記撮影条件と、該画像情報に対応して上記特徴抽出ステップで得た特徴情報とを対応付けた撮影履歴情報を集計用の外部装置へ送信する送信ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、予め撮影条件を指定したシーンプログラム撮影機能を有するデジタルカメラ等に好適な撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
従来、写真や撮影画像のデータはカメラの撮影処理や画像信号処理を制御するために重要な情報源であった。そのため、歴史の古いカメラメーカーでは、各種カメラマン等が撮影した膨大な写真データベースや撮影頻度データ等を元に、撮影シーン毎に最適な撮影条件が設定できるようにカメラの制御部を設計し、あるいは被写体輝度と被写体距離の頻度データ等をカメラに内蔵して撮影シーンの推定機能を設け、あるいは被写体輝度から最も頻度の高い被写体距離を推測して、最適と思われる合焦位置や露光条件、ホワイトバランスなどの撮影処理を行なうようにカメラを設計する場合もあった。
【０００３】
しかるに、銀塩フィルムを用いたカメラ（以下「銀塩カメラ」と称する）に代わって、画像情報を電子データの形で記録して保存することができるデジタルカメラが主流となった昨今では、銀塩カメラで撮影した写真と異なり、カメラユーザの特性、撮影目的、撮影対象や撮影条件、利用頻度など多くの要因が異なるものとなる。
【０００４】
加えて、時の流れに連れて消費者であるデジタルカメラユーザの好みや望ましい画質も変化するため、銀塩カメラ時代の写真の履歴データがあったとしても、デジタルカメラでの撮影や新しいカメラユーザの嗜好に合わせて情報を収集し更新し続ける必要がある。
【０００５】
一方で、パーソナルコンピュータやカメラ機能付きの携帯電話機、インターネット等の普及に伴い、カメラから個人の撮影画像や撮影情報をアップロードして特定のサーバ装置などに収集することも技術的には可能となった。
【０００６】
しかしながら、個人情報やプライバシーにも関わる情報であることなど解決しなければならない問題もあり、個人情報を含む撮影情報を収集する場合にはその体制や漏洩防止策を厳しく管理する必要がある。
【０００７】
また、カメラメーカーが所有する画像や、ユーザからの投稿等による譲渡画像のみをデータベースに利用するものとした場合、サンプル数が少なく、統計データの信頼性が低下し、あるいはカメラユーザの新しい傾向をカバーしきれないという不具合を生じることになる。
【０００８】
これら収集された多くの画像を効率よく検索する手段として、その画像コンテンツの「特徴」や特定のシーンを指し示す「しおり」等を付加しておき、これらを直接の検索対称とすることでコンテンツ検索に変える方法がある。
【０００９】
これらのメタデータの記述方法等を定めた各種のメタデータ記述規格も、汎用用途ではＤｕｂｌｉｎ  ＣｏｒｅやＭＰＥＧ７（ＩＳＯ／ＩＥＣ  １５９３８，Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｔｅｎｔ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ）、ニュース・ＴＶ放送等のコンテンツではＳＭＰＴＥやＥＢＵのＰ／Ｍｅｔａ、ＴＶ−Ａｎｙｔｉｍｅ、ＸＭＬＮｅｗｓ、ＮｅｗｓＭＬなど各種標準化が進んでいる。
【００１０】
また特許文献では、例えば撮影時の被写体距離、レンズ焦点距離、ストロボ光源情報やフィルム処理情報、露出不足画像の補正必要情報などの撮影情報を着脱自在な記録媒体に記録するようにした「外部記憶装置に情報を記録するカメラ」の技術が記載されている。（特許文献１）
ＭＰＥＧ７は、ＭＰＥＧ１，２，４のような動画データの圧縮符号化の規格とは異なり、マルチメディア・コンテンツに対するメタデータの表記方法に関する標準規格であり、コンテンツのタイトルや政策関連情報、コンテンツの内容など、人間の認識レベルに近い記述ツールから、映像コンテンツの視覚オブジェクトの色、形状、模様、動きなど、信号処理で自動的に得られる逓レベルの特徴記述ツールまで表記方法が提供されている。
【００１１】
このようにＭＰＥＧ７は、他のＳＭＰＴＥやＥＢＵのＰ／Ｍｅｔａ、ＴＶ−Ａｎｙｔｉｍｅなど特定用途向けの他のメタデータ記述規格と異なり、アプリケーションや取扱い形態、コンテンツの形態については規定していないので、様々な用途やコンテンツに利用できる。
【特許文献１】特開平０２−３０６２２８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、一般ユーザがデジタルカメラで撮影を行なった場合に、パーソナルコンピュータ等で特徴データを逐一記述したり、あるいは特徴抽出作業を行なうのに上記ＭＰＥＧ７の技術を用いることは非常に煩雑な作業が必要で、現実的ではない。
【００１３】
一般のデジタルカメラでは、撮影日時や画像サイズ、露出条件などの撮影情報を、画像データと共にＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）ヘッダ等に記録できるものは多いが、そのままでは画像の内容や特徴に関する情報が少なく、多数の画像から画像内容で検索するのには有効でなかった。
【００１４】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用することが可能な撮像装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【００１５】
請求項１記載の発明は、撮影条件を設定する設定手段と、この設定手段で設定した撮影条件に従って撮影を実行する撮影手段と、この撮影手段での撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出手段と、上記設定手段で設定した撮影条件と上記特徴抽出手段で得た特徴情報とを対応付けて撮影履歴情報として記憶する記憶手段と、この記憶手段に記憶している複数の撮影履歴情報を集計し、その集計結果を利用してあらたに撮影を行なう際の撮影条件を決定して上記設定手段により設定させるとともに、上記撮影手段による撮影を行なわせる撮影制御手段とを具備したことを特徴とする。
【００１６】
請求項２記載の発明は、上記請求項１記載の発明において、上記記憶手段に記憶している複数の撮影履歴情報を集計することにより、各種撮影条件と各種特徴情報との相関関係を抽出し、相関情報として記憶する相関抽出手段をさらに具備し、上記撮影制御手段は、あらたに撮影を行なう撮影対象に対応する特徴情報を取得し、取得した特徴情報との相関関係を有する撮影条件を上記記憶した相関情報に基づいて特定し、特定した撮影条件を上記設定手段により設定させるとともに、上記撮影手段による撮影を行なわせることを特徴とする。
【００１７】
請求項３記載の発明は、撮影条件を設定する設定手段と、この設定手段で設定した撮影条件に従って撮影を実行する撮影手段と、この撮影手段での撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出手段と、上記撮影手段で得た画像情報に対応した上記撮影条件と、該画像情報に対応して上記特徴抽出手段で得た特徴情報とを対応付けた撮影履歴情報を集計用の外部装置へ送信する送信手段とを具備したことを特徴とする。
【００１８】
請求項４記載の発明は、上記請求項３記載の発明において、上記集計用の外部装置によって複数の撮像装置からの撮影履歴情報が集計されることにより得られた各種撮影条件と各種特徴情報との相関関係を示す相関情報を、前記集計用の外部装置より受信する受信手段と、あらたに撮影を行なう撮影対象に対応する特徴情報を取得し、この取得された特徴情報との相関関係の高い撮影条件を前記受信した相関情報に基づいて特定し、この特定した撮影条件を前記設定手段により設定させるとともに、上記撮影手段による撮影を行なう撮影制御手段とをさらに具備したことを特徴とする。
【００１９】
請求項５記載の発明は、上記請求項３記載の発明において、装置外部から与えられる所定の観点を示す指定情報を入力する入力手段をさらに具備し、上記特徴抽出手段は、上記入力手段で入力した指定情報に基づいて当該画像の特徴を示す特徴情報を抽出することを特徴とする。
【００２０】
請求項６記載の発明は、上記請求項５記載の発明において、上記入力手段は、上記指定情報に加えて撮影条件の情報も入力し、上記設定手段は、上記入力手段より入力した情報に基づいて撮影条件を設定することを特徴とする。
【００２１】
請求項７記載の発明は、上記請求項５または６記載の発明において、上記送信手段は、当該撮像装置を分類する分類情報を合わせて出力し、上記入力手段は、装置外部から与えられる、上記分類情報に対応した指定情報または撮影条件の情報を入力することを特徴とする。
【００２２】
請求項８記載の発明は、撮影条件を設定する設定工程と、この設定工程で設定した撮影条件に従って撮影を実行する撮影工程と、この撮影工程での撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出工程と、上記設定工程で設定した撮影条件と上記特徴抽出工程で得た特徴情報とを対応付けて撮影履歴情報として記憶する記憶工程と、この記憶工程で記憶している複数の撮影履歴情報を集計し、その集計結果を利用してあらたに撮影を行なう際の撮影条件を決定して上記設定工程により設定させるとともに、上記撮影工程による撮影を行なわせる撮影制御工程とを有したことを特徴とする。
【００２３】
請求項９記載の発明は、撮影条件を設定する設定工程と、この設定工程で設定した撮影条件に従って撮影を実行する撮影工程と、この撮影工程での撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出工程と、上記撮影工程で得た画像情報に対応した上記撮影条件と、該画像情報に対応して上記特徴抽出工程で得た特徴情報とを対応付けた撮影履歴情報を集計用の外部装置へ送信する送信工程とを有したことを特徴とする。
【００２４】
請求項１０記載の発明は、撮像装置に内蔵されるコンピュータが実行するプログラムであって、撮影条件を設定する設定ステップと、この設定ステップで設定した撮影条件に従って撮影を実行する撮影ステップと、この撮影ステップでの撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出ステップと、上記設定ステップで設定した撮影条件と上記特徴抽出ステップで得た特徴情報とを対応付けて撮影履歴情報として記憶する記憶ステップと、この記憶ステップで記憶している複数の撮影履歴情報を集計し、その集計結果を利用してあらたに撮影を行なう際の撮影条件を決定して上記設定ステップにより設定させるとともに、上記撮影ステップによる撮影を行なわせる撮影制御ステップとをコンピュータに実行させることを特徴とする。
【００２５】
請求項１１記載の発明は、撮像装置に内蔵されるコンピュータが実行するプログラムであって、撮影条件を設定する設定ステップと、この設定ステップで設定した撮影条件に従って撮影を実行する撮影ステップと、この撮影ステップでの撮影により得た画像情報中から所定の観点に基づいて当該画像の特徴を示す特徴情報を抽出する特徴抽出ステップと、上記撮影ステップで得た画像情報に対応した上記撮影条件と、該画像情報に対応して上記特徴抽出ステップで得た特徴情報とを対応付けた撮影履歴情報を集計用の外部装置へ送信する送信ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００２６】
請求項１記載の発明によれば、撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用することが可能となるだけでなく、撮影により得た画像から抽出した特徴抽出情報を集計し、その特徴情報を取得することで、あらたな撮影実行時の撮影条件の設定に有効に活用することができる。
【００２７】
請求項２記載の発明は、上記請求項１記載の発明の効果に加えて、あらたな撮影実行時に過去の撮影履歴のうちの相関関係の高い撮影条件を読出して設定することができる。
【００２８】
請求項３記載の発明によれば、撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用することが可能となるだけでなく、例えばパーソナルコンピュータ等の外部の情報処理装置を利用して、撮影条件と撮影結果との相関や撮影条件と撮影シーンとの相関などの分析を行なわせるべく外部出力する際に、必ずしも撮影画像そのものまで出力する必要がないので、例えば外部出力の負荷が重い場合やプライベートな撮影画像を外部出力したくない場合でも問題なく対応することができる。
【００２９】
請求項４記載の発明によれば、上記請求項３記載の発明の効果に加えて、外部装置から受信した相関情報を用いることで、より多彩な撮影条件による撮影を実行することができる。
【００３０】
請求項５記載の発明によれば、上記請求項３記載の発明の効果に加えて、例えば広域ネットワークを介して複数の撮像装置からの情報を収集可能なサーバ装置に対し、集計や分析に有効な情報を各撮像装置が共通して提供することができる。
【００３１】
請求項６記載の発明によれば、上記請求項５記載の発明の効果に加えて、多くの人々が様々なシーンの撮影に際して設定している撮影パラメータを誰でも有効に活用することができると共に、所望の撮影結果を得るために必要な撮影条件を自己の経験だけに頼らず、他人の撮影結果を参考として決定することができる。
【００３２】
請求項７記載の発明によれば、上記請求項５または６記載の発明の効果に加えて、自己の撮像装置に適した各種の情報のみを自動的に選別して取得し、活用することが可能となる。
【００３３】
請求項８記載の発明によれば、撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用することが可能となるだけでなく、撮影により得た画像から抽出した特徴抽出情報を集計し、その特徴情報を取得することで、あらたな撮影実行時の撮影条件の設定にも有効に活用することができる。
【００３４】
請求項９記載の発明によれば、撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用することが可能となるだけでなく、例えばパーソナルコンピュータ等の外部の情報処理装置を利用して、撮影条件と撮影結果との相関や撮影条件と撮影シーンとの相関などの分析を行なわせるべく外部出力する際に、必ずしも撮影画像そのものまで出力する必要がないので、例えば外部出力の負荷が重い場合やプライベートな撮影画像を外部出力したくない場合でも問題なく対応することができる。
【００３５】
請求項１０記載の発明によれば、撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用することが可能となるだけでなく、撮影により得た画像から抽出した特徴抽出情報を集計し、その特徴情報を取得することで、あらたな撮影実行時の撮影条件の設定にも有効に活用することができる。
【００３６】
請求項１１記載の発明によれば、撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用することが可能となるだけでなく、例えばパーソナルコンピュータ等の外部の情報処理装置を利用して、撮影条件と撮影結果との相関や撮影条件と撮影シーンとの相関などの分析を行なわせるべく外部出力する際に、必ずしも撮影画像そのものまで出力する必要がないので、例えば外部出力の負荷が重い場合やプライベートな撮影画像を外部出力したくない場合でも問題なく対応することができる。
【発明を実施するための最良の形態】
【００３７】
以下本発明をコンパクトタイプのデジタルカメラに適用した場合の実施の一形態について図面を参照して説明する。
【００３８】
図１は本発明に係るデジタルカメラ１０の主にその外観構成を示すもので、図１（Ａ）が正面図、図１（Ｂ）が左側面図、図１（Ｃ）が背面図である。
【００３９】
このデジタルカメラ１０の正面、左端上部に撮影光学系受光窓１１が配置される他、同正面の略中央上部にストロボ発光部１２、同正面の左端に沿ってグリップ部１３が配置される。
【００４０】
また、デジタルカメラ１０の上面、右端側には、電源スイッチ１４及びシャッタスイッチ１５が配置される。
【００４１】
図１（Ｂ）は、このデジタルカメラ１０内部の撮影光学系の構成を示すものである。このデジタルカメラ１０は、撮影系に屈折光学系を採用するものとし、上記撮影光学系受光窓１１より入射した光像は、ミラー（またはプリズム）１６で４５°反射されてこのデジタルカメラ１０の筐体に平行な光束とされた後、撮影レンズ群１７を介した後に撮像素子であるＣＣＤ１８上で結像される。
【００４２】
撮影レンズ群１７は、インナーフォーカス方式及びインナーズーム方式を採用しており、撮影光軸に沿って適宜所定のレンズが移動することによりズーム角度及びフォーカス位置を変化させるものとしている。
【００４３】
また、デジタルカメラ１０の背面には、基本モードである撮影モードと再生モードとを切換えるモード切替スイッチ１９、ズームスイッチ２０、リング状のカーソルキー２１、同カーソルキー２１の中央に位置するエンターキー２２、ディスプレイ切替キー２３、メニューキー２４の各種操作キーが配置されると共に、バックライト付きのカラー液晶パネルでなる表示部２５が配置される。
【００４４】
この表示部２５は、撮影モード時には上記ＣＣＤ１８で結像されている画像を他の各種撮影条件の情報等と共にスルー表示する電子ファインダとして機能する一方で、再生モード時には選択した画像を表示するモニタ表示部として機能する。
【００４５】
また、デジタルカメラ１０の筐体底面には、記録媒体であるメモリカード及び電源であるリチウムイオン充電池パックを収納するための収納蓋２６が設けられると共に、例えばＵＳＢコネクタによる外部入出力端子２７が配設される。
【００４６】
図２は、上記デジタルカメラ１０に代わる、本実施の形態の他のデジタルカメラ１０′の外観構成を例示するものである。図２（Ａ）は左後方からの背面構成を示す図、図２（Ｂ）は同背面側の各種媒体収納構成を示す図である。
【００４７】
前面側に撮影レンズ部３１、マイクロホン３２を備えるデジタルカメラ１０′は、その左側面にバックライト付きのカラー液晶パネルでなる表示部３３を備える。この表示部３３は、その基部が互いに直交する２軸に沿ってそれぞれ所定角度範囲内で回動可能となることで、非使用時には画面をデジタルカメラ１０′内面側に向けて収納可能となると共に、使用時には引き起こしてユーザの好みに応じ、図２（ａ）に示す如く画面を任意の方向に向けることが可能となる。
【００４８】
この表示部３３も、上記デジタルカメラ１０の表示部３３と同様に撮影モード時には電子ファインダとして、再生モード時にはモニタ表示部として機能する。
【００４９】
デジタルカメラ１０′の背面には、その上側より、スピーカ３４、ズームスイッチ３５、撮影スイッチ３６、リング状のカーソルスイッチ３７、該カーソルスイッチ３７の中央に位置した再生スイッチ３８、電源／モード切替スイッチ３９、外部入出力端子４０，４１が配設される。
【００５０】
これらのうち、スピーカ３４を除く各スイッチ３５〜３９、及び外部入出力端子４０，４１は、デジタルカメラ１０′の筐体背面側を形成する開閉蓋４２の外面に形成されるもので、この開閉蓋４２は図２（Ｂ）に示すようにデジタルカメラ１０′本体に対して片開きで開閉することができる。この開閉蓋４２を開けた状態で、図示する如く共に記録媒体であるハードディスクユニット４３とメモリカード４４とをそれぞれ所定の位置に着脱可能となる。
【００５１】
図３は、上記デジタルカメラ１０の概念的なシステム構成を示すものである。同図で、上記電源スイッチ１４、シャッタスイッチ１５、モード切替スイッチ１９、ズームスイッチ２０、カーソルキー２１、エンターキー２２、ディスプレイ切替キー２３、及びメニューキー２４を含む操作入力部５１でのキー操作信号が撮影・記録制御部５２、撮影条件設定部５３、及び特徴抽出・記述設定部５４に与えられる。
【００５２】
撮影・記録制御部５２は、撮影部５５、信号処理部５６、画像データメモリ５７、特徴抽出部５８に対して撮影条件や動作タイミング等を制御することで撮影とその撮影に伴って得られる画像データの記録とを制御する。
【００５３】
撮影部５５は、上記撮影レンズ群１７及びＣＣＤ１８を含み、撮影によるデジタル値の画像データを得て信号処理部５６へ出力する。
【００５４】
信号処理部５６は、撮影部５５から与えられる画像データに所定のプロセス処理等を施した上でバッファメモリとして機能する画像データメモリ５７へ出力する。
【００５５】
この画像データメモリ５７に保持された画像データは必要により上記特徴抽出部５８と画像・動画像圧縮／符号化部５９に読出される。
【００５６】
画像・動画像圧縮／符号化部５９は、例えば画像データが静止画像であればＪＰＥＧ、動画像であればＭＰＥＧの規格に従ってデータ圧縮と符号化等を行ない、得た符号化データとしての画像データを多重化部６０及び上記特徴抽出部５８へ出力する。
【００５７】
上記特徴抽出・記述設定部５４は、操作入力部５１でのキー操作信号と上記撮影条件設定部５３から与えられる撮影条件とに従って特徴抽出を行なう要素とその記述方法とを設定し、上記特徴抽出部５８及び特徴データ符号化部６１へ送出する。
【００５８】
特徴抽出部５８は、上記特徴抽出・記述設定部５４で設定された特徴情報に基づき、上記画像・動画像圧縮／符号化部５９が出力するデータ圧縮を施した画像データに対して特徴抽出処理を行なって処理結果である「特徴抽出Ａ」を得る一方で、上記画像データメモリ５７が出力する、データ圧縮前の画像データに対しても特徴抽出処理を行なって処理結果である「特徴抽出Ｂ」を得る、というように特徴抽出処理を特徴抽出・記述設定部５４から設定される特徴情報の数に応じて実行し、それらの処理結果を特徴データ符号化部６１、比較回路６２へ出力する。
【００５９】
特徴データ符号化部６１は、特徴抽出部５８で抽出された特徴量のデータを符号化して特徴記述データとした上で上記多重化部６０及び更新記録制御部６３へ出力する。
【００６０】
多重化部６０は、画像・動画像圧縮／符号化部５９から与えられる画像データと、特徴データ符号化部６１から与えられる特徴記述データとを多重化して関連付けた上でメモリ制御部６４へ出力する。
【００６１】
メモリ制御部６４は、このデジタルカメラ１０の記録媒体である画像データメモリ６５に画像データと特徴記述データとを関連付けて最大その容量に応じた分だけ記録する。
【００６２】
この画像データメモリ６５に記憶された画像データ及び特徴記述データは、必要により外部入出力部６６によってこのデジタルカメラ１０の外部の装置、例えば図示しないパーソナルコンピュータ等に読出される。
【００６３】
上記更新記録制御部６３は、特徴データ符号化部６１からの特徴記述データを用い、すでに特徴記述データに基づいて撮影シーンと撮影条件とを記憶する統計記憶部６７の内容を更新設定する。
【００６４】
この統計記憶部６７の記憶内容は、上記比較回路６２及び上記撮影条件設定部５３へ適宜読出される。
【００６５】
比較回路６２は、特徴抽出部５８から与えられる（撮影により得た）画像データから抽出した特徴量のデータと統計記憶部６７に記憶される特徴量のデータとを比較し、その比較結果を上記撮影条件設定部５３へ出力する。
【００６６】
また、上記画像データメモリ６５及び統計記憶部６７の各記憶内容はそれぞれ、外部入出力部６６により外部から入力される内容によって適宜書き換えられる。
【００６７】
しかるに、書き換えられた画像データメモリ６５の内容は、再生制御部６８からの指示を受けたメモリ制御部６４により取り出され、多重分離部６９により画像データと特徴記述データとに分離されて、画像データは画像・動画像伸張／復号化部７０へ、特徴記述データは特徴データ複合化部７１へそれぞれ送出する。
【００６８】
画像・動画像伸張／復号化部７０は、上記画像・動画像圧縮／符号化部５９でのデータ圧縮とは全く逆の手順で、データ圧縮、符号化されている画像データを伸長して復号化し、上記再生制御部６８へ出力する。
【００６９】
この再生制御部６８は、送られてきた画像データを画像データメモリ５７に一旦記憶させた上でこれを読出して表示制御部７２へ出力させる。
【００７０】
表示制御部７２は、上記再生制御部６８からの制御の下に、画像データメモリ５７から読出された画像データから表示データを作成し、表示部７３を表示駆動して当該画像を表示させる。この表示部７３は、上記表示部２５とその駆動回路とで構成する。
【００７１】
次に図４により上記デジタルカメラ１０の具体的な回路構成を、外部機器との接続等も併せて例示する。同図は、上述した図３の概念的なシステム構成とは多少接続関係等が異なる。
【００７２】
同図で、撮影レンズ群１７はその一部のレンズがレンズドライバ８０に駆動されて光軸中の位置を移動させ、撮影光像をＣＣＤ１８に結像させる。このＣＣＤ１８で得られる画像信号が映像信号処理部８１に送られ、デジタル化された後に各種プロセス処理を経て画像メモリ８２及び制御回路８３に送られる。
【００７３】
また、音声録音時及び動画撮影時にはマイク８４により入力された音声信号がアンプ８５で増幅された後にＡ／Ｄ変換回路８６でデジタル化され、音声メモリ８７に保持される。
【００７４】
制御回路８３は、画像メモリ８２に保持された画像データ及び音声メモリ８７に保持された音声データを読出し、圧縮符号化・伸長復号化８８で所定のデータ圧縮処理を施した後にメモリカード等の着脱自在な記録媒体８９に記録される。
【００７５】
一方で、画像メモリ８２は上記画像メモリ８２から読出した画像データ及び音声メモリ８７から読出した音声データを特徴抽出／認識処理部９０へも送出する。
【００７６】
この特徴抽出／認識処理部９０は、シーン・撮影条件の統計データメモリ９１に記憶される内容に基づいて画像データ、音声データの特徴抽出を行ない、抽出結果のデータファイルを上記圧縮符号化・伸長復号化８８に送出して、元の画像データ、音声データに併せて記録媒体８９に記録させる。
【００７７】
シーン・撮影条件の統計データメモリ９１の内容は、適宜上記制御回路８３により更新設定される。
【００７８】
制御回路８３は、プログラムメモリ９２に固定的に記憶されている動作プログラムに基づき、データメモリ９３に適宜必要なデータの書込み／読出しを行ないながら画像と音声の記録／再生動作を含むこのデジタルカメラ１０全体の制御動作を実行するものであり、他に撮影制御部９４、表示制御部９５、入力回路９６、外部入出力インタフェース９７、ハードディスクインタフェース（ＨＤＤ・ＩＦ）９８、及びＤ／Ａ変換回路９９とも接続される。
【００７９】
撮影制御部９４は、測距センサ１００で得られるセンサ出力から測光／測距部１０１が出力する測距データと制御回路８３からの制御信号とに基づき、上記レンズドライバ８０、ＣＣＤ１８、及び映像信号処理部８１での撮影動作を制御する。
【００８０】
表示制御部９５は、制御回路８３より与えられる表示データに基づいて上記表示部２５を表示駆動することで、この表示部２５を撮影時には電子ファインダとして、再生時には表示モニタとして機能させる。
【００８１】
入力回路９６は、上記電源スイッチやシャッタスイッチ等の各種キースイッチからなる操作入力部１０４からの操作信号を受付けて制御回路８３に送出する。
【００８２】
外部入出力インタフェース９７は、上記外部入出力端子２７と制御回路８３との間で各種規格に従ったデータ等を送受する。
【００８３】
ハードディスクインタフェース９８は、上記図２で示したデジタルカメラ１０′のように、記録媒体としてメモリカードのみならずハードディスクユニット４３を装着する場合に制御回路８３との間での仲介を行なうものであり、装着されたハードディスクユニット４３は上記記録媒体８９の容量を拡大するものとして機能する。
【００８４】
Ｄ／Ａ変換回路９９は、音声データの再生時に、制御回路８３から与えられるデジタルＬ音声データをアナログ化するもので、出力した音声信号はアンプ１０２で適宜増幅された後にデジタルカメラ１０の背面側に配置されたスピーカ１０３により拡声放音される。
【００８５】
なお、上記外部入出力端子２７には、例えば図示する如く外部機器としてのパーソナルコンピュータ（ＰＣ）１１０がライン接続される。
【００８６】
このパーソナルコンピュータ１１０は、予めこのデジタルカメラ１０用のドライバソフトウェアをインストールしておくことでデジタルカメラ１０との接続時に、記録媒体８９に記録されている画像／音声データと特徴記述データ等を自動的にアップロードすることが可能となる他、上記シーン・撮影条件の統計データメモリ９１の記憶内容も適宜更新設定可能となる。
【００８７】
すなわち、パーソナルコンピュータ１１０は、それぞれゲートウェイ（ＧＷ）を介してインターネット１１１経由で、例えばこのデジタルカメラ１０のメーカが運営するサーバ装置１１２と接続し、デジタルカメラ１０用のバージョンアップ用ファームウェアやシーン・撮影条件の統計データ等、各種データをダウンロードし、デジタルカメラ１０に更新設定させる。
【００８８】
サーバ装置１１２では、インターネット１１１を介して予めユーザ会員登録した不特定多数のパーソナルコンピュータから送られてくる画像データと特徴抽出データ等を画像データベース（ＤＢ）１１３に蓄積記憶し、デジタルカメラの機種など各種の分類に基づいた統計データを算出して記憶しておき、その内容を当該ユーザ会員の所有するパーソナルコンピュータに配信する。
【００８９】
次いで上記実施の形態の動作について説明する。
【００９０】
図５乃至図７は、上記デジタルカメラ１０での電源投入後からの全般的な処理内容を示すものである。その当初には、まず基本モードが撮影モードとなっているか否かをモード切替スイッチ１９の操作位置により判断する（ステップＡ０１）。
【００９１】
撮影モードである場合には、撮影モードを選択した上で（ステップＡ０２）、次にオート撮影モードまたはシーン識別モードが設定されているか否かを前回電源を切断した時点での記憶設定の内容により判断する（ステップＡ０３）。
【００９２】
オート撮影モードまたはシーン識別モードが設定されていると判断した場合には、直ちに測光処理と前回電源を切断した時点でのズーム位置に復帰する処理とを実行した上で（ステップＡ０４，Ａ０５）、測光処理により得た被写体輝度とズーム処理によるレンズ焦点距離等を検出する（ステップＡ０６）。
【００９３】
次いで、その時点で得られる画像データから画像の特徴量を抽出する（ステップＡ０７）。この特徴量の抽出処理の詳細な内容については、後に詳述する。
【００９４】
抽出した特徴量と上記シーン・撮影条件の統計データメモリ９１に記憶される撮影履歴の統計データとにより、撮影シーンを自動選択する（ステップＡ０８）。
【００９５】
なお、上記ステップＡ０３でオート撮影モードまたはシーン識別モードが設定されていないと判断した場合には、次いで予め設定された複数のシーンプログラムのうちの１つを選択するシーン別撮影モードが設定されているか否かを判断する（ステップＡ０９）。
【００９６】
ここで、シーン別撮影モードは設定されていないと判断した場合には、その他のモードでの処理を行なうが（ステップＡ２６）、本発明に係る内容とは関連がないためにここではその説明を省略するものとする。
【００９７】
一方、上記ステップＡ０９でシーン別撮影モードが設定されていると判断した場合には、ユーザの操作に応じて撮影シーンを選択する処理を実行した上で（ステップＡ１０）、その選択した撮影シーンの内容に従ってあらためて測光処理とズーム処理とを実行し（ステップＡ１１，Ａ１２）、測光処理により得た被写体輝度とズーム処理によるレンズ焦点距離等を検出する（ステップＡ１３）。
【００９８】
上記ステップＡ０８またはＡ１３の処理後、その時点で選択されている撮影シーンに対応する撮影条件データをシーン・撮影条件の統計データメモリ９１から読出す（ステップＡ１４）。
【００９９】
この読出した撮影条件のデータに従い、ＡＦ（自動合焦）を行なう範囲を設定した上でフォーカスエリアの選択も含む当該範囲内でのＡＦ処理を実行する（ステップＡ１５）。
【０１００】
次に選択された撮影シーンに応じて露出条件、ホワイトバランス（ＷＢ）、ストロボ発光部１２の発光条件などの撮影条件を設定する（ステップＡ１６）。
【０１０１】
こうしてストロボの発光条件を除き、設定した撮影条件上でＣＣＤ１８を介して得られるその時点の画像データを撮影条件の情報と共に表示部２５にてスルー表示しながら（ステップＡ１７）、シャッタスイッチ１５による撮影指示の操作または他のキースイッチ操作があるのを待機する（ステップＡ１８）。
【０１０２】
ここで、シャッタスイッチ１５以外のキースイッチが操作された場合には、その操作されたキースイッチに応じたキー処理を行ない（ステップＡ２４）、そのキー処理結果に応じた表示処理を行なった上で（ステップＡ２５）、操作されたキーに応じた処理位置に復帰する。
【０１０３】
また、上記ステップＡ１８でシャッタスイッチ１５が操作されたと判断すると、その操作に対応して上記設定した条件でストロボを発光処理するのと同期して撮影処理を実行し（ステップＡ１９）、撮影により得た画像データを圧縮符号化・伸長復号化８８でデータ圧縮、符号化してこのデジタルカメラ１０の記録媒体８９に記録する（ステップＡ２０）
。
【０１０４】
併せて、特徴抽出／認識処理部９０でデータ圧縮前の画像データから特徴データを抽出し、撮影条件の特徴データと共に元の画像データに関連付け、具体的には識別子は別にして同一のファイル名を付与するようにして記録媒体８９に記録する（ステップＡ２１）。
【０１０５】
その後、撮影により記録した画像データと撮影条件等の情報とを表示部２５にて一定時間、例えば２秒間だけレビュー表示する（ステップＡ２２）。
【０１０６】
最後に、撮影シーンと被写体距離、レンズ焦点距離、露出条件、ホワイトバランス設定値、ストロボ発光条件などの特徴量、撮影条件等の履歴データをシーン・撮影条件の統計データメモリ９１に追加記憶した上で、静止画像と動画、音声メモ等の撮影モード別に再度集計処理し（ステップＡ２３）、以上で撮影に係る一連の処理を終えたものとして、次の撮影に備えるべく上記ステップＡ１８からの処理に戻る。
【０１０７】
また、上記ステップＡ０１で電源投入当初に基本モードが撮影モードではないと判断した場合には、次いで外部機器としてのパーソナルコンピュータ１１０との通信を行なう通信モードであるか否かを判断する（ステップＡ２７）。
【０１０８】
ここで該通信モードでもないと判断した場合には、その他のモードでの処理を行なうが（ステップＡ２６）、本発明に係る内容とは関連がないためにここではその説明を省略するものとする。
【０１０９】
また、上記ステップＡ２８で通信モードであると判断した場合には、当該部位武器機能パーソナルコンピュータ１１０等との同期確率等を含む接続処理を行なった上で（ステップＡ２８）、認証処理を行なう（ステップＡ２９）。
【０１１０】
この認証処理としては、パーソナルコンピュータ１１０側がデジタルカメラ１０の機種名、製造番号等のデータで予め登録されている内容により真正性判断を行なう。
【０１１１】
上記認証処理を経てデータの送受が許可されると、新規に記録媒体８９に記録された画像データとその特徴量データとを読出し、外部入出力端子２７を介してパーソナルコンピュータ１１０側の予め設定されているアルバム領域に送信する（ステップＡ３０）。
【０１１２】
次いで、このパーソナルコンピュータ１１０がその時点でインターネット１１１経由でサーバ装置１１２とも接続しているか否かを判断する（ステップＡ３１）。
【０１１３】
このとき、サーバ装置１１２と接続されていないと判断した場合には、以上でこのパーソナルコンピュータ１１０との接続を終了するものとして設定処理を実行し（ステップＡ３８）、上記ステップＡ０１からの処理に戻る。
【０１１４】
また、上記ステップＡ３１でパーソナルコンピュータ１１０がその時点でサーバ装置１１２と接続されていると判断した場合には、次いで事前のユーザ設定により撮影履歴の収集を許可する状態となっているか否かを判断する（ステップＡ３２）。
【０１１５】
ここで許可する状態となっていると判断した場合にのみ、上述した撮影情報や撮影履歴情報を暗号化してパーソナルコンピュータ１１０経由でサーバ装置１１２へ送信する（ステップＡ３３）。
【０１１６】
その後、サーバ装置１１２から送られてくる当該デジタルカメラ１０用の制御ソフトウェアの更新プログラムデータを受信し（ステップＡ３４）、受信した内容によりプログラムメモリ９２の更新設定処理を行なう（ステップＡ３５）。
【０１１７】
次いでシーン・撮影条件の統計データメモリ９１に記憶している統計データの更新分をサーバ装置１１２から受信し（ステップＡ３６）、受信した内容により統計データメモリ９１の更新設定処理を行なう（ステップＡ３７）。
【０１１８】
以上でこのパーソナルコンピュータ１１０との接続を終了するものとして設定処理を実行し（ステップＡ３８）、上記ステップＡ０１からの処理に戻る。
【０１１９】
次に、このデジタルカメラ１０において各種設定を行なう設定モード時の動作について、図８及び図９のフローチャートと、図１０乃至図１２の操作画面例とを用いて説明する。
【０１２０】
設定モードは、上記メニューキー２４とカーソルキー２１の上または下方向のキー操作により選択するもので、その処理当初に設定モードが設定されているか否かを確認のために判断し（ステップＢ０１）、設定されていない場合にはその他のモードでの処理を行なうが（ステップＢ０２）、本発明に係る内容とは関連がないためにここではその説明を省略するものとする。
【０１２１】
上記ステップＢ０１で設定モードが設定されていることを確認すると、次いで特徴抽出の設定モードであるか否かを判断する（ステップＢ０３）。
【０１２２】
ここでも、特徴抽出以外の設定モード、例えば画像サイズや画質の設定を行なう場合についてはそれぞれそのモードでの処理を行なうが（ステップＢ０４）、本発明に係る内容とは関連がないためにここではその説明を省略するものとする。
【０１２３】
しかして、特徴抽出の設定モードであると判断すると、設定状態の表示など、設定モードでの表示処理を行なう（ステップＢ０５）。
【０１２４】
図１０（Ａ）は、表示部２５での「特徴抽出・識別」の設定画面を例示するもので、その先頭に位置する「抽出被写体にＡＦ」なる項目名が併せて表示されている状態を示す。
【０１２５】
このような表示状態から、メニューキー２４の上または下方向のキーとエンターキー２２との操作によって、「特徴抽出による撮影方法の選択」「特徴データの記録の設定」「特徴データの選択」「特徴抽出方法の選択」「特徴データの記述様式の選択」「識別する被写体の選択」のいずれかであるかを順次判断する（ステップＢ０６〜Ｂ１１）。
【０１２６】
選択された項目が「特徴抽出による撮影方法の選択」であった場合、ステップＢ０６でこれを判断し、操作に応じて特徴抽出するか否か、また特徴抽出による撮影処理の種別を選択する（ステップＢ１２）。
【０１２７】
図１０（Ｂ）は当該項目中のさらに各種小項目を例示するもので、ここでは「（特徴抽出の）ＯＦＦ（抽出しない）」「被写体の特徴記録」「被写体を識別・分類」「撮影シーンを自動選択」「抽出被写体にＡＦ」「抽出被写体を追尾」‥‥「抽出個数をカウント」等の項目名を例にとって列挙している。
【０１２８】
また、選択された項目が「特徴データの記録の設定」であった場合、ステップＢ０７でこれを判断し、操作に応じて特徴データを付加して記録するか否かを設定する（ステップＢ１３）。
【０１２９】
また、選択された項目が「特徴データの選択」であった場合、ステップＢ０８でこれを判断し、操作に応じて、抽出したい特徴項目または特徴量を選択した上で（ステップＢ１４）、それら選択された特徴項目、特徴量に基づいて、特徴抽出方法を選択する（ステップＢ１５）。
【０１３０】
また、選択された項目が「特徴抽出方法の選択」であった場合、ステップＢ０９でこれを判断し、操作に応じて、オートまたはカスタム設定の特徴抽出方法を選択する（ステップＢ１６）。
【０１３１】
図１１（Ａ）は、この「特徴抽出方法」を選択している状態を示すものであり、この項目を選択することでさらに図１１（Ｂ）に示すように「撮影シーン」や「色の抽出」「輪郭の抽出」「テクスチャ抽出」「動きの抽出」「配置の抽出」等、各種詳細なカスタム設定を行なうことができる点を例示している。
【０１３２】
また、選択された項目が「特徴データの記述様式の選択」であった場合、ステップＢ１０でこれを判断し、次に送付先別に設定を行なうか否かの選択を行なう（ステップＢ１７）。
【０１３３】
ここで、送付先別に設定を行なうことを選択した場合には、操作に応じて、送付先別に送付する特徴データ及び特徴記述様式を選択する（ステップＢ１８）。
【０１３４】
一方、ステップＢ１７で送付先別に設定を行なわないと選択した場合には、操作に応じて特徴データ及び特徴記述様式を１通りのみ選択する（ステップＢ１９）。
【０１３５】
上記ステップＢ１８またはＢ１９の処理後、撮影履歴情報のアップロード送信を許可するか否かを選択する（ステップＢ２０）。
【０１３６】
ここで許可すると選択した場合にのみ、操作に応じて、サーバ装置１１２にアップロード送信する特徴データ、撮影条件、及び特徴記述様式等を選択する（ステップＢ２１）。
【０１３７】
図１２（Ａ）は、この「撮影履歴情報の（アップロード）送信」の許可選択を行なう状態を示すものであり、この項目を選択することでさらに図１２（Ｂ）に示すようなアップロード先のサーバのＵＲＬ、特徴記述様式、暗号化の有無とアップロードする具体的な内容（「画像データ」「撮影日時」「撮影場所」「撮影条件」「色の分布」「輪郭形状」「テクスチャ」「動き」等）とを個々に選択する。
【０１３８】
また、選択された項目が「識別する被写体の選択」であった場合、ステップＢ１１でこれを判断し、操作に応じて、特徴データに基づいて識別する被写体の種類または識別方法を選択する（ステップＢ２２）。
【０１３９】
なお、上記ステップＢ１１で識別する被写体の選択でもないと判断した場合には、その他のキー処理を行なう（ステップＢ２３）。
【０１４０】
上記ステップＢ０６〜Ｂ１１での各選択結果に基づいた設定処理を実行した後、その設定結果に対応した表示内容の更新等の処理を行なった上で（ステップＢ２４）、設定モード以前の処理に復帰する。
【０１４１】
次に、このデジタルカメラ１０とパーソナルコンピュータ１１０、及びインターネット１１１を介したサーバ装置１１２との接続構成について説明する。
【０１４２】
図１３は、撮影シーンや撮影条件の撮影履歴情報の集計機能や画像検索機能をデジタルカメラ１０の外部であるサーバ装置１１２側が有する場合の機能構成について例示するものである。
【０１４３】
同図で、デジタルカメラ１０側のファームウェアＰ１０上で動作するアプリケーションプログラムとして、カメラ制御プログラムＰ１１とＰＣ転送プログラムＰ１２とが存在し、記録媒体８９に記録される画像データ及びそれらに関連付けられた特徴記述データと、プログラムメモリ９２及びデータメモリ９３に記憶されたプログラムデータ、撮影条件等の統計データの内容をパーソナルコンピュータ１１０との間で送受する。
【０１４４】
このデジタルカメラ１０と例えばＵＳＢ接続されるパーソナルコンピュータ１１０では、基本ソフトであるＯＳ（オペレーティングシステム）Ｐ１１０上で動作するＷＷＷ（Ｗｏｒｌｄ  Ｗｉｄｅ  Ｗｅｂ）ブラウザＰ１１１とデジタルカメラ１０専用のドライバソフトの一部であるカメラ転送ソフトＰ１１２とが必要なアプリケーションプログラムとして少なくとも存在する。
【０１４５】
このパーソナルコンピュータ１１０とインターネット１１１経由で接続されるサーバ装置１１２の機能構成は図示する通りである。
【０１４６】
すなわちこのサーバ装置１１２では、デジタルカメラ１０を所有する会員の認証等を行なうＣＧＩ（Ｃｏｍｍｏｎ  Ｇａｔｅｗａｙ  Ｉｎｔｅｒｆａｃｅ）プログラムＰ２０１、画像データと特徴記述データの登録等を行なうＣＧＩプログラムＰ２０２、及び画像データ等の検索等を行なうＣＧＩプログラムＰ２０３を中心とし、これらをＨＴＭＬ文書及びＸＭＬ文書を格納する文書データベースＤ２０４を介してこのサーバ装置１１２全体の統括制御を行なうサーバソフトＰ２０５に接続して構成する。
【０１４７】
ＣＧＩプログラムＰ２０１は、認証ソフトＰ２０６を介して会員登録データベースＤ２０７の記憶内容を参照することで会員の認証、新規登録、抹消等の処理を行なう。
【０１４８】
ＣＧＩプログラムＰ２０２は、画像登録ソフトＰ２０８、記述言語エンコーダＣ２０９を介して画像データを記憶する画像データベースＤ２１０、特徴記述データを記憶する特徴記述データベースＤ２１１への登録、更新を行なう。
【０１４９】
これら画像データベースＤ２１０、特徴記述データベースＤ２１１の記憶内容は、検索ソフトＰ２１２、記述言語デコーダＣ２１３により上記ＣＧＩプログラムＰ２０３に読出される。
【０１５０】
一方で、撮影シーン及び撮影条件の集計ソフトＰ２１４が上記特徴記述データベースＤ２１１に対して直接アクセスして特徴記述データを読出し、上記上記記述言語デコーダＣ２１３を介して特徴記述データを得ることで集計処理を行なうもので、その集計結果は配信データベースＤ２１５にシーン・撮影条件の統計データとして更新記憶される。
【０１５１】
この配信データベースＤ２１５にはまた、カメラプログラムの更新データも記憶されるもので、これらの記憶内容が上記サーバソフトＰ２０５により読出され、インターネット１１１を介してユーザのパーソナルコンピュータ１１０経由でデジタルカメラ１０に送出される。
【０１５２】
図１４及び図１５は、上記図１３で示した機能構成における、デジタルカメラ１０からサーバ装置１１２への画像データ、特徴記述データのアップロード、及びサーバ装置１１２からデジタルカメラ１０への統計データのダウンロードの処理内容を示すものである。
【０１５３】
その当初にデジタルカメラ１０はパーソナルコンピュータ１１０との間で通信接続処理を実行して接続状態を確立する（ステップＣ０１，Ｄ０１）。
【０１５４】
このときデジタルカメラ１０とパーソナルコンピュータ１１０は相互に相手側の仕様や容量情報を得る（ステップＣ０２，Ｄ０２）。
【０１５５】
その後、パーソナルコンピュータ１１０の発する機器認証データの送信要求にデジタルカメラ１０が応えて当該機器認証データを測距センサ１００へ送信し、パーソナルコンピュータ１１０が受信すると（ステップＤ０３，Ｃ０３）、デジタルカメラ１０では続けて画像データを送信するか否かを判断する（ステップＣ０４）。
【０１５６】
ここでは、デジタルカメラ１０側でユーザが任意に画像データ及び特徴記述データの選択を行なうものとするもので、ユーザにより選択された画像データ及び特徴記述データが少なくとも１つ以上ある場合にのみ、選択された画像データ及び撮影条件、特徴記述データをパーソナルコンピュータ１１０に対して送信する（ステップＣ０５）。
【０１５７】
これを受けたパーソナルコンピュータ１１０では、受信した画像データを所定のアルバムフォルダに保存設定した後（ステップＤ０４）、サーバ装置１１２からの自動更新を行なう自動更新モードがオンに設定されているか否かを判断する（ステップＤ０５）。
【０１５８】
ここで、オン設定されていると判断した場合にのみ、接続要求をインターネット１１１を介してサーバ装置１１２へ送信する（ステップＤ０６）。
【０１５９】
サーバ装置１１２では、会員登録しているパーソナルコンピュータ１１０からの接続要求をインターネット１１１経由で常時受付けており、接続要求を受信した時点でこれを判断し（ステップＥ０１）、当該パーソナルコンピュータ１１０に対して機器認証データを要求する（ステップＥ０２）。
【０１６０】
サーバ装置１１２からの機器認証データの要求を受信したパーソナルコンピュータ１１０は（ステップＤ０７）、上記ステップＤ０３でデジタルカメラ１０から受信した機器認証データをサーバ装置１１２に対して送信する（ステップＤ０８）。
【０１６１】
サーバ装置１１２は、パーソナルコンピュータ１１０から送られてきた機器認証データにより認証ソフトＰ２０６が上記会員登録データベースＤ２０７に記憶している会員登録データの内容と照合することで認証処理を実行し（ステップＥ０３）、その認証結果から接続要求を送ってきたパーソナルコンピュータ１１０が正当なユーザ会員の使用するものであるか否かを判断する（ステップＥ０４）。
【０１６２】
ここで、認証結果からパーソナルコンピュータ１１０が正当なユーザ会員の使用するものではないと判断した場合には、接続不可である旨の応答を行ない（ステップＥ０６）、以後当該パーソナルコンピュータ１１０からの要求を一切拒否する一方で、正当なユーザ会員の使用するものであると判断した場合には、接続許可応答を当該パーソナルコンピュータ１１０に対して返信する（ステップＥ０５）。
【０１６３】
パーソナルコンピュータ１１０では、この接続許可応答の有無によりサーバ装置１１２側での認証が成功したか否かを判断する（ステップＤ０９）。
【０１６４】
認証が成功しなかったと判断した場合にパーソナルコンピュータ１１０は、そのままサーバ装置１１２との通信接続を終了するかどうかを判断し（ステップＤ１７）、終了すると判断した時点でサーバ装置１１２との接続を切断する処理を実行し（ステップＤ１８）、以上で一連の処理を一旦完了する。
【０１６５】
また、上記ステップＤ０９でサーバ装置１１２側での認証が成功したと判断した場合にパーソナルコンピュータ１１０は、サーバ装置１１２に対して更新情報などのインデックス情報を要求し、サーバ装置１１２から要求に応答して送られてくるインデックス情報を受信する（ステップＤ１０，Ｅ０７）。
【０１６６】
こうしてサーバ装置１１２からインデックス情報を受信したパーソナルコンピュータ１１０は、次にデジタルカメラ１０に対して撮影履歴情報の送信を要求する（ステップＤ１１）。
【０１６７】
デジタルカメラ１０は、パーソナルコンピュータ１１０からの撮影履歴情報の送信要求に対し、予めユーザの設定により撮影履歴の送信が許可されているか否かを判断し（ステップＣ０６）、許可されていると判断した場合にのみ、送信するように設定されている撮影履歴情報を送信する（ステップＣ０７）。
【０１６８】
これを受けたパーソナルコンピュータ１１０は、サーバ装置１１２に対してデジタルカメラ１０の撮影履歴情報を転送する（ステップＤ１２）。
【０１６９】
サーバ装置１１２では、パーソナルコンピュータ１１０を介してデジタルカメラ１０の撮影履歴情報の受信があるか否かを判断し（ステップＥ０８）、あると判断した場合にのみ、その後に送られてくる撮影履歴情報を一旦配信データベースＤ２１５に登録、保持した上で（ステップＥ０９）、集計ソフトＰ２１４により撮影条件、特徴データ等を撮影モード別に集計し、その集計結果により配信データベースＤ２１５の内容を更新記憶させる（ステップＥ１０）。
【０１７０】
パーソナルコンピュータ１１０では、上記ステップＤ１２での撮影履歴情報の転送処理後に、デジタルカメラ１０用の更新プログラムがあるか否かを上記サーバ装置１１２から受信したインデックス情報により判断し（ステップＤ１３）、更新プログラムがあると判断した場合にのみ、サーバ装置１１２に対してその更新プログラムのダウンロード要求を送信する（ステップＤ１４）。
【０１７１】
サーバ装置１１２ではパーソナルコンピュータ１１０からの更新プログラムの要求があるか否かを判断し（ステップＥ１１）、あると判断した場合には、当該更新プログラムを配信データベースＤ２１５から読出してサーバソフトＰ２０５によりパーソナルコンピュータ１１０側へ送信する（ステップＥ１２）。
【０１７２】
その後にサーバ装置１１２は、パーソナルコンピュータ１１０からの要求の有無に拘わらず、同じく配信データベースＤ２１５に記憶している撮影シーン、撮影条件等の統計データを読出してパーソナルコンピュータ１１０へ送信し（ステップＥ１３）、以上で一連のパーソナルコンピュータ１１０との接続を完了するものとして、一旦パーソナルコンピュータ１１０との接続を切断する処理を実行し、次に他のパーソナルコンピュータからの接続要求があるのを待機する。
【０１７３】
パーソナルコンピュータ１１０は、上記ステップＤ１４でのダウンロード要求の送信後、これに応答してサーバ装置１１２から送られてくる更新プログラムをデジタルカメラ１０に転送し（ステップＤ１５）、さらにその後にサーバ装置１１２から送られてくる撮影条件等の統計データもデジタルカメラ１０へ転送する（ステップＤ１６）。
【０１７４】
このデジタルカメラ１０への転送処理後、あるいは上記ステップＤ１３でデジタルカメラ１０用の更新プログラムがないと判断した場合、まだデジタルカメラ１０に関するサーバ装置１１２との通信接続が必要であるか否かにより通信接続を終了するか否かを判断し（ステップＤ１７）、必要であると判断した場合には上記ステップＤ０４からの処理に戻る一方で、必要ないと判断した場合にはサーバ装置１１２、デジタルカメラ１０との相互確認の上で接続を切断する処理を実行し（ステップＤ１８）、一連の処理を完了して次の処理に備える。
【０１７５】
デジタルカメラ１０では、上記ステップＣ０７で撮影履歴情報を送信する処理の有無に拘わらず、その後にパーソナルコンピュータ１１０から更新プログラムの受信があるか否かを判断する（ステップＣ０８）。
【０１７６】
ここで、あると判断した場合にはさらに、パーソナルコンピュータ１１０から送られてくる更新プログラムを受信し（ステップＣ０９）、続けて撮影条件等の統計データも受信した後に（ステップＣ１０）、受信した内容に基づいてプログラムメモリ９２、及びデータメモリ９３の内容を更新設定する（ステップＣ１１）。
【０１７７】
これらステップＤ０９〜Ｄ１１の処理の実行の有無に拘わらず、さらにパーソナルコンピュータ１１０を介してのサーバ装置１１２との通信接続が必要であるか否かにより通信接続を終了するか否かを判断し（ステップＣ１２）、必要であると判断した場合には上記ステップＣ０４からの処理に戻る一方で、必要ないと判断した場合にはパーソナルコンピュータ１１０との相互確認の上で接続を切断する処理を実行し（ステップＣ１３）、一連の処理を完了して次の処理に備える。
【０１７８】
また、上記図１３での機能構成、及び図１４及び図１５での処理内容は、サーバ装置１１２側で撮影シーンや撮影条件の撮影履歴情報の集計機能や画像検索機能を行なう場合について示したものであるが、デジタルカメラ１０の内部で集計や画像の検索等を行なう場合の機能構成は、例えば図１６に示すようになる。
【０１７９】
すなわち、図１６は集計機能や検索機能をデジタルカメラ１０側に設けた場合の機能構成を例示するものである。
【０１８０】
デジタルカメラ１０では、ファームウェアＰ１０上で動作するアプリケーションプログラムとしてＰＣ転送ソフトＰ２１及び検索集計ソフトＰ２２が存在し、パーソナルコンピュータ１１０から送られてきたメタデータ等はＰＣ転送ソフトＰ２１で受信された後、記述言語デコーダＣ２３によってデコードされた後に検索集計ソフトＰ２２に渡される。
【０１８１】
検索集計ソフトＰ２２は、統計データＤ２５、メタデータメモリＤ２６、及び画像データメモリＤ２７を統括管理し、画像データの検索や特徴記述データの集計等を行なうもので、上記図４に示したハードウェアとしての回路構成上では統計データＤ２５はシーン・撮影条件の統計データメモリ９１に、メタデータＤ２６及びメタデータＤ２６は特徴抽出／認識処理部９０に記憶される。
【０１８２】
また、パーソナルコンピュータ１１０から送られてきたがデータはＰＣ転送ソフトＰ２１で受信した後に画像データデコーダＣ２４でデコードされ、画像データＤ２７として保持、記憶される。
【０１８３】
パーソナルコンピュータ１１０は、デジタルカメラ１０とサーバ装置１１２とを仲介するものとして、ＯＳＰ１１０上でＷＷＷブラウザＰ１２１及びカメラ転送ソフトＰ１２２が動作する。
【０１８４】
このパーソナルコンピュータ１１０とインターネット１１１を介して接続されるサーバ装置１１２では、サーバソフトＰ２３１がＭＰＥＧ７等のメタデータを記憶する特徴記述データベースＤ２３２と、画像データベースＤ２３３を管理し、併せて特徴記述データベースＤ２３２から必要によりインデックスデータＤ２３４を読出し、パーソナルコンピュータ１１０を介してデジタルカメラ１０側へ送信する。
【０１８５】
次に、図１７を用いて画像データから特徴量を抽出する特徴抽出処理と抽出した特徴データの記録処理の流れについて説明する。
【０１８６】
撮影を行なう前に、撮影に直接関連した撮影条件の設定操作（図では「設定操作（１）」と称する）と、その他の設定項目の設定操作（図では「設定操作（２）」と称する）とを施しておく。
【０１８７】
撮影を指示する操作、具体的には撮影モード下での上記シャッタスイッチ１５の操作により撮影条件Ｓ０１を特定した状態での撮影処理Ｓ０２が実行され、撮影画像Ｓ０３のデータと撮影条件などの撮影情報Ｓ０４とが得られる。
【０１８８】
図１８（Ａ）は、撮影により得られる撮影情報の内容を例示するもので、ここではＥｘｉｆ（Ｅｘｃａｎｇｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）やＤＰＯＦ（Ｄｉｇｉｔａｌ  Ｐｒｉｎｔ  Ｏｒｄｅｒ  Ｆｏｒｍａｔ）の規格に従ったものとしている。
【０１８９】
撮影により得た画像データＳ０３に対し、画像の圧縮／符号化Ｓ０５と特徴抽出Ｓ０６とが行なわれ、符号化された画像データと画素数を大幅に間引いたサムネイル画像とが画像データファイルＳ１１の主要素として記録されると共に、上記撮影情報もヘッダ情報の一部として該画像データファイルＳ１１に加えられる。
【０１９０】
また、上記撮影には直接関連しない事前の設定操作（２）による設定項目Ｓ０７から、特徴抽出を行なう抽出項目Ｓ０８、特徴データ付加のオン／オフ設定Ｓ０９、及び特徴データの記述様式Ｓ１０が選択される。
【０１９１】
このうち、抽出項目Ｓ０８は上記撮影情報Ｓ０４によりその内容が加減操作されるものであり、該抽出項目Ｓ０８及び特徴データ付加のオン／オフ設定Ｓ０９が上記特徴抽出Ｓ０６に関与する。
【０１９２】
この特徴抽出Ｓ０６においては、詳細な内容は後述するが、圧縮／符号化前の画像データＳ０３及び圧縮／符号化後の画像データに対し、上記抽出項目Ｓ０８及び特徴データ付加のオン／オフ設定Ｓ０９によって複数の特徴量を抽出処理するもので、処理結果である抽出物Ａ，Ｂ，…が纏めて特徴抽出データＳ１２として、特徴データの記述符号化処理Ｓ１３に供される一方で、撮影シーン等の識別等Ｓ１５として参照される。
【０１９３】
特徴データの記述符号化処理Ｓ１３では、予め定められた複数の記述様式Ａ，Ｂ，‥‥から指定された１つを用い、特徴データＳ１２を記述化した上で符号化し、特徴記述コードＳ１４として上記画像データファイルＳ１１に付加設定する。
【０１９４】
図１８（Ｂ）は、この特徴記述コードＳ１４の内容を例示するもので、ここでは記述様式としてＭＰＥＧ７（ＩＳＯ／ＩＥＣ  １５９３８）規格を用いた場合を示している。
【０１９５】
画像データファイルＳ１１においては、この特徴記述コードＳ１４は拡張ヘッダ情報の一部として付加されるものとする。
【０１９６】
特徴データは、ユーザ操作により選択された方法（記述様式）に従って、例えば特徴データをＤＣＦやＥｘｉｆなど画像ファイルのヘッダ情報や拡張データとして、もしくは上述したＭＰＥＧ７規格に準じたメタデータ記述ファイル、あるいはＳＭＰＴＥのＭｅｔａｄａｔａ規格、ＥＢＵによるＰ／Ｍｅｔａ規格、ＴＶ−Ａｎｙｔｉｍｅ規格、Ｗ３ＣによるＳＭＩＬ規格、あるいはＤｕｂｌｉｎ  ＣｏｒｅとＲＤＦによるＸＭＬ構文、などの各種メタデータ記述用の規格や言語、あるいはＸＭＬなどの汎用記述言語に準じた記述ファイル、あるいはこれらをバイナリデータ等に変換した記述データファイル等から、任意に選択して記録／出力することができるものとする。
【０１９７】
例えば、最も古くから書誌情報のメタデータ記述法として用いられているＤｕｂｌｉｎ  Ｃｏｒｅ（１９８５）では、タイトル（ｔｉｔｌｅ）、概要記述（ｄｅｓｃｒｉｐｔｉｏｎ）、出版社（ｐｕｂｌｉｓｈｅｒ）、作者（ｃｒｅａｔｏｒ）、著作権（ｒｉｇｈｔｓ）、年月日（ｄａｔｅ）、種別（ｔｙｐｅ）、様式（ｆｏｒｍａｔ）、‥‥など１５の基本属性（Ｄｕｂｌｉｎ  Ｃｏｒｅ  Ｍｅｔａｄａｔａ  Ｅｌｅｍｅｎｔ  Ｓｅｔ：ＤＣＭＥＳ）が規定されており、表記法は例えばＸＭＬに準じたＲＤＦ（Ｒｅｓｏｕｒｃｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｆｒａｍｅｗｏｒｋ）のスキーマなどを用いて記述する。
【０１９８】
その他の各種メタデータ記述規格でも、放送映像用やビットストリーム映像用、ネットワーク配信用など用途別の規格によって記述子や記述スキーム等はそれぞれ異なるが、同様にこのような書誌情報の多くを記述することができる。
【０１９９】
マルチメディア用のメタデータ記述規格ＭＰＥＧ７のＭＰＥＧ７  Ｖｉｓｕａｌでは、画像や映像データ、音声などの各種特徴を記述できる記述子（Ｄｅｓｃｒｉｐｔｏｒ）と記述書式（Ｄｅｓｃｒｉｐｔｉｏｎ  Ｓｈｅｍｅ）等も詳細に定義されている。
【０２００】
例えば、色やテクスチャ、輪郭形式などの特徴を表すために以下のような記述子が用意されており、これらに準じて記述してもよい。すなわち  
Ｃｏｌｏｒ  ｓｐａｃｅ：色空間を指定する記述子、  
Ｃｏｌｏｒ  ｑｕａｎｔｉｚａｔｉｏｎ：  
色空間の量子化方法を指定する記述子、  
Ｄｏｍｉｎａｎｔ  ｃｏｌｏｒ：  
任意形状領域における代表色を表す記述子、  
Ｓｃａｌａｂｌｅ  ｃｏｌｏｒ：  
色特徴をＨＳＶ色空間におけるヒストグラムで表す記述子、  
Ｃｏｌｏｒ  ｌａｙｏｕｔ：  
色の分布をＤＣＴ係数で表す記述子、  
Ｃｏｌｏｒ  ｓｔｒｕｃｔｕｒｅ：  
色の分布における偏りの程度を表す記述子、  
Ｈｏｍｏｇｅｎｅｏｕｓ  ｔｅｘｔｕｒｅ：  
テクスチャの特徴を画像強度と周波数空間上のエネルギ分布により表す記述子、  
Ｔｅｘｔｕｒｅ  ｂｒｏｗｓｉｎｇ：  
テクスチャの特徴を均一性、粒度、方向性の３要素で表す記述子、  
Ｅｄｇｅ  ｈｉｓｔｏｇｒａｍ：    
エッジ特徴の分布をヒストグラムで表す記述子、  
Ｒｅｇｉｏｎ  ｓｈａｐｅ：  
領域の形状特徴を表す記述子、  
Ｃｏｎｔｏｕｒ  ｓｈａｐｅ：  
領域の閉輪郭線の形状特徴を表す記述子。など
図１９及び図２０は、画像から抽出された特徴データの記述例を示すものであり、画像全体から輪郭線により領域を区分して徐々に細分化することで種々の特徴データを得ることができるのがわかる。
【０２０１】
図１９（Ａ）は元となる画像データを示し、図１９（Ｂ）がその画像全体に対する特徴データ、図１９（Ｃ），（Ｄ）と図１９（Ｅ），（Ｆ）が１次領域区分した画像とその記述データ、図１９（Ｇ）〜（Ｋ）と図１９（Ｌ）〜（Ｐ）が２次領域区分した画像とその記述データを示す。
【０２０２】
同様に図１９（Ｑ）は元となる画像データを示し、図１９（Ｒ）がその画像全体に対する特徴データ、図１９（Ｓ），（Ｔ）と図１９（Ｕ），（Ｖ）が１次領域区分した画像とその記述データを示す。、
また、図２１（Ａ）、図２１（Ｂ）及び図２２は、いずれも抽出された特徴データの記述例を示すもので、図２１（Ａ）はＭＰＥＧ７、図２１（Ｂ）はＸＭＬ、図２２はＳＭＩＬの各記述様式を用いている。
【０２０３】
図２３に、上記のようにして例えばデジタルカメラ１０の記録媒体８９（あるいはハードディスクユニット４３）に記録された画像データファイルの階層構造を例示するものである。
【０２０４】
同図で、このデジタルカメラ１０のリムーバブルディスク媒体としての最上階層のフォルダ「Ｒｏｏｔ」Ｆ０００の下に、フォルダ「ＤＣＩＭ」Ｆ００１、フォルダ「ＡＬＢＵＭ」Ｆ００２、フォルダ「ＭＩＳＣ」Ｆ００３、及びファイル「ＩＮＤＥＸ．ＰＶＭ」Ｆ００４とが存在するものとする。
【０２０５】
上記フォルダ「ＤＣＩＭ」Ｆ００１は画像ファイルを格納するためのフォルダであり、その下にフォルダ「１００ＡＢＣＤ」Ｆ００５、「１０１ＡＢＣＤ」Ｆ００６、‥‥を有する。
【０２０６】
上記フォルダ「ＡＬＢＵＭ」Ｆ００２は、再生プレイリスト等を格納するフォルダであり、その下にファイル「ＡＬＢＵＭ．ＰＶＭ」Ｆ００７等を有する。
【０２０７】
上記フォルダ「ＭＩＳＣ」Ｆ００３は、ＤＰＯＦファイルを格納するフォルダであり、その下にファイル「ＡＵＴＯＰＲＩＮＴ．ＭＲＫ」Ｆ００８、ファイル「ＵＮＩＣＯＤＥ．ＭＲＫ」Ｆ００９、ファイル「ＡＵＴＯＸＦＥＲ．ＭＲＫ」Ｆ０１０、ファイル「ＡＵＴＯＰＬＡＹ．ＭＲＫ」Ｆ０１１、‥‥を有する。
【０２０８】
上記「ＩＮＤＥＸ．ＰＶＭ」Ｆ００４は、例えばＭＰＶ、ＭＰＥＧ７、ＸＭＬ等で記述される、このメディア全体の見出しのメタ情報記述ファイルである。
【０２０９】
上記フォルダ「１００ＡＢＣＤ」Ｆ００５の下に、個々の画像ファイルであるファイル「ＣＩＭＧ０００１．ＪＰＧ」Ｆ０１２、ファイル「ＣＩＭＧ０００２．ＪＰＧ」Ｆ０１３、‥‥と、例えばＭＰＶ、ＭＰＥＧ７、ＸＭＬ等で記述される、フォルダ内画像の特徴記述データのファイルであるファイル「ＬＩＳＴ．ＰＶＭ」Ｆ０１４とが配置される。
【０２１０】
上記ファイル「ＡＬＢＵＭ．ＰＶＭ」Ｆ００７も、例えばＭＰＶ、ＭＰＥＧ７、ＸＭＬ等で記述される、プレイリスト記述データ等のファイルである
上記ファイル「ＡＵＴＯＰＲＩＮＴ．ＭＲＫ」Ｆ００８は自動プリントファイル、ファイル「ＵＮＩＣＯＤＥ．ＭＲＫ」Ｆ００９はユニコード文字列記述ファイル、ファイル「ＡＵＴＯＸＦＥＲ．ＭＲＫ」Ｆ０１０は自動送信ファイル、ファイル「ＡＵＴＯＰＬＡＹ．ＭＲＫ」Ｆ０１１は自動再生ファイルであり、いずれもＤＰＯＦ規格で規定されたファイルである。
【０２１１】
図２４は、Ｅｘｉｆ規格に則ったＪＰＥＧ圧縮データファイルの構造例を示すもので、上記図２３のファイル「ＣＩＭＧ０００１．ＪＰＧ」Ｆ０１２、ファイル「ＣＩＭＧ０００２．ＪＰＧ」Ｆ０１３等に相当する。
【０２１２】
図２４（Ａ）が１枚分の静止画像を圧縮した、上記「ＣＩＭＧ０００１．ＪＰＧ」Ｆ０１２、「ＣＩＭＧ０００２．ＪＰＧ」Ｆ０１３に相当するＪＰＥＧデータファイルであり、そのうちのＥｘｉｆ規格の付属情報である第１アプリケーション・マーカセグメント「ＡＰＰ１」の構造を図２４（Ｂ）に示す。
【０２１３】
さらに、この「ＡＰＰ１」中、情報タグであるＥｘｉｆ  ＩＦＤ（１ｓｔ  ＩＦＤ）の構造を図２４（Ｃ）に示す。
【０２１４】
次いで、図２５により特徴抽出処理の詳細な処理内容について説明する。  
この図２５は、上記図５のステップＡ０７のサブルーチンである。その処理当初に、まず処理対象となる画像ファイルを取込み（ステップＦ０１）、次に特徴抽出処理を行なう設定データを読込む（ステップＦ０２）。
【０２１５】
抽出する特徴量が自動設定されたものであるか否かを判断し（ステップＦ０３）、自動設定されたものであれば当該画像の撮影情報を読込んだ後（ステップＦ０４）、撮影モードまたは撮影条件に基づいて、抽出する特徴量の種類を選択する（ステップＦ０５）。
【０２１６】
また、上記ステップＦ０３で自動設定されていないと判断した場合には、それに代わってユーザが手動で設定した、抽出する特徴量の種類を選択する（ステップＦ０６）。
【０２１７】
上記ステップＦ０５またはＦ０６の処理後、抽出する特徴の種別に応じて、前処理及び特徴抽出手段の内容を選択し（ステップＦ０７）、選択した前処理内容に従って第１段階での前処理、及び第２段階の前処理を順次実行する（ステップＦ０８，Ｆ０９）。
【０２１８】
これら前処理は、上述した如く、抽出する特徴の量の内容によって決定されるものであり、第１段階の前処理としては例えば画像強調処理、鮮鋭化処理、雑音除去処理などがあり、また第２段階の前処理としては例えば２値化処理、正規化処理、回転処理、座標変換処理、細線化処理、膨張収縮処理などがある。
【０２１９】
以下前処理のいくつかについて説明する。  
（鮮鋭化、輪郭抽出）  
一次微分フィルタもしくは二次微分フィルタの処理を用いて、画像の先鋭化処理、輪郭抽出処理を行なうことができ、またこのようなフィルタ処理により、特徴抽出の前処理における画像の鮮鋭化、輪郭抽出、エッジ抽出に利用できる。
【０２２０】
被写体像の輪郭形状や外形パターン、面積などを特徴データに利用する場合には、特徴抽出したい画像データの輝度等を、画素毎に輪郭強調やエッジ検出用のフィルタ演算等を行なって、輪郭強調や外形抽出した画像に変換してから、特徴データ等抽出することが多い。
【０２２１】
一般に、階調が変化する部分のエッジがぼけた画像ｆ(ｉ，ｊ)を  
Δｘｆ＝ｆ(ｉ＋１，ｊ)−ｆ(ｉ−１，ｊ)、  
Δｙｆ＝ｆ(ｉ，ｊ＋１)−ｆ(ｉ，ｊ−１)、  
ｇ(ｉ，ｊ)＝√((Δｘｆ)２＋(Δｙｆ)２)、または  
ｇ(ｉ，ｊ)＝｜Δｘｆ｜＋｜Δｙｆ｜  
等の演算により、一次微分や勾配（Ｇｒａｄｉｅｎｔ）を求めると、階調が変化する勾配部分や輪郭を抽出できる。  
あるいは、
【数１】
2007274195.tif 000003
【０２２２】
または  
▽２ｆ(ｉ，ｊ＋１)  
＝ｆ(ｉ＋１，ｊ)＋ｆ(ｉ−１，ｊ)  
＋ｆ(ｉ，ｊ＋１)＋ｆ(ｉ，ｊ−１)−４ｆ(ｉ，ｊ)  
等の演算により、さらに微分する二次微分（Ｌａｐｌａｃｉａｎ）処理を施し、その結果を原画像データから差し引くと、エッジ部分の高周波成分を強調した画像を合成することができ、結果としてぼけたエッジ部分を強調することができる。
【０２２３】
エッジや輪郭の強調処理をソフトウェア処理で行なうためには、「Ｐｒｅｗｉｔｔフィルタ」「Ｓｏｂｅｌフィルタ」「Ｋｉｒｓｃｈフィルタ」「Ｒｏｂｅｒｔｓフィルタ」等の一次微分の空間フィルタ処理、あるいは「Ｌａｐｌａｃｉａｎフィルタ」等の二次微分の空間フィルタ演算子等を用いることができる。
【０２２４】
（２値化、平均化、輝度変換）  
輝度ヒストグラムの変換処理などにより、中間階調の強調、２値化処理、所定の輝度領域の抽出などを行なうことができる。被写体像の画像データ（輝度値や色差値）の分布パターンなどを特徴データとして利用する場合に、画像データの輝度分布（ヒストグラム）を求め、輝度変換処理を行なうことにより中間階調の強調や圧縮を行なうことができ、あるいは所定のしきい値との大小で２値化し、所定の輝度領域だけを抽出することができる。さらには、隣接する複数画素毎に輝度値や色差値を平均化して、パターンの単純化や情報量の圧縮を行なうことができる。
【０２２５】
（膨張、収縮、細線化、線図形化）  
輪郭形状から被写体の形状や特徴を判別するためには、まず形状を単純化して情報量を圧縮し、あるいは線図形化所定から判別処理するのが望ましい。
【０２２６】
例えば２値化された画像の輪郭や、あるいは２値化された「１」の画素と「０」の画素との境界領域で「１」画素を（隣接する８近傍の）画素の１層分だけ外側に太くする、所謂「膨張（Ｅｘｐａｎｔｉｏｎ）」処理を行なうと、輪郭など境界部分の小さな孔や溝が取り除かれる。
【０２２７】
逆に、１層分だけ細くする「収縮（Ｃｏｎｔｒａｃｔｉｏｎ）」処理により境界部分の突起や孤立点などを取り除くことができるので、上記膨張処理及び収縮処理を複数回組み合わせることで、凹部や凸部の除去、形状の単純化を行なうことができる。
【０２２８】
また、２値化された画像から、線幅が１の中心線を抽出する、所謂「細線化（Ｔｈｉｎｎｉｎｇ）」処理により、骨状（スケルトン）の概略形状を求めることができる。
【０２２９】
さらに、２値化された輪郭パターンの周囲をその外側と内側とからそれぞれ境界に沿ってたどり、境界部画素を「１」とし、残りの画素を「０」とする「境界線追跡」処理により、輪郭の境界線のみの画像に変換できる。
【０２３０】
ま、輪郭形状の数画素毎に選択した画素のみを折れ線で連結する「折れ線近時」処理などを用いるものとしてもよい。
【０２３１】
上述した２段階の前処理を終えた後、実際の特徴抽出処理を特徴抽出／認識処理部９０により実行する（ステップＦ１０）。  
図２６は、この特徴抽出処理の具体的な処理手順を列挙したサブルーチンを部分的に示すものであり、第１乃至第ｘの特徴抽出処理を順次実施する。
【０２３２】
すなわち、このステップＦ１０においては、第１の特徴抽出処理として色領域の抽出を行ない（ステップＧ０１）、次いで抽出した色領域に基づいた、代表色、色分布、ＲＧＢヒストグラム、ＤＣＴ係数、‥‥などの特徴記述データの作成を行なう（ステップＧ０２）。
【０２３３】
併せて、第２の特徴抽出処理として輪郭形状の抽出を行ない（ステップＧ０３）、次いで抽出した輪郭形状に基づいた、形状評価値、フーリエ記述子、パワースペクトル、‥‥などの特徴記述データの作成を行なう（ステップＧ０４）。
【０２３４】
併せて、第３の特徴抽出処理としてテクスチャの特徴抽出を行ない（ステップＧ０５）、次いで抽出したテクスチャに基づいた、輝度ヒストグラム、フーリエスペクトル、共起行列、自己相関関数、‥‥などの特徴記述データの作成を行なう（ステップＧ０６）。
【０２３５】
併せて、第４の特徴抽出処理として位置・配置の特徴抽出を行ない（ステップＧ０７）、次いで抽出した位置・配置に基づいた、位置座標、ＤＣＴ係数、‥‥などの特徴記述データの作成を行なう（ステップＧ０８）。
【０２３６】
以下、いくつかの予め決定した特徴抽出処理を行なった後、最後、第ｘの特徴抽出処理として動きの抽出を行ない（ステップＧ０９）、次いで抽出した動き量に基づいた、動きベクトル、強度分布、‥‥などの特徴記述データの作成を行なう（ステップＧ１０）。
【０２３７】
予め決定されているすべての特徴抽出処理を終えた後に図２５の処理に戻り、認識処理を行なうか否かの判断を事前の設定内容に基づいて判断する（ステップＦ１１）。
【０２３８】
ここで、認識処理を行なうと判断した場合には、さらに認識対象のテンプレートデータをシーン・撮影条件の統計データメモリ９１から読出し（ステップＦ１２）、読出したテンプレートデータによるテンプレートマッチング、または相関度、類似度、類似距離、差分和の算出などによる認識処理を実行する（ステップＦ１３）。
【０２３９】
その後、抽出した特徴データ、及び上記ステップＦ１１で認識処理を行なうと判断した場合に続くステップＦ１３で得られる認識処理結果を圧縮符号化・伸長復号化８８へ出力し（ステップＦ１４）、以上でステップＡ０７での特徴抽出処理を終える。
【０２４０】
次いで特徴抽出処理の各具体的な処理内容について以下にそのいくつかを詳述する。  
図２７は、上記図２６のステップＧ０３に係る輪郭抽出処理と続くステップＧ０４に係る特徴記述データの作成の内容について示すものである。  
その当初に、特徴抽出／認識処理部９０は被写体の画像データを読込み（ステップＨ０１）、読込んだ画像データを輝度階調値または色差信号に基づいて複数領域に分割する（ステップＨ０２）。
【０２４１】
図２８（Ａ）は、上記ステップＨ０１で読込んだ被写体の画像データをの一例を示すものであり、このような画像を読込んだ場合には上記ステップＨ０２で複数領域に分割することで、例えば図２８（Ｂ）に示す画像と図２８（Ｃ）に示す画像とが得られる。
【０２４２】
こうして分割した複数の領域のうちの１つを種なる被写体として選択し（ステップＨ０３）、選択した領域の画像を２値化した上で（ステップＨ０４）、そのエッジを検出する（ステップＨ０５）。
【０２４３】
上記図２８（Ｂ），（Ｃ）に示す２つの画像データのうち、図２８（Ｃ）に示した画像を選択して２値化した場合を図２８（Ｄ）に示し、そのエッジを検出した結果を図２８（Ｅ）に示す。
【０２４４】
こうして得た輪郭線に対し、複数Ｎ辺の等辺多角形や折れ線等で近似した後（ステップＨ０６）、該輪郭線のＰ（Ｐｈａｓｅ）型記述子などフーリエ記述子を求めた上で（ステップＨ０７）、パワースペクトルを求める（ステップＨ０８）。
【０２４５】
図２８（Ｆ）は、上記図２８（Ｅ）で示したエッジ検出結果に対し、折れ線近似した結果を示すものであり、当該輪郭線のフーリエ記述子を求めることで空間周波数に対するスペクトル正規価値を得てパワースペクトル化したものを図２８（Ｇ）に示す。
【０２４６】
このパワースペクトルの低周波成分からｎ個の成分を取出し、データ圧縮して輪郭線特徴データとするもので（ステップＨ０９）、この求めた輪郭線特徴データを後の特徴記述データ作成時のためにデータメモリ９３に一時的に記憶しておく（ステップＨ１０）。
【０２４７】
次いで、特徴量をシーン・撮影条件の統計データメモリ９１に記憶済みのテンプレートデータと順次比較し、類似度を求める（ステップＨ１１）。
【０２４８】
図２９は、輪郭線特徴データの比較対象となる、シーン・撮影条件の統計データメモリ９１に予め記憶されたテンプレートデータの内容を例示するものである。
【０２４９】
被写体の輪郭線特徴データを用い、各テンプレート毎にその類似度を求めた上で、最も類似度の値が高くなったテンプレートデータに対応する種類であるものと判定して、当該種類の特徴データを記述し（ステップＨ１２）、その特徴記述データを出力することで（ステップＨ１３）、以上でこの図２７のサブルーチン処理を終える。
【０２５０】
図３０は、上記図２６のステップＧ０１に係る色領域の抽出処理後に続くステップＧ０２で実行される特徴記述データの作成処理中、代表色の抽出処理の内容について示すものである。  
その当初に、特徴抽出／認識処理部９０は被写体の画像データを読込み（ステップＩ０１）、読込んだ画像データを輝度階調値または色差信号に基づいて複数の輪郭領域に分割する（ステップＩ０２）。
【０２５１】
分割した複数の輪郭領域に対し、面積の大きい順序、または画像中央のフォーカス枠に近い順序で１〜ｎ個の被写体領域を選択し（ステップＩ０３）、各分割領域毎のＲＧＢ別ヒストグラム分布Ｐｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)を求める（ステップＩ０４）。
【０２５２】
次いで、求めたヒストグラム分布Ｐｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)がそれぞれ全体で総和が「１．０」となるように正規化した上で（ステップＩ０５）、各ヒストグラムＰｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)の最頻値μｒ，μｇ、μｂを求める（ステップＩ０６）。すなわち、  
μｒ＝Ｍａｘ(Ｐｒ(ｉ))、  
μｇ＝Ｍａｘ(Ｐｇ(ｉ))、  
μｂ＝Ｍａｘ(Ｐｂ(ｉ))。  
である。
【０２５３】
次に、該ＲＧＢヒストグラムＰｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)の平均μを求める（ステップＩ０７）。すなわち、  
μｒ＝Σｉ・Ｐｒ(ｉ)、  
μｇ＝Σｉ・Ｐｇ(ｉ)、  
μｂ＝Σｉ・Ｐｂ(ｉ)。
【０２５４】
そして、上記求めた平均を用いてＲＧＢヒストグラムＰｒ(ｉ)，Ｐｇ(ｉ)，Ｐｂ(ｉ)の分散σ２を求める（ステップＩ０８）。すなわち、  
σｒ２＝Σ(ｉ−μｒ)２・Ｐｒ(ｉ)、  
σｇ２＝Σ(ｉ−μｇ)２・Ｐｇ(ｉ)、  
σｂ２＝Σ(ｉ−μｂ)２・Ｐｂ(ｉ)。
【０２５５】
こうして得た各領域のＲＧＢヒストグラムの最頻値または平均値を代表色とし、その代表色とＲＧＢの分散値を色の特徴データとして記述して出力することで（ステップＩ０９）、以上で図３０のサブルーチン処理を終了する。
【０２５６】
図３１は、上記図３０と同様に図２６のステップＧ０１に係る色領域の抽出処理後に続くステップＧ０２で実行される特徴記述データの作成処理中、色の分布の抽出処理の内容について示すものである。  
その当初に、特徴抽出／認識処理部９０は撮影した画像またはその撮影画像中の予め設定されている領域部分を読込み（ステップＪ０１）、読込んだ画像データを縦ｍ画素×横ｎ画素のブロック単位で分割して複数のブロック領域とする（ステップＪ０２）。
【０２５７】
次いで各ブロック毎にその平均色を算出し（ステップＪ０３）、各ブロック毎に算出した平均色を原色系ＲＧＢ空間または輝度色差系ＹＣｂＣｒ空間でＤＦＴ（Ｄｉｓｃｒｅｔｅ  Ｆｏｕｒｉｅｒ  Ｔｒａｓｆｏｒｍ：離散フーリエ変換）またはＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｓｆｏｒｍ：離散コサイン変換）により直交変換を施すことで空間周波数成分軸に変換して各係数を求める（ステップＪ０４）。
【０２５８】
該直交変換した結果のＤＣ成分に近い側の低周波成分の係数をジグザグスキャンにより走査して一次元化し（ステップＪ０５）、この一次元化した各係数をそのまま量子化してデジタル符号化した数列を得る（ステップＪ０６）。
【０２５９】
このデジタル符号化した数列を色分布の特徴データとして記述して出力することで（ステップＪ０７）、以上で図３１のサブルーチン処理を終了する。
【０２６０】
次に、図示しないが画像データからの色相の抽出、肌色部分の抽出、人間の顔の抽出を行なう場合の動作についても簡単に説明しておく。
【０２６１】
所定の色の領域を抽出する例として、人間の肌色領域の抽出を考えた場合、人間の肌の分光反射率特性、または撮影画像の所定領域の代表色のＲＧＢ値またはＨＳＢ（Ｈｕｅ：色相、Ｓａｔｕｒａｔｉｏｎ：彩度、ｖａｌｕｅ  ｏｆ  Ｂｒｉｇｈｔｎｅｓｓ：明度）値などを元に肌色の領域や人間の肌や顔の領域を抽出できる。
【０２６２】
例えば、肌色の色相（Ｈｕｅ）と彩度（Ｓａｔｕｒａｔｉｏｎ）の分布データを取ると、肌色の画像データの多くは、彩度は広い範囲で分布するが、色相環では約６°〜３８°の範囲内に分布することが知られている。
【０２６３】
したがって、この点を利用すれば、ＨＳＢ値から色相が約６°〜３８°の範囲を人間の顔の肌色として認識するなど、特定の色の被写体の領域を適宜抽出することができる。
【０２６４】
同様に、特定の被写体や注目する被写体別に専用の認識処理を必要とする場合があり、例えば顔の眼の領域を抽出するためには、瞳領域のマスクパターンを作成し、これを参照パターンとしてテンプレートマッチング等を用いて探索し、入力画像から眼や顔のある画像領域を特定することができる。
【０２６５】
また、特に眼を認識するための条件として、例えば眼の細長さ＝ｂ／ａ（ａ：眼の縦方向長さ、ｂ：眼の横方向長さ）として、α１≦ｂ／ａ≦α２（α１，α２：定数）の条件に合致するか、または眼の面積をＳ１≒π×ａ×ｂ、黒目部分の面積Ｓ２＝πｒ２（ｒ：黒目部分の直径）として、黒目の比率Ｓ２／Ｓ１がβ１≦Ｓ２／Ｓ１≦β２（β１，β２：定数）の条件に合致する被写体画像の領域を「眼の領域」と識別することができる。
【０２６６】
さらに、人間の顔と認識するための条件データとして、例えば眉下から鼻下までの長さｈ１と鼻下からあご先までの長さｈ２とが略等しいか、右目の幅Ｗ１と両眼の間の長さＷ２、及び左目の幅Ｗ３が共に略等しい、などの条件を満たす被写体画像の領域を「顔の領域」であると識別できる。
【０２６７】
次に図３２によりモーションＪＰＥＧファイル（ＡＶＩファイル）またはＭＰＥＧ（−１，２，４）ファイルを構成する被写体画像に対して行なう動きの特徴抽出処理について述べる。
【０２６８】
この図３２は、図２６のステップＧ０９に係る動きの抽出処理と、それに続くステップＧ１０で実行される特徴記述データの作成処理の内容について示すものである。  
その当初に、特徴抽出／認識処理部９０は時間的に連続した複数の画像を読込み（ステップＫ０１）、読込んだ各画像データを例えば縦ｍ画素×横ｎ画素のブロック単位で分割して複数のブロック領域とする（ステップＫ０２）。
【０２６９】
各画像の各ブロックの輝度値または色差値を、時間的に直前に位置する画像とテンプレートマッチングし、その移動方向と移動量を抽出する（ステップＫ０３）。
【０２７０】
各分割ブロック毎に移動方向と移動量を量子化して、各ブロックの動きベクトルを求めた上で（ステップＫ０４）、各画像、各ブロック毎の動きベクトル（移動方向及び移動量）を、動きの特徴データとして記述して出力することで（ステップＫ０５０７）、以上で図３２のサブルーチン処理を終了する。
【０２７１】
なお、図示はしないが、特徴量の比較や類似図形の探索、相関度、テンプレートマッチングの類似度、絶対値差分和と距離の各要因についても説明しておく。
【０２７２】
（特徴量の比較と類似図形の探索）  
記憶されたテンプレート画像と被写体画像の類似度の判別や探索には、テンプレートマッチングなどのパターンマッチング方や、動きベクトル検出におけるブロックマッチング方が利用できる。
【０２７３】
テンプレートマッチングにより特徴抽出領域の入力画像ｆ[ｉ，ｊ]の特徴データの中から、例えば(ｍ×ｎ)の記録された参照画像または特徴データｔ[ｋ，ｌ]に一致する画像の位置を検出する。参照画像の中心もしくは端点が、入力画像のある点(ｉ，ｊ)に重なるように置いて、点(ｉ，ｊ)を順にラスタ走査しながら、重なる部分の画像データの類似度を順次計算して、類似度が最も高い位置の点(ｉ，ｊ)を、類似した被写体がある位置として求めることができる。
【０２７４】
（相関度（相関関数））  
入力画像ｆ[ｉ，ｊ]とテンプレート画像値参照画像ｔ[ｋ，ｌ]との相関度は、受信機のピアソンの相関係数（積率相関係数）Ｒなどで算出することができ、最も相関関数Ｒの値が大きくなる位置が、探索する類似被写体がある位置として求められる。
【数２】
2007274195.tif 000004
【０２７５】
（テンプレートマッチングの類似度）  
テンプレートマッチングなど、画像ｆ[ｉ，ｊ]の中から、画像サイズ(ｍ×ｎ)の画像ｔ[ｋ，ｌ]を走査して探索する場合、類似度は次式で計算することができ、類似度Ｒ(ｉ，ｊ)が最も大きくなる走査位置の点(ｉ，ｊ)が、類似する被写体の位置として求まる。
【数３】
2007274195.tif 000005
【０２７６】
これを上述の相関関数Ｒと同様に、平均値を差し引くなど正規化して用いても良い。  
（絶対値差分和と距離）  
上記の類似度Ｒ(ｉ，ｊ)では乗算であるために計算量が増えるので、２値化画像など、平均値を差し引いたり、正規化を省略できる場合などには上記類似度の計算に変えて、次式のような画像間の差分和により、相違の程度（「距離」）を表すＤ(ｉ，ｊ)を求め、これを評価関数として利用することができる。
【０２７７】
この場合には、加減算だけで計算できるために演算を高速化することができるもので、距離Ｄ(ｉ，ｊ)が最も小さい点(ｉ，ｊ)がマッチング位置を表すものとなる。
【数４】
2007274195.tif 000006
【０２７８】
次いで図３３により輝度ヒストグラムによるテクスチャ解析について述べる。
【０２７９】
この図３３は、図２６のステップＧ０５に係るテクスチャの特徴抽出処理と、それに続くステップＧ０６で実行される特徴記述データの作成処理の内容について示すものである。  
その当初に、特徴抽出／認識処理部９０は被写体の画像データを読込み（ステップＬ０１）、読込んだ画像データから輝度ヒストグラムＰ(ｉ)を求める（ステップＬ０２）。
【０２８０】
次いで、全体の総和が１．０となるように当該ヒストグラムを正規化した後（ステップＬ０３）、輝度ヒストグラムの平均値μと分散σ２とを求める（ステップＬ０４，Ｌ０５）。すなわち、  
μ＝Σｉ・Ｐ(ｉ)、  
σ２＝Σ(ｉ−μ)２・Ｐ(ｉ)、  
さらに、歪み度Ｓ（Ｓｋｅｗｎｅｓｓ）及び尖り度Ｋ（Ｋｕｒｔｏｓｉｓ）を求める（ステップＬ０６，Ｌ０７）。すなわち、  。
【０２８１】
Ｓ＝(Σ(ｉ−μ)３・Ｐ(ｉ))／σ３ 
Ｋ＝(Σ(ｉ−μ)４・Ｐ(ｉ))／σ４ 
こうして得た歪み度Ｓを特徴抽出データｆ１、尖り度Ｋを同データｆ２とし、共にテクスチャの特徴データとして記述して出力することで（ステップＬ０８）、以上で図３３のサブルーチン処理を終了する。
【０２８２】
なお、上述したテクスチャの特徴抽出の方法の他にも、例えばフーリエスペクトルからテクスチャ解析する方法を用いるものとしてもよい。  
この場合、離散２次元フーリエ変換したフーリエスペクトル  
Ｆ(ｕ，ｖ)＝ΣΣｆ(ｘ，ｙ)Ｗ１ｘｕＷ２ｙｖ 
（但し、Ｗ１＝ｅｘｐ(−ｊ２π/Ｍ)、  
Ｗ２＝ｅｘｐ(−ｊ２π/Ｎ)。）  
を求めることでＦ(ｕ，ｖ)のパワースペクトル  
Ｐ(ｕ，ｖ)＝｜Ｆ(ｕ，ｖ)｜２ 
を算出し、これを極座標形式のＰ(ｒ，θ)に変換して、原点を中心としたドーナツ形領域のエネルギーの和ｐ(ｒ)、及び角度θの扇形領域内のエネルギーの和ｑ(θ)を求め、
【数５】
2007274195.tif 000007
【０２８３】
そのヒストグラム分布のピーク、平均、分散などの統計量から、例えばＰ(ｒ)のピークによりテクスチャの「きめ」の大きさを、ｑ(θ)のピークによりテクスチャ画素の方向性など、テクスチャの特徴量を抽出して特徴データを抽出し、出力するようにしてもよい。
【０２８４】
さらには、輝度の共起行列を用いてテクスチャの特徴を抽出するものとしてもよい。  
すなわち、画像ｆ(ｘ，ｙ)において、画素ｆ(ｘ１，ｙ１)から距離ｄ、角度θの位置関係(ｄ，θ)にある画素ｆ(ｘ２，ｙ２)の輝度をｄ(１，２，‥‥)、θ（０度、４５度、９０度、１３５度など）を変えて順次求め、  
（但し、ｄ＝ｍａｘ(｜ｘ１＝ｘ２｜，｜ｙ１−ｙ２｜)）  
位置関係(ｄ，θ)にある２点の輝度がそれぞれ  
ｆ(ｘ１，ｙ１)＝ｉ、  
ｆ(ｘ２，ｙ２)＝ｊ  
の対となる頻度（ヒストグラム）を集計して、輝度の共起行列Ｐ(ｉ，ｊ；ｄ，θ)を求め、正規化した共起行列  
ｐ(ｉ，ｊ)＝Ｐ(ｉ，ｊ)/ΣｉΣｊ(ｉ，ｊ)  
から、全体の均一性を表す角２次モーメント（Ａｎｇｕｌａｒ  ｓｅｃｏｎｄ  ｍｏｍｅｎｔ）  
ｆ１＝ΣΣ(ｐ(ｉ，ｊ))２、  
局所変化を表すコントラスト（Ｃｏｍｔｒａｓｔ）  
ｆ２＝Σ(ｎ２ｐ(ｉ，ｊ))  
方向に関する相関（Ｃｏｒｒｅｌａｔｉｏｎ）  
ｆ３＝ΣΣ(ｐ(ｉ，ｊ)ｐ(ｉ，ｊ)−μ２)/σ２ 
（但し、μ＝Σｐ(ｉ)＝１／ｇ(ｇ：階調数)、  
σ＝√(Σ(ｐ(ｉ)−μ)/(ｇ−１))、  
局所同質性を表す平方和（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｓ）  
ｆ４＝ΣΣ((ｉ−μ)２ｐ(ｉ，ｊ))  
複雑さの測度を表す逆差分モーメント（Ｉｎｖｅｒｓｅ  ｄｉｆｆｅｒｅｎｃｅ  Ｍｏｍｅｎｔ）  
ｆ５＝ΣΣ(ｐ(ｉ，ｊ)/(１＋(ｉ−ｊ)))  
などを求めて、テクスチャの特徴データとすることができる。
【０２８５】
または、高次局所自己相関関数によりテクスチャの特徴量を抽出してもよい。  
具体的には、各画素のＲＧＢ成分をＹＩＱ成分に変換し、Ｙ画像、値に画像、Ｑ画像を得て、設定された特徴に応じて（ｎ×ｎ）画素の複数のマスクパターン１〜２５の参照点を重ね合わせ、各画素の輝度値ｆ(ｉ，ｊ)と掛け合わせ（論理積）、次のような特徴ベクトルＣ１〜Ｃ２５を求める。
【０２８６】
Ｃ１＝ΣｉΣｊ(ｆ(ｉ,ｊ))、  
Ｃ２＝ΣｉΣｊ(ｆ(ｉ,ｊ)ｆ(ｉ+1,ｊ))、  
‥‥  
Ｃ５＝ΣｉΣｊ(ｆ(ｉ,ｊ)ｆ(ｉ-1,ｊ+1))、  
Ｃ６＝ΣｉΣｊ(ｆ(ｉ,ｊ)ｆ(ｉ-1,ｊ)ｆ(ｉ+1,ｊ))、  
‥‥  
Ｃ２５＝ΣｉΣｊ(ｆ(ｉ,ｊ)ｆ(ｉ-1,ｊ+1)ｆ(ｉ+1,ｊ＋１))、  
上記のＣ１〜Ｃ２５を加算（積和）して  
Ｃｉ＝Ｃｉ/Σｊ(Ｃｊ)(ｉ,ｊ＝１,２,‥‥,２５)  
とし、各ＹＩＱ画像毎に求めた局所自己相関による特徴ベクトルＣ１〜Ｃ２５、またはその統計量を、テクスチャの特徴データとして記述して出力するようにすればよい。
【０２８７】
図３４は、上述した如く多数のユーザの所有するデジタルカメラ１０からの撮影履歴情報を集計した統計データをサーバ装置１１２からダウンロードしてデジタルカメラ１０内のシーン・撮影条件の統計データメモリ９１に記憶させ、このシーン・撮影条件の統計データメモリ９１に記憶させた内容に基づいて撮影シーンの選択を行なう場合の選択肢を、撮影後に抽出される特徴データ、及び抽出時に類似比較されるテンプレート画像と共に示すものである。
【０２８８】
同図に示す如く、シーン別撮影モードには「人物」「子供」「風景」‥‥「夜景と人物」「文字」等の大分類と、例えば大分類「人物」内の「一人」「複数」「ツーショット」‥‥等の小分類とがあり、ユーザがシーン別撮影モードを選択することで、その撮影モードに対応した各種撮影条件が自動的に設定されるものとなる。
【０２８９】
例えば、大分類の「人物」では、共通して色強調が肌色に設定され、且つ露出時にシャッタ速度が比較的早めに設定されることで被写界深度が浅くなり、特にズーム位置を望遠側にした場合に被写体周囲が適度にぼけて人物を浮かび上がらせる設定となるもので、ＡＦを行なう位置が小分類「一人」では縦横とも画面中央に、同小分類「ツーショット」では縦方向は画面中央ながら横方向では画面中央より左右にそれぞれ離れた位置に設定されるなど、より細かい設定が実行され、その点が抽出する特徴データ等にも反映される。
【０２９０】
図３５及び図３６は、上述したシーン・撮影条件の統計データメモリ９１に記憶される内容に基づいたシーン別撮影モードの撮影制御項目を例示するものである。上記図３４で示したシーン別撮影モードの大分類の内容のみ、例えば大分類が「人物」であれば「人物を写します」のような見出しでシリアル番号「ＳＰ  ｎ」（「ＳＰ」はシーン別プログラムの意）及び小分類にも対応したテンプレート画像と共に示し、画面下部でユーザに理解し易い撮影制御項目を必要に応じて注意点等と共に解説している。
【０２９１】
このようなシーン別撮影モードの内容を、デジタルカメラ１０のユーザはデジタルカメラ１０をパーソナルコンピュータ１１０等と接続するだけでサーバ装置１１２との通信により自動的に更新設定することができる。
【０２９２】
このように、撮影した画像の特徴抽出を行なってこれを元の画像データと関連付けて記憶するものとしたので、撮影した画像の内容から所望の画像を検索するなど、撮影により得た画像データの内容を有効に活用することが可能となるだけでなく、例えばパーソナルコンピュータ等の外部の情報処理装置を利用して、撮影条件と撮影結果との相関や撮影条件と撮影シーンとの相関などの分析を行なわせるべく外部出力する際に、必ずしも撮影画像そのものまで出力する必要がないので、例えば外部出力の負荷が重い場合やプライベートな撮影画像を外部出力したくない場合でも問題なく対応することができる。
【０２９３】
加えて、例えば広域ネットワークを介して複数のデジタルカメラ１０からの情報を収集可能なサーバ装置に対し、集計や分析に有効な情報を各デジタルカメラ１０が共通して提供することができる。
【０２９４】
さらに、多くの人々が様々なシーンの撮影に際して設定している撮影パラメータを誰でも有効に活用することができると共に、所望の撮影結果を得るために必要な撮影条件を自己の経験だけに頼らず、他人の撮影結果を参考として決定することができる。
【０２９５】
また、サーバ装置１１２からの統計データ等をダウンロードするにあたっては、デジタルカメラ１０の機種情報等を参照して、必要な情報のみをサーバ装置１１２からダウンロードするため、無駄な通信を行なうことなく、所有するデジタルカメラ１０に適した各種の情報のみを自動的に選別して取得し、活用することが可能となる。
【０２９６】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【０２９７】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【０２９８】
【図１】本発明の第１の実施の形態に係るデジタルカメラの主として外観構成を示す図。
【図２】同実施の形態に係る他の外観構成を示す図。
【図３】同実施の形態に係る概念的なシステム構成を示すブロック図。
【図４】同実施の形態に係る具体的な回路構成と外部機器との接続とを示すブロック図。
【図５】同実施の形態に係る電源投入後からの全般的な処理内容を示すフローチャート。
【図６】同実施の形態に係る電源投入後からの全般的な処理内容を示すフローチャート。
【図７】同実施の形態に係る電源投入後からの全般的な処理内容を示すフローチャート。
【図８】同実施の形態に係る設定モード下での特徴抽出の処理内容を示すフローチャート。
【図９】同実施の形態に係る設定モード下での特徴抽出の処理内容を示すフローチャート。
【図１０】同実施の形態に係る特徴抽出の設定画面を例示する図。
【図１１】同実施の形態に係る特徴抽出の設定画面を例示する図。
【図１２】同実施の形態に係る特徴抽出の設定画面を例示する図。
【図１３】同実施の形態に係る集計、画像検索機能をサーバ装置が有する場合の機能構成について例示するブロック図。
【図１４】同実施の形態に係る集計、画像検索を行なう際のデジタルカメラ、パーソナルコンピュータ及びサーバ装置間での処理内容を示すフローチャート。
【図１５】同実施の形態に係る集計、画像検索を行なう際のデジタルカメラ、パーソナルコンピュータ及びサーバ装置間での処理内容を示すフローチャート。
【図１６】同実施の形態に係る集計、画像検索機能をデジタルカメラが有する場合の機能構成について例示するブロック図。
【図１７】同実施の形態に係る画像データから特徴量を抽出する特徴抽出処理と抽出した特徴データの記録処理の流れについて説明する図。
【図１８】同実施の形態に係る図１７で得られる撮影情報と特徴記述コードとの内容を例示する図。
【図１９】同実施の形態に係る画像から抽出された特徴データの記述例を示す図。
【図２０】同実施の形態に係る画像から抽出された特徴データの記述例を示す図。
【図２１】同実施の形態に係る抽出された特徴データの記述例を示す図。
【図２２】同実施の形態に係る抽出された特徴データの記述例を示す図。
【図２３】同実施の形態に係る記録媒体に記録された画像データファイルの階層構造を例示する図。
【図２４】同実施の形態に係る圧縮データファイルの構造例を示す図。
【図２５】同実施の形態に係る図５の特徴量抽出のサブルーチンの処理内容を示すフローチャート。
【図２６】同実施の形態に係る図２５の特徴抽出処理のサブルーチンの具体的な処理手順を列挙してその処理内容を示すフローチャート。
【図２７】同実施の形態に係る図２６の輪郭抽出処理のサブルーチンの処理内容を示すフローチャート。
【図２８】同実施の形態に係る輪郭抽出とその抽出した輪郭による認識処理の内容を例示する図。
【図２９】同実施の形態に係る輪郭抽出とその抽出した輪郭による認識処理の内容を例示する図。
【図３０】同実施の形態に係る図２６の代表色抽出処理のサブルーチンの処理内容を示すフローチャート。
【図３１】同実施の形態に係る図２６の色の分布の抽出処理のサブルーチンの処理内容を示すフローチャート。
【図３２】同実施の形態に係る図２６の動きの抽出処理のサブルーチンの処理内容を示すフローチャート。
【図３３】同実施の形態に係る図２６の輝度ヒストグラムによるテクスチャ解析のサブルーチンの処理内容を示すフローチャート。
【図３４】同実施の形態に係るシーン別撮影モード毎の特徴量とテンプレート画像とを例示する図。
【図３５】同実施の形態に係るシーン別撮影モード毎の表示画面と撮影制御項目の内容を例示する図。
【図３６】同実施の形態に係るシーン別撮影モード毎の表示画面と撮影制御項目の内容を例示する図。
【符号の説明】
【０２９９】
１０，１０′…デジタルカメラ、１１…撮影光学系受光窓、１２…ストロボ発光部、１３…グリップ部、１４…電源スイッチ、１５…シャッタスイッチ、１６…ミラー、１７…撮影レンズ群、１８…ＣＣＤ、１９…モード切替スイッチ、２０…ズームスイッチ、２１…カーソルキー、２２…エンターキー、２３…ディスプレイ切替キー、２４…メニューキー、２５…表示部、２６…収納蓋、２７…外部入出力端子、３１…撮影レンズ部、３２…マイクロホン、３３…表示部、３４…スピーカ、３５…ズームスイッチ、３６…撮影スイッチ、３７…カーソルスイッチ、３８…再生スイッチ、３９…電源／モード切替スイッチ、４０，４１…外部入出力端子、４２…開閉蓋、４３…ハードディスクユニット、４４…メモリカード、５１…操作入力部、５２…撮影・記録制御部、５３…撮影条件設定部、５４…特徴抽出・記述設定部、５５…撮影部、５６…信号処理部、５７…画像データメモリ、５８…特徴抽出部、５９…画像・動画像圧縮／符号化部、６０…多重化部、６１…特徴データ符号化部、６２…比較回路、６３…更新記録制御部、６４…メモリ制御部、６５…画像データメモリ、６６…外部入出力部、６７…統計記憶部、６８…再生制御部、６９…、７０…画像・動画像伸張／復号化部、７１…特徴データ複合化部、７２…表示制御部、７３…表示部、８０…レンズドライバ、８１…映像信号処理部、８２…画像メモリ、８３…制御回路、８４…マイク、８５…アンプ、８６…Ａ／Ｄ変換回路、８７…音声メモリ、８８…圧縮符号化・伸長復号化、８９…記録媒体、９０…特徴抽出／認識処理部、９１…シーン・撮影条件の統計データメモリ、９２…プログラムメモリ、９３…データメモリ、９４…撮影制御部、９５…表示制御部、９６…入力回路、９７…外部入出力インタフェース、９８…ハードディスクインタフェース（ＨＤＤ・ＩＦ）、９９…Ｄ／Ａ変換回路、１００…測距センサ、１０１…測光／測距部、１０２…アンプ、１０３…スピーカ、１０４…操作入力部、１１０…パーソナルコンピュータ（ＰＣ）、１１１…インターネット、１１２…サーバ装置、１１３…画像データベース（ＤＢ）、Ｐ１０…ファームウェア、Ｐ１１…カメラ制御プログラム、Ｐ１２…ＰＣ転送プログラム、Ｐ２１…ＰＣ転送ソフト、Ｐ２２…検索集計ソフト、Ｃ２３…記述言語デコーダ、Ｃ２４…画像データデコーダ、Ｄ２５…統計データ、Ｄ２６…メタデータ、Ｄ２７…画像データ、Ｐ１１０…ＯＳ、Ｐ１１１…ＷＷＷブラウザ、Ｐ１１２…カメラ転送ソフト、Ｐ２０１〜Ｐ２０３…ＣＧＩプログラム、Ｄ２０４…文書データベース、Ｐ２０５…サーバソフト、Ｐ２０６…認証ソフト、Ｄ２０７…会員登録データベース、Ｐ２０８…画像登録ソフト、Ｃ２０９…記述言語エンコーダ、Ｄ２１０…画像データベース、Ｄ２１１…特徴記述データベース、Ｐ２１２…検索ソフト、Ｃ２１３…記述言語デコーダ、Ｐ２１４…集計ソフト、Ｄ２１５…配信データベース、Ｐ２３１…サーバソフト、Ｄ２３２…特徴記述データベース、Ｄ２３３…画像データベース、Ｄ２３４…インデックスデータ。
【図１】
2007274195.tif 000008
【図２】
2007274195.tif 000009
【図３】
2007274195.tif 000010
【図４】
2007274195.tif 000011
【図５】
2007274195.tif 000012
【図６】
2007274195.tif 000013
【図７】
2007274195.tif 000014
【図８】
2007274195.tif 000015
【図９】
2007274195.tif 000016
【図１０】
2007274195.tif 000017
【図１１】
2007274195.tif 000018
【図１２】
2007274195.tif 000019
【図１３】
2007274195.tif 000020
【図１４】
2007274195.tif 000021
【図１５】
2007274195.tif 000022
【図１６】
2007274195.tif 000023
【図１７】
2007274195.tif 000024
【図１８】
2007274195.tif 000025
【図１９】
2007274195.tif 000026
【図２０】
2007274195.tif 000027
【図２１】
2007274195.tif 000028
【図２２】
2007274195.tif 000029
【図２３】
2007274195.tif 000030
【図２４】
2007274195.tif 000031
【図２５】
2007274195.tif 000032
【図２６】
2007274195.tif 000033
【図２７】
2007274195.tif 000034
【図２８】
2007274195.tif 000035
【図２９】
2007274195.tif 000036
【図３０】
2007274195.tif 000037
【図３１】
2007274195.tif 000038
【図３２】
2007274195.tif 000039
【図３３】
2007274195.tif 000040
【図３４】
2007274195.tif 000041
【図３５】
2007274195.tif 000042
【図３６】
2007274195.tif 000043