(57)【要約】【課題】  煩雑な作業を伴うことなく、膨大な量の画像の中から所望する画像をより効率よく検索、分類することができる画像撮像装置及び画像処理装置を提供する。【解決手段】  被写体を撮像して、被写体画像データを取得する被写体撮像手段（３、２０）と、撮影者を撮像して、撮影者画像データを取得する撮影者撮像手段（２、２０）と、撮影者撮像手段によって取得された撮影者画像データから、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段（２０、４１２）と、撮影者心理状態推定手段によって推定された撮影者の心理状態と、被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段（６、２０、４１３）と、を備えた。【選択図】    図１
2005157961.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して、被写体画像データを取得する被写体撮像手段と、
撮影者を撮像して、撮影者画像データを取得する撮影者撮像手段と、
前記撮影者撮像手段によって取得された撮影者画像データから、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする画像撮像装置。
【請求項２】
前記撮影者撮像手段によって取得された撮像者画像データから、撮影者の外的特徴データを抽出する撮影者外的特徴データ抽出手段を備え、
前記撮影者心理状態推定手段は、
前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データに基づいて、撮影時における撮影者の心理状態を推定することを特徴とする請求項１記載の画像撮像装置。
【請求項３】
撮影者の心理状態と、基準の撮影者外的特徴データとが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、前記撮影者基準データ記憶手段に記憶されている基準の撮影者外的特徴データとを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする請求項２記載の画像撮像装置。
【請求項４】
被写体を撮像して、被写体画像データを取得する被写体撮像手段と、
撮影時における撮影者の生理学的な特徴量を検出する生理学的特徴量検出手段と、
前記生理学的特徴量検出手段によって検出された生理学的特徴量に基づいて、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする画像撮像装置。
【請求項５】
撮影者の心理状態と、基準の生理学的特徴量とが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記生理学的特徴量検出手段によって検出された生理学的特徴量と、前記撮影者基準データ記憶手段に記憶されている基準の生理学的特徴量とを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする請求項４記載の画像撮像装置。
【請求項６】
被写体を撮像して、被写体画像データを取得する被写体撮像手段と、
撮影者を撮像して、撮影者画像データを取得する撮影者撮像手段と、
前記撮影者撮像手段によって取得された撮影者画像データから、撮影者の外的特徴データを抽出する撮影者外的特徴データ抽出手段と、
撮影時における撮影者の生理学的な特徴量を検出する生理学的特徴量検出手段と、
前記生理学的特徴量検出手段によって検出された生理学的特徴量と、前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、に基づいて、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする画像撮像装置。
【請求項７】
撮影者の心理状態と、撮影者の基準外的特徴データ及び基準生理学的特徴量とが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記生理学的特徴量検出手段によって検出された生理学的特徴量及び前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、前記基準データ記憶手段に記憶されている前記基準外的特徴データ及び前記基準生理学的特徴量とを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする請求項６記載の画像撮像装置。
【請求項８】
前記撮影者心理状態推定手段は、ニューラルネットワークを利用することによって撮影時における撮影者の心理状態を推定することを特徴とする請求項１、２、４、５、６の何れか一項に記載の画像撮像装置。
【請求項９】
前記撮影者外的特徴データは、撮影時における撮影者の表情、瞳孔の大きさのうち少なくとも何れか一方であることを特徴とする請求項２、３、６、７の何れか一項に記載の画像撮像装置。
【請求項１０】
前記生理学的特徴量検出手段は、撮影時における撮影者の体温、脈拍数、発汗量、皮膚の電気的抵抗のうち少なくとも何れか一つを生理学的特徴量として検出することを特徴とする請求項５〜９の何れか一項に記載の画像撮像装置。
【請求項１１】
前記撮影者心理状態推定手段により推定された撮影者の心理状態に基づいて、前記記憶媒体内の前記被写体画像データの分類を行う分類手段を備えることを特徴とする請求項１〜１０の何れか一項に記載の画像撮像装置。
【請求項１２】
撮影者の心理状態を入力する入力手段と、
前記入力手段により入力された前記撮影者の心理状態に基づいて、前記記憶媒体から前記被写体画像データの検索を行う検索手段を備えることを特徴とする請求項１〜１１の何れか一項に記載の画像撮像装置。
【請求項１３】
前記検索手段により検索された前記被写体画像データの閲覧を行う閲覧手段を備えることを特徴とする請求項１２記載の画像撮像装置。
【請求項１４】
前記撮影者心理状態推定手段によって推定された前記撮影者の心理状態を修正する心理状態修正手段を備えることを特徴とする請求項１〜１３の何れか一項に記載の画像撮像装置。
【請求項１５】
被写体を撮像して、被写体画像データを取得する被写体撮像手段と、
前記被写体撮像手段によって取得された被写体画像データに基づいて、撮影時における被写体の心理状態を推定する被写体心理状態推定手段と、
前記被写体心理状態推定手段によって推定された被写体の心理状態と、前記被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる被写体心理状態記憶制御手段と、
を備えることを特徴とする画像撮像装置。
【請求項１６】
前記被写体撮像手段によって取得された被写体画像データから、被写体の外的特徴データを抽出する被写体外的特徴データ抽出手段を備え、
前記被写体心理状態推定手段は、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データに基づいて、撮影時における被写体の心理状態を推定することを特徴とする請求項１５記載の画像撮像装置。
【請求項１７】
被写体の心理状態と、基準の被写体外的特徴データとが対応付けられて記憶されている被写体基準データ記憶手段を備え、
前記被写体心理推定手段は、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データと、前記被写体基準データ記憶手段に記憶されている基準の被写体外的特徴データとを比較することによって、撮影時における被写体の心理状態を推定することを特徴とする請求項１６記載の画像撮像装置。
【請求項１８】
前記被写体撮像手段によって取得された被写体画像データから、被写体の外的特徴を抽出する被写体外的特徴データ抽出手段と、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データに基づいて、被写体の心理状態を推定する被写体心理状態推定手段と、
前記被写体心理状態推定手段によって推定された被写体の心理状態と、前記被写体撮像手段によって取得された被写体画像データを関連付けて記憶媒体に記憶する被写体心理状態記憶制御手段と、
を備えることを特徴とする請求項１〜１４の何れか一項に記載の画像撮像装置。
【請求項１９】
前記被写体心理状態推定手段は、ニューラルネットワークを利用することによって撮影時における被写体の心理状態を推定することを特徴とする請求項１５、１６、１８の何れか一項に記載の画像撮像装置。
【請求項２０】
前記被写体外的特徴データは、撮像時における被写体の表情、視線、瞳孔の大きさのうち少なくとも何れか一つであることを特徴とする請求項１６〜１８の何れか一項に記載の画像撮像装置。
【請求項２１】
前記被写体心理状態推定手段によって推定された前記被写体の心理状態に基づいて、前記記憶媒体内の前記被写体画像データの分類を行う分類手段を備えることを特徴とする請求項１５〜２０の何れか一項に記載の画像撮像装置。
【請求項２２】
被写体の心理状態を入力する入力手段と、
前記入力手段によって入力された前記被写体の心理状態に基づいて、前記記憶媒体から前記被写体画像データの検索を行う検索手段を備えることを特徴とする請求項１５〜２１の何れか一項に記載の画像撮像装置。
【請求項２３】
前記検索手段によって検索された前記被写体画像データの閲覧を行う閲覧手段を備えることを特徴とする請求項２２記載の画像撮像装置。
【請求項２４】
前記被写体心理状態推定手段によって推定された前記被写体の心理状態を修正する心理状態修正手段を備えることを特徴とする請求項１５〜２３の何れか一項に記載の画像撮像装置。
【請求項２５】
被写体を撮像した被写体画像データを取得する被写体画像取得手段と、
撮影者を撮像した撮影者画像データを取得する撮影者画像取得手段と、
前記撮影者画像取得手段によって取得された撮影者画像データから、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体画像取得手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２６】
前記撮影者画像取得手段によって取得された撮像者画像データから、撮影者の外的特徴データを抽出する撮影者外的特徴データ抽出手段を備え、
前記撮影者心理状態推定手段は、
前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データに基づいて、撮影時における撮影者の心理状態を推定することを特徴とする請求項２５記載の画像処理装置。
【請求項２７】
撮影者の心理状態と、基準の撮影者外的特徴データとが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、前記撮影者基準データ記憶手段に記憶されている基準の撮影者外的特徴データとを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする請求項２６記載の画像処理装置。
【請求項２８】
被写体を撮像した被写体画像データを取得する被写体画像取得手段と、
前記被写体の撮影時に検出された撮影者の生理学的な特徴量を取得する生理学的特徴量取得手段と、
前記生理学的特徴量取得手段によって取得された生理学的特徴量に基づいて、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体画像取得手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２９】
撮影者の心理状態と、基準の生理学的特徴量とが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記生理学的特徴量検出手段によって検出された生理学的特徴量と、前記撮影者基準データ記憶手段に記憶されている基準の生理学的特徴量とを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする請求項２８記載の画像処理装置。
【請求項３０】
被写体を撮像した被写体画像データを取得する被写体画像取得手段と、
撮影者を撮像した撮影者画像データを取得する撮影者画像取得手段と、
前記撮影者画像取得手段によって取得された撮影者画像データから、撮影者の外的特徴データを抽出する撮影者外的特徴データ抽出手段と、
前記被写体の撮影時に検出された撮影者の生理学的な特徴量を取得する生理学的特徴量取得手段と、
前記生理学的特徴量取得手段によって取得された生理学的特徴量と、前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、に基づいて、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体画像取得手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする画像処理装置。
【請求項３１】
撮影者の心理状態と、撮影者の基準外的特徴データ及び基準生理学的特徴量とが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記生理学的特徴量検出手段によって検出された生理学的特徴量及び前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、前記基準データ記憶手段に記憶されている前記基準外的特徴データ及び前記基準生理学的特徴量とを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする請求項３０記載の画像処理装置。
【請求項３２】
前記撮影者心理状態推定手段は、ニューラルネットワークを利用することによって撮影時における撮影者の心理状態を推定することを特徴とする請求項２５、２６、２８、２９、３０の何れか一項に記載の画像処理装置。
【請求項３３】
前記撮影者外的特徴データは、撮影時における撮影者の表情、瞳孔の大きさのうち少なくとも何れか一方であることを特徴とする請求項２６、２７、３０、３１の何れか一項に記載の画像処理装置。
【請求項３４】
前記生理学的特徴量検出手段は、撮影時における撮影者の体温、脈拍数、発汗量、皮膚の電気的抵抗のうち少なくとも何れか一つを生理学的特徴量として検出することを特徴とする請求項２９〜３３の何れか一項に記載の画像処理装置。
【請求項３５】
前記撮影者心理状態推定手段により推定された撮影者の心理状態に基づいて、前記記憶媒体内の前記被写体画像データの分類を行う分類手段を備えることを特徴とする請求項２５〜３４の何れか一項に記載の画像処理装置。
【請求項３６】
撮影者の心理状態を入力する入力手段と、
前記入力手段により入力された前記撮影者の心理状態に基づいて、前記記憶媒体から前記被写体画像データの検索を行う検索手段を備えることを特徴とする請求項２５〜３５の何れか一項に記載の画像処理装置。
【請求項３７】
前記検索手段により検索された前記被写体画像データの閲覧を行う閲覧手段を備えることを特徴とする請求項３６記載の画像処理装置。
【請求項３８】
前記撮影者心理状態推定手段によって推定された前記撮影者の心理状態を修正する心理状態修正手段を備えることを特徴とする請求項２５〜３７の何れか一項に記載の画像処理装置。
【請求項３９】
被写体を撮像した被写体画像データを取得する被写体画像取得手段と、
前記被写体画像取得手段によって取得された被写体画像データに基づいて、撮影時における被写体の心理状態を推定する被写体心理状態推定手段と、
前記被写体心理状態推定手段によって推定された被写体の心理状態と、前記被写体画像取得手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる被写体心理状態記憶制御手段と、
を備えることを特徴とする画像処理装置。
【請求項４０】
前記被写体画像取得手段によって取得された被写体画像データから、被写体の外的特徴データを抽出する被写体外的特徴データ抽出手段を備え、
前記被写体心理状態推定手段は、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データに基づいて、撮影時における被写体の心理状態を推定することを特徴とする請求項３９記載の画像処理装置。
【請求項４１】
被写体の心理状態と、基準の被写体外的特徴データとが対応付けられて記憶されている被写体基準データ記憶手段を備え、
前記被写体心理推定手段は、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データと、前記被写体基準データ記憶手段に記憶されている基準の被写体外的特徴データとを比較することによって、撮影時における被写体の心理状態を推定することを特徴とする請求項４０記載の画像処理装置。
【請求項４２】
前記被写体画像取得手段によって取得された被写体画像データから、被写体の外的特徴を抽出する被写体外的特徴データ抽出手段と、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データに基づいて、被写体の心理状態を推定する被写体心理状態推定手段と、
前記被写体心理状態推定手段によって推定された被写体の心理状態と、前記被写体画像取得手段によって取得された被写体画像データを関連付けて記憶媒体に記憶する被写体心理状態記憶制御手段と、
を備えることを特徴とする請求項２５〜３８の何れか一項に記載の画像処理装置。
【請求項４３】
前記被写体心理状態推定手段は、ニューラルネットワークを利用することによって撮影時における被写体の心理状態を推定することを特徴とする請求項３９、４０、４２の何れか一項に記載の画像処理装置。
【請求項４４】
前記被写体外的特徴データは、撮像時における被写体の表情、視線、瞳孔の大きさのうち少なくとも何れか一つであることを特徴とする請求項４０〜４２の何れか一項に記載の画像処理装置。
【請求項４５】
前記被写体心理状態推定手段によって推定された前記被写体の心理状態に基づいて、前記記憶媒体内の前記被写体画像データの分類を行う分類手段を備えることを特徴とする請求項３９〜４４の何れか一項に記載の画像処理装置。
【請求項４６】
被写体の心理状態を入力する入力手段と、
前記入力手段によって入力された前記被写体の心理状態に基づいて、前記記憶媒体から前記被写体画像データの検索を行う検索手段を備えることを特徴とする請求項３９〜４５の何れか一項に記載の画像処理装置。
【請求項４７】
前記検索手段によって検索された前記被写体画像データの閲覧を行う閲覧手段を備えることを特徴とする請求項４６記載の画像処理装置。
【請求項４８】
前記被写体心理状態推定手段によって推定された前記被写体の心理状態を修正する心理状態修正手段を備えることを特徴とする請求項３９〜４７の何れか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像撮像装置及び画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、ビデオカメラ、赤外線カメラ、監視カメラ等の画像撮像装置や画像処理装置が広汎に普及してきている。そして、これらの画像撮像装置で撮影された画像は、例えばビデオテープのような磁気記憶媒体、メモリカードのような半導体記憶媒体、ＣＤ−Ｒ、ＣＤ−ＲＷのような光学記憶媒体といった記憶媒体に画像データとして記憶される。
【０００３】
また、上記のような画像撮像装置、画像処理装置の撮影機能、画像処理機能の向上によって、蓄積される画像データが大幅に増加しつつあるので、蓄積された画像データを情報資源として有効に活用するためには、画像データに対してキーワードを設定したり、或いは画像データを適切なカテゴリーに分類するといった整理作業によって各々の画像データを容易に検索できるようにする必要がある。
【０００４】
このような課題に対し、多量の情報の中からユーザの所望の情報を検索できる情報提供方法として、例えば、予め登録されたキーワード等から構成されるユーザプロファイルに基づいて、マルチメディア情報中のユーザの関心のある部分を抽出し、代表画像と属性とを一覧表示できるものが知られている（例えば、特許文献１）。
【０００５】
また、画像検索装置として、１又は複数のフォルダから構成されるディレクトリ構造をもった画像データベース内より、検索対象画像に類似の画像を検索する検索手段と、検索された画像を表示する表示手段とを有する画像検索装置等も知られている（例えば、特許文献２）。より具体的には、例えば、選択された画像と類似する画像を画像データベース内から検索し、選択された画像と類似度が高い順番に画像を表示できるようになっている。即ち、画像間の類似度を特徴量として用いて、検索の効率を向上させるものである。
【特許文献１】特開２０００−２５０９４４号公報
【特許文献２】特開２０００−２７６４８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１記載の情報提供方法においては、ユーザが後の情報検索で用いるであろう複数のキーワード等を予め入力しなければならないので、ユーザに煩雑な作業を強いるものであった。また、特許文献２記載の画像検索装置においては、ユーザが画像を選択後にその画像と他の画像との類似度が計算された上で検索されることとなるので、検索作業に時間を要してしまうという問題点があった。さらに、画像間の類似度から得られる特徴量は限界があり、記憶される画像量が増えるにつれ、画像の類似度を計算してその類似度に基づいて検索するだけでは、画像検索の効率が向上しにくいという不具合があった。
【０００７】
そこで、上記課題を解決するために、煩雑な作業を伴うことなく、膨大な量の画像の中から所望する画像をより効率よく検索、分類することができる画像撮像装置及び画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、請求項１記載の発明は、例えば、図１、図３に示すように、
被写体を撮像して、被写体画像データを取得する被写体撮像手段と、
撮影者を撮像して、撮影者画像データを取得する撮影者撮像手段と、
前記撮影者撮像手段によって取得された撮影者画像データから、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする。
【０００９】
請求項２記載の発明は、請求項１記載の画像撮像装置であって、
前記撮影者撮像手段によって取得された撮像者画像データから、撮影者の外的特徴データを抽出する撮影者外的特徴データ抽出手段を備え、
前記撮影者心理状態推定手段は、
前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データに基づいて、撮影時における撮影者の心理状態を推定することを特徴とする。
【００１０】
請求項３記載の発明は、請求項２記載の画像撮像装置であって、
撮影者の心理状態と、基準の撮影者外的特徴データとが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、前記撮影者基準データ記憶手段に記憶されている基準の撮影者外的特徴データとを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする。
【００１１】
請求項４記載の発明は、
被写体を撮像して、被写体画像データを取得する被写体撮像手段と、
撮影時における撮影者の生理学的な特徴量を検出する生理学的特徴量検出手段と、
前記生理学的特徴量検出手段によって検出された生理学的特徴量に基づいて、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする。
【００１２】
請求項５記載の発明は、請求項４記載の画像撮像装置であって、
撮影者の心理状態と、基準の生理学的特徴量とが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記生理学的特徴量検出手段によって検出された生理学的特徴量と、前記撮影者基準データ記憶手段に記憶されている基準の生理学的特徴量とを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする。
【００１３】
請求項６記載の発明は、
被写体を撮像して、被写体画像データを取得する被写体撮像手段と、
撮影者を撮像して、撮影者画像データを取得する撮影者撮像手段と、
前記撮影者撮像手段によって取得された撮影者画像データから、撮影者の外的特徴データを抽出する撮影者外的特徴データ抽出手段と、
撮影時における撮影者の生理学的な特徴量を検出する生理学的特徴量検出手段と、
前記生理学的特徴量検出手段によって検出された生理学的特徴量と、前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、に基づいて、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする。
【００１４】
請求項７記載の発明は、請求項６記載の画像撮像装置であって、
撮影者の心理状態と、撮影者の基準外的特徴データ及び基準生理学的特徴量とが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記生理学的特徴量検出手段によって検出された生理学的特徴量及び前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、前記基準データ記憶手段に記憶されている前記基準外的特徴データ及び前記基準生理学的特徴量とを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする。
【００１５】
請求項８記載の発明は、請求項１、２、４、５、６の何れか一項に記載の画像撮像装置であって、
前記撮影者心理状態推定手段は、ニューラルネットワークを利用することによって撮影時における撮影者の心理状態を推定することを特徴とする。
【００１６】
請求項９記載の発明は、請求項２、３、６、７の何れか一項に記載の画像撮像装置であって、
前記撮影者外的特徴データは、撮影時における撮影者の表情、瞳孔の大きさのうち少なくとも何れか一方であることを特徴とする。
【００１７】
請求項１０記載の発明は、請求項５〜９の何れか一項に記載の画像撮像装置であって、
前記生理学的特徴量検出手段は、撮影時における撮影者の体温、脈拍数、発汗量、皮膚の電気的抵抗のうち少なくとも何れか一つを生理学的特徴量として検出することを特徴とする。
【００１８】
請求項１１記載の発明は、請求項１〜１０の何れか一項に記載の画像撮像装置であって、
前記撮影者心理状態推定手段により推定された撮影者の心理状態に基づいて、前記記憶媒体内の前記被写体画像データの分類を行う分類手段を備えることを特徴とする。
【００１９】
請求項１２記載の発明は、請求項１〜１１の何れか一項に記載の画像撮像装置であって、
撮影者の心理状態を入力する入力手段と、
前記入力手段により入力された前記撮影者の心理状態に基づいて、前記記憶媒体から前記被写体画像データの検索を行う検索手段を備えることを特徴とする。
【００２０】
請求項１３記載の発明は、請求項１２記載の画像撮像装置であって、
前記検索手段により検索された前記被写体画像データの閲覧を行う閲覧手段を備えることを特徴とする。
【００２１】
請求項１４記載の発明は、請求項１〜１３の何れか一項に記載の画像撮像装置であって、
前記撮影者心理状態推定手段によって推定された前記撮影者の心理状態を修正する心理状態修正手段を備えることを特徴とする。
【００２２】
請求項１５記載の発明は、
被写体を撮像して、被写体画像データを取得する被写体撮像手段と、
前記被写体撮像手段によって取得された被写体画像データに基づいて、撮影時における被写体の心理状態を推定する被写体心理状態推定手段と、
前記被写体心理状態推定手段によって推定された被写体の心理状態と、前記被写体撮像手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる被写体心理状態記憶制御手段と、
を備えることを特徴とする。
【００２３】
請求項１６記載の発明は、請求項１５記載の画像撮像装置であって、
前記被写体撮像手段によって取得された被写体画像データから、被写体の外的特徴データを抽出する被写体外的特徴データ抽出手段を備え、
前記被写体心理状態推定手段は、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データに基づいて、撮影時における被写体の心理状態を推定することを特徴とする。
【００２４】
請求項１７記載の発明は、請求項１６記載の画像撮像装置であって、
被写体の心理状態と、基準の被写体外的特徴データとが対応付けられて記憶されている被写体基準データ記憶手段を備え、
前記被写体心理推定手段は、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データと、前記被写体基準データ記憶手段に記憶されている基準の被写体外的特徴データとを比較することによって、撮影時における被写体の心理状態を推定することを特徴とする。
【００２５】
請求項１８記載の発明は、請求項１〜１４の何れか一項に記載の画像撮像装置であって、
前記被写体撮像手段によって取得された被写体画像データから、被写体の外的特徴を抽出する被写体外的特徴データ抽出手段と、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データに基づいて、被写体の心理状態を推定する被写体心理状態推定手段と、
前記被写体心理状態推定手段によって推定された被写体の心理状態と、前記被写体撮像手段によって取得された被写体画像データを関連付けて記憶媒体に記憶する被写体心理状態記憶制御手段と、
を備えることを特徴とする。
【００２６】
請求項１９記載の発明は、請求項１５、１６、１８の何れか一項に記載の画像撮像装置であって、
前記被写体心理状態推定手段は、ニューラルネットワークを利用することによって撮影時における被写体の心理状態を推定することを特徴とする。
【００２７】
請求項２０記載の発明は、請求項１６〜１８の何れか一項に記載の画像撮像装置であって、
前記被写体外的特徴データは、撮像時における被写体の表情、視線、瞳孔の大きさのうち少なくとも何れか一つであることを特徴とする。
【００２８】
請求項２１記載の発明は、請求項１５〜２０の何れか一項に記載の画像撮像装置であって、
前記被写体心理状態推定手段によって推定された前記被写体の心理状態に基づいて、前記記憶媒体内の前記被写体画像データの分類を行う分類手段を備えることを特徴とする。
【００２９】
請求項２２記載の発明は、請求項１５〜２１の何れか一項に記載の画像撮像装置であって、
被写体の心理状態を入力する入力手段と、
前記入力手段によって入力された前記被写体の心理状態に基づいて、前記記憶媒体から前記被写体画像データの検索を行う検索手段を備えることを特徴とする。
【００３０】
請求項２３記載の発明は、請求項２２記載の画像撮像装置であって、
前記検索手段によって検索された前記被写体画像データの閲覧を行う閲覧手段を備えることを特徴とする。
【００３１】
請求項２４記載の発明は、請求項１５〜２３の何れか一項に記載の画像撮像装置であって、
前記被写体心理状態推定手段によって推定された前記被写体の心理状態を修正する心理状態修正手段を備えることを特徴とする。
【００３２】
請求項２５記載の発明は、例えば、図３、図１２に示すように、
被写体を撮像した被写体画像データを取得する被写体画像取得手段と、
撮影者を撮像した撮影者画像データを取得する撮影者画像取得手段と、
前記撮影者画像取得手段によって取得された撮影者画像データから、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体画像取得手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする。
【００３３】
請求項２６記載の発明は、請求項２５記載の画像処理装置であって、
前記撮影者画像取得手段によって取得された撮像者画像データから、撮影者の外的特徴データを抽出する撮影者外的特徴データ抽出手段を備え、
前記撮影者心理状態推定手段は、
前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データに基づいて、撮影時における撮影者の心理状態を推定することを特徴とする。
【００３４】
請求項２７記載の発明は、請求項２６記載の画像処理装置であって、
撮影者の心理状態と、基準の撮影者外的特徴データとが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、前記撮影者基準データ記憶手段に記憶されている基準の撮影者外的特徴データとを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする。
【００３５】
請求項２８記載の発明は、
被写体を撮像した被写体画像データを取得する被写体画像取得手段と、
前記被写体の撮影時に検出された撮影者の生理学的な特徴量を取得する生理学的特徴量取得手段と、
前記生理学的特徴量取得手段によって取得された生理学的特徴量に基づいて、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体画像取得手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする。
【００３６】
請求項２９記載の発明は、請求項２８記載の画像処理装置であって、
撮影者の心理状態と、基準の生理学的特徴量とが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記生理学的特徴量検出手段によって検出された生理学的特徴量と、前記撮影者基準データ記憶手段に記憶されている基準の生理学的特徴量とを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする。
【００３７】
請求項３０記載の発明は、
被写体を撮像した被写体画像データを取得する被写体画像取得手段と、
撮影者を撮像した撮影者画像データを取得する撮影者画像取得手段と、
前記撮影者画像取得手段によって取得された撮影者画像データから、撮影者の外的特徴データを抽出する撮影者外的特徴データ抽出手段と、
前記被写体の撮影時に検出された撮影者の生理学的な特徴量を取得する生理学的特徴量取得手段と、
前記生理学的特徴量取得手段によって取得された生理学的特徴量と、前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、に基づいて、撮影時における撮影者の心理状態を推定する撮影者心理状態推定手段と、
前記撮影者心理状態推定手段によって推定された撮影者の心理状態と、前記被写体画像取得手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる撮影者心理状態記憶制御手段と、
を備えることを特徴とする。
【００３８】
請求項３１記載の発明は、請求項３０記載の画像処理装置であって、
撮影者の心理状態と、撮影者の基準外的特徴データ及び基準生理学的特徴量とが対応付けられて記憶されている撮影者基準データ記憶手段を備え、
前記撮影者心理状態推定手段は、
前記生理学的特徴量検出手段によって検出された生理学的特徴量及び前記撮影者外的特徴データ抽出手段によって抽出された撮影者外的特徴データと、前記基準データ記憶手段に記憶されている前記基準外的特徴データ及び前記基準生理学的特徴量とを比較することによって、撮影時における撮影者の心理状態を推定することを特徴とする。
【００３９】
請求項３２記載の発明は、請求項２５、２６、２８、２９、３０の何れか一項に記載の画像処理装置であって、
前記撮影者心理状態推定手段は、ニューラルネットワークを利用することによって撮影時における撮影者の心理状態を推定することを特徴とする。
【００４０】
請求項３３記載の発明は、請求項２６、２７、３０、３１の何れか一項に記載の画像処理装置であって、
前記撮影者外的特徴データは、撮影時における撮影者の表情、瞳孔の大きさのうち少なくとも何れか一方であることを特徴とする。
【００４１】
請求項３４記載の発明は、請求項２９〜３３の何れか一項に記載の画像処理装置であって、
前記生理学的特徴量検出手段は、撮影時における撮影者の体温、脈拍数、発汗量、皮膚の電気的抵抗のうち少なくとも何れか一つを生理学的特徴量として検出することを特徴とする。
【００４２】
請求項３５記載の発明は、請求項２５〜３４の何れか一項に記載の画像処理装置であって、
前記撮影者心理状態推定手段により推定された撮影者の心理状態に基づいて、前記記憶媒体内の前記被写体画像データの分類を行う分類手段を備えることを特徴とする。
【００４３】
請求項３６記載の発明は、請求項２５〜３５の何れか一項に記載の画像処理装置であって、
撮影者の心理状態を入力する入力手段と、
前記入力手段により入力された前記撮影者の心理状態に基づいて、前記記憶媒体から前記被写体画像データの検索を行う検索手段を備えることを特徴とする。
【００４４】
請求項３７記載の発明は、請求項３６記載の画像処理装置であって、
前記検索手段により検索された前記被写体画像データの閲覧を行う閲覧手段を備えることを特徴とする。
【００４５】
請求項３８記載の発明は、請求項２５〜３７の何れか一項に記載の画像処理装置であって、
前記撮影者心理状態推定手段によって推定された前記撮影者の心理状態を修正する心理状態修正手段を備えることを特徴とする。
【００４６】
請求項３９記載の発明は、
被写体を撮像した被写体画像データを取得する被写体画像取得手段と、
前記被写体画像取得手段によって取得された被写体画像データに基づいて、撮影時における被写体の心理状態を推定する被写体心理状態推定手段と、
前記被写体心理状態推定手段によって推定された被写体の心理状態と、前記被写体画像取得手段によって取得された被写体画像データとを関連付けて記憶媒体に記憶させる被写体心理状態記憶制御手段と、
を備えることを特徴とする。
【００４７】
請求項４０記載の発明は、請求項３９記載の画像処理装置であって、
前記被写体画像取得手段によって取得された被写体画像データから、被写体の外的特徴データを抽出する被写体外的特徴データ抽出手段を備え、
前記被写体心理状態推定手段は、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データに基づいて、撮影時における被写体の心理状態を推定することを特徴とする。
【００４８】
請求項４１記載の発明は、請求項４０記載の画像処理装置であって、
被写体の心理状態と、基準の被写体外的特徴データとが対応付けられて記憶されている被写体基準データ記憶手段を備え、
前記被写体心理推定手段は、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データと、前記被写体基準データ記憶手段に記憶されている基準の被写体外的特徴データとを比較することによって、撮影時における被写体の心理状態を推定することを特徴とする。
【００４９】
請求項４２記載の発明は、請求項２５〜３８の何れか一項に記載の画像処理装置であって、
前記被写体画像取得手段によって取得された被写体画像データから、被写体の外的特徴を抽出する被写体外的特徴データ抽出手段と、
前記被写体外的特徴データ抽出手段によって抽出された被写体外的特徴データに基づいて、被写体の心理状態を推定する被写体心理状態推定手段と、
前記被写体心理状態推定手段によって推定された被写体の心理状態と、前記被写体画像取得手段によって取得された被写体画像データを関連付けて記憶媒体に記憶する被写体心理状態記憶制御手段と、
を備えることを特徴とする。
【００５０】
請求項４３記載の発明は、請求項３９、４０、４２の何れか一項に記載の画像処理装置であって、
前記被写体心理状態推定手段は、ニューラルネットワークを利用することによって撮影時における被写体の心理状態を推定することを特徴とする。
【００５１】
請求項４４記載の発明は、請求項４０〜４２の何れか一項に記載の画像処理装置であって、
前記被写体外的特徴データは、撮像時における被写体の表情、視線、瞳孔の大きさのうち少なくとも何れか一つであることを特徴とする。
【００５２】
請求項４５記載の発明は、請求項３９〜４４の何れか一項に記載の画像処理装置であって、
前記被写体心理状態推定手段によって推定された前記被写体の心理状態に基づいて、前記記憶媒体内の前記被写体画像データの分類を行う分類手段を備えることを特徴とする。
【００５３】
請求項４６記載の発明は、請求項３９〜４５の何れか一項に記載の画像処理装置であって、
被写体の心理状態を入力する入力手段と、
前記入力手段によって入力された前記被写体の心理状態に基づいて、前記記憶媒体から前記被写体画像データの検索を行う検索手段を備えることを特徴とする。
【００５４】
請求項４７記載の発明は、請求項４６記載の画像処理装置であって、
前記検索手段によって検索された前記被写体画像データの閲覧を行う閲覧手段を備えることを特徴とする。
【００５５】
請求項４８記載の発明は、請求項３９〜４７の何れか一項に記載の画像処理装置であって、
前記被写体心理状態推定手段によって推定された前記被写体の心理状態を修正する心理状態修正手段を備えることを特徴とする。
【発明の効果】
【００５６】
請求項１記載の発明によれば、撮像者画像データから、撮影時における撮影者の心理状態を推定して、推定された心理状態と、被写体画像データとを関連付けて記憶媒体に記憶させることができる。従って、ユーザが被写体画像データをキーワード等で分類させる等の整理作業をする必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【００５７】
請求項２記載の発明によれば、請求項１記載の発明と同様の効果が得られるのは無論のこと、特に、撮影者画像データから撮影者の外的特徴データを抽出して、この外的特徴データに基づいて心理状態を推定するので、より正確に心理状態を推定することができる。  
【００５８】
請求項３記載の発明によれば、請求項２記載の発明と同様の効果が得られるのは無論のこと、特に、抽出された撮影者の外的特徴データと、撮影者の心理状態と対応付けられて記憶されている基準の外的特徴データとを比較して、心理状態を推定するので、撮影者の個人的な外的特徴が加味された上で、撮影者の心理状態が推定される。従って、心理状態の誤認をより低減させることができる。
【００５９】
請求項４記載の発明によれば、撮影者の体温等の生理学的特徴量に基づいて、撮影時における撮影者の心理状態を推定して、推定された心理状態と、被写体画像データとを関連付けて記憶媒体に記憶させるので、推定される心理状態の信頼性を確保するとともに、撮影者が被写体画像データをキーワード等で分類させる等の整理作業をする必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【００６０】
請求項５記載の発明によれば、請求項４記載の発明と同様の効果が得られるのは無論のこと、特に、検出された撮影者の生理学的特徴量と、撮影者の心理状態と対応付けられて記憶されている基準の生理学的特徴量とを比較して、心理状態を推定する。従って、撮影者の個人的な生理学的特徴量を加味した上で、撮影者の心理状態を推定するので、心理状態の誤認を低減させることができる。
【００６１】
請求項６記載の発明によれば、検出された撮影者の生理学的特徴量と、抽出された撮影者の外的特徴データと、に基づいて、撮影時における撮影者の心理状態を推定して、推定された心理状態と、被写体画像データとを関連付けて記憶媒体に記憶させる。従って、心理状態を推定するためのパラメータが増えることとなるので、より正確に心理状態を推定することができる。
また、撮影者が被写体画像データをキーワード等で分類させる等の整理作業をする必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【００６２】
請求項７記載の発明によれば、請求項６記載の発明と同様の効果が得られるのは無論のこと、特に、検出された撮影者の生理学的特徴量と、抽出された撮影者の外的特徴データと、撮影者の心理状態と対応付けられて記憶されている基準の生理学的特徴量及び基準の外的特徴データと、を比較することにより撮影者の心理状態を推定する。従って、撮影者の個人的な生理学的特徴量及び外的特徴データを加味した上で、撮影者の心理状態を推定するので、推定される心理状態の正確性が格段に向上する。
【００６３】
請求項８記載の発明によれば、請求項１、２、４、５、６の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、ニューラルネットワークを利用することによって撮影者の心理状態を推定するので、処理負荷を低くしつつ簡潔に心理状態の推定を行うことができる。
【００６４】
請求項９記載の発明によれば、請求項２、３、６、７の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、撮影者外的特徴データは、撮影者の表情、瞳孔の大きさのうち少なくとも何れか一方を含む。従って、心理状態推定に表情、瞳孔の大きさをパラメータとして用いることとなるので、より正確に心理状態を推定することができる。
【００６５】
請求項１０記載の発明によれば、請求項５〜９の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、撮影時における撮影者の体温、脈拍数、発汗量、皮膚の電気的抵抗のうち少なくとも何れか一つを生理学的特徴量として検出する。従って、撮影者の心理状態の推定に体温、脈拍数、発汗量、皮膚の電気的抵抗をパラメータとして用いることとなるので、より正確に心理状態を推定することができる。
【００６６】
請求項１１記載の発明によれば、請求項１〜１０の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、撮影者の心理状態に基づいて、被写体画像データの分類を行うことができる。従って、心理状態と被写体画像データとの分類が自動的に行われるので、被写体画像データの管理がより容易となる。
【００６７】
請求項１２記載の発明によれば、請求項１〜１１の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、入力された撮影者の心理状態に基づいて被写体画像データの検索を行うことができる。従って、大量の被写体画像データの中から所望の画像を容易に検索できる。
【００６８】
請求項１３記載の発明によれば、請求項１２記載の発明と同様の効果が得られるのは無論のこと、特に、検索された被写体画像データの閲覧を行うことができる。従って、検索画像をユーザが視認することができることとなるので、画像閲覧作業がより容易となる。
【００６９】
請求項１４記載の発明によれば、請求項１〜１３の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、推定された撮影者の心理状態を修正することができる。従って、画像データと心理状態が誤って関連付けられて記憶されることを防ぐことができる。
【００７０】
請求項１５記載の発明によれば、被写体画像データから、撮影時における被写体の心理状態を推定して、推定された心理状態と、被写体画像データとを関連付けて記憶媒体に記憶させることができる。従って、ユーザが被写体画像データをキーワード等で分類させる等の整理作業をする必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【００７１】
請求項１６記載の発明によれば、請求項１５記載の発明と同様の効果が得られるのは無論のこと、特に、被写体画像データから被写体の外的特徴データを抽出して、この外的特徴データに基づいて心理状態を推定するので、より正確に心理状態を推定することができる。
【００７２】
請求項１７記載の発明によれば、請求項１６記載の発明と同様の効果が得られるのは無論のこと、特に、抽出された被写体の外的特徴データと、被写体の心理状態と対応付けられて記憶されている基準の外的特徴データとを比較して、心理状態を推定するので、被写体の個人的な外的特徴が加味された上で、被写体の心理状態が推定される。従って、心理状態の誤認をより低減させることができる。
【００７３】
請求項１８記載の発明によれば、請求項１〜１４の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、撮影時における被写体の心理状態及び撮影者の心理状態を被写体画像データとそれぞれ関連付けて記憶させる。従って、被写体画像データの検索パラメータとして被写体又は撮影者の両方の心理状態を用いることができるので、大量の画像の中から所望の画像をより迅速に検索することができる。
【００７４】
請求項１９記載の発明によれば、請求項１５、１６、１８の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、ニューラルネットワークを利用することによって被写体の心理状態を推定するので、処理負荷を低くしつつ簡潔に心理状態の推定を行うことができる。
【００７５】
請求項２０記載の発明によれば、請求項１６〜１８の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、被写体外的特徴データは、被写体の表情、視線、瞳孔の大きさのうち少なくとも何れか一つを含む。従って、心理状態推定に表情、視線、瞳孔の大きさをパラメータとして用いることとなるので、より正確に心理状態を推定することができる。
【００７６】
請求項２１記載の発明によれば、請求項１５〜２０の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、被写体の心理状態に基づいて、被写体画像データの分類を行うことができる。従って、被写体の心理状態と被写体画像データとの分類が自動的に行われるので、被写体画像データの管理がより容易となる。
【００７７】
請求項２２記載の発明によれば、請求項１５〜２１の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、入力された被写体の心理状態に基づいて被写体画像データの検索を行うことができる。従って、大量の被写体画像データの中から所望の画像を容易に検索できる。
【００７８】
請求項２３記載の発明によれば、請求項２２記載の発明と同様の効果が得られるのは無論のこと、特に、検索された被写体画像データの閲覧を行うことができる。従って、検索画像をユーザが視認することができることとなるので、画像閲覧作業がより容易となる。
【００７９】
請求項２４記載の発明によれば、請求項１５〜２３の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、推定された被写体の心理状態を修正することができる。従って、画像データと心理状態が誤って関連付けられて記憶されることを防ぐことができる。
【００８０】
請求項２５記載の発明によれば、撮像者画像データから、撮影時における撮影者の心理状態を推定して、推定された心理状態と、被写体画像データとを関連付けて記憶媒体に記憶させることができる。従って、撮影者が被写体画像データをキーワード等で分類させる等の整理作業をする必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【００８１】
請求項２６記載の発明によれば、請求項２５記載の発明と同様の効果が得られるのは無論のこと、特に、撮影者画像データから撮影者の外的特徴データを抽出して、この外的特徴データに基づいて心理状態を推定するので、より正確に心理状態を推定することができる。
【００８２】
請求項２７記載の発明によれば、請求項２６記載の発明と同様の効果が得られるのは無論のこと、特に、抽出された撮影者の外的特徴データと、撮影者の心理状態と対応付けられて記憶されている基準の外的特徴データとを比較して、心理状態を推定するので、撮影者の個人的な外的特徴が加味された上で、撮影者の心理状態が推定される。従って、心理状態の誤認をより低減させることができる。
【００８３】
請求項２８記載の発明によれば、撮影者の体温等の生理学的特徴量に基づいて、撮影時における撮影者の心理状態を推定して、推定された心理状態と、被写体画像データとを関連付けて記憶媒体に記憶させるので、推定される心理状態の信頼性を確保するとともに、撮影者が被写体画像データをキーワード等で分類させる等の整理作業をする必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【００８４】
請求項２９記載の発明によれば、請求項２８記載の発明と同様の効果が得られるのは無論のこと、特に、検出された撮影者の生理学的特徴量と、撮影者の心理状態と対応付けられて記憶されている基準の生理学的特徴量とを比較して、心理状態を推定する。従って、撮影者の個人的な生理学的特徴量を加味した上で、撮影者の心理状態を推定するので、心理状態の誤認を低減させることができる。
【００８５】
請求項３０記載の発明によれば、検出された撮影者の生理学的特徴量と、抽出された撮影者の外的特徴データと、に基づいて、撮影時における撮影者の心理状態を推定して、推定された心理状態と、被写体画像データとを関連付けて記憶媒体に記憶させる。従って、心理状態を推定するためのパラメータが増えることとなるので、より正確に心理状態を推定することができる。
また、撮影者が被写体画像データをキーワード等で分類させる等の整理作業をする必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【００８６】
請求項３１記載の発明によれば、請求項３０記載の発明と同様の効果が得られるのは無論のこと、特に、検出された撮影者の生理学的特徴量と、抽出された撮影者の外的特徴データと、撮影者の心理状態と対応付けられて記憶されている基準の生理学的特徴量及び基準の外的特徴データと、を比較することにより撮影者の心理状態を推定する。従って、撮影者の個人的な生理学的特徴量及び外的特徴データを加味した上で、撮影者の心理状態を推定するので、推定される心理状態の正確性が格段に向上する。
【００８７】
請求項３２記載の発明によれば、請求項２５、２６、２８、２９、３０の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、ニューラルネットワークを利用することによって撮影者の心理状態を推定するので、処理負荷を低くしつつ簡潔に心理状態の推定を行うことができる。
【００８８】
請求項３３記載の発明によれば、請求項２６、２７、３０、３１の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、撮影者外的特徴データは、撮影者の表情、瞳孔の大きさのうち少なくとも何れか一方を含む。従って、心理状態推定に表情、瞳孔の大きさをパラメータとして用いることとなるので、より正確に心理状態を推定することができる。
【００８９】
請求項３４記載の発明によれば、請求項２９〜３３の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、撮影時における撮影者の体温、脈拍数、発汗量、皮膚の電気的抵抗のうち少なくとも何れか一つを生理学的特徴量として検出する。従って、撮影者の心理状態の推定に体温、脈拍数、発汗量、皮膚の電気的抵抗をパラメータとして用いることとなるので、より正確に心理状態を推定することができる。
【００９０】
請求項３５記載の発明によれば、請求項２５〜３４の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、撮影者の心理状態に基づいて、被写体画像データの分類を行うことができる。従って、撮影時に心理状態と被写体画像データとの分類が自動的に行われるので、被写体画像データの管理がより容易となる。
【００９１】
請求項３６記載の発明によれば、請求項２５〜３５の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、入力された撮影者の心理状態に基づいて被写体画像データの検索を行うことができる。従って、大量の被写体画像データの中から所望の画像を容易に検索できる。
【００９２】
請求項３７記載の発明によれば、請求項３６記載の発明と同様の効果が得られるのは無論のこと、特に、検索された被写体画像データの閲覧を行うことができる。従って、検索画像をユーザが視認することができることとなるので、画像閲覧作業がより容易となる。
【００９３】
請求項３８記載の発明によれば、請求項２５〜３７の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、推定された撮影者の心理状態を修正することができる。従って、画像データと心理状態が誤って関連付けられて記憶されることを防ぐことができる。
【００９４】
請求項３９記載の発明によれば、被写体画像データから、撮影時における被写体の心理状態を推定して、推定された心理状態と、被写体画像データとを関連付けて記憶媒体に記憶させることができる。従って、ユーザが被写体画像データをキーワード等で分類させる等の整理作業をする必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【００９５】
請求項４０記載の発明によれば、請求項３９記載の発明と同様の効果が得られるのは無論のこと、特に、被写体画像データから被写体の外的特徴データを抽出して、この外的特徴データに基づいて心理状態を推定するので、より正確に心理状態を推定することができる。
【００９６】
請求項４１記載の発明によれば、請求項４０記載の発明と同様の効果が得られるのは無論のこと、特に、抽出された被写体の外的特徴データと、被写体の心理状態と対応付けられて記憶されている基準の外的特徴データとを比較して、心理状態を推定するので、被写体の個人的な外的特徴が加味された上で、被写体の心理状態が推定される。従って、心理状態の誤認をより低減させることができる。
【００９７】
請求項４２記載の発明によれば、請求項２５〜３８の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、撮影時における被写体の心理状態及び撮影者の心理状態を被写体画像データとそれぞれ関連付けて記憶させる。従って、被写体画像データの検索パラメータとして被写体又は撮影者の両方の心理状態を用いることができるので、大量の画像の中から所望の画像をより迅速に検索することができる。
【００９８】
請求項４３記載の発明によれば、請求項３９、４０、４２の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、ニューラルネットワークを利用することによって被写体の心理状態を推定するので、処理負荷を低くしつつ簡潔に心理状態の推定を行うことができる。
【００９９】
請求項４４記載の発明によれば、請求項４０〜４２の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、被写体外的特徴データは、被写体の表情、視線、瞳孔の大きさのうち少なくとも何れか一つを含む。従って、心理状態推定に表情、視線、瞳孔の大きさをパラメータとして用いることとなるので、より正確に心理状態を推定することができる。
【０１００】
請求項４５記載の発明によれば、請求項３９〜４４の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、被写体の心理状態に基づいて、被写体画像データの分類を行うことができる。従って、被写体の心理状態と被写体画像データとの分類が自動的に行われるので、被写体画像データの管理がより容易となる。
【０１０１】
請求項４６記載の発明によれば、請求項３９〜４５の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、入力された被写体の心理状態に基づいて被写体画像データの検索を行うことができる。従って、大量の被写体画像データの中から所望の画像を容易に検索できる。
【０１０２】
請求項４７記載の発明によれば、請求項４６記載の発明と同様の効果が得られるのは無論のこと、特に、検索された被写体画像データの閲覧を行うことができる。従って、検索画像をユーザが視認することができることとなるので、画像閲覧作業がより容易となる。
【０１０３】
請求項４８記載の発明によれば、請求項３９〜４７の何れか一項に記載の発明と同様の効果が得られるのは無論のこと、特に、推定された被写体の心理状態を修正することができる。従って、画像データと心理状態が誤って関連付けられて記憶されることを防ぐことができる。
【発明を実施するための最良の形態】
【０１０４】
以下、図を参照して、本発明にかかる実施形態としての画像撮像装置１及び画像処理装置１００について詳細に説明する。
＜実施形態１＞
図１は、第一の実施形態にかかる画像撮像装置の内部構成を示すブロック図、図２は、図１の画像撮像装置の背面概略図である。
【０１０５】
図１に示す画像撮像装置１は、例えば、デジタルムービーカメラであり、撮影者を撮像する撮影者撮像部２と、被写体を撮像する被写体撮像部３と、各構成要素を操作する操作部４と、被写体画像データを表示する表示部５と、撮影者及び被写体の各外的特徴データや被写体画像データ等を記憶する記憶制御部６と、各部を制御する制御部１０等を備えている。
【０１０６】
撮影者撮像部２は、例えば、図２に示すように、装置本体部１ａの背面の中央よりもやや上方に配置されて設けられている。撮影者撮像部２は、レンズ部（図示省略）、撮像素子（図示省略）等を備えて構成され、撮影者撮像手段として撮影者を撮像して、撮影者画像データを取得する。レンズ部は、レンズ等の光学的構成要素を備えて構成されており、撮影者の画像を撮像素子の撮像面上に結ぶ。撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を備えて構成され、レンズ部により導かれた被写体の画像を電気信号に変換する。
なお、撮影者撮像部２の配置は、図２に示す位置に限定されるものではなく、撮影者を撮像可能な位置であればその如何を問わない。
【０１０７】
被写体撮像部３は、例えば、装置本体部１ａの正面に配置されて設けられている。撮影者撮像部２と同様に、レンズ部（図示省略）、撮像素子（図示省略）等を備え、被写体撮像手段として被写体を撮像して、被写体画像データを取得する。
【０１０８】
操作部４は、例えば、図２に示すように、撮影指示信号を出力するシャッターボタン４ａ等を備えている。このシャッターボタン４ａの押下によって撮影指示信号が出力されると、撮影者撮像部２及び被写体撮像部３がそれぞれの対象を撮像する構成となっている。また、操作部４は、表示部５に表示される文字等を選択可能なカーソルキー（図示省略）や、画像検索・閲覧の際に検索キーワードとして撮影者或いは被写体の心理状態を入力するための入力キー（図示省略）等を備えている。従って、操作部４は、心理状態を入力する入力手段として機能する。
【０１０９】
表示部５は、図２に示すように、撮影画像を表示するモニタ５０を備えており、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）により構成されている。撮影時には、撮影者がモニタ５０に表示された画像により被写体像を視認して、撮影を行うこととなる。
また、表示部５は、閲覧手段として、画像検索・閲覧の際に、検索された被写体画像データを表示する。
【０１１０】
記憶制御部６は、記憶媒体としてのメモリカード６ａの読取／書込装置であり、メモリカード６ａを着脱自在に収納する。この記憶制御部６は、撮影者心理状態記憶制御手段として撮影時における撮影者の心理状態を被写体画像データと関連付けてメモリカード６ａに記憶させるとともに、被写体心理状態記憶制御手段として撮影時における被写体の心理状態を被写体画像データと関連付けてメモリカード６ａに記憶させる。
【０１１１】
ここで、心理状態とは、例えば、喜び、怒り、驚き、悲しみ、恐れ、嫌悪、中立等の心理状態を指すものとする。
一般的に、人間の心理状態、精神状態は、表情等の外的特徴若しくは脈拍数等の生理学的特徴に反映されるものである。より具体的には、例えば、表情については、両目が細く、口の両端が上がっている場合には「喜んでいる」状態、両眉の間隔が短くなり、口がやや開かれている場合には「怒っている」状態、両目の開き具合が大きく、口が顕著に開かれている場合には「驚いている」状態である場合が多い。
また、脈拍数については、平常時より脈拍数が高い場合には、「緊張している」状態であることが考えられる。
このように、撮影者或いは被写体の外的特徴或いは生理学的特徴の変化を数値化したデータを根拠にして、心理状態を推定することが可能である。
【０１１２】
メモリカード６ａは、撮影者心理状態分類ファイル６１、被写体心理状態分類ファイル６２等を格納している。
撮影者心理状態分類ファイル６１は、撮影時における撮影者の心理状態と被写体画像データとを関連付けて記憶しておくためのファイルである。
被写体心理状態分類ファイル６２は、撮影時における被写体の心理状態と被写体画像データとを関連付けて記憶しておくためのファイルである。
【０１１３】
制御部１０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３０と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）４０と、インターフェース（Ｉ／Ｆ）１１等を備えて構成される。制御部１０は、このインターフェース１１を介して、撮影者撮像部２、被写体撮像部３、操作部４、表示部５、記憶制御部６、生理学的特徴量検出センサ７等に電気的に接続されている。
【０１１４】
生理学的特徴量検出センサ７は、撮影時における撮影者の生理学的特徴量を検出するためのセンサであり、生理学的特徴量検出手段として機能する。
ここで、生理学的特徴量は、例えば、撮影者の体温、脈拍数、発汗量、皮膚の電気的抵抗のうち少なくとも何れか一つを含む。
この生理学的特徴量検出センサ７としては、例えば、温度センサ、脈拍数センサ、湿度センサ、電気抵抗センサ等を用いることができる。
【０１１５】
より具体的には、例えば、温度センサによって撮影者の体温を検出したり、脈拍数センサによって撮影者の脈拍数を検出したり、湿度センサによって撮影者の発汗量を検出したり、電気抵抗センサによって撮影者の皮膚の電気的抵抗を検出して、これらの検出値を撮影者の生理学的特徴量とする。
生理的特徴量検出センサ７は、図２に示すように、例えばシャッターボタン４ａの所定の位置に設けられ、撮影時における撮影者の生理学的特徴量を検出できるようになっている。生理学的特徴量センサ７の配置は特に限定されるものではなく、撮影者の生理学的特徴量を検出可能な位置であれば良いし、センサの数も一つに限定されるものではない。
【０１１６】
ＣＰＵ２０は、ＲＯＭ４０に格納されている各種プログラムの中から指定されたプログラムをＲＡＭ３０の作業領域に展開して、このプログラムに従った各種処理を実行する。
ＲＯＭ４０は、図３に示すように、撮影者基準外的特徴データ４００、基準生理学的特徴量データ４０１、被写体基準外的特徴量データ４０２、撮影者撮像プログラム４１０、撮影者外的特徴データ抽出プログラム４１１、撮影者心理状態推定プログラム４１２、撮影者心理状態記憶プログラム４１３、被写体撮像プログラム４２０、被写体外的特徴データ抽出プログラム４２１、被写体心理状態推定プログラム４２２、被写体心理状態記憶プログラム４２２、心理状態修正プログラム４３０、分類プログラム４３１、入力プログラム４３２、検索プログラム４３３、閲覧プログラム４３４等を備えている。
【０１１７】
撮影者基準外的特徴データ４００は、撮影者の心理状態と対応付けられている個人的な外的特徴データであり、撮影時における撮影者の心理状態を推定するために用いられる。
ここで、撮影者の外的特徴は、例えば、表情、瞳孔の大きさのうち少なくとも何れか一方を含む。
【０１１８】
被写体基準外的特徴データ４０２は、被写体の心理状態と対応付けられている個人的な外的特徴データであり、撮影時における被写体の心理状態を推定するために用いられる。
ここで、被写体の外的特徴は、例えば、被写体の表情、視線、瞳孔の大きさのうち少なくとも何れか一つを含む。
【０１１９】
なお、撮影者外的特徴データ４００、被写体外的特徴データとして、統計的に推定される人体の各心理状態における外的特徴についての一般的な人体データを用いてもよい。
【０１２０】
基準生理学的特徴量データ４０１は、撮影者の心理状態と対応付けられている個人的な生理学的特徴量データであり、撮影時における撮影者の心理状態を推定するために用いられる。なお、各外的特徴データと同様に、統計的に推定される人体の各心理状態における生理学的特徴量についての一般的な人体データを用いてもよい。
【０１２１】
このように、ＲＯＭ４０は、撮影者基準外的特徴データ４００及び基準生理学的特徴量データ４０１を格納し、撮影者基準データ記憶手段として機能するとともに、被写体基準外的特徴データ４０２を格納し、被写体基準データ記憶手段として機能する。
【０１２２】
上述した撮影者基準外的特徴データ４００、基準生理学的特徴量データ４０１、被写体
基準外的特徴データ４０２については、それぞれ複数のユーザのデータを格納できるよう構成しておくのが好ましい。この場合、各ユーザデータの識別は、例えば、ユーザの指紋の照合によって行うようにしてもよい。
【０１２３】
撮影者撮像プログラム４１０は、撮影者を撮影して、撮影者画像データを取得させるプログラムであり、ＣＰＵ２０はかかる撮影者撮像プログラム４１０を実行することにより撮影者撮像手段として機能する。
【０１２４】
被写体撮像プログラム４２０は、被写体を撮像して、被写体画像データを取得させるプログラムであり、ＣＰＵ２０はかかる被写体撮像プログラム４２０を実行することにより被写体撮像手段として機能する。
【０１２５】
撮影者外的特徴データ抽出プログラム４１１は、撮影者撮像部２によって取得される撮影者画像データから、撮影者の外的特徴データを抽出させるプログラムであり、ＣＰＵ２０はかかる撮影者外的特徴データ抽出プログラム４１１を実行することにより撮影者外的特徴データ抽出手段として機能する。
【０１２６】
被写体外的特徴データ抽出プログラム４２１は、被写体撮像部３によって取得される被写体画像データから、被写体の外的特徴データを抽出させるプログラムであり、ＣＰＵ２０はかかる被写体外的特徴データ抽出プログラム４２１を実行することにより被写体外的特徴データ抽出手段として機能する。
【０１２７】
ここで、外的特徴データの抽出には、例えば、以下に述べる方法が用いられる。
（外的特徴データとしての表情抽出）
撮影者或いは被写体の顔の形状に相当する顔候補領域を決定して、顔候補領域から、さらに目領域や口領域を抽出する。次いで、抽出された目領域や口領域の間の距離或いは座標等の位置関係を算出して、表情について数値化することにより外的特徴データとして抽出する。
【０１２８】
（外的特徴データとしての視線抽出）
先ず、表情の抽出と同様に、被写体の顔領域の抽出する。次いで、目領域を抽出するとともに、顔全体の角度を算出する。そして、抽出された目領域から更に黒目の領域と白目の領域を抽出して、黒目を挟む、左右の白目の大きさの比率を算出する。その後、顔全体の角度と白目の大きさの比率とに基づいて、視線の方向を推定してその方向を数値化することにより外的特徴データとして抽出する。特に、視線を外的特徴データとして抽出することによって、被写体画像データを「カメラを意識している」、「カメラをじっと見ている」等の心理状態に分類可能であり、例えば、証明写真用の被写体画像データを検索する際に活用することもできる。
【０１２９】
（外的特徴データとしての瞳孔の大きさ抽出）
上述の表情抽出と同様に、撮影者或いは被写体の顔領域を抽出して、次いで、目領域を抽出する。その後、瞳孔の領域を抽出して、瞳孔の大きさを算出して、数値化することにより外的特徴データとして抽出する。特に、瞳孔の大きさを外的特徴データとして抽出することによって、瞳孔の大きさが所定値以上である場合には、「好意的な感情を抱いている」等の心理状態が推定可能である。
【０１３０】
撮影者心理状態推定プログラム４１２は、抽出された撮影者の外的特徴データ及び生理学的特徴量と、予め対応付けられている撮影者の心理状態と基準の外的特徴データと基準の生理学的特徴量と比較することによって、撮影時における撮影者の心理状態を推定させるプログラムであり、ＣＰＵ２０はかかる撮影者心理状態推定プログラム４１２を実行することにより撮影者心理状態推定手段として機能する。
【０１３１】
被写体心理状態推定プログラム４２２は、抽出された被写体の外的特徴データと、被写体の心理状態と対応付けられて記憶されている基準の外的特徴データとを比較することによって、撮影時における被写体の心理状態を推定させるプログラムであり、ＣＰＵ２０はかかる被写体心理状態推定プログラム４２２を実行することにより被写体心理状態推定手段として機能する。
【０１３２】
ここで、心理状態推定について説明する。心理状態の推定は、例えば、テンプレートマッチングにより行う。
（テンプレートマッチングによる心理状態推定）
撮影者或いは被写体の表情等の外的特徴データを用いて、テンプレートマッチングによって心理状態を推定することもできる。この場合は、抽出された外的特徴データと、被写体の心理状態と対応付けられて記憶されている基準の外的特徴データとを比較する。
より具体的には、例えば、抽出された目領域や口領域の座標位置関係を示すテンプレートを作成して、このテンプレートと、予め記憶されている各心理状態に対応する目領域や口領域の座標位置関係を示す基準テンプレートとのマッチングを順次行い、最も一致度が高い基準テンプレートを求め、この基準テンプレートと対応する心理状態を被写体の心理状態として推定する。
【０１３３】
また、心理状態推定を、ニューラルネットワークを用いて行うこともできる。
（ニューラルネットワークの利用による心理状態推定）
上述のように抽出された撮影者或いは被写体の表情、瞳孔の大きさ等の外的特徴データを、ニューラルネットワークに入力することによって、心理状態を推定する。
【０１３４】
ニューラルネットワークは、被写体の外的特徴データを入力する入力層と、一つ以上の中間層と、心理状態を示すパラメータを出力する出力層とから成る三層構造となっている。各層は所要とする数のニューロン素子で構成され、各層間が結合重み係数により結合されている。このニューラルネットワークに教師データを与えて学習させることで、被写体の心理状態を推定することができる。
ここでいう教師データとは、基準の外的特徴データと対応付けられている被写体の心理状態のパターンに関するデータを指す。そして、各々の教師データを用いてニューラルネットワークをバックプロパゲーション法によって学習させる。この学習によって、入力される各外的特徴データの入力によって心理状態の推定が可能な各結合重み係数が決定されるので、被写体の外的特徴データが入力されれば、推定される心理状態を速やかに出力させる系を構築することができる。
【０１３５】
また、推定された心理状態を表示部５に表示できる構成となっている。例えば、被写体の心理状態が「喜んでいる状態」と推定され、撮影者の心理状態が「驚いている状態」と推定された場合には、表示部５の被写体心理状態表示欄（図示省略）には「喜」の文字が、撮影者心理状態表示欄（図示省略）には、「驚」の文字がそれぞれ表示される。
ここで、心理状態の表示は、文字だけに限定されるものではなく、記号、図形、色彩、顔パターン等を表示させる構成にしてもよい。また、表示される文字等も一つに限定されるものではなく、例えば、候補となる顔パターンを複数表示させて、推定された結果最も適合する顔パターンを点滅させる等の方法でユーザに示す構成としてもよい。
このように心理状態を表示部５に表示させることにより、推定された撮影時における被写体及び撮影者の心理状態を視認することができ、表示されている心理状態が妥当であるか否かを判断できるようになっている。
【０１３６】
撮影者心理状態記憶プログラム４１３は、撮影者の心理状態と被写体画像データとを関連付けてメモリカード６ａに記憶させるプログラムであり、ＣＰＵ２０はかかる撮影者心理状態記憶プログラム４１３を実行することにより撮影者心理状態記憶制御手段として機能する。
【０１３７】
被写体心理状態記憶プログラム４２３は、被写体の心理状態と被写体画像データとを関連付けてメモリカード６ａに記憶させるプログラムであり、ＣＰＵ２０はかかる被写体心理状態記憶プログラム４２３を実行することにより被写体心理状態記憶制御手段として機能する。
【０１３８】
心理状態修正プログラム４３０は、推定された撮影者或いは被写体の心理状態を修正させるプログラムであり、ＣＰＵ２０はかかる心理状態修正プログラム４３０を実行することにより心理状態修正手段として機能する。
【０１３９】
ここで、心理状態の修正は、例えば、推定された心理状態を示す顔パターンの候補をモニタ５０に複数表示されるようにして、現在選択されている顔パターンを別の顔パターンにユーザが選択し直して、心理状態修正ボタン（図示省略）を押下ることにより行う構成となっている。この場合、予め記憶されている顔パターンを全てモニタ５０に表示させ、所望の顔パターンを選択可能な構成としてもよい。
【０１４０】
分類プログラム４３１は、撮影者或いは被写体の心理状態に基づいて、記憶媒体内の被写体画像データを分類させるプログラムであり、ＣＰＵ２０はかかる分類プログラム４３１を実行することにより分類手段として機能する。
【０１４１】
入力プログラム４３２は、撮影者或いは被写体の心理状態を入力させるプログラムであり、ＣＰＵ２０はかかる入力プログラム４３２を実行することにより入力手段として機能する。
【０１４２】
検索プログラム４３３は、撮影者或いは被写体の心理状態に基づいて、メモリカード６ａから被写体画像データの検索をさせるプログラムであり、ＣＰＵ２０はかかる検索プログラム４３３を実行することにより検索手段として機能する。
【０１４３】
閲覧プログラム４３４は、検索された被写体画像データの閲覧をさせるプログラムであり、ＣＰＵ２０はかかる閲覧プログラム４３４を実行することにより閲覧手段として機能する。
【０１４４】
ここで、被写体画像データの分類、検索、閲覧を行うための構成について説明する。
例えば、被写体撮像部３によって取得された一の被写体画像データが撮影者の心理状態「驚いている状態」と関連付けられている場合には、この被写体画像データは被写体画像ファイルｉｍａｇｅ００１．ｊｐｇとして図７の撮影者心理状態分類ファイル６１の心理状態分類グループ「驚」に分類、記録されるようになっている。一方、被写体画像データが、被写体の心理状態「喜んでいる状態」と関連付けられている場合には、この被写体画像データは被写体画像ファイルｉｍａｇｅ００１．ｊｐｇとして、図８の被写体心理状態分類ファイル６２の心理状態分類グループ「喜」に分類、記録されるようになっている。
【０１４５】
また、図７、図８に示す各心理状態分類ファイルには撮影日時も記憶できるようになっているが、その他の関連情報を付加させておいたり、ソート順や優先順等を記憶させておいて、検索の際に活用できるように構成してもよい。
【０１４６】
なお、心理状態をより細分化してグループ分けをしてもよい。例えば、心理状態分類グループ「喜」を、喜んでいる状態の程度に応じて、「喜（ランクＡ）」、「喜（ランクＢ）」、「喜（ランクＣ）」、「喜（ランクＤ）」等のランク別に分類し、心理状態とそのランクとに基づいて被写体画像データを検索できるようにしてもよい。
また、撮影者或いは被写体の心理状態を被写体画像データのヘッダ或いはフッタに文字、記号、図形、色彩、顔パターン等の形式で記録する構成としてもよいし、心理状態に基づいて被写体画像データに装飾やコメントを付加可能な構成として、検索時に検索画面に自動表示されるようにしてもよい。
また、被写体と撮影者の心理状態と被写体画像ファイルとをひとつの分類ファイルに記録させる構成としてもよい。
【０１４７】
そして、被写体画像データの画像検索・閲覧を行うには、先ず画像撮像装置１の画像検索・閲覧モード（図示省略）を選択して、図９に示す画像検索・閲覧画面をモニタ５０に表示させるようになっている。ここで、画面内の「被写体検索キーワード」欄は、撮影時における被写体の心理状態についての検索キーワードを、「撮影者検索キーワード」欄は、撮影時における撮影者の心理状態についての検索キーワードを操作部によって入力するためのブランクである。即ち、撮影時における心理状態を検索キーワードとして入力すると、メモリカード６ａ内に格納されている各心理状態分類ファイルから、入力された検索キーワードに適合する画像が順次表示される構成となっている。
【０１４８】
例えば、図９に示すように、「被写体検索キーワード」欄に「喜んでいる」、「撮影者検索キーワード」欄に「驚いている」とそれぞれ入力して、「検索」ボタンを選択して検索を実行すると、図１０に示すように、検索された画像がサムネイル形式で表示されるようになっており、そして、所望の画像を選択すると、選択された画像が画面上に拡大されて、閲覧できる構成となっている。
即ち、前記検索キーワードで検索が行われると、図７に示す撮影者心理状態分類ファイル６１の心理状態分類グループ「驚」及び、図８に示す被写体心理状態分類ファイル６２の心理状態分類グループ「喜」に分類されている画像ファイルｉｍａｇｅ００１．ｊｐｇが検索され、該当する被写体画像データがモニタ５０に表示されるようになっている。なお、検索キーワードは必ずしも両方入力する必要はなく、どちらか一方を入力すればよい構成となっている。
【０１４９】
また、一回目の検索の結果、モニタ５０に所望の画像が表示されない場合には、「次へ」ボタンを選択して実行すれば、検索された別の画像データが表示される。
また、表示される画像順序については、日付順、撮影者順、被写体順等のソート順を予め記憶させておいてよいし、ランダムに表示される機能を付加してもよい。
なお、検索画面を起動させると、初期画面に予め複数の画像が表示され、その中からユーザが自分が探したい画像に類似している画像を選択すると、その選択された画像と同一の心理状態グループに属する画像を閲覧できる構成としてもよい。
【０１５０】
次に、上記構成の画像撮像装置１の撮影時における撮影者画像データ、被写体画像データ及び心理状態の取得、記録処理動作について、図４〜６に示すフローチャートを用いて説明する。
【０１５１】
最初に、撮影時における被写体の心理状態の取得処理動作について、図４に示すフローチャートを用いて説明する。
先ず、ＣＰＵ２０は、シャッターボタン４ａの押下により、撮影指示信号が出力されているか否かを判断する（ステップＳ１０１）。そして、ＣＰＵ２０は、撮影指示が出力されていると判断した場合（ステップＳ１０１；Ｙｅｓ）には、被写体を撮像して、被写体画像データを取得する（ステップＳ１０２）。
【０１５２】
次いで、ＣＰＵ２０は、取得された被写体画像データから、例えば上述の方法を用いて被写体の外的特徴データを抽出する（ステップＳ１０３）。
次いで、ＣＰＵ２０は、被写体基準外的特徴データ４０２をＲＯＭ４０から読取る（ステップＳ１０４）。
【０１５３】
次いで、ＣＰＵ２０は、抽出された被写体の外的特徴データと、読取った基準の外的特徴データとを比較することによって、撮影時における被写体の心理状態を推定する（ステップＳ１０５）。心理状態推定は、例えば、上述のテンプレートマッチングによって行い、推定結果をＲＡＭ３０内に一時的に保存する。
ステップＳ１０５による被写体心理状態の推定後は、後述する図６に示すステップＳ３０６へ移行する。
【０１５４】
次に、撮影時における撮影者の生理学的特徴量を検出して、基準の生理学的特徴量を読取るまでの処理動作について図５に示すフローチャートを用いて説明する。
先ず、シャッターボタン４ａの押下により、撮影指示信号が出力されているか否かをＣＰＵ２０が判断する（ステップＳ２０１）。そして、ＣＰＵ２０は、撮影指示信号が出力されていると判断した場合（ステップＳ２０１；Ｙｅｓ）には、生理学的特徴量センサ７は、撮影者の生理学的特徴量を検出し、検出データをＣＰＵ２０に出力する（ステップＳ２０２）。
【０１５５】
次いで、ＣＰＵ２０は、基準生理学的特徴量データ４０１をＲＯＭ４０から読取り（ステップＳ２０３）、読取結果をＲＡＭ３０内に一時的に保存する。次いで、後述する図６に示すステップＳ３０５に移行する。
【０１５６】
次に、撮影時における撮影者の心理状態を、撮影者画像データから取得、記録処理動作について図６に示すフローチャートを用いて説明する。
図６に示すように、画像撮像装置１において、先ずＣＰＵ２０は、シャッターボタン４ａの押下により、撮影指示信号が出力されているか否かを判断する（ステップＳ３０１）。そして、ＣＰＵ２０が、撮影指示信号が出力されていると判断した場合（ステップＳ３０１；Ｙｅｓ）には、撮影者撮像部２は、撮影者を撮像して、撮影者画像データを取得する（ステップＳ３０２）。
【０１５７】
次いで、ＣＰＵ２０は、撮影者画像データから、例えば、上述の方法を用いて撮影者の外的特徴データを抽出する（ステップＳ３０３）。
次いで、ＣＰＵ２０は、撮影者基準外的特徴データ４００をＲＯＭ４０から読取る（ステップＳ３０４）。
【０１５８】
次いで、ＣＰＵ２０は、抽出された撮影者の外的特徴データと、読取った撮影者基準外的特徴データ４００と、図５に示すステップＳ２０２で検出された撮影者の生理学的特徴量と、ステップＳ２０３で読取った基準生理学的特徴量データ４０１とに基づいて、撮影時における撮影者の心理状態を推定する（ステップＳ３０５）。心理状態の推定は、例えば、上述したテンプレートマッチングにより行う。
【０１５９】
次いで、ＣＰＵ２０は、上述のように推定された撮影者の心理状態と、図４に示すステップＳ１０５で推定された被写体の心理状態とをモニタ５０に表示する（ステップＳ３０６）。そして、ユーザは、推定された被写体及び撮影者の心理状態が誤っていると思った場合には、正しい心理状態に表示を変更させ、心理状態修正指示信号ボタンを押下する。
【０１６０】
次いで、ＣＰＵ２０は、ユーザによって心理状態修正指示信号が入力されたと判断された場合には（ステップＳ３０７；Ｙｅｓ）、心理状態を修正する（ステップＳ３０８）。
一方、ユーザによる心理状態修正指示信号が入力されていない場合（ステップＳ３０７；Ｎｏ）には、その推定された心理状態が維持されたままでステップＳ３０９に移行することとなる。
【０１６１】
次いで、ＣＰＵ２０は、被写体及び撮影者の心理状態を、それぞれ被写体画像データと関連付けて（ステップＳ３０９）、その後メモリカード６ａにこの心理状態と被写体画像データとを、図７、図８に示す各心理状態分類ファイルに上述の方法で記録させて（ステップＳ３１０）、記憶処理動作を終了する。
【０１６２】
次に、記憶されている被写体画像データ画像の検索・閲覧処理動作について、図１１に示すフローチャートを用いて説明する。この画像検索・閲覧処理動作においては、画像撮像装置１が画像検索・閲覧モードに設定されていることが前提となる。
【０１６３】
先ず、ＣＰＵ２０は、ユーザによって図９に示す画像検索・閲覧画面上の「被写体検索キーワード」欄或いは「撮影者検索キーワード」欄に検索キーワードが入力されたと判断した場合（ステップＳ４０１；Ｙｅｓ）には、入力された検索キーワードに基づいて、メモリカード６ａ内に格納されている図７に示す撮影者心理状態分類ファイル６１或いは図８に示す被写体心理状態分類ファイル６２の中から、検索キーワードと関連付けて記憶されている被写体画像ファイルを検索する（ステップＳ４０２）。
次いで、ＣＰＵ２０は、検索された被写体画像ファイルに該当する被写体画像データを図１０に示す閲覧結果画面に順次表示させる（ステップＳ４０３）。
【０１６４】
以上説明した画像撮像装置１によれば、被写体を撮像するとともに、撮影者を撮像して、各々の画像データを取得して、この撮影者及び被写体の画像データから撮影者及び被写体の外的特徴データを抽出し、この抽出された外的特徴データと、撮影者或いは被写体の心理状態と対応づけられて記憶されている基準の外的特徴データと比較することによって、撮影時における撮影者及び被写体の心理状態を推定して、この心理状態を被写体画像データと関連付けて記憶させる。従って、ユーザが被写体画像データをキーワードによって分類させる等を整理作業を行う必要がないとともに、被写体画像データの検索パラメータとして心理状態を用いることができるので、蓄積する被写体画像データの利用効率が向上する。
【０１６５】
また、撮影者の外的特徴データは、表情、瞳孔の大きさのうち少なくとも一方を含み、被写体の外的特徴データは、表情、視線、瞳孔の大きさのうち少なくとも何れか一つを含むので、より正確に心理状態を推定することができる。
【０１６６】
また、外的特徴データを抽出することにより、目的に沿った検索が可能となり、検索効率が向上する。例えば、証明写真に使用する画像を閲覧するには、被写体の視線がカメラ方向を向いている画像を検索することによりを速やかに閲覧できる。
さらに、撮影時における撮影者の生理学的特徴量を検出して、この抽出された生理学的特徴量と、予め記憶されている基準の生理学的特徴量とに基づいて、撮影者の心理状態を推定するので、心理状態を推定するためのパラメータ数が増えることとなり、推定される心理状態の信頼性を格段に高めることができる。
【０１６７】
また、撮影者及び被写体の心理状態に基づいて、被写体画像データの分類、検索若しくは閲覧を行うことができるので、大量の被写体画像データから所望の画像をより効率よく探し出し、速やかに視認することができる。
【０１６８】
また、推定される撮影者及び被写体の心理状態を修正することができるので、誤った心理状態が被写体画像データと関連付けられることがなく、利用効率が一段と向上する。
【０１６９】
なお、上記構成の画像撮像装置１は、撮影者の外的特徴データ及び生理学的特徴量を検出して、撮影者の心理状態を推定するよう構成されているが、どちらか一方のみを備え、抽出される特徴量から撮影者心理状態を推定する構成としてもよいし、撮影者若しくは被写体の何れか一方の心理状態を推定して、被写体画像データとともに記憶される構成としてもよい。
【０１７０】
また、上記実施形態においては、ＲＯＭ４０に各基準データ等を格納する構成としているが、これに限定されるものではなく、例えば、書換可能なＥＥＰＲＯＭを備え、基準データを変更可能な構成としてもよい。
【０１７１】
また、推定される心理状態を被写体画像データと関連付けるだけでなく、その心理状態が推定された根拠である外的特徴データや、生理学的特徴量も、被写体画像データと関連付けて記憶させる構成としてもよい。このように構成することにより、撮影時における身体的データを記憶させることとなるので、例えば、診断、医療等での応用が考えられる。
【０１７２】
＜実施形態２＞
図１２は、第二の実施形態にかかる画像処理装置の内部構成を示すブロック図である。
図１２に示す画像処理装置１００は、例えば、パーソナルコンピュータであり、実施形態１の画像撮像装置１００において、撮影者撮像部２と被写体撮像部３の代わりに、撮影者画像取得部５００、被写体画像取得部６００、生理学的特徴量取得部７００を備えた点のみ異なる。つまり、画像処理装置１００は、画像撮像装置１で撮像された撮像者画像データや被写体画像データを取り込んで、画像処理する装置である。従って、実施形態１の画像撮像装置１と同様の構成については、同一の符号を付して説明を省略し、異なる構成のみについて説明する。
【０１７３】
図１２に示す画像処理装置１００は、各構成要素を操作する操作部４と、被写体画像データを表示する表示部５と、撮影者及び被写体の各外的特徴データや被写体画像データ等を記憶する記憶制御部６と、各部を制御する制御部１０等を備えるとともに、撮影者画像取得部５００、被写体画像取得部６００、生理学的特徴量取得部７００を備える。
撮影者画像取得部５００、被写体画像取得部６００及び生理学的特徴量取得部７００は、通信機能を有し、例えば、画像撮像装置１との間で通信回線を介して撮影者画像データ、被写体画像データ、生理学的特徴量を取得する構成となっている。
【０１７４】
このように、撮影者画像取得部５００は、撮影者画像取得手段として、被写体画像取得部６００は、被写体画像取得手段として、生理学的特徴量取得部７００は、生理学的特徴量取得手段としてそれぞれ機能する。
【０１７５】
そして、画像処理装置１００は、例えば、実施形態１の画像撮像装置１で撮像した撮像者画像データ、被写体画像データ及び生理学的特徴量データを取り込んで同様の処理動作を実行することにより、画像撮像装置１と同様の効果を得ることができる。
【図面の簡単な説明】
【０１７６】
【図１】第一の実施形態にかかる画像撮像装置の内部構成を示すブロック図である。
【図２】図１の画像撮像装置の背面概略図である。
【図３】図１の画像撮像装置のブロック図の要部を示す図である。
【図４】図１の画像撮像装置における被写体画像データ及び心理状態の取得、記録処理動作を示すフローチャートである。
【図５】図１の画像撮像装置における撮影者の心理状態の取得、記録処理動作を示すフローチャートである。
【図６】図１の画像撮像装置における撮影者画像データ及び心理状態の取得、記録処理動作を示すフローチャートである。
【図７】図１の画像撮像装置における被写体心理状態分類ファイルを示す図である。
【図８】図１の画像撮像装置における撮影者心理状態分類ファイルを示す図である。
【図９】図１の画像撮像装置における画像検索・閲覧画面を示す図である。
【図１０】図１の画像撮像装置における画像検索・閲覧画面を示す図である。
【図１１】図１の画像撮像装置における画像検索・閲覧処理動作を示すフローチャートである。
【図１２】第二の実施形態にかかる画像処理装置の内部構成を示すブロック図である。
【符号の説明】
【０１７７】
１  画像撮像装置
２  撮影者撮像部（撮影者撮像手段）
３  被写体撮像部（被写体撮像手段）
４  操作部（入力手段）
５  表示部（閲覧手段）
６  記憶制御部（撮影者心理状態記憶制御手段、被写体心理状態記憶制御手段）
７  生理学的特徴量検出センサ（生理学的特徴量検出手段）
２０  ＣＰＵ（撮影者撮像手段、撮影者外的特徴データ抽出手段、撮影者心理状態推定手段、撮影者心理状態記憶制御手段、被写体撮像手段、被写体外的特徴データ抽出手段、被写体心理状態推定手段、被写体心理状態記憶制御手段、心理状態修正手段、分類手段、入力手段、検索手段、閲覧手段）
４０  ＲＯＭ（撮影者基準データ記憶手段、被写体基準データ記憶手段）
１００  画像処理装置
４１０  撮影者撮像プログラム（撮影者撮像手段）
４１１  撮影者外的特徴抽出プログラム（撮影者外的特徴抽出手段）
４１２  撮影者心理状態推定プログラム（撮影者心理状態推定手段）
４１３  撮影者心理状態記憶プログラム（撮影者心理状態記憶制御手段）
４２０  被写体撮像プログラム（被写体撮像手段）
４２１  被写体外的特徴抽出プログラム（被写体外的特徴抽出手段）
４２２  被写体心理状態推定プログラム（被写体心理状態推定手段）
４２３  被写体心理状態記憶プログラム（被写体心理状態記憶制御手段）
４３０  心理状態修正プログラム（心理状態修正手段）
４３１  分類プログラム（分類手段）
４３２  入力プログラム（入力手段）
４３３  検索プログラム（検索手段）
４３４  閲覧プログラム（閲覧手段）
５００  撮影者画像取得部（撮影者画像取得手段）
６００  被写体画像取得部（被写体画像取得手段）
７００  生理学的特徴量取得部（生理学的特徴量取得手段）
【図１】
2005157961.tif 000003
【図２】
2005157961.tif 000004
【図３】
2005157961.tif 000005
【図４】
2005157961.tif 000006
【図５】
2005157961.tif 000007
【図６】
2005157961.tif 000008
【図７】
2005157961.tif 000009
【図８】
2005157961.tif 000010
【図９】
2005157961.tif 000011
【図１０】
2005157961.tif 000012
【図１１】
2005157961.tif 000013
【図１２】
2005157961.tif 000014