【手続補正書】
【提出日】平成20年12月18日(2008.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像装置部で撮像された撮像画像データを取得する画像取得手段と、
上記画像取得手段で取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を取得する生体情報取得手段と、
上記画像取得手段で取得した撮像画像データの画像解析結果としての被写体情報を取得する被写体情報取得手段と、
上記画像取得手段が取得した撮像画像データと、上記生体情報取得手段が取得した生体情報と、上記被写体情報取得手段が取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理手段と、
を備えたことを特徴とする画像保存処理装置。
【請求項２】
上記画像取得手段は、一体的に設けられた上記撮像装置部での撮像動作により、撮像画像データを取得することを特徴とする請求項１に記載の画像保存処理装置。
【請求項３】
上記画像取得手段は、外部の上記撮像装置部での撮像動作による撮像画像データを取得することを特徴とする請求項１に記載の画像保存処理装置。
【請求項４】
上記生体情報取得手段は、上記生体情報として、生体センサ検出情報を取得することを特徴とする請求項１に記載の画像保存処理装置。
【請求項５】
上記生体情報取得手段は、上記生体情報として、上記撮像装置部の使用者の心理情報を、生体センサ検出情報を用いて生成することを特徴とする請求項１に記載の画像保存処理装置。
【請求項６】
上記被写体情報取得手段は、撮像画像データ内に人の顔画像が含まれているか否かの画像解析を行い、該画像解析結果としての顔存在情報を、上記被写体情報とすることを特徴とする請求項１に記載の画像保存処理装置。
【請求項７】
上記被写体情報取得手段は、撮像画像データ内の人の顔画像の画像解析を行い、該画像解析結果としての顔解析結果情報を、上記被写体情報とすることを特徴とする請求項１に記載の画像保存処理装置。
【請求項８】
上記顔解析結果情報とは、表情、又は性別、又は年齢層を示す情報であることを特徴とする請求項７に記載の画像保存処理装置。
【請求項９】
上記保存処理手段によって、上記生体情報及び上記被写体情報と関連づけられて保存された撮像画像データについて、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理手段と、
上記検索処理手段の検索処理結果の出力処理を行う出力処理手段と、
をさらに備えたことを特徴とする請求項１に記載の画像保存処理装置。
【請求項１０】
上記検索処理手段は、さらに、検索処理を実行する際に上記生体情報取得手段で取得される生体情報を、検索条件の生成に用いることを特徴とする請求項９に記載の画像保存処理装置。
【請求項１１】
撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理手段と、
上記検索処理手段の検索処理結果の出力処理を行う出力処理手段と、
を備えたことを特徴とする画像検索装置。
【請求項１２】
さらに使用者の生体情報を取得する生体情報取得手段を備え、
上記検索処理手段は、さらに、検索処理を実行する際に上記生体情報取得手段で取得される生体情報を、検索条件の生成に用いることを特徴とする請求項１１に記載の画像検索装置。
【請求項１３】
撮像装置部で撮像された撮像画像データを取得する画像取得ステップと、
上記画像取得ステップで取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を取得する生体情報取得ステップと、
上記画像取得ステップで取得した撮像画像データの画像解析結果としての被写体情報を取得する被写体情報取得ステップと、
上記画像取得ステップで取得した撮像画像データと、上記生体情報取得ステップで取得した生体情報と、上記被写体情報取得ステップで取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理ステップと、
を備えたことを特徴とする画像保存処理方法。
【請求項１４】
撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、
上記検索処理ステップの検索処理結果の出力処理を行う出力処理ステップと、
を備えたことを特徴とする画像検索方法。
【請求項１５】
撮像装置部で撮像された撮像画像データを取得する画像取得ステップと、
上記画像取得ステップで取得する撮像画像データの撮像の際の、上記撮像装置部の使用者の生体情報を取得する生体情報取得ステップと、
上記画像取得ステップで取得した撮像画像データの画像解析結果としての被写体情報を取得する被写体情報取得ステップと、
上記画像取得ステップで取得した撮像画像データと、上記生体情報取得ステップで取得した生体情報と、上記被写体情報取得ステップで取得した被写体情報とを、関連づけて記録媒体に記録する処理を行う保存処理ステップと、
を情報処理装置に実行させるプログラム。
【請求項１６】
撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、
上記検索処理ステップの検索処理結果の出力処理を行う出力処理ステップと、
を情報処理装置に実行させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
【特許文献１】特開２００５−２６０８９２号公報
【特許文献２】特開２００５−２５０９７７号公報
【特許文献３】特開２００４−１７８５９３号公報
【特許文献４】特開２００５−１２４９０９号公報
【特許文献５】特開２００５−１４１２８１号公報
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
上記特許文献１には、心臓の電気信号による感情起伏増幅信号をトリガーとして画像が記録される技術が開示されている。
上記特許文献２には、撮像者の感情（嬉しい、悲しい、楽しい、怒っている、おびえている、寒い、暑い、心地よい、苦しい、めげている等）を撮像した画像に反映させる技術が開示されている。
上記特許文献３には、撮像者の感情情報を取得し、関心度や重要度、趣向の度合いから重要度また感情情報を解析し、画像にタグ付けする技術や示され、特に撮像者の顔画像の解析を行うことが記載されている。
上記特許文献４には、静止画あるいは動画に人間の生体情報あるいは心理状態を付加することが開示されている。また、生体情報を使用してコンテンツの検索を行うことが示されている。
上記特許文献５には、体験を再現するために、テキスト等では表現できない心理状態や生体情報をセンシングすることでコンテンツに付加し、検索に使用する技術が開示されている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明の画像検索方法は、撮像画像データと、上記撮像画像データを撮像した撮像装置部の使用者の撮像の際の生体情報と、上記撮像画像データの画像解析結果としての被写体情報とが関連づけられて保存されている記録媒体に対する検索処理として、上記生体情報及び上記被写体情報を用いて検索条件を生成し、該検索条件に基づく検索処理を行う検索処理ステップと、上記検索処理ステップの検索処理結果の出力処理を行う出力処理ステップとを備える。
また本発明のプログラムは、この画像検索方法を情報処理装置に実行させるプログラムである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】変更
【補正の内容】
【００２６】
また、生体情報生成部５は、これらの生体センサ検出情報に基づいてユーザの心理状況を判定し、心理情報を生成し、これを生体情報の１つとすることもできる。
例えば緊張状態、興奮状態、快適状態などに伴う生体センサ検出情報の数値の変動に基づいてユーザの感情（楽しい、おもしろい、うれしい、悲しい、恐ろしい、穏やか、懐かしい、感動、驚愕、興奮、緊張等）を推定することができる。さらに視覚センサによる瞳孔の状態、視線の動きによっても、ユーザの状況を判定できる。また、加速度センサ、振動センサ等によって検出されるユーザの身体の動きを、ユーザ状況の判定に用いても良い。
また、脈拍等が早くなった場合に、緊張や興奮が原因の場合もあれば、ユーザが走っているなど運動したことが原因の場合もある。これらの判別の為に、加速度センサ等の情報を参照するようにすることもできる。
即ち、各種センサの検出情報の１つ或いは複数を用いて、ユーザの感情状態を推定することができる。生体情報生成部５は、このような推定処理を行って、心理情報を生成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
操作入力部１１は、このような操作で入力される操作情報をシステムコントローラ１０に供給し、システムコントローラ１０はこれらの操作情報に応じて所要の制御を実行する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
システムコントローラ１０はステップＦ１０１で撮像トリガの発生をチェックする。システムコントローラ１０は、撮像装置１において撮像を実行するために、何らかの信号を撮像トリガ発生として認識する。
例えば手動撮像を行う場合、操作入力部１１を用いたユーザのシャッタ操作、もしくは生体センサ部４で検出されるユーザの意識的な挙動によるシャッタ操作を、撮像トリガと認識する。
自動撮像を行う場合は次のような撮像トリガが考えられる。
例えば図１（ａ）（ｂ）のような撮像装置１をユーザが装着している際に常時継続的な撮像を行う場合、ユーザの装着を生体センサ部４の検出情報で検出したら、それを撮像トリガの発生と判断しても良い。また電源オン操作を撮像トリガの発生と判断してもよい。
定期的に静止画撮像を行う場合、システムコントローラ１０は内部タイマーのカウントにより一定時間が経過するごとに撮像トリガの発生と判断すればよい。
また、ユーザが例えばスポーツ観戦で興奮／熱狂した場合、おもしろい光景を目撃した場合、感動した場合、交通事故等を目撃した場合、好きな人物／有名人等に出会った場合、不安や恐怖を感じた場合、驚いた場合などに、自動的に撮像を行うという自動撮像も考えられる。例えば生体情報生成部５が、生体センサ部４の検出情報を常時監視して、常時ユーザの心理状況を推定するようにし、驚き、興奮、喜び、不安などの心理状況が推定された場合に、それを撮像トリガとしてシステムコントローラ１０に通知するということも想定される。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
なお、図３の処理では、撮像時に、撮像画像データＶＤとともに生体情報が生成、記録され、図５のように撮像画像データＶＤに関連づけられて生体センサ検出情報と心理情報が記録されるものとしたが、生体情報に関しては、撮像のタイミングとは別に常時記録されるようにしても良い。
例えば生体情報生成部５は、図６のような生体情報を定期的に生成する。この生体情報は日時情報（年月日時分秒）とともに、生体センサ検出情報と心理情報を有するデータ形式とする。そして、定期的に生成した図６の生体情報をストレージ部１４に記録していく。
このように生体情報を日時情報とともに記録しておけば、撮像画像データＶＤと関連づけることができる。
即ち、ストレージ部１４に記録された撮像画像データＶＤについては、画像管理情報内の日時情報に基づいて、対応する（つまり撮像時の）生体情報を判別できるためである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
この図１２における装置５０Ａは、具体的にはデジタルスチルカメラ、ビデオカメラ等の撮像装置や、撮像装置で撮像された画像の処理を行う画像処理装置、画像ストレージ機器などとして実現される。画像処理装置、画像ストレージ機器としては、携帯電話機、ＰＤＡ、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現できる。
また装置６０は、画像処理装置、画像ストレージ機器として、具体的には携帯電話機、ＰＤＡ、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現される。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
この図１３における装置６０Ａは、画像処理装置、画像ストレージ機器、画像検索機器として実現できる。具体的には携帯電話機、ＰＤＡ、パーソナルコンピュータ、ビデオレコーダ、ビデオサーバなどとして実現される。
なお、装置５０Ｂ側で画像解析を行って、撮像画像データに顔フラグを関連づけて記憶し、顔フラグも含めて撮像画像データを装置６０Ａに供給してもよい。その場合、装置６０Ａ側では、顔フラグがオンとされた撮像画像データに関して被写体情報（顔解析結果情報）を付加する処理を行うようにすればよい。