(57)【要約】【課題】  画像の分類等に使用するための識別情報を、手間をかけることなく画像に付与できるようにする。【解決手段】  参照画像記憶部６に人物を撮影することにより取得した参照画像データＲｉを人物を表す識別情報を付与して記憶する。撮像部２が撮影により画像データＳ０を取得すると、判定部８が画像データＳ０により表される画像に含まれる顔画像と参照画像Ｒｉとの類似度を算出する。類似度がしきい値以上となった参照画像ＲＴｉの情報を画像記録部１０に入力し、画像記録部１０が参照画像ＲＴｉを表す参照画像データＲＴｉに付与された識別情報を画像データＳ０に付与してメディアに記録する。【選択図】          図１
2005323227.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の被写体をそれぞれ含む複数の参照画像を、該複数の参照画像のそれぞれに含まれる被写体を識別する識別情報と対応づけて記憶する参照画像記憶手段と、
撮影により被写体を表す画像を取得する撮像手段と、
前記撮影により取得された取得画像と前記複数の参照画像のそれぞれとの類似度を算出し、該類似度が所定のしきい値以上であるか否かを判定する判定手段と、
該判定が肯定された場合に、前記取得画像と類似すると判定された参照画像に対応づけられた前記識別情報を、前記取得画像に付与する情報付与手段とを備えたことを特徴とする画像撮像装置。
【請求項２】
前記被写体が人物であり、前記識別情報が前記人物を識別する情報であることを特徴とする請求項１記載の画像撮像装置。
【請求項３】
撮影により被写体を表す画像を取得し、
前記撮影により取得された取得画像と、複数種類の被写体をそれぞれ含む複数の参照画像を、該複数の参照画像のそれぞれに含まれる被写体を識別する識別情報と対応づけて記憶する参照画像記憶手段に記憶した前記複数の参照画像のそれぞれとの類似度を算出し、
該類似度が所定のしきい値以上であるか否かを判定し、
該判定が肯定された場合に、前記取得画像と類似すると判定された参照画像に対応づけられた前記識別情報を、前記取得画像に付与することを特徴とする画像撮像方法。
【請求項４】
撮影により被写体を表す画像を取得する手順と、
前記撮影により取得された取得画像と、複数種類の被写体をそれぞれ含む複数の参照画像を、該複数の参照画像のそれぞれに含まれる被写体を識別する識別情報と対応づけて記憶する参照画像記憶手段に記憶した前記複数の参照画像のそれぞれとの類似度を算出する手順と、
該類似度が所定のしきい値以上であるか否かを判定する手順と、
該判定が肯定された場合に、前記取得画像と類似すると判定された参照画像に対応づけられた前記識別情報を、前記取得画像に付与する手順とを有することを特徴とする画像撮像方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により画像を取得するデジタルカメラ等の画像撮像装置および画像撮像方法並びに画像撮像方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラにおいては、撮影により取得した画像をデジタル画像データとしてデジタルカメラ内部に設けられた内部メモリやＩＣカード等の記録媒体に記録し、記録されたデジタル画像データに基づいて、撮影により取得した画像をプリンタやモニタに再生することができる。
【０００３】
一方、顔を識別するための各種手法が提案されている（特許文献１，２参照）。このような手法を用いることにより、あらかじめ複数の人物の顔画像を登録しておき、撮影により取得した画像と登録された顔画像とを比較することにより、取得した画像にどの人物が含まれているかを識別することができる。
【特許文献１】特開平７−２３０１２号公報
【特許文献２】特開平１１−２９６６７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、デジタルカメラを用いて撮影を行う場合、撮影対象が特定の被写体に偏ることが多い。例えば、子供がいる家庭においては、子供の画像および家族の画像がとくに多くなるものである。このような場合、画像に撮影対象を識別する識別情報を付与すれば、画像を分類したり整理するときに便利である。ここで、画像にはタグが付与されており、タグにコメント等を記述することが可能である。このため、パソコンを用いて画像のタグに撮影対象を識別する識別情報をコメントとして記述することにより、タグを参照すれば撮影対象に応じて画像を分類および整理することが可能となる。
【０００５】
しかしながら、画像を一つずつ表示して識別情報をコメントとして記述する作業は非常に煩わしく手間がかかるものである。
【０００６】
本発明は、上記事情に鑑みなされたものであり、画像を分類等する際に使用する識別情報を、手間をかけることなく画像に付与できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明による画像撮像装置は、複数種類の被写体をそれぞれ含む複数の参照画像を、該複数の参照画像のそれぞれに含まれる被写体を識別する識別情報と対応づけて記憶する参照画像記憶手段と、
撮影により被写体を表す画像を取得する撮像手段と、
前記撮影により取得された取得画像と前記複数の参照画像のそれぞれとの類似度を算出し、該類似度が所定のしきい値以上であるか否かを判定する判定手段と、
該判定が肯定された場合に、前記取得画像と類似すると判定された参照画像に対応づけられた前記識別情報を、前記取得画像に付与する情報付与手段とを備えたことを特徴とするものである。
【０００８】
なお、本発明による画像撮像装置においては、前記被写体を人物とし、前記識別情報を前記人物を識別する情報としてもよい。
【０００９】
本発明による画像撮像方法は、撮影により被写体を表す画像を取得し、
前記撮影により取得された取得画像と、複数種類の被写体をそれぞれ含む複数の参照画像を、該複数の参照画像のそれぞれに含まれる被写体を識別する識別情報と対応づけて記憶する参照画像記憶手段に記憶した前記複数の参照画像のそれぞれとの類似度を算出し、
該類似度が所定のしきい値以上であるか否かを判定し、
該判定が肯定された場合に、前記取得画像と類似すると判定された参照画像に対応づけられた前記識別情報を、前記取得画像に付与することを特徴とするものである。
【００１０】
なお、本発明による画像撮像方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１１】
本発明によれば、撮影により被写体を表す画像が取得されると、撮影により取得された取得画像と複数の参照画像のそれぞれとの類似度が算出され、算出された類似度が所定のしきい値以上であるか否かが判定される。そしてこの判定が肯定されると、取得画像に類似すると判定された参照画像に対応づけられた識別情報が取得画像に付与される。このため、あらかじめ所望とする被写体を撮影して参照画像を取得し、参照画像を被写体を識別する識別情報と対応づけて記憶しておくことにより、記憶した参照画像に含まれる被写体については、撮影を行いさえすれば識別情報が付与されることとなる。したがって、個々の画像に対して識別情報を付与する作業を行う必要がなくなり、その結果、被写体別に取得画像を分類する作業を手間をかけることなく行うことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の画像撮像装置の実施形態によるデジタルカメラの構成を示す概略ブロック図である。図１に示すように、本実施形態によるデジタルカメラ１は、撮像部２と、画像記憶部４と、参照画像記憶部６と、判定部８と、画像記録部１０と、表示部１２と、入力部１４とがバス１６により接続されてなる。
【００１３】
撮像部２は、光学系、ＣＣＤ等の撮像素子、シャッタ、Ａ／Ｄ変換部等を備え、デジタルカメラ１のユーザがシャッタを駆動することにより、被写体を撮影して被写体を表すデジタルの画像データＳ０を取得する。
【００１４】
画像記憶部４は、後述する判定の処理の作業を行う際の作業領域となる。
【００１５】
参照画像記憶部６は、参照画像を表す参照画像データＲｉ（ｉ＝１〜ｎ）を複数記憶する。本実施形態においては、参照画像データＲｉは、ユーザが自分の家族および親族の顔を撮影することによる取得される。この際、参照画像データＲｉは、家族および親族を識別する識別情報がタグに記述される。例えば、ユーザの父、母、妻、長男および次男の顔を撮影して４つの参照画像データＲ１〜Ｒ４を取得した場合には、４つの参照画像データＲ１〜Ｒ４のそれぞれのタグに、父、母、長男および次男と記述がなされる。
【００１６】
なお、参照画像記憶部６は参照画像データＲｉを記憶する際に、参照画像データＲｉにより表される参照画像（以下参照画像についても参照画像データと同様に参照符号Ｒｉを用いる）から顔の輪郭を検出し、輪郭に囲まれる領域のサイズが所定サイズとなるように正規化して、すべての参照画像Ｒｉに含まれる顔のサイズおよび参照画像Ｒｉ自体のサイズが同一となるようにする。
【００１７】
判定部８は、撮像部２が取得した画像データＳ０により表される画像（以下画像についても画像データと同様に参照符号Ｓ０を用いる）と参照画像Ｒｉとの類似度を算出し、類似度がしきい値Ｔｈ１以上であるか否かを判定する。具体的には以下のように判定を行う。
【００１８】
まず、判定部８は、画像Ｓ０から顔の輪郭を検出する。顔の輪郭の検出は、例えば画像に含まれる楕円形状の肌色の領域を検出し、検出した肌色の領域の輪郭を検出することにより行う。そして、検出した顔の輪郭を上記所定サイズとなるように正規化する。なお、画像Ｓ０に複数の顔が含まれる場合には、すべての顔の輪郭を正規化する。そして正規化された画像Ｓ０から参照画像Ｒｉと同一サイズの顔画像（Ｆｊとする、ｊ＝１〜ｍ（ｍは画像Ｓ０に含まれる顔の数））を抽出し、抽出した顔画像Ｆｊの自己相関係数を求める。
【００１９】
ここで、自己相関係数は、下記の式（１）により算出する。  
【数１】
2005323227.tif 000003
【００２０】
式（１）において、Ｐ（ｕ，ｖ）は顔画像Ｆｊの画像値、Ｑ，Ｒは顔画像Ｆｊの大きさ、（ξ，η）は画像の相対移動量を示す。ここで、−Ｔ≦ξ≦Ｔ、−Ｔ≦η≦Ｔの範囲で計算すると、（２Ｔ＋１）2個の自己相関係数が得られる。（２Ｔ＋１）2個の自己相関係数を並べたものが顔画像Ｆｊの特徴ベクトルとなる。
【００２１】
また、判定部８は、すべての参照画像Ｒｉの特徴ベクトルを上記と同様に求める。なお、参照画像Ｒｉの特徴ベクトルをあらかじめ算出しておき、参照画像記憶部６に記憶しておいてもよい。
【００２２】
そして判定部８は、すべての参照画像Ｒｉの特徴ベクトルと顔画像Ｆｊの特徴ベクトルとの間の類似度Ｄを下記の式（２）により算出する。なお、式（２）においてσk（ξ，η）はｋ番目の参照画像Ｒｋの特徴ベクトルである。  
【数２】
2005323227.tif 000004
【００２３】
判定部８は、参照画像Ｒｉを順次変更しつつすべての顔画像Ｆｊと参照画像Ｒｉとの類似度Ｄを算出し、類似度Ｄがしきい値Ｔｈ１以上であるか否かを判定する。そして判定部８はしきい値Ｔｈ１以上となった参照画像ＲＴｉを表す情報を画像記録部１０に出力する。
【００２４】
画像記録部１０は、判定部８から入力された参照画像ＲＴｉの種類を表す情報に基づいて、その参照画像ＲＴｉを表す参照画像データＲＴｉのタグに記述された識別情報を顔画像Ｆｊを得た画像データＳ０のタグに記述した後に、画像データＳ０をメディアに記録する。
【００２５】
表示部１２は画像データＳ０および各種コマンドを表示する液晶モニタからなる。
【００２６】
入力部１４は、十字キー、ダイヤルおよび各種ボタンからなり、ユーザが操作することにより、撮像装置１のモード（例えば表示モード、撮影モード等）の設定や各種入力を行うことができる。
【００２７】
次いで、本実施形態において行われる処理について説明する。まず、参照画像Ｒｉの登録について説明する。まず、ユーザは本実施形態によるデジタルカメラ１を撮影モードに切り替えて、参照画像Ｒｉとして登録したい人物の撮影を行う。撮影後、デジタルカメラ１を表示モードに切り替え、参照画像Ｒｉとして登録したい画像を表示部１２に表示する。そして入力部１４を操作することにより、代表的な識別情報のリストを表示部１２に表示する。代表的な識別情報としては、例えば祖父、祖母、父、母、夫、妻、長男、次男、三男、長女、次女、三女等が挙げられる。そしてリストから適切な識別情報を選択して、入力部１４を操作すると、選択された識別情報が表示中の画像を表す画像データのタグに記述され、その画像データが参照画像データＲｉとして参照画像記憶部６に記憶されることにより参照画像Ｒｉが登録される。なお、リストからの選択に代えて直接識別情報を入力してもよい。また、識別情報としては被写体として撮影した人物の名前を用いてもよい。
【００２８】
次いで、撮影時に行われる処理について説明する。図２は本実施形態によるデジタルカメラ１の撮影時に行われる処理を示すフローチャートである。なお、ここでは画像Ｓ０には１つの顔のみが含まれるものとする。
【００２９】
ユーザがデジタルカメラ１のシャッタを駆動して被写体の撮影を行うことにより処理が開始され、まず撮像部２が画像データＳ０を取得する（ステップＳ１）。次いで判定部８が参照画像記憶部６から参照画像データＲｉをｉ＝１から順に読み出し（ステップＳ２）、画像Ｓ０から抽出した顔画像Ｆｊと参照画像データＲｉとの類似度Ｄを算出する（ステップＳ３）。
【００３０】
そして、算出した類似度Ｄがしきい値Ｔｈ１以上であるか否かを判定し（ステップＳ４）、ステップＳ４が肯定されると類似度Ｄを算出した参照画像ＲＴｉを表す情報を画像記録部１０に出力する（ステップＳ５）。画像記録部１０は、参照画像ＲＴｉを表す参照画像データＲＴｉのタグに記述された識別情報を顔画像Ｆｊを得た画像データＳ０のタグに記述することにより識別情報を画像データＳ０に付与し（ステップＳ６）、識別情報が付与された画像データＳ０をメディアに記録し（ステップＳ７）、処理を終了する。
【００３１】
なお、ステップＳ４が否定されると、判定部８は次の参照画像データＲｉがあるか否かを判定し（ステップＳ８）、ステップＳ８が肯定されるとステップＳ２に戻る。ステップＳ９が否定されると処理を終了する。
【００３２】
このように、本実施形態においては、撮影により取得した画像Ｓ０に含まれる顔画像Ｆｊと参照画像Ｒｉとの類似度Ｄがしきい値Ｔｈ１以上の場合に、その画像Ｓ０に参照画像Ｒｉに付与された識別情報を付与するようにしたため、撮影を行いさえすれば撮影により取得した画像Ｓ０に識別情報が付与されることとなる。したがって、個々の画像に対して識別情報を付与する作業を行う必要がなくなり、その結果、参照画像Ｒｉとして登録した被写体別に画像Ｓ０を分類する作業を手間をかけることなく行うことができる。
【００３３】
なお、上記実施形態においては、デジタルカメラ１において参照画像Ｒｉを登録しているが、デジタルカメラ１をパソコンと接続して、パソコンからデジタルカメラ１を操作することにより参照画像Ｒｉを登録してもよい。また、識別情報を付与した参照画像データＲｉをメディアに記録しておき、メディアを画像記録部１０にセットして、メディアに記録された参照画像データＲｉを参照画像記憶部６に記憶することにより参照画像を登録してもよい。
【００３４】
また、上記実施形態においては、人物を被写体として参照画像データＲｉを登録しているが、被写体としては人物に限定されるものではなく、建物やテーマパークのキャラクタ等であってもよい。
【図面の簡単な説明】
【００３５】
【図１】本発明の画像撮像装置の実施形態によるデジタルカメラの構成を示す概略ブロック図
【図２】本実施形態によるデジタルカメラの撮影時に行われる処理を示すフローチャート
【符号の説明】
【００３６】
１    デジタルカメラ
２    撮像部
４    画像記憶部
６    参照画像記憶部
８    判定部
１０  画像記録部
１２  表示部
１４  入力部
【図１】
2005323227.tif 000005
【図２】
2005323227.tif 000006