(57)【要約】【課題】画像に対するメタデータ（個人情報＋被写体位置）の登録を容易にする。【解決手段】アイコンに個人情報を登録しておき、そのアイコンを他の画像にドロップする。すると、そのドロップした位置を被写体位置として判断し、画像データに関連付ける。このように、アイコン画像を用いることで、個人情報と被写体位置の登録を容易に行うことができる。【選択図】        図１
2004336466.tif 000002
【特許請求の範囲】
【請求項１】
アイコンを用いて、アイコンに関連付けられた被写体情報と、
被写体の画像データ内の領域を、画像データに登録する方法であって、
被写体の画像データ内の領域を指定する、領域指定手段と、
被写体に対応するアイコンを指定する、アイコン指定手段と、
領域指定手段と、アイコン指定手段とから、取得した被写体領域情報と、被写体情報を統合しメタデータを生成する、メタデータ生成手段と、
生成したメタデータを画像データに関連付けるメタデータ登録手段と、
を備える、メタデータ登録方法。
【請求項２】
上記、領域指定手段で指定される領域は、アイコンが画像データに、ドラッグアンドドロップされた際の、ドロップされた位置を中心とした画像データ内の領域であることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項３】
上記、ドロップされた位置を中心とした画像データ内の領域は、マウス等のポインティングデバイスを用いることにより、大きさ、位置等が変化することを特徴とする、請求項２に記載のメタデータ登録方法。
【請求項４】
上記、領域指定手段で指定される領域は、顔検出により検出された画像データ内の領域であることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項５】
上記、領域指定手段で指定される領域は、画像データ撮影時に、ファインダーに特殊なＧＵＩを重ねることによって指定される位置に、被写体を重ねて撮影することによって指定される画像データ内の領域であることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項６】
上記、アイコンには、ＸＭＬで記述されている被写体情報が登録されていることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項７】
上記、アイコンには、Ｖ−ｃａｒｄで記述されている被写体情報が登録されていることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項８】
上記、アイコンには、データベースに収録された被写体情報がリンクされていることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項９】
上記、メタデータ生成手段によって生成されたメタデータは、ＸＭＬで記述されていることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項１０】
上記、メタデータ登録手段では、メタデータが画像データのヘッダー部分に記載されることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項１１】
上記、メタデータ登録手段では、メタデータが画像データの末尾に記載されることを特徴とする、請求項１に記載のメタデータ登録方法。
【請求項１２】
上記、メタデータ登録手段では、ＸＭＬファイルであるメタデータと、画像データのリンクを貼ることを特徴とする、請求項１に記載のメタデータ登録方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像の付加情報（メタデータ）の登録方法に関する分野に属する。
【０００２】
【従来の技術】
メタデータとは、データに付随するデータであり、静止画像の場合においては、特に、静止画像に対する、タイトルやキーワード、被写体情報等のデータを意味する。メタデータを用いることで、キーワードによる静止画像検索や、静止画像の自動分類等を行うことができ、利便性の向上を図ることができる。さらに、被写体に関するメールアドレス等の情報を、メタデータとして登録しておけば、静止画像をクリックするだけで、メールが送れる等の更なるサービスが期待できる。しかし、実際に、静止画像１つ１つに対して、これらのキーワードやメールアドレスなどの被写体情報を、キーボード等で入力し、静止画像に登録するには多大な労力を要してしまう。
【０００３】
そこで、例えば、特開平１１−１４６３１７にあるように、キーワードや被写体情報をあらかじめアイコン化しておいて、そのアイコンを静止画像に関連付けるだけで、アイコン化した情報をメタデータとして、静止画像に登録する方法なども存在する。
【０００４】
【発明が解決しようとする課題】
このように、特開平１１−１４６３１７のような方法を用いれば、キーワードや被写体情報の登録は簡略化され、より多くのメタデータの登録が可能になる。しかし、被写体情報の登録が容易になり、登録される被写体情報の数が増加してくると、どの被写体情報が、どの被写体を示しているのかが、わかりづらくなくなってくる。この問題を解決するには、被写体情報にリンクする被写体が、静止画像データ内のどの領域に写っているかという被写体領域情報が必要になってくる。
【０００５】
本発明は、上記の問題を鑑みたものであり、アイコン化した個人情報と、それに対する被写体の領域情報を、容易に登録することを目的とする。
【０００６】
【課題を解決するための手段】
上記の目的を達成するため、本発明においては、以下の手段を備える。
【０００７】
すなわち、アイコンを用いて、アイコンに関連付けられた被写体情報と、被写体の画像データ内の領域を、画像データに登録する方法であって、被写体の画像データ内の領域を指定する、領域指定手段と、被写体に対応するアイコンを指定する、アイコン指定手段と、領域指定手段と、アイコン指定手段とから、取得した被写体領域情報と、被写体情報を統合しメタデータを生成する、メタデータ生成手段と、生成したメタデータを画像データに関連付けるメタデータ登録手段と、
を備える。
【０００８】
【発明の実施の形態】
（実施例１）
本実施例では、名前やメールアドレス等の個人情報が登録されたアイコンを、別の画像にドラッグアンドドロップすることによって、被写体領域と、個人情報を容易に画像に登録する方法について説明する。
【０００９】
図１は、本発明の実施形態における、システム構成を示すブロック図である。入力装置１０１は、ユーザからの指示や、データを入力する装置で、キーボードやマウス、操作ボタン等を含む。表示装置１０２は、ＧＵＩやデータを表示する装置で、ＣＲＴや液晶ディスプレイなどが用いられる。蓄積装置１０３は、画像データや、メタデータを蓄積する装置で、通常は、ハードディスクや、メモリーカードなどのリムーバルメディアが用いられる。
【００１０】
１０４は、ＣＰＵで、上述した各構成の処理の全てに関わる。ＲＯＭ１０５と、ＲＡＭ１０６は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０４に提供する。また、以降のフローチャートの処理に必要な制御プログラムは、蓄積装置１０３に格納されているか、ＲＯＭ１０５に格納されているものとする。蓄積装置１０３に格納されている場合は、一旦ＲＡＭ１０６に読み込まれてから実行される。
【００１１】
なお、システム構成については、上記以外にも、様々な構成要素が存在するが、本発明の主眼ではないので、その説明は省略する。
【００１２】
図２は、人物の顔が写っているアイコン２０１に、その人物の名前、住所等の個人情報２０２が登録されている様子を表した概要図である。アイコン２０１は、ＪＰＥＧ、ＧＩＦ、ビットマップ等の画像ファイル２０３であり、そのヘッダー部分にＸＭＬで記述された個人情報２０３が記述されている。なお、個人情報の記述方式や、アイコンへの関連付けの方法は、本実施例以外の方法であっても、その目的が達成されるものならば、構わない。
【００１３】
図３は、図２のアイコンを用いて、画像に、個人情報と被写体領域を登録するメタデータ登録アプリケーション３０１のＧＵＩを表した図である。画像表示装置３０２は、個人情報を登録する画像を表示する装置である。個人情報表示装置３０３は、登録済みの個人情報を確認することができる。個人情報選択装置３０４は、アイコン３０７が縦に並んでおり、その中から、画像に登録する個人情報を選択することができる。選択するアイコンが、装置内に表示されていない場合は、上スクロールボタン３０６や、下スクロールボタン３０８を押下することにより、アイコンを上下にスクロールさせることが可能である。スクロールの動作を図４のスクロール操作４０１に示す。下スクロールボタンを押下することによって、Ｄの下にあったＥが表示されるようになる。さらにその状態で、上スクロールボタンを押下すると、Ｂの上にあったＡが表示されるようになる。また、アイコンをクリックすることにより、個人情報選択装置３０４内のアイコンを選択することが可能である。クリック時の動作を、図４のクリック操作４０２に示す。選択されたアイコンは、グレーの矩形で囲まれる。
【００１４】
図５は、実際に、図３のメタデータ登録アプリケーション３０１を用いて、画像に個人情報と被写体領域を登録する操作を説明したフローチャート図である。Ｓ５０１では、ユーザは、メタデータを登録する画像ファイルを選択し、その画像ファイルを、画像表示装置３０２に表示させる。もし、ここで画像ファイルに既にメタデータが登録されている場合、その中から個人情報、被写体領域情報を読み取り、対応する被写体に、図６の個人情報登録済みマーク６０４を表示する。このマークについては後で詳述する。Ｓ５０２では、ユーザは、表示された画像から１人の被写体を選び、その被写体に相当するアイコンを、個人情報選択装置３０４より検索する。ここでは、図６の被写体Ｂ  ６０２に対して、アイコンＢ  ６０１を検索したことにする。また、検索する際には、図４に示したスクロール操作を行う。Ｓ５０３では、検索したアイコンＢ  ６０１にマウスのポインタを合わせ、マウスボタンを押下する。すると、アイコンＢ  ６０１は、グレーの矩形で囲まれる。Ｓ５０４では、マウスボタンを押下したまま、被写体Ｂ  ６０２の顔の位置まで、マウスポインタを移動させ、そこでマウスボタンを離す（ドラッグアンドドロップ）。Ｓ５０５では、システムにより、マウスボタンが離された位置を中心に既定の矩形領域を作成し、図６の被写体領域６０３として、表示する。また、被写体領域６０３の左上には、個人情報が登録済みであることを示す、個人情報登録済みマーク６０４が表示される。Ｓ５０６では、アイコンＢ  ６０１に登録されている、ＸＭＬで記述された個人情報を読み取り、ＲＡＭ１０６に格納する。ＲＡＭ１０６に格納した個人情報の内容は、被写体情報表示領域６０５に表示される。また、被写体領域６０３の領域情報（左上の座標と、幅、高さ）も、同時にＲＡＭ１０６に格納する。Ｓ５０７では、既定の大きさで表示されている被写体領域６０３の大きさ、座標等が妥当なものであるかを判断する。ここで、被写体領域６０３から、顔がはみ出す等の不具合がある場合は、Ｓ５０８に進み、マウス等で、矩形の大きさ、座標等を修正し、修正した領域情報をＲＡＭ１０６に格納しなおして、Ｓ５０６に進む。不具合がない場合は、Ｓ５０９に進む。Ｓ５０９では、個人情報の登録作業を続行するかどうかを調べる。作業を続行する場合は、Ｓ５０２に進む。もし、主要な被写体について、既に個人情報が登録済みである場合は、登録作業を終了し、Ｓ５１０に進む。個人情報を登録したかどうかは、個人情報登録済みマークを調べることによってわかる。例えば、図７の場合、ＢとＤの被写体は個人情報が登録済みであるが、Ａ、Ｃに関しては、未登録である。また、既に登録済みである個人情報を確認したい場合は、被写体選択ボタン７０１を押下することにより、次々と確認することが可能である。Ｓ５１０では、メタデータ書き込みボタン３０５を押下することにより、ＲＡＭ１０６に保管されている全ての個人情報と、被写体の領域情報を統合し、画像ファイルにメタデータを書き出す。具体的には、図７のように、ＢとＤの個人情報が登録されている場合、ＲＡＭ１０６には、図８のように、被写体Ｂの個人情報８０１と、領域情報８０２、被写体Ｄの個人情報８０３と、領域情報８０４が格納されている。これらの情報を統合することにより、メタデータ８０５が作成され、画像ファイルのヘッダー部分にこのメタデータが書き込まれる。このように、個人情報の登録されたアイコンを、対象とする画像にドラッグアンドドロップするのみで、簡単に複数の個人情報と被写体領域を画像に登録することができる。
【００１５】
（実施例２）
本実施例では、顔検出技術を用いた、個人情報と、被写体領域の登録方法について説明する。なお、システム構成等は、実施例１と同様であるので、説明は省略する。
【００１６】
実施例１では、アイコンをドロップした位置を被写体の領域として認識し、必要な処理を行った。だが、マウス等のポインティングデバイスが存在しない場合など、被写体の顔の位置を指定するのが困難な場合がある。そのような場合は、顔検出技術を併用することで、登録作業を簡易化することができる。
【００１７】
図９は、顔検出技術の概要を示した図である。まず、元画像９０１に対して、並列に存在する黒の２点を抽出し、目の位置を検出する（９０２）。そして、目の位置を中心に、肌色の領域を抽出し、その領域を顔として検出する（９０３）。
【００１８】
なお、顔検出のアルゴリズムは、上記以外にも、より多くの処理を必要とするが、本発明の主眼ではないので、詳細な説明は省略する。
【００１９】
図１０は、顔検出機能を用いて、個人情報と被写体領域を画像に登録することのできる、デジタルスチルカメラ１００１の外観を表した図である。前面に、レンズ１００２、フラッシュ１００３が設置されており、上面には、シャッターボタン１００４、モードダイヤル１００６が備え付けられている。モードダイヤル１００６は、撮影と再生（画像の閲覧）のモードを切り替える際に用いる。背面には、画像やＧＵＩを表示する液晶ディスプレイ１００７や、メタデータ登録時に用いるメタデータボタン１００８や、ＧＵＩの操作に用いるカーソルキー１００９、ＯＫボタン１０１０、キャンセルボタン１０１１などが設置されている。
【００２０】
図１１は、デジタルスチルカメラで撮影した画像を、液晶ディスプレイ１００７で閲覧する様子を表した図である。画像を撮影後、モードダイヤル１００６を再生モードに切り替えると、先ほど撮影した画像が、再生モード画面１１０１のように表示される。ここで、メタデータボタン１００８を押下すると、メタデータ登録画面１１０２が表示される。メタデータ登録画面１１０２では、アイコンを選択する個人情報選択装置１１０３や、撮影した画像を表示する画像表示装置１１０４が存在する。画像表示装置１１０４に表示されている画像には、顔検出が実行されており、その際に検出された顔領域は、ＲＡＭ１０６に格納されている。アイコンポインタ１１０５は、被写体を指定する際に用いる。被写体の左上に個人情報登録済みマーク１１０６が表示されているものは、その被写体に個人情報が登録済みであることを示している。アイコン選択カーソル１１０７は、選択カーソルに囲まれているアイコンが選択されていることを示している。
【００２１】
図１２は、デジタルスチルカメラ１００１を使って、画像に個人情報と被写体領域を登録する方法を説明したフローチャート図である。Ｓ１２０１では、画像を撮影後、ユーザがモードダイヤル１００６を再生モードにする。再生モードにて、メタデータを登録したい画像を、液晶ディスプレイ１００７に表示させた状態で、メタデータボタン１００８を押下する。Ｓ１２０２では、表示されている画像に対して、顔検出を実行する。検出された顔の領域は、矩形（左上の座標と、幅、高さ）として、ＲＡＭ１０６に格納される。Ｓ１２０３では、メタデータ登録画面を表示する。Ｓ１２０４では、被写体に登録するアイコンを選択する。アイコンの選択には、アイコン選択カーソル１１０８を移動させることによって行う。カーソルキー１００９の上下キーを押下することによって、アイコン選択カーソル１１０８が上下に動き、任意のアイコンを選択できる。Ｓ１２０５では、ＯＫボタン１０１０を押下する。すると、アイコンポインタ１１０５が画像表示装置１１０４内に現れ、アイコン選択カーソルが移動できなくなる。Ｓ１２０６では、図１３０１のように、アイコンポインタ１１０５を、カーソルキー１００９を用いて、被写体の近くまで移動させる。Ｓ１２０７では、再びＯＫボタン１０１０を押下する。すると、図１３０２のように、アイコンポインタが個人情報登録済みマークに変化し、再び、アイコン選択カーソルの移動が可能になる。その際、アイコンに登録されている個人情報がＲＡＭ１０６に格納される。Ｓ１２０８では、個人情報の登録作業を続行するかどうかを判断する。もし、続ける場合、Ｓ１２０４に戻る。終了する場合は、Ｓ１２０９に進む。Ｓ１２０９では、メタデータボタンをもう一度押下する。すると、個人情報登録済みマークの位置に最も近い、顔検出により検出された領域が、被写体領域として選択され、ＲＡＭ１０６に格納された個人情報と関連付けられる（図１３０３）。Ｓ１２１０では、個人情報と、被写体領域情報を統合し、ＸＭＬで記述されたメタデータを作成し、画像ファイルのヘッダー部分に書き込む。その後、元の再生モード画面１１０１に戻る。
【００２２】
このように、顔検出技術を用いることにより、個人情報と被写体領域を容易に画像に登録することができる。また、本実施例では、顔検出技術として、一例を取り上げたが、もちろん、これ以外の方法であっても、その目的が達成されれば、何でも良い。
【００２３】
（実施例３）
本実施例では、デジタルスチルカメラにおいて、特定のＧＵＩを用いて、画像を撮影することにより、容易に、個人情報と被写体領域を画像に登録する方法について説明する。なお、システム構成等は、実施例１と同様であるので、説明は省略する。また、デジタルスチルカメラの構成も、実施例２と同様であるので、説明を省略する。
【００２４】
図１４は、特殊撮影用のＧＵＩを表した図である。被写体領域登録用ＧＵＩ  １４０１は、デジタルスチルカメラ１００１のモードダイヤル１００６を、撮影モードにしている状態で、メタデータボタン１００８を押すことによって、ファインダーや液晶ディスプレイに現れる。この中の、人型の領域（被写体領域１４０６）に人物を重ね合わせた状態で、撮影を行う。なお、ここでは、特殊撮影用のＧＵＩとして、一例を挙げたが、ＧＵＩは撮影人数、配置等により、この他にも数種類存在し、撮影モードにおいて、カーソルキー１００９の左右ボタンを押すごとに、ＧＵＩが切り替わる。
【００２５】
図１５は、被写体領域登録用ＧＵＩを用いて、画像データに個人情報と被写体領域情報を登録する方法を説明したフローチャート図である。Ｓ１５０１では、撮影モードにて、所望のＧＵＩを選択する。すると、被写体領域１４０６の領域情報がＲＡＭ１０６に格納される。Ｓ１５０２では、個人情報選択装置１４０２内のアイコン選択カーソル１４０３を用いて、被写体に登録するアイコンを選択する。Ｓ１５０３では、ＯＫボタン１０１０を押下する。すると、ＧＵＩに、アイコンポインタ１４０４が表示され、アイコン選択カーソル１４０３が移動できなくなる。Ｓ１５０４では、アイコンポインタ１４０４をカーソルキー１００９を用いて、被写体領域１４０６の近くまで移動させる。Ｓ１５０５では、再び、ＯＫボタン１０１０を押下する。すると、アイコンポインタが個人情報登録済みマーク１４０５に変化し、再び、アイコン選択カーソルの移動が可能になる。その際、アイコンに登録されている個人情報がＲＡＭ１０６に格納される。Ｓ１５０６は、被写体領域１４０６への個人情報の登録を続けるかを判断する。もし、続ける場合は、Ｓ１５０２に戻る。続けない場合は、Ｓ１５０７に進む。Ｓ１５０７は、被写体領域１４０６に人物を重ね合わせて、画像を撮影する。Ｓ１５０８では、撮影した画像データを生成する。Ｓ１５０９では、個人情報登録済みマークに最も近い被写体領域を、その個人情報の被写体領域情報として関連付ける。Ｓ１５１０では、ＲＡＭ１０６に格納された個人情報と、被写体領域情報とを統合し、ＸＭＬで記述されたメタデータを作成する。そして、作成したメタデータを画像データに関連付ける。
【００２６】
このように、画像の撮影時に特殊なＧＵＩを用いることにより、容易に個人情報と被写体領域を画像に登録することが可能である。
【００２７】
【発明の効果】
以上のように、ドラッグアンドドロップや、顔検出、撮影時のＧＵＩ等を用いることによって、個人情報と、被写体領域を容易に画像に登録することが可能である。それにより、画像をクリックしただけでメールが送信できるなどの、画像とメタデータを利用した新しいサービスの構築を可能とする。
【図面の簡単な説明】
【図１】実施形態における、システムの構成図である。
【図２】個人情報が登録されたアイコンの概要を表した図である。
【図３】メタデータ登録アプリケーションのＧＵＩである。
【図４】個人情報選択装置の操作を説明した図である。
【図５】ドラッグアンドドロップ操作によるメタデータ登録を説明したフローチャート図である。
【図６】ドラッグアンドドロップ操作によるメタデータ登録を説明した概要図である。
【図７】メタデータ表示の方法を表した図である。
【図８】個人情報と被写体領域情報を接合し、メタデータを作成する様子を表した図である。
【図９】顔検出の概要を表した図である。
【図１０】デジタルスチルカメラの外観を表した図である。
【図１１】デジタルスチルカメラでのメタデータ登録を行うＧＵＩである。
【図１２】デジタルスチルカメラでのメタデータ登録を行う方法を説明したフローチャート図である。
【図１３】デジタルスチルカメラでのメタデータ登録を行う操作の概要を表した図である。
【図１４】撮影時に被写体領域情報を入力する撮影画面を表した図である。
【図１５】撮影時に特殊なＧＵＩを用いる方法で、メタデータを登録する方法を説明したフローチャート図である。
【図１】
2004336466.tif 000003
【図２】
2004336466.tif 000004
【図３】
2004336466.tif 000005
【図４】
2004336466.tif 000006
【図５】
2004336466.tif 000007
【図６】
2004336466.tif 000008
【図７】
2004336466.tif 000009
【図８】
2004336466.tif 000010
【図９】
2004336466.tif 000011
【図１０】
2004336466.tif 000012
【図１１】
2004336466.tif 000013
【図１２】
2004336466.tif 000014
【図１３】
2004336466.tif 000015
【図１４】
2004336466.tif 000016
【図１５】
2004336466.tif 000017