(57)【要約】【課題】画像データに付与するキーワードをユーザが容易に選別できるキーワード付与装置を提供する。【解決手段】撮影時に付与される撮影情報を有している画像データに対してキーワードを付与するために、前記画像データの撮影情報に基づいてキーワード候補を抽出する抽出手段と、前記抽出手段により抽出された前記キーワード候補を階層構造で表示部に表示する表示手段と、ユーザの指示に応じてキーワード候補を前記画像データの関連情報として付与するキーワード付与手段とを備え、画像データに付与するキーワードをユーザが選別して付与できるようにする。【選択図】図１
2012226698.tif 000002
【特許請求の範囲】
【請求項１】
撮影時に付与される撮影情報を有している画像データに対してキーワードを付与する装置であって、
前記画像データの撮影情報に基づいてキーワード候補を抽出する抽出手段と、
前記抽出手段により抽出された前記キーワード候補を階層構造で表示部に表示する表示手段と、
ユーザの指示に応じてキーワード候補を前記画像データの関連情報として付与するキーワード付与手段とを備えることを特徴とするキーワード付与装置。
【請求項２】
前記表示手段は、前記抽出手段により抽出された前記キーワード候補を階層に従って表示する際に、各階層に該当する画像データの情報も合わせて表示することを特徴とする請求項１に記載のキーワード付与装置。
【請求項３】
前記表示された画像データから、キーワードを付与しない画像データを選択し、付与対象から排除する画像選別手段を備えることを特徴とする請求項２に記載のキーワード付与装置。
【請求項４】
前記表示部に表示されている前記キーワード候補の中から、階層の異なる複数の候補を選択可能であり、前記キーワード付与手段は、当該選択された複数のキーワードを関連情報として付与することを特徴とする請求項１ないし３のいずれか１項に記載のキーワード付与装置。
【請求項５】
被写体を撮影して撮像データを生成する撮像手段を具備し、前記撮像手段が生成した画像データに対してキーワードを付与することを特徴とする請求項１ないし４のいずれか１項に記載のキーワード付与装置。
【請求項６】
撮影時に付与される撮影情報を有している画像データに対してキーワードを付与する方法であって、
前記画像データの撮影情報に基づいてキーワード候補を抽出する抽出工程と、
前記抽出工程において抽出された前記キーワード候補を階層構造で表示部に表示する表示工程と、
ユーザの指示に応じてキーワード候補を前記画像データの関連情報として付与するキーワード付与工程とを備えることを特徴とするキーワード付与方法。
【請求項７】
コンピュータに読み込まれて実行されることで請求項６に記載されたキーワード付与方法の各工程を実現するためのプログラム。
【請求項８】
請求項７に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はキーワード付与装置およびキーワード付与方法に関し、特に、ユーザがキーワードを選別して付与するために用いて好適な技術に関する。
【背景技術】
【０００２】
デジタル画像の増加に伴って、画像データに直感的なキーワードを付与するなどして検索性を向上させる必要性が高まっている。このため、撮影場所や撮影日時に基づいて画像データにキーワードを付与する仕組みが考えられている。たとえば、特許文献１では、画像データ等のコンテンツに対してキーワードを付与するにあたって、対象画像データの特徴を抽出し、その特徴と対応づいたキーワードをワードテーブルから抽出して対象画像データに付与する技術が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６５３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１にて提案されたコンテンツ登録装置は、キーワードを自動的に付与するように構成されている。このため、従来の方法は画像データに付与するキーワードを自動決定するために、ユーザがキーワードを選別することはできない問題点があった。
本発明は前述の問題点に鑑み、画像データに付与するキーワードをユーザが容易に選別できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明のキーワード付与装置は、撮像装置で被写体を撮影することで生成される画像データに対してキーワードを付与する装置であって、撮影情報とキーワード候補の対応関係を保持する保持手段と、前記画像データの撮影情報に基づいて前記キーワード候補を抽出する抽出手段と、前記抽出手段により抽出された前記キーワード候補を階層構造で表示部に表示する表示手段と、ユーザの指示に応じてキーワード候補を前記画像データの関連情報として付与するキーワード付与手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明によれば、ユーザは画像データに付与するキーワードを自動抽出された候補を元に容易に選別することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態を示し、キーワード付与装置の表示内容を示す図である。
【図２】キーワード付与装置の構成例を示すブロック図である。
【図３】キーワードデータベースの構造を示す図である。
【図４】キーワードデータベースの構造を示す図である。
【図５】キーワードデータベースの構造を示す図である。
【図６】キーワード候補の抽出処理を説明するフローチャートである。
【図７】キーワード付与装置の動作を示すフローチャートである。
【図８】第２の実施形態を示し、キーワード候補の表示内容を示す図である。
【図９】第２の実施形態を示し、キーワード付与装置の表示内容を示す図である。
【図１０】キーワード付与装置の動作を示すフローチャートである。
【図１１】第３の実施形態を示し、キーワード付与装置の構成を示す図である。
【図１２】第３の実施形態を示し、キーワード付与装置の表示内容を示す図である。
【発明を実施するための形態】
【０００８】
以下に、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。
【０００９】
（第１の実施形態）
以下、本発明の実施形態のひとつを添付画面に従い詳細に説明する。本実施形態におけるキーワード付与装置は、画像データを受け付けてその画像データに付与するキーワード候補をユーザに提示する。ユーザは、提示されたキーワード候補から所望のものを選択可能で、画像データの関連情報として画像に付与することができる。
【００１０】
キーワード候補の抽出にあたって、本実施形態におけるキーワード付与装置は、ユーザが指定した画像データから撮影情報を読み出し、撮影情報に関連のあるキーワードをキーワードデータベースから読み出す。さらに、読み出したキーワードを撮影情報ごとに階層表示してユーザに提示する。これにより、ユーザはキーワード候補間の関係性を把握しやすく、キーワードの選別を容易に行うことができる。
【００１１】
本実施形態におけるキーワード付与装置の構成例を図２を用いて説明する。
図２において、２０１はキーワード付与装置を実現するコンピュータ装置２００の全体を制御する制御部であり、例えばCentral Processing Unit（ＣＰＵ）である。２０２は変更を必要としないプログラムやパラメータを格納するRead Only Memory（ＲＯＭ）である。２０３は外部装置などから供給されるプログラムやデータを一時記憶するRandom Access Memory（ＲＡＭ）である。
【００１２】
２０４は外部記憶装置である。外部記憶装置はコンピュータ装置２００に固定して設置されたハードディスクやメモリカードを含む。あるいは、コンピュータ装置２００から着脱可能なフレキシブルディスクやCompact Disk（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカードなどを含む。２０５はユーザの操作を受け、データを入力するポインティングデバイスやキーボード２０９などの入力デバイスとのインターフェイスである。
【００１３】
２０６はコンピュータ装置２００の保持するデータや供給されたデータを表示するためのディスプレイ２１０とのインターフェイスである。２０７はインターネットなどのネットワーク回線２１１に接続するためのネットワークインタフェイスである。２０８は、撮像装置などの画像入力デバイス２１２から処理対象の画像データ入力を受け付ける画像入力インターフェイスである。２１３は制御部２０１〜画像入力インターフェイス２０８の各ユニットを通信可能に接続するシステムバスである。
【００１４】
本実施形態において、ユーザに提示するキーワード候補は、図３に示すキーワード階層に従って外部記憶装置２０４に記憶されている。キーワード階層において、階層の各ノードには Ａ、Ａ−１、Ａ−１−１といった階層ＩＤが割り当てられている。この各ノードに該当するキーワードは、図４に示すキーワードテーブルに格納され、外部記憶装置２０４に記憶されている。図４に示すとおり、キーワードテーブルには、ひとつの階層ＩＤに複数のキーワードが対応している場合もある。例えばこの図４の例では、画像に付属する位置情報が、東京のどこかを示している場合に、候補として表示するキーワードを示している。階層IDがAは「日本」、階層IDがA-1では「関東」となり、東京を含む広いエリアを示す言葉となっている。
更にその下の階層A-1-1になると、「東京、東京都、首都」となり、実際は同じ東京を示すが表現上は異なる呼び方のキーワードが羅列されている。
【００１５】
本実施形態におけるキーワード付与装置は、キーワード候補の選別基準として画像の撮影情報を使用する。撮影情報は、撮影時に撮像装置によって自動付与される情報で、撮影位置情報、撮影日時情報、被写体情報などが挙げられる。キーワード階層のノードと撮影情報との対応関係は図５に示す撮影情報テーブルとして外部記憶装置２０４に記憶されている。
【００１６】
図５において、撮影情報２に対して階層ＩＤのＡ−１とＢ−１−１が対応しているように、ひとつの撮影情報に対して複数のノードが対応づいていることがある。また、撮影情報３と撮影情報４との組み合わせに対して階層ＩＤのＡ−１−１が対応しているとおり、複数の撮影情報の組み合わせが特定のノードが対応づいていることもある。また、図５に示した撮影情報テーブルには、撮影情報の表示名称が格納されている。これは、撮影位置情報や撮影日時情報といった撮影情報をユーザに把握しやすい言葉で表現したものである。例えば、撮影位置情報という撮影情報に対しては、地名／ランドマーク名という言葉が表示名称として格納されており、図１の右側画面や図８の画面で表示されている。
【００１７】
以上のキーワード階層、キーワードテーブルおよび撮影情報テーブルを参照して読み出されたキーワード候補をユーザに提示する際の画面構成について、図１を用いて説明する。
図１において、１０４はキーワード候補を抽出する基準となった撮影情報である。１０３は撮影情報の表示名称である。これは撮影情報テーブルに格納されているもので、ユーザがキーワードの選別を行うにあたって撮影情報１０４を補足するために表示される。
１０１および１０２は、撮影情報１０４に基づいて抽出されたキーワード候補である。これらのキーワード候補は、図３に示したキーワード階層に従って階層表示される。また、これらのキーワード候補は撮影情報ごとに表示される。
【００１８】
ユーザは、入力デバイス２０９を操作して、表示されているキーワード候補を押下し、所望のもののみを選択することができる。選択状態となったキーワード候補は、１０２のように強調表示される。また、ユーザは選択状態のキーワード候補に対して再度押下することで、非選択状態に戻し、付与対象から排除する画像選別を行うこともできる。
図１の右側画面では「東京」「○○駅」「○○ビル」が強調表示されており、１つの種類に対して３つのキーワードが選択されていることが分かる。このようにしてユーザはキーワード候補から所望のものを選択した上で、１０７の適用を選択することで、所望のキーワードを画像に付与することができる。
これにより、イベント名では「○○祭り」が設定され、地名/ランドマーク名としては、「東京」「○○駅」「○○ビル」が設定されて、画像の属性情報として記録される。
【００１９】
次に、図６のフローチャートを用いて、処理対象の画像データに対するキーワード候補の抽出処理を説明する。
Ｓ６０１は、画像データの撮影情報を取得するステップである。制御部２０１は、ユーザが画像入力インターフェイス２０８を介して入力した画像データを読み込み、そのデータに含まれる撮影情報を取得する。
【００２０】
Ｓ６０２において、制御部２０１は、外部記憶装置２０４に記憶された撮影情報テーブルを参照し、Ｓ６０１で取得した撮影情報と関係する階層ＩＤおよび表示名称を取得する。
次に、Ｓ６０３において、制御部２０１は、Ｓ６０２で取得した階層ＩＤに基づいて、その親ノードにあたる全ての階層を取得する。
【００２１】
たとえば、Ｓ６０２で取得した階層がA-1-1であったとすれば、Ｓ６０３では、これに基づいてＡ−１とＡの階層ＩＤを取得する。次に、Ｓ６０４において、制御部２０１は、外部記憶装置２０４からキーワードテーブルを読み込み、Ｓ６０２で取得した全ての階層に対してキーワードテーブルを参照してキーワードを取得する。制御部２０１は、以上の処理で取得したキーワードを、図３のキーワードデータベースの階層に従ってディスプレイ２１０に表示する。
【００２２】
次に、図７のフローチャートを用いて、ユーザの操作指示を受けて画像データにキーワードを付与する処理を説明する。
Ｓ７０１において、制御部２０１は、適用ボタン１０７が押下されたかを判定する。適用ボタンが押下されていると、制御部２０１は処理をＳ７０４に進め、そうでなければ処理をＳ７０２に進める。
【００２３】
ステップＳ７０２において、制御部２０１は、ユーザによって適用ボタンが押されていない場合に、キーワード候補の選択状態が変更されたかを判定する。さらに制御部２０１は、この判定処理で選択状態が変更されていた場合は処理をＳ７０３に進める。一方、選択状態が変更されていない場合は処理をＳ７０１の直前まで戻す。
【００２４】
Ｓ７０３において、制御部２０１は、ユーザによるキーワード候補の選択状態変更指示に従って、キーワードの表示状態を更新する。ユーザが選択されていないキーワード候補を選択した場合には、図１に示したキーワード候補１０２と同じ強調表示に変更し、このキーワード候補が選択状態になったことをユーザに示す。一方で、ユーザが選択されていたキーワード候補を非選択とした場合には、図１に示したキーワード候補１０１と同じ強調表示を解除し、このキーワード候補が非選択状態になったことをユーザに示す。
【００２５】
Ｓ７０４において、制御部２０１はユーザによってキーワードの適用が指示された場合に、選択されている全てのキーワード候補を、対象の画像データの内部に格納する。これにより、画像データに新たなキーワードが付与され、後のデータ検索等の目的で利用できるようになる。
【００２６】
以上で述べた実施形態によって、画像データに付与するキーワード候補を撮影情報ごとに階層表示し、ユーザにとってキーワードの選別が容易なキーワード付与装置を提供することができる。
【００２７】
なお、本実施形態では、撮像装置が自動付与した撮影情報に基づいてキーワード候補を抽出するものとした。しかし、キーワード候補の抽出基準が、画像データに対してユーザが付与した情報や、撮像装置とは異なる情報処理装置で自動付与された情報であっても本発明は同様に適用される。
また、本実施形態では、付与されたキーワードに関する情報を画像データのファイル内部に保持する形態について説明したが、キーワードに関する情報がファイルの外部に記憶されるような実施形態であっても本発明は同様に適用される。
【００２８】
（第２の実施形態）
本発明の別の実施形態について説明する。本実施形態におけるキーワード付与装置は、複数の画像データに対するキーワード候補をユーザに提示し、その中からユーザが指定したものを画像データに付与する装置である。
【００２９】
本実施形態におけるキーワード付与装置は、ユーザが指定した複数の画像データに対して、それぞれの撮影情報を読み出す。さらに、読み出した撮影情報に関連のあるキーワードをキーワードデータベースから読み出して対応する画像データと関連付けて表示する。これにより、ユーザはそれぞれの画像データを確認しながら付与するキーワード候補の選別を容易に行うことができる。
【００３０】
本実施形態におけるキーワード付与装置の構成は、第１の実施形態で図２を用いて説明したものと同じである。また、キーワード階層、キーワードテーブルおよび撮影情報テーブルも、第１の実施形態にて図３、図４および図５を用いて説明したものと同じである。さらに、キーワード候補の抽出処理と付与処理に関しては、第１の実施形態にて図６および図７で説明したものと同じである。
【００３１】
本実施形態において、キーワード候補をユーザに提示する際の画面構成を、図８を用いて説明する。
図８において、８０１は撮影情報の表示名称を表示するエリアである。本実施形態におけるキーワード付与装置では、第１の実施形態と同様に画像データの撮影情報に基づいてキーワード候補を抽出するが、キーワード候補が抽出された撮影情報の表示名称８０２をこのエリアに列挙する。
【００３２】
８０３はキーワード候補の表示エリアであり、ユーザが表示エリア８０１に表示された撮影情報のうち、任意の撮影情報を選択することで、その撮影情報に基づいて抽出されたキーワード候補８０４を表示エリア８０３に階層構造でディスプレイ２１０に表示する。さらに、表示エリア８０３には、キーワード候補と共にそのキーワード候補が付与される画像データ８０５が列挙される。これにより、ユーザは画像データ８０５を確認してキーワードの選別を行うことができる。
【００３３】
８０６は画像データ８０５と対応づいたチェックボックスで、ユーザがこのチェックボックス８０６の状態を変更することで、キーワードを付与するかを画像データごとに指定することができる。８０７は適用ボタンであり、ユーザが入力デバイス２０９を操作してこれを押下すると、キーワード８０４の選択状態とチェックボックス８０６の選択状態に従って、キーワードが画像データに付与される。８０８は、表示階層の範囲を切り替えるボタンであり、ユーザが入力デバイス２０９を操作してこれを押下することにより、画面表示は図９に示す内容に変化する。
【００３４】
図９において、表示する階層を切り替えるボタン９０１は、図８の８０８と異なる形態で表示され、表示階層が切り替えられていることが視認可能になっている。また、このとき、キーワード候補９０２の子孫ノードにあたる階層に該当する画像データが、キーワード候補９０２に該当するものとして表示される。これにより、ユーザにとって所望の階層より細かいキーワード候補を画面から非表示にし、キーワードの選別をより容易にすることができる。
【００３５】
抽出したキーワード候補を画像データと関連付けて表示する処理について、図１０のフローチャートを用いて説明する。
図１０において、制御部２０１はＳ１００２から１００４までの処理をキーワードデータベースの各階層に対して実行する。
【００３６】
Ｓ１００２において、制御部２０１は対象の階層に対して対応する画像データが存在するかを判定する。対象の階層に対応する画像データが存在していれば、制御部２０１は処理をＳ１００３に進め、そうでなければ処理をＳ１００５に進める。Ｓ１００３において、制御部２０１は対象の階層に対応するキーワードを ディスプレイ２１０に表示する。さらに、Ｓ１００４において、制御部２０１は、対象の階層に対応する画像をディスプレイ２１０に表示する。
【００３７】
以上で述べた実施形態によって、キーワード候補がディスプレイ２１０に階層表示される。これにより、複数の画像データにキーワードを付与するにあたって、ユーザにとってキーワードの選別が容易なキーワード付与装置を提供することができる。
【００３８】
また、キーワード候補に対応する画像データを合わせて表示することで、ユーザはキーワード付与の対象画像データを確認してキーワードの選別を行うことができる。
さらに、画像データごとにキーワードを付与するかを指定することが可能であり、キーワードの表示階層をユーザが指定することもできる。これによりユーザはキーワードの選別をより容易に行うことができる。
【００３９】
（第３の実施形態）
本発明の別の実施形態について説明する。本実施形態におけるキーワード付与装置は、被写体を撮影して撮像データを生成する撮像装置であり、撮像画像データに対してキーワードを付与することができる。本実施形態のキーワード付与装置は、図１１に示すとおりに構成されている。すなわち、通信部１１０１、二次記憶装置１１０２、制御部１１０３、操作部１１０４、信号処理装置１１０５、表示部１１０６、光学ユニット１１０７、読み出し専用メモリ１１０８、一次記憶装置１１０９、外部記憶媒体１１１０により構成される。
【００４０】
本実施形態におけるキーワード付与装置において、ユーザは表示部１１０６に表示されたキーワード付与画面を確認し、操作部１１０４を操作して撮像画像データにキーワードの付与を行う。
【００４１】
本実施形態におけるキーワード付与装置の構成は、第１の実施形態で図２を用いて説明したものと同じである。また、キーワード階層、キーワードテーブルおよび撮影情報テーブルも、第１の実施形態にて図３、図４および図５を用いて説明したものと同じである。さらに、キーワード候補の抽出処理および付与処理に関しては、第１の実施形態にて図６および７で説明したものと同じである。
【００４２】
本実施形態においてキーワード候補をユーザに提示する際の画面構成について、図１２を用いて説明する。
図１２において、１２０１は、キーワードの付与対象の画像データである。１２０２は、キーワード候補を抽出する基準となった撮影情報の表示名称であり、１２０４がこの撮影情報に基づいて抽出されたキーワード候補である。
【００４３】
撮影情報の切り替えコントロール１２０３を選択することにより、表示される撮影情報の表示名称１２０２とキーワード候補１２０４は別のものへと切り替えられる。１２０６および１２０５はキーワードを画像に適用するためのボタンと、適用操作をキャンセルするためのボタンである。第１および第２の実施形態と同様に、ユーザはキーワード候補１２０４から所望のキーワードのみを選択し適用することで画像にキーワードを付与することができる。
【００４４】
以上で述べた実施形態によって、撮像装置で生成した画像データに対して、付与するキーワード候補を撮影情報ごとに階層表示し、ユーザにとってキーワードの選別が容易なキーワード付与装置を提供することができる。
【００４５】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。前述の実施形態の一部を適宜組み合わせてもよい。
【００４６】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１０１  非選択状態のキーワード候補、１０２  選択状態のキーワード候補、１０３  撮影情報の表示名称、１０４  撮影情報、１０５  撮影情報の表示名称、１０６  撮影情報、１０７  適用ボタン
【図１】
2012226698.tif 000003
【図２】
2012226698.tif 000004
【図３】
2012226698.tif 000005
【図４】
2012226698.tif 000006
【図５】
2012226698.tif 000007
【図６】
2012226698.tif 000008
【図７】
2012226698.tif 000009
【図８】
2012226698.tif 000010
【図９】
2012226698.tif 000011
【図１０】
2012226698.tif 000012
【図１１】
2012226698.tif 000013
【図１２】
2012226698.tif 000014