(57)【要約】【課題】  コンテンツのレイアウトに基づいて画像にメタデータを付加する。【解決手段】  複数の画像が少なくともレイアウトされたコンテンツのレイアウトを解析し、解析したコンテンツのレイアウトに基づいた付加情報を取得する。また、解析したレイアウトに基づいて取得した付加情報を関連付ける画像を判定する。そして、判定された画像に取得した前記付加情報をメタデータとして付加する。【選択図】  図３
2013054658.tif 000002
【特許請求の範囲】
【請求項１】
画像に付加情報を付加する情報処理装置であって、
複数の画像と文字情報がレイアウトされたコンテンツにレイアウトされた文字情報を取得する取得手段と、
前記コンテンツのレイアウトに基づいて、前記取得手段が取得した前記文字情報に対応する前記画像を判定する判定手段と、
前記取得手段が取得した文字情報を付加情報として前記判定手段により判定された画像に付加する付加手段とを有することを特徴とする情報処理装置。
【請求項２】
前記取得手段は、前記コンテンツにレイアウトされた図を示すオブジェクトを取得し、
前記付加手段は前記オブジェクトに関する情報を付加情報として画像に付加することを特徴とする請求項１記載の情報処理装置。
【請求項３】
複数の画像を複数のグループに分割する分割手段を更に有し、
前記付加手段は、前記判定手段により判定された画像と同じグループに属する画像に前記取得手段が取得した付加情報を付加することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記分割手段により分割される複数の画像は前記コンテンツにレイアウトされていない画像を含むことを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記付加手段は、前記コンテンツのレイアウトに基づいて、前記取得手段が取得した前記文字情報を、前記コンテンツにレイアウトされた全ての画像、前記文字情報がレイアウトされたコンテンツのページ内のすべての画像、または前記文字情報に関連してレイアウトされている画像のいずれかに付加することを特徴とする請求項１乃至４何れか１項に記載の情報処理装置。
【請求項６】
前記付加手段により同一の付加情報が付加された複数の画像から代表となる画像を前記コンテンツのレイアウトに基づいて決定する決定手段と、
前記付加手段は、前記決定手段に決定された画像に代表であることを示す付加情報を付加することを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
【請求項７】
画像に付加情報を付加する情報処理装置であって、
コンテンツにレイアウトした画像の画像配置枠に表示させた領域を示すレイアウト位置を取得する取得手段と、
前記取得手段が取得したレイアウト位置を付加情報として前記レイアウトした画像に付加する付加手段とを有することを特徴とする情報処理装置。
【請求項８】
前記コンテンツへのレイアウトに基づいて、画像を評価する評価手段と、
前記評価手段による評価を付加情報として前記画像に付加する付加手段とを有することを特徴とする請求項７記載の情報処理装置。
【請求項９】
画像に付された付加情報に基づいて、画像を検索する情報処理装置であって、
アルバムにレイアウトされた画像に付加情報として付されているアルバムタイトルを選択する第１の選択手段と、
前記第１の選択手段により選択された前記アルバムタイトルが付されている画像に付加情報として付されているページタイトルを選択する第２の選択手段と、
前記第２の選択手段により選択された前記ページタイトルが付されている画像に付加情報として付されている画像タイトルを選択する第３の選択手段と、
前記第３の選択手段により選択された前記画像タイトルが付されている画像を検索する検索手段とを有することを特徴とする情報処理装置。
【請求項１０】
同一の付加情報が付加された画像から代表画像を示す付加情報が付されている画像を検出する検出手段と、
前記代表画像を示す付加情報が付された画像を表示部に表示させる表示制御手段と、
前記第１の選択手段は、前記表示部に表示された代表画像のユーザ指定に基づいて、指定された代表画像に対応するアルバムタイトルを選択し、
前記第２の選択手段は、前記表示部に表示された代表画像のユーザ指定に基づいて、指定された代表画像に対応するページタイトルを選択し、
前記第３の選択手段は、前記表示部に表示された代表画像のユーザ指定に基づいて、指定された代表画像に対応する画像タイトルを選択することを特徴とする請求項９記載の情報処理装置。
【請求項１１】
画像に付加情報を付加する情報処理装置の制御方法であって、
複数の画像と文字情報がレイアウトされたコンテンツにレイアウトされた文字情報を取得する取得工程と、
前記コンテンツのレイアウトに基づいて、前記取得工程において取得した前記文字情報に対応する前記画像を判定する判定工程と、
前記取得工程において取得した文字情報を付加情報として前記判定工程において判定された画像に付加する付加工程とを有することを特徴とする情報処理装置の制御方法。
【請求項１２】
画像に付加情報を付加する情報処理装置の制御方法であって、
コンテンツにレイアウトした画像の画像配置枠に表示させた領域を示すレイアウト位置を取得する取得工程と、
前記取得工程において取得したレイアウト位置を付加情報として前記レイアウトした画像に付加する付加工程とを有することを特徴とする情報処理装置
【請求項１３】
画像に付された付加情報に基づいて、画像を検索する情報処理装置の制御方法であって、
アルバムにレイアウトされた画像に付加情報として付されているアルバムタイトルを選択する第１の選択工程と、
前記第１の選択工程において選択された前記アルバムタイトルが付されている画像に付加情報として付されているページタイトルを選択する第２の選択工程と、
前記第２の選択工程において選択された前記ページタイトルが付されている画像に付加情報として付されている画像タイトルを選択する第３の選択工程と、
前記第３の選択工程において選択された前記画像タイトルが付されている画像を検索する検索工程とを有することを特徴とする情報処理装置の制御方法。
【請求項１４】
請求項１１乃至１３何れか１項記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像が配置されたコンテンツの画像のレイアウトに基づいて、画像に付加情報を付加する情報処理装置に関する。
【背景技術】
【０００２】
近年、アップロードされた大量の画像データを保管するサービスが利用されてきている。また、このような保管サービスでは、画像やテキストといったオブジェクトをレイアウトすることで電子アルバム、フォトブック、ポスターといった商材としてのコンテンツを作成するサービスも兼ね備えていることが多い。このような商材作成の作業では、所望の画像を選択したり、文字情報を入力したりする必要があるため、ユーザが商材作成サービスを敬遠する一つの要因となっている。このような商材作成の作業の手間を省くための技術が提案されている。例えば、レイアウトする画像間で撮影日時または撮影位置を比較し、第１の画像から抽出されたキーワードを撮影日時または撮影位置が近い第２の画像の情報入力の際に利用することで、第２の画像の情報入力の手間を省く方法が提案されている（特許文献１）。また、特許文献１では、１ページに複数の複数の画像をレイアウトする場合、複数の画像から抽出された共通のキーワードをページに対応する情報として入力を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２７１７５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように、撮影した画像データを用いて商材としてのコンテンツを作成する際は、例えば、撮影場所等の画像データに関する情報も併せてレイアウトする場合が多い。このような、商材作成時に入力された文字情報等の付加情報を以降の商材作成等に再び利用することで作業の効率化が行えることが考えられる。しかしながら、商材作成時に入力された情報を大量の画像それぞれに付加することはユーザにとって非常に手間となる。また、特許文献１の技術では、予め画像にキーワードが付されており、このような汎用的なキーワードが必ずしもコンテンツにレイアウトするべき情報とは限らない。
【０００５】
本発明は上述した問題を解決するためになされたものであり、コンテンツ作成により得られる付加情報を画像に付加して、該付加情報を以降のコンテンツ作成等に活かすことを目的とする
【課題を解決するための手段】
【０００６】
上記目的を達成するための一手段として、画像に付加情報を付加する情報処理装置であって、複数の画像と文字情報がレイアウトされたコンテンツにレイアウトされた文字情報を取得する取得手段と、前記コンテンツのレイアウトに基づいて、前記取得手段が取得した前記文字情報に対応する前記画像を判定する判定手段と、前記取得手段が取得した文字情報を付加情報として前記判定手段により判定された画像に付加する付加手段とを有することを特徴とする情報処理装置を提供する。
【０００７】
また、画像に付加情報を付加する情報処理装置であって、コンテンツにレイアウトした画像の画像配置枠に表示させた領域を示すレイアウト位置を取得する取得手段と、前記取得手段が取得したレイアウト位置を付加情報として前記レイアウトした画像に付加する付加手段とを有することを特徴とする情報処理装置を提供する。
【０００８】
また、画像に付された付加情報に基づいて、画像を検索する情報処理装置であって、アルバムにレイアウトされた画像に付加情報として付されているアルバムタイトルを選択する第１の選択手段と、前記第１の選択手段により選択された前記アルバムタイトルが付されている画像に付加情報として付されているページタイトルを選択する第２の選択手段と、前記第２の選択手段により選択された前記ページタイトルが付されている画像に付加情報として付されている画像タイトルを選択する第３の選択手段と、前記第３の選択手段により選択された前記画像タイトルが付されている画像を検索する検索手段とを有することを特徴とする情報処理装置を提供する。
【発明の効果】
【０００９】
本発明によれば、コンテンツ作成時のレイアウトに基づいて得られる付加情報を画像に付加することができる。したがって、コンテンツ作成時ユーザの意図を反映する付加情報を画像に効率的に付加することができる。したがって、以降のコンテンツ作成時等に付加された付加情報を利用することでユーザのコンテンツ作成作業の負荷の軽減が期待できる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態のシステムの構成を示す図である。
【図２】クライアント装置１０２、サーバ装置１０４のハードウェア構成の一例を示す図である。
【図３】サーバ装置１０４の機能構成について一例を示す図である。
【図４】メタデータ付加処理を示すフローチャートである。
【図５】画像のクラスタに分割した結果を示す図である。
【図６】判定処理におけるオブジェクト有効範囲を示す図である。
【図７】クラスタ分割された画像に対してキーワードが付加された結果を示す図である。
【図８】代表画像の設定方法を示すフローチャートである。
【図９】画像が複数存在した場合における代表画像の選択を示す図である。
【図１０】レイアウト位置とレートを付加するメタデータ付加処理を示すフローチャートである。
【図１１】レイアウト位置を示す図である。
【図１２】画像のレートの一例を示す図である。
【図１３】画像を検索するための表示の遷移を示す図である
【図１４】付加情報を用いたコンテンツの自動作成を示す図である。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１２】
＜実施形態１＞
図１は、本実施形態に係る画像保管と、画像をレイアウトした商材としてコンテンツの作成と、作成したコンテンツのレイアウトに基づいて画像にメタデータ（付加情報）を付加することとを可能とするシステムの構成について示した図である。カメラ１０１で撮影された画像は、メモリカードやＬＡＮによる接続などの方法を用いてクライアント装置１０２へ渡される。クライアント装置１０２は、カメラ１０１から取得した画像をサーバ装置１０４にアップロードする情報処理装置である。クライアント装置１０２は、ＬＡＮなどのネットワーク１０３によってサーバ装置１０４に接続されている。また、クライアント装置１０２は、サーバ装置１０４にアップロードした画像を用いて、電子アルバム、フォトブック、ポスターといった商材としてのコンテンツを作成するためのユーザインタフェースをユーザに提供する情報処理装置である。クライアント装置１０２は、サーバ装置１０４で保管された大量の画像をＷｅｂブラウザを通じて、閲覧、取得する。
【００１３】
サーバ装置１０４は、クライアント装置１０２から送信された撮影画像を画像管理データベース１０５に作成された商材を商材管理データベース１０６に保管する情報処理装置である。また、サーバ装置１０４は、商材作成により取得した情報をメタデータとして画像に付加したメタデータ管理データベース１０７に保管する情報処理装置である。また、サーバ装置１０４は、アップロードされた画像を用いて、商材を作成するサービスをクライアント装置１０２に対して提供する。サーバ装置１０４は、予め画像配置枠が定められた商材毎のテンプレートを保持し、ユーザにより指定された画像を画像配置枠にレイアウトすることにより商材を作成する。サーバ装置１０４は、商材作成の情報をもとに自動的にアップロードされた画像に対してメタデータを付加する。また、サーバ装置１０４は、クライアント装置１０２からの要求に応じて、商材の自動作成を行う。商材の自動作成は、メタデータ管理データベース１０７に保管されているメタデータを利用して商材を作成する。なお、図１の構成は一例に過ぎず、これに限定されるものではないではない。例えば、クライアントサーバモデルのシステム構成ではなく、単一の装置により後述する動作が実現されても構わない。
【００１４】
続いて、クライアント装置１０２、サーバ装置１０４のハードウェア構成を図２を用いて説明する。２０１は、コンピュータシステムの制御をつかさどる中央演算装置（以下ＣＰＵと記す）である。ＣＰＵ２０１が、制御プログラムに基づいて、情報の演算や加工、各ハードウェアの制御を実行することにより後述する各機能構成、処理を実現する。２０２は、ランダムアクセスメモリ（以下ＲＡＭと記す）であり、ＣＰＵ２０１の主メモリとして、実行プログラムのロードやプログラムに実行に必要なワークメモリとして機能する。２０３は、ＣＰＵ２０１の動作処理手順を規定する制御プログラムを記録しているリードオンリーメモリー（以下ＲＯＭと記す）である。ＲＯＭ２０３には、コンピュータシステムの機器制御を行うシステムプログラムである基本ソフト（ＯＳ）を記録したプログラムＲＯＭとシステムを稼動するために必要な情報などが記録されたデータＲＯＭがある。ＲＯＭ２０３の代わりに後述のＨＤＤ２０９を用いる場合もある。
【００１５】
２０４は、ネットワークインターフェース（以下ＮＥＴＩＦと記す）であり、ネットワークを介して送受信されるデータの入出力制御を行う。２０５は、ビデオＲＡＭ（以下ＶＲＡＭと記す）であり、表示装置であるディスプレイ２０６の画面に表示される画像を展開する。２０６は、表示装置であって、例えば、ＣＲＴディスプレイや、液晶ディスプレイ等である。２０７は、後述する入力装置２０８からの入力信号を制御するコントローラである。２０８は、ユーザからの操作指示を受け付けるための外部入力装置であり、例えば、キーボード、マウスなどである。２０９は、ハードディスクドライブ（ＨＤＤ）であり、記憶装置である。ＨＤＤ２０９は、アプリケーションプログラムや、画像情報などのデータ保存用に用いられる。２１０は、ＣＤ（ＤＶＤ）−ＲＯＭドライブ、メモリカードドライブ等の外部入出力装置であり、上述したアプリケーションプログラムの媒体からの読み出しなどに用いられる。２１１は、上述した各ユニット間の接続するための入出力バス（アドレスバス、データバス、及び制御バス）である。
【００１６】
次に、サーバ装置１０４の機能構成について図３を用いて説明する。なお、後述するサーバ装置１０４の機能構成を一部がクライアント装置１０２で実現するなど別の装置で実現してもよい。なお、以下に述べる機能構成は、該機能を実現するためのプログラムコードをサーバ装置１０４のＣＰＵ２０１が実行することにより実現される。生成部３０１はクライアント装置１０２へのユーザインタフェースに用いる画面を生成して、クライアント装置１０２に出力する生成部である。生成部３０１は、クライアント装置１０２への表示画面やクライアント装置１０２からの入力を取得するためのｈｔｍｌファイルを生成する。取得部３０２は、クライアント装置１０２からのユーザ操作に基づいた指示を取得する。分割部３０３は、画像管理データベースに保持されているユーザ（クライアント装置１０２）からアップロードされた複数の画像を所定のクラスタ（グループ）に分割する。分割部３０３は、本実施形態において画像データの生成時間（撮影時）等の時間情報や撮影位置等の位置情報を用いて、複数の画像を所定のクラスタに分割する。
【００１７】
解析部３０４は、既に画像がレイアウトされ完成されたコンテンツのレイアウト構成を解析する。解析部３０４は、コンテンツのページ構成、コンテンツ中のどの位置にどの画像がレイアウトされているか、コンテンツに付加された文字情報などのオブジェクトとレイアウトされた画像との対応などのレイアウト情報を解析する。メタデータ生成部は、解析部３０４により解析されたコンテンツのレイアウトに基づいて、画像にメタデータとして付与するための所定の情報を生成する。また、メタデータ生成部はさらに、抽出部３０６、代表画像設定部３０７、レート設定部３０８、位置情報取得部３０９から構成される。抽出部３０６は、解析部３０４が解析したコンテンツのオブジェクトとして付与されている文字情報やクリップアートに対応するキーワードを抽出する。代表画像設定部３０７は、分割部３０３によって分割されたクラスタまたは同一のメタデータが付された画像群から代表画像となる画像を決定する。レート設定部３０８は、解析部３０４により解析されたレイアウトに基づいて、レイアウトされた画像に対して評価であるレートを設定する。位置情報取得部３０９は、解析部３０４により解析された、レイアウトされた画像のレイアウト位置情報を取得する。
【００１８】
判定部３１０は、解析部３０４により解析されたレイアウトとメタデータ生成部３０５により生成されたメタデータに基づいて、該メタデータを付加する対象となる画像を判定する。なお、判定部３１０は、解析部３０４が解析したコンテンツにレイアウトされている画像だけでなく、メタデータを付加する対象となる画像と同じ分割部３０３により分割されたクラスタ内の画像に対してもメタデータを付加する対象画像とする。すなわち、本システムにおいて、コンテンツ作成に使用されていない画像であっても、画像管理データベース１０５に保持されているユーザがアップロードした画像全てがメタデータを付加する対象となり得る。付加部３１１は、メタデータ生成部３０５により生成されたメタデータを判定部３１０により判定された画像に対して付加する。レイアウト部３１２は、付加部３１１が付加したメタデータに基づいて、自動で画像をレイアウトしたコンテンツを作成する。
【００１９】
続いて、以上の構成の図１に示すシステムの動作について説明する。図４は、サーバ装置１０４の本実施形態のメタデータ付加処理における動作を示すフローチャートである。Ｓ４０１において、サーバ装置１０４の生成部３０１は、ユーザからの画像のレイアウト指示を受け付けるための画面を生成し、取得部３０２は生成部３０１が生成した画面に対するユーザのテンプレートに画像のレイアウト指示を取得する。そして、サーバ装置１０４は、ユーザからの指示に基づいて、電子アルバム、フォトブック、ポスター等のコンテンツを作成する。なお、ユーザ（クライアント装置１０２）が画像管理データベースにアップロードした全画像がＳ４０１において作成するコンテンツにレイアウトされる候補画像となる。Ｓ４０１において、ユーザは候補画像からレイアウトする画像を選択し、選択した画像を所望の配置枠に割り付けることを繰り返し、コンテンツのレイアウトを構成する。また、レイアウトした画像を装飾、説明するための文字情報やクリップアート等のオブジェクトを付加情報として更にレイアウトする。Ｓ４０２において、解析部３０４は、Ｓ４０１において作成したコンテンツンのレイアウトを解析する。解析部３０４は、コンテンツのページ構成、コンテンツ中のどの位置にどの画像がレイアウトされているか、コンテンツに付加された文字情報などのオブジェクトとレイアウトされた画像との対応などのレイアウト情報を取得する。
【００２０】
Ｓ４０３において、分割部３０３は、Ｓ４０１においてコンテンツを作成したユーザが画像管理データベース１０５にアップロードした画像全てを所定のクラスタに分割する。ここで、Ｓ４０３の分割処理の一例を図５を用いて説明する。図５は候補画像を時間情報に基づいて、クラスタに分割した結果を示す一例である。分割部３０３は、候補画像の全てを時間情報（撮影時刻）に基づいて、クラスタに分割する（グループ分けを行う）。本実施形態において分割部３０３は、候補画像から所定の撮影間隔以内に撮影された画像群を一つのクラスタとして分割する。
【００２１】
図５（ａ）において５０１〜５０９は候補画像を撮影時間順にソートした夫々の画像の一例である。図５（ｂ）は、画像、撮影時刻、分割部３０３において分割されたクラスタの種別を夫々対応付けた表である。図５（ｂ）において５１０は、画像５０１〜画像５０９それぞれを示す。５１１は、画像５０１〜画像５０９夫々の撮影時刻を示す。５１２は画像５０１〜画像５０９夫々の分割部３０３において分割されたクラスタの種別を示す。分割部３０３は、候補画像の撮影時刻５１１を取得し、夫々の画像に所定の撮影間隔以内に撮影された他の画像が存在するかを判定し、所定の撮影間隔以内に撮影された画像群に対して一つのクラスタ種別を付与する。本実施形態において、所定の撮影間隔とは一時間とする。例えば、図５において、画像５０１の撮影時刻は、「１月１日１０時００分００秒」であり、候補画像のうち画像５０１の次に撮影された画像５０２の撮影時刻は「１月１日１０時００分３０秒」である。したがって、分割部３０３は、画像５０１と画像５０２は所定の撮影間隔以内に撮影された画像であるため、同一のクラスタを付与すると判定する。同様に、分割部３０３は、画像５０２と画像５０３とが所定の撮影間隔以内に撮影された画像であるため、画像５０２と画像５０３とに同一のクラスタを付与すると判定する。したがって、分割部３０３は、画像５０１と画像５０２、画像５０２と画像５０３とが夫々同一のクラスタを付与すると判定したため、画像５０１〜画像５０３に同一のクラスタを付与すると判定する。
【００２２】
一方、分割部３０３は、画像５０３の撮影時刻５１１「１月１日１０時０３分３０秒」と画像５０４の撮影時刻５１１「１月１日１１時１５分３０秒」を比較して、撮影間隔が１時間を超えているため画像５０３と画像５０４を異なるクラスタを付与すると判定する。したがって、分割部３０３を画像５０１〜画像５０３に一つのクラスタを付与することを決定する。同様の処理を全ての候補画像に対して行い、分割部３０３は、画像５０１〜画像５０３を「クラスタ１」、画像５０４を「クラスタ２」、画像５０５、画像５０６を「クラスタ３」、画像５０７、画像５０８を「クラスタ４」に分割する。なお、分割処理を撮影時間（時間情報）に基づいて行う例を示したが、撮影場所（位置情報）やその他の画像の属性を用いて分割処理を行っても構わない。
【００２３】
続いて、Ｓ４０４において、抽出部３０６はコンテンツに画像と共にレイアウトされている文字情報やクリップアートなどのコンテンツ中の全オブジェクトに関する情報をＳ４０２において解析部３０４により解析されたレイアウト情報から取得する。ここで、オブジェクトに関する情報とは、オブジェクトが文字情報であれば文字情報そのもの、クリップアートであればオブジェクトのファイル名やオブジェクトに付されているタグ等の属性情報を取得する。Ｓ４０５からＳ４０９までの処理は、Ｓ４０４において取得したオブジェクト夫々に対して実行される。Ｓ４０５において、サーバ装置１０４はＳ４０４において取得したオブジェクトは例えば、オブジェクトのレイアウトされたコンテンツにおけるページ順等の順で処理対象となるオブジェクトを選択する。
【００２４】
Ｓ４０６において、抽出部３０６は、処理対象となるオブジェクトに関する情報から、メタデータとして画像に付加するキーワードを抽出するに対してＳ４０３でキーワード抽出部３１５を用いてキーワードを取得する。ここで、キーワードは、オブジェクトが文字情報であれば同じ文字列でもよいし、部分的に文字列を抜き出してもよい。クリップアートであれば予め関連付けられた文字列、ファイル名、オブジェクトに付されている属性情報をキーワードとして抽出する。また、抽出部３０６は、オブジェクトに関する情報から取得した文字情報の類似語をキーワードとして取得する構成としても良い。
【００２５】
Ｓ４０７において、判定部３１０は、解析部３０４により解析されたコンテンツのレイアウトに基づいて、抽出部３０６が抽出したキーワードをメタデータとして付加する画像を候補画像から判定する。即ち、判定部３１０は、コンテンツにおいて処理対象としているオブジェクトが装飾、説明の対象となるレイアウトされた画像の範囲を判定する。判定部３１０は、処理対象のキーワードのレイアウトされたページ、大きさ、位置を取得する。そして、また、処理対象のキーワードの大きさと同じ大きさのキーワードが次に出てくるページ数及び処理対象キーワードがレイアウトされたページに他のキーワードが存在するか及び存在する場合はその大きさを取得する。また、処理対象のキーワードと最も距離が近い画像を取得する。即ち、判定部３１０は、コンテンツにレイアウトされた文字情報と画像の相対的な位置関係に応じて、処理対象キーワードに対応するコンテンツ内の画像の範囲を判定する。
【００２６】
ここで、Ｓ４０７における処理を図６を用いて説明を行う。図６の６０１の例では、処理対象のオブジェクト６０５がコンテンツの表紙にレイアウトされている例である。判定部３１０は、６０１において処理対象であるオブジェクト６０５「フランス旅行」がＳ４０２において解析されたレイアウト情報に基づいて、表紙にレイアウトされていることを判断する。即ちオブジェクト６０５「フランス旅行」は、コンテンツのタイトルと認識され、該コンテンツに用いられている画像全てがオブジェクト「フランス旅行」６０５に関連する画像であると考えられる。したがって、判定部３１０は、オブジェクト「フランス旅行」はコンテンツにレイアウトされた全ての画像に有効であると判定する。
【００２７】
さらに、判定部３１０は、コンテンツにレイアウトされた画像のうち、処理対象のオブジェクトの有効範囲とされた画像夫々のＳ４０３において設定されたクラスタ種別を取得する。そして、コンテンツにレイアウトされた画像のうち、処理対象のオブジェクトの有効範囲とされた画像夫々が属するクラスタに分類された他の画像もメタデータとして付加する画像として決定する。判定部３１０は、図６の６０１において、処理対象であるオブジェクト６０５「フランス旅行」は、コンテンツに使用されている画像全てと、コンテンツに使用されている画像が属しているクラスタの他の画像とをメタデータ付加する対象として設定する。
【００２８】
続いて、図６の６０２の例では、処理対象オブジェクト６０６が画像に近い位置にレイアウトされ、また、より大きくサイズによりレイアウトされているオブジェクト６０８が同一ページの左上に存在する。また、次にレイアウトされた画像６１０に近くに処理対象オブジェクト６０６と同様のサイズのオブジェクト６０７が存在する。そのため、処理対象オブジェクト６０６「凱旋門」は、画像６０９をのみを対象とした画像タイトルを示すオブジェクトであると考えられる。したがって、判定部３１０は、オブジェクト６０６「凱旋門」は画像６０９のみに有効であると判定する。さらに、判定部３１０は、画像６０９がＳ４０３において設定されたクラスタ種別を取得し、画像６０９オブジェクト６０６「凱旋門」を画像６０９と画像６０９が属するクラスタに分類された他の画像もメタデータを付加する画像として判定する。
【００２９】
続いて、図６の６０３の例では、処理対象オブジェクト６０８と同一のページに画像６０６により近い位置かつ処理対象オブジェクト６０８より小さいサイズでレイアウトされているオブジェクト６０６が存在する。また、次のページには処理対象オブジェクト６０８と同等もしくはより大きいサイズのオブジェクトは存在せず、画像６１０の近い位置かつ処理対象オブジェクト６０８より小さいサイズでレイアウトされているオブジェクト６０７が存在する。そのため、処理対象オブジェクト６０８は、画像６０９、画像６１０を包含し、見開きページ内の画像６０９、画像６１０を有効範囲とする見開きページのページタイトルであると考えられる。したがって、判定部３１０は、オブジェクト６０８「パリ」は画像６０９、画像６１０に有効であると判定する。さらに、判定部３１０は、画像６０９、画像６１０にＳ４０３において設定されたクラスタ種別を取得し、画像６０９と画像６０９が属するクラスタに分類された他の画像もメタデータを付加する画像として判定する。続いて、図６の６０４の例では、ページタイトルである処理対象オブジェクト６１１が次のページタイトルであるオブジェクト６１２が登場するまでの複数のページにまたがって、レイアウトされた画像を有効範囲とする例を示す。上述の通り、Ｓ４０７において、コンテンツのレイアウトに基づいて、メタデータを付加する画像を設定する。また、本実施形態においてコンテンツにレイアウトされていない画像もメタデータの付加対象として設定することが可能となる。なお、クラスタを時系列に並べた際に、付加対象に設定された画像が属する複数のクラスタ間に位置するクラスタにメタデータを付加するクラスタとして設定していないクラスタに分割された画像をさらに、メタデータ付加対象として設定しても構わない。このように構成することでより多くの画像にメタデータを付加することも可能であり、ユーザのメタデータを画像に付加する手間を簡略化することができる。
【００３０】
図４に戻り、続くＳ４０８において、サーバ装置１０４は画像管理データベースから、Ｓ４０７においてメタデータ付加対象画像として設定された画像の全てを取得する。Ｓ４０８において、付加部３１１は、Ｓ４０７において取得した画像全てに、Ｓ４０６において取得したキーワードをメタデータとして付加する。付加部３１１において付加したメタデータは、メタデータ管理データベース１０７において管理される。図７は、クラスタ分割された画像に対してキーワードが付加された結果を示した一例である。７０１はレイアウトされた画像を含むクラスタに画像タイトルとしてキーワードを付加したもので、７０２はページのオブジェクト有効範囲内で最も古いものと、新しいものを含むクラスタの間に位置する画像に対してもキーワードを付加したものである。Ｓ４１０において、サーバ装置１０４は、Ｓ４０４において取得した全オブジェクトについてＳ４０５〜Ｓ４０９までの処理が終わったかを判断する。全オブジェクトについて処理が終わっていないのであれば、Ｓ４０５に戻り、次のオブジェクトを処理対処として設定し、Ｓ４０５からの処理を再び実行する。全オブジェクトについて処理が終わっていれば、処理を終了する。
【００３１】
なお、判定部３１０の判定結果としてとして取得する有効範囲をキーワードと対応づけて付加情報として付加する構成としても良い。例えば、有効範囲がアルバム全体である場合は、「アルバムタイトル」、ページ内である場合は「ページタイトル」、所定の画像のみに関連する場合の「画像タイトル」等のタイトル情報を付加情報として付加する。
【００３２】
以上説明したように本実施形態によれば、作成されたコンテンツのレイアウトに基づいて、複数の画像に効率的にユーザの意図を反映させたメタデータを付加することができる。また、作成されたコンテンツから付加するメタデータを自動で抽出することができる。また、作成されたコンテンツのオブジェクトと画像のレイアウトに基づいて、ユーザがコンテンツ作成した際に利用したキーワードをメタデータとしてユーザの意図した画像に適切に付加することができる。また、複数の画像をクラスタに分割し、同じクラスタの他の画像に対しても同じメタデータを付加するので、コンテンツの作成に利用していない画像に対してもメタデータを付加することができる。したがって、複数の画像に効率的にメタデータを付加することができる。
【００３３】
＜実施形態２＞
本実施形態２では、作成したコンテンツのレイアウト情報を使用して、同一のメタデータを付す画像群からさらに代表画像を示すメタデータを付加する。図８は、本実施形態における代表画像の設定処理を示すフローチャートである。なお、図８に示す代表画像の設定処理は、図４に示す処理が終了した後に実行されるものとする。
【００３４】
Ｓ８０１において、代表画像設定部３０７は、メタデータ管理データベース１０７にアクセスし、図４に示す処理により付加されたメタデータのうち同一のメタデータ付されている全ての画像を取得する。なお、処理対象となるメタデータが複数ある場合は処理対象とする一つのメタデータを任意に設定し、設定されたメタデータが付加されたる全ての画像を取得する。Ｓ８０２において、代表画像設定部３０７は取得した全て画像の中から商材管理データベース１０６が管理している作成済みのコンテンツにレイアウトされている画像を判定する。Ｓ８０３において、代表画像設定部３０７は、作成済みのコンテンツにレイアウトされた画像が複数存在するかどうかを判断する。複数存在する場合はＳ８０４、複数存在しない場合はＳ８０５に夫々処理を進める。Ｓ８０３において、レイアウトに使用された画像が複数存在しない場合は、レイアウトに使用された画像を処理対象としているメタデータにおける代表画像として決定する。そして、付加部３１１は該画像に処理対象のメタデータに対する代表画像である旨を示すメタデータを付加する。コンテンツに使用されているということは、他の画像と比べて、ユーザが気に入っている画像であると考えられるためである。
【００３５】
Ｓ８０４において、代表画像設定部３０７は、複数の画像から夫々の画像がどのようにコンテンツにレイアウトされたかに基づいて、代表画像としてふさわしい画像を選択する。代表画像の選択方法としては、一番大きいサイズの画像配置枠にレイアウトされた画像を選択するとする。なお、例えばページの一番左上のような、コンテンツにおける所定の画像配置枠にレイアウトされた画像を選択してもよい。Ｓ８０５において、代表画像設定部３０７は、Ｓ８０４において選択した画像を代表画像に設定する。図９は同一メタデータが付された画像のうち、レイアウトに使用された画像が複数存在した場合における代表画像の選択を示した一例である。９０２は、一番大きいレイアウト枠にレイアウトされた画像９０４を選択したものである。一番大きいレイアウト枠にレイアウトするということは、ユーザが他の画像と比べて、気に入っている画像であると考えられるためである。９０１は、コンテンツにおける所定の画像配置枠にレイアウトされた画像を代表画像として選択する例である。９０１においてが画像配置枠を順番に並べて最初のレイアウト枠にレイアウトされた画像９０３を選択したものである。なお、所定の画像配置枠として位置だけでなく、例えば特別な装飾を施してある画像配置枠等を設定してよい。Ｓ８０５において、付加部３１１はＳ８０４において選択された画像に処理対象のメタデータに対する代表画像である旨を示すメタデータを付加する。Ｓ８０６において、サーバ装置１０４は、全メタデータについてＳ８０１からの処理が行われたかを判断する。全メタデータについて処理が行われていないのであれば、Ｓ８０１に戻り、次の処理対象となるメタデータを設定し以降の処理を繰り返す。全メタデータについて処理が行われているのであれば、処理を終了する。
【００３６】
以上説明したように本実施形態によれば、作成されたコンテンツの情報を利用して、同一のメタデータを付加した画像に対して、ユーザにとって重要度が高いと思わる画像を示すメタデータを更に付加することができる。
【００３７】
＜実施形態３＞
本実施形態３では、画像のレイアウト情報に基づいて、画像がユーザの好みに合うかどうかの評価であるレート情報をメタデータとして付加する。また、画像のレイアウト情報そのものをメタデータとして付加する。図１０は、本実施形態におけるレート情報付加処理及びレイアウト情報付加処理を示すフローチャートである。Ｓ１００１において、解析部３０４は、コンテンツを解析し、レイアウトされた画像が画像配置枠に対してどのような位置でレイアウトされかを示すレイアウト位置を取得する。ここで、レイアウト位置とは、画像配置枠の中心位置が画像のどの座標に位置するかを表す中心座標の情報とする。レイアウト位置を示す図を図１１に示す。図１１の１１０１において、画像１１０２を画像配置枠１１０３に配置する際、画像１１０２と画像配置枠１１０３のアスペクト比が異なるため、画像１１０２のどの部分を画像配置枠１１０３上に表示するかの位置合わせが必要となる。位置合わせを行った際の画像配置枠の中心座標１１０４の画像１１０２における座標がレイアウト位置である。レイアウト位置は画像１１０２において画像配置枠１１０３において実際に表示される領域を示すので画像１１０２の重要領域を示す情報である。１１０５は、レイアウト位置を利用して、別の画像配置枠に画像１１０２を配置した例である。レイアウト位置は、画像１１０２のレイアウトされた実際に表示される重要領域の中心を示す。したがって、レイアウト位置を用いれば他の画像配置枠でも、ユーザが実際に表示させたい重要領域と考えられる画像上の領域を表示するように画像を自動で配置することに用いることができる。なお、レイアウト位置情報は中心座標に限らず、レイアウト枠の四隅に対する画像の座標としてもよく、拡大や縮小の倍率などの補正情報を持ってもよい。
【００３８】
図１０に戻り、Ｓ１００２において付加部３１１はレイアウト位置情報をメタデータとして解析した画像に対して付加する。続けて、レート設定部３０８は、Ｓ１００３からＳ１００７までの処理で画像の評価をレートとして算出し、算出した画像レートをメタデータとして付加する。Ｓ１００３は解析した画像がレイアウトされた画像配置枠がコンテンツの全画像配置枠の平均サイズより大きいかどうかを判定し、大きいものはＳ１００５で加点を行う。また、平均サイズではなく見開きページの４分の１のサイズ等任意のサイズより大きいかどうかなどの方法で判断してもよい。Ｓ１００５は、所定の画像配置枠として設定されている画像配置枠に配置された画像かを判定し、所定の画像配置枠に配置された画像であればＳ１００６において加点を行う。所定の画像配置枠としては、ページ上の左上などの位置か特別な装飾を施してある画像配置枠等を設定する。以上によって算出された画像レートをＳ１００７でメタデータとして付加する。
【００３９】
なお、既に作成されたコンテンツのレイアウトを解析して、レート設定する場合に説明を行ったが、図４のＳ４０１のコンテンツ作成時のユーザのレイアウト操作に基づいて、レート設定を行っても構わない。例えば、画像をテンプレートに配置した順番に基づいて、レート設定を行っても構わない。また、レイアウトに使用されていない画像もレート設定する対象としても構わない。図１２の１２０１は、Ｓ１００４における加点の例を示す図である。１２０２は、コンテンツ作成時のユーザのレイアウト操作に基づいて、始めにレイアウトされた画像に対して加点を行う例を示す図である。
【００４０】
本実施形態によれば、コンテンツの画像のレイアウトに基づいて、画像が配置されたレイアウト位置をメタデータとして付加することができる。したがって、この付加されたメタデータに基づいて、位置合わせを必要なしに、他の画像配置枠に画像を配置することができる。したがって、ユーザの手間を簡略化することが可能となる。また、コンテンツの画像のレイアウトに基づいて、画像を評価し、レートとして設定することが可能となる。
【００４１】
＜実施形態４＞
本実施形態４は、実施形態１〜３により付加した画像のメタデータを利用する一例を示す。図１３は画像のメタデータを利用する一例を説明するための図である。図１３は、実施形態１〜３により付加した画像のメタデータに基づいて、ユーザにコンテンツ作成に使用する画像を検索させるため生成部３０１が作成する画面遷移を示す。１３０１は画像に付加されたメタデータから、アルバムタイトルのキーワードとその代表画像の一覧を表示した様子であり、ユーザは目的のアルバムタイトルを選択する。ここで、サーバ装置１０４は、画像管理データベース１０５及びメタデータ管理データベース１０７から画像及び該画像に付加されたメタデータを取得する。サーバ装置１０４は、取得したメタデータから画像に付されたレイアウトされたコンテンツの「アルバムタイトル」、「ページタイトル」、「画像タイトル」を取得する。また、サーバ装置１０４は、画像に「代表画像」を示すメタデータが付されているかを検出する。また、「代表画像」に対応する「アルバムタイトル」、「ページタイトル」、「画像タイトル」を対応づけて検出する。生成部３０１は、これらの情報に基づいて、画面１３０１を生成する。
【００４２】
また、クライアント装置１０２は、生成部３０１が生成した画面を取得し、表示部であるディスプレイ２０６に表示する。クライアント装置１０２は入力装置２０８を介した代表画像のユーザ指定に基づいて、アルバムタイトルの指定を受付ける。クライアント装置１０２は、該指定に基づいた選択をサーバ装置１０４に送信する。サーバ装置１０４の取得部３０２は、ユーザ指定を受信し、サーバ装置１０４は該ユーザ指定に基づいてアルバムタイトルを選択する。ここで、「フランス旅行」が選択されたとする。生成部３０１はレスポンスとして、画面１３０２を生成し、クライアント装置１０２画面１３０２を表示する。画面１３０２は選択されたアルバムタイトルを持つ画像の中からページタイトルとして付加されたキーワードと代表画像を検出して一覧表示した様子である。同様に、ユーザはさらに目的のページタイトルを選択する。ここで、「パリ」が選択されたとする。１３０３は選択されたページタイトルを持つ画像の中から画像タイトルとして付加されたキーワードと代表画像を検出して一覧表示した様子であり、ユーザはさらに目的の画像タイトルを選択する。ここで、「凱旋門」が選択されたとする。サーバ装置１０４は、選択された画像タイトルを持つ画像を検索し、検索した画像の一覧を画面１３０４として生成し、クライアント装置１０２に表示させる表示制御を行う。また、クライアント装置１０２は画面１３０４を表示部に表示させる制御を行い、該画面をユーザに提示する。
【００４３】
このように、本実施例は、複数の画像に付された各アルバムタイトルにおける代表画像検出し、検出した代表画像を見本として一覧表示し、各アルバムタイトルの何れかをユーザ指定に基づいて選択する第１の選択を有する。また、第１の選択により選択されたアルバムタイトルが付されている画像に付加情報として付されているページタイトルの各代表画像検出し、一覧表示する。そして、各ページタイトルをユーザ指定に基づいて、選択する第２の選択を有する、また、第２の選択されたページタイトルが付されている画像に付加情報として付されている画像タイトルを選択する第３の選択を有する。また、第３の選択により選択された画像タイトルが付されている画像を検索する。また、代表画像を示す付加情報が付された画像を表示部に表示させ、ユーザは代表画像に基づいて指定を行えるので選びやすい効果を得られる。このように、画像に付された付加情報に基づいて、画像を検索することが可能となり、過去のコンテンツ作成により付加された付加情報により画像選択作業のユーザ負荷が低減される。
【００４４】
また、実施形態１〜３により付加した画像のメタデータを利用する他の一例として、図１４では、大量に保管されている画像の中からコンテンツをサーバ装置１０４が自動作成する例を示す。１４０１はキーワードとして「小学校」が含まれる画像を取得した結果を表し、１４０２では、これらの画像の中から各アルバムに数枚ずつレートが高い画像を取得する。１４０３では前述した図１１で表されるようにレイアウト位置情報を使用してレイアウトする。
【００４５】
このように、実施形態１〜３により付加したメタデータにより、所望の画像の選択に利用することができる。つまり、ユーザは二度目以降のコンテンツの作成作業の負荷を以前のコンテンツの作成作業により付加されたメタデータに基づいて低減することが可能となる。
【００４６】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４７】
１０１  カメラ
１０２  クライアント装置
１０３  ネットワーク
１０４  サーバ装置
１０５  画像管理データベース
１０６  商材管理データベース
１０７  メタデータ管理データベース
【図１】
2013054658.tif 000003
【図２】
2013054658.tif 000004
【図３】
2013054658.tif 000005
【図４】
2013054658.tif 000006
【図５】
2013054658.tif 000007
【図６】
2013054658.tif 000008
【図７】
2013054658.tif 000009
【図８】
2013054658.tif 000010
【図９】
2013054658.tif 000011
【図１０】
2013054658.tif 000012
【図１１】
2013054658.tif 000013
【図１２】
2013054658.tif 000014
【図１３】
2013054658.tif 000015
【図１４】
2013054658.tif 000016