(57)【要約】【課題】フォトブックに適した画像を自動的に選択・配置し、フォトブック注文時のユーザの手間を軽減する。【解決手段】本発明の実施形態に係るフォトブック編集装置１は、ユーザ端末７から複数のユーザ画像を受信する受信部１１と、ユーザ端末７から入力された単語又は文章からキーワードを抽出するキーワード抽出部１３と、前記複数のユーザ画像を画像解析装置４へ送信し、画像解析装置４が前記ユーザ画像毎に含まれているものを解析した解析結果を取得する画像解析結果取得部１４と、前記キーワードとユーザ画像毎の前記解析結果とを比較し、比較結果に基づいて、ユーザ端末７から入力された単語又は文章に対応するユーザ画像を選択する画像選択部１５と、画像選択部１５により選択されたユーザ画像を、フォトブック編集画面の画像挿入領域Ｒに挿入する編集処理部１２と、を備える。【選択図】図１
2019135607.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末から複数のユーザ画像を受信する受信部と、
前記ユーザ端末から入力された単語又は文章からキーワードを抽出するキーワード抽出部と、
前記複数のユーザ画像を画像解析装置へ送信し、前記画像解析装置が前記ユーザ画像毎に含まれているものを解析した解析結果を取得する画像解析結果取得部と、
前記キーワードとユーザ画像毎の前記解析結果とを比較し、比較結果に基づいて、前記ユーザ端末から入力された単語又は文章に対応するユーザ画像を選択する画像選択部と、
前記画像選択部により選択されたユーザ画像を、フォトブック編集画面の画像挿入領域に挿入する編集処理部と、
を備えるフォトブック編集装置。
【請求項２】
前記解析結果は、前記ユーザ画像に含まれるものを示すラベルと、このラベルの信頼度を示すスコアとを含み、
前記画像選択部は、ユーザ画像毎に、前記キーワードを含むラベルのスコアを加算し、スコア合計値に基づいてユーザ画像を選択することを特徴とする請求項１に記載のフォトブック編集装置。
【請求項３】
複数の画像を記憶する記憶部をさらに備え、
前記画像選択部は、スコア合計値が所定値以上のユーザ画像が無い場合、前記記憶部内の複数の画像から、前記キーワードに対応する画像を選択し、
前記編集処理部は、前記画像選択部により選択された画像を、フォトブック編集画面の画像挿入領域に挿入することを特徴とする請求項２に記載のフォトブック編集装置。
【請求項４】
前記ユーザ端末から入力された単語又は文章に日付が含まれている場合、前記画像選択部は、前記キーワードと、撮影日が前記日付と一致するユーザ画像の解析結果とを比較することを特徴とする請求項１乃至３のいずれか１項に記載のフォトブック編集装置。
【請求項５】
ユーザ端末から複数のユーザ画像を受信する工程と、
前記ユーザ端末から入力された単語又は文章からキーワードを抽出する工程と、
前記複数のユーザ画像を画像解析装置へ送信する工程と、
前記画像解析装置から、前記画像解析装置が前記ユーザ画像毎に含まれているものを解析した解析結果を取得する工程と、
前記キーワードとユーザ画像毎の前記解析結果とを比較し、比較結果に基づいて、前記ユーザ端末から入力された単語又は文章に対応するユーザ画像を選択する工程と、
選択したユーザ画像をフォトブック編集画面の画像挿入領域に挿入し、前記フォトブック編集画面を前記ユーザ端末へ送信する工程と、
を備えるフォトブック編集方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォトブック編集装置及びフォトブック編集方法に関する。
【背景技術】
【０００２】
デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を作製するサービスが知られている（例えば特許文献１参照）。
【０００３】
フォトブックの注文に際し、まずユーザは商品を選択し、フォトブックのサイズやページ数等を決定する。次に、ユーザ端末内に保存されている画像のうち、フォトブックに使用する画像候補をアップロードする。続いて、編集画面を操作し、アップロードした画像候補の中から好みの画像を選択して配置する。
【０００４】
画像候補が多数ある場合、フォトブックに適した画像の選択に手間がかかっていた。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３３９２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、フォトブックに適した画像を選択・配置するフォトブック編集装置及びフォトブック編集方法を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明によるフォトブック編集装置は、ユーザ端末から複数のユーザ画像を受信する受信部と、前記ユーザ端末から入力された単語又は文章からキーワードを抽出するキーワード抽出部と、前記複数のユーザ画像を画像解析装置へ送信し、前記画像解析装置が前記ユーザ画像毎に含まれているものを解析した解析結果を取得する画像解析結果取得部と、前記キーワードとユーザ画像毎の前記解析結果とを比較し、比較結果に基づいて、前記ユーザ端末から入力された単語又は文章に対応するユーザ画像を選択する画像選択部と、前記画像選択部により選択されたユーザ画像を、フォトブック編集画面の画像挿入領域に挿入する編集処理部と、を備えるものである。
【０００８】
本発明の一態様では、前記解析結果は、前記ユーザ画像に含まれるものを示すラベルと、このラベルの信頼度を示すスコアとを含み、前記画像選択部は、ユーザ画像毎に、前記キーワードを含むラベルのスコアを加算し、スコア合計値に基づいてユーザ画像を選択する。
【０００９】
本発明の一態様では、複数の画像を記憶する記憶部をさらに備え、前記画像選択部は、スコア合計値が所定値以上のユーザ画像が無い場合、前記記憶部内の複数の画像から、前記キーワードに対応する画像を選択し、前記編集処理部は、前記画像選択部により選択された画像を、フォトブック編集画面の画像挿入領域に挿入する。
【００１０】
本発明の一態様では、前記ユーザ端末から入力された単語又は文章に日付が含まれている場合、前記画像選択部は、前記キーワードと、撮影日が前記日付と一致するユーザ画像の解析結果とを比較する。
【００１１】
本発明によるフォトブック編集方法は、ユーザ端末から複数のユーザ画像を受信する工程と、前記ユーザ端末から入力された単語又は文章からキーワードを抽出する工程と、前記複数のユーザ画像を画像解析装置へ送信する工程と、前記画像解析装置から、前記画像解析装置が前記ユーザ画像毎に含まれているものを解析した解析結果を取得する工程と、前記キーワードとユーザ画像毎の前記解析結果とを比較し、比較結果に基づいて、前記ユーザ端末から入力された単語又は文章に対応するユーザ画像を選択する工程と、選択したユーザ画像をフォトブック編集画面の画像挿入領域に挿入し、前記フォトブック編集画面を前記ユーザ端末へ送信する工程と、を備えるものである。
【発明の効果】
【００１２】
本発明によれば、フォトブックに適した画像を自動的に選択・配置するため、フォトブック注文時のユーザの手間を軽減できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係るフォトブック作製システムの概略構成図である。
【図２】フォトブック編集画面の例を示す図である。
【図３】フォトブック編集画面の例を示す図である。
【図４】フォトブック編集画面の例を示す図である。
【図５】フォトブック編集画面の例を示す図である。
【図６】同実施形態に係るフォトブック編集装置の概略構成図である。
【図７】画像解析結果の例を示す図である。
【図８】キーワードと画像解析結果との照合例を示す図である。
【図９】同実施形態に係るフォトブック作製方法を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１５】
図１に示すように、本発明の実施形態に係るフォトブック作製システムは、フォトブック編集装置１及び画像解析装置４を備える。フォトブック編集装置１は、インターネット等の通信ネットワークを介して、画像解析装置４及びユーザ端末７と通信可能となっている。
【００１６】
ユーザ端末７は、ＰＣ、スマートフォン、タブレット端末等である。ユーザ端末７は、例えば、ユーザがデジタルカメラやスマートフォン等で撮影したユーザ画像をフォトブック編集装置１にアップロードし、ユーザ画像を用いたフォトブックの注文を行う。
【００１７】
フォトブック編集装置１は、ユーザ端末７と通信を行い、編集画面をユーザ端末７へ送信し、編集操作を受け付けたり、フォトブックの注文を受け付けたりするウェブサーバ１Ａ、アップロードされたユーザ画像からフォトブックに適した画像を選択するアプリケーションサーバ１Ｂ、及びアップロードされたユーザ画像を保存するデータベースサーバ１Ｃを有する。
【００１８】
例えば、ユーザがフォトブックの商品（装丁、ページ数、レイアウト）を選択すると、フォトブック編集装置１は編集画面を作成し、ユーザ端末７へ送信する。
【００１９】
例えば、図２に示す編集画面のアップロードボタンＢを押すと、ユーザ端末７内のユーザ画像がアップロードできるようになる。ユーザ端末７からアップロードされた画像Ｐ１〜Ｐ３は、画像候補表示領域Ｃに表示される。編集画面のプレビュー領域Ｖには、フォトブックのページ毎に画像挿入領域Ｒ及びストーリー入力領域ＳＴが設けられている。図２に示す例では１ページに１枚の画像が挿入されるが、１ページあたりの画像数は選択したレイアウトによって変わる。
【００２０】
多くのユーザは、「夏休みの旅行」「運動会」など、テーマを持ってフォトブックを注文するため、大まかな流れ（ストーリー）をイメージしている。本実施形態に係るフォトブック編集装置１は、ストーリーに合った画像を自動的に選択する。
【００２１】
ユーザは、ストーリー入力領域ＳＴにストーリーを入力する。フォトブック編集装置１は、アップロードされたユーザ画像を画像解析装置４へ送信し、各ユーザ画像の解析結果を取得する。フォトブック編集装置１は、ユーザから入力されたストーリーと、画像解析結果とを比較し、最もストーリーに合った画像を選択する。画像選択方法の詳細については後述する。
【００２２】
例えば、図３に示すように、プレビュー領域Ｖの左側のページのストーリー入力領域ＳＴ１に「８／８は万座のビーチに行きました。海がとてもきれいでした。」と入力した場合、フォトブック編集装置１は、図４に示すように、アップロードされたユーザ画像の中から画像Ｐ１を選択し、画像挿入領域Ｒ１に挿入・配置する。
【００２３】
また、例えば、図５に示すように、プレビュー領域Ｖの右側のページのストーリー入力領域ＳＴ２に「その後、守礼門を見に行きました。」と入力した場合、フォトブック編集装置１は、アップロードされたユーザ画像の中から守礼門が写った画像Ｐ３を選択し、画像挿入領域Ｒ２に挿入・配置する。
【００２４】
ユーザは編集画面を操作し、自動配置された画像に、好みのフレームやスタンプ等の編集アイテムを合成する編集操作を行う。編集後、ユーザは、発注するフォトブックの冊数を選択し、料金の支払い方法を選択し、注文を完了する。
【００２５】
フォトブック編集装置１は、ユーザ（ユーザ端末７）から注文を受け付けると、プリント用画像データ及び注文内容を含むプリントデータを工場５へ送信する。
【００２６】
工場５に設置されたプリンタ（図示略）は、受信したプリントデータに基づいて印画処理を行い、フォトブック６を作製する。工場５で作製されたフォトブック６は、ユーザへ配送される。
【００２７】
このように、本実施形態によれば、ユーザが入力したストーリーに合った画像を自動で選択・配置する。ユーザは、多数の候補画像の中から画像を選択する必要がないため、フォトブックの注文を簡便に行うことができる。
【００２８】
次に、フォトブック編集装置１の構成について説明する。フォトブック編集装置１は、ユーザ端末７からユーザ画像を受信し、編集画面を生成してユーザ端末７へ送信し、ユーザ端末７から入力されたストーリーに合った画像を自動的に選択・配置し、フォトブックのプリント注文を受け付ける。
【００２９】
図６に示すように、フォトブック編集装置１は、制御部１０、記憶部２０、及び通信部３０を備える。制御部１０は、サーバ装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを読み出して実行することにより、各種機能を実現する。
【００３０】
図１には、フォトブック編集装置１が、ウェブサーバ１Ａ、アプリケーションサーバ１Ｂ、データベースサーバ１Ｃ等の複数のサーバを有する構成を示しているが、図６では説明の便宜上、サーバの区分は示さず、フォトブック編集装置１全体としての機能を説明する。
【００３１】
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラムやデータ等を記憶するための記憶領域であり、ハードディスクや半導体メモリ等が用いられる。記憶部２０は、テンプレートＤＢ（データベース）２１、ユーザ画像ＤＢ２２、解析結果ＤＢ２３、プリントデータＤＢ２４、及び注文情報ＤＢ２５を有する。
【００３２】
テンプレートＤＢ２１は、テンプレートを記憶する記憶領域である。テンプレートは、ユーザ画像と合成される画像であり、ユーザ画像の配置位置を指定するボックスや、スタンプ、背景画像等の編集アイテムを含む。
【００３３】
制御部１０は、ユーザ画像受信部１１、編集処理部１２、キーワード抽出部１３、画像解析結果取得部１４、画像選択部１５、及び注文処理部１６の機能を有する。
【００３４】
ユーザ画像受信部１１は、通信部３０を用いて、ユーザ端末７からユーザ画像のデータを受信し、ユーザ画像データをユーザ画像ＤＢ２２に格納する。制御部１０は、ユーザ画像受信部１１が受信したユーザ画像の解像度やデータサイズから、フォトブックに適した画像か否かを判定し、判定結果をユーザ端末７に通知してもよい。
【００３５】
編集処理部１２は、ストーリーを入力したり、後述する処理により選択・配置された画像に対しスタンプ等を配置したりする等の操作が可能な編集画面を生成し、通信部３０を介して編集画面をユーザ端末７へ送信する。
【００３６】
キーワード抽出部１３は、編集画面のストーリー入力領域ＳＴに入力されたストーリーからキーワードを抽出する。キーワード抽出部１３は、自然言語処理・構文解析により、ストーリーを単語に分割する。例えば、「８／８は万座のビーチに行きました。海がとてもきれいでした。」というストーリーは、『８／８』『は』『万座』『の』『ビーチ』『に』『行きました』『。』『海』『が』『とても』『きれい』『でした』『。』のように分割される。
【００３７】
後述する画像解析結果と照合するために、助詞等の画像に対する意味を持たない不要なものは削除し、キーワードを抽出する。また、日付に関する文言は、画像の絞り込みに使用する。
【００３８】
画像解析結果取得部１４は、ユーザ端末７からアップロードされたユーザ画像を画像解析装置４へ送信し、各ユーザ画像の解析結果を取得する。解析結果は、解析結果ＤＢ２３に格納される。画像解析装置４は、ユーザ画像に対して画像コンテンツ解析を実行し、解析結果を返す。解析結果は、画像に写っているもの（含まれるもの）を示すラベルと、その信頼度スコア（以下、スコアと記載する）とを含む。例えば、画像Ｐ１の解析結果は図７に示すようなものとなる。
【００３９】
画像選択部１５は、ストーリーから抽出したキーワードと、画像解析装置４による解析結果とを比較・照合し、画像毎に、キーワードに一致するラベルのスコアを合計する。画像選択部１５は、合計スコアの最も高い画像を、そのストーリーに合う画像として選択する。編集処理部１２が、選択された画像を編集画面の画像挿入領域Ｒに挿入・配置する。
【００４０】
ストーリーに日付が含まれる場合、画像選択部１５は、ユーザ画像のＥＸＩＦデータを参照し、ストーリーに含まれる日付と撮影日が一致する画像を予め絞り込む。例えば、「８／８は万座のビーチに行きました。海がとてもきれいでした。」というストーリーの場合、撮影日が８月８日である画像を絞り込む。そして、図８に示すように、ストーリーから抽出した単語のうち、日付や助詞等を除いた『万座』『ビーチ』『行きました』『海』『とても』『きれい』『でした』というキーワードと、画像の解析結果とを比較し、キーワードと一致する解析結果のラベルのスコアを加算する。キーワードと完全一致する解析結果だけでなく、キーワードを含む解析結果のラベルのスコアを加算してもよい。画像毎のスコアの合計値を、ストーリーとの一致度とみなす。図８に示す例では、画像Ｐ１が最も合計スコアが高くなり、ストーリーに合う画像として選択される。
【００４１】
各ページのストーリーに合う画像を選択し、選択した画像に対するユーザの編集処理が終了すると、編集処理部１２は、プリント用画像を生成する。生成されたプリント用画像のデータを含む、フォトブック作製用のプリントデータが、プリントデータＤＢ２４に格納される。
【００４２】
注文処理部１６は、ユーザ端末７から、フォトブックの商品（装丁、ページ数、レイアウト）や、プリント冊数等の注文を受け付ける。必要に応じて、決済部（図示略）が決済処理を行い、プリント注文が完了する。
【００４３】
プリント注文が完了すると、注文処理部１６は、プリント注文の注文番号と、プリント注文されたフォトブックに含まれるプリント用画像の画像識別番号とを組み合わせた情報を、注文情報ＤＢ２５に格納する。注文処理部１６は、プリント注文を行ったユーザの連絡先等を含む注文者情報を生成し、注文情報ＤＢ２４に格納してもよい。
【００４４】
次に、本実施形態に係るフォトブック作製方法を図９に示すフローチャートを用いて説明する。
【００４５】
ユーザがフォトブックの仕様を選択し、ユーザ端末７内のユーザ画像をアップロードする（ステップＳ１）。ここでアップロードする画像は、フォトブックに使用する候補画像であり、例えば、夏休みの旅行についてのフォトブックの作製を行うユーザは、旅行中に撮影した全ての画像をアップロードする。
【００４６】
ユーザが、ユーザ端末７を使用して、編集画面のストーリー入力領域ＳＴにストーリーを入力する（ステップＳ２）。
【００４７】
フォトブック編集装置１が、入力されたストーリーからキーワードを抽出する（ステップＳ３）。また、フォトブック編集装置１は、ユーザ端末７からアップロードされたユーザ画像を画像解析装置４へ送信し、画像毎の解析結果を取得する（ステップＳ４）。
【００４８】
フォトブック編集装置１が、ステップＳ３で抽出したキーワードと、各画像の解析結果とを照合し、キーワードと一致する（キーワードを含む）解析結果のラベルのスコアを合計する（ステップＳ５）。フォトブック編集装置１は、合計スコアの最も高い画像を選択し、編集画面の画像挿入領域Ｒに配置する（ステップＳ６）。
【００４９】
ユーザは、編集画面を操作し、画像挿入領域Ｒに配置された画像に編集アイテムを合成する等の編集処理を行う（ステップＳ７）。また、画像挿入領域Ｒに配置された画像をユーザ自身で変更することも可能である。編集後、フォトブックのプリント冊数を入力し、支払い方法を選択し、決済処理を行う（ステップＳ８）。
【００５０】
フォトブック編集装置１が、フォトブックのプリント用画像を含むプリントデータを工場５へ転送する（ステップＳ９）。工場５では、プリント用画像を用紙にプリントし、製本して、フォトブックを作製する（ステップＳ１０）。
【００５１】
このように、本実施形態によれば、ユーザがストーリーを入力すると、そのストーリーに合う画像を自動選択するため、フォトブック注文時のユーザの手間を軽減できる。
【００５２】
上記実施形態において、ストーリー入力領域ＳＴに入力されたストーリーは、用紙にプリントするか否か切り替えられるようになっていてもよい。編集画面に、画像選択用のストーリー入力領域と、プリントされるストーリー入力領域とが設けられていてもよい。ストーリー入力領域ＳＴに入力されるテキストデータは、ストーリー（文章）でなく、１以上の単語であってもよい。
【００５３】
ユーザによって入力する言葉に差異があり（例えば、“サーバ”と“サーバー”、“ズボン”と“パンツ”など）、画像解析結果のラベルと一致しないことがあり得る。そのため、ストーリーから抽出したキーワードを英訳（又はストーリーを英訳してからキーワードを抽出）し、英語を再度日本語に翻訳してから画像解析結果と照合してもよい。また、キーワードを英訳（又はストーリーを英訳してからキーワードを抽出）し、画像解析結果と英語同士で照合してもよい。また、辞書型コーパスを用いて類義語を抽出し、類義語と画像解析結果とを照合してもよい。
【００５４】
上記実施形態では、合計スコアの最も高い画像を選択する例について説明したが、１ページにｎ枚（ｎは２以上の整数）の画像を配置する場合は、合計スコアの高い方から順にｎ番目までの画像を選択して配置する。また、合計スコアが所定値未満の画像を選択する必要が生じた場合は、アップロードされたユーザ画像の代わりに、フォトブック編集装置１の記憶部２０に予め準備してある一般的な画像やイラスト（挿絵）の中から、キーワードに合うものを選択して配置してもよい。
【００５５】
キーワードに地名が含まれている場合、ユーザ画像のＥＸＩＦデータに登録されているＧＰＳ情報に基づいて、地名と一致するユーザ画像を絞り込み、絞り込んだ画像について、キーワードと画像解析結果とを照合してもよい。
【００５６】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５７】
１  フォトブック編集装置
４  画像解析装置
７  ユーザ端末
【図１】
2019135607.tif 000003
【図２】
2019135607.tif 000004
【図３】
2019135607.tif 000005
【図４】
2019135607.tif 000006
【図５】
2019135607.tif 000007
【図６】
2019135607.tif 000008
【図７】
2019135607.tif 000009
【図８】
2019135607.tif 000010
【図９】
2019135607.tif 000011