(57)【要約】      （修正有）【課題】タッチパネル搭載のスマートスピーカを使用し、音声操作とタッチパネル操作とを組み合わせてフォトブックの編集や注文を行うことができるシステム及びサーバ装置を提供する。。【解決手段】フォトブック作製システムは、サーバ装置１と、音声出力部、ユーザの発話の集音を行う集音部及びタッチパネルを有するスマートスピーカ２と、を備える。サーバ装置は、スマートスピーカを介して入力されたユーザの音声を理解し、スマートスピーカを介して応答文を出力する対話処理部と、ユーザ音声がフォトブック作製指示である場合に、ユーザ端末から受信した画像を用いてフォトブックデータを生成し、フォトブックデータのプレビュー画面をスマートスピーカへ送信するフォトブック編集部と、を有する。該編集部は、ユーザの音声指示又はプレビュー画面を表示するタッチパネルに対する操作に基づいて、フォトブックデータ及びプレビュー画面を更新する。【選択図】図８
2020064362.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ端末から受信した画像データを保存するサーバ装置と、
前記サーバ装置と通信可能に接続され、音声出力部、ユーザの発話の集音を行う集音部、及びタッチパネルを有するスマートスピーカと、
を備え、
前記サーバ装置は、
前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
前記ユーザの音声がフォトブック作製指示である場合に、前記ユーザ端末から受信した画像の中から複数の画像を選択する画像選択部と、
選択された画像を用いてフォトブックデータを生成し、前記フォトブックデータのプレビュー画面を前記スマートスピーカへ送信する編集処理部と、
を有し、
前記編集処理部は、前記ユーザの音声による指示、又は前記プレビュー画面を表示する前記タッチパネルに対する操作に基づいて、前記フォトブックデータ及び前記プレビュー画面を更新することを特徴とするフォトブック作製システム。
【請求項２】
前記ユーザの音声が前記プレビュー画面のページ切替指示である場合、前記タッチパネルに表示された前記プレビュー画面内のページ切替ボタンが押された場合、又は前記タッチパネルに対しスワイプ操作が行われた場合、前記編集処理部は、対応するページのプレビュー画面を前記スマートスピーカへ送信することを特徴とする請求項１に記載のフォトブック作製システム。
【請求項３】
前記タッチパネルに表示された画像が所定時間以上押された場合、前記編集処理部は、保存している画像を用いた画像一覧画面を前記スマートスピーカへ送信し、押されていた画像を、前記画像一覧画面を介して選択された画像に変更することを特徴とする請求項１又は２に記載のフォトブック作製システム。
【請求項４】
前記タッチパネルに表示された画像がタップされた後、画像の拡大又は縮小を指示するユーザの音声を受信した場合、又は前記タッチパネルに対しピンチアウト又はピンチイン操作が行われた場合、前記編集処理部は、選択された画像の拡大又は縮小を行うことを特徴とする請求項１乃至３のいずれか１項に記載のフォトブック作製システム。
【請求項５】
前記タッチパネルに表示された画像がタップされた後、画像の回転を指示するユーザの音声を受信した場合、又は前記タッチパネルに対し円弧を描く操作が行われた場合、前記編集処理部は、選択された画像の回転を行うことを特徴とする請求項１乃至４のいずれか１項に記載のフォトブック作製システム。
【請求項６】
音声出力部、ユーザの発話の集音を行う集音部、及びタッチパネルを有するスマートスピーカと通信可能に接続されたサーバ装置であって、
ユーザ端末から受信した画像を保存する記憶部と、
前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、
前記ユーザの音声がフォトブック作製指示である場合に、前記ユーザ端末から受信した画像の中から複数の画像を選択する画像選択部と、
選択された画像を用いてフォトブックデータを生成し、前記フォトブックデータのプレビュー画面を前記スマートスピーカへ送信する編集処理部と、
を有し、
前記編集処理部は、前記ユーザの音声による指示、又は前記プレビュー画面を表示する前記タッチパネルに対する操作に基づいて、前記フォトブックデータ及び前記プレビュー画面を更新することを特徴とするサーバ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フォトブック作製システム及びサーバ装置に関する。
【背景技術】
【０００２】
デジタルカメラやスマートフォン等で撮影した画像を、ネットワーク上にアップロードして保存することが行われている。また、アップロードした画像をプリントして、フォトブックやポスター等の印画物を作製するサービスが知られている（例えば特許文献１参照）。
【０００３】
従来、アップロードした画像を用いてフォトブックを注文する場合、パーソナルコンピュータやスマートフォンを操作して画像の選択、配置、コメントの入力等を行っていた。
【０００４】
近年、対話型の音声操作に対応したＡＩアシスタントを利用可能なスマートスピーカが普及している。ユーザがスマートスピーカに話しかけることで、検索エンジンを用いた調べ物、ニュースの読み上げ、音楽や動画の再生、家電の操作など、様々なアクションを実行できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３３９２１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、タッチパネル搭載のスマートスピーカを使用し、音声操作とタッチパネル操作とを組み合わせることでフォトブックの編集や注文を行うことができるフォトブック作製システム及びサーバ装置を提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明によるフォトブック作製システムは、ユーザ端末から受信した画像データを保存するサーバ装置と、前記サーバ装置と通信可能に接続され、音声出力部、ユーザの発話の集音を行う集音部、及びタッチパネルを有するスマートスピーカと、を備え、前記サーバ装置は、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、前記ユーザ端末から受信した画像の中から複数の画像を選択する画像選択部と、選択された画像を用いてフォトブックデータを生成し、前記フォトブックデータのプレビュー画面を前記スマートスピーカへ送信する編集処理部と、を有し、前記編集処理部は、前記ユーザの音声による指示、又は前記プレビュー画面を表示する前記タッチパネルに対する操作に基づいて、前記フォトブックデータ及び前記プレビュー画面を更新するものである。
【０００８】
本発明の一態様では、前記ユーザの音声が前記プレビュー画面のページ切替指示である場合、前記タッチパネルに表示された前記プレビュー画面内のページ切替ボタンが押された場合、又は前記タッチパネルに対しスワイプ操作が行われた場合、前記編集処理部は、対応するページのプレビュー画面を前記スマートスピーカへ送信する。
【０００９】
本発明の一態様では、前記タッチパネルに表示された画像が所定時間以上押された場合、前記編集処理部は、保存している画像を用いた画像一覧画面を前記スマートスピーカへ送信し、押されていた画像を、前記画像一覧画面を介して選択された画像に変更する。
【００１０】
本発明の一態様では、前記タッチパネルに表示された画像がタップされた後、画像の拡大又は縮小を指示するユーザの音声を受信した場合、又は前記タッチパネルに対しピンチアウト又はピンチイン操作が行われた場合、前記編集処理部は、選択された画像の拡大又は縮小を行う。
【００１１】
本発明の一態様では、前記タッチパネルに表示された画像がタップされた後、画像の回転を指示するユーザの音声を受信した場合、又は前記タッチパネルに対し円弧を描く操作が行われた場合、前記編集処理部は、選択された画像の回転を行う。
【００１２】
本発明によるサーバ装置は、音声出力部、ユーザの発話の集音を行う集音部、及びタッチパネルを有するスマートスピーカと通信可能に接続されたサーバ装置であって、ユーザ端末から受信した画像を保存する記憶部と、前記スマートスピーカを介して入力されたユーザの音声を理解し、ユーザに対する応答文を生成し、前記スマートスピーカを介して前記応答文を前記ユーザへ出力する対話処理部と、前記ユーザの音声がフォトブック作製指示である場合に、前記ユーザ端末から受信した画像の中から複数の画像を選択する画像選択部と、選択された画像を用いてフォトブックデータを生成し、前記フォトブックデータのプレビュー画面を前記スマートスピーカへ送信する編集処理部と、を有し、前記編集処理部は、前記ユーザの音声による指示、又は前記プレビュー画面を表示する前記タッチパネルに対する操作に基づいて、前記フォトブックデータ及び前記プレビュー画面を更新するものである。
【発明の効果】
【００１３】
本発明によれば、タッチパネル搭載のスマートスピーカを使用し、音声操作とタッチパネル操作とを組み合わせることでフォトブックの編集や注文を行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係るフォトブック作製システムの概略図である。
【図２】フォトブック作製指示の例を示す図である。
【図３】フォトブックのプレビュー画面の例を示す図である。
【図４】（ａ）は変更画像の選択方法の例を示す図であり、（ｂ）は画像一覧画面の例を示す図である。
【図５】フォトブック編集指示の例を示す図である。
【図６】フォトブック編集指示の例を示す図である。
【図７】フォトブックの最終確認画面の例を示す図である。
【図８】フォトブック作製システムのブロック構成図である。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１６】
図１に示すように、本発明の実施形態に係るフォトブック作製システムは、サーバ装置１及びスマートスピーカ２を備える。サーバ装置１は、インターネット等の通信ネットワークを介して、スマートスピーカ２及びユーザ端末３と通信可能となっている。
【００１７】
ユーザ端末３は、スマートフォン、タブレット端末等である。ユーザ端末３はユーザが所有する端末である。サーバ装置１には、ユーザからアップロードされた画像データが保存されている。スマートスピーカ２は、通信機能、対話型音声操作のアシスタント機能、及びタッチパネルを有するスピーカである。
【００１８】
スマートスピーカ２及びユーザ端末３には、サーバ装置１から、ユーザを識別する同一の識別情報（ユーザＩＤ）が付与されている。従って、サーバ装置１は、スマートスピーカ２及びユーザ端末３が、同一のユーザが使用するものであることを認識している。上述した画像のアップロードは、ユーザ端末３から行われてもよいし、同じユーザＩＤでログインした他の端末から行われてもよい。
【００１９】
サーバ装置１は、画像解析機能を有し、ユーザからアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著作権を侵害する可能性のある画像の検出である。例えば、サーバ装置１はウェブ上で類似している画像を検索して、著作権侵害の有無を判定する。サーバ装置１は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、その他の画像についてはフォトブックに使用可能な画像と判定する。
【００２０】
本実施形態において、ユーザは、スマートスピーカ２に話しかけることで、フォトブック作製処理を開始し、スマートスピーカ２に搭載されたタッチパネル２４に表示されるプレビュー画面を確認する。また、ユーザは、タッチパネル２４を操作したり、スマートスピーカ２に話しかけたりすることで、画像の変更等のフォトブック編集処理を行う。
【００２１】
例えば、図２に示すように、ユーザは「ＯＫ、スピーカ」のような所定のウェイクワード（コマンドワード）でスマートスピーカ２に呼びかけ、アシスタント機能を起動させる。続いて、ユーザはフォトブックを作製するようにスマートスピーカ２に話かける。例えば「１２月の旅行の写真でフォトブック作って」と話しかける。
【００２２】
スマートスピーカ２は、ウェイクワード以降のユーザの発話の音声データをサーバ装置１へ送信する。サーバ装置１は、ユーザの発話文を解釈し、フォトブックの作製処理を開始する。サーバ装置１は、このユーザによりアップロードされている画像を選択し、フォトブックのテンプレートに配置する。例えば、サーバ装置１は、保存している画像のＥＸＩＦデータを参照し、撮影日や撮影場所の情報から、１２月の旅行の写真を絞り込み、フォトブックに好適な画像を選択する。例えば、構図や明るさなどに基づいて、画像を選択する。
【００２３】
サーバ装置１は、選択した画像をレイアウトしてフォトブックデータを作成すると、応答文（音声データ）を生成し、フォトブックのプレビュー画面と共にスマートスピーカ２へ送信する。スマートスピーカ２は、タッチパネル２４にフォトブックのプレビュー画面を表示し、プレビュー画面を確認するように音声を出力する。例えば、スマートスピーカ２は「プレビューを表示します。確認してください。」という音声を出力する。
【００２４】
例えば、スマートスピーカ２のタッチパネル２４には、図３に示すようなフォトブックのプレビュー画面が表示される。
【００２５】
例えば、プレビュー画面には、各ページ（見開き２ページ）の画像が表示される。ページ切替ボタンＢ１、Ｂ２を押したり、指でスワイプ操作を行ったりすると、スマートスピーカ２が、サーバ装置１に対し、次ページ又は前ページの表示をリクエストする。サーバ装置１が次ページ又は前ページのプレビュー画面をスマートスピーカ２へ送信し、タッチパネル２４に表示することで、ページが切り替わる。
【００２６】
発話により選択ページを切り替えることもできる。例えば、ユーザが「５ページ見せて」や「ページをめくって」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、対応するページのプレビュー画面をスマートスピーカ２へ送信する。
【００２７】
フォトブックに使用する画像を変更する場合、図４（ａ）に示すように、ユーザがタッチパネル２４の変更対象画像を指で長押し選択すると、スマートスピーカ２は、サーバ装置１に対し、画像変更をリクエストする。サーバ装置１は、画像変更のリクエストを受け付けると、画像の一覧画面と応答文をスマートスピーカ２へ送信する。スマートスピーカ２は、「一覧画面から写真を選んでください」という音声を出力すると共に、図４（ｂ）に示すように、タッチパネル２４に画像一覧画面を表示する。
【００２８】
ユーザが、タッチパネル２４に表示された画像一覧画面から画像を選択すると、サーバ装置１は画像を変更し、フォトブックデータ及びプレビュー画面を更新する。
【００２９】
発話により画像を変更することもできる。例えば、ユーザが「３ページの写真を変更して」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、画像一覧画面及び応答文をスマートスピーカ２へ送信する。
【００３０】
画像の一覧画面には、ユーザが指定したアルバムにアップロードされた全ての画像が含まれる。すなわち、サーバ装置１の画像解析により、フォトブックに使用すべきでないと判定された不適切画像も含まれる。ユーザが一覧画面から不適切画像を選択した場合、サーバ装置１は、画像の出所を質問する応答文を生成してスマートスピーカ２へ送信する。例えば、スマートスピーカ２は「６ページの写真にキャラクターコンテンツが含まれますが、ご自身で撮影された写真ですか」のような音声を出力する。
【００３１】
ユーザが「はい、そうです」のような肯定的な返答をした場合、サーバ装置１は、選択した画像の使用を承認する応答文を生成し、スマートスピーカ２へ送信する。一方、ユーザが「いいえ」のような否定的な応答をした場合、サーバ装置１はこの画像の使用には問題があることを説明する応答文を生成してスマートスピーカ２から音声を出力し、タッチパネル２４の表示を画像一覧画面に戻す。
【００３２】
画像の拡大や縮小を行う場合、図５に示すように、ユーザは、タッチパネル２４の拡縮対象の画像を指でタップして選択し、「拡大（縮小）して」とスマートスピーカ２に話しかける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、選択された画像を拡大（縮小）し、プレビュー画面及びフォトブックデータを更新する。
【００３３】
サーバ装置１は、ユーザが「拡大（縮小）して」と話す度に、所定の倍率で画像を拡大（縮小）する。あるいはまた、サーバ装置１は、ユーザが「拡大（縮小）して」と話してから、ユーザが「止めて」というまで、画像を連続的に拡大（縮小）してもよい。
【００３４】
ユーザが指を使い、タッチパネル２４をピンチアウト／ピンチインすることで、画像の拡大／縮小を行ってもよい。
【００３５】
画像の回転を行う場合、図６に示すように、タッチパネル２４の回転対象の画像を指でタップして選択し、「右（左）に回転して」とスマートスピーカ２に話かける。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、選択された画像を回転し、プレビュー画面及びフォトブックデータを更新する。
【００３６】
サーバ装置１は、ユーザが「右（左）に回転して」と話す度に、画像を所定の角度だけ回転する。ユーザが「右に９０°回転して」と話して、回転方向や回転角度を指定してもよい。あるいはまた、サーバ装置１は、ユーザが「右（左）に回転して」と話してから、ユーザが「止めて」というまで、画像を連続的に右（左）に回転してもよい。
【００３７】
ユーザが指を使い、タッチパネル２４から指を離さずに円弧を描く動作をすることで、画像を任意の角度で回転させてもよい。また、円弧を描く代わりにドラッグアンドドロップ操作を行うことで、画像の移動が可能となる。
【００３８】
サーバ装置１は、画像を選択してフォトブックデータを作成する際に、選択した画像に対し、コメント（又はタイトル）を生成して付与できる。サーバ装置１は、画像解析により検出された画像内の物体やテキスト、フォトブックの目的等に基づいて、コメントを生成する。例えば、サーバ装置１は、特徴的な物体が検出された画像に対してコメントを生成して付与する。
【００３９】
タッチパネル２４にコメントを付与したページを表示する場合、サーバ装置１は、コメントを生成・付与したこと及びコメント内容を知らせる応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は、コメントを音声で読み上げる。ユーザは、スマートスピーカ２から出力される音声を聞いて、コメントを確認する。
【００４０】
コメントを変更する場合は、発話によりコメントの変更を指示する。例えば、ユーザが「コメント変更」とスマートスピーカ２に話しかけ、続いて変更後のコメントを発話する。サーバ装置１は、スマートスピーカ２を介してユーザの発話文を取得して解釈し、現在表示している画像のコメントを変更し、フォトブックデータ及びプレビュー画面を更新する。
【００４１】
ユーザがフォトブックのプレビュー画面を一通り確認し、画像の変更等の編集処理を行った後、「注文します」等の所定のワードを発するか、又はプレビュー画面の確定ボタンＢ５（図３参照）を押すと、サーバ装置１は最終確認画面及び応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「画面で、写真とコメントの最終確認をお願いします」等の音声を出力する。
【００４２】
スマートスピーカ２には、図７に示すような最終確認画面ＦＣが表示される。例えば、画面の下部には、各ページの画像選択者、コメント作成者、コメント内容を含む編集一覧が表示され、画面の上部には選択したページが表示される。編集一覧の画像選択者及びコメント作成者における“ＡＩ自動選択”、“ＡＩ自動作成”は、サーバ装置１に相当する。
【００４３】
上述したように、サーバ装置１は、画像の選択、配置、コメントの作成等を自動で行う。そのため、図７に示すように、編集一覧では、サーバ装置１が画像を選択し、かつコメントもサーバ装置１が作成したか又はコメントの無いページについては、ページ番号を強調表示する。これらのページは、ユーザが見落としている可能性があるためである。
【００４４】
ユーザが画像を選択（変更、入れ替え）したり、コメントを作成したりしたページは、既にユーザが目を通しているページであるため、強調表示する必要はない。
【００４５】
ユーザが、強調表示されているページを確認した後、「注文します」等の所定のワードを発するか、又は最終確認画面の確定ボタンＢ７を押すと、サーバ装置１は決済画面を生成してユーザ端末３へ送信し、応答文を生成してスマートスピーカ２へ送信する。スマートスピーカ２は「決済処理に進みます。ここからは端末より入力をお願いします」等の音声を出力する。決済画面では、フォトブックの配送先やクレジットカード番号の入力が必要となり、スマートスピーカ２を用いた音声入力より、ユーザ端末３の操作による手入力の方が好ましい。
【００４６】
サーバ装置１は、ユーザ（ユーザ端末３）から決済情報が入力され、フォトブックの注文を受け付けると、フォトブックデータ及び注文内容を工場５へ送信する。
【００４７】
工場５に設置されたプリンタ（図示略）は、受信したフォトブックデータに基づいて印画処理を行い、フォトブック６を作製する。工場５で作製されたフォトブック６は、ユーザへ配送される。
【００４８】
工場５へ送信されるフォトブックデータを考査端末４へ送信し、考査端末４で人手による考査を行ってもよい。これにより、サーバ装置１の画像解析で見落とした不適切画像を検出できる。
【００４９】
このように、本実施形態によれば、スマートスピーカ２を介して、音声によりフォトブックの作製を指示できる。また、自動レイアウトされた画像の入れ替え等の編集処理を、スマートスピーカ２を介した音声操作及びタッチパネル操作を組み合わせて行うことができるため、ユーザは簡便にフォトブックを注文できる。
【００５０】
サーバ装置１は、ユーザからアップロードされた画像の解析を行い、公序良俗に反するおそれがある画像や著作権を侵害するおそれがある画像等の不適切画像を予め特定している。サーバ装置１は、フォトブックの作製にあたり、不適切画像以外の、フォトブックでの使用に問題無い画像から画像を選択できる。
【００５１】
画像変更処理において、ユーザにより、画像一覧画面から不適切画像が選択された場合、スマートスピーカ２を介してユーザに画像の出所等を質問し、問題無いことが確認されると、フォトブックに使用する。
【００５２】
図８は、フォトブック作製システムのブロック構成図である。図８に示すように、スマートスピーカ２は、制御部２０、集音部（マイク）２１、音声出力部（スピーカ）２２、通信部２３及びタッチパネル２４を有する。
【００５３】
制御部２０は、音声認識の機能を有し、集音部２１を介して所定のウェイクワードが入力されると、ウェイクワード以降の音声を、通信部２３を用いてサーバ装置１へ送信する。また、制御部２０は、タッチパネル２４を介してユーザから入力された操作情報を、サーバ装置１へ送信する。
【００５４】
音声出力部２２は、通信部２３を介してサーバ装置１から受信した応答文の音声データを出力する。
【００５５】
タッチパネル２４は、通信部２３を介してサーバ装置１から受信したプレビュー画面等の画像データを表示する。また、タッチパネル２４は、ユーザから、画像の選択や拡縮等の操作指示を受け付ける。
【００５６】
サーバ装置１は、対話処理部１０及びフォトブック編集部１００を備える。
【００５７】
対話処理部１０は、ユーザからの音声指示を理解し、ユーザに対する適切な応答文を生成するものであり、入力理解部１１、対話管理部１２及び出力生成部１３を有する。入力理解部１１は、スマートスピーカ２から受け取ったユーザの発話文からユーザの意図（タスク）を推定する意図推定と、人名や地名等の固有名詞、日付、時間等の表現を発話文から抽出する固有表現抽出の機能を有する。
【００５８】
対話管理部１２は、入力理解部１１から受け取った結果情報をデータベースに相当する内部状態に書き込んで更新する内部状態更新と、内部状態及び対話戦略（行動選択規則）に基づいて次の行動を選択する行動選択の機能を有する。
【００５９】
出力生成部１３は、対話管理部１２の行動選択が出した指示に合う応答文を生成し、スマートスピーカ２へ送信する。
【００６０】
対話処理部１０は、フォトブック編集部１００と連携し、フォトブック編集部１００の処理結果を応答文に反映させることができる。
【００６１】
フォトブック編集部１００は、画像ＤＢ、解析結果ＤＢ、フォトブックデータＤＢ、注文内容ＤＢ、各種プログラム等を有する記憶部１１０を備える。
【００６２】
ＣＰＵ（中央処理装置）が記憶部１１０に記憶されているプログラムを実行することで、画像受信部１０１、画像解析部１０２、画像選択部１０３、編集処理部１０４、コメント生成部１０５及び注文処理部１０６の機能が実現される。
【００６３】
画像受信部１０１は、ユーザ端末３からアップロードされた画像データを受信し、画像ＤＢに格納する。
【００６４】
画像解析部１０２は、ユーザ端末３からアップロードされた画像の解析を行う。画像解析は、例えば、画像内の物体やテキストの検出、公序良俗に反するおそれのある画像の検出、著名人や有名キャラクター等が写った著作権を侵害する可能性のある画像の検出である。画像解析部１０２は、公序良俗に反する画像や著作権を侵害する可能性のある画像については、フォトブックに使用すべきでない不適切画像と判定し、判定結果を画像ＤＢ内の画像データに紐付ける。画像解析部１０２は、画像毎に、画像から検出した物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等をタグとして解析結果ＤＢに格納する。
【００６５】
画像選択部１０３は、対話処理部１０がユーザの発話からフォトブックの作製というタスクを抽出すると、画像ＤＢからフォトブックに好適な画像を選択する。ユーザの発話に日時が含まれている場合は、画像データに含まれる撮影日情報を参照し、画像を選択する。
【００６６】
編集処理部１０４は、画像選択部１０３により選択された画像を所定のテンプレートに配置し、フォトブックデータを生成し、プレビュー画面をスマートスピーカ２へ送信する。生成したフォトブックデータは、フォトブックデータＤＢに格納される。
【００６７】
対話処理部１０が、「５ページ見せて」「ページをめくって」「前のページに戻って」などのユーザの発話からページの入れ替えというタスクを抽出すると、編集処理部１０４は、対応するページのプレビュー画面をスマートスピーカ２へ送信する。また、スマートスピーカ２から、ページ切替ボタンＢ１、Ｂ２が押されたことや、スワイプ操作が行われたことなどの操作情報が通知されると、編集処理部１０４は、操作に対応するページのプレビュー画面をスマートスピーカ２へ送信する。
【００６８】
スマートスピーカ２から、タッチパネル２４上の画像が所定時間以上押されているという操作情報が通知されると、編集処理部１０４は、画像ＤＢ内の画像を用いて画像一覧画面を作成し、スマートスピーカ２へ送信する。スマートスピーカ２から画像一覧画面内の画像選択情報が通知されると、編集処理部１０４は、画像を変更してフォトブックデータ及びプレビュー画面を更新する。
【００６９】
また、編集処理部１０４は、対話処理部１０が「３ページの写真を変更して」などのユーザの発話から画像の変更というタスクを抽出した場合も同様に、画像一覧画面をスマートスピーカ２へ送信する。
【００７０】
画像一覧画面から不適切画像が選択された場合、不適切画像が選択されたことを対話処理部１０に通知する。対話処理部１０は、不適切画像の出所等を問う質問文を生成し、スマートスピーカ２から出力させる。
【００７１】
編集処理部１０４は、対話処理部１０がユーザの発話からコメントの変更というタスクを抽出すると、ユーザから音声入力されたコメントに変更し、フォトブックデータ及びプレビュー画面を更新する。
【００７２】
スマートスピーカ２から、タッチパネル２４上の画像がタップされ、ピンチアウト／ピンチインされたという操作情報が通知されると、編集処理部１０４は、選択された画像の拡縮を行い、フォトブックデータ及びプレビュー画面を更新する。
【００７３】
また、編集処理部１０４は、スマートスピーカ２からタッチパネル２４上の画像がタップされたという操作情報が通知された後、対話処理部１０が「拡大（縮小）して」などのユーザの発話から画像の拡縮というタスクを抽出した場合、選択された画像の拡縮を行い、フォトブックデータ及びプレビュー画面を更新する。
【００７４】
スマートスピーカ２から、タッチパネル２４上の画像がタップされ、円弧を描く動作やドラッグアンドドロップされたという操作情報が通知されると、編集処理部１０４は、選択された画像の回転や移動を行い、フォトブックデータ及びプレビュー画面を更新する。
【００７５】
また、編集処理部１０４は、スマートスピーカ２からタッチパネル２４上の画像がタップされたという操作情報が通知された後、対話処理部１０が「右（左）に回転して」「上（下）に移動して」などのユーザの発話から画像の回転・移動というタスクを抽出した場合、選択された画像の回転・移動を行い、フォトブックデータ及びプレビュー画面を更新する。
【００７６】
また、編集処理部１０４は、図７に示すような最終確認画面ＦＣを作成する。
【００７７】
コメント生成部１０５は、フォトブックに使用している画像に対して、コメントを自動生成し、付与する。各画像には、画像解析により画像から検出された物体やテキスト、画像データに含まれる撮影日情報、撮影場所情報等がタグとして付与されている。コメント生成部１０５はこれらのタグを用いて、コメントを生成する。
【００７８】
注文処理部１０６は、ユーザ端末３から、フォトブックのプリント冊数等の注文を受け付ける。注文処理部１０６が決済情報の入力を受け付けて決済処理を行うと、プリント注文が完了する。注文処理部１０６はフォトブックのプリント冊数や配送先住所等を含む注文内容を注文内容ＤＢに格納する。
【００７９】
プリント注文されたフォトブックデータと、注文内容とが工場５へ送信され、フォトブック６が製造される。
【００８０】
このように、本実施形態によれば、スマートスピーカ２に話しかけることで、フォトブック作製処理を開始し、スマートスピーカ２を介した音声操作及びタッチパネル操作を組み合わせて、フォトブックの編集を簡便に行うことができる。
【００８１】
上記実施形態において、フォトブックのプレビュー画面を、スマートスピーカ２のタッチパネル２４だけでなく、ユーザ端末３にも表示してもよい。
【００８２】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００８３】
１  サーバ装置
２  スマートスピーカ
３  ユーザ端末
４  考査端末
５  工場
６  フォトブック
【図１】
2020064362.tif 000003
【図２】
2020064362.tif 000004
【図３】
2020064362.tif 000005
【図４】
2020064362.tif 000006
【図５】
2020064362.tif 000007
【図６】
2020064362.tif 000008
【図７】
2020064362.tif 000009
【図８】
2020064362.tif 000010