(57)【要約】【課題】人工知能アシスタントを用いた音声クエリに応じてサーチ結果を完了し、このサーチ結果の応答コンテンツの少なくとも一部の音声出力に基づき、応答コンテンツをプリントするデジタルアシスタントシステム、方法およびプログラムを提供する。【解決手段】実施形態のデジタルアシスタントシステムは、ドキュメント描画デバイスと、ウェブサービスサーバと、それらと通信網を介して接続されマイクロフォンおよびスピーカを用いてアシスタント処理を実行するデジタルデバイスと、を具備する。デジタルデバイスは、受け付けた音声入力を自然言語処理してデジタル化し、デジタル化した音声から抽出された音声ルックアップコマンドに応じてウェブサービスサーバのデジタルデータレコードにアクセスして応答コンテンツを抽出する。抽出した応答コンテンツの一部の音声をスピーカから出力し、マイクロフォンからの音声プリントコマンドの入力に応じて、ドキュメント描画デバイスに応答コンテンツを送信して印刷を指示する。【選択図】図１
2020068017.tif 000002
【特許請求の範囲】
【請求項１】
ドキュメント描画デバイスと、
ウェブサービスサーバと、
前記ドキュメント描画デバイスおよびウェブサービスサーバと通信網を介して接続され、マイクロフォンおよびスピーカを用いてアシスタント処理を実行するデジタルデバイスと、
を具備し、
前記デジタルデバイスは、
前記マイクロフォンを介して受け付けた音声入力を自然言語処理してデジタル化し、
前記デジタル化した音声から抽出された音声ルックアップコマンドに応じて、前記通信網を介して前記ウェブサービスサーバのデジタルデータレコードにアクセスし、
前記デジタルデータレコードからの応答コンテンツを抽出し、
前記抽出した前記応答コンテンツの少なくとも一部の音声出力を生成して前記スピーカから出力し、
前記マイクロフォンからの音声プリントコマンドの入力に応じて、前記通信網上の前記ドキュメント描画デバイスに前記応答コンテンツを送信して印刷を指示する
デジタルアシスタントシステム。
【請求項２】
前記デジタルデバイスは、前記音声プリントコマンドの入力に応じて、前記デジタルデバイスに連携する第１ドキュメント描画デバイスを用いるか、又は予め識別された前記通信網上の第２ドキュメント描画デバイスを用いるかの問合せ音声を前記スピーカから出力する請求項１に記載のデジタルアシスタントシステム。
【請求項３】
前記デジタルデバイスは、前記音声プリントコマンドの入力に応じて、前記デジタルデバイスに連携する第１ドキュメント描画デバイスがデフォルト設定されている場合、当該第１ドキュメント描画デバイスに前記応答コンテンツを送信し、前記デジタルデバイスに連携する前記第１ドキュメント描画デバイスがデフォルト設定されていない場合は予め識別された前記通信網上の第２ドキュメント描画デバイスに前記応答コンテンツを送信する請求項１に記載のデジタルアシスタントシステム。
【請求項４】
前記デジタルデバイスは、前記第１ドキュメント描画デバイス又は前記第２にドキュメント描画デバイスに向けて前記応答コンテンツを正常に送信できた場合、プリントコンファメーションを前記スピーカから音声出力する請求項２乃至４のいずれか１項に記載のデジタルアシスタントシステム。
【請求項５】
ドキュメント描画デバイスと、ウェブサービスサーバと、前記ドキュメント描画デバイスおよびウェブサービスサーバと通信網を介して接続され、マイクロフォンおよびスピーカを用いてアシスタント処理を実行する前記デジタルデバイスと、を具備するデジタルアシスタントシステムの前記デジタルデバイスによって実行される方法であって、
前記マイクロフォンを介して受け付けた音声入力を自然言語処理してデジタル化し、
前記デジタル化した音声から抽出された音声ルックアップコマンドに応じて、前記通信網を介して前記ウェブサービスサーバのデジタルデータレコードにアクセスし、
前記デジタルデータレコードからの応答コンテンツを抽出し、
前記抽出した前記応答コンテンツの少なくとも一部の音声出力を生成して前記携帯機器の前記スピーカから出力し、
前記マイクロフォンからの音声プリントコマンドの入力に応じて、前記通信網上の前記ドキュメント描画デバイスに前記応答コンテンツを送信して印刷を指示する
方法。
【請求項６】
ドキュメント描画デバイスと、ウェブサービスサーバと、前記ドキュメント描画デバイスおよびウェブサービスサーバと通信網を介して接続され、マイクロフォンおよびスピーカを用いてアシスタント処理を実行するデジタルデバイスと、を具備するデジタルアシスタントシステムの前記デジタルデバイスによって実行されるプログラムであって、
前記マイクロフォンを介して受け付けた音声入力を自然言語処理してデジタル化する手順と、
前記デジタル化した音声から抽出された音声ルックアップコマンドに応じて、前記通信網を介して前記ウェブサービスサーバのデジタルデータレコードにアクセスする手順と、
前記デジタルデータレコードからの応答コンテンツを抽出する手順と、
前記抽出した前記応答コンテンツの少なくとも一部の音声出力を生成して前記携帯機器の前記スピーカから出力する手順と、
前記マイクロフォンからの音声プリントコマンドの入力に応じて、前記通信網上の前記ドキュメント描画デバイスに前記応答コンテンツを送信して印刷を指示する手順と
を前記デジタルデバイスによって実行されるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、サーチクエリ結果のアシストプリンティングに係るデジタルアシスタントシステム、方法およびプログラムに関する。
【背景技術】
【０００２】
ドキュメント処理デバイスは、プリンタ、コピー機、スキャナ及びＥメールゲートウェイを含む。近年、オフィス環境には、これらの機能のうち２以上の機能を搭載したデバイスがある。これらのデバイスは、多機能周辺機器（ＭＦＰ）又は多機能デバイス（ＭＦＤ）と呼ばれる。本明細書で、ＭＦＰとは、プリンタ単体、或いは、上記のいずれかの機能とプリンタとの組み合わせを含む。さらに、好適なドキュメント処理デバイスを使用可能である。
【０００３】
今日、多くのデジタルデバイスが人工知能アシスタントを備えている。人工知能アシスタントは、デジタルアシスタント（又は自動アシスタント）と呼ばれ、自然言語の要求や指示を受け付けて認識処理し、音声応答したりアクションを実行したりすることができる。例えば、Ｇｏｏｇｌｅ製Ａｓｓｉｓｔａｎｔ、Ａｐｐｌｅ製Ｓｉｒｉ、Ｓａｍｓｕｎｇ製Ｂｉｘｂｙ、Ａｍａｚｏｎ製Ａｌｅｘａ、及びマイクロソフト製Ｃｏｒｔａｎａ等のアシスタントが、今日市場に存在する。
【０００４】
典型的には、デジタルアシスタントは、常時稼働している状態で、ユーザ（使用者）からのスタートフレーズ（「オーケー、○○○」、「ヘイ、×××」、又は「ヘイ、△△△」等）の音声を検出することで起動する。デジタルアシスタントは、その後、ウェイクアップフレーズを検出後に、音声指示（「Ｅメールメッセージを送信して」等）を検出したり、ウェブサーチを開始するための音声クエリ（「今日の天気予報は？」等）を検出したりする。高度なデジタルアシスタントが自動制御システムに組み込まれる場合もある。例えば、ホーム自動制御では、デジタルアシスタントは、「明かりを点けて」又は「衛星放送の１５チャンネルにして」等の指示に対してアクション応答することができる。
【０００５】
デジタルアシスタントは、特に、ポータブルデータデバイス（タブレットコンピュータやスマートフォン等）を用いて、指示を音声入力するのによく利用されている。これは、ポータブルデータデバイスの小さなタッチスクリーンからでは、テキストを入力し難いことがあるからである。音声指示又は音声クエリは、ユーザ及びデバイスが動いているとき（運転中や、歩いているとき等）、特に便利である。デジタルアシスタントが動作中、ユーザは、デジタルアシスタントに向けて指示（例えば、「新着テキストメッセージは？」等）を声に出して行う。すると、デジタルアシスタントは、その音声指示を理解して取得した新着メッセージを音声で読み上げることができる。ユーザは、デジタルアシスタントに向けて応答テキストを声に出して言い、次に、デジタルアシスタントに向けて「送信コマンド」を声に出して言うだけで、受信したテキストに対して応答することができる。
【０００６】
デジタルアシスタントは、サーチ（例えば、ワールドワイドウェブのサーチ等）を音声で開始する際に便利である。今日、多くのウェブページには、ウェブページのトップに表示される冒頭のセクション（冒頭部分又はイントロダクション）がある。多くの場合、デジタルアシスタントは、リポジトリ（例えば、Ｗｉｋｉｐｅｄｉａ（登録商標）等）から取得した情報を、サーチ結果として応答する。前記Ｗｉｋｉｐｅｄｉａの「スタイルマニュアル」は、冒頭のセクションのガイドラインを明記している。冒頭のセクションが存在すれば、デジタルアシスタントは、冒頭のセクションのコンテンツを音声で読み上げれば良い。これにより、デジタルアシスタントは、ユーザのサーチの問い合わせに直ちに応答することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−  ６２８８９号公報
【特許文献２】特開２００４−２８０８３５号公報
【特許文献３】特開２００４−３３４８３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明が解決しようとする課題は、人工知能アシスタントを用いた音声クエリに応じてサーチ結果を完了し、このサーチ結果の一次的な音声出力に基づき選択された詳細な情報をプリントするデジタルアシスタントシステム、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の実施形態のデジタルアシスタントシステムは、ドキュメント描画デバイスと、ウェブサービスサーバと、前記ドキュメント描画デバイスおよびウェブサービスサーバと通信網を介して接続され、マイクロフォンおよびスピーカを用いてアシスタント処理を実行するデジタルデバイスと、を具備する。前記デジタルデバイスは、前記マイクロフォンを介して受け付けた音声入力を自然言語処理してデジタル化し、前記デジタル化した音声から抽出された音声ルックアップコマンドに応じて、前記通信網を介して前記ウェブサービスサーバのデジタルデータレコードにアクセスし、前記デジタルデータレコードからの応答コンテンツを抽出し、前記抽出した前記応答コンテンツの少なくとも一部の音声出力を生成して前記スピーカから出力し、前記マイクロフォンからの音声プリントコマンドの入力に応じて、前記通信網上の前記ドキュメント描画デバイスに前記応答コンテンツを送信して印刷を指示する。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る、ユーザがスマートデバイス（人工知能アシスタント）で実行したオンラインサーチのサーチ結果をプリントするためのデジタルアシスタントシステムのプリントシステムを示す図。
【図２】実施形態に係るドキュメント描画デバイスの構成を示す図。
【図３】実施形態に係る人工知能アシスタントの構成を示す図。
【図４】実施形態に係る、人工知能アシスタントを用いてインタラクションから詳細なクエリ結果をプリントするアシストプリンティングのフローチャート。
【図５】実施形態に係る音声アシストクエリ及びプリントシステムを示す図。
【発明を実施するための形態】
【００１１】
各種の実施形態は、明細書、特許請求の範囲及び図面を参照することで、よりよく理解され得る。
【００１２】
ここに開示する多機能周辺機器及び方法は、例示として図面を参照して詳細に説明する。なお、開示及び記載された例示、設備、構成、部品、要素、装置、デバイス、方法、システム等に対する変形は、好適に行われ得るし、また、特定のアプリケーションに対して要求され得る。本開示において、特定の技術、設備等は、提示された特定の例と同一であるか、或いは、単にこの技術、設備等の一般的な記述と同一である。具体的に明示しない限り、具体的な詳細又は例と同一であると必須又は限定的に解釈されることを意図したものでは無いし、されてはならない。
【００１３】
ユーザがデジタルアシスタントに音声サーチの問い合わせをしたとき、デジタルアシスタントは冒頭のセクションを読み上げれば、応答としては足りる。ユーザは、より詳細を知りたい場合、例えば、記事全体を閲覧したいと思うこともある。しかしながら、ユーザが、例えば車の運転中であった場合等では、記事全体を閲覧することができない。ユーザは、運転を終えた後で、同じ詳細な記事を閲覧するには、前のサーチで何と言ってサーチしたか思い出さなければならない。そのような場合、ユーザは、前のサーチで具体的に何と言ったか思い出せない場合がある。或いは、もう一度類似サーチが出来たとしても、同じコンテンツを再び取得することができない場合がある。本発明では、それらの問題を解決することができる。
【００１４】
図１は、実施形態のデジタルアシスタントシステムに係る、ユーザがスマートデバイスで実行したオンラインサーチのサーチ結果をプリントするためのデジタルアシスタントシステムのプリントシステム１００を示す。図１の例では、ユーザ１０４は、スマートフォン１０８又はタブレット等のポータブルデータデバイスである携帯機器を所有する。図１の例では、ユーザ１０４が持つスマートフォン１０８を例に説明する。スマートフォン１０８は、上述したようなデジタルアシスタントを実行している。スマートフォン１０８等のデバイスのような容易に手に入る形式よりも高い程度の電算処理のパワーが、自然言語処理には必要である。従って、スマートフォン１０８を用いたデジタルアシスタントは、ユーザのデジタル化した発話をキャプチャし、デジタル化した発話をウェブサービスサーバ１１２に送信すればよい。
【００１５】
ウェブサービスサーバ１１２は、デジタル化したユーザ発話に含まれるフレーズをデコードし、次に、デジタル化したユーザ発話に含まれる指示を実行する。適切には、スマートフォン１０８とウェブサービスサーバ１１２とは、クラウド１１４を介して相互通信を行う。通信メカニズムは、適切には、有線若しくは無線データ通信メカニズムであり、或いは、有線及び無線データ通信メカニズムの組み合わせである。データ通信メカニズムは、ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ（ＬＡＮ）、ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ（ＷＡＮ）を含み、グローバルインターネット又はセルラーデータ通信を含んでもよい。
【００１６】
上記のように、スマートフォン１０８のデジタルアシスタントを用いて音声クエリを開始すると、１以上のウェブページ又はウェブページリンクがスマートフォン１０８に送信されてくる。スマートフォン１０８は、最適なページ結果（応答コンテンツ）を判断し、ユーザにその一部（サマリ部）を読み上げればよい。応答コンテンツの一部であるサマリ部は、ページの最初の数行、或いは、もしあればページ冒頭のセクションでよい。このように音声応答することで、より詳細な情報が得られるページを、ユーザに知らせることができる。
【００１７】
より詳細な情報が得られるページにアクセスする場合、ユーザは、スマートフォン１０８を手で操作しやすい状況で、サーチクエリを思い出さなければならない。場合によっては、ユーザは、運転中に停車しなければならないこともある。ユーザは、耳を傾けそびれ、必要な情報が含まれる冒頭部分を聞き逃すこともある。ユーザは、以前と同じサーチクエリを再び言えないこともある。その結果、必要な情報が含まれるサーチ結果を再び探し当てることができないことがある。仮にユーザがサーチクエリを正確に思い出して応答したとしても、ページが更新されていることもあるし、或いは、サーチエンジンが異なる結果を出すこともある。仮に、同じサーチ結果を再び検索できたとしても、ユーザは、より詳細な結果のハードコピーをプリントアウトするためには、プリンタにアクセスできるデバイスでサーチ結果を検索しなければならない。
【００１８】
図１の実施形態に係るデジタルアシスタントシステムのプリントシステム（以下、単にプリントシステムと称する）１００によれば、ユーザは、スマートフォン１０８のデジタルアシスタントに自然言語クエリを発話する。スマートフォン１０８のデジタルアシスタントは、自然言語クエリを処理し、得られたサーチ結果ページ（応答コンテンツ）の少なくとも一部（冒頭部分又はサマリ部）を読み上げる。以下では、一例としてサマリ部を読み上げとする。ユーザは、より完全に描画されたサーチ結果を閲覧したい場合、プリント指示（又は指示のセンテンス）を応答するだけで良い。すると、スマートフォン１０８のデジタルアシスタントは、音声化されたサマリ部に対応するより詳細な結果のハードコピーのプリントアウトを、直ちに開始する。本システムでは適当なプリンタが、スマートフォン１０８に関連付けられていても良い。例えば、予め識別されたプリンタ又はユーザ選択されたドキュメント描画デバイス（プリンタ１１６等）が、ホームプリンタとして関連付けられる。ユーザは、また、デフォルト（クラウドベース）のプリントサービス１２０、又は選択したサードパーティのプリントサービス１２０を使用して、ドキュメントをプリントしても良い。プリントサービス１２０は、１以上のドキュメント描画デバイス（図１の例では、ＭＦＰ１２２ａ、及び１２２ｂ等）を含む。
【００１９】
図１に示す実施形態において、ユーザ１０４は、スマートフォン１０８を介してデジタルアシスタントと自然言語ダイアログ１２４を行う。このダイアログ１２４の一部又は全部は、スマートフォン１０８のタッチスクリーンインタフェース等を介して、物理的なデバイスのインタラクションで実行しても良い。ユーザは、スマートフォン１０８に向けてサーチクエリ（例えば「オーケー○○；ブルーベリーパイのレシピが欲しい」）１２８を発音すると、スマートフォン１０８のデジタルアシスタントはウェブサービスサーバ１１２に検索を要求する。その結果、ウェブサービスサーバ１１２からのサマリサーチレスポンスを受信して、スマートフォン１０８から音声（例えば「recipes.comのレシピを見つけました」）１３２を出力する。ユーザ１０４は、サーチ結果のレシピを印刷するためにプリント指示（例えば「それを印刷します」）１３６をスマートフォン１０８に向けて音声応答する。スマートフォン１０８のデジタルアシスタントは、１以上の候補となるプリントオプションの位置を特定し、識別する。本例では、「５マイル先のメインストリート１２３号のプリンタサービスにしますか？  ホームプリンタにしますか？」１４０の音声出力により、近隣のプリントサービスの距離及び位置を関連付ける。これを聞いて、ユーザからの入力音声（例えば「ホームプリンタにします」）１４４によるプリンタ選択に応じて、スマートフォン１０８のデジタルアシスタントは、指定されたプリンタに対してプリントアウトを開始する。そして、スマートフォン１０８のデジタルアシスタントは、音声（例えば「ドキュメントを送信してページをプリントしました」）１４８のコンファメーションをユーザ１０４に向けて出力する。
【００２０】
次に、図２は、実施形態に係るドキュメント描画システム２００を含むＭＦＰデバイスを示す。ドキュメント描画システム２００は、ＭＦＰ（図１のＭＦＰ１２２ａ及び１２２ｂ等）に含まれる。ドキュメント描画システム２００は、インテリジェントコントローラ２０１を含む。インテリジェントコントローラ２０１は、１以上のプロセッサ（図２のプロセッサ２０２等）を含む。プロセッサ２０２は、データバス２１２を介して、不揮発性のメモリ（ＲＯＭ）２０４、及びランダムアクセスメモリ（ＲＡＭ）２０６と接続される。
【００２１】
プロセッサ２０２は、さらに、ストレージインタフェース（Ｉ／Ｆ）２０８とデータ通信する。ストレージインタフェース２０８は、プロセッサ２０２の指令に従いストレージ２１６にデータを読み書きする。ストレージ２１６は、ハードディスク、オプティカルディスク、ソリッドステートディスク、クラウドベースのストレージ、或いは他の好適なデータストレージで構成して良い。ストレージ２１６に格納される各種データ／アプリケーションは、ストレージインタフェース２０８を介してＲＡＭ２０６に展開されてプロセッサ２０２により処理又は実行される。また、プロセッサ２０２の各種処理によりＲＡＭ２０６上に作成されたデータは、ストレージインタフェース２０８を介してストレージ２１６に格納される。
【００２２】
プロセッサ２０２は、さらに、ネットワークインタフェース（Ｉ／Ｆ）２１０とデータ通信する。ネットワークインタフェース２１０は、ネットワークインタフェースコントローラ（ＮＩＣ）２１４に対するインタフェースとして機能する。また、ネットワークインタフェースコントローラ（ＮＩＣ）２１４は、有線ネットワーク（例えば、バス接続線）２２０に対するデータパスを供給する。或いは、ネットワークインタフェース２１０は、無線ネットワークインタフェースを介した無線データ接続に対するデータパスを供給する。無線接続は、例えば、セルラー方式、ＷｉＦｉ２１８、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＮＦＣ、無線ユニバーサルシリアルバス（無線ＵＳＢ）、衛星等である。一方、有線ネットワーク２２０のインタフェースは、例えば、イーサネット（登録商標）、ＵＳＢ、ＩＥＥＥ１３９４（ＦｉｒｅＷｉｒｅ）、Ｌｉｇｈｔｎｉｎｇ、電話線等である。プロセッサ２０２は、また、１以上のセンサとデータ通信する。１以上のセンサは、デバイスや、デバイスに関する環境（デバイスの温度、周囲の温度、湿度、デバイスの移動等）の状況に関するデータを供給する。
【００２３】
プロセッサ２０２は、更にユーザ入出力（Ｉ／Ｏ）インタフェース２１９とデータ通信可能である。ユーザ入出力（Ｉ／Ｏ）インタフェース２１９は、ユーザ周辺機器（ディスプレイ、キーボード、マウス、トラックボール、タッチスクリーン等）とデータ通信を行う。ハードウェアモニタは、モニタリングシステムと連携して、デバイスイベントデータをユーザに供給する。別の例として、モニタリングシステムは、ページカウンタ、センサ出力（消耗レベルセンサ、温度センサ、電力品質センサ、デバイスエラーセンサ、ドア開閉センサ等）等を有しても良い。それらの検出データは、１以上のデバイスログとしてストレージ２１６等に記憶される。
【００２４】
更に、ドキュメント（文書）プロセッサインタフェース２２２は、データバス２１２に接続されるユニットとデータ通信することができる。また、ドキュメントプロセッサインタフェース２２２は、ＭＦＰのハードウェア機能部２５０とデータ通信することができる。図２の例では、ＭＦＰのハードウェア機能部２５０は、コピーハードウェア２４０、スキャンハードウェア２４２、プリントハードウェア２４４、及びファックスハードウェア２４６を有する。コピーハードウェア２４０、スキャンハードウェア２４２、プリントハードウェア２４４、及びファックスハードウェア２４６は、ＭＦＰの機能的なハードウェアを構成する。なお、ハードウェア機能部２５０は、好適なハードウェア又はソフトウェアプラットフォームを含むインテリジェントユニットである。
【００２５】
インテリジェントコントローラ２０１は、好適には、デバイスコンフィギュレーション及び管理を実行する内蔵のウェブサーバシステムを有する。好適なウェブインタフェースは、東芝テック株式会社が提供するＴＯＰアクセスコントローラである。
【００２６】
図３は、実施形態に係る好適なデジタルデバイス３００（図１のデジタルアシスタントを実行するスマートフォン１１８）を示す。デジタルデバイス３００は、１以上のプロセッサ（図示のプロセッサ３１０等）を含む。プロセッサ３１０は、データバス３１８を介して、不揮発性のリードオンリーメモリ（ＲＯＭ）３１２、及びランダムアクセスメモリ（ＲＡＭ）３１４と接続されている。
【００２７】
プロセッサ３１０は、さらに、ストレージインタフェース３２５とデータ通信する。ストレージインタフェース３２５は、プロセッサ３１０の指令を受けてデータストレージ３１６にデータを読み書きする。データストレージ３１６は、ハードディスク、オプティカルディスク、ソリッドステートディスク、或いは、他の好適なデータストレージによって構成することができる。
【００２８】
プロセッサ３１０は、さらに、ネットワークインタフェースコントローラ（ＮＩＣ）３３０とデータ通信する。また、ネットワークインタフェースコントローラ（ＮＩＣ）３３０は、物理的ネットワークインタフェースを介した有線の（物理的な）ネットワーク接続に対するデータパス、或いは、無線ネットワークインタフェース３３２（上述したネットワークのうちの１以上のネットワーク等）を介した無線データ接続に対するデータパスを供給する。デジタルデバイス３００は、位置情報サービスを使用することができる。
【００２９】
プロセッサ３１０は、さらに、ユーザ入出力（Ｉ／Ｏ）インタフェース３５０とデータ通信可能である。ユーザ入出力（Ｉ／Ｏ）インタフェース３５０は、ユーザ周辺機器（キーボード３５２、マウス、トラックボール等のポインティングデバイス３５４、ディスプレイ３６０、タッチスクリーン３７０等）とデータ通信を行うことができる。なお、キーボード３５２、ポインティングデバイス３５４、ディスプレイ３６０、タッチスクリーン３７０の各機能部は、ハードウェア又はソフトウェアプラットフォームを含むインテリジェントユニットである。
【００３０】
図４は、図１に示した実施形態に係るプリントシステム１００のフローチャート４００である。プリントシステム１００では、デジタルデバイス３００を用いて、インタラクションから詳細なクエリ結果をプリントする。
【００３１】
まず、プリントシステム１００は、図４のブロック４０４から処理を開始する。ユーザ所有のデジタルデバイス３００は、デジタルアシスタントを実行中である。次に、ブロック４０８で、音声アシストのウェイクアップフレーズの発話（例えば「オーケー○○」）を受け付けると、ウェイクアップする。ウェイクアップフレーズの後、ブロック４１２で、ユーザから音声のサーチクエリ（図１では、「ブルーベリーパイのレシピが欲しい」）を受け付ける。ブロック４１６で、受け付けた音声のサーチクリエに関連するウェブサーチを完了する。ブロック４２０で、最良のクエリ結果と想定されるウェブページからサマリレスポンスを読み上げる（図１では、「recipes.comのレシピを見つけました」）。次のブロック４２４で、音声でのプリントリクエストを受け付けなければ（ブロック４２４のＮｏ）、デジタルデバイス３００は、ブロック４０８に戻り、次のウェイクアップフレーズを受け付けるまで待機する。
【００３２】
サマリレスポンスを読み上げた後、ブロック４２４で、ユーザからのプリントリクエスト（図１では、音声「それを印刷します」）を受け付けると（ブロック４２４のＹｅｓ）、ブロック４２８で、デジタルデバイス３００は、デフォルトのプリンタの設定（コンフィギュレーション）が完了しているか判断する。ブロック４２８で、デフォルトのプリンタの設定が完了している場合（ブロック４２８のＹｅｓ）、ブロック４４４で、詳細な記事、ページ又は他のサーチ結果を、デフォルトのプリンタ（例えば、図１のホームプリンタ１１６）に送信する。
【００３３】
デフォルトのプリンタの設定が完了していない場合（ブロック４２８のＮｏ）、ブロック４３２で、１以上のプリントオプションのリストを判断する。つまり、利用可能なクラウドプリンタ／プリンタサービスのセットを見つける。そしてブロック４３６で、デジタルデバイス３００はプリンタオプションのリストをユーザに読み上げる又は表示する。ブロック４４０で、プリンタオプションのリスト中からユーザによって選択されたプリンタを受け付ける。ブロック４４４で、詳細な記事、ページ又は他のサーチ結果を、選択されたプリンタ（例えば、図１のＭＦＰ１２２ａ，１２２ｂの１又は複数）に送信する。次のブロック４４８で、プリントリクエストが正常に送信されたことをコンファームするためのユーザプロンプト（音声コンファメーション等）を生成して、ブロック４０８に戻る。
【００３４】
図５は、実施形態に係る音声アシストクエリ及びプリントシステム５００を示す。システム５００は、上部にクラウドアクション５０４、中間および下部に音声アシスタントアクション５０８及びユーザアクション５１２を含む。本例では、適切な音声アシスタントは、例えばＡｌｅｘａ（登録商標）であるが、如何なる適切なアシスタントを使用してもよい。
【００３５】
音声アシストクエリ及びプリントシステム５００は、クラウドアクション５０４のブロック５０２で、クラウドプリンティングサービスを適切に起動する。ブロック５１６で、ユーザは、音声のサーチクエリを開始する。次のブロック５２０で、ユーザは、デジタルデバイス３００が実行中のデジタルアシスタントに情報を要求する（図１のサーチクリエ１２８）。ブロック５２４で、デジタルアシスタントは、サーチ（ウェブサーチ等）を入力し、サーチから冒頭部分の記事を応答する（図１の音声出力１３２）。ブロック５２８で、デジタルアシスタントは、レスポンス及び最初の記事の引用文を生成する。ブロック５３２で、ユーザは、デジタルデバイス３００から追加情報を要求する。ブロック５３６で、ユーザは、応答された記事のプリントを指示する（図１の音声入力１３６）。次に、ブロック５４０で、デジタルアシスタントは、スマートプリンタをチェックする。さらに／代わりに（スマートプリンタの設定が完了していない場合）、ブロック５４４で、デジタルアシスタントはクラウドプリンタをチェックする（図１の音声出力１４０）。ブロック５４８で、記事をプリントするための印刷スタイルを設定する（図１の音声入力１４４）。ブロック５５２で、デジタルアシスタントは、プリントリクエストが正常に送信されたことを示すプリントコンファメーションを生成する。ブロック５５６で、ユーザは、プリントアウトのコンファメーションを受ける（図１の音声出力１４８）。ブロック５６０で、処理を終了する。適切には、別のサーチが開始すると、処理を再び開始する。
【００３６】
サーチ結果を一元的にプリントするシステム及び方法に係るデジタルデバイス３００は、上記の機能を実現するために以下に示す機能を有している。またデジタルデバイス３００は、デジタルアシストを実現するアプリケーションプログラムをストレージ３１６に格納し、メモリ３１４から実行する。デジタルデバイス３００が有する機能としては、データインタフェース３３２を介して、連携するドキュメント描画デバイス１２２ａ、１２２ｂとデータを通信する。図１のマイクロフォン１０８ａは、デジタル化した発話をキャプチャして、ユーザ入力の自然言語処理を促進する。プロセッサ３１０は、デジタル化した音声入力からコマンドを抽出し、デジタル化した音声から抽出した音声ルックアップコマンドに応じて、デジタルデータレコードにアクセスする。プロセッサ３１０は、データレコードからデータレコードサマリ部を抽出し、サマリ部をテキストからスピーチへ変換する。次に、プロセッサ３００は、図１のスピーカ１０８ｂを介して、結果として得られたテキストを読み上げる。次に、プロセッサ３００は、デジタル化した音声入力から抽出された音声プリントコマンドに応じて、ドキュメント描画デバイスにサマリ部（応答コンテンツ）を送信して印刷を指示する。
【００３７】
本発明の実施形態に係るデジタルアシスタントによれば、音声化されたサマリ部に対応するより詳細な結果のハードコピーのプリントアウトを、直ちに開始することができる。プリンタは、予め識別されたプリンタ又はユーザ選択されたプリンタが、ホームコンピュータに関連付けることができる。また、ユーザによって、デフォルトのプリントサービス又は選択したサードパーティのプリントサービスを使用してドキュメントをプリントすることができる。プリントサービスとしては、外部の１以上のドキュメント描画デバイス（ＭＦＰ）を指定することができる。
【００３８】
本技術の実施形態について上に説明したが、実施形態は単に例示であり、本技術は上述の実施形態にのみ限定されるものではない。上述の新規な実施形態は、他の種々の形態で実現し得、さらに、本発明の要旨を逸脱しない範囲内において種々省略、代替及び変更を加え得る。特許請求の範囲及びその均等物は、これらの形態又は変形をカバーし、これらは本発明の要旨を逸脱しない。
【符号の説明】
【００３９】
１００…デジタルアシスタントシステムのプリントシステム
１０８…携帯機器（スマートフォン等で構成するデジタルアシスタント）
１０８ａ…マイクロフォン
１０８ｂ…スピーカ
１１２…ウェブサービスサーバ
１１４…ＬＡＮ／ＷＡＮ／インターネット／セルラー
１１６…プリンタ
１２０…プリントサービス
１２２ａ、１２２ｂ…ＭＦＰ
１２４…自然言語ダイアログ
２００…ドキュメント描画システム
２０１…インテリジェントコントローラ
２０２、３１０…プロセッサ
２０４、３１２…ＲＯＭ
２０６、３１４…ＲＡＭ
２０８、３２５…ストレージインタフェース（Ｉ／Ｆ）
２１０…ネットワークインタフェース（Ｉ／Ｆ）
２１４、３３０…ネットワークインタフェースコントローラ（ＮＩＣ）
２１６、３１６…ストレージ
２１８…ＷｉＦｉ
２１９、３５０…ユーザ入出力インタフェース
２２０…データバス
２２２…文書プロセッサインタフェース
２２２…ドキュメントプロセッサインタフェース
３００…デジタルデバイス
３５２…キーボード
３５４…ポインティングデバイス
３６０…ディスプレイ
３７０…タッチスクリーンディスプレイ
【図１】
2020068017.tif 000003
【図２】
2020068017.tif 000004
【図３】
2020068017.tif 000005
【図４】
2020068017.tif 000006
【図５】
2020068017.tif 000007