(57)【要約】【課題】障害者を含む一般ユーザによるＭＦＰの操作性を向上することができる自然言語に基づく複合機制御システム及び方法を提供する。【解決手段】実施形態に係る自然言語に基づく複合機制御システムは、複合機と、前記複合機と近距離無線通信が可能なモバイルデバイスと、を具備する。複合機は、モバイルデバイスが接近したと判断すると、当該モバイルデバイスとデータ通信を確立する。複合機は、前記データ通信が可能な状態において、自然言語対話を行うタスクを呼び出す。複合機は、前記自然言語対話を行うタスクの呼び出しにより、モバイルデバイスを所有するユーザと自然言語ダイアログによる操作案内と音声入力を開始する。複合機は、前記自然言語ダイアログに従って前記ユーザから前記モバイルデバイスに対して発話されるドキュメント処理指示を受け付ける。複合機は、前記モバイルデバイスから受信した前記ドキュメント処理指示を実行するよう構成される。【選択図】図１
2019092153.tif 000002
【特許請求の範囲】
【請求項１】
複合機と、
前記複合機と近距離無線通信が可能なモバイルデバイスと、
を具備する複合機制御システムであって、
前記複合機は、前記モバイルデバイスが接近したと判断すると、当該モバイルデバイスとデータ通信を確立するよう構成され、
前記複合機は、前記データ通信が可能な状態において、自然言語対話を行うタスクを呼び出すよう構成され、
前記複合機は、前記自然言語対話を行うタスクの呼び出しにより、前記モバイルデバイスを所有するユーザと自然言語ダイアログによる操作案内と音声入力を開始するよう構成され、
前記複合機は、前記自然言語ダイアログに従って前記ユーザから前記モバイルデバイスに対して発話されるドキュメント処理指示を受け付けるよう構成され、
前記複合機は、前記モバイルデバイスから受信した前記ドキュメント処理指示を実行するよう構成される
自然言語に基づく複合機制御システム。
【請求項２】
前記自然言語対話を行うタスクの呼び出しは、前記モバイルデバイスからの呼び出し名の発話に応答して実行するよう構成される、請求項１に記載の自然言語に基づく複合機制御システム。
【請求項３】
前記複合機にはビーコンが設けられ、前記モバイルデバイスが前記複合機に接近したことを前記ビーコンの受信信号に従って判断する、請求項１に記載の自然言語に基づく複合機制御システム。
【請求項４】
前記モバイルデバイスの画面には、前記自然言語ダイアログに基づくドキュメント操作案内が表示されると共に、前記ドキュメント操作案内に従って応答した前記ユーザの音声入力をモニタするよう構成される、請求項１に記載の自然言語に基づく複合機制御システム。
【請求項５】
複合機と、前記複合機と近距離無線通信が可能なモバイルデバイスと、を具備する複合機制御システムの方法であって、
前記複合機は、前記モバイルデバイスが接近したと判断すると、当該モバイルデバイスとデータ通信を確立することと、
前記複合機は、前記データ通信が可能な状態において、自然言語対話を行うタスクを呼び出すことと、
前記複合機は、前記自然言語対話を行うタスクの呼び出しにより、前記モバイルデバイスを所有するユーザと自然言語ダイアログによる操作案内と音声入力を開始することと、
前記複合機は、前記自然言語ダイアログに従って前記ユーザから前記モバイルデバイスに対して発話されるドキュメント処理指示を受け付けることと、
前記複合機は、前記モバイルデバイスから受信した前記ドキュメント処理指示を実行することと、
を具備する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態に係るアプリケーションは、ドキュメント処理デバイス動作の音声補助の制御に関する。具体的には、言語的又はタッチスクリーンインタフェースとしてポータブルデータデバイス（スマートフォン等）を用いた、ユーザと複合機との間の自然言語ダイアログに関する。
【背景技術】
【０００２】
ドキュメント処理デバイスは、プリンタ、コピー機、スキャナ及びＥメールゲートウェイを含む。近年、オフィス環境には、これらの機能のうち２以上の機能を搭載したデバイスがある。これらのデバイスは、複合機（ＭＦＰ）又は複合デバイス（ＭＦＤ）と呼ばれる。本明細書で、ＭＦＰとは、プリンタ単体、あるいは、上記のいずれかの機能とプリンタとの組み合わせを含む。さらに、好適なドキュメント処理デバイスを使用可能である。
【０００３】
現在、多くのＭＦＰや他のオフィス用デバイスは、ユーザインタフェース（タッチパネル、ボタンパネル等）により操作される。障害者法（米国連邦法）を遵守し、障害者以外のコミュニティーにも配慮するため、音声補助のユーザインタフェースを提供するデバイスもある。しかしながら、音声補助のユーザインタフェースは、開発及び導入の観点から費用が掛かり、個々のユーザの基本設定に対応してカスタマイズしなければならず、全ての顧客ニーズに合わせることは簡単ではない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−１５２９２７号公報
【特許文献２】特開２０１８−１２４６５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、障害者を含む一般ユーザによるＭＦＰの操作性を向上することができる自然言語に基づく複合機制御システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
実施形態に係る自然言語に基づく複合機制御システムは、複合機と、前記複合機と近距離無線通信が可能なモバイルデバイスと、を具備する。前記複合機は、前記モバイルデバイスが接近したと判断すると、当該モバイルデバイスとデータ通信を確立するよう構成され、前記複合機は、前記データ通信が可能な状態において、自然言語対話を行うタスクを呼び出すよう構成され、前記複合機は、前記自然言語対話を行うタスクの呼び出しにより、前記モバイルデバイスを所有するユーザと自然言語ダイアログによる操作案内と音声入力を開始するよう構成され、前記複合機は、前記自然言語ダイアログに従って前記ユーザから前記モバイルデバイスに対して発話されるドキュメント処理指示を受け付けるよう構成され、前記複合機は、前記モバイルデバイスから受信した前記ドキュメント処理指示を実行するよう構成される。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施形態に係る自然言語ドキュメント処理動作システムを示す図。
【図２】本発明の実施形態に係るドキュメント処理デバイスの構成を示す図。
【図３】本発明の実施形態に係るポータブルデジタルデバイスの構成を示す図。
【図４】本発明の実施形態に係る音声補助ドキュメント処理動作をフローチャート。
【図５】本発明の実施形態に係るドキュメント処理動作の自然言語ダイアログ制御をフローチャート。
【図６】本発明の実施形態に係る自然言語制御のドキュメント処理動作のためのデバイスとユーザ（使用者）とのインタラクションを示すフロー図を示す。
【図７】本発明の別の実施形態に係る自然言語制御のドキュメント処理動作のためのデバイスとユーザ（使用者）とのインタラクションを示すフロー図を示す。
【図８】本発明の別の実施形態に係る自然言語制御のドキュメント処理動作のためのデバイスとユーザ（使用者）とのインタラクションを示すフロー図を示す。
【図９】本発明の実施形態に係るモバイルアプリのスクリーンショットの例を示す。
【図１０】本発明の実施形態に係るモバイルアプリに入力される名前及びパスワードを示す図。
【図１１ａ】本発明の実施形態に係るディスプレイに表示された第１の自然言語ダイアログを示す図。
【図１１ｂ】第１の自然言語ダイアログに続く第２の自然言語ダイアログを示す図。
【図１１ｃ】第２の自然言語ダイアログに続く第３の自然言語ダイアログを示す図。
【図１２ａ】本発明の実施形態に係るデバイスとユーザとの第１インタラクションのシナリオを示す図。
【図１２ｂ】本発明の実施形態に係るデバイスとユーザとの第２インタラクションのシナリオを示す図。
【図１３ａ】本発明の別の実施形態例に係るデバイスとユーザとのインタラクションの第１シナリオを示す図。
【図１３ｂ】本発明の別の実施形態例に係るデバイスとユーザとのインタラクションの第２シナリオを示す図。
【図１４ａ】本発明の実施形態に係るデバイスとユーザとのインタラクションのシナリオの第１キーワードを示す図。
【図１４ｂ】本発明の実施形態に係るデバイスとユーザとのインタラクションのシナリオの第２キーワードを示す図。
【発明を実施するための形態】
【０００８】
各種の実施形態は、明細書、特許請求の範囲及び図面を参照することで、よりよく理解され得る。
【０００９】
ここに開示するシステム及び方法は、実施形態として図１乃至図１４を参照して詳細に説明する。なお、開示及び記載された例示、設備、構成、部品、要素、装置、デバイス、方法、システム等に対する変形は、好適に行われ得るし、また、特定のアプリケーションに対して要求され得る。本開示において、特定の技術、設備等は、提示された特定の例と同一であるか、あるいは、単にこの技術、設備等の一般的な記述と同一である。具体的に明示しない限り、具体的な詳細又は例と同一であると必須又は限定的に解釈されることを意図したものでは無いし、されてはならない。
【００１０】
本発明の実施形態に係る自然言語に基づく複合機制御システム及び方法によれば、ポータブルデータデバイス（以下、単にモバイルデバイスと称する）がＭＦＰに近いことを探知する。ＭＦＰのステータスがモニタされる。ユーザ固有のコンフィギュレーション情報が記憶される。システムは、アクティビティデータを受信し、アクティビティデータは、ユーザにより予め選択されたアクティビティのパフォーマンスに対応する。システムは、ＭＦＰのモニタされたステータス及び記憶されたユーザ固有のコンフィギュレーション設定に従って、モバイルデバイスのユーザと自然言語のやり取りを開始する。自然言語のやり取りを介して受け付けたドキュメント処理指示により、自然言語の応答を生成する。その後、自然言語の応答に応じて、自然言語のやり取りを介して第２のドキュメント処理指示を受け付ける。第２のドキュメント処理指示に従って、ドキュメント処理動作を実行する。
【００１１】
現在、多くのＭＦＰや他のオフィス用デバイスは、ユーザインタフェース（タッチパネル、ボタンパネル等）により操作される。リハビリテーション法（米国連邦法）第５０８条を遵守するため、また、障害者（又は健常者）が容易に使用できるようにするため、多くのＭＦＰデバイスは、音声補助のユーザインタフェースを提供する。実装の成功は難しく費用も掛かり、また、現在同じ技術分野に存在するデバイスに対応していない場合もある。後でさらに詳細に説明するが、実施形態例によれば、モバイルデバイス（スマートフォン、タブレットコンピュータ、ノート型コンピュータ、スマートウォッチ等）は、オフィス用デバイス（ＭＦＰ等）と（Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、Ｗｉ−Ｆｉ等を介して）無線通信するのに用いられ、デバイスのタスクを実現するために、ユーザに自然言語のユーザインタフェースを提供する。
【００１２】
ここで提供される音声入力及び音声応答は、タスクを開始するために、自然言語、メニューにより駆動される「ウィザード」インテリジェントシステム、記憶されたユーザの基本設定、並びに、音声入力及び物理的入力（用紙トレイ内の用紙を認識することを含む）の両方に対する応答を利用する。モバイルデバイスアプリケーション（以下、単にアプリと称する）は、デバイスの機能を一連の自然言語メッセージに変換することができ、同様に、ユーザの応答をＭＦＰが理解可能なコンピュータコマンドに変換することができる。このようなアプリを提供することで、ＭＦＰデバイスと対話するためのユーザインタフェースを益々ユーザフレンドリーとすることができる。
【００１３】
本明細書において、自然言語ダイアログは、あらゆる好適な、デバイスとユーザとの間の言語コミュニケーションを含む。例として、ユーザとデバイスとが発話する言語コミュニケーション、ユーザが発話しデバイスがテキストで応答する言語コミュニケーション、ユーザがテキストを入力しデバイスが発話する言語コミュニケーション、あるいは、ユーザとデバイスとの両方がテキストを用いる言語コミュニケーションが挙げられる。また、好適には、ユーザは、デバイスインタラクションを用いて応答してもよい。デバイスインタラクションの例として、タッチスクリーンに表示された「はい」又は「いいえ」ボタンをタップする、或いはＭＦＰのキーやＭＦＰのディスプレイに表示されたキーを押すことが挙げられる。
【００１４】
システムは、モバイルアプリを含んでもよい。モバイルアプリは、オフィス用デバイス（ＭＦＰ等）と通信して、自然言語音声インタラクションのユーザインタフェースをユーザに提供する。モバイルアプリにより、タスク、物理的メッセージ、あるいは、メニューにより駆動される選択を実現する。
【００１５】
ユーザインタフェース及び協働するソフトウェアは、音声入力を認識し、音声メニューコマンドで応答する。音声メニューコマンドは、以下を含む。
・英語のコマンド。
・日本語又は外国語のコマンド。
・ＭＦＰ又はデバイスが提供する視覚的フィードバック。視覚的フィードバックは以下を含む。
・コミュニケーション上の質問。
・聞き取り。
・ユーザ応答のオプション。
・ユーザの音声を変換したテキスト。
・デバイス応答及び承認。
【００１６】
各実施形態によれば、アプリケーション及びシステムは、ハードウェアデバイス（ＭＦＰ等）と対話することにより、自然言語のユーザインタフェースをユーザに提供する。ユーザの接近距離（ビーコンで定義される）が閾値に達すると、あるいは、タッチ操作又は音声の立ち上げによりユーザがＭＦＰのアプリを呼び出すと、ＭＦＰのアプリが起動又は開始する。
【００１７】
光通信、無線通信、接近、ユーザの基本設定、バーコード、Ｗｉ−Ｆｉ、Ｗｉ−Ｆｉ  ｄｉｒｅｃｔ、ＱＲコードの読み取り、ＮＦＣ等により、アプリとＭＦＰとの間の無線通信が確立する。通信が確立すると、アプリは、ユーザの基本設定及び履歴情報を読み出す。アプリは、また、デバイスの機能をデバイスから検索する。
【００１８】
好適には、用紙を自動ドキュメントフィーダ又はプラテンガラスに載置すること、或いは、発話（例えば「ヘイ、モッピー」）を行うことにより、タスクの実行を自動的に開始する。
【００１９】
アプリが一連の音声メッセージをユーザに対して出力し、デバイスが応答を集音することにより、ＭＦＰのタスクが構成される。ウィザード的な方法が用いられる。この方法では、ジョブの詳細を取得するために効率的に通信するため、直前の応答に基づいて次のメッセージがユーザに対して出力される。ユーザの言語は、デバイスが理解可能なコンピュータコマンドに変換される。アプリは、ジョブを構成すると、ジョブをデバイスに送信する。デバイスは、このジョブを処理する。
【００２０】
モバイルアプリケーションの例として、モバイルデバイスが実行するクライアントアプリが挙げられる（例えば、ｉＯＳ）。モバイルアプリは、自然言語を使用して音声コマンドをコピーのＭＦＰコマンドに変換する。これにより、ＭＦＰは、コピータスク（あるいは、コピー、用紙にプリント、スキャンしてＥメール送信、他の機能等の他のタスク）を開始する。
【００２１】
本発明の実施形態は、２つの基本システムを含む。
【００２２】
１つは、クライアント側のモバイルデバイスが実行するモバイルアプリである。
【００２３】
クライアント側のモバイルアプリは、ユーザの音声を聞き取り、ローカルでテキストを変換し、ＵＩ（ユーザインタフェース）で会話を提示し、テキストをサーバに送信する。
【００２４】
クライアント側のモバイルアプリは、ｉＯＳ「Ｓｉｒｉ」、あるいは、他の好適な音声認識を使用することができる。
【００２５】
もう１つは、ＭＦＰが実行するバックグラウンドアプリである。
【００２６】
ＭＦＰは、バックグラウンドアプリを内蔵する。バックグラウンドアプリは、モバイルアプリから、テキスト文字列を受信する。バックグラウンドアプリは、テキストを解析し、テキストをプリントコマンドに変換する。
【００２７】
ＭＦＰに接続されるアプリサーバ（ＨＴＴＰ  Ｒｅｓｔサーバ）は、辞書を内蔵する。これにより、コピーコマンドについて多様なフレーズを受け付けることにより、自然なコミュニケーションを実現できる。例えば、辞書に登録される「デュプレックス」及び「両面」の両方の用語を用いて、ページの表裏面にプリントするためのコピーコマンドであると、変換することができる。
【００２８】
登録済みのユーザは、モバイルアプリからＭＦＰにログインできる。モバイルアプリは、オプションで指紋認証でもログイン可能である。これにより、ユーザとＭＦＰデバイスとの対話に認証が要求され、ユーザの基本設定がジョブ自体に転送される。また、ユーザは、自然言語を用いて、プリントジョブのホールド状態を解除することができる。
【００２９】
図１は、本発明の実施形態に係る自然言語動作による複合機制御システム１００を示す。複合機制御システム１００は、１以上のＭＦＰ（ＭＦＰ１０４等）を含む。好適には、ＭＦＰ１０４は、好適な有線又は無線のデータパスにより、ネットワーク１０８に接続される。ネットワーク１０８は、好適には、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）、又はこれらはインターネットを含んでもよいし、あるいは、これらの好適な組み合わせでもよい。ＭＦＰ１０４は、モバイルデバイス（スマートフォン１１２等）と無線通信可能である。スマートフォン１１２とＭＦＰ１０４間の通信は、Ｗｉ−Ｆｉ（Ｗｉ−Ｆｉ  ｄｉｒｅｃｔを含む）、近距離無線通信（ＮＦＣ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を用いて実現できる。
【００３０】
スマートフォン１１２を保持するユーザ１１６は、印刷を行うためＭＦＰ１０４に近づく。スマートフォン１１２がＭＦＰ１０４に近づいたことは、好適な手段（Ｂｌｕｅｔｏｏｔｈビーコン１２０、ＮＦＣインタフェース１２４を含む）により判断することができる。あるいは、ＭＦＰ１０４に付されたマーカ（ＱＲコード１２８等）を読み取り検出することにより接近判断することができる。
【００３１】
スマートフォン１１２は、インタフェースアプリを実行中であり、ユーザ固有のドキュメント処理の基本設定や、基本設定の言語等が記憶されている。スマートフォン１１２及びＭＦＰ１０４は、ユーザ１１６がＭＦＰ１０４に十分近づいたとき、予め設定されたパターンのマッチングにより、ＭＦＰ１０４とスマートフォン１１２との間の自然言語コミュニケーション設定を開始する。好適には、近距離をトリガとして、あるいは、ユーザ１１６の機械的なインタラクション（スマートフォン１１２のタッチスクリーンやＭＦＰ１０４のユーザインタフェースを押下する等）トリガとして、自然言語コミュニケーション設定を開始する。他の機械的なインタラクションとして、ＭＦＰ１０４のドキュメントフィーダ１３６を開閉する（図示の矢印）、あるいは、スキャナのプラテンにドキュメントを載置することをトリガとして、自然言語コミュニケーション設定を開始してもよい。また、好適には、アプリを実行中に、スマートフォン１１２に対してウェイクアップのフレーズを発話することにより、自然言語コミュニケーション設定を開始してもよい。このアプリは、実行中に（別のアプリを並行して実行中にバックグラウンドで実行中の場合を含む）、このようなフレーズを継続的に聞き取る特性を持つ。
【００３２】
自然言語入力は、好適には、ＭＦＰ１０４のプロセッサを介して、スマートフォン１１２のプロセッサを介して、あるいは、これらの組み合わせを介して、テキストに変換される。ドキュメント処理及びテキストからスピーチへの変換は、好適には、ネットワーク接続された言語プロセッサ１３２により実行され、言語プロセッサ１３２はデジタル音声ファイルを受信して対応するテキストファイルを返信することが可能である。言語プロセッサ１３２を用いることにより、テキストからスピーチへ変換するための専用のハードウェア又はソフトウェアをＭＦＰに設ける必要が無い。ドキュメント処理動作は、その後、自然言語ダイアログにより完了する（後でさらに詳細に説明する）。
【００３３】
次に、図２は、本発明の実施形態に係るドキュメント描画システム２００を含むＭＦＰデバイスを示す。好適には、ドキュメント描画システム２００は、ＭＦＰ（図１のＭＦＰ１０４等）に含まれる。ドキュメント描画システム２００は、インテリジェントコントローラ２０１を含む。インテリジェントコントローラ２０１は、１以上のプロセッサ（図示のプロセッサ２０２等）を含む。プロセッサ２０２は、データバス２１２を介して、不揮発性メモリ（ＲＯＭ２０４等）及びランダムアクセスメモリ（ＲＡＭ）２０６と接続される。
【００３４】
プロセッサ２０２は、さらに、記憶装置インタフェース（Ｉ／Ｆ）２０８とデータ通信する。記憶装置インタフェース２０８は、ストレージ２１６にデータを読み書きする。ストレージ２１６は、ハードディスク、オプティカルディスク、ソリッドステートディスク、クラウドベースのストレージ、あるいは、他の好適なデータストレージにより構成することができる。
【００３５】
プロセッサ２０２は、さらに、ネットワークインタフェース（Ｉ／Ｆ）２１０とデータ通信する。ネットワークインタフェース２１０は、ネットワークインタフェースコントローラ（ＮＩＣ）２１４に対するインタフェースとして機能する。また、ネットワークインタフェースコントローラ（ＮＩＣ）２１４は、好適な有線の（物理的な）ネットワーク接続２２０に対するデータパス、あるいは、無線ネットワークインタフェース２１８を介した無線データ接続に対するデータパスを供給する。無線接続は、例えば、セルラー方式、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、無線ユニバーサルシリアルバス（無線ＵＳＢ）、衛星等である。有線のインタフェースは、例えば、イーサネット（登録商標）、ＵＳＢ（登録商標）、ＩＥＥＥ１３９４（ＦｉｒｅＷｉｒｅ）、Ｌｉｇｈｔｎｉｎｇ、電話線等である。プロセッサ２０２は、また、１以上のセンサ（図示せず）とデータ通信する。１以上のセンサは、デバイスや、デバイスに関する環境（デバイスの温度、周囲の温度、湿度、デバイスの移動等）の状況に関するデータを供給する。
【００３６】
プロセッサ２０２は、さらに、好適なユーザ入出力（Ｉ／Ｏ）インタフェース２１９とデータ通信可能である。ユーザ入出力（Ｉ／Ｏ）インタフェース２１９は、ユーザ周辺機器（ディスプレイ、キーボード、マウス、トラックボール、タッチスクリーン等を含む）とデータ通信を行う。好適には、ハードウェアモニタは、モニタリングシステムと連携して、デバイスイベントデータを供給する。別の例として、モニタリングシステムは、ページカウンタ、センサ出力（消耗レベルセンサ、温度センサ、電力品質センサ、デバイスエラーセンサ、ドア開閉センサ等を含む）等を有してもよい。各種の出力データは、１以上のデバイスログ（図２のストレージ２１６等）に記憶される。
【００３７】
さらに、文書プロセッサインタフェース（Ｉ／Ｆ）２２２は、データバス２１２とデータ通信する。文書プロセッサインタフェース２２２は、ＭＦＰの機能部２５０とデータ通信するのに好適である。図示の例では、ＭＦＰの機能部２５０は、コピーハードウェア２４０、スキャンハードウェア２４２、プリントハードウェア２４４及びファックスハードウェア２４６を有する。コピーハードウェア２４０、スキャンハードウェア２４２、プリントハードウェア２４４及びファックスハードウェア２４６は、ＭＦＰの機能的ハードウェアを構成する。なお、機能部２５０は、好適には、好適なハードウェア又はソフトウェアプラットフォームを含むインテリジェントユニットである。
【００３８】
インテリジェントコントローラ２０１は、好適には、デバイスコンフィギュレーション及び管理を実行する内蔵のウェブサーバシステムを有する。好適なウェブインタフェースは、東芝テック株式会社が提供するＴＯＰ  ＡＣＣＥＳＳ  Ｃｏｎｔｒｏｌｌｅｒである。
【００３９】
図３は、本発明の実施形態に係る好適なポータブルデジタルデバイスであるモバイルデバイス３００（図１のスマートフォン１１２等）を示す。モバイルデバイス３００は、１以上のプロセッサ（図示のプロセッサ３１０等）を含む。プロセッサ３１０は、データバス３１８を介して、不揮発性メモリ（ＲＯＭ３１２等）及びランダムアクセスメモリ（ＲＡＭ）３１４に接続される。
【００４０】
プロセッサ３１０は、さらに、ストレージインタフェース３２５とデータ通信する。ストレージインタフェース３２５は、データストレージシステム３１６にデータを読み書きする。データストレージシステム３１６は、好適には、ハードディスク、オプティカルディスク、ソリッドステートディスク、あるいは、他の好適なデータストレージ等によって構成される。
【００４１】
プロセッサ３１０は、さらに、ネットワークインタフェースコントローラ（ＮＩＣ）３３０とデータ通信する。また、ネットワークインタフェースコントローラ（ＮＩＣ）３３０は、ワイヤードインタフェース３３４を介した好適な有線の（物理的な）ネットワーク接続に対するデータパス、あるいは、ワイヤレスインタフェース３３２（上に詳細に説明したネットワークのうちの１以上のネットワーク等）を介した無線データ接続に対するデータパスを供給する。モバイルデバイス３００は、好適には、位置情報サービスを使用する。一例として、複数のエラーイベント管理システムが使用される場合、ＭＦＰデバイスをモニタするイベント管理システムとして、ローカルのシステム又は近くにあるシステムほど有利である。
【００４２】
プロセッサ３１０は、さらに、好適なユーザ入出力（Ｉ／Ｏ）インタフェース３５０とデータ通信可能である。ユーザ入出力（Ｉ／Ｏ）インタフェース３５０は、ユーザ周辺機器（ディスプレイ３６０、キーボード３５２、マウス、トラックボール、他のポインティングデバイス３５４、タッチスクリーンディスプレイ３７０等を含む）とデータ通信を行う。なお、ユーザ周辺機器は、好適には、好適なハードウェア又はソフトウェアプラットフォームを含むインテリジェントユニットである。
【００４３】
図４は、本発明の実施形態に係るスマートフォン１１２における音声補助ドキュメント処理アプリの動作を示すフローチャート４００である。音声補助プロセス（モバイルアプリ）は、ブロック４０４でスタートし、ブロック４０８に進む。ブロック４０８で、モバイルアプリは、ＭＦＰ１０４との接続を確立する。ブロック４１２で、ユーザは、スマートフォン１１２又はアプリと対話し、ドキュメント処理タスクを呼び出す。ブロック４１６で、ユーザは、ＭＦＰ１０４とスマートフォン１１２との間のデバイス通信オプションが選択可能である。上述のように、好適な無線プロトコルを使用可能である。デバイス通信オプションの例として、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣ、光、セルラーなどが挙げられる。ブロック４２０で、予め選択されたユーザの基本設定及び言語設定に従って、通信セッションが実現される。
【００４４】
次に、ブロック４２４で、タスクが完了するまで入力に基づき、新たなオプションを提供する。入力は、自然言語ダイアログ（音声入力ダイアログ）を用いて行われる。自然言語ダイアログによる処理では、必要に応じてスマホ−ＭＦＰ間で相互通信を行い、ユーザ所望のドキュメント処理動作を設定する。ブロック４２８で、スマートフォン１１２は自然言語を変換した適切なコマンドをＭＦＰ１０４に送信する。ブロック４３２で、ドキュメント処理タスクを完了すると判断すると（ブロック４３２のＹｅｓ）、プロセスを終了する。同タスクを完了すると判断しなければ（ブロック４３２のＮｏ）、プロセスはブロック４１６に戻る。
【００４５】
図５は、本発明の実施形態に係るスマートフォン１１２とＭＦＰ１０４間のドキュメント処理動作の自然言語ダイアログ制御を示すフローチャート５００である。自然言語ダイアログ制御プロセスは、ブロック５０４でスタートし、ブロック５０８に進む。ブロック５０８でスマートフォン１１２とＭＦＰ１０４間のＢｌｕｅｔｏｏｔｈ等による接続を確立すると（ブロック５０８のＹｅｓ）、ブロック５１２で、コピーすべきドキュメントがＭＦＰ１０４の自動ドキュメントフィーダ１３６（ＡＤＦ）に載置、又はプラテンに載置されたかどうかを判断する。例えば、コピーしたいドキュメントが載置されたと判断すると（ブロック５１２のＹｅｓ）、ユーザがドキュメントをコピーするものと判断する。ブロック５１６で１部コピーが選択されると、ブロック５２０で承認を取り、ブロック５２４で、ユーザが承認する。ユーザが承認しなければ、ブロック５２８に進む。ブロック５２８で、ユーザは、希望するコピー部数を指定できる。なお、ブロック５１６で１部コピーが選択されなければ、直接ブロック５２８に進む。
【００４６】
ブロック５２８で、ＭＦＰ１０４は希望するコピー部数を指定するようスマートフォン１１２を介してユーザにメッセージを出す。ブロック５３２で、スマートフォン１１２から指定されたコピー部数を受け付ける。ブロック５３６で、指定された部数の承認を提示し、ブロック５４０で承認を要求する。承認されなければ（ブロック５４０のＮｏ）、ブロック５２８に戻る。承認された場合（ブロック５４０のＹｅｓ）、ブロック５４４で指定数のコピーを開始する。ブロック５２４で１部コピーが承認された場合（ブロック５２４のＹｅｓ）、直接ブロック５４４に進む。
【００４７】
次に、ブロック５４８で、ＭＦＰ１０４は、スマートフォン１１２を介してステープルするかどうかをユーザに尋ねる。１ページのコピーの場合、ステープルは不要であるので、ブロック５４８は省略される。スマートフォン１１２からステープルが選択された場合（ブロック５４８のＹｅｓ）、ブロック５５２でコピーページをステープルする。ブロック５５６で、ユーザに承認を提示「コピーが完了しました。原本を取り忘れしないでください」し、原本を取るよう注意を促す。ブロック５４８でステープルが選択されなかった場合（ブロック５４８のＮｏ）、直接ブロック５５６に進む。ブロック５６０で、ユーザが用紙を取ったと判断すると、システムはブロック５０８に戻る。ブロック５０８で、スマートフォン１１２とＭＦＰ１０４間のＢｌｕｅｔｏｏｔｈ等の接続を継続するか、あるいは新たに確立する。
【００４８】
図６乃至８は、各実施形態に係る自然言語制御のドキュメント処理動作のためのスマートフォン１１２を所有するユーザとＭＦＰとの間のインタラクションを示すフロー図である。
【００４９】
図６のインタラクションは、５部コピーしてステープルしない場合のフローである。図６では、コピーすべき対象ドキュメントがＭＦＰ１０４のドキュメントフィーダ１３６（ＡＤＦ）に載置されたことをトリガにしてアプリ（タスク）が起動されると、ＭＦＰ１０４は、同アプリに対してドキュメント検出の情報と論理的オプション情報を提供すると共に、ＭＦＰ１０４が持つ性能を送信する。ＭＦＰ１０４が持つ性能を送信することで、アプリ側はユーザからの要求に対し正しく対応することができる。例えば、白黒印刷用のＭＦＰに対して、ユーザからカラー印刷が要求されると、カラー印刷が出来ないことを応答することが可能となる。ここでのアプリは、スマートフォン１１２側のモバイルアプリと、ＭＦＰ１０４側のバックグラウンドアプリとの連携による動作を示すものである。また、ユーザからの音声入力は、スマートフォン１１２を用いて実行されるものであるが、以下では煩雑を避けるためその表現は省略している。
【００５０】
起動したアプリは、ＭＦＰ１０４が持つ性能を判断して、スマートフォン１１２を介してユーザにドキュメント操作案内として、「コピーするのか？スキャンするのか？ファックスするのか？」のメッセージを表示及び音声出力する。当該メッセージに対してユーザから「コピー」と音声入力されると、アプリはそれを理解し「何部コピーしますか？」のメッセージをユーザに対し表示及び音声出力する。当該メッセージに対してユーザから「５部」と音声入力されると、アプリは「両面コピーしますか？」のメッセージを更にユーザに対し表示及び音声出力する。当該メッセージに対してユーザから「いいえ」と音声入力されると、アプリは「ステープルしますか？穴あけしますか？終了しますか？」のメッセージを更にユーザに対し表示及び音声出力する。当該メッセージに対してユーザから「終了」と音声入力されると、アプリはユーザから入力された印刷ジョブを生成してＭＦＰ１０４に送信する。そして、ＭＦＰ１０４からコピー完了のステータスをアプリが受けると、ユーザに対し「コピーが完了しました。原本を取り忘れしないでください」のメッセージを表示及び音声出力して、印刷動作を終了する。
【００５１】
図７のインタラクションは、１部コピーする場合のフローである。図７では、コピーすべきドキュメントがＭＦＰ１０４のドキュメントフィーダ１３６（ＡＤＦ）に載置されたこと、及びスマートフォン１１２を介してユーザからの発話“ヘイモッピー”と発話されたことをトリガとしてアプリが起動される。図６と同様に、ＭＦＰ１０４は、アプリに対してドキュメント検出の情報と論理的オプション情報を提供すると共に、ＭＦＰ１０４が持つ性能を送信する。起動されたアプリは、ＭＦＰ１０４が持つ性能を判断して、スマートフォン１１２を介してユーザにドキュメント操作案内として、「こんにちは“ユーザ名さん”何部コピーしますか？」のメッセージを表示及び音声出力する。当該メッセージに対してユーザから「１部」と音声入力されると、アプリはそれを理解し、「オッケー  ドキュメントを１部コピーします。これで良いですか？」のメッセージをユーザに対し表示及び音声出力する。当該メッセージに対してユーザから「はい」と音声入力されると、アプリはそれを理解し、ユーザから入力された印刷ジョブを生成してＭＦＰ１０４に送信する。そして、ＭＦＰ１０４からコピー完了のステータスをアプリが受けると、ユーザに対し「コピーが完了しました。原本を取り忘れしないでください」のメッセージを表示及び音声出力して、印刷動作を終了する。この動作例では、コピー数の問い合わせに対し「１部」の応答であったので、アプリはステープル不要と判断することができ、その問い合わせは行わない。
【００５２】
図８のインタラクションは、２部コピーしてステープルする場合のフローである。図７と同様に、コピーすべきドキュメントがＭＦＰ１０４の自動ドキュメントフィーダ（ＡＤＦ）に載置されたこと、及びスマートフォン１１２を介してユーザからの発話“ヘイモッピー”をトリガとしてアプリが起動される。図７と同様に、ＭＦＰ１０４は、アプリに対してドキュメント検出の情報と論理的オプション情報を提供すると共に、ＭＦＰ１０４が持つ性能を送信する。起動されたアプリは、ＭＦＰ１０４が持つ性能を判断して、スマートフォン１１２を介してユーザにドキュメント操作案内として、「こんにちは“ユーザ名さん”何部コピーしますか？」のメッセージを表示及び音声出力する。当該メッセージに対してユーザから「２部」と音声入力されると、アプリはそれを理解し、「コピーをステープルしますか？」のメッセージをユーザに対し表示及び音声出力する。当該メッセージに対してユーザから「はい」と音声入力されると、アプリはそれを理解し、「オッケー  ドキュメントを２部コピーしステープルします。これで良いですか？」のメッセージをユーザに対し表示及び音声出力する。当該メッセージに対して「はい」と音声入力されると、アプリはそれを理解し、ユーザから入力された印刷ジョブを生成してＭＦＰ１０４に送信する。そして、ＭＦＰ１０４からコピー完了のステータスをアプリが受けると、ユーザに対し「コピーが完了しました。原本を取り忘れしないでください」のメッセージを表示及び音声出力して、印刷動作を終了する。
【００５３】
図９は、スマートフォン１１２のモバイルアプリのスクリーンショットの例を示す。
・ホーム画面（左）は、会話を開始するための指示を示す。
・画面下部のマイク印をタップすると、聞き取りを実行する。
・画面（右）では、ユーザが聞き取りを実行している最中、マイクが青色になり、回転するインジケータが表示される。このとき、ユーザが発話する。
・コピータスクが終了すると、会話の吹き出しが消え、ホーム画面が表示される。
・ユーザから「ストップ」が発話されると、会話の吹き出しが消え、ホーム画面が表示される。
【００５４】
ユーザは、以下の様にしてコマンドを呼び出すことができる。
・画面の下部のマイク印をタップする。
・「ヘイ、モッピー」、「ヘイ、ジャッキー」等の呼び出し名、あるいは、ニックネーム名でＭＦＰ１０４を呼び出す。システムは、常時「聞き取り」を実行している。このため、呼び出し名として一般に知られている名前が使用されると、誤って周囲のおしゃべりに応答する恐れがあるので注意すべきである。
【００５５】
ユーザからの音声入力の複合的なコマンドは、以下の例示のように、３つ以上のキーワードコマンドを含むことができる。
・「１部、両面コピーして、ステープルしてください。」
・「両面コピーしてください。」（その後、ユーザに、ステープルするかどうかを尋ねるメッセージを出す。）
・「１部、ステープルしてコピーしてください。」（その後、ユーザに、両面コピーするかどうかを尋ねるメッセージを出す。）
・ストップコマンド（例えば、「ストップ。」）により、会話を中断し、聞き取りと音声認識をストップすることができる。ストップコマンドにより、画面を消し、ユーザに対する指示を初期表示することができる。
【００５６】
スマートフォン１１２のモバイルアプリを初めて実行するとき、ユーザは、初期値を設定することができる。初期設定は、後に、設定画面上の設定ボタンをタップすることで変更可能である。初期値設定は、ユーザ固有の設定でもよいし、或いは、ユーザのドキュメント処理のニーズに固有の設定でもよい。
【００５７】
図１０に示すように、モバイルアプリは、初期設定画面からのアカウント設定として、例えば、ユーザ名、及びパスワード等を要求する。オプションとして、指紋登録可能でもよい。コンフィギュレーション設定は、以下の設定（図１０には、一部が図示が省略されている）を含む。
【００５８】
・ニックネーム。ユーザが、ＴＳＢコピー対話から音声で呼んでほしいと思う名前のこと。例えば、発音通りに「タロー」と入力してもよい。
・ユーザ名。ＭＦＰ認証に用いる。
・パスワード。ＭＦＰ認証に用いる。
・デバイスのＩＰアドレス。ＭＦＰのＴＳＢコピー対話アプリへの接続に用いる。
・英語又は日本語の何れか。音声認識と音声応答に用いる。
・タッチＩＤ。ＴＳＢコピー対話が指紋認証によりログインするのに用いる。
・キーワード。ＴＳＢコピー対話は、キーワードを聞き取ることにより、オン／オフするのに用いる。
・タイムアウト。ＴＳＢコピー対話が聞き取りをストップするのに用いる。
【００５９】
複合機制御システムは、特定の動作を識別し、適切な会話を呼び出す。例えば、複合機制御システムは、２ページ以上のジョブの場合、ステープルのオプションをするかどうかのメッセージをユーザに出すことができる。
【００６０】
図１１ａ乃至１１ｃは、スマートフォン１１２を用いてＭＦＰ１０４を音声で制御する自然言語ダイアログを示すフロー１１００である。同図は、モバイルデバイス（タブレット、スマートフォン１１２等）のディスプレイやタッチスクリーンディスプレイに表示された自然言語ダイアログを示す。
【００６１】
図１１ａ乃至１１ｃは、図８に例示したコピー操作を行うための音声入力例を示している。図９に示すスマートフォン１１２の画面上からマイク印がタップされると、ＭＦＰ１０４側のバックグラウンドアプリから、「こんにちは＜ユーザ名＞さん  コピーしますか？」のメッセージがスマートフォン１１２の画面上に表示及び音声出力される（ａ）。なお、案内メッセージの音声出力を省略しても良い（以下の操作でも同様である）。このメッセージに対してユーザは、スマートフォン１１２の画面に向けて「はい」と音声入力すると、モバイルアプリによる音声認識にて「はい」が表示される（ｂ）。すると、その音声を受信したバックグラウンドアプリから、「何部コピーしますか？」のメッセージがスマートフォン１１２の画面上に表示及び音声出力される（ｃ）。このメッセージに対してユーザは、スマートフォン１１２の画面に向けて「２部」と音声入力すると、モバイルアプリによる音声認識にて「２部」が表示される（ｄ）。更に、ユーザは、スマートフォン１１２の画面に向けて「はい」と音声入力すると、モバイルアプリによる音声認識にて「はい」が表示される（ｅ）。この音声入力は、数字入力の終わりを示す。終了語は「はい」以外に、「です」「Ｙｅｓ」等でも良い。すると、その音声を受信したバックグラウンドアプリから、「コピーをステープルしますか？」のメッセージがスマートフォン１１２の画面上に表示及び音声出力される（ｆ）。ユーザは、スマートフォン１１２の画面に向けて「はい」と音声入力すると、モバイルアプリによる音声認識にて「はい」が表示される（ｇ）。すると、その音声を受信したバックグラウンドアプリから、「ＯＫ  ドキュメントを２部コピーし、ステープルします  これで良いですか？」のメッセージがスマートフォン１１２の画面上に表示及び音声出力される（ｈ）。更に、バックグラウンドアプリから、「ＯＫ  印刷が完了しました  原本を取り忘れないでください」のメッセージがスマートフォン１１２の画面上に表示及び音声出力される（ｉ）。
【００６２】
図１２ａ及び図１２ｂは、実施形態に係る追加的なＭＦＰデバイスとユーザとのインタラクションのシナリオを示す図である。図１２ａ及び図１２ｂは、図１１ａ乃至図１１ｃに示したコピー操作に対応して、同様のワークフローを示すと共に、同義のキーワードの一例を示す。
【００６３】
図１２ａ及び図１２ｂに示す同義のキーワードを備えることにより、例えば、ＭＦＰ１０４側のバックグラウンドアプリは、ユーザからの「はい」、「コピー」、「コピーします」、「コピーをお願いします」、「コピーとステープルします」のいずれの音声入力に対しても「はい」と認識して、コピーのコマンドをＭＦＰ１０４に出力することができる。同様に、ステープル要否の応答として「はい」、「ステープル」、「ステープルしてください」、「ステープル願います」のいずれの音声入力に対しても「はい」と認識して、ステープル要のコマンドをＭＦＰ１０４に出力することができる。一方、「いいえ」、「しません」、「ステープルしません」、「ステープルいらない」、「これでおわりです」、「おわりです」のいずれの音声入力に対しても「いいえ」と認識して、ステープル否のコマンドをＭＦＰ１０４に出力することができる。
【００６４】
図１３ａは、図１２ａ及び図１２ｂのコピー操作の「はい」の承認時のフローである。図１３ｂは、図１２ａ及び図１２ｂのコピー操作の「いいえ」の承認時のフローである。図１３ｂでは、承認時に「いいえ」の応答が音声入力された場合、「それではどうします？」のメッセージを表示及び音声出力して、ユーザにコピー操作の修正を行うことを案内することができる。
【００６５】
図１４ａ及び図１４ｂは、本発明の実施形態に係る関連テーブルを示す。関連テーブルは、ユーザとデバイスとのインタラクションに用いられるキーワードサーチ言語との関連を示す。ここでは英語と、それに対応する日本語の例を示している。このようなキーワードサーチ語とその関連語のテーブルを予めＭＦＰ１０４のストレージ２１６、或いは言語プロセッサ１３２等に記憶させておくことで、英語モードでも、日本語モードでもＭＦＰ１０４を操作することが可能となる。ユーザは、図４の言語設定ブロック４２０において、英語モード、又は日本語モードを選択指定することが出来るので、オフィスに勤務する外国人でも自然言語でＭＦＰを操作することが可能となる。
【００６６】
本技術の実施形態について上に説明したが、実施形態は単に例示であり、本技術は上述の実施形態にのみ限定されるものではない。上述の新規な実施形態は、他の種々の形態で実現し得、さらに、本発明の要旨を逸脱しない範囲内において種々省略、代替及び変更を加え得る。特許請求の範囲及びその均等物は、これらの形態又は変形をカバーし、これらは本発明の要旨を逸脱しない。
【符号の説明】
【００６７】
１００…自然言語動作システム、１０４…ＭＦＰ、１０８…ネットワーク、
１１２…スマートフォン（モバイルデバイス）、１２０…ビーコン、
１２４…ＮＦＣインタフェース（近距離無線通信）、１２８…ＱＲコード、
１３２…言語プロセッサ、１３６…ドキュメントフィーダ、
２００…ドキュメント描画システム（ＭＦＰ）、
２０１…インテリジェントコントローラ、
２５０…ＭＦＰ機能部、３００…モバイルデバイス（スマートフォン）、
３１０…プロセッサ、３１２…ＲＯＭ、３１４…ＲＡＭ、
３１６…データストレージシステム、３２５…ストレージインタフェース、
３３０…ネットワークインタフェースコントローラ、
３５０…ユーザ入出力インタフェース、
３５２…キーボード、３５４…ポインティングデバイス、３６０…ディスプレイ、
３７０…タッチスクリーンディスプレイ
【図１】
2019092153.tif 000003
【図２】
2019092153.tif 000004
【図３】
2019092153.tif 000005
【図４】
2019092153.tif 000006
【図５】
2019092153.tif 000007
【図６】
2019092153.tif 000008
【図７】
2019092153.tif 000009
【図８】
2019092153.tif 000010
【図９】
2019092153.tif 000011
【図１０】
2019092153.tif 000012
【図１１ａ】
2019092153.tif 000013
【図１１ｂ】
2019092153.tif 000014
【図１１ｃ】
2019092153.tif 000015
【図１２ａ】
2019092153.tif 000016
【図１２ｂ】
2019092153.tif 000017
【図１３ａ】
2019092153.tif 000018
【図１３ｂ】
2019092153.tif 000019
【図１４ａ】
2019092153.tif 000020
【図１４ｂ】
2019092153.tif 000021