(57)【要約】【課題】ユーザーの発話した音声に応じた処理を適切に実行することが可能な音声処理装置、画像形成装置及び音声処理方法を提供すること。【解決手段】カメラ８はユーザーを撮像する。判定処理部５３は、カメラ８により撮像される前記ユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する。音声受付処理部５４は、前記ユーザーにより発話される音声を受け付ける。出力処理部５５は、判定処理部５３により判定される前記ユーザーの向く方向と、音声受付処理部５４により受け付けられる前記音声の内容とに基づいて、所定の音声情報を出力する。【選択図】図５
2020194037.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーを撮像する撮像部と、
前記撮像部により撮像される前記ユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する判定処理部と、
前記ユーザーにより発話される音声を受け付ける音声受付処理部と、
前記判定処理部により判定される前記ユーザーの向く方向と、前記音声受付処理部により受け付けられる前記音声の内容とに基づいて、所定の音声情報を出力する出力処理部と、
を備える音声処理装置。
【請求項２】
前記判定処理部は、前記撮像画像に基づいて前記ユーザーの視線方向を判定し、
前記出力処理部は、前記判定処理部により判定される前記視線方向と、前記音声受付処理部により受け付けられる前記音声の内容とに基づいて、前記音声情報を出力する、
請求項１に記載の音声処理装置。
【請求項３】
操作表示部に対する前記ユーザーの操作を受け付ける操作受付処理部をさらに備え、
前記出力処理部は、前記判定処理部により判定される前記視線方向が前記操作表示部の方向である場合に、前記音声受付処理部により受け付けられる前記音声の内容に応じた前記音声情報を出力し、前記判定処理部により判定される前記視線方向が前記操作表示部の方向でない場合に、前記音声情報を出力しない、
請求項２に記載の音声処理装置。
【請求項４】
前記音声受付処理部により受け付けられる前記音声の内容が前記ユーザーの操作対象物の位置を質問する内容である場合に、前記出力処理部は、前記判定処理部により判定される前記視線方向に対する前記操作対象物の相対的な位置を示す前記音声情報を出力する、
請求項２に記載の音声処理装置。
【請求項５】
情報を表示する表示部をさらに備え、
前記音声受付処理部により受け付けられる前記音声の内容が前記表示部に表示される表示情報に対する質問である場合に、前記出力処理部は、前記判定処理部により判定される前記視線方向に表示される前記表示情報に対応する情報を示す前記音声情報を出力する、
請求項２に記載の音声処理装置。
【請求項６】
前記表示情報は第１言語で表記されたテキスト情報であり、前記音声情報は前記テキスト情報を第２言語に翻訳した音声情報である、
請求項５に記載の音声処理装置。
【請求項７】
操作表示部に対する前記ユーザーの操作を受け付ける操作受付処理部をさらに備え、
前記出力処理部は、前記判定処理部により判定される前記視線方向が特定方向でない場合に、前記操作受付処理部により受け付けられる前記操作の内容と、前記音声受付処理部により受け付けられる前記音声の内容とに応じた前記音声情報を出力する、
請求項２に記載の音声処理装置。
【請求項８】
前記ユーザーが操作する操作対象機器の操作状態を取得する取得処理部をさらに備え、
前記出力処理部は、前記判定処理部により判定される前記視線方向が特定方向でない場合に、前記取得処理部により取得される前記操作状態と前記音声受付処理部により受け付けられる前記音声の内容とに基づいて、前記音声情報を出力する、
請求項２に記載の音声処理装置。
【請求項９】
前記操作受付処理部は、前記判定処理部により判定される前記視線方向が前記操作表示部の方向である場合に、前記ユーザーの操作を受け付け、前記判定処理部により判定される前記視線方向が前記操作表示部の方向でない場合に、前記ユーザーの操作を受け付けない、
請求項３に記載の音声処理装置。
【請求項１０】
さらに、前記ユーザーの前記視線方向が前記操作表示部の方向から他の方向に移動した場合に、前記操作受付処理部は、前記ユーザーの操作と、前記ユーザーとは別のユーザーの操作とを受け付けない、
請求項９に記載の音声処理装置。
【請求項１１】
画像形成装置のユーザーを撮像する撮像部と、
前記撮像部により撮像される前記ユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する判定処理部と、
前記ユーザーにより発話される前記画像形成装置の操作内容に関する音声を受け付ける音声受付処理部と、
前記判定処理部により判定される前記ユーザーの向く方向と、前記音声受付処理部により受け付けられる前記音声の内容とに基づいて、前記操作内容に関する音声情報を出力する出力処理部と、
を備える画像形成装置。
【請求項１２】
ユーザーを撮像する撮像部により撮像される前記ユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する判定ステップと、
前記ユーザーにより発話される音声を受け付ける音声受付ステップと、
前記判定ステップにより判定される前記ユーザーの向く方向と、前記音声受付ステップにより受け付けられる前記音声の内容とに基づいて、所定の音声情報を出力する出力ステップと、
を含む音声処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声処理装置、画像形成装置及び音声処理方法に関する。
【背景技術】
【０００２】
従来、ユーザーの発話した音声を認識して、当該音声に応じた処理を実行する技術が知られている。例えば画像形成装置において、ユーザーが発話した音声を認識して当該音声に応じた各種操作の設定を行うことが可能なシステムが提案されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−９４０５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術では、ユーザーが音声を発話した場合に当該音声に応じた処理が実行されるため、ユーザーが意図せずに発話した音声であっても当該音声に応じた処理が実行されてしまう。このように、従来の技術では、ユーザーの発話した音声に応じた処理が適切に行われない問題が生じる。
【０００５】
本発明の目的は、ユーザーの発話した音声に応じた処理を適切に実行することが可能な音声処理装置、画像形成装置及び音声処理方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一の局面に係る音声処理装置は、撮像部と、判定処理部と、音声受付処理部と、出力処理部とを備える。前記撮像部は、ユーザーを撮像する。前記判定処理部は、前記撮像部により撮像される前記ユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する。前記音声受付処理部は、前記ユーザーにより発話される音声を受け付ける。前記出力処理部は、前記判定処理部により判定される前記ユーザーの向く方向と、前記音声受付処理部により受け付けられる前記音声の内容とに基づいて、所定の音声情報を出力する。
【０００７】
本発明の他の局面に係る画像形成装置は、撮像部と、判定処理部と、音声受付処理部と、出力処理部とを備える。前記撮像部は、ユーザーを撮像する。前記撮像部は、画像形成装置のユーザーを撮像する。前記判定処理部は、前記撮像部により撮像される前記ユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する。前記音声受付処理部は、前記ユーザーにより発話される前記画像形成装置の操作内容に関する音声を受け付ける。前記出力処理部は、前記判定処理部により判定される前記ユーザーの向く方向と、前記音声受付処理部により受け付けられる前記音声の内容とに基づいて、前記操作内容に関する音声情報を出力する。
【０００８】
本発明の他の局面に係る音声処理方法は、判定ステップと、音声受付ステップと、出力ステップとを含む。前記判定ステップは、ユーザーを撮像する撮像部により撮像される前記ユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する。前記音声受付ステップは、前記ユーザーにより発話される音声を受け付ける。前記出力ステップは、前記判定ステップにより判定される前記ユーザーの向く方向と、前記音声受付ステップにより受け付けられる前記音声の内容とに基づいて、所定の音声情報を出力する。
【発明の効果】
【０００９】
本発明によれば、ユーザーの発話した音声に応じた処理を適切に実行することが可能な音声処理装置、画像形成装置及び音声処理方法が提供される。
【図面の簡単な説明】
【００１０】
【図１】図１は、本発明の実施形態に係る画像形成装置の概略構成図である。
【図２】図２は、本発明の実施形態に係る画像形成装置の機能ブロック図である。
【図３】図３は、本発明の実施形態に係る画像形成装置で用いられる第１音声情報の一例を示す図である。
【図４】図４は、本発明の実施形態に係る画像形成装置で用いられる第２音声情報の一例を示す図である。
【図５】図５は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【図６】図６は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【図７】図７は、本発明の実施形態に係る画像形成装置において実行される音声処理の手順の一例を示すフローチャートである。
【図８】図８は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【図９】図９は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【図１０】図１０は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【図１１】図１１は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【図１２】図１２は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【図１３】図１３は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【図１４】図１４は、本発明の実施形態に係る画像形成装置とユーザーとの位置関係の一例を模式的に示す図である。
【発明を実施するための形態】
【００１１】
以下添付図面を参照しながら、本発明の実施形態について説明し、本発明の理解に供する。なお、以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。
【００１２】
図１に示すように、画像形成装置１００は、画像読取部１、ＡＤＦ２、画像形成部３、給紙部４、制御部５、操作表示部６、排出部７、カメラ８、マイク９、スピーカー１０、及び記憶部１１などを備える。画像形成装置１００は、原稿から画像データを読み取るスキャン機能、画像データに基づいて画像を形成する印刷機能、ファクシミリ機能、及びコピー機能などの複数の機能を有する複合機である。なお、画像形成装置１００は、コピー機であってもよい。画像形成装置１００は、本発明の音声処理装置の一例である。
【００１３】
画像読取部１は、コンタクトガラス、読取ユニット、ミラー、光学レンズ、及びＣＣＤ（Charge  Coupled  Device）などを備える画像読取部である。
【００１４】
ＡＤＦ２は、原稿セット部、複数の搬送ローラー、原稿押さえ、及び排紙部を備え、画像読取部１によって読み取られる原稿を搬送する。
【００１５】
画像形成部３は、画像読取部１で読み取られた画像データに基づいて、電子写真方式で用紙に画像を形成することが可能である。また、画像形成部３は、外部の情報処理装置（例えばユーザー端末）から入力された画像データに基づいて、用紙に画像を形成することも可能である。具体的に、画像形成部３は、感光体ドラム、帯電装置、光走査装置（ＬＳＵ）、現像装置、転写ローラー、クリーニング装置、定着ローラー、及び加圧ローラーを備える。なお、画像形成部３は、インクジェット方式などの他の画像形成方式により画像を形成するものであってもよい。また画像形成部３は、画像を形成した用紙（印刷用紙）を排出部７に搬送する。
【００１６】
給紙部４は、用紙収容部、及び複数の搬送ローラーを備え、画像形成部３に用紙を供給する。給紙部４は、制御部５によって制御されることにより、用紙収容部４１に収容された用紙を画像形成部３に搬送する。また給紙部４は、ユーザーが手動（手差し）により用紙をセットする手差しトレイ４２を含む。給紙部４は、制御部５によって制御されることにより、手差しトレイ４２にセットされた用紙を画像形成部３に搬送する。本実施形態では、用紙収容部４１は、画像形成装置１００の正面に向かって下側に設けられており、手差しトレイ４２は、画像形成装置１００の正面に向かって右側に設けられている。
【００１７】
排出部７は、画像形成部３により画像が形成された印刷用紙を排出する。排出部７は、１又は複数の排出トレイ７１を備える。排出トレイ７１が複数設けられる場合、複数の排出トレイ７１のそれぞれは、画像形成装置１００の設置面（床面）からの高さが互いに異なる位置に設けられる。排出部７は、制御部５によって制御されることにより、前記印刷用紙を所定の排出トレイ７１に排出する。排出部７は、制御部５の命令に従って、決定された排出トレイ７１に前記印刷用紙を排出する。本実施形態では、排出トレイ７１は、画像形成装置１００の正面に向かって左側に設けられている。
【００１８】
操作表示部６は、制御部５の命令に応じて各種の情報を表示する液晶ディスプレーなどの表示部（本発明の表示部の一例）、及びユーザーの操作に応じて制御部５に各種の情報を入力する操作キー又はタッチパネルなどの操作部を有する。給紙部４、排出部７、及び操作表示部６は、ユーザーが操作可能な構成要素であり、本発明の操作対象物の一例である。
【００１９】
カメラ８は、ユーザーを撮像するデジタルカメラなどである。カメラ８は、本発明の撮像部の一例である。図１に示すように、カメラ８は、操作表示部６の外枠などに固定され、操作表示部６と一体に形成されてもよい。カメラ８は、画像形成装置１００の前方を撮像することが可能であり、例えば画像形成装置１００の前方にいるユーザーを撮像することが可能である。カメラ８は、制御部５の命令に従って撮像を行い、撮像データを制御部５に送信する。
【００２０】
マイク９は、画像形成装置１００の周囲の音声を集音する。マイク９は、画像形成装置１００の周囲３６０度の範囲の音声を受信可能である。例えば、マイク９は、画像形成装置１００を利用するユーザーが発話した音声を集音する。マイク９は、集音した音声データを制御部５に送信する。なお、マイク９は、音声を集音する際に音源方向の指向性を高める機能（ビームフォーミング）を有してもよい。マイク９がビームフォーミング機能を有する場合、マイク９は、例えば制御部５により設定される指向性パラメータの設定値に基づいて音声を集音する。例えば、制御部５は、カメラ８の撮像画像に基づいて特定されるユーザーの方向に指向性を高めて、マイク９に当該ユーザーの音声を集音させる。
【００２１】
スピーカー１０は、音声を外部に出力する。具体的には、スピーカー１０は、制御部５の命令に従って、制御部５により取得される音声情報に応じた音声を外部に報知する。マイク９及びスピーカー１０は、例えば一体に形成され、画像形成装置１００の正面に設けられる。なお、マイク９及びスピーカー１０は、画像形成装置１００とは別体に形成され、ネットワークを介して画像形成装置１００に接続されてもよい。
【００２２】
記憶部１１は、不揮発性の記憶装置である。例えば、記憶部１１は、フラッシュメモリー、及びＥＥＰＲＯＭ（登録商標）などの不揮発性メモリー、ＳＳＤ（ソリッドステートドライブ）、並びにＨＤＤ（ハードディスクドライブ）などの記憶装置である。記憶部１１には、制御部５に後述の音声処理（図７参照）を実行させるための音声処理プログラムなどの各種の制御プログラム、及び各種のデータなどが記憶される。
【００２３】
また記憶部１１は、第１音声情報Ｄ１、第２音声情報Ｄ２などのデータを含む。図３は、第１音声情報Ｄ１の一例を示す図である。第１音声情報Ｄ１には、ユーザーの視線の方向（視線方向）、視線の動きなどを示す「視線状態」と、ユーザーが発話した音声の情報を示す「入力音声」と、画像形成装置１００の外部に出力する音声の情報を示す「出力音声」とが互いに関連付けられて登録されている。例えば、「入力音声」には、ユーザーから質問される可能性のある内容に関する情報が予め登録され、「出力音声」には、当該質問に対する回答に関する情報が予め登録される。
【００２４】
図４は、第２音声情報Ｄ２の一例を示す図である。第２音声情報Ｄ２には、画像形成装置１００の現時点の処理内容を示す「操作状態」と、ユーザーが発話した音声の情報を示す「入力音声」と、画像形成装置１００の外部に出力する音声の情報を示す「出力音声」とが互いに関連付けられて登録されている。「操作状態」は、例えば、ユーザーによる印刷指示を受け付ける前の状態（印刷実行前）、ユーザーによる印刷指示を実行した後の状態（印刷実行後）、用紙切れに伴う給紙操作の状態（給紙操作）などが含まれる。
【００２５】
第１音声情報Ｄ１及び第２音声情報Ｄ２の各情報は、画像形成装置１００の管理者により予め登録されてもよいし、管理者により適宜追加及び更新されてもよい。また、制御部５は、「入力音声」に対応する「出力音声」のデータを、画像形成装置１００にネットワークを介して接続されるサーバー（不図示）から取得して第１音声情報Ｄ１及び第２音声情報Ｄ２に登録してもよい。この場合、マイク９及びスピーカー１０は、例えばＡＩスピーカー、スマートスピーカーなどのマイクスピーカー装置として構成され、前記入力音声を前記サーバーに送信し、前記サーバーから前記出力音声を受信してもよい。
【００２６】
制御部５は、ＣＰＵ、ＲＯＭ、及びＲＡＭなどの制御機器を備える。前記ＣＰＵは、各種の演算処理を実行するプロセッサーである。前記ＲＯＭは、前記ＣＰＵに各種の処理を実行させるための制御プログラムなどの情報が予め記憶される不揮発性の記憶部である。前記ＲＡＭは、前記ＣＰＵが実行する各種の処理の一時記憶メモリー（作業領域）として使用される揮発性又は不揮発性の記憶部である。
【００２７】
ところで、従来の画像形成装置では、ユーザーが音声を発話した場合に当該音声に応じた処理が実行されるため、ユーザーが意図せずに発話した音声であっても当該音声に応じた処理が実行されてしまう。すなわち、従来の画像形成装置では、ユーザーの発話した音声に応じた処理が適切に行われない問題が生じる。これに対して、本実施形態に係る画像形成装置１００では、ユーザーの発話した音声に応じた処理を適切に実行することが可能である。
【００２８】
具体的に、図２に示されるように、制御部５は、操作受付処理部５１、撮像処理部５２、判定処理部５３、音声受付処理部５４、出力処理部５５、取得処理部５６を含む。制御部５は、前記ＲＯＭに記憶されているプログラムに従った処理を前記ＣＰＵで実行することにより、操作受付処理部５１、撮像処理部５２、判定処理部５３、音声受付処理部５４、出力処理部５５、取得処理部５６として機能する。なお、操作受付処理部５１、撮像処理部５２、判定処理部５３、音声受付処理部５４、出力処理部５５、取得処理部５６のいずれか一又は複数がＡＳＩＣなどの電子回路であってもよい。
【００２９】
操作受付処理部５１は、ユーザーから各種操作を受け付ける。操作受付処理部５１は、本発明の操作受付処理部の一例である。具体的には、操作受付処理部５１は、操作表示部６に対するユーザーの操作を受け付ける。例えば、ユーザーが操作表示部６において原稿の読取指示を行った場合、操作受付処理部５１は当該読取指示を受け付ける。また、ユーザーが操作表示部６において画像データの印刷指示を行った場合、操作受付処理部５１は当該印刷指示を受け付ける。また、操作受付処理部５１は、操作表示部６におけるユーザーの各種設定操作を受け付ける。
【００３０】
撮像処理部５２は、画像形成装置１００を利用するユーザーをカメラ８に撮像させ、カメラ８により撮像された撮像画像を取得する。例えば、撮像処理部５２は、画像形成装置１００の前方にユーザーを検知した場合に、カメラ８に撮像命令を出力してカメラ８に撮像処理を実行させる。カメラ８は所定のフレームレートで撮像し、撮像画像を制御部５に送信する。
【００３１】
判定処理部５３は、カメラ８により撮像されるユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する。判定処理部５３は、本発明の判定処理部の一例である。具体的には、判定処理部５３は、前記撮像画像に基づいて前記ユーザーの視線方向を判定する。例えば、判定処理部５３は、撮像処理部５２により取得される撮像画像を画像解析して前記ユーザーの顔画像を抽出し、抽出した顔画像から視線の方向を判定する。また判定処理部５３は、前記視線方向が特定方向であるか否かを判定する。例えば、判定処理部５３は、前記視線方向が操作表示部６の方向であるか否かを判定する。
【００３２】
また判定処理部５３は、前記ユーザーが発話しているか否かを判定する。例えば、判定処理部５３は、抽出した顔画像から口の動きを検出して前記ユーザーが発話しているか否かを判定する。前記撮像画像に複数のユーザーが含まれる場合には、判定処理部５３は、発話しているユーザーを特定し、特定されたユーザーの視線方向を判定する。このように、判定処理部５３は、発話者を特定し、当該発話者の向く方向（視線方向）を特定する。
【００３３】
なお、前記ユーザーの向く方向は、前記ユーザーの視線方向に限定されず、前記ユーザーの顔など体の一部の方向、又は前記ユーザーの体全体の方向であってもよい。
【００３４】
音声受付処理部５４は、画像形成装置１００を利用するユーザーが発話した音声を受け付ける。音声受付処理部５４は、本発明の音声受付処理部の一例である。ユーザーは、例えば、画像形成装置１００を操作する際に、操作内容に関する質問などを発話する。例えば、ユーザーは、手差しトレイ４２の場所、排出トレイ７１の場所、操作表示部６の表示内容などの質問に関する音声を発話する。音声受付処理部５４は、判定処理部５３によりユーザーの視線方向が特定方向（操作表示部６の方向）であると判定された場合に、ユーザーが発話した音声を受け付け、判定処理部５３によりユーザーの視線方向が特定方向（操作表示部６の方向）でないと判定された場合に、ユーザーが発話した音声を受け付けない構成であってもよい。
【００３５】
出力処理部５５は、判定処理部５３により判定されるユーザーの向く方向と、音声受付処理部５４により受け付けられる前記音声の内容とに基づいて、所定の音声情報を出力する。出力処理部５５は、本発明の出力処理部の一例である。具体的には、出力処理部５５は、判定処理部５３により判定されるユーザーの視線方向と、音声受付処理部５４により受け付けられる前記音声の内容とに基づいて、前記音声情報を出力する。
【００３６】
また、出力処理部５５は、判定処理部５３により判定される前記視線方向が特定方向である場合に、音声受付処理部５４により受け付けられる前記音声の内容に応じた前記音声情報を出力し、判定処理部５３により判定される前記視線方向が特定方向でない場合に、前記音声情報を出力しない。前記特定方向は、例えば、画像形成装置１００の方向であってもよいし、操作表示部６の方向であってもよいし、その他の方向であってもよい。例えば、出力処理部５５は、判定処理部５３により判定される前記視線方向が操作表示部６の方向である場合に、音声受付処理部５４により受け付けられる前記音声の内容に応じた前記音声情報を出力し、判定処理部５３により判定される前記視線方向が操作表示部６の方向でない場合に、前記音声情報を出力しない。
【００３７】
図５は、画像形成装置１００及びユーザーＡの位置関係の一例を模式的に示す図である。図５に示す例では、ユーザーＡの視線方向は、操作表示部６の方向に一致している。判定処理部５３は、カメラ８によるユーザーＡの撮像画像に基づいて、ユーザーＡの視線方向が操作表示部６の方向であると判定する。この場合、音声受付処理部５４は、ユーザーＡの発話した音声Ｖ１を受け付ける。そして、出力処理部５５は、第１音声情報Ｄ１（図３参照）を参照して、ユーザーＡの音声Ｖ１の入力音声に対応する出力音声を取得し、取得した出力音声の音声Ｖ２をスピーカー１０に出力させる。
【００３８】
例えば、ユーザーＡが操作表示部６を見ながら「Ｈｅｌｌｏ」（音声Ｖ１）を発話した場合、出力処理部５５は、これに対応する「Ｈｅｌｌｏ」（音声Ｖ２）を出力する。また例えば、ユーザーＡが操作表示部６を見ながら「手差しトレイはどこ？」（音声Ｖ１）を発話（質問）した場合、出力処理部５５は、視線方向と操作対象物である手差しトレイ４２との位置関係に応じて第１音声情報Ｄ１（図３参照）に登録された「視線の右下にあります」（音声Ｖ２）を出力（回答）する。また例えば、ユーザーＡが操作表示部６を見ながら「印刷設定方法を教えて」（音声Ｖ１）を発話した場合、出力処理部５５は、印刷設定方法のガイダンスに関する音声Ｖ２を出力する。
【００３９】
図６は、画像形成装置１００及びユーザーＡの位置関係の他の例を模式的に示す図である。図６に示す例では、ユーザーＡの視線方向は、操作表示部６の方向と一致しておらず、画像形成装置１００が存在しない方向を向いている。判定処理部５３は、カメラ８によるユーザーＡの撮像画像に基づいて、ユーザーＡの視線方向が操作表示部６の方向ではない、又は前記視線方向を検出できないと判定する。この場合、音声受付処理部５４は、ユーザーＡの発話した音声Ｖ１を受け付けない。そして、出力処理部５５は、ユーザーＡの音声Ｖ１に対応する音声Ｖ２をスピーカー１０に出力させない。
【００４０】
制御部５は、上述の各処理部による処理に加えて、画像形成に関する以下の処理を実行する。具体的には、制御部５は、画像読取部１に原稿の画像を読み取らせる読取処理を実行させる。また制御部５は、画像読取部１により読み取られた前記画像の画像データを取得する。例えば、ユーザーが操作表示部６において原稿の読取指示を行うと、制御部５は、画像読取部１に前記読取処理を実行させて、前記画像データを取得する。
【００４１】
また、制御部５は、ユーザーの操作による印刷指示に基づいて画像を用紙に印刷する印刷処理を実行する。前記画像に対応する画像データは、画像読取部１で読み取られた画像データであってもよいし、ユーザー端末から入力された画像データであってもよい。例えば、ユーザーが操作表示部６において前記画像データの印刷指示を行うと、制御部５は、前記画像データの印刷処理を実行する。具体的には、制御部５は、画像形成部３に前記印刷処理を実行させる。
【００４２】
［音声処理］
以下、図７のフローチャートを参照しつつ、画像形成装置１００において制御部５が実行する音声処理の手順の一例について説明する。なお、制御部５によって実行される各処理工程をステップＳ１１、Ｓ１２、・・・と称する。なお、ここで説明する前記音声処理に含まれる一又は複数のステップが適宜省略されてもよい。また、前記音声処理における各ステップは、同様の作用効果を生じる範囲で実行順序が異なってもよい。さらに、ここでは画像形成装置１００の制御部５によって前記音声処理における各ステップが実行される場合を例に挙げて説明するが、他の実施形態では、他の複数のプロセッサーによって前記音声処理における各ステップが分散して実行されてもよい。
【００４３】
ここで、本発明は、前記音声処理に含まれる一又は複数のステップを実行する音声処理方法の発明として捉えることができる。
【００４４】
先ず、ステップＳ１１において、制御部５は、画像形成装置１００を利用するユーザーを検知したか否かを判定する。制御部５は、前記ユーザーを検知するまで待機し（Ｓ１１：Ｎｏ）、前記ユーザーを検知した場合（Ｓ１１：Ｙｅｓ）にステップＳ１２に移行する。例えば、制御部５は、画像形成装置１００に設けられたセンサー（不図示）により画像形成装置１００に近づくユーザーを検知する。
【００４５】
制御部５は、前記ユーザーを検知すると、前記ユーザーをカメラ８に撮像させ（Ｓ１２）、カメラ８により撮像された撮像画像を取得する（Ｓ１３）。
【００４６】
次にステップＳ１４において、制御部５は、前記ユーザーの撮像画像に基づいて、前記ユーザーの向く方向を判定する。具体的には、制御部５は、前記ユーザーの撮像画像を画像解析して前記ユーザーの顔画像を抽出し、抽出した顔画像から視線方向を判定する。さらに、制御部５は、例えば、前記視線方向が操作表示部６の方向であるか否かを判定する。
【００４７】
ここでは、前記視線方向の判定対象として操作表示部６を例に挙げたが、本発明はこれに限定されない。例えば、制御部５は、前記視線方向が画像形成装置１００の方向であるか否かを判定してもよいし、前記視線方向がユーザーの操作対象物（手差しトレイ４２、排出トレイ７１、用紙収容部４１など）であるか否かを判定してもよい。制御部５により前記視線方向が操作表示部６の方向であると判定された場合（Ｓ１４：Ｙｅｓ）、処理はステップＳ１５に移行する。また制御部５は、ユーザーの視線方向が操作表示部６の方向であると判定した場合に、前記ユーザーを発話者として特定（設定）する。一方、制御部５により前記視線方向が操作表示部６の方向でないと判定された場合（Ｓ１４：Ｎｏ）、処理はステップＳ１７に移行する。ステップＳ１４は、本発明の判定ステップの一例である。
【００４８】
ステップＳ１５において、制御部５は、前記ユーザーが発話した音声Ｖ１（図５参照）を受け付けたか否かを判定する。制御部５により前記ユーザーの音声Ｖ１を受け付けたと判定された場合（Ｓ１５：Ｙｅｓ）、処理はステップＳ１６に移行する。制御部５は、前記ユーザーの音声を受け付けるまで待機する（Ｓ１５：Ｎｏ）。なお、制御部５は、前記ユーザーの音声を所定時間受け付けなかった場合に、前記音声処理を終了させてもよい。ステップＳ１５は、本発明の音声受付ステップの一例である。
【００４９】
ステップＳ１６において、制御部５は、前記ユーザーの音声Ｖ１（入力音声）の内容を認識し、第１音声情報Ｄ１を参照して、当該入力音声に対応する音声Ｖ２（出力音声）をスピーカー１０から出力する。ステップＳ１６は、本発明の出力ステップの一例である。例えば、ユーザーＡが操作表示部６を見ながら「印刷設定方法を教えて」（音声Ｖ１）を発話した場合、出力処理部５５は、印刷設定方法のガイダンスに関する音声Ｖ２を出力する。ここで、出力処理部５５が前記ガイダンスの音声Ｖ２を出力中に、例えばユーザーＡが視線を操作表示部６から外した場合に、出力処理部５５は、前記ガイダンスの音声Ｖ２の出力を停止してもよい。その後、ユーザーＡが視線を操作表示部６に戻した場合には、出力処理部５５は、前記ガイダンスの音声Ｖ２の出力を再開してもよい。
【００５０】
次にステップＳ１７において、制御部５は、ユーザーが画像形成装置１００の前から離れたか否かを判定する。制御部５によりユーザーが画像形成装置１００から離れたと判定された場合に、処理は終了する（Ｓ１７：Ｙｅｓ）。そして、制御部５は、前記ユーザーに対する発話者としての設定を解除する。一方、制御部５によりユーザーが画像形成装置１００から離れていないと判定された場合には、処理はステップＳ１２に戻る（Ｓ１７：Ｎｏ）。ステップＳ１２に戻ると、制御部５は、再びユーザーの撮像画像を取得して、視線方向の判定処理（Ｓ１４）及び音声受付の判定処理（Ｓ１５）などを実行する。以上のようにして、前記音声処理が実行される。
【００５１】
以上説明したように、本実施形態に係る画像形成装置１００は、ユーザーの向く方向（例えば視線方向）と、前記ユーザーの音声の内容とに基づいて、所定の音声情報を出力する。例えば、ユーザーの視線方向が特定方向に向いている場合に、当該ユーザーの音声（発話音声）に対応する音声（応答音声）を出力し、ユーザーの視線方向が特定方向に向いていない場合には、当該ユーザーの音声（発話音声）に対応する音声（応答音声）を出力しない。これにより、ユーザーが意図せずに発話した場合に、発話音声に対する応答音声が出力されることを防ぐことができる。よって、ユーザーの発話した音声に応じた処理を適切に実行することが可能となる。
【００５２】
［他の実施形態］
本発明は上述の実施形態に限定されず、以下の実施形態であってもよい。
【００５３】
他の実施形態として、音声受付処理部５４により受け付けられる前記音声の内容が、ユーザーの操作対象物の位置を質問する内容である場合に、出力処理部５５は、判定処理部５３により判定されるユーザーの視線方向に対する操作対象物の相対的な位置を示す音声情報を出力する。例えば、図８に示すように、ユーザーＡの視線方向が操作対象物（ここでは手差しトレイ４２）より右側の方向である場合において、ユーザーＡが「手差しトレイはどこ？」（音声Ｖ１）を発話（質問）した場合に、出力処理部５５は、視線方向と操作対象物である手差しトレイ４２との位置関係に応じて第１音声情報Ｄ１（図３参照）に登録された「視線の左にあります」（音声Ｖ２）を出力（回答）する。
【００５４】
また他の実施形態として、音声受付処理部５４により受け付けられる前記音声の内容が、操作表示部６に表示される表示情報に対する質問である場合に、出力処理部５５は、判定処理部５３により判定されるユーザーの視線方向に表示される前記表示情報に対応する情報を示す音声情報を出力する。例えば、図９に示すように、ユーザーＡの視線方向が操作表示部６に表示されるテキスト情報のうち英語（本発明の第１言語の一例）で表記された「Ｐｒｉｎｔ」である場合において、ユーザーＡが「何って書いてある？」（音声Ｖ１）を発話（質問）した場合、出力処理部５５は、視線方向に表示されている「Ｐｒｉｎｔ」（音声Ｖ２）又は「Ｐｒｉｎｔ」を日本語（本発明の第２言語の一例）に翻訳した「印刷」（音声Ｖ２）を出力（回答）する。
【００５５】
また他の実施形態として、出力処理部５５は、判定処理部５３により判定されるユーザーの視線方向が特定方向でない場合に、操作受付処理部５１により受け付けられる操作の内容と、音声受付処理部５４により受け付けられる音声の内容とに応じた音声情報を出力する。例えば、図１０に示すように、ユーザーＡの視線方向が操作表示部６の方向でない場合、又は、ユーザーＡの視線方向を特定できない場合に、出力処理部５５は、音声ガイダンスを実行する。具体的には、ユーザーＡが操作表示部６に表示された設定項目に関する質問を発話した場合に、出力処理部５５は、当該質問に対する回答を出力する。例えば、ユーザーＡが操作表示部６において印刷設定を行っている場合に給紙操作のために視線方向が操作表示部６から外れ、ユーザーＡの視線方向を特定できない場合において、ユーザーＡが「どの給紙カセット？」（音声Ｖ１）を発話（質問）した場合、出力処理部５５は、当該質問に対する回答として「カセット１」（音声Ｖ２）を出力（回答）する。
【００５６】
また他の実施形態として、制御部５は、さらに取得処理部５６（図２参照）を備えてもよい。取得処理部５６は、ユーザーが操作する画像形成装置１００（本発明の操作対象機器の一例）の操作状態を取得する。前記操作状態は、画像形成装置１００の現時点の処理内容を示す情報である。前記操作状態は、例えば、ユーザーによる印刷指示を受け付ける前の状態（印刷実行前）、ユーザーによる印刷指示を実行した後の状態（印刷実行後）、用紙切れに伴う給紙操作の状態（給紙操作）などが含まれる。出力処理部５５は、判定処理部５３により判定されるユーザーの視線方向が特定方向でない場合に、取得処理部５６により取得される前記操作状態と音声受付処理部５４により受け付けられる音声の内容とに基づいて、所定の音声情報を出力する。
【００５７】
例えば、図１１に示すように、ユーザーＡの視線方向が特定方向を向かず安定しない場合において、画像形成装置１００の操作状態が印刷実行の前の状態（待機状態）である場合に、ユーザーＡが「どこ？」（音声Ｖ１）を発話（質問）した場合、出力処理部５５は、第２音声情報Ｄ２（図４参照）を参照して、当該質問に対する回答として「何をお探しですか？」（音声Ｖ２）を出力（回答）する。また例えば、ユーザーＡの視線方向が特定方向を向かず安定しない場合において、画像形成装置１００の操作状態が印刷実行直後である場合に、ユーザーＡが「どこ？」（音声Ｖ１）を発話（質問）した場合、出力処理部５５は、第２音声情報Ｄ２（図４参照）を参照して、当該質問に対する回答として「排出トレイは操作表示部の左側にあります」（音声Ｖ２）を出力（回答）する。このように、印刷実行直後にユーザーから「どこ？」の質問を受け付けた場合には、ユーザーは印刷物が排出される排出トレイを探していると推測できるため、出力処理部５５は、推測した回答（図４参照）を出力する。
【００５８】
また他の実施形態として、操作受付処理部５１は、判定処理部５３により判定されるユーザーの視線方向が操作表示部６の方向である場合に、前記ユーザーの操作を受け付け、判定処理部５３により判定されるユーザーの視線方向が操作表示部６の方向でない場合に、前記ユーザーの操作を受け付けない。また操作受付処理部５１は、さらに、判定処理部５３により判定されるユーザーの視線方向が操作表示部６の方向でない場合に、前記ユーザーの操作と、前記ユーザーとは別のユーザーの操作とを受け付けない。
【００５９】
例えば、図１２に示すように、ユーザーＡが操作表示部６を見ながら操作表示部６をタッチした場合、操作受付処理部５１は、ユーザーＡの操作を受け付ける。この場合、ユーザーＡが発話した場合には、出力処理部５５は、発話の音声Ｖ１に対する回答の音声Ｖ２を出力する。一方、図１３に示すように、ユーザーＡが操作表示部６とは異なる方向を見ながら操作表示部６をタッチした場合、操作受付処理部５１は、ユーザーＡの操作を受け付けない。この場合、ユーザーＡが発話した場合には、出力処理部５５は、ユーザーＡの発話の音声Ｖ１に対する回答の音声Ｖ２を出力しない。
【００６０】
さらに、前記ユーザーの視線方向が操作表示部６の方向から他の方向に移動した場合には、操作受付処理部５１は、前記ユーザーの操作と、前記ユーザーとは別のユーザーの操作とを受け付けない。例えば、図１２に示す状態においてユーザーＡの視線方向が操作表示部６の方向であると判定されてユーザーＡが発話者として特定された後に、図１４に示すように、ユーザーＡの視線方向が操作表示部６から他の方向に移動し、その後に他のユーザーＢが操作表示部６を操作（タッチ）した場合に、操作受付処理部５１は、ユーザーＡの操作及びユーザーＢの操作を受け付けない。また、この場合において、例えばユーザーＢが発話した場合には、出力処理部５５は、ユーザーＢの発話の音声Ｖ１に対する回答の音声Ｖ２を出力しない。なお、ユーザーＡが画像形成装置１００から離れた場合には、ユーザーＡに対する発話者としての設定を解除する。
【００６１】
また他の実施形態として、画像形成装置１００は、ユーザーの視線の動きに基づいて、所定の音声情報を出力してもよい。例えば、ユーザーの視線方向が一定時間安定しないで移動し続ける場合に、制御部５は、ユーザーが何かを探していると判断して、例えば「何かお探しですか？」などの音声情報を出力する。制御部５は、ユーザーから回答音声を取得すると、回答音声に対する応答音声を再出力する。このようにして、制御部５は、ユーザーと会話しながら音声ガイダンスを実行する。
【００６２】
また他の実施形態として、制御部５は、判定処理部５３により判定されるユーザーの視線方向が特定方向（例えば操作表示部６の方向）である場合に、音声受付処理部５４により受け付けられる前記音声の内容に応じた処理を実行してもよい。例えば、ユーザーＡが操作表示部６を見ながら「資料１を印刷して」（音声Ｖ１）を発話した場合に、制御部５は、「資料１を印刷します」（音声Ｖ２）を出力するとともに、資料１のデータを取得して画像形成部３に印刷処理を実行させる。このように、制御部５は、ユーザーの向く方向（例えば視線方向）と、音声受付処理部５４により受け付けられる音声の内容とに基づいて、所定のコマンドを実行してもよい。
【００６３】
本発明の音声処理装置は、画像形成装置に限定されず、様々な操作機器に適用可能である。
【符号の説明】
【００６４】
１      ：画像読取部
３      ：画像形成部
４      ：給紙部
５      ：制御部
６      ：操作表示部
７      ：排出部
８      ：カメラ
９      ：マイク
１０    ：スピーカー
１１    ：記憶部
４１    ：用紙収容部
４２    ：手差しトレイ
５１    ：操作受付処理部
５２    ：撮像処理部
５３    ：判定処理部
５４    ：音声受付処理部
５５    ：出力処理部
５６    ：取得処理部
７１    ：排出トレイ
１００  ：画像形成装置
【図１】
2020194037.tif 000003
【図２】
2020194037.tif 000004
【図３】
2020194037.tif 000005
【図４】
2020194037.tif 000006
【図５】
2020194037.tif 000007
【図６】
2020194037.tif 000008
【図７】
2020194037.tif 000009
【図８】
2020194037.tif 000010
【図９】
2020194037.tif 000011
【図１０】
2020194037.tif 000012
【図１１】
2020194037.tif 000013
【図１２】
2020194037.tif 000014
【図１３】
2020194037.tif 000015
【図１４】
2020194037.tif 000016