(57)【要約】【課題】  スマートフォンが表示する情報を用いて画像処理装置の操作を支援すること。【解決手段】  画像処理装置は、スマートフォンと通信可能な画像処理装置であって、操作画面を表示する表示部と、スマートフォンからスマートフォンにより表示されている端末画像を取得する画像取得部５１と、取得された端末画像に含まれる情報に基づいて、操作画面の内容を変更する操作支援部５５と、を備える。【選択図】        図６
2019186766.tif 000002
【特許請求の範囲】
【請求項１】
携帯装置と通信可能な画像処理装置であって、
操作画面を表示する表示手段と、
前記携帯装置から前記携帯装置により表示されている端末画像を取得する画像取得手段と、
取得された前記端末画像に含まれる情報に基づいて、前記操作画面の内容を変更する操作支援手段と、を備えた画像処理装置。
【請求項２】
前記操作画面は、ユーザーにより入力される操作を受け付けるための表示部品を含み、
前記操作支援手段は、前記端末画像に含まれる情報に基づいて、ユーザーにより入力される予定の前記操作の対象となる前記表示部品を対象部品として予測する予測手段と、
予測された前記対象部品を強調して表示する強調表示手段と、を含む、請求項１に記載の画像処理装置。
【請求項３】
前記予測手段は、前記端末画像に含まれる文字情報に基づいて、前記表示部品を予測する、請求項２に記載の画像処理装置。
【請求項４】
前記予測手段は、前記文字情報に含まれる文字列を、前記表示部品に対して予め関連付けられた予約語と比較する、請求項３に記載の画像処理装置。
【請求項５】
前記予測手段は、前記文字情報に含まれる複数の文字列のうちから出現する頻度の高い文字列に基づいて、前記表示部品を予測する、請求項４に記載の画像処理装置。
【請求項６】
前記予測手段は、前記端末画像に含まれる画像と類似する前記表示部品を前記対象部品として予測する、請求項２〜５のいずれかに記載の画像処理装置。
【請求項７】
前記予測手段は、前記端末画像が複数の前記表示部品とそれぞれ類似する複数の前記画像を含む場合、複数の前記画像のうち頻度の高い前記画像と類似する前記表示部品を前記対象部品として予測する、請求項６に記載の画像処理装置。
【請求項８】
前記強調表示手段は、予測された前記操作を受け付けるための前記表示部品の近傍に前記端末画像を表示する、請求項２〜７のいずれかに記載の画像処理装置。
【請求項９】
前記強調表示手段は、前記対象部品が予測される前の段階で前記表示手段に前記操作画面と前記端末画像とが表示されている場合、前記端末画像を表示する位置を移動させる、請求項８に記載の画像処理装置。
【請求項１０】
前記強調表示手段は、前記対象部品に予測された前記表示部品を、他の前記表示部品よりも優先される位置に移動させる、請求項２〜７のいずれかに記載の画像処理装置。
【請求項１１】
前記表示手段は、前記操作画面に加えて前記端末画像を表示し、
前記強調表示手段は、前記対象部品に予測された前記表示部品と、前記端末画像に含まれ、前記対象部品を予測する元になった元情報が表示される領域とを強調表示する、請求項２〜７のいずれかに記載の画像処理装置。
【請求項１２】
前記強調表示手段は、前記対象部品に予測された前記表示部品と、前記元情報が表示される領域とを関連付ける指示画像を前記表示手段に表示する、請求項１１に記載の画像処理装置。
【請求項１３】
前記強調表示手段は、前記表示部品が前記対象部品として予測されない場合は、前記端末画像を表示しない、または、前記端末画像が表示されている場合は前記端末画像のサイズを縮小する、請求項８〜１２のいずれかに記載の画像処理装置。
【請求項１４】
携帯装置から前記携帯装置により表示されている端末画像を取得する画像取得ステップと、
取得された前記端末画像に含まれる情報に基づいて、表示手段に表示されている操作画面の内容を変更する操作支援ステップと、を画像処理装置に実行させる操作支援方法。
【請求項１５】
画像処理装置を制御するコンピューターで実行される操作支援プログラムであって、
携帯装置から前記携帯装置により表示されている端末画像を取得する画像取得ステップと、
取得された前記端末画像に含まれる情報に基づいて、表示手段に表示されている操作画面の内容を変更する操作支援ステップと、を前記コンピューターに実行させる操作支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、操作支援方法および操作支援プログラムに関し、特に、外部の装置と無線接続が可能な画像処理装置、その画像処理装置で実行される操作支援方法および操作支援プログラムに関する。
【背景技術】
【０００２】
ユーザーが携帯するスマートフォン、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）等の携帯装置は、ユーザーインターフェースが充実している。例えば、キーボードを用いた文字情報の入力に加えて、静止画、動画、音声による入力が可能となっている。また、携帯装置は、通信機能が充実しており、アドレス帳等の個人データを記憶している。
【０００３】
一方、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）等の画像処理装置は、多機能化しており、操作が煩雑になってきている。このため、ＭＦＰを操作するユーザーを支援するために、携帯装置にＭＦＰの操作を支援するためのアプリケーションプログラムをインストールすることが考えられる。
【０００４】
しかしながら、ＭＦＰと携帯装置とは別体の装置なので、携帯装置でＭＦＰの操作を支援するための情報をディスプレイに表示等して出力したとしても、ユーザーが、その表示に基づいて、ＭＦＰで表示される操作画面に対する操作を直ちに理解することができない場合があるといった問題がある。
【０００５】
携帯装置を携帯するユーザーを支援する技術として、特開２０１６−１３４０４２号公報には、ＭＦＰで原稿を読み取って得られるデータを、携帯装置に記憶されたアドレス帳で定められた宛先に送信する技術が記載されている。しかしながら、特開２０１６−１３４０４２号公報に記載の技術は、携帯装置とＭＦＰとの間で通信するための手順および情報を予め取決めておく必要がある。このため、ＭＦＰとの間の連携の手順が定められた専用のアプリケーションプログラムがインストールされた携帯装置を用いなければならず、予め定められた機能でしか連携することができないといった問題がある。
【特許文献１】特開２０１６−１３４０４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、携帯装置が表示する情報を用いて操作を支援することが可能な画像処理装置を提供することである。
【０００７】
この発明の他の目的は、携帯装置が表示する情報を用いて画像処理装置の操作を支援することが可能な操作支援方法を提供することである。
【０００８】
この発明の他の目的は、携帯装置が表示する情報を用いて画像処理装置の操作を支援することが可能な操作支援プログラムを提供することである。
【課題を解決するための手段】
【０００９】
上述した目的を達成するためにこの発明のある局面によれば、画像処理装置は、携帯装置と通信可能な画像処理装置であって、操作画面を表示する表示手段と、携帯装置から携帯装置により表示されている端末画像を取得する画像取得手段と、取得された端末画像に含まれる情報に基づいて、操作画面の内容を変更する操作支援手段と、を備える。
【００１０】
この局面に従えば、携帯装置から取得された端末画像に含まれる情報に操作画面の内容を合わせることができる。その結果、携帯装置が表示する情報を用いて操作を支援することが可能な画像処理装置を提供することができる。
【００１１】
好ましくは、操作画面は、ユーザーにより入力される操作を受け付けるための表示部品を含み、操作支援手段は、端末画像に含まれる情報に基づいて、ユーザーにより入力される予定の操作の対象となる表示部品を対象部品として予測する予測手段と、予測された対象部品を強調して表示する強調表示手段と、を含む。
【００１２】
この局面に従えば、端末画像を解析した結果に基づいて、ユーザーにより入力される予定の操作の対象となる表示部品を対象部品として予測し、対象部品に予測された表示部品を強調して表示する。このため、携帯装置で案内される操作を通知することができる。
【００１３】
好ましくは、予測手段は、端末画像に含まれる文字情報に基づいて、表示部品を予測する。
【００１４】
この局面に従えば、端末画像に含まれる文字情報に基づいて、ユーザーにより入力される予定の操作の対象となる表示部品を予測するので、表示部品を予測する精度を高めることができる。
【００１５】
好ましくは、予測手段は、文字情報に含まれる文字列を、表示部品に対して予め関連付けられた予約語と比較する。
【００１６】
この局面に従えば、文字情報に含まれる文字列を、表示部品に予め関連付けられた予約語と比較するので、表示部品を予測する精度を高めることができる。
【００１７】
好ましくは、予測手段は、文字情報に含まれる複数の文字列のうちから出現する頻度の高い文字列に基づいて、表示部品を予測する。
【００１８】
この局面に従えば、文字情報に含まれる複数の文字列のうちから出現する頻度の高い文字列に基づいて、表示部品を予測するので、表示部品を予測する精度を高めることができる。
【００１９】
好ましくは、予測手段は、端末画像に含まれる画像と類似する表示部品を対象部品として予測する。
【００２０】
この局面に従えば、端末画像に含まれる画像と類似する表示部品を対象部品として予測するので、表示部品を予測する精度を高めることができる。
【００２１】
好ましくは、予測手段は、端末画像が複数の表示部品とそれぞれ類似する複数の画像を含む場合、複数の画像のうち頻度の高い画像と類似する表示部品を対象部品として予測する。
【００２２】
この局面に従えば、端末画像が複数の表示部品とそれぞれ類似する複数の類似画像を含む場合、頻度の高い類似画像を抽出するので、表示部品を予測する精度を高めることができる。
【００２３】
好ましくは、強調表示手段は、予測された操作を受け付けるための表示部品の近傍に端末画像を表示する。
【００２４】
この局面に従えば、予測された表示部品の近傍に端末画像が表示されるので、予測された表示部品の操作画面における位置を通知することができる。
【００２５】
好ましくは、強調表示手段は、対象部品が予測される前の段階で表示手段に操作画面と端末画像とが表示されている場合、端末画像を表示する位置を移動させる。
【００２６】
この局面に従えば、対象部品が予測される前の段階で操作画面と端末画像とが並んで表示されている場合、端末画像を表示する位置を移動させるので、端末画像の移動後の位置で、予測された表示部品を通知することができる。
【００２７】
好ましくは、強調表示手段は、対象部品に予測された表示部品を、他の表示部品よりも優先される位置に移動させる。
【００２８】
この局面に従えば、予測された表示部品を、他の表示部品よりも優先される位置に移動させるので、操作画面における優先される位置で、表示部品を通知することができる。
【００２９】
好ましくは、表示手段は、操作画面に加えて端末画像を表示し、強調表示手段は、対象部品に予測された表示部品と、端末画像に含まれ、対象部品を予測する元になった元情報が表示される領域とを強調表示する。
【００３０】
この局面に従えば、対象部品に予測された表示部品と、端末画像に含まれ、表示部品を予測する元になった元情報が表示される領域とを強調表示するので、表示部品と元情報との関係を通知することができる。
【００３１】
好ましくは、強調表示手段は、対象部品に予測された表示部品と、元情報が表示される領域とを関連付ける指示画像を表示手段に表示する。
【００３２】
この局面に従えば、対象部品に予測された表示部品と元情報が表示される領域とを関連付ける指示画像が表示されるので、表示部品をユーザーに通知するとともに、表示部品に関連する元情報を通知することができる。
【００３３】
好ましくは、強調表示手段は、表示部品が対象部品として予測されない場合は、端末画像を表示しない、または、端末画像が表示されている場合は端末画像のサイズを縮小する。
【００３４】
この局面に従えば、表示部品が予測されない場合は、端末画像が表示されず、また、端末画像が表示されている場合は端末画像のサイズが縮小されるので、端末画像に表示部品に関連する情報が存在しないことを通知することができる。
【００３５】
この発明の他の局面によれば、操作支援方法は、携帯装置から携帯装置により表示されている端末画像を取得する画像取得ステップと、取得された端末画像に含まれる情報に基づいて、表示手段に表示されている操作画面の内容を変更する操作支援ステップと、を画像処理装置に実行させる。
【００３６】
この局面に従えば、携帯装置が表示する情報を用いて画像処理装置の操作を支援することが可能な操作支援方法を提供することができる。
【００３７】
この発明のさらに他の局面によれば、操作支援プログラムは、画像処理装置を制御するコンピューターで実行される操作支援プログラムであって、携帯装置から携帯装置により表示されている端末画像を取得する画像取得ステップと、取得された端末画像に含まれる情報に基づいて、表示手段に表示されている操作画面の内容を変更する操作支援ステップと、をコンピューターに実行させる。
【００３８】
この局面に従えば、携帯装置が表示する情報を用いて画像処理装置の操作を支援することが可能な操作支援方法を提供することができる。
【図面の簡単な説明】
【００３９】
【図１】本発明の実施の形態における情報システムの全体概要の一例を示す図である。
【図２】本実施の形態におけるＭＦＰの外観を示す斜視図である。
【図３】本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。
【図４】ＮＦＣ通信部の詳細な構成の一例を示す図である。
【図５】操作パネルの平面図である。
【図６】本実施の形態におけるスマートフォンのハードウェア構成の概要を示すブロック図である。
【図７】本実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。
【図８】操作支援処理の流れの一例を示すフローチャートである。
【図９】予測処理の流れの一例を示すフローチャートである。
【図１０】操作画面変更処理の流れの一例を示すフローチャートである。
【図１１】操作受付処理の流れの一例を示すフローチャートである。
【図１２】ＭＦＰに表示される画像の一例を示す第１の図である。
【図１３】ＭＦＰに表示される画像の一例を示す第２の図である。
【図１４】ＭＦＰに表示される画像の一例を示す第３の図である。
【図１５】ＭＦＰに表示される画像の一例を示す第４の図である。
【図１６】ＭＦＰに表示される画像の一例を示す第５の図である。
【図１７】ＭＦＰに表示される画像の一例を示す第６の図である。
【発明を実施するための形態】
【００４０】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００４１】
図１は、本発明の実施の形態における情報システムの全体概要の一例を示す図である。図１を参照して、情報システム１は、ＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１００と、スマートフォン２００と、を含む。
【００４２】
スマートフォン２００は、携帯装置の一例であり、ユーザーにより携帯されて使用される。スマートフォン２００のハードウェア構成および機能は周知なので、ここでは説明を繰り返さない。
【００４３】
ＭＦＰ１００は、画像処理装置の一例であり、原稿を読み取るための原稿読取機能、画像データに基づいて紙などの記録媒体に画像を形成するための画像形成機能およびファクシミリデータを送受信するファクシミリ送受信機能を備えている。
【００４４】
無線局５およびＭＦＰ１００それぞれは、ネットワーク３に接続される。ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク３は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ  Ｓｗｉｔｃｈｅｄ  Ｔｅｌｅｐｈｏｎｅ  Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク３は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）であってもよい。
【００４５】
スマートフォン２００は、無線ＬＡＮ機能を有し、無線局５と通信可能である。無線局５は、ネットワーク３の中継装置であり、無線ＬＡＮを用いた通信機能を備えたスマートフォン２００と通信して、スマートフォン２００をネットワーク３に接続する。このため、スマートフォン２００は、無線局５を介してＭＦＰ１００と通信可能である。ネットワーク３は、さらに、インターネットに接続されてもよい。この場合、スマートフォン２００およびＭＦＰ１００それぞれは、ネットワーク３を介してインターネットに接続されたコンピューターと互いに通信可能である。
【００４６】
さらに、ＭＦＰ１００、スマートフォン２００それぞれは、近距離で無線通信する機能を有し、相手の装置が所定の範囲内となる場合に互いに１対１で通信可能である。
【００４７】
図２は、本実施の形態におけるＭＦＰの外観を示す斜視図である。図３は、本実施の形態におけるＭＦＰのハードウェア構成の一例を示すブロック図である。図２および図３を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、画像が形成された用紙を処理する後処理部１５５と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００４８】
後処理部１５５は、画像形成部１４０により画像が形成された１以上の用紙を並び替えて排紙するソート処理、パンチ穴加工するパンチ処理、ステープル針を打ち込むステープル処理を実行する。
【００４９】
メイン回路１１０は、ＣＰＵ１１１と、ＣＰＵ１１１と接続された通信インターフェース（Ｉ／Ｆ）部１１２、ＲＯＭ１１３、ＲＡＭ１１４、ハードディスクドライブ（ＨＤＤ）１１５、ファクシミリ部１１６、外部記憶装置１１７およびＮＦＣ通信部１１９と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０、後処理部１５５および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００５０】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００５１】
操作パネル１６０は、ＭＦＰ１００の上面に設けられ、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーからなるハードキー部１６７を備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１上に設けられたタッチパネル１６５をさらに含む。
【００５２】
ＨＤＤ１１５は、大容量記憶装置である。通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク３に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介して、スマートフォン２００との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク３を介してインターネットに接続されたコンピューターと通信が可能である。
【００５３】
ファクシミリ部１１６は、公衆交換電話網（ＰＳＴＮ）に接続され、ＰＳＴＮにファクシミリデータを送信する、またはＰＳＴＮからファクシミリデータを受信する。ファクシミリ部１１６は、受信したファクシミリデータを、ＨＤＤ１１５に記憶する、または画像形成部１４０に出力する。画像形成部１４０は、ファクシミリ部１１６により受信されたファクシミリデータを用紙にプリントする。また、ファクシミリ部１１６は、ＨＤＤ１１５に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。
【００５４】
外部記憶装置１１７は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  ＲＯＭ）１１８が装着される。ＣＰＵ１１１は、外部記憶装置１１７を介してＣＤ−ＲＯＭ１１８にアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１７に装着されたＣＤ−ＲＯＭ１１８に記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ１１８に限られず、光ディスク（ＭＯ（Ｍａｇｎｅｔｉｃ  Ｏｐｔｉｃａｌ  Ｄｉｓｃ）／ＭＤ（Ｍｉｎｉ  Ｄｉｓｃ）／ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ））、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）等の半導体メモリであってもよい。
【００５５】
また、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１８に記録されたプログラムに限られず、ＨＤＤ１１５に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワーク３に接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１５に記憶されたプログラムを書換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワーク３に接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１５に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００５６】
図４は、ＮＦＣ通信部の詳細な構成の一例を示す図である。図４を参照して、ＮＦＣ通信部１１９は、ＮＦＣ通信制御部１７３と、ＮＦＣアンテナ１７１と、検出回路１７５と、を含む。ＮＦＣ通信制御部１７３は、ＮＦＣアンテナ１７１と接続される。ＮＦＣ通信制御部１７３は、ＣＰＵ１１１により制御され、ＮＦＣ（Ｎｅａｒ  Ｆｉｅｌｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ）の近距離無線通信方式で外部の装置、例えば、スマートフォン２００と無線により通信する。ＮＦＣ通信部１１９が通信可能な距離は、数ｃｍである。ＮＦＣアンテナ１７１は、表示部１６１の表示面の上方または下方の面に配置される。具体的には、ＮＦＣアンテナ１７１は、表示部１６１の下方に配置された基板に形成されてもよく、表示部１６１の表示面よりも上に配置されてもよい。ＮＦＣアンテナ１７１は、表示部１６１の表示面よりも上に配置される場合、透明な材料によって形成される。また、表示部１６１の表示面よりも上に配置される場合、表示部１６１とタッチパネル１６５との間に配置されてもよいし、タッチパネル１６５の上に配置されてもよい。
【００５７】
検出回路１７５は、ＮＦＣアンテナ１７１が、ＮＦＣ通信部１１９が通信するために予め定められた周波数の電波を受信する場合に、ＣＰＵ１１１に外部の装置と通信可能になったことを示す信号を出力する。
【００５８】
図５は、操作パネルの平面図である。図５を参照して、操作パネル１６０は、表示部１６１と、タッチパネル１６５と、ハードキー部１６７と、を含む。表示部１６１の表示面と、タッチパネル１６５の検出面とは重ねて配置される。アンテナ領域１７１Ａは、表示部１６１の表示面中でＮＦＣアンテナ１７１と重なる領域である。
【００５９】
ハードキー部１６７は、複数のハードキーを含む。ハードキーは、接点スイッチであり、ＣＰＵ１１１と接続される。ハードキーは、ユーザーにより押下されていない状態でＯＦＦであり、ユーザーにより押下されるとＯＮになる。
【００６０】
図６は、本実施の形態におけるスマートフォンのハードウェア構成の概要を示すブロック図である。図６を参照して、本実施の形態におけるスマートフォン２００は、スマートフォン２００の全体を制御するためのＣＰＵ２０１と、カメラ２０２と、データを不揮発的に記憶するフラッシュメモリ２０３と、通話部２０５と接続された無線通信部２０４と、情報を表示する表示部２０６と、ユーザーの操作を受け付ける操作部２０７と、無線ＬＡＮＩ／Ｆ２０８と、ＮＦＣ通信部２０９と、外部記憶装置２１１と、を含む。
【００６１】
表示部２０６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部２０７は、メインキー２０７Ａと、タッチパネル２０７Ｂとを備える。また、ユーザーが、表示部２０６の表示面を指示する場合、操作部２０７は、タッチパネル２０７Ｂにより検出される表示面の位置をＣＰＵ２０１に出力する。ＣＰＵ２０１は、タッチパネル２０７Ｂにより検出された位置に基づいて、表示部２０６に表示されている画面中でユーザーにより指示された位置を検出する。ＣＰＵ２０１は、表示部２０６に表示されている画面と、タッチパネル２０７Ｂによる検出された位置とに基づいて、ユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。例えば、表示部２０６にテンキーの画像を含む画面を表示する場合には、タッチパネル２０７Ｂによる検出された位置に表示されたキーに対応する数字を受け付ける。
【００６２】
カメラ２０２は、レンズおよび光電変換素子を備え、レンズで集光した光を光電変換素子に結像し、光電変換素子は受光した光を光電変換して画像データをＣＰＵ２０１に出力する。光電変換素子は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサー等である。
【００６３】
無線通信部２０４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２０４は、スマートフォン２００を電話通信網に接続し、通話部２０５を用いた通話を可能とする。無線通信部２０４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２０５に出力する。また、無線通信部２０４は、通話部２０５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２０５は、マイクロフォンおよびスピーカーを備え、無線通信部２０４から入力される音声をスピーカーから出力し、マイクから入力される音声を無線通信部２０４に出力する。さらに、無線通信部２０４は、ＣＰＵ２０１により制御され、スマートフォン２００を電子メールサーバーに接続し、電子メールを送受信する。
【００６４】
無線ＬＡＮＩ／Ｆ２０８は、無線局５と通信し、スマートフォン２００をネットワーク３に接続するためのインターフェースである。スマートフォン２００に、ＭＦＰ１００のＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）アドレスを登録しておくことにより、スマートフォン２００は、ＭＦＰ１００と通信することができ、データの送受信が可能となる。
【００６５】
ＮＦＣ通信部２０９は、ＮＦＣの近距離無線通信方式でＭＦＰ１００と無線により通信する。ＮＦＣ通信部２０９は、例えば、ＭＦＰ１００との間の距離が通信可能な距離以下となると、ＭＦＰ１００と通信する。ＮＦＣ通信部２０９が通信可能な距離は、数ｃｍである。
【００６６】
フラッシュメモリ２０３は、ＣＰＵ２０１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＣＰＵ２０１は、フラッシュメモリ２０３に記録されたプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行する。
【００６７】
外部記憶装置２１１は、スマートフォン２００に着脱自在であり、アプリケーションプログラムを記憶したＣＤ−ＲＯＭ２１１Ａが装着可能である。ＣＰＵ２０１は、外部記憶装置２１１を介してＣＤ−ＲＯＭ２１１Ａにアクセス可能である。ＣＰＵ２０１は、外部記憶装置２１１に装着されたＣＤ−ＲＯＭ２１１Ａに記録されたアプリケーションプログラムを、ＣＰＵ２０１が備えるＲＡＭにロードして実行することが可能である。
【００６８】
なお、ＣＰＵ２０１が実行するプログラムとして、フラッシュメモリ２０３またはＣＤ−ＲＯＭ２１１Ａに記録されたプログラムについて説明したが、ネットワーク３に接続された他のコンピューターが、フラッシュメモリ２０３に記憶されたプログラムを書換えたプログラム、または、追加して書き込んだ新たなプログラムであってもよい。さらに、スマートフォン２００が、ネットワーク３に接続された他のコンピューターからダウンロードしたプログラムでもよい。ここでいうプログラムは、ＣＰＵ２０１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００６９】
なお、ＣＰＵ２０１が実行するプログラムを記憶する媒体としては、ＣＤ−ＲＯＭ２１１Ａに限られず、光ディスク（ＭＯ／ＭＤ／ＤＶＤ）、ＩＣカード、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリであってもよい。
【００７０】
本実施の形態におけるスマートフォン２００には、アプリケーションプログラムとして、ＭＦＰ１００の操作を支援するための支援情報を提供する支援情報提供プログラムがインストールされている。例えば、ＣＰＵ１１１が支援情報提供プログラムを実行することにより、支援情報提供プログラムを実行するタスクが、ユーザーが入力する文字情報に関連付けられた支援情報を表示部２０６に表示する。文字情報は、支援情報を検索するためのキーワードであることが望ましく、例えば、ユーザーが操作を希望する処理の名称である。支援情報は、ＭＦＰ１００の操作を支援する情報である。例えば、支援情報は、ＭＦＰ１００に表示されている操作画面に対する操作を説明する情報である。さらに、設定値を設定する操作を支援するために、操作画面中の設定値を入力する領域を示す情報であってもよいし、操作画面の切り換える操作を支援するために、操作画面に含まれるボタンを示す情報であってもよい。
【００７１】
文字情報の入力を受け付けるために、スマートフォン２００は、ユーザーにより操作部２０７に入力される文字情報を受け付ける。また、スマートフォン２００に音声を認識する音声認識プログラムがインストールされている場合には、スマートフォン２００は、ユーザーが発声する音声を通話部２０５が備えるマイクロフォンで受け付け、音声認識プログラムを実行するタスクが、その音声を文字情報に変換することにより、文字情報を受け付けるようにしてもよい。
【００７２】
また、この操作支援プログラムは、学習機能を有してもよい。例えば、スマートフォン２００のユーザーが過去に入力した文字情報と、その文字情報に対応する複数の支援情報のうちからユーザーにより選択された支援情報とを関連付けた履歴情報を記憶するようにし、この履歴情報に基づいて、ユーザーが入力した文字情報に対応する適切な支援情報を提示するようにする。
【００７３】
また、スマートフォン２００にインストールされるアプリケーションプログラムは、支援情報提供プログラムに限られず、スマートフォン２００の操作を容易にするためにスマートフォン２００にインストールされているプログラムであってもよい。例えば、ユーザーが音声で氏名を入力する場合に、スマートフォン２００に記憶されているアドレス帳から、その氏名で特定されるユーザーのアドレス情報を表示するプログラムであってもよい。
【００７４】
図７は、本実施の形態におけるＭＦＰが備えるＣＰＵの機能の一例を示すブロック図である。図７に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１がＲＯＭ１１３、ＨＤＤ１１５またはＣＤ−ＲＯＭ１１８に記憶された設定値設定プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。なお、図７に示すＣＰＵ１１１の各機能は、入力に対して予め定められた処理を実行し、処理結果を出力する。このため、ＣＰＵ１１１の各機能は、リレー等を用いた電子回路で実現することができる。図７を参照して、ＣＰＵ１１１は、画像取得部５１と、解析部５３と、操作支援部５５と、端末画像表示部５７と、操作受付部５９と、操作画面表示部６１と、設定値決定部６３と、処理実行部６５と、を含む。
【００７５】
画像取得部５１は、スマートフォン２００と通信し、スマートフォン２００が表示部２０６に表示している画像を取得する。例えば、画像取得部５１は、ＮＦＣ通信部１１９がスマートフォン２００と通信可能になったことを検出すると、通信Ｉ／Ｆ部１１２を制御して、スマートフォン２００との間で通信経路を確立する。ＮＦＣ通信部１１９は、スマートフォン２００との間で通信するための電波の周波数が予め定められている。このため、ＮＦＣ通信部１１９は、予め定められた周波数の電波を受信する場合に、スマートフォン２００と通信可能になる。
【００７６】
この段階で、スマートフォン２００において、表示部２０６に表示された画像を送信する処理を定めた、汎用的なアプリケーションプログラムが実行される場合、通信Ｉ／Ｆ部１１２はスマートフォン２００が送信する画像を受信する。画像取得部５１は、通信Ｉ／Ｆ部１１２がスマートフォン２００から受信する画像を端末画像として取得する。画像取得部５１は、スマートフォン２００から取得された端末画像を、解析部５３および端末画像表示部５７に出力する。したがって、スマートフォン２００にＭＦＰ１００と通信して、ＭＦＰ１００の仕様に合致した専用のアプリケーションプログラムをインストールすることなく、スマートフォン２００から端末画像を取得することができる。
【００７７】
なお、画像取得部５１は、スマートフォン２００がストリームデータを送信する場合、通信Ｉ／Ｆ部１１２がスマートフォン２００から受信するストリームデータを取得する。この場合、画像取得部５１は、ストリームデータから１フレームの静止画を抽出し、抽出した静止画を端末画像として取得する。
【００７８】
操作画面表示部６１は、表示部１６１を制御し、ＨＤＤ１１５に記憶された操作画面を表示部１６１の表示面中で予め定められた第１領域に表示する。これにより、ユーザーは、操作部１６３を操作して、ＭＦＰ１００に操作を入力することが可能となる。操作画面は、ユーザーがＭＦＰ１００に処理を実行させるために、設定値を設定するための画面を含む。設定値は、処理実行部６５が処理を実行するために用いる値である。操作画面表示部６１は、表示部１６１に操作画面を表示することに応じて、表示された操作画面を識別するための画面識別情報を操作支援部５５および設定値決定部６３に出力する。
【００７９】
操作画面は、１以上の表示部品を含む。表示部品は、ユーザーに通知する情報を表示する通知部品、ユーザーにより入力される値を受け付ける入力部品、処理の実行を指示する操作を受け付ける指示部品を含む。なお、表示部品は、これらに限定されるものではない。
【００８０】
通知部品は、例えば、操作画面を説明する文字列が表された説明用部品、次の操作を促すメッセージが表されたメッセージ部品等を含む。入力部品は、ユーザーにより入力される設定値を受け付ける直接受付部品、複数の設定値のうちから１以上を選択する操作を受け付ける選択受付部品、予め定められた処理を実行するコマンドが関連付けられたコマンド部品を含む。直接受付部品は、例えば、コピー枚数等のユーザーが直接入力する設定値を受け付けるための表示部品である。選択受付部品は、用紙のサイズ等の予め定められた複数の設定値のうちから１以上を選択する操作を受け付けるための表示部品である。コマンド部品は、特定の操作画面に遷移するコマンド等が関連付けられた表示部品である。
【００８１】
表示部品は、アイコンなどの画像として操作画面に含まれる場合がある。例えば、画面をスクロールさせるための操作を受け付ける画像である。
【００８２】
端末画像表示部５７は、端末画像が入力されることに応じて、端末画像を表示部１６１に表示する。端末画像表示部５７は、表示部１６１の表示面中で予め定められた第２領域に端末画像を表示する。第２領域は、第１領域と重ならない。
【００８３】
操作受付部５９は、操作部１６３を制御して、ユーザーが操作部１６３に入力する操作を受け付ける。操作受付部５９は、受け付けられた操作を操作画面表示部６１および設定値決定部６３に出力する。
【００８４】
操作受付部５９は、ユーザーが、表示部１６１に表示された操作画面に従って、操作部１６３に設定値を入力する場合、設定値を設定する設定操作を受け付ける。設定値決定部６３は、操作受付部５９により設定操作が受け付けられる場合、受け付けられた設定操作により特定される設定値を決定する。設定値決定部６３は、決定された設定値を処理実行部６５に出力する。具体的には、設定値決定部６３は、操作画面中で設定値を入力する領域をユーザーが指示する場合、タッチパネル１６５が操作画面中で設定値を入力する領域中の位置を検出し、領域指示操作を受け付ける。設定値決定部６３は、領域指示操作を受け付けると、領域指示操作で特定される領域に対応する設定値の種類を処理対象に設定する。そして、設定値決定部６３は、ユーザーが操作部１６３に設定値を入力する場合、操作部１６３が受け付ける設定値を、処理対象に設定されている種類の設定値に決定する。例えば、ユーザーがハードキー部１６７を操作して入力する数字の配列を設定値に決定する。また、表示部１６１にキーボードを表示し、タッチパネル１６５により検出された位置に対応するキーに割り当てられた文字を受け付け、受け付けられた複数の文字の配列を設定値に決定する。
【００８５】
処理実行部６５は、操作受付部５９が実行指示操作を受け付ける場合、設定値決定部６３により決定された設定値に従って処理を実行する。操作受付部５９は、操作部１６３に処理の実行を指示する操作を入力する場合、実行指示操作を受け付ける。処理実行部６５が実行可能な処理は、例えば、原稿読取処理、画像形成処理、データ送受信処理、ファクシミリ送受信処理およびデータ管理処理を含む。処理実行部６５が実行可能な処理は、原稿読取処理、画像形成処理、データ送受信処理、ファクシミリ送受信処理およびデータ管理処理の少なくとも２つを組み合わせた処理を含む。なお、処理実行部６５が実行可能な処理は、これらに限定されることなく、より少なくてもよいし、より多くの種類の処理を含んでもよい。
【００８６】
解析部５３は、画像取得部５１から端末画像が入力され、端末画像を解析する。解析部５３は、画像取得部５１から端末画像が入力されることに応じて、端末画像を解析する。換言すれば、解析部５３は、画像取得部５１から新たな端末画像が入力されるごとに、端末画像を解析する。なお、解析部５３は、操作受付部５９が開始指示操作を受け付けることに応じて、端末画像を解析するようにしてもよい。操作受付部５９は、ユーザーが操作部１６３に解析の開始を指示する操作を入力する場合に、開始指示操作を受け付ける。例えば、操作受付部５９は、端末画像表示部５７により端末画像が表示部１６１に表示される場合に、開始指示が割り当てられた開始指示ボタンを表示部１６１に表示する。操作受付部５９は、開始指示ボタン内の位置がユーザーにより指示されて、タッチパネル１６５が開始指示ボタン内の位置を検出すると、開始指示操作を受け付ける。
【００８７】
解析部５３は、文字抽出部６７と、画像抽出部６９と、を含む。文字抽出部６７は、端末画像を文字認識し、文字を抽出する。文字抽出部６７は、端末画像の全体から文字を抽出し、抽出された文字を含む文字情報を操作支援部５５に出力する。画像抽出部６９は、端末画像から文字以外の画像を抽出する。画像抽出部６９は、抽出された画像を操作支援部５５に出力する。
【００８８】
操作支援部５５は、予測部７１と、強調表示部７５と、を含む。予測部７１は、端末画像に含まれる情報に基づいて、ユーザーにより入力される予定の操作の対象となる表示部品を予測する。予測部７１は、端末画像に含まれる情報として、解析部５３から文字情報、画像、または文字情報と画像との組が入力される。
【００８９】
予測部７１は、比較部７３を含む。比較部７３は、文字抽出部６７から入力される文字情報に含まれる文字列を、表示部品に対して予め関連付けられた予約語と比較する。予約語は、操作画面に含まれる表示部品に付された部品名称、およびその表示部品に対して予め登録された単語である。例えば、コピー枚数を設定するための入力部品に対して、部品名称である「コピー枚数」、およびコピー処理の動作の回数を示す単語として、「枚数」、「部数」、「置数」等が予約語として予め登録されている。また、原稿のサイズを設定する選択受付部品に対して、部品名称である「原稿サイズ」、およびＭＦＰ１００に収納されている１以上の種類の用紙を示す単語として、「Ａ４」、「Ａ３」、「Ｂ４」等の用紙のサイズを示す単語、および「縦」、「横」等の用紙の方向を示す単語が予約語として予め登録されている。コピー処理を特定するための設定値を設定するための操作画面であるコピー設定画面に遷移するコマンドが関連付けられたコマンド部品に対して、部品名称である「コピー設定画面」、および「コピー」、「複写」等の単語が予約語として予め登録されている。また、比較部７３は、画像抽出部６９から入力される画像を、表示部品の画像と比較する。また、予約語は、ユーザーによる操作履歴から追加されるようにしてもよい。
【００９０】
予測部７１は、比較部７３による比較の結果、文字抽出部６７から入力される文字情報に含まれる文字列のうち対象文字列が、表示部品に関連する予約語と一致または類似する場合、対象文字列と類似する予約語に関連する表示部品を、ユーザーにより入力される予定の操作の対象である対象部品として予測する。また、予測部７１は、比較部７３による比較の結果、画像抽出部６９から入力される画像のうち対象画像が、表示部品の画像と一致または類似する場合、画像抽出部６９から入力される画像と一致または類似する表示部品を、ユーザーにより入力される予定の操作の対象である対象部品として予測する。予測部７１は、対象部品として予測された表示部品を強調表示部７５に出力する。
【００９１】
予測部７１は、予測した表示部品が複数の場合、端末画像から抽出された文字列または画像のうち端末画像に出現する頻度が最大の文字列または画像に対応する表示部品を、ユーザーにより入力される予定の操作の対象として予測する。端末画像に出現する頻度が大きいほど、注目されている表示部品である可能性が高いからである。
【００９２】
強調表示部７５は、予測部７１から入力される部品識別情報で特定される表示部品を表示部１６１に強調して表示する。強調表示部７５は、近傍配置部８１と、配置変更部８３と、関連表示部８５と、縮小部８７と、を含む。
【００９３】
近傍配置部８１は、予測部７１から部品識別情報が入力されることに応じて、部品識別情報で特定される表示部品の近傍に端末画像を表示する。近傍配置部８１は、端末画像を操作画面に重畳して表示する。このため、予測された表示部品の操作画面における位置をユーザーに通知することができる。この際、端末画像を第２領域に表示したままであってもよいし、端末画像を第２領域に表示しないようにしてもよい。また、端末画像のサイズを縮小した画像を、表示部品の近傍に表示するようにしてもよい。
【００９４】
近傍配置部８１は、端末画像が、表示部１６１の表示面中で予め定められた第２領域に表示されている場合、端末画像を、第２領域から部品識別情報で特定される表示部品の近傍の位置まで移動させるようにしてもよい。また、端末画像を複製した画像を移動させるようにしてもよい。近傍配置部８１は、端末画像を、第２領域から表示部品の近傍まで移動させる途中の状態を表示するようにしてもよい。これにより、表示部品の位置をユーザーによりわかりやすく通知することができる。
【００９５】
配置変更部８３は、予測部７１から部品識別情報が入力されることに応じて、部品識別情報で特定される表示部品が配置される位置を、他の表示部品よりも優先順位の高い位置となるように、操作画面中の１以上の表示部品が配置される位置を変更する。ここでは、優先順位は、操作画面中で左上が最も高く、右側または下側に距離が離れるほど優先順位が低くなる。配置変更部８３は、配置が変更される前の位置から変更後の位置に表示部品が移動する状態を表示するようにしてもよい。これにより、表示部品の位置をユーザーによりわかりやすく通知することができる。
【００９６】
関連表示部８５は、予測部７１から部品識別情報が入力されることに応じて、部品識別情報で特定される表示部品と、端末画像に含まれる対象文字列または対象画像との組を強調して表示する。具体的には、関連表示部８５は、表示部品と、対象文字列または対象画像とを関連付ける指示画像を表示部１６１に表示する。例えば、指示画像は、表示部品と、対象文字列または対象画像とを結ぶ線である。表示部品と、対象文字列または対象画像とを線で結ぶことによって、表示部品と、対象文字列または対象画像とが関連すること、および表示部品をユーザーに通知することができる。
【００９７】
また、指示画像は、表示部品および対象文字列、または表示部品および対象画像それぞれの近傍に配置される同一の２つの画像としてもよい。同一の２つの画像を配置することによって、それぞれの近傍に配置された表示部品と、対象文字列または対象画像とが関連していること、および表示部品をユーザーに通知することができる。
【００９８】
近傍配置部８１、配置変更部８３および関連表示部８５は、いずれか１つが機能する。この場合、変更モードを予め設定しておくようにすればよい。例えば、近傍配置部８１を機能させる重畳モード、配置変更部８３を機能させる配置変更モード、関連表示部８５を機能させる指示モードのいずれかに変更モードを設定する。変更モードは、ユーザーにより選択されてもよいし、ＭＦＰ１００に予め設定されていてもよい。さらに、近傍配置部８１、配置変更部８３および関連表示部８５の２つを組み合わせて機能するようにしてもよいし、近傍配置部８１、配置変更部８３および関連表示部８５の全てを同時に機能するようにしてもよい。
【００９９】
縮小部８７は、予測部７１から部品識別情報が入力されない場合、端末画像のサイズを縮小して、第２領域に表示する。これにより、端末画像に表示部品に関連する情報が存在しないことをユーザーに通知することができる。また、縮小部８７は、予測部７１から部品識別情報が入力されない場合、端末画像を表示部１６１に表示しないようにしてもよい。
【０１００】
図８は、操作支援処理の流れの一例を示すフローチャートである。操作支援処理は、ＭＦＰ１００が備えるＣＰＵ１１１がＲＯＭ１１３、ＨＤＤ１１５またはＣＤ−ＲＯＭ１１８に記憶された操作支援プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図８を参照して、ＣＰＵ１１１は、操作画面を表示部１６１に表示する（ステップＳ０１）。ＨＤＤ１１５に記憶された複数の操作画面のうちから１つの操作画面を表示部１６１に表示する。複数の操作画面のうち予め定められた操作画面を表示してもよいし、ユーザーが操作部１６３に入力する操作により定められる操作画面を表示してもよい。
【０１０１】
次のステップＳ０２においては、ＮＦＣ通信部１１９が他の装置を検出したか否かを判断する。ＮＦＣ通信部１１９が予め定められた周波数の電波を受信したならば他の装置を検出したと判断する。例えば、ユーザーが携帯するスマートフォン２００を、ＮＦＣ通信部１１９のアンテナに近づけると、ＮＦＣ通信部１１９がスマートフォン２００から発せられる周波数の電波を検出するので、スマートフォン２００を検出する。ＮＦＣ通信部１１９が他の装置を検出するまで待機状態となり（ステップＳ０２でＮＯ）、ＮＦＣ通信部１１９が他の装置を検出したならば（ステップＳ０２でＹＥＳ）、処理をステップＳ０３に進める。以下、ＮＦＣ通信部１１９がスマートフォン２００を検出する場合を例に説明する。
【０１０２】
ステップＳ０３においては、ステップＳ０２において検出された装置、ここではスマートフォン２００との間で通信経路を確立し、処理をステップＳ０４に進める。例えば、通信Ｉ／Ｆ部１１２を制御して、スマートフォン２００との間で通信経路を確立する。そして、スマートフォン２００から端末画像を受信したか否かを判断する(ステップＳ０４)。スマートフォン２００において、表示部２０６に表示された画像を送信するアプリケーションプログラムが実行されている場合、スマートフォン２００は、ステップＳ０３において確立された通信経路を介して、表示部２０６に表示された画像を送信するので、通信Ｉ／Ｆ部１１２がスマートフォン２００から送信される画像を端末画像として受信する。通信Ｉ／Ｆ部１１２が端末画像を受信したならば処理をステップＳ０５に進めるが、そうでなければ処理をステップＳ０８に進める。なお、ステップＳ０３においてスマートフォン２００との間で通信経路が確立されていない場合には、スマートフォン２００と通信できないので、処理をステップＳ０８に進める。
【０１０３】
ステップＳ０５においては、表示部１６１の第２領域に端末画像を表示し、処理をステップＳ０６に進める。ステップＳ０６においては、予測処理を実行し、処理をステップＳ０７に進める。ステップＳ０７においては、操作画面変更処理を実行し、処理をステップＳ０８に進める。予測処理および操作画面変更処理の詳細は後述する。
【０１０４】
ステップＳ０８においては、操作を受け付けたか否かを判断する。操作部１６３がユーザーにより入力される操作を受け付けたならば処理をステップＳ０９に進めるが、そうでなければ処理をステップＳ０４に戻す。ステップＳ０９においては、操作受付処理を実行し、処理をステップＳ１０に進める。操作受付処理の詳細は後述する。ステップＳ１０においては、処理が終了したか否かを判断する。処理が終了したならば処理を終了するが、そうでなければ処理をステップＳ０４に戻す。
【０１０５】
図９は、予測処理の流れの一例を示すフローチャートである。予測処理は、図８のステップＳ０６において実行される処理である。図９を参照して、ＣＰＵ１１１は、端末画像を文字認識し（ステップＳ３１）、処理をステップＳ３２に進める。ステップＳ３２においては、文字認識により端末画像から抽出された文字情報のうちから処理対象となる単語を選択し、処理をステップＳ３３に進める。
【０１０６】
ステップＳ３３においては、処理対象の単語と同一または類似する予約語が存在するか否かを判断する。そのような予約語が存在するならば、処理をステップＳ３４に進めるが、そうでなければ処理をステップＳ３５に進める。ステップＳ３４においては、処理対象の単語を候補部分に決定し、処理対象の単語と同一または類似する予約語と関連付けられた表示部品を対象部品に決定する。対象部品は、ユーザーにより操作されることが予想される表示部品である。次のステップＳ３５においては、ステップＳ３２において処理対象に選択されていない単語が、対象画像から抽出された文字情報に含まれるか否かを判断する。未選択の単語が存在するならば処理をステップＳ３２に戻すが、そうでなければ処理をステップＳ３６に進める。ステップＳ３６においては、対象部品が複数か否かを判断する。対象部品が複数ならば処理をステップＳ３７に進めるが、そうでなければ処理をステップＳ３８に進める。ステップＳ３７においては、ステップＳ３４において対象部品に決定された表示部品のうちから、端末画像から抽出された文字列に出現する頻度が最大の候補部分に対応する対象部品のみを、ユーザーにより操作されることが予想される表示部品に選択し、処理をステップＳ３８に進める。端末画像から抽出された文字列に出現する頻度が最大でない候補部分に対応する表示部品を、対象部品から除外する。
【０１０７】
ステップＳ３８においては、端末画像に含まれる画像を処理対象に選択する。次のステップＳ３９においては、処理対象に選択された画像が、操作画面に含まれる表示部品の画像に類似するか否かを判断する。処理対象に選択された画像が、操作画面に含まれる表示部品の画像と同一または類似するならば処理をステップＳ４０に進めるが、そうでなければ処理をステップＳ４１に進める。ステップＳ４０においては、処理対象の画像を候補部分に決定し、処理対象の画像と類似する表示部品を対象部品に決定する。次のステップＳ４１においては、ステップＳ３８において処理対象に選択されていない画像が、端末画像に含まれるか否かを判断する。未選択の画像が存在するならば処理をステップＳ３８に戻すが、そうでなければ処理をステップＳ４２に進める。ステップＳ４２においては、対象部品が複数か否かを判断する。対象部品が複数ならば処理をステップＳ４３に進めるが、そうでなければ処理を操作支援処理に戻す。ステップＳ４３においては、ステップＳ３７において対象部品に選択された表示部品、および、ステップＳ４０において対象部品に決定された表示部品のうちから、端末画像から抽出された文字列に出現する頻度、または端末画像に出現する頻度が最大の候補部分に対応する対象部品のみを、ユーザーにより操作されることが予想される表示部品に選択し、処理を操作支援処理に戻す。端末画像から抽出された文字列に出現する頻度、または端末画像に出現する頻度が最大でない候補部分に対応する表示部品を、対象部品から除外する。
【０１０８】
図１０は、操作画面変更処理の流れの一例を示すフローチャートである。操作画面変更処理は、図８のステップＳ０７において実行される処理である。操作画面変更処理が実行される前のステップＳ０６において実行される予測処理において、対象部品と、その対象部品に対応する候補部分とが決定される場合と、それらが決定されない場合とがある。図１０を参照して、ＣＰＵ１１１は、対象部品が決定されているか否かを判断する（ステップＳ５１）。対象部品が決定されているならば処理をステップＳ５２に進めるが、そうでなければ処理をステップＳ５６に進める。ステップＳ５６においては、第２領域に表示されている端末画像を縮小して、第２領域に表示し、処理を操作支援処理に戻す。端末画像が縮小して表示されるので、ユーザーに操作を支援する情報が端末画像に存在しないことを通知することができる。
【０１０９】
ステップＳ５２においては、変更モードによって処理を分岐させる。変更モードは、重畳モードと、配置変更モードと、指示モードと、を含み、予めいずれかに設定されている。変更モードが重畳モードに設定されているならば処理をステップＳ５３に進め、変更モードが配置変更モードに設定されているならば処理をステップＳ５４に進め、変更モードが指示モードに設定されているならば処理をステップＳ５５に進める。
【０１１０】
ステップＳ５３においては、第２領域に表示されている端末画像を、対象部品に決定されている表示部品の近傍に配置し、処理をステップＳ５５に進める。これにより、端末画像が対象部品に決定されている表示部品の近傍に表示されるので、ユーザーが操作の対象とする表示部品をユーザーに端末画像が配置される位置で示すことができる。
【０１１１】
ステップＳ５４においては、操作画面に含まれる１以上の表示部品の配置を変更し、処理をステップＳ５５に進める。対象部品に決定されている表示部品が最も優先順位の高い最優先位置となるように、１以上の表示部品の配置を変更する。これにより、対象部品に決定されている表示部品が、優先順位の最も高い位置に表示されるので、ユーザーが操作の対象とする表示部品を、表示部品が配置される位置で示すことができる。
【０１１２】
ステップＳ５５においては、対象部品と候補部分とに指示画像を表示し、処理を操作支援処理に戻す。例えば、対象部品と候補部分とを結ぶ線を指示画像として表示部１６１に表示する。また、対象部品の近傍および候補部分の近傍に同一の画像を指示画像として配置し、表示部１６１に表示する。例えば、対象部品を囲む円と、候補部分を囲む円とを指示画像として表示部１６１に表示する。これにより、指示画像が表示されるので、端末画像中の候補部分と、操作画面中の表示部品とが関連することをユーザーに通知することができる。
【０１１３】
図１１は、操作受付処理の流れの一例を示すフローチャートである。操作受付処理は、図８のステップＳ０９において実行される処理である。操作受付処理が実行される前の段階で、ユーザーにより入力される操作が受け付けられている。図１１を参照して、ＣＰＵ１１１は、ステップＳ７１において、操作の種類によって処理を分岐する。ユーザーにより入力される操作が設定値を設定する設定値設定操作ならば処理をステップＳ７２に進め、ユーザーにより入力される操作が操作画面を別の操作画面に切り換える画面遷移操作ならば処理をステップＳ７４に進め、ユーザーにより入力される操作が処理の実行を指示する実行指示操作ならば処理をステップＳ７７に進める。
【０１１４】
ステップＳ７２においては、設定値設定操作により定まる設定値を受け付け、処理をステップＳ７３に進める。ステップＳ７３においては、ステップＳ７２において受け付けられた設定値を設定し、処理を操作支援処理に戻す。設定値が設定される場合、表示部１６１に表示されている操作画面中で、設定値が入力される領域に、ステップＳ７２において受け付けられた設定値が表示される。
【０１１５】
ステップＳ７４においては、画面遷移操作により特定される操作画面を決定する。画面遷移操作は、例えば、操作画面に含まれる画面遷移ボタンがユーザーにより指示される場合に受け付ける。画面遷移ボタンは、操作画面に関連付けられている。この場合は、ユーザーにより指示された画面遷移ボタンに関連付けられた操作画面を決定する。ステップＳ７５においては、ステップＳ７４において決定された操作画面を、表示部１６１の第１領域に表示し、処理を操作支援処理に戻す。
【０１１６】
ステップＳ７６においては、実行指示操作により特定される処理を、設定値に従って実行し、処理を操作支援処理に戻す。
【０１１７】
図１２は、ＭＦＰに表示される画像の一例を示す第１の図である。図１２は、ＭＦＰ１００がスマートフォン２００と通信を開始する前の状態で表示される画像を示す。図１２を参照して、表示部１６１は、第１領域３５１と、第２領域３５３とを含む。第１領域３５１に操作画面３１１が表示され、第２領域３５３に通知画面３５５が表示される。操作画面３１１は、別の複数の操作画面にそれぞれ関連付けられた複数の遷移ボタンを含む。例えば、「ファックス」が表された遷移ボタンは、ファクシミリ番号を設定する操作画面に関連付けられ、「Ｅ−ｍａｉｌ」が表された遷移ボタンは、電子メールアドレスを設定する操作画面に関連付けられる。
【０１１８】
第２領域３５３に表示される通知画面３５５は、モバイル連携が可能であることをユーザーに通知する画面であり、アンテナ領域１７１Ａに配置された目印画像３６３を含む。目印画像３６３はＮＦＣアンテナ１７１の位置を示す目印である。ユーザーは、スマートフォン２００をＭＦＰ１００と連携させるために、スマートフォン２００を目印画像３６３が表示されている位置に近づける操作をすればよいので、スマートフォン２００をＭＦＰ１００と連携させるための操作が容易となる。
【０１１９】
図１３は、ＭＦＰに表示される画像の一例を示す第２の図である。図１３は、ＭＦＰ１００がスマートフォン２００と通信している間の状態で表示される画像を示す。図１３を参照して、表示部１６１に図１２に示した画像が表示されている状態で、スマートフォン２００が目印画像３６３の位置に近づいた後に表示される画像を示している。図１３を参照して、表示部１６１の第１領域３５１に、操作画面３１１が表示され、第２領域に端末画像４２１が表示される。操作画面３１１は、図１２に示した第１領域３５１に表示される画像と同じである。端末画像４２１は、スマートフォン２００の表示部２０６に表示されている画像と同じ画像である。端末画像４２１は、文字列として「コピー機の操作を支援します。音声で入力してください。」を含む。
【０１２０】
図１４は、ＭＦＰに表示される画像の一例を示す第３の図である。図１４では、表示部１６１に図１３に示した画像が表示されている状態で、スマートフォン２００に表示される画面が変化する場合に、表示される画面である。図１４を参照して、表示部１６１の第１領域３５１に、操作画面３１１が表示され、第２領域に端末画像４３１が表示される。操作画面３１１は、図１２に示した第１領域３５１に表示される画像と同じである。端末画像４３１は、「ボックスを開きます。」の文字列を含む。この例では、ユーザーがスマートフォン２００に、操作の支援を要求する言葉として、「ボックス」を音声で入力する場合に、スマートフォン２００がボックスの操作の手順を説明するための支援情報として「ボックスを開きます。」の文字列を表示する場合である。
【０１２１】
また、第１領域３５１に表示される操作画面中で、ボックスの文字が表されたボタンの下側に端末画像を縮小した画像４３１Ａが重畳して表示される。これにより、ユーザーは、ボックスの文字が表されたボタンが、端末画像に含まれる「ボックスを開きます。」の文字列に対応する表示部品であることを知ることができ、ボックスを開く操作を入力することができる。
【０１２２】
図１５は、ＭＦＰに表示される画像の一例を示す第４の図である。図１５では、表示部１６１に図１３に示した画像が表示されている状態で、スマートフォン２００に表示される画面が変化する場合に、表示される画面である。図１５を参照して、表示部１６１の第１領域３５１に、操作画面３１１が表示され、第２領域に端末画像４３１が表示される。操作画面３１１は、図１２に示した第１領域３５１に表示される画像と同じである。端末画像４３１は、「ボックスを開きます。」の文字列を含む。この例では、ユーザーがスマートフォン２００に、操作の支援を要求する言葉として、「ボックス」を音声で入力する場合に、スマートフォン２００がボックスの操作の手順を説明するための支援情報として「ボックスを開きます。」の文字列を表示する場合である。
【０１２３】
また、第１領域３５１に表示される操作画面において、ボックスの文字が表されたボタンが左上の最も優先順位の高い位置に配置が変更されている。具体的には、図１３においては、左から右に、ファックスの文字が表されたボタン、Ｅ−ｍａｉｌの文字が表されたボタン、ボックスの文字が表されたボタンの順に配置されていたものが、図１５においては、左から右に、ボックスの文字が表されたボタン、ファックスの文字が表されたボタン、Ｅ−ｍａｉｌの文字が表されたボタンの順に配置される。
【０１２４】
これにより、ユーザーは、ボックスの文字が表されたボタンが、端末画像に含まれる「ボックスを開きます。」の文字列に対応する表示部品であることを知ることができ、ボックスを開く操作を入力することができる。
【０１２５】
図１６は、ＭＦＰに表示される画像の一例を示す第５の図である。図１６では、表示部１６１に図１３に示した画像が表示されている状態で、スマートフォン２００に表示される画面が変化する場合に、表示される画面である。図１５を参照して、表示部１６１の第１領域３５１に、操作画面３１１が表示され、第２領域に端末画像４３１が表示される。操作画面３１１は、図１２に示した第１領域３５１に表示される画像と同じである。端末画像４３１は、「ボックスを開きます。」の文字列を含む。この例では、ユーザーがスマートフォン２００に、操作の支援を要求する言葉として、「ボックス」を音声で入力する場合に、スマートフォン２００がボックスの操作の手順を説明するための支援情報として「ボックスを開きます。」の文字列を表示する場合である。
【０１２６】
また、第１領域３５１に表示される操作画面３１１に表示されているボックスの文字が表されたボタンと、第２領域３５３に表示されている端末画像４３１に含まれる「ボックス」の文字列と、を結ぶ指示画像４３５が表示されている。これにより、ユーザーは、ボックスの文字が表されたボタンが、端末画像に含まれる「ボックスを開きます。」の文字列に対応する表示部品であることを知ることができ、ボックスを開く操作を入力することができる。
【０１２７】
図１７は、ＭＦＰに表示される画像の一例を示す第６の図である。図１７では、表示部１６１に図１３に示した画像が表示されている状態で、スマートフォン２００に表示される画面が変化する場合に、表示される画面である。図１７を参照して、表示部１６１の第１領域３５１に、操作画面３１１が表示され、第２領域に端末画像４４１が表示される。操作画面３１１は、図１２に示した第１領域３５１に表示される画像と同じである。端末画像４４１は、「ページインジケーターが表示されている場合は、ページ切換キーを使ってページを切り換えます。」、「前ページ」および「次ページ」の文字列と、前ページにページを切り換えるためのページインジケーターの画像４４３Ａと、次ページにページを切り換えるためのページインジケーターの画像４４５Ａと、を含む。
【０１２８】
この例では、ユーザーがスマートフォン２００に、操作の支援を要求する言葉として、「ページ切り換え」を音声で入力する場合に、スマートフォン２００がボックスの操作の手順を説明するための支援情報を表示する場合である。
【０１２９】
また、第１領域３５１に表示される操作画面３１１に表示されているページインジケーター４４３と、次ページにページを切り換えるためのページインジケーター４４５とが表示される。さらに、操作画面３１１のページインジケーター４４３を囲む指示画像４４７と、端末画像４４１に含まれるページインジケーターの画像４４３Ａを囲む指示画像４４７Ａと、操作画面３１１のページインジケーター４４５を囲む指示画像４４９と、端末画像４４１に含まれるページインジケーターの画像４４５Ａを囲む指示画像４４９Ａとが表示される。指示画像４４７および指示画像４４７Ａは形状が同じであり、指示画像４４９および指示画像４４９Ａは形状が同じである。指示画像４４７と指示画像４４９とは形状が異なる。これにより、ユーザーは、ページインジケーター４４３が、端末画像に含まれるページインジケーターの画像４４３Ａに対応する表示部品であることを知ることができ、操作画面において前ページにページを切り換える操作を入力することができる。また、ユーザーは、ページインジケーター４４５が、端末画像に含まれるページインジケーターの画像４４５Ａに対応する表示部品であることを知ることができ、操作画面において次ページにページを切り換える操作を入力することができる。
【０１３０】
以上説明したように、本実施の形態におけるＭＦＰ１００は、画像形成装置として機能し、携帯装置として機能するスマートフォン２００から表示部２０６に表示されている端末画像を取得し、端末画像に含まれる文字情報および／または画像に基づいて、操作画面の内容を変更する。このため、スマートフォン２００の表示されている端末画像に含まれる情報に操作画面の内容を合わせることができる。スマートフォン２００でユーザーがＭＦＰ１００の操作を支援するアプリケーションプログラムが実行されている場合、スマートフォン２００でＭＦＰ１００の操作を支援する内容を、ＭＦＰ１００の操作画面に表示することができる。その結果、ＭＦＰ１００に表示される情報のみでＭＦＰ１００の操作を支援することできる。
【０１３１】
また、ＭＦＰ１００は、端末画像に含まれる情報に基づいて、ユーザーにより入力される予定の操作の対象となる表示部品を対象部品として予測し、対象部品に予測された表示部品を強調して表示する。このため、スマートフォン２００で案内される操作をユーザーに通知することができる。
【０１３２】
また、ＭＦＰ１００は、端末画像に含まれる文字情報に基づいて、ユーザーにより入力される予定の操作の対象となる表示部品を予測するので、表示部品を予測する精度を高めることができる。特に、ＭＦＰ１００は、文字情報に含まれる文字列を、表示部品に対して予め関連付けられた予約語と比較するので、表示部品を予測する精度を高めることができる。また、ＭＦＰ１００は、文字情報に含まれる複数の文字列のうちから出現する頻度の高い文字列に基づいて、表示部品を予測するので、表示部品を予測する精度を高めることができる。また、ＭＦＰ１００は、端末画像に含まれる画像と類似する表示部品を対象部品として予測するので、表示部品を予測する精度を高めることができる。
【０１３３】
また、ＭＦＰ１００は、端末画像が複数の表示部品とそれぞれ類似する複数の画像を含む場合、複数の画像のうち頻度の高い画像と類似する表示部品を対象部品として予測するので、表示部品を予測する精度を高めることができる。
【０１３４】
また、ＭＦＰ１００は、予測された操作を受け付けるための表示部品の近傍に端末画像を表示するので、予測された表示部品の操作画面における位置を通知することができる。また、ＭＦＰ１００は、対象部品が予測される前の段階で表示手段に操作画面と端末画像とが表示されている場合、端末画像を表示する位置を移動させるので、端末画像の移動後の位置で、予測された表示部品を通知することができる。特に、ＭＦＰ１００は、対象部品に予測された表示部品を、他の表示部品よりも優先される位置に移動させるので、操作画面における優先される位置で、表示部品を通知することができる。
【０１３５】
また、ＭＦＰ１００は、対象部品に予測された表示部品と、端末画像に含まれ、表示部品を予測する元になった元情報が表示される領域とを強調表示するので、表示部品と元情報との関係を通知することができる。特に、対象部品に予測された表示部品と、元情報が表示される領域とを関連付ける指示画像を表示するので、表示部品をユーザーに通知するとともに、表示部品に関連する元情報を通知することができる。また、表示部品が対象部品として予測されない場合は、端末画像を表示しない、または、端末画像が表示されている場合は端末画像のサイズを縮小するので、端末画像に表示部品に関連する情報が存在しないことを通知することができる。
【０１３６】
なお、上述した実施の形態においては、画像処理装置の一例としてＭＦＰ１００を例に説明したが、図８〜図１１に示した操作支援処理をＭＦＰ１００に実行させる操作支援方法、または、その操作支援方法をＭＦＰ１００を制御するＣＰＵ１１１に実行させる操作支援プログラムとして発明を捉えることができるのは言うまでもない。
【０１３７】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１３８】
＜付記＞
（１）  前記指示画像は、前記表示部品と、前記元情報が表示される領域とを結ぶ線である、請求項１２に記載の画像処理装置。
（２）  前記指示画像は、前記表示部品および前記元情報が表示される領域それぞれの近傍に配置される同一の画像である、請求項１２に記載の画像処理装置。
（３）  前記端末画像は、ストリームデータである、請求項１〜１３のいずれかに記載の画像処理装置。
【符号の説明】
【０１３９】
１  情報システム、３  ネットワーク、５  無線局、１００  ＭＦＰ、１１０  メイン回路、１１１  ＣＰＵ、１１２  通信Ｉ／Ｆ部、１１３  ＲＯＭ、１１４  ＲＡＭ、１１５  ＨＤＤ、１１６  ファクシミリ部、１１７  外部記憶装置、１１８  ＣＤ−ＲＯＭ、１１９  ＮＦＣ通信部、１２０  自動原稿搬送装置、１３０  原稿読取部、１４０  画像形成部、１５０  給紙部、１５５  後処理部、１６０  操作パネル、１６１  表示部、１６３  操作部、１６５  タッチパネル、１６７  ハードキー部、１７１  ＮＦＣアンテナ、１７１Ａ  アンテナ領域、１７３  ＮＦＣ通信制御部、１７５  検出回路、２００  スマートフォン、２０１  ＣＰＵ、２０２  カメラ、２０３  フラッシュメモリ、２０４  無線通信部、２０５  通話部、２０６  表示部、２０７  操作部、２０７Ａ  メインキー、２０７Ｂ  タッチパネル、２０９  通信部、２１１  外部記憶装置、５１  画像取得部、５３  解析部、５５  操作支援部、５７  端末画像表示部、５９  操作受付部、６１  操作画面表示部、６３  設定値決定部、６５  処理実行部、６７  文字抽出部、６９  画像抽出部、７１  予測部、７３  比較部、７５  強調表示部、８１  近傍配置部、８３  配置変更部、８５  関連表示部、８７  縮小部、３１１  操作画面、３５１  第１領域、３５３  第２領域、４２１，４３１，４４１  端末画像、４４３，４４５  ページインジケーター、４３５，４４７，４４７Ａ，４４９，４４９Ａ  指示画像。
【図１】
2019186766.tif 000003
【図２】
2019186766.tif 000004
【図３】
2019186766.tif 000005
【図４】
2019186766.tif 000006
【図５】
2019186766.tif 000007
【図６】
2019186766.tif 000008
【図７】
2019186766.tif 000009
【図８】
2019186766.tif 000010
【図９】
2019186766.tif 000011
【図１０】
2019186766.tif 000012
【図１１】
2019186766.tif 000013
【図１２】
2019186766.tif 000014
【図１３】
2019186766.tif 000015
【図１４】
2019186766.tif 000016
【図１５】
2019186766.tif 000017
【図１６】
2019186766.tif 000018
【図１７】
2019186766.tif 000019