(57)【要約】【課題】例えば、使い慣れた計算機の操作に基づいて、その入力パターンをスマートフォン等の認識処理装置に取得させる場合に、取得の契機を自動認識させることで、ユーザの操作性を向上させることが可能な認識処理装置、認識処理方法及び認識処理プログラムを提供する。【解決手段】認識処理装置は、撮像により続けて画像を取得し、直前の画像との差分を検出し、有意な画像の変化を検出した場合（Ｓ２０１〜Ｓ２０３）、画像の２値化データ作成し（Ｓ２０４）、２値化データに対する認識処理を実行する（Ｓ２０５）。そして認識処理装置は、認識処理の結果に基づいて、計算機に入力された数字又は演算用記号を取得する処理を実行し（Ｓ２０６）、取得した数字及び記号を示した結果を表示部に表示する（Ｓ２０７）。【選択図】図１４
2014085790.tif 000002
【特許請求の範囲】
【請求項１】
撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置であって、
画像の変化の有無を検出する変化検出手段と、
前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識手段と、
前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理手段と
を備えることを特徴とする認識処理装置。
【請求項２】
請求項１に記載の認識処理装置であって、
前記認識手段は、
複数の数字又は記号を続けて取得した場合で、取得すべき記号を取得することができなかったときに、取得すべき記号の候補を複数選択する選択手段と、
前記選択手段による選択後の取得に基づいて、選択した複数の記号の候補のうちから、取得すべき記号を特定する特定手段と
を含み、
特定した記号を、取得した記号とする
ことを特徴とする認識処理装置。
【請求項３】
請求項２に記載の認識処理装置であって、
前記特定手段により取得すべき記号を特定することができなかった場合又は前記特定手段が特定した記号が複数である場合に、前記認識手段は、前記選択手段が選択した複数の記号又は前記特定手段が特定した複数の記号を取得した記号とする
ことを特徴とする認識処理装置。
【請求項４】
撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置を用いた認識処理方法であって、
前記認識処理装置は、
画像の変化の有無を検出する変化検出ステップと、
前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識ステップと、
前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理ステップと
を実行することを特徴とする認識処理方法。
【請求項５】
撮像部及び表示部を備えるコンピュータに、前記撮像部の撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を前記表示部に表示させる認識処理プログラムであって、
コンピュータに、
画像の変化の有無を検出する手順と、
画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する手順と、
取得した数字及び記号を示した結果を表示させる手順と
を実行させることを特徴とする認識処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
撮像により取得した画像に対して認識処理を行う認識処理装置、そのような認識処理装置を用いた認識処理方法、及びそのような認識処理装置を実現するための認識処理プログラムに関する。
【背景技術】
【０００２】
受験に際して電子卓上計算機（以下、電卓という）を使用する国家試験等の各種試験では、計算以外の機能を有する電卓の使用が認められていない場合が多い。このような試験を通って業務に就く者が操作に慣れている電卓とは、計算機能のみを有する電卓であることが多い。計算機能のみを有する電卓をコンピュータ上で実現するアプリケーションソフトウェア等のプログラムも提供されているが、操作に用いるキーボードの配列が電卓とは異なる等の理由により、通常の電卓と同じ操作感を得ることはできない。
【０００３】
そこで、例えば特許文献１には、文字認識により得られた数字データにより任意の演算を行うことが可能な文字認識機能付き携帯電話が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３１８４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された文字認識機能付き携帯電話では、表示された数字に対して認識させる契機をユーザが指定する必要があるため、電卓に対して連続して入力する場合には操作性が悪いという問題がある。
【０００６】
本発明には、このような状況に鑑みてなされたものであり、続けて撮像した画像の変化を検出した場合に、認識処理を実行することにより、操作性の高い認識処理装置の提供を目的とする。
【０００７】
また、本発明は、本発明に係る認識処理装置と計算機とを用いた認識処理方法を提供することにより、計算機の操作性を損ねることなく、認識処理装置により認識させることを他の目的とする。
【０００８】
また、本発明は、本発明に係る認識処理装置を実現する認識処理プログラムを提供することにより、操作性の高い認識処理装置を実現させることを他の目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る認識処理装置は、撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置であって、画像の変化の有無を検出する変化検出手段と、前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識手段と、前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理手段とを備えることを特徴とする。
【００１０】
したがって、本発明では、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。
【００１１】
また、前記認識手段は、複数の数字又は記号を続けて取得した場合で、取得すべき記号を取得することができなかったときに、取得すべき記号の候補を複数選択する選択手段と、前記選択手段による選択後の取得に基づいて、選択した複数の記号の候補のうちから、取得すべき記号を特定する特定手段とを含み、特定した記号を、取得した記号とすることを特徴とする。
【００１２】
したがって、本発明では、演算に要する記号を認識することができない場合に、記号の候補を複数選択し、特定することができる。
【００１３】
また、前記特定手段により取得すべき記号を特定することができなかった場合又は前記特定手段が特定した記号が複数である場合に、前記認識手段は、前記選択手段が選択した複数の記号又は前記特定手段が特定した複数の記号を取得した記号とすることを特徴とする。
【００１４】
したがって、本発明では、記号の候補を１つに特定することができない場合に、複数の記号を取得したものとして扱うことができる。
【００１５】
また、前記変化検出手段は、取得した複数の画像から、画像内で認識の対象となる区域を特定する手段を有し、前記認識手段は、特定した区域内での変化に基づいて、各画像に対する認識処理行うことを特徴とする。
【００１６】
したがって、本発明では、認識の対象とすべき区域を自動的に特定することができる。
【００１７】
本発明に係る認識処理方法は、撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置を用いた認識処理方法であって、前記認識処理装置は、画像の変化の有無を検出する変化検出ステップと、前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識ステップと、前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理ステップとを実行することを特徴とする。
【００１８】
したがって、本発明では、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。
【００１９】
本発明に係る演算表示システムは、数字及び演算に関する記号の入力を受け付ける入力部と、入力された数字及び記号に基づく表示を行う表示部とを備える計算機と、前記認識処理装置とを備え、前記認識処理装置は、前記表示部の撮像により取得した画像に基づいて認識処理を実行することを特徴とする。
【００２０】
したがって、本発明では、計算装置を操作するだけで、認識処理装置は、その操作の内容を自動的に認識することができる。
【００２１】
本発明に係る認識処理プログラムは、撮像部及び表示部を備えるコンピュータに、前記撮像部の撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を前記表示部に表示させる認識処理プログラムであって、コンピュータに、画像の変化の有無を検出する手順と、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する手順と、取得した数字及び記号を示した結果を表示させる手順とを実行させることを特徴とする。
【００２２】
したがって、本発明では、コンピュータにて実行することにより、コンピュータが本発明の認識処理装置として機能するので、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。
【発明の効果】
【００２３】
本発明に係る認識処理装置、認識処理方法及び認識処理プログラムでは、例えば、電子卓上計算機等の計算機を続けて撮像した画像を取得し、画像の変化を検出した場合に、認識処理を実行する。これにより、計算機を操作するユーザは、計算機に対する操作を行うだけで、その操作の内容を認識処理装置が認識するので、操作性を向上させることができ、高い利便性を提供することが可能である等、優れた効果を奏する。
【図面の簡単な説明】
【００２４】
【図１】本願に記載の演算表示システムの一例を示す概略斜視図である。
【図２Ａ】本願に記載の演算表示システムにて用いられる計算機の表示部に表示された画像の一例を示す説明図である。
【図２Ｂ】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図３Ａ】本願に記載の演算表示システムにて用いられる計算機の表示部に表示された画像の一例を示す説明図である。
【図３Ｂ】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図４Ａ】本願に記載の演算表示システムにて用いられる計算機の表示部に表示された画像の一例を示す説明図である。
【図４Ｂ】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図５Ａ】本願に記載の演算表示システムにて用いられる計算機の表示部に表示された画像の一例を示す説明図である。
【図５Ｂ】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図６Ａ】本願に記載の演算表示システムにて用いられる計算機の表示部に表示された画像の一例を示す説明図である。
【図６Ｂ】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図７Ａ】本願に記載の演算表示システムにて用いられる計算機の表示部に表示された画像の一例を示す説明図である。
【図７Ｂ】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図８Ａ】本願に記載の演算表示システムにて用いられる計算機の表示部に表示された画像の一例を示す説明図である。
【図８Ｂ】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図９Ａ】本願に記載の演算表示システムにて用いられる計算機の表示部に表示された画像の一例を示す説明図である。
【図９Ｂ】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図１０】本願に記載の演算表示システムにて用いられる認識処理装置の表示部に表示された画像の一例を示す説明図である。
【図１１】本願に記載の演算表示システムにて用いられる認識処理装置のハードウェア構成の一例を示すブロック図である。
【図１２】本願に記載の演算表示システムにて用いられる計算機のハードウェア構成の一例を示すブロック図である。
【図１３】本願に記載の演算表示システムにて用いられる認識処理装置の演算表示処理の一例を示すフローチャートである。
【図１４】本願に記載の演算表示システムにて用いられる認識処理装置の認識処理及び結果表示処理の一例を示すフローチャートである。
【図１５】本願に記載の演算表示システムにて用いられる認識処理装置の画像の２値化データ作成処理の一例を示すフローチャートである。
【図１６Ａ】本願に記載の演算表示システムにおける認識処理装置の２値化の前処理の概要の一例を示す説明図である。
【図１６Ｂ】本願に記載の演算表示システムにおける認識処理装置の２値化の前処理の概要の一例を示す説明図である。
【図１６Ｃ】本願に記載の演算表示システムにおける認識処理装置の２値化の前処理の概要の一例を示す説明図である。
【図１６Ｄ】本願に記載の演算表示システムにおける認識処理装置の２値化の前処理の概要の一例を示す説明図である。
【図１７Ａ】本願に記載の演算表示システムにおいて、計算機に入力された内容及び認識処理装置が認識した内容の一例を示す図表である。
【図１７Ｂ】本願に記載の演算表示システムにおいて、計算機に入力された内容及び認識処理装置が認識した内容の一例を示す図表である。
【図１８Ａ】本願に記載の演算表示システムにおいて、計算機に入力された内容及び認識処理装置が認識した内容の一例を示す図表である。
【図１８Ｂ】本願に記載の演算表示システムにおいて、計算機に入力された内容及び認識処理装置が認識した内容の一例を示す図表である。
【図１９】本願に記載の演算表示システムにて用いられる認識処理装置の数字又は演算用記号取得処理の一例を示すフローチャートである。
【図２０】本願に記載の演算表示システムにて用いられる認識処理装置の数字又は演算用記号取得処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の実施の形態は、本発明を具現化した一例であって、本発明の技術的範囲を限定する性格のものではない。
【００２６】
本願に記載の演算表示システムは、電子卓上計算機等の計算機に表示された内容を、電話通信機能付き携帯型コンピュータ、所謂スマートフォン等のコンピュータを用いた認識処理装置にて撮像し、計算機に対して行われた操作に係る状況を表示するものである。
【００２７】
まず、本願に記載の演算表示システムの全体構成について説明する。図１は、本願に記載の演算表示システムの一例を示す概略斜視図である。本願に記載の演算表示システムは、所謂スマートフォン等のコンピュータを用いた認識処理装置１と、計算機２とを備えている。
【００２８】
計算機２には、長尺状をなす支柱３の一端が固定され、支柱３は、略垂直方向に立設されており、支柱３の他端には、認識処理装置１が固定されている。認識処理装置１の固定方法は、容易に取り外しできるものであれば、特に限定するものではなく、例えば、市販のクリップアーム等の固定具であってもよい。また、計算機２に対し、支柱３を直接固定することは必ずしも必要ではなく、支柱３が立設された載置台を設け、載置台に計算機２を載置して用いるようにしてもよい。
【００２９】
計算機２は、数字キー、演算子キー、機能キー等の入力部２１を備えており、ユーザは、入力部２１として設けられた各種キーを押下することにより、計算機２に対する操作を行うことができる。数字キーとは、「０」、「１」、「２」等の数字を入力するためのキー入力手段である。演算子キーとは、「＋」、「−」等の演算に係る演算子を入力するためのキー入力手段である。機能キーとは、「CE」、「M+」等の演算に係る機能を実行させるためのキー入力手段である。さらに、計算機２は、操作の内容及び演算結果を表示する液晶パネル等の表示部２２を備えている。
【００３０】
認識処理装置１は、ＣＣＤ（Charge Coupled Device ）カメラ等の撮像部１１と、液晶タッチパネル等の表示入力部１２とを備えている。認識処理装置１の撮像部１１は、計算機２の表示部２２に対向するように配置され、表示部２２に表示された数字、及び演算子等の演算用記号を撮像することができる。表示入力部１２は、矩形薄膜状の液晶パネル等の表示部１２０と、矩形薄膜状のタッチパネル等の入力部１２１とを重畳して形成されている。
【００３１】
次に本願に記載の演算表示システムの実施の概要について説明する。図２Ａは、本願に記載の演算表示システムにて用いられる計算機２の表示部２２に表示された画像の一例を示す説明図であり、図２Ｂは、本願に記載の演算表示システムにて用いられる認識処理装置１の表示部１２０に表示された画像の一例を示す説明図である。図２Ａ及び図２Ｂは、本願に記載の演算表示システムの設置に際して、認識処理装置１及び計算機２の配置位置を調整する場合に表示される画像を示している。図２Ａに示すように、計算機２の表示部２２に数字等の表示内容を表示させた状態で、図２Ｂに示すように、認識処理装置１の表示部１２０に、計算機２を撮像した画像を表示させ、配置位置を調整するのである。図２Ａに示すように、認識処理装置１の表示部１２０には、計算機２の表示部１２０を撮像した画像が表示されており、その右下には、認識処理を開始する際に指示すべき「開始」と示されたアイコン画像、即ち開始アイコンが表示されている。
【００３２】
図３Ａ、図４Ａ、…、図８Ａは、本願に記載の演算表示システムにて用いられる計算機２の表示部２２に表示された画像の一例を示す説明図であり、図３Ｂ、図４Ｂ、…、図８Ｂは、本願に記載の演算表示システムにて用いられる認識処理装置１の表示部１２０に表示された画像の一例を示す説明図である。図３Ａ、図４Ａ、…、図８Ａ及び図３Ｂ、図４Ｂ、…、図８Ｂは、計算機２に「１２３＋４５６−７８９＝」との入力を行った場合に、認識処理装置１及び計算機２に表示される画像を経時的に示している。
【００３３】
図３Ａは、認識処理装置１にて認識処理を開始後、ユーザが機能キー「ＡＣ（オールクリア）」を押下した場合に計算機２に表示される画像であり、「０」を示している。また、図３Ｂは、図３Ａの画像が表示された場合に認識処理装置１に表示される画像であり、何も表示されていない。認識処理装置１は、続けて撮像した画像の差分に基づいて認識処理を実行するため、最初の画像では表示無しとなる。なお、図３Ｂ及び以降の画像に表示される「終了」と示す画像、即ち終了アイコンは、認識処理を終了する際に指示すべきアイコン画像である。
【００３４】
図４Ａは、計算機２が、数字キー「１」、「２」及び「３」の入力を受け付けた場合に表示する画像であり、「１２３」と表示している。また、図４Ｂは、図４Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１２３」と表示している。
【００３５】
図５Ａは、計算機２が、数字キーにて「１２３」の入力を受け付けた後、演算子キー「＋」の入力を受け付けた場合に表示する画像であり、演算子キー「＋」が押下されたことを示す演算用記号（シンボル）「＋」を表示部２２の左端に表示している。また、図５Ｂは、図５Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１２３＋」と表示している。これは、認識処理装置１は、計算機２に入力された内容を入力された順に入力パターンとして表示するように設定されていることによる。
【００３６】
図６Ａは、計算機２が、演算子キー「＋」の入力を受け付けた後、数字キー「４」の入力を受け付けた場合に表示する画像であり、それまで表示していた「１２３」を消去し、「＋」と「４」とを表示している。また、図６Ｂは、図６Ａの画像が表示された場合に認識処理装置１が入力パターンとして表示する画像であり、「１２３＋４」と表示している。
【００３７】
図７Ａは、計算機２が、「１２３＋４５６−」まで入力を受け付けた場合に表示する画像であり、「１２３＋４５６」の演算結果である「５７９」及び演算子キー「−」が押下されたことを示す演算用記号「−」を表示部２２に表示している。また、図７Ｂは、図７Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１２３＋４５６−」と表示している。
【００３８】
図８Ａは、計算機２が、「１２３＋４５６−７８９＝」まで入力を受け付けた場合に表示する画像であり、演算結果である「−２１０」及び演算子キー「＝」が押下されたことを示す演算用記号「＝」を表示部２２に表示している。また、図８Ｂは、図８Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１２３＋４５６−７８９＝」と表示している。なお、図８Ｂに示す画像は、終了アイコンが指示されることにより、認識処理が終了し、次の認識処理を開始するために開始アイコンが表示されたことを示している。
【００３９】
なお、図３Ａ、図４Ａ、…、図８Ａに示した画像は、演算用記号を表示部２２に表示する計算機２を用いた場合の表示例であり、図３Ｂ、図４Ｂ、…、図８Ｂに示す画像も、そのような計算機２に対応した画像である。しかしながら、演算用記号を表示部２２に表示しない計算機２も存在する。そのような計算機２に対し、認識処理装置１は、計算機２に表示された数字及び数字の順序に基づいて、入力された演算子を特定する。例えば、図５Ａに示すように演算用記号「＋」が表示されていない場合であっても、その後、図７Ａに示すように数字「５７９」が表示されたことから、演算子キー「＋」が押下されたと特定することができる。
【００４０】
ところが、例えば、「１．２５＋５＝」という演算については、入力を受け付けた演算子キーが「＋」の場合でも「×」の場合でも同様の表示となる。このような場合、認識処理装置１は、特定される複数の演算子を含む表示を行う。
【００４１】
図９Ａは、本願に記載の演算表示システムにて用いられる計算機２の表示部２２に表示された画像の一例を示す説明図であり、図９Ｂは、本願に記載の演算表示システムにて用いられる認識処理装置１の表示部１２０に表示された画像の一例を示す説明図である。図９Ａは、演算用記号を表示しない計算機２が、「１．２５＋５＝」という入力を受け付けた場合に表示する画像であり、演算結果である「６．２５」を表示部２２に表示している。また、図９Ｂは、図９Ａの画像が表示された場合に認識処理装置１が表示する画像であり、「１．２５＋（×）５＝」と表示している。図９Ｂに示す表示は、「１．２５＋５＝」と「１．２５×５＝」との双方の可能性があることを示す表示である。
【００４２】
なお、特定された演算用記号が複数である場合にどのように処理するかは、適宜設定することができる。図１０は、本願に記載の演算表示システムにて用いられる認識処理装置１の表示部１２０に表示された画像の一例を示す説明図である。図１０に示すように、認識処理装置１は、演算用記号の候補が複数である場合に、加算減算に係る記号「＋−」と乗算除算に係る記号「×÷」のいずれを優先するかを設定することができる。また、第２候補の表示の有無を設定することができる。
【００４３】
次に本願に記載の演算表示システムの各種装置のハードウェア構成を説明する。図１１は、本願に記載の演算表示システムにて用いられる認識処理装置１のハードウェア構成の一例を示すブロック図である。認識処理装置１は、制御部１０、撮像部１１、表示入力部１２、操作部１３、通信部１４、記録部１５、記憶部１６等の各種機構を備えている。
【００４４】
制御部１０は、ＣＰＵ（Central Processing Unit ）等の情報処理回路、計時回路、レジスタ回路等の各種回路を備え、装置内の各部を制御する処理を実行する機構である。
【００４５】
撮像部１１はＣＣＤカメラ等の機構であり、続けて撮像する機能を有する。表示入力部１２は、表示部１２０及び入力部１２１を備えている。
【００４６】
操作部１３は、ユーザの操作を受け付ける物理的に配置されたキー等の機構である。
【００４７】
通信部１４は、データ通信、電話通信等の各種通信を行うための機構である。
【００４８】
記録部１５は、不揮発性メモリとして構成されたメモリ機構であり、本発明に係る認識処理プログラムＰＲＧ等の各種プログラム及びデータ等の情報が記録されている。
【００４９】
記憶部１６は、揮発性メモリとして構成されたメモリ機構であり、制御部１０の制御に基づく処理により、一時的に発生する各種情報を記録する。
【００５０】
そして、記録部１５に記録されている認識処理プログラムＰＲＧ等の各種プログラムを読み取り、記憶部１６に記憶させて、制御部１０の制御にて、認識処理プログラムＰＲＧに含まれる各種手順を実行することにより、スマートフォン等のコンピュータは、本発明の認識処理装置１として動作する。
【００５１】
図１２は、本願に記載の演算表示システムにて用いられる計算機２のハードウェア構成の一例を示すブロック図である。計算機２は、演算部２０、入力部２１及び表示部２２を備えている。そして、入力部２１から受け付けた演算に係る内容を、演算部２０の処理にて演算し、演算の結果を表示部２２に表示する。演算部２０は、各種演算回路及び計算途中の数値を記録するメモリ等の機構を備えている。
【００５２】
次に本願に記載の演算表示システムにて用いられる認識処理装置１の処理について説明する。図１３は、本願に記載の演算表示システムにて用いられる認識処理装置１の演算表示処理の一例を示すフローチャートである。図１３に示す演算表示処理は、認識処理プログラムＰＲＧを実行する認識処理装置１の基幹となる処理である。認識処理装置１は、認識処理プログラムＰＲＧを実行する制御部１０の制御により、以下に示す演算表示処理を実行する。
【００５３】
制御部１０は、開始アイコンを含む初期画面を表示部１２０に表示し（Ｓ１０１）、入力部１２１が開始の指示を受け付けたか否かを判別する（Ｓ１０２）。ステップＳ１０２の開始の指示とは、開始アイコンを指示する入力を示す。
【００５４】
ステップＳ１０２において、開始の指示を受け付けたと判別した場合（Ｓ１０２：ＹＥＳ）、制御部１０は、演算表示処理を開始する開始画面を表示部１２０に表示し（Ｓ１０３）、撮像部１１による連続撮像を開始する（Ｓ１０４）。ステップＳ１０４の連続撮像とは、続けて撮像を行い連続画像を取得する処理であってもよく、また、動画としての撮像を行い、得られた動画を構成する画像を取得する処理であってもよい。
【００５５】
なお、ステップＳ１０２において、開始の指示を受け付けていないと判別した場合（Ｓ１０２：ＮＯ）、制御部１０は、ステップＳ１０１へ戻り、以降の処理を繰り返す。
【００５６】
制御部１０は、撮像により続けて取得した画像に対して認識処理を行い、認識処理に基づく結果を表示部１２０に表示する認識処理及び結果表示処理を実行する（Ｓ１０５）。ステップＳ１０５の認識処理及び結果表示処理とは、図３Ｂ、図４Ｂ、…、図９Ｂを用いて説明した画像を表示させるための処理である。なお、認識処理及び結果表示処理の詳細については後述する。
【００５７】
認識処理及び結果表示処理の実行後、制御部１０は、入力部１２１が終了の指示を受け付けたか否かを判別する（Ｓ１０６）。ステップＳ１０６の終了の指示とは、終了アイコンを指示する入力を示す。
【００５８】
ステップＳ１０６において、終了の指示を受け付けたと判別した場合（Ｓ１０６：ＹＥＳ）、制御部１０は、撮像部１１による撮像を終了する（Ｓ１０７）。
【００５９】
ステップＳ１０６において、終了の指示を受け付けていないと判別した場合（Ｓ１０６：ＮＯ）、制御部１０は、ステップＳ１０５へ戻り、以降の処理を繰り返す。
【００６０】
そして、制御部１０は、撮像終了後、認識処理の結果を全て表示する（Ｓ１０８）。ステップＳ１０８では、ステップＳ１０５にて実行した認識処理及び結果表示処理による結果を全て表示することを示す。ただし、設定により必要な結果のみを表示するようにしてもよい。
【００６１】
制御部１０は、入力部１２１が開始の指示を受け付けたか否かを判別する（Ｓ１０９）。
【００６２】
ステップＳ１０９において、開始の指示を受け付けたと判別した場合（Ｓ１０９：ＹＥＳ）、制御部１０は、認識処理の結果を記録部１５に記録し、表示部１２０の表示内容を消去して（Ｓ１１０）、ステップＳ１０３へ戻り、以降の処理を繰り返す。即ち、次の認識処理及び結果表示処理を実行するのである。
【００６３】
ステップＳ１０９において、開始の指示を受け付けていないと判別した場合（Ｓ１０９：ＮＯ）、制御部１０は、ステップＳ１０８へ戻り、以降の処理を繰り返す。
【００６４】
ステップＳ１１０において、記録部１５に記録された認識処理の結果は、入力パターンとして、適宜、表示部１２０への表示、通信部１４から他の装置への送信、他のアプリケーションソフトウェアによる処理等の各種処理の対象とすることができる。
【００６５】
このようにして、認識処理装置１は、演算表示処理を実行する。なお、演算表示処理そのものを停止する場合には、所定の操作を行い、認識処理プログラムＰＲＧの実行を停止させる。
【００６６】
認識処理及び結果表示処理について説明する。図１４は、本願に記載の演算表示システムにて用いられる認識処理装置１の認識処理及び結果表示処理の一例を示すフローチャートである。図１４に例示した認識処理及び結果表示処理は、図１３に例示した演算表示処理のステップＳ１０５にて実行される処理である。
【００６７】
制御部１０は、対象となる画像について、直前の画像との差分を検出する（Ｓ２０１）。
【００６８】
制御部１０は、検出した差分が予め設定されている表示変化可能最大値より大きいか否かを判別する（Ｓ２０２）。ステップＳ２０２において、表示変化可能最大値より大きい場合、表示の変化ではなく、撮像対象のぶれによる変化であると判断する。
【００６９】
ステップＳ２０２において、差分が表示変化可能最大値より大きくないと判別した場合（Ｓ２０２：ＮＯ）、制御部１０は、検出した差分が表示変化可能最小値より小さいか否かを判別する（Ｓ２０３）。ステップＳ２０３において、表示変化可能最小値より小さい場合、キー入力に基づく表示の変化はないと判断する。このようにステップＳ２０１〜Ｓ２０３の処理により、有意な画像の変化の有無を検出する。そして、有意な画像の変化を検出した場合に、ステップＳ２０４に以降に示す認識処理等の処理を実施する。
【００７０】
ステップＳ２０３において、差分が表示変化可能最小値より小さくないと判別した場合（Ｓ２０３：ＮＯ）、制御部１０は、画像の２値化データ作成処理を実行する（Ｓ２０４）。画像の２値化データ作成処理とは、画像を１（例えば黒）又は０（例えば白）の２値のデータに変換する処理であり、表示部２２に表示された数字等の表示内容が、例えば「１」として示されるように変換する。２値化データ作成処理の詳細な説明については後述する。
【００７１】
制御部１０は、２値化データに対する認識処理を実行する（Ｓ２０５）。ステップＳ２０５の認識処理は、画像の２値化データに対する認識処理であれば、実用化又は提案されている様々な処理を適用することが可能である。
【００７２】
制御部１０は、認識処理の結果に基づいて、数字又は演算用記号取得処理を実行する（Ｓ２０６）。数字又は演算用記号取得処理とは、認識した結果に基づいて、計算機２に入力された数字キーに基づく数字、又は演算子キー若しくは機能キーに基づく演算用記号を取得する処理である。即ち、入力されたキーの内容を、推定も含めて特定する処理である。数字又は演算用記号取得処理の詳細な説明については後述する。
【００７３】
制御部１０は、ステップＳ２０６にて取得した数字及び記号を示した結果を表示部１２０に表示する（Ｓ２０７）。ステップＳ２０７では、取得した数字及び記号を、例えば数式として示した結果を入力パターンとして表示する。なお、記号については、必ずしも一つの記号に特定することができない場合があるので、その場合には、特定の候補となる記号を配列した数式として結果を表示する。
【００７４】
制御部１０は、次の画像の有無を判別する（Ｓ２０８）。
【００７５】
ステップＳ２０８において、次の画像があると判別した場合（Ｓ２０８：ＹＥＳ）、制御部１０は、次の画像を認識対象画像に設定し（Ｓ２０９）、ステップＳ２０１へ戻り、以降の処理を繰り返す。
【００７６】
ステップＳ２０８において、次の画像がないと判別した場合（Ｓ２０８：ＮＯ）、制御部１０は、認識処理及び結果表示処理を終了し、演算表示処理の次のステップに係る処理を実行する。
【００７７】
ステップＳ２０２において、差分が表示変化可能最大値より大きいと判別した場合（Ｓ２０２：ＹＥＳ）、又はステップＳ２０３において、差分が表示変化可能最小値より小さいと判別した場合（Ｓ２０３：ＹＥＳ）、制御部１０は、ステップＳ２０８へ進み、以降の処理を実行する。即ち、有意な画像の変化はないと判断し、次の画像を処理の対象とするのである。
【００７８】
このようにして、認識処理装置１は、認識処理及び結果表示処理を実行する。
【００７９】
画像の２値化データ作成処理について説明する。図１５は、本願に記載の演算表示システムにて用いられる認識処理装置１の画像の２値化データ作成処理の一例を示すフローチャートである。図１５に例示した画像の２値化データ作成処理は、図１４に例示した認識処理及び結果表示処理のステップＳ２０４にて実行される処理である。
【００８０】
制御部１０は、対象画像の差分の２値化データを作成する（Ｓ３０１）。ステップＳ３０１では、対象となる画像について、直前の画像からの変化に基づく２値化データを作成する。ステップＳ３０１にて作成される２値化データは、認識に用いられる２値化データとは異なり、前段階としての２値化データである。具体的には、白（表示無し）から黒（表示有り）に変化したセグメントを「１」とし、それ以外の箇所を「０」としている。黒から白に変化したセグメントも「０」となる。
【００８１】
制御部１０は、以前の全画像の２値化データについての累積論理和データを作成する（Ｓ３０２）。ステップＳ３０１では、処理の対象となる画像と、直前の画像との差分のみに基づいて２値化データを作成している。従って、撮像を続ける限り、複数の２値化データが作成されることになる。ステップＳ３０２では、対象となる画像以前に作成した全ての２値化データをも含めて、論理和を求める論理演算を行い、論理演算の結果を累積論理和データとして作成する。
【００８２】
制御部１０は、累積論理和データに基づき認識対象区域を特定する（Ｓ３０３）。ステップＳ３０３では、累積論理和データが「１」である区域を含む矩形状の区域を認識対象区域とする。ステップＳ３０３では、取得した複数の画像から、画像内で認識の対象となる区域を特定する処理である。ステップＳ３０３にて特定される認識対象区域は、撮像により取得した画像内で、計算機２の表示部２２が含まれている区域であると判断することができる。特定した認識対象区域を、論理和が「１」となる区域の色としたデータは、２値化データを作成する上でのマスクデータとして用いられる。論理和が「１」となる区域の色とは、例えば、セグメントが点灯した状態に表示される黒色等の色である。従って、色としているが、明度を示すデータであってもよい。
【００８３】
制御部１０は、認識対象区域と対象画像の論理積とに基づき画像の２値化データを作成する（Ｓ３０４）。ステップＳ３０４では、ステップＳ３０３にて特定した認識対象区域を論理和が「１」となる色としたマスクデータと、対象画像との論理積に基づく２値化データを作成する。即ち、マスクデータとして区分される認識対象区域内で、マスクデータの色に合致する箇所を「１」とし、その他の箇所を「０」とした２値化データを作成する。作成された２値化データは、計算機２の表示部２２に、黒等の色で表示された画像を示すことになる。
【００８４】
そして、認識処理装置１は、ステップＳ３０４にて作成した２値化データを用いて、認識処理及び結果表示処理におけるステップＳ２０５以降の処理を実行する。
【００８５】
図１５に例示した画像の２値化データ作成処理の具体的を説明する。図１５を用いて説明したように、画像の２値化データ作成処理としては、先ず、２値化の対象となる画像が表示されている区域を特定し、２値化の基準となる色又は明度を決定する前処理を実行する。図１６Ａ、図１６Ｂ、図１６Ｃ及び図１６Ｄは、本願に記載の演算表示システムにおける認識処理装置１の２値化の前処理の概要の一例を示す説明図である。図１６Ａ、図１６Ｂ、図１６Ｃ及び図１６Ｄは、計算機２が「１２３」との入力を受け付けた場合に表示部２２に表示される画像に対する処理を例示したものである。
【００８６】
図１６Ａは、対象となる画像の直前の画像を示し、図１６Ｂは、対象となる画像を示している。図１６Ａは、「１２」まで表示した段階の画像であり、図１６Ｂは、「１２３」と表示された段階の画像である。画像の２値化データ作成処理においては、前後の画像の差分から前処理用の２値化データを作成する。
【００８７】
図１６Ｃは、差分に基づいて作成した前処理用の２値化データであり、図１５のステップＳ３０１にて作成される２値化データである。図１６Ｃに示す２値化データは、図１６Ａに示す画像及び図１６Ｂに示す画像の差分を示したものであり、白（表示無し）から黒（表示有り）に変化したセグメントを「１」とし、その他の箇所を「０」としている。なお、黒から白に変化したセグメントも「０」となるが、図１６Ｃでは、理解を容易にするため、黒から白に変化したセグメントを、外枠を破線とした白抜きで示している。
【００８８】
図１６Ｄは、以前の全画像の２値化データについての累積論理和を示している。図１６Ｄは、図１５のステップＳ３０３にて作成される累積論理和データである。そして、図１６Ｄに示す２値化データを含む矩形状の区域を認識対象区域とし、表示されたセグメントの色に係るマスクデータを作成して、２値化データを作成する。
【００８９】
このようにして、認識処理装置１は、画像の２値化データ作成処理を実行する。
【００９０】
数字又は演算用記号取得処理について説明する。数字又は演算用記号取得処理とは、図１４に例示した認識処理及び結果表示処理のステップＳ２０７にて実行される処理である。
【００９１】
認識処理装置１は、計算機２の表示部２２に表示された数字又は演算用記号の認識により、数字又は演算用記号を取得して、計算機２に対して入力された内容を示す入力パターンを作成する。計算機２の表示部２２には、数字キーが押下された場合、入力された数字が表示される。しかしながら、「＋」、「−」等の演算子キー又は「ＣＥ」、「M+」等の機能キーが押下された場合、必ずしもそのことを示す表示がなされるとは限らない。演算子キーが押下された場合、演算子キーが押下されたことを示す「＋」等の演算用記号がシンボルとして表示される機種も存在するが、演算用記号が表示されない機種も存在する。さらに、演算に係る記号として演算子を示す演算用記号を表示する機種であっても、機能キーが押下された場合、当該機能キーが押下されたことを示す演算に係る記号を表示しない設計の機種も存在する。そこで、数字又は演算用記号取得処理では、演算用記号を表示しない計算機２に対しても、押下された演算子キー又は機能キーを推定し、入力内容を特定して、入力パターンを作成する処理を実行する。なお、ここで演算用記号とは、計算機２の表示部２２にシンボルとして表示される演算子を示す演算に係る記号、機能キーの押下に基づき表示される演算に係る記号をいうものとする。
【００９２】
図１７Ａは、本願に記載の演算表示システムにおいて、計算機２に入力された内容及び認識処理装置１が認識した内容の一例を示す図表である。図１７Ａは、演算用記号が表示される計算機２を用いた場合において、計算機２に実際に入力された内容、計算機２に表示された内容、及び認識処理装置１が認識して作成した入力パターンを示している。
【００９３】
１行目に示すように、計算機２は、「１２３」との入力を受け付けると、「１２３」との表示を行う。認識処理装置１は、「１２３」が入力されたことを認識し、入力パターン「１２３」を作成する。
【００９４】
２行目に示すように、計算機２は、「１２３」の入力後、「＋」の入力を受け付けると、「１２３」と演算用記号「＋」との表示を行う。認識処理装置１は、「＋」が入力されたことを認識し、入力パターン「１２３＋」を作成する。
【００９５】
３行目に示すように、計算機２は、「１２３＋」の入力後、「４」の入力を受け付けると、「４」と演算用記号「＋」との表示を行う。認識処理装置１は、「４」が入力されたことを認識し、入力パターン「１２３＋４」を作成する。
【００９６】
４行目に示すように、計算機２は、「１２３＋４」の入力後、「５６−」の入力、即ち「１２３＋４５６−」との入力を受け付けると、加算の演算結果「５７９」と演算記号「−」との表示を行う。認識処理装置１は、「５６−」が入力されたことを認識し、入力パターン「１２３＋４５６−」を作成する。
【００９７】
５行目に示すように、計算機２は、「１２３＋４５６−」の入力後、「７８９＝」の入力、即ち「１２３＋４５６−７８９＝」との入力を受け付けると、加減算の演算結果「−２１０」と演算用記号「＝」との表示を行う。認識処理装置１は、「７８９＝」が入力されたことを認識し、入力パターン「１２３＋４５６−７８９＝」を作成する。
【００９８】
図１７Ｂは、本願に記載の演算表示システムにおいて、計算機２に入力された内容及び認識処理装置１が認識した内容の一例を示す図表である。図１７Ｂは、演算用記号が表示されない計算機２を用いた場合において、計算機２に実際に入力された内容、計算機２に表示された内容、及び認識処理装置１が認識して作成した入力パターンを示している。なお、入力された内容は、図１７Ａと同様である。
【００９９】
１行目に示すように、計算機２は、「１２３」との入力を受け付けると、「１２３」との表示を行う。認識処理装置１は、「１２３」が入力されたことを認識し、入力パターン「１２３」を作成する。
【０１００】
２行目に示すように、計算機２は、「１２３＋」との入力を受け付けると、演算用記号は表示せず「１２３」のみの表示を行う。この場合、表示は変わらないので、認識処理装置１は、「＋」が入力されたことを認識することはできず、入力パターンは「１２３」から変化しない。
【０１０１】
３行目に示すように、計算機２は、「１２３＋４」との入力を受け付けると、「４」の表示を行う。認識処理装置１は、「４」が入力されたことと「４」の直前に何らかの入力がなされたことを認識するが、入力された内容を一つに特定することはできない。ただし、入力された候補となる候補キーとして、「＋」、「−」、「×」、「÷」、「＝」、「M+」及び「M-」を選択することができる。なお、「M+」とは、メモリに加算することを示す演算用記号であり、「M-」とは、メモリから減算することを示す演算用記号である。そこで、「１２３＋４５６［＋，−，×，÷，＝，M+，M-］」との入力パターンを作成する。記号「［  ］」は、特定した候補キーが複数である場合に、複数の候補キーを並べて表示していることを示す記号であり、本願では、未特定配列記号と呼ぶこととし、また、未特定配列記号内の候補キーの配列を選択記号配列と呼ぶこととする。
【０１０２】
４行目に示すように、計算機２は、「１２３＋４５６−」との入力を受け付けると、加算の演算結果「５７９」を表示する。認識処理装置１は、「４」の直前の入力は、選択した複数の候補キーのうち「＋」であると特定することができるが、今回入力された内容を一つに特定することはできない。ただし、入力された候補となる候補キーとして、「＋」、「−」、「×」、「÷」、「＝」、「M+」及び「M-」を選択することができる。そこで、入力パターン「１２３＋４５６［＋，−，×，÷，＝，M+，M-］」を作成する。
【０１０３】
５行目に示すように、計算機２は、「１２３＋４５６−７８９＝」との入力を受け付けると、加減算の演算結果「−２１０」を表示する。認識処理装置１は、「７」の直前の入力は、選択した複数の候補キーのうち「−」であると特定することができるが、今回入力された内容を一つに特定することはできない。ただし、入力された候補となる候補キーとして、「＋」、「−」、「×」、「÷」、「＝」、「M+」及び「M-」を選択することができる。そこで、入力パターン「１２３＋４５６−７８９［＋，−，×，÷，＝，M+，M-］」を作成する。
【０１０４】
他の例について説明する。図１８Ａは、本願に記載の演算表示システムにおいて、計算機２に入力された内容及び認識処理装置１が認識した内容の一例を示す図表である。図１８Ａは、演算用記号が表示される計算機２を用いた場合において、計算機２に実際に入力された内容、計算機２に表示された内容、及び認識処理装置１が認識して作成した入力パターンを示している。
【０１０５】
１行目に示すように、計算機２は、「１２３[M+]」との入力を受け付けると、「１２３」と演算用記号「＝  Ｍ」との表示を行う。演算用記号が表示される計算機２を用いた場合であっても、認識処理装置１は、「１２３」の後に入力された内容を一つに特定することはできない。ただし、入力された候補となる候補キーとして、「＝」、「M+」及び「M-」を選択することができる。そこで、入力パターン「１２３［＝，M+，M-］」を作成する。なお、図及び上記の記載において、[M+]と示しているのは、押下されたキーが一つのキーであることを示す便宜上の理由による。
【０１０６】
２行目に示すように、計算機２は、「１２３[M+]４５６＋」との入力を受け付けると、「４５６」と演算用記号「＋  Ｍ」との表示を行う。認識処理装置１は、「＋」が入力されたことを認識することができるが、以前の候補キーについては特定することができない。そこで、入力パターン「１２３［＝，M+，M-］＋」を作成する。
【０１０７】
３行目に示すように、計算機２は、「１２３[M+]４５６＋[RM]」との入力を受け付けると、メモリから読み出した「１２３」と演算用記号「＋  Ｍ」との表示を行う。なお、「RM」とは、メモリの内容を読み出すことを示す演算用記号である。認識処理装置１は、「４」の直前の入力は、選択した複数の候補キーのうち「M+」であると特定することができる。また、「＋」の直後の入力は、[RM]であると特定することができる。そこで、入力パターン「１２３M+４５６＋RM」を作成する。
【０１０８】
４行目に示すように、計算機２は、「１２３[M+]４５６＋[RM]＝」との入力を受け付けると、加減算の演算結果「５７９」と演算用記号「＝  Ｍ」との表示を行う。認識処理装置１は、入力パターン「１２３M+４５６＋RM＝」を作成する。
【０１０９】
図１８Ｂは、本願に記載の演算表示システムにおいて、計算機２に入力された内容及び認識処理装置１が認識した内容の一例を示す図表である。図１８Ｂ、演算用記号が表示されない計算機２を用いた場合において、計算機２に実際に入力された内容、計算機２に表示された内容、及び認識処理装置１が認識して作成した入力パターンを示している。なお、入力された内容は、図１８Ａと同様である。
【０１１０】
１行目に示すように、計算機２は、「１２３[M+]」との入力を受け付けると、「１２３」と演算用記号「Ｍ」との表示を行う。認識処理装置１は、「１２３」が入力されたことのみを認識し、入力パターン「１２３」を作成する。
【０１１１】
２行目に示すように、計算機２は、「１２３[M+]４５６＋」との入力を受け付けると、「４５６」と演算用記号「Ｍ」との表示を行う。認識処理装置１は、入力パターン「１２３［＋，−，×，÷，＝，M+，M-］４５６」を作成する。
【０１１２】
３行目に示すように、計算機２は、「１２３[M+]４５６＋[RM]」との入力を受け付けると、メモリから読み出した「１２３」と演算用記号「Ｍ」との表示を行う。認識処理装置１は、入力パターン「１２３M+４５６［無し，＋，−，×，÷，＝，M+，M-］RM」を作成する。ここで、「無し」とは、「４５６」と「RM」との間に何の入力もされなかったことを示す候補キーである。
【０１１３】
４行目に示すように、計算機２は、「１２３[M+]４５６＋[RM]＝」との入力を受け付けると、加減算の演算結果「５７９」と演算用記号「Ｍ」との表示を行う。認識処理装置１は、入力パターン「１２３M+４５６＋RM［＋，−，×，÷，＝，M+，M-］」を作成する。
【０１１４】
なお、演算用記号が表示されない計算機２を用いた場合、最後に押下されたキーが、例えば「＝」である場合であっても、認識することができない。そこで、終了の指示を受け付けた場合に、「＝」が押下されたとみなして入力パターンを作成するようにしてもよい。
【０１１５】
具体例を示した数字又は演算用記号取得処理を実現するための処理について説明する。図１９及び図２０は、本願に記載の演算表示システムにて用いられる認識処理装置１の数字又は演算用記号取得処理の一例を示すフローチャートである。なお、フローチャート及び以下の説明において「表示内容を作成する」との表現は、認識処理装置１内部に認識する計算機２と全く同一の電卓実行処理を持ち、ここにキー入力パターンを順番に入力した結果、表示される内容を得る事を示す。
【０１１６】
制御部１０は、演算用記号表示の有無を判別する（Ｓ４０１）。
【０１１７】
ステップＳ４０１において、演算用記号の表示が無いと判別した場合（Ｓ４０１：ＮＯ）、制御部１０は、直前の入力パターンに係る表示内容を作成する（Ｓ４０２）。ステップＳ４０２は、直前の入力パターンで入力がなされた場合に、計算機２の表示部２２に表示される内容を作成する処理である。
【０１１８】
制御部１０は、直前の入力パターンに候補キーを追加した追加パターンを作成する（Ｓ４０３）。ステップＳ４０３では、複数の候補キーのうちの一つを追加した追加パターンを作成する。なお、作成の対象となる候補キーの順序は適宜設定される。
【０１１９】
制御部１０は、候補キーの追加パターンにおける表示内容を作成する（Ｓ４０４）。ステップＳ４０４は、計算機２が、作成の対象となる候補キーの入力を受け付けた場合に表示された内容を作成する処理である。
【０１２０】
制御部１０は、入力パターンから追加パターンに状態が遷移した場合において、表示内容が変化していないか否かを判別する（Ｓ４０５）。
【０１２１】
ステップＳ４０５において、表示内容が変化していないと判別した場合（Ｓ４０５：ＹＥＳ）、制御部１０は、当該候補キーが押下された可能性があると判断し、当該候補キーを選択し、選択記号配列として保持する（Ｓ４０６）。ステップＳ４０６の保持は、記憶部１６に一時記憶することにより実行される。
【０１２２】
ステップＳ４０５において、表示内容が変化していると判別した場合（Ｓ４０５：ＮＯ）、ステップＳ４０６の選択記号配列として保持する処理は行われない。
【０１２３】
制御部１０は、全ての候補キーに対する処理が終了したか否かを判別する（Ｓ４０７）。
【０１２４】
ステップＳ４０７において、処理が終了していないと判別した場合（Ｓ４０７：ＮＯ）、制御部１０は、直前の入力パターンに次の候補キーを追加した追加パターンを作成し（Ｓ４０８）、ステップＳ４０４へ戻り、以降の処理を繰り返す。即ち、ステップＳ４０３を実行後、ステップＳ４０４〜Ｓ４０８の処理を繰り返すことにより、全ての候補キーについて適否が判断され、認識により取得すべき候補となる一又は複数の記号キーが選択される。
【０１２５】
ステップＳ４０７において、全ての候補キーに対する処理が終了したと判別した場合（Ｓ４０７：ＹＥＳ）、制御部１０は、選択記号配列に候補キーが保持されているか否かを判別する（Ｓ４０９）。ステップＳ４０９では、記憶部１６に選択記号配列として保持した候補キーの有無を判別する。
【０１２６】
ステップＳ４０９において、選択記号配列として保持した候補キーが有ると判別した場合（Ｓ４０９：ＹＥＳ）、制御部１０は、選択記号配列の候補キーを未特定配列記号内に並べて入力パターンに追加する（Ｓ４１０）。
【０１２７】
ステップＳ４０９において、選択記号配列として保持した候補キーが無いと判別した場合（Ｓ４０９：ＮＯ）、ステップＳ４１０の未特定配列記号内に並べて入力パターンに追加する処理は行われない。
【０１２８】
なお、ステップＳ４０１において、演算用記号の表示が有ると判別した場合（Ｓ４０１：ＹＥＳ）、ステップＳ４０２〜Ｓ４１０の処理は実行されない。
【０１２９】
制御部１０は、直前の入力パターンに候補キーを追加した追加パターンを作成する（Ｓ４１１）。ステップＳ４１１では、複数の候補キーのうちの一つを追加した追加パターンを作成する。
【０１３０】
制御部１０は、候補キーの追加パターンにおける表示内容を作成する（Ｓ４１２）。
【０１３１】
制御部１０は、表示認識結果と候補キーの追加パターンにおける表示内容とが合致するか否かを判別する（Ｓ４１３）。
【０１３２】
ステップＳ４１３において、表示認識結果と表示内容とが合致すると判別した場合（Ｓ４１３：ＹＥＳ）、制御部１０は、当該候補キーが押下された可能性があると判断し、当該候補キーを選択し、選択記号配列として保持する（Ｓ４１４）。なお、ステップＳ４１４にて保持する選択記号配列は、ステップＳ４０６の選択記号配列とは異なる情報として保持される。従って、この場合、ステップＳ４０６に係る選択記号配列を消去するようにしてもよい。
【０１３３】
ステップＳ４１３において、表示認識結果と表示内容とが合致しないと判別した場合（Ｓ４１３：ＮＯ）、制御部１０は、当該候補キーが押下された可能性はないと判断し、ステップＳ４１４の選択記号配列として保持する処理は行わない。
【０１３４】
制御部１０は、全ての候補キーに対する処理が終了したか否かを判別する（Ｓ４１５）。
【０１３５】
ステップＳ４１５において、処理が終了していないと判別した場合（Ｓ４１５：ＮＯ）、制御部１０は、直前の入力パターンに次の候補キーを追加した追加パターンを作成し（Ｓ４１６）、ステップＳ４１２へ戻り、以降の処理を繰り返す。即ち、ステップＳ４１１の処理を実行後、ステップＳ４１２〜Ｓ４１６の処理を繰り返すことにより、全ての候補キーについて適否が判断され、認識により取得すべき候補となる一又は複数の記号キーが選択される。
【０１３６】
ステップＳ４１５において、処理が終了していると判別した場合（Ｓ４１５：ＹＥＳ）、制御部１０は、直前の入力パターンに未特定配列記号が含まれるか否かを判別する（Ｓ４１７）。
【０１３７】
ステップＳ４１７において、直前の入力パターンに未特定配列記号が含まれていると判別した場合（Ｓ４１７：ＹＥＳ）、制御部１０は、選択記号配列に含まれる候補キーのうちで未特定配列記号内に含まれていない候補キーを削除する（Ｓ４１８）。ステップＳ４１８は、直前の入力パターンにおいて、押下された可能性があるとして未特定配列記号内に含めていた候補キーのうちで、今回のキー入力により、該当しないことが明らかとなった候補キーを選択から除外する処理である。
【０１３８】
制御部１０は、未特定配列記号内に含まれる候補キーが一つであるか否かを判別する（Ｓ４１９）。
【０１３９】
ステップＳ４１９において、未特定配列記号内に含まれる候補キーが一つであると判別した場合（Ｓ４１９：ＹＥＳ）、制御部１０は、未特定配列記号を削除する（Ｓ４２０）。これにより、未特定配列記号内に含まれていた候補キーが独立して入力パターンに示されることになる。即ち、ステップＳ４２０は、候補キーの選択後の認識に係る取得に基づいて、選択した複数の候補キーのうちから取得すべき候補キーを一つに特定する処理である。
【０１４０】
ステップＳ４１７において、直前の入力パターンに未特定配列記号が含まれていないと判別した場合（Ｓ４１７：ＮＯ）、ステップＳ４１８〜Ｓ４２０の処理は行われない。また、ステップＳ４１９において、未特定配列記号内に含まれる候補キーが一つではないと判別した場合（Ｓ４１９：ＮＯ）、ステップＳ４２０の処理は行われない。
【０１４１】
制御部１０は、選択記号配列に含まれる候補キーが一つであるか否かを判別する（Ｓ４２１）。
【０１４２】
ステップＳ４２１において、選択記号配列に含まれる候補キーが一つであると判別した場合（Ｓ４２１：ＹＥＳ）、制御部１０は、選択記号配列内の候補キーを入力パターンに追加し（Ｓ４２２）、数字又は演算用記号特定処理を終了する。ステップＳ４２２は、選択した候補キーのうちから取得すべき候補キーが特定されていると判断し、当該候補キーを取得した記号として扱うための処理である。
【０１４３】
ステップＳ４２１において、選択記号配列に含まれる候補キーが一つではないと判別した場合（Ｓ４２１：ＮＯ）、制御部１０は、選択記号配列の候補キーを未特定配列記号内に並べて入力パターンに追加し（Ｓ４２２）、数字又は演算用記号特定処理を終了する。
【０１４４】
そして、認識処理装置１は、認識処理及び結果表示処理のステップＳ２０８以降の処理を実行する。数字又は演算用記号特定処理において作成された入力パターンが認識処理に結果に基づき表示される。
【０１４５】
なお、例えば、「M+」「M-」と連続して押下された場合のように、キーが複数回押下されたことを想定するようにしてもよい。ただし、このようなケースを想定すると、候補キーの数は無限になるので、選択する数、選択するパターン等の項目に制限を設けるようにしてもよい。また、例えば、図１０に例示したような設定画面から予め優先すべき設定を行うことにより、未特定配列記号内に選択記号配列として表示される候補キーを適宜削減することができる。
【０１４６】
また、入力パターンは、候補キーを追加するだけでなく、例えば、「CE」キーが押下された場合のように、一度入力パターンに追加された数字を削除する処理をも考慮して、候補キーの選択がなされる。
【０１４７】
以上詳述したように本発明に係る認識処理装置等は、続けて撮像した画像から有意な変化を検出した場合に、認識処理等の処理を開始する。従って、ユーザは、計算機を操作する都度、認識処理装置に対して認識処理等を開始させる操作を行う必要が無いので、操作性を向上させ、利便性を高めることが可能である等、優れた効果を奏する。
【０１４８】
しかも、画像の２値化処理においても、マスクデータを自動的に作成して２値化データを作成することにより、計算機毎に設定を調整する必要が無く、ユーザの利便性を向上させることが可能である等、優れた効果を奏する。
【０１４９】
さらに、演算記号がシンボルとして表示されない計算機に対しても自動的に対応することができるため、ユーザの利便性を向上させることが可能である等、優れた効果を奏する。
【０１５０】
前記実施の形態は、本発明の無数に存在する実施例の一部を開示したに過ぎず、目的、用途、仕様、設定等の様々な要因を加味して適宜設計することが可能である。
【０１５１】
たとえば、認識処理装置は、スマートフォン以外のコンピュータ、又は携帯電話であってもよい。さらに、選択された候補キーが複数である場合に、入力終了後、その旨を表示し、ユーザに選択された候補キーのうちから適切な候補キーを特定させるようにしてもよい。
【０１５２】
以上詳述したように、本発明に係る認識処理装置１は、撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置１であって、画像の変化の有無を検出する変化検出手段と、前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識手段と、前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理手段とを備えることを特徴とする。
【０１５３】
したがって、本発明では、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。
【０１５４】
また、前記認識手段は、複数の数字又は記号を続けて取得した場合で、取得すべき記号を取得することができなかったときに、取得すべき記号の候補を複数選択する選択手段と、前記選択手段による選択後の取得に基づいて、選択した複数の記号の候補のうちから、取得すべき記号を特定する特定手段とを含み、特定した記号を、取得した記号とすることを特徴とする。
【０１５５】
したがって、本発明では、演算に要する記号を認識することができない場合に、記号の候補を複数選択し、特定することができる。
【０１５６】
また、前記特定手段により取得すべき記号を特定することができなかった場合又は前記特定手段が特定した記号が複数である場合に、前記認識手段は、前記選択手段が選択した複数の記号又は前記特定手段が特定した複数の記号を取得した記号とすることを特徴とする。
【０１５７】
したがって、本発明では、記号の候補を１つに特定することができない場合に、複数の記号を取得したものとして扱うことができる。
【０１５８】
また、前記変化検出手段は、取得した複数の画像から、画像内で認識の対象となる区域を特定する手段を有し、前記認識手段は、特定した区域内での変化に基づいて、各画像に対する認識処理行うことを特徴とする。
【０１５９】
したがって、本発明では、認識の対象とすべき区域を自動的に特定することができる。
【０１６０】
本発明に係る認識処理方法は、撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示させる認識処理装置１を用いた認識処理方法であって、前記認識処理装置１は、画像の変化の有無を検出する変化検出ステップと、前記変化検出手段が、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する認識ステップと、前記認識手段にて取得した数字及び記号を示した結果を表示させる表示処理ステップとを実行することを特徴とする。
【０１６１】
したがって、本発明では、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。
【０１６２】
本願に記載の演算表示システムは、数字及び演算に関する記号の入力を受け付ける入力部２１と、入力された数字及び記号に基づく表示を行う表示部２２とを備える計算機２と、認識処理装置１とを備え、認識処理装置１は、表示部２２の撮像により取得した画像に基づいて認識処理を実行することを特徴とする。
【０１６３】
したがって、本発明では、計算装置２を操作するだけで、認識処理装置１は、その操作の内容を自動的に認識することができる。
【０１６４】
本発明に係る認識処理プログラムＰＲＧは、撮像部１１及び表示部１２０を備えるコンピュータに、撮像部１１の撮像により続けて取得した画像に対して認識処理を実行し、認識処理に基づく結果を表示部１２０に表示させる認識処理プログラムＰＲＧであって、コンピュータに、画像の変化の有無を検出する手順と、画像の変化を検出した場合に、取得した画像に対する認識処理により数字、又は演算に関する記号を取得する手順と、取得した数字及び記号を示した結果を表示させる手順とを実行させることを特徴とする。
【０１６５】
したがって、本発明では、コンピュータにて実行することにより、コンピュータが本発明の認識処理装置１として機能するので、画像の変化の検出を契機として認識処理を実行することにより、認識処理を実行させるための操作が不要となる。
【符号の説明】
【０１６６】
１  認識処理装置
１０  制御部
１１  撮像部
１２  表示入力部
１２０  表示部
１２１  入力部
１３  操作部
１４  通信部
１５  記録部
１６  記憶部
２  計算機
２０  演算部
２１  入力部
２２  表示部
ＰＲＧ  認識処理プログラム
【図１】
2014085790.tif 000003
【図２Ａ】
2014085790.tif 000004
【図２Ｂ】
2014085790.tif 000005
【図３Ａ】
2014085790.tif 000006
【図３Ｂ】
2014085790.tif 000007
【図４Ａ】
2014085790.tif 000008
【図４Ｂ】
2014085790.tif 000009
【図５Ａ】
2014085790.tif 000010
【図５Ｂ】
2014085790.tif 000011
【図６Ａ】
2014085790.tif 000012
【図６Ｂ】
2014085790.tif 000013
【図７Ａ】
2014085790.tif 000014
【図７Ｂ】
2014085790.tif 000015
【図８Ａ】
2014085790.tif 000016
【図８Ｂ】
2014085790.tif 000017
【図９Ａ】
2014085790.tif 000018
【図９Ｂ】
2014085790.tif 000019
【図１０】
2014085790.tif 000020
【図１１】
2014085790.tif 000021
【図１２】
2014085790.tif 000022
【図１３】
2014085790.tif 000023
【図１４】
2014085790.tif 000024
【図１５】
2014085790.tif 000025
【図１６Ａ】
2014085790.tif 000026
【図１６Ｂ】
2014085790.tif 000027
【図１６Ｃ】
2014085790.tif 000028
【図１６Ｄ】
2014085790.tif 000029
【図１７Ａ】
2014085790.tif 000030
【図１７Ｂ】
2014085790.tif 000031
【図１８Ａ】
2014085790.tif 000032
【図１８Ｂ】
2014085790.tif 000033
【図１９】
2014085790.tif 000034
【図２０】
2014085790.tif 000035