(57)【要約】【課題】より簡易に情報処理端末のデバイスを制御できるようにする。【解決手段】プログラムは、表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、表示画面における、入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、画像に動作標識が含まれていると判別された場合に、予め動作標識に対応付けられて定められた動作をデバイスにより行わせる制御手段、として機能させる。【選択図】図９
2019046396.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、
前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、
前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、
前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段、
として機能させることを特徴とするプログラム。
【請求項２】
前記制御手段は、情報を取得する前記動作を前記デバイスにより行わせ、
当該プログラムは、前記コンピュータを、前記取得された情報を前記表示画面に表示させるための出力処理を行う出力手段として機能させることを特徴とする請求項１に記載のプログラム。
【請求項３】
前記表示画面には、前記取得された情報を表示可能な情報表示領域が設けられ、かつ前記情報表示領域に対応する所定の出力標識が表示され、
当該プログラムは、前記コンピュータを、
前記表示画面において前記出力標識を検出する出力標識検出手段、
前記出力標識の検出結果に基づいて前記情報表示領域を検出する情報表示領域検出手段、
として機能させ、
前記出力手段は、前記取得された情報を前記情報表示領域内に表示させるための前記出力処理を行うことを特徴とする請求項２に記載のプログラム。
【請求項４】
前記情報処理端末は、複数の前記デバイスを備え、
前記動作標識判別手段は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、
前記制御手段は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別手段により前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とする請求項１から３のいずれか一項に記載のプログラム。
【請求項５】
前記動作標識は、文字、図形若しくは記号、又はこれらの組み合わせであることを特徴とする請求項１から４のいずれか一項に記載のプログラム。
【請求項６】
前記情報処理端末は、複数の前記デバイスを備え、
前記情報処理端末には、前記複数のデバイスのうち特定のデバイスを除くデバイスの動作の制御を行うオペレーティングシステムが組み込まれており、
前記制御手段は、前記特定のデバイスを前記オペレーティングシステムを介さずに制御して前記動作を行わせることを特徴とする請求項１から５のいずれか一項に記載のプログラム。
【請求項７】
前記入力手段は、前記表示画面に重ねられて設けられ、表面への接触を前記入力操作として受け付けるタッチパネルであることを特徴とする請求項１から６のいずれか一項に記載のプログラム。
【請求項８】
表示部と、
前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、
所定の機能を有するデバイスと、
前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、
前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、
前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段と、
を備えることを特徴とする情報処理端末。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理端末に用いられるプログラム及び情報処理端末に関する。
【背景技術】
【０００２】
従来、情報処理端末に用いられる入出力デバイス等の各種デバイスの小型化により、携帯して使用可能な情報処理端末が実用化されている。また、用途に合ったデバイスを組み合わせて搭載することで、ユーザの業務に係る所望の情報処理を実現することが可能な種々の情報処理端末が開発されている。例えば、入力デバイスとしてバーコードスキャナを備え、バーコードスキャナによるバーコードの読取結果を表示部に表示させたり外部装置に送信したりすることが可能な情報処理端末が、運輸・物流業における荷物の輸送状況の管理や、流通小売業における商品の売上、棚卸等の管理などに用いられている（例えば、特許文献１）。
【０００３】
情報処理端末では、通常、デバイスドライバを介したデバイスの制御及び管理等を行うオペレーティングシステム（以下ではＯＳと記す）と、ユーザの業務に係る所望の情報処理を行うためのアプリケーションプログラムとが組み込まれている。このうちアプリケーションプログラムは、ＯＳ上で動作し、ＯＳを介して各デバイスを制御する。このような構成とすることで、アプリケーションプログラムの開発においてデバイスの制御に係るプログラムを作成する手間を省くことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１５２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、近年、情報処理端末に搭載されるデバイスが多様化しているため、デバイスがＯＳによりサポートされていない（ＯＳにより制御、管理することができない）場合が増えている。このような場合には、情報処理端末のアプリケーションプログラムの開発者は、デバイスドライバを介して直接デバイスを制御、管理するためのプログラムを、デバイス専用のライブラリを用いて作成して業務プログラムに組み込む必要がある。この結果、アプリケーションプログラムが複雑化するため、アプリケーションプログラムの開発に掛かる手間やコストが増大してしまう。
このように、従来の情報処理端末では、搭載されているデバイスを簡易に制御することができない場合があるという課題がある。
【０００６】
この発明の目的は、より簡易に情報処理端末のデバイスを制御することができるプログラム及び情報処理端末を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、本発明のプログラムは、
表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、
前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、
前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、
前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段、
として機能させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、より簡易に情報処理端末のデバイスを制御することができるという効果がある。
【図面の簡単な説明】
【０００９】
【図１】情報処理端末の構成を示す斜視図である。
【図２】情報処理端末の主要な機能構成を示すブロック図である。
【図３】情報処理端末におけるソフトウェアの階層構造を示す図である。
【図４】制御支援プログラムの主要な機能を示すブロック図である。
【図５】表示部における表示画面の例を示す図である。
【図６】動作標識判別部により取得された画像の例を示す図である。
【図７】動作標識定義データの内容例を示す図である。
【図８】出力部により情報が出力された表示画面の例を示す図である。
【図９】デバイス制御支援処理の制御手順を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、本発明のプログラム及び情報処理端末に係る実施の形態を図面に基づいて説明する。
【００１１】
図１は、本実施形態の情報処理端末１の構成を示す斜視図である。
図２は、情報処理端末１の主要な機能構成を示すブロック図である。
情報処理端末１は、ＣＰＵ１１（コンピュータ、画像取得手段、動作標識判別手段、制御手段、出力手段、出力標識検出手段、情報表示領域検出手段）と、ＲＡＭ１２（Random Access Memory）と、ＲＯＭ１３（Read Only Memory）と、電源部１４と、表示部１５と、タッチパネル１６（入力手段）と、操作キー１７と、通信装置１８と、バーコードスキャナ１９と、ＮＦＣ（Near Field Communication：近距離無線通信）装置２０と、ＧＰＳ（Global Positioning System）装置２１などを備える。このうち、表示部１５、タッチパネル１６、操作キー１７、通信装置１８、バーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１の各々は、所定の機能を有するデバイスを構成する。情報処理端末１の各部は、バス２２を介して接続されている。
【００１２】
情報処理端末１は、タッチパネル１６や操作キー１７に対するユーザの入力操作に応じて、通信装置１８、バーコードスキャナ１９、ＮＦＣ装置２０又はＧＰＳ装置２１により外部から情報を取得し、取得した情報や当該情報に対して所定の処理を行った結果を表示部１５の表示画面に表示させたり、通信装置１８によりデータサーバーといった所定の外部装置に送信したりすることができる。情報処理端末１は、各デバイスとして小型のものを用いることで、ユーザが携帯して使用することができるようになっている。
情報処理端末１は、例えば、運輸・物流業における積荷の輸送状況等の管理、流通小売業における商品の売上、棚卸等の管理、製造業における部品の流動、製品の出荷等の管理、ライフライン業における保守点検結果の入力や送信といった用途に用いることができる。
【００１３】
ＣＰＵ１１は、ＲＯＭ１３に記憶されている各種のプログラムを読み出してＲＡＭ１２のワークエリアに展開し、当該プログラムに従って情報処理端末１の各部の動作を制御する。
【００１４】
ＲＡＭ１２は、例えば、揮発性のメモリであり、ＣＰＵ１１により読み出された各種プログラムやデータを一時的に格納するワークエリアを有する。
【００１５】
ＲＯＭ１３には、ＣＰＵ１１により実行される各種の制御プログラムやアプリケーションプログラム、設定データなどの各種データが記憶される。具体的には、ＲＯＭ１３には、ＯＳ１３１（オペレーティングシステム）、制御支援プログラム１３２（プログラム）、業務アプリケーション１３３、動作標識定義データ１３４（動作標識情報）、出力標識定義データ１３５などが記憶されている。
なお、ＲＯＭ１３に代えて、又はＲＯＭ１３に加えて、データの書き込みや消去が可能な記憶部が設けられていても良い。
【００１６】
電源部１４は、バッテリーや外部電源の電圧を所定の電圧に変換して情報処理端末１の各部に供給する。
【００１７】
表示部１５は、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイなどにより構成される。表示部１５は、ＣＰＵ１１から出力された制御信号に従って、業務アプリケーション１３３による処理結果や、タッチパネル１６及び操作キー１７による入力内容などを表示画面に表示する。
【００１８】
タッチパネル１６は、表示部１５の表示画面に重ねられて設けられ、表面に対する接触を入力操作として検出して、接触が検出された位置に係る信号をＣＰＵ１１に出力する。よって、タッチパネル１６により、表示部１５の表示画面における位置を特定する入力操作を受け付けることができる。タッチパネルとしては、表面が指先などにより接触されることによる内部の導電膜と表面との間の静電容量の変化に基づいて接触を検出する静電容量方式のほか、抵抗膜方式、電磁誘導方式といった各種方式のものを用いることができる。
【００１９】
操作キー１７は、テンキーや各種の機能キーを含む物理的な操作ボタンである。当該操作キー１７を押下する入力操作がなされると、当該入力操作が所定の信号に変換されてＣＰＵ１１に出力される。
【００２０】
通信装置１８は、ワイヤレスＷＡＮモジュールや無線ＬＡＮモジュール等の、外部との間のデータの送受信を行う装置である。
【００２１】
バーコードスキャナ１９は、所定の規則に従って生成されたバーコードを読み取って得られた信号をデコードし、ＣＰＵ１１に出力する。なお、信号のデコード処理の少なくとも一部はＣＰＵ１１により行われても良い。
本実施形態のバーコードスキャナ１９は、レーザースキャナであり、レーザーダイオードからの出射光のバーコードでの反射光を受光して、検出された反射光の強度分布をデジタル信号に変換する。なお、バーコードスキャナ１９は、レーザースキャナに限られず、ＬＥＤ光源からの出射光のバーコードでの反射光をＣＣＤにより受光するＣＣＤスキャナなどを用いても良い。また、二次元バーコードを読み取ることが可能なものが用いられても良い。
【００２２】
ＮＦＣ装置２０は、非接触ＩＣカードに埋め込まれたＲＦタグとの間でＲＦＩＤ（Radio Frequency Identification）方式により近距離無線通信を行い、非接触ＩＣカードの情報を取得してＣＰＵ１１に出力する。
【００２３】
ＧＰＳ装置２１は、全地球測位システムに係る測位衛星からの送信電波を受信して情報処理端末１の現在位置を取得する。ＧＰＳ装置２１は、受信した送信電波を増幅、周波数変換、復号して必要な情報を取得し、ＣＰＵ１１に出力する。
【００２４】
次に、情報処理端末１におけるデバイスの制御方法について説明する。
図３は、情報処理端末１におけるソフトウェアの階層構造を示す図である。
図３に示されるように、ソフトウェアの最下層には、各デバイス（ハードウェア）に対応するデバイスドライバが設けられている。具体的には、表示部１５、タッチパネル１６、操作キー１７、通信装置１８、バーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１の各デバイスにそれぞれ対応して、デバイスドライバ１５ｄ〜２１ｄが設けられている。
【００２５】
また、これらのデバイスドライバ１５ｄ〜２１ｄのうち、デバイスドライバ１５ｄ〜１８ｄの上層にはＯＳ１３１が設けられ、デバイスドライバ１９ｄ〜２１ｄの上層には制御支援プログラム１３２が設けられている。また、ＯＳ１３１及び制御支援プログラム１３２の上層には、業務アプリケーション１３３が設けられている。
【００２６】
ＯＳ１３１は、情報処理端末１を動作させるための基本ソフトウェアであり、デバイスドライバ１５ｄ〜１８ｄにより表示部１５、タッチパネル１６、操作キー１７、通信装置１８の動作の制御、管理を行うほか、ＲＡＭ１２における記憶領域の管理や、ＣＰＵ１１により実行されるプロセスの管理などを行い、ユーザや業務アプリケーション１３３に対して基本的なユーザインターフェースを提供する。
【００２７】
業務アプリケーション１３３は、情報処理端末１においてユーザの業務に係る所望の情報処理を行うためのアプリケーションプログラムである。業務アプリケーション１３３は、ＯＳ１３１を介して表示部１５を動作させて、所定の表示画面を表示させる。また、業務アプリケーション１３３は、ＯＳ１３１を介してタッチパネル１６及び操作キー１７に対する入力操作に係る情報を取得し、当該入力操作に応じてＣＰＵ１１に所定の処理を行わせ、ステータス情報や処理結果などを表示部１５の表示画面に表示させる。また、業務アプリケーション１３３は、ＯＳ１３１を介して通信装置１８を動作させて、上記処理結果などを外部装置に送信させたり、外部装置から必要な情報を受信させたりする。
【００２８】
本実施形態の情報処理端末１に組み込まれたＯＳ１３１は、バーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１についてはサポートしていない。このため、業務アプリケーション１３３は、ＯＳ１３１を介してバーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１を動作させることはできない。
そこで、本実施形態では、バーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１の動作の制御について業務アプリケーションを支援するための制御支援プログラム１３２が、ＯＳ１３１とは別個に設けられている。制御支援プログラム１３２は、ＯＳ１３１により情報処理端末１が動作している間、常に動作する常駐プログラムである。
以下では、制御支援プログラム１３２の機能及び動作について説明する。
【００２９】
図４は、制御支援プログラム１３２の主要な機能を示すブロック図である。
制御支援プログラム１３２は、動作標識判別部１３２ａ、デバイス制御部１３２ｂ、出力標識検出部１３２ｃ、テキストボックス検出部１３２ｄ、出力部１３２ｅ及びＯＣＲ（Optical Character Reader）部１３２ｆを有する。制御支援プログラム１３２は、これらの各部の機能を実現させる手段としてＣＰＵ１１を機能させる。
以下、図５〜図８を用いて制御支援プログラム１３２の各部の機能について説明する。当該各部の機能は、制御支援プログラム１３２の各部に従ってＣＰＵ１１が動作することで実現されるが、以下の図５〜図８の説明では、便宜上、制御支援プログラム１３２の各部を動作主体として説明する。
【００３０】
動作標識判別部１３２ａは、タッチパネル１６に対する入力操作により表示部１５の表示画面の位置が特定された場合に、当該特定された位置から所定範囲内に表示されている画像を取得し、取得された画像に特定の動作標識が含まれているか否かを判別する。
【００３１】
図５は、表示部１５における表示画面の例を示す図である。
図５の表示画面１５ａは、業務アプリケーション１３３の動作画面である。すなわち、表示画面１５ａは、業務アプリケーション１３３により生成された画像データに基づいてＯＳ１３１及びデバイスドライバ１５ｄを介して表示部１５を動作させることで表示される。表示画面１５ａは、情報処理端末１の電源を入れて起動した状態で表示部１５に表示されるようになっている。
この表示画面１５ａでは、バーコードスキャナ１９によりバーコードの読み取り動作を行わせるためのスキャンボタンＢ１と、ＮＦＣ装置２０により非接触ＩＣカードの情報を取得させるためのＮＦＣボタンＢ２と、ＧＰＳ装置２１により情報処理端末１の位置情報を取得させるためのＧＰＳボタンＢ３と、バーコードスキャナ１９、ＮＦＣ装置２０又はＧＰＳ装置２１により取得された情報を表示可能なテキストボックスＴＢ（情報表示領域）と、が表示されている。
また、スキャンボタンＢ１の内部には、「スキャン」の文字からなる動作標識Ｍａ１が表示され、ＮＦＣボタンＢ２の内部には、「ＮＦＣ」の文字からなる動作標識Ｍａ２が表示され、ＧＰＳボタンＢ３の内部には、「ＧＰＳ」の文字からなる動作標識Ｍａ３が表示されている。また、テキストボックスＴＢの近傍には、「出力」の文字からなる出力標識Ｍｂが表示されている。以下では、任意の動作標識を指す場合に「動作標識Ｍａ」と記す。
【００３２】
表示画面１５ａにおけるスキャンボタンＢ１、ＮＦＣボタンＢ２及びＧＰＳボタンＢ３は、単なる画像である。したがって、業務アプリケーション１３３では、これらの各ボタンに対する機能は割り当てられておらず、これらの各ボタンを選択する入力操作がなされても、業務アプリケーション１３３が何らかの処理を開始させることはない。
他方で、テキストボックスＴＢは、入力データを取得したりテキストを表示させたりするためにＯＳ１３１により提供される機能を用いて設けられたものであり、当該テキストボックスＴＢを選択する入力操作をタッチパネル１６又は操作キー１７により行った上で、操作キー１７からテキスト入力を行うことでテキストデータが表示されるようになっている。
【００３３】
ここで、タッチパネル１６に対し、表示画面１５ａにおける動作標識Ｍａ１の近傍の位置Ｐを特定する入力操作がなされた場合の動作標識判別部１３２ａの動作を説明する。
動作標識判別部１３２ａは、タッチパネル１６に対する入力操作に係るイベントの発生を監視しており、上記の位置Ｐを特定する入力操作がなされると、当該位置Ｐから所定範囲（以下、範囲Ｒと記す）内に表示されている画像を取得する。この処理は、例えばＯＳ１３１に組み込まれているスクリーンショット機能（画面キャプチャ機能）を使用することで行うことができる。
【００３４】
図６は、動作標識判別部１３２ａにより取得された所定範囲Ｒ内の画像の例を示す図である。
動作標識判別部１３２ａは、ＯＣＲ部１３２ｆにより範囲Ｒ内の画像に対して文字認識処理を行わせて、当該文字認識処理の結果と、ＲＯＭ１３に記憶されている動作標識定義データ１３４とに基づいて、範囲Ｒ内の画像に特定の動作標識Ｍａが含まれているか否かを判別する。
【００３５】
図７は、動作標識定義データ１３４の内容例を示す図である。
動作標識定義データ１３４では、複数の動作標識Ｍａの各々が、バーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１のいずれかの動作（詳しくは、当該動作を行わせるための処理）と対応付けられて記憶されている。本実施形態の動作標識Ｍａは、「スキャン」、「ＳＣＡＮ」、「ＮＦＣ」、「ＩＣカード」、「ＧＰＳ」及び「現在地」であり、いずれも文字のみからなる。また、「スキャン」及び「ＳＣＡＮ」の動作標識Ｍａには、バーコードスキャナ１９によりバーコードの読取動作を行わせるための処理「Ｂａｒｃｏｄｅ＿Ｓｃａｎ」が対応付けられて記憶され、「ＮＦＣ」及び「ＩＣカード」の動作標識Ｍａには、ＮＦＣ装置２０により非接触ＩＣカードの情報を取得する動作を行わせるための処理「ＮＦＣ＿Ｒｅａｄ」が対応付けられて記憶され、「ＧＰＳ」及び「現在地」の動作標識Ｍａには、ＧＰＳ装置２１により現在位置情報の取得動作を行わせるための処理「ＧＰＳ＿ＧｅｔＰｏｓｉｔｉｏｎ」が対応付けられて記憶されている。
【００３６】
動作標識判別部１３２ａは、範囲Ｒ内の文字認識処理の結果得られた文字列が、動作標識定義データ１３４に示されている動作標識Ｍａのいずれかと一致するか否かを判別する。図５及び図６の例では、動作標識判別部１３２ａは、範囲Ｒ内に「スキャン」の文字からなる動作標識Ｍａ１が含まれていると判別する。
なお、範囲Ｒの大きさは、図５及び図６の例のように範囲Ｒの画像から一の動作標識Ｍａを特定できるように、表示画面１５ａ内における動作標識Ｍａの大きさや間隔に応じて予め定められる。
【００３７】
制御支援プログラム１３２のデバイス制御部１３２ｂは、動作標識判別部１３２ａによって範囲Ｒ内に特定の動作標識Ｍａが含まれていると判別された場合に、当該動作標識Ｍａに対応付けられているデバイスにより、当該動作標識Ｍａに対応付けられた動作を行わせる。図５及び図６の例では、動作標識定義データ１３４において、「スキャン」の動作標識Ｍａ１にはバーコードスキャナ１９によるバーコードの読み取り動作（「Barcode_Scan」）が対応付けられているため、デバイス制御部１３２ｂは、デバイスドライバ１９ｄを介してバーコードスキャナ１９を動作させてバーコードを読み取らせる。
【００３８】
制御支援プログラム１３２の出力標識検出部１３２ｃは、デバイス制御部１３２ｂによるデバイスの動作制御が終了した場合に、表示画面１５ａの全体の画像データを取得して、当該画像データに対してＯＣＲ部１３２ｆにより文字認識処理を行わせる。出力標識検出部１３２ｃは、文字認識処理の結果と、ＲＯＭ１３に記憶されている出力標識定義データ１３５とに基づいて、表示画面１５ａ内における、出力標識定義データ１３５により定義された出力標識Ｍｂの位置を検出する。出力標識定義データ１３５には、検出対象の出力標識Ｍｂが記憶されている。
本実施形態では、「出力」の文字からなる出力標識Ｍｂが出力標識定義データ１３５に記憶されており、出力標識検出部１３２ｃは、表示画面１５ａ内における「出力」の文字からなる出力標識Ｍｂの位置を検出する。
【００３９】
制御支援プログラム１３２のテキストボックス検出部１３２ｄは、出力標識検出部１３２ｃにより検出された出力標識Ｍｂに対応するテキストボックスＴＢを表示画面１５ａ上で検出する。テキストボックスＴＢの検出は、表示画面１５ａのうち出力標識Ｍｂの近傍範囲からテキストボックスＴＢの形状を特定することで行われる。また、表示画面１５ａにおいて、出力標識Ｍｂに対する所定の相対位置にテキストボックスＴＢを設けることとし、出力標識Ｍｂの検出位置と上記所定の相対位置関係とに基づいてテキストボックスＴＢの位置を特定しても良い。
【００４０】
制御支援プログラム１３２の出力部１３２ｅは、上述したデバイス制御部１３２ｂの制御によるデバイスの動作で取得された情報を、テキストボックスＴＢに表示させるための出力処理を行う。具体的には、テキストボックスＴＢの位置を特定するタッチパネル１６に対する入力操作、及び上記取得された情報に係るテキストデータを入力する操作キー１７に対する入力操作をエミュレートすることで、図８に示されるように、ＯＳ１３１を介して表示画面１５ａのテキストボックスＴＢ内に上記テキストデータ（ここでは、「ａｂｃ−１２３４５６」）を表示させる。
【００４１】
テキストボックスＴＢに表示されたテキストデータは、業務アプリケーション１３３により取得されて所定のデータベースに保存され、必要な処理に用いられる。例えば、業務アプリケーション１３３は、取得したテキストデータを通信装置１８により所定の外部装置に送信させたり、当該テキストデータに基づいて所定のデータベースを参照することで必要なデータを取得して表示部１５に表示させたりする。
【００４２】
次に、制御支援プログラム１３２に基づくＣＰＵ１１によるデバイス制御支援処理の制御手順について説明する。
図９は、デバイス制御支援処理のＣＰＵ１１による制御手順を示すフローチャートである。デバイス制御支援処理は、表示部１５に業務アプリケーション１３３による表示画面１５ａが表示された場合に開始される。以下では、制御支援プログラム１３２に基づいて動作するＣＰＵ１１を動作主体として説明する。
【００４３】
デバイス制御支援処理が開始されると、ＣＰＵ１１は、タッチパネル１６に対する入力操作がなされたか否かを判別する（ステップＳ１０１）。タッチパネル１６に対する入力操作がなされていないと判別された場合には（ステップＳ１０１で“ＮＯ”）、ＣＰＵ１１は、再度ステップＳ１０１の処理を行う。
【００４４】
タッチパネル１６に対する入力操作がなされたと判別された場合には（ステップＳ１０１で“ＹＥＳ”）、ＣＰＵ１１は、入力操作がなされた位置Ｐから所定範囲Ｒ内に表示されている画像の画像データを取得する（ステップＳ１０２）。
ステップＳ１０１及びステップＳ１０２では、ＣＰＵ１１は、画像取得手段として機能する。
【００４５】
ＣＰＵ１１は、範囲Ｒ内の画像に動作標識Ｍａが含まれるか否かを判別する（ステップＳ１０３）。ここでは、ＣＰＵ１１は、ステップＳ１０２で取得した画像データに対するＯＣＲ機能による文字認識処理の結果と、動作標識定義データ１３４とに基づいて、動作標識Ｍａが含まれるか否かを判別する。
ステップＳ１０３では、ＣＰＵ１１は、動作標識判別手段として機能する。
【００４６】
範囲Ｒ内の画像に動作標識Ｍａが含まれていないと判別された場合には（ステップＳ１０３で“ＮＯ”）、ＣＰＵ１１は、所定のエラー表示を表示画面１５ａに表示させて（ステップＳ１０４）、デバイス制御支援処理を終了させる。
【００４７】
範囲Ｒ内の画像に動作標識Ｍａが含まれていると判別された場合には（ステップＳ１０３で“ＹＥＳ”）、ＣＰＵ１１は、検出された動作標識Ｍａが「スキャン」又は「ＳＣＡＮ」であるか、「ＮＦＣ」又は「ＩＣカード」であるか、「ＧＰＳ」又は「現在地」であるかを判別する（ステップＳ１０５）。
【００４８】
検出された動作標識Ｍａが「スキャン」又は「ＳＣＡＮ」（動作標識Ｍａ１）である場合には、ＣＰＵ１１は、デバイスドライバ１９ｄを介してバーコードスキャナ１９を起動させてバーコードの読み取り動作を行わせ、読み取り結果を取得する（ステップＳ１０６）。
【００４９】
検出された動作標識Ｍａが「ＮＦＣ」又は「ＩＣカード」（動作標識Ｍａ２）である場合には、ＣＰＵ１１は、デバイスドライバ２０ｄを介してＮＦＣ装置２０を起動させて非接触ＩＣカードの情報を取得する動作を行わせ、得られたデータを取得する（ステップＳ１０７）。
【００５０】
検出された動作標識Ｍａが「ＧＰＳ」又は「現在地」（動作標識Ｍａ３）である場合には、ＣＰＵ１１は、デバイスドライバ２１ｄを介してＧＰＳ装置２１を起動させて現在位置の取得動作を行わせ、現在位置に係る情報を取得する（ステップＳ１０８）。
ステップＳ１０６〜ステップＳ１０８では、ＣＰＵ１１は、制御手段として機能する。
【００５１】
ステップＳ１０６、ステップＳ１０７又はステップＳ１０８の処理が終了すると、ＣＰＵ１１は、表示画面１５ａにおいて出力標識Ｍｂを検出する（ステップＳ１０９）。ここでは、ＣＰＵ１１は、表示画面１５ａ全体の画像データに対するＯＣＲ機能による文字認識処理の結果と、出力標識定義データ１３５とに基づいて出力標識Ｍｂの位置を検出する。
ステップＳ１０９では、ＣＰＵ１１は、出力標識検出手段として機能する。
【００５２】
ＣＰＵ１１は、出力標識Ｍｂの検出結果に基づいてテキストボックスＴＢを検出する（ステップＳ１１０）。ここでは、ＣＰＵ１１は、ステップＳ１０９で検出された出力標識Ｍｂの位置に基づいて上述したアルゴリズムによりテキストボックスＴＢの位置を検出する。
ステップＳ１１０では、ＣＰＵ１１は、情報表示領域検出手段として機能する。
【００５３】
ＣＰＵ１１は、ステップＳ１０６、ステップＳ１０７又はステップＳ１０８で取得されたデータを上述の方法でテキストボックスＴＢに出力する（ステップＳ１１１）。
ステップＳ１１１では、ＣＰＵ１１は、出力手段として機能する。
ステップＳ１１１の処理が終了すると、ＣＰＵ１１は、デバイス制御支援処理を終了させる。
【００５４】
（変形例）
次に、上記実施形態の変形例について説明する。
上記実施形態では、動作標識Ｍａ及び出力標識Ｍｂが文字のみからなる例を用いて説明したが、これに限られず、動作標識Ｍａ及び出力標識Ｍｂは、図形や記号からなる標識であっても良い。また、動作標識Ｍａ及び出力標識Ｍｂは、文字、図形及び記号のうち二以上の組み合わせからなる標識であっても良い。したがって、動作標識Ｍａ及び出力標識Ｍｂは、テキストデータにより表示される文字や記号のほか、画像データにより表示される図形を含んでいても良い。
これらの場合にも、動作標識定義データ１３４では、表示画面１５ａにおいて動作標識Ｍａを特定できる態様で動作標識Ｍａが記憶され、各動作標識Ｍａとデバイスの動作とが対応付けられて記憶される。また、出力標識定義データ１３５では、表示画面１５ａにおいて出力標識Ｍｂを特定できる態様で出力標識Ｍｂが記憶される。
【００５５】
以上のように、本実施形態に係る制御支援プログラム１３２は、表示部１５と、表示部１５の表示画面１５ａ内の位置を特定する入力操作を受け付けるタッチパネル１６と、所定の機能を有するデバイス（上記実施形態では、バーコードスキャナ１９、ＮＦＣ装置２０又はＧＰＳ装置２１）と、を備える情報処理端末１のＣＰＵ１１（コンピュータ）を、表示画面１５ａにおける、入力操作により特定された位置から所定範囲Ｒ内に表示されている画像を取得する画像取得手段、取得された画像に特定の動作標識Ｍａが含まれているか否かを判別する動作標識判別手段、上記画像に動作標識Ｍａが含まれていると判別された場合に、予め当該動作標識Ｍａに対応付けられて定められた動作を上記デバイスにより行わせる制御手段、として機能させる。
このような制御支援プログラム１３２を情報処理端末１に組み込むことで、より簡易に上記デバイスを制御することができる。すなわち、制御支援プログラム１３２を情報処理端末１に組み込むことで、業務アプリケーション１３３は、デバイスを制御するための特別な処理を行うことなく当該デバイスを制御することができる。よって、業務アプリケーション１３３の開発者は、業務アプリケーション１３３に、当該デバイスを制御、管理するためのプログラムを組み込む必要がないため、業務アプリケーション１３３を簡素化することができ、また業務アプリケーション１３３の開発に掛かる手間やコストを低減することができる。
また、制御支援プログラム１３２は、表示画面１５ａの領域Ｒ内の画像に動作標識Ｍａが含まれているか否かの判別結果に基づいてデバイスを制御するため、業務アプリケーション１３３は、表示画面１５ａの画像に動作標識Ｍａを含ませることによって上記デバイスの制御を可能にすることができる。よって、業務アプリケーション１３３における上記デバイスの制御に係る部分を飛躍的に簡素化することができる。
また、表示画面１５ａでは、上記デバイスを動作させるための動作標識Ｍａが表示されるため、上記デバイスを動作させるための入力操作を視覚的、感覚的に分かりやすくすることができる。よって、ユーザは、動作標識Ｍａの近傍の位置を特定する直感的な入力操作で上記デバイスを動作させることができる。
【００５６】
また、制御手段としてのＣＰＵ１１は、情報を取得する動作を上記デバイスにより行わせ、制御支援プログラム１３２は、ＣＰＵ１１を、取得された情報を表示画面１５ａに表示させるための出力処理を行う出力手段として機能させる。これにより、上記デバイスにより取得された情報をユーザに視認させることができ、また業務アプリケーション１３３は、表示された情報を取得することで当該情報を用いた後続の処理を行うことができる。
【００５７】
また、表示画面１５ａには、取得された情報を表示可能なテキストボックスＴＢが設けられ、かつテキストボックスＴＢに対応する所定の出力標識Ｍｂが表示され、制御支援プログラム１３２は、ＣＰＵ１１を、表示画面１５ａにおいて出力標識Ｍｂを検出する出力標識検出手段、出力標識の検出結果に基づいてテキストボックスＴＢを検出する情報表示領域検出手段、として機能させ、出力手段としてのＣＰＵ１１は、取得された情報をテキストボックスＴＢ内に表示させるための出力処理を行う。このような構成によれば、制御支援プログラム１３２は、表示画面１５ａの画像に含まれる出力標識Ｍｂの検出結果に基づいてテキストボックスＴＢを検出するため、業務アプリケーション１３３は、表示画面１５ａの画像に出力標識Ｍｂ及びテキストボックスＴＢを含ませることによって、上記デバイスにより取得された情報をテキストボックスＴＢに表示させることができる。よって、業務アプリケーション１３３の構成をより簡素化することができる。また、ユーザは、情報を表示させる（入力する）ためにテキストボックスＴＢを選択する必要がないため、ユーザ利便性を高めることができる。また、業務アプリケーション１３３は、テキストボックスＴＢに入力されたデータを取得する簡易な処理で、上記デバイスにより得された情報を取得することができる。
【００５８】
また、情報処理端末１は、複数のデバイス（上記実施形態では、バーコードスキャナ１９、ＮＦＣ装置２０又はＧＰＳ装置２１）を備え、判別手段としてのＣＰＵ１１は、複数の動作標識Ｍａの各々が上記複数のデバイスのいずれかの動作と対応付けられている動作標識定義データ１３４に基づいて、画像に複数の動作標識Ｍａのうちいずれかの動作標識Ｍａが含まれているか否かを判別し、制御手段としてのＣＰＵ１１は、動作標識定義データ１３４に基づいて、上記複数のデバイスのうち、判別手段により画像に含まれていると判別された動作標識Ｍａに対応するデバイスにより上記動作を行わせる。これにより、業務アプリケーション１３３は、表示画面１５ａ内に複数の動作標識Ｍａを表示させることで、当該複数の動作標識Ｍａに対応付けられた複数のデバイスの制御を可能にすることができる。よって、簡素な構成の業務アプリケーション１３３によって複数のデバイスを制御することができる。
【００５９】
また、動作標識Ｍａは、文字、図形若しくは記号、又はこれらの組み合わせから構成することができるため、動作標識Ｍａを、ユーザがデバイスとの対応関係を直観的に把握しやすい構成とすることができる。また、情報処理端末１の表示画面１５ａのデザイン性を高めることができる。
【００６０】
また、情報処理端末１は、複数のデバイス（上記実施形態では、表示部１５、タッチパネル１６、操作キー１７、通信装置１８、バーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１）を備え、情報処理端末１には、当該複数のデバイスのうち特定のデバイス（上記実施形態では、バーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１）を除くデバイスの動作の制御を行うＯＳ１３１が組み込まれており、制御手段としてのＣＰＵ１１は、上記特定のデバイスをＯＳ１３１を介さずに制御して上記動作を行わせる。このような構成で制御支援プログラム１３２を情報処理端末１に組み込むことで、簡易な構成の業務アプリケーション１３３により、ＯＳ１３１によってサポートされていないデバイスを制御することができる。
【００６１】
また、入力手段として、表示画面１５ａに重ねられて設けられ、表面への接触を入力操作として受け付けるタッチパネル１６を用いることで、ユーザは、直感的な入力操作でデバイスを動作させることができる。
【００６２】
また、上記実施形態に係る情報処理端末１は、表示部１５と、表示部１５の表示画面１５ａ内の位置を特定する入力操作を受け付けるタッチパネル１６と、所定の機能を有するデバイスと、ＣＰＵ１１と、を備え、ＣＰＵ１１は、表示画面１５ａにおける、入力操作により特定された位置から所定範囲Ｒ内に表示されている画像を取得し（画像取得手段）、
取得された画像に特定の動作標識Ｍａが含まれているか否かを判別し（動作標識判別手段）、画像に動作標識Ｍａが含まれていると判別された場合に、予め当該動作標識Ｍａに対応付けられて定められた動作を上記デバイスにより行わせる（制御手段）。このような構成によれば、情報処理端末１に組み込まれる業務アプリケーション１３３は、デバイスを制御するための特別な処理を行わなくても当該デバイスを制御することができる。よって、より簡易に上記デバイスを制御することができるため、業務アプリケーション１３３を簡素化することができ、また業務アプリケーション１３３の開発に掛かる手間やコストを低減することができる。
【００６３】
以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてＲＯＭ１３等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭやフラッシュメモリ等により構成される可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【００６４】
なお、上記実施形態における記述は、本発明に係るプログラム及び情報処理端末の実施形態の一例であり、本発明はこれに限定されるものではない。
例えば、動作標識定義データ１３４において、動作標識Ｍａに対応するデバイスの動作に加え、当該動作のオプション（デバイスを動作させるための処理のオプション）を設定し、デバイス制御部１３２ｂが、当該オプションを反映させたデバイスの制御を行うようにしても良い。例えば、バーコードスキャナ１９によるバーコードの読み取り動作について、読み取るバーコードの種別やバーコードの最大長さを指定するオプションを動作標識Ｍａに対応付けて設定することで、バーコードの読み取り精度を向上させても良い。
【００６５】
また、制御支援プログラム１３２により動作標識Ｍａの検出結果に基づいて制御されるデバイスは、バーコードスキャナ１９、ＮＦＣ装置２０及びＧＰＳ装置２１に限られず、カメラ、プリンタ、スピーカー等の、所定の機能を有する種々のデバイスであっても良い。また、上記実施形態における表示部１５や通信装置１８が制御支援プログラム１３２により制御されても良い。例えば、範囲Ｒ内の画像に所定の動作標識Ｍａが検出された場合に、表示部１５に所定の画像を表示させたり、通信装置１８によって所定の送信先に所定のデータを送信させたりしても良い。
【００６６】
また、範囲Ｒ内に複数の動作標識Ｍａが含まれていた場合に、動作標識判別部１３２ａが所定のアルゴリズムに従って一の動作標識Ｍａを決定するようにしても良い。例えば、複数の動作標識Ｍａのうち、動作標識Ｍａの中心が、入力操作がなされた位置Ｐに最も近い一の動作標識Ｍａを選択しても良い。また、動作標識定義データ１３４内で各動作標識Ｍａに優先順位を定めておき、範囲Ｒ内に複数の動作標識Ｍａが含まれていた場合に、当該優先順位に従って一の動作標識Ｍａを定めても良い。
【００６７】
また、上記実施形態では、スキャンボタンＢ１、ＮＦＣボタンＢ２及びＧＰＳボタンＧ３の枠の中に動作標識Ｍａをそれぞれ表示させる例を用いて説明したが、動作標識Ｍａの表示態様はこれに限られない。動作標識Ｍａの表示態様は、当該動作標識Ｍａが動作標識判別部１３３ａにより判別可能であればどのようなものであっても良く、例えば、操作ボタンを示す枠に囲まれていない態様で表示されていても良い。
【００６８】
また、表示画面１５ａにおける位置を特定するための入力操作を受け付ける入力手段は、タッチパネル１６に限られない。例えば、操作キー１７や、各種公知のポインティングデバイスデバイス等により表示画面１５ａにおける位置を特定するための入力操作が行われても良い。
【００６９】
また、出力部１３２ｅによる情報の出力方法は、テキストボックスＴＢへの出力に限られない。例えば、ＯＳ１３１により提供されるクリップボードにデータをコピーして業務アプリケーション１３３に受け渡しても良い。
【００７０】
また、表示画面１５ａは、業務アプリケーション１３３により生成されたものに限られない。例えば、通信装置１８により外部から取得した情報リソース（ＨＴＭＬファイル等）に基づいてウェブブラウザにより構成された表示画面であっても良い。また、表示画面１５ａは、ＧＵＩ（Graphical User Interface）を用いて構成されたものに限られず、ＣＵＩ（Character User Interface）を用いて構成されたものであっても良い。
【００７１】
また、書き込み可能な記憶部に動作標識定義データ１３４や出力標識定義データ１３５を記憶させておき、これらの定義データの追加や変更を行うことができるようにしても良い。
【００７２】
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
表示部と、前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、所定の機能を有するデバイスと、を備える情報処理端末のコンピュータを、
前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段、
前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段、
前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段、
として機能させることを特徴とするプログラム。
＜請求項２＞
前記制御手段は、情報を取得する前記動作を前記デバイスにより行わせ、
当該プログラムは、前記コンピュータを、前記取得された情報を前記表示画面に表示させるための出力処理を行う出力手段として機能させることを特徴とする請求項１に記載のプログラム。
＜請求項３＞
前記表示画面には、前記取得された情報を表示可能な情報表示領域が設けられ、かつ前記情報表示領域に対応する所定の出力標識が表示され、
当該プログラムは、前記コンピュータを、
前記表示画面において前記出力標識を検出する出力標識検出手段、
前記出力標識の検出結果に基づいて前記情報表示領域を検出する情報表示領域検出手段、
として機能させ、
前記出力手段は、前記取得された情報を前記情報表示領域内に表示させるための前記出力処理を行うことを特徴とする請求項２に記載のプログラム。
＜請求項４＞
前記情報処理端末は、複数の前記デバイスを備え、
前記動作標識判別手段は、複数の前記動作標識の各々が前記複数のデバイスのいずれかの動作と対応付けられている動作標識情報に基づいて、前記画像に前記複数の動作標識のうちいずれかの動作標識が含まれているか否かを判別し、
前記制御手段は、前記動作標識情報に基づいて、前記複数のデバイスのうち、前記動作標識判別手段により前記画像に含まれていると判別された前記動作標識に対応するデバイスにより前記動作を行わせることを特徴とする請求項１から３のいずれか一項に記載のプログラム。
＜請求項５＞
前記動作標識は、文字、図形若しくは記号、又はこれらの組み合わせであることを特徴とする請求項１から４のいずれか一項に記載のプログラム。
＜請求項６＞
前記情報処理端末は、複数の前記デバイスを備え、
前記情報処理端末には、前記複数のデバイスのうち特定のデバイスを除くデバイスの動作の制御を行うオペレーティングシステムが組み込まれており、
前記制御手段は、前記特定のデバイスを前記オペレーティングシステムを介さずに制御して前記動作を行わせることを特徴とする請求項１から５のいずれか一項に記載のプログラム。
＜請求項７＞
前記入力手段は、前記表示画面に重ねられて設けられ、表面への接触を前記入力操作として受け付けるタッチパネルであることを特徴とする請求項１から６のいずれか一項に記載のプログラム。
＜請求項８＞
表示部と、
前記表示部の表示画面内の位置を特定する入力操作を受け付ける入力手段と、
所定の機能を有するデバイスと、
前記表示画面における、前記入力操作により特定された位置から所定範囲内に表示されている画像を取得する画像取得手段と、
前記取得された画像に特定の動作標識が含まれているか否かを判別する動作標識判別手段と、
前記画像に前記動作標識が含まれていると判別された場合に、予め前記動作標識に対応付けられて定められた動作を前記デバイスにより行わせる制御手段と、
を備えることを特徴とする情報処理端末。
【符号の説明】
【００７３】
１  情報処理端末
１１  ＣＰＵ（コンピュータ、画像取得手段、動作標識判別手段、制御手段、出力手段、出力標識検出手段、情報表示領域検出手段）
１２  ＲＡＭ
１３  ＲＯＭ
１４  電源部
１５  表示部
１５ａ  表示画面
１５ｄ〜２１ｄ  デバイスドライバ
１６  タッチパネル（入力手段）
１７  操作キー
１８  通信装置
１９  バーコードスキャナ
２０  ＮＦＣ装置
２１  ＧＰＳ装置
２２  バス
１３１  ＯＳ
１３２  制御支援プログラム
１３２ａ  動作標識判別部
１３２ｂ  デバイス制御部
１３２ｃ  出力標識検出部
１３２ｄ  テキストボックス検出部
１３２ｅ  出力部
１３２ｆ  ＯＣＲ部
１３３  業務アプリケーション
１３４  動作標識定義データ（動作標識情報）
１３５  出力標識定義データ
Ｂ１  スキャンボタン
Ｂ２  ＮＦＣボタン
Ｂ３  ＧＰＳボタン
Ｍａ、Ｍａ１〜Ｍａ３  動作標識
Ｍｂ  出力標識
ＴＢ  テキストボックス（情報表示領域）
【図１】
2019046396.tif 000003
【図２】
2019046396.tif 000004
【図３】
2019046396.tif 000005
【図４】
2019046396.tif 000006
【図５】
2019046396.tif 000007
【図６】
2019046396.tif 000008
【図７】
2019046396.tif 000009
【図８】
2019046396.tif 000010
【図９】
2019046396.tif 000011