(57)【要約】  文字画像を含む画像を第１表示部に表示する。第１表示部に表示された文字画像に含まれる第１文字列が指定された場合、第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示する。第２表示部に表示された拡大画像に含まれる第２文字列が指定された場合、第１表示部に表示されている画像から、指定された第２文字列を含む第３文字列を選択する。
2017029737.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
文字画像を含む画像を第１表示部に表示し、
前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示し、
前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する、
文字列選択方法。
【請求項２】
前記第１文字列画像を拡大した拡大画像を第２表示部に表示することは、
前記第１文字列に外接する初期文字列矩形を、少なくとも前記第１文字列の直前及び直後の少なくとも一方に１つの文字を追加した拡張文字列を含むように拡張して第１文字列矩形を生成し、前記第１文字列矩形に含まれる第１文字列画像を拡大した拡大画像を第２表示部に表示し、
前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列に含まれる文字のサイズに基づいて決定する、
請求項１に記載の文字列選択方法。
【請求項３】
前記第１文字列は、前記第１文字列上を指示体が前記第１表示部に接触しながら移動することにより指定され、
前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列が指定される際の前記指示体の移動速度に基づいて決定する、
請求項２に記載の文字列選択方法。
【請求項４】
前記拡大画像は、前記拡張文字列の先頭文字列を含む第１拡大画像と、前記拡張文字列の末尾文字列を含む第２拡大画像と、を含む、
請求項２又は請求項３に記載の文字列選択方法。
【請求項５】
文字画像を含む画像を第１表示部に表示し、
前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示し、
前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する、
文字列選択処理をコンピュータに実行させるためのプログラム。
【請求項６】
前記第１文字列画像を拡大した拡大画像を第２表示部に表示することは、
前記第１文字列に外接する初期文字列矩形を、少なくとも前記第１文字列の直前及び直後の少なくとも一方に１つの文字を追加した拡張文字列を含むように拡張して第１文字列矩形を生成し、前記第１文字列矩形に含まれる第１文字列画像を拡大した拡大画像を第２表示部に表示し、
前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列に含まれる文字のサイズに基づいて決定する、
請求項５に記載のプログラム。
【請求項７】
前記第１文字列は、前記第１文字列上を指示体が前記第１表示部に接触しながら移動することにより指定され、
前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列が指定される際の前記指示体の移動速度に基づいて決定する、
請求項６に記載のプログラム。
【請求項８】
前記拡大画像は、前記拡張文字列の先頭文字列を含む第１拡大画像と、前記拡張文字列の末尾文字列を含む第２拡大画像と、を含む、
請求項６又は請求項７に記載のプログラム。
【請求項９】
文字画像を含む画像を表示する第１表示部と、
前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を表示する第２表示部と、
前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する文字列選択部と、
を含む、情報処理装置。
【請求項１０】
前記第２表示部は、
前記第１文字列に外接する初期文字列矩形を、少なくとも前記第１文字列の直前及び直後の少なくとも一方に１つの文字を追加した拡張文字列を含むように拡張して第１文字列矩形を生成し、前記第１文字列矩形に含まれる第１文字列画像を拡大した拡大画像を第２表示部に表示し、
前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列に含まれる文字のサイズに基づいて決定する、
請求項９に記載の情報処理装置。
【請求項１１】
前記第１文字列は、前記第１文字列上を指示体が前記第１表示部に接触しながら移動することにより指定され、
前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列が指定される際の前記指示体の移動速度に基づいて決定する、
請求項１０に記載の情報処理装置。
【請求項１２】
前記拡大画像は、前記拡張文字列の先頭文字列を含む第１拡大画像と、前記拡張文字列の末尾文字列を含む第２拡大画像と、を含む、
請求項１０又は請求項１１に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、文字列選択方法、プログラム及び情報処理装置に関する。
【背景技術】
【０００２】
文字列上の一点を選択することで、文字列を選択する関連技術が存在する。この技術では、選択した一点の周辺から文字列を抽出し、抽出した文字列からこの文字列が縦書きの行（縦行）に含まれる文字列であるか、横書きの行（横行）に含まれる文字列であるか判定する。次に、縦行であるか、横行であるかに基づいて、文字列を探索し、探索した文字列から、文字列を囲む領域を生成する。【０００３】
しかしながら、上記関連技術では、選択した一点から文字列を囲む領域を生成するため、ユーザが意図する文字列を正確に選択することは困難であった。この問題を解決するために、例えば、指などの指示体で文字列をなぞることにより、文字列を選択する関連技術も存在する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０６−０８９３３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、スマートデバイスなどのように画面が小さく、その画面に表示される文字も小さい場合、指示体で文字列をなぞることにより、ユーザが意図する文字列を正確に選択することは困難である。【０００６】
本発明は、１つの側面として、ユーザが意図する文字列を正確に選択することを容易にすることを目的とする。
【課題を解決するための手段】
【０００７】
１つの態様では、文字画像を含む画像を第１表示部に表示し、第１表示部に表示された文字画像に含まれる第１文字列が指定された場合、第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示する。第２表示部に表示された拡大画像に含まれる第２文字列が指定された場合、第１表示部に表示されている画像から、指定された第２文字列を含む第３文字列を選択する。
【発明の効果】
【０００８】
１つの側面として、ユーザが意図する文字列を正確に選択することを容易にするという効果を有する。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る情報処理装置の要部機能の一例を示すブロック図である。
【図２】実施形態に係る情報処理装置の電気系の構成の一例を示すブロック図である。
【図３】実施形態に係る文字列選択処理の一例を示すフローチャートである。
【図４】第１実施形態に係る第１文字列選択処理の一例を示すフローチャートである。
【図５】実施形態に係る文字列画像を含む画像の一例を示す概念図である。
【図６】実施形態に係る文字列画像の一例を示す概念図である。
【図７】実施形態に係る文字矩形の一例を示す概念図である。
【図８】実施形態に係る文字列矩形の一例を示す概念図である。
【図９】実施形態に係る初期文字列矩形の一例を示す概念図である。
【図１０】第１実施形態に係る拡大表示部を示す概念図である。
【図１１】第１実施形態に係る第２文字列選択処理の一例を示すフローチャートである。
【図１２】第１実施形態に係る第２文字列の指定の一例を示す概念図である。
【図１３】第１実施形態に係る拡大表示部上の位置と通常表示部上の位置との座標変換を説明するための概念図である。
【図１４Ａ】第２実施形態に係る第１文字列選択処理の一部分の一例を示すフローチャートである。
【図１４Ｂ】第２実施形態に係る第２文字列選択処理の一例を示すフローチャートである。
【図１５Ａ】第２実施形態に係る第１文字列拡大画像の一例を示す概念図である。
【図１５Ｂ】第２実施形態に係る拡大表示部に表示される第１文字列拡大画像の一例を示す概念図である。
【図１５Ｃ】第２実施形態に係る拡大表示部での第２文字列指定の一例を示す概念図である。
【図１５Ｄ】第２実施形態に係る拡大表示部での第２文字列指定の一例を示す概念図である。
【図１６】第２実施形態に係る拡大表示部上の位置と通常表示部上の位置との座標変換を説明するための概念図である。
【発明を実施するための形態】
【００１０】
［第１実施形態］
【００１１】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下の説明では、開示の技術に係る情報処理装置の一例としてスマートデバイスを例に挙げて説明するが、本実施形態は、これに限定されるものではない。本実施形態は、例えば、タブレットコンピュータ、携帯電話機、及び電子辞書などの種々の情報処理装置に適用可能である。
【００１２】
一例として図１にスマートデバイス１０を示す。スマートデバイス１０は、例えば、第１表示部１２、第２表示部１４、第１文字列選択部１６、及び第２文字列選択部１８を含む。第１表示部１２、第２表示部１４、第１文字列選択部１６，及び第２文字列選択部１８は、相互に接続されている。
【００１３】
第１表示部１２は、文字画像を含む画像を表示する。第２表示部１４は、第１表示部１２に表示された文字画像に含まれる第１文字列が指定された場合、第１文字列を含む第１文字列画像を拡大した拡大画像を表示する。文字列選択部の一例である第２文字列選択部１８は、第２表示部に表示された拡大画像に含まれる第２文字列が指定された場合、第１表示部に表示されている画像から、指定された第２文字列を含む第３文字列を選択する。
【００１４】
スマートデバイス１０は、一例として図２に示すように、ＣＰＵ（Central Processing Unit）２１、一次記憶部２３、二次記憶部２４、外部インターフェイス２５、及びタッチパネルディスプレイ２２を備えている。ＣＰＵ２１、一次記憶部２３、二次記憶部２４、外部インターフェイス２５、及びタッチパネルディスプレイ２２は、バス２６を介して相互に接続されている。
【００１５】
タッチパネルディスプレイ２２は、タッチパネル２２Ａ及びディスプレイ２２Ｂを含む。タッチパネル２２Ａはユーザが入力した情報を検出し、ディスプレイ２２Ｂはユーザに提示する情報を表示する。ディスプレイ２２Ｂは、図１の第１表示部１２及び第２表示部１４の一例である。外部インターフェイス２５には、外部装置が接続され、外部装置とＣＰＵ２１との間の各種情報の送受信を司る。
【００１６】
一次記憶部２３は、例えば、ＲＡＭ（Random Access Memory）などの揮発性のメモリである。二次記憶部２４は、例えば、ＨＤＤ（Hard Disk Drive）、またはＳＳＤ（Solid State Drive）などの不揮発性のメモリである。二次記憶部２４は、例えば、文字列選択プログラム２４Ａを記憶している。
【００１７】
ＣＰＵ２１は、二次記憶部２４から文字列選択プログラム２４Ａを読み出して一次記憶部２３に展開する。ＣＰＵ２１は、当該文字列選択プログラム２４Ａを実行することで、図１に示す第１文字列選択部１６及び第２文字列選択部１８として動作する。
【００１８】
次に、本実施形態の作用として、スマートデバイス１０によって実施される文字列選択処理について説明する。図３は、スマートデバイス１０によって実施される文字列選択処理の一例を示す。
【００１９】
タッチパネルディスプレイ２２に、図５に例示する文字画像１２２を含む画像１２１が表示されている場合に、ユーザがタッチパネルディスプレイ２２上で所定のタッチジェスチャを行うことにより、図３の文字列選択処理は開始される。ＣＰＵ２１は、ステップ１０１で、図４に詳細を例示する第１文字列選択処理を実行し、ステップ１０２で、図１１に詳細を例示する第２文字列選択処理を実行する。
【００２０】
本実施形態の文字列選択処理では、第１文字列選択処理で通常表示を行う第１表示部に表示された画像から文字列を粗く選択し、第２文字列選択処理で拡大表示を行う第２表示部に表示された画像から文字列を正確に選択する。
【００２１】
次に、図３のステップ１０１の第１文字列選択処理を図４で詳細に説明する。ＣＰＵ２１は、ステップ１１１で、第１表示部の一例である通常表示部１９８で第１文字列の一例である初期文字列の指定が開始されたか否か判定する。ＣＰＵ２１は、ステップ１１１の判定が肯定されるまで、ステップ１１１の判定処理を繰り返す。例えば、指などの指示体がタッチパネルディスプレイ２２に接触したことを検出すると、ＣＰＵ２１は初期文字列の指定が開始されたと判定する。
【００２２】
ステップ１１１の判定が肯定されると、ＣＰＵ２１は、ステップ１１２で初期文字列の指定が終了したか否か判定する。ＣＰＵ２１は、ステップ１１２の判定が肯定されるまで、ステップ１１２の処理を繰り返す。例えば、指示体がタッチパネルディスプレイ２２から離れたことを検出すると、ＣＰＵ２１は文字列指定が終了したと判定する。
【００２３】
図６に、指示体がタッチパネルディスプレイ２２に最初に接触した点である開始点１２３及び指示体がタッチパネルディスプレイ２２から離れた点である終了点１２４を例示する。破線は、指示体がタッチパネルディスプレイ２２に接触しながら移動してタッチパネルディスプレイ２２をなぞった軌跡１２５である。
【００２４】
ＣＰＵ２１は、ステップ１１３で、初期文字列を抽出する。詳細には、図７に例示するように、軌跡１２５と重畳する各文字の各々を囲み、かつ文字に外接する文字矩形１３２を各文字について抽出する。次に、図８に例示するように、抽出した文字矩形１３２の全てを包含する１つの文字列矩形１３３に含まれる文字列を初期文字列として抽出する。この例では、初期文字列は「ＸＡＭＰＬＥ」である。
【００２５】
ＣＰＵ２１は、ステップ１１４で、抽出された初期文字列に含まれる各文字の基準文字サイズＳを決定する。基準文字サイズＳは、例えば、以下の式（１）で決定される。
【数１】
2017029737.tif 000003
…（１）
この例では、ｈｉはｉ番目の文字矩形１３２の高さであり、ｗｉはｉ番目の文字矩形１３２の幅であり、Ｎは文字矩形１３２の個数であり、ｉ＝１，２，３，…，Ｎである。従って、基準文字サイズＳは、文字矩形１３２の各々の高さ及び幅のいずれか長い方の値の平均値である。なお、本実施形態は平均値に限定されず、例えば、基準文字サイズＳは、例えば、文字矩形１３２の各々の高さ及び幅のいずれか長い方の長さの、Ｎ個の文字矩形１３２の内の最大値であってもよい。
【００２６】
次に、ＣＰＵ２１は、ステップ１１５で、初期文字列矩形の一例である文字列矩形１３３を拡張して、第１文字列矩形１３４を生成する。詳細には、例えば、文字列矩形１３３に含まれる文字列の直前及び直後の各々に文字列矩形１３３の幅を３×Ｓずつ拡張し、上下に文字列矩形１３３の高さを０．５×Ｓずつ拡張する。
【００２７】
なお、文字列矩形１３３に含まれる文字列の直前及び直後の各々に少なくとも１つ文字を追加するように拡張して第１文字列矩形１３４を生成すればよい。例えば、文字列矩形１３３に含まれる文字列の直前及び直後の各々に文字列矩形１３３の幅を４×Ｓずつ拡張してもよいし、文字列矩形１３３に含まれる文字列の直前及び直後の各々に文字列矩形１３３の幅を所定の画素数分、例えば、３０画素ずつ拡張してもよい。
【００２８】
また、文字列矩形１３３に含まれる文字列の直前及び直後の何れか一方にのみ少なくとも１つ文字を追加した第１文字列を含むように拡張して第１文字列矩形１３４を生成してもよい。また、文字列矩形１３３の幅及び高さを拡張しなくてもよい。図９に、文字列矩形１３３の幅及び高さを拡張して生成された第１文字列矩形１３４を例示する。
【００２９】
また、例えば、軌跡１２５の指示体によるなぞり速度、即ち、指示体がタッチパネルディスプレイ２２に接触したまま移動するときの移動速度に基づいて、文字列矩形１３３から第１文字列矩形１３４への拡張量を決定してもよい。例えば、指示体によるなぞり速度が速いほど拡張量を大きくする。なぞり速度が速いほど、一般的に、ユーザが意図する文字列が指定されていない可能性が高いためである。例えば、軌跡１２５の長さが２００画素であり、軌跡１２５の開始点１２３から終了点１２４まで０．５秒でなぞられた場合、なぞりの平均速度は、２００画素／０．５秒＝４００画素／秒である。なお、なぞり速度が所定速度を越えた場合に、拡張量を所定量増大するようにしてもよい。
【００３０】
次に、ＣＰＵ２１は、ステップ１１７で、図１０に例示する第１文字列拡大画像１４２を第２表示部の一例である拡大表示部１９９に表示する。例えば、第１文字列拡大画像１４２を生成するための第１文字列矩形１３４から第１文字列拡大画像１４２への拡大率Ｒは以下の式（２）で決定される。
Ｒ＝Ｍ／Ｓ  …（２）
この例では、Ｍは第１文字列拡大画像１４２に含まれる文字の文字サイズである。Ｍは、予め任意の文字サイズに設定される。
【００３１】
次に、図３の第２文字列選択１０２の処理を図１１で詳細に説明する。ＣＰＵ２１は、ステップ１５１で、拡大表示部１９９上で文字列指定が開始されたか否か判定する。ステップ１５１の判定が肯定されるまで、ステップ１５１の判定が繰り返される。例えば、指示体がタッチパネルディスプレイ２２に接触したことを検出すると、ＣＰＵ２１は第１文字列拡大画像１４２の文字列の指定が開始されたと判定する。
【００３２】
ステップ１５１の判定が肯定されると、ＣＰＵ２１は、ステップ１５２で、文字列指定が終了したか否か判定する。ステップ１５２の判定が肯定されるまで、ステップ１５２の判定が繰り返される。例えば、指示体がタッチパネルディスプレイ２２から離れたことを検出すると、ＣＰＵ２１は文字列指定が終了したと判定する。
【００３３】
図１２に、指示体がタッチパネルディスプレイ２２に接触した点である開始点１６１及び指示体がタッチパネルディスプレイ２２から離れた点である終了点１６２を例示する。破線は、指示体がタッチパネルディスプレイ２２に接触したまま移動しタッチパネルディスプレイ２２をなぞった軌跡１６３である。軌跡１６３は第２文字列の指定の一例である。
【００３４】
ステップ１５２の判定が肯定されると、ＣＰＵ２１は、ステップ１５３で、図１３に例示する拡大表示部１９９上の図１２に例示する軌跡１６３に含まれる複数の点である第２の位置の各々の座標を通常表示部１９８上の第１の位置の各々の座標に変換する。指示体による文字列の指定は、文字サイズが拡大され指定が容易な拡大表示部１９９で行われるが、指定される文字列は通常表示部１９８に存在するためである。座標の変換は、例えば、以下の式（３−１）及び式（３−２）で行われる。
ｘ＝Ｘ／Ｒ＋ｘ０  …（３−１）
ｙ＝Ｙ／Ｒ＋ｙ０  …（３−２）
【００３５】
この例では、第２の位置１７２（Ｘ，Ｙ）は位置１７１を原点（０，０）とし、第２の位置１７２に対応する第１の位置（ｘ，ｙ）は位置１７３を原点（ｘ０，ｙ０）とする。Ｒは上記した第１文字列矩形１３４から第１文字列拡大画像１４２への拡大率を示す。
【００３６】
なお、通常表示部１９８において、軌跡１６３に対応する軌跡が、変換された第２の位置１７２の座標に基づいて、例えば、透過性のある色で表示されてもよい。
【００３７】
次に、ＣＰＵ２１は、ステップ１５５で、図４のステップ１１３と同様に、第２文字列を選択する。なお、ステップ１５５では、ステップ１５３で取得された軌跡１６３に対応する通常表示部１９８上の軌跡と重畳する文字矩形に含まれる文字を含む文字列を第２文字列として選択する。この例では、「ＥＸＡＭＰＬＥＳ」が第２文字列として選択される。
【００３８】
なお、選択された第２文字列を、既存の文字認識手法でテキストに変換し、クリップボードに貼り付け、任意のアプリケーションにおいて、ペーストすることが可能である。
【００３９】
なお、上記では、画像１２１から文字列を選択する処理について例示したが、本実施形態はこれに限定されない。例えば、ワードプロセッサアプリケーションで表示された文書などにも利用可能である。この場合、第２文字列を既存の文字認識手法でテキストに変換する必要がない。
【００４０】
なお、上記では、文字列が横行である場合について例示したが、本実施形態はこれに限定されない。例えば、文字列は縦行であってもよい。
【００４１】
なお、上記では、文字列が英語である場合について例示したが、本実施形態はこれに限定されない。例えば、文字列は日本語であってもよい。
【００４２】
なお、上記では、初期選択文字列が１行である場合について例示したが、本実施形態はこれに限定されない。例えば、初期選択文字列は２行以上であってもよい。また、この場合、拡大表示部１９９は行毎に複数存在してもよい。
【００４３】
なお、上記では、拡大表示部１９９がタッチパネル２２の画面の下部に表示される例について説明したが、本実施形態はこれに限定されない。拡大表示部１９９は、タッチパネル２２の画面の任意の位置に表示されてよい。
【００４４】
なお、上記では、指などの指示体でタッチパネルディスプレイ２２に表示されている文字列をなぞることにより文字列の指定を行う例について説明したが、本実施形態はこれに限定されない。例えば、指示体はタッチペンであってもよいし、文字列を囲む矩形の左上隅及び右下隅にタッチすることにより、その文字列を指定するようにしてもよい。
【００４５】
本実施形態では、ユーザが通常表示部１９８で指定した初期文字列を前後に拡張した第１文字列を拡大して拡大表示部１９９に表示し、ユーザが拡大表示部１９９で指定した文字列に対応する通常表示部１９８の文字列を第２文字列として選択する。これにより、本実施形態では、ユーザが意図する文字列を正確に選択することを容易にする。
【００４６】
例えば、スマートデバイス１０などのように画面が小さく、その画面に表示される文字も小さい場合、画面全体の表示を拡大して文字列を指定する技術が存在する。しかしながら、この場合、適切な倍率で表示を拡大することは困難である。例えば、倍率が小さ過ぎると文字列の指定は依然困難であるし、倍率が大き過ぎると選択したい文字列全体が画面に表示されなくなり、同様に、文字列の指定は困難である。
【００４７】
また、文字列を指定する技術には、画面の一部に拡大表示部を表示し、当該拡大表示部に拡大した文字列を表示する技術も存在するが、当該技術では、文字列の指定は拡大表示部ではない通常表示部上で指示体を用いて行われる。ユーザの視認を容易にするために拡大した文字列を表示する拡大表示部と、文字列指定のための通常表示部が分離しているため、ユーザの認知にずれが生じ、文字列の指定は困難である。
【００４８】
また、スマートデバイス１０などのように画面が小さく、その画面に表示される文字も小さい場合、１回で意図する文字列を正確に指定しようとすると、非常に小さい領域を正確に指定することが要求される。したがって、小さい文字を含む表示を視認するため、及び、非常に小さい領域を正確に指定するように指示体を正確に操作するために高い注意力が要求されることになる。また、指示体が指もしくは静電容量方式のタッチパネル用スタイラスペンの場合、その先端は比較的大きいため、注意深く指示体を操作したとしても非常に小さい領域を正確に指定することは困難である。
【００４９】
本実施形態では、文字列の指定を第１文字列選択処理及び第２文字列選択処理の各々で合わせて２回行っている。しかしながら、１回目の選択は粗い選択でよく、２回目の選択は拡大された表示に対して直接行うことができるため、ユーザは高い注意力を要求されない。
【００５０】
［第２実施形態］
次に、開示の技術の実施形態の一例である第２実施形態を説明する。第１実施形態と同様の構成及び作用については説明を省略する。
【００５１】
第２実施形態では、図１５Ａに例示するように、第１文字列拡大画像１４２の幅２０１がタッチパネルディスプレイ２２の画面幅２０２を越える場合を含めた作用について説明する。第２実施形態では、図４のステップ１１７を図１４Ａのステップ１８１、１１７及び１８２と置き替える。
【００５２】
ＣＰＵ２１は、ステップ１８１で、第１文字列拡大画像１４２の幅２０１が画面幅２０２を越えるか否か判定する。判定が否定された場合、第１実施形態で説明したステップ１１７の処理が実行される。一方、判定が肯定された場合、ＣＰＵ１２は、ステップ１８２で、第１文字列拡大画像１４２を図１５Ｂに例示するように、分割して拡大表示部１９９に表示する。
【００５３】
詳細には、第１文字列拡大画像１４２の先頭部分１４２Ａ及び末尾部分１４２Ｂを拡張表示部１９９に表示し、先頭部分１４２Ａ及び末尾部分１４２Ｂの間の部分は表示しない。第２文字列選択処理における２回目の文字列の指定では、拡張文字列の一例である文字列の先頭部分１４２Ａ及び末尾部分１４２Ｂの文字列の指定の精度を増大させることが重要なためである。例えば、第１文字列の先頭の長さＬ×Ｓの部分に対応する拡大画像が先頭部分１４２Ａに含められ、末尾の長さＬ×Ｓの部分に対応する拡大画像が末尾部分１４２Ｂに含められる。Ｓは上記した基準文字サイズである。Ｌは、例えば、２〜４の整数の何れかであってよいが、２〜４の整数の何れかに限定されるものではなく、５以上の整数であってもよい。
【００５４】
図１４Ｂに第２文字列選択処理を例示する。ＣＰＵ２１は、ステップ１９１で、第１文字列拡大画像１４２が分割して表示されているか否か判定する。判定が否定された場合、ステップ１５１に進む。ステップ１５１〜ステップ１５５の処理については、第１実施形態と同様であるため、説明を省略する。
【００５５】
ステップ１９１の判定が肯定された場合、ＣＰＵ２１は、ステップ１９２で、第１文字列拡大画像１４２の先頭部分１４２Ａ及び末尾部分１４２Ｂの選択を解除する。例えば、第１文字列として、図１５Ａに例示するように、「２．ＥＸＡＭＰＬＥＳ  ＯＦ  ＷＲＩＴＩＮＧ」が選択されており、図１５Ｂに例示するように、先頭部分１４２Ａに「２．ＥＸ」が含まれ、末尾部分１４２Ｂに「ＴＩＮＧ」が含まれているとする。この場合、「２．ＥＸ」及び「ＴＩＮＧ」の第１文字列としての選択を解除し、第１文字列として、「ＡＭＰＬＥＳ  ＯＦ  ＷＲＩ」のみが選択されている状態とする。
【００５６】
ＣＰＵ２１は、ステップ１９３で、拡大表示部１９９上で文字列指定が開始されたか否か判定する。ステップ１９３の判定が肯定されるまで、ステップ１９３の判定が繰り返される。例えば、指示体がタッチパネルディスプレイ２２に最初に接触したことを検出すると、ＣＰＵ２１は拡大文字列の指定が開始されたと判定する。
【００５７】
ステップ１９３の判定が肯定されると、ＣＰＵ２１は、ステップ１９４で、拡大表示部１９９上で文字列指定が終了したか否か判定する。ステップ１９４の判定が肯定されるまで、ステップ１９４の判定が繰り返される。例えば、指示体がタッチパネルディスプレイ２２から離れたことを検出すると、ＣＰＵ２１は文字列指定が終了したと判定する。
【００５８】
図１５Ｃに、指示体がタッチパネルディスプレイ２２に接触した点である開始点２０３及び指示体がタッチパネルディスプレイ２２から離れた点である終了点２０４を例示する。破線は、指示体がタッチパネルディスプレイ２２をなぞった軌跡２０５である。
【００５９】
ステップ１９４の判定が肯定されると、ＣＰＵ２１は、ステップ１９５で、拡大表示部１９９上で文字列を指定する軌跡２０５に含まれる複数の点である第２の位置の各々の座標を通常表示部１９８上の第１の位置の各々の座標に変換する。詳細には、図１５Ｄに例示する先頭部分１４２Ａに含まれる軌跡２０５Ａ及び末尾部分１４２Ｂに含まれる軌跡２０５Ｂの各々に含まれる第２の位置の各々の座標を通常表示部１９８上の第１の位置の各々の座標に変換する。文字列の指定は、文字サイズが拡大され指定が容易な拡大表示部１９９で行われるが、指定される文字列は通常表示部１９８に存在するためである。座標の変換は、例えば、以下の式（４−１）〜式（４−４）で行われる。
ｘ＝Ｘ／Ｒ＋ｘ０  …（４−１）
ｙ＝Ｙ／Ｒ＋ｙ０  …（４−２）
ｚ＝Ｚ／Ｒ＋ｚ０  …（４−３）
ｕ＝Ｕ／Ｒ＋ｕ０  …（４−４）
【００６０】
この例では、図１６に例示する第２の位置１７２Ａ（Ｘ，Ｙ）は位置１７１Ａを原点（０，０）とし、第２の位置１７２Ｂ（Ｚ，Ｕ）は位置１７１Ｂを原点（０，０）とする。また、第２の位置１７２Ａに対応する第１の位置１７４Ａ（ｘ、ｙ）は、位置１７３Ａ（ｘ０，ｙ０）を原点とし、第２の位置１７２Ｂに対応する第１の位置１７４Ｂ（ｚ，ｕ）は位置１７３Ｂを原点（ｚ０，ｕ０）とする。Ｒは上記した第１文字列矩形１３４から第１文字列拡大画像１４２への拡大率を示す。
【００６１】
次に、ＣＰＵ２１は、ステップ１９７で、図４のステップ１１３と同様に、第２文字列の先頭部分及び末尾部分を選択する。なお、ステップ１９７では、ステップ１９５で取得された軌跡２０５Ａ及び軌跡２０５Ｂに対応する通常表示部１９８上の軌跡と重畳する文字矩形に含まれる文字を含む文字列を第２文字列の先頭部分及び末尾部分として選択する。この例では、「ＥＸ」が第２文字列の先頭部分として選択され、「ＴＩＮＧ」が第２文字列の末尾部分として選択される。
【００６２】
次に、ステップ１９２で、選択を解除されていなかった第１文字列の部分と、第２文字列の先頭部分及び末尾部分を結合することにより、第２文字列を選択する。この例では、「ＡＭＰＬＥＳ  ＯＦ  ＷＲＩ」、「ＥＸ」及び「ＴＩＮＧ」を結合し、「ＥＸＡＭＰＬＥＳ  ＯＦ  ＷＲＩＴＩＮＧ」を第２文字列として選択する。
【００６３】
なお、図１５Ｂ及び図１５Ｃにおいて、第１文字列拡大画像１４２の先頭部分１４２Ａと末尾部分１４２Ｂとの間を離して表示する例を示したが、本実施形態はこれに限定されず、先頭部分１４２Ａと末尾部分１４２Ｂとは隣接していてもよい。
【００６４】
本実施形態では、ユーザが通常表示部１９８で指定した初期文字列を前後に拡張した第１文字列を拡大して拡大表示部１９９に表示し、ユーザが拡大表示部１９９で指定した文字列に対応する通常表示部１９８の文字列を第２文字列として選択する。これにより、本実施形態では、ユーザが意図する文字列を正確に選択することを容易にする。
【００６５】
本実施形態では、文字列の指定を第１文字列選択処理及び第２文字列選択処理の各々で合わせて２回行っている。しかしながら、１回目の選択は粗い選択でよく、２回目の選択は拡大された表示に対して直接行うことができるため、ユーザは高い注意力を要求されない。
【００６６】
本実施形態では、第１文字列拡大画像１４２の幅２０１がタッチパネルディスプレイの画面の幅２０２を越える場合、第２文字列の選択に重要な役割を果たす第１文字列の先頭部分１４２Ａ及び末尾部分１４２Ｂのみを拡大表示部１９９に表示する。第１文字列は拡張文字列の一例である。
【００６７】
これにより、選択された第１文字列が長い場合であっても、第１文字列拡大画像１４２に含まれる文字のサイズをユーザの視認及び指定操作が容易な大きさに保つことが可能となる。従って、ユーザが意図する文字列を正確に選択することを容易にする。
【図１】
2017029737.tif 000004
【図２】
2017029737.tif 000005
【図３】
2017029737.tif 000006
【図４】
2017029737.tif 000007
【図５】
2017029737.tif 000008
【図６】
2017029737.tif 000009
【図７】
2017029737.tif 000010
【図８】
2017029737.tif 000011
【図９】
2017029737.tif 000012
【図１０】
2017029737.tif 000013
【図１１】
2017029737.tif 000014
【図１２】
2017029737.tif 000015
【図１３】
2017029737.tif 000016
【図１４Ａ】
2017029737.tif 000017
【図１４Ｂ】
2017029737.tif 000018
【図１５Ａ】
2017029737.tif 000019
【図１５Ｂ】
2017029737.tif 000020
【図１５Ｃ】
2017029737.tif 000021
【図１５Ｄ】
2017029737.tif 000022
【図１６】
2017029737.tif 000023
【手続補正書】
【提出日】平成30年2月22日(2018.2.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
コンピュータが、
文字画像を含む画像を第１表示部に表示し、
前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示し、
前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する、
文字列選択方法。
【請求項２】
前記第１文字列画像を拡大した拡大画像を第２表示部に表示することは、
前記第１文字列に外接する初期文字列矩形を、少なくとも前記第１文字列の直前及び直後の少なくとも一方に１つの文字を追加した拡張文字列を含むように拡張して第１文字列矩形を生成し、前記第１文字列矩形に含まれる第１文字列画像を拡大した拡大画像を第２表示部に表示し、
前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列に含まれる文字のサイズに基づいて決定する、
請求項１に記載の文字列選択方法。
【請求項３】
前記第１文字列は、前記第１文字列上を指示体が前記第１表示部に接触しながら移動することにより指定され、
前記初期文字列矩形から前記第１文字列矩形へ拡張する拡張量を、前記第１文字列が指定される際の前記指示体の移動速度に基づいて決定する、
請求項２に記載の文字列選択方法。
【請求項４】
前記拡大画像は、前記拡張文字列の先頭文字列を含む第１拡大画像と、前記拡張文字列の末尾文字列を含む第２拡大画像と、を含む、
請求項２又は請求項３に記載の文字列選択方法。
【請求項５】
文字画像を含む画像を第１表示部に表示し、
前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を第２表示部に表示し、
前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する、
文字列選択処理をコンピュータに実行させるためのプログラム。
【請求項６】
文字画像を含む画像を表示する第１表示部と、
前記第１表示部に表示された前記文字画像に含まれる第１文字列が指定された場合、前記第１文字列を含む第１文字列画像を拡大した拡大画像を表示する第２表示部と、
前記第２表示部に表示された前記拡大画像に含まれる第２文字列が指定された場合、前記第１表示部に表示されている画像から、指定された前記第２文字列を含む第３文字列を選択する文字列選択部と、
を含む、情報処理装置。
【国際調査報告】
2017029737.tif 000024
2017029737.tif 000025
2017029737.tif 000026
2017029737.tif 000027