(57)【要約】  目的とする文字のみを短時間で精度よく特定する。操作によって特定された特定領域を拡大した拡大領域に対し、文字認識を実行する文字認識部（４３）と、上記文字認識によって得られる上記拡大領域に含まれる文字に設定された領域と、上記特定領域との重なり度合いが所定値を超える文字を特定する選択文字列特定部（４４）と、を備える。
2015163118.tif 000002
【特許請求の範囲】
【請求項１】
表示画像に含まれる文字を特定するための文字特定装置であって、
上記表示画像に対するユーザ操作によって特定された上記表示画像内の特定領域を拡大した拡大領域に対し、文字認識を実行する文字認識実行部と、
上記文字認識実行部による文字認識によって得られる上記拡大領域に含まれる文字に設定された領域と、上記特定領域との重なり度合いが所定量を超える文字をユーザに選択された文字として特定する選択文字特定部と、を備えることを特徴とする文字特定装置。
【請求項２】
上記選択文字特定部は、上記文字認識実行部による文字認識によって得られる上記拡大領域に含まれる文字が形成する行ごとに設定される、上記行が存在する領域である行領域と上記特定領域との重なり度合いが第１の所定量を超えたとき、該行領域に含まれる文字を特定対象とすることを特徴とする請求項１に記載の文字特定装置。
【請求項３】
上記特定領域および上記行領域は矩形であり、
上記選択文字特定部は、
（１）上記行領域と上記特定領域とが重なっており、かつ、上記特定領域の境界線のうち、上記文字の進行方向と平行な２辺がいずれも上記行領域と重なっている、または、
（２）上記行領域と上記特定領域とが重なっており、かつ、上記特定領域の境界線のうち、上記文字の進行方向と平行な２辺がいずれも上記行領域と重なっていない場合、該行領域に含まれる文字を特定対象とすることを特徴とする請求項２に記載の文字特定装置。
【請求項４】
上記選択文字特定部は、上記特定領域の境界線のうち、上記文字の進行方向と平行な２辺のいずれか一方のみが上記行領域と重なっており、かつ、上記行領域と上記特定領域とが重なっている領域である行重畳領域における上記文字の進行方向と直角な辺の長さが、上記行領域における上記文字の進行方向と直角な辺の長さに対して所定割合以上の長さであるとき、該行領域に含まれる文字を特定対象とすることを特徴とする請求項３に記載の文字特定装置。
【請求項５】
上記選択文字特定部は、上記特定領域との重なり度合いが上記第１の所定量を超えた行領域に含まれる文字ごとに設定される、上記文字が存在する領域である文字領域と上記特定領域との重なり度合いが第２の所定量を超えたとき、該文字を特定する文字とする請求項２から４のいずれか１項に記載の文字特定装置。
【請求項６】
上記文字領域は矩形であり、
上記選択文字特定部は、
（１）上記文字領域と上記特定領域とが重なっており、かつ、上記特定領域の境界線のうち、上記文字の進行方向と直角な２辺がいずれも上記文字領域と重なっている、または、
（２）上記文字領域と上記特定領域とが重なっており、かつ、上記特定領域の境界線のうち、上記文字の進行方向と直角な２辺がいずれも上記文字領域と重なっていない場合、上記文字領域を設定された文字を、特定する文字とすることを特徴とする請求項５に記載の文字特定装置。
【請求項７】
上記選択文字特定部は、上記特定領域の境界線のうち、上記文字の進行方向と直角な２辺のいずれか一方のみが上記文字領域と重なっており、かつ、上記文字領域と上記特定領域とが重なっている領域である文字重畳領域における上記文字の進行方向と平行な辺の長さが、上記文字領域における上記文字の進行方向と直角な辺の長さに対して所定割合以上の長さであるとき、上記文字領域を設定された文字を、特定する文字とすることを特徴とする請求項６に記載の文字特定装置。
【請求項８】
請求項１から７のいずれか１項に記載の文字特定装置としてコンピュータを機能させるための制御プログラムであって、コンピュータを上記各部として機能させるための制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示画像に含まれる文字を特定するための文字特定装置に関する。
【背景技術】
【０００２】
近年、画像に含まれる文字（文字列）を文字認識し、文字認識した文字を用いた処理を実行する技術が知られている。このような技術としては、例えば、文字に関する情報を取得し、文字を含む画像に取得した情報から生成した画像を重畳表示させる技術や、抽出した文字を翻訳して、翻訳結果を出力する技術などが知られている。また、上述した技術では、画像に含まれる文字のうち、ユーザが選択した文字について上記のような処理を実行することも可能である。【０００３】
しかしながら、上述のような技術は、画像全体を文字認識の対象とする場合に、当該画像に多くの文字が記載されていると、目的の文字（例えば、ユーザが選択した文字列）を文字認識して特定するまでに時間がかかってしまうという問題がある。この問題に対する解決策として、以下のような技術が提案されている。下記特許文献１には、ユーザがタッチパネルに対してワンアクションの操作で範囲選択した領域内の文字列のみを文字認識する技術が記載されている。下記特許文献２には、画面全体から文字列行のみを抽出しておき、ユーザがタッチパネルに対してタッチした座標に最も近い文字列行を文字認識する技術が記載されている。下記特許文献３には、ユーザがタッチパネルに対してタッチした座標の近傍に表示された画像から文字列を切り出す技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】日本国特許公報「特開２０１３−１７１３６５号公報（２０１３年９月２日公開）」
【特許文献２】日本国特許公報「特許第４４６６２４１号（２０１０年５月２６日発行）」
【特許文献３】日本国特許公報「特開２００３−０６７４０７号公報（２００３年３月７日公開）」
【特許文献４】日本国特許公報「特許第４４８３４５４号（２０１０年６月１６日発行）」
【特許文献５】日本国特許公報「特開２０１０−２４４２１１号公報（２０１０年１０月２８日公開）」
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１〜３の技術には以下のような問題がある。特許文献１の技術では、範囲選択内に目的の文字列が収まらなかった場合に誤認識が発生するおそれがある。また、特許文献２の技術では、画面全体を行抽出する必要があるため、文字列の特定に時間がかかってしまうおそれがある。また、特許文献３の技術では、ユーザが目的としていない文字列も一緒に切り出す可能性があり、目的の文字列を特定するまでに余計な手順が必要となる可能性がある。つまり、特許文献１〜３の技術は、ユーザが目的とする文字のみを短時間で精度よく特定するには十分でないという課題がある。また、スマートフォンなどの機器において、写真を撮影するためにカメラから入力される画像（いわゆるスルー画像）を表示して、当該スルー画像に対して文字認識を実行する場合、ユーザが機器を動かすたびに表示部に表示される文字が変わるため、上記特許文献１〜３の問題は特に顕著となる。【０００６】
本発明は、上記の課題に鑑みてなされたものであり、その目的は、目的とする文字のみを短時間で精度よく特定することができる文字特定装置等を実現することにある。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の一態様に係る文字特定装置は、表示画像に含まれる文字を特定するための文字特定装置であって、上記表示画像に対するユーザ操作によって特定された上記表示画像内の特定領域を拡大した拡大領域に対し、文字認識を実行する文字認識実行部と、上記文字認識実行部による文字認識によって得られる上記拡大領域に含まれる文字に設定された領域と、上記特定領域との重なり度合いが所定量を超える文字をユーザに選択された文字として特定する選択文字特定部と、を備える。
【発明の効果】
【０００８】
本発明の一態様によれば、目的とする文字のみを短時間で精度よく特定することができるという効果を奏する。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態１〜３に係るスマートフォンの要部構成の一例を示すブロック図である。
【図２】図１のスマートフォンが実行する文字列抽出の概要の一例を示す図である。
【図３】図１のスマートフォンが実行する総タッチ領域の特定を示す図である。
【図４】図１のスマートフォンが実行する文字認識領域の特定を示す図である。
【図５】（ａ）は、図１のスマートフォンが実行する抽出行の特定を示す図であり、（ｂ）は、選択文字の特定を示す図である。
【図６】図１のスマートフォンが実行する文字列特定処理の流れの一例を示すフローチャートである。
【図７】図６の結合子Ａ以降の処理の流れの一例を示すフローチャートである。
【図８】図７に示す文字判定処理の流れの一例を示すフローチャートである。
【図９】図６の結合子Ｂ以降の処理の流れの一例を示すフローチャートである。
【図１０】図９に示す文字判定処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
まず、以下に説明する実施形態１〜３の概要について、図２を参照して説明する。まず、スマートフォン１は、図２の（ａ）に示すように、画像１０（以降、文字列画像１０と称する）の中から、入力操作によって特定された領域である総タッチ領域１１を特定する。なお図２では、説明の便宜上、文字列画像１０の一部のみを示している。次に、スマートフォン１は、図２の（ｂ）に示すように、総タッチ領域１１を拡大した文字認識領域１２を特定する。スマートフォン１は、この文字認識領域１２について、文字認識を実行する。なお、文字認識の対象としては、単一の文字であってもよいし、複数の文字からなる文字列であってもよい。また、以降では文字認識の対象として上記文字列を例に挙げて説明する。続いて、図２の（ｃ）に示すように、スマートフォン１は、文字認識領域１２に含まれる行の領域である抽出行領域を特定する。図２の（ｃ）の例の場合、スマートフォン１は、抽出行領域１３、抽出行領域１４、抽出行領域１５を特定する。そして、スマートフォン１は、各抽出行領域と総タッチ領域１１との重なり度合いに応じて、選択された文字列を特定する。図２の場合、図２の（ｄ）に示すように、スマートフォン１は選択文字列１６を特定する。
【００１１】
以上よりスマートフォン１は、画像全体ではなく、特定領域を拡大した拡大領域に対して文字認識を実行するので、短時間で文字認識を実行することができる。また、文字認識によって得られる拡大領域に含まれる文字列に設定された領域と、特定領域との重なり度合いが所定量を超える文字列を特定するので、選択された文字列を精度よく特定することができる。
【００１２】
以下、実施形態１〜３を詳細に説明する。なお、以下の実施形態においてはスマートフォン１を例に挙げて説明するが、表示画像に含まれる文字を特定するための文字特定装置であれば、本発明を適用可能である。
【００１３】
〔実施形態１〕
本発明の一実施形態について、図１および図３〜図８に基づいて説明すれば以下のとおりである。まず、図１を参照して、スマートフォン１（文字特定装置）の要部構成について説明する。スマートフォン１は少なくとも、タッチパネル２、撮影部３、制御部４、記憶部５、および通信部６を備えている。
【００１４】
タッチパネル２は、入力部２１および表示部２２を含む。入力部２１は、ユーザによる入力操作を受け付ける入力デバイスである。本実施形態にて説明するタッチパネル２は矩形であり、タッチパネル２には、後述するように、タッチパネル２における座標検知領域の左上頂点を原点とするＸＹ平面座標系が設定されている。入力部２１は、指示体（指またはペンなど）の接触（接近も含む）を受け付けるタッチ面と、指示体とタッチ面との間の接触の有無、および、接触位置（座標）を検知するためのタッチセンサとで構成されている。タッチセンサは、指示体とタッチ面との接触の有無を検知できればどのようなセンサで実現されてもよい。また、入力部２１は検知した座標などを後述する入力特定部４１に出力する。表示部２２はスマートフォン１が処理する情報を画像として表示領域に表示する表示デバイスであり、例えばＬＣＤ（液晶ディスプレイ）である。具体的には、表示部２２は、後述する表示制御部４６によって処理された情報が表示される。表示部２２に表示される画像の一例としては、文字列画像１０が挙げられる。
【００１５】
撮影部３は、対象物を撮影するための撮影デバイスであり、いわゆるカメラである。撮影部３としては、スマートフォンに一般的に搭載されている、既存のカメラを用いることができる。撮影部３は、後述する画像取得部４７によって制御され、対象物を撮影する。また、撮影部３は、撮影した静止画像や映像を画像取得部４７に出力する。
【００１６】
制御部４は、スマートフォン１が備える各部を統括制御するものである。制御部４は、入力特定部４１、抽出領域特定部４２、文字認識部４３（文字認識実行部）、選択文字列特定部４４（選択文字特定部）、処理実行部４５、表示制御部４６、および、画像取得部４７を含んでいる。
【００１７】
入力特定部４１は、入力部２１が受け付けた入力操作を特定するものである。具体的には、入力特定部４１は、上記入力操作における座標、指示体が入力面に接触していた時間、および、入力面に接触した指示体の移動方向などに基づいて、当該入力操作を特定する。なお、入力操作の種別としては、シングルタップ、フリック、ドラッグなどの例があるが、これに限定されない。例えば、入力特定部４１は、文字列を含む画像（文字列画像１０）が表示部２２に表示されている状態で、文字列画像内の文字列に対するユーザのシングルタップ操作、ドラッグ操作またはフリック操作を特定して、当該操作の座標を抽出領域特定部４２に供給する。また、入力特定部４１は、撮影を実行するための操作（例えば、表示部２２に表示されたＵＩ部品に対するシングルタップ操作）を特定して、画像取得部４７に撮影を実行するための撮影指示を供給する。
【００１８】
抽出領域特定部４２は、入力操作によって特定された領域（特定領域）を拡大した領域である拡大領域を特定するものである。この拡大領域の特定について、図３および図４を参照して説明する。なお、図３に示す座標の原点は、入力部２１のタッチセンサが座標を検知可能な領域である座標検知領域の左上頂点と対応している。また、本実施形態において座標検知領域は矩形の領域として説明するが、この例に限定されるものではない。
【００１９】
まず、抽出領域特定部４２は、タッチパネル２に対して行われた入力操作によって選択された領域である総タッチ領域１１（特定領域）を特定する。図３の（ａ）は、ユーザがタッチパネル２に対してシングルタップ操作を行った場合の、総タッチ領域の特定を示す図である。つまり、図３の（ａ）の例では、ユーザは指示体Ｓ（ユーザの指）をタッチパネル２に接触させた後、移動させることなく指示体Ｓをタッチパネルから離している。抽出領域特定部４２は、入力特定部４１から指示体Ｓが接触した座標Ｃ１を供給されると、当該座標Ｃ１を中心として、一辺の長さがＬである正方形の領域であるタッチ領域Ｍ１を特定する。ここで、ユーザが指示体をタッチパネルから離すと、タッチ領域Ｍ１が総タッチ領域となる。なお、一辺の長さＬは適宜設定されればよく、例えば、一辺の長さＬは、１．０ｃｍ程度であってもよい。これは、成人男性の平均的な人差し指の先端（指先）の大きさであり、ユーザが自身の人差し指を指示体Ｓとして用いて文字列を選択する場合、指先の大きさと文字の大きさとを同程度にして文字列を選択することを想定したものである。また、入力操作の種類や押圧の強さなどに応じて一辺の長さＬを変えてもよい。
【００２０】
一方、図３の（ｂ）は、ユーザがタッチパネル２に対してドラッグ操作またはフリック操作を行った場合の、総タッチ領域の特定を示す図である。つまり、図３の（ｂ）の例では、ユーザは指示体Ｓをタッチパネル２に接触させた後、指示体Ｓを移動させてタッチパネル２から離している。抽出領域特定部４２は、入力特定部４１から指示体Ｓが接触したタッチパネル２の位置の各座標、すなわち、図３の（ｂ）の例の場合、座標Ｃ１、座標Ｃ２、座標Ｃ３、および座標Ｃ４を供給されると、それぞれの座標を中心として、一辺の長さがＬである正方形の領域であるタッチ領域を特定する。すなわち、図３の（ｂ）の例の場合、タッチ領域Ｍ１、タッチ領域Ｍ２、タッチ領域Ｍ３、およびタッチ領域Ｍ４を特定する。そして、抽出領域特定部４２は、特定した各タッチ領域の頂点座標から、Ｘ座標の最小値および最大値、並びに、Ｙ座標の最小値および最大値を特定する。そして、抽出領域特定部４２は、特定したＸ座標の最小値とＹ座標の最小値からなる座標（ｘｍｉｎ，ｙｍｉｎ）と、特定したＸ座標の最大値とＹ座標の最大値からなる座標（ｘｍａｘ，ｙｍａｘ）とを結ぶ線分が対角線となる矩形領域（総タッチ領域１１）を特定する。すなわち、座標（ｘｍｉｎ，ｙｍｉｎ）および座標（ｘｍａｘ，ｙｍａｘ）は、総タッチ領域１１の頂点となる。
【００２１】
続いて、抽出領域特定部４２は文字認識領域１２（拡大領域）を特定する。具体的には、図４に示すように、抽出領域特定部４２は総タッチ領域１１を所定の条件に基づいて拡大し、拡大後の領域を文字認識領域１２として特定する。ここで、上記所定の条件の一例について説明する。以下に示す例は文字列画像１０に含まれる文字列が横書きである場合の例である。抽出領域特定部４２は、総タッチ領域１１においてＸ座標がｘｍｉｎである２つの頂点を結ぶ辺（総タッチ領域１１の左辺）からＸ座標の負方向側に１Ｌの位置の座標Ｘｍｉｎを特定する。また、総タッチ領域１１においてＸ座標がｘｍａｘである２つの頂点を結ぶ辺（総タッチ領域１１の右辺）からＸ座標の正方向側に１Ｌの位置の座標Ｘｍａｘを特定する。さらに、総タッチ領域１１においてＹ座標がｙｍｉｎである２つの頂点を結ぶ辺（総タッチ領域１１の上辺）からＹ座標の負方向側に２Ｌの位置の座標Ｙｍｉｎを特定する。最後に、総タッチ領域１１においてＹ座標がｙｍａｘである２つの頂点を結ぶ辺（総タッチ領域１１の下辺）からＹ座標の正方向側に２Ｌの位置の座標Ｙｍａｘを特定する。そして、抽出領域特定部４２は、座標（Ｘｍｉｎ，Ｙｍｉｎ）と座標（Ｘｍａｘ，Ｙｍａｘ）とを結ぶ線分が対角線となる矩形領域である文字認識領域１２を特定する。すなわち、座標（Ｘｍｉｎ，Ｙｍｉｎ）および座標（Ｘｍａｘ，Ｙｍａｘ）は、文字認識領域１２の頂点となる。
【００２２】
上述した所定の条件について換言すれば、抽出領域特定部４２は、総タッチ領域１１を上下方向に２Ｌ分拡げ、左右方向に１Ｌ分広げた領域を文字認識領域１２として特定する。ここで、文字列画像１０が新聞や雑誌などを撮影することによって得られた画像である場合、大きい文字は小さい文字の約２〜３倍であることが多い。つまり、文字列が横書きである場合、小さい文字をユーザが自身の指先の大きさに合わせるために文字列画像１０の倍率を変更した後、倍率を変更することなく大きい文字に対して入力操作を行ったとしても、大きい文字全体が文字認識領域に含まれるように上下の幅を設定する必要がある。そのため、上述した例では、総タッチ領域１１を上下方向に２Ｌ分広げている。また、文字列画像１０中の単語を選択したい場合に、当該単語の隣の文字に指示体が接触してしまうことがある。この場合、単語の隣の文字は文字全体が選択されていない可能性があり、総タッチ領域１１の左右の幅を広げないと、単語の隣の文字全体が文字認識の対象とならない場合がある。つまり、抽出領域特定部４２は、選択された文字を正確に文字認識するために、左右の幅を１Ｌ分広げる。なお、所定の条件、すなわち、総タッチ領域１１をどのように拡大するかについては、上述した例に限定されない。また、抽出領域特定部４２は特定した文字認識領域１２の座標情報を文字認識部４３に供給する。また、抽出領域特定部４２は特定した総タッチ領域１１の座標情報を選択文字列特定部４４に供給する。
【００２３】
文字認識部４３は、文字列を含む画像について文字認識処理を実行するものである。具体的には、文字認識部４３は、文字認識領域１２の座標情報を供給されると、画像取得部４７から供給された文字列画像１０における文字認識領域１２の領域内の文字列を行単位で抽出する。ここで、文字列の抽出方法としては、既存の光学文字認識の技術が利用できるため、詳細な説明は省略する。文字認識部４３は、抽出した行単位の文字列（以降、抽出行と呼称する）と、抽出行全体を含む最小の矩形領域（以降、抽出行領域と呼称する）の座標情報とを選択文字列特定部４４に供給する。
【００２４】
選択文字列特定部４４は、文字認識部４３による文字認識によって得られる、文字認識領域１２に含まれる文字列に設定された領域と、総タッチ領域１１との重なり度合いが所定量を超える文字列を特定するものである。この文字列の特定について、図５を参照して説明する。まず選択文字列特定部４４は、文字認識部４３から抽出行および抽出行領域の座標情報を供給されると、当該抽出行が縦書きであるか横書きであるかを判定する。なお、図５に示す例は、抽出行が横書きであると判定された場合について説明する。続いて、選択文字列特定部４４は、文字認識領域１２から抽出した抽出行から、行領域と特定領域との重なり度合いが第１の所定量を超える抽出行、すなわち、該抽出行に含まれる文字列が特定対象となる抽出行である文字列特定行を特定する。具体的には、まず選択文字列特定部４４は、抽出行のうち抽出行領域における所定座標（例えば、抽出行領域の左上頂点の座標）のＹ座標が最も小さい抽出行を判定行として特定する。つまり、選択文字列特定部４４は、図５の（ａ）に示す抽出行のうち、抽出行領域１３を有する抽出行（抽出行のうち最も上にある抽出行）を判定行として特定する。そして、選択文字列特定部４４は、判定行の抽出行領域の座標情報と抽出領域特定部４２から供給された総タッチ領域１１の座標情報とを比較して、抽出行領域と総タッチ領域１１とが重なっているか否かを判定する。図５の（ａ）に示すように、抽出行領域１３と総タッチ領域１１とは重なっていない。この場合、選択文字列特定部４４は、抽出行領域１３を有する抽出行を文字列特定行と特定しない。
【００２５】
続いて、選択文字列特定部４４は、所定座標のＹ座標が次に小さい抽出行である抽出行領域１４を有する抽出行を判定行と特定する。そして、選択文字列特定部４４は、抽出行領域１４と総タッチ領域１１とが重なっているか否かを判定する。図５の（ａ）に示すように、抽出行領域１４と総タッチ領域１１とは重なっている。この場合、選択文字列特定部４４は、総タッチ領域１１の上辺または下辺のいずれか一方が抽出行領域１４内に含まれるか否かを判定する。換言すれば、選択文字列特定部４４は、総タッチ領域１１の境界線のうち、文字列の進行方向と平行な２辺のいずれか一方が抽出行領域１４と重なっているか否かを判定する。具体的には、選択文字列特定部４４は、総タッチ領域１１におけるＹ座標の最小値およびＹ座標の最大値の値が、抽出行領域におけるＹ座標の最小値とＹ座標の最大値とからなるＹ座標数値範囲内に含まれているか否かを判定する。図５の（ａ）の場合、総タッチ領域１１におけるＹ座標の最小値が抽出行領域１４におけるＹ座標数値範囲内に含まれる。この場合、選択文字列特定部４４は、抽出行領域と総タッチ領域１１とが重なっている領域である行重畳領域を特定する。そして、行重畳領域におけるＹ座標の最大値からＹ座標の最小値を減算した値（すなわち、行重畳領域の高さの値）が、抽出行領域１４におけるＹ座標の最大値からＹ座標の最小値を減算した値（すなわち、抽出行領域１４の高さの値）に対して所定割合以上の長さ（例えば、半分以上の長さ）であるか否かを判定する。図５の（ａ）に示すように、行重畳領域の高さの値は抽出行領域１４の高さの値の半分以上である。この場合、選択文字列特定部４４は、抽出行領域１４を有する抽出行を文字列特定行と特定する。なお、抽出行領域１５は総タッチ領域１１と重なっており、上記Ｙ座標数値範囲内に、総タッチ領域１１におけるＹ座標の最大値が含まれている。しかしながら、行重畳領域の高さの値が抽出行領域の高さの値の半分以上とならないため、選択文字列特定部４４は、抽出行領域１５を有する抽出行を文字列特定行と特定しない。
【００２６】
次に、選択文字列特定部４４は文字列特定行を特定すると、当該文字列特定行内に含まれる文字から、文字領域と特定領域との重なり度合いが第２の所定量を超える文字、すなわち、入力操作によって選択された選択文字を特定する。具体的には、まず選択文字列特定部４４は、文字列特定行（図５の例の場合、抽出行１４）内に含まれる各文字について、文字全体を含む最小の矩形領域（以降、文字領域と呼称する）の座標情報を特定する。
【００２７】
続いて、選択文字列特定部４４は、文字列特定行内に含まれる各文字のうち、文字領域における所定座標（例えば、文字領域の左上頂点の座標）のＸ座標が最も小さい文字を判定文字として特定する。つまり選択文字列特定部４４は、図５の（ｂ）に示す文字のうち、文字領域３１を有する文字（文字列特定行内において最も左にある文字）を判定文字として特定する。そして選択文字列特定部４４は、判定文字の文字領域の座標情報と総タッチ領域１１の座標情報とを比較して、文字領域と総タッチ領域１１とが重なっているか否かを判定する。図５の（ｂ）に示すように、文字領域３１と総タッチ領域１１とは重なっている。この場合、選択文字列特定部４４は、総タッチ領域１１の左辺または右辺のいずれか一方が文字領域内に含まれているか否かを判定する。換言すれば、選択文字列特定部４４は、総タッチ領域１１の境界線のうち、文字列の進行方向と直角な２辺のいずれか一方が文字領域と重なっているか否かを判定する。具体的には、選択文字列特定部４４は、総タッチ領域１１におけるＸ座標の最小値およびＸ座標の最大値の値が、文字領域におけるＸ座標の最小値とＸ座標の最大値とからなるＸ座標数値範囲内に含まれているか否かを判定する。図５の（ｂ）の場合、総タッチ領域１１におけるＸ座標の最小値が文字領域３１におけるＸ座標数値範囲内に含まれる。この場合、選択文字列特定部４４は、文字領域と総タッチ領域１１とが重なっている領域である文字重畳領域を特定する。そして、文字重畳領域におけるＸ座標の最大値からＸ座標の最小値を減算した値（すなわち、文字重畳領域の幅の値）が、文字領域３１におけるＸ座標の最大値からＸ座標の最小値を減算した値（すなわち、文字領域３１の幅の値）に対して所定割合以上の長さ（例えば、半分以上の長さ）であるか否かを判定する。図５の（ｂ）に示すように、文字重畳領域の幅の値は文字領域３１の幅の値の半分以上である。この場合、選択文字列特定部４４は文字領域３１を有する文字を選択文字と特定し、後述する選択文字格納部５１に当該選択文字および当該選択文字の座標情報を格納する。
【００２８】
続いて、選択文字列特定部４４は、所定座標のＸ座標が次に小さい文字である文字領域３２を有する文字を判定文字と特定する。そして、上述した例と同様の処理を行う。文字領域３２を有する文字の場合、文字領域３１と総タッチ領域１１とが重なっている。そして、総タッチ領域１１の左辺または右辺は、いずれも文字領域３２内に含まれていない。この場合、選択文字列特定部４４は、文字領域３２を有する文字を選択文字と特定し、後述する選択文字格納部５１に当該選択文字および当該選択文字の座標情報を格納する。また、選択文字列特定部４４は、文字領域３３を有する文字も同様に選択文字と特定する。続いて、文字領域３４を有する文字は、文字領域３４と総タッチ領域１１とが重なっている。そして、総タッチ領域１１におけるＸ座標の最大値が文字領域３４におけるＸ座標数値範囲内に含まれる。さらに、文字重畳領域の幅の値は文字領域３４の幅の値の半分以上である。よって、選択文字列特定部４４は、文字領域３４を有する文字を選択文字と特定し、後述する選択文字格納部５１に当該選択文字および当該選択文字の文字領域の座標情報を格納する。一方、文字領域３５を有する文字は、文字領域３５と総タッチ領域１１とが重なっていない。この場合、選択文字列特定部４４は、文字領域３５を有する抽出行を文字列特定行と特定しない。
【００２９】
最後に、選択文字列特定部４４は、すべての文字列特定行において選択文字を特定すると、選択文字格納部５１に格納したすべての選択文字および選択文字の座標情報を読み出し、選択文字の文字領域の座標情報に基づいて選択文字を並べ、文字列を特定する。そして、特定した文字列を処理実行部４５に供給する。
【００３０】
処理実行部４５は、特定された文字列に基づいて所定の処理を実行するものである。具体的には、処理実行部４５は、選択文字列特定部４４から文字列を供給されると、後述する通信部６を介して当該文字列に関連する情報を取得する。取得する情報の一例としては、検索エンジンによって当該文字列を検索した検索結果、当該文字列に関連する画像や映像などが挙げられる。そして、処理実行部４５は、取得した情報を用いて、取得した情報にアクセスするためのリンクを含むリンク画像を作成する。例えば、当該文字列の検索結果を示す画像、当該文字列に関連する映像のサムネイル画像、当該文字列に関連する画像の縮小画像などをリンク画像として作成する。なお、処理実行部４５が取得した情報を用いて作成するのはリンク画像に限定されず、例えばリンクを含む文字列であってもよい。そして、処理実行部４５は作成したリンク画像を表示制御部４６に供給する。なお、処理実行部４５が実行する処理は上述した例に限定されない。つまり、処理実行部４５が実行する処理は、供給された文字列に基づいて実行する処理であればよく、例えば、供給された文字列を英訳する処理であってもよい。
【００３１】
表示制御部４６は、表示部２２に表示する画像を決定するものである。具体的には、表示制御部４６は、画像取得部４７から文字列画像１０を供給されると、供給された文字列画像１０を表示部２２に表示する。また、表示制御部４６は処理実行部４５からリンク画像を取得すると、当該リンク画像を文字列画像１０に重畳させて表示部２２に表示する。
【００３２】
画像取得部４７は、撮影部３を動作させて文字列画像１０を取得するものである。具体的には、画像取得部４７は、入力特定部４１から撮影指示を供給されると、撮影部３に画像を撮影させる。そして、撮影部３が撮影した画像（文字列画像１０）を取得し、取得した文字列画像１０を文字認識部４３および表示制御部４６に供給する。なお、本実施形態における画像取得部４７は、撮影部３が撮影した画像を取得する構成であるが、この例に限定されない。例えば、画像取得部４７は、入力特定部４１からの指示を受けて、記憶部５に記憶されている文字列画像１０を読み出してもよいし、通信部６を介して文字列画像１０を取得してもよい。また、取得する画像は、動画であってもよいし、撮影部３で写真を撮影するために表示部２２に表示される、いわゆるスルー画像であってもよい。
【００３３】
記憶部５は、スマートフォン１にて使用される各種データを記憶する記憶デバイスである。図１に示すように、記憶部５は選択文字格納部５１を含んでいる。選択文字格納部５１は、選択文字列特定部４４が選択文字と特定した選択文字および選択文字の座標情報を対応付けて一時的に記憶するものである。
【００３４】
通信部６は、スマートフォン１と外部機器との間で情報の送受信を行うための通信デバイスである。具体的には、通信部６は、処理実行部４５によって制御されて、選択文字列特定部４４が特定した文字列に関連する情報を外部から取得する。
【００３５】
次に、図６から図８を参照して、入力操作によって選択された文字列を特定するための文字列特定処理の流れについて説明する。なお、図６は、表示部２２に文字列画像１０が表示された後の処理の流れについて記載している。
【００３６】
まず、入力部２１に対して入力された入力操作を、入力特定部４１が特定すると（Ｓ１でＹＥＳ）、入力特定部４１は特定した入力操作の座標、すなわち、指示体Ｓが接触したタッチパネル２の位置の各座標を抽出領域特定部４２に供給する。続いて、抽出領域特定部４２は総タッチ領域１１を特定する（Ｓ２）。特定の具体例については上述しているため省略する。続いて抽出領域特定部４２は文字認識領域１２を特定する（Ｓ３）。具体的には、抽出領域特定部４２は、総タッチ領域１１を所定の条件に基づいて拡大し、拡大後の領域を文字認識領域１２として特定する。なお、所定の条件の具体例については上述しているため、ここでの説明を省略する。抽出領域特定部４２は特定した文字認識領域１２の座標情報を文字認識部４３に供給する。また、抽出領域特定部４２は特定した総タッチ領域１１の座標情報を選択文字列特定部４４に供給する。続いて、文字認識部４３は文字認識領域１２の文字認識処理を実行する（Ｓ４）。具体的には、文字認識部４３は、文字認識領域１２の座標情報を供給されると、画像取得部４７から供給された文字列画像１０における、文字認識領域１２の領域内の文字列を行単位で抽出する（抽出行を抽出する）。そして、文字認識部４３は、抽出した抽出行と、抽出行全体を含む最小の矩形領域である抽出行領域の座標情報とを選択文字列特定部４４に供給する。
【００３７】
続いて、選択文字列特定部４４は、供給された抽出行が横書きであるか否かを判定する（Ｓ５）。なお、縦書きである場合（Ｓ５でＮＯ）の処理の流れについては、後述する実施形態２にて説明する。横書きである場合（Ｓ５でＹＥＳ）、選択文字列特定部４４は、文字認識領域１２中の最も上にある行を判定行として選択する（Ｓ１１）。続いて、選択文字列特定部４４は、判定行領域と総タッチ領域１１とが重なっているか否かを判定する（Ｓ１２）。ここで、判定行領域とは、判定行と特定された抽出行の抽出行領域である。重なっていない場合（Ｓ１２でＮＯ）、選択文字列特定部４４は、現在の判定行が文字認識領域１２中の最終行であるか否かを判定する（Ｓ１６）。具体的には、選択文字列特定部４４は、現在の判定行が、抽出行のうち、抽出行領域における所定座標（例えば、抽出行領域の左上頂点の座標）のＹ座標が最も大きい抽出行であるか否かを判定する。現在の判定行が最終行でない場合（Ｓ１６でＮＯ）、選択文字列特定部４４は、現在の判定行の１つ下の行を判定行とする（Ｓ１７）。具体的には、選択文字列特定部４４は、抽出行領域における所定座標のＹ座標が、現在の判定行の判定行領域における所定座標のＹ座標の次に小さい抽出行を、次の判定行とする。そして、選択文字列特定部４４は、ステップＳ１２の処理に戻る。なお、現在の判定行が最終行である場合については後述する。
【００３８】
これに対して、判定行領域と総タッチ領域１１とが重なっている場合（Ｓ１２でＹＥＳ）、選択文字列特定部４４は、総タッチ領域１１の上辺または下辺のいずれか一方のみが判定行領域内にあるか否かを判定する（Ｓ１３）。判定の具体例については上述しているため省略する。上辺または下辺のいずれか一方のみが判定行領域内にある場合（Ｓ１３でＹＥＳ）、選択文字列特定部４４は、行重畳領域の高さが判定行領域の高さの半分以上であるか否かを判定する（Ｓ１４）。判定の具体例については上述しているため省略する。半分以上でない場合（Ｓ１４でＮＯ）、選択文字列特定部４４は、現在の判定行が文字認識領域１２中の最終行であるか否かを判定する（Ｓ１６）。以降の処理については既に説明しているためここでの説明を省略する。
【００３９】
これに対して、行重畳領域の高さが判定行領域の高さの半分以上である場合（Ｓ１４でＹＥＳ）、選択文字列特定部４４は、判定行を文字列特定行であると特定して、文字判定処理を実行する（Ｓ１５）。また、総タッチ領域１１の上辺または下辺のいずれか一方のみが判定行領域内にない場合（Ｓ１３でＮＯ）、選択文字列特定部４４は、ステップＳ１４の処理を省略して、判定行を文字列特定行であると特定する。そして、文字判定処理を実行する（Ｓ１５）。
【００４０】
続いて、文字判定処理について説明する。選択文字列特定部４４は、文字列特定行内に含まれる各文字について、文字領域の座標情報を特定する。続いて、選択文字列特定部４４は、文字列特定行中の最も左にある文字を判定文字として選択する（Ｓ２１）。続いて、選択文字列特定部４４は、判定文字領域と総タッチ領域１１とが重なっているか否かを判定する（Ｓ２２）。ここで、判定文字領域とは、判定文字と特定された文字の文字領域である。重なっていない場合（Ｓ２２でＮＯ）、選択文字列特定部４４は、現在の判定文字が文字列特定行中の最終文字であるか否かを判定する（Ｓ２６）。具体的には、選択文字列特定部４４は、現在の判定文字が、文字列特定行中の文字のうち、文字領域における所定座標（例えば、文字領域の左上頂点の座標）のＸ座標が最も大きい文字であるか否かを判定する。現在の判定文字が最終文字でない場合（Ｓ２６でＮＯ）、選択文字列特定部４４は、現在の判定文字の１つ右の文字を判定文字とする（Ｓ２７）。具体的には、選択文字列特定部４４は、文字領域における所定座標のＸ座標が、現在の判定文字の判定文字領域における所定座標のＸ座標の次に小さい文字を、次の判定文字とする。そして、選択文字列特定部４４は、ステップＳ２２の処理に戻る。なお、現在の判定文字が最終文字である場合については後述する。
【００４１】
これに対して、判定文字領域と総タッチ領域１１とが重なっている場合（Ｓ２２でＹＥＳ）、選択文字列特定部４４は、総タッチ領域１１の左辺または右辺のいずれか一方のみが判定文字領域内にあるか否かを判定する（Ｓ２３）。判定の具体例については上述しているため省略する。左辺または右辺のいずれか一方のみが判定文字領域内にある場合（Ｓ２３でＹＥＳ）、選択文字列特定部４４は、文字重畳領域の幅が判定文字領域の幅の半分以上であるか否かを判定する（Ｓ２４）。判定の具体例については上述しているため省略する。半分以上でない場合（Ｓ２４でＮＯ）、選択文字列特定部４４は、現在の判定文字が文字列特定行中の最終文字であるか否かを判定する（Ｓ２６）。以降の処理については既に説明しているためここでの説明を省略する。
【００４２】
これに対して、文字重畳領域の幅が判定文字領域の幅の半分以上である場合（Ｓ２４でＹＥＳ）、選択文字列特定部４４は、判定文字を選択文字であると特定して、当該選択文字を選択文字格納部５１に格納する（Ｓ２５）。また、総タッチ領域１１の左辺または右辺のいずれか一方のみが判定文字領域内にない場合（Ｓ２３でＮＯ）、選択文字列特定部４４は、ステップＳ２４の処理を省略して、判定文字を選択文字であると特定する。そして、当該選択文字を選択文字格納部５１に格納する（Ｓ２５）。
【００４３】
続いて、選択文字列特定部４４は、現在の判定文字が文字列特定行中の最終文字であるか否かを判定する（Ｓ２６）。最終文字であると判定した場合（Ｓ２６でＹＥＳ）、選択文字列特定部４４は、現在の判定行が文字認識領域１２中の最終行であるか否かを判定する（Ｓ１６）。最終行であると判定した場合（Ｓ１６でＹＥＳ）、選択文字列特定部４４は選択された文字列を特定する（Ｓ１８）。そして、特定した文字列を処理実行部４５に供給する。以上で、文字列特定処理は終了する。
【００４４】
〔実施形態２〕
本発明の他の実施形態について、図６、図９、および図１０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。本実施形態では、文字認識部４３から供給された抽出行を、選択文字列特定部４４が縦書きであると判定した場合の文字列特定処理の流れについて説明する。なお、実施形態１で説明した文字列特定処理の流れと共通する処理については、その詳細な説明を省略する。
【００４５】
供給された抽出行が縦書きである場合（Ｓ５でＮＯ）、選択文字列特定部４４は文字認識領域１２中の最も右にある行を判定行として選択する（Ｓ３１）。具体的には、選択文字列特定部４４は抽出行のうち、抽出行領域における所定座標（例えば、抽出行領域の左上頂点の座標）のＸ座標が最も大きい抽出行を判定行として特定する。続いて、選択文字列特定部４４は、判定行領域と総タッチ領域１１とが重なっているか否かを判定する（Ｓ３２）。重なっていない場合（Ｓ３２でＮＯ）、選択文字列特定部４４は、現在の判定行が文字認識領域１２中の最終行であるか否かを判定する（Ｓ３６）。具体的には、選択文字列特定部４４は、現在の判定行が、抽出行のうち、抽出行領域における所定座標（例えば、抽出行領域の左上頂点の座標）のＸ座標が最も小さい抽出行であるか否かを判定する。現在の判定行が最終行でない場合（Ｓ３６でＮＯ）、選択文字列特定部４４は現在の判定行の１つ左の行を判定行とする（Ｓ３７）。具体的には、選択文字列特定部４４は、抽出行領域における所定座標のＸ座標が、現在の判定行の判定行領域における所定座標のＸ座標の次に大きい抽出行を、次の判定行とする。そして、選択文字列特定部４４はステップＳ１２の処理に戻る。なお、現在の判定行が最終行である場合については後述する。
【００４６】
これに対して、判定行領域と総タッチ領域１１とが重なっている場合（Ｓ３２でＹＥＳ）、選択文字列特定部４４は総タッチ領域１１の左辺または右辺のいずれか一方のみが判定行領域内にあるか否かを判定する（Ｓ３３）。具体的には選択文字列特定部４４は、総タッチ領域１１におけるＸ座標の最小値およびＸ座標の最大値の値が、判定行領域におけるＸ座標の最小値とＸ座標の最大値とからなるＸ座標数値範囲内に含まれているか否かを判定する。左辺または右辺のいずれか一方のみが判定行領域内にある場合（Ｓ３３でＹＥＳ）、選択文字列特定部４４は行重畳領域の幅が判定行領域の幅の半分以上であるか否かを判定する（Ｓ３４）。具体的には、選択文字列特定部４４は、行重畳領域におけるＸ座標の最大値からＸ座標の最小値を減算した値（すなわち、行重畳領域の幅の値）が、判定行領域におけるＸ座標の最大値からＸ座標の最小値を減算した値（すなわち、判定行領域の幅の値）の半分以上であるか否かを判定する。半分以上でない場合（Ｓ３４でＮＯ）、選択文字列特定部４４は現在の判定行が文字認識領域１２中の最終行であるか否かを判定する（Ｓ３６）。以降の処理については既に説明しているためここでの説明を省略する。なお、半分以上としたのは一例であり、判定の閾値はこの例に限定されない。
【００４７】
これに対して、行重畳領域の幅が判定行領域の幅の半分以上である場合（Ｓ３４でＹＥＳ）、選択文字列特定部４４は、判定行を文字列特定行であると特定して、文字判定処理を実行する（Ｓ１５）。また、総タッチ領域１１の左辺または右辺のいずれか一方のみが判定行領域内にない場合（Ｓ３３でＮＯ）、選択文字列特定部４４は、ステップＳ３４の処理を省略して、判定行を文字列特定行であると特定する。そして、文字判定処理を実行する（Ｓ３５）。
【００４８】
続いて、文字判定処理について説明する。選択文字列特定部４４は、文字列特定行内に含まれる各文字について、文字領域の座標情報を特定する。続いて、選択文字列特定部４４は、文字列特定行中の最も上にある文字を判定文字として選択する（Ｓ４１）。具体的には、選択文字列特定部４４は、文字列特定行内に含まれる各文字のうち、文字領域における所定座標（例えば、文字領域の左上頂点の座標）のＹ座標が最も小さい文字を判定文字として特定する。続いて、選択文字列特定部４４は、判定文字領域と総タッチ領域１１とが重なっているか否かを判定する（Ｓ４２）。重なっていない場合（Ｓ４２でＮＯ）、選択文字列特定部４４は、現在の判定文字が文字列特定行中の最終文字であるか否かを判定する（Ｓ４６）。具体的には、選択文字列特定部４４は、現在の判定文字が、文字列特定行中の文字のうち、文字領域における所定座標（例えば、文字領域の左上頂点の座標）のＹ座標が最も大きい文字であるか否かを判定する。現在の判定文字が最終文字でない場合（Ｓ４６でＮＯ）、選択文字列特定部４４は、現在の判定文字の１つ下の文字を判定文字とする（Ｓ４７）。具体的には、選択文字列特定部４４は、文字領域における所定座標のＹ座標が、現在の判定文字の判定文字領域における所定座標のＹ座標の次に小さい文字を、次の判定文字とする。そして、選択文字列特定部４４は、ステップＳ４２の処理に戻る。なお、現在の判定文字が最終文字である場合については後述する。
【００４９】
これに対して、判定文字領域と総タッチ領域１１とが重なっている場合（Ｓ４２でＹＥＳ）、選択文字列特定部４４は、総タッチ領域１１の上辺または下辺のいずれか一方のみが判定文字領域内にあるか否かを判定する（Ｓ４３）。具体的には、選択文字列特定部４４は、総タッチ領域１１におけるＹ座標の最小値およびＹ座標の最大値の値が、判定文字領域におけるＹ座標の最小値とＹ座標の最大値とからなるＹ座標数値範囲内に含まれているか否かを判定する。上辺または下辺のいずれか一方のみが判定文字領域内にある場合（Ｓ４３でＹＥＳ）、選択文字列特定部４４は、文字重畳領域の高さが判定文字領域の高さの半分以上であるか否かを判定する（Ｓ４４）。具体的には、選択文字列特定部４４は、文字重畳領域におけるＹ座標の最大値からＹ座標の最小値を減算した値（すなわち、文字重畳領域の高さの値）が、判定文字領域におけるＹ座標の最大値からＹ座標の最小値を減算した値（すなわち、判定文字領域の高さの値）の半分以上であるか否かを判定する。半分以上でない場合（Ｓ４４でＮＯ）、選択文字列特定部４４は、現在の判定文字が文字列特定行中の最終文字であるか否かを判定する（Ｓ４６）。以降の処理については既に説明しているためここでの説明を省略する。なお、半分以上としたのは一例であり、判定の閾値はこの例に限定されない。
【００５０】
これに対して、文字重畳領域の幅が判定文字領域の高さの半分以上である場合（Ｓ４４でＹＥＳ）、選択文字列特定部４４は、判定文字を選択文字であると特定して、当該選択文字を選択文字格納部５１に格納する（Ｓ４５）。また、総タッチ領域１１の上辺または下辺のいずれか一方のみが判定文字領域内にない場合（Ｓ４３でＮＯ）、選択文字列特定部４４は、ステップＳ４４の処理を省略して、判定文字を選択文字であると特定する。そして、当該選択文字を選択文字格納部５１に格納する（Ｓ４５）。
【００５１】
続いて、選択文字列特定部４４は、現在の判定文字が文字列特定行中の最終文字であるか否かを判定する（Ｓ４６）。最終文字であると判定した場合（Ｓ４６でＹＥＳ）、選択文字列特定部４４は、現在の判定行が文字認識領域１２中の最終行であるか否かを判定する（Ｓ３６）。最終行であると判定した場合（Ｓ３６でＹＥＳ）、選択文字列特定部４４は選択された文字列を特定する（Ｓ３８）。以上で、文字列特定処理は終了する。
【００５２】
〔実施形態３〕
スマートフォン１の制御ブロック（特に入力特定部４１、抽出領域特定部４２、文字認識部４３、選択文字列特定部４４、処理実行部４５、表示制御部４６、および画像取得部４７）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。後者の場合、スマートフォン１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
【００５３】
〔まとめ〕
本発明の態様１に係る文字特定装置（スマートフォン１）は、表示画像に含まれる文字を特定するための文字特定装置であって、上記表示画像に対するユーザ操作によって特定された上記表示画像内の特定領域を拡大した拡大領域に対し、文字認識を実行する文字認識実行部（文字認識部４３）と、上記文字認識実行部による文字認識によって得られる上記拡大領域に含まれる文字に設定された領域と、上記特定領域との重なり度合いが所定量を超える文字をユーザに選択された文字として特定する選択文字特定部（選択文字列特定部４４）と、を備える。
【００５４】
上記の構成によれば、画像全体ではなく、特定領域を拡大した拡大領域に対して文字認識を実行する。これにより、画像全体に対し文字認識処理を実行する場合と比較して、文字認識処理に要する時間を短くすることができる。また、拡大領域に対して文字認識を実行するので、少なくともユーザが選択したい文字を完全に含む領域を文字認識処理の対象とすることができる。よって、ユーザが選択したい文字を完全な状態で文字認識することができる。さらに上記の構成によれば、拡大領域に含まれる文字に設定された領域と、特定領域との重なり度合いが所定量を超える文字をユーザに選択された文字として特定する。これにより、選択された文字を精度よく特定することができる。以上より、目的とする文字のみを短時間で精度よく特定することができる。
【００５５】
本発明の態様２に係る文字特定装置は、上記態様１において、上記選択文字特定部は、上記文字認識実行部による文字認識によって得られる上記拡大領域に含まれる文字が形成する行ごとに設定される、上記行が存在する領域である行領域と上記特定領域との重なり度合いが第１の所定量を超えたとき、該行領域に含まれる文字を特定対象としてもよい。
【００５６】
上記の構成によれば、行領域と特定領域との重なり度合いが第１の所定量を超えたとき、該行領域に含まれる文字を特定対象とする。すなわち、拡大領域に含まれる行のうち、文字を特定する処理を行う行を絞ることができる。よって、拡大領域に含まれるすべての行について文字の特定を行わなくてよいため、文字の特定を短時間で行うことができる。
【００５７】
本発明の態様３に係る文字特定装置は、上記態様２において、上記特定領域および上記行領域は矩形であり、上記選択文字特定部は、（１）上記行領域と上記特定領域とが重なっており、かつ、上記特定領域の境界線のうち、上記文字の進行方向と平行な２辺がいずれも上記行領域と重なっている、または、（２）上記行領域と上記特定領域とが重なっており、かつ、上記特定領域の境界線のうち、上記文字の進行方向と平行な２辺がいずれも上記行領域と重なっていない場合、該行領域に含まれる文字を特定対象としてもよい。
【００５８】
上記の構成によれば、特定領域の大部分が行領域と重なっているとき、該行領域に含まれる文字を特定対象とする。ここで、特定領域の大部分が重なっている行は、操作によって特定された行である可能性が高い。つまり、操作によって特定された行である可能性が高い行を、特定する文字が含まれる行と決定するので、文字の特定を精度よく行うことができる。
【００５９】
本発明の態様４に係る文字特定装置は、上記態様３において、上記選択文字特定部は、上記特定領域の境界線のうち、上記文字の進行方向と平行な２辺のいずれか一方のみが上記行領域と重なっており、かつ、上記行領域と上記特定領域とが重なっている領域である行重畳領域における上記文字の進行方向と直角な辺の長さが、上記行領域における上記文字の進行方向と直角な辺の長さに対して所定割合以上の長さであるとき、該行領域に含まれる文字を特定対象としてもよい。
【００６０】
上記の構成によれば、特定領域の境界線のうち文字の進行方向と平行な２辺のいずれか一方のみが行領域と重なっている場合において、重なり度合いが大きい行を特定する。ここで、重なり度合いが大きい行は操作によって特定された行である可能性が高い。つまり、操作によって特定された行である可能性が高い行に含まれる文字を特定対象とする。よって、文字の特定を精度よく行うことができる。
【００６１】
本発明の態様５に係る文字特定装置は、上記態様２から４のいずれかにおいて、上記選択文字特定部は、上記特定領域との重なり度合いが上記第１の所定量を超えた行領域に含まれる文字ごとに設定される、上記文字が存在する領域である文字領域と上記特定領域との重なり度合いが第２の所定量を超えたとき、該文字を特定する文字としてもよい。
【００６２】
上記の構成によれば、文字と特定領域との重なり度合いが第２の所定量を超えたとき、該文字を特定する文字とする。つまり、選択された文字であるか否かを、一文字ごとに判定して選択された文字を特定する。よって、文字の特定を精度よく行うことができる。
【００６３】
本発明の態様６に係る文字特定装置は、上記態様５において、上記文字領域は矩形であり、上記選択文字特定部は、（１）上記文字領域と上記特定領域とが重なっており、かつ、上記特定領域の境界線のうち、上記文字の進行方向と直角な２辺がいずれも上記文字領域と重なっている、または、（２）上記文字領域と上記特定領域とが重なっており、かつ、上記特定領域の境界線のうち、上記文字の進行方向と直角な２辺がいずれも上記文字領域と重なっていない場合、上記文字領域を設定された文字を、特定する文字としてもよい。
【００６４】
上記の構成によれば、文字領域の大部分が特定領域と重なっているとき、文字領域を設定された文字を、特定する文字とする。ここで、文字領域の大部分が特定領域と重なっている文字は、ユーザが選択しようとした文字である可能性が高い。つまり、ユーザが選択しようとした文字である可能性が高い文字を、特定する文字とするので、文字の特定を精度よく行うことができる。
【００６５】
本発明の態様７に係る文字特定装置は、上記態様６において、上記選択文字特定部は、上記特定領域の境界線のうち、上記文字の進行方向と直角な２辺のいずれか一方のみが上記文字領域と重なっており、かつ、上記文字領域と上記特定領域とが重なっている領域である文字重畳領域における上記文字の進行方向と平行な辺の長さが、上記文字領域における上記文字の進行方向と直角な辺の長さに対して所定割合以上の長さであるとき、上記文字領域を設定された文字を、特定する文字としてもよい。
【００６６】
上記の構成によれば、特定領域の境界線のうち文字の進行方向と直角な２辺のいずれか一方のみが文字領域と重なっている場合において、重なり度合いが大きい文字を特定する。ここで、重なり度合いが大きい文字はユーザが選択しようとした文字である可能性が高い。つまり、ユーザが選択しようとした文字である可能性が高い文字を、特定する文字とするので、文字の特定を精度よく行うことができる。
【００６７】
本発明の各態様に係る文字特定装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記文字特定装置が備える各部（ソフトウェア要素）として動作させることにより上記文字特定装置をコンピュータにて実現させる文字特定装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【００６８】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
【産業上の利用可能性】
【００６９】
本発明は、表示画像に含まれる文字を特定するための文字特定装置に利用することができる。特に、スマートフォン、タブレット端末、デジタルカメラなどに好適である。
【符号の説明】
【００７０】
１  スマートフォン（文字特定装置）、４３  文字認識部（文字認識実行部）、４４  選択文字列特定部（選択文字特定部）
【図１】
2015163118.tif 000003
【図２】
2015163118.tif 000004
【図３】
2015163118.tif 000005
【図４】
2015163118.tif 000006
【図５】
2015163118.tif 000007
【図６】
2015163118.tif 000008
【図７】
2015163118.tif 000009
【図８】
2015163118.tif 000010
【図９】
2015163118.tif 000011
【図１０】
2015163118.tif 000012
【国際調査報告】
2015163118.tif 000013
2015163118.tif 000014
2015163118.tif 000015