(57)【要約】【課題】  本発明の課題は、目的地の関連地に係る情報を容易に特定できることを目的とする。【解決手段】  上記課題は、ユーザが入力装置に入力した目的地文字列を記憶する記憶装置と、第一のタイミングで撮像された案内看板に前記目的地文字列が含まれる場合、該案内看板に含まれる文字列を関連地文字列として抽出する関連地抽出部と、抽出した前記関連地文字列と前記目的地文字列とを対応付けて記憶装置に記憶する、関連地記憶部と第二のタイミングで撮像された画像に案内看板を有する場合に、前記関連地文字列を強調して該画像を表示装置に表示する強調表示部とを有する情報処理装置により達成される。【選択図】  図７
2017138156.tif 000002
【特許請求の範囲】
【請求項１】
ユーザが入力装置に入力した目的地文字列を記憶する記憶装置と、
第一のタイミングで撮像された案内看板に前記目的地文字列が含まれる場合、該案内看板に含まれる文字列を関連地文字列として抽出する関連地抽出部と、
抽出した前記関連地文字列と前記目的地文字列とを対応付けて記憶装置に記憶する、関連地記憶部と、
第二のタイミングで撮像された画像に案内看板を有する場合に、前記関連地文字列を強調して該画像を表示装置に表示する強調表示部と
を有する情報処理装置。
【請求項２】
ユーザが入力装置に入力した目的地文字列を記憶する記憶装置と、
第一のタイミングで案内看板を撮像した第一のカメラ画像から文字列を抽出する文字列抽出部と、
抽出した前記文字列に前記目的地文字列が含まれる場合、該文字列から目的地への経由地を示す経由地文字列を判定し、判定した該経由地文字列を前記目的地文字列に対応付けて前記記憶装置に記憶する経由地判定部と、
第二のタイミングで撮像された第二のカメラ画像から前記記憶装置に記憶された前記経由地文字列を抽出した場合、該経由地文字列の領域を関連領域として抽出し、該経由地文字列と、抽出した該関連領域とを対応付けて前記記憶装置に記憶する関連領域抽出部と、
前記第二のカメラ画像から前記記憶装置に記憶された前記経由地文字列が抽出された場合に、抽出した該経由地文字列の前記関連領域を強調して該第二のカメラ画像を表示装置に表示する画像強調部と
を有する情報処理装置。
【請求項３】
前記関連領域抽出部は、
前記第一のカメラ画像から抽出した前記文字列に前記目的地文字列が含まれる場合、該目的地文字列の領域と、該文字列の集まりの区切りに基づいて該領域を包含する包含領域とを、前記関連領域として抽出し、該目的地文字列と、抽出した該関連領域とを対応付けて前記記憶装置に記憶することを特徴とする請求項２記載の情報処理装置。
【請求項４】
前記経由地判定部は、
前記目的地文字列を含む前記第一のカメラ画像から抽出した前記関連領域毎に、該関連領域内の前記文字列との文字列高さの比が第一の比以上、かつ、文字列幅の比が第二の比以下となる、該関連領域から所定距離以内にラベルが存在し、該ラベルの個数が１つである場合、該ラベルを前記経由地文字列として抽出する
ことを特徴とする請求項３記載の情報処理装置。
【請求項５】
前記経由地判定部は、
前記目的地文字列を含む前記第一のカメラ画像から抽出した前記関連領域毎に、前記関連領域内の前記文字列との文字列高さの比が第一の比以上、かつ、文字列幅の比が第二の比以下となる、該関連領域から所定距離以内にラベルが存在し、該ラベルの個数が１つである場合、該ラベルを前記経由地文字列の候補として抽出する抽出部と、
前記関連領域に直線又は点線で接続された文字列が存在し、かつ、前記候補と同一文字列である場合、該関連領域に接続された該文字列を前記経由地文字列であると判定する判定部と
を有することを特徴とする請求項３記載の情報処理装置。
【請求項６】
入力装置からユーザにより設定された目的地文字列を取得し、
第一のタイミングで撮像された案内看板に前記目的地文字列が含まれる場合、該案内看板に含まれる文字列を関連地文字列として抽出し、
抽出した前記関連地文字列と前記目的地文字列とを対応付けて記憶装置に記憶し、
第二のタイミングで撮像された画像に案内看板を有する場合に、前記関連地文字列を強調して該案内看板を表示装置に表示する
処理をコンピュータに行わせる道案内プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び道案内プログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンやデジタルカメラなどの携帯デバイスでは、カメラが一般的に搭載されるようになってきている。それを利用し、様々な現実拡張（ＡＲ：Augmented Reality）が行われるようになってきている。
【０００３】
例えば、ＡＲコードリーダを使って、ＡＲコードを読み取った時にそのＡＲコードに合わせた情報をカメラ画面に重畳表示するようなことが行われるようになってきている。このＡＲ技術を用いて、道案内のようなサービスを行う提案もされている。
【０００４】
看板にバーコード等の光学コードを表示しておき、それを端末のカメラで読み取ることで、目的地に応じて案内表示を切り替えて表示する技術が提案されている。また、画像文書から抽出した見出し領域を、予め定めた順位に応じて強調表示する技術等が知られている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２２８３１１号公報
【特許文献２】特開２００９−２６２８６号公報
【特許文献３】特開２００３−３１９０３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したＡＲ技術を用いた道案内で使用されるＡＲコードに合わせた情報は、予め用意される情報である。様々な場所で案内を行うためには、膨大な情報を蓄積しなければならない。また、ＡＲコードがない場所、情報が十分に蓄えられていない場所等では道案内を行えないと言った問題がある。
【０００７】
撮像した画像に対して、上述した見出し領域を抽出する技術により、目的地の名称を強調表示することが考えられるが、目的地への途中経路では画像に必ずしも目的地の名称が示されるとは限らない。目的地の名称と一致しない場合には、画像内に様々な文字列、記号等により目的地へ向かう経由地の情報が存在したとしても、強調表示して目的地へと案内することができない。
【０００８】
したがって、１つの側面では、本発明は、目的地の関連地に係る情報を容易に特定できることを目的とする。
【課題を解決するための手段】
【０００９】
一態様によれば、ユーザが入力装置に入力した目的地文字列を記憶する記憶装置と、第一のタイミングで撮像された案内看板に前記目的地文字列が含まれる場合、該案内看板に含まれる文字列を関連地文字列として抽出する関連地抽出部と、抽出した前記関連地文字列と前記目的地文字列とを対応付けて記憶装置に記憶する、関連地記憶部と第二のタイミングで撮像された画像に案内看板を有する場合に、前記関連地文字列を強調して該画像を表示装置に表示する強調表示部とを有する情報処理装置が提供される。
【００１０】
また、上記課題を解決するための手段として、道案内プログラムとすることもできる。
【発明の効果】
【００１１】
目的地の関連地に係る情報を容易に特定できる。
【図面の簡単な説明】
【００１２】
【図１】駅構内に掲示されている案内看板の例を示す図である。
【図２】目的地への案内の強調表示例を示す図である。
【図３】経由地への案内が強調表示されない例を示す図である。
【図４】第１実施例における強調表示例を示す図である。
【図５】第１実施例において使用される端末の例を示す図である。
【図６】第１実施例における端末のハードウェア構成を示す図である。
【図７】第１実施例における端末の機能構成例を示す図である。
【図８】第１実施例における道案内処理の概要を説明するためのフローチャート図である。
【図９】第１実施例における図８のステップＳ１３における周辺文字認識・画像強調処理を説明するためのフローチャート図である。
【図１０】第１実施例における図９のステップＳ２００における文字列抽出処理を説明するためのフローチャート図である。
【図１１】第１実施例における文字列領域情報リストのデータ例を示す図である。
【図１２】第１実施例における図９のステップＳ３００における関連領域抽出処理を説明するためのフローチャート図である。
【図１３】第１実施例における文字列領域情報リストの第１のデータ例を示す図である。
【図１４】第１実施例における文字列領域情報リストの第２のデータ例を示す図である。
【図１５】第１実施例における図９のステップＳ４００における経由地判定処理を説明するためのフローチャート図である。
【図１６】第１実施例における経由地リストのデータ例を示す図である。
【図１７】第１実施例における図９のステップＳ５００における画像強調処理を説明するためのフローチャート図である。
【図１８】第１実施例における目的地への経由地を含む領域を強調表示する例について説明する。
【図１９】第１実施例における関連領域抽出処理の変形例を説明するためのフローチャート図である。
【図２０】第２実施例における関連領域抽出部が抽出する関連領域の例を示す図である。
【図２１】第２実施例における関連領域抽出処理を説明するためのフローチャート図である。
【図２２】第２実施例における経由地判定部による経由地判定処理を説明するための看板例を示す図である。
【図２３】第２実施例における経由地判定処理を説明するためのフローチャート図である。
【図２４】第２実施例における経由地文字列がない場合の画像強調処理の概要を説明するための図である。
【図２５】第２実施例における経由地文字列が存在する場合の画像強調処理の概要を説明するための図である。
【図２６】第２実施例における入力画像に経由地文字列が複数存在する場合の画像強調処理を説明するためのフローチャート図である。
【図２７】第２実施例における案内看板の他の例での文字列抽出処理を説明するための図である。
【図２８】第２実施例における案内看板の他の例での関連領域抽出処理を説明するための図である。
【図２９】第２実施例における図２８（Ｂ）の関連領域情報リストに基づくラベルの抽出を説明するための図である。
【図３０】第２実施例における図２８（Ｂ）の関連領域情報リストに基づく強調画像例を示す図である。
【図３１】第２実施例における目的地文字列及び経由地文字列を抽出する例を示す図である。
【図３２】第２実施例における図３１（Ｂ）の関連領域情報リストに基づくラベルの抽出を説明するための図である。
【図３３】第２実施例における図３１（Ｂ）の関連領域情報リストに基づく強調画像例を示す図である。
【図３４】第３実施例における案内看板の入力画像例を示す図である。「目的施設」が目的地であるとする。
【図３５】第３実施例における経由地候補を説明するための図である。
【図３６】第３実施例における経由地候補を決定する方法を説明するための図である。
【図３７】第３実施例における経由地判定処理を説明するためのフローチャート図である。
【図３８】第３実施例における動作例を説明するための図である。
【図３９】第４実施例における関連領域抽出処理を説明するためのフローチャート図である。
【図４０】第４実施例における経由地判定処理を説明するためのフローチャート図である。
【図４１】第４実施例における動作例を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態を図面に基づいて説明する。先ず、駅構内等における目的地への案内を示す看板例について説明する。以下、「案内看板」という場合がある。図１は、駅構内に掲示されている案内看板の例を示す図である。
【００１４】
図１において、文字列、矢印等により近隣方面への案内看板が、駅構内の色々な場所に設置されている。このように案内表示が多数存在すると、どの案内を見ればよいのか分かり難い。
【００１５】
ユーザが端末から入力した目的地と一致する文字列を検出して、端末が撮像した画像内で検出した文字列を強調表示することが考えられる。
【００１６】
図２は、目的地への案内の強調表示例を示す図である。図２（Ａ）では、ユーザが端末から目的地「日本武道館」を入力した場合の強調表示例を示している。「日本武道館」の文字列を含む領域を赤色等の実線で囲み、見出しで入力された文字列「日本武道館」を表示している。この強調表示により、ユーザは、多くの案内看板から目的地「日本武道館」を示す部分を特定することができる。
【００１７】
図２（Ｂ）では、ユーザが端末から目的地「化粧室」を入力した場合の強調表示例を示している。「化粧室」の文字列を含む領域を赤色等の実線で囲み、見出しで入力された文字列「化粧室」を表示している。この強調表示により、ユーザは、案内文字が集中している中から目的地「化粧室」を示す案内部分を特定することができる。
【００１８】
撮像した画像から入力文字列と一致する文字列を検出する手法に対しては、様々な技術が既に存在している。局所特徴量（ＳＩＦＴ：Scale-Invariant Feature Transform）を使うことにより、高速かつロバストなオブジェクト認識を行う技術、色が似ている領域から文字領域を抽出して文字認識を行う技術等が知られている。
【００１９】
これらの例では、ユーザが入力した目的地に一致する文字列を検出できない場合には、強調表示はされない。しかしながら、案内には、目的地への経路における要所となる情報が含まれている場合がある。上述した強調表示では、要所となる経由地の案内を見逃してしまう可能性がある。要所となる経由地の案内とは、英数字等で示される出口、矢印で示される方向等が相当する。
【００２０】
複数に階層化、複雑に入り組んだ通路等が存在する駅構内の地下通路等において、屋内ナビを導入することも考えられる。ユーザが端末から入力した目的地までのナビゲーションでは、ユーザの現在位置や向きを捉えるためにＢＬＥ（Bluetooth Low Energy）ビーコン等を設置することになる。この場合、５ｍから１０ｍ程度の間隔で多数のビーコンを設置する必要があり、コストが大きい。
【００２１】
また、複雑に階層化され、複雑に入り組んだ通路が存在る駅構内、施設内等では、ユーザの目的地は様々であり、また、目的地への経由地も様々である。多様な目的地及び経由地の全ての情報を予め備え、集中的に管理し、端末からの要求に応じて経路案内を行うことは、費用面においても運用面においても現実的ではない。
【００２２】
ここで、上述した撮像した画像への強調表示によりユーザを目的地に案内する場合の例について図３で説明する。
【００２３】
図３は、経由地の案内が強調表示されない例を示す図である。図３（Ａ）では、ユーザが入力した目的地「日本武道館」と一致する文字列が強調表示された例を示している。「日本武道館・・・２」が強調表示される。従って、ユーザは、駅構内の出口２を探せばよいことを知り得る。
【００２４】
図３（Ｂ）は、経由地における画像例を示している。案内看板では、ユーザが入力した目的地「日本武道館」の文字列を含まないため、強調表示がなされない。ユーザは、図３（Ａ）で強調表示された「日本武道館・・・２」の数字「２」から出口２の方面の案内、又は、出口２を探すことにより、目的地「日本武道館」へと進む。
【００２５】
図３（Ｃ）は、目的地「日本武道館」付近での画像を示している。ユーザが入力した目的地「日本武道館」と一致する文字列が強調表示されている。
【００２６】
第１実施例では、目的地だけでなく、目的地に行き着くための経由地を動的に検出し、強調表示してユーザに示す情報処理装置及び道案内プログラムを提供する。図３に示す強調表示に対して、第１実施例では、図４に示すように目的地への強調表示が改善される。
【００２７】
図４は、第１実施例における強調表示例を示す図である。図４（Ａ）では、ユーザが入力した目的地「日本武道館」と一致する文字列が強調表示された例を示している。「日本武道館・・・２」が強調表示される。従って、ユーザは、駅構内の出口２を探せばよいことを知り得る。
【００２８】
図４（Ｂ）は、経由地における強調表示例を示している。案内看板では、ユーザが入力した目的地「日本武道館」の文字列を含んでいないが、目的地へ向かうための案内を検出して、強調表示する。
【００２９】
第１実施例では、図４（Ａ）において検出した「日本武道館・・・２」から得られる番号「２」に基づいて、図４（Ｂ）で検出した文字列「出口１−４」による案内４ｂが経由地に相当すると判断する。案内４ｂを含む領域を強調表示することで、ユーザは、迷うことなく、目的地「日本武道館」への経路を選択できる。このような経由地に関する案内４ｂは、経由地情報と言える。
【００３０】
また、第１実施例では、ユーザのカメラ付き端末で、目的地への経由地に関する案内を動的に検出する。
【００３１】
図５は、第１実施例において使用される端末の例を示す図である。第１実施例において、端末３は、図５（Ａ）に示されるようなスマートフォン等の携帯電話３ａ、又は、図５（Ｂ）に示されるようなユーザが装着するＨＭＤ（Head Mount Display）等のウェアラブル端末３ｂであればよい。
【００３２】
端末３が図５（Ａ）に示すような携帯電話３ａである場合、ユーザは、アプリケーションを起動し、文字入力により目的地を入力する。端末３が図５（Ｂ）に示すようなウェアラブル端末３ｂである場合、ユーザは、タッチパッドでアプリケーションを起動し、音声で目的地を入力する。
【００３３】
携帯電話３ａ、ウェアラブル端末３ｂ等の端末３のハードウェア構成を図６で説明する。図６は、第１実施例における端末のハードウェア構成を示す図である。図６において、端末３は、コンピュータによって制御される携帯電話、ウェアラブル等の情報処理装置であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、入力装置１３と、表示装置１４と、カメラ１５と、マイク１６と、通信Ｉ／Ｆ１７とを有し、バスＢに接続される。
【００３４】
ＣＰＵ１１は、主記憶装置１２に格納されたプログラムに従って端末３を制御するプロセッサに相当する。主記憶装置１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を記憶又は一時保存する。主記憶装置１２に格納されているプログラムが、ＣＰＵ１１に実行されることによって、各種処理が実現される。
【００３５】
入力装置１３は、ユーザによる操作入力に使用される。表示装置１４は、ＣＰＵ１１の制御のもとに必要な各種情報を表示する。カメラ１５は、周辺画像を取り込む撮像部に相当する。
【００３６】
端末３が、スマートフォン等の携帯電話３ａである場合には、入力装置１３と表示装置１４とが一体化したタッチパネル等であってもよい。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。
【００３７】
端末３が、ウェアラブル端末３ｂである場合には、入力装置１３は、タッチパッド、ボタン等であり、第１実施例における道案内処理の起動及び終了等の操作をユーザが行うために使用される。また、表示装置１４は、カメラ１５が取り込んだ周辺画像を表示する小型の表示装置である。
【００３８】
マイク１６は、ユーザの音声を集音する。ユーザが発した目的地の名称をマイク１６によって取り込んでもよい。
【００３９】
端末３によって行われる処理を実現するプログラムは、ネットワークを介して外部装置からダウンロードされてもよい。或いは、予め端末３の主記憶装置１２に記憶されていても良い。
【００４０】
以下、端末３として携帯電話３ａの場合で説明するが、ウェアラブル端末３ｂであっても同様である。
【００４１】
図７は、第１実施例における端末の機能構成例を示す図である。図７において、端末３は、文字列抽出部４１と、関連領域抽出部４２と、経由地判定部４３と、画像強調部４４とを有する。文字列抽出部４１と、関連領域抽出部４２と、経由地判定部４３と、画像強調部４４とは、アプリケーションが有する機能単位に相当し、ＣＰＵ１１が対応するプログラムを実行することによって実現される。
【００４２】
主記憶装置１２は、目的地情報５１、経由地リスト５２等を記憶する。また、主記憶装置１２は、入力画像２、文字列領域情報リスト５、関連領域情報リスト８、強調画像９等を一時的に記憶する。
【００４３】
文字列抽出部４１は、カメラ１５が取り込んだ入力画像２から画像内の文字を検出及び認識し、各文字列の位置と、サイズとを示す文字列領域情報５ｒ（図１１）を一覧にした文字列領域情報リスト５を出力する。文字列領域情報リスト５は、関連領域抽出部４２と、経由地判定部４３とへ提供される。
【００４４】
関連領域抽出部４２は、入力画像２と、文字列領域情報リスト５と、目的地文字列１とに基づいて、目的地文字列１を含む領域と、経由地リスト５２に含まれる経由地文字列６を含む領域の夫々の位置と、サイズとを示す関連領域情報８ｒ（図１３）を一覧にした関連領域情報リスト８を出力する。関連領域情報リスト８は、経由地判定部４３と、画像強調部４４とに提供される。
【００４５】
経由地判定部４３は、入力画像２内の、文字列領域情報リスト５と、関連領域情報リスト８とに基づいて、目的地に対するラベルを抽出し、抽出したラベルの中から経由地を判定する。経由地判定部４３は、判定した経由地を表わす経由地文字列５を経由地リスト５２に追加する。ラベルとは、対象とした文字列領域に対するインデックスの文字列である。例えば、対象とした文字列領域の近傍外周に存在し、その文字列領域に対する見出しとなる文字列である。
【００４６】
画像強調部４４は、関連領域情報リスト８を参照して、目的地文字列１を含む領域及び経由地文字列６を含む領域の位置に基づいて、入力画像２内に強調加工を施した強調画像９を表示装置１４に表示させる。
【００４７】
目的地文字列１は、ユーザが第１実施例におけるアプリケーションを起動した際に、入力装置１３から入力した目的地を示す。目的地文字列１は、目的地情報５１に記憶され、関連領域抽出部４２と、経由地判定部４３とによって参照される。
【００４８】
入力画像２は、カメラ１５によって取り込まれた周辺画像であり、文字列抽出部４１と、関連領域抽出部４２と、画像強調部４４とへと入力される。
【００４９】
文字列領域情報リスト５は、入力画像２内で検出された文字列の位置と、サイズとを示す文字列領域情報５ｒのリストである。１つの文字列領域情報５ｒのが１エントリ（レコード）に相当する。
【００５０】
経由地文字列６は、文字列領域情報リスト５と関連領域情報リスト８とを参照して、
目的地への経由地に関連すると判断した文字列を示す。
【００５１】
関連領域情報リスト８は、入力画像２内で強調表示する領域の座標と文字列とを少なくとも示す関連領域情報８ｒのリストである。１つの関連領域情報８ｒが１エントリ（レコード）に相当する。
【００５２】
強調画像９は、画像強調部４４によって、入力画像２に対して強調加工が施された後、表示装置１４に表示される画像である。
【００５３】
図８は、第１実施例における道案内処理の概要を説明するためのフローチャート図である。道案内処理は、ＣＰＵ１１によって主記憶装置１２に記憶された道案内プログラムを実行することにより実現される。
【００５４】
図８に示す道案内処理において、ユーザが入力装置１３から入力した目的地文字列１が、目的地情報５１に設定され（ステップＳ１１）、カメラ１５が起動される（ステップＳ１２）。周辺文字認識・画像強調処理が行われる（ステップＳ１３）。周辺文字認識・画像強調処理の終了により、ＣＰＵ１１は、道案内処理を終了する。
【００５５】
図９は、第１実施例における図８のステップＳ１３における周辺文字認識・画像強調処理を説明するためのフローチャート図である。図９の周辺文字認識・画像強調処理において、ユーザから終了指示があったか否かが判断される（ステップＳ１３１）。ユーザから終了指示があった場合（ステップＳ１３１のＹｅｓ）、この周辺文字認識・画像強調処理は終了する。
【００５６】
一方、ユーザから終了指示がない場合（ステップＳ１３１のＮｏ）、カメラ１５が撮像した周辺画像が入力画像２として取り込まれる（ステップＳ１３２）。
【００５７】
そして、文字列抽出部４１による文字列抽出処理が行われる（ステップＳ２００）。文字列抽出処理の後、関連領域抽出部４２による関連領域抽出処理が行われ（ステップＳ３００）、経由地判定部４３による経由地判定処理が行われる（ステップＳ４００）。
【００５８】
その後、画像強調部４４による画像強調処理が行われ（ステップＳ５００）、画像強調部４４よって入力画像２に強調加工が施された強調画像９が、表示装置１４に表示される（ステップＳ１３９）。
【００５９】
図１０は、第１実施例における図９のステップＳ２００における文字列抽出処理を説明するためのフローチャート図である。図１０において、文字列抽出部４１は、入力画像２内に含まれる文字列領域を検出する（ステップＳ２１０）。
【００６０】
そして、文字列抽出部４１は、文字列領域毎に、少なくとも座標とサイズとを示す文字列領域情報５ｒを作成し、全ての文字列領域情報５ｒを一覧にした文字列領域情報リスト５を作成する（ステップＳ２２０）。文字列領域情報リスト５が作成され、主記憶装置１２に記憶されると、文字列抽出部４１による文字列抽出処理は終了する。
【００６１】
図１１は、第１実施例における文字列領域情報リストのデータ例を示す図である。図１１（Ａ）は、文字列抽出部４１が、図１１（Ｂ）の入力画像２に対して文字列を抽出した場合のデータ例を示している。
【００６２】
図１１（Ａ）において、文字列領域情報リスト５は、文字列抽出部４１が検出した文字列毎の文字列領域情報５ｒを示すリストであり、文字列内容、文字列サイズ、文字列座標、文字列幅、文字列高さ等の項目を有する。各項目の値の単位は、ピクセルでよい。
【００６３】
文字列内容は、文字列抽出部４１が検出した文字列を示す。文字列サイズは、文字の大きさを示す。文字の高さを示せばよい。文字列座標は、文字列の先頭文字の位置座標を示す。入力画像２の左上を原点として、入力画像２内における文字列の先頭文字の相対位置が示される。文字列幅は、文字列の長さを示す。文字列高さは、文字列の高さを示す。
【００６４】
図１１（Ｂ）で示すように、文字列抽出部４１が、入力画像２内に文字列「日本武道館」と、文字列「北口」とを検出した場合で説明する。
【００６５】
文字列内容が「日本武道館」の文字列領域情報５ｒは、文字列サイズ「１８」、文字列座標（５０、１２０）、文字列幅「９０」、そして、文字列高さ「１８」を示している。文字列内容が「北口」の文字列領域情報５ｒは、文字列サイズ「２４」、文字列座標（５０、４０）、文字列幅「４８」、そして、文字列高さ「２４」を示している。文字列領域５ａは、文字列座標と、文字列幅と、文字列高さとによって特定される。
【００６６】
図１２は、第１実施例における図９のステップＳ３００における関連領域抽出処理を説明するためのフローチャート図である。図１０において、関連領域抽出部４２は、カメラ１５から入力画像２を入力し、関連領域抽出部４２から文字列領域情報リスト５を入力する（ステップＳ３１０）。
【００６７】
関連領域抽出部４２は、文字列抽出部４１から提供された文字列領域情報リスト５にエントリが残っているか否かを判断する（ステップＳ３１１）。文字列領域情報リスト５にエントリが残っている場合（ステップＳ３１１のＹｅｓ）、関連領域抽出部４２は、文字列領域情報リスト５から未処理の文字列領域情報５ｒを１つ取得する（ステップＳ３１２）。
【００６８】
そして、関連領域抽出部４２は、取得した文字列領域情報５ｒの文字列内容が、目的地文字列１又は経由地文字列６を含むか否かを判断する（ステップＳ３１３）。目的地文字列１又は経由地文字列６のいずれも含まない場合（ステップＳ３１３のＮｏ）、関連領域抽出部４２は、ステップＳ３１１へと戻り、次の未処理の文字列領域情報５ｒに対して上述同様の処理を行う。
上述した同様の処理を繰り返す。
【００６９】
目的地文字列１又は経由地文字列６が含まれている場合（ステップＳ３１３のＹｅｓ）、関連領域抽出部４２は、文字列領域情報５ｒの文字列座標と、文字列幅と、文字列高さで特定される文字列領域５ａを含む関連領域を決定し、決定した関連領域に関する関連領域情報８ｒ（図１３）を作成し（ステップＳ３１４）、作成した関連領域情報８ｒを関連領域情報リスト８に追加する（ステップＳ３１５）。ステップＳ３１４及びＳ３１５の具体的な処理は、図２１で説明される。
【００７０】
一方、文字列領域情報リスト５にエントリが残っていない場合（ステップＳ３１１のＮｏ）、関連領域抽出部４２は、関連領域情報リスト８を出力し（ステップＳ３１６）、この関連領域抽出処理を終了する。出力された関連領域情報リスト８は、経由地判定部４３と、画像強調部４４とによって参照される。
【００７１】
図１３は、第１実施例における文字列領域情報リストの第１のデータ例を示す図である。図１３では、ユーザにより目的地「日本武道館」が指定され、入力画像２内に文字列「日本武道館」を１つ検出した場合のデータ例を示している。
【００７２】
図１３（Ａ）は、関連領域抽出部４２が、図１３（Ｂ）の入力画像２に対して目的地又は経由地を示す文字列を含む関連領域８ａ−１、８ａ−２、及び８ａ−３を抽出した場合の、文字列領域情報リスト８のデータ例を示している。以下、関連領域８ａ−１、８ａ−２、及び８ａ−３は、総称して、関連領域８ａという。
【００７３】
図１３（Ａ）において、関連領域情報リスト８は、関連領域抽出部４２が特定した関連領域８ａ毎の関連領域情報８ｒを示すリストであり、領域ＩＤ、ベースＩＤ、目的地・経由地、領域座標、領域幅、領域高、領域内文字列等の項目を有する。各項目の値の単位は、ピクセルでよい。
【００７４】
領域ＩＤは、各関連領域情報８ｒを特定する識別子である。ベースＩＤは、関連領域８ａ内において目的地文字列１又は経由地文字列６を含む最小の領域のＩＤを示す。目的地・経由地は、目的地文字列１又は経由地文字列６を示す。
【００７５】
領域座標は、目的地文字列１又は経由地文字列６の先頭文字の位置座標を示す。入力画像２の左上を原点として、入力画像２内における文字列の先頭文字の相対位置が示される。領域幅は、目的地文字列１又は経由地文字列６を含む関連領域８ａの長さを示す。領域高は、関連領域８ａの高さを示す。領域内文字列は、関連領域８ａ内の目的地文字列１又は経由地文字列６、又は、目的地文字列１又は経由地文字列６を含む文字列を示す。
【００７６】
図１３（Ｂ）では、入力画像２内に、目的地の「日本武道館」の文字列が１つ存在する場合の関連領域８ａの抽出例を示している。目的地の「日本武道館」の文字列を含む文字列「日本武道館・・北口」の直下に、目的地の「日本武道館」の文字列を含まない文字列「靖国神社・・・・東口」が存在する場合で、図１３（Ａ）の関連領域情報リスト８のデータ例について説明する。
【００７７】
関連領域抽出部４２は、ユーザが指定した目的地と一致する文字列「日本武道館」を検出すると、文字列「日本武道館」を含む最小の領域である関連領域８ａ−１を抽出する。関連領域抽出部４２は、抽出した関連領域８ａ−１の領域座標「（５０、１００）」、領域幅「９０」、及び領域高「１８」を夫々取得して、関連領域情報８ｒ−１を作成する。
【００７８】
関連領域抽出部４２は、作成した関連領域情報８ｒ−１を一意に特定する領域ＩＤ「１」を付与し関連領域情報８ｒ−１に設定する。目的地の文字列「日本武道館」を含む最小の領域の抽出であったため、関連領域抽出部４２は、付与した領域ＩＤ「１」をベースＩＤに設定する。また、関連領域抽出部４２は、領域内文字列に検出した文字列「日本武道館」を設定する。そして、関連領域情報８ｒ−１が関連領域情報リスト８に追加される。
【００７９】
次に、関連領域抽出部４２は、検出した文字列「日本武道館」の関連領域８ａ−１と同じ行に含まれる関連領域８ａ−２を抽出する。関連領域８ａ−２は、同一行において、文字列「日本武道館」に連続して続く文字、記号等を含めた領域である。
【００８０】
この例では、関連領域８ａ−２として、文字列「日本武道館・・・北口」の領域相当が抽出される。関連領域抽出部４２は、抽出した関連領域８ａ−２の領域座標「（５０、１００）」、領域幅「１６０」、及び領域高「１８」を夫々取得して、関連領域情報８ｒ−２を作成する。
【００８１】
関連領域抽出部４２は、作成した関連領域情報８ｒ−２を一意に特定する領域ＩＤ「２」を付与し関連領域情報８ｒ−２に設定する。
【００８２】
関連領域８ａ−２は、目的地の文字列「日本武道館」を含む最小の領域である関連領域８ａ−１を含むため、関連領域情報８ｒ−１の領域ＩＤ「１」をベースＩＤに設定する。関連領域抽出部４２は、領域内文字列に検出した文字列「日本武道館・・・北口」を設定する。そして、関連領域情報８ｒ−２が関連領域情報リスト８に追加される。
【００８３】
次に、関連領域抽出部４２は、検出した文字列「日本武道館」の関連領域８ａ−１と同じ列に含まれる関連領域８ａ−３を抽出する。関連領域８ａ−３は、同一列において、文字列「日本武道館」の前後で、１又は数行に渡り文字列が存在することでひと塊と判断できる領域である。
【００８４】
この例では、関連領域８ａ−３として、文字列「日本武道館・・・北口」及び文字列「靖国神社・・・・・東口」の領域相当が抽出される。関連領域抽出部４２は、抽出した関連領域８ａ−３の領域座標「（５０、１００）」、領域幅「１６０」、及び領域高「３６」を夫々取得して、関連領域情報８ｒ−３を作成する。
【００８５】
関連領域抽出部４２は、作成した関連領域情報８ｒ−３を一意に特定する領域ＩＤ「３」を付与し関連領域情報８ｒ−３に設定する。
【００８６】
関連領域８ａ−３は、目的地の文字列「日本武道館」を含む最小の領域である関連領域８ａ−１を含むため、関連領域情報８ｒ−１の領域ＩＤ「１」をベースＩＤに設定する。関連領域抽出部４２は、領域内文字列に検出した文字列
「日本武道館・・・北口
靖国神社・・・・東口」
を設定する。そして、関連領域情報８ｒ−３が関連領域情報リスト８に追加される。
【００８７】
図１４は、第１実施例における文字列領域情報リストの第２のデータ例を示す図である。図１４では、ユーザにより目的地「日本武道館」が指定され、入力画像２内に文字列「日本武道館」を２つ検出した場合のデータ例を示している。
【００８８】
図１４（Ａ）は、関連領域抽出部４２が、図１４（Ｂ）の入力画像２に対して目的地又は経由地を示す文字列を含む関連領域８ａ−１から８ａ−５を抽出した場合の、文字列領域情報リスト８のデータ例を示している。文字列領域情報リスト８の項目は、図１３（Ａ）と同様であるためその説明を省略する。
【００８９】
関連領域８ａ−１〜８ａ−３は、１つ目の文字列「日本武道館」に相当し、図１３と同様であるためその説明を省略する。図１４（Ａ）及び図１４（Ｂ）を参照して、２つ目の文字列「日本武道館」を検出した場合のデータ例について説明する。以下、関連領域８ａ−１から８ａ−５は、総称して、関連領域８ａという。
【００９０】
図１４（Ｂ）では、入力画像２内に、目的地の「日本武道館」の文字列が２つ存在する場合の関連領域８ａの抽出例を示している。
【００９１】
１つ目の「日本武道館」の文字列は、図１３（Ｂ）と同様に、目的地の「日本武道館」の文字列を含む文字列「日本武道館・・北口」の直下に、目的地の「日本武道館」の文字列を含まない文字列「靖国神社・・・・東口」が存在する場合であり、図１４（Ａ）で説明したように、関連領域情報リスト８に関連領域情報８ｒ−１から８ｒ−３が追加される。
【００９２】
関連領域抽出部４２は、入力画像２内の別の場所で、更に、ユーザが指定した目的地と一致する文字列「日本武道館」を検出すると、文字列「日本武道館」を含む最小の領域である関連領域８ａ−４を抽出する。関連領域抽出部４２は、抽出した関連領域８ａ−４の領域座標「（１２０、３０）」、領域幅「１００」、及び領域高「２０」を夫々取得して、関連領域情報８ｒ−４を作成する。
【００９３】
関連領域抽出部４２は、作成した関連領域情報８ｒ−１を一意に特定する領域ＩＤ「４」を付与し関連領域情報８ｒ−４に設定する。目的地の文字列「日本武道館」を含む最小の領域の抽出であったため、関連領域抽出部４２は、付与した領域ＩＤ「４」をベースＩＤに設定する。また、関連領域抽出部４２は、領域内文字列に検出した文字列「日本武道館」を設定する。そして、関連領域情報８ｒ−４が関連領域情報リスト８に追加される。
【００９４】
次に、関連領域抽出部４２は、検出した文字列「日本武道館」の関連領域８ａ−４と同じ行に含まれる関連領域８ａ−５を抽出する。関連領域８ａ−５は、同一行において、文字列「日本武道館」に連続して続く文字、記号等を含めた領域である。
【００９５】
この例では、関連領域８ａ−５として、文字列「日本武道館方面」の領域相当が抽出される。関連領域抽出部４２は、抽出した関連領域８ａ−５の領域座標「（１２０、３０）」、領域幅「１４０」、及び領域高「２０」を夫々取得して、関連領域情報８ｒ−５を作成する。
【００９６】
関連領域抽出部４２は、作成した関連領域情報８ｒ−５を一意に特定する領域ＩＤ「５」を付与し関連領域情報８ｒ−５に設定する。
【００９７】
関連領域情報８ｒ−５は、目的地の文字列「日本武道館」を含む最小の領域である関連領域情報８ｒ−４を含むため、関連領域情報８ｒ−４の領域ＩＤ「５」をベースＩＤに設定する。関連領域抽出部４２は、領域内文字列に検出した文字列「日本武道館方面」を設定する。そして、関連領域情報８ｒ−５が関連領域情報リスト８に追加される。
【００９８】
次に、関連領域抽出部４２は、検出した文字列「日本武道館」の関連領域８ａ−４と同じ列に含まれる関連領域８ａが存在した場合には、図１３で説明したような同様の処理を繰り返す。
【００９９】
このように、目的地の文字列を含む最小の領域を包含する複数の関連領域８ａを特定して、各関連領域８ａに係る関連領域情報８ｒを関連領域情報リスト８に追加する。
【０１００】
関連領域情報リスト８の作成において、ベースＩＤを設定することで、入力画像２に目的地文字列１が複数含まれる場合に、どの目的地文字列１を含む関連領域８ａかを特定できる。
【０１０１】
図１５は、第１実施例における図９のステップＳ４００における経由地判定処理を説明するためのフローチャート図である。図１５において、経由地判定部４３は、文字列抽出部４１から文字列領域情報リスト５を入力し、関連領域抽出部４２から関連領域情報リスト８を入力する（ステップＳ４１０）。
【０１０２】
経由地判定部４３は、関連領域情報リスト８にエントリが残っているか否かを判断する（ステップＳ４１１）。関連領域情報リスト８にエントリが残っている場合（ステップＳ４１１のＹｅｓ）、経由地判定部４３は、関連領域情報リスト８から未処理の関連領域情報８ｒを１つ取得する（ステップＳ４１２）。そして、経由地判定部４３は、関連領域８ａに対応するラベルが存在するか否かを判定する（ステップＳ４１３）。例えば、経由地判定部４３は、関連領域８aに対して隣接し、文字サイズが大きい文字列、関連領域８aに対して直線で接続された文字列等を用いてラベルを判定する。
【０１０３】
ラベルが存在する場合（ステップＳ４１３のＹｅｓ）、経由地判定部４３は、ラベルの内容を経由地文字列１であると判定して、目的地を対応付けて、経由地リスト５２に追加する（ステップＳ４１４）。その後、経由地判定部４３は、ステップＳ４１１へと戻り、次の未処理の関連領域情報８ｒに対して上述同様の処理を繰り返す。
【０１０４】
一方、ラベルが存在しない場合（ステップＳ４１３のＮｏ）、経由地判定部４３は、この経由地判定処理を終了する。
【０１０５】
図１６は、第１実施例における経由地リストのデータ例を示す図である。図１６において、経由地リスト５２は、ラベルの内容毎に目的地を示すリストであり、経由地文字列、目的地等の項目を有する。経由地文字列は、ラベルの内容を示す。目的地は、ユーザが入力した目的地文字列１を示す。
【０１０６】
この例では、経由地文字列は「北口」であり、目的地「日本武道館」に対するラベルとして検出されたことを示している。
【０１０７】
図１７は、第１実施例における図９のステップＳ５００における画像強調処理を説明するためのフローチャート図である。図１７において、画像強調部４４は、カメラ１５から入力画像２と、関連領域抽出部４２から関連領域情報リスト８とを入力する（ステップＳ５１０）。
【０１０８】
画像強調部４４は、関連領域情報リスト８のエントリは残っているか否かを判断する８ステップＳ５１１）。関連領域情報リスト８にエントリが残っている場合（ステップＳ５１１のＹｅｓ）、画像強調部４４は、関連領域情報リスト８から同一ベースＩＤのレコード（関連領域情報８ｒ）を抽出して、領域リストを作成する（ステップＳ５１２）。
【０１０９】
画像強調部４４は、作成した領域リストに基づいて、入力画像内で強調する領域を決定し（ステップＳ５１３）、決定した領域に強調加工を行う（ステップＳ５１４）。画像強調部４４は、領域リストに含まれる関連領域情報８ｒを処理済みとした後、画像強調部４４は、ステップＳ５１１へと戻り、上述した同様の処理を繰り返す。
【０１１０】
一方、関連領域情報リスト８にエントリが残っていない場合（ステップＳ５１１のＮｏ）、画像強調部４４は、入力画像２に強調加工を施した強調画像を表示装置１４に表示して（ステップＳ５１５）、この画像強調処理を終了する。上述した画像強調処理は、画像強調部４４が入力画像２を受信する毎に行われる。
【０１１１】
次に、経由地は、数値、英字のラベルで表現される場合がある。この場合、看板表記として範囲表示を用いる場合が多い。例えば、２番出口か経由地である場合、「１〜４出口↑」等の案内をする場合がある。
【０１１２】
目的地文字列１が存在しない案内看板において、目的地への経由地を含む領域を特定して強調表示することが望ましい。範囲表示の案内に対して強調表示する例について、図１８及び図１９で説明する。ここでは、図１８に示すような文字列「出口１−４」を含む領域を強調表示する場合で説明する。
【０１１３】
図１８は、第１実施例における目的地への経由地を含む領域を強調表示する例について説明する。図１８では、目的地が「日本武道館」の場合に、目的地文字列１が含まれない入力画像２の例を示している。
【０１１４】
経由地判定部４３によって、「出口２」が経由地と判定され経由地リスト５２に目的地文字列１として格納されていた場合、関連領域抽出部４２は、文字列「出口１−４」による案内４ｂを検出した場合に、「出口１−４」が「出口２」を含むと判断し、文字列「出口１−４」を含む領域に対して枠線４ｅによる強調表示を行って、表示装置１４に表示する。
【０１１５】
文字列抽出部４１で「〜」、「−」等の範囲を表わす文字を認識し、関連領域抽出部４２は、その両側が英字、数値、又はその組み合せの場合は範囲を表わしていると判断して、関連領域情報を作成する。このような関連領域抽出部４２による処理を関連領域抽出処理の変形例として説明する。
【０１１６】
図１９は、第１実施例における関連領域抽出処理の変形例を説明するためのフローチャート図である。図１９において、関連領域抽出部４２は、カメラ１５から入力画像２を入力し、文字列抽出部４１から文字列領域情報リスト５を入力する（ステップＳ３３０）。
【０１１７】
関連領域抽出部４２は、文字列領域情報リスト５にエントリは残っているか否かを判断する（ステップＳ３３１）。文字列領域情報リスト５にエントリが残っている場合（ステップＳ３３１のＹｅｓ）、関連領域抽出部４２は、文字列領域情報リスト５から未処理の文字列領域情報５ｒを１つ取得する（ステップＳ３３２）。
【０１１８】
そして、関連領域抽出部４２は、取得した文字列領域情報５ｒの文字列内容が、目的地文字列１又は経由地文字列６を含むか否かを判断する（ステップＳ３３３）。関連領域抽出部４２は、目的地情報５１から目的文字列１を取得して、文字列内容が目的文字列１の内容を含むか否かを判断する。また、関連領域抽出部４２は、経由地リスト５２から経由地文字列６を取得して、文字列内容が経由地文字列６の内容を含むか否かを判断する。
【０１１９】
文字列領域情報５ｒの文字列内容が目的地文字列１又は経由地文字列６を含む場合（ステップＳ３３３のＹｅｓ）、関連領域抽出部４２は、ステップＳ３３５へと進む。一方、文字列領域情報５ｒの文字列内容が目的地文字列１又は経由地文字列６のいずれも含まない場合（ステップＳ３３３のＮｏ）、関連領域抽出部４２は、更に、文字列領域情報５ｒの文字列内容には範囲表示が含まれ、目的地又は経由地がその範囲内か否かを判断する（ステップ３３４）。
【０１２０】
例えば、関連領域抽出部４２は、文字列内容に範囲表示があった場合、その左右の数字ないし英字の間に経由地の文字列が含まれるかを判断する。関連領域抽出部４２は、範囲表示の前に「出口」「ゲート」等の特徴語がある場合、関連領域と判断する。関連領域抽出部４２は、文字列領域情報５ｒの文字列内容が「出口１〜４」という文字列だった場合、「出口１」、「出口２」、「出口３」、「出口４」が目的地または経由地に存在したら関連領域と判断してもよい。
【０１２１】
目的地又は経由地がその範囲内に含まれない場合（ステップ３３４のＮｏ）、関連領域抽出部４２は、ステップＳ３３１へと戻り、上記同様の処理を繰り返す。一方、目的地又は経由地がその範囲内に含まれる場合（ステップ３３４のＹｅｓ）、関連領域抽出部４２は、ステップＳ３３５へと進む。
【０１２２】
関連領域抽出部４２は、文字列領域情報５ｒの文字列領域５ａを含む関連領域情報８ｒを作成して（ステップＳ３３５）、関連領域情報リスト８に作成した関連領域情報８ｒを追加する（ステップＳ３３６）。その後、関連領域抽出部４２は、ステップＳ３３１へと戻り、上述同様の処理を繰り返す。
【０１２３】
一方、文字列領域情報リスト５にエントリが残っていない場合（ステップＳ３３１のＮｏ）、関連領域抽出部４２は、関連領域情報リスト８を出力する（ステップＳ３３７）。関連領域情報リスト８は、主記憶装置１２に一時的に記憶される。
【０１２４】
以下、第２実施例、第３実施例、及び第４実施例について説明するが、端末３のハードウェア構成、機能構成等の第１実施例と同様の部分についてはその説明を省略する。
【０１２５】
経由地文字列６を抽出する方法には、経由地候補となる文字列を抽出してから経由地を判定して経由地文字列６を抽出する方法と、経由地候補を抽出することなく経由地を判定する方法とが考えられる。
【０１２６】
先ず、後者の、経由地候補を抽出することなく経由地を判定して経由地文字列６を抽出する場合を第２実施例として説明する。前者は、第３実施例及び第４実施例で詳述する。
【０１２７】
第２実施例では、入力画像２に含まれる案内看板の例を示し、各処理部の処理フローを説明する。目的地が「日本武道館」である場合を例として、関連領域抽出部４２による関連領域抽出処理を説明する。
【０１２８】
図２０は、第２実施例における関連領域抽出部が抽出する関連領域の例を示す図である。図２０の入力画像２に対して、関連領域抽出部４２は、関連領域８ａ−２１、関連領域８ａ−２２、関連領域８ａ−２３、関連領域８ａ−２４、及び関連領域８ａ−２５を抽出する。
【０１２９】
関連領域８ａ−２１は、目的地文字列１又は経由地文字列６そのものの領域に相当し、関連領域８ａ−２１の関連領域情報８ｒが作成される。領域ＩＤが付与され、付与した領域ＩＤがベースＩＤに設定される。目的地文字列１が「日本武道館」の場合、この関連領域情報８ｒの領域内文字列には、「日本武道館」が設定される。
【０１３０】
関連領域８ａ−２２は、目的地文字列１又は経由地文字列６と、空白による区切りなしで同じ行に含まれる文字列の領域に相当し、関連領域８ａ−２２の関連領域情報８ｒが作成される。この場合は、関連領域８ａ−２２の関連領域情報８ｒに付与した領域ＩＤがベースＩＤに設定される。文字列領域情報リスト５に、目的地文字列１を包含する文字列領域情報５ｒがある場合、その文字列領域情報５ｒの文字列領域５ａを同じ行の領域として、関連領域情報８ｒが作成される。領域ＩＤが付与される。
【０１３１】
この例の場合、文字列「日本武道館」と同じ行に含まれる文字列「日本武道館・・・２」の領域で関連領域情報８ｒが作成され、この関連領域情報８ｒの領域内文字列には、「日本武道館・・・２」が設定される。
【０１３２】
関連領域８ａ−２３は、上述した関連領域８ａ−２３と同じ列に含まれる文字列の領域に相当し、関連領域８ａ−２４の関連領域情報８ｒが作成される。領域ＩＤが付与される。この場合は、関連領域８ａ−２４の関連領域情報８ｒに付与した領域ＩＤがベースＩＤに設定される。
【０１３３】
文字列領域情報リスト５を参照して、関連領域８ａ−２２の上下に、ｘ座標の差が閾値範囲内、かつ、文字列幅の差が閾値範囲内、かつ、文字サイズの差が閾値範囲内の文字列があった場合、同一列と判定される。
【０１３４】
ｘ座標の差が閾値範囲内であるか否かは、文字列領域５ａの文字列座標を用いて判定する。文字列幅の差が閾値範囲内であるか否かは、文字列領域５ａの文字列幅を用いて判定する。文字サイズの差が閾値範囲内であるか否かは、文字列領域情報５ｒの文字列サイズ及び／又は文字列領域５ａの文字列高さを用いて判定する。同一列と判定された文字列領域情報５ｒが抽出される。
【０１３５】
この例の場合、この関連領域情報８ｒの領域内文字列には、「日本武道館・・・２」を含む上下で認識された文字列が設定される。抽出された文字列領域情報５ｒの文字列内容を設定すればよい。
【０１３６】
関連領域８ａ−２４は、文字列「日本武道館」の文字サイズ、行間隔等が同じ傾向の文字列が含まれる領域に相当し、関連領域８ａ−２４の関連領域情報８ｒが作成される。領域ＩＤが付与される。この場合は、関連領域８ａ−２４の関連領域情報８ｒに付与した領域ＩＤがベースＩＤに設定される。
【０１３７】
文字列領域情報リスト５を参照して、関連領域８ａ−２３の上下左右に、文字サイズの差が閾値範囲内、かつ、文字列の下端と下に位置する文字列の上端との間隔の差が閾値範囲内の文字列があった場合、同一領域と判定される。
【０１３８】
上下左右の位置は、文字列領域情報５ｒの文字列座標で判断すればよい。文字サイズの差が閾値範囲内か否かは、文字列領域情報５ｒの文字列サイズを用いて判定する。文字列の下端と下に位置する文字列の上端との間隔の差が閾値範囲内か否かは、文字列領域情報５ｒの文字列座標と文字列高さとから文字列の下端の座標を取得し、下に位置する文字列の上端は文字列座標とすることで、２つの文字列の間隔の差を取得して判定する。
【０１３９】
この例の場合、関連領域情報８ｒの領域内文字列には、「日本武道館・・・２」を含む列と、隣接する１以上の列で認識された文字列が設定される。
【０１４０】
関連領域８ａ−２５は、文字列「日本武道館」の背景色が同じ領域に相当し、関連領域８ａ−２５の関連領域情報８ｒが作成される。
【０１４１】
一例として、入力画像２の色空間をＹＰｂＰｒ色空間へと変換し、関連領域８ａ−２５に包含される最小の関連領域８ａ−２１における文字背景色の色相情報（ＰｂＰｒ）の差が閾値以内で連続した領域を同一領域と判定する。文字列座標が背景色が同じ領域に含まれる文字列領域情報５ｒを抽出する。抽出した文字列領域情報５ｒの文字列内容を領域内文字列に設定した関連領域情報８ｒを作成する。
【０１４２】
この関連領域情報８ｒの領域内文字列には「日本武道館・・・２」を含み、背景色が同じ領域内で認識された文字列が設定される。文字列のデータ量が所定量より多くなる場合は、関連領域８ａ−２５に包含される最大の関連領域８ａ−２４の近傍の文字列を抽出して、関連領域情報８ｒの領域内文字列に設定してもよい。
【０１４３】
図２１は、第２実施例における関連領域抽出処理を説明するためのフローチャート図である。図２１において、関連領域抽出部４２は、目的地情報５１から目的地文字列１を取得し、文字列領域情報リスト５を参照し、目的地文字列１の文字列領域５ａで関連領域情報８ｒを作成して、関連領域情報リスト８に追加する（ステップＳ３５０）。図２０の関連領域８ａ−２１がこの場合に相当する。
【０１４４】
関連領域抽出部４２は、文字列領域５ａを、関連領域８ａに設定した関連領域情報８ｒを作成し、作成した関連領域情報８ｒに対して、領域ＩＤを付与し、付与した領域ＩＤをベースＩＤに設定する。また、関連領域抽出部４２は、目的地文字列１を領域内文字列に設定する。
【０１４５】
関連領域抽出部４２は、文字列領域情報リスト５を参照し、目的地文字列１と同じ行となる文字列領域情報５ｒを取得して、取得した文字列領域情報５ｒの文字列領域５ａの文字列が、目的地文字列１より長いか否かを判定する（ステップＳ３５１）。同一行の文字列の存在が判定される。文字列領域５ａの文字列は、目的地文字列１以下の長さである場合（ステップＳ３５１のＮｏ）、関連領域抽出部４２は、ステップＳ３５２へと進む。
【０１４６】
一方、目的地文字列１より長い場合（ステップＳ３５１のＹｅｓ）、関連領域抽出部４２は、文字列領域５ａを関連領域８ａに設定した関連領域情報８ｒを作成し、関連領域情報リスト８に追加して（ステップＳ３５１−２）、ステップＳ３５２へと進む。図２０の関連領域８ａ−２２がこの場合に相当する。
【０１４７】
関連領域抽出部４２は、文字列領域情報リスト５に基づいて、入力画像２内に、目的地文字列１を含む文字列領域５ａの上下に、同一幅の文字列領域５ａが存在するか否かを判定する（ステップＳ３５２）。関連領域抽出部４２は、文字列領域５ａの文字列幅に基づいて同一幅を判定することで、同一列の文字列の存在を判定する。目的地文字列１を含む文字列領域５ａの上下に、同一幅の文字列領域５ａが存在しない場合（ステップＳ３５２のＮｏ）、関連領域抽出部４２は、ステップＳ３５３へと進む。
【０１４８】
一方、目的地文字列１を含む文字列領域５ａの上下に、同一幅の文字列領域５ａが存在する場合（ステップＳ３５２のＹｅｓ）、関連領域抽出部４２は、同一幅の文字列領域５ａが続く範囲で１つの関連領域情報８ｒを作成し、関連領域情報リスト８に追加して（ステップＳ３５２−２）、ステップＳ３５２へと進む。図２０の関連領域８ａ−２３がこの場合に相当する。
【０１４９】
関連領域抽出部４２は、文字列領域情報リスト５に基づいて、入力画像２内に、目的地文字列１を含む文字列領域５ａの前後左右に、同一文字サイズかつ同一行間隔の文字列領域５ａが存在するか否かを判定する（ステップＳ３５３）。関連領域抽出部４２は、文字列領域情報５ｒの文字列サイズ、文字列座標、及び文字列高さを参照して、同一文字サイズかつ同一行間隔を判定する。同一文字サイズかつ同一行間隔の文字列領域５ａが存在しない場合（ステップＳ３５３のＮｏ）、関連領域抽出部４２は、ステップＳ３５３へと進む。
【０１５０】
一方、同一文字サイズかつ同一行間隔の文字列領域５ａが存在する場合（ステップＳ３５３のＹｅｓ）、関連領域抽出部４２は、目的地文字列１を含む文字列領域５ａの前後左右で同一文字サイズかつ同一行間隔が続く範囲で１つの関連領域情報８ｒを作成し、関連領域情報リスト８に追加して（ステップＳ３５３−２）、ステップＳ３５４へと進む。図２０の関連領域８ａ−２４がこの場合に相当する。
【０１５１】
関連領域抽出部４２は、文字列領域情報リスト５に基づいて、入力画像２内に、目的地文字列１を含む文字列領域５ａの前後左右に、同一文字背景色の文字列領域５ａが存在するか否かを判定する（ステップＳ３５４）。関連領域抽出部４２は、入力画像２内の目的地文字列の文字列領域５ａの文字背景色の色相情報を取得し、取得した色相情報の差が閾値以内で連続した範囲が入力画像２内に存在するか否かを判定する。同一文字背景色の文字列領域５ａが存在しない場合（ステップＳ３５４のＮｏ）、関連領域抽出部４２は、この第２の関連領域抽出処理を終了する。
【０１５２】
一方、同一文字背景色の文字列領域５ａが存在する場合（ステップＳ３５４のＹｅｓ）、関連領域抽出部４２は、同一文字背景色が続く範囲で１つの関連領域情報を作成し、関連領域情報リストに追加して（ステップＳ３５４−２）、この第２の関連領域抽出処理を終了する。
【０１５３】
第２実施例における経由地判定部４３による経由地判定処理を図２２の看板例で説明する。図２２は、第２実施例における経由地判定部による経由地判定処理を説明するための看板例を示す図である。
【０１５４】
経由地判定部４３は、関連領域８ａが下記の追加条件を満たす場合に、経由地リスト５２に追加する。
＜経由地リスト５２への追加条件＞
（ａ）関連領域８ａに隣接し、目的地文字列１より文字列サイズが大きいこと、
（ｂ）かつ、その文字列の上下に同一文字サイズの行が存在しないこと、
（ｃ）かつ、そのような文字列が同一関連領域に対して１つしか存在しないこと。
【０１５５】
図２２に示す入力画像２において、関連領域８ａ−３１、関連領域８ａ−３２、関連領域８ａ−３３、及び関連領域８ａ−３４は、関連領域抽出部４２によって抽出された領域に相当する。
【０１５６】
関連領域８ａ−３１は、目的地文字列「目的施設」の文字領域である。この関連領域８ａ−３１に対して隣接する文字列「周辺施設２」は、文字サイズが同じであり、また、上下に同一文字サイズの行が存在する。よって、経由地文字列６と判定しない。経由地リスト５２には追加されない。
【０１５７】
関連領域８ａ−３２は、関連領域８ａ−３１と同一列となる領域である。この関連領域８ａ−３２に対して隣接する「北口」は目的地より文字サイズが大きく、かつ、上下に同一文字サイズの行が存在せず、かつ、そのような文字列が一つしかない。よって、文字列「北口」を経由地文字列６と判定し、経由地リスト５２に追加する。
【０１５８】
関連領域８ａ−３３は、関連領域８ａ−３１の文字列と同じ文字サイズであり、関連領域８ａ−３１とに行間隔が存在する領域である。関連領域８ａ−３３対して隣接する文字列は、「北口」と「南口」とが存在し、これら文字列は、共に、関連領域８ａ−３３の文字列の文字サイズより大きく、かつ、上下に同一文字サイズの行が存在しない文字列であるが、２つ以上存在することになる。従って、経由地文字列６と判定しない。経由地リスト５２には追加されない。
【０１５９】
このような経由地判定部４３による経由地判定処理は、以下のフローチャートにより実現される。図２３は、第２実施例における経由地判定処理を説明するためのフローチャート図である。図２３において、経由地判定部４３は、文字列抽出部４１から文字列領域情報リスト５を入力し、関連領域抽出部４２から関連領域情報リスト８を入力する（ステップＳ３７０）。
【０１６０】
経由地判定部４３は、関連領域情報リスト８にエントリが残っているか否かを判断する（ステップＳ３７１）。関連領域情報リスト８にエントリが残っている場合（ステップＳ３７１のＹｅｓ）、経由地判定部４３は、関連領域情報リスト８から未処理の関連領域情報８ｒを１つ取得し（ステップＳ３７２）、関連領域との距離が閾値以内の領域に、文字列高さの比が閾値以上の文字列が存在するか否かを判定する（ステップＳ３７３）。
【０１６１】
距離の閾値の一例として、関連領域８ａ間が１０ピクセルとし、１０ピクセル以内の場合に関連領域８ａは隣接すると判定する。また、サイズ比の一例として、０．８−１．２の比率とし、この比率の範囲であるならば、同一文字サイズと判断する。一方、１．２以上の比率の場合、サイズ比閾値以上、即ち、より大きい文字サイズであると判定する。
【０１６２】
文字列高さの比が閾値以上の文字列が存在しない場合（ステップＳ３７３のＮｏ）、経由地判定部４３は、ステップＳ３７１へと戻り、次の未処理の関連領域情報８ｒに対して上述同様の処理を行う。
【０１６３】
一方、文字列高さの比が閾値以上の文字列が存在する場合（ステップＳ３７３のＹｅｓ）、経由地判定部４３は、文字列高さの比が閾値以上の文字列を抽出して、更に、抽出した文字列の上下で閾値以内の距離で、文字列幅の比が閾値内の文字列が存在するか否かを判断する（ステップＳ３７４）。上下に文字列幅の比が閾値内の文字列が存在しない場合（ステップＳ３７４のＮｏ）、経由地判定部４３は、ステップＳ３７１へと戻り、次の未処理の関連領域情報８ｒに対して上述同様の処理を行う。
【０１６４】
一方、上下に文字列幅の比が閾値内の文字列が存在する場合（ステップＳ３７４のＹｅｓ）、経由地判定部４３は、上又は下の文字列を抽出して、更に、抽出した文字列の個数は１であるか否かを判定する（ステップＳ３７５）。文字列の個数は、ステップＳ３７３及びＳ３７４で共にＹｅｓと判定された場合に抽出された文字列の個数である。抽出した文字列の個数が２以上である場合（ステップＳ３７５のＮｏ）、経由地判定部４３は、ステップＳ３７１へと戻り、次の未処理の関連領域情報８ｒに対して上述同様の処理を行う。
【０１６５】
一方、抽出した文字列の個数が１つのみある場合（ステップＳ３７５のＹｅｓ）、経由地判定部４３は、抽出した文字列を経由地文字列として経由地リストに追加し（ステップＳ３７６）、ステップＳ３７１へと戻り、次の未処理の関連領域情報８ｒに対して上述同様の処理を行う。
【０１６６】
一方、関連領域情報リスト８にエントリが残っていない場合（ステップＳ３７１のＮｏ）、経由地判定部４３は、この経由地判定処理を終了する。
【０１６７】
次に、画像強調部４４による画像強調処理について、図２４、図２５、及び図２６で説明する。図２４は、第２実施例における経由地文字列がない場合の画像強調処理の概要を説明するための図である。目的地文字列１の入力後の最初の入力画像２では、未だ経由地判定部４３によって経由地文字列６が経由地リスト５２に追加されていない。このような、経由地リスト５２に経由地文字列６が存在しない場合が、経由地文字列６がない場合に相当する。
【０１６８】
図２４（Ａ）は、経由地文字列６がない場合の関連領域情報リスト８のデータ例を示している。このデータ例において、画像強調部４４は、ベースＩＤが同じ領域ＩＤ「１」、「２」、及び「３」の関連領域情報８ｒ−３１、８ｒ−３２、及び８ｒ−３３のうち、最も領域が小さい関連領域８ａを強調加工の対象領域として特定する。
【０１６９】
画像強調部４４は、入力画像２内の特定した対象領域に強調加工を施した強調画像９を生成した後、表示装置１４に表示する。この例では、入力画像２内において、強調加工の対象領域は、関連領域８ａ−３１であり、強調画像９において枠線４ｅにより強調表示される。
【０１７０】
図２４（Ｂ）は、関連領域抽出部４２が抽出した関連領域情報８ｒ−３１、８ｒ−３２、及び８ｒ−３３の中から、画像強調部４４が強調加工の対象領域として特定された関連領域８ａ−３１が枠線４ｅで強調表示された例を示している。画像強調部４４は、関連領域情報リスト８の中でベースＩＤが同じエントリのうち、最も小さい領域に枠線４ｅを施す強調加工を入力画像２に対して行う。この例において、最も小さい領域は、文字列「目的施設」の関連領域８ａ−３１である。
【０１７１】
入力画像２内の文字列「目的施設」の関連領域８ａ−３１に対して、画像強調部４４により強調加工がなされ、枠線４ｅが施された強調画像９が生成されて表示装置１４に表示される。この例では、文字列「目的施設」の関連領域８ａ−３１のみに枠線４ｅが施される。
【０１７２】
一方、図２４（Ａ）の関連領域情報リスト８により、経由地判定部４３は、ラベルを抽出して、経由地文字列６を判定し、経由地リスト５２に追加する。この例では、文字列「北口」が経由地文字列６として経由地リスト５２に追加される。経由地リスト５２に経由地文字列６が追加された後の、画像強調処理について説明する。
【０１７３】
図２５は、第２実施例における経由地文字列が存在する場合の画像強調処理の概要を説明するための図である。図２５において、経由地判定部４３によって経由地文字列６（「北口」）が経由地リスト５２に追加された後、次の入力画像２に対して、関連領域抽出部４２は、経由地リスト５２から取得した経由地文字列６（「北口」）に対しても関連領域８ａ−３４、８ａ−３５、８ａ−３６、及び８ａ−３７を特定し、夫々に対して、関連領域情報８ｒ−３４、８ｒ−３５、８ｒ−３６、及び８ｒ−３７を作成し、関連領域情報リスト８に追加する。図２５（Ａ）に示すような関連領域情報リスト８が作成される。
【０１７４】
図２５（Ａ）は、経由地文字列６が存在する場合の関連領域情報リスト８のデータ例を示している。このデータ例において、画像強調部４４は、関連領域情報リスト８の中でベースＩＤが同じエントリのうち、最も小さい領域毎に枠線を施す強調加工を入力画像２に対して行う。
【０１７５】
同じベースＩＤ毎に、グループ８ｇ−１、８ｇ−２、及び８ｇ−３の３つが存在する。画像強調部４４は、各グルーブにおいて、最も領域が小さい関連領域８ａを強調加工の対象領域として特定する。
【０１７６】
画像強調部４４は、グループ８ｇ−１から関連領域情報８ｒ−３３、グループ８ｇ−２から関連領域情報８ｒ−３４、グループ８ｇ−３から関連領域情報８ｒ−３６に基づいて、入力画像２内の対象領域を特定して強調加工を施した強調画像９を生成した後、表示装置１４に表示する。この例では、入力画像２内において、強調加工の対象領域は、関連領域８ａ−３１、８ａ−３４、及び８ａ−３５であり、強調画像９において枠線４ｅにより強調表示される。
【０１７７】
図２５（Ｂ）は、関連領域抽出部４２が抽出した関連領域情報８ｒ−３１、８ｒ−３２、８ｒ−３３、８ｒ−３３、８ｒ−３４、８ｒ−３５、及び８ｒ−３６の中から、画像強調部４４が強調加工の対象領域として特定された関連領域８ａ−３１、８ａ−３４、及び８ａ−３５が枠線４ｅで強調表示された例を示している。
【０１７８】
入力画像２内の文字列「目的施設」の関連領域８ａ−３１、文字列「北口」の関連領域８ａ−３４、文字列「←北口」の関連領域８ａ−３５に対して、画像強調部４４により強調加工により枠線４ｅが施された強調画像９が生成されて表示装置１４に表示される。
【０１７９】
図２６は、第２実施例における入力画像に経由地文字列が複数存在する場合の画像強調処理を説明するためのフローチャート図である。図２６において、画像強調部４４は、カメラ１５から入力画像２と、関連領域抽出部４２から関連領域情報リスト８とを入力する（ステップＳ５３０）。
【０１８０】
画像強調部４４は、関連領域情報リスト８のエントリは残っているか否かを判断する８ステップＳ５３１）。関連領域情報リスト８にエントリが残っている場合（ステップＳ５３１のＹｅｓ）、画像強調部４４は、関連領域情報リスト８から同一ベースＩＤのレコード（関連領域情報８ｒ）を抽出して、領域リストを作成する（ステップＳ５３２）。
【０１８１】
画像強調部４４は、作成した領域リストから最小の領域を選択し（ステップＳ５３３）、選択した領域に強調加工を行う（ステップＳ５３４）。その後、画像強調部４４は、ステップＳ５３１へと戻り、上述した同様の処理を繰り返す。
【０１８２】
一方、関連領域情報リスト８にエントリが残っていない場合（ステップＳ５３１のＮｏ）、画像強調部４４は、入力画像２に強調加工を施した強調画像を表示装置１４に表示して（ステップＳ５３５）、この画像強調処理を終了する。上述した画像強調処理は、画像強調部４４が入力画像２を受信する毎に行われる。
【０１８３】
次に、第２実施例における、案内看板の他の例について説明する。案内看板の他の例として、商業施設等において撮像した案内看板の画像を入力画像２とし、目的地を「目的点」とした場合の処理例を説明する。
【０１８４】
図２７は、第２実施例における案内看板の他の例での文字列抽出処理を説明するための図である。ユーザは、商業施設に到着すると、端末３で、アプリケーションを起動して、商業施設のＷｅｂサイトのショップリストから選択、又は、商業施設の入り口に設置されたショプ毎のバーコード又は２次元コード等を読み取ることによって、目的地の「目的店」を入力する。即ち、目的地文字列１を入力する。ユーザが端末３のカメラ１５でショップ名を示す案内看板を撮像することで、入力画像１が取り込まれる。
【０１８５】
図２７（Ａ）は、端末３のカメラ１５でショップ名を示す案内看板を撮像することで取り込んだ入力画像２を示す。入力画像２が取り込まれると、文字列抽出部４１によって、入力画像２から文字列が抽出され文字列領域情報リスト５が作成される。
【０１８６】
図２７（Ｂ）は、文字列領域情報リスト５のデータ例を示す。図２７（Ｂ）において、図２７（Ａ）の入力画像２から文字認識した文字列内容毎に、文字サイズと、文字列領域５ａとが対応付けられている。
【０１８７】
一例として、文字列内容「１Ｆ」は、文字サイズ「３０」であり、文字列領域５ａには、座標「（３０、２０）」、領域幅「４０」、及び領域高さ「３０」が設定されている。また、文字列内容「ショップ１」は、文字サイズ「１８」であり、文字列領域５ａには、座標「（９０、１０）」、領域幅「５０」、及び領域高さ「１８」が設定されている。商業施設のフロアの文字列サイズは、ショップ名の文字列サイズより大きい。他文字列についても同様である。
【０１８８】
図２８は、第２実施例における案内看板の他の例での関連領域抽出処理を説明するための図である。図２８（Ａ）では、関連領域抽出部４２は、入力画像２と文字列領域情報リスト５を参照して、目的地文字列１（「目的店」）に係る関連領域８ａの抽出例を示している。
【０１８９】
目的地を示す文字列「目的店」の領域に相当する関連領域８ａ−４１と、「目的店」と同じ列に含まれる領域に相当する関連領域８ａ−４２と、「目的店」と同じ文字列サイズであり、且つ、関連領域８ａ−４２と同じ行間の領域に相当する関連領域８ａ−４３と、「目的店」と同じ文字列背景色の領域に相当する関連領域８ａ−４４とが抽出され、図２８（Ｂ）に示すような関連領域情報リスト８が作成される。
【０１９０】
図２８（Ｂ）に示す関連領域情報リスト８では、関連領域８ａ−４１、８ａ−４２、８ａ−４３、及び８ａ−４４の夫々に対して、関連領域情報８ｒ−４１、８ｒ−４２、８ｒ−４３、及び８ｒ−４４が作成されている。
【０１９１】
図２９は、第２実施例における図２８（Ｂ）の関連領域情報リストに基づくラベルの抽出を説明するための図である。図２９において、経由地判定部４３は、関連領域８ａ−４１に対して、「目的店」の文字列より大きな文字サイズの文字列が閾値距離内に存在しないため、ラベル無しと判断する。経由地判定部４３は、関連領域８ａ−４２、「目的店」の文字列より大きな文字サイズの文字列が閾値距離内に存在しないため、ラベル無しと判断する。
【０１９２】
経由地判定部４３は、関連領域８ａ−４３に対して、「目的店」の文字列より大きな文字サイズの文字列「２Ｆ」が閾値距離内に存在するため、文字列「２Ｆ」をラベルとして判断する。閾値距離内に存在する文字列は「２Ｆ」のみであり、「２Ｆ」の上下閾値距離内に同じ文字サイズの文字列が存在しない。従って、経由地リスト５２に文字列「２Ｆ」を追加する。
【０１９３】
経由地判定部４３は、関連領域８ａ−４４に対しては、文字列「目的店」よりも文字サイズの大きい文字列が閾値距離内に存在しないため、ラベル無しと判断する。従って、この例では、入力画像２に対して、文字列「２Ｆ」のみが経由つ文字列６として経由地リスト５２に追加される。
【０１９４】
図３０は、第２実施例における図２８（Ｂ）の関連領域情報リストに基づく強調画像例を示す図である。図３０において、画像強調部４４は、図２８（Ｂ）の関連領域情報リスト８の同一ベースＩＤの関連領域情報８ｒのうち、最小の領域を特定する。具体的には、画像強調部４４は、図２８（Ｂ）の関連領域情報リスト８から文字列「目的店」の関連領域情報８ｒ−４１を取得する。
【０１９５】
画像強調部４４は、関連領域情報８ｒ−４１の関連領域８ａを参照して、入力画像２内の文字列「目的店」の領域に枠線４ｅを施す強調加工を行い、強調画像９を作成する。作成された強調画像９は、表示装置１４に表示される。
【０１９６】
経由地リスト５２に経由地文字列６が追加された後の、強調画像９が表示されるまで処理例を図３１、図３２、及び図３３で説明する。
【０１９７】
図３１は、第２実施例における目的地文字列及び経由地文字列を抽出する例を示す図である。図３１（Ａ）は、入力画像２から抽出された目的地文字列１及び経由地文字列６に係る関連領域８ａを示す図である。
【０１９８】
図３１（Ａ）では、関連領域抽出部４２は、カメラ１５から次の入力画像２を取り込み、目的地情報５１から取得した目的文字列１に関して、図２８で説明したように関連領域８ａ−４１〜８ａ−４４を抽出する。そして、関連領域８ａ−４１〜８ａ−４４の夫々の関連領域情報８ｒ−４１〜８ｒ−４４が関連領域情報リスト８に追加される。図２８（Ｂ）に示した通りである。
【０１９９】
更に、関連領域抽出部４２は、経由地リスト５２から取得した経由地文字列６に関して、関連領域８ａ−４５及び８ａ−４６を抽出する。そして、関連領域８ａ−４５〜８ａ−４６の夫々の関連領域情報８ｒ−４５〜８ｒ−４６が関連領域情報リスト８に追加される。
【０２００】
図３２は、第２実施例における図３１（Ｂ）の関連領域情報リストに基づくラベルの抽出を説明するための図である。図３２において、経由地判定部４３は、図２８（Ｂ）の関連領域情報リスト８から追加された関連領域情報８ｒ−４５及び８ｒ−４６に対して、ラベルの存在を判断する。
【０２０１】
「２Ｆ」を示す経由地文字列６より大きな文字サイズの文字列が閾値距離内に存在しないため、この例では、経由地リスト５２への新たな経由地文字列６の追加はない。
【０２０２】
図３３は、第２実施例における図３１（Ｂ）の関連領域情報リストに基づく強調画像例を示す図である。図３３において、画像強調部４４は、図３１（Ｂ）の関連領域情報リスト８の同一ベースＩＤ毎に、関連領域情報８ｒのうち、最小の領域を特定する。
【０２０３】
具体的には、画像強調部４４は、図３１（Ｂ）の関連領域情報リスト８から文字列「目的店」の関連領域情報８ｒ−４１と、関連領域情報８ｒ−４５とを取得する。
【０２０４】
画像強調部４４は、関連領域情報８ｒ−４１、関連領域情報８ｒ−４５との関連領域８ａを参照して、入力画像２内の文字列「目的店」と、文字列「２Ｆ」との領域に枠線４ｅを施す強調加工を行い、強調画像９を作成する。作成された強調画像９は、表示装置１４に表示される。
【０２０５】
これ以後に入力される入力画像２に対しては、継続して、少なくとも図３３に示す文字列「目的店」と、文字列「２Ｆ」とに対しては枠線４ｅが施され強調表示がなされる。
【０２０６】
上述した、第２実施例では、案内看板の表示形式によっては経由地文字列６をうまく抽出できない場合がある。図３４の案内看板の入力画像例を用いて、経由地文字列６を抽出する経由地判定部４３による経由地判定処理の他の例を、第３実施例として説明する。第３実施例において、端末３のハードウェア構成、機能構成等の第１実施例と同様の部分についてはその説明を省略する。また、文字列抽出部４１、関連領域抽出部４２、及び画像強調部４４は、第１実施例と同様であるためいこれらの説明を省略する。
【０２０７】
図３４は、第３実施例における案内看板の入力画像例を示す図である。「目的施設」が目的地であるとする。図３４に例示する案内看板の入力画像２では、「目的施設」を示す目的地文字列１の関連領域８ａに「隣接する」という条件と、目的地文字列１より「文字列サイズが大きい」という条件を両方満たさない。
【０２０８】
本来ならば、文字列「目的施設----北口」から、「北口」を経由地文字列６として検出し、経由地リスト５２に追加されることが望ましい。以下に、経由地判定部４３によって、ラベルの抽出毎に行われる経由地候補を抽出する経由地候補抽出処理について説明する。先ず、経由地候補について図３５で説明する。
【０２０９】
図３５は、第３実施例における経由地候補を説明するための図である。図３５において、目的地文字列１に対して、関連領域抽出部４２によって、関連領域８ａ−５１、８ａ−５２、８ａ−５３、８ａ−５４、及び８ａ−５５が抽出された場合を示している。これら関連領域８ａ−５１〜８ａ−５５に基づいて、経由地判定部４３は、経由地候補を判定する。
【０２１０】
第３実施例では、以下の条件を満たす文字列を経由地候補という。
・目的地文字列１を含む最大サイズの関連領域８ａに対して、目的地文字列１より閾値以上に文字列サイズが大きく、かつ、その文字列の上下に同一文字サイズの行が存在しないことを条件とする。
【０２１１】
この例では、最大サイズの関連領域８ａは、案内看板全体に相当する関連領域８ａ−５５となる。目的地文字列１より閾値以上に文字列サイズが大きく、かつ、その文字列の上下に同一文字サイズの行が存在しない文字列は、「北口」及び「南口」である。従って、２つの文字列「北口」と「南口」とが、経由地判定部４３によって、経由地候補リスト５３に追加される。
【０２１２】
図３６は、第３実施例における経由地候補を決定する方法を説明するための図である。図３６において、経由地判定部４３は、各関連領域８ａ−５１〜８ａ−５５に対して、以下の判定を行い、合致した文字列を目的地文字列１を対応付けて経由地リスト５２に追加する。
【０２１３】
＜判定Ａ＞
第２実施例と同じ条件（即ち、経由地リスト５２への追加条件）による判定を行う。この判定Ａでは、いずれの関連領域８ａ−５１〜８ａ−５５に対して経由地を判定される文字列は存在しない。
【０２１４】
第３実施例では、経由地判定部４３は、更に、以下の判定Ｂを行う。
【０２１５】
＜判定Ｂ＞
関連領域８ａ−５１〜８ａ−５５において、直線又は点線で接続された文字列が存在し、かつ、その文字列が経由地候補リスト５３に存在するか否かを判定する。この例では、最小の領域である関連領域８ａ−５１に対して、直線で接続される文字列「北口」が存在する。また、文字列「北口」は、経由地候補リスト５３に含まれている。従って、経由地判定部４３は、文字列「北口」を経由地リスト５２に追加する。
【０２１６】
この例では、関連領域８ａ−５１の左側にも文字列「南口」が存在するが、文字列「南口」は、関連領域８ａ−５１に対して直線で接続されていない。従って、経由地判定部４３は、文字列「南口」を経由地リスト５２に追加する。
【０２１７】
図３５及び図３６で説明した第３実施例における経由地判定部４３による経由地判定処理を実現するためのフローチャート図を図３７に示す。図３７は、第３実施例における経由地判定処理を説明するためのフローチャート図である。
【０２１８】
図３７において、経由地判定部４３は、文字列抽出部４１から文字列領域情報リスト５を入力し、関連領域抽出部４２から関連領域情報リスト８を入力する（ステップＳ７４１０）。
【０２１９】
経由地判定部４３は、関連領域情報リスト８にエントリが残っているか否かを判断する（ステップＳ７４１１）。関連領域情報リスト８にエントリが残っている場合（ステップＳ７４１１のＹｅｓ）、経由地判定部４３は、関連領域情報リスト８から未処理の関連領域情報８ｒを１つ取得する（ステップＳ７４１２）。そして、経由地判定部４３は、関連領域情報リスト８を参照して、目的地文字列１の関連領域を包含する最大サイズの関連領域８ａを特定する（ステップＳ７４１３）。
【０２２０】
経由地判定部４３は、最大サイズの関連領域８ａに含まれる、目的地文字列１より文字列サイズが大きく、かつ、上下に同一文字サイズの行が存在しない文字列を経由地候補としてリストアップする（ステップＳ７４１４）。経由地候補リスト５３（図３５）が作成される。
【０２２１】
経由地判定部４３は、判定Ａ（第２実施例における経由地リスト５２への追加条件）は成立するか否かを判断する（ステップＳ７４１５）。判定Ａが成立する場合（ステップＳ７４１５のＹｅｓ）、経由地判定部４３は、文字列を経由地文字列６として経由地リスト５２に追加して（ステップＳ７４１７）、ステップＳ７４１１へと戻り、上述同様の処理を繰り返す。
【０２２２】
一方、判定Ａが成立しない場合（ステップＳ７４１５のＮｏ）、経由地判定部４３は、関連領域８ａに直線又は点線で接続された文字列が存在し、かつ、経由地候補と同一文字列か否か、即ち、判定Ｂが成立するか否かを判断する（ステップＳ７４１６）。判定Ｂが成立する場合（ステップＳ７４１６のＹｅｓ）経由地判定部４３は、文字列を経由地文字列６として経由地リスト５２に追加して（ステップＳ７４１７）、ステップＳ７４１１へと戻り、上述同様の処理を繰り返す。
【０２２３】
一方、判定Ｂが成立しない場合（ステップＳ７４１６のＮｏ）、経由地判定部４３は、ステップＳ７４１１へと戻り、上述同様の処理を繰り返す。
【０２２４】
上述において、関連領域情報リストにエントリが残っていない場合（ステップＳ７４１１）、経由地判定部４３は、この経由地判定処理を終了する。
【０２２５】
図３８は、第３実施例における動作例を説明するための図である。図３８（Ａ）は、以下の動作ステップ（ａ１）〜（ａ４）に相当する。
・動作ステップ（ａ１）：カメラ１５から入力画像２ａが取り込まれる。入力画像２ａは、第一のタイミングで撮像された画像に相当する。
【０２２６】
入力画像２ａに対して、
・動作ステップ（ａ２）：文字列領域抽出部４１が各文字列領域５ａを抽出して、文字列領域情報リスト５を出力する。
・動作ステップ（ａ３）：関連領域抽出部４２は、入力画像２ａから目的地文字列１である「目的施設」に対する関連領域８ａ−５１等を抽出する。上述したように、関連領域８ａ−５１〜８ａ−５５が抽出される。
・動作ステップ（ａ４）：経由地判定部４３が、目的地文字列１の「目的施設」の関連領域８ａ−５１と直線で結ばれている文字列「北口」を経由地文字列６であると判定する。文字列「北口」が経由地リスト５２に追加される。
【０２２７】
図３８（Ｂ）は、以下の動作ステップ（ａ５）に相当する。
・動作ステップ（ａ５）：一方、画像強調部４４は、目的地文字列１の「目的施設」に対して枠線４ｅで強調加工を行った強調画像９ａを表示装置１４に表示する。
【０２２８】
図３８（Ｃ）は、以下の動作ステップ（ａ６）〜（ａ９）に相当する。
・動作ステップ（ａ６）：カメラ１５から入力画像２ｂが取り込まれる。入力画像２ｂは、第二のタイミングで撮像された画像に相当する。次の入力画像２ｂは、入力画像２ａが撮像された第一のタイミングの後の第二のタイミングで撮像された画像に相当する。
【０２２９】
入力画像２ｂに対して、
・動作ステップ（ａ７）：文字列領域抽出部４１が各文字列領域５ａを抽出して、文字列領域情報リスト５を出力する。
・動作ステップ（ａ８）：関連領域抽出部４２は、入力画像２ｂから目的地文字列１である「目的施設」に対する関連領域８ａ−５１等を抽出する。目的地文字列１の「目的施設」に対して、動作ステップ（ａ３）と同様に、関連領域８ａ−５１〜８ａ−５５が抽出される。更に、経由地文字列６の「北口」に対して、関連領域８ａ−５６及び８ａ−５７が抽出される。
・動作ステップ（ａ９）：経由地判定部４３は、抽出した関連領域８ａ−５１〜８ａ−５７に対して、経由地判定を行う。この例では、新たな経由地文字列は抽出されない。
【０２３０】
図３８（Ｄ）は、以下の動作ステップ（ａ１０）に相当する。
・動作ステップ（ａ１０）：一方、画像強調部４４は、目的地文字列１に関する関連領域８ａ−５１〜８ａ−５５と、経由地文字列６に関する関連領域８ａ−５６〜８ａ−５７とを含む関連領域情報リスト８を参照して、入力画像２ｂに対して、目的地文字列１と経由地文字列６とを枠線４ｅで囲む強調加工を施した強調画像９ｂを作成し、表示装置１４に表示する。この例では、関連領域８ａ−５１、８ａ−５６、及び、８ａ−５７の３か所に枠線４ｅが施される。
【０２３１】
次に、第４実施例について説明する。第４実施例では、抽出した経由地文字列６そのものが、次の入力画像２に示されず、経由地文字列６の意味を含む範囲表記で示される場合に適切な強調表示を実現する。
【０２３２】
第４実施例において、関連領域抽出部４２は、「＊−＊」、「＊〜＊」等のように「−」、「〜」を含む文字列により範囲表記であって、かつ、＊の部分が英字又は数字の場合、範囲内に経由地か目的地が含まれるか否かを判断する。
【０２３３】
具体的には、経由地文字列６又は目的地文字列１に「出口ｘ」（ｘは英数字）を含み、ｘが範囲表記の範囲内であるならば、入力画像２内の範囲表記の領域を関連領域８ａとして抽出する。
【０２３４】
一例として、文字列抽出部４１が認識した文字列に「Ａ−Ｄ」と言う表記が有り、「出口Ｂ」という経由地文字列６が経由地リスト５２に存在したら、関連領域抽出部４２は、強調表示する関連領域８ａであると判断し、その関連領域８ａを文字列領域情報リスト５を参照して入力画像２から抽出し、関連領域情報リスト８に追加する。
【０２３５】
他の例として、文字列抽出部４１が認識した文字列に「１〜５」と言う表記があり、「出口３」という経由地文字列６が経由地リスト５２に存在したら、関連領域抽出部４２は、強調表示する関連領域８ａであると判断し、その関連領域８ａを文字列領域情報リスト５を参照して入力画像２から抽出し、関連領域情報リスト８に追加する。
【０２３６】
一方、経由地判定部４３による経由地判定処理は、第３実施例での経由地判定処理に基づくが、経由地候補の抽出時に範囲表記があるか否かを判定する判定処理が追加される。目的地文字列１より文字列サイズが大きい文字列に「＊−＊」、「＊〜＊」等という表記が含まれ、かつ、＊の部分が英字又は数字の場合、経由地判定部４３は、範囲内の英字又は数字を経由地候補とする。
【０２３７】
一例として、目的地文字列１より文字列サイズが大きい文字列であって「１〜８」と表示されていた場合、経由地判定部４３は、「１」、「２」、「３」、「４」、「５」、「６」、「７」、及び「８」を経由地候補とする。
【０２３８】
図３９は、第４実施例における関連領域抽出処理を説明するためのフローチャート図である。図３９において、関連領域抽出部４２は、カメラ１５から入力画像２を入力し、文字列抽出部４１から文字列領域情報リスト５を入力する（ステップＳ８３１０）。
【０２３９】
関連領域抽出部４２は、文字列領域情報リスト５にエントリが残っているか否かを判断する（ステップＳ８３１１）。文字列領域情報リスト５にエントリが残っている場合（ステップＳ８３１１のＹｅｓ）、関連領域抽出部４２は、文字列領域情報リスト５から文字列領域情報を１つ取得する（ステップＳ８３１２）。
【０２４０】
そして、関連領域抽出部４２は、取得した文字列領域情報５ｒの文字列内容が、目的地文字列１又は経由地文字列６を含むか否かを判断する（ステップＳ８３１３）。関連領域抽出部４２は、目的地情報５１から目的文字列１を取得して、文字列内容が目的文字列１の内容を含むか否かを判断する。また、関連領域抽出部４２は、経由地リスト５２から経由地文字列６を取得して、文字列内容が経由地文字列６の内容を含むか否かを判断する。
【０２４１】
文字列領域情報５ｒの文字列内容が目的地文字列１又は経由地文字列６を含む場合（ステップＳ８３１３のＹｅｓ）、関連領域抽出部４２は、ステップＳ８３３６へと進む。
【０２４２】
一方、文字列領域情報５ｒの文字列内容が目的地文字列１又は経由地文字列６のいずれも含まない場合（ステップＳ８３１３のＮｏ）、関連領域抽出部４２は、更に、文字列内容に、「＊−＊」又は「＊〜＊」という形式で、＊が英字又は数字の範囲表記が含まれるか否かを判断する（ステップＳ８３１４）。文字列内容に範囲表記が含まれない場合（ステップＳ８３１４のＮｏ）、関連領域抽出部４２は、ステップＳ８３１１へと戻り、上述した同様の処理を繰り返す。
【０２４３】
一方、文字列内容に範囲表記が含まれる場合（ステップＳ８３１４のＹｅｓ）、関連領域抽出部４２は、目的地文字列１又は経由地文字列６が、「出口x」（xは英字又は数字)を含み、そのxの値は範囲表記の左側文字以上かつ右側文字以下の範囲内であるか否かを判断する（ステップＳ８３１５）。
【０２４４】
目的地文字列１又は経由地文字列６が範囲内である場合（ステップＳ８３１５のＹｅｓ）、関連領域抽出部４２は、図２１で説明した第２実施例における関連領域抽出処理での判定を行う（ステップＳ８３１６）。具体的には、図２１の「目的地文字列」を「範囲表記を含む文字列」と置き換えて、ステップＳ３５２からＳ３５４−２までを行う。
【０２４５】
関連領域抽出部４２は、関連領域情報リスト８に関連領域情報８ｒが追加されると（ステップＳ８３１６）、ステップＳ８３１１へと戻り、上述した同様の処理を繰り返す。
【０２４６】
一方、文字列領域情報リスト５にエントリが残っていない場合（ステップＳ８３１１のＮｏ）、関連領域抽出部４２は、関連領域情報リスト８を出力し（ステップＳ８３１８）、この関連領域抽出処理を終了する。
【０２４７】
図４０は、第４実施例における経由地判定処理を説明するためのフローチャート図である。図４０において、経由地判定部４３は、文字列抽出部４１から文字列領域情報リスト５を入力し、関連領域抽出部４２から関連領域情報リスト８を入力する（ステップＳ８４１０）。
【０２４８】
経由地判定部４３は、関連領域情報リスト８にエントリが残っているか否かを判断する（ステップＳ８４１１）。関連領域情報リスト８にエントリが残っている場合（ステップＳ８４１１のＹｅｓ）、経由地判定部４３は、関連領域情報リスト８から未処理の関連領域情報８ｒを１つ取得する（ステップＳ８４１２）。
【０２４９】
そして、経由地判定部４３は、関連領域情報リスト８を参照して、取得した関連領域情報８ｒで示される関連領域８ａを包含する最大の文字列サイズとなる関連領域８ａを特定する（ステップＳ８４１３）。
【０２５０】
次に、経由地判定部４３は、最大の文字列サイズの関連領域に含まれる、目的地文字列より文字列サイズが大きく、かつ、上下に同一文字サイズの行が存在しない文字列を経由地候補としてリストアップする（ステップＳ８４１２）。第３実施例と同様の経由地候補リスト５３が作成される。
【０２５１】
経由地判定部４３は、経由地候補リスト５３の経由地候補に範囲表記が含まれているか否かを判断する（ステップＳ８４１５）。範囲表記が含まれていない場合（ステップＳ８４１５のＮｏ）、経由地判定部４３は、ステップＳ８４１７へと進む。範囲表記が含まれている場合（ステップＳ８４１５のＹｅｓ）、経由地判定部４３は、範囲に含まれる数字又は英字を経由地候補リスト５３に追加する（ステップＳ８４１６）。
【０２５２】
経由地判定部４３は、判定Ａ（第２実施例における経由地リスト５２への追加条件）は成立するか否かを判断する（ステップＳ８４１７）。判定Ａが成立する場合（ステップＳ８４１７のＹｅｓ）、経由地判定部４３は、ステップＳ８４１９へと進む。
【０２５３】
一方、判定Ａが成立しない場合（ステップＳ８４１７のＮｏ）、経由地判定部４３は、関連領域８ａに直線又は点線で接続された文字列が存在し、かつ、経由地候補と同一文字列か否か、即ち、第３実施例と同様に判定Ｂが成立するか否かを判断する（ステップＳ８４１８）。判定Ｂが成立しない場合（ステップＳ８４１８のＮｏ）、経由地判定部４３は、ステップＳ８４１１へと戻り、関連領域情報リスト８の次のエントリに対して、上述同様の処理を繰り返す。
【０２５４】
一方、判定Ｂが成立する場合（ステップＳ８４１８のＹｅｓ）、経由地判定部４３は、文字列が英字又は数字のみの場合、文字列の先頭に「出口」を加え（ステップＳ８４１９）、「出口」を加えた文字列を経由地リスト５２に追加する（ステップＳ８４２０）。その後、経由地判定部４３は、ステップＳ８４１１へと戻り、関連領域情報リスト８の次のエントリに対して、上述同様の処理を繰り返す。
【０２５５】
図４１は、第４実施例における動作例を説明するための図である。図４１中、図４１（Ｂ）及び図４１（Ｄ）は、第４実施例における表示例に相当する。図４１（Ａ）は、以下の動作ステップ（ｂ１）〜（ｂ６）に相当する。
・動作ステップ（ｂ１）：カメラ１５から入力画像２ａが取り込まれる。入力画像２ａは、第一のタイミングで撮像された画像に相当する。
【０２５６】
入力画像２ａに対して、
・動作ステップ（ｂ２）：文字列領域抽出部４１が各文字列領域５ａを抽出して、文字列領域情報リスト５を出力する。文字列「出口１〜４」、「出口５〜７」等の夫々の文字列領域５ａが文字列領域情報リスト５に含まれる。
・動作ステップ（ｂ３）：関連領域抽出部４２は、入力画像２ａから目的地文字列１である「目的施設」に対する関連領域８ａ−６１等を抽出する。上述したように、関連領域８ａ−６１〜８ａ−６５が抽出される。
【０２５７】
そして、
・動作ステップ（ｂ４）：経由地判定部４３は、文字列領域情報リスト５に含まれる文字列「出口１〜４」及び「出口５〜７」という表記に基づいて、数字「１」、「２」、「３」、「４」、「５」、「６」、及び「７」を経由地候補とする。数字「１」、「２」、「３」、「４」、「５」、「６」、及び「７」が、経由地文字列６として経由地候補リスト５３に追加される。
・動作ステップ（ｂ５）：経由地判定部４３は、経由地候補リスト５３に、目的地文字列１の領域である関連領域６ａ−６１と直線（又は点線）で結ばれている数字「２」に一致する経由地候補が存在することを確認すると、数字「２」の先頭に「出口」を付加した文字列「出口２」を経由地文字列として経由地リスト５２に追加する。関連領域６ａ−６１と直線（又は点線）で結ばれている文字列が数字又は英字のみの場合に相当し、よって、「出口」を付加した文字列「出口２」が経由地リスト５２に追加される。
【０２５８】
図４１（Ｂ）は、以下の動作ステップ（ｂ６）に相当する。
・動作ステップ（ｂ６）：一方、画像強調部４４は、目的地文字列１である「目的施設」に対して枠線４ｅで強調加工を行った強調画像９ａを表示装置１４に表示する。
【０２５９】
図４１（Ｃ）は、以下の動作ステップ（ｂ７）〜（ｂ９）に相当する。
・動作ステップ（ｂ７）：カメラ１５から入力画像２ａが撮像された第一のタイミングの後の第二のタイミングで撮像された次の入力画像２ｂが取り込まれる。
【０２６０】
入力画像２ｂに対して、
・動作ステップ（ｂ８）：文字列領域抽出部４１が各文字列領域５ａを抽出して、文字列領域情報リスト５を出力する。
・動作ステップ（ｂ９）：関連領域抽出部４２は、入力画像２ｂから目的地文字列１である「目的施設」に対する関連領域８ａ−６１等を抽出する。目的地文字列１の「目的施設」に対して、動作ステップ（ｂ３）と同様に、関連領域８ａ−６１〜８ａ−６５が抽出される。更に、関連領域抽出部４２は、目的地文字列１の「目的施設」と直線（又は点線）で接続される「２」に対する関連領域８ａを抽出する。具体的には、「２」を示す２つの関連領域８ａ−７１及び関連領域８ａ−７２が抽出され、また、「２」を含む範囲表記の文字列の関連領域８ａ−７３及び関連領域８ａ−７４が抽出される。
【０２６１】
そして、
・動作ステップ（ｂ１０）：経由地判定部４３は、関連領域情報リスト８の関連領域情報８ｒに基づいて、経由地を判定する。入力画像２ｂでは、関連領域８ａ−７１〜８ａ−７４が新たに追加されているが、これら追加された関連領域８ａ−７１〜８ａ−７４に対して、隣接かつより大きな文字列、又は、直線（又は点線）で結ばれた経由地候補は存在しないため、新たに追加される経由地は無い。
【０２６２】
図４１（Ｄ）は、以下の動作ステップ（ｂ１１）に相当する。
・動作ステップ（ｂ１１）：一方、画像強調部４４は、目的地文字列１に関する関連領域８ａ−６１〜８ａ−６５と、経由地文字列６に関する関連領域８ａ−７１〜８ａ−７４とを含む関連領域情報リスト８を参照して、入力画像２ｂに対して、目的地文字列１と経由地文字列６とを枠線４ｅで囲む強調加工を施した強調画像９ｂを作成し、表示装置１４に表示する。この例では、関連領域８ａ−６２、８ａ−７１、８ａ−７２、及び、８ａ−７３の４か所に枠線４ｅが施される。
【０２６３】
上述したように、第１実施例〜第４実施例では、ユーザが目的地に向かう際に、その目的地への経由地を示す経由地文字列６を、カメラ画像（入力画像２）から動的に抽出し、抽出した経由地文字列６の領域を強調加工した強調画像９を表示装置１４に表示させることができる。
【０２６４】
即ち、目的地文字列１そのものが存在しないカメラ画像（入力画像２）であっても、経由地へとユーザを案内することができる。ユーザは、種々の案内看板を撮像した入力画像２であっても、強調画像９から経由地を知ることができる。
【０２６５】
本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。
【０２６６】
以上の第１〜第４実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
ユーザが入力装置に入力した目的地文字列を記憶する記憶装置と、
第一のタイミングで撮像された案内看板に前記目的地文字列が含まれる場合、該案内看板に含まれる文字列を関連地文字列として抽出する関連地抽出部と、
抽出した前記関連地文字列と前記目的地文字列とを対応付けて記憶装置に記憶する、関連地記憶部と、
第二のタイミングで撮像された画像に案内看板を有する場合に、前記関連地文字列を強調して該画像を表示装置に表示する強調表示部と
を有する情報処理装置。
（付記２）
ユーザが入力装置に入力した目的地文字列を記憶する記憶装置と、
第一のタイミングで案内看板を撮像した第一のカメラ画像から文字列を抽出する文字列抽出部と、
抽出した前記文字列に前記目的地文字列が含まれる場合、該文字列から目的地への経由地を示す経由地文字列を判定し、判定した該経由地文字列を前記目的地文字列に対応付けて前記記憶装置に記憶する経由地判定部と、
第二のタイミングで撮像された第二のカメラ画像から前記記憶装置に記憶された前記経由地文字列を抽出した場合、該経由地文字列の領域を関連領域として抽出し、該経由地文字列と、抽出した該関連領域とを対応付けて前記記憶装置に記憶する関連領域抽出部と、
前記第二のカメラ画像から前記記憶装置に記憶された前記経由地文字列が抽出された場合に、抽出した該経由地文字列の前記関連領域を強調して該第二のカメラ画像を表示装置に表示する画像強調部と
を有する情報処理装置。
（付記３）
前記関連領域抽出部は、
前記第一のカメラ画像から抽出した前記文字列に前記目的地文字列が含まれる場合、該目的地文字列の領域と、該文字列の集まりの区切りに基づいて該領域を包含する包含領域とを、前記関連領域として抽出し、該目的地文字列と、抽出した該関連領域とを対応付けて前記記憶装置に記憶することを特徴とする付記２記載の情報処理装置。
（付記４）
前記経由地判定部は、
前記目的地文字列を含む前記第一のカメラ画像から抽出した前記関連領域毎に、該関連領域内の前記文字列との文字列高さの比が第一の比以上、かつ、文字列幅の比が第二の比以下となる、該関連領域から所定距離以内にラベルが存在し、該ラベルの個数が１つである場合、該ラベルを前記経由地文字列として抽出する
ことを特徴とする付記３記載の情報処理装置。
（付記５）
前記経由地判定部は、
前記目的地文字列を含む前記第一のカメラ画像から抽出した前記関連領域毎に、前記関連領域内の前記文字列との文字列高さの比が第一の比以上、かつ、文字列幅の比が第二の比以下となる、該関連領域から所定距離以内にラベルが存在し、該ラベルの個数が１つである場合、該ラベルを前記経由地文字列の候補として抽出する抽出部と、
前記関連領域に直線又は点線で接続された文字列が存在し、かつ、前記候補と同一文字列である場合、該関連領域に接続された該文字列を前記経由地文字列であると判定する判定部と
を有することを特徴とする付記３記載の情報処理装置。
（付記６）
前記関連領域抽出部は、
前記第一のカメラ画像又は前記第二のカメラ画像から抽出した前記文字列が範囲表記を含み、前記目的地文字列又は前記経由地文字列の内容が該文字列が表す範囲内である場合、該文字列の領域を前記関連領域として抽出することを特徴とする付記３記載の情報処理装置。
（付記７）
前記経由地判定部は、
前記関連領域抽出部によって抽出された前記関連領域毎に、該関連領域を包含する最大の文字列サイズとなる最大関連領域を特定し、前記最大関連領域に含まれる、前記目的地文字列より文字列サイズが大きく、上下に同一文字サイズの行が存在しない文字列を経由地候補として選択し、選択した前記経由地候補に前記範囲表記が含まれている場合、前記範囲に含まれる数字又は英字を経由地候補リストに追加する追加部と、
前記関連領域毎に、該関連領域内の前記文字列との文字列高さの比が第一の比以上、かつ、文字列幅の比が第二の比以下となる、該関連領域から所定距離以内にラベルが存在し、該ラベルの個数が１つである場合、該ラベルを前記経由地文字列の候補として抽出する抽出部と、
前記関連領域に直線又は点線で接続された文字列が存在し、かつ、前記候補と同一文字列であり、該文字列が英字又は数字の場合には、該文字列の先頭に処理文字列を追加して前記経由地文字列を作成する作成部と
を有することを特徴とする付記６記載の情報処理装置。
（付記８）
入力装置からユーザにより設定された目的地文字列を取得し、
第一のタイミングで撮像された案内看板に前記目的地文字列が含まれる場合、該案内看板に含まれる文字列を関連地文字列として抽出し、
抽出した前記関連地文字列と前記目的地文字列とを対応付けて記憶装置に記憶し、
第二のタイミングで撮像された画像に案内看板を有する場合に、前記関連地文字列を強調して該案内看板を表示装置に表示する
処理をコンピュータに行わせる道案内プログラム。
（付記９）
入力装置からユーザにより設定された目的地文字列を取得し、
第一のタイミングで撮像された案内看板に前記目的地文字列が含まれる場合、該案内看板に含まれる文字列を関連地文字列として抽出し、
抽出した前記関連地文字列と前記目的地文字列とを対応付けて記憶装置に記憶し、
第二のタイミングで撮像された画像に案内看板を有する場合に、前記関連地文字列を強調して該案内看板を表示装置に表示する
処理をコンピュータが実行する道案内方法。
【符号の説明】
【０２６７】
１          目的地文字列
２          入力画像
３          端末
５          文字列領域情報リスト、    ５ａ          文字列領域
６          経由地文字列
８          関連領域情報リスト
９          強調画像
１１        ＣＰＵ、                  １２          主記憶装置
１３        入力装置、                １４          表示装置
１５        カメラ、                  １６          マイク
１７        通信Ｉ／Ｆ
４１        文字列抽出部
４２        関連領域抽出部
４３        経由地判定部
４４        画像強調部
【図１】
2017138156.tif 000003
【図２】
2017138156.tif 000004
【図３】
2017138156.tif 000005
【図４】
2017138156.tif 000006
【図５】
2017138156.tif 000007
【図６】
2017138156.tif 000008
【図７】
2017138156.tif 000009
【図８】
2017138156.tif 000010
【図９】
2017138156.tif 000011
【図１０】
2017138156.tif 000012
【図１１】
2017138156.tif 000013
【図１２】
2017138156.tif 000014
【図１３】
2017138156.tif 000015
【図１４】
2017138156.tif 000016
【図１５】
2017138156.tif 000017
【図１６】
2017138156.tif 000018
【図１７】
2017138156.tif 000019
【図１８】
2017138156.tif 000020
【図１９】
2017138156.tif 000021
【図２０】
2017138156.tif 000022
【図２１】
2017138156.tif 000023
【図２２】
2017138156.tif 000024
【図２３】
2017138156.tif 000025
【図２４】
2017138156.tif 000026
【図２５】
2017138156.tif 000027
【図２６】
2017138156.tif 000028
【図２７】
2017138156.tif 000029
【図２８】
2017138156.tif 000030
【図２９】
2017138156.tif 000031
【図３０】
2017138156.tif 000032
【図３１】
2017138156.tif 000033
【図３２】
2017138156.tif 000034
【図３３】
2017138156.tif 000035
【図３４】
2017138156.tif 000036
【図３５】
2017138156.tif 000037
【図３６】
2017138156.tif 000038
【図３７】
2017138156.tif 000039
【図３８】
2017138156.tif 000040
【図３９】
2017138156.tif 000041
【図４０】
2017138156.tif 000042
【図４１】
2017138156.tif 000043