(57)【要約】【課題】カメラにより撮像された画像を表示部に表示させ、この画像からイベントの名称及び日時をより確実に抽出して、スケジュールデータを生成する。【解決手段】情報処理装置１０は、画像を撮像する撮像カメラ１４と、撮像カメラ１４により撮像された画像を表示する表示部１１と、表示部１１の画面に設けられたタッチパネル１２と、タッチパネル１２に対する操作により表示部１１に表示されている画像における任意のライン状の領域が指定されると、ライン状の領域におけるテキストを認識して、テキストからイベントの名称及び日時を抽出し、イベントの名称及び日時を対応付けてスケジュールデータとして設定する制御部２１と、を備える。【選択図】図２
2020095710.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像するカメラと、
前記カメラにより撮像された画像を表示する表示部と、
前記表示部の画面に設けられたタッチパネルと、
前記表示部に表示されている画像において、前記タッチパネルが受け付けたスワイプ操作の軌跡から、当該スワイプ操作の開始端と終了端を含みかつ当該スワイプ操作の方向と直交する方向に予め定められた一定幅となる領域となるライン状の領域が指定されると、前記指定された領域におけるテキストを認識して、前記テキストからイベントの名称及び日付を抽出し、前記イベントの名称及び日付を対応付けてスケジュールデータとして設定する制御部と、を備える情報処理装置。
【請求項２】
前記制御部は、前記タッチパネルに対する操作により前記表示部に表示されている画像において前記領域として２つの領域が順次指定されると、前記イベントの名称及び日付について予め設定された順序に基づき、先に指定された領域におけるテキストを認識して該テキストからイベントの名称及び日付のうち先の順序として定められた方を抽出し、後で指定された領域におけるテキストを認識して該テキストからイベントの名称及び日付のうち後の順序として定められた他方を抽出する請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記タッチパネルに対する操作により前記表示部に表示されている画像において前記領域として３つ以上の領域が順次指定されると、最初に指定された領域におけるテキストを認識して該テキストからイベントの名称を抽出し、後に指定された複数の領域におけるそれぞれのテキストを認識して該各テキストからそれぞれの日付を抽出し、当該それぞれの日付に前記イベントの名称を対応付けてスケジュールデータとして設定する請求項１に記載の情報処理装置。
【請求項４】
前記制御部は、前記タッチパネルに対する操作により前記表示部に表示されている画像における領域が指定されると、当該領域におけるテキストを認識し、前記認識したテキストの部分から日付を抽出した後、前記認識したテキストの残りの部分からイベントの名称を抽出する請求項１に記載の情報処理装置。
【請求項５】
前記制御部は、前記タッチパネルに対する操作により前記表示部に表示されている画像における２つの領域が指定されると、前記２つの領域を除く該各ライン状の領域の間に挟まれる範囲に存在するテキストを認識し、前記認識したテキストの部分から日付又は名称の一方を抽出した後、前記認識したテキストの残りの部分から日付又は名称の他方を抽出し、前記イベントの名称及び日付を対応付けてスケジュールデータとして設定する請求項１に記載の情報処理装置。
【請求項６】
前記制御部は、前記タッチパネルに対する操作により前記表示部に表示されている画像における２つの領域が指定されると、前記２つの領域を含む該各ライン状の領域の間に挟まれる範囲に存在するテキストを認識し、前記認識したテキストの部分から日付又は名称の一方を抽出した後、前記認識したテキストの残りの部分から日付又は名称の他方を抽出し、前記イベントの名称及び日付を対応付けてスケジュールデータとして設定する請求項１に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ及び表示部を備える情報処理装置に関し、特にカメラにより撮像された画像に基づきスケジュールデータを生成するための技術に関する。
【背景技術】
【０００２】
周知のように情報処理装置としては、カメラ及び表示部を備え、カメラにより撮像された画像を表示部に表示させるものがある。また、特許文献１では、カメラにより撮像された画像を表示部に表示させ、この画像における任意の箇所が指定されると、この箇所を含む認識領域を自動的に設定して、この認識領域からデータを抽出し、このデータを予め定められた分類規則に従い分類して、このデータからスケジュールデータを生成している。例えば、データから大きなサイズの文字を抽出して、この大きなサイズの文字からなる文字列をイベントの名称として設定している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０５４７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、表示部に表示されている画像における任意の箇所（タッチ操作の箇所）が指定されると、この任意の箇所を含む認識領域が自動的に設定されるので、この認識領域が適確に設定されないことがある。例えば、認識領域に複数行のテキストが含まれることがあり、テキストの選別が適確に行われない。
【０００５】
本発明は、上記の事情に鑑みなされたものであり、カメラにより撮像された画像を表示部に表示させ、この画像からイベントの名称及び日付をより確実に抽出して、スケジュールデータを生成可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一局面に係る情報処理装置は、画像を撮像するカメラと、前記カメラにより撮像された画像を表示する表示部と、前記表示部の画面に設けられたタッチパネルと、前記表示部に表示されている画像において、前記タッチパネルが受け付けたスワイプ操作の軌跡から、当該軌跡が示す長さ及び前記スワイプ操作の方向に直交する方向における予め定められた一定幅からなる領域となるライン状の領域が指定されると、前記指定された領域におけるテキストを認識して、前記テキストからイベントの名称及び日付を抽出し、前記イベントの名称及び日付を対応付けてスケジュールデータとして設定する制御部と、を備えるものである。
【発明の効果】
【０００７】
本発明によれば、カメラにより撮像された画像を表示部に表示させ、この画像においてスワイプ操作で指定されたライン状の領域におけるテキストを認識することで、当該画像からイベントの名称及び日付をより確実に抽出して、スケジュールデータを生成することが可能になる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態にかかる情報処理装置の外観を示す平面図である。
【図２】本実施形態にかかる情報処理装置の内部構成を示すブロック図である。
【図３】２つのライン状の領域におけるそれぞれのテキストを認識し、これらのテキストからイベントの名称及び日時を抽出して、スケジュールデータを生成するための処理手順を示すフローチャートである。
【図４】（Ａ）は表示部に表示されている画像におけるイベントの名称を含むライン状の領域を示す図であり、（Ｂ）は該画像におけるイベントの日時を含むライン状の領域を示す図である。
【図５】記憶部に予め記憶されている日時データテーブルを概念的に示す図である。
【図６】表示部に表示されているスケジュールデータの一覧を示す図である。
【図７】表示部に表示されているカレンダーを示す図である。
【図８】ライン状の領域における１行のテキストを認識し、この認識したテキストから日時及びイベントの名称を順次抽出するための処理手順を示すフローチャートである。
【図９】表示部に表示されている画像におけるイベントの日時及び名称を含むライン状の領域を示す図である。
【図１０】表示部に表示されている他のスケジュールデータの一覧を示す図である。
【図１１】表示部に表示されている画像におけるライン状の領域を指定するための変形例を示す図である。
【図１２】表示部に表示されている画像におけるライン状の領域を指定するための他の変形例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態にかかる情報処理装置の外観を示す平面図である。また、図２は、第１実施形態にかかる情報処理装置の内部構成を示すブロック図である。
【００１０】
本実施形態の情報処理装置１０は、例えばスマートフォンやモバイル機器などであって、表示部１１と、タッチパネル１２と、物理キー１３と、撮像カメラ１４と、ネットワーク通信部（ＮＷ通信部）１５と、記憶部１８と、制御ユニット１９とを備えている。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。
【００１１】
表示部１１は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）などから構成される。例えば、表示部１１の画面には、複数のアイコンが表示される。
【００１２】
タッチパネル１２は、所謂抵抗膜方式や静電容量方式等のタッチパネルである。タッチパネル１２は、表示部１１の画面に配置され、該タッチパネル１２に対するユーザーの指などの接触（タッチ）をその接触位置と共に検知し、表示部１１の画面に対するユーザーの指示を後述する制御ユニット１９に対して入力する。従って、タッチパネル１２は、表示部１１の画面に対するユーザー操作が入力される操作部としての役割を果たす。
【００１３】
また、情報処理装置１０は、ユーザー操作が入力される操作部として、上記のタッチパネル１２に加えて物理キー１３を備えている。
【００１４】
撮像カメラ１４は、レンズ及び撮像素子（ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)など）を備えるカメラであって、外部の画像を撮像して、この画像を示す画像データを出力する。
【００１５】
ネットワーク通信部１５は、不図示のＬＡＮ(Local Area Network)チップなどの通信モジュールを備える通信インターフェイスである。このネットワーク通信部１５は、ＬＡＮやインターネットなどを通じて外部のサーバーなどの端末装置に接続される。
【００１６】
記憶部１８は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、各種のアプリケーションプログラムや種々の情報等を記憶している。
【００１７】
制御ユニット１９は、プロセッサー、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等から構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）等である。制御ユニット１９は、上記のＲＯＭ又は記憶部１８に記憶された制御プログラムが上記のプロセッサーで実行されることにより、制御部２１として機能する。
【００１８】
制御ユニット１９は、表示部１１、タッチパネル１２、物理キー１３、撮像カメラ１４、ネットワーク通信部１５、及び記憶部１８などと接続されている。制御部２１は、これらの構成要素の動作制御や、該各構成要素との間での信号またはデータの送受信を行う。
【００１９】
また、制御部２１は、種々の処理を実行する処理部としての役割を果たす。更に、制御部２１は、表示部１１の表示動作及びネットワーク通信部１５の通信動作を制御する機能を有する。
【００２０】
ここで、第１実施形態の情報処理装置１０においては、記憶部１８に、スケジュール管理アプリケーションが記憶されている。制御部２１は、当該スケジュール管理アプリケーションに従って動作することで、スケジュール管理を行うスケジューラーとして機能する。
【００２１】
情報処理装置１０のユーザーが、撮像カメラ１４によりイベントなどの広告やポスターなどの画像を撮像すると、制御部２１が、この画像を表示部１１に表示させる。この後、制御部２１は、ユーザーによる操作に基づいて、タッチパネル１２を通じて表示部１１に表示されている画像におけるイベントの名称及び日時を含む任意の２つの領域の指定を順次受け付ける。制御部２１は、当該２つの領域の内、先に指定された方の領域におけるテキストを認識して該テキストからイベントの名称を抽出し、後で指定された方の領域におけるテキストを認識して該テキストからイベントの日時を抽出し、これらのイベントの名称及び日時を対応付けて、上記スケジューラーによるスケジュール管理に用いるスケジュールデータとして記憶する。ここで、「日時」とは、日付及び時間のうち、少なくともいずれか一方を示すテキストを示す。
【００２２】
次に、上記のように２つのライン状の領域におけるそれぞれのテキストを認識し、これらのテキストからイベントの名称及び日時を抽出して、スケジュールデータを生成するための処理手順を、図３に示すフローチャートなどを参照して詳しく説明する。
【００２３】
情報処理装置１０のユーザーは、例えば表示部１１の画面に表示されている予め定められたアイコンをタッチ操作して、タッチパネル１２を通じて、スケジュールデータを生成する処理を実行する指示を入力する。制御部２１は、当該指示に従って、スケジュールデータを生成する処理を開始し、まず撮像カメラ１４を起動させる（Ｓ１０１）。このとき、制御部２１は、撮像カメラ１４により撮像されている画像を表示部１１の画面に表示させると共に、広告やポスターなどの撮影を促す旨のメッセージを表示部１１の画面に表示させる。
【００２４】
ユーザーは、そのメッセージを見て、広告やポスターなどの画像が撮像カメラ１４により撮像されて表示部１１の画面に映る状態にしてから、情報処理装置１０の物理キー１３を操作し、撮像カメラ１４による撮像画像の取り込みの指示を入力する。制御部２１は、当該指示に従って、撮像カメラ１４による撮像画像を記憶部１８に記憶させる（Ｓ１０２）。これと共に、制御部２１は、当該記憶させた撮像画像を静止画像として表示部１１の画面に表示させる。例えば、図４（Ａ）に示すようなポスターの画像ＰＡが撮像カメラ１４により撮像されて表示部１１の画面に表示される。また、制御部２１は、表示部１１の画面に、ポスターの画像ＰＡと共に、イベントの名称の指定を促す旨を示すメッセージＭＡも表示させる。
【００２５】
ユーザーは、そのメッセージＭＡを見て、ポスターの画像ＰＡにおけるイベントの名称の表示領域（スケジュールデータとして設定したい名称が表示されている領域。ユーザーが決定する。図４（Ａ）では領域Ｊ１）に対して、指をスライドさせるスワイプ操作を行う。このスワイプ操作は、上記イベントの名称の表示領域Ｊ１の開始端から終了端まで行われるものとする。
【００２６】
制御部２１は、タッチパネル１２が受け付けたスワイプ操作の軌跡から予め定められた範囲にあるライン状の領域、すなわち、スワイプ操作の開始端と終了端を含みかつスワイプ操作の方向と直交する方向に予め定められた一定幅（例えば、表示部１１に標準的に表示される大きさの文字の縦幅）となる領域を、テキスト認識を行う対象とするライン状の領域として検出する。本実施形態では、当該テキスト認識を行う対象とするライン状の領域は、上記表示領域Ｊ１と一致するものとする。以下、当該ライン状の領域を領域Ｊ１と称する。
【００２７】
制御部２１は、上記検出により指定されたライン状の領域Ｊ１の画像部分に対して既知のＯＣＲ処理を施して、このライン状の領域Ｊ１に含まれるテキストを認識し（Ｓ１０３）、このテキストをイベントの名称とみなして、このイベントの名称を抽出する（Ｓ１０４）。
【００２８】
更に、制御部２１は、イベントの名称を抽出すると、図４（Ｂ）に示すように、ポスターの画像ＰＡと共に、メッセージＭＡに代えて、イベントの日時の指定を促す旨を示すメッセージＭＢを表示部１１の画面に表示させる（Ｓ１０５）。
【００２９】
ユーザーは、そのメッセージＭＢを見て、ポスターの画像ＰＡにおけるイベントの日時を含むライン状の領域Ｊ２に対してスワイプ操作を行う。このスワイプ操作も、ライン状の領域Ｊ２の開始端から終了端まで行われるものとする。
【００３０】
制御部２１は、上記領域Ｊ１の場合と同様にして、タッチパネル１２を通じて、スワイプ操作の開始端と終了端を含みかつスワイプ操作の方向と直交する方向で予め定められた一定幅となる領域をライン状の領域Ｊ２として検出する。更に制御部２１は、当該ライン状の領域Ｊ２の画像部分に対してＯＣＲ処理を施して、このライン状の領域Ｊ２に含まれるテキストを認識する（Ｓ１０６）。
【００３１】
そして、制御部２１は、このテキストから数値又は文字により示されるイベントの日時を抽出する（Ｓ１０７）。例えば、制御部２１は、記憶部１８に予め記憶されている図５に示すような日時データテーブルＮＤを参照して、ライン状の領域Ｊ２に含まれるテキストからイベントの日時を抽出する。この日時データテーブルＮＤには、２０１８、２０１９、…、Ｆｅｂｒｕａｒｙ、Ｊａｎｕａｒｙ、…、０１、０２、…、１２：００、１２：０１、…などの日時を示す数値及び文字が記憶されている。制御部２１は、ライン状の領域Ｊ２に含まれる数値又は文字が日時データテーブルＮＤの日時を示す数値又は文字に一致すると、この一致した日時を示す数値又は文字をイベントの年、月、日、時刻として抽出する。また、ライン状の領域Ｊ２に含まれるテキストから２つの時刻が順次抽出された場合、制御部２１は、数値が小さい方の時刻をイベントの開始時刻とし、また数値が大きい方の時刻をイベントの終了時刻と判断して抽出する。
【００３２】
そして、制御部２１は、Ｓ１０４で抽出したイベントの名称及びＳ１０７で抽出したイベントの日時を対応付けてスケジュールデータとして記憶部１８に記憶させる（Ｓ１０８）。
【００３３】
続いて、ユーザーがスワイプ操作を更に行った場合（Ｓ１０９「Ｙｅｓ」）、制御部２１は、上記領域Ｊ１の場合と同様にして、タッチパネル１２を通じて、スワイプ操作により指示されたライン状の領域を検出し、記憶部１８に記憶されている該ライン状の領域の画像部分に対してＯＣＲ処理を施して、このライン状の領域における１行のテキストを認識する（Ｓ１１０）。
【００３４】
制御部２１は、日時データテーブルＮＤを参照して、このテキストにイベントの日時が含まれるか否かを判定する（Ｓ１１１）。例えば、制御部２１は、イベントの日時が含まれないと判定すると（Ｓ１１１「Ｎｏ」）、Ｓ１０４からの処理に戻って、そのライン状の領域におけるテキストをイベントの名称とみなして、このイベントの名称を抽出し（Ｓ１０４）、Ｓ１０５からの処理を繰り返す。この場合、イベントの日時の指定を促す旨を示すメッセージＭＢが表示部１１の画面に表示され（Ｓ１０５）、ユーザーがイベントの日時を含むライン状の領域に対してスワイプ操作を行うと、記憶部１８に記憶されている該ライン状の領域の画像部分に対してＯＣＲ処理が施されて、このライン状の領域に含まれる１行のテキストが認識され（Ｓ１０６）、このテキストから数値又は文字からなるイベントの日時が抽出され（Ｓ１０７）、Ｓ１０４で抽出されたイベントの名称及びＳ１０７で抽出されたイベントの日時が対応付けられてスケジュールデータとして記憶部１８が記憶される（Ｓ１０８）。
【００３５】
従って、ユーザーは、イベントの名称を含むライン状の領域及びイベントの日時を含むライン状の領域に対してスワイプ操作を行った後、他のイベントの名称を含む別のライン状の領域に対してスワイプ操作を再び行うと、Ｓ１０４からＳ１０８までの処理が繰り返され、他のイベントの名称及び日時を対応付けたスケジュールデータが記憶部１８に記憶される。この結果、複数組のイベントの名称及び日時を対応付けたスケジュールデータが記憶部１８に記憶される。
【００３６】
一方、Ｓ１１１において、制御部２１は、日時データテーブルＮＤを参照して、このテキストにイベントの日時が含まれると判定した場合（Ｓ１１１「Ｙｅｓ」）、そのイベントの日時を抽出して（Ｓ１１２）、このイベントの日時をＳ１０７で抽出したイベントの日時（すなわち、Ｓ１１２での日時抽出により、日時を連続して抽出したことになった場合において、先に抽出した日時）と共に、Ｓ１０４で抽出したイベントの名称（すなわち、Ｓ１１２における日時抽出の前に直近で抽出した名称）に対応付けてスケジュールデータとして記憶部１８に記憶させる（Ｓ１１３）。
【００３７】
制御部２１は、表示部１１の画面に対して予め定められた操作（例えばダブルタップ）が行われていなければ（Ｓ１１４「Ｎｏ」）、Ｓ１０９からの処理に戻る。
【００３８】
従って、ユーザーは、イベントの名称を含むライン状の領域及びイベントの日時を含むライン状の領域に対してスワイプ操作を行った後、他の日時を含む別のライン状の領域に対してスワイプ操作を再び行うと、その度に、Ｓ１０４で抽出したイベントの名称に対応付けられるイベントの日時が増加し、同一のイベントの名称に複数の日時を対応付けたスケジュールデータが記憶部１８に記憶される。
【００３９】
また、Ｓ１１３の後、ユーザーがスワイプ操作を行わず、表示部１１の画面に対して上記予め定められた操作を行うと、制御部２１は、上記予め定められた操作に基づいてスケジュールデータ一覧の表示指示を受け付け（Ｓ１１４「Ｙｅｓ」）、記憶部１８に記憶されているスケジュールデータのイベントの名称及び日時に基づき、図６に例を示すようなスケジュールデータの一覧ＳＬ１を生成して表示部１１の画面に表示させる（Ｓ１１５）。そして、図３に示す処理を終了する。
【００４０】
図６に示すスケジュールデータの一覧ＳＬ１には、Ｓ１０４で抽出したイベントの名称ＩＮ及びＳ１０７で抽出した少なくとも１つの日時ＤＨが表示され、またカレンダーキーＫ１１も表示される。ユーザーがカレンダーキーＫ１１にタッチ操作すると、制御部２１は、タッチパネル１２を通じて、カレンダーキーＫ１１に対応する指示を受け付け、当該指示に従って、図７に例を示すようなカレンダーＣＡを表示部１１の画面に表示させる。このカレンダーＣＡには、イベントの名称ＩＮが表示されると共に、イベントの日時ＤＨがハイライト表示される。
【００４１】
このように第１実施形態では、スワイプ操作により表示部１１に表示されている画像におけるイベントの名称及び日時を含む任意の２つのライン状の領域が順次指定されると、先に指定されたライン状の領域におけるテキストからイベントの名称が抽出され、後で指定されたライン状の領域におけるテキストからイベントの日時が抽出され、これらのイベントの名称及び日時が対応付けられてスケジュールデータとして設定されるので、画像からイベントの名称及び日時を確実に抽出して、スケジュールデータを生成することができる。
【００４２】
尚、第１実施形態では、先にイベントの名称が抽出され、後でイベントの日時が抽出されるようにしているが、逆に先に指定されたライン状の領域におけるテキストからイベントの日時が抽出され、後で指定されたライン状の領域におけるテキストからイベントの名称が抽出されるようにしてもよい。
＜第２実施形態＞
次に、本発明の情報処理装置の第２実施形態について説明する。尚、第２実施形態の情報処理装置は、第１実施形態の情報処理装置１０と同様に、図１に示すような外観及び図２に示すような内部構成を有している。
【００４３】
第２実施形態の情報処理装置１０では、広告やポスターなどの画像が表示部１１の画面に表示されている状態で、ユーザーが、スワイプ操作により広告やポスターなどの画像におけるライン状の領域を指定すると、制御部２１は、タッチパネル１２を通じて、そのライン状の領域を検出し、該ライン状の領域におけるテキストを認識して、この認識したテキストの部分からイベントの日時を抽出した後、この認識したテキストの残りの部分からイベントの名称を抽出する。すなわち、制御部２１は、同一のライン状の領域からイベントの日時及び名称の両方を抽出する。これにより、広告やポスターなどの画像からイベントの名称及び日時を確実に抽出して、スケジュールデータを生成することができる。
【００４４】
次に、第２実施形態によりライン状の領域におけるテキストを認識し、この認識したテキストから日時及びイベントの名称を順次抽出するための処理手順を、図８に示すフローチャートなどを参照して詳しく説明する。
【００４５】
情報処理装置１０のユーザーは、例えば表示部１１の画面に表示されている予め定められたアイコンをタッチ操作して、タッチパネル１２を通じて、スケジュールデータを生成する処理を実行する指示を入力する。制御部２１は、当該指示に従って、スケジュールデータを生成する処理を開始し、まず撮像カメラ１４を起動させる（Ｓ２０１）。このとき、制御部２１は、撮像カメラ１４により撮像されている画像を表示部１１の画面に表示させると共に、広告やポスターなどの撮影を促す旨のメッセージを表示部１１の画面に表示させる。
【００４６】
ユーザーは、そのメッセージを見て、広告やポスターなどの画像が撮像カメラ１４により撮像されて表示部１１の画面に映る状態にしてから情報処理装置１０の物理キー１３を操作し、撮像カメラ１４による撮像画像の取り込みの指示を入力する。制御部２１は、当該指示に従って、撮像カメラ１４による撮像画像を記憶部１８に記憶させる（Ｓ２０２）。これと共に、制御部２１は、当該記憶させた撮像画像を静止画像として表示部１１の画面に表示させる。例えば、図９に例を示すような広告の画像ＰＢが、撮像カメラ１４により撮像されて表示部１１の画面に表示される。また、制御部２１は、表示部１１の画面に、広告の画像ＰＢと共に、イベントの名称及び日時の指定を促す旨を示すメッセージＭＣも表示させる。
【００４７】
ユーザーは、そのメッセージＭＣを見て、広告の画像ＰＢにおけるイベントの名称及び日時を含む領域Ｊ３に対してスワイプ操作を行う。このスワイプ操作は、ライン状の領域Ｊ３の開始端から終了端まで行われるものとする。
【００４８】
制御部２１は、タッチパネル１２が受け付けたスワイプ操作の軌跡から予め定められた範囲にあるライン状の領域、すなわち、スワイプ操作の開始端と終了端を含みかつスワイプ操作の方向と直交する方向で予め定められた一定幅となる領域を、テキスト認識を行う対象とするライン状の領域として検出する。本実施形態では、当該テキスト認識を行う対象とするライン状の領域は、上記表示領域Ｊ３と一致するものとする。以下、当該ライン状の領域を領域Ｊ３と称する。
【００４９】
制御部２１は、上記検出により指定されたライン状の領域Ｊ３に含まれるテキストを既知のＯＣＲ処理により認識し（Ｓ２０３）、このテキストから数値又は文字からなるイベントの日時を抽出する（Ｓ２０４）。例えば、制御部２１は、上記日時データテーブルＮＤ（図５）を参照して、ライン状の領域Ｊ３に含まれるテキストからイベントの日時を抽出する。また、制御部２１は、ライン状の領域Ｊ３に含まれるテキストから２つの時刻を順次抽出した場合、数値が小さい方の時刻をイベントの開始時刻とし、また数値が大きい方の時刻をイベントの終了時刻と判断して抽出する。
【００５０】
この後、制御部２１は、Ｓ２０３で認識したテキストから、Ｓ２０４で抽出したイベントの日時を除いた該テキストの残り部分の文字列を、イベントの名称とみなして、このイベントの名称を抽出する（Ｓ２０５）。
【００５１】
そして、制御部２１は、Ｓ２０４で抽出したイベントの日時及びＳ２０５で抽出したイベントの名称を対応付けてスケジュールデータとして記憶部１８に記憶させる（Ｓ２０６）。
【００５２】
続いて、ユーザーがスワイプ操作を再び行った場合（Ｓ２０７「Ｙｅｓ」）、制御部２１は、上記領域Ｊ３の場合と同様にして、タッチパネル１２を通じて、スワイプ操作により指示されたライン状の領域の画像部分を検出し、記憶部１８に記憶されている該ライン状の領域の画像部分に対してＯＣＲ処理を施して、このライン状の領域におけるテキストを認識し（Ｓ２０８）、Ｓ２０４からの処理を繰り返す。
【００５３】
従って、ユーザーは、イベントの名称及び日時の両方を含む領域に対してスワイプ操作を行うと、その度に、Ｓ２０４からＳ２０６までの処理が繰り返され、イベントの名称及び日時を対応付けたスケジュールデータが各領域の画像部分から抽出される。この結果、イベントの名称及び日時を対応付けた複数組のスケジュールデータが記憶部１８に記憶される。
【００５４】
また、Ｓ２０６の後、ユーザーがスワイプ操作を行わず、表示部１１の画面に対してスケジュールデータ一覧の表示指示を入力するための予め定められた操作を行うと、制御部２１は、当該予め定められた操作に基づいてスケジュールデータ一覧の表示指示を受け付け（Ｓ２０９「Ｙｅｓ」）、記憶部１８に記憶されているスケジュールデータのイベントの名称及び日時に基づき、図１０に例を示すようなスケジュールデータの一覧ＳＬ２を生成して表示部１１の画面に表示させる（Ｓ２１０）。図１０に示すスケジュールデータの一覧ＳＬ２には、Ｓ２０４、Ｓ２０５で抽出した複数組のイベントの日時ＤＨ及び名称ＩＮが表示される例を示す。Ｓ２１０の後、処理は終了する。
【００５５】
このように第２実施形態では、スワイプ操作により表示部１１に表示されている画像におけるイベントの名称及び日時を含むライン状の領域が指定されると、そのライン状の領域におけるテキストの部分からイベントの日時が抽出された後、このテキストの残りの部分からイベントの名称が抽出されるので、画像からイベントの名称及び日時の両方を確実に抽出して、スケジュールデータを生成することができる。
【００５６】
尚、第２実施形態では、表示部１１に表示されている画像におけるイベントの名称及び日時を含むライン状の領域に対するスワイプ操作が繰り返し行われると、その度に、ライン状の領域が逐次検出されるが、例えばユーザーが複数の指を使ってスワイプ操作を行い、これに基づいて制御部２１が、複数のライン状の領域を一括して検出するようにしてもよい。
【００５７】
例えば、制御部２１は、図１１に示すようにライン状の領域の個別選択キーＫ２１及び一括選択キーＫ２２を広告の画像ＰＢと共に表示部１１の画面に表示させる。ユーザーが個別選択キーＫ２１に対してタッチ操作した場合、制御部２１は、タッチパネル１２を通じて、図８に示す処理の実行指示を受け付け、当該処理を実行する。従って、この場合、ユーザーは、各領域に対するスワイプ操作を繰り返し行わなければ、複数のライン状の領域を検出させることができない。
【００５８】
一方、ユーザーが選択キーＫ２２に対してタッチ操作した場合、制御部２１は、タッチパネル１２を通じて、２つの領域を対象としてテキストを認識する処理の実行指示を受け付ける。この場合、制御部２１は、広告の画像ＰＢに対する２つの領域に対してスワイプ操作がされるのを待機する。このとき、ユーザーが２つの領域Ｊ３１、Ｊ３２（図１１）に対してそれぞれ別個にスワイプ操作を行うと、制御部２１は、タッチパネル１２が受け付けた各スワイプ操作について、スワイプ操作の軌跡から予め定められた範囲にあるライン状の領域、すなわち、スワイプ操作の開始端と終了端を含みかつスワイプ操作の方向と直交する方向で予め定められた一定幅となる領域を、テキスト認識を行う対象とするライン状の領域として検出する。制御部２１は、これにより２つのライン状の領域Ｊ３１、Ｊ３２を検出する。更に、制御部２１は、ライン状の領域Ｊ３１、Ｊ３２の一方から他方までの範囲ＫＡ（各ライン状の領域Ｊ３１、Ｊ３２を含む）を設定し、この範囲ＫＡに対してＯＣＲ処理を施して、この範囲ＫＡに存在する複数行のテキストを検出し、これらのテキストに、Ｓ２０４、Ｓ２０５の処理を行って、当該テキストの部分からイベントの日時を抽出した後、当該テキストの残りの部分からイベントの名称を抽出し、当該抽出したイベントの日時及び名称を対応付けてスケジュールデータとして記憶部１８に記憶させる。
【００５９】
あるいは、ユーザーが２回のスワイプ操作により２つのライン状の領域Ｊ３１、Ｊ３２を指示すると、制御部２１は、タッチパネル１２を通じて、図１２に示すように２つのライン状の領域Ｊ３１、Ｊ３２を検出し、該各ライン状の領域Ｊ３１、Ｊ３２の間に挟まれる範囲ＫＢ（該各ライン状の領域Ｊ３１、Ｊ３２を除く）を設定し、この範囲ＫＢに対してＯＣＲ処理を施して、この範囲ＫＢに存在する複数行のテキストを検出し、これらのテキストに、Ｓ２０４、Ｓ２０５の処理を行って、当該テキストの部分からイベントの日時を抽出した後、当該テキストの残りの部分からイベントの名称を抽出し、当該抽出したイベントの日時及び名称を対応付けてスケジュールデータとして記憶部１８に記憶させる。
【００６０】
また、図１乃至図１２を用いて説明した上記実施形態の構成は、本発明の一例に過ぎず、本発明を当該構成に限定する趣旨ではない。
【符号の説明】
【００６１】
１０    情報処理装置
１１    表示部
１２    タッチパネル
１３    物理キー
１４    撮像カメラ
１５    ネットワーク通信部
１８    記憶部
１９    制御ユニット
２１    制御部
【図１】
2020095710.tif 000003
【図２】
2020095710.tif 000004
【図３】
2020095710.tif 000005
【図４】
2020095710.tif 000006
【図５】
2020095710.tif 000007
【図６】
2020095710.tif 000008
【図７】
2020095710.tif 000009
【図８】
2020095710.tif 000010
【図９】
2020095710.tif 000011
【図１０】
2020095710.tif 000012
【図１１】
2020095710.tif 000013
【図１２】
2020095710.tif 000014