(57)【要約】【課題】画像と判読された情報を同時にリアルタイムで表示とブラウジングし、又は対応した更なる機能を実行する。【解決手段】本発明は情報及び命令に連結した画像によるブラウジング及び/又は命令実行の方法に関し、前記方法は、表示インターフェースの画像表示領域に表示された画像の各画像ブロックを判読し、各画像ブロックに連結する情報を確立するステップと、前記画像上における連結情報を有する画像ブロックをブラウジング又は選択するステップと、前記表示インターフェースの連結情報表示領域に前記選択された画像ブロックの連結情報を表示し、なお、前記情報に一以上の連結した機能命令を有する時、前記一以上の機能命令の機能オプションを表示するステップと、一以上の連結した機能命令が実行可能である時、前記機能オプションの少なくとも一の機能命令を選択し実行するステップとを有する。【選択図】図１
2013046410.tif 000002
【特許請求の範囲】
【請求項１】
表示インターフェースの画像表示領域に表示された画像の各画像ブロックを判読し、各画像ブロックに連結する情報を確立するステップと、
前記画像上における連結情報を有する画像ブロックをブラウジング又は選択するステップと、
前記表示インターフェースの連結情報表示領域に前記選択された画像ブロックの連結情報を表示し、なお、前記情報に一以上の連結した機能命令を有する時、前記一以上の機能命令の機能オプションを表示するステップと、
一以上の連結した機能命令が実行可能である時、前記機能オプションの少なくとも一の機能命令を選択し実行するステップと、
を有することを特徴とする情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項２】
前記画像ブロックの連結情報は、内容、分類及び対応する座標の範囲を含むことを特徴とする請求項１記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項３】
前記連結情報の内容及び座標の範囲は自動画像処理技術により得られたものであることを特徴とする請求項２記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項４】
前記連結情報の分類は人工知能技術により得られたものであることを特徴とする請求項２記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項５】
前記画像上における連結情報を有する画像ブロックをブラウジング又は選択する時、音声で使用者に通知できることを特徴とする請求項１記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項６】
前記連結情報表示領域に前記選択された画像ブロックの内容を拡大表示できることを特徴とする請求項１記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項７】
前記一以上の機能命令がプログラム実行装置上の予め設定された機能命令、又は事後に設定された機能命令であることを特徴とする請求項１記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項８】
前記連結情報表示領域は手動で閉じ、又は所定時間の経過後に自動的に閉じることができることを特徴とする請求項１記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項９】
前記表示インターフェースがタッチ式表示インターフェースであり、前記タッチ式表示インターフェースを介して前記画像上における連結情報を有する画像ブロックを選択することを特徴とする請求項１記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１０】
表示インターフェースの画像表示領域に表示された画像の各画像ブロックを手動で囲んで選択し、各画像ブロックに連結する情報を確立するステップと、
前記画像上における連結情報を有する画像ブロックをブラウジング又は選択するステップと、
前記表示インターフェースの連結情報表示領域に前記選択された画像ブロックの連結情報を表示し、前記情報に一以上の連結した機能命令を有する時、前記一以上の機能命令の機能オプションを表示するステップと、
一以上の連結した機能命令が実行可能である時、前記機能オプションの少なくとも一の機能命令を選択し実行するステップと、
を有することを特徴とする情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１１】
前記画像ブロックの連結情報は、内容、分類及び対応する座標の範囲を含むことを特徴とする請求項１０記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１２】
前記連結情報表示領域に前記選択された画像ブロックの内容を拡大表示できることを特徴とする請求項１０記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１３】
前記連結情報表示領域は手動で閉じ、又は所定時間の経過後に自動的に閉じることができることを特徴とする請求項１０記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１４】
前記表示インターフェースがタッチ式表示インターフェースであることを特徴とする請求項１０記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１５】
前記タッチ式表示インターフェースを介して前記画像上における連結情報を有する画像ブロックをタッチにより選択することを特徴とする請求項１４記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１６】
カーソル制御装置を介して前記画像上における連結情報を有する画像ブロックを選択することを特徴とする請求項１０記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１７】
前記一以上の機能命令がプログラム実行装置上の予め設定された機能命令、又は事後に設定された機能命令であることを特徴とする請求項１０記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１８】
前記画像上における連結情報を有する画像ブロックをブラウジング又は選択する時、音声で使用者に通知できることを特徴とする請求項１０記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法。
【請求項１９】
プログラム実行装置にプログラムをインストールした後、請求項１記載の方法を実行できることを特徴とする情報及び命令に連結した画像によりブラウジング及び/又は命令を実行するプログラムを記憶した記憶媒体。
【請求項２０】
前記プログラム実行装置がモバイル装置又はコンピュータであることを特徴とする請求項１９記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行するプログラムを記憶した記憶媒体。
【請求項２１】
プログラム実行装置にプログラムをインストールした後、請求項１０記載の方法を実行できることを特徴とする情報及び命令に連結した画像によりブラウジング及び/又は命令を実行するプログラムを記憶した記憶媒体。
【請求項２２】
前記プログラム実行装置がモバイル装置又はコンピュータであることを特徴とする請求項２１記載の情報及び命令に連結した画像によりブラウジング及び/又は命令を実行するプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報及び命令に連結した画像によるブラウジング及び/又は命令実行の方法及びその記憶媒体に関する。
【背景技術】
【０００２】
現在のモバイル装置において、画像中の情報に対して、従来の画像処理技術により、画像中の文字や数字の部分を識別することができる。しかし、表示装置の制限のため、画像と判読された情報を同時にリアルタイムで表示とブラウジングし、又は対応した更なる機能を実行することは困難である。例えば、画像処理技術により名刺上の文字や数字部分（例えば、電話番号、イーメールアドレス、会社ウェブサイトなど）を識別した後、表示インターフェースが限られたモバイル装置上で名刺画像を表示し、且つユーザーが操作してその情報をブラウジングや検索することは実際困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、画像と判読された情報を同時にリアルタイムで表示とブラウジングし、又は対応した更なる機能を実行することである。
【課題を解決するための手段】
【０００４】
本発明の一態様は、情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法を提供する。前記方法は、表示インターフェースの画像表示領域に表示された画像の各画像ブロックを判読し、各画像ブロックに連結する情報を確立するステップと、前記画像上における連結情報を有する画像ブロックをブラウジング又は選択するステップと、前記表示インターフェースの連結情報表示領域に前記選択された画像ブロックの連結情報を表示し、なお、前記情報に一以上の連結した機能命令を有する時、前記一以上の機能命令の機能オプションを表示するステップと、一以上の連結した機能命令が実行可能である時、前記機能オプションの少なくとも一の機能命令を選択し実行するステップとを有することを特徴とする。
【０００５】
本発明の別の態様は、情報及び命令に連結した画像によりブラウジング又は命令を実行する方法を提供する。上記方法は、表示インターフェースの画像表示領域に表示された画像の各画像ブロックを手動で囲んで選択し、各画像ブロックに連結する情報を確立するステップと、前記画像上における連結情報を有する画像ブロックをブラウジング又は選択するステップと、前記表示インターフェースの連結情報表示領域に前記選択された画像ブロックの連結情報を表示し、なお、前記情報に一以上の連結した機能命令を有する時、前記一以上の機能命令の機能オプションを表示するステップと、一以上の連結した機能命令が実行可能である時、前記機能オプションの少なくとも一の機能命令を選択し実行するステップとを有することを特徴とする。
【０００６】
本発明の更に別の態様は、情報及び命令に連結した画像によりブラウジング及び/又は命令を実行するプログラムを記憶するプログラム製品（記憶媒体）を提供する。プログラム実行装置に前記プログラムをインストールした後、情報及び命令に連結した画像によりブラウジング及び/又は命令を実行する方法を実施できる。
【０００７】
しかし、本発明は名刺のみの応用に制限されず、本発明を例えば、倉庫管理又は情報及び命令に連結した画像によるブラウジング及び/又は命令の実行等が必要なその他の事由に応用することができる。
【０００８】
概して言えば、本発明の明細書中に記載される「情報及び命令に連結した画像によるブラウジング及び/又は命令実行の方法」とは、表示インターフェースの画像表示領域に表示された画像の各画像ブロックを判読し、又は囲んで選択し、そして、これら画像ブロックに連結する情報（これら画像ブロックの連結情報は内容、分類及び対応する座標の範囲を含む）を確立して、所謂「情報及び命令に連結した画像」を形成する。その後、ユーザーが前記画像（即ち「情報及び命令に連結した画像」）上における連結情報を有する画像ブロックを選択する時、前記表示インターフェースの連結情報表示領域に前記選択された画像ブロックの連結情報が表示され、更に前記選択された画像ブロックに連結する一以上の機能命令を実行する。機能命令を画像ブロックと連結することは、本分野の技術者であれば熟知しているところであるので、ここではその原理を説明しない。又、例えば、上記の画像ブロックに連結する一以上の機能命令はこのプログラム実行装置上において所定の機能命令、又はユーザーが事後に設定する機能命令でもあり得る。
【発明の効果】
【０００９】
本発明によれば、画像と判読された情報を同時にリアルタイムで表示とブラウジングし、又は対応した更なる機能を実行することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施例に基づく情報及び命令に連結した画像によるブラウジング及び/又は命令実行の方法のフローチャートである。
【図２】本発明の別の実施例に基づく情報及び命令に連結した画像によるブラウジング及び/又は命令実行の方法のフローチャートである。
【図３】本発明の方法を名刺に応用した実施例を示す。
【図４】表示インターフェースにおいて連結情報表示領域を表示した時の図である。
【発明を実施するための形態】
【００１１】
本発明のその他の実施例及びメリットを、以下の本発明の原理範例を示す添付の図面と合わせて詳細な説明により更に明確にする。この他、本発明に対して不必要な混乱を避けるために、本明細書において周知の手段及び原理について説明をしない。本発明の図面において、同一の手段は同一の符号により表示する。
【００１２】
図１は、本発明の実施例に基づく情報及び命令に連結した画像によるブラウジング及び/又は命令実行の方法のフローチャート１００である。フローチャート１００はステップ１０１から開始し、そのうち、表示インターフェースの画像表示領域に表示された画像の各画像ブロックを判読し、各画像ブロックに連結する情報を確立する。画像ブロックの連結情報は内容、分類及び対応する座標の範囲を含む。この連結情報の内容及び座標の範囲は、例えば光学的文字認識(OCR, optical character recognition)技術により得られ、分類は自然言語処理(NLP, natural language processing)技術により得られる。光学的文字認識技術及び自然言語処理技術は、本分野の技術者であれば熟知しているところであるので、その原理については説明しない。図１の実施例は、例えば、光学的文字認識の自動画像処理技術、及び、例えば自然言語処理などの人工知能技術により画像の各画像ブロックを自動的に判読し、且つ各画像ブロックに連結する各種の情報を確立する。画像ブロックを判読すると同時に、画像上の画像ブロックに対応する座標の範囲も確立できる。
【００１３】
なお、前述した画像はデータベース中に存在している画像ファイルであってもよく、又はリアルタイムで生成された画像、例えばデジタルカメラやスキャナなどを利用して取り込まれた画像であってもよい。
【００１４】
ステップ１０３において、前述した画像上における連結情報を有する画像ブロックをブラウジング又は選択する。前記表示インターフェースが、例えばタッチ式表示インターフェースである場合、このタッチ式表示インターフェースを利用して該画像上における連結情報を有する画像ブロックをタッチして（例えば、クリックする）選択する。なお、該画像上における連結情報を有する画像ブロックをブラウジング又は選択する時、音声で使用者に通知できる。
【００１５】
ステップ１０５において、前述した表示インターフェースの連結情報表示領域に前記選択された画像ブロックの連結情報を表示し、なお、この情報に一以上の連結した機能命令を有する時、この一以上の機能命令の機能オプションを表示する。本発明の実施例において、前記連結情報表示領域にこの選択された画像ブロックの内容を拡大表示できる。また、前記連結情報表示領域は、手動で閉じ、又は所定時間の経過後に自動的に閉じることができる。
【００１６】
ステップ１０７において、一以上の連結した機能命令が実行可能である時、前述した機能オプションの少なくとも一の機能命令を選択し実行する。
【００１７】
図２は、本発明の別の実施例に基づいた情報及び命令に連結した画像によるブラウジング及び/又は命令実行の方法のフローチャート２００である。フローチャート２００はフローチャート１００に類似するものであるが、図２の実施例は、例えば光学的文字認識等の自動画像処理技術、及び、例えば自然言語処理などの人工知能技術を使用せず、手動方式でなされる。フローチャート２００は、ステップ２０１から開始し、その表示インターフェースの画像表示領域に表示された画像の各画像ブロックを手動で囲んで選択し、各画像ブロックに連結する情報を確立する。本実施例において、画像ブロックの各種情報は、手動で確立することができる。この表示インターフェースが、例えばタッチ式表示インターフェースである場合、タッチすることで画像上の画像ブロックを囲んで選択できる。画像ブロックの連結情報は、内容、分類及び対応する座標の範囲を含む。囲んで選択すると同時に、画像上の画像ブロックに対応する座標の範囲もリアルタイムで確立できる。
【００１８】
ステップ２０３において、前述した画像上における連結情報を有する画像ブロックをブラウジング又は選択する。例えば、前述したタッチ式表示インターフェースを利用して前記画像上における連結情報を有する画像ブロックをタッチして（例えば、クリックする）選択する。或いは、カーソル制御装置によりこの画像上における連結情報を有する画像ブロックを選択（例えばクリック）する。なお、前記画像上における連結情報を有する画像ブロックをブラウジング又は選択する時、音声で使用者に通知できる。
【００１９】
ステップ２０５において、前述した表示インターフェースの連結情報表示領域に前記選択された画像ブロックの連結情報を表示し、この情報に一以上の連結した機能命令を有する時、この一以上の機能命令の機能オプションを表示する。本発明の実施例において、前記連結情報表示領域にこの選択された画像ブロックの内容を拡大表示できる。前記連結情報表示領域は、手動で閉じ、又は所定時間の経過後に自動的に閉じることができる。
【００２０】
ステップ２０７において、一以上の連結した機能命令が実行可能である時、この機能オプションの少なくとも一の機能命令を選択し実行する。
【００２１】
図３は、本発明の方法を名刺に応用した実施例を示す。しかし、本発明は名刺のみの応用に制限されない。先ず、デジタルカメラ、スキャナなどの装置により名刺の画像１を生成する。或いは、この画像がデータベース中に存在している画像ファイルであってもよい。次に、表示インターフェース１１の画像表示領域１６に表示された画像１の画像ブロックを判読し又は手動で囲んで選択し、そしてこれら画像ブロックに連結する各種情報を確立する。図３に示すように、これら画像ブロックは、住所画像ブロック２、電話番号画像ブロック３、ファクス番号画像ブロック４、イーメールアドレス画像ブロック５、ウェブサイト画像ブロック６、名前画像ブロック７、役職名画像ブロック８、部署名画像ブロック９、会社名画像ブロック１０、会社ロゴ画像ブロック等を含む。この画像ブロックの情報は、内容、分類及び対応する座標の範囲（例えば、画像ブロックの四つの端点のＸとＹ座標）を含むことができる。図３を例にすると、ここでの分類は例えば、住所、電話番号、ファクス番号、イーメールアドレス、ウェブサイト、名前、役職名、部署名、会社名、会社ロゴなどの分類を含む。ここでの内容は各情報中の文字及び/又は数字情報を指す。
【００２２】
次に、図４に示すように、ユーザーが名刺画像上の電話番号を検索する時、画像１における連結情報を有する電話番号画像ブロック（即ち、図４中において黒い点で表示された「選択位置」）を選択できる。この時、表示インターフェース１１の連結情報表示領域１２に選択された電話番号画像ブロックの連結情報を表示し、この連結情報表示領域に、選択された電話番号画像ブロックの内容（例えば電話番号）を拡大表示できる。又、電話番号画像ブロックの情報に一以上の連結した機能命令を有する時、連結情報表示領域１２中にこの一以上の機能命令（例えば、電話をかける機能１３、メール送信機能１４）の機能オプションを表示する。ユーザーはこの機能オプションの少なくとも一の機能命令（例えば、電話をかける機能１３、メール送信機能１４）を選択し実行できる。図３及び図４を例にすると、この一以上の機能命令は、地図/ナビゲーション機能、電話をかける/メール送信機能、ファクス送信機能、イーメール送信機能、ネットブラウジング機能等を含むことができる。
【００２３】
手動クリック画像ボタン１５により連結情報表示領域１２を閉じたり、又は連結情報表示領域１２が所定時間を経過した後に自動的に閉じることができる。
【００２４】
しかし、本発明は名刺のみの応用に制限されない。本発明を、例えば倉庫管理又は情報及び命令に連結した画像によりブラウジング及び/又は命令実行することが必要なその他の事由にも応用できる。例えば、倉庫管理を例にすると、先ず、物品の画像を取り入れ、この画像上の画像ブロックを判読する、又は手動で囲んで選択する。そして、この画像ブロックに連結する情報を確立する。これら画像ブロックの情報は、物品名、製造番号、サプライヤー等の分類や内容及び対応する座標の範囲を含むことができる。画像ブロックの情報に一以上の連結した機能命令を有する時、この一以上の機能命令の機能オプションを表示する。この一以上の機能命令は、例えば物品名、製造番号、サプライヤーなどを検索するための機能命令であり、且つ上記連結した機能命令が実行可能な場合、この機能オプションの少なくとも一の機能命令を選択し実行することができる。例えば、製造番号を検索する機能命令を実行する。
【００２５】
この他、本発明の更に別の実施例によれば、情報及び命令に連結した画像によりブラウジング及び/又は命令実行するプログラムを記憶したプログラム製品（記憶媒体）を提供する。プログラム実行装置がこのプログラムをインストールした後、図１又は図２に示された方法を実行できる。このプログラム実行装置は、例えば、モバイル装置（例えば、携帯電話、携帯情報端末（PDA）等）又はコンピュータ（例えば、デスクトップパソコン、ノートパソコン等）の装置であり得るが、これらに限定されない。
【００２６】
以上、本発明の実施例について具体的に説明したが、本発明は上述の実施例に限定されるものではなく、本発明技術的思想に基づく各種の変形が可能である。
【符号の説明】
【００２７】
１  画像
２  住所画像ブロック
３  電話番号画像ブロック
４  ファクス番号画像ブロック
５  イーメールアドレス画像ブロック
６  ウェブサイト画像ブロック
７  名前画像ブロック
８  役職名画像ブロック
９  部署名画像ブロック
１０  会社名画像ブロック
１１  表示インターフェース
１２  連結情報表示領域
１３  電話をかける機能
１４  メール送信機能
１５  画像ボタン
１６  画像表示領域
【図１】
2013046410.tif 000003
【図２】
2013046410.tif 000004
【図３】
2013046410.tif 000005
【図４】
2013046410.tif 000006