(57)【特許請求の範囲】
【請求項１】
ブラウザー制御方法であって、コンピュータにより実行されるステップが、
前記コンピュータの入力手段を通じてユーザが筆記入力した筆記入力イメージデータを受信する段階と、
前記筆記入力イメージデータを所定のイメージ認識処理を介して認識する段階と、
複数のイメージそれぞれに１対１で対応付けられた相互に異なるブラウザーメニュー命令又はウェブページメニュー命令の内、前記認識された筆記入力イメージデータに対応する前記ブラウザーメニュー命令又はウェブページメニュー命令を識別する段階と、
前記識別されたブラウザーメニュー命令又はウェブページメニュー命令を、ブラウザーのＤＯＭオブジェクトを変更して実行する段階と、
を含むことを特徴とするイメージを利用したブラウザー制御方法。
【請求項２】
前記認識された筆記入力イメージデータに基づいて、前記ブラウザーメニュー命令又はウェブページメニュー命令に対応付けられた推薦文字又は推薦記号を表示する段階を更に含み、
前記識別されたブラウザーメニュー命令又はウェブページメニュー命令を実行する段階は、表示された前記推薦文字又は前記推薦記号の中で前記ユーザによって選択された文字又は記号に対応する前記ブラウザーメニュー命令又はウェブページメニュー命令を実行する段階を含むことを特徴とする請求項１に記載のイメージを利用したブラウザー制御方法。
【請求項３】
前記推薦文字又は推薦記号を表示する段階は、
前記認識された筆記入力イメージデータに対応する前記ブラウザーメニュー命令又はウェブページメニュー命令が存在しないと判別された場合に、前記認識された筆記入力イメージデータに基づいて、前記ブラウザーメニュー命令又はウェブページメニュー命令に対応付けられた推薦文字又は推薦記号を表示することを特徴とする請求項２に記載のイメージを利用したブラウザー制御方法。
【請求項４】
前記命令を識別する段階は、
前記認識された筆記入力イメージデータに対応するブラウザーメニュー命令又はウェブページメニュー命令が存在しないと判別された場合に、前記認識された筆記入力イメージデータがクエリー入力命令であると識別する段階を含み、
前記命令を実行する段階は、
前記認識された筆記入力イメージデータに対応する文字を検索窓に入力する前記クエリー入力命令を実行する段階を含むことを特徴とする請求項１から３のいずれか１つに記載のイメージを利用したブラウザー制御方法。
【請求項５】
コンピュータに、請求項１から４のいずれか一つに記載のブラウザー制御方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項６】
使用者端末機で実行されるブラウザーのイメージ命令コンポーネント及びウェブページ情報を前記使用者端末機に提供するウェブサーバーを含むブラウザー制御システムであって、
前記イメージ命令コンポーネントは、
前記使用者端末機の入力手段を通じて使用者が筆記入力した筆記入力イメージデータを受信し、受信した前記筆記入力イメージデータを所定のイメージ認識処理を介して認識する機能と、
複数のイメージそれぞれに１対１で対応付けられた相互に異なるブラウザーメニュー命令又はウェブページメニュー命令の内、前記認識された筆記入力イメージデータに対応する前記ブラウザーメニュー命令又はウェブページメニュー命令を識別する機能と、
前記識別されたブラウザーメニュー命令又はウェブページメニュー命令を前記ブラウザーがＤＯＭオブジェクトを変更して実行するように、前記識別されたブラウザーメニュー命令又はウェブページメニュー命令に対応する命令イベントを前記ブラウザーに出力する機能と、
を含むことを特徴とするイメージを利用したブラウザー制御システム。
【請求項７】
前記イメージ命令コンポーネントから伝送される、前記使用者端末機の入力手段を通じて使用者が筆記入力した筆記入力イメージデータを前記所定のイメージ認識処理を介して認識し、認識された前記筆記入力イメージデータに対応する推薦文字又は推薦記号を抽出し、抽出された前記推薦文字又は前記推薦記号を前記使用者端末機に伝送するイメージ処理サーバーを更に含むことを特徴とする請求項６に記載のイメージを利用したブラウザー制御システム。
【請求項８】
前記イメージ命令コンポーネントは、前記筆記入力イメージデータに対応する前記ブラウザーメニュー命令又はウェブページメニュー命令が存在しないと判別された場合に、前記イメージ処理サーバーに前記筆記入力イメージデータを伝送し、前記イメージ処理サーバーから伝送される前記筆記入力イメージデータに対応する前記推薦文字又は前記推薦記号を表示し、前記推薦文字又は前記推薦記号の中で使用者の選択により選択された文字又は記号に対応する命令イベントを前記ブラウザーに出力することを特徴とする請求項７に記載のイメージを利用したブラウザー制御システム。
【請求項９】
前記イメージ処理サーバーは、前記ブラウザーメニュー命令又はウェブページメニュー命令に対応付けられた基本イメージデータに基づいて、前記受信した筆記入力イメージデータの正確度を算出し、算出された前記正確度が基準値以上である否かを判別し、基準値以上である場合に、前記受信した筆記入力イメージデータに対応する前記推薦文字又は推薦記号を抽出し、抽出された前記推薦文字又は前記推薦記号を前記使用者端末機に伝送することを特徴とする請求項７又は８に記載のイメージを利用したブラウザー制御システム。
【請求項１０】
前記イメージ命令コンポーネントから伝送される、前記使用者端末機の入力手段を通じて使用者が筆記入力した筆記入力イメージデータを前記所定のイメージ認識処理を介して認識し、認識された前記筆記入力イメージデータに対応する前記ブラウザーメニュー命令又はウェブページメニュー命令を識別し、識別された命令情報を前記イメージ命令コンポーネントに伝送するイメージ処理サーバーを更に含むことを特徴とする請求項６に記載のイメージを利用したブラウザー制御システム。
【請求項１１】
前記イメージ処理サーバーは、前記筆記入力イメージデータに対応する前記ブラウザーメニュー命令又はウェブページメニュー命令が存在しないと判別された場合に、前記筆記入力イメージデータに対応する推薦文字又は推薦記号を抽出し、抽出された前記推薦文字又は前記推薦記号を前記使用者端末機に伝送することを特徴とする請求項１０に記載のイメージを利用したブラウザー制御システム。
【請求項１２】
前記イメージ処理サーバーは、前記ブラウザーメニュー命令又はウェブページメニュー命令に対応付けられた基本イメージデータに基づいて、前記受信した筆記入力イメージデータの正確度を算出し、算出された前記正確度が基準値以上である否かを判別し、基準値以上である場合に、前記受信した筆記入力イメージデータに対応する前記命令情報を前記使用者端末機に伝送することを特徴とする請求項１０又は１１に記載のイメージを利用したブラウザー制御システム。
【請求項１３】
前記イメージ命令コンポーネントの前記ブラウザーメニュー命令又はウェブページメニュー命令を識別する機能は、
前記ブラウザーメニュー命令又はウェブページメニュー命令に対応付けられた基本イメージデータに基づいて、前記筆記入力イメージデータの正確度を算出し、算出された前記正確度が基準値以上である否かを判別する機能を含み、
前記命令イベントを前記ブラウザーに出力する機能は、
前記正確度が基準値以上である場合に、前記命令イベントを前記ブラウザーに出力することを特徴とする請求項６に記載のイメージを利用したブラウザー制御システム。
【請求項１４】
前記イメージ命令コンポーネントは、
認識された前記筆記入力イメージデータに対応する推薦文字又は推薦記号を抽出し、抽出された前記推薦文字又は推薦記号を前記使用者端末機に表示する機能をさらに含み、
前記命令イベントを前記ブラウザーに出力する機能は、
前記推薦文字又は前記推薦記号の中で前記ユーザにより選択された文字又は記号に対応する前記命令イベントを前記ブラウザーに出力することを特徴とする請求項６に記載のイメージを利用したブラウザー制御システム。
【請求項１５】
前記命令を識別する機能は、
前記認識された筆記入力イメージデータに対応するブラウザーメニュー命令又はウェブページメニュー命令が存在しないと判別された場合に、前記認識された筆記入力イメージデータがクエリー入力命令であると識別し、
前記命令イベントを前記ブラウザーに出力する機能は、
前記認識された筆記入力イメージデータに対応する文字を検索窓に入力するクエリー入力命令イベントを前記ブラウザーに出力することを特徴とする請求項６から１４のいずれか１つに記載のイメージを利用したブラウザー制御システム。
【請求項１６】
使用者端末機で実行されるブラウザーのイメージ命令コンポーネント及びウェブページ情報を前記使用者端末機に提供するウェブサーバーを含むブラウザー制御システムであって、
前記イメージ命令コンポーネントは、前記使用者端末機の入力手段を通じて使用者が筆記入力した筆記入力イメージデータを受信する機能を含み、
前記イメージ命令コンポーネントから伝送される前記筆記入力イメージデータを前記所定のイメージ認識処理を介して認識し、複数のイメージそれぞれに１対１で対応付けられた相互に異なるブラウザーメニュー命令又はウェブページメニュー命令の内、認識された前記筆記入力イメージデータに対応する前記ブラウザーメニュー命令又はウェブページメニュー命令を識別し、識別された命令情報を前記イメージ命令コンポーネントに伝送するイメージ処理サーバーを備え、
前記イメージ命令コンポーネントは、
前記イメージ処理サーバーから受信した前記命令情報を前記ブラウザーがＤＯＭオブジェクトを変更して実行するように、前記命令情報に対応する命令イベントを前記ブラウザーに出力する機能をさらに含むことを特徴とするイメージを利用したブラウザー制御システム。
【請求項１７】
前記イメージ処理サーバーは、前記認識された前記筆記入力イメージデータに対応する前記ブラウザーメニュー命令又はウェブページメニュー命令が存在しないと判別された場合に、前記認識された前記筆記入力イメージデータに対応する推薦文字又は推薦記号を抽出し、抽出された前記推薦文字又は前記推薦記号を前記使用者端末機に伝送し、
前記イメージ命令コンポーネントは、
表示された前記推薦文字又は前記推薦記号の中で使用者により選択された文字又は記号に対応する命令イベントを前記ブラウザーに出力する機能をさらに含むことを特徴とする請求項１６に記載のイメージを利用したブラウザー制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージを利用したブラウザー制御方法及びそのシステムに関するものである。
【背景技術】
【０００２】
最近、超高速インターネットが急速に普及することに伴い、インターネットは、現代生活になくてはならない必需品となっている。インターネット使用者は、通信端末装置を通じてポータルサイト、ゲームサイト又はコミュニティサイトなどに接続して多様なウェブサービスを利用している。
【０００３】
ウェブサービスを利用する使用者は、ウェブブラウザーに各種の命令及びデータを入力してウェブブラウジングを行う。例えば、使用者は、ウェブサーフィンをしながらアドレス窓にＵＲＬ（ｕｎｉｆｏｒｍｒｅｓｏｕｒｃｅ ｌｏｃａｔｏｒ）を入力したり、検索窓に検索語を入力して所望する情報を得ることができる。また、「戻る」、「進む」、「スクロール」、「更新」などのウェブブラウジング命令を通じて多様なウェブページに移動することができる（ウェブページを表示させることができる）。
【０００４】
一般に使用者は、キーボードやマウス等の入力手段を使用してウェブブラウジングを行う。キーボードは主にハングルやアルファベットのようなテキストを入力することに使用され、マウスはウェブブラウザー窓の各種のボタン（戻る、進む、更新ボタンなど）及び命令（決定、キャンセルなど）を選択したり、又はウェブページ上でハイパーリンクを選択することに利用される。
【０００５】
ところで、ハングルやアルファベットは、キーボードで容易に入力することができるが、キーボードを用いた漢字やアラビア文字又は各種の記号の入力は、利便性が低く不便である。特に、キーボードを使用した入力が困難な使用者端末機の場合、その利便性がより一層低くなる。例えば、携帯電話、ＰＤＡなどの無線端末機の場合、キーパッドにより入力することができるが、入力可能な文字数又は記号数が制限されているので、所望の文字を入力し難い。
【０００６】
一方、小型コンピュータや無線端末機の場合、画面が小さいためブラウザー窓に各種ファンクションボタン及びメニューを表示すると、実際に使用者が願望する情報を表示する領域が減少してしまう。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
そこで、本発明の目的は、使用者がより容易にブラウザー命令を実行でき、ブラウザー画面を効率的に利用できるイメージを利用したブラウザー制御方法及びシステムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の一実施例におけるイメージを利用したブラウザー制御方法は、イメージを受信する段階と、該イメージを認識する段階と、認識されたイメージに基づいた命令を実行する段階とを含むことを特徴とする。
【０００９】
上記命令実行段階は、認識されたイメージに対応するブラウザーメニュー命令又はウェブページメニュー命令を実行する段階を含むことができる。
【００１０】
上記命令実行段階は、上記認識されたイメージに対応する文字を検索窓に入力する段階を含むことができる。
【００１１】
また、上記命令は、ブラウザーのＤＯＭオブジェクトを変更して実行されることができる。
【００１２】
上記認識されたイメージに基づいた推薦文字又は推薦記号を抽出して表示する段階を更に含み、上記命令実行段階は、上記推薦文字又は推薦記号の中で選択された文字又は記号に対応する命令を実行する段階を含むことができる。
【００１３】
また、上記認識されたイメージに対応する命令が存在するのかを判断する段階を更に含み、上記命令実行段階は、上記判断段階で認識されたイメージに対応する命令が存在すると判断した場合に上記認識されたイメージに対応する命令を実行する段階と、上記判断段階で認識されたイメージに対応する命令が存在しないと判断した場合に認識されたイメージに基づいた推薦文字又は推薦記号から選択された文字又は記号に対応する命令を実行する段階と、を含むことができる。
【００１４】
本発明の他の実施例によるコンピュータ読み取り可能な記録媒体は、上記イメージを利用したブラウザー制御方法のいずれか一つをコンピュータに実行させるためのプログラムを記録する。
【００１５】
本発明の他の実施例によるイメージを利用したブラウザー制御システムは、イメージ命令コンポーネント及びウェブページ情報を使用者端末機に提供するウェブサーバーを含み、上記イメージ命令コンポーネントは、入力されたイメージに基づいた命令をブラウザーで実行するように上記ブラウザーにイベントを伝達する。
【００１６】
上記命令は、ブラウザーメニュー命令及びウェブページメニュー命令のうちの少なくとも一つを含むことができる。
【００１７】
上記入力されたイメージに基づいた命令は、上記入力されたイメージに対応する文字をウェブページ検索窓に入力する命令であることができる。
【００１８】
上記イメージ命令コンポーネントは、上記入力されたイメージを認識し、認識されたイメージに対応する命令イベントを上記ブラウザーに伝達することができる。
【００１９】
上記イメージ命令コンポーネントから伝送される上記入力されたイメージを認識して推薦文字又は推薦記号を抽出し、上記推薦文字又は推薦記号を上記使用者端末機に伝送するイメージ処理サーバーを更に含むことができる。
【００２０】
上記イメージ命令コンポーネントは、上記入力されたイメージを認識し、認識されたイメージに対応する命令が存在するのか否かを判断し、上記認識されたイメージに対応する命令が存在する場合に認識されたイメージに対応する命令イベントを上記ブラウザーに伝達し、上記認識されたイメージに対応する命令が存在しない場合に上記推薦文字又は推薦記号の中で使用者の選択により選択された文字又は記号に対応する命令イベントを上記ブラウザーに伝達することができる。
【００２１】
また、上記イメージ処理サーバーは、上記入力されたイメージを認識して正確度を算出し、認識イメージの正確度が基準値以上である場合に、上記認識されたイメージに対応する命令情報を上記イメージ命令コンポーネントに伝送することができる。
【００２２】
また、上記イメージ処理サーバーは、認識されたイメージに対応する命令が存在するのか否かを判断し、上記認識されたイメージに対応する命令が存在する場合に認識されたイメージに対応する命令情報を上記イメージ命令コンポーネントに伝送し、上記認識されたイメージに対応する命令が存在しない場合に上記推薦文字又は推薦記号を上記使用者端末機に伝送することができる。
【００２３】
また、上記イメージ命令コンポーネントは、上記推薦文字又は推薦記号を上記使用者端末機に表示し、上記推薦文字又は推薦記号の中で使用者の選択により選択された文字又は記号に対応する命令イベントを上記ブラウザーに伝達することができる。
【００２４】
上記イメージ命令コンポーネントは、上記入力されたイメージを認識して正確度を算出し、認識イメージの正確度が基準値以上である場合に、上記認識されたイメージに対応する命令イベントを上記ブラウザーに伝達することができる。
【００２５】
上記イメージ命令コンポーネントは、上記入力されたイメージを認識して推薦文字又は推薦記号を抽出し、上記推薦文字又は推薦記号を上記使用者端末機に表示することができる。
【発明の効果】
【００２６】
本発明によれば、使用者が入力したイメージに基づいてブラウザーのＤＯＭオブジェクトを変更してブラウザー制御を遂行するため、入力されたイメージに対応する命令をブラウザーで実行させることが可能となる。
【００２７】
このため、ブラウザーをより容易に利用でき、ウェブサービスへのアクセス性を向上させることができる。また、入力方法が難しかった漢字やアラビア文字、記号などの検索窓への入力を容易にし、例えば、記号を含むクエリーを容易に生成することができ、使用者の満足度を向上させることができる。
【００２８】
そして、ブラウザー窓に各種ファンクションボタンを表示する必要がなくなり、画面をより効率的に利用することができる。
【発明を実施するための最良の態様】
【００２９】
以下、添付の図面を参照しながら、本発明を好適な実施例に則して詳細に説明する。
【００３０】
図１は、本発明の一実施例におけるイメージを利用したブラウザー制御システムを説明するためのブロック図であり、図２は、図１に示した使用者端末機の一例を示すブロック図である。
【００３１】
図１に示すように、本発明の実施例におけるイメージを利用したブラウザー制御システムは、ウェブサーバー２００及びイメージ処理サーバー３００を含み、通信網１０を介して複数の使用者端末機１００と連結されている。
【００３２】
通信網１０は構内情報通信網（ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ（ＬＡＮ））、都市圏通信網（ｍｅｔｒｏｐｏｌｉｔａｎ ａｒｅａｎｅｔｗｏｒｋ（ＭＡＮ））、広域通信網（ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ（ＷＡＮ））、インターネットなどを含むデータ通信網のみならず、電話網などを含むことができ、有線と無線を問わずに如何なる通信方式を使用してもよい。
【００３３】
使用者端末機１００は、使用者がウェブサービスを利用するために使用する通信端末装置であって、通信網１０を介してウェブサーバー２００に接続して情報の通信を行う。使用者端末機１００は、デスクトップコンピュータ、ノートパソコン、ワークステーション、パームトップ（ｐａｌｍｔｏｐ）コンピュータ、ＵＭＰＣ（ｕｌｔｒａｍｏｂｉｌｅ ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）、タブレットＰＣ、個人携帯情報端末機（ｐｅｒｓｏｎａｌｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ、ＰＤＡ）、ウェブパッド、携帯電話などのようなメモリ手段を備え、マイクロプロセッサを搭載して演算能力を有する端末機である。
【００３４】
図２に示すように、使用者端末機１００は、入力部１１０、表示部１２０、ブラウザー１３０及びイメージ命令コンポーネント１４０を含む。
【００３５】
入力部１１０は、使用者から情報又は命令を受信する機能を行い、筆記入力が可能なマウス、ペンマウス、電子ペン、タッチパッド、タッチパネル又はタブレット（ｔａｂｌｅｔ）等で構成することができる。また、使用者端末機１００は、入力部１１０を通じて使用者からイメージ（筆記入力に基づく画像データ）を受信する。
【００３６】
表示部１２０は、各種情報を画面に出力して使用者に提供する機能を行い、ＬＣＤ（ｌｉｑｕｉｄ-ｃｒｙｓｔａｌ-ｄｉｓｐｌａｙａｙ）、ＣＲＴ（ｃａｔｈｏｄｅ-ｒａｙｔｕｂｅ）、ＬＥＤ（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）モニターなどから構成される。なお、表示部１２０にタッチスクリーンを備えるように構成することもでき、この場合、入力部１１０の機能を共に提供することができる。
【００３７】
ブラウザー１３０は、ウェブページを開いて見ることができるアプリケーションプログラムであって、ウェブサーバー２００に接続してウェブページ情報を受け、当該ウェブページを表示部１２０に表示する。ブラウザー１３０の例として、ＩｎｔｅｒｎｅｔＥｘｐｌｏｒｅｒ、Ｎｅｔｓｃａｐｅ、Ｍｏｚｉｌｌａ、Ｆｉｒｅｆｏｘなどのような商業用プログラムが挙げられるが、これに限らない。また、使用者端末機１００が無線端末機である場合、当該ブラウザー１３０は、モバイルウェブブラウザーで構成される。
【００３８】
イメージ命令コンポーネント１４０は、ウェブサーバー２００から伝送されて使用者端末機１００で実行されるＦｌａｓｈ、Ｊａｖａｓｃｒｉｐｔ、アクティブエックス（Ａｃｔｉｖｅ-Ｘ）等のウェブコンポーネントである。本発明の一実施例のイメージ命令コンポーネント１４０は、イメージ認識アルゴリズムを備えており、使用者が入力部１１０を介して入力したイメージ（筆記入力に基づく画像データ）を認識する。そして、イメージ命令コンポーネント１４０は、認識されたイメージに対応する命令をブラウザー１３０が実行することができるように当該ブラウザー１３０に送る。つまり、イメージ命令コンポーネント１４０は、ブラウザー１３０内に搭載されたスクリプトマシンに命令イベントを伝送し、スクリプトマシンはこれに対応するスクリプトを実行してＣＳＳ（ｃａｓｃａｄｉｎｇｓｔｙｌｅ ｓｈｅｅｔｓ）を変更したり、又はブラウザー１３０のＤＯＭ（ｄｏｃｕｍｅｎｔｏｂｊｅｃｔ ｍｏｄｅｌ）オブジェクトを変更することで、当該命令を実行させることができる。例えば、ブラウザー１３０のテキストエディターＤＯＭオブジェクトのＴｅｘｔＢｏｘのValue値を変更することでテキストボックスに文字が書き込み可能となる。
【００３９】
ここで命令は、ブラウザー１３０で実行され得る命令であって、ブラウザー１３０のＤＯＭオブジェクトを変更することで実行され得る命令であれば、如何なるものでも適用され得る。このような命令の例として、‘戻る’、‘進む’、‘中止’、‘更新’、‘ホーム’、‘お気に入り’等のブラウザー１３０メニュー命令だけでなく、ウェブページ画面をスクロールしたり、ブラウザー１３０の背景画面の色相を変更したり、又はテキストボックス（、例えば、検索窓）内に文字を入力することなどの命令が挙げられ、さらに、ウェブページ内で提供するメニュー命令が挙げられる。ウェブページ内で提供するメニューの例として、ブログのショートカット、メールのショートカット、カフェのショートカットなどのように特定ページへハイパーリンクさせることと、検索窓に入力されているクエリーに対する検索実行などが挙げられるが、これに限定されない。
【００４０】
また、必要に応じて特定の命令（例えば、検索窓にクエリーを入力する命令）だけを実行できるようにイメージ命令コンポーネント１４０を構成したり、一部の命令だけを実行できるようにイメージ命令コンポーネント１４０を構成することも可能である。
【００４１】
イメージ命令コンポーネント１４０により認識されたイメージが、‘←’、‘→’、‘×’、‘Ｒ’、‘Ｈ’、‘Ｆ’である場合、‘戻る’、‘進む’、‘中止’、‘更新’、‘ホーム’、‘お気に入り’命令を各イメージに対応させ、これらの認識されたイメージに対応した命令を実行させることができる。また、‘↑’、‘↓’である場合、スクロール上げとスクロール下げをそれぞれ実行させることができ、‘（ｂ）’である場合、背景画面の色相を黒色に変更する命令を実行させることができる。また、‘Ｂ’、‘Ｍ’、‘Ｃ’である場合、ブログのショートカット、メールのショートカット、カフェのショートカットをそれぞれ実行させることができ、‘Ｓ’である場合、検索窓に入力されているクエリーに対する検索命令を実行させることができる。そして、認識されたイメージがこのように予め設定されているイメージ以外のイメージである場合は、認識されたイメージに対応する文字などを検索窓に入力させることができる。なお、上記イメージと命令との対応関係は一例に過ぎず、イメージ命令コンポーネント１４０が提供するオプションメニューにより使用者は、このような命令の活性化如何（アクティブ／非アクティブ）を選択でき、各命令とイメージを任意にマッチングさせることができる。
【００４２】
イメージ命令コンポーネント１４０は、入力されたイメージを認識する際、正確度を算出し、算出した正確度に基づいて当該イメージに対応する命令を直ちに行うように命令イベントをブラウザー１３０に提供する。例えば、イメージが入力された場合、入力されたイメージと当該命令に対して予め決められた複数の基準イメージとの間の正確度を算出し、入力されたイメージとの間で最も高い正確度を有する基準イメージを抽出する。そして、抽出した基準イメージと入力されたイメージとの間の上記算出された正確度が基準値以上であるか否かを判断し、基準値以上であれば、入力された当該イメージに対応する命令を直ちに行うように命令イベントをブラウザー１３０に提供する。一方、基準値未満である場合、認識されたイメージに対応する推薦文字又は推薦記号を表示し、使用者の推薦文字又は推薦記号の選択、すなわち、選択された推薦文字又は推薦記号に応じた命令を行うように構成することができる。
【００４３】
また、イメージ命令コンポーネント１４０は、必要に応じて入力されたイメージをウェブサーバー２００又はイメージ処理サーバー３００に伝送して、ウェブサーバー２００又はイメージ処理サーバー３００から入力されたイメージに対応する推薦文字情報又は推薦記号情報を受信することができる。そして、受信した推薦文字情報又は推薦記号情報をブラウザー１３０に表示し、使用者の選択により選択された推薦文字又は推薦記号に対応する命令を行うようにブラウザー１３０に当該命令イベントを送ることができる。
【００４４】
さらに、イメージ命令コンポーネント１４０は、ウェブサーバー２００が提供するウェブサイト以外の他のウェブサイトでも独立的に駆動することができ、このためにイメージ命令コンポーネント１４０を活性化（アクティブに）させるボタンをブラウザー１３０のメニュー表示ライン又はツールバーなどに表示することができる。
【００４５】
また、イメージ命令コンポーネント１４０は、使用者端末機１００がウェブサーバー２００に接続する度にウェブサーバー２００から伝送されて当該使用者端末機１００でその都度実行することもできるが、一度伝送された後は使用者端末機１００に設置され、アップデートなどの場合を除いてウェブサーバー２００から再度伝送されないように構成することも可能である。
【００４６】
ウェブサーバー２００は、検索、ゲーム、コミュニティなどのウェブサイトを提供し、使用者端末機１００が接続すると、ウェブページ情報及びイメージ命令コンポーネント１４０を通信網１０を介して使用者端末機１００に伝送する。ウェブページ情報には検索、ゲーム、コミュニティなどの関連情報が含まれる。
【００４７】
イメージ処理サーバー３００は、文字情報及び記号情報が記録されたデータベース（図示せず）とイメージ認識アルゴリズムを備えることができ、ウェブサーバー２００又は使用者端末機１００からイメージが伝達されると、そのイメージをイメージ認識アルゴリズムを通じて認識し、認識されたイメージに対応する推薦文字又は推薦記号をデータベースから抽出し、これをウェブサーバー２００を経由して使用者端末機１００に提供したり、又は直接使用者端末機１００に提供する。
【００４８】
また、イメージ処理サーバー３００は、イメージを認識する際に正確度を算出でき、最も高い正確度を有する認識イメージの正確度が基準値以上であれば、当該イメージに対応する命令情報をイメージ命令コンポーネント１４０に伝送して当該命令を直ちに行うようにし、その正確度が基準値を越えなければ、認識されたイメージに対応する推薦文字又は推薦記号を使用者端末機１００に伝送して使用者の選択に応じた命令を行うことができる。
【００４９】
また、イメージ処理サーバー３００は複数の推薦文字又は推薦記号を抽出でき、抽出された推薦文字又は推薦記号をテキスト又はイメージ形態にウェブサーバー２００又は使用者端末機１００に伝送できる。なお、イメージ処理サーバー３００は、ウェブサーバー２００と共に一つのサーバーで具現化することもでき、また、ウェブサーバー２００と別途に具現化することも可能である。
【００５０】
以下、本発明の実施例におけるイメージを利用したブラウザー制御方法について図３から図５を参照して詳細に説明する。
【００５１】
図３は、本発明の一実施例におけるイメージを利用したブラウザー制御方法を示すフローチャートであり、図４は、本発明の実施例におけるイメージ命令コンポーネントが実行されているウェブページの一例を示す概略図である。図５は、本発明の実施例におけるイメージ命令コンポーネントが実際に具現化されたウェブページの一例を示す図である。
【００５２】
図３及び図４に示すように、使用者端末機１００がウェブサーバー２００に接続すると（Ｓ５１０）、ウェブサーバー２００は、ウェブページ情報及びイメージ命令コンポーネント１４０を使用者端末機１００に伝送する（Ｓ５１５）。その後、使用者端末機１００は伝送されたウェブページ情報に基づいたウェブページ４００をブラウザー１３０に表示し（Ｓ５２０）、イメージ入力インターフェイス４１０を表示する（Ｓ５２５）。
【００５３】
ウェブページ４００には検索窓４２０、検索ボタン（Ｓｅａｒｃｈ）、イメージ認識ボタン（Ｈａｎｄｗｒｉｔｉｎｇ Ｒｅｃｏｇｎｉｔｉｏｎ）及びイメージ入力インターフェイス４１０が表示され、検索、ゲーム、コミュニティなどの多様なコンテンツがテキスト又はイメージなどで表示される。
【００５４】
イメージ入力インターフェイス４１０は、イメージ命令コンポーネント１４０により生成されて表示され、イメージ入力欄４１２、推薦欄４１４、Ｕｎｄｏボタン、Ｃｌｅａｒボタン及びＣｌｏｓｅボタンを含む。イメージ命令コンポーネント１４０が使用者端末機１００に伝送された後に直ちに実行されてイメージ入力インターフェイス４１０が表示されることができるが、使用者がイメージ認識ボタンを押したり、又はマウスポインタをイメージ認識ボタン上に置いたままで所定時間が経過した後にイメージ命令コンポーネント１４０が実行されてイメージ入力インターフェイス４１０が表示されるように構成することもできる。なお、使用者がイメージ認識ボタンを押すなどして当該使用者が所望する時にイメージ入力インターフェイス４１０が表示されるように構成することで、他のコンテンツが表示される領域を浸食せず、既存のウェブページの形態及びデザインを保護できる。
【００５５】
イメージ命令コンポーネント１４０は、イメージ入力インターフェイス４１０が表示されている状態で使用者のイメージ入力を待つ（Ｓ５３０）。使用者は、マウス、電子ペンやタブレットなどでイメージ入力欄４１２に絵を描くことによってイメージを入力することができる。一方、使用者はイメージをイメージ入力欄４１２に直接入力せずに文字などが描かれているイメージファイルを呼び入れてイメージ認識を行わせることもできる。
【００５６】
イメージ命令コンポーネント１４０は、マウスなどのイベントによる座標情報、入力順序、クリック＆リリースなどを組み合わせた情報に基づいてイメージデータを生成する。入力部１１０がタブレットである場合には、圧力の大きさなどの付加的な情報もイメージを生成する際の情報に含まれ、どの程度の強さで押したのかに応じてイメージデータが異なるように生成することもできる。
【００５７】
使用者は、イメージを入力しながらＵｎｄｏボタン、Ｃｌｅａｒボタン及びＣｌｏｓｅボタンを利用することができる。Ｕｎｄｏボタンは、使用者がイメージ入力欄４１２内に残っているイメージの中で最も最近入力したイメージを画する機能を行い、Ｃｌｅａｒボタンは使用者が入力した全体イメージを消して新たなイメージを受信できる状態に戻す機能を行う。Ｃｌｏｓｅボタンは、イメージ入力インターフェイス４１０を非活性化（非アクティブ）にさせてブラウザー１３０から消えるようにする。
【００５８】
イメージ命令コンポーネント１４０は、イメージが入力されると、入力されたイメージを認識する（Ｓ５３５）。イメージ認識は、使用者が一画を描く度にその時まで入力されたイメージに基づいて行われるが、使用者がイメージ入力を完了して認識ボタン（図示せず）を押すとイメージ認識が行われるように構成することもできる。
【００５９】
イメージ命令コンポーネント１４０は、認識されたイメージに対応する推薦文字又は推薦記号を抽出して推薦欄４１４に表示する。推薦文字又は推薦記号は、認識されたイメージと比較して所定以上の正確度を有する文字又は記号で抽出される。なお、イメージ命令コンポーネント１４０が推薦文字を抽出できない場合には、イメージ処理サーバー３００に入力されたイメージを伝送し、イメージ処理サーバー３００でイメージを認識した後に推薦文字を受信してこれを推薦欄４１４に表示することもできる。
【００６０】
次に、イメージ命令コンポーネント１４０は、認識されたイメージと関連した命令を実行させることができるのか否かを判断する（Ｓ５４０）。つまり、イメージ命令コンポーネント１４０は、認識されたイメージに対応する命令が存在するのか否かを判断し、当該命令が存在する場合に、ブラウザー１３０が当該命令を実行するように命令イベントを送る（Ｓ５６５）。最も高い正確度を有する認識イメージの正確度が基準値以上であれば、これに対応する命令が存在すると判断する。
【００６１】
なお、イメージ命令コンポーネント１４０が認識できるイメージを、命令に直接関係する文字又は記号に限定することもできる。従って、クエリー入力のための一般文字や記号に対するイメージ認識は、イメージ処理サーバー３００で行われ、これによって、入力されたイメージを一般文字や記号にマッチングさせるために多くのデータを備える必要がないので、イメージ命令コンポーネント１４０の大きさを減らすことができる。ここで一般文字は、漢字やアラビア文字などのように検索窓４２０に直接入力し難い文字だけでなく、ハングル、仮名、アルファベットなどのような文字を含む。
【００６２】
段階Ｓ５４０で判断した結果、当該命令が存在しないと判断した場合、入力されたイメージをイメージ処理サーバー３００に伝送する（Ｓ５４５）。イメージ処理サーバー３００は、伝送されたイメージを認識し（Ｓ５５０）、認識されたイメージに対応する推薦文字又は推薦記号を抽出して使用者端末機１００に伝送する（Ｓ５５５）。この際、イメージ処理サーバー３００は、推薦文字又は推薦記号と共にこれらと関連する命令スクリプトを共に伝送することができ、イメージ命令コンポーネント１４０は、推薦文字又は推薦記号の中で選択された文字などに関連した命令スクリプトをブラウザー１３０に伝送し、これを実行するようにできる。
【００６３】
イメージ命令コンポーネント１４０は、伝送されてきた推薦文字又は推薦記号を推薦欄４１４に表示して使用者の選択を待ち、使用者が推薦文字又は推薦記号を選択すると（Ｓ５６０）、選択された文字又は記号に該当する命令イベントをブラウザー１３０に伝送して当該命令を実行するようにする（Ｓ５６５）。この際、使用者が選択した文字又は記号が命令に直接関係するものではない場合、検索窓４２０にクエリーで入力するようにイベントをブラウザー１３０に送る。ブラウザー１３０が命令を実行するとイメージ入力インターフェイス４１０は非活性化されて当該ブラウザー１３０から消去される。
【００６４】
また、イメージ処理サーバー３００は、推薦文字又は推薦記号に対する正確度の情報を共にイメージ命令コンポーネント１４０に伝送でき、イメージ命令コンポーネント１４０は、正確度に応じた順序で推薦文字などを推薦欄４１４に表示することができる。抽出された推薦文字又は推薦記号の数が推薦欄４１４に表示できる数よりも多い場合、推薦欄４１４を複数のページで構成することができ、推薦欄４１４の下に次ページボタンを生成し、これを押すことで次ページが表示される。
【００６５】
次に、図５を参照して実際に使用者が入力したイメージがクエリーで入力され、検索が実行される一例を説明する。先ず、使用者がイメージ入力欄４１２に‘雨’を描くと、このイメージはブラウザー１３０の制御に直接関係するものではないので、イメージ命令コンポーネント１４０は、クエリー入力命令であると判断する。そして、このイメージをイメージ処理サーバー３００に伝送し、イメージ処理サーバー３００から推薦文字を受信した後、これを推薦欄４１４に表示する。使用者が推薦欄４１４の左側上段に表示されている‘雨’を選択すると、イメージ命令コンポーネント１４０は、選択された‘雨’を検索窓４２０に入力するためのイベントをブラウザー１３０に送り、‘雨’が検索窓４２０に入力されるようにする。その後、使用者がイメージ入力欄４１２に‘Ｓ’を描いたり、検索ボタンを押すと、‘雨’に対する検索が行われる。
【００６６】
クエリー入力の場合、検索を行う前まで複数のイメージを順次に入力して複数の文字からなる単語又は句に対する検索を行うことができる。この際、イメージを入力する度にこれに対応する文字が検索窓４２０に順次に入力されてクエリーを作るようになる。一方、ウェブサーバー２００は、検索窓４２０に入力された少なくとも一つの文字に基づいたキーワード自動完成機能を提供でき、これによって使用者が検索を所望する単語を容易に入力することができる。
【００６７】
以下、本発明の他の実施例によるイメージを利用したブラウザー制御方法について図６を参照しながら詳細に説明する。なお、本実施例は、上記実施例（図３）と多くの部分が実質的に同一であるので、同一部分についての詳細な説明を省略する。
【００６８】
図６は、本発明の他の実施例におけるイメージを利用したブラウザー制御方法を示すフローチャートである。
【００６９】
図６に示すように、使用者端末機１００がウェブサーバー２００に接続すると（Ｓ６１０）、ウェブサーバー２００は、ウェブページ情報及びイメージ命令コンポーネント１４０を使用者端末機１００に伝送する（Ｓ６１５）。その後、使用者端末機１００は、伝送されたウェブページ情報に基づいたウェブページ４００をブラウザー１３０に表示し（Ｓ６２０）、イメージ入力インターフェイス４１０を表示する（Ｓ６２５）。
【００７０】
イメージ命令コンポーネント１４０は、イメージ入力インターフェイス４１０が表示されている状態で使用者のイメージ入力を待つ（Ｓ６３０）。
【００７１】
イメージ命令コンポーネント１４０は、入力部１１０を介してイメージが入力されると、イメージデータを生成してイメージ処理サーバー３００に伝送する（Ｓ６３５）。
【００７２】
イメージ処理サーバー３００は、イメージ命令コンポーネント１４０からのイメージデータに基づいてイメージ認識を行う（Ｓ６４０）。
【００７３】
その後、イメージ処理サーバー３００は、認識されたイメージに対応する命令が存在するのかを判断し（Ｓ６４５）、当該命令が存在する場合には、当該命令情報をイメージ命令コンポーネント１４０に伝送する（Ｓ６６０）。これによって、イメージ命令コンポーネント１４０は、ブラウザー１３０が当該命令を実行するようにブラウザー１３０に命令イベントを送る（Ｓ６６５）。イメージ処理サーバー３００は、最も高い正確度を有する認識イメージの正確度が基準値以上であればこれに対応する命令が存在すると判断する。
【００７４】
段階Ｓ６４５で判断した結果、当該命令が存在しないと判断した場合、イメージ処理サーバー３００は、認識されたイメージに対応する推薦文字又は推薦記号を抽出して使用者端末機１００に伝送する（Ｓ６５０）。推薦文字又は推薦記号は、認識されたイメージと比較し、所定以上の正確度を有する文字又は記号として抽出するができる。この際、イメージ処理サーバー３００は、推薦文字又は推薦記号と共に、これらと関連した命令スクリプトを共に伝送できる。
【００７５】
イメージ命令コンポーネント１４０は、伝送された推薦文字又は推薦記号を推薦欄４１４に表示して使用者の選択を待ち、使用者が推薦文字又は推薦記号で選択すると（Ｓ６５５）、選択された文字又は記号に該当する命令イベントをブラウザー１３０に伝送して当該命令を実行するようにする（Ｓ６６５）。
【００７６】
このように本実施例によると、イメージ命令コンポーネント１４０がイメージ認識を行わず、また、イメージに対応する命令が存在するのかに対する判断を行わずに、これらの動作をイメージ処理サーバー３００が行う。従って、イメージ命令コンポーネント１４０がイメージ認識アルゴリズム及び判断モジュールを備えなくてよいので、イメージ命令コンポーネント１４０の大きさをより一層減らすことができる。
【００７７】
このように本発明の実施例におけるイメージを利用したブラウザー制御方法及びシステムは、別途のアプリケーションプログラムを設置することなく、使用者が必要な場合に、ウェブサーバー２００で提供するイメージ入力インターフェイス４１０を表示し、ブラウザー１３０を備えていれば、どこでもイメージ形態の入力を可能とし、使用者が入力したイメージに基づいてブラウザー１３０のＤＯＭオブジェクトを変更することによってブラウザー１３０を制御できる。このため、入力されたイメージに対応する命令をブラウザー１３０で実行させることができる。
【００７８】
また、キーボードを備えていないＵＭＰＣ、タブレットＰＣなどの場合、入力装置又はOSに関わらずウェブサービスへのアクセス性を向上させることができる。また、入力方法が難しかった漢字やアラビア文字などの検索窓への入力を容易にし、文字を利用して表現できなかった幾何学的形態の記号に基づいた質問（クエリー）を容易に生成することができる。すなわち、検索窓に記号を入力することが容易であるため、記号を含むクエリーを容易に生成することができる。したがって、検索サービス利用時に検索結果を向上させることができ、検索質問の入力の便宜性を提供することができるので、使用者の満足度を向上させることができる。
【００７９】
本発明の実施例は、多様なコンピュータにより具現される動作を行うためのプログラム命令を含むコンピュータ読み取り可能な記録媒体を含む。この記録媒体は上記説明したセキュリティーモジュール又はセキュリティー認証方法を実行させるためのプログラム又はファイルを記録する。この記録媒体はプログラム命令、データファイル、データ構造などを単独で又は組み合わせて含むことができる。このような記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭのような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）と磁気−光媒体、ＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し遂行するように構成されたハードウェア装置などがある。又は、このような記録媒体は、プログラム命令、データ構造などを指定する信号を伝送する搬送波を含む光又は金属線、導波管などの伝送媒体であってもよい。プログラム命令の例としては、コンパイラーにより作成されるような機械語コードだけでなく、インタープリタなどを使用してコンピュータにより実行される高級言語コードを含むことができる。
【００８０】
以上、本発明を好適な実施例に則して詳細に説明したが、本発明の技術的範囲はこれに限定されず、特許請求の範囲で定義している本発明の技術的思想を利用した当業者の多様な変形及び改良形態もまた本発明の技術的範囲に属することを付言する。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施例によるイメージを利用したブラウザー制御システムを説明するためのブロック図である。
【図２】図１に示した使用者端末機の一例を示すブロック図である。
【図３】本発明の一実施例によるイメージを利用したブラウザー制御方法を示すフローチャートである。
【図４】本発明の実施例によるイメージ命令コンポーネントが実行されているウェブページの一例を示す概略図である。
【図５】本発明の実施例によるイメージ命令コンポーネントが実際具現されているウェブページの一例を示す図である。
【図６】本発明の他の実施例によるイメージを利用したブラウザー制御方法を示すフローチャートである。
【符合の説明】
【００８２】
１０  ：通信網
１００：使用者端末機
１１０：入力部
１２０：表示部
１３０：ウェブブラウザー
１４０：イメージ命令コンポーネント
２００：ウェブサーバー
３００：イメージ処理サーバー
４００：ウェブページ画面
４１０：イメージ入力インターフェイス
４１２：イメージ入力欄
４１４：推薦欄
４２０：検索窓
【図１】
0005140377.tif 000002
【図２】
0005140377.tif 000003
【図３】
0005140377.tif 000004
【図４】
0005140377.tif 000005
【図５】
0005140377.tif 000006
【図６】
0005140377.tif 000007