(57)【要約】インターネット閲覧および他のインターネット対話作業のための装置であって、印刷されたハイパーテキスト文書に焦点を合わせ、該印刷されたハイパーテキスト文書の画像を電子形態で表すビデオ信号を生成するカメラと、該カメラにリンクされ、該カメラによって取り込まれた印刷されたハイパーテキスト文書の画像、および印刷されたハイパーテキスト文書の領域を指し示しているカメラの視野内の指その他のポインティング手段の画像を処理して、該画像から、そのハイパーテキストドキュメント中の指し示されている領域で参照されている、リンクされたウェブページ、またはリンクされたマルチメディア（たとえば、音声および／またはビデオシーケンス）データファイルの識別を判別し、それから、インターネットから、または印刷されたハイパーテキスト文書中で参照されている、リンクされたウェブページもしくはリンクされたマルチメディアデータファイルを含むウェブページデータのローカルキャッシュからフェッチするように構成されるプロセッサと、フェッチされたデータを受け取って表示または再生するレシーバとを備える装置が提供される。
2005507526.tif 000002
【特許請求の範囲】
【請求項１】
印刷されたハイパーテキスト文書に焦点を合わせ、該印刷されたハイパーテキスト文書の画像を電子形態で表すビデオ信号を生成するカメラと、
該カメラにリンクされ、該カメラによって取り込まれた前記印刷されたハイパーテキスト文書の画像、および前記印刷されたハイパーテキスト文書の領域を指し示している前記カメラの視野内の指その他のポインティング手段の画像を処理するプロセッサを備え、
該プロセッサは、前記画像から、前記印刷されたハイパーテキスト文書中の指し示されている前記領域で参照されているリンクされたウェブページの識別子、またはリンクされたマルチメディアデータファイルの識別子を判別し、前記インターネットからまたはウェブページのローカルキャッシュから、前記印刷されたハイパーテキスト文書中で参照されている、前記リンクされたウェブページもしくはリンクされたマルチメディアデータファイルを含むデータを取り込み、
前記取り込まれたデータを受け取って表示または再生するレシーバと、
を備えるインターネット閲覧および他のインターネット対話作業のための装置。
【請求項２】
前記カメラの前記視野内に配置された印刷されたハイパーテキスト文書をさらに備える、請求項１記載の装置。
【請求項３】
前記プロセッサは、前記印刷されたハイパーテキスト文書のコンテンツに関する予め格納された情報をメモリに保持する、請求項２記載の装置。
【請求項４】
前記メモリは、前記印刷されたハイパーテキスト文書の予め格納された参照バージョンを保持する、請求項３記載の装置。
【請求項５】
前記印刷されたハイパーテキスト文書は、ウェブページであり、前記メモリに格納される前記ウェブページの前記参照バージョンは、前記メモリ内にある前記ウェブページの関連するＵＲＬにリンクされる、請求項４記載の装置。
【請求項６】
前記印刷されたハイパーテキスト文書は、プリントウェブページであり、前記ウェブページを構成する情報にすでに存在する任意のウェブページ識別子に加えて、前記プロセッサが認識するように構成される識別記号またはコードがマークされる、請求項１記載の装置。
【請求項７】
前記識別記号またはコードは機械可読である、請求項６記載の装置。
【請求項８】
前記プロセッサは、光学文字認識またはパターン認識を使用することによって前記印刷されたハイパーテキスト文書を識別するように構成される、請求項１記載の装置。
【請求項９】
前記プロセッサは、前記印刷されたハイパーテキスト文書上の較正マークを認識し、前記カメラに対する前記文書の配置の決定に役立てるように構成される、請求項１記載のイ装置。
【請求項１０】
ハイパーリンクが選択されたか否かを決定するための２−Ｄヒット検出テーブルを格納した、請求項１記載の装置。
【請求項１１】
関連するセレクタを有し、前記プロセッサに動作的にリンクされたポインティング手段を備え、該ポインティング手段が前記印刷されたハイパーテキスト文書の所望のハイパーリンク領域を指し示しているときを、ユーザが前記プロセッサに示すことができるようにする、請求項１記載の装置。
【請求項１２】
前記セレクタは前記手段上のボタンである、請求項１１記載の装置。
【請求項１３】
前記セレクタは、選択が行われたときを確認する信号を提供する請求項１１記載の装置。
【請求項１４】
前記セレクタは可聴信号を提供する、請求項１３記載の装置。
【請求項１５】
プリントウェブページと、
該プリントウェブページに焦点を合わせ、該ウェブページの画像を電子形態で表すビデオ信号を生成するカメラと、
該カメラにリンクされ、該カメラによって取り込まれた前記プリントウェブページの画像を処理するプロセッサを備え、
該プロセッサは、前記画像から、（ａ）前記プリントウェブページの識別子、（ｂ）そのプリントウェブページ上で参照されている別のウェブページの識別子、（ｃ）前記プリントウェブページにおいて参照されている、リンクされたマルチメディアデータファイルの識別子のうちの１つまたは複数を判別し、
前記プロセッサは、前記インターネットからまたはウェブページのローカルキャッシュから、（ａ）の場合は前記プリントウェブページ、（ｂ）の場合は前記プリントウェブページにおいて参照されているウェブページ、または（ｃ）の場合は前記プリントウェブページによってリンクされているマルチメディアデータファイルを含むデータを取り込み、
前記取り込まれたデータを受け取って表示または再生するレシーバと、
を備えるインターネット閲覧および他のインターネット対話作業のための装置。
【請求項１６】
ハイパーテキスト文書を表す印刷ページであって、
ハイパーテキストコンテンツと、
カメラに対する前記文書の配置の決定に役立つ前記プリントページ上の較正マークと、を備えるプリントページ。
【請求項１７】
前記ウェブページを構成する情報にすでに存在する任意のウェブページ識別子に加えて、前記ハイパーテキスト文書を電子的に格納したものと一致させるように適合された識別記号またはコードをさらに備える、請求項１６記載のプリントページ。
【請求項１８】
ハイパーテキスト文書の印刷方法であって、
印刷するハイパーテキストコンテンツを取得すること、
印刷する各ページに、カメラに対しての前記文書の向きの決定に役立つ前記ハイパーテキストコンテンツについての較正マークを配置すること、
前記ハイパーテキスト文書を印刷すること、とを含む印刷方法。
【請求項１９】
印刷する各ページについて、該ページ上に、前記ハイパーテキストコンテンツにすでに存在する任意のウェブページ識別子に加えて、前記ハイパーテキスト文書が電子的に格納されたものと一致させることができるように適合された識別記号またはコードを配置することをさらに含む、請求項１８記載の印刷方法。
【請求項２０】
インターネット閲覧および他のインターネット対話作業のための装置であって、
印刷されたハイパーテキスト文書に焦点を合わせ、該印刷されたハイパーテキスト文書の画像を電子形態で表すビデオ信号を生成するカメラと、
該カメラにリンクされ、該カメラによって取り込まれた前記印刷されたハイパーテキスト文書の画像を処理するプロセッサを備え、
該プロセッサは、該印刷されたハイパーテキスト文書のコンテンツに関する予め格納された情報をメモリに保持し、該画像から、そのハイパーテキスト文書中で参照されている、該印刷されたハイパーテキスト文書の識別子、リンクされたウェブページの識別子、またはリンクされたマルチメディアデータファイルの識別子を判別し、
該プロセッサは、前記インターネットからまたはウェブページのローカルキャッシュから、前記印刷されたハイパーテキスト文書に対応する前記ウェブページ、前記印刷されたハイパーテキスト文書中で参照されているリンクされたウェブページもしくはリンクされたマルチメディアデータファイルを含むデータを取り込み、
前記取り込まれたデータを受け取って表示または再生するレシーバを備える、
インターネット閲覧および他のインターネット対話作業のための装置。
【請求項２１】
前記メモリは前記印刷されたハイパーテキスト文書のＵＲＬを保持する、請求項２０記載の装置。
【請求項２２】
前記メモリは、ユーザがプリントアウトした前記または各印刷されたハイパーテキスト文書の参照バージョンを保持する、請求項２０記載の装置。
【請求項２３】
前記ハイパーテキスト文書はウェブページであり、前記メモリに格納される前記ウェブページの前記参照バージョンは、前記メモリにおいて、そのウェブページの関連するＵＲＬにリンクされる、請求項２２記載の装置。
【請求項２４】
インターネット閲覧および他のインターネット対話作業のための装置であって、
印刷されたハイパーテキスト文書に焦点を合わせ、該印刷されたハイパーテキスト文書の画像を電子形態で表すビデオ信号を生成するカメラと、
該カメラにリンクされ、該カメラによって取り込まれた前記印刷されたハイパーテキスト文書の画像、および前記印刷されたハイパーテキスト文書の領域を指し示している前記カメラの視野内の指その他のポインティング手段の画像を処理するプロセッサを備え、
該プロセッサは、前記印刷されたハイパーテキスト文書のコンテンツに関する予め格納された情報をメモリに保持し、該画像および該予め格納された情報から、そのハイパーテキスト文書中の指し示されている前記領域で参照されている、リンクされたウェブページの識別子、またはリンクされたマルチメディアデータファイルの識別子を判別し、前記インターネットからまたはウェブページのローカルキャッシュから、前記印刷されたハイパーテキスト文書中で参照されている、前記リンクされたウェブページもしくはリンクされたマルチメディアデータファイルを含むデータを取り込み、
前記取り込まれたデータを受け取って表示または再生するレシーバと、
を備えるインターネット閲覧および他のインターネット対話作業のための装置。
【請求項２５】
カメラによって取り込まれた印刷されたハイパーテキスト文書の画像、および前記印刷されたハイパーテキスト文書の領域を指し示している前記カメラの視野内の指その他のポインティング手段の画像を処理するように構成されるプロセッサであって、
該プロセッサは、前記印刷されたハイパーテキスト文書のコンテンツに関する予め格納された情報をメモリに保持し、前記画像および前記予め格納された情報から、前記ハイパーテキスト文書の前記指し示されている領域で参照されている、リンクされたウェブページの識別子、またはリンクしているマルチメディアデータファイルの識別子を判別し、前記インターネットからまたはウェブページのローカルキャッシュから、前記印刷されたハイパーテキスト文書中で参照されている前記リンクされたウェブページ、もしくはリンクされたマルチメディアデータファイルを含むデータを取り込むように構成されるプロセッサ。
【請求項２６】
カメラによって取り込まれた印刷されたハイパーテキスト文書の画像、および前記印刷されたハイパーテキスト文書の領域を指し示している前記カメラの視野内の指その他のポインティング手段の画像を処理し、
該画像およびメモリに保持されている予め格納された情報から、そのハイパーテキスト文書の前記指し示されている領域で参照されている、リンクされたウェブページの識別子、またはリンクしているマルチメディアデータファイルの識別子を判別し、それから、前記インターネットからまたはウェブページのローカルキャッシュから、前記印刷されたハイパーテキスト文書中で参照されている前記リンクされたウェブページ、もしくはリンクされたマルチメディアデータファイルを含むデータを取り込むようにプロセッサに指示するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インターネットの閲覧および対話に役立つ方法および装置に関する。
【背景技術】
【０００２】
ウェブの閲覧は、多くのＰＣ／コンピュータユーザにとって不満の多い体験であり、デスクトップコンピューティングパラダイムに馴染みのない人々に二の足を踏ませる。マウス、キーボード、および従来のグラフィカルユーザインタフェースを使用して行われる制御作業には、かなりの手の器用さ、タイピング技能、および複雑なユーザ認知モデルが必要とされる。さらに、汎用コンピュータ画面上での細部の読み取りおよび閲覧は難しく、疲れる。
【０００３】
非特許文献１は、白領域および黒領域を、全体あるいは好ましくは局所的な適応しきい値処理技法を使用して画像をしきい値処理することにより明確化する技術を記載する。
非特許文献２は、しきい値処理後、画像中の結び付けられた黒領域または白領域を構成するピクセルを、成分ラベリング技法を使用して明確化し、結びついた成分ラベリング／解析を繰り返し、かつラスタベースでラスタに対して順次行う方法を記載する。
【０００４】
非特許文献３では、単純な２Ｄ変位の場合に、変換は３つの構成要素である、角度θ、変換（ｔｘ，ｔｙ）、および全体規模係数ｋを、標準的な技法を使用して２つの整合した点、およびその間の仮想線から計算することができる技術を開示している。
【非特許文献１】
Gonzalez R.およびWoods R.著「Digital Image Processing, Addison-Wesley」1992、pp443〜455、およびRosenfeld A.およびKak A.「Digital Picture Processing (second edition)， Volume 2」 Academic Press, 1982、pp61〜73
【非特許文献２】
Jain R., Kasturi R.およびSchunk B.著「Machine Vision」McGraw-Hill, 1995、pp42〜47、およびRosenfeld A.およびKak A.「Digital Picture Processing (second edition), Volume2」, Academic Press, 1982、pp240〜250
【非特許文献３】
HYPER: A New Approach for the Recognition and Positioning of Two-Dimensional Objects」 IEEE Trans. Pattern Analysis and Machine Intelligence,Volume 8, No.1, January 1986、pp44〜54
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この問題に対する一手法は、画面がテキスト材料およびハイパーテキスト材料の両方の提示および操作に最適化された専用ウェブタブレット、ＰＤＡ、または電子ブックを設計するというものである。しかし、こういった装置は高価であり、本質的に馴染みのない媒体であるもので制御作業およびテキスト入力を実行することに関連する使用し易さの問題もある。別の手法は、インターネットブラウザへの電話リンクを介してサポートしうるものなどの音声対話を使用するというものである。これは、特定の種類の特定の情報照会には有効かもしれないが、あまり作業指示的ではない情報の閲覧には適していない。
【０００６】
本発明の全体的な目的は、従来技術の上記問題のいくつかまたはすべてを軽減するか、またはこれらに対処するインターネット閲覧等の作業に役立つ方法および装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、インターネット閲覧および他のインターネット対話作業のための装置であって、印刷されたハイパーテキスト文書に焦点を合わせ、該印刷されたハイパーテキスト文書の画像を電子形態で表すビデオ信号を生成するカメラと、該カメラにリンクされ、該カメラによって取り込まれた印刷されたハイパーテキスト文書の画像、および印刷されたハイパーテキスト文書の領域を指し示しているカメラの視野内の指その他のポインティング手段の画像を処理して、該画像から、そのハイパーテキスト文書中の指し示されている領域で参照されている、リンクされたウェブページの識別子、またはリンクされたマルチメディア（すなわち、音声および／またはビデオシーケンス）データファイルの識別子を判別し、それから、インターネットまたはウェブページのローカルキャッシュから、印刷されたハイパーテキスト文書中で参照されている、リンクされたウェブページもしくはリンクされたマルチメディアデータファイルを含むデータを取り込むように構成されるプロセッサと、フェッチされたデータを受け取って表示または再生するレシーバとを備える装置が提供される。
【０００８】
該装置は、好ましくは、カメラの視野内に配置された上記印刷されたハイパーテキスト文書をさらに備える。該印刷されたハイパーテキスト文書は、適切には、プリントウェブページである。
【０００９】
幅広い有用性を持つために、この装置のプロセッサは特に、好ましくは、印刷されたハイパーテキスト文書を識別するように構成される。
【００１０】
印刷されたハイパーテキスト文書には、好ましくは、また適切にはプリント時に、識別子記号またはコードがマークされる。印刷されたハイパーテキスト文書がプリントされたウェブページである場合、記号またはコードは、ウェブページを構成する情報にすでに存在する任意の識別子（たとえば、ＵＲＬ）に追加されるものである。記号またはコードは、好ましくは、機械が容易に読み取ることができるものであり、バーコードまたはデータグリフ（dataglyph）を含むことができ、また適切には二次元バーコードを含むことができる。
【００１１】
このような識別記号またはコードは、プロセッサが印刷されたハイパーテキスト文書を高速かつ高信頼的に認識するのに役立つ。印刷されたハイパーテキスト文書を識別する際に、プロセッサは、メモリ（内部または外部）から印刷されたハイパーテキスト文書のコンテンツに関する情報を取得することができ、これをたとえば、ハイパーテキスト文書がウェブページである場合、インターネットからウェブページをフェッチすることによって行うことができる。
【００１２】
好ましくは、プロセッサはローカルメモリに、印刷されたハイパーテキスト文書のコンテンツに関する、予め格納された情報を保持する。
【００１３】
好ましくは、メモリまたはさらなるメモリは、そのページのＵＲＬにリンクされた各プリントページの各識別記号を保持する。識別記号またはコードは、好ましくは、機械読み取り可能なものであり、適切にはバーコードである。
【００１４】
好ましくは、メモリは、ユーザがプリントアウトした各印刷されたハイパーテキスト文書の参照バージョンを保持する。これは、カメラからの画像がプロセッサによってマッピングされ、それからプロセッサが、印刷されたハイパーテキスト文書および関連するハイパーリンクのどの領域が指またはポインティング手段で指し示され、ユーザによって選択されているかを認識する際に使用する理想的なページとしての役割を果たすことができる。しかし、理想的なページは、印刷されたハイパーテキスト文書の完全に詳細なものである必要はなく、ページの概要を含めばよい。この装置は、ハイパーリンクが選択されたか否かを判断するための２−Ｄヒット検出テーブルを格納する。これは、従来のブラウザで適宜使用されており、特定のハイパーリンクがマッピングされているか否かでページのエリアを割り振る。
【００１５】
識別記号またはコードがない場合、プロセッサは代替として、文書のテキストおよび／または図のパターンを認識することによって、印刷されたハイパーテキスト文書を認識するように構成することができる。光学文字認識（ＯＣＲ）は、ページ識別を実行しうる別のベースである。
【００１６】
特に好ましくは、印刷されたハイパーテキスト文書には、示差的な較正マークがマークされ、これは適切には、文書の異なる各端付近に配置される。プロセッサは、好ましくは、印刷されたハイパーテキスト文書上の示差的な較正マークを認識して、カメラに対する印刷されたハイパーテキスト文書の配置の決定に役立ち、また、印刷されたハイパーテキスト文書のカメラビューの、理想的なページへの見当合わせに役立つように構成される。
【００１７】
本発明の装置は、好ましくは、関連するセレクタを有し、プロセッサに動作的にリンクされて、ポインティング手段が印刷されたハイパーテキスト文書の所望のハイパーリンク領域を指しているときをユーザがプロセッサに示すことができる、適切には概してペンの形のポインティング手段を備える。セレクタは、好ましくは、手段上のボタンであり、手段の先端に設けられていることが適切でありうる。
【００１８】
特に好ましくは、セレクタは、選択が行われたときについての信号確認を提供する。従来の画面ベースのウェブブラウザと異なり、この装置は、画面上で選択されたハイパーリンクをハイライトする機能を有していないが、可聴信号、たとえばクリック音等を適宜与える。たとえば、ペン形状の手段が使用される場合、この手段の先端にクリックボタンを都合よく有することができる。
【００１９】
本発明のさらなる態様によれば、ハイパーテキスト文書を表すプリントページであって、ハイパーテキストコンテンツと、カメラに対する文書の配置の決定に役立つ該プリントページ上の較正マークとを備えるプリントページが提供される。
【００２０】
本発明のさらに別の態様によれば、ハイパーテキスト文書を印刷する方法であって、印刷するハイパーテキストコンテンツを取得すること、印刷する各ページに、カメラに対しての文書の向きの決定に役立つハイパーテキストコンテンツについての較正マークを配置すること、ハイパーテキスト文書を印刷することとを含む方法が提供される。
【００２１】
本発明のさらに別の態様によれば、インターネット閲覧および他のインターネット対話作業のための装置であって、印刷されたハイパーテキスト文書に焦点を合わせ、該印刷されたハイパーテキスト文書の画像を電子形態で表すビデオ信号を生成するカメラと、該カメラにリンクされ、該カメラによって取り込まれた印刷されたハイパーテキスト文書の画像、および印刷されたハイパーテキスト文書の領域を指し示しているカメラの視野内の指その他のポインティング手段の画像を処理するプロセッサであって、該印刷されたハイパーテキスト文書のコンテンツに関する予め格納された情報をメモリに保持し、該画像および該予め格納された情報から、そのハイパーテキスト文書中の指し示されている領域で参照されている、リンクされたウェブページの識別子、またはリンクされたマルチメディアデータファイルの識別子を判別し、インターネットまたはウェブページのローカルキャッシュから、印刷されたハイパーテキスト文書中で参照されている、リンクされたウェブページもしくはリンクされたマルチメディアデータファイルを含むデータを取り込むように構成されるプロセッサと、取り込まれたデータを受け取って表示または再生するレシーバとを備える装置が提供される。
【００２２】
本発明のさらに別の態様によれば、カメラによって取り込まれた印刷されたハイパーテキスト文書の画像、および印刷されたハイパーテキスト文書の領域を指し示しているカメラの視野内の指その他のポインティング手段の画像を処理するように構成されるプロセッサであって、該プロセッサは、印刷されたハイパーテキスト文書のコンテンツに関する予め格納された情報をメモリに保持し、また、画像および予め格納された情報から、そのハイパーテキスト文書の指し示されている領域で参照されている、リンクされたウェブページの識別子、またはリンクしているマルチメディアデータファイルの識別子を判別し、インターネットまたはウェブページのローカルキャッシュから、印刷されたハイパーテキスト文書中で参照されているリンクされたウェブページ、もしくはリンクされたマルチメディアデータファイルを含むデータをフェッチするように構成されるプロセッサが提供される。
【００２３】
本発明のさらに別の態様によれば、カメラによって取り込まれた印刷されたハイパーテキスト文書の画像、および印刷されたハイパーテキスト文書の領域を指し示しているカメラの視野内の指その他のポインティング手段の画像を処理し、該画像および予め格納された情報から、そのハイパーテキスト文書の指し示されている領域で参照されている、リンクされたウェブページの識別子、またはリンクしているマルチメディアデータファイルの識別子を判別し、それから、インターネットまたはウェブページのローカルキャッシュから、印刷されたハイパーテキスト文書中で参照されているリンクされたウェブページ、もしくはリンクされたマルチメディアデータファイルを含むデータをフェッチするようにプロセッサに指示するコンピュータプログラムが提供される。
【００２４】
本明細書において使用する「インターネット」および「ウェブ」または「ウェブページ」という用語は、主にワールドワイドウェブおよびそのページを指すことを意図するが、ネットワークページにＵＲＬまたは同等物でアクセスする類似のネットワーク／ファイル構造も包含することを意図する。
【００２５】
これより、本発明の好ましい実施形態について、添付図面を参照しながら例としてさらに詳しく述べることにする。
【発明を実施するための最良の形態】
【００２６】
まず、図１を参照すると、これは、動作するセットアップとしての本発明のシステムの一実施形態を示す。システム／装置は、共同して、プリントウェブページ１を含む印刷されたハイパーテキスト文書と、適切にはデジタルビデオカメラまたはスキャナであることができ、スタンド３によってプリントウェブページ１の上方に保持され、下にあるウェブページ１に焦点を合わせるカメラ２と、カメラ２がリンクされたプロセッサ／コンピュータ４であって、コンピュータ４は、適切には、関連するＶＤＵ／モニタ６を有する従来のＰＣである、プロセッサ／コンピュータ４と、感圧式の先端またはセレクタボタンを有し、コンピュータ４にリンクされたポインタ７と、を備える。
【００２７】
プリントウェブページ１は、それぞれページの四つ角付近にある４個の較正マーク８ａ〜８ｄのセットに加えて、容易に機械読み取り可能なページ識別子マーク９としての役割を果たし、ページ１の上部の、上部縁部の較正マーク８ａ、８ｂの対のほぼ中間に配置された二次元バーコードがある点で従来のプリントウェブページと異なる。
【００２８】
較正マーク８ａ〜８ｄは広く離間され、上にあるカメラ２によって取り込まれたウェブページ１の電子画像において、コンピュータ４のプロセッサが容易に区別可能であり、かつ発見可能なように設計された、目立って見える位置参照マークである。
【００２９】
ページ１の四つ角付近に配置された図示の４つの較正マーク８ａ〜８ｄは単純かつ頑健であり、図３に示すように、それぞれ白地に黒丸を含み、さらにもう１つの黒丸がそれを取り囲んでいる。これにより、共通の中心を共有する３つの画像領域（中心の黒い円盤と、外側の白い輪および黒い輪）が与えられる。この関係は、ターゲットを斜めに見た場合のように、ある程度の透視投影下でもおおよそ保たれる。
【００３０】
カメラ２から得られた画像においてこのようなマーク８を確固として特定することは容易である。白領域および黒領域は、全体、あるいは好ましくは局所的な適応しきい値処理技法を使用して画像をしきい値処理することによって明確化される。このような技法の例は、Gonzalez R.およびWoods R.著「Digital Image Processing, Addison-Wesley」1992、pp４４３〜４５５、およびRosenfeld A.およびKak A.「Digital Picture Processing (second edition)， Volume 2」 Academic Press, 1982、pp６１〜７３に記載されている。
しきい値処理後、画像中の結び付けられた黒領域または白領域を構成するピクセルが、成分ラベリング技法を使用して明確化される。結びついた成分ラベリング／解析を繰り返し、かつラスタベースでラスタに対して順次行う方法は、Jain R., Kasturi R.およびSchunk B.著「Machine Vision」McGraw-Hill, 1995、pp４２〜４７、およびRosenfeld A.およびKak A.「Digital Picture Processing (second edition), Volume2」, Academic Press, 1982、pp２４０〜２５０に記載されている。
このような方法は、各構成要素ピクセルを一意のラベルで明示的に置き換える。黒成分および白成分は、１つの単純な成分ラベリング技法を別々に適用することによって特定することができる。代替として、黒成分および白成分を独立して、画像全体を通してワンパスで識別することも可能である。また、成分を、ラスタベースでラスタ上で発生するときに、結び付けられた個々の成分のピクセルに関連する統計学のみを保持して暗黙的に識別することも可能である（これには、各成分のラベリングを管理する追加の記憶領域が必要である）。
【００３１】
いずれの場合でも、最終的に必要なのは、各成分を構成するピクセルの重心であり、そしてその水平範囲および垂直範囲についての統計である。成分が大きすぎるあるいは小さすぎる場合、そのまま取り除くことができる。本発明で必要となる残りの部分は、同じ重心を概ね共有し、それぞれの水平寸法および垂直寸法の比率が較正マーク８の水平寸法および垂直寸法の比率に概ね合致するものである。適切な成分の黒、白、黒の組み合わせにより、画像中の較正マーク８が識別される。それぞれの組み合わせされた重心（各成分中のピクセル数で重みが付けられる）により、較正マーク８の最終的な位置が与えられる。
【００３２】
較正マーク８の物理的な最小サイズは、センサ／カメラ２の解像度によって決まる。通常、較正マーク８の全体の寸法は、約６０ピクセルを越えなければならない。３ＭＰカメラ２がＡ４ドキュメントを撮像する場合は、６０ピクセルターゲットが１／３インチをカバーするように、１インチあたり約１８０ピクセルある。４個のこのような較正マーク８ａ〜８ｄをページの角に配置して、図示の実施形態図２に示すような矩形を形成することが特に都合がよい。
【００３３】
前平行（fronto-parallel)（垂直）に見える単純な場合では、ドキュメントの位置、向き、および規模を決定するには、２つの較正マーク８を正しく識別する必要があるだけである。さらに、固定視距離を有するカメラ２の場合は、ドキュメント１の規模も固定される（実際には、ドキュメントまたは積み重ねられたドキュメントの厚さが視距離、ひいてはドキュメントの規模に影響を及ぼす）。
【００３４】
一般的な場合、画像中の２つの既知の較正マーク８の位置を使用して、画像の座標からウェブページドキュメント１の座標への変換を計算する（たとえば、ｘ軸およびｙ軸がドキュメントの短辺および長辺それぞれと位置合わせされた左上角に原点がある）。変換は、
【数１】
2005507526.tif 000003
【００３５】
の形である。式中（Ｘ，Ｙ）は画像中の点であり、（Ｘ’，Ｙ’）は、ドキュメントページ座標系に対するウェブページドキュメント１上の対応する位置である。こういった単純な２Ｄ変位の場合、変換は３つの構成要素を有する：角度θ、変換（ｔｘ，ｔｙ）、および全体規模係数ｋ。これらは、標準的な技法を使用して２つの整合した点、およびその間の仮想線から計算することができる（たとえば、「HYPER: A New Approach for the Recognition and Positioning of Two-Dimensional Objects」 IEEE Trans. Pattern Analysis and Machine Intelligence,Volume 8, No. 1, January 1986、pp４４〜５４を参照のこと）。
【００３６】
２つの較正マーク８ａ、８ｂのみを使用する場合、これらの較正マークがドキュメントの左にあるのか、それとも右にあるのか、また回転したドキュメント１の上にあるのか、それとも下にあるのか（または、実際には対角線上にある対向する角）の判断が難しいことがある。一方策は、たとえば、異なる数の輪および／または逆の極性（黒い輪と白い輪の順序）を有する非同一のマーク８を使用することである。この方法で、任意の２つのマーク８を一意に識別することができる。
【００３７】
代替として、第３のマーク８ｃを使用して明確にすることができる。３個のマーク８ａ〜８ｃは、ドキュメント１のアスペクト比を有するＬ字形を形成しなければならない。そうすると、存在するのは、ドキュメント１がユーザにとって反転する、したがってかなり発生する可能性の低い１８０度の曖昧さのみである。
【００３８】
見ている方向が傾斜している（ドキュメント１の表面が非前平行になる、またはカメラ２装置に追加の設計自由度を付ける）場合は、見られている画像の座標とドキュメント１のページ座標の間の変換を計算するには、４個すべてのマーク８ａ〜８ｄを識別する必要がある。
【００３９】
平面のドキュメント１のページの画像への透過投影は、以下の変換：
【数２】
2005507526.tif 000004
【００４０】
を経る。式中、Ｘ’＝ｘ／ｗであり、Ｙ’＝ｙ／ｗである。
【００４１】
変換が計算されると、これを使用して、ドキュメントページ識別子バーコード９を、コンピュータ４内の、またはコンピュータ４にリンクされたメモリに保持されているその位置の期待座標から特定することができる。計算された変換により、画像中のポインティング操作を（電子形態の）ページ上のハイパーリンクにマッピングすることが可能になる。
【００４２】
図５のフローチャートは、このシステムを使用する際に適宜実行される一連の作業を示し、これは、イメージセンサ／カメラ２の視野内のウェブページ１を指すポインティングデバイス７に関連するスイッチを起動することによって開始される。起動により、カメラ２から画像が取り込まれ、それからこの画像が、コンピュータ４によって処理される。
【００４３】
上に述べたように、図１の実施形態では、本装置は、使用されると、ポインタ先端７でドキュメント１を軽く叩いたときに、カメラ２による画像の取り込みを起動させることができる、感圧センサまたはセレクタボタンを先端に有する有線式のペン形状ポインタ７を備える。この画像は、画像からページ座標へのマッピングを計算するための較正、バーコードからのページ識別、およびポインタ７の先端の現在位置の識別に使用される。
【００４４】
システム遅延を低減するために、較正およびページ識別操作は、ポインタ７を使用してのいずれのポインティング操作のマッピングにも先立ってプロセッサ／コンピュータによって行われることが最もよい。
【００４５】
ポインタ７の先端を識別する最も簡単な方法は、容易に区別される発見可能かつ識別可能で特別なマーカを先端に使用することである。しかし、長い先細の物体を認識する他の自動的な方法も機能する。実際、ポインティングは、システムが指およびその先端を認識し、指で軽く叩くこと、または指での他の区別可能な動き（たとえば、円を描く）等の信号、または指し示している指の先端がプリントウェブページ１の所望のエリアを指しているときに、画像取り込みを起動させる別個のスイッチを操作したことに応答するように構成されている場合、操作者の指を使用して行うことも可能である。
【００４６】
インターネットとの対話
上に述べたように、コンピュータ４は、本発明を用いない場合は標準的な画面ベースのウェブブラウザによって実行されるであろう操作を実行するトリガとして、トリガ起動される選択とともに、プリントウェブページ１の領域を指すジェスチャーを認識するようにプログラムされる。システムは、ポインティングする必要なく、単純な「お気に入りに追加」ブラウザ操作にも使用することができる。
【００４７】
一実施形態では、ユーザは、プリントアウトしたいあらゆるウェブページ１の画像データベースを、関連するＵＲＬとともに構築することができ、コンピュータ４は、プリント元のウェブページのフェッチ、および所望であれば、画面上への再表示を起動するために、プリントウェブページ１の全体パターンまたは任意のレイアウトからの画像認識をサポートするようにプログラムされる。画像データベースは、コンピュータ４内の、またはコンピュータ４にリンクされたメモリに適宜保持される。
【００４８】
一般により経済的であるが、あまり使用に際してあまり高速動作しないコンピュータは、プリントウェブページ１からＵＲＬを直接復元して使用し、インターネット上のウェブサイトプロバイダとの通信に利用可能な範囲の様々な手段を使用して、インターネット上のウェブサイトから元のウェブページをフェッチし、そのページを画面６に再表示するために、プリントウェブページ１のコンテンツに対してＯＣＲを実行するようにプログラムすることができる。ＯＣＲベースの手法は、プリントウェブページ１からＵＲＬまたは他の識別子を復元し、復元されたものを使用して、新しくインターネットに接続する必要なく、ウェブページのローカルキャッシュから対応するウェブページを見つけてフェッチするためにも使用することができる。
【００４９】
図示の実施形態に関して先に述べたように、各プリントウェブページ１は、コンピュータ４がタグ９からウェブページ１を高速認識するのに役立つ特別な可視のバーコード識別タグ９とともに適宜プリントされる。特別な識別タグ９は、ページ１を印刷するときに、ウェブページ１上に適宜プリントされる。ウェブページをプリントアウトのためにフォーマットするエディタは、識別タグ９をプリントページ１に組み込み、これを、ウェブページの元の情報コンテンツの余白を越えたところにある標準化された位置、適切には図示のように上部中央に配置するように適切に適合されている。
【００５０】
この種のウェブページ１のプリントは、特別なアプリケーションを通して、またはより論理的にはウェブブラウザ内のオプションとして行うことができる。ドキュメントがこのフォーマットでのプリントに選択されると、プリントアプリケーション内のエディタが、各ページ上の較正マークのセットおよび識別タグの両方を印刷するように構成する。これは、最も現実的には、ドキュメントコンテンツの周囲の枠を形成する余白内である。ドキュメントがこのようにして構成されると、すべて従来通りの方法で印刷することができる。
【００５１】
図６に示すシステムを使用しての閲覧の単純な用途では、ユーザは、単にウェブページ１を、上面を上にしてカメラ２の下に配置し、画像取り込みを起動するだけで、プリントウェブページ１を、そのページを自動的にフェッチし、また画面上に表示する物理的なブックマークとして使用することができる。この便利な機能は、それ以降の検索または相互参照のためにオンラインウェブページにユーザが素早く戻ることを可能にしながら、気軽な閲覧または慎重な読み取りおよびマーキングの際のウェブページのプリントアウトを後押しする。
【００５２】
主要な使用モードにおいて、閲覧システムは、図７に示すように、画面に表示されているウェブページ上のホットリンク／ハイパーリンクとしてサポートされる相互参照されたページにアクセスする役割を果たす。これには、その後で画像処理手続きを使用して、プリントウェブページ１上のポインティングジェスチャーを識別して解釈し、各ポインティングジェスチャーを、元のウェブページ上の関連するホットリンクエリアにマッピングする必要がある。図５のフローチャートにおける動作スキーム後に、ポインティングデバイス７が、カメラ／イメージセンサ２の視野内の、ホットリンクに対応するプリントウェブページ１上の位置に配置される。ユーザは、ポインティングデバイス７の先端のボタンまたは感圧センサを、ページ１上の選択領域に対して押下／軽く叩くことにより、画像取り込みの選択を起動する。次に、プロセッサ／コンピュータ４が取り込まれた画像を較正に使用して、カメラで見たページを理想的なページと見当合わせさせて、そのページをバーコード（バーコードが使用されている場合）から識別する。プロセッサ４はまた、取り込まれた画像中のポインティングデバイス７も見つけ、理想的なページに対するポインティングデバイス７の位置を決定する。次に、プロセッサ４に格納されている２−Ｄヒット検出テーブルが、プロセッサ４に対して、もしあれば、どのハイパーリンクがポインティングデバイス７によって指定された位置に対応するかを識別し、サブルーチンを動作させて、ハイパーリンクでリンクされるウェブページをフェッチする。
【００５３】
ユーザの観点からの効果は、ユーザが見ることになるハイライトされたエリアを指し示すことによって、関連するページがコンピュータ４の画面６上に表示される。これは特に、複数のホットリンクをインデックスの形で含んでいるプリントされたホームページまたはプリントされた一連のホームページに有用である。プリントされたインデックスページ１’は、関連するウェブページを「閲覧」する従来の機構として動作するだけではなく、他の用紙上のメモおよびファイルに統合することのできる情報の要約または備忘録としても動作することができる。画面ベースの閲覧に対するこの手法のさらなる主な利点は、第２の「画面」が自由になることであり、それによってインデックスまたはホームページを、関連するページをコンピュータ画面６に表示しながら、視野内（用紙上）に留めておくことが可能である。
【００５４】
プリントウェブページ１上のハイライトされたエリアを指し示すことによって、リンクされたページを表示する機能は、関連するオーディオまたはビデオ情報の再生を行うようにも容易に適合することができる。オーディオの再生には、聞いている間にユーザの関心をプリントページに留めておくことができるというさらなる利点があり、ビデオ再生は、再生制御もやはり、たとえばプリントドキュメントの領域を指し示すことによってプリントページから行うことができるため、全画面であることができる。これはあらゆる種類のマルチメディアウェブコンテンツに対して機能するが、たとえば、静止画像に対するオーディオ添付およびビデオ添付の両方をサポートするマルチメディアフォトウェブサイト（たとえば、www.dotphoto.com）との対話に特に適している。この状況では、ユーザが、エントリのページを物理的な写真アルバムに印刷する前に、オーディオフォトおよびビデオスニペットのインデックスショットを、画面表示されたアルバムでアレンジすることができる。そして、ユーザは、アルバム中のインデックスフォトを指し示すことによって、関連するあらゆるオーディオまたはビデオクリップをコンピュータ４で再生することができる。この筋書きでは、各フォト領域が、対応するオーディオビジュアル素材へのホットリンクとして働く。
【００５５】
システムに対するさらなる改良として、手書き文字認識ソフトウェアをコンピュータプロセッサ４にプログラムして、プリントページ１からのウェブ検索および書式記入を可能にすることができる。手書き文字認識ソフトウェア自体は既知であり、しかるべき従来のソフトウェアをこの目的で使用することができる。プリントウェブページ１は、たとえば、ユーザが記入する注文フォームを含み、ユーザは、プリントウェブページに書き込み、おそらく、その他に、「提出」ボックスに記入して、そのフォームをアップロードすべきであることを示すことにより、または代替として、提出エリアをポインタ７で選択し、先の例のような選択ボタンを起動することにより、そのフォームを完成することができる。この手法を使用して、ユーザは、インターネット上でのアイテムの検索、アイテムの注文、または完全な商業取り引きを行うことができる。要求されたコンテンツは、このようなフォームで有用に印刷することもでき、たとえば、カメラ２の下での支援された閲覧のために、検索結果自体を小冊子形態で印刷することができる。
【００５６】
上に述べたインターネット対話機能はすべて、様々なウェブ動作可能な閲覧機器、たとえば、ラップトップ、ハンドヘルドＰＣ、ＰＤＡ、スマートフォン、ウェブＴＶ、インターネットスクリーンフォン、およびキオスク等でサポートすることができる。
【図面の簡単な説明】
【００５７】
【図１】単純なシステムアーキテクチャの図。
【図２】較正マークおよびページ識別マークを有する、プリントされた用紙のハイパーテキストドキュメント（ウェブページ）の平面図。
【図３】較正マークの１つの拡大平面図。
【図４】二次元バーコードを含むページ識別マークの拡大平面図。
【図５】システムの動作を明示するフローチャート。
【図６】単に「お気に入りに追加」に関する閲覧システムの使用法を明示する、図１と同様の図。
【図７】別のウェブページへの「ホットリンク」に関しての閲覧システムの使用法を明示する、図１と同様の図。
【図１】
2005507526.tif 000005
【図２】
2005507526.tif 000006
【図３】
2005507526.tif 000007
【図４】
2005507526.tif 000008
【図５】
2005507526.tif 000009
【図６】
2005507526.tif 000010
【図７】
2005507526.tif 000011
【国際公開パンフレット】
2005507526.tif 000012
2005507526.tif 000013
2005507526.tif 000014
2005507526.tif 000015
2005507526.tif 000016
2005507526.tif 000017
2005507526.tif 000018
2005507526.tif 000019
2005507526.tif 000020
2005507526.tif 000021
2005507526.tif 000022
2005507526.tif 000023
2005507526.tif 000024
2005507526.tif 000025
2005507526.tif 000026
2005507526.tif 000027
2005507526.tif 000028
2005507526.tif 000029
2005507526.tif 000030
2005507526.tif 000031
2005507526.tif 000032
2005507526.tif 000033
2005507526.tif 000034
2005507526.tif 000035
2005507526.tif 000036
2005507526.tif 000037
【国際公開パンフレット（コレクトバージョン）】
2005507526.tif 000038
【国際調査報告】
2005507526.tif 000039
2005507526.tif 000040
2005507526.tif 000041