(57)【要約】撮像部（１１）により対象物表面を撮像し、上記撮像部（１１）による撮像情報に基づいて、画像認識部（１２）及び制御部（１３）により、記憶部（１４）に格納されている対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を読み取り認識して対象物を同定する。これにより、情報システム内に格納された知識などを利用する際に、断点が生じないように自由にアクセスできる。
2003007137.tif 000002
【特許請求の範囲】
【請求項１】
各対象物表面に情報システム内の記憶装置に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を自動的に読み取り認識して対象物を同定し、
対象物表面上で位置を指定することによって、記憶装置内の情報群及び情報群内での情報を指示選択することを特徴とする情報入力・指示方法。
【請求項２】
対象物に対応した情報群を格納した記憶手段と、
上記記憶手段に格納されている対象物に対応した情報群を示す物体識別コードを対象物表面から読み取る物体識別コード読み取り手段と、
上記対象物に対応した情報群内での情報を指示するための情報を上記対象物表面上の位置情報として検出する位置情報検出手段と、
上記物体識別コード読み取り手段により読み取られた物体識別コード及び上記位置情報検出手段により検出された位置情報に基づいて、上記記憶手段に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を認識して対象物を同定する情報処理手段とを備え、
対象物表面上で位置を指定することによって、上記記憶手段内の情報群及び情報群内での情報を指示選択することを特徴とする情報入力・指示装置。
【請求項３】
対象物表面を撮像する撮像手段を上記物体識別コード読み取り手段及び位置情報検出手段として備え、
上記情報処理手段は、上記撮像手段による撮像情報に基づいて、上記記憶手段に格納されている対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を読み取り認識して対象物を同定することを特徴とする請求の範囲第２項記載の情報入力・指示装置。
【請求項４】
上記対象物は、シート状の情報入力媒体であることを特徴とする請求の範囲第２項記載の情報入力・指示装置。
【請求項５】
上記位置情報検出手段として、シート状の座標入力手段を備え、上記シート状の座標入力手段により上記シート状の情報入力媒体上の位置情報を検出することを特徴とする請求の範囲第４項記載の情報入力・指示装置。
【請求項６】
上記シート状の座標入力手段は、透明材料にて形成されていることを特徴とする請求の範囲第５項記載の情報入力・指示装置。
【請求項７】
上記シート状の座標入力手段は、メッシュ状に形成されていることを特徴とする請求の範囲第５項記載の情報入力・指示装置。
【請求項８】
上記物体識別コード読み取り手段として、対象物表面に光学的に読み取り可能に記録されている物体識別コードを読み取る光学的な情報読み取り手段を備えることを特徴とする請求の範囲第５項記載の情報入力・指示装置。
【請求項９】
上記物体識別コード読み取り手段として、対象物表面に磁気的に読み取り可能に記録されている物体識別コードを読み取る磁気的な情報読み取り手段を備えることを特徴とする請求の範囲第５項記載の情報入力・指示装置。
【発明の詳細な説明】
技術分野
本発明は、画像認識を用いた情報入力・指示方法及び情報入力・指示装置に関する。
背景技術
従来、既存のＡＶ（オーディオ・ビジュアル）機器、情報機器や通信機器の各機能を組み合わせることにより、マルチメディア情報の入出力を可能にした装置として、通信機能付け携帯型情報端末や通信機能付けカメラ一体型ＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｒｄｅｒ）、さらに通信機能とともにＡＶ機能を搭載したパーソナルコンピュータなどの各種マルチメディア機器が提供されている。そして、イーサネットやトークンリング、ＡＴＭ等による通信ネットワークや公衆電話回線などの有線通信網あるいは赤外線通信や無線電話通信、衛星通信などの無線通信網を介して、各種マルチメディア機器を接続するようにしたマルチメディアシステムの構築が進められている。
従来のマルチメディア機器においては、パーソナルコンピュータの入力装置として用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどがそのまま入力装置として使用されていた。これらの入力装置では、情報入力指示のすべての手掛かりは、コンピュータ内にあり、通常人間が活動している空間内における対象物とコンピュータ内にあるデータとの間の境界には大きな壁が存在して人間の連続的な思考を阻害する要因になっている。
また、現在、ｉＭｏｄｅに代表されるように携帯端末を利用したインターネットアクセスがより大きな比重を示すことが予測される。携帯電話をはじめとする携帯型の情報端末では、端末面積の制限と電話による操作性等の点から、電話用マルチファンクションキーとジョグキーが採用されている。したがって、ＷＥＢ検索のキーワード入力やサイトアドレス入力には、マルチファンクションキーの操作に熟練することが要求され、初心者などにとっては敷居の高いものになっている。
上述の如く従来のマルチメディア機器の入力装置として使用されいる入力装置として用いられたキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどの入力装置の操作方法は、人間の感覚に適合した操作方法であるとはいえず、コンピュータなどの操作になれていないユーザにとっては直感的に操作方法をイメージすることが困難であり、熟練するのに専門的な知識と訓練が必要となる。
また、人間は３次元活動空間内にあるいろいろな対象物を手掛かりとして記憶したりいろいろな思考を行っており、本来人間の知的活動を支援する情報システムは、これら３次元活動環境における思考と情報システム内に格納された知識などを利用する際に、断点が生じないように自由にアクセスできることが望まれる。
発明の開示
そこで、本発明の目的は、情報システム内に格納された知識などを利用する際に、断点が生じないように自由にアクセスできる情報入力・指示方法及び情報入力・指示装置を提供することにある。
本発明では、ユーザの活動環境中にある対象物を情報システム内に格納されている情報群に対応付け、各対象物表面に情報システムの記憶装置に格納されたその対象物に対応した情報群を示す物体識別コードを付加することにより、上記対象物に対応した情報群内での情報を指示するための情報を対象物表面の上の位置に対応させて、上記対象物に対応した情報を自動的に読み取り認識して対象物を同定し、対象物表面上で位置を指示することによって、記憶装置内の情報群及び情報群内での情報を指示選択して利用できるようにした。
すなわち、対象物を情報システム内に格納された情報群に対応させることによって人間は活動環境から解離することなく、対象物を指示することによって目的とする情報群を指示、選択することができる。また、対象物上での位置を指示して選択された情報群内で必要とされる情報を人間の活動環境内におけると同様な自然な形態で指示し、選択することが可能となる。
本発明に係る情報入力・指示方法は、各対象物表面に情報システム内の記憶装置に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を自動的に読み取り認識して対象物を同定し、対象物表面上で位置を指定することによって、記憶装置内の情報群及び情報群内での情報を指示選択することを特徴とする。
また、本発明に係る情報入力・指示装置は、対象物に対応した情報群を格納した記憶手段と、上記記憶手段に格納されている対象物に対応した情報群を示す物体識別コードを対象物表面から読み取る物体識別コード読み取り手段と、上記対象物に対応した情報群内での情報を指示するための情報を上記対象物表面上の位置情報として検出する位置情報検出手段と、上記物体識別コード読み取り手段により読み取られた物体識別コード及び上記位置情報検出手段により検出された位置情報に基づいて、上記記憶手段に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を認識して対象物を同定する情報処理手段とを備え、対象物表面上で位置を指定することによって、上記記憶手段内の情報群及び情報群内での情報を指示選択することを特徴とする。
また、本発明に係る情報入力・指示装置は、例えば、対象物表面を撮像する撮像手段を上記物体識別コード読み取り手段及び位置情報検出手段として備え、上記情報処理手段は、上記撮像手段による撮像情報に基づいて、上記記憶手段に格納されている対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を読み取り認識して対象物を同定する。
また、本発明に係る情報入力・指示装置では、上記対象物として、例えばシート状の情報入力媒体を用いる。
また、本発明に係る情報入力・指示装置は、例えば、上記位置情報検出手段として、シート状の座標入力手段を備え、上記シート状の座標入力手段により上記シート状の情報入力媒体上の位置情報を検出する。
また、本発明に係る情報入力・指示装置において、上記シート状の座標入力手段は、透明材料にて形成される。
また、本発明に係る情報入力・指示装置において、上記シート状の座標入力手段は、メッシュ状に形成される。
また、本発明に係る情報入力・指示装置は、例えば、上記物体識別コード読み取り手段として、対象物表面に光学的に読み取り可能に記録されている物体識別コードを読み取る光学的な情報読み取り手段を備える。
さらに、本発明に係る情報入力・指示装置は、例えば、上記物体識別コード読み取り手段として、対象物表面に磁気的に読み取り可能に記録されている物体識別コードを読み取る磁気的な情報読み取り手段を備える。
発明を実施するための最良形態
以下、本発明の実施の形態について図面を参照して詳細に説明する。
本発明は、例えば図１に示すような構成の情報入力・指示装置１０により実施される。この図１に示した情報入力・指示装置１０は、撮像部１１、画像認識部１２、制御部１３、記憶部１４、出力部１５を備えている。さらに制御部１３は、ネットワークやホームバス等の通信回線１８、１９を介して情報配信部１６及び外部デバイス１７に接続されている。
撮像部１１は、紙などの物体表面上に付加された認識対象パターンとユーザによって指などで行われるアクセス指示パターンを撮像する。具体的には、例えば図２に示すように、ビューア２５Ａ上に設置されたＣＣＤビデオカメラ２１からなる。ＣＣＤビデオカメラ２１は、ビューア２５Ａが立設されたメディアベース２８上に載置される情報入力シート２９を撮像する。
この図３に示した情報入力シート２９は、機器制御のためのものであって、機種や機器毎の遠隔操作用の認識コードの表示部２９Ａ、機種や機器に対応した制御内容の表示部２９Ｂ、機種や機器に対応した制御内容の制御中止命令の表示部２９Ｃが設けられている。
認識コードの表示部２９Ａには、図４に示すように、円マーク３１とその周囲に８方向に放射状に配置された８個の長方形マーク３２を回転図形要素を１単位とした認識コード（以下、Ｕｍａｒｋ図形コードという。）３０が表示されている。１単位のＵｍａｒｋ図形コード３０には、８個の長方形マーク３２に対応する８種類のコードが定義される。
このＵｍａｒｋ図形コード３０は、利用者による情報を自由定義を可能にするため、上記８個の長方形マーク３２を択一的に塗りつぶして使用するようになっている。また、このＵｍａｒｋ図形コードは、コード検出マーク４０を設けることにより、コード単独でも画像認識を容易に行うことができる。
ここで、１単位のＵｍａｒｋ図形コードは、図形の回転方向に依存するため、図５Ａに示すように８進数表記を基本とするが、図５Ｂに示すように、利用者により認識し易いように１０進数表記とすることもできる。
また、上記Ｕｍａｒｋ図形コードの実際の利用に当たっては、１単位のＵｍａｒｋ図形コード３０を複数個組み合わせて、図６に示すケース１、２のように縦方向又は横方向の１方向に配列表示したり、図６に示すケース３、４、５のようにブロック化配置を採用した高能率符号表示が可能である。コード検出マーク４０を基準にして上記Ｕｍａｒｋ図形コード３０の画像認識を容易に行うことができる。
また、画像認識部１２は、撮像部１１により撮像された画像情報を画像認識する。図２に示すＣＣＤビデオカメラ２１による情報入力シート２９の撮像出力として得られる画像情報が供給されるようになっている。そして、この画像認識部１２では、ＣＣＤビデオカメラ２１による情報入力シート２９の撮像出力として得られる画像情報について、認識対象の識別と認証処理を行い、その識別結果及び認証結果を制御部１３に出力する。また、画像認識部１２は、後述する認識対象の認識結果に対応した情報との関連付けが行われた後には、随時、ユーザによる入力／選択指示を認識して、その認識結果を制御部１３に出力する。
制御部１３は、各部間での情報の送受信を次のように制御する。
先ず、画像認識部１２の認識対象の認識結果と記憶部１４に記憶されている情報との関連付けが行えるか否かを判断する。記憶部１４内に記憶されている情報と関連付けが行える場合には、記憶部１４に記憶されている情報との関連付けを行う。すなわち、自己の装置内に記憶されている情報と関連付けが行える場合には、その情報と関連付けを行う。記憶部１４に記憶されている情報と関連付けが行えなかった場合には、画像認識部１２の認識対象の認識結果を情報配信部１６に送信し、情報配信部１６から関連付け結果を受信する。この場合、関連付けられた情報は情報配信部１６若しくは情報配信部１６に接続された外部通信ネットワークに存在する情報処理装置内に記憶されている。このようにして、画像認識部１２の認識対象の認識結果と対応する情報との関連付けが得られた後、制御部１３は、制御部１３内に設けられた一時記憶部に関連付けられた情報を読み込む。この読み込まれる情報には、出力部１５に出力し表示する表示情報や外部デバイス１７を制御するための制御情報、他の情報へのリンク情報、情報入力シート２９の構成情報等が含まれている。その後、画像認識部１２からの入力／選択指示に対して、その都度認証を行い、表示画面の更新や外部デバイス１７に対する制御を行い、その操作内容と情報の配信結果を出力部１５に表示させる。
ここで、上述した制御部１３内の一時記憶部に読み込まれる各種情報について説明する。
表示情報は、文字、画像、レイアウト情報、音情報などを含む。制御部１３は、この表示情報に基づいて、出力部１５への画面表示や発音制御を行う。
制御情報は、ユーザから入力／指示された際に外部デバイス１７を制御するための制御命令を含む。制御部１３は、この御情報に基づいて、外部デバイス１７を制御する。例えば外部デバイス１７がＶＴＲ（Ｖｉｄｅｏ  Ｔａｐｅ  Ｒｅｃｏｒｄｅｒ）の場合、ＶＴＲの動作を制御するための再生制御情報、停止制御情報、早送り制御情報、巻き戻し制御情報、一時停止制御情報等が含まれている。
リンク情報は、ユーザから入力／指示された際に記憶部１４、情報配信部１６若しくは通信ネットワークに接続された外部の情報処理装置に記憶された他の情報を読み出すためのアドレス等を含む。制御部１３は、このリンク情報に基づいて、他の情報をさらに読み込む処理を行う。例えば、インターネットで用いられているＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）などをこのリンク情報として用いることも可能である。
構成情報は、情報入力シート２９の機種や機器に対応した制御内容の表示部２９Ｂに、何が記載されているかを表す情報が含まれており、ユーザが入力／選択指示をした際に、ユーザが指し示したシート上の物理的位置とその位置に対応する次の処理命令が含まれている。例えば、位置座標とその位置がユーザによって指し示されたときに上述した制御情報若しくはリンク情報を実行するための処理命令とが対応付けられて記述されている。
また、記憶部１４は、認識対象パターンと関連付けられる情報を記憶している。記憶部１４に記憶されている情報は、外部デバイス１７を制御するための情報が記憶されている。これらの情報は、事前に情報配信部１６を介してネットワークに接続された外部の情報処理装置や衛星通信などを用いて記憶部１４に転送されている。
出力部１５は、画像認識部１２からの入出力指示による操作内容と、情報の配信結果を出力するディスプレイ、スピーカやプリンタなどからなる。
情報配信部１６は、イーサネットやトークンリング、ＡＴＭによるネットワークなどの有線通信網あるいは赤外線通信やＰＨＳ通信、衛星通信などの無線通信網を介して制御部１３と接続されている。情報配信部１６は、制御部１３が画像認識部１２の認識対象の認識結果と記憶部１４に記憶されている情報との関連付けが行えなかった場合に、認識対象の認識結果とネットワークに接続された外部の情報処理装置に記憶された情報との関連付けを行う。
外部デバイス１７は、入力／選択指示に応じて制御部１３によって制御される機器であり、有線通信線又は無線通信線により制御部１３に接続されている。
すなわち、このような構成の情報入力・指示装置１０では、情報入力シート２９の機種や機器毎の遠隔操作用の認識コードの表示部２９Ａを読み取ることにより、各対象物表面に情報システム内の記憶システム内に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を自動的に読み取り認識して対象物を同定し、情報入力シート２９の機種や機器に対応した制御内容の表示部２９Ｂで位置を指定することによって、記憶装置内の情報群及び情報群内での情報を指示選択することができる。
上記情報入力・指示装置１０は、図７に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５１、画像処理装置５２、カメラインタフェース５３、ディスプレイインタフェース５４、ネットワークインタフェース５５、ホームネットワークインタフェース５６、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）５７、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）５８及びＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）５９、メインバス６０から構成される。
ＣＰＵ５１は、ＲＯＭ５７に記憶されているシステムプログラムや、ＲＡＭ５８に展開されたプログラムに基づいて制御を行うようになされている。ＣＰＵ５１は、図１の画像認識部１２の機能の一部及び制御部１３の機能の一部を実現する装置である。
画像処理装置５２は、ＣＣＤビデオカメラ２１によって撮像された画像をカメラインタフェース５３を介して入力し、画像認識処理等の各種画像処理を行う。この画像処理装置５２は、図１の画像認識部１２の機能の一部を実現する装置である。カメラインタフェース５３は、ＣＣＤビデオカメラ２１によって撮像された画像を入力し、画像処理装置５２に対応した信号フォーマットに変換して出力する。ディスプレイインタフェース５４は、ＣＰＵ５１及び画像処理装置５２において処理された表示データを入力し、ビューア２５Ａに対応した信号に変換して出力する。ディスプレイインタフェース５４とビューア２５Ａは、図１の出力部１５の機能の一部を実現する装置である。
ネットワークインタフェース５５は、サーバーステーションに接続するためのインタフェースであり、これにより、外部のネットワークに接続される。ネットワークインタフェース５５は、図１の情報配信部１６と通信回線１８の機能の一部を実現する装置である。
ホームネットワークインタフェース５６は、外部デバイス１７に接続するためのインタフェースである。ＣＰＵ５１は、このホームネットワークインタフェース５６を介して外部機器を制御する。ホームネットワークインタフェース５６と外部機器は、図１の外部デバイス１７と通信回線１９の機能の一部を実現する装置である。
ＲＯＭ５７は、ＣＰＵ５１が各種処理を実行する上において必要なプログラムやデータが記憶されている。ＲＡＭ５８は、ＣＰＵ５１が各種処理を実行する上において必要なプログラムやデータを一時的に展開して記憶するようになされている。ＲＯＭ５７とＲＡＭ５８は、図１の制御部１３の機能の一部を実現する装置である。
ＨＤＤ５９は、情報入力シート２９に関連付けられる情報が記憶されている。ＨＤＤ５９は、図１の記憶部１４の機能を実現する装置である。
また、上記各対象物表面に情報システム内の記憶システム内に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を自動的に読み取り認識して対象物を同定し、対象物表面上で位置を指定することによって、記憶装置内の情報群及び情報群内での情報を指示選択する機能は、例えば、携帯端末に搭載することにより、ビジュアルインタラクションによるユーザインタフェースとして機能する。
このインタフェースでは、（１）文字定義は印刷物の文字や利用者が手書きした文字を用い、（２）文字入力は必要とする文字を携帯端末の附属カメラを用いて取り込むことにより行う。このとき、取り込む文字の意味属性は、ＷＥＢのサイトアドレス、検索文字、ファイル名など多岐にわたるので、入力前に予めとのような処理を行うかを、上述の情報入力シート２９におけるＵｍａｒｋ図形コードのような図形コードにより指定する。
すなわち、文字入力インタフェースのアーキテクチャを例えば図８に示すように定義する。
図８において、（Ａ）はｈｔｔｐ、ｆｔｐ、ｔｅｌｎｅｔ、ｆｉｌｅなどに対するにおける文字処理用図形コードを指定している。また、図８の（Ｂ）は、例えばＵＲＬのノード名を記述し、（Ｃ）は組織名、（Ｄ）は組織種別、（Ｅ）は国別力号を記述するエリアとなっている。
すなわち、文字処理コードは、基本的に図８の（Ａ）−１のコード検出図形と（Ａ）−２のＵｍａｒｋ図形コードから構成されている。
ここで、コード検出図形は、文字処理属性を指定する図形コードをカメラにより撮像された２元画像の中から抽出し、例えば、対象物の画像内でのおおよその面積比率Ｐが既知の場合に２値画像中の１の画素割合がＰとなるように閾値Ｔを定めて２値化処理を行う所謂Ｐタイル法による閾値決定や回転による補正処理を行い、図形コードを正規化するための指標として用いられる。
そして、正規化された図形コードに対して、図８の（Ａ）−２の各々の図形コードを分離し、その個々の図形コードの重心を画像処理により算出し、重心ベクトルから８方向の当てはめることにより、８種類のデジタルデータに変換する。
このような図形コード認識プログラムを携帯端末に組み込んでおき、カメラにより図形コードが認識された瞬間に対応する文字処理プログラムを起動することができる。
カメラを用いて文字の抽出を行うための文字認識の方法としては、例えばパターンマッチング法を採用する。
パターンマッチング法による文字認識は、図９に示すように、画像データの前処理（ステップＳ１）、画像データの切り出し（ステップＳ２）、文字解析・特徴抽出（ステップＳ３）、文字のパターンマッチング（ステップＳ４）、文字の決定と表示（ステップＳ５）の順に処理が行われる。
このような図形コード認識プログラムを組み込んだ携帯端末が普及することにより、例えば、図１０に示すようなデータサービスを行うことができる。
すなわち、図１０に示すデータサービスシステム１００において。プロバイダ１１０は、ネット銀行１２０へライセンス料を払い込む（Ａ１）。
ネット銀行１２０は、ライセンスをプロバイダ１１０へ配布する（Ａ２）。
ポスター１３０に貼り付けられているＵＲＬアドレスのシール１２０Ａの内容を携帯電話１４０のＣＣＤカメラ１４０Ａにてキャプチャーする（Ａ３）。
携帯電話１４０は取り込んだＵＲＬアドレスを基地局１５０へ自動的に送信する（Ａ４）。
基地局１５０は、キャリアの交換局１６０にＵＲＬアドレスを送信する（Ａ５）。
キャリアの交換局１６０は、インターネット等を介して当該ＵＲＬアドレスをプロバイダ１１０に送信する（Ａ６）。
プロバイダ１１０よりキャリアの交換局１６０に、該当ＨＴＭＬ（ＨＤＭＬ）を送信する（Ａ７）。
キャリアの交換局１６０は、受け取った当ＨＴＭＬ（ＨＤＭＬ）等を整形して該当基地局１５０にデータを送信する（Ａ８）。
そして、基地局１５０は、該当携帯電話１４０にデータを送信する（Ａ９）。
ネット銀行１２０はアクセスフィーを課金する（Ａ１０）。
また、例えば、図１１に示すようなマルチメディアデータサービスを行うことができる。
すなわち、図１１に示すマルチメディアデータサービスシステム２００において、プロバイダ２１０は、ネット銀行２２０へライセンス料を払い込む（Ｂ１）。
ネット銀行２２０は、ライセンスをプロバイダ２１０へ配布する（Ｂ２）。
ポスター２３０に貼り付けられているショートムービー（ゲーム、ピクチャ）等のＵＲＬアドレスのシール２３０Ａの内容を携帯電話２４０のＣＣＤカメラ２４０Ａにてキャプチャーする（Ｂ３）。
携帯電話２４０は、取り込んだＵＲＬアドレスを基地局２５０へ自動的に送信する（Ｂ４）。
基地局２５０は、キャリアの交換局２６０にＵＲＬアドレスを送信する（Ｂ５）。
キャリアの交換局２６０は、インターネット等を介して当該ＵＲＬアドレスをプロバイダ２１０に送信する（Ｂ６）。
プロバイダ２１０は、キャリアの交換局２６０に該当ＨＴＭＬ（ＨＤＭＬ）を送信する（Ｂ７）。
キャリアの交換局２６０は、受け取った当ＨＴＭＬ（ＨＤＭＬ）等を整形して該当基地局２５０にデータを送信する（Ｂ８）。
そして、基地局２５０は、該当携帯電話２４０にマルチメディアオブジェクトを送信する（Ｂ９）。
ネット銀行２２０は、アクセスフィーを課金する（Ｂ１０）。
また、例えば、図１２に示すような家電機器制御サービスを行うことができる。
すなわち、図１２に示す家電機器制御サービスシステム３００において、プロバイダ３１０は、ネット銀行３２０へライセンス料を払い込む（Ｃ１）。
ネット銀行３２０は、ライセンスをプロバイダ３１０へ配布する（Ｃ２）。
本（手帳）３３０に貼り付けられている家電機器制御情報３３０Ａの内容を携帯電話３４０のＣＣＤカメラ３４０Ａにてキャプチャーする（Ｃ３）。
携帯電話３４０は、取り込んだ家電機器制御情報を基地局３５０へ自動的に送信する（Ｃ４）。
基地局３５０は、キャリアの交換局３６０に家電機器制御情報を送信する（Ｃ５）。
キャリアの交換局３６０は、受け取った家電機器制御情報の認証を行い、認証された場合に該当のプロバイダ３１０に家電機器制御情報を送信する（Ｃ６）。
プロバイダ３１０は、相手先３７０へ家電機器制御情報を送信する（Ｃ７）。
相手先３７０では受信された家電機器制御情報にて該当家電機器の制御がされる（Ｃ８）。
相手先３７０のセキュリティカメラの映像が送信される（Ｃ９）。
ネット銀行３２０は、アクセスフィーを課金する（Ｃ１０）。
さらに、例えば、図１３に示すようなメールサービスを行うことができる。
すなわち、図１３に示すメールサービスシステム４００において、プロバイダ４１０は、ネット銀行４２０へライセンス料を払い込む（Ｄ１）。
ネット銀行４２０は、ライセンスをプロバイダ４２０へ配布する（Ｄ２）。
ポスター４３０に貼り付けられているＥメール・アドレス４３０Ａの内容を携帯電話４４０のＣＣＤカメラ４４０Ａにてキャプチャーする（Ｄ３）。
携帯電話４４０により音声入力すると自動的に文字変換しＥメールを作成する。携帯電話４４０の送信キーを押すことにより、作成されたＥメールは基地局４５０へ送信される（Ｄ４）。
基地局４５０は、キャリアの交換局４６０にＥメールを送信する（Ｄ５）。
キャリアの交換局４６０は、インターネット等を介して該当の相手のアドレスにＥメールを送信する（Ｄ６）。
送信が正常終了した時、送信終了のメッセージがキャリアの交換局４６０に送信される（Ｄ７）。
キャリアの交換局４６０は、受け取った完了メッセージを該当基地局４５０に送信する（Ｄ８）。
基地局４５０は、該当携帯電話４４０に送信完了のメッセージを送信する（Ｄ９）。
ネット銀行４２０は、アクセスフィーを課金する（Ｄ１０）。
また、上記各対象物表面に情報システム内の記憶システム内に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を自動的に読み取り認識して対象物を同定し、対象物表面上で位置を指定することによって、記憶装置内の情報群及び情報群内での情報を指示選択する機能を利用して、例えば、図１４に示すような、ビューイング・タブレット・システム５００を構築することができる。
このビューイング・タブレット・システム５００は、利用者の視線位置から映像を絶えず捉えることのできる装着型のワイヤレスカメラ５１０と、利用者の視野移動に伴って動的に対象物体への操作・指示内容を理解し、適切な情報を利用者に提供する画像認識提示装置５２０を備える。
このビューイング・タブレット・システム５００では、利用者がその視線位置にワイヤレスカメラ５１０を装着することにより、視線の移動に伴って、自動的に対象物体を認識して視野内で操作・指示を与える。すなわち、装着型のワイヤレスカメラ５１０を用いることにより、対象物体の映像を利用者の視点位置から動的に捉えることができる。
このビューイング・タブレット・システム５００において、利用者は、Ｕｍａｒｋカテゴリーコードが付加された本や紙などの対象物上の位置にスペースコードシートをセットする。次に利用者は、視野内において、装着型のワイヤレスカメラ５１０により対象物体のＵｍａｒｋカテゴリーコードを認識させる。さらに、利用者が、視野内でシートの特定部分を指などにより、入力・指示すると、装着型のワイヤレスカメラ５１０から指とこのシートの部分的な映像が画像認識提示装置５２０に入力される。画像認識提示装置５２０は、この部分的な映像を画像認識することにより、利用者の指示内容を判断し、最適な情報を提供する。
以上のように、本発明では、ユーザの活動動環境中にある対象物を情報システム内に格納されている情報群に対応付け、各対象物表面に情報システムの記憶システム内に格納されたその対象物に対応した情報群を示す物体識別コードを付加することにより、上記対象物に対応した情報群内での情報を指示するための情報を対象物表面の上の位置に対応させて、上記対象物に対応した情報を自動的に読み取り認識して対象物を同定し、対象物表面上で位置を指示することによって、記憶装置内の情報群及び情報群内での情報を指示選択して利用できる。これにより、情報システム内に格納された知識などを利用する際に、断点が生じないように自由にアクセスすることが可能になる。
ここで、上述の情報入力・指示装置１０では、情報入力シート２９に記録されている認識対象パターンとユーザによって指などで行われるアクセス指示パターンを撮像部１１により撮像し、その撮像情報に基づいて、対象物に対応した情報群内での情報を指示するための情報を対象物表面の上の位置に対応させて、上記対象物に対応した情報を自動的に読み取り認識して対象物を同定するようにしたが、情報入力シート２９に記録されている認識対象パターンとユーザによって指などで行われるアクセス指示パターンを対象物表面に直接記録しておくようにしてもよい。
対象物表面に記録された認識対象パターンとユーザによって指などで行われるアクセス指示パターンを撮像部１１により撮像し、その撮像情報に基づいて、対象物に対応した情報群内での情報を指示するための情報を対象物表面の上の位置に対応させて、上記対象物に対応した情報を自動的に読み取り認識して対象物を同定する場合、対象物の形状はシート形状に限定されることなく、立体形状の対象物、例えば、図１５Ａに示すように円柱形状の対象物１２９Ａの表面に物体識別コードすなわちＵｍａｒｋ図形コード３０や、図１５Ｂに示すように三角錐形状の対象物１２９Ｂの表面に記録された物体識別コードすなわちＵｍａｒｋ図形コード３０を撮像部１１により撮像して認識することもできる。
また、上述の情報入力・指示装置１０では、認識対象パターンとユーザによって指などで行われるアクセス指示パターンを撮像部１１により撮像し、その撮像情報に基づいて、上記対象物に対応した情報群内での情報を指示するための情報を対象物表面の上の位置に対応させて、上記対象物に対応した情報を自動的に読み取り認識して対象物を同定するようにしたが、上記撮像部１１及び画像認識部１２に代えて、図１６に示す情報入力・指示装置１０Ａのように、対象物表面に光学的に読み取り可能に記録されている物体識別コードを光学的な情報読取部８１により読み取り、上記対象物上の位置をシート状座標入力部８２により入力するようにして、上記対象物に対応した情報群内での情報を指示するための情報を対象物表面の上の位置に対応させて、上記対象物に対応した情報を自動的に読み取り認識して対象物を同定するようにしてもよい。
この情報入力・指示装置１０Ａは、対象物例えば上述の情報入力シート２９に光学的に読み取り可能に記録されている物体識別コードすなわちＵｍａｒｋ図形コード３０を読み取るＣＣＤカメラやＣＣＤイメージセンサを備えるスキャナなどの光学的な情報読取部８１を備える。
また、この情報入力・指示装置１０Ａは、例えば圧力が加えられることによりオンとなる平面スイッチをマトリクス状に配することによって、そのシート面上で圧力が加えられた部分の位置情報を検知するように構成された所謂タッチパネルからなるシート状座標入力部８２を備える。
上記シート状座標入力部８２は、例えば、圧力が加えられた部分で上面と下面との間での導電性が高まるシート状材料で構成され、上記シート状材料の上面及び下面に互いに交差する方向の導体線群が設けられ、上記シート状材料の上面及び下面に設けられた導体線群は、それぞれの線方向と交差する方向の分割抵抗に結合され、分割抵抗の両端から出力電流が検出されるようになっている。
また、このシート状座標入力部８２は、対象物例えば上述の情報入力シート２９上に載置して使用する形態をとる場合、下側の情報入力シート２９が透けて見えるように、透明材料にて形成されたり、あるいは、メッシュ状に形成される。なお、不透明な状態に形成されたシート状座標入力部８２は、その上面に情報入力シート２９を載置して使用する形態となる。
このようにシート状座標入力部８２を採用した情報入力・指示装置１０Ａでは、例えば本やカタログなどの冊子のように作成されている概要的な情報を与える各頁を上述の情報入力シート２９にて形成し、上記概要的な情報と情報システムに格納されている種々の詳細な情報との間を関連付けておくことにより、上記本やカタログなどの冊子をめくって調べて目星を付け、上記本やカタログなどの冊子の該当する頁に当該情報入力・指示装置１０Ａを重ね合わせて、その表面上で必要な位置を指し示すことによって、さらに、詳細な情報を容易に参照することができるシステムを構築することができる。このシステムでは、使用者にとって、情報システム内に格納されている情報を利用する場合に操作が日常の活動に極めて近い状態でできるため、よりスムースな情報入力・指示動作となる。
ここで、上述の情報入力シート２９に物体識別コードすなわちＵｍａｒｋ図形コード３０が例えば高透磁率材料を含む磁気インクにより記録されている場合には、上記情報入力・指示装置１０Ａにおける光学的な情報読取部８１に替えて、磁気的な情報読取部を用いることができる。
上記磁気インクにより描かれたパターンを磁気的に読み取る情報読取部は、図１７に示すように、ループ状磁路の一部が切り欠かれた構造の高透磁率材料によるコア９１に二つのコイル９２Ａ、９２Ｂを巻装した電磁素子９０を基本単位とする。この基本単位の電磁素子９０は、上記ループ状磁路の一部が切り欠かれた部分を上記高透磁率材料によりパターンが記録されている情報入力シート２９の表面方向に向けることにより、上記Ｕｍａｒｋ図形コード３０を形成している高透磁率材料からなるパターンにより磁気的閉路が形成され、二つのコイル９２Ａ、９２Ｂ間での相互インダクタンスが変化するので、一方のコイル９２Ａに電流を流し、その電流によって他方のコイル９２Ｂに誘起される電気信号を検出することによって、上記ループ状磁路の切り欠かれた部分が上記情報入力シート２９に記録されている高透磁率材料によるパターンと対向しているか否かを検出することができる。そして、情報読取部８１Ａは、図１８に示すように、上記基本単位の電磁素子９０を二次元的にマトリクス状に配置して、各一方のコイル９２Ａを縦方向に直列接続し、各他方のコイル９２Ｂを横方向に直列接続した構造となっている。
このような構造の情報読取部８１Ａでは、例えば横方向に直列接続したコイル群Ｈ１、Ｈ２・・・に順次電流を流して、縦方向に直列接続したコイル群Ｖ１、Ｖ２・・・に誘起される電圧を検知することにより、情報記録面との相対運動を伴わずに高透磁性体パターンの分布像を読み取ることができる。
なお、この情報読取部８１Ａも下側の情報入力シート２９が透けて見えるように構成される。
【図面の簡単な説明】
図１は、本発明を適用した情報入力・指示装置の機能的な構成を示すブロック図である。
図２は、上記情報入力・指示装置の模式的な外観斜視図である。
図３は、上記情報入力・指示装置で使用される情報入力シートの模式的な平面図である。
図４は、上記情報入力シートに表示されたＵｍａｒｋ図形コードの構造を示す平面図である。
図５Ａ及び図５Ｂは、上記Ｕｍａｒｋ図形コードのコード形式例を示す図である。
図６は、上記Ｕｍａｒｋ図形コードの配列例を示す図である。
図７は、上記情報入力・指示装置の要部ハードウエア構成を示すブロック図である。
図８は、携帯端末におけるビジュアルインタラクションによるユーザインタフェースとして機能する文字入力インタフェースのアーキテクチャの定義を模式的に示す図である。
図９は、パターンマッチング法による文字認識の処理手順を示すフローチャートである。
図１０は、図形コード認識プログラムを組み込んだ携帯端末を使用したデータサービスシステムの構成例を示す図である。
図１１は、図形コード認識プログラムを組み込んだ携帯端末を使用したマルチメディアデータサービスシステムの構成例を示す図である。
図１２は、図形コード認識プログラムを組み込んだ携帯端末を使用した家電機器制御サービスシステムの構成例を示す図である。
図１３は、図形コード認識プログラムを組み込んだ携帯端末を使用したメールサービスシステムの構成例を示す図である。
図１４は、ビューイング・タブレット・システムの外観斜視図である。
図１５Ａ及び図１５Ｂは、情報入力・指示装置の撮像部により撮像される円柱形状の対象物及び三角錐形状の対象物を示す模式的な斜視図である。
図１６は、光学的な情報読取部とシート状座標入力部を備えた情報入力・指示装置の模式的な平面図である。
図１７は、磁気的な情報読取部の基本単位を構成する電磁素子の構造を示す模式的な正面図である。
図１８は、上記基本単位の電磁素子を二次元的にマトリクス状に配置してなる磁気的な情報読取部の模式的な斜視図である。
【図１】
2003007137.tif 000003
【図２】
2003007137.tif 000004
【図３】
2003007137.tif 000005
【図４】
2003007137.tif 000006
【図５Ａ】
2003007137.tif 000007
【図５Ｂ】
2003007137.tif 000008
【図６】
2003007137.tif 000009
【図７】
2003007137.tif 000010
【図８】
2003007137.tif 000011
【図９】
2003007137.tif 000012
【図１０】
2003007137.tif 000013
【図１１】
2003007137.tif 000014
【図１２】
2003007137.tif 000015
【図１３】
2003007137.tif 000016
【図１４】
2003007137.tif 000017
【図１５Ａ】
2003007137.tif 000018
【図１５Ｂ】
2003007137.tif 000019
【図１６】
2003007137.tif 000020
【図１７】
2003007137.tif 000021
【図１８】
2003007137.tif 000022
【手続補正書】
【提出日】平成14年9月26日(2002.9.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
各対象物表面に情報システム内の記憶装置に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を自動的に読み取り認識して対象物を同定し、
対象物表面上で位置を指定することによって、記憶装置内の情報群及び情報群内での情報を指示選択することを特徴とする情報入力・指示方法。
【請求項２】
（補正後）上記物体識別コードは、図形の回転方向に依存するコードであることを特徴とする請求の範囲第１項記載の情報入力・指示方法。
【請求項３】
（補正後）対象物に対応した情報群を格納した記憶手段と、
上記記憶手段に格納されている対象物に対応した情報群を示す物体識別コードを対象物表面から読み取る物体識別コード読み取り手段と、
上記対象物に対応した情報群内での情報を指示するための情報を上記対象物表面上の位置情報として検出する位置情報検出手段と、
上記物体識別コード読み取り手段により読み取られた物体識別コード及び上記位置情報検出手段により検出された位置情報に基づいて、上記記憶手段に格納されたその対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を認識して対象物を同定する情報処理手段とを備え、
対象物表面上で位置を指定することによって、上記記憶手段内の情報群及び情報群内での情報を指示選択することを特徴とする情報入力・指示装置。
【請求項４】
（補正後）上記物体識別コードは、図形の回転方向に依存するコードであることを特徴とする請求の範囲第３項記載の情報入力・指示装置。
【請求項５】
（補正後）対象物表面を撮像する撮像手段を上記物体識別コード読み取り手段及び位置情報検出手段として備え、
上記情報処理手段は、上記撮像手段による撮像情報に基づいて、上記記憶手段に格納されている対象物に対応した情報群を示す物体識別コード及び上記対象物に対応した情報群内での情報を指示するための情報を対象物表面上の位置に対応させて、対象物に対応した情報を読み取り認識して対象物を同定することを特徴とする請求の範囲第３項記載の情報入力・指示装置。
【請求項６】
（補正後）上記対象物は、シート状の情報入力媒体であることを特徴とする請求の範囲第３項記載の情報入力・指示装置。
【請求項７】
（補正後）上記位置情報検出手段として、シート状の座標入力手段を備え、上記シート状の座標入力手段により上記シート状の情報入力媒体上の位置情報を検出することを特徴とする請求の範囲第６項記載の情報入力・指示装置。
【請求項８】
（補正後）上記シート状の座標入力手段は、透明材料にて形成されていることを特徴とする請求の範囲第７項記載の情報入力・指示装置。
【請求項９】
（補正後）上記シート状の座標入力手段は、メッシュ状に形成されていることを特徴とする請求の範囲第７項記載の情報入力・指示装置。
【請求項１０】
（追加）上記物体識別コード読み取り手段として、対象物表面に光学的に読み取り可能に記録されている物体識別コードを読み取る光学的な情報読み取り手段を備えることを特徴とする請求の範囲第７項記載の情報入力・指示装置。
【請求項１１】
（追加）上記物体識別コード読み取り手段として、対象物表面に磁気的に読み取り可能に記録されている物体識別コードを読み取る磁気的な情報読み取り手段を備えることを特徴とする請求の範囲第７項記載の情報入力・指示装置。
【国際調査報告】
2003007137.tif 000023
2003007137.tif 000024
2003007137.tif 000025