(57)【特許請求の範囲】
【請求項１】
画像処理機能を備えたマルチメディア機器における情報入力方法であって、
認識対象の物体表面上に認識対象パターンとして付加された認証パターンと識別パターンを入力手段により撮像する認識対象パターン撮像ステップと、
上記認識対象パターン撮像ステップで認識対象パターンとして撮像された認証パターンと識別パターンを画像認識手段により画像認識する認識対象パターン認識ステップと、
上記認識対象パターン画像認識ステップで画像認識された上記認証パターンにより認証処理を行ってから、画像認識された上記識別パターンと対応する情報との関連付けを行い、関連付けられた情報に対するアクセス指示入力パターンを上記入力手段により撮像するアクセス指示入力パターン撮像ステップと、
上記アクセス指示入力パターン撮像ステップで撮像されたアクセス指示入力パターンを上記画像認識手段により画像認識するアクセス指示入力パターン認識ステップと、
上記アクセス指示入力パターン認識ステップにおいて、上記識別パターンに関連付けられた情報について画像認識されたアクセス指示入力パターンに応じた制御動作を行う制御ステップと
を有し、
上記アクセス指示入力パターン認識ステップでは、認識対象パターンの濃淡画像情報について、濃淡画像の中で入力／選択指示が検出される領域内において、入力／選択指示を与えるアクセス指示入力パターンとして、予め取り込まれている上記認識対象の物体表面の原画像との差分画像を抽出し、抽出した差分画像について該差分画像に外接する長方形を求めるとともに領域内の画素分布を求め、求めた外接長方形の各辺上の画素分布から上記アクセス指示入力パターンの進入方向を求め、進入方向に応じた長方形内の画像走査を行い、アクセス指示入力パターンの端点位置を検出し、
上記制御ステップでは、上記アクセス指示入力パターン認識ステップにおいて、検出されたアクセス指示入力パターンの端点位置に対応して定義された制御動作を制御手段により行うことを特徴とする情報入力方法。
【請求項２】
上記制御ステップにおいて実行される上記アクセス指示入力パターンに応じた制御内容を表示手段により表示する表示ステップを有することを特徴とする請求項１記載の情報入力方法。
【請求項３】
上記表示ステップでは、上記アクセス指示入力パターンに応じた制御動作の結果を上記表示手段により表示することを特徴とする請求項２記載の情報入力方法。
【請求項４】
上記表示ステップでは、上記アクセス指示入力パターンに応じた制御内容と上記アクセス指示入力パターンに応じた制御動作の結果をオーバーラップさせて上記表示手段により表示することを特徴とする請求項３記載の情報入力方法。
【請求項５】
上記アクセス指示入力パターン認識ステップにおいて、上記アクセス指示入力パターンの画像認識により関連付けられた情報に対するアクセス指示入力を受け付ける毎に上記画像認識した認証パターンにより認証処理を行ってから、上記制御ステップでは、上記識別パターンに関連付けられた情報について受け付けたアクセス指示入力に応じた制御動作を行うことを特徴とする請求項１記載の情報入力方法。
【請求項６】
画像処理機能を備えたマルチメディア機器における情報入力装置であって、
認識対象の物体表面上に認識対象パターンとして付加された認証パターン及び識別パターンとアクセス指示パターンを撮像する入力手段と、
上記入力手段により撮像された画像情報を画像認識する画像認識手段と、
上記画像認識手段により画像認識された認証パターンにより認証処理を行ってから、上記画像認識手段により画像認識された識別パターンを対応する情報と関連付ける認証処理手段と、
上記認証処理手段により識別パターンに関連付けられた情報について上記画像認識手段により画像認識されたアクセス指示入力パターンに応じた制御情報を出力する制御手段とを備え、
上記画像認識手段は、上記入力手段により撮像された認識対象パターンの濃淡画像情報について、濃淡画像の中で入力／選択指示が検出される領域内において、入力／選択指示を与えるアクセス指示入力パターンとして、予め取り込まれている上記認識対象の物体表面の原画像との差分画像を抽出し、抽出した差分画像について該差分画像に外接する長方形を求めるとともに領域内の画素分布を求め、求めた外接長方形の各辺上の画素分布から上記アクセス指示入力パターンの進入方向を求め、進入方向に応じた長方形内の画像走査を行い、アクセス指示入力パターンの端点位置を検出し、
上記制御手段は、上記認証処理手段により識別パターンに関連付けられた情報について、上記画像認識手段により検出されたアクセス指示入力パターンの端点位置に対応して定義された制御動作を行うことを特徴とする情報入力装置。
【請求項７】
上記アクセス指示入力パターンに応じた制御内容を表示する表示手段を備えることを特徴とする請求項６記載の情報入力装置。
【請求項８】
上記表示手段により、上記アクセス指示入力パターンに応じた制御動作の結果を表示することを特徴とする請求項７記載の情報入力装置。
【請求項９】
上記表示手段により、上記アクセス指示入力パターンに応じた制御内容と上記アクセス指示入力パターンに応じた制御動作の結果をオーバーラップさせて表示することを特徴とする請求項８記載の情報入力装置。
【請求項１０】
上記認証処理手段は、上記アクセス指示入力パターンの画像認識により関連付けられた情報に対するアクセス指示入力を受け付ける毎に、上記画像認識した認証パターンにより認証処理を行ってから、上記画像認識した識別パターンと対応する情報との関連付けを行い、上記制御手段は、上記識別パターンに関連付けられた情報について受け付けたアクセス指示入力に応じた制御情報を出力することを特徴とする請求項６記載の情報入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識を用いた情報入力方法及び情報入力装置に関する。
【０００２】
【従来の技術】
従来、既存のＡＶ（オーディオ・ビジュアル）機器、情報機器や通信機器の各機能を組み合わせることにより、マルチメディア情報の入出力を可能にした装置として、通信機能付け携帯型情報端末や通信機能付けカメラ一体型ＶＴＲ(Video Tape Recorder) 、さらに通信機能と共にＡＶ機能を搭載したパーソナルコンピュータなどの各種マルチメディア機器が提供されている。そして、イーサネットやトークンリング、ＡＴＭ等による通信ネットワークや公衆電話回線などの有線通信網あるいは赤外線通信や無線電話通信、衛星通信などの無線通信網を介して、各種マルチメディア機器を接続するようにしたマルチメディアシステムの構築が進められている。
【０００３】
従来のマルチメディア機器においては、パーソナルコンピュータの入力装置として用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどがそのまま入力装置として使用されていた。
【０００４】
また、従来、例えば図１５の（Ａ），（Ｂ）に示すように、商品や物品の識別に１次元あるいは２次元方向に配置された二値符号で構成されたコード、いわゆるバーコードを用いて対象物を特定化することが行われていた。図１５の（Ａ）は１次元バーコードを示し、（Ｂ）は２次元バーコードを示している。
【０００５】
【発明が解決しようとする課題】
ところで、従来のマルチメディア機器に用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどの入力装置の操作方法は、人間の感覚に適合した操作方法であるとはいえず、コンピュータなどの操作になれていないユーザにとっては直感的に操作方法を理解することが困難であり、操作方法に熟練するためには専門的な知識と訓練が必要となる。
【０００６】
また、従来、商品や物品の識別に１次元あるいは２次元の二値符号のコードを用いて対象物を特定化することが行われていたが、識別対象物の種類の増加に伴い、対応するコードそのものが足りなくなってきている。この解決策として、コードそのものの桁数を増加させることにより対応しているが、単位面積当たりの最小情報量は高々２ビット程度であって、全体としてコードの専有面積が増加してしまう。コードの専有面積は、識別対象物である商品や物品の表面積を奪うことになり好ましいものでなく、また、コードの認識時間を増加させることになってしまう。
【０００７】
そこで、本発明の目的は、ユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入力方法及び情報入力装置を提供することにある。
【０００８】
また、本発明の他の目的は、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができる情報入力方法及び情報入力装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、画像処理機能を備えたマルチメディア機器における情報入力方法であって、認識対象の物体表面上に認識対象パターンとして付加された認証パターンと識別パターンを入力手段により撮像する認識対象パターン撮像ステップと、上記認識対象パターン撮像ステップで認識対象パターンとして撮像された認証パターンと識別パターンを画像認識手段により画像認識する認識対象パターン認識ステップと、上記認識対象パターン画像認識ステップで画像認識された上記認証パターンにより認証処理を行ってから、画像認識された上記識別パターンと対応する情報との関連付けを行い、関連付けられた情報に対するアクセス指示入力パターンを上記入力手段により撮像するアクセス指示入力パターン撮像ステップと、上記アクセス指示入力パターン撮像ステップで撮像されたアクセス指示入力パターンを上記画像認識手段により画像認識するアクセス指示入力パターン認識ステップと、上記アクセス指示入力パターン認識ステップにおいて、上記識別パターンに関連付けられた情報について画像認識されたアクセス指示入力パターンに応じた制御動作を行う制御ステップとを有し、上記アクセス指示入力パターン認識ステップでは、認識対象パターンの濃淡画像情報について、濃淡画像の中で入力／選択指示が検出される領域内において、入力／選択指示を与えるアクセス指示入力パターンとして、予め取り込まれている上記認識対象の物体表面の原画像との差分画像を抽出し、抽出した差分画像について該差分画像に外接する長方形を求めるとともに領域内の画素分布を求め、求めた外接長方形の各辺上の画素分布から上記アクセス指示入力パターンの進入方向を求め、進入方向に応じた長方形内の画像走査を行い、アクセス指示入力パターンの端点位置を検出し、上記制御ステップでは、上記アクセス指示入力パターン認識ステップにおいて、検出されたアクセス指示入力パターンの端点位置に対応して定義された制御動作を制御手段により行うことを特徴とする。
【００１０】
また、本発明は、画像処理機能を備えたマルチメディア機器における情報入力装置であって、認識対象の物体表面上に認識対象パターンとして付加された認証パターン及び識別パターンとアクセス指示パターンを撮像する入力手段と、上記入力手段により撮像された画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された認証パターンにより認証処理を行ってから、上記画像認識手段により画像認識された識別パターンを対応する情報と関連付ける認証処理手段と、上記認証処理手段により識別パターンに関連付けられた情報について上記画像認識手段により画像認識されたアクセス指示入力パターンに応じた制御情報を出力する制御手段とを備え、上記画像認識手段は、上記入力手段により撮像された認識対象パターンの濃淡画像情報について、濃淡画像の中で入力／選択指示が検出される領域内において、入力／選択指示を与えるアクセス指示入力パターンとして、予め取り込まれている上記認識対象の物体表面の原画像との差分画像を抽出し、抽出した差分画像について該差分画像に外接する長方形を求めるとともに領域内の画素分布を求め、求めた外接長方形の各辺上の画素分布から上記アクセス指示入力パターンの進入方向を求め、進入方向に応じた長方形内の画像走査を行い、アクセス指示入力パターンの端点位置を検出し、上記制御手段は、上記認証処理手段により識別パターンに関連付けられた情報について、上記画像認識手段により検出されたアクセス指示入力パターンの端点位置に対応して定義された制御動作を行うことを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１２】
本発明は、例えば図１に示すような構成の情報入力装置１００により実施される。この図１に示した情報入力装置１００は、撮像部１０１、画像認識部１０２、制御部１０３、記憶部１０４、出力部１０５を備えている。さらに制御部１０３は、ネットワークやホームバス等の通信回線１０８，１０９を介して情報配信部１０６及び外部デバイス１０７に接続されている。この情報入力装置１００は、例えば図２に示すような構成のマルチメディアシステムに適用される。
【００１３】
撮像部１０１は、紙などの物体表面上に付加された認識対象パターンとユーザによって指などで行われるアクセス指示パターンを撮像する。具体的には、図２に示したマルチメディアシステムにおけるビューア２０５Ａ上に設置されたＣＣＤビデオカメラ２０１からなる。ＣＣＤビデオカメラ２０１は、ビューア２０５Ａが立設されたメディアベース２０８上に載置される入力シート２０９を撮像する。
【００１４】
ここで、入力シート２０９は、例えば図４に示すように、５つのカテゴリエリアＡ，Ｂ，Ｃ，Ｄ，Ｅに区分された紙などで構成された情報選択媒体である。この入力シート２０９における第１のカテゴリエリアＡには、認識対象パターンとして、このシートが図１に示した情報入力装置用のシートであることを認証するための認証絵文字が記載されている。第２のカテゴリエリアＢには、認識対象パターンとして、このシートと電子的な情報とを対応付けるための識別絵文字が記載されている。第３のカテゴリエリアＣには位置補正マークが記載される。第４のカテゴリエリアＤにはユーザが選択指示を行うためのマークが記載されている。第５のカテゴリエリアＥには情報内容が記載されている。なお、このシートの構成については、後でもう一度詳細に説明する。
【００１５】
また、画像認識部１０２は、撮像部１０１により撮像された画像情報を画像認識する。図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報が供給されるようになっている。そして、この画像認識部１０２では、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報について、認識対象の識別と認証処理を行い、その識別結果及び認証結果を制御部１０３に出力する。また、画像認識部１０２は、後述する認識対象の認識結果に対応した情報との関連付けが行われた後には、随時、ユーザによる入力／選択指示を認識して、その認識結果を制御部１０３に出力する。
【００１６】
制御部１０３は、図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、各部間での情報の送受信を次のように制御する。
【００１７】
先ず、画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えるか否かを判断する。記憶部１０４内に記憶されている情報と関連付けが行える場合には、記憶部１０４に記憶されている情報との関連付けを行う。すなわち、自己の装置内に記憶されている情報と関連付けが行える場合には、その情報と関連付けを行う。記憶部１０４に記憶されている情報と関連付けが行えなかった場合には、画像認識部１０２の認識対象の認識結果を情報配信部１０６に送信し、情報配信部１０６から関連付け結果を受信する。この場合、関連付けられた情報は情報配信部１０６若しくは情報配信部１０６に接続された外部通信ネットワークに存在する情報処理装置内に記憶されている。このようにして、画像認識部１０２の認識対象の認識結果と対応する情報との関連付けが得られた後、制御部１０３は、制御部１０３内に設けられた一時記憶部に関連付けられた情報を読み込む。この読み込まれる情報には、出力部１０５に出力し表示する表示情報や外部デバイス１０７を制御するための制御情報、他の情報へのリンク情報、入力シート２０９の構成情報等が含まれている。その後、画像認識部１０２からの入力／選択指示に対して、その都度認証を行い、表示画面の更新や外部デバイス１０７に対する制御を行い、その操作内容と情報の配信結果を出力部１０５に表示させる。
【００１８】
ここで、上述した制御部１０３内の一時記憶部に読み込まれる各種情報について説明する。
【００１９】
表示情報は、文字、画像、レイアウト情報、音情報などを含む。制御部１０３は、この表示情報に基づいて、出力部１０５への画面表示や発音制御を行う。
【００２０】
制御情報は、ユーザから入力／指示された際に外部デバイス１０７を制御するための制御命令を含む。制御部１０３は、この御情報に基づいて、外部デバイス１０７を制御する。例えば外部デバイス１０７がＶＴＲ(Video Tape Recorder) の場合、ＶＴＲの動作を制御するための再生制御情報、停止制御情報、早送り制御情報、巻き戻し制御情報、一時停止制御情報等が含まれている。
【００２１】
リンク情報は、ユーザから入力／指示された際に記憶部１０４、情報配信部１０６若しくは通信ネットワークに接続された外部の情報処理装置に記憶された他の情報を読み出すためのアドレス等を含む。制御部１０３は、このリンク情報に基づいて、他の情報をさらに読み込む処理を行う。例えば、インターネットで用いられているＵＲＬ(Uniform Resource Locator)などをこのリンク情報として用いることも可能である。
【００２２】
構成情報は、情報入力シート２０９のカテゴリエリアＤ及びカテゴリエリアＥに、何が記載されているかを表す情報が含まれており、ユーザが入力／選択指示をした際に、ユーザが指し示したシート上の物理的位置とその位置に対応する次の処理命令が含まれている。例えば、位置座標とその位置がユーザによって指し示されたときに上述した制御情報若しくはリンク情報を実行するための処理命令とが対応付けられて記述されている。
【００２３】
また、記憶部１０４は、図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、認識対象パターンと関連付けられる情報を記憶している。記憶部１０４に記憶されている情報は、外部デバイス１０７を制御するための情報が記憶されている。これらの情報は、事前に情報配信部１０６を介してネットワークに接続された外部の情報処理装置や衛星通信などを用いて記憶部１０４に転送されている。このようにコントロールボックス２０２内部に記憶部１０４を備えることにより、ネットワークのトラフィックを減少させることができ、かつ、ユーザの入力／選択指示に対する応答時間を短くすることが可能になる。
【００２４】
出力部１０５は、画像認識部１０２からの入出力指示による操作内容と、情報の配信結果を出力するディスプレイ，スピーカやプリンタなどからなる。図２に示すマルチメディアシステムにおいては、出力部１０５は、ビューア２０５Ａ及びビデオスキャンコンバータ２０５Ｂから構成されている。なお、出力部１０５は、図７に示すように、制御する各種デバイスの映像出力を合成して出力することもできる。図７では、表示画面７００の左側には、ユーザによって選択される操作機能を示す画像７１０が表示され、ユーザにより選択されたＶＴＲの再生命令を示す右向き三角形の再生命令記号７２０の表示領域は網掛けを施して表示されている。また、表示画面７００の右側には、情報の配信結果として外部デバイス１０７から出力された画像７３０が表示されている。
【００２５】
情報配信部１０６は、イーサネットやトークンリング，ＡＴＭによるネットワークなどの有線通信網あるいは赤外線通信やＰＨＳ通信，衛星通信などの無線通信網を介して制御部１０３と接続されている。情報配信部１０６は、制御部１０３が画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えなかった場合に、認識対象の認識結果とネットワークに接続された外部の情報処理装置に記憶された情報との関連付けを行う。図２に示すマルチメディアシステムにおいては、ワークステーション２０６からなる。
【００２６】
外部デバイス１０７は、入力／選択指示に応じて制御部１０３によって制御される機器であり、例えば図２においてはＡＶ機器２０７Ａ，ＶＴＲ２０８Ｂ，モデム２０７Ｃ，電話機２０７Ｄ，カメラ２０７Ｅである。この他に、コンピュータやゲーム機等の各種電子機器であってもかまわない。この外部デバイス１０７は、有線通信線又は無線通信線により制御部１０３に接続されている。
【００２７】
図３は、図２のコントロールボックス２０２のハードウェア構成の一例を示している。図２のコントロールボックス２０２は、ＣＰＵ(Central Processing Unit) ３０１、画像処理装置３０２、カメラインターフェース３０３、ディスプレイインターフェース３０４、ネットワークインターフェース３０５、ホームネットワークインターフェース３０６、ＲＯＭ(Read Only Memory)３０７、ＲＡＭ(Random Access Memory)３０８及びＨＤＤ(Hard Disk Drive) ３０９、ＢＵＳ３１０から構成されている。
【００２８】
ＣＰＵ３０１は、ＲＯＭ３０７に記憶されているシステムプログラムや、ＲＡＭ３０８に展開されたプログラムに基づいてコントロールボックス２０２の制御を行うようになされている。ＣＰＵ３０１は、図１の画像認識部１０２の機能の一部及び制御部１０３の機能の一部を実現する装置である。
【００２９】
画像処理装置３０２は、ＣＣＤビデオカメラ２０１によって撮像された画像をカメラインターフェース３０３を介して入力し、画像認識処理等の各種画像処理を行う。この画像処理装置３０２は、図１の画像認識部１０２の機能の一部を実現する装置である。カメラインターフェース３０３は、ＣＣＤビデオカメラ２０１によって撮像された画像を入力し、画像処理装置３０２に対応した信号フォーマットに変換して出力する。
【００３０】
ディスプレイインターフェース３０４は、ＣＰＵ３０１及び画像処理装置３０２において処理された表示データを入力し、ビューア２０５Ａに対応した信号に変換して出力する。ディスプレイインターフェース３０４とビューア２０５Ａは、図１の出力部１０５の機能の一部を実現する装置である。
【００３１】
ネットワークインターフェース３０５は、ワークステーション２０６に接続するためのインターフェースであり、これにより、外部のネットワークに接続される。ネットワークインターフェース３０５とワークステーション２０６は、図１の情報分配部１０６と通信回線１０８の機能の一部を実現する装置である。
【００３２】
ホームネットワークインターフェース３０６は、外部デバイス１０７に接続するためのインターフェースである。ＣＰＵ３０１は、このホームネットワークインターフェース３０６を介して外部機器３０７Ａ〜３０７Ｅを制御する。ホームネットワークインターフェース３０６と外部機器３０７Ａ〜３０７Ｅは、図１の外部デバイス１０７と通信回線１０９の機能の一部を実現する装置である。
【００３３】
ＲＯＭ３０７は、ＣＰＵ３０１が各種処理を実行する上において必要なプログラムやデータが記憶されている。ＲＡＭ３０８は、ＣＰＵ３０１が各種処理を実行する上において必要なプログラムやデータを一時的に展開して記憶するようになされている。ＲＯＭ３０７とＲＡＭ２０８は、図１の制御部１０３の機能の一部を実現する装置である。
【００３４】
ＨＤＤ３０９は、入力シート２０９に関連付けられる情報が記憶されている。ＨＤＤ３０９は、図１の記憶部１０４の機能を実現する装置である。
【００３５】
これら各構成要素３０１乃至３０９が、ＢＵＳ３１０を介してそれぞれ接続され、これにより図１を用いて説明した情報入力装置の各機能が実現される。
【００３６】
次に図１乃至図３を用いて説明した情報入力装置によって撮像される入力シート２０９について、図４を用いて説明する。上述したように、入力シート２０９は、５つのカテゴリエリアＡ，Ｂ，Ｃ，Ｄ，Ｅに区分されている。
【００３７】
入力シート２０９の第１のカテゴリエリアＡには、認識対象パターンとして、このシートが図１乃至図３を用いて説明した情報入力装置用のシートであることを認証するための認証絵文字が記載されている。ＣＣＤビデオカメラ２０１によって撮像されたカテゴリエリアＡの認証絵文字とＲＯＭ３０７に記憶されている比較絵文字情報とがＣＰＵ３０１で比較され、一致したときにはカテゴリエリアＢの認識に進み、不一致のときにはエラーメッセージをビューア２０５Ａに表示する。
【００３８】
第２のカテゴリエリアＢには、認識対象パターンとして、このシートと電子的な情報とを対応付けるための識別絵文字が記載されている。この識別絵文字は、方向性を有する絵文字の回転方向によってコード化されている。この実施の形態において、第２のカテゴリエリアＢに認識対象パターンとして記載されている識別絵文字は、図５の（Ａ）に示すように１つの絵文字が８方向の回転モードを持ち、その方向によって８種類のコードが定義されている。したがって、例えば４個の識別絵文字では、第１の識別絵文字の回転モード（＝８）×第２の識別絵文字の回転モード（＝８）×第３の識別絵文字の回転モード（＝８）×第４の識別絵文字の回転モード（＝８）＝８4 ＝４０９６種類のコードが定義できる。例えば、図５の（Ｂ）に示すように、４個の識別絵文字５１０，５２０，５３０，５４０を並べた識別絵文字列５００は、“２５７４”のコードを表している。すなわち、第１の識別絵文字５１０は“２”を示し、第２の識別絵文字５２０は“５”を示し、第３の識別絵文字５３０は“７”を示し、第４の識別絵文字５４０は、“４”を示している。
【００３９】
第３のカテゴリエリアＣには位置補正マークが記載される。位置補正マークは、ＣＣＤビデオカメラ２０１で撮像される画像の位置補正を行うのに用いられる。
【００４０】
第４のカテゴリエリアＤにはユーザが選択指示を行うためのマークが記載されている。ユーザはこのマークを選択することにより、ビューア２０５Ａには表示されているが入力シートのカテゴリエリアＥには表示されていない情報を選択することができる。すなわち、カテゴリエリアＤは、入力シート２０９のカテゴリエリアＥに記載されている選択情報と、ビューア２０５Ａに表示されている選択情報とが異なる場合に、ユーザが選択指示を行うために用いられる。
【００４１】
例えば、図４に示したように、カテゴリエリアＤに上下左右の矢印キーが割り当てられている場合には、ビューア２０５Ａ上に表示されたメニュー画面においてカーソルの移動及びメニュー決定などをユーザがカテゴリエリアＤの任意の矢印図を指示することによって行うことができる。なお、ここでは、上下左右の矢印図が記載された例を用いて説明したが、カテゴリエリアＤに記されるマークは、これに限られることはなく、例えば、入力シートがＶＴＲ及びオーディオシステムをコントロールするための共有の媒体である場合には、再生ボタン・停止ボタン・記録ボタン等共通に使用できるボタン類を割り当ててもよい。すなわち上述した制御部１０３内の一時記憶部に読み込まれる構成情報にカテゴリエリアＤに割り当てる処理命令（前述の例では、上下左右へのカーソル移動命令や、再生・停止・記録命令）と位置情報を埋め込んでおけば、その埋め込まれた処理を実行することが可能になる。
【００４２】
第５のカテゴリエリアＥには情報内容が記載されている。ユーザは、このカテゴリエリアＥに記述された情報を見ることによって、この入力シートを用いることによってどのような情報にアクセスすることができるかを知ることができる。また、図１に示した情報入力装置１００によって入力シート２０９を認識させた後には、ユーザは、このカテゴリエリアＥに記述されている情報を指示することにより、制御部１０３に所定の処理を行うように指示することができる。例えば図６に示した入力シート２０９では、ユーザはカテゴリエリアＥに記述された制御ボタン６００に対応する制御命令記号６１０，６２０，６３０，６４０，６５０を指し示すことによって、制御部１０３に対してＶＴＲをコントロールするための指示、例えば再生、停止、一時停止、巻き戻し、早送り、イジェクトなどの指示を行うことができる。なお、ここでは、ＶＴＲの制御ボタンが記述された例を用いて説明したが、カテゴリエリアＥに記される情報内容は、これに限られることはなく、例えば、メニューが記述されていてもよい。この場合には、ユーザがカテゴリエリアＥに記述されたメニューを指で差し示すことによって、ビューア２０５Ａには、選択されたメニューに対応する次の表示画面が表示される。すなわち上述した制御部１０３内の一時記憶部に読み込まれる構成情報にカテゴリエリアＥに割り当てる処理命令（前述の例では、ＶＴＲの制御情報や次に表示される表示画面情報へのリンク情報）と位置情報を埋め込んでおけば、その埋め込まれた処理を実行することが可能になる。
【００４３】
以上のような構成のマルチメディアシステムでは、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報について、入力シート２０９が正規のものであることを認証するための認証処理を行って認証された正規の入力シート２０９の種別を識別する識別処理を画像認識部１０２により行う。
【００４４】
認証処理は、ＣＣＤビデオカメラ３０１による入力シート２０９の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理を行ってから位置補正を行い、上記入力シート２０９の上部中央の第１のカテゴリエリアＡに認識対象パターンとして記載されている認証絵文字の例えば重心座標と輪郭を抽出して、その認証絵文字パターンとのマッチングをとることにより行われる。
【００４５】
そして、識別処理では、例えば図８のフローチャートに示すように、ＣＣＤビデオカメラ３０１による入力シート２０９の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理（Ｓ８０１）を行ってから、入力シート２０９の四隅に設けられている第３のカテゴリエリアＣに記載されている位置補正マークの画像情報に基づいて位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正処理（Ｓ８０２）を行う。次に、入力シート２０９の第２のカテゴリエリアＢに認識対象パターンとして記載されている識別絵文字の抽出処理（Ｓ８０３）を行い、さらに、回転絵文字コードの決定処理（Ｓ８０４）を行う。
【００４６】
位置補正処理（Ｓ８０２）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として得られる画像情報から、図９に示すように、基準位置からの位置ずれを検出し、その位置ずれ量に応じた座標系の変換処理によって位置補正を行う。図９には、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として、入力シート２０９が適正に配置された場合の合致パターン９００、入力シート２０９が左上方へずれたパターン９１０、入力シート２０９が右上方へずれたパターン９２０を例示してある。
【００４７】
識別絵文字の抽出処理（Ｓ８０３）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第２のカテゴリエリアＢの撮像出力として得られる画像情報から、図１０に示すように、各々の絵文字毎に濃淡値の重心座標と外接する長方形を求める。なお、図１０には、識別絵文字の抽出処理（Ｓ８０３）により求められる各絵文字の重心座標が○で示され、また、外接長方形を破線で示されている。
【００４８】
そして、回転絵文字コードの決定処理（Ｓ８０４）では、識別絵文字の抽出処理（Ｓ８０３）で求めた重心座標と外接長方形の縦横比をパラメータとした回転絵文字の方向特徴テーブルを参照することにより、四つの絵文字の方向を求める。ここで、方向特徴テーブルは、表１のように表され、例えば『外接長方形の縦横比が２．５以上でかつ重心の位置が長方形の上半分内にあれば回転絵文字は下方を向いている』のような各方向の特徴を示す条件に基づいて予め形成されている。そして、図５の（Ａ）に示した回転絵文字とコードとの対応付けに基づいて、回転絵文字をコードに変換する。その後、四つの絵文字の方向から求められる回転絵文字コードと、予め定義した図１１に示すように回転絵文字コード群との比較を行い、最も距離の短いものを、入力シート２０９の回転絵文字コードとして特定する。ここでの距離とは、回転絵文字コードの各要素の差の総和を表す。そして、回転絵文字コード群との距離が何れも予め定めたしきい値を越えている場合には、認識対象はどのコードとしても認識されることなく、認識不可とする。
【００４９】
【表１】
0004304729.tif 000002
【００５０】
そして、制御部１０３において、画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えるか否かを判断する。記憶部１０４内に記憶されている情報と関連付けが行える場合には、記憶部１０４に記憶されている情報との関連付けを行う。すなわち、自己の装置内に記憶されている情報と関連付けが行える場合には、その情報と関連付けを行う。記憶部１０４に記憶されている情報と関連付けが行えなかった場合には、画像認識部１０２の認識対象の認識結果を情報配信部１０６に送信し、情報配信部１０６から関連付け結果を受信する。この場合、関連付けられた情報は情報配信部１０６若しくは情報配信部１０６に接続された外部通信ネットワークに存在する情報処理装置内に記憶されている。このようにして、画像認識部１０２の認識対象の認識結果と対応する情報との関連付けが得られた後、制御部１０３は、制御部１０３内に設けられた一時記憶部に関連付けられた情報を読み込む。
【００５１】
上記のようにして、正規の入力シート２０９の種別を識別し終えると、その後は、画像認識部１０２からの入力／選択指示に応じて、制御部１０３内に設けられた一時記憶部に読み込まれた情報に基づいて処理を行う。
【００５２】
画像認識部１０２による入力／選択指示処理では、例えば図１２のフローチャートに示すように、ＣＣＤビデオカメラ３０１による入力シート２０９上での入力／選択指示の撮像結果として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理（Ｓ１２０１）を行ってから、入力シート２０９の四隅に設けられている第３のカテゴリエリアＣに記載されている位置補正マークの画像情報に基づいて図９に示すような位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正処理（Ｓ１２０２）を行うことにより、位置補正済みの二値画像情報を得る。そして、入力／選択指示の抽出処理（Ｓ１２０３）を行い、さらに、入力／選択指示の決定処理（Ｓ１２０４）を行う。
【００５３】
位置補正処理（Ｓ１２０２）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として得られる画像情報から、図９に例示したように、基準位置からの位置ずれを検出し、その位置ずれ量に応じた座標系の変換処理によって位置補正を行う。
【００５４】
入力／選択指示の抽出処理（Ｓ１２０３）では、上記位置補正済みの濃淡画像情報について、濃淡画像の中で入力／選択指示が検出される領域内において、予め取り込まれている上記入力シート２０９の原画像との差分画像すなわち入力／選択指示を与えるアクセス指示入力パターンとして、例えば図１３に示すように指のパターンを抽出して、外接する長方形と領域内の画素分布を求める。
【００５５】
さらに、入力／選択指示の決定処理（Ｓ１２０４）では、上記入力／選択指示の抽出処理（Ｓ１２０３）で求めた外接長方形の各辺上の画素分布から指の進入方向を求め、進入方向に応じた長方形内の画像走査を行い、指の端点位置を検出する。ここで、指の進入方向を求めるためには、濃度の濃い画素がその辺上に多く分布しているかを見ることにより求められる。また、カテゴリエリアＥ上は、所定の領域を有する複数のブロックに分割されており、端点位置を検出するための画像走査は、これらのブロック内の画素ピクセルを表２に示すような方法で進入方向に応じた画像走査を行う。このようにブロック分割された領域を画像走査することにより、走査エリアを限定した高速な端点検出をすることが可能になる。
【００５６】
【表２】
0004304729.tif 000003
【００５７】
そして、検出された端点位置を対応する命令／情報に変換して制御部１０３へ伝達する。図１３に示す例では、指の端点位置が対応するエリア番号“６”に変換される。なお、図１３において、斜線で示されているエリアは、エリア番号“６”に対応するカテゴリエリアＥ内でのブロックである。
【００５８】
その後、制御部１０３は、制御部１０３内の一時記憶領域に記憶されている入力シート２０９の構成情報に基づいてエリア番号“６”に対応する処理を実行する。
【００５９】
したがって、このような構成の情報入力装置では、静的な媒体である認識対象すなわち入力シート２０９に記載された認識対象パターンを画像認識することにより認証処理を行って認識対象と対応する情報との関連付けを行い、関連付けられた情報に対するアクセス指示入力をアクセス指示入力パターンの画像認識により受け付けて、静的な媒体である認識対象に対して動的な情報提供を行うことができる。
【００６０】
認識対象パターンは、この実施の形態における鍵型形状に限定されるものでなく、画像認識可能なパターンであればよいので、例えば図１４に示した他の認識対象パターンの形状と回転方向とを組み合わせることにより、入力シート２０９の種別を無限に定義することができる。
【００６１】
また、ユーザは、入力シート２０９を認識させた後は、入力シート２０９の記載された入力／選択指示内容を例えば指で指し示すことにより、入力／選択指示を与えることができるので、ハードウエアを直接意識する必要なく、容易に情報入出力／選択操作を行うことができ、また、その入力／選択指示内容に大量のデータの中から特定の情報を関連付けることができる。
【００６２】
さらに、上述の実施の形態においては、回転絵文字コードの認識に濃淡値の重心座標と外接する長方形を用いて処理する例を説明したが、予め準備されたテンプレート画像に対する回転量をマッチング処理によって求めるようにしてもよい。
【００６３】
【発明の効果】
以上のように、本発明に係る情報入力方法及び情報入力装置では、認識対象の物体表面上に認識対象パターンとして付加された認証パターンと識別パターンを入力手段により撮像し、認識対象パターンとして撮像された認証パターンと識別パターンを画像認識手段により画像認識し、画像認識された上記認証パターンにより認証処理を行ってから、画像認識された上記識別パターンと対応する情報との関連付けを行い、関連付けられた情報に対するアクセス指示入力パターンを上記入力手段により撮像し、撮像されたアクセス指示入力パターンを上記画像認識手段により画像認識し、上記識別パターンに関連付けられた情報について画像認識されたアクセス指示入力パターンに応じた制御動作を行うにあたり、認識対象パターンの濃淡画像情報について、濃淡画像の中で入力／選択指示が検出される領域内において、入力／選択指示を与えるアクセス指示入力パターンとして、予め取り込まれている上記認識対象の物体表面の原画像との差分画像を抽出し、抽出した差分画像について該差分画像に外接する長方形を求めるとともに領域内の画素分布を求め、求めた外接長方形の各辺上の画素分布から上記アクセス指示入力パターンの進入方向を求め、進入方向に応じた長方形内の画像走査を行い、アクセス指示入力パターンの端点位置を検出し、検出されたアクセス指示入力パターンの端点位置に対応して定義された制御動作を行うので、静的な媒体である認識対象である認識対象パターンを画像認識することにより認証処理を行って認識対象と対応する情報との関連付けを行い、関連付けられた情報に対するアクセス指示入力をアクセス指示入力パターンの画像認識により受け付けて、静的な媒体である認識対象に対して動的な情報提供を行うことができ、ユーザがハードウエアを直接意識する必要なく、容易に情報入出力／選択操作を行うことができる。
【００６４】
また、本発明に係る情報入力方法及び情報入力装置では、認識対象パターンに関連付けられた情報に対応して、受け付けたアクセス指示入力に応じた制御内容及び／又は情報の送信結果を表示することにより、大量のデータの中から特定の情報との関連付けを行うことができる。
【００６５】
また、本発明に係る情報入力方法及び情報入力装置では、物体表面上に付加された認識対象パターンとして認証パターンと識別パターンを画像認識し、画像認識した認証パターンにより認証処理を行ってから、画像認識した識別パターンと対応する情報との関連付けを行うことにより、不正なアクセス指示入力を防止して、正当なユーザによるアクセス指示入力を行うことができる。
【００６６】
さらに、本発明に係る情報入力方法及び情報入力装置では、アクセス指示入力パターンの画像認識により関連付けられた情報に対するアクセス指示入力を受け付ける毎に上記画像認識した認証パターンにより認証処理を行ってから、上記認識対象パターンに関連付けられた情報について受け付けたアクセス指示入力に応じた制御動作を行うことにより、不正なアクセス指示入力を確実に防止して、正当なユーザによるアクセス指示入力を行うことができる。
【００６７】
したがって、本発明によれば、ユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入力方法及び情報入力装置を提供することができる。
【００６８】
また、本発明によれば、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができる情報入力方法及び情報入力装置を提供することができる。
【図面の簡単な説明】
【図１】情報入力装置の機能的なブロック図である。
【図２】図１に示した情報入力装置を適用したマルチメディアシステムの構成を示すブロック図である。
【図３】図１に示した情報入力装置のハードウェア構成を示すブロック図である。
【図４】情報入力装置における入力シートの構成を示す平面図である。
【図５】入力シートに記載された回転絵文字コードのコード割当ての一例を示す図である。
【図６】情報入力装置における入力シートの一例を示す平面図である。
【図７】図６における入力シートを用いた情報入力装置の出力部による出力例を示す図である。
【図８】情報入力装置の画像認識部における認識対象の識別処理の手順を示すフローチャートである。
【図９】情報入力装置の画像認識部による位置補正で検出される位置ずれ量を示す図である。
【図１０】認識対象の識別処理における回転絵文字の抽出処理で抽出する各絵文字の重心と外接長方形を示す図である。
【図１１】認識対象の識別処理における回転絵文字コードの決定処理で用いられる予め定義した回転絵文字コード群の一部を示す図である。
【図１２】情報入力装置の画像認識部における入力／選択指示処理の手順を示すフローチャートである。
【図１３】情報入力装置の画像認識部による入力／選択指示の抽出処理で抽出される入力／選択指示を与えるアクセス指示入力パターンを示す図である。
【図１４】入力シートに記載された回転絵文字の他の例を示す図である。
【図１５】バーコードの例を示す図である。
【符号の説明】
１０１  撮像部、１０２  画像認識部、１０３  制御部、１０４  記憶部、１０５  出力部、１０６  情報配信部、１０７  外部デバイス、２１０  ＣＣＤカメラ、２０２  コントロールボックス、２０５Ａ  ビューア、２０５Ｂ  ビデオスキャンコンバータ、２０６  ワークステーション、２０７Ａ  ビデオコントローラ、２０７Ｂ  ＶＴＲ、２０７Ｃ  モデム、２０７Ｄ  電話機、２０７Ｅ  カメラ、２０８  メディアベース、２０９  入力シート、３０１  ＣＰＵ、３０２画像処理部、３０３  カメラインターフェース、３０４  ディスプレイインターフェース、３０５  ネットワークインターフェース、３０６  ホームネットワークインターフェース、３０７  ＲＯＭ、３０８  ＲＡＭ、３０９  ＨＤＤ
【図１】
0004304729.tif 000004
【図２】
0004304729.tif 000005
【図３】
0004304729.tif 000006
【図４】
0004304729.tif 000007
【図５】
0004304729.tif 000008
【図６】
0004304729.tif 000009
【図７】
0004304729.tif 000010
【図８】
0004304729.tif 000011
【図９】
0004304729.tif 000012
【図１０】
0004304729.tif 000013
【図１１】
0004304729.tif 000014
【図１２】
0004304729.tif 000015
【図１３】
0004304729.tif 000016
【図１４】
0004304729.tif 000017
【図１５】
0004304729.tif 000018