(57)【特許請求の範囲】
【請求項１】
領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力方法であって、
上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載された識別エリアを有する上記情報記録媒体の画像表示領域を撮像し、画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定することを特徴とする情報入力方法。
【請求項２】
位置補正を行うための位置補正マークが記載された位置補正エリアをさらに有する上記情報記録媒体の画像表示領域を撮像し、撮像された上記位置補正エリアの撮像情報に基づいて上記画像表示領域の撮像情報の位置補正処理を行い、撮像された上記識別エリアの識別画像情報を画像認識することを特徴とする請求項１記載の情報入力方法。
【請求項３】
上記情報入力媒体は、情報を選択するためのマークが記述された操作エリアを上記画像表示領域にさらに有し、
上記操作エリア上で上記マークが選択指示された状態で上記情報記録媒体の画像表示領域を撮像し、
上記画像表示領域の撮像情報に基づいて、選択指示された上記マークを特定することにより、上記操作エリアに記載されたマークに対応した選択情報による上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とすることを特徴とする請求項１記載の情報入力方法。
【請求項４】
（元の請求項５）
情報入力媒体の種別を判別するためのマークが当該情報入力媒体の正当性を判断可能に記述された判別エリアをさらに有する上記情報記録媒体の画像表示領域を撮像し、撮像された上記判別エリアの撮像情報に基づいて、上記マークのパターン認識により情報記録媒体の正当性を判断する処理を行い、正当性を認めた場合に、上記入力情報エリアの選択指示に基づき、上記特定された識別コードに関連付けた情報を入力とすることを特徴とする請求項１記載の情報入力方法。
【請求項５】
領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力媒体であって、
領域を指定することにより選択的に入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられ、
上記識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されていることを特徴とする情報入力媒体。
【請求項６】
上記画像表示領域には、画像認識するための位置補正を行うための位置補正マークが記載された位置補正エリアをさらに有することを特徴とする請求項５記載の情報入力媒体。
【請求項７】
上記画像表示領域には、上記入力情報エリアを選択指示するためのマークが記述された操作エリアをさらに有することを特徴とする請求項５記載の情報入力媒体。
【請求項８】
上記画像表示領域には、情報入力媒体の種別を判別するためのマークが記述された判別エリアをさらに有することを特徴とする請求項５記載の情報入力媒体。
【請求項９】
領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体と、
上記情報入力媒体の画像表示領域を撮像する撮像手段と、
上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、
上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有し、
上記情報入力媒体の識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されており、上記認証処理手段は、上記画像認識手段により画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定することを特徴とする情報入力装置。
【請求項１０】
上記情報入力媒体は、位置補正を行うための位置補正マークが記載された位置補正エリアを上記画像表示領域にさらに有し、上記画像認識手段は、上記撮像手段により撮像された上記位置補正エリアの位置補正マークの撮像情報に基づいて上記画像表示領域の撮像情報の位置補正を行って、上記識別エリアの識別画像情報を画像認識することを特徴とする請求項９記載の情報入力装置。
【請求項１１】
上記情報入力媒体は、情報を選択するためのマークが記述された操作エリアを上記画像表示領域にさらに有し、
上記操作エリア上で上記マークが選択指示された状態で上記撮像手段により上記情報記録媒体の画像表示領域を撮像し、
上記認証処理手段は、上記撮像手段による上記画像表示領域の撮像情報に基づいて、選択指示された上記マークを特定することにより、上記操作エリアに記載されたマークに対応した選択情報による上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とすることを特徴とする請求項９記載の情報入力装置。
【請求項１２】
上記情報入力媒体は、情報入力媒体の種別を判別するためのマークが当該情報入力媒体の正当性を判断可能に記述された判別エリアを上記画像表示領域にさらに有し、
上記画像認識手段は、上記撮像手段により撮影された上記判別エリアの撮像情報に基づいて、上記マークのパターン認識により情報記録媒体の正当性を判断する処理を行い、正当性を認めた場合に、上記入力情報エリアの選択指示に基づき、上記特定された識別コードに関連付けた情報を入力とすることを特徴とする請求項９記載の情報入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像認識を用いた情報入力方法、情報入力媒体及び情報入力装置に関する。
【０００２】
【従来の技術】
従来、既存のＡＶ（オーディオ・ビジュアル）機器、情報機器や通信機器の各機能を組み合わせることにより、マルチメディア情報の入出力を可能にした装置として、通信機能付け携帯型情報端末や通信機能付けカメラ一体型ＶＴＲ(Video Tape Recorder) 、さらに通信機能と共にＡＶ機能を搭載したパーソナルコンピュータなどの各種マルチメディア機器が提供されている。そして、イーサネットやトークンリング、ＡＴＭ等による通信ネットワークや公衆電話回線などの有線通信網あるいは赤外線通信や無線電話通信、衛星通信などの無線通信網を介して、各種マルチメディア機器を接続するようにしたマルチメディアシステムの構築が進められている。
【０００３】
従来のマルチメディア機器においては、パーソナルコンピュータの入力装置として用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどがそのまま入力装置として使用されていた。
【０００４】
また、従来、例えば図１５の（Ａ），（Ｂ）に示すように、商品や物品の識別に１次元あるいは２次元方向に配置された二値符号で構成されたコード、いわゆるバーコードを用いて対象物を特定化することが行われていた。図１５の（Ａ）は１次元バーコードを示し、（Ｂ）は２次元バーコードを示している。
【０００５】
【発明が解決しようとする課題】
ところで、従来のマルチメディア機器に用いられているキーボードやマウス、タッチパネル、専用コントローラ、マイクロホンなどの入力装置の操作方法は、人間の感覚に適合した操作方法であるとはいえず、コンピュータなどの操作になれていないユーザにとっては直感的に操作方法を理解することが困難であり、操作方法に熟練するためには専門的な知識と訓練が必要となる。
【０００６】
また、従来、商品や物品の識別に１次元あるいは２次元の二値符号のコードを用いて対象物を特定化することが行われていたが、識別対象物の種類の増加に伴い、対応するコードそのものが足りなくなってきている。この解決策として、コードそのものの桁数を増加させることにより対応しているが、単位面積当たりの最小情報量は高々２ビット程度であって、全体としてコードの専有面積が増加してしまう。コードの専有面積は、識別対象物である商品や物品の表面積を奪うことになり好ましいものでなく、また、コードの認識時間を増加させることになってしまう。
【０００７】
そこで、本発明の目的は、ユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入力方法、情報入力媒体及び情報入力装置を提供することにある。
【０００８】
また、本発明の他の目的は、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができる情報入力方法、情報入力媒体及び情報入力装置を提供することにある。
【０００９】
また、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる情報入力方法、情報入力媒体及び情報入力装置を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力方法であって、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載された識別エリアを有する上記情報記録媒体の画像表示領域を撮像し、画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定することを特徴とする。
【００１３】
また、本発明は、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力媒体であって、領域を指定することにより選択的に入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられ、上記識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されていることを特徴とする。
【００１５】
さらに、本発明に係る情報入力装置は、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体と、上記情報入力媒体の画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有し、上記情報入力媒体の識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されており、上記認証処理手段は、上記画像認識手段により画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１７】
本発明は、例えば図１に示すような構成の情報入力装置１００により実施される。この図１に示した情報入力装置１００は、撮像部１０１、画像認識部１０２、制御部１０３、記憶部１０４、出力部１０５を備えている。さらに制御部１０３は、ネットワークやホームバス等の通信回線１０８，１０９を介して情報配信部１０６及び外部デバイス１０７に接続されている。この情報入力装置１００は、例えば図２に示すような構成のマルチメディアシステムに適用される。
【００１８】
撮像部１０１は、紙などの物体表面上に付加された認識対象パターンとユーザによって指などで行われるアクセス指示パターンを撮像する。具体的には、図２に示したマルチメディアシステムにおけるビューア２０５Ａ上に設置されたＣＣＤビデオカメラ２０１からなる。ＣＣＤビデオカメラ２０１は、ビューア２０５Ａが立設されたメディアベース２０８上に載置される入力シート２０９を撮像する。
【００１９】
ここで、入力シート２０９は、例えば図４に示すように、５つのカテゴリエリアＡ，Ｂ，Ｃ，Ｄ，Ｅに区分された紙などで構成された情報選択媒体である。この入力シート２０９における第１のカテゴリエリアＡには、認識対象パターンとして、このシートが図１に示した情報入力装置用のシートであることを認証するための認証絵文字が記載されている。第２のカテゴリエリアＢには、認識対象パターンとして、このシートと電子的な情報とを対応付けるための識別絵文字が記載されている。第３のカテゴリエリアＣには位置補正マークが記載される。第４のカテゴリエリアＤにはユーザが選択指示を行うためのマークが記載されている。第５のカテゴリエリアＥには情報内容が記載されている。なお、このシートの構成については、後でもう一度詳細に説明する。
【００２０】
また、画像認識部１０２は、撮像部１０１により撮像された画像情報を画像認識する。図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報が供給されるようになっている。そして、この画像認識部１０２では、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報について、認識対象の識別と認証処理を行い、その識別結果及び認証結果を制御部１０３に出力する。また、画像認識部１０２は、後述する認識対象の認識結果に対応した情報との関連付けが行われた後には、随時、ユーザによる入力／選択指示を認識して、その認識結果を制御部１０３に出力する。
【００２１】
制御部１０３は、図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、各部間での情報の送受信を次のように制御する。
【００２２】
先ず、画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えるか否かを判断する。記憶部１０４内に記憶されている情報と関連付けが行える場合には、記憶部１０４に記憶されている情報との関連付けを行う。すなわち、自己の装置内に記憶されている情報と関連付けが行える場合には、その情報と関連付けを行う。記憶部１０４に記憶されている情報と関連付けが行えなかった場合には、画像認識部１０２の認識対象の認識結果を情報配信部１０６に送信し、情報配信部１０６から関連付け結果を受信する。この場合、関連付けられた情報は情報配信部１０６若しくは情報配信部１０６に接続された外部通信ネットワークに存在する情報処理装置内に記憶されている。このようにして、画像認識部１０２の認識対象の認識結果と対応する情報との関連付けが得られた後、制御部１０３は、制御部１０３内に設けられた一時記憶部に関連付けられた情報を読み込む。この読み込まれる情報には、出力部１０５に出力し表示する表示情報や外部デバイス１０７を制御するための制御情報、他の情報へのリンク情報、入力シート２０９の構成情報等が含まれている。その後、画像認識部１０２からの入力／選択指示に対して、その都度認証を行い、表示画面の更新や外部デバイス１０７に対する制御を行い、その操作内容と情報の配信結果を出力部１０５に表示させる。
【００２３】
ここで、上述した制御部１０３内の一時記憶部に読み込まれる各種情報について説明する。
【００２４】
表示情報は、文字、画像、レイアウト情報、音情報などを含む。制御部１０３は、この表示情報に基づいて、出力部１０５への画面表示や発音制御を行う。
【００２５】
制御情報は、ユーザから入力／指示された際に外部デバイス１０７を制御するための制御命令を含む。制御部１０３は、この御情報に基づいて、外部デバイス１０７を制御する。例えば外部デバイス１０７がＶＴＲ(Video Tape Recorder) の場合、ＶＴＲの動作を制御するための再生制御情報、停止制御情報、早送り制御情報、巻き戻し制御情報、一時停止制御情報等が含まれている。
【００２６】
リンク情報は、ユーザから入力／指示された際に記憶部１０４、情報配信部１０６若しくは通信ネットワークに接続された外部の情報処理装置に記憶された他の情報を読み出すためのアドレス等を含む。制御部１０３は、このリンク情報に基づいて、他の情報をさらに読み込む処理を行う。例えば、インターネットで用いられているＵＲＬ(Uniform Resource Locator)などをこのリンク情報として用いることも可能である。
【００２７】
構成情報は、情報入力シート２０９のカテゴリエリアＤ及びカテゴリエリアＥに、何が記載されているかを表す情報が含まれており、ユーザが入力／選択指示をした際に、ユーザが指し示したシート上の物理的位置とその位置に対応する次の処理命令が含まれている。例えば、位置座標とその位置がユーザによって指し示されたときに上述した制御情報若しくはリンク情報を実行するための処理命令とが対応付けられて記述されている。
【００２８】
また、記憶部１０４は、図２に示すマルチメディアシステムにおけるコントロールボックス２０２内に設けられており、認識対象パターンと関連付けられる情報を記憶している。記憶部１０４に記憶されている情報は、外部デバイス１０７を制御するための情報が記憶されている。これらの情報は、事前に情報配信部１０６を介してネットワークに接続された外部の情報処理装置や衛星通信などを用いて記憶部１０４に転送されている。このようにコントロールボックス２０２内部に記憶部１０４を備えることにより、ネットワークのトラフィックを減少させることができ、かつ、ユーザの入力／選択指示に対する応答時間を短くすることが可能になる。
【００２９】
出力部１０５は、画像認識部１０２からの入出力指示による操作内容と、情報の配信結果を出力するディスプレイ，スピーカやプリンタなどからなる。図２に示すマルチメディアシステムにおいては、出力部１０５は、ビューア２０５Ａ及びビデオスキャンコンバータ２０５Ｂから構成されている。なお、出力部１０５は、図７に示すように、制御する各種デバイスの映像出力を合成して出力することもできる。図７では、表示画面７００の左側には、ユーザによって選択される操作機能を示す画像７１０が表示され、ユーザにより選択されたＶＴＲの再生命令を示す右向き三角形の再生命令記号７２０の表示領域は網掛けを施して表示されている。また、表示画面７００の右側には、情報の配信結果として外部デバイス１０７から出力された画像７３０が表示されている。
【００３０】
情報配信部１０６は、イーサネットやトークンリング，ＡＴＭによるネットワークなどの有線通信網あるいは赤外線通信やＰＨＳ通信，衛星通信などの無線通信網を介して制御部１０３と接続されている。情報配信部１０６は、制御部１０３が画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えなかった場合に、認識対象の認識結果とネットワークに接続された外部の情報処理装置に記憶された情報との関連付けを行う。図２に示すマルチメディアシステムにおいては、ワークステーション２０６からなる。
【００３１】
外部デバイス１０７は、入力／選択指示に応じて制御部１０３によって制御される機器であり、例えば図２においてはＡＶ機器２０７Ａ，ＶＴＲ２０８Ｂ，モデム２０７Ｃ，電話機２０７Ｄ，カメラ２０７Ｅである。この他に、コンピュータやゲーム機等の各種電子機器であってもかまわない。この外部デバイス１０７は、有線通信線又は無線通信線により制御部１０３に接続されている。
【００３２】
図３は、図２のコントロールボックス２０２のハードウェア構成の一例を示している。図２のコントロールボックス２０２は、ＣＰＵ(Central Processing Unit) ３０１、画像処理装置３０２、カメラインターフェース３０３、ディスプレイインターフェース３０４、ネットワークインターフェース３０５、ホームネットワークインターフェース３０６、ＲＯＭ(Read Only Memory)３０７、ＲＡＭ(Random Access Memory)３０８及びＨＤＤ(Hard Disk Drive) ３０９、ＢＵＳ３１０から構成されている。
【００３３】
ＣＰＵ３０１は、ＲＯＭ３０７に記憶されているシステムプログラムや、ＲＡＭ３０８に展開されたプログラムに基づいてコントロールボックス２０２の制御を行うようになされている。ＣＰＵ３０１は、図１の画像認識部１０２の機能の一部及び制御部１０３の機能の一部を実現する装置である。
【００３４】
画像処理装置３０２は、ＣＣＤビデオカメラ２０１によって撮像された画像をカメラインターフェース３０３を介して入力し、画像認識処理等の各種画像処理を行う。この画像処理装置３０２は、図１の画像認識部１０２の機能の一部を実現する装置である。カメラインターフェース３０３は、ＣＣＤビデオカメラ２０１によって撮像された画像を入力し、画像処理装置３０２に対応した信号フォーマットに変換して出力する。
【００３５】
ディスプレイインターフェース３０４は、ＣＰＵ３０１及び画像処理装置３０２において処理された表示データを入力し、ビューア２０５Ａに対応した信号に変換して出力する。ディスプレイインターフェース３０４とビューア２０５Ａは、図１の出力部１０５の機能の一部を実現する装置である。
【００３６】
ネットワークインターフェース３０５は、ワークステーション２０６に接続するためのインターフェースであり、これにより、外部のネットワークに接続される。ネットワークインターフェース３０５とワークステーション２０６は、図１の情報分配部１０６と通信回線１０８の機能の一部を実現する装置である。
【００３７】
ホームネットワークインターフェース３０６は、外部デバイス１０７に接続するためのインターフェースである。ＣＰＵ３０１は、このホームネットワークインターフェース３０６を介して外部機器３０７Ａ〜３０７Ｅを制御する。ホームネットワークインターフェース３０６と外部機器３０７Ａ〜３０７Ｅは、図１の外部デバイス１０７と通信回線１０９の機能の一部を実現する装置である。
【００３８】
ＲＯＭ３０７は、ＣＰＵ３０１が各種処理を実行する上において必要なプログラムやデータが記憶されている。ＲＡＭ３０８は、ＣＰＵ３０１が各種処理を実行する上において必要なプログラムやデータを一時的に展開して記憶するようになされている。ＲＯＭ３０７とＲＡＭ２０８は、図１の制御部１０３の機能の一部を実現する装置である。
【００３９】
ＨＤＤ３０９は、入力シート２０９に関連付けられる情報が記憶されている。ＨＤＤ３０９は、図１の記憶部１０４の機能を実現する装置である。
【００４０】
これら各構成要素３０１乃至３０９が、ＢＵＳ３１０を介してそれぞれ接続され、これにより図１を用いて説明した情報入力装置の各機能が実現される。
【００４１】
次に図１乃至図３を用いて説明した情報入力装置によって撮像される入力シート２０９について、図４を用いて説明する。上述したように、入力シート２０９は、５つのカテゴリエリアＡ，Ｂ，Ｃ，Ｄ，Ｅに区分されている。
【００４２】
入力シート２０９の第１のカテゴリエリアＡには、認識対象パターンとして、このシートが図１乃至図３を用いて説明した情報入力装置用のシートであることを認証するための認証絵文字が記載されている。ＣＣＤビデオカメラ２０１によって撮像されたカテゴリエリアＡの認証絵文字とＲＯＭ３０７に記憶されている比較絵文字情報とがＣＰＵ３０１で比較され、一致したときにはカテゴリエリアＢの認識に進み、不一致のときにはエラーメッセージをビューア２０５Ａに表示する。
【００４３】
第２のカテゴリエリアＢには、認識対象パターンとして、このシートと電子的な情報とを対応付けるための識別絵文字が記載されている。この識別絵文字は、方向性を有する絵文字の回転方向によってコード化されている。この実施の形態において、第２のカテゴリエリアＢに認識対象パターンとして記載されている識別絵文字は、図５の（Ａ）に示すように１つの絵文字が８方向の回転モードを持ち、その方向によって８種類のコードが定義されている。したがって、例えば４個の識別絵文字では、第１の識別絵文字の回転モード（＝８）×第２の識別絵文字の回転モード（＝８）×第３の識別絵文字の回転モード（＝８）×第４の識別絵文字の回転モード（＝８）＝８4 ＝４０９６種類のコードが定義できる。例えば、図５の（Ｂ）に示すように、４個の識別絵文字５１０，５２０，５３０，５４０を並べた識別絵文字列５００は、“２５７４”のコードを表している。すなわち、第１の識別絵文字５１０は“２”を示し、第２の識別絵文字５２０は“５”を示し、第３の識別絵文字５３０は“７”を示し、第４の識別絵文字５４０は、“４”を示している。
【００４４】
第３のカテゴリエリアＣには位置補正マークが記載される。位置補正マークは、ＣＣＤビデオカメラ２０１で撮像される画像の位置補正を行うのに用いられる。
【００４５】
第４のカテゴリエリアＤにはユーザが選択指示を行うためのマークが記載されている。ユーザはこのマークを選択することにより、ビューア２０５Ａには表示されているが入力シートのカテゴリエリアＥには表示されていない情報を選択することができる。すなわち、カテゴリエリアＤは、入力シート２０９のカテゴリエリアＥに記載されている選択情報と、ビューア２０５Ａに表示されている選択情報とが異なる場合に、ユーザが選択指示を行うために用いられる。
【００４６】
例えば、図４に示したように、カテゴリエリアＤに上下左右の矢印キーが割り当てられている場合には、ビューア２０５Ａ上に表示されたメニュー画面においてカーソルの移動及びメニュー決定などをユーザがカテゴリエリアＤの任意の矢印図を指示することによって行うことができる。なお、ここでは、上下左右の矢印図が記載された例を用いて説明したが、カテゴリエリアＤに記されるマークは、これに限られることはなく、例えば、入力シートがＶＴＲ及びオーディオシステムをコントロールするための共有の媒体である場合には、再生ボタン・停止ボタン・記録ボタン等共通に使用できるボタン類を割り当ててもよい。すなわち上述した制御部１０３内の一時記憶部に読み込まれる構成情報にカテゴリエリアＤに割り当てる処理命令（前述の例では、上下左右へのカーソル移動命令や、再生・停止・記録命令）と位置情報を埋め込んでおけば、その埋め込まれた処理を実行することが可能になる。
【００４７】
第５のカテゴリエリアＥには情報内容が記載されている。ユーザは、このカテゴリエリアＥに記述された情報を見ることによって、この入力シートを用いることによってどのような情報にアクセスすることができるかを知ることができる。また、図１に示した情報入力装置１００によって入力シート２０９を認識させた後には、ユーザは、このカテゴリエリアＥに記述されている情報を指示することにより、制御部１０３に所定の処理を行うように指示することができる。例えば図６に示した入力シート２０９では、ユーザはカテゴリエリアＥに記述された制御ボタン６００に対応する制御命令記号６１０，６２０，６３０，６４０，６５０を指し示すことによって、制御部１０３に対してＶＴＲをコントロールするための指示、例えば再生、停止、一時停止、巻き戻し、早送り、イジェクトなどの指示を行うことができる。なお、ここでは、ＶＴＲの制御ボタンが記述された例を用いて説明したが、カテゴリエリアＥに記される情報内容は、これに限られることはなく、例えば、メニューが記述されていてもよい。この場合には、ユーザがカテゴリエリアＥに記述されたメニューを指で差し示すことによって、ビューア２０５Ａには、選択されたメニューに対応する次の表示画面が表示される。すなわち上述した制御部１０３内の一時記憶部に読み込まれる構成情報にカテゴリエリアＥに割り当てる処理命令（前述の例では、ＶＴＲの制御情報や次に表示される表示画面情報へのリンク情報）と位置情報を埋め込んでおけば、その埋め込まれた処理を実行することが可能になる。
【００４８】
以上のような構成のマルチメディアシステムでは、ＣＣＤビデオカメラ２０１による入力シート２０９の撮像出力として得られる画像情報について、入力シート２０９が正規のものであることを認証するための認証処理を行って認証された正規の入力シート２０９の種別を識別する識別処理を画像認識部１０２により行う。
【００４９】
認証処理は、ＣＣＤビデオカメラ３０１による入力シート２０９の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理を行ってから位置補正を行い、上記入力シート２０９の上部中央の第１のカテゴリエリアＡに認識対象パターンとして記載されている認証絵文字の例えば重心座標と輪郭を抽出して、その認証絵文字パターンとのマッチングをとることにより行われる。
【００５０】
そして、識別処理では、例えば図８のフローチャートに示すように、ＣＣＤビデオカメラ３０１による入力シート２０９の撮像出力として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理（Ｓ８０１）を行ってから、入力シート２０９の四隅に設けられている第３のカテゴリエリアＣに記載されている位置補正マークの画像情報に基づいて位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正処理（Ｓ８０２）を行う。次に、入力シート２０９の第２のカテゴリエリアＢに認識対象パターンとして記載されている識別絵文字の抽出処理（Ｓ８０３）を行い、さらに、回転絵文字コードの決定処理（Ｓ８０４）を行う。
【００５１】
位置補正処理（Ｓ８０２）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として得られる画像情報から、図９に示すように、基準位置からの位置ずれを検出し、その位置ずれ量に応じた座標系の変換処理によって位置補正を行う。図９には、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として、入力シート２０９が適正に配置された場合の合致パターン９００、入力シート２０９が左上方へずれたパターン９１０、入力シート２０９が右上方へずれたパターン９２０を例示してある。
【００５２】
識別絵文字の抽出処理（Ｓ８０３）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第２のカテゴリエリアＢの撮像出力として得られる画像情報から、図１０に示すように、各々の絵文字毎に濃淡値の重心座標と外接する長方形を求める。なお、図１０には、識別絵文字の抽出処理（Ｓ８０３）により求められる各絵文字の重心座標が○で示され、また、外接長方形を破線で示されている。
【００５３】
そして、回転絵文字コードの決定処理（Ｓ８０４）では、識別絵文字の抽出処理（Ｓ８０３）で求めた重心座標と外接長方形の縦横比をパラメータとした回転絵文字の方向特徴テーブルを参照することにより、四つの絵文字の方向を求める。ここで、方向特徴テーブルは、表１のように表され、例えば『外接長方形の縦横比が２．５以上でかつ重心の位置が長方形の上半分内にあれば回転絵文字は下方を向いている』のような各方向の特徴を示す条件に基づいて予め形成されている。そして、図５の（Ａ）に示した回転絵文字とコードとの対応付けに基づいて、回転絵文字をコードに変換する。その後、四つの絵文字の方向から求められる回転絵文字コードと、予め定義した図１１に示すように回転絵文字コード群との比較を行い、最も距離の短いものを、入力シート２０９の回転絵文字コードとして特定する。ここでの距離とは、回転絵文字コードの各要素の差の総和を表す。そして、回転絵文字コード群との距離が何れも予め定めたしきい値を越えている場合には、認識対象はどのコードとしても認識されることなく、認識不可とする。
【００５４】
【表１】
0003879208.tif 000002
【００５５】
そして、制御部１０３において、画像認識部１０２の認識対象の認識結果と記憶部１０４に記憶されている情報との関連付けが行えるか否かを判断する。記憶部１０４内に記憶されている情報と関連付けが行える場合には、記憶部１０４に記憶されている情報との関連付けを行う。すなわち、自己の装置内に記憶されている情報と関連付けが行える場合には、その情報と関連付けを行う。記憶部１０４に記憶されている情報と関連付けが行えなかった場合には、画像認識部１０２の認識対象の認識結果を情報配信部１０６に送信し、情報配信部１０６から関連付け結果を受信する。この場合、関連付けられた情報は情報配信部１０６若しくは情報配信部１０６に接続された外部通信ネットワークに存在する情報処理装置内に記憶されている。このようにして、画像認識部１０２の認識対象の認識結果と対応する情報との関連付けが得られた後、制御部１０３は、制御部１０３内に設けられた一時記憶部に関連付けられた情報を読み込む。
【００５６】
上記のようにして、正規の入力シート２０９の種別を識別し終えると、その後は、画像認識部１０２からの入力／選択指示に応じて、制御部１０３内に設けられた一時記憶部に読み込まれた情報に基づいて処理を行う。
【００５７】
画像認識部１０２による入力／選択指示処理では、例えば図１２のフローチャートに示すように、ＣＣＤビデオカメラ３０１による入力シート２０９上での入力／選択指示の撮像結果として得られる画像情報について、ノイズ除去、濃淡処理、しきい値調整などの前処理（Ｓ１２０１）を行ってから、入力シート２０９の四隅に設けられている第３のカテゴリエリアＣに記載されている位置補正マークの画像情報に基づいて図９に示すような位置ずれを検出して、その位置ずれ量に応じた座標系の変換処理によって位置補正処理（Ｓ１２０２）を行うことにより、位置補正済みの二値画像情報を得る。そして、入力／選択指示の抽出処理（Ｓ１２０３）を行い、さらに、入力／選択指示の決定処理（Ｓ１２０４）を行う。
【００５８】
位置補正処理（Ｓ１２０２）では、ＣＣＤビデオカメラ３０１による入力シート２０９の第３のカテゴリエリアＣの撮像出力として得られる画像情報から、図９に例示したように、基準位置からの位置ずれを検出し、その位置ずれ量に応じた座標系の変換処理によって位置補正を行う。
【００５９】
入力／選択指示の抽出処理（Ｓ１２０３）では、上記位置補正済みの濃淡画像情報について、濃淡画像の中で入力／選択指示が検出される領域内において、予め取り込まれている上記入力シート２０９の原画像との差分画像すなわち入力／選択指示を与えるアクセス指示入力パターンとして、例えば図１３に示すように指のパターンを抽出して、外接する長方形と領域内の画素分布を求める。
【００６０】
さらに、入力／選択指示の決定処理（Ｓ１２０４）では、上記入力／選択指示の抽出処理（Ｓ１２０３）で求めた外接長方形の各辺上の画素分布から指の進入方向を求め、進入方向に応じた長方形内の画像走査を行い、指の端点位置を検出する。ここで、指の進入方向を求めるためには、濃度の濃い画素がその辺上に多く分布しているかを見ることにより求められる。また、カテゴリエリアＥ上は、所定の領域を有する複数のブロックに分割されており、端点位置を検出するための画像走査は、これらのブロック内の画素ピクセルを表２に示すような方法で進入方向に応じた画像走査を行う。このようにブロック分割された領域を画像走査することにより、走査エリアを限定した高速な端点検出をすることが可能になる。
【００６１】
【表２】
0003879208.tif 000003
【００６２】
そして、検出された端点位置を対応する命令／情報に変換して制御部１０３へ伝達する。図１３に示す例では、指の端点位置が対応するエリア番号“６”に変換される。なお、図１３において、斜線で示されているエリアは、エリア番号“６”に対応するカテゴリエリアＥ内でのブロックである。
【００６３】
その後、制御部１０３は、制御部１０３内の一時記憶領域に記憶されている入力シート２０９の構成情報に基づいてエリア番号“６”に対応する処理を実行する。
【００６４】
したがって、このような構成の情報入力装置では、静的な媒体である認識対象すなわち入力シート２０９に記載された認識対象パターンを画像認識することにより認証処理を行って認識対象と対応する情報との関連付けを行い、関連付けられた情報に対するアクセス指示入力をアクセス指示入力パターンの画像認識により受け付けて、静的な媒体である認識対象に対して動的な情報提供を行うことができる。
【００６５】
認識対象パターンは、この実施の形態における鍵型形状に限定されるものでなく、画像認識可能なパターンであればよいので、例えば図１４に示した他の認識対象パターンの形状と回転方向とを組み合わせることにより、入力シート２０９の種別を無限に定義することができる。
【００６６】
また、ユーザは、入力シート２０９を認識させた後は、入力シート２０９の記載された入力／選択指示内容を例えば指で指し示すことにより、入力／選択指示を与えることができるので、ハードウエアを直接意識する必要なく、容易に情報入出力／選択操作を行うことができ、また、その入力／選択指示内容に大量のデータの中から特定の情報を関連付けることができる。
【００６７】
さらに、上述の実施の形態においては、回転絵文字コードの認識に濃淡値の重心座標と外接する長方形を用いて処理する例を説明したが、予め準備されたテンプレート画像に対する回転量をマッチング処理によって求めるようにしてもよい。
【００６８】
【発明の効果】
本発明では、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力方法において、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載された識別エリアを有する上記情報記録媒体の画像表示領域を撮像し、画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定するので、ユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができ、また、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができ、さらに、画像パターンの回転方向によって符号化された情報を入力することにより、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる。
【００７１】
また、本発明では、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体の上記画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有する情報入力装置における情報入力媒体であって、領域を指定することにより選択的に入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられ、上記識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されているので、ユーザがハードウエアを直接意識する必要なく情報を入力して容易に操作を行うことができ、また、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができ、さらに、画像パターンの回転方向によって符号化された情報を入力することにより、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる。
【００７３】
さらに、本発明に係る情報入力装置では、領域を指定することにより入力される入力情報が記載された入力情報エリアと、上記入力情報の識別コードが符号化された識別画像情報として記載された識別エリアとを有する画像表示領域が設けられた情報入力媒体と、上記情報入力媒体の画像表示領域を撮像する撮像手段と、上記撮像手段により撮像された上記画像表示領域の撮像情報に基づいて上記識別エリアの識別画像情報を画像認識する画像認識手段と、上記画像認識手段により画像認識された識別画像情報に基づいて識別コードを特定し、上記入力情報エリア上で上記入力情報が記載された領域が選択的に指示された状態で上記画像表示領域を上記撮像手段により撮像して得られた上記画像表示領域の撮像情報に基づいて、上記入力情報エリア上で選択的に指示された上記入力情報が記載された領域を特定することにより、上記入力情報エリアの選択指示を受け付け、受け付けた上記入力情報エリアの選択指示に基づいて、上記特定された識別コードに関連付けた情報を特定して入力とする認証処理手段とを有し、上記情報入力媒体の識別エリアには、上記入力情報の識別コードが画像パターンの回転方向によって符号化された識別画像情報として記載されており、上記認証処理手段は、上記画像認識手段により画像認識された上記識別エリアの識別画像情報に基づいて上記画像パターンの回転方向を判別することにより識別コードを特定するので、ユーザがハードウエアを直接意識する必要なく情報を入力して容易に操作を行うことができ、また、ユーザの簡易な操作によって、大量のデータの中から特定の情報との関連付けを行うことができ、さらに、画像パターンの回転方向によって符号化された情報を入力することにより、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる。
【００７４】
したがって、本発明によれば、ユーザがハードウエアを直接意識する必要なく、容易に操作を行うことができる情報入力方法、情報入力媒体及び情報入力装置を提供することができる。
【００７５】
また、本発明によれば、商品や物品の識別に際して単位面積当たりの識別数を飛躍的に増加させることができる情報入力方法、情報入力媒体及び情報入力装置を提供することができる。
【図面の簡単な説明】
【図１】情報入力装置の機能的なブロック図である。
【図２】図１に示した情報入力装置を適用したマルチメディアシステムの構成を示すブロック図である。
【図３】図１に示した情報入力装置のハードウェア構成を示すブロック図である。
【図４】情報入力装置における入力シートの構成を示す平面図である。
【図５】入力シートに記載された回転絵文字コードのコード割当ての一例を示す図である。
【図６】情報入力装置における入力シートの一例を示す平面図である。
【図７】図６における入力シートを用いた情報入力装置の出力部による出力例を示す図である。
【図８】情報入力装置の画像認識部における認識対象の識別処理の手順を示すフローチャートである。
【図９】情報入力装置の画像認識部による位置補正で検出される位置ずれ量を示す図である。
【図１０】認識対象の識別処理における回転絵文字の抽出処理で抽出する各絵文字の重心と外接長方形を示す図である。
【図１１】認識対象の識別処理における回転絵文字コードの決定処理で用いられる予め定義した回転絵文字コード群の一部を示す図である。
【図１２】情報入力装置の画像認識部における入力／選択指示処理の手順を示すフローチャートである。
【図１３】情報入力装置の画像認識部による入力／選択指示の抽出処理で抽出される入力／選択指示を与えるアクセス指示入力パターンを示す図である。
【図１４】入力シートに記載された回転絵文字の他の例を示す図である。
【図１５】バーコードの例を示す図である。
【符号の説明】
１０１  撮像部、１０２  画像認識部、１０３  制御部、１０４  記憶部、１０５  出力部、１０６  情報配信部、１０７  外部デバイス、２１０  ＣＣＤカメラ、２０２  コントロールボックス、２０５Ａ  ビューア、２０５Ｂ  ビデオスキャンコンバータ、２０６  ワークステーション、２０７Ａ  ビデオコントローラ、２０７Ｂ  ＶＴＲ、２０７Ｃ  モデム、２０７Ｄ  電話機、２０７Ｅ  カメラ、２０８  メディアベース、２０９  入力シート、３０１  ＣＰＵ、３０２画像処理部、３０３  カメラインターフェース、３０４  ディスプレイインターフェース、３０５  ネットワークインターフェース、３０６  ホームネットワークインターフェース、３０７  ＲＯＭ、３０８  ＲＡＭ、３０９  ＨＤＤ
【図１】
0003879208.tif 000004
【図２】
0003879208.tif 000005
【図３】
0003879208.tif 000006
【図４】
0003879208.tif 000007
【図５】
0003879208.tif 000008
【図６】
0003879208.tif 000009
【図７】
0003879208.tif 000010
【図８】
0003879208.tif 000011
【図９】
0003879208.tif 000012
【図１０】
0003879208.tif 000013
【図１１】
0003879208.tif 000014
【図１２】
0003879208.tif 000015
【図１３】
0003879208.tif 000016
【図１４】
0003879208.tif 000017
【図１５】
0003879208.tif 000018