(57)【特許請求の範囲】
【請求項１】
認識すべき文字及び手と指を含む画像を撮影した撮影画像をカメラから入力する画像入力手段と、表示器の画面に画像を表示する画像表示手段と、前記撮影画像に写された手と指の位置および指示姿勢および選択姿勢を認識する手指画像認識手段と、該手指画像認識手段で認識された手と指の位置および前記姿勢に基づいてカーソルやポインタなどの指示記号や選択記号の前記表示器の画面上での位置を決定する記号位置決定手段と、該記号位置決定手段で決定された前記表示器の画面上での位置に前記記号を表示する記号表示手段と、前記記号および前記姿勢により画像範囲を指定する範囲指定手段と、該範囲指定手段で指定された範囲の画像から文字を認識する文字認識手段と、該文字認識手段で認識した文字を文字コードデータに変換する文字コードデータ変換手段と、該文字コードデータ変換手段で変換された文字コードデータを記憶媒体に記憶する文字コードデータ記憶手段とを具備することを特徴とする文字情報入力装置。
【請求項２】
前記画像入力手段で入力された前記撮影画像を圧縮または非圧縮で無線または有線の通信回路を介して送信する入力画像送信手段と、該圧縮または非圧縮画像を受信し圧縮画像の場合は展開する入力画像受信手段とを有することを特徴とする請求項１に記載の文字情報入力装置。
【請求項３】
前記範囲指定手段で指定された範囲の画像を圧縮または非圧縮で無線または有線の通信回路を介して送信する範囲画像送信手段と、該圧縮または非圧縮範囲画像を受信し圧縮画像の場合は展開する範囲画像受信手段とを有することを特徴とする請求項１または２に記載の文字情報入力装置。
【請求項４】
前記画像入力手段で入力、または無線や有線の通信回線を介して受信した画像を記憶媒体に記憶する画像記憶手段と、該画像記憶手段で記憶した画像を前記表示器に表示する画像表示手段とを有することを特徴とする請求項１ないし３のいずれかに記載の文字情報入力装置。
【請求項５】
前記文字コードデータ記憶手段で記憶した文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示する文字表示手段を有することを特徴とする請求項１ないし４のいずれかに記載の文字情報入力装置。
【請求項６】
前記文字コードデータ記憶手段で記憶した文字コードデータを、インターネットやデータベースの検索キーワードまたはオペレーションシステムやアプリケーションのコマンドや入力文字または文字認識に使われた画像の付加情報として用いることを特徴とする請求項１ないし５のいずれかに記載の文字情報入力装置。
【請求項７】
前記カメラに、使用者の身体の一部に直接着用または身体の一部に着用するものに装備または携帯装置に装備したカメラを用いることを特徴とする請求項１ないし６のいずれかに記載の文字情報入力装置。
【請求項８】
前記表示器に、使用者の視野に入るように頭部に直接着用または頭部に着用するものに装備または腕に直接着用または腕に着用するものに装備した表示器を用いることを特徴とする請求項１ないし７のいずれかに記載の文字情報入力装置。
【請求項９】
前記範囲指定手段において、前記指示姿勢を認識した後に前記選択姿勢を認識してから、再び前記指示姿勢を認識するまでの間の前記選択記号の位置の集合により表現される矩形または閉ループまたは直線分または曲線分などの図形に基づいて画像範囲を指定することを特徴とする請求項１ないし８のいずれかに記載の文字情報入力装置。
【請求項１０】
前記文字認識手段で文字認識の結果の候補が複数存在する場合は、前記文字コードデータ変換手段で該候補それぞれを文字コードデータに変換する手段と、該文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示する文字認識候補表示手段と、表示された前記候補から１つを前記指示姿勢で指示し前記選択姿勢で選択する文字認識結果選択手段と、該文字認識結果選択手段で選択した候補の文字コードデータを、前記文字コードデータ記憶手段によって記憶媒体に記憶する手段とを有することを特徴とする請求項１ないし９のいずれかに記載の文字情報入力装置。
【請求項１１】
前記文字認識手段で文字認識の結果の候補に正解が含まれない場合は、前記表示器に仮想キーボードを表示する仮想キーボード表示手段と、前記指示姿勢および前記選択姿勢により仮想キーボードを操作する仮想キーボード操作手段と、前記文字認識候補表示手段および前記文字認識結果選択手段で前記候補から１つを選択する手段と、該選択候補を前記文字表示手段で表示し該仮想キーボード操作手段で修正する文字認識結果修正手段と、該文字認識結果修正手段で修正した文字の文字コードデータを、前記文字コードデータ記憶手段により記憶媒体に記憶する手段とを有することを特徴とする請求項１ないし１０のいずれかに記載の文字情報入力装置。
【請求項１２】
文字情報入力装置の文字情報入力方法において、認識すべき文字及び手と指を含む画像を撮影した撮影画像をカメラから入力するステップと、表示器の画面に画像を表示する画像表示ステップと、前記撮影画像に写された手と指の位置および指示姿勢および選択姿勢を認識するステップと、該手指画像認識手段で認識された手と指の位置および前記姿勢に基づいてカーソルやポインタなどの指示記号や選択記号の前記表示器の画面上での位置を決定するステップと、該記号位置決定手段で決定された前記表示器の画面上での位置に前記記号を表示するステップと、前記記号および前記姿勢により画像範囲を指定するステップと、該範囲指定手段で指定された範囲の画像から文字を認識するステップと、該文字認識手段で認識した文字を文字コードデータに変換するステップと、該文字コードデータ変換手段で変換された文字コードデータを記憶媒体に記憶するステップとを具備することを特徴とする文字情報入力方法。
【請求項１３】
前記撮影画像を圧縮または非圧縮で無線または有線の通信回路を介して送信するステップと、該圧縮または非圧縮画像を受信し圧縮画像の場合は展開するステップとを有することを特徴とする請求項１２に記載の文字情報入力方法。
【請求項１４】
前記指定された範囲の画像を圧縮または非圧縮で無線または有線の通信回路を介して送信するステップと、該圧縮または非圧縮範囲画像を受信し圧縮画像の場合は展開するステップとを有することを特徴とする請求項１２または１３に記載の文字情報入力方法。
【請求項１５】
前記撮影画像、または無線や有線の通信回線を介して受信した画像を記憶媒体に記憶するステップと、該画像記憶手段で記憶した画像を前記表示器に表示するステップとを有することを特徴とする請求項１２ないし１４のいずれかに記載の文字情報入力方法。
【請求項１６】
前記文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示するステップを有することを特徴とする請求項１２ないし１５のいずれかに記載の文字情報入力方法。
【請求項１７】
前記文字コードデータを、インターネットやデータベースの検索キーワードまたはオペレーションシステムやアプリケーションのコマンドや入力文字または文字認識に使われた画像の付加情報として用いることを特徴とする請求項１２ないし１６のいずれかに記載の文字情報入力方法。
【請求項１８】
前記カメラに、使用者の身体の一部に直接着用または身体の一部に着用するものに装備または携帯装置に装備したカメラを用いることを特徴とする請求項１２ないし１７のいずれかに記載の文字情報入力方法。
【請求項１９】
前記表示器に、使用者の視野に入るように頭部に直接着用または頭部に着用するものに装備または腕に直接着用または腕に着用するものに装備した表示器を用いることを特徴とする請求項１２ないし１８のいずれかに記載の文字情報入力方法。
【請求項２０】
前記画像範囲を指定するステップにおいて、前記指示姿勢を認識した後に前記選択姿勢を認識してから、再び前記指示姿勢を認識するまでの間の前記選択記号の位置の集合により表現される矩形または閉ループまたは直線分または曲線分などの図形に基づいて画像範囲を指定することを特徴とする請求項１２ないし１９のいずれかに記載の文字情報入力方法。
【請求項２１】
前記文字認識の結果の候補が複数存在する場合は、前記文字コードデータ変換手段で該候補それぞれを文字コードデータに変換するステップと、該文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示するステップと、表示された前記候補から１つを前記指示姿勢で指示し前記選択姿勢で選択するステップと、該選択した候補の文字コードデータを、前記文字コードデータを記憶するステップによって記憶媒体に記憶するステップとを有することを特徴とする請求項１２ないし２０のいずれかに記載の文字情報入力方法。
【請求項２２】
前記文字認識の結果の候補に正解が含まれない場合は、前記表示器に仮想キーボードを表示するステップと、前記指示姿勢および前記選択姿勢により仮想キーボードを操作するステップと、前記文字認識文字認識の候補から１つを選択するステップと、該選択候補を前記表示器に表示した前期仮想キーボードで修正するステップと、該修正した文字の文字コードデータを記憶媒体に記憶するステップとを有することを特徴とする請求項１２ないし２１のいずれかに記載の文字情報入力方法。
【請求項２３】
文字情報入力装置の文字情報入力方法をコンピュータによって機能させるために、コンピュータに、認識すべき文字及び手と指を含む画像を撮影した撮影画像をカメラから入力させ、表示器の画面に画像を表示させ、前記撮影画像に写された手と指の位置および指示姿勢および選択姿勢を認識させ、認識された手と指の位置および姿勢に基づいてカーソルやポインタなどの記号の前記表示器の画面上での位置を決定させ、決定された前記表示器の画面上での位置に前記記号を表示させ、前記記号および前記姿勢により画像範囲を指定させ、指定された範囲の画像から文字を認識させ、認識した文字を文字コードデータに変換させ、変換された文字コードデータを記憶媒体に記憶させることを特徴とするプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２４】
コンピュータに、前記撮影画像を圧縮または非圧縮で無線または有線の通信回路を介して送信させ、該圧縮または非圧縮画像を受信し圧縮画像の場合は展開させることを特徴とする請求項２３に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２５】
コンピュータに、前記指定された範囲の画像を圧縮または非圧縮で無線または有線の通信回路を介して送信させ、該圧縮または非圧縮範囲画像を受信し圧縮画像の場合は展開させることを特徴とする請求項２３または２４に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２６】
コンピュータに、前記撮影画像、または無線や有線の通信回線を介して受信した画像を記憶媒体に記憶させ、該記憶した画像を前記表示器に表示させることを特徴とする請求項２３ないし２５のいずれかに記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２７】
コンピュータに、前記記憶した文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示させることを特徴とする請求項２３ないし２６のいずれかに記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２８】
コンピュータに、前記文字コードデータを、インターネットやデータベースの検索キーワードまたはオペレーションシステムやアプリケーションのコマンドや入力文字または文字認識に使われた画像の付加情報として使用させることを特徴とする請求項２３ないし２７のいずれかに記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項２９】
コンピュータに、前記画像範囲を指定させる際に、前記指示姿勢を認識した後に前記選択姿勢を認識してから、再び前記指示姿勢を認識するまでの間の前記選択記号の位置の集合により表現される矩形または閉ループまたは直線分または曲線分などの図形に基づいて画像範囲を指定させることを特徴とする請求項２３ないし２８のいずれかに記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項３０】
コンピュータに、前記文字認識の結果の候補が複数存在する場合は、該候補それぞれを文字コードデータに変換させ、該文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示させ、表示された前記候補から１つを前記指示記号で指示させ前記選択姿勢で選択させ、前記文字コードデータを記憶する際に選択された候補の文字コードデータを記憶媒体に記憶させることを特徴とする請求項２３ないし２９のいずれかに記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【請求項３１】
コンピュータに、前記文字認識の結果の候補に正解が含まれない場合は、前記表示器に仮想キーボードを表示させ、前記指示姿勢および前記選択姿勢により仮想キーボードを操作させ、前記文字認識の候補から１つを選択させ、該選択候補を前記表示器で表示し前記仮想キーボードで修正させ、修正した文字の文字コードデータを記憶媒体に記憶させることを特徴とする請求項２３ないし３０のいずれかに記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンピュータの文字情報入力装置に関し、特に、着用型コンピュータ、携帯型コンピュータ、携帯電話、ＰＤＡ、リモコン、デジタルカメラなどの装置のための文字情報入力装置および文字情報入力方法並びに文字情報入力方法をコンピュータにより機能させるためのプログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
従来、コンピュータに文字や操作のためのコマンドを入力するために、もっぱら、QWERTYキーボードに代表されるキーボード装置や、マウス、トラックボール、タッチパッドなどのポインティング装置など卓上で使用することを前提とした入力装置を用いた文字情報入力方法や、文字を読み上げて、マイクで音声を録音し、音声認識により文字情報を得ることを特徴とする文字情報入力方法が用いられている。
【０００３】
特に、着用型コンピュータ、携帯型コンピュータ、携帯電話、ＰＤＡ、家電のリモコン、デジタルカメラなどの携帯端末（携帯装置）に文字や操作のためのコマンドを入力するためには、テンキーに代表される十数個のキーからなる携帯キーボード装置、ボタン装置、ジョグシャトル装置、ダイヤル装置、タブレット装置、ペン装置など携帯して使用することを前提とした入力装置を用いた文字情報入力方法が用いられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、このように、前記卓上で使用することを前提とした入力装置を用いた従来の文字情報入力方法を用いて文字や操作のためのコマンドを迅速にしかも確実にかつ簡単に入力するためには、該装置および該方法を長期間使用し使用技術を習得する必要がある。
【０００５】
また、移動時、外出時、歩行と一時停止を繰り返しながらの行動時、作業時などにおいては、前記卓上で使用することを前提とした入力装置を携帯および使用することは困難である。
【０００６】
さらに、前記携帯して使用することを前提とした入力装置を用いた文字情報入力方法では、その使用技術を習得しても、キーの数の少なさや装置の持ちづらさなどが要因となる入力速度の物理的限界により、文字や操作のためのコマンドを迅速にしかも確実にかつ簡単に入力することは困難である。
【０００７】
さらに、前記携帯して使用することを前提とした入力装置をポケットやかばんなどに収納してある場合、例えば入力する文字数やコマンド数が少ないとしても、使用前に該入力装置を取り出す必要があるため、それを迅速にしかも確実にかつ簡単に入力することは困難である。
【０００８】
また、前期音声認識を用いた文字情報入力方法は、周辺が騒がしい場合、または逆に周辺が静かで声を出しづらい場合、または読み方がわからない場合に文字を読み上げることができない。
【０００９】
本発明は、上述の点に鑑みてなされたもので、その目的は、従来の卓上で使用または携帯して使用することを前提とした入力装置または音声認識による文字情報入力方法を用いるばかりではなく、カメラおよび表示器および使用者の手と指を用いて、屋内や屋外に表記の文字または手書きの文字を文字コードデータに変換することで、文字情報を迅速にしかも確実にかつ簡単に入力できるコンピュータの文字情報入力装置、特に、着用型コンピュータ、携帯型コンピュータ、携帯電話、ＰＤＡ、リモコン、デジタルカメラなどの装置のための文字情報入力装置および文字情報入力方法並びに文字情報入力方法をコンピュータにより機能させるためのプログラムを記録した記録媒体を提供することにある。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、請求項１の文字情報入力装置の発明は、カメラから撮影画像を入力する画像入力手段と、表示器の画面に画像を表示する画像表示手段と、前記撮影画像に写された手と指の位置および指示姿勢および選択姿勢を認識する手指画像認識手段と、該手指画像認識手段で認識された手と指の位置および姿勢に基づいてカーソルやポインタなどで表現される指示記号および選択記号の前記表示器の画面上での位置を決定する記号位置決定手段と、該記号位置決定手段で決定された前記表示器の画面上での位置に前記指示記号を表示する指示記号表示手段と、前記指示姿勢および前記選択姿勢により画像範囲を指定する範囲指定手段と、該範囲指定手段で指定された範囲の画像から文字を認識する文字認識手段と、該文字認識手段で認識した文字を文字コードデータに変換する文字コードデータ変換手段と、該文字コードデータ変換手段で変換された文字コードデータを記憶媒体に記憶する文字コードデータ記憶手段とを具備することを特徴とする。
【００１１】
さらに、前記画像入力手段で入力された前記撮影画像を圧縮または非圧縮で無線または有線の通信回路を介して送信する入力画像送信手段と、該圧縮または非圧縮画像を受信し圧縮画像の場合は展開する入力画像受信手段とを有することができる。
【００１２】
さらに、前記範囲指定手段で指定された範囲の画像を圧縮または非圧縮で無線または有線の通信回路を介して送信する範囲画像送信手段と、該圧縮または非圧縮範囲画像を受信し圧縮画像の場合は展開する範囲画像受信手段とを有することができる。
【００１３】
さらに、前記画像入力手段で入力、または無線や有線の通信回線を介して受信した画像を記憶媒体に記憶する画像記憶手段と、該画像記憶手段で記憶した画像を前記表示器に表示する画像表示手段とを有することができる。
【００１４】
さらに、前記文字コードデータ記憶手段で記憶した文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示する文字表示手段を有することができる。
【００１５】
さらに、前記文字コードデータ記憶手段で記憶した文字コードデータを、インターネットやデータベースの検索キーワードまたはオペレーションシステム（ＯＳ）やアプリケーションのコマンドや入力文字または文字認識に使われた画像の付加情報として用いることができる。
【００１６】
さらに、前記カメラに、使用者の身体の一部に直接着用または身体の一部に着用するものに装備または携帯装置に装備したカメラを用いることができる。
【００１７】
さらに、前記表示器に、使用者の視野に入るように頭部に直接着用または頭部に着用するものに装備または腕に直接着用または腕に着用するものに装備した表示器を用いることができる。
【００１８】
さらに、前記範囲指定手段において、前記指示姿勢を認識した後に前記選択姿勢を認識してから、再び前記指示姿勢を認識するまでの間の前記選択記号の位置の集合により表現される矩形または閉ループまたは直線分または曲線分などの図形に基づいて画像範囲を指定することができる。
【００１９】
さらに、前記文字認識手段で文字認識の結果の候補が複数存在する場合は、前記文字コードデータ変換手段で該候補それぞれを文字コードデータに変換する手段と、該文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示する文字認識候補表示手段と、表示された前記候補から１つを前記記号位置決定手段で指示し前記選択姿勢で選択する文字認識結果選択手段と、該文字認識結果選択手段で選択した候補の文字コードデータを前記文字コードデータ記憶手段により記憶媒体に記憶する手段とを有することができる。
【００２０】
さらに、前記文字認識手段で文字認識の結果の候補に正解が含まれない場合は、前記表示器に仮想キーボードを表示する仮想キーボード表示手段と、前記指示姿勢および前記選択姿勢により仮想キーボードを操作する仮想キーボード操作手段と、前記文字認識候補表示手段および前記文字認識結果選択手段で前記候補から１つを選択する手段と、該選択候補を前記文字表示手段で表示し該仮想キーボード操作手段で修正する文字認識結果修正手段と、該文字認識結果修正手段で修正した文字の文字コードデータを前記文字コードデータ記憶手段により記憶媒体に記憶する手段とを有することができる。
【００２１】
上記目的を達成するために、請求項１２の文字情報入力装置の文字情報入力方法の発明は、文字情報入力装置の文字情報入力方法において、カメラから撮影画像を入力するステップと、表示器の画面に画像を表示するステップと、前記撮影画像に写された手と指の位置および指示姿勢および選択姿勢を認識するステップと、認識された手と指の位置および姿勢に基づいてカーソルやポインタなどで表現される指示記号および選択記号の前記表示器の画面上での位置を決定するステップと、決定された前記表示器の画面上での位置に前記記号を表示するステップと、前記指示姿勢および前記選択姿勢により画像範囲を指定するステップと、指定された範囲の画像から文字を認識するステップと、認識した文字を文字コードデータに変換するステップと、変換された文字コードデータを記憶媒体に記憶するステップとを有することを特徴とする。
【００２２】
さらに、前記撮影画像を圧縮または非圧縮で無線または有線の通信回路を介して送信するステップと、該圧縮または非圧縮画像を受信し圧縮画像の場合は展開するステップとを有することができる。
【００２３】
さらに、前記指定された範囲の画像を圧縮または非圧縮で無線または有線の通信回路を介して送信するステップと、該圧縮または非圧縮範囲画像を受信し圧縮画像の場合は展開するステップとを有することができる。
【００２４】
さらに、前記撮影画像、または無線や有線の通信回線を介して受信した画像を記憶媒体に記憶するステップと、該記憶した画像を前記表示器に表示するステップとを有することができる。
【００２５】
さらに、前記記憶した文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示するステップを有することができる。
【００２６】
さらに、前記文字コードデータを、インターネットやデータベースの検索キーワードまたはＯＳやアプリケーションのコマンドや入力文字または文字認識に使われた画像の付加情報として用いることができる。
【００２７】
さらに、前記カメラに、使用者の身体の一部に直接着用または身体の一部に着用するものに装備または携帯装置に装備したカメラを用いることができる。
【００２８】
さらに、前記表示器に、使用者の視野に入るように頭部に直接着用または頭部に着用するものに装備または腕に直接着用または腕に着用するものに装備した表示器を用いることができる。
【００２９】
さらに、前記画像範囲を指定するステップにおいて、前記指示姿勢を認識した後に前記選択姿勢を認識してから、再び前記指示姿勢を認識するまでの間の前記選択記号の位置の集合により表現される矩形または閉ループまたは直線分または曲線分などの図形に基づいて画像範囲を指定することができる。
【００３０】
さらに、前記文字認識の結果の候補が複数存在する場合は、該候補それぞれを文字コードデータに変換するステップと、該文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示するステップと、表示された前記候補から１つを前記指示記号で指示し前記選択姿勢で選択するステップと、前記文字コードデータを記憶するステップで選択した候補の文字コードデータを記憶媒体に記憶するステップとを有することができる。
【００３１】
さらに、前記文字認識の結果の候補に正解が含まれない場合は、前記表示器に仮想キーボードを表示するステップと、前記指示姿勢および前記選択姿勢により仮想キーボードを操作するステップと、前記文字認識の候補から１つを選択するステップと、該選択候補を前記表示器で表示し前記仮想キーボードで修正するステップと、修正した文字の文字コードデータを記憶媒体に記憶するステップとを有することができる。
【００３２】
上記目的を達成するため、請求項２３の記録媒体の発明は、文字情報入力装置の文字情報入力方法をコンピュータによって機能させるためのプログラムの記録媒体であって、プログラムはコンピュータに、カメラから撮影画像を入力させ、表示器の画面に画像を表示させ、前記撮影画像に写された手と指の位置および指示姿勢および選択姿勢を認識させ、認識された手と指の位置および姿勢に基づいて、カーソルやポインタなどで表現される指示記号および選択記号の前記表示器の画面上での位置を決定させ、決定された前記表示器の画面上での位置に前記記号を表示させ、前記指示姿勢および前記選択姿勢により画像範囲を指定させ、指定された範囲の画像から文字を認識させ、認識した文字を文字コードデータに変換させ、変換された文字コードデータを記憶媒体に記憶させることを特徴とする。
【００３３】
さらに、前記プログラムはコンピュータに、前記撮影画像を圧縮または非圧縮で無線または有線の通信回路を介して送信させ、該圧縮または非圧縮画像を受信し圧縮画像の場合は展開させることを特徴とする。
【００３４】
さらに、前記プログラムはコンピュータに、前記指定された範囲の画像を圧縮または非圧縮で無線または有線の通信回路を介して送信させ、該圧縮または非圧縮範囲画像を受信し圧縮画像の場合は展開させることを特徴とする。
【００３５】
さらに、前記プログラムはコンピュータに、前記撮影画像、または無線や有線の通信回線を介して受信した画像を記憶媒体に記憶させ、該記憶した画像を前記表示器に表示させることを特徴とする。
【００３６】
さらに、前記プログラムはコンピュータに、前記記憶した文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示させることを特徴とする。
【００３７】
さらに、前記プログラムはコンピュータに、前記文字コードデータを、インターネットやデータベースの検索キーワードまたはＯＳやアプリケーションのコマンドや入力文字または文字認識に使われた画像の付加情報として使用させることを特徴とする。
【００３８】
さらに、前記プログラムはコンピュータに、前記画像範囲を指定させる際に、前記指示姿勢を認識した後に前記選択姿勢を認識してから、再び前記指示姿勢を認識するまでの間の前記選択記号の位置の集合により表現される矩形または閉ループまたは直線分または曲線分などの図形に基づいて画像範囲を指定させることを特徴とする。
【００３９】
さらに、前記プログラムはコンピュータに、前記文字認識の結果の候補が複数存在する場合は、該候補それぞれを文字コードデータに変換させ、該文字コードデータに対応する文字を、文字フォントデータを用いて前記表示器に表示させ、表示された前記候補から１つを前記指示記号で指示させ前記選択姿勢で選択させ、前記文字コードデータを記憶する際に選択された候補の文字コードデータを記憶媒体に記憶させることを特徴とする。
【００４０】
さらに、前記プログラムはコンピュータに、前記文字認識の結果の候補に正解が含まれない場合は、前記表示器に仮想キーボードを表示させ、前記指示姿勢および前記選択姿勢により仮想キーボードを操作させ、前記文字認識の候補から１つを選択させ、該選択候補を前記表示器で表示し前記仮想キーボードで修正させ、修正した文字の文字コードデータを記憶媒体に記憶させることを特徴とする。
【００４１】
【発明の実施の形態】
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
【００４２】
図１は、本発明の実施形態の文字情報入力装置の構成を示すブロック図である。端末装置１０は、例えばＣＣＤカメラやＣＭＯＳカメラなどからなる画像入力部１０４と、例えば液晶パネルや有機ＥＬパネルやフィールドエミッションディスプレイパネルやＬＥＤや小型プロジェクタなどからなる表示部１０３と、例えば無線ＬＡＮ装置や携帯電話装置やＰＨＳ装置や赤外線通信装置などからなる通信部１０２と、画像データや文字コードデータや文字フォントデータやプログラムや文字認識用辞書や他のデータを記憶する、例えばＲＡＭやＲＯＭ、可搬性記録媒体などからなる記憶部１０１と、手指画像認識機能３００、記号位置決定機能３０１、範囲指定機能３０２、文字認識機能手段３０３、文字コードデータ変換機能３０４、画像圧縮展開機能３０５を含む画像処理、文字認識処理などの処理を行うとともに端末装置１０全体の制御を行う、例えばプロセッサ（ＣＰＵやＭＰＵやＤＳＰなど）やキャッシュメモリなどからなる情報処理制御部１００を備える。
【００４３】
なお、手指画像認識機能３００および文字認識機能３０３は、情報処理技術分野の当業者には周知の機能を用いて、実現することができる。手指画像認識機能３００では、例えば、事前に学習した色や輪郭形状などの画像特徴と撮影された入力画像に含まれるそれらの画像特徴とを確率統計的に組み合わせることで手と指を認識することができるし、他の一般的な方法でもよい。文字認識機能３０３では、例えば、事前にいくつものフォントの文字を濃淡の勾配特徴などに基づいて学習して文字の辞書を作るとともに単語辞書などの文字のつながりに関する辞書を用意し、入力画像に含まれる画像特徴をそれらの辞書に確率統計的に当てはめて文字を認識することができるし、他の一般的な方法でもよい。また、性能のよい文字認識ソフトも市販されているので、それを使ってもよい。
【００４４】
文字コードデータ変換機能３０４は、文字認識機能で認識された文字を、一般的なコード、例えば、ＥＵＣコードやＪＩＳコードやＳ−ＪＩＳコードやアスキーコードに変換することができる。もちろん、文字認識機能で認識された文字が、後処理、例えば、文字フォントデータを用いた表示器への文字の表示などで必要とされる文字コードで表現されている場合、文字コード変換機能は使わなくてもよい。
【００４５】
ところで、端末装置、特に、着用型コンピュータ、携帯型コンピュータ、携帯電話、ＰＤＡ、リモコン、デジタルカメラなどの携帯端末装置を、小型化、軽量化、省電力化、低コスト化する必要がある場合などにおいては、情報処理制御部の処理性能や記憶部の記憶容量を抑えることが有効である。端末装置と、例えば、画像処理サーバ、ホームコンピュータ、家電などのホスト装置とで通信して画像データや処理結果などの送受信することで、手指画像認識機能３００、記号位置決定機能３０１、範囲指定機能３０２、文字認識機能手段３０３、文字コードデータ変換機能３０４などの処理の一部またはすべてをホスト装置に処理させることで、端末装置の機能を省き、情報処理制御部の処理性能や記憶部の記憶容量を抑えることができる。これは、携帯端末装置を、小型化、軽量化、省電力化、低コスト化するのに有効である。
【００４６】
図２は、本発明の実施形態の文字情報入力装置のホストの構成を示すブロック図である。ホスト装置２０は、端末装置１０の通信部１０２と通信する、例えば無線ＬＡＮ装置や携帯電話装置やＰＨＳ装置や赤外線通信装置やイーサネット装置や有線ＬＡＮ装置などからなる通信部２０２と、例えばＲＡＭやＲＯＭ、可搬性記録媒体などからなる記憶部２０１と、手指画像認識機能４００、記号位置決定機能４０１、範囲指定機能４０２、文字認識機能手段４０３、文字コードデータ変換機能４０４、画像圧縮展開機能４０５を含む画像処理、文字認識処理などの処理を行うとともにホスト装置１０全体の制御を行う、例えばプロセッサ（ＣＰＵやＭＰＵやＤＳＰなど）やキャッシュメモリなどからなる情報処理制御部２００を備える。もちろん、ホスト装置は並列コンピュータやＰＣクラスタなどの分散システムであってもよい。
【００４７】
手指画像認識機能３００と手指画像認識機能４００、記号位置決定機能３０１と記号位置決定機能４０１、範囲指定機能３０２と範囲指定機能４０２、文字認識機能手段３０３と文字認識機能手段４０３、文字コードデータ変換機能３０４と文字コードデータ変換機能４０４はそれぞれ同等の機能であるため、端末装置１０またはホスト装置２０のどちらかにそれぞれの機能が備わっていればよい。例えば、文字認識機能４０３がホスト装置に備わっていれば文字認識機能３０３を端末装置に備える必要はないため、端末装置１０で必要とされる処理能力やプログラムの記憶容量を抑えることができ、情報処理制御部１００や記憶部１０１を、小型化、軽量化、省電力化、低コスト化するのに有効である。
【００４８】
図３は、本発明の実施形態の文字情報入力装置の通信システムの構成を示すブロック図である。基地局３０は例えば無線ＬＡＮ装置や携帯電話装置やＰＨＳ装置や赤外線通信装置などからなり、端末装置１０と交換網３１を接続する。交換網３１は、公衆網、構内網どちらでもよく、ホスト装置２０は端末装置１０の通信相手となる。もちろん、現在のリモコンと家電のように、端末装置１０とホスト装置２０とが赤外線通信や無線通信などで直接通信してもよい。もちろん、有線で通信してもよい。
【００４９】
なお、画像を端末装置１０とホスト装置２０とで画像を送受信する場合、例えば、ＪＰＥＧやＭＯＴＩＯＮ  ＪＰＥＧやＭＰＥＧやＭＰＥＧ２やＭＰＥＧ４やＭＰＥＧ７などＤＣＴ変換やウェーブレット変換や動き補償などの技術を用いた画像圧縮展開機能３０５および画像圧縮展開機能４０５により、画像を圧縮して通信部１０２、通信部２０２を介して送受信することで、伝送容量を抑えることができる。また、手指画像認識機能、記号位置決定機能、範囲決定機能を端末装置１０に備え、文字認識処理、文字コードデータ変換機能をホスト装置２０に備えた場合、指定された範囲の画像のみを伝送することで、さらに伝送容量を抑えることができる。
【００５０】
図４は、画像入力部１０４を構成するカメラの着用位置を示す模式図である。カメラ５０〜５３は、それぞれ、肩、胸部、耳に着用補助器具などを用いて着用、またはサングラスや眼鏡などのフレームに装備することで着用したカメラの模式図である。
【００５１】
カメラ５０は、ショルダーバッグやリュックサックなどの鞄類の肩にかかる部分または服の肩にあたる部分に直接装備またはアタッチメントなどの補助器具により着脱可能な状態で装備することで図４のような位置に着用できる。
【００５２】
カメラ５１は、ショルダーバッグやリュックサックなどの鞄類の胸部にかかる部分または服の胸にあたるの部分に直接装備またはアタッチメントなどの補助器具により着脱可能な状態で装備することで図４のような位置に着用できる。例えば、ブローチやペンダントなどにカメラを装備し胸部に取り付けることなどが可能である。
【００５３】
カメラ５２は、アタッチメントなどの補助器具により着脱可能な状態で装備することで図４のような位置に着用できる。例えば、イヤリングやピアスなどにカメラを装備し耳に取り付けることなどが可能である。
【００５４】
カメラ５３は、眼鏡やサングラスのフレームにカメラを装備することで図4のような位置に着用できる。
【００５５】
カメラ５０、５１は、体の前方に手と指が存在する場合にそれらを撮影するのに有効である。カメラ５２、５３は、顔の前方に手と指が存在する場合にそれらを撮影するのに有効である。もちろん、手と指が写る位置であれば身体の上述以外の部分、例えば被写体となる手と指とは逆の腕に腕時計を着用しその腕時計にカメラを装備してもよいし、着用はせず携帯装置に装備したカメラを用いてもよい。
【００５６】
図５は、表示部１０３を構成する表示器の着用位置を示す模式図である。表示器６０〜６２は、それぞれ、使用者の視野に入るように頭部に直接着用または頭部に着用するものに装備したものである。このように着用することで、ハンズフリーで表示器を見ることができ、手と指で指示・選択しながら表示を確認することが容易になる。
【００５７】
表示器６０は、額と側頭部を支点とする留め具に装着し着用する表示器であり、同様に着用できる表示器はすでに市販されている。
【００５８】
表示器６１は、耳と後頭部を支点とする留め具に装着し着用する表示器である。ヘッドホンの留め具に表示器を装着しても同様に着用できる。
【００５９】
表示器６２は、眼鏡やサングラスなどのレンズ前面に固定されるように装備、またはレンズ内部に装備した表示器であり、これと同様に装備できる表示器はすでに市販されている。
【００６０】
もちろん、使用者の視野に入るようにできるのであれば、身体の他の部分、例えば腕時計や腕時計型の携帯情報端末の表示器を流用することで、その表示器を腕に着用することができるし、着用はせず携帯装置に装備した表示器を用いてもよい。
【００６１】
図６は、本発明の実施形態の文字情報入力装置を使用する際に、画像入力部１０４で撮影する右手と指の姿勢の例を示す模式図である。ここでは、手指画像認識機能３００または４００で認識する手と指の姿勢の例として、１本指を使用する姿勢５０２、５０３と、２本指を使用する姿勢５００，５０１を例としてとりあげる。
【００６２】
もちろん、左手でもよいし、他の姿勢により、指示と選択姿勢を認識してもよい。例えば、じゃんけんのパー、チョキ、グーのような姿勢を認識し、それぞれが指示姿勢なのか選択姿勢なのかを決めてもよい。
【００６３】
指示姿勢５００は、人差し指と親指を伸ばして、それらの指先を離した姿勢を指示姿勢と決めた場合の例である。この際、記号位置決定機能３０１または記号位置決定機能４０１により決定される指示記号の位置は、例えば認識された2本の指の先を結ぶ直線の中間位置であってもよいし、人差し指の指先の位置でもよい。また、認識される指と記号位置との相対関係を使用者が使用しやすいように設定してもよい。
【００６４】
選択姿勢５０１は、選択姿勢５００の状態から、人差し指と親指の指先をくっつけた姿勢を選択姿勢と決めた場合の例である。この際、記号位置決定機能３０１または記号位置決定機能４０１により決定される選択記号の位置は、例えば認識された2本の指の接する部分の中心であってもよいし、人差し指の指先の位置でもよい。また、認識される指と記号位置との相対関係を使用者が使用しやすいように設定してもよい。
【００６５】
指示姿勢５０２は、人差し指を伸ばした姿勢を指示姿勢と決めた場合の例である。この際、記号位置決定機能３０１または記号位置決定機能４０１により決定される指示記号の位置は、例えば認識された人差し指の指先の位置やそれに近い位置でもよい。また、認識される指と記号位置との相対関係を使用者が使用しやすいように設定してもよい。
【００６６】
選択姿勢５０３は、選択姿勢５００の状態から、人差し指の第２関節を曲げた姿勢を選択姿勢と決めた場合の例である。もちろん、第３関節を曲げた姿勢を選択姿勢としてもよい。なお、第２関節を曲げる際に、第１関節が曲がってもよいし、第３関節を曲げる際に、第１、第２関節が曲がってもよい。この際、記号位置決定機能３０１または記号位置決定機能４０１により決定される選択記号の位置は、例えば認識された人差し指の画像上における最も上の位置でもよい。また、認識される指と記号位置との相対関係を使用者が使用しやすいように設定してもよい。
【００６７】
指示姿勢で指示した一点を選択姿勢で選択する場合は、選択姿勢が認識された時点からもっとも近い過去の時点で認識された指示姿勢に基づいて決定される指示記号位置を選択した位置とすることができる。もちろん、もっとも近い過去の時点ではなく、使用者が使用しやすいように数十から数百ミリ秒前の指示記号位置を選択した位置としてもよい。
【００６８】
図７は、範囲指定機能３０２または範囲指定機能４０２により指定される矩形の例を示す模式図である。図７（ａ）では、指示姿勢５００を認識した後に選択姿勢５０１を認識してから、再び前記指示姿勢５００を認識するまでの間の選択記号位置の集合により表現される閉ループに矩形を当てはめ、当てはまった矩形を指定される画像範囲としている場合の例である。
【００６９】
閉ループは隣り合った記号位置同士を直線で結んだり、記号位置の集合にベジェ曲線やスプライン曲線を当てはめたりすることにより求められる。画像範囲を示す矩形のあてはめは、例えば、閉ループに内接するもっとも面積の大きい矩形や、外接するもっとも面積の小さい矩形を選ぶことにより可能である。もちろん、使用者が使用しやすいように閉ループと矩形との相対関係を設定してもよい。もちろん、画像範囲は矩形ではなく閉ループのままでもよい。
【００７０】
また、上述のような閉ループ的な記号位置の集合から実際には閉ループを求めず、いきなり矩形を当てはめてもよい。例えば、記号位置の集合の重心位置を求め、その重心位置より上にある記号位置のメディアン値を矩形の上側の辺とし、同様に下の辺、左右の辺とし、それぞれが交わる位置を頂点とすることで矩形を求めることができる。もちろん、他の方法、例えばハフ変換などで当てはめてもよい。
【００７１】
図７（ｂ）は、指示姿勢５００を認識した後に選択姿勢５０１を認識してから、再び前記指示姿勢５００を認識するまでの間の選択記号位置の集合により表現される曲線分や折れ線の上に矩形を設定し、設定された矩形を指定される画像範囲としている場合の例である。
【００７２】
折れ線は、例えば、隣り合った記号位置同士を直線で結ぶことで求めることができるし、曲線分は記号位置の集合にベジェ曲線やスプライン曲線を当てはめたりすることにより求められる。画像範囲を示す矩形を決めるには、例えば、折れ線や曲線分の下側に接する直線分を求め、それを下の辺（底辺）とし、決められた長さの左右の辺を持つ矩形を求めることで実現できる。左右の辺の長さは使用者が下の辺と左右の辺の長さの相対関係を設定してもよい。
【００７３】
なお、図７（ｂ）の例は横方向に書かれた文字の下の部分を折れ線や曲線分で指定する場合であり、縦書きの文字の場合に右手によって指定するのであれば、例えば、折れ線や曲線分の右側に接する直線分を求め、それを右の辺とし、決められた長さの上下の辺を持つ矩形を求めることで画像範囲を示す矩形を求めることができる。上下の辺の長さは使用者が右の辺と上下の辺の長さの相対関係を設定してもよい。もちろん、縦書きの文字を左手の場合によって指定する場合は、矩形の左の辺を指定してもよい。
【００７４】
また、実際には曲線分や折れ線を求めず、記号位置の集合にいきなり矩形を当てはめてもよい。例えば、ハフ変換などの統計的な手法で記号位置の集合に直線分を当てはめ、それを一辺とする矩形を上述と同様の方法で求めればよい。
【００７５】
もちろん、指示姿勢５０２と選択姿勢５０３によって、上述と同様に閉ループや折れ線や曲線分などで画像範囲の指定をしてもよいし、他の姿勢を選択姿勢、指示姿勢を用いてもよい。
【００７６】
また、一点を指示姿勢で指示し、選択姿勢でその点を選択し、その周辺の文字らしい部分を自動抽出することで範囲を指定してもよい。文字らしさは、情報処理技術分野の当業者に周知の機能を用いて実現することができる。例えば、画像の高周波成分が規則的に現れたり、輝度勾配が急であったりする部分が、横書きの文字の場合は横方向に長く分布し、縦書きの文字の場合は縦方向に長く分布するといった特性を利用して、抽出することができる。また、この文字らしい部分の形状によって、上述の記号位置の集合に基づいて決定される画像範囲を修正・調整してもよい。
【００７７】
次に、本発明装置の使用方法とその際の操作手順および本装置の処理について説明する。ここでは、本発明の使用方法として、実施形態１および実施形態２の２つを説明する。実施形態１は、使用者が着用または携帯する画像入力部１０４のカメラによって撮影された手と指および文字を含む画像から、手と指の位置と姿勢の情報および文字情報を獲得する場合であり、実施形態２は、使用者が着用または携帯する画像入力部１０４のカメラによって撮影された手と指を含む画像から手と指の位置と姿勢を獲得し、記憶部１０１または２０１に保存されている文字を含む画像から文字情報を獲得する場合である。
【００７８】
なお、以下の説明では、端末装置１０のみで処理した場合について説明するが、上述したように、手指画像認識機能３００と手指画像認識機能４００、記号位置決定機能３０１と記号位置決定機能４０１、範囲指定機能３０２と範囲指定機能４０２、文字認識機能手段３０３と文字認識機能手段４０３、文字コードデータ変換機能３０４と文字コードデータ変換機能４０４はそれぞれ同等の機能であるため、端末装置１０またはホスト装置２０のどちらかにそれぞれの機能が備わっていて、端末装置１０とホスト装置２０を組み合わせて処理してもよい。
【００７９】
図８は、本発明の実施形態１を示す模式図である。この例では、使用者が着用または携帯する画像入力部１０４のカメラによって手と指および文字を含む画像が撮影され、使用者は表示部１０３の表示器に表示されている撮影画像を見ながら、その撮影画像に含まれる「第１８会議室」という文字を、範囲指定機能３０２を用いて選択している。
【００８０】
図８に示す例では、指示記号を矢印マークのポインタを用いて表示し、指示姿勢を認識した後に選択姿勢を認識してから、再び前記指示姿勢を認識するまでの間の選択記号の軌跡を白丸で表示し、画像範囲を表す矩形を点線矩形で表示しているが、もちろん、他の記号や図形を用いてもよい。
【００８１】
図９は、本発明の実施形態１で本発明装置が行う処理のフローである。また、図１０は、図９の処理がＦ１１４まで到達する場合に、使用者が行う操作のフローの例である。
【００８２】
まず、本装置は、画像入力部１０４で画像を撮影し、実施形態１を開始する仮想ボタン（またはメニュー）や使用者への他の仮想ボタンおよびメニュー等を含む提示情報を撮影画像に重畳して、グラフィカルユーザーインターフェイス（ＧＵＩ）として表示部１０３に表示する（Ｆ１００）。実施形態１を開始する仮想ボタンが表示されている部分を、指示姿勢で指示し、選択姿勢で選択した（Ｓ１００）ことを認識、または他の仮想ボタンやメニューを選んだことを認識するまで処理Ｆ１００を繰り返す（Ｆ１０１）。実施形態１を開始する仮想ボタン以外の仮想ボタンやメニューが選ばれたと認識すれば他の処理に移る（Ｆ１１６）。
【００８３】
処理Ｆ１０１で実施形態１が選ばれたと認識すると、画像を撮影し、実施形態１を開始する仮想ボタンを含まないＧＵＩを表示する（Ｆ１０２）。次に、手指画像認識機能３００により、使用者の指示姿勢（Ｓ１０１）を認識するまで処理Ｆ１０２を繰り返す（Ｆ１０３）。
【００８４】
処理Ｆ１０３で指示姿勢を認識すると、記号位置決定機能３０１により指示記号位置を決定し（Ｆ１０４）、画像を撮影し、該指示記号を含むＧＵＩを表示する（Ｆ１０５）。次に、手指画像認識機能３００により使用者の選択姿勢（Ｓ１０２）を認識するまで処理Ｆ１０５を繰り返す（Ｆ１０６）。
【００８５】
処理Ｆ１０６で選択姿勢を認識すると、記号位置決定機能３０１により選択記号位置を決定し、その位置を範囲指定機能３０２のために蓄積し（Ｆ１０７）、画像を撮影し、該選択記号および選択記号の軌跡を示す記号（図８の例では白丸）を含むＧＵＩを表示する（Ｆ１０８）。次に、手指画像認識機能３００により使用者の選択姿勢（Ｓ１０２）を認識し続ける間、処理Ｆ１０７および処理Ｆ１０８を繰り返す（Ｆ１０９）。処理Ｆ１０９で指示姿勢（Ｓ１０３）を認識すると、記号位置決定機能３０１により指示記号位置を決定する（Ｆ１１０）。なお、処理Ｆ１０９で指示姿勢も選択姿勢も認識できなければ処理を終了し、文字コードデータは記憶されない。
【００８６】
処理Ｆ１１０で指示記号位置を決定した後、範囲指定機能３０２により画像範囲を求めてその時点の画像を保存し（Ｆ１１１）、画像を撮影し、指示記号および画像範囲を表す図形（図８の例では点線矩形）を含むＧＵＩを表示する（Ｆ１１２）。次に、処理Ｆ１１１で保存した画像の画像範囲内の部分から文字認識機能３０３により文字認識を行い、文字が認識できなければ処理は終了となり、文字コードデータは記憶されない（Ｆ１１３）。
【００８７】
文字が認識できれば、認識した文字の確認、選択、修正処理（Ｓ１０４、Ｆ１１４）を行い、最終的に確認、選択、修正された文字があれば、その文字コードデータを記憶部１０１に記憶し（Ｆ１１５）、処理を終了する。なければ文字コードデータは記憶せず終了する。
【００８８】
図１１は、本発明の実施形態２を示す模式図である。この例では、使用者が着用または携帯する画像入力部１０４のカメラによって撮影された手と指を含む画像とともに、記憶部１０１に保存されている文字認識の対象画像が、表示部１０３の表示器に表示される。使用者は表示部を見ながら、記憶部１０１に保存されている対象画像に含まれる「実験室Ａ」という文字を、範囲指定機能３０２を用いて選択している。
【００８９】
図１１に示す例では、その時点での撮影画像は表示器の画面の右下に対象画像に重畳して表示されているが、もちろん、他の位置でもよいし、重畳せずに、例えば表示器の画面の左上に対象画像を、右上に撮影画像を、下には他の情報を表示するなどしてもよい。
【００９０】
図１２は、本発明の実施形態２で本発明装置が行う処理のフローである。また、図１３は、図１２の処理がＦ２１６まで到達する場合に、使用者が行う操作のフローである。
【００９１】
まず、本装置は、画像入力部１０４で画像を撮影し、実施形態２を開始する仮想ボタン（またはメニュー）や使用者への他の仮想ボタンおよびメニュー等を含む提示情報を撮影画像に重畳して、グラフィカルユーザーインターフェイス（ＧＵＩ）として表示部１０３に表示する（Ｆ２００）。実施形態２を開始する仮想ボタンが表示されている部分を、使用者が指示姿勢で指示し、選択姿勢で選択した（Ｓ２００）ことを認識、または他の仮想ボタンやメニューを選んだことを認識するまで処理Ｆ２００を繰り返す（Ｆ２０１）。実施形態２を開始する仮想ボタン以外の仮想ボタンやメニューが選ばれたと認識すれば他の処理に移る（Ｆ２１８）。
【００９２】
処理Ｆ２０１で実施形態２が選ばれたと認識すると、画像を撮影し、記憶部１０１に保存されている画像のサムネイル画像（縮小画像）、または通信部１０２を介してインターネットやホスト装置などから受信したサムネイル画像の一覧を表示する（Ｆ２０２）。
【００９３】
図１４は、文字認識の対象画像を選択するためのＧＵＩの例を示した模式図である。この例ではサムネイル画像の一覧および、該一覧をスクロールさせる上下のスクロール仮想ボタンが表示されている。この例では、例えば、選択したい画像のサムネイル画像が表示されている部分を、使用者が指示姿勢で指示し、選択姿勢で選択した（Ｓ２０１）ことを認識する（Ｆ２０３）ことで、対象画像を選択することができる。
【００９４】
処理Ｆ２０３で対象画像を選択すると、画像を撮影し、図１１の例のように、撮影画像、対象画像を含むＧＵＩを表示する（Ｆ２０４）。次に、手指画像認識機能３００により使用者の選択姿勢（Ｓ２０２）を認識するまで処理Ｆ２０４を繰り返す（Ｆ２０５）。
【００９５】
処理Ｆ２０５で指示姿勢を認識すると、記号位置決定機能３０１により指示記号位置を決定し（Ｆ２０６）、画像を撮影し、該指示記号を含むＧＵＩを表示する（Ｆ２０７）。次に、手指画像認識機能３００により使用者の選択姿勢（Ｓ２０３）を認識するまで処理Ｆ２０７を繰り返す（Ｆ２０８）。
【００９６】
処理Ｆ２０８で選択姿勢を認識すると、記号位置決定機能３０１により選択記号位置を決定し、その位置を範囲指定機能３０２のために蓄積し（Ｆ２０９）、画像を撮影し、該選択記号および選択記号の軌跡を示す記号（図１１の例では白丸）を含むＧＵＩを表示する（Ｆ２１０）。
次に、手指画像認識機能３００により使用者の選択姿勢（Ｓ２０３）を認識し続ける間、処理Ｆ２０９および処理Ｆ２１０を繰り返す（Ｆ２１１）。処理Ｆ２１１で指示姿勢（Ｓ２０４）を認識すると、記号位置決定機能３０１により指示記号位置を決定する（Ｆ２１２）。なお、処理Ｆ２１１で指示姿勢も選択姿勢も認識できなければ処理を終了し、文字コードデータは記憶されない。
【００９７】
処理Ｆ２１２で指示記号位置を決定した後、範囲指定機能３０２により画像範囲を求め（Ｆ２１３）、画像を撮影し、指示記号および画像範囲を表す図形（図１１の例では点線矩形）を含むＧＵＩを表示する（Ｆ２１４）。次に、対象画像の画像範囲内の部分から文字認識機能３０３により文字認識を行い、文字が認識できなければ処理は終了となり、文字コードデータは記憶されない（Ｆ２１５）。
【００９８】
文字が認識できれば、認識した文字の確認、選択、修正処理（Ｓ２０５、Ｆ２１６）を行い、最終的に確認、選択、修正された文字があれば、その文字コードデータを記憶部１０１に記憶し（Ｆ２１７）、処理を終了する。なければ文字コードデータは記憶せず終了する。
【００９９】
もちろん、実施形態１、２が終了した時点で記憶部１０２に記憶した文字コードデータは、インターネットやデータベースの検索キーワードまたはオペレーションシステムやアプリケーションのコマンドや入力文字または文字認識に使われた画像（この場合は撮影画像）の付加情報などに用いることができる。例えば、記憶部１０２に記憶された文字コードデータをキーボードイベントとしてＧＵＩに送信したり、後処理として対象画像のヘッダ情報などに文字コードデータを埋め込む処理をしたりすることで、記憶された文字コードデータを利用できる。
【０１００】
ここで、処理Ｆ１１４、Ｆ２１６およびステップ１０４、２０５、つまり、認識した文字の確認、選択、修正処理（操作）の詳細な説明をする。図１５は、認識した文字の候補を選択するためのＧＵＩの例を示した模式図である。この図の例では、認識した文字の候補として４つが文字認識機能３０３から得られ、それらの文字コードデータに対応する文字を、文字フォントデータを用いてボタンのように並べて表示している。
【０１０１】
図１６は、認識した文字を修正するためのＧＵＩの例を示した模式図である。この図の例では、編集可能なテキストボックスが上部に、携帯電話などで広く使われているテンキー型の仮想キーボードがその下に表示されている。
【０１０２】
図１７は、認識した文字の確認、選択、修正のために本発明装置が行う処理のフローである。また、図１８は、図１７の処理がＦ３０７に到達する場合に、使用者が行う操作のフローである。
【０１０３】
まず、文字認識機能３０３で得られた認識結果の候補の数を調べる（Ｆ３００）。候補が複数であれば、画像を撮影し、候補の一覧を含むＧＵＩを、図１５のように表示する（Ｆ３０１）。使用者がそれを確認し（Ｓ３００）、例えば、選択したい候補が表示されている部分を、使用者が指示姿勢で指示し、選択姿勢で選択した（Ｓ３０１）ことを認識する（Ｆ３０２）ことで、候補を選択することができる。
【０１０４】
次に、画像を撮影し、候補が１つの場合はその候補を、複数の場合は選択した候補、および決定仮想ボタン、修正仮想ボタン、キャンセル仮想ボタンを含むＧＵＩを表示する（Ｆ３０３）。いずれかの仮想ボタンが選択されるまで、処理Ｆ３０３を繰り返す（Ｆ３０４）。
【０１０５】
使用者がキャンセル仮想ボタンを選択したことを認識した場合は、処理がキャンセルされる。決定仮想ボタンを選択したと認識した場合は、処理Ｆ３０３で表示されている候補の文字コードデータを後段の処理、例えば、Ｆ１１５やＦ２１７に渡す。修正仮想ボタンを選択した（Ｓ３０２）と認識した場合は、画像を撮影し、処理Ｆ３０３で表示されている候補を表示したテキストボックス、および仮想キーボードを含むＧＵＩを、図１６のように表示する（Ｆ３０５）。
【０１０６】
テキストボックス内のカーソルは、指示姿勢で指示し選択姿勢で選択することで、修正したい文字の位置に移動することができる。例えば、消去したい文字があればその文字を指示し選択した後、仮想キーボードのクリアキーを選択すればよい。また、カーソル位置に文字を入力したい場合は、仮想キーボードの各キーを選択して入力すればよい（Ｆ３０６、Ｓ３０３）。
【０１０７】
修正中は、使用者が決定仮想ボタンを選択した（Ｓ３０４）かどうかを認識し（Ｆ３０７）、選択しない限り修正処理（操作）は続けられる。決定仮想ボタンが選択されれば、その時点でテキストボックスに表示してある文字の文字コードデータを、後段の処理、例えば、Ｆ１１５やＦ２１７に渡す。
【０１０８】
なお、文字認識の対象となる文字は、活字や看板の文字だけではなく、手書きの文字も対象となることは言うまでもない。例えば、紙やホワイトボードに手書きで字を書き、それを撮影し、手と指で範囲指定することで文字情報を入力することができる。さらに、コンピュータの処理能力および文字認識の精度が向上すれば、範囲指定せずに画像中のすべての文字を認識してから、使いたい結果の候補だけを図１５のように手と指で指示、選択して選んでもよい。
【０１０９】
また、上述の仮想ボタンやメニューで行う操作は、他の方法で操作することもできる。表示器の画面のある部分、例えば、左上隅を指示し選択すると、処理のキャンセルをすることができるなどが考えられる。また、じゃんけんのパー、チョキ、グーのようなさまざまな姿勢を、指示姿勢や選択姿勢だけではなく、決定姿勢、キャンセル姿勢などとして認識し操作できるようにしてもよい。
【０１１０】
次に本発明に係る他の実施形態について述べる。本発明の目的は、上述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータやＣＰＵやＭＰＵが記録媒体に格納されたプログラムを読み出し、実行することによっても、達成されることは言うまでもない。
【０１１１】
この場合、記録媒体から読み出されたプログラム自体が上述した実施形態の機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【０１１２】
そのプログラムを記録し、またそのプログラムで読み込まれるデータを記録する記録媒体としては、例えば、磁気テープやカセットテープ等のテープ媒体、フロッピーディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＣＤ−Ｒ／ＣＤ−ＲＷ／ＭＯ／ＭＤ／ＤＶＤ−ＲＯＭ／ＤＶＤ−Ｒ／ＤＶＤ−ＲＷ／ＤＶＤ＋ＲＷ／ＤＶＤ−ＲＡＭ等の光（磁気）ディスクを含むディスク媒体、不揮発性のメモリカード／光カード等のカード媒体、ＲＯＭなどを用いことができる。
【０１１３】
また、コンピュータが読み出したプログラムを実行することにより、上述の実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づいて、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によって上述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１１４】
【発明の効果】
以上に説明したように、本発明によれば、カメラおよび表示器および使用者の手と指を用いて、屋内や屋外に表記の文字または手書きの文字を文字コードデータに変換することで、文字情報を迅速にしかも確実にかつ簡単に入力できる。特に、着用型コンピュータ、携帯型コンピュータ、携帯電話、ＰＤＡ、リモコン、デジタルカメラなどの着用、携帯型装置にとって有効な文字情報入力インターフェイスを提供する。
【図面の簡単な説明】
【図１】本発明の実施形態の文字情報入力装置の構成を示すブロック図である。
【図２】本発明の実施形態の文字情報入力装置のホストの構成を示すブロック図である。
【図３】本発明の実施形態の文字情報入力装置の通信システムの構成を示す模式図である。
【図４】画像入力部１０４を構成するカメラの着用位置を示す模式図である。
【図５】表示部１０３を構成する表示器の着用位置を示す模式図である。
【図６】本発明の実施形態の文字情報入力装置を使用する際に画像入力部１０４で撮影する手と指の姿勢の例を示す模式図である。
【図７】範囲指定機能３０２と範囲指定機能４０２により指定される矩形の例を示す模式図である。
【図８】本発明の実施形態１を示す模式図である。
【図９】本発明の実施形態１で本発明装置が行う処理のフローである。
【図１０】図９の処理がＦ１１４まで到達する場合に、使用者が行う操作のフローの例である。
【図１１】本発明の実施形態２を示す模式図である。
【図１２】本発明の実施形態２で本発明装置が行う処理のフローである。
【図１３】図１２の処理がＦ２１６まで到達する場合に、使用者が行う操作のフローである。
【図１４】文字認識の対象画像を選択するためのＧＵＩの例を示した模式図である。
【図１５】認識した文字の候補を選択するためのＧＵＩの例を示した模式図である。
【図１６】認識した文字を修正するためのＧＵＩの例を示した模式図である。
【図１７】認識した文字の確認、選択、修正のために本発明装置が行う処理のフローである。
【図１８】図１７の処理がＦ３０７に到達する場合に、使用者が行う操作のフローである。
【符号の説明】
１０  端末装置
２０  ホスト装置
３０  基地局
３１  交換網
５０  肩に着用したカメラ
５１  胸部に着用したカメラ
５２  耳に着用したカメラ
５３  眼鏡やサングラスなどのフレームに装備したカメラ
６０  額と側頭部を支点とする留め具に装着された表示器
６１  耳と後頭部を支点とする留め具に装着された表示器
６２  眼鏡やサングラスなどのレンズ前面、または内部に装着された表示器
１００  情報処理制御部（端末装置１０に装備）
１０１  記憶部（端末装置１０に装備）
１０２  通信部（端末装置１０に装備）
１０３  表示部（端末装置１０に装備）
１０４  画像入力部（ホスト装置２０に装備）
２００  情報処理制御部（ホスト装置２０に装備）
２０１  記憶部（ホスト装置２０に装備）
２０２  通信部（ホスト装置２０に装備）
３００  手指画像認識機能（端末装置１０の機能）
３０１  記号位置決定機能（端末装置１０の機能）
３０２  範囲指定機能（端末装置１０の機能）
３０３  文字認識機能（端末装置１０の機能）
３０４  文字コードデータ変換機能（端末装置１０の機能）
３０５  画像圧縮展開機能（端末装置１０の機能）
４００  手指画像認識機能（ホスト装置２０の機能）
４０１  記号位置決定機能（ホスト装置２０の機能）
４０２  範囲指定機能（ホスト装置２０の機能）
４０３  文字認識機能（ホスト装置２０の機能）
４０４  文字コードデータ変換機能（ホスト装置２０の機能）
４０５  画像圧縮展開機能（ホスト装置２０の機能）
５００  ２本指を使った指示姿勢
５０１  ２本指を使った選択姿勢
５０２  １本指を使った指示姿勢
５０３  １本指を使った選択姿勢
【図１】
0004164568.tif 000002
【図２】
0004164568.tif 000003
【図３】
0004164568.tif 000004
【図４】
0004164568.tif 000005
【図５】
0004164568.tif 000006
【図６】
0004164568.tif 000007
【図７】
0004164568.tif 000008
【図８】
0004164568.tif 000009
【図９】
0004164568.tif 000010
【図１０】
0004164568.tif 000011
【図１１】
0004164568.tif 000012
【図１２】
0004164568.tif 000013
【図１３】
0004164568.tif 000014
【図１４】
0004164568.tif 000015
【図１５】
0004164568.tif 000016
【図１６】
0004164568.tif 000017
【図１７】
0004164568.tif 000018
【図１８】
0004164568.tif 000019