(57)【要約】    【課題】  操作に不慣れな使用者にとって手軽にしかも確実に文字情報を入力することが可能になる撮影機能付き情報処理装置を提供する。    【解決手段】  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備え、前記表示手段に撮影画像をファインダ表示している時に、前記入力手段から文字情報の入力を行う。【選択図】      図２
2005109981.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備え、
前記表示手段に撮影画像をファインダ表示している時に、前記入力手段から文字情報の入力を行うことを特徴とする撮影機能付き情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ファインダ表示可能な撮影機能を備えた撮影機能付き情報処理装置に関する。
【背景技術】
【０００２】
従来、パーソナルコンピュータなどの情報処理装置において情報の入力方法としては、キーボードなどを用いたものが多い。しかし、文字での入力は、こうした情報処理装置の操作に不慣れな使用者にとっては非常に手間のかかる作業であり、また、うろ覚えの漢字を入力したい場合や、さらに読み方の分からない漢字などの入力は非常に困難であった。
【０００３】
そこで、撮影機能を備えた情報処理装置において、撮影・記録した画像情報から文字領域を切り出して文字認識手段により文字認識を行い、文字データを得る方法が提案されている（例えば、特許文献１，２，３を参照）。
【特許文献１】特開平７−７２５４６号公報
【特許文献２】特開平７−１５３２４０号公報
【特許文献３】特開平７−２８２１９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の情報処理装置では、文字領域の切り出し処理が必要になるほか、文字を入力するためにわざわざ画像を記録しなければならなかった。
【０００５】
即ち、切り出し処理に関しては、現状では確実な処理方法を実現することは困難であり、誤った領域を切り出してしまったりするなど、かえって使用者の手間を増やす結果を招くことが多く、文字領域の切り出しを使用者に指定させる方法も考案されているが、使用者に負担を強いることとなる。さらに、文字を入力するためにわざわざ画像を記録しなければならず、使用者の負担を増やすばかりか、メモリ資源を消費してしまう、といった問題があった。
【０００６】
本発明は上記従来の問題点に鑑み、操作に不慣れな使用者にとって手軽にしかも確実に文字情報を入力することができ、また、使用者が入力したい文字情報に対して、不確かな情報しか持っていない場合にも簡単な操作で確実に入力を行い得る撮影機能付き情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の撮影機能付き情報処理装置によれば、画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備え、前記表示手段に撮影画像をファインダ表示している時に、前記入力手段から文字情報の入力を行うことを特徴とする。
【発明の効果】
【０００８】
以上詳細に説明したように本発明によれば、操作に不慣れな使用者にとって手軽にしかも確実に文字情報を入力することが可能になる。特に、使用者が入力したい文字情報に対して、不確かな情報しか持っていない場合にも簡単な操作で確実に入力を行うことができる。さらに、文字情報の入力のためだけに画像を記録する必要がないので、メモリ資源の節約が可能である。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１０】
〔第１実施形態〕
図１は、本発明の第１実施形態に係る情報処理装置のハード構成を示すブロック図である。
【００１１】
１０１はＣＣＤなどの画像取り込み部であり、１０２は、画像取り込み部１０１より取り込んだ画像を処理する画像処理部であり、１０３は装置全体の制御を行うＣＰＵである。１０４はプログラムなどを記憶しておくメモリであり、ここでは辞書処理アプリケーション１１０と文字認識処理アプリケーション１１５とが記憶されている。１０５は入力用ペン（不図示）を用いて入力が可能な入力部であり、表示部１０７と一体化して構成されている。
【００１２】
１０６は、入力部１０５より送られる入力データを処理する入力制御部である。また、１０７は画像やメニューなどを表示する表示部であり、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）などが使用される。１０８は表示部１０７に表示するデータを制御する表示制御部であり、１０９は表示部１０７へ出力する表示データを記憶しておく表示用メモリである。そして、１１１は各種Ｉ／Ｏを制御するＩ／Ｏ制御部であり、１１２は機能スイッチ、１１３はシャッタスイッチ、１１４は電源スイッチである。
【００１３】
図２は、本実施形態における全体的な動作を示すフローチャートである。
【００１４】
今、使用者が街中を歩いていて見つけたある単語の意味を知りたいとする。すると、使用者は、機能スイッチ１１２を操作して装置を撮影モードに移行させ、その単語をファインダ表示すべく画像取り込み部１０１を単語に向ける（ステップＳ２０１）。その結果、画像取り込み部１０１が捕らえた画像データはリアルタイムで画像処理部１０２に送られる。
【００１５】
画像処理部１０２では、送られた画像データを表示部１０７で表示できる形式に変換して表示制御部１０８へ送る。表示制御部１０８では、送られた画像データを表示用メモリ１０９へ送ると共に、該表示用メモリ１０９から表示データを読み出して表示部１０７へ送信することにより、画像がリアルタイムで表示される。即ち、いわゆるファインダ表示処理がなされる（ステップＳ２０２）。
【００１６】
ここで、表示部１０７と一体化された入力部１０５に対して、使用者は入力用ペン（不図示）を用いて、知りたい単語の画像をなぞる。このとき、最初に入力用ペンが入力部１０５に接触すると（ステップＳ２０３）、ＣＰＵ１０３は、画像処理部１０２へ指令を出して画像取り込み部１０１による取り込みを停止する。
【００１７】
これに従って、表示制御部１０８も表示データを更新しなくなり、表示部１０７には静止画像が表示される（ステップＳ２０４）。それと共に、ＣＰＵ１０３は表示制御部１０８に指令を出し、図３に示すように表示部１０７に認識開始のアイコン３０１を表示させる（ステップＳ２０５）。なお、図３は、表示画面の表示例を示す図である。
【００１８】
引き続き使用者は、入力部１０５にて文字をなぞることにより入力を行う。そして、入力を完了すると、認識開始アイコン３０１をタップする（ステップＳ２０６）。すると、入力処理部１０６にて処理された入力データは文字認識アプリケーション１１５へ送られる。文字認識アプリケーション１１５では、送られたデータから文字認識処理を行う（ステップＳ２０７）。該文字認識処理については後述する。
【００１９】
文字認識処理が完了すると、認識結果データは辞書処理アプリケーション１１０に渡される。辞書処理アプリケーション１１０では、該認識結果データから辞書引きを行う（ステップＳ２０８）。その結果は、表示制御部１０８を通して表示用メモリ１０９へ書き込まれ、表示部１０７へ表示される（ステップＳ２０９）。
【００２０】
図４に、辞書引き結果の画面表示例を示す。同図に示すように、入力された文字の近傍にポップアップウインドウの形式で結果が表示される。ここでは「液晶」が入力されている。図４上の「終了」ボタン４０２をクリックすると、通常のファインダ画面に戻り、「撮影」ボタン４０３をクリックすると画像は記録メディアに記憶される。
【００２１】
次に、図５のフローチャートを用いて、本実施形態の文字認識処理について詳述する。
【００２２】
まず、入力部１０５から一群の座標値として入力値が送られてくる。すると、ステップＳ５０１では、該座標値群から文字切り処理を行い、一文字単位に分割する。次のステップＳ５０２では、分割された文字毎にストローク順（書き順）抽出処理が行われ、さらにステップＳ５０３にて正規化処理が行われる。
【００２３】
そして、ステップＳ５０４において、一文字毎に書き順辞書５０７の参照、画数辞書５０８の参照、及び文字辞書５０９の参照が行われ、点数付けがなされ、ステップＳ５０５では、該点数の高いものからいくつかを候補文字として表示する。最後にステップＳ５０６において、該候補文字の中から所望の文字を選択する文字確定処理が行われ、文字認識処理は完了する。
【００２４】
図２に戻り、ステップＳ２０２でファインダ表示をしているときに、ペン入力ではなくシャッタスイッチ１１３が操作された場合、即ち通常の撮影動作が行われた場合の処理について以下に述べる。
【００２５】
ステップＳ２１０にてシャッタスイッチ１１３が半押し操作された場合、ステップＳ２１１へ進んで、オートフォーカス処理を行う。また、ステップＳ２１２にてシャッタスイッチ１１３の押下操作がなされた場合は、ステップＳ２１３へ進んで画像の取り込み処理を行う。
【００２６】
このように本実施形態によれば、ファインダ表示がなされる表示部１０７と一体化されたペン入力可能な入力部１０５を備え、ファインダ表示された画像中の文字を使用者がペンでなぞりながら文字入力を行い、該入力結果を用いて文字認識を行うようにした。このようにファインダ画面上で文字をなぞるだけで文字入力を行えることから、使用者は簡単な操作で確実に文字の入力を行うことができ、入力した単語の意味も知ることが可能になる。また、実際に画像を撮影・記録することなく処理が行えるため、無駄な画像を記録することがなくメモリ資源の節約ができ、処理の高速化も図れる。
【００２７】
〔第２実施形態〕
上記第１実施形態の文字認識処理は、書き順を考慮したアルゴリズムとなっていたが、使用者はその書き順さえ不確かか、或いは全く分からない場合が想定される。本実施形態では、その場合でも誤認識を防げるように文字認識処理のアルゴリズムを通常と異なるものにした例について述べる。
【００２８】
なお、前述の第１実施形態と異なる点は文字認識処理のみであり、ハード構成は図１に示すものと同様であり、また全体的な処理フローも図２に示したものと同じであるため、これらの説明は省略する。
【００２９】
図６は、本発明の第２実施形態に係る文字認識処理の動作を示すフローチャートである。
【００３０】
入力部１０５より入力値が送られてくると、ステップＳ５０１にて文字切り処理を行う。次のステップＳ６０１では、該文字切り処理の要求がファインダモード中においてなされたか否かを判定し、ファインダモード中での要求の場合は、ステップＳ５０２の書き順抽出処理を行わずに、ステップＳ５０３に進んで、一文字毎に正規化処理を施す。さらにステップＳ６０２に進んで、文字認識処理を行う。このとき参照する辞書は画数辞書５０８と文字辞書５０９である。
【００３１】
そして、ステップＳ５０５にて点数の高い候補文字を表示し、最後にステップＳ５０６において、候補文字の中から所望の文字を選択・確定し処理を終了する。
【００３２】
本実施形態によれば、ファインダモードから文字認識モードに移行した場合には、自動的に書き順を考慮しない文字認識処理に移行するため、誤認識をする確率を低減することができる。さらに、書き順抽出処理及び書き順辞書の参照に係わる処理を省くことが可能なため、文字認識の高速化本を図ることができる。
【００３３】
〔第３実施形態〕
前述した第１及び第２実施形態では、辞書は単一種類のもの、例えば日本語辞書を想定していたが、海外での使用を考えると、撮影した文字が日本語でない場合も当然考えられる。その場合には該当する言語の辞書も備える必要が生ずる。しかし、たとえ辞書を備えたとしても入力された言語が確定できないまま辞書引きをしたのでは、求める結果を得ることは困難である。本実施形態では、ＧＰＳ装置を備えて予め国別情報を入力可能な例について述べる。
【００３４】
図７は、本発明の第３実施形態に係る情報処理装置のハード構成を示すブロック図であり、図１と共通の要素には同一の符合を付し、その説明を省略する。
【００３５】
図中の７０１はＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報を取得するＧＰＳ入力部であり、７０２は、メモリ１０４上に記憶されているＧＰＳ情報と国情報を対応付けたデータベースである。その他の構成要素は、図１に示したものと同じである。
【００３６】
以下、本実施形態の動作について詳述する。
【００３７】
なお、前述した各実施形態と異なる点は文字認識処理のみであり、全体的な処理フローは図２に示したものと同じであるため、ここでは説明を省略する。
【００３８】
図８は、本実施形態における文字認識処理の動作を示すフローチャートである。
【００３９】
入力部１０５より入力値が送られてくると、ステップＳ５０１にて文字切り処理を行う。次のステップＳ８０１では、該文字切り処理の要求がファインダモード中においてなされたか否かを判定する。ファインダモード中での要求だった場合はステップＳ８０２に進んで、ＧＰＳ入力部７０１がＧＰＳ情報を取得する。そして、取得した情報はメモリ１０４上のＧＰＳデータベース７０２へ送られ、該取得情報から現在の国情報が導き出される。
【００４０】
続くステップＳ８０３では、該国情報を基に、辞書アプリケーション１１０において使用する辞書を該当する国のものに切り替える。図９は、本実施形態におけるファインダ画面の表示例を示し、図中の９０１は国情報及び使用辞書情報表示エリアである。図１０には、図９において「ＡＲＲＩＶＥＥ」を入力した場合の辞書検索結果の表示例が示されている。
【００４１】
このように本実施形態によれば、使用者が現在何の言語圏にいるかを自動的に判断して辞書を切り替えるため、使用者は快適な使用感を得ることが可能となる。特に海外で使用する場合においては、使用者が学習したことのない言語の文字を入力したい場合が考えられる。その場合には該文字を見ながら入力することは非常に困難を伴うが、本実施形態のように、ファインダ画面を通してペンを持ってなぞりながらの入力であれば簡単にかつ確実に入力を行うことが可能である。
【００４２】
なお、上述した図２、図５、図６、及び図８のフローチャートに従ったプログラムをメモリ１０４に格納し動作することにより、上述の制御方法を実現させることが可能となる。
【００４３】
本発明は、上述した実施形態の装置に限定されず、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用してもよい。前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体をシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、完成されることは言うまでもない。
【００４４】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭを用いることができる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４５】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、次のプログラムコードの指示に基づき、その拡張機能を拡張ボードや拡張ユニットに備わるＣＰＵなどが処理を行って実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４６】
［実施態様］
本発明の実施態様の例を以下に列挙する。
【００４７】
＜実施態様１＞  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備え、前記表示手段に撮影画像をファインダ表示している時に、前記入力手段から文字情報の入力を行うことを特徴とする撮影機能付き情報処理装置。
【００４８】
＜実施態様２＞  前記入力手段からの文字情報の入力時には、前記表示手段において静止画像をファインダ表示することを特徴とする実施態様１に記載の撮影機能付き情報処理装置。
【００４９】
＜実施態様３＞  前記入力手段からの文字情報の入力は、ペンタッチ入力方式を用いたことを特徴とする実施態様２に記載の撮影機能付き情報処理装置。
【００５０】
＜実施態様４＞  前記入力手段による文字情報入力完了時に、該文字情報の文字認識処理を行うための文字認識アプリケーションを起動することを特徴とする実施態様１乃至３のいずかに記載の撮影機能付き情報処理装置。
【００５１】
＜実施態様５＞  前記文字認識アプリケーションにおける文字認識処理の完了時に、該文字認識処理の結果データを用いた辞書検索処理を行うための辞書検索アプリケーションを起動することを特徴とする実施態様４に記載の撮影機能付き情報処理装置。
【００５２】
＜実施態様６＞  ＧＰＳデータを取得する手段を備え、前記辞書検索アプリケーション起動時に使用する辞書を前記ＧＰＳデータに基づいて選択することを特徴とする実施態様５に記載の撮影機能付き情報処理装置。
【００５３】
＜実施態様７＞  前記辞書検索アプリケーションにおける辞書検索処理の完了時に、前記ファインダ表示している画像上に該辞書検索処理の検索結果をポップアップ表示することを特徴とする実施態様５または６に記載の撮影機能付き情報処理装置。
【００５４】
＜実施態様８＞  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段と、前記入力手段から入力された文字を認識する文字認識手段とを備え、前記文字認識手段は、前記表示手段にファインダ表示中に入力された文字の認識を行う場合と、それ以外の状況において入力された文字の認識を行う場合とで、異なる認識処理アルゴリズムを用いることを特徴とする撮影機能付き情報処理装置。
【００５５】
＜実施態様９＞  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備えた情報処理装置の制御方法であって、前記表示手段に撮影画像をファインダ表示している時に、前記入力手段から文字情報の入力を行うことを特徴とする情報処理装置の制御方法。
【００５６】
＜実施態様１０＞  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備え、前記入力手段から入力された文字を認識する情報処理装置の制御方法であって、前記表示手段にファインダ表示中に入力された文字の認識を行う場合と、それ以外の状況において入力された文字の認識を行う場合とで、異なる認識処理アルゴリズムを用い、前記入力手段から入力された文字を認識することを特徴とする情報処理装置の制御方法。
【００５７】
＜実施態様１１＞  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備えた情報処理装置の制御方法を実行するための制御プログラムを提供する媒体であって、前記制御プログラムは、前記表示手段に撮影画像をファインダ表示している時に、前記入力手段から文字情報の入力を行うステップを有することを特徴とする制御プログラムを提供する媒体。
【００５８】
＜実施態様１２＞  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備え、前記入力手段から入力された文字を認識する情報処理装置の制御方法を実行するための制御プログラムを提供する媒体であって、前記制御プログラムは、前記表示手段にファインダ表示中に入力された文字の認識を行う場合と、それ以外の状況において入力された文字の認識を行う場合とで、異なる認識処理アルゴリズムを用い、前記入力手段から入力された文字を認識するステップを有することを特徴とする制御プログラムを提供する媒体。
【００５９】
＜実施態様１３＞  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備えた情報処理装置の制御方法を実行するための制御プログラムであって、前記表示手段に撮影画像をファインダ表示している時に、前記入力手段から文字情報の入力を行うステップを有することを特徴とする制御プログラム。
【００６０】
＜実施態様１４＞  画像を撮影する画像撮影手段と、前記画像撮影手段で撮影した画像をファインダ表示する表示手段と、前記表示手段と一体化された入力手段とを備え、前記入力手段から入力された文字を認識する情報処理装置の制御方法を実行するための制御プログラムであって、前記表示手段にファインダ表示中に入力された文字の認識を行う場合と、それ以外の状況において入力された文字の認識を行う場合とで、異なる認識処理アルゴリズムを用い、前記入力手段から入力された文字を認識するステップを有することを特徴とする制御プログラム。
【図面の簡単な説明】
【００６１】
【図１】本発明の第１実施形態に係る情報処理装置のハード構成を示すブロック図である。
【図２】第１実施形態における全体的な動作を示すフローチャートである。
【図３】表示画面の表示例を示す図である。
【図４】辞書引き結果の画面表示例を示す図である。
【図５】第１実施形態の文字認識処理を示すフローチャートである。
【図６】本発明の第２実施形態に係る文字認識処理の動作を示すフローチャートである。
【図７】本発明の第３実施形態に係る情報処理装置のハード構成を示すブロック図である。
【図８】本発明の第３実施形態に係る文字認識処理の動作を示すフローチャートである。
【図９】第３実施形態におけるファインダ画面の表示例を示す図である。
【図１０】図９のファインダ画像より辞書検索を実行した場合の表示例を示した図である。
【符号の説明】
【００６２】
１０１  画像取り込み部
１０２  画像処理部
１０３  ＣＰＵ
１０４  メモリ
１０５  入力部
１０７  表示部
１０９  表示用メモリ
１１０  辞書処理アプリケーション
１１５  文字認識処理アプリケーション
【図１】
2005109981.tif 000003
【図２】
2005109981.tif 000004
【図３】
2005109981.tif 000005
【図４】
2005109981.tif 000006
【図５】
2005109981.tif 000007
【図６】
2005109981.tif 000008
【図７】
2005109981.tif 000009
【図８】
2005109981.tif 000010
【図９】
2005109981.tif 000011
【図１０】
2005109981.tif 000012