(57)【要約】【課題】画像情報を撮像する際の使い勝手、例えば、シャッター音の取り扱いや文字認識などを行う際の表示処理に関しての検討は不十分であり、使い勝手が悪いといった問題があった。【解決手段】上記課題を解決するために、例えば、画像情報を撮像する撮像部を用いて文字認識を行う認識モードである場合にシャッターが押されたときはシャッター音を消去するとともに認識対象である文字情報以外の画像部分を撮像前とは異なる表示画面にし、一方、認識モードでない場合にシャッターが押されたときはシャッター音を出力するようにすればよい。【選択図】  図１
2005033346.tif 000002
【特許請求の範囲】
【請求項１】
画像情報を出力する撮像部と、
通知音を出力する通知音出力部と、
該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、
該撮像部による出力された画像情報に含まれる識別情報を該認識部により認識するモードを選択する選択部と、
所定の操作がなされた場合に該選択部により該認識するモードが選択されなかったときに該通知音出力部により第１の出力レベルで通知音を出力し、該選択部により該認識するモードが選択されたときに該通知音出力部による出力を停止あるいは該通知音出力部により該第１の出力レベルより低い第２の出力レベルで出力し、該認識部により該識別情報が認識された場合に該撮像部により出力された画像情報のうち該認識部により認識された識別情報以外の領域に該撮像部により出力された画像情報とは異なる画像を表示するように制御する制御部を備えることを特徴とする情報処理装置。
【請求項２】
請求項１記載の情報処理装置において、
前記識別情報が、文字もしくは記号であることを特徴とする情報処理装置。
【請求項３】
請求項１記載の情報処理装置において、
前記認識部により認識された該識別情報以外の領域に表示するための画像を記憶する記憶部を備えることを特徴とする情報処理装置。
【請求項４】
請求項１記載の情報処理装置において、
前記異なる画像が黒色で塗りつぶされた画像であることを特徴とする情報処理装置。
【請求項５】
請求項１記載の情報処理装置において、
前記記憶部は、前記識別情報の種類と前記識別情報以外の領域に表示するための画像とを対応付けて記憶してあり、
前記制御部は、前記認識部により識別情報を認識する場合に該識別情報の種類に応じて該記憶部により記憶された画像を前記表示部に表示することを特徴とする情報処理装置。
【請求項６】
請求項１乃至５いずれかに記載の情報処理装置において、
前記制御部は、前記認識部により識別情報を認識する場合に前記表示部の該識別情報以外の領域に前記記憶部により記憶された画像をランダムに表示するように制御することを特徴とする情報処理装置。
【請求項７】
請求項１記載の情報処理装置において、
前記制御部は、前記認識部により前記識別情報を認識した後に前記認識部により認識された識別情報の位置を移動させるように制御することを特徴とする情報処理装置。
【請求項８】
請求項７記載の情報処理装置において、
前記認識部により認識される識別情報の位置に関する情報を記憶する認識画像位置情報記憶部を備えることを特徴とする情報処理装置。
【請求項９】
請求項７記載の情報処理装置において、
前記制御部は、前記認識部により認識された識別情報と該識別情報以外の領域との位置の相対関係をほぼ同じになるように該識別情報の位置を移動させることを特徴とする情報処理装置。
【請求項１０】
請求項７記載の情報処理装置において、
前記制御部は、前記認識画像位置情報記憶部により記憶された位置に関する情報に基づいて前記認識部により認識された識別情報を前記表示部に表示された画像情報の上部、下部、左部もしくは右部に移動させるように制御させることを特徴とする情報処理装置。
【請求項１１】
請求項７記載の情報処理装置において、
前記制御部は、前記認識部により認識された識別情報を移動させる前と移動が終了した場合は少なくとも表示し、かつ、移動させる前から移動が終了するまでに少なくとも一度は表示させることを特徴とする情報処理装置。
【請求項１２】
請求項７記載において、
前記制御部は、前記撮像部により変換された画像情報のうちで前記認識部により認識される識別情報がなかった場合は、前記撮像部により出力された画像情報を別の画像情報に変換して表示することを特徴とする情報処理装置。
【請求項１３】
画像情報を取得するカメラと、
該カメラにより取得された画像情報を表示する表示部と、
該カメラによる撮像の指示を行うシャッターと、
該シャッターの通知音を出力するシャッター音出力部と、
該カメラにより撮像された画像情報に含まれる文字情報を認識する文字認識部部と、
該文字認識部により該文字情報を認識する場合に該シャッター音出力部により出力される該シャッター音の出力を停止し、かつ、該表示部に表示された画像情報のうち該認識部により認識された該識別情報以外の領域に該カメラにより取得された画像情報とは異なる画像を表示するように制御する制御部を備えることを特徴とする情報処理装置。
【請求項１４】
画像情報を出力する撮像部と、
該撮像部により出力された画像情報を表示する表示部と、
該画像情報に含まれる単語情報を認識する画像認識部と、
該画像認識部により認識対象にされた該単語情報の領域を取得する認識対象領域取得部と、
該認識対象領域取得部により取得された該単語情報の領域以外に表示された画像を該撮像部により撮像された画像とは異なる画像に変換するとともに該単語情報位置を移動させるように制御する制御部を備えることを特徴とする情報処理装置。
【請求項１５】
画像情報を出力する撮像部と、
該撮像部により出力された該画像情報を表示する表示部と、
該撮像部による撮像の指示をする撮像指示部と、
通知音を出力する通知音出力部と、
該撮像部により出力された情報に含まれる文字情報を認識する画像認識部と、
該撮像部により出力された画像情報の中から該文字情報を認識する認識モードを設定する認識モード設定部と、
該認識モード設定部により該認識モードが選択された場合に該撮像指示部により該撮像部による撮像の指示がされるとき該通知音出力部により該通知音を停止するとともに該画像認識部により認識された該文字情報から第１の表示領域を指定し、該第１の表示領域と該第１の表示領域以外にある第２の表示領域とを区別できるように表示するとともに該第２の表示領域には該第２の表示領域に表示されていた画像とは異なる画像を表示し、かつ該文字情報の位置を移動させるように制御する制御部を備えることを特徴とする情報処理装置
【請求項１６】
画像情報を出力する撮像ステップと、
通知音を出力する通知音出力ステップと、
該撮像ステップにより出力された画像情報に含まれる識別情報を認識する画像認識ステップと、
該撮像ステップによる出力された画像情報に含まれる識別情報を該認識ステップにより認識するモードを選択する選択ステップと、
該選択ステップにより該認識するモードが選択されなかった場合に該通知音出力ステップにより第１の出力レベルで通知音を出力し、一方、該選択ステップにより該認識するモードが選択された場合に該通知音出力ステップによる出力を停止あるいは該通知音出力ステップにより該第１の出力レベルより低い第２の出力レベルで出力し、該認識するモードであって該画像認識ステップにより該識別情報が認識された場合に該撮像ステップにより出力された画像情報のうち該認識ステップにより認識された識別情報以外の領域に該撮像ステップにより出力された画像情報とは異なる画像を表示するように制御する制御ステップを備えることを特徴とする情報処理方法。
【請求項１７】
請求項１６記載の情報処理方法において、
前記制御ステップは、前記画像認識ステップにより認識する場合に前記画像認識ステップにより認識された識別情報の表示される位置を移動させるステップとを含むことを特徴とする情報処理装置。
【請求項１８】
画像情報を出力する撮像ステップと、
該撮像ステップにより出力された画像情報を表示する表示ステップと、
該画像情報に含まれる単語情報を認識する画像認識ステップと、
該画像認識ステップにより認識対象にされた該単語情報の領域を取得する認識対象領域取得ステップと、
該認識対象領域取得ステップにより取得された該単語情報の領域以外に表示された画像を該撮像ステップにより撮像された画像とは異なる画像に変換するとともに該単語情報位置を移動させるように制御する制御ステップとを備えることを特徴とする情報処理方法。
【請求項１９】
撮像部と、通知音出力部と、表示部と、認識部と、制御部とを有する情報処理装置に実行させるソフトウェアにおいて、
該撮像部により出力された画像情報に含まれる識別情報を該認識部により認識させるモードを選択させ、該認識させるモードが選択されなかった場合に該通知音出力部により第１の出力レベルで通知音を出力し、一方、該認識するモードが選択された場合に該通知音出力部による出力を停止あるいは該通知音出力部により該第１の出力レベルより低い第２の出力レベルで出力し、該認識するモードであって該認識部により識別情報が認識された場合に該撮像部により出力された画像情報のうち該認識部により認識された識別情報以外の領域に該撮像部により出力された画像情報とは異なる画像を該表示部に表示させるように該制御部に実行させることを特徴とするソフトウェア。
【請求項２０】
画像情報を出力する撮像部と、
通知音を出力する通知音出力部と、
該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、
該撮像部により出力された画像情報を撮像する指示を行う撮像指示部と、
該撮像指示部により撮像の指示が行なわれた場合に該通知音出力部により通知音を出力する第１のモードと該撮像指示部により撮像の指示が行なわれた場合に該通知音出力部により通知音を出力しない第２のモードとを選択するモード選択部と、
該モード選択部により該第２のモードが選択された場合に該撮像部により出力された画像情報のうち該認識部により認識された識別情報以外の領域に該撮像部により出力された画像情報とは異なる画像を表示するように制御する制御部を備えることを特徴とする情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）やＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の情報処理装置、情報処理方法及び情報処理装置で扱われるソフトウェアに関するものである。
【０００２】
【従来の技術】
特開２００２−２５２６９１号広報には、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）機能により、撮像した画像情報に含まれる文字を文字情報に変換し、印刷物に掲載された住所や名前、電話番号、ＵＲＬ（Ｕｎｉｆｏｒｍ  Ｒｅｓｏｕｒｃｅ  Ｌｏｃａｔｏｒ）などを入力できる携帯電話が提案されている。
【０００３】
【特許文献１】
特開２００２−２５２６９１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記特許文献１では、画像情報を撮像する際の使い勝手、例えば、シャッター音の取り扱いや文字認識などを行う際の表示処理に関しての検討は不十分であった。そのため、ユーザが実際に携帯電話等で文字認識などを行う際の使い勝手が悪いといった問題があった。
【０００５】
そこで、本発明は、上記課題を克服すべく、使い勝手の良い情報処理装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、例えば、請求項１記載の如く、画像情報を出力する撮像部と、通知音を出力する通知音出力部と、該撮像部により出力された画像情報に含まれる識別情報を認識する認識部と、該撮像部による出力された画像情報に含まれる識別情報を該認識部により認識するモードを選択する選択部と、該選択部により該認識するモードが選択されなかった場合に該通知音出力部により第１の出力レベルで通知音を出力し、該選択部により該認識するモードが選択された場合に該通知音出力部による出力を停止あるいは該通知音出力部により該第１の出力レベルより低い第２の出力レベルで出力し、該認識部により該識別情報が認識された場合に該撮像部により出力された画像情報のうち該認識部により認識された識別情報以外の領域に該撮像部により出力された画像情報とは異なる画像を表示するように制御する制御部を備えればよい。
【０００７】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を用いて説明する。なお、以下の図面において、同一の構成部については同符号を用いる。
【０００８】
図１は、本実施例（第１の実施例）に係る携帯電話の構成ブロック図である。携帯電話１００は、入力部１０１、ＣＰＵ１０２、撮像部１０３、記憶部１０４、画像認識部１０５、スピーカ１０６、表示部１０７、モード判定フラグ１０８などを含んだものとして構成される。入力部１０１は、電話番号その他の情報を入力する入力部であり、携帯電話の電源をＯＮ／ＯＦＦするとき、後述する撮像モードで対象物を撮像するときなど、ユーザが携帯電話に入力を与える際に使用するものである。ＣＰＵ１０２は、記憶部１０４に記憶されたプログラムに基づいて動作し、例えば、入力部１０１からの入力に応じて各部を制御するものである。
撮像部１０３は、例えば、カメラなどで構成されたものであり、被写体である人の顔や、景色、文字などをＣＰＵ１０２で扱える画像情報に変換し、変換された画像情報は必要に応じて表示部１０７等に出力する。ユーザは、表示部１０７に出力された画像情報をモニタしながら撮像したい画像を選んでシャッター等により撮像の指示を行う。シャッターが押下されれば、撮像された画像情報は記憶部１０４に記憶される。
【０００９】
また、記憶部１０４は、携帯電話１００で扱うデータやソフトウェアなども記憶する。画像認識部１０５は、画像情報に含まれる文字や記号等の識別情報を認識する。ここで、識別情報とは、文字、記号等で表された情報であり、例えば、ホームページのアドレス、メールアドレス、住所、電話番号、地図情報あるいは英語の単語等のように文字や記号等で表現されたものであり、事物を識別できる情報であれば上記例以外のものでも構わない。
【００１０】
また、ここで、認識とは、撮像部１０３により撮像された画像情報に含まれる識別情報を抽出し、その識別情報を所定の領域ごとに分割し、分割された領域を所定のパラメータ値に変換し、そのパラメータ値に基づいて分割された領域がどのような情報であるかを決定することをいう。より具体的にいえば、例えば、画像情報内の「ａｂｃ」という文字を「認識」する場合を考えると、まず、「ａｂｃ」が画像情報内のどの位置の情報であるかを特定し、次に、「ａ」「ｂ」「ｃ」に分割し、「ａ」を所定のパラメータ値（例えば、文字の白色部分を「０」、黒色部分を「１」として表現された値）に変換する。そして、変換されたパラメータ値に最も類似したパラメータ値と対応付けされた文字を文字パターンデータ表より選び出す。文字パターンデータ表とは、パラメータ値とそのパラメータ値に対応したアルファベット等の文字とが記述されている表であり、予め記憶されているものである。
【００１１】
また、なお、画像認識部１０５はＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅｃｏｇｎｉｔｉｏｎ）機能を備えており、ＯＣＲ機能を実現する具体的な構成は、例えば、特許文献１に記されている。スピーカ１０６は、シャッター音や電話着信音などの音を出力する。なお、スピーカ１０６は、通話音声用とＭＰ３ファイルや着信メロディ等の再生用とそれぞれ別に設けるようにしても構わないし、モノラルだけでなくステレオで再生するようにしても構わない。
【００１２】
表示部１０７は、撮像部１０３により撮像された画像や画像認識部１０５により認識された識別情報を表示する。その他、表示部１０７に、例えば、電源状態、電波強度、電池残量、サーバ接続状態、未読メール等の動作状態、入力した電話番号、メール宛先、メール送信文書等や、動画および静止画、着信時の発呼者の電話番号、着信メール文書、接続されたインターネット画面等の受信データの表示、また、携帯電話の機能を利用するために必要な画面を表示する。
【００１３】
モード判定フラグ１０８は、ＣＰＵ１０２が撮像モードを判定するために使用するフラグである。以下、実施例では、撮像モードは、画像認識のために画像を撮像する場合の「認識モード」と、画像を保存するために撮像する場合の「通常撮像モード」との２種類を有する場合を考えるが、これに限定されるものではない。モード判定フラグ１０８は、例えば、記憶部１０４に記憶されたソフトウェアのプログラム中に存在する変数で、認識モードの場合と通常撮像モードとでは異なる値になるようにし、ＣＰＵ１０２はこの変数に基づいて認識モードと通常撮像モードとを切り換える。
【００１４】
次に、図２のフローチャートを用いて、本実施形態の携帯電話が、通常撮像モードの場合にはシャッター音を鳴らした後に撮像し、認識モードの場合にはシャッター音を鳴らさずに撮像して画像認識する処理手順を説明する。
【００１５】
まず、入力部１０１のうち撮像部１０３に撮像するように指示を出すスイッチ（以下、これをシャッターボタンと呼ぶ）を押下する（ステップＳ２０１）。次に、ステップＳ２０２では、撮像モードが認識モードか通常撮像モードかを判定する。判定方法としては、ＣＰＵ１０２がモード判定フラグ１０８の値を読み取り、予め定められた値に基づいて認識モードあるいは通常撮像モードに切り換える。認識モードと判定された場合はステップＳ２０３に進み、ＣＰＵ１０２が撮像部１０３に撮像するように指示を出す。この際、ＣＰＵ１０２によりシャッター音は出力されないように制御される。撮像部１０３により撮像（変換）された被写体である対象物の画像情報を記憶部１０４に保存する。
【００１６】
次に、画像認識部１０５によって記憶部１０４に保存された画像情報に含まれる識別情報、例えば、名刺に記載された「ｙａｍａｚａｋｉ＠・・ｙｏｋｏｈａｍａ．ｎｅ．ｊｐ」などのメールアドレス情報を読み取って、認識結果を記憶部１０４に保存する（ステップＳ２０４）。この結果をＣＰＵ１０２が表示部１０７に指示を出して、表示部１０７に表示する（ステップＳ２０５）。なお、ここで、上記メールアドレス情報を認識する手段として、例えば、表示部１０７の中心に表示された「＋」マークを識別情報である「ｙａｍａｚａｋｉ＠・・ｙｏｋｏｈａｍａ．ｎｅ．ｊｐ」の上に持っていけば、「＠」の周辺の情報はメールアドレス情報であると識別し、自動的に「ｙａｍａｚａｋｉ＠・・ｙｏｋｏｈａｍａ．ｎｅ．ｊｐ」の部分を識別情報として認識する。また、ユーザが入力部１０４を利用して、例えば、上記メールアドレス情報等の認識部分をカーソル等で指定できるようにしても構わない。また、動画の場合は、動画を静止画でコマ送りできるように設定しておき、そのコマ送り画面で認識対象部を選択できるようにしても構わない。また、認識対象を認識する方法として、例えば、仮決定と本決定の２段階に分けて認識対象を特定するようにしても構わない。このように、２段階に分けて認識対象を決定するようにすれば、仮決定された文字等がユーザの意図していない文字等であった場合でも、未だ正式には決定されてはいないので最初から認識し直すことなく簡単に認識の再試行を行うことができる。
【００１７】
ステップＳ２０２において、撮像モードが認識モードではなかった場合、すなわち、通常撮像モードであった場合は、ステップＳ２０６に進む。ステップＳ２０６ではＣＰＵ１０２がシャッター音を鳴らすようにスピーカ１０６に指示を出し、スピーカ１０６がシャッター音を出力する。その後、ＣＰＵ１０２が撮像部１０３に撮像するように指示を出して撮像部１０３が撮像対象物を撮像し（ステップＳ２０７）、撮像した画像情報を記憶部１０４に記憶する（ステップＳ２０８）。
【００１８】
以上により、文字認識を目的として撮像する場合にはシャッター音は鳴らさないようにできるため、文字認識機能を頻繁に利用しても利用者や周囲の人に不快な思いをさせずに済むというメリットがある。
なお、上記例においては、シャッター音を鳴らさないように制御したが、シャッター音の出力レベル（音量）を小さくするように制御しても構わない。この場合、認識モードであると判定したＣＰＵ１０２は、記憶部１０４に予め記憶されたシャッター音の出力レベル、例えば、最低レベルでスピーカ１０６を介してシャッター音を出力するように制御する。これにより、画像認識する際のシャッター音を小さく抑えることができ、周りへの迷惑防止に貢献できる。なお、例えば、認識モードのときは通常撮像モードのシャッター音出力レベルより低い出力レベルで出力するなど、通常撮像モードのシャッター音の出力レベルに基づいて認識モードにおけるシャッター音の出力レベルを設定するようにしても構わない。
【００１９】
図３は、本実施形態の携帯電話で、撮像モードを通常撮像モードから認識モードに変更する操作と（画面３０１〜３０３）、認識モードのときにＵＲＬやメールアドレスなどを撮像して文字認識し、文字認識結果を表示部１０７に表示する操作（画面３０４〜３０６）の表示画面例を表している。
画面３０１は、携帯電話が撮像部１０３による撮像を行える状態を表した画面である。待ち受け状態からこの状態にするには、例えば、携帯電話の側面についているスイッチを押下したり、または待ち受け状態からメニュー画面に進みボタンを数回押下するといった操作を行う。画面３０１において、画面右下の「メニュー」に対応したボタンを押下すると、画面３０２に遷移する。画面３０２は、撮像に関するメニューを選択する画面である。この状態で、「▲１▼認識モード」を選択すると画面３０３に遷移する。画面３０３は、撮像モードが認識モードになったことをユーザに知らせる画面である。ここで「確認」に対応したボタンを押下すると画面３０４に遷移する。画面３０４は、携帯電話１００が認識モードで撮像を行える状態を表した画面である。ここで「認識」に対応したボタンを押下すると、シャッター音は鳴らさずに画面３０５に遷移する。画面３０５は、撮像した画像の中でＵＲＬなどの認識可能な部分を画像認識部１０５が検出し、認識処理を行なっていることを表す画面である。認識処理が終了すると、画面３０６に遷移する。画面３０６は、認識結果を表示部１０７に表示した画面である。
【００２０】
上記のような表示画面を表示部１０７に表示させることにより、ユーザは簡易に認識モードを選択し、認識対象であるメールアドレスやＵＲＬ等の識別情報を認識することが出来る。
【００２１】
次に、第２の実施例について説明する。上記第１の実施例は、認識モードにおいては、シャッター音を消去もしくはシャッター音の音量を低減するように制御させる例であるが、これだと、シャッター音なしに画像が撮像できるため、盗撮等に悪用される危険がある。本実施例は、この点に留意してなされた実施例である。
【００２２】
本実施例に係る携帯電話の構成は、画像編集部が付け加わった構成をとる。画像編集部は、記憶部１０４に保存されている画像を編集し、元の画像とは異なる画像にする。
【００２３】
図４は、本実施例の携帯電話が、撮像モードが認識モードの場合には、撮像した画像のうち認識対象となる文字以外の部分の画像を編集し、その編集した画像と元の画像のうち認識対象となる文字の部分の画像と、認識結果の文字情報を表示部１０７に表示するまでの処理手順を示すフローチャートである。
【００２４】
まず、ステップＳ４０１でシャッターボタンが押下されると、ＣＰＵ１０２が撮像部１０３に撮像するように指示を出す。撮像部１０３は撮像対象物を画像情報に変換し、当該画像情報はＣＰＵ１０２により記憶部１０４に保存される（ステップＳ４０２）。
【００２５】
次に、ＣＰＵ１０２が画像認識部１０５に指示を出し、画像認識部１０５において画像を認識して、その画像のうち文字認識の対象となる文字の対象領域を決定する（ステップＳ４０３）。対象領域囲は、例えば、画像の左上を原点とし、原点から右方向にＸ０画素、下方向にＹ０画素進んだ位置と、右方向にＸ１画素、下方向にＹ１画素進んだ位置とを対角に持つ長方形の範囲を該対象領域として表す方法がある。
【００２６】
その後、ステップＳ４０３で決定した位置範囲の画像を画像認識部１０５が文字認識して、認識結果を記憶部１０４に保存する（ステップＳ４０４）。また、撮像した画像のうち認識対象となる文字以外の部分の画像を、画像編集部が元の画像とは異なる画像に編集し、編集した画像を記憶部１０４に保存する（ステップＳ４０５）。
【００２７】
次に、画像編集部が編集した画像と、認識対象となった文字の部分の画像を、ＣＰＵ１０２が記憶部１０４から読み取って表示部１０４に表示する（ステップＳ４０６）。最後に、画像認識部１０５が文字認識した結果をＣＰＵ１０２が記憶部１０４から読み取り、表示部１０４に表示する（ステップＳ４０７）。
【００２８】
次に、本実施例の携帯電話の具体的な操作画面例を図５に示す。画面５０１〜５０３は、本実施形態の携帯電話で、名刺のようなＵＲＬなどの文字が印刷された紙を撮像した場合に表示される画面例である。画面５０１は、携帯電話１００において撮像モードが認識モードの場合に、撮像部１０３による撮像を行える状態を表した画面である。画面５０１において、「認識」に対応するボタンを押下すると、画面５０２に遷移する。画面５０２は、撮像した画像の中でＵＲＬなどの認識可能な部分を画像認識部１０５が検出し、認識処理を行っていることを表す画面である。認識処理が終了すると、画面５０３に遷移する。
【００２９】
画面５０３は、撮像した画像のうち認識対象となる文字以外の部分の画像を編集し、その編集した画像と元の画像のうち認識対象となる文字の部分の画像と、認識結果の文字を表示部１０７に表示した画面である。画面５０４〜５０６は、本実施形態の携帯電話で、人物を撮像した場合に表示される画面例である。画面５０４で人物を撮像し、画面５０５では撮像した画像を認識中であることを表している。認識可能な文字等の識別情報がなかった場合、撮像された画像全体を記憶部１０４に記憶された画像、例えば、画面５０６のように黒色で塗りつぶされた画像がＣＰＵ１０２を介して表示部１０７に表示される。なお、認識可能な文字等の識別情報がなかった場合は、上記のように撮像された画像と異なる画像を表示させるように構成する代わりに、スピーカ１０６によりシャッター音を出力するように制御してもかまわない。
以上により、認識モードではシャッター音が出力されない（又は音量が小さい）ことを利用して盗撮したとしても、文字以外の画像は表示されないため、盗撮の意味をなくし、盗撮そのものを防ぐことができる。また、認識可能な文字等の識別情報がなかった場合においても、画像を変換したり、シャッター音を出力するようにすることで盗撮を防止することができ、使い勝手がよい。
【００３０】
また、上記では、認識対象となる文字以外の部分の画像を黒色で塗りつぶして表示したが、赤色や黄色等その他の何色で塗りつぶしてもよい。あるいは、図６に示すように、認識対象となる文字以外の部分の画像を格子模様に変換してもよく、縞模様や水玉模様など、認識対象と区別できる模様なら何でもよい。さらに、認識対象となった文字”Ｒｅｃｏｇｎｉｔｉｏｎ”が視認できれば、モザイクをかけて表示してもよいし、模様や別の画像の一部を表示してもよい。
【００３１】
また、画像編集部において認識対象となる文字の画像部分を拡大または縮小した画像を作成し、その画像を表示してもよい。拡大するには、例えば、１×１画素で表示していたところを２×２画素で表示する。また、認識された文字を拡大させる場合を考えると、元の撮像画像が隠れる効果もあるため、盗撮を防止することにも繋がる。さらに、画像編集部で認識対象となる文字の画像部分を白黒に変換したものやセピア色に変換したもの、または、白黒反転したものを作成しその画像を表示したりしてもよく、画像内でどれが認識対象であるかが明確に分かるように表示すれば、上記例に限定されるものではない。
また、この例では認識結果を文字として表示したが、認識結果を表す絵文字や静止画、動画を表示してもよい。また、スピーカ部と音声合成部を備え付けて、文字の代わりに音で認識結果を表現してもよいし、振動部を備え付けて振動で表現してもよいし、ライトを備え付けて光を出してもよい。文字情報から点字を作成する点字作成部、点字を表示する点字表示部を備え付けて、文字の代わりに点字を出力してもよい。これらを組合すことも考えられる。これにより、文字以外で表現することで、言葉をあまり知らない子供や視力や聴力の弱い人でも使うことができるというメリットがある。また、ここでは認識対象を文字として説明したが、文字以外でも認識可能な記号や画像なら何でもよい。
【００３２】
なお、本実施例では、画像編集部を別途設ける構成をとったが、ＣＰＵ１０２に上記機能を実行させるようにしても構わない。これにより、回路規模が縮小される。
【００３３】
次に、第３の実施例について説明する。本実施例の携帯電話は、撮像した画像のうち認識対象となる文字以外の部分には、文字認識した結果に対応した画像を表示する。
【００３４】
文字認識結果に対応した対応表は、画像認識部１０５が認識した識別情報の種類と、図６の画像部分６０１に表示する画像との関係を表した表である。対応表８０１に書かれた画像ファイルの実体は、記憶部１０４に保存されている。
【００３５】
図７に、対応表の具体例を示す。７０１は認識した文字の種類、７０２は画像部分６０１に表示する画像のファイル名である。文字の種類７０１を識別する方法は、例えば、認識した結果の文字列が“ｈｔｔｐ：”という文字から始まっている場合はＵＲＬと判断したり、認識した結果の文字列の中に“＠”があった場合はメールアドレスと判断する。
【００３６】
図８は、第３の実施例に係る携帯電話で、文字認識をした結果を表示する画面を表している。認識対象となった文字がメールアドレスと判断されたため、画像部分６０１には対応表に定義されているｅ−ｍａｉｌ．ｊｐｇ（画像ファイル８０１）が表示された表示画面例である。
【００３７】
以上により、ユーザは、この画像ファイル８０１を見て、認識対象が何であるか、例えば、メールアドレスを認識したことを直感的に知ることができる。また、メールアドレスとそのメールアドレスを所有する人に関する画像を対応表に登録しておけば、対応表に登録してあるメールアドレスを認識させた場合は、そのメールアドレスの所有者に関する画像が表示部１０７に表示されるようにすれば、ユーザは自分の知っている人のメールアドレスであることがすぐに直感的にわかるため、使い勝手がよい。
【００３８】
次に、第４の実施例について説明する。上記第３の実施例では、撮像した画像のうち認識対象となる文字以外の部分には、文字認識した結果に対応した画像を表示するように構成したが、本実施例では、撮像した画像のうち認識対象となる文字以外の部分にランダムに選択された画像を表示するようにする。
【００３９】
この場合、認識モードにおいて識別情報を認識した後に、ＣＰＵ１０２に認識終了を示す認識終了信号が入力され、認識終了信号を受信したＣＰＵ１０２は、記憶部１０４に記憶された画像をランダムに選択して表示部１０７に表示する（例えば、図６における画像部分６０１）。これにより、認識するたびにどのような画像が表示されるのかわからないので、いつも同じ画像が表示されることによる飽きをなくすことができ、娯楽性が向上する。
また、上記実施例２〜４において、ユーザが画像作成ソフト等で作成した自作画像やインターネットからダウンロードしてきた画像等を、認識対象となる文字以外の部分に表示する画像情報として表示、あるいは選択できるようにしても構わない。
この場合、ユーザ自らが画像作成ソフト等で作成した画像やインターネットからダウンロードしてきた画像等を、他の機器と情報のやり取りを行う通信部（図示せず）や記録媒体と情報のやり取りを行う記録媒体入力部（図示せず）等を介して記憶部１０４に記憶し、当該画像情報を選択させる画面を表示部１０７に表示させ、該選択画面を介して認識文字以外の部分に表示する画像を選択できるようにする。そして、識別情報を認識する際に、ＣＰＵ１０２は、当該選択画面を介して選択された画像を認識文字以外の領域に表示するように制御する。これにより、表示する画像情報のバリエーションが増え、ユーザの使い勝手を向上することが出来る。
【００４０】
次に、第５の実施例について説明する。上記第２〜４の実施例では、撮像した画像のうち認識対象となる文字以外の部分にどのような画像を表示するかを検討した実施例であるが、本実施例は、撮像した画像のうち認識対象となる文字をモニター中に表示部１０７に表示していた位置とは異なる位置に表示する実施例である。
【００４１】
認識対象となる文字の画像部分は、モニター中に表示されている位置と同じ位置に表示することが好ましいが、認識結果に関する情報を表示する際に邪魔になることがある。例えば、文字認識機能を利用して英単語を認識したときには認識結果とその和訳を表示する場合、和訳の情報量が多くて一行や二行では表示できないことがある。
【００４２】
このような場合、撮像した画像を表示する位置を、例えば、表示部１０７の上部、下部、左部もしくは右部等に移動させて文字表示のためのスペースを空け、そこに和訳を表示するように構成する。
【００４３】
図９は、第５の実施例に係る携帯電話が文字認識を行い、その結果を表示する画面の表示画面例である。画面９０１は英単語の書かれた紙面をモニターしている画面を表しており、その状態で「認識」ボタンが押下されると文字認識の処理が行われて画面９０２に遷移し、文字認識処理が終了すると画面９０３に遷移する。画面９０３は、撮像した画像全体を上にずらして表示し、空いたスペースに認識対象となった文字”Ｒｅｃｏｇｎｉｔｉｏｎ”の和訳を表示している画面である。
【００４４】
この場合、認識された識別情報の移動方向、移動量や移動位置等は予め記憶部１０４に移動位置データとして記憶されており、ＣＰＵ１０２は、該移動位置データに基づいて認識結果である識別情報を移動させる。
【００４５】
以上により、ある程度スペースを確保でき、例えば、英単語の和訳等のような、認識結果である識別情報に関する情報を表示できるため、使い勝手がよい。
【００４６】
なお、上記例では、予め記憶部１０４に記憶された移動位置データに基づいて認識結果を移動させていたが、これに限定するものではなく、例えば、移動位置や移動量を撮像された画像情報から最適な位置や移動量を計算するようにして、その計算結果に基づき移動させるようにしても構わない。これにより、その時々に応じた移動位置等を決定することができる。
【００４７】
また、該識別情報以外の画像とを相対位置関係を同じにして移動させるようにしてもよい。このように、認識された識別情報と該識別情報以外の画像とを相対位置関係を同じにして移動させるように構成することで、認識対象となった文字等が撮像された画像情報のどの辺に含まれてあったのかが理解でき、ユーザはどの英単語を文字認識したのかを容易に知ることができる。さらに、ユーザが認識させたかった単語と異なる単語を認識してしまった場合は、ユーザが認識させたかった単語と認識してしまった単語との位置関係が分かりやすくなるため、認識するつもりのなかった文字を認識した場合でもすぐに認識の再試行を行うことができるため、使い勝手がよい。
なお、上記第５の実施例ではシャッター音を鳴らさないようにしたため、認識対象となる文字の画像以外の部分は、例えば、盗撮防止のためにユーザに視認できないように元の画像とは異なる画像に変換して表示したが、特にこれに限定されるものではなく、例えば、認識対象となる文字の以外の領域を変換せずにそのまま表示し、シャッター音を鳴らすようにしても構わない。この場合、認識対象となる文字を線で囲んで表示するなどして、どの文字を認識したのかをユーザに知らせるようにすればよい。これにより、認識対象以外の領域はそのまま表示されるかわりにシャッター音が出力されるため、多少周囲には迷惑はかかるかもしれないが盗撮を防止できる。さらに、認識対象である識別情報を線等で囲んだりすることによりユーザは認識対象が何であるかを容易に理解することができ、使い勝手が向上する。
【００４８】
また、図１０は、第５の実施例に係る携帯電話が文字認識を行い、その結果を表示する画面の表示例である。画面１００１は英単語の書かれた紙面をモニターしている画面を表しており、その状態で「認識」ボタンを押下すると文字認識の処理が行われて画面１００２に遷移し、文字認識処理が終了すると画面１００３に遷移する。
画面１００３では、認識対象となる文字”Ｒｅｃｏｇｎｉｔｉｏｎ”の画像がモニター中と同じ位置に表示されている。このあと、画面１００４、画面１００５と遷移して、撮像した画像全体を上方向に移動させる。画面１００６では、認識対象となった文字の画像部分だけを表示し、空いたスペースに”Ｒｅｃｏｇｎｉｔｉｏｎ”の和訳を表示する。このように表示すれば、画面の小さい端末でも認識結果に関する情報を多く表示できるため、使い勝手がよい。
【００４９】
また、画面１００４においては、認識された識別情報（ここでは、Ｒｅｃｏｇｎｉｔｉｏｎ）のみならず、画像全体を移動させ、かつ認識された識別情報以外の領域は黒色で塗りつぶしている。しかし、例えば、画面１００４のように、認識された識別情報以外の領域が大きいとと、和訳等を表示するためのスペースが小さくなってしまう。そこで、画面１００５のようにさらに上部に移動させ、そして、画面１００６のように、認識された識別情報以外の領域を削除した形態で表示させる。これにより、限られたスペースの画面を有する携帯電話においても、英単語に対する和訳等のような識別情報に関する情報を多く表示できる。
【００５０】
なお、表示位置を決定する方法としては、上記実施例に限定されるものではないというのはいうまでもない。例えば、画像全体を移動させる際に、移動前の位置から移動後の位置まで少しずつずらして何度も表示させ、動いているかのように表示させるようにしてもよく、これにより、ユーザは移動前の最初の位置をユーザが見逃した場合でも、途中から見れば移動前の位置がだいたい把握できる。また、移動前の位置がわかれば、ユーザはどの英単語を文字認識したのか容易に知ることができ、使い勝手が向上する。
【００５１】
なお、例えば、上記第１の実施例から第５の実施例の機能を実現するためのソフトウェアを、例えば、ンターネットや記録媒体などを介して携帯電話内の記憶部１０４に記憶させて、上記実施例を実現するようにしても構わない。この場合、携帯電話自体を購入しなおす必要は無く、同一端末で欲しい機能を追加できるため、コストが低減できる。
【００５２】
次に、第６の実施例について説明する。図１１は、第６の実施例に係る携帯電話の外観を表した図である。本実施例の携帯電話は、表示部１０７を有する筐体２００と入力部１０１を有する筐体２０１とがヒンジ部１１０３を介して折畳み可能な携帯電話を考える。この場合に、撮像モードの選択を容易にするために、通常撮像ボタン１１０１と認識撮像ボタン１１０２を備えている。通常撮像ボタン１１０１を押下すると、撮像部１０４で撮像対象物を撮像し、撮像した画像を記憶部１０４に保存し、必要に応じて撮像画像を表示する。認識撮像ボタン１１０２を押下すると、撮像部１０４で撮像対象物を撮像し、画像認識部１０５が文字認識を行った後、認識結果を表示部１０７に表示する。
【００５３】
以上のように、認識モードと通常撮像モードのそれぞれ専用ボタンを設けることで、ユーザは簡単に各モードを選択でき、使い勝手がよい。また、図１５に示すように、携帯電話の側面に配置すれば、携帯電話が開いた状態でも折畳まれた状態でも操作が同様なものとなり、わざわざ開閉時で操作を変えることがないため使い勝手が向上する。
【００５４】
なお、通常撮像ボタン１１０１と認識撮像ボタン１１０２とは異なるボタンであることが好ましいが、同一のボタンでもよい。ただし、この場合、同一のボタンである場合は、撮像するためのボタン操作と認識するためのボタン操作を区別させる必要がある。この場合、例えば、ボタンを押下する時間に応じて、あるいは、ボタンを押下する回数に応じて（ダブルクリック等）撮像モードと認識モードとを切り換えたりして区別すればよい。また、このようにボタンを同一にすることで、スペースを取らず、携帯電話を小さくすることができる。通常撮像ボタン１１０１と認識撮像ボタン１１０２は、携帯電話１００に付属するセンサのうち、ユーザが取り扱うことのできるものならばどれでもよい。
【００５５】
なお、本実施例では、情報処理装置として携帯電話の例について説明してきたが、これに限定されるものではなく、例えば、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）やＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等であってもよいのは言うまでもない。
【００５６】
また、例えば、携帯電話等の通話機能を有する情報処理装置の例を考えると、ＯＣＲ機能動作中、すなわち、撮像モードが認識モードである場合に電話がかかってきたりする場合も考えられる。この場合、電話着信があったことを通信部（図示せず）を介して通知を受けたＣＰＵ１０２は、該認識モードを完全に停止させるように処理してもよいし、あるいは、該認識モードをいったん停止させ、通常通話処理を行い、その後通話が終了したときに停止前の状態、つまり、認識モードの状態に戻すように処理する。
【００５７】
これにより、ＯＣＲ機能動作中に電話着信があった場合にも電話着信に応じることができ、あるいは、電話着信を受けて通話が終了した後において速やかに着信前の状態に戻ることができるため、わざわざ再度認識モードを起動させる必要がなくなり、ユーザの使い勝手は向上する。
【００５８】
更に、音声通信とデータ通信とが同時使用可能な場合においては、ＣＰＵ１０２によりＯＣＲ機能と通話機能両方を稼動させるように処理してもよい。これにより、ユーザは通話しながら名刺等の情報をＯＣＲ機能により認識することができる。
【００５９】
更にまた、携帯電話等に予め備わっているメール機能等を利用してＯＣＲ機能により認識された結果を送信するように構成しても構わない。
【００６０】
この場合、例えば、通話中に入力部１０１により所定の操作がなされ、その入力信号を受信したＣＰＵ１０２は、認識モードに移行するように処理する。ユーザが認識モードにおいて、認識対象である文字等を認識した後にメール機能を起動するための操作を入力部１０１を介して行えば、その入力信号を受信したＣＰＵ１０２は、表示部１０７に記憶部１０４に予め記憶されているメールソフトを起動し、メール送信できるようにメール作成画面を表示する。その際、ＣＰＵ１０２は、認識結果、例えば、名刺等に記載されたメールアドレス情報を認識した場合、当該メールアドレス情報をメール作成の本文欄に自動的に挿入するように処理する。また、記憶部１０４に記憶されたアドレス情報（名前、電話番号あるいはメールアドレスの情報）からユーザが選択して送信相手先欄に挿入できるように構成しても構わない。
【００６１】
以上により、ＯＣＲ機能による認識結果を簡単な操作で送信したい相手に伝えることができ、使い勝手が向上する。さらに、件名の欄も「ＯＣＲ結果」等の件名を自動的に挿入記載するようにすれば、更に入力の手間が省け、使い勝手がよい。
【００６２】
また、上記では、メールソフトの作成画面の欄として、「送信相手先」「件名」「本文」を考えたが、これに限定されるものではなく、そのほかに欄を設けたとしても自動的に関係した情報を挿入するようにすればよい。
【００６３】
また、上記では、自動的にメール作成画面欄に認識結果（例：メールアドレス情報）が挿入されるような構成をとったが、それだけでなく、ユーザ自らが入力部１０１を介してコメント等を入力できるようにしても構わない。これにより、ＯＣＲ機能を行い、その結果を通話相手先に送信する際に、ユーザが単に結果のみを送信するだけでなく、その結果に対するコメント等を添えることができる。なお、その際に、予め記憶部１０４に記憶された定型文や絵文字等を利用すれば更に使い勝手はよくなる。
【００６４】
また、本発明は、上記に示された実施例に限定されるものではなく、ここに開示された原理及び新しい特性は広範囲の技術的範囲を含むものである。
【００６５】
【発明の効果】
本発明によれば、上記課題を克服すべく、使い勝手の良い情報処理装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例に係る携帯電話の構成ブロック図である。
【図２】本発明の第１の実施例における処理手順を示すフローチャートである。
【図３】本発明の第１の実施例における表示画面例である。
【図４】本発明の第２の実施例における処理手順を示すフローチャートである。
【図５】本発明の第２の実施例における表示画面例である。
【図６】本発明の第２の実施例における表示画面の別の表示例である。
【図７】本発明の第３の実施例において、画像認識部１０５が認識した文字と、画像部分７０１に表示する画像との関係を表した表である。
【図８】本発明の第３の実施例における携帯電話が、認識結果を表示する画面の表示例である。
【図９】本発明の第５の実施例において、文字認識結果を表示する画面の表示例である。
【図１０】本発明の第５の実施例における表示画面例である。
【図１１】本発明の第６の実施例における携帯電話の概観図である。
【符号の説明】
１００  携帯電話
１０１  入力部
１０２  ＣＰＵ
１０３  撮像部
１０４  記憶部
１０５  画像認識部
１０６  スピーカ
１０７  表示部
１０８  モード判定フラグ
１１０１  通常撮像ボタン
１１０２  認識撮像ボタン
【図１】
2005033346.tif 000003
【図２】
2005033346.tif 000004
【図３】
2005033346.tif 000005
【図４】
2005033346.tif 000006
【図５】
2005033346.tif 000007
【図６】
2005033346.tif 000008
【図７】
2005033346.tif 000009
【図８】
2005033346.tif 000010
【図９】
2005033346.tif 000011
【図１０】
2005033346.tif 000012
【図１１】
2005033346.tif 000013