(57)【要約】【課題】  操作性の高い画像処理装置を提案する。【解決手段】  画像処理装置であるカメラ付き携帯電話では、カメラから取得された画像の移動方向を検出することで当該携帯電話の移動方向を検出する（Ｓ３０３）。携帯電話が左に動かされたと検出すると（Ｓ３０４でＹｅｓ）、その移動方向（左）と対応付けられている処理である「携帯電話内蔵のメモリに画像を格納する」処理を選択して実行する（Ｓ３０５）。また、携帯電話が右に動かされたと検出すると（Ｓ３０６でＹｅｓ）、その移動方向（右）と対応付けられている処理である「携帯電話外部のメモリに画像を格納する」処理を選択して実行する（Ｓ３０７）。【選択図】        図６
2005318091.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮像部と、
前記撮像部から得られる撮像画像の内から一つの撮像画像を確定する撮像画像確定手段と、
前記撮像部によって得られる画像から画像の移動方向を検出する移動検出手段と、
前記撮像画像を処理する一つ以上の撮像画像処理手段とを持ち、
前記移動検出手段で検出される画像の移動方向によって、前記撮像画像確定手段で確定された撮像画像の処理を選択する画像処理選択手段をさらに持つ画像処理装置。
【請求項２】
前記移動検出手段は前記撮像部によって得られる画像から画像の移動量を検出し、
前記画像処理選択手段は、前記移動検出手段で検出される画像の移動量によって、前記撮像画像の処理を選択する、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理選択手段で行う処理は、前記撮像画像の格納場所を選択する処理である、請求項１に記載の画像処理装置。
【請求項４】
前記画像処理選択手段で行う処理は、前記撮像画像に対するアプリケーションの選択、または前記撮像画像に対するアプリケーションの起動条件を選択する処理である、請求項１に記載の画像処理装置。
【請求項５】
予め表示画面の所定の方向、又は、表示画面の周辺部の所定の位置に特定の処理内容を定義し、
前記画像処理選択手段は、前記表示画面上に表示された前記撮像画像を示す画像を、前記定義された方向あるいは位置の近傍に移動させることで、前記撮像画像の処理を選択する、請求項１に記載の画像処理装置。
【請求項６】
前記特定の処理内容を定義した前記所定の位置あるいはその近傍に、前記処理内容を示す画像あるいは文字を表示する、請求項５に記載の画像処理装置。
【請求項７】
前記移動検出手段の検出結果に基づいて、前記特定の処理内容を定義した前記所定の方向あるいは前記所定の位置に、前記撮像画像を示す画像が移動した場合に、前記撮像画像を示す画像もしくは文字、あるいは、前記処理内容を示す画像もしくは文字の表示方法を変更する、請求項５に記載の画像処理装置。
【請求項８】
前記移動検出手段および前記画像処理選択手段は、前記画像処理選択手段により前記撮像画像に対する処理を選択した後も、継続して前記画像の移動方向もしくは移動量の検出および前記撮像画像の処理の選択を行い、
前記撮像画像に対して複数の種類の処理、あるいは複数回の処理を選択することができる、請求項１または２に記載の画像処理装置。
【請求項９】
文字認識手段をさらに持ち、
前記画像処理選択手段は、前記移動検出手段により得られる移動方向もしくは移動量によって、前記文字認識手段により得られる文字列候補を選択することを特徴とする、請求項１または２に記載の画像処理装置。
【請求項１０】
前記文字認識手段により抽出された文字列候補を、前記処理選択手段で選択された処理内容にあった形に変更する処理を行う、請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を撮像し処理を選択して行う画像処理装置に関する。
【背景技術】
【０００２】
最近、デジタル電子カメラ、カメラ付き携帯電話など、撮像機能を有する携帯機器の、記憶容量、表示サイズなどの性能向上が著しい。この性能向上により、カメラで撮像した画像を通信手段により転送する、あるいは、文字入力手段に用いるなどさまざまな用途が広がってきている。
【０００３】
従来の携帯端末は、特許文献１の「従来の技術」にあるように、たとえば番号キーを押下して入力した電話番号に発信、あるいは予め電話帳に文字入力をして登録されたデータのうち、いずれかをキー操作あるいは音声入力により選択して発信することができる。
【０００４】
シャープ株式会社の携帯電話機ＳＨ５０５ｉなどは、撮影した画像を、予めキー操作により選択した本体内あるいは拡張メモリ、たとえばｍｉｎｉＳＤ（Ｒ）カードを選択して保存することができる。また、撮像した画像は、メールアドレスを入力、あるいはアドレス帳に登録されたメールアドレスを選択し、電子メールに添付して送付することができる。また、特許文献１にあるとおり、撮像された画像から電話番号、メールアドレス、名前等の文字を認識して、文字列として装置に入力することができる。
【０００５】
しかしながら、上記の携帯電話装置への入力処理において、電話発信、インターネットブラウザ、メール送信、アドレス帳などのアプリケーションを起動する時点において、利用者が操作ボタンにより操作する必要があるため操作性に課題があるといえる。
【０００６】
特許文献２は、撮影された画像のデータの相関よりフレーム間移動量を求め、撮像画像の移動量、移動速度を求めるものであって、検出手法に関しては本願で利用できる技術であるが、検出された移動量、移動速度は後の処理に結びつけてはいない。
【０００７】
特許文献３において、携帯電話やＰＨＳに搭載されたデジタル電子カメラ部が現在向けられている方向（内側か外側か装置に取り付けたカメラの向き）により、機能モードを自動的に選択するデジタル電子カメラが提案されている。この機能モードの選択は、動作形態の変更であり、本発明におけるアプリケーションの選択とは異なっている。
【特許文献１】特開２００３−１６３７３６号公報
【特許文献２】特開平９−２３４１９号公報
【特許文献３】特開平１１−１１２８６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１にあるような従来の画像処理装置では、携帯機器に対して同じ情報を入力し異なった処理をさせる場合、利用者はメニューから選択するなどのキー操作より明示的に指示を行う必要がある。すなわち従来の技術では撮影と機能選択とを一連の動作で行うことができないため、利用者が指示を行う事により作業が中断される。さらに、指示を行うための時間が必要であること、また、指示するための操作を行うために思考が中断されることにより、作業効率が大きく低下するという課題がある。
【０００９】
上記指示の例として、従来の装置では、撮像画像を保存する場所が内部メモリとメモリカード等と複数ある場合にいずれかへの格納を予め設定しておくか撮影後のキー操作により指定する必要があることがあげられる。
【００１０】
また、特許文献３の手法では、デジタルカメラ部の方向により１つの機能のみしか選択できず、複数の処理の中から特定の選択を行う場合、別途キー等による指示が必要になるという課題がある。例えば、カメラ部を自分自身に向け、自分自身を撮影する場合、画面の表示は撮影する画像を上下反転等せず表示することが可能であるが、撮影後の処理を選択する場合は、キー等による指示のための操作が必要である。
【００１１】
さらに、上記指示のための操作は、複数のキーから処理を示すキーを選択して押下する、あるいは、メニューから上下キーあるいは十字キーなどで選択を行っている。これらの意図する処理を指示する操作は、特に小型の携帯機器において小さなキーを用いて行うため操作ミスを招くことが多いという課題がある。このことは、特に操作に習熟していない人に慎重な操作を要求するため、画像処理作業の非効率要因となっている。
【００１２】
本発明はこれらの課題を解決するためになされたものであって、煩雑なキー操作を行わなくても、動かすことのみで各種処理方法を選択できる、操作性の高い画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するために、本発明のある局面に従うと、画像処理装置は、デジタル電子カメラ等の撮像部から得られる画像から、シャッターボタン等の撮像画像確定手段により確定した撮像データを、移動検出手段を用いて検出された画像の移動量、方向に基づき処理判定手段により判定された処理を実行する。移動検出方向手段として、例えば特許文献２にあるような方法で、撮像手段の入力画像から移動方向を検出する。その検出結果に基づき画像処理選択手段が、画像処理手段で行う画像に対する処理内容を選択し確定する。特許文献２にある方法は、移動の向きである移動方向と、どのくらい移動したかを示す移動量も検出できるので、移動検出手段として用いることができる。
【００１４】
また、本発明にある局面に従った画像処理装置は、予め表示画面の各方向に、それぞれ撮像画像処理手段を定義し、表示画面上に確定された撮像画像を示す表示を移動させることにより、いずれの処理を選択しようとしているかを利用者に明示することができる。同様に、表示画面上に確定された撮像画像を示す表示と、処理を示すアイコンや文字を表示し、画像を示す表示を移動検出手段の結果によって移動させることにより、確定した画像に対していずれの処理を選択しようとしているかを利用者に明示する。この撮像画像処理手段の例として、ＲＡＭ内の画像記憶部あるいは外部記憶装置等の撮像画像の格納場所の指示のほか、ＷＷＷ（World Wide Web）アクセス、メール送信、アドレス帳などのアプリケーションが挙げられる。
【００１５】
また、本発明にある局面に従った画像処理装置は、入力するデータが文字列である場合、文字認識手段により文字コードに変換された文字列候補を、移動検出手段の結果により選択することが可能である。また文字列候補を、処理判定手段により、アドレス帳保存、ＵＲＬアクセス、メール送信画面への移行、電話発信などの処理を、簡単に選択することができるようになる。また、処理内容にあった形に文字列候補を変更する文字列整形を行い選択したアプリケーションに必要な文字列のみを入力する。ここで、文字列整形とは必要な文字認識結果候補列のみを抽出する、あるいは辞書照合を行い必要としない文字列を削除するなどの処理をいう。
【００１６】
また、本発明にある局面に従った画像処理装置は、表示画面上で撮像画像を示す画像を移動させる場合において、画像処理装置を同一方向に動かし続けた場合においても、撮像画像を示す画像が必ず一定値以上の割合で表示画面に表示するようにする。利用者にとって、どの操作を選択しようとしているかわかりやすく明示することができる。
【００１７】
また、本発明にある局面に従った画像処理装置は、画像検出に失敗した場合、あるいは、検出量が規定値を大きく超える場合、超えたと判定された画面から再度移動検出を試みる。このことにより撮像した画像とは異なる入力であっても操作が可能となる。
【００１８】
すなわち、本発明にある局面に従った画像処理装置は、移動検出の手段と処理選択のための手段とを連続して動作させることにより、一連の動作で、ひとつの撮像画像に対する複数の処理を選択することが可能となる。
【００１９】
また、本発明にある局面に従った画像処理装置は、画像の移動から装置の動きを判定し、画像から文字認識を行い文字コードに変換した文字列の候補選択操作の入力とすることで、字認識結果の候補を容易に変更することが可能となる。
【発明の効果】
【００２０】
本発明により、画像処理装置への画像を撮像する動作からキー操作を行わず、装置を動かすことで撮像した画像に対する処理を選択することが可能となる。このことはすなわち、利用者が画像処理装置への入力操作と一連の動作で、所定の場所への格納などの処理の選択、実行するアプリケーションの選択を容易に行うことを可能とする。番号ボタン等のキー操作を行う必要が無いことから、連続して撮影し異なった処理を行う操作を中断せず、効率的に処理することが可能となる。
【００２１】
また、本発明によれば、速度センサ等の特別な装置を追加することなく画像処理装置の移動方向を判別することが可能であるため、画像処理装置の簡素化と、利用者が行う操作の簡略化との両立が可能である。
【００２２】
さらに、利用者が処理を選択する時点を指示できる機能を持たせることで、利用者が意図せぬ方向に移動させたときに誤った処理を行うことを防ぐことができ、より一層の効率的な処理が可能となる。
【００２３】
同様に、例えば複数のメール送信相手から特定の相手を指定して、アプリケーションを起動するなどのアプリケーションの起動条件を選択することも可能である。
【００２４】
また、本発明によれば表示装置を用いて処理を示す画像を表示し、機器の移動方向あるいは移動量に従い、撮像画像あるいは撮像画像を示す表示を移動させることにより、利用者がどの機能を選択しようとしているかを明確に表示することができる。また、機能をアイコン等のわかりやすい図形で表示すること、及び、利用者が撮像画像を示す表示をアイコン等の位置に移動してきた場合に、アイコンの反転表示、色の変換等を行うことで、明確に利用者に伝えることができる。これらにより利用者の誤った操作を未然に防ぐことができる。
【００２５】
同様に、画像から抽出された文字列を入力する画像処理装置において、画像同様に画像処理文字列を用いた電話発信、ブラウザを介したインターネットアクセス、メール送信画面の表示、アドレス帳への格納などへの処理の選択を容易に行うことができる。
【００２６】
また、認識結果候補文字列から実行すべきアプリケーションが必要とする文字列部分を取り出す、不必要な認識結果候補文字の削除などを行う文字列整形処理を行うことで、認識結果を修正することなく電話、Ｅメールなどの処理を行うことができる。典型的な例として、電話番号を使ったメールアドレスを入力とする場合に、電話、Ｅメールの処理の使い分けが容易にできることがあげられる。
【００２７】
表示装置上に撮像画像を示す画像がない場合、利用者はどの処理を選択しようとしているか判別できず、また、目的の処理を示す位置に移動させることができない。すなわち、撮像画像を示す画像が必ず一定以上の割合で表示されていることで、利用者にとってどの操作を選択しようとしているかわかりやすく明示していることとなる。
【００２８】
また、移動方向、移動量が許容量を超えた場合、あるいはその検出に失敗した場合、上記の画面上の移動を行わず、そこからまた画像検出を行うことで、極端な動作をキャンセルし、さらにそこから移動検出を行うことで、利用者に撮影した体制を維持させる負荷をなくすことができる。また、撮影対象物が移動した後であっても同様に操作を行うことができる。
【００２９】
さらに、本画像処理装置において、撮像画像に対する処理内容を１つに限定するのではなく、複数の処理を連続した一連の動作で選択することが可能となるため、処理選択画面を複数回呼び出す方法に比べ、処理効率が著しく向上する。
【００３０】
文字認識実行時においても、番号ボタン等のキー操作を行わずに、文字候補選択が可能となる事から、連続して撮影して文字認識を行う操作において、キー操作による中断がなくなり効率的に処理することが可能となる。
【発明を実施するための最良の形態】
【００３１】
［第１の実施の形態］
図１は、本発明の実施の形態にかかる画像処理装置の構成の具体例を示す図であり、本実施の形態にかかる画像処理装置としては、カメラ付き携帯電話やカメラ付きパーソナルコンピュータなど、画像取得機能と取得された画像を処理する画像処理機能とを備える装置が該当し、撮像部１０１、表示部１０２、操作部１０３、ＲＡＭ（Random Access Memory）１０５、ＲＯＭ（Read Only Memory）１０７、外部記憶装置１０６、及び、これらを制御する中央制御部１０４を備えて構成される。
【００３２】
撮像部１０１は、デジタル電子カメラ等により被写体を工学的に撮像してデジタル画像データを得る。表示部１０２は、液晶パネル等を用いて画像表示プログラムにより作成された画像を表示する。操作部１０３は、撮像画像確定手段のためのシャッターボタンなどの操作ボタンを有している。また外部記憶装置１０６は、メモリカードなどの外部記憶メディアを備えている。
【００３３】
ＲＡＭ１０５は撮像した画像を一時記憶する画像バッファ、画像データを記憶するための画像記憶部、および中央制御部１０４がプログラムを実行するためのワークバッファを備えて構成される。また、ＲＯＭ１０７は、移動検出プログラム、処理判定プログラム、画像格納プログラム、画像表示プログラム、およびその他プログラムを記憶する領域を備えて構成される。
【００３４】
移動検出プログラムは、左右、上下、回転などの画像処理装置に入力される画像の移動を検出する移動検出手段で用いるプログラムである。処理判定プログラムは、画像処理選択手段で用いる画像に対して行う処理を判定するプログラムであり、画像表示プログラムは表示部１０２で表示すべき画像を生成するプログラムである。その他プログラムは、上記以外の処理を実行するためのプログラムであり、撮像画像処理手段で用いるプログラムを含んでいる。
【００３５】
中央制御部１０４は、ＲＯＭ１０７に格納された各プログラムを実行し、各部の動作制御を行う。
【００３６】
図２は、本実施の形態にかかる画像処理装置において検出される、当該画像処理の移動方向の定義を説明する図である。
【００３７】
図２を参照して、本実施の形態にかかる画像処理装置においては、撮像部１０１から撮像された画像が左に動いたときに検出される当該画像処理装置の移動方向を左と定義し、画像が上に動いたときに検出される当該画像処理装置の移動方向を上と定義する。同様に上下左右方向及びその組み合わせからなる当該画像処理装置の移動方向を定義する。また、画像処理装置を前後に動かすなどにより撮像画像が大きくなったときに検出される当該画像処理装置の移動方向を前、小さくなったときに検出される当該画像処理装置の移動方向を後、さらに、画像が反時計回りに回転したときに検出される当該画像処理装置の移動方向を左回転方向、時計回りに回転したときに検出される当該画像処理装置の移動方向を右回転方向と定義する。
【００３８】
図３は、本実施の形態にかかる画像処理装置における画像処理を示すフローチャートであり、以下、この図に従って説明する。図３のフローチャートに示される処理は、中央制御部１０４がＲＯＭ１０７に格納された各プログラムを読出して実行し、図１に示される各部の動作制御を行うことで実現される。
【００３９】
本発明にかかる画像処理装置では当該画像処理装置の移動方向別に定義された処理を選択して実行し、本実施の形態は、図４に示されるとおり、撮像した画像が、左に移動した場合は画像を機器内部のＲＡＭ１０５に含まれる画像記憶部に格納する処理を行い、右に移動した場合は画像を外部記憶装置１０６に格納する処理を行う画像処理装置の例である。なお、ここに挙げられた処理は一例であり、方向別に定義された処理の他の具体例としては、右に移動した場合と左に移動した場合とで異なる相手に画像を添付したメールを送信することも可能である。
【００４０】
図３を参照して、まず、ステップＳ２０１において利用者が操作部１０３のシャッターボタン等を操作することにより撮像画像が確定され、ステップＳ２０２において確定されたデジタル画像データがＲＡＭ１０５内の画像バッファに格納される。
【００４１】
次に、ステップＳ２０３において、移動方向検出手段として中央制御部１０４が移動検出プログラムを実行し、撮像部１０１で撮像された画像から画像処理装置がどの方向に動いたか画像処理装置の移動方向を、当該画像処理装置の移動量を得ることで検出する。当該画像処理装置の移動量である撮像部１０１で撮像された画像の画像変化は、ある時点に送られてきた画像と、その時点以前に送られてきた画像との差分から求められる。
【００４２】
本実施の形態では、中央制御部１０４は、図５のとおり時刻ｔに撮像された画像に含まれるすべての画素と、時刻ｔ−１に撮像された画像に含まれるすべての画素と、現時点である時刻ｔ＋１に撮像された画像に含まれるすべての画素とを、ｘ軸方向、ｙ軸方向について撮像幅の±２５％の範囲内において１画素単位で移動させ、計算できるすべて各画素間のＲＧＢ値の差を求める。その画素の値の差の平均がもっとも小さくなるｘ軸とｙ軸との移動量を、画像処理装置の移動量として得る。
【００４３】
本実施の形態において検出されることが必要な画像処理装置の移動方向は左右（撮像画像上のｘ軸方向）方向のみであるが、利用者は厳密に左右に動かすことが困難であり、上下方向のブレをも吸収するために、図５に示されるように、ｙ軸方向の移動量も計算して移動方向を検出することが好ましい。
【００４４】
ステップＳ２０４において、画像処理装置が左に動いたと検出された場合（Ｓ２０４でＹｅｓ）、ステップＳ２０５において、中央制御部１０４は、画像バッファの画像を画像記憶部に格納する処理を行う。ステップＳ２０６において、右に動いたと検出された場合は（Ｓ２０６でＹｅｓ）、ステップＳ２０７において外部記憶装置１０６に格納する処理を行う。
【００４５】
いずれの方向への移動も検出されなかった場合は（Ｓ２０４でＮｏ、かつＳ２０６でＮｏ）、ステップＳ２０３に戻り、画像処理装置の移動が検出されるまで同様の処理を繰り返す。以上のステップＳ２０４の処理とＳ２０６の処理とが画像処理選択手段における画像処理選択ステップであり、ステップＳ２０５もしくはＳ２０７が撮像画像に対する撮像画像処理手段における撮像画像処理ステップである。
【００４６】
ステップＳ２０５もしくはＳ２０７にて画像の格納処理が行われた後、ステップＳ２０８において、中央制御部１０４は画像表示プログラムを起動し、所定の処理が完了したことを表示する。
【００４７】
本実施の形態では、画像処理において左右方向の移動を検出しているが、ｘ軸およびｙ軸を入れ替えることで上下方向の移動検出も可能であり、また、撮像装置の自動焦点装置（オートフォーカス）から得られる焦点距離情報の変化量を用いることで、前後方向への移動検出が可能である。また、撮像された画像とアフィン変換した画像との相関を計算することで撮像方向を軸とした回転の検出も可能である。これらの上下、左右、前後等の移動量を用いても、方向別に定義された処理を選択することが可能である。
【００４８】
以上により、本実施の形態にかかる画像処理装置は、撮像装置である撮像部１０１からの入力を用いて、移動検出装置である移動検出プログラムを実行する中央制御部１０４により移動方向を検出し、検出された移動方向により、画像の格納場所を選択し確定することができる。すなわち、移動方向別に定義された撮像された画像に対する処理を選択し確定することができる。
【００４９】
［第２の実施の形態］
図６は、本実施の形態にかかる画像処理装置における画像処理を示すフローチャートであり、以下、この図に従って説明する。図６のフローチャートに示される処理もまた、中央制御部１０４がＲＯＭ１０７に格納された各プログラムを読出して実行し、図１に示される各部の動作制御を行うことで実現される。
【００５０】
図６を参照して、第１の実施の形態と同様にステップＳ３０１において撮像画像が確定され、ステップＳ３０２で画像バッファに格納される。ステップＳ３０３において、移動検出プログラムにより画像処理装置の移動方向が検出される。
【００５１】
ステップＳ３０４において画像処理装置が左に動いたと判定された場合（Ｓ３０４でＹｅｓ）、ステップＳ３０５おいて、中央制御部１０４は、画像バッファの画像を機器内部の画像記憶部に格納する処理を行う。ステップＳ３０６において右に動いたと判定された場合（Ｓ３０６でＹｅｓ）、ステップＳ３０７で外部記憶装置１０６に格納する処理を行う。
【００５２】
ステップＳ３０５及びステップＳ３０７の処理を終了後、ステップＳ３０８において処理終了を示すキーが押下されれば（Ｓ３０８でＹｅｓ）、中央制御部１０４は処理終了と判定し、ステップＳ３０９において所定の処理が完了したことを表示する。押下されなければ（Ｓ３０８でＮｏ）、ステップ３０３に戻り継続して移動検出処理および画像処理選択処理を行い、撮像画像に対して、格納場所の選択あるいは同じ格納場所に複数回格納する処理を連続した処理で行う。
【００５３】
以上により、本実施の形態にかかる画像処理装置は、画像処理選択装置である移動検出プログラムおよび処理判定プログラムを実行する中央制御部１０４により撮像画像に対する処理を選択し確定した後も、継続して移動検出および処理選択を行い、ある撮像画像に対して、複数の種類の処理（本実施の形態では画像の格納場所の選択）、あるいは複数回の処理（本実施の形態では同じ格納場所に同じ画像を複数格納）を、連続した一連の動作で選択し実行することができる。
【００５４】
［第３の実施の形態］
図７は、本実施の形態にかかる画像処理装置における画像処理を示すフローチャートであり、以下、この図に従って説明する。図７のフローチャートに示される処理もまた、中央制御部１０４がＲＯＭ１０７に格納された各プログラムを読出して実行し、図１に示される各部の動作制御を行うことで実現される。
【００５５】
本実施の形態は、撮像装置である撮像部１０１で撮像された画像の移動により像処理装置の移動を判定した結果に基づき、表示画面上の撮像画像を移動させ、予め表示画面の各隅に表示位置が定義されたインターネットアクセス、電話発信、アルバムに格納、メール送信処理を示すアイコンを表示しておき、この中から利用者が求める処理を選択し実行する画像処理装置の例である。図８は、本実施の形態における、検出される画像処理装置の移動方向と画像処理装置の移動方向別に定義された処理内容との対応を示す図である。
【００５６】
図７を参照して、まず、ステップＳ４０１において利用者が操作部１０３のシャッターボタンを操作することで撮像画像を確定する撮像操作が行われる。次にステップＳ４０２において、確定された撮像画像がデジタル画像データとしてＲＡＭ１０５内の画像バッファに格納された後、ステップＳ４０３において中央制御部１０４は画像表示プログラムを実行し、画像バッファに格納された撮像画像と、予め表示画面の所定の位置に定義した各操作を示す画像とを重ねて表示部１０２に表示する。
【００５７】
図９−ａはステップＳ４０３における表示例であり、所定の位置として画面上の四隅を定義している。図９では各操作を示す画像としてアイコンを用いているが、アイコンの代わりに文字や記号などを表示しても、表示場所が表示画面の四隅でなくとも本発明には影響はない。また、図９における各アイコンは、左上角がインターネットアクセスアプリケーション（インターネットブラウザ）の起動を示し、右上角が電話発信、左下がアルバムへの格納、右下角がメール送信アプリケーションの起動を示している。これらの機能は一例でありどのような機能であっても、また、利用者が予め指定しておく形態であってもかまわない。機能の一例として、画像を添付するメールの宛先の指定、画像を格納する場所（フォルダ又はディレクトリ）の指定などがあげられる。
【００５８】
次に、ステップＳ４０４において中央制御部１０４は移動検出プログラムを実行し、第１の実施の形態と同様に、撮像部１０１で撮像された画像の変化から画像処理装置がどの方向にどのくらいの量を動いたか、移動方向と移動量とを検出し、ｘ軸、ｙ軸それぞれの移動量に分けてワークバッファに格納する。この移動検出において、すべての範囲で変動させた画像間の差の平均値が予め定めた値よりも大きい場合は、ｘ軸、ｙ軸とも移動量は０として保存する。
【００５９】
ステップＳ４０５においてｘ軸、ｙ軸方向の移動量の値を確認し、ｘ軸、ｙ軸とも移動量が０の場合、移動検出が失敗したものとみなし（Ｓ４０５でＮｏ）、ステップＳ４０９へ進む。または、ステップＳ４０９以降の処理を行うことなく、ステップＳ４０４にもどってもよい。ｘ軸、ｙ軸とも０でない値となっていた場合、移動検出が成功したものとみなし（Ｓ４０５でＹｅｓ）、ステップＳ４０６に進む。
【００６０】
ステップＳ４０６において画像表示プログラムに従って中央制御部１０４は、ワークバッファに格納されたｘｙ軸移動方向と、移動量とを読み出し、画像バッファに格納された撮像画像を、移動方向と前記移動量とに従い移動させて表示する。図９−ｂは左下方向へ、図９−ｃは右下方向へ撮像画像を移動した場合の表示例である。
【００６１】
次にステップＳ４０７において、中央制御部１０４は処理判定プログラムを実行し、ワークバッファに格納された移動量から計算した撮像画像の中心部の座標と、各アイコンの中心の座標との距離を計算し、この距離が所定の値以下（本実施の形態では、表示画面の対角線の１／８とした）となった場合に（Ｓ４０７でＹｅｓ）、撮像画像の中心部がそのアイコンの近傍と判定し、ステップＳ４０８にてそのアイコンが示す処理を行うアプリケーションを起動する。距離が一定値以下となるアイコンがない場合は（Ｓ４０７でＮｏ）、ステップＳ４０９に進む。
【００６２】
本実施の形態では、長方形で表示される撮像画像の対角線の交点を撮像画像の中心部として定義する。また、アイコン画像は背景を透過色とした長方形画像であり、この長方形の対角線の中心をアイコンの中心として定義する。
【００６３】
ステップＳ４０８において、中央制御部１０４は、画像バッファに格納されている撮像画像を読み出して、アイコンに定義されたアプリケーションを起動して実行する。
【００６４】
たとえば、図９−ｂのように右下方向へ撮像画像を移動させ、撮像画像の中心部とメール送信を示すアイコンの中心との距離が所定の値以下になった場合、中央制御部１０４は、メール送信アプリケーションを起動し、撮像画像を添付した状態でのメール送信画面を表示する。またたとえば、図９−ｃのように左下のアイコンとの距離が所定値以下になった場合、撮像画像をアルバムに追加格納する。
【００６５】
ステップＳ４０５において移動検出が失敗した場合（Ｓ４０５でＮｏ）、ステップＳ４０９で中央制御部１０４は予め規定された操作、たとえば番号キーを押すことにより手動で撮像画像に対する処理を指定されたかどうかを判定する。画像処理を手動で指定したと判定された場合（Ｓ４０９でＹｅｓ）、中央制御部１０４は、ステップＳ４１０で撮像画像に対する指定された処理を行う。指定された処理がキャンセルであれば確定された撮像画像を消去して処理を終了する。手動による指示がないと判定された場合は（Ｓ４０９でＮｏ）、ステップＳ４０４に戻り、中央制御部１０４は移動検出処理と画像の移動処理とを繰り返す。
【００６６】
ステップＳ４０９、Ｓ４１０は、例えば全く明かりがない深夜などでは、撮像部１０１で撮像された画像の変化を抽出する事が困難な場合があり、このような場合に利用者が画像の処理を行うことができなくなる事を防ぐために有効である。
【００６７】
以上のように、本実施の形態にかかる画像処理装置は、撮像装置である撮像部１０１からの入力を用いて、移動検出装置である移動検出プログラムを実行する中央制御部１０４により移動方向を検出し、検出された移動方向にあるアイコンに定義される撮像画像の処理を選択することができる。すなわち、移動方向別に定義された撮像された画像に対する処理を選択することができる。
【００６８】
［第４の実施の形態］
図１０は、本実施の形態にかかる画像処理装置における画像処理を示すフローチャートである。図１０のフローチャートに示される処理もまた、中央制御部１０４がＲＯＭ１０７に格納された各プログラムを読出して実行し、図１に示される各部の動作制御を行うことで実現される。
【００６９】
本実施の形態は、撮像部１０１で撮像された画像から文字列を抽出して表示し、画像処理装置の移動を判定した結果に基づいて文字列の表示を移動させ、予め定義された表示位置に表示されたインターネットアクセス、電話発信、メモ帳に格納、メール送信処理の各アプリケーションを示すアイコンの中から画像処理装置を移動させることで利用者が指示した処理を選択する画像処理装置の例である。図１１は、本実施の形態における、検出される画像処理装置の移動方向と画像処理装置の移動方向別に定義された処理内容との対応を示す図である。
【００７０】
図１０を参照して、まず、ステップＳ５０１において、利用者が操作部１０３のシャッターボタンを操作することにより撮像画像が確定され、ステップＳ５０２において確定されたデジタル画像データがＲＡＭ１０５内の画像バッファに格納される。
【００７１】
次に、ステップＳ５０３において、中央制御部１０４は、図１のその他プログラムに含まれる文字列抽出プログラムを実行し、画像バッファに格納された撮像画像の画像データに対して文字認識を行い、認識結果である認識結果文字列候補を抽出し、ステップＳ５０４においてワークバッファに格納する。ここで認識結果文字列候補とは、文字認識手段である文字列抽出プログラムに従った中央制御部１０４により画像データから文字認識の結果、文字コード列情報として抽出される、コード化可能な領域の情報である。コード化とは文字及び数字などをコンピュータで取り扱えるようにするために、ここに割り振られた文字、数字および記号に変換する処理のことである。
【００７２】
文字列抽出後、中央制御部１０４はステップＳ５０５において画像表示プログラムを実行し、ワークバッファに格納された認識結果文字列候補を表示画面中央に表示し、さらに該表示に各操作を示すアイコンを重ねて表示部１０２に表示する。図１２−ａはこの表示例であり、認識結果文字列候補である文字列の外接矩形の対角線の交点を文字列の中心と定義して、文字列の中心が表示画面中央に重なるように表示する。
【００７３】
以下、第２の実施の形態と同様に、ステップＳ５０６において中央制御部１０４は移動検出プログラムを実行し、ステップＳ５０７で移動判定が成功したかどうかを判定する。
【００７４】
移動判定が成功した場合（Ｓ５０７でＹｅｓ）、ステップＳ５０８において、移動量が表示画面範囲内であるかどうかを、文字列の中心が表示画面内に納まっているかどうかで判定する。表示範囲に収まっている場合（Ｓ５０８でＹｅｓ）、中央制御部１０４は、ステップＳ５０９において、ステップＳ５０６で検出された移動方向と移動量とをパラメータとして、抽出文字列を移動させて表示する。図１２−ｂは左下方向へ、図１２−ｃは右下方向へ認識結果文字列候補を移動させて表示した例である。
【００７５】
次に、ステップＳ５１０において、中央制御部１０４は、文字列の中心の座標と、各アイコンの中心の座標との距離を計算し、これらの距離が所定値（本実施の形態では、表示画面の対角線の１／８）以下になっていないと判断される場合（Ｓ５１０でＮｏ）、ステップＳ５０６に戻り、移動方向検出処理を繰り返す。
【００７６】
アイコンとの距離が所定値以下と判定された場合（Ｓ５１０でＹｅｓ）、ステップＳ５１１において、中央制御部１０４は、図１３−ｂ、図１３−ｃのように、文字列の中心との座標の距離が所定値以下になったアイコンの色を利用者にわかりやすいように変化させる。例ではブルー系の色からピンク系の色に変化させているが、アイコンの画像の変更や、文字への変更などや、または表示画像を示す画像の色やトーンを変化させる事も可能である。予め文字が表示されている場合は、その文字を白黒反転表示する、色を変えるなどの表示方法の変更することもできる。
【００７７】
次にステップＳ５１２において、利用者が処理決定キーを押下することで（Ｓ５１２でＹｅｓ）、中央制御部１０４において、文字列の中心とアイコンの中心との距離がもっとも近いアイコンに対応した処理が選択される。処理決定キーが押下されない場合（Ｓ５１２でＮｏ）、ステップＳ５０６にもどり、移動方向検出処理が繰り返される。
【００７８】
ステップＳ５１２で利用者が処理決定キーを押下すると、中央制御部１０４は、図１２−ｂの例では、認識結果文字列候補をメモ帳に保存する処理を、図１２−ｃの例では、認識結果文字列候補のアドレス宛のメール送信アプリケーションを起動する処理を選択し、実行する。
【００７９】
処理選択後、ステップＳ５１３において、中央制御部１０４は、選択された処理に応じて、認識結果文字列候補を適切な文字列候補に変形する文字列整形処理を行う。文字列整形処理とは、選択したアプリケーションに基づいて、認識結果文字列候補から必要な文字列を文字列候補として抽出する処理であり、具体例を図１４に示す。図１４におけるメモ入力処理とは、認識結果文字列候補である文字列をそのままメモとして保存するアプリケーションに従った処理のことである。
【００８０】
図１４の第１行のように、認識結果候補文字列が“０９０１２３４５６７８＠ｄｏｋｏｋａ．ｃｏ．ｊｐ”である場合、利用者が電話発信を選択すると、電話番号に相当する文字は数字のみであるので、中央制御部１０４は認識結果文字列候補から数字のみを抽出し、“０９０１２３４５６７８”に発信する。また、メール発信を選択すると、メールアドレスに使われる文字は英数字記号であるのでので、中央制御部１０４は“０９０１２３４５６７８＠ｄｏｋｏｋａ．ｃｏ．ｊｐ”宛のメール送信アプリケーションの起動処理を行う。
【００８１】
図１４の第２行のように、認識結果候補文字列が“Ｔｅｌ：０６−１１１１−２２２２”の場合、利用者が電話発信を選択すると中央制御部１０４は電話番号に相当する数字のみを抽出し、メール発信を選択すると中央制御部１０４は、文字列中にインターネットで用いられるメールアドレスに必要な文字“＠”（アットマーク）がなくメールアドレスが生成できないため、文字列“Ｔｅｌ：０６−１１１１−２２２２”を本文中に挿入してメール送信アプリケーションを起動する。
【００８２】
図１４の第３行のように、認識結果候補文字列例が“Ｅｍａｉｌ：ｆｏｏ＠ａａａ，ｃｏ．ｊｐ”の場合に、利用者が電話発信を選択すると、中央制御部１０４は電話番号に相当する文字が認識結果候補文字列にないためエラーと判断し、電話番号ではない事を示す表示を行い、電話発信処理を終了する。また、メール発信処理を選択した場合、“ａａａ”のあとの“，”（カンマ）はメールアドレス内には一般的に使われない文字なので、“，”（カンマ）と類似していて頻繁に使われる文字“．”（ピリオド）に変換を行い、メール発信アプリケーションの起動処理を行う。また。メモ帳に格納処理を選択した場合、上記の変換を行わず、そのままの文字列を保存する。
【００８３】
文字列整形処理の後、ステップＳ５１４において、中央制御部１０４は、図１２−ｂの例では認識結果候補文字列をメモ帳に保存する処理を、図１２−ｃでは認識結果候補文字列のアドレス宛のメール送信アプリケーションを起動する処理を選択し、実行する。
【００８４】
本実施の形態では処理実行キーを押下することで中央制御部１０４が処理判定プログラムを実行した例であるが、移動判定プログラムを実行する移動判定キーを設置することも可能であり、また、移動判定キーを離した時点で処理判定プログラムを実行することも可能である。
【００８５】
また本実施の形態では言及していないが、第３の実施の形態のステップＳ４０９およびＳ４１０に相当する、手動による操作を、ステップＳ５０７，Ｓ５０８、Ｓ５１０，Ｓ５１２の判定から、ステップＳ５０６に戻る繰り返し処理中に挿入することも可能である。
【００８６】
以上のように、本実施の形態にかかる画像処理装置は、撮像装置である撮像部１０１からの入力を用いて、移動検出装置である移動検出プログラムを実行する中央制御部１０４により検出された移動方向等により、撮像された画像から抽出された認識結果候補文字列の処理を選択し、文字列を夫々のアプリケーションの形にあったように文字列整形を行い、処理を実行することができる。
【００８７】
［第５の実施の形態］
図１５は、本実施の形態にかかる画像処理装置における画像処理を示すフローチャートであり、以下、この図に従って説明する。図１５のフローチャートに示される処理もまた、中央制御部１０４がＲＯＭ１０７に格納された各プログラムを読出して実行し、図１に示される各部の動作制御を行うことで実現される。
【００８８】
本実施の形態は、撮像部１０１で撮像された画像から文字認識手段により複数の文字列候補を文字コード列として抽出して、その候補を画像処理装置の表示画面に表示し、候補の中から利用者が妥当な結果を選ぶ画像処理装置の例である。また、図１６は本実施の形態にかかる画像処理装置の表示画面の例、図１７は移動方向と処理内容との対応を示す図である。
【００８９】
図１５を参照して、まず、ステップＳ１５０１において利用者が操作部１０３のシャッターボタンを操作することで撮像画像を確定する撮像操作が行われる。次にステップＳ１５０２において、確定された撮像画像がデジタル画像データとしてＲＡＭ１０５内の画像バッファに格納される。
【００９０】
次に、ステップＳ１５０３において中央制御部１０４は文字認識プログラムを実行し、画像バッファに格納された撮像画像から、１つ以上の文字列コード情報からなる文字列候補を抽出しワークバッファに格納する。ステップＳ１５０４において文字列コード情報の文字列候補を表示する。
【００９１】
図１６の画面Ａは、文字列候補の表示例であり、中央制御部１０４は、文字認識手段の結果、撮像画像に含まれる文字列としてもっとも確からしい順序に上から順に表示する。このとき、初期注目候補は最も撮像画像に含まれる文字列である可能性が高いと考えられる、一番上に表示される第１位の候補とし、現在の注目候補を利用者にわかりやすくするために太いフォントを用いて強調しアンダーラインをつけて表示している。強調表示やアンダーライン表示はあくまで一例であり、反転表示や表示色を変更しても良い。
【００９２】
次にステップＳ１５０５において中央制御部１０４は移動検出プログラムを実行し、第３の実施の形態と同様に、撮像部の画像の変化から画像処理装置がどの方向にどのくらいの量を動いたかを検出し、ｘ軸、ｙ軸方向の移動量に分けてワークバッファに格納する。この移動検出において、すべての範囲で変動させた画像間の差の平均値が予め定めた値よりも大きい場合は、ｘ軸、ｙ軸それぞれの移動量は０として保存する。
【００９３】
ステップＳ１５０６においてｘ軸、ｙ軸それぞれの移動量の値を確認し、ｘ軸、ｙ軸とも移動量が０の場合（Ｓ１５０６でＮｏ）、移動検出が失敗したものとみなしステップＳ１５０５に戻り、移動検出処理を繰り返す。ｘ軸、ｙ軸とも０でない値となっていた場合、（Ｓ１５０６でＹｅｓ）ステップＳ１５０７に進む。
【００９４】
ステップＳ１５０７において、ｙ軸方向（上下方向）への移動量の絶対値がｘ軸方向の絶対値より大きく、かつｘ軸の負方向すなわち下方向に移動したかを判定し、真の場合（Ｓ１５０７でＹｅｓ）、ステップＳ１５０８で注目候補を１つ下位に変更し表示する。図１６の画面Ａから１つ下位に変更して表示した例が図１６の画面Ｂであり、同様に画面Ｂから画面Ｃなど繰り返して下位に変更していくことができる。
【００９５】
ステップＳ１５０７において、偽の場合（Ｓ１５０７でＮｏ）、同様に、ステップＳ１５０９において上方向への移動を判定し、真の場合（Ｓ１５０９でＹｅｓ）、ステップＳ１５１０で注目候補を１つ上位に変更する。この注目候補を１つ上位に変更する操作は、図１６における、画面Ｃから画面Ｂ、画面Ｂから画面Ａへの変更である。
【００９６】
次にステップＳ１５１１において、右方向に移動されたと判定された場合（Ｓ１５１１でＹｅｓ）、ステップＳ１５１２において現在の注目候補を選択することで、中央制御部１０４は認識結果の文字列候補を確定し終了する。このときの表示例が図１６の画面Ｄであり、確定された文字列はアプリケーション等に入力される。
【００９７】
以上により、本実施の形態にかかる画像処理装置は、撮像装置である撮像部１０１からの入力を用いて、移動検出装置である移動検出プログラムを実行する中央制御部１０４により検出された移動方向等により、撮像された画像から抽出された認識結果の文字列候補を選択することができる。
【００９８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００９９】
【図１】本発明の実施の形態における画像処理装置の構成の具体例を示す図である。
【図２】本実施の形態にかかる画像処理装置において検出される、当該画像処理の移動方向の定義を説明する図である。
【図３】本発明の第１の実施の形態にかかる画像処理装置における画像処理を示すフローチャートである。
【図４】第１の実施の形態にかかる画像処理装置における移動検出方向と処理内容との対応を示す図である。
【図５】移動検出時に用いる画像の例を示す図である。
【図６】本発明の第２の実施の形態にかかる画像処理装置における画像処理を示すフローチャートである。
【図７】本発明の第３の実施の形態にかかる画像処理装置における画像処理を示すフローチャートである。
【図８】第３の実施の形態にかかる画像処理装置における画像の移動と処理内容との対応を示す図である。
【図９】第３の実施の形態にかかる画像処理装置における撮像画像を移動させる表示画面の具体例を示す図である。
【図１０】本発明の第４の実施の形態にかかる画像処理装置における画像処理を示すフローチャートである。
【図１１】第４の実施の形態にかかる画像処理装置における画像処理装置の移動方向と処理内容との対応を示す図である。
【図１２】第４の実施の形態にかかる画像処理装置における認識結果文字列を移動させる表示画面の具体例を示す図である。
【図１３】第４の実施の形態にかかる画像処理装置におけるアイコンの色を変化させる表示画面の具体例を示す図である。
【図１４】認識結果文字列からの文字列整形の具体例を示す図である。
【図１５】本発明の第５の実施の形態にかかる画像処理装置における画像処理を示すフローチャートである。
【図１６】第５の実施の形態にかかる画像処理装置における表示画面の具体例を示す図である。
【図１７】第５の実施の形態にかかる画像処理装置における画像の移動方向と処理内容との対応を示す図である。
【符号の説明】
【０１００】
１０１  撮像部、１０２  表示部、１０３  操作部、１０４  中央制御部、１０５  ＲＡＭ、１０６  外部記憶部装置、１０７  ＲＯＭ。
【図１】
2005318091.tif 000003
【図２】
2005318091.tif 000004
【図３】
2005318091.tif 000005
【図４】
2005318091.tif 000006
【図５】
2005318091.tif 000007
【図６】
2005318091.tif 000008
【図７】
2005318091.tif 000009
【図８】
2005318091.tif 000010
【図９】
2005318091.tif 000011
【図１０】
2005318091.tif 000012
【図１１】
2005318091.tif 000013
【図１２】
2005318091.tif 000014
【図１３】
2005318091.tif 000015
【図１４】
2005318091.tif 000016
【図１５】
2005318091.tif 000017
【図１６】
2005318091.tif 000018
【図１７】
2005318091.tif 000019