(57)【要約】【課題】本発明は、カメラ付きの携帯電話機において、簡単に文字を入力することができるとともに、処理の高速化および低消費電力化が図れるようにする。【解決手段】たとえば、操作部１１からのキー入力などにもとづいて、機器全体を統括的に制御する制御回路１８には、ＣＭＯＳイメージセンサからなるカメラ部１４が接続されている。また、制御回路１８には、“唇の状態”の時間的変化に対応する文字データを、“口の動き”を画像化した画像データに関連付けて記憶するメモリ部１９が接続されている。制御回路１８は、カメラ部１４によって撮影されたユーザの“顔”画像のうち、“口”に対応する部分の画像だけを取り込んで、“唇の状態”の時間的変化から“口の動き”を解析し、対応する文字データをメモリ部１９内より読み出して表示部１３で表示する。【選択図】図１
2007087291.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し、その被写体に対応する画像情報の一部を取り込むＣＭＯＳセンサと、
前記ＣＭＯＳセンサで取り込んだ前記画像情報の一部を認識する画像認識部と、
前記画像認識部での認識結果にもとづいて、前記画像情報の一部に対応する、前記被写体の時間的変化を解析する解析部と、
前記被写体の時間的変化に対応する文字情報を記憶するメモリ部と、
前記解析部での解析結果にもとづいて、対応する前記文字情報を前記メモリ部内より読み出す制御部と、
前記制御部によって読み出された前記文字情報を表示する表示部と
を具備したことを特徴とする携帯端末装置。
【請求項２】
前記メモリ部は、前記被写体の時間的変化に対応する文字情報と、その文字情報に応じた制御内容とを、前記被写体の時間的変化を画像化した画像データに関連付けて記憶することを特徴とする請求項１に記載の携帯端末装置。
【請求項３】
前記制御部は、前記表示部に表示された前記文字情報に応じた制御内容を自動的に実行することを特徴とする請求項１に記載の携帯端末装置。
【請求項４】
前記表示部に表示された前記文字情報を装置の外部に送信する通信部を、さらに具備することを特徴とする請求項１に記載の携帯端末装置。
【請求項５】
前記ＣＭＯＳセンサは、前記画像情報の一部として、口または手に対応する部分の画像情報だけを読み出すことを特徴とする請求項１に記載の携帯端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末装置に関するもので、特に、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサにより構成されるカメラを搭載したカメラ付きの携帯電話機に関する。
【背景技術】
【０００２】
一般に、携帯電話機は、多機能化が進められている。その機能の１つとして、カメラの搭載があげられる。これにより、撮影した画像を相手先に送信することが可能となって、いわゆる写真付きメールやテレビ電話が実現されている。また、近年においては、カメラを使用して文字情報の入力を可能にしたカメラ付きの携帯電話機も提案されている（たとえば、特許文献１参照）。
【０００３】
しかしながら、このような携帯電話機に搭載されるカメラの場合、画像入力用デバイス（固体撮像装置）として、電荷結合素子型の固体撮像装置、いわゆるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）タイプのイメージセンサ（以下、ＣＣＤイメージセンサ）が専ら用いられている。通常、ＣＣＤイメージセンサは、その駆動のために、互いに電圧値の異なる３つの電源が必要とされている。たとえば、駆動電源として、５Ｖ、８Ｖ、および、１５Ｖの３つの電源が必要なＣＣＤイメージセンサの消費電力は、およそ５００ｍＷとなっている。このように、ＣＣＤイメージセンサの場合、携帯電話機に搭載した際の消費電力が問題となる。
【０００４】
また、上記したカメラによる文字情報の入力が可能なカメラ付きの携帯電話機においては、たとえば、入力したい文字情報を発話している話者（ユーザ）の“顔”の特徴に対応する画像情報をカメラによって得、その画像情報から“唇の動き”を追跡し、発話単語（入力したい文字情報）を認識するなどの方法が取られている。この場合、ＣＣＤイメージセンサでは、画像情報のフレームのすべてを処理の対象としているため、どうしても処理スピードが遅くなるという問題があった。
【特許文献１】特開２００２−２５２６８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記の問題点を解決すべくなされたもので、その目的とするところは、複雑なボタン操作を行うことなく、簡単に文字情報を入力することができるとともに、処理の高速化および低消費電力化が可能な携帯端末装置を提供することにある。
【課題を解決するための手段】
【０００６】
本願発明の一態様によれば、被写体を撮影し、その被写体に対応する画像情報の一部を取り込むＣＭＯＳセンサと、前記ＣＭＯＳセンサで取り込んだ前記画像情報の一部を認識する画像認識部と、前記画像認識部での認識結果にもとづいて、前記画像情報の一部に対応する、前記被写体の時間的変化を解析する解析部と、前記被写体の時間的変化に対応する文字情報を記憶するメモリ部と、前記解析部での解析結果にもとづいて、対応する前記文字情報を前記メモリ部内より読み出す制御部と、前記制御部によって読み出された前記文字情報を表示する表示部とを具備したことを特徴とする携帯端末装置が提供される。
【発明の効果】
【０００７】
上記の構成により、被写体に対応する画像情報の、その一部だけを取り込んで効率よく処理できるようになる結果、複雑なボタン操作を行うことなく、簡単に文字情報を入力することができるとともに、処理の高速化および低消費電力化が可能な携帯端末装置を提供できる。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の実施の形態について図面を参照して説明する。ただし、図面は模式的なものであり、寸法の比率などは現実のものとは異なることに留意すべきである。また、各図面間においても、互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。
【０００９】
［第１の実施形態］
図１は、この発明の第１の実施形態にしたがった、カメラを搭載したカメラ付き携帯電話機（携帯端末装置）の基本構成を示すものである。なお、ここでは、被写体に対応する画像情報の一部として、話者（ユーザ）の“顔”画像より“口（唇）の動き”を読み取り、それを処理の対象とするようにした場合を例に説明する。
【００１０】
図１に示すように、このカメラ付き携帯電話機１０は、たとえば、各種のボタン（キー）からなり、ユーザの操作を受け付けるための操作部１１を有している。操作部１１は、通常、携帯電話機１０の筐体の表面部に設けられている。また、携帯電話機１０の筐体の表面部には、音声を集音するマイク１２と、たとえば液晶表示素子（ＬＣＤ）で構成され、文字や画像を表示する表示部１３と、所望の被写体を撮影するカメラ部１４と、受話音声（音声情報）などを発音するスピーカ１５とが設けられている。さらに、携帯電話機１０の筐体の、たとえば上部には、アンテナ１６が設けられている。上記の操作部１１、マイク１２、表示部１３、スピーカ１５およびアンテナ１６は、携帯電話機に従来から元々搭載されているものである。
【００１１】
カメラ部１４は、ＣＣＤイメージセンサとは動作原理が異なる、ＣＭＯＳタイプの増幅型固体撮像装置（以下、ＣＭＯＳイメージセンサ）を用いて構成されている。ＣＭＯＳイメージセンサの場合、単一電源、低電圧駆動、および、低消費電力などの特徴を有している。たとえば、３Ｖの電源により駆動されるＣＭＯＳイメージセンサの消費電力は、およそ５０ｍＷとなっている。また、ＣＭＯＳイメージセンサには、撮影した被写体に対応する画像の一部だけを、高速に取り込むことができるという利点がある。
【００１２】
一方、携帯電話機１０の筐体の内部には、上記アンテナ１６に接続された無線部（通信部）１７と、操作部１１からのキー入力などにもとづいて、機器全体を統括的に制御する制御回路１８と、各種のデータなどを記憶するメモリ部１９とが設けられている。無線部１７は、他の携帯電話機などの通信機器との間もしくはネットワークとの間での通信（たとえば、通話やデータの送受信）を行う際に使用される回路部で、携帯電話機に従来から元々搭載されているものである。メモリ部１９は、携帯電話機に従来から元々搭載されている回路部で、入力されたユーザデータ、表示に必要なキャラクタデータおよびカメラ付き携帯電話機１０の動作上必要な制御データなどの他、たとえば、被写体の時間的変化に対応する文字データ（文字情報）と、その文字データに応じた制御内容とが、被写体の時間的変化を画像化した画像データに関連付けて記憶されるようになっている。
【００１３】
なお、図１には図示を省略したが、このカメラ付き携帯電話機１０には、従来と同様に、各部（制御系）に動作用の電源電圧を供給するためのバッテリや、設定に応じて電話機本体を振動させるためのバイブレータ（振動器）なども備えられている。
【００１４】
ここで、制御回路１８の構成（機能）について説明する。制御回路１８には、上記した操作部１１、マイク１２、表示部１３、カメラ部１４、スピーカ１５、無線部１７およびメモリ部１９が接続されている。制御回路１８は、上記各部を制御して、このカメラ付き携帯電話機１０を通常の電話機として使用できるようにする通話（電話機）モード以外に、たとえば、電子メールモード、カメラ（撮影）モード、および、インターネットモードなど、携帯電話機に従来から元々用意されている各種のモードを実行させるための様々な機能を有している。また、本実施形態の場合においては、上記の機能に加えて、画像にもとづいて文字データの入力を可能にする画像文字入力モードを実行するための機能、および、文字データとその文字データに応じた制御内容とを、対応する画像データに関連付けしてメモリ部１９に記憶させる画像文字登録モードを実行するための機能などを備えている。
【００１５】
すなわち、制御回路１８は、たとえば上記画像文字入力モードの設定時に、カメラ部１４により撮影されたユーザの“顔”の画像から“口”に対応する部分の画像だけを入力として受け、その“口”に対応する部分の画像から“唇の形状”を認識する画像認識部としての機能、および、“唇の形状”の時間的な変化（“口の動き”）を解析する解析部としての機能を有している。また、制御回路１８は、たとえばメモリ部１９内にあらかじめ登録されている“口の動き”を画像化した画像データと、“唇の形状”の時間的な変化を解析した際の結果との比較により、対応する文字データを読み出して表示部１３に表示させる制御部としての機能を有している。さらに、制御回路１８は、表示部１３に表示された文字データに応じた制御内容を自動的に実行させる機能を有している。また、制御回路１８は、たとえば上記画像文字登録モードの設定時に、“唇の形状”の時間的な変化を解析した際の結果を、“口の動き”を画像化した画像データとし、これに関連付けして、“唇の形状”の時間的な変化に対応する文字データ、および、その文字データに対応する制御内容を、メモリ部１９に記憶させる機能を有している。
【００１６】
図２は、上記した構成のカメラ付き携帯電話機１０におけるメモリ部１９の構成例を示すものである。メモリ部１９は、たとえば、アドレス帳や写真などのユーザデータを記憶する領域１９ａ、文字や画像を表示するためのキャラクタデータを記憶する領域１９ｂ、および、動作上必要な制御データなどを記憶する領域１９ｃとは別に、画像文字入力モード／画像文字登録モードのための各種のデータを記憶する領域１９ｄを有している。領域１９ｄとしては、たとえば、“口の動き”を画像化した画像データを記憶する領域１９ｄ-1と、これに関連付けして、“唇の形状”の時間的な変化に対応する文字データを記憶する領域１９ｄ-2と、その文字データに対応する制御内容を記憶する領域１９ｄ-3とから構成されている。
【００１７】
なお、図２においては、便宜上、“口の動き”を画像化した画像データを「カタカナ」により示している。また、“口の動き”を画像化した画像データの入力は撮影された“顔”の画像にもとづいて行われるが、文字データおよび制御内容は操作部１１の操作にもとづいて入力される。
【００１８】
次に、上記の制御回路１８による、撮影された“顔”の画像にもとづいて“唇の形状”の時間的な変化を解析する際の方法について簡単に説明する。まず、画像文字入力モードが設定されると、カメラ部１４で撮影された“顔”の画像（１フレーム分）のうちの、ほぼ“口”に対応する部分のＸ，Ｙアドレスに応じて、図示していない内部のレジスタを動作させる。これにより、カメラ部１４からは、高速に“口”に対応する部分の画像だけが制御回路１８に送られる。一般に、“口”は“顔”のほぼ中心より下方に存在することから、たとえば“顔”の輪郭（顎の位置など）に対して、おおよその画素エリア（Ｘ，Ｙアドレス）をセットすることで、カメラ部１４では“口”に対応する部分の画像だけを比較的容易に得ることができる。
【００１９】
制御回路１８では、カメラ部１４からの“口”に対応する部分の画像を、たとえば０．１ｍｓ間隔で取得し、取得した各画像上における“口”の位置を画像認識などにより認識する。また、それぞれに認識した“口”の、たとえば“唇の形状”を複数点の座標データとして捉える。そして、各画像における“唇の形状”のそれぞれの座標データの変化から、“唇の形状”の時間的変化を数値化する。こうして、“唇の形状”の時間的変化を解析することによって、たとえば“口の動き”を単純なラインにより画像化した画像データを得る。
【００２０】
以上のようにして、話者（ユーザ）の“口の動き”を、“唇の形状”の時間的な変化を解析することにより読み取ることが可能である。特に、カメラ部１４にＣＭＯＳイメージセンサを使用するようにしているので、ＣＣＤイメージセンサに比べ、高速動作が可能で、低消費電力化が可能となる。すなわち、ＣＭＯＳイメージセンサの場合、“口”に対応した部分の画素の電荷だけを選択的に画像として取り出せるので、より短時間に、“口の動き”を読み取ることができる。また、ＣＭＯＳイメージセンサを使用している分だけ処理回路を簡素化できるなど、ＣＣＤイメージセンサを用いた場合に比べ、消費電力を小さくでき、カメラ付き携帯電話機１０の連続使用時間を長くすることが可能となる。
【００２１】
図３は、上記した構成のカメラ付き携帯電話機１０の動作を説明するために示すものである。なお、ここでは、画像文字入力モードが設定された際の処理の流れについて説明する。また、メモリ部１８内には、たとえば図２に示したように、文字の入力に必要なデータ（１９ｄ）として、画像文字登録モードの設定により、あらかじめ“口の動き”を画像化した画像データ（１９ｄ-1）に対応付けられて、その画像データに対応する文字データ（１９ｄ-2）および制御内容（１９ｄ-3）が、すべて記憶されているものとして説明する。たとえば、画像データに対応する文字データおよび制御内容としては、操作部１１から入力される場合に限らず、無線部１７を用いて事前にネットワークから取得される場合もある。
【００２２】
図３に示すように、カメラ付き携帯電話機１０の電源が投入されている状態において、まず、画像文字入力モードが設定されたとする。画像文字入力モードの設定の方法については特に限定されないが、たとえば操作部１１に設けられた専用の操作ボタン（図示していない）を操作することによって行われる。つまり、画像文字入力モードを設定するための操作ボタンが操作されると、対応する制御系、たとえば制御回路１８によってカメラ部１４などが動作状態となる。
【００２３】
画像文字入力モードが設定された状態においては、カメラ部１４により撮影されたユーザの“顔”の画像が読み取られ、その“顔”の画像のうち、“口”に対応する部分の画像だけが制御回路１８に入力される（ステップＳ０１〜Ｓ０３）。
【００２４】
制御回路１８では、“口”に対応する部分の画像だけを取り込んで、“口”の位置を認識する（ステップＳ０４）。
【００２５】
以上の動作（ステップＳ０１〜Ｓ０４）を繰り返し（ステップＳ０５）、逐次、上記ステップＳ０４での認識の結果にもとづいて、“唇の形状”の時間的変化を解析して、“口の動き”を画像化した画像データを得る（ステップＳ０６）。
【００２６】
続いて、制御回路１８は、上記ステップＳ０６で得た“口の動き”を画像化した画像データを、たとえば単語単位で、メモリ部１９内にすでに登録されている“口の動き”を画像化した画像データと比較照合して、合致した“口の動き”を画像化した画像データに対応する文字データおよび制御内容をメモリ部１９内より読み出す（ステップＳ０７）。
【００２７】
続いて、制御回路１８は、上記ステップＳ０７において、メモリ部１９内より読み出した文字データおよび制御内容を、表示部１３で表示させるとともに、必要に応じて、制御内容にしたがって、対応する制御系を動作させる（ステップＳ０８）。
【００２８】
ここで、上記画像文字入力モードが設定された状態において、たとえば「オ・ハ・ヨ・ウ」という“口の動き”に対応して画像化された画像データが得られたとする。この場合、制御回路１８は、合致した「オ・ハ・ヨ・ウ」に対応する文字データ「おはよう」をメモリ部１９内より読み出す。そして、メモリ部１９内より読み出した文字データ「おはよう」を表示部１３で表示させる。また、たとえば「ソ・ウ・シ・ン」という“口の動き”に対応して画像化された画像データが得られたとする。この場合、制御回路１８は、合致した「ソ・ウ・シ・ン」に対応する文字データ「送信」および制御内容「メールの送信」をメモリ部１９内より読み出す。そして、メモリ部１９内より読み出した文字データ「送信」および制御内容「メールの送信」を表示部１３で表示させるとともに、制御内容「メールの送信」にしたがって、たとえば作成済みのメールの送信を実行すべく各部（無線部１７など）を制御する。
【００２９】
このように、たとえばメールの作成に際して、画像文字入力モードを設定することにより、「おはよう」などの文字の入力のみでなく、「メールの送信」といった動作や制御などの指示まで、カメラを用いた画像による入力が可能となる。
【００３０】
なお、一連の画像を用いた文字の入力において、ユーザが入力しようとした文字（発音単語）と異なる文字データが表示部１３に表示された場合には、上記のステップＳ０１〜Ｓ０８の処理が繰り返されて、再入力による修正が行われる（ステップＳ０９）。
【００３１】
一方、ユーザが入力しようとした文字に対応する文字データが正しく表示部１３に表示された場合には、制御回路１８は、たとえば画像文字登録モードの設定時と同様に、“口の動き”を画像化した画像データに関連付けして、対応する文字データおよび制御内容をメモリ部１９内に保存し、メモリ部１９内のデータを更新する（ステップＳ１０）。これにより、データのフィードバックによる“学習”の効果が期待できる。
【００３２】
上記したように、本実施形態によれば、複雑なボタン（キー）操作を必要とすることなく、簡単に、しかも、より短時間に、文字を入力することが可能となる。すなわち、ＣＭＯＳイメージセンサを用いることによって、話者の“顔”の画像から“口”に対応する部分の画像だけを効率よく取り込むことが可能となる。これにより、効率のよい処理が可能となって、文字の入力に要する時間を短縮できるようになる。特に、ＣＭＯＳイメージセンサは、ＣＣＤイメージセンサに比べて、消費電力が小さい。したがって、面倒な文字の入力にかかる処理を高速化および低消費電力化でき、バッテリの交換や充電の回数の減少により、携帯電話機のさらなる連続した長時間の使用が可能となるものである。
【００３３】
特に、聴覚や指先に障害を持つ人または騒音下といった状況においては、より便利な携帯電話機をユーザに供給することが可能となり、たとえば、聴覚に障害を持つ人同士の通話（メール）は勿論のこと、健聴者との通話（メール）も可能となる。
【００３４】
なお、上記した第１の実施形態においては、文字の入力に際して、カメラ部（ＣＭＯＳイメージセンサ）からの画像を解析し、その結果にもとづいて、対応する文字データを読み出して表示するようにした場合を例に説明したが、これに限らず、たとえばカメラ部からの画像と音声パターン（発音単語）とを解析した結果にもとづいて、対応する文字データを読み出して表示させるようにすることも容易に可能である。
【００３５】
また、文字データとともに、メモリ部内より音声パターンを読み出して出力させるようにすること、もしくは、文字データを音声パターンに変換して出力させるようにすることも、容易に可能である。
【００３６】
また、“口の動き”から発音単語に対応する文字データを読み出して表示する場合に限らず、たとえば、手話を解析した際の結果や手書き文字を解析した際の結果に対応する文字データを読み出して表示させるように構成することもできる。この場合、手話を使う人との通話や、複雑なボタン操作が行えない人とのメール交換も可能となる。
【００３７】
現在では、携帯電話機を用いた電子メールも広く普及しており、電子メールを送信するユーザは、そのメールの内容を、操作部を操作することによって一文字ずつ順に入力する必要がある。携帯電話機は、小型・軽量化が進められているので、操作ボタンの数や種類が極めて限定されている。そのため、文字を入力する際には、同じボタンを何回も操作することが必要で、極めて煩雑な操作がユーザに強いられている。よって、操作ボタンを操作することなく、簡単に文字を入力することができる携帯電話機は、ユーザにとって非常に扱い易いものとなるだけでなく、将来的には携帯電話機から操作部をなくすことも可能である。
【００３８】
［第２の実施形態］
図４は、この発明の第２の実施形態にしたがった、カメラを搭載したカメラ付き携帯電話機（携帯端末装置）の基本構成を示すものである。なお、図１に示した携帯電話機１０と同一箇所には同一符号を付して、ここでの詳しい説明は割愛する。
【００３９】
図４に示すように、このカメラ付き携帯電話機１０’は、たとえば筐体の表面部に、音声を集音するマイク１２と、文字や画像を表示する表示部（ＬＣＤ）１３と、所望の被写体を撮影するカメラ部（ＣＭＯＳイメージセンサ）１４と、受話音声（音声情報）などを発音するスピーカ１５とが設けられている。さらに、携帯電話機１０’の筐体の、たとえば上部には、アンテナ１６が設けられている。
【００４０】
一方、携帯電話機１０’の筐体の内部には、上記アンテナ１６に接続された無線部（通信部）１７と、音声入力などにもとづいて、機器全体を統括的に制御する制御回路１８と、各種のデータなどを記憶するメモリ部１９とが設けられている。
【００４１】
すなわち、このカメラ付き携帯電話機１０’の場合、たとえば、文字や動作および制御のための指示（制御内容）など、すべてをカメラ部１４からの画像によって入力できるようにすることにより、ひらがなやアルファベットなどのボタンを含む操作部をなくすことが可能となる。これにより、携帯電話機の一層の小型・軽量化が図れるとともに、ユーザにとってもより使い易い携帯電話機とすることができる。
【００４２】
なお、上記したいずれの実施形態においても、“唇の形状”の時間的変化の解析、および、“口の動き”を画像化した画像データとの比較照合などの各処理は、文字（入力画像）単位もしくは単語単位など、任意の単位で実行することが可能である。
【００４３】
また、たとえば遠隔操作制御信号により遠隔制御される被制御機器に信号を送信するための信号送信部を備える、いわゆるカメラ付きの携帯端末機にも適用できる。
【００４４】
その他、本願発明は、上記（各）実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記（各）実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。たとえば、（各）実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、その構成要件が削除された構成が発明として抽出され得る。
【図面の簡単な説明】
【００４５】
【図１】この発明の第１の実施形態にしたがった、カメラ付き携帯電話機の基本構成を示すブロック図。
【図２】図１に示したカメラ付き携帯電話機における、メモリ部の一例を示す構成図。
【図３】図１に示したカメラ付き携帯電話機の動作を説明するために示すフローチャート。
【図４】この発明の第２の実施形態にしたがった、カメラ付き携帯電話機の基本構成を示すブロック図。
【符号の説明】
【００４６】
１０，１０’…カメラ付き携帯電話機、１１…操作部、１２…マイク、１３…表示部、１４…カメラ部（ＣＭＯＳイメージセンサ）、１５…スピーカ、１６…アンテナ、１７…無線部、１８…制御回路、１９…メモリ部。
【図１】
2007087291.tif 000003
【図２】
2007087291.tif 000004
【図３】
2007087291.tif 000005
【図４】
2007087291.tif 000006