(57)【要約】【課題】通話者発声の品質が低下した場合であっても、通話者の唇部分の画像に基づく補正を有効に活用することによって音声出力の品質を著しく向上させる。【解決手段】音声入力は、音声解析部１０１によって解析して発声内容データに変換されて音声データ比較／補正部１０２に入力され、情報集積部１３に入力される。画像入力は、画像解析部１０４によって解析され、そのデータを音声データ抽出部１０５に出力すると同時に、情報集積部１３にも出力され、画像認識によって得られた文字データが音声データ比較/補正部１０２に出力される。情報集積部１３は、音声と画像のデータに対して学習を行い、その結果データをメモリ蓄積する。音声の途切れや不明瞭部分が存在する場合には、学習蓄積データをもとに補正を加え、音声データ圧縮部１０３に出力し正確な音声情報を次段回路に送出する。【選択図】図２
2005244394.tif 000002
【特許請求の範囲】
【請求項１】
通話者の発声を検出して得られた第１の音声データを、該通話者の唇部分を撮像して得られた画像データに基づいて生成された第２の音声データで補正した発声内容出力として送出し得る撮像機能付き携帯電話機において、
前記第１の音声データを解析して第１の発声内容データに変換し、
前記画像データを解析すると共に、該解析されたデータを学習して蓄積した第２の発声内容データを求め、
前記発声内容出力は、前記第１の発声内容データと前記第２の発声内容データを比較して両データが異なっていたときに前記第１の音声データを前記第２の音声データで補正して送出し得るように構成することを特徴とする撮像機能付き携帯電話機。
【請求項２】
通話者の発声を検出して得られた第１の音声データを、該通話者の唇部分を撮像して得られた画像データに基づいて生成された第２の音声データで補正した発声内容出力として送出し得る撮像機能付き携帯電話機において、
前記第１の音声データを解析して第１の発声内容データに変換し、
前記画像データを解析すると共に、該解析されたデータを学習して蓄積した第２の発声内容データを求め、
前記発声内容出力は、前記第１の発声内容データに途切れ部分があったときに、前記第１の音声データを前記第２の音声データで補正して送出し得るように構成することを特徴とする撮像機能付き携帯電話機。
【請求項３】
通話者の発声を検出して得られた第１の音声データを、該通話者の唇部分を撮像して得られた画像データに基づいて生成された第２の音声データで補正した発声内容出力として送出し得る撮像機能付き携帯電話機において、
前記第１の音声データを解析して第１の発声内容データに変換し、
前記画像データを解析すると共に、該解析されたデータを学習して蓄積した第２の発声内容データを求め、
前記発声内容出力は、前記第１の発声内容データに不明瞭な部分があったときに、前記第１の音声データを前記第２の音声データで補正して送出し得るように構成することを特徴とする撮像機能付き携帯電話機。
【請求項４】
前記第１の発声内容データと前記第２の発声内容データのそれぞれは、音声を文字データに変換するように構成することを特徴とする請求項１乃至請求項３のいずれかに記載の撮像機能付き携帯電話機。
【請求項５】
前記発声内容出力は、当該携帯電話機から送出される送信音声データとして用いられるように構成することを特徴とする請求項１乃至請求項４のいずれかに記載の撮像機能付き携帯電話機。
【請求項６】
前記発声内容出力は、当該携帯電話機における各種の動作指令を与えるための制御指令データとして用いられるように構成することを特徴とする請求項１乃至請求項４のいずれかに記載の撮像機能付き携帯電話機。
【請求項７】
前記発声内容出力は、当該携帯電話機から送出される送信メールデータとして用いられるように構成することを特徴とする請求項１乃至請求項４のいずれかに記載の撮像機能付き携帯電話機。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像機能付き携帯電話機に関し、特に、通話者の発声を検出して得られた第１の音声データを、該通話者の唇部分を撮像して得られた画像データに基づいて生成された第２の音声データで補正した出力として送出し得る撮像機能付き携帯電話機に関する。
【背景技術】
【０００２】
撮像機能付き携帯電話機を用いて自画像や風景等の画像データを相手方に送信しながら音声送受信を行うテレビ電話通話を行う場合、携帯電話機の有するマイクロホンで通話者の発声を検出して得られた音声データを送信するに際し、相手方に送信される音声の品質を向上させるため、通話者の唇部分を撮像して得られた画像データに基づいて補正用音声データを生成し、通話者が発声した音声に途切れ等の不具合が発生したときに、当該音声のデータを補正用音声データで補正して送信音声出力とすることができる携帯電話機が［特許文献１］乃至［特許文献３］として存在する。
【０００３】
［特許文献１］に開示されている情報処理方法および装置は、発声者の音声を検出して得られた音声データを音声認識して文字データ化し、その認識率を向上させるために、追加的に発声者の唇の形状と動きを抽出して得られた画像データに基づく文字データによって必要に応じてデータ補正を行い、このデータを送信音声出力としている。
【０００４】
この場合、画像データの抽出は、発声者の顔の部分のみとすることが望ましいので、発声者の顔以外の背景画像を入力しないようにし、その抽出する範囲が発声者に解るように構成されたマスクを発声者と撮像装置の間に設置した状態で発声させると同時に顔部分の画像データを得ることによって音声の認識率を向上させている。
【０００５】
また、［特許文献２］に開示されている移動体通信装置によれば、発声者の唇形状の認識を行う唇形状認識部と、予め発声者の唇形状の画像データを格納する唇形状メモリ部とを設け、唇形状認識部から出力される唇形状データを、唇形状メモリ部に格納されているデータと対比させた状態で認識させることによって、送信音声出力を最終的に得るための発声内容データ（文字データ）を得ることができる。
【０００６】
従って、発声者（送話者）の唇形状を認識するという動作が付加されているため、発声者の音声認識率を向上させることができる。
【０００７】
さらに、［特許文献３］に開示されている音声認識装置によれば、発声者の音声を入力する音声入力部と、発声者の唇の形状に関する視覚的情報を入力する画像入力部と、音声入力部および画像入力部のそれぞれに入力された情報に基づいて音声認識をすることによって音声認識率を向上させることができる。
【０００８】
このような従来例に開示されている音声認識を行う際には、その解析を行う部分の基本回路が例えば図３に示すように構成され、通話者（発声者）の発声をマイクロホンを用いて電気信号に変換した音声入力の信号が音声解析部１に入力されることによって音声データが生成されて音声データ比較／補正部２に入力される。
【０００９】
そして、音声解析部１によって通話者の発声した音声データが発声内容データ（例えば、文字データ）に変換され、音声データ比較／補正部２に入力され、一方、通話者の唇を主要部とする画像データは、画像解析部４によって解析され、そのデータが音声データ抽出部５に入力されることによって、唇の動きに基づく発声文字のデータが抽出されて音声データ比較／補正部２に入力される。
【００１０】
この音声データ比較／補正部２によって比較／補正された出力、即ち、元音声データを補正用音声データで補正した出力は音声データ圧縮部３に入力され送信用の圧縮音声出力として送信部に入力されて相手方に音声データ送信を行うことができるのである。
【特許文献１】特開平７−２８４９０公報（［００１１］〜［００１７）、図２〜図６参照）
【特許文献２】特開２００２−１１８６２３公報（［００１１］〜［００１７）、図１、図２参照）
【特許文献３】特開昭６０−１８８９９８公報（［００００］〜［００００］、図２参照）
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来の撮像機能付き携帯電話機は、通話者の発声による元音声データを解析して発声内容データを得る際に、通話者の唇の動きに対応する画像データを解析した補正用音声データの内容を加味することによって音声認識率をある程度向上させることができるものの、外部騒音等に起因して音声の品質が著しく低下してしまう虞がある。
【００１２】
そこで、本発明の目的は、通話者の発声に基づく音声データの品質が低下した場合であっても、通話者の唇部分の画像データに基づく補正を有効に活用することによって発声に基づく音声の品質を著しく向上させることができる撮像機能付き携帯電話機を提供することにある。
【課題を解決するための手段】
【００１３】
本発明による撮像機能付き携帯電話機は、前記課題を解決するために次に列挙するような特徴的な構成を採用している。
【００１４】
（１）通話者の発声を検出して得られた第１の音声データを、該通話者の唇部分を撮像して得られた画像データに基づいて生成された第２の音声データで補正した発声内容出力として送出し得る撮像機能付き携帯電話機において、
前記第１の音声データを解析して第１の発声内容データに変換し、前記画像データを解析すると共に、該解析されたデータを学習して蓄積した第２の発声内容データを求め、前記発声内容出力は、前記第１の発声内容データと前記第２の発声内容データを比較して両データが異なっていたときに前記第１の音声データを前記第２の音声データで補正して送出し得るように構成する撮像機能付き携帯電話機。
【００１５】
（２）通話者の発声を検出して得られた第１の音声データを、該通話者の唇部分を撮像して得られた画像データに基づいて生成された第２の音声データで補正した発声内容出力として送出し得る撮像機能付き携帯電話機において、
前記第１の音声データを解析して第１の発声内容データに変換し、前記画像データを解析すると共に、該解析されたデータを学習して蓄積した第２の発声内容データを求め、前記発声内容出力は、前記第１の発声内容データに途切れ部分があったときに、前記第１の音声データを前記第２の音声データで補正して送出し得るように構成する撮像機能付き携帯電話機。
【００１６】
（３）通話者の発声を検出して得られた第１の音声データを、該通話者の唇部分を撮像して得られた画像データに基づいて生成された第２の音声データで補正した発声内容出力として送出し得る撮像機能付き携帯電話機において、
前記第１の音声データを解析して第１の発声内容データに変換し、前記画像データを解析すると共に、該解析されたデータを学習して蓄積した第２の発声内容データを求め、前記発声内容出力は、前記第１の発声内容データに不明瞭な部分があったときに、前記第１の音声データを前記第２の音声データで補正して送出し得るように構成する撮像機能付き携帯電話機。
【００１７】
（４）前記第１の発声内容データと前記第２の発声内容データのそれぞれは、音声を文字データに変換するように構成する上記（１）乃至（３）のいずれかに記載の撮像機能付き携帯電話機。
【００１８】
（５）前記発声内容出力は、当該携帯電話機から送出される送信音声データとして用いられるように構成する上記（１）乃至（４）のいずれかに記載の撮像機能付き携帯電話機。
【００１９】
（６）前記発声内容出力は、当該携帯電話機における各種の動作指令を与えるための制御指令データとして用いられるように構成する上記（１）乃至（４）のいずれかに記載の撮像機能付き携帯電話機。
【００２０】
（７）前記発声内容出力は、当該携帯電話機から送出される送信メールデータとして用いられるように構成する上記（１）乃至（４）のいずれかに記載の撮像機能付き携帯電話機。
【発明の効果】
【００２１】
本発明による撮像機能付き携帯電話機は、第１の音声データを解析して第１の発声内容データに変換し、前記画像データを解析すると共に、該解析されたデータを学習して蓄積した第２の発声内容データを求め、前記発声内容出力は、前記第１の発声内容データと前記第２の発声内容データを比較して必要に応じて補正を行うように構成されているので、通話者の発声に基づく音声データの品質が、外部騒音、不明瞭な発声、音声電気信号に一時的なノイズが乗った場合、発声の音が小さい場合であっても、通話者の唇部分の画像データに基づく補正を有効に活用することによって発声に基づく音声の品質を著しく向上させることができるのである。
【実施例１】
【００２２】
本発明の実施の形態を［実施例１］として説明する。なお、この例は、テレビ電話機能を有する撮像機能付き携帯電話機に本発明を適用したものであり、撮像機能付き携帯電話機の全体を複合的に制御するための制御部６が設けられ、この制御部６に無線部７が接続され、この無線部７にアンテナ８が接続され、無線部７によってテレビ電話形式の通話のための音声データと画像データの送受信を行うことができる。
【００２３】
制御部６に接続されたカメラ部９は、撮像方向を機器本体の外方に向けて風景等の通常画面を撮像できると共に、内方に向けて通話者の顔を撮像することができるような撮像方向可変機構（不図示）を有して構成されている。
【００２４】
制御部６にスピーカ１０とマイク１１が接続され、スピーカ１０には、通話相手から送信される音声信号を無線部７によって受信された信号が供給され、通話者（発声者）の発声をマイク１１を用いて電気信号に変換した音声入力が制御部６に供給され、これと同時的に、装置内臓型のカメラ部９を用いて撮像された画像入力が制御部６に供給される。
【００２５】
制御部６に接続される操作部１２には、ＬＣＤ表示部１２Ａ、テンキー１２Ｂおよび選択スイッチ１２Ｃが設けられ、ＬＣＤ表示部１２Ａには制御部６から送出される信号に基づいて通話先の電話番号、アドレス帳、現在の通話モード、文字送受信、電波状態等々の表示が行われ、テンキー１２Ｂによって通話先の電話番号入力、文字データの送信のための文字入力操作が行われ、選択スイッチ１２Ｃによって動作モードの選択や確定が行われるように構成されている。
【００２６】
このような制御部６は、図２に機能ブロックとして示されるように構成され、その動作を図１に示す全体回路を併せて次に説明する。
【００２７】
マイク１１から出力される第１の音声データは、音声解析部１０１によって解析して第１の発声内容データに変換されて音声データ比較／補正部１０２に入力されると共に、情報集積部１３に入力される。
【００２８】
一方、カメラ部９から出力される画像入力は、画像解析部１０４によって解析され、該解析されたデータを音声データ抽出部１０５に出力すると同時に、情報集積部１３にも出力され、音声データ抽出部１０５による画像認識によって得られた文字データが音声データ比較/補正部１０２に出力される。
【００２９】
情報集積部１３は、音声と画像のそれぞれから得られるデータに対して学習を行い、その結果データをメモリ蓄積するもので、音声データ比較／補正部１０２から文字生成／判定部１４に出力されるデータは、第１および第２の音声データの比較を実施し、情報集積部１３からの出力によって更に比較・補正されたデータから文字(文章)を生成し、この文字（文章）の判定を文字生成／判定部１４によって行い、音声の途切れや不明瞭部分が存在する場合には、通話者の音声入力と画像入力から解析された蓄積された情報（情報集積部１３による学習蓄積データ）をもとに更なる補正を加え、音声データ圧縮部１０３に出力し、文字データを音声化し、適宜に圧縮したデータとし、無線部７に送出することによって正確な音声情報を送出することができる。
【００３０】
このとき、画像入力に基づく発声内容と音声入力に基づく内容が一致していた場合においては、補正を行わずそのままの状態で次段回路に出力されるようにしている。
【００３１】
なお、本発明によるカメラ付き携帯電話装置は、前述の［実施例１］に限定されることなくその要旨を逸脱しない範囲内で種々の変形実施を採用できることは勿論である。
【００３２】
［実施例１］は、補正を行うための前提条件が、音声発声データと画像に基づいて生成された音声データが異なった場合、両者の比較によって不明瞭と判定された場合、音声欠落があった場合、のすべての場合に対応している例であるが、これに限定されることなくこれらの条件のうちの１つを満たせばよいものである。
【００３３】
また、撮像機能付き携帯電話機をテレビ電話システムに用いる場合に本発明を適用した例であるが、音声のみの送受信を行う電話システムにも本発明を適用することができる。
【００３４】
即ち、通話者の発声をマイクロホンで検出して第１の音声内容データを求め、これと同時的にカメラ部によって通話者の唇部分の撮像を行なうことによって第２の音声内容データを求めておき、通話者の周囲の騒音が大きく発声そのものの判読が困難になってしまい確実な第１の音声内容データを求めることができなかった場合には、唇部分の撮像によって得られた第２の音声内容データに置き換えることによって高騒音環境における音声通話を確実に行うことができる。
【００３５】
さらに、発声の情報は、携帯電話機から送出される送信音声データとして用いられる前提が［実施例１］であるが、発声内容出力を、当該携帯電話機における各種の動作指令を与えるための制御指令データとして用いるようにしたり、当該携帯電話機から送出される送信メールデータとして用いられるように構成してもよいことは勿論である。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施の形態による［実施例１］の撮像機能付き携帯電話機の全体回路を表わすブロック図である。
【図２】図１中に示される制御部の動作を機能的に表わすブロック図である。
【図３】従来の撮像機能付き携帯電話機における音声認識の動作を機能的に表わすブロック図である。
【符号の説明】
【００３７】
１    音声解析部
２    音声データ比較／補正部
３    音声データ圧縮部
４    画像解析部
５    音声データ抽出部
６    制御部
７    無線部
８    アンテナ
９    カメラ部
１０    スピーカ
１１    マイク
１２    操作部
１２Ａ  ＬＣＤ表示部
１２Ｂ  テンキー
１２Ｃ  選択スイッチ
１３    情報集積部
１４    文字生成／判定部
１０１  音声解析部
１０２  音声データ比較／補正部
１０３  音声データ圧縮部
１０４  画像解析部
１０５  音声データ抽出部
【図１】
2005244394.tif 000003
【図２】
2005244394.tif 000004
【図３】
2005244394.tif 000005