(57)【要約】【課題】  発話者の無声音声と発声時の口唇の動画情報を利用して、通常の有声音を含む発話時に想定される音声を合成する音声通話装置および音声通話システムを提供することを目的とする。【解決手段】  音声通話装置は固定電話や携帯電話等であり、マイクロフォン１００と音声信号分析器１０１、カメラ１０２、映像信号分析器１０３、音声信号合成器１０４、辞書情報データベース１０５から構成されている。マイクロフォン１００は、音声を入力するためのものであり、マイクロフォン１００から入力された音声（ここでは、無声音）が音声信号分析器１０１へ送信される。音声信号分析器１０１は、マイクロフォン１００から入力された無声音で主に子音に関する情報が抽出される。【選択図】  図１
2006276470.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力する入力手段と、
音声を発する時の口唇部の動きを撮像する撮像手段と、
前記入力手段によって入力された音声から音声信号を抽出する音声信号抽出手段と、
前記音声信号抽出手段によって抽出された音声信号と前記撮像手段によって撮像された撮像データとから前記音声信号抽出手段で抽出する音声と異なる音声を抽出する映像信号抽出手段と、
音声を合成する音声合成手段とを有し、
前記入力手段に入力される音声は無声音声であり、前記無声音声から前記音声信号抽出手段によって子音に関する情報を抽出するとともに、
前記映像信号抽出手段は、前記撮像手段で撮像された口唇部の動きの撮像データと、前記音声信号抽出手段によって抽出された子音に関する情報とから有声音、母音に関する情報を抽出し、
前記音声信号抽出手段によって抽出された子音に関する情報と前記映像信号抽出手段によって抽出された有声音、母音に関する情報とから音声合成手段によって音声を合成することを特徴とする音声通話装置。
【請求項２】
前記音声合成手段は、無声音のみによる発声と有声音を含む発声との情報及び口唇の動作と有声音を含む発声との情報を有するデータベースを備えることを特徴とする請求項１記載の音声通話装置。
【請求項３】
前記音声抽出手段が抽出する子音に関する情報は、前記口唇部の動きに合わせた子音発声情報であることを特徴とする請求項１記載の音声通話装置。
【請求項４】
音声を入力する入力手段と、口唇部の動きを撮像する撮像手段とを備える移動通信端末と、
前記移動通信端末から無線通信によって送信された音声データと撮像データを用いて音声を合成し、他の移動通信端末や電話装置へ合成された音声を送信する音声合成装置とを備えた音声通話システムであって、
前記音声合成装置は、前記移動通信端末から送信された音声データから子音に関する情報を抽出する音声信号抽出手段と、
前記移動通信端末から送信された映像データと前記音声信号抽出手段で抽出された音声信号から有声音、母音に関する情報を抽出する映像信号抽出手段と、
前記音声信号抽出手段と前記映像信号抽出手段とから送信された情報から音声を合成する音声合成手段とを有し、
前記音声信号抽出手段が、前記映像信号抽出手段へ送信する音声信号は、前記口唇部の動きに合わせた子音発声情報であり、該子音発声情報と前記口唇部の動きを撮像した撮像データから前記映像信号抽出手段で有声音、母音に関する情報を抽出され、前記音声合成手段によって音声を合成し、他の移動通信端末や電話装置へ音声を送信することを特徴とする音声通話システム。
【請求項５】
前記音声合成手段は、無声音のみによる発声と有声音を含む発声との情報及び口唇の動作と有声音を含む発声との情報を有するデータベースを備えることを特徴とする請求項４記載の音声通話システム。
【請求項６】
前記撮像手段は、前記口唇部の口唇の輪郭のみを抽出する手段を有することを特徴とする請求項４記載の音声通話システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、無声音声と口唇画像から音声を合成する音声通話装置および音声通話システムに関する。
【背景技術】
【０００２】
会議中や公共交通機関の利用中などでは、発話側が通常の音声を発生することが困難な環境にある場合に、電話装置等を利用して通話する際に、発話者は無声音（いわゆるひそひそ声の）のみによる発話を行うことがあるが、このとき受話側では、発話者の話の内容を理解しにくいという問題がある。
【０００３】
そこで、上記問題を解決するために、特許文献１に開示されている発明では、人もしくは動物の口唇部が写っている動画像から、口唇部の形状変化を抽出し、抽出した口唇部の形状情報と文字情報とを関連づけ、文字情報と音声情報を関連づけて生成された音声データを音声として発音することが可能な携帯端末がある。
【特許文献１】特開２００４−２７１６２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の発明では、単独の口唇映像分析による発話内容の合成、単独の無声音声の分析による有声音を含む通常の音声の合成等は、いずれも通常の音声合成のための情報が不足しており、十分な品質の合成音声の実現が困難である。
【０００５】
本発明は係る問題に鑑みてなされたものであり、発話者の無声音声と発声時の口唇の動画情報を利用して、通常の有声音を含む発話時に想定される音声を合成する音声通話装置および音声通話システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１記載の発明は、音声を入力する入力手段と、音声を発する時の口唇部の動きを撮像する撮像手段と、前記入力手段によって入力された音声から音声信号を抽出する音声信号抽出手段と、前記音声信号抽出手段によって抽出された音声信号と前記撮像手段によって撮像された撮像データとから前記音声信号抽出手段で抽出する音声と異なる音声を抽出する映像信号抽出手段と、音声を合成する音声合成手段とを有し、前記入力手段に入力される音声は無声音声であり、前記無声音声から前記音声信号抽出手段によって子音に関する情報を抽出するとともに、前記映像信号抽出手段は、前記撮像手段で撮像された口唇部の動きの撮像データと、前記音声信号抽出手段によって抽出された子音に関する情報とから有声音、母音に関する情報を抽出し、前記音声信号抽出手段によって抽出された子音に関する情報と前記映像信号抽出手段によって抽出された有声音、母音に関する情報とから音声合成手段によって音声を合成することを特徴とする。
【０００７】
請求項２記載の発明は、請求項１記載の発明において、前記音声合成手段は、無声音のみによる発声と有声音を含む発声との情報及び口唇の動作と有声音を含む発声との情報を有するデータベースを備えることを特徴とする。
【０００８】
請求項３記載の発明は、請求項１記載の発明において、前記音声抽出手段が抽出する子音に関する情報は、前記口唇部の動きに合わせた子音発声情報であることを特徴とする。
【０００９】
請求項４記載の発明は、音声を入力する入力手段と、口唇部の動きを撮像する撮像手段とを備える移動通信端末と、前記移動通信端末から無線通信によって送信された音声データと撮像データを用いて音声を合成し、他の移動通信端末や電話装置へ合成された音声を送信する音声合成装置とを備えた音声通話システムであって、前記音声合成装置は、前記移動通信端末から送信された音声データから子音に関する情報を抽出する音声信号抽出手段と、前記移動通信端末から送信された映像データと前記音声信号抽出手段で抽出された音声信号から有声音、母音に関する情報を抽出する映像信号抽出手段と、前記音声信号抽出手段と前記映像信号抽出手段とから送信された情報から音声を合成する音声合成手段とを有し、前記音声信号抽出手段が、前記映像信号抽出手段へ送信する音声信号は、前記口唇部の動きに合わせた子音発声情報であり、該子音発声情報と前記口唇部の動きを撮像した撮像データから前記映像信号抽出手段で有声音、母音に関する情報を抽出され、前記音声合成手段によって音声を合成し、他の移動通信端末や電話装置へ音声を送信することを特徴とする。
【００１０】
請求項５記載の発明は、請求項４記載の発明において、前記音声合成手段は、無声音のみによる発声と有声音を含む発声との情報及び口唇の動作と有声音を含む発声との情報を有するデータベースを備えることを特徴とする。
【００１１】
請求項６記載の発明は、請求項４記載の発明において、前記撮像手段は、前記口唇部の口唇の輪郭のみを抽出する手段を有することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、発話者の無声音声と発声時の口唇の動画像情報を利用して通常の有声音を含む発声時に想定される音声を合成し、これを受話側へ伝えるので、通常の音声を発声することが困難な状況時に、受話側に発話内容をより容易に伝えることができる。
【発明を実施するための最良の形態】
【００１３】
まず、本発明の概略について説明する。
本発明は、電話機等の電子機器を介した通話において、無声音のみにて発話する場合に、発話時の音声情報と口唇の動画像情報を利用して通常の有声音及び無声音を含む発声を行った場合に想定される音声を合成し、受話側に伝送することにより、会議中、公共交通機関利用中など、発話側が通常の音声を発声することが困難な環境にある場合に、受話側に発話内容をより容易に伝えるための音声通話装置を提供する。
【００１４】
次に、図面を参照して、本実施形態について説明する。
図１は、音声通話装置の構成を示した図である。
音声通話装置は固定電話や携帯電話等であり、マイクロフォン１００と音声信号分析器１０１、カメラ１０２、映像信号分析器１０３、音声信号合成器１０４、辞書情報データベース１０５から構成されている。マイクロフォン１００は、音声を入力するためのものであり、マイクロフォン１００から入力された音声（ここでは、無声音）が音声信号分析器１０１へ送信される。音声信号分析器１０１は、マイクロフォン１００から入力された無声音で主に子音に関する情報が抽出される。
【００１５】
また、マイクロフォン１００へ音声を入力すると同時に、音声を発する時の口唇の様子をカメラ１０２で撮像する。カメラ１０２で撮像された口唇の映像と音声信号分析器１０１で抽出された子音に関する情報が映像信号分析器１０３へ送信され、映像信号分析器１０３は送られてきた情報から主に通常の有声音を含む発声の際に想定される母音に関する情報が抽出される。
【００１６】
音声信号合成器１０４では、音声信号分析器１０１と映像信号分析器１０３から送信された情報から通常の有声音を含む発声の際に想定される音声を合成する。音声信号合成器１０４には、「無声音のみによる発声と通常の有声音を含む発声」と「口唇の動作と通常の有声音を含む発声」の情報を含む辞書情報データベース１０５を備えている。入力された無声音及び口唇の映像には、ほとんど含まれない有声子音と無声子音の区別等の推定を行う。
【００１７】
推定の具体例としては、「入力される音声／映像情報からは判別が難しい「Ｐ」または「Ｂ」の音の発声が推定された場合に、辞書情報データベース１０５が備える単語辞書１０６とフレーズ辞書１０７と推定対象部分の前後の音声情報を利用して「Ｐ」と「Ｂ」のどちらかであるかを推定する。
【００１８】
このようにして、発話側の無声音と口唇の映像情報を元に、通常の有声音を含む発声の際に想定される音声を合成する機能を有するために、発話側が無声音のみにて発声した場合に、受話側に有声音を含む通常の音声に近い音声を伝えることができる。
【００１９】
また、図２に示すように、携帯電話が備えたカメラを利用した音声通話システムについて説明する。
音声通話システムは、携帯電話２００と基地局３００、交換局４００、固定電話５００から構成されている。また、基地局３００は、音声信号分析器３０１、映像信号分析器３０２、音声信号合成器３０３、辞書情報データベース３０４を備えている。
【００２０】
携帯電話２００が備えるマイクロフォン２０１とカメラ２０２を利用して、ユーザは、音声をマイクロフォン２０１へ入力すると共に、カメラ２０２で口唇の映像を撮像する。マイクロフォン２０１に入力された音声とカメラ２０２で撮像された口唇の映像データは、無線で基地局３００へ送信され、基地局３００から交換局４００へ音声を送信し、交換局４００から固定電話５００、また、交換局４００から基地局３００、そして、携帯電話２００へ音声を送信する。
【００２１】
基地局３００は、図１に示したものと同様の音声信号分析器３０１、映像信号分析器３０２、音声信号合成器３０３、辞書情報データベース３０４を備え、基地局３００へ送信された音声と映像データから、音声を合成する。図２では、音声信号分析器３０１等を基地局に備えた構成としているが、交換局やサーバ（図示せず）に備えてもよい。
【００２２】
まず、基地局３００へ送信される音声は無声音であり、音声信号分析器３０１は、送信された無声音から主に子音に関する情報が抽出される。カメラ２０２で撮像された口唇の映像データは、映像信号分析器３０２に送られ、主に通常の有声音を含む発声の際に想定される母音に関する情報が抽出される。また、口唇の映像情報量削減のために発話側で口唇の輪郭情報抽出のみを行い輪郭情報を基地局３００へ送信することも可能である。
【００２３】
音声信号合成器３０３は、音声信号分析器３０１と映像信号分析器３０２とが抽出したデータから通常の有声音を含む発声の際に想定される音声を合成する。なお、音声信号合成器３０３は、辞書情報データベース３０４を備えており、辞書情報データベース３０４は、「無声音のみによる発声と通常の有声音を含む発声の対応」と「口唇の動作と通常の有声音を含む発声の対応」の情報が含まれている。
【００２４】
音声信号合成器３０３へ入力されたデータの有声子音と無声子音の区別等の推定に辞書情報データベース３０４を利用する。例えば、「入力される音声／映像情報からは判別が難しい「Ｐ」または「Ｂ」の音の発声が推定された場合に、辞書情報データベース３０４が備える単語辞書３０５とフレーズ辞書３０６と推定対象部分の前後の音声情報を利用して「Ｐ」と「Ｂ」のどちらであるかを推定する。また、辞書情報データベースを話者毎にカスタマイズすることにより、合成音声の品質向上を図ることも可能である。
【図面の簡単な説明】
【００２５】
【図１】本発明の音声通話装置の構成を示した図である。
【図２】本発明の音声通話システムの構成を示した図である。
【符号の説明】
【００２６】
１００、２０１    マイクロフォン
１０１、３０１    音声信号分析器
１０２、２０２    カメラ
１０３、３０２    映像信号分析器
１０４、３０３    音声信号合成器
１０５、３０４    辞書情報データベース
１０６、３０５    単語辞書
１０７、３０６    フレーズ辞書
２００    携帯電話
３００    基地局
４００    交換局
５００    固定電話
【図１】
2006276470.tif 000003
【図２】
2006276470.tif 000004