(57)【要約】【課題】ある人物が喋っている画像にまったく違うタイプの音声を付加して、使用者が気軽に楽しむことができる携帯端末を提供することを目的とする。【解決手段】人もしくは動物の口唇部が写っている動画像から、該口唇部の形状変化を抽出する抽出手段と、該抽出手段により抽出された口唇部の形状情報と文字情報とを関連づけて記憶する文字情報記憶手段と、該文字情報記憶手段に基づいて前記抽出手段により抽出された口唇部の形状情報から文字情報を生成する文字情報生成手段と、該文字情報と音声情報とを関連づけて記憶する音声情報記憶手段と、該音声情報記憶手段に基づいて前記文字情報生成手段により生成された文字情報から任意の音色の音声データを生成する音声データ生成手段と、該音声データを音声として発音する発音手段とにより、違うタイプの音声を付加して、使用者が気軽に楽しむことができる携帯端末を提供する。【選択図】      図１
2004271620.tif 000002
【特許請求の範囲】
【請求項１】
人もしくは動物の口唇部が写っている動画像から、該口唇部の形状変化を抽出する抽出手段と、該抽出手段により抽出された口唇部の形状情報と文字情報とを関連づけて記憶する文字情報記憶手段と、該文字情報記憶手段に基づいて前記抽出手段により抽出された口唇部の形状情報から文字情報を生成する文字情報生成手段と、該文字情報と音声情報とを関連づけて記憶する音声情報記憶手段と、該音声情報記憶手段に基づいて前記文字情報生成手段により生成された文字情報から任意の音色の音声データを生成する音声データ生成手段と、該音声データを音声として発音する発音手段とを有する携帯端末。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像データから発音情報を抽出する携帯端末に関する。
【０００２】
【従来の技術】
近年、通信技術の発達に伴い、携帯電話機やＰＤＡ（ＰＤＡ：Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔｓ）等の携帯端末が特に若い人たちを中心に広く普及している。こうした状況に対応して、本来の通話機能のほかに、様々なアプリケーションが提供されている。中でも、最近は、動画像を扱える携帯端末が登場してきたことに伴い、動画像に関するアプリケーションに注目が集まっている。
【０００３】
この一例として、動画像のうち、音声部分のみを異なるものにして、例えば、男性に女性の言葉を喋らせたり、イントネーションやアクセントを変更させるような遊び感覚のアプリケーションが考えられる。しかし、従来のように、音声データを加工して、こうした変更を加えようとすると、信号処理等に大きな負荷がかかるといった問題があった。また、人間の声を動物の声に変更することは現実的に難しいといった問題があった。
【０００４】
一方、撮像された人の口唇部の形状を画像認識して、予め口唇部の形状パターンと音声データを関連づけて記憶しているデータベースから音声データを抽出し、抽出した音声データを文字データとして送信するような技術も提案されている（例えば、特許文献１参照。）。
【０００５】
【特許文献１】
特開２０００−６８８８２号公報（第２−４頁、第１図）
【０００６】
【発明が解決しようとする課題】
しかし、これは、声を出せない公共の場所等で、通話をする際に、使用者の口唇部の形状をリアルタイムに撮影し、撮像された使用者の口唇部の形状パターンから音声データを抽出した後、これを文字データとして出力するものであり、撮影された人の声と別の音声を付加し、発音するものではない。
【０００７】
そこで、本発明は、上述した問題点に鑑みてなされたものであって、ある人物が喋っている画像にまったく違うタイプの音声を付加して、使用者が気軽に楽しむことができる携帯端末を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記課題を解決するため、本発明は、以下の手段を提案している。
請求項１に係る発明は、人もしくは動物の口唇部が写っている動画像から、該口唇部の形状変化を抽出する抽出手段と、該抽出手段により抽出された口唇部の形状情報と文字情報とを関連づけて記憶する文字情報記憶手段と、該文字情報記憶手段に基づいて前記抽出手段により抽出された口唇部の形状情報から文字情報を生成する文字情報生成手段と、該文字情報と音声情報とを関連づけて記憶する音声情報記憶手段と、該音声情報記憶手段に基づいて前記文字情報生成手段により生成された文字情報から任意の音色の音声データを生成する音声データ生成手段と、該音声データを音声として発音する発音手段とを有する携帯端末を提案している。
【０００９】
この発明によれば、抽出手段の作動により、撮像された人もしくは動物の口唇部の画像データから口唇部の形状の変化が抽出される。抽出された口唇部の形状は、文字情報記憶手段と文字情報生成手段との作動により、文字情報に変換される。変換された文字情報は、音声情報記憶手段と音声情報生成手段との作動により、音声情報に変換され、音声情報が発音手段の作動により、音声として発音される。
【００１０】
【発明の実施の形態】
以下、本発明の実施形態に係る携帯端末について図１から図７を参照して詳細に説明する。
本発明の実施形態に係る携帯端末は、図１に示すように、ＣＰＵ（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１と、通信部２と、アンテナ３と、マイク４と、イヤスピーカ５と、音声処理部６と、音声合成機能付音源７と、スピーカ８と、操作キー部９と、カメラ１０と、ＲＡＭ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１と、ＲＯＭ（ＲＯＭ：Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、表示部１３と、バイブレータ１４とを備えている。
【００１１】
ＣＰＵ１は、携帯端末のシステムに関する各種の制御および処理を実行することにより、携帯端末の各部の動作を制御する。本実施形態においては、カメラ１０において撮像された動画像から口唇部の形状変化を抽出し、これをＲＡＭ１１内に口唇部の形状情報と文字情報とを関連づけて記憶するデータテーブルを用いて、文字情報に変換するとともに、変換された文字情報をＲＡＭ１１内に文字情報と音声情報とを関連づけて記憶するデータテーブルを用いて、音声情報に変換し、この音声情報を音声合成機能付音源７に出力する等の機能を有する。
【００１２】
通信部２は、音声や文字、画像等で構成される通信情報を受信して、これらを電気信号に変換するとともに、音声や文字、画像等の電気信号を通信情報に変換して送信する。アンテナ３は、外部の基地局から送信されてくる通信情報を受信し、これを通信部２に出力するとともに、通信部２から入力した通信情報を外部の基地局に対して送信する。マイク４は、話者の発する音声等を入力する音声入力手段である。イヤスピーカ５は、外部の基地局から送信されてきた音声を出力する音声出力手段である。
【００１３】
音声処理部６は、通信部２から入力した音声に関する電気信号をアナログ信号に変換して、イヤスピーカ５に供給するとともに、マイク４から入力されたアナログ音声信号をデジタル音声信号に変換して通信部２に出力する。音声合成機能付音源７は、ＣＰＵ１から入力された音声情報を解釈して「あ」、「い」、・・・「ん」などの音声を任意の音色（例えば、男声、女声、子供の声など）で再生し、これをスピーカ８に出力する。また、操作キー部９を用いて、入力ボタンを操作する場合に、操作する入力ボタンに対応した特有の確認音等を出力し、着信時には、予め登録された楽曲情報を再生して、着信メロディをスピーカ８を介して出力する。なお、音声合成に関する詳細については後述する。
【００１４】
スピーカ８は、外部からの通信情報を受信したときに、使用者が予め設定した着信音を音声合成機能付音源７からの信号に応じて出力する。操作キー部９は、文字や数字等を入力するための入力手段であり、本実施形態では、音声情報を得るための動画像の選択や付加する音色の選択などにも用いられる。カメラ１０は、静止画像や動画像を撮像するための装置であり、本実施形態においては、一般的な機能のほか、口唇部形状のデータベース作成用にも用いられる。ＲＡＭ１１は、ダウンロードされた楽曲データや受信した電子メール等の情報を一時的に格納する書き換え可能な記憶手段であり、本実施形態においては、口唇部の形状情報と文字情報とを関連づけて記憶するデータテーブルや文字情報と音声情報とを関連づけて記憶するデータテーブルが記憶されている。
【００１５】
ＲＯＭ１２は、ＣＰＵ１が実行する通信情報の送受信に関する制御プログラムや楽曲データの再生に関する制御プログラム、音声合成に関する制御プログラム等を格納する書き換え不能の記憶装置である。表示部１２は、操作キー部９より入力されたデータや着信情報、着信した文字情報や画像情報等を表示する出力手段である。バイブレータ１４は、通話信号の着信や電子メールの着信を振動により使用者に知らせる。なお、これらの各構成要素は、データバスにより接続され、各要素間での信号の入出力を行っている。
【００１６】
次に、口唇部の形状と文字情報との関係について説明する。
口唇部の形状を文字情報に変換する方法としては、主に、以下の２つの方法が考えられる。第一の方法は、ある人の口唇部の形状を一文字づつ撮影して口唇部の形状と文字情報との関係をデータベース化する方法である。この方法は、画像が使用者本人であれば、比較的正確に文字情報へ変換することができるが、汎用性に乏しいという問題がある。第二の方法は、口唇部の形状あるいは口唇部の動きから、これを文字情報に変換する方法である。この方法は、前記第一の方法に比べて、正確性に難があるものの汎用性の高い方法であるといえる。
【００１７】
第二の方法は、図２に示すように、一般的な口唇部の形状に文字情報を対応させるものである。例えば、大きく口が広がった形状は「あ」、横に細長くなった形状は「い」、小さくつぼまる形状は「う」、閉じた状態から大きく広がった形状は「ま」といった具合に、対応づけられることになる。画像データから、こうした口唇部の形状変化を抽出するためには、時間的に前後するフレームの画像データの差分値を求めることにより実現できる。すなわち、喋っている人の画像であれば、前後のフレームの差分値は、ほぼ口唇部の形状のみになるからである（図３参照）。なお、動物の画像の場合でも、動物が口を開けたり閉じたりする動作を人間の口唇部のデータベースと対比して、文字情報や音声情報に変換することもできる。
【００１８】
次に、音声合成機能付音源７における音声合成の詳細について、図４から図７を用いて、その構成を説明する。
図４に示すように、音声合成機能付音源７は、入出力Ｉ／Ｆ（Ｉ／Ｆ：Ｉｎｔｅｒｆａｃｅ）２１と、ＦＩＦＯ（ＦＩＦＯ：Ｆａｓｔ  ｉｎ  Ｆａｓｔ  Ｏｕｔ  Ｍｅｍｏｒｙ）２２と、シーケンサ２３と、ＦＭ音源２４と、ＷＴ音源２５と、波形メモリ２６と、加算器２７とから構成されている。入出力Ｉ／Ｆ２１は、データバスを介して、ＣＰＵ１から音声情報やこれに関する命令および音声合成に関する各種パラメータを入力するとともに、後述するＦＩＦＯ２２の状態通知等をＣＰＵ１に対して出力するためのインターフェース回路である。
【００１９】
ＦＩＦＯ２２は、記憶装置を含む回路であり、与えられたシーケンスデータを一時保持し、保持したデータを順次シーケンサ２３に供給する。シーケンサ２３は、ＣＰＵ１からの発音開始および発音終了等の命令により、発音を開始する場合には、ＦＩＦＯ２２から受けた音声情報を解釈するとともに、所定のタイミングで各種パラメータや制御信号を後述するＦＭ音源２４またはＷＴ音源２５に供給し、これらを駆動する。
【００２０】
なお、ＷＴ音源２５は、周知のように各種楽器音や音声等をデジタル録音して予め蓄えられている波形メモリ２６の波形データを一通りまたは繰り返して読み出すことにより音声等を忠実に再現するものである。ＦＭ音源２４およびＷＴ音源２５の出力は加算器２７にて加算され、その出力は図示しないデジタル／アナログ変換器においてアナログ信号に変換され、スピーカ８に供給される。また、通常、音源デバイスでは、各音源がＦＩＦＯ２２およびシーケンサ２３を介して駆動されるが、リアルタイムな応答を要求される効果音等の場合には、ＣＰＵ１がＦＩＦＯ２２およびシーケンサ２３を介さずに、直接、ＦＭ音源２４およびＷＴ音源２５を駆動する。なお、波形メモリ２６は、ＲＯＭにより構成されている。
【００２１】
次に、ＦＭ音源２４について説明する。
ＦＭ音源２４は、図５に示すオペレータ３０と加算器とを複数組み合わせて、図６に示すように構成されている。図５に示すように、１つのオペレータ３０は、ＳＩＮ波形テーブル３１と、フェーズ・ジェネレータ（ＰＧ）３２と、加算器３３と、エンベロープ・ジェネレータ（ＥＧ）３４と、乗算器３５とから構成されている。ＳＩＮ波形テーブル３１は、ＳＩＮ波形（正弦波）の各位相点と、この位相点における波形の振幅値とを関連づけて記憶するデータテーブルである。フェーズ・ジェネレータ（ＰＧ）３２は、シーケンサ２３またはＣＰＵ１から周波数パラメータを受け、この周波数パラメータに基づきＳＩＮ波形テーブル３１から出力させるＳＩＮ波形データの周波数および位相を制御するための位相アドレス信号を生成する。
【００２２】
加算器３３は、オペレータ３０の入力信号と上記位相アドレス信号を加算してＳＩＮ波形テーブル３１に供給する。エンベロープ・ジェネレータ（ＥＧ）３４は、シーケンサ２３またはＣＰＵ１から振幅パラメータを受け、当該オペレータ３０から出力する波形の振幅を制御するためのエンベロープ信号（振幅係数）を生成し乗算器３５に出力する。乗算器３５は、ＳＩＮ波形テーブル３１の出力とエンベロープ・ジェネレータ（ＥＧ）３４の出力を乗算する。このように構成されるオペレータ３０においては、ＳＩＮ波形テーブル３１に記憶されているＳＩＮ波形の振幅値が、加算器３３を介して供給される位相アドレス信号を含む信号に従い順次読み出される。したがって、このオペレータ３０では、ＳＩＮ波形テーブル３１に記憶された波形振幅値を読み出す速度を変化させることにより、すなわち、ＳＩＮ波形テーブル３１に供給する位相アドレス信号を適宜制御することにより、音高を変えることができる。
【００２３】
例えば、読み出し速度を遅くすれば、低い音を生成することができ、逆に、読み出し速度を速くすれば高い音を生成することができる。なお、フェーズ・ジェネレータ（ＰＧ）３２は、ＣＰＵ１からリセット信号を受けると、ＳＩＮ波形テーブル３１から読み出すアドレスを初期値に戻すことにより、出力する位相アドレス信号をリセットする。ＦＭ音源２４は、このようなオペレータ３０を図６（ａ）に示すように、複数個カスケード接続したり、あるいは、同図（ｂ）に示すように、さらに加算器を用いて、オペレータ３０の出力を加算したりして、複数のオペレータ３０と加算器とを様々に組み合わせることで、多様な音声を生成する。
【００２４】
次に、本実施形態にかかるＦＭ音源のハードウエアを利用してＣＳＭ（復号正弦波モデル）音声合成を実現する手法について説明するが、その前に、ＣＳＭ音声合成の原理について説明する。
一般に、音声は短い時間の範囲では、ほぼ定常であると見なすことができる。このことから、ＣＳＭ音声合成においては、短い時間の範囲において、音声のスペクトルが一定であると見なして音声合成を行う。具体的には、数ｍｓないし数十ｍｓの短時間の音声を定常であると見なし、音声を数個の正弦波の和で表現する。これを離散的時間表現により表すと、音声の時系列｛Ｘｔ｝は、
Ｘｔ＝Ａ１ｓｉｎω１ｔ  ＋・・・・＋Ａｎｓｉｎωｎｔ            （１）
と表される。但し、ここでｔは離散的な時刻を表す整数、ｎは正弦波成分の数（通常は４〜６）、ωｉは第ｉ正弦波成分の角周波数（０≦ωｉ≦π）、Ａｉは正弦波成分の振幅である。
【００２５】
このＣＳＭ音声合成では、上記（１）式で表されるモデルに対して、パラメータ｛ω１・・・ωｎ、Ａ１・・・Ａｎ｝を与えて（１）式より、各時刻ｔについて合成音声の系列｛Ｘｔ｝を求める。このとき、有声音（母音や濁子音など）に対しては、有声音が周期性をもつことから、その周期（ピッチ周期）毎に（１）式における時刻ｔをゼロにリセットして位相を初期化し、一方、無声音に対しては、周期性がないことから、ランダムな周期を与えて、すなわちランダムな周期で時刻ｔをリセットしてランダムに位相を初期化する。このようにして、合成される音声信号の時系列は、人の音声に近いものとなる。
【００２６】
次に、このＣＳＭ音声合成をＦＭ音源２４のハードウエアを用いて実現する手法について図７を参照して説明する。
（１）式で表される各正弦波の成分は、前述したオペレータ３０を用いて生成することができる。すなわち、各オペレータ３０の入力信号をゼロとし、ＳＩＮ波形テーブル３１から正弦波の波形を読み出すための周波数パラメータをフェーズ・ジェネレータ（ＰＧ）３２に与えることにより、各正弦波の成分に対応するＳＩＮ波形テーブル３１により、時系列に正弦波を出力させる。これに、次段の乗算器３５により、エンベロープ・ジェネレータ（ＥＧ）３４から与えられる振幅を持たせることによって、各オペレータ３０から（１）式の各正弦波成分の信号の出力を得ることができる。
【００２７】
そして、これらの出力を加算器５０で加算することにより、合成音声信号の系列｛Ｘｔ｝を得ることができる。ＣＳＭ音声合成では、有声音に対し、その周期毎に時刻ｔをゼロにリセットし位相を初期化するとともに、無声音に対し、ランダムな周期で時刻ｔをゼロにリセットし位相を初期化するが、この位相の初期化は、フェーズ・ジェネレータ（ＰＧ）３２に対し、それぞれの周期でリセット信号を与え位相を初期化することにより行える。
【００２８】
以上のように、ＦＭ音源２４を用いたＣＳＭ音声合成では、フェーズ・ジェネレータ（ＰＧ）３２に与える周波数パラメータまたはリセット信号と、エンベロープ・ジェネレータ（ＥＧ）３４に与える振幅パラメータの３要素により合成されるフォルマント音を複数合成することにより音素を決定し音声合成することができる。例えば、「さくら」を音声合成する場合、数ｍｓから数十ｍｓ毎に複数組の上記３要素を設定することにより、／Ｓ／→／Ａ／→／Ｋ／→／Ｕ／→／Ｒ／→／Ａ／の６音素を合成して発音させる。
【００２９】
各オペレータ３０に与える上記の３要素は、各音素毎に予め定義され、ＲＯＭ１２内に登録されている。また、各文字を構成する音素に関する情報、例えば、「さ」の場合、この文字の音素／Ｓ／、／Ａ／からなること等の情報も、同様にＲＯＭ１２内に登録されている。
【００３０】
本実施形態においては、ＦＭ音源２４を用いてＣＳＭ音声合成を実行するものとしているが、ＷＴ音源２５を用いた音声合成についても、もちろん可能である。例えば、「さくら」を音声合成する場合、「さ」、「く」、「ら」をデジタル録音してメモリに蓄えておき、これらを再生すればよい。しかし、ＦＭ音源２４を用いてＣＳＭ音声合成を行うほうが、必要なパラメータがすくなくてすみ、より有利である。
【００３１】
次に、本実施形態に係る携帯端末において、画像データから音声データを生成する手順を図８を用いて説明する。
まず、ＣＰＵ１は、カメラ１０により撮像された各フレームの画像データに関して、その前後のフレームの差分値を求めることにより、画像データに変化があったかどうかを判断する（ステップ１０１）。画像データに変化がないと判断したときは、画像データに変化があると判断するまで、画像データの前後のフレームの差分値の検出を続行する。
【００３２】
画像データに変化があると判断したときは、差分値のデータ（パターンデータ）をパターンデータと文字情報とを関連付けて記憶したパターンデータベース上で検索する（ステップ１０２）。パターンデータベースを検索した結果、差分値データと合致するパターンデータを検索できたとき（ステップ１０３）は、これに対応した文字情報を決定する（ステップ１０４）。一方で、差分値データに合致したパターンデータを検索できなかったときは、再び、画像データの前後のフレームの差分値の検出を行い、次の差分値を検出する。
【００３３】
文字情報が確定すると、ＲＡＭ１１内に格納されたデータテーブルから、この文字情報に対応した音声データを検索し、これにあらかじめ設定されている音色を付加して音声合成機能付音源７に出力する（ステップ１０５）。つぎに、画像データが終了したか否かを確認し（ステップ１０６）、画像データが終了したと判断したときは、処理を終了する。一方、画像データがまだ残っていると判断したときは、残りの画像データに対して、差分値データの検出を続行する。
【００３４】
なお、説明してきた処理フローにおいては、パターンデータの比較から音声発音までの処理を短時間に行い、リアルタイムに発音する必要があるが、例えば、一旦、文字情報だけを画像データのすべてにわたって取得し、これをメモリに保管して、その文字情報から適当な音声データを生成した後、その音声データを対応する画像フレームに付加するようにしてもよい。
【００３５】
以上、図面を参照して本発明の実施の形態について詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。例えば、本実施形態においては、口唇部の形状変化を文字情報に変換し、さらに、この文字情報を音声情報に変換する方法について説明したが、口唇部の形状変化を直接、音声情報に変換する方法であってもよい。
【００３６】
【発明の効果】
以上のように、この発明によれば、動画像の画像データから発音の文字情報を当てはめる構成としたことから、音声合成の際に、男性の声や女性の声など任意の音色で音声を再生することができるという効果がある。また、動物の口の動きから、文字情報を抽出して、これを人間の音声として発音させることもできるという効果がある。
【図面の簡単な説明】
【図１】本実施形態に係る携帯端末の構成図である。
【図２】本実施形態に係る口唇部の形状と文字情報との関係を示した図である。
【図３】本実施形態に係る画像情報から文字情報を抽出する方法を示した図である。
【図４】本実施形態に係る着信音用音源の構造図である。
【図５】本実施形態に係るＦＭ音源の構造図である。
【図６】本実施形態に係るＦＭ音源におけるオペレータの組み合わせ例を示す図である。
【図７】本実施形態に係るＣＳＭ音声合成による音声合成を実行する場合のＦＭ音源の構成図である。
【図８】本実施形態に係る画像データから音声データを生成する手順を示したフローチャート図である。
【符号の説明】
１・・・ＣＰＵ、２・・・通信部、３・・・アンテナ、４・・・マイク、５・・・イヤスピーカ、６・・・音声処理部、７・・・音声合成機能付音源、８・・・スピーカ、９・・・操作キー部、１０・・・カメラ、１１・・・ＲＡＭ、１２・・・ＲＯＭ、１３・・・表示部、１４・・・バイブレータ、
【図１】
2004271620.tif 000003
【図２】
2004271620.tif 000004
【図３】
2004271620.tif 000005
【図４】
2004271620.tif 000006
【図５】
2004271620.tif 000007
【図６】
2004271620.tif 000008
【図７】
2004271620.tif 000009
【図８】
2004271620.tif 000010