(57)【要約】【課題】データ量を増加させることなく、音声データの出力にあわせて画像の表示形態を変化させることができる音声再生処理装置を提供する。【解決手段】録音データの再生時に発信元電話番号に対応する発呼者の顔画像データを電話帳データベース２３から読み込み、録音データを解析し、解析結果に応じた口形状画像を作成する口形状作成手段２１と、口形状画像と顔画像とを合成して顔の表情が変化する表情変更画像を作成する表情変更画像作成手段２６とを備え、解析が行われる度に作成した表情変更画像を表示手段１４に表示させる。【選択図】図１
2005208367.tif 000002
【特許請求の範囲】
【請求項１】
音声データの出力に連動して画像を表示させる音声再生処理装置であって、
前記音声データを解析する解析手段と、
前記音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成する画像生成手段と、
前記新たな画像を生成する度に前記新たな画像を表示させる表示制御手段と、
を備える音声再生処理装置。
【請求項２】
請求項１記載の音声再生処理装置であって、
前記解析手段は、前記音声データを単位時間間隔で解析する音声再生処理装置。
【請求項３】
請求項１又は２記載の音声再生処理装置であって、
前記画像生成手段は、顔画像の表情を変化させた新たな顔画像を生成する音声再生処理装置。
【請求項４】
請求項３記載の音声再生処理装置であって、
前記顔画像の表情を前記音声データの解析結果に基づいて作成した口形状により変化させるための口形状作成手段を備える音声再生処理装置。
【請求項５】
請求項３又は４記載の音声再生処理装置であって、
前記顔画像の表情を前記音声データの解析結果に基づいて推測した感情により変化させるための感情推測手段を備える音声再生処理装置。
【請求項６】
請求項５記載の音声再生処理装置であって、
前記感情推測手段は、前記音声データの声の大きさ、高さ及び話す速度の中から選択した少なくともいずれかに基づいて、話者の感情を推測する音声再生処理装置。
【請求項７】
請求項１ないし６のいずれか一項記載の音声再生処理装置であって、
複数の原画像から任意の原画像を選択する選択手段を備える音声再生処理装置。
【請求項８】
請求項７記載の音声再生処理装置を搭載し、録音された音声データの出力に連動して画像を表示する電話端末であって、
前記原画像を電話番号に対応付けて蓄積する蓄積手段と、
前記録音された音声を発信元の電話番号に対応付けて記憶する記憶手段と、を備え、
前記選択手段は、蓄積された複数の原画像から前記発信元の電話番号に対応する画像を選択し、
前記画像生成手段は、前記録音された音声データを解析する度に解析結果に応じて、前記発信元の電話番号に対応して選択した原画像の表示形態を変化させた新たな画像を生成する電話端末。
【請求項９】
請求項７記載の音声再生処理装置を搭載し、通話着信音の出力に連動して画像を表示する電話端末であって、
前記原画像を電話番号に対応付けて蓄積する蓄積手段を備え、
前記選択手段は、蓄積された複数の原画像から前記発信元の電話番号に対応する画像を選択し、
前記画像生成手段は、前記着信音を解析する度に解析結果に応じて、前記発信元の電話番号に対応して選択した原画像の表示形態を変化させた新たな画像を生成する電話端末。
【請求項１０】
請求項７記載の音声再生処理装置を搭載し、メール着信音の出力に連動して画像を表示する電話端末であって、
前記原画像をメールアドレスに対応付けて蓄積する蓄積手段を備え、
前記選択手段は、蓄積された複数の原画像から前記メールアドレスに対応する画像を選択し、
前記画像生成手段は、前記着信音を解析する度に解析結果に応じて、前記メールアドレスに対応して選択した原画像の表示形態を変化させた新たな画像を生成する電話端末。
【請求項１１】
請求項７記載の音声再生処理装置を搭載し、通話音声の出力に連動して画像を表示する電話端末であって、
前記原画像を電話番号に対応付けて蓄積する蓄積手段を備え、
前記選択手段は、蓄積された複数の原画像から前記発信元の電話番号に対応する画像を選択し、
前記画像生成手段は、前記着信音声を解析する度に解析結果に応じて、前記発信元の電話番号に対応して選択した原画像の表示形態を変化させた新たな画像を生成する電話端末。
【請求項１２】
音声データの出力に連動して画像を表示させる音声再生処理方法であって、
前記音声データを解析し、
前記音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成し、
前記新たな画像を生成する度に前記新たな画像を表示させる音声再生処理方法。
【請求項１３】
音声データの出力に連動して画像を表示させる音声再生処理プログラムであって、コンピュータを、
前記音声データを解析する解析手段、
前記音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成する画像生成手段、
前記新たな画像を生成する度に前記新たな画像を表示させる表示制御手段、として機能させるための音声再生処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声データの出力に連動して画像を表示させる音声再生処理装置及びそれを搭載した電話端末に関する。
【背景技術】
【０００２】
従来から、留守録音した伝言メッセージを受信者に伝えるために、種々の留守番電話サービスシステムが提案されている。例えば、電話回線を利用して伝言メッセージを基地局のメッセージセンタに登録し、受信者がメッセージセンタに問い合わせて伝言メッセージを受けとるというものがある。これによれば、受信者は発呼者との間で、間接的な意志伝達が可能である。
【０００３】
この留守番電話サービスシステムでは、音声による情報のみを伝言メッセージの媒体として用いるため、伝言メッセージが無機質となり、実際の表現意思が受信者に正確に伝わらない場合がある。これに対して、発呼者の伝言メッセージをデータベースに蓄積し、受信者の要求に応じてその伝言メッセージを再生可能にし、この伝言メッセージの再生時に発信者の感情をエージェント（代理）画像で表現し、そのエージェント画像を連続的に変化させて動画像のように表示する伝言システムが提案されている（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００２−４１２７９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような従来の伝言システムにあっては、伝言メッセージの再生時に動画を表示するためには、エージェント画像のフレームデータを多数用意する必要がある。さらに長時間に亘って異なる動画を再生するには、膨大な量の画像データを蓄積、処理する必要がある。このため、容量の大きなメモリや高速の演算処理回路が必要になり、携帯端末への搭載には向かない。
【０００６】
本発明は、前記事情に鑑みてなされたものであって、データ量を増加させることなく、音声データの出力にあわせて画像の表示形態を変化させることができる音声再生処理装置及びそれを搭載した電話端末を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の音声再生処理装置は、音声データの出力に連動して画像を表示させる音声再生処理装置であって、前記音声データを解析する解析手段と、前記音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成する画像生成手段と、前記新たな画像を生成する度に前記新たな画像を表示させる表示制御手段と、を備える。
【０００８】
上記構成によれば、音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成する画像生成手段を備えることにより、音声データを解析する度に、一枚の画像から解析結果に応じた画像を順次生成し出力する為、予め複数の画像を用意する必要がなくなり、この結果、データ量を増加させることなく、音声データの出力にあわせて画像の表示形態を変化させることができる。
【０００９】
また、本発明の音声再生処理装置は、前記解析手段が、前記音声データを単位時間間隔で解析する。上記構成によれば、時間間隔の調整により、生成する画像の数を増やすことができ、画像の連続性を高めることができる。また、生成する画像の数を減らすことで処理の負荷を小さくすることができる。
【００１０】
また、本発明の音声再生処理装置は、前記画像生成手段が、顔画像の表情を変化させた新たな顔画像を生成する。上記構成によれば、音声の出力に連動して顔画像の表情を変化させるので、顔画像から音声が発せられているかのように音声を出力させることができる。
【００１１】
また、本発明の音声再生処理装置は、前記顔画像の表情を前記音声データの解析結果に基づいて作成した口形状により変化させるための口形状作成手段を備える。上記構成によれば、原画像の口形状を新たに作成した口形状に変えるだけで画像の表示形態を変化させることができる為、新たな顔画像を少ないデータ量で容易に生成することができる。
【００１２】
また、本発明の音声再生処理装置は、前記顔画像の表情を前記音声データの解析結果に基づいて推測した感情により変化させるための感情推測手段を備える。また、本発明の音声再生処理装置は、前記感情推測手段が、前記音声データの声の大きさ、高さ及び話す速度の中から選択した少なくともいずれかに基づいて、話者の感情を推測する。上記構成によれば、話者の感情を表現できる為、より親しみのある顔画像を生成することができる。
【００１３】
また、本発明の音声再生処理装置は、複数の原画像から任意の原画像を選択する選択手段を備える。上記構成によれば、音声データにマッチした原画像を選択することにより、音声データの出力に連動した画像の表示を違和感なく行うことができる。
【００１４】
また、本発明の電話端末は、本発明の音声再生処理装置を搭載し、録音された音声データの出力に連動して画像を表示する電話端末であって、前記原画像を電話番号に対応付けて蓄積する蓄積手段と、前記録音された音声を発信元の電話番号に対応付けて記憶する記憶手段と、を備え、前記選択手段が、蓄積された複数の原画像から前記発信元の電話番号に対応する画像を選択し、前記画像生成手段が、前記録音された音声データを解析する度に解析結果に応じて、前記発信元の電話番号に対応して選択した原画像の表示形態を変化させた新たな画像を生成する。
【００１５】
上記構成によれば、原画像を電話番号に対応付けて蓄積する蓄積手段を備えることにより、発信元電話番号に対応付けたメッセージ録音者の顔画像を蓄積しておけば、メッセージ録音者が表情を変えながら話しているかのようにメッセージを再生することができる。
【００１６】
また、本発明の電話端末は、本発明の音声再生処理装置を搭載し、通話着信音の出力に連動して画像を表示する電話端末であって、前記原画像を電話番号に対応付けて蓄積する蓄積手段を備え、前記選択手段は、蓄積された複数の原画像から前記発信元の電話番号に対応する画像を選択し、前記画像生成手段は、前記着信音を解析する度に解析結果に応じて、前記発信元の電話番号に対応して選択した原画像の表示形態を変化させた新たな画像を生成する。
【００１７】
また、本発明の電話端末は、本発明の音声再生処理装置を搭載し、メール着信音の出力に連動して画像を表示する電話端末であって、前記原画像をメールアドレスに対応付けて蓄積する蓄積手段を備え、前記選択手段が、蓄積された複数の原画像から前記メールアドレスに対応する画像を選択し、前記画像生成手段が、前記着信音を解析する度に解析結果に応じて、前記メールアドレスに対応して選択した原画像の表示形態を変化させた新たな画像を生成する。
【００１８】
上記構成によれば、原画像を電話番号に対応付けて蓄積する蓄積手段を備えることにより、着信中に、発信元電話番号やメールアドレスに対応付けた顔画像から音声が発せられているかのように着信音を出力することができる。
【００１９】
また、本発明の電話端末は、本発明の音声再生処理装置を搭載し、通話音声の出力に連動して画像を表示する電話端末であって、前記原画像を電話番号に対応付けて蓄積する蓄積手段を備え、前記選択手段は、蓄積された複数の原画像から前記発信元の電話番号に対応する画像を選択し、前記画像生成手段は、前記着信音声を解析する度に解析結果に応じて、前記発信元の電話番号に対応して選択した原画像の表示形態を変化させた新たな画像を生成する。
【００２０】
上記構成によれば、通話相手の音声にあわせて、通話相手が話しているかのようにその顔画像の表情を変化させることができ、メモリ使用量の少ないテレビ電話として利用できる。
【００２１】
また、本発明の音声再生処理方法は、音声データの出力に連動して画像を表示させる音声再生処理方法であって、前記音声データを解析し、前記音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成し、前記新たな画像を生成する度に前記新たな画像を表示させる。
【００２２】
さらに、本発明の音声再生処理プログラムは、音声データの出力に連動して画像を表示させる音声再生処理プログラムであって、コンピュータを、前記音声データを解析する解析手段、前記音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成する画像生成手段、前記新たな画像を生成する度に前記新たな画像を表示させる表示制御手段、として機能させるための音声再生処理プログラムである。
【発明の効果】
【００２３】
本発明によれば、音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成する画像生成手段を備えることにより、音声データを解析する度に、一枚の画像から解析結果に応じた画像を順次生成し、出力する為、予め複数の画像を用意する必要がなくなり、この結果、データ量を増加させることなく、音声データの出力にあわせて画像の表示形態を変化させることができる。
【発明を実施するための最良の形態】
【００２４】
図１は、本発明の一実施の形態を説明するための留守番電話再生システムの構成図である。同図に示す端末１１は、音声データの出力に連動して画像を表示させる音声再生処理装置を搭載した電話端末であって、録音されたメッセージを出力しながら、メッセージ録音者の顔画像の表情を変化させて表示するものである。端末１１は、音声を入力するためのマイク１２と、音声を出力するためのスピーカ１３と、画像を出力するためのモニタ（ＬＣＤ）１４と、マウスなどのポインディングデバイス、キーボードなどの手動の入力操作部１５を外付けで備える。入力操作部１５は端末１１の各種機能の実行や設定入力を可能にしている。
【００２５】
端末１１は制御部１６を備えている。制御部１６は、ＣＰＵ等を備え、後述する伝言データの録音、再生や発呼者の画像処理に関わる各種手段の実行制御や、データベースへのアクセス制御等を行うものである。また、制御部１６は、原画像（顔画像）の表示形態を変化させた新たな画像（表情変更画像）を生成する度に、表示手段１４にこの新たな画像を表示させる。
【００２６】
また、端末１１は、伝言メッセージ（音声データ）を録音する録音手段１７と、録音された音声を発信元の電話番号に対応付けて記憶する録音データベース１８と、録音データベース１８への音声データの入出力を管理する録音データ管理手段１９と、音声データを再生する再生手段２０と、音声データを解析し、顔画像の表情をこの音声データの解析結果に基づいて作成した口形状により変化させるための口形状作成手段２１と、音声データを解析し、顔画像の表情をこの音声データの解析結果に基づいて推測した感情により変化させるための感情推測手段２２と、原画像を電話番号に対応付けて蓄積する電話帳データベース２３と、電話帳データベース２３へのデータの入出力を管理する電話帳データ管理手段２４と、発呼者を電話番号に基づいて特定するユーザ特定手段２５と、音声データを解析する度に解析結果に応じて原画像の表示形態を変化させた新たな画像を生成する表情変更画像作成手段２６とを備えている。ユーザ特定手段２５及び電話帳データ管理手段２４は、電話帳データベース２３に蓄積された複数の顔画像から発信元の電話番号に対応する画像を選択する。
【００２７】
電話帳データベース２４は、発呼者側端末の電話番号とこの電話番号に対応する発呼者の静止画像とを関連付けて格納している。発呼者の静止画像は、予め受信者側端末１１自体が保有するデジタルカメラ（図示せず）から取り込んだものや、発呼者から提供されたもの等である。この静止画像が、各発呼者の電話番号に対応付けて格納される。
【００２８】
また、録音データベース１８は、留守録音時に、発呼者の留守録音データと発信元電話番号とを関連付けて、録音日時（着信日時）とともに格納する。
【００２９】
口形状作成手段２１は、録音データの再生時に発信元電話番号に対応する発呼者の顔画像の口の形状を録音データにもとづいて複数作成するものである。ここでは、例えば発呼者の話し言葉である日本語の母音「ア」、「イ」、「ウ」、「エ」、「オ」の５音に相当する五つの口の形状を作成する。口形状作成手段２１は、音声データを単位時間間隔で音声認識等により解析し、解析する度に、解析されたフレーズの最初の母音に相当する口形状画像を作成する。音声データの再生時に逐次口形状画像を作成することにより、複数の画像を保持しておく必要がないため、扱うデータ量の増加を抑えることができる。この口形状の変化により、発呼者がいかにも話をしている様子を画面上で表現することができる。なお、音声データ再生開始時に、５種類の口形状画像を予め作成しておいてもよい。この場合、原画像に対する口形状の差分データのみを記憶することによって、扱うデータ量の増加を最小限に抑えることができる。
【００３０】
感情推測手段２２は、音声データの再生時に、声の大きさ、高さ及び話す速度の中から選択した少なくともいずれかに基づいて、話者の感情を推測するものである。この感情情報を表情変更画像作成手段２６で作られる顔の表情に反映させることができる。感情推測手段２２には発呼者の喜怒哀楽の感情情報が、声の大きさ、高さおよび話す速度ごとにパラメータ化されており、顔画像の表示形態を変更させるための感情表現情報として記憶されている。感情推測手段２２は、例えば、音声データの声が大きく、高い調子で、早口の場合は、話者が怒っている、また、声の大きさや高さが普通で、話す速度が遅い場合は、話者が平常状態である等と推測する。
【００３１】
表情変更画像作成手段２６は、音声データが解析される度に、作成された口形状画像と原画像とを合成して、原画像の顔の表情が変化する表情変更画像を生成する。また、表情変更画像作成手段２６は、口形状作成手段２１で作成された口形状画像を利用して、感情推測手段２２で得られた感情情報を付加して、原画像の口形状及び目の形状等（例えば、目元が下がっている、口を大きく開ける等）を変化させた表情変更画像を生成する。表情変更画像は、生成される度に表示手段１４に表示される。
【００３２】
図２は録音データの読み込みから画像の表情変更までのプロセスを説明する図であり、図３は、録音データの読み込みから画像の表情変更までのフローを示す図である。端末１１に付属の入力操作部１５が操作されると、制御部１６は、留守録音があったか否かを、録音データ管理手段１９を通じて録音データベース１８を参照することにより調べる。留守録音があった場合、録音データ管理手段１９は、録音データベース１８から着信時に記録された音声データ、つまり発呼者のメッセージデータと、このメッセージデータに対応する発呼者端末の電話番号（発信元電話番号）とを読み込む（ステップＳ３１）。
【００３３】
次に、ユーザ特定手段２５は、電話帳データ管理手段２４を通じて発信元電話番号が電話帳データベース２３に登録されているか否かを調べる（ステップＳ３２）。電話帳データベース２３に電話番号が登録されていた場合には（ステップＳ３３）、続いてその電話番号に対応する発呼者の静止画像が電話帳データベース２３に登録されているか否かを調べる（ステップＳ３４）。
【００３４】
静止画像が電話帳データベース２３に登録されている場合には、制御部１６はその静止画像をユーザ特定手段２５に読み込ませて保持させる（ステップＳ３５）。このようにして、一連の録音データに関する処理を終了すると、再生処理開始まで待機する。
【００３５】
留守録音データがあることを表示手段１４等により確認した端末１１のユーザが入力操作部１５を操作することにより、録音データ再生処理が開始される。制御部１６は、ユーザ特定手段２５に発呼者の画像データが保持されているか否かを調べる（ステップＳ３７）。顔画像データが保持されている場合には、録音データを単位時間分ずつ解析していき（ステップＳ３８）、その都度、口形状データを作成し（ステップＳ３９）、話者の感情を推測する（ステップＳ４０）。
【００３６】
表情変更画像作成手段２６は、口形状の変化による顔の表情変化に加えて、感情推測手段で推測した感情情報を反映させて、一枚の原画像から録音データの解析結果に応じた表情変更画像を作成する（ステップＳ４１）。その後、表示手段１４が表情変更画像を表示する（ステップＳ４２）と共に録音データが単位時間分再生される（ステップＳ４３）。そして、未再生の録音データが無くなるまでステップＳ３７以下の処理を繰り返す（ステップＳ４４、Ｓ３６）。なお、ステップＳ３７で顔画像が読み込まれていないと判断されると、ステップＳ４３に進み、録音データの再生が行われる。
【００３７】
このように、受信者側の端末で留守録音されたメッセージを再生する際に、単に音声を出力するだけでなく、発呼者本人の顔画像を表示し、その表情を変化させることで、発呼者がしゃべっているかのようにメッセージ再生を行うことができる。この画像表示によって、発呼者が受信者のそばに居てしゃべっている様な効果を得て、受信者を楽しませることができる。
【００３８】
なお、以上説明した音声再生処理を他の用途に用いることもできる。例えば、着信音の出力とともに着信音にマッチする画像や発信者の顔画像等の表示の形状、模様、色彩（表示形態）を変化させて表示することができる。また、通話中に相手の顔画像を変化させて表示することができる。この場合、テレビ電話機能を持たない電話端末であってもテレビ電話と同様の機能を実現することができ、テレビ電話機能を持つ電話端末の場合には、音声及び画像を送受信する場合と比べて扱うデータ量を大幅に低減できる効果がある。
【産業上の利用可能性】
【００３９】
本発明の音声再生処理装置及び電話端末は、データ量を増加させることなく、音声データの出力にあわせて画像の表示形態を変化させることができる効果を有し、留守録音されたメッセージを発呼者自身の顔画像とともに再生する留守番電話システム等といった音声データの出力に連動して画像を表示させる音声再生処理装置及びそれを搭載した電話端末等に有用である。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施の形態を説明するための留守番電話再生システムの構成図
【図２】録音データの読み込みから画像の表情変更までのプロセスを説明する図
【図３】録音データの読み込みから画像の表情変更までのフローを示す図
【符号の説明】
【００４１】
１１  端末
１６  制御部
１７  録音手段
１８  録音データベース
１９  録音データ管理手段
２０  再生手段
２１  口形状作成手段
２２  感情推測手段
２３  電話帳データベース
２４  電話帳データ管理手段
２５  ユーザ特定手段
２６  表情変更画像作成手段
【図１】
2005208367.tif 000003
【図２】
2005208367.tif 000004
【図３】
2005208367.tif 000005