(57)【要約】    【課題】      より豊かな表現力を持った“しゃべるアニメーション”を、有音無音判定部とアニメーション作成部のインターフェイス機能を簡略化しながら、その各部も独立になる構成として実現し、各種のアニメーション作成方式にも柔軟に対応することができ、リップシンクアニメーション作成機能を携帯端末にも搭載可能にすること。    【解決手段】  有音無音判定部１０２は、入力音声信号の有音の度合い（有音度と呼ぶ）を出力し、アニメーション作成部１０３に出力する。アニメーション作成部１０３は、閉じた口・半分開いた口・開いた口の３つの画像を記憶し、有音無音判定部１０２から入力される有音度をＬ，Ｍ，Ｓの３段階の判定基準で判定し状態遷移を行なうことで、３つの画像から該当する画像を選択して“しゃべるアニメーション”を作成して、表示部１０４に出力する。  【選択図】      図１
2005122357.tif 000002
【特許請求の範囲】
【請求項１】
音声の有音無音の判定を行い、その判定結果を有音度合いを示す連続値で出力する有音無音判定手段と、
前記有音無音判定手段から出力される有音判定結果を用いてリップシンクアニメーションを作成するアニメーション作成手段と、
を具備することを特徴とするアニメーション作成装置。
【請求項２】
前記有音無音判定手段は、前記有音度合いを示す連続値を出力することを特徴とする請求項１記載のアニメーション作成装置。
【請求項３】
前記アニメーション作成手段は、前記有音無音判定手段から出力される有音判定結果を用いて、予め記憶した複数の画像から対応する画像を順次選択してリップシンクアニメーションを作成することを特徴とする請求項１又は２記載のアニメーション作成装置。
【請求項４】
音声の有音無音の判定を行い、その判定結果を有音度合いを示す連続値で出力する有音無音判定ステップと、
前記有音無音判定手段から出力される有音判定結果を用いてリップシンクアニメーションを作成するアニメーション作成ステップと、
を有することを特徴とするアニメーション作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リップシンクアニメーションを作成するアニメーション作成装置及びアニメーション作成方法に関する。
【背景技術】
【０００２】
近年、携帯電話器では、カメラ機能等、様々な機能を搭載するようになり、それらの機能の使い勝手を向上するためのインターフェイス機能の実現が望まれている。そのインターフェイス技術の一例として、音声信号に従ってアニメーション画像がしゃべる機能が提案されており、以下この機能をリップシンクという。
【０００３】
図４は、従来のリップシンク機能を実現するアニメーション作成装置５００の構成例を示す図であり、マイク５０１と、有音無音判定部５０２と、アニメーション作成部５０３と、表示部５０４とから構成されている。
【０００４】
マイク５０１から入力された音声信号は有音無音判定部５０２に入力される。有音無音判定部５０２は、マイク５０１から入力された音声信号から音声のパワー等の情報を抽出し、入力された音声が有音か無音かの２値判定を行い、その判定情報をアニメーション作成部５０３に出力する。
【０００５】
アニメーション作成部５０３は、有音無音判定部５０２から入力された２値の有音／無音判定情報を用いて、“しゃべるアニメーション”の作成を行う。アニメーション作成部５０３は、例えば、閉じた口・半分開いた口・全部開いた口等の数枚の画像を予め持っていて、これらの画像を２値の有音／無音判定情報を用いて選択することで“しゃべるアニメーション”を作成する。
【０００６】
この画像の選択プロセスは、図５に示す状態遷移図を用いて行うことができる。この場合、Ｖ／Ｓが有音無音判定部５０２の判定結果を表しており、Ｖが有音判定、Ｓが無音判定を表している。この図５において、アニメーション作成部５０３は、判定結果がＳ→Ｖに遷移した場合は「開いた口」画像を選択し、この状態から判定結果がＳに遷移した場合は「半分開いた口」画像を選択し、更に、この状態から判定結果がＳに遷移した場合は「閉じた口」画像を選択するといったリップシンクアニメーションを作成する。表示部５０４は、アニメーション作成部５０３で作成されたリップシンクアニメーションを表示する。
【０００７】
また、従来のリップシンクアニメーションを作成する装置として、特許文献１に記載されたものもある。この装置では、母音の種類ごとに当該母音を発するときの口の形状に関する第一の形状データを記憶し、発音するときの口の形状に共通点がある子音の種類同士を同じグループに分類し、前記グループごとに当該グループに分類された子音を発するときの口の形状に関する第二の形状データを記憶し、言葉の音を母音または子音ごとに区切り、区切られた母音または子音ごとに、母音に対する第一の形状データまたは子音が分類されたグループに対応する第二の形状データに基づいて顔画像の動作を制御している。
【特許文献１】特開２００３−５８９０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来のリップシンク機能を実現するアニメーション作成装置では、音声の有音無音を判別する有音無音判定部が２値の判定結果しか出力していないため、アニメーション作成部は、有音期間に機械的な口の動きをするような、単調で乏しい表現力のアニメーションしか作成できないという問題があった。
【０００９】
また、より豊かな表現力を持った“しゃべるアニメーション”を実現するためには、有音無音判定部とアニメーション作成部のインターフェイスは、より複雑に構成を変更することが必要になり、各種アニメーション作成方式に対応するアニメーション作成部を用意し、各方式毎に有音無音判定部も個別に変更する必要が生じるため、装置コストが上昇するという問題が発生する。すなわち、有音無音判定部とアニメーション作成部は、独立で構成することが困難になり、柔軟性を持った構成にすることは困難である。
【００１０】
また、特許文献１の装置では、母音を発するときの口の形状に関する第一の形状データと、子音を発するときの口の形状に関する第二の形状データを記憶し、言葉の音を母音または子音ごとに区切り、区切られた母音または子音ごとに、第一の形状データまたは第二の形状データに基づいて顔画像の動作を制御しているため、記憶すべきデータ量が増大するとともに制御内容も複雑になるという問題がある。また、このような構成の機能を携帯電話器や携帯情報端末等の携帯機器に搭載することは、構成及び制御に対する負担が増大するため、現実的ではない。
【００１１】
本発明はかかる点に鑑みてなされたものであり、より豊かな表現力を持った“しゃべるアニメーション”を、有音無音判定部とアニメーション作成部のインターフェイス機能を簡略化しながら、その各部も独立になる構成として実現し、各種のアニメーション作成方式にも柔軟に対応することができ、リップシンクアニメーション作成機能を携帯端末にも搭載可能なアニメーション作成装置及びアニメーション作成方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
かかる課題を解決するため、本発明のアニメーション作成装置は、音声の有音無音の判定を行い、その判定結果を有音度合いを示す連続値で出力する有音無音判定手段と、前記有音無音判定手段から出力される判定結果を用いてリップシンクアニメーションを作成するアニメーション作成手段と、を具備する構成を採る。
【００１３】
この構成によれば、より豊かな表現力を持った“しゃべるアニメーション”を、有音無音判定部とアニメーション作成部のインターフェイス機能を簡略化しながら、その各部も独立になる構成として実現し、各種のアニメーション作成方式にも柔軟に対応することができ、リップシンクアニメーション作成機能を携帯端末にも搭載することができる。
【００１４】
本発明のアニメーション作成装置は、請求項１記載のアニメーション作成装置において、前記有音無音判定手段は、前記有音度合いを示す連続値（有音度と呼ぶ）を出力する構成を採る。
【００１５】
この構成によれば、アニメーション作成部のアニメーション作成処理負担を軽減することができ、リップシンクアニメーション作成機能を携帯端末への搭載を容易にすることができる。
【００１６】
本発明のアニメーション作成装置は、請求項１又は２記載のアニメーション作成装置において、前記アニメーション作成手段は、前記有音無音判定手段から出力される有音判定結果を用いて、予め記憶した複数の画像から対応する画像を順次選択してリップシンクアニメーションを作成する構成を採る。
【００１７】
この構成によれば、アニメーション作成部の処理する画像枚数等についても柔軟性を持たせることができる。
【００１８】
本発明のアニメーション作成方法は、音声の有音無音の判定を行い、その判定結果を有音度合いを示す連続値で出力する有音無音判定ステップと、前記有音無音判定手段から出力される有音判定結果を用いてリップシンクアニメーションを作成するアニメーション作成ステップと、を有する。
【００１９】
この方法によれば、より豊かな表現力を持った“しゃべるアニメーション”を、有音無音判定部とアニメーション作成部のインターフェイス機能を簡略化しながら、その各部も独立になる構成として実現し、各種のアニメーション作成方式にも柔軟に対応することができ、リップシンクアニメーション作成機能を携帯端末にも搭載することができる。
【発明の効果】
【００２０】
本発明によれば、より豊かな表現力を持った“しゃべるアニメーション”を、有音無音判定部とアニメーション作成部のインターフェイス機能を簡略化しながら、その各部も独立になる構成として実現し、各種のアニメーション作成方式にも柔軟に対応することができ、リップシンクアニメーション作成機能を携帯端末にも搭載することができる。
【発明を実施するための最良の形態】
【００２１】
本発明の骨子は、より豊かな表現力を持った“しゃべるアニメーション”を、有音無音判定部とアニメーション作成部のインターフェイス機能を簡略化しながら、その各部も独立になる構成として実現し、各種のアニメーション作成方式にも柔軟に対応することができ、リップシンクアニメーション作成機能を携帯端末にも搭載可能にすることである。
【００２２】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２３】
図１は、本発明の一実施の形態に係るアニメーション作成装置１００の要部構成を示すブロック図である。アニメーション作成装置１００は、マイク１０１と、有音無音判定部１０２と、アニメーション作成部１０３と、表示部１０４とから構成される。
【００２４】
マイク１０１は、入力音声を音声信号に変換して有音無音判定部１０２に出力する。有音無音判定部１０２は、マイク１０１から入力される音声信号から音声のパワー等の情報を抽出し、入力された音声の有音無音の判定を行い、０〜１の間の連続する値からなる有音の度合い（有音度）をアニメーション作成部１０３に出力する。
【００２５】
ここで、有音度は「１．０：確からしい有音，０．５：わからない，０．０：確からしい無音」として出力する。この有音無音判定部１０２には、本出願人が先に出願した特開平０５−２２４６８６号公報に記載した有音判定機能を利用することができる。この出願は、判定過程において、０〜１の範囲内の値を持つ多値論理を使用し、０が「無音」、０．５が「推定不能」、１が「有音」と意味づけされた値を用いて推論を行うようにし、最終段階において有音か無音かの２値判定を行うようにしたものである。本発明では、この出願の有音無音判定における、最終的に２値化する前の値を有音度として出力するようにする。
【００２６】
図２に特開平０５−２２４６８６号公報に記載の判定方法をもとに作成した有音無音判定部１０２のシミュレーション結果を示す。図２の入力音声波形の下側に「有音区間」と示した横線は、有音度＞０．７の区間を示している。従来の有音無音判定方式では、このような「有音区間」と「無音区間」を判定した結果として、２値判定結果がアニメーション作成部１０３に出力されていた。
【００２７】
この従来方式の２値判定に対して、本実施の形態の有音無音判定部１０２は、有音度をアニメーション作成部１０３に出力する。
【００２８】
アニメーション作成部１０３は、有音無音判定部１０２から入力される有音度を３段階の判定基準「Ｌ：０．９≦有音度≦１．０，Ｍ：０．７≦有音度＜０．９，Ｓ：０．０≦有音度＜０．７」に基づいて判定し、この判定結果Ｌ，Ｍ，Ｓに基づいて、閉じた口・半分開いた口・開いた口の３つの画像から該当する画像を選択して“しゃべるアニメーション”を作成して、表示部１０４に出力する。
【００２９】
図３は、アニメーション作成部１０３において実行される画像選択の状態遷移を示している。アニメーション作成部１０３は、有音無音判定部１０２からの有音度がＳと判定されると「閉じた口」画像を選択し、続いて有音度がＭと判定されると「半分開いた口」画像を選択し、続いて有音度がＬと判定されると「開いた口」画像を選択する。このような場合、画像の遷移状態は、「閉じた口」→「半分開いた口」→「開いた口」となり、徐々に口が開くアニメーションが表示部１０４に表示されることになる。
【００３０】
また、アニメーション作成部１０３は、「半分開いた口」画像を選択した状態で、有音無音判定部１０２からの有音度がＭ又はＳと判定されると「閉じた口」画像を選択することにより、「半分開いた口」→「閉じた口」への遷移も可能とし、従来よりも細かいアニメーションの表示を可能にしている。そして、表示部１０４は、アニメーション作成部１０３から順次入力される選択画像を表示することにより、従来よりも細かい、より豊かな表現を持たせたアニメーションを表示する。
【００３１】
なお、図３の例では、画像は３枚であり、有音度は３段階に分類して画像選択制御を行う場合を示したが、画像数と有音度の分類段階数と制御方法は変更可能である。また、このように有音度を分類せず、有音度の値を直接処理して画像を作成するようにしてもよい。したがって、本実施の形態のアニメーション作成装置１００は、各種のアニメーション作成方法に対しても、有音度によるインターフェイス機能と有音度判定部は同様のものを使用することができる。
【００３２】
以上のように、本実施の形態のアニメーション作成装置によれば、２値化していない有音度を使用することにより、アニメーション作成部は従来よりも細かい画像の選択制御を行うことができ、より豊かな表現を持たせた“しゃべるアニメーション”を作成することができる。また、アニメーション作成部で処理する画像枚数等についても柔軟性を持たせることができ、アニメーションの作成方法が異なる場合でも有音無音判定部とアニメーション作成部との間の有音度によるインターフェイス機能は変更する必要がなく、インターフェイス機能の簡略化を図ることができる。すなわち、有音無音判定部とアニメーション作成部を独立に構成することができ、各種アニメーション作成方法に対して柔軟な構成とすることができる。したがって、本実施の形態のアニメーション作成装置は、各種のアニメーション作成方法に対して柔軟に対応し、構成も簡略化でき、アニメーション作成処理の負担も軽減できるため、携帯端末に搭載することが容易になる。
【００３３】
なお、上記実施の形態では、有音無音判定部への音声信号の入力にはマイクを使用した場合を示したが、携帯電話の通話における相手からの音声や、蓄積された音声信号の再生信号を入力させるようにしてもよい。また、表示部は、自装置内に備える構成としたが、作成したアニメーションを相手端末の表示部に転送することも可能であり、パーソナルコンピュータ等の表示部に出力することも可能である。
【産業上の利用可能性】
【００３４】
本発明にかかるアニメーション作成装置及びアニメーション作成方法は、携帯端末等に搭載可能なリップシンクアニメーション作成機能を実現することである。
【図面の簡単な説明】
【００３５】
【図１】本発明の一実施の形態に係るアニメーション作成装置の構成を示すブロック図
【図２】図１の有音無音判定部における有音無音判定のシミュレーション結果の一例を示す図
【図３】図１のアニメーション作成部における画像選択の遷移状態の一例を示す図
【図４】従来のアニメーション作成装置の構成を示すブロック図
【図５】図４のアニメーション作成部における画像選択の遷移状態の一例を示す図
【符号の説明】
【００３６】
１００  アニメーション作成装置
１０１  マイク
１０２  有音無音判定部
１０３  アニメーション作成部
１０４  表示部
【図１】
2005122357.tif 000003
【図２】
2005122357.tif 000004
【図３】
2005122357.tif 000005
【図４】
2005122357.tif 000006
【図５】
2005122357.tif 000007