(57)【特許請求の範囲】
【請求項１】
入力音声に対して周波数分析を行って、複数の周波数成分毎の音圧レベルを検出する周波数分析手段と、
前記周波数分析手段によって検出された前記複数の周波数成分毎の音圧レベルに基づいて、口形状を設定する口形状設定手段と、
前記口形状設定手段によって設定された口形状となるように、頭部の三次元オブジェクトを構成する複数のポリゴンの座標を修正する座標修正手段と、
を備え、前記口形状設定手段は、前記複数の周波数成分毎の音圧レベルの値を用いて、上唇の位置、下唇の位置、口角の位置のそれぞれの値を口形状パラメータとして計算することにより、口形状の設定を行うことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記三次元オブジェクトを構成する各ポリゴンに、予め模様が設定されたテクスチャ情報を付与するテクスチャマッピング手段をさらに備えることを特徴とする画像処理装置。
【請求項３】
請求項１または２において、
前記口形状パラメータは、前記上唇の位置、前記下唇の位置、前記口角の位置のそれぞれについて上限値が設定されており、前記音圧レベルの値を用いて計算した結果がそれぞれの上限値を超える場合にパラメータ値を前記上限値に設定することを特徴とする画像処理装置。
【請求項４】
請求項１または２において、
前記口形状パラメータは、前記上唇の位置、前記下唇の位置、前記口角の位置のそれぞれについて下限値が設定されており、前記音圧レベルの値を用いて計算した結果がそれぞれの下限値より小さくなる場合にパラメータ値を前記下限値に設定することを特徴とする画像処理装置。
【請求項５】
請求項１〜４のいずれかにおいて、
前記周波数分析手段によって検出された前記音圧レベルに基づいて、瞼を動かすタイミングを示す瞼パラメータを設定する瞼パラメータ設定手段をさらに備え、
前記座標修正手段は、前記口形状に関する前記ポリゴンの座標を修正するとともに、前記瞼パラメータに基づいて瞼の開閉に関する前記ポリゴンの座標を修正することを特徴とする画像処理装置。
【請求項６】
入力音声に含まれる特定周波数成分の音圧レベルを検出する特定周波数成分分析手段と、
前記特定周波数成分分析手段によって検出された前記特定周波数成分の音圧レベルが所定の閾値をこえたときに瞼を閉じるタイミングを示す瞼パラメータを設定する瞼パラメータ設定手段と、
前記瞼パラメータ設定手段によって設定される前記瞼パラメータに基づいて瞼を開閉するように、頭部の三次元オブジェクトを構成する複数のポリゴンの座標を修正する座標修正手段と、
を備えることを特徴とする画像処理装置。
【請求項７】
周波数分析手段、口形状設定手段、座標修正手段を備える画像処理装置における画像処理方法であって、
前記周波数分析手段によって、入力音声に対して周波数分析を行って、複数の周波数成分毎の音圧レベルを検出する第１のステップと、
前記第１のステップにおいて前記周波数分析手段によって検出された各周波数成分毎の音圧レベルに基づいて口形状を前記口形状設定手段によって設定する第２のステップと、
前記第２のステップにおいて前記口形状設定手段によって設定された口形状となるように、頭部の三次元オブジェクトを構成する複数のポリゴンの座標を前記座標修正手段によって修正する第３のステップと、
を有し、前記口形状設定手段は、前記複数の周波数成分毎の音圧レベルの値を用いて、上唇の位置、下唇の位置、口角の位置のそれぞれの値を口形状パラメータとして計算することにより、口形状の設定を行うことを特徴とする画像処理方法。
【請求項８】
請求項７において、
前記画像処理装置は、さらに瞼パラメータ設定手段を備え、
前記第１のステップにおいて前記周波数分析手段によって検出された前記音圧レベルに基づいて、瞼を動かすタイミングを示す瞼パラメータを前記瞼パラメータ設定手段によって設定する第４のステップを有し、
前記第３のステップにおいて、前記座標修正手段は、前記口形状に関する前記ポリゴンの座標の修正を行うとともに、前記第４のステップにおいて設定された前記瞼パラメータに基づいて瞼の開閉に関する前記ポリゴンの座標の修正を行うことを特徴とする画像処理方法。
【請求項９】
コンピュータを、
入力音声に対して周波数分析を行って、複数の周波数成分毎の音圧レベルを検出する周波数分析手段と、
前記周波数分析手段によって検出された前記複数の周波数成分毎の音圧レベルに基づいて、口形状を設定する口形状設定手段と、
前記口形状設定手段によって設定された口形状となるように、頭部の三次元オブジェクトを構成する複数のポリゴンの座標を修正する座標修正手段と、
して機能させるためのプログラムを格納した情報記憶媒体であって、
前記口形状設定手段は、前記複数の周波数成分毎の音圧レベルの値を用いて、上唇の位置、下唇の位置、口角の位置のそれぞれの値を口形状パラメータとして計算することにより、口形状の設定を行うコンピュータにより読み取り可能な情報記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声に対応して口の動き等が変化するオブジェクトの画像を生成する画像処理装置、画像処理方法およびコンピュータ読み取り可能な情報記憶媒体に関する。
【０００２】
【従来の技術】
アニメーションや実写映像の声の吹き替え等の分野においては、登場人物の表情をリアルに表現するために、登場人物の音声に合わせて口の動きを描く必要がある。例えば、アニメーション画像の場合には、口の動きを表現する手法として、原画の作成者が手作業で口やその周辺の形状を決定する手法が用いられる場合がある。作成者は、ある場面における登場人物の音声を聞きながら、あるいはこの場面用に用意された台詞を読みながら、登場人物の口の動きを想像して口の形状をつくっており、自然な口の形状を再現しようとするとある程度の経験や勘が必要になる。
【０００３】
また、実写映像の声を吹き替える場合、例えば英語の音声を日本語の音声に吹き替える場合に、実写映像の人物の口周辺を日本語の音声に合わせて変形させるものとして、特許第２７９５０８４号公報に開示された口形状画像合成装置が知られている。この装置では、吹き替え後の音声の内容を分析して音素と持続時間の情報を抽出し、これらの情報に基づいた口やその周辺の形状を決定している。
【０００４】
【発明が解決しようとする課題】
ところで、上述した手作業によって登場人物の口やその周辺の形状を決定する手法では、作業者の経験や勘などの各作業者毎の熟練度や能力に左右されるため、作業効率が悪く、しかも作業者毎に異なる結果が得られるため再現性が低く自然な表情を生成することが難しいという問題があった。
【０００５】
また、音素と持続時間の情報に基づいて口やその周辺の形状を決定する手法では、前処理として音声の内容に基づいて音素と持続時間の情報を抽出する必要があるとともに、音素毎に異なる口形状パターンをあらかじめ登録しておく必要があるため、処理の負担が重く、しかも処理に必要なデータ容量が多くなるという問題があった。例えば、音声認識処理によって、音声に含まれる音素を抽出することができるが、この音声認識処理を行うには、あらかじめ各音素に対応した音声のパターンを登録しておいて、実際の音声を分析して得られたパターンと各登録パターンとを比較し、最も類似度の大きな登録パターンに対応する音素を抽出することになる。したがって、抽出対象となる各音素毎に登録パターンが必要になるとともに、類似度が大きな登録パターンを検索するために必要な処理の負担が重くなる。
【０００６】
また、頭部全体の画像を生成する場合に、自然な表情を得ようとすると、上述した口形状のみならず瞼についても不自然とならない適当なタイミングで開閉させる必要があり、処理の負担が軽く、自然な表情が得られる手法が望まれている。
【０００７】
本発明は、このような点に鑑みて創作されたものであり、その目的は、自然な表情が得られ、しかも処理の負担が軽く、必要な記憶容量を低減することができる画像処理装置、画像処理方法およびコンピュータ読み取り可能な情報記憶媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上述した課題を解決するために、本発明の画像処理装置は、周波数分析手段、口形状分析手段、座標修正手段を備えている。周波数分析手段は、入力音声に対して周波数分析を行って、複数の周波数成分毎の音圧レベルを検出する。口形状設定手段は、周波数分析手段によって検出された複数の周波数成分毎の音圧レベルに基づいて、口形状を設定する。座標修正手段は、口形状設定手段によって設定された口形状となるように、頭部の三次元オブジェクトを構成する複数のポリゴンの座標を修正する。また、口形状設定手段は、複数の周波数成分毎の音圧レベルの値を用いて、上唇の位置、下唇の位置、口角の位置のそれぞれの値を口形状パラメータとして計算することにより、口形状の設定を行う。発声する音声と口形状とは密接な関係があるため、入力音声の各周波数成分毎の音圧レベルを検出して口形状に反映させることにより、より自然な表情を得ることができる。しかも、同じ入力音声に対して常に同じ口形状が得られるため、高い再現性を実現することができる。また、入力音声に対する周波数分析を行うだけで口形状を設定することができるため、音声認識処理によって音素を抽出する必要があった従来の手法に比べて、処理の負担が軽くなる。さらに、音声認識処理に必要な辞書が不要であり、各音素に対応した口形状のパターンを登録しておく必要もないため、メモリ等の記憶容量を低減することが可能となる。
【０００９】
また、テクスチャマッピング手段によって、上述した三次元オブジェクトを構成する各ポリゴンに、予め模様が設定されたテクスチャ情報を付与することが望ましい。入力音声に対応した口形状が設定されて各ポリゴンの頂点座標が修正されているため、これらのポリゴンに対してテクスチャマッピングを行うことにより、口やその周辺の形状が変更された三次元オブジェクトの画像を容易に得ることができる。
【００１０】
また、上述した口形状設定手段は、複数の周波数成分毎の音圧レベルの値を用いて、口および口周辺の形状を特定するために必要な口形状パラメータの値を計算することにより、口形状の設定を行っている。口形状パラメータと各音圧レベルとの関係式を予め定義しておくことにより、この関係式を用いて口形状パラメータの値を計算するだけで容易に口形状を設定することができ、処理の負担を大幅に軽減することができる。
【００１１】
特に、上述した口形状パラメータには、上唇の位置、下唇の位置、口角の位置のそれぞれに対応したパラメータが含まれており、これらの各位置を設定することにより、口形状を特定することができる。
また、上述した口形状パラメータは、上唇の位置、下唇の位置、口角の位置のそれぞれについて上限値あるいは下限値を設定しておいて、音圧レベルの値を用いて計算した結果が上限値や下限値を超える場合にパラメータ値をこの上限値や下限値に設定することが望ましい。実際の口の動きや口周辺の構造を考慮すると、上唇や下唇あるいは口角の動きには制限があると考えられる。したがって、上唇や下唇あるいは口角を所定の範囲内で動かすことにより、口形状が不自然になることを回避することができる。例えば、各周波数成分の音圧レベルが極端に大きな音声が入力されたときに、実際にはあり得ない口形状となることを防止することができる。
【００１２】
また、瞼パラメータ設定手段によって、周波数分析手段によって検出された音圧レベルに基づいて、瞼を動かすタイミングを示す瞼パラメータを設定し、上述した座標修正手段によって、口形状に関するポリゴンの座標を修正するとともに、瞼パラメータに基づいて瞼の開閉に関するポリゴンの座標を修正することが望ましい。実際の人間の頭部を考えると、何らかの音声を発声するときに口が動く動作とともに瞼が閉じたり開いたりするため、頭部画像を生成する際に、瞼の開閉の様子を考慮することにより、より自然な表情を得ることができる。
【００１３】
あるいは、上述した瞼パラメータを用いた瞼の開閉タイミングに合わせたポリゴンの座標修正は、口形状に関する処理とは切り離して別個に行うようにしてもよい。この場合に、本発明の画像処理装置は、特定周波数成分分析手段、瞼パラメータ設定手段、座標修正手段を備えている。特定周波数成分分析手段は、入力音声に含まれる特定周波数成分の音圧レベルを検出する。瞼パラメータ設定手段は、特定周波数成分分析手段によって検出された特定周波数成分の音圧レベルに基づいて、瞼を動かすタイミングを示す瞼パラメータを設定する。座標修正手段は、瞼パラメータ設定手段によって設定される瞼パラメータに基づいて瞼を開閉するように、頭部の三次元オブジェクトを構成する複数のポリゴンの座標を修正する。入力音声に含まれる特定周波数成分の音圧レベルに連動させて瞼の開閉タイミングが設定されるため、人の実際の表情に近い自然な表情を生成することができる。
【００１４】
特に、上述した瞼パラメータの設定に用いられる音圧レベルの周波数成分は、口の動きに連動しない周波数成分を用いることが望ましい。瞼の動きと口の動きが常に連動して不自然となることを防止することができる。また、特定の周波数成分の音圧レベルに基づいて瞼パラメータが設定されて瞼を動かすタイミングが決まるため、例えば瞼をランダムなタイミングで動かす場合のような他の演算等が不要になり、処理の簡略化が可能になる。
【００１５】
また、本発明の画像処理方法は、周波数分析手段、口形状設定手段、座標修正手段を備える画像処理装置における画像処理方法であって、周波数分析手段によって、入力音声に対して周波数分析を行って複数の周波数成分毎の音圧レベルを検出する第１のステップと、第１のステップにおいて周波数分析手段によって検出された各周波数成分毎の音圧レベルに基づいて口形状を口形状設定手段によって設定する第２のステップと、第２のステップにおいて口形状設定手段によって設定された口形状となるように頭部の三次元オブジェクトを構成する複数のポリゴンの座標を座標修正手段によって修正する第３のステップとを有し、口形状設定手段は、複数の周波数成分毎の音圧レベルの値を用いて、上唇の位置、下唇の位置、口角の位置のそれぞれの値を口形状パラメータとして計算することにより、口形状の設定を行っている。また、画像処理装置は、さらに瞼パラメータ設定手段を備え、第１のステップにおいて周波数分析手段によって検出された音圧レベルに基づいて、瞼を動かすタイミングを示す瞼パラメータを瞼パラメータ設定手段によって設定する第４のステップを有し、第３のステップにおいて、座標修正手段は、口形状に関するポリゴンの座標の修正を行うとともに、第４のステップにおいて設定された瞼パラメータに基づいて瞼の開閉に関するポリゴンの座標の修正を行うようにしてもよい。
【００１６】
また、本発明の情報記憶媒体は、コンピュータを、入力音声に対して周波数分析を行って、複数の周波数成分毎の音圧レベルを検出する周波数分析手段と、周波数分析手段によって検出された複数の周波数成分毎の音圧レベルに基づいて、口形状を設定する口形状設定手段と、口形状設定手段によって設定された口形状となるように、頭部の三次元オブジェクトを構成する複数のポリゴンの座標を修正する座標修正手段として機能させるためのプログラムを格納した情報記憶媒体であって、口形状設定手段は、複数の周波数成分毎の音圧レベルの値を用いて、上唇の位置、下唇の位置、口角の位置のそれぞれの値を口形状パラメータとして計算することにより、口形状の設定を行っている。
【００１７】
本発明の画像処理方法を実施することにより、あるいは本発明の情報記憶媒体に格納されたプログラムを実行することにより、入力音声の内容を反映させた自然な口形状を形成することができる。特に、同じ入力音声に対して常に同じ口形状が得られるため、高い再現性を実現し、しかも自然な表情を有する画像を生成することができる。また、入力音声に対する周波数分析を行うだけで口形状を設定することができるため、音声認識処理によって音素を抽出する必要があった従来の手法に比べて、処理の負担が軽くなる。さらに、音声認識処理に必要な辞書が不要であり、各音素に対応した口形状のパターンを登録しておく必要もないため、メモリ等の記憶容量を低減することが可能となる。
【００１８】
【発明の実施の形態】
以下、本発明を適用した一実施形態について、図面を参照しながら詳細に説明する。
図１は、本発明を適用した一実施形態の画像処理装置の構成を示す図である。図１に示す画像処理装置１００は、アナログ−デジタル（Ａ／Ｄ）変換部１０、オブジェクト制御部２０、画像生成部３０を含んで構成されている。
【００１９】
Ａ／Ｄ変換部１０は、アナログの音声信号が入力され、この音声信号に対して所定のサンプリング周波数でサンプリングを行って、所定時間間隔でデジタルの音声データを出力する。
オブジェクト制御部２０は、人体の頭部を模擬した三次元オブジェクトの形状を計算する処理を行う。このために、オブジェクト制御部２０は、周波数分析部２２、口形状パラメータ変換部２４、瞼パラメータ変換部２６、座標修正部２８を含んで構成されている。
【００２０】
周波数分析部２２は、所定の時間間隔で入力される音声データに基づいて、入力音声の周波数分析を行う。例えば、周波数分析部２２は、可聴周波数帯域を６４分割し、それぞれの分割領域毎に入力音声の音圧レベルを検出する。
口形状パラメータ変換部２４は、周波数分析部２２による周波数分析結果に基づいて、頭部に含まれる口およびその周辺の形状を決定するために必要な口形状パラメータの値を設定する。例えば、本実施形態では、以下に示す５つの口形状パラメータＰａ〜Ｐｅが用いられている。
【００２１】
１）上唇上方向の変化量を示すパラメータＰａ
２）上唇前方向の変化量を示すパラメータＰｂ
３）下唇下方向の変化量を示すパラメータＰｃ
４）下唇前方向の変化量を示すパラメータＰｄ
５）口角横方向の変化量を示すパラメータＰｅ
瞼パラメータ変換部２６は、周波数分析部２２による周波数分析結果に基づいて、頭部に含まれる瞼の動き、すなわち瞼を閉じるタイミングを示す瞼パラメータの値を設定する。瞼の動きを口の動きに連動させると表情が不自然になるため、本実施形態では、口の動きと直接的な関連がなさそうな周波数成分の音圧レベルに基づいて瞼パラメータの値が設定され、瞼を閉じるタイミングが決定される。
【００２２】
座標修正部２８は、口形状パラメータ変換部２４によって決定された口形状や瞼パラメータ変換部２６によって決定された瞼の動きを反映させるために、頭部を模擬した三次元オブジェクトを構成するポリゴンの頂点座標を必要に応じて適宜変更する処理を行う。例えば、音声が何も入力されておらず、しかも瞼を開いた状態を「ノーマル」とする。口やその周辺の所定範囲については、上述した５つの口パラメータＰａ〜Ｐｅの値に基づいて、ノーマル状態を基準とした各ポリゴンの頂点座標の変化量が計算される。また、瞼が動くタイミングが瞼パラメータ変換部２６によって指示されると、ノーマル状態から瞼を閉じて再び開くまでの瞼の一連の動きを再現するために必要な各ポリゴンの頂点座標の変化量が計算される。
【００２３】
また、画像生成部３０は、オブジェクト制御部２０によって各ポリゴンの頂点座標が計算された三次元オブジェクトの画像を、実際に表示装置１１０に表示するために必要な処理を行う。このために、画像生成部３０は、透視投影変換部３２、テクスチャマッピング部３４、フレームメモリ３６を含んで構成されている。
【００２４】
透視投影変換部３２は、予め設定された所定の視点位置を基準とした透視投影変換を行う。これにより、仮想的な三次元空間に配置された三次元オブジェクトを所定の視点位置から見た二次元画像（疑似三次元画像）が得られる。テクスチャマッピング部３４は、透視投影変換部３２によって得られた二次元画像に含まれる各ポリゴンにテクスチャの画像を対応させるテクスチャマッピング処理およびシェーディング処理を行う。このテクスチャマッピング部３４の構成の具体例については後述する。テクスチャマッピング処理およびシェーディング処理が行われた後の二次元画像はフレームメモリ３６に格納された後、所定の順番で読み出されて表示装置１１０の画面上に表示される。
【００２５】
図２は、テクスチャマッピング部３４の詳細構成を示す図である。図２に示すように、テクスチャマッピング部３４は、マッピング座標計算部５０、形状メモリ５２、テクスチャ付与部５４、テクスチャメモリ５６、シェーディング補正部５８を含んで構成されている。
【００２６】
マッピング座標計算部５０は、三次元オブジェクトを構成する各ポリゴンとテクスチャとの対応付けを計算する。形状メモリ５２は、各ポリゴンに関する情報を格納する。テクスチャ付与部５４は、各ポリゴンにテクスチャを付与する。テクスチャメモリ５４は、各テクスチャに関する情報を格納する。シェーディング補正部５８は、光源の位置や三次元オブジェクトを囲む環境条件から各ポリゴンに対応して付与されたテクスチャ画像の明るさの補正を行う。例えば、鼻や唇等の凹凸によって影が生じる場合には、その具体的な陰影の様子がこのシェーディング補正によって再現される。
【００２７】
上述した周波数分析部２２が周波数分析手段、特定周波数成分分析手段に、口形状パラメータ変換部２４が口形状設定手段に、瞼パラメータ変換部２６が瞼パラメータ設定手段に、座標修正部２８が座標修正手段に、テクスチャマッピング部３４がテクスチャマッピング手段にそれぞれ対応する。
【００２８】
本実施形態の画像処理装置１００はこのような構成を有しており、次にその動作を説明する。
図３〜図５は、人間の声の周波数分析結果を示す図である。図３は母音「ア」を発声した場合の周波数分析結果を、図４は母音「イ」を発声した場合の周波数分析結果を、図５は母音「ウ」を発声した場合の周波数分析結果をそれぞれ示している。これらの図において、横軸が周波数に対応しており、ほぼ可聴帯域を６４分割した場合の各周波数帯域毎の音声レベルが示されている。
【００２９】
図３〜図５に示すように、異なる３つの母音「ア」、「イ」、「ウ」を発声したときの周波数分布をみると、特徴的な変化の様子を示す３つの山が存在することがわかる。これら３つの山が存在する周波数帯域を低域側から順に領域Ａ、Ｂ、Ｃとする。
【００３０】
例えば、図３に示した母音「ア」の周波数分布をみると、領域Ａおよび領域Ｂに対応する音声レベルが大きく、領域Ｃに対応する音声レベルが小さいことがわかる。また、図４に示した母音「イ」の周波数分布をみると、領域Ａおよび領域Ｃに対応する音声レベルが大きく、領域Ｂに対応する音声レベルが小さいことがわかる。さらに、図５に示した母音「ウ」の周波数分布をみると、領域Ａに対応する音声レベルが非常に大きく、領域Ｂおよび領域Ｃに対応する音声レベルが小さいことがわかる。
【００３１】
このように、３つの母音「ア」、「イ」、「ウ」のそれぞれについて、３つの領域Ａ〜Ｃの各音声レベルを観察すると、異なる傾向を有することがわかる。発声する音と口形状とは密接な関係があるため、これらの音声レベルの傾向の違いを口およびその周辺の形状に反映させることができれば、入力音声の周波数分布に応じた口およびその周辺形状を再現することが可能になる。
【００３２】
図６および図７は、母音「ア」を発声した場合の口およびその周辺の形状を示す図である。図６には人の顔を正面から見た状態が、図７には人の顔を右側面から見た状態がそれぞれ示されている。
同様に、図８および図９は、母音「イ」を発声した場合の口およびその周辺の形状を示す図である。図８には人の顔を正面から見た状態が、図９には人の顔を右側面から見た状態がそれぞれ示されている。
【００３３】
図１０および図１１は、母音「ウ」を発声した場合の口およびその周辺の形状を示す図である。図１０には人の顔を正面から見た状態が、図１１には人の顔を右側面から見た状態がそれぞれ示されている。
図１２および図１３は、何も発声していないノーマル状態における口およびその周辺の形状を示す図である。図１２には人の顔を正面から見た状態が、図１３には人の顔を右側面から見た状態がそれぞれ示されている。
【００３４】
図６〜図１１に示すように、３つの母音「ア」、「イ」、「ウ」のそれぞれについて、口およびその周辺の形状を観察すると、発声する母音が異なるときに、１）上唇の位置、２）下唇の位置、３）口角部の横方向位置が変化することがわかる。しかも、図３〜図５に示した周波数分析結果によると、各母音は、３つの周波数帯域Ａ、Ｂ、Ｃの各音圧レベルが互いに異なる傾向を示しているため、各音圧レベルの値を用いて上唇の位置、下唇の位置、口角部の横方向位置のそれぞれを求める計算式を定義することができれば、任意の音に対応する各周波数帯域の音圧レベルの値に基づいて上唇の位置、下唇の位置、口角部の横方向位置を計算し、これにより口形状を決定することができることになる。
【００３５】
具体的には、本実施形態では、図３〜図５に示した３つの周波数帯域の音圧レベルを低域側から順番にＬ１、Ｌ２、Ｌ３としたときに、口形状パラメータ変換部２４によって、上述した５つのパラメータＰａ〜Ｐｅの値を以下の関係式を用いて計算している。なお、各音圧レベルＬ１、Ｌ２、Ｌ３は、それぞれの周波数帯域に含まれる６４分割領域毎の音圧レベルの値を累積することにより求めることができるが、この累積値の代わりに平均値を用いるようにしてもよい。
【００３６】
１）上唇上方向の変化量を示すパラメータＰａ：
図１２に示す上唇位置ｐ１の上方向の変化量を示すパラメータＰａは、
Ｐａ＝Ａ×Ｌ２                                      …（１）
の関係式を用いて計算することができる。ここで、Ａは適当な係数であり、例えばＡ＝０．５に設定されている。
【００３７】
２）上唇前方向の変化量を示すパラメータＰｂ：
図１３に示す上唇位置ｐ１の前方向の変化量を示すパラメータＰｂは、
Ｐｂ＝Ｂ×Ｌ１−Ｃ×Ｌ２−Ｄ×Ｌ３                  …（２）
の関係式を用いて計算することができる。ここで、Ｂ、Ｃ、Ｄは適当な係数であり、例えばＢ＝１．０、Ｃ＝１．０、Ｄ＝１．０に設定されている。
【００３８】
３）下唇下方向の変化量を示すパラメータＰｃ：
図１３に示す下唇位置ｐ２の下方向の変化量を示すパラメータＰｃは、
Ｐｃ＝Ｅ×Ｌ２                                      …（３）
の関係式を用いて計算することができる。ここで、Ｅは適当な係数であり、例えばＥ＝３．０に設定されている。
【００３９】
４）下唇前方向の変化量を示すパラメータＰｄ：
図１２に示す下唇位置ｐ３の前方向の変化量を示すパラメータＰｄは、
Ｐｄ＝Ｆ×Ｌ１−Ｇ×Ｌ２−Ｈ×Ｌ３                  …（４）
の関係式を用いて計算することができる。ここで、Ｆ、Ｇ、Ｈは適当な係数であり、例えばＢ＝１．０、Ｃ＝１．０、Ｄ＝１．０に設定されている。
【００４０】
５）口角横方向の変化量を示すパラメータＰｅ：
図１２に示す口角位置ｐ４の横方向の変化量を示すパラメータＰｅは、
Ｐｅ＝Ｉ×Ｌ３−Ｊ×Ｌ１                            …（５）
の関係式を用いて計算することができる。ここで、Ｉ、Ｊは適当な係数であり、例えばＩ＝３．０、Ｊ＝２．０に設定されている。
【００４１】
なお、上述した各位置ｐ１〜ｐ４のそれぞれは、便宜的に設定したものであり、口周辺において多少上下位置等を変更してもよい。また、実際の口の動きは、常識的な範囲内に収まるものと考えられるが、上述した（１）式〜（５）式を用いて計算した場合には、この常識的な範囲から外れる場合も起こり得る。例えば、入力音声の音圧レベルが非常に大きい場合には、実際にあり得ないような口の大きさに対応した口形状パラメータの値が計算結果として得られるおそれがある。したがって、各口形状パラメータＰａ〜Ｐｅには、口形状が不自然にならないような上限値を設けることが望ましい。そして、上限値を超える値が計算結果として得られた場合には、この口形状パラメータの値を強制的に上限値に設定する。また、口を閉じたノーマル状態を基準として各口形状パラメータの値を設定しているため、各値が負となることは好ましくない。したがって、各口形状パラメータＰａ〜Ｐｅが負にならないように下限値を設けることが望ましい。そして、計算結果として負の値が得られた場合には、この口形状パラメータの値を強制的に下限値「０」に設定する。
【００４２】
ところで、本実施形態では、入力音声の内容に応じて口形状を変化させるとともに、この口形状の変化に連動しないように瞼の開閉を行っており、この開閉タイミングを示す瞼パラメータを所定の周波数帯域の音圧レベルに基づいて設定している。
【００４３】
図１４および図１５は、瞼パラメータの設定に用いる周波数帯域を示す図である。瞼パラメータ変換部２６は、図１４に示すように、周波数領域Ｄの音圧レベルが所定の閾値を越える場合に、瞼を閉じるタイミングを示す瞼パラメータを設定する。例えば、このとき瞼パラメータＭの値が１に設定される。また、瞼パラメータ変換部２６は、図１５に示すように、周波数領域Ｄの音圧レベルが所定の閾値よりも小さくなる場合には、瞼が開いた状態であることを示す瞼パラメータを設定する。例えば、このとき瞼パラメータＭの値が０に設定される。
【００４４】
図１６は、本実施形態の画像処理装置１００において頭部画像を生成する動作手順を示す図である。例えば、１画面分の頭部画像を生成する場合の動作手順が示されている。
アナログの音声信号が入力されると、Ａ／Ｄ変換部１０は、所定のサンプリング周波数でデジタルの音声データに変換して周波数分析部２２に入力する。周波数分析部２２は、入力される音声データに基づいてＦＦＴ（高速フーリエ変換）演算を行って所定の周波数分析処理を行う（ステップ１００）。具体的には、周波数分析部２２は、ほぼ可聴周波数帯域を６４分割した各分割領域毎の音圧レベルを求めた後、図３などに示した３つの周波数帯域Ａ、Ｂ、Ｃのそれぞれについて各分割領域の音圧レベルを累積し、口形状パラメータの計算に用いる３つの音圧レベルＬ１、Ｌ２、Ｌ３を求めて口形状パラメータ変換部２４に入力する。また、周波数分析部２２は、６４分割した各分割領域毎の音圧レベルの中から、図１４および図１５に示した特定の周波数帯域Ｄの音圧レベルのみを抽出して瞼パラメータ変換部２６に入力する。
【００４５】
次に、口形状パラメータ変換部２４は、周波数分析部２２から入力された３つの音圧レベルＬ１、Ｌ２、Ｌ３に基づいて、口およびその周辺の形状を決定するために用いられる５つのパラメータＰａ、Ｐｂ、Ｐｃ、Ｐｄ、Ｐｅの値を設定する（ステップ１０１）。具体的な計算方法は上述した通りであり、（１）式〜（５）式を用いた簡単な演算によって各パラメータ値が得られる。
【００４６】
この口形状パラメータ変換部２４による処理と並行して、あるいは前後して、瞼パラメータ変換部２６は、周波数分析部２２から入力された周波数帯域Ｄの音圧レベルに基づいて瞼パラメータの値を設定する（ステップ１０２）。上述したように、瞼パラメータの値の設定は、周波数帯域Ｄの音圧レベルと所定の閾値の大小関係を調べるという簡単な処理によって行うことができる。
【００４７】
次に、座標修正部２８は、口形状パラメータ変換部２４によって設定された口形状パラメータＰａ〜Ｐｅの値および瞼パラメータ変換部２６によって設定された瞼パラメータＭの値に基づいて、頭部を模擬した三次元オブジェクトを構成する各ポリゴンの頂点座標を修正する処理を行う（ステップ１０３）。
【００４８】
なお、実際には、各口形状パラメータＰａ〜Ｐｅによって特定位置ｐ１〜ｐ４の変化量が示されるが、各ポリゴンの頂点座標の修正は、これらの特定位置を中心とした所定範囲に含まれるポリゴンを対象として行われる。図１２に示した上唇位置ｐ１に着目すると、縦方向については上唇から鼻の付け根までの範囲が、横方向については唇の幅と同程度の範囲が上唇位置ｐ１を含む所定範囲として抽出され、この所定範囲に含まれるポリゴンの頂点座標が（１）式によって計算されるパラメータＰａに基づいて修正される。また、修正の程度については、この所定範囲に含まれる各ポリゴンの頂点座標を一律に変化させるのではなく、上唇位置ｐ１から遠ざかるにしたがって修正量が少なくなるように設定されている。
【００４９】
また、図１３に示した下唇位置ｐ２については、下顎全体が回転することを考慮して、所定位置ｐ５を回転中心として下唇位置ｐ２を修正する処理が行われる。したがって、下唇位置ｐ２から回転中心位置ｐ５に向かうにしたがって徐々に下方向への修正量が少なくなるようにポリゴンの頂点座標が修正される。
【００５０】
図１７〜図２０は、ポリゴンの頂点座標の修正の様子を示す図である。図１７は、ノーマル状態の三次元オブジェクトを正面から見た様子を示す図であり、図１８は、ノーマル状態の三次元オブジェクトを右側面から見た様子を示す図である。また、図１９は、母音「ア」を発声している状態の三次元オブジェクトを正面から見た様子を示す図であり、図２０は、母音「ア」を発声している状態の三次元オブジェクトを右側面から見た様子を示す図である。これらの図に示すように、位置ｐ１〜ｐ４を修正することにより、口周辺に配置された各ポリゴンの頂点座標が修正され、母音「ア」を発声している状態の口形状に対応した各ポリゴンの頂点座標位置となる。
【００５１】
次に、透視投影変換部３２は、必要に応じて頂点座標が修正された各ポリゴンに対し、所定の視点位置を基準とした透視投影変換を行って擬似三次元画像データを生成する（ステップ１０４）。
次に、テクスチャマッピング部３４は、テクスチャを対応させるテクスチャマッピング処理（ステップ１０５）およびシェーディング処理（ステップ１０６）を行い、フレームメモリ３６に格納する。その後、フレームメモリ３６に格納された疑似三次元画像データが表示ライン毎に読み出されて表示装置１１０に表示される（ステップ１０７）。
【００５２】
図２１〜図２８は、表示装置１１０に表示された疑似三次元画像の具体例を示す図である。図２１は、何も発声しないノーマル状態の画像であって、視点位置が頭部の正面に設定されている場合が示されている。図２２は、ノーマル状態の画像であって、視点位置が頭部の右側面に設定されている場合が示されている。図２３は、母音「ア」を発声した状態の画像であって、視点位置が頭部の正面に設定されている場合が示されている。図２４は、母音「ア」を発声した状態の画像であって、視点位置が頭部の右側面に設定されている場合が示されている。図２５は、母音「イ」を発声した状態の画像であって、視点位置が頭部の正面に設定されている場合が示されている。図２６は、母音「イ」を発声した状態の画像であって、視点位置が頭部の右側面に設定されている場合が示されている。図２７は、母音「ウ」を発声した状態の画像であって、視点位置が頭部の正面に設定されている場合が示されている。図２８は、母音「ウ」を発声した状態の画像であって、視点位置が頭部の右側面に設定されている場合が示されている。これらの図に示すように、入力音声の内容に応じた口やその周辺の形状を再現することができ、自然な表情を有する三次元オブジェクトの画像を生成することができる。
【００５３】
このように、本実施形態の画像処理装置１００では、入力音声の各周波数成分毎の音圧レベルを検出して口形状に反映させることにより、入力音声に対応する自然な口形状を形成することができる。しかも、同じ入力音声に対して常に同じ口形状が得られるため、高い再現性を実現することができる。
【００５４】
また、入力音声に対する周波数分析を行うだけで口形状を設定することができるため、音声認識処理によって音素を抽出する必要があった従来の手法に比べて、処理の負担が軽くなる。さらに、音声認識処理に必要な辞書が不要であり、各音素に対応した口形状のパターンを登録しておく必要もないため、メモリ等の記憶容量を低減することが可能となる。
【００５５】
特に、上述した（１）式〜（５）式に示したように、口形状パラメータＰａ〜Ｐｅと各音圧レベルＬ１、Ｌ２、Ｌ３との関係式を予め定義しておくことにより、この関係式を用いて各口形状パラメータの値を計算するだけで容易に口形状を設定することができ、処理の負担を大幅に軽減することができる。
【００５６】
また、口形状の設定と並行して瞼の開閉動作も再現しており、自然な表情を有するリアルな三次元オブジェクトの画像を生成することができる。特に、口の動きと連動しないように瞼の動きが設定されるため、これらを連動させた場合に生じる表情の不自然さを回避することができる。また、入力音声に含まれる特定周波数成分の音圧レベルの大小に応じて瞼の開閉タイミングが設定されているため、例えば瞼をランダムなタイミングで動かす場合のような他の演算等が不要になり、処理の簡略化も可能になる。
【００５７】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。上述した実施形態では、三次元オブジェクトに対応した疑似三次元画像を単に表示する場合を説明したが、具体的な用途については様々なものが考えられる。例えば、顔のＣＧ（コンピュータグラフィックス）アニメーションを作る際のモーション付けに本発明を利用することができる。また、ゲームなどに登場するキャラクタについて顔のモーションデータを持たずに音声から口の動きを表示する場合に本発明を適用することができる。あるいは、ＣＧによって人物の表情を表示するテレビ電話において、通話相手の音声に基づいて画面上の人物の口を動かす場合に本発明を適用することができる。
【００５８】
また、上述した実施形態では、（１）式〜（５）式を用いて各口形状パラメータＰａ〜Ｐｅの値を計算するようにしたが、各口形状パラメータに対応した計算式は（１）式〜（５）式以外を採用するようにしてもよい。例えば、上述した実施形態では、３つの母音「ア」、「イ」、「ウ」を発声したときに口形状を観察して口形状パラメータの計算式を求めたが、他の母音「エ」、「オ」やそれ以外の子音を発声したときの口形状を観察して口形状パラメータの計算式を求めるようにしてもよい。また、図４に示した３つの周波数帯域Ａ、Ｂ、Ｃの各音圧レベルＬ１、Ｌ２、Ｌ３を用いて口形状パラメータを計算したが、２つあるいは４つ以上の周波数帯域の音圧レベルを用いて口形状パラメータを計算するようにしてもよい。
【００５９】
また、（１）式〜（５）式に示した計算式は、実際に３つの母音を発声した際の口形状と、このときの周波数分析結果を見比べながら、その内容を決定する手法を用いたが、各口形状パラメータＰａ〜Ｐｅと各音圧レベルＬ１〜Ｌ３の関係を、連立方程式を解くことによって求めるようにしてもよい。例えば、各パラメータが３つの音圧レベルＬ１〜Ｌ３の線形結合によって算出されるものとすると、各パラメータについて未知の係数が３つ、合計で１５個の係数の値を決定すればよい。
【００６０】
また、上述した実施形態では、口形状を決定するために５つの口形状パラメータを用いたが、５以外の数の口形状パラメータを用いるようにしてもよい。例えば、口周辺の詳細な形状を決定するために、５より多くの口形状パラメータを用いる場合が考えられる。
【００６１】
また、上述した実施形態の画像処理装置１００は、それぞれの構成部に対応した機能をハードウエアで実現することもできるが、仕様の一部を容易に変更することができるように、メモリ等の情報記憶媒体に格納されたプログラムを読み出してＣＰＵによって実行することにより実現するようにしてもよい。この場合には、Ａ／Ｄ変換部１０とフレームメモリ３６を除く各構成部をＣＰＵとメモリを含むコンピュータの構成に置き換えればよい。プログラムを提供する情報記憶媒体としては、ＲＯＭやＲＡＭ等の半導体メモリの他に、ＣＤやＤＶＤ等の光ディスクや、ハードディスク装置等を用いることができる。
【００６２】
また、上述した実施形態では、入力音声に対する周波数分析結果に基づいて、５種類のパラメータＰａ、Ｐｂ、Ｐｃ、Ｐｄ、Ｐｅを定義し、これらの各パラメータを用いて、上唇上方向の変化量、上唇前方向の変化量、下唇下方向の変化量、下唇前方向の変化量、口角横方向の変化量を直接計算によって求めて口形状を決定したが、口形状の決定方法、すなわち入力音声に対する周波数分析結果をどのように口形状に反映させるかについては、上述した方法以外を採用するようにしてもよい。具体的には、以下に示す手法を用いて、入力音声に対応する口形状を設定するようにしてもよい。
【００６３】
口形状パラメータＰａは、上唇上方向の変化量を示すパラメータであるため、口を上下に大きく開いた口形状（例えば図６および図７に示す口形状）をこのパラメータの値が大きな場合に対応させる。例えば、口形状パラメータＰａを正規化したパラメータＰａ’を考えた場合に、この値が１の場合に、図６および図７に示した口形状が設定されるものとする。
【００６４】
同様に、口形状パラメータＰｂは、上唇前方向の変化量を示すパラメータであるため、口を前に大きく突き出した口形状（例えば図１０および図１１に示す口形状）をこのパラメータの値が大きな場合に対応させる。例えば、口形状パラメータＰｂを正規化したパラメータＰｂ’を考えた場合に、この値が１の場合に、図１０および図１１に示した口形状が設定されるものとする。
【００６５】
また、口形状パラメータＰｅは、口角横方向の変化量を示すパラメータであるため、口を横に大きく開いた口形状（例えば図８および図９に示す口形状）をこのパラメータの値が大きな場合に対応させる。例えば、口形状パラメータＰｅを正規化したパラメータＰｅ’を考えた場合に、この値が１の場合に、図８および図９に示した口形状が設定されるものとする。
【００６６】
このようにして３つのパラメータＰａ’、Ｐｂ’、Ｐｅ’のそれぞれに、代表的な口形状を対応させておいて、入力音声に対応して実際にこれら３つのパラメータの値が計算されたときに、各パラメータの値を考慮した画像の合成を行って口形状が設定される。
【００６７】
例えば、口周辺の任意のポリゴンの一の頂点をＱとする。図１２および図１３に示した口を閉じた状態に対応する頂点Ｑを始点とし、図６および図７に示した口を上下に大きく開いた状態に対応する頂点Ｑを終点とするベクトルをＸａと定義する。また、口を閉じた状態に対応する頂点Ｑを始点とし、図１０および図１１に示した口を前に大きく突き出した状態に対応する頂点Ｑを終点とするベクトルをＸｂと定義する。同様に、口を閉じた状態に対応する頂点Ｑを始点とし、図８および図９に示した口を横に大きく開いた状態に対応する頂点Ｑを終点とするベクトルをＸｅと定義する。
【００６８】
上述した３つのベクトルＸａ、Ｘｂ、Ｘｅを用いると、入力音声に対応させて口形状を変化させた後の頂点Ｑの座標は、Ｐａ’・Ｘａ＋Ｐｂ’・Ｘｂ＋Ｐｅ’・Ｘｅの式を使って計算することができる。口形状を変化させるために必要な全てのポリゴンの頂点についてこのような計算を行うことによって、入力音声に対応する口形状を設定することができる。
【００６９】
【発明の効果】
上述したように、本発明によれば、入力音声の各周波数成分毎の音圧レベルを検出して口形状に反映させることにより、より自然な表情を得ることができる。しかも、同じ入力音声に対して常に同じ口形状が得られるため、高い再現性を実現することができる。また、入力音声に対する周波数分析を行うだけで口形状を設定することができるため、処理の負担を軽くすることができる。さらに、音声認識処理に必要な辞書が不要であり、各音素に対応した口形状のパターンを登録しておく必要もないため、メモリ等の記憶容量を低減することが可能となる。
【００７０】
また、入力音声に含まれる特定周波数成分の音圧レベルに連動させて瞼の開閉タイミングが設定されるため、人の実際の表情に近い自然な表情を生成することができる。
【図面の簡単な説明】
【図１】一実施形態の画像処理装置の構成を示す図である。
【図２】テクスチャマッピング部の詳細構成を示す図である。
【図３】人間の声の周波数分析結果を示す図である。
【図４】人間の声の周波数分析結果を示す図である。
【図５】人間の声の周波数分析結果を示す図である。
【図６】母音「ア」を発声した場合の口およびその周辺の形状を示す図である。
【図７】母音「ア」を発声した場合の口およびその周辺の形状を示す図である。
【図８】母音「イ」を発声した場合の口およびその周辺の形状を示す図である。
【図９】母音「イ」を発声した場合の口およびその周辺の形状を示す図である。
【図１０】母音「ウ」を発声した場合の口およびその周辺の形状を示す図である。
【図１１】母音「ウ」を発声した場合の口およびその周辺の形状を示す図である。
【図１２】ノーマル状態における口およびその周辺の形状を示す図である。
【図１３】ノーマル状態における口およびその周辺の形状を示す図である。
【図１４】瞼パラメータの設定に用いる周波数帯域を示す図である。
【図１５】瞼パラメータの設定に用いる周波数帯域を示す図である。
【図１６】本実施形態の画像処理装置において頭部画像を生成する動作手順を示す図である。
【図１７】ポリゴンの頂点座標の修正の様子を示す図である。
【図１８】ポリゴンの頂点座標の修正の様子を示す図である。
【図１９】ポリゴンの頂点座標の修正の様子を示す図である。
【図２０】ポリゴンの頂点座標の修正の様子を示す図である。
【図２１】疑似三次元画像の表示の具体例を示す図である。
【図２２】疑似三次元画像の表示の具体例を示す図である。
【図２３】疑似三次元画像の表示の具体例を示す図である。
【図２４】疑似三次元画像の表示の具体例を示す図である。
【図２５】疑似三次元画像の表示の具体例を示す図である。
【図２６】疑似三次元画像の表示の具体例を示す図である。
【図２７】疑似三次元画像の表示の具体例を示す図である。
【図２８】疑似三次元画像の表示の具体例を示す図である。
【符号の説明】
１０  アナログ−デジタル（Ａ／Ｄ）変換部
２０  オブジェクト制御部
２２  周波数分析部
２４  口形状パラメータ変換部
２６  瞼パラメータ変換部
２８  座標修正部
３０  画像生成部
３２  透視投影変換部
３４  テクスチャマッピング部
３６  フレームメモリ
１００  画像処理装置
１１０  表示装置
【図１】
0004459415.tif 000002
【図２】
0004459415.tif 000003
【図３】
0004459415.tif 000004
【図４】
0004459415.tif 000005
【図５】
0004459415.tif 000006
【図６】
0004459415.tif 000007
【図７】
0004459415.tif 000008
【図８】
0004459415.tif 000009
【図９】
0004459415.tif 000010
【図１０】
0004459415.tif 000011
【図１１】
0004459415.tif 000012
【図１２】
0004459415.tif 000013
【図１３】
0004459415.tif 000014
【図１４】
0004459415.tif 000015
【図１５】
0004459415.tif 000016
【図１６】
0004459415.tif 000017
【図１７】
0004459415.tif 000018
【図１８】
0004459415.tif 000019
【図１９】
0004459415.tif 000020
【図２０】
0004459415.tif 000021
【図２１】
0004459415.tif 000022
【図２２】
0004459415.tif 000023
【図２３】
0004459415.tif 000024
【図２４】
0004459415.tif 000025
【図２５】
0004459415.tif 000026
【図２６】
0004459415.tif 000027
【図２７】
0004459415.tif 000028
【図２８】
0004459415.tif 000029