(57)【要約】      （修正有）【課題】モーションキャプチャしていない動作を含むＣＧのコンテンツを自動で生成する。【解決手段】定型化された電文に基づいて、手話ＣＧの一部を変換する対象となる動作と、変換後の動作の態様とを判定し、判定された変換の対象となる動作を示す第１の動作データを、判定された変換後の動作の態様になるよう、第２の動作データに変換し、変換された第２の動作データに基づいて、手話ＣＧを生成し、所定のメタデータに対応付けて、手話ＣＧの一部を変換する変換対象の項目を記憶し、電文に含まれるメタデータに対応付けて記憶されている変換対象の項目に対する動作を、手話ＣＧの一部を変換する対象となる動作であると判定し、第１の動作データ以外の動作データである第３の動作データにおける所定の関節の座標又は回転情報を、第１の動作データにおける当該所定の関節の座標又は回転情報に基づいて変換し、第２の動作データとする。【選択図】図２
2018128947.tif 000002
【特許請求の範囲】
【請求項１】
手話ＣＧを生成するＣＧ生成装置であって、
定型化された電文に基づいて、前記手話ＣＧの一部を変換する対象となる動作と、前記変換後の動作の態様とを判定する判定部と、
前記判定部により判定された前記変換の対象となる動作を示す第１の動作データを、前記判定部により判定された前記変換後の動作の態様になるよう、第２の動作データに変換する変換部と、
前記変換部により変換された前記第２の動作データに基づいて、前記手話ＣＧを生成する生成部と、
所定のメタデータに対応付けて、前記手話ＣＧの一部を変換する変換対象の項目を記憶する記憶部と、
を備え、
前記判定部は、前記電文に含まれるメタデータに対応付けて前記記憶部に記憶されている前記変換対象の項目に対する動作を、前記手話ＣＧの一部を変換する対象となる動作であると判定し、
前記変換部は、前記第１の動作データ以外の動作データである第３の動作データにおける所定の関節の座標又は回転情報を、前記第１の動作データにおける当該所定の関節の座標又は回転情報に基づいて変換し、前記第２の動作データとすることを特徴とするＣＧ生成装置。
【請求項２】
前記判定部は、手話ＣＧのキャラクタの前後または左右に対比させる前記変換後の動作の態様を判定する、請求項１に記載のＣＧ生成装置。
【請求項３】
前記判定部は、前記変換後の動作の態様として、手話ＣＧのキャラクタを構成する各部の動作速度、または前記各部の動作の繰り返し回数を判定する、請求項１に記載のＣＧ生成装置。
【請求項４】
コンピュータを、請求項１乃至３の何れか１項に記載のＣＧ生成装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＧ生成装置、及びプログラムに関する。
【背景技術】
【０００２】
従来、映画、ゲーム、教育、医療・福祉等の様々な分野において、コンピュータグラフィックス（ＣＧ、Computer Graphics）のコンテンツが用いられている。このＣＧのコンテンツは、例えば、フレーム毎に手作業でモデルの関節位置を更新しながら記録したり、大規模かつ特殊な設備を用いてモーションキャプチャした三次元動作情報を用いたりして、キャラクタに動作を付与することにより、制作することができる。
【０００３】
従来、現実の人物や物体の動きをデジタル的に記録する技術であるいわゆるモーションキャプチャでは、演技者の身体に複数のマーカを取り付け、動作中のマーカ位置の変化を時系列データとして動作単位で三次元動作情報を記録している。そのため、モーションキャプチャでは、記録時の動作以外の動きを表現することができない。記録時の動作以外の動きを表現したい場合、３ＤＣＧソフトウェアや専用の編集ツール上で、三次元動作情報を手作業で編集する必要がある（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−０９９９７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、手話等の専門的な知識を要するＣＧコンテンツを制作する場合、モーションキャプチャした三次元動作情報の動作から変更した動作について、手話として正しいか否かを、手話通訳士やろう者等の専門家に検証してもらう必要があるという問題がある。また、手作業により、マーカ位置に対応するキャラクタの複数の関節位置をフレーム毎に修正していくため、膨大な時間を要するという問題もある。
【０００６】
そこで、モーションキャプチャしていない動作を含むＣＧのコンテンツを自動で生成できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
手話ＣＧを生成するＣＧ生成装置において、定型化された電文に基づいて、前記手話ＣＧの一部を変換する対象となる動作と、前記変換後の動作の態様とを判定する判定部と、前記判定部により判定された前記変換の対象となる動作を示す第１の動作データを、前記判定部により判定された前記変換後の動作の態様になるよう、第２の動作データに変換する変換部と、前記変換部により変換された前記第２の動作データに基づいて、前記手話ＣＧを生成する生成部と、所定のメタデータに対応付けて、前記手話ＣＧの一部を変換する変換対象の項目を記憶する記憶部と、を備え、前記判定部は、前記電文に含まれるメタデータに対応付けて前記記憶部に記憶されている前記変換対象の項目に対する動作を、前記手話ＣＧの一部を変換する対象となる動作であると判定し、前記変換部は、前記第１の動作データ以外の動作データである第３の動作データにおける所定の関節の座標又は回転情報を、前記第１の動作データにおける当該所定の関節の座標又は回転情報に基づいて変換し、前記第２の動作データとすることを特徴とするＣＧ生成装置。
【発明の効果】
【０００８】
開示の技術によれば、モーションキャプチャしていない動作を含むＣＧのコンテンツを自動で生成できる。
【図面の簡単な説明】
【０００９】
【図１】実施形態に係る手話ＣＧ生成装置の機能構成を示す機能ブロック図である。
【図２】手話ＣＧ生成装置の処理の一例を示すフローチャートである。
【図３】電文の一例を示す図である。
【図４】変換対象項目ＤＢに記憶されるデータの一例を示す図である。
【図５】三次元動作情報ＤＢに記憶されるデータの一例を示す図である。
【図６Ａ】三次元動作情報を変換する処理について説明する図である。
【図６Ｂ】三次元動作情報を変換する処理について説明する図である。
【図６Ｃ】三次元動作情報を変換する処理について説明する図である。
【図６Ｄ】三次元動作情報を変換する処理について説明する図である。
【図６Ｅ】三次元動作情報を変換する処理について説明する図である。
【図６Ｆ】三次元動作情報を変換する処理について説明する図である。
【図６Ｇ】三次元動作情報を変換する処理について説明する図である。
【図７】従来の、モーションキャプチャした三次元動作情報を用いて生成されたＣＧの例について説明する図である。
【図８】実施形態に係る、変換した三次元動作情報を用いて生成されたＣＧの例について説明する図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら本発明の実施形態について説明する。
【００１１】
＜手話ＣＧ生成装置の機能構成＞
本実施形態に係る手話ＣＧ（コンピュータグラフィックス、Computer Graphics）生成装置１０の機能構成について、図を用いて説明する。なお、以下の実施形態では、手話の三次元動作に関する処理を例として説明するが、本実施形態によれば、例えば、映画やゲーム等におけるキャラクタの動作等、手話以外の動作においても、モーションキャプチャしていない動作のＣＧを生成することができる。
【００１２】
図１は、実施形態に係る手話ＣＧ生成装置１０の機能構成を示す機能ブロック図である。
【００１３】
手話ＣＧ生成装置１０は、記憶部１１、判定部１２、変換部１３、及び生成部１４とを有する。
【００１４】
手話ＣＧ生成装置１０は、例えば、スポーツや天気予報等の情報を示す、定型化された電文や、日本語文章が形態素解析され、定型化した形態素等に応じて、変換の対象になる動作、及び当該変換後の動作の態様を判定し、当該動作を示す動作データを、当該態様となるように変換し、変換した動作データに基づいて、ＣＧのコンテンツを生成する。なお、電文は、例えば、ネットワークを介して手話ＣＧ生成装置１０に接続される外部システム３０から受信する。
【００１５】
記憶部１１は、変換対象項目ＤＢ（ＤａｔａＢａｓｅ、データベース）１１１、及び三次元動作情報ＤＢ１１２等を記憶する。なお、記憶部１１に記憶される情報についての詳細は後述する。
【００１６】
判定部１２は、例えばインターネットやＬＡＮ（Local Area Network）等の通信ネットワークによりデータの送受信が可能に接続された外部システム３０から、所定の内容を示す電文を受信し、電文の内容を解析する。判定部１２は、例えば、ＩＯＣ（International Olympic Committee）からのスポーツに関する情報や、気象庁や気象協会等からの気象情報を示す電文等を解析する。なお、電文は、例えば、ＸＭＬやカンマ区切り等の形式で記述されてもよい。
【００１７】
判定部１２は、例えば、外部システム３０から取得した電文のファイル名又は通信ネットワークを介して受信したときのデータのヘッダ情報に含まれる電文種別等の識別情報を用いて、記憶部１１等から電文のフォーマットを取得する。そして、判定部１２は、電文内の各行の各コードが何の情報（例えば、ファイル名、日時情報、どの試合の結果、どの地域の天気等）であるかを解析する。
【００１８】
また、判定部１２は、受信した電文に応じて、変換の対象になる動作、及び当該変換後の動作の態様を判定する。
【００１９】
変換部１３は、判定部１２により判定された動作を示す三次元動作情報（「動作データ」の一例）を、判定部１２により判定された動作の態様になるように変換する。なお、三次元動作情報は、例えば、モーションキャプチャにより生成されたデータであり、ＢＶＨ（BioVision Hierarchy）等の所定のフォーマットに従い、経過時間に応じた関節等の位置の座標のデータ等が含まれるデータである。
【００２０】
生成部１４は、変換部１３により変換された三次元動作情報に基づいて、ＣＧのコンテンツを生成する。
【００２１】
＜処理＞
次に、図２乃至図８を参照し、手話ＣＧ生成装置１０の処理の概要について説明する。図２は、手話ＣＧ生成装置１０の処理の一例を示すフローチャートである。図３は、電文の一例を示す図である。図４は、変換対象項目ＤＢ１１１に記憶されるデータの一例を示す図である。図５は、三次元動作情報ＤＢ１１２に記憶されるデータの一例を示す図である。図６は、三次元動作情報を変換する処理について説明する図である。
【００２２】
図７は、従来の、モーションキャプチャした三次元動作情報を用いて生成されたＣＧの例について説明する図である。図８は、実施形態に係る、変換した三次元動作情報を用いて生成されたＣＧの例について説明する図である。
【００２３】
なお、ＣＧ生成装置１０は、例えば、外部システム３０から電文を受信した際に、電文に含まれるメタデータに応じた、以下に示すＣＧ生成処理を開始する。
【００２４】
ステップＳ１において、判定部１２は、電文を取得する。ここで、判定部１２は、例えば図３に示す電文を取得する。図３の例では、データの内容の種別を示すデータであるメタデータと、データの内容とが、「：」（コロン）により区切られているものとする。
【００２５】
続いて、ステップＳ２において、判定部１２は、電文に含まれるメタデータ及び図４に示す変換対象項目ＤＢ１１１に基づいて、モーションキャプチャにより生成された三次元動作情報を変換する項目を判定する。図４の例では、変換対象項目ＤＢ１１１に、「手話動作」の項目（メタデータ）に対応付けて、変換対象の項目として、「対戦国」及び「スコア」の項目が設定されている。この場合、図３に示す「手話動作」、「スポーツ」、「サッカー」、「対戦国」、「試合経過」、及び「スコア」の項目を含むメタデータが入力された場合、判定部１２は、メタデータにおいて「手話動作」が指定されているため、「対戦国」及び「スコア」の項目を、三次元動作情報の変換対象の項目であると判定する。
【００２６】
また、判定部１２は、取得した電文のメタデータ等に対応した手話定型文を抽出し、手話定型文における各項目についても、メタデータ等に応じて、変換対象の項目であるか否かを判定してもよい。例えば、図３に示すメタデータが入力された場合、判定部１２は、当該メタデータに応じた定型文において、勝ち負けを示す項目を、三次元動作情報の変換対象の項目であると判定してもよい。
【００２７】
なお、判定部１２は、メタデータに基づいて判定する代わりに、データの内容に基づいて、変換する三次元動作情報を判定してもよい。例えば、データの内容に所定のキーワードが含まれる場合に、当該データの内容を示す三次元動作情報を変換すると判定してもよい。また、所定の文章を示すデータが入力された場合に、当該文章を形態素解析し、図３に示すメタデータと同等な判定指標として取り扱うことにより、変換する三次元動作情報を判定してもよい。
【００２８】
続いて、ステップＳ３において、変換部１３は、図５に示す三次元動作情報ＤＢ１１２を参照し、判定部１２により判定されたデータ項目について、変換対象を判定する。図５の例では、三次元動作情報ＤＢ１１２には、データの内容に対応付けて、三次元動作情報ＩＤ、開始フレーム、終了フレームが記憶されている。三次元動作情報ＩＤは、三次元動作情報のＩＤである。なお、三次元動作情報ＩＤとして、例えばＢＶＨ等の所定のフォーマットに従ったモーションキャプチャデータのファイル名を用いてもよい。開始フレーム、及び終了フレームは、三次元動作情報に含まれる複数のフレームのうち、手話動作が開始したフレーム、及び手話動作が終了したフレームである。
【００２９】
ここで、図３に示す電文において、「対戦国」の項目に、データの内容として「日本」と「ブラジル」が指定されている場合、変換部１３は、「日本」に対応付けられた三次元動作情報における変換対象のフレームを、例えば、開始フレームの「１」から終了フレーム「５１」までとする。
【００３０】
続いて、ステップＳ４において、変換部１３は、三次元動作情報の変換後の動作の態様を判定する。具体的には、変換部１３は、モーションの再生速度や、手話動作であるモーションの繰り返しの回数、及びモーションの動作位置等を判定する。ここで、変換部１３は、電文に含まれるメタデータ、電文に含まれるデータの内容に含まれるキーワード、及びデータの内容に応じた文章の意味に基づいて、変換後の動作の態様を判定する。
【００３１】
例えば、電文に基づいて、試合の途中経過で「日本」が現在勝っていると判定した場合や、試合結果で「日本」が勝った場合、喜びの感情を表現するため、変換後の動作の態様として、判定部１２により変換対象であると判定された勝ち負けを示す項目の動作の速度を、速くするように判定する。また、例えば、試合結果で「日本」が勝った場合、勝ったことを強調するため、当該勝ち負けを示す項目の動作を、複数回繰り返すように判定する。
【００３２】
これにより、例えば、受信した電文に応じた「サッカーの日本対ブラジルの試合は３対０で日本が勝ちました。」という内容を示す手話ＣＧにおいて、「勝ちました」に対応する手話ＣＧの動作は、比較的速い動作で、複数回繰り返されるようにすることができる。
【００３３】
また、変換部１３は、判定部１２により変換対象の項目であると判定された「対戦国」及び「スコア」の項目に対する変換後の動作の態様として、所定の動作位置に変換するように判定する。例えば、「対戦国」及び「スコア」の項目における一方を顔の右側、他方を顔の左側に示す動作にするように判定する。なお、この場合、変換対象項目ＤＢ１１１において、変換対象の項目である「対戦国」及び「スコア」の項目に対応付けて、変換後の動作の態様を設定しておいてもよい。
【００３４】
これにより、例えば、受信した電文に応じた「サッカーの日本対ブラジルの試合は３対０で日本が勝ちました。」という内容を示す手話ＣＧにおいて、「日本」を顔の右側、「ブラジル」を顔の左側に表示させ、続いて、「３」を顔の右側、「０」を顔の左側に表示させることができる。このため、手話における、文脈によって単語を示す動作の位置（表出位置）が変化する空間定位という性質に沿った、自然な手話動作を表現できる。
【００３５】
なお、例えば対戦国の一方が自国である場合、体の左右の位置に対比して示す代わりに、手話ＣＧの演出を行うキャラクタの体の前後の位置に対比して示すようにしてもよい。この場合、例えば、自国を体に比較的近い位置、相手国を体から比較的遠い位置に対比して示すようにしてもよい。これにより、より自然な手話の動作を表現できる。
【００３６】
続いて、ステップＳ５において、変換部１３は、ステップＳ３で判定した変換対象のデータを、ステップＳ４で判定した変換後の動作の態様になるよう、三次元動作情報を変換し、変換後の三次元動作情報を生成する。
【００３７】
ここで、「３」や「０」を示す動作は、比較的顔の正面に近い位置で行われたものがモーションキャプチャされているものとする。この場合、変換部１３は、三次元動作情報ＤＢ１１２を検索し、図６Ａに示す、右手で顔の右側に所定の内容（例えば「あ」）を示す三次元動作情報５００（「第３の動作データ」の一例）を抽出する。
【００３８】
そして、抽出した三次元動作情報５００に含まれる手首から先（例えば、手首から手先まで）の各関節５０１の回転情報を、図６Ｂに示す、右手で「３」を示す三次元動作情報５１０（「第１の動作データ」の一例）に含まれる手首から先の各関節５１１の回転情報に置換する。なお、回転情報は、三次元動作情報において、各関節の動きを示す情報であり、例えば、３次元のＸ軸、Ｙ軸、Ｚ軸に対する回転を示す情報である。
【００３９】
具体的には、「あ」を示す動作の所定のフレームにおける右手の手首の座標が（ｘＡ,ｙＡ）であり、「３」を示す動作の所定のフレームにおける、右手の手首の座標が（ｘＢ,ｙＢ）であるとする。この場合、「３」を示す動作の所定のフレームにおける右手首から先の関節の回転情報を、所定のフレームにおける右手首の座標が(ｘＡ,ｙＡ)である動作の右手首から先の関節の回転情報へと置換することにより、図６Ｃに示す、右手で顔の右側に「３」を示す三次元動作情報５２０（「第２の動作データ」の一例）を生成する。
【００４０】
また、変換部１３は、同様に、図６Ａに示す、三次元動作情報５００に含まれる手首から先の各関節５０１の回転情報を、図６Ｄに示す、右手で「０」を示す三次元動作情報５３０に含まれる手首から先の各関節５３１の回転情報に置換することにより、図６Ｅに示す、右手で顔の右側に「０」を示す三次元動作情報５４０を生成する。
【００４１】
続いて、変換部１３は、当該生成した三次元動作情報５４０において、左右の腕を反転させることにより、図６Ｆに示す、左手で顔の左側に「０」を示す三次元動作情報５５０を生成する。ここで、変換部１３は、具体的には、例えば、体幹の中心を通る線に対して、左右の腕の各関節の座標を反転させる。
【００４２】
なお、変換部１３は、上述した右手で顔の右側に所定の内容を示す三次元動作情報５００を用いる代わりに、例えば、上述した「３」や「０」を示す三次元動作情報５１０、５３０における手首の関節位置を、腰の関節位置を中心として左右の肩の高さの位置に変更し、手首から先の各関節の座標を、当該位置に応じて平行移動させることにより、変換後の三次元動作情報を生成する。
【００４３】
続いて、変換部１３は、三次元動作情報５２０の左腕の各関節の座標と回転情報を、三次元動作情報５５０に含まれる左腕の各関節の座標と回転情報に置換する。これにより、変換部１３は、図６Ｇに示す、右手で顔の右側に「３」の手話動作を示し、続いて左手で顔の左側に「０」の手話動作を示す三次元動作情報５６０を生成する。
【００４４】
なお、関節の座標を変換する際、変換後の指や腕の長さが不自然にならないように、例えば、「Hyun Joon Shin, Jehee Lee, Michael Gleicher, Sung Young Shin. Computer Puppetry: AnImportance-Based Approach, ACM Transactions on Graphics, Vol. 18, Issue 1, pp.38-45, 1998.」に記載されているような、公知の逆運動学の計算アルゴリズムを用いて、関節の座標を変換してもよい。
【００４５】
なお、上述した実施形態では、スポーツの結果を示すＣＧを生成する場合の例について説明したが、これに限定されない。手話ＣＧ生成装置１０は、例えば、天気予報や、ニュース等を示すＣＧを生成してもよい。手話ＣＧ生成装置１０は、例えば、空間に日本列島の輪郭を指で描いて、当該描いた日本列島における各地域の位置で、各地域の天気予報を示す手話ＣＧを生成してもよい。また、例えば、天気予報が大雨の場合は、雨を示す手話の動作を繰り返すようにしてもよい。
【００４６】
続いて、ステップＳ６において、生成部１４は、変換部１３により変換された三次元動作情報に基づいて、ＣＧのコンテンツを生成する。
【００４７】
従来のように、モーションキャプチャした三次元動作情報５１０、５３０等を用いてＣＧを生成する場合、例えば、「１対３」を示す手話ＣＧは、図７（Ａ）に示すように「１」を示す動作をした後、図７（Ｂ）に示すように同じ手により同じ位置で「３」を示す動作をするため、不自然で分かりにくい手話の動作となっていた。一方、上述した実施形態によれば、例えば、図８（Ａ）に示すように一方の手で顔の右側で「１」を示す動作をした後、図８（Ｂ）に示すように他方の手で顔の左側で「３」を示す動作をするため、自然で分かりやすい手話の動作とすることができる。
【００４８】
＜ハードウェア構成＞
上述した各部は、手話ＣＧ生成装置１０にインストールした１以上のプログラムが、手話ＣＧ生成装置１０のＣＰＵに実行させることより実現することができる。
【００４９】
手話ＣＧ生成装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等の揮発性の記憶媒体、ＲＯＭ（Read Only Memory）等の不揮発性の記憶媒体、マウスやキーボード、ポインティングデバイス等の入力装置、画像、データを表示する表示部、並びに外部と通信するためのインタフェースを備えたコンピュータによって構成することができる。
【００５０】
したがって、手話ＣＧ生成装置１０が有する各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現可能となる。また、これらのプログラムは、磁気ディスク（フロッピィーディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記録媒体に格納して頒布することもできる。
【００５１】
つまり、上述した各構成における処理をコンピュータに実行させるためのプログラム（手話ＣＧ生成プログラム）を生成し、例えば、汎用のパーソナルコンピュータやサーバ、タブレット端末等にそのプログラムをインストールすることにより、ハードウェア資源とソフトウェアとが協働して本実施形態における手話ＣＧ生成処理等を実現することができる。
【００５２】
＜まとめ＞
従来、モーションキャプチャした三次元動作情報を用いてＣＧを生成する場合、モーションキャプチャしていない動作は表現できない。また、モーションキャプチャした三次元動作情報を手作業で修正する場合、所定の３ＤＣＧソフトウェアを操作する必要があるため、専門的な知識や熟練した技術が必要となる。
【００５３】
上述した実施形態によれば、モーションキャプチャした三次元動作情報を、電文に応じた動作態様の三次元動作情報に変換する。これにより、モーションキャプチャしていない動作を含むＣＧのコンテンツを自動で生成することができる。
【００５４】
以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。
【００５５】
例えば、手話ＣＧ生成装置１０の各機能部は、例えば複数のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。
【符号の説明】
【００５６】
１０  手話ＣＧ生成装置（「ＣＧ生成装置」の一例）
１１  記憶部
１１１  変換対象項目ＤＢ
１１２  三次元動作情報ＤＢ
１２  判定部
１３  変換部
１４  生成部
【図１】
2018128947.tif 000003
【図２】
2018128947.tif 000004
【図３】
2018128947.tif 000005
【図４】
2018128947.tif 000006
【図５】
2018128947.tif 000007
【図６Ａ】
2018128947.tif 000008
【図６Ｂ】
2018128947.tif 000009
【図６Ｃ】
2018128947.tif 000010
【図６Ｄ】
2018128947.tif 000011
【図６Ｅ】
2018128947.tif 000012
【図６Ｆ】
2018128947.tif 000013
【図６Ｇ】
2018128947.tif 000014
【図７】
2018128947.tif 000015
【図８】
2018128947.tif 000016