(57)【要約】【課題】送受信間の伝送量を抑えて、送信側から指示される手話動作をＣＤ動画像で生成することが可能な手話動画像生成装置を提供する。【解決手段】手話動画像生成装置４０は、ある動作を示す主成分データを受信する受信手段４２と、手話動作を構成する基本動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた主成分データと基本動作を示す動画ＣＧデータとを対応付けて予め記憶した基本動作データ記憶手段４１から、受信した主成分データと因子得点座標上で近接する主成分データを選択する近接主成分選択手段４３と、選択された主成分データで特定される基本動作を生成するための動画ＣＧデータを基本動作データ記憶手段４１から読み出して、手話動作を示す動画像を生成する動画像生成手段４４と、を備えることを特徴とする。【選択図】図４
2010079443.tif 000002
【特許請求の範囲】
【請求項１】
手話動作に対応するＣＧ動画像を生成するための動画像生成用データを手話動画像生成装置に送信する手話動画像データ送信装置であって、
前記手話動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた因子得点を含んだ主成分データと前記手話動作を特定する識別子とを対応付けて予め記憶した動作主成分データ記憶手段と、
外部から前記手話動作を特定する識別子の入力を受け付ける動作受付手段と、
この動作受付手段で受け付けられた識別子に対応する主成分データを、前記動作主成分データ記憶手段から読み出す主成分データ読出手段と、
この主成分データ読出手段で読み出された主成分データを、前記動画像生成用データとして前記手話動画像生成装置に送信する送信手段と、
を備えることを特徴とする手話動画像データ送信装置。
【請求項２】
手話動作に対応するＣＧ動画像を生成するための動画像生成用データを手話動画像生成装置に送信するために、コンピュータを、
外部から前記手話動作を特定する識別子の入力を受け付ける動作受付手段、
この動作受付手段で受け付けられた識別子に対応する主成分データを、前記手話動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた因子得点を含んだ主成分データと前記手話動作を特定する識別子とを対応付けて予め記憶した動作主成分データ記憶手段から読み出す主成分データ読出手段、
この主成分データ読出手段で読み出された主成分データを、前記動画像生成用データとして前記手話動画像生成装置に送信する送信手段、
として機能させることを特徴とする手話動画像データ送信プログラム。
【請求項３】
手話動作に対応するＣＧ動画像を生成する手話動画像生成装置であって、
前記手話動作を構成する基本動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた主成分データと、前記基本動作の動画像を生成するための動画ＣＧデータとを対応付けて予め記憶した基本動作データ記憶手段と、
請求項１に記載の手話動画像データ送信装置から送信されたある動作を示す主成分データを受信する受信手段と、
この受信手段で受信した主成分データと因子得点座標上で近接する主成分データを、前記基本動作データ記憶手段から選択する近接主成分選択手段と、
この近接主成分選択手段で選択された主成分データで特定される基本動作の動画像を生成するための動画ＣＧデータを前記基本動作データ記憶手段から読み出して、前記近接する主成分データごとにフレーム単位で中間画像を生成することで、前記手話動作を示す動画像を生成する動画像生成手段と、
を備えることを特徴とする手話動画像生成装置。
【請求項４】
前記動画像生成手段は、２つの動画ＣＧデータのフレーム数が異なる場合に、フレーム数の少ない動画ＣＧデータについて、その差分だけフレームを補間して、前記動画像を生成することを特徴とする請求項３に記載の手話動画像生成装置。
【請求項５】
前記基本動作データ記憶手段に記憶されている主成分データを、当該主成分データを生成した際の人物とは異なる他の人物の主成分データに変換するための変換係数からなる変換行列を予め記憶した主成分データ変換係数記憶手段と、
前記近接主成分選択手段で選択された主成分データを、前記主成分データ変換係数記憶手段に記憶されている変換係数により変換する主成分変換手段と、をさらに備え、
前記動画像生成手段が、前記主成分変換手段で変換された主成分データに基づいて、前記動画像を生成することを特徴とする請求項３または請求項４に記載の手話動画像生成装置。
【請求項６】
手話動作に対応するＣＧ動画像を生成するために、コンピュータを、
請求項１に記載の手話動画像データ送信装置から送信されたある動作を示す主成分データを受信する受信手段、
この受信手段で受信した主成分データと因子得点座標上で近接する主成分データを、前記手話動作を構成する基本動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた主成分データと前記基本動作の動画像を生成するための動画ＣＧデータとを対応付けて予め記憶した基本動作データ記憶手段から選択する近接主成分選択手段、
この近接主成分選択手段で選択された主成分データで特定される基本動作の動画像を生成するための動画ＣＧデータを前記基本動作データ記憶手段から読み出して、前記近接する主成分データごとにフレーム単位で中間画像を生成することで、前記手話動作を示す動画像を生成する動画像生成手段、
として機能させることを特徴とする手話動画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手話動作をＣＧ動画像として生成するための手話動画像データ送信装置およびそのプログラム、ならびに、手話動画像生成装置およびそのプログラムに関する。
【背景技術】
【０００２】
現在、聴覚障害者向けに、手話通訳者による手話放送が行われている。この手話は、聴覚障害者にとって重要なコミュニケーション言語であるため、手話放送の番組を増やす必要がある。しかし、手話放送を行うためには、資格者数の少ない手話通訳者を確保する必要があるため、手話放送の番組を増やすことができないのが現状である。
【０００３】
そこで、この問題を解決するために、手話通訳者が手話動作を行う代わりに、アニメーションにより作画した疑似通訳者が手話動作を行う技術が開示されている（特許文献１，２参照）。例えば、特許文献１には、受信装置に予め手話単語単位に音声データに対応する描画データを記憶しておき、放送データに含まれる音声データを手話単語単位で音声認識し、その手話単語に対応する描画データをアニメーションとして生成する技術が記載されている。また、特許文献２では、送信側から、手話動作の基本となる姿勢の手の形状、位置、方向、角度等や、フレーム画像間を補完するためのデータをコード化して受信装置に送信し、受信装置が、そのコード化された手話動作をアニメーションとして生成する技術が開示されている。また、このような動きをコード化する技術としては、動作映像のフレーム画像ごとに主成分分析した主成分係数（因子得点）を用いる技術が開示されている（非特許文献１参照）。
【特許文献１】特開２００１−１８６４３０号公報
【特許文献２】特開平１１−２５９６７９号公報
【非特許文献１】倉立，木下：「主成分分析によるリアルタイムトーキングヘッドシステム」，画像電子学会誌，Ｖｏｌ．３４，Ｎｏ．４，ｐｐ．３３６−３４３（２００５）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の手法では、受信装置への過度の負荷や、放送（あるいは通信）の伝送帯域を多くとってしまうという問題がある。
【０００５】
例えば、特許文献１に記載されている技術では、放送データで配信される音声データを、手話単語単位で音声認識する必要があり、受信装置に音声認識用の膨大な手話単語の辞書データを備えなければならない。このため、受信装置が高価なものとなり、また、受信装置において、音声認識に伴う大きな負荷が発生してしまうという問題がある。
【０００６】
また、特許文献２に記載されている技術では、手話動作をコード化して、手話動作の姿勢をコード化したデータやフレーム画像間を補完するためのデータを、フレーム画像ごとに送信する必要があるため、放送（あるいは通信）の伝送帯域を多くとってしまうという問題がある。さらに、特許文献２に記載されている技術では、次のフレーム画像のデータを受信する前に、前のフレーム画像のアニメーションの生成を完了する必要があるため、受信側の装置に大きな負荷がかかるという問題がある
【０００７】
また、非特許文献１に記載されている技術により手話動作をコード化する場合であっても、フレーム画像ごとにコードを受信装置に送信する必要があるため、特許文献２の問題を含んだままである。
【０００８】
本発明は、以上のような問題点に鑑みてなされたものであり、手話動作をＣＧ動画像（アニメーション）として生成する受信側へのコード（パラメータ）の伝送量を抑えるとともに、受信側の負荷を低減させることが可能な手話動画像データ送信装置およびそのプログラム、ならびに、手話動画像生成装置およびそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の手話動画像データ送信装置は、手話動作に対応するＣＧ動画像を生成するための動画像生成用データを手話動画像生成装置に送信する手話動画像データ送信装置であって、動作主成分データ記憶手段と、動作受付手段と、主成分データ読出手段と、送信手段と、を備える構成とした。
【００１０】
かかる構成において、手話動画像データ送信装置は、予め動作主成分データ記憶手段に、手話動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた因子得点を含んだ主成分データと、手話動作を特定する識別子とを対応付けて記憶しておく。これによって、ある手話動作が、因子得点のベクトルデータである主成分データで特定されることになる。なお、この主成分データは、ある時間間隔の一連の手話動作を特定するデータであって、時間方向の状態をも加味したデータである。
【００１１】
そして、手話動画像データ送信装置は、動作受付手段によって、外部から手話動作を特定する識別子の入力を受け付ける。そして、手話動画像データ送信装置は、主成分データ読出手段によって、動作受付手段で受け付けられた識別子に対応する主成分データを、動作主成分データ記憶手段から読み出す。そして、手話動画像データ送信装置は、送信手段によって、主成分データ読出手段で読み出された主成分データを、動画像生成用データとして手話動画像生成装置に送信する。これによって、手話動画像データ送信装置は、一連の手話動作を、主成分データで特定して手話動画像生成装置に送信することができる。
【００１２】
また、請求項２に記載の手話動画像データ送信プログラムは、手話動作に対応するＣＧ動画像を生成するための動画像生成用データを手話動画像生成装置に送信するために、コンピュータを、動作受付手段、主成分データ読出手段、送信手段、として機能させる構成とした。
【００１３】
かかる構成において、手話動画像データ送信プログラムは、動作受付手段によって、外部から手話動作を特定する識別子の入力を受け付ける。そして、手話動画像データ送信プログラムは、主成分データ読出手段によって、動作受付手段で受け付けられた識別子に対応する主成分データを、手話動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた因子得点を含んだ主成分データと手話動作を特定する識別子とを対応付けて予め記憶した動作主成分データ記憶手段から読み出す。
【００１４】
そして、手話動画像データ送信プログラムは、送信手段によって、主成分データ読出手段で読み出された主成分データを、前記動画像生成用データとして前記手話動画像生成装置に送信する。
【００１５】
また、請求項３に記載の手話動画像生成装置は、手話動作に対応するＣＧ動画像を生成する手話動画像生成装置であって、基本動作データ記憶手段と、受信手段と、近接主成分選択手段と、動画像生成手段と、を備える構成とした。
【００１６】
かかる構成において、手話動画像生成装置は、予め基本動作データ記憶手段に、手話動作を構成する基本動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた主成分データと、基本動作の動画像を生成するための動画ＣＧデータとを対応付けて記憶しておく。
【００１７】
そして、手話動画像生成装置は、受信手段によって、請求項１に記載の手話動画像データ送信装置から送信されたある動作を示す主成分データを受信する。そして、手話動画像生成装置は、近接主成分選択手段によって、受信手段で受信した主成分データと因子得点座標上で近接する主成分データを、基本動作データ記憶手段から選択する。また、手話動画像生成装置は、動画像生成手段によって、近接主成分選択手段で選択された主成分データで特定される基本動作の動画像を生成するための動画ＣＧデータを基本動作データ記憶手段から読み出して、近接する主成分データごとにフレーム単位で中間画像を生成することで、手話動作を示す動画像を生成する。
【００１８】
さらに、請求項４に記載の手話動画像生成装置は、請求項３に記載の手話動画像生成装置において、動画像生成手段が、２つの動画ＣＧデータのフレーム数が異なる場合に、フレーム数の少ない動画ＣＧデータについて、その差分だけフレームを補間して、動画像を生成する構成とした。
【００１９】
かかる構成において、手話動画像生成装置は、動画像生成手段によって、異なるフレーム数の動画ＣＧデータから、１つの動画像を生成する際に、フレーム数を調整することで、動画像の提示時間を調整する。
【００２０】
また、請求項５に記載の手話動画像生成装置は、請求項３または請求項４に記載の手話動画像生成装置において、主成分データ変換係数記憶手段と、主成分変換手段と、をさらに備える構成とした。
【００２１】
かかる構成において、手話動画像生成装置は、予め主成分データ変換係数記憶手段に、基本動作データ記憶手段に記憶されている主成分データを、当該主成分データを生成した際の人物とは異なる他の人物の主成分データに変換するための変換係数からなる変換行列を記憶しておく。そして、手話動画像生成装置は、主成分変換手段によって、近接主成分選択手段で選択された主成分データを、主成分データ変換係数記憶手段に記憶されている変換係数により変換する。この変換によって生成された主成分データは、当初の主成分データを生成した際の人物とは異なる他の人物の主成分データに相当することとなる。
【００２２】
さらに、請求項６に記載の手話動画像生成プログラムは、手話動作に対応するＣＧ動画像を生成するために、コンピュータを、受信手段、近接主成分選択手段、動画像生成手段、として機能させる構成とした。
【００２３】
かかる構成において、手話動画像生成プログラムは、受信手段によって、請求項１に記載の手話動画像データ送信装置から送信されたある動作を示す主成分データを受信する。そして、手話動画像生成プログラムは、近接主成分選択手段によって、受信手段で受信した主成分データと因子得点座標上で近接する主成分データを、手話動作を構成する基本動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた主成分データと基本動作の動画像を生成するための動画ＣＧデータとを対応付けて予め記憶した基本動作データ記憶手段から選択する。また、手話動画像生成プログラムは、動画像生成手段によって、近接主成分選択手段で選択された主成分データで特定される基本動作の動画像を生成するための動画ＣＧデータを基本動作データ記憶手段から読み出して、近接する主成分データごとにフレーム単位で中間画像を生成することで、手話動作を示す動画像を生成する。
【発明の効果】
【００２４】
本発明は、以下に示す優れた効果を奏するものである。
請求項１，２に記載の発明によれば、人物の動作部位に対する３次元位置の時系列データを主成分分析した主成分データで手話動作を特定し、当該手話動作に対応する主成分データのみを受信側（動画像再生側）に送信するため、一連の動作を１つの主成分データとして受信側に送信することができる。これによって、請求項１，２に記載の発明は、送受信間の伝送量を抑えることができる。
【００２５】
請求項３，６に記載の発明によれば、予め基本動作を主成分分析した主成分データと、動画ＣＧデータとを対応付けておくことで、ある手話動作を示す主成分データを受信したときに、基本動作の動画ＣＧデータから、手話動作のＣＧ動画像を再生することができる。このため、本発明は、フレームごと、あるいは、姿勢ごとにパラメータを受信することなく、１つの手話動作について、１つの主成分データを受信するだけで、手話動作のＣＧ動画像を生成することができる。これによって、請求項３，６に記載の発明は、送受信間の伝送量を抑えることができるとともに、動画像生成にかかる負荷を軽減させることができる。
【００２６】
請求項４に記載の発明によれば、動画ＣＧデータのフレーム数が異なる場合に、同一の時間間隔で動画像を再生することができる。これによって、請求項４に記載の発明は、例えば、顔の動作、手指の動作を連動させて動作させることができる。
【００２７】
請求項５に記載の発明によれば、受信側の手話の受け手が、手話を行う動作主体を選択することができるため、手話の受け手にとってわかりやすい手話動作の動画像を生成することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態について図面を参照して説明する。
［手話動画像提示システムの構成］
まず、図１を参照して、本発明の実施形態に係る手話動画像提示システムの構成について説明する。図１は、本発明の実施形態に係る手話動画像提示システムの概略の構成を示す概略構成図である。
【００２９】
この手話動画像提示システム１は、放送局側から、放送受信装置側に、手話動作の動きデータを主成分分析した主成分データとして配信し、予め主成分データに対応付けて動画ＣＧデータを保持している放送受信装置において、手話の動画像（手話アニメーション）を生成して提示するシステムである。ここでは、手話動画像提示システム１は、放送局側の装置として、位置計測装置１０と、手話動作分析装置２０と、手話動画像データ送信装置３０と、を備え、放送受信装置側の装置として、手話動画像生成装置４０を備えて構成している。
【００３０】
位置計測装置１０は、人物の動作部位（例えば、手指、顔）に対する３次元位置を計測するものである。この位置計測装置１０は、人物の動作部位に予め測定点を設定しておき、その測定点の空間座標値を計測する。なお、この位置計測装置１０には、一般的な３次元計測装置（モーションキャプチャ装置）を用いることができる。
【００３１】
ここで、図１２を参照して、位置計測装置１０の機能について、その概要を説明する。図１２は、位置計測装置の機能を説明するための概念図である。
図１２に示すように、例えば、手指に予め複数の測定点Ｐ１，Ｐ２，Ｐ３，…を設定しておき、人物が一連の手指動作を行う。そして、位置計測装置１０は、３次元座標空間における測定点Ｐ１，Ｐ２，Ｐ３，…の位置を予め定めたサンプリング時間間隔で計測する。
【００３２】
ここで、サンプリングした時刻をｔ１，ｔ２，…，ｔｎとすると、位置計測装置１０は、測定点Ｐ１について、３次元（ｘ，ｙ，ｚ）の空間座標値（Ｐ１ｘ（ｔ１），Ｐ１ｙ（ｔ１），Ｐ１ｚ(ｔ１)，Ｐ１ｘ（ｔ２），Ｐ１ｙ（ｔ２），Ｐ１ｚ(ｔ２)，…，Ｐ１ｘ（ｔｎ），Ｐ１ｙ（ｔｎ），Ｐ１ｚ(ｔｎ)）を時系列データとして計測し出力する。また、測定点Ｐ２，Ｐ３，…についても同様である。図１に戻って、手話動画像提示システム１の構成について説明を続ける。
【００３３】
手話動作分析装置２０は、手話動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析するものである。この手話動作分析装置２０は、位置計測装置１０が計測して出力する時系列データを入力し、その動作ごとに主成分分析を行う。
【００３４】
なお、手話動作分析装置２０で主成分分析された結果において、単語や文章を手話で表現した際の動作については、後で説明する手話動画像データ送信装置３０の動作主成分データ記憶手段３１に、動作を特定する識別子（動作識別子）とともに主成分分析データが蓄積され、手話動画像データ送信装置３０で利用される。また、手話動作を構成する個々の基本動作については、後記する手話動画像生成装置４０の基本動作データ記憶手段４１に、基本動作のＣＧデータである動画ＣＧデータとともに主成分分析データが蓄積され、手話動画像生成装置４０で利用される。
【００３５】
手話動画像データ送信装置３０は、手話動作分析装置２０で分析された手話動作ごとの主成分データを、動画像（アニメーション）を生成するためのデータ（動画像生成用データ）として、手話動画像生成装置４０に送信するものである。
【００３６】
手話動画像生成装置４０は、手話の基本動作ごとに、予め主成分データと動画ＣＧデータとを対応付けておき、手話動画像データ送信装置３０から送信される動画像生成用データ（主成分データ）に基づいて、動画ＣＧデータから動画像（アニメーション）を生成するものである。
【００３７】
このように、手話動画像提示システム１は、主成分データとして、ある時刻における動作部位に対する３次元位置のみを主成分分析したデータを用いるのではなく、一連の動作を行った際の時系列データを主成分分析したデータを用いる。このため、手話動画像提示システム１では、放送局側から放送受信装置側に送信される主成分データは、フレーム画像ごとに送信する必要はないため、伝送量を抑えることができる。また、手話動画像生成装置４０は、手話の基本動作に対応した主成分データおよび動画ＣＧデータしか保持せず、また、簡易な動作の組み合わせにより動作するため、放送受信装置の負荷を抑えることができる。なお、手話動画像生成装置４０は、単独で放送受信装置の外部にチューナとして構成してもよいし、放送受信装置内部に組み込んで構成してもよい。
【００３８】
以下、放送局側の装置である手話動作分析装置２０および手話動画像データ送信装置３０、ならびに、放送受信装置側の装置である手話動画像生成装置４０の内部構成について順次説明を行う。
【００３９】
〔手話動作分析装置の構成〕
まず、図２を参照（適宜図１参照）して、手話動作分析装置の構成について説明する。図２は、手話動作分析装置の構成を示すブロック図である。ここでは、手話動作分析装置２０は、識別子入力手段２１と、位置データ入力手段２２と、位置データ記憶手段２３と、主成分分析手段２４と、主成分データ記憶手段２５と、を備えている。
【００４０】
識別子入力手段２１は、位置計測装置１０で計測された人物の動作部位に対する３次元位置の時系列データ（時系列位置データ）が、どの動作によって生成されたものであるのかを示す識別子（動作識別子）を入力するものである。ここでは、図示を省略したキーボード等の入力手段を介して、動作識別子を入力することとする。
【００４１】
位置データ入力手段２２は、位置計測装置１０で計測された人物の動作部位に対する３次元位置の時系列データ（位置データ）を入力するものである。なお、位置データ入力手段２２は、入力された時系列の位置データを、識別子入力手段２１で入力された識別子と対応付けて位置データ記憶手段２３に書き込む。
【００４２】
位置データ記憶手段２３は、位置データ入力手段２２で入力された時系列の位置データを、動作識別子と対応付けて記憶するものであって、ハードディスク等の一般的な記憶装置である。
【００４３】
主成分分析手段２４は、位置データ記憶手段２３に記憶されている時系列の位置データを動作ごとに主成分分析するものである。なお、主成分分析手段２４では、第ｍ主成分までの分散の和が、全データの分散の総和に占める割合（累積寄与率）が、予め定めた寄与率以上（例えば、８０％から９０％以上）となるｍを主成分データの次元数とする。そして、主成分分析手段２４は、第１主成分から第ｍ主成分までの各因子得点のベクトルデータを主成分データとして生成する。
【００４４】
例えば、主成分データの次元数が“３”で累積寄与率が予め定めた寄与率以上となった場合、主成分分析手段２４は、図１２で説明した空間座標値（Ｐ１ｘ（ｔ１），Ｐ１ｙ（ｔ１），Ｐ１ｚ(ｔ１)，Ｐ１ｘ（ｔ２），Ｐ１ｙ（ｔ２），Ｐ１ｚ(ｔ２)，…，Ｐ１ｘ（ｔｎ），Ｐ１ｙ（ｔｎ），Ｐ１ｚ(ｔｎ)）を、３次元の因子得点のベクトルデータ（Ｓ１ｘ，Ｓ１ｙ，Ｓ１ｚ）として生成する。
【００４５】
このように、時系列の位置データを動作ごとに主成分分析することで、ある動作が、因子得点の座標上の点として表現されることになる。なお、主成分分析手段２４は、主成分分析の結果である主成分データ（因子得点のベクトルデータ）を、動作識別子に対応付けて主成分データ記憶手段２５に書き込む。
【００４６】
主成分データ記憶手段２５は、主成分分析手段２４で分析された主成分データを、動作識別子と対応付けて記憶するものであって、ハードディスク等の一般的な記憶装置である。なお、ここでは、位置データ記憶手段２３と、主成分データ記憶手段２５とを備える構成としたが、これらの記憶手段は、それぞれ分離した構成とする必要はなく、１つの記憶装置内を区分して、実現することとしてもよい。
【００４７】
このように手話動作分析装置２０を構成することで、手話動作分析装置２０は、ある動作を示す動作部位の位置データを、時間を加味した状態で主成分分析することができる。また、手話動作分析装置２０は、一般的なコンピュータを、前記した各手段として機能させる手話動作分析プログラムによって動作させることができる。
【００４８】
なお、手話動作分析装置２０で生成された主成分データは、手話動画像データ送信装置３０（動作主成分データ記憶手段３１）や手話動画像生成装置４０（基本動作データ記憶手段４１）に予め記憶されることになる。ただし、手話動画像データ送信装置３０や手話動画像生成装置４０に記憶される主成分データには、違いがあるため、ここでは、その相違点について説明する。
【００４９】
（手話動画像生成装置のための主成分データ）
手話動画像生成装置４０に記憶される主成分データは、一連の手指動作、顔の表情変化等を示す基本動作について主成分分析を行ったデータである。この一連の手指動作とは、手話を構成する基本的な動作であって、例えば、「指を曲げる」、「指で丸を描く」、「手のひらを返す」等の基本動作である。また、顔の表情変化とは、手話を行う際の表情、例えば、口の動きの基本動作であって、例えば、「口を開く」、「口を閉じる」等である。
【００５０】
これらの基本動作は、手話の複雑さに応じて数種類から数十種類程度で表すことができる。なお、これらの基本動作は、手話で表現される単語そのものではなく、それだけでは意味を持たない動作である。また、手話は、これらの基本動作が組み合わされて表現されるものである。
【００５１】
例えば、主成分データの次元数が“３”で、７種類の基本動作を特定する場合、図１３に示すように、７つの基本動作は、第１〜第３主成分の３軸の座標で表される７つの座標点Ａ１〜Ａ７のみで特定することができる。図１３は、主成分データを第１〜第３主成分の３軸の座標上にプロットした図である。
このように、手話動画像生成装置４０には、手話動作分析装置２０によって基本動作により生成された主成分データ（因子得点のベクトルデータ）を記憶しておく。
【００５２】
（手話動画像データ送信装置のための主成分データ）
手話動画像データ送信装置３０に記憶される主成分データは、単語や文章を手話で表現する際の動作（手話動作）について主成分分析を行ったデータである。この手話動作は、基本動作を組み合わせて実現することができる。
【００５３】
なお、手話動作を主成分分析した主成分データは、基本動作と同様、図１３に示す座標軸上の座標点の１つとして特定することができる。ただし、手話動作は、基本動作を組み合わせたものであるため、例えば、手話動作が、２つの基本動作（座標点Ａ３，Ａ４）の動作の組み合わせた動作である場合、座標点Ａ３，Ａ４の間に、その手話動作を特定する主成分データの座標点Ｓとして表現されることになる。
【００５４】
このように、手話動画像データ送信装置３０には、手話動作分析装置２０によって基本動作を組み合わせた手話動作により生成された主成分データを記憶しておく。もちろん、手話動画像データ送信装置３０には、基本動作により生成された主成分データを併せて記憶しておくこととしてもよい。
【００５５】
〔手話動画像データ送信装置の構成〕
次に、図３を参照（適宜図１参照）して、手話動画像データ送信装置の構成について説明する。図３は、手話動画像データ送信装置の構成を示すブロック図である。ここでは、手話動画像データ送信装置３０は、動作主成分データ記憶手段３１と、動作受付手段３２と、主成分データ読出手段３３と、送信手段３４と、を備えている。
【００５６】
動作主成分データ記憶手段３１は、手話動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた主成分データを、手話動作を特定する識別子（動作識別子）に対応付けて予め記憶するものであって、ハードディスク等の一般的な記憶装置である。この動作主成分データ記憶手段３１には、単語や文章を手話で表現する際の手話動作を手話動作分析装置２０により主成分分析することで生成された主成分データ（因子得点のベクトルデータ）Ｓ１〜Ｓｎを、手話動作を示す動作識別子ＩＤ１〜ＩＤｎに対応付けて記憶しておく。
【００５７】
動作受付手段３２は、手話を特定する動作の指示を受け付けるものである。ここでは、動作受付手段３２は、図示を省略したキーボード等の入力手段を介して、動作識別子を受け付けることとする。この動作受付手段３２で受け付けられた動作識別子は、主成分データ読出手段３３に出力される。
【００５８】
主成分データ読出手段３３は、動作受付手段３２で受け付けられた動作識別子に対応する主成分データを、動作主成分データ記憶手段３１から選択して読み出すものである。この動作主成分データ記憶手段３１から読み出された主成分データは、送信手段３４に出力される。
【００５９】
送信手段３４は、主成分データ読出手段３３で読み出された主成分データを、動画像生成用データとして、手話動画像生成装置４０に送信するものである。なお、送信手段３４は、主成分データを放送送出装置（図示せず）に出力し、放送送出装置によって、放送番組に主成分データを多重化して送信することとしてもよいし、通信回線を介して、主成分データを送信することとしてもよい。
【００６０】
このように手話動画像データ送信装置３０を構成することで、手話動画像データ送信装置３０は、手話動作について時間を加味して主成分分析した主成分データを、手話動画像生成装置４０に送信することができる。なお、手話動画像データ送信装置３０は、一般的なコンピュータを、前記した各手段として機能させる手話動画像データ送信プログラムによって動作させることができる。
【００６１】
〔手話動画像生成装置〕
次に、図４を参照（適宜図１参照）して、手話動画像生成装置の構成について説明する。図４は、手話動画像生成装置の構成を示すブロック図である。ここでは、手話動画像生成装置４０は、基本動作データ記憶手段４１と、受信手段４２と、近接主成分選択手段４３と、動画像生成手段４４と、を備えている。
【００６２】
基本動作データ記憶手段４１は、手話動作を構成する基本動作に伴う人物の動作部位に対する３次元位置の時系列データを主成分分析することで得られた主成分データＳ１〜Ｓｎを、基本動作を示す動画ＣＧデータＤ１〜Ｄｎに対応付けて予め記憶するものであって、ハードディスク等の一般的な記憶装置である。この基本動作データ記憶手段４１には、一連の手指動作、顔の表情変化等を示す基本動作を手話動作分析装置２０により主成分分析することで生成された主成分データ（因子得点のベクトルデータ）と、基本動作をＣＧで再生するための動画ＣＧデータとを、対応付けて記憶しておく。
【００６３】
この動画ＣＧデータとして、例えば、フレームごとの静止画像を生成するためのＣＧデータを、動作を表現するために必要なフレーム数分準備しておく。なお、この動画ＣＧデータは、手話を行う人物の全体像と、手話を行う際に動作する部分のみを対応付けて基本動作データ記憶手段４１に記憶しておくこととしてもよい。例えば、動画ＣＧデータとして、人物全体の画像を生成するためのＣＧデータと、手指部分の動作を行う画像を生成するためのＣＧデータと、顔の動作を行うための画像を生成するためのＣＧデータとを、準備する。これによって、ある基本動作において、手指部分と、顔部分とを独立して動画像再生することが可能になる。
【００６４】
受信手段４２は、手話動画像データ送信装置３０から、手話動画像生成用データ（主成分データ）を受信するものである。なお、放送送出装置（図示せず）を介して放送番組に多重化されて動画像生成用データが送信されてくる形態を実現する場合、受信手段４２には、放送データから動画像生成用データを分離抽出する機能を備えることとする。また、通信回線を介して、動画像生成用データが送信されてくる形態を実現する場合、受信手段４２には、例えば、ＩＰネットワークの受信機能を備えることとする。この受信手段４２で受信された動画像生成用データ（主成分データ）は、近接主成分選択手段４３に出力される。
【００６５】
近接主成分選択手段４３は、受信手段４２で受信した主成分データと因子得点座標上で近接する主成分データを、基本動作データ記憶手段４１から選択するものである。この近接主成分選択手段４３は、受信した主成分データと因子得点座標上で近接する２点の主成分データを選択する。ここでは、近接主成分選択手段４３は、受信した主成分データの因子得点座標上における各座標の値と、基本動作データ記憶手段４１に記憶されている主成分データの因子得点座標上における各座標の値との差分の二乗和に基づいて、受信した主成分データとの距離が１番目および２番目に近い２つの主成分データを、基本動作データ記憶手段４１から選択する。
【００６６】
なお、受信手段４２で受信した主成分データは、実際に手話動作を特定する主成分データ（以下、手話動作主成分データ）であって、基本動作データ記憶手段４１に記憶されている主成分データは、手話動作の基本動作を特定する主成分データ（以下、基本動作主成分データ）である。この近接主成分選択手段４３で選択された基本動作主成分データおよび受信した手話動作主成分データは、動画像生成手段４４に出力される。
【００６７】
動画像生成手段４４は、近接主成分選択手段４３で選択された基本動作主成分データで特定される基本動作を示す動画ＣＧデータを基本動作データ記憶手段４１から読み出して、手話動作主成分データで特定される手話動作を示す動画像を生成するものである。ここでは、動画像生成手段４４は、ＣＧフレーム画像生成手段４４ａと、フレーム補間手段４４ｂと、合成動画像生成手段４４ｃと、を備えている。
【００６８】
ＣＧフレーム画像生成手段４４ａは、近接主成分選択手段４３で選択された基本動作主成分データごとに、当該基本動作主成分データで特定される基本動作を示す動画ＣＧデータに基づいて、フレーム画像を生成するものである。ここでは、ＣＧフレーム画像生成手段４４ａは、近接主成分選択手段４３で選択された基本動作主成分データに対応して、予め基本動作データ記憶手段４１に記憶されている動画ＣＧデータを読み出して、フレームごとにＣＧ画像を生成する。これによって、基本動作主成分データで特定される基本動作に対応する動画像が、複数のフレーム画像によって生成されることになる。
【００６９】
フレーム補間手段４４ｂは、ＣＧフレーム画像生成手段４４ａで生成された基本動作ごとの動画像において、各基本動作の動画像のフレーム数が異なる場合、フレーム数が少ない動画像について、フレームを補間して同一のフレーム数に調整するものである。
【００７０】
例えば、フレーム補間手段４４ｂは、フレーム数が少ない動画像について、各フレームを、フレーム数の多い動画像のフレームに均等間隔に対応付け、その中間のフレームについては、時間的に前のフレームを連続して挿入したり、あるいは、前後のフレームのＣＧ画像からモーフィング、線形補間等により、中間画像を生成したりすることで、フレームを補間する。
【００７１】
合成動画像生成手段４４ｃは、ＣＧフレーム画像生成手段４４ａによって生成された動画像、または、フレーム補間手段４４ｂによってフレーム数が調整された動画像を基本動作ごとに合成することで、動画像を生成するものである。ここでは、合成動画像生成手段４４ｃは、手話動作主成分データと各基本動作主成分データとの距離に応じて、各基本動作の同一時刻におけるフレームごとに、各基本動作の中間の画像を生成することで、手話動画像を生成する。なお、この中間の画像の生成は、例えば、距離に応じた線形補間や、モーフィングにより生成することができる。
【００７２】
例えば、図１３に示す座標軸上の座標点Ｓとして、手話動作主成分データが特定されている場合、合成動画像生成手段４４ｃは、座標点Ｓに近接する座標点Ａ３，Ａ４において、座標点Ａ３，Ａ４を結んだ直線と、座標点Ｓから引いた直線とが直角に交わる点によって、座標点Ａ３，Ａ４を結んだ直線の分割比（ｋ１，ｋ２）に応じて、座標点Ａ３で特定される基本動作画像と、座標点Ａ４で特定される基本動作画像との中間の画像をフレームごとに生成することで、手話動作を示す動画像を生成する。
【００７３】
ここで、図１４を参照（適宜図４参照）して、動画像生成手段４４が生成する手話動作を示す動画象の一例について説明する。図１４は、動画像生成手段が２つの基本動作を合成して、１つの手話動作の動画像を生成する例を示す画像例である。
【００７４】
図１４（ａ）は、基本動作として、腕を胸から前へ伸ばし、両方の手の人差し指と親指とをくっつける一連の動作を示す開始画像（ａ−１）、中間画像（ａ−２）、終了画像（ａ−３）をそれぞれ示している。また、図１４（ｂ）は、指を開いたままで腕を伸ばした状態から、腕を胸に寄せて曲げながらクロスするまでの一連の動作を示す開始画像（
ｂ−１）、中間画像（ｂ−２）、終了画像（ｂ−３）をそれぞれ示している。
【００７５】
これらの画像を生成するためのＣＧデータは、基本動作データ記憶手段４１に記憶されており、ＣＧフレーム画像生成手段４４ａが、図１４（ａ）、（ｂ）に示した画像を生成する。なお、このとき、開始画像から終了画像までのフレーム数が異なる場合は、フレーム補間手段４４ｂが、フレーム数が少ない動画像について、フレームを補間して同一のフレーム数に調整する。
【００７６】
そして、合成動画像生成手段４４ｃが、図１４（ａ）、（ｂ）の同一時刻の画像（フレーム）ごとに合成することで、図１４（ｃ）に示すような動画像を生成する。すなわち、合成動画像生成手段４４ｃは、図１４（ａ）、（ｂ）の各画像から、腕を伸ばす動作と曲げる動作とが相殺されて腕を曲げた状態のまま、胸の前でクロスし、指を開いた状態から人差し指と親指とをくっつけるまでの画像（（ｃ−１）〜（ｃ−３））を生成する。
【００７７】
このように手話動画像生成装置４０を構成することで、手話動画像生成装置４０は、手話動画像生成装置４０から送信される１つの主成分データ（手話動作主成分データ）から、基本動作を組み合わせた手話動画像を生成することができる。これによって、放送波等によって送信される手話動作を特定するためのデータ量を抑えることができる。なお、手話動画像生成装置４０は、一般的なコンピュータを、前記した各手段として機能させる手話動画像生成プログラムによって動作させることができる。
【００７８】
［手話動画像提示システムの動作］
次に、図５〜図７を参照して、本発明の実施形態に係る手話動画像提示システムの動作について説明する。ここでは、手話動画像提示システム１を構成する手話動作分析装置２０、手話動画像データ送信装置３０および手話動画像生成装置４０の動作について順次説明を行うこととする。
【００７９】
〔手話動作分析装置の動作〕
最初に、図５を参照（構成については適宜図２参照）して、手話動作分析装置の動作について説明する。図５は、手話動作分析装置の動作を示すフローチャートである。
【００８０】
まず、手話動作分析装置２０は、識別子入力手段２１によって、位置計測装置１０から入力される人物の動作部位に対する３次元位置の時系列データ（位置データ）が、どの動作によるものであるのかを示す動作識別子を入力する（ステップＳ１０）。
【００８１】
そして、手話動作分析装置２０は、位置データ入力手段２２によって、位置計測装置１０で計測された人物の動作部位に対する３次元位置の時系列データ（位置データ）を入力し、位置データ記憶手段２３に、ステップＳ１０で入力された動作識別子と対応付けて書き込む（ステップＳ１１）。
【００８２】
そして、手話動作分析装置２０は、主成分分析手段２４によって、位置データ記憶手段２３に記憶されている時系列の位置データについて動作ごとに主成分分析を行う（ステップＳ１２）。そして、手話動作分析装置２０は、主成分分析手段２４によって、分析された主成分データを、ステップＳ１０で入力された動作識別子と対応付けて、主成分データ記憶手段２５に書き込む（ステップＳ１３）。
【００８３】
以上の動作によって、手話動作分析装置２０は、人物の動作ごとに、動作部位に対する３次元位置の時系列データを主成分分析した主成分データ（因子得点のベクトルデータ）を生成することができる。
【００８４】
なお、手話動作分析装置２０で分析された単語や文章等の一連の手話を示す動作に対応する主成分分析データは、手話動画像データ送信装置３０の動作主成分データ記憶手段３１に蓄積されて、手話動画像データ送信装置３０において利用される。また、手話動作分析装置２０で分析された手話を構成する基本動作に対応する主成分分析データは、個々の基本動作を表示するための動画ＣＧデータとともに、手話動画像生成装置４０の基本動作データ記憶手段４１に蓄積されて、手話動画像生成装置４０において利用される。
【００８５】
〔手話動画像データ送信装置の動作〕
次に、図６を参照（構成については適宜図３参照）して、手話動画像データ送信装置の動作について説明する。図６は、手話動画像データ送信装置の動作を示すフローチャートである。
【００８６】
まず、手話動画像データ送信装置３０は、動作受付手段３２によって、手話の動作を特定する動作識別子を受け付ける（ステップＳ２０）。このステップＳ１０において受け付ける動作識別子は、単語や文章を特定するものである。
【００８７】
そして、手話動画像データ送信装置３０は、主成分データ読出手段３３によって、ステップＳ１０で受け付けた動作識別子に対応する主成分データ（手話動作主成分データ）を、動作主成分データ記憶手段３１から選択して読み出す（ステップＳ２１）。そして、手話動画像データ送信装置３０は、送信手段３４によって、ステップＳ２１で読み出された主成分データ（手話動作主成分データ）を、動画像生成用データとして手話動画像生成装置４０に送信する（ステップＳ２２）。
【００８８】
以上の動作によって、手話動画像データ送信装置３０は、手話動作について時間を加味して主成分分析した主成分データを、手話動画像生成装置４０に送信することができる。
【００８９】
〔手話動画像生成装置の動作〕
次に、図７を参照（構成については適宜図４参照）して、手話動画像生成装置の動作について説明する。図７は、手話動画像生成装置の動作を示すフローチャートである。
【００９０】
まず、手話動画像生成装置４０は、受信手段４２によって、手話動画像データ送信装置３０から、動画像生成用データとして、主成分データ（手話動作主成分データ）を受信する（ステップＳ３０）。
【００９１】
そして、手話動画像生成装置４０は、近接主成分選択手段４３によって、ステップＳ３０で受信した手話動作主成分データと因子得点座標上で近接する主成分データ（基本動作主成分データ）を、基本動作データ記憶手段４１から選択する（ステップＳ３１）。そして、手話動画像生成装置４０は、動画像生成手段４４のＣＧフレーム画像生成手段４４ａによって、ステップＳ３１で選択された基本動作主成分データに対応する動画ＣＧデータを基本動作データ記憶手段４１から読み出して、基本動作ごとのフレーム画像を第１フレームから順に生成する（ステップＳ３２）。
【００９２】
さらに、手話動画像生成装置４０は、動画像生成手段４４の合成動画像生成手段４４ｃによって、ステップＳ３２で生成された基本動作のフレーム画像について、手話動作主成分データと各基本動作主成分データとの距離に応じて、各基本動作の中間の画像を生成する（ステップＳ３３）。
【００９３】
そして、手話動画像生成装置４０は、ステップＳ３３で生成された中間画像を、手話動作を示す動画像のフレーム画像として、図示を省略した表示装置に出力する（ステップＳ３４）。
そして、手話動画像生成装置４０は、合成動画像生成手段４４ｃによって、ステップＳ３２で生成される継続したフレーム画像がさらに存在するか否かを判定する（ステップＳ３５）。そして、フレーム画像がさらに存在する場合（ステップＳ３５でＹｅｓ）、手話動画像生成装置４０は、ステップＳ３３に戻って、次のフレームにおいて、基本動作ごとの中間画像を生成する。一方、継続するフレーム画像が存在しない場合（ステップＳ３５でＮｏ）、手話動画像生成装置４０は、動作を終了する。
【００９４】
なお、各基本動作のフレーム数が異なる場合、手話動画像生成装置４０は、ステップＳ３２の動作後、動画像生成手段４４のフレーム補間手段４４ｂによって、それぞれの基本動作のフレーム数が一致するように、フレーム数の少ない基本動作の動画について、フレームを補間することとする。
【００９５】
以上の動作によって、手話動画像生成装置４０は、手話動画像データ送信装置３０から送信されてくる主成分データ（手話動作主成分データ）から、基本動作を組み合わせた手話動作の動画像を生成することができる。
【００９６】
＜他の実施形態＞
一般に、手話には個性があり、手話の受け手ごとに、手話通訳者によってわかりやすい手話と、わかりにくい手話が存在する。そこで、ある特定の人物の手話動作を他の人物の手話動作として提示する他の実施形態について説明する。なお、システム構成は、図１で説明した手話動画像提示システムと同一であり、手話動作分析装置２０および手話動画像生成装置４０の機能が異なっているのみである。以下、その相違点についてのみ説明する。
【００９７】
〔手話動作分析装置の構成〕
まず、図８を参照して、手話動作分析装置の他の構成について説明する。図８は、手話動作分析装置の構成を示すブロック図である。
【００９８】
この手話動作分析装置２０Ｂは、ある手話通訳者（基準人物）の動作を基準の動作として主成分分析するとともに、当該手話通訳者以外の手話通訳者（対象人物）の動作について主成分分析し、基準人物の主成分データを対象人物の主成分データへ変換するための変換係数を算出するものである。
【００９９】
ここでは、手話動作分析装置２０Ｂは、識別子入力手段２１Ｂと、位置データ入力手段２２と、位置データ記憶手段２３と、主成分分析手段２４と、主成分データ記憶手段２５と、変換識別子入力手段２６と、変換係数算出手段２７と、変換係数記憶手段２８と、を備えている。識別子入力手段２１Ｂ、変換識別子入力手段２６、変換係数算出手段２７および変換係数記憶手段２８以外の構成については、図２で説明した手話動作分析装置２０の構成と同一であるため、説明を省略する。
【０１００】
識別子入力手段２１Ｂは、位置計測装置１０で計測された人物の動作部位に対する３次元位置の時系列データ（時系列位置データ）が、どの動作によって生成されたものであるのかを示す識別子（動作識別子）と、どの人物の動作によって生成されたものであるのかを示す識別子（人物識別子）とを入力するものである。ここでは、図示を省略したキーボード等の入力手段を介して、識別子を入力することとする。なお、位置データ記憶手段２３や主成分データ記憶手段２５には、動作識別子と人物識別子とに対応付けられて、それぞれのデータ（時系列位置データ、主成分データ）が記憶される。
【０１０１】
また、ここでは、基準人物については、手話動作、基本動作のすべてについて主成分分析を行うこととする。また、対象人物については、基本動作についてのみ主成分分析を行うこととする。
【０１０２】
変換識別子入力手段２６は、主成分データを変換する際の基準となる人物を示す識別子（基準人物識別子）と、変換後の対象人物を示す識別子（対象人物識別子）を入力するものである。ここでは、図示を省略したキーボード等の入力手段を介して、識別子を入力することとする。この入力された識別子（基準人物識別子、対象人物識別子）は、変換係数算出手段２７に出力される。
【０１０３】
変換係数算出手段２７は、変換識別子入力手段２６で入力された識別子（基準人物識別子、対象人物識別子）に基づいて、基準人物識別子で特定される基準人物の主成分データを、対象人物識別子で特定される対象人物の主成分データに変換するための変換係数を算出するものである。この変換係数算出手段２７は、主成分データ記憶手段２５に記憶されている基本動作（手指動作等）について、基準人物の主成分データ（因子得点のベクトルデータ）を、対象人物の主成分データ（因子得点のベクトルデータ）に変換する線形変換行列を変換係数として算出する。そして、変換係数算出手段２７は、算出した変換係数を、人物識別子（対象人物識別子）と対応付けて変換係数記憶手段２８に書き込む。
【０１０４】
変換係数記憶手段２８は、変換係数算出手段２７で算出された変換係数を人物識別子（対象人物識別子）と対応付けて記憶するものであって、ハードディスク等の一般的な記憶装置である。この変換係数記憶手段２８は、後記する手話動画像生成装置４０Ｂ（図９）の主成分データ変換係数記憶手段４５に書き込まれて利用されることになる。
【０１０５】
（変換係数について）
ここで、図１５を参照して、変換係数算出手段２７が算出する変換係数について説明する。図１５は、変換係数の内容を説明するための説明図であって、（ａ）は対象人物の基本動作における主成分データ、（ｂ）は基準人物の基本動作における主成分データをそれぞれ第１〜第３主成分の３軸の座標軸上で表したものである。
【０１０６】
図１５に示すように、対象人物（“Ａさん”）の基本動作における主成分データの各因子得点が座標点Ａ１，Ａ２，Ａ３，…、基準人物（“Ｂさん”）の基本動作における主成分データの各因子得点が座標点Ｂ１，Ｂ２，Ｂ３，…であったとすると、それぞれの座標点は、行列［Ａ］、［Ｂ］で表すことができる。ここで、［Ａ］＝［Ｋ］[Ｂ]の線形変換行列［Ｋ］を考えると、線形変換行列［Ｋ］は、［Ｋ］＝［Ａ］[Ｂ]−１で求めることができる。
【０１０７】
なお、行列［Ａ］、［Ｂ］は、それぞれ構成要素数が同一の一次元のベクトルとして表すことができる。例えば、行列［Ａ］は、座標点Ａ１，Ａ２，Ａ３，…の各座標値（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）を用いて、［Ａ］＝［ｘ１，ｙ１，ｚ１，ｘ２，ｙ２，ｚ２，ｘ３，ｙ３，ｚ３，…］と一次元のベクトルとして表すことができる。また、行列［Ｂ］も同様に一次元のベクトルとして表すことができる。よって、線形変換行列［Ｋ］は、行列［Ａ］、［Ｂ］の構成要素数を行数および列数とする正方行列で表すことができる。
【０１０８】
この変換係数（線形変換行列［Ｋ］）は、基準人物であるＢさんの主成分データを、対象人物であるＡさんの主成分データへ変換するための係数となる。例えば、基準人物であるＢさんの座標点Ｓｂに対応する主成分データは、［Ｓａ］＝［Ｋ］[Ｓｂ]により、対象人物であるＡさんの主成分データを示す座標点Ｓａに変換されることになる。
【０１０９】
これによって、基準人物の主成分データと、対象人物に対応した変換係数（線形変換行列［Ｋ］）とによって、対象人物の主成分データが算出可能になる。なお、この対象人物の主成分データへの変換は、後記する手話動画像生成装置４０Ｂ（図９）において行われる。
【０１１０】
以上説明したように、手話動作分析装置２０Ｂを構成することで、手話動作分析装置２０Ｂは、ある基準となる人物の動作を示す動作部位の位置データを、時間を加味した状態で主成分分析するとともに、異なる人物の主成分データを生成するための変換係数を生成することができる。なお、手話動作分析装置２０Ｂは、一般的なコンピュータを、前記した各手段として機能させる手話動作分析プログラムによって動作させることができる。
【０１１１】
〔手話動画像生成装置の構成〕
次に、図９を参照して、手話動画像生成装置の他の構成について説明する。図９は、手話動画像生成装置の構成を示すブロック図である。
【０１１２】
この手話動画像生成装置４０Ｂは、ある手話通訳者（基準人物）の動作を基準として、当該手話通訳者以外の手話通訳者（対象人物）の動作を、動画像（アニメーション）として生成するものである。ここでは、手話動画像生成装置４０Ｂは、基本動作データ記憶手段４１と、受信手段４２と、近接主成分選択手段４３と、動画像生成手段４４と、主成分データ変換係数記憶手段４５と、対象識別子入力手段４６と、主成分変換手段４７と、を備えている。主成分データ変換係数記憶手段４５、対象識別子入力手段４６および主成分変換手段４７以外の構成は、図４で説明した手話動画像生成装置４０の構成と同一であるため、説明を省略する。なお、受信手段４２の出力は主成分変換手段４７に入力されるものとする。
【０１１３】
主成分データ変換係数記憶手段４５は、基本動作データ記憶手段４１に記憶されている主成分データを、当該主成分データを生成した際の基準人物とは異なる人物の主成分データに変換するための変換係数を記憶するものであって、ハードディスク等の一般的な記憶装置である。この主成分データ変換係数記憶手段４５は、図８で説明した手話動作分析装置２０Ｂで生成した変換係数を予め記憶しておく。ここでは、主成分データ変換係数記憶手段４５には、複数の変換対象となる人物（対象人物）の識別子である人物識別子ＩＤｍ１〜ＩＤｍｎのそれぞれに変換係数Ｋ１〜Ｋｎを対応付けておく。
【０１１４】
対象識別子入力手段４６は、手話動画像を提示する際の動作をどの人物を対象として生成するかを特定する識別子（人物識別子）を入力するものである。ここでは、図示を省略したキーボード等の入力手段を介して、人物識別子を入力することとする。この入力された人物識別子は、主成分変換手段４７に出力される。
【０１１５】
主成分変換手段４７は、対象識別子入力手段４６で入力された人物識別子に対応する変換係数を主成分データ変換係数記憶手段４５から読み出して、受信手段４２で受信された主成分データを、人物識別子に対応する人物の主成分データに変換するものである。すなわち、主成分変換手段４７は、図１５で説明したように、座標点Ｓｂに対応する基準人物の主成分データを、変換係数（線形変換行列［Ｋ］）を用いて、［Ｓａ］＝［Ｋ］[Ｓｂ]の演算を行うことで、座標点Ｓａに対応する対象人物の主成分データに変換する。この変換された主成分データが、動画像生成手段４４によって、動画像として生成されることで、対象人物が手話動作を行った動画像が提示されることになる。
【０１１６】
このように手話動画像生成装置４０Ｂを構成することで、手話動画像生成装置４０Ｂは、手話動画像データ送信装置３０から送信される１つの主成分データ（手話動作主成分データ）から、基本動作を組み合わせた手話動画像を生成することができる。また、手話の受け手にとって、わかりやすい手話動作を選択して手話動画像を提示することができる。なお、手話動画像生成装置４０Ｂは、一般的なコンピュータを、前記した各手段として機能させる手話動画像生成プログラムによって動作させることができる。
【０１１７】
〔手話動作分析装置の動作〕
次に、図１０を参照（構成については適宜図８参照）して、手話動作分析装置の他の構成における動作について説明する。図１０は、手話動作分析装置の他の構成の動作を示すフローチャートである。
【０１１８】
まず、手話動作分析装置２０Ｂは、識別子入力手段２１Ｂによって、位置計測装置１０から入力される人物の動作部位に対する３次元位置の時系列データ（時系列位置データ）が、どの動作によって生成されたものであるのかを示す識別子（動作識別子）と、どの人物の動作によって生成されたものであるのかを示す識別子（人物識別子）とを入力する（ステップＳ１０Ｂ）。その後のステップＳ１１〜Ｓ１３については、図５で説明した手話動作分析装置２０の動作と同一であるため、説明を省略する。
【０１１９】
ステップＳ１３の後、手話動作分析装置２０Ｂは、変換識別子入力手段２６によって、主成分データを変換するため際の基準となる人物を示す識別子（基準人物識別子）と、変換後の対象人物を示す識別子（対象人物識別子）を入力する（ステップＳ１４）。
【０１２０】
そして、手話動作分析装置２０Ｂは、変換係数算出手段２７によって、ステップＳ１４で入力された識別子（基準人物識別子、対象人物識別子）に基づいて、基準人物識別子で特定される基準人物の主成分データを、対象人物識別子で特定される対象人物の主成分データに変換するための変換係数を算出する（ステップＳ１５）。そして、手話動作分析装置２０Ｂは、変換係数算出手段２７によって、ステップＳ１５で算出された変換係数と、対象人物識別子と対応付けて、変換係数記憶手段２８に書き込む（ステップＳ１６）。
【０１２１】
以上の動作によって、手話動作分析装置２０Ｂは、人物の動作ごとに、動作部位に対する３次元位置の時系列データを主成分分析した主成分データ（因子得点のベクトルデータ）を生成するとともに、基準人物の主成分データを特定の対象人物の主成分データに変換するための変換係数を生成することができる。
【０１２２】
〔手話動画像生成装置の動作〕
次に、図１１を参照（構成については適宜図９参照）して、手話動画像生成装置の他の構成における動作について説明する。図１１は、手話動画像生成装置の他の構成の動作を示すフローチャートである。
【０１２３】
まず、手話動画像生成装置４０Ｂは、対象識別子入力手段４６によって、手話動画像を提示する際の動作をどの人物を対象として生成するかを特定する人物識別子（対象人物識別子）を入力する（ステップＳ３０Ａ）。
その後、手話動画像生成装置４０Ｂは、受信手段４２によって、手話動画像データ送信装置３０から、手話動画像生成用データ（手話動作主成分データ）を受信する（ステップＳ３０）。そして、手話動画像生成装置４０Ｂは、主成分変換手段４７によって、ステップＳ３０Ａで入力された人物識別子に対応する変換係数を主成分データ変換係数記憶手段４５から読み出して、ステップＳ３０で受信された主成分データを、人物識別子に対応する人物の主成分データに変換する（ステップＳ３１Ａ）。
【０１２４】
そして、手話動画像生成装置４０Ｂは、近接主成分選択手段４３によって、ステップＳ３０で受信した手話動作主成分データと因子得点座標上で近接する主成分データ（基本動作主成分データ）を、基本動作データ記憶手段４１から選択する（ステップＳ３１）。
ステップＳ３２以降の動作については、図７で説明した手話動画像生成装置４０の動作と同一であるため、説明を省略する。
【０１２５】
以上の動作によって、手話動画像生成装置４０Ｂは、手話の受け手にとって、わかりやすい手話動作を選択して手話動画像を提示することができる。
【図面の簡単な説明】
【０１２６】
【図１】本発明の実施形態に係る手話動画像提示システムの概略の構成を示す概略構成図である。
【図２】本発明の実施形態に係る手話動作分析装置の構成を示すブロック図である。
【図３】本発明の実施形態に係る手話動画像データ送信装置の構成を示すブロック図である。
【図４】本発明の実施形態に係る手話動画像生成装置の構成を示すブロック図である。
【図５】本発明の実施形態に係る手話動作分析装置の動作を示すフローチャートである。
【図６】本発明の実施形態に係る手話動画像データ送信装置の動作を示すフローチャートである。
【図７】本発明の実施形態に係る手話動画像生成装置の動作を示すフローチャートである。
【図８】本発明の他の実施形態に係る手話動作分析装置の構成を示すブロック図である。
【図９】本発明の他の実施形態に係る手話動画像生成装置の構成を示すブロック図である。
【図１０】本発明の他の実施形態に係る手話動作分析装置の他の構成の動作を示すフローチャートである。
【図１１】本発明の他の実施形態に係る手話動画像生成装置の他の構成の動作を示すフローチャートである。
【図１２】位置計測装置の機能を説明するための概念図である。
【図１３】主成分データを第１〜第３主成分の３軸の座標上にプロットした図である。
【図１４】動画像生成手段が２つの基本動作を合成して、１つの手話動作の動画像を生成する例を示す画像例である。
【図１５】変換係数の内容を説明するための説明図であって、（ａ）は対象人物の基本動作における主成分データ、（ｂ）は基本人物の基本動作における主成分データをそれぞれ第１〜第３主成分の３軸の座標軸上で表したものである。
【符号の説明】
【０１２７】
１      手話動画像提示システム
１０    位置計測装置
２０    手話動作分析装置
２１    識別子入力手段
２２    位置データ入力手段
２３    位置データ記憶手段
２４    主成分分析手段
２５    主成分データ記憶手段
２６    変換識別子入力手段
２７    変換係数算出手段
２８    変換係数記憶手段
３０    手話動画像データ送信装置
３１    動作主成分データ記憶手段
３２    動作受付手段
３３    主成分データ読出手段
３４    送信手段
４０    手話動画像生成装置
４１    基本動作データ記憶手段
４２    受信手段
４３    近接主成分選択手段
４４    動画像生成手段
４４ａ  ＣＧフレーム画像生成手段
４４ｂ  フレーム補間手段
４４ｃ  合成動画像生成手段
【図１】
2010079443.tif 000003
【図２】
2010079443.tif 000004
【図３】
2010079443.tif 000005
【図４】
2010079443.tif 000006
【図５】
2010079443.tif 000007
【図６】
2010079443.tif 000008
【図７】
2010079443.tif 000009
【図８】
2010079443.tif 000010
【図９】
2010079443.tif 000011
【図１０】
2010079443.tif 000012
【図１１】
2010079443.tif 000013
【図１２】
2010079443.tif 000014
【図１３】
2010079443.tif 000015
【図１４】
2010079443.tif 000016
【図１５】
2010079443.tif 000017