(57)【要約】      （修正有）【課題】映像処理及び音響処理の専門家などによる変換処理を必要とすることなく、映像データと音声データとを相互利用することによって話者変換を行う。【解決手段】メモリとプロセッサとを有する話者変換装置であって、メモリは、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有するニューラルネットワーク構造を格納し、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークは、映像音声融合ニューラルネットワークを介しソース話者の発話を表す映像データ及び音声データをターゲット話者の発話を表す映像データ及び音声データに変換し、プロセッサは、ソース話者の変換対象の発話を表す映像音声データをニューラルネットワーク構造に入力し、ソース話者の感情に対応して変換対象の発話を発声するターゲット話者を表す映像音声データを取得する。【選択図】図９
2020091338.tif 000002
【特許請求の範囲】
【請求項１】
メモリと、
プロセッサと、
を有する話者変換装置であって、
前記メモリは、
ソース話者の発話を表す映像音声データを前記ソース話者の感情に対応して前記発話を発声するターゲット話者を表す映像音声データに変換する学習済みニューラルネットワーク構造を格納し、
前記ニューラルネットワーク構造は、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有し、
前記映像モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す映像データを前記ターゲット話者の発話を表す映像データに変換し、
前記音声モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す音声データを前記ターゲット話者の発話を表す音声データに変換し、
前記プロセッサは、
前記ソース話者の変換対象の発話を表す映像音声データを前記ニューラルネットワーク構造に入力し、前記ソース話者の感情に対応して前記変換対象の発話を発声する前記ターゲット話者を表す映像音声データを取得する話者変換装置。
【請求項２】
前記ニューラルネットワーク構造は、前記ソース話者の感情に対応する表情及び声色で前記変換対象の発話を発声する前記ターゲット話者を表す映像音声データを生成する、請求項１記載の話者変換装置。
【請求項３】
前記プロセッサは更に、感情コードを前記ニューラルネットワーク構造に入力し、前記感情コードによって示される感情に対応して前記変換対象の発話を発声する前記ターゲット話者を表す映像音声データを取得する、請求項１又は２記載の話者変換装置。
【請求項４】
メモリと、
プロセッサと、
を有する学習装置であって、
前記メモリは、
ソース話者の発話を表す映像音声データを前記ソース話者の感情に対応して前記発話を発声するターゲット話者を表す映像音声データに変換する学習対象のニューラルネットワーク構造を格納し、
前記ニューラルネットワーク構造は、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有し、
前記映像モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す映像データを前記ターゲット話者の発話を表す映像データに変換し、
前記音声モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す音声データを前記ターゲット話者の発話を表す音声データに変換し、
前記プロセッサは、
前記ソース話者の発話を表す映像音声データと、前記ターゲット話者の発話を表す映像音声データとから構成される訓練データを取得すると、前記ソース話者の訓練用の映像音声データを前記ニューラルネットワーク構造に入力し、前記ニューラルネットワーク構造から出力された映像音声データと前記ターゲット話者の訓練用の映像音声データとの比較に基づき前記ニューラルネットワーク構造を学習する学習装置。
【請求項５】
前記プロセッサは、訓練用の映像データを前記映像モダリティニューラルネットワークに入力し、ヌルデータを前記音声モダリティニューラルネットワークに入力し、前記音声モダリティニューラルネットワークから出力された音声データと訓練用の音声データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４記載の学習装置。
【請求項６】
前記プロセッサは、ヌルデータを前記映像モダリティニューラルネットワークに入力し、訓練用の音声データを前記音声モダリティニューラルネットワークに入力し、前記映像モダリティニューラルネットワークから出力された映像データと訓練用の映像データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４又は５記載の学習装置。
【請求項７】
前記プロセッサは、訓練用の映像データを前記映像モダリティニューラルネットワークに入力し、訓練用の音声データを前記音声モダリティニューラルネットワークに入力し、前記映像モダリティニューラルネットワークから出力された映像データと訓練用の映像データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４乃至６何れか一項記載の学習装置。
【請求項８】
前記プロセッサは、訓練用の映像データを前記映像モダリティニューラルネットワークに入力し、訓練用の音声データを前記音声モダリティニューラルネットワークに入力し、前記音声モダリティニューラルネットワークから出力された音声データと訓練用の音声データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４乃至７何れか一項記載の学習装置。
【請求項９】
前記プロセッサは、訓練用の映像データを前記映像モダリティニューラルネットワークに入力し、ヌルデータを前記音声モダリティニューラルネットワークに入力し、前記映像モダリティニューラルネットワークから出力された映像データ及び前記音声モダリティニューラルネットワークから出力された音声データと、訓練用の映像データ及び音声データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４乃至８何れか一項記載の学習装置。
【請求項１０】
前記プロセッサは、ヌルデータを前記映像モダリティニューラルネットワークに入力し、訓練用の音声データを前記音声モダリティニューラルネットワークに入力し、前記映像モダリティニューラルネットワークから出力された映像データ及び前記音声モダリティニューラルネットワークから出力された音声データと、訓練用の映像データ及び音声データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４乃至９何れか一項記載の学習装置。
【請求項１１】
前記プロセッサは、訓練用の映像データを前記映像モダリティニューラルネットワークに入力し、ヌルデータを前記音声モダリティニューラルネットワークに入力し、前記映像モダリティニューラルネットワークから出力された映像データと訓練用の映像データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４乃至１０何れか一項記載の学習装置。
【請求項１２】
前記プロセッサは、ヌルデータを前記映像モダリティニューラルネットワークに入力し、訓練用の音声データを前記音声モダリティニューラルネットワークに入力し、前記音声モダリティニューラルネットワークから出力された音声データと訓練用の音声データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４乃至１１何れか一項記載の学習装置。
【請求項１３】
前記プロセッサは、訓練用の映像データを前記映像モダリティニューラルネットワークに入力し、訓練用の音声データを前記音声モダリティニューラルネットワークに入力し、前記映像モダリティニューラルネットワークから出力された映像データ及び前記音声モダリティニューラルネットワークから出力された音声データと、訓練用の映像データ及び音声データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４乃至１２何れか一項記載の学習装置。
【請求項１４】
前記メモリは更に、入力された映像音声データが前記ニューラルネットワーク構造から出力された映像音声データであるか、あるいは、前記訓練用の映像音声データであるか判別する判別ニューラルネットワークを格納し、
前記プロセッサは、敵対的生成ネットワークにおける生成器及び判別器として前記学習対象のニューラルネットワーク構造及び前記判別ニューラルネットワークをそれぞれ利用して、前記ニューラルネットワーク構造を学習する、請求項４乃至１３何れか一項記載の学習装置。
【請求項１５】
前記訓練データは更に感情コードを含み、
前記プロセッサは更に、前記感情コードを前記ニューラルネットワーク構造に入力し、前記ニューラルネットワーク構造から出力された映像音声データと、前記入力された感情コードによって示される感情に対応した前記訓練用の映像音声データとの比較に基づき前記ニューラルネットワーク構造を学習する、請求項４乃至１４何れか一項記載の学習装置。
【請求項１６】
メモリとプロセッサとを有するコンピュータによって実現される話者変換方法であって、
前記メモリは、
ソース話者の発話を表す映像音声データを前記ソース話者の感情に対応して前記発話を発声するターゲット話者を表す映像音声データに変換する学習済みニューラルネットワーク構造を格納し、
前記ニューラルネットワーク構造は、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有し、
前記映像モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す映像データを前記ターゲット話者の発話を表す映像データに変換し、
前記音声モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す音声データを前記ターゲット話者の発話を表す音声データに変換し、
前記プロセッサが、
前記ソース話者の変換対象の発話を表す映像音声データを前記ニューラルネットワーク構造に入力するステップと、
前記ソース話者の感情に対応して前記変換対象の発話を発声する前記ターゲット話者を表す映像音声データを取得するステップと、
を有する話者変換方法。
【請求項１７】
メモリとプロセッサとを有するコンピュータによって実現される学習方法であって、
前記メモリは、
ソース話者の発話を表す映像音声データを前記ソース話者の感情に対応して前記発話を発声するターゲット話者を表す映像音声データに変換する学習対象のニューラルネットワーク構造を格納し、
前記ニューラルネットワーク構造は、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有し、
前記映像モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す映像データを前記ターゲット話者の発話を表す映像データに変換し、
前記音声モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す音声データを前記ターゲット話者の発話を表す音声データに変換し、
前記プロセッサは、
前記ソース話者の発話を表す映像音声データと、前記ターゲット話者の発話を表す映像音声データとから構成される訓練データを取得するステップと、
前記ソース話者の訓練用の映像音声データを前記ニューラルネットワーク構造に入力するステップと、
前記ニューラルネットワーク構造から出力された映像音声データと前記ターゲット話者の訓練用の映像音声データとの比較に基づき前記ニューラルネットワーク構造を学習するステップと、
を有する学習方法。
【請求項１８】
ソース話者の発話を表す映像音声データを前記ソース話者の感情に対応して前記発話を発声するターゲット話者を表す映像音声データに変換する学習済みニューラルネットワーク構造であって、
前記ニューラルネットワーク構造は、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有し、
前記映像モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す映像データを前記ターゲット話者の発話を表す映像データに変換し、
前記音声モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す音声データを前記ターゲット話者の発話を表す音声データに変換する前記ニューラルネットワーク構造を格納したメモリに接続されるプロセッサに、
前記ソース話者の変換対象の発話を表す映像音声データを前記ニューラルネットワーク構造に入力する処理と、
前記ソース話者の感情に対応して前記変換対象の発話を発声する前記ターゲット話者を表す映像音声データを取得する処理と、
を実行させるプログラム。
【請求項１９】
ソース話者の発話を表す映像音声データを前記ソース話者の感情に対応して前記発話を発声するターゲット話者を表す映像音声データに変換する学習対象のニューラルネットワーク構造であって、
前記ニューラルネットワーク構造は、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有し、
前記映像モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す映像データを前記ターゲット話者の発話を表す映像データに変換し、
前記音声モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す音声データを前記ターゲット話者の発話を表す音声データに変換する前記ニューラルネットワーク構造を格納したメモリに接続されるプロセッサに、
前記ソース話者の発話を表す映像音声データと、前記ターゲット話者の発話を表す映像音声データとから構成される訓練データを取得する処理と、
前記ソース話者の訓練用の映像音声データを前記ニューラルネットワーク構造に入力する処理と、
前記ニューラルネットワーク構造から出力された映像音声データと前記ターゲット話者の訓練用の映像音声データとの比較に基づき前記ニューラルネットワーク構造を学習する処理と、
を実行させるプログラム。
【請求項２０】
メモリと、
プロセッサと、
を有する話者変換装置であって、
前記メモリは、
ソース話者の発話を表す映像音声データから抽出された画像特徴量及び音声特徴量を前記ソース話者の感情に対応して前記発話を発声するターゲット話者の画像特徴量及び音声特徴量に変換する学習済みニューラルネットワーク構造を格納し、
前記プロセッサは、
前記ソース話者の変換対象の発話を表す映像音声データから抽出された画像特徴量及び音声特徴量を前記ニューラルネットワーク構造に入力し、前記ソース話者の感情に対応して前記変換対象の発話を発声する前記ターゲット話者の画像特徴量及び音声特徴量を取得する話者変換装置。
【請求項２１】
前記プロセッサは、前記取得した画像特徴量を画像復元手段に入力し、前記取得した音声特徴量を音声復元手段に入力し、前記ターゲット話者の発話を表す映像音声データを生成する、請求項２０記載の話者変換装置。
【請求項２２】
前記プロセッサは、前記取得した画像特徴量及び音声特徴量を画像復元手段に入力し、前記取得した画像特徴量及び音声特徴量を音声復元手段に入力し、前記ターゲット話者の発話を表す映像音声データを生成する、請求項２０記載の話者変換装置。
【請求項２３】
前記ニューラルネットワーク構造は更に、過去のソース話者又はターゲット話者の発話に関するコンテキスト情報を取得する、請求項２０乃至２２何れか一項記載の話者変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話者変換技術に関する。
【背景技術】
【０００２】
話者変換とは、ある話者の顔と音声とを別の人の顔と音声とに置き換える技術である。例えば、図１に示されるように、ソース話者が発話を発声した際の顔映像データと音声データとを取得したとき、ソース話者の顔映像データは、顔検知変換（例えば、ｆａｃｅ２ｆａｃｅなど）によってターゲット話者の顔映像データに変換され、ソース話者の音声データは、声質変換（例えば、ＧＭＭ（Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）に基づく声質変換、ＤＮＮ（Ｄｅｅｐ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に基づく声質変換など）によってターゲット話者の音声データに変換される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−６４１０２号公報
【特許文献２】特開平８−３０５８２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術によると、顔映像データと音声データとは別々に変換されるため、ソース話者の顔映像から取得される情報（例えば、ソース話者の表情、感情など）に対応したターゲット話者の音声データ（例えば、ソース話者の表情や感情に対応するターゲット話者の声色など）を生成したり、ソース話者の音声から取得される情報（例えば、ソース話者の声色、感情など）に対応したターゲット話者の顔映像データ（例えば、ソース話者の声色や感情に対応するターゲット話者の表情など）を生成することは困難である。また、音声と顔を別々に変換する場合、音声と唇の動きや顔表情などとの同期も困難である。
【０００５】
一方、映画制作などでは、ある演者のシーンを他の演者の対応するシーンに変換することが行われている。しかしながら、現状、このような作業は、映像処理及び音響処理の専門家がシーンの各フレームを手作業などによって変換することによって行われている。
【０００６】
また、ＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）デバイスなどを装着した人間の動きをキャプチャすることによって、対応する動きをアバタなどによって再生することも行われている。しかしながら、同様に映像処理及び音響処理の専門家による変換処理を必要とし、かなりの開発コストがかかることが知られている。
【０００７】
上述した問題点を鑑み、本発明の課題は、映像処理及び音響処理の専門家などによる変換処理を必要とすることなく、映像データと音声データとを相互利用することによって話者変換を行うための話者変換技術を提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明の一態様は、メモリと、プロセッサと、を有する話者変換装置であって、前記メモリは、ソース話者の発話を表す映像音声データを前記ソース話者の感情に対応して前記発話を発声するターゲット話者を表す映像音声データに変換する学習済みニューラルネットワーク構造を格納し、前記ニューラルネットワーク構造は、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有し、前記映像モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す映像データを前記ターゲット話者の発話を表す映像データに変換し、前記音声モダリティニューラルネットワークは、前記映像音声融合ニューラルネットワークを介し前記ソース話者の発話を表す音声データを前記ターゲット話者の発話を表す音声データに変換し、前記プロセッサは、前記ソース話者の変換対象の発話を表す映像音声データを前記ニューラルネットワーク構造に入力し、前記ソース話者の感情に対応して前記変換対象の発話を発声する前記ターゲット話者を表す映像音声データを取得する話者変換装置に関する。
【発明の効果】
【０００９】
本発明によると、映像処理及び音響処理の専門家などによる変換処理を必要とすることなく、映像データと音声データとを相互利用することによって話者変換を行うための話者変換技術を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】従来技術による話者変換処理の概略図である。
【図２】本発明の一実施例による話者変換処理の概略図である。
【図３】本発明の一実施例による話者変換処理の基本構造を示す概略図である。
【図４】本発明の一実施例によるニューラルネットワーク構造を示す図である。
【図５】本発明の一実施例による話者変換装置及び学習装置のハードウェア構成を示すブロック図である。
【図６】本発明の他の実施例による話者変換処理の概略図である。
【図７】本発明の他の実施例によるニューラルネットワーク構造を示す図である。
【図８】本発明の一実施例による感情推定器を示す概略図である。
【図９】本発明の一実施例による話者変換処理を示すフローチャートである。
【図１０】本発明の一実施例による学習処理を示すフローチャートである。
【図１１】本発明の一実施例による学習処理の入出力パターンを示す概略図である。
【図１２】本発明の他の実施例による学習処理の入出力パターンを示す概略図である。
【図１３】本発明の一実施例による学習対象のニューラルネットワーク構造を示す図である。
【図１４】本発明の他の実施例による学習対象のニューラルネットワーク構造を示す図である。
【図１５】本発明の一実施例による話者変換装置による話者変換実験結果を示す図である。
【図１６】本発明の他の実施例による話者変換装置による話者変換実験結果を示す図である。
【図１７】本発明の他の実施例による話者変換装置の基本構造を示す概略図である。
【図１８】本発明の他の実施例によるニューラルネットワーク構造を示す図である。
【図１９】本発明の他の実施例によるニューラルネットワーク構造を示す図である。
【図２０】本発明の他の実施例によるニューラルネットワーク構造を示す図である。
【図２１】本発明の他の実施例によるニューラルネットワーク構造を示す図である。
【図２２】本発明の他の実施例によるニューラルネットワーク構造を示す図である。
【図２３】本発明の他の実施例によるニューラルネットワーク構造を示す図である。
【図２４】本発明の他の実施例によるニューラルネットワーク構造を示す図である。
【図２５】本発明の他の実施例による学習処理を示す概略図である。
【発明を実施するための形態】
【００１１】
以下の実施例では、ニューラルネットワークを利用して、ソース話者の発話を表す映像音声データをターゲット話者による対応する発話を表す映像音声データに変換する話者変換装置が開示される。
［概略］
後述される実施例を概略すると、話者変換装置は、ソース話者の発話を表す映像音声データをソース話者の感情に対応して発話を発声するターゲット話者を表す映像音声データに変換する学習済みニューラルネットワーク構造を利用して、ソース話者の変換対象の発話を表す映像音声データをニューラルネットワーク構造に入力し、ソース話者の感情に対応して変換対象の発話を発声するターゲット話者を表す映像音声データを取得する。
【００１２】
当該ニューラルネットワーク構造は、映像モダリティニューラルネットワーク、音声モダリティニューラルネットワーク及び映像音声融合ニューラルネットワークを有し、映像モダリティニューラルネットワークは、映像音声融合ニューラルネットワークを介しソース話者の発話を表す映像データをターゲット話者の発話を表す映像データに変換し、音声モダリティニューラルネットワークは、映像音声融合ニューラルネットワークを介しソース話者の発話を表す音声データをターゲット話者の発話を表す音声データに変換する。映像音声融合ニューラルネットワークは、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからそれぞれ取得した画像特徴量及び音声特徴量を融合し、出力した融合特徴量を映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークに返す。映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークは、取得した融合特徴量からソース話者の感情に対応するターゲット話者の発話を表す映像データ及び音声データをそれぞれ生成する。
【００１３】
このようなニューラルネットワーク構造は、学習装置が、ソース話者の発話を表す映像音声データと、ソース話者の感情に対応するターゲット話者の発話を表す映像音声データとのペアから構成される訓練データを取得し、ソース話者の訓練用の映像音声データをニューラルネットワーク構造に入力し、ニューラルネットワーク構造から出力された映像音声データとターゲット話者の訓練用の映像音声データとを比較することによって学習される。
【００１４】
このようにして、本発明によるニューラルネットワーク構造は、映像変換と音声変換とを互いに独立に処理する従来技術と異なって、異なるモダリティによる処理結果を映像音声融合ニューラルネットワークにおいて相互利用することによって話者変換を実行する。話者変換装置は、図２に示されるように、ソース話者の変換対象の発話を表す映像データ及び音声データをニューラルネットワーク構造における映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークにそれぞれ入力し、ソース話者の感情に対応して変換対象の発話を発声するターゲット話者を表す映像音声データを取得する。この結果、映像処理及び音響処理の専門家などによる変換処理を必要とすることなく、ソース話者の発話データから取得される情報（例えば、ソース話者の表情、声色、感情など）に対応したターゲット話者の発話データを生成及び再生することが可能になる。また、顔と音声を同時変換することで、顔と音声の情報を強制的に相関させる。この結果、変換した顔と音声の相関は高くなり、音声と唇の動きや顔表情との間のより自然な同期を実現することができる。
［話者変換処理］
まず、図３〜９を参照して、本発明の一実施例による話者変換処理を説明する。図３は、本発明の一実施例による話者変換処理の基本構造を示す概略図である。
【００１５】
図３に示されるように、話者変換装置１００は、ソース話者の変換対象の発話を表す映像音声データをニューラルネットワーク構造に入力し、ソース話者の感情に対応して変換対象の発話を発声するターゲット話者を表す映像音声データを取得する。具体的には、話者変換装置１００は、カメラ及びマイクロフォンなどによってソース話者の発話をキャプチャし、映像データ及び音声データを生成する。話者変換装置１００は、取得した映像データ及び音声データをニューラルネットワーク構造の映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークにそれぞれ入力し、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからそれぞれ取得した画像特徴量及び音声特徴量を映像音声融合ニューラルネットワークに入力し、画像特徴量と音声特徴量との融合特徴量を取得する。当該融合特徴量は、映像データ及び／又は音声データに含まれるソース話者の感情を反映させたターゲット話者の映像音声データの特徴量に相当すると考えられる。話者変換装置１００は、取得した融合特徴量を映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークに入力し、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからターゲット話者の映像データ及び音声データをそれぞれ取得及び再生する。例えば、生成される映像音声データは、ソース話者の感情に対応する表情及び声色で変換対象の発話を発声するターゲット話者を表す映像音声データに相当する。
【００１６】
このようなニューラルネットワーク構造は、以降において詳細に説明される学習処理によって学習装置２００を用いて学習され、学習済みニューラルネットワーク構造が話者変換装置１００に提供される。
【００１７】
実際のニューラルネットワーク構造では、顔映像データは、例えば、フレーム単位などにより画像データとして処理され、音声データは、例えば、所定時間のサンプリングデータに分割することによって音声波形データとして処理される。このため、図示されるように、自己回帰（ａｕｔｏ  ｒｅｇｒｅｓｓｉｏｎ）によって過去の出力を現在の一部の入力として利用して、変換後の顔映像データ及び音声データが生成される。例えば、このようなニューラルネットワーク構造は、図４に示されるようなレイヤ構成によって実現可能である。また、スキップパスにより示されるように、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークのエンコード側のレイヤの出力がデコード側の対応するレイヤに補足情報としてわたされてもよい。例えば、エンコード側のレイヤの出力とデコード側の対応するレイヤの出力とが加算又はコピーされ、処理結果が後続するレイヤにわたされてもよい。なお、図示されたニューラルネットワーク構造では、画像特徴量と音声特徴量とは同数のチャネルとなっているが、本発明はこれに限定されず、異なるチャネル数であってもよい。また、自己回帰によるコンテキストの考慮に限定されず、例えば一定時間長の信号を考慮してモデルに入力してもよい。
【００１８】
ここで、話者変換装置１００及び学習装置２００は、例えば、図５に示されるように、CPU (Central Processing unit)、GPU (Graphics Processing Unit)などのプロセッサ１０１、RAM (Random Access Memory)、フラッシュメモリなどのメモリ１０２、ハードディスク１０３及び入出力(I/O)インタフェース１０４によるハードウェア構成を有してもよい。
【００１９】
プロセッサ１０１は、ここで説明される話者変換装置１００及び学習装置２００の各種処理を実行及び制御する。
【００２０】
メモリ１０２は、話者変換装置１００及び学習装置２００における各種データ及びプログラムを格納し、特に作業用データ、実行中のプログラムなどのためのワーキングメモリとして機能する。具体的には、メモリ１０２は、ハードディスク１０３からロードされたニューラルネットワーク構造を実現するプログラム、各種処理を実行及び制御するためのプログラムなどを格納し、プロセッサ１０１によるプログラムの実行中にワーキングメモリとして機能する。
【００２１】
ハードディスク１０３は、話者変換装置１００及び学習装置２００に利用される各種データ及びプログラムを格納する。
【００２２】
I/Oインタフェース１０４は、ユーザからの命令、入力データなどを受け付け、出力結果を表示、再生などすると共に、外部装置との間でデータを入出力するためのインタフェースである。例えば、I/Oインタフェース１０４は、USB (Universal Serial Bus)、通信回線、キーボード、マウス、ディスプレイ、カメラ、マイクロフォン、スピーカなどの各種データを入出力するためのデバイスである。
【００２３】
しかしながら、本発明による話者変換装置１００及び学習装置２００は、上述したハードウェア構成に限定されず、他の何れか適切なハードウェア構成を有してもよい。例えば、上述した話者変換装置１００及び学習装置２００による各種処理の１つ以上は、これを実現するよう配線化された処理回路又は電子回路により実現されてもよい。
【００２４】
図６は、本発明の他の実施例による話者変換処理の概略図である。上述した実施例によるニューラルネットワーク構造では、キャプチャした顔映像データ及び／又は音声データからソース話者の感情が推定されたが、本実施例では、ニューラルネットワーク構造に感情コードが明示的に与えられ、与えられた感情コードに対応してターゲット話者の発話を表す映像音声データが生成される。すなわち、話者変換装置１００は更に、感情コードをニューラルネットワーク構造に入力し、入力された感情コードによって示される感情に対応して変換対象の発話を発声するターゲット話者を表す映像音声データを取得する。例えば、本実施例によるニューラルネットワーク構造は、図７に示されるようなレイヤ構成によって実現可能であり、感情コードが映像音声融合ニューラルネットワークに入力される。映像音声融合ニューラルネットワークは、映像モダリティニューラルネットワークからの画像特徴量、音声モダリティニューラルネットワークからの音声特徴量及び感情コードを融合して融合特徴量を生成し、生成した融合特徴量を映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークに提供する。
【００２５】
なお、感情コードは、ユーザなどによって与えられてもよいし、図８に示されるように、キャプチャされた顔映像データ及び／又は音声データから何れか既知の推定技術を利用する感情推定器によって導出されてもよい。また、感情コードは、「平静」、「喜び」、「悲しみ」、「怒り」などの典型的な感情種別を示すだけでなく、各感情種別の強度を何れかの粒度によって示してもよい。
【００２６】
図９は、本発明の一実施例による話者変換処理を示すフローチャートである。当該話者変換処理は、学習済みニューラルネットワーク構造を格納したメモリを有する話者変換装置１００、具体的には、話者変換装置１００のプロセッサによって実行されてもよい。
【００２７】
図９に示されるように、ステップＳ１０１において、話者変換装置１００は、ソース話者の映像音声データを取得する。例えば、映像データは、ソース話者を撮像するカメラによってキャプチャされ、音声データは、ソース話者の発話内容を集音するマイクロフォンによってキャプチャされてもよい。
【００２８】
ステップＳ１０２において、話者変換装置１００は、取得した映像データ及び音声データをニューラルネットワーク構造における映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークにそれぞれ入力する。
【００２９】
ステップＳ１０３において、話者変換装置１００は、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからそれぞれ出力された画像特徴量及び音声特徴量を映像音声融合ニューラルネットワークに入力する。また、明示的な感情コードが話者変換装置１００に与えられている場合、話者変換装置１００は、与えられた感情コードを映像音声融合ニューラルネットワークに更に入力する。
【００３０】
ステップＳ１０４において、話者変換装置１００は、映像音声融合ニューラルネットワークから融合特徴量を取得し、取得した融合特徴量を映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークに入力する。
【００３１】
ステップＳ１０５において、話者変換装置１００は、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからソース話者の感情に対応したターゲット話者の映像データ及び音声データをそれぞれ取得し、取得した映像データ及び音声データを再生する。
［学習処理］
次に、図１０〜１４を参照して、本発明の一実施例による学習処理を説明する。図１０は、本発明の一実施例による学習処理を示すフローチャートである。当該学習処理は、学習対象のニューラルネットワーク構造を格納したメモリを有する学習装置２００、具体的には、学習装置２００のプロセッサによって実行されてもよい。
【００３２】
図１０に示されるように、ステップＳ２０１において、学習装置２００は、ソース話者の発話を表す映像音声データと、ターゲット話者の発話を表す映像音声データとから構成される訓練データを取得する。本実施例では、ソース話者の発話を表す映像音声データと、ソース話者の感情に対応するターゲット話者の発話を表す映像音声データとのペアが訓練データとして利用され、例えば、ソース話者が怒りながら発話した際の映像音声データと、ターゲット話者が怒りながら同内容の発話を発声した際の映像音声データとのペアが訓練データの１つとして利用されてもよい。同様に、ソース話者が笑いながら発話した際の映像音声データと、ターゲット話者が笑いながら同内容の発話を発声した際の映像音声データとのペアが訓練データの１つとして利用されてもよい。また、明示的な感情コードが利用される場合、訓練データは、ソース話者の発話を表す映像音声データと、感情コードと、感情コードに対応するターゲット話者の発話を表す映像音声データとの三つ組みから構成されてもよい。
【００３３】
ステップＳ２０２において、学習装置２００は、訓練用の映像データ及び音声データを映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークにそれぞれ入力する。
【００３４】
ステップＳ２０３において、学習装置２００は、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからそれぞれ出力された画像特徴量及び音声特徴量を映像音声融合ニューラルネットワークに入力する。また、明示的な感情コードが訓練データとして与えられている場合、学習装置２００は、訓練用の感情コードを映像音声融合ニューラルネットワークに更に入力する。
【００３５】
ステップＳ２０４において、学習装置２００は、映像音声融合ニューラルネットワークから融合特徴量を取得し、取得した融合特徴量を映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークに入力する。
【００３６】
ステップＳ２０５において、学習装置２００は、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからそれぞれ取得した映像データ及び音声データと、訓練用のターゲット話者の映像データ及び音声データとを比較し、比較結果に基づきニューラルネットワーク構造を学習する。例えば、学習装置２００は、バックプロパゲーションに従って、出力された映像データ及び音声データと訓練用のターゲット話者の映像データ及び音声データとの誤差を算出し、算出した誤差を減少させるようにニューラルネットワーク構造のパラメータを更新する。
【００３７】
ステップＳ２０６において、学習装置２００は、終了条件を充足したか判断し、終了条件を充足した場合（Ｓ２０６：ＹＥＳ）、当該学習処理を終了し、終了条件を充足していない場合（Ｓ２０６：ＮＯ）、ステップＳ２０１〜Ｓ２０５を繰り返す。終了条件としては、例えば、所定数の訓練データに対して学習処理を完了したこと、誤差が所定の閾値以下になったこと、誤差が収束したことなどであってもよい。
【００３８】
ここで、学習対象のニューラルネットワーク構造は、様々な映像データと音声データとの入出力パターンで学習されてもよい。
【００３９】
一実施例では、図１１（ａ）に示されるように、学習装置２００は、訓練用の映像データを映像モダリティニューラルネットワークに入力し、ヌルデータを音声モダリティニューラルネットワークに入力し、音声モダリティニューラルネットワークから出力された音声データと訓練用の音声データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、映像モダリティニューラルネットワークから取得した画像特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、音声モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の音声データを出力し、学習装置２００は、出力された音声データと訓練用の音声データとの比較に基づきニューラルネットワーク構造を学習する。
【００４０】
また、一実施例では、図１１（ｂ）に示されるように、学習装置２００は、ヌルデータを映像モダリティニューラルネットワークに入力し、訓練用の音声データを音声モダリティニューラルネットワークに入力し、映像モダリティニューラルネットワークから出力された映像データと訓練用の映像データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、音声モダリティニューラルネットワークから取得した音声特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、映像モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の映像データを出力し、学習装置２００は、出力された映像データと訓練用の映像データとの比較に基づきニューラルネットワーク構造を学習する。
【００４１】
また、一実施例では、図１１（ｃ）に示されるように、学習装置２００は、訓練用の映像データを映像モダリティニューラルネットワークに入力し、訓練用の音声データを音声モダリティニューラルネットワークに入力し、映像モダリティニューラルネットワークから出力された映像データと訓練用の映像データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからそれぞれ取得した画像特徴量及び音声特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、映像モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の映像データを出力し、学習装置２００は、出力された映像データと訓練用の映像データとの比較に基づきニューラルネットワーク構造を学習する。
【００４２】
また、一実施例では、図１１（ｄ）に示されるように、学習装置２００は、訓練用の映像データを映像モダリティニューラルネットワークに入力し、訓練用の音声データを音声モダリティニューラルネットワークに入力し、音声モダリティニューラルネットワークから出力された音声データと訓練用の音声データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからそれぞれ取得した画像特徴量及び音声特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、音声モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の音声データを出力し、学習装置２００は、出力された音声データと訓練用の音声データとの比較に基づきニューラルネットワーク構造を学習する。
【００４３】
また、一実施例では、図１２（ａ）に示されるように、学習装置２００は、訓練用の映像データを映像モダリティニューラルネットワークに入力し、ヌルデータを音声モダリティニューラルネットワークに入力し、映像モダリティニューラルネットワークから出力された映像データ及び音声モダリティニューラルネットワークから出力された音声データと、訓練用の映像データ及び音声データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、映像モダリティニューラルネットワークから取得した画像特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の映像データ及び音声データを出力し、学習装置２００は、出力された映像データ及び音声データと訓練用の映像データ及び音声データとの比較に基づきニューラルネットワーク構造を学習する。
【００４４】
また、一実施例では、図１２（ｂ）に示されるように、学習装置２００は、ヌルデータを映像モダリティニューラルネットワークに入力し、訓練用の音声データを音声モダリティニューラルネットワークに入力し、映像モダリティニューラルネットワークから出力された映像データ及び音声モダリティニューラルネットワークから出力された音声データと、訓練用の映像データ及び音声データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、音声モダリティニューラルネットワークから取得した音声特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の映像データ及び音声データを出力し、学習装置２００は、出力された映像データ及び音声データと訓練用の映像データ及び音声データとの比較に基づきニューラルネットワーク構造を学習する。
【００４５】
また、一実施例では、図１２（ｃ）に示されるように、学習装置２００は、訓練用の映像データを映像モダリティニューラルネットワークに入力し、ヌルデータを音声モダリティニューラルネットワークに入力し、映像モダリティニューラルネットワークから出力された映像データと訓練用の映像データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、映像モダリティニューラルネットワークから取得した画像特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、映像モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の映像データを出力し、学習装置２００は、出力された映像データと訓練用の映像データとの比較に基づきニューラルネットワーク構造を学習する。
【００４６】
また、一実施例では、図１２（ｄ）に示されるように、学習装置２００は、ヌルデータを映像モダリティニューラルネットワークに入力し、訓練用の音声データを音声モダリティニューラルネットワークに入力し、音声モダリティニューラルネットワークから出力された音声データと訓練用の音声データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、音声モダリティニューラルネットワークから取得した音声特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、音声モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の音声データを出力し、学習装置２００は、出力された音声データと訓練用の音声データとの比較に基づきニューラルネットワーク構造を学習する。
【００４７】
また、一実施例では、図１２（ｅ）に示されるように、学習装置２００は、訓練用の映像データを映像モダリティニューラルネットワークに入力し、訓練用の音声データを音声モダリティニューラルネットワークに入力し、映像モダリティニューラルネットワークから出力された映像データ及び音声モダリティニューラルネットワークから出力された音声データと、訓練用の映像データ及び音声データとの比較に基づきニューラルネットワーク構造を学習してもよい。この場合、映像音声融合ニューラルネットワークは、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークからそれぞれ取得した画像特徴量及び音声特徴量からソース話者の感情を推定し、推定したソース話者の感情に対応するターゲット話者の発話を示す融合特徴量を導出すると考えられる。導出された融合特徴量を取得すると、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークは、推定された感情に対応して発話を発声するターゲット話者の映像データ及び音声データをそれぞれ出力し、学習装置２００は、出力された映像データ及び音声データと訓練用の映像データ及び音声データとの比較に基づきニューラルネットワーク構造を学習する。
【００４８】
なお、上述した各種入出力パターンによる学習処理の何れか１つ又は１つ以上が組み合わされてもよい。また、訓練データは更に感情コードを含んでもよい。この場合、映像音声融合ニューラルネットワークは、取得した画像特徴量及び／又は音声特徴量に対して、感情コードに対応するターゲット話者の発話を示す融合特徴量を導出すると考えられ、融合特徴量に基づく以降の処理は、上述した処理と同様である。
【００４９】
一実施例では、ニューラルネットワーク構造の学習処理は、敵対的生成ネットワークに従って実行されてもよい。すなわち、入力された映像音声データがニューラルネットワーク構造から出力された映像音声データであるか、あるいは、訓練用の映像音声データであるか判別する判別ニューラルネットワークが設けられ、学習装置２００は、敵対的生成ネットワークにおける生成器及び判別器として学習対象のニューラルネットワーク構造及び判別ニューラルネットワークをそれぞれ利用して、ニューラルネットワーク構造を学習してもよい。この場合、ニューラルネットワーク構造から出力された映像データ及び音声データは判別器に入力され、判別器は、入力された映像データ及び音声データがニューラルネットワーク構造によって出力されたものであるか、あるいは、訓練用の映像データ及び音声データであるか判別し、学習装置２００は、判別器が正しく判別するように判別器のパラメータを更新する。一方、学習装置２００は、判別器が誤って判別するようにニューラルネットワーク構造のパラメータを更新する。
【００５０】
具体的には、図１３及び１４に示されるように、ネットワーク構造から出力される音声データは判別器Ｄ１にわたされ、映像データは判別器Ｄ２にわたされる。判別器Ｄ１，Ｄ２は、判別結果（Ｔｒｕｅ／Ｆａｌｓｅ）と共に、音声データ及び映像データから推定される感情コードを出力してもよい。そして、D１とD２はまとめて１つの判別器で実装してもよい。
［実験結果］
図１５及び１６は、話者変換装置による話者変換実験結果を示す図である。ここでの実験では、発話の平均長が６秒弱のソース話者とターゲット話者との映像音声データの６３０個のペアが用意され、上述した学習処理によってニューラルネットワーク構造が学習された。６３０個のペアの内訳は、感情が「平静」であるソース話者とターゲット話者との９０個の映像音声データのペア、感情が「弱めの喜び」であるソース話者とターゲット話者との９０個の映像音声データのペア、感情が「強めの喜び」であるソース話者とターゲット話者との９０個の映像音声データのペア、感情が「弱めの悲しみ」であるソース話者とターゲット話者との９０個の映像音声データのペア、感情が「強めの悲しみ」であるソース話者とターゲット話者との９０個の映像音声データのペア、感情が「弱めの怒り」であるソース話者とターゲット話者との９０個の映像音声データのペア、感情が「強めの怒り」であるソース話者とターゲット話者との９０個の映像音声データのペアが利用された。
【００５１】
図１５の左側に示されるような変換対象のソース話者の発話を表す映像音声データの１つのフレームが与えられると、話者変換装置１００は、図１５の真ん中に示されるようなターゲット話者に対して学習済みのニューラルネットワーク構造を利用して、図１５の右側に示されるようなターゲット話者の映像音声データの対応するフレームを生成した。すなわち、怒っているソース話者の感情に対応してターゲット話者が怒りながら発話する映像音声データが生成された。
【００５２】
また、図１６の上側に示されるような変換対象のソース話者の発話を表す映像音声データの１つのフレームと感情コードとが与えられると、話者変換装置１００は、図１６の下側に示されるような「喜び」、「悲しみ」及び「怒り」の感情コードに対応するターゲット話者の映像音声データの対応するフレームが生成された。
［変形例］
次に、図１７〜２４を参照して、本発明の他の実施例によるニューラルネットワーク構造を説明する。上述した実施例によるニューラルネットワーク構造は、ソース話者の映像データを画像特徴量に変換し、映像音声融合ニューラルネットワークからの融合特徴量をターゲット話者の映像データに変換する映像モダリティニューラルネットワーク、ソース話者の音声データを音声特徴量に変換し、映像音声融合ニューラルネットワークからの融合特徴量をターゲット話者の音声データに変換する音声モダリティニューラルネットワーク、及び映像音声融合ニューラルネットワークを有したが、本発明によるニューラルネットワーク構造は、必ずしもこれに限定されず、例えば、図１７に示されるように、映像モダリティニューラルネットワーク及び音声モダリティニューラルネットワークは、ニューラルネットワーク構造から分離したモジュールとして構成されてもよい。すなわち、本実施例による話者変換装置は、ソース話者の発話を表す映像音声データから抽出された画像特徴量及び音声特徴量をソース話者の感情に対応して発話を発声するターゲット話者の画像特徴量及び音声特徴量に変換する映像音声融合ニューラルネットワークを学習済みニューラルネットワーク構造として有し、映像モダリティモジュール又は映像処理手段によってソース話者の変換対象の発話を表す映像音声データから抽出された画像特徴量と、音声モダリティモジュール又は音声処理手段によってソース話者の変換対象の発話を表す映像音声データから抽出された音声特徴量を映像音声融合ニューラルネットワークに入力し、ソース話者の感情に対応して変換対象の発話を発声するターゲット話者の画像特徴量及び音声特徴量を取得する。本実施例によると、一般に画像特徴量及び音声特徴量は元の映像データ及び音声データよりサイズが小さいため、ニューラルネットワーク構造、すなわち、映像音声融合ニューラルネットワークの学習速度を向上させることができる。
【００５３】
具体的には、ソース話者の映像データは画像特徴量抽出ネットワーク（例えば、ＶＧＧなど）に入力され、画像特徴量が抽出され、映像音声融合ニューラルネットワークからの融合特徴量に基づき変換された画像特徴量は画像復元ネットワークに入力され、ターゲット話者の映像データが復元されてもよい。同様に、ソース話者の音声データは音声特徴量解析ソフトウェア（例えば、ＳＰＴＫなど）に入力され、音声特徴量が抽出され、映像音声融合ニューラルネットワークからの融合特徴量に基づき変換された音声特徴量は音声復元ネットワークに入力され、ターゲット話者の音声データが復元されてもよい。
【００５４】
例えば、コンテキスト情報を考慮しない場合、このような画像特徴量抽出ネットワーク、音声特徴量解析ソフトウェア、映像音声融合ニューラルネットワーク、画像復元ネットワーク及び音声復元ネットワークは、図１８に示されるようなレイヤ構成により実現可能である。
【００５５】
また、コンテキスト情報を考慮する場合、このような画像特徴量抽出ネットワーク、音声特徴量解析ソフトウェア、映像音声融合ニューラルネットワーク、画像復元ネットワーク及び音声復元ネットワークは、図１９に示されるような過去のターゲット話者の画像特徴量及び音声特徴量のコンテキスト情報により実現可能である。すなわち、映像音声融合ニューラルネットワークは、ｎ時刻前までの出力情報であるターゲット話者の画像特徴量及び音声特徴量を考慮して現在の出力情報であるｔ時刻におけるターゲット話者の画像特徴量及び音声特徴量を生成してもよい。
【００５６】
また、画像特徴量抽出ネットワーク、音声特徴量解析ソフトウェア、映像音声融合ニューラルネットワーク、画像復元ネットワーク及び音声復元ネットワークは、図２０に示されるような過去のソース話者の画像特徴量及び音声特徴量のコンテキスト情報により実現可能である。すなわち、映像音声融合ニューラルネットワークは、ｎ時刻前までの入力情報であるソース話者の画像特徴量及び音声特徴量を考慮して現在の出力情報であるｔ時刻におけるターゲット話者の画像特徴量及び音声特徴量を生成してもよい。
【００５７】
また、上述した画像特徴量及び音声特徴量を用いた入力に限定されず、過去のターゲット話者及びソース話者の映像データ及び音声データがコンテキスト情報として利用されてもよい。例えば、映像音声融合ニューラルネットワークに加えて、画像特徴量抽出ネットワーク、音声特徴量抽出ネットワーク、画像復元ネットワーク及び音声復元ネットワークを含んで実現される映像音声の同時変換モデルは、図２１に示されるような過去のターゲット話者の映像データ及び音声データのコンテキスト情報により実現可能である。すなわち、映像音声の同時変換モデルは、ｎ時刻前までの出力情報であるターゲット話者の映像データ及び音声データを考慮してｔ時刻におけるソース映像及び音声データから現在の出力情報であるｔ時刻におけるターゲット話者の映像音声データを生成してもよい。
【００５８】
また、映像音声の同時変換モデルは、図２２に示されるような過去のソース話者の映像データ及び音声データのコンテキスト情報により実現可能である。すなわち、映像音声の同時変換モデルは、ｎ時刻前までの入力情報であるソース話者の映像データ及び音声データを考慮してｔ時刻におけるソース映像及び音声データから現在の出力情報であるｔ時刻におけるターゲット話者の映像及び音声データを生成してもよい。
【００５９】
あるいは、他の実施例では、図２３に示されるように、映像音声融合ニューラルネットワークによって変換された画像特徴量は、画像復元ネットワークだけでなく音声復元ネットワークにも入力され、画像復元ネットワーク及び音声復元ネットワークは、画像特徴量と音声特徴量との双方からターゲット話者の映像データを生成してもよい。同様に、映像音声融合ニューラルネットワークによって変換された音声特徴量は、画像復元ネットワークだけでなく音声復元ネットワークにも入力され、画像復元ネットワーク及び音声復元ネットワークは、画像特徴量と音声特徴量との双方からターゲット話者の音声データを生成してもよい。図示された実施例によると、画像復元ネットワーク及び音声復元ネットワークは、異なるモダリティの特徴量を更に利用してデータを復元することができるため、例えば、変換した音声と顔や唇の動きを強く相関させることが可能であり、音声と唇の動きや顔の表情などの同期が良好となり、より自然なターゲット話者の発話を生成することが可能になる。
【００６０】
例えば、本実施例による映像音声融合ニューラルネットワークは、図２４に示されるようなレイヤ構造により実現されてもよい。すなわち、ソース話者の音声特徴量は４層の畳み込み層に入力され、下位の畳み込み層からチャネル数及びストライドは、（１２８，１）、（２５６，２）、（５１２，２）及び（１０２４，２）とされる。一方、ソース話者の画像特徴量は４層の畳み込み層に入力され、下位の畳み込み層からチャネル数及びストライドは、（４０００，１）、（３０００，１）、（２０００，１）及び（１０２４，１）とされる。各レイヤ構造から出力された音声特徴量及び画像特徴量は、４層の畳み込み層からなる融合ネットワークに入力される。当該融合ネットワークの各畳み込み層は、２０４８のチャネル数及び１のストライドから構成されてもよい。融合ネットワークから出力された特徴量は、図示されるような音声復元及び画像復元のためのレイヤ構造に入力され、変換された音声特徴量及び画像特徴量が最終的に生成される。
【００６１】
次に、図２５を参照して、本発明の他の実施例による学習処理を説明する。図２５は、本発明の他の実施例による学習処理を示す概略図である。上述した実施例では、ソース話者の発話を表す映像音声データと、ソース話者の感情に対応するターゲット話者の発話を表す映像音声データとのペアが訓練データとして利用されたが、本実施例では、ニューラルネットワーク構造がサイクルＧＡＮにより学習され、ソース話者の発話を表す映像音声データと、ターゲット話者の発話を表す映像音声データとがペアリングされることなく訓練データとして利用される。例えば、本実施例では、ソース話者の発話内容及び／又は感情がターゲット話者の発話内容及び／感情と異なる訓練データが利用されてもよい。
【００６２】
図２５に示されるように、学習装置２００は、話者Ａの映像音声データをニューラルネットワーク構造１に入力し、ニューラルネットワーク構造１から話者Ｂの映像音声データを取得する。学習装置２００は、出力された話者Ｂの映像音声データ又は訓練用の話者Ｂの映像音声データを判別器１に入力し、判別器１から判別結果を取得する。当該判別結果は、入力されたデータがニューラルネットワーク構造１から出力された話者Ｂの映像音声データであるか、あるいは、訓練用の話者Ｂの映像音声データであるかを示す。また、感情コードがニューラルネットワーク構造１に入力されている場合、判別結果は、感情コードを含んでもよい。学習装置２００は、判別器１が正しい判別結果を生成するように判別器１のパラメータを更新すると共に、ニューラルネットワーク構造１と２から出力された話者Ｂの映像音声データと訓練用の話者Ｂの映像音声データとを比較し、誤差が最小となるようにニューラルネットワーク構造１のパラメータを更新する。
【００６３】
同様に、学習装置２００は、話者Ｂの映像音声データをニューラルネットワーク構造２に入力し、ニューラルネットワーク構造２から話者Ａの映像音声データを取得する。学習装置２００は、出力された話者Ａの映像音声データ又は訓練用の話者Ａの映像音声データを判別器２に入力し、判別器２から判別結果を取得する。当該判別結果は、入力されたデータがニューラルネットワーク構造２から出力された話者Ａの映像音声データであるか、あるいは、訓練用の話者Ａの映像音声データであるかを示す。また、感情コードがニューラルネットワーク構造２に入力されている場合、判別結果は、感情コードを含んでもよい。学習装置２００は、判別器２が正しい判別結果を生成するように判別器２のパラメータを更新すると共に、ニューラルネットワーク構造１と２から出力された話者Ａの映像音声データと訓練用の話者Ａの映像音声データとを比較し、誤差が最小となるようにニューラルネットワーク構造２のパラメータを更新する。
【００６４】
終了条件を充足するまで、学習装置２００は、上述したニューラルネットワーク構造１，２及び判別器１，２を学習する。終了条件としては、例えば、所定数の訓練データに対して学習処理を完了したこと、誤差が所定の閾値以下になったこと、誤差が収束したことなどであってもよい。
【００６５】
ここで、ニューラルネットワーク構造１，２は、上述した図１９〜２２に示されるようなレイヤ構成により実現されてもよい。
【００６６】
以上、本発明の実施例について詳述したが、本発明は上述した特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【符号の説明】
【００６７】
１００  話者変換装置
２００  学習装置
【図１】
2020091338.tif 000003
【図２】
2020091338.tif 000004
【図３】
2020091338.tif 000005
【図４】
2020091338.tif 000006
【図５】
2020091338.tif 000007
【図６】
2020091338.tif 000008
【図７】
2020091338.tif 000009
【図８】
2020091338.tif 000010
【図９】
2020091338.tif 000011
【図１０】
2020091338.tif 000012
【図１１】
2020091338.tif 000013
【図１２】
2020091338.tif 000014
【図１３】
2020091338.tif 000015
【図１４】
2020091338.tif 000016
【図１５】
2020091338.tif 000017
【図１６】
2020091338.tif 000018
【図１７】
2020091338.tif 000019
【図１８】
2020091338.tif 000020
【図１９】
2020091338.tif 000021
【図２０】
2020091338.tif 000022
【図２１】
2020091338.tif 000023
【図２２】
2020091338.tif 000024
【図２３】
2020091338.tif 000025
【図２４】
2020091338.tif 000026
【図２５】
2020091338.tif 000027