(57)【特許請求の範囲】
【請求項１】
予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片として収録した動画素片記憶手段と、
各々の前記動画素片に対応した音声素片を収録した音声素片記憶手段と、
音声入力に応じて音声信号を認識して文字コードを生成して、該文字コードからテキスト文を作成し、または文字入力に応じてテキスト文を作成するテキスト文作成手段と、
前記テキスト文に対応して、前記動画素片記憶手段に収録された前記動画素片の中から必要な動画素片を選択する動画素片検索手段と、
該動画素片検索手段で選択された動画素片の各々の接合部分の映像の動きベクトルを検出する動きベクトル検出手段と、
前記動きベクトルに基づいて、前記動画素片検索手段で選択された動画素片を、各々の動画素片の接合部分において内挿するフィールドの枚数と内挿位置を可変にすることで、前記各々の動画素片の接合部分をスムーズにすることを可能とするフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成するフィールド内挿手段と、
前記動画素片検索手段で選択された動画素片に対応した音声素片を前記音声素片記憶手段に蓄えられている音声素片の中から選択する音声素片検索手段と、
該音声素片検索手段で選択された複数の音声素片を接続して合成音声を生成する際に、各々の音声素片を接続する際の不連続による音質劣化を防ぎ、原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセントを付加して音声の合成を行う音声合成手段と、
該音声合成手段で合成された一連の合成音声を、前記フィールド内挿手段で合成された前記一連の動画に同期させて出力させる音声映像同期手段と
を具備することを特徴とする視覚的に聴覚を補助するシステム。
【請求項２】
前記フィールド内挿手段は、前記各々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分においてフィールド数を減じる内挿を行い、これにより全体のフィールド数を一定に保つことを可能とすることを特徴とする請求項１に記載の視覚的に聴覚を補助するシステム。
【請求項３】
前記フィールド内挿手段は、唇の動きを表した一連の動画を合成する際、映像と音声のズレが人の検知限の範囲内にあるように、映像の内挿位置を設定することにより、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えることを可能とすることを特徴とする請求項１または２に記載の視覚的に聴覚を補助するシステム。
【請求項４】
予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片として記憶手段に収録し、各々の前記動画素片に対応した音声素片を前記記憶手段に収録する記憶ステップと、
入力される音声信号を認識して文字コードを生成して、該文字コードからテキスト文を作成し、または文字入力に応じてテキスト文を作成する作成ステップと、
前記テキスト文に対応して、前記記憶手段に収録された前記動画素片の中から、必要な動画素片を選択する動画素片検索ステップと、
該動画素片検索ステップで選択された動画素片の各々の接合部分の映像の動きベクトルを検出する検出ステップと、
前記動きベクトルに基づいて、前記動画素片検索ステップで選択された動画素片を、各々の動画素片の接合部分において内挿するフィールドの枚数と内挿位置を可変にすることで、前記各々の動画素片の接合部分をスムーズにすることを可能とするフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成する内挿ステップと、
前記動画素片検索ステップで選択された動画素片に対応した音声素片を前記記憶手段の中から選択する音声素片検索ステップと、
該音声素片検索ステップで選択された複数の音声素片を接続して合成音声を生成する際に、各々の音声素片を接続する際の不連続による音質劣化を防ぎ、原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセントを付加して音声の合成を行う合成ステップと、
該合成ステップで合成された一連の合成音声を、前記内挿ステップで合成された前記一連の動画に同期させて出力させるステップと
を備えたことを特徴とする視覚的に聴覚を補助する方法。
【請求項５】
前記内挿ステップは、前記各々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分において、フィールド数を減じる内挿を行い、これにより全体のフィールド数を一定に保つことを可能とすることを特徴とする請求項４に記載の視覚的に聴覚を補助する方法。
【請求項６】
前記内挿ステップは、唇の動きを表した一連の動画を合成する際、映像と音声のズレが人の検知限の範囲内にあるように、映像の内挿位置を設定することにより、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えることを可能とすることを特徴とする請求項４または５に記載の視覚的に聴覚を補助する方法。
【請求項７】
コンピュータによって視覚的に聴覚を補助するための制御プログラムを記録した記録媒体であって、該制御プラグラムはコンピュータに、
予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片として記憶手段に収録させ、各々の前記動画素片に対応した音声素片を前記記憶手段に収録させ、
入力する音声信号を認識させて文字コードを生成させ、該文字コードからテキスト文を作成させ、または文字入力に応じてテキスト文を作成させ、
該テキスト文に対応して、前記記憶手段に収録された前記動画素片の中から、必要な動画素片を選択させ、
該選択された各動画素片の各々の接合部分の映像の動きベクトルを検出させ、
該検出された動きベクトルに基づいて、前記選択された動画素片を、個々の動画素片の接合部分において内挿するフィールドの枚数と内挿位置を可変にさせ、前記各々の動画素片の接合部分をスムーズにさせるフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成させ、
前記選択された動画素片に対応した音声素片を前記記憶手段の中から選択させ、
選択された複数の音声素片を接続して合成音声を生成する際に、各々の音声素片を接続する際の不連続による音質劣化を防ぎ、原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセント等を付加して音声の合成を行わせ、
前記選択された複数の音声素片が接続された一連の合成音声を、前記一連の動画に同期させて出力させる
ことを特徴とする視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【請求項８】
前記制御プログラムはコンピュータに、
前記各々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分においてフィールド数を減じる内挿を行わせて、これにより全体のフィールド数を一定に保たせることを特徴とする請求項７に記載の視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【請求項９】
前記制御プログラムはコンピュータに、
唇の動きを表した一連の動画を合成する際、映像と音声のズレが人の検知限の範囲内にあるように、映像の内挿位置を設定させて、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えさせることを特徴とする請求項７または請求項８に記載の視覚的に聴覚を補助するための制御プログラムを記録した記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、視覚的に聴覚を補助するシステムおよび方法並びに視覚的に聴覚を補助するための制御プログラムを記録した記録媒体に関し、特に映像と音を有するメディア（例えば、テレビジョン、ＶＴＲ（ビデオ・テープ・レコーダ）、ＤＶＤ（ディジタル・ビデオ・ディスク）のような映音記録メディア、コンピュータ上での動画音響再生等）や医療機器等、及びテレビ電話等の通信機器等において、加齢ないしは、何らかの聴覚的な障害により、ヒアリングロス（難聴）が生じた者に対し、音声情報に併せて、唇の動き（リップリーディングを行うため）や手話などの視覚情報をマルチモーダル的に提示することにより、その音声情報をより理解しやすくする技術に関する。
【０００２】
本発明により、唇の動きや手話などの動画を高品質に生成するため、単音節、あるいは単語、あるいは文章を発声したもしくは表現した、唇の動きや手話などの幾つかの動画素片（ここで、単音節、単語、あるいは文章を発声した唇の動きや、それらを表現した手話の動き等のそれぞれを動画素片と呼ぶこととする）を基に自然性を保ったまま、唇の動きや手話などの動画像を合成することが可能となる。また、本発明を用いれば、例えば放送番組プログラムの編集等においても、幾つかの動画素片から、自然性を保ったまま高品質に、一連の動画を合成する等の利用分野への適用も可能となる。
【０００３】
【従来の技術】
現在、この種の視覚的に聴覚を補助する方法としては、発生する音声の内容に応じて自動的に高品質に唇の動き映像や手話映像を合成して表示することが困難であったため、直接、アナウンサーや手話通訳者などの健聴者がその伝達すべき内容を喋り、唇を動かしたり、手話を実際に行うなどの人海戦術に頼っている。
【０００４】
一方、唇の動き等を数式によりモデル化し、１枚づつ映像を合成して、アニメーションにする研究も進められている（文献１：Takaaki Kuratate（倉立尚明）et al．’Facial Animation from ３Ｄ Kinematics ’（三次元運動学からの顔のアニメーション）、日本音響学会講演論文集、１−Ｐ−１０、ｐｐ３２３〜３２４、平成９年９月、など）。手話に関しても、基本的には唇の動きを表現したアニメーションの場合と同様で、各関節における動きをモデル化し、１枚ずつ映像を合成して、アニメーションにする研究も進められている（文献２：池田健  他・NEWS・「手話音声対話支援システムの初期バージョンを開発」、電子情報通信学会誌、ｐｐ．１００１、Ｖｏｌ．８０、Ｎｏ．９  １９９７、など）。
【０００５】
【発明が解決しようとする課題】
加齢ないしは何らかの聴覚的な障害により、聞こえ（聴覚）の低下した者にとって、唇の動きを表した映像（リップリーデイングを行うため）や手話を表現した映像などの聴覚特性の劣化を補う視覚情報を、音声情報に併せてマルチモーダル的に提示されれば、その音声情報の理解がより向上する。
【０００６】
しかしながら、従来技術では、これらの視覚的に聴覚を補助する動画を高品質に合成することが困難であり、そのため上述のように直接、人がその内容を喋り、唇を動かしたり、手話を実際的に行うなど、人海戦術に頼っている。
【０００７】
また上述のように、一部、唇の動きや手話等を数式によりモデル化し、１枚づつ映像を合成して、アニメーションにする研究も進められている（上記の文献１、文献２など）が、この様な従来手法では、モデル化により１枚づつ映像を合成し、アニメーション化するために、１枚の映像を合成するのに多くの時間を要し、また、現段階において、唇の動きや手話等のモデル化が完全ではなく、唇の動きや手話等の動きに自然性が欠ける等の解決すべき課題がある。また、唇の動きを表現したアニメーション等においては、音声と唇の動きのリップシンク（唇の映像と音声の再生時刻を一致させる）を取ることが難しく、アニメーション化するにあたり、このリップシンクの部分に多くの時間を費やしているという解決すべき課題がある。
【０００８】
本発明の目的は、従来技術の上述のような課題を解決し、自動的に唇の動きや手話などの動画を自然の滑らかさで高品質に、かつ効率よく生成することのできる視覚的に聴覚を補助するシステムおよび方法並びに視覚的に聴覚を補助するための制御プログラムを記録した記録媒体を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、具体的には、予め唇の動きや手話の動きを実際に撮影した映像を、単音節、あるいは単語、あるいは文章ごとに動画素片として収録し、データべースとして記憶手段に蓄積しておく。これらの動画素片を映像の流れに自然性を保ったまま、つなぎ合わせて合成することで、高品質に視覚情報を提示可能とする。また、個々の動画素片の接合部分において内挿するフィールド数について、映像の動きべクトルの値に応じて、内挿する枚数と内挿位置を可変にすることで、動画素片のつなぎ合わせ部分をよりスムーズにすることを可能とする。この場合、映像と音声のズレの検知限（文献３：赤井田卓郎他「リップシンク〜映像と音声のタイミング〜」、ＮＨＫ技研だより、１１〜１８頁、１９９７年５月参照）の範囲内にあるように、映像の内挿位置を設定でき、合成映像と音声のタイミングをリップシンクの検知限以下に抑え、一連の動画を合成することが可能となる。
【００１０】
本発明では、唇の動きや手話の動きを前述した従来のアニメーションにより行った場合に比べて、一連の動画の作成に要する時間が少なく、また、唇の動きや手話等のモデル化の不完全性から起こる唇の動きや手話等の動き等に不自然性がない。また、唇の動きを表現した一連の動画を合成する場合においては、音声と唇の動きのリップシンクを取ることが容易に出来る。
【００１１】
さらに詳しくは、請求項１のシステムの発明は、予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片として収録した動画素片記憶手段と、各々の前記動画素片に対応した音声素片を収録した音声素片記憶手段と、音声入力に応じて音声信号を認識して文字コードを生成して、該文字コードからテキスト文を作成し、または文字入力に応じてテキスト文を作成するテキスト文作成手段と、前記テキスト文に対応して、前記動画素片記憶手段に収録された前記動画素片の中から必要な動画素片を選択する動画素片検索手段と、該動画素片検索手段で選択された動画素片の各々の接合部分の映像の動きベクトルを検出する動きベクトル検出手段と、前記動きベクトルに基づいて、前記動画素片検索手段で選択された動画素片を、各々の動画素片の接合部分において内挿するフィールドの枚数と内挿位置を可変にすることで、前記各々の動画素片の接合部分をスムーズにすることを可能とするフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成するフィールド内挿手段と、前記動画素片検索手段で選択された動画素片に対応した音声素片を前記音声素片記憶手段に蓄えられている音声素片の中から選択する音声素片検索手段と、該音声素片検索手段で選択された複数の音声素片を接続して合成音声を生成する際に、各々の音声素片を接続する際の不連続による音質劣化を防ぎ、原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセントを付加して音声の合成を行う音声合成手段と、該音声合成手段で合成された一連の合成音声を、前記フィールド内挿手段で合成された前記一連の動画に同期させて出力させる音声映像同期手段とを具備することを特徴とする。
【００１２】
更に、前記フィールド内挿手段は、前記各々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分においてフィールド数を減じる内挿を行い、これにより全体のフィールド数を一定に保つことを可能とすることができる。
【００１３】
更に、前記フィールド内挿手段は、唇の動きを表した一連の動画を合成する際、映像と音声のズレが人の検知限の範囲内にあるように、映像の内挿位置を設定することにより、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えることを可能とすることができる。
【００１４】
請求項４の方法の発明は、予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片として記憶手段に収録し、各々の前記動画素片に対応した音声素片を前記記憶手段に収録する記憶ステップと、入力される音声信号を認識して文字コードを生成して、該文字コードからテキスト文を作成し、または文字入力に応じてテキスト文を作成する作成ステップと、前記テキスト文に対応して、前記記憶手段に収録された前記動画素片の中から、必要な動画素片を選択する動画素片検索ステップと、該動画素片検索ステップで選択された動画素片の各々の接合部分の映像の動きベクトルを検出する検出ステップと、前記動きベクトルに基づいて、前記動画素片検索ステップで選択された動画素片を、各々の動画素片の接合部分において内挿するフィールドの枚数と内挿位置を可変にすることで、前記各々の動画素片の接合部分をスムーズにすることを可能とするフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成する内挿ステップと、前記動画素片検索ステップで選択された動画素片に対応した音声素片を前記記憶手段の中から選択する音声素片検索ステップと、該音声素片検索ステップで選択された複数の音声素片を接続して合成音声を生成する際に、各々の音声素片を接続する際の不連続による音質劣化を防ぎ、原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセントを付加して音声の合成を行う合成ステップと、該合成ステップで合成された一連の合成音声を、前記内挿ステップで合成された前記一連の動画に同期させて出力させるステップとを備えたことを特徴とする。
【００１５】
更に、前記内挿ステップは、前記各々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、該動画素片の隣と隣接しない中間部分において、フィールド数を減じる内挿を行い、これにより全体のフィールド数を一定に保つことを可能とすることができる。
【００１６】
更に、前記内挿ステップは、唇の動きを表した一連の動画を合成する際、映像と音声のズレが人の検知限の範囲内にあるように、映像の内挿位置を設定することにより、一連の動画と音声のタイミングのズレをリップシンクの検知限以下に抑えることを可能とすることができる。
【００１７】
請求項７の記録媒体の発明は、コンピュータによって視覚的に聴覚を補助するための制御プログラムを記録した記録媒体であって、該制御プラグラムはコンピュータに、予め唇の動きや手話の動きなどの視覚情報を撮影した映像を、単音節、あるいは単語、あるいは文章ごとにそれぞれ動画素片として記憶手段に収録させ、各々の前記動画素片に対応した音声素片を前記記憶手段に収録させ、入力する音声信号を認識させて文字コードを生成させ、該文字コードからテキスト文を作成させ、または文字入力に応じてテキスト文を作成させ、該テキスト文に対応して、前記記憶手段に収録された前記動画素片の中から、必要な動画素片を選択させ、該選択された各動画素片の各々の接合部分の映像の動きベクトルを検出させ、該検出された動きベクトルに基づいて、前記選択された動画素片を、個々の動画素片の接合部分において内挿するフィールドの枚数と内挿位置を可変にさせ、前記各々の動画素片の接合部分をスムーズにさせるフィールド内挿処理により映像の流れに自然性を保ったまま、つなぎ合わせて一連の動画を合成させ、前記選択された動画素片に対応した音声素片を前記記憶手段の中から選択させ、選択された複数の音声素片を接続して合成音声を生成する際に、各々の音声素片を接続する際の不連続による音質劣化を防ぎ、原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセント等を付加して音声の合成を行わせ、前記選択された複数の音声素片が接続された一連の合成音声を、前記一連の動画に同期させて出力させることを特徴とする。
【００１８】
【発明の実施の形態】
以下、本発明の実施の形態を詳細に説明する。
【００１９】
なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明の目的は、以下に説明する実施の形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し、実行することによっても、達成される。この場合、記録媒体から読み出されたプログラムコード自体が以下に説明する実施の形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。そのプログラムコードを記録し、また、データベース部やテーブル等の変数データを記録する記録媒体としては、例えばフロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いことができる。
【００２０】
本発明の一実施形態の視覚的聴覚補助システムについて、機能ブロックごとの処理の流れに沿って説明する。動画素片、及び合成映像はハイビジョン、ＮＴＳＣ、ＰＡＬ等の各種テレビジョン方式に適応可能であるが、代表例としてハイビジョン（高品位テレビジョン、高精細度テレビジョン）についての場合を示す。なお、各機能ブロックの対応関係が分かり易いように、機能ブロックごとに符号を付して説明する。
【００２１】
（Ｓ１）まず、準備工程として、単音節、もしくは単語、もしくは文章等を発声した唇の動き等を撮影した動画素片をデータべースとして動画素片データベース部４に予め蓄えておく。更に詳しくは、この動画素片データベース部４は単音節、もしくは単語、もしくは文章毎の文字コード（テキスト文）とその文字コードに対応する動画素片をセットにして予め記憶する。ここで、単音節、単語、あるいは文章を発声した唇の動きや、それらを表現した手話の動き等のそれぞれを動画素片と呼ぶこととする。手話等の映像を合成するには、単音節、もしくは単語、もしくは文章等を表現した手話映像を動画素片として動画素片データベース部４に蓄えておく。
【００２２】
（Ｓ２）上記Ｓ１の工程で動画素片データベース部４に予め蓄えた、単音節、単語、もしくは文章等を発声した唇の動きを表した動画素片に対応した音声、または、単音節、単語、もしくは文章等を表現した手話映像の動画素片に対応した音声を音声素片データベース部１２に予め蓄えておく。これらの動画素片に対応したそれぞれの音声を音声素片と呼ぶこととする。
【００２３】
（Ｓ３）そして、使用時には、マイクロホンや受信機等の音声入力手段から入力するアナログ入力音（音声）をＡ／Ｄ（アナログ・ディジタル）変換部１によりＡ／Ｄ変換（１６ビット、４８ｋＨｚサンプル）する。
【００２４】
（Ｓ４）ディジタル信号に変換された入力音声を音声認識部２において単音節、あるいは単語、あるいは文章毎に認識する。認識されたそれぞれの音声を音声素片と呼ぶことにする。
【００２５】
（Ｓ５）入力した音声素片からテキスト文をテキスト文作成部３において作成し、文字コード化を行う。ここで、予めテキスト文として、入力可能な場合（例えば、一部のテレビ番組等）には、キーボードや文字認識装置（ＯＣＲ）等の文字入力手段から文字コードとしてテキスト文作成部３を通じて装置内に入力する。
【００２６】
（Ｓ６）テキスト文作成部３から転送されるテキスト文（文字コード）に従って、そのテキスト文に対応する動画素片を動画素片データベース部４に蓄えられている動画素片の中から動画素片検索部５により検索し、検索した適切な動画素片を前処理部６へ転送する。動画素片検索部５は、この検索の順番として、まずテキスト文に適合した文章等を発声した（または手話を表現した）動画素片が、動画素片データベース部４内にあるか否かを検索する。無い場合には、単語を発声した（または手話を表現した）動画素片があるかどうか検索する。その動画素片が動画素片データベース部４内に無い場合には、動画素片検索部５は、単音節を発声した（または手話を表現した）動画素片を動画素片データベース部４内から検索する。
【００２７】
（Ｓ７）上記Ｓ６の工程で得られた動画素片に対応した音声素片を音声素片データベース部１２から音声素片検索部１３により選択し、例えば特開平２−４７７００号公報等に開示されている公知の音声合成方法により、その選択された音声素片を接続して合成音声を作り、生成した合成音声を音声出力バッファ１４へ転送する。
【００２８】
上記特開平２−４７７００号公報に記載された音声合成方法は、出力音声情報に基づき単位音声情報および韻律情報を定め、予め記憶された単位音声データの中から上記定められた単位音声情報に基づき、当該単位音声に対応する単位音声データ（上記音声素片に相当）を選択し、当該選択された単位音声データからピッチ周期、スペクトル包絡、ホルマント軌跡および単位音声波形の各々を算出または抽出し、当該算出または抽出された単位音声波形を接続するため、および上記韻律情報を付加するために、上記算出または抽出されたピッチ周期を変更し、当該変更されたピッチ周期においてピッチ変更によるスペクトル包絡を算出し、該ピッチ変更によるスペクトル包絡と上記算出または抽出されたスペクトル包絡とに基づき第１のスペクトル変化分を算出し、上記算出または抽出された単位音声波形を接続するために上記算出または抽出されたホルマント軌跡を変更し、当該変更されたホルマント軌跡に基づいてホルマント変更によるスペクトル包絡を算出し、該ホルマント変更によるスペクトル包絡と前記算出または抽出されたスペクトル包絡に基づき第２のスペクトル変化分を算出し、上記第１および第２のスペクトル変化分に基づき上記ピッチ周期の変更にかかる単位音声波形のスペクトル包絡を変更し、当該スペクトル包絡を変更した上記単位音声波形を接続した後、接続された音声を出力することを特徴としている。以上の手順により、この音声合成方法によれば、予め記憶された単位音声を接続する際の不連続による音質劣化を防ぎ原音声の持っている自然性や個人性に影響を与えずにイントネーションやアクセント等を付加して音声の合成ができる。
【００２９】
（Ｓ８）次に、動画素片検索部５から転送された動画素片に対する動きべクトル検出・割付のための前処理を前処理部６で行う。具体的には、前処理部６において、動画素片の映像信号を例えばインターレースの１１２５／６０／２：１からノンインターレースの６５２／６０／１：１に変換する。前処理部６で前処理を施された映像信号は動き検出部７とベクトル検出割り付け部８とに送られる。
【００３０】
（Ｓ９）動き検出部７では、例えば、勾配法に基づく初期偏位べクトル（例えば、候補べクトル８種、ブロックサイズ：８画素、８ライン）を用いた反復勾配法（例えば、最大反復回数：２回、ブロックサイズ：８画素、８ライン）により、映像の動きべクトルを求める。
【００３１】
（Ｓ１０）ベクトル検出割り付け部８では、入力画像と時間的タイミングの異なるフィールドを新たに内挿するため、入力映像信号から動き検出部７で検出した上記動きべクトルを、新たに内挿するフィールド上に割り当てる。
【００３２】
（Ｓ１１）動画素片検出部５から送られてくる動画素片の入力映像に対して、後述する動画素片の合成手法に従って、任意の時間位置のフィールドをフィールド内挿部９において内挿する。すなわち、フィールド内挿部９は、ベクトル検出割り付け部８から割り当てられた各動画素片の接合部分の映像の動きべクトルの値に応じて、個々の動画素片の接合部分において内挿するフィールドの枚数とその内挿位置を可変にすることで、動画素片のつなぎ合わせ部分をよりスムーズにする。
【００３３】
（Ｓ１２）具体的には、動き検出部７において、動きべクトルがある一定値以下（動画の種類にも依存するが、例えば、フィールド間で、ある画素の移動量が５０画素）の場合には、動画素片の隣接した２枚（ある動画素片の最後の映像＋次の動画素片の最初の映像）のフィールドにより映像素片の合成を行う。
【００３４】
一方、動き検出部７において、動きべクトルがある値以上の場合には、映像の流れが不自然にならないように、隣接した４枚もしくはそれ以上の複数枚のフィールドから映像素片の合成を行う。動画の種類にも依存するが、例えば、フィールド間で、ある画素の移動量が５０〜７０画素の場合には隣接した４枚のフィールドを用い、７０画素以上の場合には隣接した６枚もしくはそれ以上の枚数のフィールドを用いる。
【００３５】
例えば、ある動画素片の最後の映像が唇が閉じていて、その次に来る動画素片の最初の映像が唇が開いている場合、隣接した２枚（ある動画素片の最後の映像＋次の動画素片の最初の映像）のフィールドのみで中間の映像を内挿しようとすると、映像の流れが不自然になることがある。そこで、映像の動きべクトルが、ある一定値以上の時、隣接した４枚もしくはそれ以上の複数枚のフィールドから、中間の内挿位置の映像を作り出し、映像の流れをスムーズにする。
【００３６】
更に、個々の動画素片の接合部分の映像の流れに自然性を保たせるため、隣り合う動画素片の接合部分に内挿する幾枚かのフィールドの枚数に対応して、当該動画素片の隣と隣接しない中間部分において、フィールド数を減じる内挿を行い、全体のフィールド数を一定に保つ。
【００３７】
（Ｓ１３）フィールド内挿部９で上記のようにフィールド内挿処理を施された映像信号はＤ／Ａ変換部１０へ送られてアナログ信号化され、合成した唇の動き映像、もしくは手話映像としてモニターへ出力される。一方、音声出力バッファ１４から読み出された音声信号もＤ／Ａ変換部１１へ送られてアナログ信号化され、音声出力としてスピーカへ出力される。この時、映像のＤ／Ａ変換部１０と音のＤ／Ａ変換部１１とを同期し、音声情報に併せ、合成映像を出力する。
【００３８】
以上の処理により、本発明によれば、ごく自然でスムーズな合成映像と、良好なリップシンクをとる（映像と音声の再生時刻を一致させる）ことができる。
【００３９】
次に、本実施形態の視覚的聴覚補助システムで実行される本発明に係る動画素片の合成手法の第１の具体例を示す。第１の具体例では、隣接した２枚（ある動画素片の最後の映像＋次の動画素片の最初の映像）のフィールドのみで中間の映像を内挿する場合を示す。第１の具体例では、７フィールドからなる動画素片（動画素片ａ）の次に９フィールドからなる動画素片（動画素片ｂ）、次に８フィールドからなる動画素片（動画素片ｃ）、・・・の順番で動画素片を合成し、一連の動画をつくり出す場合である。
【００４０】
（ｔ１）動画素片ａの第１フィールドをそのまま用いる。
【００４１】
（ｔ２）動画素片ａの第２、３、４、５、６フィールドの５枚の映像を基に４枚に映像を合成する（２′、３′、４′、５′フィールド）。
【００４２】
（ｔ３）動画素片ａの第７フィールドと動画素片ｂの第１フィールドから、３枚の映像を合成する（６′、７′、１′フィールド）。
【００４３】
（ｔ４）動画素片ｂの第２、３、４、５、６、７、８フィールドの７枚の映像を基に６枚に映像を合成する（２′、３′、４′、５′、６′、７′フィールド）。
【００４４】
（ｔ５）動画素片ｂの第９フィールドと動画素片ｃの第１フィールドから、３枚の映像を合成する（８′、９′、１′フィールド）。
【００４５】
（ｔ６）以下、同様にして一連の動画を合成していく。
【００４６】
本実施形態の視覚的聴覚補助システムで実行される本発明に係る動画素片の合成手法の第２の具体例を示す。第２の具体例では、映像の動きべクトルが、ある一定値以上で、映像の流れが不自然にならないように、隣接した４枚もしくはそれ以上の複数枚のフィールドから、中間の内挿位置の映像を作り出す場合を示す。動画素片ａから動画素片ｂにかけては隣接する４枚の映像から合成する場合、動画素片ｂから動画素片ｃにかけては隣接する６枚の映像から一連の動画をつくり出す場合を示す。
【００４７】
（Ｔ１）動画素片ａの第１フィールドをそのまま用いる。
【００４８】
（Ｔ２）動画素片ａの第２、３、４、５フィールドの４枚の映像を基に３枚の映像を合成する（２′、３′、４′フィールド）。
【００４９】
（Ｔ３）動画素片ａの第６、７フィールドと動画素片ｂの第１、２フィールドの４枚の映像から、５枚の映像を合成する（５′、６′、７′、１′、２′フィールド）。
【００５０】
（Ｔ４）動画素片ｂの第３、４、５、６フィールドの４枚の映像を基に３枚の映像を合成する（３′、４′、５′フィールド）。
【００５１】
（Ｔ５）動画素片ｂの第７、８、９フィールドと動画素片ｃの第１、２、３フィールドの６枚の映像を基に、７枚の映像を合成する（６′、７′、８′、９′、１′、２′、３′フィールド）。
【００５２】
（Ｔ６）以下、同様にして一連の動画を合成していく。
【００５３】
上述したように、動画素片の合成部分において内挿するフィールド数について、映像の動きべクトルの値に応じて、内挿する枚数と内挿位置を可変にすることにより、つなぎ合わせ部分をより滑らかにすることが可能となる。また、本手法により、合成する映像の内挿位置が原画と比べて±１フィールド以下となる。本実施形態においては、音声は原画と同じタイミングで合成されるので、映像と音声のズレの検知限（映像に対して音声の進みが１．４フレーム、映像に対して音声の遅れが３．７フレーム：上記の文献３を参照）の範囲内に設定でき、合成映像と音声のタイミングをリップシンクの検知限以下に抑え、一連の動画を合成することが可能となる。
【００５４】
次に、本発明に係る、フィールドの内挿位置の決め方を示す。以下、この例にそって説明する。
【００５５】
原画のフィールド数：Ｍ、合成するフィールド数：Ｎとし、第３の具体例は、Ｍ≦Ｎの場合、第４の具体例は、Ｍ＞Ｎの場合について説明する。この両者の内挿位置の決定方法は同一であり、以下に示す手順で内挿位置を決定する。
【００５６】
（ａ）原画のフィールドを、Ｏ1 、Ｏ2 、…、Ｏi 、Ｏi+1 、…、Ｏm とする。
【００５７】
（ｂ）合成するフィールドを、Ｃ1 、Ｃ2 、…、Ｃj 、Ｃj+1 、…、Ｃn とする。
【００５８】
（ｃ）各フレームＣj に対して、次式（１）
【００５９】
【数１】
0003766534.tif 000002
【００６０】
を満足するｉをｉopt とし、フレームＣj は入力フレームＯ(iopt)-1とＯioptの間に位置するものと考える。
【００６１】
この時、Ｏ(iopt)-1からの内挿位置（Ｐj ）を次式（２）より演算して与える。
【００６２】
【数２】
0003766534.tif 000003
【００６３】
（ｄ）以上の内挿処理を、第１及び第２の具体例として示した映像素片の合成手法に従って、映像を合成していく。
【００６４】
【発明の効果】
以上説明したように、本発明によれば、映像を伴ったメディア（例えば、テレビジョン、ＶＴＲ、ＤＶＤのような映像音声記録メディア、コンピュータ上での動画再生等）や医療機器等、及びテレビ電話等の通信機器等において、加齢ないしは、何らかの聴覚的な障害により、ヒアリングロス（難聴）が生じた者に対し、音声情報に併せて、唇の動き（リップリーディングを行うため）や手話などの視覚情報をマルチモーダル的に映像で提示することにより、その音声情報の内容をより正確に理解しやすくすることが可能となる。
【００６５】
特に、本発明によれば、動画素片を映像の流れに自然性を保ったまま、つなぎ合わせて合成することで、高品質に視覚情報を提示可能とし、また、個々の動画素片の接合部分において内挿するフィールド数について、映像の動きべクトルの値に応じて、内挿する枚数と内挿位置を可変にすることで、動画素片のつなぎ合わせ部分をよりスムーズにすることを可能とする。この場合、映像の内挿位置を原画と比べて映像と音声のズレの検知限（文献３）の範囲内に設定でき、合成映像と音声のタイミングをリップシンクの検知限以下に抑え、一連の動画を合成することが可能となる。また、本発明によれば、唇の動きや手話の動きを前述した従来のアニメーションにより行った場合に比べて、一連の動画の作成に要する時間が少なく、また、唇の動きや手話等のモデル化の不完全性から起こる唇の動きや手話等の動き等に不自然性がない。また、唇の動きを表現した一連の動画を合成する場合においては、音声と唇の動きのリップシンクを取ることが容易に出来る。
【００６６】
更にまた、本発明を用いれば、例えば放送番組プログラムの編集等においても、幾つかの動画素片から、自然性を保ったまま高品質に、一連の動画を合成する等の利用分野への適用も可能となる。