(57)【要約】【課題】会議中の発言者の感情に対応して、音声からテキストへの変換精度を上げることのできる会議支援装置を提供する。【解決手段】会議参加者の中の発言者の音声を集音するマイクロフォン１０３と、人の感情に対応した音声認識モデルを記憶した記憶部（ＲＡＭ１２またはＨＤＤ１４）と、カメラ１０２の映像から発言者の感情を認識し、認識した感情に対応した音声認識モデルを使用して発言者の音声をテキストに変換する制御部（ＣＰＵ１１）と、を有する、会議支援装置１。【選択図】図１
2020181022.tif 000002
【特許請求の範囲】
【請求項１】
会議参加者の中の発言者の音声が入力される音声入力部と、
人の感情に対応した音声認識モデルを記憶した記憶部と、
前記発言者の感情を認識し、認識した感情に対応した前記音声認識モデルを使用して前記発言者の前記音声をテキストに変換する制御部と、
変換されたテキストを出力する出力部と、
を有する、会議支援装置。
【請求項２】
前記会議参加者を撮影した映像が入力される映像入力部を有し、
前記制御部は、前記映像から前記発言者を特定し、
特定した前記発言者の感情を認識する、請求項１に記載の会議支援装置。
【請求項３】
前記制御部は、前記映像から前記発言者の感情を認識する、請求項２に記載の会議支援装置。
【請求項４】
前記制御部は、ニューラルネットワークを使用して前記映像から前記発言者の感情を認識する、請求項３に記載の会議支援装置。
【請求項５】
前記制御部は、表情記述手法で使用されている動作単位へのパターンマッチングを使用して、前記映像から感情を認識する、請求項３または４に記載の会議支援装置。
【請求項６】
前記制御部は、前記音声から前記発言者の感情を認識する、請求項１に記載の会議支援装置。
【請求項７】
前記制御部は、前記映像から前記発言者の感情を認識した後、前記音声から前記発言者の感情を認識する、請求項２〜５のいずれか１つに記載の会議支援装置。
【請求項８】
前記制御部は、前記音声の音圧レベルを補正してから、前記音声から前記発言者の感情を認識する、請求項６または７に記載の会議支援装置。
【請求項９】
前記制御部は、前記音声の周波数の特徴によって前記音声から前記テキストへの変換結果を変える、請求項１〜８のいずれか１つに記載の会議支援装置。
【請求項１０】
前記音声認識モデルは、複数の感情に対応した音響モデルおよび言語モデルである、請求項１〜９のいずれか１つに記載の会議支援装置。
【請求項１１】
前記記憶部は、怒り、軽蔑、嫌悪感、恐怖、喜び、中立、悲しみ、および驚きのうち少なくともいずれか２つの感情に対応した前記音声認識モデルを記憶している、請求項１〜１０のいずれか１つに記載の会議支援装置。
【請求項１２】
前記制御部は、前記会議参加者からの前記音声認識モデルの変更入力を受けて、認識した感情にかかわらず、変更入力された前記音声認識モデルを使用して前記音声を前記テキストに変換する、請求項１〜１１のいずれか１つに記載の会議支援装置。
【請求項１３】
請求項１に記載の会議支援装置と、
会議支援装置の音声入力部に接続され、発言者の音声を収集するマイクロフォンと、
会議支援装置の出力部に接続され、テキストを表示するディスプレイと、
を有する、会議支援システム。
【請求項１４】
請求項２〜１２のいずれか１つに記載の会議支援装置と、
会議支援装置の音声入力部に接続され、発言者の音声を収集するマイクロフォンと、
会議支援装置の映像入力部に接続され、発言者を撮影するカメラと、
会議支援装置の出力部に接続されテキストを表示するディスプレイと、
を有する、会議支援システム。
【請求項１５】
会議参加者の中の発言者の音声を集音する段階（ａ）と、
前記発言者の感情を認識させる段階（ｂ）と、
前記段階（ａ）で認識した前記発言者の感情に対応した音声認識モデルを使用して、前記段階（ａ）で集音された前記音声をテキストに変換させる段階（ｃ）と、
をコンピューターに実行させるための会議支援プログラム。
【請求項１６】
前記段階（ｂ）は、前記会議参加者を撮影した映像から前記発言者を特定し、特定した前記発言者の感情を認識させる、請求項１５に記載の会議支援プログラム。
【請求項１７】
前記段階（ｂ）は、前記映像から前記発言者を特定し、特定した前記発言者の感情を認識させる、請求項１６に記載の会議支援プログラム。
【請求項１８】
前記段階（ｂ）は、ニューラルネットワークを使用して前記映像から前記発言者の感情を認識させる、請求項１６または１７に記載の会議支援プログラム。
【請求項１９】
前記段階（ｂ）は、表情記述手法で使用されている動作単位へのパターンマッチングを使用して、前記映像から感情を認識させる、請求項１６〜１８のいずれか１つに記載の会議支援プログラム。
【請求項２０】
前記段階（ｂ）は、前記音声から前記発言者の感情を認識させる、請求項１５に記載の会議支援プログラム。
【請求項２１】
前記段階（ｂ）は、前記映像から前記発言者の感情を認識させた後、前記音声から前記発言者の感情を認識させる、請求項１６〜１９のいずれか１つに記載の会議支援プログラム。
【請求項２２】
前記段階（ｂ）は、前記音声の周波数の特徴によって前記音声から前記テキストへの変換結果を変える、請求項１５または２０に記載の会議支援プログラム。
【請求項２３】
前記音声認識モデルは、複数の感情に対応した音響モデルおよび言語モデルである、請求項１５〜２２のいずれか１つに記載の会議支援プログラム。
【請求項２４】
前記音声認識モデルは、怒り、軽蔑、嫌悪感、恐怖、喜び、中立、悲しみ、および驚きのうち少なくともいずれか２つの感情に対応している、請求項１５〜２３のいずれか１つに記載の会議支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、会議支援装置、会議支援システム、および会議支援プログラムに関する。
【背景技術】
【０００２】
従来、離れた位置に存在する人同士が会議をするために、通信を使用したテレビ会議というものが知られている。テレビ会議では画像と音声を双方向にやり取りできる。
【０００３】
テレビ会議においては、発声者の発言を理解しやすくするために、音声をテキストに変換して字幕表示するシステムが知られている。このような音声のテキストへの変換においては、音声認識技術が使用されている。
【０００４】
従来の音声認識技術として、たとえば、特許文献１は、メモリに格納されている外国語音声モデルを、発音類似度データに従って入れ替えることにより、非母国語話者の発声に特有の発音の曖昧さや誤りがあっても、認識精度を向上できるとされている。
【０００５】
また、たとえば、文字認識の分野においては、人の感情変化によって文字認識率を高める技術として、特許文献２がある。特許文献２では、音声入力手段から入力する音声データに基づいて使用者の感情を認識し、認識した感情状態に応じて、手書き文字入力を認識するための辞書を切り替えている。これによって、特許文献２では、使用者の感情状態が不安定で手書き入力が雑になった時に、通常時よりも候補文字の数を増やしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２３０４８５号公報
【特許文献２】特開平１０−２５４３５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、人は感情、たとえば喜怒哀楽によって、声の大きさ高さ、言葉遣いが変わってしまう。上記特許文献１は、非母国語話者の発声に特有の発音の曖昧さや誤りに対して、認識精度を向上させるものである。しかしながら、特許文献１では、そもそも喜怒哀楽による発声の変化は考慮されておらず、人の感情に起因した認識誤差には対応できない。
【０００８】
また、特許文献２は、人の感情状態を考慮しているものの、あくまで文字認識の分野に関する技術であり、しかも、人の感情に合わせて変換文字の候補を増やしているにすぎない。このため、特許文献２は、テレビ会議のように、発声直後に、リアルタイムで音声認識し、それをテキスト化する用途には対応できない。
【０００９】
そこで、本発明の目的は、会議中の発言者の感情に対応して、音声からテキストへの変換精度を上げることのできる会議支援装置、会議支援システム、および会議支援プログラムを提供することである。
【課題を解決するための手段】
【００１０】
本発明の上記目的は、下記の手段によって達成される。
【００１１】
（１）会議参加者の中の発言者の音声が入力される音声入力部と、
人の感情に対応した音声認識モデルを記憶した記憶部と、
前記発言者の感情を認識し、認識した感情に対応した前記音声認識モデルを使用して前記発言者の前記音声をテキストに変換する制御部と、
変換されたテキストを出力する出力部と、
を有する、会議支援装置。
【００１２】
（２）前記会議参加者を撮影した映像が入力される映像入力部を有し、
前記制御部は、前記映像から前記発言者を特定し、
特定した前記発言者の感情を認識する、上記（１）に記載の会議支援装置。
【００１３】
（３）前記制御部は、前記映像から前記発言者の感情を認識する、上記（２）に記載の会議支援装置。
【００１４】
（４）前記制御部は、ニューラルネットワークを使用して前記映像から前記発言者の感情を認識する、上記（３）に記載の会議支援装置。
【００１５】
（５）前記制御部は、表情記述手法で使用されている動作単位へのパターンマッチングを使用して、前記映像から感情を認識する、上記（３）または（４）に記載の会議支援装置。
【００１６】
（６）前記制御部は、前記音声から前記発言者の感情を認識する、上記（１）に記載の会議支援装置。
【００１７】
（７）前記制御部は、前記映像から前記発言者の感情を認識した後、前記音声から前記発言者の感情を認識する、上記（２）〜（５）のいずれか１つに記載の会議支援装置。
【００１８】
（８）前記制御部は、前記音声の音圧レベルを補正してから、前記音声から前記発言者の感情を認識する、上記（６）または（７）に記載の会議支援装置。
【００１９】
（９）前記制御部は、前記音声の周波数の特徴によって前記音声から前記テキストへの変換結果を変える、上記（１）〜（８）のいずれか１つに記載の会議支援装置。
【００２０】
（１０）前記音声認識モデルは、複数の感情に対応した音響モデルおよび言語モデルである、上記（１）〜（９）のいずれか１つに記載の会議支援装置。
【００２１】
（１１）前記記憶部は、怒り、軽蔑、嫌悪感、恐怖、喜び、中立、悲しみ、および驚きのうち少なくともいずれか２つの感情に対応した前記音声認識モデルを記憶している、上記（１）〜（１０）のいずれか１つに記載の会議支援装置。
【００２２】
（１２）前記制御部は、前記会議参加者からの前記音声認識モデルの変更入力を受けて、認識した感情にかかわらず、変更入力された前記音声認識モデルを使用して前記音声を前記テキストに変換する、上記（１）〜（１１）のいずれか１つに記載の会議支援装置。
【００２３】
（１３）上記（１）に記載の会議支援装置と、
会議支援装置の音声入力部に接続され、発言者の音声を収集するマイクロフォンと、
会議支援装置の出力部に接続され、テキストを表示するディスプレイと、
を有する、会議支援システム。
【００２４】
（１４）上記（２）〜（１２）のいずれか１つに記載の会議支援装置と、
会議支援装置の音声入力部に接続され、発言者の音声を収集するマイクロフォンと、
会議支援装置の映像入力部に接続され、発言者を撮影するカメラと、
会議支援装置の出力部に接続されテキストを表示するディスプレイと、
を有する、会議支援システム。
【００２５】
（１５）会議参加者の中の発言者の音声を集音する段階（ａ）と、
前記発言者の感情を認識させる段階（ｂ）と、
前記段階（ａ）で認識した前記発言者の感情に対応した音声認識モデルを使用して、前記段階（ａ）で集音された前記音声をテキストに変換させる段階（ｃ）と、
をコンピューターに実行させるための会議支援プログラム。
【００２６】
（１６）前記段階（ｂ）は、前記会議参加者を撮影した映像から前記発言者を特定し、特定した前記発言者の感情を認識させる、上記（１５）に記載の会議支援プログラム。
【００２７】
（１７）前記段階（ｂ）は、前記映像から前記発言者を特定し、特定した前記発言者の感情を認識させる、上記（１６）に記載の会議支援プログラム。
【００２８】
（１８）前記段階（ｂ）は、ニューラルネットワークを使用して前記映像から前記発言者の感情を認識させる、上記（１６）または（１７）に記載の会議支援プログラム。
【００２９】
（１９）前記段階（ｂ）は、表情記述手法で使用されている動作単位へのパターンマッチングを使用して、前記映像から感情を認識させる、上記（１６）〜（１８）のいずれか１つに記載の会議支援プログラム。
【００３０】
（２０）前記段階（ｂ）は、前記音声から前記発言者の感情を認識させる、上記（１５）に記載の会議支援プログラム。
【００３１】
（２１）前記段階（ｂ）は、前記映像から前記発言者の感情を認識させた後、前記音声から前記発言者の感情を認識させる、上記（１６）〜（１９）のいずれか１つに記載の会議支援プログラム。
【００３２】
（２２）前記段階（ｂ）は、前記音声の周波数の特徴によって前記音声から前記テキストへの変換結果を変える、上記（１５）または（２０）に記載の会議支援プログラム。
【００３３】
（２３）前記音声認識モデルは、複数の感情に対応した音響モデルおよび言語モデルである、上記（１５）〜（２２）のいずれか１つに記載の会議支援プログラム。
【００３４】
（２４）前記音声認識モデルは、怒り、軽蔑、嫌悪感、恐怖、喜び、中立、悲しみ、および驚きのうち少なくともいずれか２つの感情に対応している、上記（１５）〜（２３）のいずれか１つに記載の会議支援プログラム。
【発明の効果】
【００３５】
会議支援装置は、会議中の発言者の感情を認識して、発言者の感情から音声認識に使用する音声認識モデルを変更する。これにより、会議中の発言者の感情に対応して、音声からテキストへの変換精度を上げることができる。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施形態に係る会議支援システムの構成を説明するためのブロック図である。
【図２】会議支援システムによる会議支援の手順を示すフローチャートである。
【図３】音声認識処理を説明するための機能ブロック図である。
【図４】文献「音声に含まれる感情の認識」から抜粋した音声からの感情認識法の概要を示す図である。
【図５Ａ】怒りの感情の時の音声データの補正例を示す音声波形図である。
【図５Ｂ】怒りの感情の時の音声データの補正例を示す音声波形図である。
【図６】３台以上の複数のコンピューターを通信によって接続した会議支援システムの構成を説明する説明図である。
【発明を実施するための形態】
【００３７】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００３８】
なお、図面においては、同一の要素または同一の機能を有する部材には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
【００３９】
図１は、本発明の実施形態に係る会議支援システムの構成を説明するためのブロック図である。
【００４０】
実施形態に係る会議支援システム１は、遠隔地にいる会議参加者が通信によって接続されたテレビ（ディスプレイ）を見ながら会議を行い得る、いわゆるテレビ会議システムである。
【００４１】
会議支援システム１は、第１コンピューター１０と、ネットワーク１００を介して接続された第２コンピューター２０を有する。本実施形態では、第１コンピューター１０および第２コンピューター２０がそれぞれ会議支援装置として機能する。
【００４２】
第１コンピューター１０および第２コンピューター２０には、いずれも、ディスプレイ１０１、カメラ１０２、およびマイクロフォン１０３が接続されている。以下では、第１コンピューター１０および第２コンピューター２０を区別しない場合は、単に、コンピューターと称する。
【００４３】
コンピューターは、いわゆるＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）である。コンピューターの内部構成は、たとえば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１３、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１４、通信インターフェース（ＩＦ（Ｉｎｔｅｒｆａｃｅ））１５、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インターフェース（ＩＦ）などを備える。
【００４４】
ＣＰＵ１１は、プログラムに従って各部の制御や各種の演算処理を行う。したがって、ＣＰＵ１１は、制御部として機能する。
【００４５】
ＲＡＭ１２は、作業領域として一時的にプログラムやデータを記憶する。したがって、ＲＡＭ１２は、記憶部として機能する。
【００４６】
ＲＯＭ１３は、各種プログラムや各種データを記憶する。ＲＯＭ１３もまた、記憶部として機能する。
【００４７】
ＨＤＤ１４は、オペレーティングシステム、会議支援プログラム、および音声認識モデル（詳細後述）のデータなどを記憶している。ＨＤＤ１４に記憶された音声認識モデルは、あとから追加も可能である。したがって、ＨＤＤ１４は、ＲＡＭ１２と共に記憶部として機能する。プログラムやデータは、コンピューターが起動後、必要に応じて、ＲＡＭ１２に読み出されて実行される。なお、ＨＤＤ１４に代えて、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの不揮発性メモリが用いられてもよい。
【００４８】
会議支援プログラムは、第１コンピューター１０および第２コンピューター２０の両方にインストールされている。会議支援プログラムによって実行される機能動作は、どちらも同じである。会議支援プログラムは、人の感情に合わせた音声認識をコンピューターに実行させるためのプログラムである。
【００４９】
通信インターフェース１５は、接続されるネットワーク１００に対応し、データを送受信する。
【００５０】
ネットワーク１００は、たとえば、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、あるいは、ＬＡＮ同士を接続したＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、携帯電話回線、専用回線、ＷｉＦｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）などの無線回線などである。また、ネットワーク１００は、ＬＡＮや、携帯電話回線、ＷｉＦｉによって接続されたインターネットであってもよい。
【００５１】
ＵＳＢインターフェース１６は、ディスプレイ１０１、カメラ１０２、およびマイクロフォン１０３が接続される。ディスプレイ１０１、カメラ１０２、およびマイクロフォン１０３との接続は、ＵＳＢインターフェース１６に限定されない。カメラ１０２、およびマイクロフォン１０３との接続は、それらが備える通信インターフェースや接続インターフェースに合わせて、コンピューター側でも各種インターフェースを用いることができる。
【００５２】
また、コンピューターには、図示しないが、たとえば、マウスといったポインティングデバイスやキーボードが接続されている。
【００５３】
ディスプレイ１０１は、ＵＳＢインターフェース１６により接続されていて、様々映像が映し出される。たとえば、第１コンピューター１０側のディスプレイ１０１では第２コンピューター２０側の参加者が映し出され、第２コンピューター２０側のディスプレイ１０１では第１コンピューター１０側の参加者が映し出される。そのほか、ディスプレイ１０１には、たとえば、画面小窓に自分側の参加者が映し出される。また、ディスプレイ１０１には、発言者の発言内容が字幕として映し出される。したがって、ＵＳＢインターフェース１６は、ＣＰＵ１１の処理によりテキストをディスプレイ１０１に字幕として表示させるための出力部となる。
【００５４】
カメラ１０２は、参加者を撮影し、映像データをコンピューターに入力する。カメラ１０２は、１台でもよいし、参加者を個人ごとに撮影したり、何人かごとに撮影したりするために複数台あってもよい。カメラ１０２からの映像はＵＳＢインターフェース１６によって第１コンピューター１０に入力される。したがって、ＵＳＢインターフェース１６はカメラ１０２からの映像を入力させる映像入力部となる。
【００５５】
マイクロフォン１０３（以下、マイク１０３という）は、参加者の発言（発声）を集音して、電気信号に変換してコンピューターへ入力する。マイク１０３は、会議室内に１台でもよいし、参加者個人ごと、または何人かごとに集音するために複数台あってもよい。マイク１０３からの音声はＵＳＢインターフェース１６によって第１コンピューター１０に入力される。したがって、ＵＳＢインターフェース１６はマイク１０３からの音声を入力させる音声入力部となる。
【００５６】
会議支援システム１による会議支援の手順を説明する。
【００５７】
図２は、会議支援システム１による会議支援の手順を示すフローチャートである。以下では、この手順に基づくプログラムが第１コンピューター１０により実行される場合を説明するが、第２コンピューター２０で実行された場合も同様である。
【００５８】
まず、第１コンピューター１０内のＣＰＵ１１はカメラ１０２から映像データを取得する（Ｓ１１）。以下、この手順の説明では第１コンピューター１０内のＣＰＵ１１を単にＣＰＵ１１という。
【００５９】
続いて、ＣＰＵ１１は映像データから参加者の顔を識別して、参加者の表情から感情を認識する（Ｓ１２）。表情から感情を認識する処理については後述する。
【００６０】
続いて、ＣＰＵ１１は、映像データから発言者を特定するとともに、マイク１０３からの音声データを取得してＲＡＭ１２に記憶する（Ｓ１３）。たとえば、ＣＰＵ１１は、映像データから参加者の顔を認識して、たとえば、１秒以上連続して口が開閉していれば、発言者と特定する。発言者を特定するための時間は、１秒以上に限定されず、口の開閉や人の表情から発言者を特定できる時間であればよい。なお、参加者個人ごとに発言スイッチ付きマイク１０３が用意されている場合、ＣＰＵ１１は、スイッチが入ったマイク１０３の前に居る参加者を発言者として特定してもよい。
【００６１】
Ｓ１２およびＳ１３の処理は、たとえば、以下のように行われる。ＣＰＵ１１は、複数の参加者がいる場合、Ｓ１２において複数の参加者それぞれについて、感情を認識する。その後、ＣＰＵ１１は、Ｓ１３によって発言者を特定し、Ｓ１２で認識されている複数の参加者の感情と特定された発言者とを紐付けする。
【００６２】
Ｓ１２およびＳ１３の各ステップの実行順は、逆順でもよい。逆順の場合、ＣＰＵ１１は、先に発言者を特定（Ｓ１３）し、その後、特定された発言者の感情を認識する（Ｓ１２）。
【００６３】
続いて、ＣＰＵ１１は、発言者の感情に対応する音声認識モデルに切り替える（Ｓ１４）。音声認識モデルは、ＲＡＭ１２に読み込まれており、ＣＰＵ１１は、認識された感情に合わせて、使用する音声認識モデルを切り替える。
【００６４】
リアルタイムでのテキスト変換を行うために、会議支援プログラムが実行開始されたときに、感情ごとの全ての音声認識モデルが、ＨＤＤ１４からＲＡＭ１２に読み込まれていることが好ましい。しかし、音声認識モデルを記憶しているＨＤＤ１４やその他の不揮発性メモリが、リアルタイムでの字幕表示に対応できる程度に高速読み出し可能であれば、Ｓ１４の段階でＨＤＤ１４やその他の不揮発性メモリから、認識された感情に対応した音声認識モデルが読み込まれるようにしてもよい。
【００６５】
続いて、ＣＰＵ１１は、音声認識モデルを使用して音声データをテキストデータに変換する（Ｓ１５）。
【００６６】
続いて、ＣＰＵ１１は、テキストデータのテキストを、第１コンピューター１０のディスプレイ１０１に字幕として表示するとともに、テキストデータを通信インターフェース１５から第２コンピューター２０へ送信させる（Ｓ１６）。通信インターフェース１５は、テキストデータを第２コンピューター２０へ送信する際の出力部となる。第２コンピューター２０は、受信したテキストデータのテキストを自身のディスプレイ１０１に字幕として表示する。
【００６７】
その後、ＣＰＵ１１は、会議支援終了の指示があれば、この手順を終了する（Ｓ１７：ＹＥＳ）。ＣＰＵ１１は、会議支援終了の指示がなければ（Ｓ１７：ＮＯ）、Ｓ１１へ戻り、この手順を継続する。
【００６８】
次に、映像データから参加者の感情を認識する処理について説明する。
【００６９】
人の感情は、表情記述手法により認識することができる。表情記述手法は、既存のプログラムを用いることができる。表情記述手法のプログラムとしては、たとえば、ＦＡＣＳ（Ｆａｃｉａｌ  Ａｃｔｉｏｎ  Ｃｏｄｉｎｇ  Ｓｙｓｔｅｍ）が用いられる。ＦＡＣＳは、動作単位（Ａｃｔｉｏｎ  Ｕｎｉｔ，ＡＵ）にて感情を定義し、人の表情とＡＵとのパターンマッチングで人の感情を認識する。
【００７０】
ＦＡＣＳについては、たとえば、「顔の特徴点を用いた表情解析システム」、中京大学  白井研究室、前田高志、参照URL=http://lang.sist.chukyo-u.ac.jp/Classes/seminar/Papers/2018/T214070_yokou.pdf  に開示されている。
【００７１】
上記文献「顔の特徴点を用いた表情解析システム」の技術によれば、下記表１のＡＵコードが定義され、表２に示すように、表情にＡＵコードが対応することとされている。なお、表１および表２は、上記文献「顔の特徴点を用いた表情解析システム」からの抜粋である。
【００７２】
【表１】
2020181022.tif 000003
【００７３】
【表２】
2020181022.tif 000004
【００７４】
そのほか、ＦＡＣＳの技術は、たとえば、「顔の表情とコンピュータグラフィックス」、新潟大学歯学部附属病院特殊歯科総合治療部等、寺田員人等、参照URL=http://dspace.lib.niigata-u.ac.jp/dspace/bitstream/10191/23154/1/NS_30(1)_75-76.pdf  に開示されている。この開示された技術によれば、４４の動作単位（Ａｃｔｉｏｎ  Ｕｎｉｔ，ＡＵ）にて感情を定義し、ＡＵとのパターンマッチングで感情を認識することができる。
【００７５】
本実施形態では、これらＦＡＣＳの技術を用いて、たとえば、怒り、軽蔑、嫌悪感、恐怖、喜び、中立、悲しみ、および驚き、を認識する。
【００７６】
参加者の感情は、その他にも、たとえば、ニューラルネットワークを利用した機械学習や深層学習を用いて認識されてもよい。具体的には、あらかじめ人の顔画像と感情を関連付けた教師データを多数作成してニューラルネットワークを学習させ、学習されたニューラルネットワークに参加者の顔画像を入力することによって、参加者の感情を出力する。教師データとしては、様々な人々の様々な表情の顔画像と、それぞれの感情とを関連付けたデータが用いられる。教師データとしては、たとえば１万時間分程度の映像データを用いることが好ましい。
【００７７】
次に、音声認識について説明する。
【００７８】
音声認識では、音声認識モデルとして、音響モデルおよび言語モデルが使用される。音声認識では、これらのモデルを使用して音声データがテキストへ変換される。
【００７９】
音響モデルとは、音素がどのような周波数の特徴を持っているかを表したものである。同一人物であっても感情によって基本周波数が変化する。具体例としては、たとえば、感情が怒りの場合に発声される音声の基本周波数は、感情が中立の場合の基本周波数より高くなったり、または低くなったりする。
【００８０】
言語モデルとは、音素の並び方の制約を表したものである。言語モデルと感情の関係としては、たとえば、感情によって音素のつながりが異なる。具体例としては、たとえば、怒り場合は、「なんだよ」→「うるさい」、といったつながりはあるが、「なんだよ」→「ありがとう」といったつながりは極めて少ない。このような音響モデルおよび言語モデルの具体例は、あくまでも説明のために単純化したものであり、実際はニューラルネットワークを利用した機械学習や深層学習によって、多数の教師データを用いてニューラルネットワークを学習させることにより作成される。
【００８１】
このため、本実施形態では、音響モデルおよび言語モデルは、ともにニューラルネットワークを利用した機械学習や深層学習により、感情ごとに作成される。音響モデルおよび言語モデルを作成するための学習は、たとえば、教師データとしては、様々な人々の様々な感情ごとの音声と、正解となるテキストとを関連付けたデータが用いられる。教師データとしては、たとえば１万時間分程度の音声データを用いることが好ましい。
【００８２】
本実施形態では、音響モデルおよび言語モデルは、表３に示すように感情ごとに作成する。
【００８３】
【表３】
2020181022.tif 000005
【００８４】
作成された音響モデルおよび言語モデルは、あらかじめＨＤＤ１４またはその他の不揮発性メモリに記憶される。
【００８５】
音響モデルおよび言語モデルは、上述したＳ１４およびＳ１５によって、感情に対応して使用される。具体的には、たとえば、怒りの感情が認識された場合は、音響モデル１および言語モデル１が使用される。また、たとえば、悲しみの感情が認識された場合は、音響モデル７および言語モデル７が使用される。そのほかの感情の場合も同様である。
【００８６】
図３は、音声認識処理を説明するための機能ブロック図である。
【００８７】
音声認識は、図３に示すように、音声入力部１１１において音声波形の入力を受けた後、入力された音声波形について特徴量抽出部１１２において特徴量の抽出が行われる。特徴量は、あらかじめ感情ごとに定義された音響特徴量であり、たとえば、声の高さ（基本周波数）、大きさ（音圧レベル（パワー））、持続時間、フォルマント周波数、スペクトルなどである。抽出された特徴量は、認識デコーダー１１３に渡される。認識デコーダー１１３では、音響モデル１１４および言語モデル１１５を用いて、テキストに変換する。認識デコーダー１１３は、認識されている感情に対応した音響モデル１１４および言語モデル１１５を使用する。認識結果出力部１１６は、認識デコーダー１１３によって変換されたテキストデータを認識結果として出力する。
【００８８】
このように、本実施形態は、入力された音声データの周波数の特徴が感情によって変化するので、それを利用して、音声データからテキストデータへの変換結果を変えていることになる。
【００８９】
以上のように、本実施形態は、人の感情ごとに音響モデル１１４および言語モデル１１５を切り替えて、音声認識し、音声をテキストへ変換することとしたので、人の感情の違いによる誤変換を少なくすることができる。
【００９０】
なお、本実施形態では、怒り、軽蔑、嫌悪感、恐怖、喜び、中立、悲しみ、および驚きの８つの感情が認識されているが、さらに多くの感情が認識されてもよい。また、これら８つのうちの少なくともいずれか２つの感情が認識されてもよい。いずれか２つとは、たとえば怒りと中立、喜びと中立、悲しみと中立など、会議中に出現する頻度が高いと思われる感情の組み合わせや、表情変化が大きく認識しやすい感情と、中立のように表情変化が少なく認識しづらい平常状態の感情の組み合わせなどである。もちろん、例示した以外にも、さまざまな数や組み合わせの感情を認識することができる。
【００９１】
（実施形態の変形例１）
実施形態の変形例１（以下、変形例１という）は、感情を音声から認識する。変形例１において、会議支援システム１の構成、および会議支援の手順（会議支援プログラム）は実施形態と同じである。
【００９２】
本変形例１では、最初は映像データから感情を認識するとともに、発言者を特定する。その後、本変形例１は、発言者の発話後、１秒分の音声データが集まったら、音声データからの感情認識に切り替える。これは、会議参加者が発言する前、または発言直後（１秒未満）は、発言者の感情が不明であるため、カメラ１０２の映像から発言者の感情を認識する。その後は、発言者が特定され、かつ感情も認識されているため、その発言者の音声データを収集して、音声データのみから発言者の感情を認識する。
【００９３】
このような音声データからの感情認識は、具体的には、たとえば、「音声に含まれる感情の認識」、大阪エ業大学情報科学部、鈴木基之、参照URL=https://www.jstage.jst.go.jp/article/jasj/71/9/71_KJ00010015073/_pdf  に開示されている既存の技術を用いることができる。
【００９４】
図４は、上記文献「音声に含まれる感情の認識」から抜粋した音声からの感情認識法の概要を示す図である。
【００９５】
この感情認識法では、図４に示すように、入力音声からＬＬＤ（Ｌｏｗ−Ｌｅｖｅｌ  Ｄｅｓｃｒｉｐｔｏｒｓ）が算出される。ＬＬＤとは、音声の高さ（基本周波数）、大きさ（パワー）などである。ＬＤＤは、時系列として得られているので、このＬＬＤから各種統計量を計算する。統計量は、具体的には平均値や分散、傾き、最大値や最小値などである。入力された音声は、この統計量が計算されることで、特徴量ベクトルとなる。特徴量ベクトルは、統計的識別器あるいはニューラルネットワークによって感情として認識される（図示する推定感情）。
【００９６】
このように、本変形例１は、最初は表情から発言者の感情を認識するものの、その後は、発言者の音声から感情を認識する。これにより本変形例１は、たとえば、カメラ１０２が表情を捕らえられなくなった場合でも、継続して発言者の感情を取得して、適切な音声認識を行うことができる。また、本変形例１は、初めは表情から発言者の感情を認識しているので、音声のみで感情認識する場合と比較して、感情の認識精度が高い。
【００９７】
本変形例１においては、音声認識の際の入力音声の大きさ（音圧レベル）を補正してもよい。入力音声の音圧レベルの補正は、ＣＰＵ１１（制御部）によって行われる。
【００９８】
たとえば、怒りの感情の時は、声の大きさが大きくなることが考えられるので、入力時の音圧レベルを小さく補正する。図５Ａおよび図５Ｂは、怒りの感情の時の音声データの補正例を示す音声波形図である。図５Ａおよび図５Ｂにおいて、横軸は時間、縦軸は音圧レベルであり、各図において、時間および音圧レベルの尺度は同じである。
【００９９】
怒りの感情のときの音声データは、そのままでは、図５Ａに示すように、音圧レベルが高い。そこで、このような場合は、図５Ｂに示すように、音圧レベルを下げて、音声認識の入力とする。これにより、入力された音声の音圧レベルが高くて、認識できなくなることを防止することができる。
【０１００】
入力される音声の音圧レベルの補正は、逆に、入力された音声の音圧レベルが低い場合には高くするように補正してもよい。
【０１０１】
なお、本変形例１の説明では、発声後、１秒間音声データを収集することとしたが、このような時間は、特に限定されない。音声データを収集する時間は、音声データから感情認識可能となる時間であればよい。
【０１０２】
また、本変形例１は、たとえば、発声から１秒間、音声データを収集するだけでなく、カメラ１０２が顔（表情）を捕らえている間は、音声データの収集は続けるが、感情は表情から認識し、カメラ１０２が顔（表情）を捕らえられなくなった段階で、音声データによる感情認識に切り替えることとしてもよい。
【０１０３】
（実施形態の変形例２）
実施形態の変形例２（以下、変形例２という）は、３台以上の複数のコンピューターを通信によって接続した会議支援システム３を用いる。変形例２において、会議支援システム３の構成は３台以上のコンピューターを用いることが上記の実施形態とは異なるが、その他の構成は同じである。また、会議支援の手順（会議支援プログラム）は実施形態と同じである。
【０１０４】
図６は、３台以上の複数のコンピューターを通信によって接続した会議支援システム３の構成を説明する説明図である。
【０１０５】
図６に示すように、本変形例２の会議支援システム３は、複数のユーザー端末３０Ｘ、３０Ｙ、および３０Ｚを備える。ユーザー端末３０Ｘ、３０Ｙ、および３０Ｚは、いずれも、既に説明したコンピューターと同様である。なお、図６においては、形状的にはノートパソコンを示している。
【０１０６】
複数のユーザー端末３０Ｘ、３０Ｙ、および３０Ｚは、複数の拠点Ｘ、ＹおよびＺに配置されている。ユーザー端末３０Ｘ、３０Ｙ、および３０Ｚは、複数のユーザーであるＡさん、Ｂさん、…Ｅさんによって使用される。ユーザー端末３０Ｘ、３０Ｙ、および３０Ｚは、ＬＡＮ等のネットワーク１００を介して、相互に通信可能に接続されている。
【０１０７】
本変形例２では、ユーザー端末３０Ｘ、３０Ｙ、および３０Ｚに、既に説明した会議支援プログラムがインストールされている。
【０１０８】
このように構成された本変形例２においては、３つの拠点Ｘ、Ｙ、およびＺの３か所を接続した会議が可能となり、各ユーザー端末３０Ｘ、３０Ｙ、および３０Ｚでは、発言者の感情に応じて適切に音声認識された字幕が表示される。
【０１０９】
本変形例２では、３か所の拠点を接続しているが、同様にして、さらに複数を拠点、すなわち、複数のコンピューターを接続した形態も実施可能である。
【０１１０】
以上、本発明の実施形態および変形例を説明したが、本発明は、実施形態および変形例に限定されるものではない。
【０１１１】
上述した会議支援システムでは、複数のコンピューターのそれぞれに会議支援プログラムをインストールして、それぞれのコンピューターがテレビ会議支援機能を有することとしたが、これに限定されない。
【０１１２】
たとえば、会議支援プログラムは、第１コンピューター１０にのみインストールして、第２コンピューター２０は、第１コンピューター１０と通信するものとしてもよい。この場合、第２コンピューター２０は、第１コンピューター１０からの映像データを受信して自身に接続されているディスプレイ１０１に表示する。第１コンピューター１０からの映像データには、テキスト変換されたテキストデータも含まれる。また、この場合、第２コンピューター２０は、自身に接続されているカメラ１０２およびマイク１０３が収集した映像データおよび音声データを第１コンピューター１０へ送信する。第１コンピューター１０は、第２コンピューター２０からの映像データおよび音声データも、第１コンピューター１０自身に接続されているカメラ１０２およびマイク１０３からのデータと同様に扱って、実施形態で説明したように、第２コンピューター２０側の参加者の感情の認識、および音声認識を行う。
【０１１３】
この場合、第１コンピューター１０のみが会議支援装置となり、第１コンピューター１０の通信インターフェース１５および第２コンピューター２０が第２コンピューター２０からの音声および映像を第１コンピューター１０へ入力させる音声入力部および映像入力部となる。また、第１コンピューター１０の通信インターフェース１５は第２コンピューター２０へテキストを総インする出力部となる。
【０１１４】
これは、変形例２のように、３台以上のコンピューターによって会議支援システムを構成する場合も同様に、何れか１台のコンピューターが会議支援装置として機能するようにしてもよい。
【０１１５】
また、会議支援システムは、他のコンピューターと接続されない形態であっておよい。会議支援システムは、たとえば、１台のコンピューターに会議支援プログラムをインストールして、１つの会議室で使用することとしてもよい。
【０１１６】
また、コンピューターは、ＰＣを例示したが、たとえばタブレット端末やスマートフォンなどであってもよい。タブレット端末やスマートフォンは、ディスプレイ１０１、カメラ１０２、およびマイク１０３を備えているため、これらの機能をそのまま使用して、会議支援システムを構成することができる。また、タブレット端末やスマートフォンを用いた場合は、タブレット端末やスマートフォンは、自身のディスプレイ１０１へ映像や字幕を表示し、カメラ１０２により会議参加者を撮影し、マイク１０３により集音する。
【０１１７】
会議支援プログラムは、ＰＣや、タブレット端末、スマートフォンなどが接続されているサーバーに実行させるようにしてもよい。この場合、サーバーは会議支援装置となり、サーバーに接続されたＰＣや、タブレット端末、スマートフォンなどを含めて会議支援システムが構成される。この場合、サーバーはクラウドサーバーであってもよく、各タブレット端末やスマートフォンは、インターネットを介してクラウドサーバーに接続してもよい。
【０１１８】
また、音声認識モデルは、会議支援システムを構成する、１台または複数台のコンピューター内のＨＤＤ１４に記憶されるだけでなく、たとえば、コンピューターが接続されたネットワーク１００上のサーバー（ネットワークサーバー、クラウドサーバーなどを含む）に記憶されてもよい。その場合、音声認識モデルは、サーバーから必要に応じてコンピューター内に読み出されて使用される。また、サーバーに記憶された音声認識モデルも、追加、更新可能である。
【０１１９】
また、変形例１は、映像からの感情認識後、音声から感情認識することとしたが、これに代えて、音声のみから感情認識するようにしてもよい。この場合、カメラ１０２は不要となる。また、会議支援手順としては、映像（画像）からの感情認識のステップが不要となる代わりに音声から感情認識することとなる。
【０１２０】
また、実施形態では、制御部により、発言者の感情を自動的に認識させ、認識した感情に対応した音声認識モデルを使用することとした。しかし、手動で音声認識モデルを変更するようにしてもよい。手動で音声認識モデルを変更する場合は、たとえば、コンピューターが変更入力を受けて、認識した感情にかかわらず、制御部が変更入力された音声認識モデルを使用して音声をテキストに変換する。
【０１２１】
そのほか、本発明は特許請求の範囲に記載された構成に基づき様々な改変が可能であり、それらについても本発明の範疇である。
【符号の説明】
【０１２２】
１、３  会議支援システム、
１０  第１コンピューター、
１１  ＣＰＵ、
１２  ＲＡＭ、
１３  ＲＯＭ、
１４  ＨＤＤ、
１５  通信インターフェース、
１６  ＵＳＢインターフェース、
２０  第２コンピューター、
３０Ｘ、３０Ｙ、および３０Ｚ  ユーザー端末、
１０１  ディスプレイ、
１０２  カメラ、
１０３  マイク、
１００  ネットワーク、
１１１  音声入力部、
１１２  特徴量抽出部、
１１３  認識デコーダー、
１１４  音響モデル、
１１５  言語モデル、
１１６  認識結果出力部。
【図１】
2020181022.tif 000006
【図２】
2020181022.tif 000007
【図３】
2020181022.tif 000008
【図４】
2020181022.tif 000009
【図５Ａ】
2020181022.tif 000010
【図５Ｂ】
2020181022.tif 000011
【図６】
2020181022.tif 000012