(57)【要約】【課題】オンラインビデオ通話にて、２者又は３者間で会話をする際、話題が少なくなると、活発に会話をすることができない。【解決手段】オンラインビデオ通話で会話をする際、判定部２８で会話の活性度合いを判定し、会話で盛り上がった話題を抽出部１８で抽出してデータベース３０に蓄積しておく。次回通話時に、データベース３０に蓄積した話題を端末の画面上に表示し話題を提供することで、会話が停滞状態になっても、活発に会話を促すことができるようにする。【選択図】図２
2015207905.tif 000002
【特許請求の範囲】
【請求項１】
通信ネットワークを介して外部の端末同士でビデオ通話を可能とするビデオ通話システムにおいて、
通話中の音声又は画像からキーワード情報を抽出する抽出手段と、
前記抽出手段が抽出したキーワード情報を記憶するデータベースと、
通話中の音声又は画像から会話の活性化状態を判定する判定手段と、
前記判定手段の判定結果に応じて前記データベースに記憶されたキーワード情報を出力する出力手段と、
を含むことを特徴とするビデオ通話システム。
【請求項２】
前記抽出手段は、通話中の音声から音声認識によってテキストデータを作成し、予め用意されているテキスト辞書を参照して、所定のテキスト列をキーワード情報として抽出することを特徴とする請求項１記載のビデオ通話システム。
【請求項３】
前記抽出手段は、通話中の画像から画像認識によって予め用意されている画像辞書を参照して、所定の画像をキーワード情報として抽出することを特徴とする請求項１記載のビデオ通話システム。
【請求項４】
前記判定手段は、通話中の音声又は画像から、会話の活性度合いを判定することを特徴とする請求項１乃至３いずれか記載のビデオ通話システム。
【請求項５】
前記抽出手段は、前記判定手段が判定した会話の活性度合いが高い時に、前記キーワード情報を抽出することを特徴とする請求項２、３又は４記載のビデオ通話システム。
【請求項６】
前記出力手段は、前記キーワード情報を前記端末に表示させるために送信することを特徴とする請求項１乃至５いずれか記載のビデオ通話システム。
【請求項７】
前記出力手段は、前記判定手段が判定した会話の活性度合いが低い時に、前記キーワード情報を出力することを特徴とする請求項６記載のビデオ通話システム。
【請求項８】
前記データベースは、前記抽出手段が抽出したキーワード情報を、前記通話中の相手情報と共に記憶することを特徴とする請求項１乃至７いずれか記載のビデオ通話システム。
【請求項９】
前記出力手段は、前記データベースを参照し、前記通話中の相手情報と共に記憶されているキーワード情報を出力することを特徴とする請求項８記載のビデオ通話システム。
【請求項１０】
前記抽出手段は、同じ相手と再度通話する際、前回抽出したキーワード情報と、今回抽出したキーワード情報を比較して、変化した要素を検出する変化要素検出手段を更に備え、
前記出力手段は、前記変化要素検出手段が検出した変化要素を前記端末にキーワード情報として出力することを特徴とする請求項３記載のビデオ通話システム。
【請求項１１】
通信ネットワークを介して外部の端末同士でビデオ通話を可能とするビデオ通話システムのコンピュータが、
通話中の音声又は画像からキーワード情報を抽出する抽出工程と、
前記抽出手段が抽出したキーワード情報をデータベースに記憶させる記憶工程と、
通話中の音声又は画像から会話の活性化状態を判定する判定工程と、
前記判定工程の判定結果に応じて前記データベースに記憶されたキーワード情報を出力する出力工程と、
を実行することを特徴とするビデオ通話の方法。
【請求項１２】
コンピュータを、請求項１乃至１０いずれか一項に記載のビデオ通話システムの各手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人と人が通信ネットワークを使ってコミュニケーションをはかるための技術に関する。
【背景技術】
【０００２】
近年、ＩＰ電話、ビデオチャット、スカイプ（登録商標）等のコミュニケーションツールが発達してきており、これらは従来の電話機に変わるものとして広く利用されている。特に、ピアツーピア（Ｐ２Ｐ）のネットワークシステムは、特定のノードに付加が集中し難く、クライアント数やデータ容量が増えても処理を分散し安定的なので、リアルタイムの動画像を交信しあうビデオチャットに適している。
【０００３】
他方、認知症予防のために、コミュニケーションを図ることが有効と言われており、上記したようなコミュニケーションツールが認知症予防に役立つことが期待されている。
例えば、認知症患者の笑顔を検出し、それに応じて適切な会話を提供できるシステムが提案されている（例えば、特許文献１参照）。
また、介護施設等に入居しているお年寄りの心を癒す会話サービスシステムが提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２２３３６９号公報
【特許文献２】特開２００５−１９６６４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の発明は、認知症患者用会話システムであってサーバと端末を含み、サーバが会話データ群を有するデータベースを備える。サーバは適宜、会話データ群の音声を発信し、端末はユーザ（認知症患者）の顔画像を撮影して笑顔を検出し、笑顔の出現頻度に基いて、所定の会話データ群を端末に送信することによって、認知症患者が興味を示す会話を重点的に提供できるものである。
しかしながら、特許文献１記載の発明では、サーバが会話データ群を一方的に発信するだけなので、会話の発展性に欠けるという課題があった。
【０００６】
特許文献２記載の発明は、託児所端末と介護施設端末と会話サービスサーバとを含む会話サービスシステムであって、会話サービスサーバが仲介して、介護施設等に入居しているお年寄りと託児所の児童がインターネットを介して会話をしたり託児所内でのイベント発表会を実施したりすることができるようにして、お年寄りの心を癒す会話サービスを提供するものである。
しかしながら、特許文献２記載の発明では、お年寄りと児童を交流させるに留まり、やはり会話の発展性に欠けるという課題があった。
【０００７】
また、お年寄りの認知症予防の観点からは、一方的な会話の提供ではなく、お年寄りに対して、子どもや孫などの家族、ケア施設のスタッフ等と会話することが好ましいが、コミュニケーションツールを使って会話させようとしても、そもそも話題が続かないという課題もあった。
【０００８】
この発明は、上記課題を解決するためになされたもので、お年寄りと子どもや孫などの家族、ケア施設のスタッフ等とが通信ネットワークを使ってコミュニケーションをはかることを主たる目的とするが、対象をお年寄りや認知症防止に限定するものではなく、人と人が通信ネットワークを使ってより円滑にコミュニケーションをはかることを目的とするものである。
【課題を解決するための手段】
【０００９】
請求項１記載の発明は、通信ネットワークを介して外部の端末同士でビデオ通話を可能とする通話システムにおいて、通話中の音声又は画像からキーワード情報を抽出する抽出手段と、前記抽出手段が抽出したキーワード情報を記憶するデータベースと、通話中の音声又は画像から会話の活性化状態を判定する判定手段と、前記判定手段の判定結果に応じて前記データベースに記憶されたキーワード情報を出力する出力手段と、を含むことを特徴とするビデオ通話システムを提供するものである。
【００１０】
また、請求項１１記載の発明は、通信ネットワークを介して外部の端末同士でビデオ通話を可能とするビデオ通話システムのコンピュータが、通話中の音声又は画像からキーワード情報を抽出する抽出工程と、前記抽出手段が抽出したキーワード情報をデータベースに記憶させる記憶工程と、通話中の音声又は画像から会話の活性化状態を判定する判定工程と、前記判定工程の判定結果に応じて前記データベースに記憶されたキーワード情報を出力する出力工程と、を実行することを特徴とするビデオ通話の方法を提供するものである。
【００１１】
また、請求項１２記載の発明は、コンピュータを、請求項１乃至１０いずれか一項に記載のビデオ通話システムの各手段として機能させるプログラムを提供するものである。
【発明の効果】
【００１２】
本発明によれば、人と人が通信ネットワークを使ってより円滑にコミュニケーションをはかることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施の形態のシステム構成図。
【図２】同実施の形態のサーバの機能ブロック図。
【図３】同実施の形態のサーバのハードウエアの概略構成を示すブロック図。
【図４】同実施の形態の動作を説明するためのフローチャート。
【図５】図４におけるステップＳ１６の詳細を示すフローチャート。
【図６】図４におけるステップＳ２０の詳細を示すフローチャート。
【図７】同実施の形態の端末２２０Ｂを示す図。
【図８】同実施の形態の通話の活性度合いの判定について説明するための図である。
【図９】同実施の形態の通話の活性度合いの判定について説明するための図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態について説明する。
＜構成＞
まず、図１を参照して本実施の形態の全体システム構成について説明する。
図１において、１００はサーバであり、本実施の形態のビデオ通話システムを構成している。すなわち、話題提供機能を有するビデオチャット（テレビ電話）を運営するサイトの中核を成すものであり、複数のサーバから構成されていてもよい。２００はＰ２Ｐ（Peer to Peer）形式の通信ネットワークであり、スーパーノードと呼ばれる複数の端末２１０を中心に、多数の端末２２０が接続されている。通信ネットワークはサーバークライアント形式であっても構わない。なお、本実施の形態において「ビデオチャット」「テレビ電話」「ビデオ通話」は同義である。
【００１５】
ここで、２２０Ｂをケアの対処となるお年寄りであるＢさんの端末、２２０ＡをＢさんの孫であるＡさんの端末、２２０Ｃをケアマネージャーあるいは福祉施設のスタッフＣさんの端末であると仮定する。もちろんこれは一例であり、Ａさん、Ｂさん、Ｃさんが友人や不特定のネットユーザであってもよい。
【００１６】
端末２２０Ａ、端末２２０Ｂ、端末２２０Ｃの識別は、ユーザであるＡさん、Ｂさん、Ｃさんがログインすることによって識別してもよいし、端末２２０Ａ、端末２２０Ｂ、端末２２０Ｃ固有のＩＤによって、端末自体を識別してもよい。端末２２０は一般的なパーソナルコンピュータ、スマートフォン、タブレットＰＣ等を使用することができ、サイトが提供する専用端末であってもよい。端末２２０については詳述しないが、少なくとも表示部を有し、音声通信機能とビデオ通信機能を備える。
【００１７】
図２はサーバ１００の機能ブロック図である。１０は通信制御部であり、インターネットや通信ネットワーク２００と接続して、端末２２０とのデータの送受信を制御する。１２は音声通信のための音声コーデックを含む音声処理部、１４はビデオ通信のためのビデオコーデックを含む画像処理部である。１６はビデオチャット制御部であり、外部の端末２２０同士の画像と音声のビデオ通話（テレビ電話機能）を実現する。１８は音声又は画像からキーワード情報を抽出する抽出部で、音声認識部２０がテキスト辞書２２を参照しながら通話音声からテキストを抽出する。また、画像認識部２４が画像辞書２６を参照して通話画像から所定の画像を抽出する。この音声及び／又は画像の認識機能並びにキーワード抽出機能は、外部の専用サーバに持たせてもよい。
【００１８】
判定部２８は、会話の活性度合いを判定するものである。すなわち、音声処理部１２の音声通話状況を監視し、途切れなく会話していたり、大きな声で会話していたり、早口で会話していたりすれば、活性度合いが高いと判定する。逆に、会話が途切れがちであれば活性度合いが低いと判定する。同時に、画像処理部１４のビデオ通話状況を監視し、ユーザの表情を検出する。笑顔であれば活性度合いが高いと判定する。逆に、表情の変化に乏しかったり、曇りがちな表情であったりすれば活性度合いが低いと判定する。また、通話している両者の音声を判定材料とするが、監視対象であるお年寄りのＢさんの音声だけを判定してもよい。画像を判定する場合は基本的にＢさんの顔を認識する。判定部２８の判定結果は抽出部１８及び出力部３２で使用される。
【００１９】
活性度合いの判定方法としては、以下のような例が挙げられる。
（１）通話の音量を判定する。通話の音量を監視し、図８に概念図を示すように、音量の下限基準値ＶＬと上限基準値ＶＨを設けておき、例えば所定時間以上、下限基準値ＶＬより小さい音量が継続した場合に不活性状態とみなす（Ｔ２）。また、所定時間以内に上限基準値より大きい音量が、所定回数以上発生した場合は、活性状態とみなす（Ｔ３）。音量が上限基準値と下限基準値の間にある間は、平常状態とみなす（Ｔ１）。所定時間や所定回数は任意であるが、例えば３分以上無言状態が続いたり、５分以上音量が前記下限基準値ＶＬ以下であったりした場合に停滞状態と判定する。また、例えば３分間の間に音量が上限基準値ＶＨを１０回以上超えた場合は、会話が活性状態にあるとみなす。Ｔ１、Ｔ２、Ｔ３の時間長さは同じでなくてよい。なお図８は説明のため概念的に示したものであって、実際の測定波形ではない。
（２）通話の速度を判定する。通話の音量を監視し、図９に概念図を示すように、所定時間内の発声波形の間隔が広い時は停滞状態とみなし（Ｔ４）、発声波形の間隔が一般的な会話のテンポである場合は平常状態とみなし（Ｔ５）、発声波形の間隔が詰まっている時は活性状態とみなす。所定時間や密度は任意である。Ｔ４、Ｔ５，Ｔ６の時間長さは同じでなくてよい。図９も考え方を説明するための概念図であって、実際の測定波形ではない。
（３）顔の画像を認識して笑顔度を測定する。笑顔を認識する技術は公知であるが、笑顔の度合いによって活性状態、平常状態、停滞状態を判定する。
【００２０】
抽出部１８で抽出されたテキスト又は画像のキーワード情報は、データベース３０に記憶される。その際、誰と誰が通話していたのか、例えばＡさんとＢさん、ＡさんとＣさん、ＢさんとＣさんといった組み合わせ情報も併せて記録する。それによって、誰と誰が会話した時のキーワードであるかが明確になる。誰と誰が会話しているかの情報はビデオチャット制御部１６から供給される。
３２は出力部であり、前記データベース３０に記憶されたキーワード情報を、前記判定部２８の判定結果に応じて、音声処理部１２又は画像処理部１４を介して適宜端末２２０へ出力する。
【００２１】
図３はサーバ１００をハードウエアの側面から表現したブロック図である。サーバ１００はハードウエア的には、全体を制御するＣＰＵ３００、ＣＰＵ３００が実行するＯＳを含むプログラムメモリ４００、ＣＰＵ３００がプログラムを実行する時に使用するワークメモリ５００、キーワード情報やユーザのアドレス、テキスト辞書や画像辞書等、保存しておくデータを記憶する保存メモリ６００、通信ネットワーク２００と接続して音声データや画像データを送受信し、ＶｏＩＰ接続や認証、登録等の通信制御をするための通信制御モジュール７００を含む。更に８００は本ビデオチャットサイトに登録した会員の各種会員情報を管理するための顧客管理部である。
【００２２】
ＣＰＵ３００、プログラムメモリ４００、データメモリ５００は図２における制御部５０に対応する。通信制御モジュール７００は、図２における通信制御部１０、音声処理部１２、画像処理部１４、ビデオチャット処理部１６に対応する。保存メモリ６００は図２におけるデータベース３０、テキスト辞書２２、画像辞書２６に対応する。顧客管理部８００は図２におけるビデオチャット制御部１６の一部に対応する。図２における各機能ブロックは、ＣＰＵ３００がプログラムメモリ４００のプログラムを、ワークメモリ５００を使用しながら実行することによってその機能を実現する。
【００２３】
＜動作＞
次に、図４〜図６のフローチャートを参照しながら本実施の形態の動作について説明する。
図４は、サーバ１００とＡさんの端末２２０Ａ、Ｂさんの端末２２０Ｂのシーケンスを示すフローチャートである。
【００２４】
まず、ビデオチャット（テレビ電話）を開始する。仮に孫のＡさんが祖父のＢさんに対して会話を試みるとすると（ステップＳ２）、端末２２０Ａをネットワークに接続し（Ｌ２）、サーバ１００にログインして利用を開始する。サーバ１００は、端末２２０Ａを認証し（ステップＳ４）、認証すると、端末２２０Ｂにアクセスする（Ｌ４）。Ｂさんが端末２２０Ｂで会話に応答すると（ステップＳ６）（Ｌ６）、サーバ１００は開始処理を行う（ステップＳ８）。これで端末２０２Ａと２０２Ｂの間でビデオチャットが可能な状態となる（Ｌ８）。Ｃさんも加わって３者間通話も技術的に可能である。
【００２５】
ＡさんとＢさんは音声と画像によるビデオチャットを行うが、サーバ１００は常時、音声と画像を監視しており、テキスト辞書２２と画像辞書２６を参照しながら音声認識部２０、画像認識部２４により音声認識と画像認識を行っている。通話双方の監視を行ってもよいが、お年寄りであるＢさんのケアを行うサービスを提供するので、主に端末２０２Ｂの監視行う。
【００２６】
ステップＳ１０では、端末２２０Ｂからの画像を認識し、前回と大きく変わった画像を抽出する。例えば、Ｂさんの画像の背景の変化、服装や髪形の変化等の画像を、抽出部１８により抽出する。抽出された画像はデータベース３０に記憶され、話題の材料にすると共に、お年寄りのケアを目的としている場合は、異常の発見にもつなげることができる。
【００２７】
続いてステップＳ１２では、会話状態の監視を行う（Ｌ９）。これは、会話が活性状態にあるのか停滞状態にあるのかを監視するものである。判定部２８により、音声処理部１２の音声通話状況を監視し、途切れなく会話していたり、大きな声で会話していたり、早口で会話していたりすれば、活性度合いが高いと判定する。逆に、会話が途切れがちであれば活性度合いが低いと判定する。同時に、画像処理部１４のビデオ通話状況を監視し、ユーザの表情を検出する。笑顔であれば活性度合いが高いと判定する。逆に、表情の変化に乏しかったり、曇りがちな表情であったりすれば活性度合いが低いと判定する。活性度合いの判定の仕方は図８、図９を使って一例を説明したとおりである。
【００２８】
判定結果はステップＳ１４で分岐し、活性度合いが低く停滞状態であると判断されるとステップＳ２０に進み、活性度合いが高く活性状態であると判断されるとステップＳ１６へ進む。会話が平常状態の場合はステップＳ１８へ進む。会話が平常状態にあると判定された時、すなわちステップＳ１８では、格別何もせずにステップＳ３０へ進む。又は、このステップＳ１８ではモニタ２２０２のエリア２２１２に例えば「正常」と表示させたり、模様やマーク、景色等を表示させたりすることもできる。
ステップS２０では、会話が停滞状態時の処理を行い、ステップS１６では会話が活性状態時の処理を行って、ステップS３０に進む。ステップS３０では、チャットの終了処理が行われるか、回線が切断されたことを判断し、通話が継続中であればステップS１２へ戻って会話の監視を続け、ログアウト処理若しくは回線の切断を検出したら、ビデオチャットを終了する（ステップＳ３２）。停滞状態処理ステップＳ２０では後述するが、端末２２０Ｂに対して話題提供処理を行う（Ｌ１０）。
【００２９】
端末２２０Ａ、端末２２０Ｂは、サーバ１００からの信号に応じて適宜モニタ２２０２に表示を行う（ステップＳ２２、Ｓ２４）。表示内容は、後述する図７（ａ）〜（ｄ）に例示するように、その時々の会話の活性状況に応じて異なる。制御部５０に制御されて、データベース３０に記憶された様々な情報を、判定部２８の判定結果や出力部３２の制御に応じて適宜選択して表示することができる。
また、端末２２０Ａ、端末２２０Ｂから、任意のタイミングで通話を終了することができる（ステップＳ２６、ステップＳ２８、Ｌ１２）。終了処理又は切断を行わなければ通話中を継続し、サーバ１００にステップＳ１２で監視される状態が続く。終了すればステップS３４、ステップS３６に進んでＥＮＤとなる。
【００３０】
図５は、ステップＳ１６の会話が活性状態にあると判定された時の詳細を示すフローチャートである。
会話が活性状態にあるということは、話が弾んでいる時なので、端末２０２Ｂからの音声を認識し、話題作りの材料として、よく登場する単語をキーワードとして検出して（ステップＳ１６２）、データベース３０に登録する（ステップＳ１６４）。例えば、Ｂさんが発した「暑い」「寒い」「映画」「ゴルフ」「桜」「孫」「旅行」「ハワイ」等の単語を、抽出部１８により抽出し、ＡさんとＢさんの会話を示す識別情報と共にデータベース３０に登録するものである。学習効果により、データベースは逐次更新され、段々とＡさんとＢさんの間で会話が盛り上がった話題に関するキーワードが蓄積されていく。識別情報は、誰と誰が会話した時の共通の話題であるかを識別するためである。
【００３１】
図６は、ステップＳ２０の会話が停滞状態にあると判定された時の詳細を示すフローチャートである。
会話が停滞状態にあるということは、話題が途切れている時である。本実施の形態の通話システムでは、認知症予防のために会話を活性化させるサービスを提供するものであり、会話が停滞状態にあることを判定すると、会話を活性化させる援助を行う。ステップＳ２０２で、データベース３０を検索して、過去のＡさんとＢさんの会話で活性化した時のキーワードを読み出し（ステップＳ２０４）、端末２２０Ａ、端末２２０Ｂへ送信する（ステップＳ２０４、Ｌ１０）。送信した内容は端末２２０Ａ、２２０Ｂのモニタ２２０２に表示されるもので、送信する内容は端末２２０Ａ、２２０Ｂとも共通でもよく、それぞれ個別に適した内容を表示してもよい。具体的な送信内容（モニタ２２０２の表示内容）については以下の図７（ａ）〜図７（ｄ）により説明する。
【００３２】
図７（ａ）はＡさんの端末２０２Ａの正面図を示す。この端末２２０Ａは、デスクトップ型パーソナルコンピュータ、ノートパソコン、タブレットＰＣ，スマートフォン等、種々適用できる。アプリケーションソフトウエアのインストールが必要な場合と、ブラウザベースで動作しサイトにログインするだけで使用できる場合があるがどちらでもよい。
２２０２は表示画面（モニタ）である。２２０４は、自分を撮影するカメラである。２２０６はステレオスピーカである。２２０８はキー、タッチパネル等を含む操作部である。
【００３３】
モニタ２２０２には、通話相手での画像を表示するエリア２２１０、自分自身の画像を表示するエリア２２１２、話題を表示する話題表示部２２１４から構成される。基本的に図７（ｂ）に示すように、Ｂさんの端末２２０Ｂにも同じ画像が写っており、通話相手と自分が逆になる。通話中、エリア２２１０にはＢさんの画像と共に、その背景に写っている絵画、花瓶、湯飲み茶わんも一緒に写っている。更にはＢさんが被っている帽子も写っている。これらは、前述の画像認識部２４、抽出部１８により抽出されてデータベース３０に保存しておくことができるものである。
【００３４】
話題表示部２２１４には、データベース３０から抽出したキーワードが表示され、それを見ることによって、「あ、そういえばこの前行ったハワイ旅行は楽しかったね、海がきれいだったね、暑かったね」というような会話につなげていくことができる。キーワードは表示ではなく音声で通知してもよい。また、文字の代わりに花瓶を表示し、「前回話した時と今回話した時の花瓶が違うね」という会話につなげることもできる。
【００３５】
図７（ａ）（ｂ）は、端末２２０Ａと端末２２０Ｂに同じ表示を行う例を説明したが、図７（ｃ）（ｄ）は、それぞれ別の表示を行う例を示す。すなわち、図７（ａ）（ｂ）は今までＡさんとＢさんの間で話された会話を基に共通の話題を表示しているが、７（ｃ）（ｄ）は各個人固有の話題を表示するものである。例えば、Ａさんの端末２２０Ａの話題表示部２２１４にはＢさんの変化要素、Ｂさんが好む話題、ＡさんＢさんの共通話題等を表示し、Ｂさんの端末２２０Ｂの話題表示部２２１４にはＡさんの変化要素、Ａさんが好む話題、ＡさんＢさんの共通話題等を表示する。
【００３６】
なお、上記実施の形態においては。認知症防止を目的として主にお年寄りを対象としたビデオチャットシステムとして説明したが、これに限るものではなく、例えば、ビデオチャットを用いた英会話教室で、初心者はなかなか英単語が口から出て来ないために英会話が停滞してしまうことがよくある。そういうときに、本発明を適用し、話題のヒントとなる英単語（日本語でも良い）を表示すると、会話がスムーズに運び、規定時間内でより多くの会話量をこなすことができる。
また、サイト運営者と、福祉施設を異なるものとして説明したが、福祉施設自体がサイト運営を行ってもよい。
また、上記実施の形態のビデオ通話システムは、サーバ１００がすべての機能を実現する例を取って説明したが、キーワードを抽出する機能、会話の活性化状態を判定する機能、データベース、キーワード情報を出力する機能等のすべて又は一部を端末側に持たせてもよい。更には、個々の機能を別々のサーバが分担するようにしてもよい。
以上、この発明の実施形態について説明したが、この発明はこれらに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下に、本願出願時の特許請求の範囲を付記する。
【００３７】
＜付記＞
［請求項１］
通信ネットワークを介して外部の端末同士でビデオ通話を可能とするビデオ通話システムにおいて、
通話中の音声又は画像からキーワード情報を抽出する抽出手段と、
前記抽出手段が抽出したキーワード情報を記憶するデータベースと、
通話中の音声又は画像から会話の活性化状態を判定する判定手段と、
前記判定手段の判定結果に応じて前記データベースに記憶されたキーワード情報を出力する出力手段と、
を含むことを特徴とするビデオ通話システム。
［請求項２］
前記抽出手段は、通話中の音声から音声認識によってテキストデータを作成し、予め用意されているテキスト辞書を参照して、所定のテキスト列をキーワード情報として抽出することを特徴とする請求項１記載のビデオ通話システム。
［請求項３］
前記抽出手段は、通話中の画像から画像認識によって予め用意されている画像辞書を参照して、所定の画像をキーワード情報として抽出することを特徴とする請求項１記載のビデオ通話システム。
［請求項４］
前記判定手段は、通話中の音声又は画像から、会話の活性度合いを判定することを特徴とする請求項１乃至３いずれか記載のビデオ通話システム。
［請求項５］
前記抽出手段は、前記判定手段が判定した会話の活性度合いが高い時に、前記キーワード情報を抽出することを特徴とする請求項２、３又は４記載のビデオ通話システム。
［請求項６］
前記出力手段は、前記キーワード情報を前記端末に表示させるために送信することを特徴とする請求項１乃至５いずれか記載のビデオ通話システム。
［請求項７］
前記出力手段は、前記判定手段が判定した会話の活性度合いが低い時に、前記キーワード情報を出力することを特徴とする請求項６記載のビデオ通話システム。
［請求項８］
前記データベースは、前記抽出手段が抽出したキーワード情報を、前記通話中の相手情報と共に記憶することを特徴とする請求項１乃至７いずれか記載のビデオ通話システム。
［請求項９］
前記出力手段は、前記データベースを参照し、前記通話中の相手情報と共に記憶されているキーワード情報を出力することを特徴とする請求項８記載のビデオ通話システム。
［請求項１０］
前記抽出手段は、同じ相手と再度通話する際、前回抽出したキーワード情報と、今回抽出したキーワード情報を比較して、変化した要素を検出する変化要素検出手段を更に備え、
前記出力手段は、前記変化要素検出手段が検出した変化要素を前記端末にキーワード情報として出力することを特徴とする請求項３記載のビデオ通話システム。
［請求項１１］
通信ネットワークを介して外部の端末同士でビデオ通話を可能とするビデオ通話システムのコンピュータが、
通話中の音声又は画像からキーワード情報を抽出する抽出工程と、
前記抽出手段が抽出したキーワード情報をデータベースに記憶させる記憶工程と、
通話中の音声又は画像から会話の活性化状態を判定する判定工程と、
前記判定工程の判定結果に応じて前記データベースに記憶されたキーワード情報を出力する出力工程と、
を実行することを特徴とするビデオ通話の方法。
［請求項１２］
コンピュータを、請求項１乃至１０いずれか一項に記載のビデオ通話システムの各手段として機能させるプログラム。
【符号の説明】
【００３８】
１０    通信制御部
１２    音声処理部
１４    画像処理部
１６    ビデオチャット制御部
１８    抽出部
２０    音声認識部
２２    テキスト辞書
２４    画像認識部
２６    画像辞書
２８    判定部
３０    データベース
３２    出力部
５０    制御部
１００    サーバ
２００    通信ネットワーク
２１０    スーパーノード
２２０    端末
３００    ＣＰＵ
４００    プログラムメモリ
５００    ワークメモリ
６００    保存メモリ
７００    通信制御モジュール
８００    顧客管理部
【図１】
2015207905.tif 000003
【図２】
2015207905.tif 000004
【図３】
2015207905.tif 000005
【図４】
2015207905.tif 000006
【図５】
2015207905.tif 000007
【図６】
2015207905.tif 000008
【図７】
2015207905.tif 000009
【図８】
2015207905.tif 000010
【図９】
2015207905.tif 000011