(57)【要約】【課題】  各端末装置の要求を反映したストリームデータの配信を行う。【解決手段】  ネットワーク経由で、各端末装置から各参加者の音声ストリームデータと映像ストリームデータとを受信し、音声ストリームデータに基づき、受信した映像ストリームデータのうち、各端末装置へ送信する映像ストリームデータを選択するストリームデータ配信装置１１を、各参加者の端末装置ごとの映像ストリームデータの配信ルールを示したルールテーブル９２に基づき映像ストリームデータを選択する構成とした。また、このルールテーブル９２は、ネットワーク経由で参加者の端末装置から書き換え可能なように構成した。【選択図】  図２
2005311916.tif 000002
【特許請求の範囲】
【請求項１】
ネットワーク経由で、各端末装置から各参加者の音声ストリームデータと映像ストリームデータとを受信し、前記音声ストリームデータに基づき、前記受信した映像ストリームデータのうち、前記各端末装置へ送信する映像ストリームデータを選択するストリームデータ配信装置であって、
前記各参加者の端末装置から送信された音声ストリームデータおよび映像ストリームデータの入力を受け付ける入力インターフェースと、
前記各参加者の端末装置から送信された音声ストリームデータの特性を分析する音声特性分析部と、
前記各参加者の端末装置の識別情報ごとに、前記分析結果に対して、選択すべき映像ストリームデータの情報を示したルールテーブルと、
前記分析結果および前記ルールテーブルを参照して、前記受信した映像ストリームデータのうち、前記各参加者の端末装置へ送信する映像ストリームデータを選択する映像ストリーム選択部と、
前記選択した映像ストリームデータと、前記各参加者の端末装置から受信した音声ストリームデータとに基づいて配信用ストリームデータを作成するストリームデータ作成部と、
前記作成した配信用ストリームデータを前記ネットワーク経由で、前記各参加者の端末装置へ出力する出力インターフェースと、
を備えることを特徴とするストリームデータ配信装置。
【請求項２】
前記ルールテーブルは、書き換え可能な記憶媒体に記憶され、
前記ストリームデータ配信装置は、
前記ネットワーク経由で、前記各参加者の端末装置から、前記ルールテーブルの設定情報の入力を受け付けると、前記設定情報に基づき、前記ルールテーブルの設定ルールを書き換えるよう構成されていることを特徴とする請求項１に記載のストリームデータ配信装置。
【請求項３】
前記音声特性分析部は、前記各参加者の端末装置から送信された音声ストリームデータの音量に関する特性を分析し、
前記ルールテーブルは、
前記各参加者の端末装置へ送信する映像ストリームデータの情報として、当該端末装置へ送信する映像ストリームデータは、当該端末装置以外の端末装置のうち、その音声ストリームデータの音量が最大の端末装置の映像ストリームデータを選択すべきであるというルールを含んでいることを特徴とする請求項１または請求項２に記載のストリームデータ配信装置。
【請求項４】
前記音声特性分析部は、前記各参加者の端末装置から送信された音声ストリームデータの音量に関する特性を分析し、
前記ルールテーブルは、
前記各参加者の端末装置へ送信する映像ストリームデータの情報として、当該端末装置へ送信する映像ストリームデータは、当該端末装置以外の端末装置のうち、その音声ストリームデータの音量が所定の閾値を新たに超えた端末装置から送信された映像ストリームデータを選択すべきであるというルールを含んでいることを特徴とする請求項１または請求項２に記載のストリームデータ配信装置。
【請求項５】
前記映像ストリーム選択部は、前記映像ストリームデータの選択を行った選択時刻を前記ストリームデータ配信装置の記憶部に記憶し、前回映像ストリームデータの選択を行った時刻から所定時間経過後に、新たな映像ストリームデータを選択するよう構成されていることを特徴とする請求項３または請求項４に記載のストリームデータ配信装置。
【請求項６】
ネットワーク経由で、各端末装置から各参加者の音声ストリームデータと映像ストリームデータとを受信し、前記音声ストリームデータに基づき、前記受信した映像ストリームデータのうち、前記各端末装置へ送信する映像ストリームデータを選択するストリームデータ配信装置を用いたストリームデータ配信方法であって、
前記ストリームデータ配信装置が、
前記各参加者の端末装置から送信された音声ストリームデータおよび映像ストリームデータの入力を受け付けるステップと、
前記各参加者の端末装置から送信された音声ストリームデータの特性を分析するステップと、
前記各参加者の端末装置の識別情報ごとに、前記分析結果に対して、前記ストリームデータ配信装置が選択すべき映像ストリームデータの情報を示したルールテーブルおよび前記分析結果を参照して、前記受信した映像ストリームデータから前記各参加者の端末装置へ送信する映像ストリームデータを選択するステップと、
前記選択した映像ストリームデータと、前記各参加者の端末装置から受信した音声ストリームデータとに基づいて配信用ストリームデータを作成するステップと、
前記作成した配信用ストリームデータを前記ネットワーク経由で、前記各参加者の端末装置へ出力するステップと、
を実行することを特徴とするストリームデータ配信方法。
【請求項７】
前記ルールテーブルは、書き換え可能な記憶媒体に記憶され、
前記ストリームデータ配信装置は、
前記ネットワーク経由で、前記各参加者の端末装置から、前記ルールテーブルの設定情報の入力を受け付けるステップと、
前記入力された設定情報に基づき、前記ルールテーブルの設定ルールを書き換えるステップと、
さらに実行することを特徴とする請求項６に記載のストリームデータ配信方法。
【請求項８】
前記各参加者の端末装置から送信された音声ストリームデータの特性を分析するステップでは、前記各参加者の端末装置から送信された音声ストリームデータの音量に関する特性を分析し、
前記ルールテーブルは、
前記各参加者の端末装置へ送信する映像ストリームデータの情報として、当該端末装置へ送信する映像ストリームデータは、当該端末装置以外の端末装置のうち、その音声ストリームデータの音量が最大の端末装置の映像ストリームデータを選択すべきであるというルールを含んでいることを特徴とする請求項６または請求項７に記載のストリームデータ配信方法。
【請求項９】
前記各参加者の端末装置から送信された音声ストリームデータの特性を分析するステップでは、前記各参加者の端末装置から送信された音声ストリームデータの音量に関する特性を分析し、
前記ルールテーブルは、
前記各参加者の端末装置へ送信する映像ストリームデータの情報として、当該端末装置へ送信する映像ストリームデータは、当該端末装置以外の端末装置のうち、その音声ストリームデータの音量が所定の閾値を新たに超えた端末装置から送信された映像ストリームデータを選択すべきであるというルールを含んでいることを特徴とする請求項６または請求項７に記載のストリームデータ配信方法。
【請求項１０】
前記各参加者の端末装置へ送信する映像ストリームデータを選択するステップは、前記映像ストリームデータの選択を行った時刻を前記ストリームデータ配信装置の記憶部に記憶するステップをさらに実行し、
前回の映像ストリームデータの選択を行った時刻から所定時間経過後に、新たな映像ストリームデータを選択することを特徴とする請求項８または請求項９に記載のストリームデータ配信方法。
【請求項１１】
コンピュータに請求項６ないし請求項１０のいずれか１項に記載のストリームデータ配信方法を実行させることを特徴とするストリームデータ配信用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリームデータ配信装置、ストリームデータ配信方法およびそのプログラムに関する。
【背景技術】
【０００２】
従来から、参加者（端末装置）の音声情報を分析し、所定の映像ストリームデータ等を選択して、参加者全員の端末装置へ配信するビデオ会議システムがある。
【０００３】
例えば、特許文献１には、音量（参加者の声）が最も大きい端末装置の映像ストリームデータを各参加者の端末装置へ配信する技術が開示されている。
【特許文献１】特開平１０-１３８０３号公報（請求項１等）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に開示された技術において、テレビ会議制御装置（ストリームデータ配信装置）が各端末装置へ配信するストリームデータは画一的なものであった。すなわち、例えば、ストリームデータ配信装置が、各端末装置の要求を反映したストリームデータを配信することはできないという問題があった。
【０００５】
そこで、本発明は、前記した問題を解決するストリームデータ配信装置等を提供することを課題とする。
【課題を解決するための手段】
【０００６】
前記した課題を解決するため、本発明は、ネットワーク経由で、各端末装置から各参加者の音声ストリームデータと映像ストリームデータとを受信し、前記音声ストリームデータに基づき、前記受信した映像ストリームデータのうち、前記各端末装置へ送信する映像ストリームデータを選択するストリームデータ配信装置を、前記各参加者の端末装置から送信された音声ストリームデータおよび映像ストリームデータの入力を受け付ける入力インターフェースと、前記各参加者の端末装置から送信された音声ストリームデータの特性を分析する音声特性分析部と、前記各参加者の端末装置の識別情報ごとに、前記分析結果に対して、選択すべき映像ストリームデータの情報を示したルールテーブルと、前記分析結果および前記ルールテーブルを参照して、前記受信した映像ストリームデータのうち、前記各参加者の端末装置へ送信する映像ストリームデータを選択する映像ストリーム選択部と、前記選択した映像ストリームデータと、前記参加者の端末装置から受信した音声ストリームデータとに基づいて配信用ストリームデータを作成するストリームデータ作成部と、前記作成した配信用ストリームデータを前記ネットワーク経由で、前記各参加者の端末装置へ出力する出力インターフェースとを備える構成とした。その他の構成については、後記する実施の形態で述べる。
【０００７】
なお、請求項における音声特性分析部は、後記する実施の形態の音声特性分析モジュールをＣＰＵ（Central Processing Unit）が実行することにより実現され、映像ストリーム選択部は、ＣＰＵが、後記する実施の形態の映像ストリーム選択モジュールを実行することにより実現されるものとする。
また、請求項におけるストリームデータ作成部は、ＣＰＵが、後記する実施の形態の多重化モジュールと、形成モジュールおよび音声・映像フレーム作成モジュールの少なくとも一方とを実行することにより実現されるものとする。
【発明の効果】
【０００８】
本発明によれば、各端末装置からの音声ストリームデータに応じて、各端末装置ごとに映像ストリームデータを選択し、送信することができる。また、各参加者がルールテーブルに自分が要求する映像ストリームデータの選択方法（設定ルール）を設定することで、参加者は自分の要求に応じた映像ストリームデータの配信を受けることができる。
【０００９】
したがって、例えば、ルールテーブルにおける参加者Ａの端末装置の設定ルールとして「自分の端末装置へ送信する映像ストリームデータは、自分の端末装置以外の端末装置のうち、その音声ストリームデータの音量が最大の端末装置の映像ストリームデータを選択すべきである」というルールを設定したとする。
ここで、参加者Ａの声が最も声が大きければ、参加者Ａの端末装置には二番目に大きい声の参加者の映像ストリームデータを送信（表示）することができる。
つまり、最も声が大きい参加者Ａは、自分の映像ではなく二番目に声が大きい参加者（例えば、議論をしている相手）の映像を見ながら議論をすることができる。
【００１０】
また、例えば、ルールテーブルにおける参加者Ａの端末装置の設定ルールとして「自分の端末装置へ送信する映像ストリームデータは、自分の端末装置以外の端末装置のうち、その音声ストリームデータの音量が所定の閾値を新たに超えた端末装置から送信された映像ストリームデータを選択すべきである」というルールを設定したとする。
ここで、参加者Ａが発言をしているときに、他の参加者が所定の閾値以上の音量の音声で異議を挟んだときには、異議を挟んだ参加者の映像ストリームデータが参加者Ａの端末装置に送信（表示）される。
つまり、参加者Ａは誰が異議を挟んだかを知ることができる。
【００１１】
また、ストリームデータ配信装置は、前回の映像ストリームデータの選択時刻から所定時間経過後に、新たな映像ストリームデータを選択し送信するので、例えば、各参加者が次々に発言したときに、端末装置に送信（表示）される映像ストリームデータが短時間の間に次々に変わってしまうのを防止できる。つまり、いったん端末装置に表示された映像ストリームデータが一瞬で消えてしまうのを防止できる。
【発明を実施するための最良の形態】
【００１２】
《基本的構成》
以下、本発明のストリームデータ配信装置等を実施するための最良の形態（以下「実施の形態」という）を、図面を参照して詳細に説明する。
【００１３】
まず、本実施の形態のストリームデータ配信装置の基本的構成を説明し、その後に特徴的構成について説明する。
図１は、本発明の実施の形態のストリームデータ配信装置を含むストリームデータ配信システムの概要を示した図である。図１を用いて、本システムの概要を説明する。
なお、以下ストリームデータは適宜ストリームと略す。
【００１４】
本実施の形態のストリームデータ配信システムは、ビデオ会議等の参加者Ａ〜Ｄの端末装置１（１ａ〜ｄ）と、端末装置１（１ａ〜ｄ）から参加者Ａ〜Ｄのストリームデータを受信し、端末装置１（１ａ〜ｄ）へストリームデータを送信（配信）するストリームデータ配信装置１１と、これらを接続するネットワーク５とを含んで構成される。
【００１５】
端末装置１（１ａ〜ｄ）は、ネットワーク５経由で参加者Ａ〜Ｄの映像ストリームデータおよび音声ストリームデータの送受信を行う手段である。
端末装置１（１ａ〜ｄ）は、例えば、ＰＣ（Personal Computer）等で構成され、キーボード、マウス等の入力手段と、液晶モニタ等の表示手段と、スピーカ等の音声出力手段と、カメラ等の撮像手段と、マイク等の音声入力手段とが接続される。
【００１６】
例えば、端末装置１ａは、カメラ等で撮像された参加者Ａの映像をリアルタイムの映像ストリームデータとして、また、マイク等で入力された参加者Ａの声をリアルタイムの音声ストリームデータとしてネットワーク５経由でストリームデータ配信装置１１へ送信する。そして、端末装置１ａは、ネットワーク５経由で参加者Ａ〜Ｄの映像ストリームデータおよび音声ストリームデータを受信すると、映像ストリームデータをモニタ等の表示手段に表示させ、音声ストリームデータをスピーカ等の音声出力手段に出力する。
【００１７】
なお、ネットワーク５は、例えば、ＩＰ網である。ストリームデータ配信装置１１の詳細については、後記する。
ちなみに、図１において端末装置１は端末装置１ａ〜ｄの４台しか描いていないが、もちろん５台以上の端末装置１で構成されていてもよい。以下に説明する図２では、図１のネットワーク５にＮ台の端末装置１が接続された場合を例に説明する。
【００１８】
（ストリームデータ配信装置）
図２は、図１のストリームデータ配信装置の構成を示すブロック図である。図２に示すようにストリームデータ配信装置１１は、ＣＰＵ７と、メモリ８と、記憶部９と、入力インターフェース２０と、出力インターフェース２８とを含んで構成される。
【００１９】
入力インターフェース２０は、ネットワーク５（図１参照）経由で、端末装置１（１ａ〜ｎ）から送信された映像ストリームデータおよび音声ストリームデータの入力を受け付ける。
出力インターフェース２８は、ネットワーク５経由で端末装置１（１ａ〜ｎ）へ配信用ストリームデータ（音声ストリームデータおよび映像ストリームデータ）を出力するためのインターフェースである。
記憶部９は、ストリームデータ配信用プログラム９１と、ルールテーブル９２とを記憶し、具体的にはハードディスク等の書き換え可能な記憶媒体で構成される。
なお、本実施の形態のストリームデータ配信方法等は、ＣＰＵ７が、記憶部９のストリームデータ配信用プログラム９１をメモリ８上にロードし実行することにより実現されるものとする。ストリームデータ配信用プログラム９１およびルールテーブル９２の詳細については、後記する。
【００２０】
次に、図３および図４を用いて、ＣＰＵ７によるストリームデータ配信用プログラム９１の実行処理を詳細に説明する（適宜図１および図２参照）。
図３は、図２のストリームデータ配信用プログラムの構成を示したブロック図である。図４は、図３のストリームデータ配信用プログラムの処理手順を説明するために引用した図である。
【００２１】
図３に示すとおり、ストリームデータ配信用プログラム９１は、音声・映像分離モジュール２１と、音声特性分析モジュール２２と、映像選択モジュール２３と、映像ストリーム合成モジュール２４と、音声ストリーム合成モジュール２５と、音声・映像フレーム作成モジュール２６と、形成モジュール２７とを含んで構成される。なお、映像選択モジュール２３と映像ストリーム合成モジュール２４とをまとめて、適宜映像ストリーム選択モジュール３０という。
【００２２】
（音声・映像分離モジュール）
音声・映像分離モジュール２１は、ＣＰＵ７に、ストリームデータを音声ストリームデータと映像ストリームデータとに分けさせるためのモジュールである。
【００２３】
（音声特性抽出モジュール）
音声特性分析モジュール２２は、ＣＰＵ７に、音声ストリームデータの音声特性を分析させるためのモジュールである。
【００２４】
（映像選択モジュール）
映像選択モジュール２３は、端末装置１（１ａ〜ｎ）の音声特性の分析結果およびルールテーブル９２（図２参照）に基づき、ＣＰＵ７に、各端末装置１（１ａ〜ｎ）へ送信すべき映像ストリームデータを選択させるモジュールである。
ここでルールテーブル９２は、音声特性分析モジュール２２の分析結果に対して、映像ストリーム合成モジュール２４で選択すべき映像ストリームデータの情報を示したものである。例えば、ルールテーブル９２に「最も音量の大きい端末装置から送信された映像ストリームデータを選択する」というルールが設定されていたとき、ＣＰＵ７はこの分析結果に基づき、最も音量の大きい端末装置１はどれかを特定し、この端末装置１の識別情報等を含む映像ストリームデータの選択信号を出力する。
【００２５】
（映像ストリーム合成モジュール）
映像ストリーム合成モジュール２４は、ＣＰＵ７に、映像選択モジュール２３の選択信号（選択結果）に基づき、端末装置１（１ａ〜ｎ）から受信した映像ストリームデータのうち、端末装置１（１ａ〜ｎ）へ送信する映像ストリームデータを選択させるためのモジュールである
【００２６】
（音声ストリーム合成モジュール）
音声ストリーム合成モジュール２５は、ＣＰＵ７に、音声・映像分離モジュール２１で分離された各端末装置１（１ａ〜ｎ）の音声ストリームデータについて音声の重ね合わせ等の処理をして、音声ストリームデータの合成を行わせるモジュールである。
【００２７】
（音声・映像フレーム作成モジュール）
音声・映像フレーム作成モジュール２６は、ＣＰＵ７に、音声ストリーム合成モジュール２５で合成された音声ストリームデータと、映像ストリーム合成モジュール２４で選択された映像ストリームデータとを合わせた音声映像フレームを作成させるモジュールである。
【００２８】
（形成モジュール）
形成モジュール２７は、ＣＰＵ７に、音声・映像フレームからパケットやＡＴＭ（Asynchronous Transfer Mode）セル、すなわち端末装置１（１ａ〜ｎ）へ送信する映像ストリームデータおよび音声ストリームデータ（配信用ストリームデータ）を作成（形成）させるモジュールである。
【００２９】
次に、図４を用いて、ストリームデータ配信用プログラム９１の各構成モジュールの処理手順、具体的にはＣＰＵ７による各モジュールの実行処理を説明する（適宜図１〜図３参照）。
なお、ストリームデータ配信装置１１は、端末装置１（１ａ〜ｎ）とのストリームデータの送受信のため、予め端末装置１（１ａ〜ｎ）との間で通信セッションを確立しているものとする。つまり、ストリームデータ配信装置１１は、端末装置１（１ａ〜ｎ）から、端末装置１（１ａ〜ｎ）のＩＰアドレス等を受け取り、記憶部９等に記憶しているものとする。
また、端末装置１（１ａ〜ｎ）から送信される音声ストリームデータおよび映像ストリームデータは、データのヘッダ情報にデータの種別（音声ストリームデータか映像ストリームデータか）や送信元の端末装置１（１ａ〜ｎ）のＩＰアドレス等の識別情報を持っているものとする。
【００３０】
まず、図４の入力インターフェース２０で、端末装置１（１ａ〜ｎ）から送信された音声ストリームデータおよび映像ストリームデータ（音声・映像ストリーム５０）の入力を受け付ける。そして、音声・映像ストリームデータ５０を音声・映像ストリームデータ５１に変換して、音声・映像分離モジュール２１に出力する（ステップＳ３０１）。
【００３１】
音声・映像分離モジュール２１で、入力インターフェース２０から音声・映像ストリームデータ５１を受け取ると、このデータのヘッダ情報を参照して、音声・映像ストリームデータ５１を音声ストリーム５２ａ〜ｎと、映像ストリーム５５ａ〜ｎとに分ける（ステップＳ３０２）。そして、音声ストリーム５２ａ〜ｎは音声特性分析モジュール２２および音声ストリーム合成モジュール２５へ出力し、映像ストリーム５５ａ〜ｎは映像ストリーム合成モジュール２４へ出力する。
【００３２】
音声特性分析モジュール２２で、音声・映像分離モジュール２１から音声ストリーム５２ａ〜ｎを受け取ると、これらの音声ストリームデータの特性を分析する（ステップＳ３１１）。そして、この分析結果を分析情報５３として映像選択モジュール２３に出力する。
なお、ここでの音声ストリーム５２ａ〜ｎの特性の分析とは、例えば、音声ストリーム５２ａ〜ｎそれぞれの音量（音圧レベル）の特性の分析であり、分析情報５３は、音声ストリームデータ５２〜ｎの送信元の端末装置１（１ａ〜ｎ）の識別情報ごとに、端末装置１（１ａ〜ｎ）の音量を示したものが考えられる。
【００３３】
映像選択モジュール２３で、音声特性分析モジュール２２から分析情報５３を受け取ると、映像ストリームデータの選択信号を出力する。すなわち、分析情報５３およびルールテーブル９２を参照して、どの端末装置１（１ａ〜ｎ）の映像ストリームデータを送信するかを選択する。そして、この選択結果を映像選択信号５４として、映像ストリーム合成モジュール２４に出力する（ステップＳ３１２）。
【００３４】
例えば、前記したステップＳ３１２において、ルールテーブル９２に最も音量の大きい参加者の映像を選択する旨のルールが設定されていたときには、分析情報５３に基づき、最も音量が大きい音声ストリームデータを送信してきた端末装置１（１ａ〜ｎ）を特定し、この端末装置１（１ａ〜ｎ）の識別情報（ＩＰアドレス等）を含む映像選択信号５４を作成する。そして、この信号を映像ストリーム合成モジュール２４に出力する。
【００３５】
映像ストリーム合成モジュール２４で、映像選択モジュール２３から映像選択信号５４を受け取り、音声・映像分離モジュール２１から映像ストリーム５５ａ〜ｎを受け取ると、映像ストリームデータの選択処理を行う。そして、この選択結果に基づき、映像ストリーム５６を作成する（ステップＳ３１３）。すなわち、映像選択信号５４に含まれる端末装置１（１ａ〜ｎ）の識別情報等に基づき、映像ストリーム５５ａ〜ｎの中から、端末装置１（１ａ〜ｎ）へ送信する映像ストリームデータを選択し、映像ストリーム５６を作成する。
【００３６】
例えば、前記したステップＳ３１３において、映像選択信号５４に端末装置１ａのＩＰアドレスが含まれていたとき、映像ストリーム合成モジュール２４で、端末装置１ａからの映像ストリーム５５ａを選択する。そして、映像ストリーム５５ａに基づいて映像ストリーム５６を作成し、このデータを音声・映像フレーム作成モジュール２６に出力する。
【００３７】
一方、音声ストリーム合成モジュール２５で、ステップＳ３０２において音声・映像分離モジュール２１から出力された音声ストリーム５２ａ〜ｎを受け取ると、音声ストリーム５２ａ〜ｎの合成処理を行い、音声ストリーム５７を作成する（ステップＳ３２１）。そして、この音声ストリーム５７を、音声・映像フレーム作成モジュール２６に出力する。
【００３８】
音声・映像フレーム作成モジュール２６で、映像ストリーム合成モジュール２４から映像ストリーム５６を受け取り、音声ストリーム合成モジュール２５から音声ストリーム５７を受け取ると、映像ストリーム５６と音声ストリーム５７とを合成した音声・映像フレーム５８を作成する（ステップＳ３３１）。そして、この音声・映像フレーム５８を形成モジュール２７に出力する。
【００３９】
形成モジュール２７で、音声・映像フレーム５８を受け取ると、このフレームから音声・映像ストリーム６２（例えば、パケットやＡＴＭセル等の配信用ストリームデータ）を作成する（ステップＳ３３２）。そして、この音声・映像ストリーム６２を出力インターフェース２８に出力する。
【００４０】
そして、出力インターフェース２８で、音声・映像ストリーム６２を受け取ると、音声・映像ストリーム６２から音声・映像ストリーム６０に作成する（ステップＳ３４１）。そして、このデータを端末装置１（１ａ〜ｎ）へ送信する。
【００４１】
このようにして、ストリームデータ配信用プログラム９１は、各端末装置１（１ａ〜ｎ）からの音声ストリームデータの音量等に応じて、各端末装置１（１ａ〜ｎ）へ送信する映像ストリームデータを選択し、送信する。
すなわち、例えば、端末装置１ａ（参加者Ａ）からの音声ストリームデータの音量が最大であった場合には、ストリームデータ配信装置１１は端末装置１（１ａ〜ｎ）それぞれに端末装置１ａの映像ストリームデータ（参加者Ａの映像）を送信する。
【００４２】
なお、ストリームデータ配信用プログラム９１の構成は、前記した構成に限定されない。
図５は、図２のストリームデータ配信用プログラムの構成を示したブロック図である。図６は、図５のストリームデータ配信用プログラムの処理手順を説明するために引用した図である。前記の構成と同様の構成要素は同じ符号を付して、説明を省略する。
例えば、図５に示すように、ストリームデータ配信用プログラム９１は、図３の音声ストリーム合成モジュール２５と音声・映像フレーム作成モジュール２６の代わりに、音声ストリームデータおよび映像ストリームデータの多重化処理を行う多重化モジュール２９を備えるようにしてもよい。
【００４３】
すなわち、図３のストリームデータ配信用プログラム９１の構成では、図４に示すように音声・映像フレーム作成モジュール２６で映像ストリーム５６と音声ストリーム５７とを合成してから、配信用データへ変換するようにしたが、図６に示すように、映像ストリーム合成モジュール２４から出力された映像ストリーム５６は、形成モジュール２７１で映像ストリーム５９とし、音声ストリーム５７は形成モジュール２７２で音声ストリーム６１とする。そして、映像ストリーム５９と音声ストリーム６１とを多重化モジュール２９で多重化して、出力インターフェース２８に出力するようにしてもよい。
【００４４】
《特徴的構成》
次に、本実施の形態のストリームデータ配信装置１１の特徴的構成について説明する。前記した構成と同様の構成要素は同じ符号を付して、説明を省略する。
【００４５】
図７は、本実施の形態のストリームデータ配信装置の構成を示すブロック図である。図８は、図７のストリームデータ配信用プログラムの構成を示すブロック図である。
【００４６】
図７に示すように、ストリームデータ配信装置１１は記憶部９に映像ストリームデータの選択が行われた選択時刻を記憶する選択時刻記憶部９３をさらに備える。選択時刻記憶部９３の詳細は後記する。
【００４７】
また、図７のルールテーブル９２は、各端末装置１（１ａ〜ｎ）の識別情報（ＩＰアドレス等）ごとに音声特性分析モジュール２２の分析結果に対して、選択すべき映像ストリームデータの情報を記憶している。
【００４８】
さらに、図８に示すように、ストリームデータ配信用プログラム９１は、映像選択モジュール２３０を備えている。
この映像選択モジュール２３０は、前記したルールテーブル９２および音声特性分析モジュール２２の分析結果を参照して、端末装置１（１ａ〜ｎ）ごとに映像ストリームデータを選択するモジュールである。
【００４９】
以上のような構成により、ストリームデータ配信装置１１は、ルールテーブル９２の端末装置１（１ａ〜ｎ）ごとに設定されたルールに従って、映像ストリームデータを選択することができる。
次に、本実施の形態の特徴的構成について詳細に説明する。
【００５０】
（ルールテーブル）
以下の表１にルールテーブル９２を例示する。表１に例示されるようにルールテーブル９２は、端末装置１（１ａ〜ｎ）の識別情報（ＩＰアドレス等）と、各端末装置１（１ａ〜ｎ）に設定されるルール（設定ルール）とが記憶される。
このルールテーブル９２は、表１に例示されるように、端末装置１（１ａ〜ｎ）の名前や、端末装置１（１ａ〜ｎ）の利用者名（参加者名）の情報を含んでいてもよい。
【００５１】
【表１】
2005311916.tif 000003
【００５２】
例えば、表１のルールテーブル９２のＮｏ.１の情報は、ＩＰアドレス「aaa.aaa.aaa.aaa」の端末装置１ａの利用者は「Ａ」という参加者であり、この端末装置１ａに設定されるルールは、「自分の端末装置以外の音声ストリームデータの音量が最大の端末装置の参加者を選択（自分の端末装置へ送信する映像ストリームデータは、自分の端末装置以外の端末装置のうち、その音声ストリームデータの音量が最大の端末装置の映像ストリームデータを選択すべき）」というルールであることを示している。なお、このルールテーブル９２には、「参加者Ａ，Ｂ，Ｃ，Ｄに固定（自分の端末装置へ送信する映像ストリームデータは、端末装置１ａ〜ｄからのもののみ）」というルールを設定してもよい。
【００５３】
なお、このルールテーブル９２の内容は、端末装置１（１ａ〜ｎ）およびネットワーク５経由で書き換え可能である。
すなわち、参加者が端末装置１（１ａ〜ｎ）の入力手段等から設定ルールの設定情報を入力し、ストリームデータ配信装置１１がこれを受け付け、ルールテーブル９２を書き換えるようにしてもよい。
なお、このルールテーブル９２の書き換えは、ストリームデータ配信装置１１が端末装置１（１ａ〜ｎ）へストリームデータの送信を開始する前でもあってもよいし、開始した後であってもよい。このようにすることで、例えば、参加者Ａ〜Ｄは、端末装置１（１ａ〜ｄ）を用いてビデオ会議等を開始する前にルールの設定をしておき、会議の様子をみて途中で設定ルールの変更をすることも可能になる。
このルールテーブル９２を参照した映像選択モジュール２３０の映像ストリームデータの選択処理の詳細は後記する。
【００５４】
（選択時刻記憶部）
選択時刻記憶部９３は、映像選択モジュール２３０により映像ストリームデータの選択が行われた選択時刻を記憶する。そして、ＣＰＵ７は映像選択モジュール２３０に基づき、前回の映像ストリームデータの選択時刻から所定時間（例えば、１分間）経過後に、新たな映像ストリームデータを選択するようにする。ここで所定時間が経過したか否かは、ストリームデータ配信装置１１内のタイマ（図示せず）等を参照するものとする。
このようにすることで、例えば、本システムの参加者Ａ〜Ｄが短時間の間に次々に発言したときに、これに応じて端末装置１（１ａ〜ｄ）に対して選択（送信）される映像ストリームデータも次々に変わってしまうのを防止できる。つまり、端末装置１（１ａ〜ｄ）のモニタ等から参加者Ａ〜Ｄの映像が一瞬で消えてしまうのを防止できる。
【００５５】
次に、図９を用いて、前記した構成に基づくストリームデータ配信用プログラム９１の処理手順、具体的にはＣＰＵ７による各モジュールの実行処理を説明する（適宜図１〜図８参照）。図９は、図８のストリームデータ配信用プログラムの処理手順を説明するために引用した図である。前記した構成と同様の構成要素は同じ符号を付して、説明を省略する。
なお、図９の映像選択モジュール２３０ａ〜ｎ、映像ストリーム合成モジュール２４ａ〜ｎ、映像ストリーム選択モジュール３０ａ〜ｎ、音声・映像フレーム作成モジュール２６ａ〜ｎおよび形成モジュール２７ａ〜ｎはそれぞれ、映像選択モジュール２３０、映像ストリーム合成モジュール２４、映像ストリーム選択モジュール３０、音声・映像フレーム作成モジュール２６および形成モジュール２７の端末装置１ａ〜ｎに対する処理を示すものとする。
【００５６】
ここでは、ストリームデータ配信装置１１が端末装置１ａ（参加者Ａ）への映像ストリームデータを選択する処理を例に説明する。
なお、図９におけるステップＳ９０１〜ステップＳ９１１までの処理は、図４のステップＳ３０１〜ステップＳ３１１までの処理と同様であるので説明を省略し、図９のステップＳ９１２ａ（映像選択モジュール２３０ａ）の処理から説明する。
【００５７】
まず、映像選択モジュール２３０ａでステップＳ９１１において音声特性分析モジュール２２から出力された分析情報５３を受け取ると、端末装置１ａへ送信する映像ストリームデータの選択を行う（ステップＳ９１２ａ）。具体的には、映像選択モジュール２３０ａで、分析情報５３およびルールテーブル９２の端末装置１ａの設定ルールに基づき、端末装置１ａへ送信する映像ストリームデータの選択を行う。そして、この情報を映像選択信号５４ａとして映像ストリーム合成モジュール２４ａに出力する。
【００５８】
なお、映像ストリームデータの選択処理を行うタイミングは、前回の映像ストリームデータの選択時刻から所定時間経過したときとする。つまり、映像選択モジュール２３０ａで、選択時刻記憶部９３に記録された前回の映像ストリームデータの選択時刻を参照し、前回の選択時刻から所定時間経過していると判断したときは、映像ストリームデータの選択を行うが、まだ所定時間経過していないと判断したときには、映像ストリームデータの選択は行わない。そして、映像選択モジュール２３０ａで映像ストリームデータの選択を行ったときには、その選択時刻を選択時刻記憶部９３に記録する。
このようにすることで、例えば、参加者Ａ〜Ｄが短時間の間に次々に発言したときに、これに応じて端末装置１（１ａ〜ｄ）に対して選択（送信）される映像ストリームデータも次々に変わってしまうのを防止できる。
【００５９】
次に、映像ストリーム合成モジュール２４ａで、端末装置１ａへ送信すべき映像ストリームデータを選択する（ステップＳ９１３ａ）。すなわち、映像ストリーム合成モジュール２４ａで、映像選択モジュール２３０ａからの映像選択信号５４ａに基づき、音声・映像分離モジュール２１から受け取った映像ストリーム５５ａ〜ｎの中から、端末装置１ａへ送信すべき映像ストリーム５６ａを選択する。そして、この選択結果（映像ストリーム５６ａ）を音声・映像フレーム作成モジュール２６ａに出力する。
【００６０】
音声・映像フレーム作成モジュール２６ａで、映像ストリーム合成モジュール２４ａから受け取った映像ストリーム５６ａと、音声ストリーム合成モジュール２５から受け取った音声ストリーム５７とを合成して音声・映像フレーム５８ａを作成する（ステップＳ９３１ａ）。そして、このフレームを形成モジュール２７ａに出力する。
【００６１】
次に、形成モジュール２７ａで、音声・映像フレーム５８ａを受け取ると、これをＡＴＭセル等に変換する処理を行い、音声・映像ストリーム６３ａを作成する（ステップＳ９３２ａ）。そして、この音声・映像ストリーム６３ａを多重化モジュール２９に出力する。
【００６２】
多重化モジュール２９で、音声・映像ストリーム６３ａ〜ｎを受け取るとこれらのデータの多重化処理を行う（ステップＳ９３３）。すなわち、端末装置１ａ〜ｎの音声・映像ストリーム６３ａ〜ｎから、これらを多重化した音声・映像ストリーム６２を作成し、出力インターフェース２８に出力する。そして、出力インターフェース２８で音声・映像ストリーム６２を受け取ると、これを音声・映像ストリーム６０に変換し（ステップＳ９４１）、ネットワーク５経由で端末装置１（１ａ〜ｎ）へ送信する。
なお、図９のステップＳ９２１は、図４のステップＳ３２１の処理と同様であるので説明を省略する。
この後、端末装置１（１ａ〜ｎ）はネットワーク５経由で、ストリームデータ配信装置１１から映像ストリームデータおよび音声ストリームデータを受信する。そして、端末装置１（１ａ〜ｎ）の表示手段に参加者の映像を表示させ、音声出力手段に参加者の音声を出力させて、ビデオ会議等を行う。
【００６３】
ちなみに、参加者Ａ〜Ｄの端末装置１ａ〜ｄについて、前記した表１に例示するようなルールを設定し、端末装置１ａ（参加者Ａ）の音量が最も大きく、端末装置１ｂ（参加者Ｂ）の音量が二番目に大きかったとき、ストリームデータ配信装置１１により選択される映像ストリームデータは、以下の表２のようになる。
【００６４】
【表２】
2005311916.tif 000004
【００６５】
表２に示すように、ストリームデータ配信装置１１は、端末装置１ａ（参加者Ａ、音量が最大）に対しては、端末装置１ｂ（参加者Ｂ、音量が二番目に大きい）から送信された映像ストリームデータを選択し、端末装置１ｂ〜ｄ（参加者Ｃ、音量が最大ではない）に対しては、端末装置１ａ（参加者Ａ）から送信された映像ストリームデータを選択する。
【００６６】
つまり、前記した基本的構成では、ストリームデータ配信装置１１が端末装置１（１ａ〜ｎ）に対し個別に映像ストリームデータを選択するものではないので、各参加者に一律同じ映像ストリームデータが送信されるところ、前記した特徴的構成によれば、参加者Ａ〜Ｄがそれぞれルールテーブル９２に自分が要求する映像ストリームデータの選択方法（設定ルール）を設定することで、参加者Ａ〜Ｄはそれぞれの要求に応じた映像ストリームデータが配信されることになる。
したがって、例えば、本システムにおいて参加者Ａが、自分と議論している相手の映像を見ながら議論したいときには、ルールテーブル９２の端末装置１ａのルールとして、自分の端末装置１ａ以外の端末装置で音量が最大の映像ストリームデータを選択する旨を設定すればよい。
このようにすることで、参加者Ａ（自分）の声が最も大きければ、端末装置１ａに二番目に大きい声の参加者（議論の相手）の映像が表示され、自分の声が二番目に大きければ最も声の大きい参加者の映像が表示されるようになる。つまり、参加者Ａは、議論の相手の映像を見ながら議論することができるようになる。
【００６７】
また、ルールテーブル９２に記述される設定ルールは、前記した例に限定されない。
例えば、設定ルールとして、「自分の端末装置へ送信する映像ストリームデータは、自分の端末装置以外の端末装置のうち、その音声ストリームデータの音量が所定の閾値を新たに超えた端末装置から送信された映像ストリームデータを選択する」というルールを設定してもよい。
すなわち、例えば、参加者Ａが発言しているときに、参加者Ｂが異議を挟んだとき（所定閾値以上の音量で発言したとき）に、端末装置１に参加者Ｂの映像を送信するルールを設定するようにしてもよい。
ここで、ルールテーブル９２の端末装置１（１ａ〜ｄ）のルールとして前記したルールを設定し、参加者Ａが所定の閾値以上の音量で発言中に、参加者Ｂが所定の閾値以上の音量で異議を挟んだとき、端末装置１（１ａ〜ｄ）に対して送信される映像ストリームデータが、どのように変化するかを以下の表３を用いて説明する。
【００６８】
【表３】
2005311916.tif 000005
【００６９】
すなわち、表３に示すように、ストリームデータ配信装置１１は端末装置１ａ（参加者Ａ）に対して、端末装置１ａ（参加者Ａ）以外の映像ストリームデータを送信し、端末装置１（１ｂ〜ｄ）に対して、端末装置１ａ（参加者Ａ）の映像ストリームを送信していたところ、参加者Ｂが異議を挟んだことで、端末装置１ａ（参加者Ａ）、端末装置１ｃ（参加者Ｃ）、端末装置１ｄ（参加者Ｄ）に対して端末装置１ｂ（参加者Ｂ）の映像ストリームデータを選択（送信）するようになる。したがって、参加者Ａ、参加者Ｃ、参加者Ｄは、参加者Ｂの映像を見て、異議を挟んだのは参加者Ｂであることを知ることができる。
なお、ここで、端末装置１ｂに送信される映像ストリームデータは、端末装置１ａ（参加者Ａ）のデータままとなる。
【００７０】
また、ルールテーブル９２の端末装置１（１ａ〜ｎ）の設定ルールとして複数のルールを設定するとき、ルールテーブル９２は各ルールの適用の優先順位の情報を含んでいてもよい。
【００７１】
例えば、端末装置１ａに対して（１）自分の端末装置へ送信する映像ストリームデータは、自分の端末装置以外の端末装置のうち、その音声ストリームデータの音量が最大の端末装置の映像ストリームデータを選択するルールと、（２）自分の端末装置へ送信する映像ストリームデータは、自分の端末装置以外の端末装置のうち、その音声ストリームデータの音量が所定の閾値（例えば、６０ｄＢ）を新たに超えた端末装置から送信された映像ストリームデータを選択する、という２つルールを設定するとき、（２）のルールを（１）のルールよりも優先的に適用する設定情報を含めるようにしてもよい。
【００７２】
このようにすることで、例えば、参加者Ａ（端末装置１ａ、音量最大）と参加者Ｂ（端末装置１ｂ、音量二番目）とが議論している間に、参加者Ｃ（端末装置１ｃ、音量三番目、音量６０ｄＢ以上）が異議を挟んだときには、（２）のルールを適用するので、端末装置１ａ（参加者Ａ）には端末装置１ｃ（参加者Ｃ）の映像ストリームデータが送信されることになる。
また、（１）のルールを（２）のルールよりも優先的に適用する設定をしたときには、端末装置１ａ（参加者Ａ）へは端末装置１ｂ（参加者Ｂ）の映像ストリームデータが送信されることになる。
【００７３】
なお、図８のストリームデータ配信用プログラム９１の構成では、図９に示すように多重化モジュール２９で音声・映像ストリーム６３ａ〜ｎの多重化処理を行うようにしたが、図１１に示すように、多重化モジュール２９で映像ストリーム５９ａ〜ｎと音声ストリーム６１との多重化処理を行うようにしてもよい。具体的には、図１０に示すようにストリームデータ配信用プログラム９１は、図８の音声ストリーム合成モジュール２５および音声・映像フレーム作成モジュール２６を含まない構成としてもよい。
【００７４】
図１０は、図７のストリームデータ配信用プログラムの構成を示すブロック図である。図１１は、図１０のストリームデータ配信用プログラムの処理手順を説明するために引用した図である。前記した構成と同じ構成要素は同じ符号を付して、説明を省略する。
【００７５】
図１１に示すように、図１０のストリームデータ配信用プログラム９１の処理手順は、形成モジュール２７１ａ〜ｎで端末装置１（１ａ〜ｎ）へ送信する映像ストリーム５９ａ〜ｎを作成し、多重化モジュール２９へ出力する。そして、形成モジュール２７２で音声ストリーム６１を多重化モジュール２９へ出力する。そして多重化モジュール２９で、映像ストリーム５９ａ〜ｎと音声ストリーム６１とを多重化して音声・映像ストリーム６２を作成する。
【００７６】
本発明は、前記した実施の形態に限定されず、発明の趣旨を逸脱しない範囲で変形可能である。
例えば、本実施の形態ではストリームデータ配信装置１１は、各端末装置１（１ａ〜ｎ）の音声ストリームデータの音量等に基づいて映像ストリームデータを選択するようにしたが、音声ストリームデータの周波数等や、映像ストリームデータの特徴等や、映像ストリームデータの特徴と音声ストリームデータの特徴の組み合わせで選択するようにしてもよい。さらに、選択される対象は映像ストリームデータの他に、音声ストリームデータであってももちろんよい。
また、前記した実施の形態では、本システムをビデオ会議等に適用する場合を例に説明したが、メッセンジャー等によるコミュニケーションに適用してもよい。
【００７７】
なお、本発明の実施の形態に係る、ストリームデータ配信装置１１および端末装置１（１ａ〜ｎ）は、コンピュータおよびストリームデータ配信用プログラムによって実現することができ、このプログラムをコンピュータに読み取り可能な記憶媒体（ＣＤ−ＲＯＭ等）に記憶し、その記憶媒体によって提供することも可能である。また、そのプログラムを、ネットワーク５を通して提供することも可能である。
ここでいうコンピュータシステムとは、ＯＳ（Operating System）等のソフトウェアや周辺機器等のハードウエアを含むものである。
【図面の簡単な説明】
【００７８】
【図１】本発明の実施の形態のストリームデータ配信装置を含むストリームデータ配信システムの概要を示した図である。
【図２】図１のストリームデータ配信装置の構成を示すブロック図である。
【図３】図２のストリームデータ配信用プログラムの構成を示したブロック図である。
【図４】図３のストリームデータ配信用プログラムの処理手順を説明するために引用した図である。
【図５】図２のストリームデータ配信用プログラムの構成を示したブロック図である。
【図６】図５のストリームデータ配信用プログラムの処理手順を説明するために引用した図である。
【図７】本実施の形態のストリームデータ配信装置の構成を示すブロック図である。
【図８】図７のストリームデータ配信用プログラムの構成を示すブロック図である。
【図９】図８のストリームデータ配信用プログラムの処理手順を説明するために引用した図である。
【図１０】図７のストリームデータ配信用プログラムの構成を示すブロック図である。
【図１１】図１０のストリームデータ配信用プログラムの処理手順を説明するために引用した図である。
【符号の説明】
【００７９】
１（１ａ〜ｎ）  端末装置
５      ネットワーク
７      ＣＰＵ
８      メモリ
９      記憶部
１１    ストリームデータ配信装置
２０    入力インターフェース
２１    音声・映像分離モジュール
２２    音声特性分析モジュール（音声特性分析部）
２３    映像選択モジュール
２４（２４ａ〜ｎ）  映像ストリーム合成モジュール
２５    音声ストリーム合成モジュール
２６（２６ａ〜ｎ）  音声・映像フレーム作成モジュール（ストリームデータ作成部）
２７（２７ａ〜ｎ）  形成モジュール（ストリームデータ作成部）
２８    出力インターフェース
２９    多重化モジュール（ストリームデータ作成部）
３０（３０ａ〜ｎ）  映像ストリーム選択モジュール（映像ストリーム選択部）
９１    ストリームデータ配信用プログラム
９２    ルールテーブル
９３    選択時刻記憶部
２３０（２３０ａ〜ｎ）  映像選択モジュール
２７１（２７１ａ〜ｎ）  形成モジュール（ストリームデータ作成部）
２７２  形成モジュール（ストリームデータ作成部）
【図１】
2005311916.tif 000006
【図２】
2005311916.tif 000007
【図３】
2005311916.tif 000008
【図４】
2005311916.tif 000009
【図５】
2005311916.tif 000010
【図６】
2005311916.tif 000011
【図７】
2005311916.tif 000012
【図８】
2005311916.tif 000013
【図９】
2005311916.tif 000014
【図１０】
2005311916.tif 000015
【図１１】
2005311916.tif 000016