(57)【要約】      （修正有）【課題】ＰＣ及びＰＣに接続されるカメラによるコミュニケーションに於いて、コミュニケーションを行うＰＣ同士で互いに記録する方法を共有し、記録自体を分散化することで負荷の増大を抑えて記録することを可能にし、また、ＰＣ上で記録を行うために、会議自体に参加している個々人のさまざまな会議中に行われている行為そのものを記録することによって、映像を中心とした会議記録をとることを可能にした。【解決手段】接続調停モジュール３０１は、コミュニケーションするＰＣ同士を検出し、接続台数を算出し、記録タイミングの間引き量を算出して間引き設定量を記録データ生成モジュール３０２へ通知する。記録データ生成モジュール３０２は、記録処理を行い一定の記録量に達したときに記録データを送信モジュール３０３からサーバへ送信する。【選択図】図３
2006333417.tif 000002
【特許請求の範囲】
【請求項１】
パーソナルコンピュータの周辺機器インタフェースに接続される映像入力機器から映像を取得するモジュールと、同じく音声入力機器から音声を取得するモジュールと、ネットワークから映像と音声を取得するクライアントモジュールと、パーソナルコンピュータに接続されたＨＩＤから画像形成用のデータを取得するモジュールとネットワークから画像形成用のデータを取得するクライアントモジュールと、ネットワークに映像と音声を送信するサーバーモジュールと、ネットワークに画像形成用のデータを送信するサーバーモジュールと、画像形成用のデータによって描画を行うモジュールと、映像データを表示するモジュールと、複数の音声データを合成するモジュールと、音声データを出力するモジュールと、テキストデータネットワークから取得するモジュールと、テキストデータをネットワークに送信するモジュールと、ネットワークからファイルを取得するモジュールと、ネットワークにファイルを送信するモジュールと、パーソナルコンピュータで利用可能なプリンタによって取得したファイルを印刷するモジュールと、ネットワークにおける接続方法を調停するモジュールと、映像と音声と画像形成用データを記録するモジュールと、から構成されるソフトウェアとネットワークから映像と音声と画像形成用のデータを取得し、同データの再構成を行い装置上の記録媒体へ記録するモジュールと、記録したデータを選択的に配信するモジュールと、から構成されるサーバーソフトウェアによって構成されるシステムであって、前記映像と音声と画像形成用データを記録するモジュールは、パーソナルコンピュータの表示装置に表示するためのデータを記録する時に、前記接続方法を調停するモジュールの調停内容に従って、表示データの取り込みタイミングを変化させて記録し、記録量があらかじめ定められた一定量に達した時にサーバーソフトウェアへ送信され、前記ネットワークから映像と音声と画像形成用データを取得し再構成するモジュールが取得するデータは、ネットワークに接続され前記ソフトウェアが稼働するパーソナルコンピュータから送信されるデータであって、該データは、記録を再生するときに時間的に間引かれたデータであり、モジュールはこれらのデータを解析し、データの内部にある順序の通りに正しく並び替えて再構成し記録することを特徴としたマルチビデオチャットシステム。
【請求項２】
請求項１において、記録されたデータがサーバーソフトウェアへ送信される時に、記録されたデータの特性情報を別途送信し、サーバーソフトウェアでは送信された特性情報に基づいて再構成を行うことを特徴としたマルチビデオチャットシステム。
【請求項３】
請求項１乃至２においてあらかじめ定められた記録量に達していなくとも取り込みタイミングが変化した時に変化する前までをサーバーソフトウェアに送信することを特徴としたマルチビデオチャットシステム。
【請求項４】
請求項１乃至２において、記録するデータは、取り込みタイミングが変化した時でも連続したデータとして生成し送信することを特徴としたマルチビデオチャットシステム。
【請求項５】
請求項１乃至２乃至３乃至４において、パーソナルコンピュータで記録されるデータはパーソナルコンピュータのアプリケーションに表示される画面をキャプチャした映像データであり、調停される内容は映像データのフレーム番号であることを特徴とするマルチビデオチャットシステム。
【請求項６】
請求項１乃至２乃至３乃至４において、パーソナルコンピュータで記録されるデータは映像データ、音声データ、画像形成行程データ及び時間に沿った送受信の記録であり、映像データは調停するモジュールによって記録するフレーム番号であることを特徴としたマルチビデオチャットシステム。
【請求項７】
請求項１乃至２乃至３乃至４乃至５乃至５においてパーソナルコンピュータで記録するデータは映像表示時のフレームに同期を取って取り込んだデータであることを特徴とするマルチビデオチャットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】映像の記録技術、ネットワークにおける分散化処理技術、クライアント／サーバー技術、コンピュータ上のデータ加工技術に関する。
【背景技術】
【０００２】パーソナルコンピュータに接続される映像機器の入力処理技術、ネットワークの送受信技術、ネットワークトポロジー技術。
【発明の開示】
【発明が解決しようとする課題】
【０００３】昨今のネットワークやインターネットの高速化に伴い、テレビ会議がパーソナルコンピュータのアプリケーションによって行われる形態が増えてきた。特に安価なＵＳＢ接続のＷＥＢカメラを用いて行う１対１のビデオチャットをマルチクライアントでテレビ会議として利用する形式は映像によるコミュニケーションとして発達してきている。
しかしながら、テレビ会議は映像のリアル性やサーバーに依存した構成などにより会議自体を録画することは機器のリソースを圧迫し、より高速且つ高価なサーバーで行うのが一般的であり、安価な手段で記録を行うのは困難であった。
【課題を解決するための手段】
【０００４】本発明では、昨今のパーソナルコンピュータ自身の高性能化を利用し、高負荷な録画をカメラによって送受信を行っているパーソナルコンピュータ自身で行うと共に、接続するパーソナルコンピュータの数に応じて記録自体を分散化することで、安価な記録機能付きのテレビ会議システムを提供する。
【発明の効果】
【０００５】接続するパーソナルコンピュータが増加するほど１台あたりの記録負荷が減少し、増加する映像の送受信と反比例させることによって、均一な負荷で複数台によるテレビ会議及び会議内容の記録を行うことが可能となった。
また、これらの方法は複数台をネットワークで接続し、共通のアプリケーションやデータの生成を共有する際にも特定のサーバーを介さずに低負荷で行うことが可能になる。
【発明を実施するための最良の形態】
【０００６】パーソナルコンピュータに本発明を適用したマルチューザーによるビデオチャットの送受信機能を備えたソフトウェアを稼働させること、稼働しているソフトウェアがネットワークによって送信可能なサーバーとサーバーには受信した記録データを再構成するソフトウェアが稼働しているマルチビデオチャットシステム。
【実施例】
【０００７】図１に本発明を適用する環境を示す。図１においてＰＣ（１０１）はＵＳＢに接続されたカメラ（１０２）を利用して、同じネットワーク（１０４）上の他のＰＣと接続する。
ネットワーク（１０４）にはサーバー（１０３）が接続されている。
図２に本発明を適用したビデオコミニュケーションのＰＣアプリケーションの構成図を示す。図２において左側のブロック（２３７）はＰＣ接続または利用可能な周辺機器であり、中央左のブロック（２３８）は周辺機器（２３７）とデータの入出力を行うための機器に対する処理を行うアプリケーションモジュールのブロックであり、中央右（２３９）は２３８あるいは２４０のブロックから引き渡されるデータの処理を行うブロックであり、右側（２４０）はネットワーク接続によってデータの受け渡しおこなうブロックである。同図においてデータのフローの概要を説明する。カメラ（２０１）によって入力されたデータは映像入力の処理モジュール（２１０）によって取り込まれ、動画生成モジュール（２２０）によって再生可能な動画に生成され、生成された動画は動画送信モジュール（２２３）を経由しネットワーク送信モジュール（２３４）によってネットワーク上へ送信されると同時に動画生成モジュール（２２０）から動画表示モジュール（２１４）へ渡されることによってＰＣのディスプレイ（２０５）に表示される。ネットワーク送信モジュール（２３４）によって送信された動画は他のＰＣ上の同一のアプリケーションにおけるネットワーク受信モジュール（２３５）によって受信され、受信された動画ｈ動画受信モジュール（２２７）によって動画表示モジュール（２１４）渡され、受信したＰＣのディスプレイ（２０５）に表示される。マイク（２０２）によって入力された音声は音声入力モジュール（２１１）によって取り込まれ、音声送信モジュール（２２４）を経由してネットワーク送信モジュール（２３４）に渡されてネットワーク上に送信されるとともに、音声合成モジュール（２２１）に渡される。ネットワーク上の音声はネットワーク受信モジュール（２３５）を経由して音声受信モジュール（２２６）によって取り込まれ、音声合成モジュール（２２１）に引き渡される。音声合成モジュール（２２１）ＰＣのマイクからの音声とネットワークから受信した音声を合成し音声出力モジュール（２１３）に引き渡してスピーカー（２０４）により出力すると共に、記録のために記録データ生成モジュール（２２２）に引き渡される。マウス（２０６）やキーボード（２０７）によって入力されるホワイトボードの描画データはホワイトボード入力モジュール（２１７）によってコミュニケーション用データとして処理され、ホワイトボード表示モジュール（２１５）によってディスプレイ（２０５）に表示されると共にホワイトボード送信モジュール（３２１）を経由してネットワーク送信モジュール（２３４）によってネットワーク上に送信され、記録するために記録データ生成モジュール（２２２）に引き渡される。ネットワーク上に送信されたホワイトボードのデータはネットワーク受信モジュール（２３５）を経由してホワイトボード受信モジュール（２２８）に引き渡されホワイトボード表示モジュール（２１５）によってディスプレイ（２１５）に表示されると共に記録データ生成モジュール（２２２）に渡される。キーボード（２０３）によって入力されるテキストデータはテキスト入力モジュール（２１２）を経由して取り込まれ、記録データ生成モジュール（２２２）に渡されると共にテキスト送信モジュール（２２５）によってネットワーク送信モジュール（２３４）によってネットワーク上に送信され、ネットワーク受信モジュール（２３５）を経由してテキスト受信モジュール（２２９）によって取り込まれ、テキスト出力モジュール（２１６）によってディスプレイ（２０５）に表示されると共に記録データ生成モジュール（２２２）に渡される。ＰＣ上のファイル（２０９）は読み出し・保存モジュール（２１９）によって読み込まれ、記録データ生成モジュール（２２２）に引き渡されると同時にファイル送信モジュール（２３３）によってネットワーク送信モジュールを経由してネットワーク上に送信され、ネットワーク受信モジュール（２３５）を経由してファイル受信モジュール（２３２）によって取り込まれ、記録データ生成モジュール（２２２）に引き渡されると同時に印刷モジュール（２１８）によってプリンタ（２０８）で印刷される、あるいは読み出し・記録モジュール（２１９）によってファイル（２０９）として保存される。記録は全てを記録するのではなく、接続調停モジュール（２３６）によって調停される記録タイミングを引き渡され、それに従って生成し、生成した記録データは記録データとして保存するために、保存を行うサーバーへ、記録データ送信モジュール（２３０）によってネットワーク送信モジュール（２３４）を経由して記録するサーバーへ送信される。
図３に接続調停による記録データ生成と送信のフローチャートを示す。同図において接続調停モジュール（３０１）は、最初にコミュニケーションを行う相手となるＰＣ同士を検出し（３１０）、それによって接続台数を算出し（３１１）、記録タイミングの間引き数を算し、自身の記録タイミングである間引き設定量（３１３）を他のＰＣへ通知すると共に、自身の間引き設定量（３１３）を記録データ生成モジュール（３０２）へ通知する。記録データ生成モジュール（３０２）は通知された間引き設定量（３１３）に応じて記録処理（３２０）を行い、一定の記録量に達した時に（３２１）記録データ（３２３）送信する（３２２）。記録データ生成モジュール（３０２）によって送信（３２２）となった記録データ（３２３）は送信モジュール（３０３）によってサーバーへ送信（３３０）される。
図４にサーバーソフトウェアの構成図を示す。同図においてネットワーク受信モジュール（４０１）によってＰＣからそれぞれ間引きされたデータあるいは単純な映像データを受信し、受信した各データは各々記録データ蓄積モジュール（４０３）や映像データ蓄積モジュール（４０４）によって蓄積され、蓄積した記録データは記録データ再構成モジュールによって間引きされてない記録データへと再構成される。蓄積されたデータは様々なクライアントソフトウェアからの要求に応じて映像データ送信モジュール（４０５）によって映像としてネットワーク送信モジュール（４０２）経由でネットワーク上へ送信される。
図５にサーバーソフトウェアのフローチャートを示す。同図において記録データの処理フローを説明する。受信モジュール及び記録データ蓄積モジュール（５００）によって複数のＰＣから記録データを受信・蓄積（５０１）し、蓄積した複数の記録データ（５０２）は記録データ再構成モジュール（５１０）に引き渡される。記録データ再構成モジュール（５１０）では引き渡された蓄積データを解析（５１１）し、必要に応じてデータを分解（５１２）し分解したデータとして一時的に保存する（５１３）。保存したデータを解析結果によって正しい順序に再構成し（５１４）、間引きされ複数のデータであった記録データを単一の映像データ（５１５）として再構成する。
再構成された記録データは、ネットワーク受信モジュールと映像データ蓄積モジュール（５２０）によって蓄積された映像データと同等の映像データ（５１５）となり、映像データ送信モジュール（５３０）によって映像再生のクライアントソフトウェアなどからの送信要求を受信して（５３１）要求元のクライアントソフトウェアに対して送信される（５３２）。
図６は本発明を適用したコミュニケーションソフトウェアの画面である。同図において６０１はメインウインドウであり、メインウインドウには複数のウインドウを持つことができる。６０２、６０３、６０４は他のＰＣから送信された映像データが表示される。６０５は例えば監視の為のカメラ映像のウインドウであり、コミュニケーションの為の映像ウインドウではないウインドウである。６０６はホワイトボードのウインドウであり、コミュニケーションを行う他のＰＣのユーザーや自身のＰＣユーザーの操作によって様々な図や文字を入力・表示するウインドウである。
記録データはメインウインドウの変化を映像として捕らえて記録データとして取り扱う。
図７に３台のＰＣソフトウェアとサーバーソフトウェアの通信シーケンスを示す。同図を用いて本発明を適用したコミュニケーションソフトウェアの動作シーケンスを説明する。
最初にＰＣ（７０１）と他のＰＣ（７０２）によってコミュニケーションを行うためにＰＣ（７０２）からＰＣ（７０１）に対して接続要求（７１１）が発信される。ＰＣ（７０１）は接続要求に対して許可を返信する（７１２）。次に間引き量設定の為の調停パラメータを要求する（７１３）。ＰＣ（７０１）において接続するＰＣはＰＣ（７０２）だけであるので調整値をＰＣ（７０２）に対して送信する。調整パラメータとは、例えば、図６で示したメインウインドウを一定の時間間隔で映像的に記録する場合に、記録開始時間と時間間隔及び時間に連動したフレーム番号であり、フレーム番号とは、例えばＰＣ（７０１）は第１、第３というように記録する時間間隔に対して一つおきに記録する、というものである。調整パラメータを受け取ったＰＣ（７０２）とＰＣ（７０１）は各々記録のために必要な情報を交換したので、コミュニケーションの実体である、映像・音声・ホワイトボードデータなどの相互の送受信（７１５，７１６）を行い、それぞれのユーザー間におけるコミュニケーションを行う。次にＰＣ（７０３）が現在のコミュニケーションに参加するためにＰＣ（７０１）に接続要求を送信する（７２１）。ＰＣ（７０１）はＰＣ（７０３）に対して接続許可を返信する（７２２）。次にＰＣ（７０３）は調整パラエータの要求を行う（７２３）。ＰＣ（７０１）は接続台数が３台であることから、間引き量をこれに応じた値として算出しその調整パラメータをＰＣ（７０３）へ送信（７２４）し、同時にＰＣ（７０２）に対しても通知（７２５）を行う。これによって記録データの間引き量が変化するため、変化前の間引き量の記録データがＰＣ（７０１）とＰＣ（７０２）からそれぞれサーバー（７０４）に対して送信される（７２６，７２７）。これらの処理によって３台のＰＣによるコミュニケーションの記録データの生成の準備が整うので、ＰＣ間でそれぞれ映像・音声・ホワイトボード等のデータの送受信が行われる。（７２８，７２９，７３０，７３１）
図８は図７で説明した調停モジュールで生成する接続と処理フレーム番号の対応の表である。ＰＣ（７０１）はネットワークアドレスがＩＰ：Ａ（８０１）でありＰＣ（７０２）はネットワークアドレスがＩＰ：Ｂ（８０２）である。このときの記録するフレーム番号は、ＩＰ：ＡであるＰＣは偶数フレームでありＩＰ：ＢであるＰＣは奇数フレームである。
次にＰＣ（７０３）が加わったとすると、ＰＣ（７０３）はネットワークアドレスがＩＰ：Ｃ（８０３）であり、記録するフレーム番号は、それぞれ３分されることになる。
図９はサーバーに送られる記録データ情報ファイルの内容を示す。この記録データは図８におけるＰＣ単体で記録されるデータである。サーバーはこの記録データを関連する複数のＰＣから受信し、フレーム番号を正しく並べ替えることで一つの記録データへと再構成して保存する。
図１０はＰＣソフトウェアにおける負荷バランスの遷移を示す。映像の送受信のみであれば、受信相手の数や送信相手の数によってＰＣが必要となる負荷（１００２）は線形的に遷移する。
しかし、記録する場合、記録する処理は複数台の映像記録を行う場合は指数関数的に必要な負荷（１００３）が増大するが、本発明の機構によって、台数が増えるほど１台あたりの必要な負荷量（１００１）が減少する。
以上説明したように、ピアな接続で映像コミュニケーションを行う場合において、そのコミュニケーション内容を記録する機能を、ピア接続のまま負荷を増大させることなく実現できる。
【産業上の利用可能性】
【０００８】ネットワークやインターネットを介した複数台のパーソナルコンピュータ同士でビデオコミュニケーションを行うテレビ会議システムに利用可能である。
これらは、一般オフィスだけでなく、記録手段を容易に庭球するので遠隔医療や通信教育などにも利用可能である。
【図面の簡単な説明】
【０００９】
【図１】接続環境
【図２】ＰＣアプリケーションの構成図
【図３】接続調停による記録データ生成と送信のフローチャート
【図４】サーバーソフトウェアの構成図
【図５】サーバーソフトウェアのフローチャート
【図６】コミュニケーションソフトウェアの画面
【図７】通信シーケンス
【図８】接続と処理フレーム番号の対応
【図９】記録データ情報ファイルの内容
【図１０】負荷バランスの遷移
【符号の説明】
【００１０】１０１  ＰＣ
１０２  カメラ
１０３  サーバー
１０４  ネットワーク
２０１  カメラ
２０２  マイク
２０３  キーボード
２０４  スピーカー
２０５  ディスプレイ
２０６  マウス
２０７  キーボード
２０８  プリンター
２０９  ファイル
２１０  映像入力の処理モジュール
２１１  音声入力の処理モジュール
２１２  テキスト入力の処理モジュール
２１３  音声出力の処理モジュール
２１４  動画表示の処理モジュール
２１５  ホワイトボード表示の処理モジュール
２１６  テキスト表示の処理モジュール
２１７  ホワイトボード入力の処理モジュール
２１８  印刷モジュール
２１９  ファイルの読み込み・保存処理モジュール
２２０  動画生成モジュール
２２１  音声合成モジュール
２２２  記録データ生成モジュール
２２３  動画データ送信モジュール
２２４  音声データ送信モジュール
２２５  テキストデータ送信モジュール
２２６  音声データ受信モジュール
２２７  動画データ受信モジュール
２２８  ホワイトボードデータ受信モジュール
２２９  テキストデータ受信モジュール
２３０  記録データ送信モジュール
２３１  ホワイトボードデータ送信モジュール
２３２  ファイル受信モジュール
２３３  ファイル送信モジュール
２３４  ネットワーク送信モジュール
２３５  ネットワーク受信モジュール
２３６  接続調停モジュール
２３７  ＰＣ周辺機器
２３８  周辺機器処理モジュール
２３９  データ処理モジュール
２４０  ネットワーク処理モジュール
３０１  接続調停モジュール
３０２  記録データ生成モジュール
３０３  送信モジュール
３１０  接続要求受信処理
３１１  接続台数確認処理
３１２  間引き量算出処理
３１３  間引き量
３２０  記録処理
３２１  記録データ送信判定処理
３２２  記録データ送信処理
３２３  記録データ
３３０  ネットワーク送信処理
４０１  ネットワーク受信処理モジュール
４０２  ネットワーク送信処理モジュール
４０３  記録データ蓄積処理モジュール
４０４  映像データ蓄積処理モジュール
４０５  映像データ送信処理モジュール
４０６  記録データ再構成処理モジュール
５００  ネットワーク受信及び記録データ受信モジュール
５０１  ネットワーク受信処理
５０２  記録データ
５１０  記録データ再構成処理モジュール
５１１  記録データ解析処理
５１２  記録データ分解処理
５１３  分解記録データの保存処理
５１４  分解した記録データの再構成処理
５１５  送信する保存された映像データ
５２０  映像データ蓄積モジュール
５２１  映像データ送信処理
５３０  映像データ送信処理モジュール
５３１  映像送信要求受信処理
５３２  ネットワーク送信処理
６０１  アプリケーションメインウインドウ
６０２  映像表示ウインドウ
６０３  映像表示ウインドウ
６０４  映像表示ウインドウ
６０５  映像表示ウインドウ
６０６  ホワイトボードウインドウ
７０１  ＰＣ
７０２  ＰＣ
７０３  ＰＣ
７０４  サーバー
７１１  接続要求
７１２  接続要求許可
７１３  調整パラメータ要求
７１４  調整パラメータ送信
７１５  動画・音声・ホワイトボードデータ等送信
７１６  動画・音声・ホワイトボードデータ等送信
７１７  動画・音声・ホワイトボードデータ等送信の繰り返し処理
７１８  動画・音声・ホワイトボードデータ等受信の繰り返し処理
７１９  動画・音声・ホワイトボードデータ等送信の繰り返し処理
７２０  動画・音声・ホワイトボードデータ等受信の繰り返し処理
７２１  接続要求
７２２  接続要求許可
７２３  調整パラメータ要求
７２４  調整パラメータ送信
７２５  調整パラメータ送信
７２６  記録データ送信
７２７  記録データ送信
７２８  動画・音声・ホワイトボードデータ等送信
７２９  動画・音声・ホワイトボードデータ等送信
７３０  動画・音声・ホワイトボードデータ等送信
７３１  動画・音声・ホワイトボードデータ等送信
７３２  動画・音声・ホワイトボードデータ等受信の繰り返し処理
７３３  動画・音声・ホワイトボードデータ等受信の繰り返し処理
７３４  動画・音声・ホワイトボードデータ等送信の繰り返し処理
７３５  動画・音声・ホワイトボードデータ等送信の繰り返し処理
７３６  動画・音声・ホワイトボードデータ等送信の繰り返し処理
７３７  動画・音声・ホワイトボードデータ等送信の繰り返し処理
７３８  動画・音声・ホワイトボードデータ等受信の繰り返し処理
７３９  動画・音声・ホワイトボードデータ等受信の繰り返し処理
８０１  ＰＣ（ＩＰ：Ａ）
８０２  ＰＣ（ＩＰ：Ｂ）
８０３  ＰＣ（ＩＰ：Ｃ）
１００１  記録データ生成モジュールによるＰＣへの負荷
１００２  表示する為のＰＣにおける負荷
１００３  記録を行った場合の本発明適用外の場合のＯＣへの負荷
【図１】
2006333417.tif 000003
【図２】
2006333417.tif 000004
【図３】
2006333417.tif 000005
【図４】
2006333417.tif 000006
【図５】
2006333417.tif 000007
【図６】
2006333417.tif 000008
【図７】
2006333417.tif 000009
【図８】
2006333417.tif 000010
【図９】
2006333417.tif 000011
【図１０】
2006333417.tif 000012