(57)【要約】【課題】  動映像ストリームに静止映像を同期化させる方法を提供する。【解決手段】  動映像及び音声に加えて、別途の映像資料を提供するための静止映像を用いてマルチメディアサービスを支援するのに好適であり、遠隔画像会議システムや遠隔画像教育システムのようなシステムがマルチメディアサービスを提供する時、そのマルチメディアサービスの基本的な動映像に加えて別途の映像資料の提供のための静止映像を支援し、さらに動映像のストリーミング中に静止映像が出力されるようにするのに好適な、動映像ストリームに静止映像を同期化させる方法を提供する。【選択図】  図３
2006025424.tif 000002
【特許請求の範囲】
【請求項１】
マルチメディアサービスを支援するシステムにおいて、動映像ストリームに静止映像を同期化させる方法であって、
サーバーが、前記静止映像の同期化のための制御データを生成する段階と、
前記サーバーが、前記動映像ストリームの所定の動映像フレームを通じて前記制御データをクライアントに提供する段階と、
前記クライアントが、前記制御データに基づいて前記静止映像を前記動映像ストリームに同期させて表示する段階と、
からなることを特徴とする、動映像ストリームに静止映像を同期化させる方法。
【請求項２】
前記動映像フレームは、前記制御データが挿入される使用者データ領域を有することを特徴とする、請求項１に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項３】
前記制御データが、前記静止映像のフレームを他の静止映像フレームから識別するためのフレーム識別子であることを特徴とする、請求項１に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項４】
前記動映像が、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）系列のものであることを特徴とする、請求項１に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項５】
前記静止映像が、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）系列のものであることを特徴とする、請求項１に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項６】
前記サーバーが、前記制御データが提供されることを表すためのコードを前記クライアントに予め提供する段階をさらに備えることを特徴とする、請求項１に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項７】
前記サーバーが前記コードを前記動映像フレーム以前に提供することを特徴とする、請求項６に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項８】
前記サーバーが、前記コードを前記動映像フレーム以前の所定フレームを通じて提供することを特徴とする、請求項６に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項９】
前記クライアントが、前記制御データが提供されることを表すコードを予め受信する段階と、
前記クライアントが、前記制御データを含む前記動映像フレームを受信する段階と、をさらに備えることを特徴とする、請求項１に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１０】
前記クライアントが前記動映像ストリームから前記コードを探すと、前記コードが指示する前記動映像フレームに含まれた前記制御データを読み出すことを特徴とする、請求項９に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１１】
前記制御データが、前記クライアントに予め格納された複数の静止映像から前記静止映像のフレームを識別する識別子であることを特徴とする、請求項１０に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１２】
前記クライアントが、前記静止映像を予め格納することを特徴とする、請求項１に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１３】
前記サーバーが、前記静止映像を予め格納することを特徴とする、請求項１に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１４】
前記サーバーが、前記格納された静止映像のフレーム識別子を用いて前記制御データを生成することを特徴とする、請求項１３に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１５】
マルチメディアサービスをクライアントに提供するサーバーにおいて、動映像ストリームに静止映像を同期化させる方法であって、
前記動映像ストリームに同期化させる前記静止映像フレームの識別子を、前記動映像ストリームの所定の動映像フレームに挿入する段階と、
前記識別子を含む動映像フレームをクライアントに伝送する段階と、
を備えてなることを特徴とする、動映像ストリームに静止映像を同期化させる方法。
【請求項１６】
前記動映像フレームが、前記識別子が挿入される使用者データ（ＵＳＥＲ＿ＤＡＴＡ）フィールドを有することを特徴とする、請求項１５に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１７】
前記動映像が、ＭＰＥＧ系列のものであることを特徴とする、請求項１５に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１８】
前記静止映像が、ＪＰＥＧ系列のものであることを特徴とする、請求項１５に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項１９】
前記識別子以前に、この識別子が前記動映像フレームに含まれることを表すコードを挿入する段階をさらに備えることを特徴とする、請求項１５に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項２０】
前記コードが、ＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）であることを特徴とする、請求項１９に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項２１】
前記コードが、前記動映像フレームのヘッドに挿入されることを特徴とする、請求項１９に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項２２】
前記コードが、前記動映像フレーム以前の所定フレームに挿入されることを特徴とする、請求項に１９記載の動映像ストリームに静止映像を同期化させる方法。
【請求項２３】
サーバーからマルチメディアサービスが提供されるクライアントにおいて、動映像ストリームに静止映像を同期化させる方法であって、
前記動映像ストリームから前記静止映像の識別子を含む動映像フレームを抽出する段階と、
前記動映像フレームから前記識別子を読み出す段階と、
前記識別子を用いて前記静止映像を前記動映像ストリームに同期させて表示する段階と、
を備えてなることを特徴とする、動映像ストリームに静止映像を同期化させる方法。
【請求項２４】
前記動映像が、ＭＰＥＧ系列のものであることを特徴とする、請求項２３に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項２５】
前記静止映像が、ＪＰＥＧ系列のものであることを特徴とする、請求項２３に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項２６】
前記識別子を含む前記動映像フレームが受信されることを表すコードを受信する段階をさらに備えることを特徴とする、請求項２３に記載の動映像ストリームに静止映像を同期化させる方法。
【請求項２７】
前記識別子は、前記動映像フレームの使用者データ（ＵＳＥＲ＿ＤＡＴＡ）フィールドから読み出すことを特徴とする請求項２３に記載の、動映像ストリームに静止映像を同期化させる方法。
【請求項２８】
マルチメディアサービスを支援するサーバーとクライアントとから構成されるシステムにおいて、映像ストリームに映像フレームを同期化させる方法であって、
前記サーバー及びクライアントが、前記映像フレームを各々格納する段階と、
前記サーバーが、前記映像フレームの同期化のための制御データを生成する段階と、
前記サーバーが、前記映像ストリームの所定フレームを通じて前記制御データを前記クライアントに提供する段階と、
前記クライアントが、前記格納された映像フレームを前記制御データによる同期時点に表示する段階と、
からなることを特徴とする、映像ストリームに映像フレームを同期化させる方法。
【請求項２９】
前記制御データの提供のためのフレームは、
前記制御データが挿入される使用者データ領域を有することを特徴とする、請求項２８に記載の映像ストリームに映像フレームを同期化させる方法。
【請求項３０】
前記制御データが、前記映像フレームの識別のためのフレーム識別子を含むことを特徴とする、請求項２８に記載の映像ストリームに映像フレームを同期化させる方法。
【請求項３１】
前記同期時点は、前記制御データの提供のためのフレームに該当する時点であることを特徴とする、請求項２８に記載の映像ストリームに映像フレームを同期化させる方法。
【請求項３２】
前記サーバーが、前記制御データの提供のためのフレームを指示するコードを前記クライアントに予め提供する段階をさらに備えることを特徴とする、請求項２８に記載の映像ストリームに映像フレームを同期化させる方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動映像ストリームに静止映像を同期化させる方法に関する。
【背景技術】
【０００２】
従来の技術では、動映像と音声の実時間伝送を用いてマルチメディアサービスを提供するシステムが多く紹介されてきた。その例には、遠隔画像会議システムと遠隔画像教育システムなどが挙げられる。
【０００３】
これらマルチメディアサービス提供システムは、一般的にＨ．２６１、Ｈ．２６３、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）のような動映像符号化標準規格を用いる。
【０００４】
このため、従来の技術によるマルチメディアサービス提供システムは、動映像信号と音声信号のみを結合して遠隔地のクライアント（使用者端末）に実時間で伝送するようになる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、遠隔画像会議や遠隔画像教育中には別途の会議資料や教育資料などをさらに提供する必要があり、これら会議資料や教育資料などは、一般に静止映像（例えばＪＰＥＧ：Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）として提供することがより好ましいにもかかわらず、従来のシステムは動映像と音声でマルチメディアサービスを提供するがために、会議資料や教育資料などのような別途の映像資料を提供するのに不都合が生じてしまう。
【０００６】
したがって、本発明は上記事情に鑑みてなされたもので、その目的は、動映像と音声の他に、別途の映像資料を提供するための静止映像をさらに用いてマルチメディアサービスを支援するのに好適な、動映像ストリームに静止映像を同期化させる方法を提供することにある。
【０００７】
本発明の他の目的は、遠隔画像会議システムや遠隔画像教育システムのようなシステムがマルチメディアサービスを提供する際に、当該マルチメディアサービスの基本的な動映像に加えて別途の映像資料の提供のための静止映像を支援し、その上、動映像のストリーミング中に静止映像が出力されるようにするのに好適な、動映像ストリームに静止映像を同期化させる方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するための本発明の第１特徴は、マルチメディアサービスを支援するシステムにおいて動映像ストリームに静止映像を同期化させる方法において、サーバーが、前記静止映像の同期化のための制御データを生成する段階と、前記サーバーが、前記動映像ストリームの所定の動映像フレームを通じて前記制御データをクライアントに提供する段階と、前記クライアントが、前記制御データに基づいて前記静止映像を前記動映像ストリームに同期させて表示する段階と、を備えることである。
【０００９】
上記目的を達成するための本発明の第２特徴は、マルチメディアサービスをクライアントに提供するサーバーにおいて動映像ストリームに静止映像を同期化させる方法において、前記動映像ストリームに同期化させる前記静止映像フレームの識別子を、前記動映像ストリームの所定の動映像フレームに挿入する段階と、前記識別子を含む動映像フレームをクライアントに伝送する段階と、を備えることである。
【００１０】
上記目的を達成するための本発明の第３特徴は、サーバーからマルチメディアサービスが提供されるクライアントにおいて動映像ストリームに静止映像を同期化させる方法であって、前記動映像ストリームから前記静止映像の識別子を含む動映像フレームを抽出する段階と、前記動映像フレームから前記識別子を読み出す段階と、前記識別子を用いて前記静止映像を前記動映像ストリームに同期させて表示する段階と、を備えることである。
【００１１】
上記目的を達成するための本発明の第４特徴は、マルチメディアサービスを支援するサーバーとクライアントとから構成されるシステムにおいて映像ストリームに映像フレームを同期化させる方法において、前記サーバー及びクライアントが、前記映像フレームを各々格納する段階と、前記サーバーが、前記映像フレームの同期化のための制御データを生成する段階と、前記サーバーが、前記映像ストリームの所定フレームを通じて前記制御データを前記クライアントに提供する段階と、前記クライアントが、前記格納された映像フレームを前記制御データによる同期時点に表示する段階と、を備えることである。
【００１２】
上記目的を達成するために、本発明は、例えば、以下の手段を提供する。
（項目１）
マルチメディアサービスを支援するシステムにおいて、動映像ストリームに静止映像を同期化させる方法であって、
サーバーが、前記静止映像の同期化のための制御データを生成する段階と、
前記サーバーが、前記動映像ストリームの所定の動映像フレームを通じて前記制御データをクライアントに提供する段階と、
前記クライアントが、前記制御データに基づいて前記静止映像を前記動映像ストリームに同期させて表示する段階と、
からなることを特徴とする、動映像ストリームに静止映像を同期化させる方法。
（項目２）
前記動映像フレームは、前記制御データが挿入される使用者データ領域を有することを特徴とする、項目１に記載の動映像ストリームに静止映像を同期化させる方法。
（項目３）
前記制御データが、前記静止映像のフレームを他の静止映像フレームから識別するためのフレーム識別子であることを特徴とする、項目１に記載の動映像ストリームに静止映像を同期化させる方法。
（項目４）
前記動映像が、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）系列のものであることを特徴とする、項目１に記載の動映像ストリームに静止映像を同期化させる方法。
（項目５）
前記静止映像が、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）系列のものであることを特徴とする、項目１に記載の動映像ストリームに静止映像を同期化させる方法。
（項目６）
前記サーバーが、前記制御データが提供されることを表すためのコードを前記クライアントに予め提供する段階をさらに備えることを特徴とする、項目１に記載の動映像ストリームに静止映像を同期化させる方法。
（項目７）
前記サーバーが前記コードを前記動映像フレーム以前に提供することを特徴とする、項目６に記載の動映像ストリームに静止映像を同期化させる方法。
（項目８）
前記サーバーが、前記コードを前記動映像フレーム以前の所定フレームを通じて提供することを特徴とする、項目６に記載の動映像ストリームに静止映像を同期化させる方法。
（項目９）
前記クライアントが、前記制御データが提供されることを表すコードを予め受信する段階と、
前記クライアントが、前記制御データを含む前記動映像フレームを受信する段階と、をさらに備えることを特徴とする、項目１に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１０）
前記クライアントが前記動映像ストリームから前記コードを探すと、前記コードが指示する前記動映像フレームに含まれた前記制御データを読み出すことを特徴とする、項目９に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１１）
前記制御データが、前記クライアントに予め格納された複数の静止映像から前記静止映像のフレームを識別する識別子であることを特徴とする、項目１０に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１２）
前記クライアントが、前記静止映像を予め格納することを特徴とする、項目１に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１３）
前記サーバーが、前記静止映像を予め格納することを特徴とする、項目１に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１４）
前記サーバーが、前記格納された静止映像のフレーム識別子を用いて前記制御データを生成することを特徴とする、項目１３に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１５）
マルチメディアサービスをクライアントに提供するサーバーにおいて、動映像ストリームに静止映像を同期化させる方法であって、
前記動映像ストリームに同期化させる前記静止映像フレームの識別子を、前記動映像ストリームの所定の動映像フレームに挿入する段階と、
前記識別子を含む動映像フレームをクライアントに伝送する段階と、
を備えてなることを特徴とする、動映像ストリームに静止映像を同期化させる方法。
（項目１６）
前記動映像フレームが、前記識別子が挿入される使用者データ（ＵＳＥＲ＿ＤＡＴＡ）フィールドを有することを特徴とする、項目１５に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１７）
前記動映像が、ＭＰＥＧ系列のものであることを特徴とする、項目１５に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１８）
前記静止映像が、ＪＰＥＧ系列のものであることを特徴とする、項目１５に記載の動映像ストリームに静止映像を同期化させる方法。
（項目１９）
前記識別子以前に、この識別子が前記動映像フレームに含まれることを表すコードを挿入する段階をさらに備えることを特徴とする、項目１５に記載の動映像ストリームに静止映像を同期化させる方法。
（項目２０）
前記コードが、ＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）であることを特徴とする、項目１９に記載の動映像ストリームに静止映像を同期化させる方法。
（項目２１）
前記コードが、前記動映像フレームのヘッドに挿入されることを特徴とする、項目１９に記載の動映像ストリームに静止映像を同期化させる方法。
（項目２２）
前記コードが、前記動映像フレーム以前の所定フレームに挿入されることを特徴とする、項目に１９記載の動映像ストリームに静止映像を同期化させる方法。
（項目２３）
サーバーからマルチメディアサービスが提供されるクライアントにおいて、動映像ストリームに静止映像を同期化させる方法であって、
前記動映像ストリームから前記静止映像の識別子を含む動映像フレームを抽出する段階と、
前記動映像フレームから前記識別子を読み出す段階と、
前記識別子を用いて前記静止映像を前記動映像ストリームに同期させて表示する段階と、
を備えてなることを特徴とする、動映像ストリームに静止映像を同期化させる方法。
（項目２４）
前記動映像が、ＭＰＥＧ系列のものであることを特徴とする、項目２３に記載の動映像ストリームに静止映像を同期化させる方法。
（項目２５）
前記静止映像が、ＪＰＥＧ系列のものであることを特徴とする、項目２３に記載の動映像ストリームに静止映像を同期化させる方法。
（項目２６）
前記識別子を含む前記動映像フレームが受信されることを表すコードを受信する段階をさらに備えることを特徴とする、項目２３に記載の動映像ストリームに静止映像を同期化させる方法。
（項目２７）
前記識別子は、前記動映像フレームの使用者データ（ＵＳＥＲ＿ＤＡＴＡ）フィールドから読み出すことを特徴とする項目２３に記載の、動映像ストリームに静止映像を同期化させる方法。
（項目２８）
マルチメディアサービスを支援するサーバーとクライアントとから構成されるシステムにおいて、映像ストリームに映像フレームを同期化させる方法であって、
前記サーバー及びクライアントが、前記映像フレームを各々格納する段階と、
前記サーバーが、前記映像フレームの同期化のための制御データを生成する段階と、
前記サーバーが、前記映像ストリームの所定フレームを通じて前記制御データを前記クライアントに提供する段階と、
前記クライアントが、前記格納された映像フレームを前記制御データによる同期時点に表示する段階と、
からなることを特徴とする、映像ストリームに映像フレームを同期化させる方法。
（項目２９）
前記制御データの提供のためのフレームは、
前記制御データが挿入される使用者データ領域を有することを特徴とする、項目２８に記載の映像ストリームに映像フレームを同期化させる方法。
（項目３０）
前記制御データが、前記映像フレームの識別のためのフレーム識別子を含むことを特徴とする、項目２８に記載の映像ストリームに映像フレームを同期化させる方法。
（項目３１）
前記同期時点は、前記制御データの提供のためのフレームに該当する時点であることを特徴とする、項目２８に記載の映像ストリームに映像フレームを同期化させる方法。
（項目３２）
前記サーバーが、前記制御データの提供のためのフレームを指示するコードを前記クライアントに予め提供する段階をさらに備えることを特徴とする、項目２８に記載の映像ストリームに映像フレームを同期化させる方法。
【発明の効果】
【００１３】
本発明によれば、遠隔画像会議システムが遠隔画像会議サービスを提供している中に別途の会議資料をさらに提供する必要がある時、その会議資料を静止映像としてクライアント（使用者端末）に提供することが容易になる。また、遠隔画像教育システムが遠隔画像教育サービスを提供している中に別途の教育資料をさらに提供する必要がある時、その教育資料を静止映像としてクライアント（使用者端末）に提供することが容易になる。
【００１４】
また、本発明は、実時間特性のマルチメディアサービスを提供するシステムを構成するにおいて、複雑性や動映像画質の低下といった問題を容易に克服することが可能である。
【発明を実施するための最良の形態】
【００１５】
以下、本発明に係る動映像ストリームに静止映像を同期化させる方法の好適な実施の形態について、添付の図面に基づいて詳細に説明する。
【００１６】
本発明のシステムは、図２に示す送信端末機と、図４に示す受信端末機とから構成され、ネットワークを通じてマルチメディアサービスを支援する。
【００１７】
また、本発明のシステムは、サーバー−クライアント構造となる。サーバーは、マルチメディアサービスを提供する送信端末機であり、クライアント（すなわち、使用者端末機）は、当該マルチメディアサービスを受け取る受信端末機である。
【００１８】
このように構成される本発明のシステムにおいて、送信端末機が所定のマルチメディアサービスを受信端末機に提供する。特に、マルチメディアサービスが実時間伝送されるという点から、マルチメディアサービスは送信端末機から受信端末機にストリーミング（ｓｔｒｅａｍｉｎｇ）される。
【００１９】
上記のマルチメディアサービスは、音声が結合された動映像（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ）であり、以下に言及される動映像は、ビデオ（ｖｉｄｅｏ）やビデオデータ（ｖｉｄｅｏ  ｄａｔａ）を含む概念であって、両者は同概念として取り扱われる。
【００２０】
本発明のシステムは、上記のように動映像のストリーミング中に、すなわち動映像ストリームを伝送しながら同時に静止映像をさらに提供する。このため、本発明のシステムは、動映像ストリームに該当の静止映像（ｓｔｉｌｌ  ｐｉｃｔｕｒｅ）に該当するフレームを同期化させる。
【００２１】
例えば、本発明のシステムは、遠隔画像会議サービスや遠隔画像教育サービスのようなマルチメディアサービスを提供する場合、これらのサービスを通じて会議や教育の様子を動映像ストリームとして提供しながら、同時に別途の会議資料や教育資料などを静止映像としてさらに提供する必要がある際に、該当の静止映像フレームを現在の動映像ストリームに同期化させることが肝心である。
【００２２】
したがって、受信端末機は、動映像ストリームを連続的にディスプレイする中に会議資料や教育資料などに該当する静止映像フレームをその動映像ストリームに同期させ、この同期による時点に、当該の会議資料や教育資料に該当する静止映像をディスプレイする。ここで、静止映像は、動きのないイメージデータである。
【００２３】
一方、動映像ストリームは複数の動映像フレームから構成される。そして、動映像ストリームにおいて動映像フレームは使用者データ領域（ｕｓｅｒ  ｄａｔａ  ａｒｅａ）である使用者データフィールド（Ｕｓｅｒ＿Ｄａｔａ  ｆｉｅｌｄ）を有する。この使用者データフィールドのシンタックスを図１に示す。
【００２４】
図１は、本発明の一実施の形態による映像符号化標準規格の動映像フレームのシンタックス構造を示す図であり、特に、ＭＰＥＧ−４のＵｓｅｒ＿Ｄａｔａフィールドのシンタックスが示されている。
【００２５】
また、本発明で言及する動映像（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ）は、映像符号化標準規格であるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）系列のものが好ましい。その例には、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−３またはＭＰＥＧ−４などがある。
【００２６】
また、本発明において、会議資料や教育資料に該当する静止映像（ｓｔｉｌｌ  ｐｉｃｔｕｒｅ）は、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）系列のものが好ましい。ただし、本発明が、動映像や静止映像を上記の標準規格に限定するわけではない。
【００２７】
次に、本発明の好ましい一実施の形態によるシステム構成及び動作についてより詳細に説明する。
【００２８】
図２は、本発明の好ましい一実施の形態による送信端末機の構成を示す図である。
【００２９】
同図において、送信端末機は、エンコーダー１１、多重化器（ｍｕｌｔｉｐｌｅｘｅｒ）１３、制御データ生成部（ｃｏｎｔｒｏｌ  ｄａｔａ  ｇｅｎｅｒａｔｏｒ）１５、及びＵＤＰ（Ｕｓｅｒ  Ｄａｔａｇｒａｍ  Ｐｒｏｔｏｃｏｌ）ソケット１７から構成される。また、送信端末機は、会議資料や教育資料などを静止映像にコーディングして格納するメモリ（ｍｅｍｏｒｙ）（図示せず）をさらに備える。
【００３０】
したがって、本発明では、送信端末機が会議資料や教育資料などの静止映像を格納する。
【００３１】
参考として、これと同じ静止映像を図４に示す受信端末機も格納する。したがって、受信端末機は、送信端末機から静止映像を実際に受信せずに、静止映像の同期化のための制御データのみを受信する。
【００３２】
つまり、当該制御データを用いて受信端末機は該当の静止映像を動映像に同期させるようになる。これについては、後でより詳細に説明する。
【００３３】
送信端末機のメモリに格納される静止映像はフレーム形態であり、これら静止映像にはそれぞれ固有の識別子（ｉｄｅｎｔｉｆｉｅｒ）が与えられる。ここで、識別子は、静止映像フレームに固有に与えられるフレーム番号であることがより好ましい。
【００３４】
エンコーダー１１は、入力される動映像をコーディングし、複数の動映像フレームから構成される動映像ストリーム（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ  ｓｔｒｅａｍ）１２として出力する。
【００３５】
エンコーダー１１から出力される動映像ストリーム１２は、送信端末機がメモリに格納されたいかなる静止映像もクライアントに提供しようとしない場合には多重化器１３でバイパスされる。
【００３６】
しかしながら、送信端末機が、会議資料や教育資料に該当する特定の静止映像をクライアントにさらに提供しようとする場合には、多重化器１３は、エンコーダー１１から出力される動映像ストリーム１２に、静止映像の同期化のための制御データを多重化させる。
【００３７】
このため、制御データ生成部１５は制御データを生成する。すなわち、制御データ生成部１５は、所定の会議資料や教育資料の提供が要求される度に、該当する静止映像の同期化のための制御データを生成し、この生成された制御データを多重化器１３に出力する。
【００３８】
ここで使用される多重化の方式には、下記の３通りがある。
【００３９】
第一、制御データを動映像ストリーム１２において所定の動映像フレームに挿入する。
【００４０】
第二、制御データを動映像ストリーム１２において所定の動映像フレームの使用者データフィールド（Ｕｓｅｒ＿Ｄａｔａ  ｆｉｅｌｄ）（図１）に挿入する。
【００４１】
第三、制御データを含む一つの動映像フレームを構成して動映像ストリーム１２に挿入する。このとき、制御データを含む動映像フレームは、制御データ生成部１５で構成される。
【００４２】
一方、制御データは、所定の会議資料や教育資料に該当する静止映像を他の静止映像と区分するために固有に与えられた識別子である。より好ましくは、ある静止映像のフレームを他の静止映像のフレームと識別するための固有のフレーム識別子であり、一つのフレーム番号である。
【００４３】
また、本発明による送信端末機は、上記の制御データが提供されるという事実を受信端末機に知らせるために、制御データが提供されることを表すコードを受信端末機に提供する。特に、送信端末機は、この制御データ提供を表すコードを、制御データが生成される度に生成して受信端末機に提供する。ただし、このコードは、制御データが挿入される動映像フレーム以前に受信端末機に提供される。
【００４４】
例えば、送信端末機は、上記の制御データの提供を予め知らせるコードを、制御データが挿入されるフレームよりも以前の所定の動映像フレームを通じて提供する。このコードは、ＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）である。
【００４５】
したがって、多重化器１３から出力されるストリーム１４は、エンコーダー１１から出力された動映像ストリーム１２に、静止映像の同期化のための制御データが挿入されたフレームとＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）が挿入されたものとなる。
【００４６】
続いて、ＵＤＰソケット１７は、多重化器１３から出力されるストリーム１４を受信端末機に送信する。
【００４７】
図３は、本発明の好ましい一実施の形態による動映像に静止映像を同期化させるための送信端末機での手順を示す図である。
【００４８】
図３を参照すると、マルチメディアサービスのサーバーである送信端末機は、マルチメディアサービスの別途資料（会議資料や教育資料）に該当する静止映像の同期化のための制御データを生成する（ステップＳ１０）。
【００４９】
ここで、静止映像はフレーム形態でメモリに格納されており、それによる静止映像フレームは固有のフレーム識別子を有する。該フレーム識別子は、メモリに格納される他の静止映像フレームとの識別のためのものである。
【００５０】
上記の制御データは、上に言及した静止映像のフレーム識別子であるか、あるいは、静止映像のフレーム識別子を使用して生成されるデータである。
【００５１】
送信端末機は、生成された制御データを一つの動映像フレームに挿入する（ステップＳ１１）。
【００５２】
この制御データが挿入される動映像フレームは、現在提供されているマルチメディアサービスの動映像ストリームに属する一つの動映像フレームであるか、動映像ストリームと別途に構成された所定のフレームである。
【００５３】
特に、制御データが挿入される動映像フレームは、図１に示すようなＵｓｅｒ＿Ｄａｔａフィールドを有する。すなわち、図１に示すｕｓｅｒ＿ｄａｔａ（）関数に、同期化のための制御データを含ませる。
【００５４】
これにより、送信端末機は、制御データが挿入された動映像フレームを、マルチメディアサービスによる動映像ストリームと共にクライアントの受信端末機に伝送するようになる（ステップＳ１２）。
【００５５】
一方、送信端末機は、制御データが受信端末機に提供される前に、この制御データが提供されることを受信端末機に知らせるためのコードを予め提供する。ここで、制御データの提供を予め知らせるコードはＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）とする。
【００５６】
当該コードが受信端末機に提供される時点は、制御データが挿入される動映像フレーム以前である。つまり、制御データの提供を予め知らせるコードは、制御データが挿入される動映像フレームの直前フレームを通じて提供される。特に、当該コードは、該当するフレームのヘッド（ｈｅａｄ）に挿入される。
【００５７】
このとき、制御データの提供を予め知らせるコードを提供するのに使用されるフレームは、現在提供されているマルチメディアサービスの動映像ストリームに属する一つの動映像フレームであるか、動映像ストリームとは別途に構成された所定のフレームである。
【００５８】
要するに、本発明では、送信端末機と受信端末機がマルチメディアサービスの別途資料（会議資料や教育資料）に該当する映像フレームを予め格納する。
【００５９】
そして、所定の映像フレームが現在再生中の映像ストリームと共に表示されるべき場合、受信端末機に格納された該当の映像フレームが映像ストリームに同期して表示されるように、まず、送信端末機がその同期に必要な制御データを生成する。ここで、制御データは、映像フレームの識別のためのフレーム識別子であるか、該フレーム識別子を使用して生成されるデータである。
【００６０】
一方、送信端末機は、制御データの提供を知らせるために、その制御データが挿入されたフレームを指示するコードを予め受信端末機に提供し、続いて、生成された制御データが挿入されたフレームを、受信端末機に提供する。
【００６１】
図４は、本発明の好ましい一実施の形態による受信端末機の構成を示す図である。
【００６２】
同図において、受信端末機は、ＵＤＰソケット２１、逆多重化器（ｄｅｍｕｌｔｉｐｌｅｘｅｒ）２３、ブラウザ２５及びデコーダー２７を備えてなる。また、受信端末機は、送信端末機と同様に、会議資料や教育資料などを静止映像にコーディングして格納するメモリ（ｍｅｍｏｒｙ）（図示せず）をさらに備える。これにより、受信端末機は、送信端末機から静止映像の同期化のための制御データのみを受信し、受信した制御データによる同期時点に該当の静止映像を動映像と共に表示する。
【００６３】
これについてより詳細に説明すると、下記の通りになる。
【００６４】
受信端末機のメモリに格納される静止映像は、フレーム形態であり、各静止映像には固有の識別子（ｉｄｅｎｔｉｆｉｅｒ）が与えられる。ここで、識別子は、静止映像に固有に与えられるフレーム番号であることがより好ましい。
【００６５】
ＵＤＰソケット２１は、送信端末機からストリーム２２を受信して逆多重化器２３に送る。
【００６６】
すると、逆多重化器２３は、受信ストリーム２２のうち動映像フレーム２４をデコーダー２７に出力する。
【００６７】
デコーダー２７は、入力される動映像フレームをデコーディングし、これにより、その動映像フレームに該当する映像が出力される。
【００６８】
一方、逆多重化器２３は、ブラウザ２５と連動して受信ストリームに挿入されたコードを探す。このコードは、制御データが挿入されたフレームを指示するコードであり、制御データが提供されるという事実を受信端末機に知らせるためのＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）である。
【００６９】
特に、送信端末機は、当該コードを、制御データが挿入される動映像フレームよりも以前のフレームに挿入して伝送するので、受信端末機の逆多重化器２３は当該コードを受信し、そのコードが指示するフレームのＵｓｅｒ＿Ｄａｔａフィールドを読み出して該当する制御データをブラウザ２５に伝送する。
【００７０】
こうすると、ブラウザ２５は、制御データが表す識別子に該当する静止映像フレームをメモリから検索し、この検索された静止映像を現在出力中の動映像フレームに同期させて表示する。すなわち、検出された静止映像を、現在ストリーミング中の動映像に同期させて共に表示する。ここで、ブラウザ２５は、ＪＰＥＧブラウザである。
【００７１】
ここで、静止映像を動映像に同期させる時点は、制御データが挿入されたフレームに該当する時点である。
【００７２】
図５は、本発明の好ましい一実施の形態による動映像に静止映像を同期化させるための受信端末機での手順を示す図である。
【００７３】
図５を参照すると、マルチメディアサービスのクライアントである受信端末機は、マルチメディアサービスによる動映像ストリームを受信する（ステップＳ２０）。
【００７４】
受信端末機は、受信した動映像ストリームに制御データが含まれているか否かを確認する（ステップＳ２１）。
【００７５】
すなわち、受信端末機は、静止映像の同期化のための制御データが挿入されているか否かを表すコード、つまり、ＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）を探す。そして、受信端末機は、ＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）が指示する動映像フレームを抽出することによって、制御データを探す。
【００７６】
続いて、受信端末機は、ＵＳＥＲ＿ＤＡＴＡ＿ＳＴＡＲＴコード（ＵＤＳＣ）が指示する動映像フレームから制御データを読み出す（ステップＳ２２）。
【００７７】
受信端末機は、読み出した制御データが表す識別子を用いてメモリに格納された該当の静止映像フレームを検索し、検索された静止映像フレームを、入力される動映像ストリームに同期させる（ステップＳ２３）。
【００７８】
受信端末機は、この同期による時点で該当の静止映像を動映像と共にディスプレイする（Ｓ２４）。
【００７９】
要するに、本発明では、送信端末機がＭＰＥＧ系列の動映像ストリームを用いて遠隔画像会議や遠隔画像教育の動映像を伝送する。そして、送信端末機及び受信端末機が既に同じ会議資料や教育資料に該当するＪＰＥＧ系列の静止映像をエンコーディングし格納している状態で、受信端末機が送信端末機から前述の制御データを受信し、その制御データが表すフレーム番号の静止映像をブラウザを通じて検索する。最後に、検索された静止映像を現在ストリーミング中の動映像に同期させて表示する。
【００８０】
そして、本発明のシステムは、基本的に動映像とオーディオ間の同期化を保障する。
【００８１】
一方、本発明の技術的特徴は、インターネットだけでなく有線または無線ネットワーク上で具現される多種多様な形態のマルチメディアサービスに応用可能であることは当業者にとって自明である。
【００８２】
以上から説明してきた内容に基づいて本発明の技術的思想を逸脱しない範囲内で様々な変更及び修正が可能であることは、当業者にとっては明らかである。したがって、本発明の技術的範囲は、上記の実施形態に記載された内容によって定められてはいけなく、特許請求の範囲によって定められるべきである。
【００８３】
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。
【００８４】
動映像ストリームに静止映像を同期化させる方法を提供する。
【００８５】
動映像及び音声に加えて、別途の映像資料を提供するための静止映像を用いてマルチメディアサービスを支援するのに好適であり、遠隔画像会議システムや遠隔画像教育システムのようなシステムがマルチメディアサービスを提供する時、そのマルチメディアサービスの基本的な動映像に加えて別途の映像資料の提供のための静止映像を支援し、さらに動映像のストリーミング中に静止映像が出力されるようにするのに好適な、動映像ストリームに静止映像を同期化させる方法を提供する。
【図面の簡単な説明】
【００８６】
【図１】本発明の一実施の形態による映像符号化標準規格の動映像フレームのシンタックス構造を示す図である。
【図２】本発明の好ましい一実施の形態による送信端末機の構成を示す図である。
【図３】本発明の好ましい一実施の形態による動映像に静止映像を同期化させるための送信端末機での手順を示す図である。
【図４】本発明の好ましい一実施の形態による受信端末機の構成を示す図である。
【図５】本発明の好ましい一実施の形態による動映像に静止映像を同期化させるための受信端末機での手順を示す図である。
【図１】
2006025424.tif 000003
【図２】
2006025424.tif 000004
【図３】
2006025424.tif 000005
【図４】
2006025424.tif 000006
【図５】
2006025424.tif 000007