(57)【要約】【課題】  フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、ユーザが知覚できない程高速にデバイス切替を可能とする技術を提供する。【解決手段】  切替先デバイスが切替元デバイスからメディア出力通知を受け取ると、スイッチ４０１は接点Ｂと接続し、拡張メディアバッファ４０２に蓄積されているすべての画像データが、先頭フレーム（Ｉフレーム）よりデコーダ２０１に入力される。デコーダ２０１は、Ｉフレームより復号を行い再構築画像を再構築画像バッファ２０２に保持する。メディアバッファ２１０８から出力される動画データを復号するために必要となる再構築画像は再構築画像バッファ２０２に保持され、デバイス切替時にメディアバッファ２１０８から入力される動画データがイントラフレームであるか否かにかかわらずデコーダ２０１は即座に復号を行うことが可能である。【選択図】      図７
2006270579.tif 000002
【特許請求の範囲】
【請求項１】
情報元との間でセッションを保持する送信元デバイスと、前記送信元デバイスと通信可能な複数の配信先デバイスとを備え、
前記送信元デバイスは、前記セッションに係るフレーム間圧縮された動画データを前記複数の配信先デバイスへと送信し、
前記フレーム間圧縮された動画データは、前記複数の配信先デバイスの中から選択された配信先デバイスにより受信され、
前記送信元デバイスは、前記選択された配信先デバイスの中から切替先デバイスを決定し、
前記切替先デバイスは、前記切替先デバイスの決定と同時に前記フレーム間圧縮された動画データを出力するデバイス切替システム。
【請求項２】
前記送信元デバイスから前記複数の配信先デバイスへのフレーム間圧縮された動画データの送信は、マルチキャストもしくはブロードキャストにより実行される請求項１に記載のデバイス切替システム。
【請求項３】
前記配信先デバイスは、外部デバイスとの間で通信を行うメディア受信手段と、前記メディア受信手段で受信したフレーム間圧縮された動画データを保持するメディアバッファと、前記フレーム間圧縮された動画データを復号するためのデコーダ部と、前記セッションを制御するためのシグナリング手段と、ネットワークインターフェースと、前記動画データの出力を行う出力手段とを備えている請求項１または２に記載のデバイス切替システム。
【請求項４】
前記デコーダ部は、前記メディアバッファから出力された前記フレーム間圧縮された動画データを常時復号するデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、前記デバイスの切替時に、前記出力手段へと前記再構築画像の出力を行うスイッチとを備えている請求項３に記載のデバイス切替システム。
【請求項５】
前記デコーダ部は、前記メディアバッファから出力された前記フレーム間圧縮された動画データを複数フレーム分蓄積する拡張メディアバッファと、前記拡張メディアバッファに入力された動画データがＩフレームであるか否かを判断し前記動画データがＩフレームの場合には蓄積されている複数フレーム分の動画データを消去して前記入力されたＩフレームから蓄積を行うように制御するＩフレームカウンタと、前記デバイスの切替時に、前記拡張メディアバッファに蓄積された一フレーム以上の動画データをＩフレームから順に復号した後に、前記メディアバッファから出力される前記デバイス切替後の動画データの復号を行うデコーダと、復号された再構築画像を保持する再構築画像バッファと、前記拡張メディアバッファに蓄積された一フレーム以上の動画データを復号した後に前記出力手段へと再構築画像を出力するスイッチとを備えている請求項３に記載のデバイス切替システム。
【請求項６】
前記デコーダ部は、前記デバイスの切替時に前記メディア受信手段から送られたイントラ符号化画像を復号した後に前記メディアバッファから出力される動画データの復号を行うデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、前記メディア受信手段から送られたイントラ符号化画像を復号した後に前記出力手段へ再構築画像を出力するスイッチとを備えている請求項３に記載のデバイス切替システム。
【請求項７】
前記メディア受信手段は、前記シグナリング手段を介して通知された前記送信元デバイスからのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加されたイントラ符号化画像を取り出して前記デコーダ部に送信する請求項６に記載のデバイス切替システム。
【請求項８】
前記デコーダ部は、動画データを蓄積する拡張メディアバッファと、前記メディアバッファから出力される動画データがＩフレームであるか否かを判断し前記動画データがＩフレームの場合には前記拡張メディアバッファに蓄積されているＩフレームを消去して前記出力された動画データのＩフレームの蓄積を行うように前記拡張メディアバッファを制御するＩフレームカウンタと、前記デバイスの切替時に、前記拡張メディアバッファに蓄積されているＩフレームの復号につづいて前記メディア受信手段から送られたインター符号化画像を復号した後に、前記メディアバッファから出力される前記デバイス切替後の動画データの復号を行うデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、前記メディア受信手段から送られたインター符号化画像を復号した後に前記出力手段へ再構築画像を出力するスイッチを備えている請求項３に記載のデバイス切替システム。
【請求項９】
前記メディア受信手段は、前記シグナリング手段を介して通知された前記送信元デバイスからのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加されたインター符号化画像を取得して前記デコーダ部に送信する請求項８に記載のデバイス切替システム。
【請求項１０】
前記送信元デバイスは、アプリケーションと、ネットワークインターフェースと、メディア出力を行う出力手段と、ユーザ端末としての入力手段と、外部デバイスとの送受信を行うメディア送信手段およびメディア受信手段と、前記メディア受信手段が受信したフレーム間圧縮された動画データを保持するためのメディアバッファと、前記フレーム間圧縮された動画データを復号するためのデコーダ部と、前記デコーダ部が復号した再構築画像を符号化するエンコーダ部と、セッションを制御するためのシグナリング手段と、外部デバイスが提供するサービスを発見するためのサービス発見手段とを備え、
前記メディア送信手段は、前記サービス発見手段の応答に基づいて配信先デバイスを選択し、前記情報元から受信した前記フレーム間圧縮された動画データを前記選択された配信先デバイスへと転送を行う請求項１乃至９の何れか１項に記載のデバイス切替システム。
【請求項１１】
前記エンコーダ部は、前記デコーダ部が復号した再構築画像を上書き更新して保持する再構築画像バッファと、前記デバイスの切替時に、前記再構築画像バッファに保持されている再構築画像をイントラ符号化するイントラ符号化エンコーダとを備えている請求項１０に記載のデバイス切替システム。
【請求項１２】
前記メディア送信手段は、前記メディア出力通知を切替先デバイスに通知する際に、前記エンコーダ部が生成したイントラ符号化画像を前記メディア出力通知のペイロードに付加して送信する請求項１１に記載のデバイス切替システム。
【請求項１３】
前記エンコーダ部は、前記デコーダ部が復号した再構築画像を上書き更新して保持する再構築画像バッファと、前記再構築画像が前記デコーダ部で復号される際にＩフレームであったか否かを判断するＩフレーム検出器と、前記Ｉフレーム検出器によりＩフレームであると判断された場合に前記再構築画像を参照画像として上書き更新して保持する第２の再構築画像バッファと、前記デバイスの切替時に、前記第２の再構築画像バッファに保持されている参照画像を用いて前記再構築画像バッファに保持されている再構築画像をインター符号化するインター符号化エンコーダとを備えている請求項１０に記載のデバイス切替システム。
【請求項１４】
前記メディア送信手段は、前記メディア出力通知を切替先デバイスに通知する際に、前記エンコーダ部が生成したインター符号化画像を前記メディア出力通知のペイロードに付加して送信する請求項１３に記載のデバイス切替システム。
【請求項１５】
外部デバイスとの間で通信を行うメディア受信手段と、前記メディア受信手段で受信したフレーム間圧縮された動画データを保持するメディアバッファと、前記フレーム間圧縮された動画データを復号するためのデコーダ部と、セッションを制御するためのシグナリング手段と、ネットワークインターフェースと、前記動画データの出力を行う出力手段とを備えている配信先デバイス。
【請求項１６】
前記デコーダ部は、前記メディアバッファから出力された前記フレーム間圧縮された動画データを常時復号するデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、デバイスの切替時に前記出力手段へと前記再構築画像の出力を行うスイッチとを備えている請求項１５に記載の配信先デバイス。
【請求項１７】
前記デコーダ部は、前記メディアバッファから出力された前記フレーム間圧縮された動画データを複数フレーム分蓄積する拡張メディアバッファと、前記拡張メディアバッファに入力された動画データがＩフレームであるか否かを判断し前記動画データがＩフレームの場合には蓄積されている複数フレーム分の動画データを消去して前記入力されたＩフレームから蓄積を行うように制御するＩフレームカウンタと、前記デバイスの切替時に、前記拡張メディアバッファに蓄積された一フレーム以上の動画データをＩフレームから順に復号した後に、前記メディアバッファから出力される前記デバイス切替後の動画データの復号を行うデコーダと、復号された再構築画像を保持する再構築画像バッファと、前記拡張メディアバッファに蓄積された一フレーム以上の動画データを復号した後に前記出力手段へと再構築画像を出力するスイッチとを備えている請求項１５に記載の配信先デバイス。
【請求項１８】
前記デコーダ部は、前記デバイスの切替時に前記メディア受信手段から送られたイントラ符号化画像を復号した後に前記メディアバッファから出力される動画データの復号を行うデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、前記メディア受信手段から送られたイントラ符号化画像を復号した後に前記出力手段へ再構築画像を出力するスイッチとを備えている請求項１５に記載の配信先デバイス。
【請求項１９】
前記メディア受信手段は、前記シグナリング手段を介して通知された送信元デバイスからのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加されたイントラ符号化画像を取り出して前記デコーダ部に送信する請求項１８に記載の配信先デバイス。
【請求項２０】
前記デコーダ部は、動画データを蓄積する拡張メディアバッファと、前記メディアバッファから出力される動画データがＩフレームであるか否かを判断し前記動画データがＩフレームの場合には前記拡張メディアバッファに蓄積されているＩフレームを消去して前記出力された動画データのＩフレームの蓄積を行うように前記拡張メディアバッファを制御するＩフレームカウンタと、前記デバイスの切替時に、前記拡張メディアバッファに蓄積されているＩフレームの復号につづいて前記メディア受信手段から送られたインター符号化画像を復号した後に、前記メディアバッファから出力される前記デバイス切替後の動画データの復号を行うデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、前記メディア受信手段から送られたインター符号化画像を復号した後に前記出力手段へ再構築画像を出力するスイッチを備えている請求項１５に記載の配信先デバイス。
【請求項２１】
前記メディア受信手段は、前記シグナリング手段を介して通知された送信元デバイスからのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加されたインター符号化画像を取得して前記デコーダ部に送信する請求項２０に記載の配信先デバイス。
【請求項２２】
アプリケーションと、ネットワークインターフェースと、メディア出力を行う出力手段と、ユーザ端末としての入力手段と、外部デバイスとの送受信を行うメディア送信手段およびメディア受信手段と、前記メディア受信手段が受信したフレーム間圧縮された動画データを保持するためのメディアバッファと、前記フレーム間圧縮された動画データを復号するためのデコーダ部と、前記デコーダ部が復号した再構築画像を符号化するエンコーダ部と、セッションを制御するためのシグナリング手段と、外部デバイスが提供するサービスを発見するためのサービス発見手段とを備え、
前記メディア送信手段は、前記サービス発見手段の応答に基づいて配信先デバイスを選択し、情報元から受信した前記フレーム間圧縮された動画データを前記選択された配信先デバイスへと転送を行う送信元デバイス。
【請求項２３】
前記エンコーダ部は、前記デコーダ部が復号した再構築画像を上書き更新して保持する再構築画像バッファと、デバイスの切替時に前記再構築画像バッファに保持されている再構築画像をイントラ符号化するイントラ符号化エンコーダとを備えている請求項２２に記載の送信元デバイス。
【請求項２４】
前記メディア送信手段は、前記メディア出力通知を切替先デバイスに通知する際に、前記エンコーダ部が生成したイントラ符号化画像を前記メディア出力通知のペイロードに付加して送信する請求項２３に記載の送信元デバイス。
【請求項２５】
前記エンコーダ部は、前記デコーダ部が復号した再構築画像を上書き更新して保持する再構築画像バッファと、前記再構築画像が前記デコーダ部で復号される際にＩフレームであったか否かを判断するＩフレーム検出器と、前記Ｉフレーム検出器によりＩフレームであると判断された場合に前記再構築画像を参照画像として上書き更新して保持する第２の再構築画像バッファと、デバイスの切替時に、前記第２の再構築画像バッファに保持されている参照画像を用いて前記再構築画像バッファに保持されている再構築画像をインター符号化するインター符号化エンコーダとを備えている請求項２２に記載の送信元デバイス。
【請求項２６】
前記メディア送信手段は、前記メディア出力通知を切替先デバイスに通知する際に、前記エンコーダ部が生成したインター符号化画像を前記メディア出力通知のペイロードに付加して送信する請求項２５に記載の送信元デバイス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＩＰネットワークにおける通信技術およびメディア伝送技術に関し、より具体的には、パーソナルエリアネットワーク（ＰＡＮ）内の適切なデバイスへ動画伝送を行う高速デバイス切替における高速画像復号化技術に関するものである。
【背景技術】
【０００２】
近年、固定網における光ファイバやＡＤＳＬに加え、モバイル網においても、ＷＬＡＮやアドホックネットワークといったスポット的な無線技術が普及してきており、「何処にでも存在するネットワーク」、すなわち、何処にいても、何時でも、どんなものからでもネットワーク接続できるユビキタスネットワーク環境が現実のものになろうとしている。また、通信端末の分野においても、ネット家電や公衆構内デュアル端末に代表される多種多様な能力をもつデバイスが開発されている。このような状況の中で、ユビキタスネットワーク環境の多様なアクセスネットワークと多種多様な能力をもつデバイスを自由に切替えて、利用場所が変わっても利用者が何もすることなく通信可能として継続的にサービスが行える「シームレスサービス」の実現が強く要請されてきている。
【０００３】
このようなシームレスサービスを実現するための技術として、以下のような３つのシームレス技術が提案されている。その第１は、「ネットワークシームス」と呼ばれるもので、一つのモバイル端末が移動などに伴って異なるネットワークをシームレスに切替えて通信を継続することを可能とするものである。この場合のモバイル端末は、複数のネットワークインターフェイスを有し、その移動に応じてアクセス網を自由に切替えることができる。なお、この「ネットワークシームレス」は、「ターミナルモビリティ」と呼ばれることもある。
【０００４】
２つ目は、「デバイスシームレス」と呼ばれるもので、ユーザが利用中の端末をシームレスに切替えて利用することを可能とするものである。この場合は、ある端末で利用中のセッションを、別な端末で引き続き継続することができる。このように、「デバイスシームレス」ではセッションを別な端末に移動するため、「セッションモビリティ」とも呼ばれる。
【０００５】
３つ目は、「コンテンツシームレス」と呼ばれるもので、メディアのフォーマットやメディアのタイプなどをシームレスに切替えて利用することを可能とする。「コンテンツシームレス」では、ネットワーク帯域やデバイス能力あるいは周辺環境などに応じてメディアを切替えて表示・再生することが可能である。「コンテンツシームレス」は、「メディアアダプティブ」（メディア適応）と呼ばれることもある。
【０００６】
これらの３つの技術は、シームレスサービスを実現する上で極めて重要なものであり、それぞれの技術に固有の効果は独立に得ることができる。したがって、これらの技術を単独に用いることのみならず、相互に組み合わせて利用することも可能である。
【０００７】
ところで、デバイスシームレス技術が適用されるシームレスサービス（以下では、「デバイス切替」と呼ぶ）の提供が求められる状況としては、たとえば、携帯電話などのモバイル端末を利用してストリーミング映画を視聴しながら帰宅したユーザが自宅のリビングルームに入り、すかさず大型テレビにディスプレイを切替えて映画の続きを視聴するなどの場面が考えられる。一般的なモバイル端末のディスプレイは映画の視聴目的のためには小さすぎるが、ユーザの場所的移動などに伴なって、サービスを継続して享受することができるより好ましいデバイスがユーザ周辺に見出されたような場合には、サービスの供給先をそのデバイスに切替えることができれば利用価値が極めて高くなる。デバイス切替のこのような利点に鑑みて、これを実現するための技術開発が従来よりなされてきている。
【０００８】
図１４は、デバイス切替の一般的なシステム構成を説明するための図で、全体システムは、切替元デバイスであるモバイルノード（ＭＮ）２００１と、通信相手である相手先ノード（ＣＮ）２００２と、インターネット２００３と、デバイス切替の切替先デバイスとなりうるプラズマＴＶ、ステレオ、ＰＣなどのデバイス群２００４と、ＭＮ２００１とデバイス群２００４によって形成されるパーソナルエリアネットワーク（ＰＡＮ）２００５とから構成される。なお、デバイス群２００４を構成するプラズマＴＶやステレオやＰＣは単なる例示であり、これらのデバイスに限るものではない。また、ＭＮ２００１も、必ずしも携帯性を有するデバイスである必要はなく、デバイス群２００４に含まれるデバイスと何ら変るものではない。
【０００９】
ＭＮ２００１およびデバイス群２００４は、ＰＡＮ２００５を利用することにより、ＰＡＮ内でお互いに自由に通信をすることができる。また、ＣＮ２００２とＭＮ２００１は、インターネット２００３を介して通信を行っており、ＣＮ２００２は、例えばストリーミングサーバであり、ＭＮ２００１はＣＮ２００２から配信される映画をストリーミング受信している。ここで、ＭＮ２００１とＣＮ２００２との間のネットワークは、必ずしもインターネットである必要はなく、例えば、第三世代モバイル通信網（３ＧＰＰネットワーク）であってもよい。
【００１０】
図１５は、デバイス切替を実現するためのＭＮ２００１のデバイス内部の構成例を説明するためのブロック図で、ＭＮ２００１は、アプリケーション２１０１と、一つ以上のネットワークＩ／Ｆ  ２１０２と、表示・出力を行う出力手段２１０３と、ユーザとのＩ／Ｆとなる入力手段２１０４と、オペレーティングシステム２１０５と、オペレーティングシステム２１０５を介して外部のデバイス（不図示）と通信を行うメディア送信手段２１０６と、メディア受信手段２１０７と、メディア受信手段２１０７が受信したメディアデータを保持するためのメディアバッファ２１０８と、メディアデータが圧縮されている場合にデータをデコードするためのデコーダ部２１０９と、セッションを制御するためのシグナリング手段２１１０と、図示しない外部の切替先デバイスが提供するサービスを発見するためのサービス発見手段２１１１と、受信したメディアデータをメディア送信手段２１０６が切替先デバイスに転送をするように制御を行うミドルウェア２１１２とから構成されている。
【００１１】
上述したように、ＭＮ２００１はデバイス群２００４のデバイスの一つであると考えることができ、切替先のデバイスもＭＮ２００１と同様の構成を有する。ただし、切替先のデバイスは、切替元として動作する必要がないときは、アプリケーション２１０１、入力手段２１０４、メディア送信手段２１０６を備えない構成とすることができる。
【００１２】
図１６は、ＭＮ２００１と切替先デバイス群２００４との間のメッセージシーケンスを示す図であり、図１７は、このメッセージシーケンスを流れ図で示したものである。ここでは、デバイス群２００４にはＮ個（デバイス１からデバイスＮ）のデバイスが存在する場合を仮定している。また、図示はしないが、ＭＮ２００１は、ＣＮ２００２と別途セッションを保持している。なお、図１６において「ユーザ」とは、ＭＮ２００１を現在使用しているユーザを意味し、ＭＮ２００１内で動作しているアプリケーション２１０１の提供するユーザＩ／Ｆを通じて、ＭＮ２００１に指示を与えることができる。また、この図の矢印は、始点から終点にむけてメッセージが送られていることを示している。
【００１３】
図１７に示す各ステップの具体的な処理内容は以下のとおりである。先ず、スデバイス切替を行おうとするユーザは、ＭＮ２００１が備えている入力手段２１０４からＭＮ２００１に切替先デバイス表示要求（Ｕ１）を指示する（Ｓ２３０１）。この指示を受けたミドルウェア２１１２は、サービス発見手段２１１１を通じて、サービス発見要求（Ｍ１）をＰＡＮ内のデバイス１からデバイスＮに一斉に送る（Ｓ２３０２）。切替先デバイスのサービス発見手段２１１１がサービス発見要求（Ｍ１）を受けると、ＭＮ２００１に対してサービス発見応答（Ｍ２）を返信する（Ｓ２３０３）。ここで、サービス発見手段２１１１が使用するサービス発見プロトコルとしては、ＵＰｎＰ（ユニバーサル・プラグ・アンド・プレイ）のＳＳＤＰ（シンプルサービスディスカバリプロトコル）やＢｌｕｅ−ｔｏｏｔｈのＳＤＰ、あるいはＳＬＰ（サービスロケーションプロトコル）など、既存のプロトコルで利用可能なものであれば特に制限はない。
【００１４】
ＭＮ２００１のサービス発見手段２１１１は、切替先デバイスからのサービス発見応答（Ｍ２）を受信してミドルウェア２１１１に通知する。ミドルウェア２１１１は、その通知に基づいてサービス提供可能なデバイスからなる切替先デバイスリストを生成し、オペレーティングシステム２１０５を介して出力手段２１０３がユーザに対してそのリストを提示（Ｕ２）する（Ｓ２３０４）。この切替先デバイスリストの提示を受けたユーザは、表示された切替先デバイスリストの中から、入力手段２１０４を通じて切替先デバイスを選択（Ｕ３）し、前記選択されたデバイスがミドルウェア２１１２へと通知される（Ｓ２３０５）。ここでは、「デバイス２」が選択されたものと仮定する。
【００１５】
ミドルウェア２１１１は、選択された切替先たる「デバイス２」とＰＡＮ内でセッションを確立し、メディアの伝送を行うために、シグナリング手段２１１０を通じてセッション確立・メディア処理準備要求（Ｍ３）を切替先「デバイス２」に送信する。これと同時に、メディア受信手段２１０７およびメディア送信手段２１０６に対して、受信したメディアデータを切替先デバイスに転送する準備を開始するように通知する（Ｓ２３０６）。ここで、シグナリング手段２１１０としては、ＳＩＰ（セッションイニシエーションプロトコル）などの既存のプロトコルで利用可能なものであれば何でもよい。
【００１６】
切替先の「デバイス２」のシグナリング手段２１１０が、ＭＮ２００１からセッション確立・メディア処理準備要求を受信すると、ミドルウェア２１１２は、メディア受信手段２１０７、メディアバッファ２１０８、およびデコーダ部２１０９に対して、メディア処理準備を開始するように指示する。そして、このメディア処理準備が完了すると、ミドルウェア２１１２は、シグナリング手段２１１０を通じて、セッション確立・メディア処理準備応答（Ｍ４）を送信する（Ｓ２３０７）。
【００１７】
ＭＮ２００１のシグナリング手段２１１０が、切替先の「デバイス２」からセッション確立・メディア処理準備応答（Ｍ４）を受信すると、ミドルウェア２１１２は、メディア送信手段２１０６に対して、メディア受信手段２１０７がＣＮ２００２から受信したメディアデータの伝送（Ｄ１）を開始するように通知する（Ｓ２３０８）。
【００１８】
切替先デバイス２のメディア受信手段２１０７は、ＭＮ２００１によって転送されたメディアデータを受信し、メディアバッファ２１０８へのバッファリングを開始する。メディアバッファ２１０８に一定のデータがバッファリングされた状態になると、ミドルウェア２１１２は、メディアデータが圧縮されている場合には、デコーダ部２１０９にデコード動作を開始するように通知し、デコードされたデータをオペレーティングシステム２１０５を介して出力手段２１０３に出力（Ｄ２）する（Ｓ２３０９）。なお、メディアデータが非圧縮の場合には、メディアバッファ２１０８にバッファリングされたデータをオペレーティングシステム２１０５を介して出力手段２１０３に出力する。
【００１９】
上記の各ステップを経て、ＭＮ２００１から切替先として選択された「デバイス２」へのデバイス切替を実現することができる。その結果、ＭＮ２００１の出力手段２１０３に出力されていたメディアデータは、切替先の「デバイス２」の出力手段２１０３から出力されるようになる。この一連の切替シーケンスにおいて、ユーザが切替を意図して、ＭＮ２００１に対して切替先デバイス表示要求（Ｕ１）を指示してから、切替先の「デバイス２」の出力手段２１０３にデータが出力される（Ｄ２）までの時間が、切替に要する時間となる。そして、この切替に要する時間が短いほど、ユーザ側が切替に関与する際の待ち時間が減少し、よりシームレスなサービスの提供が可能となる。
【００２０】
しかし、上述したような従来技術においては、サービス発見要求（Ｍ１）からサービス発見応答（Ｍ２）を受信するまでに数秒程度の時間を必要とする。さらに、セッション確立・メディア処理準備要求（Ｍ３）からセッション確立・メディア処理準備応答（Ｍ４）を受信するまでにも数秒程度の時間が必要である。その結果、切替に要する時間、すなわちユーザの待ち時間はかなり長いものとなってしまわざるを得ない。このような状況では、例えば、リアルタイムのサッカーの試合を視聴している場合を想定すると、デバイス切替に要する時間が原因となってゴールシーンなどのユーザにとって重要な瞬間を見逃してしまう可能性が生じる。
【００２１】
そこで、非特許文献１には、デバイス切替に要する時間を短縮するための新たな２つの技術が開示されている。その第１の技術は「サービス発見をあらかじめ周期的に行っておくこと」であり、第２の技術は「サービス発見の結果得られた全てのデバイスに対してセッション確立及びメディア処理の準備を先行的に行っておくこと」である。
【００２２】
以下に、これらの２つの技術によって、デバイス切替に要する時間を短縮化可能であることを図面を参照しながら説明する。なお、非特許文献１に開示されている技術においては、ＭＮ２００１もしくは切替先デバイスの端末内部の構成は従来の一般的なものと全く同じであり、ミドルウェア２１１２の動作のみが異なる。そこで、従来の一般的な技術におけるミドルウェア２１１２と非特許文献１に開示された技術におけるミドルウェアとを区別するために、後者のミドルウェアを「高速ミドルウェア」と呼ぶことにする。また、従来一般技術と全く同じ手段には、同じ符号を割り当てて図示することとする。
【００２３】
図１８、図１９、および図２０はそれぞれ、非特許文献１に開示された技術におけるＭＮ２００１と切替先デバイス群２００４との間でのメッセージシーケンスを示す図（図１８）、このシーケンスにおける切替元デバイスの動作を示す流れ図（図１９）、および当該シーケンスでの切替先デバイスの動作を示す流れ図（図２０）である。ここでも、デバイス群２００４にはデバイス１からデバイスＮまでのＮ個のデバイスが存在しているものと仮定する。また、図示はしないが、ＭＮ２００１はＣＮ２００２と別途セッションを保持している。
【００２４】
先ず、図１９を参照して切替元デバイスの動作を説明すると、ＣＮ２００２とのセッションが継続中であるか否かを判断し（Ｓ２５０１）、継続中でないと判断された場合（Ｓ２５０１：Ｎｏ）には処理を終了させる一方、継続中と判断された場合（Ｓ２５０１：Ｙｅｓ）には、周囲のデバイス群２００４に対してサービス発見を行うために、高速ミドルウェアが、サービス発見手段２１１１を通じて、サービス発見要求（Ｍ１）を、周期的にＰＡＮ内のデバイス１からデバイスＮに一斉に送信する（Ｓ２５０２）。サービス発見要求を受信した切替先デバイスはサービス発見応答をサービス発見手段２１１１へと送信し、このサービス発見応答を、サービス発見手段２１１１が高速ミドルウェアへと通知する（Ｓ２５０３）。高速ミドルウェアは、その通知に基づいて、サービス提供可能なデバイスからなる切替先デバイスリストを生成し内部に保持する。なお、既に保持している切替先デバイスリストが存在する際には上書きが行われる。
【００２５】
高速ミドルウェアは、切替先デバイスリストに記された切替先候補となるデバイスに対して、セッションを確立し、メディアの伝送を行うために、シグナリング手段２１１０を通じてセッション確立・メディア処理準備要求（Ｍ３）を送信する（Ｓ２５０４）。ここで、切替先候補となるデバイスはｎ（１≦ｎ≦Ｎ）個存在する。また、メディア受信手段２１０７およびメディア送信手段２１０６に対して、受信したメディアデータを切替先デバイスに転送する準備を開始するように通知する（Ｓ２５０５）。シグナリング手段２１１０が、切替先候補となるデバイスからセッション確立・メディア処理準備応答を受信すると、高速ミドルウェアは一定時間待機する（Ｓ２５０６）。そして、高速ミドルウェアが待機している間にユーザから切替先デバイスリストの表示要求（Ｕ１）の指示があるかないかの判断がなされ（Ｓ２５０７）、当該要求がないと判断された場合（Ｓ２５０７：Ｎｏ）には、ステップＳ２５０１に戻って再びサービス発見を行い、以降の各ステップを繰り返す。一方、当該要求があると判断された場合（Ｓ２５０７：Ｙｅｓ）には、ステップＳ２５０８に移行して、高速ミドルウェアが、内部に保持している切替先デバイスリストを出力手段２１０３を通じてユーザに提示（Ｕ２）する。
【００２６】
ユーザは、表示された切替先デバイスリストの中から、入力手段２１０４を通じて切替先デバイスを選択（Ｕ３）する（Ｓ２５０９）。ここで選択されたデバイスは、オペレーティングシステム２１０５を介して高速ミドルウェアに通知される。なお、本シーケンス図では、「デバイス２」が選択されたものと仮定する。
【００２７】
高速ミドルウェアは、メディア送信手段２１０６に対して、メディア受信手段２１０７がＣＮ２００２から受信したメディアデータの伝送（Ｄ１）を開始するように通知し（Ｓ２５１０）、メディア送信手段２１０６が、切替先の「デバイス２」に対して、メディアデータの転送を開始する。そして、高速ミドルウェアは、切替先候補となったデバイスのうち切替先の「デバイス２」を除いたすべてのデバイスに対して、シグナリング手段２１１０を通じて、セッション切断要求（Ｍ５）を送信し（Ｓ２５１１）、それらのデバイスからセッション切断応答を受信して切替動作を完了する。以上が切替元デバイスの動作である。
【００２８】
次に、図２０を参照して切替先デバイスの動作を説明する。サービス発見要求を受けた切替先デバイスのサービス発見手段２１１１は、サービス発見応答（Ｍ２）をＭＮ２００１に送信（返信）する（Ｓ２６０１）。切替先候補となるデバイスのシグナリング手段２１１０が、ＭＮ２００１からセッション確立要求およびメディア処理準備要求（図中の「セッション確立要求」）を受信する（Ｓ２６０２）と、高速ミドルウェアは、メディア受信手段２１０７、メディアバッファ２１０８、およびデコーダ部２１０９に対して、メディア処理準備を開始するように指示する（Ｓ２６０３）。そして、メディア処理準備が完了すると、高速ミドルウェアは、シグナリング手段２１１０を通じて、切替元デバイスに対してセッション確立・メディア処理準備応答（Ｍ４）を送信する（Ｓ２６０４）。
【００２９】
メディアデータが転送された場合には、切替先の「デバイス２」のメディア受信手段２１０７は、切替元デバイスによって転送されたメディアデータの受信を開始し（Ｓ２６０５）、メディアバッファ２１０８へのバッファリング（蓄積）を開始する（Ｓ２６０６）。メディアバッファ２１０８に一定のデータがバッファリングされた状態になると、メディアデータが非圧縮か否かが判断され（Ｓ２６０７）、メディアデータが非圧縮の場合（Ｓ２６０７：Ｙｅｓ）には、高速ミドルウェアは、メディアバッファ２１０８にバッファリングされたデータをオペレーティングシステム２１０５を介して出力手段２１０３に送る。一方、メディアデータが圧縮されている場合（Ｓ２６０７：Ｎｏ）には、高速ミドルウェアは、デコーダ部２１０９にデコード動作を開始するように通知してデコードが開始され（Ｓ２６０８）、デコードされたデータはオペレーティングシステム２１０５を介して出力手段２１０３へと送られる。そして、出力手段２１０３は、受信したデータの出力（Ｄ２）を開始し、切替動作を完了する（Ｓ２６０９）。
【００３０】
切替先候補となるデバイスのシグナリング手段２１１０が、切替元デバイスからセッション切断要求（Ｍ５）を受信した場合には、高速ミドルウェアは、メディア受信手段２１０７、メディアバッファ２１０８、およびデコーダ部２１０９に対してメディア処理準備を終了するように指示をしてメディア受信準備を終了する（Ｓ２６１０）。そして、メディア処理準備が終了すると、高速ミドルウェアは、シグナリング手段２１１０を通じて、切替元デバイスに対してセッション切断応答（Ｍ６）を送信して（Ｓ２６１１）、切替動作を終了する。
【００３１】
非特許文献１に開示された技術では、以上のようにして、切替元デバイスから切替先デバイスへのデバイス切替が高速に実現可能となるのであるが、この効果を、デバイス切替に要する時間を短縮するための新たな２つの技術ごとに纏めると次のようになる。
【００３２】
第１の技術（サービス発見をあらかじめ周期的に行っておくこと）の効果は、サービス発見要求（Ｍ１）から、サービス発見応答（Ｍ２）受信にかかわる動作(Ｓ２５０２からＳ２５０３およびＳ２６０１)を、ユーザから切替先デバイス表示要求（Ｓ２５０７）の指示がある以前に周期的に行っておくことにより、切替時の実質的な動作時間をゼロとすることが可能となり、デバイスリストが提示されるまでに必要な時間の短縮が図れるというものである。
【００３３】
第２の技術（サービス発見の結果得られた全てのデバイスに対してセッション確立及びメディア処理の準備を先行的に行っておくこと）の効果は、セッション確立・メディア処理準備要求（Ｍ３）からセッション確立・メディア処理準備応答（Ｍ４）の受信にかかわる動作（Ｓ２５０４からＳ２５０６およびＳ２６０２からＳ２６０４）を、ユーザから切替先デバイス選択（Ｓ２５０９）の指示がある以前に、サービス発見により得られた切替先候補となるすべてのデバイスに対して行っておくことにより、切替時の実質的な動作時間をゼロとすることが可能となり、選択した切替先デバイスでメディアの処理準備が完了するまでに要する時間の短縮が図れるというものである。
【００３４】
すなわち、上記２つの効果の結果として、切替に要する時間、すなわちユーザが切替を意図して、切替元デバイスに対して切替先デバイス表示要求（Ｕ１）を指示してから、切替先デバイスの出力手段にデータが出力される（Ｄ２）までの時間が大幅に減少されることとなる。
【非特許文献１】「シームレスサービス実現のためのモバイルマルチメディアミドルウェア」情報処理学会研究報告（「モバイルコンピューティングとワイヤレス通信」）２００１年、Ｎｏ．１８−３５．
【発明の開示】
【発明が解決しようとする課題】
【００３５】
しかしながら、非特許文献１に開示されている技術によっても、切替先デバイスでメディアの受信を開始してから切替先デバイスの出力手段がメディアの出力を開始するまでの間（Ｓ２６０５からＳ２６０９）に、数百ミリ秒程度の時間が必要とされる。
【００３６】
この「数百ミリ秒程度の時間」は「数秒程度の時間」に比較すれば大幅な短縮ではあるものの、ユーザに完全なシームレスサービスを提供するという観点からは依然として「長い待ち時間」であり、更なる短縮化が望まれるところである。
【００３７】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから高速に復号することが可能であり、ユーザが知覚できない程高速に（事実上切替と同時に）デバイス切替を可能とする技術を提供することにある。
【課題を解決するための手段】
【００３８】
本発明は、このような課題を解決するために、以下のような構成を備えたデバイス切替システムおよび当該システムに用いられる送信元デバイスおよび配信先デバイスを提供する。
【００３９】
本発明のデバイス切替システムは、情報元との間でセッションを保持する送信元デバイスと、前記送信元デバイスと通信可能な複数の配信先デバイスとを備え、前記送信元デバイスは、前記セッションに係るフレーム間圧縮された動画データを前記複数の配信先デバイスへと送信し、前記フレーム間圧縮された動画データは、前記複数の配信先デバイスの中から選択された配信先デバイスにより受信され、前記送信元デバイスは、前記選択された配信先デバイスの中から切替先デバイスを決定し、前記切替先デバイスは、前記切替先デバイスの決定と同時に前記フレーム間圧縮された動画データを出力する。なお、前記送信元デバイスから前記複数の配信先デバイスへのフレーム間圧縮された動画データの送信は、マルチキャストもしくはブロードキャストにより実行されるようにしてもよい。
【００４０】
かかる構成とすることにより、ユーザからの切替先デバイス選択の指示に先立って、送信元デバイスがマルチキャストもしくはブロードキャストにより情報元とのセッションに係るメディアデータの伝送を行い、切替先の候補となる配信先デバイスが伝送されたメディアを蓄積しておくこととなるため、ユーザの切替先デバイス選択によって決定される配信先デバイスは予め蓄積しておいたメディアデータを瞬時に出力することが可能となるので、デバイス切替が極めて高速化され、「切替遅延」はユーザに事実上知覚されることはなくなる結果、シームレスサービスの質の向上を図ることが可能となる。
【００４１】
本発明のデバイス切替システムが備えている配信先デバイスは、例えば、外部デバイスとの間で通信を行うメディア受信手段と、前記メディア受信手段で受信したフレーム間圧縮された動画データを保持するメディアバッファと、前記フレーム間圧縮された動画データを復号するためのデコーダ部と、セッションを制御するためのシグナリング手段と、ネットワークインターフェースと、前記動画データの出力を行う出力手段とを備えている。
【００４２】
かかる構成とすることにより、ユーザの切替先デバイス選択によって決定される配信先デバイスは予めメディアバッファに蓄積しておいたメディアデータを瞬時に出力することが可能となる。
【００４３】
前記配信先デバイスの前記デコーダ部の第１の態様は、前記メディアバッファから出力された前記フレーム間圧縮された動画データを常時復号するデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、デバイスの切替時に前記出力手段へと前記再構築画像の出力を行うスイッチとを備えている。
【００４４】
前記配信先デバイスの前記デコーダ部の第２の態様は、前記メディアバッファから出力された前記フレーム間圧縮された動画データを複数フレーム分蓄積する拡張メディアバッファと、前記拡張メディアバッファに入力された動画データがＩフレームであるか否かを判断し前記動画データがＩフレームの場合には蓄積されている複数フレーム分の動画データを消去して前記入力されたＩフレームから蓄積を行うように制御するＩフレームカウンタと、前記デバイスの切替時に、前記拡張メディアバッファに蓄積された複数フレームの動画データをＩフレームから順に復号した後に、前記メディアバッファから出力される前記デバイス切替後の動画データの復号を行うデコーダと、復号された再構築画像を保持する再構築画像バッファと、前記拡張メディアバッファに蓄積された複数フレームの動画データを復号した後に前記出力手段へと再構築画像を出力するスイッチとを備えている。
【００４５】
前記配信先デバイスの前記デコーダ部の第３の態様は、前記デバイスの切替時に前記メディア受信手段から送られたイントラ符号化画像を復号した後に前記メディアバッファから出力される動画データの復号を行うデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、前記メディア受信手段から送られたイントラ符号化画像を復号した後に前記出力手段へ再構築画像を出力するスイッチとを備えている。なお、前記メディア受信手段は、前記シグナリング手段を介して通知された送信元デバイスからのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加されたイントラ符号化画像を取り出して前記デコーダ部に送信する。
【００４６】
前記配信先デバイスの前記デコーダ部の第４の態様は、動画データを蓄積する拡張メディアバッファと、前記メディアバッファから出力される動画データがＩフレームであるか否かを判断し前記動画データがＩフレームの場合には前記拡張メディアバッファに蓄積されているＩフレームを消去して前記出力された動画データのＩフレームの蓄積を行うように前記拡張メディアバッファを制御するＩフレームカウンタと、前記デバイスの切替時に、前記拡張メディアバッファに蓄積されているＩフレームの復号につづいて前記メディア受信手段から送られたインター符号化画像を復号した後に、前記メディアバッファから出力される前記デバイス切替後の動画データの復号を行うデコーダと、前記復号された再構築画像を保持する再構築画像バッファと、前記メディア受信手段から送られたインター符号化画像を復号した後に前記出力手段へ再構築画像を出力するスイッチを備えており、この態様において、前記メディア受信手段は、前記シグナリング手段を介して通知された送信元デバイスからのメディア出力通知に基づいて、前記メディア出力通知のペイロードに付加されたインター符号化画像を取得して前記デコーダ部に送信するようにしてもよい。
【００４７】
これらのデコーダ部の構成とすることにより、メディアバッファから出力される画像データを復号するために必要となる再構築画像は、常に再構築画像バッファに保持されていることになるため、デバイス切替時にメディアバッファから入力される動画データがイントラフレームであるか否かにかかわらず、デコーダは即座に復号を行うことができる一方で、配信先デバイスが送信元デバイスからメディア出力通知を受け取ると、スイッチがオンとなりデコーダによって復号された再構築画像は出力手段に送られて出力手段によって表示される。これにより、メディアバッファの先頭のフレームから復号することが可能となる結果、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから高速に復号することが可能であり、ユーザが知覚できない程高速にデバイス切替が高速化される効果が得られる。
【００４８】
本発明のデバイス切替システムが備えている送信元デバイスは、例えば、アプリケーションと、ネットワークインターフェースと、メディア出力を行う出力手段と、ユーザ端末としての入力手段と、外部デバイスとの送受信を行うメディア送信手段およびメディア受信手段と、前記メディア受信手段が受信したフレーム間圧縮された動画データを保持するためのメディアバッファと、前記フレーム間圧縮された動画データを復号するためのデコーダ部と、前記デコーダ部が復号した再構築画像を符号化するエンコーダ部と、セッションを制御するためのシグナリング手段と、外部デバイスが提供するサービスを発見するためのサービス発見手段とを備え、前記メディア送信手段は、前記サービス発見手段の応答に基づいて配信先デバイスを選択し、情報元から受信した前記フレーム間圧縮された動画データを前記選択された配信先デバイスへと転送を行う。
【００４９】
前記送信元デバイスのエンコーダ部の第１の態様は、前記デコーダ部が復号した再構築画像を上書き更新して保持する再構築画像バッファと、デバイスの切替時に前記再構築画像バッファに保持されている再構築画像をイントラ符号化するイントラ符号化エンコーダとを備えており、この態様において、前記メディア送信手段は、前記メディア出力通知を切替先デバイスに通知する際に、前記エンコーダ部が生成したイントラ符号化画像を前記メディア出力通知のペイロードに付加して送信するようにしてもよい。
【００５０】
前記送信元デバイスのエンコーダ部の第２の態様は、前記デコーダ部が復号した再構築画像を上書き更新して保持する再構築画像バッファと、前記再構築画像が前記デコーダ部で復号される際にＩフレームであったか否かを判断するＩフレーム検出器と、前記Ｉフレーム検出器によりＩフレームであると判断された場合に前記再構築画像を参照画像として上書き更新して保持する第２の再構築画像バッファと、デバイスの切替時に、前記第２の再構築画像バッファに保持されている参照画像を用いて前記再構築画像バッファに保持されている再構築画像をインター符号化するインター符号化エンコーダとを備えており、この態様において、前記メディア送信手段は、前記メディア出力通知を切替先デバイスに通知する際に、前記エンコーダ部が生成したインター符号化画像を前記メディア出力通知のペイロードに付加して送信するようにしてもよい。
【００５１】
これらのデコーダ部の構成とすることにより、メディアバッファの先頭のフレームから復号することが可能となる結果、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから高速に復号することが可能であり、ユーザが知覚できない程高速にデバイス切替が高速化される効果が得られる。
【発明の効果】
【００５２】
本発明によれば、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから高速に復号することが可能であり、ユーザが知覚できない程高速にデバイス切替を実現する技術が提供される。
【発明を実施するための最良の形態】
【００５３】
以下に、図面を参照して本発明を実施するための最良の形態について説明する。
【実施例１】
【００５４】
本実施例の高速デバイス切替システムにおいては、ユーザからの切替先デバイス選択の指示に先立って、切替元デバイス（送信元デバイス）がマルチキャストもしくはブロードキャストにより通信相手とのセッションに係るメディアデータの伝送を行い、切替先の候補となるデバイス（配信先デバイス）は伝送されたメディアデータの受信を行ってメディアバッファにメディアを蓄積しておく。このような構成とすると、ユーザの切替先デバイス選択によって決定される切替先デバイスは予めメディアバッファに蓄積しておいたメディアデータを瞬時に出力することが可能となるので、デバイス切替が極めて高速化される。このような高速なデバイス切替がなされると、「切替遅延」はユーザに事実上知覚されることはなくなるため、その結果、シームレスサービスの質の向上を図ることが可能となる。以下に、図面により当該高速デバイス切替の時間短縮について説明する。
【００５５】
図１、図２、および図３はそれぞれ、切替元デバイスと切替先デバイス群間でのメッセージに関するシーケンスを示す図（図１）、切替元デバイスの動作を示す流れ図（図２）、および切替先デバイスの動作を示す流れ図（図３）である。ここで、デバイス群には、デバイス１からデバイスＮまでのＮ個のデバイスが存在しているものと仮定する。また、図示はしないが、切替元デバイスは、ＣＮと別途セッションを保持している。この本高速デバイス切替システムは、既に説明した非特許文献１に開示される技術の上述した問題点を改善するシステムであり、非特許文献１に示されている従来の切替元デバイスおよび切替先デバイスと比較した場合に相違する構成要素は、高速ミドルウェアとメディアバッファ２１０８とメディア送信手段２１０６とシグナリング手段２１１０の４つの構成要素であり、これらの構成要素が従来のものとは異なる動作を行う。
【００５６】
まず、切替元デバイスの動作を図２を参照しながら説明するが、図１９を用いて説明済みの動作であって、本実施例においても同様の動作が実行される場合には、重複しての説明は省略する。
【００５７】
図２に示す流れ図において、高速ミドルウェアは、切替先デバイスが切替先デバイスのメディアバッファを制御することができるように、メディアバッファ２１０８内部の図示しないバッファ制御手段を通じてバッファ制御情報を生成する（Ｓ２８０４）。高速ミドルウェアは、切替先デバイスリストに記されたデバイスに対して、セッションを確立し、メディアデータの伝送を行うために、シグナリング手段２１１０を通じてセッション確立・メディア処理準備要求（Ｍ３’）を切替先候補となるデバイスに送信する（Ｓ２８０５）。ここで、切替先候補となるデバイスはｎ（１≦ｎ≦Ｎ）個存在する。このとき、メディア処理準備要求（Ｍ３’）メッセージのペイロードに、バッファ制御手段が生成したバッファ制御情報を付加する。ただし、バッファ制御情報の付加は、ペイロードに限ったものである必要はなく、ヘッダーに対して付加してもよい。
【００５８】
また、同時に、メディア受信手段２１０７およびメディア送信手段２１０６に対して、受信したメディアデータおよびメディアバッファ２１０８に蓄積されているメディアデータを切替先デバイスに転送する準備を開始するように通知する（Ｓ２８０６）。シグナリング手段２１１０が、切替先デバイスからセッション確立・メディア処理準備応答を受信すると（Ｓ２８０７）、高速ミドルウェアは、メディア送信手段２１０６に対して、メディア受信手段２１０７がＣＮ２００２から受信したメディアデータの伝送（Ｄ１’）を開始するように通知する（Ｓ２８０８）。ここでは、メディア送信手段２１０６は、マルチキャストもしくはブロードキャストにより、切替先デバイスリストに記された切替先候補となるデバイスに対して、メディアデータの転送を開始し、高速ミドルウェアは、一定時間待機する。
【００５９】
ステップＳ２８０９でユーザから切替先デバイスリストの表示要求ありと判断された場合（Ｓ２８０９：Ｙｅｓ）には、ステップＳ２８１０およびステップＳ２８１１を経て、高速ミドルウェアは、切替先として選択された切替先の「デバイス２」がメディア出力を開始するために、シグナリング手段２１１０を通じて、切替先の「デバイス２」に対してメディア出力通知（Ｍ７）を送信する（Ｓ２８１２）。このステップでは、高速ミドルウェアは、バッファ制御手段が生成したメディアバッファ２１０８のメディアデータ状況をメディア出力通知（Ｍ７）のペイロードに付加する。ただし、メディアデータ状況の付加は、ペイロードに限ったものである必要はなく、ヘッダーに対して付加してもよい。
【００６０】
次に、切替先デバイスの動作を図３を参照しながら説明するが、図２０を用いて説明済みの動作であって、本実施例においても同様の動作が実行される場合には、重複しての説明は省略する。
【００６１】
図３に示す流れ図において、切替先候補となるデバイスのシグナリング手段２１１０が、切替元デバイスからセッション確立・メディア処理準備要求を受信すると、メッセージからバッファ制御情報を取り出し、高速ミドルウェアに送る（Ｓ２９０２）。切替先候補となるデバイスのメディア受信手段２１０７は、切替元デバイスがマルチキャストもしくはブロードキャストによって転送しているメディアデータを受信し（Ｓ２９０５）、メディアバッファ２１０８へのバッファリングを開始する（Ｓ２９０６）。ステップＳ２９０６において高速ミドルウェアは、バッファ制御情報をメディアバッファ２１０８内部の図示しないバッファ制御手段に送り、バッファ制御手段は、その情報を利用してメディアバッファ２１０８が切替元デバイスのメディアバッファと同じ状態になるように制御する。
【００６２】
切替先候補となるデバイスの高速ミドルウェアは、シグナリング手段２１１０を通じて切替元デバイスによって送信されたメディア出力通知（Ｍ７）を受信すると（Ｓ２９０７）、切替先デバイスとして選択されたことを知り、切替先デバイスとしての処理を進める。そして、高速ミドルウェアは、メディア出力通知（Ｍ７）に付加されたメディアデータ状況をバッファ制御手段に送り、バッファ制御手段は、その情報を利用して、メディアバッファ２１０８が切替元デバイスのメディアバッファと同じ状態になるように制御する。
【００６３】
切替先候補となるデバイスのシグナリング手段２１１０が、切替元デバイスによって送信されたセッション切断要求（Ｍ５）を受信すると、高速ミドルウェアは、メディア受信手段２１０７に対してメディアの受信を終了するように指示する。また、メディアバッファ２１０８、デコーダ部２１０９に対してメディア処理準備を終了するように指示をする（Ｓ２９１１）。
【００６４】
以上のようにして、本実施例の高速デバイス切替システムの切替元デバイスおよび切替先デバイスは、ユーザが切替遅延を事実上知覚できないほどに高速なデバイス切替を実現することができる。
【実施例２】
【００６５】
実施例１で説明した高速デバイス切替技術によれば、ユーザが切替遅延を事実上知覚できないほどに高速なデバイス切替を実現することが可能となる。しかし、この技術によって高速デバイス切替が可能なメディアデータは限られており、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合のシームレスなデバイス切替を行おうとする場合にはその高速性には限界がある。
【００６６】
これは、実施例１で説明した高速デバイス切替システムでは、切替元デバイスのメディアバッファと切替先デバイスのメディアバッファをデバイス切替に先立って同じ状態に制御し、デバイス切替時に切替先デバイスのメディアバッファに蓄積されているメディアデータを再生するものであり、フレーム間圧縮を用いた動画データは、一連のフレームシーケンスの中で任意のタイミング（例えば３０フレームに一枚など）で挿入されるフレーム内圧縮されたフレーム、すなわちイントラフレーム以外のフレームから復号することができないということに起因する。
【００６７】
すなわち、デバイス切替の瞬間において、切替先デバイスのメディアバッファの中で、イントラフレームが先頭（最初に出力されるべきフレーム）でない場合には、イントラフレームが出力されるまでのフレームは廃棄することになり、切替における再生フレームの不連続性、切替の遅延が生じ、結果として従来の高速デバイス切替システムは、ユーザが切替遅延を知覚できない程高速なデバイス切替を提供するという目的を達成し得ないのである。
【００６８】
以降の実施例で説明する本発明の高速デバイス切替システムでは、デバイス切替に際して、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、デバイス切替の瞬間における切替先デバイスのメディアバッファの先頭のフレームから復号することを可能とし、ユーザが知覚できない程高速にデバイス切替を実現するものである。
【００６９】
本実施例の高速デバイス切替システムの基本構成は、既に図１４で示したものと全く同じであるが、デバイス群２００４を構成する切替先端末の内部の構成および動作が異なり、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから高速に復号することを可能とし、ユーザが知覚できない程高速にデバイス切替を実現するものである。より具体的には、従来の高速デバイス切替システムの切替先デバイスのデコーダ部２１０９の内部構成及び動作が異なる。以下で、切替先デバイスの内部の構成および動作について詳細に説明する。
【００７０】
図４は、本実施例の高速デバイス切替システムが備えている切替先デバイスの内部の構成を示す図で、この図において、図１５に示した従来のデバイスと同じ構成要素に対しては、同一の符号を付与するものとする。図１５の従来のデバイスは、切替先デバイスだけでなく、切替元デバイスとしても動作できる構成であり、本実施例では、切替先デバイスの機能に限定し、切替先デバイスとして動作する上で必要のないアプリケーション２１０１、入力手段２１０４、メディア送信手段２１０６を具備しない構成である。本実施例の切替先デバイスでは、デコーダ部１０１が従来とは異なる構成要素である。
【００７１】
図５は、本実施例のデコーダ部１０１の内部の構成を示す図である。デコーダ部１０１は、動画データを復号化するためのデコーダ２０１、復号した再構築画像を後続の動画データの復号化のために保持する再構築画像バッファ２０２と、デコーダ２０１が復号した再構築画像がデコーダ部１０１から流出し、出力手段２１０３で表示されないように制御するスイッチ２０３とから構成される。理解の容易のために、デコーダ部１０１の内部の動作を説明する前に、実施例１の高速デバイス切替システムの切替先デバイスにおけるフレーム間圧縮されている動画データの復号の仕方について説明する。
【００７２】
図６は、実施例１の切替先デバイスにおけるフレーム間圧縮動画の復号の仕方を説明するための図で、メディアバッファ２１０８とデコーダ部２１０９とからなる。メディアバッファ２１０８にはその内部に蓄積されている動画データ（７〜１２）が図示されており、デコーダ部２１０９はその内部構成が図示されている。メディアバッファ２１０８内部の動画データには説明のために番号が付され、ここでは圧縮された画像フレーム番号とする。すなわち、フレーム７からフレーム１２までが順番に蓄積されている。
【００７３】
メディアバッファ２１０８はＦＩＦＯ（ファーストイン・ファーストアウト）で制御され、新しい画像フレームが到着すると最も古いデータであるフレーム７が出力される。デコーダ部２１０９は、デコーダ２０１、再構築画像バッファ２０２、スイッチ２０３とから構成され、それぞれ図５に示される本実施例で使用されるものと同一である。スイッチ２０３がオン状態にあると、画像データはデコーダ２０１に入力され復号が行われる。復号された再構築画像は、表示のためにデコーダ部２１０９外部へ出力されると同時に、再構築画像バッファ２０２に保持される。
【００７４】
イントラフレーム以外のフレーム間圧縮された画像データを復号する際、当該復号化しようとするフレームの前のフレームを復号した再構築画像が必要になる。図６において、メディアバッファ２１０８のフレーム７がイントラフレームでない場合、フレーム７を復号するためには、フレーム６の再構築画像を利用することが必要となる。フレーム７がイントラフレームである場合は、再構築画像を必要とせず、フレーム７のみから直接復号を行うことができる。
【００７５】
実施例１の高速デバイス切替システムでは、切替先デバイスが切替元デバイスからメディア出力通知（Ｍ７）を受け取ると、スイッチ２０３がオンとなり復号が開始される（図３のステップＳ２９０９）。このとき、再構築画像バッファ２０２には、再構築された画像は保持されておらず、上述したようにフレーム７がイントラフレームでない場合は、後続のイントラフレームがデコーダ２０１に入力されるまで画像データの復号は行われず、それまでの画像データはデコーダ２０１によって破棄される。
【００７６】
つぎに、再び図５を参照して本実施例のデコーダ部１０１の内部の動作を説明する。本実施例では、メディアバッファ２１０８の出力は、常にデコーダ２０１に入力されており、デコーダ２０１はイントラフレームが入力された後、復号を開始し、復号により得られた再構築画像を再構築画像バッファ２０２に保持する。次のインターフレーム（イントラフレーム以外のフレーム）が入力されると、再構築画像バッファ２０２に保持された再構築画像を用いて、当該インターフレームを復号し、復号により得られた新たな再構築画像を再構築画像バッファ２０２に保持する。このとき前に保持されていた再構築画像を上書きする。
【００７７】
このような動作により、メディアバッファ２１０８から出力される画像データを復号するために必要となる再構築画像は、常に再構築画像バッファ２０２に保持されていることになる。従って、デバイス切替時にメディアバッファ２１０８から入力される動画データがイントラフレームであるか否かにかかわらず、デコーダ２０１は、即座に復号を行うことができる。一方で、本実施例の切替先デバイスが切替元デバイスからメディア出力通知（Ｍ７）を受け取ると、スイッチ２０３がオンとなりデコーダ２０１によって復号された再構築画像は、オペレーティングシステム２１０５を介して出力手段２１０３に送られ、出力手段２１０３によって表示される。
【００７８】
以上のようにして、本発明の高速デバイス切替システムが備えている切替先デバイスは、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから復号することが可能であり、ユーザが知覚できない程高速にデバイス切替を実現することが可能となる。
【実施例３】
【００７９】
本実施例の高速デバイス切替システムの基本構成も図１４で示したものと全く同じであるが、デバイス群２００４を構成する切替先端末の内部の構成および動作が異なり、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから高速に復号することを可能とし、ユーザが知覚できない程高速にデバイス切替を実現するものである。なお、本実施例においては、実施例２のシステムが備えている切替先デバイスのデコーダ部１０１の内部構成および動作が異なる。
【００８０】
図７は、本実施例のデコーダ部の内部の構成を示す図で、この図において、図５に示した実施例２のデコーダ部１０１と同じ構成要素に対しては、同一の符号を付与するものとする。本実施例のデコーダ部は、複数フレーム分の動画データを蓄積するための拡張メディアバッファ４０２と、動画データのフレームタイプを認識してＩフレーム（イントラフレームと同義）が拡張メディアバッファ４０２に入力されるとバッファをリセットするＩフレームカウンタと、接点Ａもしくは接点Ｂと接続又は非接続の３つの状態を取り得るスイッチ４０１と、動画を復号化するためのデコーダ２０１と、復号化した再構築画像を後続のフレームの復号化のために保持する再構築画像バッファ２０２と、デコーダ２０１が復号した再構築画像がデコーダ部１０１から流出して出力手段２１０３で表示されないように制御するスイッチ２０３とから構成されている。
【００８１】
つぎに、本実施例のデコーダ部の内部の動作を説明する。本実施例では、メディアバッファ２１０８の出力は、常に拡張メディアバッファ４０２に入力されており、拡張メディアバッファ４０２は、ＦＩＦＯ制御方式で画像データを蓄積する。Ｉフレームカウンタ４０３は、拡張メディアバッファに入力される画像データのフレームタイプを監視し、Ｉフレームが拡張メディアバッファ４０２に入力される際にバッファをリセットする。すなわち、拡張メディアバッファ４０２には常にＩフレームが含まれ、かつＩフレームが先頭（最初に出力されるフレーム）になるように画像データは蓄積される。スイッチ４０１の接点Ａは、メディアバッファ２１０８に接続され、接点Ｂは拡張メディアバッファ４０２と接続されており、デバイス切替が発生するまでは、スイッチ４０１は、接点Ａ、接点Ｂのどちらとも接続されていない。すなわち、デコーダ２０１にはデータは入力されないので、実施例２のシステムとは異なり、デコーダ２０１は動作しない。
【００８２】
本実施例の切替先デバイスが切替元デバイスからメディア出力通知（Ｍ７）を受け取ると、スイッチ４０１は接点Ｂと接続し、拡張メディアバッファ４０２に蓄積されているすべての画像データが、先頭フレーム（Ｉフレーム）よりデコーダ２０１に入力される。デコーダ２０１は、Ｉフレームより復号を行い、復号により得られた再構築画像を再構築画像バッファ２０２に保持する。このときスイッチ２０３はオフであり、再構築画像はデコーダ部から外には出力されない。拡張メディアバッファ４０２に蓄積されていた最後のフレームを復号し終えると、スイッチ４０１は、接点Ａと接続する。また、同時にスイッチ２０３をオンにする。デコーダ２０１の処理能力を高くすることで、拡張メディアバッファ４０２に蓄積されているすべてのフレームは、極めて短時間、例えば通常のフレーム間隔より短い時間で復号することができる。
【００８３】
このような動作をすることにより、メディアバッファ２１０８から出力される動画データを復号するために必要となる再構築画像は、再構築画像バッファ２０２に保持されていることになる。従って、デバイス切替時にメディアバッファ２１０８から入力される動画データがイントラフレームであるか否かにかかわらず、デコーダ２０１は即座に復号を行うことが可能である。
【００８４】
以上のようにして、本実施例の高速切替システムの切替先デバイスは、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから復号することが可能であり、ユーザが知覚できない程高速にデバイス切替を実現することができる。また、切替時までデコーダ２０１を動作させる必要がないので、消費電力を削減する効果がある。
【実施例４】
【００８５】
本発明の第４の実施例の高速デバイス切替システムの全体の概要について説明する。システムの基本構成は、図１４で示したものと全く同じであるが、切替元デバイスであるＭＮ２００１およびデバイス群２００４を構成する切替先端末の内部構成および動作が異なり、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから高速に復号することを可能とし、ユーザが知覚できない程高速にデバイス切替を実現するものである。
【００８６】
図８は、本実施例の切替元端末の構成を示す図で、デコーダ部２１０９の復号した再構築画像を再び符号化してメディア送信手段２１０６に渡すエンコーダ部５０１が新たに追加されている。なお、既に説明したデバイスと同じ構成要素に対しては、同一の符号を付与している。
【００８７】
図９は、本実施例の（第１の実施態様での）エンコーダ部５０１の内部の構成を示す図である。エンコーダ部５０１は、デコーダ部２１０９によって復号された再構築画像を保持するための再構築画像バッファ６０１と、スイッチ６０２と、再構築画像を画面内符号化するイントラ符号化エンコーダ６０３とから構成される。ここで、再構築画像バッファ６０１とスイッチ６０２は実施例２の再構築画像バッファ２０２とスイッチ２０３とそれぞれ同一のものである。
【００８８】
つぎに、本実施例のエンコーダ部の内部の動作を説明する。本実施例では、デコーダ部２１０９の出力は、常にエンコーダ部５０１にも入力されており、再構築画像バッファ６０１には最新の復号化された再構築画像が保持される。当該再構築画像は、当該切替元端末のデコーダ部２１０９内部の図示しない再構築画像バッファに保持される再構築画像と等しい。
【００８９】
スイッチ６０２は、通常はオフであり、デバイス切替時にオンとなる。その結果、再構築画像バッファ６０１に保持されている再構築画像は、イントラ符号化エンコーダ６０３に送られ、イントラ符号化されＩフレームが生成される。当該Ｉフレームは、メディア送信手段２１０６に送られ、メディア出力通知メッセージ（Ｍ７）のペイロードに付加されて、切替先デバイスに送信される(図２のステップＳ２８１２)。
【００９０】
以上のような動作により、本実施例の切替元デバイスは、切替先デバイスで切替時のフレームを復号するために必要となる再構築画像を、イントラ符号化して切替先デバイスに送信するものである。
【００９１】
つづいて、切替元デバイスから送られたイントラ符号化された再構築画像を受信する切替先デバイスについて説明する。
【００９２】
図１０は、本実施例の切替先デバイスの構成を説明するための図で、図４に示される実施例２の切替先デバイスと同じ構成要素に対しては、同一の符号を付与している。なお、本実施例の切替先デバイスは、デコーダ部７０１の内部構成及び動作が異なる。また、デコーダ部７０１は、メディア受信手段２１０７から画像データを受けられるように、メディア受信手段２１０７と接続されている。
【００９３】
図１１は、本実施例の（第１の実施態様での）デコーダ部７０１の内部の構成を示す図である。この図において、図５に示されている実施例２のデコーダ部、もしくは図７に示されている実施例３のデコーダ部と同じ構成要素に対しては、同一の符号を付与するものとする。
【００９４】
本実施例のデコーダ部７０１は、接点Ａもしくは接点Ｂと接続又は非接続の３つの状態を取り得るスイッチ４０１と、動画データを復号するためのデコーダ２０１と、復号した再構築画像を後続の動画データの復号化のために保持する再構築画像バッファ２０２と、デコーダ２０１が復号した再構築画像がデコーダ部７０１から流出して出力手段２１０３で表示されないように制御するスイッチ２０３とから構成される。
【００９５】
つぎに、本実施例のデコーダ部７０１の内部の動作を説明する。本実施例では、メディアバッファ２１０８の出力はスイッチ４０１の接点Ａと、メディア受信手段２１０７の出力はスイッチ４０１の接点Ｂと接続されている。スイッチ４０１は、切替が発生するまでは、接点Ａおよび接点Ｂの何れの接点とも接続されていない。すなわち、本実施例においても、デコーダ２０１にはデータは入力されないので、実施例３と同様に、デコーダ２０１は動作していない。
【００９６】
本実施例において、切替先デバイスが切替元デバイスからメディア出力通知（Ｍ７）を受け取ると、スイッチ４０１は接点Ｂと接続し、メディア受信手段２１０７は、メディア出力通知メッセージ（Ｍ７）のペイロードに付加されたイントラ符号化されたＩフレームを分離し、当該Ｉフレームをデコーダ２０１に送る。デコーダ２０１は、当該Ｉフレームの復号を行い、復号した再構築画像を再構築画像バッファ２０２に保持する。このときスイッチ２０３はオフであり、再構築画像はデコーダ部７０１から外には出力されない。Ｉフレームは、もともとメディアバッファ２１０８の先頭（最初に出力されるフレーム）フレームを復号化するのに必要となる再構築画像を切替元デバイスでイントラ符号化したものであり、Ｉフレームを復号することにより、必要な再構築画像が得られる。Ｉフレームを復号し再構築画像を再構築画像バッファ２０２に保持し終えると、スイッチ４０１を接点Ａと接続する。また、同時にスイッチ２０３をオンにする。本実施例の切替先デバイスでは、デコーダ２０１はデバイス切替に先立ってイントラフレームを１フレームのみ復号するだけでよい。
【００９７】
このような動作をすることにより、メディアバッファ２１０８から出力される画像データを復号するために必要となる再構築画像は、再構築画像バッファ２０２に保持されていることになる。従って、切替時にメディアバッファ２１０８から入力されるフレームがイントラフレームであるか否かにかかわらず、デコーダ２０１は、即座に復号を行うことが可能である。
【００９８】
以上のようにして、本実施例の高速切替システムの切替先デバイスは、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから復号することが可能であり、ユーザが知覚できない程高速にデバイス切替を実現することができる。また、切替時までデコーダ２０１を動作させる必要がなく、切替に先立って１フレームの復号を行うだけでよいので消費電力を削減する効果がある。
【００９９】
本実施例のシステムは、以下のような切替元デバイスと切替先デバイスを備えている第２の実施態様とすることもできる。この実施態様での切替元デバイスの基本構成は、図８で示した構成と同じであり、エンコーダ部５０１の内部構成と動作のみが異なる。また、切替先デバイスの基本構成は、図１０で示した構成と同じであり、デコーダ部７０１の内部構成と動作のみが異なる。
【０１００】
図１２は、本実施例の第２の実施態様における切替元デバイスのエンコーダ部の内部構成を示す図である。この実施形態のエンコーダ部は、デコーダ部２１０９によって復号化された再構築画像を保持するための再構築画像バッファ９０１と、復号された再構築画像をフレーム間符号化の際の参照画像として保持するための再構築画像バッファ９０６と、３つのスイッチ９０２、９０４、および９０７と、再構築画像をフレーム間符号化するインター符号化エンコーダ９０３と、デコーダ部２１０９から送られるフレームタイプ情報からＩフレームを検知しスイッチ９０４を制御するＩフレーム検知器９０５とから構成される。ここで、スイッチ９０２、スイッチ９０４、スイッチ９０７は、図５を用いて説明した実施例２のスイッチ２０３と同一のものである。また、再構築画像バッファ９０１および再構築画像バッファ９０６は、図９を用いて説明した、本実施例の第１の実施態様における再構築画像バッファ６０１と同一のものである。
【０１０１】
つぎに、本実施例の第２の実施態様のエンコーダ部の内部の動作を説明する。この実施態様では、デコーダ部２１０９の出力である復号化された再構築画像は、常に再構築画像バッファ９０１に入力される。さらに、デコーダ部２１０９の出力であるフレームタイプ情報は、Ｉフレーム検知器９０５に入力され、Ｉフレーム検知器９０５がフレームタイプ情報から当該再構築画像がデコーダ部２１０９による復号前にＩフレームであったと判断したときは、スイッチ９０４をオンとすることで、当該再構築画像を、参照画像として再構築画像バッファ９０６に入力する。反対に、Ｉフレーム検知器９０５がフレームタイプ情報から当該再構築画像がＩフレームでなかったと判断したときは、スイッチ９０４をオフとすることで、再構築画像バッファ９０６にすでに保持されている参照画像はそのまま維持される。
【０１０２】
スイッチ９０２およびスイッチ９０７は通常はオフであり、デバイス切替時にオンとなる。その結果、再構築画像バッファ９０１に保持された再構築画像と、再構築画像バッファ９０６に保持された参照画像とは、インター符号化エンコーダ９０３に入力され、フレーム間符号化が施されてＰフレームが生成される。このＰフレームは、参照画像との相関性を用いて符号化されるもので、復号の際に当該参照画像を必要とする。出力されたＰフレームは、メディア送信手段２１０６に送られ、メディア送信手段２１０６によりメディア出力通知メッセージ（Ｍ７）のペイロードに付加されて、切替先端末に送信される(図２中のステップＳ２８１２)。
【０１０３】
このような動作により、本実施例の第２の実施態様の切替元デバイスは、切替先デバイスで切替時のフレームを復号化するために必要となる再構築画像を、参照画像を用いてインター符号化して切替先デバイスに送信するものである。
【０１０４】
つづいて、切替元デバイスから送られたインター符号化された再構築画像を受信する切替先デバイスについて説明する。
【０１０５】
図１３は、本実施例の第２の実施態様の切替先デバイスのデコーダ部の内部の構成を示す図である。なお、図５に示されている実施例２のデコーダ部、もしくは図７に示されている実施例３のデコーダ部と同じ構成要素に対しては、同一の符号を付与している。本実施態様のデコーダ部は、接点Ａ、接点Ｂもしくは接点Ｃと接続又は非接続の４つの状態を取り得るスイッチ１００１と、動画データを復号化するためのデコーダ２０１と、復号した再構築画像を後続の動画データの復号化のために保持する再構築画像バッファ２０２と、デコーダ２０１が復号した再構築画像がデコーダ部から流出して出力手段２１０３で表示されないように制御するスイッチ２０３と、１フレーム分の画像データを蓄積するための拡張メディアバッファ１００２と、画像データのフレームタイプを認識してＩフレーム（イントラフレームと同義）が拡張メディアバッファ１００２に入力される際にバッファをリセットするＩフレームカウンタ４０３とから構成される。
【０１０６】
つぎに、本実施態様のデコーダ部の内部の動作を説明する。本実施態様では、メディアバッファ２１０８の出力は、常に拡張メディアバッファ１００２に入力されている。拡張メディアバッファ１００２は、実施例３のデコーダ部の拡張メディアバッファ４０２と動作は同じであるが、バッファサイズが小さく１フレーム分の画像データのみを蓄積しておくことができる。Ｉフレームカウンタ４０３は、拡張メディアバッファ１００２に入力される画像データを監視し、Ｉフレームが拡張メディアバッファ１００２に入力される際にバッファが保持するフレームを更新する。すなわち、Ｉフレームのみの蓄積を許可し、最新のＩフレームのみが拡張メディアバッファ１００２には保持される。メディアバッファ２１０８の出力はスイッチ１００１の接点Ａと、拡張メディアバッファ１００２の出力はスイッチ１００１の接点Ｂと、メディア受信手段２１０７の出力はスイッチ１００１の接点Ｃと接続されている。スイッチ１００１は、切替が発生するまでは、接点Ａ、接点Ｂ、接点Ｃのいずれとも接続されていない。すなわち、本実施態様においても、デコーダ２０１にはデータは入力されないので、実施例３と同様に、デコーダ２０１は動作していない。
【０１０７】
本実施例の第２の実施態様の切替先デバイスが切替元デバイスからメディア出力通知（Ｍ７）を受け取ると、スイッチ１００１は最初に接点Ｂと接続し、拡張メディアバッファ１００２に保持されたＩフレームがデコーダ２０１に送られる。デコーダ２０１は、当該Ｉフレームの復号を行い、復号した再構築画像を再構築画像バッファ２０２に保持する。このときスイッチ２０３はオフであり、再構築画像はデコーダ部から外には出力されない。
【０１０８】
次に、スイッチ１００１は接点Ｃと接続し、メディア受信手段２１０７はメディア出力通知メッセージ（Ｍ７）のペイロードに付加されたインター符号化されたＰフレームを分離し、当該Ｐフレームをデコーダ２０１に送る。デコーダ２０１は、再構築画像バッファ２０２に保持された参照画像を用いて当該Ｐフレームの復号化を行い、得られた再構築画像を再構築画像バッファ２０２に保持する。このときもまた、スイッチ２０３はオフであり、再構築画像はデコーダ部から外には出力されない。
【０１０９】
Ｐフレームは、もともとメディアバッファ２１０８の先頭（最初に出力されるフレーム）フレームを復号化するのに必要となる再構築画像を切替元デバイスでインター符号化したものであり、Ｐフレームを復号化することにより、必要な再構築画像が得られる。Ｐフレームを復号し再構築画像を再構築画像バッファ２０２に保持し終えると、スイッチ１００１を接点Ａと接続する。また、同時にスイッチ２０３をオンにする。本実施態様の切替先デバイスでは、デコーダ２０１は切替に先立ってＩフレーム、Ｐフレームの２フレームの復号を行うだけでよい。
【０１１０】
このような動作により、メディアバッファ２１０８から出力される画像データを復号するために必要となる再構築画像は、再構築画像バッファ２０２に保持されていることになる。従って、デバイス切替時にメディアバッファ２１０８から入力される画像データがイントラフレームであるか否かにかかわらず、デコーダ２０１は、即座に復号を行うことが可能である。
【０１１１】
以上のようにして、本実施例の第２の実施態様の高速切替システムの切替先デバイスは、フレーム間圧縮を用いたＭＰＥＧ等の動画データを利用する場合にも、切替時のフレームから復号することが可能であり、ユーザが知覚できない程高速にデバイス切替を実現することができる。また、切替時までデコーダ２０１を動作させる必要がなく、切替に先立って２フレームの復号を行うだけでよいので消費電力を削減する効果がある。さらに、切替元デバイスから切替先デバイスに送られるメディア出力通知メッセージ（Ｍ７）のペイロードに付加される情報はインター符号化されたＰフレームであるので、送信する情報量の削減がはかれ、ＰＡＮの帯域が小さい場合においてもメッセージ転送に係る遅延が発生しない。
【０１１２】
以上、実施例により本発明の高速デバイス切替技術について説明したが、上記実施例は本発明を実施するための例にすぎず、本発明はこれらに限定されるものではない。これらの実施例を種々変形することは本発明の範囲内にあり、更に本発明の範囲内において他の様々な実施例が可能であることは上記記載から自明である。
【産業上の利用可能性】
【０１１３】
本発明にかかるデバイス切替システムは、ユビキタスネットワーク環境において、多種多様な能力を持つデバイスを自由に切替えてシームレスサービスを実現するために必須の高速デバイス切替システムである。
【０１１４】
また、当該システムに用いられるデバイスは、携帯電話、デジタルスチルカメラ、デジタルビデオムービー等で撮影した映像をテレビ等の表示デバイスに出力する装置等としても適用が可能である。
【図面の簡単な説明】
【０１１５】
【図１】実施例１における、切替元デバイスと切替先デバイス群間でのメッセージに関するシーケンスを示す図
【図２】実施例１における、切替元デバイスの動作を示す流れ図
【図３】実施例１における、切替先デバイスの動作を示す流れ図
【図４】実施例２の高速デバイス切替システムが備えている切替先デバイスの内部の構成を示す図
【図５】実施例２のデコーダ部の内部の構成を示す図
【図６】実施例１の切替先デバイスにおけるフレーム間圧縮動画の復号の仕方を説明するための図
【図７】実施例３のデコーダ部の内部の構成を示す図
【図８】実施例４の切替元端末の構成を示す図
【図９】実施例４の第１の実施態様でのエンコーダ部の内部の構成を示す図
【図１０】実施例４の切替先デバイスの構成を説明するための図
【図１１】実施例４の第１の実施態様でのデコーダ部の内部の構成を示す図
【図１２】４実施例の第２の実施態様における切替元デバイスのエンコーダ部の内部構成を示す図
【図１３】実施例４の第２の実施態様の切替先デバイスのデコーダ部の内部の構成を示す図
【図１４】従来のデバイス切替の一般的なシステム構成を説明するための図
【図１５】デバイス切替を実現するためのモバイルノード（ＭＮ）のデバイス内部の構成例を説明するためのブロック図
【図１６】モバイルノードと切替先デバイス群との間のメッセージシーケンスを示す図
【図１７】図１６に示したメッセージシーケンスの流れ図
【図１８】非特許文献１に開示された技術における、モバイルノードと切替先デバイス群との間でのメッセージシーケンスを示す図
【図１９】非特許文献１に開示された技術のシーケンスでの、切替元デバイスの動作を示す流れ図
【図２０】非特許文献１に開示された技術のシーケンスでの、切替先デバイスの動作を示す流れ図
【符号の説明】
【０１１６】
１０１  デコーダ部
２０１  デコーダ
２０２、６０１、９０１、９０６  再構築画像バッファ
２０３、６０２、９０２、９０７  スイッチ
４０１、１００１  スイッチ
４０２、１００２  拡張メディアバッファ
４０３  Ｉフレームカウンタ
５０１  エンコーダ部
６０３  イントラ符号化エンコーダ
７０１  デコーダ部
９０３  インター符号化エンコーダ
９０５  Ｉフレーム検知器
２００１  ＭＮ
２００２  ＣＮ
２００３  インターネット
２００４  デバイス群
２００５  ＰＡＮ
２１０１  アプリケーション
２１０２  ネットワークＩ／Ｆ
２１０３  出力手段
２１０４  入力手段
２１０５  オペレーティングシステム
２１０６  メディア送信手段
２１０７  メディア受信手段
２１０８  メディアバッファ
２１０９  デコーダ部
２１１０  シグナリング手段
２１１１  サービス発見手段
２１１２  ミドルウェア
【図１】
2006270579.tif 000003
【図２】
2006270579.tif 000004
【図３】
2006270579.tif 000005
【図４】
2006270579.tif 000006
【図５】
2006270579.tif 000007
【図６】
2006270579.tif 000008
【図７】
2006270579.tif 000009
【図８】
2006270579.tif 000010
【図９】
2006270579.tif 000011
【図１０】
2006270579.tif 000012
【図１１】
2006270579.tif 000013
【図１２】
2006270579.tif 000014
【図１３】
2006270579.tif 000015
【図１４】
2006270579.tif 000016
【図１５】
2006270579.tif 000017
【図１６】
2006270579.tif 000018
【図１７】
2006270579.tif 000019
【図１８】
2006270579.tif 000020
【図１９】
2006270579.tif 000021
【図２０】
2006270579.tif 000022