(57)【要約】【課題】映像や音声を多重化して伝送するストリームにおいて、一方のストリームから他方のストリームに切り替えた場合に、映像や音声の連続性に関して起こりうる不具合を解消する。【解決手段】多重化して伝送される複数のストリームを処理するストリーム処理装置１００は、ＤＥＭＵＸ処理を行う切り分け手段１０２を有する。切り分け手段１０２は、処理対象の、第１のストリームを第２のストリームに切り替える際、前記第１及び第２のストリームのタイムスタンプを取得し、取得した前記第１及び第２のストリームのタイムスタンプを比較し、比較の結果、前記第２のストリームが前記第１のストリームより先行していると判断される場合、前記第１のストリームのパケットを、切替前パケットバッファに蓄積し、前記第２のストリームのパケット及び前記切替前パケットバッファに蓄積されている前記第１のストリームのパケットを送信する。【選択図】図５
2010239171.tif 000002
【特許請求の範囲】
【請求項１】
多重化されたストリームの再生処理において、あるストリームから別のストリームに処理対象を切り替える際、切替前ストリームのパケットを切替後ストリームのパケットのタイムスタンプとの差がなくなるまで送信することを特徴とする、ストリーム処理装置。
【請求項２】
多重化して伝送される複数のストリームを処理するストリーム処理装置であって、
処理対象の、第１のストリームを第２のストリームに切り替える際、前記第１及び第２のストリームのタイムスタンプを取得するタイムスタンプ取得手段と、
取得した前記第１及び第２のストリームのタイムスタンプを比較するタイムスタンプ比較手段と、
比較の結果、前記第２のストリームが前記第１のストリームより先行しているか否かを判断する先行ストリーム判断手段と、
前記第２のストリームが前記第１のストリームより先行していると判断される場合、前記第１のストリームのパケットを、切替前パケットバッファに蓄積する制御を行う切替前パケット蓄積制御手段と、
前記第２のストリームのパケット及び前記切替前パケットバッファに蓄積されている前記第１のストリームのパケットを送信する切り分け制御手段と、
を有することを特徴とする、ストリーム処理装置。
【請求項３】
前記切替前パケット蓄積制御手段は、前記第１のストリームのパケットを、該第１のストリームのパケットのタイムスタンプが切替時点における前記第２のストリームのタイムスタンプと一致する時点まで蓄積することを特徴とする、請求項２記載のストリーム処理装置。
【請求項４】
前記先行ストリーム判断手段は、前記第２のストリームが前記第１のストリームより先行している場合であっても、前記第２のストリームによる先行時間が、所定の閾値範囲内ならば、前記第２のストリームが前記第１のストリームより先行していないと判断することを特徴とする、請求項２又は３記載のストリーム処理装置。
【請求項５】
切替前パケットバッファを有するコンピュータに、
多重化して伝送される複数のストリームを処理させるプログラムであって、
前記コンピュータを、
処理対象の、第１のストリームを第２のストリームに切り替える際、前記第１及び第２のストリームのタイムスタンプを取得するタイムスタンプ取得手段と、
取得した前記第１及び第２のストリームのタイムスタンプを比較するタイムスタンプ比較手段と、
比較の結果、前記第２のストリームが前記第１のストリームより先行しているか否かを判断する先行ストリーム判断手段と、
前記第２のストリームが前記第１のストリームより先行していると判断される場合、前記第１のストリームのパケットを、前記切替前パケットバッファに蓄積する制御を行う切替前パケット蓄積制御手段と、
前記第２のストリームのパケット及び前記切替前パケットバッファに蓄積されている前記第１のストリームのパケットを送信する切り分け制御手段として機能させることを特徴とする、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ストリーム処理装置及びプログラムに関し、特に、同期処理に係る不具合に対処する技術に関する。
【背景技術】
【０００２】
本願の出願前に公知となっている文献の中から本発明に関連する技術が記載されている文献として、特許文献１，２を挙げる。
【０００３】
特許文献１と本発明とは、発明するに至った背景に関連がある。しかしながら、特許文献１のシステムは、放送波を受信する装置と、前記放送波をいったん受信して前記装置に再送信する装置とを含むシステムにおいて、直接受信した放送波と再送信された放送波との間で生じる映像や音声の途切れや欠落を問題とするものであって、本発明とは構成が異なる。
【０００４】
特許文献２は、地上デジタル放送受信において、再生するセグメントを切り替える際に視聴者が感じるコンテンツの途切れの低減を目的とする技術を記載している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０１０９７１号公報
【特許文献２】特開２００７−２８２１８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
映像や音声を多重化して伝送又は蓄積する規格としては、例えば、ＭＰＥＧ−２プログラムストリームやＭＰＥＧ−２トランスポートストリームが知られている。このような多重化されたストリームを処理する場合には、あるストリームの処理から別のストリームの処理へと切り替える際に、同期制御の方式によっては、不具合が生じる可能性がある。以下、ＭＰＥＧ−２トランスポートストリームの場合を例に説明する。
【０００７】
上記不具合とは、映像と音声の同期に音声のパケットに付加されているタイムスタンプを利用する制御を行う場合において、多重音声を再生中に切り替えた場合に音切れやカクツキが生じる不具合である。
【０００８】
なお、ここでいう「タイムスタンプ」とは、ＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ  Ｅｌｅｍｅｎｔａｒｙ  Ｓｔｒｅａｍ）パケットのヘッダに含まれる表示時間（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）である。
【０００９】
上記不具合は、トランスポートストリームを単に切り替えて、切替後のトランスポートストリームのＰＥＳパケットヘッダに含まれるＰＴＳを参照して同期制御を行うことが原因で生じる。また、映像のカクツキに関してはさらに、映像ストリームが音声タイムスタンプを基準として同期する仕様の場合に、映像再生の連続性が失われることが原因で生じる。
【００１０】
本発明は、上記実情に鑑みて、映像や音声を多重化して伝送するストリームにおいて、一方のストリームから他方のストリームに切り替えた場合に、映像や音声の連続性に関して起こりうる不具合を解消することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明に係るストリーム処理装置は、多重化して伝送される複数のストリームを処理するストリーム処理装置であって、処理対象の、第１のストリームを第２のストリームに切り替える際、前記第１及び第２のストリームのタイムスタンプを取得するタイムスタンプ取得手段と、取得した前記第１及び第２のストリームのタイムスタンプを比較するタイムスタンプ比較手段と、比較の結果、前記第２のストリームが前記第１のストリームより先行しているか否かを判断する先行ストリーム判断手段と、
前記第２のストリームが前記第１のストリームより先行していると判断される場合、前記第１のストリームのパケットを、切替前パケットバッファに蓄積する制御を行う切替前パケット蓄積制御手段と、前記第２のストリームのパケット及び前記切替前パケットバッファに蓄積されている前記第１のストリームのパケットを送信する切り分け制御手段と、を有することを特徴とする。
【００１２】
また、本発明に係るプログラムは、切替前パケットバッファを有するコンピュータに、多重化して伝送される複数のストリームを処理させるプログラムであって、前記コンピュータを、処理対象の、第１のストリームを第２のストリームに切り替える際、前記第１及び第２のストリームのタイムスタンプを取得するタイムスタンプ取得手段と、取得した前記第１及び第２のストリームのタイムスタンプを比較するタイムスタンプ比較手段と、比較の結果、前記第２のストリームが前記第１のストリームより先行しているか否かを判断する先行ストリーム判断手段と、前記第２のストリームが前記第１のストリームより先行していると判断される場合、前記第１のストリームのパケットを、前記切替前パケットバッファに蓄積する制御を行う切替前パケット蓄積制御手段と、前記第２のストリームのパケット及び前記切替前パケットバッファに蓄積されている前記第１のストリームのパケットを送信する切り分け制御手段として機能させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、映像や音声を多重化して伝送するストリームにおいて、一方のストリームから他方のストリームに切り替えた場合に、映像や音声の連続性に関して起こりうる不具合を解消することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明による実施形態の装置の構成を示すブロック図である。
【図２】本発明による実施形態におけるストリームを説明するための概念図である。
【図３】本発明による実施形態における切り分け手段のデマックス処理によるデータ形式の変化を説明するための概念図である。
【図４】映像や音声の連続性に関して起こりうる不具合について説明した概念図である。
【図５】本実施形態の多重化音声切替処理による作用を説明した概念図である。
【図６】本発明による実施形態における切り分け手段の機能構成を示すブロック図である。
【図７】本発明による実施形態の切り分け手段による多重化音声切替処理の流れを示すフローチャート図である。
【発明を実施するための形態】
【００１５】
以下、本発明を実施形態により詳細に説明する。
【００１６】
図１を参照すると、本実施形態に係るストリーム処理装置１００の機能構成が示されている。図示のように、ストリーム処理装置１００は、配信手段１０１、切り分け手段１０２、復号手段１０３、再生手段１０４を備える。なお、図中、実線の矢印は、処理されるデータの流れを示している。
【００１７】
本実施形態において、ストリーム処理装置１００に入力されるストリームは、ＴＴＳ（Ｔｉｍｅｓｔａｍｐｅｄ  Ｔｒａｎｓｐｏｒｔ  Ｓｔｒｅａｍ）パケット群である。本実施形態においては、ＴＴＳパケット群の一例として、地上デジタル放送の番組データとする。
【００１８】
図２を参照すると、本実施形態におけるストリーム（ＴＴＳパケット群）を説明するための概念図が示されている。図示のように、本実施形態におけるストリームは、種々のエレメンタリストリームをパケット化したＰＥＳパケットをさらに分割したトランスポートパケットがバラバラに送られている。
【００１９】
図１中の各手段の説明に戻る。
配信手段１０１は、入力されたストリームのソース処理を行う機能を備える。ソース処理は、例えば、入力されたストリームを適当なサイズで切って後段に順次送る処理や、通信暗号を解除する処理が含まれる。
【００２０】
切り分け手段１０２は、ソース処理を施されたストリームの中から、後段のデコード処理やレンダリング処理を実行する対象となるストリームを選別し、エレメンタリストリームとして出力する処理（デマックス（ＤＥＭＵＸ）処理）を行う。
【００２１】
復号手段１０３は、選別されたエレメンタリストリームを復号するデコード処理を行う。
再生手段１０４は、復号されたエレメンタリストリームを映像の場合はレンダリング、音声の場合は音声再生処理を行う。
【００２２】
図３を参照すると、切り分け手段１０２のデマックス処理によるデータ形式の変化を説明するための概念図が示されている。図３（ａ）はＰＥＳパケットを説明するための概念図、図３（ｂ）はエレメンタリストリームを説明するための概念図である。
【００２３】
図２に一例を示したバラバラに送られてきたトランスポートパケットは、切り分け手段１０２により同一のＰＩＤ（パケットＩＤ）のパケットが、ＰＥＳパケットとしてまとめられる。図３（ａ）に１つのＰＥＳパケットの例を示す。ＰＥＳパケットは、ヘッダ３０１と本体３０２に分かれる。ヘッダ３０１には、表示時間（ＰＴＳ：Ｐｒｅｓｅｎｔａｔｉｏｎ  Ｔｉｍｅ  Ｓｔａｍｐ）が格納されている。以後、表示時間を「タイムスタンプ」という。
【００２４】
切り分け手段１０２は、ＰＥＳパケットの本体３０２を蓄積し、図３（ｂ）に示したようなエレメンタリストリーム３０３の一つとする。エレメンタリストリーム３０３は、復号手段１０３及び再生手段１０４において映像、音声として再生される。
【００２５】
図２に示したように、本実施形態に入力されるストリームは、「音声１」と「音声２」のように多重化されており、切替ができるものが存在する。これに対し、本実施形態の切り分け手段１０２は、一方のストリームから他方のストリームに切り替えた場合に、映像や音声の連続性に関して起こりうる不具合に好適に対処する切替処理を実行する。
【００２６】
図４を参照すると、ストリームを切り替えた際に、映像や音声の連続性に関して起こりうる不具合について説明した概念図が示されている。なお、図４には例えば音声１が本放送、音声２が本放送＋解説音声付きといった、切り替え可能な多重音声間における差分が少ない場合を例示した。
【００２７】
図４において、音声に関するストリームを、切替時点４００のときに、音声１から音声２に切り替えると、再生される実際の音声は、音声１のストリーム４０１、音声２のストリーム４０２、音声２のストリーム４０３となる。
【００２８】
このとき、音声１のストリーム４０１と音声２のストリーム４０２の間にタイムスタンプの開きがあるために、映像又は音声が遅れていると判断されてしまう場合、同期制御が働き、タイムスタンプの開き分のストリームが音声１でも音声２でも再生されないという不具合が生じる。
【００２９】
当該不具合は、図４に例示したような、音声１が本放送、音声２が本放送＋解説音声付きといった、差分の少ない内容であった場合に顕著となる。切替前後のタイムスタンプの差によって、同一の台詞が重複して聞こえたり、飛んで聞こえたりして、聞き手であるユーザに違和感を感じさせる可能性があるためである。
【００３０】
これに対し、本実施形態の切り分け手段１０２は、タイムスタンプの開き分のストリームが再生されるよう、ＰＥＳパケット単位でタイムスタンプをチェックし、開きがあることを検出すると、切替前の音声パケットも切替後の音声パケットと一緒に、後段の処理に送信する。
【００３１】
図５を参照すると、本実施形態の多重化音声切替処理による作用を説明した概念図が示されている。図示のように、本実施形態の多重化音声切替処理は、タイムスタンプの一致時点５００まで、切替前の音声パケット（音声１のストリーム５０１）を、切替後の音声パケット（音声２のストリーム４０２）と一緒に、後段の処理に送信する。
【００３２】
図５に示したような本実施形態の多重化音声切替処理によれば、送信すべきストリームに空白の期間がないので音切れが発生しない。また、同番組の音声データのため、フォーマットが同一である場合がほとんどであり、そのことを利用して切替時に発生する初期化処理を省略できる。
【００３３】
以下で、上記本実施形態の多重化音声切替処理を実現する、切り分け手段１０２の機能構成を説明する。図６を参照すると、切り分け手段１０２の機能構成が示されている。図示のように、切り分け手段１０２は、ヘッダ情報チェック手段６０１、切り分け制御手段６０２、内部ステータス保存手段６０３、切替前パケットバッファ６０４を有する。
【００３４】
また、ヘッダ情報チェック手段６０１は、タイムスタンプ取得手段６０５、タイムスタンプ比較手段６０６、先行ストリーム判断手段６０７、切替前パケット蓄積制御手段６０８を有する。
【００３５】
ヘッダ情報チェック手段６０１は、タイムスタンプ取得手段６０５により切り分け手段１０２に入力されたパケットのＰＩＤ値や、パケットのタイムスタンプをチェックし、タイムスタンプ比較手段６０６と先行ストリーム判断手段６０７によるチェック結果によって内部ステータスの変更や保存、切替前の音声パケットのバッファへの格納を行う。切替前の音声パケットの格納は、切替前パケット蓄積制御手段６０８が行う。
【００３６】
切り分け制御手段６０２は、ヘッダ情報チェック手段６０１のチェック結果等に基づいて、後段の処理に送信するパケットを切り替える制御を行う。
【００３７】
内部ステータス保存手段６０３は、例えばランダム・アクセス・メモリ上に構築された記憶領域によって実現する。本実施形態においては、入力ストリームの切替中であるか否かを示す内部ステータスを保存する。
【００３８】
切替前パケットバッファ６０４は、例えばランダム・アクセス・メモリ上に構築された記憶領域によって実現する。また、切替前パケットバッファ６０４は、ヘッダ情報チェック手段６０１のチェック結果に基づいて、切替前のパケット（図５に示す例では「音声１」）を一次保存する機能を備える。
【００３９】
次に、上述のような切り分け手段１０２が行う、本実施形態の多重化音声切替処理の流れについて、図７を参照して説明する。
【００４０】
まず、ヘッダ情報チェック手段６０１は、入力されているパケットのＰＩＤ値をチェックする（ステップＳ１０１）。次に、ヘッダ情報チェック手段６０１は、ユーザ操作等により音声が切り替えられた、すなわち、再生対象の音声ＰＩＤが変更されたか否かを確認する（ステップＳ１０２）。本実施形態の多重化音声切替処理は、切替命令があることが前提なので、ステップＳ１０３に進む。
【００４１】
ヘッダ情報チェック手段６０１は、切替処理に係る内部ステータスを「ＰＩＤ変更中」に変更し、内部ステータス保存手段６０３に保存する（ステップＳ１０３）。
【００４２】
次に、ヘッダ情報チェック手段６０１のタイムスタンプ取得手段６０５は、切替前ストリームのＰＥＳパケットを参照してタイムスタンプを取得（ステップＳ１０４）、切替後のストリームについても同様にタイムスタンプを取得する（ステップＳ１０５）。次に、タイムスタンプ比較手段６０６が、切替前と、切替後のストリームのタイムスタンプを比較する（ステップＳ１０６）。
【００４３】
比較の結果に基づいて、どちらのストリームが先行しているかを先行ストリーム判断手段６０７が判断する（ステップＳ１０７）。切替前のストリームが先行していると判断される場合（ステップＳ１０７／Ｙｅｓ）、ヘッダ情報チェック手段６０１は、内部ステータス保存手段６０３に保存されている内部ステータスを「ＰＩＤ変更完了」に変更し、音声の再生対象とするストリームのＰＩＤを変更、すなわち、音声を切り替える（ステップＳ１１０）。
【００４４】
比較の結果、切替後のストリームが先行していると判断される場合（ステップＳ１０７／Ｎｏ）、ヘッダ情報チェック手段６０１は、その先行時間が所定の閾値を超えるか否かを判断する（ステップＳ１０８）。
【００４５】
ここで、所定の閾値とは、音声の途切れが通常のユーザにとって許容できる範囲内であるか否かを判定する値である。当該判定を行うことによって、例えば、人間に認識できないような微細な途切れに対してステップＳ１０９の処理を実行するという処理負荷を軽減することができる。
【００４６】
切替後のストリームが先行しており、その先行時間が所定の閾値を超えるものであるとき、ヘッダ情報チェック手段６０１の切替前パケット蓄積制御手段６０８は、切替前ストリームのパケットを、切替前パケットバッファ６０４に蓄積する（ステップＳ１０９）。ヘッダ情報チェック手段６０１は、ステップＳ１０９の処理を実行した場合も、内部ステータス保存手段６０３に保存されている内部ステータスを「ＰＩＤ変更完了」に変更し、音声の再生対象とするストリームのＰＩＤを変更、すなわち、音声を切り替える（ステップＳ１１０）。
【００４７】
ここで切替前の音声パケットを蓄積する量は、図５に例示した、タイムスタンプの一致時点５００までであることが好ましい。また、蓄積した切替前ストリームのパケットは、切り分け制御手段６０２が切替後ストリームのパケットとともに、後段に送信する。
【００４８】
上記実施形態によれば、後段に送信するストリームに空白の期間がないので音切れが発生せず、上述したような不具合を解消することができる。
【符号の説明】
【００４９】
１００    ストリーム処理装置
１０１    配信手段
１０２    切り分け手段
１０３    復号手段
１０４    再生手段
６０１    ヘッダ情報チェック手段
６０２    切り分け制御手段
６０３    内部ステータス保存手段
６０４    切替前パケットバッファ
６０５    タイムスタンプ取得手段
６０６    タイムスタンプ比較手段
６０７    先行ストリーム判断手段
６０８    切替前パケット蓄積制御手段
【図１】
2010239171.tif 000003
【図２】
2010239171.tif 000004
【図３】
2010239171.tif 000005
【図４】
2010239171.tif 000006
【図５】
2010239171.tif 000007
【図６】
2010239171.tif 000008
【図７】
2010239171.tif 000009