(57)【要約】【課題】信頼性を損ねることなく簡易的にシームレス接続する。【解決手段】映像音声再生装置は映像音声多重化ストリームをビデオパケットおよびオーディオパケットに分離するストリーム分離部１１と、ストリーム分離部１１から得られたビデオパケットをデコードしてビデオ信号に変換するビデオ変換部と、ストリーム分離部１１から得られたオーディオパケットをデコードしてオーディオ信号に変換するオーディオ変換部と、ビデオパケットおよびオーディオパケットのデコードタイミングの基準となるシステム時刻を発生するクロック部とを備える。ストリーム分離部１１は映像音声多重化ストリームが先行ストリームおよび後続ストリームに分割して供給された場合に先行ストリームおよび後続ストリーム間のオーディオギャップの長さを検出し、この検出結果に基づいて先行ストリームおよび後続ストリームのシームレス接続が可能であるか判定するシームレス接続判定部２２を含む。【選択図】      図２
2009290767.tif 000002
【特許請求の範囲】
【請求項１】
映像音声多重化ストリームをビデオパケットおよびオーディオパケットに分離するストリーム分離部と、前記ストリーム分離部から得られたビデオパケットをデコードしてビデオ信号に変換するビデオ変換部と、前記ストリーム分離部から得られたオーディオパケットをデコードしてオーディオ信号に変換するオーディオ変換部と、前記ビデオパケットおよび前記オーディオパケットのデコードタイミングの基準となるシステム時刻を発生するクロック部とを備え、前記ストリーム分離部は前記映像音声多重化ストリームが先行ストリームおよび後続ストリームに分割して供給された場合に前記先行ストリームおよび前記後続ストリーム間のオーディオギャップの長さを検出し、この検出結果に基づいて前記先行ストリームおよび前記後続ストリームのシームレス接続が可能であるか判定するシームレス接続判定部を含むことを特徴とする映像音声再生装置。
【請求項２】
前記ストリーム分離部は前記シームレス接続が可能であるとの判定結果が前記シームレス接続判定部から得られた場合に前記クロック部のシステム時刻をシームレス接続用に制御する制御部をさらに含むことを特徴とする請求項１に記載の映像音声再生装置。
【請求項３】
前記シームレス接続判定部は前記オーディオギャップの長さがゼロである場合に前記シームレス接続が可能であると判定するように構成されることを特徴とする請求項２に記載の映像音声再生装置。
【請求項４】
前記シームレス接続判定部は前記オーディオギャップの長さが１オーディオフレーム未満の閾値α以下である場合に前記シームレス接続が可能であると判定するように構成されることを特徴とする請求項２に記載の映像音声再生装置。
【請求項５】
前記シームレス接続判定部は前記オーディオギャップの長さがゼロ以上であって、かつ１オーディオフレーム未満の閾値α以下である場合に前記シームレス接続が可能であると判定するように構成されることを特徴とする請求項２に記載の映像音声再生装置。
【請求項６】
映像音声多重化ストリームをビデオパケットおよびオーディオパケットに分離するストリーム分離部と、前記ストリーム分離部から得られたビデオパケットをデコードしてビデオ信号に変換するビデオ変換部と、前記ストリーム分離部から得られたオーディオパケットをデコードしてオーディオ信号に変換するオーディオ変換部と、前記ビデオパケットおよび前記オーディオパケットのデコードタイミングの基準となるシステム時刻を発生するクロック部とを用いる映像音声再生方法であって、前記映像音声多重化ストリームが先行ストリームおよび後続ストリームに分割して前記ストリーム分離部に供給された場合に前記先行ストリームおよび前記後続ストリーム間のオーディオギャップの長さを検出し、この検出結果に基づいて前記先行ストリームおよび前記後続ストリームのシームレス接続が可能であるか判定することを特徴とする映像音声再生方法。
【請求項７】
前記シームレス接続が可能であるとの判定結果が得られた場合に前記クロック部のシステム時刻をシームレス接続用に制御することを特徴とする請求項６に記載の映像音声再生方法。
【請求項８】
前記オーディオギャップの長さがゼロである場合に前記シームレス接続が可能であると判定することを特徴とする請求項７に記載の映像音声再生方法。
【請求項９】
前記オーディオギャップの長さが１オーディオフレーム未満の閾値α以下である場合に前記シームレス接続が可能であると判定することを特徴とする請求項７に記載の映像音声再生方法。
【請求項１０】
前記オーディオギャップの長さがゼロ以上であって、かつ１オーディオフレーム未満の閾値α以下である場合に前記シームレス接続が可能であると判定することを特徴とする請求項７に記載の映像音声再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は２つの映像音声多重化ストリームをシームレスに再生する映像音声再生装置および映像音声再生方法に関する。
【背景技術】
【０００２】
近年では、大容量の映像情報および音声情報をデジタル化して記録または伝送する場合に、ＭＰＥＧ（Moving Picture Experts Group)方式で符号化されることが一般的になっている。このＭＰＥＧ方式はＩＳＯ／ＩＥＣ  １１１７２規格やＩＳＯ／ＩＥＣ  １３８１８規格として知られる国際標準の符号化方式であり、例えばデジタル衛星放送、ＤＶＤレコーダ、デジタルビデオカメラにおいて映像情報および音声情報を符号化するために利用されている。ＩＳＯ／ＩＥＣ  １３８１８規格（すなわち、ＭＰＥＧ−２規格）では、映像情報および音声情報が符号化されたビデオデータの連続する映像ストリームおよび符号化されたオーディオデータの連続する音声ストリームに変換される。ビデオデータはピクチャ単位で符号化されたものであり、動き補償予測の単位である複数のピクチャからなるグループオブピクチャ（ＧＯＰ）単位に編集される。オーディオデータはオーディオフレーム単位に符号化されたものである。映像ストリームおよび音声ストリームはそれぞれ独立してパケット化され、例えばトランスポートストリーム（Transport Stream)として多重化される。これにより得られた映像音声多重化ストリームは、あるＧＯＰの先頭を含むパケットから、次のＧＯＰの先頭を含むパケットまでの連続するパケットをユニット（ＶＯＢＵ）として編集される。
【０００３】
映像音声多重化ストリームが編集のためにＶＯＢＵ境界で先行ストリームと後続ストリームに分割されると、先行ストリームにおける音声の再生終了時刻と後続ストリームにおける音声の再生開始時刻との間にオーディオギャップが発生することがある。このオーディオギャップは、編集後において映像および音声を停止することなく連続的かつ滑らかに再生させる先行および後続ストリームのシームレス接続を困難にする原因となっている。
【０００４】
従来においては、このシームレス接続を行うために先行ストリームおよび後続ストリームをデコードしてから再生時刻のずれを修正し、この修正結果を再エンコードする必要があった。また、先行ストリームにおける音声の再生終了時刻が映像の再生終了時刻よりも早くなり、後続ストリームにおける映像の再生開示時刻が音声の再生開始時刻よりも早くなるような場合に対処する方策として、後続ストリームの先頭において、映像と比較して再生開始時刻が先行する音声のパケットをヌルパケットで置換し、先行ストリームの末尾に、無音のオーディオパケットを追加することにより不所望なギャップを調整する技術が提案されている（例えば特許文献１を参照）。
【特許文献１】特開２００４−１０４７２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
通常、各ストリームにはシームレス接続可能か否かを示す管理情報が設けられるが、この管理情報は間違っていることが少なくない。特許文献１の技術は、このような管理情報からシームレス接続可能であると判断して不所望なギャップを調整した場合に、シームレス接続の失敗を招くことがある。
【０００６】
本発明の目的は、シームレス接続の信頼性が各ストリームの管理情報に依存しない映像音声再生装置および映像音声再生方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一観点によれば、映像音声多重化ストリームをビデオパケットおよびオーディオパケットに分離するストリーム分離部と、ストリーム分離部から得られたビデオパケットをデコードしてビデオ信号に変換するビデオ変換部と、ストリーム分離部から得られたオーディオパケットをデコードしてオーディオ信号に変換するオーディオ変換部と、ビデオパケットおよびオーディオパケットのデコードタイミングの基準となるシステム時刻を発生するクロック部とを備え、ストリーム分離部は映像音声多重化ストリームが先行ストリームおよび後続ストリームに分割して供給された場合に先行ストリームおよび後続ストリーム間のオーディオギャップの長さを検出し、この検出結果に基づいて先行ストリームおよび後続ストリームのシームレス接続が可能であるか判定するシームレス接続判定部を含む映像音声再生装置が提供される。
【０００８】
本発明の他の観点によれば、映像音声多重化ストリームをビデオパケットおよびオーディオパケットに分離するストリーム分離部と、ストリーム分離部から得られたビデオパケットをデコードしてビデオ信号に変換するビデオ変換部と、ストリーム分離部から得られたオーディオパケットをデコードしてオーディオ信号に変換するオーディオ変換部と、ビデオパケットおよびオーディオパケットのデコードタイミングの基準となるシステム時刻を発生するクロック部とを用いる映像音声再生方法であって、映像音声多重化ストリームが先行ストリームおよび後続ストリームに分割してストリーム分離部に供給された場合に先行ストリームおよび後続ストリーム間のオーディオギャップの長さを検出し、この検出結果に基づいて先行ストリームおよび後続ストリームのシームレス接続が可能であるか判定する映像音声再生方法が提供される。
【発明の効果】
【０００９】
これら映像音声再生装置および映像音声再生方法では、映像音声多重化ストリームが先行ストリームおよび後続ストリームに分割してストリーム分離部に供給された場合に、先行ストリームおよび後続ストリーム間のオーディオギャップの長さが検出され、先行ストリームおよび後続ストリームのシームレス接続がこの検出結果に基づいて可能であるか判定される。このような処理は簡単なハードウェア構成で実現でき、かつ通常ＤＶＤ再生機においてシームレス接続可能か否かを示すために設けられるような管理情報を必要としない。また、この管理情報に間違いがあっても、適切なシームレス接続が確立される。従って、映像音声多重化ストリームを分割した先行ストリームおよび後続ストリームを信頼性を損ねることなく簡易的にシームレス接続することが可能である。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施形態に係る映像音声再生装置について添付図面を参照して説明する。この映像音声再生装置は例えば撮影結果の映像および音声情報をＭＰＥＧ方式で符号化して映像音声多重化ストリームとして記録媒体に記録し編集するデジタルビデオカメラ等に組み込まれるものである。
【００１１】
図１はこの映像音声再生装置の概略的な構成を示す。この映像音声再生装置はストリーム分離部１１、ビデオデコード部１２、オーディオデコード部１３、システム時刻クロック部１４、ビデオ信号発生部１５、Ｄ／Ａ変換部１６を備える。ストリーム分離部１１は、映像音声多重化ストリームを受け取り、ビデオパケットとオーディオパケットに分離し、ビデオパケットをビデオデコード部１２に送り、オーディオパケットをオーディオデコード部１３に送る。システム時刻クロック部１４はビデオパケットのデコードタイミングおよびオーディオパケットのデコードタイミングの基準となるシステム時刻（ＳＴＣ：System Time Clock）を発生し、これらビデオおよびオーディオの再生を同期させる。
【００１２】
ビデオデコード部１２は、受け取ったビデオパケットに記述されたタイムスタンプとシステム時刻とを比較して、タイムスタンプに合致するタイミングでデコードを行い、この結果として得られる復号ビデオ信号をビデオ信号発生器１５に供給する。ビデオ信号発生部１５は液晶モニタなどの表示機器で表示可能にするためにこの復号ビデオ信号に同期信号を重畳させたビデオ信号を発生し、このビデオ信号をビデオ出力端ＶＯＵＴに出力する。すなわち、ビデオデコード部１２およびビデオ信号発生器１５はビデオパケットをデコードしてビデオ信号に変換するビデオ変換部を構成する。
【００１３】
一方、オーディオデコード部１３は、受け取ったオーディオパケットに記述されたタイムスタンプとシステム時刻とを比較して、タイムスタンプに合致するタイミングでデコードを行い、この結果として得られる復号オーディオ信号をＤ／Ａ変換部１６に供給する。Ｄ／Ａ変換部１６はこの復号オーディオ信号をデジタル形式からアナログ形式に変換し、この変換結果のオーディオ信号をオーディオ出力端ＡＯＵＴに出力する。
【００１４】
図２は、ストリーム分離部１１の内部構成を示す。ストリーム分離部１１はパケット判定部２１、シームレス接続判定部２２、およびＳＴＣ制御部２３を含む。パケット判定部２１は、入力された映像音声多重化ストリームのパケットヘッダに記述されたストリーム識別子（stream_id）によって、入力パケットがビデオパケットおよびオーディオオーディオパケットのいずれであるかを判定し、この判定結果に従ってパケットをビデオデコード部１２またはオーディオデコード部１３に振り分ける。ビデオパケットに記述されたＤＴＳ（Decoding Time Stamp）およびＰＴＳ（Presentation Time Stamp）、並びにオーディオパケットに記述されたＰＴＳはシームレス接続判定部２２に供給される。また、ナビゲーションパックに記述されたＶＯＢＵの画像表示開始時刻ＶＯＢＵ＿Ｓ＿ＰＴＭおよび最終画像表示時刻ＶＯＢＵ＿Ｅ＿ＰＴＭもシームレス接続判定部２２に供給される。
【００１５】
シームレス接続判定部２２は、画像表示開始時刻ＶＯＢＵ＿Ｓ＿ＰＴＭ、最終画像表示時刻ＶＯＢＵ＿Ｅ＿ＰＴＭの供給に伴い、先行ＶＯＢＵの最後のオーディオのＰＴＳをＡ＿Ｌａｓｔ＿ＰＴＳ［ｉ−１］とし、現ＶＯＢＵの最初のＰＴＳをＡ＿Ｆｉｒｓｔ＿ＰＴＳ［ｉ］として認識する。また、先行ＶＯＢＵのＶＯＢＵ＿Ｅ＿ＰＴＭをＶ＿Ｅ＿ＰＴＭ［ｉ−１］とし、現ＶＯＢＵのＶＯＢＵ＿Ｓ＿ＰＴＭをＶ＿Ｓ＿ＰＴＭ［ｉ］として認識し、以下の計算を行う。このとき、２つのＶＯＢＵ間のビデオ再生時刻の差分ＰＴＭ＿ＯＦＦＳＥＴは以下の式で表わされる。
【００１６】
PTM_OFFSET = V_E_PTM[i-1] - V_S_PTM[i]≧0
また、シームレス接続判定式として、次の等式を使用する。
【００１７】
x = (A_First_PTS[i] - A_Last_PTS[i-1] + PTM_OFFSET) ％ autio_frame_period 
（ただし、audio_frame_periodは、オーディオフレーム期間を表し、”％” はモジュロ計算を表す。）
２つのストリームを接続する場合には、ビデオとオーディオの再生時間の相違によって、オーディオギャップが発生し得る。
【００１８】
図３はシームレス接続判定部によってシームレス接続可能と判定されるオーディオギャップの例を示す。この場合、オーディオギャップはゼロ以上であってかつ１オーディオフレーム期間未満の値α以下である。一方、図４はシームレス接続不可と判定されるオーディオギャップの例を示す。この場合、オーディオギャップはオーディオフレーム期間未満の値αより大きい。
【００１９】
シームレス接続判定部２２は、上述の判定式によりオーディオギャップがゼロ以上であってかつ１オーディオフレーム期間未満の値α以下である場合にシームレス接続が可能であると判定する。この場合、シームレス接続判定部２２は、パケット判定部２１に対して、ＰＴＭ＿ＯＦＦＳＥＴを送る。パケット判定部２１は、後続ストリームのタイムスタンプＰＴＳ、ＤＴＳにＰＴＭ＿ＯＦＦＳＥＴ分だけ加算した値でＰＴＳ、ＤＴＳを書き換える。これにより、ＳＴＣ制御部２３はＳＴＣ制御信号によりシステム時刻クロック部１４のシステム時刻をシームレス接続用に制御する。他方、シームレス接続が可能であると判定されなかった場合、ＳＴＣ制御部２３はＳＴＣ制御信号によりシステムクロック部１４をリセットする。
【００２０】
本実施形態では、映像音声多重化ストリームが先行ストリームおよび後続ストリームに分割してストリーム分離部１１に供給された場合に、シームレス接続判定部２２が先行ストリームおよび後続ストリーム間のオーディオギャップの長さを検出し、先行ストリームおよび後続ストリームのシームレス接続が可能であるかをこの検出結果に基づいて判定する。具体的には、上述のようにシームレス接続判定部２２はオーディオギャップの長さがゼロ以上であって、かつ１オーディオフレーム未満の閾値α以下である場合にシームレス接続が可能であると判定する。このような処理は簡単なハードウェア構成で実現でき、かつ通常ＤＶＤ再生機においてシームレス接続可能か否かを示すために設けられるような管理情報を必要としない。また、この管理情報に間違いがあっても、適切なシームレス接続が確立される。従って、映像音声多重化ストリームを分割した先行ストリームおよび後続ストリームを信頼性を損ねることなく簡易的にシームレス接続することが可能である。
【００２１】
尚、本発明は上述の実施形態に限定されず、その要旨を逸脱しない範囲で様々に変形可能である。
【００２２】
上述の実施形態において、シームレス接続判定部２２はオーディオギャップの長さがゼロ以上であって、かつ１オーディオフレーム未満の閾値α以下である場合にシームレス接続が可能であると判定するように構成されたが、例えばオーディオギャップの長さがゼロである場合にシームレス接続が可能であると判定するように構成されてもよい。また、シームレス接続判定部２２はオーディオギャップの長さが１オーディオフレーム未満の閾値α以下である場合にシームレス接続が可能であると判定するように構成されてもよい。
【００２３】
また、本発明は管理情報に依存しないため、ＤＶＤストリーム（ＶＯＢ）以外の映像音声多重化ストリームにも適用できる。
【図面の簡単な説明】
【００２４】
【図１】本発明の一実施形態に係る映像音声再生装置の概略的構成を示すブロック図である。
【図２】図１に示すストリーム分離部の内部構成を示すブロック図である。
【図３】図２に示すシームレス接続判定部によってシームレス接続可能と判定されるオーディオギャップの例を示す図である。
【図４】図２に示すシームレス接続判定部によってシームレス接続不可と判定されるオーディオギャップの例を示す図である。
【００２５】
１１…ストリーム分離部、１２…ビデオデコード部、１３…オーディオデコード部、１４…システム時刻クロック部、１５…ビデオ信号発生部、１６…Ｄ／Ａ変換部、２１…パケット判定部、２２…シームレス接続判定部、２３…ＳＴＣ制御部。
【図１】
2009290767.tif 000003
【図２】
2009290767.tif 000004
【図３】
2009290767.tif 000005
【図４】
2009290767.tif 000006