(57)【特許請求の範囲】
【請求項１】
マルチトラックビデオを設定された基準に基づいて多数のレイヤに整列するビデオ整列部と、
各レイヤのビットストリームを分析してエンコーディングモードと予測情報を含むエンコーディング情報を抽出するビットストリーム分析部と、
スケーラブル・ビデオ・エンコーディングを行うレイヤと、前記スケーラブル・ビデオ・エンコーディングを行うレイヤの上位または下位レイヤのエンコーディング情報を用いてエンコーディングモードを決定し、決定されたエンコーディングモードでエンコーディングするスケーラブル・ビデオ・コーディング（ＳＶＣ）エンコーディング部と、
を備えるスケーラブル・ビデオ・エンコーディング装置。
【請求項２】
前記ビデオ整列部は、前記マルチトラックビデオを解像度の高いビデオが上位に配置されるように整列し、解像度の同じビデオが２以上存在する場合にフレーム率の高いビデオが上位に配置されるように整列し、前記解像度及びフレーム率の同じビデオが２以上存在する場合にビット率の高いビデオが上位に配置されるように多数のレイヤに整列することを特徴とする請求項１に記載のスケーラブル・ビデオ・エンコーディング装置。
【請求項３】
前記ＳＶＣエンコーディング部は、前記マルチトラックビデオの各レイヤをマクロブロック単位でエンコーディングし、前記多数のレイヤのうち最下位レイヤから最上位レイヤまで、または、最上位レイヤから最下位レイヤまで順次にスケーラブル・ビデオ・エンコーディングを行うことを特徴とする請求項１に記載のスケーラブル・ビデオ・エンコーディング装置。
【請求項４】
前記ＳＶＣエンコーディング部は、前記スケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックと前記マクロブロックに対応する上位レイヤのマクロブロックそれぞれのデコーディングされたテクスチャー情報をアップスケーリングしてインターレイヤイントラ予測を行い、インターレイヤイントラモードのエンコーディングコストを計算し、前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストを計算して、計算されたエンコーディングコストを比較し、前記インターレイヤイントラモードのエンコーディングコストが前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストよりも低ければ、前記インターレイヤイントラモードでエンコーディングし、高いか同じであれば、前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードでエンコーディングすることを特徴とする請求項１に記載のスケーラブル・ビデオ・エンコーディング装置。
【請求項５】
前記設定された基準は、客観的な画質評価方法によって決定された画質順であり、前記ビデオ整列部は、前記画質順に従って高画質ビデオが上位レイヤに配置されるように前記マルチトラックビデオを多数のレイヤに整列することを特徴とする請求項１に記載のスケーラブル・ビデオ・エンコーディング装置。
【請求項６】
前記ビットストリーム分析部は、前記多数のレイヤのうち隣り合うレイヤのビデオビットストリームデコーディングを通じてマクロブロック分割情報と動きベクトル情報を含む予測情報を抽出することを特徴とする請求項１に記載のスケーラブル・ビデオ・エンコーディング装置。
【請求項７】
前記ＳＶＣエンコーディング部は、前記マルチトラックビデオの各レイヤをマクロブロック単位でエンコーディングし、マクロブロック分割情報と動きベクトル情報を用いて前記マクロブロックをインターレイヤ動き予測モード、イントラモードまたは前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードでエンコーディングすることを特徴とする請求項１に記載のスケーラブル・ビデオ・コーディング装置。
【請求項８】
前記ＳＶＣエンコーディング部は、前記動きベクトル情報を用いて前記スケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックが動き予測モードであるか否かを判断する第１過程と、前記マクロブロックの下位レイヤのマクロブロックが動き予測モードであるか否かを判断する第２過程と、アップスケーリングされた前記下位レイヤのマクロブロックのマクロブロック分割情報と前記マクロブロックのマクロブロック分割情報が同じであるか否かを判断する第３過程と、前記マクロブロックと前記下位レイヤのマクロブロックの動きベクトルが同じであるか否かを判断する第４過程とをこの順に行って前記インターレイヤ動き予測モード、前記イントラモードまたは前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのうち前記マクロブロックのエンコーディングモードを決定することを特徴とする請求項７に記載のスケーラブル・ビデオ・コーディング装置。
【請求項９】
（ａ）スケーラブル・ビデオ・エンコーディング装置においてマルチトラックビデオを設定された基準に基づいて多数のレイヤに整列するステップと、
（ｂ）前記エンコーディング装置において整列された各レイヤのビットストリームを分析してエンコーディングモードと予測情報を含むエンコーディング情報を抽出するステップと、
（ｃ）前記エンコーディング装置においてスケーラブル・ビデオ・エンコーディングを行うレイヤと上位または下位レイヤのエンコーディング情報を用いてエンコーディングモードを決定し、決定されたエンコーディングモードで前記マルチトラックビデオをエンコーディングするステップと、
を含むスケーラブル・ビデオ・エンコーディング方法。
【請求項１０】
前記ステップ（ａ）前に、前記エンコーディング装置において映像を各種のフォーマットで圧縮してマルチトラックビデオを生成するか、または、前記エンコーディング装置において前記マルチトラックビデオを受け取るステップをさらに含むことを特徴とする請求項９に記載のスケーラブル・ビデオ・エンコーディング方法。
【請求項１１】
前記ステップ（ａ）は、
（ａ−１）前記マルチトラックビデオを解像度の高いビデオが上位レイヤに配置されるように整列するステップと、
（ａ−２）解像度に応じて整列された前記マルチトラックビデオのうち解像度の同じビデオが２以上存在する場合にフレーム率の高いビデオが上位レイヤに配置されるように再整列するステップと、
（ａ−３）フレーム率に応じて再整列された前記マルチトラックビデオのうちフレーム率が同じビデオが２以上存在する場合にビット率の高いビデオが上位レイヤに配置されるように再整列するステップと、
を含むことを特徴とする請求項９に記載のスケーラブル・ビデオ・エンコーディング方法。
【請求項１２】
前記ステップ（ｃ）は、
（ｃ−１）前記スケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックと前記マクロブロックに対応する上位レイヤのマクロブロックのエンコーディング情報をアップスケーリングしてインターレイヤイントラ予測を行うステップと、
（ｃ−２）インターレイヤイントラモードのエンコーディングコストと前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストをそれぞれ計算するステップと、
（ｃ−３）前記計算されたエンコーディングコストを比較して、エンコーディングモードを前記インターレイヤイントラモードまたは前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードとして決定するステップと、
（ｃ−４）前記決定されたエンコーディングモードで前記スケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックをエンコーディングするステップと、
を含み、
前記ステップ（ｃ−１）〜ステップ（ｃ−４）は、前記マルチトラックビデオの最下位レイヤから最上位レイヤのビデオのエンコーディングが順次に完了するまで繰り返し行われることを特徴とする請求項９に記載のスケーラブル・ビデオ・エンコーディング方法。
【請求項１３】
前記ステップ（ｃ−３）において、
前記計算されたインターレイヤイントラモードのエンコーディングコストが前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストよりも低ければ、前記エンコーディングモードをインターレイヤイントラモードとして決定し、高いか同じであれば、前記エンコーディングモードを前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードとして決定することを特徴とする請求項１２に記載のスケーラブル・ビデオ・エンコーディング方法。
【請求項１４】
前記ステップ（ａ）において、
前記設定された基準は、客観的な画質評価方法によって決定された画質順であり、前記画質順に従って高画質のビデオが上位レイヤに配置されるように前記マルチトラックビデオを多数のレイヤに整列することを特徴とする請求項９に記載のスケーラブル・ビデオ・エンコーディング方法。
【請求項１５】
前記ステップ（ｃ）は、
（ｃ−１）動きベクトル情報を用いて前記スケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックが動き予測モードであるか否かを判断するステップと、
（ｃ−２）前記マクロブロックが動き予測モードである場合にステップ（ｃ−３）を行い、前記マクロブロックが動き予測モードではない場合にイントラモードで前記マクロブロックをエンコーディングするステップと、
（ｃ−３）前記マクロブロックの下位レイヤのマクロブロックが動き予測モードであるか否かを判断するステップと、
（ｃ−４）前記下位レイヤのマクロブロックが動き予測モードである場合にステップ（ｃ−５）を行い、前記下位レイヤのマクロブロックが動き予測モードではない場合に前記マクロブロックのエンコーディングモードでエンコーディングするステップと、
（ｃ−５）アップスケーリングされた前記下位レイヤのマクロブロックのマクロブロック分割情報と前記マクロブロックのマクロブロック分割情報を比較するステップと、
（ｃ−６）前記マクロブロック分割情報が同じであれば、ステップ（ｃ−７）を行い、前記マクロブロック分割情報が同じではなければ、前記マクロブロックのエンコーディングモードでエンコーディングするステップと、
（ｃ−７）アップスケーリングされた前記下位レイヤのマクロブロックの動きベクトルと前記マクロブロックの動きベクトルを比較するステップと、
（ｃ−８）前記動きベクトルが同じであれば、インターレイヤ動き予測モードで前記マクロブロックをエンコーディングし、前記動きベクトルが同じではなければ、前記マクロブロックのエンコーディングモードでエンコーディングするステップと、
を含み、
前記ステップ（ｃ−２）、ステップ（ｃ−４）、ステップ（ｃ−６）及びステップ（ｃ−８）において前記マクロブロックのエンコーディングが完了すれば、次のマクロブロックに対してステップ（ｃ−１）から繰り返し行い、最上位レイヤから最下位レイヤのマクロブロックまで順次にエンコーディングすることを特徴とする請求項９に記載のスケーラブル・ビデオ・エンコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はマルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法に係り、さらに詳しくは、マルチトラックビデオのエンコーディング情報を活用してマクロブロックをイントラ予測またはモーション予測モードにおいて高速にてエンコーディングするためのマルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法に関する。
【背景技術】
【０００２】
コンテンツプロバイダ（ＣＰ）から提供されたビデオ及びオーディオを含むコンテンツをユーザ端末にサービスするためには、基本的な解像度スケーリング（Ｒｅｓｏｌｕｔｉｏｎ Ｓｃａｌｉｎｇ）、フレーム率変換（ｆｒａｍｅ ｒａｔｅ ｃｏｎｖｅｒｓｉｏｎ）、ビデオ／オーディオエンコーディング（ｖｉｄｅｏ／ａｕｄｉｏ Ｅｎｃｏｄｉｎｇ）、メタデータ挿入（Ｍｅｔａｄａｔａ Ｉｎｓｅｒｔｉｏｎ）、パッケージング（Ｐａｃｋａｇｉｎｇ）などのインジェスティング（Ｉｎｇｅｓｔｉｎｇ）過程を経る。
このとき、コンテンツサーバにおいてインジェスティング過程を行うときにエラーが発生したビデオをユーザ端末にサービスする場合に、ユーザ端末において再生するときに問題が発生する。これを防ぐために、最終結果物を再生して人間が自ら確認する過程を最後に経ることになる。
【０００３】
ところが、コンテンツサーバからユーザ端末に提供するほとんどのビデオはその量が膨大であるため、インジェスティングするためにユーザが一々に確認する過程は長時間かかるかあるいは限界があるため、人間による確認過程を自動化させてより高速にて行う技術が最近多数提案されている。
【０００４】
併せて、オンラインビデオサービスはインターネットを介してビデオをストリーミングしてユーザがビデオを消費できるようにするが、このとき、ユーザのネットワーク環境に合わせてビデオデータの量を調節しながら伝送する適応的ビデオストリーミング（ａｄａｐｔｉｖｅ ｖｉｄｅｏ ｓｔｒｅａｍｉｎｇ）技術を用いてユーザに途切れたり映像の壊れたビデオを視聴させることを防ぐ技術が一般化されつつある。現在の適応的ビデオストリーミング技術は、一つの原ビデオに対して様々なデータサイズを有する圧縮ビデオを作成しておき、ユーザのネットワーク環境に合う圧縮ビデオを選択する技術が主流をなしているが、このような方法は、サービスシステムが一つのビデオに対して多数の圧縮ビデオであるマルチトラックビデオ（Ｍｕｌｔｉ−ｔｒａｃｋ ｖｉｄｅｏ）をインジェスティングせねばならない。
【０００５】
一方、最近には、一つの圧縮ビデオで様々なデバイスとネットワーク環境に対してビデオサービスを提供することを目指して、スケーラブル・ビデオ・コーディング（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ：ＳＶＣ）方法がＩＴＵとＭＰＥＧのジョイン・ビデオ・テクノロジー（ｊｏｉｎ ｖｉｄｅｏ ｔｅｃｈｎｏｌｏｇｙ：ＪＶＴ）グループによってＨ．２６４に基づいて標準化された。
【０００６】
しかしながら、ＳＶＣは最近になって標準化がなされて商用化の初期段階にあり、現在はＳＶＣの前段階にあり、ビデオをＨ．２６４などの既存のコーディング方法によりコーディングして多数のファイルを準備し、各デバイスとネットワーク環境に合うファイルを提供するマルチトラックビデオ方式を活用している。今後ＳＶＣに取って代わる場合に、既存のマルチトラックビデオをＳＶＣに再エンコーディングせねばならず、このような再エンコーディングには長時間がかかるという問題点がある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上述の問題点を解消するために案出されたものであり、その目的は、各種のフォーマットで圧縮された圧縮ビデオであるマルチトラックビデオのエンコーディングモード（ｅｎｃｏｄｉｎｇ ｍｏｄｅ）と予測情報（ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）を含むエンコーディング情報を活用して、インターレイヤイントラ予測モード（Ｉｎｔｅｒ−ｌａｙｅｒ Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）またはインターレイヤ／イントラレイヤモーション予測モード（Ｉｎｔｅｒ−ｌａｙｅｒ／Ｉｎｔｒａ−ｌａｙｅｒ ｍｏｔｉｏｎ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）においてマクロブロックを高速にてエンコーディングするためのマルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法を提供するところにその技術的課題がある。
【課題を解決するための手段】
【０００８】
上述の目的を達成するための本発明の一側面によれば、マルチトラックビデオを設定された基準に基づいて多数のレイヤに整列するビデオ整列部と、各レイヤのビットストリームを分析してエンコーディングモードと予測情報を含むエンコーディング情報を抽出するビットストリーム分析部と、スケーラブル・ビデオ・エンコーディングを行うレイヤと、前記スケーラブル・ビデオ・エンコーディングを行うレイヤの上位または下位レイヤのエンコーディング情報を用いてエンコーディングモードを決定し、決定されたエンコーディングモードでエンコーディングするスケーラブル・ビデオ・コーディング（ＳＶＣ）エンコーディング部と、を備えるスケーラブル・ビデオ・エンコーディング装置を提供する。
【０００９】
ここで、設定された基準は、客観的な画質評価方法によって決定された画質順として定義されてもよく、ビデオ整列部は、画質順に従って高画質ビデオが上位レイヤに配置されるようにマルチトラックビデオを多数のレイヤに整列してもよい。
【００１０】
また、前記ビデオ整列部は、前記マルチトラックビデオを解像度の高いビデオが上位に配置されるように整列し、解像度の同じビデオが２以上存在する場合にフレーム率の高いビデオが上位に配置されるように整列し、前記解像度及びフレーム率の同じビデオが２以上存在する場合にビット率の高いビデオが上位に配置されるように多数のレイヤに整列してもよい。
【００１１】
さらに、前記ＳＶＣエンコーディング部は、前記マルチトラックビデオの各レイヤをマクロブロック単位でエンコーディングし、前記多数のレイヤのうち最下位レイヤから最上位レイヤまで、または、最上位レイヤから最下位レイヤまで順次にスケーラブル・ビデオ・エンコーディングを行ってもよい。
【００１２】
また、前記ＳＶＣエンコーディング部は、スケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックとマクロブロックに対応する上位レイヤのマクロブロックそれぞれのデコーディングされたテクスチャー情報をアップスケーリングしてインターレイヤイントラ予測を行い、インターレイヤイントラモードのエンコーディングコストを計算し、スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストを計算して、計算されたエンコーディングコストを比較し、前記インターレイヤイントラモードのエンコーディングコストがスケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストよりも低ければ、インターレイヤイントラモードでエンコーディングし、高いか同じであれば、スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードでエンコーディングしてもよい。
【００１３】
さらに、ビットストリーム分析部は、多数のレイヤのうち隣り合うレイヤのビデオビットストリームデコーディングを通じてマクロブロック分割情報と動きベクトル情報を含む予測情報を抽出してもよい。
【００１４】
さらに、ＳＶＣエンコーディング部は、マルチトラックビデオの各レイヤをマクロブロック単位でエンコーディングし、マクロブロック分割情報と動きベクトル情報を用いて前記マクロブロックをインターレイヤ動き予測モード、イントラモードまたは前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードでエンコーディングしてもよい。
【００１５】
さらに、ＳＶＣエンコーディング部は、動きベクトル情報を用いてスケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックが動き予測モードであるか否かを判断する第１過程と、マクロブロックの下位レイヤのマクロブロックが動き予測モードであるか否かを判断する第２過程と、アップスケーリングされた下位レイヤのマクロブロックのマクロブロック分割情報とマクロブロックのマクロブロック分割情報が同じであるか否かを判断する第３過程と、マクロブロックと下位レイヤのマクロブロックの動きベクトルが同じであるか否かを判断する第４過程とをこの順に行ってインターレイヤ動き予測モード、イントラモードまたは前記スケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのうちマクロブロックのエンコーディングモードを決定してもよい。
【００１６】
本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法は、スケーラブル・ビデオ・エンコーディング装置においてマルチトラックビデオを設定された基準に基づいて多数のレイヤに整列するステップ（ａ）と、エンコーディング装置において整列された各レイヤのビットストリームを分析してエンコーディングモードと予測情報を含むエンコーディング情報を抽出するステップ（ｂ）と、エンコーディング装置においてスケーラブル・ビデオ・エンコーディングを行うレイヤと上位または下位レイヤのエンコーディング情報を用いてエンコーディングモードを決定し、決定されたエンコーディングモードでマルチトラックビデオをエンコーディングするステップ（ｃ）と、を含む。
【００１７】
また、スケーラブル・ビデオ・エンコーディング方法は、ステップ（ａ）前に、エンコーディング装置において映像を各種のフォーマットで圧縮してマルチトラックビデオを生成するか、または、エンコーディング装置においてマルチトラックビデオを受け取るステップをさらに含んでいてもよい。
【００１８】
さらに、ステップ（ａ）は、マルチトラックビデオを解像度の高いビデオが上位レイヤに配置されるように整列するステップ（ａ−１）と、解像度に応じて整列されたマルチトラックビデオのうち解像度の同じビデオが２以上存在する場合にフレーム率の高いビデオが上位レイヤに配置されるように再整列するステップ（ａ−２）と、フレーム率に応じて再整列されたマルチトラックビデオのうちフレーム率が同じビデオが２以上存在する場合にビット率の高いビデオが上位レイヤに配置されるように再整列するステップ（ａ−３）と、を含んでいてもよい。
【００１９】
さらに、ステップ（ｃ）は、スケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックとマクロブロックに対応する上位レイヤのマクロブロックのエンコーディング情報をアップスケーリングしてインターレイヤイントラ予測を行うステップ（ｃ−１）と、インターレイヤイントラモードのエンコーディングコストとスケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストをそれぞれ計算するステップ（ｃ−２）と、計算されたエンコーディングコストを比較して、エンコーディングモードをインターレイヤイントラモードまたはスケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードとして決定するステップ（ｃ−３）と、決定されたエンコーディングモードでスケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックをエンコーディングするステップ（ｃ−４）と、を含み、ステップ（ｃ−１）〜ステップ（ｃ−４）は、マルチトラックビデオの最下位レイヤから最上位レイヤのビデオのエンコーディングが順次に完了するまで繰り返し行われてもよい。
【００２０】
また、ステップ（ｃ−３）において、計算されたインターレイヤイントラモードのエンコーディングコストがスケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストよりも低ければ、エンコーディングモードをインターレイヤイントラモードとして決定し、高いか同じであれば、エンコーディングモードをスケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードとして決定してもよい。
【００２１】
さらに、ステップ（ａ）において、設定された基準は、客観的な画質評価方法によって決定された画質順であり、画質順に従って高画質のビデオが上位レイヤに配置されるようにマルチトラックビデオを多数のレイヤに整列してもよい。
【００２２】
さらに、ステップ（ｃ）は、動きベクトル情報を用いて前記スケーラブル・ビデオ・エンコーディングを行うレイヤのマクロブロックが動き予測モードであるか否かを判断するステップ（ｃ−１）と、マクロブロックが動き予測モードである場合にステップ（ｃ−３）を行い、マクロブロックが動き予測モードではない場合にイントラモードでマクロブロックをエンコーディングするステップ（ｃ−２）と、マクロブロックの下位レイヤのマクロブロックが動き予測モードであるか否かを判断するステップ（ｃ−３）と、下位レイヤのマクロブロックが動き予測モードである場合にステップ（ｃ−５）を行い、下位レイヤのマクロブロックが動き予測モードではない場合にマクロブロックのエンコーディングモードでエンコーディングするステップ（ｃ−４）と、アップスケーリングされた下位レイヤのマクロブロックのマクロブロック分割情報とマクロブロックのマクロブロック分割情報を比較するステップ（ｃ−５）と、マクロブロック分割情報が同じであれば、ステップ（ｃ−７）を行い、マクロブロック分割情報が同じではなければ、マクロブロックのエンコーディングモードでエンコーディングするステップ（ｃ−６）と、アップスケーリングされた下位レイヤのマクロブロックの動きベクトルとマクロブロックの動きベクトルを比較するステップ（ｃ−７）と、動きベクトルが同じであれば、インターレイヤ動き予測モードでマクロブロックをエンコーディングし、動きベクトルが同じではなければ、マクロブロックのエンコーディングモードでエンコーディングするステップ（ｃ−８）と、を含み、ステップ（ｃ−２）、ステップ（ｃ−４）、ステップ（ｃ−６）及びステップ（ｃ−８）において前記マクロブロックのエンコーディングが完了すれば、次のマクロブロックに対してステップ（ｃ−１）から繰り返し行い、最上位レイヤから最下位レイヤのマクロブロックまで順次にエンコーディングしてもよい。
【発明の効果】
【００２３】
本発明のマルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法によれば、マルチトラックビデオのエンコーディング情報を活用するので、スケーラブルビデオにエンコーディングする時間を短縮させることができるという効果がある。
【００２４】
また、既存のマルチトラックビデオのエンコーディングモードのエンコーディングコスト（Ｅｎｃｏｄｉｎｇ ｃｏｓｔ）とインターレイヤイントラ予測モード（Ｉｎｔｅｒ−ｌａｙｅｒ Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ）のエンコーディングコストを比較してエンコーディングモードを決定することにより、圧縮効率を高めることができる。
【００２５】
さらに、既存のマルチトラックビデオの予測情報（ｐｒｅｄｉｃｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）とスケーラブルビデオの予測情報を比較してエンコーディングモードを決定することにより、動き予測に必要な演算時間を短縮させることができ、スケーラブル・ビデオ・エンコーディング時間を短縮させることができる。
【図面の簡単な説明】
【００２６】
【図１】図１は、本発明の一側面によるスケーラブルビデオ提供システムの一実施形態を示す構成図である。
【図２】図２は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング装置の第１実施形態を示す構成図である。
【図３】図３は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング装置の第２実施形態を示す構成図である。
【図４】図４は、本発明の第２実施形態に係るスケーラブル・ビデオ・エンコーディング装置の構成要素であるマルチトラックビデオ生成部の機能を説明するための図である。
【図５】図５は、本発明の第１実施形態または第２実施形態に係るスケーラブル・ビデオ・エンコーディング装置の構成要素であるＳＶＣエンコーディング部の機能を説明するための図である。
【図６】図６は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法を示すフローチャートである。
【図７】図７は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法の第１実施形態を示すフローチャートである。
【図８】図８は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法の第２実施形態を示すフローチャートである。
【図９】図９は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法の第３実施形態を示すフローチャートである。
【図１０】図１０は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法の第４実施形態を示すフローチャートである。
【発明を実施するための形態】
【００２７】
本発明は種々に変更可能であり、種々の実施形態を有することができるが、特定の実施形態を図面に例示して詳細に説明する。しかしながら、これは本発明の特定の実施形態に対して限定するためのものではなく、本発明の思想及び技術範囲に含まれるあらゆる変更、均等物または代替物を含むものと理解さるべきである。
【００２８】
本発明の係るマルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法の実施形態を添付図面に基づいて詳述する。添付図面に基づいて説明するに当たって、同一または対応する構成要素には同じ図面符号を付し、これについての重複する説明は省略する。
【００２９】
＜スケーラブルビデオ提供システム＞
図１は、本発明の一側面によるスケーラブルビデオ提供システムの一実施形態を示す構成図である。本発明のスケーラブルビデオ提供システム１０００は、図１に示すように、ユーザ端末１００と、スケーラブル・ビデオ・エンコーディング装置２００及び通信網３００を備える。
【００３０】
ユーザ端末１００は、伝送されたスケーラブルビデオを受信してユーザ端末の仕様、ネットワーク環境またはサービス形態に応じてデコーディングしてディスプレイすることができる。
【００３１】
ユーザ端末１００とは、ＩＰＴＶ、セットトップボックス、スマートフォン、ＤＭＢ機能に対応可能な移動通信端末をはじめとする映像ディスプレイ装置を意味し、ユーザ端末の仕様とは、ディスプレイ画面の解像度、大きさに関する情報を意味し、ネットワーク環境とは、フレーム伝送率を意味し、サービス形態とは、高画質テレビ（ＨＤＴＶ）、デジタル標準テレビ（ＳＤＴＶ）、デジタルマルチメディア放送（ＤＭＢ）などのビデオがディスプレイされる形態を意味する。
【００３２】
スケーラブル・ビデオ・エンコーディング装置２００は、マルチトラックビデオ（ｍｕｌｔｉ−ｔｒａｃｋ ｖｉｄｅｏ）をスケーラブル・ビデオ・エンコーディングする機能を行い、通信網３００は、スケーラブル・ビデオ・エンコーディング装置２００から伝送されたスケーラブルビデオをユーザ端末１００に伝送する通路を提供し、ＷＣＤＭＡ、ＨＤＰＡ、３Ｇ、４Ｇなど移動通信網、ブルートゥース、ジグビー、ワイファイ（Ｗｉ−Ｆｉ）など近距離通信網、ＰＳＴＮなど有線通信網または有無線インターネットなどを含む。
【００３３】
スケーラブル・ビデオ・エンコーディング装置２００については、図２から図５に基づいて詳述する。
【００３４】
＜スケーラブル・ビデオ・エンコーディング装置＞
図２は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング装置の第１実施形態を示す構成図であり、図３は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング装置の第２実施形態を示す構成図であり、図４は、本発明の第２実施形態に係るスケーラブル・ビデオ・エンコーディング装置の構成要素であるマルチトラックビデオ生成部の機能を説明するための図であり、図５は、本発明の第１実施形態または第２実施形態に係るスケーラブル・ビデオ・エンコーディング装置の構成要素であるＳＶＣエンコーディング部の機能を説明するための図である。
【００３５】
スケーラブル・ビデオ・エンコーディング装置２００は、マルチトラックビデオを設定された基準に基づいて多数のレイヤに整列し、整列された多数のレイヤのエンコーディング情報を抽出し、抽出されたエンコーディング情報を用いてマルチトラックビデオをスケーラブルビデオにエンコーディングする機能を行う。
【００３６】
マルチトラックビデオとは、同じビデオを様々なフォーマットで圧縮したフォーマットの異なる多数の圧縮ビデオを意味し、様々な装置とネットワーク環境に応じてフォーマットの合う圧縮ビデオを提供するために様々なエンコーディング方法（例えば、Ｈ．２６４など）を用いてコーディングされた映像を意味する。
【００３７】
スケーラブル・ビデオ・エンコーディング装置２００は、既存のエンコーディングされた圧縮ビデオであるマルチトラックビデオをスケーラブルビデオにエンコーディングする装置であり、マルチトラックビデオをスケーラブルビデオにエンコーディングするときにマルチトラックビデオのエンコーディング情報を活用することによりスケーラブル・ビデオ・エンコーディング速度を向上させることができる。
【００３８】
また、スケーラブル・ビデオ・エンコーディング装置２００は、マルチトラックビデオを整列する「設定された基準」及びエンコーディングモードを決定するために用いられる「エンコーディング情報」に基づいてエンコーディングモードを決定してマルチトラックビデオをエンコーディングすることによりエンコーディング時間を短縮することができる。
【００３９】
＜第１実施形態に係るスケーラブル・ビデオ・エンコーディング装置＞
第１実施形態に係るスケーラブル・ビデオ・エンコーディング装置２００は、図２に示すように、ビデオ整列部２１０と、ビットストリーム分析部２２０及びＳＶＣエンコーディング部２３０を備える。
【００４０】
ビデオ整列部２１０は、マルチトラックビデオを設定された基準に基づいて多数のレイヤに整列してフォーマットの異なる圧縮ビデオを多数のレイヤに整列する。以下で用いられる「レイヤ」とは、圧縮ビデオを意味する。
【００４１】
ビデオ整列部２１０は、圧縮ビデオの解像度、フレーム率及びビット率からなる第１基準または客観的に評価された画質順である第２基準をマルチトラックビデオを整列する設定された基準として選択することができる。
【００４２】
ビットストリーム分析部２２０は、各レイヤのビットストリームを分析してエンコーディングモードと予測情報を含むエンコーディング情報を抽出する。
【００４３】
ここで、エンコーディングモードとは、マクロブロックを圧縮する方法であるイントラモードまたはインターモードを意味し、予測情報とは、動きベクトル、マクロブロック分割情報を含む動き予測に必要な情報を意味する。
【００４４】
すなわち、ビットストリーム分析部２２０は、マルチトラックビデオのエンコーディングに際して用いたエンコーディング情報を抽出する機能を行う。
【００４５】
ＳＶＣエンコーディング部２３０は、現在スケーラブル・ビデオ・エンコーディングを行うレイヤと、現在スケーラブル・ビデオ・エンコーディングを行うレイヤ（以下、「現在エンコーディングすべきレイヤ」と称する）の上位または下位レイヤのエンコーディング情報を用いてエンコーディングモードを決定し、決定されたエンコーディングモードでエンコーディングを行う。
【００４６】
ＳＶＣエンコーディング部２３０は、２つのレイヤまたは２つのレイヤの対応するマクロブロックのエンコーディング情報を用いて現在エンコーディングすべきレイヤまたはマクロブロックのエンコーディングモードを決定する。
【００４７】
また、ＳＶＣエンコーディング部２３０は、エンコーディングモードのエンコーディングコストからなる第１エンコーディング情報、または、動きベクトル及びマクロブロック分割情報を含む第２エンコーディング情報のうちのいずれか一つをエンコーディングモードを決定するために選択することができる。
【００４８】
ビデオ整列部２１０において第１基準を選択してマルチトラックビデオを整列し、ＳＶＣエンコーディング部２３０において第１エンコーディング情報を選択してエンコーディングモードを決定する場合に、スケーラブル・ビデオ・エンコーディング装置２００は、下記の順序に従ってマルチトラックビデオをエンコーディングする。
【００４９】
ビデオ整列部２１０は、マルチトラックビデオを第１基準、すなわち、解像度、フレーム率及びビット率に応じて多数のレイヤに整列する。
【００５０】
具体的に、ビデオ整列部２１０は、マルチトラックビデオを解像度の高いビデオが上位に配置されるように整列し、解像度の同じビデオが２以上存在する場合にフレーム率の高いビデオが上位に配置されるように整列し、解像度及びフレーム率の同じビデオが２以上存在する場合にビット率の高いビデオが上位に配置されるように多数のレイヤに整列する。
【００５１】
ビットストリーム分析部２２０は、各レイヤのビットストリームを分析してエンコーディング情報を抽出し、最下位または最上位レイヤのエンコーディング情報から順次にＳＶＣエンコーディング部２３０に提供する。
【００５２】
ＳＶＣエンコーディング部２３０は、マルチトラックビデオの各レイヤをマクロブロック単位でエンコーディングし、多数のレイヤのうち最下位レイヤから最上位レイヤまで、または最上位レイヤから最下位レイヤまで順次にスケーラブル・ビデオ・エンコーディングを行う。
【００５３】
最下位レイヤから順次にスケーラブル・ビデオ・エンコーディングを行うときに、最下位レイヤのビットストリームをベースレイヤとしてスケーラブル・ビデオ・エンコーディングした後、隣り合う上位レイヤを順次にスケーラブル・ビデオ・エンコーディングする。
【００５４】
具体的に、ＳＶＣエンコーディング部２３０は、現在エンコーディングすべきレイヤのマクロブロックとマクロブロックに対応する上位レイヤのマクロブロックそれぞれのデコーディングされたテクスチャー情報をアップスケーリングしてインターレイヤイントラ予測を行う。
【００５５】
ＳＶＣエンコーディング部２３０は、現在エンコーディングすべきレイヤのエンコーディングモードのエンコーディングコストを計算し、インターレイヤイントラ予測を通じて、インターレイヤイントラモードのエンコーディングコストを計算して第１エンコーディング情報として用いる。
【００５６】
ＳＶＣエンコーディング部２３０は、計算されたエンコーディングコストを比較し、インターレイヤイントラモードのエンコーディングコストが現在エンコーディングすべきレイヤのエンコーディングモードのエンコーディングコストよりも低ければ、インターレイヤイントラモードとしてエンコーディングモードを決定し、高いか同じであれば、現在エンコーディングすべきレイヤのエンコーディングモードとしてエンコーディングモードを決定する。
【００５７】
最後に、ＳＶＣエンコーディング部２３０は、決定されたエンコーディングモードでマルチトラックビデオをスケーラブル・ビデオ・エンコーディングする。
【００５８】
ビデオ整列部２１０において第２基準を選択してマルチトラックビデオを整列し、ＳＶＣエンコーディング部２３０において第２エンコーディング情報を選択してエンコーディングモードを決定する場合に、スケーラブル・ビデオ・エンコーディング装置２００は、下記の順序に従ってマルチトラックビデオをエンコーディングする。
【００５９】
まず、ビデオ整列部２１０は、第２基準を設定された基準として選択し、客観的な画質評価方法によって決定された画質順に従って高画質ビデオが上位レイヤに配置されるようにマルチトラックビデオを多数のレイヤに整列する。
【００６０】
客観的な画質評価方法は、原映像と圧縮された映像を比較する全基準法（Ｆｕｌｌ ｒｅｆｅｒｅｎｃｅ）、原映像から主な情報のみを抽出して評価する減少基準法（Ｒｅｄｕｃｅｄ ｒｅｆｅｒｅｎｃｅ）及び原映像なしに画質を評価する無基準法に分けられ、圧縮ビデオの画質評価は、同じ容量であるときに、原映像から損失をどれほど減らすか、または、同じ損失で容量をどれほど減らすかを比較するピーク信号対雑音比ＰＳＮＲ（Ｐｅａｋ ｓｉｇｎａｌ ｔｏ ｎｏｉｓｅ ｒａｔｉｏ）を評価尺度として用いることができる。
【００６１】
次に、ビットストリーム分析部２２０は、多数のレイヤのうち隣り合うレイヤのビデオビットストリームのデコーディングを通じてマクロブロック分割情報と動きベクトル情報を含む予測情報を第２エンコーディング情報として抽出して、最上位レイヤとこれと隣り合うレイヤの予測情報からＳＶＣエンコーディング部２３０に提供する。
【００６２】
ＳＶＣエンコーディング部２３０は、マクロブロック分割情報と動きベクトル情報を用いてマクロブロックをインターレイヤ動き予測モード、イントラモードまたはスケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのうちエンコーディングモードを決定して、マルチトラックビデオの各レイヤをマクロブロック単位でエンコーディングする。
【００６３】
このとき、ＳＶＣエンコーディング部２３０は、動きベクトル情報を用いて現在エンコーディングすべきレイヤのマクロブロックが動き予測モードであるか否かを判断する第１過程と、マクロブロックの下位レイヤのマクロブロックが動き予測モードであるか否かを判断する第２過程と、アップスケーリングされた下位レイヤのマクロブロックのマクロブロック分割情報とマクロブロックのマクロブロック分割情報が同じであるか否かを判断する第３過程と、マクロブロックと下位レイヤのマクロブロックの動きベクトルが同じであるか否かを判断する第４過程とをこの順に行ってインターレイヤ動き予測モード、イントラモードまたはスケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのうちマクロブロックのエンコーディングモードを決定することができ、決定されたエンコーディングモードでエンコーディングする。
【００６４】
具体的に、ＳＶＣエンコーディング部２３０は、第１過程において現在エンコーディングすべきレイヤのマクロブロックが動き予測モードではなければ、現在エンコーディングすべきレイヤのマクロブロックをイントラモードでエンコーディングし、動き予測モードであれば、第２過程を行う。
【００６５】
ＳＶＣエンコーディング部２３０は、第２過程において下位レイヤのマクロブロックが動き予測モードではなければ、現在エンコーディングすべきマクロブロックを自分のエンコーディングモードでエンコーディングし、動き予測モードであれば、第３過程を行う。
【００６６】
ＳＶＣエンコーディング部２３０は、第３過程においてマクロブロック分割情報が同じではなければ、現在エンコーディングすべきマクロブロックを自分のエンコーディングモードでエンコーディングし、同じであれば、第４過程を行う。
【００６７】
ＳＶＣエンコーディング部２３０は、第４過程においてマクロブロックの動きベクトルが同じではなければ、現在エンコーディングすべきマクロブロックを自分のエンコーディングモードでエンコーディングし、同じであれば、インターレイヤモーション予測モードで現在エンコーディングすべきマクロブロックをエンコーディングする。
【００６８】
ＳＶＣエンコーディング部２３０は、図５に示すように、映像マルチトラックビデオのうち一つのレイヤが入力されれば、入力されたレイヤと下位レイヤのテクスチャー情報を用いてイントラ予測を行ってエンコーディングモードを決定するか、あるいは、入力されたレイヤと下位レイヤの動き予測を通じてエンコーディングモードを決定する。
【００６９】
ＳＶＣエンコーディング部２６０は、決定された動作モードに応じてＳＶＣビデオに対して離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）／量子化（Ｑｕｎａｔｉｚａｔｉｏｎ）過程とコンテクスト適応型可変長符号化（ＣＡＶＬＣ：Ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ−ｌｅｎｇｔｈ ｃｏｄｉｎｇ／コンテクスト適応型２値算術符号化（ＣＡＢＡＣ：Ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）過程を行う。
【００７０】
すなわち、スケーラブル・ビデオ・エンコーディング装置２００は、ＳＶＣエンコーディング部２３０において下位レイヤテクスチャー情報に基づいてイントラ予測モードでエンコーディングし、下位レイヤの動き情報に基づいて動き予測モードでエンコーディングを行うときに、エンコーディングするマクロブロックのマクロブロック分割情報を比較して、同じであれば、動きベクトルを比較して、動きベクトルが同じであれば、インターレイヤ動き予測モードでエンコーディングを行い、マクロブロック分割情報が同じではないか、あるいは、動きベクトルが同じではなければ、現在エンコーディングすべきマクロブロックのエンコーディングモードでエンコーディングを行う。
【００７１】
＜第２実施形態に係るスケーラブル・ビデオ・エンコーディング装置＞
第２実施形態に係るスケーラブル・ビデオ・エンコーディング装置は、図３に示すように、ビデオ整列部２１０と、ビットストリーム分析部２２０と、ＳＶＣエンコーディング部２３０と、通信部２４０と、原ビデオ保存部２５０及びマルチトラックビデオ生成部２６０を備える。
【００７２】
ここで、ビデオ整列部２１０と、ビットストリーム分析部２２０及びＳＶＣエンコーディング部２３０は、第１実施形態に係るスケーラブル・ビデオ・エンコーディング装置２００と同様であるため、相違点のある通信部２４０と、原ビデオ保存部２５０及びマルチトラックビデオ生成部２６０についてのみ説明する。
【００７３】
通信部２４０は、ユーザ端末と通信網を介して接続するための構成要素であり、制御信号及びスケーラブルビデオの伝送チャネルを形成し、原ビデオ保存部２５０は、エンコーディングされていない原ビデオを保存する。
【００７４】
マルチトラックビデオ生成部２６０は、図４に示すように、原ビデオ保存部２５０に保存された原ビデオを受け取って、マルチトラックビデオを生成する。
【００７５】
多数のビデオエンコーダー１〜Ｎは、原ビデオを異なるフォーマットの圧縮ビデオとして生成し、生成された多数の異なるフォーマットの圧縮ビデオは、マルチトラックビデオを意味する。
【００７６】
すなわち、第２実施形態に係るスケーラブル・ビデオ・エンコーディング装置２００は、原ビデオを様々なフォーマットにエンコーディングしてマルチトラックビデオを生成する機能をさらに行う点において、第１実施形態に係るスケーラブル・ビデオ・エンコーディング装置とは相違点がある。
【００７７】
＜スケーラブル・ビデオ・エンコーディング方法＞
図６は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法を示すフローチャートであり、図７から図１０は、本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法の第１実施形態から第４実施形態を示すフローチャートである。
【００７８】
本発明の他の側面によるスケーラブル・ビデオ・エンコーディング方法は、図６に示すように、スケーラブル・ビデオ・エンコーディング装置においてマルチトラックビデオを設定された基準に基づいて多数のレイヤに整列し（Ｓ６１０）、整列されたレイヤのビットストリームを分析してエンコーディングモードと予測情報を含むエンコーディング情報を抽出する（Ｓ６２０）。
【００７９】
次いで、スケーラブル・ビデオ・エンコーディング方法は、スケーラブル・ビデオ・エンコーディングを行うレイヤと上位または下位レイヤのエンコーディング情報を用いてエンコーディングモードを決定し（Ｓ６３０）、決定されたエンコーディングモードでマルチトラックビデオをエンコーディングする（Ｓ６４０）。
【００８０】
このため、スケーラブル・ビデオ・エンコーディング方法は、既存のマルチトラックビデオとマルチトラックビデオのエンコーディング情報を用いてマルチトラックビデオをエンコーディングするエンコーディングモードを決定することにより、高速にてスケーラブルビデオにエンコーディングすることができる。
【００８１】
＜第１実施形態に係るスケーラブル・ビデオ・エンコーディング方法＞
第１実施形態に係るスケーラブル・ビデオ・エンコーディング方法は、第１基準及び第１エンコーディング情報を選択してエンコーディングする場合であり、図７に示すように、マルチトラックビデオのスケーラブル・ビデオ・エンコーディング方法は、Ｓ７１０からＳ７６０の過程に従って行われる。
【００８２】
先ず、原ビデオを受け取ってフォーマット（形式）の異なるマルチトラックビデオを生成し（Ｓ７１０）、マルチトラックビデオを解像度、フレーム率、ビット率に応じて整列する（Ｓ７２０）。
【００８３】
マルチトラックビデオの生成するステップＳ７１０においては、スケーラブル・ビデオ・エンコーディング装置において映像を様々なフォーマットで圧縮してマルチトラックビデオを生成することができる。
【００８４】
マルチトラックビデオを整列するステップＳ７２０は、解像度の高いビデオが上位レイヤに配置されるように整列し、解像度に応じて整列されたマルチトラックビデオのうち解像度の同じビデオが２以上存在する場合にフレーム率の高いビデオが上位レイヤに配置されるように再整列し、フレーム率に応じて再整列されたマルチトラックビデオのうちフレーム率の同じビデオが２以上存在する場合にビット率の高いビデオが上位レイヤに配置されるように再整列することにより行われてもよい。
【００８５】
次いで、整列された各レイヤのエンコーディングモードと予測情報を含むエンコーディング情報を抽出し（Ｓ７３０）、現在エンコーディングすべき（Ｎ−１）番目のレイヤのエンコーディング情報と上位レイヤであるＮ番目のレイヤのエンコーディング情報をＳＶＣエンコーディング部に渡す。
【００８６】
ＳＶＣエンコーディング部は、（Ｎ−１）番目のレイヤとＮ番目のレイヤのエンコーディング情報を用いて、Ｎ番目のレイヤのビットストリームをマクロブロック単位でエンコーディングした（Ｓ７４０）後、Ｎ番目のレイヤが最上位レイヤであるか否かを判断して（Ｓ７５０）、最上位レイヤまでエンコーディングされた場合にエンコーディングを終了し、最上位レイヤではない場合にＮ＜−（Ｎ＋１）を代入してＳ７４０からＳ７５０の過程を繰り返し行うことにより、最下位レイヤから最上位レイヤまでスケーラブル・ビデオ・エンコーディングを行う。
【００８７】
＜第２実施形態に係るスケーラブル・ビデオ・エンコーディング方法＞
第２実施形態に係るスケーラブル・ビデオ・エンコーディング方法は、第１基準及び第１エンコーディング情報を選択してエンコーディングする場合の図７のＳ７４０からＳ７６０の過程を具体化したものであり、図８に示す通りである。
【００８８】
第２実施形態に係るスケーラブル・ビデオ・エンコーディング方法は、第１基準（解像度、フレーム率、ビット率）に応じてマルチトラックビデオを整列し、各レイヤのエンコーディング情報を抽出する。
【００８９】
そして、ビデオエンコーディングを行うレイヤのマクロブロックとマクロブロックに対応する上位レイヤのマクロブロックのエンコーディング情報をアップスケーリングしてインターレイヤイントラ予測を行う（Ｓ８１０）。
【００９０】
次いで、インターレイヤイントラモードのエンコーディングコストＡとスケーラブル・ビデオ・エンコーディングを行うレイヤのエンコーディングモードのエンコーディングコストＢをそれぞれ計算し（Ｓ８２０）、計算されたエンコーディングコストを比較する（Ｓ８３０）。
【００９１】
比較の結果、ＡがＢよりも低ければ、エンコーディングモードをインターレイヤイントラモードとして決定して現在エンコーディングすべきレイヤをエンコーディングし（Ｓ８４０）、ＡがＢよりも低くなければ、現在エンコーディングすべきレイヤのエンコーディングモードでエンコーディングする（Ｓ８５０）。
【００９２】
マルチトラックビデオの最下位レイヤから最上位レイヤのビデオのエンコーディングが順次に完了するまでＳ８１０からＳ８５０の過程は繰り返し行われてもよい。
【００９３】
＜第３実施形態に係るスケーラブル・ビデオ・エンコーディング方法＞
第３実施形態に係るスケーラブル・ビデオ・エンコーディング方法は、第２基準及び第２エンコーディング情報を選択してエンコーディングする場合であり、図９に示すように、マルチトラックビデオのスケーラブル・ビデオ・エンコーディング方法はＳ９１０からＳ９７０の過程に従って行われる。
【００９４】
第３実施形態に係るスケーラブル・ビデオ・エンコーディング方法は、原ビデオを受け取ってフォーマットの異なるマルチトラックビデオを生成し（Ｓ９１０）、マルチトラックビデオを画質順に整列する（Ｓ９２０）。
【００９５】
マルチトラックビデオの整列は、客観的な画質評価方法によって決定された画質順に行われ、画質順に従って高画質ビデオが上位レイヤに配置されるようにマルチトラックビデオを多数のレイヤに整列することができる。
【００９６】
次いで、スケーラブル・ビデオ・エンコーディング方法は、整列された各レイヤのエンコーディングモードとマクロブロック分割情報、動きベクトル情報を含む予測情報をエンコーディング情報として抽出する（Ｓ９３０）。
【００９７】
現在エンコーディングすべきレイヤであるＮ番目のレイヤと下位レイヤである（Ｎ−１）番目のレイヤのマクロブロック分割情報、動き情報を用いて、Ｎ番目のレイヤのマクロブロックのエンコーディングモードを決定し（Ｓ９４０）、決定されたエンコーディングモードでエンコーディングを行う（Ｓ９５０）。
【００９８】
Ｎ番目のレイヤのエンコーディングが完了すれば、（Ｎ−１）番目のレイヤが最下位レイヤであるか否かを判断して（Ｓ９６０）、最下位レイヤではなければ、Ｎ＜−（Ｎ−１）を代入して（Ｓ９７０）、Ｓ９４０からＳ９７０の過程を繰り返し行い、最下位レイヤである場合にＳ９４０からＳ９７０の過程を終了した後、最下位レイヤをエンコーディングする。
【００９９】
＜第４実施形態に係るスケーラブル・ビデオ・エンコーディング方法＞
第４実施形態に係るスケーラブル・ビデオ・エンコーディング方法は、第２基準及び第２エンコーディング情報を選択してエンコーディングする場合の図９のＳ９４０からＳ９７０の過程を具体化したものであり、図１０に示す通りである。
【０１００】
第４実施形態に係るスケーラブル・ビデオ・エンコーディング方法は、動きベクトル情報を用いて現在エンコーディングすべきレイヤであるＮ番目のレイヤのマクロブロックが動き予測モードであるか否かを判断して（Ｓ１０１０）、Ｎ番目のレイヤのマクロブロックが動き予測モードではない場合にイントラモードでマクロブロックをエンコーディングし（Ｓ１０２０）、Ｎ番目のレイヤのマクロブロックが動き予測モードである場合に（Ｎ−１）番目レイヤのマクロブロックが動き予測モードであるか否かを判断する（Ｓ１０３０）。
【０１０１】
判断の結果、（Ｎ−１）番目のレイヤのマクロブロックが動き予測モードではない場合に、Ｎ番目のレイヤのマクロブロックのエンコーディングモードでエンコーディングし（Ｓ１０４０）、（Ｎ−１）番目のレイヤのマクロブロックが動き予測モードである場合に、アップスケーリングされた（Ｎ−１）番目のレイヤのマクロブロックのマクロブロック分割情報とＮ番目のレイヤのマクロブロックのマクロブロック分割情報を比較する（Ｓ１０５０）。
【０１０２】
比較の結果、マクロブロック分割情報が同じではなければ、Ｎ番目のレイヤのマクロブロックのエンコーディングモードでエンコーディングし（Ｓ１０４０）、マクロブロック分割情報が同じであれば、アップスケーリングされた（Ｎ−１）番目のレイヤのマクロブロックの動きベクトルとＮ番目のレイヤのマクロブロックの動きベクトルを比較する（Ｓ１０６０）。
【０１０３】
比較の結果、動きベクトルが同じであれば、インターレイヤ動き予測モードでマクロブロックをエンコーディングし（Ｓ１０７０）、動きベクトルが同じではなければ、Ｎ番目のレイヤのマクロブロックのエンコーディングモードでエンコーディングする（Ｓ１０４０）。
【０１０４】
Ｎ番目のレイヤのマクロブロックのエンコーディングが完了すれば、次のマクロブロックに対してＳ１０１０からＳ１０７０の過程を繰り返し行い、最上位レイヤから最下位レイヤのマクロブロックまで順次にエンコーディングする。
【０１０５】
以上述べたように、本発明によれば、原ビデオに対して様々なフォーマットにエンコーディングされたマルチトラックビデオをスケーラブルビデオにエンコーディングするときに、既存のマルチトラックビデオのエンコーディング情報を活用して高速にてエンコーディングモードを決定することにより、エンコーディング速度を向上させることができる。
【０１０６】
特に、マルチトラックビデオのエンコーディングモードを既存のマルチトラックビデオのエンコーディング情報から高速にて抽出することができ、エンコーディングに際して最高の演算量を有する動き予測時間を高速化させることができるので、スケーラブルビデオへの変換速度を向上させることができる。
【産業上の利用可能性】
【０１０７】
本発明は、スケーラブルビデオをエンコーディングするエンコーダーとエンコーダーを備える装置及びこれを用いてコンテンツを伝送するシステムに適用することができる。
また、ビデオとオーディオを含むコンテンツを通信網を用いてサービスするコンテンツサーバまたはコンテンツを受信してディスプレイするユーザ端末を備えるコンテンツメディア通信システムに適用することができる。
【要約】本発明は、マルチトラックビデオを用いた高速スケーラブル・ビデオ・コーディング装置及び方法に関するものであり、マルチトラックビデオを設定された基準に基づいて多数のレイヤに整列するビデオ整列部と、各レイヤのビットストリームを分析してエンコーディングモードと予測情報を含むエンコーディング情報を抽出するビットストリーム分析部と、スケーラブル・ビデオ・エンコーディングを行うレイヤと、前記スケーラブル・ビデオ・エンコーディングを行うレイヤの上位または下位レイヤのエンコーディング情報を用いてエンコーディングモードを決定し、決定されたエンコーディングモードでエンコーディングするスケーラブル・ビデオ・コーディング（ＳＶＣ）エンコーディング部と、を備える。本発明のスケーラブル・ビデオ・エンコーディング装置及び方法によれば、既存のマルチトラックビデオのエンコーディング情報を活用することにより、マルチトラックビデオをスケーラブルビデオにエンコーディングする速度を向上させることができる。
【選択図】図２【図１】
0005557265.tif 000002
【図２】
0005557265.tif 000003
【図３】
0005557265.tif 000004
【図４】
0005557265.tif 000005
【図５】
0005557265.tif 000006
【図６】
0005557265.tif 000007
【図７】
0005557265.tif 000008
【図８】
0005557265.tif 000009
【図９】
0005557265.tif 000010
【図１０】
0005557265.tif 000011