(57)【要約】  本発明は、ビットストリームにおける、コード変換に利用可能なビットストリーム情報とコード変換をサポート可能なビットストリーム情報のうちの少なくとも１つを含む補助情報を取得することと、補助情報を用いて、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成することと、を含むビットストリームの処理方法を開示する。本発明は、ビットストリームの処理装置と記憶媒体をさらに開示する。【選択図】図１
2021515480.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することと、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成することと、を含む、
ビットストリームの処理方法。
【請求項２】
前記補助情報を用いて、ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成した後に、
生成したコード変換済みのビットストリームに応じて新たな補助情報を生成することと、
生成した新たな補助情報を、前記生成したコード変換済みのビットストリームに付加することと、をさらに含む、
請求項１に記載の方法。
【請求項３】
前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加すること、をさらに含む、
請求項１または２に記載の方法。
【請求項４】
前記補助情報は、予め設定された識別子を運ぶデータユニットに位置し、前記データユニットは、ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む、請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記コード変換に利用可能なビットストリーム情報は、前記ビットストリームの符号化タイプと、前記ビットストリームの符号化の能力レベルと、前記ビットストリームのビットレートと、前記ビットストリームのフレームレートと、前記ビットストリームの画像解像度と、前記ビットストリームの色空間と、前記ビットストリームの輝度・彩度のサンプリングフォーマットと、前記ビットストリームのダイナミックレンジと、前記ビットストリームの符号化情報と、前記ビットストリームのユーザ定義情報とのうちの少なくとも１つを含み、
前記ビットストリームの符号化情報は、ビットストリームのブロック情報を含み、或いは、前記ビットストリームの符号化情報は、ビットストリームのモード選択情報と、ビットストリームの動き推定情報及びビットストリームの量子化情報のうちの少なくとも一方と、ビットストリームのブロック情報と、ビットストリームの残差とを含み、前記ビットストリームの残差は、前記コード変換済みのビットストリームに利用可能な残差、または前記ビットストリームについての残差と前記コード変換済みのビットストリームに利用可能な残差との差分を含む、請求項４に記載の方法。
【請求項６】
前記コード変換をサポート可能なビットストリーム情報は、前記コード変換済みのビットストリームの符号化タイプと、前記コード変換済みのビットストリームの符号化の能力レベルと、前記コード変換済みのビットストリームのビットレートと、前記コード変換済みのビットストリームのフレームレートと、前記コード変換済みのビットストリームの画像解像度と、前記コード変換済みのビットストリームの色空間と、前記コード変換済みのビットストリームの輝度・彩度のサンプリングフォーマットと、前記コード変換済みのビットストリームのダイナミックレンジと、前記コード変換済みのビットストリームのユーザ定義情報とのうちの少なくとも１つを含む、請求項４に記載の方法。
【請求項７】
前記データユニットがビットストリームを伝送する補助情報ユニットであり、前記ビットストリームを伝送する補助情報ユニットが補足拡張情報ＳＥＩユニットである場合、前記補助情報は、前記ＳＥＩユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、
前記ビットストリームにおける補助情報を取得することは、
前記ビットストリームを解析し、ＳＥＩユニットを取得することと、
前記ＳＥＩユニットにおける前記ペイロードタイプフィールドが前記予め設定された識別子である位置で、前記補助情報を取得することを含む、請求項５または６に記載の方法。
【請求項８】
前記データユニットがビットストリームを伝送する補助情報ユニットであり、前記ビットストリームを伝送する補助情報ユニットがビデオ適用情報ＶＵＩユニットである場合、前記補助情報は、前記ＶＵＩユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、
前記ビットストリームにおける補助情報を取得することは、
前記ビットストリームを解析し、ＶＵＩユニットを取得することと、
前記ＶＵＩユニットにおける前記コード変換情報マークフィールドが前記予め設定された値である位置で、補助情報を取得することを含む、請求項５または６に記載の方法。
【請求項９】
ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得するように構成される取得モジュールと、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成するように構成される処理モジュールと、を備える、
ビットストリームの処理装置。
【請求項１０】
前記取得モジュールは、さらに、生成したコード変換済みのビットストリームに応じて新たな補助情報を生成するように構成され、
前記処理モジュールは、さらに、生成した新たな補助情報を、前記生成したコード変換済みのビットストリームに付加するように構成される、請求項９に記載の装置。
【請求項１１】
前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加するように構成される、付加モジュール、をさらに備える、
請求項９または１０に記載の装置。
【請求項１２】
前記補助情報は、予め設定された識別子を運ぶデータユニットに位置し、前記データユニットは、ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む、請求項９〜１１のいずれか一項に記載の装置。
【請求項１３】
前記コード変換に利用可能なビットストリーム情報は、前記ビットストリームの符号化タイプと、前記ビットストリームの符号化の能力レベルと、前記ビットストリームのビットレートと、前記ビットストリームのフレームレートと、前記ビットストリームの画像解像度と、前記ビットストリームの色空間と、前記ビットストリームの輝度・彩度のサンプリングフォーマットと、前記ビットストリームのダイナミックレンジと、前記ビットストリームの符号化情報と、前記ビットストリームのユーザ定義情報とのうちの少なくとも１つを含み、
前記ビットストリームの符号化情報は、ビットストリームのブロック情報を含み、或いは、ビットストリームの符号化情報は、ビットストリームのモード選択情報と、ビットストリームの動き推定情報及びビットストリームの量子化情報とのうちの少なくとも一方と、ビットストリームのブロック情報と、ビットストリームの残差とを含み、前記ビットストリームの残差は、前記コード変換済みのビットストリームに利用可能な残差、または前記ビットストリームについての残差と前記コード変換済みのビットストリームに利用可能な残差との差分を含む、請求項１２に記載の装置。
【請求項１４】
前記コード変換をサポート可能なビットストリーム情報は、前記コード変換済みのビットストリームの符号化タイプと、前記コード変換済みのビットストリームの符号化の能力レベルと、前記コード変換済みのビットストリームのビットレートと、前記コード変換済みのビットストリームのフレームレートと、前記コード変換済みのビットストリームの画像解像度と、前記コード変換済みのビットストリームの色空間と、前記コード変換済みのビットストリームの輝度・彩度のサンプリングフォーマットと、前記コード変換済みのビットストリームのダイナミックレンジと、前記コード変換済みのビットストリームのユーザ定義情報とのうちの少なくとも１つを含む、請求項１２に記載の装置。
【請求項１５】
前記データユニットがビットストリームを伝送する補助情報ユニットであり、前記ビットストリームを伝送する補助情報ユニットが補足拡張情報ＳＥＩユニットである場合、前記補助情報は、前記ＳＥＩユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、
前記取得モジュールは、
前記ビットストリームを解析し、ＳＥＩユニットを取得し、
前記ＳＥＩユニットにおける前記ペイロードタイプフィールドが前記予め設定された識別子である位置で、前記補助情報を取得するように構成される、請求項１３または１４に記載の装置。
【請求項１６】
前記データユニットがビットストリームを伝送する補助情報ユニットであり、前記ビットストリームを伝送する補助情報ユニットがビデオ適用情報ＶＵＩユニットである場合、前記補助情報は、前記ＶＵＩユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、
前記取得モジュールは、
ビットストリームを解析し、ＶＵＩユニットを取得し、
前記ＶＵＩユニットにおける前記コード変換情報マークフィールドが前記予め設定された値である位置で、前記補助情報を取得するように構成される、請求項１３または１４に記載の装置。
【請求項１７】
メモリと、プロセッサとを備え、前記メモリには、前記プロセッサによって実行されると、請求項１〜８のいずれか一項に記載の方法を実現する命令が記憶される、
ビットストリームの処理装置。
【請求項１８】
実行されると、請求項１〜８のいずれか一項に記載の方法を実現するためのコンピュータ実行可能な命令が記憶される、コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本出願は、２０１８年２月２７日に中国特許局に出願された中国特許出願番号２０１８１０１６２８２５.１の中国特許出願に基づいて優先権を主張するものであり、その出願における全ての内容を引用により本出願に組み込まれる。
【０００２】
本開示の実施例は、マルチメディアの技術分野に関し、例えばビットストリームの処理方法及び装置に関する。
【背景技術】
【０００３】
マルチメディアサービスの発展に伴い、マルチメディアは、例えば、デジタル放送、ネットメディア、モバイルメディアなど様々な分野に広く適用されている。異質ネットワークでは、大量のメディアデータは効率的なメディアデータ配信ポリシーを採用し、異なるフォーマットの入力要求を持つ端末装置に適応して、ユーザのニーズを満たす。
【０００４】
関連技術には、二つの解決方法があり、１つの方法は複数のビットストリームを記憶することであり、もう一つの方法はリアルタイムコード変換である。複数のビットストリームを記憶する方法について、該方法はメモリ空間を占有するため、記憶されるビットストリームが多すぎると、メモリ空間が不足する可能性が高い。リアルタイムコード変換はビットストリームを復号し、必要に応じて再符号化する方法であり、この方法は、実施中に１回の完全復号化及び１回の完全符号化が行われることに相当するため、計算量が多く、占有リソースが多く、コード変換の効率が悪い。
【発明の概要】
【０００５】
本開示の実施例は、コード変換の効率を向上させることができるビットストリームの処理方法及び装置を提供する。
【０００６】
一実施例では、本開示の実施例は、ビットストリームから、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することと、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成することと、を含む、ビットストリームの処理方法を提供する。
【０００７】
本開示の実施例は、ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得するように構成される取得モジュールと、
前記補助情報を用いて、前記ビットストリームに対してコード変換を行い、コード変換済みのビットストリームを生成するように構成される処理モジュールと、を備える、ビットストリームの処理装置をさらに提供する。
【０００８】
一実施例において、本開示の実施例は、メモリと、プロセッサとを備え、前記メモリには、前記プロセッサによって実行されると、前記いずれかの実施例に記載の方法を実現する命令が記憶される、ビットストリームの処理装置をさらに提供する。
【０００９】
一実施例において、本開示の実施例は、実行されると、前記いずれかの実施例に記載の方法を実現するためのコンピュータ実行可能な命令が記憶される、コンピュータ可読記憶媒体をさらに提供する。
【図面の簡単な説明】
【００１０】
図面は、本開示の技術の様態を理解できるように提供するものであり、本説明書の一部を構成し、本出願の実施例と共に、本開示の技術の様態を説明するためのものであり、本開示の技術の様態を限定するものではない。
【図１】本開示の実施例に係るビットストリームの処理方法のフローの模式図である。
【図２】本開示の実施例に係るビットストリームの処理装置の構造模式図である。
【図３】本開示の実施例に係る別のビットストリームの処理装置の構造模式図である。
【発明を実施するための形態】
【００１１】
本出願における実施例及び実施例における特徴は、互いに矛盾しない限り任意に組み合わせることができる。
【００１２】
図面のフローチャートに示されるステップは、コンピュータ実行可能命令のセットなどのコンピュータシステムにおいて実行できる。そして、論理的な順序がフローチャートに示されているが、場合によっては、示されたまたは説明されたステップが、ここの順序とは異なる順序で実行されてもよい。
【００１３】
本開示の実施例は、ビットストリームの処理方法を提供し、図１に示すように、この方法はステップ１１０と、ステップ１２０とを含む。
【００１４】
ステップ１１０では、ビットストリームにおける補助情報を取得する。
【００１５】
ここで、補助情報は、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む。
【００１６】
一実施例において、コード変換に利用可能なビットストリーム情報は、ビットストリームの符号化タイプと、ビットストリームの符号化の能力レベルと、ビットストリームのビットレートと、ビットストリームのフレームレートと、ビットストリームの画像解像度と、ビットストリームの色空間と、ビットストリームの輝度・彩度のサンプリングフォーマットと、ビットストリームのダイナミックレンジと、ビットストリームの符号化情報と、ビットストリームのユーザ定義情報とのうちの少なくとも１つを含む。ここで、ビットストリームの符号化情報は、ビットストリームのブロック情報を含み、或いは、ビットストリームの符号化情報は、ビットストリームのモード選択情報と、ビットストリームの動き推定情報及びビットストリームの量子化情報のうちの少なくとも一方と、ビットストリームのブロック情報と、ビットストリームの残差とを含み、ビットストリームの残差は、コード変換済みのビットストリームに利用可能な残差、またはビットストリームについての残差とコード変換済みのビットストリームに利用可能な残差との差分を含む。
【００１７】
一実施例において、コード変換をサポート可能なビットストリーム情報は、コード変換済みのビットストリームの符号化タイプと、コード変換済みのビットストリームの符号化の能力レベルと、コード変換済みのビットストリームのビットレートと、コード変換済みのビットストリームのフレームレートと、コード変換済みのビットストリームの画像解像度と、コード変換済みのビットストリームの色空間と、コード変換済みのビットストリームの輝度・彩度のサンプリングフォーマットと、コード変換済みのビットストリームのダイナミックレンジと、コード変換済みのビットストリームのユーザ定義情報とのうちの少なくとも１つを含む。
【００１８】
一実施例において、符号化タイプとは、符号化に合致するビデオ規格のことであり、ここで、ビデオ規格は、高効率のビデオ符号化（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、ＨＥＶＣ）（Ｈ.２６５とも呼ばれる）、高度ビデオ符号化（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、ＡＶＣ）（Ｈ.２６４とも呼ばれる）、インターネットビデオ画像圧縮規格（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ、ＭＰＥＧ）４、低ビットレートビデオ符号化規格（Ｌｏｗ  Ｂｉｔ  Ｒａｔｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、Ｈ.２６３）、デジタルビデオディスク（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｃ、ＤＶＤ）／ビデオコンパクトディスク（Ｖｉｄｅｏ  Ｃｏｍｐａｃｔ  Ｄｉｓｃ、ＶＣＤ）のビデオ画像圧縮規格ＭＰＥＧ２、Ｇｏｏｇｌｅ社が開発したオープンフォーマット、ライセンス料のないビデオ圧縮規格（Ｎｅｘｔ Ｇｅｎ Ｏｐｅｎ Ｖｉｄｅｏ、ＶＰ９）、マイクロソフト社が発表したストリームメディアフォーマット規格（Ｗｉｎｄｏｗｓ（登録商標）  Ｍｅｄｉａ  Ｖｉｄｅｏ、ＷＭＶ）などであってもよい。能力レベルとは、復号器がビットストリームを正しく復号するときに持つ必要がある能力レベルのことであり、ビットレートは、２Ｍｂｐｓや１０Ｍｂｐｓなどであってもよく、フレームレートは、２５ｆｐｓや３０ｆｐｓなどであってもよく、画像解像度は、７２０ｐや１０８０ｐなどであってもよく、色空間は、色標準の輝度、彩度、濃度（Ｌｕｍｉｎａｎｃｅ、Ｃｈｒｏｍｉｎａｎｃｅ、Ｃｈｒｏｍａ、ＹＵＶ）、又は色標準の赤緑青（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ、ＲＧＢ）などであってもよく、輝度・彩度のサンプリングフォーマットは、ＹＵＶ４４４、ＹＵＶ４２０などであってもよく、ダイナミックレンジは、標準ダイナミックレンジ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ、ＳＤＲ)、又はハイダイナミックレンジ画像（Ｈｉｇｈ−Ｄｙｎａｍｉｃ  Ｒａｎｇｅ、ＨＤＲ）などであってもよい。
【００１９】
ステップ１２０において、補助情報を用いてビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する。
【００２０】
一実施例において、補助情報がビットストリームの符号化タイプである場合、ビットストリームの符号化タイプがサポート可能な目標符号化タイプを取得する。受信側から要求された符号化タイプがビットストリームの符号化タイプと同一、または受信側から要求された符号化タイプが目標符号化タイプに含まれている場合、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する。補助情報がビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプである場合、完全な符号化と復号化を行うか、部分的な符号化と復号化を行うかを判断する（すなわち、ビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプが一致するか否かを判断する）。部分的な符号化と復号化を行う（すなわち、ビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプが一致する）場合、ビットストリームの符号化情報に応じてビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する。
【００２１】
補助情報がビットストリームの符号化の能力レベルである場合、ビットストリームの符号化の能力レベルがサポート可能な目標符号化の能力レベルを取得する。受信側から要求された符号化の能力レベルが目標符号化の能力レベル以下である場合、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する。補助情報がビットストリームの符号化の能力レベル及びコード変換済みのビットストリームの符号化の能力レベルである場合、完全な符号化と復号化を行うか、部分的な符号化と復号化を行うかを判断し、後続のステップは補助情報がビットストリームの符号化タイプ及びコード変換済みのビットストリームの符号化タイプである場合の実行ステップと一致するため、ここでは説明を省略する。
【００２２】
補助情報がビットストリームのビットレートである場合、ビットストリームのビットレートがサポート可能な目標ビットレートを取得する。補助情報がビットストリームのフレームレートである場合、ビットストリームのビットレートがサポート可能な目標フレームレートを取得する。補助情報がビットストリームの画像解像度である場合、ビットストリームのビットレートがサポート可能な目標画像解像度を取得する。補助情報がビットストリームの色空間である場合、ビットストリームのビットレートがサポート可能な目標色空間を取得する。補助情報がビットストリームの色度のサンプリングフォーマットである場合、ビットストリームのビットレートがサポート可能な目標色度のサンプリングフォーマットを取得する。補助情報がビットストリームの色度ダイナミックレンジである場合、ビットストリームのビットレートがサポート可能な目標色度ダイナミックレンジを取得する。後続のステップは補助情報がビットストリームの符号化タイプである場合の実行ステップと一致するため、ここでは説明を省略する。
【００２３】
補助情報がビットストリームのビットレート及びコード変換済みのビットストリームのビットレートである場合、補助情報がビットストリームのフレームレート及びコード変換済みのビットストリームのフレームレートである場合、または補助情報がビットストリームの画像解像度及びコード変換済みのビットストリームの画像解像度である場合、または補助情報がビットストリームの色空間とコード変換済みのビットストリームの色空間である場合、または補助情報がビットストリームの色度のサンプリングフォーマット及びコード変換済みのビットストリームの色度のサンプリングフォーマットである場合、または補助情報がビットストリームの色度ダイナミックレンジ及びコード変換済みのビットストリームの色度ダイナミックレンジである場合、完全な符号化と復号化を行うか、または部分的な符号化と復号化を行うかを判断し、後続のステップは補助情報がビットストリームの符号化タイプ及びコード変換済みのビットストリームの符号化タイプである場合の実行ステップと一致するため、ここでは説明を省略する。
【００２４】
補助情報がビットストリームの符号化情報である場合、例えば、コード変換の符号化中で、前記の符号化情報をそのまま用いて、前記の符号化情報を新たに生成するステップを省略し、コード変換済みのビットストリームを生成することができる。補助情報が、ビットストリームの残差情報を含む符号化情報である場合、部分的な符号化と復号化を行い、符号化中でビットストリームの残差情報をそのまま用いて、前記のビットストリームの符号化情報に付加し、残差及び前記符号化情報を新たに生成するステップを省略し、コード変換済みのビットストリームを生成する。補助情報がビットストリームのユーザ定義情報及びコード変換済みのビットストリームのユーザ定義情報のうちの少なくとも一方である場合、具体的なユーザ定義情報に従って、コード変換の操作を補助する。
【００２５】
以下、いくつかの適用シーンにおける実施例を参照し、補助情報を用いてビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成する方法を説明する。
【００２６】
実施例１
本実施例において、補助情報がビットストリームの符号化タイプ（ビットストリームの符号化タイプがＨ.２６５/ＨＥＶＣである）及びコード変換済みのビットストリームの符号化タイプ（コード変換済みのビットストリームの符号化タイプがＨ.２６５/ＨＥＶＣである）であると仮定し、ビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプとが同じであることから、完全な符号化と復号化を行ってもよいし、部分的な符号化と復号化を行ってもよいことがわかる。
【００２７】
一実施例において、補助情報には、ビットストリームの符号化情報がさらに含まれているため、ビットストリームを復号化し、再構成画像を生成した後、コード変換で、符号化する際にモード選択や動き推定などの操作を行わなくなり、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【００２８】
一実施例において、補助情報には、ビットストリームについての残差とコード変換済みのビットストリームの残差との差分であるコード変換済みのビットストリームの残差がさらに含まれるため、コード変換で、復号するのは、ビットストリームの残差のみが必要となり、再構成操作が不要であり、コード変換の符号化中でビットストリームの残差をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換をした後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【００２９】
実施例２
本実施例において、補助情報がビットストリームの符号化タイプ（ビットストリームの符号化タイプがＨ.２６５/ＨＥＶＣである）及びコード変換済みのビットストリームの符号化タイプ（コード変換済みのビットストリームの符号化タイプがＨ.２６４/ＡＶＣである）であると仮定し、ビットストリームの符号化タイプとコード変換済みのビットストリームの符号化タイプとが異なり、補助情報からＨ.２６４/ＡＶＣの利用可能な符号化情報が解析されていない場合、完全な符号化と復号化を行う。補助情報からＨ.２６４/ＡＶＣの利用可能な符号化情報が解析された場合、部分的な符号化と復号化を行うことができる。
【００３０】
一実施例において、補助情報には、ビットストリームの符号化情報がさらに含まれるとともに、符号化情報がコード変換済みのビットストリームの符号化タイプＨ.２６４/ＡＶＣの利用可能な情報であるため、復号ビットストリームが再構成画像を生成した後、再符号化する際にモード選択や動き推定などの操作を行う必要がなく、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【００３１】
一実施例において、補助情報には、ビットストリームについての残差とコード変換済みのビットストリームの残差との差分であるコード変換済みのビットストリームの残差がさらに含まれるため、コード変換で、復号するのは、ビットストリームの残差のみが必要となり、再構成操作が不要であり、コード変換の符号化中でビットストリームの残差をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換をした後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【００３２】
実施例３
本実施例において、補助情報がビットストリームの色空間（ビットストリームの色空間がＹＵＶである）及びコード変換済みのビットストリームの色空間（コード変換済みのビットストリームの色空間がＲＧＢである）であると仮定するため、コード変換で、ビットストリーム再構成画像の色空間をＹＵＶからＲＧＢに変換してから、符号化の操作を行う。
【００３３】
一実施例において、補助情報には、ビットストリームの符号化情報がさらに含まれて、これらの符号化情報がコード変換済みのビットストリームによってコード変換して利用される場合には、コード変換の符号化中でモード選択や動き推定などの操作を行う必要がなく、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【００３４】
実施例４
本実施例において、補助情報がビットストリームのダイナミックレンジ（ビットストリームのダイナミックレンジがＳＤＲである）及びコード変換済みのビットストリームのダイナミックレンジ（コード変換済みのビットストリームのダイナミックレンジがＨＤＲである）であると仮定するため、コード変換で、ビットストリームの再構成画像のダイナミックレンジをＳＤＲからＨＤＲに変換してから、符号化の操作を行う。一実施例において、補助情報には、標準ダイナミックレンジから高ダイナミックレンジまでのマッピングテーブルが運ばれてもよいし、マップ方式を特定する情報が運ばれてもよい。
【００３５】
一実施例において、補助情報には、ビットストリームの符号化情報がさらに含まれて、これらの符号化情報がコード変換済みのビットストリームによってコード変換して利用される場合には、コード変換の符号化中でモード選択や動き推定などの操作を行う必要がなく、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【００３６】
実施例５
本実施例において、補助情報がビットストリームの解像度（ビットストリームの解像度が１０８０ｐである）及びコード変換済みのビットストリームの解像度（コード変換済みのビットストリームの解像度が７２０ｐである）であると仮定するため、コード変換で、ビットストリームの再構成画像を１０８０ｐから７２０ｐにダウンサンプルしてから、符号化の操作を行う。一実施例において、補助情報には、ダウンサンプルのフィルタテーブルが運ばれてもよいし、フィルタリング方式を特定する情報が運ばれてもよい。
【００３７】
一実施例において、補助情報には、ビットストリームの符号化情報が含まれて、これらの符号化情報がコード変換済みのビットストリームによってコード変換して利用される場合には、コード変換の符号化中でモード選択や動き推定などの操作を行う必要がなく、ビットストリームの符号化情報をそのまま用いて符号化を行う。
【００３８】
一実施例において、補助情報には、ビットストリームの残差をダウンサンプルした後の残差とコード変換済みのビットストリームの残差との差分であるコード変換済みのビットストリームの残差が含まれるため、コード変換中で、復号するのはビットストリームの残差のみが必要となり、再構成操作が不要であり、ビットストリームの残差をダウンサンプルし、コード変換の符号化中でビットストリームの残差のダウンサンプルした数値をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【００３９】
本開示の実施例に係るビットストリームの処理方法は、ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することにより、補助情報がコード変換に利用可能なビットストリーム情報であるか、コード変換をサポート可能なビットストリーム情報であるかに関わらず、コード変換の操作を支援することができるため、コード変換の効率を向上させる。
【００４０】
一実施例において、補助情報を用いてビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成した後に、
生成したコード変換済みのビットストリームによって新たな補助情報を生成することと、
生成した新たな補助情報を、前記生成したコード変換済みのビットストリームに付加することと、を含む。
【００４１】
一実施例において、この方法は、前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加すること、をさらに含む。
【００４２】
一実施例において、生成した新たな補助情報を生成したコード変換済みのビットストリームに付加した後に、
前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加すること、をさらに含む。
【００４３】
一実施例において、補助情報は、予め設定された識別子を運ぶデータユニットに位置し、データユニットは、ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む。
【００４４】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットが補足拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）ユニットである場合、補助情報は、ＳＥＩユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、
ビットストリームにおける補助情報を取得することは、
ビットストリームを解析し、ＳＥＩユニットを取得することと、
ＳＥＩユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置で、補助情報を取得すること、を含む。
【００４５】
一実施例において、ＳＥＩユニットにおいて、ペイロードタイプフィールドはｐａｙｌｏａｄＴｙｐｅであってもよく、予め設定された識別子はＴＲＡＮＳＣＯＤＩＮＧ＿ＩＮＦＯであってもよい。ｐａｙｌｏａｄＳｉｚｅは、ペイロード長フィールドであってもよい。ＳＥＩ＿ｐａｙｌｏａｄ（）は、ＳＥＩユニットのペイロードであってもよい。ＴＲＡＮＳＣＯＤＩＮＧ＿ＩＮＦＯの構造を表１に示すようにしてもよい。
【表１】
2021515480.tif 000003
【００４６】
表１に加えて、補助情報の表示を表２に示す。
【表２】
2021515480.tif 000004
【００４７】
表２に示すように、ｃｏｄｅｃ＿ＩＮＦＯとは、ビットストリームの符号化タイプの情報であり、ｂｉｔｒａｔｅ＿ＩＮＦＯとは、ビットストリームのビットレートの情報であり、ＴＲＡＮＳＣＯＤＩＮＧ＿ｃｏｄｅｃ＿ＩＮＦＯとは、コード変換済みのビットストリームの符号化タイプの情報であり、ＴＲＡＮＳＣＯＤＩＮＧ＿ｂｉｔｒａｔｅ＿ＩＮＦＯとは、コード変換済みのビットストリームのビットレートの情報である。
【００４８】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットがビデオ適用情報（Ｖｉｄｅｏ  Ｕｓａｂｉｌｉｔｙ  Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）ユニットである場合、補助情報は、ＶＵＩユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、
ビットストリームにおける補助情報を取得することは、
ビットストリームを解析し、ＶＵＩユニットを取得することと、
ＶＵＩユニットにおけるコード変換情報マークフィールドが予め設定された値である位置で、補助情報を取得すること、を含む。
【００４９】
一実施例において、ＶＵＩユニットにおいて、コード変換情報マークフィールドはＴＲＡＮＳＣＯＤＩＮＧ＿ＩＮＦＯ＿ｆｌａｇであってもよく、予め設定された値は１であってもよい。ＴＲＡＮＳＣＯＤＩＮＧ＿ＩＮＦＯ＿ｆｌａｇの構造を表３に示すようにしてもよい。
【表３】
2021515480.tif 000005
【００５０】
表３に示すように、ｃｏｄｅｃ＿ＩＮＦＯとは、ビットストリームの符号化タイプの情報であり、ｂｉｔｒａｔｅ＿ＩＮＦＯとは、ビットストリームのビットレートの情報であり、ＴＲＡＮＳＣＯＤＩＮＧ＿ｃｏｄｅｃ＿ＩＮＦＯとは、コード変換済みのビットストリームの符号化タイプの情報であり、ＴＲＡＮＳＣＯＤＩＮＧ＿ｂｉｔｒａｔｅ＿ＩＮＦＯとは、コード変換済みのビットストリームのビットレートの情報である。ＶＵＩ＿ｐａｒａｍｅｔｅｒｓ（）はＶＵＩユニットのパラメータであってもよい。
【００５１】
一実施例において、システム層メディア記述ユニットから補助情報を取得してもよく、例えば、補助情報は表３に示すような構造である。補助情報は、例えば、トランスポートストリームでの記述子、ファイルフォーマットでのデータユニット（例えば、Ｂｏｘフォーマットでのデータユニット）、トランスポートストリームでのメディア記述情報であり、例えば、メディアプレゼンテーション記述（Ｍｅｄｉａ  Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ、ＭＰＤ）などの情報ユニットである。
【００５２】
一実施例において、本開示の実施例に係るビットストリームの処理方法における補助情報は、複数のコード変換済みのビットストリームを生成するための複数のセットの情報を含むことができる。
【００５３】
一実施例において、本開示の実施例に係るビットストリームの処理方法は、立体ビデオの処理にも適用可能であり、ビットストリームが立体ビデオデータにおける左視野情報であり、運んでいる補助情報が右視野に関するように設定されるため、受信側が立体ビデオを要求すると、補助情報を用いて右視野のビットストリームへ補助的にコード変換して、左視野のビットストリームと組み合わせて立体ビットストリームとして受信側に送信する。受信側が右視野のビデオを要求すると、補助情報を用いて右視野のビットストリームへ補助的にコード変換し、そのまま受信側に送信する。
【００５４】
一実施例において、本開示の実施例に係るビットストリームの処理方法は、注目ビデオの処理にも適用可能であり、ビットストリームが全景ビデオであり、運んでいる補助情報がユーザの注目領域に関するように設定されるため、受信側が注目領域のビットストリームを要求すると、補助情報を用いて注目領域のビットストリームへ補助的にコード変換して出し、受信側に送信する。
【００５５】
一実施例において、本開示の実施例に係るビットストリームの処理方法について、持っている補助情報は複数のセットのコード変換に利用可能なビットストリーム情報とコード変換をサポート可能なビットストリーム情報を含むことができ、受信側らかの要求に応じて、異なるコード変換に利用可能なビットストリーム情報またはコード変換をサポート可能なビットストリーム情報を用いることができる。
【００５６】
本開示の実施例は、前記の実施例のいずれかに記載する方法を実行するためのコンピュータ実行可能な命令が記憶されているコンピュータ可読記憶媒体をさらに提供する。
【００５７】
記憶媒体とは、任意の１つまたは複数の種類のメモリデバイスまたは記憶デバイスである。「記憶媒体」という用語は、例えば、コンパクトディスク読み取り専用メモリ（ＣｏｍｐａｃｔＤｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ−ＲＯＭ）などの読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、フロッピー（登録商標）ディスクや磁気テープ装置、というインストール媒体と、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＤＲＡＭ）、（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＤＤＲ  ＲＡＭ）、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ−Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＳＲＡＭ）、拡張データ出力ランダムアクセスメモリ（Ｅｘｔｅｎｄｅｄ  Ｄａｔａ  Ｏｕｔｐｕｔ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、ＥＤＯ  ＲＡＭ）、ブルーバスランダムアクセスメモリ（Ｒａｍｂｕｓ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ、Ｒａｍｂｕｓ  ＲＡＭ）などのコンピュータシステムメモリやランダムアクセスメモリと、フラッシュメモリ、磁気媒体(例えば、ハードディスクまたは光学ストレージ)などの不揮発性メモリと、レジスタまたはその他の同様のタイプのメモリ素子などと、を含むことを意図している。記憶媒体は、他のタイプのメモリまたはそれらの組合せも含み得る。
【００５８】
本開示の実施例はビットストリームの処理装置を提供し、図２に示すように、当該ビットストリームの処理装置２は、
ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得するように構成される取得モジュール２１０と、
補助情報を用いて、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成するように構成される処理モジュール２２０と、を備える。
【００５９】
一実施例において、取得モジュール２１０は、さらに、生成したコード変換済みのビットストリームに応じて新たな補助情報を生成するように構成される。
【００６０】
処理モジュール２２０は、さらに、生成した新たな補助情報を、生成したコード変換済みのビットストリームに付加するように構成される。
【００６１】
一実施例において、当該ビットストリームの処理装置２は、前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加するように構成される、付加モジュール２３０をさらに備える。
【００６２】
一実施例において、補助情報は、予め設定された識別子を運ぶデータユニットに位置し、データユニットは、ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む。
【００６３】
一実施例において、コード変換に利用可能なビットストリーム情報は、ビットストリームの符号化タイプと、ビットストリームの符号化の能力レベルと、ビットストリームのビットレートと、ビットストリームのフレームレートと、ビットストリームの画像解像度と、ビットストリームの色空間と、ビットストリームの輝度・彩度のサンプリングフォーマットと、ビットストリームのダイナミックレンジと、ビットストリームの符号化情報と、ビットストリームのユーザ定義情報とのうちの少なくとも１つを含み、ここで、ビットストリームの符号化情報は、ビットストリームのブロック情報を含み、或いは、ビットストリームの符号化情報は、ビットストリームのモード選択情報と、ビットストリームの動き推定情報及びビットストリームの量子化情報のうちの少なくとも一方と、ビットストリームのブロック情報と、ビットストリームの残差とを含み、ビットストリームの残差は、コード変換済みのビットストリームに利用可能な残差、またはビットストリームとコード変換済みのビットストリームに利用可能な残差の差分を含む。
【００６４】
一実施例において、コード変換をサポート可能なビットストリーム情報は、コード変換済みのビットストリームの符号化タイプと、コード変換済みのビットストリームの符号化の能力レベルと、コード変換済みのビットストリームのビットレートと、コード変換済みのビットストリームのフレームレートと、コード変換済みのビットストリームの画像解像度と、コード変換済みのビットストリームの色空間と、コード変換済みのビットストリームの輝度・彩度のサンプリングフォーマットと、コード変換済みのビットストリームのダイナミックレンジと、コード変換済みのビットストリームのユーザ定義情報とのうちの少なくとも１つを含む。
【００６５】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットがＳＥＩユニットである場合、補助情報は、ＳＥＩユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、
取得モジュール２１０は、
ビットストリームを解析し、ＳＥＩユニットを取得し、
ＳＥＩユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置で、補助情報を取得するように構成される。
【００６６】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットがＶＵＩユニットである場合、補助情報は、ＶＵＩユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、
取得モジュール２１０は、
ビットストリームを解析し、ＶＵＩユニットを取得し、
ＶＵＩユニットにおけるコード変換情報マークフィールドが予め設定された値である位置で、補助情報を取得するように構成される。
【００６７】
本開示の実施例に係るビットストリームの処理装置は、ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することにより、補助情報がコード変換に利用可能なビットストリーム情報であるか、コード変換をサポート可能なビットストリーム情報であるかに関わらず、コード変換の操作を支援することができるため、コード変換の効率を向上させる。
【００６８】
実際の応用では、取得モジュール２１０と、処理モジュール２２０と、付加モジュール２３０とは、ビットストリームの処理装置に配置される中央処理装置（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、ＣＰＵ）、マイクロプロセッサ（Ｍｉｃｒｏ  Ｐｒｏｃｅｓｓｏｒ  Ｕｎｉｔ、ＭＰＵ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）またはフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ、ＦＰＧＡ）などによって実現することができる。
【００６９】
本開示の実施例は、ビットストリームの処理を実現するための装置を提供する。図３に示すように、この装置は、メモリ３１０と、プロセッサ３２０とを備え、メモリ３１０には、
ビットストリームにおける、コード変換に利用可能なビットストリーム情報及びコード変換をサポート可能なビットストリーム情報のうちの少なくとも一方を含む補助情報を取得することと、
補助情報を用いて、ビットストリームに対してコード変換の操作を行い、コード変換済みのビットストリームを生成することと、を含む、プロセッサ３２０によって実行可能な命令が記憶される。
【００７０】
一実施例において、メモリ３１０には、
生成したコード変換済みのビットストリームに応じて新たな補助情報を生成することと、
生成した新たな補助情報を生成したコード変換済みのビットストリームに付加することと、を含む、プロセッサ３２０によって実行可能な命令がさらに記憶される。
【００７１】
一実施例において、メモリ３１０には、
前記コード変換済みのビットストリームがコード変換されたことを示すために用いられるフラグビット情報を、生成したコード変換済みのビットストリームに付加することを含む、プロセッサ３２０によって実行可能な命令がさらに記憶される。
【００７２】
一実施例において、補助情報は、予め設定された識別子を運ぶデータユニットに位置し、データユニットは、ビットストリームを伝送する補助情報ユニットと、システム層メディア記述ユニットと、メディアファイルフォーマットに含まれるメディア記述ユニットとを含む。
【００７３】
一実施例において、コード変換に利用可能なビットストリーム情報は、ビットストリームの符号化タイプと、ビットストリームの符号化の能力レベルと、ビットストリームのビットレートと、ビットストリームのフレームレートと、ビットストリームの画像解像度と、ビットストリームの色空間と、ビットストリームの輝度・彩度のサンプリングフォーマットと、ビットストリームのダイナミックレンジと、ビットストリームの符号化情報と、ビットストリームのユーザ定義情報とのうちの少なくとも１つを含み、ここで、ビットストリームの符号化情報は、ビットストリームのブロック情報を含み、或いは、ビットストリームの符号化情報は、ビットストリームのモード選択情報と、ビットストリームの動き推定情報及びビットストリームの量子化情報のうちの少なくとも一方と、ビットストリームのブロック情報と、ビットストリームの残差とを含み、ビットストリームの残差は、コード変換済みのビットストリームに利用可能な残差、またはビットストリームについての残差とコード変換済みのビットストリームに利用可能な残差との差分を含む。
【００７４】
一実施例において、コード変換をサポート可能なビットストリーム情報は、コード変換済みのビットストリームの符号化タイプと、コード変換済みのビットストリームの符号化の能力レベルと、コード変換済みのビットストリームのビットレートと、コード変換済みのビットストリームのフレームレートと、コード変換済みのビットストリームの画像解像度と、コード変換済みのビットストリームの色空間と、コード変換済みのビットストリームの輝度・彩度のサンプリングフォーマットと、コード変換済みのビットストリームのダイナミックレンジと、コード変換済みのビットストリームのユーザ定義情報とのうちの少なくとも１つを含む。
【００７５】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットであり、ビットストリームを伝送する補助情報ユニットがＳＥＩユニットである場合、補助情報は、ＳＥＩユニットにおけるペイロードタイプフィールドが予め設定された識別子である位置に位置し、メモリ３１０には、
ビットストリームを解析し、ＳＥＩユニットを取得することと、
ＳＥＩユニットにおけるペイロードタイプフィールドが予め設定された識別子の位置で補助情報を取得することと、を含む、プロセッサ３２０によって実行可能な命令が記憶される。
【００７６】
一実施例において、データユニットがビットストリームを伝送する補助情報ユニットにおけるＶＵＩユニットである場合、補助情報は、ＶＵＩユニットにおけるコード変換情報マークフィールドが予め設定された値である位置に位置し、メモリ３１０には、
ビットストリームを解析し、ＶＵＩユニットを取得することと、
ＶＵＩユニットにおけるコード変換情報マークフィールドが予め設定された値である位置で、補助情報を取得することと、を含む、プロセッサ３２０によって実行可能な命令が記憶される。
【図１】
2021515480.tif 000006
【図２】
2021515480.tif 000007
【図３】
2021515480.tif 000008
【手続補正書】
【提出日】令和2年8月27日(2020.8.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
一実施例において、符号化タイプとは、符号化に合致するビデオ規格のことであり、ここで、ビデオ規格は、高効率のビデオ符号化（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、ＨＥＶＣ）（Ｈ.２６５とも呼ばれる）、高度ビデオ符号化（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、ＡＶＣ）（Ｈ.２６４とも呼ばれる）、インターネットビデオ画像圧縮規格（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ、ＭＰＥＧ−４）、低ビットレートビデオ符号化規格（Ｌｏｗ  Ｂｉｔ  Ｒａｔｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ、Ｈ.２６３）、デジタルビデオディスク（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｃ、ＤＶＤ）／ビデオコンパクトディスク（Ｖｉｄｅｏ  Ｃｏｍｐａｃｔ  Ｄｉｓｃ、ＶＣＤ）のビデオ画像圧縮規格ＭＰＥＧ２、Ｇｏｏｇｌｅ社が開発したオープンフォーマット、ライセンス料のないビデオ圧縮規格（Ｎｅｘｔ Ｇｅｎ Ｏｐｅｎ Ｖｉｄｅｏ、ＶＰ９）、マイクロソフト社が発表したストリームメディアフォーマット規格（Ｗｉｎｄｏｗｓ  Ｍｅｄｉａ  Ｖｉｄｅｏ、ＷＭＶ）などであってもよい。能力レベルとは、復号器がビットストリームを正しく復号するときに持つ必要がある能力レベルのことであり、ビットレートは、２Ｍｂｐｓや１０Ｍｂｐｓなどであってもよく、フレームレートは、２５ｆｐｓや３０ｆｐｓなどであってもよく、画像解像度は、７２０ｐや１０８０ｐなどであってもよく、色空間は、色標準の輝度、彩度、濃度（Ｌｕｍｉｎａｎｃｅ、Ｃｈｒｏｍｉｎａｎｃｅ、Ｃｈｒｏｍａ、ＹＵＶ）、又は色標準の赤緑青（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ、ＲＧＢ）などであってもよく、輝度・彩度のサンプリングフォーマットは、ＹＵＶ４４４、ＹＵＶ４２０などであってもよく、ダイナミックレンジは、標準ダイナミックレンジ（Ｓｔａｎｄａｒｄ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ、ＳＤＲ)、又はハイダイナミックレンジ画像（Ｈｉｇｈ−Ｄｙｎａｍｉｃ  Ｒａｎｇｅ、ＨＤＲ）などであってもよい。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
補助情報がビットストリームのビットレートである場合、ビットストリームのビットレートがサポート可能な目標ビットレートを取得する。補助情報がビットストリームのフレームレートである場合、ビットストリームのフレームレートがサポート可能な目標フレームレートを取得する。補助情報がビットストリームの画像解像度である場合、ビットストリームの画像解像度がサポート可能な目標画像解像度を取得する。補助情報がビットストリームの色空間である場合、ビットストリームの色空間がサポート可能な目標色空間を取得する。補助情報がビットストリームの色度のサンプリングフォーマットである場合、ビットストリームの色度のサンプリングフォーマットがサポート可能な目標色度のサンプリングフォーマットを取得する。補助情報がビットストリームの色度ダイナミックレンジである場合、ビットストリームの色度ダイナミックレンジがサポート可能な目標色度ダイナミックレンジを取得する。後続のステップは補助情報がビットストリームの符号化タイプである場合の実行ステップと一致するため、ここでは説明を省略する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
一実施例において、補助情報には、コード変換済みのビットストリームの残差、またはビットストリームについての残差とコード変換済みのビットストリームの残差との差分がさらに含まれるため、コード変換で、復号するのは、ビットストリームの残差のみが必要となり、再構成操作が不要であり、コード変換の符号化中でビットストリームの残差をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換をした後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
一実施例において、補助情報には、コード変換済みのビットストリームの残差、またはビットストリームについての残差とコード変換済みのビットストリームの残差との差分がさらに含まれるため、コード変換で、復号するのは、ビットストリームの残差のみが必要となり、再構成操作が不要であり、コード変換の符号化中でビットストリームの残差をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換をした後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】変更
【補正の内容】
【００３８】
一実施例において、補助情報には、コード変換済みのビットストリームの残差、またはビットストリームの残差をダウンサンプルした後の残差とコード変換済みのビットストリームの残差との差分が含まれるため、コード変換中で、復号するのはビットストリームの残差のみが必要となり、再構成操作が不要であり、ビットストリームの残差をダウンサンプルし、コード変換の符号化中でビットストリームの残差のダウンサンプルした数値をそのまま用いて、コード変換済みのビットストリームの残差と加算し、コード変換後の残差を生成し、ビットストリームの符号化情報を加えて符号化して新たなビットストリームを生成し、モード選択や動き推定などの操作が不要である。
【国際調査報告】
2021515480.tif 000009
2021515480.tif 000010
2021515480.tif 000011
2021515480.tif 000012