JP 2021-48569 A 2021.3.25(57)【要約】【課題】画像符号化及び復号化に適したブロック分割を行うことにより、符号化効率を向上させる技術を提供する。
【解決手段】ブロックを１ブロック行以上まとめたブリックを整数個含むスライスの符号列を復号し、復号スラ
イスの符号列はＮＡＬユニットに含まれ、スライスに含まれる２番目以降のブリックの開始バイト位置を示すエ
ントリポイントを前記スライスが含まれるＮＡＬユニッ
トとは別のＮＡＬユニットから復号する。
【選択図】図１

(2)JP 2021-48569 A 2021.3.25【特許請求の範囲】【請求項１】
画像を所定サイズのブロックに分割して、前記ブロックを１ブロック行以上まとめたブリックを整数個含むスライスの符号列を復号する画像復号装置であって、
前記スライスの符号列はＮＡＬユニットに含まれ、スライスに含まれる２番目以降のブリックの開始バイト位置を示すエントリポイントを
前記スライスが含まれるＮＡＬユニットとは別のＮＡＬユニットから復号する画像復号装置。
【請求項２】
画像を所定サイズのブロックに分割して、前記ブロックを１ブロック行以上まとめたブリックを整数個含むスライスの符号列を復号する画像復号装置であって、スライスが２以上のブリックを含む可能性があることを示すフラグが、スライスが２以上のブリックを含む可能性があることを示す場合、スライスに含まれる２番目以降のブリックの開始バイト位置を示すエントリポイントをスライスヘッダに含めるか否かを示すフ
ラグを、ピクチャのパラメータを設定するピクチャパラメータセットから復号する画像復号装置。
【発明の詳細な説明】【技術分野】【０００１】
本発明は、並列処理可能な画像符号化及び復号技術に関する。
【背景技術】【０００２】ＨＥＶＣでは並列処理のツールとしてタイルとエントロピー同期符号化が定義されている。ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ）にて策定中の次世代の映像符号化規格であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では並列処理のツールの改善が検討されている。
【先行技術文献】【非特許文献】【０００３】
Versatile Video Coding (Draft 6)【発明の概要】【発明が解決しようとする課題】【０００４】
非特許文献１の技術には規格策定途上にあり、並列処理のツールの処理効率に課題がある。
【課題を解決するための手段】【０００５】
上記課題を解決する本発明のある態様では、画像を所定サイズのブロックに分割して、
前記ブロックを１ブロック行以上まとめたブリックを整数個含むスライスの符号列を復号し、前記スライスの符号列はＮＡＬユニットに含まれ、スライスに含まれる２番目以降のブリックの開始バイト位置を示すエントリポイントを前記スライスが含まれるＮＡＬユニットとは別のＮＡＬユニットから復号する。
【発明の効果】【０００６】
本発明によれば、並列処理のツールを高効率に実現することができる。
【図面の簡単な説明】【０００７】【図１】第１の実施の形態の構成を説明する図である。
【図２】符号化ストリーム中のピクチャがブリックに分割されている例を説明する図であ

10

20

30

40

50

(3)

JP 2021-48569 A 2021.3.25

る【図３】タイルへのＣＴＵの割り当て情報とブリックへのＣＴＵ行の割り当て情報に関するＰＰＳのシンタックスを説明する図である。
【図４】ブリックインデックスの例を説明する図である。
【図５】ＰＰＳの一部のシンタックスを説明する図である。
【図６】スライスヘッダの一部のシンタックスを説明する図である。
【図７】変換部の動作を説明するフローチャートである。
【図８】ＳＥＩメッセージのシンタックスを示す図である。
【図９】ＳＥＩペイロードのシンタックスを示す図である。
【図１０】エントリポイントＳＥＩメッセージのシンタックスを説明する図である【図１１】変換部が出力する符号化ストリームを説明する図である。
【図１２】実施の形態１の変形例のＰＰＳの一部のシンタックスを説明する図である。
【図１３】第２の実施の形態の構成を説明する図である。
【図１４】第１の実施の形態の符号化復号装置のハードウェア構成の一例を説明するための図である。
【発明を実施するための形態】【０００８】
本発明の実施の形態は、ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔ Ｔｅａｍ）にて策定中の次世代の映像符号化規格であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ
Ｃｏｄｉｎｇ）で検討されている技術に基づくものとする。ＶＶＣでは、従来のＡＶＣ
やＨＥＶＣと同様に、ブロック分割、イントラ予測、インター予測、変換、量子化、エントロピー符号、ループフィルタ等の技術が用いられる。
【０００９】
以下、本発明の実施の形態において使用する技術、及び技術用語を定義する。以降、特に断らない限り画像とピクチャは同じ意味で用いる。本発明の実施の形態において画像符号化部では符号化が実施され、画像復号部では復号が実施される。
【００１０】＜符号化ツリーユニットと符号化ブロック＞
所定サイズのブロックでピクチャを均等分割する。この所定サイズのブロックを符号化
ツリーブロック（ＣＴＢ）と定義する。各符号化ツリーブロックの内部は、再帰的な分割が可能である。符号化ツリーブロック分割後の、符号化・復号の対象となるブロックを符
号化ブロック（ＣＵ）と定義する。イントラ予測やインター予測は符号化ブロック単位で符号化（復号）される。また、符号化ツリーブロック、符号化ブロックを総称してブロックと定義する。適切なブロック分割を行うことにより効率的な符号化（復号）が可能となる。符号化ツリーブロックのサイズは、エンコーダとデコーダで予め取り決めた固定値とすることもできるし、エンコーダが決定した符号化ツリーブロックのサイズをデコーダに伝送するような構成をとることもできる。
【００１１】
また、ピクチャにおいて、１つの輝度の符号化ツリーブロックと２つの色差の符号化ツ
リ ー ブ ロ ッ ク を 符 号 化 の 単 位 と し て 符 号 化 ツ リ ー ユ ニ ッ ト (Ｃ Ｔ Ｕ )と 定 義 す る 。 Ｃ Ｔ Ｕ は、１つの輝度の符号化ツリーブロックを単位とするものや、３つのカラープレーンの符号化ツリーブロックを単位とするものがある。ＣＴＵ（ＣＴＢ）のサイズはＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）で符号化（復号）される。
【００１２】＜タイルとブリック＞
タイル（Ｔｉｌｅ）は、ピクチャ内の複数のＣＴＵで構成された矩形領域である。ブリック（Ｂｒｉｃｋ）は、タイル内の１以上のＣＴＵ行で構成された矩形領域である。１つのＣＴＵは複数のタイルに属することはなく、１つのタイルのみに属する。１つのＣＴＵ
は複数のブリックに属することはなく、１つのブリックのみに属する。１つのブリックは複数のタイルに属することはなく、１つのタイルのみに属する。タイルへのＣＴＵの割り

10

20

30

40

50

(4)

JP 2021-48569 A 2021.3.25

当てと、ブリックへのＣＴＵ行の割り当ては、それぞれピクチャ単位で設定される。そして、タイルへのＣＴＵの割り当て情報と、ブリックへのＣＴＵ行の割り当て情報はそれぞれＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）で符号化（復号）される。以上のように、ピクチャは領域が重複しない複数のタイルに分割される。また、タイルは領域が重複しない複数のブリックに分割される。
【００１３】
符号化ストリームのパラメータを設定するＳＰＳや符号化ピクチャのパラメータを設定するＰＰＳのパラメータ情報とスライスヘッダがあれば、各符号化ブリックは単独で復号が可能である。そのため、ＳＰＳ、ＰＰＳ、スライスヘッダがあれば、複数の符号化ブリックを同時に並列に符号化（復号）することができる。符号化ブリックはブリックを符号化して生成されるブリックの符号列であるとする。以下、符号化ピクチャはピクチャを符号化して生成されるピクチャの符号列とし、符号化スライスはスライスを符号化して生成されるスライスの符号列とする。
【００１４】
図３はタイルへのＣＴＵの割り当て情報とブリックへのＣＴＵ行の割り当て情報に関する Ｐ Ｐ Ｓ の シ ン タ ッ ク ス を 説 明 す る 図 で あ る 。 brick̲splitting̲present̲flagは タ イ ル を
２ 以 上 の ブ リ ッ ク に 分 割 す る か 否 か を 示 す フ ラ グ で あ る 。 brick̲splitting̲present̲flag
が １ で あ れ ば 、 １ 以 上 の タ イ ル が ２ 以 上 の ブ リ ッ ク に 分 割 さ れ る 。 brick̲splitting̲present̲flagが ０ で あ れ ば 、 全 て の タ イ ル は ２ 以 上 の ブ リ ッ ク に 分 割 さ れ な い 。 brick̲splitt
ing̲present̲flagが １ で あ れ ば 、 タ イ ル 毎 に ブ リ ッ ク へ の 分 割 情 報 を 符 号 化 （ 復 号 ） す る。
【００１５】
タイルがブリックで分割されなかった場合、１タイルは１ブリックとして扱われる。タイルインデックスはピクチャ内のタイルに対してラスタスキャン順に割り当てられるインデックスである。ブリックインデックスはピクチャ内のブリックに割り当てられるインデックスである。ピクチャが複数のタイルに分割される場合、ブリックインデックスはピク
チャ内のタイルに対して、タイルインデックス順のタイル内の各ブリックにラスタスキャ
ン順に割り当てられるインデックスである。ブリックインデックスは０以上でピクチャ内の ブ リ ッ ク 数 （ NumBricksInPic） 未 満 の 整 数 値 で あ る 。 ラ ス タ ス キ ャ ン 順 と は 最 初 に 水 平
方向にスキャンし、その後垂直方向に移動して水平方向にスキャンする順序である。図４はブリックインデックスの例を説明する図である。図４（ａ）はピクチャ内のブリック数８、図４（ｂ）はピクチャ内のブリック数５の一例をそれぞれ示す。
【００１６】＜ＣＴＵの処理順序＞
ＣＴＵはブリック内でラスタスキャン順に処理され、ブリックはタイル内でラスタスキ
ャン順に処理される。
【００１７】＜スライスとスライスモード＞
スライスは、ブリックを整数個まとめた領域となる。スライスにはブロックをまとめる
モードとして、矩形スライスモードとラスタスキャンスライスモードがある。図５はＰＰ
Ｓの一部のシンタックスを説明する図である。図５を用いて矩形スライスモードとラスタ
スキャンスライスモードを説明する。スライスが２以上のブリックを含む可能性があること を 示 す フ ラ グ （ single̲brick̲per̲slice̲flag） が 、 ス ラ イ ス が ２ 以 上 の ブ リ ッ ク を 含
む 可 能 性 が あ る こ と を 示 す 場 合 （ single̲brick̲per̲slice̲flagが ０ ） 、 rect̲slice̲flag
が 符 号 化 （ 復 号 ） さ れ る 。 ス ラ イ ス が １ ブ リ ッ ク し か 含 ま な い 場 合 （ single̲brick̲per̲s
lice̲flagが １ ） 、 rect̲slice̲flagは ０ と な る 。 rect̲slice̲flagが １ で あ れ ば 矩 形 ス ラ
イ ス モ ー ド 、 rect̲slice̲flagが ０ で あ れ ば ラ ス タ ス キ ャ ン ス ラ イ ス モ ー ド と な る 。
【００１８】＜矩形スライスモード＞
矩形スライスモードでは、矩形領域内のブリックをまとめてスライスとする。矩形スラ

10

20

30

40

50

(5)

JP 2021-48569 A 2021.3.25

イスモードでは、ブリックの処理の順序がラスタスキャン順ではないため、スライスとブリックの対応関係が一意に決まらない。そこで、スライスとブリックの対応関係を示す情報をＰＰＳで符号化（復号）することで、スライスとブリックの対応関係を取得することができる。
【００１９】
ピ ク チ ャ 内 の ス ラ イ ス 数 か ら １ を 減 算 し た 値 で あ る num̲slices̲in̲pic̲minus1が Ｐ Ｐ Ｓ
内で符号化（復号）されて、ピクチャ内のスライス数を取得する。ピクチャ内の各スライ
ス に 含 ま れ る 右 下 の ブ リ ッ ク イ ン デ ッ ク ス を 示 す bottom̲right̲brick̲idx̲deltaと brick̲idx̲delta̲sign̲flagが Ｐ Ｐ Ｓ 内 で 符 号 化 （ 復 号 ） さ れ て 、 ピ ク チ ャ 内 の ス ラ イ ス と ブ リックの対応関係が導出される。
【００２０】
以上のように、矩形スライスモードでは、スライスとブリックの対応関係を示す情報を
ＰＰＳで符号化（復号）することで、ブリックの処理の順序に自由度を与えることができる。例えば、図４（ｂ）のように、ブリック０とブリック１が属するタイルに大画面をその他のブリックに小画面を割り当てることで、大画面の処理順序を優先することができる。
【００２１】＜ラスタスキャンスライスモード＞
ラスタスキャンスライスモードは、ラスタスキャン順にブリックをスライスとする。そのため、ラスタスキャンスライスモードでは、ブリックとスライスの位置の対応関係をＰ
ＰＳで符号化（復号）しなくてもよい。ラスタスキャンスライスモードでは、スライスとブリックの対応関係を示す情報をＰＰＳで符号化（復号）をしないことで、スライスとブリックの対応関係に自由度を与えることができる。例えば、図４（ｂ）で、スライスをブリック０のみで構成するのかブリック０とブリック１の２つで構成するのか等、スライスに含まれるブリックの数をエンコード中に調整することができる。これにより、スライスの符号量を調整することが可能になる。
【００２２】＜スライスＩＤ＞
スライスＩＤはスライスを一意に識別するためのＩＤである。ラスタスキャンスライス
モードの場合、ラスタスキャン順に並んだｉ番目のスライス［ｉ］のスライスＩＤはｉであ り 、 ス ラ イ ス Ｉ Ｄ は ０ 以 上 で num̲slices̲in̲pic̲minus1以 下 の 値 と な る 。 矩 形 ス ラ イ ス
モードの場合、スライスＩＤはＰＰＳ内で任意の値として明示的に符号化（復号）することもできる。矩形スライスモードの場合でスライスＩＤはＰＰＳ内で明示的に符号化（復号）しなければ、ラスタスキャン順に並んだｉ番目のスライス［ｉ］のスライスＩＤはｉ
で あ り 、 ス ラ イ ス Ｉ Ｄ は ０ 以 上 で num̲slices̲in̲pic̲minus1以 下 の 値 と な る 。
【００２３】＜ループフィルタの境界制御フラグ＞
こ こ で 、 ル ー プ フ ィ ル タ の 境 界 制 御 フ ラ グ を 図 ５ の シ ン タ ッ ク ス を 用 い て 説 明 す る 。 lo
op̲filter̲across̲bricks̲enabled̲flagは ル ー プ フ ィ ル タ を ブ リ ッ ク 境 界 に 適 用 す る か 否かを示すフラグであり、１であればループフィルタを適用し、０であればループフィルタ
を 適 用 し な い 。 loop̲filter̲across̲slices̲enabled̲flagは ル ー プ フ ィ ル タ を ス ラ イ ス 境界に適用するか否かを示すフラグであり、１であればループフィルタを適用し、０であればループフィルタを適用しない。ブリック境界とスライス境界が重なる場合は、両方のフラグが１であればループフィルタを適用し、いずれかのフラグまたは両方のフラグが０であればループフィルタを適用しない。
【００２４】＜スライスヘッダ＞
次に、スライスヘッダについて説明する。図６はスライスヘッダの一部のシンタックスを説明する図である。矩形スライスモードであるか、又は、ピクチャ内のブリック数である NumBricksInPicが １ よ り 大 き い 場 合 、 ス ラ イ ス ア ド レ ス （ slice̲address） が 符 号 化 （

10

20

30

40

50

(6)

JP 2021-48569 A 2021.3.25

復 号 ） さ れ る 。 ま た 、 ラ ス タ ス キ ャ ン ス ラ イ ス モ ー ド で あ り 、 且 つ 、 single̲brick̲per̲s
lice̲flagが ０ で あ れ ば 、 ス ラ イ ス に 含 ま れ る ス ラ イ ス 数 を 示 す num̲bricks̲in̲slice̲minus1が 符 号 化 （ 復 号 ） さ れ る 。
【００２５】
ラスタスキャンスライスモードの場合、スライスアドレスはスライスに含まれる最初のブリックＩＤを示す。ブリックＩＤはピクチャ内の各ブリックに含まれるＣＴＵに対して割り当てられるＩＤである。同じブリックに属するＣＴＵは同一のブリックＩＤを有する。 ブ リ ッ ク Ｉ Ｄ は ０ 以 上 で ピ ク チ ャ 内 の ブ リ ッ ク 数 （ NumBricksInPic） 未 満 の 整 数 値 で ある。ラスタスキャンスライスモードの場合、ピクチャ内のブリックの位置はＰＰＳで定義されているため、スライスアドレスはスライスに含まれる最初のブリックＩＤにすること
で 、 ピ ク チ ャ 内 に お け る ス ラ イ ス の 開 始 位 置 を 最 も 早 く 確 定 す る こ と が で き る 。 slice̲addressの ビ ッ ト 長 は Ceil(Log2(NumBricksInPic))と し 、 slice̲addressは 0以 上 で （ NumBric
ksInPic-1） 以 下 の 値 と な る 。 こ こ で 、 ラ ス タ ス キ ャ ン ス ラ イ ス モ ー ド の 場 合 、 ス ラ イ スとブリックの対応関係を示す情報がＰＰＳで符号化（復号）されていないため、スライス
アドレスをスライスに含まれる最初のブリックＩＤとする。ラスタスキャンスライスモー
ドの場合、ブリックをラスタスキャン順に連続してスライスに含めるため、最初のブリックＩＤとスライスに含まれるスライス数がわかれば、スライスとブリックの関係を一意に定 め る こ と が で き る 。 な お 、 Ceil(x)は x 以 上 の 最 小 の 整 数 値 と す る 関 数 で あ る 。
【００２６】
矩形スライスモードの場合、スライスとブリックの対応関係を示す情報がＰＰＳで符号化（復号）されている。そのため、スライスＩＤからブリックＩＤを導出することができ、スライスアドレスはスライスＩＤを示すものとする。ここでは、矩形スライスモードの場合はスライスアドレスをスライスＩＤにするとしたが、ラスタスキャンスライスモードと同様にスライスに含まれる最初のブリックＩＤとしてもよい。矩形スライスモードの場
合にもラスタスキャンスライスモードと同様にスライスアドレスをスライスに含まれる最初のブリックＩＤとすることで、余計な回路やモジュールなどが不要になり、エンコーダ
や デ コ ー ダ の メ モ リ 量 や 回 路 規 模 を 削 減 で き る 。 ま た 、 Ｐ Ｐ Ｓ の signalled̲slice̲id̲fla
gが ０ で あ れ ば 、 ス ラ イ ス Ｉ Ｄ の 管 理 が 不 要 に な り 、 エ ン コ ー ダ や デ コ ー ダ の メ モ リ 量 を更に削減できる。
【００２７】＜エントリポイント＞
次に、図６を用いてスライスデータ中の符号化ブリックの開始バイト位置について説明する。図６で示されるように、スライスデータ中の符号化ブリックの開始バイト位置はエン ト リ ポ イ ン ト （ entry̲point̲offset̲minus1[i]） と し て 、 ス ラ イ ス ヘ ッ ダ に 符 号 化 （ 復号）されるため、デコーダでは、スライスヘッダを復号することで符号化ブリックの開始
バ イ ト 位 置 を 取 得 す る こ と が で き る 。 こ こ で 、 NumEntryPointsは ス ラ イ ス 内 の ブ リ ッ ク 数
から１を減算した値である。スライスデータ内の最初の符号化ブリックの開始バイト位置は０で自明であるから符号化（復号）されず、スライスデータ内の２番目以降の符号化ブ
リ ッ ク の 開 始 バ イ ト 位 置 が 符 号 化 （ 復 号 ） さ れ る 。 entry̲point̲offset̲present̲flagはスライスヘッダにエントリポイントを符号化（復号）するか否かを判定するフラグである。 entry̲point̲offset̲present̲flagが １ で あ れ ば エ ン ト リ ポ イ ン ト を 符 号 化 （ 復 号 ） し、 entry̲point̲offset̲present̲flagが ０ で あ れ ば エ ン ト リ ポ イ ン ト を 符 号 化 （ 復 号 ） しな い 。 offset̲len̲minus1は entry̲point̲offset̲minus1の ビ ッ ト 長 を 示 す 値 で あ る 。 な お、 entry̲point̲offset̲present̲flagは 図 ５ で 示 す よ う に single̲tile̲in̲pic̲flagが ０ ま
た は entropy̲coding̲sync̲enabled̲flagが １ で あ る 時 に Ｐ Ｐ Ｓ で 符 号 化 （ 復 号 ） さ れ る 。
こ こ で 、 single̲tile̲in̲pic̲flagは ピ ク チ ャ が １ タ イ ル で あ る か 否 か を 示 す フ ラ グ で ある 。 single̲tile̲in̲pic̲flagが １ で あ れ ば 、 ピ ク チ ャ は １ タ イ ル で 構 成 さ れ 、 single̲ti
le̲in̲pic̲flagが ０ で あ れ ば 、 ピ ク チ ャ は 複 数 タ イ ル で 構 成 さ れ る 。 ピ ク チ ャ を １ タ イ ル
で構成する場合、タイルを複数のブリックで構成することを許容せず、１タイルは１ブリ
ッ ク で 構 成 さ れ る 。 entropy̲coding̲sync̲enabled̲flagは ブ リ ッ ク 内 の Ｃ Ｔ Ｕ 列 の 並 列 処

10

20

30

40

50

(7)

JP 2021-48569 A 2021.3.25

理 を 許 可 す る か 否 か を 示 す フ ラ グ で あ る 。 entropy̲coding̲sync̲enabled̲flagが １ で あ れば 、 ブ リ ッ ク 内 の Ｃ Ｔ Ｕ 列 の 並 列 処 理 を 許 可 し 、 entropy̲coding̲sync̲enabled̲flagが ０であれば、ブリック内の並列処理を許可しない。
【００２８】＜ＳＥＩ＞
Ｓ Ｅ Ｉ （ Supplemental enhancement information） は 、 復 号 画 像 の 画 素 を 生 成 す る た めのプロセスには不要な情報であるが、デコーダの動作に必要な情報である。例えば、ＳＥＩ に は 、 仮 想 参 照 デ コ ー ダ で あ る Ｈ Ｒ Ｄ （ Hypothetical Reference Decoder） を 正 確 に 動
作 さ せ る た め の 情 報 で あ る Buffering Period SEIや 復 号 画 像 の 出 力 タ イ ミ ン グ を 定 め る Pi
cture Timing SEIが 含 ま れ る 。 Ｓ Ｅ Ｉ は Ｓ Ｅ Ｉ メ ッ セ ー ジ と し て 符 号 化 （ 復 号 ） さ れ る 。
【００２９】＜ＮＡＬユニット＞
ＮＡＬユニットはヘッダとペイロードで構成される。ヘッダでペイロードタイプが符号化（復号）されて、ペイロードタイプで示されるタイプの符号列がペイロードに含まれる。ペイロードタイプには、ＳＰＳ、ＰＰＳ、符号化スライス、ＳＥＩメッセージ等がある。例えば、ペイロードタイプがスライスを含むことを示すペイロードタイプであれば、スライスの符号列がペイロードに格納され、ペイロードタイプがＳＥＩメッセージを含むことを示すペイロードタイプであれば、ＳＥＩメッセージの符号列がペイロードに格納される。
【００３０】＜符号化ストリーム＞
ＶＶＣやＨＥＶＣでは、ＳＰＳ、ＰＰＳ、符号化スライス、ＳＥＩメッセージ等がＮＡ
Ｌユニットに格納されて符号化ストリームとなる。符号化スライスは、スライスヘッダとスライスデータで構成される。スライスデータに符号化ツリーブロックが符号化される。
符号化ストリームには１以上の符号化ピクチャが含まれる。
【００３１】＜ＨＲＤ＞
ＨＲＤは符号化ストリームが符号化規格に適合していることを検査するための仮想参照
デコーダである。ＨＲＤは符号化ストリームを復号するためのＣＰＢ（符号化ピクチャバッファ）と復号したピクチャを出力するためのＤＰＢ（復号ピクチャバッファ）が定義されている。ＨＲＤでは、符号化ストリームに符号化されたＣＰＢとＤＰＢの入出力タイミ
ングに基づいて符号化ストリームを復号した場合にＣＰＢやＤＰＢが破綻しないことを検査する。ＣＰＢとＤＰＢが破綻しなければ、符号化ストリームは符号化規格に適合している。ＨＲＤのタイプ１では符号化ストリームの符号化スライスの規格適合が検査される。
ＨＲＤのタイプ１では、ＳＰＳ、ＰＰＳ、ＳＥＩメッセージが含まれるＮＡＬは検査対象外である。ＣＰＢとＤＰＢの入出力タイミングはＳＥＩメッセージで符号化（復号）される。
【００３２】（第１の実施の形態）＜第１の実施の形態の構成＞
本発明の第１の実施の形態について説明する。最初に、本実施の形態の構成を説明する。図１は第１の実施の形態の構成を説明する図である。本実施の形態は、データサーバ２
０００と画像解析装置３０００で構成される。データサーバ２０００は、記憶部２００１、変換部２００２、及び送信部２００３で構成される。データサーバ２０００は、符号化
ストリームを変換する機能を有するため、画像変換装置とも呼ぶ。画像解析装置３０００
は、受信部３００１、画像復号部３００２及び画像解析部３００３で構成される。
【００３３】
記憶部２００１には符号化ストリームが記憶されている。画像復号部３００２は記憶部
２００１に記憶された符号化ストリームを復号可能である。画像復号部３００２は並列に処理できるブリックの最大数（以降、最大ブリック並列処理数）は８とする。

10

20

30

40

50

(8)

JP 2021-48569 A 2021.3.25【００３４】＜第１の実施の形態の動作＞
次に、本実施の形態の動作を説明する。図１に基づいて各構成要素の動作を説明する。
まず、データサーバ２０００と画像解析装置３０００の動作について説明する。
【００３５】
データサーバ２０００は、画像解析装置３０００の要求に基づいて、記憶部２００１か
ら符号化ストリームと画像復号部３００２の特性パラメータを読み出して変換部２００２に入力する。特性パラメータは画像復号部３００２がエントリポイントＳＥＩに対応しているか否かの情報であり、特性パラメータは予め記憶部２００１に保持されているものとする。変換部２００２は、入力された符号化ストリームを変換し、変換した符号化ストリームを送信部２００３に入力する。変換部２００２の詳細な動作は後述する。送信部２０
０３は、入力された符号化ストリームを画像解析装置３０００に送信する。
【００３６】
受信部３００１は送信部２００３から入力された符号化ストリームを画像復号部３００２に入力する。画像復号部３００２は入力された符号化ストリームを最大ブリック並列処
理数で並列に復号して復号画像を出力し、画像解析部３００３に入力する。ここで、画像
復号部３００２は入力された符号化ストリームに復号画像を出力するフレームレートが設定されている場合でもフレームレートにとらわれることなく復号画像を出力する。画像解析部３００３は入力された復号画像を解析して解析結果を出力する。例えば、画像解析部
３００３は入力された復号画像について、画質の計測、顔や人物等の認識等を行う。
【００３７】
以上のように、画像解析部３００３で復号画像を解析するような場合、符号化ストリー
ムのフレームレートにとらわれることなく画像復号部３００２から復号画像を出力することで画像解析部３００３から出力される解析結果を短時間で取得することができる。
【００３８】＜符号化ストリーム＞
記憶部２００１に記憶されている符号化ストリームについて説明する。図２は符号化ス
トリーム中のピクチャがブリックに分割されている例を説明する図である。ここでは説明を簡単にするためにピクチャをタイル分割し、タイルはブリックに分割しないものとする。つまり、１タイルが１ブリックとなる。図２（ａ）は１ＣＴＵ行毎に画面を水平方向に
Ｂ０（Ｔ０）からＢ７（Ｔ７）の８つのブリック（タイル）に分割した例である。図２（ｂ）は１ＣＴＵ列毎に画面を垂直方向にＢ０（Ｔ０）からＢ７（Ｔ７）の８つのブリック（タイル）に分割した例である。ブリックＢ０からブリックＢ７にはそれぞれブリックＩ
Ｄ と し て ０ か ら ７ が 割 り 当 て ら れ る 。 こ こ で は 、 ピ ク チ ャ 内 の ブ リ ッ ク 数 NumBricksInPic
は８である。
【００３９】
ここでは、１ピクチャは１スライスで構成されるとする。従って、スライス０にＢ０から Ｂ ７ の ８ つ の ブ リ ッ ク が 含 ま れ る 。 そ の た め 、 Ｐ Ｐ Ｓ の single̲brick̲per̲slice̲flagは０である。符号化ストリームはラスタスキャンスライスモードでも矩形スライスモードでもよい。ただし、スライスヘッダにエントリポイントを符号化するか否かのフラグである entry̲point̲offset̲present̲flagは ０ と す る 。
【００４０】
こ こ で 、 entry̲point̲offset̲present̲flagを ０ に す る 効 果 を 説 明 す る 。 entry̲point̲offset̲present̲flagを １ に す る と 、 ス ラ イ ス ヘ ッ ダ に ブ リ ッ ク の 符 号 化 し た 結 果 で 得 ら れるエントリポイントを符号化する必要があり、スライス内のブリックを並列に符号化して符号化ストリームを生成したとしても、ブリックのサイズを示すバイト数が確定するまで符号化ストリームを送信できない。そのため、符号化ストリームをスライス単位で送信する 必 要 が あ り 、 ス ラ イ ス 単 位 で し か 低 遅 延 化 で き な い 。 一 方 、 entry̲point̲offset̲present̲flagを ０ に す る と 、 ス ラ イ ス ヘ ッ ダ に ブ リ ッ ク の エ ン ト リ ポ イ ン ト を 符 号 化 す る 必 要はなく、符号化ストリームをブリック単位で送信でき、ブリック単位で低遅延化できる。

10

20

30

40

50

(9)

JP 2021-48569 A 2021.3.25【００４１】＜変換部の詳細な動作＞
続いて、変換部２００２の詳細な動作を説明する。図７は変換部の動作を説明するフローチャートである。図７は符号化ストリームに含まれる全ての符号化ピクチャに対して実行される。
【００４２】
ループフィルタを適用するか否かがスライス境界とブリック境界で同一でないかを検査
す る （ Ｓ １ ０ ０ ） 。 具 体 的 に は 、 loop̲filter̲across̲bricks̲enabled̲flagと loop̲filter̲across̲slices̲enabled̲flagの 値 が 同 一 で な い か 検 査 す る 。 ル ー プ フ ィ ル タ を 適 用 す るか否かがスライス境界とブリック境界で同一でない場合（Ｓ１００のＹＥＳ）、エントリ
ポイントＳＥＩ対応デコーダであるか検査する（Ｓ１０１）。ループフィルタを適用するか否かがスライス境界とブリック境界で同一である場合（Ｓ１００のＮＯ）、スライスを再構成する（Ｓ１０４）。スライスを再構成する詳細な動作は後述する。
【００４３】
エントリポイントＳＥＩ対応デコーダであれば（Ｓ１０１のＹＥＳ）、エントリポイン
トをエントリポイントＳＥＩに追加する（Ｓ１０２）。エントリポイントをエントリポイ
ントＳＥＩに追加する詳細な動作は後述する。エントリポイントＳＥＩ対応デコーダでなければ（Ｓ１０１のＮＯ）、エントリポイントをスライスヘッダに追加する（Ｓ１０３）。
【００４４】
ここで、ループフィルタを適用するか否かがスライス境界とブリック境界で同一でない
場合、各スライスに含まれるブリックを変更すると、復号画像が変わってしまうため、再符号化が必要となる。そのため、ループフィルタを適用するか否かがスライス境界とブリック境界で同一でない場合、各スライスに含まれるブリックの構成を変更しないように符号化ストリームを変換する。
【００４５】
一方、ループフィルタを適用するか否かがスライス境界とブリック境界で同一である場
合、各スライスに含まれるブリックを変更しても復号画像が変わらないため、再符号化が不要である。そのため、ループフィルタを適用するか否かがスライス境界とブリック境界
で同一である場合、ブリックとスライスの構成を変更するように符号化ストリームを変換する。
【００４６】
こ こ で は 、 ス ラ イ ス の 並 列 処 理 に 適 し た デ コ ー ダ を 考 慮 し て loop̲filter̲across̲bricks̲enabled̲flagと loop̲filter̲across̲slices̲enabled̲flagの 値 が 同 一 で な い か 検 査 す る（ Ｓ １ ０ ０ ） ス テ ッ プ を 設 置 し た 。 一 般 的 な デ コ ー ダ を 対 象 と す る 場 合 、 loop̲filter̲across̲bricks̲enabled̲flagと loop̲filter̲across̲slices̲enabled̲flagの 値 が 同 一 で な いか検査する（Ｓ１００）処理を行わず、エントリポイントＳＥＩ対応デコーダであるか検査する（Ｓ１０１）処理から開始するのが良い。
【００４７】＜エントリポイントのスライスヘッダへの追加＞
ここで、エントリポイントをスライスヘッダに追加する動作について説明する。エント
リポイントのスライスヘッダへの追加は、図６のシンタックスに従って、ブリックＢ１からブリックＢ７のエントリポイントの情報が符号化ストリームに符号化（復号）される。
【００４８】＜スライスの再構成＞
続いて、スライスを再構成する詳細な動作について説明する。記憶部２００１に記憶されている符号化ストリームは１つのスライスが８つのブリックを含んでいた。これを１つの ス ラ イ ス が １ つ の ブ リ ッ ク を 含 む よ う に 再 構 成 す る 。 な お 、 Ｐ Ｐ Ｓ の single̲brick̲per̲slice̲flagを １ に す る 。
【００４９】

10

20

30

40

50

(10)

JP 2021-48569 A 2021.3.25＜エントリポイントのエントリポイントＳＥＩへの追加＞
続いて、エントリポイントをエントリポイントＳＥＩに追加する詳細な動作について説明する。エントリポイントのエントリポイントＳＥＩへの追加は、図８、図９、図１０のシンタックスに従って、ブリックＢ１からブリックＢ７のエントリポイントの情報が符号化（復号）される。
【００５０】
図 ８ は Ｓ Ｅ Ｉ メ ッ セ ー ジ の シ ン タ ッ ク ス を 示 す 図 で あ る 。 ペ イ ロ ー ド タ イ プ （ payloadType） が payload̲type̲byteか ら 導 出 さ れ る 。 ペ イ ロ ー ド タ イ プ が １ ２ ８ で あ る 場 合 、 エ ン
ト リ ポ イ ン ト Ｓ Ｅ Ｉ メ ッ セ ー ジ が Ｓ Ｅ Ｉ ペ イ ロ ー ド （ sei̲payload） に 符 号 化 （ 復 号 ） される。エントリポイントＳＥＩメッセージはエントリポイントＳＥＩと同意である。
【００５１】
図９はＳＥＩペイロードのシンタックスを示す図である。ＳＥＩペイロードにはエント
リ ポ イ ン ト Ｓ Ｅ Ｉ メ ッ セ ー ジ の ほ か 、 Buffering Period Ｓ Ｅ Ｉ メ ッ セ ー ジ や Picture Tim
ing、 Picture Timing Ｓ Ｅ Ｉ メ ッ セ ー ジ 等 の Ｓ Ｅ Ｉ メ ッ セ ー ジ が 符 号 化 （ 復 号 ） さ れ る 。
ＳＥＩメッセージを格納するＮＡＬユニットタイプは２つあり、符号化スライスよりも前に符号化（復号）するＰＲＥＦＩＸ＿ＳＥＩ＿ＮＵＴと、符号化スライスよりも後に符号化（復号）するＳＵＦＦＩＸ＿ＳＥＩ＿ＮＵＴである。
【００５２】
図１０はエントリポイントＳＥＩメッセージのシンタックスを説明する図である。図１０ を 用 い て エ ン ト リ ポ イ ン ト Ｓ Ｅ Ｉ メ ッ セ ー ジ の シ ン タ ッ ク ス を 説 明 す る 。 NumSlicesInP
icは ピ ク チ ャ 内 の ス ラ イ ス 数 で あ り 、 矩 形 ス ラ イ ス モ ー ド の 場 合 は Ｐ Ｐ Ｓ で 取 得 で き 、 ラ
スタスキャンスライスモードの場合はスライス数をカウントすることで取得できる。Ｓ番
目 の ス ラ イ ス に 関 す る offset̲len̲minus1[s]と NumEntryPoints個 の entry̲point̲offset̲m
inus1が 符 号 化 （ 復 号 ） さ れ る 。 offset̲len̲minus1と entry̲point̲offset̲minus1は 前 述と同義である。
【００５３】＜変換後の符号化ストリーム＞
図１１は変換部２００２が出力する符号化ストリームを説明する図である。図１１（ｉ）は、入力された符号化ストリームの一例である。ＳＰＳ、ＰＰＳ、符号化ピクチャ０を構成する符号化スライス、符号化ピクチャ１を構成する符号化スライス０、・・・、符号化ピクチャＮを構成する符号化スライスの順で符号化されている。
【００５４】
図１１（ａ）は、エントリポイントをスライスヘッダに追加した符号化ストリームの一例である。以降、図１１（ａ）について説明する。ＳＰＳ、ＰＰＳ、符号化スライス０のそれぞれのＮＡＬユニットが符号化ストリームとなる。符号化スライス０は、エントリポ
イ ン ト が 追 加 さ れ た ス ラ イ ス ヘ ッ ダ （ 図 １ １ （ ａ ） の Modified S-Header） と 符 号 化 ブ リ
ッ ク ０ （ 図 １ １ （ ａ ） の Brick 0） か ら 符 号 化 ブ リ ッ ク ７ （ 図 １ １ （ ａ ） の Brick 7） の ８
つの符号化ブリックを含むスライスデータで構成される。ここで、エントリポイントが追加されたスライスヘッダは入力された符号化ストリームのスライスヘッダとは異なる。なお、符号化ブリック０から符号化ブリック７を復号するにはエントリポイントが追加されたスライスヘッダが必要になる。
【００５５】
図１１（ｂ）は、スライスを再構成した符号化ストリームの一例である。以降、図１１（ｂ）について説明する。ＳＰＳ、ＰＰＳ、符号化スライス０から符号化スライス７のそれぞれのＮＡＬユニットが符号化ストリームとなる。符号化スライスｉ（ｉ＝０、１、・・ ・ ７ ） は 各 々 ス ラ イ ス ヘ ッ ダ ｉ （ 図 １ １ （ ｂ ） の New S-Header i） と 符 号 化 ブ リ ッ ク ｉ（ 図 １ １ （ ｂ ） の Brick i） を 含 む ス ラ イ ス デ ー タ で 構 成 さ れ る 。 こ こ で 、 ス ラ イ ス ヘ ッ
ダｉは入力された符号化ストリームのスライスヘッダとは異なる。なお、符号化ブリックｉを復号するにはスライスヘッダｉが必要になる。
【００５６】

10

20

30

40

50

(11)

JP 2021-48569 A 2021.3.25

このように、１つの符号化スライスを１つの符号化ブリックを含む符号化ピクチャに変
換 し 、 Ｐ Ｐ Ｓ の single̲brick̲per̲slice̲flagを １ と す る こ と で 、 符 号 化 ス ラ イ ス 単 位 での並列化を容易に実現できる。この場合、エントリポイントは不要であり、ＮＡＬユニッ
ト単位でアクセスできればよい。
【００５７】
ここでは、１つの符号化スライスが１つのブリックを含むように符号化ピクチャを変換しているが、画像復号部３００２の最大ブリック並列処理数に応じてスライスに含まれるブリックを再構成すればよく、これに限定されない。１つの符号化スライスが複数のブリックを含むように符号化ピクチャを変換してもよい。例えば、画像復号部３００２の最大ブリック並列処理数が４である場合、１つの符号化スライスが２つのブリックを含むように符号化ピクチャを変換する。
【００５８】
図１１（ｃ）は、エントリポイントをエントリポイントＳＥＩに追加した符号化ストリームの一例である。以降、図１１（ｃ）について説明する。ＳＰＳ、ＰＰＳ、符号化スラ
イス０、ＳＥＩのそれぞれのＮＡＬユニットが符号化ストリームとなる。符号化スライス
０ は 、 ス ラ イ ス ヘ ッ ダ （ 図 １ １ （ ｃ ） の S-Header） と 符 号 化 ブ リ ッ ク ０ （ 図 １ １ （ ｃ ） のBrick 0） か ら 符 号 化 ブ リ ッ ク ７ （ 図 １ １ （ ｃ ） の Brick 7） の ８ つ の 符 号 化 ブ リ ッ ク を 含
むスライスデータで構成される。ここで、スライスヘッダは入力された符号化ストリームのスライスヘッダと同一である。なお、符号化ブリック０から符号化ブリック７を復号す
るにはスライスヘッダが必要になる。
【００５９】
エントリポイントをスライスヘッダに追加した符号化ストリームの変換後の符号化スト
リームの大きさは、その他の方法に比べて最小になる。ただし、スライスヘッダをビット精度で再符号化する必要があり、符号化スライスの大きさが変わる。
【００６０】
符号化スライスを再構成した符号化ストリームは、８つの符号化スライスで構成されているため、変換後の符号化ストリームの大きさがその他の方法に比べて大きくなるが、エントリポイントは不要になるため符号化ストリームの構造はシンプルになる。そのため、符号化ブリック単位の並列化に対応していないが、符号化スライス単位の並列化に対応しているデコーダでも並列に復号できる。
【００６１】
エントリポイントをエントリポイントＳＥＩに追加した符号化ストリームは、入力された符号化ストリームは変更することなく、符号化ピクチャ内の最後の符号化スライスの後にエントリポイントＳＥＩを挿入するだけでよく、変換後の符号化ストリームを用意に生成することができる。このように、エントリポイントＳＥＩを符号化スライスの後で符号化（復号）することで、ラスタスキャンスライスモードでスライスとブリックの関係に自由度を与えながら、符号化スライス内のエントリポイントをデコーダに通知することができる。また、符号化ストリームを変更しないため、ＨＲＤのタイプ１の符号化ストリーム
コンフォーマンスに影響を与えない。そのため、ＨＲＤの適合性を検証しながら符号化ス
トリームを変換する必要がなく、確実且つ容易に符号化ストリームを変換することができる。
【００６２】＜変形例＞
実施の形態１の変形例について説明する。本変形例は、本実施の形態とはＰＰＳのシンタックスが異なる。図１２は実施の形態１の変形例のＰＰＳの一部のシンタックスを説明す る 図 で あ る 。 実 施 の 形 態 １ の 図 ５ と は entry̲point̲offset̲present̲flag を 符 号 化 （ 復号 ） す る 条 件 が 異 な る 。 図 １ ２ で 示 す よ う に 、 entry̲point̲offset̲present̲flagは ス ラ
イスが２以上のブリックを含む可能性があることを示すフラグが、スライスが２以上のブ
リ ッ ク を 含 む 可 能 性 が あ る こ と を 示 す 場 合 （ single̲brick̲per̲slice̲flagが ０ で あ る ）
ま た は entropy̲coding̲sync̲enabled̲flagが １ で あ る 場 合 に Ｐ Ｐ Ｓ で 符 号 化 （ 復 号 ） さ れ

10

20

30

40

50

(12)

JP 2021-48569 A 2021.3.25

る。
【００６３】
以 上 の よ う に 、 single̲brick̲per̲slice̲flagが ０ で あ る 場 合 に entry̲point̲offset̲present̲flagを 符 号 化 （ 復 号 ） す る こ と で 、 ピ ク チ ャ が 複 数 タ イ ル で 構 成 さ れ て い る 場 合 （single̲tile̲in̲pic̲flagが ０ ） で も ス ラ イ ス が １ つ の ブ リ ッ ク し か 含 ま な い 場 合 に は ent
ry̲point̲offset̲present̲flagを 符 号 化 す る 必 要 が な く な る 。 そ の た め 、 ス ラ イ ス が １ つの ブ リ ッ ク し か 含 ま な い 場 合 に entry̲point̲offset̲present̲flagが １ で あ る 状 態 を 解 消
し 、 符 号 量 を 削 減 す る こ と が で き る 。 ま た 、 entry̲point̲offset̲present̲flagが 存 在 しな い 場 合 に は 暗 示 的 に entry̲point̲offset̲present̲flagは ０ で あ る と す る こ と で 、 ス ラ
イスが１つのブリックしか含まない場合にはエントリポイントが存在しないことを定義す
る こ と が で き る 。 ま た 、 ス ラ イ ス ヘ ッ ダ で entry̲point̲offset̲present̲flagが ０ で あ ればスライスに含まれるブリック数を検査する必要がないため処理量が削減できる。
【００６４】（第２の実施の形態）＜第２の実施の形態の構成＞
本発明の第２の実施の形態について説明する。図１３は第２の実施の形態の構成を説明する図である。本発明の第２の実施の形態は、第１の実施の形態とはデータサーバ２００
０が画像符号化装置１０００であることが異なる。以降、第１の実施の形態とはとは異なる点のみ説明する。
【００６５】
画像復号部３００２は画像符号化部１００２で符号化された符号化ストリームを復号可能である。
【００６６】
画像符号化装置１０００は、画像解析装置３０００の要求に基づいて、記憶部１００１
から画像データと画像復号部３００２の特性パラメータを読み出して画像符号化部１００２に入力する。画像符号化部１００２は、入力された画像データを符号化し、符号化した符号化ストリームを送信部１００３に入力する。
【００６７】
画像符号化部１００２は変換部２００２とは出力する符号化ストリームを画像データから符号化することが異なる。画像符号化部１００２の出力する符号化ストリームの構造は変換部２００２の出力する符号化ストリームと同一である。
【００６８】
以 下 、 画 像 符 号 化 部 １ ０ ０ ２ の 動 作 を 説 明 す る 。 変 換 部 ２ ０ ０ ２ で は 、 loop̲filter̲across̲bricks̲enabled̲flagと loop̲filter̲across̲slices̲enabled̲flagは 符 号 化 ス ト リ ー
ム か ら 復 号 し て 取 得 す る が 、 画 像 符 号 化 部 １ ０ ０ ２ で は 、 loop̲filter̲across̲bricks̲enabled̲flagと loop̲filter̲across̲slices̲enabled̲flagは 画 像 符 号 化 部 １ ０ ０ ２ が 決 定 する。
【００６９】
ループフィルタを適用するか否かがスライス境界とブリック境界で同一でない場合、画像復号部３００２がエントリポイントＳＥＩ対応デコーダであるか検査する。ループフィ
ルタを適用するか否かがスライス境界とブリック境界で同一である場合、１つのスライスが１つのブリックを含むように符号化ピクチャを符号化する。
【００７０】
画像復号部３００２がエントリポイントＳＥＩ対応デコーダであれば、エントリポイン
トをエントリポイントＳＥＩとして符号化ピクチャを符号化する。画像復号部３００２がエントリポイントＳＥＩ対応デコーダでなければ、エントリポイントをスライスヘッダに符号化して符号化ピクチャを符号化する。
【００７１】
以上のように、画像符号化装置１０００は、画像解析装置３０００の要求に基づいた画像復号部３００２が復号可能な符号化ストリームを出力することができる。また、符号化

10

20

30

40

50

(13)

JP 2021-48569 A 2021.3.25

ストリームの構造が有する効果は実施の形態でも実施の形態１と同様である。
【００７２】
以上に述べた全ての実施の形態において、画像符号化装置が出力する符号化ストリーム
は、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデー
タフォーマットを有している。符号化ストリームは、ＨＤＤ、ＳＳＤ、フラッシュメモリ、光ディスク等のコンピュータ等で読み解き可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワークを通してサーバから提供しても良い。従って、この画像符号化装置に対応する画像復号装置は、提供手段によらず、この特定のデータフォーマ
ットの符号化ストリームを復号することができる。
【００７３】
画像符号化装置と画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いええられる場合、通信路の伝送形態に適したデータ形式に符号化ストリームを変換して伝送してもよい。その場合、画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して画像復号装置に供給する受信装置とが設けられる。 送信装置は、画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、ネットワークを介してパケット化された符号化データを送信す
る送信部とを含む。受信装置は、ネットワークを介してパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、画像復号装置に提供するパケット処理部とを含む。
【００７４】
画像符号化装置と画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、送信装置、受信装置に加え、さらに、送信装置が送信する符号化データを受信し、受信装置に供給する中継装置が設けられても良い。
中継装置は、送信装置が送信するパケット化された符号化データを受信する受信部と、受信された符号化データをバッファするメモリと、パケットされた符号化データとネットワークに送信する送信部とを含む。さらに、中継装置は、パケット化された符号化データをパケット処理して符号化ストリームを生成する受信パケット処理部と、符号化ストリームを蓄積する記録媒体と、符号化ストリームをパケット化する送信パケット処理部を含んでも良い。
【００７５】
また、画像復号装置で復号された画像を表示する表示部を構成に追加することで、表示装置としても良い。
【００７６】
また、撮像部を構成に追加し、撮像した画像を画像符号化装置に入力することで、撮像装置としても良い。
【００７７】
図１４に、本願の符号化復号装置のハードウェア構成の一例を示す。符号化復号装置は、本発明の実施の形態に係る画像符号化装置、および画像復号装置の構成を包含する。係る符号化復号装置９０００は、ＣＰＵ９００１、コーデックＩＣ９００２、Ｉ／Ｏインタ
ーフェース９００３、メモリ９００４、光学ディスクドライブ９００５、ネットワークイ
ンターフェース９００６、ビデオインターフェース９００９を有し、各部はバス９０１０により接続される。
【００７８】
画像符号化部９００７と画像復号部９００８は、典型的にはコーデックＩＣ９００２として実装される。本発明の実施の形態に係る画像符号化装置の画像符号化処理は、画像符
号化部９００７により実行され、本発明の実施の形態に係る画像復号装置における画像復号処理は、画像符号化部９００７により実行される。Ｉ／Ｏインターフェース９００３は

10

20

30

40

50

(14)

JP 2021-48569 A 2021.3.25、例えばＵＳＢインターフェースにより実現され、外部のキーボード９１０４、マウス９１０５等と接続する。ＣＰＵ９００１は、Ｉ／Ｏインターフェース９００３を介して入力したユーザー操作に基づき、ユーザーの所望する動作を実行するように符号化復号装置９０００を制御する。キーボード９１０４、マウス９１０５等によるユーザーの操作としては、符号化、復号のどちらの機能を実行するかの選択、符号化品質の設定、符号化ストリームの入出力先、画像の入出力先等がある。
【００７９】
ユーザーがディスク記録媒体９１００に記録された画像を再生する操作を所望する場合、光学ディスクドライブ９００５は、挿入されたディスク記録媒体９１００から符号化ビットストリームを読出し、読み出した符号化ストリームを、バス９０１０を介してコーデ
ックＩＣ９００２の画像復号部９００８に送る。画像復号部９００８は入力した符号化ビ
ットストリームに対して本発明の実施の形態に係る画像復号装置における画像復号処理を実行し、復号画像を、ビデオインターフェース９００９を介して外部のモニタ９１０３へ送る。また、符号化復号装置９０００は、ネットワークインターフェース９００６を有し、ネットワーク９１０１を介して、外部の配信サーバ９１０６や、携帯端末９１０７と接続可能である。ユーザーがディスク記録媒体９１００に記録された画像に変えて、配信サーバ９１０６や携帯端末９１０７に記録された画像を再生することを所望する場合は、ネットワークインターフェース９００６は、入力されたディスク記録媒体９１００から符号化ビットストリームを読出すことに変えて、ネットワーク９１０１より符号化ストリームを取得する。また、ユーザーがメモリ９００４に記録された画像を再生することを所望する場合は、メモリ９００４に記録された符号化ストリームに対して、本発明の実施の形態に係る画像復号装置における画像復号処理を実行する。
【００８０】
ユーザーが外部のカメラ９１０２で撮像した画像を符号化しメモリ９００４に記録する操作を所望する場合、ビデオインターフェース９００９は、カメラ９１０２から画像を入力し、バス９０１０を介し、コーデックＩＣ９００２の画像符号化部９００７に送る。画像符号化部９００７は、ビデオインターフェース９００９を介して入力した画像に対して本発明の実施の形態に係る画像符号化装置における画像符号化処理を実行し、符号化ビッ
トストリームを作成する。そして符号化ビットストリームを、バス９０１０を介し、メモ
リ９００４へ送る。ユーザーがメモリ９００４に変えて、ディスク記録媒体９１００に符号化ストリームを記録することを所望する場合は、光学ディスクドライブ９００５は、挿入されたディスク記録媒体９１００に対し符号化ストリームの書き出しを行う。
【００８１】
画像符号化装置を有し画像復号装置を有さないハードウェア構成や、画像復号装置を有し画像符号化装置を有さないハードウェア構成を実現することも可能である。そのようなハードウェア構成は、例えばコーデックＩＣ９００２が、画像符号化部９００７、または
画像復号部９００８にそれぞれ置き換わることにより実現される。
【００８２】
以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現しても良いのは勿論のこと、ＲＯＭ（リード・オンリー・メモリ）やフラッシュ
メモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによって実現しても良い。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ
等で読み取り可能な記録媒体に記録して提供しても良いし、有線あるいは無線のネットワ
ークを通してサーバから提供しても良いし、地上波あるいは衛星ディジタル放送のデータ放送として提供しても良い。
【００８３】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構
成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】

10

20

30

40

50

(15)

JP 2021-48569 A 2021.3.25【００８４】
１０００ 画像符号化装置、１００１ 記憶部、１００２ 画像符号化部、１００３ 送信部、２０００ 画像変換装置、２００１ 記憶部、２００２ 変換部、２００３ 送信部、３０００ 画像解析装置、３００１ 受信部、３００２ 画像復号部、３００３ 画
像解析部

【図１】

【図３】

30

【図２】

【図４】

(16)

【図５】

【図６】

【図７】

【図８】

【図１１】

【図１２】
【図９】

【図１０】

JP 2021-48569 A 2021.3.25

(17)

【図１３】

【図１４】

JP 2021-48569 A 2021.3.25

(18)JP 2021-48569 A 2021.3.25

̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶̶
フロントページの続き(72)発明者 福島茂

神奈川県横浜市神奈川区守屋町３丁目１２番地(72)発明者 熊倉徹

神奈川県横浜市神奈川区守屋町３丁目１２番地(72)発明者 倉重宏之

神奈川県横浜市神奈川区守屋町３丁目１２番地
Ｆターム(参考) 5C159 KK13

LC00

UA05

UA16

LC08 LC09

RC11

TA11

TB06

TC26

TC33

UA02