(57)【要約】  画像復号装置は、不可逆符号化により符号化した第１の符号化ストリームを、画像符号化装置に対して要求し、第１の符号化ストリームを復号して、符号化対象画像を符号化した第１の符号化画像から第１の復号画像を生成し、第１の復号画像を出力する。次に、画像復号装置は、画像符号化装置に対して第２の符号化ストリームを要求する。第２の符号化ストリームは、符号化対象画像に対して、第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用して、予測誤差を可逆符号化により符号化した第２の符号化画像を含む。そして、画像復号装置は、第２の符号化ストリームを復号して、第２の符号化画像から第２の復号画像を生成し、第１の復号画像と第２の復号画像とを加算した加算結果を用いて、第１の復号画像に対応する第３の復号画像を生成し、第３の復号画像を出力する。
2016088160.tif 000002
【特許請求の範囲】
【請求項１】
複数の符号化対象画像を不可逆符号化により符号化した第１の符号化ストリームを画像符号化装置から受信するとともに、前記複数の符号化対象画像のうち１つの符号化対象画像に対して、前記１つの符号化対象画像を符号化した第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用して、予測誤差を可逆符号化により符号化した第２の符号化画像を含む第２の符号化ストリームを、前記画像符号化装置から受信する受信部と、
前記第１の符号化ストリームを復号して、前記第１の符号化画像から第１の復号画像を生成する第１の復号部と、
前記第１の復号画像を記憶する記憶部と、
前記第２の符号化ストリームを復号して、前記第２の符号化画像から第２の復号画像を生成する第２の復号部と、
前記第１の復号画像と前記第２の復号画像とを加算した加算結果を用いて、前記第１の復号画像に対応する第３の復号画像を生成する生成部と、
前記第１の復号画像を出力する場合、前記画像符号化装置に対して前記第１の符号化ストリームを要求し、前記第１の復号画像を前記第１の復号部に生成させ、前記第１の復号画像を前記記憶部に記憶させ、前記第１の復号画像を出力し、前記第１の復号画像を出力した後に前記第３の復号画像を出力する場合、前記画像符号化装置に対して前記第２の符号化ストリームを要求し、前記第２の復号画像を前記第２の復号部に生成させ、前記第３の復号画像を前記生成部に生成させ、前記第３の復号画像を出力する復号制御部と、
を備えることを特徴とする画像復号装置。
【請求項２】
前記第２の復号部は、前記第２の符号化画像を復号した復号結果と所定の画素値とを加算することで、正の画素値を有する前記第２の復号画像を生成し、前記生成部は、前記加算結果から前記所定の画素値を減算することで、前記第３の復号画像を生成することを特徴とする請求項１記載の画像復号装置。
【請求項３】
前記第１の符号化画像は、前記第１の符号化ストリームに含まれる複数の符号化画像のうち、詳細情報の出力が要求された画像に対応する符号化画像であり、前記復号制御部は、前記第１の復号画像を出力した後に前記第３の復号画像を出力する場合、前記第２の符号化ストリームに含まれる複数の符号化画像のうち、前記第１の符号化画像に対応する前記第２の符号化画像を、前記画像符号化装置に対して要求することを特徴とする請求項１又は２記載の画像復号装置。
【請求項４】
画像符号化装置と画像復号装置とを備える画像処理システムであって、
前記画像符号化装置は、
複数の符号化対象画像を不可逆符号化により符号化して、前記複数の符号化対象画像のうち１つの符号化対象画像を符号化した第１の符号化画像を含む、複数の符号化画像を生成する第１の符号化部と、
前記１つの符号化対象画像に対して、前記第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用して予測誤差を可逆符号化により符号化した第２の符号化画像を含む、複数の符号化画像を生成する第２の符号化部と、
前記第１の符号化部により生成される前記複数の符号化画像を含む第１の符号化ストリームと、前記第２の符号化部により生成される前記複数の符号化画像を含む第２の符号化ストリームとを記憶し、前記第１の符号化ストリームと前記第２の符号化ストリームとを前記画像復号装置へ送信する送信部と、
を含み、
前記画像復号装置は、
前記第１の符号化ストリームと前記第２の符号化ストリームとを前記画像符号化装置から受信する受信部と、
前記第１の符号化ストリームを復号して、前記第１の符号化画像から第１の復号画像を生成する第１の復号部と、
前記第１の復号画像を記憶する記憶部と、
前記第２の符号化ストリームを復号して、前記第２の符号化画像から第２の復号画像を生成する第２の復号部と、
前記第１の復号画像と前記第２の復号画像とを加算した加算結果を用いて、前記第１の復号画像に対応する第３の復号画像を生成する生成部と、
前記第１の復号画像を出力する場合、前記画像符号化装置に対して前記第１の符号化ストリームを要求し、前記第１の復号画像を前記第１の復号部に生成させ、前記第１の復号画像を前記記憶部に記憶させ、前記第１の復号画像を出力し、前記第１の復号画像を出力した後に前記第３の復号画像を出力する場合、前記画像符号化装置に対して前記第２の符号化ストリームを要求し、前記第２の復号画像を前記第２の復号部に生成させ、前記第３の復号画像を前記生成部に生成させ、前記第３の復号画像を出力する復号制御部と、
を含むことを特徴とする画像処理システム。
【請求項５】
前記第２の復号部は、前記第２の符号化画像を復号した復号結果と所定の画素値とを加算することで、正の画素値を有する前記第２の復号画像を生成し、前記生成部は、前記加算結果から前記所定の画素値を減算することで、前記第３の復号画像を生成することを特徴とする請求項４記載の画像処理システム。
【請求項６】
前記第１の符号化画像は、前記第１の符号化部により生成される前記複数の符号化画像のうち、詳細情報の出力が要求された画像に対応する符号化画像であり、前記復号制御部は、前記第１の復号画像を出力した後に前記第３の復号画像を出力する場合、前記第２の符号化部により生成される前記複数の符号化画像のうち、前記第１の符号化画像に対応する前記第２の符号化画像を、前記画像符号化装置に対して要求することを特徴とする請求項４又は５記載の画像処理システム。
【請求項７】
複数の符号化対象画像を不可逆符号化により符号化して、前記複数の符号化対象画像のうち１つの符号化対象画像を符号化した第１の符号化画像を含む、第１の符号化ストリームを生成する画像符号化装置に対して、前記第１の符号化ストリームを要求し、
前記第１の符号化ストリームを前記画像符号化装置から受信し、
前記第１の符号化ストリームを復号して、前記第１の符号化画像から第１の復号画像を生成し、
前記第１の復号画像を記憶部に記憶させ、
前記第１の復号画像を出力し、
前記１つの符号化対象画像に対して、前記第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用して、予測誤差を可逆符号化により符号化した第２の符号化画像を含む第２の符号化ストリームを、前記画像符号化装置に対して要求し、
前記第２の符号化ストリームを前記画像符号化装置から受信し、
前記第２の符号化ストリームを復号して、前記第２の符号化画像から第２の復号画像を生成し、
前記第１の復号画像と前記第２の復号画像とを加算した加算結果を用いて、前記第１の復号画像に対応する第３の復号画像を生成し、
前記第３の復号画像を出力する、
ことを特徴とする画像復号方法。
【請求項８】
前記第２の復号画像を生成する処理は、前記第２の符号化画像を復号した復号結果と所定の画素値とを加算することで、正の画素値を有する前記第２の復号画像を生成し、前記第３の復号画像を生成する処理は、前記加算結果から前記所定の画素値を減算することで、前記第３の復号画像を生成することを特徴とする請求項７記載の画像復号方法。
【請求項９】
前記第１の符号化画像は、前記第１の符号化ストリームに含まれる複数の符号化画像のうち、詳細情報の出力が要求された画像に対応する符号化画像であり、前記第２の符号化ストリームを前記画像符号化装置に対して要求する処理は、前記第２の符号化ストリームに含まれる複数の符号化画像のうち、前記第１の符号化画像に対応する前記第２の符号化画像を要求することを特徴とする請求項７又は８記載の画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像復号装置、画像処理システム、及び画像復号方法に関する。
【背景技術】
【０００２】
動画像データは、非常に大きなデータ量を有することが多い。このため、送信装置から受信装置へ動画像データを送信する場合や、動画像データを記憶装置に格納する場合には、動画像データの圧縮符号化が行われる。【０００３】
代表的な動画像符号化標準が、International Organization for Standardization/International Electrotechnical Commission(ISO/IEC) によって策定されている。動画像符号化標準は、International Telecommunication Union Telecommunication Standardization Sector(ITU-T)によっても策定されている。【０００４】
これらの符号化標準としては、例えば、Moving Picture Experts Group phase 2（MPEG-2, ITU-T H.262 | ISO/IEC 13818-2）及びAdvanced Video Coding (AVC, ITU-T H.264 | ISO/IEC 14496-10) が知られている。さらに、High Efficiency Video Coding (HEVC, ITU-T H.265 | ISO/IEC 23008-2)も知られている。【０００５】
上述した動画像符号化標準は、インター予測符号化とイントラ予測符号化の２つの符号化方式を採用している。インター予測符号化は、動画像中の１枚のピクチャに対応する符号化対象画像を符号化済み画像の情報を用いて符号化する符号化方式であり、イントラ予測符号化は、符号化対象画像が持つ情報のみを用いて符号化対象画像を符号化する符号化方式である。【０００６】
動画像データの圧縮符号化は、圧縮符号化前の画像と伸張復号後の画像とが完全一致するか否かという観点で、ロスレス符号化とロッシー符号化とに分類される。ロスレス符号化は、圧縮符号化前の画像と伸張復号後の画像とが完全一致する、可逆符号化であり、ロッシー符号化は、それらが完全一致しない不可逆符号化である。ロッシー符号化は、符号化画像の情報量をロスレス符号化よりも多く削減できるが、情報量の削減度が増加するにつれて、元画像と復号画像との誤差が増加する。【０００７】
上述したＨ．２６４及びＨＥＶＣは、ロスレス符号化とロッシー符号化の両方に対応している。これらの符号化標準は、周波数変換の１つである離散コサイン変換（ＤＣＴ）により空間方向の冗長性を除去することで、高い圧縮効率を実現している。しかし、規定されるＤＣＴが非可逆演算であるため、ロスレス符号化時にはＤＣＴが行われないように規定されている。【０００８】
動画像符号化以外にも、静止画像の符号化方式であるJoint Photographic Experts Group 2000(JPEG 2000, ISO/IEC 15444)及びJPEG-LS(ISO/IEC 14495)は、ロスレス符号化とロッシー符号化の両方に対応している。ＪＰＥＧ  ２０００は、周波数変換の１つである離散ウェーブレット変換（ＤＷＴ）により、ＤＣＴと同様に冗長性を除去している。ＪＰＥＧ  ２０００のＤＷＴは可逆演算であるため、ロスレス符号化時にもＤＷＴが行われる。【０００９】
ディジタル入力信号をスケーラブル符号化し、基本階層符号と１以上の拡張階層符号とを生成する符号化装置も知られている（例えば、特許文献１を参照）。この符号化装置は、基本階層符号をロスレス符号化し、ロスレス符号を生成し、ロスレス符号と拡張階層符号との複数種類の組合せの中から、単位時間当たりの符号量が利用伝送帯域以下であって、かつ、単位時間当たりの符号量が最も大きい組合せを選択する。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２０１２−８８５０２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
ロスレス符号化は、例えば、画像データの原本性を保証する分野で適用される。具体的には、医療分野等で、画像データに対してロスレス符号化が適用されることがある。コンピュータ断層撮影（ＣＴ）装置等の検査装置（モダリティ装置）で撮影された医用画像には保存義務があり、診断用途にはロスレス符号化が推奨されている。ただし、遠隔地で一時的に医用画像を参照する場合は、データ伝送時間の短縮のために、より情報量の少ないロッシー符号化が許容される場合がある。【００１２】
医用画像の圧縮符号化においては、ＪＰＥＧ  ２０００のような静止画像符号化方式が広く利用されている。この理由は、医療分野の従来の主要な用途である診断や原本保存で適用されるロスレス符号化において、ＪＰＥＧ  ２０００が高い圧縮性能を示すことにある。【００１３】
ＡＶＣのロスレス符号化モードは、周波数変換が適用されないため、圧縮性能はＪＰＥＧ  ２０００に劣る。この性能差は、１枚毎の画像のイントラ予測符号化だけでなく、連続する画像列（例えば、マルチスライスＣＴ画像）のインター予測符号化時においても同様である。動画像符号化方式は、ロスレス符号化時において、インター予測符号化の圧縮性能とイントラ予測符号化の圧縮性能とが同等となることが多い。【００１４】
例えば、医療分野では、各病院で撮影された医用画像を、通信ネットワークを介して地域内で共用することで、出先でも患者が適切な治療を受けられるようにすること等、医療の質を高める取り組みが進められている。この場合、診断や原本保存の用途に加え、遠隔地での参照の用途にも対応するために、医用画像に対してロスレス符号化とロッシー符号化の両方を適用することが望ましい。【００１５】
画像符号化装置において、１つの医用画像に対してロスレス符号化とロッシー符号化とを個別に適用すると、２つの圧縮画像が生成され、１つの符号化方式のみを取り扱う場合に比べてデータ量が増加する。医療分野では、沢山の患者の医用画像を取り扱うため、このデータ量の増加が大きな問題となる。例えば、１つの医用画像に対する２つの圧縮画像を画像符号化装置から画像復号装置へ伝送すると、通信ネットワークのリソースが大量に消費されてしまう。【００１６】
なお、かかる問題は、医用画像をロスレス符号化及びロッシー符号化により符号化する場合に限らず、他の画像を符号化する場合においても生ずるものである。【００１７】
１つの側面において、本発明の目的は、画像を可逆符号化及び不可逆符号化により符号化して画像符号化装置から画像復号装置へ伝送する場合に、通信ネットワークを有効利用することである。
【課題を解決するための手段】
【００１８】
１つの案では、画像復号装置は、受信部、第１の復号部、記憶部、第２の復号部、生成部、及び復号制御部を含む。【００１９】
受信部は、複数の符号化対象画像を不可逆符号化により符号化した第１の符号化ストリームと、第２の符号化ストリームとを、画像符号化装置から受信する。画像符号化装置は、複数の符号化対象画像のうち１つの符号化対象画像に対して、１つの符号化対象画像を符号化した第１の符号化画像を復号した局所復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測を適用する。第２の符号化ストリームは、インター予測を適用して予測誤差を可逆符号化により符号化した第２の符号化画像を含む。【００２０】
第１の復号部は、第１の符号化ストリームを復号して、第１の符号化画像から第１の復号画像を生成し、記憶部は、第１の復号画像を記憶する。第２の復号部は、第２の符号化ストリームを復号して、第２の符号化画像から第２の復号画像を生成する。生成部は、第１の復号画像と第２の復号画像とを加算した加算結果を用いて、第１の復号画像に対応する第３の復号画像を生成する。【００２１】
復号制御部は、第１の復号画像を出力する場合、画像符号化装置に対して第１の符号化ストリームを要求し、第１の復号画像を第１の復号部に生成させ、第１の復号画像を記憶部に記憶させ、第１の復号画像を出力する。また、復号制御部は、第１の復号画像を出力した後に第３の復号画像を出力する場合、画像符号化装置に対して第２の符号化ストリームを要求し、第２の復号画像を第２の復号部に生成させ、第３の復号画像を生成部に生成させ、第３の復号画像を出力する。
【発明の効果】
【００２２】
実施形態によれば、画像を可逆符号化及び不可逆符号化により符号化して画像符号化装置から画像復号装置へ伝送する場合に、通信ネットワークを有効利用することができる。
【図面の簡単な説明】
【００２３】
【図１】画像処理システムの構成図である。
【図２】画像符号化装置の構成図である。
【図３】画像復号装置の構成図である。
【図４】復号部及び生成部の構成図である。
【図５】符号化データを示す図である。
【図６】画像符号化処理のフローチャートである。
【図７】画像復号処理のフローチャートである。
【図８】情報処理装置の構成図である。
【発明を実施するための形態】
【００２４】
以下、図面を参照しながら、実施形態を詳細に説明する。
実施形態の画像符号化装置は、入力される動画像信号を、ＨＥＶＣ規格に基づいて画像（ピクチャ）単位で符号化する。このとき、ＨＥＶＣの階層符号化機能（Scalable HEVC, SHVC）を利用して、各画像に対して品質階層符号化（Quality Scalable Video Coding）が適用される。この品質階層符号化は、ロッシー符号化する基本レイヤ（ベースレイヤ）と、ロスレス符号化する拡張レイヤ（エンハンスメントレイヤ）の２つのレイヤからなる。
【００２５】
図１は、１つの基本レイヤと１つの拡張レイヤとの２レイヤの場合の品質階層符号化を行う画像処理システムの構成例を示している。品質階層符号化においては、１つの拡張レイヤの代わりに、複数の拡張レイヤを用いてもよい。
【００２６】
図１の画像処理システムは、画像符号化装置１００１及び画像復号装置１００２を含む。画像符号化装置１００１と画像復号装置１００２は、例えば、通信ネットワークを介して通信することができる。画像符号化装置１００１は、基本レイヤの符号化部１１００及び拡張レイヤの符号化部１２００を含み、画像復号装置１００２は、基本レイヤの復号部１３００及び拡張レイヤの復号部１４００を含む。
【００２７】
符号化部１１００は、減算部１１０１、予測誤差符号化部１１０２、予測誤差復号部１１０３、加算部１１０４、復号画像バッファ１１０５、及び予測画像生成部１１０６を含む。
【００２８】
減算部１１０１は、入力される動画像に含まれる符号化対象画像の画素値から、予測画像生成部１１０６が生成する予測画像の画素値（予測値）を減算して、符号化対象画像と予測画像との差分である予測誤差を生成する。予測誤差符号化部１１０２は、減算部１１０１が生成する予測誤差を符号化する。予測誤差符号化部１１０２における符号化は、エントロピー符号化を含む。符号化された予測誤差は、基本レイヤの符号化画像として出力され、基本レイヤの符号化画像を含む符号化ストリームが画像復号装置１００２へ送信される。
【００２９】
予測誤差復号部１１０３は、符号化された予測誤差を復号して、減算部１１０１が生成する予測誤差に符号化歪が重畳された予測誤差を生成する。加算部１１０４は、符号化歪が重畳された予測誤差に、予測画像生成部１１０６が生成する予測画像の画素値を加算して、歪のある局所復号画像を生成する。復号画像バッファ１１０５は、加算部１１０４が生成する局所復号画像を格納する。
【００３０】
予測画像生成部１１０６は、復号画像バッファ１１０５に格納された局所復号画像から予測値を生成する。予測画像生成部１１０６において適用される予測モードは、基本レイヤの符号化対象画像の符号化済み画素値から予測値を生成するイントラ予測モード、又は基本レイヤの符号化済み画像を参照画像とするインター予測モードのいずれかである。
【００３１】
符号化部１２００は、減算部１２０１、予測誤差符号化部１２０２、予測誤差復号部１２０３、加算部１２０４、復号画像バッファ１２０５、及び予測画像生成部１２０６を含む。
【００３２】
減算部１２０１は、符号化対象画像の画素値から、予測画像生成部１２０６が生成する予測値を減算して、符号化対象画像と予測画像との差分である予測誤差を生成する。予測誤差符号化部１２０２は、減算部１２０１が生成する予測誤差を符号化する。予測誤差符号化部１２０２における符号化は、エントロピー符号化を含む。符号化された予測誤差は、拡張レイヤの符号化画像として出力され、拡張レイヤの符号化画像を含む符号化ストリームが画像復号装置１００２へ送信される。
【００３３】
予測誤差復号部１２０３は、符号化された予測誤差を復号して、減算部１２０１が生成する予測誤差と同一の歪のない予測誤差を生成する。加算部１２０４は、歪のない予測誤差に、予測画像生成部１２０６が生成する予測値を加算して、局所復号画像を生成する。復号画像バッファ１２０５は、加算部１２０４が生成する局所復号画像を格納するとともに、復号画像バッファ１１０５に格納された基本レイヤの歪のある局所復号画像も格納する。
【００３４】
予測画像生成部１２０６は、復号画像バッファ１２０５に格納された局所復号画像から予測値を生成する。予測画像生成部１２０６において適用される予測モードは、基本レイヤの符号化対象画像の符号化済み画素値から予測値を生成するイントラ予測モード、又はインター予測モードのいずれかである。インター予測モードでは、基本レイヤの符号化済み画像又は拡張レイヤの符号化済み画像が参照画像として用いられる。
【００３５】
復号部１３００は、予測誤差復号部１３０１、加算部１３０２、復号画像バッファ１３０３、及び予測画像生成部１３０４を含む。
【００３６】
予測誤差復号部１３０１は、符号化部１１００から出力される基本レイヤの符号化ストリームに含まれる符号化画像を復号して、符号化歪が重畳された予測誤差を生成する。加算部１３０２は、符号化歪が重畳された予測誤差に、予測画像生成部１３０４が生成する予測値を加算して、歪のある復号画像を生成する。
【００３７】
復号画像バッファ１３０３は、加算部１３０２が生成する復号画像を格納する。この復号画像は、ロッシー動画像として出力され、画面上に表示される。予測画像生成部１３０４は、復号画像バッファ１３０３に格納された復号画像から、インター予測画像又はイントラ予測画像を生成する。
【００３８】
復号部１４００は、予測誤差復号部１４０１、加算部１４０２、復号画像バッファ１４０３、及び予測画像生成部１４０４を含む。
【００３９】
予測誤差復号部１４０１は、符号化部１２００から出力される拡張レイヤの符号化ストリームに含まれる符号化画像を復号して、歪のない予測誤差を生成する。加算部１４０２は、歪のない予測誤差に、予測画像生成部１４０４が生成する予測値を加算して、歪のない復号画像を生成する。
【００４０】
復号画像バッファ１４０３は、加算部１４０２が生成する復号画像を格納する。この復号画像は、ロスレス動画像として出力され、画面上に表示される。復号画像バッファ１４０３は、復号画像バッファ１３０３に格納された基本レイヤの歪のある復号画像も格納する。予測画像生成部１４０４は、復号画像バッファ１４０３に格納された復号画像から、インター予測画像又はイントラ予測画像を生成する。
【００４１】
通常の動画像の階層符号化では、画像復号装置１００２の仕様に対応する品質の動画像を画像符号化装置１００１から画像復号装置１００２へ送信することを想定している。この場合、基本レイヤの復号画像よりも高品質な復号画像を提供するために、基本レイヤの符号化と拡張レイヤの符号化とが同時に行われ、基本レイヤの符号化ストリームと拡張レイヤの符号化ストリームとが同時に送信される。
【００４２】
これに対して、マルチスライスＣＴ画像は、人体を数ミリ毎に撮影したスライス画像であり、通常の動画像とは異なってフレームレートが低い。このようなマルチスライスＣＴ画像を表示する場合、医師は、まず、頭頂部のスライス画像から足先のスライス画像まであたかも１つの連続した動画像であるかのように連続的に観察し、その後、胸部等の注目するスライス画像を詳細に確認することが多い。
【００４３】
連続観察時には、人間の視覚特性が落ちるため、ロッシー動画像でも十分である。とりわけ、連続観察時には複数スライス分の符号化ストリームが画像符号化装置１００１から画像復号装置１００２へ伝送されるが、基本レイヤの符号化ストリームのみを伝送することで、伝送レートが削減され、通信ネットワークを有効利用することが可能になる。
【００４４】
そこで、実施形態の画像符号化装置１００１は、拡張レイヤの符号化において、符号化対象画像内のすべてのCoding Unit（ＣＵ）をインター予測符号化する。ＣＵは、ＡＶＣ規格等でのマクロブロックに相当する。そして、画像符号化装置１００１は、同じ符号化対象画像を基本レイヤで符号化したときの局所復号画像のみを、インター予測における参照画像として用いる。
【００４５】
以下の説明において、符号化画像は、画面全体に対応する符号化対象画像を符号化した結果を表すこともあり、符号化対象画像内のＣＵを符号化した結果を表すこともある。また、復号画像は、符号化対象画像に対応する符号化画像を復号した結果を表すこともあり、ＣＵに対応する符号化画像を復号した結果を表すこともある。
【００４６】
実施形態の画像復号装置１００２は、遠隔地での参照等の用途で受信データのデータ量を削減する場合には、基本レイヤのロッシー符号化画像のみを受信し、ロッシー符号化画像を伸張復号して、画面上に表示する。
【００４７】
一方、診断等の用途でロスレス画像を表示する場合には、画像復号装置１００２は、基本レイヤと拡張レイヤの両方の符号化画像を受信し、ロスレス符号化画像を伸張復号する。このとき、基本レイヤと拡張レイヤとを独立に復号することで、画像復号装置１００２の回路規模を削減することができる。
【００４８】
画像復号装置１００２は、基本レイヤを復号して歪のある復号画像を生成した後に拡張レイヤを基本レイヤなしで復号することで、基本レイヤの復号画像と拡張レイヤの復号画像とを生成する。基本レイヤの復号画像は、元画像に対して符号化歪が重畳された画像であり、拡張レイヤの復号画像は、元画像に重畳された符号化歪を正負反転させた誤差を表す画像である。ロスレス画像を表示する場合、画像復号装置１００２は、基本レイヤのロッシー復号画像と拡張レイヤの復号画像とを加算した結果を表示する。
【００４９】
ＨＥＶＣの階層符号化（ＳＨＶＣ）は、ＭＰＥＧ−２やＡＶＣ等の階層符号化とは異なり、拡張レイヤでのＣＵの復号処理は、基本レイヤでの復号処理と同等である。拡張レイヤの圧縮効率を向上させるため、基本レイヤの情報（符号化モード、復号画素値等）が参照されるが、ＳＨＶＣでは、復号画素値のみが参照可能になっている。とりわけ、基本レイヤの復号画像を、拡張レイヤの参照画像の１つとして取り扱うことで、復号画素値の参照が可能になる。
【００５０】
参照画像情報等の画像レベルのパラメータの復号処理は、基本レイヤと拡張レイヤとで若干異なるものの、ＣＵの復号処理においては、基本レイヤを処理する回路と拡張レイヤを処理する回路とを共用できる。
【００５１】
ＳＨＶＣ規格上は、拡張レイヤにおいても、ＣＵ毎にインター予測符号化とイントラ予測符号化とを切り替えることが可能である。さらに、インター予測符号化では、拡張レイヤでの他画像の復号画像と、基本レイヤでの同一画像に対応する復号画像又は他画像に対応する復号画像とを、ＣＵ毎に切り替えて参照画像として用いることが可能である。
【００５２】
しかし、実施形態の拡張レイヤの符号化では、画像内のすべてのＣＵがインター予測符号化され、かつ、基本レイヤでの同一画像に対応する復号画像のみが参照画像として用いられる。これにより、拡張レイヤのみを用いて、基本レイヤの復号画像に含まれる符号化歪を復元することが可能になる。ＳＨＶＣ規格上は基本レイヤと拡張レイヤとを併せて復号することが規定されているが、このような拡張レイヤの符号化を採用することで、規定された条件を緩和できる。
【００５３】
より具体的に説明すると、拡張レイヤのすべてのＣＵの符号化モードとして、基本レイヤでの同一画像に対応する復号画像を参照画像として用い、大きさが０の動きベクトルを用いるインター予測符号化モードを採用する。このようなインター予測符号化を行った場合、拡張レイヤでの各ＣＵの符号化画素値は、元画像の画素値と、ロッシー符号化画像を復号した復号画素値との差分そのものになる。
【００５４】
さらに、ＨＥＶＣ規格では、伝送エラー等により復号画像バッファに参照画像が存在しない場合の動作が厳密に規定されている。具体的には、輝度及び色差成分が画面全体で中間値となる画像を参照画像として用いることが規定されている。例えば、８ビット画像の場合、中間値は１２８となる。これにより、基本レイヤなしで拡張レイヤを復号した場合でも、その復号結果を一意に決めることができる。
【００５５】
したがって、実施形態の拡張レイヤを基本レイヤなしで復号した場合、ロッシー符号化による符号化歪を正負反転させた値に中間値を加算した加算結果が生成される。そこで、画像復号装置１００２は、基本レイヤの復号画像に対して、得られた加算結果を加算し、画面一様に中間値を減算することで、元画像を完全に復元することが可能になる。
【００５６】
例えば、元画像のある画素の画素値Ａが基本レイヤでロッシー符号化され、復号により復号画素値Ａ’が得られた場合、ロッシー符号化による符号化歪はＡ’−Ａである。一方、拡張レイヤのロスレス符号化では、基本レイヤでの同一画像に対応する復号画像が参照され、大きさが０の動きベクトルが用いられるため、すべてのＣＵにおいてロッシー符号化時の復号画素値そのものが予測画像の画素値として用いられる。したがって、拡張レイヤでは、Ａ−Ａ’がロスレス符号化される。
【００５７】
ここで、基本レイヤなしで拡張レイヤを復号すると、Ａ−Ａ’に中間値Ｂが加算された値Ａ−Ａ’＋Ｂが得られる。そして、復号画素値Ａ’に値Ａ−Ａ’＋Ｂを加算するとＡ＋Ｂとなり、Ａ＋Ｂから中間値Ｂを減算することで、元の画素値Ａが復元される。
【００５８】
図２は、実施形態の画像符号化装置の構成例を示している。図１の画像符号化装置１００は、ロッシー符号化制御部１１０、符号化部１１１、ロッシー符号化ヘッダ生成部１１２、ロスレス符号化制御部１２０、符号化部１２１、ロスレス符号化ヘッダ生成部１２２、多重化部１３０、及び送信部１４０を含む。符号化部１１１及び符号化部１２１は、それぞれ、図１の符号化部１１００及び符号化部１２００に対応する。
【００５９】
そして、画像符号化装置１００は、動画像に含まれる各フレームに対して、ロッシーな基本レイヤとロスレスな拡張レイヤの２レイヤからなる品質階層符号化を行い、符号化ストリームを出力する。各フレームに対応する符号化対象画像は、カラー画像であってもよく、モノクロ画像であってもよい。カラー画像の場合、画素値はＲＧＢ形式であってもよく、色差形式であってもよい。色差形式は４：４：４、４：２：２、４：２：０、又は４：０：０であってもよい。
【００６０】
画像符号化装置１００は、例えば、ハードウェア回路として実装することができる。この場合、画像符号化装置１００は、各構成要素を個別の回路として含んでいてもよく、１つの集積回路であってもよい。
【００６１】
ロッシー符号化制御部１１０は、符号化部１１１及びロッシー符号化ヘッダ生成部１１２を制御する制御信号を出力する。この制御信号は、各符号化対象画像の符号化モード、量子化パラメータ等を指定する信号である。符号化モードは、例えば、イントラ予測符号化のみ、又はイントラ予測符号化とインター予測符号化との混在を示す。インター予測符号化で参照される参照画像としては、基本レイヤの局所復号画像が指定される。
【００６２】
符号化部１１１は、符号化対象画像に対してロッシー符号化を適用し、ＣＵ毎の基本レイヤの符号化画像を生成して出力する。生成される符号化画像は、ＨＥＶＣ規格の単一レイヤ符号化規定に準拠する。
【００６３】
ロッシー符号化ヘッダ生成部１１２は、ＨＥＶＣ規格の単一レイヤ符号化規定に準拠したロッシー符号化時のスライス、画像、及びシーケンス単位の符号化パラメータを生成して出力する。
【００６４】
ロスレス符号化制御部１２０は、符号化部１２１及びロスレス符号化ヘッダ生成部１２２を制御する制御信号を出力する。この制御信号は、各符号化対象画像の符号化モード、ロスレス符号化等を指定する信号である。符号化モードは、例えば、すべてのＣＵでイントラ予測符号化のみ、又はすべてのＣＵで、符号化部１１１が出力する同一画像に対応する復号画像を参照画像とするインター予測符号化のみを示す。
【００６５】
符号化部１２１は、各符号化対象画像に対してロスレス符号化を適用し、ＣＵ毎の拡張レイヤの符号化画像を生成して出力する。生成される符号化画像は、ＨＥＶＣ規格の単一レイヤ符号化規定に準拠する。
【００６６】
ロスレス符号化ヘッダ生成部１２２は、ＨＥＶＣ規格の複数レイヤ符号化規定に準拠したロスレス符号化時のスライス、画像、及びシーケンス単位の符号化パラメータを生成して出力する。
【００６７】
多重化部１３０は、ロッシー符号化ヘッダ生成部１１２、符号化部１１１、ロスレス符号化ヘッダ生成部１２２、及び符号化部１２１の出力を多重化して、２レイヤ品質階層符号化動画像の符号化データを生成する。
【００６８】
送信部１４０は、多重化部１３０が出力する符号化データ（符号化画像及び符号化パラメータ）を蓄積し、符号化ストリームとして記憶する。そして、送信部１４０は、画像復号装置からの要求に応じて、基本レイヤの符号化ストリームのみ、拡張レイヤの符号化ストリームのみ、又は基本レイヤの符号化ストリームと拡張レイヤの符号化ストリームの両方を、画像復号装置へ送信する。
【００６９】
図３は、実施形態の画像復号装置の構成例を示している。図３の画像復号装置２００は、復号制御部２１０、受信部２１１、復号部２２０、復号部２２１、記憶部２２２、及び生成部２２３を含む。復号部２２０及び復号部２２１は、それぞれ、図１の復号部１３００及び復号部１４００に対応する。
【００７０】
画像復号装置２００は、例えば、ハードウェア回路として実装することができる。この場合、画像復号装置２００は、各構成要素を個別の回路として含んでいてもよく、１つの集積回路であってもよい。
【００７１】
復号制御部２１０は、符号化ストリームをロッシー復号又はロスレス復号して復号画像を画面上に表示するために、画像復号装置２００の各構成要素を制御する制御信号を出力する。図３では、復号制御部２１０から受信部２１１、復号部２２０、復号部２２１、記憶部２２２、及び生成部２２３へ出力される制御信号は省略されている。
【００７２】
復号制御部２１０は、ロッシー復号画像を表示する場合、画像符号化装置１００に対して基本レイヤの符号化ストリームのみを要求し、受信部２１１は、基本レイヤの符号化ストリームを受信して、復号部２２０へ出力する。
【００７３】
一方、ロスレス復号画像を表示する場合、復号制御部２１０は、画像符号化装置１００に対して、拡張レイヤの符号化ストリームのみ、又は基本レイヤと拡張レイヤの両方の符号化ストリームを要求する。そして、受信部２１１は、基本レイヤの符号化ストリームを受信すると、受信した符号化ストリームを復号部２２０へ出力し、拡張レイヤの符号化ストリームを受信すると、受信した符号化ストリームを復号部２２１へ出力する。
【００７４】
復号制御部２１０は、画像符号化装置１００に対して、所定の単位で符号化ストリームを要求することができる。復号制御部２１０は、所定の単位として、時間幅を指定することもでき、特定の画像を指定することもできる。
【００７５】
復号部２２０は、基本レイヤの符号化ストリームに含まれる符号化画像を復号し、ロッシー復号画像を生成して出力する。復号部２２１は、拡張レイヤの符号化ストリームに含まれる符号化画像を復号し、符号化歪を表す復号画像を生成して出力する。
【００７６】
記憶部２２２は、復号部２２０が出力するロッシー復号画像を記憶し、復号制御部２１０は、記憶部２２２が記憶するロッシー復号画像列をロッシー動画像として画面上に表示する制御を行う。
【００７７】
生成部２２３は、同じ元画像に対応する、記憶部２２２が記憶するロッシー復号画像の画素値と、復号部２２１が出力する復号画像の画素値とを加算する。そして、生成部２２３は、得られた加算結果から中間値等に対応する所定の画素値を減算してロスレス復号画像を生成し、復号制御部２１０は、ロスレス復号画像列をロスレス動画像として画面上に表示する制御を行う。
【００７８】
ロッシー動画像が表示された後、オペレータ、アプリケーションプログラム等から１つの画像の詳細情報の表示を要求されることがある。この場合、復号制御部２１０は、拡張レイヤの符号化ストリームに含まれる符号化画像のうち、要求された画像に対応する特定の符号化画像のみを、画像符号化装置１００に対して要求してもよい。
【００７９】
例えば、医師がマルチスライスＣＴ画像の頭頂部のスライス画像から足先のスライス画像までを連続した動画像として観察するとき、復号制御部２１０は、基本レイヤの符号化ストリームのみを画像符号化装置１００に対して要求する。そして、画像符号化装置１００から画像復号装置２００へ基本レイヤの符号化ストリームのみが伝送される。これにより、基本レイヤと拡張レイヤの両方の符号化ストリームを伝送する場合よりも、伝送レートが削減される。
【００８０】
次に、医師が胸部等の注目するスライス画像を詳細に確認するとき、復号制御部２１０は、医師から指定されたスライス画像に対応する拡張レイヤの符号化画像のみを画像符号化装置１００に対して要求する。そして、画像符号化装置１００から画像復号装置２００へ拡張レイヤの符号化画像のみが伝送される。画像復号装置２００は、拡張レイヤの符号化画像のみを単体で復号した後に、保存されているロッシー復号画像と加算することで、ロッシー復号を再度行うことなく、ロスレス復号画像を表示することができる。
【００８１】
図２の画像符号化装置１００及び図３の画像復号装置２００によれば、以下のような効果が得られる。
【００８２】
（１）ロッシー復号画像とロスレス復号画像とを柔軟かつ簡単に切り替えることができ、画像符号化装置と画像復号装置との間の通信ネットワークを有効利用することが可能になる。
【００８３】
基本レイヤの符号化ストリームと拡張レイヤの符号化ストリームとを異なるタイミングで伝送することができるため、両方の符号化ストリームを同時に伝送する場合よりも、伝送レートが削減される。
【００８４】
（２）品質階層符号化により、ロスレス符号化とロッシー符号化の両方に対応できる。とりわけ、符号化パラメータ及び符号化画像はＳＨＶＣに完全準拠であるため、ＳＨＶＣ準拠の画像復号装置により正常に復号可能である。
【００８５】
（３）ＨＥＶＣの品質階層符号化を適用することで、ＨＥＶＣで単純にロスレス符号化する場合やＪＰＥＧ  ２０００等の静止画符号化によりロスレス符号化する場合よりも、総情報量（基本レイヤの情報量と拡張レイヤの情報量との和）を削減することができる。
【００８６】
例えば、精度が１２ビット、色差形式が４：０：０のマルチスライスＣＴ画像（５１２画素×５１２画素）の場合、１５％程度の情報量を削減できる。この場合、ロッシー符号化の量子化パラメータは０近辺に設定されるが、量子化パラメータ０を用いたときの量子化歪の大きさは、量子化パラメータの最小値−２４を用いたときの量子化歪の大きさの１６倍である。また、ロッシー符号化にはインター予測符号化が適用される。
【００８７】
１２ビット信号のMost Significant Bit（ＭＳＢ）成分は、画像内及び画像間で高い相関性があるため、インター予測符号化と周波数変換とを適用することで情報量を大幅に削減できる。一方、符号化歪として残る、１２ビット信号のLeast Significant Bit（ＬＳＢ）成分は、画像内及び画像間での相関性が低いため、ＨＥＶＣのロスレス符号化で十分であると言える。
【００８８】
（４）画像復号装置の回路構成を簡単化できる。具体的には、基本レイヤのＣＵのための復号回路と、拡張レイヤのＣＵのための復号回路とを共用できる。
【００８９】
図２の画像符号化装置１００及び図３の画像復号装置２００は、様々な用途に利用される。例えば、画像符号化装置１００又は画像復号装置２００を、ビデオカメラ、動画像送信装置、動画像受信装置、テレビ電話システム、コンピュータ、又は携帯電話機に組み込むことも可能である。
【００９０】
図４は、図３の復号部２２１及び生成部２２３の構成例を示している。図４の復号部２２１は、予測誤差復号部２４０１、加算部２４０２、及び中間色画像生成部２４０３を含む。
【００９１】
予測誤差復号部２４０１は、図１の予測誤差復号部１４０１に対応し、ＣＵ毎に拡張レイヤの符号化画像を復号して、基本レイヤの符号化歪を正負反転させた値に対応する復号結果を生成する。
【００９２】
中間色画像生成部２４０３は、すべての画素の画素値が中間値である、仮想的な中間色画像を生成する。ＨＥＶＣ規格では、復号画像バッファに参照画像が存在しない場合、この中間色画像が復号画像バッファに挿入され、参照画像として用いられる。例えば、符号化対象画像がＮビットの精度を持つ場合、（Ｙ，Ｃｂ，Ｃｒ）＝（２＾（Ｎ−１），２＾（Ｎ−１），２＾（Ｎ−１））を中間値として用いることができる。
【００９３】
加算部２４０２は、図３の加算部１４０２に対応し、予測誤差復号部２４０１が生成する復号結果と、中間色画像生成部２４０３が生成する中間色画像の画素値とをＣＵ単位で加算し、加算結果を復号画像の画素値として出力する。これにより、予測誤差復号部２４０１が生成する復号結果が負の値であっても、復号部２２１から正の画素値を有する復号画像を出力することができる。
【００９４】
生成部２２３は、加算部２５０１、減算部２５０２、及び中間色画像生成部２５０３を含む。加算部２５０１は、記憶部２２２が記憶するロッシー復号画像の画素値と、復号部２２１が出力する復号画像の画素値とを画像単位で加算し、加算結果を出力する。中間色画像生成部２５０３は、中間色画像生成部２４０３と同様に、中間色画像を生成する。減算部２５０２は、加算部２５０１が出力する加算結果から、中間色画像生成部２５０３が生成する中間色画像の画素値を画像単位で減算して、拡張レイヤのロスレス復号画像を生成する。
【００９５】
拡張レイヤのすべてのＣＵに対して、基本レイヤでの同一画像に対応する復号画像が参照され、動きベクトルが０になる、という条件の下では、生成部２２３が出力するロスレス復号画像は、図１の復号部１４００が出力するロスレス復号画像と完全に一致する。
【００９６】
図４の構成によれば、図１の復号画像バッファ１４０３及び予測画像生成部１４０４を省略することができ、ロスレス復号画像を生成するための復号部２２１の構成が簡略化される。これにより、画像復号装置２００において符号化ストリームを受信する処理の負荷が軽減される。
【００９７】
図５は、基本レイヤ又は拡張レイヤにおける、１つの符号化対象画像に対応する符号化データの例を示している。図５の符号化データ２０００は、Video Parameter Set（ＶＰＳ）２０１０、Sequence Parameter Set（ＳＰＳ）２０１１、Picture Parameter Set（ＰＰＳ）２０１２、及びSlice Segmentヘッダ（ＳＬＩＣＥ）２０１３を含む。符号化データ２０００は、さらにCoded Tree Unit（ＣＴＵ）２０１４を含む。
【００９８】
ＶＰＳ２０１０は、レイヤのパラメータを記述する。基本レイヤの場合、少なくとも再引き込みを開始する符号化画像には、ＶＰＳ２０１０が付加される。拡張レイヤの場合は、すべての符号化画像にＶＰＳ２０１０が付加される。
【００９９】
ＶＰＳ２０１０に含まれるパラメータは、基本レイヤと拡張レイヤとで共通である。このうち、品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。
【０１００】
VpsBaseLayerInternalFlag：基本レイヤのパラメータであり、符号化動画像に含まれることを示す値‘１’が設定される。
【０１０１】
VpsBaseLayerAvailableFlag：基本レイヤの符号化画像が符号化動画像に含まれることを示す値‘１’が設定される。
【０１０２】
VpsMaxLayersMinus1：２レイヤを示す値‘１’が設定される。
ProfileTierLevel：拡張レイヤの階層符号化プロファイル（MainScalableプロファイル等）と、基本レイヤの単一レイヤ符号化プロファイル（Mainプロファイル等）を記述する。
【０１０３】
ScalabilityMaskFlag[i]：ｉが０の場合のみ、２レイヤに相当する値‘１’が設定される。
【０１０４】
DimensionIdLenMinus[0]：２レイヤに相当する値‘０’が設定される。
VpsNuhLayerIdPresentFlag：拡張レイヤのNuhLayerIdを記述するために、値‘１’が設定される。
【０１０５】
LayerIdInNuh：拡張レイヤのNuhLayerIdとして、値‘１’が設定される。
DimensionId[1][0]：品質階層符号化を示す値‘２’が設定される。
【０１０６】
DirectDependencyFlag[1][0]：拡張レイヤが基本レイヤを参照することを示す値‘１’が設定される。
【０１０７】
VpsNumProfileTierLevelMinus1：２レイヤに相当する値‘１’が設定される。
MaxOneActiveRefLayerFlag：２レイヤのみであるため、値‘１’が設定される。
【０１０８】
ＳＰＳ２０１１は、各レイヤにおけるシーケンスで共通のパラメータを記述する。基本レイヤの場合、少なくとも再引き込みを開始する符号化画像には、ＳＰＳ２０１１が付加される。拡張レイヤの場合は、すべての符号化画像にＳＰＳ２０１１が付加される。
【０１０９】
ＳＰＳ２０１１に含まれるパラメータは、基本レイヤと拡張レイヤとで異なる。品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。
【０１１０】
NumShortTermRefPicSets：拡張レイヤの場合のみ、拡張レイヤ間での参照を行わないことを示す値‘０’が設定される。
【０１１１】
LongTermRefPicsPresentFlag：値‘０’が設定される。ＶＰＳパラメータにより、デフォルトで基本レイヤの復号画像は、拡張レイヤの参照画像となる。
【０１１２】
ＰＰＳ２０１２は、各レイヤにおける複数の画像で共通のパラメータを記述する。基本レイヤの場合、少なくとも再引き込みを開始する符号化画像には、ＰＰＳ２０１２が付加する。拡張レイヤの場合は、すべての符号化画像にＰＰＳ２０１２が付加される。
【０１１３】
ＰＰＳ２０１２に含まれるパラメータは、基本レイヤと拡張レイヤとで異なる。品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。
【０１１４】
InitQpMinus26：拡張レイヤの場合、量子化パラメータＱＰが最小値であることを示す値が設定される。この値は画像のビット精度に依存し、例えば、８ビット画像の場合は‘−２６’が設定される。
【０１１５】
CuQpDeltaEnabledFlag：拡張レイヤの場合、量子化を行わないため、値‘０’が設定される。
【０１１６】
TransquantBypassEnableFlag：拡張レイヤの場合、ロスレス符号化を行うことを示す値‘１’が設定される。
【０１１７】
Slice Segmentヘッダ２０１３は、スライス共通のパラメータを記述する。各符号化画像に１つ以上のSlice Segmentヘッダ２０１３が付加される。
【０１１８】
Slice Segmentヘッダ２０１３に含まれるパラメータは、基本レイヤと拡張レイヤとで異なる。品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。
【０１１９】
SliceType：拡張レイヤの場合のみ、Ｐピクチャを示す値‘１’が常に設定される。
ShortTermRefPicSetSpsFlag：拡張レイヤの場合のみ、ＳＰＳ２０１１を参照することを示す値‘１’が設定される。
【０１２０】
InterLayerPredEnabledFlag：拡張レイヤの場合のみ、レイヤ間の参照を行うことを示す値‘１’が設定される。
【０１２１】
SliceQpDelta：拡張レイヤの場合のみ、ロスレス符号化を行うことを示す値‘０’が設定される。
【０１２２】
ＣＴＵ２０１４は、符号化対象画像内のＣＴＵの数だけ出現する。各ＣＴＵは、６４画素×６４画素のブロックであり、１つ又は複数のＣＵを含む。各ＣＵは、ＣＵの符号化画像とパラメータとを含む。
【０１２３】
各ＣＵに含まれるパラメータは、基本レイヤと拡張レイヤとで異なる。品質階層符号化に関するパラメータとして、例えば、以下のようなものが用いられる。以下の設定は、拡張レイヤのすべてのＣＵに対して適用される。
【０１２４】
CuTransquantBypassFlag：拡張レイヤの場合のみ、ロスレス符号化することを示す値‘１’が設定される。
【０１２５】
PredModeFlag：拡張レイヤの場合のみ、インター予測モードを示す値‘０’が設定される。
【０１２６】
PredictionUnit：拡張レイヤの場合のみ、RefIdxが０となる参照画像（参照ピクチャ）を参照し、復号される動きベクトルが（０，０）となるように設定される。RefIdxが０の参照画像としては、基本レイヤでの同一画像に対応する復号画像が割り当てられる。
【０１２７】
図６は、図２の画像符号化装置１００が行う画像符号化処理の例を示すフローチャートである。この画像符号化処理は、符号化対象動画像に含まれる、時刻ｔにおける符号化対象画像をロッシー符号化及びロスレス符号化する処理である。
【０１２８】
まず、ロッシー符号化ヘッダ生成部１１２は、基本レイヤの符号化パラメータを設定する（ステップＳ１０１）。このとき、ロッシー符号化ヘッダ生成部１１２は、オペレータ、アプリケーションプログラム等から指定された画像品質（ビットレート、量子化パラメータ等）に従って、符号化対象画像内の各ＣＵの符号化モード及び符号化パラメータを決定する。
【０１２９】
符号化モードは、単一レイヤ符号化方式であり、イントラ予測符号化又は基本レイヤの復号画像のみを参照するインター予測符号化のいずれかである。符号化パラメータは、ロッシー符号化のパラメータであり、量子化パラメータは少なくとも最小値（８ビット画像の場合は０）以上に設定される。また、TransquantBypassEnableFlag又はCuTransquantBypassFlagが０に設定される。
【０１３０】
次に、符号化部１１１は、符号化対象画像をロッシー符号化して、基本レイヤの符号化画像と、時刻ｔにおける局所復号画像ＬＲ（ｔ）とを生成する（ステップＳ１０２）。
【０１３１】
次に、ロスレス符号化ヘッダ生成部１２２は、拡張レイヤの符号化パラメータを設定する（ステップＳ１０３）。このとき、ロスレス符号化ヘッダ生成部１２２は、符号化対象画像全体の参照画像リストとして、基本レイヤの局所復号画像ＬＲ（ｔ）のみを設定する。この設定は、NumShortTermRefPicSetsを０に設定し、LongTermRefPicsPresentFlagを０に設定することで実現できる。
【０１３２】
符号化対象画像内の各ＣＵの符号化モードは、常にインター予測符号化であり、参照画像のRefIdxは０に設定され（基本レイヤの局所復号画像ＬＲ（ｔ）に相当する）、動きベクトル（ＭＶｘ，ＭＶｙ）は（０，０）に設定される。また、TransquantBypassEnableFlag及びCuTransquantBypassFlagは１に設定される。
【０１３３】
次に、符号化部１２１は、符号化対象画像をロスレス符号化して、拡張レイヤの符号化画像を生成する（ステップＳ１０４）。
【０１３４】
図７は、図３の画像復号装置２００が行う画像復号処理の例を示すフローチャートである。この画像復号処理は、時刻ｔにおける符号化画像を復号して、復号画像を画面上に表示する処理である。
【０１３５】
まず、復号制御部２１０は、時刻ｔにおける基本レイヤのロッシー復号画像Ｐ（ｔ）が記憶部２２２に保存されているか否かをチェックする（ステップＳ２０１）。例えば、基本レイヤの符号化ストリームを先に受信し、基本レイヤのロッシー復号画像が既に表示されている場合、ロッシー復号画像Ｐ（ｔ）は記憶部２２２に保存されている。一方、基本レイヤの符号化ストリームを未だ受信していない場合、ロッシー復号画像Ｐ（ｔ）は記憶部２２２に保存されていない。
【０１３６】
ロッシー復号画像Ｐ（ｔ）が保存されていない場合（ステップＳ２０１，ＮＯ）、復号制御部２１０は、ロッシー復号画像Ｐ（ｔ）を生成するための基本レイヤの符号化ストリームを、画像符号化装置１００に対して要求する（ステップＳ２０２）。そして、受信部２１１は、画像符号化装置１００から送信される符号化ストリームを受信する。次に、復号部２２０は、受信した符号化ストリームに含まれる符号化画像を復号して、ロッシー復号画像Ｐ（ｔ）を生成し、ロッシー復号画像Ｐ（ｔ）を記憶部２２２に保存する（ステップＳ２０３）。
【０１３７】
一方、ロッシー復号画像Ｐ（ｔ）が保存されている場合（ステップＳ２０１，ＹＥＳ）、復号制御部２１０は、記憶部２２２からロッシー復号画像Ｐ（ｔ）を取得する（ステップＳ２０４）。
【０１３８】
次に、復号制御部２１０は、オペレータ、アプリケーションプログラム等から指示された表示モードが、ロッシー表示又はロスレス表示のいずれであるかをチェックする（ステップＳ２０５）。
【０１３９】
表示モードがロッシー表示である場合（ステップＳ２０５，ＹＥＳ）、復号制御部２１０は、ロッシー復号画像Ｐ（ｔ）を画面上に表示する制御を行う（ステップＳ２０６）。
【０１４０】
一方、表示モードがロスレス表示である場合、復号制御部２１０は、時刻ｔにおける拡張レイヤの符号化データを、画像符号化装置１００に対して要求する（ステップＳ２０７）。そして、受信部２１１は、画像符号化装置１００から送信される符号化データを受信する。
【０１４１】
次に、復号部２２１は、受信した符号化データに含まれる符号化画像を復号して、時刻ｔにおける符号化歪を表す拡張レイヤの復号画像Ｑ（ｔ）を生成する（ステップＳ２０８）。次に、生成部２２３は、ロッシー復号画像Ｐ（ｔ）と復号画像Ｑ（ｔ）とを加算し、加算結果から所定の画素値を減算することで、時刻ｔにおける拡張レイヤのロスレス復号画像Ｒ（ｔ）を生成する（ステップＳ２０９）。そして、復号制御部２１０は、ロスレス復号画像Ｒ（ｔ）を画面上に表示する制御を行う（ステップＳ２１０）。
【０１４２】
図３の画像処理ステムと図２の画像符号化装置１００と図３及び図４の画像復号装置２００の構成は一例に過ぎず、画像符号化装置及び画像復号装置の用途や条件に応じて一部の構成要素を省略又は変更してもよい。
【０１４３】
例えば、図１の画像復号装置１００２として図３の画像復号装置２００の構成を採用する場合、図１の復号画像バッファ１４０３及び予測画像生成部１４０４を省略することができる。
【０１４４】
図４の中間色画像生成部２４０３及び中間色画像生成部２５０３の代わりに、すべての画素の画素値が中間値以外の固定値である画像を生成する画像生成部を用いてもよい。また、加算部２５０１が、直接、記憶部２２２が記憶するロッシー復号画像の画素値と、予測誤差復号部２４０１が生成する復号結果とを加算して、拡張レイヤのロスレス復号画像を生成することも可能である。この場合、加算部２４０２、中間色画像生成部２４０３、減算部２５０２、及び中間色画像生成部２５０３を省略することができる。
【０１４５】
２レイヤの品質階層符号化を行う代わりに、３レイヤ以上の品質階層符号化を行ってもよい。また、ＨＥＶＣの品質階層符号化の代わりに、不可逆符号化により符号化した符号化ストリームと可逆符号化により符号化した符号化ストリームとを生成する、他の符号化方式を用いても構わない。
【０１４６】
図６及び図７に示したフローチャートは一例に過ぎず、画像符号化装置及び画像復号装置の構成や条件に応じて一部の処理を省略又は変更してもよい。例えば、図６の画像符号化処理において、基本レイヤと拡張レイヤの符号化パラメータがあらかじめ設定されている場合、ステップＳ１０１及びステップＳ１０４の処理を省略することができる。
【０１４７】
図７のステップＳ２０９において、加算部２５０１が、直接、記憶部２２２が記憶するロッシー復号画像の画素値と、予測誤差復号部２４０１が生成する復号結果とを加算して、拡張レイヤのロスレス復号画像を生成してもよい。
【０１４８】
符号化対象画像は、医用画像に限定されるものではなく、不可逆符号化と可逆符号化の両方が適用される他の画像であってもよい。
【０１４９】
図１の画像符号化装置１００１、画像復号装置１００２、図２の画像符号化装置１００、及び図３の画像復号装置２００は、ハードウェア回路として実装することもでき、図８に示すような情報処理装置（コンピュータ）を用いて実現することもできる。
【０１５０】
図８の情報処理装置は、Central Processing Unit（ＣＰＵ）８０１、メモリ８０２、入力装置８０３、出力装置８０４、補助記憶装置８０５、媒体駆動装置８０６、及びネットワーク接続装置８０７を備える。これらの構成要素はバス８０８により互いに接続されている。
【０１５１】
メモリ８０２は、例えば、Read Only Memory（ＲＯＭ）、Random Access Memory（ＲＡＭ）、フラッシュメモリ等の半導体メモリであり、画像符号化処理又は画像復号処理に用いられるプログラム及びデータを格納する。メモリ８０２は、図１の復号画像バッファ１１０５、復号画像バッファ１２０５、復号画像バッファ１３０３、又は復号画像バッファ１４０３として用いることができる。メモリ８０２は、図３の記憶部２２２として用いることもできる。
【０１５２】
ＣＰＵ８０１（プロセッサ）は、例えば、メモリ８０２を利用してプログラムを実行することにより、図１の符号化部１１００、減算部１１０１、予測誤差符号化部１１０２、予測誤差復号部１１０３、加算部１１０４、及び予測画像生成部１１０６として動作する。ＣＰＵ８０１は、図１の符号化部１２００、減算部１２０１、予測誤差符号化部１２０２、予測誤差復号部１２０３、加算部１２０４、及び予測画像生成部１２０６としても動作する。
【０１５３】
ＣＰＵ８０１は、図１の復号部１３００、予測誤差復号部１３０１、加算部１３０２、予測画像生成部１３０４、復号部１４００、予測誤差復号部１４０１、加算部１４０２、及び予測画像生成部１４０４としても動作する。
【０１５４】
ＣＰＵ８０１は、図２のロッシー符号化制御部１１０、符号化部１１１、ロッシー符号化ヘッダ生成部１１２、ロスレス符号化制御部１２０、符号化部１２１、ロスレス符号化ヘッダ生成部１２２、及び多重化部１３０としても動作する。ＣＰＵ８０１は、図３の復号制御部２１０、復号部２２０、復号部２２１、及び生成部２２３、図４の予測誤差復号部２４０１、加算部２４０２、中間色画像生成部２４０３、加算部２５０１、減算部２５０２、及び中間色画像生成部２５０３としても動作する。
【０１５５】
入力装置８０３は、例えば、キーボード、ポインティングデバイス等であり、ユーザ又はオペレータからの指示や情報の入力に用いられる。出力装置８０４は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザ又はオペレータへの問い合わせや処理結果の出力に用いられる。処理結果には、ロッシー復号画像又はロスレス復号画像が含まれる。
【０１５６】
補助記憶装置８０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置８０５は、ハードディスクドライブであってもよい。補助記憶装置８０５は、図３の記憶部２２２として用いることができる。情報処理装置は、補助記憶装置８０５にプログラム及びデータを格納しておき、それらをメモリ８０２にロードして使用することもできる。
【０１５７】
媒体駆動装置８０６は、可搬型記録媒体８０９を駆動し、その記録内容にアクセスする。可搬型記録媒体８０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体８０９は、Compact Disk Read Only Memory（ＣＤ−ＲＯＭ）、Digital Versatile Disk（ＤＶＤ）、又はUniversal Serial Bus（ＵＳＢ）メモリであってもよい。ユーザ又はオペレータは、この可搬型記録媒体８０９にプログラム及びデータを格納しておき、それらをメモリ８０２にロードして使用することができる。
【０１５８】
このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体には、メモリ８０２、補助記憶装置８０５、及び可搬型記録媒体８０９のような、物理的な（非一時的な）記録媒体が含まれる。
【０１５９】
ネットワーク接続装置８０７は、Local Area Network（ＬＡＮ）、インターネット等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置８０７は、図２の送信部１４０又は図３の受信部２１１として用いることができる。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置８０７を介して受け取り、それらをメモリ８０２にロードして使用することもできる。
【０１６０】
なお、情報処理装置が図８のすべての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。例えば、ユーザ又はオペレータとのインタフェースが不要の場合は、入力装置８０３及び出力装置８０４を省略してもよい。また、情報処理装置が可搬型記録媒体８０９にアクセスしない場合は、媒体駆動装置８０６を省略してもよい。
【０１６１】
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。
【図１】
2016088160.tif 000003
【図２】
2016088160.tif 000004
【図３】
2016088160.tif 000005
【図４】
2016088160.tif 000006
【図５】
2016088160.tif 000007
【図６】
2016088160.tif 000008
【図７】
2016088160.tif 000009
【図８】
2016088160.tif 000010
【手続補正書】
【提出日】平成29年5月31日(2017.5.31)
【手続補正１】
【補正対象書類名】図面
【補正対象項目名】図１
【補正方法】変更
【補正の内容】
【図１】
2016088160.tif 000011
【国際調査報告】
2016088160.tif 000012
2016088160.tif 000013
2016088160.tif 000014
2016088160.tif 000015