(57)【要約】  入力された画像を符号化する符号化装置は、前記画像と、前記画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータとに基づいて、前記目標サイズより大きいサイズの暫定符号化データを得る暫定符号化データ取得部と、前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより前記符号化データを得る符号化データ取得部と、を備え、前記暫定符号化データ取得部は、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも、前記目標サイズに相当するデータ範囲に、前記画像を決定づける特徴をより多く含むように前記暫定符号化データを得る。
2020100435.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像を符号化する符号化装置であって、
前記画像と、前記画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータとに基づいて、前記目標サイズより大きいサイズの暫定符号化データを得る暫定符号化データ取得部と、
前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより前記符号化データを得る符号化データ取得部と、
を備え、
前記暫定符号化データ取得部は、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも、前記目標サイズに相当するデータ範囲に、前記画像を決定づける特徴をより多く含むように前記暫定符号化データを得る
符号化装置。
【請求項２】
前記パラメータの値は、符号量又はレート割合である
請求項１に記載の符号化装置。
【請求項３】
前記符号化データ取得部は、
前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを削除し、前記データの削除がなされたデータを、復号する対象である前記符号化データとする
請求項１又は請求項２に記載の符号化装置。
【請求項４】
第１画像と、前記第１画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータとに基づいて、前記目標サイズより大きいサイズであり、かつ、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも前記目標サイズに相当するデータ範囲に前記第１画像を決定づける特徴をより多く含む暫定符号化データを取得し、前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより前記符号化データを得る符号化装置によって符号化された前記符号化データを復号する復号装置であって、
前記符号化データと前記パラメータとに基づいて、前記第１画像とは異なる第２画像に対応する符号化データから復号画像を得る復号画像取得部
を備える復号装置。
【請求項５】
画像と、前記画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータと、に基づく特徴量であって、前記目標サイズより大きいサイズ、かつ、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも前記目標サイズに相当するデータ範囲に前記画像を決定づける特徴をより多く含むように前記特徴量の抽出を学習する特徴量抽出学習部と、
前記特徴量において、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより変換特徴量を得る変換部と、
前記変換特徴量と前記パラメータとに基づいて、前記画像と同一の画像であると判定される復号画像を得るように前記画像の再構成を学習する復号学習部と、
を有する符号化システム。
【請求項６】
入力された符号化対象データを符号化する符号化装置であって、
前記符号化対象データと、前記符号化対象データが符号化されたデータである符号化データの目標サイズを決定するためのパラメータとに基づいて、前記目標サイズより大きいサイズの暫定符号化データを得る暫定符号化データ取得部と、
前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより前記符号化データを得る符号化データ取得部と、
を備え、
前記暫定符号化データ取得部は、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも、前記目標サイズに相当するデータ範囲に、前記符号化対象データを決定づける特徴をより多く含むように前記暫定符号化データを得る
符号化装置。
【請求項７】
画像と、前記画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータと、に基づく特徴量において、前記目標サイズより大きいサイズ、かつ、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも前記目標サイズに相当するデータ範囲に前記画像を決定づける特徴をより多く含むように前記特徴量の抽出を学習するステップと、
前記特徴量において、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより変換特徴量を得るステップと、
前記変換特徴量と前記パラメータとに基づいて、前記画像と同一の画像であると判定される復号画像を得るように前記画像の再構成を学習するステップと、
を有する学習方法。
【請求項８】
請求項１、２、３又は６に記載の符号化装置、又は請求項４に記載の復号装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化装置、復号装置、符号化システム、学習方法、及びプログラムに関する。
本願は、２０１８年１１月１４日に、日本に出願された特願２０１８−２１３７９１号に基づき優先権を主張し、その内容をここに援用する。
【背景技術】
【０００２】
画像等の符号化対象データを符号化する方法の一つとして、オートエンコーダ（自己符号化器）を利用した方法がある。オートエンコーダは、入力データから特徴量を得るエンコーダと、特徴量から入力データと近しいデータを得るデコーダからなる。エンコーダ及びデコーダは、任意の演算器によって構築される。例えば入力データが画像である場合、エンコーダは畳み込み演算を行う複数の演算器及び非線形変換器の組み合わせによって構成され、デコーダはエンコーダによる畳み込み演算に対する逆演算を行う複数の演算器及び非線形変換器の組み合わせによって構築される。【０００３】
一般的に、オートエンコーダを含むニューラルネットワークを用いてシステムの設計を行う場合、ニューラルネットワークの構成（例えば、階層数、ユニット数、活性化関数の種類、及び出力サイズ等）を事前に決定する必要がある。例えば、サイズがＸ×Ｙ×Ｚであり、１画素のビット精度がＢビットである画像データを入力としたオートエンコーダを設計する場合を考える。ここで、Ｘ，Ｙ，及びＺは、それぞれ画像の幅、高さ、及びチャネル数を示す。そして、エンコーダの出力サイズをＸ’×Ｙ’×Ｚ’、及び１要素のビット精度をＢ’ビットに決定した場合、符号化データサイズ及び圧縮率が一意に定まり、符号化データサイズはＸ’×Ｙ’×Ｚ’×Ｂ’、及び圧縮率は（Ｘ’×Ｙ’×Ｚ’×Ｂ’）／（Ｘ×Ｙ×Ｚ×Ｂ）によって表される。このことから、オートエンコーダによる符号化器は、１つのニューラルネットワークに対して１つの符号化データサイズ及び圧縮率でしか符号化することができない。そのため、任意の圧縮サイズで符号化するためには、複数の符号化データサイズに対して、それぞれニューラルネットワークを設計する必要がある。【０００４】
しかしながら、複数のニューラルネットワークをそれぞれ設計して運用することは、メモリ容量やシステム実装等の観点から実用的でない。これに対し、いくつかの手法が提案されている。例えば、非特許文献１に記載の技術は、入力画像をオートエンコーダに入力して、出力された復号画像と入力画像との差分画像を計算し、その差分画像を再びオートエンコーダに入力して復号差分画像を得る。そして、当該技術は、上記の処理を必要な符号化データサイズになるまで繰り返し行う。これにより、当該技術は、設計されたニューラルネットワークにおける符号化データサイズの倍数となる符号化データサイズで、符号化データサイズを制御する。また、例えば、非特許文献２に記載の技術は、符号化データとは別に、エンコーダ出力の要素ごとに割り当てる符号量（量子化精度）を表した符号量マップを生成する。そして、当該技術は、生成された符号化マップを符号化データとともに伝送することで符号量を制御する。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】G.Toderici et al.,"Full Resolution Image Compression with Recurrent Neural Networks," arXiv, 7 Jul 2017.
【非特許文献２】M.Li et al., "Learning Convolutional Networks for Content-weighted Image Compression," arXiv, 19 Sep 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、非特許文献１に記載の技術は、設計されたニューラルネットワークにおける符号化データサイズの倍数となる符号化データサイズでしか、符号化データサイズを制御することができない。そのため、詳細な制御を行うためには、ニューラルネットワークにおける符号化データサイズを小さく設計する必要がある。この場合、所望の符号化データサイズになるまでに何度もエンコード処理及びデコード処理を行わなければならない。これにより、非特許文献１に記載の技術は、処理時間が増大するという課題がある。また、非特許文献２に記載の技術は、符号量マップが余分なオーバーヘッドになる。これにより、非特許文献２に記載の技術は、符号化データサイズが固定されたニューラルネットワークと比べて、符号化効率が低下するという課題がある。【０００７】
本発明はこのような状況を鑑みてなされたもので、処理時間の増大及び符号化効率の低下を抑えつつ、データを所望の大きさに圧縮することができる技術の提供を目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様は、入力された画像を符号化する符号化装置であって、前記画像と、前記画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータとに基づいて、前記目標サイズより大きいサイズの暫定符号化データを得る暫定符号化データ取得部と、前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより前記符号化データを得る符号化データ取得部と、を備え、前記暫定符号化データ取得部は、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも、前記目標サイズに相当するデータ範囲に、前記画像を決定づける特徴をより多く含むように前記暫定符号化データを得る符号化装置である。【０００９】
また、本発明の一態様は、上記の符号化装置であって、前記パラメータは、符号量又はレート割合である。【００１０】
また、本発明の一態様は、上記の符号化装置であって、前記符号化データ取得部は、前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを削除し、前記データの削除がなされたデータを、復号する対象である前記符号化データとする。【００１１】
また、本発明の一態様は、前記第１画像と、前記第１画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータとに基づいて、前記目標サイズより大きいサイズであり、かつ、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも前記目標サイズに相当するデータ範囲に前記第１画像を決定づける特徴をより多く含む暫定符号化データを取得し、前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより前記符号化データを得る前記符号化装置によって符号化された前記符号化データを復号する復号装置であって、前記符号化データと前記パラメータとに基づいて、前記第１画像とは異なる第２画像に対応する符号化データから復号画像を得る復号画像取得部を備える復号装置である。【００１２】
また、本発明の一態様は、画像と、前記画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータと、に基づく特徴量であって、前記目標サイズより大きいサイズ、かつ、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも前記目標サイズに相当するデータ範囲に前記画像を決定づける特徴をより多く含むように前記特徴量の抽出を学習する特徴量抽出学習部と、前記特徴量において、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより変換特徴量を得る変換部と、前記変換特徴量と前記パラメータとに基づいて、前記画像と同一の画像であると判定される復号画像を得るように前記画像の再構成を学習する復号学習部と、を有する符号化システムである。【００１３】
また、本発明の一態様は、入力された符号化対象データを符号化する符号化装置であって、前記符号化対象データと、前記符号化対象データが符号化されたデータである符号化データの目標サイズを決定するためのパラメータとに基づいて、前記目標サイズより大きいサイズの暫定符号化データを得る暫定符号化データ取得部と、前記暫定符号化データにおいて、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより前記符号化データを得る符号化データ取得部と、を備え、前記暫定符号化データ取得部は、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも、前記目標サイズに相当するデータ範囲に、前記符号化対象データを決定づける特徴をより多く含むように前記暫定符号化データを得る符号化装置である。【００１４】
また、本発明の一態様は、前記画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータと、に基づく特徴量において、前記目標サイズより大きいサイズ、かつ、前記目標サイズに相当するデータ範囲以外のデータ範囲よりも前記目標サイズに相当するデータ範囲に前記画像を決定づける特徴をより多く含むように前記特徴量の抽出を学習するステップと、前記特徴量において、前記目標サイズに相当するデータ範囲以外のデータ範囲のデータを所定の値に変換することにより変換特徴量を得るステップと、前記変換特徴量と前記パラメータとに基づいて、前記画像と同一の画像であると判定される復号画像を得るように前記画像の再構成を学習するステップと、を有する学習方法である。【００１５】
また、本発明の一態様は、上記の符号化装置、又は上記の復号装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【００１６】
本発明により、処理時間の増大及び符号化効率の低下を抑えつつ、データを所望の大きさに圧縮することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る符号化装置１００の機能構成を示すブロック図である。
【図２】本発明の一実施形態に係る符号化装置１００の特徴量抽出部１１０の機能構成を示すブロック図である。
【図３】本発明の一実施形態に係る復号装置２００の機能構成を示すブロック図である。
【図４】本発明の一実施形態に係る復号装置２００の再構成部２４０の機能構成を示すブロック図である。
【図５】本発明の一実施形態に係る符号化装置１００の動作を示すフローチャートである。
【図６】本発明の一実施形態に係る符号化装置１００による符号化処理の流れを示す模式図である。
【図７】本発明の一実施形態に係る復号装置２００の動作を示すフローチャートである。
【図８】本発明の一実施形態に係る復号装置２００による復号処理の流れを示す模式図である。
【図９】本発明の一実施形態に係る符号化装置１００及び復号装置２００による学習処理の流れを示す模式図である。
【発明を実施するための形態】
【００１８】
＜実施形態＞
以下、本発明の実施形態について、図面を参照しながら説明する。以下では、一例として、画像データを符号化する符号化装置１００、及び、画像データを復号する復号装置２００について説明する。但し、以下に説明する符号化装置１００及び復号装置２００は、画像データ以外のデータに対する符号化及び復号にも適用可能である。
【００１９】
［符号化装置１００の構成］
以下、符号化装置１００の構成について説明する。符号化装置１００は、符号化対象データである入力画像と圧縮パラメータとを入力として、入力画像に対応するビットストリームを出力する。圧縮パラメータとは、入力画像が符号化されたデータである符号化データの目標サイズを決定するためのパラメータである。
【００２０】
図１は、本発明の一実施形態に係る符号化装置１００の機能構成を示すブロック図である。図１に示すように、符号化装置１００は、特徴量抽出部１１０と、量子化部１２０と、符号化データ抽出部１３０と、二値化部１４０とを含んで構成される。
【００２１】
特徴量抽出部１１０は、外部の装置から入力画像と圧縮パラメータとを取得する。特徴量抽出部１１０は、取得された入力画像と圧縮パラメータとに基づいて入力画像の特徴量を抽出する。ここで、特徴量抽出部１１０は、圧縮パラメータに基づいた大きさ及び所定の領域に、入力画像の特徴が集中するように特徴量抽出を行う。所定の領域とは、符号化側と復号側で共有できる条件であれば何でもよい。例えば、特徴量データの先頭から順でもよい。条件を符号化側から復号側に伝送してもよい。特徴量抽出部１１０は、抽出された特徴量を示す情報を量子化部１２０へ出力する。
【００２２】
量子化部１２０（暫定符号化データ取得部）は、特徴量抽出部１１０から出力された情報を取得する。量子化部１２０は、取得された情報に基づく特徴量に対して量子化処理を実行し、仮符号化データ（暫定符号化データ）に変換する。量子化部１２０は、生成された仮符号化データを符号化データ抽出部１３０へ出力する。
【００２３】
符号化データ抽出部１３０（符号化データ取得部）は、量子化部１２０から出力された仮符号化データを取得する。また、符号化データ抽出部１３０は、外部の装置から圧縮パラメータを取得する。符号化データ抽出部１３０は、取得された仮符号化データと圧縮パラメータとに基づいて、符号化データを抽出する。符号化データ抽出部１３０は、抽出された符号化データを二値化部１４０へ出力する。
【００２４】
上述したように、特徴量抽出部１１０は、圧縮パラメータに基づいた大きさ及び領域に、入力画像の特徴が集中するように特徴量抽出を行う。符号化データ抽出部１３０で、例えば該領域を除く領域を削除することで、符号化データが圧縮パラメータに基づくサイズ、例えば所望のビットレートになるような処理を行う。
【００２５】
二値化部１４０は、符号化データ抽出部１３０から出力された符号化データを取得する。二値化部１４０は、取得された符号化データを二値化する。二値化部１４０は、二値化された符号化データをビットストリームとして外部の装置へ出力する。
【００２６】
［特徴量抽出部１１０の構成］
以下、特徴量抽出部１１０の構成についてさらに詳しく説明する。特徴量抽出部１１０は、例えば図２に示すようなニューラルネットワーク（畳み込み演算、ダウンサンプリング、及び非線形変換の組み合わせ）を含んで構成される。
【００２７】
図２は、本発明の一実施形態に係る符号化装置１００の特徴量抽出部１１０の機能構成を示すブロック図である。図２に示すように、特徴量抽出部１１０は、サイズ拡大部１１１と、結合部１１２と、Ｎ層からなる抽出部（第１層抽出部１１３−１〜第Ｎ層抽出部１１３−Ｎ）とによって構成される。また、図２に示すように、第１層抽出部１１３−１、・・・、第Ｎ層抽出部１１３−Ｎは、それぞれ、畳み込み部１１５−１とダウンサンプリング部１１６−１と非線形変換部１１７−１、・・・、畳み込み部１１５−Ｎとダウンサンプリング部１１６−Ｎと非線形変換部１１７−Ｎによって構成される。
【００２８】
サイズ拡大部１１１は、外部の装置から圧縮パラメータを取得する。サイズ拡大部１１１は、取得された圧縮パラメータを、入力画像と同じサイズにまで拡大する処理を行う。サイズ拡大部１１１は、拡大された圧縮パラメータを結合部１１２へ出力する。
【００２９】
結合部１１２は、外部の装置から入力画像を取得する。また、結合部１１２は、サイズ拡大部１１１から出力された、拡大された圧縮パラメータを取得する。結合部１１２は、取得された入力画像と拡大された圧縮パラメータとをチャンネル方向に結合する処理を行う。結合部１１２は、拡大された圧縮パラメータが結合された入力画像を第１層抽出部１１３−１の畳み込み部１１５−１へ出力する。
【００３０】
第１層抽出部１１３−１の畳み込み部１１５−１は、結合部１１２から出力された入力画像を取得する。畳み込み部１１５−１は、取得された入力画像に対して畳み込み処理を行う。畳み込み部１１５−１は、畳み込み処理がなされた入力画像をダウンサンプリング部１１６−１へ出力する。
【００３１】
ダウンサンプリング部１１６−１は、畳み込み部１１５−１から出力された入力画像を取得する。ダウンサンプリング部１１６−１は、取得された入力画像をダウンサンプリングする処理を行う。ダウンサンプリング部１１６−１は、ダウンサンプリングされた入力画像を非線形変換部１１７−１へ出力する。
【００３２】
非線形変換部１１７−１は、ダウンサンプリング部１１６−１から出力された入力画像を取得する。非線形変換部１１７−１は、取得された入力画像の各要素に対して非線形変換する処理を行う。非線形変換部１１７−１は、非線形変換処理がなされた入力画像を、次の層の抽出部の畳み込み部へ出力する。
【００３３】
上記の処理を第１層から第Ｎ層まで繰り返すことにより、特徴量抽出部１１０は、取得された入力画像と圧縮パラメータとに基づいて入力画像の特徴量を抽出する。第Ｎ層抽出部１１３−Ｎの非線形変換部１１７−Ｎは、抽出された特徴量を示す情報を量子化部１２０へ出力する。
【００３４】
［復号装置２００の構成］
以下、復号装置２００の構成について説明する。復号装置２００は、ビットストリームを入力として、入力画像に対応する復号画像を出力する。
【００３５】
図３は、本発明の一実施形態に係る復号装置２００の機能構成を示すブロック図である。図３に示すように、復号装置２００は、逆二値化部２１０と、符号化データ伸張部２２０と、圧縮パラメータ算出部２３０と、再構成部２４０とを含んで構成される。
【００３６】
逆二値化部２１０は、外部の装置からビットストリームを取得する。逆二値化部２１０は、取得されたビットストリームを符号化データに変換する。逆二値化部２１０は、生成された符号化データを、符号化データ伸張部２２０及び圧縮パラメータ算出部２３０へそれぞれ出力する。
【００３７】
符号化データ伸張部２２０は、逆二値化部２１０から出力された符号化データを取得する。符号化データ伸張部２２０は、取得された符号化データの要素数を、符号化装置１００の量子化部１２０によって生成される仮符号化データと同じ要素数まで伸張することにより仮符号化データを生成する。符号化データ伸張部２２０は、生成された仮符号化データを、圧縮パラメータ算出部２３０及び再構成部２４０へそれぞれ出力する。
【００３８】
圧縮パラメータ算出部２３０は、逆二値化部２１０から出力された符号化データを取得する。また、圧縮パラメータ算出部２３０は、符号化データ伸張部２２０から出力された仮符号化データを取得する。圧縮パラメータ算出部２３０は、取得された符号化データと仮符号化データとに基づいて圧縮パラメータを算出する。圧縮パラメータ算出部２３０は、算出された圧縮パラメータを再構成部２４０へ出力する。
【００３９】
再構成部２４０（復号画像取得部）は、符号化データ伸張部２２０から出力された仮符号化データを取得する。また、再構成部２４０は、圧縮パラメータ算出部２３０から出力された圧縮パラメータを取得する。再構成部２４０は、仮符号化データと圧縮パラメータとに基づいて復号画像を再構成する。再構成部２４０は、再構成された復号画像を外部の装置へ出力する。
【００４０】
［再構成部２４０の構成］
以下、再構成部２４０の構成についてさらに詳しく説明する。再構成部２４０は、例えば図４に示すようなニューラルネットワーク（逆畳み込み演算及び非線形変換の組み合わせ）を含んで構成される。
【００４１】
図４は、本発明の一実施形態に係る復号装置２００の再構成部２４０の機能構成を示すブロック図である。図４に示すように、再構成部２４０は、サイズ拡大部２４１と、結合部２４２と、Ｍ層からなる構成部（第１層構成部２４３−１〜第Ｍ層構成部２４３−Ｍ）とによって構成される。また、図４に示すように、第１層構成部２４３−１、・・・、第Ｍ層構成部２４３−Ｍは、それぞれ、逆畳み込み部２４５−１と非線形変換部２４６−１、・・・、逆畳み込み部２４５−Ｍと非線形変換部２４６−Ｍとによって構成される。
【００４２】
サイズ拡大部２４１は、圧縮パラメータ算出部２３０から出力された圧縮パラメータを取得する。サイズ拡大部２４１は、取得された圧縮パラメータを、入力画像と同じサイズにまで拡大する処理を行う。サイズ拡大部２４１は、予め定められた「０」等の値を付与することで、入力画像と同じサイズにまで拡大する処理を行う。サイズ拡大部２４１は、拡大された圧縮パラメータを結合部２４２へ出力する。
【００４３】
結合部２４２は、符号化データ伸張部２２０から仮符号化データを取得する。また、結合部１１２は、サイズ拡大部２４１から出力された、拡大された圧縮パラメータを取得する。結合部２４２は、取得された仮符号化データと拡大された圧縮パラメータとをチャンネル方向に結合する処理を行う。結合部２４２は、拡大された圧縮パラメータが結合された仮符号化データを第１層構成部２４３−１の逆畳み込み部２４５−１へ出力する。
【００４４】
第１層構成部２４３−１の逆畳み込み部２４５−１は、結合部２４２から出力された仮符号化データを取得する。逆畳み込み部２４５−１は、取得された仮符号化データに対して、符号化装置１００の特徴量抽出部１１０による畳み込み演算に対する逆演算を行う。逆畳み込み部２４５−１は、逆演算された仮符号化データを非線形変換部２４６−１へ出力する。
【００４５】
非線形変換部２４６−１は、逆畳み込み部２４５−１から出力された仮符号化データを取得する。非線形変換部２４６−１は、取得された仮符号化データの各要素に対して非線形変換する処理を行う。非線形変換部２４６−１は、非線形変換処理がなされた仮符号化データを、次の層の構成部の逆畳み込み部へ出力する。
【００４６】
上記の処理を第１層から第Ｍ層まで繰り返すことにより、再構成部２４０は、取得された仮符号化データと圧縮パラメータとに基づいて復号画像を再構成する。第Ｍ層構成部２４３−Ｍの非線形変換部２４６−Ｍは、再構成された復号画像を外部の装置へ出力する。
【００４７】
上述したように、符号化装置１００から送信される仮符号化データは、入力画像の特徴が集中している領域のみを示すデータである。言い換えると、復号装置２００の再構成部２４０により復号画像を得るためには、符号化装置１００の符号化データ抽出部１３０により削除された領域を補う必要がある。符号化データ抽出部１３０において削除された領域は入力画像の特徴ではないため、復号装置２００の再構成部２４０のサイズ拡大部２４１は、上述したように、予め定められた「０」等の値を仮符号化データに付与することで、再構成部２４０が仮符号化データから復号画像を得られることができる。
【００４８】
［符号化装置１００の動作］
以下、符号化装置１００の動作について、具体例を挙げて説明する。
図５は、本発明の一実施形態に係る符号化装置１００の動作を示すフローチャートである。また、図６は、本発明の一実施形態に係る符号化装置１００による符号化処理の流れを示す模式図である。
【００４９】
まず、符号化対象の入力画像をＩ（ｘ，ｙ，ｚ）、及び圧縮パラメータをＲとして定義する。ここで、ｘは水平方向の変数、ｙは垂直方向の変数、及びｚはチャンネル方向の変数を示す。また、ｘ，ｙ，ｚの次元数をそれぞれＸ，Ｙ，Ｚとする。また、１要素のビット精度をＢビットとする。例えば、入力画像Ｉ（ｘ，ｙ，ｚ）がグレー画像である場合にはＺ＝１であり、入力画像Ｉ（ｘ，ｙ，ｚ）がＲＧＢ画像である場合にはＺ＝３である。また、圧縮パラメータＲは、所望の符号化データサイズ（目標サイズ）を決定することができるパラメータである。本実施形態では、一例として、圧縮パラメータＲは、０＜Ｒ≦１の範囲の値を取りうる、圧縮率を示すパラメータであるものとする。なお、圧縮率とは、符号化データサイズ／入力画像Ｉ（ｘ，ｙ，ｚ）のサイズ、によって算出される比率である。
【００５０】
特徴量抽出部１１０は、入力画像Ｉ（ｘ，ｙ，ｚ）に対して、圧縮パラメータＲをパラメータとする特徴量抽出処理を行うことにより、特徴量Ｆ（ｘ，ｙ，ｚ）を抽出する（ステップＳ１０１）。ここで、ｘ，ｙ，ｚの次元数をそれぞれＸ’，Ｙ’，Ｚ’とする。特徴量抽出処理としては、上述した、例えば図２に示すようなニューラルネットワークが用いられる。
【００５１】
量子化部１２０は、特徴量Ｆ（ｘ，ｙ，ｚ）を、所定の順序で１次元のベクトルに変形する。そして、量子化部１２０は、各要素が所定のビット精度Ｂ’となるように量子化処理を行い、仮符号化データを生成する（ステップＳ１０２）。
【００５２】
符号化データ抽出部１３０は、仮符号化データの先頭から、圧縮パラメータＲから計算される符号化データサイズ分のデータを抽出することにより、符号化データを得る（ステップＳ１０３）。
【００５３】
二値化部１４０は、符号化データを二値化することにより、ビットストリームを得る（ステップＳ１０４）。
【００５４】
［復号装置２００の動作］
以下、復号装置２００の動作について、具体例を挙げて説明する。
図７は、本発明の一実施形態に係る復号装置２００の動作を示すフローチャートである。また、図８は、本発明の一実施形態に係る復号装置２００による復号処理の流れを示す模式図である。
【００５５】
逆二値化部２１０は、ビットストリームを逆二値化し、符号化データに変換する（ステップＳ２０１）。
符号化データ伸張部２２０は、符号化データを符号化装置１００の仮符号化データと同じ要素数になるまで伸張し、仮符号化データ（変換特徴量）を生成する。具体的には、符号化データ伸張部２２０（変換部）は、符号化データに対して、不足している要素数の分だけ所定の値（図８に示すように、例えば０）を追加する（ステップＳ２０２）。
【００５６】
圧縮パラメータ算出部２３０は、符号化データと仮符号化データとに基づいて、圧縮パラメータＲを算出する。具体的には、圧縮パラメータ算出部２３０は、符号化データに対応する復号画像のデータサイズ（すなわち、Ｘ×Ｙ×Ｚ×Ｂ）を算出する。そして、圧縮パラメータ算出部２３０は、圧縮パラメータＲを、Ｒ＝（Ｘ’×Ｙ’×Ｚ’×Ｂ’）／（Ｘ×Ｙ×Ｚ×Ｂ）として算出する（ステップＳ２０３）。
【００５７】
再構成部２４０は、仮符号化データを再構成処理の入力サイズに整形する。そして、再構成部２４０は、仮符号化データに対して、圧縮パラメータＲをパラメータとする再構成処理を行うことにより、復号画像Ｉ’（ｘ，ｙ，ｚ）を生成する（ステップＳ２０４）。再構成処理としては、上述した、例えば図４に示すようなニューラルネットワークが用いられる。
【００５８】
なお、特徴量の次元数は、Ｘ×Ｙ×Ｚ×Ｂ＝Ｘ’×Ｙ’×Ｚ’×Ｂ’を満たすように設計されることが最善である。しかしながら、これは必須条件ではなく、例えば、Ｘ×Ｙ×Ｚ×Ｂ＞Ｘ’×Ｙ’×Ｚ’×Ｂ’として設計されてもよい。但し、その場合には、入力できる圧縮パラメータＲの最大値に上限が付く。
【００５９】
なお、二値化されたビットストリーム（符号化データ）に対してエントロピー符号化を行う構成にしてもよい。この場合、エントロピー符号化後の符号量がフィードバックされることによって、レート制御を行うことが可能になる。例えば、画像をブロックに分割して、あるブロックをレート割合０．５（５０％）で符号化し、エントロピー符号化した結果が例えば０．４になってしまった場合に、その次のブロックの符号化においてはレート割合を例えば０．６として符号化すること等によって、全体のレート制御を行うことができる。
【００６０】
［学習処理の流れ］
次に、本実施形態における特徴量抽出部１１０（特徴量抽出学習部）、及び再構成部２４０（復号学習部）を構成するニューラルネットワークにおける学習方法について説明する。ここで、ニューラルネットワークはオートエンコーダであり、入力画像と同一の画像であると判定される復号画像を得るように学習が行われる。特徴量抽出部１１０における学習と、再構成部２４０における学習とは、同時に行われる。
【００６１】
学習処理の事前準備として、入力画像Ｉ（ｘ，ｙ，ｚ）及び圧縮パラメータＲのセットをサンプルデータとするデータセットを用意する。圧縮パラメータＲは、その取りうる値から一様分布のランダム値とする。まず、上述した符号化装置１００による符号化処理によって、入力画像Ｉ（ｘ，ｙ，ｚ）に対するビットストリームを得る。そして、そのビットストリームから、上述した復号装置２００による復号処理によって復号画像を得る。次に、下記の式（１）によって定義される損失関数を用いて損失値ｌｏｓｓを算出する。
【００６２】
ｌｏｓｓ＝ΣｘΣｙΣｚｄｉｆｆ（Ｉ（ｘ，ｙ，ｚ），Ｉ’（ｘ，ｙ，ｚ））
・・・（１）
【００６３】
ここで、ｄｉｆｆ（ａ，ｂ）は、ａとｂとの距離を測る関数（例えば二乗誤差など）である。なお、上記の式（１）で定義される損失関数は一例であり、一部の誤差のみを算出したり、異なる誤差項を追加したりしてもよい。
【００６４】
算出された損失値ｌｏｓｓを用いて、逆誤差伝播法などにより、特徴量抽出部１１０のパラメータ、及び再構成部２４０のパラメータを更新する。上記の一連の流れを１回とし、複数のサンプルデータで一定回数、あるいは、損失値ｌｏｓｓが収束するまで繰り返されることによって、特徴量抽出部１１０、及び再構成部２４０を構成するニューラルネットワークにおける学習が行われる。
【００６５】
以上説明したように、本発明の一実施形態に係る符号化装置１００及び復号装置２００は、圧縮パラメータをパラメータとして、特徴量抽出処理及び再構成処理を行う。また、符号化装置１００及び復号装置２００は、学習時に先頭から必要な符号化データサイズ分のデータ（目標サイズに相当するデータ範囲）のみを抽出し、それ以外（目標サイズに相当するデータ範囲以外のデータ範囲）を所定の値（例えば０）で埋めてから復号する。このような構成を備えることにより、符号化装置１００及び復号装置２００は、画像を圧縮（低次元化）した際に、画像の主な特徴を表現するパラメータが、圧縮されたデータにおける所望のデータ範囲（例えば、符号化データの先頭から必要な符号化データサイズ分の要素）に密集するように（すなわち、画像を決定づける特徴をより多く含むように）学習する。
【００６６】
そのため、本発明の一実施形態に係る符号化装置１００及び復号装置２００によれば、オートエンコーダシステムを複数の符号化データサイズで個別に設計した時と同じ効果を、１つのシステムで実現することができる。また、従来技術１のように何度もエンコード・デコード処理を行うこともなく、従来技術２のようにオーバーヘッドも必要としない。これにより、本発明の一実施形態に係る符号化装置１００及び復号装置２００によれば、処理時間の増大及び符号化効率の低下を抑えつつ、データを所望の大きさに圧縮することができる。
【００６７】
上述した実施形態における符号化装置１００及び復号装置２００の一部又は全部を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００６８】
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び要旨を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよい。
【符号の説明】
【００６９】
１００    符号化装置
１１０    特徴量抽出部
１１１    サイズ拡大部
１１２    結合部
１１５−１〜１１５−Ｎ    畳み込み部
１１６−１〜１１６−Ｎ    ダウンサンプリング部
１１７−１〜１１７−Ｎ    非線形変換部
１２０    量子化部
１３０    符号化データ抽出部
１４０    二値化部
２００    復号装置
２１０    逆二値化部
２２０    符号化データ伸張部
２３０    圧縮パラメータ算出部
２４０    再構成部
２４１    サイズ拡大部
２４２    結合部
２４５−１〜２４５−Ｍ    逆畳み込み部
２４６−１〜２４６−Ｍ    非線形変換部
【図１】
2020100435.tif 000003
【図２】
2020100435.tif 000004
【図３】
2020100435.tif 000005
【図４】
2020100435.tif 000006
【図５】
2020100435.tif 000007
【図６】
2020100435.tif 000008
【図７】
2020100435.tif 000009
【図８】
2020100435.tif 000010
【図９】
2020100435.tif 000011
【国際調査報告】
2020100435.tif 000012
2020100435.tif 000013
2020100435.tif 000014
2020100435.tif 000015