(57)【要約】【課題】演算コストを抑えつつ、品質と符号量とを調整すること。【解決手段】処理対象画像の画素値を更新して新たな画像を生成する画像処理装置は、処理対象画像と少なくとも１つのフィルタとによって生成された第１の特徴マップに基づいて第１の特徴ベクトルを生成し、処理対象画像を更新して更新画像を生成し、更新画像と少なくとも１つのフィルタとによって生成された第２の特徴マップに基づいて第２の特徴ベクトルを生成し、第１の特徴ベクトルと第２の特徴ベクトルとに基づいて更新画像の品質評価を行い品質評価の結果に基づくベクトルである品質フィードバックベクトルを生成し、更新画像に対する符号量評価を行い、符号量評価の結果に基づくベクトルである符号量フィードバックベクトルを生成し、品質フィードバックベクトルと符号量フィードバックベクトルとに基づいて更新画像の更新における更新量を決定する。【選択図】図１
2020039087.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像の画素値を更新して新たな画像を生成する画像処理装置であって、
前記処理対象画像と予め定められた少なくとも１つのフィルタとによって生成された第１の特徴マップに基づいて第１の特徴ベクトルを生成する第１特徴ベクトル生成部と、
前記処理対象画像を更新し更新画像を生成する画像更新部と、
前記更新画像と予め定められた少なくとも１つのフィルタとによって生成された第２の特徴マップに基づいて第２の特徴ベクトルを生成する第２特徴ベクトル生成部と、
前記第１の特徴ベクトルと前記第２の特徴ベクトルとに基づいて前記更新画像の品質評価を行い、前記品質評価の結果に基づくベクトルである品質フィードバックベクトルを生成する品質評価部と、
前記更新画像に対する符号量評価を行い、前記符号量評価の結果に基づくベクトルである符号量フィードバックベクトルを生成する符号量評価部と、
前記品質フィードバックベクトルと前記符号量フィードバックベクトルとに基づいて前記更新画像の更新における更新量を決定する更新量決定部と、
を備える画像処理装置。
【請求項２】
前記第１の特徴マップ及び前記第２の特徴マップのうち少なくとも一方は、複数の前記フィルタによる階層的な畳み込み処理が行われることによって生成される
請求項１に記載の画像処理装置。
【請求項３】
前記第１の特徴ベクトル及び前記第２の特徴ベクトルのうち少なくとも一方は、前記第１の特徴マップ又は前記第２の特徴マップの統計量に基づいて生成される
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記第１の特徴ベクトル及び前記第２の特徴ベクトルのうち少なくとも一方は、前記第１の特徴マップどうしの相互相関又は前記第２の特徴マップどうしの相互相関に基づいて生成される
請求項１又は請求項２に記載の画像処理装置。
【請求項５】
処理対象画像の画素値を更新して新たな画像を生成する画像処理装置が行う画像処理方法であって、
前記処理対象画像と予め定められた少なくとも１つのフィルタとによって生成された第１の特徴マップに基づいて第１の特徴ベクトルを生成する第１特徴ベクトル生成ステップと、
前記処理対象画像を更新し更新画像を生成する画像更新ステップと、
前記更新画像と予め定められた少なくとも１つのフィルタとによって生成された第２の特徴マップに基づいて第２の特徴ベクトルを生成する第２特徴ベクトル生成ステップと、
前記第１の特徴ベクトルと前記第２の特徴ベクトルとに基づいて前記更新画像の品質評価を行い、前記品質評価の結果に基づくベクトルである品質フィードバックベクトルを生成する品質評価ステップと、
前記更新画像に対する符号量評価を行い、前記符号量評価の結果に基づくベクトルである符号量フィードバックベクトルを生成する符号量評価ステップと、
前記品質フィードバックベクトルと前記符号量フィードバックベクトルとに基づいて前記更新画像の更新における更新量を決定する更新量決定ステップと、
を有する画像処理方法。
【請求項６】
請求項１から請求項４のうちいずれか一項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
一般に、動画像を符号化する際には、ストレージ又は伝送ネットワークの帯域の制約から、目標とするビットレートに合わせて符号量を制御する必要がある。一般的な符号化装置は、その内部に符号量制御機構を備えており、符号化・復号後の画質と発生符号量のバランスとを鑑みて符号量制御を行う。
【０００３】
一般的な動画像符号化の標準規格であるＨ．２６４／ＡＶＣ及びＨ．２６５／ＨＥＶＣでは、ＤＣＴ（Discrete Cosine Transform；離散コサイン変換）やＤＳＴ（Discrete Sine Transform；離散サイン変換）の係数を量子化する際のＱＰ（Quantization Parameter；量子化パラメータ）を調整することで、発生符号量を制御する。一方、ＱＰの上昇に伴う高周波成分の欠落、及びブロック境界に発生するブロック歪みが、画像品質に影響を与える。
【０００４】
一般的な符号化装置は、品質と符号量との調整を行うために、品質評価と符号量評価とのトレードオフ評価を内部に備える。しかしながら、パラメータを調整する度に再度符号化を行う必要があるため、演算コストが高くなる。そのため、より簡易に、品質と符号量との調整を行う方法が求められている。
【０００５】
これに対し、例えば、符号化対象となる動画像に前処理を行う方法が提案されている。例えば非特許文献１には、前処理としてローパスフィルタを画像に適用し、一般に多くの符号量を必要とする高周波成分を予め取り除くことで、本来その高周波成分に対して割かれるはずだった符号量を画面全体に分散させ、ブロック歪みの抑制を図る技術が記載されている。また、例えば非特許文献２には、適応的フィルタを画像に適用してノイズ成分を除去し、符号量の削減を図る技術が記載されている。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】I.Kopilovic and T.Sziranyi, "Artifact reduction with diffusion preprocessing for image compression," Optical Engineering, vol.44, no.2, pp.1-14, February 2005.
【非特許文献２】E.Vidal, N.Sturmel, C.Guillemot, P.Corlay and F.X.Coudoux, "New Adaptive Filters as Perceptual Preprocessing for Rate-Quality Performance Optimization of Video Coding," Signal Processing: Image Communication, vol.52, pp.124-137, 2017.
【非特許文献３】L.A.Gatys, A.S.Ecker, and M.Bethge, "Image Style Transfer Using Convolutional Neural Networks," IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp.2414-2423, June 2016.
【非特許文献４】X.Jing and L.P.Chau, "A Novel Intra-Rate Estimation Method for H.264 Rate Control," IEEE International Symposium on Circuits and Systems, pp.5019-5022, May 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、事前に符号化対象画像の高周波成分を除去することにより、符号量の削減を図ることが可能である。しかしながら、フィルタリング処理によって全体的に画像のディティールが欠損し、対象となる画像によってはコンテキストに関わる情報が欠損する。これにより、画像の品質が低下する。これに対し、ノイズ等の劣化モデルを仮定することによって品質への影響を抑制することはできるが、適用対象となる画像は限定的であり、モデルに当てはまらない画像に対しては効果がない。また、実際に削減される符号量を制御することも困難である。
【０００８】
本発明はこのような状況を鑑みてなされたもので、演算コストを抑えつつ、品質と符号量とを調整することができる技術の提供を目的としている。
【課題を解決するための手段】
【０００９】
本発明の一態様は、処理対象画像の画素値を更新して新たな画像を生成する画像処理装置であって、前記処理対象画像と予め定められた少なくとも１つのフィルタとによって生成された第１の特徴マップに基づいて第１の特徴ベクトルを生成する第１特徴ベクトル生成部と、前記処理対象画像を更新し更新画像を生成する画像更新部と、前記更新画像と予め定められた少なくとも１つのフィルタとによって生成された第２の特徴マップに基づいて第２の特徴ベクトルを生成する第２特徴ベクトル生成部と、前記第１の特徴ベクトルと前記第２の特徴ベクトルとに基づいて前記更新画像の品質評価を行い、前記品質評価の結果に基づくベクトルである品質フィードバックベクトルを生成する品質評価部と、前記更新画像に対する符号量評価を行い、前記符号量評価の結果に基づくベクトルである符号量フィードバックベクトルを生成する符号量評価部と、前記品質フィードバックベクトルと前記符号量フィードバックベクトルとに基づいて前記更新画像の更新における更新量を決定する更新量決定部と、を備える画像処理装置である。
【００１０】
また、本発明の一態様は上記の画像処理装置であって、前記第１の特徴マップ及び前記第２の特徴マップのうち少なくとも一方は、複数の前記フィルタによる階層的な畳み込み処理が行われることによって生成される。
【００１１】
また、本発明の一態様は上記の画像処理装置であって、前記第１の特徴ベクトル及び前記第２の特徴ベクトルのうち少なくとも一方は、前記第１の特徴マップ又は前記第２の特徴マップの統計量に基づいて生成される。
【００１２】
また、本発明の一態様は上記の画像処理装置であって、前記第１の特徴ベクトル及び前記第２の特徴ベクトルのうち少なくとも一方は、前記第１の特徴マップどうしの相互相関又は前記第２の特徴マップどうしの相互相関に基づいて生成される。
【００１３】
また、本発明の一態様は、処理対象画像の画素値を更新して新たな画像を生成する画像処理装置が行う画像処理方法であって、前記処理対象画像と予め定められた少なくとも１つのフィルタとによって生成された第１の特徴マップに基づいて第１の特徴ベクトルを生成する第１特徴ベクトル生成ステップと、前記処理対象画像を更新し更新画像を生成する画像更新ステップと、前記更新画像と予め定められた少なくとも１つのフィルタとによって生成された第２の特徴マップに基づいて第２の特徴ベクトルを生成する第２特徴ベクトル生成ステップと、前記第１の特徴ベクトルと前記第２の特徴ベクトルとに基づいて前記更新画像の品質評価を行い、前記品質評価の結果に基づくベクトルである品質フィードバックベクトルを生成する品質評価ステップと、前記更新画像に対する符号量評価を行い、前記符号量評価の結果に基づくベクトルである符号量フィードバックベクトルを生成する符号量評価ステップと、前記品質フィードバックベクトルと前記符号量フィードバックベクトルとに基づいて前記更新画像の更新における更新量を決定する更新量決定ステップと、を有する画像処理方法である。
【００１４】
また、本発明の一態様は、上記の画像処理装置としてコンピュータを機能させるための画像処理プログラムである。
【発明の効果】
【００１５】
本発明により、演算コストを抑えつつ、品質と符号量とを調整することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態による画像処理装置１００の機能構成を示すブロック図である。
【図２】処理対象画像と生成される特徴マップの一例を示す図である。
【図３】本発明の一実施形態による画像処理装置１００の動作を示すフローチャートである。
【発明を実施するための形態】
【００１７】
＜実施形態＞
以下、本発明の一実施形態に係る画像処理装置について説明する。
【００１８】
［画像処理装置の機能構成］
以下、画像処理装置の機能構成について、図面を参照しながら説明する。
図１は、本発明の一実施形態による画像処理装置１００の機能構成を示すブロック図である。
【００１９】
図１に示すように、画像処理装置１００は、画像入力部１０１と、画像記憶部１０２と、参照特徴マップ生成部１０３と、参照特徴ベクトル生成部１０４（第１特徴ベクトル生成部）と、参照特徴ベクトル記憶部１０５と、画像更新部１０６と、更新特徴マップ生成部１０７と、更新特徴ベクトル生成部１０８（第２特徴ベクトル生成部）と、品質評価部１０９と、符号量評価部１１０と、更新量決定部１１１と、を備えている。
【００２０】
画像入力部１０１は、符号化処理の処理対象となる画像（以下「処理対象画像」という。）の入力を受け付ける。画像入力部１０１は、入力された処理対象画像を、画像記憶部１０２へ出力する。
【００２１】
画像記憶部１０２は、画像入力部１０１から入力された処理対象画像を記憶する。画像記憶部１０２は、例えばＲＡＭ（Random Access Memory；読み書き可能なメモリ）等の揮発性の記録媒体である。
【００２２】
参照特徴マップ生成部１０３は、画像記憶部１０２から処理対象画像を取得する。参照特徴マップ生成部１０３は、処理対象画像と少なくとも１つのフィルタ（図示せず）とに基づいて、特徴マップを生成する。なお、参照特徴マップ生成部１０３によって生成される特徴マップを、以下「参照特徴マップ」という。参照特徴マップ生成部１０３は、生成された参照特徴マップ（第１の特徴マップ）を、参照特徴ベクトル生成部１０４へ出力する。
【００２３】
なお、特徴マップとは、フィルタによってフィルタ処理が施された画像を示す。したがって、参照特徴マップは、フィルタによって処理対象画像に対してフィルタ処理が施された画像である。
【００２４】
なお、ここで用いられるフィルタは、任意のフィルタで構わない。例えば、エッジ抽出フィルタ、平滑化フィルタ、先鋭化フィルタ、又は統計フィルタ等の、任意の線形又は非線形のフィルタを使用することができる。
【００２５】
例えば、エッジ抽出フィルタが用いられた場合における、推定対象画像と生成される特徴マップの一例を図２に示す。図２（Ａ）は、コンクリート構造物のひび割れが発生した箇所が撮像された推定対象画像である。これに対し、図２（Ｂ）は、図２（Ａ）の推定対象画像に対し、エッジ抽出フィルタによりフィルタ処理が施されることによって生成された特徴マップである。このように、エッジ抽出フィルタが用いられた場合には、特徴マップは、推定対象画像において明るさ（濃淡）あるいは色が急に変化している箇所（エッジ）を表す画像である。
【００２６】
参照特徴ベクトル生成部１０４は、参照特徴マップ生成部１０３から入力された参照特徴マップに基づいて、特徴ベクトルを生成する。なお、参照特徴ベクトル生成部１０４によって生成される特徴ベクトルを、以下「参照特徴ベクトル」という。参照特徴ベクトル生成部１０４は、生成された参照特徴ベクトル（第１の特徴ベクトル）を、参照特徴ベクトル記憶部１０５へ出力する。
【００２７】
なお、ここでいう特徴ベクトルとは、特徴マップの変化領域に対応する画像が符号化されたデータに基づいて算出されるベクトル値である。
【００２８】
参照特徴ベクトル記憶部１０５は、参照特徴ベクトル生成部１０４から入力された参照特徴ベクトルを記憶する。参照特徴ベクトル記憶部１０５は、例えばＲＡＭ等の揮発性の記録媒体である。
【００２９】
画像更新部１０６は、画像記憶部１０２から処理対象画像を取得する。画像更新部１０６は、後述する更新量決定部１１１から入力された更新量に従って処理対象画像の画素値を更新することにより、更新画像を生成する。画像更新部１０６は、生成された更新画像を、更新特徴マップ生成部１０７及び符号量評価部１１０へ出力する。
また、画像更新部１０６は、所定の条件が満たされた場合、更新特徴マップ生成部１０７及び符号量評価部１１０への更新画像の出力を終了し、外部の装置へ更新画像を出力する。なお、所定の条件とは、例えば、所定の回数の更新画像の生成が行われること、あるいは、任意の評価方法によって行われる更新画像の評価結果の値が所定の値に達したこと等である。
【００３０】
更新特徴マップ生成部１０７は、画像更新部１０６から入力された更新画像と少なくとも１つのフィルタ（図示せず）とに基づいて、少なくとも１つの特徴マップを生成する。なお、更新特徴マップ生成部１０７によって生成される特徴マップを、以下「更新特徴マップ」という。更新特徴マップ生成部１０７は、生成された更新特徴マップ（第２の特徴マップ）を、更新特徴ベクトル生成部１０８へ出力する。
【００３１】
更新特徴ベクトル生成部１０８は、更新特徴マップ生成部１０７から入力された更新特徴マップに基づいて、特徴ベクトル（以下「更新特徴ベクトル」という。）を生成する。更新特徴ベクトル生成部１０８は、生成した更新特徴ベクトル（第２の特徴ベクトル）を品質評価部１０９へ出力する。
【００３２】
品質評価部１０９は、参照特徴ベクトル記憶部１０５から参照特徴ベクトルを取得する。品質評価部１０９は、参照特徴ベクトルと更新特徴ベクトル生成部１０８から入力された更新特徴ベクトルとに基づいて更新画像の品質を評価し、品質評価の結果を示すベクトル値である品質フィードバックベクトルを生成する。品質評価部１０９は、生成された品質フィードバックベクトルを、更新量決定部１１１へ出力する。
なお、上記更新画像の品質評価の評価方法には、任意の方法を用いることができる。例えば、後述する損失関数による評価方法を用いることができる。
【００３３】
符号量評価部１１０は、画像更新部１０６から入力された更新画像の符号量を評価し、符号量評価の結果を示すベクトル値である符号量フィードバックベクトルを生成する。符号量評価部１１０は、生成された符号量フィードバックベクトルを、更新量決定部１１１へ出力する。
なお、上記更新画像の符号量評価の評価方法には、任意の方法を用いることができる。例えば、後述する損失関数による評価方法を用いることができる。
【００３４】
更新量決定部１１１は、品質評価部１０９から入力された品質フィードバックベクトルと、符号量評価部１１０から入力された符号量フィードバックベクトルと、に基づいて更新量を決定する。更新量決定部１１１は、決定された更新量を示す情報を、画像更新部１０６へ出力する。
【００３５】
［画像処理装置の動作］
以下、画像処理装置の動作の一例について、図面を参照しながら説明する。
図３は、本発明の一実施形態による画像処理装置１００の動作を示すフローチャートである。
【００３６】
まず、画像入力部１０１は、処理対象画像の入力を受け付ける。画像記憶部１０２は、入力された処理対象画像を記憶する（ステップＳ１０１）。
次に、参照特徴マップ生成部１０３は、画像記憶部１０２に記憶された処理対象画像と少なくとも１つのフィルタとに基づいて、少なくとも１つの参照特徴マップを生成する（ステップＳ１０２）。
【００３７】
なお、ステップＳ１０２において使用されるフィルタは、上述したように、任意のフィルタで構わない。なお、使用するフィルタの数、及び使用するフィルタの組み合わせも任意である。例えば、処理対象画像に対して線形フィルタが適用された情報に対して、更に、絶対値、ステップ関数、シグモイド関数、ソフトサイン、又はランプ関数等の非線形関数が更に適用された情報を、特徴マップとする構成でもよい。
【００３８】
なお、特徴マップは、任意の階数及び任意の要素数のテンソルでよい。したがって、例えば、特徴マップが２階のテンソルである場合には、その要素数が、入力された処理対象画像の要素数と同一である必要はない。すなわち、特徴マップの画素数は、処理対象画像の画素数より多くてもよいし、少なくてもよい。
なお、生成される特徴マップの数も任意である。
【００３９】
以下、説明を簡単にするため、処理対象画像Ｉがｎ×ｎの２階のテンソルであり、処理対象画像Ｉに対してｍ個のフィルタｆｉが畳み込まれ、それぞれの結果に対して非線形関数ｇが適用された情報を特徴マップとする場合について説明する。
ｉ番目の特徴マップφｉは以下の式（１）で表される。
【００４０】
【数１】
2020039087.tif 000003
【００４１】
なお、生成された特徴マップに対して更に階層的に複数の任意のフィルタを適用し、各階層におけるフィルタの適用結果の全て又は一部を、特徴マップとしてもよい。なお、階層的なフィルタ処理（畳み込み処理）によって得られる特徴マップの各階層において、上位の層にはディティールに関わる特徴が反映され、下位の層には画像のコンテキストに関わる特徴が反映されることが知られている。
【００４２】
再び図３に戻って説明する。
次に、参照特徴ベクトル生成部１０４は、参照特徴マップ生成部１０３によって生成された参照特徴マップに基づいて参照特徴ベクトルを生成する。そして、参照特徴ベクトル記憶部１０５は、参照特徴ベクトル生成部１０４によって生成された参照特徴ベクトルを記憶する（ステップＳ１０３）。
【００４３】
なお、ステップＳ１０３において、参照特徴マップから参照特徴ベクトルを生成する方法には、任意の方法を用いることができる。
なお、参照特徴マップに基づいて生成される参照特徴ベクトルは、ベクトルではなく１階以上の任意のテンソルであってもよい。以下、説明を簡単にするため、生成される参照特徴ベクトルが１階のテンソルΨである場合について説明する。
【００４４】
最も単純な場合として、参照特徴マップの各要素を並べた１階のテンソルを参照特徴ベクトルとして使用することができる。また例えば、各参照特徴マップについて、参照特徴マップ内のテンソルの、平均値、分散値、中央値、最大値、最小値、歪度、及び尖度等の統計量を、まとめて参照特徴ベクトルとして使用することができる。
例えば、統計量として平均値を用いる場合、参照特徴ベクトルはｍ個の要素を持ち、各要素は以下の式（２）のように表される。
【００４５】
【数２】
2020039087.tif 000004
【００４６】
また例えば、要素ごとの統計量を求め、求められた統計量を全ての要素について並べたものを参照特徴ベクトルとして使用することができる。
例えば、統計量として平均値を用いる場合、この参照特徴ベクトルはｎ２個の要素を持ち、各要素は以下の式（３）のように表される。
【００４７】
【数３】
2020039087.tif 000005
【００４８】
あるいは、参照特徴マップどうしの相互相関によって生成されるグラム行列の集合、又はその統計量の集合を、参照特徴ベクトルとして使用することができる。なお、グラム行列は、画像の大域的なスタイル特徴を反映することが知られている（非特許文献３参照）。
例えば、統計量として平均値を用いる場合、この参照特徴ベクトルはｍ２個の要素を持ち、各要素は以下の式（４）のように表される。
【００４９】
【数４】
2020039087.tif 000006
【００５０】
なお、特徴マップの要素をランダムサンプリングしたものを並べて参照特徴ベクトルとする方法、又は、参照特徴マップの要素どうしを所定の重み係数に基づいて加算・乗算する方法等の、その他の任意の方法が用いられてもよい。その場合のサンプリング行列や重み係数は、事前に学習によって得られたものであってもよいし、コンテキストに合わせて生成されたものでもよい。
【００５１】
なお、参照特徴マップと参照特徴ベクトルの生成方法には、一般的な画像識別等に用いられる特徴抽出方法を用いることができる。なお、参照特徴ベクトルの要素数は任意であり、要素数１のスカラー値であっても構わない。
【００５２】
再び図３に戻って説明する。
次に、画像更新部１０６は、更新画像を初期値にする初期化を行う。そして、画像更新部１０６は、更新画像の更新を逐次繰り返すことによって、出力画像を生成する（ステップＳ１０４）。
【００５３】
なお、ここでいう更新画像の初期値とは、画像更新部１０６によって画像更新処理が行われる対象の画像を任意の画像（初期値）にする処理である。以下、説明を簡単にするため、本実施形態においては、画像入力部１０１に入力された処理対象画像を初期値とする。なお、その他、任意の分布関数を用いた乱数、又は、任意の符号化方法によって符号化されて復号された後の画像等が、更新画像の初期値として用いられても構わない。
なお、逐次行われる更新画像の更新方法は任意であるが、以下、説明を簡単にするため、本実施形態においては、誤差逆伝搬法による更新方法を用いる場合について説明する。
【００５４】
以下、ステップＳ１０５からステップＳ１１０までの繰り返し処理について説明する。
画像更新部１０６は、更新量に基づいて、更新画像の各要素を更新し、新たな更新画像を生成する（ステップＳ１０５）。更新量は、後述の更新量決定部１１１により決定されるが、初回のみ任意の初期値が用いられる。あるいは、初回のみ、更新量に基づく更新画像の各要素の更新処理を省略してもよい。
【００５５】
次に、更新特徴マップ生成部１０７は、画像更新部１０６によって更新された更新画像と少なくとも１つのフィルタとに基づいて、更新特徴マップを生成する（ステップＳ１０６）。  なお、更新特徴マップ生成部１０７は、上述した参照特徴マップ生成部１０３が実行する処理と同様の処理を行うことにより、更新特徴マップを生成する。但し、処理量の削減等を目的として、上記処理の一部のみを行う構成にしてもよい。
【００５６】
更新特徴ベクトル生成部１０８は、更新特徴マップ生成部１０７によって生成された更新特徴マップから、更新特徴ベクトルを生成する（ステップＳ１０７）。なお、更新特徴ベクトル生成部１０８は、上述した参照特徴ベクトル生成部１０４が実行する処理と同様の処理を行うことにより、更新特徴ベクトルを生成する。但し、処理量の削減等を目的として、上記処理の一部のみを行う構成にしてもよい。
【００５７】
次に、品質評価部１０９は、参照特徴ベクトル生成部１０４によって生成された参照特徴ベクトルと更新特徴ベクトル生成部１０８によって生成された更新特徴ベクトルとに基づいて更新画像の品質を評価して品質フィードバックベクトルを生成し、出力する（ステップＳ１０８）。
【００５８】
なお、上述したように、上記更新画像の品質評価における評価方法には、任意の方法を用いることができる。また、品質フィードバックベクトルの構成は任意である。例えば、誤差逆伝搬法による更新を行う場合、品質に関する損失関数の偏微分ベクトルを、品質フィードバックベクトルとすればよい。
なお、損失関数には、任意の関数を用いることができる。例えば、平均二乗誤差を使用する場合、更新画像Ｉ’の特徴ベクトルΨ（Ｉ’）と、処理対象画像Ｉの参照特徴ベクトルΨ（Ｉ）に対する損失Ｅｑは、以下の式（５）のように定義することができる。
【００５９】
【数５】
2020039087.tif 000007
【００６０】
なお、特徴ベクトル（参照特徴ベクトル及び更新特徴ベクトル）の各要素に任意の重みをつけて損失を計算してもよい。例えば、特徴マップ（参照特徴マップ及び更新特徴マップ）が階層的な畳み込み処理によって生成されており、特徴ベクトルの各要素が各特徴マップに対応する場合に、上位の層で生成された特徴マップに対応する要素に対する重みよりも、下位の層で生成された特徴マップに対応する要素に対する重み重くすることで、より抽象的なコンテキストを重視する損失となる。
【００６１】
なお、特徴ベクトルの比較による損失関数に代えて、一般的な画像識別において用いられる識別方法を使用して画像識別を行い、その識別精度による損失関数を使用する構成にしてもよい。また、目標品質を設定し、目標に近づける上での損失を表す損失関数を定義して用いるようにしてもよい。
【００６２】
なお、複数の損失関数を組み合わせてもよい。また、損失関数毎に異なる特徴ベクトルを生成して用いるようにしてもよい。この場合、追加で使用する特徴ベクトルとして、入力された処理対象画像そのもの及び更新画像そのものを使用するようにしてもよい。
例えば、第一特徴ベクトルΨ１として抽象的なコンテキストを示すベクトル、第二特徴ベクトルΨ２として画像の画素値そのものを並べたベクトルを使用する場合について説明する。第一特徴ベクトルによる損失関数を第一損失関数Ｅｑ１（Ｉ’）、及び、第二特徴ベクトルによる更新画像と処理対象画像の損失関数を第二損失関数Ｅｑ２（Ｉ’）として、以下の式（６）及び式（７）のようにそれぞれ定義する。
【００６３】
【数６】
2020039087.tif 000008
【００６４】
【数７】
2020039087.tif 000009
【００６５】
ここで、ｔは目標品質を示すＭＳＥ（Mean Squared Error；平均二乗誤差）値である。上記の第一損失関数Ｅｑ１（Ｉ’）と第二損失関数Ｅｑ２（Ｉ’）とを線形結合したものを損失関数とすることにより、画素単位の品質を目標の範囲に合わせつつ抽象的な品質を高めること、あるいは抽象的な品質を目標の範囲に合わせつつ画素単位の品質を高めることが可能になる。
【００６６】
再び図３に戻って説明する。
次に、符号量評価部１１０は、画像更新部１０６によって更新された更新画像の符号量を評価して符号量フィードバックベクトルを生成し、出力する（ステップＳ１０９）。
【００６７】
なお、上述したように、更新画像の符号量の評価における評価方法には、任意の方法を用いることができる。また、符号量フィードバックベクトルの構成は任意である。例えば、誤差逆伝搬法による更新を行う場合、符号量に関する損失関数の偏微分ベクトルを、符号量フィードバックベクトルとすればよい。
【００６８】
なお、損失関数には、任意の関数を用いることができる。例えば、符号化モデルがＨ．２６４のイントラ符号化であることを想定した場合、例えば非特許文献４に記載の技術のように、画像の一次微分の絶対値の平均が符号量に比例するものとして、損失関数を定義することができる。このとき、平均二乗誤差を使用すると、更新画像Ｉ’の損失Ｅｃは以下の式（８）のように定義することができる。
【００６９】
【数８】
2020039087.tif 000010
【００７０】
なお、目標符号量を設定し、目標に近づける上での損失を表す損失関数を定義して用いるようにしてもよい。
【００７１】
再び図３に戻って説明する。
次に、更新量決定部１１１は、品質評価部１０９によって生成された品質フィードバックベクトルと、符号量評価部１１０によって生成された符号量フィードバックベクトルと、に基づいて更新量を決定し、更新量を示す情報を画像更新部１０６へ出力する（ステップＳ１１０）。
【００７２】
なお、更新量の決定方法には、任意の方法を用いることができる。例えば、誤差逆伝搬法による更新を行う場合、各損失の偏微分ベクトルを逆伝搬させ、更新対象である画像に関する勾配を求めることによって更新量を決定する。
【００７３】
上記ステップＳ１０５〜ステップＳ１１０の処理は、繰り返し行われる。そして、所定の条件を満たした場合、画像更新部１０６は、上記の繰り返し処理を終了し（ステップＳ１１１）、更新画像を出力する（ステップＳ１１２）。
【００７４】
なお、ここでいう所定の条件とは、上記の繰り返し処理が予め定められた回数行われたこと、あるいは、任意の評価方法によって更新画像に対する評価が行われ、その評価結果があらかじめ定められた評価結果であること等である。
【００７５】
以上説明したように、本発明の一実施形態による画像処理装置１００は、画像の本質的な特徴を示す特徴ベクトル（品質フィードバックベクトル）を生成して画像品質を評価する。また、画像処理装置１００は、画像の符号量と相関を持つ特徴ベクトル（符号量フィードバックベクトル）を生成して画像符号量を評価する。そして、画像処理装置１００は、画像品質と画像符号量とを最適化するように画像更新を行う。そして、画像処理装置１００は、品質評価において画素単位の比較評価ではなく特徴ベクトルを使用して評価する。また、画像処理装置１００は、フィルタリング処理ではなく画素値の更新を行う。これにより、画像処理装置１００は、画像のコンテキストやディティールを維持しつつ、各種予測・符号化ツールによって性能よく予測・符号化可能な画像を生成することができる。
上記の構成を備えることにより、本発明の一実施形態による画像処理装置１００は、演算コストを抑えつつ、品質と符号量とを調整することができる。
【００７６】
上述した実施形態における画像処理装置１００の一部又は全部を、コンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、上述した機能の一部を実現するためのものであっても良く、さらに上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device)やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００７７】
以上、図面を参照して本発明の実施形態を説明してきたが、上記実施形態は本発明の例示に過ぎず、本発明が上記実施形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び要旨を逸脱しない範囲で構成要素の追加、省略、置換、及びその他の変更を行ってもよい。
【符号の説明】
【００７８】
１００…画像処理装置、１０１…画像入力部、１０２…画像記憶部、１０３…参照特徴マップ生成部、１０４…参照特徴ベクトル生成部、１０５…参照特徴ベクトル記憶部、１０６…画像更新部、１０７…更新特徴マップ生成部、１０８…更新特徴ベクトル生成部、１０９…品質評価部、１１０…符号量評価部、１１１…更新量決定部
【図１】
2020039087.tif 000011
【図２】
2020039087.tif 000012
【図３】
2020039087.tif 000013