(57)【要約】【課題】画質の劣化を抑えて動画像を符号化することが可能な動画像符号化装置を提供する。【解決手段】動画像符号化装置は、イントラリフレッシュ制御手段と符号化手段とを備え、イントラリフレッシュ制御手段２は、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定するオプティカルフロー推定手段２０と、動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する歪量算出手段２１と、歪量をフレームごとに累計して累計歪量を算出する歪量累計手段２２と、累計歪量が予め定めた閾値を超えた段階で、符号化手段３にイントラリフレッシュを指示する制御信号を出力するとともに、累計歪量を初期化するリフレッシュ判定手段２４と、を備える。【選択図】図２
2020102798.tif 000002
【特許請求の範囲】
【請求項１】
動画像を符号化する動画像符号化装置であって、
イントラリフレッシュ方式により前記動画像を符号化する符号化手段と、
前記符号化手段のイントラリフレッシュを行うタイミングを制御するイントラリフレッシュ制御手段と、を備え、
前記イントラリフレッシュ制御手段は、
前記動画像のフレームごとに、勾配法を用いたオプティカルフロー推定により、前記フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定するオプティカルフロー推定手段と、
前記オプティカルフロー推定手段で推定した動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する歪量算出手段と、
前記歪量算出手段で算出した歪量をフレームごとに累計して累計歪量を算出する歪量累計手段と、
前記歪量累計手段で累計した累計歪量が予め定めた閾値を超えた段階で、前記符号化手段にイントラリフレッシュを指示する制御信号を出力するとともに、前記累計歪量を初期化するリフレッシュ判定手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記歪量算出手段は、前記オプティカルフローとして推定した動きベクトルの大きさの分散と、前記動きベクトルの方向の分散とをそれぞれ算出し乗算することで、前記歪量を算出することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記歪量算出手段は、前記動きベクトルの方向が１８０°＜θ＜３６０°の方向θについては、θを（３６０°−θ）に変換して前記方向の分散を算出することを特徴とする請求項２に記載の動画像符号化装置。
【請求項４】
前記歪量算出手段は、前記動きベクトルの大きさの分散と、前記動きベクトルの方向の分散とに対して予め設定した重み係数を乗算することを特徴とする請求項２または請求項３に記載の動画像符号化装置。
【請求項５】
コンピュータを、請求項１から請求項４のいずれか一項に記載の動画像符号化装置として機能させるためのイントラリフレッシュ制御プログラム。
【請求項６】
イントラリフレッシュ方式により動画像を符号化する符号化装置のイントラリフレッシュを行うタイミングを制御するイントラリフレッシュ制御装置であって、
前記動画像のフレームごとに、勾配法を用いたオプティカルフロー推定により、前記フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定するオプティカルフロー推定手段と、
前記オプティカルフロー推定手段で推定した動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する歪量算出手段と、
前記歪量算出手段で算出した歪量をフレームごとに累計して累計歪量を算出する歪量累計手段と、
前記歪量累計手段で累計した累計歪量が予め定めた閾値を超えた段階で、前記符号化装置にイントラリフレッシュを指示する制御信号を出力するとともに、前記累計歪量を初期化するリフレッシュ判定手段と、
を備えることを特徴とするイントラリフレッシュ制御装置。
【請求項７】
コンピュータを、請求項６に記載のイントラリフレッシュ制御装置として機能させるためのイントラリフレッシュ制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラムに関する。
【背景技術】
【０００２】
従来から、動画像（映像）を放送波、通信回線等で伝送したり、記録媒体に保存したりするために、動画像を圧縮して符号化する動画像符号化方式の研究が行われている。
従来の動画像符号化方式としては、ＭＰＥＧ（Moving Picture Experts Group）−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＡＶＣ（Advanced Video Coding）／ＩＴＵ−Ｔ勧告Ｈ．２６４で規定されたＡＶＣ／Ｈ．２６４等がある。
また、現在最新の動画像符号化方式の国際標準化規格としては、ＨＥＶＣ（High Efficiency Video Coding）／ＩＴＵ−Ｔ勧告Ｈ．２６５で規定されたＨＥＶＣ／Ｈ．２６５がある（非特許文献１参照）。
また、次世代の国際標準化規格としては、ＪＶＥＴ（Joint Video Exploration Team）で開発が進められているＶＶＣ（Versatile Video Coding）がある（非特許文献２参照）。
【０００３】
ＨＥＶＣ／Ｈ．２６５等の従来の動画像符号化方式では、動画像のフレーム間の時間的相関を利用したインター予測（フレーム間予測）と、フレーム内の空間的相関を利用したイントラ予測（フレーム内予測）とを適宜切り替えて予測画像を生成する。そして、従来の動画像符号化方式は、原画像と予測画像との差分を符号化することで、動画像の符号化データの圧縮を実現している。
インター予測を用いた場合、フレーム間の予測誤差が時間方向に伝播する。
この誤差の伝播を防止するため、従来の動画像符号化方式は、インター予測符号化された符号化データに、周期的にイントラ予測符号化されたフレームであるイントラフレームを挿入するイントラリフレッシュの手法を用いている。
【０００４】
なお、イントラリフレッシュは、必ずしも周期的に行われるものではない。例えば、受信装置（復号装置）から、送信装置（符号化装置）に通知される符号化データのパケット損失等のレポートを受信したタイミングで、送信装置がイントラリフレッシュを行う手法が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２０１４−５２８２００号公報
【非特許文献】
【０００６】
【非特許文献１】大久保榮［監修］、「Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日発行
【非特許文献２】“Versatile Video Coding (VVC)”［online］，フラウンホーファー・ハインリッヒ・ヘルツ通信技術研究所，［平成３０年１１月２１日検索］、インターネット＜ＵＲＬ：https://jvet.hhi.fraunhofer.de＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来の動画像符号化方式は、イントラフレームを周期的に挿入することで、符号量を抑えつつ、誤差伝播の防止を行っている。
しかし、従来の動画像符号化方式では、イントラフレームを挿入する周期内で時間経過に伴う画像歪、例えば、水面の上から水底を撮影した動画像の水面の揺らぎによる歪等が大きくなった場合、符号化された画像の品質が低下してしまうという問題がある。また、この問題を回避するために、イントラフレームを多く挿入すれば、符号量が増大してしまうという問題がある。
【０００８】
本発明は、このような問題に鑑みてなされたものであり、時間経過に伴う画像の歪が発生する動画像であっても、画像歪の蓄積量が大きくなる前にイントラリフレッシュを行うことで、画質の劣化を抑えて動画像を符号化することが可能な動画像符号化装置、イントラリフレッシュ制御装置およびそれらのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するため、本発明に係る動画像符号化装置は、動画像を符号化する動画像符号化装置であって、符号化手段と、イントラリフレッシュ制御手段と、を備え、イントラリフレッシュ制御手段は、オプティカルフロー推定手段と、歪量算出手段と、歪量累計手段と、リフレッシュ判定手段と、を備える構成とした。
【００１０】
かかる構成において、動画像符号化装置は、オプティカルフロー推定手段によって、動画像のフレームごとに、勾配法を用いたオプティカルフロー推定により、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定する。オプティカルフロー推定手段は、勾配法を用いたオプティカルフロー推定を行うことで、勾配を含んだ特徴点によって、移動、回転、拡大・縮小等の変化がフレーム間で発生する場合でも、フレーム間の動きベクトルを精度よく検出することが可能になる。
【００１１】
そして、動画像符号化装置は、歪量算出手段によって、オプティカルフロー推定手段で推定した動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する。さらに、動画像符号化装置は、歪量累計手段によって、歪量をフレームごとに累計して累計歪量を算出する。
【００１２】
そして、動画像符号化装置は、リフレッシュ判定手段によって、累計歪量が予め定めた閾値を超えた段階で、符号化手段にイントラリフレッシュを指示する制御信号を出力するとともに、累計歪量を初期化する。これによって、符号化手段は、イントラリフレッシュを行い、イントラフレームを挿入する。
なお、動画像符号化装置は、コンピュータを、前記した手段として機能させるための動画像符号化プログラムで動作させることができる。
【００１３】
また、前記課題を解決するため、本発明に係るイントラリフレッシュ制御装置は、イントラリフレッシュ方式により動画像を符号化する符号化装置のイントラリフレッシュを行うタイミングを制御するイントラリフレッシュ制御装置であって、オプティカルフロー推定手段と、歪量算出手段と、歪量累計手段と、リフレッシュ判定手段と、を備える構成とした。
【００１４】
かかる構成において、イントラリフレッシュ制御装置は、オプティカルフロー推定手段によって、動画像のフレームごとに、勾配法を用いたオプティカルフロー推定により、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定する。
【００１５】
そして、イントラリフレッシュ制御装置は、歪量算出手段によって、オプティカルフロー推定手段で推定した動きベクトルの大きさおよび方向に基づいて、フレーム間の歪量を算出する。さらに、イントラリフレッシュ制御装置は、歪量累計手段によって、歪量をフレームごとに累計して累計歪量を算出する。
【００１６】
そして、イントラリフレッシュ制御装置は、リフレッシュ判定手段によって、累計歪量が予め定めた閾値を超えた段階で、符号化装置にイントラリフレッシュを指示する制御信号を出力するとともに、累計歪量を初期化する。これによって、符号化装置は、イントラリフレッシュを指示されたタイミングでイントラリフレッシュを行い、イントラフレームを挿入する。
なお、イントラリフレッシュ制御装置は、コンピュータを、前記した手段として機能させるためのイントラリフレッシュ制御プログラムで動作させることができる。
【発明の効果】
【００１７】
本発明は、以下に示す優れた効果を奏するものである。
本発明によれば、動画像の画像歪の蓄積量が大きくなる前にイントラリフレッシュを行うことで、画質の劣化を抑えて動画像を符号化することができる。
これによって、本発明は、水面の揺らぎ等、回転、拡大、縮小との変化が発生する動画像であっても、イントラフレームの挿入を最小限に抑えるとともに、画質の劣化を抑えて動画像を符号化することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係る動画像符号化装置の構成を示すブロック構成図である。
【図２】図１のイントラリフレッシュ制御手段の構成を示すブロック構成図である。
【図３】オプティカルフローの推定結果を説明するための説明図である。
【図４】図１の符号化手段の構成を示すブロック構成図である。
【図５】本発明の実施形態に係る動画像符号化装置の動作を示すフローチャートである。
【図６】本発明の変形例の実施形態に係る動画像符号化装置の構成を示すブロック構成図である。
【図７】本発明の実施形態に係る動画像符号化装置と従来の動画像符号化装置との符号化データの画質の違いを説明するための説明図であって、（ａ）は従来の動画像符号化装置で動画像を符号化し復号した画像例、（ｂ）は本発明の動画像符号化装置で動画像を符号化し復号した画像例である。
【発明を実施するための形態】
【００１９】
以下、本発明の実施形態について図面を参照して説明する。
≪動画像符号化装置の構成≫
最初に、図１を参照して、本発明の実施形態に係る動画像符号化装置１の構成について説明する。
動画像符号化装置１は、映像信号である動画像を圧縮符号化するものである。図１に示すように、動画像符号化装置１は、イントラリフレッシュ制御手段２と、符号化手段３と、を備える。
【００２０】
イントラリフレッシュ制御手段２は、符号化手段３におけるイントラフレームを符号化データに挿入するイントラリフレッシュのタイミングを制御するものである。
イントラリフレッシュ制御手段２は、動画像の時間経過に伴う画像の歪量をフレームごとに累計し、累計歪量が予め定めた閾値を超えた段階で、イントラリフレッシュを行うことを指示する制御信号を符号化手段３に出力する。
【００２１】
符号化手段３は、イントラリフレッシュ方式により動画像を符号化するものである。
符号化手段３は、ＨＥＶＣ／Ｈ．２６５等の動画像符号化方式により、インター予測（フレーム間予測）符号化された符号化データに、周期的にイントラ予測（フレーム内予測）符号化されたフレームであるイントラフレームを挿入するイントラリフレッシュの手法を用いて、動画像を圧縮符号化する。なお、符号化手段３は、符号化データに、周期的にイントラフレームを挿入する以外に、イントラリフレッシュ制御手段２から制御信号によりイントラリフレッシュが指示されたタイミングで、符号化データにイントラフレームを挿入する。
これによって、動画像符号化装置１は、イントラフレームの周期内において、インター予測符号によって伝播する画像歪が大きくなることを防止することができる。
以下、動画像符号化装置１の詳細な構成について説明する。
【００２２】
＜イントラリフレッシュ制御手段＞
図２を参照して、動画像符号化装置１のイントラリフレッシュ制御手段２の構成について説明する。
図２に示すように、イントラリフレッシュ制御手段２は、オプティカルフロー推定手段２０と、歪量算出手段２１と、歪量累計手段２２と、累計歪量記憶手段２３と、リフレッシュ判定手段２４と、を備える。
【００２３】
オプティカルフロー推定手段２０は、動画像の時系列で入力されるフレーム間でオプティカルフローを推定するものである。オプティカルフローとは、エッジ等の特徴点となる画素のフレーム間における動きベクトルである。
オプティカルフロー推定手段２０は、勾配法を用いた一般的なオプティカルフロー推定手法により、フレーム間の特徴が類似する画素の動きベクトルをオプティカルフローとして推定する。例えば、オプティカルフロー推定手段２０は、Ｌｕｃａｓ−Ｋａｎａｄｅ法によって動きベクトルを算出する。
【００２４】
なお、オプティカルフロー推定手段２０は、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded-Up Robust Features）等によって、勾配を含んだ局所特徴量が類似する画素をフレーム間で探索することで、動きベクトルを求めることとしてもよい。
【００２５】
このように、オプティカルフロー推定手段２０は、勾配を含んだ特徴量を用いて算出した動きベクトルをオプティカルフローとするため、平行運動の運動モデルだけでなく、回転運動や、拡大、縮小等のスケールの変化が発生する場合でも、オプティカルフローを推定することができる。
これによって、オプティカルフロー推定手段２０は、移動、回転、拡大、縮小等の変化を伴う動画像であっても、動きベクトルを求めることができる。
【００２６】
図３に、時刻ｔにおけるフレームＦ（ｔ）と、時刻（ｔ＋１）におけるフレームＦ（ｔ＋１）の画像の例を示す。
オプティカルフロー推定手段２０は、フレームＦ（ｔ）とフレームＦ（ｔ＋１）との間で、オプティカルフローを推定する。例えば、図３の例では、オプティカルフロー推定手段２０は、時刻（ｔ＋１）の時点において、オプティカルフロー推定結果として、フレームＦ（ｔ）のＰ１，Ｐ２，Ｐ３の画素が、フレームＦ（ｔ＋１）のＰ１′，Ｐ２′，Ｐ３′の画素にそれぞれ移動したことを示す３つの動きベクトルを算出する。なお、ここで示している３つの特徴点は例示に過ぎず、実際にはもっと多くの特徴点が存在する。
【００２７】
オプティカルフロー推定手段２０は、推定したオプティカルフローである動きベクトルの大きさＬ（画素数）と、動きベクトルの方向θ（角度：０°≦θ＜３６０°）とを、推定した特徴点の数ｎだけ、オプティカルフロー推定結果として歪量算出手段２１に出力する。
【００２８】
歪量算出手段２１は、オプティカルフロー推定手段２０で推定されたオプティカルフローから、フレームごとの画像の歪量を算出するものである。
歪量算出手段２１は、オプティカルフロー推定手段２０で推定されたオプティカルフローである動きベクトルの大きさおよび方向の分散の度合いによって、前フレームからの歪量を算出する。ここでは、歪量算出手段２１は、動きベクトルの大きさの分散と、動きベクトルの方向の分散とをそれぞれ算出し乗算することで、フレームごとの歪量を算出する。
具体的には、歪量算出手段２１は、以下の式（１）により、動きベクトルの大きさＬ（Ｌ１，Ｌ２，…，Ｌｎ）の分散ｓＬを算出する。
【００２９】
【数１】
2020102798.tif 000003
【００３０】
また、歪量算出手段２１は、以下の式（２）により、動きベクトルの方向θ（θ１，θ２，…，θｎ）の分散ｓθを算出する。なお、歪量算出手段２１は、反対方向の歪による相殺を防止するため、０°≦θ≦１８０°の範囲で分散ｓθを算出する。具体的には、１８０°＜θ＜３６０°の方向θについては、θを（３６０°−θ）に変換して以下の式（２）の演算を行う。
【００３１】
【数２】
2020102798.tif 000004
【００３２】
式（１），式（２）において、ｎはオプティカルフロー推定手段２０で推定された１フレーム分のオプティカルフロー（動きベクトル）の数である。αは歪量における動きベクトルの大きさの重み係数である。βは歪量における動きベクトルの方向の重み係数である。これらの重み係数α，βは、歪量における動きベクトルの大きさの重みと方向の重みとをそれぞれ設定した定数である。例えば、α＝β＝１としてもよいし、α＝１０，β＝１としてもよい。重み係数α，βは、外部から設定することとしてもよい。
そして、歪量算出手段２１は、以下の式（３）により、式（１）で算出した動きベクトルの大きさＬの分散ｓＬと、式（２）で算出した動きベクトルの方向θの分散ｓθとを乗算して、歪量ｄを算出する。
【００３３】
【数３】
2020102798.tif 000005
【００３４】
これによって、歪量算出手段２１は、フレームごとに、前フレームとの歪を定量的に算出することができる。
歪量算出手段２１は、式（３）で算出したフレームごとの歪量ｄを、歪量累計手段２２に出力する。
【００３５】
歪量累計手段２２は、歪量算出手段２１で算出されたフレームごとの歪量を累計するものである。
歪量累計手段２２は、前フレームまでに累計した歪量を累計歪量記憶手段２３から読み出し、歪量算出手段２１から入力した歪量を加算することで、現フレームまでの歪量の累計（累計歪量）を算出する。
歪量累計手段２２は、累計歪量を累計歪量記憶手段２３に記憶するとともに、リフレッシュ判定手段２４に出力する。
【００３６】
累計歪量記憶手段２３は、歪量累計手段２２で累計される累計歪量を記憶するものである。累計歪量記憶手段２３は、半導体メモリ等の一般的な記憶媒体で構成することができる。
累計歪量記憶手段２３は、歪量累計手段２２によって累計歪量が更新され、リフレッシュ判定手段２４によって累計歪量が初期化（“０”）される。なお、累計歪量記憶手段２３に記憶される累計歪量は、動画像符号化装置１の起動時に予め初期化されるものとする。
【００３７】
リフレッシュ判定手段２４は、符号化手段３に対してイントラリフレッシュを指示するか否かを判定するものである。
リフレッシュ判定手段２４は、歪量累計手段２２で累計された累計歪量が予め定めた閾値を超えた段階で、イントラリフレッシュを指示する制御信号を、符号化手段３に出力する。このイントラリフレッシュを指示する基準となる閾値は、外部から設定することとしてもよい。
【００３８】
リフレッシュ判定手段２４は、イントラリフレッシュを指示する制御信号を符号化手段３に出力した場合、累計歪量記憶手段２３に記憶されている累計歪量を初期化する。
このように、イントラリフレッシュ制御手段２は、動画像のフレーム単位で画像歪量を累計し、累計歪量が予め定めた閾値を超えた段階で符号化手段３にイントラリフレッシュを指示することができる。
【００３９】
＜符号化手段＞
図４を参照して、動画像符号化装置１の符号化手段３の構成について説明する。なお、符号化手段３は、イントラリフレッシュを行うものであれば、ＭＰＥＧ−２、ＡＶＣ／Ｈ．２６４、ＨＥＶＣ／Ｈ．２６５等、どの符号化方式を用いたものでも構わない。ここでは、一例として、ＨＥＶＣ／Ｈ．２６５の符号化方式を用いた例で説明する。なお、ＨＥＶＣ／Ｈ．２６５については、非特許文献１等で公知であるため、詳細な説明は省略する。
【００４０】
図４に示すように、符号化手段３は、減算手段３０と、変換手段３１と、量子化手段３２と、逆量子化手段３３と、逆変換手段３４と、加算手段３５と、フィルタ手段３６と、フレーム記憶手段３７と、予測手段３８と、エントロピ符号化手段３９と、を備える。
【００４１】
減算手段３０は、入力された動画像のフレーム画像と予測手段３８で予測される予測画像との差分画像を演算するものである。減算手段３０は、演算した差分画像を変換手段３１に出力する。
【００４２】
変換手段３１は、減算手段３０が生成した差分画像を所定の大きさのブロックごとに直交変換し、直交変換係数を算出するものである。この直交変換は、例えば、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）である。変換手段３１は、算出した直交変換係数を量子化手段３２に出力する。
【００４３】
量子化手段３２は、変換手段３１が算出した直交変換係数を、予め設定した量子化テーブルに基づいて量子化するものである。量子化手段３２は、量子化した直交変換係数（量子化直交変換係数）を、逆量子化手段３３およびエントロピ符号化手段３９に出力する。
【００４４】
逆量子化手段３３は、量子化手段３２が量子化した量子化直交変換係数に対して、量子化手段３２で行った処理の逆の処理である逆量子化を行うものである。逆量子化手段３３は、逆量子化後の直交変換係数を、逆変換手段３４に出力する。
【００４５】
逆変換手段３４は、逆量子化手段３３が逆量子化した直交変換係数に対して、変換手段３１で行った処理の逆の処理である逆直交変換（例えば、逆離散コサイン変換）を行うものである。この逆変換手段３４で変換されたブロックごとの画像は、動画像符号化装置１の出力である符号化データを復号する復号装置（不図示）が復号する復号画像に対する予測誤差画像となる。逆変換手段３４は、逆変換によって生成した予測誤差画像を、加算手段３５に出力する。
【００４６】
加算手段３５は、逆変換手段３４が生成した予測誤差画像と、予測手段３８が予測した予測画像とを加算するものである。加算手段３５は、予測誤差画像と予測画像とを加算することで、復号装置（不図示）が復号する復号画像を生成する。加算手段３５は、生成した復号画像を、フィルタ手段３６および予測手段３８に出力する。
【００４７】
フィルタ手段３６は、加算手段３５が生成した復号画像にフィルタ処理を行うことで、復号画像から歪（ブロック歪、リンギング等）を除去するものである。フィルタ手段３６に用いられるフィルタは、例えば、デブロッキングフィルタ、サンプリング・アダプティブ・オフセット（ＳＡＯ：Sample Adaptive Offset）等である。フィルタ手段３６は、フィルタ処理後の復号画像をフレーム記憶手段３７に出力する。
【００４８】
フレーム記憶手段３７は、フィルタ手段３６が歪を除去した復号画像をフレーム画像として記憶するものである。フレーム記憶手段３７に記憶したフレーム画像は、予測手段３８において、インター予測により予測画像を生成する際に参照される。
【００４９】
予測手段３８は、動画像の符号化対象である現フレームに対する予測画像を生成するものである。予測手段３８は、イントラ予測手段３８０と、インター予測手段３８１と、切替手段３８２と、を備える。
【００５０】
イントラ予測手段３８０は、イントラ予測（フレーム内予測）を行うことで、入力された動画像の符号化対象のフレーム（符号化対象フレーム）に対する予測画像を生成するものである。イントラ予測手段３８０は、加算手段３５で生成された復号画像（参照フレーム）を用いてイントラ予測を行う。イントラ予測手段３８０は、プレーナ（Planar）予測、直流（ＤＣ）予測、方向性予測の３種類のアルゴリズムによって、復号画像から予測画像を生成する。イントラ予測手段３８０は、生成した予測画像を切替手段３８２に出力する。
【００５１】
インター予測手段３８１は、インター予測（フレーム間予測）を行うことで、入力された動画像の符号化対象のフレーム（符号化対象フレーム）に対する予測画像を生成するものである。インター予測手段３８１は、入力された動画像の符号化対象フレームと、フレーム記憶手段３７に記憶されている直前のフレームの復号画像（参照フレーム）とから画像の動きを検出し、動き補償フレーム間予測を行うことで予測画像を生成する。インター予測手段３８１は、生成した予測画像を切替手段３８２に出力する。
【００５２】
切替手段３８２は、出力する予測画像を、イントラ予測手段３８０で予測した予測画像と、インター予測手段３８１で予測した予測画像とで切り替えるものである。
切替手段３８２は、周期的、例えば、３２フレームに１回のタイミングで、イントラ予測手段３８０で予測した予測画像（イントラフレーム）を選択し、他のタイミングでは、インター予測手段３８１で予測した予測画像を選択して、減算手段３０に出力する。
また、切替手段３８２は、周期的な切替とは独立して、イントラリフレッシュ制御手段２から、制御信号によりイントラリフレッシュが指示されたタイミングで、イントラ予測手段３８０で予測した予測画像（イントラフレーム）を選択し、減算手段３０に出力する。
【００５３】
予測手段３８は、切替手段３８２で切り替えたイントラ予測またはインター予測のいずれの予測を行ったのかを示すパラメータを符号化パラメータの１つとしてエントロピ符号化手段３９に出力する。
【００５４】
エントロピ符号化手段３９は、量子化手段３２で生成された量子化直交変換係数と、予測手段３８から入力された符号化パラメータとを、エントロピ符号化して、符号化データを生成するものである。エントロピ符号化手段３９は、例えば、エントロピ符号化として、コンテキスト適応型二値算術符号化方式（ＣＡＢＡＣ：Context−based Adaptive Binary Arithmetic Coding）により、符号化データを生成する。
なお、ここでは、エントロピ符号化手段３９は、予測手段３８からのみ符号化パラメータを入力しているが、量子化手段３２における量子化処理のパラメータ、フィルタ手段３６におけるフィルタ処理のパラメータ等、本発明に直接関係のないパラメータについては説明を省略している。
このように、符号化手段３は、イントラリフレッシュ制御手段２から制御信号によりイントラリフレッシュが指示されたタイミングで、符号化データに、イントラフレームを挿入することができる。
【００５５】
以上説明したように、動画像符号化装置１は、動画像の累計歪量が予め定めた閾値を超えた段階でイントラリフレッシュを行い、フレーム間の歪の伝播を抑えることで、画質の劣化を抑えた符号化データを生成することができる。
なお、動画像符号化装置１は、コンピュータを、前記した各手段として機能させるためのプログラム（動画像符号化プログラム）により動作させることができる。
【００５６】
≪動画像符号化装置の動作≫
次に、図５を参照（構成については、適宜図１，図２参照）して、本発明の実施形態に係る動画像符号化装置１の動作について説明する。なお、ここでは、本発明の主要構成であるイントラリフレッシュ制御手段２の動作を主に説明する。
【００５７】
ステップＳ１において、オプティカルフロー推定手段２０は、動画像の時系列で入力されるフレーム間で、勾配法（例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法）によりオプティカルフローを推定する。これによって、オプティカルフロー推定手段２０は、フレーム内において、オプティカルフローとして、複数の特徴点の動きベクトル（大きさ、方向）を推定する。なお、ここでは、図示を省略するが、動画像符号化装置１は、動画像の第１フレームについては、オプティカルフロー推定手段２０でフレームのみを保持し、オプティカルフローの推定を行わずに、ステップＳ８に動作を進めることとする。
【００５８】
ステップＳ２において、歪量算出手段２１は、ステップＳ１で推定したオプティカルフローである複数の特徴点の動きベクトルの大きさおよび方向の分散の度合いによって、前フレームからの歪量を算出する。
具体的には、歪量算出手段２１は、前記式（１）により、動きベクトルの大きさの分散を算出し、前記式（２）により、動きベクトルの方向の分散を算出する。
そして、歪量算出手段２１は、前記式（３）により、動きベクトルの大きさの分散と、動きベクトルの方向の分散とを乗算して、歪量を算出する。
【００５９】
ステップＳ３において、歪量累計手段２２は、前フレームまでに累計した歪量を累計歪量記憶手段２３から読み出し、ステップＳ２で算出した歪量を加算することで、現フレームまでの歪量の累計（累計歪量）を算出する。
ステップＳ４において、歪量累計手段２２は、累計した歪量（累計歪量）を、累計歪量記憶手段２３に記憶する
【００６０】
ステップＳ５において、リフレッシュ判定手段２４は、累計歪量が予め定めた閾値を超えたか否かを判定する。
ここで、累計歪量が閾値を超えていなければ（ステップＳ５でＮｏ）、動画像符号化装置１は、ステップＳ８に動作を進める。
一方、累計歪量が閾値を超えた場合（ステップＳ５でＹｅｓ）、ステップＳ６において、リフレッシュ判定手段２４は、イントラリフレッシュを指示する制御信号を、符号化手段３に出力する。
ステップＳ７において、リフレッシュ判定手段２４は、累計歪量記憶手段２３に記憶している累計歪量の値を“０”に初期化する。
【００６１】
ステップＳ８において、符号化手段３は、入力した動画像のフレームを符号化する。このとき、符号化手段３は、イントラリフレッシュ制御手段２から制御信号によりイントラリフレッシュを指示された場合、符号化データにイントラ予測によるイントラフレームを挿入する。
【００６２】
ステップＳ９において、動画像符号化装置１に次のフレームが入力された場合（ステップＳ９でＹｅｓ）、動画像符号化装置１は、ステップＳ１に戻って動作を継続する。
一方、次のフレームが入力されなければ（ステップＳ９でＮｏ）、動画像符号化装置１は、動作を終了する。
以上の動作によって、動画像符号化装置１は、動画像が入力される間、動画像の累計歪量が予め定めた閾値を超えた段階でイントラリフレッシュを行うことで、フレーム間の歪の伝播を抑え、画質の劣化を抑えた符号化データを生成することができる。
【００６３】
≪変形例≫
以上、本発明の実施形態に係る動画像符号化装置１の構成および動作について説明したが、本発明は、この実施形態に限定されるものではない。
ここでは、動画像符号化装置１を、イントラリフレッシュ制御手段２と、符号化手段３とを装置内部に備える構成とした。
しかし、イントラリフレッシュ制御手段２と、符号化手段３とは、それぞれ分離して構成してもよい。具体的には、図６に示すように、イントラリフレッシュ制御装置２Ｂと、符号化装置３Ｂとで、動画像符号化装置１Ｂを構成してもよい。
イントラリフレッシュ制御装置２Ｂは、図２で説明したイントラリフレッシュ制御手段２と同じ構成である。また、符号化装置３Ｂは、図４で説明した符号化手段３と同じ構成である。
【００６４】
なお、このように、動画像符号化装置１Ｂを分離した場合、イントラリフレッシュ制御装置２Ｂは、コンピュータを、図２で説明した各手段として機能させるためのプログラム（イントラリフレッシュ制御）により動作させることができる。また、符号化装置３Ｂは、コンピュータを、図４で説明した各手段として機能させるためのプログラム（符号化プログラム）により動作させることができる。
このように、イントラリフレッシュ制御装置２Ｂを分離した構成とすることで、符号化方式を変える場合でも、符号化装置３Ｂのみを交換するだけで、同じ、イントラリフレッシュ制御装置２Ｂを使用することが可能になる。
これ以外の作用、効果については、動画像符号化装置１と同様である。
【００６５】
また、ここでは、符号化手段３が、予め周期的にイントラフレームを挿入するものとした。しかし、符号化手段３は、イントラリフレッシュ制御手段２からの制御信号によってのみ、符号化データにイントラフレームを挿入するものとしてもよい。
【００６６】
≪評価画像≫
最後に、図７を参照して、動画像符号化装置１が生成する符号化データと、従来の動画像符号化装置が生成する符号化データとの画質の違いを、符号化データを復号した復号画像を用いて説明する。
図７（ａ）は、従来の動画像符号化装置で動画像を符号化し、復号したある時点での画像例である。図７（ｂ）は、図７（ａ）と同じ動画像を本発明の動画像符号化装置１で符号化し、復号した図７（ａ）と同じ時点での画像例である。
ここで、動画像は、電子部品を組み込んだ基板を、水底に沈め、水面の上から基板を撮影したものである。
図７（ａ）に示す画像Ｉ１は、図７（ｂ）に示す画像Ｉ２に比べ、画質が劣化している。例えば、画像Ｉ１上のＩＣチップの足部分Ｅ１は、それぞれの足を判別することができないが、画像Ｉ２のＩＣチップの足部分Ｅ２では、それぞれの足を明確に判別することができる。
【００６７】
従来の動画像符号化装置では、図７（ａ）に示すように、水底動画像のような水面の揺らぎによって、被写体の動きが単なる移動だけではなく回転、拡大・縮小等で変化する動画像を、高品質に符号化することができなかった。
しかし、本発明に係る動画像符号化装置１では、回転、拡大・縮小等で変化する被写体であっても、オプティカルフローによる特徴点の動きベクトルによって、画像の歪を精度よく検出し、累計歪量が閾値を超えた段階でイントラリフレッシュを行うことができる。
これによって、動画像符号化装置１は、図７（ａ）に示すように、画質の劣化を抑えて、動画像を符号化することができる。
【符号の説明】
【００６８】
１，１Ｂ  動画像符号化装置
２，２Ｂ  イントラリフレッシュ制御手段（イントラリフレッシュ制御装置）
２０    オプティカルフロー推定手段
２１    歪量算出手段
２２    歪量累計手段
２３    累計歪量記憶手段
２４    リフレッシュ判定手段
３，３Ｂ  符号化手段（符号化装置）
３０    減算手段
３１    変換手段
３２    量子化手段
３３    逆量子化手段
３４    逆変換手段
３５    加算手段
３６    フィルタ手段
３７    フレーム記憶手段
３８    予測手段
３８０  イントラ予測手段
３８１  インター予測手段
３８２  切替手段
３９    エントロピ符号化手段
【図１】
2020102798.tif 000006
【図２】
2020102798.tif 000007
【図３】
2020102798.tif 000008
【図４】
2020102798.tif 000009
【図５】
2020102798.tif 000010
【図６】
2020102798.tif 000011
【図７】
2020102798.tif 000012