(57)【要約】【課題】フィルタ処理を用いて行う符号化処理における符号化効率を改善する。【解決手段】本開示における動画生成方法、動画生成装置は、動画生成装置は、動画を構成する符号化対象画像を参照画像に基づいて符号化することで符号化済み動画を生成するものである。前記参照画像は、他の参照画像に比べて前記符号化対象画像からの時間的距離が長い参照画像であるロングターム参照画像を含むものである。前記動画生成方法は、前記符号化対象画像の少なくとも一部の領域にフィルタ処理を行うか否かを決定し、前記符号化対象画像であってフィルタ処理を行われていない領域の広さが所定値以上の画像を符号化した画像をデコードした画像を前記ロングターム参照画像として用いるものである。【選択図】図６
2018019195.tif 000002
【特許請求の範囲】
【請求項１】
動画を構成する符号化対象画像を参照画像に基づいて符号化することで符号化済み動画を生成する動画生成方法であって、
前記参照画像は、
他の参照画像に比べて前記符号化対象画像からの時間的距離が長い参照画像であるロングターム参照画像を含み、
前記動画生成方法は、
前記符号化対象画像の少なくとも一部の領域にフィルタ処理を行うか否かを決定し、
前記符号化対象画像であってフィルタ処理を行われていない領域の広さが所定値以上の画像を符号化した画像をデコードした画像を前記ロングターム参照画像として用いる、
動画生成方法。
【請求項２】
少なくとも１枚の前記符号化対象画像についてはフィルタ処理を行わず、当該フィルタ処理が行われなかった前記符号化対象画像をデコードした画像を前記ロングターム参照画像として用いる、
請求項１に記載の動画生成方法。
【請求項３】
前記符号化対象画像がＩフレーム画像であることを条件として、当該符号化対象画像をデコードした画像を前記ロングターム参照画像として用いる、
請求項１に記載の動画生成方法。
【請求項４】
動画を構成する符号化対象画像を参照画像に基づいて符号化することで符号化済み動画を生成する動画生成装置であって、
前記参照画像は、
他の参照画像に比べて前記符号化対象画像からの時間的距離が長い参照画像であるロングターム参照画像を含み、
前記動画生成装置は、
前記符号化対象画像の少なくとも一部の領域にフィルタ処理を行うか否かを決定し、
前記符号化対象画像であってフィルタ処理を行われていない領域の広さが所定値以上の画像を符号化した画像をデコードした画像を前記ロングターム参照画像として用いる、
動画生成装置。
【請求項５】
少なくとも１枚の前記符号化対象画像についてはフィルタ処理を行わず、当該フィルタ処理が行われなかった前記符号化対象画像をデコードした画像を前記ロングターム参照画像として用いる、
請求項４に記載の動画生成装置。
【請求項６】
前記符号化対象画像がＩフレーム画像であることを条件として、当該符号化対象画像をデコードした画像を前記ロングターム参照画像として用いる、
請求項４に記載の動画生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、動画生成方法、および動画生成装置に関する。
【背景技術】
【０００２】
特許文献１は、動きベクトル“ＭＶ”の大きさと、差分値“ＤＩＦＦ”とに基づき、各領域が動き領域か、静止領域かを判定し、人物部分など、動いている部分を動き領域と判定して、平滑化処理をスキップし、ＤＣＴ処理、量子化処理などの符号化処理を行い、また背景部分など、動いていない部分を静止領域と判定して、平滑化フィルタ処理を行った後、ＤＣＴ処理、量子化処理などの符号化処理を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２９５２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、フィルタ処理を用いて行う符号化処理における符号化効率を改善する。
【課題を解決するための手段】
【０００５】
本開示における動画生成方法、動画生成装置は、動画を構成する符号化対象画像を参照画像に基づいて符号化することで符号化済み動画を生成するものである。前記参照画像は、他の参照画像に比べて前記符号化対象画像からの時間的距離が長い参照画像であるロングターム参照画像を含むものである。前記動画生成方法は、前記符号化対象画像の少なくとも一部の領域にフィルタ処理を行うか否かを決定し、前記符号化対象画像であってフィルタ処理を行われていない領域の広さが所定値以上の画像を符号化した画像をデコードした画像を前記ロングターム参照画像として用いる。
【発明の効果】
【０００６】
本開示における動画生成方法、動画生成装置によれば、フィルタ処理を用いて行う符号化処理における符号化効率を改善することができる。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施の形態１における動画伝送システムの概念図である。
【図２】図２は、実施の形態１における動画生成装置のブロック図である。
【図３】図３は、実施の形態１における動画再生装置のブロック図である。
【図４】図４は、実施の形態１における動画生成処理を示すフローチャートである。
【図５】図５は、実施の形態１における動画生成処理におけるフィルタ処理を説明する図である。
【図６】図６は、実施の形態１における動画生成処理におけるフレーム間予測の概念を示す図である。
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【０００９】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１０】
（実施の形態１）
以下、図１〜６を用いて、実施の形態１を説明する。
【００１１】
［１−１．構成］
図１は、実施の形態１における動画伝送システムの概念図である。
【００１２】
動画伝送システム１００は動画生成装置１１０と動画再生装置１２０を有する。
【００１３】
動画生成装置１１０は動画を生成する。動画生成装置１１０の一例は、入力部によって撮影された動画を符号化するカメラ、または記憶部に記録された符号化前の画像を符号化する編集用コンピュータなどである。
【００１４】
動画再生装置１２０は動画生成装置１１０の生成した動画を再生する。動画再生装置１２０の一例は、デコード機能を有するプロセッサを搭載した、テレビやパソコンなどである。
【００１５】
動画生成装置１１０で生成された動画は通信路１３０を経由して動画再生装置へ送られる。
【００１６】
通信路１３０の伝送容量には限界がある。通信路１３０の伝送容量をオーバーしないためには、動画生成装置１１０で生成される動画のデータ量を削減する必要がある。本実施の形態において動画生成装置１１０は、動画のデータ量を削減するために動画生成における符号化効率を改善する。
【００１７】
図２は、実施の形態１における動画生成装置のブロック図である。
【００１８】
動画生成装置１１０はプロセッサ２０１と記憶部２０２と入力部２０３と出力部２０４と通信部２０５とバス２０６を有する。
【００１９】
プロセッサ２０１はバス２０６を介して動画生成装置１１０の他の要素を制御する。一例として汎用ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いることで、プロセッサ２０１を構成することができる。また、プロセッサ２０１は所定のプログラムを実行することができる。プロセッサ２０１が所定のプログラムを実行することで符号化済み動画の生成を行うことができる。
【００２０】
記憶部２０２は他の要素から様々な情報を取得し一時的、あるいは恒久的にその情報を保持する。記憶部２０２はいわゆる一次記憶装置と二次記憶装置の総称であり、記憶部２０２は物理的に複数配置されても良い。記憶部２０２の構成には例えばＤＲＡＭ（Ｄｉｒｅｃｔ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）が用いられる。
【００２１】
入力部２０３は外部からの情報を受け付ける。入力部２０３が受け付ける外部からの情報には動画生成装置１１０の操作者からの入力に関する情報や、符号化前の動画を構成する情報、符号化後の動画を構成する情報などが含まれる。一例として既存の入出力インターフェースを用いることで入力部２０３を構成することができる。
【００２２】
出力部２０４は外部へ情報を提示する。出力部が提示する情報には符号化前の動画を構成する情報、符号化後の動画を構成する情報などが含まれる。一例として既存の入出力インターフェースを用いることで出力部２０４を構成することができる。
【００２３】
通信部２０５は通信路１３０を介して外部の機器と通信を行う。通信部２０５が通信する機器には動画再生装置１２０が含まれる。一例として既存の通信インターフェースを用いることで通信部２０５を構成することができる。
【００２４】
以上に挙げられた動画生成装置１１０の構成は一例である。動画生成装置１１０の各構成要素の一部を統合して構成することもできる。動画生成装置１１０の各構成要素の一部を複数の要素に分割して構成することもできる。動画生成装置１１０の各構成要素の一部を省略することもできる。動画生成装置１１０に他の要素を付加して構成することもできる。
【００２５】
本実施の形態においては、少なくとも１つのプロセッサが動画を生成すればよい。つまり、複数の動画生成装置１１０が協働して動画を生成してもよい。
【００２６】
図３は、実施の形態１における動画再生装置のブロック図である。
【００２７】
動画再生装置１２０はプロセッサ３０１と記憶部３０２と入力部３０３と出力部３０４と通信部３０５とバス３０６を有する。
【００２８】
プロセッサ３０１はバス３０６を介して動画再生装置１２０の他の要素を制御する。一例として汎用ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いることで、プロセッサ３０１を構成することができる。また、プロセッサ３０１は所定のプログラムを実行することができる。プロセッサ３０１が所定のプログラムを実行することで符号化済み動画の再生を行うことができる。
【００２９】
記憶部３０２は他の要素から様々な情報を取得し一時的、あるいは恒久的にその情報を保持する。記憶部３０２はいわゆる一次記憶装置と二次記憶装置の総称であり、記憶部３０２は物理的に複数配置されても良い。記憶部３０２の構成には例えばＤＲＡＭ（Ｄｉｒｅｃｔ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）が用いられる。
【００３０】
入力部３０３は外部からの情報を受け付ける。入力部３０３が受け付ける外部からの情報には動画再生装置１２０の操作者からの入力に関する情報が含まれる。一例として既存の入出力インターフェースを用いることで入力部３０３を構成することができる。
【００３１】
出力部３０４は外部へ情報を提示する。出力部が提示する情報には符号化後の動画を構成する情報、改ざん検出の結果を報知する情報などが含まれる。一例として既存の入出力インターフェースを用いることで出力部３０４を構成することができる。
【００３２】
通信部３０５は通信路１３０を介して外部の機器と通信を行う。通信部３０５が通信する機器には動画再生装置１２０が含まれる。一例として既存の通信インターフェースを用いることで通信部３０５を構成することができる。
【００３３】
以上に挙げられた動画再生装置１２０の構成は一例である。動画再生装置１２０の各構成要素の一部を統合して構成することもできる。動画再生装置１２０の各構成要素の一部を複数の要素に分割して構成することもできる。動画生成装置１１０の各構成要素の一部を省略することもできる。動画生成装置１１０に他の要素を付加して構成することもできる。
【００３４】
本実施の形態においては、少なくとも１つのプロセッサが動画を生成すればよい。つまり、複数の動画生成装置１１０が協働して動画を生成してもよい。
【００３５】
なお、通信路１３０は有線と無線のどちらで構成しても良い。
【００３６】
［１−２．動作］
図４は、実施の形態１における動画生成処理を示すフローチャートである。
【００３７】
本実施の形態において動画生成処理は主として動画生成装置１１０のプロセッサ２０１によって行われる。
【００３８】
ステップＳ４００において、プロセッサ２０１は動画生成処理を開始する。動画生成処理とは、符号化されていない動画を参照画像に基づいて符号化することで符号化済み動画を生成する処理を含む。プロセッサ２０１は動画生成処理を開始すると記憶部２０２から、記憶部２０２に記録されている動画を構成する画像を読み出す。この画像をカウントする単位をフレームという。読み出された画像は以降の処理においてフレーム画像と呼ばれる。本実施の形態においては、記憶部２０２に記録されている動画は未だ符号化されていないものとする。プロセッサが動画生成処理を開始するタイミングは動画生成装置１１０の使用者が行った入力部２０３に対する動画生成処理命令に従って行っても良いし、入力部２０３が外部から符号化前の動画を取得する度に行っても良い。
【００３９】
ステップＳ４０１において、プロセッサ２０１はステップＳ４００で読み出した画像（処理対象となるフレーム画像＝符号化対象画像）の処理対象ブロックが注目領域ブロックであるか否かを判定する。本実施の形態において、プロセッサ２０１は、フレーム画像をブロックと呼ばれる複数の領域に区分して処理を行う。プロセッサ２０１は区分されたブロックを順に処理する。プロセッサ２０１の処理の対象となるブロックを処理対象ブロックと呼ぶ。注目領域ブロックとはブロックのうちで特別なフラグが立てられた領域のことである。注目領域ブロックはＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域とも呼ばれる。一般に注目領域ブロックは動画を閲覧する人物の関心の高い画像中の領域（＝注目領域）を占めるブロックの群によって構成される。注目領域の定め方は（１）画像の中心部の領域（２）画像に対して注目物体（人・顔・特定物・動体・所定パターン等）の検出処理を行い検出された場合はその領域とすることが考えられる。注目領域ブロックは、注目領域の一部あるいは全部を占めるように定められる。具体的には画像中の注目領域の座標群（ｘ、ｙ）が記憶部２０２に記録されており、プロセッサ２０１は処理対象ブロックの占める座標群と注目領域の座標群とを比較することで処理対象ブロックが注目領域ブロックであるか否かを判定する。なお注目領域は画像中において複数定められても良い。また、注目領域ブロックが他のブロックに比べて多くの符号量が割り振られて符号化されるブロックである場合には、本開示の符号化効率低減化の効果がより大きい為、本開示の適用が好適である。
【００４０】
注目領域ブロックは動画を閲覧する人物の関心が高い領域に存在するブロックである。そのため本実施の形態においては、動画を鮮明に表現するために注目領域ブロックの占める領域には平滑化フィルタなどのフィルタ処理を行わない。このことから、本実施の形態におけるステップＳ４０１の処理は、符号化対象画像の少なくとも一部の領域にフィルタ処理を行うか否かを判定する処理ともいえる。
【００４１】
ステップＳ４０２（ステップＳ４０１でＹｅｓ）において、プロセッサ２０１は、ステップＳ４０１での判定の対象になった処理対象ブロックの占める領域に対してフィルタ処理を行わない旨の情報を記憶部２０２に記録する。
【００４２】
ステップＳ４０３（ステップＳ４０１でＮｏ）において、プロセッサ２０１は、ステップＳ４０１での判定の対象になった処理対象ブロックが、動画生成処理の対象となった動画における最初のＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）に属するか否かを判定する。
【００４３】
ＧＯＰとは動画を構成するフレーム画像の群であって、Ｉフレーム画像を含むものをいう。Ｉフレーム画像とは符号化された動画を構成する画像の種類である。動画を符号化する際には、符号化の対象となるフレーム画像の前後のフレーム画像の情報が参照されることがある。前後のフレーム画像の情報を参照することをフレーム間予測という。フレーム間予測を用いて符号化されたフレーム画像をＢフレームあるいはＰフレーム等と呼ぶ。フレーム間予測を用いずに符号化されたフレーム画像をＩフレーム等と呼ぶ。なお、フレームの呼び名は符号化の方式に依存する。
【００４４】
本実施の形態において、プロセッサ２０１は動画生成処理をＧＯＰ単位で行う。本開示において、「処理対象ブロックが、動画生成処理の対象となった動画における最初のＧＯＰに属する」とは、処理対象ブロックが属する画像が動画生成処理において、プロセッサ２０１によって最初に処理されるＧＯＰに属することをいう。
【００４５】
処理対象ブロックが、動画生成処理の対象となった動画における最初のＧＯＰに属する場合（ステップＳ４０３でＹｅｓ）、処理が上述したステップＳ４０２へ進む。
【００４６】
ステップＳ４０４（ステップＳ４０３でＮｏ）において、プロセッサ２０１は、ステップＳ４０１での判定の対象になった処理対象ブロックの占める領域に対してフィルタ処理を行う旨の情報を記憶部２０２に記録する。
【００４７】
ステップＳ４０５において、処理対象ブロックを符号化規則に従って符号化する。符号化規則の一例としてはＨ．２６５などが挙げられる。ステップＳ４０５における符号化処理ではフレーム間予測を用いた符号化が行われる（Ｉフレームの符号化を除く）。フレーム間予測とは参照画像とよばれる画像に基づいて符号化を行う技術である。フレーム間予測によれば、参照画像との差分や動きベクトルに基づいて画像の符号化を行うことができる。そのため、フレーム間予測を用いれば符号化対象画像そのものを符号化するよりも符号化済み動画の情報量を削減することができる。
【００４８】
本実施の形態においては、ステップＳ４０５において、符号化に先立って処理対象ブロックにフィルタ処理が行われる。本実施の形態においてプロセッサ２０１はステップＳ４０２およびステップＳ４０４で記憶部２０２に記録された情報を参照して、処理対象ブロックにフィルタをかけるか否かを判断する。具体的には、プロセッサ２０１は記憶部にフィルタ処理を行わない旨の情報が記載されているブロックにはフィルタ処理を行わず、フィルタ処理を行う旨の情報が記載されているブロックにはフィルタ処理を行う。
【００４９】
図５は、実施の形態１における動画生成処理におけるフィルタ処理を説明する図である。図５においてフレーム画像５０１はブロックの概念がわかりやすいようにブロック単位で分割されている。図５においてハッチングされているブロックはフィルタ処理が行われないブロックである。図５においてハッチングされていないブロックはフィルタ処理が行われるブロックである。図５において太線で囲まれているブロック群は注目領域ブロックである。図５に示されるように、フレーム画像５０１の注目領域にはフィルタ処理が行われていない。本実施の形態において最初のＧＯＰに属するフレーム画像以外は原則として、図５に示すように注目領域ブロック以外にフィルタ処理が行われる。
【００５０】
ここでのフィルタ処理は符号化処理における符号化量を削減する効果のあるものであればよく、一例としては平滑化フィルタが挙げられる。平滑化フィルタを用いることで画像を構成する画素の値（輝度、色）が、周囲の画素の値に従って平滑化される。フレーム間予測を用いて符号化を行う際に、参照関係にある画像がそれぞれ平滑化されていると、符号化量を削減することができる。なぜならば、参照関係にある画像同士が平滑化されていると、画像間における同じ座標の画素の値同士の差分が小さくなるからである（前後の画像における画素の値の差分が小さくなると符号化量を削減することができる）。
【００５１】
ステップＳ４０６において、プロセッサ２０１はフレーム画像中に未処理のブロックがあるか否かを判定する。未処理のブロックがある場合（ステップＳ４０６でＹｅｓ）、プロセッサ２０１は処理対象ブロックを当該未処理のブロックに変更した上でステップＳ４０１の処理に戻る。
【００５２】
ステップＳ４０７（ステップＳ４０６でＮｏ）において、プロセッサ２０１は符号化対象画像を符号化した画像が、（１）全てのブロックにフィルタ処理が行われたものでなく、かつ、（２）Ｉフレーム画像であるか否かを判定する。
【００５３】
ステップＳ４０８（ステップＳ４０７でＹｅｓ）において、プロセッサ２０１はロングターム参照画像を更新する。更新によってあらたにロングターム参照画像となる画像は符号化対象画像を符号化した画像をさらにデコードした画像である。本実施の形態ではステップＳ４０８で行われるデコードはいわゆるローカルデコード（符号化処理の際に行われるデコード）である。
【００５４】
ロングターム参照画像とは、フレーム間予測で用いられる参照画像の一種である。ロングターム参照画像は、他の参照画像に比べて符号化対象画像からの時間的距離が長い画像である。また、映像符号化に関する規格においてロングターム参照画像が定義されている場合や、本開示のロングターム参照画像と均等な概念が定義されている場合は、当該定義された画像は本開示のロングターム参照画像に含まれる。
【００５５】
図６を用いてロングターム参照画像の概念を説明する。図６は、実施の形態１における動画生成処理におけるフレーム間予測の概念を示す図である。図６において菱形の図形は符号化後のフレーム画像を示す。図６において、各フレーム画像は時間軸上に並んでいる。図６においては、左側であればあるほど古い画像（動画の始まり側に存在する画像）が並んでいる。図６においては、説明を簡略化するためにＧＯＰは４枚で一組であるものとする。図６においては、ＧＯＰを構成するフレーム画像はＩピクチャ１枚とそれに引き続く３枚のＰピクチャであるとする。ここで、Ｐピクチャとは、符号化対象画像を、（時間軸上で）１枚前の画像（ショートターム参照画像）およびロングターム参照画像（図６においては太枠で囲まれたフレーム画像）の双方に基づいてフレーム間予測を用いて符号化することで得られる画像である。図６に示されるように、ロングターム参照画像６０１は、フレーム間予測において、直後のフレーム画像６０２のみならず、他のＰピクチャ（例えばフレーム画像６０３）の符号化においても用いられる。ロングターム参照画像６０１は記憶部２０２に記録されている。
【００５６】
ステップＳ４０９において、プロセッサ２０１は記憶部２０２に記録された動画に処理対象ブロックの属するフレーム画像以外のフレーム画像があるか否かを判定する。記憶部２０２に記録された動画に処理対象ブロックの属するフレーム画像以外のフレーム画像がある場合（ステップＳ４０９でＹｅｓ）、プロセッサ２０１は処理対象ブロックを当該フレーム画像（新しい符号化対象画像）中のブロックに変更した上でステップＳ４０１の処理に戻る。
【００５７】
ステップＳ４０９において、プロセッサ２０１は動画生成処理を終了する。以上のようにして符号化済み動画を生成することができる。
【００５８】
本開示においては、ステップＳ４０８の処理を行ったことにより、符号化対象画像を符号化した画像が全てのブロックにフィルタ処理が行われたものでなく、かつ、Ｉフレーム画像である画像がロングターム参照画像としてその後の符号化に用いられることになる。このようにすると、フィルタ処理を用いて行う符号化処理における符号化効率を改善することができる。
【００５９】
本開示の発明者らは、従前の技術では注目領域がフレーム画像間で変動した場合に短期的に符号化量が増加することに着目した。注目領域がフレーム画像間で変動すると、それまでの画像でフィルタ処理が行われていた領域に、次の画像でフィルタ処理を行わないことが生じうる。本開示の発明者らは、符号化量の増加の原因が、それまでにフィルタ処理が行われていた領域を、フィルタ処理を行わないようにすることにあると結論づけた。すなわち、参照関係にある画像の一部の画像のみにフィルタ処理がされていると、画像間における同じ座標の画素同士の値の差分が大きくなる。画像間における同じ座標の画素同士の値の差分が大きくなると符号化効率が低下するから、フィルタ処理が行われていた領域を、フィルタ処理を行わないようにすると符号化量の増加が生じると考えられる。
【００６０】
本開示によれば、ロングターム参照画像にフィルタ処理が行われていない領域の多い画像を用いることができる。このようにすると、フィルタ処理がされていない領域と差分の少ない領域を有する画像を、フレーム間予測における参照画像に用いることができる。よって、それまでの画像でフィルタ処理が行われていた領域に、次の画像でフィルタ処理を行わないことが生じても、符号化効率の低減を抑制することができる。結果として、フィルタ処理を用いて行う符号化処理における符号化効率を改善することができる。
【００６１】
なお、本開示においては、フィルタ処理がされていない領域と差分の少ない領域を有する画像をロングターム参照画像として用いることができれば、ロングターム参照画像を他の方法により更新をしてもよい。すなわち、ステップＳ４０７の処理を他の処理に置き換えても良い。
【００６２】
例えば、ステップＳ４０７の「（１）全てのブロックにフィルタ処理が行われたものでなく」という要件を「フィルタ領域を行われていない領域の広さが所定値以上」という要件に置き換えても良い。このようにしても、それまでの画像でフィルタ処理が行われていた領域に、次の画像でフィルタ処理を行わないことが生じても、符号化効率の低減を抑制することができる。結果として、フィルタ処理を用いて行う符号化処理における符号化効率を改善することができる。
【００６３】
また、ステップＳ４０７の「（２）Ｉフレーム画像であるか」という要件をなくしてもよい。すなわち、（１）の条件を満たし、かつＢフレーム画像またはＰフレーム画像であるフレーム画像をロングターム参照画像としてもよい。ただし、Ｉフレーム画像をロングターム参照画像とすることが符号化効率の点からは好ましい。Ｉフレーム画像は符号化前の画像との差異が少ないためである。
【００６４】
なお、本実施の形態においてはステップＳ４０３の処理を行うことで、ステップＳ４０７の処理でＹｅｓとなる画像を作り出している。このようにすると、最初のＧＯＰにおけるＩフレーム画像がロングターム参照画像として用いられる。
【００６５】
ここで、ロングターム参照画像を定期的に更新できるようにステップＳ４０３の処理を他の処理に置き換えても良い。
【００６６】
例えばステップＳ４０３の「ステップＳ４０１での判定の対象になった処理対象ブロックが、動画生成処理の対象となった動画における最初のＧＯＰに属するか否かを判定する」という条件を「ステップＳ４０１での判定の対象になった処理対象ブロックが、動画生成処理の対象となった動画におけるＮ番目（ただしＮはＮ÷Ｍの余りがゼロとなるものとする）のＧＯＰに属するか否かを判定する」という条件に変更してもよい。このようにすると、Ｍ個のＧＯＰ置きにロングターム参照画像が更新されることになる。
【００６７】
［１−３．効果等］
以上のように本実施の形態において、動画生成装置１１０は、動画を構成する符号化対象画像を参照画像に基づいて符号化することで符号化済み動画を生成するものである。前記参照画像は、他の参照画像に比べて前記符号化対象画像からの時間的距離が長い参照画像であるロングターム参照画像を含むものである。前記動画生成方法は、前記符号化対象画像の少なくとも一部の領域にフィルタ処理を行うか否かを決定し、前記符号化対象画像であってフィルタ処理を行われていない領域の広さが所定値以上の画像を符号化した画像をデコードした画像を前記ロングターム参照画像として用いるものである。
【００６８】
このようにすると、上述したように、フィルタ処理を用いて行う符号化処理における符号化効率を改善することができる。
【００６９】
また、本実施の形態において動画生成装置１１０は、少なくとも１枚の前記符号化対象画像についてはフィルタ処理を行わず、当該フィルタ処理が行われなかった前記符号化対象画像をデコードした画像を前記ロングターム参照画像として用いる。
【００７０】
このようにすると、上述したように、ロングターム参照画像を適切に更新することができる。結果としてフィルタ処理を用いて行う符号化処理における符号化効率を、より改善することができる。
【００７１】
また、本実施の形態において動画生成装置１１０は、符号化対象画像がＩフレーム画像であることを条件として、当該符号化対象画像をデコードした画像を前記ロングターム参照画像として用いる。
【００７２】
このようにすると、上述したように符号化効率をより改善させることができる。
【００７３】
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
【００７４】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００７５】
本開示は、動画を生成するカメラ、映像編集機器などに適用可能である。
【符号の説明】
【００７６】
１００  動画伝送システム
１１０  動画生成装置
１２０  動画再生装置
１３０  通信路
２０１  プロセッサ
２０２  記憶部
２０３  入力部
２０４  出力部
２０５  通信部
２０６  バス
３０１  プロセッサ
３０２  記憶部
３０３  入力部
３０４  出力部
３０５  通信部
３０６  バス
５０１  フレーム画像
６０１  ロングターム参照画像
６０２  フレーム画像
６０３  フレーム画像
【図１】
2018019195.tif 000003
【図２】
2018019195.tif 000004
【図３】
2018019195.tif 000005
【図４】
2018019195.tif 000006
【図５】
2018019195.tif 000007
【図６】
2018019195.tif 000008