(57)【要約】  本発明は、動きが不連続なビデオ復号化方法及びカメラを提供する。本発明によるビデオ復号化方法は、ビデオを読み込んで、ビデオから各フレーム画像を復号化することと、任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出することと、前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、前記位置が相互隣接する２つのフレーム画像の中心であることと、前記第二オプティカルフロー場を利用して、前記挿入待ちフレーム画像の各画素の前記相互隣接する２つのフレーム画像の１つ前のフレーム画像における対応する画素位置を算出し、前記１つ前のフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てることと、挿入したフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成することを含む。本発明は動きが不連続な現象が解消又は遅延して、より円滑な視覚効果を達成することができる。
2021506160.tif 000002
【特許請求の範囲】
【請求項１】
ビデオを読み込んで、ビデオから各フレーム画像を復号化することと、
任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出することと、
前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、前記位置が相互隣接する２つのフレーム画像の中心であることと、
前記第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の前記相互隣接する２つのフレーム画像の１つ前のフレーム画像に対応する画素位置を算出し、前記１つ前のフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てることと、
挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成することを含む
ことを特徴とするビデオ復号化方法。
【請求項２】
前記任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出することは、
任意の相互隣接する２つのフレーム画像に対しダウンサンプリングを行って、適切な解像度まで下げることと、
ダウンサンプリング後の前記相互隣接する２つのフレーム画像に対しオプティカルフローを算出して、解像度が下げられた第一オプティカルフロー場を得ることと、
前記第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得ることを含む
ことを特徴とする請求項１に記載のビデオ復号化方法。
【請求項３】
前記第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得た後、さらに、
前記オリジナル画像の解像度での第一オプティカルフロー場に対して、連続性を確保するように平滑化処理を行う
ことを特徴とする請求項２に記載のビデオ復号化方法。
【請求項４】
前記オリジナル画像の解像度での第一オプティカルフロー場に対して、連続性を確保するように平滑化処理を行うことは、
前記オリジナル画像の解像度となったときの前記オプティカルフローの正確性を確保するよう、前記オリジナル画像の解像度での第一オプティカルフロー場のオプティカルフロー値にサンプリング係数を掛けることである
ことを特徴とする請求項３に記載のビデオ復号化方法。
【請求項５】
前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、前記位置が相互隣接する２つのフレーム画像の中心であることは、
前記相互隣接する２つのフレーム画像中の第一フレーム画像I1から前記相互隣接する２つのフレーム画像中の第二フレーム画像I2への前記第一オプティカルフロー場をM1とし、前記第一フレーム画像I1と前記第二フレーム画像I2との中心に１つのフレーム画像を挿入したとき、挿入された前記フレーム画像から前記第一フレーム画像I1への前記第二オプティカルフロー場をMとすると、
M(x+dx,y+dy)=−M1(x,y)/2
ここで、(dx,dy)=M1(x,y)は、前記第一フレーム画像I1の (x,y)座標から前記第二フレーム画像I2への動きベクトルである
ことを特徴とする請求項１〜４のいずれか１項に記載のビデオ復号化方法。
【請求項６】
前記挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出した後、さらに、
前記第二オプティカルフロー場に存在する無効座標に対し、前記無効座標の周りで最小の領域を取得して、前記領域に有効座標が含まれるようにし、前記有効座標のオプティカルフローの平均値を前記無効座標に割り当てて、オプティカルフローの空洞を埋めて、最後に前記第二オプティカルフロー場Mに対して平滑化処理を行う
ことを特徴とする請求項５に記載のビデオ復号化方法。
【請求項７】
前記第二オプティカルフロー場を利用して、前記挿入待ちフレーム画像の各画素の前記相互隣接する２つのフレーム画像の１つ前のフレーム画像に対応する画素位置を算出し、前記１つ前のフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てることは、
挿入されるフレーム画像をIとし、前記第二オプティカルフロー場をMとして、前記相互隣接する２つのフレーム画像中の第一フレーム画像I1における、前記挿入されるフレーム画像I中の各座標(x,y)の位置(x+dx,y+dy)を算出し、ここで、(dx,dy)=M(x,y) は、前記挿入されるフレーム画像Iから前記第一フレーム画像I1への座標 (x,y)での動きベクトルであり、
前記挿入されるフレーム画像Iの各画素に値を与えて、
I(x,y)= I1(x+dx,y+dy)である
ことを特徴とする請求項１〜４のいずれか１項に記載のビデオ復号化方法。
【請求項８】
前記挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成することは、
前記ビデオから復号化したフレーム画像の配列をIi 、Ii+1……とし、前記オプティカルフローを利用してフレーム画像Ii とIi+1との間にフレーム画像Ii’ を挿入して、前記フレーム画像をI1、I1’、I2、I2’……の順にビデオストリーミングに符号化して、高フレームレートのビデオを形成する
ことを特徴とする請求項１〜４のいずれか１項に記載のビデオ復号化方法。
【請求項９】
コンピュータープログラムが記憶されており、
処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至８のいずれか一項に記載のビデオ復号化方法のステップを実施する
ことを特徴とするコンピューター可読記憶媒体。
【請求項１０】
一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムを備え、前記処理装置と前記記憶装置はバスによって接続されており、
前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、
前記処理装置により前記コンピュータープログラムを実行する際、前記請求項１乃至８のいずれか一項に記載のビデオ復号化方法のステップを実施する
ことを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、特に、ビデオ復号化方法及びにカメラに関する。
【背景技術】
【０００２】
カメラで動くもの、特に高速で動く物体を撮影して得られたビデオでは、ビデオのフレームレートが不十分なため、撮られた物体の動きの不連続現象が発生し、再生速度を下げてスローモーションで見る場合、このような動きの不連続現象がより顕著に現れる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、動く物体のビデオに発生する、フレームレートに起因する動きが不連続な現象が解決できるビデオ復号化方法、コンピューター可読記憶媒体及びカメラを提供することである。
【課題を解決するための手段】
【０００４】
本発明によるビデオ復号化方法は、ビデオを読み込んで、ビデオから各フレーム画像を復号化するステップ、任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出するステップ、前記第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、ここで前記位置が相互隣接する２つのフレーム画像の中心であるステップ、前記第二オプティカルフロー場を利用して、前記挿入待ちフレーム画像の各画素の、前記相互隣接する２つのフレーム画像の１つ前のフレーム画像での対応する画素位置を算出し、前記１つ前のフレーム画像における画素値を取得して前記挿入待ちフレーム画像の画素に割り当てるステップ、挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成するステップを含む。
【０００５】
さらに、本発明によるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置により前記コンピュータープログラムを実行する際、本発明によるビデオ復号化方法のステップを実施する。
【０００６】
さらに、本発明によるカメラは、一つ又は複数の処理装置と、記憶装置と、一つ又は複数のコンピュータープログラムを備え、前記処理装置と前記記憶装置はバスによって接続されており、前記一つ又は複数のコンピュータープログラムは、前記記憶装置に記憶されて、前記一つ又は複数の処理装置により実行されるように配置され、前記処理装置により前記コンピュータープログラムを実行する際、本発明によるビデオ復号化方法のステップを実施する。
【発明の効果】
【０００７】
本発明によれば、任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出し、第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の相互隣接する２つのフレーム画像の１つ前のフレーム画像の対応する画素位置を算出し、１つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てて、挿入したフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておく。これにより、高フレームレートのビデオを再構成するので、動きが不連続な現象が解消又は遅延して、より円滑な視覚効果を達成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第一の実施形態によるビデオ復号化方法のフローチャートである。
【図２】本発明の第三の実施形態によるカメラの構成ブロック図である。
【発明を実施するための形態】
【０００９】
本発明の目的、技術的手段及び有益な効果をより明確に説明するために、以下、図面、実施形態に基づいて詳しく説明する。もちろん、下記の実施形態は本発明を説明するためものであり、本発明を限定するものではない。
【００１０】
[第一の実施形態]
図１に示すように、本実施形態によるビデオ復号化方法は、下記ステップを含むが、実質上同じ効果をもたらすのであれば、図１に示されたフローチャートの順番に限らない。
【００１１】
Ｓ１０１：ビデオを読み込んで、ビデオから各フレーム画像を復号化する。
【００１２】
Ｓ１０２：任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出する。
【００１３】
本実施形態において、Ｓ１０２は、具体的には、
任意の相互隣接する２つのフレーム画像に対しダウンサンプリングを行って、適切な解像度まで下げること；
ダウンサンプリング後の相互隣接する２つのフレーム画像に対しオプティカルフローを算出して、解像度が下げられた第一オプティカルフロー場を得ること；
第一オプティカルフロー場に対し、オリジナル画像の解像度になるようにアップサンプリングして、オリジナル画像の解像度での第一オプティカルフロー場を得ることを含む。
【００１４】
本実施形態において、ビデオ復号化方法は、第一オプティカルフロー場に対して、オリジナル画像の解像度になるようにアップサンプリングし、オリジナル画像の解像度での第一オプティカルフロー場を得た後、さらに、オリジナル画像の解像度の第一オプティカルフロー場に対して、連続性を確保するように平滑化処理を行うステップを含む。詳しくは、オリジナル画像の解像度での第一オプティカルフロー場のオプティカルフロー値にサンプリング係数を掛けることで、オリジナル画像の解像度になったときのオプティカルフローの正確性を確保する。
【００１５】
Ｓ１０３：第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出する。その位置は相互隣接する２つのフレーム画像の中心である。
【００１６】
本実施形態において、Ｓ１０３は、具体的には、
相互隣接する２つのフレーム画像中の第一フレーム画像I1から前記相互隣接する２つのフレーム画像中の第二フレーム画像I2への第一オプティカルフロー場をM1とし、第一フレーム画像I1と第二フレーム画像I2との中心に１つのフレーム画像を挿入したとき、挿入されたフレーム画像から第一フレーム画像I1への第二オプティカルフロー場をMとすると、
M(x+dx,y+dy)=−M1(x,y)/2；
ここで、(dx,dy)=M1(x,y)は、第一フレーム画像I1の (x,y)座標から第二フレーム画像I2への動きベクトルである。
【００１７】
第二オプティカルフロー場Mには空洞が存在する可能性があり、つまり、無効座標が存在する。このため、本実施形態において、ビデオ復号化方法は、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出した後、さらに、第二オプティカルフロー場に存在する無効座標に対し、無効座標の周りで最小の領域（例えば、正方形、長方形など）を取得して、その領域に有効座標が含まれるようにし、その後、有効座標のオプティカルフローの平均値を無効座標に代入して、オプティカルフローの空洞を埋め、最後に、第二オプティカルフロー場Mに対して平滑化処理を行うステップを含む。
【００１８】
Ｓ１０４：第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の、相互隣接する２つのフレーム画像の１つ前のフレーム画像における対応する画素位置を算出し、１つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てる。
【００１９】
本実施形態において、Ｓ１０４は、具体的には、
挿入されるフレーム画像をIとし、第二オプティカルフロー場をMとして、相互隣接する２つのフレーム画像中の第一フレーム画像I1における、挿入されるフレーム画像I中の各座標(x,y)の位置(x+dx,y+dy)を算出しする。ここで、(dx,dy)=M(x,y) は、挿入されるフレーム画像をIから第一フレーム画像I1への座標 (x,y)での動きベクトルであり、挿入されるフレーム画像Iの各画素に値を与え、具体的な式ははI (x,y)= I1(x+dx,y+dy)である。
【００２０】
Ｓ１０５：挿入したフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておいて、高フレームレートのビデオを再構成する。
【００２１】
本実施形態において、Ｓ１０５は、具体的には、
ビデオから復号化したフレーム画像の配列をIi 、Ii+1……とし、オプティカルフローを利用してフレーム画像Ii とIi+1との間にフレーム画像Ii’ を挿入して、フレーム画像をI1、I1’、I2、I2’……の順にビデオストリーミングに符号化して、高フレームレートのビデオを形成する。
【００２２】
[第二の実施形態]
本実施形態よるコンピューター可読記憶媒体は、コンピュータープログラムが記憶されており、処理装置によりコンピュータープログラムを実行する際、上記第一の実施形態によるビデオ復号化方法のステップを実施する。
【００２３】
［第三の実施形態］
図２は、本発明の実施形態によるカメラの構成ブロック図を示す。本実施形態によるカメラ１００は、一つ又は複数の処理装置１０１と、記憶装置１０２と、一つ又は複数のコンピュータープログラムとを備えている。処理装置１０１と記憶装置１０２はバスによって接続されており、一つ又は複数のコンピュータープログラムは、記憶装置１０２に記憶されて、一つ又は複数の処理装置１０１により実行されるように配置されている。処理装置１０１によりコンピュータープログラムを実行する際、上記第一の実施形態によるビデオ復号化方法のステップを実施する。
【００２４】
本発明において、任意の相互隣接する２つのフレーム画像に対し、第一オプティカルフロー場を算出し、第一オプティカルフロー場によって、挿入待ちフレーム画像の位置の第二オプティカルフロー場を算出し、第二オプティカルフロー場を利用して、挿入待ちフレーム画像の各画素の、相互隣接する２つのフレーム画像の１つ前のフレーム画像における対応する画素位置を算出し、１つ前のフレーム画像における画素値を取得して挿入待ちフレーム画像の画素に割り当てて、挿入されたフレーム画像と復号化したオリジナルのフレーム画像を時系列にまとめておく。これにより、高フレームレートのビデオを再構成することができるので、動きが不連続な現象が解消又は遅延して、より円滑な視覚効果を達成する。
【００２５】
もちろん、上述した方法におけるすべて又は一部のステップは、プログラムにより関連するハードウェアに指令を出して完了することができ、そのプログラムをコンピューター可読記憶媒体に記憶することができる。ここで、記憶媒体としては、例えば、リードオンリーメモリ（ＲＯＭ，Read Only Memory）、ランダムアクセスメモリ（ＲＡＭ，Random Access Memory）、磁気ディスク、光ディスクなどがある。
【００２６】
以上のように、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、本発明の趣旨及びその範囲から逸脱しない限り、その趣旨に基づいて変更、同等の置換又は改善することができ、いずれも本発明の保護範囲に含まれる。
【図１】
2021506160.tif 000003
【図２】
2021506160.tif 000004
【国際調査報告】
2021506160.tif 000005
2021506160.tif 000006
2021506160.tif 000007
2021506160.tif 000008