(57)【要約】【課題】画素間引きを行った動画像データを少ないメモリ容量で高速に復元するとともに、画質低下を防止する。【解決手段】  フレーム内補間処理部６２は、間引き画像を穴埋め済画像に変換する。前半フレーム対応点収集処理部６４は、現在フレームより過去の前半フレームの有効画素を動きベクトルで追跡し、現在フレームと前半フレームとの対応点に関する情報を収集した前半フレーム対応点テーブル６５を作成する。後半フレーム対応点収集処理部６７は、現在のフレーム間引き画像の無効画素に対応する後半フレームの有効画素に関する情報を収集した後半フレーム対応点テーブル６８を作成する。動画像変換部６０は、前半フレーム対応点テーブル６５と後半フレーム対応点テーブル６８とを参照して現在フレームの穴埋め済画像を前半フレーム及び後半フレームで補間する。【選択図】図１２
2006345445.tif 000002
【特許請求の範囲】
【請求項１】
動画像圧縮データの復元処理を実行する動画像変換装置であって、
画素値が間引かれた無効画素と画素値を保持する有効画素とから構成される間引き画像と上記間引き画像に付随する順方向動きベクトルとを含んだ動画像圧縮データを入力する入力部と、
復元対象である現在フレームの間引き画像の有効画素に基づいて当該現在フレーム内の無効画素を補間し穴埋め済画像を作成するフレーム内補間処理部と、
上記現在フレームより過去のフレームである前半フレーム上の有効画素を用いて上記穴埋め済画像の画素を復元する前半フレームレンダリング処理と、上記現在フレームより未来のフレームである後半フレーム上の有効画素を用いて上記穴埋め済画像の画素を復元する後半フレームレンダリング処理とを行いレンダリング済画像を生成するフレームレンダリング処理部と、
を有し、
上記フレームレンダリング処理部は、
上記前半フレームレンダリング処理では、前半フレームの画素を追跡開始点として上記順方向動きベクトルに従い前半フレームから現在フレームに追跡する過程で検出された前半フレーム上の有効画素を用いて、上記穴埋め済画像における追跡終了点の画素を復元し、
上記後半フレームレンダリング処理では、上記現在フレームの間引き画像の無効画素を追跡開始点として上記順方向動きベクトルに従い現在フレームから後半フレームに追跡する過程で検出された後半フレーム上の有効画素を用いて、上記穴埋め済画像の上記追跡開始点における画素を復元する
ことを特徴とする動画像変換装置。
【請求項２】
上記前半フレームの画素を上記順方向動きベクトルで追跡し、現在フレームの画素に対応する前半フレームの有効画素に関する情報を収集した前半フレーム対応点テーブルを作成する前半フレーム対応点収集処理部と、
上記順方向動きベクトルを用いて上記現在フレームの無効画素から上記現後半フレームを追跡し、現在フレームの画素に対応する後半フレームの有効画素に関する情報を収集した後半フレーム対応点テーブルを作成する後半フレーム対応点収集処理部と
を有し、
上記フレームレンダリング処理部は、
上記前半フレーム対応点テーブルを元に、現在フレームの画素に対応する前半フレームの有効画素に関する情報を取得し前半フレームレンダリング処理を行い、上記後半フレーム対応点テーブルを元に、現在フレームの画素に対する後半フレームの有効画素に関する情報を取得し後半フレームレンダリング処理を行うこと
を特徴とする請求項１記載の動画像変換装置。
【請求項３】
上記フレームレンダリング処理部は、上記レンダリング済画像の各画素を正規化する画像正規化処理部を有することを特徴とする請求項１記載の動画像変換装置。
【請求項４】
上記レンダリング済画像と上記フレーム内補間処理部において補間された穴埋め済画像とを合成する合成部を有することを特徴とする請求項１記載の動画像変換装置。
【請求項５】
上記合成部の出力画像に残存する無効画素を当該出力画像のフレーム内の有効画素で補間する最終補間処理部を有することを特徴とする請求項４記載の動画像変換装置。
【請求項６】
上記フレームレンダリング処理部は、上記現在フレームの各画素について、当該画素に対応する前半フレーム及び後半フレーム上の各有効画素が存在するフレームと上記現在フレームとのフレーム間距離に応じた荷重係数を積算した積算荷重係数を算出し、
上記画像正規化処理部は、上記レンダリング済画像の各画素値を上記積算荷重係数で除すること
を特徴とする請求項３記載の動画像変換装置。
【請求項７】
動画像圧縮データの復元処理を実行する動画像変換方法であり、
画素値が間引かれた無効画素と画素値を保持する有効画素とから構成される間引き画像と上記間引き画像に付随する順方向動きベクトルとを含んだ動画像圧縮データを入力する入力工程と、
復元対象である現在フレームの間引き画像の有効画素に基づいて当該現在フレーム内の無効画素を補間し穴埋め済画像を作成するフレーム内補間工程と、
上記現在フレームより過去のフレームである前半フレーム上の有効画素を用いて上記穴埋め済画像の画素を復元する前半フレームレンダリング処理と、上記現在フレームより未来のフレームである後半フレーム上の有効画素を用いて上記穴埋め済画像の画素を復元する後半フレームレンダリング処理とを行いレンダリング済画像を生成するレンダリング処理工程と
を有し、
上記前半フレームレンダリング処理では、前半フレームの画素を追跡開始点として上記順方向動きベクトルに従い前半フレームから現在フレームに追跡する過程で検出された前半フレーム上の有効画素を用いて、上記穴埋め済画像における追跡終了点の画素を復元し、
上記後半フレームレンダリング処理では、上記現在フレームの間引き画像の無効画素を追跡開始点として上記順方向動きベクトルに従い現在フレームから後半フレームに追跡する過程で検出された後半フレーム上の有効画素を用いて、上記穴埋め済画像の蒸気追跡開始点における画素を復元する
ことを特徴とする動画像変換方法。
【請求項８】
コンピュータに動画像圧縮データの復元処理を実行させるコンピュータ・プログラムであり、
画素値が間引かれた無効画素と画素値を保持する有効画素とから構成される間引き画像と上記間引き画像に付随する順方向動きベクトルとを含んだ動画像圧縮データを入力する入力工程と、
復元対象である現在フレームの間引き画像の有効画素に基づいて当該現在フレーム内の無効画素を補間し穴埋め済画像を作成するフレーム内補間工程と、
上記現在フレームより過去のフレームである前半フレーム上の有効画素を用いて上記穴埋め済画像の画素を復元する前半フレームレンダリング処理と、上記現在フレームより未来のフレームである後半フレーム上の有効画素を用いて上記穴埋め済画像の画素を復元する後半フレームレンダリング処理とを行いレンダリング済画像を生成するレンダリング処理工程と
を有し、
上記前半フレームレンダリング処理では、前半フレームの画素を追跡開始点として上記順方向動きベクトルに従い前半フレームから現在フレームに追跡する過程で検出された前半フレーム上の有効画素を用いて、上記穴埋め済画像における追跡終了点の画素を復元し、
上記後半フレームレンダリング処理では、上記現在フレームの間引き画像の向こう画素を追跡開始点として上記順方向動きベクトルに従い現在フレームから後半フレームに追跡する過程で検出された後半フレーム上の有効画素を用いて、上記穴埋め済画像の蒸気追跡開始点における画素を復元する
を有することを特徴とするコンピュータ・プログラム。
【請求項９】
動画像圧縮データの復元処理を実行する動画像変換装置であって、
画素値が間引かれた無効画素と画素値を保持する有効画素とから構成される間引き画像と上記間引き画像に付随する双方向動きベクトルとを含んだ動画像圧縮データを入力する入力部と、
復元対象である現在フレームの間引き画像の有効画素に基づいて当該現在フレーム内の無効画素を補間した穴埋め済画像を作成するフレーム内補間処理部と、
上記現在フレームより過去のフレームである前半フレーム上の有効画素を用いて上記穴埋め済画像の画素を復元する前半フレームレンダリング処理と、上記現在フレームより未来のフレームである後半フレーム上の有効画素を用いて上記穴埋め済画像の画素を復元する後半フレームレンダリング処理とを行いレンダリング済画像を生成するフレームレンダリング処理部と、
を有し、
上記フレームレンダリング処理部は、
上記前半フレームレンダリング処理では、現在フレームの間引き画像の無効画素を追跡開始点として上記双方向動きベクトルの逆方向動きベクトルに従い現在フレームから前半フレームに追跡する過程で検出された前半フレーム上の有効画素を用いて、上記穴埋め済画像における追跡開始点の画素を復元し、
上記後半フレームレンダリング処理では、上記現在フレームの間引き画像の無効画素を追跡開始点として上記双方向動きベクトルの順方向動きベクトルに従い現在フレームから後半フレームに追跡する過程で検出された後半フレーム上の有効画素を用いて、上記穴埋め済画像における追跡開始点の画素を復元する
ことを特徴とする動画像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。特に画素間引きを伴う圧縮データから高品質な画像データの復元を可能としたものであり、例えば復元画像のスローモーション表示において目立ちやすいジャギー（空間集周波数の折り返し）等の画質劣化を解消し高品質な画像復元を実現する動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムに関する。
【０００２】
本発明は、動画像変換装置および方法、並びに動画像データフォーマットに関し、特に、動画のデータ量を適切に削減することができるようにした動画像変換装置および方法、並びに動画像データフォーマットに関するものである。
【背景技術】
【０００３】
動画像のデータ量は非常に膨大であるため、動画像を保存や送信等する際には、通常、動画像のデータ量の圧縮（削減）が行われる。
【０００４】
動画像のデータ量の圧縮方法として、例えば、被写体速度や輝度によって、動画像全体の解像度やフレームレートを間引く方法（特許文献１ 参照）や、分割された複数の領域を異なる画像品質で符号化することによりデータ量を圧縮する方法（特許文献２ 参照）が存在する。
【０００５】
【特許文献１】特開２００３−１６９２８４号公報
【特許文献２】特開２００２−２７４６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に示される方法では、動画の領域の特徴に関わらず動画画質が均一に劣化するので、領域の特徴（例えば、動きがの大きさ）によっては、見難い画像となってしまう場合があった。
【０００７】
また特許文献２ に示される方法では、対象となる動画像が固定されたカメラにより取得されたものに限定されており、通常の手持ち撮影には適用することができなかった。また異なる品質で符号化する領域は、初めに手動で決定しなければならず、その領域情報を画像の変化に応じて自動的に修正することで各フレームの領域情報を決定するために、当該方法の適用範囲は非常に限定されたものとなっている。
【０００８】
本発明はこのような状況に鑑みてなされたものであり、主観的な画質劣化を最小限に抑えつつ、広範にわたる方法で取得された動画像のデータ量を削減することができるようにするものである。
【課題を解決するための手段】
【０００９】
上述した目的を達成するため、本発明の動画像変換装置、動画像変換方法、及びコンピュータ・プログラムを実行するコンピュータは、画素値が間引かれた無効画素と画素値を保持する有効画素とから構成される間引き画像と間引き画像に付随する順方向動きベクトルとを含んだ動画像圧縮データを入力し、復元対象である現在フレームの間引き画像の有効画素に基づいて当該現在フレーム内の無効画素を補間し穴埋め済画像を作成し、前半フレームの画素を追跡開始点として順方向動きベクトルに従い前半フレームから現在フレームに追跡する過程で検出された前半フレーム上の有効画素を用いて、穴埋め済画像における追跡終了点の画素を復元し、現在フレームの間引き画像の無効画素を追跡開始点として順方向動きベクトルに従い現在フレームから後半フレームに追跡する過程で検出された後半フレーム上の有効画素を用いて、穴埋め済画像の追跡開始点における画素を復元する。
【００１０】
また、本発明の動画像変換装置によれば、画素値が間引かれた無効画素と画素値を保持する有効画素とから構成される間引き画像と間引き画像に付随する双方向動きベクトルとを含んだ動画像圧縮データを入力し、復元対象である現在フレームの間引き画像の有効画素に基づいて当該現在フレーム内の無効画素を補間した穴埋め済画像を作成し、現在フレームの間引き画像の無効画素を追跡開始点として双方向動きベクトルの逆方向動きベクトルに従い現在フレームから前半フレームに追跡する過程で検出された前半フレーム上の有効画素を用いて、穴埋め済画像における追跡開始点の画素を復元し、現在フレームの間引き画像の無効画素を追跡開始点として双方向動きベクトルの順方向動きベクトルに従い現在フレームから後半フレームに追跡する過程で検出された後半フレーム上の有効画素を用いて、穴埋め済画像における追跡開始点の画素を復元する。
【００１１】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【発明の効果】
【００１２】
本発明を適用した動画像変換装置、動画像変換方法、及びコンピュータ・プログラムを実行するコンピュータは、復元対象である現在フレームの画素を追跡開始点として他フレームの有効画素を検索するバックワードレンダリングと、現在フレーム以外のフレームの有効画素を追跡開始点として現在フレームの画素を追跡するフォワードレンダリングを併用するため、順方向動きベクトルのような片方向動きベクトルから効率的に再構成画像を生成することができる。
【００１３】
また、本発明を適用した動画像変換装置、動画像変換方法、及びコンピュータ・プログラムを実行するコンピュータは、現在フレームの画素に対応する前半フレームの有効画素に関する情報を収集した前半フレーム対応点テーブル及び現在フレームの画素に対応する後半フレームの有効画素に関する情報を収集した後半フレーム対応点テーブルを作成し、前後のフレームを展開することなく、テーブルを参照しながらバックワードレンダリングおよびフォワードレンダリングを実行するため、前後のフレームを展開するメモリの容量を少なくするとともに、メモリアクセスに要する時間を短縮することができる。
【００１４】
本発明を適用した動画像変換装置は、順方向動きベクトル及び逆方向動きベクトルからなる双方向動きベクトルを入力し、復元対象である現在フレームの画素を追跡開始点として、バックワードレンダリングのみを行うため、画質精度を維持しつつ高速に再構成画像を生成することができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら、本発明の動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラムの構成について説明する。なお、説明は、以下の項目に従って行う。
【００１６】
（１）超解像効果を利用した動画像変換装置の基本構成
（２）高品質な復元画像を生成する動画像変換装置および動画像変換方法
（３）本発明を適用した動画像変換装置および動画像変換方法
【００１７】
［（１）超解像効果を利用した動画像変換装置の基本構成］
まず、本発明のベースとなる超解像効果を利用した動画像圧縮を実行する動画像変換装置の基本構成について説明する。なお、この基本構成は、本出願人が先に出願した特願２００３−４１２５０１号の明細書及び図面に詳細を記載しているものであり、画像を小領域（ブロック）に分割し、各領域の移動速度に応じて画素数の間引きや、フレームレートの間引きを適応的に行うことでデータ量の圧縮を実現した構成である。
【００１８】
図１に特願２００３−４１２５０１号の明細書及び図面に記載した動画像変換装置１０の構成例を示す。この動画像変換装置１０は、超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者が知覚しないようにデータ量の削減を行うことができる構成としたものである。
【００１９】
なお、超解像効果とは、観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間は、ある時間内に呈示された複数の画像が加算されたものを知覚するという視覚特性を持つためである。この特性は、Blochの法則として知られる視覚の時間的積分機能に起因しており、例えば、"視覚情報ハンドブック，日本視覚学会編，ｐｐ．２１９−２２０"などに記載されている。Blochの法則が成り立つ積分時間は、背景光の強度などの呈示条件によって変化するが、およそ２５ｍｓ乃至１００ｍｓであるという報告がある。
【００２０】
図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行うことにより、画質劣化を観測者が知覚しないようにデータを削減する圧縮を行う構成としたものである。図１の動画像変換装置１０の構成について説明する。
【００２１】
ブロック分割部１１は、入力された動画像の各フレームを、所定画素の区分領域としてのブロックに分割し移動量検出部１２に供給する。移動量検出部１２は、ブロック分割部１１から供給された各ブロックについての移動量を検出し、ブロックとその移動量を、ブロック処理部１３に送信する。ブロック処理部１３は、移動量検出部１２から供給されたブロックに対して、その移動量に応じた動画像変換処理、すなわち圧縮処理を施し、データ量を削減する。ブロック処理部１３は、その処理の結果得られた、データ量が削減されたブロックについてのデータを、出力部１４に供給する。出力部１４は、ブロック処理部１３から供給された、データ量が削減されたブロックについてのデータを、ストリームデータとしてまとめて出力する。
【００２２】
次に、図２を参照して、各部の詳細について説明する。ブロック分割部１１の画像蓄積部２１には、動画像変換装置１０に供給された動画像のフレームが入力される。画像蓄積部２１は、入力されたフレームを蓄積する。画像蓄積部２１は、蓄積したフレームの数がＮ枚（Ｎは正の整数）になる度に、そのＮ枚のフレームを、ブロック分割部２２に供給するとともに、Ｎ枚のフレームの中のＭ番目に記憶したフレーム（以下、Ｍ番目のフレームと称する）を、移動量検出部１２（移動量検出部３１）に供給する。例えば、Ｎ＝４とする。
【００２３】
ブロック分割部２２は、画像蓄積部２１から供給されたＮ枚のフレーム（連続するＮ枚のフレーム）のそれぞれを、ある大きさ（例えば８×８、１６×１６）のブロックに分割し、移動量検出部１２（ブロック分配部３２）に出力する。ブロック分割部２２はまた、Ｎ枚のフレームの中の、画像蓄積部２１でＰ番目に記憶されたフレーム（以下、Ｐ番目のフレームと称する）の各ブロックを移動量検出部１２（移動量検出部３１）に供給する。Ｐ番目のフレームは、Ｍ番目のフレームと異なるフレームである。
【００２４】
次に、移動量検出部１２について説明する。移動量検出部１２の移動量検出部３１は、ブロック分割部１１のブロック分割部２２から供給されたＰ番目のフレームの各ブロックの動きベクトルを、画像蓄積部２１から供給されたＭ番目のフレームを参照して例えばフレーム間のブロックマッチング処理を実行して検出し、検出した動きベクトルをブロック分配部３２に供給する。動きベクトルは、フレーム間の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）の移動量を表している。なお、移動量検出部３１は、移動量検出の精度を向上させるために画像を拡大し、拡大画像を適用した移動量検出を行なう構成としてもよい。
【００２５】
移動量検出部１２のブロック分配部３２には、ブロック分割部２２から、Ｎ個単位でブロック（Ｎ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック）が供給され、移動量検出部３１から、そのＮ個のブロックの中のＰ番目のフレームのブロックの移動量が供給される。ブロック分配部３２は、供給されたＮ個のブロックと移動量を、ブロック処理部１３の、その移動量に対応する処理を行うブロック処理部５１乃至５３の中のいずかに供給する。
【００２６】
具体的にはブロック分配部３２は、移動量検出部３１から供給された、１フレーム間の水平方向（Ｘ軸方向）または垂直方向（Ｙ軸方向）の移動量が２ピクセル（画素）以上である場合、ブロック分割部２２から供給されたＮ個のブロックと移動量検出部３１から供給された移動量を、ブロック処理部５１に出力する。また、１フレーム間の水平方向と垂直方向の移動量がともに２ピクセル未満で、かつ１ピクセル以上の場合、ブロック分配部３２は、Ｎ個のブロックと移動量を、ブロック処理部５３に出力する。移動量がそのほかの場合には、ブロック分配部３２は、Ｎ個のブロックと移動量をブロック処理部５２に供給する。
【００２７】
すなわちブロック分配部３２は、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、そのフレームレートおよび空間解像度にしたがって画像データを変換する処理を行うブロック処理部５１〜５３に、ブロック画像を分配する。
【００２８】
次に、ブロック処理部１３の詳細を説明する。ブロック処理部１３は、上述したように３個のブロック処理部５１乃至５３で構成されている。ブロック処理部５１は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向または垂直方向の移動量が２ピクセル以上である場合のＮ個のブロック）に対して、画素数を、同様にブロック分配部３２から供給された移動量に応じて間引く処理（空間方向間引き処理）を行う。
【００２９】
具体的には、１フレーム間の水平方向の移動量が２ピクセル（画素）以上である場合、ブロック処理部５１は、処理対象のブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち１つの画素値のみを選択して代表値とする。図３（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ１０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ１１を代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ１２を代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ１３を代表値（標本点）とする。
【００３０】
１フレーム間の垂直方向の移動量が２ピクセル以上である場合、ブロック処理部５１は、ブロックが図３（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち１つの画素値を標本点として有効とする。図３（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ０１のみを標本点として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１１を標本点とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２１を標本点とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３１を標本点とする。
【００３１】
ブロック処理部５１は、このような空間方向間引き処理を、供給された連続するＮ（例えばＮ＝４）枚のフレームのそれぞれの同一位置にある合計Ｎ＝４個のブロックに対してそれぞれ施すので、各ブロックのデータ量が１／４に削減され、４個のブロック全体のデータ量が１／４に削減される。ブロック処理部５１は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
【００３２】
次に、図２に示すブロック処理部５２の実行する処理について説明する。図２に示すブロック処理部５２は、移動量検出部１２のブロック分配部３２から供給された連続するＮ枚のフレームのそれぞれの同一位置ある合計Ｎブロック（水平方向と垂直方向の移動量がともに１ピクセル未満である場合のＮ個のブロック）に対して、フレーム数を間引く処理（時間方向間引き処理）を行う。
【００３３】
具体的にはブロック処理部５２は、図４に示すように、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックＢｉを、その中の１つのブロック（この例の場合、フレームＦ１のブロックＢｉ）にするフレーム数の間引き（４フレーム間のフレーム数の間引き）を行う。ブロック処理部５２は、このような時間方向間引き処理により、データ量が１／４に削減された４個のブロックについてのデータ（１個のブロック）を、出力部１４に供給する。選択された１つのブロックの画素データが４フレームに対応する標本点データとなる。
【００３４】
ブロック処理部５３は、移動量検出部１２のブロック分配部３２から供給された、連続するＮ枚のフレームのそれぞれの同一位置にある合計Ｎ個のブロック（水平方向と垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合のＮ個のブロック）に対して、画素数の間引き処理（空間方向間引き処理）とフレーム数の間引き処理（時間方向間引き処理）をそれぞれ行う。
【００３５】
ブロック処理部５３は、ブロック処理部５１における間引き処理とは異なり、図５に示すように、１フレーム間の水平方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象のブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、水平方向の４画素のうち２つの画素値のみを選択して代表値とする。図５（ｂ）の例では、Ｐ００乃至Ｐ３０の４画素のうちＰ００とＰ２０のみを代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ０１乃至Ｐ３１の４画素に対してはＰ０１とＰ２１のみを代表値（標本点）とし、Ｐ０２乃至Ｐ３２の４画素に対してはＰ０２とＰ２２のみ代表値（標本点）とし、Ｐ０３乃至Ｐ３３の４画素に対してはＰ０３とＰ２３のみ代表値（標本点）とする。
【００３６】
１フレーム間の垂直方向の移動量が１ピクセル以上で、２ピクセル未満である場合、ブロック処理部５３は、処理対象ブロックが図５（ａ）に示すように４×４ピクセルで構成されているとき、垂直方向の４画素のうち２つの画素値を有効とする。図５（ｃ）の例では、Ｐ００乃至Ｐ０３の４画素のうちＰ００およびＰ０２を代表値（標本点）として有効にする。その他の画素値は無効とする。同様に、Ｐ１０乃至Ｐ１３の４画素に対してはＰ１０およびＰ１２を代表値（標本点）とし、Ｐ２０乃至Ｐ２３の４画素に対してはＰ２０およびＰ２２を代表値（標本点）とし、Ｐ３０乃至Ｐ３３の４画素に対してはＰ３０およびＰ３２を代表値（標本点）とする。
【００３７】
さらにブロック処理部５３は、フレーム数の間引き処理を行う。具体的にはブロック処理部５３は、連続する４枚のフレームＦ１乃至Ｆ４のそれぞれの同一位置ある４個のブロックに対して、その中の２つのブロックを有効にするフレーム数の間引き処理を実行する。フレーム数の間引き処理においては、ブロック処理部５３は、ブロック処理部５２における間引き処理と異なり、図６に示すように、連続する４枚のフレームＦ１乃至Ｆ４のぞれぞれの同一位置にある合計４個のブロックＢｉを、その中のいずれか２つ（図の例では、フレームＦ１、Ｆ３の２個のブロック）にするフレーム数の間引き（２フレーム間のフレーム数の間引き）を行う。選択された２つのブロックの画素データが４フレームに対応する標本点データとなる。この場合、図５を参照して説明した空間方向の間引きにおいて、すでに１ブロックに８つの標本点選択が実行済みであり、２ブロックから総計１６の標本点が選択され、これらが４フレームに対応する標本点データとして設定されることになる。
【００３８】
ブロック処理部５３は、図５を参照して説明したデータ量を１／２とする空間方向間引き処理と、図６を参照して説明したデータ量を１／２とする時間方向間引き処理を、供給された４個のブロックに対して施すので、結果として４個のブロックのデータ量が（１／２）×（１／２）＝１／４に削減される。ブロック処理部５３は、データ量が１／４に削減された４個のブロックについてのデータを、出力部１４に供給する。
【００３９】
出力部１４は、ブロック処理部１３のブロック処理部５１乃至５３のそれぞれから供給された、データ量が削減されたＮ個のブロックについてのデータからストリームデータを生成する。
【００４０】
図７を参照して、動画像変換装置１０における具体的な処理例について説明する。図７は、動画像変換装置１０において処理された連続する５枚のフレームＦ１乃至Ｆ５を示し、各フレームから選択された有効データの配置を表している。動画像変換装置１０において選択された有効データが図７に示す空白以外の画素部分であり、空白部は、動画像変換装置１０において選択されなかった無効画素部を示している。
【００４１】
各フレームＦ１〜Ｆ５は時系列に沿った同一位置のフレームであり、それぞれ４×４ピクセルのブロック１０１〜１１６を持つ。
【００４２】
ブロック１０１〜１１６中、ブロック１０１および１０２は、ブロック処理部５１により水平方向に空間方向間引き処理が施されるブロックである。ブロック１１１および１１２は、ブロック処理部５１により垂直方向に空間方向間引き処理が施されるブロックである。ブロック１０３および１０４は、ブロック処理部５３により水平方向に空間方向間引き処理、および時間方向間引き処理が施されるブロックである。ブロック１１３および１１４は、ブロック処理部５３により垂直方向に空間方向間引き処理、および時間方向間引き処理が施されるブロックである。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２により時間方向間引き処理が施されるブロックである。
【００４３】
最初のフレームＦ１では、ブロック１０１および１０２は、ブロック処理部５１によって水平方向に１／４に間引き処理されて、有効データはそれぞれ４画素となる。ブロック１１１および１１２は、ブロック処理部５１によって垂直方向に１／４に間引き処理されて、有効データはそれぞれ４画素となる。ブロック１０３および１０４は、ブロック処理部５３によって水平方向に１／２に間引き処理されて、有効データはそれぞれ８画素となる。ブロック１１３および１１４は、ブロック処理部５３によって垂直方向に１／２に間引き処理されて、有効データはそれぞれ８画素となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されるが、最初のフレームでは全画素が有効データとなる。
【００４４】
第２フレームＦ２では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、ブロック処理部５３によって時間方向間引き処理されて、全画素が無効となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。
【００４５】
第３フレームＦ３では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、有効なフレームとなり、フレームＦ１と同様の処理により、それぞれ８画素が有効データとなる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。
【００４６】
第４フレームＦ４では、ブロック１０１および１０２、並びにブロック１１１および１１２は、フレームＦ１と同様の処理により、それぞれ４画素が有効データとなる。ブロック１０３および１０４、並びにブロック１１３および１１４は、ブロック処理部５３によって時間方向間引き処理されて、全画素が無効となる。ブロック１０５，１０６，１１５，１１６は、ブロック処理部５２によって時間方向間引き処理されて、全画素が無効となる。
【００４７】
ここではＮ＝４としているため、第５フレームＦ５は、第１フレームＦ１と同様のデータ配置となる。このようにして、各ブロックのデータは移動速度情報に応じて最適な間引き処理が施され、最終的には１／４のデータ量削減が実現される。
【００４８】
このように、図１に示す動画像変換装置１０は、入力された動画像を、そのデータ量が削減された動画像（圧縮データ）に変換する処理を行なうものであるが、その際、所定の視覚特性に基づいて実現される超解像効果を利用した動画像変換処理を行うことにより、データ量の削減による画質劣化を観測者に知覚させないようにした装置である。
【００４９】
具体的には、ブロック分配部３２が、移動量検出部２１から供給された移動量に基づき、最適なフレームレートおよび空間解像度を決定し、最適なフレームレートおよび空間解像度にしたがった画像データ変換を実行するブロック処理部５１〜５３に供給して、各ブロック処理部５１〜５３において異なる態様のデータ変換処理を実行する構成としたものであり、本構成により、画質劣化を観測者に知覚させることのない動画像変換処理を実現している。なお、超解像効果とは、前述したように観測者が、空間方向に離散的にサンプリングされた移動被写体を追従視する際に、表示画素数以上の解像度を知覚するという視覚的効果である。これは、人間の視覚における時間的積分機能に起因しており、図１に示す動画像変換装置１０は、時間的積分機能によって引き起こされる超解像効果を利用した動画像変換処理を行う構成を有する。
【００５０】
なお、人間の視覚特性および超解像効果に関する原理や説明等は、特願２００３−４１２５０１の明細書及び図面において詳しく解説がなされている。特願２００３−４１２５０１の明細書及び図面に説明されている超解像効果の発生条件の概略について、以下に説明する。
【００５１】
間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要がある。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、下記式（式１）、（式２）を満足することである。
【００５２】
【数１】
2006345445.tif 000003
【００５３】
上記式において、φ１は画素数の間引きにおけるサンプリング位置のずれ量であり、時間ｔ（＝０、１Ｔ、２Ｔ、・・・）、信号の移動速度ｖ、時間間隔（フレームレートの逆数）Ｔ、を用いて、下記式（式３）によって定義される値である。
【００５４】
【数２】
2006345445.tif 000004
【００５５】
間引き量ｍ、小領域の移動量ｖという条件下で上記式（式１）および（式２）が満たされれば超解像効果が発生し、画質の劣化は観測者に知覚されにくい。
【００５６】
これは、入力動画像のフレームレートと同じフレームレートにおいて表示を行う場合、空間方向に間引きされたブロックは、人間の視覚の時間積分機能により前後のフレーム画像との足し合わせが行われ、結果として元画像と同等の画像を知覚するためである。
【００５７】
しかしながら、入力動画像のフレームレートよりも低いフレームレートで表示する（スローモーション表示）、または、同じフレームを一定時間表示しつづける（一時停止）場合には、前後フレーム画像との足し合わせが成立しなくなり、データ量削減によるジャギー（空間周波数の折り返し）が見えてしまうという問題があった。
【００５８】
これを解決するために、空間間引き処理された圧縮画像を線形または非線形なフィルタによって補間処理する方法が考えられる。しかしながら、この方法では元の動画像に含まれる高周波成分を復元することが出来ず、ボケた画像（空間周波数の劣化）になってしまうという問題がある。以下、この問題を解決し入力動画像のフレームレートよりも低いフレームレートで表示する（スローモーション表示）場合にも、元の動画像と同等の動画像表示を可能にする構成について説明する。
【００５９】
［（２）高品質な復元画像を生成する動画像変換装置および動画像変換方法］
上述したように、空間間引き処理された圧縮画像の復元においては画質劣化が目立ってしまう場合がある。特に、入力動画像のフレームレートよりも低いフレームレートで表示するスローモーション表示において、データ量削減によるジャギー（空間周波数の折り返し）が見えてしまうという問題が存在する。以下では、この問題を解決する構成について説明する。
【００６０】
まず、空間方向間引き処理により情報が欠落した動画像から原画像を復元する原理について説明する。図８は、右方向に移動する被写体（車）を撮影した原画像Ｉ１乃至Ｉ４に対して、水平方向に１／４の空間間引き処理を行った結果画像Ｓ１乃至Ｓ４を示している。フレームＦ１において、原画像Ｉ１は、右方向に移動する被写体を撮影した画像である。
【００６１】
被写体（車）の移動速度が、図２に示す動画像変換装置のブロック分配部３２において、ブロック処理部５１（空間方向間引き処理）に分配される条件、すなわちフレームあたりの移動量があらかじめ定めた条件に合致している場合、ブロック処理部５１において空間方向間引き処理が実行される。この結果、原画像Ｉ１は、図８の矢印で示すサンプリング点において水平方向に１／４に間引きされる。ここで、間引き処理におけるサンプリング点（図３の代表画素（標本点）に相当する）の位置は、フレームに対して固定である。間引き処理された画像Ｓ１は、原画像Ｉ１に対して１／４のデータ量になっている。
【００６２】
フレームＦ２において、原画像Ｉ２は、原画像Ｉ１に対して被写体が移動速度ｖ（ピクセル／フレーム）だけ右に移動している。この状態で、フレームＦ１と同様に間引き処理を行い、間引き画像Ｓ２を得る。このとき、サンプリング点（標本点）の位置はフレームＦ１と同じであるため、間引き画像Ｓ２は、間引き画像Ｓ１と異なる画像となる。
【００６３】
同様に、フレームＦ３、フレームＦ４において、原画像Ｉ３，Ｉ４に対して間引き処理を行い、間引き画像Ｓ３，Ｓ４を得る。この例では、ｖ＝１（ピクセル／フレーム）であり、通常表示時に１／４間引き処理において超解像効果が得られるものとする。
【００６４】
間引き画像Ｓ１乃至Ｓ４は、同じ位置のサンプリング点（標本点）で間引き処理された画像であるが、被写体の移動速度ｖが間引き量（本実施例では４）の整数倍になっていなければ、それぞれ異なる位置でサンプリングされた画像となっている。したがって、各間引き画像Ｓ１乃至Ｓ４は、原画像に対して情報が欠落しており、それぞれが異なる情報を持つ。これらの複数の画像を、移動速度情報に基づき位置を合わせながら足し合わせることにより原画像の復元が可能である。
【００６５】
図９は、各フレームに対応する間引き画像Ｓ１乃至Ｓ４を、移動速度ｖに従って移動させた画像を示している。この例ではｖ＝１（右方向）であるため、間引き画像Ｓ１に対して、間引き画像Ｓ２は被写体が右に１画素、間引き画像Ｓ３は被写体が右に２画素、間引き画像Ｓ４は被写体が右に３画素、それぞれずれている。これを位置合わせするために、間引き画像Ｓ２を左に１画素、間引き画像Ｓ３を左に２画素、間引き画像Ｓ４を左に３画素、それぞれ移動する（図９）。この結果、各間引き画像Ｓ１乃至Ｓ４の被写体位置は一致し、サンプリング位置が異なるようになる。これらの画像を足し合わせると、復元画像Ｒ１が得られる。
【００６６】
この例では、移動速度ｖ＝１であり、水平方向に１／４の空間間引き処理を行っているので、４フレームの画像の足し合わせによって原画像を完全に復元することが可能である。このとき、原画像が完全に復元されるためには、以下の条件が成立する必要がある。  
【００６７】
（条件１）被写体の形状、色が、積分されるフレームにわたって変化しない。
（条件２）被写体の移動速度がわかっている。
【００６８】
さらに、上記条件１，２に加え、条件３として、移動速度ｖと間引き量、および積分フレーム数の関係によって、間引き処理によって生じる空間周波数の折り返しが積分処理によって完全に相殺される条件を満足することが必要である。すなわち、前述の超解像効果の発生要件を満足することが必要である。間引き量ｍ（ピクセル）の画素数間引きを行った場合に超解像効果が発生するには、間引きによる１次乃至ｍ−１次の折り返し成分が全て打ち消される必要があるということである。ｋ（＝１、２、・・・、ｍ−１）次の折り返し成分が打ち消される条件は、上述した式（式１）、（式２）を満足することが必要となる。
【００６９】
実際には、入力動画像において上述の各条件を満たすことは非常に難しい。特に、折り返し成分が完全に相殺される条件を導くためには連立方程式を解かなければならない。仮に、折り返し成分が相殺される条件が求まったとしても、実装上、積分可能なフレーム数は制限される。
【００７０】
本発明による画像変換装置では、上記条件を満足するか否かに関わらず高品質なデータ復元を可能とするものであり、現実的な回路規模を適用した画像復元を行い、復元出来ない部分については補間処理を行うことにより破綻の無い画像生成を実現する。
【００７１】
以下、本発明の従来例となる動画像変換装置、すなわち、画素の間引き処理がなされた圧縮画像データの復元を行う装置であり、例えば入力動画像のフレームレートよりも低いフレームレートで表示するスローモーション表示においても、データ量削減によるジャギー（空間周波数の折り返し）の発生を低減し、高品質な動画像の復元を可能とする装置について説明する。図１０は、本発明の従来例となる動画像変換装置１２０の構成を示している。
【００７２】
動画像変換装置１２０の入力部１２１は、例えば図１の動画像変換装置１０によって生成される圧縮データを含むデータストリームを入力する。入力部１２１は、入力したデータストリームに含まれる圧縮データとしてのブロック対応の変換画像データを加算処理部１２２−１乃至１２２−ｎに出力する。この圧縮データは、空間方向あるいは時間方向間引きにより選択された標本点データを含む圧縮データである。また、データストリームに含まれるブロックの属性データ（間引き処理方法、間引き方向など）と動きベクトルデータをアドレス変換部１２６に出力する。なお、動画像変換装置１０によって生成されるデータストリームに動きベクトルデータが存在しない場合には、入力部１２１またはアドレス変換部１２６において、データストリームに含まれる画像データを用いて動きベクトル検出を行い、検出した動きベクトルを用いた処理を実行する。アドレス変換部１２６において動きベクトル検出を行う場合、アドレス変換部１２６には圧縮画像データが入力され、圧縮画像データに基づく動きベクトル検出が実行される。
【００７３】
加算処理部１２２−１乃至１２２−ｎは、入力部１２１から与えられる複数のブロック対応の圧縮データを含む現在フレームの画像データを受け取り、さらに、先行する処理においてフレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）に格納済みのデータを読み取り、現在フレームの画像データの画素値とバッファ読み取り値との加算平均処理を行う。フレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）に格納済みのデータとは、先行フレームにおける標本点の画素値、または複数フレームにおける標本点の画素値の加算平均値である。これらの処理の詳細については後述する。
【００７４】
フレームバッファ１〜ｎ（１２３−１乃至１２３−ｎ）は、過去フレームにおける画像データを、位置合わせをして一時記憶するメモリであり、原画像（間引き処理前の画像）の縦横それぞれ２倍の大きさの画素数を有する。フレームバッファ数ｎは、画像復元に使われるフレームの数に対応する。ｎが小さいと復元できない領域が多くなり、ｎが大きくなると復元出来ない領域が減るが、被写体の移動速度の変化や形態の変化による誤差が大きくなるという問題がある。例えばｎ＝８とする。
【００７５】
アドレス変換部１２６は、入力部１２１から与えられるブロックの属性データ（間引き処理方法、間引き方向など）と動きベクトルデータを受け取り、ブロック毎にフレームバッファ１２３−１乃至１２３−ｎに対するアドレスを求める。
【００７６】
選択部１２７は、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）の出力のうち、いずれかの１つのバッファ出力を選択し、補間部１２４へ出力する。このとき選択するフレームバッファは、復元処理フレームに対応して選択されるフレームバッファである。
【００７７】
第１フレーム（Ｆ１）の復元処理時には、選択部１２７はフレームバッファＦＢ１（１２３−１）を出力として選択する。このとき、フレームバッファＦＢ２（１２３−２）乃至ＦＢｎ（１２３−ｎ）は、＋１フレーム（第２フレーム）乃至＋（ｎ−１）フレームに対応する。
【００７８】
続く第２フレーム（Ｆ２）の復元処理時には、選択部１２７はフレームバッファＦＢ２（１２３−２）を出力するように切り替えられる。このとき、フレームバッファＦＢ３（１２３−３）乃至ＦＢｎ（１２３−ｎ）が順次シフトして＋１フレーム乃至（第３フレーム）＋（ｎ−２）フレームに対応するようになる。フレームバッファＦＢ１（１２３−１）は＋（ｎ−１）フレームに対応するように設定される。
【００７９】
同様にして、選択部１２７は、第３フレーム（Ｆ３）の復元処理時には、フレームバッファＦＢ３を出力するように切り替え、第４フレーム（Ｆ４）ではフレームバッファＦＢ４、第５フレーム（Ｆ５）ではフレームバッファＦＢ５を、それぞれ出力するように切り替える。
【００８０】
このように、選択部１２７は、補間部１２４に対して、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）を循環的に切り替えて出力する。
【００８１】
補間部１２４に出力され復元されるフレームと、その時のフレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）に格納されるフレームデータの対応を表１に示す。
【００８２】
【表１】
2006345445.tif 000005
【００８３】
上記の表１において、例えば処理フレームが第１フレーム（Ｆ１）である場合、現フレーム、すなわち、補間部１２４に出力されるデータは、フレームバッファＦＢ１（１２３−１）のデータであり、このとき、フレームバッファＦＢ２（１２３−２）〜フレームバッファＦＢｎ（１２３−ｎ）には第２〜第ｎ−１フレームの各データが格納されていることを示している。処理フレームが第２フレーム（Ｆ２）である場合、現フレーム、すなわち、補間部１２４に出力されるデータは、フレームバッファＦＢ２（１２３−２）のデータであり、このとき、フレームバッファＦＢ３（１２３−３）〜フレームバッファＦＢ１（１２３−１）には第３フレーム以降の各データが格納されていることを示している。
【００８４】
このように、選択部１２７は、補間部１２４に対して、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）を循環的に切り替えて出力し、補間部１２４では各フレームの補間処理を実行し、フレームデータの復元を実行する。
【００８５】
なお、本例では、選択部１２７を設け、選択部１２７において、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）を循環的に切り替えて補間部１２４に出力する構成としたが、フレームバッファＦＢ１〜ｎ（１２３−１〜ｎ）の格納データを循環的にシフトする構成とし、特定のフレームバッファのみを出力バッファとして位置づける構成としてもよい。
【００８６】
補間部１２４は、選択部１２７で選択されたフレームバッファに書き込まれているデータに基づいて複数の異なるフレームの標本点データに基づく復元ブロックを生成する。さらに、標本点データのみでは復元できなかった画素部分（画素抜け）を周囲の画素から補間する。補間方法については後述する。補間部１２４は、さらにフレームバッファに格納された原画像に対して縦横それぞれ２倍の画像データを縮小処理により原画像と同じ画素数に変換して出力する。
【００８７】
出力部１２５は、補間部１２４から出力される画像データを表示装置で受け取れる画像信号形式に変換して出力する。なお、図示しない制御部が存在し、制御部は、例えば処理シーケンスを記録したコンピュータ・プログラムに従って各部の制御を行う。
【００８８】
上述した本発明の従来例として動画像変換装置１２０は、補間処理を施すために一時的に使用するフレームバッファを入力画像のｓXｓ倍としている。動画像変換装置１２０では、ｓを２としているが、画質と処理のバランスから、例えば、ｓ＝８を採用すると、積算のための画素精度（入力ＲＧＢの４倍のビット幅）を考慮すると、８×８×４＝２５６倍のメモリ量が必要となる。これを、例えば、フルＨＤ（Full High-Definition：約２００万画素）に適用すると、フレームバッファとして約１．５ＧＢ（ギガバイト）の大容量が必要となる。
【００８９】
さらに、動きベクトルに基づく画素値の書き込みや加算処理は、ランダムメモリアクセスとなるが、このような大容量バッファメモリに対してのランダムアクセスは、処理速度を低下させる。さらに、時間補間処理の後段では解像度変換のためにフレームバッファの全画素を順次走査する必要があるが、画素数が多いと入出力に時間がかかり処理速度の低下を招く。
【００９０】
また、上述した動画像変換装置１２０は、現在フレームに過去フレームの有効画素値を書き込んで画素値算出処理を実行するが、さらに、現在フレームの未来フレームにおける有効画素値を適用することもできる。
【００９１】
図１０に示した動画像変換装置１２０におけるフレームバッファ数ｎ中、過去のフレームに対するデータを格納するフレームバッファ数をｂ、未来のフレームのデータを格納するフレームバッファ数をｆ、現在の処理フレーム対応のフレームバッファ数１として設定する。すなわち、ｎ＝ｂ＋ｆ＋１となる。
【００９２】
このような設定例では、アドレス変換部１２６は、処理対象ブロックに対応する動きベクトルを加算することにより未来のフレームに対する有効画素のアドレスを求めると同時に、当該ブロックの動きベクトルを減算することにより過去のフレームに対する有効画素のアドレスを求める。以下に示す表２はフレームバッファの切り替え動作を説明した表である。
【００９３】
【表２】
2006345445.tif 000006
【００９４】
第１フレームの処理時において、現在フレームにおける画素値は、フレームバッファＦＢ（ｂ＋１）に書き込まれる。未来のフレームに対する画素値は、フレームバッファＦＢ（ｂ＋２）乃至フレームバッファＦＢ（ｆ＋ｂ＋１）に書き込まれる。一方、過去のフレームに対する画素値は、フレームバッファＦＢ１乃至フレームバッファＦＢ（ｂ）に書き込まれる。一方、過去の−１フレームから−ｂフレームまでの書き込みは、動きベクトルをｘ方向、ｙ方向共に反転した場合と同様である。この動きベクトルを反方向動きベクトルと記す。
【００９５】
図１１は、従来技術としての動画像変換装置１２０において過去及び未来のフレームから現在フレームの補間を行う様子を示している。図１１において、図面右向の矢印は時間の流れに順方向の動きベクトル群Ｖｎであり、図面左向の矢印は動きベクトル群Ｖｎをもとに生成した時間の流れに反方向の動きベクトル群Ｖｒである。動画像変換装置１２０は、双方の動きベクトル群を利用して時間方向補間での画像生成、つまり、レンダリングを行っている。このレンダリングは、現在フレーム以外の過去あるいは未来のフレームから出発し、現在フレームに向かって動きベクトルを手繰る、いわゆるフォワードマッピングによるレンダリング処理である。この方式では、動きベクトルの小さな誤差でも画素境界やブロック境界を越えて不正な画素の対応づけが起こる場合がある。その場合、得られる画素値が不正であるため、画像の一部が歪んだり、偽色が発生することがある。また、近傍フレームから一切マッピングされない無効画素が発生したとき、フレーム内の空間方向補間だけで補間されるため画像近傍にボケが生じることもある。
【００９６】
［（３）本発明を適用した動画像変換装置および動画像変換方法］
上述したように従来技術としての動画像変換装置１２０は、画像の歪みやボケが発生するおそれがある。そこで、以下に説明する動画像変換装置６０では、これらの課題を解消する。
【００９７】
図１２は、動画像変換装置６０の構成を示している。動画像変換装置６０は、間引き画像と動きベクトルを入力し、動きベクトルを利用して現在フレームの画素に対応する前後４フレームの画素を追跡し、現在フレームの画素を前後４フレームの対応する画素で復元する。
【００９８】
なお、前提として、本実施の形態で使用する動きベクトルは、順方向動きベクトルである。順方向動きベクトルは、過去から未来という一方向の時間の流れに沿っている。順方向動きベクトルを利用すると、過去フレームの画素から未来フレームへの追跡が可能である。動画像変換装置６０は、順方向動きベクトルを使って、過去フレームの有効画素に対応する現在フレームの画素を追跡し過去フレームの有効画素で現在フレームの画素を復元するフォワードレンダリング処理と、現在フレームの画素に対応する未来フレームの有効画素を追跡し未来フレームの有効画素で現在フレームの画素を復元するバックワードレンダリングとを行う。
【００９９】
フォワードレンダリングとバックワードレンダリングは、追跡の開始点が異なる。フォワードレンダリングでは、現在フレーム以外のフレームから現在フレームの画素を追跡するため、必ずしも追跡結果が現在フレームの画素中心に到達するとは限らず、すべての探索を終えないと対応する画素が確定しない。一方、バックワードレンダリングでは、現在フレームの画素中心を追跡開始点とするため、探索の過程で漸次対応画素が確定してゆく。
【０１００】
逆方向動きベクトルは、未来から過去という時間の流れに逆らった片方向動きベクトルである。逆方向動きベクトルを用いると、本実施の形態とは逆に、未来フレームから過去フレームへの追跡がフォワードレンダリングとなり、過去フレームから未来フレームへの追跡がバックワードレンダリングとなる。
【０１０１】
双方向動きベクトルは、順方向動きベクトルと逆方向動きベクトルの２つの動きベクトルを持つ。双方向動きベクトルを用いると、現在から過去への追跡も過去から未来への追跡もバックワードレンダリングとなる。
【０１０２】
このように、動きベクトルには、順方向動きベクトル、逆方向動きベクトル、双方向動きベクトルなどがあり、それぞれ追跡の方向が異なる。本発明は、何れの動きベクトルも適用できるが、以下、順方向動きベクトルを使用した動画像変換装置６０について説明する。
【０１０３】
動画像変換装置６０は、図１２に示すように、同じフレーム上に存在する有効画素を用いて間引き画像の無効画素を補間して穴埋め済画像を生成するフレーム内補間処理部６２と、順方向動きベクトルに従い過去フレームの有効画素に対応する現在フレームの対応点に関する情報を収集した前半フレーム対応点テーブル６５を生成する前半フレーム対応点収集処理部６４と、順方向動きベクトルに従い現在フレームの無効画素に対応する未来フレームの対応点に関する情報を収集した後半フレーム対応点テーブル６８を生成する後半フレーム対応点収集処理部６７と、前半フレーム対応点テーブルを参照して過去フレームの有効画素から現在フレームの無効画素を復元する前半フレームレンダリング処理部７１と、後半フレーム対応点テーブル６８を参照して未来フレームの有効画素から現在フレームの無効画素を復元する後半フレームレンダリング処理部７３と、レンダリングした画像の画素スケールを正規化する画像正規化処理部７４と、正規化した画像と穴埋め済画像とを合成する合成部７５と、残存する無効画素を補間する最終補間処理部７６とを備える。
【０１０４】
動画像変換装置６０の入力部６１は、データストリームを入力し、データストリームに含まれる間引き動画像をフレーム内補間処理部６２に出力し、間引き動画像と動きベクトルとを前半フレーム対応点収集処理部６４および後半フレーム対応点収集処理部６７に出力する。データストリームは、例えば図１の動画像変換装置１０によって生成される。
【０１０５】
動きベクトルは、順方向動きベクトルのみの片方向動きベクトルである。動きベクトルは、間引き画像の１フレーム中の１画素に対して２次元ベクトルとして１つ割り付けられる。なお、ここでは、１画素に１つの動きベクトルを割り付けたものとして説明するが、複数の画素からなるブロックに対して１つの動きベクトルを割り付けてもよい。
【０１０６】
フレーム内補間処理部６２は、間引き画像のフレーム内補間を行う。間引き画像は、図１３に示すように、有効画素と無効画素とからなる。有効画素は画素値を持っており、無効画素は画素値が間引かれている。フレーム内補間処理部６２は、１枚の間引き画像の空間方向の補間により、無効画素の穴埋めを行う。図１４は、フレーム内補間により穴埋めされた間引き画像を示す。この画像を、穴埋め済画像と記す。穴埋め済画像バッファ６３は、最大９枚の穴埋め済画像を格納する。９枚の穴埋め済画像は、再構成の対象となる現在フレームと、その前後４枚のフレームである。
【０１０７】
前半フレーム対応点収集処理部６４は、現在フレームより過去の前半フレームの有効画素を動きベクトルで追跡し、現在フレームと前半フレームとの対応点に関する情報を収集した前半フレーム対応点テーブル６５をテーブル格納部６６に作成する。前半フレーム対応点テーブル６５には、図１５に示すように、追跡開始点座標、追跡開始点があるフレームのフレーム相対番号、現在フレーム上の追跡終了点座標などが格納される。図１６は、前半フレーム対応点収集処理部６４の追跡処理を示している。追跡処理では、前半フレームの有効画素を追跡開始点として、この有効画素の移動結果を順方向動きベクトルに従って1フレームずつ追跡し、現在フレーム上の追跡終了点座標、前半フレーム上の追跡開始点座標、追跡開始点があるフレームのフレーム相対番号などの対応点情報を前半フレーム対応点テーブル６５に格納する。
【０１０８】
本実施例では、追跡開始点座標を整数精度（１６ｂｉｔ）で表現し、追跡終了点座標をサブピクセル精度（３２ｂｉｔ）で表現している。これは、前半フレーム上の有効画素の追跡をピクセル中心から開始しても追跡終了点がピクセル中心からずれてしまうため、この空間方向のずれを表現するために精度を上げている。後述する前半フレームレンダリング処理では、サブピクセル精度での画素値を算出するために、例えば、４近傍線形補間を用いる。もちろん補間方法としては、他の高次や低次の補間方法を用いてもかまわない。
【０１０９】
前半フレーム対応点テーブル６５の解像度は間引き前の動画像の解像度と同じである。前半フレーム対応点テーブル６５のデータ量は、前半フレーム４枚分の画素数に比例する。具体的に説明すると、前半フレーム対応点テーブル６５の１画素あたりのデータ量は、「前半フレームの枚数」×（「追跡開始点座標のビット数」＋「フレーム相対番号のビット数」＋追跡終了点座標のビット数）となる。また、間引き前の動画像の１画素あたりのデータ量は、２５６色のＲＧＢで「２４ｂｉｔ」となる。
【０１１０】
追跡開始点座標が１６ｂｉｔ×２次元（Ｘ座標とＹ座標）、フレーム相対番号が２ｂｉｔ、現在フレームの追跡終了点座標が３２ｂｉｔ×２次元、さらに画素が８ｂｉｔ×３色（ＲＧＢ）である。前半フレーム対応点テーブル６５の１画素あたりのデータ量を間引き前の動画像の１画素あたりのデータ量で割ると、４×（３２＋２＋６４）／２４≒１６．３となる。すなわち、前半フレーム対応点テーブル６５のデータ量は、１画像データ量の１６倍程度である。実際の動画像では、４枚続けて有効画素という状態はまれであるため、実用上のこの倍率はもっと小さくなる。
【０１１１】
後半フレーム対応点収集処理部６７は、現在フレームの間引き画像の無効画素に対応する後半フレームの有効画素に関する情報を収集した後半フレーム対応点テーブル６８を作成する。後半フレーム対応点テーブル６８は、図１７に示すように、現在フレームの無効画素に対応する後半フレームの有効画素の座標、この有効画素があるフレームの相対番号などが格納される。後半フレーム対応点収集処理部６７の追跡処理は、図１６に示すように、現在フレームの無効画素を追跡開始点として順方向動きベクトルに従って１フレームずつ追跡し、後半フレーム上の有効画素を検出した場合には、検出した有効画素の座標、この有効画素があるフレームの相対番号を後半フレーム対応点テーブル６８に格納する。
【０１１２】
本実施例では、ヒットした有効画素の座標をサブピクセル精度（３２ｂｉｔ）で表現している。これは、現在フレーム上の点のピクセル中心から追跡を開始しても追跡結果がピクセル中心からずれてしまうためである。また、後半フレーム対応点テーブル６８の解像度も間引き前の動画像の解像度と同じである。後半フレーム対応点テーブル６８のデータ量は、前半フレーム対応点テーブル６５の半分程度である。
【０１１３】
前半フレームレンダリング処理部７１は、穴埋め済フレームバッファに格納された過去フレームの穴埋め済画像と現在フレームの穴埋め済画像にアクセスし、前半フレーム対応点テーブル６５を元に、現在フレームの無効画素部分に過去フレームの有効画素値（ＲＧＢ）を積算する前半フレームレンダリング処理を行う。
【０１１４】
また、前半フレームレンダリング処理部７１は、画素のスケールを正規化するための荷重係数Ｗを算出する。（式４）は前半フレームレンダリング処理における荷重係数Ｗの計算式である。
【０１１５】
Ｗ＝（１−ｆ／ＭａｘＦ）×（１−ｒ／ＭａｘＲ）・・・（４）
ここで、ｆは、現在フレームと追跡開始点を含むフレームとのフレーム番号の差でフレーム距離と呼ぶ。ＭａｘＦは、最大フレーム距離に１を加算したものである。ここでは、過去４フレームを演算対象としているので、ＭａｘＦは５となる。ｒは、追跡終了点を含む画素のピクセル中心から追跡終了点の距離、ＭａｘＲは、動画像を構成する１画素の外接円の半径である。図１８にｒとＭａｘＲとの関係を示す。
【０１１６】
（式４）の前半の括弧はフレーム距離に応じた寄与の調整をする項であり、後半の括弧は追跡終了点とピクセル中心との空間方向の距離に応じた寄与の調整をする項である。前半の項では追跡開始点が現在フレームに近ければ近いほど追跡開始点による現在フレーム上の画素値に対する寄与を増し、後半の項では追跡終了点がピクセル中心に近ければ近いほど追跡開始点による現在フレーム上の画素値に対する寄与を増す。
【０１１７】
現在フレームの無効画素に対応する過去フレームの有効画素が複数存在するとき、前半フレームレンダリング処理部７１は、対応する各有効画素のＲＧＢ値に（式４）の荷重係数Ｗを乗じた値の総和およびこれら荷重係数Ｗの総和を、無効画素毎に求め、レンダリング済バッファ７２の該当画素に書き込む。
【０１１８】
（式５）は、ＲＧＢおよびＷの計算式である。  
Ｒ’＝Σ（Ｗｉ×Ｒｉ）
Ｇ’＝Σ（Ｗｉ×Ｇｉ）
Ｂ’＝Σ（Ｗｉ×Ｂｉ）
Ｗ’＝ΣＷｉ（ｉは有効画素を示す添字）・・・（５）
このように前半フレームレンダリング処理部７１は、前半フレームレンダリング済のＲＧＢ画像と荷重係数Ｗとを合わせ、ＲＧＢＷの４つのコンポーネントを１画素とする前半フレームレンダリング済画像をレンダリング済画像バッファ７２に出力する。なお、荷重係数の計算は、例えば３２ｂｉｔ以上の単精度浮動小数とするなど、高精度で計算する。
【０１１９】
これに対して後半フレームレンダリング処理部７３は、レンダリング済バッファ７２に格納された前半フレームレンダリング済画像と穴埋め済フレームバッファに格納された未来フレームの穴埋め済画像とにアクセスし、後半フレーム対応点テーブル６８を元に、現在フレームの無効画素が位置する前半フレームレンダリング済画像上の画素値（ＲＧＢ）と未来フレームの有効画素値とを積算する後半フレームレンダリング処理を行う。
【０１２０】
また、後半フレームレンダリング処理部７３は、積算により画素のスケールを正規化するための荷重係数Ｗを算出する。（式６）は、後半フレームレンダリング処理における荷重係数Ｗの計算式である。  
Ｗ＝（１−ｆ／ＭａｘＦ）・・・（６）
ここで、ｆは現在フレームと、有効画素が存在する未来フレームとのフレーム番号の差でフレーム距離と呼ぶ。ＭａｘＦは、最大フレーム距離に１を加算したものである。ここでは、未来４フレームを演算対象としているのでＭａｘＦは５となる。
【０１２１】
（式６）は、（式５）の前半の項と同一である。（式６）は、フレーム距離に応じた寄与の調整をする。追跡開始点が現在フレームに近ければ近いほど追跡開始点の追跡終了点による現在フレーム上の画素値に対する寄与を増す。
【０１２２】
現在フレームの無効画素に対応する未来フレームの有効画素が複数存在するとき、後半フレームレンダリング処理部７３は、対応する各有効画素のＲＧＢ値に（式６）の荷重係数Ｗを乗じた値の総和およびここで利用した荷重係数Ｗの総和を、無効画素毎に求め、レンダリング済バッファ７２の該当画素の現画素値に加算する。
【０１２３】
（式７）は、ＲＧＢおよびＷの計算式である。  
Ｒ”＝Ｒ’＋Σ（Ｗｉ×Ｒｉ）
Ｇ”＝Ｇ’＋Σ（Ｗｉ×Ｇｉ）
Ｂ”＝Ｂ’＋Σ（Ｗｉ×Ｂｉ）
Ｗ”＝Ｗ＋ΣＷｉ（ｉは有効画素を示す添字）・・・（７）
このように後半フレームレンダリング処理部７３は、前半フレームレンダリングと後半フレームレンダリングとを施したＲＧＢ画像と荷重係数Ｗとを合わせ、ＲＧＢの３つのコンポーネントを１画素とするレンダリング済画像を画像正規化処理部７４に出力する。
【０１２４】
前半フレームレンダリング処理及び後半フレームレンダリング処理で使用する画素値（ＲＧＢ）には、サブピクセル精度の座標での画素値が必要である。これを算出するために後半フレームレンダリング処理部７３や前半フレームレンダリング処理部７１は、４近傍線形補間や２近傍線形補間、最近接補間などの補間方法を用いる。このときの演算では、単精度浮動小数を使用する。
【０１２５】
上述したレンダリング処理では、サブピクセル精度での画素の座標を規定したため、画素値の精度が向上し、積算過程での誤差が減少する。これにより、再構成した画像の画質が向上する。
【０１２６】
さらに、動画像変換装置６０で使用する穴埋め済画像と前半フレーム対応点テーブル６５と後半フレーム対応点テーブル６８とは、間引き前の動画像と同解像度であるため、ｓXｓ倍の解像度のバッファを使用した従来の動画像変換装置１２０と比較して、画素アクセス回数が減少し、レンダリング処理にかかる時間を短縮することができる。
【０１２７】
画像正規化処理部７４は、レンダリング済画像バッファ７２にアクセスし、レンダリング済画像の各ＲＧＢ値を荷重係数Ｗで除して、元の画素スケールに正規化した画像を生成する。
【０１２８】
合成部７５は、画像正規化処理部７４により正規化された画像と、穴埋め済画像バッファ６３に格納された現在フレームの穴埋め済画像との２枚の画像を全画素に亘って１：１の割合でブレンドする。これにより、フレーム間の時間軸とフレーム内２軸の計３軸で同等の補間をすることができる。ブレンド方法としては、例えば、７：３のように荷重をつけたものでもよいし、時間軸の補間の寄与だけで穴埋めされた無効画素やフレーム内補間だけで穴埋めされた無効画素をそのまま出力し、双方の補間の寄与があった空画素は荷重をつけたブレンドを行うなどの画素選択的な方法で合成してもよい。
【０１２９】
最終補間処理部７６は、上述したフレーム内補間処理部６２と同様の補間方法を用いて、合成部７５からの出力画像のフレーム内補間を行う。最終補間処理部７６の補間では、最初のフレーム内補間、前半フレームレンダリング、後半フレームレンダリングのどの処理でも埋めることができなかった現在フレームの無効画素を完全に穴埋めし、全画素の色を確定する。最終補間処理部７６は、間引き画像を間引き前の画像に近づけた再構成画像を出力する。
【０１３０】
本発明を適用した動画像変換装置６０は、間引き画像の無効画像に対応する過去フレームの有効画素に関する情報を収集した前半フレーム対応点テーブル６５と、間引き画像の無効画素に対応する未来フレームの有効画素に関する情報を収集した後半フレーム対応点テーブル６８を作成し、作成したテーブルを参照してフレーム内補間を施した現在フレームのフレーム間補間を行う。これにより、従来の動画像変換装置１２０と比較して、画素アクセス回数が減少し、レンダリング処理にかかる時間を短縮することができる。
【０１３１】
また、画素値をサブピクセル精度で演算するため、動きベクトルの小さな誤差による不正な対応付けが回避され、画像の歪みや偽色の発生を抑えることができる。
【０１３２】
さらに、前半フレーム対応点テーブル６５と後半フレーム対応点テーブル６８は、従来のｓXｓ倍解像度のバッファよりもデータ量が少ないため、メモリの容量を節約することができる。
【０１３３】
なお、本発明の動画像変換装置６０は、動きベクトルが過去から未来に向かう順方向であることを前提としたが、未来から過去に向かう逆方向動きベクトルでもよいし、順方向と逆方向との双方向の動きベクトルを用いてもよい。
【０１３４】
双方向動きベクトルを使用する場合には、前半フレーム対応点収集処理部６４は逆方向動きベクトルに従い現在フレームの無効画素に対応する過去フレームの有効画素を追跡し、後半フレーム対応点収集処理部６７は順方向動きベクトルに従い現在フレームの無効画素に対応する未来フレームの有効画素を追跡する。
【０１３５】
双方向の動きベクトルを用いて双方のバックワードレンダリングを行えば、再構成画像のレンダリング精度を向上させることができる。また、双方向動きベクトルを用いてバックワードレンダリングのみを行えば、フォワードレンダリング処理とバックワードレンダリングとを組み合わせた動画像変換装置６０よりも、演算を高速化することができる。
【０１３６】
また、後半フレーム対応点テーブルの作成処理を省略して、後半フレームの追跡処理をしながら、画素値（ＲＧＢ）のレンダリング処理及び荷重係数の積算処理を行ってもよい。これにより、さらなる演算最適化を図ることができる。
【図面の簡単な説明】
【０１３７】
【図１】超解像効果を利用したデータ変換を実行する従来の動画像変換装置の基本構成を示すブロック図である。
【図２】超解像効果を利用したデータ変換を実行する動画像変換装置の基本構成の詳細を示すブロック図である。
【図３】動画像変換装置におけるブロック処理部の処理について説明する説明図である。
【図４】動画像変換装置におけるブロック処理部の処理について説明する説明図である。
【図５】動画像変換装置におけるブロック処理部の処理について説明する説明図である。
【図６】動画像変換装置におけるブロック処理部の処理について説明する説明図である。
【図７】動画像変換装置におけるブロック処理部の処理結果の一例について説明する説明図である。
【図８】移動被写体に対する水平方向の空間間引き処理の処理例、および原画像の復元処理について説明する説明図である。
【図９】移動被写体に対する水平方向の空間間引き処理の間引き位置をフレーム毎に変更した処理例、および復元処理について説明する説明図である。
【図１０】従来の超解像効果を利用した動画像変換装置の構成を示すブロック図である。
【図１１】従来の動画像変換装置のフォワードマッピングのみを利用した補間処理の様子を説明する説明図である。
【図１２】本発明にかかる動画像変換装置の構成を示すブロック図である。
【図１３】図１に示す動画像変換装置で間引かれた４枚分の間引き画像を示す図である。
【図１４】間引き画像をフレーム内補間した穴埋め済画像を示す図である。
【図１５】前半フレーム対応点テーブルの構成を示す図である。
【図１６】本発明にかかる動画像変換装置のフォワードマッピング及びバックワードマッピングを利用した補間処理の様子を説明する説明図である。
【図１７】後半フレーム対応点テーブルの構成を示す図である。
【図１８】ｒとＭａｘＲの関係を説明する説明図である。
【符号の説明】
【０１３８】
６０  動画像変換装置、６１  入力部、６２  フレーム内補間処理部、６３  穴埋め済画像バッファ、６４  前半フレーム対応点収集処理部、６５  前半フレーム対応点テーブル、６６  テーブル格納部、６７  後半フレーム対応点収集処理部、６８  後半フレーム対応点テーブル、７１  前半フレームレンダリング処理部、７２  レンダリング済画像バッファ、７３  後半フレームレンダリング処理部、７４  画像正規化処理部、７５  合成部、７６  最終補間処理部
【図１】
2006345445.tif 000007
【図２】
2006345445.tif 000008
【図３】
2006345445.tif 000009
【図４】
2006345445.tif 000010
【図５】
2006345445.tif 000011
【図６】
2006345445.tif 000012
【図７】
2006345445.tif 000013
【図８】
2006345445.tif 000014
【図９】
2006345445.tif 000015
【図１０】
2006345445.tif 000016
【図１１】
2006345445.tif 000017
【図１２】
2006345445.tif 000018
【図１３】
2006345445.tif 000019
【図１４】
2006345445.tif 000020
【図１５】
2006345445.tif 000021
【図１６】
2006345445.tif 000022
【図１７】
2006345445.tif 000023
【図１８】
2006345445.tif 000024