(57)【要約】【課題】汎用性が高く種々の映像処理システムに適用可能なフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法と動き補正処理の方法等を提供すること、また、処理破綻による画質劣化を迅速かつ確実に検知できる信頼性評価方法を具現できるだけでなく、低コストかつ迅速に高品質な動き補正処理を遂行可能とすることを目的とする。【解決手段】対象となるファイル形式映像を第一のフレームレートから第二のフレームレートへと方式変換処理する工程と、方式変換処理された映像の動き補正残差または動き補正ホール情報に基づいて、信頼性の低いフレームを検知する工程と、検知した信頼性の低いフレームをオペレータに通知する工程と、を有するフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法とする。【選択図】図１
2013219595.tif 000002
【特許請求の範囲】
【請求項１】
フレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法であって、
対象となるファイル形式映像を第一のフレームレートから第二のフレームレートへと方式変換処理する工程と、
前記方式変換処理された映像の動き補正残差または動き補正ホール情報に基づいて、信頼性の低いフレームを検知する工程と、
前記検知した信頼性の低いフレームをオペレータに通知する工程と、を有する
ことを特徴とするフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法。
【請求項２】
請求項１に記載のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法において、
前記対象となるファイル形式映像が、前記第一のフレームレートから前記第二のフレームレートへと方式変換処理する工程は、リニア変換により遂行される
ことを特徴とするフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法。
【請求項３】
請求項１に記載のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法において、
前記対象となるファイル形式映像が、前記第一のフレームレートから前記第二のフレームレートへと方式変換処理する工程は、動き補正変換により遂行される
ことを特徴とするフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法において、
前記ファイル形式映像は、サーバーからネットワークを経由して取得された映像ファイルである
ことを特徴とするフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法において、
前記信頼性の低いフレームを検知する工程の後に、
検知した前記フレームのログを記録する工程をさらに有し、
前記検知した信頼性の低いフレームをオペレータに通知する工程は、
前記ログを前記オペレータに通知する工程である
ことを特徴とするフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法。
【請求項６】
請求項５に記載のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法を用いて通知された前記ログに対応する映像に対し、動き補正処理を遂行する工程を有する
ことを特徴とする動き補正処理の方法。
【請求項７】
請求項１乃至請求項６のいずれか一項に記載の方法をコンピュータに遂行させるためのプログラム。
【請求項８】
請求項７に記載のプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法とそのプログラム等に関する。
【背景技術】
【０００２】
一般的な映画は、２４フレーム（コマ／秒）で記録される。また、通常のビデオ映像の放送方式は国や地域によって異なるものの、２５あるいは３０、５０、６０フレーム／秒である。また、走査方式としては、順次走査またはインタレース走査いずれかを利用する。
【０００３】
従って、欧州における放送番組を日本や米国で放送したり、逆に日本や米国における放送番組を欧州で放送する場合には、フレームレートコンバータを用いて映像本来のフレームレートを変換する必要がある。
【０００４】
また、フレームレートコンバータの動作は、低フレームレートな入力映像から高フレームレートな出力映像へフレームレートを変換する場合には、足りないフレームを入力映像におけるフレームから補間生成することが知られている。
【０００５】
単純なフレームレートコンバータにおいては、補間生成されるフレームはしばしば、同じフレームを繰り返すことにより生成されるので、動きが存在すると、かくつき（ジャダー、ｊｕｄｄｅｒ）が生じてしまう。また、前後フレームから単純な線形補間処理（リニア変換）により該当するフレームを生成するので、動きが存在するとぼけ（ブラー、Ｂｌｕｒ）が生じてしまう。
【０００６】
映像の動きを推定する処理および動きを補正（補償）する処理をフレームレートコンバータを利用することにより、動きのかくつき効果やぼけの効果を低減し、動き映像を高性能に変換することができる。動き補正処理は、動き推定処理により推定された動きベクトルおよび元の入力映像におけるフレーム中の画素を用いて行われる。
【０００７】
動き推定処理により得られる入力映像の動きベクトルは、入力映像におけるフレーム中の画素が動く方向と速度を表し、補間生成するフレームにおける画素を正しい位置に「動かす」のに用いられる。動き補正（補償）処理によるフレームレートコンバータは動きを伴う映像であっても、かくつき効果やぼけがない、滑らかな動きを保持した変換が可能となる。
【０００８】
入力信号の時間的に隣接するフレーム対間のグローバル動きおよびローカル動きを推定して、これら動きベクトルを適用して、これら隣接するフレーム間に補間、および動き補償されたフレームを少なくとも１枚生成するシステムおよび方法に関する発明であって、動き補償画像レートコンバータ（ＭＣＰＲＣ）を提供して、入力信号の連続フレーム間のオブジェクト動きを推定することが下記特許文献１に開示されている。
【０００９】
特許文献１によれば、信号をＭＣＰＲＣの処理モジュールで処理して、フレームの重要な領域を隔離し、ＭＣＰＲＣの動き補償フレームレートコンバータ（ＭＣＦＲＣ）を利用して、アフィン動きパラメータ一式を利用して任意の二つの連続フレーム間のグローバル動きを推定し、ＭＣＦＲＣは、動きベクトル一式を利用してフレーム間のローカル動きを推定し、ここで、各動きベクトルはローカル動きベクトルまたは補正グローバル動きベクトルのいずれかであることが開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特表２０１０−５０１１２７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
動き補正（補償）によるフレームレート変換の動き映像の変換画質は明らかに向上する。しかし、映像から動きを推定する処理は本質的に不可能性を含む処理であり、処理破綻が生じた場合には著しい画質劣化が生じる場合がある。処理破綻を回避するために、さらなる処理を追加すると処理が複雑となり、過剰な処理コストがかかる。
【００１２】
本発明はこのような問題点に鑑みなされたものであり、汎用性が高く種々の映像処理システムに適用可能なフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法と動き補正処理の方法等を提供することを目的とする。
【００１３】
また、処理破綻による画質劣化を迅速かつ確実に検知できる信頼性評価方法を具現できるだけでなく、低コストかつ迅速に高品質な動き補正処理を遂行可能とすることを目的とする。
【課題を解決するための手段】
【００１４】
本発明のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法は、対象となるファイル形式映像を第一のフレームレートから第二のフレームレートへと方式変換処理する工程と、方式変換処理された映像の動き補正残差または動き補正ホール情報に基づいて、信頼性の低いフレームを検知する工程と、検知した信頼性の低いフレームをオペレータに通知する工程と、を有することを特徴とする。
【００１５】
また、本発明のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法は、好ましくは対象となるファイル形式映像が、第一のフレームレートから第二のフレームレートへと方式変換処理する工程は、リニア変換により遂行されることを特徴とする。
【００１６】
また、本発明のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法は、好ましくは対象となるファイル形式映像が、第一のフレームレートから第二のフレームレートへと方式変換処理する工程は、動き補正変換により遂行されることを特徴とする。
【００１７】
また、本発明のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法は、さらに好ましくはファイル形式映像は、サーバーからネットワークを経由して取得された映像ファイルであることを特徴とする。
【００１８】
また、本発明のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法は、さらに好ましくは信頼性の低いフレームを検知する工程の後に、検知したフレームのログを記録する工程をさらに有し、検知した信頼性の低いフレームをオペレータに通知する工程は、ログをオペレータに通知する工程であることを特徴とする。
【００１９】
また、本発明の動き補正処理の方法は、上述のフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法を用いて通知されたログに対応する映像に対し、動き補正処理を遂行する工程を有することを特徴とする。
【００２０】
また、本発明のプログラムは、上述のいずれかに記載の方法をコンピュータに遂行させるためのプログラムとする。
【００２１】
また、本発明の記憶媒体は、上述のプログラムを格納した記憶媒体である。
【発明の効果】
【００２２】
汎用性が高く種々の映像処理システムに適用可能なフレームレートコンバータで方式変換処理したファイル形式映像の信頼性を評価する方法と動き補正処理の方法等を提供できる。
【００２３】
また、処理破綻による画質劣化を迅速かつ確実に検知できる信頼性評価方法を具現できるだけでなく、低コストかつ迅速に高品質な動き補正処理を遂行可能とできる。
【図面の簡単な説明】
【００２４】
【図１】動き補正による方式変換処理を説明するブロック図であり、（ｂ）は動き補正処理による孔（ホール）について説明する図である。
【図２】フレームレートコンバータによるフレームレート変換について説明する図である。
【図３】リニア変換によるフレームレートコンバータについて説明する概要図である。
【図４】動き補正処理について説明する概要図である。
【図５】（ａ）は重複を許す探索について説明する図であり、（ｂ）は固定ブロックサイズについて説明する図であり、（ｃ）は一次元オクルージョンについて説明する模式図である。
【図６】（ａ）はブロック毎の動き補正と残差画像について説明する図であり、（ｂ）は残差による選択に関し、ブロックサイズ、分割パタン、分割位置、時間方向、複数フレームについて説明する概念図である。
【図７】（ａ）は、ベースバンドビデオ入出力による方式変換装置（フレームレート変換装置）について説明する図であり、（ｂ）は、ファイル入出力による方式変換装置（フレームレート変換装置）について説明する図である。
【図８】（ａ）は、ベースバンドビデオ入出力の方式変換装置であっても、その前後にファイルからビデオヘの変換装置およびビデオからファイルヘの変換装置を設置すれば、同様に使用することができる例について説明する図であり、（ｂ）は、ファイル入出力によるフレームレート変換装置であっても、その前後にビデオからファイルヘの変換装置およびファイルからビデオヘの変換装置を用意すれば、ビデオ入出力による録画再生装置からの入出力が可能になる例について説明する図である。
【図９】ファイルベースＦＲＣ（フレームレート変換）ソフトウェアについての概要を順次説明する図である。
【図１０】ファイルベースＦＲＣ（フレームレート変換）ソフトウェアについての概要を順次説明する図である。
【図１１】ファイルベースＦＲＣ（フレームレート変換）ソフトウェアについての概要を順次説明する図である。
【図１２】リニア変換ＦＲＣ処理を用いたＮＧ（典型的には処理破綻）検知について説明する図である。
【発明を実施するための形態】
【００２５】
本発明は、いわゆる信頼性評価によるＱＣ（Ｑｕａｌｉｔｙ  Ｃｏｎｔｒｏｌ）機能付き動き補正方式変換処理方法等と称することもできるものであって、動き補正処理において計算される動き補正残差および動き補正孔（ホール）情報を動き補正処理の信頼性の指標として用いることにより、動き補正処理において破綻しそうなフレーム（フィールド）を自動的に検知して、通知あるいは記録するＱＣ機能を有する。
【００２６】
従来、ベースバンドビデオ信号においては、ブラック、フリーズや無音の検知、ファイルベースにおいては、圧縮エラー、適正なファイル形式であるか等の検知が行われているが、動き補正による方式変換処理、装置あるいはシステムにおいては用いられていなかった。
【００２７】
動き補正による方式変換処理にはオクルージョン（隠れ）の問題が存在することが知られている。映像の動きを推定する処理には様々な方法が考案されているが、いずれの方法においてもこの問題は避けられない。隣接する映像フレームあるいはフィールド間において、一方のフレーム（フィールド）には見えているが、他方のフレーム（フィールド）には見えていないものであり、物体の陰に別の物体や背景が隠れたり、現れたり、映像から見切れてしまう場合等、頻繁に発生し得る。これは映像内容によっては、動き補正処理の破綻として、画質劣化に繋がる場合がある。
【００２８】
そこで、本発明においては、隣接する映像フレームあるいはフィールド間から推定される動き情報を用いて、入力とは異なるフレームレートを出力するビデオ方式を変換する動き補正方式変換処理、装置あるいはシステムにおいて、動き情報による動き補正処理の結果から得られる残差や孔（ホール）を動き補正処理の信頼性指標として用いることにより、動き補正処理により生成されるフレームの画質劣化を検知する。これを自動的に低減する試みもあるが、処理に掛かるコストが増加するため、如何なる映像内容にも適応するのは現実的ではない。そこで、動き補正処理の信頼性が低いフレームを信頼性指標により自動的に検知して、その該当するタイムコード（フレーム番号）をオペレータに通知するかあるいは記憶媒体に記録して、目視により当該フレーム番号に対応する映像の確認を行い、最良な方式変換処理モードを選択してマニュアルにより例えばパラメータを適宜変更する等により最良な処理を行うことができる。
【００２９】
これにより、動き情報による動き補正処理において、処理破綻による画質劣化を軽減し、高品位な変換映像の生成が現実的な処理コストの範囲により実現することが可能となる。
【００３０】
本発明においては、映像からの動き推定処理による動き情報を用いた動き補正処理において、動き補正処理の信頼性指標としての残差、孔（ホール）を用いることを特徴とする。さらに、そのような信頼性指標を用いて、動き補正処理により生成されたフレームにおいて信頼性が低いものを自動的に検知して、その該当するタイムコード（フレーム番号）を通知あるいは記録して、マニュアルによる最良な方式変換処理を支援する仕組みを備える。
【００３１】
動き補正方式変換処理を遂行するために、映像からの動き推定処理部、動き情報による動き補正処理部、動き補正処理による残差、孔（ホール）の計算処理部、動き補正処理により生成されたフレームの残差・孔（ホール）による信頼性評価部、各種モードによる方式変換処理部（動き補正処理による方式変換処理部を含む）等を備えるシステムとして構成してもよい。
【００３２】
本発明は、ベースバンドビデオ信号を処理するハードウェア装置により実現することも可能であるし、ＭＸＦファイルを処理するソフトウェアおよびそれを実行するコンピュータをベースとした装置により実現することも可能であるし、ＭＸＦファイルをベースバンドビデオ信号に変換あるいは逆変換する装置を用いてもよい。
【００３３】
動き補正による方式変換処理、装置あるいはシステムの別な実施例としては、タイムコードによるタイムライン上に変換処理を行う映像のシーン毎のサムネイル画像を貼り付け、該当シーン毎に最良な方式変換モード、あるいは処理における調整パラメータを設定するものが考えられる。シーン毎に最良な処理を視覚的にわかりやすい形で指定することができれば、方式変換処理のマニュアル設定の作業効率も上がることが期待できる。また、シーン毎に最良な処理を指定することができれば、さらなる高画質化も期待できる。
【００３４】
図１（ａ）は動き補正による方式変換処理を説明するブロック図であり、図１（ｂ）は動き補正処理による孔（ホール）について説明する図である。図１に示すように、隣接するフレーム（フィールド）ＮとＮ＋１の間の動きベクトル情報を動き推定処理により推定する。得られた動きベクトル情報を用いて、フレーム（フィールド）ＮおよびＮ＋１から動き補正処理によって動き補正変換されたフレーム（フィールド）および動き補正残差情報が得られる。
【００３５】
一方、動き補正変換処理と同時にフレーム（フィールド）ＮおよびＮ＋１から動きベクトル情報によらないリニア変換処理によるリニア変換されたフレーム（フィールド）を得る。
【００３６】
また、リニア変換フレーム（フィールド）を用いて、孔（ホール）の開いた動き補正フレーム（フィールド）の孔埋め処理を行い、最終的な動き補正フレーム（フィールド）とともに、動き補正孔情報を得る。図１（ａ）において、１００は動き推定処理部であり、２００は動き補正変換処理部であり、３００はリニア変換処理部であり、４００は孔埋め処理部である。
【００３７】
ここで、動き補正処理による孔（ホール）とは、映像フレーム（フィールド）を適当な大きさのブロックに分割して、例えばブロックマッチングによるブロック毎の動きベクトル情報により生成される動き補正変換フレーム（フィールド）における画素の存在しない領域のことである（図１（ｂ）参照）。
【００３８】
また、図２は、フレームレートコンバータによるフレームレート変換について説明する図である。図２に示すように、日本や米国においては６０フィールド（３０フレーム）が用いられる一方で、欧州においては５０フィールド（２５フレーム）が用いられる。このため、毎秒６０フィールド（フレーム）から５０フィールド（フレーム）に変換したり、毎秒５０フィールド（フレーム）から６０フィールド（フレーム）に変換したりするフレームレート変換が必要になる。この場合に、仮に静止映像であれば、同一フィールド（フレーム）の繰り返しや間引き処理を行ったとしても視認上何ら問題が生じることはない。
【００３９】
フレームレート変換する場合に、静止画像であれば単純な同一フィールド（フレーム）の繰り返しや間引きを行うことが可能であるが、動画の場合に同一フィールド（フレーム）の繰り返しや間引きを行うと、動画のスムースさが失われる一因となる。このため、図２に示すように前後のフィールド（フレーム）から新しいフィールド（フレーム）を合成して、当該二フィールド（フレーム）に替えて合成した新たな一フィールド（フレーム）を用いる処理を行う。
【００４０】
図３は、リニア変換によるフレームレートコンバータについて説明する概要図である。図３に示すように、固定カメラの場合に簡易なリニア変換のみを遂行すると対象映像の中で動きがある物体のみが重複して視覚されることとなる。一方、動く物体にカメラを追従させるパンカメラの場合に簡易なリニア変換のみを遂行すると対象映像の中で動く物体を除く背景等が重複して視覚されることとなる。いずれの場合においても、映像中に動きが存在することから、簡易なリニア変換処理を遂行すれば（ａ）のように動き物体が重なって視認されたり、（ｂ）のように背景が重なって視認される等の問題が生じることとなる。このような問題点を解決するために、動き補正処理によるフレームレート変換が必要となる。
【００４１】
図４は、動き補正処理について説明する概要図である。図４に示すように、動き補正処理によるフレームレート変換により、映像の重複視覚が低減されてジャダー（動きのがくつき）が少ないスムースな動画視覚が可能となる。
【００４２】
図４から理解できるように、まず動きベクトルを検出し（（１））、内装フレームの時間位置によって動きベクトルを例えば１／２に内分し、内分した動きベクトルによって、動き物体をシフトする処理により、ちょうど二つのフィールド（フレーム）間の中間の動き位置に対応するフィールド（フレーム）が合成されることで動き補正を遂行する（（２））。このようにして、ジャダー（動きのかくつき）が少ないフレームレート変換が実現可能となる。次にローカル動き推定処理と動き補正処理とについて以下に説明する。
【００４３】
（ローカル動き推定と動き補正）
画像中の移動物体は、画像を複数の矩形ブロック領域に分割して、ブロック毎に動きを推定して、動き補正を行う。グローバル動き推定の場合と同様に、処理の基本は、ブロックマッチングと勾配法である。しかし、ブロック分割によって、動き推定の不完全性による影響が大きくなるため、ここでは推定におけるロバスト性を高めるように処理を遂行する。
【００４４】
ブロック分割によるローカル動き推定については、動きを推定する各画像においてそれぞれ８×８画素程度のブロックに全画面を分割し、ブロック毎にブロックマッチング、及び勾配法によって動きベクトルをサブピクセル精度で推定する。
【００４５】
ローカルな動きを推定するための基本的な処理自体には従来公知の処理と差違はない。しかしながら、ブロックに分割することによって動き推定の不完全性による影響を受けやすくなる（例えば、処理の破綻やスムースさに欠ける視覚映像等）ため、次のような処理によりロバスト性を高める。
【００４６】
すなわち、重複を許す探索、固定ブロックサイズ、輝度色差エッジによるマッチング、双方向からの推定、残差による選択であり、各々について以下に順次説明する。
【００４７】
重複を許す探索は、縮小画像による階層ブロックマッチングは探索を効率よく行う方法であるが、マッチングの誤りに対処するため、自分自身と近傍８方向の探索方向を重複なく階層間において繰り返しマッチング処理を行うのではなく、前回の探索結果との比較を行いながら探索を進める。図５（ａ）は、重複を許す探索について説明する図である。
【００４８】
すなわち、図５（ａ）において、１回目の探索（実線）の結果、右上方向かＳＡＤ最小とする。次の探索は１回目の探索の結果を自身として近傍８方向の探索（破線）であるが、このとき前回の探索方向を部分的に含むように探索方向を決定する。これによって、探索の効率は落ちるものの、マッチングの誤りは低減できる。
【００４９】
固定ブロックサイズは、１／８画像において８×８画素ブロックによりマッチングした結果を、上位階層の１／４画像に伝播させる。１／８画像における８×８画素ブロックは、１／４画像においては、１６×１６画素ブロックに相当する。したがって、１／８画像におけるブロックマッチングの結果を、相当する１／４画像における８×８画素ブロック×４のブロックにおける初期値とする。そして、１／４画像においても、８×８画素ブロックによるブロックマッチングを行う。これを上位階層の画像に伝播させていく。こうすることによって、より下位の階層の画像においては、広い領域を見渡すことによって、ブロックマッチングを行うことから、マッチングの誤りが低減できる。
【００５０】
以上のように、例えば遂行手順としては、（１）１／８画像間において、８、８、４、４、２画素シフトして探索する。また、より遠くを探索する際の誤りを低減するために、８、８画素、４、４画素と探索範囲を重複させる。（２）１／４画像間において、２、１画素シフトして探索する。（３）１／２画像間において、１画素シフトして探索する、としてもよい。
【００５１】
ここで、図５（ｂ）は、固定ブロックサイズについて説明する図であり、図５（ｂ）に説明するように、階層間でブロックのサイズは同一８×８画素として、上位の階層に伝播する際に推定結果を４分割することができる。
【００５２】
さらに、輝度色差エッジによるマッチングについては、輝度信号によるマッチングのみならず、色差信号Ｃｂ、Ｃｒ及び輝度信号のエッジによるブロックマッチングを同時に行い、それらすべての差分絶対値総和の総和が最小なものを探索結果とする。すなわち、次の式（１）に示す結果の最小値の方向を選択する。
【数１】
2013219595.tif 000003
【００５３】
また、図５（ｃ）に示すように、双方向からの推定については、第１画像から第２画像へ動き推定を行う順方向予測と、逆に第２画像から第１画像へ動き推定を行う逆方向予測によって、オクルージョン（見えていたものが隠れて見えなくなる／隠れて見えなかったものが見えてくる）を回避する。図５（ｃ）は、一次元オクルージョンについて説明する模式図である。
【００５４】
移動物体が存在しなければ、両方の方向からの動きベクトルは、画像誤差の範囲で完全に一致するはずである（厳密には符号が反転している）。しかし、移動物体によってオクルージョンが発生すると両方の方向からの動きベクトルは一致しない（マッチングする相手が存在しないためどちらかの方向から求められた結果は真の動きベクトルではない）。
【００５５】
したがって、どちらかの方向から求められた結果の偽動きベクトルを用いて補正すると、補正画像には「孔（ホール）」が空いてしまう可能性がある。孔が空かない場合も、残差は著しく異なることが予想される。
【００５６】
そこで、各方向からの動きベクトルによって生成された補正画像と原画像との差分絶対値を残差画像と定義し、それを動きベクトルの信頼性指標として用いて、順／逆方向のいずれかの動き補正画像を選択して出力する。
【００５７】
また、残差による選択に関し、残差による選択について説明する前に、用語と記号を以下のように定義するものとする。そして、ブロック毎の動き推定結果による動き補正、残差画像の生成、残差画像による選択について各々順次説明するものとする。
【００５８】
隣接する（空間的なオフセットが解除された）２フィールド（フレーム）間において、時間方向昇順で第１画像Ｉ１、第２画像Ｉ２を定義する。Ｉ１（ｉ，ｊ）は第１画像Ｉ１におけるピクセル位置（ｉ，ｊ）の画素値を指すものとする。
【００５９】
また、第１画像を８×８画素程度のブロックに分割する。第１画像の分割ブロック毎に第１画像から第２画像への動きベクトル
2013219595.tif 000004
を推定する（順方向予測）。
【００６０】
動きベクトル
2013219595.tif 000005
による第１画像のブロック毎の動き補正画像
2013219595.tif 000006
を定義する。
【００６１】
動き補正画像
2013219595.tif 000007
と第２画像Ｉ２との輝度値差分絶対値からなる残差画像をＪ２と定義する。したがって、次の式（２）の関係であらわされる。
2013219595.tif 000008
ここで、［・］はガウス記号である。
【００６２】
ガウス記号［・］は、ある値を越えない最大の整数値を表す。Ｘを実数、ｎを整数としたとき、ｎ≦Ｘ＜（ｎ＋１）ならば、［Ｘ］＝ｎである。例えば、［２．３４］＝２、［−３．５４］＝−４である。
【００６３】
第２画像を８×８画素程度のブロックに分割する。第２画像の分割ブロック毎に第２画像から第１画像への動きベクトル
2013219595.tif 000009
を推定する（逆方向予測）。
【００６４】
動きベクトル
2013219595.tif 000010
による第２画像のブロック毎の動き補正画像
2013219595.tif 000011
を定義する。
【００６５】
動き補正画像
2013219595.tif 000012
と第１画像Ｉ１との輝度値差分絶対値からなる残差画像をＪ１と定義する。したがって、次の式（３）に示す関係で示される
2013219595.tif 000013
【００６６】
第１、２画像間の任意の時間位置に相当するフレーム間内挿補間画像において、第１画像から第２画像へのブロック毎の（任意の時間位置に相当する様に分割した）動きベクトルによる第１画像によるフレーム間内挿補間画像を
2013219595.tif 000014
と定義する。
【００６７】
第２画像から第１画像へのブロック毎の（任意の時間位置に相当する様に分割した）動きベクトルによる第２画像によるフレーム間内挿補間画像を
2013219595.tif 000015
と定義する。
【００６８】
ブロック毎に得られた動きベクトルを用いて、ブロック毎に動き補正を行う。このとき、動き推定同様、注目ブロックを含む隣接ブロックと水平、垂直方向にε画素程度の重複を持たせた拡張ブロックを動き補正する。これは、動き補正画像
2013219595.tif 000016
及び、フレーム間内挿補間画像
2013219595.tif 000017
に「孔（ホール）」が空かない様にするためである。動き補正画像及びフレーム間内挿補間画像を生成する手順は図６（ａ）にも示すように次のようになる。図６（ａ）は、ブロック毎の動き補正と残差画像について説明する図である。
【００６９】
（１）拡張ブロックの基準となる左上画素を得られた動きベクトルによって動き補正画像
2013219595.tif 000018
、フレーム間内挿補間画像
2013219595.tif 000019
上の画素位置としてピクセル精度で計算する。
【００７０】
（２）動き補正画像
2013219595.tif 000020
、フレーム間内挿補間画像
2013219595.tif 000021
上のピクセル精度で計算された画素位置を基準として、拡張ブロック内の画素を順に得られた動きベクトルの逆写像として第１画像Ｉ１上の画素位置をサブピクセル精度で計算する。
【００７１】
（３）第１画像Ｉ１のサブピクセル精度の画素位置における画素を近傍画素から補間フィルタによって生成し、動き補正画像
2013219595.tif 000022
、フレーム間内挿補間画像
2013219595.tif 000023
のピクセル精度の画素位置における画素とする。
【００７２】
（４）動き補正画像
2013219595.tif 000024
を生成するとともに、第２画像との残差画像Ｊ２を計算する（式（２））。同時に、１ビットマスク画像のビットを立てる。
【００７３】
また、残差画像は、フレーム内挿補間画像の該当する画素位置に書き込む。すなわち、得られた動きベクトル
2013219595.tif 000025
から動き補正画像
2013219595.tif 000026
を生成し、原画像Ｉ２との差分絶対値（残差）を計算した結果を、フレーム内挿補間画像
2013219595.tif 000027
の該当する画素位置に書き込む。ここで、計算した残差をそのまま動き補正画像（つまり原画像）の画素位置に書き込むことはしない（１ビットマスク画像も同様である）。これは式（２）で計算された残差画像Ｊ２を、フレーム内挿補間画像を生成するために用いた動きベクトル
2013219595.tif 000028
（のピクセル精度）だけ移動することに相当する。
【００７４】
すなわち、
2013219595.tif 000029
であり、補間係数αとすると、
2013219595.tif 000030
である。
【００７５】
ここで、重複する拡張ブロックを補正するため、既に動き補正画像において補正済みの画素が存在していて、計算された残差の方が小さい場合には、フレーム間内挿補間画像及び残差画像の画素を置換える。または、ともにあるしきい値以下であれば、両者の平均値を計算して置換える。いずれも画素の読込み、判定・演算、画素の書込みが間に合わなければ、画素の上書きでもよい。残差による選択の効果が期待できる。
【００７６】
これらの処理を、逆方向からの予測による動きベクトルを用いても行う（並列処理）。
【００７７】
したがって、双方向からの動き推定による残差画像を用いたフレーム間内挿補間画像の生成を、次のように行う。
【００７８】
（１）両方向からの補正画像と各々の原画像との残差画像Ｊ２，Ｊ１の注目画素がいずれも存在しており、かつあるしきい値以下である場合、両方向のフレーム間内挿補間画像を補間係数αによる重み付き加算平均を最終的なフレーム間内挿補間画像とする。
2013219595.tif 000031
【００７９】
ここで、Ｏ≦α≦１であり、第１画像を基準とする時間位置から計算されるものとする。
【００８０】
（２）両方向からの補正画像と各々の原画像との残差画像Ｊ２，Ｊ１の注目画素がいずれも存在しているが、いずれか一方でもあるしきい値以上である場合、各残差画像の大小によって、いずれかのフレーム間内挿補間画像を選択し、最終的なフレーム間内挿補間画像とする。
2013219595.tif 000032
【００８１】
（３）両方向からの補正画像と各々の原画像との残差画像Ｊ２，Ｊ１の注目画素のいずれか一方でも存在せず、かつもう一方の残差画像があるしきい値以下で存在している場合、残差画像の存在しているフレーム間内挿補間画像を選択し、最終的なフレーム間内挿補間画像とする。
2013219595.tif 000033
【００８２】
ここで、残差画像における画素の有無は、１ビットのマスク画像を用いる。これを予め０初期化しておき、補正画像生成がなされた際にビットを立てる。また、いずれの方向の残差画像の注目画素が存在しない場合は、内挿補間位置によって、いずれかの原画像、或いはリニア補間画像を選択する。
【００８３】
（４）両方向からの補正画像と各々の原画像との残差画像Ｊ２，Ｊ１の注目画素がいずれも存在しているが、いずれもあるしきい値以上である場合、内挿補間位置によって、いずれかの原画像、或いはリニア補間画像を選択し、最終的なフレーム間内挿補間画像とする。
2013219595.tif 000034
【００８４】
ここで、残差画像の注目画素のいずれか一方でも存在せず、かつもう一方の残差画像が存在しているが、あるいしきい値以上の場合は、残差画像が存在しているフレーム内挿補間画像か残差画像が存在している原画像、或いはリニア補間画像のいずれかを最終的なフレーム内挿補間画像として出力するかの判断は困難であることも想定される。そのような場合は、オクルージョンが発生していて、かつ十分なマッチングが取れない場合と考えられる。すなわち、マッチングの探索範囲を越えて移動する物体及びオクルージョン領域であるものと推定できる。
【００８５】
さらに残差画像を用いることによって、図６（ｂ）にも示すように次のような選択処理の拡張をしてもよい。図６（ｂ）は、残差による選択に関し、ブロックサイズ、分割パタン、分割位置、時間方向、複数フレームについて説明する概念図である。
【００８６】
すなわち、動き推定を行うためのブロック分割の方法は、画像中の様々な動きとともに、その画像内容に依存する。したがって、ブロック分割におけるブロックサイズや、ブロック分割位置によって推定結果が異なる。
【００８７】
予め前処理として、画像内容に応じて何らかの規準による最適ブロック分割処理を行うことも考えられるが、前処理に係る処理時間と可変であろうブロックの分割結果の扱いの煩雑さを考慮すると、様々なブロックサイズ、分割パタン、分割位置、時間方向、複数フレーム間、による推定結果から残差画像を生成して、残差画像最小となる結果を選択する方が容易である。
【００８８】
しかし、並列処理を行うということは、同等の処理回路を複数用意するということであるから、回路規模は増えることも想定される。この方法は、様々なブロックサイズ、分割パタン、分割位置、時間方向、複数フレーム間による残差画像の選択を行うことにより、より望ましい結果が得られることを期待しているが、これによって、動き推定処理の不完全性が解決されるわけではない。
【００８９】
そこで、残差最小値とあるしきい値を比較して、しきい値以上の場合、何らかの動き推定が不可能な場合であると判定する。そのような場合は、リニア補間による結果を出力する。
【００９０】
さらに、より上位系の判定として、そのような画素が全体のある一定の割合以上を占めるような場合は、全体をリニア補間による結果を出力する等の追加的な処理を遂行することが好ましい。
【００９１】
また、図７（ａ）は、ベースバンドビデオ入出力による方式変換装置（フレームレート変換装置）について説明する図であり、図７（ｂ）は、ファイル入出力による方式変換装置（フレームレート変換装置）について説明する図である。本実施形態においては、ファイル入出力により方式変換装置とする。
【００９２】
図７（ｂ）に説明するように、ファイル入出力による方式変換装置は、ソフトウェアとそれを実行するコンピュータとによる実現することが可能であり、ソフトウェアやファイル送受のフレキシビリティが格段に向上し、方式変換処理を遂行する装置も固定されない点で好ましい。
【００９３】
しかし、すべてソフトウェアによる処理とするものに限定されることはなく、当該装置の処理の一部をグラフィック処理ユニット（ＧＰＵ）、フィールド・プログマブル・ゲート・アレイ（ＦＰＧＡ）等によるハードウェアにより実現してもよい。
【００９４】
ファイルはローカルなストレージに存在していてもよいし、ファイル記憶媒体は、ハードディスク、ＬＴＯテープ、ＤＶＤ、メモリカード等種々の記憶媒体を利用できる。また、インターネットやイントラネットを介した他のコンピュータ（のローカルなストレージ）、サーバー、データセンター等にファイル蓄積してもよい。
【００９５】
また、図８（ａ）は、ベースバンドビデオ入出力の方式変換装置であっても、その前後にファイルからビデオヘの変換装置およびビデオからファイルヘの変換装置を設置すれば、同様に使用することができる例について説明する図であり、図８（ｂ）は、ファイル入出力によるフレームレート変換装置であっても、その前後にビデオからファイルヘの変換装置およびファイルからビデオヘの変換装置を用意すれば、ビデオ入出力による録画再生装置からの入出力が可能になる例について説明する図である。
【００９６】
また、図９乃至図１１は、ファイルベースＦＲＣ（フレームレートコントロール）ソフトウェアについての概要を順次説明する図である。
【００９７】
また、図１２は、リニア変換ＦＲＣ処理を用いたＮＧ（典型的には処理破綻）検知について説明する図である。図１２（ａ）に示すように、フレームあるいはフィールド（フレーム）間の差分絶対値を基本的な特徴量として、動き補正処理をすることが望ましいフレームを検知する。例えば、画面全体の差分絶対値の総和、あるいは差分絶対値のメジアン値、最大値等のあるしきい値以上を動き補正処理が望ましいフレームとして判定し抽出する処理も可能である。また、リニア変換と動き補正変換の判定結果が頻繁に起きるのを抑制するために、判定のためのしきい値処理にヒステリシス特性を持たせることが好ましい。また、図１２（ｂ）において、リニア変換／動き補正変換の繋ぎ目を目立たなくするためには、リニア変換処理結果と動き補正処理結果のミックス処理におけるミックス係数を適当なフレーム間隔で制御すればよい。カット検出処理によりカット替わりではミックス処理を行わないこととできる。
【００９８】
実施形態で説明した方式変換装置やフレームレートコンバータは、実施形態での説明に限定されることはなく、自明な範囲でその構成を変更し適宜組み合わせることが可能であり、またその処理を変更することができる。
【産業上の利用可能性】
【００９９】
本発明は、主に放送機器分野を対象とする方式変換装置や映像処理全般に適用可能であるが、マニュアル処理を支援する技術内容であるので、ライブ中継の使用には適さない。また、オフラインでの編集作業やファイルベースにおける処理等に好適に展開できる。
【符号の説明】
【０１００】
１００・・動き推定処理部、２００・・動き補正変換処理部、３００・・リニア変換処理部、４００・・孔埋め処理部。
【図１】
2013219595.tif 000035
【図２】
2013219595.tif 000036
【図３】
2013219595.tif 000037
【図４】
2013219595.tif 000038
【図５】
2013219595.tif 000039
【図６】
2013219595.tif 000040
【図７】
2013219595.tif 000041
【図８】
2013219595.tif 000042
【図９】
2013219595.tif 000043
【図１０】
2013219595.tif 000044
【図１１】
2013219595.tif 000045
【図１２】
2013219595.tif 000046