(57)【要約】【課題】追越し動作を原因とする映像の乱れを簡易的な方法で抑制する。【解決手段】画像状態が特定の状態であると判定した場合には（Ｓ１０３〜Ｓ１０６のいずれかでＹＥＳ）、連続する２つのフレームを混合した画像信号を生成することによりフレームを補間するαブレンド処理を行う（Ｓ１０７）。一方、画像状態が特定の状態でない（静止状態、その他の状態）と判定した場合には（Ｓ１０１でＮＯ又はＳ１０１でＹＥＳの後Ｓ１０３〜Ｓ１０６のすべてでＮＯ）、フレームバッファ１４から同一フレームの画像信号を２回連続で読み出して出力することによりフレームを補間する同一フレーム補間処理を行う（Ｓ１０２）。【選択図】図１０
2009115910.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像信号を入力同期周波数に同期してフレームバッファに書き込むとともに、前記入力同期周波数とは異なる出力同期周波数に同期して前記フレームバッファから画像信号を読み出して出力する同期変換装置であって、
前記フレームバッファから同一フレームの画像信号を重複して読み出すことによりフレームを補間する第１補間手段と、
連続する複数のフレームを混合した画像信号を生成することによりフレームを補間する第２補間手段と、
前記フレームバッファから読み出した画像信号が静止状態を表すものであるか否かを判定し、静止状態を表すものであると判定した場合には前記第１補間手段にフレームを補間させ、静止状態を表すものでないと判定した場合には前記第２補間手段にフレームを補間させる補間切替手段と、
を備えることを特徴とする同期変換装置。
【請求項２】
前記補間切替手段は、前記フレームバッファから読み出した画像信号と１つ前のフレームにおける画像信号との差分が所定のしきい値未満である場合に、静止状態を表すものであると判定すること
を特徴とする請求項１に記載の同期変換装置。
【請求項３】
前記補間切替手段は、前記フレームバッファから読み出した画像信号が静止状態を表すものでないと判定した場合であっても、規則的な動きを表すものでないと判定した場合には、前記第１補間手段にフレームを補間させること
を特徴とする請求項１又は請求項２に記載の同期変換装置。
【請求項４】
前記補間切替手段は、画像を複数のブロックに分割して各ブロックの動き方向を検出し、画像における各ブロックの動き方向の配置パターンに基づき規則的な動きを表すものであるか否かを判定すること
を特徴とする請求項３に記載の同期変換装置。
【請求項５】
入力された画像信号を入力同期周波数に同期してフレームバッファに書き込むとともに、前記入力同期周波数とは異なる出力同期周波数に同期して前記フレームバッファから画像信号を読み出して出力する同期変換方法であって、
前記フレームバッファから読み出した画像信号が静止状態を表すものであるか否かを判定するステップと、
静止状態を表すものであると判定した場合には前記フレームバッファから同一フレームの画像信号を重複して読み出すことによりフレームを補間し、静止状態を表すものでないと判定した場合には連続する複数のフレームを混合した画像信号を生成することによりフレームを補間するステップと、
を含むことを特徴とする同期変換方法。
【請求項６】
入力された画像信号を入力同期周波数に同期してフレームバッファに書き込むとともに、前記入力同期周波数とは異なる出力同期周波数に同期して前記フレームバッファから画像信号を読み出して出力する同期変換装置としてコンピュータを機能させるためのプログラムであって、
前記フレームバッファから同一フレームの画像信号を重複して読み出すことによりフレームを補間する第１補間手段と、
連続する複数のフレームを混合した画像信号を生成することによりフレームを補間する第２補間手段と、
前記フレームバッファから読み出した画像信号が静止状態を表すものであるか否かを判定し、静止状態を表すものであると判定した場合には前記第１補間手段にフレームを補間させ、静止状態を表すものでないと判定した場合には前記第２補間手段にフレームを補間させる補間切替手段
としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像信号を入力同期周波数に同期してフレームバッファに書き込むとともに、入力同期周波数とは異なる出力同期周波数に同期してフレームバッファから画像信号を読み出して出力する同期変換装置に関するものである。
【背景技術】
【０００２】
フレームバッファに書き込む画像信号の入力同期周波数が出力同期周波数よりも低い場合、フレームバッファへの書き込み速度よりも読み出し速度の方が速くなるため、フレームバッファにおける書き込みアドレスを読み出しアドレスが追い越す現象（以下、この現象を「追越し動作」という。）が生じる。この追越し動作により、読み出す映像の上下の映像に乱れが生じてしまうという問題がある。
【０００３】
このような問題に対処するため、特許文献１，２に記載されているような方法が提案されている。
すなわち、特許文献１には、書き込みアドレスと読み出しアドレスとを比較することで追越し動作の危険性を予測し、その予測結果に応じて読み出しタイミングを修正することにより、同一フレームの画像を２回連続で読み出してフレームを補間する方法が記載されている。
【０００４】
また、特許文献２には、フレームレート変換前の映像から動きベクトルを探索し、前後のフレームの画像に基づき画像の位置を移動させた補間画像を生成して、フレーム間に挿入する方法が記載されている。
【特許文献１】特開２００１−６７０６０号公報
【特許文献２】特開平１１−１１２９３９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した特許文献１に記載の方法は、簡易的な方法ではあるものの、規則的な動きのある映像（パーニング、チルト、ズーム、回転、物体移動など）において、動きが一瞬止まるといったような不自然さが目立つという問題がある。
【０００６】
一方、前述した特許文献２に記載の方法は、動画の不自然さを回避するのに有効ではあるが、画素単位から動きベクトルを探索し、探索した動きベクトルに基づいて新たな補間画素を生成する必要があり、ハードウェア規模が増大してしまうため、簡易的な方法とはいえない。また、動きベクトルの探索結果が誤っていると画像にノイズが発生してしまい画質が低下するという問題もある。
【０００７】
本発明は、こうした問題にかんがみてなされたものであり、追越し動作を原因とする映像の乱れを簡易的な方法で抑制することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するためになされた本発明の請求項１に記載の同期変換装置は、入力された画像信号を入力同期周波数に同期してフレームバッファに書き込むとともに、入力同期周波数とは異なる出力同期周波数に同期してフレームバッファから画像信号を読み出して出力するものである。
【０００９】
具体的には、この同期変換装置は、フレームバッファから同一フレームの画像信号を重複して読み出すことによりフレームを補間する第１補間手段と、連続する複数のフレームを混合した画像信号を生成することによりフレームを補間する第２補間手段とを備えている。
【００１０】
そして、補間切替手段が、フレームバッファから読み出した画像信号が静止状態を表すものであるか否かを判定し、静止状態を表すものであると判定した場合には第１補間手段にフレームを補間させ、静止状態を表すものでないと判定した場合には第２補間手段にフレームを補間させる。
【００１１】
このような同期変換装置によれば、画像状態に適した画像補間を行うことにより、追越し動作を原因とする映像の乱れを簡易的に抑制することができる。すなわち、入力同期周波数よりも出力同期周波数の方が高い場合、追越し動作を原因とする映像の乱れを抑制するため、出力するフレーム（画像）を補間する必要がある。ここで、フレームバッファから同一フレームの画像信号を重複して読み出すことによりフレームを補間する方法のみでは、動きのある映像において、動きが一瞬止まるといったような不自然さが目立つ。一方、連続する複数のフレームを混合した画像信号を生成することによりフレームを補間する方法のみでは、動きを自然にすることはできるものの、混合により解像度が低下してしまう（画像がぼやけてしまう）。
【００１２】
そこで、本発明の同期変換装置では、画像信号が静止状態を表すものであると判定した場合には、フレームバッファから同一フレームの画像信号を重複して読み出すことによりフレームを補間し、静止状態を表すものでないと判定した場合には、連続する複数のフレームを混合した画像信号を生成することによりフレームを補間する。
【００１３】
このように、画像状態に適した画像補間方法を選択することで、動きの不自然さや解像度の低下を目立たないようにすることができる。
ここで、フレームバッファから読み出した画像信号が静止状態を表すものであるか否かの判定は、例えば請求項２に記載のように、フレームバッファから読み出した画像信号と１つ前のフレームにおける画像信号との差分が所定のしきい値未満であるか否かに基づき行うことができる。
【００１４】
また、請求項３に記載の同期変換装置では、補間切替手段は、フレームバッファから読み出した画像信号が静止状態を表すものでないと判定した場合であっても、規則的な動きを表すものでないと判定した場合には、第１補間手段にフレームを補間させる。
【００１５】
このような同期変換装置によれば、動きの不自然さや解像度の低下を一層目立たないようにすることができる。すなわち、静止状態を表すものでなくても、規則的な動きを表すものでなければ、動画の不自然さが目立ちにくいため、静止状態の場合と同様、フレームバッファから同一フレームの画像信号を重複して読み出すようにすることで、解像度の低下を防ぐことができる。
【００１６】
ここで、規則的な動きを表すものであるか否かの判定は、例えば請求項４に記載のように、画像を複数のブロックに分割して各ブロックの動き方向を検出し、画像における各ブロックの動き方向の配置パターンに基づき判定するとよい。このようにすれば、規則的な動きを簡易的に判定することができる。
【００１７】
次に、請求項５に記載の同期変換方法は、入力された画像信号を入力同期周波数に同期してフレームバッファに書き込むとともに、入力同期周波数とは異なる出力同期周波数に同期してフレームバッファから画像信号を読み出して出力する方法である。そして、この同期変換方法は、フレームバッファから読み出した画像信号が静止状態を表すものであるか否かを判定するステップと、静止状態を表すものであると判定した場合にはフレームバッファから同一フレームの画像信号を重複して読み出すことによりフレームを補間し、静止状態を表すものでないと判定した場合には連続する複数のフレームを混合した画像信号を生成することによりフレームを補間するステップとを含む。
【００１８】
このような同期変換方法によれば、請求項１の同期変換装置について述べた効果と同様の効果を得ることができる。
次に、請求項６に記載のプログラムは、入力された画像信号を入力同期周波数に同期してフレームバッファに書き込むとともに、入力同期周波数とは異なる出力同期周波数に同期してフレームバッファから画像信号を読み出して出力する同期変換装置としてコンピュータを機能させるためのものである。そして、このプログラムは、フレームバッファから同一フレームの画像信号を重複して読み出すことによりフレームを補間する第１補間手段と、連続する複数のフレームを混合した画像信号を生成することによりフレームを補間する第２補間手段と、フレームバッファから読み出した画像信号が静止状態を表すものであるか否かを判定し、静止状態を表すものであると判定した場合には第１補間手段にフレームを補間させ、静止状態を表すものでないと判定した場合には第２補間手段にフレームを補間させる補間切替手段としてコンピュータを機能させる。
【００１９】
このようなプログラムによれば、請求項１の同期変換装置としてコンピュータを機能させることができ、これにより前述した効果を得ることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［１．全体構成］
図１は、実施形態の同期変換装置としてのフレームレート変換装置の概略構成を示すブロック図である。
【００２１】
このフレームレート変換装置は、所定の入力垂直同期周波数の取込映像を、所定の出力垂直同期周波数の表示映像としてモニタ２５に表示させるものである。本実施形態では、一例として、取込映像（ＰＡＬ映像）の垂直同期周波数（入力垂直同期周波数）が５０Ｈｚ、表示映像の垂直同期周波数（出力垂直同期周波数）が６０Ｈｚの場合について説明する。
【００２２】
図１に示すように、フレームレート変換装置に入力された取込映像の画像信号は、アナログデジタルコンバータ（Ａ／Ｄ）１１でアナログ信号からデジタル信号に変換され、デコーダ回路１２でデコード（復号）された後、スケーラ（ダウン）１３でモニタ２５に合わせてサイズを縮小される。そして、入力垂直同期周波数（５０Ｈｚ）に同期してフレームバッファ１４に書き込まれる。
【００２３】
フレームバッファ１４に書き込まれた画像信号は、出力垂直同期周波数（６０Ｈｚ）に同期してフレームバッファ１４から読み出される。そして、入出力位相検出部１５、動き検出部１６、動き方向検出部１７、特定画像検出部１８を経て、２種類のフレームレート変換部２１，２２から選定された一方の変換部でフレームレートが変換される。その後、スケーラ（アップ）２３でモニタ２５に合わせてサイズを拡大され、表示部２４によりモニタ２５に表示される。
【００２４】
［２．処理の説明］
次に、本実施形態のフレームレート変換装置が行う処理について説明する。
本実施形態のフレームレート変換装置は、追越し動作を原因とする映像の乱れを防止するため、画像状態（映像の動きの種類）に応じて異なるフレームレート変換処理を行う。すなわち、規則的な動きのある画像状態（パーニング、チルト、ズーム、回転及び物体移動）については、連続する２つのフレームを混合した画像信号を生成することによりフレームを補間する。一方、それ以外の画像状態（静止状態や不規則な動きの状態）については、同一フレームの画像信号を必要に応じて２回連続で（重複して）読み出して出力することによりフレームを補間する。
【００２５】
ここで、取込映像が規則的な動きのある画像状態であるか否かについては、画像全体を複数のブロックに分割した各ブロックの動き方向に基づき判定する。具体的には、図２に示すように、画像全体を５×５のブロックに分割し、更に各ブロックを５×５のサブブロックに分割する。
【００２６】
そして、図３に示すように、連続する２つのフレームの画像（対象画像及び１フレーム前の画像）についての差分を画素ごとに算出し、算出した差分の絶対値が相関しきい値（相関あり／なしを判定するためにあらかじめ設定されているしきい値）以上の画素を動画素（動きのあった画素）として抽出する。
【００２７】
続いて、図４に示すように、連続する２つのフレームの画像のそれぞれにおいて動画素と判断した画素のみをサンプルとして、サブブロックごとに、画素の輝度（０〜２５５）に対する画素の個数の関係を表すヒストグラムを作成（換言すれば、特異内容を抽出）する。つまり、サブブロックごとに１つのヒストグラムが作成されることになる。
【００２８】
続いて、図５に示すように、対象画像の各ブロックにおける中央のサブブロック（以下「動き方向検出対象のサブブロック」ともいう。）の動き方向を、そのサブブロックを包含するブロックの動き方向として検出する。具体的には、１フレーム前の画像と２フレーム前の画像とに基づき作成した全サブブロック（対応するブロックにおける２５個のサブブロック）のヒストグラムの中から、対象画像と１フレーム前の画像とに基づき作成した動き方向検出対象のサブブロックのヒストグラムに最も類似するものを検出する。そして、この最も類似度の大きいサブブロックから動き方向検出対象のサブブロックへ向かう方向を、動き方向検出対象のサブブロックの動き方向（つまり、そのサブブロックを包含するブロックの動き方向）とする。
【００２９】
このようして、画像を構成する各ブロックの動き方向を求め、各ブロックの動き方向の配列パターンに基づき、パーニング、チルト、ズーム、回転、物体移動といった規則的な動きを検出する。
【００３０】
すなわち、図６に示すように、パーニングやチルトの映像では、ブロックの動き方向がすべて同一方向となる。ただし、画像の一部に静止画（静止物）が混在している場合には、その部分のブロックの動き方向は静止状態（図面上、黒丸で表現）となる。
【００３１】
また、図７に示すように、ズーム（縮小、拡大）の映像では、ブロックの動き方向が静止状態のブロックを中心に放射状（中心を向く方向又は中心とは反対を向く方向）となる。ただし、画像の一部に静止画が混在している場合には、その部分のブロックの動き方向は静止状態となる。
【００３２】
さらに、回転の映像では、ブロックの動き方向が静止状態のブロックを中心とする一定の回転方向となる。ただし、画像の一部に静止画が混在している場合には、その部分のブロックの動き方向は静止状態となる。
【００３３】
一方、物体移動の映像では、一部のブロックの動き方向が、前述したパーニング、チルト、ズーム、回転のいずれかの動き方向となり、その他のブロックは静止状態となる。
ここで、ブロックの動き方向を、図８のように数値化する。すなわち、左方向を「０」、左下方向を「２」、下方向を「４」、右下方向を「６」、右方向を「８」、右上方向を「１０」、上方向を「１２」、左上方向を「１４」、静止状態を「１６」とする。また、左方向と左下方向との間の方向を「１」、左下方向と下方向との間の方向を「３」、下方向と右下方向との間の方向を「５」、右下方向と右方向との間の方向を「７」、右方向と右上方向との間の方向を「９」、右上方向と上方向との間の方向を「１１」、上方向と左上方向との間の方向を「１３」、左上方向と左方向との間の方向を「１５」とする。
【００３４】
さらに、画像における各ブロックの名称を、図９のように定義する。すなわち、１番上の行のブロックの名称を左から順に「Ｂ００」、「Ｂ０１」、「Ｂ０２」、「Ｂ０３」、「Ｂ０４」とする。また、上から２番目の行のブロックの名称を左から順に「Ｂ１０」、「Ｂ１１」、「Ｂ１２」、「Ｂ１３」、「Ｂ１４」とする。さらに、上から３〜５番目の行のブロックの名称も同様に、「Ｂ２０」、…、「Ｂ２４」、「Ｂ３０」、…、「Ｂ３４」「Ｂ４０」、…、「Ｂ４４」とする。
【００３５】
そして、ＩＭＧ［２４：０］＝｛Ｂ４［４：０］，Ｂ３［４：０］，Ｂ２［４：０］，Ｂ１［４：０］，Ｂ０［４：０］｝と定義とすることで、以下に例示するように、パーニング、チルト、ズーム、回転、物体移動といった動きを判定する条件式を設定することができる。
【００３６】
（１）パーニング、チルト検出の条件式（条件式１〜ｋ）
条件式１（映像全体が左方向への移動）
ＩＭＧ［２４：０］＝｛０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０，０｝
条件式２（映像全体が下方向への移動）
ＩＭＧ［２４：０］＝｛４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４，４｝
条件式３（映像全体が右下方向への移動）
ＩＭＧ［２４：０］＝｛６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６，６｝
（２）ズーム検出の条件式（条件式ｋ＋１〜ｍ）
条件式ｋ＋１（縮小）
ＩＭＧ［２４：０］＝｛１４，１３，１２，１１，１０，１５，１４，１２，１０，９，０，０，１６，８，８，１，２，４，６，７，２，３，４，５，６｝
条件式ｋ＋２（拡大）
ＩＭＧ［２４：０］＝｛６，５，４，３，２，７，６，４，２，１，８，８，１６，０，０，９，１０，１２，１４，１５，１０，１１，１２，１３，１４｝
（３）回転検出の条件式（条件式ｍ＋１〜ｎ）
条件式ｍ＋１（左方向への回転）
ＩＭＧ［２４：０］＝｛１０，９，８，７，６，１１，１０，８，６，５，１２，１２，１６，４，４，１３，１４，０，２，３，１４，１５，０，１，２｝
条件式ｍ＋２（右方向への回転）
ＩＭＧ［２４：０］＝｛２，１，０，１５，１４，３，２，０，１４，１３，４，４，１６，１２，１２，５，６，８，１０，１１，６，７，８，９，１０｝
（４）物体移動検出の条件式（条件式ｎ＋１〜ｚ）
条件式ｎ＋１（物体が右方向へ移動）
ＩＭＧ［２４：０］＝｛１６，１６，１６，１６，１６，１６，８，８，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６｝
条件式ｎ＋２（物体がカメラに近づく）
ＩＭＧ［２４：０］＝｛１６，６，４，２，１６，１６，８，１６，０，１６，１６，１０，１２，１４，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６｝
条件式ｎ＋３（物体が回転）
ＩＭＧ［２４：０］＝｛１６，１，０，１５，１６，１６，４，１６，１２，１６，１６，７，８，９，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６，１６｝
なお、ここで例示した条件式は一部のものであり、例示したもの以外にも条件式は存在する。
【００３７】
［３．フレームレート変換処理の具体的内容］
次に、フレームレート変換処理の具体的内容について説明する。なお、以下に説明する処理は、フレームレート変換装置に組み込まれているコンピュータが、あらかじめ記憶されているプログラムに従い実行するように構成することができる。
【００３８】
［３−１．レート変換処理］
まず、取込映像の画素ごとに実行されるレート変換処理について、図１０のフローチャートを用いて説明する。
【００３９】
このレート変換処理が開始されると、まず、Ｓ１０１で、処理対象の画素（以下「対象画素」という。）についての動き検出が「あり」であるか否か（対象画素が動画素であるか否か）を判定する。なお、動き検出が「あり」であるか否かの具体的な処理内容については後述する（図１１）。
【００４０】
そして、Ｓ１０１で、対象画素についての動き検出が「あり」であると判定した場合には、Ｓ１０２へ移行し、同一フレームの画像信号を必要に応じて２回連続で読み出して出力することによりフレームを補間する同一フレーム補間処理を行った後、Ｓ１０１へ戻る。なお、同一フレーム補間処理の具体的な内容については後述する（図１２）。
【００４１】
一方、Ｓ１０１で、対象画素についての動き検出が「あり」でない（「なし」である）と判定した場合には、Ｓ１０３へ移行する。
Ｓ１０３〜Ｓ１０６では、画像状態が特定の状態であるか否かを判定し、特定の状態でないと判定した場合にはＳ１０２へ移行し、特定の状態であると判定した場合にはＳ１０７へ移行する。ここで、特定の状態とは、規則的な動き（具体的には、パーニング、チルト、ズーム（拡大、縮小）、回転、物体移動）のある映像と判断される状態のことである。なお、画像状態は、後述する画像種別検出処理（図１６）で判断される。
【００４２】
すなわち、まず、Ｓ１０３では、画像状態がパーニングチルトであるか否かを判定する。
そして、Ｓ１０３で、画像状態がパーニングチルトでないと判定した場合には、Ｓ１０４へ移行し、画像状態がズームであるか否かを判定する。
【００４３】
そして、Ｓ１０４で、画像状態がズームでないと判定した場合には、Ｓ１０５へ移行し、画像状態が回転であるか否かを判定する。
そして、Ｓ１０５で、画像状態が回転でないと判定した場合には、Ｓ１０６へ移行し、画像状態が物体移動であるか否かを判定する。
【００４４】
そして、Ｓ１０６で、画像状態が物体移動でないと判定した場合（つまり、画像状態が特定の状態でないと判定した場合）には、Ｓ１０２へ移行し、静止状態の画素と同様、同一フレーム補間処理を行った後、Ｓ１０１へ戻る。
【００４５】
一方、Ｓ１０３で画像状態がパーニングチルトであると判定した場合や、Ｓ１０４で画像状態がズームであると判定した場合や、Ｓ１０５で画像状態が回転であると判定した場合や、Ｓ１０６で画像状態が物体移動であると判定した場合には、Ｓ１０７へ移行する。そして、Ｓ１０７では、連続する２つのフレームを混合した画像信号を生成することによりフレームを補間するαブレンド処理を行った後、Ｓ１０１へ戻る。なお、αブレンド処理の具体的な内容については後述する（図１３）。
【００４６】
［３−２．動き検出処理］
次に、前述したレート変換処理のＳ１０１で動き検出の判定を行うための動き検出処理について、図１１のフローチャートを用いて説明する。
【００４７】
この動き検出処理が開始されると、まず、Ｓ２０１で、対象画素について画素データ差分を求める。具体的には、前述したように、連続する２つのフレームの画像（対象画像と１フレーム前の画像）についての差分を画素ごとに算出する（図３）。
【００４８】
続いて、Ｓ２０２では、Ｓ２０１で算出した対象画素についての差分の絶対値が相関しきい値以上であるか否かを判定する。
そして、Ｓ２０２で、対象画素についての差分の絶対値が相関しきい値以上であると判定した場合には、Ｓ２０３へ移行し、対象画素についての動き検出を「あり」と記憶する。その後、Ｓ２０１へ戻る。
【００４９】
一方、Ｓ２０２で、対象画素についての差分の絶対値が相関しきい値以上でないと判定した場合には、Ｓ２０４へ移行し、対象画素についての動き検出を「なし」と記憶する。その後、Ｓ２０１へ戻る。
【００５０】
［３−３．同一フレーム補間処理］
次に、前述したレート変換処理のＳ１０２で実行される同一フレーム補間処理について、図１２のフローチャートを用いて説明する。
【００５１】
この同一フレーム補間処理が開始されると、まず、Ｓ３０１で、追越しタイミング（余分なフレームを補間しなければ追越し動作が生じてしまうタイミング）が到来したか否かを判定する。
【００５２】
そして、Ｓ３０１で、追越しタイミングでないと判定した場合には、Ｓ３０２へ移行し、対象画素をそのまま出力した後、本同一フレーム補間処理を終了する。
一方、Ｓ３０１で、追越しタイミングであると判定した場合には、Ｓ３０３へ移行し、１フレーム前の画素を出力した後、本同一フレーム補間処理を終了する。つまり、同一フレームの画素が２回連続で読み出されるようにする。
【００５３】
［３−４．αブレンド処理］
次に、前述したレート変換処理のＳ１０７で実行されるαブレンド処理について、図１３のフローチャートを用いて説明する。
【００５４】
このαブレンド処理では、次の式により出力画素を求める（Ｓ４０１）。
出力画素＝１フレーム前のフレームの画素×α＋対象フレームの画素×（１−α）
ここで、割合αは、１フレーム前のフレームと対象フレームとを加味する割合であり、出力フレームのタイミングが１フレーム前のフレームのタイミングに近いほど大きくなる。なお、割合αの具体的な算出方法については後述する（図１４）。
【００５５】
つまり、連続する２つのフレームの画素を、書き込みタイミングと表示タイミングとの位相ずれの度合いに応じた混合比で混合した補間画素を生成する。
［３−５．レート検出処理］
次に、前述したαブレンド処理で用いられる割合αを算出するためのレート検出処理について、図１４のフローチャートを用いて説明する。
【００５６】
このレート検出処理が開始されると、まず、Ｓ５０１で、出力映像の垂直同期信号Ｖsyncが検出されたか否かを判定し、検出されたと判定した場合にＳ５０２へ移行する。
Ｓ５０２では、入力側の走査ラインを参照する。つまり、出力映像の垂直同期信号Ｖsyncが検出された時点でのフレームバッファ１４における入力映像のライン数を参照するようにしている。
【００５７】
続いて、Ｓ５０３では、Ｓ５０２で参照したライン数を、入力映像の総ライン数で割った値を、割合αとして算出した後、Ｓ５０１へ戻る。なお、入力映像の総ライン数の具体的な算出方法については後述する（図１５）。
【００５８】
［３−６．入力映像総ライン数検出処理］
次に、前述したレート検出処理のＳ５０３で用いられる入力映像の総ライン数を算出するための入力映像総ライン数検出処理について、図１５のフローチャートを用いて説明する。
【００５９】
この入力映像総ライン数検出処理が開始されると、まず、Ｓ６０１で、入力映像の水平同期信号Ｈsyncが検出されたか否かを判定し、検出されたと判定した場合にＳ６０２へ移行する。
【００６０】
Ｓ６０２では、入力映像の垂直同期信号Ｖsyncが検出されたか否かを判定する。
そして、Ｓ６０２で、入力映像の垂直同期信号Ｖsyncが検出されていないと判定した場合には、Ｓ６０３へ移行し、ライン数をカウントするためのラインカウンタの値に１を加算する。その後、Ｓ６０１へ戻る。
【００６１】
一方、Ｓ６０２で、入力映像の垂直同期信号Ｖsyncが検出されたと判定した場合には、Ｓ６０４へ移行し、ラインカウンタの値を総ライン数として記憶する。
続いて、Ｓ６０５では、ラインカウンタの値をリセット（０に）する。その後、Ｓ６０１へ戻る。
【００６２】
［３−７．画像種別検出処理］
次に、取込映像の画像ごとに（フレーム単位で）実行される画像種別検出処理について、図１６のフローチャートを用いて説明する。
【００６３】
この画像種別検出処理が開始されると、まず、Ｓ７０１で、出力映像の垂直同期信号Ｖsyncが検出されたか否かを判定し、検出されたと判定した場合にＳ７０２へ移行する。
Ｓ７０２では、条件式１〜ｋに基づきパーニング又はチルトの映像を検出するパーニングチルト検出処理を行う。なお、パーニングチルト検出処理の具体的な内容については後述する（図１７）。
【００６４】
続いて、Ｓ７０３では、画像状態が未定であるか否かを判定する。
そして、Ｓ７０３で、画像状態が未定であると判定した場合には、Ｓ７０４へ移行し、条件式ｋ＋１〜ｍに基づきズーム（拡大、縮小）の映像を検出するズーム検出処理を行う。なお、ズーム検出処理の具体的な内容については後述する（図１８）。
【００６５】
続いて、Ｓ７０５では、画像状態が未定であるか否かを判定する。
そして、Ｓ７０５で、画像状態が未定であると判定した場合には、Ｓ７０６へ移行し、条件式ｍ＋１〜ｎに基づき回転の映像を検出する回転検出処理を行う。なお、回転検出処理の具体的な内容については後述する（図１９）。
【００６６】
続いて、Ｓ７０７では、画像状態が未定であるか否かを判定する。
そして、Ｓ７０７で、画像状態が未定であると判定した場合には、Ｓ７０８へ移行し、条件式ｎ＋１〜ｚに基づき物体移動の映像を検出する物体移動検出処理を行う。なお、物体移動検出処理の具体的な内容については後述する（図２０）。
【００６７】
続いて、Ｓ７０９では、画像状態が未定であるか否かを判定する。
そして、Ｓ７０９で、画像状態が未定である（規則的な動きでない）と判定した場合には、Ｓ７１０へ移行し、画像状態をその他移動画面として記憶する。その後、Ｓ７０１へ戻る。
【００６８】
一方、Ｓ７０３、Ｓ７０５、Ｓ７０７又はＳ７０９で画像状態が未定でないと判定した場合には、Ｓ７０１へ戻る。
［３−８．パーニングチルト検出処理］
次に、前述した画像種別検出処理のＳ７０２で実行されるパーニングチルト検出処理について、図１７のフローチャートを用いて説明する。
【００６９】
このパーニングチルト検出処理では、ＩＭＧ［２４：０］が、パーニング、チルト検出の条件式１〜ｋのいずれかに該当するか否かを判定する（Ｓ８０１〜Ｓ８０３）。
そして、ＩＭＧ［２４：０］が条件式１〜ｋのいずれかに該当すると判定した場合には、Ｓ８０４へ移行し、画像状態をパーニングチルト画面として記憶する。
【００７０】
一方、ＩＭＧ［２４：０］が条件式１〜ｋのいずれにも該当しないと判定した場合には、画像状態を未定のまま本パーニングチルト検出処理を終了する。
［３−９．ズーム検出処理］
次に、前述した画像種別検出処理のＳ７０４で実行されるズーム検出処理について、図１８のフローチャートを用いて説明する。
【００７１】
このズーム検出処理では、ＩＭＧ［２４：０］が、ズーム検出の条件式ｋ＋１〜ｍのいずれかに該当するか否かを判定する（Ｓ９０１〜Ｓ９０３）。
そして、ＩＭＧ［２４：０］が条件式ｋ＋１〜ｍのいずれかに該当すると判定した場合には、Ｓ９０４へ移行し、画像状態をズーム画面として記憶する。
【００７２】
一方、ＩＭＧ［２４：０］が条件式ｋ＋１〜ｍのいずれにも該当しないと判定した場合には、画像状態を未定のまま本ズーム検出処理を終了する。
［３−１０．回転検出処理］
次に、前述した画像種別検出処理のＳ７０６で実行される回転検出処理について、図１９のフローチャートを用いて説明する。
【００７３】
この回転検出処理では、ＩＭＧ［２４：０］が、回転検出の条件式ｍ＋１〜ｎのいずれかに該当するか否かを判定する（Ｓ１００１〜Ｓ１００３）。
そして、ＩＭＧ［２４：０］が条件式ｍ＋１〜ｎのいずれかに該当すると判定した場合には、Ｓ１００４へ移行し、画像状態を回転画面として記憶する。
【００７４】
一方、ＩＭＧ［２４：０］が条件式ｍ＋１〜ｎのいずれにも該当しないと判定した場合には、画像状態を未定のまま本回転検出処理を終了する。
［３−１１．物体移動検出処理］
次に、前述した画像種別検出処理のＳ７０８で実行される物体移動検出処理について、図２０のフローチャートを用いて説明する。
【００７５】
この物体移動検出処理では、ＩＭＧ［２４：０］が、物体移動検出の条件式ｎ＋１〜ｚのいずれかに該当するか否かを判定する（Ｓ１１０１〜Ｓ１１０３）。
そして、ＩＭＧ［２４：０］が条件式ｎ＋１〜ｚのいずれかに該当すると判定した場合には、Ｓ１１０４へ移行し、画像状態を物体移動画面として記憶する。
【００７６】
一方、ＩＭＧ［２４：０］が条件式ｎ＋１〜ｚのいずれにも該当しないと判定した場合には、画像状態を未定のまま本物体移動検出処理を終了する。
［４．効果］
以上説明したように、本実施形態のフレームレート変換装置は、画像状態が特定の状態であると判定した場合には（Ｓ１０３〜Ｓ１０６のいずれかでＹＥＳ）、連続する２つのフレームを混合した画像信号を生成することによりフレームを補間するαブレンド処理を行う（Ｓ１０７）。一方、画像状態が特定の状態でない（静止状態や不規則な動きの状態）と判定した場合には、フレームバッファ１４から同一フレームの画像信号を２回連続で読み出して出力することによりフレームを補間する同一フレーム補間処理を行う（Ｓ１０２）。なお、規則的な動きのある画像の一部に静止画が混在している場合には、静止画の部分のみ同一フレーム補間処理が行われ、それ以外の部分はαブレンド処理が行われることになる。
【００７７】
このようなフレームレート変換装置によれば、画像状態に適したフレーム補間を行うことにより、追越し動作を原因とする映像の乱れを簡易的に抑制することができる。すなわち、同一フレーム補間処理のみでは、動きのある映像において、動きが一瞬止まるといったような不自然さが目立つ。一方、αブレンド処理のみでは、動きを自然にすることができるものの、混合により解像度が低下してしまう（画像がぼやけてしまう）。これに対し、本実施形態のように、画像状態に適したフレーム補間方法を選択するようにすれば、動きの不自然さや解像度の低下を目立たないようにすることができる。
【００７８】
また、静止状態を表すものでなくても、規則的な動きを表すものでなければ、静止状態の場合と同様、同一フレーム補間処理を行うようにしているため、解像度の低下を防ぐことができる。
【００７９】
さらに、規則的な動きを表すものであるか否かの判定を、画像全体を複数のブロックに分割した各ブロックの動き方向の配置パターンに基づき判定するようにしているため、規則的な動きを簡易的に判定することができる。
【００８０】
［５．特許請求の範囲との対応］
なお、本実施形態のフレームレート変換装置では、レート変換処理（図１０）におけるＳ１０１，Ｓ１０３〜Ｓ１０６の処理を実行するフレームレート変換装置のコンピュータが、補間切替手段に相当する。また、Ｓ１０２の処理を実行するフレームレート変換装置のコンピュータが、第１補間手段に相当し、Ｓ１０７の処理を実行するフレームレート変換装置のコンピュータが、第２補間手段に相当する。
【００８１】
［６．他の形態］
以上、本発明の一実施形態について説明したが、本発明は、種々の形態を採り得ることは言うまでもない。
【００８２】
例えば、上記実施形態のフレームレート変換装置では、静止状態を表すものでなくても、規則的な動きを表すものでなければ、静止状態の場合と同様、同一フレーム補間処理を行うようにしているが、これに限定されるものではなく、静止状態以外はαブレンド処理を行うようにしてもよい。
【図面の簡単な説明】
【００８３】
【図１】実施形態のフレームレート変換装置の概略構成を示すブロック図である。
【図２】動き方向検出対象サブブロックの説明図である。
【図３】動き検出の説明図である。
【図４】特異内容抽出の説明図である。
【図５】動き方向検出の説明図である。
【図６】パーニング、チルトの検出パターン例を示す説明図である。
【図７】ズーム、回転及び物体移動の検出パターン例を示す説明図である。
【図８】動き方向の数値化の説明図である。
【図９】各ブロックの名称定義の説明図である。
【図１０】レート変換処理のフローチャートである。
【図１１】動き検出処理のフローチャートである。
【図１２】同一フレーム補間処理のフローチャートである。
【図１３】αブレンド処理のフローチャートである。
【図１４】レート検出処理のフローチャートである。
【図１５】入力映像総ライン数検出処理のフローチャートである。
【図１６】画像種別検出処理のフローチャートである。
【図１７】パーニングチルト検出処理のフローチャートである。
【図１８】ズーム検出処理のフローチャートである。
【図１９】回転検出処理のフローチャートである。
【図２０】物体移動検出処理のフローチャートである。
【符号の説明】
【００８４】
１１…アナログデジタルコンバータ、１２…デコーダ回路、１３，２３…スケーラ、１４…フレームバッファ、１５…入出力位相検出部、１６…動き検出部、１７…動き方向検出部、１８…特定画像検出部、２１，２２…フレームレート変換部、２４…表示部、２５…モニタ
【図１】
2009115910.tif 000003
【図２】
2009115910.tif 000004
【図３】
2009115910.tif 000005
【図６】
2009115910.tif 000006
【図７】
2009115910.tif 000007
【図８】
2009115910.tif 000008
【図９】
2009115910.tif 000009
【図１０】
2009115910.tif 000010
【図１１】
2009115910.tif 000011
【図１２】
2009115910.tif 000012
【図１３】
2009115910.tif 000013
【図１４】
2009115910.tif 000014
【図１５】
2009115910.tif 000015
【図１６】
2009115910.tif 000016
【図１７】
2009115910.tif 000017
【図１８】
2009115910.tif 000018
【図１９】
2009115910.tif 000019
【図２０】
2009115910.tif 000020
【図４】
2009115910.tif 000021
【図５】
2009115910.tif 000022