(57)【要約】【課題】入力映像信号から動きベクトル情報を検出し、これを用いて内挿映像信号を生成し、入力映像信号と内挿映像信号とを出力する際の表示映像の画質を改善する。【解決手段】映像選択部１０４は、入力映像信号と、動きベクトル検出部１０１が検出する動きベクトル情報と、フィールド内挿位相生成部１０２が生成する内挿位相とを入力し、入力映像信号の位相と、前記内挿位相との差分を検出し、その位相差が所定のレベルよりも小さい場合に、内挿映像信号の代わりに入力映像信号を選択し、出力する。【選択図】図１
2007288483.tif 000002
【特許請求の範囲】
【請求項１】
入力する映像信号から動きベクトル情報を検出する動きベクトル検出手段と、
入力する映像信号間に、内挿映像を生成する時間的な位相情報を生成する内挿位相生成手段と、
前記映像信号と、前記動きベクトル情報と、前記内挿位相情報とから内挿映像信号を生成する内挿映像生成手段と、を有する画像変換装置において、
前記内挿位相情報に基づいて、前記入力映像信号と、前記内挿映像信号とを選択的に切り替えて出力することを特徴とする画像変換装置。
【請求項２】
前記入力映像信号と、前記内挿映像信号との時間的な位相差を、前記内挿位相情報から判断し、前記位相差が所定のレベルよりも小さいすべての内挿映像信号、または一部の内挿映像信号の代わりに前記入力映像信号を出力することを特徴とする、請求項１記載の画像変換装置。
【請求項３】
前記入力映像信号を入力し、前記入力映像信号が３−２変換または２−２変換された画像か否かを検出するフィルム検出手段をさらに有し、前記内挿位相生成部は、前記フィルム検出手段の検出結果に基づいて、内挿位相情報を出力することを特徴とする請求項１ないし２に記載の画像変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像信号と、前記入力映像信号から検出した動きベクトル情報を用いて生成した新たな映像信号とからなる出力信号を生成する画像変換装置に関わり、特にテレシネ装置で３−２変換、２−２変換されて得られたテレビジョン信号に対して、動きベクトルの検出と、動き補正を行う映像内挿を行い、高画質なテレビジョン信号を得ることができる画像変換装置に関するものである。
【背景技術】
【０００２】
近年、ＴＶ用の表示デバイスとして、液晶パネルが広く使用されるようになってきた。ただ、その応答性能の悪さから、動画像を表示した際のボケが課題となっていた。これに対して、パネル自体の応答特性が著しく改善され、昨今は以前ほどの動画ボケは無くなってきている。しかしながら、一定の期間は同じ絵を保持して表示し続けるという液晶自体の表示方式に起因して、いかに液晶パネル自体の応答速度が改善しても、動画ボケが原理的になくならないことが知られている。これに対して、表示する映像信号の保持期間を短くすることで動画ボケを改善する取り組みが行われている。
【０００３】
こうした表示を可能とするためには、入力する映像信号と映像信号の間に映像信号を生成して内挿し、出力映像信号のフレームレートを例えば１．５倍や２倍に変換する必要がある。このフレームレート変換処理は、連蔵して入力する複数の映像信号間での相関を検出することにより、画面全体あるいは個々の領域ごとでの映像の動きを検出し、この動きの情報、いわゆる動きベクトルを用いて、入力する映像信号と映像信号の間に、前後の映像信号の動きを補間する内挿映像信号を生成する手法が一般的である。
【０００４】
図２に毎秒６０フィールドの映像信号をフレームレート変換処理により、毎秒９０フィールドに変換する場合の入力信号と出力信号の関係を示す。
【０００５】
一方、動画像データを伝送あるいは記録再生する際の素材として映画フィルムを用いる場合、テレシネ装置を用いて毎秒２４コマの映画フィルムソースを３−２プルダウン方式で毎秒６０フィールドのインターレース方式のビデオ信号に走査変換する場合がある。
【０００６】
この３−２プルダウン方式とは、映画フィルムなど毎秒２４コマで記録された映像を、毎秒６０フィールドの映像信号に変換（プルダウン）する際に用いられる方式の一つである。フィルムの各コマを、奇数番目のコマは２フィールドに、偶数番目は３フィールド変換する、あるいはその逆の操作を行うことにより、２コマを５フィールド、すなわち２４コマを６０フィールドに変換する。図３（ａ）に毎秒２４コマの映画フィルムソースを、図３（ｂ）にそれを３−２プルダウン方式で６０フィールドに変換したものをそれぞれ示す。上記のような方式で変換された場合、本来なら２４分の１秒ずつの同じ時間間隔で再生されるべき画像が、あるものは６０分の３秒間、その次の画像は６０分の２秒間、表示されることになり、動画像として不自然な動きを生じてしまう、という課題があった。そこで、映像信号の動きベクトルを検出し、時間差に応じた正しい位置にフレームを合成して挿入し、表示される映像の動きを自然なものにする方式が提案されている。
【特許文献１】特許第３４９５４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記のような画像変換装置で生成される映像の画質は、検出される動きベクトルの精度に大きく依存することになる。ここで、移動物体と背景とが交差する部分など、原理的に動きベクトルが検出できない領域が存在し、またベクトル検出部の処理能力の制約から必ずしも正しい動きベクトルが検出できない場合がある。よって、動きベクトルで合成される画像は、必ずしも理想的なものではないとの想定が必要である。
【０００８】
特に、もとのデータが、毎秒２４コマの映画フィルムソースを毎秒６０フレームの映像信号に変換する際には、図３（ｃ）から明らかなように、出力信号において、元々入力された映像から直接生成されたフレームと、動きベクトルを用いて合成されたフレームとの比が１対４になっていることがわかる。すなわち、一定時間内で、合成されたフレームが８０％の期間表示されていることになり、これが表示画像の画質劣要因のひとつとなっていた。
【０００９】
そこで、本発明の目的は、以上のような問題を解消した画像変換装置を提供することである。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、請求項１にかかる発明は、入力する映像信号から動きベクトル情報を検出する動きベクトル検出手段と、入力する映像信号間に、内挿映像を生成する時間的な位相情報を生成する内挿位相生成手段と、前記映像信号と、前記動きベクトル情報と、前記内挿位相情報とから内挿映像信号を生成する内挿映像生成手段と、を有する画像変換装置において、前記内挿位相情報に基づいて、前記入力映像信号と、前記内挿映像信号とを選択的に切り替えて出力することを特徴とする。
【００１１】
また、請求項２にかかる発明は、請求項１にかかる発明と関連し、前記入力映像信号と、前記内挿映像信号との時間的な位相差を、前記内挿位相情報から判断し、前記位相差が所定のレベルよりも小さいすべての内挿映像信号、または一部の内挿映像信号の代わりに前記入力映像信号を出力することを特徴とする。
【００１２】
さらに、請求項３にかかる発明は、請求項１ないし２にかかる発明と関連し、前記入力映像信号を入力し、前記入力映像信号が３−２変換または２−２変換された画像か否かを
検出するフィルム検出手段をさらに有し、前記内挿位相生成部は、前記フィルム検出手段の検出結果に基づいて、内挿位相情報を出力することを特徴とする。
【発明の効果】
【００１３】
以上のように、本発明の画像変換装置により、動きベクトル情報を用いて内挿映像信号を生成する際の画質、特に入力映像信号が３−２変換、２−２変換された画像に対して内挿映像信号を生成して出力する際の画質を改善することが可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施の形態を、図面を用いて説明する。
【００１５】
（実施の形態１）
まず、発明の実施形態１にかかる画像変換装置について、図１、図３を参照しながら説明する。図１は、本発明の第１の実施形態に係わる画像変換装置の構成を示すブロック図であり、同図で示すように、動きベクトル検出部１０１、フィールド内挿位相生成部１０２、フィールド内挿映像生成部１０３、映像選択部１０４から構成されている。
【００１６】
フィールド内挿位相生成部１０２はまず、連続するフィールド画像データの差分を元に入力映像信号が３−２変換または２−２変換された画像であるか否かの判定を行う。例えば、図３（ｂ）に示す３−２変換された映像信号の場合、現在の入力信号がｂ０からｂ４のどのタイミングであるかを特定する。これは、映像自体は動画像であっても、図３（ｂ）のｂ０とｂ１とｂ２、ｂ３とｂ４は、もともとのデータが同じ映像であることに着目し、画面の同じ位置に表示されるべき映像信号間に差分が生じていない周期を検出することで行う。もちろん、図３（ｂ）で示される映像信号がインターレース形式である場合には、例えば、ｂ０とｂ１とには差分が生じることになり、ある程度の差分を許容する判定手段を用いる必要があるが、この判定手段は本発明の本質とは関係しないので、詳細は割愛し、ここでは、３−２のシーケンスの検出が正しく行われるものとする。入力する映像信号が３−２変換されたものである場合、フィールド内挿位相生成部１０２は、さらに図３（ｃ）で示されるように３−２または２−２のシーケンスにおいて、どのタイミングにあるかを検出し、内挿位相を算出する。
【００１７】
例えば、現在の入力が図３（ｂ）のｂ１であることが分かった場合、ｂ０とｂ５に対して、時間的な位相としては２０％の位置に図３（ｃ）のｃ１として、生成されることになる。
【００１８】
この結果、図３（ｃ）に示されるように、本来一定の速度で移動している物体の動きを正確に再現することが可能となる。このような内挿画像を生成するには、動きベクトル検出部１０１が検出する動きベクトル情報が必要となる。動きベクトル検出部１０１は、一般には複数フィールドの映像信号を保存し得るメモリを有し、この複数フィールドの映像データの差分を元に、各画素あるいは複数の画素単位での動きベクトルを検出する。例えば、図３（ｃ）のｃ１、ｃ２の映像を生成するための動きベクトルが、図３（ａ）のａ０、ａ２．５から検出される。仮に、画面全体が一様に移動しており、画面右方向に５画素、画面上方向に５画素と検出されたとき、ｃ０上の上記画素を、右に２画素、上に２画素移動させることで、ｃ１の絵を生成する。同様に、ｃ３、ｃ４は、ａ２．５とａ５の間で検出された動きベクトルを用いて生成される。なお、動きベクトルの検出手法は公知の技術であるのでここで詳細な説明は行わない。
【００１９】
ここで、例えば、ｃ３として生成される画像は、ａ２．５を右、上にそれぞれ１画素移動させたものになる。検出されるベクトルが理想的なものであるなら、ｃ３もまた前後の映像とスムーズにつながる理想的な映像となるが、前述の通り、検出されるベクトルには誤りや誤差が含まれており、それを用いて生成される画像も理想的なものと異なる場合がある。よって、図３（ｄ）に示すように、ｃ３の代わりにｂ３を用いることで、ベクトルの精度に依存しない画像を生成する。
【００２０】
ここで、図３（ａ）のａ０とａ５の位相差を１０としたとき、図３（ｃ）のｃ３と、図３（ｄ）のｄ３すなわちｂ３との時間的な位相の差は１となる。このように、内挿画像と入力画像との位相差が小さいときは、動きの滑らかさに及ぼす影響が小さく、視覚上の違和感も小さくなる。なお、このとき同時に、図３（ｃ）のｃ２とｂ３との位相差も１となる。但し、ｄ２をｂ３と置き換えてしまうと、動きの滑らかさが著しく損なわれるので好ましくない。
【００２１】
このように内挿画像と入力画像の置き換えにより、映像が一様な速度で移動している場合、前後の映像との動きのスムーズさが損なわれることになるが、図３（ｂ）と比較しての、全体的な動きのスムーズさの改善は明らかであり、また図３（ｃ）においてベクトルに依存して生成される映像が４フィールド継続されるのに対して、最大２フィールドの継続になり、ベクトル精度が悪い場合の画質劣化を低減することが可能となる。
【００２２】
なお、図３においては、ｄ３として、ｃ３の代わりにｂ３を使用する場合に関して説明したが、ｄ２としてｃ２の代わりにｂ２を使用するとしてもよい。
【００２３】
また、図３においては、元々２４コマの映像を６０フィールドに変換するケースを示しているが、元々２５コマの映像を５０フィールドに変換する場合、さらには、６０フィールドの映像が９０フィールド、１２０フィールドに変換される場合に関しても同様である。
【００２４】
（実施の形態２）
実施の形態１では、フィールド内挿位相のみに依存して固定的に入力信号と、内挿画像との選択を行っていたが、実施の形態２は、上記出力の切り替えをフィールド内挿位相に加えてベクトルの信頼性に依存して行うようにしたものである。
【００２５】
図４に本発明の第２の実施形態に係わる画像変換装置の構成を示す。動きベクトル検出部４０１はあらたに、ベクトル信頼性情報を出力し、映像選択部４０４は新たにこのベクトル精度情報を入力する。
【００２６】
画面上の画素あるいは細分化された個々の領域に対する動きベクトル検出は前後の映像間で相関の高い部分を検出することによって行うが、この相関性の高さは、画素間あるいは領域間での映像信号の差分の大きい差に着目するのが一般的である。動きベクトル検出部４０１の検出性能の限界、あるいは前後の映像の動きに関係から、必ずしも相関の高い画素あるいは領域を検出できない場合もある。そういう場合は前記映像の差分が大きくなる。この差分情報を領域内で累積するなどして、検出した動きベクトルの信頼性を示す情報として、映像選択部４０４に渡す。
【００２７】
映像選択部４０４では、フィールド内挿位相生成部１０２からの内挿位相と同時に、上記ベクトル信頼性情報を参照し、ベクトルの信頼性が低いと判断した場合は、補間されて生成された映像の代わりに、入力映像信号を出力する。
【００２８】
上記動きベクトル検出部４０１は、上記ベクトル信頼性信号を１画面全体で１つの情報として出力し、上記映像選択部４０４は、画面全体を入力画像と補間画像で切り替えてもよいし、上記動きベクトル検出部４０１は、上記ベクトル信頼性信号を画素単位あるいは領域単位毎の情報として出力し、上記映像選択部４０４は、画素単位あるいは領域単位で入力画像と補間画像で切り替えてもよい。
【産業上の利用可能性】
【００２９】
本発明は、動きベクトルの検出と、動き補正を行う映像内挿を行い、高画質なテレビジョン信号を得ることができる画像変換装置に関するものである。
【図面の簡単な説明】
【００３０】
【図１】本発明の第１の実施形態に係わる画像変換装置の構成を示すブロック図
【図２】本発明の第１の実施形態に係わる画像変換装置の動作を説明する図
【図３】本発明の第１の実施形態に係わる画像変換装置の動作を説明する図
【図４】本発明の第２の実施形態に係わる画像変換装置の構成を示すブロック図
【符号の説明】
【００３１】
１０１、４０１    動きベクトル検出部
１０２    フィールド内挿位相生成部
１０３    フィールド内挿映像生成部
１０４、４０４    映像選択部
【図１】
2007288483.tif 000003
【図２】
2007288483.tif 000004
【図３】
2007288483.tif 000005
【図４】
2007288483.tif 000006