(57)【要約】      （修正有）【課題】映像源の撮像素子の特性、表示装置の表示特性に応じて、その表示装置がより自然な動きの映像を表示させる。【解決手段】入力映像を撮像した撮像素子の各ラインの露光タイミングと入力映像のフレームレートを示すスキャンタイミング情報を取得し、表示装置が表示する各ラインのスキャンタイミングとフレームレートを示す情報を取得する。次に、取得した各ラインの露光タイミングと表示タイミング情報に基づき、入力映像と表示装置との間の各ラインの補正出力タイミング情報を生成する。次に、表示装置のフレームレートで表わされる、生成対象の着目フレームの着目ライン上の各画素データを、補正出力タイミング情報を参照し、着目ラインを時間軸に沿って挟む２つの入力映像フレームの該当するライン上の各画素データを補間することで生成し、当該生成処理を前記着目フレームの全ライン分だけ実行することで、前記着目フレームの画像データを生成する。【選択図】図６
2012085069.tif 000002
【特許請求の範囲】
【請求項１】
映像源からの入力映像のフレームレートを、表示装置が表示する映像のフレームレートに変換する画像処理装置であって、
前記入力映像を撮像した撮像素子の各ラインの露光タイミング、及び、前記入力映像のフレームレートを示す情報を取得する第１の取得手段と、
前記表示装置が表示する各ラインのスキャンタイミング、及び、前記表示装置が表示する表示映像のフレームレートを示す情報を取得する第２の取得手段と、
前記第１の取得手段で取得した各ラインの露光タイミング及び前記第２の取得手段で取得したスキャンタイミングを示す情報に基づき、前記入力映像と前記表示映像との間の各ラインの補正出力タイミング情報を生成する生成手段と、
前記表示装置で表示されることになるフレームの着目ライン上の各画素データを、前記補正出力タイミング情報を参照し、当該着目ラインを時間軸に沿って挟む２つの入力映像フレームの該当するライン上の各画素データを補間することで生成し、当該生成の処理を全ライン分だけ実行することで、前記表示装置で表示するためのフレームの画像データを生成する画像生成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記入力映像のフレームにおけるライン数を前記表示装置の表示ライン数と同じくなるように、前記入力映像のフレームのラインの並びに沿って線形補間する手段を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
記憶媒体に格納された符号化された動画像データを入力し、当該符号化された画像データを復号することで、前記入力映像を生成する復号手段を更に有し、
前記第１の取得手段は、前記入力映像を撮像した撮像素子の各ラインの露光タイミング、及び、前記入力映像のフレームレートを示す情報を格納したファイルを、前記記憶媒体から取得することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１の取得手段は、前記ファイルの取得に失敗したとき、前記入力映像を撮像した撮像素子の各ラインの露光タイミングは全て同じであるものとして見なすことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記表示装置と双方向通信する通信手段を更に有し、
前記第２の取得手段は、前記通信手段を介して、前記表示装置が表示する各ラインのスキャンタイミング、及び、前記表示装置の表示のためのフレームレートを示す情報を取得することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第２の取得手段は、前記通信手段を介して、前記表示装置が表示する各ラインのスキャンタイミング、及び、前記表示装置の表示のためのフレームレートを示す情報の取得に失敗したとき、前記表示装置が表示する各ラインは同じタイミングで表示されるものとして見なすことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像生成手段で生成された各フレームを、符号化して符号化データとして生成する符号化手段と、
該符号化手段で生成された符号化データを、前記表示装置に出力するための記憶手段に格納する格納手段と
を更に備えることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
映像源からの入力映像のフレームレートを、表示装置が表示する映像のフレームレートに変換する画像処理装置の制御方法であって、
第１の取得手段が、前記入力映像を撮像した撮像素子の各ラインの露光タイミング、及び、前記入力映像のフレームレートを示す情報を取得する第１の取得工程と、
第２の取得手段が、前記表示装置が表示する各ラインのスキャンタイミング、及び、前記表示装置が表示する表示映像のフレームレートを示す情報を取得する第２の取得工程と、
生成手段が、前記第１の取得工程で取得した各ラインの露光タイミング及び前記第２の取得工程で取得したスキャンタイミングを示す情報に基づき、前記入力映像と前記表示映像との間の各ラインの補正出力タイミング情報を生成する生成工程と、
画像生成手段が、前記表示装置で表示されることになるフレームの着目ライン上の各画素データを、前記補正出力タイミング情報を参照し、当該着目ラインを時間軸に沿って挟む２つの入力映像フレームの該当するライン上の各画素データを補間することで生成し、当該生成の処理を全ライン分だけ実行することで、前記表示装置で表示するためのフレームの画像データを生成する画像生成工程と
を有することを特徴とする画像処理装置の制御方法。
【請求項９】
コンピュータに読み込ませ実行させることで、前記コンピュータを、映像源からの入力映像のフレームレートを、表示装置が表示する映像のフレームレートに変換する画像処理装置として機能させるプログラムであって、
前記コンピュータを、
前記入力映像を撮像した撮像素子の各ラインの露光タイミング、及び、前記入力映像のフレームレートを示す情報を取得する第１の取得手段、
前記表示装置が表示する各ラインのスキャンタイミング、及び、前記表示装置が表示する表示映像のフレームレートを示す情報を取得する第２の取得手段、
前記第１の取得手段で取得した各ラインの露光タイミング及び前記第２の取得手段で取得したスキャンタイミングを示す情報に基づき、前記入力映像と前記表示映像との間の各ラインの補正出力タイミング情報を生成する生成手段、
前記表示装置で表示されることになるフレームの着目ライン上の各画素データを、前記補正出力タイミング情報を参照し、当該着目ラインを時間軸に沿って挟む２つの入力映像フレームの該当するライン上の各画素データを補間することで生成し、当該生成の処理を全ライン分だけ実行することで、前記表示装置で表示するためのフレームの画像データを生成する画像生成手段
として機能させることを特徴とするプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したことを特徴とするコンピュータが読み込み可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像のフレームレートを表示装置に合わせて変換する技術に関するものである。
【背景技術】
【０００２】
近年、ビデオカメラ用撮像素子の技術開発や映像記録やデジタル化に伴い、様々な特性の映像が混在するようになっている。例えば特性の違いとして、CMOS素子を使用するDV（Digital Video camera）ではローリングシャッター現象が発生するのに対し、CCD素子を使用するDVではこの現象が発生しないことが知られている。また、フレームレートも、24P/30P/60P等様々な映像が混在する。またディスプレイも、様々な表示方式やフレームレートのものが混在するようになっている。例えばPDP(Plasma Display Panel)やDMD(Digital Micromirror Device)デバイスは、時間方向のPWM (Pulse Width Modulation)による表示であり面順次に近い方式である。他方、ＦＥＤ(Field Emission Display)あるいはＬＣＤ(Liquid Crystal Display)はライン順次表示となる。また、表示に適したフレームレートも表示方式によって異なる。このような状況の中、好適な映像表示を実現するフレームレート変換技術が重要となっている。
【０００３】
ここで、フレームレート変換技術として次の様な技術が知られている。例えば特許文献１はインタレース映像をプログレッシブ映像に変換するＩＰ変換に関するものであり、フィールド間で動きベクトルを求めて補間画像を生成し、フィールド内映像と混合することでＩＰ変換を実現している。また特許文献２は、６０Ｈｚの３―２プルダウン映像に対してフレームレート変換を行うものであり、映像からから２４Ｈｚのフレーム画像を求めて動きベクトルに基づき５０Ｈｚや４８Ｈｚの映像を補間している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−１３３２８０号公報
【特許文献２】特開平７−７７１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながらこれらの技術は、フレームあるいはフィールドの各ラインが、総て同時刻に撮影あるいは表示されることを仮定している。しかしながら先に述べたように、実際の映像の特性やディスプレイの特性は、このような仮定を満たさないものが存在する。このため、映像の特性とディスプレイの特性の組み合わせによっては、映像の動きなどが好適とならない場合が存在する。
【０００６】
本発明はかかる問題に鑑みなされたものであり、映像源の撮像特性、表示装置の表示特性に応じて、その表示装置がより自然な動きの映像を表示させる技術を提供しようとするものである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
映像源からの入力映像のフレームレートを、表示装置が表示する映像のフレームレートに変換する画像処理装置であって、
前記入力映像を撮像した撮像素子の各ラインの露光タイミング、及び、前記入力映像のフレームレートを示す情報を取得する第１の取得手段と、
前記表示装置が表示する各ラインのスキャンタイミング、及び、前記表示装置が表示する表示映像のフレームレートを示す情報を取得する第２の取得手段と、
前記第１、第２の取得手段で取得した各ラインの露光タイミング及びスキャンタイミングを示す情報に基づき、前記入力映像と前記表示映像との間の各ラインの補正出力タイミング情報を生成する生成手段と、
前記第２の取得手段で取得した前記表示装置で表示されることになるフレームの着目ライン上の各画素データを、前記補正出力タイミング情報を参照し、当該着目ラインを時間軸に沿って挟む２つの入力映像フレームの該当するライン上の各画素データを補間することで生成し、当該生成の処理を全ライン分だけ実行することで、前記表示装置で表示するためのフレームの画像データを生成する画像生成手段とを備える。
【発明の効果】
【０００８】
本発明によれば、映像源の撮像特性、表示装置の表示特性に応じて、その表示装置がより自然な動きの映像を表示させることができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態のシステム構成図。
【図２】実施形態のセットトップボックスのブロック構成図。
【図３】ユーザーインタフェース画像の一例を示す図。
【図４】スキャンタイミング情報のデータ構造と、各ライン／ピクセルのスキャン時刻の一例を示す模式図。
【図５】デコーダのブロック構成図。
【図６】画質補正処理を表すフローチャート。
【図７】入力映像と表示映像のラインに対する時間関係の一例を示す模式図。
【図８】補正映像生成処理を表すフローチャート。
【図９】動きベクトル算出処理を表すフローチャート。
【図１０】探索ブロックサイズの変化を示す模式図。
【図１１】補正映像のフレーム画像生成処理を表すフローチャート。
【図１２】動きベクトルと補正画像の走査面との交点の一例を示す模式図。
【発明を実施するための形態】
【００１０】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１１】
図１は本発明に係る第１の実施形態のシステム構成を示すブロック図である。放送受信アンテナ101、セットトップボックス102、表示装置103から構成される。放送受信アンテナ101は地上波デジタル放送や衛星デジタル放送等を受信し、セットトップボックス102に放送信号を送信する。セットトップボックス102は、受信した放送信号や、メディア（例えば、ハードディスク、メモリーカード、光ディスク、CFカード、SDカード、USBメモリ等）に記録された映像信号をデコードし、画質補正を施した後に映像信号を表示装置103に送信する。表示装置103は映像信号を表示するディスプレイ（例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、フィールドエミッションディスプレ等）である。
【００１２】
図２は本発明の画像処理装置であるセットトップボックス102の構成を示すブロック図である。
【００１３】
メディアインタフェース202は、デジタルビデオカメラから取り出したメディア201（例えば、ハードディスク、メモリーカード、CFカード、SDカード、USBメモリ）につなぐためのインタフェースである。メディア201に格納された符号化映像信号は、デコーダ206で一旦デコードされたのち、フレームレート変換処理を経て、エンコーダ217で符号化され、ＨＤＤ205に格納される。放送入力端子203は、地上デジタル放送、衛星デジタル放送などのデジタル放送信号を入力するための端子である。デジタルチューナ204は、デジタル放送信号を、H.264やMPEG2などの符号化映像信号に変換する。そして、この符号化映像信号は、デコーダ206で一旦デコードされたのち、フレームレート変換処理を経て、エンコーダ217で符号化され、HDD206に格納される。なお、フレームレート変換処理の詳細については後述する。HDD205は、デジタルチューナ204や、メディアI/F202からの符号化された入力映像信号を一旦格納したり、後述するスキャンタイミング情報を格納したりするために利用する大容量記憶装置である。デコーダ206は、CPU210の制御下において、指定された符号化された表示映像信号を復号し、非圧縮の映像信号を生成し、出力する。ポストフィルタ207は、非圧縮の表示映像信号に対して、ノイズ除去処理、エッジ強調処理、色階調補正処理などを行う。表示制御部208は、文字やグラフィックあるいはユーザーインタフェース画像を生成し、ポストフィルタ207から受け取った映像信号にユーザーインタフェース画像を重ねた映像を生成し、デジタル映像信号端子209へと転送する。
【００１４】
CPU210は、システムバス216を介して装置全体の制御を司るものであり、ROM211やRAM212に格納された命令を順に読み込み処理を実行する。また、ROM211とRAM212は、その処理に必要なプログラム、データ、作業領域などをCPU210に提供する。操作部213はボタンやタッチパネルなどが該当し、これらを介して入力されたユーザ指示を受け取る。USBインタフェース214は、USB端子215を介して表示装置103と接続され、後述の画質補正処理に必要な情報を表示装置103から受信する。
【００１５】
上記構成において本実施形態のセットトップボックス102の電源がONされると、まず放送入力端子203からのデジタル放送信号の映像が選択されデコーダ206にて復号され、デジタル映像信号端子209から表示装置103へと送信され、表示装置103では例えば図３の画面301が表示される。また、また起動時にはセットトップボックス102の動作設定を行うためのユーザーインタフェース画像302が、表示制御部208にて生成され、画面301と共に表示装置103に表示される。ユーザーインタフェース画像302では、映像選択、画質補正選択、表示機器設定更新、終了の４項目をユーザーに選択させる。
【００１６】
映像選択では、表示装置103に表示すべき画像の発生源として、放送入力端子203からの放送映像、メディア201に格納された映像のいずれにするのかをユーザーに選択させる。この選択結果に基づいて、デジタルチューナ204とメディア201のどちらの符号化された入力映像信号が一旦、HDD205に格納するかが決定される。また、このとき、映像源としてメディア201が選択された場合、そのメディア201を検索し、スキャンタイミング情報（ファイル）を検索し、それをHDD205に格納する。また、映像源としてデジタルチューナ204が選択された場合、現在のところ、スキャンタイミング情報（ファイル）が放送されていないので、HDD205に予め格納されているデフォルトのスキャンタイミング情報（全ラインが同じタイミングとなることを示している）を選択し、それを利用するものとする。メディア201内にスキャンタイミング情報がなかった場合、すなわち、検索が失敗した場合も同様である。また、検索が失敗した場合、その情報をユーザが設定するようにしても良い。
【００１７】
画質補正選択では、入力映像に対して画質補正処理を施すか否かを選択させる。画質補正処理は、後述の図５のフローチャートに基づいて実施する。
【００１８】
表示機器の設定更新では、双方向通信インタフェース、例えば、USBインタフェース214を介して後述の画質補正処理に必要なスキャンタイミング情報を表示装置103から受信し、RAM212に格納する（つまり、実施形態では、２つのスキャンタイミング情報を利用する。１つは、映像源のものであり、もう１つは表示装置のものである）。この情報は後述の表示映像の生成にて用いられ、図４（ａ）の模式図に示すデータ構造をしている。データ先頭には表示ライン数と表示ピクセル数が、続いて垂直同期と水平同期に対する周波数と周期とが記述される。この後に、ピクセルライン数だけ、ライン番号とスキャン時刻との対応が記述される。ここでいうスキャン時刻とは、垂直同期のタイミングを基準とする相対時刻である。このデータ構造により表現される、各ライン／ピクセルのスキャン時刻の一例を図４（ｂ）の模式図に示す。図４（ｂ）は、１０２４ライン表示に対する模式図であり、ある時刻でスキャンされるピクセル番号とライン番号を、スキャン時刻とピクセル番号とライン番号からなる三次元空間にあらわしたものである。この図に於いて、t1はライン番号１のスキャン時刻、tnはライン番号nのスキャン時刻、t1024はライン番号1024のスキャン時刻である。参照番号401のラインは時刻t1でのライン番号１に対するスキャンをあらわしており、時刻t1にライン番号１のラインの全ピクセルがスキャンされると近似している。参照番号402のラインは時刻tnでのライン番号nに対するスキャンを、参照番号403のラインは時刻t1024でのライン番号1024に対するスキャンをあらわす。参照番号404のラインは、ピクセル番号１に対する、スキャン時刻とライン番号との関係を表すラインである。なお、このデータは先述の入力映像に対するスキャンタイミング情報としても使用される。この場合のデータ先頭の情報は撮像ライン数と撮像ピクセル数となる。
【００１９】
ユーザーが終了を選択すると、これらの設定を終了しユーザーインタフェース画像302をクローズするが、ユーザーの操作部213に対して操作を行うと再び表示される。
【００２０】
図５はデコーダ206の構成の一例である。符号メモリ502は、復号対象の符号化データを一時的に記憶する。復号器502は符号化データを復号し、復号結果を出力する。逆量子化器503は、入力した係数を逆量子化し、逆DCT変換器504は、逆DCT変換処理を行う。そして、加算器505は、動き補償器508からの動き補償データと加算し、画像データとしてメモリ506に格納し、外部（例えば表示装置103）のタイミングに応じて出力する。動き補償器508は、復号しようとしている着目フレームが、I-フレームの時は何も出力しない。従って、加算器505は、ＤＣＴ変換結果をそのままメモリ506に出力することになる。一方、着目フレームがP又はB-フレームの倍、動き補償器508は動作し、動き補償予測値を出力する。
【００２１】
図６は、CPU210が実行する先述の画質補正処理を表すフローチャートである。ステップS601では、入力映像のフレームレートと、撮像素子の各ラインの露光タイミングを示すスキャン時間とを記述したスキャンタイミング情報を、システムバス215を介してHDD205より取得する（第１の取得手段）。
【００２２】
ステップS602では、表示装置103に対するフレームレートと、フレーム内における各ラインのスキャン時間とを記したスキャンタイミング情報を、システムバス215を介してRAM212より取得する（第２の取得手段）。
【００２３】
ステップS603では、ステップS601とS602で取得したスキャンタイミング情報に基づき、入力映像の開始フレームを基点として入力映像と表示映像のラインに対する時間関係を求め、その時間関係をスキャン時間テーブル（補正出力タイミング情報）として生成し、RAM212に記憶する。このスキャン時間テーブルの作成の仕方が次の通りである。
【００２４】
先ず、入力映像のスキャンタイミング情報におけるライン数、１ラインのピクセル数を、表示装置のスキャンタイミング情報のスキャンライン数、１ラインのピクセル数に合わせるため、入力映像のスキャンタイミング情報を正規化する。そして、その正規化した後、表示装置のスキャンタイミング情報の各ラインのスキャン時間から、正規化後の入力映像の該当するスキャン時間を減じる。つまり、各ラインのスキャン時間の差分を演算する。また、入力したフレームの画像データも、この正規化したライン数を持つように補正をかける。単純には、線形補間処理を行うことで、表示用と同じライン数の画像データを生成する。
【００２５】
図７（ａ），（ｂ）は、スキャン時間テーブルを算出するための、入力映像と表示映像のラインに対する時間関係の一例の模式図である。図７（ａ）は、撮像素子としてCMOSセンサーを有するカメラで撮像された入力映像を、PDPあるいはDMDプロジェクタの表示装置で表示する場合の模式図である。ここで参照番号701から703までが入力映像のスキャンタイミングを、参照番号704から705までが表示映像のスキャンタイミングを表わす。ここで、ti1は入力映像１ライン目に対する垂直同期基準の相対スキャン時刻であり、ti1024は入力映像１０２４ライン目に対する垂直同期基準の相対スキャン時刻である。また、Tviは、入力映像の垂直同期周期である。また、to1は表示映像１ライン目に対する垂直同期基準の相対スキャン時刻であり、to1024は表示映像１０２４ライン目に対する垂直同期基準の相対スキャン時刻である。また、Tvoは、表示映像の垂直同期周期である。表示装置はＰＷＭ方式の表示であるため、表示映像は総てのピクセルが同時刻にスキャンされると近似している。また図７（ｂ）は、撮像素子としてCCDセンサーを有するカメラで撮像された入力映像を、ＦＥＤあるいはＬＣＤに表示映像を出力する場合の模式図である。ここで参照番号707から710までが入力映像のスキャンタイミングを、参照番号711と712が表示映像のスキャンタイミングを表わす。ここで、ti1、ti1024、Tvi、並びにto1、to1024、Tvoの各変数は、図７（ａ）で用いたものと同じ意味である。入力装置の撮像方式がCCDセンサーであることから、入力映像は総てのピクセルが同時刻にスキャンされると近似している。なお、図７（ａ）と図７（ｂ）の何れの模式図に於いても、点線が入力映像のスキャンタイミングを、破線が表示映像のスキャンタイミングを示す。
【００２６】
ステップS604では、ステップS603で作成したスキャン時間テーブルに基づいて入力映像のフレームから表示映像フレームを生成する。そして、生成した表示映像フレームをエンコーダ217で符号化してHDD205に格納する。なお当然ながら、表示映像のフレームレートは表示装置のフレームレートに合致する。
【００２７】
図８は、ステップS604の補正映像生成処理を表すフローチャートである。
【００２８】
ステップS801では、本処理で生成する表示映像のフレーム番号を、開始フレームで初期化する。ステップS802では、一枚の表示フレーム画像を生成する為に必要とする、入力映像フレーム番号を算出する。この算出は、スキャン時刻とピクセル番号とライン番号からなる三次元空間に於いて、表示映像フレームが構成するスキャン面を包含する、入力映像フレームの組を求めることで行う。例えば、図７（ａ）の参照番号705の表示映像フレームを生成する場合について考察する。この場合、生成しようとする表示映像フレームの1ライン乃至Ｍラインはフレーム702と703の各ラインの、時刻Ｔv0+ｔ01に対する時間差の絶対値に応じた加重平均を算出して生成し、Ｍライン以降1024ラインはフレーム701と702の加重平均を算出して生成する。すなわち、着目フレーム中の着目ライン上の画素データは、時間軸に沿ってその着目ラインを挟む２つの入力フレームの該当するライン上の各画素の加重平均を算出することで得る（図７(ａ）の矢印７５０、７５１）。たまたま、着目ラインが、図７（ａ）に示す如く、表示映像フレーム705と入力フレーム７０５との交差ラインであった場合には、入力フレーム７０５上の第Ｍラインを、着目ラインとして採用する。そして、上記処理を全ライン分だけ繰り返す画像生成処理を行い、着目フレームの画像データを生成する。要するに、図７（ａ）における表示映像フレーム705を生成するためには、入力映像フレーム701,702及び703が必要であると言える。また例えば、図７（ｂ）の映像表示フレーム711を生成するには、入力映像フレーム707,708及び709が必要である。
【００２９】
ステップS803では、ステップS802で算出した入力映像フレーム番号に基づいて、入力映像フレームの画像間の動きベクトルを算出する。この処理は図9のフローチャートに基づいて実施されるが、詳細について後述で説明する。ステップS804では、動きベクトルと入力映像とに基づいて、表示フレーム画像をフレーム間補間により生成する。この処理は図１１のフローチャートに基づいて実施されるが、詳細について後述で説明する。
【００３０】
ステップS805では、生成した表示フレーム画像のフレーム番号が符号化のイントラフレームに当たるかどうかを判定し、真であればステップS806へジャンプし、偽であればステップS807へジャンプする。ステップS806では、RAM212に格納された表示フレーム画像を符号化し、ビットシーケンスをハードディスクに符号化して記録する。符号化方式化には、H.264やMPEG2等を用いる。ステップS807では、表示フレーム画像をRAM212に一旦格納する。これは、当該フレームはイントラ予測符号化の対象であり、数フレーム先の画像が確定するまで符号化出来ないためである。ステップS808では、入力映像の最終フレームを用いて映像生成を行ったかどうかを判定し、真であればステップS809へジャンプし、偽であればステップS810へジャンプする。ステップS809では、入力映像より音声データを取得し、生成した符号化された表示映像に付加し、補正映像の生成処理を狩猟する。ステップS810では、表示映像のフレーム番号を更新する。
【００３１】
図９は、ステップS803の動きベクトル算出処理を表すフローチャートである。当該処理は、探索ブロックの分割サイズを大スケールから徐々にスケールダウンしながら（実施形態では３回とするが、この数で限定されない）、動きベクトルを探索するものである。図１０に、探索ブロックサイズの変化を模式図として示す。
【００３２】
ステップS901では、動きベクトル探索を行うブロック分割サイズを初期化する。ステップS902では、ブロック分割サイズに基づき、画像のスケーリングと分割を行う。ここで画像のスケーリングはバイキュービック補間を用いるが、他の補間方法を用いても良い。スケーリング率は、分割画像が所定サイズ以下まで縮小されるように決定する。
【００３３】
ステップS903では、各分割画像の動きベクトル探索範囲を、前回探索時の相関係数と動きベクトルに基づき、前回探索結果の動きベクトルを中心として探索範囲を決定する。ここで、前回探索時の相関係数が低い場合には探索範囲を広く、相関係数が高い場合には探索範囲を狭くするように制御する。また、周囲の動きベクトルとのバラツキが大きい場合には探索範囲を広く、相関係数が高い場合には探索範囲を狭くするように制御する。
【００３４】
ステップS904では、相関係数が最大となる動きベクトルを探索し、その相関値を算出して記憶する。ステップS905では、周囲の動きベクトルと相関値に基づいて、分割画像の隠蔽を判断する。隠蔽が発生したと判断した際に、相関値を０にすると共に動きベクトルは存在しないよう設定する。ステップS906では、所定ブロックサイズで動きベクトル探索を行ったかどうかを判定し、真であれば処理を終了し、偽であればステップS907へジャンプする。ステップS907では、水平、垂直とも、ブロック分割サイズを現在の半分のサイズに更新する。
【００３５】
図１１は、ステップS804の一枚の表示フレーム画像のフレーム間補間処理を表すフローチャートである。フローチャートは大きく２つのループ処理に分かれ、夫々の処理概要は次の様になる。ステップS1101からS1103までのループ処理では、動きベクトルに基づいて、映像中の各被写体の像が表示フレームの画像で何処に位置するか、画像位置と時間軸とからなる三次元空間上の交点計算で算出する。交点計算に用いる一方の平面は表示映像のスキャンタイミングから決定され、例えば図７（ａ）では参照番号704、705、706と、図７（ｂ）では参照番号711、712、となる。この交点計算の結果から表示フレーム画像の各画素の交点数を見ると、被写体の隠蔽により交点が存在しない画素や、動きベクトルの計算誤差に起因し複数の交点が存在する画素がある。そこでこの対策として、ステップS1104からS1110までのループ処理で、交点数に基づく処理を分岐させ、欠落の無い適切な画像となるよう、各画素値を決定する。以下は、各ステップの詳細である。
【００３６】
ステップS1101では、ステップS802で算出した入力映像フレーム番号に基づいて、入力フレーム画像から所定順序で画素を選択する。例えば図７（ａ）の701の表示フレーム画像を生成する際には、704と705の入力フレーム画像から適切な順序で画素を選択する。
【００３７】
ステップS1102では、選択した画素と、画素に対応する動きベクトルとに基づき、一枚の表示フレーム画像の走査面との交点を算出する。交点となった補正画像の画素位置は、選択画素と動きベクトルとを対応付けて記憶する。この交点計算の模式図を図１２に示す。図１２に於いて、1201は生成処理で対象とする表示フレーム画像のスキャンタイミングを表し、以下では表示フレーム画像の走査面と呼ぶ。1202から1204までは表示フレーム画生成に使用する入力フレーム画像のスキャンタイミングを表す。ここで、ti1、ti1024、Tvi、並びにto1、to1024、Tvoの各変数は、図７で用いたものと同じ意味である。1205は選択した画素の座標xであり、1206は画素に対応する動きベクトルvである。1207は、表示フレーム画像の走査面との交点yである。また、点線が入力映像のスキャンタイミングを、破線が表示映像のスキャンタイミングを表す。選択した画素xの座標 (px, lx, tx)を表すと、pxはxのピクセル座標, lxはxのライン座標そのものである。一方、スキャン時刻txはtx=m×Tvi＋ti1xとなる。また動きベクトルvを(pv, lv, tv)と表すと、pxは算出したピクセル方向の動きベクトル, lxは算出したライン方向の動きベクトルであり、tv= Tviとなる。他方、表示フレーム画像の走査面は、正規化された法線ベクトルnを(pn, ln, tn)、走査面上の点yを(py, ly, ty)とするとｎ・y＝Ｃと表現できる。但し「・」は内積である。図１２の場合には、pn=0, ln=0, tn=1であり、C= n×Tvo＋to1である。交点yの座標はこれらのベクトルを用いて表すと、
ｙ＝ｘ＋｛（Ｃ−ｘ・ｎ）／（ｘ・ｖ）｝ｖ
と算出される。
【００３８】
ステップS1103では、所定の入力フレーム画像の全画素に対して処理を行ったかどうかを判定し、真であればステップS1104へジャンプし、偽であればステップS1101にジャンプする。ステップS1104では、表示フレーム画像に於いて、所定順序で画素を選択する。ステップS1105では、動きベクトルとの交点が複数存在するかどうかを判定し、真であればステップS1106へジャンプし、偽であればステップS1108にジャンプする。ステップS1106では、相関係数と周囲の動きベクトルから、補正算出に使用する動きベクトルを選択する。この選択は、相関係数が大きく、周囲の動きベクトルとのバラツキが小さい動きベクトルほど選択されるよう制御する。ステップS1107では、選択された動きベクトルに基づき、動きベクトルの始点の画素値を表示フレーム画像の画素値として定め、RAM212に記憶する。ステップS1108では、交点が存在するかどうかを判定し、真であればステップS1106へジャンプし、偽であればステップS1109にジャンプする。ステップS1109では、入力映像の前フレーム映像の同位置の画素値を、表示フレーム画像の画素値として定め、RAM212に記憶する。ステップS1110では、表示フレーム画像の全画素に対して処理を行ったかどうかを判定し、真であれば処理を終了し、偽であればステップS1104にジャンプする。
【００３９】
以上の結果、HDD205には、表示装置103に表示した際に、より自然な動きの映像を表示させる画像が格納されることになる。従って、後は、デコーダ206にて、通常通り復号し、表示させればよい。なお、実施形態では、一旦、符号化してＨＤＤに格納する例を説明したが、ＨＤＤが十分な容量をもっているのであれば、無圧縮の状態で動画像を記憶するようにしても構わない。また、実施形態では、入力源からの動画像データは圧縮符号化されているものとしたが、無圧縮でも構わない。更に、実施形態では、セットトップボックスに適用する例を説明したが、他の装置に適用しても良いし、それを搭載可能な表示装置に適用しても構わない。
【００４０】
以上説明したように本実施形態によれば、映像の特性とディスプレイの特性としてスキャンタイミングを考慮し、被写体のスキャンタイミングと映像表示のスキャンタイミングが一致するようフレームレート変換する。これにより、映像表示に於いて現実の被写体の動きより理想的に再現し、好適な映像表示を得ることができる。
【００４１】
［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2012085069.tif 000003
【図２】
2012085069.tif 000004
【図３】
2012085069.tif 000005
【図４】
2012085069.tif 000006
【図５】
2012085069.tif 000007
【図６】
2012085069.tif 000008
【図７】
2012085069.tif 000009
【図８】
2012085069.tif 000010
【図９】
2012085069.tif 000011
【図１０】
2012085069.tif 000012
【図１１】
2012085069.tif 000013
【図１２】
2012085069.tif 000014