(57)【要約】  【課題】  画像更新速度の遅いインターレース画像から画像更新速度の速いインターレース画像を得る画像変換装置を提供する。  【解決手段】  画像入力部１１０は、１フレームが複数のフィールド画像から構成されている画像データを入力する。画像信号演算部１１１は、画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する。インターレース形式の片方フィールドの画像信号から、両方フィールドの画像が算出される。【選択図】  図１
2006166256.tif 000002
【特許請求の範囲】
【請求項１】
１フレームが複数のフィールド画像から構成されている画像データを入力する画像入力手段と、前記画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する画像信号演算手段とを備えたことを特徴とする画像変換装置。
【請求項２】
前記画像信号演算手段は、ＦＩＲフィルタを備え、インターレース形式の画像信号を構成するそれぞれの片方フィールドの画像信号から両方フィールドの画像信号を算出することを特徴とする請求項１に記載の画像変換装置。
【請求項３】
入力された１フィールドにおける入力ライン数対出力ライン数がｍ対ｎになるように、ブランキングを含むｍライン期間で、ｎライン分の有効画像を前記画像信号演算手段にて演算し出力させる処理スケジューリングを行うためのスケジューラを備えたことを特徴とする請求項１または２に記載の画像変換装置。
【請求項４】
インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出することを特徴とする画像変換処理方法。
【請求項５】
インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理をコンピュータに実行させることを特徴とするプログラム。
【請求項６】
インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理プログラムを記録したことを特徴とするコンピュータ読取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像変換装置に関し、特に画像の更新速度と画素数の変換処理を行う画像変換装置に関するものである。
【背景技術】
【０００２】
画像の高精細化への要求が高まっており、１フレーム１００万画素程度の動画カメラが実用化されている。
【０００３】
一般的な固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ，電荷結合素子）は、駆動速度を無制限に上げられないので、画像の画素数を多くする場合、画像更新速度を下げなければならない。４８万画素程度であれば、現行テレビジョン（以下ＴＶ）規格に従った画像更新速度で出力することも可能だが、画素数が１００万画素を超えると困難である。ＣＣＤの信号読み出し経路を増やす、といった工夫によって画像更新速度を向上させることは可能だが、回路量等とのトレードオフとなる。
【０００４】
また、撮像系の高精細化が進んではいるが、表示系も同時に高精細化するわけではなく、現行ＴＶ規格対応表示機器も使用したい、といった要求が存在する。
【０００５】
ＮＴＳＣやＰＡＬといったＴＶ規格によってライン数とフレームレートは決まっている。よって、例えば１フレームを構成する画素数はＴＶ規格より多いが、画像更新速度は遅いような画像を、現行ＴＶ規格に対応した表示機器に表示する場合には、画像の画素数と画像更新速度をＴＶ規格に合うように変換する必要がある。
【０００６】
従来の画像変換装置としては、例えば特許文献１に開示されたものがある。図８は同文献に示されている従来の画像変換装置を示している。
【０００７】
図８の画像変換装置は、ＣＣＤ１２、Ａ／Ｄ変換部１４、信号処理部１６、圧縮／伸張部１８、クロック１９、内蔵メモリ２０、メモリ制御回路２２、メモリカード２４、ビデオエンコーダ２６、Ｄ／Ａ変換部２８、スイッチ３０、内蔵モニター（ＮＴＳＣ）３２、時間軸変換部３３、端子３４、接続ケーブル３５、外部モニター（ＰＡＬ）３６、カメラ制御回路３８、ＣＰＵ４０、システムコントローラ４２および操作スイッチ４４を備えている。
【０００８】
ＣＣＤ１２はカメラ制御回路３８によって制御され、被写体からの光を電気信号に変換することにより、フレーム画像信号を１秒間に３０枚（３０ｆｐｓ）又は１秒間に１５枚（１５ｆｐｓ）のいずれかの記録フレームレートで出力する。カメラはＰＡＬ仕様であるが、カメラ制御回路３８はＮＴＳＣに準じて動作する。
【０００９】
出力されるフレーム画像信号は、１枚毎にＡ／Ｄ変換回路１４にてデジタル信号に変換され、信号処理回路１６にてホワイトバランスやガンマ補正等が施され、メモリ制御回路２２によって制御される内蔵メモリ２０にフレーム画像データとして一旦蓄えられる。
【００１０】
内蔵メモリ２０は、データ記録領域（Ａ）（Ｂ）、圧縮データ記憶領域（Ｃ）およびその他の領域（Ｄ）からなる。
【００１１】
データ記録領域（Ａ）に蓄えられたフレーム画像データは圧縮／伸長回路１８にてデータ圧縮され、内蔵メモリ２０の圧縮データ記録領域（Ｃ）に蓄えられる。以上の動作を繰り返し、内蔵メモリ２０の圧縮データ記録領域Ｃ）に複数枚のフレーム圧縮画像データを蓄えながら、並行して圧縮データ記録領域（Ｃ）より順次メモリカード２４にデータを記録することにより、３０ｆｐｓ又は１５ｆｐｓの複数のフレーム圧縮画像データが得られる。
【００１２】
メモリ制御回路２２はクロック１９からのクロック信号に基づいて駆動される。クロック信号は、メモリ制御回路２２において所望の記録フレームレートが得られるように、３０ｆｐｓの場合と１５ｆｐｓの場合とで周波数が切り換えられる構成となっている。
【００１３】
そして、１５ｆｐｓで記録された動画ファイルを５０フィールド毎秒で出力する場合、再生されるフレーム画像データの順番を示すカウンタＮの値を３で除算した余に応じて、１枚のフレーム画像データより４枚のフィールド画像データを作成するか、３枚のフィールド画像データを作成するかを選択することによって、画像更新速度の変換を実現している。
【特許文献１】特開２００１−３１３８９６号公報（第２−３ページ、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、従来の画像変換装置では、あくまで元になる画像はフレーム画像であり、そのため、入力としてインターレース画像を用いた場合には従来の画像変換装置は対応できないという問題があった。
【００１５】
本発明は従来の問題を解決するためになされたものであり、その目的は、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることのできる画像変換装置を提供することにある。
【課題を解決するための手段】
【００１６】
本発明の画像変換装置は、１フレームが複数のフィールド画像から構成されている画像データを入力する画像入力手段と、前記画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する画像信号演算手段とを備えている。
【００１７】
この構成により、入出力画像データ共に１フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができる。
【００１８】
本発明の画像変換装置は、前記画像信号演算手段は、ＦＩＲフィルタを備え、インターレース形式の画像信号を構成するそれぞれの片方フィールドの画像信号から両方フィールドの画像信号を算出する。この構成により、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を好適に得ることができる。
【００１９】
さらに、本発明の画像変換装置は、入力された１フィールドにおける入力ライン数対出力ライン数がｍ対ｎになるように、ブランキングを含むｍライン期間で、ｎライン分の有効画像を前記画像信号演算手段にて演算し出力させる処理スケジューリングを行うためのスケジューラを備えている。
【００２０】
この構成により、画像入力が連続的であり、画像変換によって作成するライン数が入力画像ライン数よりある程度多い場合においても、演算やメモリアクセスの処理速度を上げることなく、更新レートが高いインターレース画像を得ることができる。
【００２１】
また、本発明の画像変換処理方法は、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する。この方法により、上述の画像変換装置の態様と同様、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができる。
【００２２】
また、本発明の別態様はプログラムであり、本プログラムは、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理をコンピュータに実行させる。このプログラムにより、ＭＰＵ、ＤＳＰ等で本発明の画像変換の機能を実現できる。
【００２３】
また、本発明の別態様はコンピュータ読取り可能な記録媒体であり、本記録媒体は、インターレース形式の画像信号を取得し、取得された画像信号を構成する片方フィールドの画像信号から両方フィールドの画像信号を算出する画像変換処理プログラムを記録している。この記録媒体により、記録媒体のプログラムをコンピュータで読み取って実行することで、ＭＰＵ、ＤＳＰ等で本発明の画像変換の機能を実現できる。
【発明の効果】
【００２４】
本発明によれば、入出力画像データ共に１フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を得ることができるという効果が得られる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施の形態の画像変換装置について、図面を用いて説明する。
【００２６】
本発明の第１の実施の形態の画像変換装置を図１に示す。図１において、画像変換装置１００は、画像入力部１１０、画像信号演算部１１１および画像蓄積部１１２で構成されている。
【００２７】
画像入力部１１０は、インターレース形式の画像データを入力する。入力される画像データは、例えば、ＣＣＤで生成されたデータである。入力されるインターレース形式の画像データでは、１フレームが複数のフィールド画像で構成されている。
【００２８】
画像信号演算部１１１は、入力された画像データを構成する各々のフィールド画像から複数の異なるフィールド画像を生成する。すなわち、画像信号演算部１１１は、片方フィールドの画像信号から両方フィールドの画像を算出する。画像信号演算部１１１は、専用ＬＳＩやＡＳＩＣなどで構成されている。画像信号演算部１１１の処理は後述にて詳細に説明する。
【００２９】
画像蓄積部１１２は、画像信号演算部１１１から出力されたデータを蓄える。画像蓄積部１１２は、画像信号演算部１１１で算出されたデータを並び替える機能をもっている。すなわち、画像蓄積部１１２は、メモリ制御部に制御されて、画像信号演算部１１１の演算結果の画像データを蓄積し、異なる順番で出力する。これにより、画像データがフィールド毎に出力される。画像蓄積部１１２はフレームメモリで構成されている。
【００３０】
画像変換装置１００は、ＭＰＵ、ＤＳＰ等がプログラムを実行することで実現されてもよい。この場合、画像変換装置１００の機能を実現するプログラムがＭＰＵ等で実行される。このプログラムは、コンピュータ読取り可能な記録媒体からコンピュータで読み取られてよい。
【００３１】
次に、画像変換装置１００による画像変換の処理について、図１、図２、図３を用いて説明する。ここでは、説明が分かりやすいように、下記のような具体例を用いる。
【００３２】
本実施の形態における具体例では、入力画像を以下の形式とする。
総画素数  １５２５．３水平×１５７５垂直
有効画素数  １２８０水平×９６０垂直
画素縦横比  １：１
画像アスペクト比  ４：３
画像更新速度  ２９．９７フィールド毎秒
サンプリングレート  １５２５．３×７８７．５×２９．９７≒３６．００ＭＨｚ
【００３３】
また、出力画像はＮＴＳＣを想定し、以下の形式とする。
総画素数  ９１０水平×５２５垂直
有効画素数  ７６８水平×４８０垂直
画素縦横比  １：１
画像アスペクト比  ４：３
画像更新速度  ５９．９４フィールド毎秒
サンプリングレート  ９１０×５２５×２９．９７≒１４．３２ＭＨｚ
【００３４】
このとき、以下の画像変換が必要である。
（１）垂直方向は、有効画素換算（１／２）にする
（２）水平方向は、有効画素換算（３／５）にする
（３）画像更新速度は、（２／１）にする
以下では、まず（１）と（３）について詳細に説明する。画像入力部１１０によって得られる画像信号は、上に示した入力画像形式に従うものとする。
【００３５】
入力画像は、インターレース形式である。１フレームを構成する２フィールドをＡフィールド、Ｂフィールドとすれば、両フィールドの位置関係は、図２の入力信号１５０に示されるとおりである。入力信号１５０では、Ａ／Ｂフィールドが混合されている。"Ａ"および"Ｂ"と記入されている部分が画像データであり、"−"を記載している部分は、後述するサンプリングレート変換のアップサンプルのために挿入したダミーデータであり、値としては０である。入力ライン番号１，３，５，７，９，１１，１３がＡフィールド、入力ライン番号２，４，６，８，１０，１２，１４がＢフィールドであり、Ａ，Ｂ両フィールドを合せてはじめて１枚のフレーム画像となる。フィールド読み出し形式なので、ＡフィールドとＢフィールドは（１／２９．９７）秒毎に交互に画像入力部１１０より入力される。つまり、図２におけるＡフィールドの入力信号１５１とＢフィールドの入力信号１５４が交互に入力される。
【００３６】
このような入力画像の垂直方向画素数すなわちライン数と画像更新速度とを、本実施の形態の具体例における出力画像のライン数と画像更新速度に変換する場合、ライン数は（１／２）、つまり半分にすることが求められる。画像更新速度は２倍、すなわち入力１フィールドから２フィールドを作成する。よって、入力１フィールドから作成するライン数は（２／２）、つまり等倍になる。１フィールド画像として作成する画像のライン数は半分だが、合計２フィールドを作成するので、出力するライン数と入力ライン数は等しいことになる。
【００３７】
さて、一般に画像の拡大・縮小は、サンプリングレートの変換として与えられる。倍率がｍ／ｎ（ｍ，ｎは整数、ｍ＜ｎ）である縮小を行うとき、画像データを表すサンプル点の間ごとに（ｍ−１）個の０を挿入することによってサンプリングレートを上げ（アップサンプル）、画像縮小後に折り返しひずみが発生しないように出力周波数の半分で帯域制限し、帯域制限されたサンプル列をｎ個ごとにリサンプル（ダウンサンプル）することによって倍率ｍ／ｎの縮小を行うことができる。
【００３８】
ここで、帯域制限フィルタはローパスフィルタである。周波数特性と、処理量・回路量とのトレードオフによって係数等は決定される。
【００３９】
画像信号のフィルタリングでは、直線位相・系の安定性からＦＩＲフィルタが好んで用いられる。ＦＩＲフィルタにおいて、急峻な減衰特性と通過帯域の平坦性を高いレベルで両立させるには多タップ構成にすることが有効である。しかし、画像信号処理において、垂直方向のＦＩＲフィルタのタップ数は、同数のラインメモリの必要性を意味する。回路量の観点から、ラインメモリを無制限に増やすことはできない。
【００４０】
以上に述べたフィルタリングに必要な画像信号が、画像信号入力部１１０より入力されるものとする。ラインメモリで実現されていても良いし、フレームメモリで実現されていても良い。本実施の形態では、画像入力部１１０から４ラインのデータが得られるものとする。そして、画像信号演算部１１１の処理は以下のようにして行われる。
【００４１】
有効画素数としての入力画像は、１２８０×４８０画素のフィールド画像データであり、（１／２９．９７）秒毎に更新される。画像の空間的位相は、図２にＡフィールドの入力信号１５１とＢフィールドの入力信号１５４で示されている。
【００４２】
ここで、本明細書では、適宜、入力信号のフィールドを入力フィールド、入力Ａフィールド、入力Ｂフィールドなどといい、出力信号のフィールドを出力フィールド、出力Ａフィールド、出力Ｂフィールドなどという。
【００４３】
本実施の形態では、入力Ａフィールドの入力信号１５１からも、入力Ｂフィールドの入力信号１５４からも、出力Ａ／Ｂの２フィールドを生成する。
【００４４】
入力Ａフィールドの入力信号１５１から生成する出力Ａ／Ｂフィールドは、図２に示す出力Ａフィールドの出力信号１５２と出力Ｂフィールドの出力信号１５３である。本実施の形態における具体例では、入力Ａフィールドから生成する出力Ａフィールドおよび出力Ｂフィールドの空間的位相は、二つの入力ラインから見たとき、距離３：１の位置に設定している。
【００４５】
一方、入力Ｂフィールドの入力信号１５４から生成する出力Ａ／Ｂフィールドは、図２に示す出力Ａフィールドの出力信号１５５と出力Ｂフィールドの出力信号１５６である。本実施の形態における具体例では、入力Ｂフィールドから生成する出力Ａフィールドおよび出力Ｂフィールドの空間的位相は、二つの入力ラインから見たとき、距離１：３の位置に設定している。
【００４６】
入力Ａ／Ｂフィールドは、互いに空間的位相が異なるが、入力Ａフィールドの入力信号１５１から生成した出力Ａフィールドの出力信号１５２と、入力Ｂフィールドの入力信号１５４から生成した出力Ａフィールドの出力信号１５５の空間的位相は等しい。同じように、入力Ａフィールドの入力信号１５１から生成した出力Ｂフィールドの出力信号１５３と、入力Ｂフィールドの入力信号１５４から生成した出力Ｂフィールドの出力信号１５６の空間的位相も等しい。なお、入出力信号の相対的な空間的位相は上記に限定されるものではない。
【００４７】
本実施の形態における具体例として、ライン方向のサンプリングレート変換で帯域制限を行うために、適当なカットオフ周波数を持つよう設計した１７タップＦＩＲフィルタを使用することを考える。フィルタ係数ＦＩＲｃｏｅｆを、
ＦＩＲｃｏｅｆ ＝  (Ｋ０，Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，
Ｋ６，Ｋ７，Ｋ８，Ｋ９，Ｋ１０，Ｋ１１，
Ｋ１２，Ｋ１３，Ｋ１４，Ｋ１５，Ｋ１６)
とする。センタータップに対応する係数はＫ８である。このとき、図２の出力信号１５２の出力ライン番号３におけるＡフィールドデータを出力Ａ３（Ａ）とすると、出力Ａ３（Ａ）は、入力信号１５１の入力ライン番号３，５，７，９におけるＡフィールドデータであるＡ３，Ａ５，Ａ７，Ａ９とＦＩＲｃｏｅｆを用いて以下のように算出される。
【００４８】
出力Ａ３（Ａ） = Ｋ１*Ａ３ + Ｋ５*Ａ５ + Ｋ９*Ａ７ + Ｋ１３*Ａ９
【００４９】
演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては０なので、実際の演算には現れない。
【００５０】
また、同様に図２の出力信号１５５の出力ライン番号３におけるＡフィールドデータを出力Ａ３（Ｂ）とすると、出力Ａ３（Ｂ）は、入力信号１５４の入力ライン番号４，６，８，１０におけるＢフィールドデータであるＢ４，Ｂ６，Ｂ８，Ｂ１０とＦＩＲｃｏｅｆを用いて以下のように算出される。
【００５１】
出力Ａ３（Ｂ） = Ｋ３*Ｂ４ + Ｋ７*Ｂ６ + Ｋ１１*Ｂ８ + Ｋ１５*Ｂ１０
【００５２】
こちらも演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては０なので、実際の演算には現れない。しかし、入力画像信号のフィールドよって、係数を切り換える必要ある。
【００５３】
画像信号演算部１１１の演算結果の画像データは、画像蓄積部１１２に供給され、画像蓄積部１１２での画像蓄積を介して、画像更新速度の変換された画像データとして出力される。画像蓄積部１１２は前述のようにフレームメモリ等であり、フレーム単位で画像を蓄積する。
【００５４】
画像蓄積部１１２の処理概要を図３に示す。図３ではライン数を省略して、入力１フィールド１０ライン、出力１フィールド５ラインとしている。
【００５５】
図３には、画像蓄積部１１２の入力信号１６２および出力信号１６３を、入力信号用垂直同期信号（ＶＤ）１６０、入力信号用水平同期信号（ＨＤ）１６１、出力信号用垂直同期信号（ＶＤ）１６４、出力信号用水平同期信号（ＨＤ）１６５と共に示している。
【００５６】
画像蓄積部１１２の入力信号１６２は、すなわち、画像信号演算部１１１の出力信号である。画像信号演算部１１１から出力されるデータでは、Ａフィールド用出力とＢフィールド用出力が交互に現れており、その結果、入力信号１６２では、（ａ,ｆ,ｂ,ｇ,ｃ,ｈ,ｄ,ｉ,ｅ）の順にデータが入力されている（ａ，ｂ，ｃ・・・は、１ラインのデータである）。
【００５７】
これに対して、出力信号１６３では、Ａフィールド用データは、（ａ,ｂ,ｃ,ｄ,ｅ）であり、Ｂフィールド用データは、(ｆ,ｇ,ｈ,ｉ)である。このような処理を実現するように、画像データをフレームメモリに一旦格納することによって、並べ替えた画像データを出力する。これにより、Ａフィールド、Ｂフィールドの順データフレーム毎に画像信号が得られる。並べ替え出力について、図３の出力信号１６３では、入力１フレーム後に出力を行っているが、このタイミングに限定されるものではない。
【００５８】
上記の画像蓄積部に関して、本実施の形態においては、フレームメモリが処理の最後段に位置するものとして説明をおこなったが、最前段に置いて容量を増やし、画像出力速度を倍にすることによって入力画像を２回すなわち１回目と２回目で異なるフィールドを出力する処理を行うようにすることでも、本件の目的とする効果を得ることができる。このような画像蓄積部は、画像信号演算部１１１の一部として、演算処理の前に蓄積処理を行うように設けられてもよい。画像信号演算部１１１がＬＳＩ等の回路である場合に、回路の一部が画像蓄積部であってもよい。
【００５９】
上記の説明では、垂直方向の画像変換について説明した。水平方向の画像変換については、水平方向有効画素である１２８０画素から７６８画素への縮小は信号処理のどの時点でおこなってもよい。画像入力部１１０の直後で処理すれば、全体の処理速度の面から好ましい。この場合に、水平方向の画像変換部は、画像信号演算部１１１の一部であってよい。画像信号演算部１１１がＬＳＩ等の回路である場合に、回路の一部が水平方向の画像変換部であってよい。水平方向縮小処理は、間引き処理でもよく、この場合には画質劣化の容認が求められる。また、高い画質を目指して、水平複数画素を用いたサンプリングレート変換で縮小処理を行ってもよい。このように、縮小処理は画質と処理量のトレードオフになる。
【００６０】
なお、本実施の形態では、入力画像の大きさ、フィルタタップ数などに具体的数値を挙げて説明を行ったが、これら値に限定されるものではない。
【００６１】
以上に本発明の第１の実施の形態に係る画像変換装置について説明した。上述したように、本実施の形態によれば、入出力画像データ共に１フレームが複数フィールドから構成される画像データであり、そして、入力画像のひとつのフィールド画像から複数の異なるフィールド画像が生成されるので、画像更新速度の遅いインターレース画像から、画像更新速度の速いインターレース画像を、十分に良好な画質でもって得ることができる。
【００６２】
次に、本発明の第２の実施の形態の画像変換装置を図４に示す。図４の画像変換装置２００は、図１に示した第１の実施の形態の画像変換装置１００とほぼ同様の構成を有しており、すなわち、画像変換装置２００の画像入力部２１０、画像信号演算部２１１および画像蓄積部２１２は、図１の画像変換装置１００の画像入力部１１０、画像信号演算部１１１および画像蓄積部１１２とそれぞれ同様の構成を有している。以下の説明において、第１の実施の形態と重複する事項の説明は適宜省略する。
【００６３】
第２の実施の形態の画像変換装置２００は、第１の実施の形態の画像変換装置１００との相違点として、図４に示されるように、上記構成に加えて、スケジューラ２１５を備えている。スケジューラ２１５は、画像信号演算部２１１での画像信号演算の実行タイミング信号を生成し、タイミングの信号を画像信号演算部２１１に供給する。より詳細には、スケジューラ２１５は、下記に具体例を用いて説明するように、画像信号演算部２１１がブランキングを含むｍライン期間で、ｎライン分の有効画像を演算し出力するための処理スケジューリングを行うように構成されており、これにより、入力された１フィールドにおける入力ライン数対出力ライン数がｍ対ｎになる。
【００６４】
次に、画像変換装置２００による画像変換の処理について、図４、図５、図６、図７を用いて説明する。本実施の形態の説明では下記の具体例を用いる。
【００６５】
まず、本実施の形態における入力画像を以下の形式とする。
総画素数  １５３６水平×１８７５垂直
有効画素数  １２８０水平×９６０垂直
画素縦横比  １：１
画像アスペクト比  ４：３
画像更新速度  ２５フィールド毎秒
サンプリングレート  １５３６×１８７５×１２．５＝３６．００ＭＨｚ
【００６６】
また、出力画像はＰＡＬを想定し、以下の形式とする。
総画素数  ９０８水平×６２５垂直
有効画素数  ７６８水平×５７６垂直
画素縦横比  １：１
画像アスペクト比  ４：３
画像更新速度  ５０フィールド毎秒
サンプリングレート  ９０８×６２５×２５＝１４．１８７５ＭＨｚ
【００６７】
このとき、以下の画像変換が必要である。
（１）垂直方向は、有効画素換算（３／５）にする
（２）水平方向は、有効画素換算（３／５）にする
（３）画像更新速度は、（２／１）にする
以下では、まず（１）と（３）について詳細に説明する。
【００６８】
入力画像は、インターレース形式である。１フレームを構成する２フィールドをＡフィールド、Ｂフィールドとすれば、両フィールドの位置関係は、図５の入力信号２５０に示される通りである。入力信号２５０では、Ａ／Ｂフィールドが混合されている。"Ａ"および"Ｂ"と記入されている部分が画像データであり、"−"を記載している部分は、サンプリングレート変換のアップサンプルのために挿入したダミーデータであり、値としては０である。入力ライン番号１，３，５，７，９，１１，１３がＡフィールド、入力ライン番号２，４，６，８，１０，１２がＢフィールドであり、Ａ，Ｂ両フィールドを合せてはじめて１枚のフレーム画像となる。フィールド読み出し形式なので、ＡフィールドとＢフィールドは（１／２５）秒毎に交互に画像入力部２１０より入力される。つまり図５におけるＡフィールドの入力信号２５１とＢフィールドの入力信号２５４が交互に入力される。
【００６９】
このような入力画像の垂直方向画素数すなわちライン数と画像更新速度とを、本実施の形態の具体例における出力画像のライン数と画像更新速度に変換する場合、ライン数は（３／５）にすることが求められる。画像更新速度は２倍であり、すなわち入力１フィールドからＡ，Ｂ合計２フィールドを作成する。よって、入力１フィールドから作成するライン数は（６／５）になる。作成するライン数が入力ライン数より多いことに対応しなければならない。入力画像データを変換する演算処理は、画像信号演算部２１１によって下記のようにして行われる。
【００７０】
有効画素数としての入力画像は、１２８０×４８０画素のフィールドデータであり、（１／２５）秒毎に更新される。画像の空間的位相は、図５にＡフィールドの入力信号２５１とＢフィールドの入力信号２５４で示されている。
【００７１】
ここで、第１の実施の形態と同様、本実施の形態でも、適宜、入力信号のフィールドを入力フィールド、入力Ａフィールド、入力Ｂフィールドなどといい、出力信号のフィールドを出力フィールド、出力Ａフィールド、出力Ｂフィールドなどという。
【００７２】
本実施の形態では、入力Ａフィールドの入力信号２５１からも、入力Ｂフィールドの入力信号２５４からも、出力Ａ／Ｂの２フィールドを生成する。
【００７３】
入力Ａフィールドの入力信号２５１から生成する出力Ａ／Ｂフィールドは、図５に示す出力Ａフィールドの出力信号２５２と出力Ｂフィールドの出力信号２５３である。
【００７４】
入力Ｂフィールドの入力信号２５４から生成する出力Ａ／Ｂフィールドは、図５に示す出力Ａフィールドの出力信号２５５と出力Ｂフィールドの出力信号２５６である。
【００７５】
入力Ａ／Ｂフィールドは、互いに空間的位相が異なるが、入力Ａフィールドの入力信号２５１から生成した出力Ａフィールドの出力信号２５２と、入力Ｂフィールドの入力信号２５４から生成した出力Ａフィールドの出力信号２５５との空間的位相は等しい。同じように、入力Ａフィールドの入力信号２５１から生成した出力Ｂフィールドの出力信号２５３と、入力Ｂフィールドの入力信号２５４から生成した出力Ｂフィールドの出力信号２５６の空間的位相も等しい。
【００７６】
空間的位相の調整は、サンプリングレート変換に使用する帯域制限フィルタの適用方法によって実現する。サンプリングレート変換で帯域制限を行うために、２３タップＦＩＲフィルタを使用することを考える。フィルタ係数ＦＩＲｃｏｅｆを、
ＦＩＲｃｏｅｆ ＝  (Ｋ０，Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５，
Ｋ６，Ｋ７，Ｋ８，Ｋ９，Ｋ１０，Ｋ１１，
Ｋ１２，Ｋ１３，Ｋ１４，Ｋ１５，Ｋ１６，
Ｋ１７，Ｋ１８，Ｋ１９，Ｋ２０，Ｋ２１，Ｋ２２)
とする。センタータップに対応する係数はＫ１１である。このとき、図５の出力信号２５２に示される出力ライン番号Ａ３、Ａ５、Ａ７の出力Ａフィールドデータを出力Ａ３（Ａ）、出力Ａ５（Ａ）、出力Ａ７（Ａ）とし、同じく出力信号２５３に示される出力ライン番号４、６、８の出力Ｂフィールドデータを出力Ｂ４（Ａ）、出力Ｂ６（Ａ）、出力Ｂ８（Ａ）とすると、これらデータは、入力信号２５１の入力ＡフィールドデータとＦＩＲｃｏｅｆを用いて以下のように算出される（Ａ１３以降の入力は図示せず）。Ａ３、Ａ５、Ａ７・・・は、入力信号２５１の入力ライン番号３、５、７・・・における入力Ａフィールドデータである。
【００７７】
出力Ａ３（Ａ）= Ｋ５*Ａ３  +Ｋ１１*Ａ５   +Ｋ１７*Ａ７
出力Ａ５（Ａ）= Ｋ１*Ａ５  +Ｋ７  *Ａ７   +Ｋ１３*Ａ９   +Ｋ１９*Ａ１１
出力Ａ７（Ａ）= Ｋ３*Ａ９  +Ｋ９  *Ａ１１ +Ｋ１５*Ａ１３ +Ｋ２１*Ａ１５
出力Ｂ４（Ａ）= Ｋ０*Ａ３  +Ｋ６  *Ａ５   +Ｋ１２*Ａ７   +Ｋ１８*Ａ９
出力Ｂ６（Ａ）= Ｋ２*Ａ７  +Ｋ８  *Ａ９   +Ｋ１４*Ａ１１ +Ｋ２０*Ａ１３
出力Ｂ８（Ａ）= Ｋ４*Ａ１１+Ｋ１０*Ａ１３ +Ｋ１６*Ａ１５ +Ｋ２２*Ａ１７
【００７８】
演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては０なので、実際の演算には現れない。
【００７９】
また、同様に図５の出力信号２５５に示される出力ライン番号３、５、７の出力Ａフィールドデータを出力Ａ３（Ｂ），出力Ａ５（Ｂ），出力Ａ７（Ｂ）とし、同じく出力信号２５６に示される出力ライン番号４、６、８の出力Ｂフィールドデータを出力Ｂ４（Ｂ），出力Ｂ６（Ｂ），出力Ｂ８（Ｂ）とすると、これらデータは、入力信号２５４の入力ＢフィールドデータとＦＩＲｃｏｅｆの用いて以下のように算出される。Ｂ２、Ｂ４、Ｂ６・・・は、入力信号２５４の入力ライン番号２、４、６・・・における入力Ｂフィールドデータである。
【００８０】
出力Ａ３（Ｂ）= Ｋ２*Ｂ２  +Ｋ８  *Ｂ４   +Ｋ１２*Ｂ６   +Ｋ１８*Ｂ８
出力Ａ５（Ｂ）= Ｋ４*Ｂ６  +Ｋ１０*Ｂ８   +Ｋ１６*Ｂ１０ +Ｋ２２*Ｂ１２
出力Ａ７（Ｂ）= Ｋ０*Ｂ８  +Ｋ６  *Ｂ１０ +Ｋ１２*Ｂ１２ +Ｋ１８*Ｂ１４
出力Ｂ４（Ｂ）= Ｋ３*Ｂ４  +Ｋ９  *Ｂ６   +Ｋ１５*Ｂ８   +Ｋ２１*Ｂ１０
出力Ｂ６（Ｂ）= Ｋ５*Ｂ８  +Ｋ１１*Ｂ１０ +Ｋ１７*Ｂ１２
出力Ｂ８（Ｂ）= Ｋ１*Ｂ１０+Ｋ７  *Ｂ１２ +Ｋ１３*Ｂ１４ +Ｋ１９*Ｂ１６
【００８１】
こちらも演算内容から明らかだが、アップサンプルのために信号間に挿入したダミーデータは、値としては０なので、実際の演算には現れない。
【００８２】
ここで、上記式に示したとおり、あるフィールド出力を得るために３種類の係数の組み合わせが発生している。つまり、入力画像信号のフィールドとライン番号よって、係数を切り換える必要ある。
【００８３】
次に、スケジューラ２１５の機能について説明する。本実施の形態では、入力１フィールドから作成するライン数は（６／５）であり、入力ライン数より作成する出力ライン数が多い。つまり、入力１ラインに対し２ラインを作成しなければならない場合がある。処理概要を図６および図７を用いて説明する。
【００８４】
まず、図６は、画像蓄積部２１２の入力信号２６２、２６３および出力信号２６４を、入力信号用垂直同期信号（ＶＤ）２６０、入力信号用水平同期信号（ＨＤ）２６１、出力信号用垂直同期信号（ＶＤ）２６５、出力信号用水平同期信号（ＨＤ）２６６と共に示している。図６ではライン数を省略して、入力１フィールド１２ライン、出力１フィールド６ラインとしている。
【００８５】
画像蓄積部２１２は、画像をフレーム単位で蓄積するフレームメモリであり、画像信号演算部２１１から画像蓄積部２１２にデータが出力される。図６に示すように、画像蓄積部２１２の入力信号２６２が（ａ，ｂ，ｃ，ｄ，ｅ，ｆ）であり、入力信号２６３が（ｇ，ｈ，ｉ，ｊ，ｋ）となっており、入力信号２６２、２６３は、すなわち、画像信号演算部２１１の出力信号であり、そして、図示のように、ｂとｈ、ｅとｊの生成タイミングが同時である。
【００８６】
このような処理を実現するため、画像蓄積部２１２へデータを出力するタイミングが調整される。図７に示すように、水平同期信号２７０とは異なる画像信号演算実行タイミング信号２７３（または出力画像処理実行タイミング信号）を設け、画像信号演算実行タイミング２７３のタイミングで画像入力部２１０はデータを入力し、同タイミングで画像信号演算部２１１はデータを取り込んでフィルタ係数を切り換える。
【００８７】
このタイミング信号によって、画像信号演算部２１１は、１または複数の水平有効期間と水平ブランキング期間に渡って演算を行う。
【００８８】
図６の入力信号２６２および入力信号２６３は前述のように画像信号演算部２１１で生成されるデータである。図示のデータは、図７の出力画像信号２７２のタイミングで処理され、フレームメモリへ格納されて、図６における出力信号２６４の順番で出力される。Ａフィールド用出力とＢフィールド用出力が交互に現れており、こうしてフレーム画像の蓄積を介して画像更新速度が変換されている。
【００８９】
なお、本実施の形態においては、フレームメモリが処理の最後段に位置するものとして説明をおこなったが、本発明はこれに限定されず、この点は第１の実施の形態で説明した通りである。
【００９０】
また、上記の説明では、垂直方向の画像変換について説明した。水平方向の画像変換については、水平方向有効画素である１２８０画素から７６８画素への縮小は信号処理のどの時点でおこなってもよい。水平方向の処理については、第１の実施の形態で説明した通りである。
【００９１】
また、本実施の形態では、入力画像の大きさ、フィルタタップ数などに具体的数値を挙げて説明を行ったが、これら値に限定されるものではなく、この点も第１の実施の形態で説明した通りである。
【００９２】
以上に本発明の第２の実施の形態に係る画像変換装置２００について説明した。本実施の形態によれば、第１の実施の形態の効果が得られ、さらに、画像入力が連続的であり、画像変換によって作成するライン数が入力画像ライン数よりある程度多い場合においても、演算やメモリアクセスの処理速度を上げることなく、更新レートが高いインターレース画像を得ることができる。
【００９３】
上述の第１および第２の実施の形態において、画像変換装置の機能は，磁気ディスク、光磁気ディスク，ＲＯＭ等の記録媒体にプログラムとして記録することができる。よって、この記録媒体をコンピュータで読み取ってＭＰＵ、ＤＳＰ等で実行することにより画像変換装置の機能を実現することができる。
【００９４】
その他、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【００９５】
以上のように、本発明にかかる画像変換装置は、画像更新速度の遅いインターレース画像から画像更新速度の速いインターレース画像を好適に得ることができるという効果を有し、撮像装置等の画像変換装置として有用である。
【図面の簡単な説明】
【００９６】
【図１】本発明の第１の実施の形態における画像変換装置を示すブロック図
【図２】画像変換処理を空間的位相を用いて示す概略図
【図３】画像変換処理を時系列で示す概略図
【図４】本発明の第２の実施の形態における画像変換装置を示すブロック図
【図５】画像変換処理を空間的位相を用いて示す概略図
【図６】画像変換処理を時系列で示す概略図
【図７】処理タイミングの概略図
【図８】従来の画像変換装置を示す図
【符号の説明】
【００９７】
１００  画像変換装置
１１０  画像入力部
１１１  画像信号演算部
１１２  画像蓄積部
【図１】
2006166256.tif 000003
【図２】
2006166256.tif 000004
【図３】
2006166256.tif 000005
【図４】
2006166256.tif 000006
【図５】
2006166256.tif 000007
【図６】
2006166256.tif 000008
【図７】
2006166256.tif 000009
【図８】
2006166256.tif 000010