(57)【要約】【課題】画像信号における水平及び垂直方向のサンプル数を変化させるためには、フィールド又はフレームメモリが必要であり、回路の大型化が避けられなかった。【解決手段】ライン遅延部２は、隣接する複数のラインの信号を高周波クロックのタイミングで同時に出力し、拡大処理部３では、垂直方向の補間処理と水平方向の補間処理とが同時に行われる。縮小処理部４では、拡大処理部３の出力に対して整数分の１画素単位の間引き処理が行われ、所望の水平及び垂直サンプル数を有する画像信号が得られる。フィールド及びフレームメモリが必要なく、また、ＬＰＦのタップ数を大幅に削減できるため、回路規模を小さく抑えることができる。【選択図】  図１
2004297314.tif 000002
【特許請求の範囲】
【請求項１】
水平方向の画素サンプル数がｍ１、垂直方向の画素サンプル数がｎ１である第１の画像信号を、水平方向の画素サンプル数がｍ２、垂直方向の画素サンプル数がｎ２である第２の画像信号に変換する画素密度変換装置であり、
前記第１の画像信号を１ライン分書き込める容量を有するラインメモリに前記第１の画像信号をライン単位で書き込み、この書き込み時よりも高い内部クロックで前記第１の画像信号を読み出すことにより、前記内部クロックに同期した前記第１の画像信号を得る周波数変換部と、
前記第１の画像信号を１ライン分書き込める容量を有するラインメモリを複数ライン分備え、前記周波数変換部が出力する前記第１の画像信号における隣接する複数のラインを同時に出力する隣接ライン出力部と、
水平方向の画素サンプル数が前記ｍ２の整数倍で、且つ垂直方向の画素サンプル数が前記ｎ２の整数倍となるよう、前記隣接ライン出力部が出力する第１の画像信号に補間演算を行って画素数を増加させる拡大処理部と、
前記拡大処理部が出力する拡大画像信号にフィルタ処理を施すと共に、フィルタ処理後の拡大画像信号における画素サンプルを水平及び垂直方向に整数分の１に間引くことにより、前記拡大画像信号における水平方向及び垂直方向の画素サンプル数を減少させた前記第２の画像信号を得る縮小処理部と、
前記隣接ライン出力部における前記複数ラインの画素出力タイミングと、前記拡大処理部における補間演算に要する水平及び垂直アドレスと、前記縮小処理部における画素間引き処理とを制御する制御部とを有することを特徴とする画素密度変換装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
静止画像又は動画像を構成する水平及び垂直方向に配列される画素の画素密度を変換する画素密度変換装置に関する。
【０００２】
【従来の技術】
ビデオカメラで撮影した撮像信号を電子的に拡大又は縮小する電子ズーム回路が知られている。この電子ズーム回路では、１フィールド又は１フレーム分の容量を有するメモリ内に撮影した画像信号が一旦蓄えられ、このメモリからの信号の読み出し時に補間画素の生成に必要な参照画素が適宜読み出される。そして、読み出した参照画素を用いて補間処理を実行することにより補間画素を得て、この補間画素を１画面分生成することにより、１フィールド又は１フレーム分の拡大又は縮小画像を得ている。また、この処理を複数のフィールド又はフレームにわたり繰り返し行うことにより、動画像の拡大処理又は縮小処理を実現している。また、これと同じ原理を利用して、水平及び垂直方向に配列される画素のサンプル数を変換する画素密度変換装置が知られている。
【０００３】
【特許文献１】
特開２００２−１９９２６５号公報
【０００４】
【発明が解決しようとする課題】
しかし、このような電子ズーム回路及び画素密度変換装置では、拡大処理又は縮小処理のために１画面分の画像信号を蓄えておくメモリが必要であったため、回路のコストアップを招くばかりでなく、回路の小型化を困難なものにしていた。特に、夫々が異なる機能を有する複数の回路を１つに集積させたシステムＬＳＩでは、メモリ構成部分の大小がチップサイズに大きく影響してくる。そのため、このようなフィールドメモリ又はフレームメモリを必要とする電子ズーム回路は、システムシステムＬＳＩに組み込み難いといった問題があった。
【０００５】
また、画像の縮小処理を行う場合、折り返し歪みの発生を防止するためにフィルター処理を行うのが一般的であるが、任意の倍率で良好な縮小画像を得られるようにするためには、フィルターのタップ数を多くしなければならず、回路規模を増大させてしまうといった問題があった。
【０００６】
以上のような問題点に鑑み、本発明は、フィールドメモリやフレームメモリを使用せず、比較的簡易な構成で、任意倍率の拡大画像や縮小画像が得られる画素密度変換装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
以上の課題を解決するために、本発明に係る画素密度変換装置は、
水平方向の画素サンプル数がｍ１、垂直方向の画素サンプル数がｎ１である第１の画像信号を、水平方向の画素サンプル数がｍ２、垂直方向の画素サンプル数がｎ２である第２の画像信号に変換する画素密度変換装置であり、
前記第１の画像信号を１ライン分書き込める容量を有するラインメモリに前記第１の画像信号をライン単位で書き込み、この書き込み時よりも高い内部クロックで前記第１の画像信号を読み出すことにより、前記内部クロックに同期した前記第１の画像信号を得る周波数変換部と、
前記第１の画像信号を１ライン分書き込める容量を有するラインメモリを複数ライン分備え、前記周波数変換部が出力する前記第１の画像信号における隣接する複数のラインを同時に出力する隣接ライン出力部と、
水平方向の画素サンプル数が前記ｍ２の整数倍で、且つ垂直方向の画素サンプル数が前記ｎ２の整数倍となるよう、前記隣接ライン出力部が出力する第１の画像信号に補間演算を行って画素数を増加させる拡大処理部と、
前記拡大処理部が出力する拡大画像信号にフィルタ処理を施すと共に、フィルタ処理後の拡大画像信号における画素サンプルを水平及び垂直方向に整数分の１に間引くことにより、前記拡大画像信号における水平方向及び垂直方向の画素サンプル数を減少させた前記第２の画像信号を得る縮小処理部と、
前記隣接ライン出力部における前記複数ラインの画素出力タイミングと、前記拡大処理部における補間演算に要する水平及び垂直アドレスと、前記縮小処理部における画素間引き処理とを制御する制御部とを有することを特徴とするものである。
【０００８】
【発明の実施の形態】
以下、本発明の実施の形態につき、好ましい実施例により説明する。
図１は、本発明の実施例に係る画素密度変換装置の構成を示すブロック図であり、１は入来するビデオ信号Ｓ１を高周波信号に変換して出力する周波数変換部、２は周波数変換部１から出力される信号Ｓ２をライン遅延させることにより、連続する４ライン分の信号（Ｓ３乃至Ｓ６）を同時に出力するライン遅延部、３はライン遅延部２から出力される４ライン分の信号（Ｓ３乃至Ｓ６）に基づき画像の拡大処理を行う拡大処理部、４は拡大処理部３から出力される信号の一部を間引くことにより画像の縮小処理を行う縮小処理部、５は周波数変換部１、ライン遅延部２、拡大処理部３、縮小処理部４の各部に適宜制御信号を出力する制御部である。
【０００９】
以上のような構成により、周波数変換部１に入来するビデオ信号Ｓ１に任意倍率の拡大処理及び縮小処理を施し、処理を終えた信号が縮小処理部４から出力される。ここで、拡大処理部３は入来するビデオ信号Ｓ１に、任意倍率の拡大処理を施し、縮小処理部４は、拡大処理部３で拡大処理を終えた信号に整数分の１倍の縮小処理を施す。
【００１０】
例えば、入来するビデオ信号Ｓ１に拡大処理を施す場合には、拡大処理部３で拡大処理を行う一方、縮小処理部４の縮小動作を停止させることにより、拡大処理部３における拡大倍率に応じた信号が縮小処理部４から出力される。これに対し、入来するビデオ信号Ｓ１に縮小処理を施す場合には、拡大処理部３による拡大動作と縮小処理部４による縮小動作とを行うことにより、拡大処理部３における拡大倍率と縮小処理部４による縮小倍率とを掛け合わせた倍率の信号が縮小処理部４から出力される。
【００１１】
つまり、本実施例に係る画素密度変換装置によれば、拡大画像を得る際には、縮小処理部４の縮小動作を停止させつつ拡大処理部３における拡大倍率が適宜設定され、１／２倍以上で１倍未満の縮小画像を得る際には、縮小処理部４の縮小倍率を１／２倍に設定しつつ拡大処理部３における拡大倍率が適宜設定される。また、１／３倍以上で１／２倍未満の縮小画像を得る際には、縮小処理部４の縮小倍率を１／３倍に設定しつつ拡大処理部３における拡大倍率が適宜設定される。
【００１２】
なお、本実施例において、拡大処理とは画像の画素密度を増加させる処理、つまり、原画像に対して画素サンプル数を増加させる処理、縮小処理とは画像の画素密度を減少させる処理、つまり、画素サンプル数を減少させる処理を意味する。
【００１３】
以下、本発明の実施例に係る画素密度変換装置における各部構成の詳細及び動作について説明する。なお、ここでは、入来するビデオ信号Ｓ１に対して拡大処理部３で水平及び垂直方向に１．４倍の拡大処理を施し、その後縮小処理部４で水平及び垂直方向に１／２倍の縮小処理を施すことで、最終的に０．７倍の画像を得る場合の例について説明する。つまり、原画像に対して、水平方向のサンプル数を０．７倍の数、垂直方向のサンプル数を０．７倍の数にする画素密度変換処理について説明する。
【００１４】
周波数変換部１は、図示の如く２つのラインメモリ１Ａ及び１Ｂと２つのスイッチにより構成され、入力側のスイッチがラインメモリ１Ａに接続されている状態では出力側のスイッチがラインメモリ１Ｂに接続され、入力側のスイッチがラインメモリ１Ｂに接続されている状態では出力側のスイッチがラインメモリ１Ａに接続される。そして、入力側及び出力側のスイッチの接続状態は、入来するビデオ信号Ｓ１のライン期間毎に切り替えられる。
【００１５】
図２は、周波数変換部１における周波数変換の動作を示すタイミングチャートであり、図２（ａ）は入来するビデオ信号の水平同期信号に対応した水平同期パルス、図２（ｂ）は入来するビデオ信号Ｓ１の有効ライン、図２（ｃ）は周波数変換部１から出力される信号Ｓ２を示している。また、図２（ｂ）及び（ｃ）における数字は、ビデオ信号のライン番号を示している。
【００１６】
周波数変換部１には、入来するビデオ信号のサンプリングクロックに同期したクロックと、これより周波数が高い内部クロックとが供給されている。これらクロックは、夫々ラインメモリ１Ａ及び１Ｂへの書き込みクロック及び読み出しクロックとして利用されており、図１及び図２に示す如く、第０ラインのライン信号が一方のラインメモリ（例えば、１Ａ）に書き込まれ、次のライン期間にこのラインメモリ（１Ａ）からライン信号が高速で読み出される同時に他方のラインメモリ（例えば、１Ｂ）に第１ラインのライン信号が書き込まれる。
【００１７】
また、その次のライン期間では、ラインメモリ（１Ｂ）から第１ラインのライン信号が高速で読み出される同時にラインメモリ（１Ａ）に第２ラインのライン信号が書き込まれる。そして、このような動作を繰り返すことにより、各ラインのライン信号は、図２（ｃ）に示す如く本来のライン期間に比べて非常に短い期間内で高速読み出しされる。
【００１８】
次にライン遅延部２について説明する。ライン遅延部２は、周波数変換部１から出力される信号Ｓ２が書き込まれるラインメモリ２Ａ、このラインメモリ２Ａから読み出された信号Ｓ３が書き込まれるラインメモリ２Ｂ、このラインメモリ２Ｂから読み出された信号Ｓ４が書き込まれるラインメモリ２Ｃ、このラインメモリ２Ｃから読み出された信号Ｓ５が書き込まれるラインメモリ２Ｄにより構成され、各ラインメモリ２Ａ乃至２Ｄから読み出された信号Ｓ３乃至Ｓ６は、夫々同時に拡大処理部３に出力される。なお、ライン遅延部２の動作の詳細については、拡大処理部３の動作と合わせて後述する。
【００１９】
拡大処理部３は、ライン遅延部２から出力される信号Ｓ３乃至Ｓ６に基づき垂直補間を行う垂直補間部３Ａ、垂直補間部３Ａによる垂直補間にて得た画素信号Ｓ７が適宜保持される演算データ保持部３Ｂ、垂直補間部３Ａが出力する画素信号Ｓ７と演算データ保持部３Ｂが出力する画素信号Ｓ８乃至Ｓ１０とに基づき水平補間を行う水平補間部３Ｃにより構成される。
【００２０】
図３は、ライン遅延部２における動作と拡大処理部３の垂直補間部３Ａにおける動作とを説明するためのタイミングチャートであり、図３（ａ）は入来するビデオ信号の水平同期信号に対応した水平同期パルス、図３（ｂ）は垂直補間部３Ａが垂直方向の補間演算を行う際に参照する垂直アドレス、図３（ｃ）乃至（ｆ）は、ラインメモリ２Ａ乃至２Ｄから出力される信号Ｓ３乃至Ｓ６、図３（ｇ）は垂直補間部３Ａに対する垂直補間許可信号ＩＥ、図３（ｈ）はラインメモリ２Ａ乃至２Ｄに対する書き込み許可信号ＷＥである。
【００２１】
なお、垂直アドレス、垂直補間許可信号ＩＥ及び書き込み許可信号ＷＥは、夫々、制御部５から図示の如くタイミングで出力される信号である。また、図２と同様に、図３（ｃ）乃至（ｆ）における数字は、ビデオ信号のライン番号を示している。
【００２２】
図２で示した如く、高速で読み出された各ラインの信号は、ライン遅延部２に供給され、縦列接続されるラインメモリ２Ａ乃至２Ｄに順次書き込まれる。なお、図２（ｃ）に示した第０ラインのライン信号がラインメモリ２Ｃに書き込まれるまでは、垂直補間部３Ａは、ライン遅延部２から出力される信号Ｓ３乃至Ｓ６に基づく垂直補間を行わない。図３は、ラインメモリ２Ａ乃至２Ｃから、第２ライン、第１ライン、第０ラインのライン信号が出力されるタイミング以降を示している。
【００２３】
垂直補間部３Ａは、原則として連続する４ライン分のライン信号の値を参照しつつ、指定されたアドレスにおける補間値を生成するものであるが、図３に示す如く、ラインメモリ２Ｄの出力が存在しない場合には、３ライン分のライン信号から補間値を生成することになる。
【００２４】
また、図３（ｇ）の垂直補間許可信号ＩＥによって示される期間Ａでのみ、垂直補間部３Ａ及び水平補間部３Ｃにおける補間処理が行われ、図３（ｈ）の書き込み許可信号ＷＥによって示される期間Ｂでのみ、ラインメモリ２Ａ乃至２Ｄへの信号の書き込みが行われる。
【００２５】
その結果、１水平パルス期間内では、各ラインメモリに１回のみライン信号が書き込まれるものの、各ラインメモリからは複数回ライン信号が読み出され、また、この１水平パルス期間内では、制御部により与えられる垂直アドレスの値に応じて、複数ライン分の補間演算が行われることがある。
【００２６】
そして、垂直補間部３Ａが出力する信号Ｓ７は、画素単位で水平補間部３Ｃに出力されると同時に、演算データ保持部３Ｂに出力される。図４は、水平補間部３Ｃにおける動作を説明するためのタイミングチャートであり、図４（ａ）は各部に供給される内部クロック、図４（ｂ）は水平補間部３Ｃが水平方向の補間演算を行う際に参照する水平アドレス、図４（ｃ）は垂直補間部３Ａが出力する信号Ｓ７、図４（ｄ）乃至（ｆ）は、演算データ保持部３Ｂが出力する信号Ｓ８乃至Ｓ１０、図４（ｇ）は、ライン遅延部２によるライン信号（画素信号）の出力を一時的にホールドさせるホールド許可信号である。
【００２７】
なお、実際には、垂直補間部３Ａにおける垂直補間処理のために、１又は２クロック分以上の時間を要するため、ホールド許可信号ＨＥのタイミングは図４に示すものとは異なってくるが、ここでは、説明の都合上、垂直補間部３Ａでは垂直補間処理に伴い画素遅延が生じないものとして説明をする。
【００２８】
以下、垂直補間部３Ａ及び水平補間部３Ｃにおける動作について詳述する。任意倍率にて画像の拡大処理を行う場合、入来するビデオ信号の第０ライン、第１ライン、第２ライン、第３ライン、…から本来は存在しない仮想的なラインを補間演算により生成する必要がある。例えば、垂直方向に１．４倍の補間処理を行う場合には、仮想的な第０．７ライン、第１．４ライン、第２．１ライン、第２．８ラインのライン信号が必要である。
【００２９】
ここで、第０．７ラインのライン信号を生成する場合には、第０ライン、第１ライン、第２ラインの各ライン信号を参照して、このライン信号の各画素の値を決定することになる。また、第１．４ラインのライン信号を生成する場合には、第０ライン、第１ライン、第２ライン、第３ラインの各ライン信号を参照して、このライン信号の各画素の値を決定することになる。また、第２．１ライン及び第２．８ラインのライン信号を生成する場合には、第１ライン、第２ライン、第３ライン、第４ラインの各ライン信号を参照して、これらのライン信号の各画素の値を決定することになる。
【００３０】
図５（ａ）は、垂直補間部３Ａにより生成される補間ライン信号の仮想的な画素位置を示す図であり、同図において白丸はライン遅延部２から出力されるライン信号の画素位置、ハッチングを付した丸は補間ライン信号の仮想的な画素位置を示している。図示の如く、垂直補間部３Ａでは垂直方向の補間のみが行われるため、補間演算して得た補間ライン信号の仮想的な画素位置は、水平方向に関しては参照ライン（参照画素）と同一の位置となっている。
【００３１】
また、図５（ｂ）は、水平補間部３Ｃにより生成される補間画素の仮想的な画素位置を示す図であり、図５（ａ）で示した画素位置に加え、水平補間部３Ｃが補間生成した画素の仮想的な画素位置を黒丸として示している。なお、図５（ａ）及び（ｂ）において、水平方向及び垂直方向に延びる破線には、画素の水平アドレス及び垂直アドレスを付してある。また、以降の説明では、水平アドレスがｘ、垂直アドレスがｙである画素をアドレス（ｘ，ｙ）の画素と呼ぶ。
【００３２】
拡大処理部３における大まかな動作としては、ライン遅延部２から垂直方向に隣接する４ライン分のライン信号が画素単位で同時に垂直補間部３Ａに供給されると、垂直補間部３Ａでは、垂直方向に隣接するこの４画素に基づき１画素分の補間画素を生成するという垂直補間処理を行い、次に、垂直補間部３Ａから垂直補間処理された画素が出力されると、水平方向に隣接する４画素に基づき１画素分の補間画素を生成するという水平補間処理を行う。
【００３３】
つまり、図２に示す期間Ａにおいて、垂直方向に隣接する４ライン分のライン信号（Ｓ３乃至Ｓ６）が拡大処理部３に供給される毎に、拡大処理部３からは、垂直及び水平方向の補間処理を終えた１ライン分の補間信号が出力されることになる。なお、図３（ｂ）に示される垂直アドレスが整数となっているタイミングでは、垂直補間部３Ａによる垂直補間処理は行われず、図４（ｂ）に示される水平アドレスが整数となっているタイミングでは、水平補間部３Ｃによる水平補間処理は行われないことは言うまでもない。
【００３４】
まず、制御部５により垂直アドレスが０に指定され、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々先頭画素が出力されると、垂直補間部３Ａは、垂直補間演算を行うことなく、第０ラインの先頭画素をそのままアドレス（０，０）の画素として出力する。また、これに続き、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々２番目の画素が出力されると、垂直補間部３Ａは、第０ラインの２番目の画素をそのままアドレス（１，０）の画素として出力する。
【００３５】
この時点（図４に示す期間Ｔ１）では、垂直補間部３Ａからは、アドレス（０，０）の画素と、アドレス（１，０）の画素とが既に出力されているが、アドレス（０，０）の画素が演算データ保持部３Ｂを介して信号Ｓ８として水平補間部３Ｃに供給され、アドレス（１，０）の画素が信号Ｓ７として水平補間部３Ｃに供給される。この時、水平補間部３Ｃでは、水平アドレスが０に指定されており、水平補間部３Ｃは、水平補間演算を行うことなく、アドレス（０，０）の画素をそのまま出力する。
【００３６】
次に、期間Ｔ２になると、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々３番目の画素が出力され、垂直補間部３Ａは、垂直補間演算を行うことなく、第０ラインの３番目の画素をそのままアドレス（２，０）の画素として出力する。
【００３７】
そして、垂直補間部３Ａから出力されるアドレス（２，０）の画素が信号Ｓ７として水平補間部３Ｃに供給されるのと同時に、演算データ保持部３Ｂからはアドレス（１，０）の画素が信号Ｓ８、アドレス（０，０）の画素が信号Ｓ９として水平補間部３Ｃに供給される。この時、水平アドレスは０．７に指定されており、水平補間部３Ｃは、水平方向に隣接する３画素の画素値を用いて、アドレス（０．７，０）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ００を補間生成する。
【００３８】
次に、期間Ｔ３になると、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々４番目の画素が出力され、垂直補間部３Ａは、垂直補間演算を行うことなく、第０ラインの４番目の画素をそのままアドレス（３，０）の画素として出力する。
【００３９】
そして、垂直補間部３Ａから出力されるアドレス（３，０）の画素が信号Ｓ７として水平補間部３Ｃに供給されるのと同時に、演算データ保持部３Ｂからはアドレス（２，０）の画素が信号Ｓ８、アドレス（１，０）の画素が信号Ｓ９、アドレス（０，０）の画素が信号Ｓ１０として水平補間部３Ｃに供給される。この時、水平アドレスは１．４に指定されており、水平補間部３Ｃは、水平方向に隣接する４画素の画素値を用いて、アドレス（１．４，０）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ０１を補間生成する。
【００４０】
また、期間Ｔ４になると、同様に、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々５番目の画素が出力され、垂直補間部３Ａは、垂直補間演算を行うことなく、第０ラインの５番目の画素をそのままアドレス（４，０）の画素として出力する。
【００４１】
そして、垂直補間部３Ａから出力されるアドレス（４，０）の画素が信号Ｓ７として水平補間部３Ｃに供給されるのと同時に、演算データ保持部３Ｂからはアドレス（３，０）の画素が信号Ｓ８、アドレス（２，０）の画素が信号Ｓ９、アドレス（１，０）の画素が信号Ｓ１０として水平補間部３Ｃに供給される。この時、水平アドレスは２．１に指定されており、水平補間部３Ｃは、水平方向に隣接する４画素の画素値を用いて、アドレス（２．１，０）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ０２を補間生成する。
【００４２】
次に、期間Ｔ５となるが、期間Ｔ４と期間Ｔ５とでは、水平アドレスの整数部分が同一の値となっている。従って、水平方向の補間処理に使用する４画素は期間Ｔ４と期間Ｔ５とで同一にする。このような期間では、ラインメモリ２Ａ乃至２Ｄにおける画素の出力動作が一時的に停止されるよう図４（ｇ）に示す如く、ホールド許可信号ＨＥが出力される。
【００４３】
その結果、垂直補間部３Ａは、期間Ｔ５では、新たな画素を出力せず、この時、水平アドレスは２．８に指定されているため、水平補間部３Ｃは、水平方向に隣接する４画素（期間Ｔ４と同一のもの）の画素値を用いて、アドレス（２．８，０）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ０３を補間生成する。
【００４４】
また、期間Ｔ６になると、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々６番目の画素が出力され、垂直補間部３Ａは、垂直補間演算を行うことなく、第０ラインの６番目の画素をそのままアドレス（５，０）の画素として出力する。
【００４５】
そして、垂直補間部３Ａから出力されるアドレス（５，０）の画素が信号Ｓ７として水平補間部３Ｃに供給されるのと同時に、演算データ保持部３Ｂからはアドレス（４，０）の画素が信号Ｓ８、アドレス（３，０）の画素が信号Ｓ９、アドレス（２，０）の画素が信号Ｓ１０として水平補間部３Ｃに供給される。この時、水平アドレスは３．５に指定されており、水平補間部３Ｃは、水平方向に隣接する４画素の画素値を用いて、アドレス（３．５，０）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ０４を補間生成する。
【００４６】
そして、ラインメモリ２Ａ乃至２Ｃが第０ライン、第１ライン、第２ラインの夫々最終画素を出力するまで、このような動作を繰り返すことにより、１ライン分の補間ラインを得ることができる。このように、１ライン分の補間ラインが得られると、次に、図３に示す如く垂直アドレスが０．７に指定され、垂直アドレスが０．７となる補間ラインの生成が開始される。
【００４７】
垂直アドレスが０．７となる補間ラインの生成では、まず、期間Ｔ１においてラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々先頭の画素が出力される。この時、垂直補間部３Ａでは、垂直方向に隣接する３画素の画素値を用いて、図５（ａ）にＡ００で示すアドレス（０，０．７）の画素を補間生成する。
【００４８】
また、これに続き、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々２番目の画素が出力されると、垂直補間部３Ａは、垂直方向に隣接する３画素の画素値を用いて、Ａ０１で示すアドレス（１，０．７）の画素を補間生成する。
【００４９】
そして、アドレス（０，０．７）の画素が演算データ保持部３Ｂを介して信号Ｓ８として水平補間部３Ｃに供給され、アドレス（１，０．７）の画素が信号Ｓ７として水平補間部３Ｃに供給される。この時、水平アドレスは０に指定されており、水平補間部３Ｃは、水平補間演算を行うことなく、アドレス（０，０．７）の画素をそのまま出力する。
【００５０】
次に、期間Ｔ２になると、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々３番目の画素が出力され、垂直補間部３Ａでは、垂直方向に隣接する３画素の画素値を用いて、Ａ０２で示すアドレス（２，０．７）の画素を補間生成する。
【００５１】
そして、垂直補間部３Ａから出力されるアドレス（２，０．７）の画素が信号Ｓ７として水平補間部３Ｃに供給されるのと同時に、演算データ保持部３Ｂからはアドレス（１，０．７）の画素が信号Ｓ８、アドレス（０，０．７）の画素が信号Ｓ９として水平補間部３Ｃに供給される。この時、水平アドレスは０．７に指定されており、水平補間部３Ｃは、水平方向に隣接する３画素の画素値を用いて、アドレス（０．７，０．７）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ１０を補間生成する。
【００５２】
次に、期間Ｔ３になると、ラインメモリ２Ａ乃至２Ｃから、第０ライン、第１ライン、第２ラインの夫々４番目の画素が出力され、垂直補間部３Ａでは、垂直方向に隣接する３画素の画素値を用いて、Ａ０３で示すアドレス（３，０．７）の画素を補間生成する。
【００５３】
そして、垂直補間部３Ａから出力されるアドレス（３，０．７）の画素が信号Ｓ７として水平補間部３Ｃに供給されるのと同時に、演算データ保持部３Ｂからはアドレス（２，０．７）の画素が信号Ｓ８、アドレス（１，０．７）の画素が信号Ｓ９、アドレス（０，０．７）の画素が信号Ｓ１０として水平補間部３Ｃに供給される。この時、水平アドレスは１．４に指定されており、水平補間部３Ｃは、水平方向に隣接する４画素の画素値を用いて、アドレス（１．４，０．７）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ１１を補間生成する。
【００５４】
以降、垂直アドレスが０であった場合の処理と同様に、ホールド許可信号ＨＥが出力される期間では、ラインメモリ２Ａ乃至２Ｄにおける画素の出力動作を一時的に停止させつつ、ラインメモリ２Ａ乃至２Ｄが第０ライン、第１ライン、第２ラインの夫々最終画素を出力するまで同様の動作を繰り返すことにより、垂直アドレスが０．７となる１ライン分の補間ラインが得られる。
【００５５】
このようにして、期間Ａにおける２ライン分の補間演算を終えると、期間Ｂでは、周波数変換部１から出力される１ライン分のライン信号がラインメモリ２Ａに書き込まれると共に、ラインメモリ２Ｂ乃至２Ｄには、ラインメモリ２Ａ乃至２Ｃから読み出されるライン信号が書き込まれる。そして、垂直アドレスが１．４となる補間ラインの生成が開始される。
【００５６】
垂直アドレスが１．４となる補間ラインの生成では、期間Ｔ１においてラインメモリ２Ａ乃至２Ｄから、第０ライン、第１ライン、第２ライン、第３ラインの夫々先頭の画素が出力される。この時、垂直補間部３Ａでは、垂直方向に隣接する４画素の画素値を用いて、図５（ａ）にＡ１０で示すアドレス（０，１．４）の画素を補間生成する。
【００５７】
また、これに続き、ラインメモリ２Ａ乃至２Ｄから、第０ライン、第１ライン、第２ライン、第３ラインの夫々２番目の画素が出力されると、垂直補間部３Ａは、垂直方向に隣接する４画素の画素値を用いて、Ａ１１で示すアドレス（１，１．４）の画素を補間生成する。
【００５８】
そして、アドレス（０，１．４）の画素が演算データ保持部３Ｂを介して信号Ｓ８として水平補間部３Ｃに供給され、アドレス（１，１．４）の画素が信号Ｓ７として水平補間部３Ｃに供給される。この時、水平アドレスは０に指定されており、水平補間部３Ｃは、水平補間演算を行うことなく、アドレス（０，１．４）の画素をそのまま出力する。
【００５９】
次に、期間Ｔ２になると、ラインメモリ２Ａ乃至２Ｄから、第０ライン、第１ライン、第２ライン、第３ラインの夫々３番目の画素が出力され、垂直補間部３Ａでは、垂直方向に隣接する４画素の画素値を用いて、Ａ１２で示すアドレス（２，１．４）の画素を補間生成する。
【００６０】
そして、垂直補間部３Ａから出力されるアドレス（２，１．４）の画素が信号Ｓ７として水平補間部３Ｃに供給されるのと同時に、演算データ保持部３Ｂからはアドレス（１，１．４）の画素が信号Ｓ８、アドレス（０，１．４）の画素が信号Ｓ９として水平補間部３Ｃに供給される。この時、水平アドレスは０．７に指定されており、水平補間部３Ｃは、水平方向に隣接する３画素の画素値を用いて、アドレス（０．７，１．４）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ２０を補間生成する。
【００６１】
次に、期間Ｔ３になると、ラインメモリ２Ａ乃至２Ｄから、第０ライン、第１ライン、第２ライン、第３ラインの夫々４番目の画素が出力され、垂直補間部３Ａでは、垂直方向に隣接する４画素の画素値を用いて、Ａ１３で示すアドレス（３，１．４）の画素を補間生成する。
【００６２】
そして、垂直補間部３Ａから出力されるアドレス（３，１．４）の画素が信号Ｓ７として水平補間部３Ｃに供給されるのと同時に、演算データ保持部３Ｂからはアドレス（２，１．４）の画素が信号Ｓ８、アドレス（１，１．４）の画素が信号Ｓ９、アドレス（０，１．４）の画素が信号Ｓ１０として水平補間部３Ｃに供給される。この時、水平アドレスは１．４に指定されており、水平補間部３Ｃは、水平方向に隣接する４画素の画素値を用いて、アドレス（１．４，１．４）の画素を補間生成する。つまり、図５（ｂ）に示される画素Ｂ２１を補間生成する。
【００６３】
以降、垂直アドレスが０及び０．７であった場合の処理と同様に、ホールド許可信号ＨＥが出力される期間では、ラインメモリ２Ａ乃至２Ｄにおける画素の出力動作を一時的に停止させつつ、ラインメモリ２Ａ乃至２Ｄが第０ライン、第１ライン、第２ライン、第３ラインの夫々最終画素を出力するまで同様の動作を繰り返すことにより、垂直アドレスが１．４となる１ライン分の補間ラインが得られる。
【００６４】
このようにして、１フィールド又は１フレーム分のビデオ信号を最終ラインまでライン単位で周波数変換部１に供給し、これをライン遅延部２で遅延させた後に拡大処理部３で拡大処理することにより、１フィールド又は１フレーム分の拡大画像が得られる。
【００６５】
この拡大画像は、前述の如く、入来するビデオ信号Ｓ１に対して水平及び垂直方向に１．４倍の拡大処理を施したものであるため、拡大処理部３から出力される画素信号を一画面分集めると、水平及び垂直方向に画素サンプル数が１．４倍に増加した拡大画像が得られることになるが、拡大処理部３の出力は、この画素サンプルを一画面分集められることなく、順次縮小処理部４に供給される。
【００６６】
次に、縮小処理部４について説明する。縮小処理部４は、拡大処理部３から出力される画素信号に対して水平方向のフィルタ処理を施す水平ローパスフィルタ４Ａ（水平ＬＰＦ）、水平ＬＰＦ４Ａから連続して出力される画素信号のｍ画素に１画素を抽出して出力する水平間引き部４Ｂ、水平間引き部４Ｂから出力される画素信号に対して垂直方向のフィルタ処理を施す垂直ローパスフィルタ４Ｃ（垂直ＬＰＦ）、垂直ＬＰＦ４Ｃから連続して出力されるライン信号のｎラインに１ラインを抽出して出力する垂直間引き部により構成される。
【００６７】
なお、ここでは図示しないが、水平ＬＰＦ４Ａは、拡大処理部３から出力される画素信号の水平方向のフィルタ処理のために、その内部に複数の遅延素子を備え、各遅延素子からの出力に適切な係数を乗じることにより、後段の水平間引き部４Ｂにおける間引き処理に応じた水平方向のフィルタ処理を実現している。また、垂直ＬＰＦ４Ｃは、水平間引き部４Ｂから出力されるライン信号の垂直方向のフィルタ処理のために、その内部に縦列接続される複数のラインメモリを備え、各ラインメモリからの出力に適切な係数を乗じることにより、後段の垂直間引き部４Ｄにおける間引き処理に応じた垂直方向のフィルタ処理を実現している。
【００６８】
以下、縮小処理部４における水平方向及び垂直方向の画像縮小処理について説明する。拡大処理部３の水平補間部３Ｃから出力される画素信号は、画素単位で水平ＬＰＦ４Ａに供給され、水平ＬＰＦ４Ａは、前述の如く図示しない遅延素子にてこの画素信号を遅延させる。そして、水平方向のフィルタ処理を終えた画素信号が画素単位で水平間引き部４Ｂに出力される。
【００６９】
図６（ａ）は、水平間引き部４Ｂにおける水平方向の間引き処理を説明するための図である。ここでは、前述の如く、水平方向に隣接する２画素のうち、１画素が間引かれる。つまり、水平補間部３Ｃが出力した画素信号のうち、水平アドレスが０．７及びその整数倍となる画素信号が間引かれ、水平アドレスが１．４及びその整数倍となる画素信号のみが出力される。
【００７０】
そして、このような水平方向の間引き処理を終えた画素信号は、垂直ＬＰＦ４Ｃに供給される。垂直ＬＰＦ４Ｃは、前述の如く図示しない縦列接続されるラインメモリを用いて、水平間引き部４Ｂの出力にライン遅延を施し、複数ラインのライン信号に対して垂直方向のフィルタ処理を施す。そして、垂直方向にフィルタ処理を終えた画素信号が画素単位で垂直間引き部４Ｄに出力される。
【００７１】
図６（ｂ）は、垂直間引き部４Ｄにおける垂直方向の間引き処理を説明するための図である。ここでは、前述の如く、垂直方向に隣接する２画素のうち、１画素が間引かれる。つまり、水平間引き部４Ｂが出力した画素信号のうち、垂直アドレスが０．７及びその整数倍となる画素信号が間引かれ、垂直アドレスが１．４及びその整数倍となる画素信号のみが出力される。
【００７２】
以上のような処理を１フィールド又は１フレーム分のビデオ信号に対して行うことにより、水平及び垂直方向の画素サンプル数が０．７倍に減少した縮小画像が得られる。一例として、入来するビデオ信号の水平方向の画素サンプル数が７２０、垂直方向の画素サンプル数が４８０であった場合には、０．７倍の縮小処理により水平方向の画素サンプル数が５０４、垂直方向の画素サンプル数が３３６である画像信号を出力することができる。また、周波数変換部１に入来するビデオ信号の１フィールド期間又は１フレーム期間に、縮小処理部４から１枚分の画像信号を出力できるため、動画像信号の画素サンプル数をリアルタイムで変換することが可能である。
【００７３】
このように、本実施例に係る画素密度変換装置によれば、最終的に得ようとしている画像信号の画素サンプル数に対して、この整数倍の画素サンプル数を有する画像信号が拡大処理部３によって得られ、縮小処理部４では、画素サンプルを水平及び垂直方向に整数分の１に間引く処理のみ行われるため、水平ＬＰＦ４Ａ及び垂直ＬＰＦ４Ｃのタップ数を少なくしつつ、任意倍率の画像信号を得ることが可能となる。
【００７４】
また、拡大処理部３にて垂直方向の補間処理を水平方向の補間処理とが同時に行われるよう、制御部５が各部の動作を制御しているため、フィールドメモリやフレームメモリを用いることなく任意倍率の画像信号を得ることができ、システムＬＳＩに組み込む場合にチップサイズの小型化をはかることが可能となる。
【００７５】
なお、以上の実施例では、入来するビデオ信号に対して、水平方向の画素サンプル数を０．７倍の数、垂直方向の画素サンプル数を０．７倍の数にする処理について説明したが、これとは異なる倍率にも変換可能であることは言うまでもない。ここで、拡大処理部３における拡大倍率を大きくすれば、それに応じて内部クロックを高速にする必要があることは言うまでもないが、以下、この内部クロックと拡大処理部３における拡大倍率との関係について説明する。
【００７６】
図７に示す如く、周波数変換部１に入来するビデオ信号の水平同期パルスの周期をＸ（秒）、周波数変換部１が出力する１ライン分のビデオ信号の伝送に必要な時間をＹ（秒）、拡大処理部３における画像の水平方向の拡大倍率をＭ倍、拡大処理部３における画像の垂直方向の拡大倍率をＮ倍とした場合、拡大処理部３が１ライン分の拡大後の信号を出力するには、Ｙ×Ｍ（秒）の時間を要する。
【００７７】
また、垂直方向の拡大倍率Ｎが整数であると仮定した場合、１つの水平同期パルスの期間内にＮ本のラインを生成する必要があるため、このＮ本のラインの出力には、Ｙ×Ｍ×Ｎ（秒）の時間を要する。更に、図３の期間Ｂで示した如く、１つの水平同期パルス期間毎に、ラインメモリ２Ａ乃至２Ｄの内容を更新する必要があるため、そのラインメモリの内容の更新時間を加味すると全体としてＹ×Ｍ×Ｎ＋１＝（Ｍ×Ｎ＋１）×Ｙ（秒）の時間が必要となる。
【００７８】
従って、Ｘ＞（Ｍ×Ｎ＋１）×Ｙの条件を満たすようＹの値を設定することで、入来するビデオ信号のリアルタイムの拡大処理を実現できる。なお、この時の入来ビデオ信号における水平方向のサンプル数をＱとした場合、周波数変換部１が出力する１サンプル分のビデオ信号の伝送に必要な時間は、Ｙ／Ｑ（秒）であるため、内部クロックの周波数ｆは、ｆ＝Ｑ／Ｙの値に設定すれば良い。
【００７９】
一方、垂直方向の拡大倍率Ｎが整数でない場合、つまり、上記実施例の如く少数である場合には、少数点以下の値を繰り上げた整数値を上記計算式に代入すれば良い。つまり、垂直方向に１．４倍の拡大処理を行う場合には、１つの水平同期パルスの期間内に２本のラインを生成する場合と、１本のラインのみ生成する場合とがあるため、Ｎの値を２として演算を行えば良い。
【００８０】
以上のようにして画素密度を変換した画像信号は、例えば、図示しない記録媒体上に一旦記録された後、適宜圧縮処理、伝送処理等を行うことが可能であるが、この画像信号は、本画素密度変換装置により元のビデオ信号へと戻すことも可能である。なお、この時、周波数変換部１のラインメモリ１Ａ及び１Ｂに供給される書き込みクロックは、周波数変換部１に入来する画像信号に同期したものとなることは言うまでもない。
【００８１】
例えば、上述の実施例の如く、０．７倍に変換された画像信号を元のビデオ信号へと戻す際は、拡大処理部３において１０／７倍の拡大処理を行い、縮小処理部４の縮小動作を停止させれば良い。この時、縮小処理部４から出力される信号は、ビデオ信号の水平同期信号に同期したものである必要があるため、この水平同期信号に同期したライン信号が生成されるよう、垂直補間部３Ａにおける垂直アドレスは各水平同期パルス期間毎に１ずつ進めることになる。
【００８２】
一方、元のビデオ信号に対して１．４倍等の拡大処理が施されている画像信号を元のビデオ信号に戻すためには、拡大処理部３において、一旦ビデオ信号の整数倍の画像信号を得て、これに対して整数分の１倍の縮小処理を行う必要がある。従って、例えば１．５倍に変換された画像信号を元のビデオ信号へと戻す際は、拡大処理部３において４／３倍の拡大処理を行った後に、縮小処理部４において１／２倍の縮小処理を行ったり、また、拡大処理部３において２倍の拡大処理を行った後に、縮小処理部４において１／３倍の縮小処理を行えば良い。
【００８３】
この時、縮小処理部４から出力される信号は、上記と同様に、ビデオ信号の水平同期信号に同期したものである必要があるため、この水平同期信号に同期したライン信号が生成されるよう、垂直補間部３Ａにおける垂直アドレスは、各水平同期パルス期間毎に２又は３ずつ進めることになる。
【００８４】
拡大処理された画像信号を元のビデオ信号に戻す際も、縮小処理された画像信号を元のビデオ信号に戻す際も同様であるが、縮小処理部４から出力される画像信号は、ビデオ信号のクロックに同期したものである必要があるため、図示しないラインメモリ等を用いて、縮小処理部４からの出力に周波数変換を行えば、元のビデオ信号を得ることが可能となる。
【００８５】
【発明の効果】
本発明によれば、水平方向の補間処理と垂直方向の補間処理とが同時に行えるよう制御部が拡大処理部を制御しているため、フィールドメモリやフレームメモリを用いることなく、任意倍率の拡大及び縮小処理を行うことが可能となる。また、縮小処理部では、整数分の１の間引き処理のみ行われるため、フィルタ構成を大幅に簡素化することができ、回路規模を小さく抑えることができるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施例に係る画素密度変換装置を説明するためのブロック図である。
【図２】周波数変換部１における周波数変換の動作を示すタイミングチャートである。
【図３】ライン遅延部２における動作と垂直補間部３Ａにおける動作を説明するためのタイミングチャートである。
【図４】水平補間部３Ｃにおける動作を説明するためのタイミングチャートである。
【図５】拡大処理部３の動作を説明するための説明図である。
【図６】縮小処理部４の動作を説明するための説明図である。
【図７】内部クロックと拡大処理部３における拡大倍率との関係についての説明図である。
【符号の説明】
１…周波数変換部
１Ａ，１Ｂ…ラインメモリ
２…ライン遅延部
２Ａ，２Ｂ，２Ｃ，２Ｄ…ラインメモリ
３…拡大処理部
３Ａ…垂直補間部
３Ｂ…演算データ保持部
３Ｃ…水平補間部
４…縮小処理部
４Ａ…水平ＬＰＦ
４Ｂ…水平間引き部
４Ｃ…垂直ＬＰＦ
４Ｄ…垂直間引き部
５…制御部
【図１】
2004297314.tif 000003
【図２】
2004297314.tif 000004
【図３】
2004297314.tif 000005
【図４】
2004297314.tif 000006
【図５】
2004297314.tif 000007
【図６】
2004297314.tif 000008
【図７】
2004297314.tif 000009