(57)【要約】【課題】  従来は画像処理用画像構造変換装置が持つ各ラインバッファの長さは、画像の水平方向の分割により一つの画像処理部あたりは短くなるものの、全体では分割しないときと同じであり、ラインバッファ回路量の点からはメリットはない。【解決手段】  画像構造検出器３は、７２０ｐ信号の画像構造を検出する。変換制御器４は画像構造に応じて、分割数を決める。画像構造変換はメモリ制御器５のアドレスアクセスにより、フレームメモリ２から７２０ｐ信号を１フレームの画像が水平方向に４分割されて読み出すことで実行される。４つの領域の画像信号は、垂直方向に統合されて水平３６０画素、垂直３０００本の画像構造変換後の画像信号を構成する。画像処理部７はこの画像構造変換後の画像信号に対して、７２０ｐ信号の水平方向画素数１６５０画素より大幅に少ない３６０画素の固定長のラインメモリを使用して画像処理を行うことができる。【選択図】            図１
2005045701.tif 000002
【特許請求の範囲】
【請求項１】
ラスタースキャンの走査構造で第１の画像構造の第１の画像信号を、その画像信号の１走査線中の水平画素数よりも小なる所定の水平画素数を持つ第２の画像構造の第２の画像信号に変換する画像処理用画像構造変換方法であって、
前記第１の画像信号に対して画像処理を行う際に、入力される前記第１の画像信号の１走査線中の水平画素数並びに１フィールドないし１フレーム中の走査線数から前記第１の画像構造を検出する第１のステップと、
前記第１の画像構造と固定の水平画素数を持つ前記第２の画像構造の関係から画像変換構造方法を決定して、制御信号を出力する第２のステップと、
供給された前記第１の画像信号の１フィールド又は１フレームを、前記制御信号に従って水平方向に各々同一の前記所定の水平画素数をもつ複数の領域に分割すると共に、分割された前記複数の領域が垂直方向に結合された前記第２の画像構造の第２の画像信号へ変換する第３のステップと、
固定の画素数を持つ水平遅延を用いて、前記第２の画像構造の第２の画像信号の画素入力順に画像処理を行う第４のステップと
を含むことを特徴とする画像処理用画像構造変換方法。
【請求項２】
画像処理された前記第２の画像構造の第２の画像信号を、固定の垂直及び水平画素ブロックに変換して、ブロック単位に符号化する第５のステップを更に含むことを特徴とする請求項１記載の画像処理用画像構造変換方法。
【請求項３】
ラスタースキャンの走査構造で第１の画像構造の第１の画像信号を、その画像信号の１走査線中の水平画素数よりも小なる所定の水平画素数を持つ第２の画像構造の第２の画像信号に変換する画像処理用画像構造変換装置であって、
前記第１の画像信号に対して画像処理を行う際に、入力される前記第１の画像信号の１走査線中の水平画素数並びに１フィールドないし１フレーム中の走査線数から前記第１の画像構造を検出する画像構造検出手段と、
前記第１の画像構造と固定の水平画素数を持つ前記第２の画像構造の関係から画像変換構造方法を決定して、制御信号を出力する画像構造変換制御手段と、
供給された前記第１の画像信号の１フィールド又は１フレームを、前記制御信号に従って水平方向に各々同一の前記所定の水平画素数をもつ複数の領域に分割すると共に、分割された前記複数の領域が垂直方向に結合された前記第２の画像構造の第２の画像信号へ変換する画像構造変換手段と、
固定の画素数を持つ水平遅延を用いて、前記第２の画像構造の第２の画像信号の画素入力順に画像処理を行う画像処理手段と
を有することを特徴とする画像処理用画像構造変換装置。
【請求項４】
画像処理された前記第２の画像構造の第２の画像信号を、固定の垂直及び水平画素ブロックに変換して、ブロック単位に符号化する画像ブロック変換手段を更に有することを特徴とする請求項３記載の画像処理用画像構造変換装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理用画像構造変換方法及び画像処理用画像構造変換装置に係り、特に画像信号の処理、記録、伝送、表示において、与えられた画像信号を異なった画像フォーマットの画像信号に変換する場合に、入来画像信号の水平方向または垂直方向の画素列を、予め設定されたサンプル数変換比（変換後サンプル数／変換前サンプル数）でサンプル数変換する画像処理用画像構造変換方法及び画像処理用画像構造変換装置に関する。
【背景技術】
【０００２】
まず、画像処理用画像構造変換について説明する。動画像信号は、通常ラスタースキャンと呼ばれる走査順で伝送される。この様な動画像信号を処理する場合、動き補償や直交変換を行う場合には、１６×１６画素や８×８画素などの２次元ブロック単位に画素配列を変換してから処理するが、各種画像の走査線構造変換（インターレース走査と順次走査の間の変換）や帯域制限、画像強調、画素数やライン数の変換などでは、ラスタースキャンと呼ばれる走査順のまま処理される。
【０００３】
一方、処理量が多く一つの処理回路ですべての処理ができない場合に、画像を分割して並列的に処理することが行われる（例えば、特許文献１参照）。画像を分割する場合、通常の動画像は主走査線が上下方向なので、通常水平方向にＮ（２から８程度）分割すると、同時に処理し易く、分割に必要なメモリや分割統合による遅延も少ない。また、動き補償処理などを行う場合は、符号化対象ブロックの外の画素も必要になるので、分割時にある程度重複部分をもたせる。これにより、個々の処理における水平方向の画素数は１／Ｎではなく、重複部分の分のみ多くなる。
【０００４】
次に、画像を水平方向に分割する従来の画像処理用画像構造変換について説明する。図７は従来の画像処理用画像構造変換装置の一例のブロック図を示す。画像入力端子１１より入来するディジタルＨＤＴＶ画像（１０８０ｉ）信号は、変換制御器１２と４つのスイッチ１３ａ、１３ｂ、１３ｃ及び１３ｄに供給される。１０８０ｉ信号は、水平方向に全体で２２００画素あり、０番目から２１９９番目の画素のなかで、１９２番目から２１１１番目の１９２０画素が有効画素となっている。
【０００５】
１０８０ｉ信号の水平分割は、図８（Ａ）に示すように、２２００画素の４分割で５５０画素ずつである。１９２０画素の有効画素は４分割すると４８０画素なので、５５０画素との差である７０画素は重複して切り取られる。有効画素外の０番目から１５６番目と２１４７番目から２１９９番目の画素は捨てられる。
【０００６】
スイッチ１３ａ、１３ｂ、１３ｃ及び１３ｄは、図８（Ｂ）に示した４つの分割領域のうち、対応する分割領域の画素が入来した際に接続され、対応して設けられた後続のラインバッファ１４ａ、１４ｂ、１４ｃ及び１４ｄに画像信号を取り込む。第１の分割領域は水平方向の１５７番目から７０６番目までの計５５０画素で、スイッチ１３ａを通してラインバッファ１４ａに供給される。
【０００７】
同様に、水平方向の６３７番目から１１８６番目までの計５５０画素の第２の分割領域の画像信号は、スイッチ１３ｂを通してラインバッファ１４ｂに取り込まれ、水平方向の１１１７番目から１６６６番目までの計５５０画素の第３の分割領域の画像信号は、スイッチ１３ｃを通してラインバッファ１４ｃに取り込まれ、水平方向の１５９７番目から２１４６番目までの計５５０画素の第４の分割領域の画像信号は、スイッチ１３ｄを通してラインバッファ１４ｄに取り込まれる。
【０００８】
ラインバッファ１４ａ、１４ｂ、１４ｃ及び１４ｄは、少なくとも５５０画素の容量を持ち、書き込み速度は１０８０ｉ信号と同じであるが、読み出し速度は１０８０ｉ信号の４分の１になっている。ラインバッファ１４ａ、１４ｂ、１４ｃ及び１４ｄに各々取り込まれた５５０画素が、１ライン（２２００画素）分の時間で画像処理部１５ａ、１５ｂ、１５ｃ及び１５ｄにそれぞれ出力される。
【０００９】
画像処理部１５ａ、１５ｂ、１５ｃ及び１５ｄは、図８（Ｂ）に示した４つの分割領域の５５０画素の画像信号の画像処理を行う。分割は水平方向であるが、処理は垂直方向や時間方向に対して行われてもよい。画像処理部１５ａ、１５ｂ、１５ｃ及び１５ｄの各処理動作は共通であり、全体を１系統で処理する場合と比較して４分の１の処理能力でよい。
【００１０】
画像処理部１５ａ、１５ｂ、１５ｃ及び１５ｄでの画像処理が済んだ各画像信号は、ラインバッファ１６ａ、１６ｂ、１６ｃ及び１６ｄへ供給される。その際、重複部分は捨てられ、中央部分のみが使われる。つまり、最初の３５画素と最後の３５画素を除いた、４８０画素が各々４８０画素の容量を持つラインバッファ１６ａ、１６ｂ、１６ｃ及び１６ｄで保持される。
【００１１】
これにより、ラインバッファ１６ａには第１の領域の水平方向１９２番目から６７１番目までの４８０画素が保持され、ラインバッファ１６ｂには第２の領域の水平方向６７２番目から１１５１番目までの４８０画素が保持され、ラインバッファ１６ｃには第３の領域の水平方向１１５２番目から１６３１番目までの４８０画素が保持され、ラインバッファ１６ｄには第４の領域の水平方向１６３２番目から２１１１番目までの４８０画素が保持される。
【００１２】
ラインバッファ１６ａ、１６ｂ、１６ｃ及び１６ｄは、少なくとも４８０画素の容量を持ち、書き込み速度は１０８０ｉ信号の４分の１であるが、読み出し速度は１０８０ｉ信号と同じになっている。上記のラインバッファ１４ａ〜１４ｄに書き込まれた画素の水平位置、ラインバッファ１６ａ〜１６ｄに書き込まれた画素の水平位置とをまとめると、表１に示すようになる。
【００１３】
【表１】
2005045701.tif 000003
【００１４】
スイッチ１７は、ラインバッファ１６ａ、１６ｂ、１６ｃ及び１６ｄから書き込み時の４倍の速度、すなわち１０８０ｉ信号と同じ速度で読み出された第１、第２、第３、第４の各分割領域の４８０画素ずつを順次選択して時系列的に合成して得た１９２０画素に、有効画素外の画素と合わせて元の２２００画素の同じ走査線構造の画像信号を得て、図８（Ａ）に示した結合された処理済み１０８０ｉ信号として画像出力端子１８へ出力する。なお、変換制御器１２は、画像入力端子１１に入来する１０８０ｉ信号の水平画素番号を検出し、スイッチ１３ａ〜１３ｄ、１７を制御する。
【００１５】
【特許文献１】特開平１０−３０４１８４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかるに、従来の画像処理用画像構造変換装置は、分割して処理速度を落とすためのものであるので、画像処理用画像構造変換装置が持つ各ラインバッファ（ラインメモリ）の長さは、一つの画像処理部あたりは短くなるものの、全体では分割しないときと同じであり、ラインバッファ回路量の点からはメリットはない。また、入来画像フォーマットが変化すると、ラインバッファの長さ（遅延画素数）も変える必要がある。更に、画像処理部において、多くのラインバッファを用いる場合には、ラインバッファ回路量が非常に大きくなる。
【００１７】
本発明は以上の点に着目してなされたもので、入力画像信号の構造に応じて、所定の水平画像数になるようにフレームやフィールドを水平分割し、分割領域を垂直方向に結合して処理することで、入力画像信号の構造が変化しても固定長の短いラインメモリ回路で処理が可能になる画像処理用画像構造変換方法及び画像処理用画像構造変換装置を提供することを目的とする。
【課題を解決するための手段】
【００１８】
上記の目的を達成するため、本発明の画像処理用画像構造変換方法は、ラスタースキャンの走査構造で第１の画像構造の第１の画像信号を、その画像信号の１走査線中の水平画素数よりも小なる所定の水平画素数を持つ第２の画像構造の第２の画像信号に変換する画像処理用画像構造変換方法であって、第１の画像信号に対して画像処理を行う際に、入力される第１の画像信号の１走査線中の水平画素数並びに１フィールドないし１フレーム中の走査線数から第１の画像構造を検出する第１のステップと、第１の画像構造と固定の水平画素数を持つ第２の画像構造の関係から画像変換構造方法を決定して、制御信号を出力する第２のステップと、供給された第１の画像信号の１フィールド又は１フレームを、制御信号に従って水平方向に各々同一の所定の水平画素数をもつ複数の領域に分割すると共に、分割された複数の領域が垂直方向に結合された第２の画像構造の第２の画像信号へ変換する第３のステップと、固定の画素数を持つ水平遅延を用いて、第２の画像構造の第２の画像信号の画素入力順に画像処理を行う第４のステップとを含むことを特徴とする。
【００１９】
また、上記の目的を達成するため、本発明の画像処理用画像構造変換装置は、ラスタースキャンの走査構造で第１の画像構造の第１の画像信号を、その画像信号の１走査線中の水平画素数よりも小なる所定の水平画素数を持つ第２の画像構造の第２の画像信号に変換する画像処理用画像構造変換装置であって、第１の画像信号に対して画像処理を行う際に、入力される第１の画像信号の１走査線中の水平画素数並びに１フィールドないし１フレーム中の走査線数から第１の画像構造を検出する画像構造検出手段と、第１の画像構造と固定の水平画素数を持つ第２の画像構造の関係から画像変換構造方法を決定して、制御信号を出力する画像構造変換制御手段と、供給された第１の画像信号の１フィールド又は１フレームを、制御信号に従って水平方向に各々同一の所定の水平画素数をもつ複数の領域に分割すると共に、分割された複数の領域が垂直方向に結合された第２の画像構造の第２の画像信号へ変換する画像構造変換手段と、固定の画素数を持つ水平遅延を用いて、第２の画像構造の第２の画像信号の画素入力順に画像処理を行う画像処理手段とを有する構成としたものである。
【００２０】
本発明の画像処理用画像構造変換方法及び画像処理用画像構造変換装置では、ラスタースキャンの走査構造で第１の画像構造の第１の画像信号を、第１の画像信号の１フィールド又は１フレームを、水平方向に各々同一の第１の画像信号の水平画素数よりも小なる所定の水平画素数をもつ複数の領域に分割すると共に、分割された複数の領域が垂直方向に結合された第２の画像構造の第２の画像信号へ変換した後に、画像処理を行うようにしたため、入力される第１の画像信号の画像構造が変化しても、画像処理の際には所定の水平画素数程度の固定長の短い水平遅延手段により画像処理ができる。
【００２１】
また、上記の目的を達成するため、本発明の画像処理用画像構造変換方法は、画像処理された第２の画像構造の第２の画像信号を、固定の垂直及び水平画素ブロックに変換し、ブロック単位で符号化する第５のステップを更に含むことを特徴とする。
【００２２】
また、上記の目的を達成するため、本発明の画像処理用画像構造変換装置は、画像処理された第２の画像構造の第２の画像信号を、固定の垂直及び水平画素ブロックに変換し、ブロック単位で符号化する画像ブロック変換手段を更に有することを特徴とする。
【００２３】
上記の本発明の画像処理用画像構造変換方法及び画像処理用画像構造変換装置では、画像処理された第２の画像信号を、固定の垂直及び水平画素ブロックに変換し、ブロック単位で符号化するようにしたため、符号化の前段階で必要な画像処理において、所定の水平画素数程度の固定長の短い水平遅延手段により画像処理ができる。
【発明の効果】
【００２４】
本発明によれば、第１の画像信号の１フィールド又は１フレームを、水平方向に各々同一の第１の画像信号の水平画素数よりも小なる所定の水平画素数をもつ複数の領域に分割すると共に、分割された複数の領域が垂直方向に結合された第２の画像構造の第２の画像信号へ変換した後に、画像処理を行うことにより、入力される第１の画像信号の画像構造が変化しても、画像処理の際には所定の水平画素数程度の固定長の短い水平遅延手段により画像処理ができるようにしたため、画像構造変換をしない場合に比し画像処理の処理量や回路量を減らすことができる。
【００２５】
また、本発明によれば、画像処理された第２の画像信号を、固定の垂直及び水平画素ブロックに変換し、ブロック単位で符号化することにより、符号化の前段階で必要な画像処理において、所定の水平画素数程度の固定長の短い水平遅延手段により画像処理ができるようにしたため、画像処理の処理量や回路量を減らすことができる。
【発明を実施するための最良の形態】
【００２６】
次に、本発明を実施するための最良の形態について説明する。図１は本発明になる画像処理用画像構造変換装置の第１の実施の形態のブロック図を示す。本実施の形態は、図７の従来装置と比較して、画像処理部７が一つになっており、ラインバッファの替わりにフレームメモリが設けられている。
【００２７】
図１において、画像入力端子１より入来するディジタルＨＤＴＶ画像（７２０ｐ）信号は、フレームメモリ２と画像構造検出器３にそれぞれ供給される。７２０ｐ信号は水平方向全体で１６５０画素であり、同期部分を除いた２６０番目から１５３９番目までの計１２８０画素が有効画素となっている。なお、７２０ｐの規格であるＳＭＰＴＥ（Society of Motion Pictures and Television Engineers）２７６では０番目から１２７９番目までの計１２８０画素が有効画素であるが、ここでは１０８０ｉに合わせて、水平同期信号の中心からの番号とする。フレームメモリ２は入来する７２０ｐ信号を、同期部分を含めてフレーム分（１６５０画素×７５０本）蓄える。また、フレームメモリ２は、読み出し中に書き込みを行うので２フレームの容量が必要である。
【００２８】
画像構造検出器３は、画像入力端子１より入来するディジタルＨＤＴＶ画像（７２０ｐ）信号の画像構造（１フレームまたはフィールドの、水平画素数、垂直走査線数）を検出する。これは入来画像信号の信号速度と垂直及び水平同期信号の関係から検出される。
【００２９】
画像構造検出器３にて検出された画像構造の情報は変換制御器４に与えられる。変換制御器４は画像構造に応じて、分割数を決める。ここでは、水平画素幅はあくまで固定とするが、重複領域を多少変えることは可能である。動画像フォーマットは任意に存在するわけではなく、ディジタル放送用として規定されたものと、コンピュータディスプレイ用のものである。水平有効画素数は６４０、７２０、８００、９６０、１０２４、１１５２、１２８０、１４４０、１６００、１９２０などである。変換制御器４で決定された分割数の情報はメモリ制御器５と６にそれぞれ供給される。
【００３０】
画像構造変換はメモリ制御器５のアドレスアクセスにより、図２（Ａ）に示されるように１フレームの画像が水平方向に４分割された各分割領域毎に、フレームメモリ２から７２０ｐ信号を読み出すことで実行される。７２０ｐ信号に対する領域分割は水平方向であり、１６５０画素の４分割である４１２．５画素に対しやや少ない３６０画素幅とする。７２０ｐ信号の有効画素数１２８０画素を４分割すると３２０画素なので、３６０画素との差である４０画素は重複する。その結果、有効画素外の０番目から２３９番目までの２４０画素と１５６０番目から１６４９番目までの９０画素が捨てられる。
【００３１】
フレームメモリ２から出力される画像構造変換後の画像信号の０本目から７４９本目までの走査線を構成する第１の領域は、各走査線が７２０ｐ信号の水平方向２４０番目から５９９番目までの３６０画素からなる。同様に、画像構造変換後の画像信号の７５０本目から１４９９本目までの走査線を構成する第２の領域は、各走査線が７２０ｐ信号の水平方向５６０番目から９１９番目までの３６０画素からなり、画像構造変換後の画像信号の１５００本目から２２４９本目までの走査線を構成する第３の領域は、各走査線が７２０ｐ信号の水平方向８８０番目から１２３９番目までの３６０画素からなり、画像構造変換後の画像信号の２２５０本目から２９９９本目までの走査線を構成する第４の領域は、各走査線が７２０ｐ信号の水平方向１２００番目から１５５９番目までの３６０画素からなる。
【００３２】
このように、メモリ制御器５によりフレームメモリ２から表２の変換域でのライン番号と入力画像水平位置に従って、第１、第２、第３及び第４の領域の画像信号が出力される。上記の第１乃至第４の領域の４つの領域は図２（Ｂ）に示すように垂直方向に統合されて画像構造変換後の画像信号を構成しており、これにより水平３６０画素、垂直３０００本の画像が形成され、画像処理部７に供給される。
【００３３】
【表２】
2005045701.tif 000004
画像処理部７は、フレームメモリ２から読み出された水平３６０画素、垂直３０００本の画像構造変換後の画像信号に対して画像処理を行う。その処理内容は、動き補償などを含む各種フィルタリングなどであるが、画像構造変換とは関係なく垂直方向や時間方向に対して行われてもよい。
【００３４】
画像処理部７において画像処理に用いるラインメモリは、３６０画素の固定長となり、７２０ｐ信号の水平方向画素数１６５０画素より大幅に少なくなる。ラインメモリはＬＳＩ（大規模半導体集積回路）内部において、ＳＲＡＭ(Static Random Access Memory)またはゲート素子で構成されるので、処理ＬＳＩの外部に汎用ＤＲＡＭ（Dynamic Random Access Memory）で構成されるフレームメモリと比較して、ラインメモリを大量に必要とする信号処理では、回路規模が問題となりやすいが、本実施の形態では水平画素数が少ないことにより大幅に回路量が削減できる。
【００３５】
また、本実施の形態では画像構造変換のためにフレームメモリ２、８が必要になるが、汎用ＤＲＡＭは容量が決まっているので、画像処理機器ではメモリ領域が空いている場合が多く、その部分を活用することで実現することが期待できる。
【００３６】
画像処理部７での画像処理が済んだ画像信号は、フレームメモリ８へ供給される。その際、重複部分は捨てられ中央部分のみが使われる。つまり、水平右端の２０画素と水平左端の２０画素とを除いた、水平３２０画素がフレームメモリ８で保持される。フレームメモリ８は少なくとも３２０画素×３０００本×２（書き込みと読み出し）の容量を持つ。
【００３７】
メモリ制御器６は、フレームメモリ８のアドレスをアクセスし、まず、第１の領域である０本目走査線の３２０画素を読み出して、水平２６０番目から５７９番目までの画素とする。同様に、表２の変換域でのライン番号と出力画像水平位置に従って、第２の領域である７５０本目走査線、第３の領域である１５００本目走査線、第４の領域である２２５０本目走査線の各３２０画素を順次に読み出し、同期部分と時系列的に合成して全部で１６５０画素を持つ７２０ｐ信号の０本目の走査線を形成する。
【００３８】
続けて、フレームメモリ８から１本目、７５１本目、１５０１本目、２２５１本目の走査線の各３２０画素を読み出し同様に時系列的に合成して、水平方向１６５０画素の１本目の走査線とする。合成された処理済み画像信号は、画像出力端子９から出力される。この処理を順次行うことで図２（Ａ）に示すような画素構成の７２０ｐ信号を形成する。
【００３９】
次に、画像入力端子１の入来画像信号が１０８０ｉ信号になった場合について説明する。１０８０ｉ信号は水平有効画素数が１９２０画素であり、７２０ｐ信号に対して水平有効画素数が１．５倍になっている。このため、７２０ｐ信号で水平方向に４分割していたものを、１０８０ｉ信号では図３（Ａ）に示すように水平方向に６分割すると分割後の水平幅は同じ３６０画素で、重複も同じ４０画素となる。また、入来画像信号である１０８０ｉ信号はインターレース走査であるので、フレームメモリ２、８は２２００画素×５６３ラインのフィールド画像を蓄積することになり、実質フィールドメモリとなる。
【００４０】
フレームメモリ２から出力される画像構造変換後の画像信号の０本目から５６２本目の走査線を構成する第１の領域は、各走査線が１０８０ｉ信号の水平方向１７２番目から５３１番目までの計３６０画素からなる。同様に、画像構造変換後の画像信号の５６３本目から１１２４本目の走査線を構成する第２の領域は、各走査線が１０８０ｉ信号の水平方向４９２番目から８５１番目までの計３６０画素からなり、画像構造変換後の画像信号の１１２５本目から１６８７本目の走査線を構成する第３の領域は、各走査線が１０８０ｉ信号の水平方向８１２番目から１１７１番目までの計３６０画素からなり、画像構造変換後の画像信号の１６８８本目から２２４９本目の走査線を構成する第４の領域は、各走査線が１０８０ｉ信号の水平方向１１３２番目から１４９１番目までの計３６０画素からなり、画像構造変換後の画像信号の２２５０本目から２８１２本目の走査線を構成する第５の領域は、各走査線が１０８０ｉ信号の水平方向１４５２番目から１８１１番目までの計３６０画素からなり、画像構造変換後の画像信号の２８１３本目から３３７４本目の走査線を構成する第６の領域は、各走査線が１０８０ｉ信号の水平方向１７７２番目から２１３１番目までの計３６０画素からなる。
【００４１】
このように、メモリ制御器５によりフレームメモリ２から表３の変換域でのライン番号と入力画像水平位置に従って、第１、第２、第３、第４、第５及び第６の領域の画像信号が出力される。上記の第１乃至第６の領域の６つの領域は、図３（Ｂ）に示すように垂直方向に統合されて画像構造変換後の画像信号を構成しており、これにより水平３６０画素、垂直３３７５本の画像が形成され、画像信号と同じ速度で画像処理部７に供給される。
【００４２】
【表３】
2005045701.tif 000005
【００４３】
画像処理部７において、画像処理は水平３６０画素、垂直３３７５本の画像構造変換後の画像信号に対して行われる。処理内容は動き補償などを含む各種フィルタリングなどである。画像処理部７において画像処理に用いるラインメモリは、３６０画素の固定長となり、１０８０ｉ信号の水平方向全体の画素数２２００画素より大幅に少なくなる。また、上記のラインメモリは、７２０ｐの場合と同じ３６０画素固定長であるので、７２０ｐ信号の画像構造変換後の画像信号に対する画像処理時と共通に使用できる。
【００４４】
画像処理部７での画像処理が済んだ画像信号は、フレームメモリ８に供給される。その際、重複部分は捨てられ中央部分のみが使われる。つまり、水平右端の２０画素と水平左端の２０画素を除いた、水平３２０画素がフレームメモリ８で保持される。フレームメモリ８は少なくとも３２０画素×３３７５本の容量を持つ。
【００４５】
メモリ制御器６は、６分の１ライン単位でフレームメモリ８のアドレスをアクセスし、まず、第１の領域である０本目走査線の３２０画素を読み出して、０本目走査線の水平１９２番目から５１１番目の画素とする。同様に、表３の変換域でのライン番号と出力画像水平位置に従って、第２の領域である５６３本目走査線の３２０画素、第３の領域である１１２５本目走査線の３２０画素、第４の領域である１６８８本目走査線の３２０画素、第５の領域である２２５０本目走査線の３２０画素、第６の領域である２８１３本目走査線の３２０画素を順次に読み出し、有効画素外の画素と時系列的に合成して全部で２２００画素を持つ１０８０ｉ信号の０本目の走査線を形成する。
【００４６】
続けて、フレームメモリ８から１本目、５６４本目、１１２６本目、１６８９本目、２２５１本目、２８１４本目の各走査線の各３２０画素を読み出し同様に時系列的に合成して、２２００画素を持つ１０８０ｉ信号の１本目の走査線とする。時系列的に合成された処理済み画像信号は画像出力端子９から出力される。この処理を順次行うことで図３（Ａ）に示した画素構成の１０８０ｉ信号を形成する。
【００４７】
このように、本実施の形態によれば、入来画像信号の構造に応じて、所定の水平画素数になるようにフレームやフィールドを水平分割し、各分割領域を垂直方向に統合して処理するようにしたため、入力画像信号の構造が変化しても固定長の短いラインメモリで処理が可能になり、処理量や回路量を減らすことができる。
【００４８】
次に、本発明の第２の実施の形態の画像処理用画像構造変換について説明する。図４は本発明になる画像処理用画像構造変換装置の第２の実施の形態のブロック図を示す。同図中、図１と同一構成要素には同一番号を付してある。図４の第２の実施の形態は図１の第１の実施の形態と比較して、フレームメモリ８の替わりにスライスメモリ２３が設けられ、さらに符号化器２４が追加されている。
【００４９】
図４の第２の実施の形態は、画像構造が変換され処理されるまでは、第１の実施の形態と同じであるが、その後再変換で元の画像構造に変換される替わりに、より細かなブロック単位の画像構造に変換され、ブロック単位で符号化されるものである。
【００５０】
図４において、画像入力端子１に入来した画像信号は、フレームメモリ２、画像構造検出器３、変換制御器２１、メモリ制御器５及び画像処理部７よりなる回路部で、図１の第１の実施の形態と同一の信号処理が行われる。画像処理部７で画像処理が済んだ画像信号は、スライスメモリ２３へ供給される。なお、「スライス」とは、ＭＰＥＧ（Moving Picture Experts Group）規格での処理単位の名称であり、ブロックが水平に連続したものである。その際、書き込みは図１のフレームメモリ８と同様であるが、スライスメモリ２３の容量は、３２０画素×１６本×２（書き込みと読み出し）の容量となる。
【００５１】
これにより、図５（Ａ）に模式的に示す画像処理部７で画像処理が済んだ画像信号は、同図（Ｂ）に模式的に示すスライス単位でスライスメモリ２３に保持される。このスライスメモリ２３の読み取りは、変換制御器２１で決定された分割数の情報が供給されるメモリ制御器２２のスライスメモリ２３に対するアドレスアクセスにより行われ、スライスメモリ２３から画像信号が１６×１６画素のブロック単位で読み出される。
【００５２】
読み出された１６×１６画素のブロック単位で読み出された画像信号は、符号化器２４に供給される。符号化器２４は、ブロック単位でＭＰＥＧやＪＰＥＧなどの符号化を行い、得られた符号列を符号列出力端子２５から出力する。図５（Ｃ）は符号化器２４での処理形態を示す。
【００５３】
ＭＰＥＧやＪＰＥＧなどの符号化では、元々画像を１６×１６画素などのブロック単位で扱う必要がある。本実施の形態では、フレームメモリ２とスライスメモリ２３の２段階で変換して、ブロック画素を得る形になっており、その中間段階で画像処理部７の処理が行われる。
【００５４】
この実施の形態では、画像処理部７で画像処理された画像信号を符号化用のブロックに変換し、ブロック単位で符号化器２４で符号化することで、符号化の前段階として必要な画像処理についても、固定長の短いラインメモリで処理が可能になり、処理量や回路量を減らすことができる。
【００５５】
次に、本発明の第３の実施の形態の画像処理用画像構造変換について説明する。本実施の形態の画像処理用画像構造変換装置の構成は図１のブロック図と同様であるが、図１のフレームメモリ２、８の容量が４分の１となり、変換制御器４、メモリ制御器５、６の動作が第１の実施の形態と異なる。第３の実施の形態では、第１の実施の形態がフレーム単位で変換されるのに対し、垂直方向に４分の１のサイズのフレーム単位で変換し、垂直方向にも重複部分を持たせるものである。
【００５６】
図１において、画像入力端子１より入来するディジタルＨＤＴＶ画像（７２０ｐ）信号は、図６（Ａ）に模式的に示すように、その１フレームが水平方向の全体の画素数が１６５０画素で、垂直方向の走査線数が全体で７５０本あり、同期部分を除いた２６番目から７４５番目までの計７２０本が有効走査線となっている。なお、ＳＭＰＴＥ２７６の規格に合わせ、走査線番号は１から７５０とする。フレームメモリ２は入来７２０ｐ信号を、略４分の１フレーム（１６５０画素×２１０本）分蓄える。読み出し中に書き込みを行うので２倍の記録容量が必要である。
【００５７】
画像構造変換はフレームメモリ２から、図６（Ａ）に示されるように１６分割領域毎に行われる。水平分割の方法は第１の実施の形態と同じであるが、さらに垂直方向にも４分割される。フレームメモリ２から画像信号が図６（Ｂ）に示すように、水平３６０画素幅（左端および右端２０画素ずつ重複）で、垂直２１０本幅（上端及び下端で１５本ずつ重複）で読み出す。垂直方向の具体的な領域の値は表４に示す。
【００５８】
【表４】
2005045701.tif 000006
この場合、垂直方向が８４０本（＝２１０本×４）の走査線からなり、７２０ｐ信号の全体の走査線数よりも多いが、水平方向が１４４０画素（＝３６０画素×４）となっており、処理される全画素数は１フレーム分で１，２０９，６００（＝３６０×２１０×１６）画素であり、７２０ｐ信号の１フレーム分の１，２３７，５００（＝１６５０×７５０）画素より少ないので、処理転送速度を７２０ｐ信号より上げる必要はない。
【００５９】
さらに垂直方向の分割を多くすれば、フレームメモリ２、８の容量はさらに少なくできるが、重複走査線数を同様とすると、分割数が多くなる分だけ全画素数が増加し、入来画像信号より画像転送速度を上げなければならなくなる。重複走査線数を減らせば、全体の画素も減らすことができるが、重複走査線の必要量は画像処理部７での垂直方向の処理で使用する走査線の範囲に依存する。
【００６０】
画像処理部７は、フレームメモリ２から読み出された水平３６０画素、垂直８４０本の画像信号に対して画像処理を行う。画像処理部７での画像処理が済んだ画像信号は、フレームメモリ８へ供給される。その際、重複部分は捨てられ中央部分のみが使われる。つまり、水平右端の２０画素と水平左端の２０画素とを除いた、水平３２０画素がフレームメモリ８で保持される。以下、第１の実施の形態と同様の動作により、画像出力端子９へ図６（Ａ）に示す画素構成の７２０ｐ信号が出力される。
【００６１】
なお、本発明は以上の実施の形態に限定されるものではなく、上記の各実施の形態の機能をコンピュータプログラムによりコンピュータに実現させるようにしてもよい。このプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明装置の第１の実施の形態のブロック図である。
【図２】本発明の第１の実施の形態の７２０ｐ画像構造変換の一例の様子を示す図である。
【図３】本発明の第１の実施の形態の１０８０ｉ画像構造変換の一例の様子を示す図である。
【図４】本発明装置の第２の実施の形態のブロック図である。
【図５】本発明の第２の実施の形態の画像構造変換の一例の様子を示す図である。
【図６】本発明の第３の実施の形態の画像構造変換の一例の様子を示す図である。
【図７】従来装置の一例のブロック図である。
【図８】従来装置の画像構造変換処理の一例の様子を示す図である。
【符号の説明】
【００６３】
１  画像入力端子
２、８  フレームメモリ
３  画像構造検出器
４、２１  変換制御器
５、６、２２  メモリ制御器
７  画像処理部
９  画像出力端子
２３  スライスメモリ
２４  符号化器
２５  符号列出力端子
【図１】
2005045701.tif 000007
【図２】
2005045701.tif 000008
【図３】
2005045701.tif 000009
【図４】
2005045701.tif 000010
【図５】
2005045701.tif 000011
【図６】
2005045701.tif 000012
【図７】
2005045701.tif 000013
【図８】
2005045701.tif 000014