(57)【要約】【課題】複数の分割画像に分割された画像に対して、使用するメモリ容量やメモリ帯域を削減し、かつ境界部の画質劣化を生じさせることなく画像処理を行える画像処理装置を提供する。【解決手段】複数の分割画像の画像信号を入力する分割画像信号入力部と、分割画像に対する画像処理を行う複数の画像処理部と、分割画像信号入力部から画像信号の入力に係るタイミング情報を取得し、それを基に画像処理部での処理領域を制御する制御部とを有し、制御部により決定された処理領域に応じて、入力される分割画像の画像信号のうち複数の画像処理部での画像処理に用いる画像信号を分割画像信号入力部がメモリに書き込み、入力される分割画像の画像信号にメモリから読み出した他の分割画像の画像信号を付加して前記分割画像信号入力部が画像処理部に出力する。【選択図】図１
2016075983.tif 000002
【特許請求の範囲】
【請求項１】
画像をＮ個（Ｎは２以上の整数）の２次元領域に分割した分割画像の画像信号を処理する画像処理装置であって、
メモリと、
前記Ｎ個の分割画像の画像信号を入力するＮ個の分割画像信号入力部と、
前記Ｎ個の分割画像に対する画像処理を行うＮ個の画像処理部と、
前記Ｎ個の分割画像信号入力部から前記画像信号の入力に係るタイミング情報を取得し、前記タイミング情報を基に前記Ｎ個の画像処理部での処理領域を制御する制御部とを有し、
前記分割画像信号入力部は、
前記処理領域に応じて、入力される前記分割画像の画像信号のうち、対応する前記画像処理部とは異なる画像処理部での画像処理に用いる画像信号を前記メモリに書き込み、
前記処理領域に応じて、入力される前記分割画像の画像信号に、前記メモリから読み出した他の前記分割画像の画像信号を付加して、対応する前記画像処理部に出力することを特徴とする画像処理装置。
【請求項２】
前記分割画像信号入力部は、前記制御部により指定される前記処理領域及び入力される前記分割画像の画像信号の座標情報に基づいて、前記メモリに画像信号を書き込むか否かを判定することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記分割画像信号入力部は、前記分割画像のライン単位で、入力される前記分割画像の画像信号のブランキング期間に、前記メモリから読み出した他の前記分割画像の画像信号を出力することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記画像処理部は、前記制御部により指定される前記処理領域に基づいて、前記分割画像における有効領域の画像信号を前記メモリの所定のアドレスに格納することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
画像をＮ個（Ｎは２以上の整数）の２次元領域に分割した分割画像の画像信号を処理する画像処理装置であって、
メモリと、
前記Ｎ個の分割画像の画像信号を入力するＮ個の分割画像信号入力部と、
前記メモリから所定の領域の画像信号を読み出すＭ個（Ｍは１以上の整数）の画像読み出し部と、
前記Ｎ個の分割画像信号入力部及び前記Ｍ個の画像読み出し部からの画像信号を受けて画像処理を行う（Ｎ＋Ｍ）個の画像処理部とを有し、
前記分割画像信号入力部は、入力される前記分割画像の画像信号のうち、前記所定の領域の画像信号を前記メモリに書き込むことを特徴とする画像処理装置。
【請求項６】
前記分割画像信号入力部は、入力される前記分割画像の画像信号の座標情報に基づく判定に従って前記メモリに画像信号を書き込むとともに、前記メモリへの画像信号の書き込みを前記画像読み出し部に通知することを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記画像読み出し部は、前記分割画像信号入力部から入力される前記分割画像の画像信号の座標情報に基づいて前記メモリから前記所定の領域の画像信号を読み出し、読み出した画像信号とともに前記座標情報を前記画像処理部に出力することを特徴とする請求項６記載の画像処理装置。
【請求項８】
画像をＮ個（Ｎは２以上の整数）の２次元領域に分割した分割画像の画像信号を処理する画像処理方法であって、
前記Ｎ個の分割画像の画像信号を入力する分割画像信号入力工程と、
前記Ｎ個の分割画像に対する画像処理をＮ個の画像処理部で行う画像処理工程と、
前記Ｎ個の分割画像の画像信号の入力に係るタイミング情報を取得し、前記タイミング情報を基に前記Ｎ個の画像処理部での処理領域を制御する制御工程とを有し、
前記分割画像信号入力工程では、
前記処理領域に応じて、入力される前記分割画像の画像信号のうち、複数の前記画像処理部での画像処理に用いる画像信号をメモリに書き込み、
前記処理領域に応じて、入力される分割画像の画像信号に、前記メモリから読み出した他の前記分割画像の画像信号を付加して前記画像処理部に出力することを特徴とする画像処理方法。
【請求項９】
画像をＮ個（Ｎは２以上の整数）の２次元領域に分割した分割画像の画像信号を処理する画像処理方法であって、
前記Ｎ個の分割画像の画像信号を入力する分割画像信号入力工程と、
メモリから所定の領域の画像信号を読み出しＭ個（Ｍは１以上の整数）の画像の画像信号として出力する画像読み出し工程と、
前記分割画像信号入力工程及び前記画像読み出し工程で得られた画像信号を受けて画像処理を（Ｎ＋Ｍ）個の画像処理部で行う画像処理工程とを有し、
前記分割画像信号入力工程では、入力される前記分割画像の画像信号のうち、前記所定の領域の画像信号を前記メモリに書き込むことを特徴とする画像処理方法。
【請求項１０】
画像をＮ個（Ｎは２以上の整数）の２次元領域に分割した分割画像の画像信号を処理する画像処理方法をコンピュータに実行させるためのプログラムであって、
前記Ｎ個の分割画像の画像信号を入力する分割画像信号入力ステップと、
前記Ｎ個の分割画像に対する画像処理をＮ個の画像処理部で行う画像処理ステップと、
前記Ｎ個の分割画像の画像信号の入力に係るタイミング情報を取得し、前記タイミング情報を基に前記Ｎ個の画像処理部での処理領域を制御する制御ステップとをコンピュータに実行させ、
前記分割画像信号入力ステップでは、
前記処理領域に応じて、入力される前記分割画像の画像信号のうち、複数の前記画像処理部での画像処理に用いる画像信号をメモリに書き込み、
前記処理領域に応じて、入力される分割画像の画像信号に、前記メモリから読み出した他の前記分割画像の画像信号を付加して前記画像処理部に出力することを特徴とするプログラム。
【請求項１１】
画像をＮ個（Ｎは２以上の整数）の２次元領域に分割した分割画像の画像信号を処理する画像処理方法をコンピュータに実行させるためのプログラムであって、
前記Ｎ個の分割画像の画像信号を入力する分割画像信号入力ステップと、
メモリから所定の領域の画像信号を読み出しＭ個（Ｍは１以上の整数）の画像の画像信号として出力する画像読み出しステップと、
前記分割画像信号入力ステップ及び前記画像読み出しステップで得られた画像信号を受けて画像処理を（Ｎ＋Ｍ）個の画像処理部で行う画像処理ステップとを有し、
前記分割画像信号入力ステップでは、入力される前記分割画像の画像信号のうち、前記所定の領域の画像信号を前記メモリに書き込むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
４Ｋ２Ｋや８Ｋ４Ｋといった高解像度の映像のシステムにおいては、伝送路の帯域の問題から、複数の映像ストリームに画像を分割して伝送する方式が採用されている。例えば、４Ｋ２Ｋの画像は、均等に縦横それぞれ２つに空間分割して入力している。各分割画像は、隣接する分割画像との間にオーバーラップした領域を持たないため、フィルタ処理等の画像処理を施した場合、分割境界部での画像の不連続による画質劣化が生じるという課題がある。これに対して、入力画像をフレームメモリ上に格納した後、隣接する分割画像の境界領域をオーバーラップ領域として付加して処理することにより、不連続の発生を抑えて画質劣化を回避する技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第０９／１４７７９５号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１においては、入力された信号を一旦フレームメモリにすべて書き込み、読み出し時に隣接領域の画像を参照画像としてオーバーラップして読み出し、処理している。画像全体をフレームメモリに書き込む結果、メモリ容量やメモリ帯域を多く使用することとなり、メモリコストが増大するという課題がある。本発明の目的は、複数の領域に分割して入力される画像に対して、使用するメモリ容量やメモリ帯域を削減し、かつ境界部の画質劣化を生じさせることなく画像処理を行うことができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、画像をＮ個（Ｎは２以上の整数）の２次元領域に分割した分割画像の画像信号を処理する画像処理装置であって、メモリと、前記Ｎ個の分割画像の画像信号を入力するＮ個の分割画像信号入力部と、前記Ｎ個の分割画像に対する画像処理を行うＮ個の画像処理部と、前記Ｎ個の分割画像信号入力部から前記画像信号の入力に係るタイミング情報を取得し、前記タイミング情報を基に前記Ｎ個の画像処理部での処理領域を制御する制御部とを有し、前記分割画像信号入力部は、前記処理領域に応じて、入力される前記分割画像の画像信号のうち、対応する前記画像処理部とは異なる画像処理部での画像処理に用いる画像信号を前記メモリに書き込み、前記処理領域に応じて、入力される前記分割画像の画像信号に、前記メモリから読み出した他の前記分割画像の画像信号を付加して、対応する前記画像処理部に出力することを特徴とする。
【発明の効果】
【０００６】
本発明によれば、複数の領域に分割して入力される画像に対して、使用するメモリ容量やメモリ帯域を削減し、かつ境界部の画質劣化を生じさせることなく画像処理を行うことができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態における画像処理装置の構成例を示す図である。
【図２】第１の実施形態における分割画像信号入力部の構成例を示す図である。
【図３】第１の実施形態におけるフレーム間画像処理部の構成例を示す図である。
【図４】第１の実施形態における分割画像とオーバーラップ領域を示す図である。
【図５】第１の実施形態における分割画像信号入力部の動作例を示すフローチャートである。
【図６】第１の実施形態における分割画像信号入力部の動作例を示すタイミングチャートである。
【図７】第１の実施形態における分割画像信号入力部の動作例を示すタイミングチャートである。
【図８】第１の実施形態における画像処理部の動作例を示すタイミングチャートである。
【図９】第１の実施形態における画像処理部の動作例を示すタイミングチャートである。
【図１０】第２の実施形態における画像処理装置の構成例を示す図である。
【図１１】第２の実施形態における分割画像信号入力部の構成例を示す図である。
【図１２】第２の実施形態における分割画像とオーバーラップ領域を示す図である。
【図１３】第２の実施形態における分割画像信号入力部及び画像読み出し部の動作例を示すタイミングチャートである。
【図１４】第２の実施形態における分割画像信号入力部及び画像読み出し部の動作例を示すタイミングチャートである。
【図１５】第２の実施形態における画像処理部の動作例を示すタイミングチャートである。
【図１６】第２の実施形態における画像処理部の動作例を示すタイミングチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態を図面に基づいて説明する。
【０００９】
＜第１の実施形態＞
本発明の第１の実施形態について説明する。
第１の実施形態における画像処理装置の構成について説明する。図１は、第１の実施形態における画像処理装置の概略構成例を示すブロック図である。第１の実施形態における画像処理装置は、分割画像信号入力部１０１ａ〜１０１ｄ、メモリ１０２、フレーム内画像処理部１０３ａ〜１０３ｄ、フレーム間画像処理部１０４ａ〜１０４ｄ、及び制御部１０５を有する。なお、図１においては、分割画像信号入力部１０１、フレーム内画像処理部１０３、及びフレーム間画像処理部１０４は、それぞれ４つ設けた例を示しているが、これに限定されるものではなく、画像の分割数（分割画像の数）と同数設けられる。
【００１０】
分割画像信号入力部１０１ａ〜１０１ｄは、図示しない外部から入力される分割画像の画像信号を入力するための端子を有する。入力端子としては、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＤｉｓｐｌａｙ  Ｐｏｒｔ、ＳＤＩ、コンポジット等の各種映像入力インターフェイスを用いることができる。
【００１１】
ここで、分割画像は、画像を複数の２次元領域に分割した（空間分割した）ものである。本例では、領域Ａの分割画像の画像信号ＳＩＮａが分割画像信号入力部１０１ａに入力され、領域Ｂの分割画像の画像信号ＳＩＮｂが分割画像信号入力部１０１ｂに入力されるものとする。また、領域Ｃの分割画像の画像信号ＳＩＮｃが分割画像信号入力部１０１ｃに入力され、領域Ｄの分割画像の画像信号ＳＩＮｄが分割画像信号入力部１０１ｄに入力されるものとする。
【００１２】
分割画像信号入力部１０１に入力された画像信号は、後段の画像処理部１０３、１０４での処理範囲に応じて、メモリ１０２を介して他領域の分割画像における境界部の画像信号を付加した画像信号に適宜加工され、フレーム内画像処理部１０３に出力される。
【００１３】
メモリ１０２は、分割画像信号入力部１０１ａ〜１０１ｄ並びにフレーム間画像処理部１０４ａ〜１０４ｄと接続され、画像データを格納するために用いる。メモリ１０２は、例えばＤＤＲ−ＳＤＲＡＭ（Double-Data-Rate Synchronous Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等である。
【００１４】
フレーム内画像処理部１０３ａ〜１０３ｄは、分割画像信号入力部１０１ａ〜１０１ｄより入力される画像信号に対して、フィルタ処理等のフレーム内画像処理を施す。フレーム内画像処理部１０３ａ〜１０３ｄは、例えばＪＰＥＧやＭＰＥＧ等の規格でのブロックノイズを除去するデブロッキングフィルタ処理等を行う。フレーム内画像処理部１０３ａ〜１０３ｄによってフレーム内画像処理を施された画像信号は、対応するフレーム間画像処理部１０４ａ〜１０４ｄに出力される。
【００１５】
フレーム間画像処理部１０４ａ〜１０４ｄは、フレーム内画像処理部１０３ａ〜１０３ｄより入力される画像信号に対して、フレーム間画像処理を施す。フレーム間画像処理部１０４ａ〜１０４ｄが施すフレーム間画像処理の一例として、ＩＰ（Interlace Progressive）変換や３Ｄノイズ除去、フレーム補間処理等が挙げられる。
【００１６】
制御部１０５は、分割画像信号入力部１０１ａ〜１０１ｄから分割画像の画像信号のタイミング情報を取得して、各処理部に処理させる処理範囲（有効領域及び参照領域）を計算する。また、制御部１０５は、処理範囲（有効領域及び参照領域）を示す処理領域情報を、分割画像信号入力部１０１ａ〜１０１ｄ及びフレーム間画像処理部１０４ａ〜１０４ｄに出力する。
【００１７】
図２は、第１の実施形態における分割画像信号入力部１０１の構成例を示す図である。図２には、分割画像信号入力部１０１ａについてのみ内部構成を図示しているが、分割画像信号入力部１０１ｂ、１０１ｃ、１０１ｄの内部構成は分割画像信号入力部１０１ａと同様である。分割画像信号入力部１０１は、座標制御部１０１１、メモリ書き込み制御部１０１２、メモリ読み出し制御部１０１３、及びセレクタ１０１４を有する。
【００１８】
座標制御部１０１１は、入力される分割画像の画像信号ＳＩＮのタイミング情報を取得し、分割画像信号入力部１０１内の各モジュールを制御する。各分割画像信号入力部１０１の座標制御部１０１１は、制御部１０５と接続され、タイミング情報を制御部１０５に送付するとともに、処理領域情報を制御部１０５より取得する。また、座標制御部１０１１は、セレクタ１０１４の出力タイミングを制御する。メモリ書き込み制御部１０１２は、入力される分割画像の画像信号ＳＩＮの内の制御部１０５により指定された領域の画像信号（画像データ）をメモリ１０２へ書き込む。
【００１９】
メモリ読み出し制御部１０１３は、制御部１０５からの処理領域情報に従い、入力された分割画像の画像信号ＳＩＮに付加する領域の画像信号（画像データ）をメモリ１０２から読み出す。また、メモリ読み出し制御部１０１３は、メモリ１０２から読み出した画像信号（画像データ）を、分割画像の画像信号ＳＩＮのブランキング期間にセレクタ１０１４へ出力する。セレクタ１０１４は、入力された分割画像の画像信号ＳＩＮ及びメモリ読み出し制御部１０１３からの画像信号を、座標制御部１０１１からの制御信号に従って選択し出力する。
【００２０】
図３は、第１の実施形態におけるフレーム間画像処理部１０４の構成例を示す図である。図３には、フレーム間画像処理部１０４ａについてのみ内部構成を図示しているが、フレーム間画像処理部１０４ｂ、１０４ｃ、１０４ｄの内部構成はフレーム間画像処理部１０４ａと同様である。フレーム間画像処理部１０４は、メモリ書き込み制御部１０４１、メモリ読み出し制御部１０４２、及び画像処理部１０４３を有する。
【００２１】
メモリ書き込み制御部１０４１は、フレーム内画像処理部１０３より入力される画像信号に対し、制御部１０５から指定される有効領域の画像信号（画像データ）のみを抽出し、メモリ１０２への書き込みを行う。メモリ読み出し制御部１０４２は、画像処理部１０４３での処理に必要なフレーム数の画像信号（画像データ）を、メモリ１０２から読み出して画像処理部１０４３へ出力する。画像処理部１０４３は、入力される複数フレームの画像信号（画像データ）を用いてフレーム間画像処理を施し出力する。
【００２２】
次に、本実施形態における画像処理手法に関して説明する。ここでは、入力画像が図４（ａ）に示すように縦横均等に２分割（田の字状に４分割）されて入力される場合を想定し説明を行うが、分割数はＮ（Ｎは２以上の整数）であってもよい。４分割された入力画像において、左上部を領域Ａとし、右上部を領域Ｂとし、左下部を領域Ｃとし、右下部を領域Ｄとする。
【００２３】
各領域の分割画像の画像信号は、それぞれ個別の入力端子を介して分割画像信号入力部１０１ａ〜１０１ｄに入力される。分割画像の画像信号は、それぞれラスタスキャンにより水平方向に順次入力されるものとして説明を行う。また、各領域における有効領域を、それぞれ水平有効領域Ｈａｃｔ、垂直有効領域Ｖａｃｔとする。すなわち、分割前の映像の解像度は、水平方向Ｈａｃｔ×２、垂直方向Ｖａｃｔ×２で表される。ここでは説明の簡略化のため、分割画像の画像信号ＳＩＮａ〜ＳＩＮｄは、垂直同期信号が同期して入力されるものとして説明を行うが、必ずしもこれに限るものではない。
【００２４】
入力された各分割画像の画像信号ＳＩＮは、フレーム内画像処理部１０３のフィルタ処理を実施する際に、分割境界部での不連続性による画質劣化を防ぐため、隣接する領域の分割画像の一部を参照画像として使用する。図４（ｂ）に画像信号ＳＩＮａ〜ＳＩＮｄの画像処理に必要なオーバーラップ領域を説明する図を記載する。図４（ｂ）において、実線で囲まれる領域は、画像信号ＳＩＮａ〜ＳＩＮｄの自身の領域を示し、点線で囲まれる領域は自身の領域を処理するために必要となる隣接領域の参照領域を示す。実線部の領域の画像処理を画質劣化を生じさせることなく実施するためには、点線部で表される隣接領域のオーバーラップ領域の画像が必要となる。
【００２５】
図４（ｂ）の各領域Ａ〜Ｄ内において、１〜４は、下記の意味を示す。
１：自身の領域内の画素値のみで処理できる領域
２：処理するために水平方向に隣接する領域の参照画像を必要とする領域
３：処理するために垂直方向に隣接する領域の参照画像を必要とする領域
４：処理するために水平方向、垂直方向、及び斜め方向に隣接する領域の参照画像を必要とする領域
【００２６】
また、オーバーラップ領域は水平方向の長さがα画素分、垂直方向の長さがβライン分であるとする。オーバーラップ領域のサイズ（α、β）は、分割画像信号入力部１０１以降の処理に要するタップ数を鑑みて設定される。本実施形態では、図３内のフレーム内画像処理部１０３ａに示すようにフィルタのサイズを規定する。
【００２７】
本実施形態における各画像処理部に処理させる処理領域（処理範囲）の決定手法に関して説明する。本実施形態では、各領域の分割画像の画像信号ＳＩＮａ〜ＳＩＮｄは同期して入力される。したがって、領域Ｂ及び領域Ｄにおける左端の分割境界領域の画像信号の入力時には、領域Ａ及び領域Ｃにおける右端の分割境界領域の画像信号は、分割画像信号入力部１０１ａ、１０１ｃに入力されていない。
【００２８】
そのため、図４（ｂ）に示したように、各分割画像において隣接する分割画像の境界領域の画像信号を付加して処理する場合、領域Ｂ、Ｄの出力は、領域Ａ、Ｃの当該ラインの入力まで待つ必要があるため、画像を保持するメモリが必要となり効率的でない。これを避けるため、本実施形態では図４（ｃ）に示すような処理領域（処理範囲）とする。
【００２９】
領域Ｂにおける左端の分割境界領域の処理は、領域Ａにおける右端の画像信号の出力後に、領域Ｂにおける左端の分割境界領域の画像信号を付加して画像処理部Ａに処理させる（以後、付加する領域をオーバーラップ領域とも呼ぶ）。また、領域Ｄにおける左端の分割境界領域の処理は、領域Ｃにおける右端の画像信号の出力後に、領域Ｄにおける左端の分割境界領域の画像信号を付加して画像処理部Ｃに処理させる。
【００３０】
また、領域Ｃ及び領域Ｄにおける上端の分割境界領域の画像信号の入力時には、処理に必要となる領域Ａ及び領域Ｂにおける下端の分割境界領域の画像信号は、分割画像信号入力部１０１ａ、１０１ｂに入力されていない。そのため、領域Ａ、Ｂにおける下端の画像信号の出力後に、領域Ｃ、Ｄにおける上端の分割境界領域の画像信号を付加して画像処理部Ａ、Ｂにそれぞれ処理させるよう処理領域を決定する。このように処理領域を非対称に分割することで、分割画像の分割境界領域の画像信号を必要に応じてメモリ１０２に格納するだけで処理が可能となり、メモリ１０２へのアクセス量やハードウェア構成量を抑えて画像処理を行うことが可能となる。
【００３１】
分割画像の画像信号の入力が非同期であり、領域Ａの画像信号の入力が領域Ｂの画像信号の入力より１ライン以上早い場合には、領域Ｂの画像処理時に領域Ａのオーバーラップ領域を処理させるように処理の割合を変更する。領域Ｃ、Ｄに関しても同様である。このように分割画像の画像信号の入力タイミングに応じて処理領域を決定することにより、非同期入力された際にも処理領域を適切に決定できる。
【００３２】
次に、本実施形態における画像処理装置の処理全体について説明する。
分割画像の画像信号ＳＩＮａ〜ＳＩＮｄが分割画像信号入力部１０１ａ〜１０１ｄへ入力されると、それぞれの座標制御部１０１１は、画像信号のタイミング情報を取得して制御部１０５へ出力する。制御部１０５は、座標制御部１０１１からの情報より各画像信号ＳＩＮａ〜ＳＩＮｄの入力タイミングを検知し、各分割画像信号入力部１０１の処理範囲を決定する。本実施形態においては、図４（ｃ）に示したように、各処理領域が決定される。処理領域を決定した後、制御部１０５は、メモリ１０２へ画像信号（画像データ）を書き込ませるオーバーラップ領域を示す処理領域情報を分割画像信号入力部１０１ａ〜１０１ｄへ通知する。
【００３３】
次に、分割画像信号入力部１０１のメモリ１０２への書き込み処理について、図５（Ａ）に示すフローチャート並びに図６、図７に示すタイミングチャートを用いて説明する。処理領域情報が制御部１０５から分割画像信号入力部１０１へ通知された後、各分割画像信号入力部１０１の座標制御部１０１１は、水平同期信号の入力を検知し（Ｓ１０１）、入力される画像信号ＳＩＮの座標をカウントする（Ｓ１０２）。そして、座標制御部１０１１は、カウントしている座標を基に、その画素がオーバーラップ領域に該当する画素であるか判断を行う（Ｓ１０３）。オーバーラップ領域に該当する画素である場合、メモリ書き込み制御部１０１２より該領域の画像信号（画像データ）をメモリ１０２へ各ライン単位で格納する（Ｓ１０４〜Ｓ１０６）。オーバーラップ領域以外の画像信号については、メモリ１０２への書き込みは実施しない。
【００３４】
分割画像信号入力部１０１ａ〜１０１ｄの処理動作例を示すタイミングチャートを図６、図７に示す。なお、図６及び図７において、入力は分割画像信号入力部１０１への入力であり、メモリＷｒはメモリ書き込み制御部１０１２によるメモリ１０２への書き込みである。また、メモリＲｄはメモリ読み出し制御部１０１３によるメモリ１０２からの読み出しであり、出力は分割画像信号入力部１０１からの出力である。
【００３５】
図４（ｃ）に示したように、領域Ａの分割画像の画像信号ＳＩＮａにおいては、画像処理部Ａ以外の画像処理部（フレーム内画像処理部１０３並びにフレーム間画像処理部１０４）で処理される領域がないため、メモリ１０２への書き込みは実施されない。領域Ｂの分割画像の画像信号ＳＩＮｂにおいては、領域Ａと接する領域（０，０）〜（α，Ｖａｃｔ）が画像処理部Ａにて処理されるため、該領域の画像信号（画像データ）がメモリ１０２へ書き込まれる。
【００３６】
領域Ｃの分割画像の画像信号ＳＩＮｃにおいては、領域Ａと接する領域（０，０）〜（Ｈａｃｔ，β）が画像処理部Ａにて処理されるため、該領域の画像信号（画像データ）がメモリ１０２へ書き込まれる。領域Ｄの分割画像の画像信号ＳＩＮｄにおいては、領域Ｂ、Ｃと接する領域（０，０）〜（Ｈａｃｔ，β）及び（０，０）〜（α，Ｖａｃｔ）が画像処理部Ａ乃至Ｃで処理されるため、該領域の画像信号（画像データ）がメモリ１０２へ書き込まれる。
【００３７】
次に、分割画像信号入力部１０１の出力処理について、図５（Ｂ）に示すフローチャート並びに図６、図７に示すタイミングチャートを用いて説明する。各分割画像信号入力部１０１ａ〜１０１ｄは、図４（ｃ）に示した領域をそれぞれ処理するよう、入力される画像信号ＳＩＮａ〜ＳＩＮｄ及びメモリ１０２に書き込まれた画像信号（画像データ）を用いて出力するため、以下のように動作する。
【００３８】
各分割画像信号入力部１０１の座標制御部１０１１は、水平同期信号の入力を検知し（Ｓ２０１）、入力される画像信号のタイミング情報と座標情報を取得する（Ｓ２０２）。そして、座標制御部１０１１は、取得した情報を基に該ラインに画像信号（画像データ）をメモリ１０２から読み出すべきオーバーラップ領域があるか判断する（Ｓ２０３）。オーバーラップ領域がある場合には、メモリ読み出し制御部１０１３よりオーバーラップ領域の画像信号（画像データ）をメモリ１０２から読み出しておく（Ｓ２０４）。
【００３９】
次に、座標制御部１０１１は、取得したタイミング情報より入力された画像信号ＳＩＮの有効期間中かブランキング期間中かを判断する（Ｓ２０５）。有効期間である場合、入力された画像信号ＳＩＮの有効領域をフレーム内画像処理部１０３へ出力させるよう、セレクタ１０１４を制御し出力させる（Ｓ２０７）。ブランキング期間である場合、メモリ１０２から読み出したオーバーラップ領域の画像信号（画像データ）を、出力すべき所定の位置に出力するよう制御し出力させる（Ｓ２０６）。
【００４０】
本実施形態において、分割画像信号入力部１０１ａは、図４（ｃ）に示したように、入力された領域Ａに加え、領域Ｂ〜領域Ｄのオーバーラップ領域を処理する。例えば画像処理部Ａ（フレーム内画像処理部１０３ａ並びにフレーム間画像処理部１０４ａ）でのライン０の画像処理においては、領域Ｂのライン０のオーバーラップ領域の画像信号が必要となる。ここで、各分割画像信号ＳＩＮの入力は同期しているため、領域Ａの右端（Ｈａｃｔ，０）が入力された際には、メモリ１０２に領域Ｂのライン０のオーバーラップ領域の画像信号の書き込みが完了している。
【００４１】
そこで、図６に示すように、入力されたライン０の画像信号ＳＩＮａを出力した後、メモリ１０２より領域Ｂのライン０のオーバーラップ領域の画像信号を読み出し、画像信号ＳＩＮａのブランキング期間中に出力する。領域Ｃにおいても同様に、入力されたライン０の画像信号ＳＩＮｃを出力した後、領域Ｄのライン０のオーバーラップ領域の画像信号をメモリ１０２より読み出し、画像信号ＳＩＮｃのブランキング期間中に出力する。領域Ｂ及び領域Ｄでは、水平方向のオーバーラップ領域は不要であるため、メモリ１０２からの読み出しは実施しない。
【００４２】
各画像信号ＳＩＮの最終ラインＶａｃｔまで出力されると、図７に示すように分割画像信号入力部１０１ａ、１０１ｂは、領域Ｃ、Ｄの０ライン〜βラインのオーバーラップ領域の画像信号の読み出しを行い、フレーム内画像処理部１０３ａ、１０３ｂへ出力する。一方、分割画像信号入力部１０１ｃ〜１０１ｄは、出力を完了する。以上の処理により、分割画像信号入力部１０１ａ〜１０１ｄは、図４（ｃ）に示した全領域の画像信号の出力を完了する。
【００４３】
フレーム内画像処理部１０３は、分割画像信号入力部１０１より入力された画像信号に対し、フィルタ処理を実施する。複数ライン間の所定の範囲にフィルタ処理を実施するため、入力された画像信号は、一旦フレーム内画像処理部１０３内の図示しないメモリへと格納される。その後、フレーム内画像処理部１０３は、内部のメモリから画像信号を読み出してフィルタ処理を実施した後、フレーム間画像処理部１０４へ出力する。フィルタ処理の結果、フレーム内画像処理部１０３ａ〜１０３ｄの出力は、図４（ｃ）に示した網掛け領域が有効領域となり、灰塗部は参照領域となる。
【００４４】
フレーム間画像処理部１０４は、フレーム内画像処理部１０３から入力された画像信号を、メモリ１０２の所定のアドレスに格納する。メモリ１０２に画像信号を格納する際、制御部１０５より指定された処理領域の情報に従い、図４（ｃ）に示される各画像の有効領域の画像信号のみを格納し、参照領域の画像信号は破棄される。
【００４５】
図８、図９にフレーム間画像処理部１０４のメモリ書き込み時のタイミングチャートを示す。なお、図８及び図９において、入力はフレーム間画像処理部１０４への入力であり、メモリＷｒはメモリ書き込み制御部１０４１によるメモリ１０２への書き込みである。白塗領域は自領域に入力された画像信号を示し、網掛け領域はメモリ１０２より読み出した他領域の画像領域を示す。また、メモリＷｒにおいて、黒塗領域は参照領域を示し、メモリに書き込まれない領域であることを示す。
【００４６】
フレーム間画像処理部１０４ａにおいては、入力されたライン０の画像信号のうち、有効領域となる自領域Ａ全域と、領域Ｂのオーバーラップ領域である左端部の有効領域のみメモリ１０２に格納し、参照領域となる領域Ｂの右端部は破棄する。また、フレーム間画像処理部１０４ｂにおいては、入力されたライン０の画像信号のうち、領域Ｂの左端部は参照領域であるため破棄し、それ以外の有効領域のみメモリ１０２へ書き込む。
【００４７】
フレーム間画像処理部１０４ｃ、１０４ｄにおいては、ライン０は全領域が参照領域であるため、入力されたライン０の画像信号はすべて破棄され、有効領域となるライン（ｋ＋１）よりメモリ１０２への書き込みを行う。画像信号の書き込み時、フレーム間画像処理部１０４ｃは、領域Ｃのラインの全領域と、領域Ｄのオーバーラップ領域である左端部の有効領域を、メモリ１０２へ書き込む。フレーム間画像処理部１０４ｄは、領域Ｄの左端部は参照領域であるため破棄され、それ以外の有効領域をメモリ１０２へ書き込む。
【００４８】
以上の処理を、各ラインの入力毎に実施する。その後、最終ラインＶａｃｔまで入力が完了すると、フレーム間画像処理部１０４ｃ、１０４ｄは、入力が完了し、処理を停止する。一方、フレーム間画像処理部１０４ａ〜１０４ｂは、領域Ｃ、Ｄの０ライン目からの入力を受け、有効領域のメモリ１０２への書き込み処理を行う。領域Ｃ、Ｄのｋラインまでが有効領域であるため、フレーム間画像処理部１０４ａ〜１０４ｂは、領域Ｃ、Ｄのｋラインまでメモリ１０２への書き込みを実施し、参照領域となる（ｋ＋１）ライン以降の画像信号はメモリ１０２への書き込みは行わずに破棄する。以上により、フレーム内の全画素への処理を完了する。
【００４９】
第１の実施形態によれば、従来のように入力された画像全域の画像信号をメモリに格納することなく、オーバーラップ領域の画像信号のみをメモリに格納することで各分割画像に対する画像処理が可能となる。したがって、画像処理に係るメモリアクセス量及びメモリに格納するデータ量を削減してメモリコストを削減でき、かつ分割境界部の画質劣化を生じさせることなく画像処理を行うことができる。
【００５０】
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。
第２の実施形態における画像処理装置の構成について説明する。図１０は、第２の実施形態における画像処理装置の概略構成例を示すブロック図である。第２の実施形態における画像処理装置は、入力されるＮ個（Ｎは２以上の整数）の分割画像の画像信号を入力する図示しない入力端子と、入力される分割画像の画像信号を処理するＮ個の分割画像信号入力部１１０１とを有する。また、画像処理装置は、Ｍ個（Ｍは１以上の整数）の画像読み出し部１１０５と、メモリ１１０２と、（Ｎ＋Ｍ）個のフレーム内画像処理部１１０３と、（Ｎ＋Ｍ）個のフレーム間画像処理部１１０４とを有する。図１０には、Ｎ＝４、Ｍ＝１の場合の構成例を示しているが、これに限定されるものではない。
【００５１】
また、本例では、領域Ａの分割画像の画像信号ＳＩＮａが分割画像信号入力部１１０１ａに入力され、領域Ｂの分割画像の画像信号ＳＩＮｂが分割画像信号入力部１１０１ｂに入力されるものとする。また、領域Ｃの分割画像の画像信号ＳＩＮｃが分割画像信号入力部１１０１ｃに入力され、領域Ｄの分割画像の画像信号ＳＩＮｄが分割画像信号入力部１１０１ｄに入力されるものとする。
【００５２】
分割画像信号入力部１１０１は、図１１に示すように、座標制御部１１０１１とメモリ書き込み制御部１１０１２とを有する。座標制御部１１０１１は、入力される分割画像の画像信号の座標を取得し、分割境界領域であれば画像信号をメモリ１１０２へ書き込むようメモリ書き込み制御部１１０１２を制御する。また、メモリ１１０２への書き込みが完了すると、画像読み出し部１１０５内のオーバーラップ領域制御部１１０５１へ座標情報を通知する。また、入力された画像信号は、分割境界領域であるか否かにかかわらず、常時フレーム内画像処理部１１０３へ出力される。
【００５３】
画像読み出し部１１０５内のオーバーラップ領域制御部１１０５１は、各分割画像信号入力部１１０１ａ〜１１０１ｄより入力された座標情報を基に、処理可能な分割境界領域の画像信号がメモリ１１０２にあるか判定する。処理可能な分割境界領域の画像信号がある場合、オーバーラップ領域制御部１１０５１は、メモリ読み出し制御部１１０５２へ通知し、分割境界領域の画像信号を読み出させる。読み出された分割境界領域の画像信号は、座標情報とともにフレーム内画像処理部１１０３ｅへ出力される。
【００５４】
フレーム内画像処理部１１０３は、入力された画像信号に対して、フィルタ処理等のフレーム内画像処理を施す。フレーム内画像処理部１１０３は、図示しないフィルタ処理部及びメモリを有する。フレーム内画像処理部１１０３は、画像信号の処理後、フレーム間画像処理部１１０４へ処理結果（フレーム内画像処理された画像信号）を出力する。フレーム間画像処理部１１０４は、フレーム内画像処理部１１０３より入力された画像信号のうち有効領域の画像信号を、メモリ１１０２に書き込む書き込み制御部を有する。フレーム間画像処理部１１０４は、参照領域となる画像信号はメモリ１１０２への書き込みを実施しない。
【００５５】
次に、本実施形態における画像処理手法について説明する。ここでは、入力画像が図１２（ａ）に示すように縦横均等に２分割（田の字状に４分割）されて入力される場合を想定し説明を行うが、これに限定されるものではない。４分割された入力画像において、左上部を領域Ａとし、右上部を領域Ｂとし、左下部を領域Ｃとし、右下部を領域Ｄとする。
【００５６】
図１２に入力画像と各画像処理部（フレーム内画像処理部１１０３並びにフレーム間画像処理部１１０４）Ａ〜Ｅで処理する領域を示す。図１２（ｂ）に示すように、画像処理部Ａ〜画像処理部Ｄは、入力された分割画像と同じ領域の画像信号を入力して処理し、分割境界部を除く範囲が有効領域（網掛け部）となるよう処理する。それ以外の領域は、参照領域（灰塗部）として処理する。また、画像処理部Ｅは、各領域の分割境界領域の画像信号を、メモリ１１０２より読み出して処理する。画像処理部Ｅで処理された画像信号の有効領域は網掛けで示す分割境界領域であり、それ以外の領域が参照領域（灰塗部）として扱われる。画像処理部Ａ〜画像処理部Ｅで処理された画像信号の有効領域を合わせると、画像信号ＳＩＮａ〜ＳＩＮｄの有効領域と等しくなる。
【００５７】
次に、本実施形態における分割画像信号入力部１１０１ａ〜１１０１ｄでの処理について説明する。分割画像信号入力部１１０１ａ〜１１０１ｄの座標制御部１１０１１は、入力された分割画像の画像信号ＳＩＮａ〜ＳＩＮｄの座標を取得し、該座標がオーバーラップ領域（分割境界領域）であるか判断を行う。オーバーラップ領域であると判断された場合、メモリ書き込み制御部１１０１２より該領域の画像信号（画像データ）をメモリ１０２へライン毎に出力し、同時に画像読み出し制御部１１０５内のオーバーラップ領域制御部１１０５１へ通知する。また、入力された画像信号ＳＩＮを、オーバーラップ領域の如何にかかわらず、フレーム内画像処理部１１０３へ出力する。
【００５８】
画像読み出し部１１０５は、分割画像信号入力部１１０１ａ〜１１０１ｄからの座標情報を使用し、メモリ１１０２に画像処理部Ｅでの画像処理に必要な画像信号が入力されているか監視し、書き込みを検知するとメモリ１１０２より読み出しを行う。図１３、図１４に分割画像信号入力部１１０１ａ〜１１０１ｄ及び画像読み出し部１１０５の処理動作例を示すタイミングチャートを示す。なお、図１３及び図１４において、入力は分割画像信号入力部１１０１への入力であり、メモリＷｒはメモリ書き込み制御部１１０１２によるメモリ１１０２への書き込みである。また、メモリＲｄはメモリ読み出し制御部１１０５２によるメモリ１１０２からの読み出しであり、出力は分割画像信号入力部１０１及び画像読み出し部１１０５からの出力である。
【００５９】
分割画像の画像信号ＳＩＮａ〜ＳＩＮｄが同期して入力しているとすると、０ライン目のＨａｃｔ座標まで入力された時点で、領域Ａ〜領域Ｄのオーバーラップ領域がメモリ１１０２に格納されている。オーバーラップ領域制御部１１０５１は、この状態を検知すると、メモリ１１０２より図１３に示すように領域Ａ、Ｂの境界領域、及び領域Ｃ、Ｄの境界領域の順にメモリ読み出し制御部１１０５２によりメモリ１１０２から画像信号の読み出しを行う。そして、読み出した画像信号とともにその座標情報をフレーム内画像処理部１１０３ｅへ出力する。
【００６０】
画像信号ＳＩＮの最終ラインであるＶａｃｔまで画像信号の入力が完了すると、画像読み出し部１１０５は、図１４に示すように領域Ａ、Ｂの最終ラインＶａｃｔの読み出し後、領域Ｃ、Ｄの０ライン〜βラインの画像信号を読み出す。そして、垂直方向の分割境界領域の処理が実施される。
【００６１】
フレーム内画像処理部１１０３ａ〜１１０３ｅは、入力された画像信号に対し、所定のフィルタ処理を施してフレーム間画像処理部１１０４ａ〜１１０４ｄへ出力する。フレーム内画像処理部１１０３は、フィルタ処理において複数ラインの画像信号を参照するため、図示しないメモリを内部に有し入力された画像信号を書き込む。その後、フレーム内画像処理部１１０３ａ〜１１０３ｄは、内部のメモリから画像信号を読み出し、所定のフィルタ処理を施す。フィルタ処理の結果、図１２に示したように、有効領域は網掛けで示す領域となり、それ以外は参照領域（灰塗部）として出力する。
【００６２】
フレーム内画像処理部１１０３ｅは、内部のメモリへ画像信号を書き込む際、画像読み出し部１１０５より入力される座標情報を用い、座標毎に異なる領域へ画像信号を書き込む。また、画像信号をメモリ１１０２から読み出し処理する際にも、前記座標情報を用い、所定の領域毎に処理を行う。本実施形態では、領域Ａ、Ｂの境界領域、領域Ｃ、Ｄの境界領域、領域Ａ、Ｃの境界領域、領域Ｂ、Ｄの境界領域の順に入力されるため、それぞれ格納するアドレスを分けて処理する。処理の結果、図１２に示す通り、境界領域が有効領域（網掛け部）として出力され、それ以外は参照領域（灰塗部）として出力される。また、出力する画像にあわせて該画像信号の座標情報をフレーム間画像処理部１１０４ｅへ出力する。
【００６３】
図１５、図１６にフレーム間画像処理部１１０４のメモリ１１０２への書き込み時のタイミングチャートを示す。なお、図１５及び図１６において、入力はフレーム間画像処理部１１０４への入力であり、メモリＷｒはフレーム間画像処理部１１０４内のメモリ書き込み制御部によるメモリ１１０２への書き込みである。
【００６４】
フレーム間画像処理部１１０４は、入力された画像信号のうち、有効領域（図１５、図１６において白塗領域）のみをメモリ１１０２へ書き込み、参照領域（図１５、図１６において黒塗領域）は破棄する。各分割画像の分割境界部は、フレーム間画像処理部１１０４ａ〜１１０４ｄでは参照領域（図１６，１７において黒塗部）となるため、メモリ１１０２へ画像信号の書き込みは行わない。
【００６５】
例えば、フレーム間画像処理部１１０４ａ、１１０４ｂは、ライン０より有効領域となりメモリ１１０２へ画像信号が書き込まれる。フレーム間画像処理部１１０４ｃ、１１０４ｄは、０〜ｋラインまでは参照領域となるため破棄され、メモリ１１０２への画像信号の書き込みは（ｋ＋１）ライン以降実施される。また、フレーム間画像処理部１１０４ａ、１１０４ｂでは、Ｖａｃｔ−ｊライン以降は参照領域となるため画像信号が破棄される。
【００６６】
フレーム間画像処理部１１０４ｅでは、フレーム内画像処理部１１０３ｅより入力される座標情報に従い、入力される画像信号の有効領域（網掛け部）と参照領域（黒塗部）を判定し、メモリ１１０２へ有効領域の画像信号のみを書き込む。
以上の処理により、フレーム内の全画素への処理を完了する。
【００６７】
第２の実施形態によれば、入力される画像信号のブランキング期間がフィルタ処理に要するオーバーラップ領域よりも小さく、第１の実施形態の画像処理装置では処理できない場合においても処理可能となる。また、従来のように、入力時に画像の全領域をメモリに書き込む必要がないため、メモリ容量及びメモリ帯域を削減することができる。また、分割画像の分割境界部においても適切な画像処理が可能となり、分割境界部の画質劣化を生じさせることもない。
【００６８】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００６９】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７０】
１０１、１１０１：分割画像信号入力部  １０２、１１０２：メモリ  １０３、１１０３：フレーム内画像処理部  １０４、１１０４：フレーム間画像処理部  １０５：制御部  １１０５：画像読み出し部  １０１１、１１０１１：座標制御部  １０１２、１０４１、１１０１２：メモリ書き込み制御部  １０１３、１０４２、１１０５２：メモリ読み出し制御部  １１０５１：オーバーラップ領域制御部
【図１】
2016075983.tif 000003
【図２】
2016075983.tif 000004
【図３】
2016075983.tif 000005
【図４】
2016075983.tif 000006
【図５】
2016075983.tif 000007
【図６】
2016075983.tif 000008
【図７】
2016075983.tif 000009
【図８】
2016075983.tif 000010
【図９】
2016075983.tif 000011
【図１０】
2016075983.tif 000012
【図１１】
2016075983.tif 000013
【図１２】
2016075983.tif 000014
【図１３】
2016075983.tif 000015
【図１４】
2016075983.tif 000016
【図１５】
2016075983.tif 000017
【図１６】
2016075983.tif 000018