(57)【要約】【課題】画像の不連続性を解消し、回路規模を低減することが可能な画像処理装置及び画像処理方法を提供する。【解決手段】一つの画像が複数に分割されて生成された複数の分割領域の画像データが順次入力され、一の分割領域に含まれる隣接する分割領域との間の境界付近の画像データを隣接する分割領域の画像データに追加して、整形済み分割領域の画像データを生成する画像整形部１０２と、複数の整形済み分割領域の画像データが順次入力され、整形済み分割領域の画像データに対して順次画像処理をする画像処理部１０４とを備える。【選択図】図２
2011040004.tif 000002
【特許請求の範囲】
【請求項１】
一つの画像が複数に分割されて生成された複数の分割領域の画像データが順次入力され、一の前記分割領域に含まれる隣接する前記分割領域との間の境界付近の画像データを前記隣接する前記分割領域の画像データに追加して、整形済み分割領域の画像データを生成する画像整形部と、
複数の前記整形済み分割領域の画像データが順次入力され、前記整形済み分割領域の画像データに対して順次画像処理をする画像処理部と
を備える、画像処理装置。
【請求項２】
前記隣接する前記分割領域の画像データに追加される、一の前記分割領域に含まれる隣接する前記分割領域との間の境界付近の画像データは、前記画像処理部の画像処理に応じて決定される、請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部において一つの前記整形済み分割領域の画像データを画像処理する速度は、前記画像の前記分割領域の数をＮとしたとき、前記画像を表示するときのフレームレートのＮ倍以上である、請求項１又は２に記載の画像処理装置。
【請求項４】
一の前記分割領域に含まれる隣接する前記分割領域との間の境界付近の画像データを記憶する記憶部を更に備え、
記憶された前記境界付近の画像データは、前記隣接する前記分割領域の画像データに追加される際に読み出される、請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記複数の分割領域の画像データは、前記画像を十字４分割で４つに分割されて生成されたデータである、請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
一つの画像が複数に分割されて生成された複数の分割領域の画像データが順次入力されるステップと、
一の前記分割領域に含まれる隣接する前記分割領域との間の境界付近の画像データを前記隣接する前記分割領域の画像データに追加して、整形済み分割領域の画像データを生成するステップと、
複数の前記整形済み分割領域の画像データが順次入力されるステップと、
前記整形済み分割領域の画像データに対して順次画像処理をするステップと
を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
近年、テレビ等の映像表示装置及び放送環境は、１９２０×１０８０ピクセルの解像度（ＦｕｌｌＨＤ（High  Definition））に対応してきている。そして、ＦｕｌｌＨＤを超える解像度、例えば３８４０×２１６０ピクセル又は４０９６×２１６０ピクセルの解像度（４ｋ２ｋ）や、７６８０×４３２０ピクセルの解像度（スーパーハイビジョン）への展開が視野に入ってきた。特に、４ｋ２ｋの解像度を有する映像表示装置等は製品化が行われつつある。
【０００３】
しかし、高解像度映像処理に対するハードウェア性能が追い付いていないのが現状であり、既存回路による並列処理などが検討されている。例えば、４ｋ２ｋ（３８４０×２１６０）の解像度を有する映像を十字４分割し、ＦｕｌｌＨＤ（１９２０×１０８０）の解像度を処理できる既存回路によって並列処理を行うなどが考えられる。
【０００４】
ところが、分割境界部分における空間方向の画像処理（例えばフィルタ処理やスケーリング処理など）を行う際、分割領域に対して画像処理を行った後、分割領域を結合すると画像の不連続が問題となる。そこで、特許文献１（特開２００７−６７４９９号公報）では、重複部分を設けて分割し、再結合するなどの方法が用いられている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−６７４９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述の特許文献１のような並列処理による対応をとれば、４ｋ２ｋの解像度を処理する高性能ハードウェアを新規に設計する必要はないが、複数の回路において画像処理を並列に実行する必要があるため、全体の回路規模が巨大となる。
【０００７】
４ｋ２ｋの解像度で６０Ｈｚを処理できる性能を有するハードウェアは、現在のＦｕｌｌＨＤの解像度で６０Ｈｚを処理するハードウェアが有する性能の４倍に相当する。既に２４０Ｈｚなど４倍速駆動の映像表示装置などが開発されていることから、４ｋ２ｋの解像度で６０Ｈｚを処理可能なハードウェアも近いうちに普及すると推測される。しかし、解像度増大によるアルゴリズム変更に伴う新規デバイスの設計・開発が必要であり、時間やコストがかかる。
【０００８】
また、例えば垂直方向のフィルタ処理など空間方向の画像処理を行う場合には、水平解像度が倍増することによって、複数ライン分のデータを保存するためのメモリ量の増大、即ちハードウェアリソースの増大が見込まれる。
【０００９】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像の不連続性を解消し、回路規模を低減することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明のある観点によれば、一つの画像が複数に分割されて生成された複数の分割領域の画像データが順次入力され、一の分割領域に含まれる隣接する分割領域との間の境界付近の画像データを隣接する分割領域の画像データに追加して、整形済み分割領域の画像データを生成する画像整形部と、複数の整形済み分割領域の画像データが順次入力され、整形済み分割領域の画像データに対して順次画像処理をする画像処理部とを備える画像処理装置が提供される。
【００１１】
隣接する分割領域の画像データに追加される、一の分割領域に含まれる隣接する分割領域との間の境界付近の画像データは、画像処理部の画像処理に応じて決定されてもよい。
【００１２】
上記画像処理部において一つの整形済み分割領域の画像データを画像処理する速度は、画像の分割領域の数をＮとしたとき、画像を表示するときのフレームレートのＮ倍以上であってもよい。
【００１３】
一の分割領域に含まれる隣接する分割領域との間の境界付近の画像データを記憶する記憶部を更に備え、記憶された境界付近の画像データは、隣接する分割領域の画像データに追加される際に読み出されてもよい。
【００１４】
上記複数の分割領域の画像データは、画像を十字４分割で４つに分割されて生成されたデータであってもよい。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、一つの画像が複数に分割されて生成された複数の分割領域の画像データが順次入力されるステップと、一の分割領域に含まれる隣接する分割領域との間の境界付近の画像データを隣接する分割領域の画像データに追加して、整形済み分割領域の画像データを生成するステップと、複数の整形済み分割領域の画像データが順次入力されるステップと、整形済み分割領域の画像データに対して順次画像処理をするステップとを備える画像処理方法が提供される。
【発明の効果】
【００１６】
以上説明したように本発明によれば、画像の不連続性を解消し、回路規模を低減することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施形態に係る画像処理装置１００に入力される画像を示す説明図である。
【図２】同実施形態に係る画像処理装置１００を示すブロック図である。
【図３】画像の各画素の配列を示す説明図である。
【図４】画像の各画素の配列を示す説明図である。
【図５】画像の分割領域を示す説明図である。
【図６】画像の分割領域を示す説明図である。
【図７】画像整形部１０２の入力データおよび出力データと、メモリ１１２に保存されるデータの変化を示す説明図である。
【図８】画像の分割領域を示す説明図である。
【図９】画像の各画素の配列を示す説明図である。
【図１０】撮像装置で撮像されたり映像表示装置で表示されたりする画像を示す説明図である。
【図１１】本発明の第２の実施形態に係る画像処理装置２００に入力され処理される画像を示す説明図である。
【図１２】同実施形態に係る画像処理装置２００を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１９】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態（フィルタ処理）
２．第２の実施形態（アップコンバータ処理及び高画質化処理）
【００２０】
＜１．第１の実施形態＞
本発明の第１の実施形態に係る画像処理装置１００は、図２に示す通り、例えば画像整形部１０２と、メモリ１１２と、画像処理部１０４などを有する。図２は、本実施形態に係る画像処理装置１００を示すブロック図である。画像処理装置１００は、例えばテレビジョン装置等の映像表示装置や、パーソナルコンピュータ等の情報処理装置、ビデオカメラ等の撮像装置などに設けられる。画像処理装置１００は、例えば画像処理回路（プロセッサ）である。
【００２１】
画像処理装置１００は、フレームレートより速い速度で処理できるような動作周波数を有する場合に、高解像度画像を分割し、分割領域ごとに時分割多重方式で画像処理をすることで回路規模削減を実現する。これにより、高解像度対応のために新規のアルゴリズムやハードウェアを設計するコストを省き、既存の解像度に対応した画像処理回路を若干変更するだけで、本実施形態を実現できる。
【００２２】
また、本実施形態によれば、一つの画像を分割し、分割された領域に対して画像処理を行った後、分割領域を結合する際、従来では領域境界部分に画像の不連続性が発生するという問題を解決でき、かつ一連の処理に必要となるメモリ容量を低減できる。
【００２３】
図１は、画像処理装置１００に入力される画像を示す説明図であり、画像が４分割されている様子を示している。画像の解像度は、図１に示す例では、３８４０×２１６０ピクセルの解像度（４ｋ２ｋ）である。なお、以下の説明では、画像処理装置１００に入力される高解像度の画像は、図１に示すような３８４０×２１６０ピクセルの解像度を有する場合について説明するが、本実施形態はこの例に限定されない。例えば、４０９６×２１６０ピクセルの解像度（４ｋ２ｋ）や、７６８０×４３２０ピクセルの解像度を有する画像でもよい。
【００２４】
そして、３８４０×２１６０ピクセルの解像度を有する画像が、１９２０×１０８０ピクセル毎の４つの領域に十字４分割されて、画像処理装置１００の画像整形部１０２に入力される。１９２０×１０８０ピクセルは、ＦｕｌｌＨＤの解像度に相当する。このとき、各分割領域は、左上（ＬＵ＝<1>）、右上（ＲＵ＝<2>）、左下（ＬＤ＝<3>）、右下（ＲＤ＝<4>）の順で画像整形部１０２に入力されるものとする。
【００２５】
ところで、画像処理装置１００において、ＦｕｌｌＨＤの解像度の画像を１フレーム分処理するための処理速度（動作周波数）が、通常のフレームレートの４倍の速度であれば、３８４０×２１６０ピクセルの解像度の画像を正しいフレームレートで表示できることになる。この場合、３８４０×２１６０ピクセルの解像度の画像を十字４分割し、時分割多重方式で、各分割領域を順次処理していく。
【００２６】
しかし、各分割領域を単純に順次処理していくだけでは、分割境界部分における空間方向の画像処理（例えばフィルタ処理やスケーリング処理など）を行う際、分割領域に対して画像処理を行った後、分割領域を結合すると画像の不連続が発生する。
【００２７】
画像の不連続性が発生する原因について、図３を使用して具体的に説明する。図３は、画像の各画素の配列を示す説明図であり、左上領域２１Ａ（<1>）の右下隅の部分を拡大したものである。図３は、図１に示す例の左上領域２１Ａにおいて、注目画素１０を処理対象として水平３×垂直３のフィルタ処理を行う場合の具体例を示す。注目画素１０の出力結果を得るためには太枠１２で囲んだ３×３のピクセルデータが必要になる。
【００２８】
しかし、注目画素１０が左上領域２１Ａとそれ以外の領域３０（<2>，<3>，<4>）との境界２１ａ，２１ｂ付近にある場合、左上領域２１Ａには存在しない画素データを仮想的に入力してフィルタ処理を行う必要がある。例えば、左上領域２１Ａには存在しない画素データは、０値データ、最終画素（境界２１ａ，２１ｂに沿った画素）の繰り返しデータ、又は疑似的に算出された予測データを使用して、フィルタ処理の入力とすることが多い。しかし、実際のデータ（左上領域２１Ａ以外の領域３０の画素データ）を入力してフィルタ処理した結果とは異なってしまうため、実際には図３の太い破線２１ｃ，２１ｄで囲まれた範囲２１Ｂのみが有効に画像処理できる範囲となる。
【００２９】
３×３のフィルタ処理の場合、注目画素１０に対して必要な画素データ範囲は水平方向、垂直方向とも−１画素〜＋１画素である。ここで、Ｎを水平範囲、Ｍを垂直範囲としてＮ＝１，Ｍ＝１の画像処理と定義することとする。
【００３０】
右上、左下、右下領域でも左上領域と同様のことが起こり、十字型の境界付近で画像処理結果の出力に不連続が生じる。ところで、特許文献１（特開２００７−６７４９９号公報）にあるように重複部分を設けて分割することで、この問題を回避することができる。しかし、特許文献１では、画像処理を行う画像処理部を４個並列に配置し、４個の画像処理部を同時に実行する並列処理システムが必要であり、回路規模が増大する。
【００３１】
一方、画像処理部を１個にして、１個の画像処理部が時分割多重方式で画像処理するためには、３８４０×２１６０ピクセルの解像度の画像に対応する画像データを保存できるフレームメモリを備えておく。そして、特許文献１のように分割領域毎に重複領域を読み込んで処理することもできる。
【００３２】
しかし、本実施形態では、時分割多重方式で画像処理する際、必要最小限の画像データのみを他の分割領域の画像データに送り追加することによって、１フレーム全ての画像データを保存するためのメモリ容量が不要となり、メモリ消費量を削減できる。
【００３３】
具体的には、画像データの一部分を他の分割領域の画像データに送り追加することによって、画像の不連続を防止できる。図４は、画像の各画素の配列を示す説明図であり、図４（Ａ）は左上領域を示し、図４（Ｂ）は右上領域を示し、図４（Ｃ）は左下領域を示す。図４は、一例として水平３×垂直３のフィルタ処理をする場合を示している。
【００３４】
図４の例の左上領域では（１９２０−１）×（１０８０−１）の範囲を有効処理結果とすることができる。そして、左上領域の右端の２×１０８０の矩形領域データを右上領域の処理へ送り、左上領域の下端の１９２０×２の矩形領域データを左下領域の処理へ送る。これによって、有効に処理できる範囲を繋ぎ合わせることで、境界付近で不連続が生じないようにできる。
【００３５】
図４の例では、上下左右対称な空間方向処理の場合のみ説明した。一方、上下左右対称としなくても、Ｎを水平範囲、Ｍを垂直範囲としたとき、左上領域から右上領域の画像処理に一部の領域データを送る場合には２Ｎ×１０８０の矩形領域データを送る。また、左上領域から左下領域の画像処理に一部の画像領域を送る場合には１９２０×２Ｍの矩形領域データを送る。これによって、左上領域と右上領域との間の境界、左上領域と左下領域との間の境界の不連続性を防止できる。
【００３６】
同様に全ての境界の不連続を除去するために必要なデータコピー処理を、図５を用いて説明する。図５及び図６は、画像の分割領域を示す説明図であり、図５（Ａ）及び図６（Ａ）は左上領域を示し、図５（Ｂ）及び図６（Ｂ）は右上領域を示し、図５（Ｃ）及び図６（Ｃ）は左下領域を示し、図５（Ｄ）及び図６（Ｄ）は右下領域を示す。
【００３７】
［画像整形部１０２］
画像整形部１０２には、４つの分割領域に分けられた画像データが、図２に示した通り、左上領域<1>、右上領域<2>、左下領域<3>、右下領域<4>の順で入力される。そして、左上領域<1>、右上領域<2>、左下領域<3>の各分割領域の一部の画像データがメモリ１１２（記憶部）に保存される。次に、画像整形部１０２は、メモリ１１２に保存された一部の画像データを右上領域<2>、左下領域<3>、右下領域<4>の各分割領域の画像データに追加する。そして、画像整形部１０２は、一部の画像データが追加された画像データ（整形済み分割領域の画像データ）を左上領域<1>-1、右上領域<2>-1、左下領域<3>-1、右下領域<4>-1として出力する。
【００３８】
図５は、画像整形部１０２へ入力される分割領域を示す。
例えば、図５（Ａ）に示す「<1>ａＷ」と示された２Ｎ×１０８０の矩形領域は、左上領域<1>が画像整形部１０２に入力されたとき、「左上領域<1>のうちメモリ１１２に書き込まれる（Write）部分領域ａ」である。同様に、「<1>ｂＷ」と示された１９２０×２Ｍの矩形領域は、「左上領域<1>のうちメモリ１１２に書き込まれる（Write）部分領域ｂ」である。また、図５（Ｂ）に示す「<2>ａＷ」と示された１９２０×２Ｍの矩形領域は、右上領域<2>が画像整形部１０２に入力されたとき、「右上領域<2>のうちメモリ１１２に書き込まれる（Write）部分領域ａ」である。図５（Ｃ）に示す「<3>ａＷ」と示された２Ｎ×１０８０の矩形領域は、左下領域<3>が画像整形部１０２に入力されたとき、「左下領域<3>のうちメモリ１１２に書き込まれる（Write）部分領域ａ」である。
【００３９】
そして、図６は、画像整形部１０２が出力する分割領域を示す。
図６（Ｂ）に示す「<1>ａＲ」と示された２Ｎ×１０８０の矩形領域は、右上領域<2>-1が画像整形部１０２から画像処理部１０４に出力されるとき、「メモリ１１２に保存されたデータのうち読み出される（Read）左上領域<1>の部分領域ａ」である。また、図６（Ｃ）に示す「<1>ｂＲ」と示された１９２０×２Ｍの矩形領域は、左下領域<3>-1が画像整形部１０２から画像処理部１０４に出力されるとき、「メモリ１１２に保存されたデータのうち読み出される（Read）左上領域<1>の部分領域ｂ」である。
【００４０】
更に、図６（Ｄ）に示す「<1>ａＲ」と示された２Ｎ×２Ｍの矩形領域は、右下領域<4>-1が画像整形部１０２から画像処理部１０４に出力されるとき、「メモリ１１２に保存されたデータのうち読み出される（Read）左上領域<1>の部分領域ａ」の一部の領域である。同様に、「<2>ａＲ」と示された１９２０×２Ｍの矩形領域は、「メモリ１１２に保存されたデータのうち読み出される（Read）右上領域<2>の部分領域ａ」である。また、「<3>ａＲ」と示された２Ｎ×１０８０の矩形領域は、「メモリ１１２に保存されたデータのうち読み出される（Read）左下領域<3>の部分領域ａ」である。
【００４１】
画像整形部１０２は、上述のように部分的なデータをメモリ１１２に書き込んだり、メモリ１１２から読み出したりすることによって、画像処理部１０４に出力するデータを作成する。
【００４２】
図７は、画像整形部１０２の入力データおよび出力データと、メモリ１１２に保存されるデータの変化を示す説明図であり、横軸方向は時間の経過を示す。<1>ａ及び<1>ｂは画像整形部１０２に左上領域<1>が入力された時からメモリ１１２に保存される。そして、<1>ａは画像整形部１０２が右下領域<4>-1を出力するまでメモリ１１２に保存され、<1>ｂは画像整形部１０２が左下領域<3>-1を出力するまでメモリ１１２に保存される。また、<2>ａは画像整形部１０２に右上領域<2>が入力された時からメモリ１１２に保存され、画像整形部１０２が右下領域<4>-1を出力するまでメモリ１１２に保存される。<3>ａは画像整形部１０２に左下領域<3>が入力された時からメモリ１１２に保存され、画像整形部１０２が右下領域<4>-1を出力するまでメモリ１１２に保存される。
【００４３】
厳密には、図６（Ｄ）から分かるとおり、<1>ａ領域の一部（２Ｎ×（１０８０−２Ｍ）の領域）は、<2>-1を生成した直後に削除することができるが、説明を簡単にするため<1>ａ全体を残すものとした。従って、本実施形態はこの例に限定されず、<1>ａ領域の一部（２Ｎ×（１０８０−２Ｍ）の領域）は、<2>-1を生成した直後に削除してもよい。
【００４４】
［画像処理部１０４］
図８は、画像の分割領域を示す説明図であり、図８（Ａ）は左上領域を示し、図８（Ｂ）は右上領域を示し、図８（Ｃ）は左下領域を示し、図８（Ｄ）は右下領域を示す。
【００４５】
図８は、画像処理部１０４が出力する分割領域を示す。画像処理部１０４には、左上領域<1>-1、右上領域<2>-1、左下領域<3>-1、右下領域<4>-1が順次入力される。そして、画像処理部１０４は、各分割領域に対して、空間方向の画像処理（例えばフィルタ処理やスケーリング処理など）を行う。上述した通り、３×３のフィルタ処理の場合、Ｎ＝１，Ｍ＝１の画像処理であって、左上領域<1>-1を画像処理した場合、（１９２０−１）×（１０８０−１）の範囲が有効に画像処理できる範囲（有効処理範囲）<1>-2となる。有効処理範囲を一般的に表すと、図８（Ａ）に示すように、左上領域の有効処理範囲<1>-2は（１９２０−Ｎ）×（１０８０−Ｍ）の範囲である。
【００４６】
同様に、右上領域の有効処理範囲<2>-2は、図８（Ｂ）に示すように（１９２０＋Ｎ）×（１０８０−Ｍ）の範囲である。左下領域の有効処理範囲<3>-2は、図８（Ｃ）に示すように（１９２０−Ｎ）×（１０８０＋Ｍ）の範囲である。右下領域の有効処理範囲<4>-2は、図８（Ｄ）に示すように（１９２０＋Ｎ）×（１０８０＋Ｍ）の範囲である。
【００４７】
画像処理部１０４は、画像処理を行った後、有効処理範囲<1>-2、<2>-2、<3>-2、<4>-2のみを順次出力する。出力結果は、液晶テレビであれば、液晶テレビに設けられたパネルタイミングコントローラ等に順次転送され、有効処理範囲の画像データに基づいて表示される。このとき、分割領域の境界付近のデータは、実際のデータを使用して画像処理された結果であるため、各分割領域を単純に順次処理していくだけで、境界部分で連続性を有する画像を表示できる。なお、画像処理部１０４が、一つの整形済み分割領域の画像データを画像処理する速度は、画像の分割領域の数をＮとしたとき、画像を表示するときのフレームレートのＮ倍以上であれば、正常なフレームレートで高解像度の画像を正常なフレームレートで表示できる。上述した例はＮ＝４の場合である。
【００４８】
以上、本実施形態によれば、高解像度（上述した例では３８４０×２１６０ピクセルの解像度（４ｋ２ｋ））専用の画像処理回路を新規に設計する必要がない。また、既存の１９２０×１０８０ピクセルの解像度に対応した画像処理回路を、分割領域の数だけ用意して、並列使用する必要もない。既存の１９２０×１０８０ピクセルの解像度に対応した既存の画像処理回路を１個だけ使用して、３８４０×２１６０ピクセルの解像度の画像を境界部分で破綻させることなく、時分割多重方式で画像処理することができる。また、時分割多重方式で画像処理する際、必要最小限の画像データのみを他の分割領域の画像データに送り追加することによって、１フレーム全ての画像データを保存するためのメモリ容量が不要となり、メモリ消費量を削減できる。
【００４９】
なお、映像処理装置では、高解像度の画像に対応したフレームメモリが必要な場合がある。例えば、画像データが入力されるときに並べ替えなどのＩ／Ｆ変換が必要な場合や、時間方向の画像処理を行う場合には、高解像度用フレームメモリが必要である。このときは、時分割多重方式で画像処理をして、メモリ消費量を削減する必要はない。しかし、本実施形態を適用することで、既存の解像度に対応した回路を１個のみ使用するだけで済むため、時分割多重方式で画像処理をすることは十分に効果がある。
【００５０】
［画像処理範囲について］
図４を使用した説明では、上下左右方向に対称なデータ範囲を用いる画像処理を例に説明しており、図４は水平範囲Ｎと垂直範囲Ｍが同数である場合を示している。一方、画像処理対象とする分割領域の範囲は、上下左右非対称であってもよいし、画像処理に必要なデータ範囲の形状が矩形でなくてもよい。このとき、画像処理の範囲に応じて、別の分割領域に送るデータ範囲を変更すればよい。
【００５１】
図９は、画像の各画素の配列を示す説明図であり、図９（Ａ）は左上領域を示し、図９（Ｂ）は右上領域を示し、図９（Ｃ）は左下領域を示す。図９は、一例として水平４×垂直３のフィルタ処理をする場合を示している。
【００５２】
図９の例では、図４に示した水平３×垂直３のフィルタ処理をする場合に比べて、水平右方向により長くデータ範囲が必要である。そのため、図９に示す例では、別の分割領域に送るデータ範囲が図４の例と比べて変更されている。
【００５３】
例えば、図９の例の左上領域では（１９２０−２）×（１０８０−１）の範囲を有効処理結果とすることができる。そして、左上領域の右端の３×１０８０の矩形領域データを右上領域の処理へ送り、左上領域の下端の１９２０×２の矩形領域データを左下領域の処理へ送る。この例でも、有効処理範囲を繋ぎ合わせることで、境界付近で不連続が生じないようにできる。
【００５４】
［画像処理回路の処理能力について］
上述した説明では、本実施形態によれば、既存の１９２０×１０８０ピクセルの解像度（ＦｕｌｌＨＤに相当）の画像を処理できる回路を使用できると説明した。厳密には、既存の回路が（１９２０＋２Ｎ）×（１０８０＋２Ｍ）ピクセルの解像度まで対応していることが前提となる。なお、画像処理に必要となる一般的なＮやＭの値は、多くても数１０程度のオーダーである。従って、既存の１９２０×１０８０ピクセルの解像度（ＦｕｌｌＨＤに相当）の画像を処理できる回路を使用して、本実施形態による処理が可能である。また、僅かな差で対応できていない場合も、既存の回路に比べて４倍の解像度を有する画像に対応する回路を設計する場合に比べれば、より簡単に変更が可能である。
【００５５】
［画像の分割方法］
上述した説明では、画像を十字４分割して、十字４分割された分割領域の画像データが順次転送される場合について説明した。一方、３８４０×２１６０ピクセル等の高解像度を有するコンテンツがどのような形式で送られてくるかは、放送、ネットワークストリーミング、ディスクメディア配布などの形態によっても多くの形式が想定される。
【００５６】
例えば、上述したように、現行のＦｕｌｌＨＤ規格の解像度×４として、高解像度のコンテンツが十字４分割されることが考えられる。更には、図１０に示すように、横又は縦に高解像度のコンテンツが分割される例も考えられる。図１０は、撮像装置で撮像されたり映像表示装置で表示されたりする画像を示す説明図であり、画像を４分割している様子を示している。
【００５７】
図１０（Ａ）に示す横分割の例は、各分割領域の横方向が高解像度の画像のピクセル数と同一であり、縦方向が高解像度の画像を４分割したピクセル数である。横分割の例は、高解像度の映像がそのままのサイズで伝送される場合と走査方式が同じである。従って、既存の画像処理回路が水平方向の高解像度に対応しているか、又は水平方向の高解像度に対応することが容易であれば、本実施形態を容易に適用でき高解像度の画像を処理できる。
【００５８】
具体的には、図１０（Ａ）に示すように、上から<1>→<2>→<3>→<4>の順で順次分割領域の画像データが伝送されてくる場合は、各分割領域（<1>、<2>、<3>）の下端部分（水平解像度×２Ｍの矩形領域データ）を順次、別の分割領域に送り追加する。この処理によって、上述した本実施形態の効果を同様に実現できる。
【００５９】
図１０（Ｂ）に示す縦分割の例は、各分割領域の縦方向が高解像度の画像のピクセル数と同一であり、横方向が高解像度の画像を４分割したピクセル数である。縦分割の例は、アルゴリズム仕様においてラインメモリが必要な場合において、ラインメモリのメモリ容量を削減できる。水平ピクセル数を分割するため、図１０（Ｂ）に示すように、左から<1>→<2>→<3>→<4>の順で順次転送されてくる場合は、各分割領域（<1>、<2>、<3>）の右端部分（２Ｎ×垂直解像度）を順次、別の分割領域に送り追加する。この処理によって、上述した本実施形態の効果を同様に実現できる。
【００６０】
＜２．第２の実施形態＞
本発明の第２の実施形態に係る画像処理装置２００は、図１２に示すように、アップコンバータ画像整形部２２２と、メモリ２３２と、アップコンバータ画像処理部２２４と、高画質化画像整形部２０２と、メモリ２１２と、高画質化画像処理部２０４などからなる。図１２は、本実施形態に係る画像処理装置２００を示すブロック図である。
【００６１】
本実施形態は、画像処理装置２００に入力される画像の画像データをアップコンバートによって高解像度の画像に変換する。
【００６２】
例えば、画像処理装置２００は、１９２０×１０８０ピクセルの解像度を有するコンテンツを受けて、アップコンバート（拡大スケーリング）処理し、１９２０×１０８０ピクセルの解像度を超える高解像度のコンテンツに変換する。これによって、１９２０×１０８０ピクセルの解像度（ＦｕｌｌＨＤ）を超えるコンテンツに対応した伝送路が整備されていない段階、例えば高解像度コンテンツ普及への過渡期において、既存コンテンツのアップコンバートによる高解像度コンテンツを提供できる。
【００６３】
図１１は、画像処理装置２００に入力され処理される画像を示す説明図である。
アップコンバータ画像整形部２２２では、アップコンバート処理前の画像、例えば１９２０×１０８０ピクセルの解像度を有する画像であって、図１１（Ａ）に示す通り、４つの分割領域に分けられた画像データが入力される。そして、各分割領域の一部の画像データがメモリ２３２（記憶部）に保存される。次に、アップコンバータ画像整形部２２２は、メモリ２３２に保存された一部の画像データを隣接する分割領域の画像データに追加する。そして、アップコンバータ画像整形部２２２は、一部の画像データが追加された画像データを分割領域毎に出力する。
【００６４】
アップコンバータ画像処理部２２４には、一部の画像データが追加された画像データが順次入力される。そして、アップコンバータ画像処理部２２４は、各分割領域に対して、空間方向のアップコンバート処理を行う。これによって、各分割領域間の境界の不連続性を防止できる。アップコンバート処理後の有効処理範囲の画像データを合わせると、図１１（Ｂ）に示すように例えば１９２０×１０８０ピクセルの解像度（ＦｕｌｌＨＤ）の画像を４つ合わせた画像に高精細化できる。
【００６５】
更に、高画質化画像整形部２０２では、図１１（Ｂ）に示す通り、各分割領域が１９２０×１０８０ピクセルの解像度を有する４つの分割領域に分けられた画像データが入力される。そして、各分割領域の一部の画像データがメモリ２１２（記憶部）に保存される。次に、高画質化画像整形部２０２は、メモリ２１２に保存された一部の画像データを隣接する分割領域の画像データに追加する。そして、高画質化画像整形部２０２は、一部の画像データが追加された画像データを分割領域毎に出力する。
【００６６】
高画質化画像処理部２０４には、一部の画像データが追加された画像データが順次入力される。そして、高画質化画像処理部２０４は、各分割領域に対して、空間方向のフィルタ処理を行う。これによって、各分割領域間の境界の不連続性を防止できる。
【００６７】
本実施形態では、高解像度画像の高画質化を図る画像処理だけでなく、アップコンバート処理も時分割多重化方式で画像処理する。そして、高画質化処理もアップコンバート処理のいずれも第１の実施形態で詳述した方法を適用することで、画像処理後の画像の不連続性を防止できる。
【００６８】
以上、本発明の第１及び第２の実施形態によれば、例えばＦｕｌｌＨＤを超える高解像度に対応していない既存の画像処理回路を１個のみ使用して、高解像度画像に対する画像処理を行うことができる。また、高解像度画像処理において、画像を分割することによって生じる境界付近の出力結果が不連続性を生じるという問題を解決することができる。更に、画像を分割し画像処理する際、最小限の画像データをコピーするだけで画像の不連続性を解決できるため、必要なメモリ容量を削減できる。また、複数の画像処理回路を並列させて処理させる必要がないため、回路規模の削減が得られる。
【００６９】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００７０】
１００，２００      画像処理装置
１０２      画像整形部
１０４      画像処理部
１１２，２１２，２３２      メモリ
２０２      高画質化画像整形部
２０４      高画質化画像処理部
２２２      アップコンバータ画像整形部
２２４      アップコンバータ画像処理部
【図１】
2011040004.tif 000003
【図２】
2011040004.tif 000004
【図３】
2011040004.tif 000005
【図４】
2011040004.tif 000006
【図５】
2011040004.tif 000007
【図６】
2011040004.tif 000008
【図７】
2011040004.tif 000009
【図８】
2011040004.tif 000010
【図９】
2011040004.tif 000011
【図１０】
2011040004.tif 000012
【図１１】
2011040004.tif 000013
【図１２】
2011040004.tif 000014