(57)【要約】      （修正有）【課題】簡易な構成で、画像データの記録のパフォーマンスの低下を抑えつつリサイズされた画像を複数階層にわたって取得することが可能な画像処理装置および方法を提供する。【解決手段】画像処理装置は、入力された第１階層の画像データの走査方向における終端の画素を用いて、該入力された画像データを前記水平走査方向に延ばすことにより追加有効画素を付与する付与処理を行って、追加有効画素付きの画像を生成する。そして、画像処理装置は、生成された追加有効画素付きの画像に対してフィルタリングを行って入力された画像データを縮小した第２階層の画像データを生成し、その第２階層の画像データに対してフィルタリングを行って第３階層の画像データを生成する。【選択図】図１
2013178753.tif 000002
【特許請求の範囲】
【請求項１】
画像処理装置であって、
第１階層の画像データの走査方向における端部の画素を用いて前記画像データを前記走査方向に延ばすための追加有効画素を付与する付与処理を行って、追加有効画素付きの画像を生成する追加有効画素付与手段と、
前記追加有効画素付与手段で生成された追加有効画素付きの画像に対してフィルタリングを行って前記第１階層の画像データを縮小した第２階層の画像データを生成する第１の生成手段と、
前記第２階層の画像データに対してフィルタリングを行って前記第２階層の画像データを縮小した第３階層の画像データを生成する第２の生成手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記第１の生成手段は、前記第１階層の画像データと前記第２階層の画像データの、前記走査方向の終端の画素の重心が一致するように、前記第１階層の画像データに対してフィルタリングを行い、
前記第２の生成手段は、前記第２階層の画像データと前記第３階層の画像データの、前記走査方向の終端の画素の重心が一致するように、前記第２階層の画像データに対してフィルタリングを行う、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１階層の画像データは映像信号から生成され、
前記追加有効画素付与手段は、前記映像信号の水平ブランキング期間で、前記第１階層の画像データの各水平ラインの水平走査方向における端部の画素を用いて、各水平ラインを前記水平走査方向に延ばす、ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記第１階層の画像データは映像信号から生成され、
前記追加有効画素付与手段は、前記映像信号の垂直ブランキング期間で、前記第１階層の画像データの垂直走査方向における端部の水平ラインを用いて、前記第１階層の画像データを垂直走査方向に延ばす、ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記追加有効画素付与手段は、前記第１階層の画像データの各水平ラインの、前記フィルタリングの処理の方向に関して終端の画素を用いて前記各水平ラインを前記水平走査方向に延ばす、ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記追加有効画素付与手段は、前記第１階層の画像データの、前記フィルタリングの処理の方向に関して終端の水平ラインを用いて前記画像を垂直走査方向に延ばす、ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記追加有効画素付与手段は、前記第１および第２の生成手段で縮小画像を生成するのに必要な幅の追加有効画素を前記第１階層の画像データに付与する、ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記追加有効画素付与手段は、前記第１および第２の生成手段において生成される縮小画像の縮小率と、フィルタリングが参照する画素の領域のサイズに基づいて前記追加有効画素の幅を設定する、ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
入力画像から多階層の縮小画像を生成する画像処理装置による画像処理方法であって、  追加有効画素付与手段が、第１階層の画像データの走査方向における端部の画素を用いて前記画像データを前記走査方向に延ばすための追加有効画素を付与する付与処理を行って、追加有効画素付きの画像を生成する追加有効画素付与工程と、
第１の生成手段が、前記追加有効画素付与工程で生成された追加有効画素付きの画像に対してフィルタリングを行って前記第１階層の画像データを縮小した第２階層の画像データを生成する第１の生成工程と、
第２の生成手段が、前記第２階層の画像データに対してフィルタリングを行って前記第２階層の画像データを縮小した第３階層の画像データを生成する第２の生成工程と、を備えることを特徴とする画像処理方法。
【請求項１０】
前記第１の生成工程では、前記第１階層の画像データと前記第２階層の画像データの、前記走査方向の終端の画素の重心が一致するように、前記第１階層の画像データに対してフィルタリングを行い、
前記第２の生成工程では、前記第２階層の画像データと前記第３階層の画像データの、前記走査方向の終端の画素の重心が一致するように、前記第２階層の画像データに対してフィルタリングを行う、ことを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
請求項９または１０に記載された画像処理方法の各工程をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データのリサイズにおける画像処理および方法に関する。
【背景技術】
【０００２】
撮像素子の多くは、多数の有効画素と、その多数の有効画素を囲うように配置された多数の無効画素から構成されている。有効画素の信号値は画像データとして利用され、無効画素の信号値は有効画素から得られた画像データを補正するための補正データを取得するために利用される。
【０００３】
従来、このような撮像素子から得られた画像データのリサイズを行うために、ＦＩＲ型デジタルフィルタリングを用いることが一般的である。ＦＩＲ型デジタルフィルタリングを行うときには、注目画素の信号値と、その周辺の所定数の画素の信号値を用いて、畳み込み積分した画像処理を行う。着目画素が有効画素の端部に位置すると、フィルタリングの参照範囲に無効画素が含まれてしまう。そのため、例えば、縮小処理のためのフィルタリングを行う場合は、端部に位置する有効画素の外側に、その有効画素をコピーした画素である追加有効画素を加えてからフィルタリングを行っていた。
【０００４】
特許文献１は、複数の縮小画像を生成して、画像ピラミッドを出力する構成を記載している。特許文献１では、無効画素と有効画素の境界部に追加有効画素を加える追加有効画素生成処理と、追加有効画素を有する画像についてフィルタリング及びダウンサンプリングを行う縮小プロセスとを繰り返すことで、複数の階層の縮小画像を生成している。このような処理では、各階層の画像データにおいて、有効画素と無効画素の境界を判断し、追加有効画素を加えるという処理が必要となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１５４２２７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一般に、画像データのリサイズを行う画像処理において、フィルタの参照範囲に有効画素と無効画素の境界が含まれているかどうかを判断し、含まれる場合には端部の有効画素の外側に追加有効画素を追加する必要がある。このように各階層の縮小プロセスで映像期間中の画像データを用いて追加有効画素生成処理を行うと、動画撮影など一度もＤＲＡＭを介することなく処理するオンフライ等では、パフォーマンスの低下が生じてしまう可能性がある。
【０００７】
本発明は、上記の課題に鑑みてなされたものであり、簡易な構成で、画像データの記録のパフォーマンスの低下を抑えつつリサイズされた画像を複数階層にわたって取得することが可能な画像処理装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
第１階層の画像データの走査方向における端部の画素を用いて前記画像データを前記走査方向に延ばすための追加有効画素を付与する付与処理を行って、追加有効画素付きの画像を生成する追加有効画素付与手段と、
前記追加有効画素付与手段で生成された追加有効画素付きの画像に対してフィルタリングを行って前記第１階層の画像データを縮小した第２階層の画像データを生成する第１の生成手段と、
前記第２階層の画像データに対してフィルタリングを行って前記第２階層の画像データを縮小した第３階層の画像データを生成する第２の生成手段と、を備える。
【発明の効果】
【０００９】
本発明によれば、簡易な構成で、画像データの記録のパフォーマンスの低下を抑えつつリサイズされた画像を複数階層にわたって取得することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】実施形態による画像処理装置の構成例を示すブロック図。
【図２】実施形態の画像処理装置による縮小プロセスを説明するフローチャート。
【図３】実施形態による縮小プロセスと追加有効画素の付与を説明する図。
【図４】実施形態による追加有効画素付与に関わるタイミングチャート。
【図５】一般的な、ＯＢ領域を含んだ縮小プロセスを説明する図。
【図６】走査方向の左側に追加有効画素を付与する場合の縮小プロセスを説明する図。
【図７】図６の縮小プロセスにおける追加有効画素付与に関わるタイミングチャート。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１２】
図１は、本実施形態による画像処理装置の構成例を示すブロック図である。本実施形態の画像処理装置１００は、たとえばデジタルビデオカメラに組み込まれて、縮小処理により生成された複数階層からなる複数の画像（たとえば画像ピラミッド）を記録媒体２００に記録する。画像処理装置１００に入力された映像信号（アナログ映像信号）は、Ａ／Ｄ変換器１０１においてデジタル映像信号に変換される。Ａ／Ｄ変換器１０１は、不図示の撮像部から入力される画素クロックに同期してデジタル化された画素データを出力する。映像信号が含む水平同期信号は、水平方向の１ライン分の画素データの開始を示し、垂直同期信号は１画面の画素データの開始を示す。
【００１３】
追加有効画素付与部１０２は、Ａ／Ｄ変換器１０１の出力を入力画像として、その各水平ラインの水平走査方向における端部（本実施形態では終端）の画素をコピーして各水平ラインを水平走査方向に延ばすことにより、水平方向の追加有効画素を付与する第１付与処理を行なう。また、追加有効画素付与部１０２は、入力画像の垂直方向における端部（本実施形態では終端）の水平ラインをコピーして入力画像を垂直走査方向に延ばすことにより、追加有効画素を付与する第２付与処理を行う。付与される追加有効画素の幅は、後述の各階層の画像出力を行なうためのフィルタ処理で参照される画素の数に基づいて設定される。これらの追加有効画素付与処理は、画像ピラミッドを生成するための境界処理であり、その詳細は後述する。
【００１４】
第１階層出力部１０３は、入力画像のサイズが維持された画像、すなわち、縮小処理前の画像を第１階層の画像として出力する。なお、第１階層出力部１０３は、追加有効画素付与部１０２による追加有効画素付与前のデータを圧縮処理部１０７へ出力するようにしてもよい。第２階層出力部１０４は、追加有効画素付与部１０２により追加有効画素が付与された画像（第１階層出力部１０３が出力した追加有効画素付きの画像）に対してフィルタ処理を行なって得られた縮小画像を第２階層の画像として出力する第１の生成処理を実行する。例えば、第２階層出力部１０４は、３×３個の画素を用いた縮小フィルタを用いたフィルタ処理を行って縮小画像を生成して出力する。第３階層出力部１０５は、第２階層出力部１０４が出力した縮小画像に対してフィルタ処理を行って得られた縮小画像を第３階層の画像として出力する第２の生成処理を実行する。以降の階層出力部では直上の階層で得られた縮小画像に対してフィルタ処理を行って、更なる縮小画像を生成して出力する。そして、第Ｎ階層出力部１０６では、第Ｎ−１階層出力部が出力する縮小画像を用いて縮小画像を生成し、これを第Ｎ階層の画像として出力する第Ｎの生成処理を実行する。
【００１５】
圧縮処理部１０７は、第１階層出力部１０３〜第Ｎ階層出力部１０６より出力される画像データに対して圧縮処理を施して記録媒体２００に記録する。以下、画像ピラミッドを生成するための各階層の縮小プロセスと、追加有効画素付与部１０２による画面端の有効画素と無効画素の境界処理について説明する。
【００１６】
図２は、本実施形態の画像処理装置１００による縮小プロセスのフローチャートである。図２のＳはステップを示す。Ｓ２００で縮小プロセスが開始されると、追加有効画素付与部１０２は、Ｓ２０１において画像を入力し、Ｓ２０２において出力階層数、縮小率、縮小フィルタの係数（たとえば、フィルタが参照する画素群のサイズ）などに応じて追加有効画素を加える。なお、有効画素のうち、端部に位置する有効画素を予備有効画素として、この予備有効画素の信号値を、追加有効画素付与部１０２によって追加された追加有効画素と同様にフィルタリング処理のためだけに用いる方法もある。このような予備有効画素が十分に存在する場合には、追加有効画素を加えなかったり、追加有効画素を加える画素数を減らしたりしてもよい。
【００１７】
第１階層の画像は入力された画像であり、第２階層以降の画像は縮小された画像である。以下のＳ２０３、Ｓ２０４は、第２階層以降の画像を生成する処理を示したものである。第２階層の画像は、第２階層出力部１０４が、追加有効画素付与部１０２で生成された追加有効画素付きの画像に対してフィルタリングを行って縮小画像を生成する。また、この縮小画像が生成された後、第３階層出力部１０５以降の第ｎ階層出力部では、第ｎ−１（ｎは２以上の整数）階層出力部から出力された縮小画像に対してフィルタリングを行って第ｎの縮小画像を生成する。こうして、多階層の縮小画像が生成される。
【００１８】
まずＳ２０３において、第２階層出力部１０４は、Ｓ２０２で追加有効画素付与部１０２により追加有効画素が付与された画像にフィルタ処理を施し、第２階層の画像としての縮小画像を生成する。ここで、第２階層出力部１０４は、水平方向に縮小処理を行うときは、縮小処理前の画像データに含まれる水平方向の右端の有効画素の重心と、縮小処理後の画像データに含まれる水平方向の右端の有効画素の重心が一致するように、間引きを行ってダウンサンプリングを施す。この結果、たとえば、後述の図３に示されるように、第１階層の画素Ｐ８と、第２階層（第１階層の画像の縮小画像）の画素Ｐ１５と、第３階層（第２階層の画像の縮小画像）の画素Ｐ１８の重心位置が一致したものとなる。また、第２階層出力部１０４は、垂直方向に縮小処理を行うときは、縮小処理前の画像データに含まれる垂直方向の下端の有効画素の重心と、縮小処理後の画像データに含まれる垂直方向の下端の有効画素の重心が一致するように、間引きを行ってダウンサンプリングを施す。なお、これは上端のラインから順に、左から右へ向かって画素の信号を読み出す場合の間引きの例である。各々の階層出力部は、水平方向に縮小処理を行うときには、水平走査方向の終端の有効画素の重心が、縮小処理の前後で一致するようダウンサンプリングを行えば良い。同様に、各々の階層出力部は、垂直方向に縮小処理を行うときは、垂直走査方向の終端のラインの有効画素の重心が、縮小処理の前後で一致するようにダウンサンプリングを行えば良い。そして、次の階層を出力する（Ｓ２０４でＹＥＳ）のであれば、処理をＳ２０３に戻し、これ以上出力する階層がなければ（Ｓ２０４でＮＯ）Ｓ２０５にて縮小プロセスを終了する。
【００１９】
Ｓ２０４からＳ２０３に戻った場合、縮小処理を施す対象は、直前のＳ２０３の処理で得られた縮小画像となる。たとえば、第３階層出力部１０５は、Ｓ２０３において、第２階層出力部１０４が出力した縮小画像にフィルタ処理を施し、更なる縮小画像を得る。なお、図１に示すように階層ごとに階層出力部を設ければ、各階層について縮小処理に用いるフィルタを変えることが可能である。また、各階層のフィルタが共通なのであれば、第２階層出力部１０４の出力である第２階層の画像を第２階層出力部１０４の入力として用いて第３階層の画像を生成するようにしてもよい。
【００２０】
図３は、縮小プロセスの構成例を示す図である。第１階層の画像データを第１の画像とし、第２階層の画像データは第１階層の画像データを１／２倍した縮小画像データとし、第３階層の画像データは第２階層の画像データを１／２倍した縮小画像データとする。
【００２１】
映像期間中の第１階層の画像データ３０１の各画素がＰ１からＰ８まであるとき、第２階層の画像データを生成するために、第１階層の画像データの各画素に対してデジタルフィルタ処理を行い、間引きを行う。縮小処理の前後で右端の画素の重心が一致するようにするため、Ｐ２、Ｐ４、Ｐ６、Ｐ８というように、隣接する２つの画素を１つの組とした場合の右側の位相の画素を、間引き後に残すものとする。
【００２２】
画素Ｐ１２を生成するためには、
Ｐ１２＝（Ｐ１＋Ｐ２×２＋Ｐ３）／４
という計算式で算出される。同様に、
Ｐ１３＝（Ｐ３＋Ｐ４×２＋Ｐ５）／４
Ｐ１４＝（Ｐ５＋Ｐ６×２＋Ｐ７）／４
という計算式で画素Ｐ１３、画素Ｐ１４が生成される。
【００２３】
画素Ｐ１５を生成するためには画素Ｐ９が必要であるが、映像期間中の第１階層の画像データ３０１には、画素９に相当する有効画素が存在しない。そのため、第１階層の画像データの有効画素を用いて追加有効画素を加える処理を行わなければならない。追加有効画素を加える処理の期間を３０２とする。期間３０２では、映像期間中に存在する画素Ｐ８を保持してＰ９＝Ｐ８、Ｐ１０＝Ｐ８、Ｐ１１＝Ｐ８を生成することで追加有効画素を加える。なお、Ｐ１１まで追加有効画素として生成するのは、第３階層の画像データを生成するためである。これにより、第２階層の画素Ｐ１５の値は、
Ｐ１５＝（Ｐ７＋Ｐ８×２＋Ｐ９）／４
という計算式で算出される。また、第３階層の画像データを生成するために、画素Ｐ１６の値が、
Ｐ１６＝（Ｐ９＋Ｐ１０×２＋Ｐ１１）／４
により算出される。
【００２４】
さらに第３階層の画像データを生成するために、第２階層の画像の各画素に対してデジタルフィルタ処理を行い、間引きを行う。画素Ｐ１７を生成するためには、
Ｐ１７＝（Ｐ１２＋Ｐ１３×２＋Ｐ１４）／４
という計算式で算出される。また、画素Ｐ１８を生成するために、第２階層の画素Ｐ１４〜Ｐ１６を用いて、
Ｐ１８＝（Ｐ１４＋Ｐ１５×２＋Ｐ１６）／４
という計算式で算出される。
【００２５】
以上のように、間引きを行う位相をＰ２、Ｐ４、Ｐ６、Ｐ８といった右側の位相の画素で行うことによって、デジタルフィルタ処理で必要な追加有効画素を有効画素の右側に集めることができる。つまり、走査方向の始端には追加有効画素を設ける必要がない。
【００２６】
複数の縮小画像を生成するためには、映像期間中の第１階層の画像データを用いて、水平ブランキング期間中に、第１階層の画像データのみで映像期間中の有効画素を用いて追加有効画素を加える処理を行う。本実施形態では、フィルタ処理で必要な画素が水平走査方向の終端である右側のみであるため、水平ブランキング期間中に少ない遅延素子、つまり画素Ｐ８だけを保持することで追加有効画素を加えることが可能となる。
【００２７】
また図３では水平方向の縮小について説明したが、水平方向の間引き位相が右側の位相であるに対して垂直方向の間引き後に残す位相は下側の位相になる。そのため、垂直方向の縮小についてはフィルタ処理で必要な画素が下側のみであるため、垂直ブランキング期間中に少ないラインメモリで追加有効画素を加えることが可能となる。
【００２８】
図４は本実施形態による追加有効画素付与部１０２のタイミングチャートを示す。期間４０１は映像期間中のデータを表し、期間４０２ではブランキング期間中のデータを表している。第１階層の画像データが期間４０１の間（入力画像のＶＡＬＩＤ信号が有効を示す間）に、画素クロックに同期して画素Ｐ１から画素Ｐ８まで入力され、期間４０２において追加有効画素を加える信号がＨｉになると、遅延素子ＤＬ１が画素Ｐ８を保持する。遅延素子ＤＬ１が保持したデータＰ８を用いてＰ９＝Ｐ８、Ｐ１０＝Ｐ８、Ｐ１１＝Ｐ８といった追加有効画素が付与される。
【００２９】
次に、本実施形態による利点を説明するために、一般的な多階層の縮小画像の取得処理、追加有効画素付与処理について説明する。図５は各階層の有効画素と無効画素の境界における処理の一般的な例を記載したものである。画素Ｐ１から画素Ｐ４までがＯＢ領域である無効画素で、画素Ｐ５から画素Ｐ１２までが有効画素である場合、第１階層の画像データで追加有効画素を加える位置は画素Ｐ５の位置である。第２階層の画像データの画素Ｐ１５を生成するためには画素Ｐ４が必要であるが、画素Ｐ４が無効であるためＰ４＝Ｐ５とする。
【００３０】
また、第２階層の画像データで追加有効画素を加える位置は画素Ｐ１５の位置である。第３階層の画像データの画素Ｐ２０を生成するためには画素Ｐ１４が必要であるが、画素Ｐ１４が無効であるためＰ１４＝Ｐ１５とする。以上のように、多階層の縮小画像を生成する場合、各階層の縮小画像を生成する度に追加有効画素を加える画素を設定しなければならない。
【００３１】
これに対して、本実施形態においては第１階層の画像データのみに、以下の全ての階層の縮小画像を生成できるだけの幅の追加有効画素を、有効画素の右側および下側に加える。そして、縮小する際には、縮小処理の前後で、右端の有効画素、および、下端の有効画素の重心の位置が一致するように間引きを行う。これにより、第２階層以下の各階層の縮小画像に追加有効画素を加える処理を行わずに済む。すなわち、本実施形態によれば、第２階層以下の各階層で画像データの有効画素と無効画素の境界を判断し追加有効画素を加えることなく、良好な複数階層の縮小画像を生成することが可能となる。
【００３２】
また、各階層での境界処理（追加有効画素付与処理）を不要にするべく、入力画像に十分な幅の追加有効画素を付与しようとした場合において、有効画素の左側もしくは上側に追加有効画素を加えるときの課題について図６を用いて説明する。
【００３３】
各階層の縮小画像の間引きの前後で、左端の有効画素の重心が一致するように間引きを行った場合、第２階層の画素Ｐ１２を出力するためには、第１階層の画素Ｐ９が必要である。また、第３階層の画素Ｐ１７を出力するためには、第２階層の画素Ｐ１６が必要であるが、第２階層の画素Ｐ１６を出力するためには、第１階層の画素Ｐ１１、Ｐ１０、Ｐ９が必要である。そのためＰ９＝Ｐ１、Ｐ１０＝Ｐ１、Ｐ１２＝Ｐ１といった追加有効画素を加える処理が必要となる。Ｐ１が出力される期間６０１が映像期間中であるため、Ｐ９、Ｐ１０、Ｐ１１を追加有効画素として出力している間、映像期間中のデータＰ１、Ｐ２、Ｐ３を保持しておくためのメモリが必要となる。
【００３４】
図７は、図６に示した追加有効画素付与処理を行ない、間引き後に残す位相を水平縮小処理では左側の位相、垂直縮小処理では上側の位相とした場合のタイミングチャートを示している。第１階層で追加有効画素を加える信号がＨｉになっている期間に第１階層の画素Ｐ１を出力するためには、画素Ｐ１、画素Ｐ２、画素Ｐ３の値を保持しておくための遅延素子ＤＬ１、ＤＬ２、ＤＬ３が必要となることがわかる。
【００３５】
したがって、縮小画像を生成する階層数が増えると、水平縮小処理での間引き後に残す位相を左側の位相とした場合は、画像データの遅延素子が多く必要となる。同様に、垂直縮小処理での間引き後に残す位相を上側の位相とした場合は、画像データのラインメモリが多く必要となることがわかる。
【００３６】
これに対して、本実施形態では、入力画像の右側および下側に追加有効画素を加え、各縮小プロセスでの間引き後の残す位相を右側の位相および下側の位相としている。このため、水平走査方向の追加有効画素付与に関しては、水平走査方向の終端の１画素の値を保持するメモリがあれば十分である。また、水平走査方向の追加有効画素付与に関しては、垂直走査方向の終端の１水平ラインの画素の値を保持するメモリがあれば十分である。
【００３７】
更に、本実施形態によれば、追加有効画素を加える期間を映像期間ではない期間、たとえば水平ブランキング期間や垂直ブランキング期間とする。これにより、動画などのオンフライ処理時でも第１階層の画像データについて少ない遅延素子または少ないラインメモリで必要となる追加有効画素を加えることが可能となる。水平ブランキング期間や垂直ブランキング期間では映像期間中の画像データが入力されず、映像期間の画像データを保持しておくための多くのメモリを必要としないためである。
【００３８】
以上のように、本実施形態の画像処理装置によれば、第１階層の画像データの走査方向の終端に全階層の縮小画像の生成に必要な幅の追加有効画素を加えている。さらに、本実施形態の画像処理装置によれば、各階層で縮小画像を生成するために、走査方向の終端の画素が残るように間引きの位相を設定する。このような構成により、必要な遅延メモリ等に関わる構成を簡素化させるとともに、第２階層以下の各階層で追加有効画素を加えることなく良好な縮小画像を生成することが可能となる。
【００３９】
さらに、上記実施形態によれば、入力画像に対して有効な映像期間ではないブランキング期間中に追加有効画素を加えることで追加有効画素を加える遅延素子やラインメモリを多く持つ必要がなくなる。また、上記実施形態によれば、各縮小プロセスで追加有効画素付加処理を行わずに縮小画像を生成することが可能となり、動画撮影などにおいてＤＲＡＭを介することなく処理するオンフライ時等において処理効率が向上する。
【００４０】
なお、上記実施形態では、直上の階層の画像データを１／２倍することで縮小画像データを生成する例を示したが、この倍率は任意の倍率で良いことは言うまでもない。１／２倍以外の倍率であっても、走査方向の終端の画素が残るようにダウンサンプリングを行う構成であれば良い。
【００４１】
また、上述した画像処理装置１００の一部はソフトウエアにより実現されてもよいことは言うまでもない。例えば、追加有効画素付与部１０２、第１階層出力部１０３〜第Ｎ階層出力部１０６、圧縮処理部１０７が、所定のソフトウエアを実行するＣＰＵにより実現されてもよい。
【００４２】
したがって、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2013178753.tif 000003
【図２】
2013178753.tif 000004
【図３】
2013178753.tif 000005
【図４】
2013178753.tif 000006
【図５】
2013178753.tif 000007
【図６】
2013178753.tif 000008
【図７】
2013178753.tif 000009