(57)【要約】【課題】画像処理を掛けた際の絵の美しさを画像周辺部において向上させることがてできるとともに、より的確な補完データを与えて画像処理を行うことができる画像処理装置を提供すること。【解決手段】動画像を入力する画像入力手段と、或る時点において処理対象となっている画像より過去の画像を記憶する画像メモリとを有し、前記処理対象画像の端点データに画像処理を実行する際、前記画像メモリに蓄えられた情報を利用することのできる場合には、前記蓄えられた情報と前記処理対象画像のデータを組み合わせて画像処理を実行する画像処理実行手段を含んで画像処理装置を構成する。【選択図】図２
2006197100.tif 000002
【特許請求の範囲】
【請求項１】
動画像を入力する画像入力手段と、或る時点において処理対象となっている画像より過去の画像を記憶する画像メモリとを有し、前記処理対象画像の端点データに画像処理を実行する際、前記画像メモリに蓄えられた情報を利用することのできる場合には、前記蓄えられた情報と前記処理対象画像のデータを組み合わせて画像処理を実行する画像処理実行手段を具備することを特徴とする画像処理装置。
【請求項２】
前記画像メモリに蓄えられた情報を利用することのできる場合を判断するために、前記処理対象画像と、前記画像メモリに蓄えられた過去の画像との相関を測る相関測定手段を有し、前記相関関係から前記蓄えられた情報と前記処理対象画像のデータを組み合わせて画像処理を実行するか否かを判断することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記処理対象画像と、前記画像メモリに蓄えられた過去の画像との間の位置関係を判断する手段を有し、前記相関測定手段において、相関は前記処理対象画像と前記蓄えられた過去の画像との間の位置関係を補正した後の画像に関して取るものであることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記画像装置が撮像装置に組み込まれている場合において、前記相関を判断するための補助データとして、撮像装置の動作パラメータを利用することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記動作パラメータとは、撮像装置のパン、チルト、ズームに関する何れか１つ以上のパラメータであることを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記画像処理装置に動きベクトルを生成して利用するエンコーダが組み込まれている場合において、前記相関を判断するための補助データとして、前記動きベクトルの情報を利用することを特徴とする請求項３記載の画像処理装置。
【請求項７】
前記画像処理装置に動きベクトルを利用するデコーダが組み込まれている場合において、前記相関を判断するための補助データとして、前記動きベクトルの情報を利用することを特徴とする請求項３記載の画像処理装置。
【請求項８】
前記蓄えられた情報に対して拡大若しくは縮小の補間処理を実施し、その補間処理後のデータを前記位置関係の判断、前記相関度の検出、前記端点データへの画像処理の実行のうち少なくとも１つに利用することを特徴とする請求項３〜７の何れかに記載の画像処理装置。
【請求項９】
動画像を入力する画像入力工程と、或る時点において処理対象となっている画像より過去の画像を記憶する工程とを有し、前記処理対象画像の端点データに画像処理を実行する際、前記画像メモリに蓄えられた情報を利用することのできる場合には、前記蓄えられた情報と前記処理対象画像のデータを組み合わせて画像処理を実行する画像処理実行工程を具備したことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像信号をデジタル化してデジタル信号処理する画像処理装置に関し、詳細には画像の端点処理に改良を施した画像処理装置に関するものである。
【背景技術】
【０００２】
画像処理を行う場合、基本となるのはフィルタ処理である。例えば、画像の縮小処理を実施する場合においては、先にＬＰＦ(Low Pass Filter) を掛けてから画像を間引く、若しくは補間フィルタを用いて必要な点を内挿する等のことが行われる。これらのフィルタを構成に関してＦＩＲ (Finite Impulse Resonse) フィルタを用いて説明する。ここで、２次元のフィルタは、そのフィルタが分離型である場合には縦横別々にフィルタリング処理を行えば良い（縦方向についてフィルタを掛けた後、横方向についてフィルタを掛ける）ので横方向のみについて説明する。
【０００３】
ＦＩＲフィルタは、求める位置の画素の両側に或る点をフィルタの係数倍して加える畳み込み演算を行う。例えば、７次のＬＰＦでは図１６に示すように求める位置の画素に加えてその両側３個ずつのデータの積和を行って出力を得る。例えば、画素４にフィルタを掛ける場合には画素１から画素７までのデータを利用する。
【０００４】
このように、ＦＩＲフィルタは求める位置の両側の入力値を用いて出力を得る構造となっているため、求める位置が画面の端にある場合には、片側の入力が不足するのでそのままでは計算ができない。そこで、従来では図１７に示すように以下のような端点処理が行われていた。
【０００５】
・端点の隣の入力画素に或る一定値（固定値、若しくは端点と同じ値）を与える。
【０００６】
・又は図１７に示すように端点の画素に隣接する値を折り返した画素（図１７では「ＤＣＢ」となる）を与える（例えば、非特許文献１参照）。
【０００７】
又、端点処理を不要にするための方法として、画像メモリに蓄えられた入力画像をジグザグスキャンすることによってサンプリングする方法が提案されている（例えば、特許文献１参照）。
【０００８】
更に、端点処理に関しては、周波数帯域分割の際に予め決められた値を与えるか前後のラインのデータを用いるかして端点処理を行い、復号化の際にも同様の処理を行うことで端点部分を完全に復元する方法が提案されている（例えば、特許文献２，３参照）。
【０００９】
【特許文献１】特開平６−０３６０２４号公報（第３頁、第６頁、図１）
【特許文献２】特開平５−１５３４０８号公報（第３−４頁、図１、図２）
【特許文献３】特開平６−０２００４５号公報（第４−５頁、図１、図２）
【非特許文献１】貴家仁志著「よくわかるディジタル画像処理」ＣＱ出版社、1996年２月20日、p.172-174
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかし、上述した方法では端点処理しようとする画素に本来の画面の画素の数値とは異なる仮想的な数値が入ってくるため好ましいことではない。非特許文献１に記載の技術では及び特許文献１記載の技術では端点処理として或る一定値の値を与えるものよりは画像が美しくなるものの、やはり本来両側に存在する画像のデータを利用しているものではないので、その画質の改善には限度がある。
【００１１】
又、特許文献２及び３に記載の手法は、画像を周波数帯域分割フィルタに掛ける際においては、その復号時の処理も含めた場合に限って有効であるのであって、一般的なフィルタ処理においては適用できるものではない。
【００１２】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、画像処理を掛けた際の絵の美しさを画像周辺部において向上させることがてできるとともに、より的確な補完データを与えて画像処理を行うことができる画像処理装置及び画像処理方法を提供することにある。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、本発明は、動画像を入力する画像入力手段と、或る時点において処理対象となっている画像より過去の画像を記憶する画像メモリとを有し、前記処理対象画像の端点データに画像処理を実行する際、前記画像メモリに蓄えられた情報を利用することのできる場合には、前記蓄えられた情報と前記処理対象画像のデータを組み合わせて画像処理を実行する画像処理実行手段を含んで画像処理装置を構成したことを特徴とする。
【００１４】
又、本発明に係る画像処理方法は、動画像を入力する画像入力工程と、或る時点において処理対象となっている画像より過去の画像を記憶する工程とを有し、前記処理対象画像の端点データに画像処理を実行する際、前記画像メモリに蓄えられた情報を利用することのできる場合には、前記蓄えられた情報と前記処理対象画像のデータを組み合わせて画像処理を実行する画像処理実行工程を具備することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、画像を処理する際に、過去の映像情報からその端点の外側に存在する画像データが補完できる場合には、それを利用することができるようになる。その結果、従来であればＦＩＲ等のフィルタ処理に代表される画像処理において端点では片側のデータは仮想的なものであったものが、より確からしい画像データを用いて演算することが可能になり、画像処理を掛けた際の絵の美しさを画像周辺部において向上させることが可能になる。
【００１６】
又、この画像処理が撮像装置において行われる場合においては、撮像装置の持つパラメータの情報を利用することで、より過去の映像と現在の映像との相関を的確に取ることが可能になり、より的確な補完データを与えて画像処理を行うことが可能になる。
【００１７】
更に、この画像処理が動きベクトルを利用するようなエンコーダやデコーダを含むような画像処理装置において行われる場合においては、動きベクトルの情報を利用することで、より過去の映像と現在の映像との相関を的確に取ることが可能になり、より的確な補完データを与えて画像処理を行うことが可能になる。
【発明を実施するための最良の形態】
【００１８】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００１９】
＜実施の形態１＞
図１は本実施の形態に係る画像処理装置の構成を示す図である。
【００２０】
１は動画像入力部であり、 ここから動画像データが画像処理部２に対して入力される。画像処理部２は、本提案の主眼となるフィルタ処理部５と他の画処理部６とから構成される。画像処理部２で処理された画像データは、動画像出力部３若しくは静止画像出力部４に出力される。ここで、動画像出力部の例としては、ディスプレイ若しくはハードディスク等の蓄積メディア及びネットワーク等を挙げることができる。又、静止画像出力部の例としてはプリンタやフラッシュＲＯＭカード等の蓄積メディア等を挙げることができる。
【００２１】
図２は本実施の形態におけるフィルタ処理部５の詳細を示す図である。
【００２２】
１０は動画像入力部からの画像データを受け取ってフレームデータとして保持する現在フレーム用バッファである。１１は現在フレーム用バッファ１０から画像データを受け取り、参照用の過去映像情報として保存するための過去フレーム用バッファである。１３は現在フレーム用バッファ１０に蓄えられている現在処理対象となっている画像が、過去フレーム用バッファ１１に保持されている参照用過去映像情報に対してどの程度動いたかの動き量を検出する動き量検出部である。
【００２３】
１４は動き量検出部から得られた動き量情報に基づいて現在の処理対象画像と参照用の過去映像情報の位置関係を補正し、その相関度を検出する相関度検出部である。１５は相関度検出部１４で得られた結果に基づいて、必要に応じて現在の処理対象画像データの外側に参照用の過去映像情報を補ってフィルタ処理をするフィルタ処理部であり、１２はこれら各機能ブロック間の情報の流れと動作を制御する制御用ＣＰＵである。制御用ＣＰＵ１２の利用するプログラムは画像処理装置内部のＲＯＭ（図示せず）から読み出され、ＲＡＭ（図示せず）若しくは制御用ＣＰＵ１２内部のキャッシュメモリ（図示せず）に展開されて利用される。
【００２４】
尚、図中制御用ＣＰＵと各機能ブロック間を結んでいる細点線の矢印はこれらの機能ブロック間の制御線を表している。動画像入力部１から右方向に流れている実線の矢印は現在処理中の画像の流れを表している。過去フレーム用バッファ１１から動き量検出部１３、相関度検出部１４、フィルタ演算部１５へと繋がる一点鎖線の矢印は参照用の過去映像情報の流れを意味する。
【００２５】
このような構成要素を持つフィルタ処理部において、１次元方向のフィルタ処理に関してどのようにして処理が進んでいくかを、以下、図１及び図２を参照しながら図３〜図６を用いて説明する。図３は本実施のの形態における動き量の検出及びそれを用いた映像相関度の判定の様子を示した図、図４及び図５はフィルタ処理時における端点の補完の様子を示した図、図６はフィルタ処理部の制御を司る制御用ＣＰＵ１２における処理判断と、各ブロックへの指示の流れを示すフローチャートである。
【００２６】
図６において、先ず、新しい画像フレームデータが動画像入力部から現在フレーム用バッファ１０に対して入力がなされると（Ｓ６０１）、制御用ＣＰＵ１２は、動き量検出部１３に対して、現在フレーム用バッファ１０に蓄えられた画像の画像周辺部のデータを過去フレーム用バッファ１１に保存されているものと比較して、動き量を判定するように指示を出す。指示を受けた動き量検出部１３は、両者を比較して動き量を検出すると（Ｓ６０２）、その動き量を制御用ＣＰＵ１２に伝達する。
【００２７】
次いで、制御用ＣＰＵ１２は、動き量を補正した上で現在の処理対象画像の周辺部と過去の参照用過去映像情報の相関度を検出するように相関度検出部１４に対して指示を出す。相関度検出部１４は、動き量検出部１３から現在の処理対象画像の周辺部と過去の参照用過去映像情報を受け取り、先ず、その位置関係のずれを補正し（Ｓ６０３）、その上で現在の処理対象画像の周辺部データに関して、両者の相関度を検出する（Ｓ６０４）。検出された相関度は、制御用ＣＰＵ１２に伝達され、後段の実際のフィルタ処理において利用される。尚、ここでは、相関度検出部１４は、動き量検出部１３から現在の処理対象画像の周辺部と過去の参照用過去映像情報を受け取るとしたが、別途現在フレーム用バッファ１０に蓄えられた画像データと過去フレーム用バッファ１１に保存されているものを相関度検出部１４が読出して処理に利用するように作成することも可能である。
【００２８】
ここまでの図６のＳ６０２からＳ６０４までの処理を視覚的に示したものが図３である。図３（ｂ）を、現在フレーム用バッファ１０に蓄えられている動画像入力部１０より入力された現在の処理対象のフレーム画像であるとする。又、図３（ａ）は、その１フレーム前の過去の映像データであり、過去フレーム用バッファ１１に保存されているものとする。動き量検出部１３では、図６のＳ６０２において、この図３（ｂ）の画像周辺部に注目して、図３（ｂ）が図３（ａ）に対してどの程度動いているかの動き量を検出する。そして、相関度検出部１４では、その動き量に応じて図３（ｂ）の絵を位置補正して（Ｓ６０３）、図３（ａ）と比較する。
【００２９】
図３（ｃ）が位置補正をして図３（ａ）と図３（ｂ）を比較したものである。Ｓ６０２において検出された動き量は図３（ｃ）の横向きの矢印のようになる。即ち、図３（ｂ）は図３（ａ）がこの矢印の分だけ画角が右横方向に動いた画像であると言える。このように位置関係を補正した上で両者の相関を取ると（Ｓ６０４）、この図３の場合においてはその相関度は非常に高いものとなる。
【００３０】
次いで、このように周辺部に関して画像の相関度が検出された上で、どのようにフィルタ処理が行われていくかについて図６の後半部、図４及び図５を用いて説明する。
【００３１】
図６において、フィルタ処理が開始されると（Ｓ６０５）、制御用ＣＰＵ１２は先ず処理対象の画像データが端点処理の必要な画素位置にあるかどうかを判定する（Ｓ６０６）。端点処理が不要な場合（Ｓ６０６−Ｎｏ）は、フィルタ演算部１５に対して、現在フレーム用バッファ１０から読み出したデータをそのまま用いてフィルタ処理をするように指示する。その結果、例えばフィルタ演算部１５で１次元の横方向の７次ＦＩＲフィルタによる演算が行われているとすると、処理対象画素とその前後３点ずつの画素のデータを用いてフィルタ演算が行われる。
【００３２】
端点処理が必要な場合（Ｓ６０６−Ｙｅｓ）は、次いで過去の映像情報を端点の外側の情報として利用して良いかどうかの判断が行われる（Ｓ６０７）。この判断は、Ｓ６０２で求められた動き量に基づく端点の外側に位置する点の有無と、Ｓ６０４において求められた相関度に基づいて行われる。利用して良い場合には（Ｓ６０７−Ｙｅｓ）、過去の映像情報を用いて、端点の外側の情報を用いてデータの補完をするように、制御用ＣＰＵ１２は、フィルタ演算部１５に対して指示を出し（Ｓ６０８）、そのようにデータの補完が行われる。
【００３３】
図４にその補完の様子を示す。１フレーム前の画像データ列（ａ）の各画素をＡ，Ｂ，Ｃ，Ｄ，Ｅ，…とする。一方、現在の画像データ列（ｂ）は（ａ）が右方向に４画素分移動したもであるとする。この場合、現在の画像データ列（ｂ）の各画素がＥ，Ｆ，Ｇ，Ｈ，Ｉ，…と並び、画素値“Ｅ”が現在の画像データ列（ｂ）の端点となる。いまフィルタ演算部１５で１次元の横方向の７次ＦＩＲフィルタによる演算が行われているとすると、処理対象画素とその前後３点ずつの画素のデータが必要になるが、現在のデータ列における“Ｅ”の画素の計算をするためには、“Ｅ”の画素が画像の端に存在するため、図の左側のデータが不足している。ここで、過去の映像情報（ここでは１フレーム前の画像データ列（ａ））を用いて、端点の外側の情報を用いてデータの補完をするように、制御用ＣＰＵ１２は、フィルタ演算部１５に対して指示を出したので、１フレーム前の画像データ列（ａ）において、“Ｅ”のデータの左側に位置していた“Ｂ”，“Ｃ”，“Ｄ”の点を図のように補い、“Ｂ’Ｃ’Ｄ’ＥＦＧＨ”の７つの点のデータ（’は過去の映像から補完したデータであることを示す）を用いてフィルタ演算を実施するようにする。同様にして、現在のデータ列における“Ｆ”の画素に対しては“Ｃ’Ｄ’ＥＦＧＨＩ”、“Ｇ”の画素に対しては“Ｄ’ＥＦＧＨＩＪ”のように１フレーム前の画像データ列（ａ）から画素を補う。このようにして必要な画素が補完されると（Ｓ６０９−Ｙｅｓ）、そのデータがフィルタ演算の実行部に送られて、フィルタ演算が実行される（Ｓ６１０）。
【００３４】
しかし、場合によっては過去の映像情報がフィルタ演算に必要な数だけ存在しない場合もあり得る。そのような場合には（Ｓ６０９−Ｎｏ）、不足する点の数だけ折り返し処理を実施するように制御用ＣＰＵ１２は、フィルタ演算部１５に対して指示を出し（Ｓ６１４）、そのようにデータの補完が行われる。
【００３５】
図５にそのような場合の補完の様子を示す。１フレーム前の画像データ列（ａ）の各画素を“Ａ，Ｂ，Ｃ，Ｄ，Ｅ，…”とする。一方、現在の画像データ列（ｂ）は（ａ）が右方向に２画素分移動したものであったとする。この場合、現在の画像データ列（ｂ）の各画素が“Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，…”と並び、画素値“Ｃ”が現在の画像データ列（ｂ）の端点となる。図４の時と同様にフィルタ演算部１５で１次元の横方向の７次ＦＩＲフィルタによる演算が行われているとすると、処理対象画素とその前後３点ずつの画素のデータが必要になるが、現在のデータ列における“Ｃ”の画素の計算をするためには、“Ｃ”の画素が画像の端に存在するため、図の左側のデータが不足している。
【００３６】
ここで、過去の映像情報（ここでは１フレーム前の画像データ列（ａ））を用いて、端点の外側の情報を用いてデータの補完を行うわけであるが、図４では位置ずれは４画素分であったが、図５では２画素しかない。そのため、１フレーム前の画像データ列（ａ）において、“Ｃ”のデータの左側に位置していた“Ａ”，“Ｂ”の２点しか画像データ列（ａ）からは補うことができず、未だ１画素分のデータが不足することになる。このような場合においては、過去の映像情報から補完したデータ列に対して、このデータ列の仮想的な端点に対して折り返し処理を行うことで不足するデータを補完する。この実施の形態では、“Ａ’Ｂ’ＣＤＦＥ…”のデータ列の仮想的な端点“Ａ’”で折り返し処理を実施し、“Ａ’”に隣接している“Ｂ’”を補った“Ｂ’Ａ’ＣＤＥＦ”を用いてフィルタ演算を実施するようにする。
【００３７】
又、Ｓ６０７において、過去の映像情報を端点の外側の情報として利用することが好ましくないと判断された場合には、図１７（ｂ）のように、現フレームの映像データだけを用いて端点の外側への折り返し処理によって、フィルタ処理に不足している画素データが補完される（Ｓ６１３）。
【００３８】
このようにしてフィルタ処理に必要な画素データが全て揃うと、フィルタ演算がフィルタ演算部１５において実施される（Ｓ６１０）。そして、対象とする全画素へのフィルタ処理が終了するまでこの処理が繰り返され（Ｓ６１１−Ｎｏ）、全画素へのフィルタ処理が終了した段階で（Ｓ６１１−Ｙｅｓ）、対象画像へのフィルタ処理が終了し、フィルタ処理済データがその後段で控えている処理に送られることになる。
【００３９】
先に示した例は１次元のフィルタに関する適用の例であったが、同様のシステム構成によって２次元のフィルタに関する適用も可能である。以下、そのような例に関して図７及び図８を用いて説明する。
【００４０】
図７は本実施の形態における２次元的な動き量の検出及びそれを用いた映像相関度の判定の様子を示した図である。図３との違いは、動き量が縦横の２つの方向によって検出されていることである。図７（ｃ）が位置補正をして図７（ａ）と図７（ｂ）を比較したものである。図６のＳ６０２において検出された動き量は図７（ｃ）中に動き量として示した縦及び横方向の矢印のようになる。即ち、図７（ｂ）は図７（ａ）がこの矢印の分だけ画角が右下方向に動いた画像であるということが言える。このように位置関係を補正した上で両者の相関を取ると（図６のＳ６０４）、この図７の場合においてはその相関度は非常に高いものとなる。
【００４１】
図８は本実施の形態の手法を２次元のフィルタを掛ける場合へ適用した場合を示している。図７（ｃ）中において示された動き量に基づき、今度はＳ６０８において、過去の映像情報を用いて、端点の外側を２次元的に補完をするように、制御用ＣＰＵ１２は、フィルタ演算部１５に対して指示を出しており、その補完をどのようにして実施するかを以下説明する。
【００４２】
図８（ａ）は１フレーム前の画像データ列である。1
ライン目の画素が“１，２，３，４，５，…”、２ライン目の画素が“１１，１２，１３，１４，１５，…”、３ライン目の画素が“２１，２２，２３，２４，２５，…”のように並んでいる。一方、現在の画像データ列（ｂ）は（ａ）が右方向、及び下方向に各１画素分移動したもであるとする。この場合、現在の画像データ列（ｂ）の１ライン目は“１２，１３，１４，１５，１６，…”、２ライン目の画素が“２２，２３，２４，２５，２６，…”、３ライン目の画素が“３２，３３，３４，３５，３６，…”、というように並ぶことになる。１ライン目の“１２，１３，１４，１５，１６，…”の各画素及び縦方向に並ぶ“１２，２２，３２，４２，…”の画素が現在の画像データ列（ｂ）の端点となる。いまフィルタ演算部１５で２次元の３×３のフィルタによる演算が行われているとする。この場合、処理対象画素とその周囲８点の画素のデータが必要になるが、現在の画像データ列（ｂ）における“１２”の画素位置に３×３のフィルタ演算をするためには、“１２”の画素が画像の端に存在するため、その左側及び上側のデータが不足している。
【００４３】
ここで、過去の映像情報（ここでは１フレーム前の画像データ列（ａ））を用いて、端点の外側の情報を用いてデータの補完をするように、制御用ＣＰＵ１２は、フィルタ演算部１５に対して指示を出しているとする。１フレーム前の画像データ列（ａ）において、“１２”のデータの周囲に位置していた“１”，“２”，“３”，“１１”，“２１”の点を図８（ｃ）のように補い、“１’，２’，３’，１１’，１２，１３，２１’，２２，２３”の９つの点のデータ（’は過去の映像から補完したデータであることを示す）を用いて３×３のフィルタ演算を実施するようにする。同様にして、現在の画像データ列（ｂ）における“１３”の画素に対しては図８（ｄ）のように上側３点を補った“２’，３’，４’，１２，１３，１４，２２，２３，２４”の９つの点のデータを用いて演算する。又、現在のデータ列（Ｂ）の縦方向に並ぶ端点の１つである“２２”の画素に対しては図８（ｅ）のように左側3 点を補った“１１’，１２，１３，２１’，２２，２３，３１’３２，３３”の９つの点のデータを用いて演算するようにする。
【００４４】
尚、本実施の形態においては、参照用の過去映像情報として１フレーム前の画像データを利用しているが、利用できる参照用の過去映像情報としては、１フレーム前の画像データであるとは限らない。例えば、現在処理中の画像と参照用の過去映像情報との相関度を検出した後、必要に応じて、現在処理中の画像を今保持している参照用の過去映像情報の上に位置補正をした上で両者が重なる部分に関してのみ上書きすることができる。そのようにすることで、より広い範囲に対して参照用の過去映像情報を保持することができるようになる。又、もし画像の変化が大きくて検出された相関度が低かった場合には、参照用の過去映像情報を一度クリアして、現在処理中の画像をそのまま次の参照用データとして保存するようにすることもできる。これらの指示は、相関度検出部14からの相関度に関する情報を受け取った制御ＣＰＵ１２が、現在フレーム用バッファ１０及び過去フレーム用バッファ１１に指示を出すことによって実現される。
【００４５】
又、本実施の形態においては、制御用ＣＰＵ１２が各機能ユニットに対して指示を出し、全体の処理の流れを一括して管理するように記述しているが、本発明を実現する構成はこれに限定されるものではない。例えば、制御用ＣＰＵ１２の機能を分散し、それぞれの機能ユニットに分担させることによって、集中的な制御を排することも可能である。又、これらの各機能ユニットの処理内容をＣＰＵとメモリを用いてソフトウェアで実現するようにすることも可能である。
【００４６】
このようにすることによって、画像を処理する際に、過去の映像情報からその端点の外側に存在する画像データが補完できる場合には、それを利用して処理することができるようになる。その結果、従来であればＦＩＲ等のフィルタ処理に代表される画像処理において端点では片側のデータは仮想的なものであったものが、より確からしい画像データを用いて演算することが可能になり、フィルタ処理を利用した画像処理を行った際の絵の美しさを画像周辺部において向上させることが可能になる。又、特に動画像を静止画像として１枚抜き出してプリンタに出力するような場合において、その画像の周辺部にまでフィルタ処理が適度に施された画像を出力することが可能になる。
【００４７】
＜実施の形態２＞
実施の形態１においては、過去の参照画像と処理対象である現在の画像との動き量を計算するために、動き量検出部１３を利用していた。しかし、画像圧縮・伸長用のエンコーダ若しくはデコーダが存在し、ＭＰＥＧ４等のようにその中に動きベクトルの生成部がある場合に関しては、動きベクトルの情報を利用することによって、動き量検出部１３を省略することが可能になる。そのような場合の画像処理部の構成例を図９（ａ），（ｂ）に示す。
【００４８】
図９は本実施の形態における画像処理部２に含まれる、フィルタ処理部５及び他の画処理部６の詳細を示す図である。図２との主な相違点は、図２において存在していた動き量検出部１３が図９においては存在せず、代わりに、他の画処理部６の中に図９（ａ）の場合はエンコーダ１６が、図９（ｂ）の場合はデコーダ１８がそれぞれ存在し、エンコーダ、デコーダ共にその中に動きベクトル生成部１７が存在することである。
【００４９】
動きベクトル生成部１７と制御用ＣＰＵ１２との間は制御信号線で結ばれて、動きベクトル情報が伝達される。図２の動き量検出部１３が求める動き量の代わりに、動きベクトル生成部１７から動きベクトル情報を入手して利用することで、現在の処理対象の画像と過去の画像との間の位置関係を把握することが可能になっている。この他の部分に関しては、図６のフローチャートにおいてＳ６０２の項目が「動きベクトル生成部からの動きベクトルの入手」に置き換える以外は実施の形態１と同様に考えることが可能であるので、ここでは詳細を省略する。
【００５０】
このように動きベクトルを生成する処理部が既に存在している場合には、動きベクトルを利用することによって、特に動き量検出部をフィルタ処理部に設けなくとも、画像を処理する際に、過去の映像情報からその端点の外側に存在する画像データが補完できる場合には、それを利用して処理することができるようになる。
【００５１】
＜実施の形態３＞
ビデオカメラのような動画像の撮像装置に対して本発明の画像処理装置を組み込む場合、例えば、カメラ制御部から撮影している画像に影響を与えるカメラ制御のパラメータ、特にパン、チルト、ズームに関する変化の様子を示すパラメータが得られる場合には、そのパラメータを利用することによって、更に処理を的確に行うことが可能になる。以下、そのような場合に関して、図１０〜図１３を用いて説明する。
【００５２】
図１０は本実施の形態における、フィルタ処理部５の詳細及びカメラ制御部２０を示す図である。
【００５３】
本実施の形態では、ビデオカメラのような動画像撮像装置に内蔵される画像処理部を想定しており、動画像入力部１は撮影している動画像の入力である。ここで、実施の形態１の図２との主な相違点は、カメラ制御部20の中のＰＴＺ（パン・チルト・ズーム）制御部２１から、撮像時のパン、
チルト、ズームに関する情報を制御用ＣＰＵ１２が入手していることである。カメラのパン、チルトに関する情報は、動き量検出部１３において動き量を検出する際の大きな助けになるものである。又、ズームに関する情報は、現在の処理対象の画像と、過去の参照用映像とのズーム倍率が違う時にその情報を解像度変換部１９に与えることで、ズームアップしている際に過去の映像情報から現在の処理対象画像の外側に存在する画像データを補完することを可能にする。動き量検出部１３及び解像度変換部１９は、パン、
チルト、ズームに関する情報を制御用ＣＰＵ１２経由で入手することになる。以下、ズームアップをする場合においてどのように画像データを補完するかに関して図１１及び図１２を用いて説明する。
【００５４】
図１１にある撮影範囲内で撮像対象をズームアップしていく場合の画像の変化する様子を示す。（ａ），（ｂ），（ｃ）の順に撮影対象をズームアップしている様子を示しているが、これを（ｄ）のように撮影対象の大きさを一定にする形で重ねてみると、撮影している画像の周囲の境界線が、ズームアップする毎に先の画像の内側へと移動していることが分かる。このことから、ズームアップしていく場合には、過去の画像を構成するデータが、常に現在の画像の外側にも位置すると言えるので、そのデータを用いて現在の画像の端点処理を行うことが可能になる。
【００５５】
図１２にその具体的な例を示す。ズームアップ前の画像のデータ列を（ａ）、現在の（ズームアップ後の）画像データ列を（ｂ）とする。ズームアップすると、ズームアップ前の画像の内側に撮影範囲が移動することから、この場合でも（ｂ）の画像の方が（ａ）の画像の内側にきており、具体的には（ａ）の画像の２ライン分内側にきているものとする。このとき、（ａ）の画像に比べて（ｂ）の画像の方が同一の範囲内をより多くの点数で撮影していることから、例えば、（ａ）の画像では画素“２２”と画素“２５”の間には“２３”，“２４”の２つの画素しか存在しなかったものが、（ｂ）の画像では、（ａ）の画素“２２”に対応する点と“２５”に対応する点に相当する範囲の中を、“Ａ”，“Ｂ”，“Ｃ”の３つの画素で表しているとする。即ち、この場合は４／３倍にズームしていたことになる。
【００５６】
このような場合に、例えば２次元で３×３のフィルタを掛けようとした場合を考える。図１２（ｂ）の１ライン目のデータである“２２，Ａ，Ｂ，Ｃ，２５，Ｄ，Ｅ，Ｆ，２８，…”にこのフィルタを掛けようとすると、端点処理をするためにはその外側に１ライン分のデータを持ってくる必要がある。そのデータは以下のようにして作られる。
【００５７】
図１２（ｃ），（ｄ）は図１３（ａ）の１ライン目、２ライン目の画素データをそれぞれ補間処理することによって、解像度をズーム率に合わせて４／３倍し、（ｂ）の“２２，Ａ，Ｂ，Ｃ，２５，Ｄ，Ｅ，Ｆ，２８…”に相当する間隔で画像データを並べたものである。更に、この（ｃ），（ｄ）のデータから縦方向の補間を求めるズーム率に応じて行うことで、四角で囲まれた図１２（ｅ）の、“１２”，Ａ”，Ｂ”，Ｃ”，１５”，Ｄ”，Ｅ”，Ｆ”，１８”，…”の画像データ列を得る。この１２（ｅ）の画像データ列を外側に１ライン分として用いることで、図１２（ｂ）の１ライン目のデータである“２２，Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，２８，…”に適切な３×３のフィルタ処理を実施することが可能になる。
【００５８】
図１２の処理の流れを、図１０及び図１３のフローチャートを用いて説明する。
【００５９】
図１０において、新しい画像データの入力があると（Ｓ１３０１）、制御用ＣＰＵ１２は、ＰＴＺ制御部２１より、現在の処理対象の画像が過去の画像に対してどの程度のズーム率にあるのかの情報を得る（Ｓ１３０２）。同様にして、パン、
チルト量の情報も得る（Ｓ１３０３）。その情報を受けて、制御用ＣＰＵ１２は、現在ズームアップ中にあるか否かを判断し（Ｓ１３０４）、もしズームアップ中であったならば（Ｓ１３０４−ＹＥＳ）、パン、
チルト量より求められる移動量に応じて過去の映像情報の中からどの部分を解像度変換すれば良いかを判断する（Ｓ１３０５）。そして、該当部分を拡大するように解像度変換部１９に指示する。
【００６０】
解像度変換部１９は、ズーム率に応じた解像度変換を実施し、その結果のデータを動き量検出部１３に送って制御用ＣＰＵ１２に通知する（Ｓ１３０６）。その結果を受けて、制御用ＣＰＵ１２は、ＰＴＺ制御部２１から得られたパン、
チルト量の情報を動き量検出部１３に伝達した上で、動き量の確認を行うように動き量検出部１３に指示する。指示を受けた動き量検出部１３は、パン、
チルト量の情報量も参考にして動き量を検出し、その動き量を制御用ＣＰＵ１２に返す（Ｓ１３０７）。求められた動き量をベースに、制御用ＣＰＵ１２は、相関度検出部１４に対して動き量の補正を行った後（Ｓ１３０８）、現在の処理対象の映像と解像度変換を掛けた映像との間の相関度を検出する（Ｓ１３０９）ように指示を出す。相関度を検出した相関度検出部１４は、その相関度を制御用ＣＰＵ１２に返し、制御用ＣＰＵ１２は、その値に基づいてフィルタ演算を実施するようにフィルタ演算部１５に対して指示を出す。
【００６１】
これ以降のフィルタ演算の実施に関しては、図６のＳ６０５以降と同等であるので、ここでは説明を省略する。
【００６２】
このようにすることによって、撮像対象に対してズームアップしながら撮影しているような場合の画像に対しても、その周辺部に対して適切に過去の映像情報からデータを補ってフィルタを掛けることが可能になる。又、撮像対象のパン、チルトの情報を動き量検出の際に利用することを可能にすることで、より動き量の検出を高速・的確に実施することが可能になる。その結果、フィルタ処理を利用した画像処理を行った際の絵の美しさを画像周辺部において向上させることが可能になる。
【００６３】
＜実施の形態４＞
実施の形態１においては、過去の参照画像と処理対象である現在の画像との動き量を計算して対応する画素を割り当てていたが、
動き量をより精度高く、例えば１／２画素単位で見積もることができる場合には、それに応じて補完に用いる画素を作成することで、より正確な端点の画素補完が可能になる。そのような場合の例を図１４及び図１５を用いて説明する。
【００６４】
図１４は本実施の形態におけるフィルタ処理部５の詳細を示す図である。
【００６５】
ここで、実施の形態１の図２との主な相違点は、過去フレーム用バッファ１１から参照用の過去映像情報が補完処理部２２に伝達され、補完処理部２２において補完処理されたデータが相関度検出部１４及びフィルタ演算部１５に送られていることである。それ以外の構成要素に関しては実施の形態１の図２と同じであるので、ここでは説明を省略する。以下、移動量が１／２画素精度で見積もられた場合の動作について図１５を用いて説明する。
【００６６】
図１５において、１フレーム前の画像データ列（ａ）の各画素を“１，１，２，３，４，５，…”とする。一方、現在の画像データ列（ｂ）は（ａ）が右方向に３．５画素分移動したもであるとする。この場合、現在の画像データ列（ｂ）の各画素が“３．５，４．５，５．５，６．５，７．５，…”と並び、画素値“３．５”が現在の画像データ列（ｂ）の端点となる。いま図１４のフィルタ演算部１５で１次元の横方向の７次ＦＩＲフィルタによる演算が行われているとすると、処理対象画素とその前後３点ずつの画素のデータが必要になるが、現在のデータ列における“３．５”の画素の計算をするためには、“３．５”の画素が画像の端に存在するため、図の左側のデータが不足している。
【００６７】
ここで、過去の映像情報（ここでは１フレーム前の画像データ列（ａ））を用いて、端点の外側の情報を用いてデータの補完をするように、制御用ＣＰＵ１２は、フィルタ演算部１５に対して指示を出したので、１フレーム前の画像データ列（ａ）において、“３．５”のデータの左側に位置している点からデータを補完しようとする。画像データ列（ａ）における“３．５”のデータの左側に位置している点は“０，１，２，３”の４点であるが、元々の画像の移動量が３．５と見積もられており、１／２だけ各画素の位置が補完に用いたい画素の位置とずれている。このような場合には、制御用ＣＰＵ１２は、補間処理部２２に指示を出して、１フレーム前の画像データ列（ａ）“０，１，２，３”の４点から、画像データ列（ｂ）の端点処理に利用できる“０．５，１．５，２．５”のデータを作成するように指示を出す。
【００６８】
指示を受けた補間処理部２２は、過去フレーム用バッファ１１から該当するデータを読出し、補間処理を行うことによって“０．５，１．５，２．５”のデータを作成する（図１５（ｃ））。そして、そのデータをフィルタ演算部１５に対して供給する。その結果、“０．５’，１．５’，２．５’３．５，４．５，５．５，６．５”の７つの点のデータ（’は過去の映像から補完したデータであることを示す）を用いてフィルタ演算部１５はフィルタ演算を実行することができるようになる。同様にして、現在のデータ列における“４．５”の画素に対しては“１．５’，２．５’，３．５，４．５，５．５，６．５，７．５”、“５．５”の画素に対しては“２．５’，３．５，４．５，５．５，６．５，７．５，８．５”のように１フレーム前の画像データ列（ａ）から画素を補うことによってフィルタ演算が実行される。
【００６９】
尚、本実施の形態においては、動き量の検出は動き量検出部１３が行っていたが、実施の形態２において示したように、エンコーダ及びデコーダにおいて生成される動きベクトルが利用できる場合においても、本実施の形態において示した処理が有効であることは明らかである。
【００７０】
このようにすることによって、画像の動き量が１画素単位よりも細かい精度で抽出できる場合においても、その精度を生かして、現在の画像の周辺部に対して適切に過去の映像情報からデータを補ってフィルタを掛けることが可能になる。その結果、フィルタ処理を利用した画像処理を行った際の絵の美しさを画像周辺部においてより向上させることが可能になる。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態１における画像処理装置の構成例を示す図である。
【図２】本発明の実施の形態１におけるフィルタ処理部の詳細を示す図である。
【図３】本発明の実施の形態１における動き量の検出及びそれを用いた映像相関度の判定の様子を示した図である。
【図４】本発明の実施の形態１におけるフィルタ処理時での端点の処理を示す図である。
【図５】本発明の実施の形態１におけるフィルタ処理時での端点の別の処理を示す図である。
【図６】本発明の実施の形態１における制御用CPU12における処理判断と各ブロックへの指示の流れを示すフローチャートである。
【図７】本発明の実施の形態１における２次元フィルタ適用時の動き量の検出及びそれを用いた映像相関度の判定の様子を示した図である。
【図８】本発明の実施の形態１における２次元フィルタ処理時での端点処理を示す図である。
【図９】本発明の実施の形態２における動きベクトル生成部を含む画像処理部の詳細を示す図である。
【図１０】本発明の実施の形態３における画像処理装置の構成例を示す図である。
【図１１】本発明の実施の形態３における撮像対象をズームアップしていく場合の画像の変化する様子を示す図である。
【図１２】本発明の実施の形態３における端点の補完処理を示す図である。
【図１３】本発明の実施の形態３における制御用ＣＰＵにおける処理判断と各ブロックへの指示の流れを示すフローチャートである。
【図１４】本発明の実施の形態４における画像処理装置の構成例を示す図である。
【図１５】本発明の実施の形態４における端点の補完処理を示す図である。
【図１６】ＦＩＲフィルタによって利用される画素の位置関係を示した図である。
【図１７】従来例における端点の補完処理を示す図である。
【符号の説明】
【００７２】
１    動画像入力部
２    画像処理部
３    動画像出力部
４    静止画像出力部
５    フィルタ処理部
６    他の画処理部
１０  現在フレーム用バッファ
１１  過去フレーム用バッファ
１２  制御用ＣＰＵ
１３  動き量検出部
１４  相関度検出部
１５  フィルタ演算部
１６  エンコーダ
１７  動きベクトル生成部
１８  デコーダ
１９  解像度変換部
２０  カメラ制御部
２１  ＰＴＺ制御部
２２  補間処理部
【図１】
2006197100.tif 000003
【図２】
2006197100.tif 000004
【図３】
2006197100.tif 000005
【図４】
2006197100.tif 000006
【図５】
2006197100.tif 000007
【図６】
2006197100.tif 000008
【図７】
2006197100.tif 000009
【図８】
2006197100.tif 000010
【図９】
2006197100.tif 000011
【図１０】
2006197100.tif 000012
【図１１】
2006197100.tif 000013
【図１２】
2006197100.tif 000014
【図１３】
2006197100.tif 000015
【図１４】
2006197100.tif 000016
【図１５】
2006197100.tif 000017
【図１６】
2006197100.tif 000018
【図１７】
2006197100.tif 000019