(57)【要約】【課題】ライン毎に画素を間引く位置が異なる場合であっても、効率的に画像圧縮を行うことが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供すること。【解決手段】画素数削減部１２は、撮像部１１から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きパターンで間引く。サブフレーム生成部１３は、前記間引きパターン毎に、間引かれた画素でサブフレームを生成する。画像圧縮部１５は、例えばＤＣＴ変換を利用したＪＰＥＧ圧縮などを行い、前記サブフレーム毎に圧縮を実行する。間引きパターン毎に生成された各サブフレームは、空間周波数が高まることなく、画像圧縮を効率的に行える。【選択図】  図２
2006033750.tif 000002
【特許請求の範囲】
【請求項１】
撮像部から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きパターンで間引く画素数削減部と、
前記間引きパターン毎に、間引かれた画素でサブフレームを生成するサブフレーム生成部と、
前記サブフレーム毎に圧縮を実行する画像圧縮部と、
を有すること特徴とする画像処理装置。
【請求項２】
前記画素数削減部は、前記入力画像フレームの偶数ラインと奇数ラインとで、間引き画素位置が異なる間引きパターンで間引きを行い、前記サブフレーム生成部は、奇数ライン又は偶数ラインのいずれか一方のライン群から間引かれた画素のみからなる第１のサブフレームと、他方のライン群から間引かれた画素のみからなる第２のサブフレームとを生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
撮像部から入力される動画像の各入力画像フレームを所定のライン単位で分割して複数のサブフレームを生成するサブフレーム生成部と、
サブフレームが、同一入力画像フレームに係る複数の前記サブフレームの内の第１のサブフレームかそれ以外の第２のサブフレームかを判定するサブフレーム判定部と、
前記第１のサブフレームと、この第１のサブフレームに先行する入力画像フレームとの相関から動きベクトルを演算する動きベクトル演算部と、
前記第１のサブフレームと前記第２のサブフレームとのずれベクトルを出力するずれベクトル出力部と、
前記サブフレーム判定部による判定結果に基づき、前記動きベクトル、或いは、ずれベクトルを適用して前記サブフレーム毎に圧縮を実行する動画像圧縮部と、
を有することを特徴とする画像処理装置。
【請求項４】
前記サブフレーム生成部は、前記第１のサブフレームに係るサブフレームを、各入力画像フレームの、奇数番目ライン群又は偶数番目ライン群の何れか一方のみから生成し、前記第２のサブフレームに係るサブフレームを、他方のライン群から生成し、前記ずれベクトル出力部は、前記ずれベクトルとして、前記第１のサブフレームと前記第２のサブフレームとの画素位置の差を出力することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
撮像部から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きパターンで間引き、前記間引きパターン毎に、間引かれた画素でサブフレームを生成し、前記サブフレーム毎に圧縮を実行すること特徴とする画像処理方法。
【請求項６】
撮像部から入力される動画像の各入力画像フレームを所定のライン単位で分割して複数のサブフレームを生成し、サブフレームが、同一入力画像フレームに係る複数の前記サブフレームの内の第１のサブフレームかそれ以外の第２のサブフレームかを判定し、前記第１のサブフレームと、この第１のサブフレームに先行する入力画像フレームとの相関から動きベクトルを演算し、前記判定結果に基づき、前記動きベクトル、或いは、前記第１のサブフレームと前記第２のサブフレームとのずれベクトルを適用して前記サブフレーム毎に圧縮を実行することを特徴とする画像処理方法。
【請求項７】
コンピュータに、撮像部から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きパターンで間引く処理、前記間引きパターン毎に、間引かれた画素でサブフレームを生成する処理、前記サブフレーム毎に圧縮を実行する処理、を実行させることを特徴とする画像処理プログラム。
【請求項８】
コンピュータに、撮像部から入力される動画像の各入力画像フレームを所定のライン単位で分割して複数のサブフレームを生成する処理、サブフレームが、同一入力画像フレームに係る複数の前記サブフレームの内の第１のサブフレームかそれ以外の第２のサブフレームかを判定する処理、前記第１のサブフレームと、この第１のサブフレームに先行する入力画像フレームとの相関から動きベクトルを演算する処理、前記判定結果に基づき、前記動きベクトル、或いは、前記第１のサブフレームと前記第２のサブフレームとのずれベクトルを適用して前記サブフレーム毎に圧縮を実行する処理、を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像及び動画像の圧縮符号化を行う画像処理装置、画像処理方法及び画像処理プログラムに関する。
【背景技術】
【０００２】
静止画像圧縮方式ＪＰＥＧや動画像圧縮方式ＭＰＥＧなど、現在主流になっている画像圧縮方式においては、ＤＣＴ変換を利用した圧縮が用いられている。これは、空間周波数の高い成分を削除することでデータ量を削減する手法である。この手法においては、画面内の空間周波数が低い画像ほど、効果的に圧縮を行うことができる。
【０００３】
また、これらの画像圧縮を行う前に、画素間引き等により予め画素数を削減しておくことで、更にデータ量を削減することができる。例えば、通常圧縮を行う前に画素間引きを適用したものとしては、特開平５−２６０４３６号公報に開示されたものがある。ここでは、図２５に示すように、原画像から画像を市松模様状に間引くことによって、視覚上解像度の劣化を少なく画像データ量を1／2に削減し、空いた隙間を横詰めして、他の一般的な手法により画像圧縮することによって、更に画像データ量を削減するものである。
【特許文献１】特開平５−２６０４３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、市松模様状の画素間引きによって隙間の空いた画像を、横詰めによって隙間を詰める場合、画像は歪んでしまう。例えば、図２０に示すような原画像を、図２１に示すように市松模様状に間引き、横詰めにした場合、図２２に示すように、画像内のエッジ部分にギザギザができてしまう。この画像をＤＣＴ変換を用いたＪＰＥＧやＭＰＥＧ等で圧縮しようとした場合、原画像よりも空間周波数が高くなっているため、圧縮効率が悪化してしまう。横詰めの代わりに縦詰めにした場合でも、図２３に示すように同様の問題が起こる。
【０００５】
このような問題が生じるのは、市松模様状の画素間引きではラインによって画素を間引いた位置が異なることが原因であり、ライン毎の画素間引き位置を考慮する必要があるが、先行技術文献にはこの観点について記載されているものがない。
【０００６】
本発明は、以上の課題を解決するためになされたものであり、ライン毎に画素を間引く位置が異なる場合であっても、効率的に画像圧縮を行うことが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【課題を解決するための手段】
【０００７】
以下に、（請求項１〜８）の発明による画像処理装置、画像処理方法または画像処理プログラムについて、その構成、対応する実施例、作用及び効果を述べる。
【０００８】
(請求項１)
(構成) 
請求項１の発明による画像処理装置は、撮像部から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きパターンで間引く画素数削減部と、前記間引きパターン毎に、間引かれた画素でサブフレームを生成するサブフレーム生成部と、前記サブフレーム毎に圧縮を実行する画像圧縮部と、を有する。
【０００９】
(対応する発明の実施例)
この発明に関する実施例は、第１，第２の実施例が対応する。ここで、撮像部は図２のブロック図の撮像部１１に、画素数削減部は図２のブロック図の画素数削減部１２に、サブフレーム生成部は図２のブロック図のサブフレーム生成部１３に、夫々対応する。
【００１０】
(作用効果)
サブフレーム生成部によって、各サブフレームは、間引きパターンの種類が同じラインのみで構成されることになり、各サブフレーム内の全ラインで、水平方向の画素間引き位置が一致するので、空間周波数が高まることなく、効率的に画像圧縮することができる。
【００１１】
(請求項２) 
請求項１における前記画素数削減部は、前記入力画像フレームの偶数ラインと奇数ラインとで、間引き画素位置が異なる間引きパターンで間引きを行い、前記サブフレーム生成部は、奇数ライン又は偶数ラインのいずれか一方のライン群から間引かれた画素のみからなる第１のサブフレームと、他方のライン群から間引かれた画素のみからなる第２のサブフレームとを生成する。
【００１２】
(対応する発明の実施例)
この発明に関する実施例は、実施例１，２が対応する。ここで、入力画像フレームの偶数ラインと奇数ラインとで、間引き画素位置が異なる間引きパターンで間引きを行うことは、図３のフローチャートのＳ2に、奇数ライン又は偶数ラインのいずれか一方のライン群から間引かれた画素のみからなる第１のサブフレームと、他方のライン群から間引かれた画素のみからなる第２のサブフレームとを生成することは、図３のフローチャートのＳ4、Ｓ5、Ｓ6、及びＳ7に、夫々対応する。
【００１３】
(作用効果)
サブフレーム生成部によって生成される第１，第２のサブフレームについて、第１のサブフレーム内の全ライン、第２のサブフレーム内の全ラインで、それぞれ、水平方向の画素間引き位置が一致するので、空間周波数が高まることなく、効率的に画像圧縮することができる。
【００１４】
(請求項３) 
請求項３の発明による画像処理装置は、撮像部から入力される動画像の各入力画像フレームを所定のライン単位で分割して複数のサブフレームを生成するサブフレーム生成部と、サブフレームが、同一入力画像フレームに係る複数の前記サブフレームの内の第１のサブフレームかそれ以外の第２のサブフレームかを判定するサブフレーム判定部と、前記第１のサブフレームと、この第１のサブフレームに先行する入力画像フレームとの相関から動きベクトルを演算する動きベクトル演算部と、前記第１のサブフレームと前記第２のサブフレームとのずれベクトルを出力するずれベクトル出力部と、前記サブフレーム判定部による判定結果に基づき、前記動きヘクトル、或いは、ずれベクトルを適用して前記サブフレーム毎に圧縮を実行する動画像圧縮部と、を有する。
【００１５】
(対応する発明の実施例)
この発明に関する実施例は、実施例２が対応する。ここで、撮像部は図１４のブロック図の撮像部４１に、サブフレーム生成部は図１４のブロック図のサブフレーム生成部４３に、サブフレーム判定部は図１６のブロック図のサブフレーム判定部６２に、動きベクトル演算部は図１６のブロック図の動き探索部６３に、ずれベクトル出力部は図１６のブロック図の固定動きベクトル計算部６４に、夫々対応する。
【００１６】
(作用効果)
第１のサブフレーム以外では、ずれベクトル出力部によって、動きベクトルとして固定値を用いるため、ブロックマッチングによる動き探索の複雑な処理を行う必要がなくなるので、複数のサブフレームに分割した動画像を圧縮するための処理を簡易化することができる。
【００１７】
（請求項４）
請求項３における前記サブフレーム生成部は、前記第１のサブフレームに係るサブフレームを、各入力画像フレームの、奇数番目ライン群又は偶数番目ライン群の何れか一方のみから生成し、前記第２のサブフレームに係るサブフレームを、他方のライン群から生成し、前記ずれベクトル出力部は、前記ずれベクトルとして、前記第１のサブフレームと前記第２のサブフレームとの画素位置の差を出力することを特徴とする。
【００１８】
(対応する発明の実施例)
この発明に関する実施例は、実施例２が対応する。第１のサブフレームに係るサブフレームを、各入力画像フレームの、奇数番目ライン群又は偶数番目ライン群の何れか一方のみから生成し、第２のサブフレームに係るサブフレームを、他方のライン群から生成することは、図３のフローチャートのＳ4、Ｓ5、Ｓ6、及びＳ7に、ずれベクトルとして、第１のサブフレームと第２のサブフレームとの画素位置の差を出力することは、図１７のフローチャートのＳ24に、夫々対応する。
【００１９】
(作用効果)
ずれベクトル出力部によって、第２のサブフレームでは、動きベクトルとして固定値を用いるため、ブロックマッチングによる動き探索の複雑な処理を行う必要がなくなるので、２つのサブフレームに分割した動画像を圧縮するための処理を簡易化することができる。
【００２０】
（請求項５）
請求項５の発明による画像処理方法は、撮像部から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きパターンで間引き、前記間引きパターン毎に、間引かれた画素でサブフレームを生成し、前記サブフレーム毎に圧縮を実行すること特徴とする。
【００２１】
(対応する発明の実施例)
この発明に関する実施例は、実施例１，２が対応する。実施例との対応は、請求項１と同じである。
【００２２】
(作用効果)
各サブフレームは、間引きパターンの種類が同じラインのみで構成されることになり、各サブフレーム内の全ラインで、水平方向の画素間引き位置が一致するので、画素間の相関性が高く、空間周波数が高まることがなく、ＤＣＴ変換による画像圧縮を効率的に行うことができる。
【００２３】
（請求項６）
請求項６の発明による画像処理方法は、撮像部から入力される動画像の各入力画像フレームを所定のライン単位で分割して複数のサブフレームを生成し、サブフレームが、同一入力画像フレームに係る複数の前記サブフレームの内の第１のサブフレームかそれ以外の第２のサブフレームかを判定し、前記第１のサブフレームと、この第１のサブフレームに先行する入力画像フレームとの相関から動きベクトルを演算し、前記判定結果に基づき、前記動きベクトル、或いは、前記第１のサブフレームと前記第２のサブフレームとのずれベクトルを適用して前記サブフレーム毎に圧縮を実行することを特徴とする。
【００２４】
(対応する発明の実施例)
この発明に関する実施例は、実施例２が対応する。実施例との対応は、請求項３と同じである。
【００２５】
(作用効果)
第１のサブフレーム以外では、動きベクトルとして固定値を用いるため、ブロックマッチングによる動き探索の複雑な処理を行う必要がなくなるので、複数のサブフレームに分割した動画像を圧縮するための処理を簡易化することができる。
【００２６】
（請求項７）
請求項７の発明による画像処理プログラムは、コンピュータに、撮像部から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きバターンで間引く処理、前記間引きパターン毎に、間引かれた画素でサブフレームを生成する処理、前記サブフレーム毎に圧縮を実行する処理、を実行させることを特徴とする。
【００２７】
(対応する発明の実施例)
この発明に関する実施例は、実施例１，２が対応する。実施例との対応は、請求項１と同じである。
【００２８】
(作用効果)
サブフレーム分割手段によって、各サブフレームは、間引きパターンの種類が同じラインのみで構成されることになり、各サブフレーム内の全ラインで、水平方向の画素間引き位置が一致するので、画素間の相関性が高く、空間周波数が高まることなく、ＤＣＴ変換による画像圧縮を効率的に行うことができる。
【００２９】
（請求項８）
請求項８の発明による画像処理プログラムは、コンピュータに、撮像部から入力される動画像の各入力画像フレームを所定のライン単位で分割して複数のサブフレームを生成する処理、サブフレームが、同一入力画像フレームに係る複数の前記サブフレームの内の第１のサブフレームかそれ以外の第２のサブフレームかを判定する処理、前記第１のサブフレームと、この第１のサブフレームに先行する入力画像フレームとの相関から動きベクトルを演算する処理、前記判定結果に基づき、前記動きベクトル、或いは、前記第１のサブフレームと前記第２のサブフレームとのずれベクトルを適用して前記サブフレーム毎に圧縮を実行する処理、を実行させることを特徴とする。
【００３０】
(対応する発明の実施例)
この発明に関する実施例は、実施例２が対応する。実施例との対応は、請求項３と同じである。
【００３１】
(作用効果)
第１のサブフレーム以外では、動きベクトルとして固定値を用いるため、ブロックマッチングによる動き探索の複雑な処理を行う必要がなくなるので、複数サブフレームに分割した動画像を圧縮するための処理を簡易化することができる。
【発明の効果】
【００３２】
本発明の画像処理装置、画像処理方法及び画像処理プログラムによれば、市松模様状の画素間引きのように、ライン毎に画素を間引く位置が異なる場合であっても、効率的に画像圧縮を行うことが可能となる。
【発明を実施するための最良の形態】
【００３３】
発明の実施例について図面を参照して説明する。  
【実施例１】
【００３４】
図１は、本発明の実施例１に係る画像処理装置の構成を示す図である。符号１は静止画・動画ともに撮像可能な撮像圧縮ブロックを構成するカメラ装置、２はデータ記録用のストレージ部、３は画像伸長・表示ブロックを構成するディスプレイ装置である。  
図２は、本発明の実施例１の画像処理装置における撮像圧縮ブロックの構成を示すブロック図である。撮像圧縮ブロックは、撮像から圧縮データを出力するまでのブロックを示したものである。
【００３５】
本実施例では、撮像圧縮ブロックは、ＣＣＤなどの撮像素子を備えた撮像部１１と、撮像部１１から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きパターンで間引く画素数削減部１２と、前記間引きパターン毎に、間引かれた画素でサブフレームを生成するサブフレーム生成部１３と、前記サブフレーム生成部３で生成したサブフレームを記憶するメモリ１４と、前記サブフレーム毎に圧縮を実行する画像圧縮部１５と、前記画像圧縮部１５で圧縮されたデータを、所定のフォーマットに変換して出力する圧縮データ出力部１６と備えている。
【００３６】
撮像部１１としては、例えば、光電変換素子の各画素それぞれにカラーフィルタを貼り付け、カラー画像信号を得る単板式のカメラ装置を用いる。前記カラーフィルタとしては、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）をモザイク状に配列したカラーフィルタ、例えばベイヤー配列のものが用いられる。
【００３７】
図３は、撮像圧縮ブロックにおける、画像データの入力から圧縮までのフローチャートである。  
先ず、撮像部１１によって取り込まれた画像は、デジタル信号に変換され、ＲＧＢベイヤー形式の画像データが画素数削減部２に出力される（ステップＳ１）。
【００３８】
画素数削減部１２は、画像データに対し、市松模様状に画素を間引くことにより、画素数削減を行い、所定の画像形式変換によりＹＵＶ４２０のカラーデータ形式として出力する（ステップＳ２）。
【００３９】
なお、本実施例では、画素数削減は、画素を間引くことによって行っているが、市松模様状に画素数を削減できるのであれば、別の方法を採用しても良い。例えば、撮像部から出力されるＲＧＢベイヤーデータに対して、ＲＧＢのＧのデータが存在する画素位置のみにおいて、隣接するＲとＢのデータを使ってベイヤー変換した後、ＹＵＶ形式に変換して出力することにより、市松模様状に画素数を削減した状態でデータを出力することも可能である。ここで、ベイヤー変換とは、上記のような単板式のカメラ装置において、例えば、Ｒ，Ｇ，Ｂからなるカラーフィルタを用いる場合には、光電変換素子に対応した各画素毎にＲ，Ｇ，Ｂのいずれか一つの色情報のみが得られることになるため、画像信号の他の色情報については補間計算を行い、各画素毎にＲ，Ｇ，Ｂのデータがそれぞれに得られるようにする手法を言う。例えば、特開平１０−１７８６５０号公報には、Ｒ，Ｇ，Ｂのモザイクフィルタを用いる構成において、５×５画素領域内で、Ｒ，Ｇ，Ｂの各画素データ別に平均値を計算して、補間値を求める手法の開示がなされている。
【００４０】
サブフレーム生成部１３は、先ず、画素数削減部１２から入力される市松模様状のＹＵＶ画像データを、ライン単位に分割する(ステップＳ3)。  
そして、ステップＳ4で、分割されたラインが偶数ラインか否かが判定される。分割されたラインが偶数ラインであれば（ステップＳ4でＹ）、メモリ１４内の第１のサブフレーム領域に（ステップＳ5）、奇数ラインであれば（ステップＳ４でＮ）、メモリ１４内の第２のサブフレーム領域(ステップＳ6)に、夫々振り分けて格納する。
【００４１】
以上の振り分けは、ステップＳ7の終了判定において、画像データ１フレーム分のラインが終了する（ステップＳ7でＹ）まで実行され、これにより、第１のサブフレーム、第２のサブフレームが構築される。
【００４２】
画像圧縮部１５は、サブフレーム生成部１３から入力されるサブフレームに対して、第１のフレーム、第２のフレームの順序で画像圧縮を行う（ステップＳ8）。なお、本実施例１では、圧縮方式はＪＰＥＧを想定しているが、ＭＰＥＧのＩピクチャ等、画面内相関による圧縮であれば、他方式でも適用可能である。また、本実施例は、静止画、動画のどちらに対しても適用可能である。  
圧縮データ出力部１６は、画像圧縮部１５で圧縮されたデータを、所定のフォーマットに変換して出力する（ステップＳ9）。
【００４３】
次に、図４を用いて、輝度信号におけるサブフレーム分割方法について説明する。  
なお、以下の説明において、各ラインの並びは、最上部のラインから、０，１，２，…と付番し、区別するものとする。例えば、図４では、最上部のラインは０番目とする。
【００４４】
まず、図４（ａ）に示すように、画素を市松模様状に間引く。この時、奇数番目ラインと偶数番目ラインで画素が残っている位置が異なっているが、図４（ｂ）のように偶数番目ラインのみを集めて第１のサブフレームを構成し、図４（ｃ）のように奇数番目ラインのみを集めて第２のサブフレームを構成する。これにより、垂直方法に画素位置の揃った２つの輝度成分サブフレームを生成することができる。
【００４５】
なお、本実施例では、市松模様上に画素数を削減し、２つのサブフレームに分割しているが、画素数削減方法として別の間引きパターンを適用し、その間引きパターンの種類数に応じた数のサブフレーム分割を行うことも可能である。例えば、図５（ａ）のような間引きパターンを使用し、図５（ｂ）、（ｃ）、（ｄ）、（ｅ）のように４つのサブフレームに分割することも可能である。
【００４６】
次に、図６を用いて、色差信号におけるサブフレーム分割方法について説明する。  
図６は色差成分のサブフレーム生成方法の一例を示している。なお、図６においてはＵ成分の例を示しているが、Ｖ成分についても同様に考えることができる。
【００４７】
まず、画素を市松模様状に間引くが、本実施例ではＹＵＶ４２０カラーデータ形式であるため、色差成分は輝度成分の１／４のデータ量があれば良い。
【００４８】
そこで図６（ａ）のように、（４ｍ，４ｎ）と（４ｍ＋１，４ｎ＋１）の位置の画素を残し、それ以外の画素を間引く。ただし、ｍ，ｎは０以上の整数とし、（ｘ，ｙ）の標記は、左上の画素を原点として、水平右方向の位置をｘ、垂直下方向の位置をｙとした時の、画素位置を表す座標であるものとする。
【００４９】
図６（ｂ）のように４ｎ番目ラインのみを集めて第１のサブフレームを構成し、図６（ｃ）のように４ｎ＋１番目ラインのみを集めて第２のサブフレームを構成する。これににより、画素位置の揃った２つの色差成分サブフレームを生成することができる。
【００５０】
ＹＵＶ４２０のカラーデータ形式における色差成分のサブフレーム分割方法については、上記以外に、図７に示した方法も可能である。図７は色差成分のサブフレーム生成方法のもう１つの例を示している。なお、図７においてもＵ成分の例を示しているが、Ｖ成分についても同様に考えることができる。前述したように、まず、画素を市松模様状に間引くが、本例においてもＹＵＶ４２０カラーデータ形式であるため、色差成分は輝度成分の１／４のデータ量があれば良い。
【００５１】
即ち、図７（ａ）のように、(４ｍ，４ｎ）と（４ｍ＋２，４ｎ＋２）の位置の画素を残し、それ以外の画素を間引く。  
そして、図７（ｂ）のように４ｎ番目ラインのみを集めて第１のサブフレームを構成し、図７（ｃ）のように４ｎ＋２番目ラインのみを集めて第２のサブフレームを構成する。これにより、画素位置の揃った２つの色差成分サブフレームを生成することができる。
【００５２】
ここで、図４の輝度成分のサブフレーム生成方法に対して、図６の色差成分のサブフレーム生成方法と図７の色差成分のサブフレーム生成方法とを比較してみる。
【００５３】
図４に示す輝度成分では、偶数番目ライン，奇数番目ラインでそれぞれ第１のサブフレーム，第２のサブフレームが形成されている。図６の色差成分の採り方であると、第１，第２のサブフレームに分けたとき、偶数番目ライン，奇数番号目ラインでそれぞれ第１のサブフレーム，第２のサブフレームが形成されるので、配列的に輝度成分の第１，第２のサブフレームと対応する。一方、図７の色差成分の採り方であると、第１，第２のサブフレームに分けたとき、どちらも偶数番目ラインだけで第１，第２のサブフレームが形成されるので、配列的に輝度成分の第１，第２のサブフレームと対応しないため、画像伸長・表示ブロック側で復元したとき（サブフレーム合成時）に、輝度成分と色差成分とで位置ずれが生じ、結果として色ずれが生じる。これに対して、図６の色差成分の採り方であると、画像伸長・表示ブロック側で復元したとき（サブフレーム合成時）に、輝度成分と色差成分とで色ずれが生じない。
【００５４】
次に、撮像圧縮ブロックで圧縮された圧縮画像データを伸長して画像を表示する画像伸長・表示ブロックについて説明する。  
図８は画像伸長・表示ブロックのブロック構成図を示している。画像伸長・表示ブロックには、図２に示した撮像圧縮ブロックで例えばＪＰＥＧ圧縮された画像サブフレームのデータが一旦ストレージ部に記憶された後、その記憶されたＪＰＥＧ圧縮データが入力される。
【００５５】
画像伸長・表示ブロックは、ＪＰＥＧ圧縮された複数のサブフレームデータが入力される圧縮データ入力部２１と、ＪＰＥＧ圧縮された複数のサブフレームデータを伸長する画像伸長部２２と、伸長された複数のサブフレームデータを合成するサブフレーム合成部２３と、前記サブフレーム合成部２３で合成したサブフレームを記憶するメモリ２４と、合成した前記サブフレームデータにおける間引き画素部分を補間する画素補間部２５と、前記画素補間部２５で補間されたデータを、表示データに変換してディスプレイ上に表示する画像表示部２６とを備えている。
【００５６】
図９は伸長・表示のフローチャートを示している。  
まず、圧縮データ入力部２１から、ＪＰＥＧ圧縮された画像サブフレームのデータが入力され（ステップＳ11）、画像伸長部２２にて、ＹＵＶ４２０のカラーデータ形式に伸長される（ステップＳ12）。
【００５７】
次に、サブフレーム合成部２３にて、２つのサブフレームを合成して、市松模様状に画素が欠落した状態の合成フレームを生成し（ステップＳ13）、画素補間部２５にて、画素が欠落した部分の補間を行い（ステップＳ14）、画像表示部２６にて、所定のフォーマットに変換して画像表示を行う（ステップＳ15）。
【００５８】
次に、図１０を用いて、サブフレーム合成部２３及び画素補間部２５での、輝度信号におけるサブフレーム合成及び画素補間について説明する。  
図１０は輝度成分のサブフレーム合成後の画素補間方法を示している。
【００５９】
第１のサブフレームの各ラインを合成フレームの偶数ラインとして、第２のサブフレームの各ラインを合成フレームの奇数ラインとして、合成フレームを構成する。
【００６０】
そして、画素間引きによって画素データが欠落した（２ｍ，２ｎ＋１）と（２ｍ＋１，２ｎ）の部分の画素データについては、下式のように、周囲の４画素を用いて補間する。
【００６１】
Ｙ（２ｍ，２ｎ＋１）＝｛Ｙ（２ｍ，２ｎ）＋Ｙ（２ｍ−１，２ｎ＋１）＋Ｙ（２ｍ＋１，２ｎ＋１）＋Ｙ (２ｍ，２ｎ＋２）｝÷４
Ｙ（２ｍ＋１，２ｎ）＝｛Ｙ（２ｍ＋１，２ｎ−１）＋Ｙ（２ｍ，２ｎ）＋Ｙ（２ｍ＋２，２ｎ）＋Ｙ（２ｍ＋１，２ｎ＋１）｝÷４
例えば、間引き画素Ｙ21については、周囲の４画素Ｙ11，Ｙ31，Ｙ20，Ｙ22を用いてそれらの平均値を求めることにより、補間する。
【００６２】
次に、図６のように色差信号を画素間引きした場合のサブフレーム合成及び画素補間について、図１１を用いて説明する。 図１１は色差成分のサブフレーム合成後の画素補間方法の一例を示している。
【００６３】
図１１において、ＹＵＶ４２０のカラーデータ形式の色差信号においては、太枠で囲った位置の画素データが必要である。即ち、２×２の４画素に対してＵ，Ｖをそれぞれ１つずつ採るというのが、ＹＵＶ４２０のデータ形式である。そのため、まず下式のように、（４ｍ＋２，４ｎ＋２）の位置の画素データとして、（４ｍ＋１，４ｎ＋１）の位置の画素データを用いる。
【００６４】
Ｕ（４ｍ＋２，４ｎ＋２）＝Ｕ（４ｍ＋１，４ｎ＋１）
Ｖ（４ｍ＋２，４ｎ＋２）＝Ｖ（４ｍ＋１，４ｎ＋１）
次に、（４ｍ，４ｎ＋２）と（４ｍ＋２，４ｎ）の位置の画素データを、周囲の４画素を用いて補間する。
【００６５】
Ｕ (４ｍ，４ｎ＋２)＝｛Ｕ（４ｍ，４ｎ）＋Ｕ (４ｍ−２，４ｎ十２)＋Ｕ（４ｍ＋２，   ４ｎ＋２）＋Ｕ（４ｍ，４ｎ＋４）｝）÷４
Ｖ (４ｍ，４ｎ＋２)＝｛Ｖ（４ｍ，４ｎ）＋Ｖ (４ｍ−２，４ｎ十２)＋Ｖ（４ｍ＋２，   ４ｎ＋２）＋Ｖ（４ｍ，４ｎ＋４）｝）÷４
Ｕ（４ｍ＋２，４ｎ）＝｛Ｕ（４ｍ＋２，４ｎ−２）＋Ｕ (４ｍ，４ｎ)＋Ｕ（４ｍ＋４，   ４ｎ）＋Ｕ（４ｍ＋２，４ｎ＋２）｝）÷４
Ｖ（４ｍ＋２，４ｎ）＝｛Ｖ（４ｍ＋２，４ｎ−２）＋Ｖ (４ｍ，４ｎ)＋Ｖ（４ｍ＋４，   ４ｎ）＋Ｖ（４ｍ＋２，４ｎ＋２）｝）÷４
具体的には、斜め方向に隣接する２画素のうち画素Ｕ11，Ｕ15，Ｕ51，Ｕ55，…を、太枠で囲った位置のデータのない画素Ｕ22，Ｕ26，Ｕ62，Ｕ66，…の画素データとして用いる。そして、その状態で、太枠で囲った位置の画素のうちデータのない画素Ｕ02，Ｕ20，Ｕ06，Ｕ24，Ｕ42，Ｕ60，Ｕ46，Ｕ64，…については、周囲の４画素を用いて補間する。例えば、画素Ｕ24については、４つの画素Ｕ04，Ｕ44，Ｕ22，Ｕ26を用いて補間する。
【００６６】
次に、図７のように色差信号を画素間引きした場合のサブフレーム合成及び画素補間について、図１２を用いて説明する。図１２は色差成分のサブフレーム合成後の画素補間方法のもう１つの例を示している。
【００６７】
図１２の場合においても、図１１の例と同じくＹＵＶ４２０のカラーデータ形式の色差信号においては、太枠で囲った位置の画素データが必要である。即ち、前述したように、２×２の４画素に対してＵ，Ｖをそれぞれ１つずつ採るというのが、ＹＵＶ４２０のデータ形式である。そのため、(４ｍ，４ｎ＋２)と（４ｍ＋２，４ｎ）の位置の画素データを、周囲の４画素を用いて補間する。
【００６８】
Ｕ (４ｍ，４ｎ＋２)＝｛Ｕ（４ｍ，４ｎ）＋Ｕ (４ｍ−２，４ｎ十２)＋Ｕ（４ｍ＋２，４ｎ＋２）＋Ｕ（４ｍ，４ｎ＋４）｝）÷４
Ｖ (４ｍ，４ｎ＋２)＝｛Ｖ（４ｍ，４ｎ）＋Ｖ (４ｍ−２，４ｎ十２)＋Ｖ（４ｍ＋２，４ｎ＋２）＋Ｖ（４ｍ，４ｎ＋４）｝）÷４
Ｕ（４ｍ＋２，４ｎ）＝｛Ｕ（４ｍ＋２，４ｎ−２）＋Ｕ (４ｍ，４ｎ)＋Ｕ（４ｍ＋４，４ｎ）＋Ｕ（４ｍ＋２，４ｎ＋２）｝）÷４
Ｖ（４ｍ＋２，４ｎ）＝｛Ｖ（４ｍ＋２，４ｎ−２）＋Ｖ (４ｍ，４ｎ)＋Ｖ（４ｍ＋４，４ｎ）＋Ｖ（４ｍ＋２，４ｎ＋２）｝）÷４
具体的には、太枠で囲った位置の画素のうちデータのない画素Ｕ02，Ｕ20，Ｕ06，Ｕ24，Ｕ42，Ｕ60，Ｕ46，Ｕ64，…については、周囲の４画素を用いて補間する。例えば、画素Ｕ42については、４つの画素Ｕ22，Ｕ62，Ｕ40，Ｕ44を用いて補間する。
【００６９】
以上の方法により、本実施例の方法で圧縮した画像の伸長及び表示が可能である。
【００７０】
本発明の実施例１によれば、相異なる複数の間引きパターンで間引き、間引きパターン毎に、間引かれた画素で複数のサブフレームを生成し、サブフレーム毎に圧縮を実行することにより、市松模様状の画素間引きのように、ライン毎に画素を間引く位置が異なる場合であっても、空間周波数が高まることなく、効率的に画像圧縮を行うことが可能となる。
【実施例２】
【００７１】
次に、本発明の実施例２について説明する。  
図１３は、本発明の実施例２に係る画像処理装置の概略図を示す。符号３１は動画を撮像可能な撮像圧縮ブロックを構成するカメラ装置、３２は画像伸長・表示ブロックを構成する画像表示用のディスプレイ装置である。図１と異なる点は、動画像データをリアルタイムに撮像するため、カメラ装置３１とディスプレイ装置３２の間にデータ記録用のストレージ部が無い構成となっている。なお、本実施形態では、各構成要素間は無線で接続しているが、有線による接続も可能である。
【００７２】
図１４は、本発明の実施例２の画像処理装置における撮像圧縮ブロックの構成を示すブロック図である。撮像圧縮ブロックは、撮像から圧縮データを出力するまでのブロックを示したものである。
【００７３】
本実施例２では、撮像圧縮ブロックは、ＣＣＤなどの撮像素子を備えた撮像部４１と、撮像部４１から入力される、複数のラインからなる入力画像フレームを構成する画素を、相異なる複数の間引きパターンで間引く画素数削減部４２と、前記間引きパターン毎に、間引かれた画素でサブフレームを生成するサブフレーム生成部４３と、前記サブフレーム生成部４３で生成したサブフレームを記憶するメモリ４４と、前記サブフレーム毎に圧縮を実行する画像圧縮部４５と、前記画像圧縮部４５で圧縮されたデータを、所定のフォーマットに変換して出力する圧縮データ出力部４６と備えている。
【００７４】
撮像部４１としては、例えば、光電変換素子の各画素それぞれにカラーフィルタを貼り付け、カラー画像信号を得る単板式のカメラ装置を用いる。前記カラーフィルタとしては、例えば、Ｒ（赤），Ｇ（緑），Ｂ（青）をモザイク状に配列したカラーフィルタ、例えばベイヤー配列のものが用いられる。
【００７５】
本実施例２において、全体の構成は、図２に示した実施例１と同等の構成を採るが、扱う画像は動画像であり、画像圧縮部４５の圧縮方式は、ＭＰＥＧ等の、画面間圧縮を利用するものとする。
【００７６】
図１５は画像伸長・表示ブロックのブロック構成図を示している。画像伸長・表示ブロックには、図１４に示した撮像圧縮ブロックで例えばＭＰＥＧ圧縮された画像サブフレームのデータが入力される。
【００７７】
画像伸長・表示ブロックは、ＭＰＥＧ圧縮された複数のサブフレームデータが入力される圧縮データ入力部５１と、ＭＰＥＧ圧縮された複数のサブフレームデータを伸長する画像伸長部５２と、伸長された複数のサブフレームデータを合成するサブフレーム合成部５３と、前記サブフレーム合成部５３で合成したサブフレームを記憶するメモリ５４と、合成した前記サブフレームデータにおける間引き画素部分を補間する画素補間部５５と、前記画素補間部５５で補間されたデータを、表示データに変換してディスプレイ上に表示する画像表示部５６とを備えている。
【００７８】
図１６は、前記画像圧縮部４５のブロック図である。画像圧縮部４５は、デマルチプレクサ（以下、ＤＥＭＵＸ）６１と、サブフレーム判定部６２と、動きベクトル演算部としての動き探索部６３と、ずれベクトル出力部としての固定動きベクトル計算部６４と、マルチプレクサ（以下、ＭＵＸ）６５と、ＤＣＴ変換部６６と、動画像圧縮部としての量子符号化部６７とを備えている。
【００７９】
図１７は、画像圧縮部４５における、画像データの入力から圧縮までのフローチャートである。  
まず、サブフレームの画像データが、ＤＥＭＵＸ６１と、サブフレーム判定部６２に入力される（ステップＳ21）。サブフレーム判定部６２は、入力されたサブフレームが第１のサブフレームかどうかを判定してＤＥＭＵＸ６１とＭＵＸ６５に通知する（ステップＳ22）。
【００８０】
ＤＥＭＵＸ６１は、通知された判定結果に基づき、第１のサブフレームであれば動き探索部６３へ（ステップＳ22でＹ）、第１のサブフレームでなければ固定動きベクトル計算部６４へ（ステップＳ22でＮ）、それぞれサブフレームの画像データを出力する。
【００８１】
動き探索部６３は、１つ前の第１のサブフレームを参照画像として、動きベクトルを求める手法として周知のブロックマッチングの手法により動きベクトルを算出し、ＭＵＸ６５へ出力する。また、算出した動きベクトルに基づいて求めた参照画像との差分画像データも同時にＭＵＸ６５へ出力する(ステップＳ23)。
【００８２】
固定動きベクトル計算部６４は、第１のサブフレームと第２のサブフレームが元々一枚の画像フレームであった時の、画素位置の差を計算し、これを動きベクトル固定値としてＭＵＸ６５へ出力する。また、この動きベクトル固定値に基づいて求めた第１のサブフレームとの差分画像データも同時にＭＵＸ６５へ出力する（ステップＳ24）。
【００８３】
ＭＵＸ６５は、サブフレーム判定部６２からの判定結果に基づき、第１のサブフレームの差分画像データと、第２のサブフレームの差分画像データを、それぞれ交互にＤＣＴ変換部６６に出力する。またＭＵＸ６５は、第１のサブフレームの動きベクトルと、第２のサブフレームの動きベクトル固定値を、それぞれ交互に量子符号化部６７に出力する。
【００８４】
ＤＣＴ変換部６６は、入力された差分画像データに対してサブフレーム単位でＤＣＴ変換を行い(ステップＳ25)、量子符号化部６７は量子化及び符号化を行い（ステップＳ26）、符号化された圧縮データを出力する（ステップＳ27）。
【００８５】
次に、動きベクトルの算出方法について説明する。  
本実施例２においては、第１のサブフレームと第２のサブフレームは、元々一枚の画像フレームを構成していたため、画像は類似したものとなる。  
例えば、図２０のような画像フレームを、図２１のように市松模様状に画素数を削減し、図２４のように２つの第１，第２のサブフレームに分割した場合、第１のサブフレームの画像と第２のサブフレームの画像は、元々の画像フレームを構成していた時の画素位置の差分だけ移動したものと、類似している。
【００８６】
そこで、本実施例２では図１８に示すように、第２のサブフレームの第１のサブフレームに対する動きベクトルの固定値として、前記画素位置の差分を用いる。従来のブロックマッチングによる動き探索は、第１のサブフレーム間の動きベクトルを求める時だけ行うようにする。  
これによって、ブロックマッチングによる動き探索の複雑な処理を簡略化することができる。
【００８７】
なお、本実施例２では、第２のサブフレームの参照画像として同一フレームに属していた第１のサブフレームを用いたが、図１９に示すように、１つ前のフレームに属していた第２のサブフレームを参照画像とすることも可能である。その場合の動きベクトルは、直前に求めた第１のサブフレームの動きベクトルと同じ動きベクトル（図１９では動きベクトル固定値としてある）を用いることができる。  
又は、先のフレームの第１のサブフレームと現フレームの第１のサブフレームの間、及び先のフレームの第２のサブフレームと現フレームの第２のサブフレームの間で、各々ブロックマッチングによる動き探索を用いて動きベクトルを求めて、これらの結果から平均動きベクトルを求めて、現フレームを圧縮するために用いても良い。
【産業上の利用可能性】
【００８８】
本発明は、撮像装置などの画像データを処理する装置において、画像データにおける画素数削減と共に冗長性削減を行う際に、極めて有効な技術として広く利用することが可能である。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施例１に係る画像処理装置の構成を示す図。
【図２】本発明の実施例１の画像処理装置における撮像圧縮ブロックの構成を示すブロック図。
【図３】撮像圧縮ブロックにおける、画像データの入力から圧縮までのフローチャート。
【図４】輝度信号におけるサブフレーム生成方法の一例を説明する図。
【図５】輝度信号におけるサブフレーム生成方法の他の例を説明する図。
【図６】色差信号におけるサブフレーム生成方法の一例を説明する図。
【図７】色差信号におけるサブフレーム生成方法の他の例を説明する図。
【図８】本発明の実施例１の画像処理装置における画像伸長・表示ブロックの構成を示すブロック図。
【図９】画像伸長・表示ブロックにおける、圧縮データの入力から画像表示までのフローチャート。
【図１０】輝度成分のサブフレーム合成後の画素補間方法を説明する図。
【図１１】色差成分のサブフレーム合成後の画素補間方法の一例を説明する図。
【図１２】色差成分のサブフレーム合成後の画素補間方法の他の例を説明する図。
【図１３】本発明の実施例２に係る画像処理装置の概略図。
【図１４】本発明の実施例２の画像処理装置における撮像圧縮ブロックの構成を示すブロック図。
【図１５】画像伸長・表示ブロックのブロック構成図。
【図１６】画像圧縮部のブロック図。
【図１７】画像圧縮部における、画像データの入力から圧縮までのフローチャート。
【図１８】動き予測処理の簡略化方法の一例を説明する図。
【図１９】動き予測処理の簡略化方法の他の例を説明する図。
【図２０】間引き画像を説明するための、原画像を示す図。
【図２１】間引き画像を示す図。
【図２２】横詰めした間引き画像を示す図。
【図２３】縦詰めした間引き画像を示す図。
【図２４】図２２の間引き画像を第１，第２のサブフレームに分けた図。
【図２５】従来例を説明する図。
【符号の説明】
【００９０】
１１…撮像部
１２…画素数削減部
１３…サブフレーム生成部
１４…メモリ
１５…画像圧縮部
６２…サブフレーム判定部
６３…動き探索部（動きベクトル演算部）
６４…固定動きベクトル計算部（ずれベクトル出力部）
６７…量子符号化部（動画像圧縮部）
代理人    弁理士      伊    藤      進 
【図１】
2006033750.tif 000003
【図２】
2006033750.tif 000004
【図３】
2006033750.tif 000005
【図４】
2006033750.tif 000006
【図５】
2006033750.tif 000007
【図６】
2006033750.tif 000008
【図７】
2006033750.tif 000009
【図８】
2006033750.tif 000010
【図９】
2006033750.tif 000011
【図１０】
2006033750.tif 000012
【図１１】
2006033750.tif 000013
【図１２】
2006033750.tif 000014
【図１３】
2006033750.tif 000015
【図１４】
2006033750.tif 000016
【図１５】
2006033750.tif 000017
【図１６】
2006033750.tif 000018
【図１７】
2006033750.tif 000019
【図１８】
2006033750.tif 000020
【図１９】
2006033750.tif 000021
【図２０】
2006033750.tif 000022
【図２１】
2006033750.tif 000023
【図２２】
2006033750.tif 000024
【図２３】
2006033750.tif 000025
【図２４】
2006033750.tif 000026
【図２５】
2006033750.tif 000027