(57)【要約】      （修正有）【課題】分割画像サイズを圧縮符号化処理の符号化単位である画素ブロックの整数倍にしつつも、分割画像の境界付近での画質劣化を抑制する。【解決手段】画像データを複数の分割画像データに分割する分割部と、分割部で得た着目分割画像データのサイズを符号化処理の単位となる画素ブロックの整数倍とするため、不足分の画素を着目分割画像データからコピーし、コピーして得たコピー画素を着目分割画像データに付加する付加部と、付加部によるコピー画素が付加された着目分割画像データを画素ブロックを単位に符号化する符号化部とを有する。付加部は、付加するコピー画素における隣接の２画素を、着目分割画像データの端部から所定範囲内の異なる位置の２画素を用いる。符号化部は、着目分割画像データにおける着目画素ブロックに対して、複数の量子化パラメータの中から目標符号量となる１つを決定し、着目画素ブロックの量子化を行う。【選択図】なし【特許請求の範囲】
【請求項１】
画像データを符号化する画像処理装置であって、
符号化対象の画像データを、複数の分割画像データに分割する分割手段と、
前記分割手段で得た着目分割画像データのサイズを符号化処理の単位となる画素ブロックの整数倍とするため、不足分の画素を前記着目分割画像データからコピーし、コピーして得たコピー画素を前記着目分割画像データに付加する付加手段と、
該付加手段によるコピー画素が付加された前記着目分割画像データを、前記画素ブロックを単位に符号化する符号化手段とを有し、
前記付加手段は、
付加するコピー画素における隣接画素として、前記着目分割画像データの端部の異なる位置の画素を用い、
前記符号化手段は、
前記着目分割画像データにおける着目画素ブロックに対して、複数の量子化パラメータの中から目標符号量となる１つを決定し、決定した量子化パラメータに基づき前記着目画素ブロックの量子化を行い、符号化を行う
ことを特徴とする画像処理装置。
【請求項２】
前記符号化手段は、
前記着目分割画像データにおける着目画素ブロックを構成する各画素を、前記決定した量子化パラメータに基づき量子化し、量子化後の隣接画素の差分を求め、当該差分を符号化し、
前記決定した量子化パラメータを表す情報、及び、前記差分の符号化で得たデータを符号化データとして出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記付加手段は、付加する画素の数をＮとしたとき、前記着目分割画像データの端部に位置する連続するＮ個の画素を、逆順に並べて付加することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記付加手段は、前記着目分割画像データの端部に位置する隣り合う２画素を交互に並べて付加することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項５】
画像データを符号化する画像処理装置であって、
符号化対象の画像データを、複数の分割画像データに分割する分割手段と、
前記分割手段で得た着目分割画像データのサイズを符号化処理の単位となる画素ブロックの整数倍とするため、不足分の画素を前記着目分割画像データからコピーし、コピーして得たコピー画素を前記着目分割画像データに付加する付加手段と、
該付加手段によるコピー画素が付加された前記着目分割画像データを、前記画素ブロックを単位に符号化する符号化手段とを有し、
前記符号化手段は、
前記着目分割画像データにおける着目画素ブロックが、前記コピー画素を含むか否かを判定する判定手段を有し、
該判定手段により、前記着目画素ブロックが前記コピー画素を含まないと判定された場合、複数の量子化パラメータの中から目標符号量となる１つを決定し、決定した量子化パラメータに基づき前記着目画素ブロックの量子化を行って符号化し、
前記判定手段により、前記着目画素ブロックが前記コピー画素を含むと判定された場合、前記着目画素ブロックに隣接する符号化済みの画素ブロックが用いた量子化パラメータを参照して前記着目画素ブロックの量子化を行って符号化する
ことを特徴とする画像処理装置。
【請求項６】
前記符号化手段は、前記判定手段により、前記着目画素ブロックが前記コピー画素を含むと判定された場合、前記着目画素ブロックの直前に符号した画素ブロックで用いた量子化パラメータを、前記着目画素ブロックの量子化パラメータとして用いることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記符号化手段は、前記判定手段により、前記着目画素ブロックが前記コピー画素を含むと判定された場合、前記着目画素ブロックの直前に符号した第１の画素ブロック及び当該第１の画素ブロックに隣接する第２の画素ブロックで用いた量子化パラメータの中間を示す量子化パラメータを、前記着目画素ブロックの量子化パラメータとして用いることを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記符号化手段は、
前記着目分割画像データにおける着目画素ブロックを構成する各画素を、前記量子化パラメータに基づき量子化し、量子化後の隣接画素の差分を求め、当該差分を符号化し、
前記量子化パラメータを表す情報、及び、前記差分の符号化で得たデータを符号化データとして出力することを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
画像データを符号化する画像処理装置の制御方法であって、
符号化対象の画像データを、複数の分割画像データに分割する分割工程と、
前記分割工程で得た着目分割画像データのサイズを符号化処理の単位となる画素ブロックの整数倍とするため、不足分の画素を前記着目分割画像データからコピーし、コピーして得たコピー画素を前記着目分割画像データに付加する付加工程と、
該付加工程によるコピー画素が付加された前記着目分割画像データを、前記画素ブロックを単位に符号化する符号化工程とを有し、
前記付加工程では、
付加するコピー画素における隣接画素として、前記着目分割画像データの端部の異なる位置の画素を用い、
前記符号化工程では、
前記着目分割画像データにおける着目画素ブロックに対して、複数の量子化パラメータの中から目標符号量となる１つを決定し、決定した量子化パラメータに基づき前記着目画素ブロックの量子化を行い、符号化を行う
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
画像データを符号化する画像処理装置の制御方法であって、
符号化対象の画像データを、複数の分割画像データに分割する分割工程と、
前記分割工程で得た着目分割画像データのサイズを符号化処理の単位となる画素ブロックの整数倍とするため、不足分の画素を前記着目分割画像データからコピーし、コピーして得たコピー画素を前記着目分割画像データに付加する付加工程と、
該付加工程によるコピー画素が付加された前記着目分割画像データを、前記画素ブロックを単位に符号化する符号化工程とを有し、
前記符号化工程は、
前記着目分割画像データにおける着目画素ブロックが、前記コピー画素を含むか否かを判定する判定工程を有し、
該判定工程により、前記着目画素ブロックが前記コピー画素を含まないと判定された場合、複数の量子化パラメータの中から目標符号量となる１つを決定し、決定した量子化パラメータに基づき前記着目画素ブロックの量子化を行って符号化し、
前記判定工程により、前記着目画素ブロックが前記コピー画素を含むと判定された場合、前記着目画素ブロックに隣接する符号化済みの画素ブロックが用いた量子化パラメータを参照して前記着目画素ブロックの量子化を行って符号化する
ことを特徴とする画像処理装置の制御方法。
【請求項１１】
コンピュータに読み込ませ実行させることで、前記コンピュータに請求項９又は１０に記載の方法が有する各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データの符号化技術に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の画像処理装置では、撮像素子の多画素化や動画像の高フレームレート化などが進み、処理するデータ量が増大している。その対策の一つとして、画像圧縮技術が知られている。特許文献１は、符号化対象の画像データを、符号化単位である複数のブロックに分割し、各ブロックごとに量子化パラメータを変えて圧縮処理を行うことで、符号量が所定の値以下かつ画質劣化が小さくする技術を開示している。
【０００３】
一方、画像処理回路においては、フィルタ処理等で必要なラインメモリの回路規模を削減するために、画像を複数の領域に分割して処理を行うことがあるが、その分割画像のサイズは画像処理回路に応じて変化させる必要がある。そのため、画像処理回路の都合により決まる分割画像のサイズが、圧縮処理のブロックと同じになるとは限らない。このような場合には、分割画像サイズに応じて圧縮処理のブロック単位を可変にすることが考えられるが、可変にするための回路規模などのコストが大きくなってしまう。これに対し、圧縮処理のブロック単位を変えずに低コストで実現しようとした場合、圧縮処理のブロック単位に満たない領域では、画素を増加させる必要がある。特許文献２では、画像端の画素をコピーすることで圧縮処理のブロック単位の整数倍にする方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５５２４０７２号公報
【特許文献２】特開平７−７４９６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２の技術においては、単純に画像端の画素をコピーしているため、コピー画素が含まれるブロックの圧縮処理とコピー画素が含まれないブロックの圧縮処理とで量子化パラメータに差が生じてしまう。そのため、分割画像の境界付近で意図しない模様が現れてしまい、画質が劣化してしまうという問題があった。
【０００６】
本発明はこのような問題点に鑑みてなされたものであり、低コストで符号化を行うために分割画像サイズを圧縮符号化処理の符号化単位である画素ブロックの整数倍にしつつも、分割画像の境界付近での画質劣化を抑制する符号化データの生成技術を提供するものである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像処理装置は以下の構成を備える。すなわち、
画像データを符号化する画像処理装置であって、
符号化対象の画像データを、複数の分割画像データに分割する分割手段と、
前記分割手段で得た着目分割画像データのサイズを符号化処理の単位となる画素ブロックの整数倍とするため、不足分の画素を前記着目分割画像データからコピーし、コピーして得たコピー画素を前記着目分割画像データに付加する付加手段と、
該付加手段によるコピー画素が付加された前記着目分割画像データを、前記画素ブロックを単位に符号化する符号化手段とを有し、
前記付加手段は、
付加するコピー画素における隣接画素として、前記着目分割画像データの端部の異なる位置の画素を用い、
前記符号化手段は、
前記着目分割画像データにおける着目画素ブロックに対して、複数の量子化パラメータの中から目標符号量となる１つを決定し、決定した量子化パラメータに基づき前記着目画素ブロックの量子化を行い、符号化を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、低コストで符号化を行うために分割画像サイズを圧縮符号化処理の符号化単位である画素ブロックの整数倍にしつつも、分割画像の境界付近での画質劣化を抑制する符号化データを生成できる。
【図面の簡単な説明】
【０００９】
【図１】撮像装置の構成を示すブロック図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】画像処理部の画像処理を示すフローチャートである。
【図４】画像処理モジュール、画素コピー部の入出力を示す図である。
【図５】画素コピー方法の例を示す図である。
【図６】圧縮部の構成を示すブロック図である。
【図７】圧縮部の圧縮処理を示すフローチャートである。
【図８】量子化部の入出力関係を示す図である。
【図９】第２の実施形態の量子化パラメータの決定方法の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。
【００１１】
［第１の実施形態］
本第１の実施形態での画像処理装置は、撮像装置の一部に搭載されるものとして説明する。また撮像装置をデジタルカメラとして説明するが、デジタルビデオカメラ、スマートフォン、カメラ付き携帯電話、車載カメラ等の撮像機能を有する装置に採用することが可能であることを付言する。
【００１２】
第１の実施形態では、画像処理モジュールが出力する分割画像に対して、圧縮処理ブロック単位となるように追加するコピー画素間で、画素値に差分が生じるよう画素コピーする例を説明する。これにより、コピー画素を含むブロックの圧縮処理における量子化パラメータを、コピー画素を含まないブロックの圧縮処理における量子化パラメータに近づけ、分割画像の境界付近での画質劣化の抑制を図る。以下はその具体例である。
【００１３】
図１は本実施形態に係る撮像装置１００の構成を示すブロック図である。以下、図１について説明する。
【００１４】
撮像素子１０１は、受光した被写体像を電気信号に変換して出力する、ＣＣＤやＣＭＯＳセンサ等の受光素子である。Ａ／Ｄ変換器１０２は、撮像素子１０１からのアナログ出力信号をデジタル信号に変換する。撮像補正部１０３は、Ａ／Ｄ変換器１０２により変換された画像データに対して画素補正、黒レベル補正、シェーディング補正、傷補正などを行う。
【００１５】
画像処理部１０４は、撮像補正部１０３で処理された画像データ、或いは、不図示の画像バッファメモリやメモリ１１０に格納された画像データに対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、拡縮といったリサイズなどの処理を行う。
【００１６】
表示部１０５は、メモリ１１０に格納された画像データをモニタなどに表示する制御を行う。
【００１７】
データ転送部１０６は、データ転送を行う複数のＤｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓコントローラ（ＤＭＡＣ）で構成される。このＤＭＡＣには、メモリへの書き込みを行うＷｒｉｔｅＤＭＡＣ（ＷＲＤＭＡＣ）、メモリからの読み込みを行うＲｅａｄＤＭＡＣ（ＲＤＤＭＡＣ）が含まれる。撮像補正部１０３、画像処理部１０４で処理した画像データは、ＷＲＤＭＡＣによってバス１０８に出力し、メモリ制御部１０９を介してメモリ１１０に一時記憶される。メモリ１１０に一時記憶された画像データは、ＲＤＤＭＡＣによってメモリ１１０からメモリ制御部１０９を介してバス１０８に出力され、撮像補正部１０３、画像処理部１０４、表示部１０５、不図示のＳＤカード等の記録媒体に記憶する記憶処理部にデータを出力する。バス１０７はシステムバスであり、バス１０８はデータバスである。
【００１８】
メモリ制御部１０９は、システム制御部（ＣＰＵ）１１３或いはデータ転送部１０６からの指示に応じて、メモリ１１０へのデータを書き込み、メモリ１１０からのデータを読み出しを行う。なお、Ａ／Ｄ変換器１０２からの出力データがメモリ１１０に直接書き込まれる場合もある。
【００１９】
メモリ１１０は、データを記憶するメモリであり、ＤＲＡＭなどから構成され、所定枚数の静止画像や所定時間の動画像、音声等のデータを格納するのに十分な記憶容量を備える記憶装置である。
【００２０】
不揮発性メモリ制御部１１１は、システム制御部１１３からの指示に応じて、不揮発性メモリ１１２へのデータの書き込み、不揮発性メモリ１１２からのデータの読み出しを行う。不揮発性メモリ１１２は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１２には、システム制御部１１３の動作用の定数やパラメータ、プログラム等が記憶される。
【００２１】
システム制御部１１３は、撮像装置１００の動作制御を司るマイクロコンピュータ（ＣＰＵ）などで構成され、撮像装置を構成する各機能ブロックに対して様々な指示を行い、各種処理を実行する。システム制御部１１３は、バス１０７を介して接続された撮像補正部１０３、画像処理部１０４、表示部１０５、不図示の記憶処理部、メモリ制御部１０９、不揮発性メモリ制御部１１１、及び操作部１１４、撮像素子１０１を制御する。マイクロコンピュータの実行は、前述した不揮発性メモリ１１２に記録されたプログラムを実行することで、本実施形態の各処理を実現する。
【００２２】
操作部１１４は、ユーザーにより操作されるスイッチやボタン、或いはタッチパネル等を含み、電源のＯＮ／ＯＦＦ、シャッターのＯＮ／ＯＦＦ等の各種操作に使用される。
【００２３】
以上が本実施形態に係わる撮像装置１００の構成である。次に、本実施形態における画像処理部１０４の構成、及び、画素コピー、圧縮処理について詳細に述べる。
【００２４】
図２は、撮像装置１００と画像処理部１０４の一部の構成を示すブロック図である。同図のように、画像処理部１０４は、画像処理モジュール２０１、画素コピー部２０２、圧縮部２０３を有している。以下、図３のフローチャートに従って、処理内容を説明する。
【００２５】
ステップＳ３０１にて、システム制御部１１３は、実行する画像処理に応じて分割画像サイズを決定し、データ転送部１０６、及び、メモリ制御部１０９に対して指示を送る。ステップＳ３０１で画像処理の分割処理サイズが決定されると、処理はステップＳ３０２に進む。
【００２６】
ステップＳ３０２にて、データ転送部１０６及びメモリ制御部１０９は、システム制御部１１３からの指示に従って、メモリ１１０に一時記憶された画像データを分割処理サイズに分割して読み出す。メモリ１１０から読み出された分割画像はデータ転送部１０６を介して、画像処理モジュール２０１に供給される。
【００２７】
図４は、画像処理モジュール２０１、画素コピー部２０２の出力画像サイズを示したものである。本実施形態では、メモリ１１０に一時記憶された画像データ４０１を水平方向に３分割する例を示す。画像処理モジュール２０１には、データ転送部１０６から左端の分割画像４０２、中央の分割画像４０３、右端の分割画像４０４の順に供給される。各分割画像内の画素データの入力順序は、左端分割画像４０２内に図示した矢印のように、左から右に向かうライン単位で、このラインが上から下に向かう所謂ラスタースキャン順である。また、各分割画像境界に存在するオーバーラップ領域４０５は、画像処理モジュール２０１の画像処理内容（フィルタ処理）によって出力側有効画素を出力する上で必要となる余分画素である。なお、余分画素を必要としない場合は、オーバーラップ領域４０５は存在しない。
【００２８】
ステップＳ３０２で画像データの読み出しが行われると、処理はステップＳ３０３に進む。なお、本実施形態では、画像処理部１０４が処理する画像の分割数と分割画像サイズは、システム制御部１１３で算出するように説明したが、システム制御部１１３の処理負荷を軽減するために専用ハードウエアとしてもよい。
【００２９】
ステップＳ３０３にて、画像処理モジュール２０１はデータ転送部１０６から入力される分割画像に対して前述したような所定の画像処理を行う。画像処理モジュール２０１は単独もしくは複数の画像処理の組み合わせにより処理を行い、図４に示す分割画像４０６、４０８、４１１のように出力側の有効画素を、画素コピー部２０２に出力する。ステップＳ３０３で画像処理が行われると、処理はステップＳ３０４に進む。
【００３０】
ステップＳ３０４にて、画素コピー部２０２は画像処理モジュール２０１から入力した分割画像の水平画素数が、圧縮部２０３の処理画素数単位４１３の整数倍であるか否かを判定する。分割画像の水平画素数が圧縮部２０３の処理画素数単位４１３の整数倍である場合は、そのまま圧縮部２０３で圧縮処理が可能であるとして、処理をステップＳ３１０に進める。一方、分割画像の水平画素数が圧縮部２０３の処理画素数単位４１３の整数倍でない場合は、圧縮部２０３で圧縮処理が可能な画素数にするため、分割画像の端部に画素を付加する。このため、処理をステップＳ３０５に進める。ここで、圧縮部２０３の処理画素数単位４１３は、例えば水平３２画素、垂直１画素といったサイズの１つのブロックの画像である。
【００３１】
ステップＳ３０５で、画素コピー部２０２は、入力された分割画像が左端の分割画像で有るか否かを判定し、左端分割画像であれば、ステップＳ３０７に進み、左端分割画像でなければステップＳ３０６に進む。
【００３２】
ステップＳ３０６で、画素コピー部２０２は入力された分割画像が右端の分割画像で有るか否かを判定し、右端分割画像であればステップＳ３０８に進み、左端分割画像でなければステップＳ３０９に処理を進める。
【００３３】
ステップＳ３０７で、画素コピー部２０２は画像処理モジュール２０１から入力される左端分割画像４０６に対して、圧縮部２０３で処理が可能となるように、不足している画素数分のコピー画素４０７を左端に付加する。
【００３４】
ステップＳ３０８で、画素コピー部２０２は画像処理モジュール２０１から入力される右端分割画像４１１に対して、圧縮部２０３で処理が可能となるように、不足している画素数分のコピー画素４１２を右端に付加する。
【００３５】
ここで、左端分割画像４０６、右端分割画像４１１に対して画像データ４０１の両端にあたる方向にコピー画素を付加するのは、画像全体の画質への影響を極力抑えるためである。
【００３６】
ステップＳ３０９で、画素コピー部２０２は、画像処理モジュール２０１から入力される中央分割画像４０８に対して、圧縮部２０３で処理が可能となるように、不足している画素数分を二等分したコピー画素４０９、４１０を両端に付加する。
【００３７】
ここで、中央分割画像４０８に対して両端にコピー画素を付加するのは、圧縮部２０３の処理画素数単位４１３に含まれるコピー画素を分散し、少なくすることでコピー画素を含む圧縮処理とコピー画素を含まない圧縮処理との画質差を極力抑えるためである。
【００３８】
実施形態における画素コピー部２０２の分割画像に対するコピー画素の付加方法を図５を参照して説明する。画素コピー部２０２で行うコピー画素の付加は、図５（ｃ）に示すような、分割画像端の画素を単純に不足している画素数分だけ、同じ画素値を付加するのではなく、図５（ａ）、（ｂ）に示すように、隣接するコピー画素間で画素値に差分が生じ易いように行う。例えば、図５（ａ）は分割画像端部周辺の画素を折り返すように（逆順に）してコピー画素を付加する方法を示している。なお、図示では６個のコピー画素を付加する例であるが、Ｎ個のコピー画素を付加する場合には、分割画像の端部のＮ個の画素を逆順に並べて付加すればよい。また、図５（ｂ）は分割画像の端部に位置する２画素を交互に並べて付加する方法である。もちろんコピー画素の付加方法は前述の２方法に限られるものではなく、分割画像端周辺の２画素以上を用いて、連続するコピー画素における隣接画素間で画素値に差分が生じる易い方法であればよい。
【００３９】
ステップＳ３０７〜３０９で、各種画像処理後の画像データに対してコピー画素を付加すると、画素コピー部２０２は圧縮部２０３に画像データを出力し、処理はステップＳ３１０に進む。
【００４０】
ステップＳ３１０で、圧縮部２０３は画素コピー部２０２から入力される着目分割画像データを処理画素数（画素ブロック）単位ごとに圧縮符号化を行う。
【００４１】
次に、圧縮部２０３は、処理をステップＳ３１１に進め、すべての分割画像に対して処理が完了したか否かを判定する。すべての分割画像の処理が完了している場合は、この画像処理を終了する。一方、すべての分割画像の処理が完了していない場合は、圧縮部はＳ３０２に処理を戻し、ステップＳ３０２〜Ｓ３１０の処理を繰り返す。
【００４２】
ここで、図６〜図８を参照して、本実施形態における圧縮部２０３の圧縮符号化処理について詳細に説明する。本実施形態での圧縮処理は、処理画素数単位ごとに量子化パラメータを変えて目標とする符号量かつ画質劣化が小さくなるように圧縮を行うものを例として説明する。図６は、実施形態の圧縮部２０３の構成を示すブロック図である。圧縮部２０３は、量子化部６０１、量子化パラメータ決定部６０２、遅延部６０３、可変長符号化部６０４、データ多重化部６０５を有している。図７はステップＳ３１０の圧縮処理のフローチャートであり、図８は量子化処理における入出力関係を示したグラフである。
【００４３】
圧縮部２０３は圧縮処理を開始すると、ステップＳ７０１にて、量子化パラメータ決定部６０２が入力画像（符号化処理単位の着目画素ブロックが表す画像）に応じて目標符号量に最も近くなる量子化に用いるパラメータを決定する。量子化パラメータの決定は、例えば、予め設けられている複数の量子化パラメータにおいて後述する圧縮処理（仮符号化）を行い、目標符号量との差が最も小さくなる量子化パラメータを選択することで決定される。ステップＳ７０１で量子化パラメータが決定されると、処理はステップＳ７０２に進む。
【００４４】
ステップＳ７０２にて、量子化部６０１は、量子化パラメータ決定部６０２で決定された量子化パラメータに従って、入力データを量子化する。量子化部６０１は、例えば図８に示すように、入力された画像データを量子化パラメータに応じて、より小さいレンジのデータに変換する。曲線８０１は元の入力データの情報量を多く残すような量子化であり、量子化パラメータを変えて曲線８０２、８０３となるにしたがって、情報量の削減が多く行われることになる。ステップＳ７０２による量子化が行われると、処理はステップＳ７０３に進む。
【００４５】
ステップＳ７０３にて、可変長符号化部６０４は、量子化部６０１が出力する量子化データと、遅延部６０３によって遅延された量子化後のデータの差分値を入力する。遅延部６０３は１画素分の遅延を行うものであるので、可変長符号化部６０４は、隣接する量子後の画素値の差分を入力することになる。可変長符号化部６０４が符号化処理単位のデータを入力する際に、遅延部６０３にはゼロクリアされている。従って、符号化単位の先頭画素は、差分ではなく、量子化後の画素値が可変長符号化部６０４に供給される。
【００４６】
ステップＳ７０４にて、可変長符号化部６０４は入力される差分データに対して可変長の符号化を行い、更なる情報量の削減を行う。可変長符号化部６０４で行われる符号化は、例えばハフマン符号化やゴロム符号化などを使用して行う。ステップＳ７０４にて差分データの可変長符号化を行われると、処理はステップＳ７０５に進む。
【００４７】
ステップＳ７０５にて、データ多重化部６０５は、量子化パラメータ決定部６０２によって決定された量子化パラメータを表す情報と、可変長符号化部６０４で生成された符号化データ、最終的な符号データの符号長を処理画素数単位での圧縮データとして多重化する。量子化パラメータと符号長は、圧縮データを伸長する場合に必要な情報として圧縮処理単位の符号化データにヘッダ情報として付加される。ステップＳ７０５で、データの多重化が行われると、処理はステップＳ７０６に進む。
【００４８】
ステップＳ７０６では、分割画像内のすべての圧縮処理単位のデータに対して圧縮処理が完了したか否かを判定する。すべてのデータの圧縮処理が完了している場合は、圧縮処理を終了する。一方、すべてのデータの圧縮処理が完了していない場合は、ステップＳ７０１に戻りステップＳ７０１〜Ｓ７０５の処理を繰り返す。
【００４９】
上述したように、圧縮部２０３の圧縮処理では、量子化した画像データを隣接する画素間で取得した差分値を符号化し目標符号量に圧縮するため、量子化パラメータによって符号量を調節することになる。そのため、図５（ｃ）のようにコピー画素を端画素の単純コピーにすると、画素間の差分値がなくなり、符号化の際の符号量が小さくなる傾向にある。その結果、量子化により削減する情報量も小さくすることができるため、量子化パラメータも情報量の削減が小さいものが選択される。一方、コピー画素領域以外は隣接する画素間に相関はあるものの、少なからず差分は存在するため、端画素の単純コピー画素を含む圧縮処理と含まない圧縮処理で適用される量子化パラメータに隔たりが生じ、分割画像境界付近で圧縮データの画質異なる現象が発生する可能性がある。これに対して、本実形態で説明したように、隣接する画素間で画素値に差分が生じるように画素コピーをすることで分割画像境界での画質劣化を抑制することが可能となる。
【００５０】
以上説明したように、本実施形態の画素コピー部２０２は、画像処理モジュール２０１で処理する分割画像サイズが圧縮部２０３の処理画素数単位でない場合に、各分割画像に応じて隣接する画素の画素値に差分が生じるようにコピー画素を付加する。これにより、画像処理を行う分割画像サイズを圧縮処理の処理画素数単位にしなくても、コピー画素を含む圧縮処理の量子化パラメータをコピー画素を含まない圧縮処理の量子化パラメータに近づけることができるため、分割画像境界での画像劣化の抑制を図ることができる。
【００５１】
なお、本発明を第１の実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。例えば、本実施形態では圧縮部２０３での処理画素数単位を１次元の画素ブロックとして説明したが、垂直方向にも複数画素で構成される画素ブロック単位としてもよいし、画像データの分割も水平分割のみではなく、垂直にも分割し、垂直方向の画素コピーを行ってもよい。
【００５２】
また、図５（ａ），（ｂ）では分割画像の右端にコピー画素を付加する例を示したが、左端にコピー画素を付加する場合も同様である。また、分割画像４０３のように、左右の端部にコピー画素を付加する場合において、符号化処理単位の画素ブロックの整数倍とするために付加する画素数（不足分）が奇数となった場合には、左右端のいずれかを他方より１画素多くすれば良い。
【００５３】
［第２の実施形態］
次に、図９を参照して第２の実施形態に係る画像処理装置を説明する。第２の実施形態では、コピー画素を含むブロックの圧縮処理の場合に量子化パラメータの決定方法を変更する例を説明する。これにより、コピー画素を含むブロックの圧縮処理における量子化パラメータを、コピー画素を含まないブロックの圧縮処理における量子化パラメータに近づけ、分割画像の境界付近での画質劣化の抑制を図る。
【００５４】
本第２の実施形態の撮像装置、画像処理部、圧縮部の構成及び、画像処理の処理フローは第１の実施形態と同一であり、異なる部分のみを説明し、同一の部分についての説明は省略する。本第２の実施形態における第１の実施形態との差分は、画素コピー部２０２の画素コピー処理と、圧縮部２０３の量子化パラメータ決定部６０２の処理である。
【００５５】
第２の実施形態における画素コピー部２０２は、ステップＳ３０７、Ｓ３０８、Ｓ３０９にて、図５（ｃ）に示すような分割画像の端画素の単純な画素コピーを行い、圧縮部２０３で処理が可能となるように、不足している画素数分を水増しする。
【００５６】
次に、圧縮処理のステップＳ７０１で量子化パラメータ決定部６０２は、入力データがコピー画素を含むブロックか否かを判定し、量子化パラメータの決定方法を変更する。入力データがコピー画素を含まないブロックの場合、量子化パラメータ決定部６０２は実施形態１と同様にして、予め設けられている複数の量子化パラメータにおいて仮符号化を行い、目標符号量に最も近くなる量子化パラメータを選択して決定する。一方、入力データがコピー画素を含むブロックの場合、量子化パラメータ決定部６０２は近傍のコピー画素を含まないブロックの圧縮処理における量子化パラメータを使用して、量子化パラメータを決定する。
【００５７】
具体的例を図９を用いて説明する。図９は、本実施形態におけるコピー画素を含むブロックの量子化パラメータの決定方法を示す図である。ＱＰは、Ｑｕａｎｔｉｚａｔｉｏｎ  Ｐａｒａｍｅｔｅｒの略称であり、量子化パラメータを表す。例えば、コピー画素９０６を含むブロックの圧縮処理９０２における量子化パラメータは、直前に符号化済みとなったコピー画素９０６を含まないブロックの圧縮処理９０１における量子化パラメータＡを適用する。または、コピー画素９０６を含むブロックの圧縮処理９０５における量子化パラメータを、直前のコピー画素９０６を含まないブロックの圧縮処理９０４と、１ライン前の圧縮処理９０３の量子化パラメータＡ、Ｃから中間（又は平均）の量子化パラメータＢを求めて適用しても良い。
【００５８】
以上説明したように、本実施形態の量子化パラメータ決定部６０２は、コピー画素を含む圧縮処理の量子化パラメータを近傍のコピー画素を含まない圧縮処理の量子化パラメータを使用して決定する。これにより、画像処理を行う分割画像サイズを圧縮処理の処理画素数単位にしなくても、コピー画素を含む圧縮処理の量子化パラメータを、コピー画素を含まない圧縮処理の量子化パラメータに近づけることができるため、分割画像境界での画像劣化の抑制を図ることができる。
【００５９】
なお、本発明を第２の実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることは言うまでもない。
【符号の説明】
【００６０】
１０１…撮像素子、１０２…ＡＤ変換器、１０３…撮像補正部、１０４…画像処理部、１０５…表示部、１０６…データ転送部、１０９…メモリ制御部１０９、１１０…メモリ、１１３…システム制御部、２０１…画像処理部、２０２…画素コピー部、２０３…圧縮部
【図１】
2018182484.tif 000002
【図２】
2018182484.tif 000003
【図３】
2018182484.tif 000004
【図４】
2018182484.tif 000005
【図５】
2018182484.tif 000006
【図６】
2018182484.tif 000007
【図７】
2018182484.tif 000008
【図８】
2018182484.tif 000009
【図９】
2018182484.tif 000010