(57)【要約】      （修正有）【課題】送信側から、画素ブロックを単位に圧縮して伝送するシステムにおいて、受信側が送信側に対して、圧縮に係るパラメータを適応的に設定する。【解決手段】画像データを送信する画像送信部と、所定の伝送バスを介して接続された画像受信部とを含む画像伝送システムであって、画像送信部は、符号化対象の画像データ内の予め設定された複数の画素で構成される画素ブロックを、与えられた圧縮パラメータに従って圧縮符号化し、符号化データを画像受信部に送信する。画像受信部は、復号部により復号された第１の画素ブロックの画像データに基づき、これから画像送信部により送信される第２の画素ブロック用の圧縮パラメータを画像送信部に送信する。復号部は、画像送信部から受信した第２の画素ブロックの符号化データを、送信した第２の画素ブロック用の圧縮パラメータに従って復号する。【選択図】図１
2018006869.tif 000002
【特許請求の範囲】
【請求項１】
画像データを送信する画像送信部と、当該画像送信部に所定の伝送バスを介して接続され、画像データを受信する画像受信部とを含む画像伝送システムであって、
前記画像送信部は、
符号化対象の画像データ内の、予め設定された複数の画素で構成される画素ブロックを、与えられた圧縮パラメータに従って符号化する符号化手段と、
該符号化手段で得られた符号化データを前記画像受信部に送信する第１の送信手段とを有し、
前記画像受信部は、
前記画像送信部からの符号化データを受信する受信手段と、
受信した符号化データを復号する復号手段と、
前記復号手段による、第１の画素ブロックの復号の結果に基づき、これから前記画像送信部により送信される第２の画素ブロック用の圧縮パラメータを決定し、当該決定した圧縮パラメータを、前記第２の画素ブロック用の圧縮パラメータとして前記画像送信部に送信する第２の送信手段とを有し、
前記復号手段は、前記画像送信部から受信した前記第２の画素ブロックの符号化データを、前記送信した前記第２の画素ブロック用の圧縮パラメータに従って復号する
ことを特徴とする画像伝送システム。
【請求項２】
前記画像送信部は、符号化対象の画像データを発生するイメージセンサと一体となった半導体集積回路チップであることを特徴とする請求項１に記載の画像伝送システム。
【請求項３】
前記符号化手段は、
前記画素ブロックに含まれる各画素を量子化する際に用いる量子化係数を決定する量子化係数決定手段と、
決定した量子化係数に従って前記画素ブロックの各画素を量子化する量子化手段と、
前記量子化係数、並びに、前記量子化後の画素データを符号化する手段とを含み、
前記符号化手段からの符号化データは、前記符号化された量子化係数と前記符号化された画素データとを含む
ことを特徴とする特徴とする請求項１又は２に記載の画像伝送システム。
【請求項４】
前記圧縮パラメータは、前記量子化係数を符号化する際に参照する、予め設定された複数のテーブルの１つを特定する情報を含み、
前記第２の送信手段は、前記第１の画素ブロックを復号した結果として得られた、前記第１の画素ブロックの前記量子化係数に基づいて、前記複数のテーブルの１つを前記第２の画素ブロック用のテーブルとして決定することを特徴とする請求項３に記載の画像伝送システム。
【請求項５】
前記符号化手段は、
前記画素ブロックの各画素を量子化する量子化手段と、
量子化後の隣接する画素の差分をゴロム符号化するゴロム符号化手段と
を含むことを特徴とする特徴とする請求項１又は２に記載の画像伝送システム。
【請求項６】
前記圧縮パラメータは、前記ゴロム符号化手段が用いるパラメータｍを含み、
前記第２の送信手段は、前記復号手段により復号された、前記第１の画素ブロックの画像データに基づいて、前記第２の画素ブロックのための前記パラメータｍを決定することを特徴とする請求項５に記載の画像伝送システム。
【請求項７】
前記符号化手段は、
前記画素ブロックに含まれる各画素を量子化する際に用いる量子化係数を決定する量子化係数決定手段と、
決定した量子化係数に従って前記画素ブロックの各画素を量子化する量子化手段と、
前記量子化係数を符号化すると共に、前記量子化手段による量子化後の隣接する画素の差分をゴロム符号化するゴロム符号化手段とを含み、
前記圧縮パラメータは、
前記量子化係数を符号化する際に参照する、予め設定された複数のテーブルの１つを特定する情報、及び、前記ゴロム符号化で用いる符号化パラメータｍを含むことを特徴とする請求項１又は２に記載の画像伝送システム。
【請求項８】
前記量子化係数決定手段は、
前記画素ブロックに含まれる画素の分散、又は、画素値の最大値と最小値の差に基づいて量子化係数を決定することを特徴とする請求項３又は７に記載の画像伝送システム。
【請求項９】
前記第２の送信手段は、前記復号手段により復号された、前記第１の画素ブロックを含む所定数の画素ブロックの復号の結果に基づいて、これから前記画像送信部により送信される、前記第２の画素ブロックを含む前記所定数の画素ブロックに用いる圧縮パラメータを決定することを特徴とする請求項１から８の何れか１項に記載の画像伝送システム。
【請求項１０】
請求項１乃至９のいずれか１項に記載の画像伝送システムを実装した撮像装置。
【請求項１１】
画像データを送信する画像送信部と、当該画像送信部に所定の伝送バスを介して接続され、画像データを受信する画像受信部とを含む画像伝送システムの制御方法であって、
前記画像送信部は、
符号化対象の画像データ内の、予め設定された複数の画素で構成される画素ブロックを、与えられた圧縮パラメータに従って符号化する符号化工程と、
該符号化工程で得られた符号化データを前記画像受信部に送信する第１の送信工程とを有し、
前記画像受信部は、
前記画像送信部からの符号化データを受信する受信工程と、
受信した符号化データを復号する復号工程と、
前記復号工程により復号された第１の画素ブロックの画像データに基づき、これから前記画像送信部により送信される第２の画素ブロック用の圧縮パラメータを決定し、当該決定した圧縮パラメータを、前記第２の画素ブロック用の圧縮パラメータとして前記画像送信部に送信する第２の送信工程とを有し、
前記復号工程は、前記画像送信部から受信した前記第２の画素ブロックの符号化データを、前記送信した前記第２の画素ブロック用の圧縮パラメータに従って復号する
ことを特徴とする画像伝送システムの制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像伝送システム及びその制御方法及び撮像装置に関するものである。
【背景技術】
【０００２】
近年、デジタルビデオなどの撮像装置は、高解像度化、高フレームレート化に伴ってシステムで扱う画像データ量が著しく増加しており、画像メモリやバスインターフェース回路の高速化が必要となり、装置の高コスト化を招いている。
【０００３】
そこで、撮像素子や画像メモリ間等の、バスインターフェースの前後で画像データの圧縮符号化を行い、データ量を削減する事でバスの高速化を抑制する技術がある（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−４５１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、この特許文献１に開示の方式によれば、急峻なエッジ部分等の隣接画素データ間の差分値が所定閾値を超えた場合に、量子化により元の画素データビットを半分にする（例えば、１０ビットから５ビットにする）必要があり、画質劣化が大きくなるおそれがある。
【０００６】
本発明は上記課題に鑑みなされたものであり、送信側が画像を圧縮して伝送するシステムにて、受信側が送信側に対して圧縮に係るパラメータを適応的に設定することで、送信側における符号化に係る負担を軽減させ、効率の良い伝送を実現する技術を提供するものである。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の画像伝送システムは以下の構成を備える。すなわち、
画像データを送信する画像送信部と、当該画像送信部に所定の伝送バスを介して接続され、画像データを受信する画像受信部とを含む画像伝送システムであって、
前記画像送信部は、
符号化対象の画像データ内の、予め設定された複数の画素で構成される画素ブロックを、与えられた圧縮パラメータに従って符号化する符号化手段と、
該符号化手段で得られた符号化データを前記画像受信部に送信する第１の送信手段とを有し、
前記画像受信部は、
前記画像送信部からの符号化データを受信する受信手段と、
受信した符号化データを復号する復号手段と、
前記復号手段による、第１の画素ブロックの復号の結果に基づき、これから前記画像送信部により送信される第２の画素ブロック用の圧縮パラメータを決定し、当該決定した圧縮パラメータを、前記第２の画素ブロック用の圧縮パラメータとして前記画像送信部に送信する第２の送信手段とを有し、
前記復号手段は、前記画像送信部から受信した前記第２の画素ブロックの符号化データを、前記送信した前記第２の画素ブロック用の圧縮パラメータに従って復号することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、送信側から画素ブロックを単位に圧縮して伝送するシステムにて、受信側が送信側に対して圧縮に係るパラメータを適応的に設定することで、送信側における符号化に係る負担を軽減させ、効率の良い伝送を実現できる。
【図面の簡単な説明】
【０００９】
【図１】実施形態における画像処理装置のブロック構成図。
【図２】実施形態における圧縮部のブロック構成図。
【図３】実施形態における伸長部のブロック構成図。
【図４】実施形態における画素ブロックの説明図。
【図５】実施形態における画像送信部の処理を示すフローチャート。
【図６】実施形態における画像受信部の処理を示すフローチャート。
【図７】量子化係数のコード割り当ての説明図。
【図８】ゴロム符号長とｍ値との関係図。
【発明を実施するための形態】
【００１０】
以下図面に従って本発明に係る実施形態を詳細に説明する。
【００１１】
本実施形態における画像伝送システムは、ビデオカメラ等の撮像装置に実装されるものである。撮像装置において撮像される画像（動画）の画素数やフレームレートが高まると、イメージセンサ部から映像処理部へ伝送する画像データのデータ量は増える。そのため、それら間の伝送バスの帯域が圧迫される。本実施形態では、イメージセンサ部に圧縮機能を持たせて１チップ化し、伝送バスの帯域の圧迫を緩和させる例を説明する。
【００１２】
図１は、本実施形態の画像伝送システム１００のブロック構成図である。この画像伝送システム１００は、画像送信部１０１と画像受信部１０２とを含む。画像送信部１０１は、この画像送信部の制御を司る制御１５１をはじめ、撮像部１０３、圧縮部１０４、送信部１０５を含む。画像受信部１０２は、この画像受信部１０２の制御を司る制御部１６１をはじめ、受信部１０６、伸長部１０７、符号化部１０８、解析部１０９、バッファ１１０を含む。
【００１３】
撮像部１０３はイメージセンサを含み、不図示のレンズ等の光学系からの被写体光を受けて画像データを発生する。本実施形態では、撮像部１０３は、水平１９２０画素×垂直１０８０画素、６０フレーム枚秒（ｆｐｓ）の動画データを出力するものとする。圧縮部１０４は、撮像部１０３が発生した各フレームの画像データを圧縮符号化し、圧縮画像データを生成する。送信部１０５は、生成された圧縮画像データを画像受信部１０２へ伝送路（伝送バス）を介して伝送する。制御部１５１は、画像受信部１０２から圧縮パラメータを受信し、圧縮部１０４に受信した圧縮パラメータを設定することになる。
【００１４】
本実施形態では、画像送信部１０１は一つの半導体集積回路チップ（ＩＣチップ）として構成される。これより、イメージセンサの解像度が増えたとしても、その回路チップ外の伝送バスの帯域が圧迫されることを抑制できる。
【００１５】
圧縮画像データは、受信部１０６によって受信され、伸長部１０７へ供給される。伸長部１０７は、圧縮画像データを復号して画像データの情報量を伸長する。符号化部１０８は、伸長された画像データを、例えばＨ．２６４等の高能率符号化で符号化し、符号化データを生成する。この符号化データは、図示しない記録媒体に記録されることになる。
【００１６】
また、伸長部１０７で伸長処理を行う際に得られる情報が解析部１０９に伝送され、解析部１０９は、伸長時に得られる情報を解析して圧縮パラメータを決定し、圧縮パラメータをバッファ１１０に格納する。
【００１７】
バッファ１１０に格納された圧縮パラメータは、圧縮部１０４が圧縮処理を行う際に使用するために画像送信部１０１（制御部１５１）へ伝送される。また、伸長部１０７が伸長処理を行う際に使用するために伸長部１０７へも伝送される。
【００１８】
具体的には、例えば、画像送信部１０１はイメージセンサ・デバイスであり、画像受信部１０２は画像処理や高能率符号化処理を含む画像処理ＬＳＩであり、イメージセンサ・デバイ（画像送信部に相当）と画像処理ＬＳＩ（画像受信部）との間は所定の伝送バス、例えばＳｕｂ−ＬＶＤＳなどの高速インターフェースで接続されているものとする。
【００１９】
＜圧縮部の説明＞
以下、本実施形態の圧縮部１０４の動作について説明する。まず、圧縮部１０４が圧縮処理の単位とする画素ブロックについて図４を用いて説明する。
【００２０】
図４の太線は、画面全体（フレーム）を示しており、本実施形態における水平１９２０画素、垂直１０８０ラインの解像度をもつ画像としている。このフレームが示す画像データ内の水平方向に連続する６４画素を単位に分割する。そして、この水平６４画素を圧縮符号化の単位とする。以降、この圧縮処理の単位を画素ブロックと称する。図４ではＢ（ｘ，ｙ）と表している。なお、ｘは画素ブロックの水平座標、ｙは画素ブロックの垂直座標を示している。
【００２１】
また、本実施形態では、撮像部１０３はＡＤ変換器を有しており、各画素のデータを１２ビットのデジタルデータとして圧縮部１０４に出力する。即ち、本実施形態では、圧縮部１０４で圧縮される前の画像データにおける１画素は１２ビットとして説明する。また、本実施形態では、画素ブロックを水平方向に連続する画素としたが、これに限るものではなく、水平方向３２画素×垂直方向２ライン等の他の矩形であっても良い。
【００２２】
図２は、圧縮部１０４の構成例を示すブロック図である。撮像部１０３が発生した画像データは、遅延部２０６および量子化係数決定部２０２へ伝送される。以下、遅延部２０７、量子化係数決定部２０２に供給される画素ブロックを着目画素ブロックという。量子化部２０１は、量子化係数決定部２０２によって着目画素ブロックの量子化係数が決定されたことを受けて、着目画素ブロック内の各画素を量子化する。つまり、量子化決定部２０２が着目画素ブロックに対する量子化係数を決定するのに多少の時間が必要である。遅延部２０６を設けたのはかかる理由による。
【００２３】
量子化係数決定部２０２は、受信した着目画素ブロックを解析し、当該着目画素ブロックに含まれる６４画素を量子化する際の量子化係数を、予め用意された中から決定する（詳細後述）。そして、量子化係数決定部２０２は、決定した量子化係数を量子化部２０１、可変長符号化部２０５に供給する。
【００２４】
量子化部２０１は、遅延部２０６を介して受信した着目画素ブロックに含まれる各画素値を、量子化係数決定部２０２から入力した量子化係数で量子化する。そして、量子化部２０１は、量子化した画素値を遅延部２０３および減算器２０４へ出力する。この遅延部２０３は例えば１画素分だけ遅延させるものとする。
【００２５】
減算器２０４では、遅延部２０３から出力される量子化後の画素値から、量子化部２０１から出力された量子化後の画素値を減算して、これらの差分を取得し、可変長符号化部２０５へ出力する。いわゆるＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ：差分パルス符号変調）符号を算出している。なお、画素ブロックの最初（先頭）の画素については差分を算出しない（遅延部２０３の出力を０とすれば良い）ものとする。
【００２６】
可変長符号化部２０５は、減算器２０４が出力した差分値を、例えばゴロム符号化を利用して可変長符号化する。また、可変長符号化部２０５は、量子化係数決定部２０２から供給された量子化係数も可変長符号化する。そして、可変長符号化部２０５は、量子化係数の符号語と、それに後続するように量子化画素の差分値の符号化データ（実施形態ではゴロム符号化データ）を、送信部１０５に供給する。
【００２７】
次に実施形態における量子化係数決定部２０２による量子化係数の決定処理を説明する。
【００２８】
実施形態における量子化部２０１は、画素値を２nで除算することで量子化する。それ故、量子化係数決定部２０２が行う処理は、ｎを決定する処理ということもできる。
【００２９】
先に説明したように、実施形態における画像圧縮部１０４はＤＰＣＭを利用している。つまり、隣り合った画素の差分を符号化していることになる。差分が小さくなるのは、隣り合う画素の値が近似していることを意味し、符号量が少なくなる。そのため、量子化係数は小さくてよい。
【００３０】
逆に差分が大きい場合、量子化係数が小さいと量子化後の値も大きいままとなり、符号量が増えてしまう。発生符号量を抑えるためには量子化係数を大きくすることが必要となる。
【００３１】
上記の通りなので、量子化係数決定部２０２は、着目画素ブロック内の６４画素の分散を求め、その分散の大きさからｎを求めるようにした。実施形態におけるｎは０乃至７の範囲の整数とした。なお、分散を求める代わりに、演算を単純化するため、画素ブロック内の画素値の最大値と最小値との差を求め、その差からｎを決定するようにしても構わない。以降、この「ｎ」を量子化係数を決定するためのパラメータであるので、量子化係数パラメータと呼ぶ。また、前述のように、本実施形態では、量子化係数を２nとするので、実際の量子化の演算は、ｎの数だけ入力データをビットシフトする処理となる。即ち、ｎの値が１増えるごとに、量子化後のデータの有意ビット数が１だけ減ることになる。
【００３２】
次に、可変長符号化部２０５の可変長符号化について説明する。先に説明したように、実施形態における可変長符号化部２０５は、量子化係数決定部２０２が決定した量子化係数（上記の量子化係数パラメータｎ）、並びに、減算器２０４による差分の符号化を行う。そこで量子化係数の可変長符号化について説明する。
【００３３】
本実施形態では、量子化係数パラメータｎは先に説明したように０乃至７の８種類の中の１つである。図７（ａ）乃至（ｈ）に各量子化係数に対応する符号語の対応テーブルの一例を示している。量子化係数パラメータｎとその符号語の対応のさせ方が同図（ａ）乃至（ｈ）の８通りあり、その１つを割当番号で特定する。
【００３４】
圧縮部１０４の可変長符号化部２０５は、図７に示す対応テーブルを保持する記憶部２０５ａを有する。可変長符号化部２０５は、画像受信部１０２からの圧縮パラメータに含まれる割当番号に従って、量子化係数パラメータの符号化を行う。即ち、記憶部２０５ａに記憶された図７に示す対応テーブルのうち、画像受信部１０２からの圧縮パラメータに含まれる割当番号に対応するテーブルを読み出し、このテーブルに基づいて量子化係数を符号化する。例えば、着目画素ブロックの量子化係数パラメータｎが“２”であり、割当番号が「４」であった場合、可変長符号化部２０５は図７（ｅ）に基づき、「００１０」を量子化係数パラメータの符号語として生成する。図示の如く、同じ量子化係数パラメータであっても、割当番号によって符号長が異なる。これは、割当番号を適切にすれば、量子化係数パラメータｎを高い圧縮率で符号化できることを意味する。
【００３５】
次に、可変長符号化部２０５における、減算器２０４による差分のゴロム符号化について説明する。
【００３６】
ゴロム符号は符号化する値の絶対値が小さいほど符号語の符号長が短くなる符号化方法であり、符号化パラメータｍによって符号化する値に対する符号語の符号長の変化の度合いが変わるものである。図８は、ゴロム符号化において、入力値（横軸）に対して符号語の符号長（縦軸）を示したものである。符号化パラメータｍによって、ｍが小さいほど入力値の変化に対する符号長の変化が大きい傾向となる。つまり、同じ入力値であっても、符号化パラメータｍを適切にすれば、入力値を高い圧縮率で符号化できることを意味する。実施形態では、この符号化パラメータｍも図３の圧縮パラメータに含まれるものである。
【００３７】
以上のような実施形態における圧縮部１０４の処理フローを図５のフローチャートを用いて説明する。図５の処理は、画像送信部１０１の制御部１５１が各部を制御することにより実行される。
【００３８】
制御部１５１は、Ｓ５０１にて、画像受信部１０２から圧縮パラメータを受信したか否かを判定する。受信済みである場合（Ｓ５０１でＹＥＳ）、処理はＳ５０２に進み、制御部１５１は、受信した圧縮パラメータに含まれる割当番号、符号化パラメータｍを抽出し、可変長符号化部２０５に設定する。そして、処理をＳ５０４に進める。
【００３９】
一方、圧縮パラメータを受信していない場合（Ｓ５０１でＮＯ）は、制御部１５１は処理をＳ５０３へ進め、割当番号、量子化パラメータそれぞれを、予め設定した値で初期化し、可変長符号化部２０５に設定する。なお、本実施形態では、圧縮パラメータが受信できない場合に、あらかじめ定めた初期値を用いるようにしているが、例えば、直前の画素ブロックの圧縮符号化時に用いた割当番号、符号化パラメータを継続して使用してもよい。
【００４０】
上記のようにしているには、一般的に、撮像部は一定の速度で各画素の画像データを出力するため、圧縮処理などの後段処理の都合で撮像部の動作を一時的に止めることはできないためである。つまり、何らかの都合で割当番号が受信できなかった場合でも、圧縮処理を進めるようにしている。
【００４１】
Ｓ５０４にて、制御部１５１は、量子化係数決定部２０２に量子化係数パラメータｎを決定させ、可変長符号化部２０５に割当番号に従って量子化係数パラメータｎを符号化させる。
【００４２】
次に、Ｓ５０５にて、制御部１５１は、量子化部２０１に対して、決定した量子化係数パラメータｎに従った量子化処理を実行させる。そして制御部１５１は、Ｓ５０６にて、可変長符号化部２０５に対し、符号化パラメータｍに従ったゴロム符号化処理を実行させる。
【００４３】
そして、Ｓ５０７にて、制御部１５１は、符号化処理した画素ブロックが最後の画素ブロックか否かを判断し、最後の画素ブロックである場合（Ｓ５０７でＹＥＳ）は処理を終了する。一方、最後の画素ブロックではない場合（Ｓ５０７でＮＯ）は、Ｓ５０１へ戻り、制御部１５１は次の画素ブロックの圧縮符号化処理を行う。ここでは、画像受信部１０２から圧縮処理の終了指示、或いは、撮影処理の終了の指示があった時点で送信中のフレームの最後の画素ブロックを、Ｓ５０７における最後の画素ブロックとする。
【００４４】
上記の結果、圧縮部１０４は、着目画素ブロックの符号化データとして、量子化係数パラメータｎの符号化データ、並びに、量子化後の画素値の符号化データを生成することになる。そして、これらが送信部１０５を介して、画像受信部１０２に供給されることになる。
【００４５】
＜伸長部の説明＞
次に、実施形態における画像受信部１０２における伸長部１０７を説明する。図３は、実施形態における伸長部１０７のブロック構成図である。
【００４６】
可変長復号部３０１は、図７に示すテーブルを記憶する記憶部３０１ａを有する。そして、可変長復号部３０１は、入力された圧縮画像データに多重されている量子化係数パラメータと画素データそれぞれの符号化データを分離し、それぞれを復号する。量子化係数パラメータを復号する際は、割当番号から１つのテーブルを特定し、そのテーブルを用いて復号する。そのため、可変長復号部３０１は、画像送信部１０１に供給した圧縮パラメータと同じ情報をバッファ１１０から読み出す。そして、可変長復号部３０１は、復号した量子化パラメータｎを逆量子化部３０３、及び、量子化部３０４に供給する。また、可変長復号部３０１は、量子化された差分画素値を順に加算器３０２に供給する。
【００４７】
逆量子化部３０３は、量子化された状態の画素値に、可変長復号部３０１で復号した量子化係数パラメータｎから決定される逆量子化係数２nを乗算することで、元の１画素当たり１２ビットの画素値に復元して出力する。また、復元された画素値は、量子化部３０４で、量子化係数２nで除算し、遅延部３０５に格納する。遅延部３０５は１画素分だけ画素値を遅延させることで、加算器３０２による１画素前の画素値して供給することになる。なお、着目画素ブロックを復号するに先立ち、遅延部３０５はゼロクリアされるものとする。これは、着目画素ブロックの先頭画素を復号する際に、加算器３０２がゼロを出力させることで、着目画素ブロックの先頭画素が正しく復号するためである。
【００４８】
以下に実施形態における伸長部１０７の処理フローを図６のフローチャートを用いて説明する。なお、以下に説明する処理フローは、解析部１０９、およびバッファ１１０の処理も含んでいることに注意されたい。また図６の処理は、画像受信部１０２の制御部１６１が各部を制御することにより実行される。
【００４９】
制御部１６１は、まず、Ｓ６０１にて、画像送信部１０１から着目画素ブロックの符号化データを受信済みか否かを判断する。受信していない場合（Ｓ６０１でＮＯ）は、Ｓ６０１に戻り、符号化データの受信を待つ。一方、符号化データが受信されている場合（Ｓ６０１でＹＥＳ）、処理をＳ６０２へ進める。
【００５０】
Ｓ６０２にて、制御部１６１は、着目画素ブロックの次に伸長することになる後続画素ブロックの圧縮パラメータ（割当番号、量子化パラメータｍを含む）を、バッファ１１０から読み出し、画像送信部１０１に送信する。
【００５１】
なお、本実施形態では、説明を簡単にするため、次に受信する画素ブロックの圧縮パラメータを通知するようにしているが、２つ後や３つ後に受信する画素ブロック用の圧縮パラメータを送信してもよい。
【００５２】
また、制御部１６１は、符号化するに先立って、符号化対象の最初のライン上の３０個の画素ブロックＢ（０，０）乃至Ｂ（２９，０）用の、初期値としての圧縮パラメータをバッファ１１０に格納するものとする。また、制御部１６１は、遅延部３０５にも初期値“０”を設定する。
【００５３】
制御部１６１は、Ｓ６０３にて、受信した着目画素ブロック用の圧縮パラメータを、バッファメモリ１１０から読み出す。そして制御部１６１は、可変長復号部３０１に対して、圧縮パラメータに含まれる割当番号を参照し、量子化係数パラメータｎを復号させる。そして、制御部１６１は、その量子化係数パラメータｎを、逆量子化部３０３、量子化部３０４に設定する。逆量子化部３０３、量子化部３０４はそれぞれ量子化パラメータｎを用いて逆量子化、量子化を行うことになるが、簡単にはｎビットシフト処理を行う。また、可変長復号部３０１は、復号した量子化係数を解析部１０９に送る。
【００５４】
制御部１６１は、Ｓ６０４にて、受信した着目画素ブロックの符号化画素データを復号する。具体的には、可変長復号部３０１が差分量子化画素データを復号し、加算器３０２に供給する。加算器３０２は、直前に復号した量子化画素データと差分量子化画素データとを加算し、量子化画素データとして逆量子化部３０３に供給する。逆量子化部３０３は、加算器３０２から入力した量子化画素データを逆量子化し、画素データとして符号化部１０８、量子化部３０４に出力する。逆量子化部３０４は、画素データを逆量子化し、復号済みの画像データとして符号化部１０８に出力すると共に、後続画素の復号に備えて、その量子化後の画素データを量子化遅延部３０５に格納する。また、逆量子化部３０３は、逆量子化した画像データを解析部１０９にも出力する。
【００５５】
制御部１６１は、解析部１０９を制御し、可変長復号部３０１からの量子化係数と逆量子化部３０３からの画像データとに基づいて復号して得られた着目画素ブロックから、この着目画素ブロックの下に位置する未受信の画素ブロックの圧縮パラメータを決定し、決定した圧縮パラメータをバッファ１１０に格納する（Ｓ６０５）。かかる点をより詳しく説明する。
【００５６】
図４から、着目画素ブロックをＢ（ｉ，ｊ）と定義したとき、下に位置する画素ブロックはＢ（ｉ，ｊ＋１）と定義できる。画素ブロックＢ（ｉ，ｊ）とＢ（ｉ，ｊ＋１）は互いに隣接していることから、画素ブロックＢ（ｉ，ｊ＋１）は着目画素ブロックＢ（ｉ，ｊ）と近似する蓋然性が高いと推定できる。そこで、解析部１０９は、図７に示す対応テーブルのうち、復号された着目画素ブロックの量子化係数パラメータｎの符号語が最短になる対応テーブルの割り当て番号を検出し、この割り当て番号を、復号された着目画素ブロックの下の画素ブロックの割り当て番号として決定する。例えば、今回復号された、着目画素ブロックの量子化係数パラメータｎが５である場合、図７（ａ）乃至（ｈ）うち、量子化係数パラメータ５の符号長が最短になるのは図７（ｆ）の割当番号５の対応テーブルである。そのため、この割り当て番号５を、今回復号された、着目画素ブロックの下の画素ブロックの量子化係数パラメータの割り当て番号として決定し、バッファ１１０に格納する。
【００５７】
なお、ここでは、一つの着目画素ブロックを復号する毎に、この着目画素ブロックの下の画素ブロックの量子化係数パラメータの割り当て番号を決定しているが、これ以外の構成としてもよい。例えば、１ライン分の復号後の画素ブロックの量子化係数パラメータの平均値を求め、次の１ライン分の画素ブロックの量子化係数パラメータの割り当て番号として用いることも可能である。この場合、１ライン単位で画素ブロックの量子化係数パラメータの割り当て番号が決定され、バッファ１１０に格納された後、画像送信部１０１に送られる。また、隣接する複数の復号後の画素ブロックの量子化係数に基づき、これら複数の画素ブロックの下に隣接する画素ブロックの量子化係数パラメータの割り当て番号を決定する構成も可能である。更に、複数ライン分、或いは１画面分の復号後の画素ブロックの量子化係数の平均値に基づき、次の複数ライン分、或いは、次の画面の画素ブロックの量子化係数パラメータの割り当て番号を決定する構成でもよい。この場合、量子化係数パラメータの割り当て番号は、複数ライン毎、或いは、１画面ごとに画像送信部１０１に送られる。このように、受信された所定数の画素ブロックを含む第１の単位を復号した結果の、量子化係数パラメータに基づいて、画像送信部１０１によりこれから符号化され、送信される、所定数の画素ブロックを含む第２の単位のための量子化係数パラメータを決定する。そして、所定数の画素ブロックを単位として量子化係数パラメータを画像送信部１０１に送信する。
【００５８】
更に、解析部１０９は、着目画素ブロックの復号済みの画素データに基づき、符号化パラメータｍを変えながら、圧縮部１０４と同様にゴロム符号化を行い、着目画素ブロックの総符号量が最小となる量子化パラメータｍを求める。そして、決定した符号化パラメータｍを、今回復号した着目画素ブロックの下の画素ブロックの符号化パラメータｍとしてバッファ１１０に格納後、画像送信部１０１に送る。なお、符号化パラメータｍについても、量子化係数パラメータの割り当て番号と同じく、複数の画素ブロック単位や、ライン単位、複数ライン単位、画面単位で解析部１０９により決定し、画像送信部１０１に送信するようにしてもよい。
【００５９】
解析部１０９は、上記のようにして求めた｛割当番号、量子化パラメータｍ｝を、画素ブロックＢ（ｉ，ｊ＋１）用の圧縮パラメータとしてバッファ１１０に格納する。
【００６０】
要するに、解析部１０９は、今回復号された画素ブロックの復号の結果（第１の画素ブロック）から、画像送信部がこれから圧縮して送信する画素ブロック（第２の画素ブロック）を圧縮符号化すると仮定した場合の符号量が最小となる圧縮パラメータを決定する。
【００６１】
伸長部１０７は、Ｓ６０６にて、着目画素ブロックが符号化対象の画像データの最後の画素ブロックであったか否かを判定し、否の場合には処理をＳ６０１に戻す。
【００６２】
以上説明したように本実施形態によれば、画像送信部１０１から画像受信部１０２へ送信される画像データが効率よく圧縮符号化されることにより、これらの間の伝送バスの帯域が圧迫されることを抑制できる。今後、撮像解像度は益々増えることが予想される。実施形態の画像送信部１０１のようにイメージセンサと一体のＩＣ回路として実装するような環境では、その効果が大きい。
【００６３】
一般に、画像送信部に相当するイメージセンサ・デバイスには大規模な回路を混載することは難しい。しかしながら上記実施形態を適用することにより、イメージセンサ側の論理回路の規模を肥大化させることなく、圧縮効率が高い圧縮を実施することができる。
【００６４】
なお、上記実施形態では、画素ブロックを水平方向に連続する６４画素データとして説明したが、これは一例である。１ブロックを、水平方向ｈ画素、垂直方向ｖ画素のｈ×ｖ画素と一般化できるものである。
【００６５】
また、上記実施形態では、画像受信部１０２が画像送信部１０１に送信する圧縮パラメータが、量子化係数パラメータｎ、符号化パラメータｍを含むものとして説明したが、何れか一方でも良い。一方にした場合の符号化効率は、両方を採用した場合よりも下がるものの、実装が容易にできるというメリットがある。
【００６６】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６７】
１０１…画像送信部、１０２…画像受信部、１０３…撮像部、１０４…圧縮部、１０５…送信部、１０６…受信部、１０７…伸長部、１０８…符号化部、１０９…解析部１０９、１１０…バッファ
【図１】
2018006869.tif 000003
【図２】
2018006869.tif 000004
【図３】
2018006869.tif 000005
【図４】
2018006869.tif 000006
【図５】
2018006869.tif 000007
【図６】
2018006869.tif 000008
【図７】
2018006869.tif 000009
【図８】
2018006869.tif 000010