(57)【要約】【課題】より遅延時間が少なく迅速な処理を行えるディジタル画像無線伝送装置及びその画像データ処理方法等とする事を目的とする。【解決手段】撮像画像の画像データを圧縮してディジタル無線伝送するディジタル画像無線伝送装置であって、撮像画像の画像データの一フレームに対応する容量より小さい記憶容量を有し、撮像画像の画像データを、一フレームの一部を構成する独立して圧縮処理可能な最小単位領域ごとに、順次一時記憶する一時記憶部と、一時記憶部から、最小単位領域ごとに読み出す画像データを、順次圧縮処理する画像圧縮処理部と、画像圧縮処理部が圧縮処理する画像データを蓄える送信用バッファと、送信用バッファから読み出す画像データを、順次固定の伝送レートで送信する送信部とを備えるディジタル画像無線伝送装置とする。【選択図】図１
2009135836.tif 000002
【特許請求の範囲】
【請求項１】
画像データを圧縮してディジタル無線伝送するディジタル画像無線伝送装置であって、
前記画像データの一フレームに対応する容量より小さい記憶容量を有し、前記画像データを、前記一フレームの一部を構成する圧縮処理可能な最小単位領域ごとに、順次一時記憶する一時記憶部と、
前記一時記憶部から、前記最小単位領域ごとに読み出す前記画像データを、順次圧縮処理する画像圧縮処理部と、
前記画像圧縮処理部が圧縮処理した前記画像データを蓄える送信用バッファと、
前記送信用バッファから読み出す前記画像データを、順次固定の伝送レートで送信する送信部と、
を備えることを特徴とするディジタル画像無線伝送装置。
【請求項２】
請求項１に記載のディジタル画像無線伝送装置において、
前記一時記憶部は、
前記画像データの一フレームのうち前記最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、前記画像データを前記一フレームの一部を構成する前記最小単位領域ごとに、順次一時記憶する一時記憶部であり、
前記画像圧縮処理部は、
前記一時記憶部に記憶される前記最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の画像データから、前記最小単位領域ごとに読み出す画像データを、順次圧縮処理する画像圧縮処理部である
ことを特徴とするディジタル画像無線伝送装置。
【請求項３】
請求項２に記載のディジタル画像無線伝送装置において、
前記画像圧縮処理部と前記送信用バッファとをそれぞれ含む第一及び第二の処理ラインを備え、
前記第一及び第二の処理ラインは、各々前記最小単位領域が有する複数の輝度ブロックを半数ずつ各々処理すると共に、前記最小単位領域が有する複数の色差ブロックを半数ずつ各々処理する処理ラインであり、
前記送信部は、前記第一及び第二の処理ラインで処理されたデータを送信する送信部である、
ことを特徴とするディジタル画像無線伝送装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載のディジタル画像無線伝送装置において、
前記送信部は、音声信号の伝送を企図して定められた固定伝送レートによってデータを送信する送信部である、
ことを特徴とするディジタル画像無線伝送装置。
【請求項５】
画像データを圧縮してディジタル無線伝送するための画像データ処理方法であって、
前記画像データの一フレームの一部を構成する圧縮処理可能な最小単位領域ごとに、順次一時記憶部へ記憶する一時記憶工程と、
前記一時記憶工程における前記一時記憶部の記憶量が前記一フレーム相当分となるより前に、前記一時記憶部の画像データを前記最小単位領域ごとに、順次読み出して圧縮処理する画像圧縮処理工程と、
を有することを特徴とするディジタル無線伝送するための画像データ処理方法。
【請求項６】
請求項５に記載するディジタル無線伝送するための画像データ処理方法において、
前記一時記憶部は、
前記画像データの一フレームのうち前記最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、
前記画像圧縮処理工程は、
前記一時記憶工程で記憶する前記最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の画像データから、前記最小単位領域ごとに読み出す画像データを、順次圧縮処理する工程である
ことを特徴とするディジタル無線伝送するための画像データ処理方法。
【請求項７】
画像データを圧縮してディジタル無線送信する送信装置と、前記送信装置が送信する画像データを受信して伸長処理する受信装置とを備えるディジタル画像無線送受信システムであって、
前記送信装置は、
前記画像データの一フレームのうち前記最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、前記画像データを、前記一フレームの一部を構成する圧縮処理可能な最小単位領域ごとに、順次一時記憶する一時記憶部と、
前記一時記憶部に記憶される前記最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の画像データから、前記最小単位領域ごとに読み出す前記画像データを、順次圧縮処理する画像圧縮処理部、並びに前記画像圧縮処理部が圧縮処理した前記画像データを蓄える送信用バッファをそれぞれ含む第一及び第二の処理ラインと、
前記第一及び第二の処理ラインで処理された画像データを順次固定の伝送レートで送信する送信部と、を備え
前記第一及び第二の処理ラインは、前記最小単位領域が有する複数の輝度ブロックを半数ずつ各々処理すると共に、前記最小単位領域が有する複数の色差ブロックを半数ずつ各々処理する処理ラインである送信装置であり、
前記受信装置は、
前記送信装置から送信される圧縮された画像データを受信する受信部と、
前記受信部で受信する前記画像データを蓄える受信用バッファ、並びに前記受信用バッファから読み出す前記画像データを順次伸長処理する画像伸長処理部をそれぞれ含む第一及び第二の受信側処理ラインと、
前記最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、前記第一及び第二の受信側処理ラインで処理された前記画像データを、前記最小単位領域ごとに、順次一時記憶する受信側一時記憶部と、を備え
前記第一及び第二の受信側処理ラインは、前記最小単位領域が有する複数の輝度ブロックを半数ずつ各々処理すると共に、前記最小単位領域が有する複数の色差ブロックを半数ずつ各々処理する処理ラインである受信装置である、
ことを特徴とするディジタル画像無線送受信システム。
【請求項８】
ディジタル無線送信される圧縮された画像データを受信して伸長処理するディジタル画像無線受信装置であって、
前記画像データを受信する受信部と、
前記受信部で受信する前記画像データを蓄える受信用バッファと、前記受信用バッファから読み出す前記画像データを順次伸長処理する画像伸長処理部とをそれぞれ含む第一及び第二の受信側処理ラインと、
前記画像データの一フレームの一部を構成する伸長処理可能な最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、前記第一及び第二の受信側処理ラインで処理された前記画像データを、前記最小単位領域ごとに、順次一時記憶する受信側一時記憶部と、を備え
前記第一及び第二の受信側処理ラインは、前記最小単位領域が有する複数の輝度ブロックを半数ずつ各々処理すると共に、前記最小単位領域が有する複数の色差ブロックを半数ずつ各々処理する処理ラインである
ことを特徴とするディジタル画像無線受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタル画像無線伝送装置及びディジタル画像無線伝送装置を用いてディジタル無線伝送するための画像データ処理方法等に関する。
【背景技術】
【０００２】
従来、動画像の画像データを圧縮して無線伝送する為の画像データ処理においては、いわゆる一こまに対応するフレームを基準とし、一般には一フレーム以上の単位で画像データ処理がされていた。
【０００３】
このような画像データ処理において、画像データ送信装置は、カメラから取り込む被写体の撮像画像の画像データを、入力信号インターフェースを介して、一旦フレームメモリに一時保存する。
【０００４】
フレームメモリでは、少なくとも一フレーム相当分の画像データが保存されるまで画像データを蓄積する。そして、画像データ送信装置は、蓄積した一フレーム相当分の画像データをフレームメモリから順次読み出し、画像データの圧縮処理を行っていた。
【０００５】
このため、従来の画像データ送信装置においては、カメラから順次読み出される撮像画像の画像データは、フレームメモリに一フレーム相当分の画像データが蓄積されるまでの間は、フレームメモリ内にて一時待機状態となっていた。
【０００６】
画像データが、フレームメモリ内に一時待機状態となる時間は、典型的には３０フレームパーセコンド（ｆｐｓ）のフレームレートであれば、おおよそ最大３３ミリ秒程度となることが予想される。
【０００７】
一方、例えば車両用後方確認カメラ等を典型例とする、現在の被写体像を撮像して表示する撮像システムにおいては、リアルタイムに遅滞なく迅速なカメラ画像の伝送が必要とされる。
【０００８】
従って、上述の一フレーム相当分の画像データ蓄積時間を含めた画像データの処理時間は、可能な限り短縮して遅滞のない画像データの送受信とする事が好ましい。しかし、一フレーム相当分を画像処理の基準とすることから、遅滞無く処理するには一フレーム相当の蓄積時間分に対応する限界があった。このような、画像データの処理例が、下記特許文献１に開示されている。
【特許文献１】特開２００７−１２４４０９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
従来のように、フレームメモリへ一フレーム相当分の画像データが一時記憶されるまでの間、カメラから取り込む撮像画像の画像データをフレームメモリ内に蓄積させることは、さらに迅速な処理を行う上での制限となる。
【００１０】
本発明は上述の観点に鑑みなされたものであり、より遅延時間が少なく迅速な処理を行えるディジタル画像無線伝送装置及びその画像データ処理方法等とする事を目的とする。
【課題を解決するための手段】
【００１１】
この発明にかかるディジタル画像無線伝送装置は、画像データを圧縮してディジタル無線伝送するディジタル画像無線伝送装置であって、画像データの一フレームに対応する容量より小さい記憶容量を有し、画像データを、一フレームの一部を構成する圧縮処理可能な最小単位領域ごとに、順次一時記憶する一時記憶部と、一時記憶部から、最小単位領域ごとに読み出す画像データを、順次圧縮処理する画像圧縮処理部と、画像圧縮処理部が圧縮処理した画像データを蓄える送信用バッファと、送信用バッファから読み出す画像データを、順次固定の伝送レートで送信する送信部とを備えることを特徴とする。
【００１２】
また、この発明にかかるディジタル画像無線伝送装置は、好ましくは一時記憶部が、画像データの一フレームのうち最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、画像データを一フレームの一部を構成する最小単位領域ごとに、順次一時記憶する一時記憶部であり、画像圧縮処理部は、一時記憶部に記憶される最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の画像データから、最小単位領域ごとに読み出す画像データを、順次圧縮処理する画像圧縮処理部であることを特徴とする。
【００１３】
また、この発明にかかるディジタル画像無線伝送装置は、さらに好ましくは画像圧縮処理部と送信用バッファとをそれぞれ含む第一及び第二の処理ラインを備え、第一及び第二の処理ラインは、各々最小単位領域が有する複数の輝度ブロックを半数ずつ各々処理すると共に、最小単位領域が有する複数の色差ブロックを半数ずつ各々処理する処理ラインであり、送信部は、第一及び第二の処理ラインで処理されたデータを送信する送信部であることを特徴とする。
【００１４】
また、この発明にかかるディジタル画像無線伝送装置は、さらに好ましくは送信部が、音声信号の伝送を企図して定められた固定伝送レートによってデータを送信する送信部であることを特徴とする。
【００１５】
また、この発明にかかる画像データ処理方法は、画像データを圧縮してディジタル無線伝送するための画像データ処理方法であって、画像データの一フレームの一部を構成する圧縮処理可能な最小単位領域ごとに、順次一時記憶部へ記憶する一時記憶工程と、一時記憶工程における一時記憶部の記憶量が一フレーム相当分となるより前に、一時記憶部の画像データを最小単位領域ごとに、順次読み出して圧縮処理する画像圧縮処理工程とを有することを特徴とする。
【００１６】
また、この発明にかかるディジタル無線伝送するための画像データ処理方法は、好ましくは一時記憶部が、画像データの一フレームのうち最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、画像圧縮処理工程は、一時記憶工程で記憶する最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の画像データから、最小単位領域ごとに読み出す画像データを、順次圧縮処理する工程であることを特徴とする。
【００１７】
また、この発明にかかるディジタル画像無線送受信システムは、画像データを圧縮してディジタル無線送信する送信装置と、送信装置が送信する画像データを受信して伸長処理する受信装置とを備えるディジタル画像無線送受信システムであって、送信装置は、画像データの一フレームのうち最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、画像データを、一フレームの一部を構成する圧縮処理可能な最小単位領域ごとに、順次一時記憶する一時記憶部と、一時記憶部に記憶される最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の画像データから、最小単位領域ごとに読み出す画像データを、順次圧縮処理する画像圧縮処理部、並びに画像圧縮処理部が圧縮処理した画像データを蓄える送信用バッファをそれぞれ含む第一及び第二の処理ラインと、第一及び第二の処理ラインで処理された画像データを順次固定の伝送レートで送信する送信部とを備え、第一及び第二の処理ラインは、最小単位領域が有する複数の輝度ブロックを半数ずつ各々処理すると共に、最小単位領域が有する複数の色差ブロックを半数ずつ各々処理する処理ラインである送信装置であり、受信装置は、送信装置から送信される圧縮された画像データを受信する受信部と、受信部で受信する画像データを蓄える受信用バッファ、並びに受信用バッファから読み出す画像データを順次伸長処理する画像伸長処理部をそれぞれ含む第一及び第二の受信側処理ラインと、最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、第一及び第二の受信側処理ラインで処理された画像データを、最小単位領域ごとに、順次一時記憶する受信側一時記憶部と、を備え、第一及び第二の受信側処理ラインは、最小単位領域が有する複数の輝度ブロックを半数ずつ各々処理すると共に、最小単位領域が有する複数の色差ブロックを半数ずつ各々処理する処理ラインである受信装置であることを特徴とする。
【００１８】
また、この発明にかかるディジタル画像無線受信装置は、ディジタル無線送信される圧縮された画像データを受信して伸長処理するディジタル画像無線受信装置であって、画像データを受信する受信部と、受信部で受信する画像データを蓄える受信用バッファと、受信用バッファから読み出す画像データを順次伸長処理する画像伸長処理部とをそれぞれ含む第一及び第二の受信側処理ラインと、画像データの一フレームの一部を構成する伸長処理可能な最小単位領域が垂直方向に有する画素数に対応する水平方向ライン分の記憶容量を有し、第一及び第二の受信側処理ラインで処理された画像データを、最小単位領域ごとに、順次一時記憶する受信側一時記憶部と、を備え、第一及び第二の受信側処理ラインは、最小単位領域が有する複数の輝度ブロックを半数ずつ各々処理すると共に、最小単位領域が有する複数の色差ブロックを半数ずつ各々処理する処理ラインであることを特徴とする。
【発明の効果】
【００１９】
本発明により、遅延時間を短縮してより迅速な処理を行うディジタル画像無線伝送装置及びその画像データ処理方法とできる。
【発明を実施するための最良の形態】
【００２０】
本実施形態で例示するディジタル画像無線伝送装置は、カメラで撮像する画像の画像データを圧縮処理した後、遠隔地へ無線伝送するディジタル画像無線伝送装置等である。
【００２１】
このディジタル画像無線伝送装置は、送信処理部が備える一時記憶部に蓄積される画像データが一フレーム相当分となる前に、画像データを一時記憶部からマクロブロック単位で読み出す。
【００２２】
ディジタル画像無線伝送装置の送信処理部は、記憶量が一フレーム相当分となる前に一時記憶部から読み出したマクロブロック単位の画像データについて、順次圧縮処理を開始する。
【００２３】
このため、一時記憶部は必ずしも一フレーム相当分の記憶容量を有する必要はない。また、一フレーム相当分の画像データを一時記憶部に蓄積する間、画像データを一時記憶部内に待機させる必要はない。
【００２４】
換言すれば、このディジタル画像無線伝送装置の送信処理部は、一フレームの蓄積時間に相当する期間を、より短い期間に短縮する事が可能となる。
【００２５】
これにより、画像データを圧縮処理した後に引き続いて、迅速に画像データを順次送信処理する事が可能となる。すなわち、フレームメモリでの一フレーム蓄積時間相当分の遅延時間を短縮するディジタル画像無線伝送装置を実現できる。
【００２６】
以下図面に基づいて、実施形態について説明する。
【００２７】
（第一の実施形態）
図１は、本発明の第一の実施形態にかかるディジタル画像無線伝送装置１００の送信処理部１１を説明するブロック概念図である。
【００２８】
図１に示すように、ディジタル画像無線伝送装置１００は、カメラ１０が撮像する被写体画像の画像データを送信処理部１１に取り込み、送信処理部１１で通信に適した所望の画像処理等を行った後、送信部１７から画像データを無線送信する。
【００２９】
ディジタル画像無線伝送装置１００の送信部１７は、無線モジュール等で構成されており高速でディジタル無線送信を行う。
【００３０】
また、送信処理部１１は、カメラ１０で撮像する被写体のリアルタイム画像データを送信部１７から遅滞なく送信可能なように、速やかに画像データの送信化処理を行う。
【００３１】
送信処理部１１は、ＣＣＤやＣＭＯＳの固体撮像素子を備えるカメラを典型例とするカメラ１０から出力されるアナログの画像データを入力する入力信号インターフェース１２を備える。
【００３２】
送信処理部１１は、入力信号インターフェース１２を介してアナログ画像データを取り込み、入力信号インターフェース１２がディジタル画像データへの変換等を行う。そして、送信処理部１１は、入力信号インターフェース１２がディジタル変換した画像データを一時記憶部１３に一旦蓄積する。一時記憶部１３は、従来、後述する図４に示すフレームメモリ４３等として構成されている記憶部に対応するものである。
【００３３】
一時記憶部１３は、カメラ１０で撮像する撮像画像の一フレームの一部分を構成する８×１５マクロブロック分、典型的には１２８ライン相当分の記憶容量を有する。
【００３４】
ここで、撮像画像は例えば、一フレーム又は一フィールドあたり２４０画素×２４０ラインの構成をとる。また、マクロブロックは、画像圧縮等の処理を行う場合の最小単位となる基本領域をいい、典型的には一マクロブロックは１６×１６画素の構成となる。すなわち、典型的には一マクロブロックは１６ラインを有する。
【００３５】
従って、撮像画像を一フレームあたり２４０画素×２４０ラインとすれば、一フレームあたり１５×１５個のマクロブロックを有することになる。送信処理部１１の一時記憶部１３は、おおよそ一フレームの半分に相当する８×１５個のマクロブロック相当分の記憶容量を有する。このため、一時記憶部１３への記憶蓄積に要する時間も、おおよそ半分となる。なお、この場合に一時記憶部１３は、水平方向にマクロブロック１５個分をマクロブロック１行分として垂直方向にマクロブロック８個分、すなわちマクロブロック８行分（画素１２８ライン相当分）の記憶容量である。
【００３６】
次に、送信処理部１１は、一時記憶部１３に一時記憶する画像データを読み出し、順次画像圧縮処理部１４で圧縮処理する。画像圧縮処理部１４は、例えばモーションＪＰＥＧ（Joint Photographic Coding Experts Group）等の圧縮方式により、圧縮処理を行ってもよい。
【００３７】
画像圧縮処理部１４で圧縮処理した画像データは、送信用バッファ１５に一旦蓄えられる。また、送信用バッファ１５は、一フレーム分の記憶容量を有するが、一フレーム相当分未満の記憶容量を有することとしてもよい。送信用バッファ１５は、例えば２０マクロブロック相当分程度の記憶容量を有することとできる。
【００３８】
次に、ディジタル画像無線伝送装置１００は、送信用バッファ１５に一旦蓄えた画像データを、送信インターフェース１６を介して送信部１７から無線送信する。送信部１７を構成する無線モジュールは、例えばインターＩＣサウンド（以下Ｉ２Ｓ）方式に対応させることが可能である。
【００３９】
Ｉ２Ｓ方式は、音声信号の伝送を企図して構築されたものであり、高い伝送レートを有する。Ｉ２Ｓ方式の伝送レートは、一ライン入力あたり毎秒１．５メガビット程度となる。従って、Ｉ２Ｓ方式の伝送レートは、例えば２ライン入力からの伝送であれば毎秒３．０メガビット程度となり、４ライン入力からの伝送であれば毎秒６メガビット程度となる。
【００４０】
送信部１７は、上述のように高い伝送レートを有する。そこで、送信インターフェース１６が、送信部１７の高い伝送レートに対応して、送信用バッファ１５から高い読み出しレートで画像データの読み出しを行う事が想定される。
【００４１】
従って、送信インターフェース１６が送信用バッファ１５から高い読み出しレートで画像データの読み出しを行うことで、送信用バッファ１５の画像データが枯渇する懸念が生じることとなる。
【００４２】
そこで、送信用バッファ１５において、画像データの読み出しがいわゆるリードオーバランとなり書き込みを追い越さないように、送信用バッファ１５にダミーデータを記憶させてもよい。ダミーデータを送信用バッファ１５にいわば詰め込む事で、送信用バッファ１５内に常に十分なデータが存在することとなる。
【００４３】
また、送信用バッファ１５にダミーデータを記憶させることで、送信部１７が高い伝送レートを維持したまま、送信用バッファ１５に一マクロブロック相当分の画像データが蓄積された時点で、送信用バッファ１５からデータの読み出しを開始できる。また、送信用バッファ１５は、画像圧縮処理部１４からの画像データを、所望の処理速度にて受け取ることとしても、送信用バッファ１５においてデータの枯渇が生じない。
【００４４】
なお、ディジタル画像無線伝送装置１００は、上述する各デバイス間に他のデバイス等を備えたり、や他の動作処理が為されることを排除するものではない。ディジタル画像無線伝送装置１００は、自明な範囲で各種処理装置や各種デバイス及びその動作処理を間挿したり、加減したりする構成とできる。
【００４５】
ここで、比較の為に図４を用いて、フレームメモリを用いて構成するディジタル画像無線送受信システム４００について簡単に説明する。
【００４６】
ディジタル画像無線送受信システム４００は、カメラ４０で取得する画像データを、送信処理部４１が備える入力信号インターフェース４２を介してフレームメモリ４３に一旦記憶する。画像圧縮処理部４４は、フレームメモリ４３から読み出した画像を、順次圧縮処理し送信用バッファ４５に出力する。
【００４７】
送信インターフェース４６は、送信用バッファ４５から画像データを読み出し、送信部４７へと入力し、送信部４７が無線送信を行う。
【００４８】
ディジタル画像無線送受信システム４００は、フレームメモリ４３において、カメラ４０で取得する画像の一フレーム分に相当する画像データを一旦蓄える。フレームメモリ４３が一フレーム分に相当する画像データを一時蓄えることで、その後の工程において、各種画像処理等を行う場合の処理とカメラ４０からの画像データの出力取り込みとの間で、適宜調整を行うことができる。また、ディジタル画像無線送受信システム４００は、フレームメモリ４３を備えることで、各種画像処理等を行う場合に、様々な処理や画像データの伝送を円滑に行うことができる。
【００４９】
一方、ディジタル画像無線送受信システム４００は、カメラ４０から順次読み出される画像データをフレームメモリ４３に一フレーム分蓄える工程において、必然的に一フレーム相当分蓄えるのに要する時間を費やすこととなる。ディジタル画像無線送受信システム４００が、一フレーム相当分に費やす時間は、例えば３０ｆｐｓの場合では最大３３ミリ秒程度となると予想される。
【００５０】
このため、ディジタル画像無線送受信システム４００よりもさらに迅速な被写体画像の伝送を行うことができるように、ディジタル画像無線伝送装置１００においては、フレームメモリ４３に代えて、８×１５マクロブロック（典型的には一フレームの１２８ライン）相当分の一時記憶部１３を備える構成とする。また、一時記憶部１３は、ラインメモリを典型例とするＲＡＭ等で構成することとできる。
【００５１】
ディジタル画像無線伝送装置１００は、一時記憶部１３に一フレーム相当分の画像データが蓄積される前に、画像圧縮処理部１４が一時記憶部１３から画像データを読み出し開始する。そして、画像圧縮処理部１４は、一時記憶部１３から読み出す画像データを順次圧縮処理する。
【００５２】
換言すれば、一時記憶部１３では、一フレーム相当分の画像データがカメラ１０から出力されるのを待たずに、画像圧縮処理部１４へと画像データを順次出力する。このため、一フレーム分の画像データが、蓄積されるのに要する時間に相当する時間を短縮できる。
【００５３】
一時記憶部１３が、一フレームの約半分程度の８×１５マクロブロック（典型的には一フレームの１２８ライン）相当分の画像データが蓄積された時点で、画像圧縮処理部１４へと画像データを出力開始すれば、蓄積に要する時間は一フレーム相当分の蓄積時間の半分程度となる。
【００５４】
次に、図３を用いてディジタル画像無線伝送装置１００の動作処理について説明する。図３は、ディジタル画像無線伝送装置１００の処理フローを示すフロー概念図である。
【００５５】
（ステップＳ３１）
ディジタル画像無線伝送装置１００は、被写体画像を撮像する指示があるかどうかを判断する。例えば、ディジタル画像無線伝送装置１００を車両用後方確認カメラとして構成する場合には、ディジタル画像無線伝送装置１００は、車両の運転者から撮像指示があったか若しくは車両が後退ギアに設定される事を検出する等により、撮像可否を判断する。
【００５６】
ディジタル画像無線伝送装置１００が画像を撮像する場合には、ステップＳ３２へと進む。また、ディジタル画像無線伝送装置１００が画像を撮像しない場合には、ステップＳ３１で待機する。
【００５７】
（ステップＳ３２）
ディジタル画像無線伝送装置１００のカメラ１０の電源をオンにして画像取り込みの準備立ち上げを行う。また、ディジタル画像無線伝送装置１００は、カメラ１０へ初期設定等が為されている場合には、初期値の設定作業等の初期化を行い画像取得に備える。
【００５８】
（ステップＳ３３）
ディジタル画像無線伝送装置１００のカメラ１０は、被写体画像の取り込みを開始する。例えば、カメラ１０がＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子から構成される場合には、カメラ１０は、被写体からの入射光を固体撮像素子で電気信号へと光電変換する。
【００５９】
（ステップＳ３４）
カメラ１０は、被写体からの光を光電変換して得られた電気信号を、入力信号インターフェース１２を介して順次出力する。典型的にはカメラ１０は、マクロブロックあたり１６×１６画素とするマクロブロックごとに画像データを出力する。
【００６０】
（ステップＳ３５）
送信処理部１１の一時記憶部１３は、カメラ１０から出力される画像データを、入力信号インターフェース１２を介してマクロブロックごとに順次記憶する。
【００６１】
（ステップＳ３６）
ディジタル画像無線伝送装置１００の送信処理部１１は、一時記憶部１３に蓄積される画像データが、所定の記憶容量となったかどうかを判断する。一時記憶部１３の記憶容量を８×１５のマクロブロック相当分（典型的には一フレームの１２８ライン相当分）とする場合には、８×１５のマクロブロック相当分画像データが記憶されたかどうかを判断する。
【００６２】
なお、一時記憶部１３は、例えばラインメモリ等により構成してもよい。一時記憶部１３をラインメモリとして構成する場合には、ラインメモリを２ブロック構成とし、同時に同じ記憶領域に対して書き込みと読み出しが重複することがないようにする。また、高速に読み出し書き込みする為にデュアルポート構成としてもよい。
【００６３】
一時記憶部１３に８×１５マクロブロック相当分の画像データが蓄積されていれば、ステップＳ３７へと進む。また、一時記憶部１３に８×１５マクロブロック相当分の画像データが蓄積されていなければ、ステップＳ３５へと戻る。
【００６４】
（ステップＳ３７）
ディジタル画像無線伝送装置１００の送信処理部１１は、一時記憶部１３の画像データを画像圧縮処理部１４へ伝送を開始する。ここで、送信処理部１１は、一時記憶部１３に一フレーム相当分の画像データが蓄積されていなくても、順次マクロブロック単位で画像圧縮処理部１４へ画像データを伝送する。
【００６５】
すなわち、一時記憶部１３は、ステップＳ３５における画像データの記憶開始から一フレーム分の蓄積時間が経過する前に、順次マクロブロック単位で画像圧縮処理部１４へと画像データを出力する。このため、ディジタル画像無線伝送装置１００は、ステップＳ３５における画像データの記憶開始から、画像データの出力開始までの間の時間を、蓄積に要する時間に応じて短縮することができる。
【００６６】
（ステップＳ３８）
画像圧縮処理部１４は、一時記憶部１３から読み出した画像データをマクロブロックごとに、順次圧縮処理する。
【００６７】
（ステップＳ３９）
送信処理部１１は、画像圧縮処理部１４で圧縮処理した画像データを、順次送信用バファ１５へと蓄積する。送信用バッファ１５は、必ずしも撮像画像の一フレームに対応する圧縮画像相当分の記憶容量を有する必要はない。
【００６８】
送信用バッファ１５の記憶容量の最適値は、送信部１７への出力伝送レートと画像圧縮処理部１４からの入力伝送レートとのバランス下で決定できる。送信部１７をＩ２Ｓ方式の高速伝送レートとする場合には、送信用バッファ１５は数十マクロブロック相当分の記憶容量とできる。典型的には送信用バッファ１５は、例えば２０マクロブロック相当分程度の画像データが蓄積された時点で、送信インターフェース１６へと画像データを出力できる。
【００６９】
（ステップＳ３ａ）
ディジタル画像無線伝送装置１００は、送信インターフェース１６を介して送信部１７により画像データを、順次送信処理する。
【００７０】
（ステップＳ３ｂ）
ディジタル画像無線伝送装置１００は、撮像を終了するかどうかを判断する。ディジタル画像無線伝送装置１００は、撮像を終了する場合にはステップＳ３ｃへと進む。また、ディジタル画像無線伝送装置１００は、撮像を終了しない場合にはステップＳ３３へと戻る。
【００７１】
（ステップＳ３ｃ）
ディジタル画像無線伝送装置１００は、車両の運転手の操作等に基づきカメラ１０の電源をオフにする。
【００７２】
上述するように、ディジタル画像無線伝送装置１００は、カメラ１０から順次読み出した画像データを、画像圧縮処理等の画像処理する前段階で、一フレーム分蓄える時間を要しない。このため、ディジタル画像無線伝送装置１００は、遅延を低減した迅速な画像データ伝送処理を行うことができる。
【００７３】
次に、ディジタル画像無線伝送装置１００の画像圧縮処理工程等を、並列化処理とするディジタル画像無線送受信システム２００について、第二の実施形態で説明する。
【００７４】
（第二の実施形態）
図２は、第二の実施形態にかかるディジタル画像無線送受信システム２００の構成を示すブロック概念図である。
【００７５】
ディジタル画像無線送受信システム２００の送信処理部２１は、上述のフレームメモリに代えて、入力信号インターフェース２２から画像データを入力される１６ライン分の一時記憶部２３を有する。一フレームを２４０×２４０画素で構成して一マクロブロックを１６×１６画素とする場合には、一時記憶部２３は、ちょうどマクロブロック一行分（マクロブロック１５個分）の記憶容量を有する。
【００７６】
また、ディジタル画像無線送受信システム２００の送信処理部２１は、画像圧縮処理部２４と送信用バッファ２５と送信インターフェース２６を含む第一の処理ラインを有する。また、ディジタル画像無線送受信システム２００の送信処理部２１は、画像圧縮処理部２８と送信用バッファ２９と送信インターフェース２ａを含む第二の処理ラインを有する。
【００７７】
なお、各送信用バッファ２５，２９は、典型的には圧縮された一フレーム分の画像データを、画像圧縮処理部２４，２８から伝送される順序に従い、順次記憶する。また、各送信用バッファ２５，２９は、１６ライン分の圧縮データが格納された時点で、各々送信インターフェース２６，２ａを介して画像データを読み出され送信を開始する。
【００７８】
ディジタル画像無線送受信システム２００は、一時記憶部２３に順次記憶する１６ライン相当分の画像データを、上述の第一と第二の処理ラインで８ライン相当分ずつ並列に処理することができる。
【００７９】
このため、ディジタル画像無線送受信システム２００の送信処理部２１は、画像処理工程の処理能力が実質的に２倍となり、これにより画像データ量あたりの処理時間は約半分となる。
【００８０】
第一と第二の処理ライン各々への画像データの割り振りについて、図５に示すマクロブロックの典型例を用いてさらに詳述する。図５（ａ）は、一フレームとマクロブロックとの典型的な関係を示す図である。また、図５（ｂ）は、一マクロブロックを構成する６つのブロックについて説明する図である。
【００８１】
図５（ａ）に示すように、カメラ２０で撮像する撮像画像の一フレーム（又は一フィールド）は、例えば２４０×２４０画素で構成される。そして、ディジタル画像無線送受信システム２００は、圧縮処理等の画像符号化処理等を行うに際し、一フレーム内の圧縮処理の最小領域に対応するマクロブロック（マクロブロックイントラ）ごとに処理を行う。すなわち、マクロブロックは、独立して画像圧縮処理が可能な最小の画像符号化領域であるといえる。典型的には、ＤＣＴ（Discrete Cosine Transform）を用いるＪＰＥＧ等を例示することができる。
【００８２】
図５（ａ）に示すように、マクロブロック５１は、例えば１６×１６画素として構成できる。また、図５（ａ）に示す例においては、マクロブロック５１が一フレームの中に、１５×１５個存在することとなる。画像データは、マクロブロック５１ごとに、水平方向に順次読み出される（図５（ａ）右方向）。水平方向にマクロブロック１５個分、すなわち水平方向１６ライン相当分の画像データが順次読み出されると、垂直方向に次（図５（ａ）下方向）のマクロブロック１５個分（マクロブロック二行目分）の画像データが、マクロブロックごとに順次（図５（ａ）左から右方向へ）読み出される。
【００８３】
また、図５（ｂ）に示すように、マクロブロック５１は、４つの輝度（Ｙ）ブロックと２つの色差ブロックとを有する。マクロブロック５１が有する４つの輝度ブロックは、Ｙ０，Ｙ１，Ｙ２，Ｙ３と記載する各々８×８画素で構成されるブロックである。また、マクロブロック５１が有する２つの色差（Ｃ）ブロックは、Ｃｂ５２，Ｃｒ５３と記載する各々８×８画素で構成されるブロックである。
【００８４】
ディジタル画像無線送受信システム２００の送信処理部２１は、第一の処理ラインと第二の処理ラインとの間で、画像データの偏りが少なくなるように、また処理データ量の均衡が図れるように、各処理ランに画像データを割り振る。
【００８５】
典型的には、ディジタル画像無線送受信システム２００の送信処理部２１は、第一の処理ラインにＹ０，Ｙ１の輝度データとＣｂ５２の色差データを処理させる。また、ディジタル画像無線送受信システム２００の送信処理部２１は、第二の処理ラインにＹ２，Ｙ３の輝度データとＣｒ５３の色差データを処理させる。なお、第一と第二の処理ラインで各々処理するブロックは、この例示に限られず、任意に割り当てるように設定してもよい。
【００８６】
これにより、４：１：１サンプリング画像データの画像圧縮処理に適するデータ構成とできる。また、輝度データＹ０，Ｙ１，Ｙ２，Ｙ３と色差データＣｂ５２，Ｃｒ５３との間に、データ量の不均衡が相当分存在する場合においても、第一の処理ラインと第二の処理ラインとで、ほぼ同等程度の処理データ量とできる。なお、圧縮処理後の画像データ量は、圧縮処理前の画像データに依存して多少異なるものであるが、上述の割り振りにより第一の処理ラインと第二の処理ラインとでほぼ同等程度の処理負荷とできる。
【００８７】
従って、一時記憶部２３からマクロブロック５１ごとに出力される画像データは、第一の処理ラインと第二の処理ラインとに割り振られて、各々の処理ラインで同時並列的に、かつ速やかに画像圧縮処理等所望の処理が為されることとなる。
【００８８】
なお、画像圧縮処理部２４，２８は、マクロブロックごとに、各々輝度（Ｙ）信号（２ブロック）と色差（Ｃ）信号（１ブロック）とを交互に処理できる。このため、量子化テーブルを切り替える必要がある場合には、対応する画像データの先頭領域（いわゆるヘッダー等）において、選択して適用する量子化テーブルを宣言する符号を付与してもよい。例えば、量子化テーブルは、予め設定する所定の量子化テーブルの中から、適宜選択することとしてもよい。
【００８９】
また、送信側で画像によっては画像データ量が大きくなることに対応して、量子化テーブルを大きく・粗くする場合には、フレームの先頭でマーカに宣言符号を付与し、粗くした程度に対応する量子化テーブルの情報を、受信側に送ることとできる。
【００９０】
また、送信部２７は、Ｉ２Ｓ方式により３メガビット毎秒程度の一定の高速伝送レートで、送信インターフェース２６，２ａから取得する画像データを順次送信する。従って、ディジタル画像無線送受信システム２００の送信処理部２１は、カメラ２０から取り込む画像データを、一時滞留させることなく迅速に処理できる。上述するように、ディジタル画像無線送受信システム２００は、圧縮処理した画像データを高速伝送レートで送信する。
【００９１】
なお、送信処理部２１のその他の構成や動作・処理については、ディジタル画像無線伝送装置１００で既に説明した内容と重複するので省略する。
【００９２】
次に、ディジタル画像無線送受信システム２００の受信処理部２ｃについて簡単に説明する。受信処理部２ｃは、送信処理部２１と同様の並列処理にて受信部２ｂで受信する画像データのデコード処理を順次行う。
【００９３】
受信処理部２ｃは、受信インターフェース２ｄと受信用バッファ２ｅと画像伸長処理部２ｆとを含む第一の受信処理ラインを有する。また、受信処理部２ｃは、受信インターフェース２ｉと受信用バッファ２ｊと画像伸長処理部２ｋとを含む第二の受信処理ラインを有する。
【００９４】
受信部２ｂで順次受信される画像データは、上述の第一の受信処理ラインと第二の受信処理ラインとに適宜割り振られ、各々の受信処理ラインにおいて同時並列処理される。すなわち、送信処理部２１の第一の処理ラインで処理された輝度データＹ０，Ｙ１と色差データＣｂ５２とは、例えば受信処理部２ｃの第一の受信処理ラインにてブロックごとに画像伸長処理等が為される。また、送信処理部２１の第二の処理ラインで処理された輝度データＹ２，Ｙ３と色差データＣｒ５３とは、例えば受信処理部２ｃの第二の受信処理ラインにてブロックごとに画像伸長処理等が為される。
【００９５】
そして、各々の受信処理ラインで処理された画像データは、１６ライン分の記憶容量を有する一時記憶部２ｇに、順次マクロブロックごとに記憶される。また、ディジタル画像無線送受信システム２００は、一時記憶部２ｇに一時記憶する画像データに、表示信号インターフェース２ｈ等を介して表示に適した処理を行う。また、ディジタル画像無線送受信システム２００は、表示信号インターフェース２ｈ等を介して処理した画像データを、表示部２ｌに画像として表示する。
【００９６】
このため、ディジタル画像無線送受信システム２００は、カメラ２０から取り込む画像データの遅延を低減した伝送を行うと共に、遅延を低減した表示部２ｌへの表示を実現する。従って、ディジタル画像無線送受信システム２００は、リアルタイム画像の低遅延表示に適しており、車両用後方確認システム等に特に好適である。
【００９７】
ここで、比較の為に図４を用いて、フレームメモリを用いて構成するディジタル画像無線送受信システム４００の受信処理部４９について簡単に説明する。
【００９８】
ディジタル画像無線送受信システム４００の受信処理部４９は、受信部４８で受信する画像データを受信インターフェース４ａを介して、一旦受信用バッファ４ｂに蓄積する。また、画像伸長処理部４ｃは、受信用バッファ４ｂに蓄積された画像データを伸長処理し、順次フレームメモリ４ｄに伝送する。
【００９９】
フレームメモリ４ｄは、一フレーム相当分の画像データを記憶するまで画像データの蓄積を続ける。表示信号インターフェース４ｅは、フレームメモリ４ｄに蓄積される一フレーム相当分の画像データを順次読み出し、表示部４ｆに画像を表示させる。
【０１００】
このため、ディジタル画像無線送受信システム４００においては、フレームメモリ４ｄにおいて、一フレーム相当分だけの蓄積時間を必要とすることとなる。換言すれば、ディジタル画像無線送受信システム４００は、一フレーム以上（又は一フィールド以上）の処理単位として、各々送信側での画像の圧縮と受信側での画像の伸長処理とを行う。このため、送信側と受信側との各側において、一フレーム相当分以上の遅延が生じる。
【０１０１】
一方、一フレーム相当分の蓄積時間が、例えば３３ミリ秒程度であったとしても、ディジタル画像無線送受信システム２００は、１６ライン相当分の１ミリ秒程度の蓄積時間とできるので迅速に処理することが可能である。
【０１０２】
また、ディジタル画像無線送受信システム２００は、画像サイズに依存せずレーテンシー（遅延量）を一定とでき、１６ライン相当分の一時記憶部２３，２ｇを用いた連続処理が可能となる。また、画像サイズが、例えば４００ラインあるいは４８０ライン等であっても同様の構成と処理とにできる。
【０１０３】
また、ディジタル画像無線送受信システム２００は、記憶容量の削減による送信処理回路等の小型化・省スペース化を実現できる。また、ディジタル画像無線送受信システム２００は、記憶容量の削減によるコスト低減も実現することができる。
【０１０４】
また、送信部２７は、Ｉ２Ｓ方式により、第一と第二の処理ラインから独立して同時並列的に入力される画像データを、順次送信処理することが可能である。すなわち、ディジタル画像無線送受信システム２００は、第一と第二の処理ラインによる並列処理を行いながら、送信用バッファ４５への書き込み調停回路等による画像データの調整を必要としない。従って、ディジタル画像無線送受信システム２００は、シンプルで低コストな送信用バッファ４５や送信部２７とすることができる。
【０１０５】
また、ディジタル画像無線送受信システム２００は、並列処理として二つの処理ラインを有する構成と示したが、これに限られることはない。３つ以上の処理ラインにより、３つ以上の並列化処理としてもよく、この場合に送信部２７は、１．５メガビット毎秒の処理ラインの数に対応する整数倍の伝送レートとできる。
【０１０６】
ディジタル画像無線送受信システム２００は、圧縮処理等を並列処理化した事によりクロック周波数を高く設定しなくても、迅速な画像圧縮処理等を実現できる。また、クロック周波数を高く設定しなくてもよいので、乗算器を備えるＤＣＴ等への影響を低減できる。
【０１０７】
また、クロック周波数を同一に保ったままでも画像圧縮処理を迅速に行えるので、繰り返しＤＣＴ処理を行うだけの時間的余裕を捻出することも可能である。このため、画像圧縮について簡単な画像か複雑な画像かを判断して、再度量子化処理を行うこともできる。
【０１０８】
また、本実施形態で説明するディジタル画像無線伝送装置等は、無線通信装置であるとして説明をしたが、これに限定されることはなく有線通信に適用してもよい。また、ディジタル画像無線送受信システム２００で説明するように、一時記憶部を１６ラインメモリとして順次画像圧縮処理や画像伸長処理を行う処理を、有線通信システムに適用してもよい。
【０１０９】
ディジタル画像無線送受信システム２００を有線通信システムに適用すれば、シリアル通信により通信線の本数を少なくしたディジタル画像無線送受信システムとできる。また、このような有線通信においては、適宜圧縮処理により画像データ量が適切に低減化されているので、原データが多量の画像データであっても低伝送レートで伝送することも可能となる。また、ディジタル画像無線送受信システム２００を有線通信に適用すれば、長距離通信も可能となるので好ましい。
【０１１０】
また、ディジタル画像無線伝送装置は、自明な範囲で適宜その構成と動作や処理を変更して用いることとできる。
【０１１１】
（付記１）本発明の画像データ処理方法は、カメラから取り込む撮像画像の画像データを圧縮してディジタル無線伝送するための画像データ処理方法であって、撮像画像の一フレームの画像データの一部分を構成するマクロブロックごとに、順次一時記憶部へ記憶する一時記憶工程と、一時記憶工程における一時記憶部の記憶量が一フレーム相当分となるより前に、一時記憶部の画像データをマクロブロックごとに、順次読み出して圧縮処理する画像圧縮処理工程とを有し、一時記憶部は、撮像画像の一フレームの画像データのうち１６ライン相当分の記憶容量を有し、画像圧縮処理工程は、一時記憶工程で記憶する１６ライン相当分の画像データから、マクロブロックごとに読み出す画像データを、順次圧縮処理する工程であり、画像圧縮処理工程は、マクロブロックが有する四つのＹブロックと二つのＣブロックとのうち、二つのＹブロックと一つのＣブロックとを順次画像圧縮する第一の画像圧縮処理工程と、他の二つのＹブロックと他の一つのＣブロックとを順次画像圧縮する第二の画像処理工程とを有し、第一の画像圧縮処理工程と第二の画像圧縮処理工程とを並列的に処理することを特徴とするディジタル無線伝送するための画像データ処理方法とできる。
【０１１２】
（付記２）カメラから取り込む撮像画像の画像データを圧縮してディジタル無線送信する送信装置と、送信装置が送信する画像データを受信して伸長処理する受信装置とを備えるディジタル画像無線送受信システムであって、送信装置は、撮像画像の画像データの一フレームのうち１６ライン相当分の記憶容量を有し、撮像画像の画像データを一フレームの一部を構成するマクロブロックごとに、順次一時記憶する一時記憶部と、一時記憶部に記憶される１６ライン相当分の画像データから、マクロブロックごとに読み出す画像データを、順次圧縮処理する画像圧縮処理部と、画像圧縮処理部が圧縮処理する画像データを蓄える送信用バッファと、送信用バッファから読み出す画像データを、順次固定の伝送レートで送信する送信部とを備え、かつ画像圧縮処理部と送信用バッファとにおける処理を一組として並列処理とするように、それぞれが画像圧縮処理部と送信用バッファとを含む第一及び第二の画像圧縮処理ラインを備え、マクロブロックが有する四つのＹブロックと二つのＣブロックとのうち、二つのＹブロックと一つのＣブロックとを第一の画像圧縮処理ラインで処理し、他の二つのＹブロックと他の一つのＣブロックとを第二の画像圧縮処理ラインで処理する送信装置であって、受信装置は、送信装置から送信される圧縮された画像データを受信する受信部と、受信部で受信する画像データを蓄える受信用バッファと、受信用バッファから読み出す画像データを、順次伸長処理する画像伸長処理部と、画像伸長処理部が伸長処理する画像データを、マクロブロック単位で一時記憶する１６ライン相当分の受信側一時記憶部とを備え、画像伸長処理部と受信用バッファとにおける処理を一組として並列処理とするように、それぞれが画像伸長処理部と受信用バッファとを含む、第一と第二の画像伸長処理ラインを備える受信装置であることを特徴とするディジタル画像無線送受信システムとできる。
【図面の簡単な説明】
【０１１３】
【図１】第一の実施形態にかかる送信処理部を説明するブロック概念図である。
【図２】第二の実施形態にかかるディジタル画像無線送受信システムを示すブロック概念図である。
【図３】ディジタル画像無線伝送装置の処理フローを示すフロー概念図である。
【図４】フレームメモリを用いる構成例を示すブロック概念図である。
【図５】マクロブロック典型例を説明する図である。
【符号の説明】
【０１１４】
１０・・カメラ、１１・・送信処理部、１２・・入力信号インターフェース、１３・・一時記憶部、１４・・画像圧縮処理部、１５・・送信用バッファ、１６・・送信インターフェース、１７・・送信部、２０・・カメラ、２１・・送信処理部、２３・・一時記憶部、２４・・画像圧縮処理部、２５・・送信用バッファ、２６・・送信インターフェース、２７・・送信部、２８・・画像圧縮処理部、２９・・送信用バッファ、４０・・カメラ、４２・・入力信号インターフェース、４３・・フレームメモリ、４４・・画像圧縮処理部、４５・・送信用バッファ、４６・・送信インターフェース、４７・・送信部、４８・・受信部、４９・・受信処理部、５１・・マクロブロック、５２・・Ｃｂ、５３・・Ｃｒ。
【図１】
2009135836.tif 000003
【図２】
2009135836.tif 000004
【図３】
2009135836.tif 000005
【図４】
2009135836.tif 000006
【図５】
2009135836.tif 000007