(57)【要約】【課題】伝送回線の品質に最適なマクロブロックサイズで画像伝送を行うことができる画像伝送システム、画像送信装置および画像受信装置を提供する。【解決手段】圧縮画像データを主局に送信する従局１３では、画像データが画像圧縮処理部１３１へ与えられ、符号化圧縮処理が行われる。符号化圧縮処理により得られた圧縮画像データは、送信インターフェース１３２を用いて無線伝送される。圧縮画像データを受信した主局は、データ損失からマクロブロックサイズ情報を決定し従局１３へ送信する。従局１３は、当該マクロブロックサイズ情報に応じてマクロブロックサイズを変更する。【選択図】図２
2005286541.tif 000002
【特許請求の範囲】
【請求項１】
画像伝送システムであって、
画像をマクロブロックに分割する分割処理を行い、当該画像に係る画像データの圧縮処理を当該マクロブロックごとに行った圧縮画像データを送信する画像送信手段と、
前記画像送信手段から取得した前記圧縮画像データの伸張処理を行う画像受信手段と、
を備え、
前記画像受信手段が取得した前記圧縮画像データにおけるデータ損失に基づいて前記分割処理に係るマクロブロックサイズを変更する変更処理を行うことを特徴とする画像伝送システム。
【請求項２】
請求項１に記載の画像伝送システムにおいて、
前記変更処理において、前記データ損失の増加に応じて前記マクロブロックサイズを縮小することを特徴とする画像伝送システム。
【請求項３】
請求項１に記載の画像伝送システムにおいて、
前記変更処理に係る前記マクロブロックサイズの情報が前記画像受信手段から前記画像送信手段へ送信され、当該情報に基づいて前記画像送信手段において前記マクロブロックサイズの変更が行われることを特徴とする画像伝送システム。
【請求項４】
画像送信装置であって、
画像をマクロブロックに分割する分割処理を行い、当該画像に係る画像データの圧縮処理を当該マクロブロックごとに行った圧縮画像データを画像受信装置へ送信する画像送信手段を備え、
前記画像受信装置が取得した前記圧縮画像データにおけるデータ損失に基づいて決定されたマクロブロックサイズを前記分割処理に係るマクロブロックサイズに適用することを特徴とする画像送信装置。
【請求項５】
画像受信装置であって、
画像に係る画像データの圧縮処理がマクロブロックごとに行われた圧縮画像データ
を画像送信装置から受信し伸張処理を行う画像受信手段を備え、
前記圧縮画像データにおけるデータ損失に基づいて決定したマクロブロックサイズの情報を前記画像送信装置へ送信することを特徴とする画像受信装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に係る画像データを圧縮して伝送する画像伝送システム、当該画像伝送システムにおける画像送信装置および画像受信装置に関する。
【背景技術】
【０００２】
従来より、画像を適切なサイズのマクロブロックに分割し、当該マクロブロックごとに当該画像に係る画像データの圧縮処理を施して伝送することが行われている。例えば、特許文献１には、マクロブロックを単位として圧縮処理を施した画像データを伝送する技術が開示されている。
【０００３】
【特許文献１】特開平６−２７６５１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、従来の技術では、マクロブロックサイズを動的に変更することは行われていなかった。したがって、伝送回線の品質に関わらずマクロブロックサイズは一定であり、伝送回線に最適なマクロブロックサイズで画像伝送を行うことができなかった。このため、伝送回線の品質が良好であるにもかかわらず小さなマクロブロックサイズで画像伝送が行われて画像データの圧縮率を十分に上げられなかったり、伝送回線の品質が低下した場合でも大きなマクロブロックサイズのまま画像伝送が行われて、画像上の大きな領域がデータ損失により失われたりする場合があった。このような画像上の大きな領域の喪失は、自動車の周辺を撮像する車載の撮像装置が撮像した画像を表示装置に伝送する場合には、自動車の周辺の視認を妨げるので特に問題となる。
【０００５】
本発明は、これらの問題を解決するためになされたもので、伝送回線の品質に最適なマクロブロックサイズで画像伝送を行うことができる画像伝送システム、画像送信装置および画像受信装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１の発明は、画像伝送システムであって、画像をマクロブロックに分割する分割処理を行い、当該画像に係る画像データの圧縮処理を当該マクロブロックごとに行った圧縮画像データを送信する画像送信手段と、前記画像送信手段から取得した前記圧縮画像データの伸張処理を行う画像受信手段とを備え、前記画像受信手段が取得した前記圧縮画像データにおけるデータ損失に基づいて前記分割処理に係るマクロブロックサイズを変更する変更処理を行うことを特徴とする。
【０００７】
請求項２の発明は、請求項１に記載の画像伝送システムにおいて、前記変更処理において、前記データ損失の増加に応じて前記マクロブロックサイズを縮小することを特徴とする。
【０００８】
請求項３の発明は、請求項１に記載の画像伝送システムにおいて、前記変更処理に係る前記マクロブロックサイズの情報が前記画像受信手段から前記画像送信手段へ送信され、当該情報に基づいて前記画像送信手段において前記マクロブロックサイズの変更が行われることを特徴とする。
【０００９】
請求項４の発明は、画像送信装置であって、画像をマクロブロックに分割する分割処理を行い、当該画像に係る画像データの圧縮処理を当該マクロブロックごとに行った圧縮画像データを画像受信装置へ送信する画像送信手段を備え、前記画像受信装置が取得した前記圧縮画像データにおけるデータ損失に基づいて決定されたマクロブロックサイズを前記分割処理に係るマクロブロックサイズに適用することを特徴とする。
【００１０】
請求項５の発明は、画像受信装置であって、画像に係る画像データの圧縮処理がマクロブロックごとに行われた圧縮画像データを画像送信装置から受信し伸張処理を行う画像受信手段を備え、前記圧縮画像データにおけるデータ損失に基づいて決定したマクロブロックサイズの情報を前記画像送信装置へ送信することを特徴とする。
【発明の効果】
【００１１】
請求項１ないし請求項５の発明によれば、データ損失に応じてマクロブロックサイズを変更可能となるので、データ損失に適したマクロブロックサイズで画像伝送を行うことができる。
【００１２】
請求項２の発明によれば、データ損失の増加に応じてマクロブロックサイズが縮小されるので、データ損失が多い場合に失われる画像領域を縮小可能である。これにより、画像上の大きな領域の情報が失われることを抑制可能となり、画像受信手段が受信する画像の品位を向上可能である。
【発明を実施するための最良の形態】
【００１３】
＜画像伝送システムの概略構成＞
図１は、実施形態の画像伝送システム１が搭載された自動車ＡＭを上方から見た平面模式図である。画像伝送システム１は、自動車ＡＭに取り付けられた撮像装置１１が撮像した画像を車室内に設置された表示装置１２へ無線伝送する。画像伝送システム１は、リアルタイムの画像伝送を行うとともに、伝送回線の品質が低下した場合でも表示装置１２に表示される画像の品位が顕著に低下しないように構成される。
【００１４】
画像伝送システム１は、撮像装置１１、撮像装置１１が撮像した画像を送信する従局（画像送信手段：画像送信装置）１３、従局１３が送信した画像を受信する主局（画像受信手段：画像受信装置）１４および表示装置１２を備える。
【００１５】
撮像装置１１は、例えば、自動車ＡＭの後方を撮像可能とするために自動車ＡＭの後端部に設置される。撮像装置１１は、ＣＣＤ撮像デバイスおよび当該ＣＣＤ撮像デバイスの制御回路を含み、撮像した画像に係る画像データを従局１３へ出力する。ＣＣＤ撮像デバイスの受光面には縦ｉ画素×横ｊ画素の受光セルがマトリクス状に配列されており、ＣＣＤ撮像素子は縦ｉ画素×横ｊ画素からなる矩形形状の画像を撮像可能である。撮像装置１１は、所定の時間間隔で繰り返し撮像を行う。
【００１６】
従局１３は、入力された画像データに圧縮処理を施した圧縮画像データを主局１４へ無線通信回線を用いて送信する。
【００１７】
主局１４は、従局１３が送信した圧縮画像データを受信して伸張処理を行い、表示装置１２へ出力する。
【００１８】
表示装置１２は、例えば、液晶ディスプレイ等の表示デバイスを用いて構成されており、主局１４から与えられた画像データを視認可能に表示する。
【００１９】
＜従局について＞
図２は、従局１３の構成を示すブロック図である。
【００２０】
撮像カメラ１１から出力された画像データは、画像圧縮処理部１３１へ与えられる。画像圧縮処理部１３１は、図３のブロックに示すように、マクロブロック分割部１３１ａおよび圧縮符号化部１３１ｂを備える。
【００２１】
マクロブロック分割部１３１ａは、与えられた画像データに係る画像を複数のマクロブロックに分割する分割処理を行う。また、マクロブロック分割部１３１ａは、後述する受信データ処理部１３６から与えられるマクロブロックサイズ情報に基づいて、分割処理に係るマクロブロックサイズを変更する。
【００２２】
図４は、縦ｉ画素×横ｊ画素の１フレームの画像ＩＭＧが、縦ｍ画素×横ｎ画素のマクロブロックサイズを有する複数のマクロブロックMB(1)〜MB(48)に等分割された状態を模式的に示す図である。図４に示す画像ＩＭＧにおいては、当該マクロブロックMB(1)〜MB(48)が縦横の２方向にマトリクス状に配列されている。なお、図４における分割数すなわちマクロブロックの数である48は一例であり、分割数はマクロブロックサイズに応じて変化する。
【００２３】
圧縮符号化部１３１ｂは、当該画像データを符号化し圧縮する符号化圧縮処理を当該マクロブロックごとに行う。この符号化圧縮処理に用いられるアルゴリズムは制限されず、例えば、空間領域の冗長度を削減する各種圧縮アルゴリズムを用いることができる。また、符号化圧縮処理にあたっては、圧縮画像データに各種ヘッダデータや誤り訂正符号を付加する。なお、圧縮符号化処理にあたって、異なるマクロブロック間の相関を用いてデータ量を削減する圧縮アルゴリズムではなく、単一のマクロブロックで圧縮処理が完結する圧縮アルゴリズムを用いることにより、伝送回線の品質低下で一のマクロブロックに係るマクロブロックデータが滅失した場合でもその影響を局所的に押さえることができ、画像全体に影響を及ぼすことを防止可能である。
【００２４】
画像圧縮処理部１３１が生成した圧縮画像データは、変調部１３２ａおよび送信高周波部１３２ｂを備える送信インターフェース部１３２へ与えられる。変調部１３２ａは圧縮画像データを用いて搬送波を所定の方式で変調して送信高周波信号を生成し、送信高周波部１３２ｂは当該送信高周波信号を所定の周波数および空中線電力の送信波に変換して送受信切替スイッチ１３３経由でアンテナ１３４へ供給する。
【００２５】
一方、主局１４から従局１３へ無線伝送されるデータを含む受信波は、アンテナ１３４および送受信切替スイッチ１３３を経由して受信高周波部１３５ａおよび復調部１３５ｂを備える受信インターフェース部１３５へ与えられる。受信高周波部１３５ａは、受信波を所定のレベルまで増幅するとともに中間周波数への変換を行う。復調部１３５ｂは、受信高周波部１３５ａから入力された受信高周波信号を復調してデータを受信データ処理部１３６へ出力する。
【００２６】
分割処理に係るマクロブロックサイズ情報を含む当該データは、受信データ処理部１３６においてデコードされる。当該マクロブロックサイズ情報は画像圧縮処理部１３１へ出力される。
【００２７】
なお、送受信切替スイッチ１３３は、与えられた送受信切替信号に基づいて、スイッチングダイオードやリレーによる送受信切替を行っている。
【００２８】
＜主局について＞
図５は、主局１４の構成を示すブロック図である。
【００２９】
従局１３から主局１４へ無線伝送される圧縮画像データを含む受信波は、アンテナ１４１および送受信切替スイッチ１４２を経由して受信高周波部１４３ａおよび復調部１４３ｂを備える受信インターフェース部１４３へ与えられる。受信高周波部１４３ａは、受信波を所定のレベルまで増幅するとともに中間周波数への変換を行う。復調部１４３ｂは、受信高周波部１４３ａから入力された受信高周波信号を復調して圧縮画像データを通信エラー判定部１４４および画像伸張処理部１４５へ出力する。
【００３０】
画像伸張処理部１４５は、圧縮画像データの伸張処理を前述のマクロブロックごとに行い、複数のマクロブロックを接続した１フレームの画像に係る画像データを表示装置１２へ出力する。なお、画像伸張処理部１４５は、無線伝送によるマクロブロックデータの損失がある場合は、失われたマクロブロックデータに代わる代替マクロブロックデータを出力する。代替マクロブロックデータとしては、前フレームの対応するマクロブロックのマクロブロックデータや、当フレームの隣接マクロブロックデータの補間によって得たマクロブロックデータ等を採用する。
【００３１】
通信エラー判定部１４４は、無線伝送エラーによる、圧縮画像データにおけるマクロブロックデータの損失数（以下では「損失データ数」とも称する）を特定し、当該損失数からマクロブロックサイズを決定し、その情報であるマクロブロックサイズ情報を送信データ処理部１４６へ出力する。通信エラー判定部１４４においては、データ損失の一表現である当該損失データ数が増加するにつれて、決定されるマクロブロックサイズが縮小される。この縮小されたマクロブロックサイズは、次のフレームの圧縮画像データの伝送を行う場合の分割処理に適用されるので、伝送回線の品質が低下して損失データ数が増加した場合、マクロブロックサイズが自動的に縮小される。これにより、伝送回線の品質が低下した場合でも、画像上の大きな領域の情報が失われることを抑制可能であり、画像の品位が著しく低下することを防止可能である。なお、損失データ数の特定方法は制限されないが、例えば、従局１３から主局１４へ伝送される圧縮画像データに付加されたヘッダ情報を参照することにより損失データ数を特定可能である。
【００３２】
送信データ処理部１４６は、マクロブロックサイズ情報に必要なヘッダ情報を付加する。
【００３３】
送信データ処理部１４６から出力されたデータは、変調部１４７ａおよび送信高周波部１４７ｂを備える送信インターフェース部１４７へ与えられる。変調部１４７ａは当該データを用いて搬送波を所定の方式で変調して送信高周波信号を生成し、送信高周波部１４７ｂは当該送信高周波信号を所定の周波数および空中線電力の送信波に変換して送受信切替スイッチ１４２経由でアンテナ１４１へ供給する。
【００３４】
なお、上述の送受信切替スイッチ１４２は、与えられた送受信切替信号に基づいて、スイッチングダイオードやリレーによる送受信切替を行っている。
【００３５】
＜画像伝送システムの動作＞
図６は、圧縮画像データの無線伝送における画像伝送システム１の動作を示すフローチャートである。図７は、圧縮画像データの無線伝送における主局１４および従局１３の処理を示すタイムチャートである。以下では、図６および図７を参照しながら画像伝送システム１の動作を説明する。
【００３６】
ステップＳ１〜Ｓ３は、従局１３側で処理が行われる。
【００３７】
まず、撮像装置１１が１フレームの画像の撮像を行い、当該画像に係る画像データを画像圧縮処理部１３１へ出力する（ステップＳ１）。
【００３８】
続いて、画像圧縮処理部１３１が、画像の分割処理を行い（ステップＳ２）、マクロブロックごとの符号化圧縮処理を行う（ステップＳ３）。なお、ステップＳ２の分割処理に係るマクロブロックサイズには、ひとつ前のフレームの圧縮画像データの無線伝送後に主局１４から従局１３に与えられたマクロブロックサイズ情報が適用される（後述）が、画像伝送システム１が起動されて最初に圧縮画像データの無線伝送が行われる場合はデフォルトの値が適用される。
【００３９】
ステップＳ３終了後、従局１３から主局１４への圧縮画像データの無線伝送が行われる（ステップＳ４）。すなわち、従局１３側の送信インターフェース１３２を用いて圧縮画像データの送信処理が行われ（図７の処理Ｔ２０１）、当該圧縮画像データの受信処理が主局１４側の受信インターフェース１４３を用いて行われる（図７の処理Ｔ２０２）。ステップＳ４で無線伝送される圧縮画像データは、ヘッダ部ＨＤと実体データ部ＰＤとを含む（図７参照）。ヘッダ部ＨＤには、実体データ部ＰＤのマクロブロックデータＭＤ（１）〜ＭＤ（ｐ）を復号するための情報が含まれる。整数ｐは、１回の無線パケット送信（処理Ｔ２０１）でマクロブロックデータが送信されるマクロブロックの数である。当該マクロブロックデータＭＤ（１）〜ＭＤ（ｐ）の各々は、ひとつのマクロブロックに係る圧縮画像データである。整数ｐは特定の値に制限されず、１回の無線パケット送信で１フレームの圧縮画像データの無線伝送を行ってもよいし、１フレームの圧縮画像データの無線伝送を複数回の無線パケット送信に分けてもよい。例えば、横方向の配列の一列ごとに無線パケットの送信を行ってもよいし、横方向の配列の複数列ごとに無線パケット送信を行ってもよい。あるいは、横方向の配列にとらわれず、任意の数のマクロブロックごとに無線パケットの送信を行ってもよい。
【００４０】
ステップＳ５〜Ｓ８は、主局１４側で処理が行われる。
【００４１】
まず、通信エラー判定部１４４で通信エラー判定が行われ、圧縮画像データのデータ損失が特定される。すなわち、実体データ部ＰＤの中で滅失したマクロブロックデータの数である損失データ数が特定される（ステップＳ５）。さらに、通信エラー判定部１４４は、当該損失データ数から、次のフレームの画像の分割処理に使用されるマクロブロックサイズを決定し、送信データ処理部１４６へ出力する。
【００４２】
続いて、画像伸張処理部１４５が圧縮画像データの伸張処理を行い（ステップＳ７）、伸張処理後の画像データを表示装置１２へ出力する（ステップＳ８）。これにより、表示装置１２には撮像された画像が表示される。
【００４３】
さらに続いて、ステップＳ６で決定されたマクロブロックサイズの情報が主局１４から従局１３へ無線伝送される（ステップＳ９）。すなわち、主側１４の送信インターフェース１４７を用いてマクロブロックサイズ情報の送信処理が行われ（図７の処理Ｔ２０３）、当該マクロブロックサイズ情報の受信処理が従局１３側の受信インターフェース１３５を用いて行われる（図７の処理Ｔ２０４）。
【００４４】
当該マクロブロックサイズ情報を取得した従局１３は、当該マクロブロックサイズ情報を圧縮画像処理部１３１へ出力して次のフレームの画像の分割処理に係るマクロブロックサイズに適用し（ステップＳ１０）、動作フローはステップＳ１へ戻る。ステップＳ１０により、データ損失の具体例である損失データ数に応じてマクロブロックサイズを変更可能となるので、損失データ数に適したマクロブロックサイズで画像伝送を行うことが可能になる。
【００４５】
＜変形例＞
○画像伝送システムおよび伝送対象について；
上述の実施形態では、自動車ＡＭに搭載された画像伝送システムを例として説明を行ったが、画像伝送システムの態様はこれに制限されない。例えば、金融機関等に設置された監視カメラが撮像した画像の無線伝送（陸上通信）や、人工衛星に設置されたカメラが撮像した画像の無線伝送（宇宙通信）等にも本発明の画像伝送システムを適用可能である。また、画像伝送システムは、カメラによって撮像された画像のみならず、地図・天気図・図面・コンピュータグラフィックス等で例示される各種画像を伝送対象としてもよい。また、画像伝送システムが伝送対象とする画像は、静止画および動画のいずれであってもよい。加えて、本発明の画像伝送システムは、周波数資源の制約に加えて雑音やマルチパスにより伝送品質が低下しやすい無線伝送回線を用いる場合に特に好適に利用されるが、有線伝送回線を用いる場合に利用することも妨げられない。
【００４６】
○マクロブロックについて；
上述の実施形態では１フレームの画像が同じ大きさのマクロブロックに等分割される例を示したが、異なる大きさのマクロブロックに分割されるようにしてもよい。例えば、水平走査を行う場合、図８に模式的に例示するように、横方向に配列されたマクロブロック（マクロブロックMB101〜MB106、マクロブロックMB107〜MB110、マクロブロックMB111〜MB122、マクロブロックMB123〜MB126のそれぞれの群に含まれるマクロブロック）のマクロブロックサイズを一定とし、縦方向のマクロブロックの配列においてマクロブロックサイズが変化するようにしてもよい。この場合、圧縮画像データの送信は１フレームごとではなく横方向の配列ごとに行われ、マクロブロックサイズ情報の送信は横方向の配列の送信終了ごとに行われる。
【００４７】
○マクロブロックサイズの算出について；
上述の実施形態では主局１４においてマクロブロックデータの損失数からマクロブロックサイズが算出され従局１３に送信される例を示したが、主局１４から従局１３に圧縮画像データにおけるマクロブロックデータの損失数の情報を送出して従局１３でマクロブロックデータの損失数からマクロブロックサイズを算出してもよい。
【図面の簡単な説明】
【００４８】
【図１】実施形態の画像伝送システム１が搭載された自動車ＡＭを上方から見た平面模式図である。
【図２】従局１３の構成を示すブロック図である。
【図３】画像圧縮処理部１３１の構成を示すブロック図である。
【図４】縦ｉ画素×横ｊ画素の画像ＩＭＧが、縦ｍ画素×横ｎ画素のマクロブロックサイズを有する複数のマクロブロックMB(1)〜MB(48)に分割された状態を模式的に示す図である。
【図５】主局１４の構成を示すブロック図である。
【図６】圧縮画像データの無線伝送における画像伝送システム１の動作を示すフローチャートである。
【図７】画像データの無線伝送における主局および従局の処理を示すタイムチャートである。
【図８】画像ＩＭＧがマクロブロックMB101〜MB126に分割された状態を模式的に示す図である。
【符号の説明】
【００４９】
１  画像伝送システム
１１  撮像装置
１２  表示装置
１３  従局
１４  主局
ＡＭ  自動車
【図１】
2005286541.tif 000003
【図２】
2005286541.tif 000004
【図３】
2005286541.tif 000005
【図４】
2005286541.tif 000006
【図５】
2005286541.tif 000007
【図６】
2005286541.tif 000008
【図７】
2005286541.tif 000009
【図８】
2005286541.tif 000010