(57)【要約】【課題】  後段のアプリケーションが変化する場合においても、高階調画像の階調を維持しつつ符号量を効率的に削減可能な画像伝送システムを提供する。【解決手段】    送信側から画像データを伝送し、受信側で画像処理を行う画像伝送システムであって、入力画像を符号化してビットストリームを出力、伝送する画像送信装置と、前記ビットストリームを受信、復号して画像処理を行う画像受信装置と、画像内の各領域のビット精度情報を生成するビット精度情報生成部と、前記ビット精度情報生成部により生成されたビット精度情報に従って前記画像送信装置内部で行う量子化処理における量子化ステップ幅を制御する量子化制御部と、前記画像受信装置により復号された復号画像を使用して画像処理を行う画像処理部を備え、前記ビット情報生成部は、前記画像処理部の処理モードに従ってビット精度情報の生成手法を切り替えることを特徴とする画像伝送システムを提供する。【選択図】  図１
2014082651.tif 000002
【特許請求の範囲】
【請求項１】
送信側から画像データを伝送し、受信側で画像処理を行う画像伝送システムであって、
入力画像を符号化してビットストリームを出力、伝送する画像送信装置と、
前記ビットストリームを受信、復号して画像処理を行う画像受信装置と、
画像内の各領域のビット精度情報を生成するビット精度情報生成部と、
前記ビット精度情報生成部により生成されたビット精度情報に従って前記画像送信装置内部で行う量子化処理における量子化ステップ幅を制御する量子化制御部と、
前記画像受信装置により復号された復号画像を使用して画像処理を行う画像処理部を備え、
前記ビット情報生成部は、前記画像処理部の処理モードに従ってビット精度情報の生成手法を切り替えることを特徴とする画像伝送システム。
【請求項２】
請求項1に記載の画像伝送システムであって、
前記画像受信装置内に前記ビット精度情報生成部と前記画像処理部とを備え、
前記ビット精度情報生成部は、前記画像処理部の処理モードの情報と画像認識処理結果の少なくともいずれか一方を使用して前記ビット精度情報を生成することを特徴とする画像伝送システム。
【請求項３】
請求項1に記載の画像伝送システムであって、
前記画像受信装置内に前記画像処理部を備え、
前記画像送信装置内に前記ビット精度情報生成部と前記入力画像を取得する撮像部とを備え、
前記画像受信装置は前記画像処理部の処理モードの情報を前記画像送信装置へ送信し、
前記ビット精度情報生成部は前記処理モードの情報と前記撮像部から出力される符号化対象画像の少なくともいずれか一方を使用して前記ビット精度情報を生成することを特徴とする画像伝送システム。
【請求項４】
請求項2または3に記載の画像伝送システムであって、
前記画像伝送システムは車載カメラシステムであり、
前記ビット精度情報生成部は、前記画像処理部の運転支援システムモードに従ってビット精度情報の生成手法を切り替えることを特徴とする画像伝送システム。
【請求項５】
請求項4に記載の画像伝送システムであって、
前記ビット精度情報生成部は、前記画像処理部の運転支援システムモードがオーバービューモニタモードであるか車線検知モードであるかによって、ビット精度情報の生成手法を切り替えることを特徴とする画像伝送システム。
【請求項６】
請求項5に記載の画像伝送システムであって、
前記運転支援システムモードが車線検知モードの場合、前記ビット精度情報生成部は、画像のうち道路部分の占める領域が他の領域よりも高いビット精度となるように前記ビット精度情報を生成することを特徴とする画像伝送システム。
【請求項７】
請求項4乃至6のいずれかに記載の画像伝送システムであって、
前記ビット精度情報は、前記運転支援システムモード毎に予め設定され記憶手段に記録されていることを特徴とする画像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像伝送システムに関する。
【背景技術】
【０００２】
近年、ネットワークに接続された画像伝送システムは、監視カメラシステム等で広く使用されている。また今後、自動車に複数取り付けられたカメラをディジタルネットワークで接続し、運転支援システムに活用する等のアプリケーションが考えられている。
【０００３】
上記使用例では、明暗部での視認性向上、また細部の形状の認識性向上のために、従来の8ビット精度のYUV信号から階調を拡大した高階調画像を用いる必要がある。
【０００４】
このような高階調画像データをネットワーク等の伝送帯域が限られた条件下で伝送する場合、例えば原画像のYUV成分を12ビットでサンプリングし、符号化することで画像の階調表現は向上するが、一方で符号量が増加する。このため、原画像の階調数を可能な限り維持しつつ、符号化によって効率良く符号量を削減する技術が望まれる。
【０００５】
本技術分野の背景技術として、特開2005-252556号公報（特許文献1）がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2005-252556号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
前記特許文献1には高階調画像を高効率に符号化するための技術として、CT（Computed Tomography）画像データの特徴を利用し「画像データの各画素に対して画素値がある範囲内に存在するかどうかを判定し、該範囲内の画素に対してのみ高精度の符号化を行い、範囲外の画素に対しては低い精度の符号化を行う」と記載されている。
【０００８】
しかし、画像内のどの画素または領域を高精度に符号化すべきであるかは、符号化対象画像の特徴や、符号化した画像データを利用する後段のアプリケーションによって異なる。
【０００９】
これに関し、前記特許文献1はCT画像以外の画像を符号化する場合、また符号化した画像データを画像診断以外に用いる場合については考慮されていない。
【００１０】
本発明は、上記課題を解決し、後段のアプリケーションが変化する場合においても、原画像である高階調画像の階調を維持しつつ符号量を効率的に削減可能な画像伝送システムを提供するものである。
【課題を解決するための手段】
【００１１】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば次の通りである。
（１）送信側から画像データを伝送し、受信側で画像処理を行う画像伝送システムであって、入力画像を符号化してビットストリームを出力、伝送する画像送信装置と、前記ビットストリームを受信、復号して画像処理を行う画像受信装置と、画像内の各領域のビット精度情報を生成するビット精度情報生成部と、前記ビット精度情報生成部により生成されたビット精度情報に従って前記画像送信装置内部で行う量子化処理における量子化ステップ幅を制御する量子化制御部と、前記画像受信装置により復号された復号画像を使用して画像処理を行う画像処理部を備え、前記ビット情報生成部は、前記画像処理部の処理モードに従ってビット精度情報の生成手法を切り替えることを特徴とする画像伝送システムである。
【発明の効果】
【００１２】
本発明によれば、後段のアプリケーションが変化する場合においても、原画像である高階調画像の階調を維持しつつ符号量を効率的に削減可能な画像伝送システムを提供できる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る画像伝送システムの第1の実施形態の構成例を示す図である。
【図２】画像送信装置における変換部の構成例を示す図である。
【図３】H.264におけるQPと量子化ステップ幅の関係を表すグラフである。
【図４】ビット精度情報とQPオフセットの関係の例を表す表である。
【図５】ビット精度情報とQPオフセットの関係の例を表す表である。
【図６】車載カメラによって撮影される画像の例である。
【図７】車線検知モード時のビット精度情報の設定例である。
【図８】オーバービューモニタモード時のビット精度情報の設定例である。
【図９】ADASのモードと対応するカメラの種類をまとめた表である。
【図１０】障害物検知モード時のビット精度情報の設定例である。
【図１１】道路標識検知モード時のビット精度情報の設定例である。
【図１２】スルーモード時のビット精度情報の設定例である。
【図１３】本発明に係る画像伝送システムの第2の実施形態の構成例を示す図である。
【図１４】ビット精度情報の生成法を設定するフローチャートである。
【図１５】オーバービューモニタモード時にモニタに表示される画像の例である。
【図１６】オーバービューモニタモードを実現するための構成図の例である。
【発明を実施するための形態】
【００１４】
以下、本発明に係る実施の形態について図面を用いて説明する。
【実施例１】
【００１５】
図1は、本発明に係る画像伝送システムの第1の実施形態の構成例を示す。以下では、本発明を車載カメラシステムに適用する場合を例に説明する。
【００１６】
画像送信装置101は、外部から光を入力して画像へ変換し、得られた画像を符号化してビットストリームを生成し、前記ビットストリームをパケッタイズまたはフレーミングして、ネットワークIF109を介して画像受信装置121へ出力する。また、画像送信装置101は、画像受信装置121から出力された、後述するパケッタイズまたはフレーミングされたビット精度情報を入力する。
【００１７】
撮像部102は、外部から入力された光を高階調画像へ変換して、前記高階調画像を符号化対象画像として出力する。
【００１８】
以下、変換部103、局所復号部104、量子化部105、量子化制御部106、符号化部107、QP設定部108の処理についてそれぞれ説明するが、その処理は前記符号化対象画像を16×16画素に区切った領域（以下MB）毎に行う。
【００１９】
変換部103は、前記符号化対象画像信号を入力とし、後述する処理を行い、変換係数を出力する。
【００２０】
変換部103の内部構成の例を図2に示す。予測部110は符号化対象画像と、局所復号部104から出力される符号化済み領域の復号画像を入力とし、前記復号画像から前記符号化対象画像の予測画像を作成する。更に、前記予測画像と前記符号化対象画像の差分を算出することにより誤差画像を生成し、周波数変換部111へ出力する。
【００２１】
周波数変換部111では、前記誤差画像に対して離散コサイン変換（DCT）等の周波数変換を施し、その結果として得られる変換係数を出力する。
【００２２】
なお、ここでは変換部103の内部構成の一例として予測部110が存在する場合の構成について説明したが、ITU-T Rec.T.81 | ISO/IEC 10918-1（JPEG）のように予測を行わず、符号化対象画像を周波数変換部111において直接変換を行うという構成でも良い。
【００２３】
量子化部105は、変換部103から出力される周波数変換後の変換係数を入力とし、前記変換係数を内部で量子化し、量子化サンプルを出力する。量子化ステップ幅は、ITU-T Rec. H.264 | ISO/IEC 14496-10 Advanced Video Coding（以下H.264）等の符号化方式と同様に、量子化パラメータ（QP）を用いて制御する。量子化部105で使用するQPを符号化QPと呼び、前記符号化QPは量子化制御部106から出力される。
【００２４】
符号化部107は、量子化部105から出力される量子化サンプルを入力とし、内部でエントロピー符号化を行い、ビットストリームを出力する。
【００２５】
局所復号部104は、量子化部105から出力される量子化サンプルを入力とし、逆量子化、逆周波数変換を行うことで量子化誤差を含む誤差画像を得た後、変換部103内部の予測部110から出力される予測画像と加算することで復号画像を生成し、前記復号画像を予測部110へ出力する。
【００２６】
QP設定部108は、符号化部107から出力される符号化済みMBの符号量を用いて、フレーム毎にQPを設定し、前記QPを量子化制御部106へ出力する。具体的には、例えば目標ビットレートでの符号化を実現するために、フレーム毎に予め設定した目標符号量と実際の符号量を比較し、目標符号量に近づく方向にフレームのQP値を増減させるようフィードバック制御する。なお、以下ではQP設定部から出力されるQPをベースQPと呼ぶこととする。
【００２７】
ここではフレーム毎にベースQPを決定する場合について説明したが、MB毎、または複数MB毎にベースQPを設定しても良い。更に、シーケンス全体で固定のベースQPを使用しても良い。
【００２８】
量子化制御部106は、ネットワークIF109から出力されるビット精度情報を入力とし、内部でQPオフセットを算出する。その後、QP設定部108から入力されるベースQPと前記QPオフセットを加算し、得られる符号化QPを量子化部105へ出力する。ここでビット精度情報とは、画像受信装置121内の画像処理部124で行う画像処理において、画像内の各領域で必要とされる階調数を表す情報である。
【００２９】
ネットワークIF109は、符号化部107から出力されるビットストリームを入力し、パケッタイズまたはフレームミング処理を行った後、前記パケッタイズまたはフレーミングされたビットストリームを出力する。また、画像受信装置121からネットワークを経由して、パケッタイズまたはフレーミングされたビット精度情報を入力し、デパケッタイズまたはデフレーミングして、量子化制御部106へ出力する。
【００３０】
ビット精度情報は、前記符号化対象画像の各フレームの先頭で１画面分受信し、量子化制御部106内部のRAMに書き込む。RAMに書き込まれたビット精度情報は、各MBで前記QPオフセットを算出する際に読み出して使用する。
【００３１】
このように、ビット精度情報はフレーム毎に設定を変更することが出来るが、必ずしも毎フレーム変更する必要はない。もし、フレームの先頭でビット精度情報が送信されてこなかった場合は、直前のフレームで使用したビット精度情報をそのまま引き継いで使用する。
【００３２】
次に、ビット精度情報を用いた具体的な制御方法の例を説明する。
各MBにおけるビット精度情報DMBは、入力画像のYUV各成分のビット精度（階調数）をDinとすると、1≦DMB≦Dinの整数で表される。例えば、入力画像のビット精度が12ビット（Din =12）の場合、DMBは1〜12の整数値を取る。
【００３３】
まず、QP設定部108においてベースQPを決定する。
次に、画像受信装置121からネットワークIF109を経由して受信した１画面分のビット精度情報から、当該MBのビット精度情報を読み込む。
【００３４】
前記当該MBのビット精度情報に基づき、量子化制御部106において、QPオフセットQPoffを式（数１）を用いて算出する。
（数１）QPoff = (Din − DMB)×α
ここで、αは任意の実数である。H.264では、図3に示すようにQPが6増える毎に量子化ステップ幅が2倍となり、ビット精度を1bit削減することに相当する。よって、H.264と同様なQPを使用する場合は、式(数1)のα=6とすることで、ビット精度情報に対応したQPオフセットを容易に求めることが出来る。
【００３５】
図4にDin=12、α=6の場合のQPoffとDMBの関係を示す。なお、図4にはDMBが6の場合までしか記載されていないが、DMB＜6の場合についてもDMB≧6の場合と同様な方法でQPoffを得ることが出来る。
【００３６】
前記では、α=6の場合を例に説明したが、αを予め決定しておけばα=6でなくとも前記同様の手順でQPオフセットを容易に求めることが出来る。また、QPオフセットは前記のような算出式ではなく、図5のように予めDin、DMB、QPoffの関係を定義したテーブルを用意しておき、DMBが入力されるたびにテーブルを参照するという方法で決定しても良い。
【００３７】
また、1画面分の全てのMBのビット精度情報が同じ値に設定されていた場合は、符号化対象画像をビット精度情報と等しいビット精度を持つ画像として符号化処理を行うことも出来る。
【００３８】
例えば、符号化対象画像のビット精度DinがDin =12、MB毎のビット精度情報DMBが画面内全てのMBにおいてDMB =8だった場合、画像送信装置101内部において符号化対象画像信号の全12ビット中上位8ビットのみを使用することとする。また、H.264におけるbit_depth_luma、bit_depth_chromaに相当する、符号化対象画像のビット精度を指定する変数が存在する場合は、それらの変数も画面全体のDMBと等しい値、例えば8ビットに設定し、その情報をビットストリームへ組み込んで画像受信装置121へ送信する。
【００３９】
以上のように、ビット精度情報に応じて演算に用いるビット数を削減し、使用していない演算器のクロックを停止することで、演算処理に要する消費電力を削減することが出来る。
【００４０】
次に、図1における画像受信装置121の構成、及び処理について説明する。
【００４１】
画像受信装置121は、パケッタイズまたはフレーミングされたビットストリームを画像送信装置101から受信し、内部で復号し、復号画像を用いて認識処理などの画像処理を行い、スピーカやモニタへ画像や音声を出力する。また、内部で前記ビット精度情報を生成し、パケッタイズまたはフレーミングして画像送信装置101へ出力する。
【００４２】
ネットワークIF122は、画像送信装置101から出力されるパケッタイズまたはフレーミングされたビットストリームを入力し、デパケッタイズまたはデフレーミングして復号部123へ出力する。また、ビット精度情報生成部125から出力されるビット精度情報を入力し、パケッタイズまたはフレーミングし、前記パケッタイズまたはフレーミングされたビット精度情報を出力する。
【００４３】
復号部123は、前記デパケッタイズまたはデフレーミングされたビットストリームを入力とし、内部で復号画像を作成し、画像処理部124へ出力する。
【００４４】
画像処理部124は、前記復号画像を入力とし、内部で先進運転支援システム（以下ADAS）を実現する画像認識処理、例えば車線検知処理や障害物検知処理を行い、認識結果の画像をモニタ126へ出力する。また、車線逸脱警報等を行う場合はスピーカ127へ音声信号を出力する。車線検知や障害物検知、オーバービューモニタといったようなADASにおける処理の種類（以下処理モード）は走行中に切り替え可能である。
【００４５】
処理モードの切り替えは、例えばシフトレバーと連動し、シフトレバーがリバースレンジを選択している場合にはオーバービューモニタモード、ドライブレンジやセカンドレンジといった前進走行をするレンジを選択している場合は車線検知モードをそれぞれ自動的に選択することで実現できる。
【００４６】
また、上記のようにシフトレバーと連動させる方法以外にも、例えばカーナビゲーションシステム等に備え付けられた物理キーまたはタッチパネル操作によって、ドライバーや同乗者が明示的に処理モードを指定することで、処理モードを切り替えることも可能である。
【００４７】
画像処理部124において、現在どの処理モードを実行しているかという処理モード情報は、ビット精度情報生成部125へ出力される。
【００４８】
ビット精度情報生成部125は、画像処理部124から前記処理モード情報を入力し、前記処理モード情報に従って画面内の各MBの前記ビット精度情報の設定方法を切り替える。設定したビット精度情報は、ネットワークIF122へ出力する。
【００４９】
ここで、例として前記処理モードがモード1、モード2、モード3、モード4の計4種類存在する場合について、ビット精度情報の生成手段を切り替える手順を図14を用いて説明する。
【００５０】
まず、ステップS130において、フレーム毎に前記処理モード情報を確認する。次に、前記処理モード情報がモード1だった場合はステップS131、モード2だった場合はステップS132、モード3だった場合はステップS133、モード4だった場合はステップS134にそれぞれ進む。
【００５１】
ステップS131、ステップS132、ステップS133、ステップS134ではそれぞれ、ビット精度情報生成部125内部のメモリに予め保存されている、各モードにおける生成手段を読み込む。その後、ステップS135へ進む。
【００５２】
ステップS135では、ステップS131、ステップS132、ステップS133、ステップS134のいずれかで読み込んだ設定手段に従って、画面内の各MBにおけるビット精度情報を生成する。
【００５３】
次に、前記処理モード情報が車線検知モードと、車両を上空から俯瞰したような画像を表示するオーバービューモニタモードの場合について、ビット精度情報の具体的な生成法の例をそれぞれ説明する。また、一般的に車載カメラには車両前部に設置されるフロントカメラ、車両側面部に設置されるサイドカメラ、車両後部に設置されるリアカメラの3種類が存在するが、ここではフロントカメラを使用する場合を例に説明する。
【００５４】
初めに、前記処理モード情報が車線検知モードの場合について説明する。例えばフロントカメラによって図6のような映像が得られている場合、車線検知にとって重要なのは、画面下半分の道路部分のみである。このとき、フロントカメラを同一のモードで使用している場合は基本的にアングルの変化は無く、また画面全体における道路部分の占める領域もほぼ一定である。
【００５５】
よって、画面下半分のみが高いビット精度、画面上半分は低いビット精度となるように前記ビット精度情報を設定すれば、車線検知処理に重要な部分の階調数を維持しつつ、効率的に符号量を削減することができる。尚、説明の便宜上、画面の上半分、下半分と記載しているが必ずしも完全に画面の１／２ずつに分ける必要はなく、画面全体における道路部分の占める領域とその他の領域を区別するような分け方であればよい。
【００５６】
図7は画面上半分が低いビット精度、画面下半分が高いビット精度となるようにビット精度情報を設定した場合の例である。
【００５７】
図7において水平方向、垂直方向に一定間隔で平行に引かれている直線はMBの境界線を表しており、各MB内に表示されている数字が、それぞれのMBのビット精度情報DMBを表している。
【００５８】
図7の例では、車線検知処理において画像認識処理の対象となるMBについては12ビット精度、その他のMBについてはモニタ126へ画像を表示する場合を想定し、表示装置に広く用いられている8ビットに設定している。
【００５９】
次に、前記処理モード情報がオーバービューモニタモードに切り替わった場合について説明する。オーバービューモニタモードは、フロントカメラ、左右のサイドカメラ、リアカメラの計4つのカメラで撮影した画像を変換・合成し、車両を上空から俯瞰した図15のような画像をモニタに表示するモードである。
【００６０】
オーバービューモニタモードでは画像処理部124内部で特に画像認識処理は行わないが、図16のように画像受信装置121に対して、フロントカメラ、左右のサイドカメラ、リアカメラにそれぞれ相当する画像送信装置101、151、152、153の4つをネットワーク140を介して接続し同時に画像データを転送するため、伝送帯域を考慮して各画像データの符号量を削減しなければならない。よって、オーバービューモニタモードの場合は、符号量の削減と画像変換処理を行う際の演算精度の両方を考慮して、例えば図8のように画面内の全てのMBについてビット精度情報DMBを10に設定する。
【００６１】
以上のように、それぞれのモードに対するビット精度情報の設定パターンを予めビット精度情報生成部内部のメモリに記録しておき、処理モード情報に従って適切な設定パターンを読み出すことで、ADASの各処理において認識処理に使用する部分の階調数を維持しつつ、その他の部分の符号量を削減して効率良く符号化することができる。
【００６２】
また、本構成では画像処理部124とビット精度情報生成部125をともに画像受信装置121内部に備えているため、例えば車線検知モードの場合、画像処理部124で画像認識処理によって道路部分と道路以外の部分を分類し、分類結果をビット精度情報生成部125へ入力することで、道路部分のみに高いビット精度情報を割り当てるといった方法でも、ビット精度情報の設定が可能である。
【００６３】
このとき、画像認識結果をそのまま用いるのではなく、過去数フレーム分の認識結果を基に、次に符号化するフレームでは例えば道路部分がどの領域になるかということを予測し、その予測結果に基づいてビット精度情報の割り当てを行っても良い。
【００６４】
この場合、前記の設定パターンを予めメモリに記録しておく方式と比較して、認識処理にとって重要な道路部分に対してより正確に高いビット精度を割り当てることが可能となるため、認識精度及び符号化効率の双方を向上することが出来る。
【００６５】
以上ではフロントカメラにおいて、車線検知モードとオーバービューモニタモードについてビット精度情報の設定方法を説明したが、車載カメラの種類とADASのモードの組み合わせは他にも存在する。図9に車載カメラの種類と、ビット精度情報生成法の切り替えに使用する処理モード情報のその他の例について記載する。また、図10、図11、図12に、図9における障害物検知モード、道路標識検知モード、スルーモード時のビット精度情報の設定例をそれぞれ示す。それぞれの図面で示す通り、例えば、障害物検知モードの場合には、例えば図10のように、車両にとって障害物となりうるエリア、すなわち画面内の道路部分とその周辺並びに車両の上部に高いビット精度情報を割り当てるようにし、道路標識検知モードの場合には、図11のように、画面内で道路標識が写る上部領域に高いビット精度情報を割り当てるようにし、スルーモードの場合には、図12のように、画面内で領域毎にビット精度情報の高低をつけず、復号画像をそのまま表示する。なお、各モードにおけるビット精度情報の設定例はこれに限られず種々変更可能であり、また、他のモード設定があっても構わない。
【００６６】
なお、以上では画像処理部124から出力される処理モード情報を取得してビット精度情報生成部125におけるビット精度生成手段を切り替える場合について説明したが、画像受信装置121内部にCPUを備え、前記CPUによって画像処理部124とビット精度情報生成部の処理モードを制御するという構成でも良い。
【００６７】
以上のように、カメラシステムの適用先を車載カメラシステムに限定することで、画像処理部124内部で行う処理の種類が限定されるため、ビット精度情報生成部125内部に保存しておくビット精度情報の設定パターンも限定され、設定パターン保存用のメモリを削減することができる。
【００６８】
更に、前記処理モード情報を車線検知モードとオーバービューモニタモードの2種類の切り替えに限定することで、更にビット精度情報の設定パターンを保存するメモリを削減でき、またモードが2種類しかない場合、現在使用しているモードによって、次に切り替えが発生したときに使用されるモードが一意に決まり、設定パターンが保存されているメモリ上のアドレスも特定することが出来るため、モードが切り替わった際に設定パターンを高速に読み込むことが出来る。
【００６９】
なお、以上ではMBのサイズを16×16画素として説明したが、MBのサイズは8×8画素や32×32画素といった16×16画素以外のサイズでも良い。また、形状も正方形に限らず、長方形等の別の多角形を用いても良い。MBの最小サイズは1画素である。
【００７０】
また、以上では車載カメラシステムを例に本発明の実施形態を説明したが、同様の画像送信装置101、画像受信装置121を用いた構成にて監視カメラシステムへ適用することも可能である。監視カメラの場合は、例えば画像認識処理によって画面内における人物等の動領域を検出し、動領域のみ高いビット精度、その他の背景部分には低いビット精度を動的に割り当てるといった制御を行えばよいが、これに限られるものではなく、例えば、画面内における通路等の人物等が動きうる領域を高いビット精度で、壁の上部等の領域を低いビット精度で割り当てるようにしてもよく、種々変更可能である。
【実施例２】
【００７１】
図13は、本発明に係る画像伝送システムの第2の実施形態の構成例を示す。なお、図13はビット精度情報生成部225が画像受信装置221ではなく画像送信装置201の内部に存在し、画像処理部124から出力される処理モード情報はネットワークIF222、ネットワークIF209を経由してビット精度情報生成部225へ入力される点以外は、基本的に図1と同様な構成である。
【００７２】
第1の実施形態での説明と同様な動作を行うものについては図1と同一の符号を付しており、それらの動作については適宜説明を省略する。
【００７３】
ネットワークIF222は、パケッタイズまたはフレーミングされたビットストリームを画像送信装置201から受信し、デパケッタイズまたはデフレーミングして復号部123へ出力する点は第1の実施形態と同様だが、ビット精度情報の代わりに、画像処理部124から出力されるADASの処理モード情報を入力し、パケッタイズまたはフレーミングして、画像送信装置201へ送信する。
【００７４】
ネットワークIF209は、ビットストリームをパケッタイズまたはフレーミングして画像送信装置221へ出力する点は第1の実施形態と同様だが、ビット精度情報の代わりにパケッタイズまたはフレーミングされた前記処理モード情報を受信し、デパケッタイズまたはデフレーミングしてビット精度情報生成部225へ出力する。
【００７５】
ビット精度情報生成部225は、ネットワークIF209から出力される処理モード情報を入力とし、内部で画面内の各MBのビット精度情報を設定し、前記各MBのビット精度情報を量子化制御部106へ出力する。
【００７６】
ここで、ビット精度情報生成部225では、第1の実施形態と同様な手法でビット精度情報を生成可能である。
【００７７】
第2の実施形態では、更に撮像部102からビット精度情報生成部225へ符号化対象画像を入力することで、符号化対象画像に応じたビット精度情報を設定することも可能である。
【００７８】
例えば、トンネル内や夜間に照明のある道路を走っている場合、車載カメラで撮影する画像には明るい領域と暗い領域とが混在する。ここで、撮像部102では光を画像信号に変換する際、1フレーム毎に入力光の強さによって、画像信号に変換する際のゲイン調整を行う。上記のように、明るい領域と暗い領域が1フレーム内に混在している場合には、明るい領域に合わせてゲイン調整が行われ、暗い領域では物体や人物と背景部分の画素値の差が小さくなる。このような状況下において、画像処理部124で例えば障害物検知等の画像認識処理を行いたい場合、暗い領域における物体・人物の検出精度が低下してしまう。
【００７９】
そこで、画像内の暗い領域、即ちMB内の平均輝度値が予め設定した閾値よりも小さいMBについては、入力画像の階調数を維持するためDMB= Din=12に設定する。逆に、MB内の平均輝度値が閾値よりも大きいMBについては、DMB=8と設定する。
【００８０】
以上のように、ビット精度情報生成部225を画像送信装置201内部に備えることで、符号化対象画像の画面内の各領域の特徴に応じて、認識処理への影響を考慮したビット精度情報を生成することが出来る。
【００８１】
なお、ここでは平均輝度を基にビット精度情報を設定する例について説明したが、MB毎のエッジ強度や分散値など、符号化対象画像を解析することで得られる他の指標を用いたり、組み合わせて使用することで設定しても良い。
【００８２】
また、前記ではビット精度情報が12ビットと8ビットの2種類の場合を例に説明したが、閾値を複数設定することにより、同様の手法で3種類以上のビット精度情報を設定することも可能である。
【００８３】
なお、本実施形態も監視カメラシステムへの適用が可能である。本実施形態を監視カメラシステムに適用する場合は、例えば上記と同様に、画像内の暗い部分とそれ以外の部分を判別し、暗い部分にのみ高いビット精度を割り当てるといった制御を行えばよいが、これに限られるものではなく、例えば、画面内における通路等の人物等が動きうる領域を高いビット精度で、壁の上部等の領域を低いビット精度で割り当てるようにしてもよく、種々変更可能である。
【符号の説明】
【００８４】
１０１・・・画像送信装置
１０２・・・撮像部
１０３・・・変換部
１０４・・・局所復号部
１０５・・・量子化部
１０６・・・量子化制御部
１０７・・・符号化部
１０８・・・QP設定部
１０９・・・ネットワークIF
１１０・・・予測部
１１１・・・周波数変換部
１２１・・・画像受信装置
１２２・・・ネットワークIF
１２３・・・復号部
１２４・・・画像処理部
１２５・・・ビット精度情報生成部
１２６・・・モニタ
１２７・・・スピーカ
１４０・・・ネットワーク
１５１・・・画像送信装置
１５２・・・画像送信装置
１５３・・・画像送信装置
２０１・・・画像送信装置
２０９・・・ネットワークIF
２２１・・・画像受信装置
２２２・・・ネットワークIF
２２５・・・ビット精度情報生成部
【図１】
2014082651.tif 000003
【図２】
2014082651.tif 000004
【図３】
2014082651.tif 000005
【図４】
2014082651.tif 000006
【図５】
2014082651.tif 000007
【図６】
2014082651.tif 000008
【図７】
2014082651.tif 000009
【図８】
2014082651.tif 000010
【図９】
2014082651.tif 000011
【図１０】
2014082651.tif 000012
【図１１】
2014082651.tif 000013
【図１２】
2014082651.tif 000014
【図１３】
2014082651.tif 000015
【図１４】
2014082651.tif 000016
【図１５】
2014082651.tif 000017
【図１６】
2014082651.tif 000018