(57)【要約】【課題】カメラで撮影した画像を中央制御装置で画像処理する撮像システムにおいて、画像処理に必要な時間を確保しつつ、全体の遅延時間の増大を防止すること。【解決手段】カメラ１０は、撮影した画像から画像処理に用いる画像特徴情報を生成する映像処理回路１３と、画像特徴情報を含む画像情報２１を中央制御装置３０に伝送する伝送処理回路１４とを備える。中央制御装置３０は、伝送された画像特徴情報を用いて特定被写体の抽出や認識の画像処理を行う画像処理回路３３を備える。ここに伝送処理回路１４は中央制御装置に画像情報を伝送するとき、画像処理に用いる画像特徴情報を当該映像フレーム内で先行して伝送する。好ましくは、画像特徴情報は、撮影画像の縮小画像、または撮影画像の輝度信号である。【選択図】図１
2009267924.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影した画像を中央制御装置に伝送し、特定被写体の抽出や認識の画像処理を行って画像表示する撮像システムにおいて、
上記カメラは、撮影画像から上記中央制御装置にて画像処理に用いる画像特徴情報を生成する映像処理回路と、上記画像特徴情報を含む画像情報を上記中央制御装置に伝送する伝送処理回路とを備え、
上記中央制御装置は、上記カメラから伝送された上記画像特徴情報を用いて特定被写体の抽出や認識の画像処理を行う画像処理回路と、処理した画像を合成して画像表示部に表示する表示処理部を備えることを特徴とする撮像システム。
【請求項２】
請求項１に記載の撮像システムにおいて、
前記カメラと前記中央制御装置は共通の同期信号に基づいて前記撮影画像を映像フレーム毎に処理し、
前記伝送処理回路は前記中央制御装置に前記画像情報を伝送するとき、画像処理に用いる前記画像特徴情報を当該映像フレーム内で先行して伝送することを特徴とする撮像システム。
【請求項３】
請求項１または２に記載の撮像システムにおいて、
前記画像特徴情報は、前記撮影画像の縮小画像、または前記撮影画像の輝度信号であることを特徴とする撮像システム。
【請求項４】
カメラで撮影した画像を中央制御装置に伝送し、特定被写体の抽出や認識の画像処理を行って画像表示する画像処理方法において、
上記カメラは、撮影画像から上記中央制御装置にて画像処理に用いる画像特徴情報を生成し、該画像特徴情報を含む画像情報を上記中央制御装置に伝送し、
上記中央制御装置は、上記カメラから伝送された上記画像特徴情報を用いて特定被写体の抽出や認識の画像処理を行い、処理した画像を合成して画像表示部に表示することを特徴とする画像処理方法。
【請求項５】
請求項４に記載の画像処理方法において、
前記カメラと前記中央制御装置は共通の同期信号に基づいて前記撮影画像を映像フレーム毎に処理し、
前記カメラは前記中央制御装置に前記画像情報を伝送するとき、画像処理に用いる前記画像特徴情報を当該映像フレーム内で先行して伝送することを特徴とする画像処理方法。
【請求項６】
請求項４または５に記載の画像処理方法において、
前記画像特徴情報は、前記撮影画像の縮小画像、または前記撮影画像の輝度信号であることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像した画像信号から特定被写体の抽出や認識等の画像処理を行う撮像システムおよび画像処理方法に関する。
【背景技術】
【０００２】
自動車ボディにカメラを設置し、車両周囲をモニタリングして運転者の死角画像をモニタに表示するなど、さまざまな運転補助機能を提供する撮像システムが実用化されている。さらには、撮影画像をモニタに表示するだけでなく、画像処理技術を用いて撮影画像の中から特定の被写体を抽出するなどの機能を有する撮像システムも可能になっている。特定の被写体としては、たとえば、撮影画像中の輝度情報や輪郭情報から道路上の車線白線（レーン）を検出したり、赤外線画像からパタンマッチング法などにより人物を検出したりすることができる。このような機能を実装した撮像システムは、自動車ボディに単数または複数のカメラを装着し、カメラからの画像信号を中央制御装置に伝送して演算処理し、抽出した被写体の画像を表示する構成となっている。
【０００３】
車載用撮像システムにおいては、カメラで撮影した画像をモニタに瞬時に表示する必要があり、カメラの撮像素子での結像からモニタでの画像表示に至るまでの遅延時間をいかに短縮するかが重要である。ＣＣＤやＭＯＳなど一般的な撮像素子は、受光面の画素信号を走査して順次画像信号を出力する。従って、カメラから中央制御装置への伝送を最小の遅延時間で行うには、撮像素子の走査順序通りに画素信号を伝送し表示することが最も効率が良い。さらに、カメラと中央制御装置との同期方法や効率的な画像信号の伝送方法に関して、さまざまな方式の提案がなされている。例えば特許文献１には、カメラの数や走行状況に応じて撮影画像の出力フォーマットを切換える車載カメラシステムが開示される。また特許文献２には、複数のカメラで撮像した同期性のない映像を１フレームの映像に配置する場合、フィールド単位でアドレス変換処理を開始する映像信号処理装置が開示される。
【０００４】
【特許文献１】特開２００４−２１６９８４号公報
【特許文献２】特開２００６−１８０３４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前記特許文献１や特許文献２に記載の技術によれば、カメラで撮影した画像信号を効率良く中央制御装置に伝送することが可能である。しかしながら、中央制御装置にて上記した白線（レーン）検出や人物抽出などの画像処理を行う場合、複雑な演算処理を必要とすることから処理時間が増大する。その結果、処理結果の画像を表示するまでの遅延時間を増大させる要因となる。画像処理のために高度な機能を付加するほど遅延時間は増大する傾向にあり、画像処理の高機能化と表示遅延時間の短縮化とは相反する要請となっていた。これを解決するには、カメラでの撮像から、伝送、中央制御装置での画像処理といった全体の処理の流れを考慮して、遅延時間の増大を防止する必要がある。従来の技術では、このような観点で充分な配慮がなされていなかった。
【０００６】
本発明の目的は、中央制御装置での画像処理に必要な時間を確保しつつ、撮像システム全体としての遅延時間の増大を防止できる撮像システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、カメラで撮影した画像を中央制御装置に伝送し、特定被写体の抽出や認識の画像処理を行って画像表示する撮像システムであって、カメラは、撮影画像から中央制御装置にて画像処理に用いる画像特徴情報を生成する映像処理回路と、画像特徴情報を含む画像情報を中央制御装置に伝送する伝送処理回路とを備え、中央制御装置は、カメラから伝送された画像特徴情報を用いて特定被写体の抽出や認識の画像処理を行う画像処理回路と、処理した画像を合成して画像表示部に表示する表示処理部を備える。
【０００８】
ここに伝送処理回路は中央制御装置に画像情報を伝送するとき、画像処理に用いる画像特徴情報を当該映像フレーム内で先行して伝送する。好ましくは、画像特徴情報は、撮影画像の縮小画像、または撮影画像の輝度信号である。
【０００９】
本発明は、カメラで撮影した画像を中央制御装置に伝送し、特定被写体の抽出や認識の画像処理を行って画像表示する画像処理方法であって、カメラは、撮影画像から中央制御装置にて画像処理に用いる画像特徴情報を生成し、画像特徴情報を含む画像情報を中央制御装置に伝送し、中央制御装置は、カメラから伝送された画像特徴情報を用いて特定被写体の抽出や認識の画像処理を行い、処理した画像を合成して画像表示部に表示する。
【発明の効果】
【００１０】
本発明によれば、カメラで撮影した画像の画像処理を快適に行い、リアルタイム性に優れた撮像システムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
図１は、本発明による撮像システムの一実施例を示すシステム構成図である。
本実施例の撮像システムは、車両に４台のカメラＡ，Ｂ，Ｃ，Ｄ（符号１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ）を設置し、各カメラ１０からの画像信号を伝送路２０を介して中央制御装置３０に伝送し、中央制御装置３０において各画像の合成と特定の被写体の抽出処理を行い、画像表示部４０に表示する構成である。実施例ではカメラを４台設置したが、適宜必要な台数（１台の場合も含む）とすれば良い。画像処理機能としては、白線（レーン）検出、人物抽出などの画像処理を行い、画像表示部４０上に、符号４１，４２に示すような、白線（レーン）や人物の位置を示すマーカー等を表示する。
【００１２】
画像処理を効率よく実行するために、各カメラ１０Ａ〜１０Ｄと中央制御装置３０は、共通の映像フレーム同期信号を元に同期制御される。この同期信号は中央制御装置３０から発行するが、カメラ側から発行することもできる。また、中央制御装置３０にて画像処理を迅速に実行するために、各カメラから、画像処理実行上必要となる画像の一部情報ないし画像からの抽出情報（以下、画像特徴情報と呼ぶ）を付加したり時間的に優先して伝送するようにした。以下、カメラから中央制御装置３０に伝送する画像信号を画像情報とも呼ぶ。
【００１３】
各カメラ１０Ａ〜１０Ｄにおいては、光学系１１から撮像素子１２に結像した映像は、映像処理回路１３で処理される。映像処理回路１３は、撮影画像に対してワイドダイナミックレンジ処理や縮小画像の生成処理を施す。
【００１４】
まず、ワイドダイナミックレンジ処理について説明する。中央制御装置３０にて画像処理を有効に実施するためには、白とびや黒沈みのない適正なコントラストが確保された画像を提供する必要がある。特に自動車用途では、対向車のヘッドライトを浴びたときやトンネルの出口に差し掛かったときなどに白とびや黒沈みが生じやすく、そういった高コントラスト被写体への対応が重要になる。ワイドダイナミックレンジ技術はこれに対処するための手法である。具体的には、露出時間を変更して例えば２回の撮像を行い、２枚の撮影画像を一旦メモリ１５に格納し、混合比率を調整しながら広いダイナミックレンジの出力画像を生成するものである。
【００１５】
次に縮小画像生成は、画像サイズ（画素数）を縮小した画像を作成する。中央制御装置３０にて行う画像処理は特定の被写体を抽出するものであるから、被写体のサイズに応じた分解能を有する縮小画像を提供することで抽出処理の高速化を図ることができる。縮小画像生成の簡便な方法としてサンプリング法がある。この方法は画素値を単純に間引くものであるが、ノイズ成分が混入し偽信号を発生する場合がある。縮小画像生成のもう１つの方法としてスケーリング法がある。この方法は縮小元領域の画素値の平均を求めて代表させるもので、偽信号の発生を少なくすることができる。対象とする被写体の種類に応じて、生成方法を適宜選択すれば良い。縮小画像生成処理は、メモリ１５内の画素の配列に従って順次処理するので、入力画像データに対して遅延時間が少なくほぼリアルタイムで処理することができる。
【００１６】
映像処理回路１３で処理された画像は、再度メモリ１５に格納される。伝送処理回路１４は、メモリ１５に格納された画像データを所定の順序で読み出し、伝送路２０に向けて送信する。伝送する画像情報２１は、画像処理に用いる画像特徴情報（縮小画像、輝度信号）を含み、また後述するデータフォーマットとしている。
【００１７】
中央制御装置３０では、伝送路２０から受信した各カメラの画像情報２１を、伝送処理回路３１を介して、一旦メモリ３２に格納する。画像処理回路３３は、受信した画像から白線（レーン）検出、人物抽出などの画像処理を行う。その際、画像情報２１に含まれる画像特徴情報（縮小画像、輝度信号）を用いることで、画像処理を効率良く実行する。表示処理回路３４は、各カメラからの画像について視点変換処理、画像合成処理などを施し、抽出した被写体を含めて合成画像を生成して画像表示部４０に出力する。
【００１８】
本実施例では、カメラ１０から中央制御装置３０に伝送する画像情報２１のフォーマットに特徴があるが、以下、それについて説明する。
図２は、比較のために従来の画像情報のフォーマットの例を示す図である。ここでは、最も標準的なデジタル映像伝送規格であるＣＣＩＲ６５６フォーマットに準拠させた場合の信号配列を示す。
【００１９】
この場合の画像情報は、映像フレーム同期信号のタイミングＴ２００に基づいて、輝度信号（Ｙ）と色差信号（Ｕ，Ｖ）を交互に送信する。そして１つの映像フレーム０１の信号を全て送信したタイミングＴ２０１にて、中央制御装置３０のメモリ３２には映像フレーム０１のデータが全て揃うことになる。
【００２０】
このタイミングＴ２０１にて、画像処理回路３３は、白線認識や人物抽出のための認識抽出処理２１０を開始する。また表示処理回路３４は、表示画像を生成するために各カメラの画像の合成処理２２０を開始する。これらの処理結果を次の映像フレーム０２での表示画像に反映させようとする場合、それぞれの処理を、次の映像フレーム０２の同期信号のタイミングＴ２０２（表示開始時刻）までに完了させねばならない。
【００２１】
このうち、表示処理回路３４による表示処理２２０においては、画面の合成方法や演算方法を頻繁に変更することは必要がないため処理回路の大半をハードウェア化し易い。よって、処理時間が短くても大きな問題とはならない。しかしながら画像処理回路３３による認識抽出処理２１０においては、刻一刻と変化する画像に対して様々な処理の分岐や参照画像との比較、過去画像の参照による動きベクトルの導出などの処理が複合的に行われる。よって、必然的にマイクロプロセッサによるソフトウェア処理が関与する割合が高くなる。従って、短い処理時間では対応が困難であり、画像表示の遅れや破綻が発生することになる。
【００２２】
これに対し図３は、本実施例における画像情報のフォーマットの一例を示す図である。この場合のカメラ１０から中央制御装置３０へ伝送する画像情報は、映像フレーム０１の同期信号のタイミングＴ３００に基づいて、まず人物抽出のパタンマッチング用に使用する縮小画像（Ｓ）を先行して送信する。次に、タイミングＴ３０１にて白線検出に使用する輝度信号（Ｙ）を、最後にタイミングＴ３０２にて色差信号（Ｕ，Ｖ）の順に送信する。ここで縮小画像（Ｓ）は、映像処理回路１３により映像フレーム０１の画像データを用いて作成されたもの、すなわち、輝度信号（Ｙ）や色差信号（Ｕ，Ｖ）と同一フレームに属するものである。また伝送処理回路１４は、メモリ１５に格納された画像信号から上記の各タイミングで、最初に縮小画像（Ｓ）、次に輝度信号（Ｙ）、最後に色差信号（Ｕ，Ｖ）の順に読み出すことで、上記のデータフォーマットを得る。
【００２３】
本実施例の場合、画像処理回路３３は、Ｔ３０１にて縮小画像（Ｓ）を用いて人物抽出処理３１０を迅速に開始することができる。次に、Ｔ３０２にて輝度信号（Ｙ）を用いて白線認識処理３２０を迅速に開始することができる。その結果、前記図２と比較し、次の映像フレーム０２の同期信号のタイミングＴ３０４までの処理時間は大幅に拡大され、画像処理回路３３による認識抽出処理３１０，３２０を余裕を持って実行することができ、処理が破綻することを防止できる。本実施例では、縮小画像（Ｓ）を第１優先、輝度信号（Ｙ）を第２優先として伝送したが、画像処理の目的に応じてこれらの順序を入れ替えても良い。
【００２４】
なお、本実施例では、映像フレーム０１のデータが全て揃うタイミングＴ３０３は、縮小画像（Ｓ）を伝送する時間だけ後半にずれ込むことになる。そのため、表示処理回路３４による表示処理３３０は遅れたタイミングＴ３０３から開始することになり、前記図２と比較し処理時間は短くなるが、前述した理由により元々余裕があるので影響は少ない。
【００２５】
本実施例によれば、中央制御装置３０での認識・抽出処理の開始タイミングを早めるとともに演算処理時間を十分確保するようにしたので、撮像から表示に至るまでの全体の遅延時間の増大を抑えた撮像システムを提供することができる。
【００２６】
なお、本実施例では、中央制御装置において縮小画像を用いたパタンマッチングによる人物抽出処理、および、輝度信号を用いた白線認識を行うこととして説明したが、必ずしもこれらに限定するものではない。例えば撮影画像から被写体のエッジ情報を抽出して、画像処理用の情報として用いることができる。中央制御装置で行う抽出・認識処理の方式にあわせて、それらの処理に必要な画像特徴情報を画像情報内で優先して伝送することで、同様の効果が得られることは言うまでもない。
【図面の簡単な説明】
【００２７】
【図１】本発明による撮像システムの一実施例を示すシステム構成図。
【図２】従来の画像情報のフォーマットの例を示す図。
【図３】本実施例における画像情報のフォーマットの一例を示す図。
【符号の説明】
【００２８】
１０…カメラ、
１１…光学系、
１２…撮像素子、
１３…映像処理回路、
１４…伝送処理回路、
１５…メモリ、
２０…伝送路、
２１…画像情報、
３０…中央制御装置、
３１…伝送処理回路、
３２…メモリ、
３３…画像処理回路、
３４…表示処理回路、
４０…画像表示部、
４１…マーカー信号（白線）、
４２…マーカー信号（人物）。
【図１】
2009267924.tif 000003
【図２】
2009267924.tif 000004
【図３】
2009267924.tif 000005