(57)【要約】【課題】モニタリング用のモニタに応じた画素数の動画を出力するとともに、コスト等に基づく集積回路（演算装置）の制限に応じた演算量で画像認識を行い、高画素数の画像を有効に利用可能なステレオ撮像装置を提供する。【解決手段】ステレオ撮像装置は、撮像された画像信号を出力する第１画像センサ１と、第２画像センサ２とを備える。モニタリングおよび視差検出用信号生成手段４と視差検出用信号生成手段５は、二つの画像センサ１、２の二つの画像信号から視差を検出するための二つの視差検出用信号を生成するとともに、一方の画像センサからの画像信号からモニタに出力されるモニタリング信号を生成する。第１縮小処理回路１４は、モニタリング信号を設定された縮小率で縮小して出力する。第２縮小処理回路１６は、前記視差検出用信号で示される画像の任意の範囲を任意の縮小率となるように変換して前記視差検出用信号を出力する。【選択図】図１
2018207259.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラで撮影された画像信号をモニタリング用のモニタに出力するとともに、前記画像信号の視差から少なくとも距離画像を生成する画像認識手段に出力するステレオ撮像装置であって、
前記画像信号を出力する二つの画像センサと、
二つの前記画像信号から視差を検出するための二つの視差検出用信号を生成する視差検出信号生成手段と、
一方の前記画像センサからの画像信号からモニタに出力されるモニタリング信号を生成するモニタリング信号生成手段と、
前記視差検出信号を縮小して出力する視差検出信号縮小手段と、
前記モニタリング信号を縮小して出力するモニタリング信号縮小手段とを備えることを特徴とするステレオ撮像装置。
【請求項２】
前記視差検出信号生成手段および前記モニタリング信号生成手段は、２本以上のラインメモリを備え、前記ラインメモリを用いてモニタリング信号の同時化処理と、前記視差検出用信号の平滑化処理を行うことを特徴とする請求項１に記載のステレオ撮像装置。
【請求項３】
前記視差検出信号縮小手段と、前記モニタリング信号縮小手段は、それぞれ複数のラインメモリを備え、前記ラインメモリを用いてサブサンプリングすることを特徴とする請求項１または２に記載のステレオ撮像装置。
【請求項４】
前記視差検出信号生成手段および前記モニタリング信号生成手段は、フレームメモリを備え、前記フレームメモリを用いてモニタリング信号の同時化処理と、前記視差検出用信号の平滑化処理を行うことを特徴とする請求項１に記載のステレオ撮像装置。
【請求項５】
前記視差検出信号縮小手段と、前記モニタリング信号縮小手段は、それぞれフレームメモリを備え、前記フレームメモリを用いて前記視差検出信号および前記モニタリング信号を縮小することを特徴とする請求項１または２に記載のステレオ撮像装置。
【請求項６】
前記視差検出信号縮小手段は、前記視差検出信号で表される画像を元のサイズより小さく切り出して画像の画素数を減少させた前記視差検出信号を出力可能になっていることを特徴とする請求項１から５のいずれか1項に記載のステレオ撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラとしてモニタリング用画像の出力と視差検出用画像の出力を行うステレオ撮像装置に関する。
【背景技術】
【０００２】
一般に監視カメラでは、画像を撮影してモニタに表示させ、この画像を人がリアルタイムで監視したり、画像を記憶して事件発生後に事件を確認するのに利用されたりする。近年は、ＡＩ（人工知能）技術の発達に伴い、画像認識により、特定の人物の存在を自動で検知したり、立入禁止区域への不審者の侵入を自動で検知したりすることが可能である。
【０００３】
一方、立体撮影を行うためのステレオカメラを用いて、ステレオカメラを構成する２台のカメラの画像上の視差から対象物までの距離を求めるなどし、これを監視に利用することが提案されている（特許文献１参照）。画像認識用の画像にステレオカメラの二つの画像を用いることで対象物の立体構造が算出できるので、画像認識の精度を高めることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１０９７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、デジタルカメラにおいては、使用されるイメージ（画像）センサの画素数が多くなる傾向があり、動画においても、所謂フルハイビジョンの画素数より大きな所謂４ｋ動画や８Ｋ動画を撮影するカメラが知られている。監視カメラにおいても、イメージセンサの画素数が多くなる傾向であり、画素数の大きなイメージセンサを用いる要求がある。しかし、モニタリングに使用されるモニタには、通常、フルハイビジョンより解像度の低いモニタが用いられることが多く、通常のモニタで４ｋ以上の動画を表示することは不可能である。
【０００６】
また、画像認識においては、集積回路により画像認識の演算処理が行われるが、コストと処理能力や、データ転送速度との関係から高画素数のイメージセンサからの出力を処理することが難しく、処理上のフレームレートを下げるなどの必要がある。この場合に、モニタにイメージセンサから出力される動画のフレームレートを画像認識の集積回路への出力と同様に低減してしまうと、フレームレートが低過ぎて見づらい動画になってしまうなどの問題がある。
【０００７】
また、モニタリング用の画像と、画像認識用の画像との両方を縮小することが考えられるが、単純に縮小した画像データをモニタ出力と画像認識の両方で用いた場合に高画素数のイメージセンサを用いる意味がない。
【０００８】
本発明は、前記事情に鑑みてなされたものであり、モニタリング用のモニタに応じた画素数の動画を出力するとともに、コスト等に基づく集積回路（演算装置）の制限に応じた演算量で画像認識を行える画素数およびフレームレートの動画を別に出力することが可能なステレオ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記課題を解決するために、本発明のステレオ撮像装置は、ステレオカメラで撮影された画像信号をモニタリング用のモニタに出力するとともに、前記画像信号の視差から少なくとも距離画像を生成する画像認識手段に出力するステレオ撮像装置であって、
前記画像信号を出力する二つの画像センサと、
二つの前記画像信号から視差を検出するための二つの視差検出用信号を生成する視差検出信号生成手段と、
一方の前記画像センサからの画像信号からモニタに出力されるモニタリング信号を生成するモニタリング信号生成手段と、
前記視差検出信号を縮小して出力する視差検出信号縮小手段と、
前記モニタリング信号を縮小して出力するモニタリング信号縮小手段とを備えることを特徴とする。
【００１０】
このような構成によれば、ステレオカメラであるステレオ撮像装置からモニタに出力されるモニタリング信号と、左右二つの視差検出用信号が出力される。したがって、ステレオ撮像装置にモニタと視差検出に基づく距離画像の生成や画像認識を行う演算装置を接続することで、モニタリングと距離画像を用いた画像認識の両方が可能となる。この際に、モニタリング信号と、視差検出用信号とがそれぞれ別に縮小できるので、モニタに応じた縮小率でモニタリング信号を出力し、画像認識等を行う演算装置の処理能力に応じた縮小率およびフレームレートで視差検出用信号を出力できる。また、視差検出において、フレームレートや画像の縮小率が変わってもモニタ側ではフレームレートも縮小率も変わらず、モニタリングに支障がでることがない。
【００１１】
本発明の前記構成において、前記視差検出信号生成手段および前記モニタリング信号生成手段は、２本以上のラインメモリを備え、前記ラインメモリを用いてモニタリング信号の同時化処理と、前記視差検出用信号の平滑化処理を行うことが好ましい。
このような構成によれば、ステレオ撮像装置のコストの低減を図ることができる。
【００１２】
また、本発明の前記構成において、前記視差検出信号縮小手段と、前記モニタリング信号縮小手段は、それぞれ複数のラインメモリを備え、前記ラインメモリを用いてサブサンプリングすることが好ましい。
このような構成によれば、ステレオ撮像装置のコストの低減を図ることができる。
【００１３】
また、本発明の前記構成において、前記視差検出信号生成手段および前記モニタリング信号生成手段は、フレームメモリを備え、前記フレームメモリを用いてモニタリング信号の同時化処理と、前記視差検出用信号の平滑化処理を行うことが好ましい。
このような構成によれば、容易にモニタリング信号および視差検出信号を生成できる。
【００１４】
また、本発明の前記構成において、前記視差検出信号縮小手段と、前記モニタリング信号縮小手段は、それぞれフレームメモリを備え、前記フレームメモリを用いて前記視差検出信号および前記モニタリング信号を縮小することが好ましい。
このような構成によれば、視差検出信号およびモニタリング信号を縮小することができる。
【００１５】
また、本発明の前記構成において、前記視差検出信号縮小手段は、前記視差検出信号で表される画像を元のサイズより小さく切り出して画像の画素数を減少させた前記視差検出信号を出力可能になっていることが好ましい。
このような構成によれば、視差検出用信号を出力する際に縮小率を調整するだけではなく画像を切り出す範囲を変更することで画像信号のデータ量を変更可能であり、例えば、縮小された画像上で顏が検知された場合に、その部分だけ縮小せずに切り出して高精細な顔の画像を用いて顏の記憶されたデータとの照合を行うことが可能となる。これにより高精細な画像センサのデータを有効に利用できる。
【発明の効果】
【００１６】
本発明によれば、ステレオカメラからモニタリング信号と視差を用いる画像認識のための視差検出信号をそれぞれ異なる縮小率で出力することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の実施の形態のステレオ撮像装置を示すブロック図である。
【図２】同、ステレオ撮像装置の画像センサのカラーフィルタの配列を示す図である。
【図３】同、モニタリングおよび視差検出用信号生成手段を示すブロック図である。
【図４】同、ラインメモリ部を示すブロック図である。
【図５】同、色同時化処理回路を示すブロック図である。
【図６】同、垂直同時化回路を示すブロック図である。
【図７】同、水平同時化回路を示すブロック図である。
【図８】同、色／輝度処理回路を示すブロック図である。
【図９】同、（ａ）は色マトリクス処理の式を示すとともに式中のＡマトリクスの例を示す図であり、（ｂ）は輝度マトリクス処理の式を示すとともに式中のＢマトリクスの例を示す図であり、（ｃ）はホワイトバランス処理の式を示す図である。
【図１０】同、垂直フィルタリング処理回路を示すブロック図である。
【図１１】同、水平フィルタリング処理回路を示すブロック図である。
【図１２】同、第１縮小処理回路を示すブロック図である。
【図１３】同、第２縮小処理回路を示すブロック図である。
【図１４】同、第２縮小処理回路を示すブロック図である。
【図１５】同、モニタリング信号および視差検出用信号の出力を説明する図である。
【図１６】同、モニタリング信号および視差検出用信号の出力を説明する図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について説明する。
本実施の形態のステレオ撮像装置は、例えば、監視カメラや車載カメラ等の主に監視に係るカメラとしてステレオカメラを用いたものであるが、立体映像を出力するためのものではなく、モニタリング用のモニタ画像出力と、視差検出用の二つの画像出力とを行う。本実施の形態のステレオ撮像装置では、例えば、モニタリング用にステレオカメラの二つの画像のうちの一方の画像を用いて、二次元のカラー画像を出力する。また、二つの画像をグレースケールの視差検出用画像として出力する。視差検出用画像は、二つの画像の視差を求めることで、各画素の距離を示す距離画像を算出するための画像である。
【００１９】
本実施の形態のステレオ撮像装置は、図１に示すように、撮像手段である第１画像センサ１および第２画像センサ２と、これら第１画像センサ１および第２画像センサ２を同期する同期化手段３と、第１画像センサ１の出力信号が入力された場合に、モニタリング用の画像信号であるモニタリング信号を出力するとともに、左右の視差検出用信号のうちの一方の視差検出用信号を出力するモニタリングおよび視差検出用信号生成手段４と、他方の視差検出用信号を出力する視差検出用信号生成手段５と、左右の視差検出用信号から視差検出を行い各画素が距離で示される距離画像を出力する視差検出手段６とを備える。なお、視差検出手段６は、ステレオ撮像装置に含まれるものとしても、ステレオ撮像装置の外部にあってステレオ撮像装置に接続されるものであってもよい。
【００２０】
第１および第２画像センサ１、２および同期化手段３は、ステレオカメラを構成するものであり、左右で同期した一対の画像（動画）データを出力するものである。また、ステレオカメラの第１画像センサ１および第２画像センサ２は、可視光による撮影と近赤外光による撮影とが可能なものであり、通常のカメラに使用される赤外カットフィルタに代えてダブルバンドパスフィルタ（ＤＢＰＦ）を用いたものである。なお、赤外カットフィルタを備えて可視光だけを撮影するものであってもよい。
第１および第２の画像センサ１，２には、可視画像と赤外画像を撮影するカメラとして、可視光帯域の光と、近赤外光帯域の光とを透過するＤＢＰＦと、赤Ｒ、緑Ｇ、青Ｂの画素領域に加えて赤外ＩＲおよび可視光の略全てを透過する白Ｗの画素領域をモザイク状に有するカラーフィルタとが備えられている。
【００２１】
ＤＢＰＦは、可視光帯域に透過特性を有し、可視光帯域の長波長側に隣接する第１の波長帯域に遮断特性を有し、第１の波長帯域内の一部分である第２の波長帯域に透過特性を有する光学フィルタである。この可視光帯域と第２の波長帯域の間の波長帯域（第１の波長帯域の一部）は、光に対して遮断特性を有する。本実施の形態のステレオカメラでは、通常のカメラで用いられる赤外カットフィルタを用いていないため、赤外光は、ＤＢＰＦの赤外光帯域（第２の波長帯域）を透過するとともに、カラーフィルタの白Ｗ画素領域を透過する。この際に赤外光は、ダイクロイックのカラーフィルタの白Ｗ画素領域を透過するだけではなく、Ｒ、Ｇ、Ｂの各画素領域を透過してしまう。すなわち、カラーフィルタには、赤外光を透過する特性があり、通常のカメラでは赤外カットフィルタを用いて赤外光の影響を排除している。
【００２２】
本実施の形態では、例えば、計算により最終的に、可視光の画像と赤外光の画像を得るようになっている。なお、カラーフィルタの上述の白Ｗの画素領域は、実際には白ではなく、可視光と赤外光を透過する無色透明な領域である。
【００２３】
図２は、第１および第２の画像センサのカラーフィルタにおける各色の画素領域の基本配列を示すもので、カラーフィルタは、この基本配列を多数繰り返し配置したパターンとなっている。なお、カラーフィルタの配列は、図２に示されるものに限定されるものではない。
【００２４】
第１および第２の画像センサ１、２からは、カラーフィルタに対応した信号が出力されることになる。出力された画像信号は、第１の画像センサ１からモニタリングおよび視差検出用信号生成手段４に出力され、第２の画像センサ２から視差検出用信号生成手段５に送られる。
【００２５】
図３に示すように、モニタリングおよび視差検出用信号生成手段４は、ラインメモリ部１１を有し、後述の複数本のラインメモリを用いてモニタリング信号と一方の視差検出用信号を生成する。モニタリング信号の生成では、第１画像センサ１からの出力信号から色同時化処理（色同時化処理回路１２）を行う。すなわち、内挿処理による補間を行う。これにより、全ての画素が赤Ｒ領域の画像（フレーム）と、全ての画素が緑Ｇ領域の画像（フレーム）と、全ての画素が青Ｂ領域の画像（フレーム）、全ての画素が白Ｗ（赤外ＩＲ）領域の画像（フレーム）を作成する。
【００２６】
モニタリング信号生成では、次に、例えば、ＲＧＢ信号を輝度と色差（例えば、Ｙ、Ｃｂ、Ｃｒ）信号に変換する色／輝度処理（色／輝度処理回路１３）を行い、次いで第１縮小処理（第１縮小処理回路１４（モニタリング信号縮小手段））を行う。また、視差検出用信号生成では、視差を求める際に色を必要としないので、同時化せずにラインメモリを用いてＲＧＢＷを平滑化した所謂グレースケール（輝度信号）の画像信号を視差検出用信号として生成する視差検出用信号処理（視差検出用信号処理回路１５）を行い、次いで第２縮小処理（第２縮小処理回路１６（視差検出信号縮小手段））を行う。
【００２７】
図４に示すように上述のラインメモリ部１１では、例えば、２本のラインメモリ２１、２２を用い第１画像センサ１から出力されるＲＧＢＷの信号をスルーの出力と第１ラインメモリ２１の出力と第２ラインメモリ２２の出力とからの三つの位相に分けて出力する。なお、第１画素センサ１からの信号出力は、図２に示すカラーフィルタの配列に基づいて白Ｗと赤Ｒが交互となるＷＲＷＲＷＲ…の信号と、緑Ｇと青Ｂが交互となるＧＢＧＢＧＢ…の信号が繰り返される状態となる。このスルー、ラインメモリ２１、２２からの信号を用いてモニタリング信号の生成と、視差検出用信号の生成が行われる。
【００２８】
図５に示すように、色同時化処理回路１２では、画像の垂直方向の垂直同時化回路３１と、画像の水平方向の二つの水平同時化回路３２、３３を有する。垂直同時化回路３１では、上述のカラーフィルタ配列により水平方向の走査でＷＲＷＲＷＲ…とＢＧＢＧＢＧ…との繰り返しとなる信号をＷＲＷＲＷＲ…だけの信号と、ＢＧＢＧＢＧ…だけの信号とする。
すなわち、図６に示すように、色同時化処理回路１２の垂直同時化回路３１では、第１画像センサ１（第２画像センサ２）から出力される出力信号に対して、２つのラインメモリ２１、２２と加算処理部２４と、二つのライン切替スイッチ２５、２６を利用して垂直方向の同時化処理を行う。図２に示す画素配列において、第１画像センサ１からの出力は、例えば、水平方向の画素１列分の出力としてＷＲＷＲＷＲＷＲ・・・という１ラインの出力の後に、次の画素一列分のＢＧＢＧＢＧＢＧ・・・という１ラインの出力を行うことを繰り返すもので、これが第１画像センサ１からのスルーの信号となる。
【００２９】
それに対して、第１ラインメモリ２１では、上述の１ライン分を記憶してから出力されるので、スルーの出力信号より１ライン分遅れて出力される。さらに、第２ラインメモリ２２では、第１ラインメモリ２１の１ライン分の出力を記憶してから出力するのでスルーに対して２ライン分遅れた状態となる。これを第１ラインメモリ２１の出力を基準にして考えると、第１ラインメモリ２１の出力に対してスルーの出力は１ライン分早く、第２ラインメモリ２２の出力は１ライン分遅くなる。
【００３０】
また、１ライン分の出力は、白Ｗと赤Ｒの出力だけとなるか、緑Ｇと青Ｂの出力だけとなる。この場合に第１ラインメモリ２１の出力を基準とすると、第１ラインメモリ２１の出力が緑Ｇと青Ｂの場合に、スルーと第２ラインメモリ２２の出力が白Ｗと赤Ｒとなる。また、第１ラインメモリ２１の出力が白Ｗと赤Ｒの場合に、スルーと第２ラインメモリ２２の出力が緑Ｇと青Ｂとなる。そこで、第１ラインメモリ２１の出力と、スルーおよび第２ラインメモリ２２の出力とを組合せて、白Ｗと赤Ｒだけの出力信号と、緑Ｇと青Ｂだけの出力信号が同時に出力されるようにしている。
【００３１】
図６に示すように、スルーの出力の１／２と、第２ラインメモリ２２の出力の１／２とを加算処理部２４で足し合わせて白Ｗと赤Ｒの出力または緑Ｇと青Ｂの出力を生成している。すなわち、水平方向と垂直方向の両方に沿うマトリックス状の画素群において、基準となる水平な１列の画素の出力信号に、その上の水平な１列の画素の出力と、その下の水平な１列の画素の出力との平均となる出力を組合せている。
また、１ライン分の出力毎に第１ラインメモリ２１、第２ラインメモリ２２、スルーの出力が白Ｗおよび赤Ｒの出力と、緑Ｇおよび青Ｂの出力とが入れ替わるとともに、第１ラインメモリ２１の出力に対して、スルーおよび第２ラインメモリ２２の出力が白Ｗおよび赤Ｒの出力と、緑Ｇおよび青Ｂの出力とで常に逆となる。
したがって、第１ラインメモリ２１の出力が白Ｗおよび赤Ｒの出力と、緑Ｇおよび青Ｂの出力とで切り替わり、加算処理部２４の出力が緑Ｇおよび青Ｂの出力と、白Ｗおよび赤Ｒの出力とで切り替わる。そこで、ライン切替スイッチ２５、２６により、第１ラインメモリ２１の出力と、加算処理部２４の出力とを切り替えて、一方の端子からは撮影中に常時白Ｗと赤Ｒの信号が出力され、他方の出力端子からは撮影中に常時緑Ｇと青Ｂの信号が出力されるようにしている。これにより、垂直方向の同時化処理が行われたことになる。
【００３２】
以上のように生成されたＷＲＷＲＷＲ…の信号と、ＢＧＢＧＢＧ…の信号が水平同時化回路３２、３３に送られる。次に、図７に示す水平同時化回路３２では、水平方向の同時化処理が行われる。水平同時化回路３２は、第１レジスタ４１、第２レジスタ４２、画素加算処理部４３、画素切替スイッチ４４、４５を用いて水平方向の同時化処理を行う。なお、図７に水平同時化回路３２を示すが水平同時化回路３３も同様の構成であり、本実施の形態では、水平同時化回路３２でＷＲＷＲＷＲ…の信号を処理し、水平同時化回路３３でＢＧＢＧＢＧ…の信号を処理する。
ここでは、白Ｗおよび赤Ｒの出力の水平方向の同時化処理を説明する。まず、スルーとなる信号は、白Ｗ及び赤Ｒが繰り返す信号であり、第１レジスタ４１の出力は、スルーの１画素分の出力を記憶してから出力するようになっており、スルーの出力に対して１画素分遅くなるようにしている。また、第２レジスタ４２の出力は、第１レジスタ４１の出力を１画素分記憶してから出力するようになっており、第１レジスタ４１の出力に対して１画素分遅くなるようにしている。
【００３３】
したがって、第１レジスタ４１の出力を基準にすると、スルーの出力は１画素分速く、第２レジスタ４２の出力は一画素分お遅くなる。ここで、白Ｗおよび赤Ｒの出力が１画素分毎に切り替わる場合に、第１レジスタ４１の出力が白Ｗの場合に、スルーおよび第２レジスタ４２の出力が赤Ｒとなり、第１レジスタ４１の出力が赤Ｒの場合に、スルーおよび第２レジスタ４２の出力が白Ｗとなる。そこで、第１レジスタ４１の出力と、スルーおよび第２レジスタ４２の出力とを組み合わせることにより、１画素に対して白Ｗおよび赤Ｒの出力の両方の出力を得ることができる。ここでは、スルーの信号出力の１／２と、第２レジスタ４２の信号出力の１／２を画素加算処理部４３で加算して出力している。この出力は、第１レジスタ４１の出力する画素の一つ前の画素と一つ後の画素の出力の平均となる。
【００３４】
また、第１レジスタ４1の出力は、１画素分毎に白Ｗと赤Ｒが切り替わり、画素加算処理部４３の出力は、１画素分毎に赤Ｒと白Ｗとが切り替わるので、画素切替スイッチ４４，４５により第１レジスタ４１の出力と、画素加算処理部４３の出力とを１画素分毎に切り替えて、白Ｗの端子からは白Ｗが撮影中常時出力され、赤Ｒの出力端子からは赤Ｒが撮影中常時出力されるようにしている。また、緑Ｇおよび青Ｂも同様に処理される。これにより、色同時化処理回路１２からの出力は、各画素当たり、白Ｗ、赤Ｒ、緑Ｇ、青Ｂの４つの信号が出力され、赤、緑、青、白の４つの画像となる。
【００３５】
同時化処理されたＲＧＢＷの信号は、図８に示す色／輝度処理回路１３に送られ、色差信号を生成するために、色マトリクス処理５１、ホワイトバランス処理５２、ガンマ処理５３、色差マトリクス処理５４を経てＣｂ、Ｃｒの色差信号を出力する。また、輝度マトリクス処理５５、エンハンサ処理５６、ガンマ処理５６を経てＹの輝度信号を出力する。
図９（ａ）に同時化処理されたＲＧＢＷの信号をＲＧＢ信号Ｒ’Ｇ’Ｂ’に変換する色マトリクス処理の式を示すとともに式中のＡマトリクスの例を示し、図９（ｂ）に同時化処理されたＲＧＢＷの信号を輝度信号に変換する輝度マトリクス処理の式を示すとともに式中のＢマトリクスの例を示し、図９（ｃ）に色マトリクス処理５１で得られたＲＧＢ信号Ｒ’Ｇ’Ｂ’からホワイトバランスを得るホワイトバランス処理の式を示す。ここで、ホワイトバランス補正係数ＫＲは、撮像画像のＲ情報に対する補正係数であり、ホワイトバランス補正係数ＫＧは、撮像画像のＧ情報に対する補正係数であり、ホワイトバランス補正係数ＫＢは、撮像画像のＢ情報に対する補正係数である。
【００３６】
また、ラインメモリ部１１から出力される三つの異なる位相の信号は、視差検出用信号処理回路１５に送られ、視差検出に用いられる視差検出用信号に変換される。視差検出用信号処理回路１５では、色を必要としないので、平滑化してグレースケール（輝度信号）に変換する。視差検出用信号処理回路１５では、垂直フィルタリング処理（垂直フィルタリング処理回路６１）が行われる。図１０に示すように、垂直フィルタリング処理回路６１は、二つの加算処理部６２，６３を備え、一ライン毎にＷＲＷＲＷＲ…とＢＧＢＧＢＧ…とが入れ替わる信号において、ＷＲＷＲＷＲ…とＢＧＢＧＢＧ…とを加算して平滑化した信号を作成する。平滑化においては、垂直方向の同時化処理の場合と同様に第１ラインメモリ２１の出力を基準にして、スルーの信号と第２ラインメモリ２２の信号をそれぞれ１／２にして加算処理部６２で加算し、このスルーと第２ラインメモリ２２の信号の和の１／２と第１ラインメモリ２１の信号の１／２を加算し、一ライン毎に入れ替わる信号を垂直方向に平滑化することができる。
【００３７】
次に、図１１に示すように視差検出用信号処理回路１５では、垂直フィルタリング処理が行われた後に、水平フィルタリング処理（水平フィルタリング処理回路６４）が行われる。水平フィルタリング処理回路６４には、水平同時化回路３２と同様に、第１レジスタ６５および第２レジスタ６６を有するとともに二つの加算処理部６７，６８を備える。水平フィルタリング処理回路６４では、スルーの信号が一画素ずつ第１レジスタ６５に入力されて出力されることで一画素分だけ信号が遅くなり、第１レジスタ６５の信号が一画素ずつ第２レジスタ６６に入力されて出力されることでさらに１画素分だけ信号が遅くなる。水平フィルタリング処理回路６４では、Ｒ＋ＧとＷ＋Ｂとが交互に配置された垂直フィルタリング処理回路６１で処理された信号が入力されるので、第１レジスタ６５の信号を基準として、スルーの信号の１／２と第２レジスタ６６の信号の１／２とを加算処理部６７で互いに加算し、この和の信号を求め、この信号の１／２と第１レジスタ６５の信号の１／２を加算処理部６８で加算して水平フィルタリング信号を得る。すなわち、ＷＲＧＢが各画素で加算されて平滑化された信号を得る。この信号を視差検出用に用いる。
【００３８】
モニタリング信号および視差検出用信号は、デシメーション処理されて縮小された状態で出力される。本実施の形態では、図１２〜図１４に示すようにモニタリング信号に対して第１縮小処理回路１４でデシメーション（間引き）が行われ、視差検出用信号に対して第2縮小処理回路１６でデシメーションが行われる。
モニタリング信号用の第1縮小処理回路１４では、上述の輝度信号に変換された信号が入力され、輝度がデシメーションされる回路と、色差信号に変換された信号が入力され、色差がデシメーションされる回路を併有している。例えば、輝度信号や色差信号はラインメモリに入力されて記憶されて出力される際にサブサンプリングされて縮小される。第１縮小処理回路１４では、ラインメモリを有する水平・垂直サブサンプリング回路７１で例えば、水平方向においても垂直方向においてもサンプル数Ｎを１／２にするサブサンプリングが行われ、サンプル数が減らされた状態でＦＩＦＯ回路７２に記憶され、ＦＩＦＯ回路７２からゆっくり出力される。サブサンプリングにおいては、例えば、ライン毎のサンプル数が減少されるとともにライン数が減少され、水平・垂直方向でサブサンプリングされる。
【００３９】
また、図１３に示すように、視差検出用信号においても上述のように平滑化された輝度信号が第２縮小処理回路１６に入力され、モニタリング信号と同様に水平・垂直サブサンプリング回路７１で水平方向においても垂直方向においてもサンプル数Ｎを１／２にするサブサンプリングが行われ、ＦＩＦＯ回路７２からサブサンプリングされたデータが出力される。
また、図１４に示すように、本実施の形態において、第２縮小処理回路１６においては、縮小するのではなく、画像データの一部を切り出すようになっている。
【００４０】
ここでは、縮小時に縦横の画素数を１／２ずつにして画像面積を縮小しているが、図１４に示すモード２では、画像を縮小することなく、小さく切り出すことで画像を面積で１／４としている。ここでは、各ラインメモリにおいて、水平方向の１／４の部分だけを切り出している。例えば、画像を上下の線で切って横の長さが元の１／４となるように一部を切り出した状態であり、垂直方向の長さが元の長さであり、画素数が元の１／４となっている。なお、切り出す位置は任意であり、例えば、既に画像認識された一つまたは数フレーム前の画像の特徴部分、例えば、人の顔が含まれる部分を切り出してもよい。；
これにより画像は小さくなり解析範囲が小さくなるが、解像度は切り出し前と同様の高解像度となり、例えば、画像認識の精度を高めることができる。
【００４１】
このようなステレオ撮像装置においては、図１５に示すように、例えば有効画素数が２５６０×１４４０等の高画素数の第１画像センサ１および第２画像センサ２を有するステレオカメラで二つの画像が同期して撮影され、二つの動画の画像信号Ａ（一方だけ図示）が出力されることになる。この際に本実施の形態のステレオ撮像装置では、モニタリング信号と視差検出用信号を出力することになる。ここで、モニタリング信号としては、上述のようにラインメモリ部１１を用いて同時化されて輝度・色差信号とされるとともに、縦横の画素数が１／２に縮小されて１２８０×７２０の動画データの画像信号Ｂとして出力される。これによりモニタリング用のモニタに高精細なモニタを必要とせず通常のモニタに出力することができる。なお、モニタリング信号の画素数は、複数設定された中から選択できるようになっていてもよい。また、ラインメモリ部１１からの出力は、視差検出用信号の生成にも利用される。視差検出用信号においては、視差の算出から距離画像の作成において色を必要とせず上述のモニタリング信号の場合の同時化や輝度・色差信号の生成等を必要とせず、平滑化して輝度信号の画像を視差検出用信号（画像信号Ｃ）として生成する。視差検出用信号においても縮小が行われ、縦横の画素数が１／２に縮小されて１２８０×７２０の動画データの画像信号Ｃとして出力される。視差検出用信号における画像サイズは、例えば、画像処理を行う集積回路の能力に応じて設定される。なお、ここで画像認識の処理は、例えば、ステレオ撮像装置の外部で行わるが、画像認識に際し、顏検知で撮影された人の顔を検知したり、検知された顔と記憶されている顏とを照合して特定の顔を検知したり、車のナンバープレートの番号を認識して照合したりすることで、人の顔等を詳細に認識したいような場合に、画像の切り出し範囲を指定することで画像を縮小することなく、縮小した場合と同様の画素数の部分を切り出して視差検出用信号として出力するようになっている。この切り出される画像の画像信号Ｄは、例えば、上述のようにラインメモリ上で画像の水平方向の１／４の部分であり、元の画像が２５６０×１４４０の場合に水平方向だけ１／４の６４０×１４４０の画像が切り出される。
切り出された画像は、縮小されておらず高精細なものとなるが画像サイズが小さく切り出されることで、縮小された画像信号Ｃと同様に処理することが可能である。本実施の形態においては、ラインメモリ部１１より後の処理がモニタリング用と視差検出用に分かれているので、視差検出側で、画像の倍率を変更したり、フレームレートを変更したりしてもモニタの表示倍率やフレームレートが変わることがなく、モニタリングに影響が生じない。すなわち、現状をリアルタイムで監視するとともに、ステレオカメラの視差を用いた高精度の画像認識により犯罪者等の特定の対象者の検出等を行うことができる。なお、視差検出用信号においては、切り出し範囲のサイズを任意に設定したり、予め設定された複数のサイズから選択したりしてもよい。また、視差検出用信号、モニタリング信号の縮小率を固定としてもよいし、変更可能としてもよいし、複数の縮小率から選択可能としてもよい。なお、視差検出用信号は、縮小率を固定とする場合に、縮小するか縮小せずに小さく切り出すかを選択可能となっている必要がある。
【００４２】
また、上述の説明では、モニタリング信号の同時化処理、視差検出信号の平滑化処理、モニタリング信号および視差検出信号のデシメーションを、ラインメモリを使って行ったが、ラインメモリではなくフレームメモリを用いて行ってもよい。この場合にフレームメモリは、1フレーム分であっても、複数フレーム分であってもよい。フレームメモリでは、フレームの全画素のデータを記憶できるので、例えば、各画素において、周囲の画素のデータを利用して補間処理を行ったり、平滑化を行ったりできるとともに、縦横に並ぶ画素においてサブサンプリングを行うことができる。フレームメモリを用いることで、画像センサ１，２から出力される画像信号の１フレーム分の全画素の値を記憶できるので、周知の方法のいずれの方法であっても、補間や平滑化やサブサンプリングを行うことが可能であり、いずれかの方法を利用することができるので、設計の自由度が高くなる。
図１６は、フレームメモリを用いた場合のモニタリング信号と視差検出信号の出力を説明するものであり、基本的に図１５に示すラインメモリの場合と同様にモニタリング信号と視差検出信号が生成されて縮小されて出力される。なお、図１５のラインメモリを用いた画像Ｄの切り出しでは、垂直方向に沿って切断した状態の画像を切り出す構成としたが、フレームメモリにおいては、垂直方向でも水平方向でも任意の場所で切り出すことを容易に行えるので、図１６において、視差検出信号を縮小せずに切り出して高解像度のまま画素数を減らす場合に、例えば、垂直方向と水平方向の両方で切り出して１２８０×７２０の画素数の画像とすることができる。なお、フレームメモリ上で切り出す位置とサイズは任意に設定できる。
【符号の説明】
【００４３】
１      第１画像センサ
２      第２画像センサ
４      モニタリングおよび視差検出用信号生成手段
５      視差検出用信号生成手段
１１    ラインメモリ部
１４    第１縮小処理回路
１６    第２縮小処理回路
２１    第１ラインメモリ
２２    第２ラインメモリ
７１    水平・垂直サブサンプリング回路（ラインメモリ）
【図１】
2018207259.tif 000003
【図２】
2018207259.tif 000004
【図３】
2018207259.tif 000005
【図４】
2018207259.tif 000006
【図５】
2018207259.tif 000007
【図６】
2018207259.tif 000008
【図７】
2018207259.tif 000009
【図８】
2018207259.tif 000010
【図９】
2018207259.tif 000011
【図１０】
2018207259.tif 000012
【図１１】
2018207259.tif 000013
【図１２】
2018207259.tif 000014
【図１３】
2018207259.tif 000015
【図１４】
2018207259.tif 000016
【図１５】
2018207259.tif 000017
【図１６】
2018207259.tif 000018