(57)【要約】      （修正有）【課題】対象物の形、色及び、カメラ２台を使って計測する距離の要素による歩行者、交通標識等の認識と、ＬＥＤで発光する交通信号機の発光部分が消灯して撮影される可能性の排除を両立する事。【解決手段】カメラ１の画像信号とカメラ２の画像信号は、同期している距離計測区間において距離計測を行い対象物の認識をおこなう。さらに、次の第２第３のフレームでは画像センサー２を電源周期の1/4周期分画像センサー１に対して遅れて同期させ、画像センサー1の信号を判断する信号機認識回路の出力と距離計算回路１２の計算結果である視差Ｄの値によりタイミングを合わせ、交通信号機の青、赤、黄色の発光部分では画像センサー１及び画像センサー２からの輝度信号の高い方の信号を選択する、もしくは２つの画像信号を加算処理することにより、交通信号機の発光部分が点滅もしくは消灯した映像になることを防止する。【選択図】図２
2017062528.tif 000002
【特許請求の範囲】
【請求項１】
レンズ及び単板式カラー撮像素子で構成する第１のカメラと、該第1のカメラと同じ構成の単板式カラー撮像素子を備え、かつ、該第1のカメラと共通の撮像対象を撮像可能であるように該第1のカメラから所定の基線長離れて設置された第２のカメラであり、第２のカメラを第1のカメラに対して電源周期の1/4周期分の遅延で同期させる手段と、第1のカメラの映像信号をメモリ等により電源周期の1/4周期分遅延させる手段と、第1のカメラの映像信号もしくは第２のカメラの映像信号より、交通用信号機の青、赤、黄色の発光部分を認識する手段と、認識した発光部分は第1のカメラ及び、第２のカメラの映像信号の輝度信号が高い方の映像信号を選択出力する、もしくは発光部分の２つの映像信号を加算処理することにより、点灯状態にある青、赤、黄色の発光部分が映像信号において消灯もしくは点滅することなく映像を出力することを特徴とするステレオビデオカメラ。
【請求項２】
レンズ及び単板式カラー撮像素子で構成する第１のカメラと、該第1のカメラと同じ構成の単板式カラー撮像素子を備え、該第1のカメラと共通の撮像対象を撮像可能であるように第1のカメラから所定の基線長離れて設置された第２のカメラを持ち、定められた複数フレーム毎に1回の第１のフレームにおいては、第１のカメラと第２のカメラを垂直周期、水平周期共に完全同期させ、第1のカメラ映像と第２のカメラ映像における特定の映像部分の位置のズレ量と、第1のカメラと第２のカメラの基線長の長さと、レンズの焦点距離から換算する距離算出部分をそなえ、該距離情報と、映像信号から抽出する形の情報、大きさの情報、色の情報より対象物を特定し、車速、進行方向を考慮して警報を出す為の情報を出力する手段を有し、上記第1のフレーム以外のフレームでは、第1のフレームにおいて取得した第1のカメラと第２のカメラの視差情報を元に、請求項１に記載する手段によって、点灯状態にある信号機の発光部分が消灯もしくは点滅することなく映像を出力する事を特徴とするビデオカメラ兼障害物警報器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はLED信号機を映した映像における信号機の発光部分が消灯することがなく、かつ、ステレオカメラによる距離の計測、及び、距離をもとにした対象物の認識が可能なビデオカメラに関する。
【背景技術】
【０００２】
交通信号機は、従来のランプ式から近年はLEDタイプのものに切り替わってきた。LEDタイプの信号機は交流電圧を元にしている為人間の目には見えないが点滅している。一方、車両の前方映像を記録するドライブレコーダーも業務用や一般車両を問わず普及して来ている。しかし、前方映像を撮像するビデオカメラの映像は、従来のNTSC方式であれ、HD(ハイビジョン)タイプであれ、約1/60秒のタイミングで撮像を行う為、信号機の青、赤、黄色の発光部分が消灯している期間と重なり、映像信号としては信号機が瞬きの様な点滅、もしくは、最悪、消灯状態（ブラックアウト）になる（特に商用電源が60Hzの地区）。交差点通過の証拠としての映像が求められるドライブレコーダーとして上記ブラックアウトは非常に重要な問題である。
【０００３】
又、ステレオカメラによる車両前方の障害物認識はレーザーレーダーやミリ波レーダーによるものに比べても利点が多く、一般用乗用車に搭載され、普及がすすんでいるが、現在のものはモノクロのセンサーを使ったカラー化されていないものが一般的である。
【０００４】
一方、２眼ではない通常のカラーカメラの画像から対象物認識をおこない、白線検知、歩行者認識や交通標識の認識を行う技術も実験段階から実用段階に入って来た。これら対象物認識において、距離の要素を取り入れることで認識の精度を格段に向上させることが出来るという事が知られている。
【０００５】
本提案は２台のカメラのタイミング制御を行う事により、距離計測を可能としつつ、LED信号機のブラックアウトを防止する技術に関する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−１８０９６２号公報
【特許文献２】特開２０１３−１７４５１０号公報
【非特許文献】
【０００７】
【非特許文献１】交通安全環境研究所  フォーラム２０１２年  ステレオカメラによる交通環境認識と歩行者の検出
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、主に、ドライブレコーダーの前方映像録画用のビデオカメラとして、LED信号機の青、赤、黄色の発光部分が発光中にもかかわらず、点滅もしくはブラックアウト（消灯）して録画されることが無い事を第１の課題とする。
【０００９】
本提案では、上記問題はカメラ２台を使用して解決するが、更にはステレオカメラの最大の特徴である距離計測が同時に可能となる方策をとることにより、距離の要素を考慮して精度の高い対象物認識をおこない、かつLED信号機のブラックアウトが起こらない事を本提案の第２の課題とする。
【００１０】
図１がLED信号機のビデオカメラの映像が点滅またはブラックアウト（消灯）する原理である。
【００１１】
LED信号機は交流電源を全波整流した電圧でドライブされる。図１にその波形を示す。全波整流した波形もGNDレベルに近い部分ではLEDをドライブできず、この区間は消灯区間となる。交流電源の周波数が60Hzの地域では消灯区間が1/120秒ごとに存在する。
【００１２】
ａ及びｂはビデオカメラの露光との関係をしめしたもの。（撮像素子がグローバルシャッター方式）  設定したシャッタースピードによる露光区間がビデオの垂直周波数59.94Hz（NTSC）ごとに存在するため、LEDの消灯区間に撮像素子の露光区間が重なったタイミングではブラックアウトが生じる。
（撮像素子がローリングシャッター方式の場合、水平走査区間内が概略の露光区間であるため、画面の中の一部である信号機の発光部分を撮像するタイミングは、同様に垂直周波数59.94Hzごとになる。）
【００１３】
交流電源の周波数が50Hzの地域では、映像信号の垂直周波数とのズレによりブラックアウトは起こらないが、瞬く様に点滅することになる。図１ｃのようにシャッタースピードが長い場合は、露光時間の全てが消灯区間では無くなる為ブラックアウトすることがない。夜の映像がブラックアウトや点滅もしないのはこの為である。逆に太陽を背にした信号機は現象が起こりやすい。
【００１４】
信号機のある交差点では交通事故が起こりやすい。事故時の映像による検証を目的とするドライブレコーダーの基本機能に関わる事象であるが、一般的には無体策のものも存在する。対策としては表1のようになるが、普及価格帯においては完全なものは商品化されていない。
【００１５】
【表１】
2017062528.tif 000003
【００１６】
表１の１は撮像素子の垂直周波数を電源周波数50Hzと60Hzの中間の値にするもの。
タクシー用や一般販売用のカメラとレコーダーが一体型のものはビデオ規格から外れた走査周波数でそのまま記録し、パソコンでそのまま再生するため、回路的には安価である。電源周波数が60Hzの地域ではブラックアウトは起こらないが、点滅は起こる。カメラを分離したものでも、映像伝送の部分をNTSCの規格から外れたディジタル型にすれば同等である。
【００１７】
一方カメラを4個以上の複数個にする例えばバス用のドライブレコーダーの場合、レコーダーとの接続は未だにNTSC規格コンポジットビデオの場合が多い。この場合はカメラ側に画像メモリ（フレームメモリ）を持ち、50Hzと60Hzの中間の垂直周波数で操作した画像をNTSC方式に変換して出力すれば同様の効果が得られる。
【００１８】
表１の２はシャッタースピードを1/160秒〜1/120秒に固定し、オートアイリスレンズによる絞りのみで制御する方法。図１のｃに示すように、露光時間を長く取れば点滅が起こらないのは前述のとおりであるが、オートアイリスレンズは高価である上、原理上モーターは常に動いており、さらに振動が加わる為、耐久性を考えると車載レコーダーには適さない。
【００１９】
表１の３は特許提案で提案されているもの。図１に示すように原理上電源周期の1/4周期分遅延したライン毎に構成されている２枚の画像はどちらかが必ず点灯している（または両方とも薄く光る）。このことを利用して２枚の画像を加算処理する（請求項１）もしくは輝度の高い方を出力する（請求項２）ことで点滅を抑える事が可能。しかし、提案そのものだけの方式では悪影響（時間的に異なるものを全ての画素において合成するということ）が未確認であり、実現するセンサーは存在しない。
【課題を解決するための手段】
【００２０】
LED信号機の発光部分が消灯して撮像する問題に対して、本提案では、電源周期の1/4周期分遅延した２つカメラを使い、さらに信号機の発光部分の認識をおこない、その発光部分のみのタイミングにおいて発光部分の輝度信号が高い方のカメラ映像を切り替えて出力する、もしくは２つの信号を加算処理する。さらにはカメラ（画像センサー）を２個使用するステレオカメラの最大の特徴である距離計測を可能とする手段を併用する。ステレオカメラによる衝突防止用の物体検知や人体検知による警告等の機能を併せもつことにより応用は広い。
【００２１】
距離計測とLED信号機のブラックアウト対策は２つのカメラを使用するところは同じであるが、距離計測の方は２つのカメラは完全に同期していなければならないのに対して、LED信号機のブラックアウト対策は電源周期の1/4周期分同期をずらして行う。この２つを共存させるためには、画像センサー及び細かい信号処理のタイミング制御が必要となる。
【００２２】
本提案の実施例では、映像信号の3フレーム毎に所定の基線長離れた２つのカメラ（画像センサー）を完全同期させ、距離計測を行う。残りの2フレームにおいては、一方の画像センサーを他方の画像センサーに対して電源周期の1/4周期分遅延させ、さらには信号機の発光部分の認識をおこない、距離計測で計算した数値をもとに、２つの画像センサーからの映像信号における信号機の発光部分のタイミングにおいて、輝度信号の高い方の映像信号を出力させる、もしくは２つの信号を加算処理することにより、発光部分が点滅もしくは消灯して映像が出力されることを排除する。
【発明の効果】
【００２３】
本提案によれば、距離の要素を加えることにより対象物認識の精度を格段に向上させる事ができるセンサーカメラの機能を有し、かつ、ドライブレコーダーの録画用のカメラとして交差点における事故時の重要な証拠になるはずの信号機映像が消灯（ブラックアウト）してしまう可能性を排除することが出来る。
【図面の簡単な説明】
【００２４】
【図１】交差点や道路わきに設置されたLED信号機の動作タイミングとビデオカメラが点滅及び消灯することを説明するためのタイミング図である。
【図２】本発明のビデオカメラのブロック構成図を示す。
【図３】ベイヤー配列をとる単板式画像センサーのＧ（緑）Ｂ（青）Ｒ（赤）        センサー画素の配置図
【図４】２つのカメラによる距離測定の原理図
【図５】２つのカメラ（画像センサー）を  タイミング制御することにより、３フレーム1回の割合で距離計測をおこない、のこり２フレームはLED信号機の消灯対策をおこなう本提案の実施例
【図６】信号機の色判定回路の実施例
【図７】本提案における視差探索の方法の実施例
【発明を実施するための形態】
【実施例１】
【００２５】
以下、本発明の実施の形態を図に基づいて説明する。
【００２６】
図２に本提案を実現する装置の構成例を示す。カメラ１はレンズ１及び単版式画像センサー1より構成される。同一の構成をもつカメラ２は所定の基線長離れて設置される。この基線長は対象物の距離計算を行うときの重要なパラメータである。
【００２７】
画像センサー１、画像センサー２の出力信号は、Ｇ（緑）Ｂ（青）Ｒ（赤）３原色のセンサーのベイヤー配列に基づいたそのままの信号、ＲＡＷ信号とする。図３にベイヤー配列を示すが、大部分の商業用センサーはこの方式である。
【００２８】
通常、画像センサーの出力信号は、３原色信号ＧＢＲをセンサー内部で輝度信号Ｙ、色差信号ＵＶに変換したＹＵＶ信号で出力することが普通であるが、ＲＡＷ信号の形式で出力することが可能なセンサーも数多い。
【００２９】
ＹＵＶの輝度信号Ｙは
Ｙ＝０．２９９Ｒ＋０.５８９Ｇ＋０.１１４Ｂ
の式より生成されるが、
図３に示すようにＢの画素やＲの画素は１ライン毎にしか存在しないため、
輝度信号Ｙは位置的に隣の画素の情報が混じっており、距離の計算には厳密な意味では適さない。本提案においては距離計算において有利なＲＡＷ信号で出力させる。
【００３０】
図２において、FPGA３内の同期制御回路６により、２つの画像センサーに対して、垂直同期信号Ｖが供給され、画像センサー２は画像センサー１に対して、電源周期の1/4周期分秒の遅延で外部同期する。（FPGAは設計者がプログラム可能な論理集積回路）
【００３１】
上記の数式において、画像センサー１の映像は画像センサー２の映像より電源周期の1/4周期分前の映像であるが、遅延回路７により再生タイミング的には画像センサー１と同じになる。遅延回路７はメモリで構成するが、近年はFPGAが大規模となり、FPGA内部で用意されているメモリにより構成可能である場合もある。遅延回路７の遅延量は1/240秒に加えてラインメモリ13の位置補正ラインメモリ８の遅延量を考慮したものとする。
【００３２】
信号機認識回路４は信号機の認識を行う回路であるが、青、赤、黄の信号機の色の認識、ほぼ円形であることによる形の認識、また、信号機は通常画面の上半分にある等により判断を行う。
【００３３】
画像センサーの出力はＧＢＲ３原色のＲＡＷ信号であるため、信号機認識回路の入力の手前でＹＵＶ変換回路１７により輝度信号Ｙ、色差信号ＵＶに変換する。
【００３４】
カメラ２は所定の基線長離れた左カメラであるので、左右カメラの視差が存在する。その視差を後述の距離計算回路１２で検出し、位置補正用のラインメモリ８で補正する。詳細は後述するが、図５に示すように本実施例では距離計算のフレームは３フレームに１回行われる。位置補正用のラインメモリ８は３フレームに１回の距離計算の結果により補正をおこなう。
【００３５】
信号機認識回路４により信号機の青、赤、黄色の発光部分と認識された範囲において、画像センサー１と画像センサー２の映像が、比較回路９により比較され、輝度が高い方の信号がスイッチ回路１０により選択される。もしくはスイッチは使わずに２つの映像を加算処理する。
【００３６】
比較回路は図６に示すように所定の範囲内の幅を持たせ比較する。従って、図１に示すようにどちらかのカメラの走査タイミングが信号機LEDの消灯区間に入ったとしても、電源周期の1/4周期分タイミングが遅いもう一方のカメラは点灯区間の時に撮像している為、合成された映像において信号機がブラックアウトすることは無い。また、点滅することも無い。
【００３７】
選択された映像信号は出力変換回路５によりそれぞれのフォーマットに変換されレコーダーへ伝送される。
【００３８】
図２における対象物認識のブロックを説明する。
画像センサー１、画像センサー２のＲＡＷ信号は、それぞれレンズ歪補正回路１１で広角レンズの樽型歪を補正後、距離計算回路１２に入力される。距離計算回路１２では図４にしめす原理により、対象物の距離Ｚは、下記関係式より求める。
Ｚ＝（Ｂ×ｆ）/Ｄ
【００３９】
図２において、メモリ５は画像センサー１、画像センサー２の画像メモリである。
本提案では、画像センサー１の情報であるそれぞれＧ信号面１７、同様に画像センサー２のＧ信号面１８、そして距離の出力結果である１面（視差Ｄ）の合計３面、及び右画像ＵＶ信号２面が割り当てられる。
【００４０】
距離計算は画像センサー１，２のＧ面で同一情報の画素を探索して図４におけるＤを、及び、図7におけるＤを求めることより行う。同一情報の画素の探索は、一般的には全画面を横Ｎ画素、縦Ｍ画素のマクロブロックで分割し、そのマクロブロック内の情報を左右の画像面で比較することにより、マクロブロック単位でＤを演算する。
【００４１】
本提案は画像センサー２個を搭載することにより、LED信号機のブラックアウトの問題を解決し、かつ、距離計測を行って、前方の人、車、白線他の対象物を認識するための要素である距離を考慮した対象物認識をする提案であるが、距離の要素を加えた対象物認識の方法自体の提案ではなく、LED信号機のブラックアウト対策と距離計測を両立させるための提案であるので図２における距離計算ブロック１２、対象物認識回路１４の内容については既知の一般的な手段をとる。
【００４２】
図７において画像センサー１の右画像の中のマクロブロックが画像センサー２の左画像の同一基線上のどこの位置にあるかを検索することにより、視差Ｄを得る。視差Ｄは図２においてラインメモリ（任意アクセス）８で遅延させる量となる。
【００４３】
対象物の認識は対象物認識ブロック１４において隣接する画素情報の距離、輝度、さらには色を判断して集合化し、対象物とする。
対象物情報出力ブロック１５、シリアル出力ブロック１６では、認識した対象物の中心座標とそこからの上下の大きさの数値をＲＳ−２３２Ｃシリアル通信等の画像とは別な手段で転送する。この手段はＵＳＢやＬＡＮ等ＲＳ−２３２Ｃよりも高速なインターフェースであってもよい。白線情報は画面内で白線又は側面と認識した画素の連続点の内、経由点数か所の座標と距離情報を転送する。
【００４４】
この情報の転送先の警報装置は、対象物への距離と車のスピード、ハンドルの角度等を判断して警告する。また白線の接近度からふらつきを判断して運転者の眠気の状態を推測してもよい。
【００４５】
本提案例では対象物の情報を出力するのみであり、判断や、警報は行っていないが、判断、警報する回路を組み込んでもよい。
【００４６】
図５にカメラ２台による距離計算とＬＥＤ信号機のブラックアウト対策を両立する本提案の特徴を実現する手段を示す。
【００４７】
図２における２つのカメラは毎秒３０枚のプログレッシブ出力（ノンインターレース）とする。図５における２３はカメラ１が出力する画像信号の垂直同期信号を描いたもの、２４はその信号を電源周期の1/4周期分遅延させたもの、図２で言えば遅延回路７の出力である。カメラ１の画像信号とカメラ２の画像信号は図５の最初のフレームで同期しているのでこの距離計測区間２６で距離計測を行う。
【００４８】
次のフレームの垂直同期信号から電源周期の1/4周期後に、図２における同期制御回路６はカメラ２に対してフレームシンク用のリセット信号をおくる。図５においてカメラ２の画像信号２５はリセットされ、カメラ１に対して電源周期の1/4周期分後の画像を取り込む事になる。この区間がLED信号機対応区間２７となる。
【００４９】
図２の信号機認識回路４は遅延回路８を通ったカメラ１の信号、および、ラインメモリ８を通ったカメラ２の信号より、青赤黄色の信号機の発光部分の検出を、色情報、さらには形や位置（信号機は通常画面の上半分にある）等でおこなう。
【００５０】
図２のＤ読み出し１３において視差Ｄ面１９よりＤを読み込み、信号機発光部分と認識された部分は図２の遅延回路７を通ったカメラ1の画像信号と比較して、スイッチ回路１０において輝度信号が高い方の信号を出力する。もしくは画像信号を加算処理する。図５において、LED信号機対応区間２７は２フレーム続く。
【００５１】
カメラ２の画像信号の最初のフレームから４フレーム目でフレームシンクがカメラ２に対して行われ、再び距離計測区間となる。尚、カメラ２の画像信号の３フレーム目の最後の部分は途中でLED信号機対応区間が終了するが、（図５の非対応区間２８）画面的に交通信号機は上部にあるため特に問題はない。
【００５２】
この様に本提案では、3フレームに１回距離計測を行って対象物の情報を出力し、残りの２フレームはLED信号機のブラックアウト対策をおこなう。LED信号機対策では３フレームに1回は輝度信号が低い方の信号が出力される可能性があり（距離計測区間）、３フレームに1回暗くなる可能性があるが、1/10秒の点滅であるため、低周期の点滅の「瞬き」とは異なり問題はない。本提案では交流６０Hz地域においての致命的な問題点であるブラックアウトを排除した手段となっている。
【産業上の利用可能性】
【００５３】
本提案はタクシーやバス等のドライブレコーダーおいて、前方映像用のカメラとして利用することが出来る。
【符号の説明】
【００５４】
１    右用カメラ１
２    左用カメラ２
３    ＦＰＧＡ
４    信号機認識回路
５    メモリ
６    同期制御回路
７    遅延回路
８    ラインメモリ（任意アクセス）
９    比較回路
１０  スイッチ回路
１１  レンズ歪補正
１２  距離計算回路
１３  Ｄ読み出し
１４  対象物認識回路
１５  対象物情報出力
１６  シリアル出力
１７  右カメラ１ＧＲ
１８  左カメラ２ＧＬ
１９  視差Ｄ出力面
２０  右カメラ１ＵＲ
２１  右カメラ１ＶＲ
２２  出力変換ＮＴＳＣエンコーダ
２３  カメラ１の画像信号
２４  カメラ１1/240秒遅延信号
２５  カメラ2の画像信号
２６  距離計測区間
２７  ＬＥＤ信号機対応区間
２８  ＬＥＤ信号機非対応区間
【図１】
2017062528.tif 000004
【図３】
2017062528.tif 000005
【図４】
2017062528.tif 000006
【図５】
2017062528.tif 000007
【図６】
2017062528.tif 000008
【図７】
2017062528.tif 000009
【図２】
2017062528.tif 000010