(57)【要約】【課題】単一のカメラを用いて、表示板に描かれた情報と、電光表示装置に表示された情報とに基づく処理を高い精度で実行する。【解決手段】画像生成装置は、予め定められた第１タイミングで、表示板に描かれた情報を認識するための画像の撮影に適した第１状態で、自車両に搭載されたカメラにより、自車両周辺を撮影する第１撮影手段と（Ｓ１０５）、予め定められた第２タイミングで、電光表示装置が発する光により表示された情報を認識するための画像の撮影に適した第２状態で、カメラにより、自車両周辺を撮影する第２撮影手段と（Ｓ１１５）、第１撮影手段により撮影された第１撮影画像と、第２撮影手段により撮影された第２撮影画像とに基づく処理を実行させる実行手段と（Ｓ１２０）、を備える。【選択図】図２
2016220056.tif 000002
【特許請求の範囲】
【請求項１】
予め定められた第１タイミングで、表示板に描かれた情報を認識するための画像の撮影に適した第１状態で、自車両に搭載されたカメラ（１０）により、自車両周辺を撮影する第１撮影手段と（Ｓ１０５，Ｓ２１０〜Ｓ２２５，Ｓ４０５）、
予め定められた第２タイミングで、電光表示装置が発する光により表示された情報を認識するための画像の撮影に適した第２状態で、前記カメラにより、自車両周辺を撮影する第２撮影手段と（Ｓ１１５，Ｓ３１０〜Ｓ３２５，Ｓ４１０〜Ｓ４２０）、
前記第１撮影手段により撮影された第１撮影画像と、前記第２撮影手段により撮影された第２撮影画像とに基づく処理を実行させる実行手段と（Ｓ１２０，Ｓ４２５）、
を備えることを特徴とする画像生成装置（２０）。
【請求項２】
請求項１に記載の画像生成装置において、
自車両の車速を検出する車速検出手段と（２３）、
自車両周辺の明るさを検出する明るさ検出手段と（Ｓ２０５）、を備え、
前記第１状態とは、自車両の前記車速と、自車両周辺の前記明るさと、予め定められた撮影画像のぶれの許容範囲とに基づき、前記カメラの露光時間が設定された状態であること、
を特徴とする画像生成装置。
【請求項３】
請求項１又は請求項２に記載の画像生成装置において、
前記第２状態とは、前記カメラで前記電光表示装置を撮影した際に生じるフリッカを抑制可能な露光時間が設定されていると共に、撮影画像の飽和を抑制するよう、前記カメラの撮像素子からの信号のゲインが設定された状態であること、
を特徴とする画像生成装置。
【請求項４】
請求項１又は請求項２に記載の画像生成装置において、
前記カメラによる撮影画像を構成する複数のラインが並ぶパターンである整列パターンの種類が、予め定められた所定数設けられており、
それぞれの種類の前記整列パターンでは、予め定められた数の前記ラインを開けて１又は複数の前記ラインが並んでおり、全ての種類の前記整列パターンに係る前記ラインを結合すると、前記カメラの撮影画像が構成され、
前記第２撮影手段は、
前記第２状態で撮影を行う際、前記第２タイミングが到来すると、前記カメラにより、撮影画像の飽和を抑制可能な露光時間で、前記所定数にわたり自車両周辺を撮影し、
前記第２タイミングで行われる各撮影では、異なる種類の前記整列パターンに係るラインの撮影画像を取得し、
それぞれの前記整列パターンに係るラインの撮影画像を結合して前記第２撮影画像を生成すること、
を特徴とする画像生成装置。
【請求項５】
請求項１又は請求項２に記載の画像生成装置において、
前記第２撮影手段は、前記第２状態で撮影を行う際、前記第２タイミングが到来すると、前記カメラにより、撮影画像の飽和を抑制可能な露光時間で、複数回にわたり自車両周辺を撮影すると共に、それぞれの撮影画像に基づき、前記第２撮影画像を生成すること、
を特徴とする画像生成装置。
【請求項６】
予め定められたタイミングで、自車両に搭載されたカメラ（１０）により、予め定められた許容範囲内に撮影画像のぶれを抑制可能な露光時間で、複数回にわたり自車両周辺を撮影する撮影手段と（Ｓ５０５）、
前記タイミングにおける各撮影画像の位置ずれを補正した後に、これらの撮影画像を合成した合成画像を生成する生成手段と（Ｓ５１０）、
前記合成画像に基づく処理を実行させる実行手段と（Ｓ５１５）、
を備えることを特徴とする画像生成装置（２０）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置に関する。
【背景技術】
【０００２】
自車両周辺を撮影する際、自車両の車速や自車両周辺の明るさに応じて露光時間を設定し、撮影画像のぶれを一定範囲内に抑えることが知られている（特許文献１参照）。これにより、撮影画像から表示板に描かれた標識等を認識する際の精度が向上する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許５４２１９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、ぶれを抑えるために露光時間を短くすると、電光表示装置を撮影した際にフリッカが生じ、電光表示装置が発する光により表示された標識を撮影画像から認識する際の精度が低下する。
【０００５】
本発明は、単一のカメラを用いて、表示板に描かれた情報と、電光表示装置に表示された情報とに基づく処理を高い精度で実行することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面は、予め定められた第１タイミングで、表示板に描かれた情報を認識するための画像の撮影に適した第１状態で、自車両に搭載されたカメラにより、自車両周辺を撮影する第１撮影手段と、予め定められた第２タイミングで、電光表示装置が発する光により表示された情報を認識するための画像の撮影に適した第２状態で、カメラにより、自車両周辺を撮影する第２撮影手段と、第１撮影手段により撮影された第１撮影画像と、第２撮影手段により撮影された第２撮影画像とに基づく処理を実行させる実行手段と、を備えることを特徴とする画像生成装置に関するものである。
【０００７】
このような構成によれば、単一のカメラにより、表示板に描かれた情報の認識に適した撮影画像と、電光表示装置が発する光により表示された情報の認識に適した撮影画像が生成される。このため、これらの画像を使い分けることで、高い精度で、表示板に描かれた情報と、電光表示装置に表示された情報の双方を認識可能となる。したがって、単一のカメラを用いて、表示板に描かれた情報と、電光表示装置に表示された情報とに基づく処理を高い精度で実行できる。
【０００８】
また、本発明の一側面は、予め定められたタイミングで、自車両に搭載されたカメラにより、予め定められた許容範囲内に撮影画像のぶれを抑制可能な露光時間で、複数回にわたり自車両周辺を撮影する撮影手段と、タイミングにおける各撮影画像の位置ずれを補正した後に、これらの撮影画像を合成した合成画像を生成する生成手段と、合成画像に基づく処理を実行させる実行手段と、を備えることを特徴とする画像生成装置に関するものである。
【０００９】
このような構成によれば、単一のカメラによりぶれを抑えた撮影画像が複数生成されると共に、これらの撮影画像の位置ずれを補正した上で、これらの撮影画像の合成画像が生成される。各撮影画像ではぶれが抑制されているため、合成画像からは表示板に描かれた情報を高い精度で認識可能となる。また、複数回にわたる撮影画像を合成することで、輝度の分布を、電光表示装置に表示された情報の認識に適した状態にすることができる。したがって、単一のカメラを用いて、表示板に描かれた情報と、電光表示装置に表示された情報とに基づく処理を高い精度で実行できる。
【００１０】
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の画像生成システムのブロック図である。
【図２】第１実施形態の撮影処理のフローチャートである。
【図３】第１実施形態の第１フレーム設定処理のフローチャートである。
【図４】車速と露光制限時間との関係を示すグラフである。
【図５】第１実施形態の第２フレーム設定処理のフローチャートである。
【図６】第１〜第３実施形態における第２フレームの露光時間の説明図である。
【図７】第２，第３実施形態の撮影処理のフローチャートである。
【図８】第４実施形態の撮影処理のフローチャートである。
【図９】第４実施形態の共通フレーム設定処理のフローチャートである。
【発明を実施するための形態】
【００１２】
以下、本発明が適用された実施形態について、図面を用いて説明する。
［第１実施形態］
［構成の説明］
第１実施形態の画像生成システム１は、車両に搭載されており、自車両周辺を撮影するカメラ１０と画像生成装置２０等を備える（図１）。
【００１３】
カメラ１０は、イメージャ１１と、画像Ｉ／Ｆ１２等を備える。
イメージャ１１は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサと、増幅部と、Ａ／Ｄ変換部等を備える。
【００１４】
増幅部は、イメージセンサによって画像を撮像した時、イメージセンサから出力される撮影画像の各画素の輝度（明るさ）を示すアナログ信号を所定のゲインで増幅する。また、Ａ／Ｄ変換部は、増幅されたアナログ信号が示すアナログ値をデジタル値に変換する。そして、イメージャ１１は、デジタル値を示す信号（撮影画像を構成する各画素の出力画素値）を画像データとし、ライン（水平走査方向に並ぶ画素に対応する画像データの集合）単位で出力する。
【００１５】
画像Ｉ／Ｆ１２は、イメージャ１１により生成された画像データを、画像生成装置２０に出力する。
一方、画像生成装置２０は、制御部２１と、通信部２２と、センサ部２３と、メモリ２４等を備える。
【００１６】
制御部２１は、ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ及びこれらを接続するバスライン等からなる周知のマイクロコンピュータを中心に構成される。制御部２１は、ＲＯＭに記憶されているプログラムや、ＲＡＭにロードされたプログラムに従い各種処理を行う。また、制御部２１は、カメラ１０により自車両周辺を撮影すると共に、カメラ１０の露光時間，露光回数，ゲイン等を設定する。
【００１７】
通信部２２は、ＣＡＮ等の車内ＬＡＮ２を介して、自車両に搭載された他のＥＣＵ３０と通信を行う。
センサ部２３は、自車両の車速を検出する。
【００１８】
メモリ２４は、カメラ１０による撮影画像の画像データ等を記憶するための部位であり、ＲＡＭ等から構成される。
［処理について］
第１実施形態の画像生成システム１では、周期的に到来する撮影タイミングでカメラ１０により自車両周辺を撮影する。そして、撮影画像に基づき、画像生成システム１、又は、他のＥＣＵ３０にて運転関連処理が行われる。運転関連処理では、撮影画像の画像認識が行われ、画像認識の結果に基づき、自車両の運転に関する処理が行われる。なお、運転関連処理とは、一例として、運転支援処理や自動走行のための処理等が考えられる。より具体的には、例えば、他車両や歩行者等を検出し、衝突回避のための警告や車速，舵角制御等を行う処理や、車線からの逸脱を検出する処理や、ヘッドライトの向き等を制御する処理等が考えられる。
【００１９】
画像生成システム１は、撮影タイミングでの撮影により、ぶれを抑制することで看板標識の画像認識に好適にした撮影画像（第１フレーム）と、フリッカを抑制することで電光標識の画像認識に好適にした撮影画像（第２フレーム）とを含む複数種類の撮影画像を生成する。なお、看板標識とは、表示板に塗料等で描かれた標識等の情報を意味し、電光標識とは、電光表示装置が発する光により表示された情報を意味する。以下では、画像生成システム１の処理について詳しく説明する。
【００２０】
（１）撮影処理について
まず、第１，第２フレームを生成する撮影処理について説明する（図２）。本処理は、周期的な撮影タイミングが到来した際に画像生成装置２０にて実行される。
【００２１】
Ｓ１００では、画像生成装置２０の制御部２１は、カメラ１０を第１フレームの撮影が可能な第１状態に設定する第１フレーム設定処理（詳細は後述する）を実行し、Ｓ１０５に移行する。
【００２２】
Ｓ１０５では、制御部２１は、カメラ１０にて第１フレームを撮影すると共に、カメラ１０から第１フレームを取得してメモリ２４に保存し、Ｓ１１０に移行する。
Ｓ１１０では、制御部２１は、カメラ１０を第２フレームの撮影が可能な第２状態に設定する第２フレーム設定処理（詳細は後述する）を実行し、Ｓ１１５に移行する。
【００２３】
Ｓ１１５では、制御部２１は、カメラ１０にて第２フレームを撮影すると共に、カメラ１０から第２フレームを取得してメモリ２４に保存し、Ｓ１２０に移行する。
Ｓ１２０では、制御部２１は、メモリ２４から第１，第２フレームを読み出し、これらに基づく運転関連処理を実行させ、本処理を終了する。具体的には、例えば、運転関連処理を画像生成装置２０にて行う場合には、運転関連処理を行う部位に第１，第２フレームを渡し、運転関連処理を開始させても良い。また、例えば、運転関連処理を他のＥＣＵ３０にて行う場合には、車内ＬＡＮ２を介して該ＥＣＵ３０に第１，第２フレームを送信し、該ＥＣＵ３０に運転関連処理を実行させても良い。
【００２４】
（２）第１フレーム設定処理について
次に、カメラ１０を第１フレームの撮影が可能な状態に設定する第１フレーム設定処理について説明する（図３）。なお、本処理は、撮影処理からコールされるサブルーチンとして構成されている。
【００２５】
Ｓ２００では、画像生成装置２０の制御部２１は、露光時間やゲイン等を予め定められた設定値にした状態でカメラ１０により撮影を行い、撮影画像における各画素の輝度に基づき、自車両周辺の明るさを測定する（Ｓ２０５）。
【００２６】
続くＳ２１０では、制御部２１は、明るさの測定値に基づき、第１フレームの撮影に適したカメラ１０の露光時間，ゲイン等を決定し、Ｓ２１５に移行する。
Ｓ２１５では、制御部２１は、決定した露光時間が、自車両の車速と予め定められたぶれの許容範囲とに基づき定められる露光制限時間未満か否かを判定する。ここで、露光制限時間は、以下のようにして定められる。
【００２７】
すなわち、第１フレームに基づき行われる運転関連処理の内容に応じて、第１フレームのぶれの許容範囲が定められている。また、自車両の車速や、昼，夜に応じて、ぶれの発生し易さが異なる。このため、昼，夜の各場合について、自車両の車速に応じて、ぶれを許容範囲内に抑えることが可能な最大の露光時間（露光制限時間）が定められている。
【００２８】
図４のグラフは、ぶれの許容範囲が４ピクセル以内，２ピクセル以内，１．５ピクセル以内の各ケースにおける、昼，夜の各場合についての車速に対する露光制限時間を示している。なお、運転関連処理では、夜は、昼に比べ、自車両により近接する領域を対象とした画像認識が行われており、遠方の領域に存在する物体は画像認識の対象としない。このため、自車両に近接する領域に存在する物体を撮影した際のぶれが許容範囲内となれば支障をきたさず、ぶれの許容範囲が同一である場合であっても、夜の露光制限時間は、同じ車速の昼の露光制限時間に比べ長くなっている。
【００２９】
制御部２１のＲＯＭには、図４における各々のグラフ（各々のぶれの許容範囲、及び、昼，夜の各場合に対応するグラフ）に相当する露光制限時間判定テーブルが保存されている。制御部２１は、センサ部２３を介して自車両の車速を検出すると共に、明るさの測定値に基づき、昼，夜を判別する。そして、運転関連処理の内容に応じて定められるぶれの許容範囲と、昼，夜の判別結果とに対応する露光制限時間判定テーブルを参照し、自車両の車速に応じた露光制限時間を決定する。
【００３０】
そして、制御部２１は、露光時間が露光制限時間未満の場合には（Ｓ２１５：Ｙｅｓ）、Ｓ２２５に移行し、露光時間が露光制限時間を超える場合には（Ｓ２１５：Ｎｏ）、Ｓ２２０に移行する。
【００３１】
Ｓ２２０では、制御部２１は、露光時間とゲインを再度決定する。具体的には、
露光時間＝Ｓ２１５にて決定された露光制限時間
新たなゲイン＝Ｓ２１０で決定されたゲイン×Ｓ２１０で決定された露光時間／Ｓ２１５にて決定された露光制限時間
とすることで、撮影画像の輝度を高めても良い。
【００３２】
続くＳ２２５では、制御部２１は、決定された露光時間とゲイン等をカメラ１０のイメージャ１１に設定し、本処理を終了する。
（３）第２フレーム設定処理について
次に、カメラ１０を第２フレームの撮影が可能な状態に設定する第２フレーム設定処理について説明する（図５）。なお、本処理は、撮影処理からコールされるサブルーチンとして構成されている。
【００３３】
Ｓ３００では、画像生成装置２０の制御部２１は、露光時間やゲイン等を予め定められた設定値にした状態でカメラ１０により撮影を行い、撮影画像における各画素の輝度に基づき、自車両周辺の明るさを測定する（Ｓ３０５）。
【００３４】
続くＳ３１０では、制御部２１は、露光時間を、電光標識を撮影した際に生じるフリッカを抑制可能となる予め定められた長さの時間に決定すると共に、該露光時間に応じて予め定められたゲインを決定し、Ｓ３１５に移行する。具体的には、該露光時間は、電光表示装置に表示される電光標識の点滅周期として想定される期間程度の時間か、或いは、該期間よりも長い時間であっても良い。
【００３５】
Ｓ３１５では、制御部２１は、明るさの測定値が予め定められた閾値以上か否かを判定することで、決定した露光時間にてカメラ１０で撮影を行った場合に、飽和が生じる画素の数が予め定められた水準に達するか否かを判定する。そして、制御部２１は、肯定判定が得られた場合には（Ｓ３１５：Ｙｅｓ）、Ｓ３２０に移行し、否定判定が得られた場合には（Ｓ３１５：Ｎｏ）、Ｓ３２５に移行する。
【００３６】
Ｓ３２０では、制御部２１は、Ｓ３０５にて撮影画像から測定される明るさが、Ｓ３１５で用いられた閾値以下に抑制されるよう、ゲインを低い値に決定する。具体的には、例えば、該閾値を超える明るさの測定値に対応付けてゲインとして設定すべき値を登録したテーブルを設けておき、該テーブルを参照することで、ゲインの値を決定しても良い。
【００３７】
つまり、第１実施形態では、第２フレームを撮影する際、電光標識の点滅周期として想定される期間以上の長い露光時間で撮影を行うと共に、露光時間を長くすることで飽和が多く生じると予測される場合には、ゲインを下げて飽和を抑制する（図６）。
【００３８】
Ｓ３２５では、制御部２１は、決定された露光時間とゲイン等をカメラ１０のイメージャ１１に設定し、本処理を終了する。
［効果］
第１実施形態の画像生成システム１によれば、各撮影タイミングでは、単一のカメラ１０により、看板標識の画像認識に適した第１フレームと、電光標識の画像認識に適した第２フレームとが生成される。このため、これらのフレームを使い分けることで、高い精度で、看板標識と電光標識の双方を認識可能となる。したがって、単一のカメラ１０を用いて、看板標識と電光標識とに基づく運転関連処理を高い精度で実行できる。
【００３９】
また、第１フレームを撮影する際の露光時間は、自車両の車速や昼，夜に応じて定められる露光制限時間以下になるため、確実に、撮影画像のぶれを許容範囲内に抑えることができる。さらに、露光制限時間が本来必要な露光時間に満たない場合には、カメラ１０のイメージャ１１には、本来必要な露光時間と露光制限時間の比率に基づき定められる高いゲインが設定される。このため、ぶれを抑えつつ、撮影画像の輝度を適切なものとすることができる。
【００４０】
また、第２フレームを撮影する際には、フリッカを抑制可能な露光時間が設定されると共に、飽和する画素が多く発生すると予想される場合には、カメラ１０のイメージャ１１に低いゲインが設定される。このため、飽和を抑制できる。
【００４１】
［第２実施形態］
次に、第２実施形態の画像生成システム１について説明する。第２実施形態の画像生成システム１は、第１実施形態と同様のカメラ１０，画像生成装置２０から構成されるが、処理の内容が一部相違しており、以下では、相違点を中心に説明する。
【００４２】
第２実施形態では、周期的な撮影タイミングが到来した際に画像生成装置２０により撮影処理が実行され、第１，第２フレームが撮影されるが、第２フレームの撮影方法が第１実施形態と相違している。
【００４３】
具体的には、第２実施形態では、撮影タイミングが到来すると、飽和が生じる画素数を予め定められた水準以下に抑制可能な露光時間（一例として、電光標識の点滅周期として想定される期間の半分程度の時間）で、連続的に２回にわたり撮影がなされる（図６）。この時、１回目の撮影では、撮影画像を構成する偶数ラインの画像データが生成され、２回目の撮影では、撮影画像を構成する奇数ラインの画像データが生成される。そして、これらの撮影画像を結合することで、第２フレームが生成される。
【００４４】
なお、カメラ１０による撮影画像を構成するラインには、上端側から順に１から番号が付されており、偶数ラインとは偶数の番号が付されたラインを、奇数ラインとは奇数の番号が付されたラインを意味する。
【００４５】
以下では、第２実施形態の撮影処理について説明する（図７）。本処理は、周期的な撮影タイミングが到来した際に画像生成装置２０にて実行される。
Ｓ４００，Ｓ４０５は、第１実施形態の撮影処理のＳ１００，Ｓ１０５と同様であるため、説明を省略する。
【００４６】
Ｓ４１０では、制御部２１は、カメラ１０の露光時間を、電光標識の点滅周期の半分程度の時間に設定すると共に、該露光時間に応じてカメラ１０のゲイン等を設定し、Ｓ４１５に移行する。
【００４７】
Ｓ４１５では、制御部２１は、２回にわたりカメラ１０により撮影を行う。この時、１回目の撮影では、制御部２１は、カメラ１０から出力される撮影画像のうち、偶数ラインを構成する画像データのみをメモリ２４に保存し、２回目の撮影では、カメラ１０から出力される撮影画像のうち、奇数ラインを構成する画像データのみをメモリ２４に保存する。
【００４８】
なお、これに限らず、１回目の撮影では、カメラ１０に偶数ラインに対応する撮像素子により撮影を行わせ、偶数ラインの画像データをメモリ２４に保存しても良い。また、２回目の撮影では、カメラ１０に奇数ラインに対応する撮像素子により撮影を行わせ、奇数ラインの画像データをメモリ２４に保存しても良い。
【００４９】
続くＳ４２０では、制御部２１は、偶数ラインの画像データと奇数ラインの画像データとを結合することで、第２フレームを生成すると共に、第２フレームをメモリ２４に保存する。なお、第２フレームでは、各ラインの画像データが適切な順番で並んだ状態になるのは言うまでも無い。
【００５０】
続くＳ４２５は、第１実施形態の撮影処理のＳ１２０と同様であるため、説明を省略する。
［効果］
第２実施形態の画像生成システム１では、第２フレームの撮影タイミングでは、電光標識の点滅周期として想定される期間の半分程度の露光時間で２回撮影がなされ、１回目の撮影では偶数ラインの画像データが、２回目の撮影では奇数ラインの画像データが生成される。そして、これらの撮影画像を結合することで、第２フレームが生成される。
【００５１】
このため、各画像データからは、飽和を抑えた状態の撮影画像が生成される。また、偶数ラインの画像データと奇数ラインの画像データの一方でフリッカが生じていたとしても、他方でフリッカが生じていなければ、第２フレームは、全体としてフリッカが抑制された状態となる。さらに、２回の撮影における露光時間の総和が電光標識の点滅周期程度になるため、一方の撮影でフリッカが生じたとしても、他方の撮影ではフリッカを抑制可能である。このため、第２フレームにおいて、より確実にフリッカを抑制できる。
【００５２】
［第３実施形態］
次に、第３実施形態の画像生成システム１について説明する。第３実施形態の画像生成システム１は、第２実施形態と同様のカメラ１０，画像生成装置２０から構成され、第２実施形態と同様の処理が行われるが、第２フレームの撮影方法が第２実施形態と相違している。
【００５３】
具体的には、第３実施形態では、撮影タイミングが到来すると、飽和が生じる画素数を予め定められた水準以下に抑制可能な露光時間（一例として、電光標識の点滅周期として想定される期間の１／３程度の時間）で、連続的に３回にわたり第２フレームが撮影される（図６）。そして、これらの撮影画像を合成することで、第２フレームが生成される。
【００５４】
無論、撮影タイミングでの撮影回数は、３回に限定されることは無く、２回、或いは４回以上にわたり撮影を行い、各撮影画像を合成することで第２フレームを生成しても良い。なお、この時、これらの撮影における露光時間の総和を、電光標識の点滅周期程度の時間か、或いは、それ以上の時間にするのが好適である。
【００５５】
第３実施形態の撮影処理は、Ｓ４１０〜Ｓ４２０において、第２実施形態と相違している（図７）。以下では、Ｓ４１０〜Ｓ４２０の処理について説明する。
Ｓ４１０では、制御部２１は、カメラ１０の露光時間を、電光標識の点滅周期の１／３程度の時間に設定すると共に、該露光時間に応じてカメラ１０のゲイン等を設定し、Ｓ４１５に移行する。
【００５６】
Ｓ４１５では、制御部２１は、３回にわたりカメラ１０により撮影を行うと共に、各撮影画像をメモリ２４に保存し、Ｓ４２０に移行する。
Ｓ４２０では、制御部２１は、Ｓ４１５にて生成された各撮影画像を合成することで、輝度分布が運転関連処理に好適となるように調整された第２フレームを生成すると共に、第２フレームをメモリ２４に保存し、Ｓ４２５に移行する。なお、この時、各撮影画像の位置ずれを補正した上で、撮影画像を合成しても良い。
【００５７】
［効果］
第３実施形態の画像生成システム１では、第２フレームの撮影タイミングでは、電光標識の点滅周期として想定される期間の１／３程度の露光時間で３回撮影がなされる。そして、これらの撮影画像を合成することで、第２フレームが生成される。
【００５８】
このため、各画像データからは、飽和を抑えた状態の撮影画像が生成される。また、いずれかの撮影画像でフリッカが生じていたとしても、他の撮影画像でフリッカが生じていなければ、第２フレームは、全体としてフリッカが抑制された状態となる。さらに、３回の撮影における露光時間の総和が電光標識の点滅周期程度になるため、いずれかの撮影画像でフリッカが生じたとしても、他の撮影画像ではフリッカを抑制可能である。このため、第２フレームにおいて、より確実にフリッカを抑制できる。
【００５９】
［第４実施形態］
次に、第４実施形態の画像生成システム１について説明する。第４実施形態の画像生成システム１は、第１実施形態と同様のカメラ１０，画像生成装置２０から構成されるが、処理の内容が一部相違しており、以下では、相違点を中心に説明する。
【００６０】
第４実施形態では、周期的な撮影タイミングが到来した際に画像生成装置２０により撮影処理が実行されるが、撮影処理では、看板標識の画像認識と電光標識の画像認識に適した（ぶれとフリッカの双方を抑制した）１の共通フレームが撮影される。
【００６１】
具体的には、撮影タイミングが到来すると、ぶれを抑制可能となる短い露光時間で、連続的に複数回にわたり撮影がなされる。そして、これらの撮影画像の位置ずれを補正した後、これらの撮影画像を合成することで、共通フレームが生成される。
【００６２】
以下では、第４実施形態の画像生成システム１の処理について詳しく説明する。
（１）撮影処理について
まず、共通フレームを生成する撮影処理について説明する（図８）。本処理は、周期的な撮影タイミングが到来した際に画像生成装置２０にて実行される。
【００６３】
Ｓ５００では、画像生成装置２０の制御部２１は、カメラ１０を共通フレームの撮影が可能な状態に設定する共通フレーム設定処理（詳細は後述する）を実行し、Ｓ５０５に移行する。
【００６４】
Ｓ５０５では、制御部２１は、共通フレーム設定処理で設定された露光回数にわたり撮影を行い、Ｓ５１０に移行する。なお、後述する共通フレーム設定処理のＳ６３０が実行された場合には、露光回数は２回以上の回数になるが、Ｓ６３０が実行されなかった場合には、露光回数は１回となる。
【００６５】
Ｓ５１０では、制御部２１は、各撮影画像の位置ずれを補正する。具体的には、例えば、いずれかの撮影画像から複数のエッジが交差する点を特徴点として抽出すると共に、抽出した特徴点を他の撮影画像からサーチし、各撮影画像の特徴点の対応付けを行っても良い。そして、各撮影画像の特徴点が重なった状態になるよう、各撮影画像の画素の位置を移動させることで、位置ずれを補正しても良い。
【００６６】
その後、補正がなされた各撮影画像を合成することで、輝度分布が運転関連処理に好適となるように調整された共通フレームを生成すると共に、共通フレームをメモリ２４に保存し、Ｓ５１５に移行する。
【００６７】
Ｓ５１５では、制御部２１は、メモリ２４から共通フレームを読み出し、共通フレームに基づく運転関連処理を実行させ、本処理を終了する。具体的には、運転関連処理を画像生成装置２０にて行う場合には、運転関連処理を行う部位に共通フレームを渡し、運転関連処理を開始させても良い。また、運転関連処理を他のＥＣＵ３０にて行う場合には、車内ＬＡＮ２を介して該ＥＣＵ３０に共通フレームを送信し、該ＥＣＵ３０に運転関連処理を実行させても良い。
【００６８】
（２）共通フレーム設定処理について
次に、カメラ１０を共通フレームの撮影が可能な状態に設定する共通フレーム設定処理について説明する（図９）。なお、本処理は、撮影処理からコールされるサブルーチンとして構成されている。
【００６９】
Ｓ６００〜Ｓ６２０は、第１実施形態の第１フレーム設定処理のＳ２００〜Ｓ２２０と同様であるため、説明を省略する。
Ｓ６１５で肯定判定が得られた場合や、Ｓ６２０に続いて実行されるＳ６２５では、制御部２１は、決定した露光時間が、予め定められたフリッカ対策露光時間（一例として、電光標識の点滅周期程度の時間）未満か否かを判定する。そして、肯定判定が得られた場合には（Ｓ６２５：Ｙｅｓ）、Ｓ６３０に移行し、否定判定が得られた場合には（Ｓ６２５：Ｎｏ）、Ｓ６３５に移行する。
【００７０】
Ｓ６３０では、制御部２１は、露光回数（換言すれば、カメラ１０により撮影を行う回数）を２回以上に決定し、Ｓ６３５に移行する。具体的には、例えば、フリッカ対策露光時間を先に決定された露光時間で除算した値を算出し、該値の小数点以下を切り上げた値を、露光回数としても良い。換言すれば、各撮影における露光時間の総和がフリッカ対策露光時間以上となるよう、露光時間を設定しても良い。
【００７１】
Ｓ６３５では、制御部２１は、決定した露光時間とゲイン等をカメラ１０のイメージャ１１に設定し、本処理を終了する。
［効果］
第４実施形態の画像生成システム１によれば、単一のカメラ１０によりぶれを抑えた撮影画像が複数生成されると共に、これらの撮影画像の位置ずれを補正した上で、これらの撮影画像の合成画像が生成される。各撮影画像ではぶれが抑制されているため、合成画像からは看板標識を高い精度で認識可能となる。また、複数回にわたる撮影画像を合成することで、輝度の分布を、電光標識の認識に適した状態にすることができる。したがって、単一のカメラ１０を用いて、看板標識と電光標識とに基づく運転関連処理を高い精度で実行できる。
【００７２】
［他の実施形態］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
【００７３】
（１）第２実施形態の画像生成システム１では、撮影タイミングでは、２回にわたり撮影がなされ、１回目の撮影では偶数ラインの画像データが、２回目の撮影では奇数ラインの画像データが生成される。つまり、撮影画像を構成する１〜Ｘ番のラインが並ぶパターンとして、２種類の整列パターンが設けられており、各整列パターンでは、１本のラインを開けた状態で、１本ずつラインが並んでいる。
【００７４】
しかしながら、これに限らず、各整列パターンでは、２本以上のラインを開けた状態でラインが並んでいても良いし、１本或いは２本以上のラインを開けた状態で、Ｙ本（Ｙ＞２）ずつラインが並んでいても良い。また、Ｚ種類（Ｚ＞２）の整列パターンを設け、撮影タイミングにてＺ回にわたり撮影を行い、各回の撮影では、異なる整列パターンに対応するラインの画像データを生成しても良い。無論、全種類の整列パターンのラインを結合すると全ラインが隙間なく並んだ状態となるよう、整列パターンを定めるのが好適である。なお、この時、撮影タイミングにて行われる各撮影の露光時間の総和を、電光標識の点滅周期程度の時間か、或いは、それ以上の時間にするのが好適である。
【００７５】
具体的には、例えば、３種類の整列パターンを設ける場合であれば、その順番が３ｘ（ｘは１以上の整数）で表されるラインと、３ｘ＋１で表されるラインと、３ｘ＋２で表されるラインとにより、各整列パターンを構成しても良い。
【００７６】
このような構成を有する場合であっても、同様の効果を得ることができる。
（２）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしても良い。また、上記実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えても良い。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００７７】
（３）上述した画像生成システム１の他、画像生成システム１に相当する単一の装置や、画像生成システム１を構成する画像生成装置２０としてコンピュータを機能させるためのプログラムや、このプログラムを記録した媒体や、画像生成装置２０にて実行される処理に相当する方法など、種々の形態で本発明を実現することもできる。
【００７８】
［特許請求の範囲との対応］
第１〜第４実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。
【００７９】
画像生成装置２０のセンサ部２３が、車速検出手段の一例に相当する。
また、第１実施形態の撮影処理におけるＳ１０５が第１撮影手段の一例に、Ｓ１１５が第２撮影手段の一例に、Ｓ１２０が実行手段の一例に相当する。
【００８０】
また、第１フレーム設定処理のＳ２１０〜Ｓ２２５が第１撮影手段の一例に、Ｓ２０５が明るさ検出手段の一例に相当する。
また、第２フレーム設定処理のＳ３１０〜Ｓ３２５が第２撮影手段の一例に相当する。
【００８１】
また、第２，第３実施形態の撮影処理のＳ４０５が第１撮影手段の一例に、Ｓ４１０〜Ｓ４２０が第２撮影手段の一例に、Ｓ４２５が実行手段の一例に相当する。
また、第４実施形態の撮影処理のＳ５０５が撮影手段の一例に、Ｓ５１０が生成手段の一例に、Ｓ５１５が実行手段の一例に相当する。
【符号の説明】
【００８２】
１…画像生成システム、１０…カメラ、１１…イメージャ、１２…画像Ｉ／Ｆ、２０…画像生成装置、２１…制御部、２２…通信部、２３…センサ部、２４…メモリ。
【図１】
2016220056.tif 000003
【図２】
2016220056.tif 000004
【図３】
2016220056.tif 000005
【図４】
2016220056.tif 000006
【図５】
2016220056.tif 000007
【図６】
2016220056.tif 000008
【図７】
2016220056.tif 000009
【図８】
2016220056.tif 000010
【図９】
2016220056.tif 000011