(57)【特許請求の範囲】
【請求項１】
視標と、車外を撮影する可視光カメラと、を装備する車輌の車載カメラシステムに用いられるキャリブレーション装置であって、
前記可視光カメラが撮影した画像データを取得して、当該画像データに基づいて、前記可視光カメラの撮影範囲のうち、表示部に表示させる所定の領域の外側に設けられた前記視標の位置を検出する視標検出部と、
前記視標の位置に基づいて、前記可視光カメラの撮影範囲のうち、前記表示部に表示させる領域を設定する制御部と、
を備えるキャリブレーション装置。
【請求項２】
前記制御部は、更に、前記撮影範囲における前記視標の位置に基づいて、前記表示部に表示させる領域の画像回転角を設定する
ことを特徴とする請求項１に記載のキャリブレーション装置。
【請求項３】
前記可視光カメラが生成した画像データにおける、予め設定した領域の輝度情報又は色度情報の少なくとも一方から算出される画像特徴量に基づいて、前記可視光カメラの撮影環境の適否を判定する第１の判定部を更に備え、
前記視標検出部は、前記第１の判定部に撮影環境が適していると判定されたときに、前記撮影範囲における前記視標の位置を検出する
ことを特徴とする請求項１又は２に記載のキャリブレーション装置。
【請求項４】
前記可視光カメラの撮影方向の照度を検出する照度センサ、又は、前記可視光カメラに対する近接物を検出する近接センサの少なくともいずれか一方の検出信号に基づいて、前記可視光カメラの撮影環境の適否を判定する第２の判定部を更に備え、
前記視標検出部は、前記第２の判定部に撮影環境が適していると判定されたときに、前記撮影範囲における前記視標の位置を検出する
ことを特徴とする請求項１乃至３のいずれか一項に記載のキャリブレーション装置。
【請求項５】
前記車輌を制御する制御装置から受信した前記車輌の状態を示す信号に基づいて、前記可視光カメラの撮影環境の適否を判定する第３の判定部を更に備え、
前記視標検出部は、前記第３の判定部に撮影環境が適していると判定されたときに、前記撮影範囲における前記視標の位置を検出する
ことを特徴とする請求項１乃至４のいずれか一項に記載のキャリブレーション装置。
【請求項６】
前記視標は、前記車輌のリアガラスに設けられた電熱線を含み、
前記可視光カメラは、前記電熱線が撮影されるように車外後方を撮影する
ことを特徴とする請求項１乃至５のいずれか一項に記載のキャリブレーション装置。
【請求項７】
前記視標は、前記電熱線と接するように又は前記電熱線と近接するように前記車輌のリアガラスに設けられ、前記電熱線とともに所定のパターンを形成するパターン補助部を更に含む
ことを特徴とする請求項６に記載のキャリブレーション装置。
【請求項８】
前記パターン補助部は、前記車輌の運転者が前記車輌のリアガラスを通して前記車輌の後方を目視した際に、前記可視光カメラの本体により目隠しされ、視認できない位置に設けられる
ことを特徴とする請求項７に記載のキャリブレーション装置。
【請求項９】
請求項１乃至８のいずれか一項に記載のキャリブレーション装置を備える車載カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、キャリブレーション装置及び車載カメラシステムに関する。
【背景技術】
【０００２】
近年、車輌に可視光カメラを設置し、バックミラーやサイドミラーに代えて、この可視光カメラで車外を撮影した画像をディスプレイに表示して運転を支援する電子ミラーが用いられるようになってきている。電子ミラーにおいては、一般に、カメラの撮影方向や焦点合わせ等のキャリブレーションが必要である。例えば、特許文献１には、撮影範囲に赤外光を遮蔽する視標を配置し、この視標を近赤外線カメラで撮影することによってキャリブレーションすることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１８６０２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
電子ミラーは、バックミラーやサイドミラーとして用いられることから、電子ミラーを構成するディスプレイは、一般に、比較的小さなディスプレイが用いられる。そして、このディスプレイには、可視光カメラで撮影した撮影領域のうち、運転者に必要な領域のみを切り出して表示する構成がとられる。
【０００５】
しかしながら、この可視光カメラは、車輌内に設置されるため、走行時の振動を受けて、カメラを固定する固定部品が緩んだり、カメラの撮影方向を調整する調整機構の連結部分が緩んだりして、撮影方向にずれが生じる場合がある。又、かかる固定部品や連結部分が、経年劣化した場合には、カメラの撮影方向が少しずつ下方向にずれる場合がある。このように、カメラの撮影方向に僅か（例えば、０．５度程度）でもずれが生じた場合、電子ミラーは、上記のごとく車外の遠方（例えば、数１００ｍ後方）まで撮影して、比較的小さなディスプレイに表示させるものであるため、運転者が当該ディスプレイで視認し得る領域を大きく変化させることとなる。このようなカメラの撮影方向の微調整を運転者が手で行うことは、運転者にとって煩雑であり、困難である場合も多い。
【０００６】
この点、特許文献１では、視標（ターゲット）を用いてカメラのキャリブレーションを行っているため、運転者が手で行う煩雑さを解消することができる。しかし、特許文献１は、近赤外線カメラを用いてキャリブレーションを行う必要があるため、電子ミラーに用いる場合、近赤外線カメラを装備しなければならず、装置の小型化やコスト面において問題となる。
【０００７】
そこで、本発明は、電子ミラーにおける上記問題点を踏まえて、カメラの撮影方向のずれを補正し得る、より好適なキャリブレーション装置及び車載カメラシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
前述した課題を解決する主たる本発明は、視標と、車外を撮影する可視光カメラと、を装備する車輌の車載カメラシステムに用いられるキャリブレーション装置であって、前記可視光カメラが撮影した画像データを取得して、当該画像データに基づいて、前記可視光カメラの撮影範囲のうち、表示部に表示させる所定の領域の外側に設けられた前記視標の位置を検出する視標検出部と、前記視標の位置に基づいて、前記可視光カメラの撮影範囲のうち、表示部に表示させる領域を設定する制御部と、を備えるキャリブレーション装置である。
【発明の効果】
【０００９】
本発明に係るキャリブレーション装置によれば、カメラの撮影方向にずれが生じた場合であっても、表示部に表示させる領域が運転者に適した領域となるように補正することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態に係るカメラシステムを搭載する車輌の一例を示す図である。
【図２】第１の実施形態に係るカメラシステムの構成の一例を機能ブロックとして示す図である。
【図３】第１の実施形態に係るカメラシステムのキャリブレーションについて説明するための図である。
【図４】第１の実施形態に係るカメラシステムの動作の一例をフローチャートにより表した図である。
【図５】第１の実施形態における表示部に表示する領域の導出方法について説明するための図である。
【図６】第１の実施形態（変形例１）における視標の他の態様を示す図である。
【図７】第１の実施形態（変形例２）における表示部に表示する領域の他の導出方法について説明するための図である。
【図８】可視光カメラが魚眼レンズを用いている場合に撮影される画像の一例を示す図である。
【図９】第２の実施形態に係るカメラシステムの構成の一例を機能ブロックとして示す図である。
【図１０】第２の実施形態に係るカメラシステムの動作の一例をフローチャートにより表した図である。
【図１１】第２の実施形態に係るカメラシステムの画像特徴量検出部の動作を説明するための図である。
【図１２】第２の実施形態（変形例）に係るカメラシステムの構成の一例を機能ブロックとして示す図である。
【図１３】第２の実施形態（変形例）に係るカメラシステムの動作の一例をフローチャートにより表した図である。
【図１４】第３の実施形態に係るカメラシステムのパターン補助部の態様を示す図である。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
以下、図１〜図３を参照して、本実施形態に係るカメラシステムの構成について説明する。本実施形態では、カメラシステムが車輌のバックミラーとして用いられる態様を示す。
【００１２】
図１は、本実施形態に係るカメラシステムを搭載する車輌の一例を示す図である。又、図２は、本実施形態に係るカメラシステムの構成の一例を機能ブロックとして示す図である。又、図３は、本実施形態に係るカメラシステムのキャリブレーション（以下、「補正」とも言う）について説明するための図である。
【００１３】
本実施形態に係るカメラシステムを搭載する車輌には、リアガラスＣ１と可視光カメラＣ２とディスプレイＣ３とが装備されている。
【００１４】
リアガラスＣ１は、車輌の後部の窓ガラスであり、水平方向に延在する直線状の電熱線Ｃ１１が設けられている。尚、電熱線Ｃ１１は、ガラスの曇り止め等を目的として、リアガラスＣ１上に貼り付けられる既存設備である。本実施形態に係るカメラシステムでは、キャリブレーションの際の視標として当該電熱線Ｃ１１を用いている（以下、「視標Ｃ１１」とも言う）。
【００１５】
可視光カメラＣ２は、車外の後方を撮影するためのカメラである。そして、可視光カメラＣ２で撮影された画像は、ディスプレイＣ３に表示される。可視光カメラＣ２は、車輌内のリアガラスＣ１近傍に、固定部材（図示せず）によって車輌に固定された状態で設置されている。そして、可視光カメラＣ２は、リアガラスＣ１越しに、電熱線Ｃ１１が撮像範囲に含まれるように車外の後方を撮影している。尚、可視光カメラＣ２としては、ＣＣＤカメラ等、可視光に対して感度を有する撮像素子を用いたカメラが用いられる。
【００１６】
ディスプレイＣ３は、可視光カメラＣ２が撮影した画像を表示する表示部であって、例えば、液晶ディスプレイである。ディスプレイＣ３は、車輌内の前方の、運転者が画像を視認できる位置に設置されている。ここでは、ディスプレイＣ３は、車輌に装備されるバックミラーとして設置されている。そして、ディスプレイＣ３は、可視光カメラＣ２の撮影範囲のうち、運転者が車輌後方を確認するために必要な所定領域を表示する。
【００１７】
次に、本実施形態に係るカメラシステムの機能について説明する。
【００１８】
車輌内に設置された可視光カメラＣ２の撮影方向は、上記したとおり、固定部品の緩み等によって、ずれが生じる場合がある。図３Ａは、可視光カメラＣ２で撮影する撮影範囲Ｒ１と、表示部（ディスプレイＣ３）に表示する領域Ｒ２との関係の一例を示しており、図３Ｂは、図３Ａの状態から可視光カメラＣ２の撮影方向が下向きにずれた時の撮影範囲Ｒ１と、表示部に表示する領域Ｒ２ａ、Ｒ２ｂとの関係の一例を示している。図３Ｂでは、領域Ｒ２ａが補正前の表示領域を示し、領域Ｒ２ｂが補正後の表示領域を示している。
【００１９】
表示部に表示する領域Ｒ２（点線で囲む領域）は、可視光カメラＣ２が撮影する撮影範囲Ｒ１（実線で囲む領域）の一部の領域であり、運転者にとって視認する必要がある領域が切り出されたものとなっている（図３Ａ）。このとき、可視光カメラＣ２の撮影方向が下向きにずれた場合には、撮影範囲Ｒ１がずれるため、表示部３に表示する領域Ｒ２もずれることになる（図３ＢのＲ２ａ）。しかし、本実施形態に係るカメラシステムでは、後述する視標検出部４と制御部５の機能により、電熱線Ｃ１１を視標として可視光カメラＣ２の撮影範囲Ｒ１のずれを検知し、表示部３に表示する領域Ｒ２を補正することを可能としている（図３ＢのＲ２ｂ）。尚、電熱線Ｃ１１は、可視光カメラＣ２の撮影方向の初期位置が調整されることによって、当該可視光カメラＣ２が撮影する撮影範囲Ｒ１に含まれ、表示部に表示する領域Ｒ２の外側に位置するような状態となっている。
【００２０】
図２に示すように、本実施形態に係るカメラシステムは、撮像部１、画像処理部２、表示部３、視標検出部４及び制御部５を備えている。尚、具体的処理の一例は、図４、図５を参照して後述する。
【００２１】
撮像部１は、上記可視光カメラＣ２に相当する構成であり、シャッター機構等を制御することで、当該可視光カメラＣ２の撮影範囲の画像データＤ１を生成する。この画像データＤ１は、撮像素子から取得した画像信号をＡＤ変換して得られるものであり、画素ごとの色度情報及び輝度情報（例えば、ＲＧＢ夫々についての２５６階調の輝度値）を含んでいる。撮像部１が生成した画像データＤ１は、画像処理部２及び視標検出部４に入力される。尚、撮像部１が行う画像データＤ１を生成する処理は、可視光カメラにおける既存の処理と同様である。
【００２２】
画像処理部２は、撮像部１が生成した画像データＤ１に対して、所定の画像処理を施して、表示部３に表示させる形式の画像データＤ２に変換する。このとき、画像処理部２は、制御部５から表示部３に表示させる領域Ｒ２を指定するデータＤ４（以下、「設定データＤ４」と言う）を取得して、当該設定データＤ４に基づいて、撮像部１が生成した画像データＤ１を補正する。尚、画像処理部２は、例えば、画像処理プロセッサによって構成されている。
【００２３】
表示部３は、上記ディスプレイＣ３に相当する構成であり、画像処理部２から出力される画像データＤ２に基づいて、可視光カメラＣ２が撮影した画像を表示する。尚、表示部３の行う処理は、液晶ディスプレイ等における既存の処理と同様であり、画像処理部２から取得した画像データＤ２に基づいて、例えば、デコーダ処理等を行って、各フレームの画素ごとのＲＧＢ夫々について２５６階調の輝度値が導出されることになる。
【００２４】
視標検出部４は、撮像部１が生成した画像データＤ１に基づいて、可視光カメラＣ２の撮影範囲内に撮影される視標Ｃ１１の位置を検出する。より詳細には、視標検出部４は、画像データＤ１の色度情報又は輝度情報の少なくとも一方と、記憶部（図示せず）に予め記憶された視標Ｃ１１のパターンのデータを用いて、テンプレートマッチング法等のパターン認識方法によって、撮影範囲内における視標Ｃ１１のパターンを抽出する。ここでは、視標検出部４は、可視光カメラＣ２の撮影範囲内における視標Ｃ１１の位置を示すデータＤ３（以下、「視標位置データＤ３」と言う）を、抽出された視標Ｃ１１のパターンの座標データとして検出する。尚、視標検出部４は、視標Ｃ１１のパターンを抽出しやすくするため、コントラスト調整、空間周波数成分検出、エッジ検出を行ってもよい。
【００２５】
ここで、視標検出部４が検出する視標Ｃ１１の位置とは、例えば、撮影範囲内に映る視標Ｃ１１の全領域の輪郭（エッジ部分）の座標であるが、基準位置からの可視光カメラＣ２の撮影方向のずれ量を算出するために必要な点数の座標であればよい。例えば、直線状の電熱線Ｃ１１であれば、少なくとも２地点の座標があれば、可視光カメラＣ２の撮影範囲の水平方向からの傾度、及び高さ方向へのずれ量を検出することができる。
【００２６】
制御部５は、視標位置データＤ３に基づいて、表示部３に表示させる領域Ｒ２を導出し、当該領域Ｒ２を指定する設定データＤ４を画像処理部２に出力する。制御部５は、例えば、視標検出部４から視標位置データＤ３を取得して、可視光カメラＣ２の撮影範囲のずれ量を導出して、これに基づいて、表示部３に表示させる領域を示す設定データＤ４を生成する（詳細は後述する）。つまり、制御部５は、視標Ｃ１１の位置を基準として、表示部３に表示する表示領域を補正する。尚、制御部５及び視標検出部４は、例えば、マイコン等のＣＰＵがプログラムを実行することで実現される。
【００２７】
ここでは、かかる視標検出部４と制御部５とでキャリブレーション装置を構成している。
【００２８】
＜カメラシステムの動作＞
以下、図４、図５を参照して、本実施形態に係るカメラシステムの動作の一例について説明する。
【００２９】
図４は、本実施形態に係るカメラシステムの動作の一例をフローチャートにより表した図である。又、図５は、表示部３に表示する領域Ｒ２の導出方法について説明するための図である。図５中の太線で囲む領域Ｒ１、点線で囲む領域Ｒ２は、夫々、可視光カメラＣ２の撮影範囲、表示部３に表示する領域を表し、当該可視光カメラＣ２の撮影範囲Ｒ１を基準にＸＹ座標を定めている。ここでは、表示部３に表示する領域Ｒ２は、視標（電熱線）Ｃ１１の位置から、水平方向に対する傾き角（Ｘ方向に対するＹ方向の傾き角を表す。）と、高さ方向へのずれ（Ｙ方向のずれを表す。）を検出して定められるものとする。ここで、水平方向に対する傾き角の補正は、カメラの「ロール角」のずれに対応する補正に相当し、高さ方向の補正は、カメラの「ピッチ角」のずれに対応する補正に相当する。尚、図５中のφはロール角を表し、μは電熱線Ｃ１１に対する高さ方向（＋Ｙ方向）への基準距離を表す。
【００３０】
まず、視標検出部４は、撮影範囲における視標Ｃ１１の位置を検出する処理を行う（Ｓ１）。 このとき、視標検出部４は、例えば、画像データＤ１の色度情報、輝度情報を用いて、撮影範囲Ｒ１における視標Ｃ１１のパターンを抽出する。尚、ここで、視標検出部４が行うパターン抽出の方法は、公知のテンプレートマッチング法を用いるものとする。そして、視標検出部４は、当該視標Ｃ１１のパターンの撮影範囲Ｒ１における端部の座標Ａ点（ｘ０、ｙ０）、Ｂ点（ｘ１、ｙ１）を、視標Ｃ１１の位置を示す視標位置データＤ３として生成する。
【００３１】
次に、制御部５は、視標検出部４が生成した視標位置データＤ３に基づいて、視標Ｃ１１のＡ点（ｘ０、ｙ０）、Ｂ点（ｘ１、ｙ１）の位置から、式（１）を用いてロール角φｂを導出する（Ｓ２）。
φ＝ａｒｃｔａｎ（（ｙ１−ｙ０）／（ｘ１−ｘ０））  …式（１）
そして、導出したロール角φｂが、現在設定されているロール角φａに対して閾値以上ずれている場合（Ｓ２：ＹＥＳ）、表示部３に表示する画像の画像回転角を、当該導出後の値φｂに更新する（Ｓ３）。一方、導出したロール角φｂが、現在設定されているロール角φａに対して閾値以上ずれていない場合（Ｓ２：ＮＯ）、画像回転角の更新は行わない。
【００３２】
続いて、制御部５は、視標位置データＤ３に基づいて、領域Ｒ２の中心点を表すＣ点（ｘ２、ｙ２）の座標を導出する（Ｓ４）。表示領域Ｒ２の中心点Ｃは、ここでは、可視光カメラＣ２の撮影範囲のＸ座標の中央線を表す式（２）と、直線状の電熱線（視標）Ｃ１１に対して高さ方向（＋Ｙ方向）へ距離μの間隔を有する基準線を表す式（３）との交点として定められる。
Ｘ＝（ｘ１−ｘ０）／２  …式（２）
Ｙ＝（（ｙ１−ｙ０）／（ｘ１−ｘ０））Ｘ＋ｙ０＋μ  …式（３）
（但し、μは定数を表す）
このとき、導出した表示領域Ｒ２の中心点Ｃの高さ位置ｙ２ｂが、現在設定されている高さ位置ｙ２ａに対して閾値以上ずれている場合（Ｓ４：ＹＥＳ）、表示部３に表示する画像の表示領域Ｒ２の中心点Ｃの高さ位置ｙ２を、当該導出後の値ｙ２ｂに更新する（Ｓ５）。一方、導出した高さ位置ｙ２ｂが、現在設定されている高さ位置ｙ２ａに対して閾値以上ずれていない場合（Ｓ４：ＮＯ）、表示領域Ｒ２の中心点Ｃ（ｘ２、ｙ２）の更新は行わない。
【００３３】
以上の工程によって、表示領域Ｒ２は、当該表示領域Ｒ２の中心点Ｃ（ｘ２、ｙ２）から所定の範囲で、かつ、ロール角φだけ回転させた領域として定められることになる。そして、制御部５は、画像処理部２に対して、導出した表示領域Ｒ２の座標データ及び画像回転角（ロール角φ）を示す設定データＤ４を出力する。画像処理部２は、当該設定データＤ４をレジスタに記憶し、画像データＤ１に対して、フィルタ処理、コントラスト調整、画像圧縮等の所定の画像処理を施すフローの中で、当該設定データＤ４に基づいて、表示部３に表示させる領域Ｒ２の画像データを抽出するとともに、画像回転角−φの回転処理を行った画像データＤ２を表示部３に送信する。そして、表示部３は、画像処理部２から取得した画像データＤ２に基づいて、撮影範囲Ｒ１のうちの領域Ｒ２を表示する（Ｓ６）。
【００３４】
尚、ここでは、表示部３に表示する画像の画像揺れを防止するため、現在の設定値に対するずれ量が閾値を超えた場合に、表示部３に表示する領域Ｒ２を設定するための設定データＤ４の更新を行う構成としたが、必ずしも閾値を設ける必要はない。つまり、常時、視標Ｃ１１の位置を検出し、その位置に追従するように表示領域Ｒ２を設定してもよいのは勿論である。
【００３５】
以上、本実施形態に係る車載カメラシステムによれば、可視光カメラＣ２の撮影方向にずれが生じた場合でも、表示部３に表示される画像にはずれが生じないように、正確、且つ、早期に補正することができる。そして、視標の位置を検出するための近赤外線カメラや、可視光カメラＣ２の撮影方向を変更するためのアクチュエータ等も不要であるため、システムを構成する装置の小型化及びコスト低減が可能となる。
【００３６】
特に、本実施形態に係る車載カメラシステムにおいては、車輌に既設されている電熱線Ｃ１１を視標として補正を行うことができるため、車輌に新たに視標を設置する必要もない。又、電熱線Ｃ１１は、直線状に設けられるため、可視光カメラＣ２で検出することが比較的容易であり、補正の精度も向上させることができる。加えて、電熱線Ｃ１１は、可視光カメラＣ２の撮影方向の初期位置が調整されることによって、当該可視光カメラＣ２が撮影する撮影範囲Ｒ１に含まれ、且つ、表示部に表示する領域Ｒ２の外側に位置するような状態にすることができるため、運転者の視認領域を阻害するおそれもない。
【００３７】
（第１の実施形態の変形例１）
上記実施形態では、可視光カメラＣ２の撮影方向の高さ方向（Ｙ方向）へのずれと水平方向に対する傾き角（φ）のみを補正する態様を示したが、これらに併せて、可視光カメラの撮影方向の横方向（Ｘ方向）のずれも補正する構成としてもよい。尚、可視光カメラＣ２の撮影方向の横方向の補正は、可視光カメラＣ２の撮影方向の「ヨー角」のずれに対応する補正に相当する。
【００３８】
図６は、電熱線（視標）Ｃ１１の他の態様を示す図である。図６では、電熱線（視標）Ｃ１１の一部が、水平方向から直角方向に折れ曲がるように配設されている。このように、視標Ｃ１１の一部に、直線方向に対して交叉する部分が存在する場合、視標Ｃ１１の横方向のずれも検出することができる。この場合、例えば、中心点Ｃ（ｘ２、ｙ２）の高さ位置ｙ２の導出方法と同様に、視標Ｃ１１の当該交叉する部分を基準として、横方向の位置ｘ２を導出して、表示領域の中心点Ｃを設定すればよい。
【００３９】
但し、可視光カメラのヨー角のずれは、ピッチ角やロール角のずれに比して生じにくく、又、ヨー角にずれが生じた場合も、バックミラー用に用いられるディスプレイ等は、横方向の表示領域も大きいため、運転者にとって運転に支障にならないことが多い。そのため、ヨー角の補正は、可視光カメラの使用態様に応じて行えばよい。
【００４０】
（第１の実施形態の変形例２）
上記実施形態では、表示部３に表示する領域Ｒ２を導出する際、電熱線（視標）Ｃ１１に対して高さ方向（＋Ｙ方向）へ距離μの間隔を有する点を、表示領域Ｒ２の中心点Ｃ（ｘ２、ｙ２）として導出する構成としたが、他の導出方法であってもよい。
【００４１】
図７は、表示部３に表示する領域Ｒ２の他の導出方法について説明するための図である。図７では、可視光カメラＣ２の撮影範囲Ｒ１に、平行に配設された２本の電熱線（視標）Ｃ１１ａ、Ｃ１１ｂが撮影される状態を示している。この場合、表示領域Ｒ２の中心点Ｃは、電熱線（視標）Ｃ１１ａ上のＸ座標の中央線との交点Ｄ点と、電熱線（視標）Ｃ１１ｂ上のＸ座標の中央線との交点Ｅ点とを結ぶ線分の内分比が（μ１：μ２）となる点として導出する。そうすることで、電熱線（視標）Ｃ１１ａ、Ｃ１１ｂの一方の検出位置に、検出誤差が含まれた場合でも、その検出誤差による表示領域Ｒ２の設定値のずれを軽減することができる。
【００４２】
又、表示領域Ｒ２は、中心点Ｃを導出する方法に代えて、電熱線（視標）Ｃ１１上の各点から所定範囲にある領域として導出してもよい。又、ロール角φの導出方法についても、電熱線（視標）Ｃ１１の座標データの各点を結んだ回帰直線によって導出する等、他の方法を用いてもよい。
【００４３】
但し、可視光カメラＣ２が魚眼レンズを用いている場合には、上記実施形態のごとく、可視光カメラＣ２の撮影範囲Ｒ１の端部の位置（Ａ点、Ｂ点）を基準として、表示部３に表示する領域Ｒ２を設定する方法が好適である。可視光カメラＣ２が魚眼レンズを用いている場合、電熱線（視標）Ｃ１１が歪んで撮影されることになるため、電熱線（視標）Ｃ１１の位置の検出精度が悪化するためである。尚、図８は、可視光カメラＣ２が魚眼レンズを用いている場合に撮影される画像の一例を示す図である。図８中の視標Ｃ１１’は、説明の便宜として、電熱線（視標）Ｃ１１について検出された可視光カメラＣ２の撮影範囲Ｒ１の端部の位置（Ａ点、Ｂ点）を結んだ線分である。
【００４４】
（第１の実施形態の変形例３）
上記実施形態では、表示部３に表示する領域Ｒ２は、視標Ｃ１１との位置関係で、予め設定されているものとしたが、当該領域Ｒ２は、運転者がユーザインタフェイス（図示せず）を用いて設定変更できるようにしてもよい。
【００４５】
この場合、例えば、運転者がユーザインタフェイスを介して、表示部３に表示する領域Ｒ２の、視標Ｃ１１に対する相対的な位置関係（例えば、図５に示したμの値）を設定変更できるようにすればよい。そうすることで、撮影方向がずれた場合でも、表示部３には、当該運転者が設定した領域が表示されることになる。
【００４６】
（第２の実施形態）
次に、図９〜図１１を参照して、第２の実施形態に係るカメラシステムについて説明する。本実施形態に係るカメラシステムは、視標Ｃ１１の位置を検出するに適した撮影環境か否かを判定する点で、第１の実施形態と相違する。尚、第１の実施形態と共通する構成については、説明を省略する（以下、他の実施形態についても同様）。
【００４７】
図９は、本実施形態に係るカメラシステムの構成の一例を機能ブロックとして示す図である。又、図１０は、本実施形態に係るカメラシステムの動作の一例をフローチャートにより表した図である。又、図１１は、本実施形態に係るカメラシステムの画像特徴量検出部６の動作の一例を説明するための図である。
【００４８】
本実施形態に係るカメラシステムは、第１の実施形態に係るカメラシステムと同様に、撮像部１、画像処理部２、表示部３、視標検出部４、制御部５を備えるとともに、画像特徴量検出部６と判定部７を更に備えている。そして、画像特徴量検出部６が検出した撮影画像の画像特徴量に基づいて、判定部７（第１の判定部）が撮影環境の適否を判定する構成となっている。
【００４９】
画像特徴量検出部６は、予め検出対象として設定された領域Ｒ３における画像データＤ１から画像特徴量を検出する。より詳細には、画像特徴量検出部６は、視標Ｃ１１の基準位置（視標Ｃ１１の位置が検出されると予測される位置を意味する）の周辺の領域Ｒ３を、予め検出対象として設定し、当該領域Ｒ３の画像特徴量を検出する。当該領域Ｒ３は、図１１に示すように、カメラが撮影する撮影範囲Ｒ１のうち、視標Ｃ１１が含まれ、且つ、道路の車線部分を切り出した領域（例えば、車線に沿った台形形状の領域）である。道路の車線の領域では、視標Ｃ１１に対する背景色の変化が少なく、加えて、その背景色は一様となる。つまり、ここでは、当該領域Ｒ３の画像特徴量を基準として、視標Ｃ１１の位置を検出する撮影環境の適否を判定することによって、視標Ｃ１１の位置をより正確に検出できるようにしている。そして、画像特徴量検出部６は、当該画像特徴量に関するデータＤ５を、判定部７に出力する。尚、画像特徴量とは、平均輝度、累積輝度、最大輝度、最小輝度、ヒストグラム、色度、色差等の情報であり、ここでは、平均輝度を用いている。
【００５０】
判定部７は、予め検出対象として設定された領域における画像特徴量から、撮影環境の適否を判定する。尚、ここでは、画像特徴量検出部６及び判定部７は、視標検出部４、制御部５と同様に、マイコン等のＣＰＵがプログラムを実行することで実現されるものとする。
【００５１】
判定部７は、例えば、図１０に示すように動作する。まず、判定部７は、画像特徴量検出部６から取得した設定領域Ｒ３の画像特徴量を示すデータＤ５に基づいて、設定領域Ｒ３の平均輝度が所定の閾値以上か否かを判定する（Ｓ１１）。そして、設定領域Ｒ３の平均輝度が当該閾値以上の場合（Ｓ１１：ＹＥＳ）、判定部７は、画像特徴量検出部６から取得した画像データＤ１を視標検出部４に対して出力し、視標検出部４に視標Ｃ１１の位置の検出動作を開始させる（Ｓ１２）。そして、視標検出部４が視標Ｃ１１の位置を検出した後は、第１実施形態で説明した（Ｓ２）〜（Ｓ６）の工程と同様の工程を行う。つまり、制御部５が、視標検出部４に検出された撮影範囲Ｒ１内における視標Ｃ１１の位置に基づいて、表示部３に表示させる領域Ｒ２を算出し、その後、画像処理部２が、制御部５に定められた表示領域Ｒ２を表示部３に表示させることとなる（Ｓ１３）。一方、設定領域Ｒ３の平均輝度が閾値未満の場合（Ｓ１１：ＮＯ）、視標検出部４に視標Ｃ１１の検出動作を開始させず、当該閾値以上の状態が検出されるまで待ち受ける。
【００５２】
つまり、ここでは、判定部７は、電熱線（視標）Ｃ１１と背景とのコントラストを判定しており、電熱線（視標）Ｃ１１の周辺領域が一定以上の輝度である場合には、電熱線（視標）Ｃ１１（撮影画像内で輝度が小さい領域として識別される）の位置をより正確に検出することが可能であるため、撮影環境として適していると言える。そして、表示部３に表示する領域Ｒ２は、このように正確に検出された視標Ｃ１１の位置を基準とするため、同様に、正確に設定することが可能となる。
【００５３】
以上、本実施形態に係る車載カメラシステムによれば、表示部３に表示する領域Ｒ２は、撮影環境が適していると判定されたときに検出される視標Ｃ１１の位置に基づいて設定されるため、より精度の高い補正を行うことができる。又、撮影環境が適していると判定されたときだけ、視標検出部４と制御部５を動作させることになるため、視標検出部４、制御部５を動作させる頻度を減らすこともでき、消費電力の低減にもつながる。
【００５４】
（第２の実施形態の変形例）
上記実施形態では、設定領域Ｒ３の画像特徴量に基づいて、撮影環境の適否を判定する構成としたが、更に、センサ等を用いて周辺環境の情報も考慮して、撮影環境の適否を判定する構成としてもよい。
【００５５】
図１２は、本実施形態の変形例におけるカメラシステムの構成の一例を機能ブロックとして示す図である。図１２では、画像特徴量検出部６に加えて、周辺環境検出部８と車輌状態検出部９とを更に備える構成となっている。図１３は、図１２に示すカメラシステムの動作の一例をフローチャートにより表した図である。
【００５６】
周辺環境検出部８は、センサを用いて撮影環境を検出するものであり、例えば、可視光カメラＣ２の撮影方向における接近物を検出する近接センサや、可視光カメラＣ２の撮影方向の照度を検出する照度センサが用いられる。
【００５７】
車輌状態検出部９は、車輌を制御する制御装置から車輌状態を示す信号を受信する装置であり、例えば、車輌ＥＣＵ（Engine Control Unit）から車輌に設けられたウインカーの稼働状態や、車輌に設けられた操舵角の状態を示す信号を受信する。
【００５８】
判定部７は、画像特徴量検出部６、周辺環境検出部８、車輌状態検出部９の夫々から、画像特徴量を示すデータＤ５、周辺環境を示すデータＤ６、車輌状態を示すデータＤ７を取得して、視標Ｃ１１の位置を検出するに適した撮影環境か否かを判定する。尚、当該判定部７の構成のうち、画像特徴量を示すデータＤ５に基づいて撮影環境の適否を判定する構成が第１の判定部、周辺環境を示すデータＤ６に基づいて撮影環境の適否を判定する構成が第２の判定部、車輌状態を示すデータＤ７に基づいて撮影環境の適否を判定する構成が第３の判定部に相当する。
【００５９】
判定部７は、例えば、図１３に示すように動作する。まず、判定部７は、設定領域Ｒ３の平均輝度が所定の閾値以上であるか否かを判定する（Ｓ２１）。そして、設定領域Ｒ３の平均輝度が所定の閾値以上である場合（Ｓ２１：ＹＥＳ）、近接センサの検出する検出信号に基づいて、車輌の近接を判定する（Ｓ２２）。続いて、車輌の近接が検出されない場合（Ｓ２２：ＹＥＳ）、車輌から受信する車輌状態を示す信号に基づいて、車輌のウインカーが作動していないかを判定する（Ｓ２３）。更に、ウインカーが稼働していない場合（Ｓ２３：ＹＥＳ）、車輌から受信する車輌状態を示す信号に基づいて、当該車輌の操舵角が閾値以下か否かを判定する（Ｓ２４）。そして、当該車輌の操舵角が閾値以下であると判定された場合（Ｓ２４：ＹＥＳ）、上記実施形態と同様に、視標検出部４に視標Ｃ１１の検出動作を開始させる（Ｓ２５）。そして、第１実施形態で説明した（Ｓ２）〜（Ｓ６）の工程と同様に、制御部５は、視標検出部４に検出された撮影範囲内における視標Ｃ１１の位置に基づいて、表示部３に表示させる領域を算出し、その後、画像処理部２は、制御部５に定められた表示領域を表示部３に表示させる（Ｓ２６）。
【００６０】
一方、（Ｓ２１）〜（Ｓ２４）の各工程のいずれかにおいて、判定部７にＮＯと判定された場合は、撮影環境として適さないとして、視標検出部４は、視標Ｃ１１の検出動作を開始せずに、判定部７からの検出動作開始信号を待ち受ける。
【００６１】
このように、画像特徴量検出部６に加えて、周辺環境検出部８や車輌状態検出部９を備える構成とすることによって、より高い精度で視標Ｃ１１の位置を検出することが可能となる。又、領域Ｒ３（視標Ｃ１１の基準位置周辺の領域）の、撮影画像に変化が少ないタイミングを予測することが可能となる。これにより、特に、視標検出部４が視標Ｃ１１の位置を検出するときに、撮影画像の輝度や色度の時間的変化を検出したり、一定時間の中での輝度や色度の平均値を検出したりする場合に、より高い精度で視標Ｃ１１の位置を検出することが可能となる。
【００６２】
尚、上記実施形態では、撮影環境が視標Ｃ１１の位置を検出するに適さないと判定された場合、視標検出部４は検出動作を行わない構成としたが、視標検出部４は、常時、検出動作を行いつつ、制御部５又は画像処理部２が判定部７の判定結果に応じて、視標検出部４が生成した視標位置データＤ３を採用するか否か決定する構成としてもよい。又、周辺環境検出部８や車輌状態検出部９の構成としては、上記したセンサ以外にも、道路の傾斜を検出するセンサ等も用いてもよい。そして、走行中の道路に一定以上の傾斜がある場合には、視標検出動作を行わない構成とすることで、検出精度の低い状態で視標Ｃ１１の位置を検出することを回避できる。
【００６３】
（第３の実施形態）
次に、図１４を参照して、第３の実施形態に係るカメラシステムについて説明する。本実施形態に係るカメラシステムは、視標として電熱線Ｃ１１に加え、パターン補助部Ｃ１２を設ける点で、第１の実施形態と相違する。
【００６４】
図１４（Ａ）乃至（Ｅ）は、夫々、パターン補助部Ｃ１２のパターン態様の一例を示す図である。図１４（Ａ）乃至（Ｅ）では、電熱線Ｃ１１と接するように又は電熱線Ｃ１１と近接するように、車輌のリアガラスＣ１に設けられる。尚、図１４（Ａ）乃至（Ｅ）の外縁Ｒ１は、可視光カメラＣ２の撮影範囲を表す。
【００６５】
パターン補助部Ｃ１２は、撮影方向のずれをより高い精度で検出できるように設けられ、撮影画像における背景と視標Ｃ１１のコントラストを高めたり、視標Ｃ１１とともに撮影方向のずれを検出するための基準となる働きをする。パターン補助部Ｃ１２は、例えば、車輌のリアガラスＣ１上に所定のパターンを有するテープを貼付したり、塗布物を塗布して当該所定のパターンを形成することによって構成される。尚、パターン補助部Ｃ１２は、撮影画像における背景とのコントラストを高めるため、蛍光色を用いて形成するのが望ましい。
【００６６】
ここで、図１４（Ａ）では、パターン補助部Ｃ１２は、電熱線Ｃ１１ａ、Ｃ１１ｂ上に重なって、電熱線Ｃ１１ａ、Ｃ１１ｂの線幅を太線化するように設けられている。この態様は、撮影画像における背景と視標Ｃ１１のコントラストが小さい場合であっても、電熱線Ｃ１１ａ、Ｃ１１ｂの位置を検出することを可能とする。
【００６７】
図１４（Ｂ）では、パターン補助部Ｃ１２は、電熱線Ｃ１１ａ、Ｃ１１ｂと近接する位置に配置され、撮影範囲Ｒ１に対して内側に凸となった湾曲形状を呈する。この態様は、魚眼レンズを用いる場合に好適であり、魚眼レンズを用いた撮影画像中においては、パターン補助部Ｃ１２が直線状に映り、ロール角等の検出を容易にする。
【００６８】
図１４（Ｃ）では、パターン補助部Ｃ１２は、撮影範囲Ｒ１の外縁部分と対応するように設けられている。この態様は、撮影範囲Ｒ１に撮影されるパターン補助部Ｃ１２によって、撮影範囲Ｒ１のずれを直接検出することを可能にする。尚、ここでは、パターン補助部Ｃ１２は、下側及び左側の領域の色を黒色とし、上側及び右側の領域の色を白色とすることによって、どちらかの色が目立つので、背景色によらずに、撮影範囲Ｒ１のずれを検出可能としている。但し、パターンの色の組み合わせは、白と黒に限らず、その他の対照色（補色）であってもよい。
【００６９】
図１４（Ｄ）では、パターン補助部Ｃ１２は、図１４（Ｃ）と同様に、パターン補助部Ｃ１２は、撮影範囲Ｒ１の外縁部分と対応するように設けられている。この態様では、パターン補助部Ｃ１２の色を一定間隔ごとに、白色と黒色と交互にすることによって、どちらかの色が目立つので、背景色によらずに、撮影範囲Ｒ１のずれを検出可能としている。
【００７０】
図１４（Ｅ）では、パターン補助部Ｃ１２は、電熱線Ｃ１１ａ、Ｃ１１ｂと平行な直線パターンであり、電熱線Ｃ１１ａ、Ｃ１１ｂと隣接する位置に設けられている。この態様では、撮影範囲Ｒに撮影される電熱線Ｃ１１ａ、Ｃ１１ｂの本数が、実質的に増加することから、より高い精度で視標の検出を可能としている。尚、ここでは、パターン補助部Ｃ１２は、電熱線Ｃ１１ａ、Ｃ１１ｂと平行する黒色の直線パターンと、電熱線Ｃ１１ａ、Ｃ１１ｂと平行する白色の直線パターンを交互に設けることによって、図１４（Ｃ）と同様に、背景色によらずに、撮影範囲Ｒ１のずれを検出可能としている。
【００７１】
以上、本実施形態に係る車載カメラシステムによれば、パターン補助部Ｃ１２を設けることによって、撮影方向のずれをより高い精度で検出することが可能となる。
【００７２】
尚、パターン補助部Ｃ１２は、運転者がリアガラスＣ１を通して車輌後方を目視した際に、可視光カメラＣ２の本体により目隠しされ、視認できない位置に設けることが好ましい。これは、運転者が車輌を後退操作する際、直接目視することにより車輌後方を確認する場面において、パターン補助部Ｃ１２が運転者により視認されることによる煩わしさを回避する効果がある。又、パターン補助部Ｃ１２は、リアガラスＣ１に限らず、可視光カメラＣ２の撮像方向の前面に透明カバーを置いて、当該透明カバーに形成するようにしてもよい。その場合、パターン補助部Ｃ１２単独で視標を構成することもできる。又、可視光カメラＣ２が車体のシャーク部やスポイラー部に設置される場合にも適用できることは、勿論である。
【００７３】
（その他の実施形態）
上記実施形態では、視標の一例として、電熱線を用いる態様を示したが、電熱線以外のものを視標として用いてもよい。例えば、上記したカメラシステムをサイドミラーに用いる場合、電熱線に代えて、車体に装備されたドアノブ等を視標として用いてもよい。
【００７４】
又、上記実施形態では、画像処理の一例として、画像処理部２の処理と、視標検出部４及び制御部５の処理とが並列で行われるものとして示したが、画像処理部２の一連のフローの中で行われる（シングルスレッド）ものとしてもよい。又、視標検出部４及び制御部５の機能は、可視光カメラＣ２又はディスプレイＣ３に内蔵される画像処理装置に組み込まれる構成としてもよい。
【００７５】
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。
【００７６】
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。
【００７７】
視標Ｃ１１と、車外を撮影する可視光カメラＣ２と、を装備する車輌の車載カメラシステムに用いられるキャリブレーション装置であって、前記可視光カメラＣ２が撮影した画像データを取得して、当該画像データに基づいて、前記可視光カメラＣ２の撮影範囲のうち、表示部３に表示させる所定の領域の外側に設けられた前記視標Ｃ１１の位置を検出する視標検出部４と、前記視標Ｃ１１の位置に基づいて、前記可視光カメラＣ２の撮影範囲のうち、表示部３に表示させる領域を設定する制御部５と、を備えるキャリブレーション装置を開示する。このキャリブレーション装置によれば、可視光カメラＣ２の撮影方向にずれが生じた場合でも、表示部３に表示される画像にはずれが生じないように、正確、且つ、早期に補正することができる。
【００７８】
ここで、前記制御部５は、更に、前記撮影範囲Ｒ１における前記視標Ｃ１１の位置に基づいて、前記表示部３に表示させる領域Ｒ２の画像回転角φを設定するものであってもよい。このキャリブレーション装置によれば、可視光カメラＣ２の撮影方向のずれによる画像の傾きも正確、且つ、早期に補正することができる。
【００７９】
ここで、前記可視光カメラＣ２が生成した画像データＤ１における、予め設定した領域Ｒ３の輝度情報又は色度情報の少なくとも一方から算出される画像特徴量に基づいて、前記可視光カメラＣ２の撮影環境の適否を判定する第１の判定部７を更に備え、前記視標検出部４は、前記第１の判定部に撮影環境が適していると判定されたときに、前記撮影範囲Ｒ１における前記視標Ｃ１１の位置を検出するものであってもよい。
【００８０】
ここで、前記可視光カメラＣ２の撮影方向の照度を検出する照度センサ、又は、前記可視光カメラＣ２に対する近接物を検出する近接センサの少なくともいずれか一方の検出信号に基づいて、前記可視光カメラＣ２の撮影環境の適否を判定する第２の判定部を更に備え、前記視標検出部４は、前記第２の判定部に撮影環境が適していると判定されたときに、前記撮影範囲Ｒ１における前記視標Ｃ１１の位置を検出するものであってもよい。
【００８１】
ここで、前記車輌を制御する制御装置から受信した前記車輌の状態を示す信号に基づいて、前記可視光カメラＣ２の撮影環境の適否を判定する第３の判定部７を更に備え、前記視標検出部４は、前記第３の判定部７に撮影環境が適していると判定されたときに、前記撮影範囲Ｒ１における前記視標Ｃ１１の位置を検出するものであってもよい。前記第１の判定部７、前記第２の判定部７、又は前記第３の判定部７を備えるキャリブレーション装置によれば、表示部３に表示する領域Ｒ２は、撮影環境が適していると判定されたときに検出される視標の位置のみに基づいて設定されるため、より精度の高い補正を行うことができる。又、撮影環境が適していると判定されたときだけ、視標検出部４と制御部５を動作させることになるため、視標検出部４、制御部５を動作させる頻度を減らすこともでき、消費電力の低減にもつながる。
【００８２】
ここで、前記視標Ｃ１１は、前記車輌のリアガラスＣ１に設けられた電熱線Ｃ１１を含み、前記可視光カメラＣ２は、前記電熱線Ｃ１１が撮影されるように車外後方を撮影するものであってもよい。このキャリブレーション装置によれば、車輌に既設されている電熱線Ｃ１１を視標として補正を行うことができるため、車輌に新たに視標を設置する必要もない。又、電熱線Ｃ１１は、直線状に設けられるため、可視光カメラＣ２で検出することが比較的容易であり、補正の精度も向上させることができる。
【００８３】
ここで、前記視標Ｃ１１は、前記電熱線Ｃ１１と接するように又は前記電熱線Ｃ１１と近接するように前記車輌のリアガラＣ１スに設けられ、前記電熱線Ｃ１１とともに所定のパターンを形成するパターン補助部Ｃ１２を更に含むものであってもよい。このキャリブレーション装置によれば、撮影方向のずれをより高い精度で検出することが可能となる。
【００８４】
ここで、前記パターン補助部Ｃ１２は、前記車輌の運転者が前記車両のリアガラスを通して前記車輌の後方を目視した際に、前記可視光カメラの本体により目隠しされ、視認できない位置に設けられるものであってもよい。
【産業上の利用可能性】
【００８５】
本開示は、車載カメラシステムのキャリブレーション装置に用いるに好適である。
【符号の説明】
【００８６】
１  撮像部
２  画像処理部
３  表示部
４  視標検出部
５  制御部
６  画像特徴量検出部
７  判定部
８  周辺環境検出部
９  車輌状態検出部
Ｃ１  リアガラス
Ｃ１１  電熱線
Ｃ１２  パターン補助部
Ｃ２  可視光カメラ
Ｃ３  ディスプレイ
【図１】
0006624383.tif 000002
【図２】
0006624383.tif 000003
【図３】
0006624383.tif 000004
【図４】
0006624383.tif 000005
【図５】
0006624383.tif 000006
【図６】
0006624383.tif 000007
【図７】
0006624383.tif 000008
【図８】
0006624383.tif 000009
【図９】
0006624383.tif 000010
【図１０】
0006624383.tif 000011
【図１１】
0006624383.tif 000012
【図１２】
0006624383.tif 000013
【図１３】
0006624383.tif 000014
【図１４】
0006624383.tif 000015