(57)【要約】  撮像部の車両への取り付け異常および所定の固定物の車両への取り付け異常の少なくとも一方の判別に資する情報を取得する。撮像装置１１は撮像部１５と画像処理部１６とを有する。撮像部１５は車両の周辺を撮像する。画像処理部１６は撮像部１５が撮像する画像の全領域内の一部である少なくとも１つの所定の領域に写る所定の被写体の連続的な変動を検出する。画像処理部１６は連続的な変動に基づいて取り付け異常の有無の判別を実行する。
2016047150.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する撮像部と、
前記撮像部が撮像する画像の全領域内の一部である少なくとも１つの所定の領域に写る所定の被写体の、連続的な変動を検出し、前記連続的な変動に基づいて、前記車両への前記撮像部の取り付け、および前記車両への前記所定の被写体の取り付けの少なくとも一方における取り付け異常の有無の判別を実行する画像処理部とを備える
撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、
前記画像処理部は、前記所定の領域内における前記所定の被写体のエッジ位置、および前記所定の領域内において前記所定の被写体の像の占める面積の少なくとも一方に基づいて、前記連続的な変動を検出する
撮像装置。
【請求項３】
請求項１または２に記載の撮像装置であって、
前記所定の領域は複数であって、
前記画像処理部は、複数の所定の領域それぞれに写る前記所定の被写体のそれぞれの連続的な変動に基づいて、前記車両への前記撮像部の取り付けおよび前記車両への前記所定の被写体の取り付けの何れにおいて取り付け異常が発生しているかの判別を実行する
撮像装置。
【請求項４】
請求項１から３のいずれか１項に記載の撮像装置であって、
前記画像処理部は、前記判別の結果の表示を、前記画像に重畳する
撮像装置。
【請求項５】
車両の周辺を撮像する撮像部と、前記撮像部が撮像する画像の全領域内の一部である少なくとも１つの所定の領域に写る所定の被写体の、連続的な変動を検出し、前記連続的な変動に基づいて、前記車両への前記撮像部の取り付け、および前記車両への前記所定の被写体の取り付けの少なくとも一方における取り付け異常の有無の判別を実行する画像処理部とを有する撮像装置を設けた車両。
【請求項６】
車両の周辺を撮像し、
撮像する画像の全領域内の一部である少なくとも１つの所定の領域に写る所定の被写体の、連続的な変動を検出し、
前記連続的な変動に基づいて、前記車両の周辺を撮像する撮像部の前記車両への取り付け、および前記車両への前記所定の被写体の取り付けの少なくとも一方における取り付け異常の有無の判別を実行する
変動検出方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１４年９月２６日に日本国に特許出願された特願２０１４−１９６９３３の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
【技術分野】
【０００２】
本発明は、車両の周辺を撮像する撮像装置、車両、および変換検出方法に関する。
【背景技術】
【０００３】
車両などの移動体の運転を支援するために、移動体に搭載した撮像部に撮像させた画像から、物体認識処理を行うカメラシステム（特許文献１参照）が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−１２５０２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１においては、撮像部を移動体に対して変動しないように取り付けられる必要があるが、走行による振動などによって移動体への取り付けが緩むおそれがある。移動体への取り付けが緩むと、移動体の走行時に撮像部が振動し、振動によって撮像する画像にブレが発生し得る。発生したブレの影響によって、物体認識処理の精度が低下するおそれがある。【０００６】
本発明の目的は、撮像部の車両への取り付け異常、および所定の固定物の車両への取り付け異常の少なくとも一方を判別する撮像装置、車両および変動検出方法を提供することにある。
【課題を解決するための手段】
【０００７】
第１の観点による撮像装置は、
車両の周辺を撮像する撮像部と、
前記撮像部が撮像する画像の全領域内の一部である少なくとも１つの所定の領域に写る所定の被写体の、連続的な変動を検出し、前記連続的な変動に基づいて、前記車両への前記撮像部の取り付け、および前記車両への前記所定の被写体の取り付けの少なくとも一方における取り付け異常の有無の判別を実行する画像処理部とを備える。【０００８】
また、第２の観点による車両は、
車両の周辺を撮像する撮像部と、前記撮像部が撮像する画像の全領域内の一部である少なくとも１つの所定の領域に写る所定の被写体の、連続的な変動を検出し、前記連続的な変動に基づいて、前記車両への前記撮像部の取り付け、および前記車両への前記所定の被写体の取り付けの少なくとも一方における取り付け異常の有無の判別を実行する画像処理部とを有する撮像装置を設けた。【０００９】
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。【００１０】
例えば、本発明を方法として実現させた、第３の観点による変動検出方法は、
車両の周辺を撮像し、
撮像する画像領域内の一部の所定の領域に写る所定の被写体の、連続的な変動を検出し、
前記連続的な変動に基づいて、前記車両の周辺を撮像する撮像部の前記車両への取り付け、および前記車両への前記所定の被写体の取り付けの少なくとも一方における取り付け異常の有無の判別を実行する。
【発明の効果】
【００１１】
上記の撮像装置、車両、および変換検出方法によれば、撮像部の車両への取り付け異常、および所定の固定物の車両への取り付け異常の少なくとも一方を判別可能である。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る撮像装置を搭載する移動体における撮像装置および表示装置の配置を示す配置図である。
【図２】図１の撮像装置の概略構成を表示装置とともに示すブロック図である。
【図３】図１の撮像部が撮像した画像内における所定の領域を示す図である。
【図４】図２の画像処理部が実行する取り付け異常の判別処理を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明による実施形態について、図面を参照して詳細に説明する。
【００１４】
図１に示すように、例えば車両である移動体１０は、撮像装置１１および表示装置１２を有する。撮像装置１１の少なくとも撮像部は、移動体１０に固定される任意の固定物が撮像範囲内に含まれるように、移動体１０の何処かに固定される。本実施形態では、移動体１０の後方に固定される固定物であるリアガーニッシュ１３およびバンパー１４が撮像範囲内に含まれるように、撮像装置１１全体が移動体１０の外部後方に固定される。表示装置１２は、運転席から視認可能な位置に設けられる。表示装置１２は、例えばカーナビゲーションシステムのディスプレイであって、撮像装置１１から取得する画像を表示する。
【００１５】
次に、撮像装置１１の構成について、説明する。図２に示すように、撮像装置１１は、撮像部１５および画像処理部１６を含んで構成される。
【００１６】
撮像部１５は光学系１７および撮像素子１８を有する。光学系１７は、例えば魚眼レンズなどの広角レンズを含み、移動体１０の後方の周辺の画像を撮像素子１８の受光面に結像させる。撮像素子１８は、例えばＣＭＯＳ撮像素子およびＣＣＤ撮像素子であって、受光面に結像した画像を撮像する。
【００１７】
画像処理部１６は、例えばＤＳＰであり、撮像部１５が撮像した画像に対して色補間処理、ホワイトバランス処理、輪郭強調処理などの所定の画像処理を施す。また、画像処理部１６は、当該画像において物体認識処理を施し、画像内に描かれる輪郭が認識対象の特定の物体であるか否かを判別する。画像処理部１６は、撮像部１５と同一の筐体内に設けられてもよいし、別の筐体に設けられていてもよい。
【００１８】
また、画像処理部１６は、所定の被写体の連続的な変動を検出可能である。画像処理部１６は、所定の被写体の連続的な変動を検出するために、撮像部１５が撮像した画像の全領域内の一部である、所定の位置および大きさである所定の領域を抜き出す。所定の領域は、例えば、図３に示すように、撮像部１５が撮像した画像ＩＭ内において、鉛直方向上側の両端近傍の領域ＵＡおよび鉛直方向下側の中央近傍の領域ＬＡのように、それぞれリアガーニッシュ１３およびバンパー１４などの固定物の画像を十分に認識可能な少なくとも１つの領域である。固定物の画像を十分に認識可能な領域とは、例えば、当該固定物の画像が当該領域全体の２０％から８０％を占める領域である。
【００１９】
所定の領域は、撮像装置１１の製造時に予め定められる。例えば、撮像装置１１が特定の種類の車両の特定の位置に取り付けられる仕様である場合には、撮像される画像において固定物の画像の存在位置は定まっており、当該位置近傍が所定の領域に定められる。
【００２０】
または、所定の領域は、使用者による手動入力、および画像処理部１６による自動設定の少なくとも一方によって、定められてもよい。使用者による手動入力においては、例えば、表示装置１２に表示される画像において、表示装置１２の入力部などを用いて特定した領域が、所定の領域に定められる。画像処理部１６による自動設定においては、例えば撮像部１５から取得するフレームの異なる、すなわち撮像時間の異なる画像全体の中で、例えば輪郭位置の変動および輝度の変動などの画像の変動が閾値未満である特定の領域が、所定の領域に定められる。
【００２１】
画像処理部１６は、抜き出した所定の領域に、所定の被写体として写る固定物の像の、場所に関する情報を検出する。場所に関する情報は、例えば固定物のエッジ位置、および所定の領域における固定物の像が占める面積の割合などである。画像処理部１６は、場所に関する情報の検出を、連続的に取得するフレームの異なる画像に対して、実行する。画像処理部１６は、連続的に取得したフレームの異なる画像に対して検出した場所に関する情報、すなわち場所に関する情報の時間変化に基づいて、所定の被写体の連続的な変動を検出する。
【００２２】
さらに、画像処理部１６は、検出した連続的な変動に基づき、撮像部１５の移動体１０への取り付け異常、および所定の被写体の移動体１０への取り付け異常の少なくとも一方の有無を判別する。画像処理部１６は、例えば、場所に関する情報の時間変化のフーリエ変換が、特定の帯域の周波数においてピークを有するときに、取り付け異常が発生していると判別する。
【００２３】
画像処理部１６は、所定の被写体の連続的な変動を検出する所定の領域が複数である場合には、取り付け異常の発生を判別させた領域に基づいて、取り付け異常の発生箇所を判別する。画像処理部１６は、例えば、すべての所定の領域において取り付け異常が発生していると判別するときに、撮像部１５の移動体１０への取り付け異常が発生していると判別する。また、画像処理部１６は、例えば、一部の所定の領域において取り付け異常が発生していると判別するときに、当該所定の領域に画像が含まれる所定の被写体の、移動体１０への取り付け異常が発生していると判別する。
【００２４】
画像処理部１６は、取り付け異常の判別結果を重畳した移動体１０の周辺の画像を、表示装置１２に送信し、表示させる。
【００２５】
次に、本実施形態において画像処理部１６が実行する、取り付け異常の判別処理について、図４のフローチャートを用いて説明する。画像処理部１６は、撮像部１５から１フレームの画像を取得するたびに取り付け異常の判別処理を実行する。
【００２６】
ステップＳ１００において、画像処理部１６は、取得した画像の全領域内から所定の領域を抜き出す。所定の領域を抜き出すと、プロセスはステップＳ１０１に進む。
【００２７】
ステップＳ１０１では、画像処理部１６は、ステップＳ１００において抜き出した所定の領域における、所定の被写体の場所に関する情報を検出する。
【００２８】
ステップＳ１０２では、画像処理部１６は、ステップＳ１０１において検出した場所に関する情報を、画像処理部１６が有するワークメモリに格納する。場所に関する情報を格納すると、プロセスはステップＳ１０３に進む。
【００２９】
ステップＳ１０３では、画像処理部１６は、ワークメモリに格納してある、現在から所定の期間だけ以前にフレームの画像に対して検出した場所に関する情報を、ワークメモリから読み出す。さらに、画像処理部１６は、読み出した場所に関する情報の時間変化に基づいて、所定の被写体の連続的な変動を検出する。連続的な変動を検出すると、プロセスはステップＳ１０４に進む。
【００３０】
ステップＳ１０４では、画像処理部１６は、所定の領域における所定の被写体の連続的な変動に基づいて、所定の領域において取り付け異常が発生しているか否かを判別する。取り付け異常が発生していないと判別するときは、プロセスはステップＳ１０５に進む。一方、取り付け異常が発生していると判別するときは、プロセスはステップＳ１０６に進む。
【００３１】
ステップＳ１０５では、画像処理部１６は、撮像部１５から取得し所定の画像処理を施した画像を表示装置１２に送信し、取り付け異常の警告の無い通常の画像を表示させる。画像の送信後、取り付け異常の判別処理が終了する。
【００３２】
ステップＳ１０６では、画像処理部１６は、所定の被写体の連続的な変動を検出する所定の領域が複数であるか否かを判別する。単数であるときには、プロセスはステップＳ１０７に進む。複数であるときには、プロセスはステップＳ１０８に進む。
【００３３】
ステップＳ１０７では、画像処理部１６は、撮像部１５から取得し所定の画像処理を施した画像に、撮像部１５または所定の被写体の移動体１０への取り付けに取り付け異常が発生している警告を重畳する。続いて、画像処理部１６は、警告を重畳した画像を表示装置１２に送信し、取り付け異常の警告を重畳した画像を表示させる。画像の送信後、取り付け異常の判別処理が終了する。
【００３４】
ステップＳ１０８では、画像処理部１６は、取り付け異常の発生を判別した所定の領域に基づいて、取り付け異常の発生箇所を検出する。続いて、画像処理部１６は、撮像部１５から取得し所定の画像処理を施した画像に、検出した発生箇所において取り付け異常が発生している警告を重畳する。さらに、画像処理部１６は、警告を重畳した画像を表示装置１２に送信し、取り付け異常の警告を重畳した画像を表示させる。画像の送信後、取り付け異常の判別処理が終了する。
【００３５】
以上のような構成の本実施形態の撮像装置１１によれば、撮像部１５の移動体１０への取り付け、および固定物の移動体１０への取り付けの少なくとも一方の取り付け異常の有無を判別可能である。
【００３６】
また、本実施形態の撮像装置１１によれば、複数の所定の領域それぞれに写る所定の被写体のそれぞれの連続的な変動に基づいて、取り付け異常の発生箇所を判別可能である。
【００３７】
また、本実施形態の撮像装置１１によれば、判別の結果を画像に重畳するので、取り付け異常の発生時に、運転者に取り付け異常を報知可能である。
【００３８】
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
【符号の説明】
【００３９】
１０  移動体
１１  撮像装置
１２  表示装置
１３  リアガーニッシュ
１４  バンパー
１５  撮像部
１６  画像処理部
１７  光学系
１８  撮像素子
ＩＭ  画像
ＬＡ  鉛直方向下側の中央近傍の領域
ＵＡ  鉛直方向上側の両端近傍の領域
【図１】
2016047150.tif 000003
【図２】
2016047150.tif 000004
【図３】
2016047150.tif 000005
【図４】
2016047150.tif 000006
【国際調査報告】
2016047150.tif 000007
2016047150.tif 000008
2016047150.tif 000009
2016047150.tif 000010