(57)【要約】【課題】車両の前方監視と周辺や後方の監視とを適切に実行可能な車載用画像処理装置を低コストで提供する。【解決手段】カメラと、画像処理部と、判断部とを備え、車両に搭載されるための車載用画像処理装置であって、カメラの前方に反射板が取り付けられることによって、１フレーム内に車両前方の映像と周辺映像などの他の映像が同時に撮像される。カメラからそのような映像データが供給された画像処理部は、判断部から供給される制御指示情報に基づいて、車両前方の映像と周辺映像などの他の映像のうちの一方について適切な画像処理を行ない、他方については画像処理を省略する。或いは両方に対して同じ画像処理を行う。判断部は、供給される車両の速度情報に基づいて、画像処理部に対してそのときの車両の走行速度に基づいた適切な制御指示情報を供給する。【選択図】図１
2015103894.tif 000002
【特許請求の範囲】
【請求項１】
カメラと、画像認識部と、判断部とを備え、車両に搭載されるための車載用画像処理装置であって、
前記判断部は、前記車両の速度情報が供給され、前記速度情報に基づいて、前記画像認識部に対して制御指示情報を供給可能に構成され、
前記画像認識部は、前記車両前方の映像である第１領域と他の方向の映像である第２領域とを、１フレーム内に同時に含む映像データが、前記カメラから供給され、前記第１領域と前記第２領域の映像データに対して、前記制御指示情報に基づく画像処理を行い、その結果を前記判断部に供給可能に構成される、車載用画像処理装置。
【請求項２】
請求項１において、前記第２領域は、前記車両の周辺の映像であり、
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域について遠景に適する画像処理を行わせ、前記第２領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能であり、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域について近景に適する画像処理を行わせ、前記第１領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される、車載用画像処理装置。
【請求項３】
請求項２において、
前記判断部は、さらに、前記第１領域と前記第２領域の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な画像処理を行わせる制御指示情報を、前記画像認識部に供給可能に構成される、車載用画像処理装置。
【請求項４】
請求項１において、
前記画像認識部は、前記映像データから前記車両の速度情報を算出し、前記判断部に供給する機能をさらに有する、車載用画像処理装置。
【請求項５】
請求項１において、前記カメラを第１カメラとし、前記映像データを第１映像データとし、前記車載用画像処理装置は、前記第１カメラと左右１対の第２カメラをさらに備え、
前記第２カメラは、前記車両前方の映像を１フレーム内に含む第２映像データを前記画像認識部に供給可能に構成され、
前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データと、前記第２映像データとの視差に基づく画像認識処理を実行可能に構成される、車載用画像処理装置。
【請求項６】
請求項５において、前記第２映像データは、前記車両前方の映像である第３領域と車両の周辺の映像である第４領域とを、１フレーム内に同時に含み、
前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データと、前記第２映像データのうちの前記第３領域の映像データとの視差に基づく画像認識処理を実行可能に構成され、
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域と前記第３領域について遠景に適する画像処理を行い、前記第２領域と前記第４領域についての画像処理を省略させる、制御指示情報を前記画像認識部に供給可能であり、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域と前記第４領域について近景に適する画像処理を行い、前記第１領域と前記第３領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される、車載用画像処理装置。
【請求項７】
請求項１において、
前記画像認識部は、前記映像データに含まれる各領域の映像データについて、それぞれの映像データを所定の視点からの画像に変換し、各領域の映像データから変換された画像を合成する機能をさらに有する、車載用画像処理装置。
【請求項８】
請求項７において、
前記画像認識部は、複数の領域の映像データに含まれる部分の画像については、前記複数の領域の映像データの視差を利用して互いに補完して合成し、前記複数の領域の映像データのいずれにも含まれない部分の画像については、過去のフレームの映像データに基づいて推定し、又は、前記複数の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する機能をさらに有する、車載用画像処理装置。
【請求項９】
画像認識部と、判断部とを備え、車両に搭載されるカメラが接続されることによって車載用画像処理装置を構成可能な半導体装置であって、
前記判断部は、前記車両の速度情報が供給され、前記速度情報に基づいて、前記画像認識部に対して制御指示情報を供給可能に構成され、
前記画像認識部は、前記車両前方の映像である第１領域と他の方向の映像である第２領域とを、１フレーム内に同時に含む映像データが、前記カメラから供給され、前記第１領域と前記第２領域の映像データに対して、前記制御指示情報に基づく画像処理を行い、その結果を前記判断部に供給可能に構成される、半導体装置。
【請求項１０】
請求項９において、前記第２領域は、前記車両の周辺の映像であり、
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域について遠景に適する画像処理を行わせ、前記第２領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能であり、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域について近景に適する画像処理を行わせ、前記第１領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される、半導体装置。
【請求項１１】
請求項１０において、
前記判断部は、さらに、前記第１領域と前記第２領域の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な画像処理を行わせる制御指示情報を、前記画像認識部に供給可能に構成される、半導体装置。
【請求項１２】
請求項９において、
前記画像認識部は、前記映像データから前記車両の速度情報を算出し、前記判断部に供給する機能をさらに有する、半導体装置。
【請求項１３】
請求項９において、前記カメラを第１カメラとし、前記映像データを第１映像データとし、前記車載用画像処理装置は、前記第１カメラと左右１対の第２カメラをさらに備え、
前記第２カメラは、前記車両前方の映像を１フレーム内に含む第２映像データを前記半導体装置の前記画像認識部に供給可能に構成され、
前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データと、前記第２映像データとの視差に基づく画像認識処理を実行可能に構成される、半導体装置。
【請求項１４】
請求項１３において、前記第２映像データは、前記車両前方の映像である第３領域と車両の周辺の映像である第４領域とを、１フレーム内に同時に含み、
前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データと、前記第２映像データのうちの前記第３領域の映像データとの視差に基づく画像認識処理を実行可能に構成され、
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域と前記第３領域について遠景に適する画像処理を行わせ、前記第２領域と前記第４領域についての画像処理を省略させる、制御指示情報を前記画像認識部に供給可能であり、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域と前記第４領域について近景に適する画像処理を行わせ、前記第１領域と前記第３領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される、半導体装置。
【請求項１５】
請求項９において、
前記画像認識部は、前記映像データに含まれる各領域の映像データについて、それぞれの映像データを所定の視点からの画像に変換し、各領域の映像データから変換された画像を合成する機能をさらに有する、半導体装置。
【請求項１６】
請求項１５において、
前記画像認識部は、複数の領域の映像データに含まれる部分の画像については、前記複数の領域の映像データの視差を利用して互いに補完して合成し、前記複数の領域の映像データのいずれにも含まれない部分の画像については、過去のフレームの映像データに基づいて推定し、又は、前記複数の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する機能をさらに有する、半導体装置。
【請求項１７】
請求項９において、単一半導体基板上に形成される、半導体装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用画像処理装置及びそれに搭載可能な半導体装置に関し、特に前方監視と周辺監視の両立が可能な車載カメラを備える車載用画像処理装置に好適に利用できるものである。
【背景技術】
【０００２】
車載用の安全機構の一つとして、カメラを用いて車両の前方や周辺或いは後方を監視する監視システムが実用レベルにある。レーダやソナーなどカメラ以外のセンサと併用してシステムを実現する場合が多い。車載用の監視システムは、画像の入力部であるイメージセンサを備えたカメラと、画像処理を行う画像処理部と、判断処理を行う判断部から構成され、一般的に一つのセンサに対して一つの画像処理部が設けられる。
【０００３】
車両前方のみならず、周辺や後方までも監視するためには、カメラ（イメージセンサ）だけではなく画像処理部も、多数設置する必要が生じることとなり、コストの上昇を招く。
【０００４】
特許文献１には、ある領域を大きく鮮明に映し出すことと、異なる複数領域を同時に映し出すこととが、それぞれ可能な車載カメラが開示されている。撮像素子の前方に配置されるミラーの姿勢を変えることにより、上記２通りの撮像を可能としている。同文献に記載される車載カメラによれば、ミラーの姿勢を調整することにより、異なる複数領域を同時に映し出すことができる。より具体的には、同文献の第００４１段落に記載されるように、撮像範囲の上側部分に車両の前方領域が映し出され、下側部分には車内状況や車両の後方領域が映し出される。
【０００５】
特許文献２には、複数の撮像対象を撮影可能な車載カメラが開示されている。同文献の図４と第００３７段落〜第００３９段落には、１つの画面内の上半分に前方が映し出され、下半分に社内と後方が映し出された、カメラユニットの画像が示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−１３１３９０号公報
【特許文献２】特開２０１１−２０６６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１及び２について本発明者が検討した結果、以下のような新たな課題があることがわかった。
【０００８】
特許文献１と２に記載される技術によれば、１個のカメラ（イメージセンサ）によって、複数の領域、例えば車両の前方と車内を同時に撮像して利用することができる。しかしながら、同時に映し出された異なる複数領域ごとに施すべき画像処理の方法や内容については、開示されていない。
【０００９】
特許文献１の第００３７段落には、画像処理ＬＳＩ（Large Scale Integrated circuit）によって、画像に対してアダプティブイメージエンハンサ処理を施すことにより、白とびや黒つぶれを抑制しても良いとされる。アダプティブイメージエンハンサ処理は、画像を複数の区画に分割し、各区画ごとにレベル補正を行う処理であるとされる。特許文献１と２に開示されるシステムには、判断部が備えられておらず、このシステムにおける画像処理の出力画像は、ドライブレコーダに記録する画像や運転者が運転中に見る画像であるため、画像処理は上述のような比較的簡易な処理で足りるものと考えられる。
【００１０】
しかしながら、画像処理部の後段に判断部を設けて、車間距離の算出や障害物の検知などの高度な判断処理を実行させるような車載用画像処理装置においては、上述のような比較的簡易な画像処理では十分ではないことがわかった。即ち、１個のカメラ（イメージセンサ）によって、複数の領域、例えば車両の前方と車内を同時に撮像した映像データが得られても、複数の領域それぞれに適切な画像処理部を設ける必要があり、コストの上昇を十分に抑えることはできない。車載用の画像処理は、リアルタイム性が重要であるため、複数領域の画像処理を同時に並列して実行することとなるためである。
【００１１】
このような課題を解決するための手段を以下に説明するが、その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１２】
一実施の形態によれば、下記の通りである。
【００１３】
すなわち、カメラと、画像処理部と、判断部とを備え、車両に搭載されるための車載用画像処理装置であって、カメラの前方に反射板が取り付けられることによって、１フレーム内に車両前方の映像と周辺映像などの他の映像が同時に撮像される。カメラからそのような映像データが供給された画像処理部は、判断部から供給される制御指示情報に基づいて、車両前方の映像と周辺映像などの他の映像のうちの一方についてのみ適切な画像処理を行い、他方についての画像処理を省略することができる。判断部は、供給される車両の速度情報に基づいて、画像処理部に対してそのときの車両の走行速度に基づいた適切な制御指示情報を供給する。また、画像処理部は、前記制御指示情報に基づいて、車両前方の映像と周辺映像などの他の映像とを含む映像データ全体について適切な画像処理を行うこともできるように構成されても良い。
【発明の効果】
【００１４】
前記一実施の形態によって得られる効果を簡単に説明すれば下記のとおりである。
【００１５】
すなわち、車載用画像処理装置は、車両の速度に応じた判断処理に必要な情報を得るために、適宜最適な画像処理を行うことができ、複数の映像領域に対して１個の画像処理部を設ければ足り、コストを抑えることができる。
【図面の簡単な説明】
【００１６】
【図１】図１は、実施形態１に係る車載用画像処理装置の構成例を示すブロック図である。
【図２】図２は、実施形態１に係る車載用画像処理装置の映像データを示す説明図である。
【図３】図３は、画像処理の内容の一例を示すフローチャートである。
【図４】図４は、カメラモジュールの構成例を示す外観図である。
【図５】図５は、カメラモジュールの構成例を示す側面断面図である。
【図６】図６は、車載用画像処理装置の詳細な構成例を示すブロック図である。
【図７】図７は、車載用画像処理装置の詳細な別の構成例を示すブロック図である。
【図８】図８は、車載用画像処理装置に搭載される半導体装置の構成例を示すブロック図である。
【図９】図９は、実施形態２に係る車載用画像処理装置の構成例を示すブロック図である。
【図１０】図１０は、実施形態２に係る車載用画像処理装置の映像データを示す説明図である。
【図１１】図１１は、画像処理の内容の一例を示すフローチャートである。
【図１２】図１２は、実施形態３に係る車載用画像処理装置の構成例を示すブロック図である。
【図１３】図１３は、実施形態３に係る車載用画像処理装置の映像データを示す説明図である。
【図１４】図１４は、実施形態４に係る車載用画像処理装置によって合成される画像データを示す説明図である。
【発明を実施するための形態】
【００１７】
１．実施の形態の概要
先ず、本願において開示される代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面中の参照符号はそれが付された構成要素の概念に含まれるものを例示するに過ぎない。
【００１８】
〔１〕＜速度情報に基づき領域毎に最適な画像処理＞
本願において開示される代表的な実施の形態は、カメラ（１）と、画像認識部（３）と、判断部（４）とを備え、車両に搭載されるための車載用画像処理装置（１０）であって、以下のように構成される。
【００１９】
前記判断部は、前記車両の速度情報（８）が供給され、前記速度情報に基づいて、前記画像認識部に対して制御指示情報（９）を供給可能に構成される。
【００２０】
前記画像認識部は、前記車両前方の映像である第１領域（５２）と他の方向の映像である第２領域（５３）とを、１フレーム内に同時に含む映像データ（５０）が、前記カメラから供給される。前記第１領域と前記第２領域の映像データに対して、前記制御指示情報に基づく画像処理（Ｓ１〜Ｓ７）を行い、その結果を前記判断部に供給可能に構成される。
【００２１】
これにより、車載用画像処理装置は、車両の速度に応じた判断処理に必要な情報を得るために、適宜最適な画像処理を行うことができ、複数の映像領域に対して１個の画像認識部を設ければ足り、コストを抑えることができる。
【００２２】
〔２〕＜高速走行時は前方映像、低速走行時は周辺映像の画像処理＞
項１において、前記第２領域は、前記車両の周辺の映像である。
【００２３】
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域について遠景に適する画像処理（Ｓ２，Ｓ５）を行わせ、前記第２領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。また、前記判断部は、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域について近景に適する画像処理（Ｓ３，Ｓ６）を行わせ、前記第１領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。
【００２４】
これにより、高速走行時は前方の映像のみを判断処理の対象とし（前方監視）、低速走行時は周辺映像のみを判断処理の対象とする（周辺監視）ことで、複数の映像領域に対しても１個の画像認識部を設ければ足り、コストを抑えることができる。
【００２５】
〔３〕＜前方映像と周辺映像を含む全面についての画像処理＞
項２において、前記判断部は、さらに、前記第１領域と前記第２領域の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な画像処理（Ｓ４，Ｓ７）を行わせる制御指示情報を、前記画像認識部に供給可能に構成される。
【００２６】
これにより、高速走行と低速走行に分類されない特殊な場合にも、適切な画像処理を実行させることができる。
【００２７】
〔４〕＜映像データからの速度情報の抽出＞
項１から項３のうちのいずれか１項において、前記画像認識部は、前記映像データから前記車両の速度情報を算出し、前記判断部に供給する機能（１９）をさらに有する。
【００２８】
これにより、外部から速度センサの信号を入力する必要がなくなり、より低コストの車載用画像処理装置を提供することができる。或いは、外部から入力される速度センサの信号と画像認識部が算出する速度情報とを互いに補完的に利用することによって、車両の走行速度をより正確に求めることが可能な、車載用画像処理装置を提供することができる。
【００２９】
〔５〕＜ステレオカメラ＞
項１から項４のうちのいずれか１項において、前記カメラを第１カメラ（１Ｒ）とし、前記映像データを第１映像データ（５０Ｒ）とし、前記車載用画像処理装置は、前記第１カメラと左右１対の第２カメラ（１Ｌ）をさらに備える。前記第２カメラは、前記車両前方の映像を１フレーム内に含む第２映像データ（５０Ｌ）を前記画像認識部に供給可能に構成される。前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データ（５２Ｒ）と、前記第２映像データ（５２Ｌ）との視差に基づく画像認識処理（３３）を実行可能に構成される。
【００３０】
これにより、ステレオカメラにおいて、車両前方の映像に基づく視差検出やベクトル検出などの画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
【００３１】
〔６〕＜左右両側のステレオカメラに反射板＞
項５において、前記第２映像データは、前記車両前方の映像である第３領域（５２Ｌ）と車両の周辺の映像である第４領域（５３Ｌ）とを、１フレーム内に同時に含む。
【００３２】
前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データ（５２Ｒ）と、前記第２映像データのうちの前記第３領域の映像データ（５２Ｌ）との視差に基づく画像認識処理（３３）を実行可能に構成される。
【００３３】
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域（５２Ｒ）と前記第３領域（５２Ｌ）について遠景に適する画像処理（Ｓ２，Ｓ５）を行わせ、前記第２領域（５３Ｒ）と前記第４領域（５３Ｌ）についての画像処理を省略させる、制御指示情報を前記画像認識部に供給可能である。また、前記判断部は、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域（５３Ｒ）と前記第４領域（５３Ｌ）について近景に適する画像処理（Ｓ４，Ｓ７）を行わせ、前記第１領域（５２Ｒ）と前記第３領域（５２Ｌ）についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。
【００３４】
これにより、ステレオカメラの左右両側において、車両前方の映像についての画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
【００３５】
〔７〕＜視点の変更と合成＞
項１から項６のうちのいずれか１項において、前記画像認識部は、前記映像データに含まれる各領域の映像データについて、それぞれの映像データを所定の視点からの画像に変換し、各領域の映像データから変換された画像を合成する機能をさらに有する。
【００３６】
これにより、従来より少ないカメラと画像認識部を使って、視点を変換された画像を求めることが可能な、車載用画像処理装置を提供することができる。
【００３７】
〔８〕＜視点の変更に伴う合成のための死角画像の推定＞
項７において、前記画像認識部は、複数の領域の映像データに含まれる部分の画像（５６）については、前記複数の領域の映像データの視差を利用して互いに補完して合成する。前記画像認識部は、前記複数の領域の映像データのいずれにも含まれない部分の画像（５７）については、過去のフレームの映像データに基づいて推定し、又は、前記複数の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する機能をさらに有する。
【００３８】
これにより、カメラの死角部分においても欠落を生じさせることなく、視点が変換された画像データ求めることが可能な、車載用画像処理装置を提供することができる。
【００３９】
〔９〕＜速度情報に基づき領域毎に最適な画像処理を行う半導体装置＞
本願において開示される代表的な実施の形態は、画像認識部（３）と、判断部（４）とを備え、車両に搭載されるカメラ（１）が接続されることによって車載用画像処理装置（１０）を構成可能な半導体装置（２０）であって、以下のように構成される。
【００４０】
前記判断部は、前記車両の速度情報（８）が供給され、前記速度情報に基づいて、前記画像認識部に対して制御指示情報（９）を供給可能に構成される。
【００４１】
前記画像認識部は、前記車両前方の映像である第１領域（５２）と他の方向の映像である第２領域（５３）とを、１フレーム内に同時に含む映像データ（５０）が、前記カメラから供給され、前記第１領域と前記第２領域の映像データに対して、前記制御指示情報に基づく画像処理（Ｓ１〜Ｓ７）を行い、その結果を前記判断部に供給可能に構成される。
【００４２】
これにより、半導体装置の画像認識部は、車両の速度に応じた判断処理に必要な情報を得るために、適宜最適な画像処理を行うことができ、複数の映像領域に対して１個の画像認識部を設ければ足り、車載用画像処理装置のコストを抑えることができる。
【００４３】
〔１０〕＜高速走行時は前方映像、低速走行時は周辺映像の画像処理＞
項９において、前記第２領域は、前記車両の周辺の映像であり、
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域（５２）について遠景に適する画像処理（Ｓ２，Ｓ５）を行わせ、前記第２領域（５３）についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。また、前記判断部は、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域について近景に適する画像処理（Ｓ３，Ｓ６）を行わせ、前記第１領域についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。
【００４４】
これにより、高速走行時は前方の映像のみを判断処理の対象とし（前方監視）、低速走行時は周辺映像のみを判断処理の対象とする（周辺監視）ことで、複数の映像領域に対しても１個の画像認識部を設ければ足り、車載用画像処理装置のコストを抑えることができる。
【００４５】
〔１１〕＜前方映像と周辺映像を含む全面についての画像処理＞
項１０において、前記判断部は、さらに、前記第１領域と前記第２領域の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な画像処理（Ｓ４，Ｓ７）を行わせる制御指示情報を、前記画像認識部に供給可能に構成される。
【００４６】
これにより、高速走行と低速走行に分類されない特殊な場合にも、適切な画像処理を実行させることができる。
【００４７】
〔１２〕＜映像データからの速度情報の抽出＞
項９から項１１のうちのいずれか１項において、前記画像認識部は、前記映像データから前記車両の速度情報を算出し、前記判断部に供給する機能（１９）をさらに有する。
【００４８】
これにより、半導体装置には外部から速度センサの信号を入力する必要がなくなり、より低コストの車載用画像処理装置を提供することができる。或いは、外部から入力される速度センサの信号と画像認識部が算出する速度情報とを互いに補完的に利用することによって、車両の走行速度をより正確に求めることが可能な、車載用画像処理装置を提供することができる。
【００４９】
〔１３〕＜ステレオカメラ＞
項９から項１２のうちのいずれか１項において、前記カメラを第１カメラ（１Ｒ）とし、前記映像データを第１映像データ（５０Ｒ）とし、前記車載用画像処理装置は、前記第１カメラと左右１対の第２カメラ（１Ｌ）をさらに備える。前記第２カメラは、前記車両前方の映像を１フレーム内に含む第２映像データ（５０Ｌ）を前記半導体装置の前記画像認識部に供給可能に構成される。前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データ（５２Ｒ）と、前記第２映像データ（５２Ｌ）との視差に基づく画像認識処理（３３）を実行可能に構成される。
【００５０】
これにより、ステレオカメラにおいて、車両前方の映像に基づく視差検出やベクトル検出などの画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
【００５１】
〔１４〕＜左右両側のステレオカメラに反射板＞
項１３において、前記第２映像データは、前記車両前方の映像である第３領域（５２Ｌ）と車両の周辺の映像である第４領域（５３Ｌ）とを、１フレーム内に同時に含む。
【００５２】
前記画像認識部は、前記第１映像データのうちの前記第１領域の映像データ（５２Ｒ）と、前記第２映像データのうちの前記第３領域の映像データ（５２Ｌ）との視差に基づく画像認識処理（３３）を実行可能に構成される。
【００５３】
前記判断部は、前記速度情報が前記車両が高速走行中であることを示す情報であるときは、前記第１領域（５２Ｒ）と前記第３領域（５２Ｌ）について遠景に適する画像処理（Ｓ２，Ｓ５）を行わせ、前記第２領域（５３Ｒ）と前記第４領域（５３Ｒ）についての画像処理を省略させる、制御指示情報を前記画像認識部に供給可能である。前記判断部は、前記速度情報が前記車両が低速走行中であることを示す情報であるときは、前記第２領域（５３Ｒ）と前記第４領域（５３Ｒ）について近景に適する画像処理（Ｓ４，Ｓ７）を行わせ、前記第１領域（５２Ｒ）と前記第３領域（５２Ｌ）についての画像処理を省略させる制御指示情報を、前記画像認識部に供給可能に構成される。
【００５４】
これにより、ステレオカメラの左右両側において、車両前方の映像についての画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
【００５５】
〔１５〕＜視点の変更と合成＞
項９から項１４のうちのいずれか１項において、
前記画像認識部は、前記映像データに含まれる各領域の映像データについて、それぞれの映像データを所定の視点からの画像に変換し、各領域の映像データから変換された画像を合成する機能をさらに有する。
【００５６】
これにより、従来より少ないカメラと画像認識部を使って、視点を変換された画像を求めることが可能な、半導体装置を提供することができる。
【００５７】
〔１６〕＜視点の変更に伴う合成のための死角画像の推定＞
項１５において、前記画像認識部は、複数の領域の映像データに含まれる部分の画像（５６）については、前記複数の領域の映像データの視差を利用して互いに補完して合成する。前記画像認識部は、前記複数の領域の映像データのいずれにも含まれない部分の画像（５７）については、過去のフレームの映像データに基づいて推定し、又は、前記複数の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する機能をさらに有する。
【００５８】
これにより、カメラの死角部分においても欠落を生じさせることなく、視点が変換された画像データ求めることが可能な、半導体装置を提供することができる。
【００５９】
〔１７〕＜シングルチップ＞
項９から項１６のうちのいずれか１項において、単一半導体基板上に形成される。
【００６０】
これにより、車載用画像処理装置における半導体装置の実装面積を低減し、車載用画像処理装置のコストをより低く抑えることができる。
【００６１】
２．実施の形態の詳細
実施の形態について更に詳述する。
【００６２】
〔実施形態１〕＜速度情報に基づき領域毎に最適な画像処理＞
図１は、実施形態１に係る車載用画像処理装置１０の構成例を示すブロック図である。
【００６３】
車載用画像処理装置１０は、レンズとイメージセンサを含むカメラモジュール１（以降、単に「カメラ１」と呼ぶ）と、画像認識部３と、判断部４とを備える。カメラ１は、図４と図５を引用して後段で詳述されるように、反射板２を備えることにより、車両の前方の映像と車両の周囲等の映像とを、１フレームの画面内に同時に撮像することができる。カメラ１は、例えば、車内のバックミラーの裏側に、運転者の視界の前方方向に向けて設置される、所謂フロントカメラである。
【００６４】
図２は、実施形態１に係る車載用画像処理装置１０の映像データ５０を示す説明図である。カメラ１によって撮像された１フレームの映像データ５０には、境界線５１を挟んで下側の領域５２と上側の領域とが含まれている。境界線５１の下側の領域５２が、反射板２を通さず直接、車両の前方を撮像した映像領域であり、境界線５１の上側の領域５３が、反射板２によって反射されることによって、車両の周辺等を撮像した映像領域である。
【００６５】
判断部４には、自車両の速度情報８が供給される。車載用画像処理装置１０は、図１に例示されるように、独立の速度検出部７を備え、速度情報８を検出して、判断部４に供給するように構成しても良い。車載用画像処理装置１０は、また、後述のように画像認識部３の一部の機能として実現される速度検出部１９によって速度情報８を検出して、判断部４に供給するように構成しても良い。判断部４は、供給された速度情報８に基づいて、画像認識部３に対して制御指示情報９を供給する。
【００６６】
画像認識部３には、前記車両前方の映像である境界線５１の下側の領域５２と、他の方向の映像である境界線５１の上側の領域５３とを、１フレーム内に同時に含む映像データ５０が、カメラ１から供給される。境界線５１の下側の領域５２と上側の領域５３の映像データに対して、制御指示情報９に基づく画像処理を行い、その結果を判断部４に供給する。
【００６７】
これにより、車載用画像処理装置１０は、車両の速度に応じた判断処理に必要な情報を得るために、適宜最適な画像処理を行うことができ、複数の映像領域に対して１個の画像認識部を設ければ足り、コストを抑えることができる。
【００６８】
＜高速走行時は前方映像、低速走行時は周辺映像の画像処理＞
図３は、画像処理の内容の一例を示すフローチャートである。境界線５１の上側の領域５３は、車両の周辺の映像であるとする。
【００６９】
判断部４は、入力される速度情報８に基づいて、画像認識部３において実行させるべき処理を指定する、制御指示情報９を、画像認識部３に対して供給する。図３において、制御指示情報９は、「高速走行」、「低速走行」、及び「特殊」の３通りであるものとして説明する。まず、画像認識部３は、制御指示情報９に基づいて、画像処理と画像認識の対象とすべき映像領域を判断する（Ｓ１）。車両が高速走行中の場合には、前方監視が主となるので、画像認識部３は境界線５１の下側の領域５２を対象として、遠景に適する鮮鋭化処理Ｓ２と色変換処理Ｓ５を順次行う。車両が低速走行中の場合には、周辺監視が主となるので、画像認識部３は境界線５１の上側の領域５３を対象として、近景に適する鮮鋭化処理Ｓ３と色変換処理Ｓ６を順次行う。
【００７０】
ここで、鮮鋭化処理は、例えば先行車両との間の車間距離や、路面や路肩の対象物まで距離を画像認識によって求めるための前処理の１つである。鮮鋭化処理は、例えば、エッジ強調処理であり、対象画像の輝度のヒストグラムから中間値を求め、その中間値を横切る部分を、対象物のエッジの候補として認識する。上記のように距離を正確に求めるためには、エッジが鮮明であることが求められるので、エッジを強調する、即ち鮮鋭化する画像処理が施される。
【００７１】
高速走行時で前方監視が主となる場合は、判断部４では、先行車両との車間距離や、前方の障害物の有無が、主な判断処理Ｓ８となり、低速走行時で周辺監視が主となる場合は、判断部４では、周辺の障害物までの距離などが、主な判断処理Ｓ９となる。このとき、高速走行時には境界線５１の上側の領域５３を対象とする画像処理を、低速走行時には境界線５１の下側の領域５２を対象とする画像処理を、それぞれ省略することにより、画像認識部３の回路規模を抑え、或いは演算処理の負荷を抑えることによって消費電力を抑えることができる。一方、高速走行時にも境界線５１の上側の領域５３を対象とする画像処理を、低速走行時には境界線５１の下側の領域５２を対象とする画像処理を、それぞれ主たる映像領域に対する画像処理と並列に実行することにより、判断処理Ｓ８とＳ９の信頼性を向上させることができる。
【００７２】
さらに、高速走行時には前方監視に注力し、前方監視で見つかった結果を元に周辺監視にも情報をフィードバックして画像認識の精度を向上することができる。また、低速走行時には逆に周辺監視に注力し、その結果を元に前方監視にも情報をフィードバックして画像認識の精度を向上することができる。
【００７３】
判断部４は、上述の「高速走行」と「低速走行」に加えて、さらに「特殊」な処理を、画像認識部３に対して指示することができる。「特殊」の場合には、例えば、境界線５１の下側の領域５２と上側の領域５３の両方について、遠景に適する画像処理と近景に適する画像処理との間の中間的な鮮鋭化処理Ｓ４と色変換処理Ｓ７を行わせる制御指示情報８を、画像認識部３に供給する。これにより、高速走行と低速走行に分類されない特殊な場合にも、適切な画像処理を実行させることができる。
【００７４】
＜カメラモジュールの構造＞
図４は、カメラモジュール１の構成例を示す外観図であり、図５は側面断面図である。カメラモジュール１は、基板４３上に実装され配線４４が接続されたイメージセンサ５と、レンズ４１などで構成される光学系が、収納カバー４２内に収納されて構成される。反射板２は、光学系であるレンズ４１等を通してイメージセンサ５に入射する入射光の光路内に設置される。図４では、収納カバー４２を透視したものとした内側が、破線で描かれている。反射板２が設置されない場合には、前方の映像をそのままイメージセンサ５の全体に撮り込むことができる。反射板２が設置されることにより、反射板２によって遮られない部分の前方の映像がそのままイメージセンサ５に撮り込まれ、同時に、周囲などからの映像が反射板２によって反射されて、イメージセンサ５に撮り込まれる。
【００７５】
光学系であるレンズ４１等は、上述の高速走行、低速走行、または、特殊の場合によらず、常に固定されて構成されることが好適である。光学系が固定されることにより、映像５０における境界線５１の位置が固定され、画像認識部３の構成を簡略化し、或いは画像認識部３による画像処理の演算負荷が大きくなることを防止することができる。また、カメラモジュール１のコストを低く抑えることができる。さらに、可動部分をなくすことにより、車両の振動に対する耐久性と信頼性を向上することができる。
【００７６】
一方、光学系であるレンズ４１等を、高速走行、低速走行、または、特殊、などの制御指示情報に連動させてもよい。例えば、高速走行時には前方監視が主となるので、レンズ４１を比較的遠景に合焦する位置に移動させ、低速走行時には周辺監視が主となるので、レンズ４１を比較的近景に合焦する位置に移動させ、両方を同時に監視する特殊な場合には中間的な距離に合焦する位置に移動させることができる。これにより、より正確な画像認識を行うことができる。
【００７７】
＜車載用画像処理装置の詳細な構成例＞
図６は、車載用画像処理装置１０の詳細な構成例を示すブロック図である。車載用画像処理装置１０は、カメラモジュール１に搭載されているイメージセンサ５と、画像認識部３と判断部４を含んで構成されるＬＳＩ２０と、フレームメモリ１１とによって構成される。ＬＳＩ２０は、画像認識部３と、判断部４と、メモリインターフェース部１２と、カメラ入力部１３と、カメラ制御部１４とを含んで構成される。
【００７８】
カメラ入力部１３は、イメージセンサ５から入力される映像データを取り込んで、メモリインターフェースを介してフレームメモリ１１に書き込む。イメージセンサ５からの入力がアナログ信号である場合には、Ａ／Ｄ変換器を備え、入力されるアナログ信号を順次ディジタルデータに変換して、フレームメモリ１１に書き込む。また、映像信号に対する種々の前処理を含んで構成されても良い。
【００７９】
画像認識部３は、鮮鋭化を行う画像処理部１６と、色変換を行う画像処理部１７と、その他の各種処理を行なう画像処理部１８とを含んで構成される。画像認識部３は、さらに、速度検出を行う画像処理部１９を含んで構成される。画像認識部３には、メモリインターフェース部１２を介してフレームメモリ１１から、映像データが入力される。速度検出を行う画像処理部１９では、映像データに基づいて、自己の車両の走行速度を検出する。複数フレームの映像データを利用し、路面や路側帯の目標物と自己の車両との距離の時間的な変化を求めることにより、走行速度などの速度情報８を得ることができる。求められた速度情報８は、判断部４に供給される。判断部４は、速度情報８に基づいて、画像認識部３に制御指示情報９を供給する。画像認識部３は、与えられた制御指示情報９に基づいて、各画像処理部１６、１７、１８において、鮮鋭化、色変換、及び、その他の各種画像処理、画像認識処理を行い、その結果を判断部４に供給する。判断部４は、それに基づいて、先行車両との車間距離、周囲の目標物、障害物などとの距離などに基づき、例えば自動運転、安全の確保、その他の制御のための種々の判断処理を行うことができる。また、判断部４は、カメラ制御部１４を介してイメージセンサ５を制御する。
【００８０】
図７は、車載用画像処理装置１０の詳細な別の構成例を示すブロック図である。車載用画像処理装置１０は、カメラモジュール１に搭載されているイメージセンサ５と、速度センサ６と、画像認識部３と判断部４を含んで構成されるＬＳＩ２０と、フレームメモリ１１とによって構成される。図６に示される車載用画像処理装置１０との違いは、図７の車載用画像処理装置１０が速度センサ６を備え、ＬＳＩ２０が速度検出部７を備えている点と、図７の画像認識部３が速度検出を行う画像処理部１９を備えていない点である。図７に示される車載用画像処理装置１０では、速度センサ６で検知される速度に依存する信号が、速度検出部７を介して速度情報８として取り込まれ、判断部４に入力される。他の構成と動作は、図６に示される車載用画像処理装置１０と同様であるので、説明を省略する。
【００８１】
図６に示される車載用画像処理装置１０と図７に示される車載用画像処理装置１０とを比較すると、図６の車載用画像処理装置１０では、外部から速度センサの信号を入力する必要がなくなり、より低コストの車載用画像処理装置を提供することができる。一方、図７に示される車載用画像処理装置１０では、専用の速度センサ６から速度情報８が入力される点で、速度についての判断を正確に行うことができる。
【００８２】
速度検出部７と速度検出を行う画像処理部１９とを共に備え、それぞれで抽出される速度情報８を、並行して判断部４に供給することもできる。これにより、外部から入力される速度センサ６の信号と画像認識部３が算出する速度情報８とを互いに補完的に利用することによって、車両の走行速度をより正確に求めることが可能な、車載用画像処理装置１０を提供することができる。
【００８３】
図８は、車載用画像処理装置１０に搭載されるＬＳＩ（半導体装置）２０の構成例を示すブロック図である。ＬＳＩ２０は、ＣＰＵ（Central Processing Unit）２１と、外部メモリインターフェース１２と、アクセラレータ２２と、内蔵メモリ２３と、周辺回路を含んで構成される。周辺回路には、カメラ入力部１３とカメラ制御部１４からなるカメラインターフェース部２５と、タイマ２６などが含まれる。例えばタイマ２６は、速度センサ６から入力される、タイヤの回転数に比例するパルスを、所定の期間ごとにカウントすることによって速度情報８を求める、速度検出部７を構成することができる。画像認識部３に含まれる各種の画像処理１６、１７、１８、１９等は、例えば、アクセラレータ２２によって実装され、判断部４の機能は、内蔵メモリ２３に格納されるプログラムをＣＰＵ２１によって実行することによって実装される。
【００８４】
ＬＳＩ２０は、特に制限されないが、例えば、公知のＣＭＯＳ（Complementary Metal-Oxide-Semiconductor field effect transistor）ＬＳＩの製造技術を用いて、シリコンなどの単一半導体基板上に形成される。複数のチップによって構成されてもよいし、フレームメモリ１１をさらに含んで単一チップに形成されてもよい。単一チップに集積されることにより、車載用画像処理装置１０における実装面積を低減し、車載用画像処理装置１０のコストをより低く抑えることができる。
【００８５】
〔実施形態２〕＜ステレオカメラ＞
図９は、実施形態２に係る車載用画像処理装置１０の構成例を示すブロック図である。図１に示される、実施形態１に係る車載用画像処理装置１０の構成例との違いは、左右１対のカメラ１Ｌと１Ｒとを備えており、所謂ステレオカメラを構成する点である。ステレオカメラは視覚内の物体までの距離を測定する手法の一つで２つのカメラで構成され視差映像を用いた物体までの距離測定が可能である。車載用画像処理装置１０は、実施形態１に係る車載用画像処理装置１０と同様に、他に画像認識部３と、判断部４と速度検出部７または１９を含んで構成される。右側のカメラ１Ｒの前方には、実施形態１で示したカメラ１と同様に、反射板２が設置されている。左側のカメラ１Ｌには、反射板は設置されていない。右側のカメラ１Ｒからの映像と左側のカメラ１Ｌからの映像は、共に、画像認識部３に供給される。左右１対のカメラは、例えば、フロントグラス上部に互いに所定の距離を離して設置される。右側のカメラ１Ｒに反射板２を備える例を示したが、左側のカメラ１Ｌに反射板２を備えてもよい。
【００８６】
図１０は、実施形態２に係る車載用画像処理装置１０の映像データを示す説明図である。（ａ）に左側のカメラ１Ｌで撮像される映像データ５０Ｌが示され、（ｂ）に右側のカメラ１Ｒで撮像される映像データ５０Ｒが示される。右側のカメラ１Ｒの映像データ５０Ｒには、図２に示される映像データ５０と同様に、境界線５１Ｒを挟んで下側の領域５２Ｒと上側の領域とが含まれている。境界線５１Ｒの下側の領域５２Ｒが、反射板２を通さず直接、車両の前方を撮像した映像領域であり、境界線５１Ｒの上側の領域５３Ｒが、反射板２によって反射されることによって、車両の周辺等を撮像した映像領域である。左側のカメラ１Ｌからの映像データ５０Ｌには、境界線がなく、車両の前方を撮像した映像領域５２Ｌのみで構成される。
【００８７】
判断部４には、自車両の速度情報８が供給される。車載用画像処理装置１０は、図２に例示されるように、独立の速度検出部７を備えて速度情報８を検出して、判断部４に供給するように構成しても良い。車載用画像処理装置１０は、また、前述のように画像認識部３の一部の機能として実現される速度検出部１９によって速度情報８を検出して、判断部４に供給するように構成しても良い。判断部４は、供給された速度情報８に基づいて、画像認識部３に対して制御指示情報９を供給する。
【００８８】
画像認識部３には、左右のカメラ１Ｌと１Ｒから、映像データ５０Ｌと５０Ｒが供給され、判断部４から供給される制御指示情報９に基づいて、画像処理を行ない、その結果を判断部４に供給する。
【００８９】
図１１は、画像処理の内容の一例を示すフローチャートである。画像認識部３では、判断部４から供給される制御指示情報９に基づいて、右側のカメラ１Ｒからの映像データ５０Ｒに対して速度に依存する鮮鋭化と色変換の画面処理３０が実行される。画面処理３０の詳細は、図３のフローチャートに示した処理と同様に構成することができる。一方、左側のカメラ１Ｌからの映像データ５０Ｌに対しては、速度に依存せず、１フレーム全体に対して一様な鮮鋭化と色変換の画面処理３１が実行される。
【００９０】
次に、それぞれの処理結果から、画面切り出し３２Ｒと３２Ｌが実行される。画面切り出し３２Ｒと３２Ｌでは、左右のカメラ１Ｌと１Ｒで同時に撮像された同じ対象物を含む左右の映像データと、同じ対象物を含まない左右それぞれの映像データに切り分けられる。同じ対象物を左右のカメラ１Ｌと１Ｒで同時に撮像した映像データは、左右の視差を利用した画像処理、即ち、視差検出やベクトル検出を伴う画像認識３３に利用することができる。主に車両前方の映像データがこれに該当する。一方、左右それぞれの映像データは、それぞれの目的で画像認識に利用される。例えば、左側のカメラ１Ｌからの映像データ５０Ｌは、車両前方の上方の映像が含まれているので、信号機や標識等を認識する画像認識処理３４Ｌが実行される。一方、右側のカメラ１Ｒからの映像データ５０Ｒは、反射板２で反射されることによって、車両の周辺等の映像データ５３Ｒが含まれているので、これに対して周辺の対象物、障害物等を認識する画像認識処理３４Ｒが実行される。画像認識処理３３、３４Ｒ、３４Ｌの結果は、判断部４に供給される。
【００９１】
これにより、ステレオカメラにおいて、車両前方の映像に基づく視差検出やベクトル検出などの画像処理と、車両周辺の画像処理を、車両の速度に応じて適宜切替えて判断処理に供給することができる。
【００９２】
例えば、高速走行時には前方監視に重きが置かれるので、右側カメラ１Ｒからの映像データ５０Ｒに対しては、画面処理３０により車両前方の映像データ５２Ｒについて、遠景に適する鮮鋭化処理と色変換処理が行われ、画面切り出し３２Ｒを経て画像認識部３３に供給される。一方、左側カメラ１Ｌからの映像データ５０Ｌに対しては、画面処理３１により車両前方の映像データ５２Ｌについて、遠景に適する鮮鋭化処理と色変換処理が行われ、画面切り出し３２Ｌを経て画像認識部３３に供給される。ここで、右側からの映像データ５２Ｒと整合させるために、下側の領域が切り出されて、画像認識部３３に供給される。一方、上側の領域には、信号機や標識の映像データが含まれている可能性があるので、画面切り出し部３２Ｌによって切り出され、画像認識部３４Ｌに供給される。画像認識部３３では、同じ対象物を左右のカメラ１Ｌと１Ｒで撮像した１対の映像データが揃うので、その視差を検出して対象物までの距離、例えば車間距離や障害物までの距離を算出し、さらにフレーム間でのそれらの距離の変化を勘案してベクトル検出をすることにより、先行車両であるのか障害物であるのかを判断するための画像認識処理を行うことができる。右側カメラ１Ｒでは反射板２があるために取得できなかった、前方上方の映像データに対して、画像認識部３４Ｌでは信号機や標識等の認識処理が実行される。視差を利用することはできないが、画像認識部３３で視差検出された路面側の特徴点との相対関係から、距離を算出または推定することも可能である。高速走行時には、画面処理部３０において、反射板２によって反射されて撮像された映像データ５１Ｒの処理は省略されることができる。このとき、画面認識部３４Ｒも動作しない。
【００９３】
一方、低速走行時には周辺監視に重きが置かれるので、右側カメラ１Ｒからの映像データ５０Ｒに対しては、画面処理３０により車両周辺の映像データ５３Ｒについて、近景に適する鮮鋭化処理と色変換処理が行われ、画面切り出し３２Ｒを経て画像認識部３４に供給され、周辺の障害物等の認識処理が行われる。このとき、右側カメラ１Ｒからの車両前方の映像データ５２Ｒについては、画面処理３０が省略され、画像認識部３３には、左側カメラ１Ｌからのみの前方の映像データ５２Ｌが供給される。左右のうちの一方のみの映像データであるので、視差検出をすることはできないが、低速走行中であるので、車両の前方、特に遠景についての処理は、省略されても問題が大きくない。
【００９４】
画面処理３０において、図３を引用して説明した実施形態１における、「特殊」な処理と同様の処理を、実行可能に構成しても良い。画面処理３０において、右側カメラ１Ｒからの映像データ５０Ｒの境界線５１Ｒの下側の領域５２Ｒと上側領域５３Ｒについて、一律に遠景と近景の中間的な鮮鋭化処理と色変換処理を行なう。それぞれの領域の結果を画面切り出し３２Ｒによって切り出して、下側の領域５２Ｒを視差検出等を行う画像認識部３３と周辺の画像認識を行う画像認識部３４Ｒにそれぞれ供給する。この場合には、鮮鋭化処理と色変換処理とが、遠景か近景かのどちらか一方に最適化されいないため、画像認識の精度が多少犠牲になる恐れがあるが、前方と周辺を同時に監視することができる点で有効である。
【００９５】
〔実施形態３〕＜左右両側のステレオカメラに反射板＞
図１２は、実施形態３に係る車載用画像処理装置１０の構成例を示すブロック図である。図９に示される、実施形態２に係る車載用画像処理装置１０の構成例との違いは、左右１対のカメラ１Ｌと１Ｒそれぞれの前方に反射板２Ｌと２Ｒを備えている点である。車載用画像処理装置１０は、実施形態２に係る車載用画像処理装置１０と同様に、他に画像認識部３と、判断部４と速度検出部７または１９を含んで構成される。
【００９６】
図１３は、実施形態３に係る車載用画像処理装置１０の映像データを示す説明図である。（ａ）に左側のカメラ１Ｌからの映像データ５０Ｌが示され、（ｂ）に右側のカメラ１Ｒからの映像データ５０Ｒが示される。左右のカメラ１Ｌと１Ｒからの映像データ５０Ｌと５０Ｒは、どちらも、図２に示される映像データ５０と同様に、境界線５１Ｌと５１Ｒを挟んで、下側の領域５２Ｌと５２Ｒ、及び、上側の領域５３Ｌと５３Ｒが含まれている。
【００９７】
判断部４には、自車両の速度情報８が供給される。車載用画像処理装置１０は、図２に例示されるように、独立の速度検出部７を備えて速度情報８を検出して、判断部４に供給するように構成しても良い。車載用画像処理装置１０は、また、前述のように画像認識部３の一部の機能として実現される速度検出部１９によって速度情報８を検出して、判断部４に供給するように構成しても良い。判断部４は、供給された速度情報８に基づいて、画像認識部３に対して制御指示情報９を供給する。
【００９８】
画像認識部３には、左右のカメラ１Ｌと１Ｒから、映像データ５０Ｌと５０Ｒが供給され、判断部４から供給される制御指示情報９に基づいて、画像処理を行ない、その結果を判断部４に供給する。
【００９９】
画像認識部３による画像処理の内容は、実施形態２において引用した図１１と同様に構成することができるが、画面処理３１は自車両の走行速度に依存する画面処理３０と同じく、図３のフローチャートに示した処理と同様に構成される。左側カメラ１Ｌから入力される映像データ５０Ｌには、車両前方の映像データである５２Ｌと周辺の映像データである５３Ｌとが含まれているので、高速走行時は、映像データ５２Ｌに注目して前方監視に重点を置き、低速走行時には映像データ５３Ｌに注目して周辺監視に重点を置くことができる。次に、それぞれの処理結果から、画面切り出し３２Ｒと３２Ｌが実行される。画面切り出し３２Ｒと３２Ｌでは、左右のカメラ１Ｌと１Ｒで撮像された同じ対象物を含む左右の映像データと、同じ対象物を含まない左右それぞれの映像データに切り分けられる。
【０１００】
上述の実施形態２においては、前方の映像データ５２Ｌと５２Ｒのみが、視差検出を行う画像認識部３３に供給されるために切り出されたが、本実施形態３においては周辺の映像データ５３Ｌと５３Ｒのうちの一部にも、左右のカメラ１Ｌと１Ｒで撮像された同じ対象物が含まれている。その領域の映像データは、画面切り出し３２Ｒと３２Ｌで切り出されて、視差検出を行う画像認識部３３に供給される。一方、周辺の映像データ５３Ｌと５３Ｒのうち、同じ対象物を含まない左右それぞれの映像データは、画面切り出し３２Ｒと３２Ｌで切り出されて、左右それぞれの画像認識部３４Ｌと３４Ｒに供給される。
【０１０１】
これにより、低速走行時などの周辺監視の場合にも、ステレオカメラによる視差検出による、距離等の算出を行うことができる。
【０１０２】
〔実施形態４〕＜視点の変更と合成＞
画像認識部３で切り出された、車両前方の映像５２、５２Ｌ、５２Ｒなどと、車両周辺の映像５３、５３Ｌ、５３Ｒなどは、カメラ１、１Ｌ、１Ｒを視点とする映像である。これに対して視点変換処理を施すことにより、別の視点からの映像を合成することができる。例えば、自車両を上空から俯瞰した映像に変換することができる。このとき、カメラの構成は、単眼でもステレオでも良い。本実施形態では、説明の簡略化のために、単眼の場合を例に採って説明する。
【０１０３】
図１４は、実施形態４に係る車載用画像処理装置によって合成される画像データを示す説明図である。
【０１０４】
合成される画像データは、４通りの６領域に分けて合成される。４通りの領域とは、通常映像領域５４と、反射板映像領域５５と、通常映像と反射板映像とが重複する領域５６と、どちらの映像にも含まれない領域５７である。通常映像と反射板映像のどちらの映像にも含まれない領域５７は、カメラの死角によって生じる。反射板映像領域５５とどちらの映像にも含まれない領域５７は、図示されるように、左右に存在する。通常映像領域５４は、車両前方の映像５２を元に視点を変更する画像処理が実行された結果であり、反射板映像領域５５は、車両周辺の映像５３を元に視点を変更する画像処理が実行された結果である。車両前方の映像５２と周辺の映像５３には、重複部分があるので、その部分については、それぞれの映像を元に視点を変更する画像処理を実行した上で、相互補完して領域５６の画像データを合成する。ステレオカメラの場合には、視差を利用してさらに高精度に画像を合成してもよい。通常映像と反射板映像のどちらの映像にも含まれない領域５７については、過去のフレームの映像データに基づいて推定し、又は、他の領域の端部の映像データに基づいて推定し、又は、当該部分の画像データとして推定不能であることを示すための所定の画像データを出力する。
【０１０５】
これにより、従来より少ないカメラと画像認識部を使って、視点を変換された画像を求めることが可能な、車載用画像処理装置１０を提供することができる。また、死角となった領域の画像を推定によって求めることにより、カメラの死角部分においても欠落を生じさせることなく、視点が変換された画像データ求めることが可能な、車載用画像処理装置を提供することができる。
【０１０６】
以上本発明者によってなされた発明を実施形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
【０１０７】
例えば、反射板が設置されたカメラによって撮影される領域を、主に、車両の前方と周辺として説明したが、これを車両の後方と車内などに変更してもよい。また、撮像方向を変更するためには、反射板に代えてプリズムやレンズを用いても良い。
【符号の説明】
【０１０８】
１  カメラモジュール（簡略に「カメラ」と呼ぶ）
２  反射板
３  画像認識部
４  判断部
５  イメージセンサ
６  速度センサ
７  速度検出部
８  速度情報
９  制御指示情報
１０  車載用画像処理装置
１１  フレームメモリ
１２  メモリインターフェース部
１３  カメラ入力部
１４  カメラ制御部
１５  速度検出部
１６  画像処理（鮮鋭化）
１７  画像処理（色変換）
１８  画像処理（各種）
１９  画像処理（速度検出）
２０  半導体装置（ＬＳＩ）
２１  ＣＰＵ
２２  アクセラレータ
２３  内蔵メモリ
２４  周辺回路
２５  カメラインターフェース
２６  タイマ
３０  速度依存の画像処理（鮮鋭化・色変換）
３１  速度に依存しない画像処理（鮮鋭化・色変換）
３２  画面切り出し
３３  視差検出／ベクトル検出／画像認識
３４  画像認識（信号機・標識等の認識）
４１  レンズ
４２  収納カバー
４３  基板
４４  配線
５０  映像データ
５１  境界
５２  車両前方の映像領域
５３  車両周辺の映像領域
５４  通常映像領域
５５  反射板映像領域
５６  通常映像と反射板映像とが重複する領域
５７  予測映像領域（死角）
【図１】
2015103894.tif 000003
【図２】
2015103894.tif 000004
【図３】
2015103894.tif 000005
【図４】
2015103894.tif 000006
【図５】
2015103894.tif 000007
【図６】
2015103894.tif 000008
【図７】
2015103894.tif 000009
【図８】
2015103894.tif 000010
【図９】
2015103894.tif 000011
【図１０】
2015103894.tif 000012
【図１１】
2015103894.tif 000013
【図１２】
2015103894.tif 000014
【図１３】
2015103894.tif 000015
【図１４】
2015103894.tif 000016