Source: https://patents.google.com/patent/JP2010198552A/en
Timestamp: 2018-11-14 18:00:39
Document Index: 487134106

Matched Legal Cases: ['art 344', 'art 348', 'art 346', 'art 347', 'art 349', 'art 348', 'art 343']

JP2010198552A - Driving state monitoring device - Google Patents
Driving state monitoring device Download PDF
JP2010198552A
JP2010198552A JP2009045669A JP2009045669A JP2010198552A JP 2010198552 A JP2010198552 A JP 2010198552A JP 2009045669 A JP2009045669 A JP 2009045669A JP 2009045669 A JP2009045669 A JP 2009045669A JP 2010198552 A JP2010198552 A JP 2010198552A
JP2009045669A
<P>PROBLEM TO BE SOLVED: To provide a driving state monitoring device for contributing to effective driving education. <P>SOLUTION: The driving state monitoring device includes: cameras 11, 12 whose optical axes are parallel with a predetermined spacing in-between to image the scene ahead of a vehicle at the same timing; an inter-vehicle distance measuring part 344 for measuring the distance between the vehicle and the other vehicle captured in images obtained from the cameras 11, 12 on the basis of the images; a risk degree calculating part 348 for calculating a risk degree that shows the risk of a collision between the vehicle and the other vehicle on the basis of the inter-vehicle distance and a rate of change of the inter-vehicle distance; vehicle movement measuring part 346 for measuring absolute movement of vehicle; the other vehicle movement calculating part 347 for calculating absolute movement of the other vehicle on the basis of the absolute movement of the vehicle and the inter-vehicle distance; and a degree of responsibility calculating part 349 for calculating a degree of responsibility showing responsibility ratios of the vehicle and the other vehicle in a risky situation in a relation between the vehicle and the other vehicle shown by the images on the basis of the risk degree and the absolute movements of the vehicle and the other vehicle. <P>COPYRIGHT: (C)2010,JPO&INPIT
本発明は、自車両及びその周囲に存在する他車両の運転状況（走行状況）を記録する運転状況監視装置に属するものである。 The present invention belongs to the operating condition monitoring apparatus for recording the operation status of other vehicles existing vehicle and its surroundings (running condition).
近年、交通事故を未然に防止するために、ステレオカメラやレーダーを利用した運転支援システムの研究が盛んに行われている。 In recent years, in order to prevent traffic accidents, study of the driving support system using stereo cameras and radar have been actively carried out. 運転支援システムは、自車両に搭載され、進行方向にある他車両を検出し、他車両までの距離を測ることで、自車両が危険状態にあるか否かを判断し、運転者に警告を発したり、ブレーキ制御を行ったりするものである。 Driving support system is mounted on the vehicle to detect another vehicle in the traveling direction, by measuring the distance to the other vehicle, it is determined whether the vehicle is in a dangerous situation, a warning to the driver issued or is for or perform brake control. また、自車両の動きと他車両の動きとを相対的に解析することにより、ドライバの運転状況を把握し、注意を促したり、教育したりすることに用いることも有効である。 Also, by relatively analyzing the motion of the vehicle movement and other vehicles, to grasp the operating condition of the driver, or call attention, it is also effective to use to or education. 更に、ドライブレコーダーなどの画像を解析して事故時の車両の動きを解析するといったことも考えられる。 Furthermore, it is conceivable such analyzing the movement of a vehicle at the time of image by analyzing the accident such as the drive recorder.
中でも、ステレオカメラを利用した運転支援システムは、撮影した画像を処理することで他車両を特定することが可能であるというレーダーを利用した運転支援システムにはないメリットを有している。 Among them, the driving support system using stereo cameras have advantage over driving support system using the radar that it is possible to identify other vehicles by processing the captured image.
この種の技術分野に関連する文献として、例えば下記特許文献１〜４がある。 As documents relating to this type of technical field, for example, there are the following Patent Documents 1 to 4. 下記特許文献１には、「車両周辺の状況を撮影するカメラによって撮影されたカメラ映像を記憶媒体に記録する記録手段と、周辺車両との事故の危険性が発生したか否かを判定する第１の判定手段と、第１の判定手段によって事故の危険性が発生したことが判定された場合、記録手段によるカメラ映像の記録を開始させる記録開始制御手段とを備えた」車載状況記憶装置が開示されている。 The following Patent Document 1, first determines a recording means for recording the camera image captured by a camera for photographing the "situation surrounding the vehicle in a storage medium, whether the risk of accidents and near the vehicle has occurred a first determination unit, if the risk of an accident is determined that generated by the first determination unit, and a recording start control means for starting the recording of the camera image by the recording means "vehicle status storage device It has been disclosed.
下記特許文献２には、「車両の走行状態に関するデータを記録する走行状態記録装置は、データを記録する記録手段と、自車両の少なくとも前方を撮像し、画像データを生成する撮像手段と、自車両の前方車両との車間距離を算出する車間距離算出手段と、前方車両との車間距離に基づき前方車両の挙動に異常があるか否かを判定する判定手段と、異常があると判定されたとき、画像データを記録手段に記録する記録制御手段とを有する」走行状態記録装置が開示されている。 The following Patent Document 2, the traveling state recording device for recording data concerning the traveling state of the "vehicle includes an imaging means for imaging recording means for recording the data, at least ahead of the vehicle to generate image data, self and inter-vehicle distance calculating means for calculating a distance to the front vehicle of the vehicle, is determined and determining means for determining whether or not there is an abnormality in the behavior of the preceding vehicle based on the distance to the preceding vehicle, that there is an abnormality when, and a recording control means for recording the image data in the recording means "traveling state recording device is disclosed. また、下記特許文献２には、「判定手段は、車間距離の変化率が一定値を越えたとき、または車間距離が一定値よりも小さくなったとき、前方車両の挙動に異常があると判定する（［００１２］）」と記載されている。 Further, the following Patent Document 2, "determining means, when the rate of change of the vehicle distance exceeds a predetermined value, or when the inter-vehicle distance becomes smaller than a certain value, that there is an abnormality in the behavior of the preceding vehicle determination to have been described as ([0012]) ".
下記特許文献３には、事故かヒヤリハットかの判断や記録重要度の判断を行うためのパラメータとしての状況データをその内容に基づいて分類する点が開示されている。 The following Patent Document 3, a point to classify based on status data as parameters for performing an accident or near miss determination of whether or recording importance of determination of their content is disclosed. また、下記特許文献３には、「事故かヒヤリハットかの判断や、記録重要度の判断には、状況データとして、車両に作用する加速度を示す加速度データ、車両の位置を示す位置データ、車両の速度を示す速度データ、車両のブレーキが作用しているか否かを示すブレーキデータ、ドアが開閉しているか否かを示すドア開閉データ、車両側電源から電力が供給されているか否かを示す主電源状態データ等を複合的に用いればよい。（［００１０］）」、「事故やヒヤリハットの内容を事後分析するために特に有効な状況データとしては、車両に作用する加速度を示す加速度データ、車両の位置を示す位置データ及び車両の外部映像を示す動画データを挙げることができる。（［００１６］）」と記載されている。 Further, the following Patent Document 3, the "or determine an accident or near miss, the recording importance of judgment as status data, the acceleration data indicating the acceleration acting on the vehicle, position data indicating the position of the vehicle, the vehicle velocity data indicating the speed, the main indicating whether the brake of the vehicle is brake data indicating whether or not the action, the door is a door opening and closing data indicating whether or not the opening and closing, the power from the vehicle power source is supplied the power supply state data, etc. may be used in combination. ([0010]), "the contents of" accidents and near misses as especially effective situation data for post analysis acceleration data indicating the acceleration acting on the vehicle, the vehicle position data and moving image data indicating an outside picture of the vehicle showing the position of the like. are described as ([0016]). "
下記特許文献４には、「自車両の前方に設置され、自車両と前車の走行速度、相対速度及び前記自車両と前車の車間距離を計測する速度及び車間距離計測手段と、前記計測された走行速度、相対速度及び車間距離から前記自車両と前車の衝突を予測する衝突予測手段と、前記自車両と前車とを画像に撮影する撮像手段と、前記撮像手段により撮影された画像データを記録可能な記録手段と、前記衝突予測手段による前記衝突の予測に基づき前記記録手段に前記画像データを記録させる制御手段とを備えた」事故時のデータ記録装置が開示されている。 The following Patent Document 4, "is placed in front of the own vehicle, and the speed and inter-vehicle distance measuring means for measuring a vehicle and preceding vehicle traveling speed, the relative speed and the vehicle and the distance to the preceding vehicle, the measurement a collision predicting means for predicted travel speed, the collision said own vehicle and the preceding vehicle from the relative velocity and inter-vehicle distance, imaging means for imaging the said vehicle and the vehicle in front on the image, captured by the imaging means recording means capable of recording image data, the image data and a control means for recording the "data recording apparatus at the time of the accident is disclosed in the recording means based on the prediction of the collision by the collision prediction means.
特開２００７−２３７７６４号公報 JP 2007-237764 JP 特開２００６−３４７４９３号公報 JP 2006-347493 JP 特開２００７−１１９０８号公報 JP 2007-11908 JP 特開平０８−２３５４８４号公報 JP 08-235484 discloses
前記自車両と前記他車両との関係における危険状況についての各車両の責任の重さをユーザ等に提供することができれば、単に画像の記録や危険状況の解析等を行う前記引用文献１〜４よりも、更に運転教育に効果的な装置を実現することができるものと考えられる。 If it is possible to provide the weight of responsibility of each vehicle for dangerous situation in relation to the vehicle and the other vehicle to the user or the like, the references 1-4 simply performing analysis or the like of the recording and dangerous situations of the image than is believed that it is possible to achieve effective device further driving education.
本発明は、上述した問題点を解決するためになされたものであり、効果的な運転教育に寄与することのできる運転状況監視装置を提供することを目的とする。 The present invention has been made to solve the above problems, and an object thereof is to provide a driving condition monitoring apparatus that can contribute to effective operation training.
請求項１に記載の発明は、光軸が予め定められた間隔を介して平行であり、走行している自車両の周辺環境の光像を同一のタイミングで繰り返し撮像する第１及び第２の撮像部と、前記第１及び第２の撮像部の撮像動作で得られる各画像を用い、自車両の周辺に存在する前記画像に映った他車両と自車両との車間距離を計測する車間距離計測部と、前記車間距離計測部により計測された車間距離と該車間距離の変化率とに基づき、前記自車両と前記他車両との衝突の危険性を示す指標である危険度を算出する危険度算出部と、自車両の移動ベクトルを計測する自車両動き計測部と、前記自車両動き計測部により計測された自車両の動きと、前記車間距離計測部により計測された車間距離とに基づき、他車両の移動ベクトルを算出する他車両動 The invention of claim 1 are parallel via a gap which optical axis is predetermined, the first and the second to image repeatedly at the same timing a light image of the vehicle surrounding environment running an imaging unit, using the images obtained by the imaging operation of the first and second imaging units, the inter-vehicle distance measuring the distance to the other vehicle and the host vehicle reflected in the image that exists in the vicinity of the vehicle risk of calculating a measurement section, the basis of the inter-vehicle distance measuring portion headway distance measured by the rate of change of the vehicle distance, the risk is an index showing the risk of collision between the vehicle and the other vehicle a degree calculating unit, and the vehicle motion measuring unit for measuring the movement vector of the vehicle, wherein a motion of the vehicle measured by the vehicle motion measuring unit, based on the measured inter-vehicle distance by the vehicle-to-vehicle distance measuring portion , other vehicles kinematic for calculating a movement vector of the other vehicle 算出部と、前記危険度算出部により算出された危険度と、前記自車両動き計測部により計測された自車両の移動ベクトルと、前記他車両動き算出部により算出された他車両の移動ベクトルとに基づき、前記画像が示す前記自車両と前記他車両との関係における危険状況について、前記自車両及び前記他車両の責任の割合を示す指標である責任度合いを算出する責任度合い算出部とを備える運転状況監視装置である。 A calculation unit, and the degree of risk calculated by the risk calculation unit, wherein the moving vector of the vehicle measured by the vehicle motion measuring unit, and the movement vector of the other vehicle calculated by the other vehicle motion calculating section the basis for the dangerous situation in relation to the other vehicle and the host vehicle in which the image is shown, and a said vehicle and the responsibility degree calculation section for calculating a liability degree is an index showing the proportion of the responsibility of another vehicle it is an operating condition monitoring apparatus.
この発明によれば、第１及び第２の撮像部により、走行している自車両の周辺環境の光像が同一のタイミングで繰り返し撮像される。 According to the present invention, the first and second imaging units, light image of the vehicle surrounding environment running it is imaged repeatedly at the same timing. 第１及び第２の撮像部から画像が出力されると、車間距離計測部により、その画像に基づき、自車両の周辺に存在する前記画像に映った他車両と自車両との車間距離が計測される。 When an image is output from the first and second imaging units, the inter-vehicle distance measuring unit, based on the image, distance to the other vehicle and the host vehicle reflected in the image that exists around the own vehicle measured It is. また、危険度算出部により、前記車間距離計測部により計測された車間距離と該車間距離の変化率とに基づき、前記自車両と前記他車両との衝突の危険性を示す指標である危険度が算出される。 Moreover, the risk calculation unit, the inter-vehicle distance based on the measured inter-vehicle distance and the change rate of the vehicle distance by measuring unit, the risk is an index showing the risk of collision between the vehicle and the other vehicle There is calculated.
一方、自車両動き計測部により、自車両の移動ベクトルが計測され、他車両動き算出部により、前記自車両の動きと前記車間距離計測部により計測された車間距離とに基づき、他車両の移動ベクトルが算出される。 Meanwhile, the vehicle motion measuring unit, the measured movement vector of the vehicle, the other vehicle motion calculation section, based on the measured inter-vehicle distance by the own movement of the vehicle and the vehicle-to-vehicle distance measuring portion, movement of the other vehicle vector is calculated.
そして、責任度合い算出部により、前記危険度算出部により算出された危険度と、前記自車両動き計測部により計測された自車両の移動ベクトルと、前記他車両動き算出部により算出された他車両の移動ベクトルとに基づき、前記画像が示す前記自車両と前記他車両との関係における危険状況について、前記自車両及び前記他車両の責任の割合を示す指標である責任度合いが算出される。 By responsibility degree calculation unit, and the degree of risk calculated by the risk calculation unit, wherein the moving vector of the vehicle measured by the vehicle motion measuring unit, the other vehicle that is calculated by the other vehicle motion calculating section based of on the movement vector, the dangerous situation in relation to the other vehicle and the host vehicle in which the image is shown, the vehicle and the responsibility degree is an index showing the proportion of responsibility of the other vehicle is calculated.
この算出した責任度合いの情報をユーザ等に提供することにより、前記自車両と前記他車両との関係における危険状況についての各車両の責任の重さをユーザ等に認識させることが可能となる。 By providing the information of the calculated liability degree to the user or the like, it is possible to recognize the the weight of responsibility of each vehicle for dangerous situation in relation to the vehicle and the other vehicle to the user or the like.
請求項２に記載の発明は、請求項１に記載の運転状況監視装置において、前記責任度合いは、前記危険度算出部により算出された危険度と、自車両の運転操作状況と、他車両の前記移動ベクトルとをパラメータとして設定されているものである。 The invention according to claim 2, in operation status monitoring apparatus according to claim 1, wherein the responsibility degree, the degree of risk calculated by the risk calculation unit, and the driving operation condition of the vehicle, the other vehicle are those set and the moving vector as a parameter.
この発明によれば、前記責任度合いを、前記危険度算出部により算出された危険度と、自車両の運転操作状況と、他車両の前記移動ベクトルとをパラメータとして設定したので、前自車両及び他車両の各操作状況に応じた適切な責任度合いを算出することが可能となる。 According to the present invention, the responsibility degree, the the risk calculated by the risk calculation unit, and the driving operation condition of the vehicle, since the setting and the movement vector of the other vehicle as a parameter, before the vehicle and it is possible to calculate an appropriate responsibility degree according to the operation status of the other vehicle.
請求項３に記載の発明は、請求項１又は２に記載の運転状況監視装置において、前記責任度合いは、前記危険度算出部により算出された危険度と、自車両及び他車両の前記移動ベクトルからそれぞれ求められる各車両の運転操作状況とをパラメータとして設定されているものである。 The invention according to claim 3, in the operating condition monitoring apparatus according to claim 1 or 2, wherein the responsibility degree, the the risk calculated by the risk calculation unit, the moving vector of the vehicle and the other vehicle are those set a driving operation status of each vehicle determined respectively as a parameter from.
この発明によれば、前記責任度合いを、前記危険度算出部により算出された危険度と、自車両及び他車両の前記移動ベクトルからそれぞれ求められる各車両の運転操作状況とをパラメータとして設定したので、前自車両及び他車両の各操作状況に応じた適切な責任度合いを算出することが可能となる。 According to the present invention, the responsibility degree, the degree of risk calculated by the risk calculation unit, since the set of the driving operation status of each vehicle obtained from each of the moving vector of the vehicle and the other vehicle as a parameter , it is possible to calculate an appropriate responsibility degree according to the operation status of the front vehicle and the other vehicle.
自車両及び他車両の責任度合いを設定するためのルールとして、請求項４〜７に記載の発明のようなルールが一例として考えられる。 As a rule for setting the responsibility degree of the own vehicle and other vehicles, it is considered as a rule an example, such as in the invention of claim 4-7. 例えば、請求項４に記載の発明のように、前記危険度が増大している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の方が、該危険状況の主な要因となっている可能性が高い点に基づき、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の責任度合いを相対的に増大させるルールが考えられる。 For example, as in the invention of claim 4, the period in which the risk is increasing, towards the vehicle and the side of the vehicle changes the driving operation has occurred among the other vehicles, mainly of the dangerous situation based on the points are likely to become a factor, the vehicle and rule changes in driving operation is relatively increased responsibility degree side of the vehicle that occur among the other vehicle is considered.
また、請求項５に記載の発明のように、前記危険度算出部により算出される危険度が予め定められた閾値以上となっている状態で前記自車両における運転操作に変化がない状態が続いている場合には、自車両にも危険回避責任があるにも拘らず危険回避操作を怠っているという点に基づき、前記自車両の責任度合いを相対的に増大させるルールが考えられる。 It is preferable as defined in claim 5, wherein the state risk being calculated there is no change in the driving operation of the vehicle in a state in which a predetermined threshold value or more by the risk calculation unit subsequently If it has, based on the sense that failure to danger avoidance operation despite even the risk avoidance responsible vehicle, the rule for relatively increasing the responsibility degree of the vehicle is considered.
また、請求項６に記載の発明のように、前記危険度が減少している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両は、危険回避操作を行ったものと考えられる点に基づき、運転操作に変化が発生した側の車両の責任度合いを相対的に減少させるルールが考えられる。 It is preferable as defined in claim 6, a period in which the risk is reduced, the side of the vehicle changes the driving operation has occurred among the vehicle and the other vehicles, having been subjected to the danger avoidance operation based on the points considered, the rule for relatively reducing is considered responsible degree side of the vehicle which change occurs in the driving operation.
また、請求項７に記載の発明のように、前記危険度算出部により算出される危険度が予め定められた閾値以上となっているとき、走行速度が大きい側の車両の方が、該危険状況の主な要因となっている可能性が高い点に基づき、走行速度が大きい側の車両の責任度合いを相対的に増大させるルールが考えられる。 It is preferable as defined in claim 7, wherein when the degree of risk calculated by the risk calculation unit is equal to or greater than a predetermined threshold, the direction of travel speed is high side of the vehicle, the risk based on the points are likely to be a major cause of situations, rules to be relatively increased is considered responsible degree of the traveling speed is high side of the vehicle.
請求項８に記載の発明は、請求項１乃至７のいずれかに記載の運転状況監視装置において、自車両における運転操作に予め定められた閾値を超える変化が発生したときに、トリガ信号を出力するトリガ信号出力部を備え、前記責任度合い算出部は、前記トリガ信号出力部からトリガ信号が出力されると、その出力時点を含む一定期間に前記第１及び第２の撮像部から得られた画像に基づき、前記責任度合いを算出するものである。 The invention according to claim 8, in the operating condition monitoring apparatus according to any one of claims 1 to 7, when a change exceeding a predetermined threshold in driving operation in the vehicle has occurred, outputs a trigger signal comprising a trigger signal output section for, the responsibility degree calculation unit, a trigger signal is outputted from the trigger signal output section, obtained from the first and second image pickup unit in a predetermined period including the output time point based on the image, and calculates the responsibility degree.
この発明によれば、トリガ信号の出力時点を含む一定期間に前記第１及び第２の撮像部から得られた画像に基づいて前記責任度合いを算出するようにしたので、前記責任度合いの算出に重要な画像（責任度合いに大きな影響を与える画像）のみを、責任度合いの算出に利用することになる。 According to the present invention, since to calculate the responsibility degree based on the first and second images obtained from the imaging unit in a predetermined period including the output time point of the trigger signal, the calculation of the responsibility degree the only important image (image a significant impact on the responsibility degree), will be used in the calculation of the responsibility degree. これにより、前記第１及び第２の撮像部から得られた全ての画像に基づいて前記責任度合いを算出する場合に比して、利用対象の画像の数や容量を低減することができ、延いては、前記責任度合いの算出に要するコストを低減することができる。 Accordingly, the compared with the case of calculating the responsibilities degree based on all of the images obtained from the first and second imaging portion, it is possible to reduce the number and capacity of the utilization object image, extending information, it is possible to reduce the cost required for calculating the responsibility degree.
請求項９に記載の発明は、請求項１乃至８のいずれかに記載の運転状況監視装置において、前記責任度合い算出部により算出された責任度合いを、前記第１及び第２の撮像部の撮像動作により得られた画像とともに保存する画像保存部を更に備えるものである。 The invention described in claim 9, in the driving condition monitoring apparatus according to any one of claims 1 to 8, the responsibility degree calculated by the liability degree calculation section, the first and second imaging of the imaging unit in which further comprising an image storage unit for storing with the image obtained by the operation.
この発明によれば、自車両及び他車両の走行状況等の画像を確認することができる。 According to the invention, it is possible to confirm the image, such as a traveling condition of the vehicle and the other vehicle.
請求項１０に記載の発明は、請求項１乃至８のいずれかに記載の運転状況監視装置において、前記第１及び第２の撮像部の撮像動作により得られた画像を保存するための画像保存部と、前記責任度合い算出部により算出された責任度合いに応じて、前記第１及び第２の撮像部の撮像動作により得られた画像の前記画像保存部に対する記録制御を行う記録制御部とを更に備えるものである。 Invention according to claim 10, in the operating condition monitoring apparatus according to any one of claims 1 to 8, image storage for storing the image obtained by the imaging operation of the first and second imaging section and parts, in accordance with the calculated liability degree by the responsible degree calculation unit, and a recording control unit that performs recording control for the image storage unit of the image obtained by the imaging operation of the first and second imaging section in which further comprises.
この発明によれば、例えば前記責任度合いに応じて前記画像の記録制御を行うようにしたので、例えば、自車両の責任度合いと他車両の責任度合いとが同等の場合には、画像保存部に画像を記録せず、自車両及び他車両のいずれか一方の責任度合いが相対的に大きい場合に、画像保存部に画像を記録するという記録制御が可能となる。 According to the present invention, for example, because to perform the recording control of the image in accordance with the responsibility degree, for example, in the case responsibility degree of the own vehicle and the responsibility degree of the other vehicle is equivalent, the image storage unit without recording the image, if one of the responsibilities degree either vehicle and the other vehicle is relatively large, the image becomes possible to record the control that is recorded to the image storage unit. このように、前記責任度合いに応じて画像の記録の有無などを制御することにより、責任度合いの大きさに関係なく全ての画像を画像保存部に保存する場合に比して、当該運転状況監視装置に搭載すべき画像保存部を記憶容量の小さいものにすることが可能となる。 Thus, by controlling the presence or absence of the recording of the image in accordance with the responsibility degree, as compared with the case of storing all of the image regardless of the size of the liability degree in the image storage unit, the operating condition monitoring it is possible to the image storage unit to be mounted on a device having a small storage capacity.
本発明によれば、前記自車両と前記他車両との関係における危険状況についての各車両の責任の重さをユーザ等に認識させることが可能となるため、運転教育に効果的な装置を実現することができる。 According to the present invention, since the it is possible to recognize the weight the user or the like of the responsibility of each vehicle for dangerous situation in relation to the other vehicle and the own vehicle, achieve effective device operation education can do.
本発明に係る運転状況監視装置の１実施形態の全体構成図である。 It is an overall configuration diagram of an embodiment of a driving situation monitoring apparatus according to the present invention. 運転状況監視装置の機能ブロック図である。 It is a functional block diagram of a driving condition monitoring apparatus. ステレオカメラの設置箇所の一例を示した図である。 Is a diagram showing an example of an installation position of the stereo camera. ステレオカメラの概略構成を示す図である。 It is a diagram showing a schematic configuration of a stereo camera. 第１記憶部のバッファ領域の構造を示す図である。 It is a diagram showing a structure of a buffer area in the first storage unit. 第２記憶部への画像の複製処理の説明図である。 It is an explanatory view of a process of copying the image to the second storage unit. （ａ）は、或るタイミングで撮像された基準画像の一例を示す図、（ｂ）は、（ａ）に示す基準画像と同一のタイミングで撮像された参照画像を示す図である。 (A) is a diagram showing an example of the captured reference image at a certain timing, (b) are diagrams showing a reference image captured at the same timing as the reference image shown in (a). 路面に対するステレオカメラの配置を説明する図である。 It illustrates the arrangement of the stereo cameras relative to the road surface. 路面パラメータの推定方法の説明図である。 It is an explanatory view of a method of estimating the road surface parameters. 車間距離算出部が注目点を路面に投影した結果を示す図である。 Is a diagram illustrating a result of inter-vehicle distance calculating section obtained by projecting the point of interest on the road. 図１０に示した投影点Ｑから、車間距離算出部が投影点Ｑの集合を選択した結果を示す図である。 From the projection point Q shown in FIG. 10 is a diagram illustrating the results of inter-vehicle distance calculating section selects a set of projected points Q. 図１１に示した他車両範囲から車間距離算出部が他車両領域を特定した結果を示す図である。 Vehicle distance calculating section from another vehicle range shown in FIG. 11 is a graph showing the results of identifying the other vehicle area. ３次元オプティカルフローの算出処理の説明図である。 It is an explanatory view of a process of calculating three-dimensional optical flow. （ａ）、（ｂ）は、視差の２乗値（ｄ ２ ）と２次元動きベクトルの垂直成分（Δｙ）とをそれぞれ座標軸とする２次元座標を示している。 (A), showing an (b) a two-dimensional coordinate to square value (d 2) and vertical component ([Delta] y) and the coordinate axes of the two-dimensional motion vectors of the disparity. 自車両のパン方向の角速度の算出方法を説明するための図である。 It is a diagram for explaining a method of calculating the angular velocity of the pan direction of the vehicle. 到達時間と危険度との関係の一例を示す図である。 Is a diagram showing an example of the relationship between arrival time and risk. 演算装置の動作を示すフローチャートである。 Is a flowchart showing the operation of the arithmetic unit. 図１７の運転状況解析処理を示すフローチャートである。 It is a flowchart showing a driving situation analysis process of FIG. 17. 或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況の例を、路面の上方から見た図である。 An example of running conditions of other vehicle which is captured by the stereo camera 2 at a certain time t and the next imaging timing (t + Δt), which is a view seen from above the road surface. 或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況を路面の上方から見た図である。 In a certain time t and the next imaging timing (t + Delta] t) the traveling condition of the other vehicle that is captured by the stereo camera 2 is a view seen from above the road surface. 或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況を路面の上方から見た図である。 In a certain time t and the next imaging timing (t + Delta] t) the traveling condition of the other vehicle that is captured by the stereo camera 2 is a view seen from above the road surface. 或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況を路面の上方から見た図である。 In a certain time t and the next imaging timing (t + Delta] t) the traveling condition of the other vehicle that is captured by the stereo camera 2 is a view seen from above the road surface. 図１９に自車両の絶対動きの表記を追加した図である。 Figure 19 is a diagram obtained by adding a representation of the absolute motion of the vehicle. 図２３に他車両Ｘ，Ｙの絶対動きの表記を追加した図である。 Other vehicle X in FIG. 23 is a diagram obtained by adding a representation of the absolute motion of the Y. 図２１に自車両の絶対動きの表記を追加した図である。 Figure 21 is a diagram obtained by adding a representation of the absolute motion of the vehicle. 図２５に他車両Ｘ，Ｙの絶対動きの表記を追加した図である。 Other vehicle X in FIG. 25 is a diagram obtained by adding a representation of the absolute motion of the Y. 自車両及び他車両の動きと危険度とルール１〜４にしたがって算出される他車両の責任度合いの変化の一例を示すグラフである。 Is a graph showing an example of a change in responsibility degree of the other vehicle that is calculated in accordance with the movement and risk and Rules 1-4 of the vehicle and the other vehicle. 自車両及び他車両の動きと危険度とルール１〜４にしたがって算出される他車両の責任度合いの変化の一例を示すグラフである。 Is a graph showing an example of a change in responsibility degree of the other vehicle that is calculated in accordance with the movement and risk and Rules 1-4 of the vehicle and the other vehicle.
本発明に係る運転状況監視装置の実施形態について説明する。 Described embodiment driving situation monitoring apparatus according to the present invention. 図１は、本発明に係る運転状況監視装置の１実施形態の全体構成図、図２は、運転状況監視装置１の機能ブロック図である。 Figure 1 is a general block diagram of one embodiment of a driving situation monitoring apparatus according to the present invention, FIG. 2 is a functional block diagram of a driving condition monitoring apparatus 1.
運転状況監視装置１は、自動車や２輪車等の車両に搭載されるものである。 Operating condition monitoring apparatus 1 is intended to be mounted on a vehicle such as an automobile and two-wheeled vehicles. 以下の説明では、当該運転状況監視装置１が搭載された車両を「自車両」というものとする。 In the following description, the vehicle in which the driving condition monitoring apparatus 1 is mounted will be referred to "the vehicle". 運転状況監視装置１は、ステレオカメラ２と、例えばＣＰＵ、ＲＯＭ、ＲＡＭ等を備えるハードウエアにより構成された演算装置３とを備えて成り、ステレオカメラ２と演算装置３とは互いに通信可能に構成されている。 Operating condition monitoring apparatus 1 includes a stereo camera 2, for example, a CPU, ROM, made an arithmetic unit 3 constituted by hardware including a RAM or the like, capable of communicating with each other and the stereo camera 2 and the arithmetic device 3 It is.
図３は、ステレオカメラ２の設置箇所の一例を示した図である。 Figure 3 is a diagram showing an example of an installation position of the stereo camera 2. ステレオカメラ２は、例えば図３（ａ），（ｂ）に示すように、自動車のルーフのうちフロントガラス側の部位において、前方に傾けて取り付けられている。 Stereo camera 2, for example, as shown in FIG. 3 (a), (b), at the site of the windshield side of the roof of the automobile, is attached to be inclined forward. 但し、これは一例であり、ステレオカメラ２は、自動車の前方に光軸が向く位置であればどのような位置に取り付けられてもよい。 However, this is only an example, the stereo camera 2 may be attached to any position as long as the position facing the optical axis in front of the motor vehicle.
図４は、ステレオカメラ２の概略構成を示す図である。 Figure 4 is a diagram showing a schematic configuration of the stereo camera 2. 図４に示すように、ステレオカメラ２は、複数の画素がマトリックス状に配列されてなるＣＣＤ等の撮像素子と、各撮像素子に光像を導く光学系とをそれぞれ備えた一対のカメラ１１，１２（前記第１及び第２の撮影部の一例）を備えて構成されている。 As shown in FIG. 4, the stereo camera 2, a pair of cameras 11 having an imaging element such as a CCD having a plurality of pixels arranged in a matrix, and an optical system for guiding an optical image to the imaging elements respectively, and it is configured to include 12 (an example of the first and second imaging section).
カメラ１１，１２は、その光軸が予め定められた間隔（基線長Ｌ）を介して互いに平行となるように設置され、それぞれ同一時刻に撮影動作が実施されるように撮影タイミングの同期が図られつつ、所定のフレームレートΔｔで自車両の前方のシーンを撮影する。 The camera 11 and 12, the optical axis is disposed so as to be parallel to each other through a predetermined distance (base length L), synchronization diagram of the imaging timing so that each shooting operation at the same time is carried out It is while photographs the front of the scene of the vehicle at a predetermined frame rate Delta] t. カメラ１１，１２は、撮影動作により得た画像を演算装置４に出力する。 Cameras 11 and 12 outputs an image obtained by the photographing operation in the arithmetic unit 4. なお、以下の説明においては、カメラ１１，１２の撮影範囲に存在する車両を「他車両」というものとする。 In the following description, the vehicle existing in the imaging range of the camera 11, 12 will be referred to "other vehicles".
前記光学系の焦点距離及び前記撮像素子の撮像面の大きさは、カメラ１１とカメラ１２とで同一となっているため、カメラ１１の画角とカメラ１２の画角とは同一である。 The size of the imaging surface of the focal distance and the image pickup element of the optical system, since that is the same between the camera 11 and the camera 12, the angle of the view angle and the camera 12 of the camera 11 is the same. また、カメラ１１，１２は、例えば０（黒）〜２５５（白）の２５６階調値を有するデジタルの画像をそれぞれ出力する。 The camera 11 outputs, for example, each digital image having 256 gradation values ​​of 0 (black) to 255 (white). 以下、カメラ１１，１２のうち一方のカメラ１１により撮影された画像を基準画像、他方のカメラ１２により撮影された画像を参照画像と称するとともに、前記参照画像及び基準画像を総称して撮影画像という。 Hereinafter, one of the camera 11 the reference image an image taken by one of the cameras 11 and 12, together referred to as the reference image an image captured by the other camera 12, that the photographed image are collectively the reference image and the reference image .
図１，図２に戻り、演算装置３は、カメラ１１，１２から順次出力される画像に対して以下に説明する各種の画像処理を施し、自車両及び他車両の動きを解析して後述する責任度合いの算出等を行うものであり、第１記憶部３１、トリガ発生部３２、第２記憶部３３、運転状況解析部３４、データ保存部３５及び無線通信部３６を有する。 Figure 1, back to FIG. 2, the arithmetic unit 3 performs various kinds of image processing to be described below with respect to images sequentially output from the cameras 11 and 12, described later analyzes the movement of the vehicle and the other vehicle It is intended for calculating such responsibility degree, having first storage unit 31, the trigger generation section 32, the second storage unit 33, operating status analyzing unit 34, a data storage unit 35 and the wireless communication unit 36.
第１記憶部３１は、カメラ１１，１２で一定時間Ｔ（例えば１分）の間に撮影される画像の容量分のバッファを有する。 The first storage unit 31 has a capacity of a buffer of an image to be captured during a predetermined time T in cameras 11 and 12 (e.g., 1 minute). 図５は、第１記憶部３１のバッファ領域の構造を示す図である。 Figure 5 is a diagram showing a structure of a buffer area in the first storage unit 31. 第１記憶部３１は、例えば、直線状に配置されたバッファの両端が論理的に繋げられることにより論理的にリング状に配置されたリングバッファ構造を有する記憶部であり、記憶領域が画像で満杯になると、古い画像を記憶している記憶領域から順に新しい画像を上書き方式で記憶する。 The first storage unit 31 is, for example, a storage unit having a ring buffer structure disposed logically ring by the ends of buffers arranged in a straight line is linked logically, the storage area in the image becomes full, stores overwrite scheme by new image from the storage area storing the old image.
図５に示すブロックのうち、上段のブロック列は、カメラ１１の撮影動作で得られた基準画像を記憶するバッファの列を示し、下段のブロック列は、カメラ１２の撮影動作で得られた参照画像を記憶するバッファの列を示している。 Of the blocks shown in FIG. 5, the reference upper block column shows a row of buffer for storing a reference image obtained by the photographing operation of the camera 11, and the lower block row is obtained by photographing operation of the camera 12 It shows the sequence of the buffer for storing the image. また、図５において各ブロックに向かう太い矢印は、各バッファに画像が記憶されることを示したものであり、この太い矢印の間隙に表記された細い矢印は、各バッファに画像が記憶される順番を示したものである。 Further, the thick arrow directed to the respective blocks in FIG. 5, which shows that the image is stored in the buffer, the thick arrows of thin arrows, labeled a gap, the image is stored in the buffer It shows the order. 以上の構成により、第１記憶部３１は、常に、現在の時点から前記一定時間Ｔだけ過去の時点までの撮影画像を保持する。 With the above arrangement, the first storage unit 31 always holds the captured image from the current time point to a past time point by the predetermined time T.
トリガ発生部３２は、例えば自車両の前進方向や旋回方向の加速度を検出する加速度センサ（いずれも図示せず）等を含んで構成されており、例えば急ブレーキや急ハンドルを行ったときなど、危険を回避する運転操作が行われた瞬間の加速度が予め定められた値を超えた場合に、運転状況解析部３４による処理の開始の契機となるトリガ信号を出力する。 Trigger generating unit 32, for example, an acceleration sensor for detecting acceleration in the forward direction and the turning direction of the vehicle is configured to include a (neither shown) or the like, for example, when performing sudden braking or sudden steering wheel, If the acceleration at the moment when the driving operation is performed to avoid the risk exceeds a predetermined value, and outputs a trigger signal that triggers the start of the process by the operating condition analyzing unit 34.
第２記憶部３３は、前記トリガ発生部３２から前記トリガ信号が出力されたときに、例えば前記トリガ発生部３２によるトリガ信号の出力タイミングを含む一定期間内に生成された撮影画像を、第１記憶部３１から複製して記憶するものである。 The second storage unit 33, when the trigger signal from the trigger generating unit 32 is output, for example, a captured image generated within a predetermined period including the output timing of the trigger signal by the trigger generating unit 32, the first it is for storing replicating from the storage unit 31. すなわち、図６に示すように、矢印Ａのタイミングで前記トリガ発生部３２から前記トリガ信号が出力されたものとすると、第２記憶部３３は、前記トリガ信号の出力タイミングより所定時間ｔ１だけ前のタイミングから、前記出力タイミングより所定時間ｔ２だけ後のタイミングまでの期間に生成された撮影画像を第１記憶部３１から複製して記憶する。 That is, as shown in FIG. 6, assuming that the trigger signal from the trigger generating unit 32 at the timing of the arrow A is output, the second storage unit 33, before a predetermined time t1 from the output timing of the trigger signal from timing, and stores the captured images generated in a period from the timing later than the output timing by a predetermined time t2 by duplicating the first storage unit 31.
なお、第２記憶部３３が撮影画像を第１記憶部３１から複製して記憶する処理は、前記トリガ信号の出力タイミングから前記所定時間ｔ２経過時点以降、好ましくは前記所定時間ｔ２経過時点で実施される。 The process of the second storage unit 33 replicates and stores the photographed image from the first storage unit 31, the predetermined time t2 has elapsed after the time from the output timing of the trigger signal, preferably carried out at the predetermined time t2 has elapsed It is. また、第２記憶部３３が前記第１記憶部３１から複製して記憶する画像は、「前記トリガ信号の出力タイミングより所定時間ｔ１だけ前のタイミングから、前記出力タイミングより所定時間ｔ２だけ後のタイミングまでの期間に生成された撮影画像」というように時間で定義されるものに限定されず、例えば、「前記トリガ信号の出力タイミングで得られた撮影画像と、それより前に得られたｍ枚の撮影画像と、それより後に得られたｎ枚の撮影画像」のように撮影画像の枚数で定義されてもよい。 The image in which the second storage unit 33 and stores the copied from the first storage unit 31, from "the trigger signal timing before a predetermined time t1 from the output timing of, after the said output timing by a predetermined time t2 not limited to those defined in time so that the period-generated captured image "from the timing, for example, a captured image obtained at the output timing of" the trigger signal, obtained before that m sheets of a photographic image may be defined by the number of photographed images as it n photographed images obtained after the ".
データ保存部３５は、例えばＳＤカードなどの不揮発性記録媒体やハードディスクなどの比較的大きな記憶容量を有する記録媒体からなり、本実施形態では、後述する運転状況解析部３４により解析結果が出力されたときに、この解析結果と前記第２記憶部３３に記憶された撮影画像とを対応付けて記憶するものである。 Data storage unit 35, for example, a recording medium having a relatively large storage capacity such as a nonvolatile recording medium or a hard disk, such as an SD card, in the present embodiment, the analysis result by the operation status analyzing unit 34 to be described later is outputted Occasionally, it is for storing in association with captured image stored the analysis result and the second storage unit 33.
無線通信部３６は、図略の管理センターにおけるコンピュータとの間で無線通信を行うものであり、後述する運転状況解析部３４による解析結果が所定の解析結果となった場合に、その旨を前記コンピュータに無線通信により報知するものである。 The wireless communication unit 36, which performs wireless communication with the computer in the control center not shown, when the analysis result of the operation status analyzing unit 34 to be described later reaches a predetermined analysis results, the the fact it is intended to inform the radio communication to the computer. 前記所定の解析結果については後述する。 It will be described later regarding the specific analysis results.
運転状況解析部３４は、前記第２記憶部３３に記憶された撮影画像（基準画像及び参照画像）を用いて、自車両及び他車両の運転状況（走行状況）を解析するものであり、視差演算部３４１、路面パラメータ推定部３４２、２次元動きベクトル算出部３４３、車間距離算出部３４４、他車両相対動き検出部３４５、自車両動き検出部３４６、他車両絶対動き検出部３４７、危険度算出部３４８及び責任度合い算出部３４９を備えている。 Operating status analyzing unit 34 uses the second storage unit 33 to the stored captured image (standard image and the reference image), which analyzes the driving situation of the vehicle and another vehicle (running condition), the parallax computing unit 341, road surface parameter estimator 342,2 dimensional motion vector calculation unit 343, the inter-vehicle distance calculating section 344, the other vehicle relative motion detector 345, the vehicle motion detecting unit 346, another vehicle absolute motion detection unit 347, calculates risk It has a part 348 and responsibility degree calculation unit 349.
視差演算部３４１は、同一タイミングの撮影動作で得られた基準画像と参照画像との間で、同一被写体の画像がどれだけの距離だけ離間しているかを算出するものである。 Parallax calculation unit 341, with the same timing reference image as a reference image obtained by the photographing operation, and calculates whether the image of the same subject are spaced apart by a distance of how much. すなわち、カメラ１１とカメラ１２とはその光軸の位置が異なるため、同一の被写体であっても、画像に映る該被写体の画像の位置が基準画像と参照画像とで異なる。 That is, the camera 11 and the camera 12 that the position of the optical axis are different, even for the same object, the position of the subject image incident on the image are different between the reference image and the reference image. 視差演算部３４１は、この位置ずれ量を視差として算出する。 Parallax calculation section 341 calculates the positional displacement amount as the parallax.
図７（ａ）は、或るタイミングで撮影された基準画像の一例を示す図、図７（ｂ）は、図７（ａ）に示す基準画像と同一のタイミングで撮像された参照画像を示す図である。 7 (a) is a diagram showing an example of a captured reference image at a certain timing, FIG. 7 (b) shows a reference image captured at the same timing as the reference image shown in FIG. 7 (a) it is a diagram. 図７（ａ），（ｂ）に示す基準画像及び参照画像には、路面１００１、他車両１００２，１００３、遮音壁１００４、中央分離帯１００５及び空１００６が映っている。 FIG. 7 (a), the reference image and the reference image shown in (b) is road surface 1001, other vehicles 1002, 1003, sound insulation wall 1004, center divider 1005 and air 1006 are reflected.
視差演算部３４１は、まず、前記基準画像及び参照画像に対して、それらの中心を原点とする２次元座標系（ｘ−ｙ座標系）を設定するとともに、基準画像に注目点Ｐ１（ｘ１，ｙ１）を設定し、該注目点Ｐ１（ｘ１，ｙ１）に対応する参照画像の点Ｐ２（ｘ２，ｙ２））を探索する。 Parallax calculation section 341, first, with respect to the reference image and the reference image, and sets the two-dimensional coordinate system which their center as the origin (x-y coordinate system), point of interest in the reference image P1 (x1, set y1), point P2 (x2 of the reference image corresponding to the noted point P1 (x1, y1), y2)) to explore. 注目点Ｐ１に対応する参照画像の点Ｐ２とは、注目点Ｐ１における被写体が映っている参照画像上の点を意味し、この注目点Ｐ１（ｘ１，ｙ１）に対応する参照画像の点Ｐ２（ｘ２，ｙ２）を対応点というものとする。 The point P2 of the reference image corresponding to the point of interest P1, means a point on the reference image object in the target point P1 is reflected, the point of the reference image corresponding to the target point P1 (x1, y1) P2 ( x2, y2) will be referred to the corresponding points.
視差演算部３４１は、注目点Ｐ１（ｘ１，ｙ１）と該注目点に対応する対応点Ｐ２（ｘ２，ｙ２）とについて、水平成分同士の差（ｘ１−ｘ２）及び垂直成分同士の差（ｙ１−ｙ２）をそれぞれ求め、例えばそれらの組（ｘ１−ｘ２，ｙ１−ｙ２）を視差ｄとして算出する。 Parallax calculation unit 341, target point P1 (x1, y1) and for a corresponding point P2 (x2, y2) corresponding to the noted point, the difference between the difference (x1-x2) and vertical components together between the horizontal component (y1 calculated -y2) respectively, for example, calculates their set of (x1-x2, y1-y2) as the parallax d. なお、本実施形態の運転状況監視装置１においては、カメラ１１，１２の光軸は同一高さ位置にあるため、前記ｙ座標ｙ１及びｙ座標ｙ２は等しくなり、視差ｄは、 In the operating condition monitoring apparatus 1 of the present embodiment, since the optical axis of the cameras 11 and 12 are at the same height position, the y-coordinate y1 and y-coordinate y2 are equal, the parallax d is
視差演算部３４１は、以上の処理を各タイミングで得られた基準画像及び参照画像の組ごとについて実施する。 Parallax calculation unit 341, the above process is performed for each set of reference images and reference images obtained at each timing. なお、基準画像を構成する全ての画素をそれぞれ注目点として設定してもよいし、或いは、所定の画素間隔で間引いた後の画素をそれぞれ注目点として設定してもよい。 Incidentally, the all pixels constituting the reference image may be set as each attention point, or may be set pixels after thinning at predetermined pixel intervals as respective point of interest. また、対応点の探索処理としては、例えばＰＯＣ（位相限定相関法）やＳＡＤ（sum of absolute differences）等の探索手法を用いた処理が採用可能である。 As the search processing of the corresponding point, for example, treatment with the search method such as POC (Phase-Only Correlation) or SAD (sum of absolute differences) may be employed.
路面パラメータ推定部３４２は、基準画像に映っている路面１００１を認識し、路面１００１に対するステレオカメラ２の高さ位置ｈ及び姿勢（後述するピッチ方向の傾斜角度φ）を推定するものである。 Road parameter estimating section 342 recognizes the road surface 1001 is reflected in the reference image is to estimate the height position h and the orientation of the stereo camera 2 relative to the road surface 1001 (inclination angle φ below pitch direction). 以下、ステレオカメラ２の高さ位置ｈ及び姿勢（ピッチ方向の傾斜角度φ）を路面パラメータという。 Hereinafter, the height position h and the orientation of the stereo camera 2 (inclination angle in the pitch direction phi) of the road surface parameters.
図８は、路面１００１に対するステレオカメラ２の配置を説明する図である。 Figure 8 is a diagram illustrating an arrangement of the stereo camera 2 relative to the road surface 1001. 図８において、Ｙ−Ｚ座標系は道路に固定された座標系であり、Ｚ軸は路面１００１上に存在し、＋Ｚ方向は、道路がカーブすることなく直線状の延びているものとした場合の該道路の延伸方向に対応する。 In FIG. 8, Y-Z coordinate system is a coordinate system fixed to the road, when the Z-axis is present on the road surface 1001, the + Z direction, which is assumed to extend straight without road curves It corresponds to the stretching direction of the road. また、ｙ−ｚ座標系は、ステレオカメラ２の位置を基準（原点）とする座標系であり、ｚ軸はカメラ１１，１２の光軸と平行で、＋ｚ方向は、ステレオカメラ１１の視線方向に対応する。 Moreover, y-z coordinate system is a coordinate system in which the position of the stereo camera 2 as a reference (origin), z-axis parallel to the optical axis of the camera 11, 12, + z direction, the sight line direction of the stereo camera 11 corresponding to. Ｙ−Ｚ座標系の原点はｙ−ｚ座標系の原点の真下に位置するものとする。 Origin of Y-Z coordinate system is assumed to be located directly below the origin of the y-z coordinate system.
ステレオカメラ１１は、ピッチ方向（ＹＺ平面に垂直な軸の周りに回転する方向）であって下方に傾けて設定されており、ステレオカメラ２の視線方向（＋ｚ方向）と道路の延伸方向（＋Ｚ方向）とのなす角度はφであるとする。 Stereo camera 11 is set to be inclined downward to a pitch direction (direction of rotation around an axis perpendicular to the YZ plane), the viewing direction stereo camera 2 (+ z direction) and the extending direction of the road (+ Z angle between direction) is assumed to be phi. また、ステレオカメラ１１のヨー方向（Ｙ軸の周りに回転する方向）及びロール方向（Ｚ軸の周りに回転する方向）の傾きは、実質的に零であるとする。 The slope of the yaw direction (the direction rotated about the Y-axis) and the roll direction of the stereo camera 11 (direction of rotation around the Z-axis) is substantially a zero.
このとき、注目点Ｐ（ｘ，ｙ）と表すものとすると、該注目点Ｐのｙ座標ｙと、ステレオカメラ２の直下に存在するＹ−Ｚ座標系の原点から注目点Ｐに映っている被写体Ａまでの距離Ｄとの関係は、 At this time, assuming that represents a point of interest P (x, y), and y-coordinate y of the noted point P, it is reflected in the attention point P from Y-Z coordinate system origin of existing immediately below the stereo camera 2 relationship between the distance D to the object a is,
但し、α＝ｆ／ｐ＝Ｎ／２θ、ｆはカメラ１１，１２の光学系の焦点距離、ｐは画素ピッチ、Ｎは、カメラ１１，１２の撮像素子のｙ軸方向における画素数、θはカメラ１１，１２のｙ軸方向における画角の半分をそれぞれ示している。 However, α = f / p = N / 2θ, the focal length of the optical system of f the camera 11, 12, p is the pixel pitch, N is the number of pixels in the y-axis direction of the imaging device of the camera 11, 12, theta is respectively show half of the field angle in the y-axis direction of the cameras 11 and 12.
ここで、ｈ／Ｄ、ｙ／αが１に比べて十分小さい場合は、前記式（２）は次式（３）に簡略化することができる。 Here, if h / D, y / α is sufficiently small compared to 1, the formula (2) can be simplified to the following equation (3).
式（３）より、前記距離Ｄは、次式（４）で表される。 From equation (3), said distance D is expressed by the following equation (4).
一方、注目点Ｐ（ｘ，ｙ）における視差ｄと前記距離Ｄの関係は、次式（５）で表される。 On the other hand, the relationship between the distance D between the parallax d at the target point P (x, y) is expressed by the following equation (5).
したがって、前記視差ｄと注目点Ｐのｙ座標ｙとは、式（４）と式（５）とから、以下の関係式（６）で表される関係を有する。 Therefore, the A y-coordinate y of the disparity d and the point of interest P, from Equation (4) and (5), has a relationship expressed by the following equation (6).
ここで、角度φ、基線長Ｌ及びパラメータαは、ステレオカメラ１１の光学特性から予め算出できるため、前記式（６）においては、角度φ、基線長Ｌ及びパラメータαを定数とみることができる。 Here, the angle phi, the base length L and the parameter alpha, since it is calculated in advance from the optical characteristics of the stereo camera 11, the formula is (6), the angle phi, can be seen as a baseline length L and parameters alpha constants . よって、前記式（６）を、視差ｄと注目点Ｐのｙ座標ｙとを変数とする１次関数（直線）とみることができる。 Therefore, the equation (6), can be viewed as a linear function of the y coordinate y of the point of interest P and the disparity d and variable (linear). したがって、ｄ，ｙを変数とするｄ−ｙ座標系を設定し、注目点Ｐのｙ座標ｙと注目点Ｐにおける視差ｄとの複数の組み合わせをプロットすると、各プロット点は、傾斜がＢ／ｈで、ｙ切片が（Ｂ・α・φ）／ｈの直線上に乗るもしくは該直線の近傍に集合するものと考えられる。 Thus, d, when setting the d-y coordinate system with variable y, to plot a plurality of combinations of the parallax d at the target point P and y-coordinate y of the target point P, each plot point, slope B / in h, it is considered to set in the vicinity of the y-intercept (B · α · φ) / h ride on a straight line or straight line.
路面パラメータ推定部３４２は、この点を利用して、路面パラメータを推定する。 Road parameter estimating section 342 uses this regard, to estimate the road surface parameters. すなわち、路面パラメータ推定部３４２は、図９（ａ）に示すように、注目点Ｐのｙ座標ｙと注目点Ｐにおける視差ｄ（注目点Ｐとその対応点との視差）との複数の組み合わせを前記ｄ−ｙ座標系にプロットして、プロット点が集中する直線ｇ１を検出する。 That is, the road parameter estimating section 342, as shown in FIG. 9 (a), a plurality of combinations of the parallax d at the target point P and y-coordinate y of the target point P (parallax of the target point P and its corresponding point) the plotted in the d-y coordinate system, plotted points detects the straight line g1 to concentrate. そして、路面パラメータ推定部３４２は、図９（ｂ）に示すように、その直線ｇ１の傾斜Ｂ／ｈ及びｙ切片（Ｂ・α・φ）／ｈから、路面１００１に対するステレオカメラ２の高さ位置ｈ及びピッチ方向の傾斜角度φを推定的に導き出す。 Then, the road parameter estimating section 342, as shown in FIG. 9 (b), the height of the stereo camera 2 with respect to the inclination B / h and the y-intercept (B · α · φ) / from h, the road surface 1001 of the straight line g1 deriving the inclination angle φ of the position h and the pitch direction putatively.
２次元動きベクトル算出部３４３は、前記注目点にある被写体の画像の移動の態様を示す動きベクトル（以下、２次元動きベクトルという）を算出する。 2D motion vector calculation unit 343, the motion vector indicating the mode of movement of the image of the subject on the point of interest (hereinafter, referred to as two-dimensional motion vectors) is calculated. すなわち、２次元動きベクトル算出部３４３は、カメラ１１により撮影された時系列的に連続する１組の基準画像のうち一方の基準画像に設定した注目点に対応する対応点（注目点における被写体が映っている他方の基準画像上の点）を、前述したＰＯＣやＳＡＤといった探索手法を用いて他方の画像から探索する。 In other words, the two-dimensional motion vector calculation unit 343, an object at the corresponding point (target point corresponding to one target point set in the reference image of a set of reference images successive in time series photographed by the camera 11 the by points on the other reference images) reflected, searches from the other image using a search method such as POC and SAD described above. そして、２次元動きベクトル算出部３４３は、一対の注目点及び対応点を用いて、各注目点の２次元動きベクトルを算出する。 Then, two-dimensional motion vector calculation section 343, using a pair of the target point and the corresponding point, to calculate a two-dimensional motion vector for each target point. ２次元動きベクトルとしては、注目点と対応点との水平成分及び垂直成分同士の位置の差分を採用することができる。 The 2-dimensional motion vectors, it is possible to employ horizontal component and a difference in position between the vertical component of the target point and the corresponding point.
車間距離算出部３４４は、自車両と基準画像及び参照画像に映っている他車両との車間距離を検出するものである。 Vehicle distance calculating section 344 is for detecting the distance to the other vehicle is reflected in the vehicle and the reference image and the reference image. 車間距離算出部３４４は、まず、路面パラメータを用いて基準画像上で注目点Ｐを路面１００１に投影する。 Vehicle distance calculating section 344, first, a target point P is projected on the road surface 1001 on the reference image by using the road parameters. すなわち、車間距離算出部３４４は、注目点Ｐに対応する３次元実空間上の点をステレオカメラ２から路面１００１に投影した３次元実空間上の点に対応する基準画像上の点（投影点）Ｑに注目点Ｐを投影する。 That is, inter-vehicle distance calculating section 344, a point on the reference image corresponding to a point a point in the three-dimensional real space corresponding to the attention point P from the stereo camera 2 in the three-dimensional real space obtained by projecting the road surface 1001 (projected point ) to project the attention point P to Q.
ここで、注目点Ｐに映っている三次元実空間上の点の路面１００１からの高さＨが下記式（７）で表される。 Here, the height H from the road surface 1001 of points on the three-dimensional real space is reflected in the attention point P is represented by the following formula (7).
したがって、投影点Ｑのｙ座標ｙ Ｐは、式（７）においてＨ＝０，ｙ＝ｙ Ｐとした式（８）で表される。 Thus, y-coordinate y P of the projected point Q is represented by the formula (8) in which the H = 0, y = y P in equation (7).
図１０は、車間距離算出部３４４が注目点Ｐを路面１００１に投影した結果を示す図である。 Figure 10 is a diagram showing a result of inter-vehicle distance calculating section 344 by projecting the point of interest P in the road surface 1001. 図１０には、他車両１００２に由来する投影点Ｑの集合１０１２、他車両１００３に由来する投影点Ｑの集合１０１３、遮音壁１００４に由来する投影点Ｑの集合１０１４、中央分離帯１００５に由来する投影点Ｑの集合１０１５が示されている。 Figure 10 is a set of projection points Q from other vehicles 1002 1012, a set 1013 of the projected point Q from other vehicles 1003, a set 1014 of the projected point Q derived from the sound insulating wall 1004, derived from the median strip 1005 set 1015 of the projected point Q is shown.
次に、車間距離算出部３４４は、このようにして得られた複数の投影点Ｑから特定の分布を有する投影点Ｑの集合を選択し、特定の分布を有する投影点Ｑの集合が存在する範囲を、他車両が存在する範囲（以下、他車両範囲という）として特定する。 Next, the inter-vehicle distance calculating section 344 selects the set of projection points Q with a certain distribution from a plurality of projection points Q obtained in this way, there is a set of projection points Q with a particular distribution the range, within range of another vehicle is present (hereinafter, referred to as other vehicle range) is identified as. すなわち、車間距離算出部３４４は、検出すべき他車両に由来する投影点Ｑの集合が有していると予想される分布を有する投影点Ｑの集合、例えば、特定の長さ、傾き又は形状を有する線素を構成する投影点Ｑの集合を選択する。 That is, the set of projection points Q of the inter-vehicle distance calculating section 344 includes a distribution set of projection points Q from other vehicles to be detected is expected to have, for example, a particular length, the slope or shape to configure the line element having to select a set of projection points Q. ここで、線素を構成する投影点Ｑの集合の抽出は、（１）ハフ変換による直線パラメータの推定、（２）推定された直線パラメータで表される直線の近傍の投影点のグループ化の２つの段階を経て行うことができる。 Here, the extraction of the set of projection points Q constituting the linear element (1) Estimation of the linear parameters by Hough transform, (2) a group of projection point in the vicinity of the straight line expressed by the estimated linear parameter it can be performed in two steps.
図１１は、図１０に示した投影点Ｑから、車間距離算出部３４４が投影点Ｑの集合１０１２，１０１３を選択した結果を示す図である。 11, the projection point Q shown in FIG. 10 is a diagram illustrating the results of inter-vehicle distance calculation unit 344 selects a set 1012 and 1013 of the projected point Q. 図１１には、前述の条件を満たす線素を構成する他車両１００２に由来する投影点Ｑの集合１０１２、他車両１００３に由来する投影点Ｑの集合１０１３のみが選択され、前述の条件を満たさない、線素を構成する遮音壁１００４に由来する投影点Ｑの集合１０１４や、中央分離帯１００５に由来する投影点Ｑの集合１０１５は選択されないことを示している。 11 is selected only the set 1013 of the projected point Q derived from the set 1012, the other vehicle 1003 of the projected point Q from other vehicles 1002 constituting a satisfying lines containing the aforementioned, satisfy the conditions described above no set 1014 and projection points Q derived from the sound insulating wall 1004 constituting the linear element, the set 1015 of the projected point Q derived from the median strip 1005 indicates that it is not selected.
車間距離算出部３４４は、前記他車両範囲であって、路面１００１からの高さＨがＨ１ｍｍ＜Ｈ＜Ｈ２ｍｍ（Ｈ１は例えば３０ｍｍ，Ｈ２は例えば１５００ｍｍ）となる基準画像上の領域を検出すべき他車両が映っている他車両領域として特定する。 Vehicle distance calculating unit 344 is the above another vehicle range, the height H from the road surface 1001 H1mm <H <H2mm (H1, for example 30 mm, H2 is e.g. 1500 mm) to be detected area in the reference image as a identifying as another vehicle area that the other vehicle is reflected.
図１２は、図１１に示した他車両範囲から車間距離算出部３４４が他車両領域１０２２，１０２３を特定した結果を示す図である。 Figure 12 is a diagram showing a result of inter-vehicle distance calculation unit 344 identifies the other vehicle area 1022 from another vehicle range shown in FIG. 11. 図１２には、衝突の可能性がある他車両が映っている範囲がハッチングで示される他車両領域１０２２，１０２３として特定されたことが示されている。 FIG. 12, it is shown that the range of other vehicles where there is potential for conflict is reflected is identified as another vehicle area 1022 indicated by hatching.
車間距離算出部３４４は、他車両領域１０２２，１０２３の内にある注目点での視差から他車両領域１０２２，１０２３に映っている他車両までの距離（車間距離）Ｄを式（９）にしたがって検出する。 Vehicle distance calculating section 344, a distance (inter-vehicle distance) D to other vehicles from the parallax at the attention point is reflected in the other vehicle area 1022 at the inside of the other vehicle areas 1022, 1023 in accordance with Equation (9) To detect.
他車両相対動き検出部３４５は、自車両に対する他車両の相対的な動きを検出するものである。 Other vehicle relative motion detector 345 is for detecting the relative movement of the other vehicle with respect to the vehicle. 他車両相対動き検出部３４５は、まず、自車両の周囲の各位置における３次元実空間上での位置情報（Ｘ，Ｙ，Ｚ）を、前記車間距離Ｄ、カメラ１１，１２の光学系の焦点距離ｆ、基線長Ｌ及び視差ｄを用いて例えば以下の式より算出する。 Other vehicle relative motion detecting unit 345, first, the position information in a three-dimensional real space at each position around the vehicle (X, Y, Z) and the optical system of the inter-vehicle distance D, cameras 11 and 12 focal length f, is calculated from, for example, the following formula using a base line length L and disparity d.
Ｘ＝ｘ・Ｄ／ｆ X = x · D / f
Ｙ＝ｙ・Ｄ／ｆ Y = y · D / f
Ｚ＝ｆ・Ｌ／ｄ Z = f · L / d
但し、ｘ、ｙは注目点の画像上での座標を示す。 However, x, y denotes a coordinate on the image of the target point.
次に、他車両相対動き検出部３４５は、前記位置情報（Ｘ，Ｙ，Ｚ）と、２次元動きベクトル算出部３４３により算出された各注目点の２次元動きベクトルとに基づき、各注目点の３次元オプティカルフローを算出する。 Next, another vehicle relative motion detecting unit 345, the position information (X, Y, Z) and, based on the two-dimensional motion vector for each target point calculated by the two-dimensional motion vector calculation unit 343, the point of interest to calculate the three-dimensional optical flow. 図１３は、３次元オプティカルフローの算出処理の説明図である。 Figure 13 is an explanatory view of a process of calculating three-dimensional optical flow. これは時刻（ｔ−１）のタイミングで撮影された画像Ｉ（ｔ−１）上の注目点（ｘ ｔ−１ ，ｙ ｔ−１ ）が、時刻ｔのタイミングで撮影された画像Ｉ（ｔ）上のどこかの位置（ｘ ｔ ，ｙ ｔ ）に移動していることを示している。 This time (t-1) image I (t-1) taken at the timing of the point of interest (x t-1, y t -1) is the image I (t taken at time t ) some position on the (x t, shows that moving the y t).
一方、注目点（ｘ ｔ−１ ，ｙ ｔ−１ ）と対応点（ｘ ｔ ，ｙ ｔ ）との３次元実空間における位置情報（Ｘ ｔ−１ ，Ｙ ｔ−１ ，Ｚ ｔ−１ ）、（Ｘ ｔ ，Ｙ ｔ ，Ｚ ｔ ）は、位置情報から特定することができる。 On the other hand, target point (x t-1, y t -1) and the corresponding points (x t, y t) position information in three-dimensional real space and (X t-1, Y t -1, Z t-1) , (X t, Y t, Z t) can be specified from the positional information. したがって、対応点（ｘ ｔ ，ｙ ｔ ）の位置情報（Ｘ ｔ ，Ｙ ｔ ，Ｚ ｔ ）と注目点（ｘ ｔ−１ ，ｙ ｔ−１ ）の位置情報（Ｘ ｔ−１ ，Ｙ ｔ−１ ，Ｚ ｔ−１ ）との差分ベクトル（Ｘ ｔ −Ｘ ｔ−１ ，Ｙ ｔ −Ｙ ｔ−１ ，Ｚ ｔ −Ｚ ｔ−１ ）を求めることで、３次元オプティカルフロー（ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ）を算出することができる。 Therefore, the corresponding points (x t, y t) the position information of the (X t, Y t, Z t) and the position information of the target point (x t-1, y t -1) (X t-1, Y t- 1, Z t-1) difference vector between the (X t -X t-1, Y t -Y t-1, Z t -Z t-1) by obtaining the three-dimensional optical flow (OFXt, OFYt, OFZt) can be calculated. このように、３次元オプティカルフローＯＦ３は自車両の絶対速度と他車両の絶対速度との合成ベクトルによって表される。 Thus, three-dimensional optical flow OF3 is represented by a composite vector of the absolute velocity of the absolute speed and other vehicles of the vehicle.
３次元オプティカルフローＯＦ３は、時刻（ｔ−１）のフレームにおける注目点と時刻ｔのフレームにおける対応点との３次元実空間上での位置情報の差分ベクトル（Ｘ ｔ −Ｘ ｔ−１ ，Ｙ ｔ −Ｙ ｔ−１ ，Ｚ ｔ −Ｚ ｔ−１ ＝ＯＦＸｔ，ＯＦＹｔ，ＯＦＺｔ＝ＯＦ３）、すなわち３次元ベクトルにより表されるため、注目点の１フレーム間での移動距離、すなわち、注目点の１フレームあたりの速度を表すことになる。 3D Optical Flow OF3, the time (t-1) the difference vector (X t of the positional information in the three-dimensional real space with the corresponding points in the frame of the target point and time t in the frame of -X t-1, Y t -Y t-1, Z t -Z t-1 = OFXt, OFYt, OFZt = OF3), namely, represented by three-dimensional vector, the moving distance between one frame of the target point, i.e., point of interest It would represent a rate per frame.
自車両動き検出部３４６は、自車両の前進速度及びパン方向の角速度を自車両の絶対的な動き（以下、自車両の絶対動きという；前記自車両の移動ベクトルに相当）として算出する。 Vehicle motion detection unit 346, an absolute movement of the forward speed and the pan direction angular speed of the vehicle the vehicle; calculated as (hereinafter, referred to as the absolute motion of the vehicle corresponding to the movement vector of the vehicle). 具体的には、以下のような処理が実行される。 Specifically, the following processing is executed. 自車両動き検出部３４６は、まず、各注目点に対する視差の２乗と２次元動きベクトルの垂直成分とを求める。 Vehicle motion detector 346 first determines the vertical component of the square and the two-dimensional motion vectors of parallax for each point of interest. 次に、自車両動き検出部３４６は、視差の２乗と２次元動きベクトルの垂直成分とを座標軸とする２次元座標空間に各注目点をプロットする。 Next, the vehicle motion detecting unit 346 plots the respective target points to the square and the two-dimensional coordinate space whose coordinate axes and a vertical component of the two-dimensional motion vectors of the disparity.
図１４（ａ）、（ｂ）は、視差の２乗値（ｄ ２ ）と２次元動きベクトルの垂直成分（Δｙ）とをそれぞれ座標軸とする２次元座標を示している。 Figure 14 (a), (b) shows a two-dimensional coordinate to square value (d 2) and vertical component ([Delta] y) and the coordinate axes of the two-dimensional motion vectors of the disparity. 図１４に示すグラフにおいて、縦軸は２次元動きベクトルの垂直成分（Δｙ）を示し、横軸は視差の２乗値（ｄ ２ ）を示している。 In the graph shown in FIG. 14, the vertical axis represents the vertical component of the two-dimensional motion vector ([Delta] y), the horizontal axis represents the square value (d 2) of the parallax. 図１４（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。 As shown in FIG. 14 (a), it can be seen that each point of interest is plotted in the two-dimensional coordinate space.
次に、自車両動き検出部３４６は、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線ｇ２を算出する。 Next, the vehicle motion detecting unit 346, the minimum square method, using a linear method for calculating Hough transform or the like, calculates a straight line g2 drawn by the points plotted. そして、自車両動き検出部３４６は、直線ｇ２の傾き及び切片を求め、得られた傾きから前進速度を算出する。 Then, the vehicle motion detecting unit 346 obtains a slope and intercept of the straight line g2, to calculate the forward velocity from the slope obtained. ここで、視差の２乗（ｄ ２ ）と、２次元動きベクトルの垂直成分（Δｙ）とは式（１０）の関係を有することを本発明者は発見した。 Here, the square of parallax and (d 2), the vertical component of the two-dimensional motion vector ([Delta] y) was found present inventors to have a relation of Equation (10).
但し、ｖは自車両の前進速度を示し、Δｔはフレーム周期を示し、ωはピッチ方向の角速度を示している。 However, v represents the forward speed of the vehicle, Delta] t represents the frame period, omega represents the angular velocity in the pitch direction. Δｔは定数である。 Δt is a constant. すなわち、式（１０）は、図１４（ｂ）に示すように、Δｙ、ｄ２を変数とし、（１／α）・（ｖ・Δｔ／１）・（ｈ／Ｂ２）を傾きとし、−α・ω・Δｔを切片とした場合の直線ｇ２を表している。 That is, Equation (10), as shown in FIG. 14 (b), [Delta] y, and variable d2, and inclination (1 / α) · (v · Δt / 1) · (h / B2), -α a · ω · Δt represents a straight line g2 in the case of the sections.
したがって、直線ｇ２の傾きと切片とを求め、定数α，Ｂ，Δｔを用いることで、ｈ・ｖとを算出することができる。 Therefore, seeking a slope and intercept of the straight line g2, constant alpha, B, by using a Delta] t, it can be calculated and h · v.
また、自車両動き検出部３４６は、２次元動きベクトルの水平成分、前進速度、視差、及び注目点の水平成分を基に得られる第１の座標値と、前進速度及び視差を基に得られる第２の座標値とにより規定される２次元座標空間上に各注目点をプロットすることで、撮影画像に含まれる道路面上に位置する注目点群を表す直線を求め、当該直線の傾きを基に自車両のパン方向の角速度を算出する。 Further, the vehicle motion detecting unit 346, the horizontal component of the two-dimensional motion vectors are obtained based on the forward speed, the first coordinate values ​​obtained based on the disparity, and the horizontal component of the target point, the forward speed and disparity by plotting each point of interest in a two-dimensional coordinate space defined by a second coordinate values, obtains a straight line representing the target point unit located on the road surface included in the captured image, the slope of the straight line to calculate the angular velocity in the pan direction of the vehicle based on. 具体的には、以下のような処理が実行される。 Specifically, the following processing is executed.
まず、各注目点に対する第１の座標値と第２の座標値とを求める。 First, the a first coordinate value and second coordinate value for each point of interest. ここで、第１の座標値は、Δｘ−（１／α）・（ｖ・Δｔ／１）・（１／Ｌ）・ｄ・ｘにより算出される。 Here, the first coordinate value is calculated by Δx- (1 / α) · (v · Δt / 1) · (1 / L) · d · x. 但し、Δｘは２次元動きベクトルの水平成分を示し、ｘは注目点の水平成分を示している。 However, [Delta] x represents the horizontal component of the two-dimensional motion vectors, x is shows the horizontal component of the target point. なお、α，Ｌ，Δｔは定数であり、Δｘ、ｄ、ｘはすでに得られているため、第１の座標値を算出することができる。 Incidentally, alpha, L, Delta] t is a constant, [Delta] x, d, since x has already been obtained, it is possible to calculate the first coordinate value.
また、第２の座標値は、−（α＋（ｖ・Δｔ／２）・（１／Ｂ）・ｄ）σ・Δｔにより算出される。 The second coordinate value, - is calculated by (α + (v · Δt / 2) · (1 / B) · d) σ · Δt. 但し、σは自車両のパン方向の角速度を示している。 However, sigma indicates the pan direction of the angular velocity of the vehicle. ここで、α，Ｂ，Δｔは定数であり、ｖはすでに得られているため、第２の座標値を算出することができる。 Here, alpha, B, Delta] t are constants, v is already because it is obtained, it is possible to calculate the second coordinate values.
次に、第１及び第２の座標値を座標軸とする２次元座標空間に各注目点をプロットする。 Then, plot the respective target points of the first and second coordinate values ​​in a two-dimensional coordinate space whose coordinate axes. 図１５は、自車両のパン方向の角速度の算出方法を説明するための図であり、（ａ）、（ｂ）は第１及び第２の座標値を座標軸とする２次元座標空間を示している。 Figure 15 is a diagram for explaining a method of calculating the vehicle in the pan direction angular velocity, (a), (b) is shows a two-dimensional coordinate space whose coordinate axes of the first and second coordinate values there. 図１５のグラフにおいて、縦軸は第１の座標値を示し、横軸は第２の座標値を示している。 In the graph of FIG. 15, the vertical axis represents the first coordinate value and the horizontal axis represents the second coordinate values. 図１５（ａ）に示すように、２次元座標空間に各注目点がプロットされていることが分かる。 As shown in FIG. 15 (a), it can be seen that each point of interest is plotted in the two-dimensional coordinate space.
次に、最小二乗法、ハフ変換等の直線算出手法を用いて、プロットした各点によって描かれる直線Ｇ３を算出する。 Then, the minimum square method, using a linear method for calculating Hough transform or the like, calculates a straight line G3 drawn by the points plotted. 次に、直線Ｇ３の傾きを求め、得られた傾きからパン方向の角速度σを算出する。 Next, determine the slope of the straight line G3, and calculates an angular velocity σ in the pan direction from the obtained inclination. ここで、パン方向の角速度σは、式（１１）の関係を有することを本発明者は発見した。 Here, the angular velocity σ in the pan direction, the present inventors to have a relationship of Equation (11) is found.
すなわち、式（１１）は、図１５（ｂ）に示すように、第１及び第２の座標値を変数とし、σ・Δｔを傾きとした場合の直線を表している。 That is, Equation (11), as shown in FIG. 15 (b), the first and second coordinate values ​​as variables, represent straight in the case where the inclination of the sigma · Delta] t. したがって、直線Ｇ３の傾きを求め、Δｔを用いることでパン方向の角速度σを算出することができ、この角速度σを積分することでハンドルの操舵量を算出することができる。 Thus, obtains the slope of the straight line G3, it is possible to calculate the angular speed sigma in the pan direction by using Delta] t, it can be calculated steering amount of the steering wheel by integrating the angular velocity sigma.
他車両絶対動き検出部３４７は、他車両相対動き検出部３４５により検出された３次元オプティカルフローと、自車両動き検出部３４６により検出された自車両の絶対動きとに基づき、他車両の絶対的な動き（路面に対する動き；前記他車両の移動ベクトルに相当）を検出するものである。 Other vehicles absolute motion detecting unit 347, based on the three-dimensional optical flows detected by the other vehicles relative motion detector 345, and the absolute motion of the vehicle detected by the vehicle motion detector 346, the absolute of the other vehicle a movement; and detects the (motion relative to the road surface corresponds to a moving vector of the other vehicle). 前述したように、３次元オプティカルフローＯＦ３は、自車両の絶対速度と物体の絶対速度との合成ベクトルであることから、３次元オプティカルフローＯＦ３と自車の絶対動きを示すベクトルとの差分ベクトルを求めることにより、他車両の絶対的な動きを検出することができる。 As described above, the three-dimensional optical flow OF3, since a resultant vector of the absolute velocity of the absolute velocity and object of the own vehicle, a difference vector between the vector representing the absolute motion of the vehicle and the three-dimensional optical flow OF3 by obtaining, it is possible to detect the absolute motion of the other vehicle.
危険度算出部３４８は、同一タイミングで得られた一対の基準画像及び参照画像ごとに、他車両相対動き検出部３４５により検出された３次元オプティカルフロー（車間距離の変化率）と、車間距離算出部３４４により算出された車間距離とに基づき、当該撮影画像が得られた時点での他車両に対する自車両の危険性（衝突の危険性）を示す指標である危険度を算出するものである。 Risk calculation unit 348, for each pair of reference images and reference images obtained at the same timing, a three-dimensional optical flows detected by the other vehicles relative motion detector 345 (the rate of change of the inter-vehicle distance), inter-vehicle distance calculated based on the inter-vehicle distance calculated by the section 344, and calculates the risk is an index showing the risk of the vehicle (risk of collision) against another vehicle at the time when the captured image is obtained.
本実施形態では、自車両の位置を含む所定の大きさの領域（自車両を中心とする半径１ｍ以内の領域）が危険領域として予め設定されている。 In the present embodiment, the region of a predetermined size including the position of the vehicle (area within a radius of 1m around the vehicle) is previously set as a critical region. 危険度算出部３４８は、３次元オプティカルフローと前記車間距離とに基づき、本実施形態では他車両がこの危険領域に到達するまでの時間を算出し、その到達時間に応じて危険度を算出する。 Risk calculation unit 348, based on the three-dimensional optical flow and said inter-vehicle distance, in this embodiment calculates the time until the other vehicle reaches this critical region, and calculates the degree of risk in response to the arrival time . なお、本実施形態では、例えば図１６に示すように、前記到達時間に応じて危険度が５段階に設定されている。 In the present embodiment, for example, as shown in FIG. 16, the degree of risk depending on the arrival time is set to 5 stages.
責任度合い算出部３４９は、前記危険度算出部３４８により算出された危険度と、自車両動き検出部３４６により検出された自車両動きと、前記他車両絶対動き検出部３４７により検出された他車両の絶対動きとに基づき、同一タイミングで得られた一対の基準画像及び参照画像ごとに、自車両及び他車両の責任度合い（責任割合）を算出するものである。 Responsibility degree calculation unit 349, a degree of risk calculated by the risk calculator 348, and the vehicle motion detected by the vehicle motion detector 346, the other vehicle detected by said other vehicle absolute motion detector 347 absolute based on the movement, for each pair of reference images and reference images obtained at the same timing, and calculates the responsibility degree of the own vehicle and other vehicles (responsible percentage). 責任度合いは、当該撮影画像から求められる自車両及び他車両の走行状態（運転状態）の不適正の程度に相当する。 Responsibility degree corresponds to improper degree of the running state (operating state) of the vehicle and other vehicles obtained from the captured image. 自車両及び他車両の責任度合いは、例えば次のようなルール１〜４にしたがって算出される。 Responsibility degree of the vehicle and the other vehicle is calculated according to the rules 1 to 4, such as for example the following.
ルール１：危険度が増大している期間に、加減速又は操舵を行っている方の責任度合いを上昇させる ルール２：危険度が予め定められた閾値以上である状態で、自車両の運転操作に変化のない状態が続くと、自車両の責任度合いを上昇させる ルール３：危険度が減少している期間に、加減速又は操舵を行っている方の責任度合いを低下させる ルール４：危険度が前記閾値以上である状態では、走行速度が大きい方の車両の責任度合いを、走行速度が小さい方の車両の責任度より高くする ルール１は、危険度が増大している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の方が、該危険の主な要因となっている可能性が高いという考えに基づいて設定されたルールである。 Rule 1: the period during which the risk is increased, acceleration and deceleration or rules to increase the responsibility degree of the person who is performing the steering 2: risk is a predetermined threshold or condition, the driving operation of the vehicle When the absence of change followed, rule 3 increases the responsibility degree of the vehicle: in the period in which the risk is reduced, the rule lowers the responsibility degree of the person who is performing the acceleration and deceleration or steering 4: risk in a state but not less than the threshold value, the responsibility degree of the vehicle towards the running speed is high, the rules 1 to higher than responsibility of the vehicle towards the running speed is low, the period of risk is increased, the vehicle and the direction of the side of the vehicle a change has occurred in the driving operation of the other vehicle, the main factors and made with possibility is of the danger is the rule which is set based on the idea that high.
ルール２は、危険度が予め定められた閾値以上となっている状態で前記自車両における運転操作に変化がない状態が続いている場合には、自車両にも危険回避責任があるにも拘らず危険回避操作を怠っている点に鑑みて設定されたルールである。 Rule 2, if the risk is the state there is no change in driving operation in the vehicle followed by a state that is the predetermined threshold or more, although the there is a risk aversion also responsible for vehicle not a rules set in view of the point that failure to danger avoidance operation.
ルール３は、前記危険度が減少している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両は、危険回避操作を行ったものと考えられる点に基づいて設定されたルールである。 Rule 3 is the period that the risk is reduced, the side of the vehicle changes the driving operation of the vehicle and the other vehicle is generated, is set based on a point that is considered to have conducted a danger avoidance operation was the rule.
ルール４は、危険度が予め定められた閾値以上となっているとき、走行速度が大きい側の車両の方が、該危険の主な要因となっている可能性が高いとの考えに基づいて設定されたルールである。 Rule 4, when the risk becomes a predetermined threshold or more, who travel speed is high side of the vehicle, based on the idea that is likely to become a major factor in the risk is a set rule.
図１７は、演算装置３の動作を示すフローチャートである。 Figure 17 is a flowchart showing the operation of the arithmetic unit 3. 図１７に示すように、演算装置３は、ステレオカメラ２から基準画像及び参照画像を取得すると（ステップ♯１でＹＥＳ）、それらの画像を第１記憶部３１に記憶する（ステップ♯２）。 As shown in FIG. 17, the arithmetic unit 3 acquires a reference image and the reference image from the stereo camera 2 (YES in step # 1), and stores those images in the first storage unit 31 (step # 2). 演算装置３は、トリガ発生部３２からトリガ信号が出力されていない間は（ステップ♯３でＮＯ）、ステップ♯１，♯２の動作を繰り返し実行する。 Arithmetic unit 3, while the trigger signal from the trigger generating unit 32 is not outputted (NO in step # 3), the step # 1, repeatedly performs the operations of # 2.
そして、前記トリガ発生部３２からトリガ信号が出力されると（ステップ♯３でＹＥＳ）、トリガ信号が出力されたタイミングを含む一定期間の撮影画像を第１記憶部３１から複写して第２記憶部３３に記憶する（ステップ♯４）。 Then, the a trigger signal from the trigger generating unit 32 is output (YES in step # 3), the second memory is copied photographed image of a certain period including the timing at which the trigger signal is outputted from the first storage unit 31 stored in section 33 (step # 4).
そして、運転状況解析部３４は、前記第２記憶部３３に記憶された基準画像及び参照画像に基づき、自車両及び他車両の運転状況についての解析を実施し（ステップ♯５）、その解析結果と前記撮影画像とをデータ保存部３５に記録する（ステップ♯６）。 Then, the operation status analyzing unit 34, the second on the basis of the stored reference image and the reference image in the storage unit 33, and conducting an assay for the operating conditions of the vehicle and the other vehicle (step # 5), the result of the analysis for scoring and the captured image in the data storage unit 35 (step # 6). また、無線通信部３６は、前記解析結果が所定の解析結果である場合には（ステップ♯７でＹＥＳ）、その解析結果と撮影画像とを管理センターに送信する（ステップ♯８）。 The wireless communication unit 36, when the analysis result is a predetermined analysis results (YES at step # 7), and transmits the analysis result and the photographed image to the management center (step # 8).
図１８は、図１７の運転状況解析処理を示すフローチャートである。 Figure 18 is a flowchart showing a driving situation analysis process of FIG. 17.
図１８に示すように、視差演算部３４１は、第２記憶部３３に記憶された基準画像及び参照画像に基づき前記視差ｄを算出する（ステップ♯１１）。 As shown in FIG. 18, the parallax calculating unit 341 calculates the parallax d on the basis of the reference image and the reference image stored in the second storage unit 33 (step # 11). また、路面パラメータ推定部３４２は、前記路面パラメータ（ステレオカメラの高さ位置ｈ及びピッチ方向の傾斜角度φ）を推定し、２次元動きベクトル算出部３４３は、基準画像と参照画像との間で同一被写体の画像（注目点と対応点と）がどれだけどの方向に異なるかを示す２次元動きベクトルを算出する（ステップ♯１２）。 Also, the road parameter estimating section 342, the estimated road parameter (tilt angle of the stereo camera height h and the pitch direction phi), 2-dimensional motion vector calculation unit 343, between the standard image and the reference image same object image (target point and a corresponding point) of calculating a two-dimensional motion vector indicating or different to how much any direction (step # 12).
次に、車間距離算出部３４４は、ステップ♯１２で推定された路面パラメータを用いて、前記基準画像及び参照画像における他車両の画像及び該他車両の画像を用いて車間距離を検出し、また、自車両動き検出部３４６は、ステップ♯１１で算出された視差ｄの２乗値と２次元動きベクトルの垂直成分とに基づき、自車両動きを検出する（ステップ♯１３）。 Next, the inter-vehicle distance calculating section 344, using a road parameter estimated in step # 12, and detects the inter-vehicle distance using the image of the image and the another vehicle of another vehicle in the reference image and the reference image, also , the vehicle motion detecting unit 346, based on the vertical component of the squared value and the two-dimensional motion vector of the disparity d calculated at step # 11, detects the vehicle motion (step # 13). また、他車両相対動き検出部３４５は、自車両の周囲の各位置における３次元実空間上での位置情報（Ｘ，Ｙ，Ｚ）と、ステップ♯１２で２次元動きベクトル算出部３４３により算出された各注目点の２次元動きベクトルとに基づき、各注目点の３次元オプティカルフロー、すなわち他車両の相対動きを検出し（ステップ♯１４）、ステップ♯１４で他車両相対動き検出部３４５により検出された３次元オプティカルフローと、車間距離算出部３４４により検出された車間距離とに基づき、危険度を算出する（ステップ♯１５）。 The calculation, another vehicle relative motion detection unit 345, positional information on the 3-dimensional real space at each position around the vehicle (X, Y, Z) and, by a two-dimensional motion vector calculation section 343 in step ♯12 based on the two-dimensional motion vector of each point of interest is three-dimensional optical flow of each point of interest, i.e., detecting the relative movement of the other vehicle (step # 14), the other vehicle relative motion detector 345 in step # 14 and the detected three-dimensional optical flow, based on the inter-vehicle distance detected by inter-vehicle distance calculating section 344 calculates the risk (step # 15).
図１９〜図２２は、或る時刻ｔとその次の撮影タイミング（ｔ＋Δｔ）とにおいてステレオカメラ２により撮影される他車両の走行状況の例を、路面の上方から見た図である。 19 to 22, an example of running conditions of other vehicle which is captured by the stereo camera 2 in a certain time t and the next imaging timing (t + Delta] t), which is a view seen from above the road surface. なお、図１９〜図２２の「Ｒ１」〜「Ｒ３」は、車線であり、自車両は中央の車線Ｒ２を走行しているものとする。 Incidentally, "R1" - "R3" in FIGS. 19 to 22 are lane, the vehicle is assumed to be traveling the center of the lane R2.
図１９は、時刻ｔ及び時刻（ｔ＋Δｔ）とも、自車両Ｍが走行する中央の車線Ｒ２上を他車両Ｘが走行し、最右車線Ｒ３上の前記他車両Ｘの後方側において他車両Ｙが走行している状態を示している。 19, both the time t and time (t + Delta] t), the center of the upper lane R2 in which the vehicle M is traveling other vehicle X travels, the rear side of the other vehicle X on the rightmost lane R3 another vehicle Y is It shows a state in which the running to have. また、図１９は、時刻ｔと時刻（ｔ＋Δｔ）とで、自車両Ｍと他車両Ｙとの位置関係に変化はないが、自車両Ｍと他車両Ｘとの位置関係に変化があり、車線方向に他車両Ｘが自車両Ｍに相対速度Ｖで近づいている状態を示している。 Further, FIG. 19, out with time t and the time (t + Delta] t), there is no change in the positional relationship between the vehicle M and other vehicle Y, there is a change in the positional relationship between the vehicle M and other vehicle X, the lane other vehicle X direction indicates a state approaching at a relative speed V of the host vehicle M.
このとき、危険度算出部３４８は、該他車両Ｘが前記危険領域に到達する時間をΔｔ５（＞Δｔ４；図１５参照）と算出したものとすると、例えば図１５に示す到達時間と危険度との関係に基づき、危険度を「１」と算出する。 At this time, risk calculation unit 348, said other vehicle X is the time to reach the dangerous area .DELTA.t5; When those calculated (> .DELTA.t4 see FIG. 15), the arrival time and the risk that shown in FIG. 15 for example based on the relationship, and calculates the risk as "1".
図２０に示す走行状況は、図１９と他車両Ｘの走行状況のみが異なる。 Running condition shown in FIG. 20, only the running state of FIG. 19 and the other vehicle X is different. すなわち、図２０は、他車両Ｘが自車両Ｍに近づいてくる相対速度が５Ｖである状態を示している。 That is, FIG. 20, the relative velocity of the other vehicle X comes closer to the vehicle M indicates the state is 5V. このとき、危険度算出部３４８は、該他車両Ｘが前記危険領域に到達する時間がΔｔ６（＜Δｔ１；図１５参照）と算出したものとすると、例えば図１５に示す到達時間と危険度との関係に基づき、危険度を「５」と算出する。 At this time, risk calculation unit 348, the time the another vehicle X reaches the dangerous area [Delta] t6; When those calculated (<.DELTA.t1 see FIG. 15), the arrival time and the risk that shown in FIG. 15 for example based on the relationship, to calculate the risk of a "5".
図２１は、時刻ｔでは、自車両Ｍが走行する中央の車線Ｒ２に他車両Ｘが走行し、最右車線Ｒ３上の前記他車両Ｘの後方側において他車両Ｙが走行している状態を示している。 21, at time t, the state in which the vehicle M is other vehicle X travels to the center of the lane R2 traveling, and another vehicle Y is traveling at the rear side of the other vehicle X on the rightmost lane R3 shows. また、図２１は、時刻ｔと時刻（ｔ＋Δｔ）とで、他車両Ｘ，Ｙとも自車両Ｍに対する位置関係に変化があり、他車両Ｘは、走行方向に相対速度Ｖで自車両Ｍから離れている状態であり、他車両Ｙは、前記最右車線Ｒ３から自車両Ｍが走行する中央の車線Ｒ２に向けて、車線と直交する方向に相対速度Ｖで車線変更してきている状態を示している。 Further, FIG. 21, out with time t and the time (t + Delta] t), there is a change in positional relationship relative to other vehicle X, Y with the vehicle M, the other vehicle X is away from the vehicle M in the traveling direction at a relative speed V a and has state, another vehicle Y, said the rightmost lane R3 toward the center of the lane R2 in which the vehicle M is traveling, showing the state in which have lane change in the direction perpendicular to the lane at a relative speed V there.
このとき、危険度算出部３４８は、該他車両Ｙが前記危険領域に到達する時間がΔｔ３（図１５参照）と算出したものとすると、例えば図１５に示す到達時間と危険度との関係に基づき、危険度を「２」と算出する。 At this time, risk calculation unit 348, the time that said other vehicle Y reaches the dangerous area and those calculated with? T3 (see FIG. 15), for example, the relationship between the arrival time and the risk that shown in FIG. 15 On the basis, to calculate the risk "2".
図２２は、図２１と他車両Ｙの走行状況が異なる状態を示しており、他車両Ｙは、前記最右車線Ｒ３から中央の車線Ｒ２に向けて車線変更し、該他車両Ｙが前記最右車線Ｒ３から中央の車線Ｒ２に向けて、車線と直交する方向に相対速度２Ｖで車線変更してきている状態を示している。 Figure 22 shows a state in which the driving situation is different in FIG. 21 and other vehicle Y, the other vehicle Y, the lane-changed toward the center of the lane R2 from the rightmost lane R3, said other vehicle Y is the most right lane R3 toward the center of the lane R2, and shows a state in which it has changed lanes at a relative speed 2V in a direction perpendicular to the lane.
このとき、危険度算出部３４８は、該他車両Ｙが前記危険領域に到達する時間がΔｔ２（図１５参照）と算出したものとすると、例えば図１５に示す到達時間と危険度との関係に基づき、危険度を「３」と算出する。 At this time, risk calculation unit 348, the time that said other vehicle Y reaches the dangerous area and those calculated .DELTA.t2 (see FIG. 15), for example, the relationship between the arrival time and the risk that shown in FIG. 15 On the basis, to calculate the risk as "3".
図１８に戻り、他車両絶対動き検出部３４７は、ステップ♯１３で自車両動き検出部３４６により検出された自車両動きと、ステップ♯１４で検出された他車両の相対動きとに基づき、他車両の絶対動きを検出する（ステップ♯１５）。 Returning to Figure 18, another vehicle absolute motion detecting unit 347, based on a vehicle motion detected by the vehicle motion detector 346 in step # 13, the relative movement of the other vehicle detected in step # 14, the other detecting the absolute motion of the vehicle (step # 15).
図２３は、図１９に示す状況と同一の状況を示した図であるが、図１９に対し自車両の絶対動き（ここでは絶対的な前進速度）の表記を追加している。 Figure 23 is a diagram showing the same situation and the situation shown in FIG. 19, the absolute motion of the vehicle with respect to FIG. 19 (here absolute forward speed) are added notation. 図２３に示すように、自車両の絶対的な前進速度が４Ｖであるものとすると、他車両絶対動き検出部３４７は、他車両Ｘ，Ｙの絶対動きが、自車両Ｍの前進速度を示す動きベクトルと、他車両Ｘ，Ｙの自車両Ｍに対する相対的な動きベクトルとの合成ベクトルで表されることに基づき、図２４に示すように、他車両Ｘの絶対動き（絶対的な前進速度）を３Ｖ（＝４Ｖ−Ｖ）、他車両Ｙの絶対動き（絶対的な前進速度）を４Ｖと検出する。 As shown in FIG. 23 shows the absolute forward speed of the vehicle is assumed to be 4V, the other vehicle absolute motion detecting unit 347, the other vehicle X, the absolute motion of the Y is the forward speed of the vehicle M based motion vector, another vehicle X, to be represented by a composite vector of the relative motion vector with respect to the vehicle M of Y, as shown in FIG. 24, the absolute motion (absolute forward speed of the other vehicle X ) and 3V (= 4V-V), absolute motion of the other vehicle Y (the absolute forward speed) is detected and 4V.
図２５は、図２１に示す状況と同一の状況を示した図であるが、図２３と同様、図２１に対し自車両の絶対動き（ここでは絶対的な前進速度）の表記を追加している。 Figure 25 is a view showing the same situation and the situation shown in FIG. 21, similar to FIG. 23, the absolute motion of the vehicle with respect to FIG. 21 (here absolute forward speed) by adding notation there. 図２５に示すように、自車両の絶対的な前進速度が４Ｖであるものとすると、他車両絶対動き検出部３４７は、図２６に示すように、他車両Ｘの絶対動き（絶対的な前進速度）を５Ｖ（＝４Ｖ＋Ｖ）、他車両Ｙの絶対動き（絶対的な前進速度）を１７ （１／２）・Ｖ（＝（４ ２ ＋１ ２ ） １／２・Ｖ）と検出する。 As shown in FIG. 25, when the absolute forward speed of the vehicle is assumed to be 4V, the other vehicle absolute motion detecting unit 347, as shown in FIG. 26, the absolute motion (absolute advancement of the other vehicle X speed) 5V (= 4V + V) , absolute motion (absolute forward speed) of 17 (half of the other vehicle Y) · V (= (4 2 +1 2) detects 1/2 · V) and.
図１８に戻り、責任度合い算出部３４９は、ステップ♯１５で算出された他車両の絶対動きと、ステップ♯１３で検出された自車両の絶対動きと、ステップ♯１５で算出された危険度とに基づき、自車両及び他車両の責任度合いを算出する（ステップ♯１７）。 Returning to FIG. 18, is responsible degree calculation section 349, the absolute motion of the other vehicle calculated in step # 15, the absolute motion of the vehicle detected in step # 13, the degree of risk calculated in step # 15 based on, it calculates the responsibility degree of the own vehicle and the other vehicle (step # 17).
図２７は、自車両及び他車両の絶対動き（走行速度（絶対値）及び操舵角）と、危険度算出部３４８により算出される危険度と、前記ルール１〜４にしたがって算出される他車両の責任度合いとにおける変化の一例を示すグラフである。 27, the absolute motion of the vehicle and the other vehicle (running speed (absolute value) and the steering angle), and the risk calculated by the risk calculator 348, another vehicle is calculated in accordance with the rules 1-4 is a graph showing an example of a change in the liability degree. なお、図２７では、自車両に対する他車両の責任度合いの相対的な変化を示している。 In FIG 27, illustrates the relative change in responsibility degree of the other vehicle with respect to the vehicle.
図２７（ａ）は、自車両と同一の車線を走行する他車両の運転者が一時的にブレーキをかけて減速したことにより、自車両の運転者も一時的にブレーキをかけて減速した状況を想定したものであり、図２７（ａ）には、自車両の走行状況と前記他車両の走行状況との関係に３つのパターンが現れている。 FIG. 27 (a) is a situation where the driver of another vehicle traveling vehicle and the same lane by decelerated temporarily braked, slowed over the driver even temporarily braking of the vehicle the are those assumed, in FIG. 27 (a) three patterns of the relationship between the running condition of the other vehicle and the travel condition of the vehicle has appeared.
すなわち、図２７は、矢印ｗ１で示すように、時刻ｔ１に前記他車両の減速し、その後の時刻ｔ２に該他車両が前記減速前の速度まで加速する一方、この間、自車両の走行状況に変化がない第１のパターンと、時刻ｔ２から時刻ｔ３までの間、自車両及び他車両とも走行状況に変化がない第２のパターンと、矢印ｗ２で示すように、時刻ｔ３に、前記自車両が減速し、その後、自車両が前記減速前の速度まで加速する一方、この間、他車両の走行状況に変化がない第３のパターンとを示している。 That is, FIG. 27, as indicated by arrows w1, the decelerated the other vehicle at time t1, while the subsequent time t2 said other vehicle accelerates to speed before the deceleration, during which the running state of the vehicle change the first pattern without, during the period from time t2 to time t3, and the second pattern there is no change in the running condition with the vehicle and other vehicles, as shown by the arrow w2, the time t3, the vehicle There decelerated, then, while the vehicle is accelerated to speed before the deceleration, during which illustrates a third pattern there is no change in the traveling condition of the other vehicle.
前記第１のパターンにおいては、他車両の減速により自車両と他車両との距離が縮まっていく。 Wherein in the first pattern, gradually narrowed the distance between the host vehicle and another vehicle by the reduction of the other vehicle. そのため、矢印ｗ３で示すように、危険度算出部３４８により算出される危険度が上昇していく。 Therefore, as shown by an arrow w3, risk calculated by the risk calculator 348 rises. したがって、前記第１のパターンは、前記ルール１に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ７で示すように、ルール１に基づき、他車両の責任度合いを相対的に増大させる。 Accordingly, the first pattern is to fit a pattern specified in the rule 1, the responsibility degree calculation unit 349, as shown by the arrow w7, based on Rule 1, to relatively increase the responsibility degree of the other vehicle .
前記第２のパターンにおいては、矢印ｗ４で示すように、危険度算出部３４８により算出される危険度が閾値を超えている。 Wherein in the second pattern, as shown by arrow w4, risk calculated by the risk calculator 348 exceeds the threshold value. これは、前述した他車両の減速によって、自車両と他車両との距離が縮まり該他車両が危険領域内に進入してきたためである。 This is because the deceleration of the other vehicle as described above, the another vehicle distance between the host vehicle and another vehicle's lead have entered the danger region. ところが、自車両の走行状況（運転操作）に変化がない。 However, there is no change in the running state of the vehicle (driving operation). したがって、前記第２のパターンは、前記ルール２に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ６で示すように、ルール２に基づき、自車両の責任度合いを相対的に増大させる（他車両の責任度合いを相対的に減少させる）。 Accordingly, the second pattern may correspond to the pattern specified in the rule 2, the responsibility degree calculation unit 349, as shown by the arrow w6, based on Rule 2, to relatively increase the responsibility degree of the vehicle (reduced relatively responsibility degree of the other vehicle).
前記第３のパターンにおいては、自車両の減速により自車両と他車両との距離が広がっていく。 Wherein in the third pattern, it spreads the distance between the host vehicle and another vehicle by the reduction of the vehicle. そのため、矢印ｗ５で示すように、危険度算出部３４８により算出される危険度が低下していき、該危険度が前記閾値を下回る。 Therefore, as shown by the arrows w5, risk calculated by the risk calculator 348 continue to decrease, the risk is below the threshold. したがって、前記第３のパターンは、前記ルール３に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ８で示すように、ルール３に基づき、自車両の責任度合いを相対的に減少させる（他車両の責任度合いを相対的に増大させる）。 Therefore, the third pattern, corresponds to a pattern specified in the rule 3, the responsibility degree calculation unit 349, as shown by arrow w8, under Rule 3, to relatively reduce the responsibility degree of the vehicle (to relatively increase the responsibility degree of the other vehicle).
図２８は、自車両及び他車両の動き（走行速度（絶対値）及び操舵量）と、危険度算出部３４８により算出される危険度と、前記ルール１〜４にしたがって算出される他車両の責任度合いの変化の他の例を示すグラフである。 Figure 28 is a vehicle and the other vehicle motion (running speed (absolute value) and the steering amount), a degree of risk calculated by the risk calculation unit 348, the other vehicle that is calculated in accordance with the rules 1-4 it is a graph showing another example of a change in the liability degree. なお、図２８においても、責任度合いについては、自車両に対する他車両の責任度合いの相対的な変化を示している。 Also in FIG. 28, the responsibility degree indicates the relative change in responsibility degree of the other vehicle with respect to the vehicle.
図２８は、自車両が走行する車線に他車両が一旦車線変更したがすぐさまもとの車線にもどる一方、前記他車両による車線変更によって自車両と該他車両との車間距離が縮まったために減速した状況を想定したものであり、図２８にも、自車両の走行状況と前記他車両の走行状況との関係に３つのパターンが現れている。 Figure 28 is another vehicle lane on which the vehicle is traveling has once lane change while immediately returns to the original lane, deceleration to the lane change by said another vehicle contracted inter-vehicle distance between the host vehicle and the another vehicle and it assumes a situation was, in FIG. 28, three patterns of the relationship between the running condition of the other vehicle and the travel condition of the vehicle has appeared.
すなわち、図２８は、矢印ｗ９で示すように、時刻ｔ１１に他車両の運転者が例えば反時計回りに或る操舵量だけハンドルをきって、ハンドルを元に戻し、さらに時刻ｔ２で時計回りに或る操舵量だけハンドルをきって、ハンドルを元に戻す一方、この間、自車両の走行状況に変化がない第４のパターンと、時刻ｔ１２から時刻ｔ１３までの間、自車両及び他車両とも走行状況に変化がない第５のパターンと、矢印ｗ１０で示すように、自車両が減速し、その後、減速前の速度まで加速する一方、この間、他車両の走行状況に変化がない第６のパターンを示している。 That is, FIG. 28, as indicated by arrows w9, at time t11 and turned the handle only certain steering amount driver for example in a counter-clockwise of the other vehicle, return the handle to its original, clockwise further at time t2 some steering amount just off the handle, while returning the handle to its original, the meantime, the fourth pattern there is no change in the running state of the vehicle, during the period from time t12 to time t13, traveling with the vehicle and other vehicles a fifth pattern no change in status, as indicated by arrow w10, the vehicle is decelerated, then, while accelerated to speed before deceleration, during which the sixth pattern of no change in the running state of the other vehicle the shows.
前記第４のパターンにおいては、他車両の運転者の操舵により自車両と他車両との車間距離が縮まっていく。 Wherein in the fourth pattern, will inter-vehicle distance between the host vehicle and another vehicle is contracted by the steering of the driver of the other vehicle. そのため、矢印ｗ１１で示すように、危険度算出部３４８により算出される危険度が上昇していく。 Therefore, as shown by arrow w11, risk calculated by the risk calculator 348 rises. したがって、前記第４のパターンは、前記ルール１に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ１４で示すように、ルール１に基づき、他車両の責任度合いを相対的に増大させる。 Accordingly, the fourth pattern corresponds to the pattern specified in the rule 1, the responsibility degree calculation unit 349, as shown by arrow w 14, based on the rule 1, to relatively increase the responsibility degree of the other vehicle .
前記第５のパターンにおいては、矢印ｗ１２で示すように、危険度算出部３４８により算出される危険度が閾値を超えている。 Wherein in the fifth pattern, as indicated by arrow w12, risk calculated by the risk calculator 348 exceeds the threshold value. これは、前述した他車両の一時的な車線変更によって、自車両の走行速度が他車両の走行速度より大きく、自車両と他車両との距離が縮まり該他車両が危険領域内に進入してきたためである。 This is the temporary lane change of the other vehicle as described above, the traveling speed of the vehicle is greater than the running speed of the other vehicle, for said other vehicle distance between the host vehicle and another vehicle's lead have entered the danger region it is. ところが、自車両の走行状況（運転操作）に変化がない。 However, there is no change in the running state of the vehicle (driving operation). したがって、前記第５のパターンは、前記ルール２，４に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ１５で示すように、ルール２，４に基づき、自車両の責任度合いを相対的に増大させる（他車両の責任度合いを相対的に減少させる）。 Thus, the fifth pattern corresponds to the pattern specified in the rule 2, 4, is responsible degree calculation unit 349, as shown by arrow w15, based on the rules 2 and 4, the relative liability degree of the vehicle to increase (to relatively decrease the liability degree of the other vehicle).
前記第６のパターンにおいては、自車両の減速により自車両と他車両との車間距離が広がっていく。 Wherein in the sixth pattern, it spreads the inter-vehicle distance between the host vehicle and another vehicle by the reduction of the vehicle. そのため、矢印ｗ１３で示すように、危険度算出部３４８により算出される危険度が低下していく。 Therefore, as shown by arrow w13, risk calculated by the risk calculator 348 is lowered. したがって、前記第６のパターンは、前記ルール３に規定するパターンに該当し、責任度合い算出部３４９は、矢印ｗ１６で示すように、ルール１３に基づき、自車両の責任度合いを相対的に減少させる（他車両の責任度合いを相対的に増大させる）。 Thus, the pattern of the sixth, corresponds to the pattern specified in the rule 3, the responsibility degree calculation unit 349, as shown by arrow w16, under Rule 13, to relatively reduce the responsibility degree of the vehicle (to relatively increase the responsibility degree of the other vehicle).
無線通信部３６は、カメラ１１，１２による撮影画像及び前記責任度合い算出部３４９により算出された責任度合いのうち、自車両と他車両との車間距離が零と計測された撮影画像とこの撮影画像に基づいて算出された責任度合いとを管理センターに送信する。 The wireless communication unit 36, among the responsibility degree calculated by the captured image and the responsibility degree calculation unit 349 by the camera 11, the captured image and the photographed image which inter-vehicle distance between the host vehicle and another vehicle is measured as zero It transmits the calculated liability degree to the management center based on. なお、前記所定の解析結果は、自車両と他車両との車間距離が零と計測された撮影画像とこの撮影画像に基づいて算出された責任度合いとを含む。 The predetermined analysis result includes a responsibility degree of inter-vehicle distance is calculated on the basis of the captured image and the captured image was measured to zero between the host vehicle and another vehicle.
以上のように、本実施形態では、前記自車両と前記他車両との関係における危険状況についての各車両の責任度合いをユーザ等に提供することができる。 As described above, in the present embodiment, the responsibility degree of each vehicle for dangerous situation in relation to the vehicle and the other vehicle can be provided to the user or the like. その結果、運転教育に効果的な運転状況監視装置を実現することができる。 As a result, it is possible to achieve effective operation state monitoring device in operation education. また、仮に、自車両と他車両との間で衝突事故が発生した場合に、当該運転状況監視装置１で算出された責任度合いを、その事故に対する責任分担の判断の一助として提供することができる。 Moreover, if, when a collision accident between the vehicle and the other vehicle has occurred, the responsibility degree calculated in the operating condition monitoring apparatus 1 may be provided as an aid determination of responsibilities for the accident .
本件は、前記実施形態に代えて、或いは前記実施形態に加えて次のような変形形態も採用可能である。 This case, instead of the embodiment, or variations such as the following in addition to the embodiments can be adopted.
［１］前記第２記憶部３３は必須のものではなく、前記トリガ発生部３２によるトリガ信号の出力タイミングを含む一定期間内に生成された撮影画像を、第１記憶部３１からデータ保存部３５に複製し、このデータ保存部３５に複製された撮影画像に対して、運転状況解析部３４による解析処理を行うようにしてもよい。 [1] the second storage unit 33 is not essential, the captured image generated within a predetermined period including the output timing of the trigger signal by the trigger generating unit 32, data storage unit 35 from the first storage unit 31 replicate in respect replicated photographed image to the data storage unit 35 may perform an analysis process by the operating condition analyzing unit 34.
［２］前記実施形態では、責任度合いを画像とともにデータ保存部３５に記録するようにしたが、この記録処理の実施やデータ保存部３５の設置は必須ではなく、前記記録に加えて或いは該記録に代えて、例えば算出した責任度合いをその場で報知したり、例えば自車両の運転者に対して「あなたの運転は不適切です」とか「減速すべきです」などの警告メッセージを出力したりする形態も想定される。 [2] In the above embodiment, although the responsibility degree together with the image to be recorded in the data storage unit 35, the installation of implementation and data storage unit 35 of the recording process is not essential, in addition to the recording or the recording instead of, for example, the calculated responsibility degree or notified on the spot, for example, to output a warning message such as "your driving is inappropriate" or "should be deceleration" to the driver of the vehicle form that is also envisaged.
また、前記実施形態では、運転状況解析部３４により出力された解析結果（画像及び責任度合い）を全てデータ保存部３５に記録するようにしたが、自車両の責任度合いと他車両の責任度合いとが同等の場合には、データ保存部３５に解析結果を記録せず、自車両及び他車両の責任度合いが比較的大きく異なる場合に、データ保存部３５に解析結果を記録するというように、前記責任度合いに応じて解析結果の記録の有無などを制御してもよく、このような制御を採用することにより、責任度合いの大きさに関係なく全ての解析結果をデータ保存部３５に保存する場合に比して、当該運転状況監視装置１に搭載すべきデータ保存部３５を記憶容量の小さいものにすることができる。 In the above embodiment, all the outputted analysis result by the operation status analyzing unit 34 (image and responsibilities degree) were be recorded in the data storage unit 35, and responsibility degree of responsibility degree and other vehicles of the vehicle There the case of equivalent, without recording the analysis result in the data storage unit 35, when the responsibility degree of the own vehicle and the other vehicle are different relatively large, so that recording the analysis result in the data storage unit 35, the may control the presence or absence of the recording of the analysis result according to responsibility degree, by adopting such a control, when to save all the analysis results regardless of the size of the liability degree in the data storage unit 35 compared to, it may be the data storage unit 35 to be mounted on the operating condition monitoring apparatus 1 having a small storage capacity.
［３］ルール１〜４は一例であり、ルール１〜４に代えて他のルールを採用して責任度合いを算出するようにしてもよい。 [3] Rule 1-4 is an example, may be calculated liability degree employ other rules instead of the rules 1-4. また、ルール１〜４と他のルールとを合わせて採用して責任度合いを算出するようにしてもよい。 Further, it is also possible to calculate the liability degree adopted together with rules 1-4 and other rules.
１ 運転状況監視装置２ ステレオカメラ３ 演算装置１１，１２ カメラ３１ 第１記憶部３２ トリガ発生部３３ 第２記憶部３４ 運転状況解析部３５ データ保存部３６ 無線通信部３４１ 視差演算部３４２ 路面パラメータ推定部３４３ ２次元動きベクトル算出部３４４ 車間距離算出部３４５ 他車両相対動き検出部３４６ 自車両動き検出部３４７ 他車両絶対動き検出部３４８ 危険度算出部３４９ 責任度合い算出部１００１ 路面１００２，１００３ 他車両１００４ 遮音壁１００５ 中央分離帯１００６ 空 1 operating condition monitoring apparatus 2 stereo camera 3 calculation unit 11 and 12 camera 31 first memory unit 32 the trigger generator 33 the second storage unit 34 operating status analyzing unit 35 data storage unit 36 ​​the wireless communication unit 341 parallax calculation unit 342 road parameter estimation part 343 2-dimensional motion vector calculation section 344 the inter-vehicle distance calculating section 345 other vehicles relative motion detector 346 vehicle motion detector 347 other vehicles absolute motion detecting unit 348 risk calculation unit 349 responsible degree calculation unit 1001 road 1002 and 1003 other vehicles 1004 sound insulation wall 1005 median strip 1006 sky
光軸が互いに所定の間隔を空けて配置され、走行している自車両の周辺環境の光像を同一のタイミングで繰り返し撮像する第１及び第２の撮像部と、 The optical axis is disposed at a predetermined distance from each other, the first and second imaging units for imaging repeatedly at the same timing a light image of the vehicle surrounding environment running,
前記第１及び第２の撮像部の撮像動作で得られる各画像を用い、自車両の周辺に存在する前記画像に映った他車両と自車両との車間距離を計測する車間距離計測部と、 A vehicle distance measuring unit for measuring a distance to the other vehicle and the host vehicle reflected in the image using the images obtained by the imaging operation of the first and second imaging section, present in the vicinity of the vehicle,
前記車間距離計測部により計測された車間距離と該車間距離の変化率とに基づき、前記自車両と前記他車両との衝突の危険性を示す指標である危険度を算出する危険度算出部と、 And based on said inter-vehicle distance measuring portion by measured inter-vehicle distance and the rate of change of the vehicle distance, the host vehicle and the risk calculation unit for calculating a risk is an index showing the risk of collision with another vehicle ,
自車両の移動ベクトルを計測する自車両動き計測部と、 And the vehicle motion measuring unit for measuring the movement vector of the vehicle,
前記自車両動き計測部により計測された自車両の動きと、前記車間距離計測部により計測された車間距離とに基づき、他車両の移動ベクトルを算出する他車両動き算出部と、 Wherein the movement of the vehicle measured by the vehicle motion measuring unit, based on the measured inter-vehicle distance by the vehicle-to-vehicle distance measuring portion, and the other vehicle motion calculation unit for calculating a movement vector of the other vehicle,
前記危険度算出部により算出された危険度と、前記自車両動き計測部により計測された自車両の移動ベクトルと、前記他車両動き算出部により算出された他車両の移動ベクトルとに基づき、前記画像が示す前記自車両と前記他車両との関係における危険状況について、前記自車両及び前記他車両の責任の割合を示す指標である責任度合いを算出する責任度合い算出部とを備える運転状況監視装置。 Based on the degree of risk calculated by the risk calculation unit, wherein the moving vector of the vehicle measured by the vehicle motion measuring unit, and the movement vector of the other vehicle calculated by the other vehicle motion calculating section, the the indicated images for dangerous situation in relation to the other vehicle and the own vehicle, the driving condition monitoring apparatus and a responsibility degree calculation section for calculating a liability degree is an index indicating the own vehicle and the percentage of responsibility of the other vehicle .
前記責任度合いは、前記危険度算出部により算出された危険度と、自車両の運転操作状況と、他車両の前記移動ベクトルとをパラメータとして設定されている請求項１に記載の運転状況監視装置。 The responsibility degree, the the risk calculated by the risk calculation unit, and the driving operation condition of the vehicle, driving situation monitoring apparatus according to claim 1 that is set and the moving vector of the other vehicle as a parameter .
前記責任度合いは、前記危険度算出部により算出された危険度と、自車両及び他車両の前記移動ベクトルからそれぞれ求められる各車両の運転操作状況とをパラメータとして設定されている請求項１又は２に記載の運転状況監視装置。 The responsibility degree, the the risk calculated by the risk calculation unit, the vehicle and the mobile claims are set a driving operation status of each vehicle determined respectively as a parameter from the vector 1 or 2 of the other vehicle operating condition monitoring apparatus according to.
前記責任度合い算出部は、前記危険度が増大している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の責任度合いを相対的に増大させる請求項２又は３に記載の運転状況監視装置。 The responsibility degree calculation unit, the period in which the risk is increased, to claim 2 or 3 changes driving operation is relatively increased responsibility degree of the vehicle on the side that occurred out of the vehicle and the other vehicle operating condition monitoring apparatus according.
前記責任度合い算出部は、前記危険度算出部により算出される危険度が予め定められた閾値以上となっている状態で前記自車両における運転操作に変化がない状態が続くと、前記自車両の責任度合いを相対的に増大させる請求項２又は３に記載の運転状況監視装置。 The responsibility degree calculation unit, when the state is not changed in the driving operation of the vehicle in a state in which risk calculated has a pre-determined threshold or by risk calculation unit followed, the vehicle operating condition monitoring apparatus according to claim 2 or 3 is relatively increased responsibility degree.
前記責任度合い算出部は、前記危険度が減少している期間、自車両及び前記他車両のうち運転操作に変化が発生した側の車両の責任度合いを相対的に減少させる請求項２乃至５のいずれかに記載の運転状況監視装置。 The responsibility degree calculation unit, the period in which the risk is reduced, the vehicle and of claims 2 to 5 changes in driving operation to relatively reduce the responsibility degree side of the vehicle that occur among the other vehicle operating condition monitoring apparatus according to any one.
前記責任度合い算出部は、前記危険度算出部により算出される危険度が予め定められた閾値以上となっているとき、走行速度が大きい側の車両の責任度合いを相対的に増大させる請求項６に記載の運転状況監視装置。 The responsibility degree calculation unit, when the degree of risk calculated by the risk calculation unit becomes a predetermined threshold or more, claim to the responsibility degree of the traveling speed is larger side of the vehicle relative increase 6 operating condition monitoring apparatus according to.
自車両における運転操作に予め定められた閾値を超える変化が発生したときに、トリガ信号を出力するトリガ信号出力部を備え、 When a change exceeding a predetermined threshold in driving operation in the vehicle is generated, it comprises a trigger signal output section for outputting a trigger signal,
前記責任度合い算出部は、前記トリガ信号出力部からトリガ信号が出力されると、その出力時点を含む一定期間に前記第１及び第２の撮像部から得られた画像に基づき、前記責任度合いを算出する請求項１乃至７のいずれかに記載の運転状況監視装置。 The responsibility degree calculation unit, a trigger signal is outputted from the trigger signal output section based on the image obtained from the first and second image pickup unit in a predetermined period including the output time, the responsibility degree operating condition monitoring apparatus according to any one of claims 1 to 7 calculated.
前記責任度合い算出部により算出された責任度合いを、前記第１及び第２の撮像部の撮像動作により得られた画像とともに保存する画像保存部を更に備える請求項１乃至８のいずれかに記載の運転状況監視装置。 Responsibility degree calculated by the liability degree calculation unit, according to any one of the first and second claims 1 to 8 further comprising an image storage unit for storing with the image obtained by the imaging operation of the imaging unit operation status monitoring equipment.
前記第１及び第２の撮像部の撮像動作により得られた画像を保存するための画像保存部と、 An image storage unit for storing the image obtained by the imaging operation of the first and second imaging section,
前記責任度合い算出部により算出された責任度合いに応じて、前記第１及び第２の撮像部の撮像動作により得られた画像の前記画像保存部に対する記録制御を行う記録制御部とを更に備える請求項１乃至８のいずれかに記載の運転状況監視装置。 In response to said responsible degree responsibility degree calculated by the calculation unit, said first and second further comprises billing and a recording control unit that performs recording control for the image storage unit of the image obtained by the imaging operation of the imaging unit operating condition monitoring apparatus according to any one of claim 1 to 8.
JP2009045669A 2009-02-27 2009-02-27 Driving state monitoring device Pending JP2010198552A (en)
JP2009045669A JP2010198552A (en) 2009-02-27 2009-02-27 Driving state monitoring device
JP2010198552A true true JP2010198552A (en) 2010-09-09
ID=42823182
JP2009045669A Pending JP2010198552A (en) 2009-02-27 2009-02-27 Driving state monitoring device
JP (1) JP2010198552A (en)
KR101499502B1 (en) * 2013-02-26 2015-03-06 남서울대학교 산학협력단 A method for adjusting frame rates of recording images according to the variation of relative velocities among adjacent vehicles and the apparatus by using the same
WO2016138640A1 (en) * 2015-03-04 2016-09-09 GM Global Technology Operations LLC Systems and methods for assigning responsibility during traffic incidents
JP2004203068A (en) 2004-07-22 Mobile body periphery monitor device
US20120219183A1 (en) 2012-08-30 3D Object Detecting Apparatus and 3D Object Detecting Method