(57)【特許請求の範囲】
【請求項１】
カメラを直線移動させながら撮影した画像から最大１ラインを取りだしてこれを時間順に且つ１ラインが移動距離に比例するように並べた長尺画像を補正する装置であって、
被撮影物体が画像内のある１平面にのっている場合にこれを被撮影平面とし、前記カメラの移動方向と前記被撮影平面のなす角度を設定する被撮影平面角度設定手段と、
前記カメラにより撮影された画像中から前記被撮影平面の画像を得る被撮影平面撮影決定手段と、
前記カメラの移動距離、及び前記被撮影平面と前記カメラの移動方向のなす角度とに基づいて長尺画像を補正し、撮影画像の縮小率を算出するために、前記カメラの移動距離Ｚ、前記被撮影平面と前記カメラの移動方向のなす角度αに基づいて、前記被撮影平面と前記カメラの距離ｄを、
【数１】
0003977653.tif 000005
θ：撮影方向角度（カメラの移動方向とカメラの光軸のなす角度）
により算出する画像補正手段と、
を備えたことを特徴とする画像補正装置。
【請求項２】
カメラを直線移動させながら撮影した画像から最大１ラインを取りだしてこれを時間順に且つ１ラインが移動距離に比例するように並べた長尺画像を補正する方法であって、
被撮影物体が画像内のある１平面にのっている場合にこれを被撮影平面とし、前記カメラの移動方向と前記被撮影平面のなす角度を設定する被撮影平面角度設定ステップと、
前記カメラにより撮影された画像中から前記被撮影平面の画像を得る被撮影平面撮影決定ステップと、
前記カメラの移動距離、及び前記被撮影平面と前記カメラの移動方向のなす角度とに基づいて長尺画像を補正し、撮影画像の縮小率を算出するために、前記カメラの移動距離Ｚ、前記被撮影平面と前記カメラの移動方向のなす角度αに基づいて、前記被撮影平面と前記カメラの距離ｄを、
【数２】
0003977653.tif 000006
θ：撮影方向角度（カメラの移動方向とカメラの光軸のなす角度）
により算出する画像補正ステップと、
を有することを特徴とする画像補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ラインセンサカメラまたは一般的なカメラで撮影した画像の１ラインを時間順に並べたとき、景観が物体の距離に応じて画像が小さく撮影され、またそのひずみ方も一般的なカメラと異なる特殊なものとなってしまうが、これを元の形に近く補正する技術に関するものである。
【０００２】
特に、路肩などに駐車した車両のナンバープレートを移動しながらラインセンサカメラで撮影して得られた画像中のプレートの見かけのひずみを補正する方法にも利用できるものである。
【０００３】
【従来の技術】
従来からすでに長尺画像を利用して画像収集および処理が行なわれている。
【０００４】
カメラが固定であって、対象が移動している場合は、対象物体の位置を把握して見かけの大きさ変化を計算で求め、画像を補正する試みは存在する（特願平１０−１７８３０４号公報）。
【０００５】
しかし、撮影カメラ側が移動しながら画像を得、この画像のひずみを補正する処理は知られていない。
【０００６】
【発明が解決しようとする課題】
距離によって処理を行なうパターンが歪んでいると、画像処理によって様々な目標を達成する時のプログラムが複雑になってしまう。
【０００７】
本発明の目的は、対象がある平面上に限定されていて、その平面の位置を特定できる場合に、対象を元の形にまで補正でき、ひいてはその後の認識処理などを単純化することができる画像補正方法を提供することにある。
【０００８】
【課題を解決するための手段】
前記の課題を解決するための本発明は、以下の装置および方法を特徴とする。
【０００９】
（装置の発明）
（１）カメラを直線移動させながら撮影した画像から最大１ラインを取りだしてこれを時間順に且つ１ラインが移動距離に比例するように並べた長尺画像を補正する装置であって、
被撮影物体が画像内のある１平面にのっている場合にこれを被撮影平面とし、前記カメラの移動方向と前記被撮影平面のなす角度を設定する被撮影平面角度設定手段と、
前記カメラにより撮影された画像中から前記被撮影平面の画像を得る被撮影平面撮影決定手段と、
前記カメラの移動距離、及び前記被撮影平面と前記カメラの移動方向のなす角度とに基づいて長尺画像を補正し、撮影画像の縮小率を算出するために、前記カメラの移動距離Ｚ、前記被撮影平面と前記カメラの移動方向のなす角度αに基づいて、前記被撮影平面と前記カメラの距離ｄを、
【数３】
0003977653.tif 000002
θ：撮影方向角度（カメラの移動方向とカメラの光軸のなす角度）
により算出する画像補正手段と、
を備えたことを特徴とする。
【００１１】
（方法の発明）
（２）カメラを直線移動させながら撮影した画像から最大１ラインを取りだしてこれを時間順に且つ１ラインが移動距離に比例するように並べた長尺画像を補正する方法であって、
被撮影物体が画像内のある１平面にのっている場合にこれを被撮影平面とし、前記カメラの移動方向と前記被撮影平面のなす角度を設定する被撮影平面角度設定ステップと、
前記カメラにより撮影された画像中から前記被撮影平面の画像を得る被撮影平面撮影決定ステップと、
前記カメラの移動距離、及び前記被撮影平面と前記カメラの移動方向のなす角度とに基づいて長尺画像を補正し、撮影画像の縮小率を算出するために、前記カメラの移動距離Ｚ、前記被撮影平面と前記カメラの移動方向のなす角度αに基づいて、前記被撮影平面と前記カメラの距離ｄを、
【数４】
0003977653.tif 000003
θ：撮影方向角度（カメラの移動方向とカメラの光軸のなす角度）
により算出する画像補正ステップと、
を有することを特徴とする。
【００１３】
【発明の実施の形態】
本実施形態の画像補正方法を以下に詳細に説明する。
【００１４】
図１は画像の撮影形態の上面図を示し、図２は図１を立体的に示す図である。移動経路１−１はカメラが動く経路、移動方向１−２はカメラが動く方向、撮影方向１−３はカメラの方向、撮影方向角度１−４は移動方向１−２と撮影方向１−３の角度である。
【００１５】
また、被撮影物体１−５は撮影される物体、被撮影平面１−６は被撮影物体１−５が存在する平面、被撮影平面角度１ー７は被撮影平面１−６と移動方向１−２が成す角度である。
【００１６】
また、被撮影平面位置１ー８は被撮影平面１−６と移動経路１−１が交差する位置、撮影位置１−９は移動経路１−１の中のある時間の位置、移動距離１−１０は被撮影平面位置１−８と撮影位置１−９との距離、撮影距離１−１１は撮影位置１−９と被撮影物体１−５の距離である。
【００１７】
図３は本実施形態の画像補正方法のフローを示す。同図において、長尺画像３−１は画像の１ライン毎の画像を時間順に並べて１ラインが移動距離に比例するように並べた画像、移動距離データ３−２は撮影時に得る長尺画像３−１の１ラインがどれだけの距離に相当するかを蓄積したデータである。
【００１８】
また、被撮影平面決定処理３−３は被撮影平面３−２が存在する位置を長尺画像３−１の中でどこにあたるのかを得る処理、画像補正処理３−４は被撮影平面決定処理３−３結果と移動距離データ３−２から画像を補正する処理、補正画像３−５は、画像補正処理３−４で得られた結果である。
【００１９】
上記の被撮影平面決定処理３−３は、基本的には手動で行なうことを想定している。請求項２のように、被撮影平面に平行な向きに第２のカメラが存在する場合は、このカメラの映像から容易に被撮影平面を決定できる。つまり、第２のカメラで撮影された結果には、被撮影平面へ達する前後で撮影内容に非連続が生じる。これが現れた時がその位置である。第２のカメラは被撮影平面に平行に設置されているため、これはこの１箇所しか存在し得ない。
【００２０】
第２のカメラが存在しない場合は、何らかの別の機構を設けて被撮影平面位置を決定する。例えば第２のカメラの方向と同じ方向に距離センサを設置しておけば、そのセンサが不連続を検知した時がその位置となる、全く別の機構で３次元復元を行ない、被撮影平面位置を復元結果から求め、長尺画像の対応位置を得ることもできる。人は被撮影平面位置を容易に知ることができるので、撮影時に位置を記録するすることもできる。
【００２１】
このように、被撮影平面位置は、様々なセンサや手動で簡単に決定できるものである。
【００２２】
次に、画像補正処理３−４の処理の手順を説明する。カメラは移動する車などの上に設置され、移動方向に向かって移動している。被撮影平面は、移動方向とは平行でない。これは、被撮影物体を撮影できている限り成り立つ。被撮影平面位置は、被撮影平面と移動の経路が交差する場所である。被撮影平面位置に相当する位置で撮影された長尺画像の１ラインを距離ゼロとしておく。さらに、カメラが移動すると、図２のような図では図４のような画像が得られる。図４は、平面であった被撮影物体が特殊なゆがみ方をして撮影されている。図５は、図４に被撮影平面位置を加えて示した図である。被撮影物体が平面として延長されていると考えると、被撮影平面位置までこの平面は延びた形になる。
【００２３】
図６は、再び図１，２に戻り、画像補正処理の具体的方法を説明するためのものである。移動距離６−１、被撮影平面位置６−２、被撮影平面角度６−３、撮影位置６−４、撮影方向角度６−５は、図１，２に共通する呼び名であり、図６では計算に必要な数値を示している。また、被撮影位置６−６は撮影位置６−４から撮影される被撮影物体の位置、被撮影物体距離６−７は撮影位置６−５と被撮影位置６−６の距離である。ここで、数式を使うため、移動距離６−１をＺ，１８０度から被撮影平面角度６−３を引いた値をα、撮影方向角度６−５をθ、被撮影物体距離６−７をｄとする。この場合、距離ｄは、以下の演算で得ることができる。
【００２４】
【数５】
0003977653.tif 000004
【００２５】
このように被撮影物体距離６−７が計算できれば、画像内でどれだけ縮小が発生したかを知ることができる。例えば、最も単純な透視投影では、縮小率は距離に比例する。被撮影平面では元の大きさを推定することができる。
【００２６】
図７は、上記の変換を図４に対して行なった結果を示す模式図である。被撮影物体は元の形に変形される。被撮影平面から外れた部分では変形するが、ここは対象ではないため本実施形態では関知することを必要としない。
【００２７】
以上の図の説明は、被撮影平面と移動方向が直交しない場合で説明したが、当然、直交している場合でもすべての計算は同じであり、何の制約もない。
【００２８】
以上のように、ラインセンサカメラ等で撮影された画像では、一般的なカメラからの映像とは異なる変形が発生していたが、被撮影平面を特定することにより、合理的に画像に発生していた変形を元に戻すことができる。
【００２９】
【発明の効果】
以上のとおり、本発明によれば、例えば、ラインセンサカメラを車両に２台設置し、１台は進行方向に垂直に、もう１台は進行方向から前向きに設置する。１台目のカメラで道路から垂直方向の建物面を指定すると、もう１台のカメラの映像の変形を補正して、元の平面の形を復元することができる。これにより、これまで変形がひどいため、立体表面パターンを元の形状に戻すことができなかった場合であっても、これを実現できるようになる。
【図面の簡単な説明】
【図１】本発明の実施形態における画像の撮影形態の上面図。
【図２】図１を３次元的に立体的に見た図。
【図３】実施形態における画像補正方法のフロー。
【図４】実施形態における長尺画像例。
【図５】実施形態における長尺画像例に被撮影平面位置を記載した画像。
【図６】実施形態における画像補正処理の具体的方法を説明するための図。
【図７】実施形態における長尺画像の画像補正結果。
【符号の説明】
１−１…移動経路
１−２…移動方向
１−３…撮影方向
１−４…撮影方向角度
１−５…被撮影物体
１−６…被撮影平面
１−７…被撮影平面角度
１−８…被撮影平面位置
１−９…撮影位置
１−１０…移動距離
１−１１…撮影距離
３−１…長尺画像
３−２…移動距離データ
３−３…被撮影平面決定処理
３−４…画像補正処理
６−１…移動距離
６−２…被撮影平面位置
６−３…被撮影平面角度
６−４…撮影位置
６−５…撮影方向角度
６−６…被撮影位置
６−７…被撮影物体距離
【図１】
0003977653.tif 000007
【図２】
0003977653.tif 000008
【図３】
0003977653.tif 000009
【図４】
0003977653.tif 000010
【図５】
0003977653.tif 000011
【図６】
0003977653.tif 000012
【図７】
0003977653.tif 000013