(57)【特許請求の範囲】
【請求項１】
既知三次元形状の積載面を有する上端開放搬送器が走行する通路上方にステレオ式撮像機対を下向きに支持し、前記撮像機対の視野重畳域全域に分散した複数の既知位置に視標を固定し、撮像機下方に搬送器が無い時に前記撮像機対によるステレオ画像対上の各視標像の二次元座標と前記既知位置とから撮像機対の位置及び向きを標定し、撮像機下方の搬送器通過時に前記撮像機対による搬送器のステレオ画像対上の各点の二次元座標と前記標定した撮像機対の位置及び向きとから搬送器の積載面端縁の三次元座標とその内側の積載物表面の三次元形状とを検出し、前記積載面端縁の三次元座標に位置合わせした前記積載面の既知三次元形状と前記積載物表面の三次元形状とから前記積載物の体積を算出してなる積載物の体積計測方法。
【請求項２】
請求項１の計測方法において、前記搬送器の通過時と次回の通過までの間とに前記積載物表面の三次元形状の検出と前記撮像機対の位置及び向きの標定とを交互に繰り返してなる積載物の体積計測方法。
【請求項３】
請求項１の計測方法において、前記搬送器の通過時に前記ステレオ画像対上の搬送器に重ならない視標像の二次元座標と前記標定した撮像機対の位置及び向きとから該視標の三次元座標と前記既知位置との偏差を検出し、最大許容値以上の偏差が検出されたのち次回の通過までの間に前記撮像機対の位置及び向きを標定し直してなる積載物の体積計測方法。
【請求項４】
請求項１の計測方法において、前記標定時に前記ステレオ画像対上の各視標像の二次元座標を記憶し、前記搬送器の通過時に前記ステレオ画像対上の搬送器に重ならない視標像の二次元座標と前記標定時の二次元座標との偏差を検出し、最大許容値以上の偏差が検出されたのち次回の通過までの間に前記撮像機対の位置及び向きを標定し直してなる積載物の体積計測方法。
【請求項５】
請求項１から４の何れかの計測方法において、前記搬送器の積載面端縁に座標検出用視標を取り付け、前記撮像機の通過時に前記座標検出用視標の三次元座標を検出してなる積載物の体積計測方法。
【請求項６】
請求項１から５の何れかの計測方法において、複数種類の前記搬送器を用いる場合に、前記積載面の既知三次元形状を搬送器種別に記憶し、前記搬送器の通過時に検出した積載面端縁の形状から前記搬送器の種類を識別し、識別した搬送器種の積載面三次元形状から前記積載物の体積を算出してなる積載物の体積計測方法。
【請求項７】
請求項１から５の何れかの計測方法において、前記搬送器にＩＤを付し且つ前記積載面の既知三次元形状を搬送器ＩＤ別に記憶し、各搬送器の積載面外にＩＤ付き視標を上向きに取り付け、前記搬送器の通過時に前記ステレオ画像対上のＩＤ付き視標像から搬送器ＩＤを識別し、識別した搬送器ＩＤと対応する積載面三次元形状から前記積載物の体積を算出してなる積載物の体積計測方法。
【請求項８】
請求項１から７の何れかの計測方法において、前記搬送器を車両又は船の荷台としてなる積載物の体積計測方法。
【請求項９】
上端開放搬送器が走行する通路上方に下向きに支持したステレオ式撮像機対；前記撮像機対の視野重畳域全域に分散した複数の位置に固定した視標；前記搬送器の撮像機下方通過を検知する検知手段；前記搬送器の積載面の三次元形状と前記視標の固定位置とを記憶した記憶手段；前記撮像機対による通路のステレオ画像対を入力し、該画像対上の各視標像の二次元座標と前記固定位置とから撮像機対の位置及び向きを標定する標定手段；前記撮像機対による搬送器のステレオ画像対を入力し、該画像対上の各点の二次元座標と前記標定した撮像機対の位置及び向きとから前記積載面端縁の三次元座標と積載物表面の三次元形状とを検出する画像解析手段；前記検出した積載面端縁の三次元座標へ位置合わせした前記積載面の既知三次元形状と前記積載物表面の三次元形状とから前記積載物の体積を算出する体積算出手段；並びに前記検知手段に接続され且つ前記搬送器の通過時又は次回の通過までの間に前記画像解析手段又は標定手段を起動する制御手段を備えてなる積載物の体積計測装置。
【請求項１０】
請求項９の計測装置において、前記解析手段に、前記ステレオ画像対から前記積載面端縁を認識する端縁認識手段を含めてなる積載物の体積計測装置。
【請求項１１】
請求項１０の計測装置において、前記搬送器の積載面端縁に座標検出用視標を取り付け、前記端縁認識手段により前記ステレオ画像対上の座標検出用視標像から積載面端縁を認識してなる積載物の体積計測装置。
【請求項１２】
請求項９から１１の何れかの計測装置において、前記制御手段により、前記搬送器の通過時と次回の通過までの間とに前記画像解析手段と前記標定手段とを交互に起動してなる積載物の体積計測装置。
【請求項１３】
請求項９から１１の何れかの計測装置において、前記解析手段に、前記ステレオ画像対上の搬送器に重ならない視標像の二次元座標と前記標定した撮像機対の位置及び向きとから該視標の三次元座標と前記既知位置との偏差を検出し且つ最大許容値以上の偏差の検出時に前記制御手段に対して前記標定手段の起動を指示する標定指示手段を設けてなる積載物の体積計測装置。
【請求項１４】
請求項９から１１の何れかの計測装置において、前記標定手段により前記ステレオ画像対上の各視標像の標定時の二次元座標を前記記憶手段に記憶し、前記解析手段に、前記ステレオ画像対上の搬送器に重ならない視標像の二次元座標と前記標定時の二次元座標との偏差を検出し且つ最大許容値以上の偏差の検出時に前記制御手段に対して前記標定手段の起動を指示する標定指示手段を設けてなる積載物の体積計測装置。
【請求項１５】
請求項９から１４の何れかの計測装置において、複数種類の前記搬送器を用いる場合に、前記記憶手段に各搬送器の積載面の三次元形状を搬送器種別に記憶し、前記解析手段に前記搬送器の積載面端縁の形状から搬送器種を識別する搬送器識別手段を設け、前記体積算出手段により前記識別した搬送器種の積載面三次元形状から前記積載物の体積を算出してなる積載物の体積計測装置。
【請求項１６】
請求項９から１４の何れかの計測装置において、前記搬送器にＩＤを付し且つ各搬送器の積載面外にＩＤ付き視標を上向きに取り付け、前記記憶手段に各搬送器の積載面の三次元形状を搬送器ＩＤ別に記憶し、前記解析手段に前記ステレオ画像対上のＩＤ付き視標像から搬送器ＩＤを検出する搬送器識別手段を設け、前記体積算出手段により前記識別した搬送器ＩＤと対応する積載面三次元形状から前記積載物の体積を算出してなる積載物の体積計測装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は積載物の体積計測方法及び装置に関し、とくに走行する上端開放搬送器上に積載した土砂や掘削ズリ、廃棄物等の積載物の体積を計測する方法及び装置に関する。
【０００２】
【従来の技術】
従来、ダンプトラックの荷台（以下、ベッセルということがある。）等の積載土砂の体積（以下、土量ということがある。）を計測するため、図８に示すように、非接触式距離計（超音波距離計、光波距離計、レーザ距離計等）を用いた土量計測方法が提案されている。同図では、例えばダンプトラック等の通路の上方に複数の非接触式距離計38を通路走行方向と交差する方向に一列又は複数列に並べて配置し、トラックを一定速度で移動させながら各距離計38によりベッセル２の積載土砂１の表面までの距離を計測する。各距離計38の位置と各距離計38による計測距離とトラックの移動量とから積載土砂表面の複数点の三次元座標を計測し、積載土砂１の表面の三次元形状を求める。求めた積載土砂１の表面の三次元形状とベッセル２の積載面（内面）形状とから、土量を算出することができる。図９に示すように、単独の揺動式の非接触式距離計38を通路の上方に設け、非接触式距離計38を扇状に揺動させながら積載土砂１の表面上を通路走行方向と交差する方向に線状に走査し、積載土砂１の表面上の複数点の三次元位置を計測する方法もある。
【０００３】
しかし、図８及び９に示す方法は、積載土砂１の荷重によりベッセル２が沈み込んだり揺動したりする場合に、積載土砂１表面の形状とベッセル２内面の形状との位置合わせが難しい問題点がある。積載土砂１表面の形状とベッセル２内面の形状との位置合わせに誤差があると、精確な土量の算出が難しくなる。また、非接触式距離計38の相互干渉等や非接触式距離計38の配置間隔の粗さも土量の算出精度を下げる原因となる。精度向上のために非接触式距離計38の配置間隔を狭くして計測点数を増やす方法も考えられるが、この方法では距離計38の設置台数を増やす必要あるだけでなくベッセルの移動速度を遅くする必要があり、費用の面で高コストとなり計測時間もかかる。
【０００４】
非接触式距離計38を用いた土量計測方法に対し、本発明者等は、ステレオ写真測量技術を用いて面的に積載土砂表面の三次元形状及び土量を計測する方法を開発し、特開2000-304511公報に開示した。図１０を参照するに、同公報の土量計測方法は、三次元形状が既知の上端開放搬送器42内に土41を積載し、下向き三次元画像計測装置45により搬送器42の上端縁43a及び積載土41の表面の三次元座標を計測し、上端縁43aの三次元座標から搬送器42の形状の三次元座標を定め、積載土41の表面の三次元座標と搬送器42の形状の三次元座標とから土41の容積を算出するものである。図示例の三次元画像計測装置45は、例えばＣＣＤカメラ装置である一対のステレオ式撮像機52R、52Lと、格子状に組み合わせた可視スリット光の群（以下、メッシュ光という。）を投光する投光器50と、撮像機52R、52Lによる一対の二次元画像から三次元座標を算出する座標算出手段55とを有し、三次元画像計測法の一例であるステレオ画像法（以下、ステレオ測量ということがある。）に基づき計測対象の三次元座標を計測するものである。
【０００５】
ステレオ測量とは、異なる位置に設けた一対の撮像機52R、52Lにより計測対象を異なる向きから撮影し、２枚の写真の重畳部分における対象の像の二次元座標（像に対応する水平画素及び垂直画素の画像上での位置座標をいう。以下同じ。）からステレオ変換パラメータに基づく画像解析により対象の三次元座標及び／又は三次元形状を求める画像計測法である。ステレオ測量によれば、画像解析には数分程度の時間を要するが撮影は瞬時に完了するため、土量を短時間で計測することができる。また、必要機材として少なくとも２台の撮像機52R、52Lと画像解析用のコンピュータ等があれば足りるため、システムの低コスト化を図ることができる。しかも図１０の計測方法によれば、積載土41の表面形状と搬送器42の内面形状とを精確に位置合わせすることができ、搬送器42が沈み込んだり揺動した場合でも積載土量の精確な計測が可能である。
【０００６】
【発明が解決しようとする課題】
しかし、図１０の土量計測方法においても、トラック等の走行に伴う振動等によって撮像機52R、52Lの位置や向きが変動し得る問題点がある。前述したステレオ変換パラメータには、カメラの撮影位置及び向き（以下、外部パラメータということがある。）が含まれる。カメラの位置や向きが変動しなければ、計測開始当初のステレオ変換パラメータを用いてステレオ測量を継続することができる。しかし、カメラの位置や向きが変動し得る環境下では、当初の変換パラメータを用いてステレオ測量を継続すると、計測精度が低下するおそれがある。
【０００７】
そこで本発明の目的は、振動等が生じる環境下でも精確な計測が維持できる積載物の体積計測方法及び装置を提供することにある。
【０００８】
【課題を解決するための手段】
図１のシステムブロック図、及び図２、３の流れ図を参照するに、本発明の積載物の体積計測方法は、既知三次元形状31（図７（Ａ）参照）の積載面３を有する上端開放搬送器２が走行する通路５の上方にステレオ式撮像機対10a、10bを下向きに支持し、撮像機対10a、10bの視野重畳域全域に分散した複数の既知位置に視標７を固定し、撮像機下方に搬送器２が無い時に撮像機対10a、10bによるステレオ画像対IgL0、IgR0（図４参照）上の各視標７の像の二次元座標と各視標７の既知位置とから撮像機対10a、10bの位置及び向きを標定し、撮像機下方の搬送器２の通過時に撮像機対10a、10bによる搬送器２のステレオ画像対IgL、IgR（図５参照）上の各点の二次元座標と前記標定した撮像機対10a、10bの位置及び向きとから搬送器２の積載面端縁４の三次元座標とその内側の積載物１表面の三次元形状32（図７（Ｂ）参照）とを検出し、積載面端縁４の三次元座標に位置合わせした前記積載面３の既知三次元形状31と前記積載物１表面の三次元形状32とから積載物１の体積を算出してなるものである。
【０００９】
好ましくは、搬送器２の通過時と次回の通過までの間とに前記積載物１表面の三次元形状32の検出と前記撮像機対10a、10bの位置及び向きの標定とを交互に繰り返す。すなわち、撮像機対10a、10bによるステレオ測量と撮像機対10a、10bの外部パラメータの標定とを交互に繰り返す。
【００１０】
また、撮像機対10a、10bの外部パラメータの標定は、撮像機対10a、10bの位置又は向きがズレた（変動した）場合にのみ行うこととしてもよい。例えば、搬送器２の通過時にステレオ画像対IgL、IgR上の搬送器２に重ならない視標７の像の二次元座標と前記標定した撮像機対10a、10bの位置及び向きとから該視標７の三次元座標と既知位置との偏差を検出し、最大許容値以上の偏差が検出されたときは次回の通過までの間に撮像機対10a、10bの位置及び向きを標定し直す。この場合、撮像機対10a、10bの位置や向きのズレ（変動）を、視標７の三次元座標と既知位置との偏差から判断している。
【００１１】
撮像機対10a、10bの位置又は向きのズレは、視標７の三次元座標と既知位置との偏差に代えて、標定時におけるステレオ画像対IgL0、IgR0上の視標像の二次元座標と搬送器２の通過時におけるステレオ画像対IgL、IgR上の視標像の二次元座標との偏差から判断することができる。すなわち、標定時にステレオ画像対IgL0、IgR0上の各視標７の像の二次元座標を記憶し、搬送器２の通過時にステレオ画像対IgL、IgR上の搬送器２に重ならない視標７の像の二次元座標と前記標定時の二次元座標との偏差を検出し、最大許容値以上の偏差が検出されたときは次回の通過までの間に撮像機対10a、10bの位置及び向きを標定し直す。
【００１２】
また図１のシステムブロック図を参照するに、本発明の積載物の体積計測装置は、上端開放搬送器２が走行する通路５の上方に下向きに支持したステレオ式撮像機対10a、10b；撮像機対10a、10bの視野重畳域全域に分散した複数の位置に固定した視標７；搬送器２の撮像機下方通過を検知する検知手段11；搬送器２の積載面３の三次元形状31（図７（Ａ）参照）と視標７の固定位置とを記憶した記憶手段15；撮像機対10a、10bによる通路５のステレオ画像対IgL0、IgR0（図４参照）を入力し、該画像対IgL0、IgR0上の各視標７の像の二次元座標と各視標７の固定位置とから撮像機対10a、10bの位置及び向きを標定する標定手段19；撮像機対10a、10bによる搬送器２のステレオ画像対IgL、IgR（図５参照）を入力し、該画像対IgL、IgR上の各点の二次元座標と前記標定した撮像機対10a、10bの位置及び向きとから積載面端縁４の三次元座標とその内側の積載物１表面の三次元形状32（図７（Ｂ）参照）とを検出する画像解析手段20；検出した積載面端縁４の三次元座標へ位置合わせした前記積載面３の既知三次元形状31と前記積載物１表面の三次元形状32とから積載物１の体積を算出する体積算出手段26；並びに検知手段11に接続され且つ搬送器２の通過時又は次回の通過までの間に画像解析手段20又は標定手段19を起動する制御手段18を備えてなるものである。
【００１３】
好ましくは、制御手段18により、搬送器２の通過時と次回の通過までの間とに画像解析手段20と標定手段19とを交互に起動し、撮像機対10a、10bによるステレオ測量と撮像機対10a、10bの外部パラメータの標定とを交互に繰り返す。
【００１４】
また、解析手段20に、ステレオ画像対IgL、IgR上の搬送器２に重ならない視標７の像の二次元座標と前記標定した撮像機対10a、10bの位置及び向きとから該視標７の三次元座標と前記既知位置との偏差を検出し且つ最大許容値以上の偏差が検出された時に制御手段18に対して標定手段19の起動を指示する標定指示手段22を設け、撮像機対10a、10bの位置又は向きがズレた（変動した）場合にのみ撮像機対10a、10bの外部パラメータの標定を行うこととしてもよい。
【００１５】
標定手段19によりステレオ画像対IgL0、IgR0上の各視標７の像の標定時の二次元座標を記憶手段15に記憶し、解析手段20に、ステレオ画像対IgL、IgR上の搬送器２に重ならない視標７の像の二次元座標と前記標定時の二次元座標との偏差を検出し且つ最大許容値以上の偏差の検出時に制御手段18に対して標定手段19の起動を指示する標定指示手段22を設け、標定時における視標像の二次元座標と搬送器２の通過時における視標像の二次元座標との偏差から撮像機対10a、10bの位置又は向きのズレを判断してもよい。
【００１６】
【発明の実施の形態】
図１は本発明の計測装置のシステムブロック図の一例を示す。図示例は、トラック等の車両のベッセルを上端開放搬送器２とし、ベッセル上に積載した土量を計測する実施例を示す。但し、搬送器２はトラックベッセルに限定されず、上端開放のものであれば足りる。また、積載物も土砂に限定されない。例えば、土石や掘削ズリ、廃棄物等を運搬する水上の運搬船等に対して本発明を適用し、船の荷台の積載物の体積を計測することができる。
【００１７】
図１に示すように、本発明の計測装置は、上端開放搬送器２が走行する通路５の上方に支持した一対のステレオ式撮像機対10a、10bを有する。図示例では、通路５を跨ぐ一対の門型部材8a、8aとそれらの頂端間を連結する梁部材8bとを有する支持枠８の頂部に撮像機対10a、10bを下向きに取り付けているが、撮像機対10a、10bの支持方法は図示例に限定されない。撮像機10の一例はＣＣＤカメラ等のデジタルカメラであるが、従来の光学フィルム式カメラを用いることも可能であり、その場合は撮像機10の出力端にフィルム画像をデジタルデータに変換するスキャナー等を設ける。撮像機対10a、10bの支持位置は、両撮像機対10a、10bの重複範囲（重畳域）に搬送器２の積載面３全体が収まるように検討のうえ決定することができる。撮像機10は少なくとも２台必要であるが、積載面３が広い場合や測定精度向上を図る場合は３台以上の撮像機10を使用してもよい。
【００１８】
搬送器２の積載面３の三次元形状31は予め計測し、後述する記憶手段15に記憶する。例えば、積載面３の三次元形状31をＣＡＤ等で作成した搬送器２の三次元設計データや後述するデジタル標高モデルによるデータ、又はデジタル標高モデル等が作成できる内寸形状等の数値データとして記憶することができる。また、積載前の搬送器２を撮像機対10a、10bの下方に位置付け、撮像機対10a、10bによるステレオ画像対から積載面３の三次元形状31を求めてもよい。積載面３の三次元形状31の一例を図７（Ａ）に示す。複数種類の搬送器２を用いる場合は、搬送器２の種類別に積載面３の三次元形状31を記憶手段15にデータベースとして記憶しておくことができる。記憶手段15に記憶した積載面３の三次元形状31は、後述する積載物１の体積の算出に使用する。
【００１９】
支持枠８には、搬送器２による撮像機対10a、10bの下方の通過を検知するための検知手段11を取り付ける。図示例の検知手段11は、撮像機対10a、10bの視野重畳域内、好ましくは視野重畳域の中心に搬送器２が到達したときに、搬送器２の通過又は進入を検知するものである。検知手段11としては、例えば一対の透過型／反射型光電センサ、超音波センサ、近接センサ等を使用することができる。例えば透過型光電センサを用いる場合は、通路５を介して発光器と受光器とを対向させて配置し、発光器から受光器へ向けて赤外光を飛ばして受光器に常時受光させ、受光器の受光遮断により搬送器２の通過を検知する。
【００２０】
また、撮像機対10a、10bの下方の通路５上には、図４に示すように、撮像機対10a、10bの位置及び向きの標定（以下、外部パラメータの標定、又は単に外部標定ということがある。）に使用する視標７を撮像機対10a、10bの視野重畳域（図４に示す右斜線の視野と左斜線の視野とが重なる領域）の全域に分散させて固定する。外部パラメータの標定に際しては、視野重畳域の全域に分散した視標７を用いることが好ましい。通路５上に視標７を分散して固定することにより、視野重畳域の全域に視標７が分散した外部標定用画像を適宜撮影することができる。
【００２１】
外部パラメータの標定のためには、同一直線状に位置せず且つその三次元座標を別途測量等により高精度に求めて後述する記憶手段15に記憶した３点以上の点、及びそれらを含む５点以上の視標７を固定する必要がある。
【００２２】
更に図示例の計測装置は、記憶手段15、標定手段19、画像解析手段20、体積算出手段26、及び画像解析手段20又は標定手段19を起動する制御手段18を備えたコンピュータ14を有する。記憶手段15の一例は、コンピュータ14に設けたメモリ又は外部記憶装置である。標定手段19の一例は、撮像機対10a、10bによる通路５のステレオ画像対IgL0、IgR0（図４参照）を入力し、画像対IgL0、IgR0上の各視標７の像の二次元座標と各視標７の固定位置とから撮像機対10a、10bの外部パラメータを標定するコンピュータ14内蔵のプログラムである。また、画像解析手段20の一例は、撮像機対10a、10bによる搬送器２のステレオ画像対IgL、IgR（図５参照）を入力し、画像対IgL、IgR上の各点の二次元座標と前記標定した外部パラメータとから搬送器２の積載面端縁４の三次元座標と積載物１表面の三次元形状32とを検出するコンピュータ14内蔵のプログラムである。また、体積算出手段26及び制御手段18の一例もコンピュータ14に内蔵のプログラムである。
【００２３】
図示例の画像解析手段20は三次元形状検出手段24を有する。三次元形状検出手段24は、例えばステレオ画像対IgL、IgRから一方の画像IgL上の各画素と対応する他方の画像IgR上の画素をテンプレートマッチング等のステレオマッチング画像処理技術により検出し、対応する画素対の二次元座標と撮像機対10a、10bの内部及び外部パラメータとから当該画素の三次元座標を算出し、ステレオ画像対IgL、IgR上の各画素に対応する三次元座標から撮影対象物のデジタル標高モデル（Digital Elevation Model。以下、DEMということがある。）を作成する。このように適当なステレオマッチング画像処理技術を用いてステレオ画像対IgL、IgRから撮影対象物のDEMを作成するプログラムは従来技術に属する。
【００２４】
但し、DEM作成時間の短縮のため、また不必要なデータによるDEM精度の低下を防止するため、画像全体から実際に必要な範囲を限定してDEMを作成することが望ましい。図１の実施例では、搬送器２の積載面３（図６（Ｂ）参照）の範囲に限定してDEMを作成すれば足りるものの、搬送器２が常に同じ位置を走行するとは限らないので、計測の都度、搬送器２の走行位置に合わせて積載面３の位置や傾き等を認識してDEMの作成範囲を設定する必要がある。図示例の画像解析手段20はステレオ画像対IgL、IgRから積載面３の端縁４（図６（Ｂ）参照）を認識する端縁認識手段21を有し、端縁認識手段21により認識された積載面端縁４によってDEM解析範囲を画定している。
【００２５】
図２は、図１のコンピュータ14による処理の流れ図の一例を示す。以下、図２を参照して、本発明による積載物の体積計測方法を説明する。先ずステップ201において、計測前に撮像機対10a、10bの内部パラメータを標定する。例えば、撮像機対10a、10bにより専用の標定治具を撮影し、その画像を解析することにより内部パラメータの標定を行う。また、計測中に撮像機対10a、10bの内部パラメータが変化しないように、例えばレンズを固定することが望ましい。内部パラメータの標定は、撮像機対10a、10bを通路５の上方に支持する前又は後に行うことができる。
【００２６】
ステップ202において、例えばコンピュータ14の制御手段18が検知手段11の出力信号がないことから通過の間であると判断し、通路５の上方に支持した撮像機対10a、10bに対して撮影を指示し、例えば図４に示すような視野重畳域全域に視標７が分散した外部標定用のステレオ画像対IgL0、IgR0を撮影する。撮影した外部標定用の画像対IgL0、IgR0はコンピュータ14へ入力される。ステップ203において制御手段18により標定手段19が起動され、入力された画像対IgL0、IgR0に基づき標定手段19が撮像機対10a、10bの外部パラメータを標定する。外部パラメータの標定により撮像機対10a、10bの位置と向きとが求まる。
【００２７】
ステップ202及び203は、搬送器２が撮像機対10a、10bの下方にない時に、制御手段18を自動又は手動で起動して行うことができる。搬送器２が撮像機対10a、10bの撮影範囲内にある場合は、視標７の少なくとも一部分が搬送器２により隠されてしまうため、搬送器２の通過時の画像から外部パラメータの精確な標定を行うことは困難である。本発明は、搬送器２が撮像機対10a、10bの下方にないことを条件として外部標定用画像の撮影を随時可能とすることにより、撮像機対10a、10bによるステレオ測量を中断することなく、撮像機対10a、10bの外部パラメータの適宜な修正を可能としたものである。
【００２８】
ステップ204において検知手段11により撮像機対10a、10b下方の搬送器２の通過を検知し、通過を検知した場合はステップ205において撮像機対10a、10bに対して同時撮影を指示し、図５に示すような搬送器２のステレオ画像対IgL、IgRを撮影する。撮影した画像対IgL、IgRはコンピュータ14へ入力される。図１のブロック図では、検知手段11の出力信号をコンピュータ14の制御手段18に入力し、制御手段18が２台の撮像機対10a、10bに対してそれぞれ同時撮影を指示している。但し、検知手段11の出力信号を分岐させて撮像機対10a、10bに直接入力することにより撮影指示信号としてもよい。撮像機対10a、10bによる撮影は、搬送器２が走行中に可能であるが、搬送器２を停止させた上で行ってもよい。走行中に撮影を行う場合は、走行時の搬送器２の揺れの影響を少なくするため、撮像機対10a、10bのシャッター速度を速くすることが望ましい。また撮影のため、適宜照明を設置することができる。
【００２９】
ステップ206において、制御手段18により画像解析手段20が起動され、コンピュータ14に入力された画像対IgL、IgRを画像解析手段20により処理する。画像解析手段20では、先ず端縁認識手段21が画像対IgL、IgRから例えば通路５と搬送器２及び積載面３との彩度や明度の違いを利用して積載面端縁４を認識し、次に端縁の位置関係（例えば、端縁として抽出された直線同士の交点）から画像対IgL、IgRにおける積載面端縁４の基準部位30の二次元座標を検出する（図５参照）。
【００３０】
また、図５の実施例に示すように、搬送器２の積載面端縁４の基準部位30に座標検出用視標28を取り付けた上でステレオ画像対IgL、IgRを撮影し、端縁認識手段21が画像対IgL、IgRから例えばテンプレートマッチング等の画像処理により座標検出用視標28の像を抽出することにより積載面端縁４を認識し、積載面端縁４の基準部位30の二次元座標を検出することも可能である。基準部位30の二次元座標は、ステップ207におけるDEM作成処理において三次元座標に変換され、搬送器２上の積載物１の範囲を限定するために使用する。また、ステップ209における積載面３の既知三次元形状31と積載物１表面の三次元形状32との位置合わせに使用する。
【００３１】
なお、搬送器２が複数種類ある場合は画像解析手段20に搬送器識別手段23（図１参照）を設け、ステップ206において搬送器識別手段23により搬送器２の種類を識別することができる。搬送器識別手段23は、例えば端縁認識手段21により認識された積載面端縁４の形状から積載面サイズ等を算出し、積載面サイズ等から搬送器２の種類を識別する。また、図５の実施例に示すように、各搬送器２にＩＤを付すと共に搬送器２の積載面３の外にＩＤ付き視標29を上向きに取り付け、搬送器識別手段23が画像対IgL、IgR上のＩＤ付き視標29の像から搬送器ＩＤすなわち搬送器２を識別することも可能である。この場合は、コンピュータ14の記憶手段15に積載面３の三次元形状31を搬送器の種類別又は搬送器ＩＤ別に記憶し、ステップ208において識別手段23により識別された搬送器２の種類に応じた積載面３の三次元形状31を呼び出して、ステップ209における積載物１の体積算出に使用する。但し、単一種類の搬送器２を用いる場合は、ステップ208は不要である。
【００３２】
従来からナンバープレート等を利用してトラック等の搬送器２を識別する方法は提案されているが、土木工事現場等ではナンバープレートが泥等の付着により視認困難になることがある。また撮影機材を別途用意する必要もあり、ハードウェア構成が複雑になる。本発明では、積載面端縁４の形状や泥等が付着し難い部位に取付けたＩＤ付き視標29を用いて搬送器２を識別することができるので、土木工事現場においても識別困難となるおそれが小さい。また、計測用の撮像機対10a、10bを用いて搬送器２を識別できるので、識別用の特別の装置等を必要としない。
【００３３】
ステップ207は、端縁認識手段21により認識された積載面端縁４に基づき、その内側の積載物１の表面の三次元形状32（DEM）を検出する処理を示す。図６はステップ207における処理の一例を示し、同図（Ａ）は座標検出用視標28を取り付けた積載面端縁４の基準部位30の内側に限定して積載物１の表面のDEMを作成することを示す。図示例のように積載面端縁４の範囲よりもDEM作成範囲が狭い場合は、同図（Ｂ）に示すように、DEM作成範囲の外周縁と積載面端縁４との間に例えば次の方法で標高データを外挿することにより積載物１の表面の三次元形状32を作成する。例えば積載面端縁４の標高よりもDEM作成範囲の外周縁の標高が低い場合は、その外周縁の標高を外挿する。また、積載面端縁４の標高よりもDEM作成範囲の外周縁の標高が高い場合は、外周縁と積載面端縁４とを結ぶ斜面を外挿する。但し、外挿方法はこの例に限定されない。図７（Ｂ）は、ステップ207において検出された積載物１の表面の三次元形状32（DEM）の一例を示す。なお、ステップ207において積載面端縁４の基準部位30の三次元座標が求まる。
【００３４】
ステップ209において、体積算出手段26により、ステップ208で呼び出した積載面３の三次元形状31（図７（Ａ）参照）を、ステップ207で求めた積載面端縁４の基準部位30へ位置合わせすることにより、積載物１の表面の三次元形状32と重ね合わせる（同図（Ｃ）参照）。同図（Ａ）に示すように、積載面３の三次元形状31のデータには積載面端縁４の基準部位30の相対三次元座標データを含めることができ、基準部位30の相対三次元座標データをステップ207で求めた基準部位30の三次元座標と一致させることにより、積載面３の三次元形状31と積載物表面の三次元形状32とを容易に且つ精確に位置合わせすることができる。両者を位置合わせした後、所定平面に対する両者の標高差と単位面積とを乗じた値を積載物１の全体について積分する方法（柱状法又は点高法）により、積載物１の体積を算出することができる。
【００３５】
ステップ209で積載物１の体積を算出した後、図２の流れ図ではステップ202へ戻り、後続の搬送器２に対してステップ202〜209を繰り返す。この流れ図によれば、搬送器２の通過の間における撮像機対10a、10bの外部パラメータの標定と、搬送器２の通過時における積載物１表面の三次元形状32の検出及び積載物１の体積算出とを交互に繰り返すことができるので、搬送器２の走行に伴う振動等によって撮像機対10a、10bの位置や向きが変動した場合であっても、次回の体積算出時までに撮像機対10a、10bの外部パラメータを修正（再標定）することができ、三次元形状又は体積の高精度の算出を維持できる。
【００３６】
また本発明によれば、画像全体から必要な範囲を限定して積載物表面の三次元形状32を検出できるので、不必要なデータによる検出精度の低下を防止して、走行する搬送器２上の積載物体積を迅速且つ高精度に算出できる。積載物体積の高精度算出により、例えば土量等に関する管理レベルの向上を図ることができる。更に、搬送器２が複数種類ある場合でも、積載面端縁４の形状等から搬送器２を識別して搬送器２毎の積載物体積を精確に求めることができ、積載物の自動計測による施工管理の簡易化、コスト低減等への寄与も期待できる。
【００３７】
こうして本発明の目的である「振動等が生じる環境下でも精確な計測が維持できる積載物の体積計測方法及び装置」の提供が達成できる。
【００３８】
ステップ207において検出されたDEMデータや積載面端縁４の基準部位30の三次元座標は、例えば図１に示す出力装置16に出力して他の用途等に供することができる。また、ステップ209において、計測日時、積載物の体積、ダンプ・ベッセル等の搬送器の種別、撮影写真等を必要に応じ組み合わせて帳票を作成し、出力装置16に出力することができる。更に、必要に応じて積載物１の体積を累積し、施工総合管理等に利用することができる。
【００３９】
【実施例】
図３は、図１のコンピュータ14における処理の他の一例の流れ図を示す。同流れ図では、撮像機対10a、10bによるステレオ測量と撮像機対10a、10bの外部パラメータの標定とを交互に繰り返す方法（常時標定型）に代えて、撮像機対10a、10bの位置又は向きがズレた場合にのみ撮像機対10a、10bの外部パラメータの標定を行う方法（常時チェック型）を示す。図２に示す常時標定型の方が精度の面において確実であるが、搬送器２の通過の前後に標定用画像の撮影を行う時間を確保するのが困難である場合や、カメラ取付位置・向きのズレが比較的起こり難いので標定に要する時間をできるだけ節約したい場合には、図３に示す常時チェック型が有利である。
【００４０】
常時標定型では撮像機対10a、10bの位置や向きのズレを確認する必要はないが、常時チェック型では、画像解析手段20に標定指示手段22を設け、標定指示手段22において、搬送器２の通過時に撮像機対10a、10bによるステレオ画像対IgL、IgR上の搬送器２に重ならない視標（以下、非重畳視標という。）７の像を用いて、撮像機対10a、10bの位置又は向きのズレをチェックする。すなわち、図３のステップ306において、搬送器２の通過時の画像対IgL、IgR上からテンプレートマッチング等の画像処理により非重畳視標７の二次元座標を抽出し、抽出した二次元座標と撮像機対10a、10bの外部パラメータとにより非重畳視標７の三次元座標を検出し、検出した三次元座標と当該視標７の既知位置との偏差を算出する。
【００４１】
撮像機対10a、10bの位置や向きが変動した場合は、非重畳視標７の画像対IgL、IgR上における二次元座標及び検出された三次元座標もズレるので、前記既知位置との偏差は撮像機対10a、10bの位置や向きの変動の関数であるといえる。偏差が許容範囲内である場合は、外部パラメータの再標定を行わずに図３のステップ304〜309を繰り返す。最大許容値以上の偏差が検出された場合は標定指示手段22が制御手段18に対して標定手段19の起動（ステップ302、303の起動）を指示し、次回の搬送器の通過までの間に撮像機対10a、10bにより外部標定用の画像対IgL0、IgR0を撮影し（ステップ302）、標定手段19により撮像機対10a、10bの外部パラメータを標定し直す（ステップ303）。
【００４２】
なお、ステップ306において、通過時におけるステレオ画像対IgL、IgR上の視標像の二次元座標とステップ303の標定時におけるステレオ画像対IgL0、IgR0上の視標像の二次元座標との偏差から、撮像機対10a、10bの位置又は向きのズレを簡易に判断することができる。すなわち、ステップ303においてステレオ画像対IgL0、IgR0上の各視標７の像の二次元座標を標定手段19によって記憶手段15に記憶し、ステップ306において、画像解析手段20の標定指示手段22により、搬送器２の通過時の画像対IgL、IgR上における非重畳視標７の二次元座標と該非重畳視標７の標定時における画像対IgL0、IgR0上の二次元座標との偏差を算出する。最大許容値以上の偏差が検出されたときは、標定指示手段22が制御手段18に対して標定手段19の起動（ステップ302、303の起動）を指示し、次回の通過までの間に撮像機対10a、10bの外部パラメータを標定し直す。
【００４３】
図３の流れ図によれば、不必要な外部パラメータの標定作業を避け、体積計測の迅速化を図ることが期待できる。なお、図３のステップ301〜305、307〜309における各処理内容は、図２のステップ201〜205、207〜209における処理とそれぞれ同様のものである。
【００４４】
［実験例１］
図１の構成の計測装置を用い、図２又は３の流れ図に従ってトラック・ベッセル上の土量を算出する実験を行った。本実験では、全長11ｍ×高さ９ｍ×幅６ｍ、門型開口部高さ4.3ｍの支持枠８を使用し、支持枠８の頂部に取付けた2000×1312画素のデジタルカメラ２台（焦点距離18mm）により、全長4.4ｍ×全幅3.3ｍ×高さ2.6ｍのベッセル上の土量を計測した。
【００４５】
本発明装置の計測精度を評価するための比較対照となる適当な方法がないため、撮像機10の標定精度、DEMの形状精度、及び土量算出値の安定性から本発明の計測精度を評価した。先ず撮像機10の標定精度として、通路５に固定した各視標７についてステップ203又はステップ303で標定した撮像機10の三次元座標（計測値）と測量等により求めた撮像機10の三次元座標（真値）との比較の結果、標定結果の計測値と真値との最大誤差は水平方向3.0mm、垂直方向7.3mm程度であり、誤差の標準偏差は水平方向1.2mm、垂直方向3.3mm程度であり、本発明による標定結果は真値と高い精度で一致することが確認できた。また、ステップ207又はステップ307で求めた積載物表面のDEM形状とその積載物表面をRTK-GPSで実際に測量した三次元座標とを比較した結果、同一測定点における垂直精度は、最大誤差30mm、標準偏差12mmであった。さらに、同一の積載物の体積を本発明の計測方法で10回計測したところ、計測体積の標準偏差は平均値の約0.4％であり、十分に安定した算出値が得られることが確認できた。
【００４６】
【発明の効果】
以上説明したように、本発明の積載物の体積計測方法及び装置は、既知三次元形状の積載面を有する上端開放搬送器が走行する通路上方にステレオ式撮像機対を下向きに支持し、撮像機対の視野重畳域全域に分散した複数の既知位置に視標を固定し、撮像機下方に搬送器が無い時に撮像機対の外部パラメータを標定し、標定した外部パラメータを用いて撮像機下方を通過する搬送器の積載物表面の三次元形状を検出し、積載面の既知三次元形状と前記積載物表面の三次元形状とから積載物の体積を算出するので、次の顕著な効果を奏する。
【００４７】
（イ）トラック等の走行に伴う振動が生じる環境下においても、トラック等の積載物の体積を直接的に且つ精確に計測できる。
（ロ）撮像機の外部パラメータの標定を高精度にできるだけでなく、撮像機の位置や向きのずれを随時チェックすることができ、計測の精度及び信頼性が向上する。
（ハ）積載面端縁の検出により必要なステレオ解析範囲を絞ることができ、画像解析時間を短縮することができ、積載物の体積を迅速に算出できる。
（ニ）また、積載面端縁の検出により積載物表面の三次元形状（DEMデータ）と積載面の三次元形状との位置合わせを高精度に行うことができ、積載物の体積の算出精度が向上できる。
（ホ）積載物体積の精確な計測により、積載物搬送の施工管理の質及びレベルの向上が期待できる。
（ヘ）撮像機とコンピュータという簡単なシステム構成で積載物の体積を算出することができ、システムの低コスト化を図ることができる。
（ト）ダンプトラックや土運搬船を始め、広範囲な形状の搬送器に適用することが期待できる。
（チ）撮影から土量算出までを自動で処理することが可能であり、積載物体積計測の自動化を図ることができる。
【図面の簡単な説明】
【図１】は、本発明の一実施例のシステムブロック図である。
【図２】は、本発明方法の流れ図の一例である。
【図３】は、本発明方法の流れ図の他の一例である。
【図４】は、通路上に配置した視標の説明図である。
【図５】は、ステレオ画像対の説明図である。
【図６】は、ステレオ画像対からの三次元形状検出方法の説明図である。
【図７】は、積載物の体積算出方法の説明図である。
【図８】は、従来の土量計測方法の一例の説明図である。
【図９】は、従来の土量計測方法の他の一例の説明図である。
【図１０】は、従来の土量計測方法の更に他の一例の説明図である。
【符号の説明】
１…積載物（積載土砂）  ２…上端開放搬送器（ベッセル）
３…積載面              ４…積載面端縁
５…通路                ７…視標
８…支持枠              10…ステレオ式撮像機
11…検知手段            14…コンピュータ
15…記憶手段            16…出力装置
18…制御手段            19…標定手段
20…画像解析手段        21…端縁認識手段
22…標定指示手段        23…搬送器識別手段
24…三次元形状検出手段
26…体積算出手段        28…座標検出用視標
29…ＩＤ付き視標        30…基準部位
31…積載面の三次元形状
32…積載物表面の三次元形状
38…非接触式距離計
41…土（積載土）        42…上端開放搬送器
43a…搬送器上端縁       43b…搬送器積載面
45…三次元画像計測装置  46…記憶手段
47…座標割付手段        48…容積算出手段
49…重量測定装置        50…投光器
52R、52L…撮像機        53…メッシュ光制御回路
54…映像入力ボード      55…座標算出手段
56…コンピュータ
【図１】
0003867955.tif 000002
【図２】
0003867955.tif 000003
【図３】
0003867955.tif 000004
【図４】
0003867955.tif 000005
【図５】
0003867955.tif 000006
【図６】
0003867955.tif 000007
【図７】
0003867955.tif 000008
【図８】
0003867955.tif 000009
【図９】
0003867955.tif 000010
【図１０】
0003867955.tif 000011