(57)【要約】【課題】産業車両の前方視界を改善し、操作性、安全性の向上を可能とした産業車両の視界改善システム及び方法を提供する。【解決手段】座席の前方に遮蔽物を有する産業車両の視界を改善するためのシステムであって、産業車両のオペレータ５に装着され外部景色を透過するとともに画像を投影するヘッドマウントディスプレイ１１と、遮蔽物より前方に固定され前方景色を撮像するカメラＡ１０と、ヘッドマウントディスプレイに固定され前方景色を撮像するカメラＢ１２と、画像処理装置１３と、を備え、画像処理装置１３が、カメラＡの撮像画像ＡをカメラＢの撮像画像Ｂに基づいて変形する画像変形部１５と、変形画像から遮蔽物に相当する範囲を切り取る画像切取部１６と、切り取った部分画像をヘッドマウントディスプレイ１１に出力する画像出力部１７と、を備えた構成とする。【選択図】図２
2008143701.tif 000002
【特許請求の範囲】
【請求項１】
座席の前方に遮蔽物を有する産業車両の視界を改善するためのシステムであって、
前記産業車両のオペレータに装着され外部景色を透過するとともに画像を投影するヘッドマウントディスプレイと、
前記遮蔽物より前方に固定され前方景色を撮像する第１撮像装置と、
前記ヘッドマウントディスプレイに固定され前記オペレータの視界と同様の前方景色を撮像する第２撮像装置と、
前記第１撮像装置にて取得した第１撮像画像と、前記第２撮像装置にて取得した第２撮像画像とを画像処理する画像処理装置と、を備え、
前記画像処理装置が、前記第１撮像画像を前記第２撮像画像に基づいて変形する画像変形部と、該画像変形部にて得られた変形画像から遮蔽物に相当する範囲を切り取る画像切取部と、該画像切取部にて切り取った部分画像を前記ヘッドマウントディスプレイに出力する画像出力部と、を備えたことを特徴とする産業車両の視界改善システム。
【請求項２】
前記遮蔽物にマーキングが付与された請求項１記載のシステムであって、
前記画像変形部は、前記マーキング位置を抽出し、該抽出したマーキングの大きさ及び傾斜角度に基づいて前記第１撮像装置と前記第２撮像装置の位置関係を算出し、該位置関係に基づいて前記第１撮像画像を所定の比率で縮小するとともに、前記傾斜角度に基づいて前記第１撮像画像を傾斜させる処理を含む変形処理を行うことを特徴とする請求項１記載の産業車両の視界改善システム。
【請求項３】
前記画像変形手段は、前記第１撮像画像と前記第２撮像画像の間で、大きさの比率に関わらず互いの相関を求めることで対応する領域を特定するマッチング処理を行い、該マッチング処理に基づいて前記第１撮像画像の縮小と傾斜を行う処理を含む変形処理を行うことを特徴とする請求項１記載の産業車両の視界改善システム。
【請求項４】
前記画像処理装置は、前記第２撮像画像の位置及び角度情報を取得し、該位置及び角度情報に基づいて前記ヘッドマウントディスプレイへの表示位置及び角度を指示する位置・角度指示部を備えたことを特徴とする請求項１乃至３の何れかに記載の産業車両の視界改善システム。
【請求項５】
座席の前方に遮蔽物を有する産業車両の視界を改善するための方法であって、
前記遮蔽物より前方に固定された第１撮像装置により前方景色を撮像するとともに、前記産業車両のオペレータに装着されたヘッドマウントディスプレイに固定された第２撮像装置により前記オペレータの視界と同様の前方景色を撮像するステップと、
前記第１撮像装置にて取得した第１撮像画像を、前記第２撮像装置にて取得した撮像画像に基づいて変形するステップと、
前記変形した画像から遮蔽物に相当する範囲を切り取るステップと、
前記切り取った部分画像を前記ヘッドマウントディスプレイに外部景色に重ねて表示させるステップと、を備えたことを特徴とする産業車両の視界改善方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、前方に荷物昇降用マストを有するフォークリフト等の産業車両にて、視界を改善して操作性、安全性の向上を図った産業車両の視界改善システム及び方法に関する。
【背景技術】
【０００２】
工場構内、倉庫等で使用される産業車両の中には前方視界を遮る遮蔽物を具備した車両がある。例えば、図７に示すようにフォークリフト５０は、オペレータ６０が着座するシート５１と、シート５１の前方に設けられ荷物６１を載置する爪５２と、該爪５２を昇降させる荷物昇降用マスト５３と、荷物６１の昇降を制御する操作部（図示略）と、を備えた構造となっており、マスト５３がオペレータ６０の前方視界を遮っている。このような構造を有する産業車両の場合、オペレータの視界が悪く、安全性や操作性が悪いという問題があった。
【０００３】
車両の視界を改善する方法としては、特許文献１（特開２００６−１６５９４６号公報）等に記載されるように従来から種々提案されている。特許文献１には、車両側方の前後を撮像可能な撮像手段と、運転者が視認可能な表示モニタと、撮像画像を画像処理して表示モニタに表示する画像処理手段とを備えた車両の視界補助装置が開示されている。このように、車両の運転者にとって死角となる部位を撮像して表示することにより、優れた視認性を得ることを可能とし、安全性の向上を図っている。
【０００４】
さらに、特許文献２（特開２００１−３４４５９７号公報）には、主に航空機などの輸送機関の視界改善を目的とした装置が開示されている。これは、ステレオカメラで撮像した一対の左右画像から障害物を含む立体視画像を取得し、これに周辺の地形情報を示す３次元地形画像を融合して融合視界情報を生成する構成となっている。これにより、視界不良時においても視界良好時と同様のリアリティのある視界を提供して操縦を支援するとともに、障害物を確実に検知することを可能としている。
【０００５】
【特許文献１】特開２００６−１６５９４６号公報
【特許文献２】特開２００１−３４４５９７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、車両の視界を改善する装置については従来より種々提案されているが、特許文献１に記載される装置は、主に一般車両を対象としたものであり、目視確認し難い左右、後方の画像を映し出すものである。また、特許文献２に記載される装置は、主に航空機を対象としたものであり、高速で進行する機体の視界を地図情報と融合して視界を改善するとともに障害物を確実に検知するようにしている。このように、車両の視界改善を目的とした装置は、夫々の車両の特性や運転環境に沿った構成が必要とされる。
一方、フォークリフト等の産業車両においては、上記したようにマストなどの遮蔽物により前方の視界が遮られ、操作性や安全性が悪いという問題があったが、従来の視界改善を目的とした装置はこれに適用できるものではなく、産業車両の問題に特化した視界改善装置が望まれていた。
そこで、本発明は上記従来技術の問題点に鑑み、産業車両の前方視界を改善し、操作性、安全性の向上を可能とした産業車両の視界改善システム及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
そこで、本発明はかかる課題を解決するために、座席の前方に遮蔽物を有する産業車両の視界を改善するためのシステムであって、
前記産業車両のオペレータに装着され外部景色を透過するとともに画像を投影するヘッドマウントディスプレイと、
前記遮蔽物より前方に固定され前方景色を撮像する第１撮像装置と、
前記ヘッドマウントディスプレイに固定され前記オペレータの視界と同様の前方景色を撮像する第２撮像装置と、
前記第１撮像装置にて取得した第１撮像画像と、前記第２撮像装置にて取得した第２撮像画像とを画像処理する画像処理装置と、を備え、
前記画像処理装置が、前記第１撮像画像を前記第２撮像画像に基づいて変形する画像変形部と、該画像変形部にて得られた変形画像から遮蔽物に相当する範囲を切り取る画像切取部と、該画像切取部にて切り取った部分画像を前記ヘッドマウントディスプレイに出力する画像出力部と、を備えたことを特徴とする。
【０００８】
本発明によれば、遮蔽物の裏の映像を画像処理により変形し、変形した画像から遮蔽物に相当する範囲を切り取って透過型のヘッドマウントディスプレイに表示することによって、遮蔽物の裏の画像を外部景色に重ねて映し出すことができ、オペレータが遮蔽物に関わらずクリアな視界を得ることができる。従って、産業車両の操作性、安全性を向上させることが可能となる。
【０００９】
また、前記遮蔽物にマーキングが付与されたシステムであって、
前記画像変形部は、前記マーキング位置を抽出し、該抽出したマーキングの大きさ及び傾斜角度に基づいて前記第１撮像装置と前記第２撮像装置の位置関係を算出し、該位置関係に基づいて前記第１撮像画像を所定の比率で縮小するとともに、前記傾斜角度に基づいて前記第１撮像画像を傾斜させる処理を含む変形処理を行うことを特徴とする。
このように、予め遮蔽物にマーキングしておくことにより、画像の変形が容易にできるようになる。
【００１０】
さらに、前記画像変形手段は、前記第１撮像画像と前記第２撮像画像の間で、大きさの比率に関わらず互いの相関を求めることで対応する領域を特定するマッチング処理を行い、該マッチング処理に基づいて前記第１撮像画像の縮小と傾斜を行う処理を含む変形処理を行うことを特徴とする。
本発明は、第１撮像画像に対して第２撮像画像に基づいたマッチング処理を行うことにより変形させるようにしたため、遮蔽物にマーキングすることなく変形処理を行うことが可能となる。
【００１１】
さらにまた、これらの発明において前記画像処理装置は、前記第２撮像画像の位置及び角度情報を取得し、該位置及び角度情報に基づいて前記ヘッドマウントディスプレイへの表示位置及び角度を指定する位置・角度指示部を備えることが好ましい。このように第２撮像画像の位置及び角度を取得することにより、オペレータが現時点でどのような視野を持っているかを把握でき、これに対応するように部分画像をヘッドマウントディスプレイに表示することで、部分画像を外部景色に対して正確に重ね合わせて表示することが可能となる。
【００１２】
また、方法の発明として、座席の前方に遮蔽物を有する産業車両の視界を改善するための方法であって、
前記遮蔽物より前方に固定された第１撮像装置により前方景色を撮像するとともに、前記産業車両のオペレータに装着されたヘッドマウントディスプレイに固定された第２撮像装置により前記オペレータの視界と同様の前方景色を撮像するステップと、
前記第１撮像装置にて取得した第１撮像画像を、前記第２撮像装置にて取得した撮像画像に基づいて変形するステップと、
前記変形した画像から遮蔽物に相当する範囲を切り取るステップと、
前記切り取った部分画像を前記ヘッドマウントディスプレイに外部景色に重ねて表示させるステップと、を備えたことを特徴とする。
【発明の効果】
【００１３】
以上記載のごとく本発明によれば、前方に遮蔽物を有する産業車両において、遮蔽物より前方の景色を撮像し、この撮像画像をオペレータから見た視界と同一になるように変形した後、遮蔽物に相当する範囲を切り取った部分画像をヘッドマウントディスプレイに外部景色に重ねて表示させることにより、オペレータが遮蔽物の裏の映像を同時に見ることができ、操作性、安全性の向上が可能となる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
図１は本実施例の視界改善システムを備えたフォークリフトの側面図、図２は本実施例の視界改善システムに係り、画像処理装置の内部構成を含む概略平面図、図３は透過型ヘッドマウントディスプレイを装着した時の視界を示す図、図４は実施例１の視界改善システムによる処理フローを示す図、図５は実施例１における画像処理を説明する図、図６は実施例２における画像処理を説明する図である。
【００１５】
尚、本実施例では一例として本システムをフォークリフトに適用した場合を示すが、この他にも、遮蔽物により前方視界が妨げられる産業車両全般に適用できる。尚、産業車両とは、工場構内、倉庫等で使用される運搬荷役用の車両をいう。
【００１６】
図１及び図２を参照して、本実施例の視界改善システムの装置構成を説明する。
フォークリフト１は、オペレータ５が着座するシート２と、荷物を載置する爪４と、爪４を昇降させる昇降部材を備えたマスト３と、爪４の昇降を制御する操作部（図示略）と、を備え、さらに本実施例の特徴的な構成として、マスト３より前方のフォークリフト部位に固定されたカメラＡ１０と、オペレータ５が装着するヘッドマウントディスプレイ１１と、ヘッドマウントディスプレイ１１に固定されたカメラＢ１２と、カメラ１１、１２により撮像した画像の画像処理を行う画像処理装置１３を備えている。
【００１７】
カメラＡ１０は、図１に示されるように例えばマスト３の前方で且つ不動部位に設けられ、マスト３より前方景色を撮像範囲とする。このとき、荷物の昇降操作を視認したい場合には、撮像範囲が爪を含むように設置するとよい。
カメラＢ１２は、ヘッドマウントディスプレイ１１に固定され、オペレータ５の視野と略同一の視野を撮像範囲とする。
【００１８】
ヘッドマウントディスプレイ１１は、オペレータ５の頭部に装着され、液晶パネル（ＬＣＤ）等の表示デバイス上に表示された映像を、接眼レンズやハーフミラー等を有する光学系を介してオペレータの提供する周知の装置である。画像処理部と画像表示部とを備え、画像処理部は、画像処理装置１３からの画像信号及び必要な制御信号が無線若しくは通線回線を介して入力され、ここで画像表示部に表示される画像に変換する処理が行われる。この画像は、光学系を通して画像表示部に表示され、オペレータ５に視認されるようになっている。このヘッドマウントディスプレイ１１は、画像処理した画像情報とともに、外部景色を透過可能とする。即ち、このヘッドマウントディスプレイ１１は、図３に示すように、外部景色を透視できる透過部位（図３中の白抜き部分）４１に重ねて、画像処理部から表示させた半透明の画像表示画面（図３中の斜線部分）４２を投影する透過型となっているものである。
【００１９】
画像処理装置１３は、カメラＡ１０、ヘッドマウントディスプレイ１１、カメラＢ１２に夫々有線若しくは無線回線により接続され、カメラＡ１０及びカメラＢ１２にて撮像した撮像画像を取り込む画像取得部１４と、カメラＡ１０にて得られた撮像画像Ａを、カメラＢ１２にて得られた撮像画像Ｂに基づいて変形する画像変形部１５と、該変形した変形画像をマスト３に相当する範囲だけ切り取る画像切取部１６と、切り取った部分画像をヘッドマウントディスプレイ１１に出力する画像出力部１７と、を備える。
【００２０】
画像変形部１５は、後述する実施例１のごとく、マスト３に付与したマーキングに基づいて撮像画像Ａを変形する方法、撮像画像Ａと撮像画像Ｂの間のマッチング処理により撮像画像Ａを変形する方法などが挙げられる。また、ステレオカメラを用いた場合は、エッジの３Ｄデータを検出し、ワイヤフレームをヘッドマウントディスプレイ１１の画像に合わせて変形するようにしてもよく、この場合近距離の物の画像の歪みを抑えることができる。さらに、画素毎の距離計測ができるカメラを用いた場合は、画像をヘッドマウントディスプレイ１１から見た画像に変換した後にマーキングに基づいて撮像画像Ａを変形するようにしてもよい。
【実施例１】
【００２１】
図４を参照して、実施例１の視界改善システムによる処理フローを説明する。
まず、カメラＡ、Ｂにより前方景色を撮像し、該撮像した画像を画像処理装置１３に取り込む（Ｓ１）。取り込んだ撮像画像Ａ２１を図５（ａ）に、撮像画像Ｂ２２を図５（ｂ）に示す。撮像画像Ｂ２２は、撮像画像Ａ２１に比べて撮像対象より遠距離に位置するため撮像対象が小さく表示され、且つマスト３により一部欠けた画像となる。尚、マスト３には予めマーキング３０が付与されている。マーキング３０は、本実施例では四角い形状で表しているが、これに限定されるものではなく、点や線、形状を有するものなど何れでもよい。マーキングを点とする場合は、３点以上とすることが好ましく、これによりカメラＢ１２の位置情報、角度情報が正確に得られる。
【００２２】
そして、カメラＢ１２にて取得した撮像画像Ｂ２２からマスト３に付与されたマーキング３０を抽出し（Ｓ２）、該抽出したマーキング３０のｘｙ方向（カメラＢの撮像方向に対して垂直面内）の位置を算出する（Ｓ３）。ここで得られた位置情報は、後にヘッドマウントディスプレイ１１上に画像を表示する際に用いられる。
さらにマーキング３０の辺の長さからカメラＡ１０とカメラＢ１２の距離を算出する。本実施例ではマーキング３０を四角形状としているため、辺の長さとしているが、点である場合には点と点の間の長さ、或いは大きさから距離を算出する（Ｓ４）。これは、予め測定したマーキング３０の大きさと、撮像画像Ｂ２２上のマーキング３０の大きさを比較することにより、カメラＢ１２とマスト３の距離が求められる。さらに、カメラＡ１０はマスト３に固定されているため、カメラＡ１０とカメラＢの距離が算出されるものである。
【００２３】
同様に、予め測定されたマーキング３０の角度と、撮像画像Ｂ２２上のマーキング３０の角度とを比較することにより、マーキング３０が撮像画像Ｂ２２上でどの程度傾いているか角度を算出する（Ｓ５）。この角度は、カメラＢの撮像方向に対して垂直面内における角度をいう。
次いで、カメラＡ１０と視認対象の距離と、カメラＢ１２と視認対象の距離に基づいて、撮像画像Ａ２１を所定の比率で縮小する（Ｓ６）。さらに、算出したマーキング角度に基づいて、撮像画像Ａを傾斜させる（Ｓ７）。この縮小と傾斜の処理により、撮像画像Ａが撮像画像Ｂに対応した画像となる。即ち、撮像画像Ａがオペレータ５からみた景色と一致するものである。この変形した画像を図５（ｃ）に示す。
【００２４】
そして、マスト３の大きさに相当する範囲の撮像画像Ａ２１を切り取り（Ｓ８）、算出したマーキング３０の位置情報に基づいてヘッドマウントディスプレイ１１上に、前記切り取った部分画像２３を表示する。
これにより、外部景色とともに、オペレータ５にはマスト３の裏画像が視認できるようになる。
【実施例２】
【００２５】
図６を参照して、実施例２の視界改善システムによる処理フローを説明する。尚、実施例２において、実施例１と同様の構成についてはその詳細な説明を省略する。本実施例２では、マスト３に対してマーキングを行わずに、カメラＡ１０にて取得した撮像画像Ａ２１と、カメラＢ１２にて取得した撮像画像Ｂとの間でマッチング処理を行い、画像処理を行うようにしている。
まず、カメラＡ１０、Ｂ１２により前方景色を撮像し、該撮像した画像を画像処理装置１３に取り込む（図６（ａ）参照）。そして、カメラＡ１０にて取得した撮像画像Ａ２１と、カメラＢにより取得した撮像画像Ｂとの間で、大きさの比率に関わらない互いの相関を求めることで対応する領域を特定するマッチング処理を行い、該マッチング処理により撮像画像Ａ２１を撮像画像Ｂに対応するように変形し、変形した撮像画像Ａ２１を撮像画像Ｂに重ね合わせる（図６（ｂ）参照）。さらに、マスト３に相当する範囲の撮像画像Ａ２１を切り取り（図６（ｃ）参照）、切り取った部分画像２４をヘッドマウントディスプレイ１１上に表示する（図６（ｄ）参照）。
本実施例によれば、実施例１のようにマスト３にマーキングする必要がなく撮像画像の変形を行うことが可能である。
【産業上の利用可能性】
【００２６】
本発明によれば、前方に遮蔽物が存在する車両であっても前方視界を確保でき、安全性、操作性の高い視界補助装置とすることができるため、フォークリフトの他にもクレーン車等のように前方に遮蔽物が存在し前方視界が妨げられる産業車両に幅広く適用できる。
【図面の簡単な説明】
【００２７】
【図１】本実施例の視界改善システムを備えたフォークリフトの側面図である。
【図２】本実施例の視界改善システムに係り、画像処理装置の内部構成を含む概略平面図である。
【図３】透過型ヘッドマウントディスプレイを装着した時の視界を示す図である。
【図４】実施例１の視界改善システムによる処理フローを示す図である。
【図５】実施例１における画像処理を説明する図である。
【図６】実施例２における画像処理を説明する図である。
【図７】従来のフォークリフトを示す側面図である。
【符号の説明】
【００２８】
１      フォークリフト
３      荷物昇降用マスト
５      オペレータ
１０    カメラＡ
１１    透過型ヘッドマウントディスプレイ
１２    カメラＢ
１３    画像処理装置
１４    画像取得部
１５    画像変形部
１６    画像切取部
１７    画像出力部
２１    撮像画像Ａ
２２    撮像画像Ｂ
２３、２４  部分画像
２５    外部景色
３０    マーキング
【図１】
2008143701.tif 000003
【図２】
2008143701.tif 000004
【図３】
2008143701.tif 000005
【図４】
2008143701.tif 000006
【図５】
2008143701.tif 000007
【図６】
2008143701.tif 000008
【図７】
2008143701.tif 000009