(57)【要約】【課題】作業空間内の状態を容易に把握させる。【解決手段】画像表示装置は、作業空間内における物体までの距離を３次元で計測する距離計測部と、距離計測部によって計測された計測点までの３次元の距離から、計測点の３次元位置を導出し、計測点の３次元位置を鉛直方向に圧縮して２次元情報を導出する２次元情報導出部と、２次元情報に基づいた色付けパターンの２次元画像１６０、１６２、１６４を表示部に表示する表示制御部と、を備えることにより、船舶の庫内等の囲まれた空間内の状況を容易に把握させることができる。【選択図】図４
2019133588.tif 000002
【特許請求の範囲】
【請求項１】
作業空間内における計測点までの距離を３次元で計測する距離計測部と、
前記距離計測部によって計測された前記計測点までの３次元の距離から、前記計測点の３次元位置を導出し、前記計測点の３次元位置を鉛直方向に圧縮して２次元情報を導出する２次元情報導出部と、
前記２次元情報に基づいた画像を表示部に表示する表示制御部と、
を備える画像表示装置。
【請求項２】
前記表示制御部は、
水平方向における所定範囲ごとに、前記計測点の数に応じた色付けパターンで前記表示部に表示する請求項１に記載の画像表示装置。
【請求項３】
前記２次元情報導出部は、
前記計測点までの距離によらず計測密度が一定となるように、前記距離計測部によって計測された前記計測点の数を補正する請求項１または２に記載の画像表示装置。
【請求項４】
前記距離計測部は、
前記計測点における反射強度または反射率を計測し、
前記表示制御部は、
前記反射強度または前記反射率に応じた色付けパターンで前記表示部に表示する請求項３に記載の画像表示装置。
【請求項５】
前記表示制御部は、
水平方向における前記計測点の数、および、前記反射強度または前記反射率ごとに、異なる色付けパターンで前記表示部に表示する請求項４に記載の画像表示装置。
【請求項６】
前記距離計測部は、レーザセンサである請求項１から５のいずれか１項に記載の画像表示装置。
【請求項７】
前記距離計測部は、船舶の庫内を計測する請求項１から６のいずれか１項に記載の画像表示装置。
【請求項８】
作業空間内に配されるレーザセンサと、
前記レーザセンサで計測される、前記作業空間の表面の３次元点群のデータを受信する受信部と、
前記作業空間の水平面に仮想的セルを配置するセル配置部と、
前記受信部で受信した前記３次元点群のデータに基づき、前記作業空間の表面の前記水平面に対する傾斜の強さを算出する傾斜算出部と、
前記仮想的セルに、算出された前記傾斜の強さに基づき配色を行う配色部と、
前記配色部で配色された仮想的セルを表示する表示部と、
を備える画像表示装置。
【請求項９】
前記受信部で受信した前記３次元点群のデータに対し、前記レーザセンサと計測対象との距離に伴う点群の密度の増減を補間する補間処理部を備え、
前記傾斜算出部は、
前記補間処理部で処理を行った３次元点群のデータに基づき、前記水平面に対する傾斜の強さを算出する請求項８に記載の画像表示装置。
【請求項１０】
前記傾斜算出部は、
前記３次元点群を鉛直方向に前記仮想的セルに投影し、前記仮想的セルに投影された点数に基づき、前記水平面に対する傾斜の強さを算出する請求項８または９に記載の画像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、作業空間の状態を把握する際に用いられる画像を表示する画像表示装置に関する。
【背景技術】
【０００２】
作業空間内から対象物を回収する作業設備では、対象物の状態や、作業空間を形成する壁面までの距離等、作業空間内の状態を操縦者が直接目視することが困難または不可能なことが多い。このような作業設備の一例としてはアンローダ設備が挙げられる。アンローダ設備では、作業空間としての庫内の傾きを操縦者に把握させるため、レーザセンサを用いて、船舶の揺れを検出して可視化する技術（例えば、特許文献１）が開発されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１１６７７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載されたような技術では、上記したように、作業空間（庫内）の傾きを操縦者に把握させることができる。しかし、作業空間の傾きを把握させることができたとしても、対象物の状態や、壁面までの距離等、作業空間内の状態を把握することは困難であった。
【０００５】
本開示は、このような課題に鑑み、作業空間の状態を容易に把握させることが可能な画像表示装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本開示の一態様に係る画像表示装置は、作業空間内における計測点までの距離を３次元で計測する距離計測部と、距離計測部によって計測された計測点までの３次元の距離から、計測点の３次元位置を導出し、計測点の３次元位置を鉛直方向に圧縮して２次元情報を導出する２次元情報導出部と、２次元情報に基づいた画像を表示部に表示する表示制御部と、を備える。
【０００７】
また、表示制御部は、水平方向における所定範囲ごとに、計測点の数に応じた色付けパターンで表示部に表示してもよい。
【０００８】
また、２次元情報導出部は、計測点までの距離によらず計測密度が一定となるように、距離計測部によって計測された計測点の数を補正してもよい。
【０００９】
また、距離計測部は、計測点における反射強度または反射率を計測し、表示制御部は、反射強度または反射率に応じた色付けパターンで表示部に表示してもよい。
【００１０】
また、表示制御部は、水平方向における計測点の数、および、反射強度または反射率ごとに、異なる色付けパターンで表示部に表示してもよい。
【００１１】
また、距離計測部は、レーザセンサであってもよい。
【００１２】
また、距離計測部は、船舶の庫内を計測してもよい。
【００１３】
また、本開示の一態様に係る画像表示装置は、作業空間内に配されるレーザセンサと、レーザセンサで計測される、作業空間の表面の３次元点群のデータを受信する受信部と、作業空間の水平面に仮想的セルを配置するセル配置部と、受信部で受信した３次元点群のデータに基づき、作業空間の表面の水平面に対する傾斜の強さを算出する傾斜算出部と、仮想的セルに、算出された傾斜の強さに基づき配色を行う配色部と、配色部で配色された仮想的セルを表示する表示部と、を備える。
【００１４】
また、受信部で受信した３次元点群のデータに対し、レーザセンサと計測対象との距離に伴う点群の密度の増減を補間する補間処理部を備え、傾斜算出部は、補間処理部で処理を行った３次元点群のデータに基づき、水平面に対する傾斜の強さを算出してもよい。
【００１５】
また、傾斜算出部は、３次元点群を鉛直方向に仮想的セルに投影し、仮想的セルに投影された点数に基づき、水平面に対する傾斜の強さを算出してもよい。
【発明の効果】
【００１６】
壁に囲まれた空間内の状況を容易に把握させることが可能となる。
【図面の簡単な説明】
【００１７】
【図１】アンローダ設備を説明する図である。
【図２】画像表示装置の構成を説明する図である。
【図３】図３（ａ）は、庫内における計測点の一例を説明する図である。図３（ｂ）は、庫内における鉛直断面の計測点を説明する図である。図３（ｃ）は、２次元情報を説明する図である。図３（ｄ）は、表示部２に表示される２次元画像の色付けパターンを説明する図である。
【図４】図４（ａ）は、積荷がほとんど搬出されていない場合の２次元画像を示す図である。図４（ｂ）は、積荷が半分ほど搬出された場合の２次元画像を示す図である。図４（ｃ）は、積荷がほとんど搬出された場合の２次元画像を示す図である。
【図５】図５（ａ）は、庫内における鉛直断面の計測点を説明する図である。図５（ｂ）は、２次元情報を説明する図である。図５（ｃ）は、表示部１４２に表示される２次元画像の色付けパターンを説明する図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照しながら、本開示の一実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、理解を容易とするための例示にすぎず、特に断る場合を除き、本開示を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本開示に直接関係のない要素は図示を省略する。
【００１９】
<第１の実施形態>
本開示では、適用先の例としてアンローダ設備に適用した場合について説明する。図１は、アンローダ設備１００を説明する図である。図１に示すように、作業装置の一例であるアンローダ設備１００は、走行体１０２、旋回体１０４、ブーム１０６、先端フレーム１０８、搬送装置１１０、ブームコンベア１１２、操作室１１４および制御装置１１６を含んで構成されている。
【００２０】
走行体１０２は、岸壁１に沿って敷設された一対のレール２上を図中前後方向に走行可能である。走行体１０２には、移動位置計測部１０２ａが設けられている。移動位置計測部１０２ａは、例えばロータリーエンコーダである。移動位置計測部１０２ａは、走行体１０２の車輪の回転数に基づき、所定の原点に対する走行体１０２の平面上の位置を計測する。そして、移動位置計測部１０２ａは、計測した位置を示す走行体位置情報を制御装置１１６に出力する。
【００２１】
旋回体１０４は、走行体１０２の上部に、垂直軸を中心に回転自在に設けられている。ブーム１０６は、旋回体１０４の上部に、傾斜角度を変更可能に設けられている。先端フレーム１０８は、ブーム１０６の先端に設けられている。
【００２２】
旋回体１０４には、旋回角度計測部１０４ａおよび傾斜角度計測部１０６ａが設けられている。旋回角度計測部１０４ａおよび傾斜角度計測部１０６ａは、例えばロータリーエンコーダである。旋回角度計測部１０４ａは、走行体１０２に対する旋回体１０４の旋回角度を計測する。そして、旋回角度計測部１０４ａは、計測した旋回角度を示す旋回角度情報を制御装置１１６に出力する。傾斜角度計測部１０６ａは、旋回体１０４に対するブーム１０６の傾斜角度を計測する。そして、傾斜角度計測部１０６ａは、傾斜角度を示す傾斜角度情報を制御装置１１６に出力する。
【００２３】
搬送装置１１０は、先端フレーム１０８に取り付けられている。搬送装置１１０は、エレベータ部１１０ａおよびバケツ部１１０ｂを含んで構成される。エレベータ部１１０ａは、垂直方向に延在する。バケツ部１１０ｂは、エレベータ部１１０ａの下端に設けられている。バケツ部１１０ｂは、複数のバケツが連続して接続されている。搬送装置１１０は、船舶１０の上部に設けられたハッチ１２から、作業空間としての庫内１４に挿入される。
【００２４】
ブームコンベア１１２は、ブーム１０６の下方に設けられる。搬送装置１１０は、庫内１４に積載された、回収の対象物である石炭等の積荷２０をバケツ部１１０ｂのバケツによって回収する。バケツ部１１０ｂによって回収された積荷２０は、ブームコンベア１１２を介して外部に搬出される。
【００２５】
操作室１１４は、先端フレーム１０８に設けられている。操作室１１４内には、操縦者が搭乗して操作を行う。操縦者は、船舶１０の庫内１４を直接目視することが困難または不可能である。また、操作室１１４内には、制御装置１１６が設けられている。
【００２６】
先端フレーム１０８の下方には、複数の開口計測部１２０が設けられる。開口計測部１２０は、例えばレーザセンサである。開口計測部１２０は、水平方向および垂直方向に予め設定された範囲内で所定角度ごとに、船舶１０に向けてレーザ光を照射し、船舶１０により反射されたレーザ光（反射光）を受信する。開口計測部１２０は、反射光を受信するまでの時間に基づいて、船舶１０におけるレーザ光を照射した位置までの距離を導出する。そして、開口計測部１２０は、レーザ光の照射角度、および、導出した距離を示す開口位置情報を制御装置１１６に出力する。
【００２７】
バケツ部１１０ｂには、庫内１４において計測不能な領域をなくすとともに、計測点を増加させるために複数の距離計測部１２２が離隔して設けられている。距離計測部１２２は、例えばレーザセンサである。距離計測部１２２は、水平方向および垂直方向に予め設定された範囲内で所定角度ごとに、庫内１４に向けてレーザ光を照射し、庫内１４または積荷２０等の計測対象である物体で反射されたレーザ光（反射光）を受信する。距離計測部１２２は、反射光を受信するまでの時間に基づいて、庫内１４におけるレーザ光が反射した位置（計測点）までの距離を導出する。そして、距離計測部１２２は、レーザ光の照射角度、および、導出した距離を示す距離情報を制御装置１１６に出力する。
【００２８】
バケツ部１１０ｂには、水平方向に離隔して複数のＩＭＵ（Inertial Measurement Unit）１２４が設けられている。ＩＭＵ１２４は、ＩＭＵ１２４自体、すなわち、ＩＭＵ１２４の取り付け箇所の姿勢を特定可能な３軸の角度および加速度を検出する。そして、ＩＭＵ１２４は、検出した角度および加速度を示すＩＭＵ情報を制御装置１１６に出力する。
【００２９】
図２は、画像表示装置２００の構成を説明するための図である。図２に示すように、制御装置１１６は、移動位置計測部１０２ａ、旋回角度計測部１０４ａ、傾斜角度計測部１０６ａ、開口計測部１２０、距離計測部１２２およびＩＭＵ１２４が接続されている。画像表示装置２００は、距離計測部１２２、ＩＭＵ１２４、２次元情報導出部１５２および表示制御部１５４を含んで構成されている。
【００３０】
制御装置１１６は、中央制御部１４０および表示部１４２を含んで構成されている。中央制御部１４０は、ＣＰＵ（中央処理装置）を含む半導体集積回路で構成されている。中央制御部１４０は、ＲＯＭからＣＰＵ自体を動作させるためのプログラムやパラメータ等を読み出す。そして、中央制御部１４０は、ワークエリアとしてのＲＡＭや他の電子回路と協働して、アンローダ設備１００全体を管理および制御する。また、本実施形態において中央制御部１４０は、駆動制御部１５０、２次元情報導出部１５２および表示制御部１５４として機能する。２次元情報導出部１５２は、受信部１５２ａ、３次元位置導出部１５２ｂ、補間処理部１５２ｃ、セル配置部１５２ｄ、および傾斜算出部１５２ｅとして機能する。表示制御部１５４は、配色部１５４ａおよび表示処理部１５４ｂとして機能する。
【００３１】
駆動制御部１５０は、操縦者の操作に応じて、走行体１０２、旋回体１０４、ブーム１０６、搬送装置１１０、ブームコンベア１１２等を駆動制御する。具体的には、駆動制御部１５０は、操縦者の移動操作に応じて、移動位置計測部１０２ａ、旋回角度計測部１０４ａおよび傾斜角度計測部１０６ａから出力された各情報に基づいて、走行体１０２、旋回体１０４、ブーム１０６を駆動制御する。また、駆動制御部１５０は、操縦者の搬送操作に応じて、搬送装置１１０およびブームコンベア１１２を駆動制御する。
【００３２】
受信部１５２ａは、例えば０．１秒毎に（１０Ｈｚで）、距離計測部１２２から距離情報を取得する。ここで、受信部１５２ａは、各距離計測部１２２において導出された複数の計測点の距離情報を一群の距離情報（３次元点群のデータ）として纏めて取得することになる。また、受信部１５２ａは、例えば０．１秒毎に（１０Ｈｚで）、ＩＭＵ１２４からＩＭＵ情報を取得する。
【００３３】
そして、３次元位置導出部１５２ｂは、ＩＭＵ１２４から取得したＩＭＵ情報のうちの加速度を積分することにより、バケツ部１１０ｂの３次元位置を導出する。また、３次元位置導出部１５２ｂは、導出したバケツ部１１０ｂの３次元位置、および、バケツ部１１０ｂにおける距離計測部１２２の位置に基づいて、距離計測部１２２それぞれの３次元位置および向きを導出する。
【００３４】
そして、３次元位置導出部１５２ｂは、導出した距離計測部１２２それぞれの３次元位置および向きと、距離計測部１２２から取得した距離情報（計測結果）とに基づいて、庫内１４におけるレーザ光が反射した計測点の３次元位置を導出する。
【００３５】
図３（ａ）は、庫内１４における計測点の一例を説明する図である。図３（ｂ）は、庫内１４における鉛直断面の計測点を説明する図である。図３（ｃ）は、２次元情報を説明する図である。図３（ｄ）は、表示部１４２に表示される２次元画像の色付けパターンを説明する図である。なお、図３（ａ）では、模式的に、庫内１４の壁面１６が鉛直方向に延在し、庫内１４の底面１８が水平方向に延在している場合について説明する。また、図３（ａ）では、説明の便宜上、庫内１４における所定の鉛直断面上の計測点のみを黒丸で図示している。また、図３（ｂ）では、図３（ａ）における計測点が図示された断面図を示している。
【００３６】
図３（ａ）および図３（ｂ）に示すように、距離計測部１２２から照射されたレーザ光は、庫内１４の壁面１６、底面１８および積荷２０のいずれかで反射されることになる。
【００３７】
また、壁面１６は、大凡鉛直方向に沿って形成されている。そのため、壁面１６で反射したレーザ光に基づく計測点は鉛直方向に並ぶことになる。一方、底面１８および積荷２０は、鉛直方向に対して傾斜または直交している。そのため、底面１８および積荷２０で反射したレーザ光に基づく計測点は鉛直方向に並ぶことは少なく、水平方向、または、垂直方向および水平方向に交差する傾斜方向に並ぶことになる。
【００３８】
ここで、距離計測部１２２による計測では、レーザ光が所定角度ごとに照射されるため、距離計測部１２２から物体（壁面１６、底面１８、積荷２０）までの距離によって計測点の密度（計測密度）が異なる。距離計測部１２２から対象物までの距離が相対的に近い場合には、計測密度が高くなる。一方で、距離計測部１２２から対象物までの距離が相対的に遠い場合には、計測密度が低くなる。そこで、補間処理部１５２ｃは、距離計測部１２２から物体までの距離によらず計測密度を一定にする補正手法を用いて、距離計測部１２２と物体距離との距離に伴う点群の密度の増減（計測点の数）を補正（補間）する。
【００３９】
補正手法としては、距離計測部１２２によって計測された計測点が全て含まれる空間を、立方体のボクセルに分割し、各ボクセル内に含まれる計測点の３次元位置を平均して、そのボクセルの代表の３次元位置とするボクセルグリッドフィルタが適用される。なお、ボクセルの一辺の長さは、庫内１４にある障害物や作業車等の計測したい物体に応じて調整することが好ましい。例えば、ボクセルの一辺の長さは、計測したい物体の長さを代表寸法とし、代表寸法の０．１〜０．５倍に設定される。
【００４０】
補間処理部１５２ｃは、ボクセルグリッドフィルタを用いて、各ボクセルの３次元位置を導出する。これにより、各ボクセル内には計測点が１または０となるため、距離計測部１２２から物体までの距離にかかわらず計測密度を一定にすることができるとともに、計測点数を減少させて処理負荷を低減することができる。
【００４１】
そして、セル配置部１５２ｄは、図３（ａ）に示すように、補正手法を用いて補正された計測点の３次元位置のうち、鉛直方向の情報を取り除くことによって、計測点を鉛直方向に圧縮（投影）した２次元情報に変換する。そして、図３（ｃ）に示すように、傾斜算出部１５２ｅは、水平方向に予め設定された正方形の範囲（所定範囲）ごとに、計測点数をサンプリングする。すなわち、セル配置部１５２ｄは、水平方向の面（水平面）に、正方形で区切られた仮想的セルを配置する。そして、傾斜算出部１５２ｅは、仮想的セルを底面としボクセルを含み垂直方向に延伸する四角柱について、四角柱に含まれる計測点が１のボクセルの数を計測している。
【００４２】
また、仮想的セルに含まれる計測点が１のボクセルの数は、積荷２０の表面積とおおよそ比例している。つまり、積荷２０が傾斜面を成していた場合、積荷２０が水平面を成している場合と比べ、正方形で区切られた仮想的セルに投影される計測点の数は増えることになる。すなわち、傾斜算出部１５２ｅは、積荷２０の傾斜の勾配に相当する量（傾斜の強度）を算出していることになる。このように、水平面と成す角度が９０度に近いほど、計測点を鉛直方向に圧縮（投影）した場合に、仮想的セルに投影される計測点数が多くなる。
【００４３】
図３（ｃ）に示したように、壁面１６に対応する正方形の範囲には、計測点が多くサンプリングされる。また、積荷２０に対応する正方形の範囲には、計測点が少なくサンプリングされる。
【００４４】
そして、配色部１５４ａは、サンプリング結果に基づき、各範囲の色付けパターン（配色）を決定する。具体的には、計測点数に応じて、計測点数が多い範囲から計測点数が少ない範囲にかけて濃いパターンから薄いパターンとなるような色付けパターンが設定されている。そして、配色部１５４ａは、図３（ｄ）に示すように、各範囲について、計測点数に応じた濃淡の色付けパターンを決定する。
【００４５】
したがって、壁面１６に対応する範囲は濃いパターン（黒色）となり、積荷２０に対応する範囲は薄いパターン（白色またはグレー）となる。
【００４６】
そして、表示処理部１５４ｂは、各範囲を決定した色付けパターンで示した画像（２次元画像）を表示部１４２に表示する。また、表示処理部１５４ｂは、予め設けられた搬送装置１１０の外形形状を、ＩＭＵ情報から導出した搬送装置１１０の位置に基づいて導出し、導出した外形形状で搬送装置１１０の画像を２次元画像に重畳表示する。なお、表示処理部１５４ｂは、サンプリング結果が導出される度、つまり、０．１秒毎に、２次元画像を更新して表示する。
【００４７】
図４（ａ）は、積荷２０がほとんど搬出されていない場合の２次元画像を示す図である。図４（ｂ）は、積荷２０が半分ほど搬出された場合の２次元画像を示す図である。図４（ｃ）は、積荷２０がほとんど搬出された場合の２次元画像を示す図である。なお、図４（ａ）〜図４（ｃ）では、２次元画像を上図に示し、庫内１４の鉛直断面図を下図に示している。図４（ａ）〜図４（ｃ）において、下側に示した図は、上側の図の真ん中の位置、つまり上から数え五段目にある一連のセルの中心を通過する平面での断面図となる。さらに、積荷２０は五段五行目にあるセルの中心を通る鉛直線回りに、回転対称になっている状況を想定している。
【００４８】
図４（ａ）に示すように、通常距離計測部１２２は庫内１４（作業空間）に鉛直方向から挿通され起動される。この状況では積荷２０がほとんど搬出されておらず、積荷２０の表面形状は略水平であり、壁面１６および底面１８はほとんど露出していない。また、距離計測部１２２と積荷２０の距離が近い。そのため、距離計測部１２２から照射されたレーザ光は、大部分が積荷２０で反射される。そして、壁面１６および底面１８ではレーザ光はほとんど反射されない。つまり、距離計測部１２２の照射角度の範囲に壁面１６および底面１８が入っていない状態である。
【００４９】
したがって、図４（ａ）に示すように、２次元画像１６０は、ほとんどが薄いパターン（白色またはグレー）で表示されることになる。ここでは、レーザ光が到達していない未知の範囲についても白色で表示している。これらの部分は、距離計測部１２２が水平方向に動いていくことで、庫内１４（作業空間）の状況が把握され、計測結果に対応する色付けがなされる。なお、実際の運用上は、状態を把握できていない未知の領域に当たるセルと、計測を実施済みの既知の領域に当たるセルの境界線を太線にして、両者の境界を表示する運用も考えられる。
【００５０】
図４（ｂ）に示すように、積荷２０が半分ほど搬出された場合、庫内１４では積荷２０が、中央が窪んだすり鉢状に形成されることになる。そのため、すり鉢状の部分に当たる部分は、傾斜の大きさに対応して色づけがなされる。また、庫内１４の積荷２０の形状が変化する過程で、距離計測部１２２は水平方向に移動をしている。また、積荷２０自体高さも下降していく。そのため、図４（ａ）の時点では不明であった、壁面１６近くの状態も判明し色づけがなされている。距離計測部１２２から照射されたレーザ光は、壁面１６および積荷２０で反射される。そして、壁面１６で反射されたレーザ光による計測点は、鉛直方向に複数並ぶ。積荷２０の表面は大きな傾斜を持っており、傾斜方向に渡り複数の計測点(ボクセル)が並ぶ。そのため、計測点を鉛直方向に圧縮した２次元画像１６２は、壁面１６に対応する外周部分が濃いパターン（黒色または黒に近い色）で表示される。ただし、図４（ｂ）で四隅に当たる部分は、いまだ照射されたレーザ光が到達しておらず、不明となっている領域である。一方、積荷２０で反射されたレーザ光による計測点は、上述のように傾斜方向に並ぶ。そのため、２次元画像１６２の内側は、傾斜の大きさに対応した色づけがなされ、薄いパターン（灰色または白に近い色）で表示されることになる。
【００５１】
図４（ｃ）に示すように、積荷２０がほとんど搬出された場合、庫内１４では積荷２０が四隅だけに残り、底面１８が露出することになる。そのため、距離計測部１２２から照射されたレーザ光は、壁面１６、底面１８および積荷２０で反射される。そして、前述と同様に、壁面１６で反射されたレーザ光による鉛直方向の計測点は、図４（ｂ）と比べ、増加する。そのため、２次元画像１６４は、２次元画像１６２と比べ、壁面１６に対応する濃いパターン（黒色または黒に近い色）の範囲が増加する。また、庫内１４の四隅では、積荷２０でレーザ光が反射される。壁面１６近くの積荷２０は、図４（ｂ）のすり鉢状の部分とほぼ同じ大きさの傾斜を持っている。そのため、２次元画像１６４の四隅では、図４（b）のすり鉢状の部分とほぼ同じ濃さの色づけがなされる(壁面１６ほど濃くはないが、底面１８に対応する部分よりは濃い中間濃度パターンで表示される)。一方、中央部分は、水平方向に延在する底面１８でレーザ光が反射される。そのため、２次元画像１６４の中央部分は、色の薄いパターン（白色または白に近い色）で表示されることになる。なお、図４（ａ）〜図４（ｃ）における２次元画像１６０〜１６４内には、搬送装置１１０の画像１６６が重畳して表示されている。
【００５２】
なお、表示処理部１５４ｂは、開口計測部１２０により出力された開口位置情報に基づいて、船舶１０のハッチ１２の形状を示す画像も表示することが可能である。
【００５３】
このように、画像表示装置２００は、庫内１４の状態を、色付けした２次元画像で表示する。これにより、画像表示装置２００は、操縦者に庫内１４の状態を容易に把握させることができる。これにより、操縦者は、庫内１４の壁面１６までの距離や、積荷２０の位置を容易に把握することができる。
【００５４】
特に、船舶１０の庫内１４のように、ハッチ１２によって開口部が窄まって内部が目視困難な環境下において有用である。また、船舶１０は、船種によって庫内１４の形状が異なるため、モデルマッチングが困難であり、特に有用である。
【００５５】
<第２の実施形態>
第１の実施形態における表示制御部１５４は、計測点の数に応じた色付けパターンで２次元画像を表示するようにした。第２の実施形態における表示制御部１５４は、計測点の数に加えて、計測点の反射強度または反射率に応じた色付けパターンで２次元画像を表示する。
【００５６】
距離計測部１２２は、レーザ光を照射した位置（計測点）までの距離に加えて、各計測点での反射光の強度（反射強度）を計測し、計測した反射強度を距離情報に付加する。なお、反射強度に代えて、照射したレーザ光の強度に対する反射強度の割合を反射率として導出し、距離情報に付加するようにしてもよい。
【００５７】
図５（ａ）は、庫内１４における鉛直断面の計測点を説明する図である。図５（ｂ）は、２次元情報を説明する図である。図５（ｃ）は、表示部１４２に表示される２次元画像の色付けパターンを説明する図である。なお、図５（ａ）は、庫内１４の所定の位置での鉛直方向の拡大断面図を示す。また、図５（ａ）では、レーザ光が反射した位置（計測点）を白丸および黒丸で示す。
【００５８】
図５（ａ）に示すように、距離計測部１２２から照射されたレーザ光は、庫内１４の壁面１６、底面１８および積荷２０のいずれかで反射されることになる。ここで、壁面１６および底面１８は、金属で形成されている。したがって、図５（ａ）中、黒丸で示すように、庫内１４の壁面１６および底面１８で反射したレーザ光の反射強度（反射率）は相対的に高くなる。一方、積荷２０は、例えば石炭である。そのため、図３中、白丸で示すように、積荷２０で反射したレーザ光の反射強度（反射率）は相対的に低くなる。
【００５９】
そこで、２次元情報導出部１５２は、３次元位置を鉛直方向に圧縮した２次元情報に変換する際に、各計測点の反射強度（反射率）をあらかじめ設定された閾値で２つの区分に分類する。なお、閾値は、金属（壁面）で反射した場合における反射強度（反射率）と、石炭（対象物）で反射した場合における反射強度（反射率）とを区分けできる値に設定されている。また、レーザ光の反射強度は距離に応じた減衰率で減衰するため、減衰率が既知であれば、反射強度に減衰率を乗じることで、距離による反射強度の減衰の影響を事実上無視するようにしてもよい。
【００６０】
そして、２次元情報導出部１５２は、水平方向に予め設定された正方形の範囲ごとに、計測点数をサンプリングする。これにより、各範囲には、図５（ｂ）に示すように、反射強度（反射率）によって分類された計測点がサンプリングされることになる。そして、壁面１６に対応する正方形の範囲には、反射強度が高い区分の計測点が多くサンプリングされる。また、底面１８に対応する正方形の範囲には、反射強度が高い区分の計測点が少なくサンプリングされる。また、積荷２０に対応する正方形の範囲には、反射強度が低い区分の計測点が少なくサンプリングされる。
【００６１】
そして、配色部１５４ａは、各範囲において、２つに区分に分類された計測点のうち、数が多い区分を、その範囲の区分として決定する。そして、配色部１５４ａは、各範囲において、決定された区分、および、計測点数に基づいて、色付けパターンを決定する。具体的には、２つの区分それぞれについて色彩が異なり、かつ、計測点数が多い範囲から計測点数が少ない範囲にかけて濃いパターンから薄いパターンとなるような色付けパターンが設定されている。例えば、反射強度（反射率）が高い区分の範囲は、計測点数に応じて、黒色から白色にかけて濃淡が異なる色付けパターン設定されており（図５（ｃ）中、グレースケールで示す）、反射強度（反射率）が低い区分の範囲は、計測点数に応じて、赤色から白色にかけて濃淡が異なる色付けパターン設定されている（図５（ｃ）中、ハッチングの密度で示す）。
【００６２】
そして、配色部１５４ａは、図５（ｃ）に示すように、各範囲について、決定された区分、および、計測点数に応じた色付けパターンを決定する。そして、表示処理部１５４ｂは、各範囲を決定した色付けパターンで示した画像（２次元画像）を表示部１４２に表示する。
【００６３】
したがって、壁面１６に対応する範囲は濃いパターン（黒色）となり、底面１８に対応する範囲は薄いパターン（白色またはグレー）となる。また、積荷２０に対応する範囲は、積荷２０の状態に応じて、赤色から白色にかけた濃淡の色付けパターンとなる。
【００６４】
このように、表示制御部１５４は、距離計測部１２２により計測された、物体までの距離、および、反射強度（反射率）に応じたパターンで２次元画像を表示することで、より庫内１４の状態を操縦者に把握させることができる。
【００６５】
以上、添付図面を参照しながら実施形態について説明したが、本開示はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に技術的範囲に属するものと了解される。
【００６６】
例えば、上記実施形態において、作業空間として庫内１４を例に挙げて説明した。しかし、作業空間内の状態を２次元画像として表示するのであれば、船舶１０の庫内１４に限定されない。
【００６７】
また、上記実施形態において、対象物（積荷２０）として石炭を例に挙げて説明した。しかし、積荷２０は石炭に限定されない。
【００６８】
また、上記実施形態において、距離計測部１２２は、レーザセンサを例に挙げて説明した。しかし、距離計測部１２２は、レーザセンサに限らず、ミリ波センサ、赤外線センサ等であってもよい。また、これらセンサを複合して用いてもよい。特に、ミリ波センサは、粉塵が多い環境下においても物体までの距離を正確に計測することができ、また、レーザセンサは、反射強度を計測することができるため、レーザセンサとミリ波センサを複合することが好ましい。
【００６９】
また、上記実施形態において、計測点の密度を補正する手法としてボクセルグリッドフィルタを適用する場合について説明した。しかしながら、計測点の密度を補正する手法はこれに限らない。
【００７０】
例えば、計測点の密度は、距離の２乗に反比例して減少する。そこで、任意の代表寸法Ｌ０とし、計測された距離Ｌとした場合に、（Ｌ／Ｌ０）２を各計測点の点数として補正するようにしてもよい。
【００７１】
また、２次元点群の場合、計測点の間を直線補間や、ＮＵＲＢＳ（Non-Uniform Rational B-Spline）等の関数曲線で補間するようにしてもよい。また、３次元点群の場合、ドロネー法などの点群結合手法を用いて平面補間してもよいし、ＮＵＲＢＳなどの関数曲面で補間するようにしてもよい。
【００７２】
また、上記実施形態において、ＩＭＵ１２４により導出されるＩＭＵ情報に基づいて、バケツ部１１０ｂの位置、すなわち、距離計測部１２２の位置を導出するようにした。しかし、ＩＭＵ情報は必須でない。また、ＧＮＳＳ（Global Navigation Satellite System）や、移動位置計測部１０２ａ、旋回角度計測部１０４ａおよび傾斜角度計測部１０６ａの各情報等に基づいて、距離計測部１２２の位置を導出するようにしてもよい。
【００７３】
また、上記実施形態において、アンローダ設備１００を例に挙げて説明した。しかし、アンローダ設備１００に限らず、遠隔操作される作業設備に適用することができる。
【産業上の利用可能性】
【００７４】
本開示は、作業空間の状態を把握する際に用いられる画像を表示する画像表示装置に利用することができる。
【符号の説明】
【００７５】
１００  アンローダ設備
１２２  距離計測部
１４２  表示部
１５２  ２次元情報導出部
１５２ａ  受信部
１５２ｃ  補間処理部
１５２ｄ  セル配置部
１５２ｅ  傾斜算出部
１５４  表示制御部
１５４ａ  配色部
２００  画像表示装置
【図１】
2019133588.tif 000003
【図２】
2019133588.tif 000004
【図３】
2019133588.tif 000005
【図４】
2019133588.tif 000006
【図５】
2019133588.tif 000007