(57)【要約】【課題】直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる、俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムを提供する。【解決手段】俯瞰画像を構成する各画像のカメラ位置・カメラ倍率・カメラ姿勢を画像処理で調整するための調整画面１００を表示手段に表示する表示制御部６１は、位置・倍率表示エリアの周囲に位置調整ボタンおよび倍率調整ボタンを表示するとともに、姿勢表示エリアの周囲に姿勢調整ボタンを表示し、位置調整ボタンの調整指示に基づいて、位置・倍率調整用ラインの表示位置を平行移動させ、倍率調整ボタンの調整指示に基づいて、位置・倍率調整用ラインの表示倍率を拡大・縮小させ、姿勢調整ボタンの調整指示に基づいて、姿勢調整用ラインの表示角度を回転移動させる。【選択図】  図５
2017216489.tif 000002
【特許請求の範囲】
【請求項１】
作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、
前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、
前記表示制御部は、
前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示す位置・倍率調整用ラインを表示するとともに、前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示す姿勢調整用ラインを表示し、
前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整装置。
【請求項２】
前記表示制御部は、前記位置調整ボタンとして、
前記カメラの左右位置を調整する左右位置調整ボタンを前記位置・倍率表示エリアの左右位置に表示するとともに、前記カメラの上下位置を調整する上下位置調整ボタンを前記位置・倍率表示エリアの上下位置に表示し、
前記倍率調整ボタンを前記位置・倍率表示エリアの斜め上方位置または斜め下方位置に表示する、請求項１に記載の俯瞰画像調整装置。
【請求項３】
前記表示制御部は、前記姿勢調整ボタンとして、
前記カメラのヨー角度を調整するヨー角度調整ボタンを前記姿勢表示エリアの左右位置に表示し、
前記カメラのピッチ角度を調整するピッチ角度調整ボタンを前記姿勢表示エリアの上下位置に表示し、
前記カメラのロール角度を調整するロール角度調整ボタンを前記姿勢表示エリアの斜め上方位置または斜め下方位置に表示する、請求項１または請求項２に記載の俯瞰画像調整装置。
【請求項４】
前記位置・倍率調整用ラインおよび前記姿勢調整用ラインは、所定の間隔で隔てられた２本の縦軸と、所定の間隔で隔てられた２本の横軸とが互いに交差されている、請求項１から請求項３のいずれかに記載の俯瞰画像調整装置。
【請求項５】
前記表示制御部は、
前記俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリアを前記調整画面に表示するとともに、前記表示領域表示エリアに複数の頂点を多角形状に結んでなる各画像の現在の表示領域を表示し、
前記表示領域のいずれかの頂点が移動指示を受け付けた場合、当該移動指示により移動された頂点と移動されなかった頂点とを結んでなる前記表示領域を表示する、
請求項１から請求項４のいずれかに記載の俯瞰画像調整装置。
【請求項６】
請求項１から請求項５のいずれかに記載の俯瞰画像調整装置によって調整された前記俯瞰画像を表示する、作業車用周囲表示装置。
【請求項７】
前記俯瞰画像を含む画面レイアウトを備えた表示モードとして、
前記作業車の周囲全体の俯瞰画像を表示する通常俯瞰モードと、
前記作業車の周囲全体の俯瞰画像を拡大して表示する拡大俯瞰モードと、
前記作業車の後方周囲の俯瞰画像と後方の通常画像とを同時に表示する後方俯瞰モードと、
前記作業車の後方周囲の俯瞰画像と後方のミラー画像とを同時に表示する後方俯瞰ミラーモードと
を有する、請求項６に記載の作業車用周囲表示装置。
【請求項８】
請求項６または請求項７に記載の作業車用周囲表示装置を備えてなる作業車。
【請求項９】
作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、
前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、
前記表示制御部は、
前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示す位置・倍率調整用ラインを表示するとともに、前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示す姿勢調整用ラインを表示し、
前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、除雪車や散布車等のような作業車の周囲の俯瞰画像を調整するための俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムに関するものである。
【背景技術】
【０００２】
従来、普通自動車等の車両に取り付けた複数のカメラにより撮像された画像を合成し、車両の真上から周囲を見下ろすような俯瞰画像を表示する技術が提案されている。例えば、特開２００６−２７７７３８号公報には、複数のカメラ画像データから俯瞰画像を作成する車載画像処理装置が開示されている。（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２７７７３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような俯瞰画像を撮像する各カメラには、組み立て誤差によるバラツキが存在する他、車体への取り付け時には、カメラ位置やカメラ姿勢に組み付け誤差が発生する。このため、各カメラを取り付けた後は、ソフト的に基準設定からの誤差を校正するキャリブレーション作業が必要となる。しかしながら、当該キャリブレーション作業は、従来、車両メーカーやディーラーにおいてのみ行われており、当該作業を直感的に行えるような操作性の高いグラフィカルユーザインターフェースは存在していないという問題がある。
【０００５】
一方、除雪車や散布車等の作業車においては、普通乗用車等と比較して運転席から見えない死角が圧倒的に大きい。このため、当該死角の状況を確認するための作業員を別途配置等しているが、近年、作業員の確保が難しくなっている。このような背景から、作業車においても俯瞰画像を表示させたいというニーズが高まりつつある。しかしながら、作業車では、車体の大きさに比例して、俯瞰画像を表示するために必要なカメラの数が増大する。このため、上述したキャリブレーション作業を行うのに非常に手間と時間が掛かるという問題もある。
【０００６】
本発明は、このような問題点を解決するためになされたものであって、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる、俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明に係る俯瞰画像調整装置は、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整するという課題を解決するために、作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、前記表示制御部は、前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示す位置・倍率調整用ラインを表示するとともに、前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示す姿勢調整用ラインを表示し、前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させるものである。
【０００８】
また、本発明の一態様として、位置調整ボタンの直感性および操作性を向上するという課題を解決するために、前記表示制御部は、前記位置調整ボタンとして、前記カメラの左右位置を調整する左右位置調整ボタンを前記位置・倍率表示エリアの左右位置に表示するとともに、前記カメラの上下位置を調整する上下位置調整ボタンを前記位置・倍率表示エリアの上下位置に表示し、前記倍率調整ボタンを前記位置・倍率表示エリアの斜め上方位置または斜め下方位置に表示してもよい。
【０００９】
さらに、本発明の一態様として、姿勢調整ボタンの直感性および操作性を向上するという課題を解決するために、前記表示制御部は、前記姿勢調整ボタンとして、前記カメラのヨー角度を調整するヨー角度調整ボタンを前記姿勢表示エリアの左右位置に表示し、前記カメラのピッチ角度を調整するピッチ角度調整ボタンを前記姿勢表示エリアの上下位置に表示し、前記カメラのロール角度を調整するロール角度調整ボタンを前記姿勢表示エリアの斜め上方位置または斜め下方位置に表示してもよい。
【００１０】
また、本発明の一態様として、位置・倍率調整用ラインおよび姿勢調整用ラインの調整方向および調整量を視認しやすくするという課題を解決するために、前記位置・倍率調整用ラインおよび前記姿勢調整用ラインは、所定の間隔で隔てられた２本の縦軸と、所定の間隔で隔てられた２本の横軸とが互いに交差されていてもよい。
【００１１】
さらに、本発明の一態様として、俯瞰画像を構成する各画像の表示領域の形状を簡単かつ直感的に調整するという課題を解決するために、前記表示制御部は、前記俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリアを前記調整画面に表示するとともに、前記表示領域表示エリアに複数の頂点を多角形状に結んでなる各画像の現在の表示領域を表示し、前記表示領域のいずれかの頂点が移動指示を受け付けた場合、当該移動指示により移動された頂点と移動されなかった頂点とを結んでなる前記表示領域を表示するようにしてもよい。
【００１２】
また、本発明に係る作業車用周囲表示装置は、上述したいずれかの態様の俯瞰画像調整装置によって調整された前記俯瞰画像を表示するものである。
【００１３】
また、本発明の一態様として、作業車の走行箇所または作業用途に応じて、俯瞰画像を含む最適な画面レイアウトを表示するという課題を解決するために、前記俯瞰画像を含む画面レイアウトを備えた表示モードとして、前記作業車の周囲全体の俯瞰画像を表示する通常俯瞰モードと、前記作業車の周囲全体の俯瞰画像を拡大して表示する拡大俯瞰モードと、前記作業車の後方周囲の俯瞰画像と後方の通常画像とを同時に表示する後方俯瞰モードと、前記作業車の後方周囲の俯瞰画像と後方のミラー画像とを同時に表示する後方俯瞰ミラーモードとを有していてもよい。
【００１４】
また、本発明に係る作業車は、上述したいずれかの態様の作業車用周囲表示装置を備えてなるものである。
【００１５】
また、本発明に係る俯瞰画像調整プログラムは、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整するという課題を解決するために、作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、前記表示制御部は、前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示す位置・倍率調整用ラインを表示するとともに、前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示す姿勢調整用ラインを表示し、前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させるものである。
【発明の効果】
【００１６】
本発明によれば、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る俯瞰画像調整装置および作業車用周囲表示装置の一実施形態を示すブロック図である。
【図２】本発明に係る作業車用周囲表示装置を搭載した作業車の一実施形態を示す、（ａ）右側面図、（ｂ）平面図、（ｃ）正面図および（ｄ）背面図である。
【図３】本実施形態において、各表示モードにおける画面レイアウトの一例を示す図である。
【図４】本実施形態における表示パラメータの一例を示す図である。
【図５】本実施形態の俯瞰画像調整装置における調整画面の一例を示す図である。
【図６】本実施形態の俯瞰画像調整装置および俯瞰画像調整プログラムを用いて、俯瞰画像を調整する際の処理の流れを示すフローチャートである。
【図７】本実施形態におけるカメラ位置、カメラ倍率およびカメラ姿勢を調整する際の処理の流れを示すフローチャートである。
【図８】本実施形態において、カメラ位置、カメラ倍率およびカメラ姿勢を調整する際のイメージ図である。
【図９】本実施形態において、画像が（ａ）Ｘ方向にズレている場合、（ｂ）Ｙ方向にズレている場合、および（ｃ）Ｚ方向にズレている場合を示すイメージ図である。
【図１０】本実施形態において、画像が（ａ）ヨー方向にズレている場合、（ｂ）ピッチ方向にズレている場合、および（ｃ）ロール方向にズレている場合を示すイメージ図である。
【図１１】本実施形態において、表示領域の形状を調整する際の処理の流れを示すフローチャートである。
【図１２】本実施形態において、パラメータ詳細設定ウィンドウの一例を示す図である。
【発明を実施するための形態】
【００１８】
以下、本発明に係る俯瞰画像調整装置、作業車用周囲表示装置およびこれを備えた作業車並びに俯瞰画像調整プログラムの一実施形態について図面を用いて説明する。
【００１９】
本実施形態では、図１に示すように、作業車２０に設けられた複数のカメラＣ１〜Ｃ６で撮像した各画像を合成してなる、作業車２０の周囲の俯瞰画像を表示する作業車用周囲表示装置１０と、この作業車用周囲表示装置１０に表示される俯瞰画像を調整する俯瞰画像調整装置１とを備えている。以下、各構成について説明する。
【００２０】
作業車２０は、除雪車としても兼用可能な剤散布車によって構成されており、除雪作業や凍結防止剤等の薬剤散布作業を行いながら、あるいは、その両方の作業を行いながら道路を走行するものである。本実施形態では、図２に示すように、作業車２０の運転席近傍に作業車用周囲表示装置１０が搭載されている。なお、本実施形態では、作業車２０として剤散布車を採用しているが、この構成に限定されるものではない。すなわち、本発明に係る作業車２０は、除雪車や剤散布車の他、ロータリー除雪車や万能車、トラクターショベル等のように、普通乗用車よりも大型で所定の作業を行うための全ての車両を含む概念である。
【００２１】
作業車用周囲表示装置１０は、作業車２０の真上から周囲を見下ろすような俯瞰画像を表示するものである。本実施形態において、作業車用周囲表示装置１０は、図１に示すように、作業車２０に設けられる複数のカメラＣ１〜Ｃ６と、俯瞰画像を表示する俯瞰画像表示モニタ１１と、この俯瞰画像表示モニタ１１に俯瞰画像等を表示する際の表示モードを切替えるモード切替スイッチ１２とに接続されている。
【００２２】
カメラＣ１〜Ｃ６は、高精細度（ＨＤ：High Definition）カメラ等で構成されており、作業車２０の周囲の画像を撮像するものである。本実施形態において、カメラＣ１〜Ｃ６は、図２に示すように、作業車２０の左前側方を撮像するカメラＣ１と、左後側方を撮像するカメラＣ２と、右前側方を撮像するカメラＣ３と、右後側方を撮像するカメラＣ４と、前方を撮像するカメラＣ５と、後方を撮像するカメラＣ６とを有している。これら各カメラＣ１〜Ｃ６は、普通乗用車と比較して、地面から高い位置に設置されるため、より広範囲の俯瞰画像を撮像することができる。そして、各カメラＣ１〜Ｃ６は、撮像した各画像データを、リアルタイムで後述する俯瞰画像合成部１３に出力するようになっている。
【００２３】
なお、本実施形態では、除雪車によって捲き上げられた雪の付着を防止するため、各カメラＣ１〜Ｃ６は、透明の電熱線ヒーターが設けられた専用ボックス（図示せず）に収納されている。そして、電熱線ヒーターのＯＮ／ＯＦＦを手動制御するスイッチが、作業車２０内に設置されているとともに、電熱線ヒーターの温度が所定温度（例：４０℃）に達すると自動でＯＦＦされるようになっている。
【００２４】
俯瞰画像表示モニタ１１は、液晶ディスプレイ等で構成されており、作業車２０の周囲の俯瞰画像を表示するものである。本実施形態において、俯瞰画像表示モニタ１１は、作業車２０の運転席の前方など、運転手が常時確認できる場所に設置されている。そして、後述する俯瞰画像合成部１３によって合成された俯瞰画像をリアルタイムで表示するようになっている。
【００２５】
モード切替スイッチ１２は、作業車２０の走行箇所または作業用途に応じて、異なる画面レイアウトを備えた表示モードを切替えるものである。本実施形態では、図３に示すように、俯瞰画像を含む画面レイアウトを備えた表示モードとして、作業車２０の周囲全体の俯瞰画像を表示する通常俯瞰モードと、作業車２０の周囲全体の俯瞰画像を拡大して表示する拡大俯瞰モードと、作業車２０の後方周囲の俯瞰画像と後方の通常画像とを同時に表示する後方俯瞰モードと、作業車２０の後方周囲の俯瞰画像と後方のミラー画像とを同時に表示する後方俯瞰ミラーモードとを有している。また、俯瞰画像を含まない画面レイアウトを備えた表示モードとして、後方の通常画像のみを表示する後方確認モードと、側方の通常画像のみを表示する側方確認モードとを有している。
【００２６】
なお、通常俯瞰モードは、サービスエリアやパーキングエリア等において、周囲の安全を確認するのに好適である。拡大俯瞰モードは、高速道路の構内や本線料金所等において、周囲の安全を確認するのに好適である。後方俯瞰モードおよび後方俯瞰ミラーモードは、除雪作業や剤散布作業等の仕上がり具合を確認するのに好適である。後方確認モードは、駐車する際に後方を確認するのに好適である。側方確認モードは、高速道路本線への合流時や梯団除雪状態からの開放時に安全を確認するのに好適である。
【００２７】
作業車用周囲表示装置１０は、ＣＰＵ（Central Processing Unit）としての機能と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリとしての機能とを有するＦＰＧＡ（Field-Programmable Gate Array）等を備えた基板によって構成されている。そして、図１に示すように、後述する各種の表示パラメータを記憶する表示パラメータ記憶部１２と、各カメラＣ１〜Ｃ６から取得した画像を合成し俯瞰画像を出力する俯瞰画像合成部１３とを有している。以下、各構成について説明する。
【００２８】
表示パラメータ記憶部１２は、俯瞰画像を構成する各画像についての表示パラメータを記憶するものである。本実施形態において、表示パラメータ記憶部１２には、図４に示すように、各カメラのカメラ位置を指定するパラメータとして、左右位置を指定するＸ値と、上下位置を指定するＹ値とが記憶される。また、各カメラのカメラ倍率を指定するパラメータとして、高さ位置（表示倍率）を指定するＺ値とが記憶される。さらに、各カメラのカメラ姿勢を指定するパラメータとして、ロール角度を指定するロール値と、ピッチ角度を指定するピッチ値と、ヨー角度を指定するヨー値とが記憶される。さらに、各カメラで撮像された各画像の表示領域の形状を指定するパラメータとして、当該表示領域を指定する各頂点の座標値が記憶される。
【００２９】
そして、表示パラメータ記憶部１２は、上述した俯瞰画像を含む４つの表示モード（通常俯瞰モード、各段俯瞰モード、後方俯瞰モード、後方俯瞰ミラーモード）のそれぞれについて、上述した各表示パラメータをパラメータファイルとして保存するようになっている。また、本実施形態において、表示パラメータ記憶部１２は、俯瞰画像を表示する際の路面サイズを指定する全長および全幅についても保存しうるようになっている。
【００３０】
俯瞰画像合成部１３は、各カメラＣ１〜Ｃ６で撮像した各画像を合成し、俯瞰画像を生成するものである。本実施形態において、俯瞰画像合成部１３は、各カメラＣ１〜Ｃ６で撮像された画像を取得するとともに、モード切替スイッチ１２で設定されている表示モードに対応するパラメータファイルを表示パラメータ記憶部１２から読み出す。そして、当該パラメータファイルの各表示パラメータに基づいて、各画像を合成して俯瞰画像を生成し、俯瞰画像表示モニタ１１へ出力するようになっている。また、本実施形態において、俯瞰画像合成部１３は、俯瞰画像調整装置１から表示パラメータの調整指示が送信されてきた場合、当該調整後の表示パラメータに基づいて、俯瞰画像をリアルタイムで更新するようになっている。
【００３１】
つぎに、俯瞰画像調整装置１は、ノート型のパーソナルコンピュータやタブレット端末等のコンピュータによって構成されており、図１に示すように、主として、ユーザからの入力や指示を受け付ける入力手段２と、後述する調整画面１００等を表示する表示手段３と、作業車用周囲表示装置１０との間でデータ通信を行う通信手段４と、本実施形態の俯瞰画像調整プログラム１ａや各種データを記憶する記憶手段５と、各種の演算処理を実行し後述する各構成部として機能する演算処理手段６とから構成されている。以下、各構成手段について詳細に説明する。
【００３２】
入力手段２は、ユーザからの指示や入力を受け付けるためのものである。本実施形態において、入力手段２は、タッチパッドやマウスなどのポインティングデバイスや、テンキーなどの入力装置等によって構成されており、後述する調整画面１００で入力された調整指示や数値および調整対象とするカメラの選択や表示モードの選択等を演算処理手段６へ出力するようになっている。
【００３３】
表示手段３は、俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面１００等を表示するためのものである。本実施形態において、表示手段３は、液晶ディスプレイ等で構成されており、後述する表示制御部６１から入力された表示内容を表示するようになっている。なお、入力手段２および表示手段３は、入力手段２としての位置入力機能と、表示手段３としての表示機能とを兼ね備えたタッチパネル等によって構成されていてもよい。
【００３４】
通信手段４は、俯瞰画像調整装置１を作業車用周囲表示装置１０とデータ通信させるためのものである。本実施形態において、通信手段４は、ＵＳＢケーブル等によって構成されており、作業車用周囲表示装置１０から現在の表示モードで使用されている表示パラメータを受信したり、作業車用周囲表示装置１０に対して調整後の表示パラメータを送信するようになっている。
【００３５】
記憶手段５は、各種のデータを記憶するとともに、演算処理手段６が演算処理を行う際のワーキングエリアとして機能するものである。本実施形態において、記憶手段５は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）およびフラッシュメモリ等によって構成されており、図１に示すように、プログラム記憶部５１と、調整パラメータ記憶部５２と、ＧＵＩデータ記憶部５３とを有している。以下、各構成部についてより詳細に説明する。
【００３６】
プログラム記憶部５１には、本実施形態の俯瞰画像調整プログラム１ａがインストールされている。そして、演算処理手段６が、俯瞰画像調整プログラム１ａを実行することにより、俯瞰画像調整装置１としてのコンピュータを後述する各構成部として機能させるようになっている。
【００３７】
なお、俯瞰画像調整プログラム１ａの利用形態は、上記構成に限られるものではない。例えば、ＵＳＢメモリやＣＤ−ＲＯＭ等のように、コンピュータで読み取り可能な非一時的な記録媒体に俯瞰画像調整プログラム１ａを記憶させておき、当該記録媒体から直接読み出して実行してもよい。また、外部サーバ等からＡＳＰ（Application Service Provider）方式やクラウドコンピューティング方式で利用してもよい。
【００３８】
調整パラメータ記憶部５２は、作業車用周囲表示装置１０へ送信し、俯瞰画像を調整するための表示パラメータを記憶するものである。本実施形態において、調整パラメータ記憶部５２は、上述した俯瞰画像を含む表示モードのそれぞれに対応付けて、図４で示した各表示パラメータを記憶しうるようになっている。
【００３９】
ＧＵＩデータ記憶部５３は、表示手段３上で入力手段２による直感的な操作を可能にするグラフィカルユーザインタフェース（Graphical User Interface）を表示するためのＧＵＩデータを記憶するものである。本実施形態において、ＧＵＩデータ記憶部５３には、図５に示すような調整画面１００等を表示するためのＧＵＩデータが記憶されている。
【００４０】
ここで、本実施形態の調整画面１００を構成するグラフィカルユーザインタフェースについて詳細に説明する。図５に示すように、調整画面１００は、主として、カメラ位置およびカメラ倍率を調整するための位置・倍率表示エリア１１０と、カメラ姿勢を調整するための姿勢表示エリア１２０と、俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリア１３０とを有している。
【００４１】
位置・倍率表示エリア１１０には、図５に示すように、現在のカメラ位置およびカメラ倍率を示す位置・倍率調整用ライン１１１と、当該位置・倍率調整用ライン１１１の移動量を視認するための基準ライン１１２とが表示される。そして、位置・倍率表示エリア１１０の周囲には、カメラ位置の調整指示を受け付ける位置調整ボタン１１３，１１４と、カメラ倍率の調整指示を受け付ける倍率調整ボタン１１５とが配置されている。位置調整ボタン１１３，１１４としては、カメラの左右位置を調整する左右位置調整ボタン１１３が位置・倍率表示エリア１１０の左右位置に配置されている。また、カメラの上下位置を調整する上下位置調整ボタン１１４が位置・倍率表示エリア１１０の上下位置に配置されている。さらに、カメラの高さ位置によってカメラ倍率を調整する倍率調整ボタン１１５が位置・倍率表示エリア１１０の斜め上方位置に配置されている。
【００４２】
姿勢表示エリア１２０には、図５に示すように、現在のカメラ姿勢を示す姿勢調整用ライン１２１と、当該姿勢調整用ライン１２１の回転量を視認するための基準ライン１２２とが表示される。そして、姿勢表示エリア１２０の周囲には、カメラ姿勢の調整指示を受け付ける姿勢調整ボタンが配置されている。当該姿勢調整ボタンとしては、カメラのヨー角度を調整するヨー角度調整ボタン１２３が姿勢表示エリア１２０の左右位置に配置されている。また、カメラのピッチ角度を調整するピッチ角度調整ボタン１２４が姿勢表示エリア１２０の上下位置に配置されている。さらに、カメラのロール角度を調整するロール角度調整ボタン１２５が姿勢表示エリア１２０の斜め上方位置に配置されている。
【００４３】
なお、本実施形態において、位置・倍率調整用ライン１１１および姿勢調整用ライン１２１は、図５に示すように、所定の間隔で隔てられた２本の縦軸と、所定の間隔で隔てられた２本の横軸とが互いに交差されているが、この構成に限定されるものではない。カメラ位置やカメラ姿勢を表現しうるものであればどのようなグラフィカルユーザインターフェースであってもよい。
【００４４】
また、本実施形態において、倍率調整ボタン１１５およびロール角度調整ボタン１２５は、それぞれ位置・倍率表示エリア１１０および姿勢表示エリア１２０の斜め上方位置に設けられているが、斜め下方位置であってもよい。さらに、本実施形態では、図５に示すように、左右位置調整ボタン１１３、上下位置調整ボタン１１４、倍率調整ボタン１１５、ヨー角度調整ボタン１２３、ピッチ角度調整ボタン１２４およびロール角度調整ボタン１２５のそれぞれについて、１回の調整指示（１クリックや１タップ）あたりの調整値が異なるボタンを２つずつ用意しているが、この構成に限定されるものではなく、各ボタンは１つずつでもよく、３つ以上ずつ用意してもよい。
【００４５】
表示領域表示エリア１３０には、図５に示すように、選択されている表示モードの画面レイアウトに対応させて、各画像の現在の表示領域１３１が表示される。本実施形態において、各表示領域１３１は、ドラッグ・アンド・ドロップ操作が可能な複数の頂点１３２を有しており、各頂点１３２を多角形状に結んで構成されている。また、俯瞰画像を含む画面レイアウトのそれぞれについて、デフォルトの表示領域１３１の形状が予め登録されている。
【００４６】
また、本実施形態では、図５に示すように、位置・倍率表示エリア１１０および表示領域表示エリア１３０の上方に、送信ボタン１１６，１２６、取消ボタン１１７，１２７および確定ボタン１１８，１２８がそれぞれ配置されている。送信ボタン１１６，１２６は、カメラ位置、カメラ倍率、カメラ姿勢または表示領域１３１に対する調整後の表示パラメータを作業車用周囲表示装置１０へ送信する指示を受け付けるものである。取消ボタン１１７，１２７は、調整中の表示パラメータをリセットし、作業車用周囲表示装置１０の表示パラメータ記憶部１２に記憶されている表示パラメータに戻す指示を受け付けるものである。確定ボタン１１８，１２８は、調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１２に保存させる指示を受け付けるものである。
【００４７】
さらに、本実施形態では、図５に示すように、調整画面１００の左上位置から下方に向けて順に、接続ボタン１０１と、現在表示パラメータ取得ボタン１０２と、全パラメータ送信ボタン１０３と、表示モード選択プルダウン１０４と、調整カメラ選択プルダウン１０５と、終了ボタン１０６とを有している。
【００４８】
接続ボタン１０１は、作業車用周囲表示装置１０と通信接続するためのものである。現在表示パラメータ取得ボタン１０２は、作業車用周囲表示装置１０から現在の表示モードで使用している表示パラメータを取得するものである。全パラメータ送信ボタン１０３は、ある表示モードにおける各カメラＣ１〜Ｃ６の全表示パラメータを予め設定してあるパラメータファイルを作業車用周囲表示装置１０へ送信するものである。表示モード選択プルダウン１０４は、調整する表示モードを選択するものである。調整カメラ選択プルダウン１０５は、調整するカメラを選択するものである。終了ボタン１０６は、本俯瞰画像調整プログラム１ａを終了させるものである。
【００４９】
つぎに、演算処理手段６は、上述した入力手段２、表示手段３、通信手段４および記憶手段５を制御するとともに、各種の演算処理を実行するものである。本実施形態において、演算処理手段６は、ＣＰＵ（Central Processing Unit）等によって構成されており、記憶手段５にインストールされた俯瞰画像調整プログラム１ａを実行することにより、図１に示すように、表示制御部６１と、表示パラメータ取得部６２と、指示入力判定部６３と、表示パラメータ調整部６４と、表示パラメータ送信部６５として機能するようになっている。以下、各構成部についてより詳細に説明する。
【００５０】
表示制御部６１は、表示手段３に表示させる内容を制御するためのものである。本実施形態において、表示制御部６１は、本俯瞰画像調整プログラム１ａが起動されると、ＧＵＩデータ記憶部５３からＧＵＩデータを読み出し、図５に示すような調整画面１００を表示手段３に表示させる。そして、当該調整画面１００上で各種の調整指示が入力手段２を介して入力された場合、当該調整指示に基づいて、位置・倍率表示エリア１１０内の位置・倍率調整用ライン１１１、または姿勢表示エリア１２０内の姿勢調整用ライン１２１を移動させるようになっている。
【００５１】
具体的には、表示制御部６１は、いずれかの位置調整ボタン１１３，１１４が調整指示を受け付けた場合、当該調整指示に基づいて、位置・倍率調整用ライン１１１の表示位置を平行移動させる。すなわち、左右位置調整ボタン１１３または上下位置調整ボタン１１４のいずれかが押された場合、表示制御部６１は、当該ボタンに対応する移動方向および移動量に従って全ての位置・倍率調整用ライン１１１を平行に移動させる。
【００５２】
また、表示制御部６１は、倍率調整ボタン１１５が押された場合、当該ボタンに対応する拡大率の変化量または縮小率の変化量に従って、各位置・倍率調整用ライン１１１の表示倍率を拡大または縮小する。すなわち、高さ位置を低下させた場合、画像が拡大されるため、各位置・倍率調整用ライン１１１の間隔を広げるように平行移動させる。一方、高さ位置を増加させた場合、画像が縮小されるため、各位置・倍率調整用ライン１１１の間隔を狭めるように平行移動させる。
【００５３】
また、表示制御部６１は、いずれかの姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ライン１２１の表示角度を回転移動させるようになっている。すなわち、ヨー角度調整ボタン１２３が押された場合、当該ボタンに対応する回転方向および回転量に従って姿勢調整用ライン１２１の横軸を回転移動させる。また、ピッチ角度調整ボタン１２４が押された場合、当該ボタンに対応する回転方向および回転量に従って姿勢調整用ライン１２１の縦軸を回転移動させる。さらに、ロール角度調整ボタン１２５が押された場合、当該ボタンに対応する回転方向および回転量に従って全ての姿勢調整用ライン１２１を回転移動させるようになっている。
【００５４】
また、本実施形態において、表示制御部６１は、調整画面１００上の表示領域表示エリア１３０内において、いずれかの表示領域１３１に対する調整指示が入力された場合、当該調整指示に基づいて、表示領域１３１の形状を変形させる。
【００５５】
具体的には、表示制御部６１は、調整対象のカメラが選択されると、当該カメラに対応する表示領域１３１を強調表示する。そして、表示制御部６１は、当該表示領域１３１を構成するいずれかの頂点１３２（図５に示す例では、丸で囲まれた５つの頂点１３２）が移動指示（ドラッグ・アンド・ドロップ操作等）を受け付けた場合、当該移動指示により移動された頂点１３２と移動されなかった頂点１３２とを結んでなる表示領域１３１を表示するようになっている。
【００５６】
表示パラメータ取得部６２は、作業車用周囲表示装置１０から表示パラメータを取得するものである。本実施形態において、表示パラメータ取得部６２は、調整画面１００上の現在表示パラメータ取得ボタン１０２が操作された場合、作業車用周囲表示装置１０から現在の表示モードで使用されている表示パラメータを取得するようになっている。
【００５７】
指示入力判定部６３は、入力手段２を介してユーザから入力された指示内容を判定するものである。本実施形態において、指示入力判定部６３は、調整画面１００上での入力操作を監視する。そして、所定の入力操作が行われたとき、当該入力操作に対応する調整指示、選択内容および数値等を表示パラメータ調整部６４に提供するとともに、調整指示については表示パラメータ送信部６５を介して作業車用周囲表示装置１０の俯瞰画像合成部１３へリアルタイムで送信するようになっている。
【００５８】
表示パラメータ調整部６４は、調整画面１００を介して入力された調整指示に基づいて、表示パラメータを調整するものである。本実施形態において、表示パラメータ調整部６４は、調整画面１００上で各種の調整ボタンが指示された場合、当該指示内容に応じて、表示パラメータ取得部６２によって取得された表示パラメータの値、またはデフォルトの表示パラメータの値を調整するようになっている。
【００５９】
具体的には、表示パラメータ調整部６４は、いずれかの位置調整ボタン１１３，１１４または倍率調整ボタン１１５の大ボタンが１回操作されるごとに、上述した路面サイズの設定値に０．０２を乗じた長さ（ｍｍ）を増減し、いずれかの位置調整ボタン１１３，１１４または倍率調整ボタン１１５の小ボタンが１回操作されるごとに、当該設定値に０．００５を乗じた長さ（ｍｍ）を増減するようになっている。
【００６０】
また、表示パラメータ調整部６４は、いずれかの姿勢調整ボタン１２３〜１２５の大ボタンが１回操作されるごとに５度増減し、いずれかの姿勢調整ボタン１２３〜１２５の小ボタンが１回操作されるごとに１度増減するようになっている。
【００６１】
さらに、本実施形態において、表示パラメータ調整部６４は、調整対象として選択されている表示領域１３１のいずれかの頂点１３２が移動指示を受け付けた場合、当該移動指示に基づいて、表示領域１３１パラメータの値を調整する。具体的には、移動された頂点１３２の座標値を移動先の座標値に変更するようになっている。
【００６２】
また、本実施形態において、表示制御部６１および表示パラメータ調整部６４は、表示領域１３１を調整した場合であって、当該表示領域１３１に隣接する表示領域１３１との間に隙間がある場合、当該隙間を空けないように、隣接する表示領域１３１の形状および座標値を自動調整するようになっている。これにより、合成された俯瞰画像に空白部分が発生してしまうことが防止される。なお、上記自動調整処理は、手動によって実行してもよい。
【００６３】
そして、表示制御部６１および表示パラメータ調整部６４は、調整画面１００上の取消ボタン１１７，１２７が操作された場合、調整中の表示状態および表示パラメータをリセットし、作業車用周囲表示装置１０の表示パラメータ記憶部１３に記憶されている表示パラメータの値に戻すようになっている。
【００６４】
表示パラメータ送信部６５は、調整後の表示パラメータを作業車用周囲表示装置１０に送信するものである。本実施形態において、表示パラメータ送信部６５は、各種の調整ボタンが操作されるごとに、調整後の表示パラメータをリアルタイムで作業車用周囲表示装置１０に送信するようになっている。また、調整画面１００上の送信ボタン１１６，１２６が操作された場合、調整後の表示パラメータを作業車用周囲表示装置１０に送信するようになっている。
【００６５】
さらに、本実施形態において、表示パラメータ送信部６５は、調整画面１００上のファイルメニューから調整パラメータ記憶部５２に保存されている表示パラメータのいずれかを選択した後、全パラメータ送信ボタン１０３が操作された場合、当該選択した表示パラメータを作業車用周囲表示装置１０に送信するようになっている。
【００６６】
つぎに、本実施形態の俯瞰画像調整装置１、作業車用周囲表示装置１０およびこれを備えた作業車２０並びに俯瞰画像調整プログラム１ａによる作用について説明する。
【００６７】
本実施形態の俯瞰画像調整装置１および俯瞰画像調整プログラム１ａを用いて作業車用周囲表示装置１０に表示される俯瞰画像を調整する場合、まず、図６に示すように、表示制御部６１が、ＧＵＩデータ記憶部５３からＧＵＩデータを読み出し、表示手段３に調整画面１００を表示する（ステップＳ１）。そして、接続ボタン１０１の操作に応じて俯瞰画像調整装置１が作業車用周囲表示装置１０に接続されると、指示入力判定部６３が現在表示パラメータ取得ボタン１０２が操作されたか否かを判定する（ステップＳ２）。
【００６８】
その判定の結果、現在表示パラメータ取得ボタン１０２が操作されない場合（ステップＳ２：ＮＯ）、表示モードの選択を受け付ける（ステップＳ３）。これにより、当該選択した表示モードに対する新規のパラメータファイルが作成される。一方、現在表示パラメータ取得ボタン１０２が操作された場合（ステップＳ２：ＹＥＳ）、作業車用周囲表示装置１０で現在表示中の表示モードで使用されている表示パラメータが取得される。そして、表示制御部６１が、取得した表示パラメータの表示モードに基づいて表示領域表示エリア１３０の画面レイアウトを更新する。
【００６９】
つぎに、指示入力判定部６３が、調整するカメラの選択を受け付けると（ステップＳ４）、表示制御部６１が、表示領域表示エリア１３０に表示されている表示領域１３１のうち、選択されたカメラに対応する表示領域１３１を強調表示する。そして、指示入力判定部６３は、当該選択したカメラについて、カメラ位置、カメラ倍率またはカメラ姿勢の調整指示があったか否かを判定する（ステップＳ５）。その判定の結果、調整指示があれば（ステップＳ５：ＹＥＳ）、カメラ位置、カメラ倍率またはカメラ姿勢を調整する（ステップＳ６）。
【００７０】
ここで、カメラ位置、カメラ倍率またはカメラ姿勢を調整する際の具体的な処理について、図７を用いて詳細に説明する。なお、本実施形態では、図８に示すように、俯瞰画像の調整に際して、路面に載置した４つのマーカを撮像し、これらマーカの位置関係や大きさによって、各画像の位置ズレや歪み等を目視で判別している。ただし、この構成に限定されるものではなく、路面上の目印や模様等をマーカとして使用してもよい。
【００７１】
まず、図９（ａ）に示すように、各マーカの位置が左右のいずれかに寄っている場合、左右位置調整ボタン１１３を操作する（ステップＳ５１：ＹＥＳ）。これにより、表示制御部６１が、全ての位置・倍率調整用ライン１１１を左右のいずれかに平行移動させ（ステップＳ５２）、略中央となるまで調整指示を促す。また、表示パラメータ調整部６４がＸ値を変更するとともに、表示パラメータ送信部６５が当該変更後のＸ値を作業車用周囲表示装置１０へ送信する。
【００７２】
また、図９（ｂ）に示すように、各マーカの位置が上下のいずれかに寄っている場合、上下位置調整ボタン１１４を操作する（ステップＳ５３：ＹＥＳ）。これにより、表示制御部６１が、全ての位置・倍率調整用ライン１１１を上下のいずれかに平行移動させ（ステップＳ５４）、略中央となるまで調整指示を促す。また、表示パラメータ調整部６４がＹ値を変更するとともに、表示パラメータ送信部６５が当該変更後のＹ値を作業車用周囲表示装置１０へ送信する。
【００７３】
あるいは、図９（ｃ）に示すように、各マーカのサイズが小さい場合や大きい場合、倍率調整ボタン１１５を操作する（ステップＳ５５：ＹＥＳ）。これにより、表示制御部６１が、各位置・倍率調整用ライン１１１の間隔を広げたり狭めたりして表示倍率を拡大・縮小し（ステップＳ５６）、所望の倍率となるまで調整指示を促す。また、表示パラメータ調整部６４がＺ値を変更するとともに、表示パラメータ送信部６５が当該変更後のＺ値を作業車用周囲表示装置１０へ送信する。
【００７４】
以上のように、各位置・倍率調整用ライン１１１は、ユーザからの調整指示に応じた移動方向かつ移動量で、位置・倍率表示エリア１１０内を平行移動する。このため、直感性および操作性に優れており、ユーザは画像の位置ズレを簡単かつ迅速に調整する。また、左右位置調整ボタン１１３、上下位置調整ボタン１１４および倍率調整ボタン１１５が、その調整方向に合わせて位置・倍率表示エリア１１０の左右位置、上下位置および斜め上方位置に配置されているため、直感性および操作性に優れている。さらに、位置・倍率調整用ライン１１１は、２本の縦軸と２本の横軸とが互いに交差されているため、移動方向や移動量または拡大率や縮小率を視認しやすい。また、本実施形態では、位置・倍率表示エリア１１０内の基準ライン１１２が、各位置・倍率調整用ライン１１１の移動方向および移動量を視覚的かつ直感的に把握しやすくする。
【００７５】
つぎに、図１０（ａ）に示すように、各マーカの大きさが左右で異なる場合、ヨー角度調整ボタン１２３を操作する（ステップＳ５７：ＹＥＳ）。これにより、表示制御部６１が、姿勢調整用ライン１２１の横軸を回転移動させ（ステップＳ５８）、略水平となるように調整指示を促す。また、表示パラメータ調整部６４がヨー値を変更するとともに、表示パラメータ送信部６５が当該変更後のヨー値を作業車用周囲表示装置１０へ送信する。
【００７６】
また、図１０（ｂ）に示すように、各マーカの大きさが上下で異なる場合、ピッチ角度調整ボタン１２４を操作する（ステップＳ５９：ＹＥＳ）。これにより、表示制御部６１が、姿勢調整用ライン１２１の縦軸を回転移動させ（ステップＳ６０）、略垂直となるように調整指示を促す。また、表示パラメータ調整部６４がピッチ値を変更するとともに、表示パラメータ送信部６５が当該変更後のピッチ値を作業車用周囲表示装置１０へ送信する。
【００７７】
あるいは、図１０（ｃ）に示すように、各マーカの配置が斜めになっている場合、ロール角度調整ボタン１２５を操作する（ステップＳ６１：ＹＥＳ）。これにより、表示制御部６１が、全ての姿勢調整用ライン１２１を回転移動させ（ステップＳ６２）、真っ直ぐとなるように調整指示を促す。また、表示パラメータ調整部６４がロール値を変更するとともに、表示パラメータ送信部６５が当該変更後のロール値を作業車用周囲表示装置１０へ送信する。
【００７８】
以上のように、各姿勢調整用ライン１２１は、ユーザからの調整指示に応じた回転方向かつ回転量で、姿勢表示エリア１２０内を回転移動する。このため、直感性および操作性に優れており、ユーザは画像の歪みや傾斜を簡単かつ迅速に調整する。また、ヨー角度調整ボタン１２３、ピッチ角度調整ボタン１２４およびロール角度調整ボタン１２５が、調整方向に合わせて姿勢表示エリア１２０の左右位置、上下位置および斜め上方位置に配置されているため、直感性および操作性に優れている。さらに、姿勢調整用ライン１２１は、２本の縦軸と２本の横軸とが互いに交差されているため、回転方向や回転量を視認しやすい。また、本実施形態では、姿勢表示エリア１２０内の基準ライン１２２が、各姿勢調整用ライン１２１の回転方向および回転量を視覚的かつ直感的に把握しやすくする。
【００７９】
なお、取消ボタン１１７が操作された場合（ステップＳ６３：ＹＥＳ）、表示パラメータ調整部６４が、調整中の表示パラメータをリセットするとともに、表示制御部６１が位置・倍率調整用ライン１１１および姿勢調整用ライン１２１をそれぞれ調整前の位置、倍率および姿勢に戻す（ステップＳ６４）。このため、カメラ位置、カメラ倍率およびカメラ姿勢の調整作業は簡単にやり直しが可能となる。
【００８０】
上述した処理は、確定ボタン１１８が操作されない限り（ステップＳ６５：ＮＯ）、繰り返され、確定ボタン１１８が操作されると（ステップＳ６５：ＹＥＳ）、表示パラメータ送信部６５が調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１２に保存させる（ステップＳ６６）。
【００８１】
以上の処理により、俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢が画像処理で調整されることとなる。また、本実施形態では、いずれかの調整ボタン１１３〜１１５，１２３〜１２５または取消ボタン１１７，１２７が操作される度に、作業車用周囲表示装置１０の俯瞰画像合成部１３が、リアルタイムで俯瞰画像を調整する。このため、ユーザは調整前後の俯瞰画像を確認しながら微調整でき、調整作業が効率化する。
【００８２】
図６のフローチャートに戻り、指示入力判定部６３が、ステップＳ４で選択されたカメラについて、表示領域１３１に対する調整指示があったか否かを判定する（ステップＳ７）。すなわち、当該表示領域１３１のいずれかの頂点１３２が移動指示を受け付けたか否かを判定する。その結果、当該移動指示があれば（ステップＳ７：ＹＥＳ）、表示領域１３１の形状を調整する（ステップＳ８）。
【００８３】
ここで、表示領域１３１の形状を調整する際の具体的な処理について、図１１を用いて詳細に説明する。まず、表示制御部６１が、移動指示を受けた頂点１３２の位置を移動させ、当該移動後の頂点１３２と移動されなかった頂点１３２とを結んでなる表示領域１３１を表示する（ステップＳ７１）。また、表示パラメータ調整部６４が、当該頂点１３２の座標値を移動後の座標値に変更する。これにより、ユーザは、調整後の表示領域１３１を目視確認しながら直感的に調整することが可能となる。
【００８４】
つぎに、調整後の表示領域１３１と隣接する表示領域１３１との間に隙間がある場合（ステップＳ７２）、表示制御部６１および表示パラメータ調整部６４が、当該隙間を空けないように、隣接する表示領域１３１の表示形状および座標値を自動調整する（ステップＳ７３）。これにより、合成された俯瞰画像に空白部分が発生してしまうことが防止される。
【００８５】
なお、取消ボタン１２７が操作された場合（ステップＳ７４：ＹＥＳ）、表示パラメータ調整部６４が、調整中の表示パラメータをリセットするとともに、表示制御部６１が移動した頂点１３２を元に戻し、調整前の表示領域１３１を表示する（ステップＳ７５）。このため、表示領域１３１の調整作業は、簡単にやり直しが可能となる。
【００８６】
上述した処理は、確定ボタン１２８が操作されない限り（ステップＳ７６：ＮＯ）、繰り返され、確定ボタン１２８が操作されると（ステップＳ７６：ＹＥＳ）、表示パラメータ送信部６５が調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１２に保存させる（ステップＳ７７）。
【００８７】
以上の処理により、俯瞰画像を構成する各画像の表示領域１３１の形状が画像処理で調整されることとなる。また、本実施形態では、いずれかの頂点１３２が移動される度に、または取消ボタン１２７が操作される度に、作業車用周囲表示装置１０の俯瞰画像合成部１３がリアルタイムで俯瞰画像を調整する。このため、ユーザは調整前後の俯瞰画像を確認しながら微調整でき、調整作業が効率化する。
【００８８】
図６のフローチャートに戻り、終了ボタン１０６が操作されると（ステップＳ９：ＹＥＳ）、本処理が終了する。一方、終了ボタン１０６が操作されない限り（ステップ９：ＮＯ）、再びステップＳ２に戻り、上述した処理が繰り返される。これにより、希望する俯瞰画像が得られるまで調整作業を繰り返すことが可能となる。
【００８９】
以上のような本実施形態によれば、以下のような効果を奏する。
１．直感性および操作性に優れたグラフィカルユーザインターフェースによって、簡単かつ迅速に作業車用周囲表示装置１０に表示する俯瞰画像を調整することができる。
２．調整方向に合わせて配置された位置調整ボタン１１３，１１４および姿勢調整ボタンによって、直感性および操作性を向上することができる。
３．縦軸２本と横軸２本とからなる位置・倍率調整用ライン１１１および姿勢調整用ライン１２１によって、調整方向および調整量を視認しやすくすることができる。
４．俯瞰画像を構成する各画像の表示領域１３１の形状を簡単かつ直感的に調整することができる。
５．作業車２０の走行箇所または作業用途に応じて、俯瞰画像を含む最適な画面レイアウトを作業車用周囲表示装置１０に表示させることができる。
６．俯瞰画像を含む画面レイアウトを備えた複数の表示モードに対して、予め表示パラメータを調整し、最適な表示状態で切り換えることができる。
７．作業車２０の周囲の安全および作業状況を確認するための俯瞰画像を効率的に調整することができる。
８．各画像間のつなぎ目や、俯瞰画像全体の歪み等を確認しながら、所望の俯瞰画像に調整することができる。
９．カメラ位置、カメラ倍率およびカメラ姿勢の調整量を一目で把握することができる。
１０．調整画面１００上の各種調整ボタンを操作することで、各画像の歪み、回転、表示位置、倍率の調整、およびその微調整ができる。
１１．カメラの取付位置および取付角度をキャリブレーションすることができる。
１２．通常俯瞰モードによって、サービスエリアやパーキングエリア等において、多方面から来る車両の位置を事前に確認することができる。
１３．拡大俯瞰モードによって、高速道路の構内や本線料金所等において、作業車周辺の安全確認を行うことができる。
１４．後方俯瞰モードや後方俯瞰ミラーモードによって、除雪作業後の路面状況や、薬剤散布後の路面状況を確認することができる。
１５．作業車１０の種類や作業内容に応じて、最も安全確認が重要となる撮影ポイントを簡単に設定することができる。
【００９０】
なお、本発明に係る俯瞰画像調整装置１は、前述した実施形態に限定されるものではなく、適宜変更することができる。例えば、上述した本実施形態では、俯瞰画像調整装置１が作業車用周囲表示装置１０とは別体に構成されているが、この構成に限定されるものではない。すなわち、俯瞰画像調整装置１の俯瞰画像調整機能を作業車用周囲表示装置１０に実装して一体化し、当該作業車用周囲表示装置１０において、俯瞰画像を合成するとともに、上記調整処理を実行しうるように構成してもよい。
【００９１】
また、上述した本実施形態では、作業車２０の左前側方を撮像するカメラＣ１と、左後側方を撮像するカメラＣ２と、右前側方を撮像するカメラＣ３と、右後側方を撮像するカメラＣ４と、前方を撮像するカメラＣ５と、後方を撮像するカメラＣ６とを有しているが、各カメラＣ１〜Ｃ６の取付位置は、この構成に限定されるものではない。例えば、作業車２０の左斜前方を撮像するカメラＣ１と、左斜後方を撮像するカメラＣ２と、右斜前方を撮像するカメラＣ３と、右斜後方を撮像するカメラＣ４と、左側方を撮像するカメラＣ５と、右側方を撮像するカメラＣ６とを有していてもよい。これにより、最も安全確認が重要な斜め方向の視野が広がることとなる。
【００９２】
また、上述した本実施形態では、位置調整ボタン１１３，１１４、倍率調整ボタン１１５および姿勢調整ボタン１２３〜１２５によって調整指示を入力しているが、別途、各表示パラメータの数値を直接入力してもよい。例えば、図１２に示すような、パラメータ詳細設定画面１４０を表示させ、俯瞰画像の路面サイズや、カメラ位置、カメラ倍率およびカメラ姿勢に関する表示パラメータを入力可能にしてもよい。なお、この構成によれば、数値入力後に、送信ボタンが操作されると、表示制御部６１が、入力された各表示パラメータによって表示内容を制御するとともに、表示パラメータ送信部６５が、各表示パラメータを作業車用周囲表示装置１０に送信する。
【符号の説明】
【００９３】
１  俯瞰画像調整装置
１ａ  俯瞰画像調整プログラム
２  入力手段
３  表示手段
４  通信手段
５  記憶手段
６  演算処理手段
１０  作業車用周囲表示装置
１１  俯瞰画像表示モニタ
１２  モード切替スイッチ
１３  表示パラメータ記憶部
１４  俯瞰画像合成部
２０  作業車
５１  プログラム記憶部
５２  調整パラメータ記憶部
５３  ＧＵＩデータ記憶部
６１  表示制御部
６２  表示パラメータ取得部
６３  指示入力判定部
６４  表示パラメータ調整部
６５  表示パラメータ送信部
Ｃ１〜Ｃ６  カメラ
１００  調整画面
１０１  接続ボタン
１０２  現在表示パラメータ取得ボタン
１０３  全パラメータ送信ボタン
１０４  表示モード選択プルダウン
１０５  調整カメラ選択プルダウン
１０６  終了ボタン
１１０  位置・倍率表示エリア
１１１  位置・倍率調整用ライン
１１２  基準ライン
１１３  左右位置調整ボタン
１１４  上下位置調整ボタン
１１５  倍率調整ボタン
１１６  送信ボタン
１１７  取消ボタン
１１８  確定ボタン
１２０  姿勢表示エリア
１２１  姿勢調整用ライン
１２２  基準ライン
１２３  ヨー角度調整ボタン
１２４  ピッチ角度調整ボタン
１２５  ロール角度調整ボタン
１２６  送信ボタン
１２７  取消ボタン
１２８  確定ボタン
１３０  表示領域表示エリア
１３１  表示領域
１３２  頂点
１４０  パラメータ詳細設定画面
【図１】
2017216489.tif 000003
【図２】
2017216489.tif 000004
【図３】
2017216489.tif 000005
【図４】
2017216489.tif 000006
【図５】
2017216489.tif 000007
【図６】
2017216489.tif 000008
【図７】
2017216489.tif 000009
【図８】
2017216489.tif 000010
【図９】
2017216489.tif 000011
【図１０】
2017216489.tif 000012
【図１１】
2017216489.tif 000013
【図１２】
2017216489.tif 000014
【手続補正書】
【提出日】平成28年8月17日(2016.8.17)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、
前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、
前記表示制御部は、
前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、
前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整装置。
【請求項２】
前記表示制御部は、前記位置調整ボタンとして、
前記カメラの左右位置を調整する左右位置調整ボタンを前記位置・倍率表示エリアの左右位置に表示するとともに、前記カメラの上下位置を調整する上下位置調整ボタンを前記位置・倍率表示エリアの上下位置に表示し、
前記倍率調整ボタンを前記位置・倍率表示エリアの斜め上方位置または斜め下方位置に表示する、請求項１に記載の俯瞰画像調整装置。
【請求項３】
前記表示制御部は、前記姿勢調整ボタンとして、
前記カメラのヨー角度を調整するヨー角度調整ボタンを前記姿勢表示エリアの左右位置に表示し、
前記カメラのピッチ角度を調整するピッチ角度調整ボタンを前記姿勢表示エリアの上下位置に表示し、
前記カメラのロール角度を調整するロール角度調整ボタンを前記姿勢表示エリアの斜め上方位置または斜め下方位置に表示する、請求項１または請求項２に記載の俯瞰画像調整装置。
【請求項４】
前記位置・倍率調整用ラインおよび前記姿勢調整用ラインは、所定の間隔で隔てられた２本の縦軸と、所定の間隔で隔てられた２本の横軸とが互いに交差されている、請求項１から請求項３のいずれかに記載の俯瞰画像調整装置。
【請求項５】
前記表示制御部は、
前記俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリアを前記調整画面に表示するとともに、前記表示領域表示エリアに複数の頂点を多角形状に結んでなる各画像の現在の表示領域を表示し、
前記表示領域のいずれかの頂点が移動指示を受け付けた場合、当該移動指示により移動された頂点と移動されなかった頂点とを結んでなる前記表示領域を表示する、
請求項１から請求項４のいずれかに記載の俯瞰画像調整装置。
【請求項６】
請求項１から請求項５のいずれかに記載の俯瞰画像調整装置によって調整された表示パラメータを記憶する表示パラメータ記憶部と、前記表示パラメータに基づいて各画像を合成し前記俯瞰画像を生成する俯瞰画像合成部とを有する、作業車用周囲表示装置。
【請求項７】
前記俯瞰画像を含む画面レイアウトを備えた表示モードとして、
前記作業車の周囲全体の俯瞰画像を表示する通常俯瞰モードと、
前記作業車の周囲全体の俯瞰画像を拡大して表示する拡大俯瞰モードと、
前記作業車の後方周囲の俯瞰画像と後方の通常画像とを同時に表示する後方俯瞰モードと、
前記作業車の後方周囲の俯瞰画像と後方のミラー画像とを同時に表示する後方俯瞰ミラーモードと
を有する、請求項６に記載の作業車用周囲表示装置。
【請求項８】
請求項６または請求項７に記載の作業車用周囲表示装置を備えてなる作業車。
【請求項９】
作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、
前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、
前記表示制御部は、
前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、
前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明に係る俯瞰画像調整装置は、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整するという課題を解決するために、作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、前記表示制御部は、前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させるものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、本発明に係る作業車用周囲表示装置は、上述したいずれかの態様の俯瞰画像調整装置によって調整された表示パラメータを記憶する表示パラメータ記憶部と、前記表示パラメータに基づいて各画像を合成し前記俯瞰画像を生成する俯瞰画像合成部とを有するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明に係る俯瞰画像調整プログラムは、直感性および操作性に優れたグラフィカルユーザインターフェースによって、作業車の周囲の俯瞰画像を簡単かつ迅速に調整するという課題を解決するために、作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、前記表示制御部は、前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させるものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
カメラＣ１〜Ｃ６は、高精細度（ＨＤ：High Definition）カメラ等で構成されており、作業車２０の周囲の画像を撮像するものである。本実施形態において、カメラＣ１〜Ｃ６は、図２に示すように、作業車２０の左前側方を撮像するカメラＣ１と、左後側方を撮像するカメラＣ２と、右前側方を撮像するカメラＣ３と、右後側方を撮像するカメラＣ４と、前方を撮像するカメラＣ５と、後方を撮像するカメラＣ６とを有している。これら各カメラＣ１〜Ｃ６は、普通乗用車と比較して、地面から高い位置に設置されるため、より広範囲の俯瞰画像を撮像することができる。そして、各カメラＣ１〜Ｃ６は、撮像した各画像データを、リアルタイムで後述する俯瞰画像合成部１４に出力するようになっている。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】変更
【補正の内容】
【００２４】
俯瞰画像表示モニタ１１は、液晶ディスプレイ等で構成されており、作業車２０の周囲の俯瞰画像を表示するものである。本実施形態において、俯瞰画像表示モニタ１１は、作業車２０の運転席の前方など、運転手が常時確認できる場所に設置されている。そして、後述する俯瞰画像合成部１４によって合成された俯瞰画像をリアルタイムで表示するようになっている。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】変更
【補正の内容】
【００２７】
作業車用周囲表示装置１０は、ＣＰＵ（Central Processing Unit）としての機能と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリとしての機能とを有するＦＰＧＡ（Field-Programmable Gate Array）等を備えた基板によって構成されている。そして、図１に示すように、後述する各種の表示パラメータを記憶する表示パラメータ記憶部１３と、各カメラＣ１〜Ｃ６から取得した画像を合成し俯瞰画像を出力する俯瞰画像合成部１４とを有している。以下、各構成について説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
表示パラメータ記憶部１３は、俯瞰画像を構成する各画像についての表示パラメータを記憶するものである。本実施形態において、表示パラメータ記憶部１３には、図４に示すように、各カメラのカメラ位置を指定するパラメータとして、左右位置を指定するＸ値と、上下位置を指定するＹ値とが記憶される。また、各カメラのカメラ倍率を指定するパラメータとして、高さ位置（表示倍率）を指定するＺ値とが記憶される。さらに、各カメラのカメラ姿勢を指定するパラメータとして、ロール角度を指定するロール値と、ピッチ角度を指定するピッチ値と、ヨー角度を指定するヨー値とが記憶される。さらに、各カメラで撮像された各画像の表示領域の形状を指定するパラメータとして、当該表示領域を指定する各頂点の座標値が記憶される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
そして、表示パラメータ記憶部１３は、上述した俯瞰画像を含む４つの表示モード（通常俯瞰モード、各段俯瞰モード、後方俯瞰モード、後方俯瞰ミラーモード）のそれぞれについて、上述した各表示パラメータをパラメータファイルとして保存するようになっている。また、本実施形態において、表示パラメータ記憶部１３は、俯瞰画像を表示する際の路面サイズを指定する全長および全幅についても保存しうるようになっている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】変更
【補正の内容】
【００３０】
俯瞰画像合成部１４は、各カメラＣ１〜Ｃ６で撮像した各画像を合成し、俯瞰画像を生成するものである。本実施形態において、俯瞰画像合成部１４は、各カメラＣ１〜Ｃ６で撮像された画像を取得するとともに、モード切替スイッチ１２で設定されている表示モードに対応するパラメータファイルを表示パラメータ記憶部１３から読み出す。そして、当該パラメータファイルの各表示パラメータに基づいて、各画像を合成して俯瞰画像を生成し、俯瞰画像表示モニタ１１へ出力するようになっている。また、本実施形態において、俯瞰画像合成部１４は、俯瞰画像調整装置１から表示パラメータの調整指示が送信されてきた場合、当該調整後の表示パラメータに基づいて、俯瞰画像をリアルタイムで更新するようになっている。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
また、本実施形態では、図５に示すように、位置・倍率表示エリア１１０および表示領域表示エリア１３０の上方に、送信ボタン１１６，１２６、取消ボタン１１７，１２７および確定ボタン１１８，１２８がそれぞれ配置されている。送信ボタン１１６，１２６は、カメラ位置、カメラ倍率、カメラ姿勢または表示領域１３１に対する調整後の表示パラメータを作業車用周囲表示装置１０へ送信する指示を受け付けるものである。取消ボタン１１７，１２７は、調整中の表示パラメータをリセットし、作業車用周囲表示装置１０の表示パラメータ記憶部１３に記憶されている表示パラメータに戻す指示を受け付けるものである。確定ボタン１１８，１２８は、調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１３に保存させる指示を受け付けるものである。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００５７
【補正方法】変更
【補正の内容】
【００５７】
指示入力判定部６３は、入力手段２を介してユーザから入力された指示内容を判定するものである。本実施形態において、指示入力判定部６３は、調整画面１００上での入力操作を監視する。そして、所定の入力操作が行われたとき、当該入力操作に対応する調整指示、選択内容および数値等を表示パラメータ調整部６４に提供するとともに、調整指示については表示パラメータ送信部６５を介して作業車用周囲表示装置１０の俯瞰画像合成部１４へリアルタイムで送信するようになっている。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
上述した処理は、確定ボタン１１８が操作されない限り（ステップＳ６５：ＮＯ）、繰り返され、確定ボタン１１８が操作されると（ステップＳ６５：ＹＥＳ）、表示パラメータ送信部６５が調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１３に保存させる（ステップＳ６６）。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
以上の処理により、俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢が画像処理で調整されることとなる。また、本実施形態では、いずれかの調整ボタン１１３〜１１５，１２３〜１２５または取消ボタン１１７，１２７が操作される度に、作業車用周囲表示装置１０の俯瞰画像合成部１４が、リアルタイムで俯瞰画像を調整する。このため、ユーザは調整前後の俯瞰画像を確認しながら微調整でき、調整作業が効率化する。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
上述した処理は、確定ボタン１２８が操作されない限り（ステップＳ７６：ＮＯ）、繰り返され、確定ボタン１２８が操作されると（ステップＳ７６：ＹＥＳ）、表示パラメータ送信部６５が調整後の表示パラメータを作業車用周囲表示装置１０へ送信し、表示パラメータ記憶部１３に保存させる（ステップＳ７７）。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
以上の処理により、俯瞰画像を構成する各画像の表示領域１３１の形状が画像処理で調整されることとなる。また、本実施形態では、いずれかの頂点１３２が移動される度に、または取消ボタン１２７が操作される度に、作業車用周囲表示装置１０の俯瞰画像合成部１４がリアルタイムで俯瞰画像を調整する。このため、ユーザは調整前後の俯瞰画像を確認しながら微調整でき、調整作業が効率化する。
【手続補正書】
【提出日】平成28年11月4日(2016.11.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整装置であって、
前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部を有し、
前記表示制御部は、
前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、
前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整装置。
【請求項２】
前記表示制御部は、前記位置調整ボタンとして、
前記カメラの左右位置を調整する左右位置調整ボタンを前記位置・倍率表示エリアの左右位置に表示するとともに、前記カメラの上下位置を調整する上下位置調整ボタンを前記位置・倍率表示エリアの上下位置に表示し、
前記倍率調整ボタンを前記位置・倍率表示エリアの斜め上方位置または斜め下方位置に表示する、請求項１に記載の俯瞰画像調整装置。
【請求項３】
前記表示制御部は、前記姿勢調整ボタンとして、
前記カメラのヨー角度を調整するヨー角度調整ボタンを前記姿勢表示エリアの左右位置に表示し、
前記カメラのピッチ角度を調整するピッチ角度調整ボタンを前記姿勢表示エリアの上下位置に表示し、
前記カメラのロール角度を調整するロール角度調整ボタンを前記姿勢表示エリアの斜め上方位置または斜め下方位置に表示する、請求項１または請求項２に記載の俯瞰画像調整装置。
【請求項４】
前記位置・倍率調整用ラインおよび前記姿勢調整用ラインは、所定の間隔で隔てられた２本の縦軸と、所定の間隔で隔てられた２本の横軸とが互いに交差されている、請求項１から請求項３のいずれかに記載の俯瞰画像調整装置。
【請求項５】
前記表示制御部は、
前記俯瞰画像を構成する各画像の表示領域の形状を調整するための表示領域表示エリアを前記調整画面に表示するとともに、前記表示領域表示エリアに複数の頂点を多角形状に結んでなる各画像の現在の表示領域を表示し、
前記表示領域のいずれかの頂点が移動指示を受け付けた場合、当該移動指示により移動された頂点と移動されなかった頂点とを結んでなる前記表示領域を表示する、
請求項１から請求項４のいずれかに記載の俯瞰画像調整装置。
【請求項６】
作業車に設けられた複数のカメラで撮像した各画像を合成してなる、前記作業車の周囲の俯瞰画像を調整する俯瞰画像調整プログラムであって、
前記俯瞰画像を構成する各画像のカメラ位置、カメラ倍率および／またはカメラ姿勢を画像処理で調整するための調整画面を表示手段に表示する表示制御部としてコンピュータを機能させ、
前記表示制御部は、
前記調整画面内に設けられて前記カメラ位置またはカメラ倍率を調整するための位置・倍率表示エリアに現在のカメラ位置およびカメラ倍率を示すグラフィカルユーザインターフェースである位置・倍率調整用ラインを表示するとともに、前記調整画面内に設けられて前記カメラ姿勢を調整するための姿勢表示エリアに現在のカメラ姿勢を示すグラフィカルユーザインターフェースである姿勢調整用ラインを表示し、
前記位置・倍率表示エリアの周囲に前記カメラ位置の調整指示を受け付ける位置調整ボタンと前記カメラ倍率の調整指示を受け付ける倍率調整ボタンとを表示するとともに、前記姿勢表示エリアの周囲に前記カメラ姿勢の調整指示を受け付ける姿勢調整ボタンを表示し、
前記位置調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示位置を平行移動させ、前記倍率調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記位置・倍率調整用ラインの表示倍率を拡大・縮小させ、前記姿勢調整ボタンが調整指示を受け付けた場合、当該調整指示に基づいて、前記姿勢調整用ラインの表示角度を回転移動させる、俯瞰画像調整プログラム。