(57)【要約】【課題】物体領域関連情報の検出に失敗した際に荷物の適切な載置位置をユーザに知らせることができる物体測定装置を提供する。【解決手段】カメラスキャナ１０１は、物体領域関連情報の検出に失敗した場合、荷物８０１を置き直すためのガイド通知を距離画像データ１１０１に基づいて載置台２０４に投影表示する。【選択図】図１３
2019120618.tif 000002
【特許請求の範囲】
【請求項１】
撮影した物体の形状を測定する物体計測装置であって、
前記物体までの距離値が設定された距離画像データを生成する距離画像データ生成手段と、
前記物体の画像を含む広角画像データを生成する広角画像データ生成手段と、
前記距離画像データ及び前記広角画像データに基づいて前記物体を示す物体領域を特定するための物体領域関連情報を検出する検出手段と、
前記物体領域関連情報の検出を失敗した場合、前記物体を置き直すためのガイド通知を前記距離画像データに基づいて行う通知手段とを備えることを特徴とする物体計測装置。
【請求項２】
前記距離画像データに設定された距離値が予め設定された許容最小値以下である場合、前記通知手段は、前記物体を前記物体計測装置から遠ざけることを促すガイド通知を行うことを特徴とする請求項１記載の物体計測装置。
【請求項３】
前記距離画像データに設定された距離値が前記許容最小値より大きい値である許容最大値以上である場合、前記通知手段は、前記物体を前記物体計測装置に近付けることを促すガイド通知を行うことを特徴とする請求項２記載の物体計測装置。
【請求項４】
前記物体は直方体であり、
前記距離画像データに基づいて前記物体を真上から眺めた俯瞰画像データを生成し、
前記俯瞰画像データにおいて前記物体の輪郭を示す１本の直線が検出され且つ前記直線が前記俯瞰画像データにおける画角に接しない場合、前記通知手段は、前記物体の２つの平面が前記物体計測装置に正対するように前記物体の向きを変更することを促すガイド通知を行うことを特徴とする請求項１乃至３のいずれか１項に記載の物体計測装置。
【請求項５】
前記俯瞰画像データにおいて前記物体の輪郭を示す１本の直線が検出され且つ前記直線が前記俯瞰画像データにおける画角に接する場合、前記通知手段は、前記物体計測装置が前記物体を計測する物体計測領域の中央に前記物体を配置する旨を示すガイド通知を行うことを特徴とする請求項４記載の物体計測装置。
【請求項６】
前記距離画像データに基づいて前記物体の平面を特定するための物体領域関連情報を検出する第１の検出処理と、
前記広角画像データに基づいて前記物体を形成する頂点を特定するための物体領域関連情報を検出する第２の検出処理とを行い、
前記通知手段は、前記第１の検出処理及び前記第２の検出処理のそれぞれにおいて、前記ガイド通知を前記距離画像データに基づいて行うことを特徴とする請求項１乃至５のいずれか１項に記載の物体計測装置。
【請求項７】
撮影した物体の形状を測定する物体計測装置の制御方法であって、
前記物体までの距離値が設定された距離画像データを生成する距離画像データ生成ステップと、
前記物体の画像を含む広角画像データを生成する広角画像データ生成ステップと、
前記距離画像データ及び前記広角画像データに基づいて前記物体を示す物体領域を特定するための物体領域関連情報を検出する検出ステップと、
前記物体領域関連情報の検出を失敗した場合、前記物体を置き直すためのガイド通知を前記距離画像データに基づいて行う通知ステップとを有することを特徴とする物体計測装置の制御方法。
【請求項８】
撮影した物体の形状を測定する物体計測装置の制御方法をコンピュータに実行させるプログラムであって、
前記物体計測装置の制御方法は、
前記物体までの距離値が設定された距離画像データを生成する距離画像データ生成ステップと、
前記物体の画像を含む広角画像データを生成する広角画像データ生成ステップと、
前記距離画像データ及び前記広角画像データに基づいて前記物体を示す物体領域を特定するための物体領域関連情報を検出する検出ステップと、
前記物体領域関連情報の検出を失敗した場合、前記物体を置き直すためのガイド通知を前記距離画像データに基づいて行う通知ステップとを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体測定装置及びその制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
宅配便や郵便等により荷物の配送を依頼する際、担当者が荷物の重量やサイズ（幅、奥行き、高さ）を計測し、計測結果に応じて運送料金が決定される。通常、担当者は荷物のサイズを巻尺や定規等を用いて手作業で計測するが、手作業で計測を行うと、計測作業に要する工数が増え、また、担当者による計測精度のばらつきが生じてしまう。このような問題を解決するために、従来では、荷物の形状やサイズを測定する物体測定装置が開発されている。物体測定装置は、載置台等に置かれた荷物を撮影した画像データに基づいて上記荷物の頂点や輪郭等の物体領域関連情報を検出し、検出した物体領域関連情報に基づいて荷物のサイズを計測する（例えば、特許文献１，２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−００８３５２号公報
【特許文献２】特開２０００−１７１２１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来では、荷物が適切な位置に置かれていないことで物体領域関連情報の検出に失敗した場合、エラーが通知されるだけなので、ユーザは上記エラーを解消するための適切な載置位置を上記通知から特定することができない。
【０００５】
本発明の目的は、物体領域関連情報の検出に失敗した際に荷物の適切な載置位置をユーザに知らせることができる物体測定装置及びその制御方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の物体測定装置は、撮影した物体の形状を測定する物体計測装置であって、前記物体までの距離値が設定された距離画像データを生成する距離画像データ生成手段と、前記物体の画像を含む広角画像データを生成する広角画像データ生成手段と、前記距離画像データ及び前記広角画像データに基づいて前記物体を示す物体領域を特定するための物体領域関連情報を検出する検出手段と、前記物体領域関連情報の検出を失敗した場合、前記物体を置き直すためのガイド通知を前記距離画像データに基づいて行う通知手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、物体領域関連情報の検出に失敗した際に荷物の適切な載置位置をユーザに知らせることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態に係る物体測定装置としてのカメラスキャナが含まれるネットワーク構成を示す図である。
【図２】図１のカメラスキャナの構成を概略的に示す図である。
【図３】図２のカメラスキャナにおける座標系を説明するための図である。
【図４】図３における直交座標系、カメラ座標系及びカメラ撮像平面の関係を示す。
【図５】図１のカメラスキャナのコントローラ部及び距離画像センサ部の各ハードウェア構成を示すブロック図である。
【図６】図５におけるＣＰＵが実行するカメラスキャナの制御用プログラムの機能モジュールの構成を示すブロック図である。
【図７】図１のカメラスキャナによる荷物サイズの計測の手順を示すシーケンス図である。
【図８】計測対象となる物体の形状を説明するための図である。
【図９】図２の載置台の操作平面上に投影表示される画面の一例を示す図である。
【図１０】図６のメイン制御部によって実行される荷物サイズ計測処理の手順を示すフローチャートである。
【図１１】図１０の処理で用いられるデータを説明するための図である。
【図１２】図１０のステップＳ１００６の第１の荷物載置ガイド処理の手順を示すフローチャートである。
【図１３】図１２の処理におけるガイド通知の投影表示を説明するための図である。
【図１４】図１０のステップＳ１０１１の第２の荷物載置ガイド処理の手順を示すフローチャートである。
【図１５】図１のカメラスキャナの使用例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。しかしながら、以下の実施の形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は実施の形態に記載されている構成によって限定されることはない。
【００１０】
図１は、本発明の実施の形態に係る物体測定装置としてのカメラスキャナ１０１が含まれるネットワーク構成を示す図である。図１において、カメラスキャナ１０１はホストコンピュータ１０２及びプリンタ１０３とイーサネット（登録商標）等のネットワーク１０４を介して接続されている。本実施の形態では、ホストコンピュータ１０２からの指示に応じ、カメラスキャナ１０１によって物体の形状を測定する測定-機能や、測定結果をプリンタ１０３によって出力するプリント機能が実行される。また、ホストコンピュータ１０２を介すること無くカメラスキャナ１０１へ直接に指示を行うことにより、スキャン機能やプリント機能を実行することもできる。
【００１１】
図２は、図１のカメラスキャナ１０１の構成を概略的に示す図である。図２において、カメラスキャナ１０１は、コントローラ部２０１、カメラ部２０２（広角画像データ生成手段）、腕部２０３、プロジェクタ２０７、及び距離画像センサ部２０８（距離画像データ生成手段）を含む。カメラスキャナ１０１の本体を構成するコントローラ部２０１、撮像を行うためのカメラ部２０２、プロジェクタ２０７及び距離画像センサ部２０８は互いに腕部２０３によって連結されている。腕部２０３は複数の関節を有し、各関節において屈曲されることにより、伸長自在に構成される。
【００１２】
カメラスキャナ１０１は操作平面を有する載置台２０４の脇に配置される。カメラ部２０２及び距離画像センサ部２０８は載置台２０４を指向し、カメラ部２０２は図中の破線で囲まれた操作平面上の読み取り領域２０５内の画像を読み取る。例えば、カメラ部２０２は読み取り領域２０５内に置かれた物体２０６の画像を読み取る。また、載置台２０４内にはターンテーブル２０９が設けられている。ターンテーブル２０９はコントローラ部２０１からの指示によって回転し、ターンテーブル２０９上に置かれた物体とカメラ部２０２の相対角度を変えることができる。カメラスキャナ１０１では、カメラ部２０２及び距離画像センサ部２０８が、載置台２０４の操作平面上に存在する物体を検知する検知部を構成する。カメラスキャナ１０１において、カメラ部２０２は単一解像度で画像を撮像するカメラからなるが、高解像度画像撮像と低解像度画像撮像の切り換えが可能なカメラであってもよい。なお、カメラスキャナ１０１は、載置台２０４に配置される後述のＬＣＤタッチパネル５１３及びスピーカ５１４を備えてもよい。さらに、カメラスキャナ１０１は、距離画像センサ部２０８以外に、周囲の環境情報を収集するための人感センサ、照度センサ、及び加速度センサ等の各種センサデバイスを備えてもよい。
【００１３】
図３は、図２のカメラスキャナ１０１における座標系を説明するための図である。図３において、カメラスキャナ１０１では、カメラ座標系、距離画像座標系及びプロジェクタ座標系が定義される。カメラ座標系は、カメラ部２０２が撮像する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。距離画像座標系は、距離画像センサ部２０８が有する後述のＲＧＢカメラ５１８が撮像する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。プロジェクタ座標系は、プロジェクタ２０７が画像を投影する画像平面をＸＹ平面とし、且つ該画像平面に直交した方向をＺ方向として定義した座標系である。さらに、カメラスキャナ１０１では、これらの３つの独立した座標系の３次元データを統一的に扱えるようにするために、載置台２０４を含む平面をＸＹ平面とし、且つ該ＸＹ平面に直交した方向をＺ方向とする直交座標系が定義される。
【００１４】
図４は、図３における直交座標系、カメラ座標系及びカメラ撮像平面の関係を示す。カメラスキャナ１０１では、直交座標系における３次元点Ｐ［Ｘ，Ｙ，Ｚ］を下記式（１）によってカメラ座標系における３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］へ変換することができる。
[Xc, Yc, Zc]T = [Rc|tc][X, Y, Z, 1]T  …  （１）
【００１５】
ここで、Ｒｃは３×３の回転行列であり、ｔｃは並進ベクトルである。Ｒｃ及びｔｃは、直交座標系に対するカメラの姿勢（回転）と位置（並進）に基づいて定まる外部パラメータによって構成される。また、カメラ座標系で定義された３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］を下記式（２）によって直交座標系における３次元点Ｐ［Ｘ，Ｙ，Ｚ］へ変換することができる。
[X, Y, Z]T = [Rc-1|-Rc-1tc][Xc, Yc, Zc, 1]T  …  （２）
【００１６】
カメラ部２０２で撮影される２次元の画像平面（以下、「カメラ撮像平面」という。）は、カメラ部２０２によって３次元空間中の３次元点群の３次元情報を２次元情報に変換することによって構成される。すなわち、カメラ撮像平面は、カメラ座標系上での３次元点Ｐｃ［Ｘｃ，Ｙｃ，Ｚｃ］を下記式（３）によって２次元座標ｐｃ［ｘｐ，ｙｐ］に透視投影変換することによって構成することができる。
λ[xp, yp, 1]T = A[Xc, Yc, Zc]T  …  （３）
【００１７】
ここで、Ａは、焦点距離と画像中心等で表現される３×３の行列であるカメラの内部パラメータである。
【００１８】
以上のように、カメラスキャナ１０１では、上記式（１），（３）を用いることによって直交座標系で表された３次元点群をカメラ座標系での３次元点群やカメラ撮像平面に変換することができる。なお、カメラスキャナ１０１では、各ハードウェアデバイスの内部パラメータ及び直交座標系に対する位置姿勢（外部パラメータ）は、公知のキャリブレーション手法によって予めキャリブレーションされている。以後、本明細書において、「３次元点群」は直交座標系で表された３次元点群を示しているものとする。
【００１９】
図５は、図１のカメラスキャナ１０１のコントローラ部２０１及び距離画像センサ部２０８の各ハードウェア構成を示すブロック図である。図５において、コントローラ部２０１は、システムバス５０１に接続されたＣＰＵ５０２、ＲＡＭ５０３、ＲＯＭ５０４、ＨＤＤ５０５、ネットワークＩ／Ｆ５０６、及び画像処理プロセッサ５０７を備える。さらに、コントローラ部２０１は、カメラＩ／Ｆ５０８、ディスプレイコントローラ５０９、シリアルＩ／Ｆ５１０、オーディオコントローラ５１１、及びＵＳＢコントローラ５１２を備える。距離画像センサ部２０８は赤外線パターン投射部５１６、赤外線カメラ５１７、及びＲＧＢカメラ５１８を備える。
【００２０】
ＣＰＵ５０２はコントローラ部２０１全体の動作を制御する中央演算装置である。ＲＡＭ５０３は揮発性メモリである。ＲＯＭ５０４は不揮発性メモリであり、ＣＰＵ５０２の起動用プログラムが格納される。ＨＤＤ５０５はＲＡＭ５０３よりも大容量のハードディスクドライブ（ＨＤＤ）である。ＨＤＤ５０５にはコントローラ部２０１が実行する、カメラスキャナ１０１の制御用プログラムが格納される。
【００２１】
ＣＰＵ５０２は、電源オン等のカメラスキャナ１０１の起動時、ＲＯＭ５０４に格納される起動用プログラムを実行する。この起動用プログラムは、ＨＤＤ５０５に格納される制御用プログラムを読み出してＲＡＭ５０３に展開する。ＣＰＵ５０２は、起動用プログラムを実行すると、続けてＲＡＭ５０３に展開された制御用プログラムを実行してコントローラ部２０１全体の動作を制御する。また、ＣＰＵ５０２は制御用プログラムの実行に用いるデータもＲＡＭ５０３に格納して読み書きを行う。ＨＤＤ５０５には制御用プログラムの実行に必要な各種設定やカメラ部２０２が撮像によって生成した画像データを格納することができ、格納されたデータ等はＣＰＵ５０２によって読み書きされる。また、ＣＰＵ５０２はネットワークＩ／Ｆ５０６を介してネットワーク１０４に接続された他の機器との通信を行う。
【００２２】
画像処理プロセッサ５０７はＲＡＭ５０３に格納された画像データを読み出して画像処理を施し、再度、ＲＡＭ５０３へ書き戻す。なお、画像処理プロセッサ５０７が実行する画像処理は、回転、変倍、色変換等である。カメラＩ／Ｆ５０８はカメラ部２０２及び距離画像センサ部２０８と接続され、ＣＰＵ５０２からの指示に応じてカメラ部２０２から広角画像データを取得するとともに距離画像センサ部２０８から距離画像データを取得してＲＡＭ５０３へ書き込む。また、カメラＩ／Ｆ５０８はＣＰＵ５０２からの制御コマンドをカメラ部２０２及び距離画像センサ部２０８へ送信し、カメラ部２０２及び距離画像センサ部２０８の設定を行う。なお、ディスプレイコントローラ５０９、シリアルＩ／Ｆ５１０、オーディオコントローラ５１１及びＵＳＢコントローラ５１２は、これらのうちの少なくとも１つがコントローラ部２０１に含まれていればよい。
【００２３】
ディスプレイコントローラ５０９はＣＰＵ５０２の指示に応じてＬＣＤタッチパネル５１３における画像データの表示を制御する。また、ディスプレイコントローラ５０９はプロジェクタ２０７に接続される。シリアルＩ／Ｆ５１０はシリアル信号の入出力を行う。シリアルＩ／Ｆ５１０はターンテーブル２０９に接続され、ＣＰＵ３０２による回転開始、回転終了、及び回転角度の指示をターンテーブル２０９へ送信する。また、シリアルＩ／Ｆ５１０はＬＣＤタッチパネル５１３に接続され、ＬＣＤタッチパネル５１３においてユーザに押下された位置の座標情報をＣＰＵ５０２に通知する。オーディオコントローラ５１１はスピーカ５１４に接続され、ＣＰＵ５０２の指示に応じて音声データをアナログ音声信号に変換し、スピーカ５１４を通じて音声を出力する。ＵＳＢコントローラ５１２はＣＰＵ５０２の指示に応じて外付けのＵＳＢデバイスの制御を行う。ＵＳＢコントローラ５１２はＵＳＢメモリやＳＤカード等の外部メモリ５１５に接続され、外部メモリ５１５へのデータの読み書きを行う。
【００２４】
距離画像センサ部２０８は赤外線によるパターン投射方式の距離画像センサからなり、距離画像データを生成する。距離画像データは複数の画素で構成され、各画素には距離画像センサ部２０８のレンズ（図示しない）中心から被写体までの距離値が設定される。赤外線パターン投射部５１６は視認できない赤外線による３次元測定パターンを対象物に投射する。赤外線カメラ５１７は対象物に投射された３次元測定パターンを読み取る。ＲＧＢカメラ５１８は可視光をＲＧＢ信号で撮影する。
【００２５】
図６は、図５におけるＣＰＵ５０２が実行するカメラスキャナ１０１の制御用プログラムの機能モジュールの構成を示すブロック図である。カメラスキャナ１０１の制御用プログラムは前述のようにＨＤＤ５０５に格納され、ＣＰＵ５０２が起動時に制御用プログラムをＲＡＭ５０３に展開して実行する。制御用プログラムが実行される際には機能構成６０１が構成される。機能構成６０１は、モジュールとして、メイン制御部６０２、画像取得部６０３、カメラ画像取得部６０４、距離画像取得部６０５、認識処理部６０６、ジェスチャー検知部６０７、及び物体検知部６０８を備える。さらに、機能構成６０１は、モジュールとして、画像処理部６０９、物体計測部６１０、データ管理部６１１、ユーザインターフェイス部６１２、表示部６１３、及びネットワーク通信部６１４を備える。
【００２６】
メイン制御部６０２は制御の中心モジュールであり、機能構成６０１が備える他の各モジュールを制御する。画像取得部６０３は画像入力処理を行うモジュールであり、カメラ画像取得部６０４及び距離画像取得部６０５によって構成される。カメラ画像取得部６０４はカメラＩ／Ｆ５０８を介してカメラ部２０２が出力する広角画像データを取得し、ＲＡＭ５０３へ格納する。距離画像取得部６０５はカメラＩ／Ｆ５０８を介して距離画像センサ部２０８が出力する距離画像データを取得し、ＲＡＭ５０３へ格納する。認識処理部６０６はカメラ画像取得部６０４が取得する広角画像データ及び距離画像取得部６０５が取得する距離画像データから載置台２０４の操作平面上の物体の動きを検知して認識するモジュールである。認識処理部６０６はジェスチャー検知部６０７及び物体検知部６０８によって構成される。ジェスチャー検知部６０７は画像取得部６０３から載置台２０４の操作平面上の画像を取得し続け、タッチ等のユーザのジェスチャー操作を検知する。ジェスチャー検知部６０７はユーザのジェスチャー操作を検知すると、この旨をメイン制御部６０２に通知する。物体検知部６０８は、画像取得部６０３から載置台２０４の操作平面を撮像した画像を取得して載置台２０４の操作平面上に存在する物体を検知する。また、物体検知部６０８は、載置台２０４の操作平面上に物体が置かれるタイミング、物体が置かれて静止するタイミング、又は物体が取り除かれるタイミング等も検知する。
【００２７】
画像処理部６０９は、カメラ部２０２及び距離画像センサ部２０８から取得した画像を画像処理プロセッサ５０７で解析するために用いられ、物体計測部６１０や図示しない各種画像処理モジュールによって構成される。物体計測部６１０は載置台２０４の操作平面上に置かれた物体２０６を計測するモジュールである。前述のジェスチャー検知部６０７や物体計測部６１０は画像処理部６０９の各種画像処理モジュールを利用して実現される。
【００２８】
データ管理部６１１は、制御用プログラムを実行して生成された作業データ等をＨＤＤ５０５の所定の領域へ格納し、上記作業データ等を管理する。ユーザインターフェイス部６１２はメイン制御部６０２からの要求に応じてメッセージやボタン等のＧＵＩ部品を生成し、生成したＧＵＩ部品の表示を表示部６１３に要求する。表示部６１３はディスプレイコントローラ５０９を介して、要求されたＧＵＩ部品の表示をプロジェクタ２０７又はＬＣＤタッチパネル５１３に実行させる。プロジェクタ２０７は載置台２０４の操作平面に向けて設置されるため、載置台２０４の操作平面上にＧＵＩ部品が投影表示される。また、ユーザインターフェイス部６１２は、ジェスチャー検知部６０７が認識したユーザのタッチ等のジェスチャー操作やＬＣＤタッチパネル５１３における入力操作、さらに各操作が行われた座標をメイン制御部６０２経由で受信する。また、ユーザインターフェイス部６１２は、描画されているＧＵＩ部品の座標と操作座標を対応させて操作されたＧＵＩ部品の操作内容を判定し、この操作内容をメイン制御部６０２に通知する。ネットワーク通信部６１４は、ネットワークＩ／Ｆ５０６を介してネットワーク１０４に接続された他の機器とＴＣＰ／ＩＰによる通信を行う。
【００２９】
図７は、図１のカメラスキャナ１０１による荷物サイズの計測の手順を示すシーケンス図である。図７の処理では、一例として、図８に示すように、ユーザ８００の正面にカメラスキャナ１０１が配置され、カメラスキャナ１０１がユーザ８００との間の載置台２０４に置かれた荷物８０１のサイズの計測を行う場合について説明する。なお、図７の処理では、計測対象でる荷物８０１の形状が直方体であることがメイン制御部６０２に既に通知され、また、計測開始を指示するための図９（ａ）のＵＩ画面９０１がプロジェクタ２０７によって載置台２０４の操作平面上に投影表示されていることとする。ＵＩ画面９０１は実行ボタン９０２及び終了ボタン９０３を含む。
【００３０】
図７において、ジェスチャー検知部６０７は、画像取得部６０３から取得した広角画像データ及び距離画像データに基づいてＵＩ画面９０１におけるジェスチャー検知処理を行う。ジェスチャー検知部６０７は、ＵＩ画面９０１において、図９（ｂ）に示すようなユーザによる実行ボタン９０２のジェスチャー操作を検知すると、この旨を示すジェスチャー通知をメイン制御部６０２に送信する（ステップＳ７０１）。このジェスチャー通知を受信したメイン制御部６０２は、図９（ｃ）に示すように、荷物計測領域９０４（物体計測領域）を載置台２０４の操作平面上に投影表示する。また、メイン制御部６０２は物体検知部６０８に物体検知処理の開始を要求する（ステップＳ７０２）。
【００３１】
物体検知処理の開始を要求された物体検知部６０８は、荷物計測領域９０４に置かれた物体を検知する物体検知処理を開始し、画像取得部６０３から広角画像データ及び距離画像データを所定の間隔で取得する。物体検知部６０８は取得した広角画像データ及び距離画像データに基づいて荷物計測領域９０４に物体が所定の期間置かれ続けているか否かを判別する。物体検知部６０８は、例えば、図９（ｄ）に示すように、荷物８０１が荷物計測領域９０４に置かれ、さらに荷物８０１が所定の期間荷物計測領域９０４に静止した状態であることを検知すると、この旨を示す静止検知通知をメイン制御部６０２に送信する（ステップＳ７０３）。
【００３２】
メイン制御部６０２は、静止検知通知を受信すると、物体計測部６１０に物体計測処理の開始を要求する（ステップＳ７０４）。また、メイン制御部６０２は、図９（ｅ）に示すように、荷物８０１のサイズを計測中である旨を示すメッセージ９０５を載置台２０４の操作平面上に投影表示する。さらに、メイン制御部６０２はユーザインターフェイス部６１２に対しＧＵＩ部品更新処理を要求する。ＧＵＩ部品更新処理を要求されたユーザインターフェイス部６１２は、ＧＵＩ部品更新処理を行い（ステップＳ７０５）、載置台２０４の操作平面上の表示内容を、図９（ｆ）に示すように、荷物８０１のサイズの計測結果を示すメッセージ９０６に更新する。
【００３３】
載置台２０４の操作平面上にメッセージ９０６が投影表示されると、メイン制御部６０２は物体検知部６０８に物体検知処理の開始を要求する（ステップＳ７０６）。物体検知部６０８は、図９（ｇ）に示すように、荷物８０１が荷物計測領域９０４から取り除かれたことを検知すると、この旨を示す除去検知通知をメイン制御部６０２に送信する（ステップＳ７０７）。除去検知通知を受信したメイン制御部６０２は、ユーザインターフェイス部６１２にＧＵＩ部品更新処理を要求する。ＧＵＩ部品更新処理を要求されたユーザインターフェイス部６１２は、ＧＵＩ部品更新処理を行い（ステップＳ７０８）、載置台２０４の操作平面上の表示内容を更新する。上記操作平面には、荷物８０１のサイズの再計測を指示する再計測ボタン９０７及び荷物８０１の計測処理の終了を指示する終了ボタン９０８が投影表示される。その後、カメラスキャナ１０１は本処理を終了する。
【００３４】
図１０は、図６のメイン制御部６０２によって実行される荷物サイズ計測処理の手順を示すフローチャートである。図１０の処理では、ＵＩ画面９０１が載置台２０４の操作平面上に投影表示されていることを前提とする。
【００３５】
図１０において、メイン制御部６０２は、ジェスチャー検知部６０７によって実行ボタン９０２のジェスチャー操作が検知されると（ステップＳ１００１でＹＥＳ）、画像取得部６０３から距離画像データ及び広角画像データを取得する（ステップＳ１００２）。ステップＳ１００２では、メイン制御部６０２は、同じ撮影タイミングの距離画像データ及び広角画像データを取得する。なお、本実施の形態では、ステップＳ１００１において、メイン制御部６０２が、図１１（ａ）の距離画像データ１１０１及び図１１（ｂ）の広角画像データ１１０３を画像取得部６０３から取得したこととする。距離画像データ１１０１及び広角画像データ１１０３は、荷物８０１の２側面がカメラスキャナ１０１に正対するように荷物計測領域９０４に置かれた際に撮影された画像データである。距離画像データ１１０１は荷物８０１の一部を撮影して生成されたデータである。距離画像データ１１０１を構成する各画素には、撮影された被写体の各部の距離値が設定され、例えば、撮影された荷物８０１の一部は領域１１０２のように表される。広角画像データ１１０３は撮影されたユーザ８００を示す画像や載置台２０４に置かれた荷物８０１の全体画像である荷物画像１１０４を含む。
【００３６】
次いで、メイン制御部６０２は物体計測部６１０により、ステップＳ１００３〜Ｓ１００６の第１の荷物領域検出処理を行い、荷物８０１の側面を特定するための物体領域関連情報を検出する。具体的に、メイン制御部６０２は、距離画像データ１１０１を直交座標系の３次元点群に変換する（ステップＳ１００３）。次いで、メイン制御部６０２は物体領域関連情報として、変換した３次元点群の中から所定のＺ値以上、つまり、載置台２０４の操作平面から所定の高さ以上の図１１（ｃ）の３次元点群１１０５を検出する（ステップＳ１００４）。本実施の形態では、３次元点群１１０５は、後述する第２の荷物領域検出処理における荷物の側面領域の検出にも利用されるので、側面領域をより正確に検出するために、荷物８０１を示す３次元点を或る程度の数以上含んでいる必要がある。このため、メイン制御部６０２は、３次元点群１１０５における３次元点の数が予め設定された所定数以上であるか否かを判別する（ステップＳ１００５）。
【００３７】
ステップＳ１００５の判別の結果、３次元点群１１０５における３次元点の数が所定数以上であるとき、メイン制御部６０２は後述する図１２の第１の荷物載置ガイド処理を行う（ステップＳ１００６）。ステップＳ１００６では、荷物８０１が載置台２０４の適切な位置に置かれていない場合、荷物８０１を置き直すためのガイド通知が載置台２０４に投影表示される。次いで、メイン制御部６０２は上述した第１の荷物領域検出処理において荷物８０１の全体領域を検出可能であるか否かを判別する（ステップＳ１００７）。ステップＳ１００７では、メイン制御部６０２は距離画像データ１１０１に基づいて荷物８０１を真上から眺めた俯瞰画像データを生成し、荷物８０１の全体領域を特定可能であるか否かを上記俯瞰画像データに基づいて判別する。ステップＳ１００７では、俯瞰画像データから荷物８０１の上面の輪郭を形成する４つの辺が特定できない場合（例えば、図１１（ｄ）の俯瞰画像データ１１０６を参照。）、メイン制御部６０２は第１の荷物領域検出処理において荷物８０１の全体領域を特定不可能であると判別する。一方、俯瞰画像データから荷物８０１の上面の輪郭を形成する４つの辺が特定できる場合（例えば、図１１（ｅ）の俯瞰画像データ１１０７を参照。）、メイン制御部６０２は第１の荷物領域検出処理において荷物８０１の全体領域を特定可能であると判別する。
【００３８】
ステップＳ１００７の判別の結果、第１の荷物領域検出処理において荷物８０１の全体領域を特定不可能であるとき、メイン制御部６０２は物体計測部６１０により、ステップＳ１００８〜Ｓ１０１１の第２の荷物領域検出処理を行う。具体的に、メイン制御部６０２は、事前にキャリブレーション済みのパラメータを用いて、ステップＳ１００４の処理によって検出された３次元点群１１０５を、図１１（ｆ）に示すように、広角画像データ１１０３上に射影する（ステップＳ１００８）。
【００３９】
次いで、メイン制御部６０２は広角画像データ１１０３における図１１（ｇ）の荷物領域１１０８を特定する（ステップＳ１００９）。具体的に、メイン制御部６０２は物体領域関連情報として、広角画像データ１１０３上に射影された３次元点群１１０５に基づいて図１１（ｇ）の頂点Ａ〜Ｆを検出し、検出した頂点Ａ〜Ｆによって形成される荷物領域１１０８を特定する。例えば、メイン制御部６０２は、図１１（ｆ）の広角画像データ１１０３において、３次元点群１１０５における色情報を用い、また、荷物８０１の２つ側面の境界線（以下、稜線と呼ぶ）が載置台２０４に垂直な直線であることを考慮することで、広角画像データ１１０３に対するエッジ検出結果画像から各頂点を検出する。また、照明条件や載置台２０４と荷物８０１との色味の類似性により、稜線ＡＢや稜線ＢＣのエッジの検出が困難である場合には、３次元点群１１０５を利用することで安定して各頂点Ａ〜Ｆを検出することが可能となる。例えば、３次元点群１１０５を用いて、側面ＡＢＥＤ及び側面ＢＣＦＥに対する平面方程式（ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０）をそれぞれ推定する。この２側面と載置台２０４平面（Ｚ＝０の平面）との交線を算出することで、各稜線ＡＢ及び稜線ＢＣを通る２つの直線方程式（ａｘ＋ｂｙ＋ｄ＝０）が得られる。さらに、稜線ＡＤ及び稜線ＡＢの交点を算出することで、頂点Ａを検出し、同様にして頂点Ｂ及び頂点Ｃを検出可能である。なお、本実施の形態では、荷物領域１１０８の特定方法はこれに限られず、例えば、背景差分やフレーム差分といった手法を併用しても良い。
【００４０】
次いで、メイン制御部６０２は広角画像データ１１０３から荷物領域１１０８の特定を成功したか否かを判別する（ステップＳ１０１０）。
【００４１】
ステップＳ１０１０の判別の結果、荷物領域１１０８の特定を成功したとき、メイン制御部６０２は後述する図１４の第２の荷物載置ガイド処理を行う（ステップＳ１０１１）。ステップＳ１０１１でも、荷物８０１が載置台２０４の適切な位置に置かれていない場合、荷物８０１を置き直すためのガイド通知が載置台２０４に投影表示される。次いで、メイン制御部６０２は、ステップＳ１０１１において上記ガイド通知が投影表示されたか否かを判別する（ステップＳ１０１２）。
【００４２】
ステップＳ１０１２の判別の結果、上記ガイド通知が投影表示されたとき、ステップＳ１０１０の判別の結果、荷物領域１１０８の特定を失敗したとき、又はステップＳ１００５の判別の結果、３次元点群１１０５における３次元点の数が所定数未満であるとき、メイン制御部６０２はステップＳ１００２の処理に戻る。
【００４３】
ステップＳ１０１２の判別の結果、ガイド通知が投影表示されないとき、又はステップＳ１００７の判別の結果、第１の荷物領域検出処理において荷物８０１の全体領域を特定可能であるとき、メイン制御部６０２は、式（１）、式（３）、及び既知のキャリブレーションパラメータを用いて、広角画像データ１１０３に基づいて特定された荷物領域１１０８の各頂点Ａ〜Ｆの画像座標を直交座標系の座標に変換する。式（１）、式（３）を展開することで下記式（４）及び下記式（５）式が得られる。
【００４４】
【数１】
2019120618.tif 000003
【００４５】
メイン制御部６０２は、この２式に、ステップＳ１００９の処理によって特定された荷物領域１１０８の底面を形成する各頂点Ａ〜Ｃの画像座標とＺ＝０とを用いて、直交座標系の頂点Ａ〜ＣのＸ、Ｙ座標を算出する。また、メイン制御部６０２は、頂点Ｄ〜Ｆに関し、頂点Ａ〜ＣのＸ、Ｙ座標を用いることでＺ座標を算出する。メイン制御部６０２は、算出した直交座標系の各頂点Ａ〜Ｆの座標で表される図１１（ｈ）の荷物領域１１０９のサイズ（長さ、幅、高さ）を計測する（ステップＳ１０１３）。次いで、メイン制御部６０２は図９（ｆ）に示すように、計測結果を載置台２０４に投影表示する（ステップＳ１０１４）。その後、ユーザによって荷物８０１が載置台２０４から取り除かれると、メイン制御部６０２は再計測ボタン９０７及び終了ボタン９０８を載置台２０４に投影表示する。メイン制御部６０２は、ジェスチャー操作を検知すると、上記ジェスチャー操作の内容を確認する（ステップＳ１０１５）。具体的に、メイン制御部６０２は上記ジェスチャー操作が再計測ボタン９０７及び終了ボタン９０８の何れの操作ボタンの選択操作であるかを確認する。
【００４６】
ステップＳ１０１５において、上記ジェスチャー操作が再計測ボタン９０７の選択操作であるとき、メイン制御部６０２はステップＳ１００２の処理に戻る。一方、ステップＳ１０１５において、上記ジェスチャー操作が終了ボタン９０８の選択操作であるとき、メイン制御部６０２は本処理を終了する。
【００４７】
図１２は、図１０のステップＳ１００６の第１の荷物載置ガイド処理の手順を示すフローチャートである。
【００４８】
図１２において、メイン制御部６０２は処理を続行するか否かを判別する（ステップＳ１２０１）。ステップＳ１２０１では、例えば、荷物８０１の計測処理の終了を指示するジェスチャー操作が検知された場合やシステム内のタイムアウトが検知された場合に、メイン制御部６０２は処理を続行しないと判別する。一方、荷物８０１の計測処理の終了を指示するジェスチャー操作が検知されず且つシステム内のタイムアウトが検知されない場合に、メイン制御部６０２は処理を続行すると判別する。
【００４９】
ステップＳ１２０１の判別の結果、処理を続行しないとき、メイン制御部６０２は荷物サイズ計測処理を終了する。一方、ステップＳ１２０１の判別の結果、処理を続行するとき、メイン制御部６０２は第１の荷物領域検出処理における物体領域関連情報の検出を成功したか否かを判別する。具体的に、メイン制御部６０２はステップＳ１００４の処理によって検出された３次元点群１１０５に基づいて荷物８０１の少なくとも２つの平面を検出したか否かを判別する（ステップＳ１２０２）。本実施の形態では、荷物８０１の立体形状を把握するために、荷物８０１の少なくとも２つの平面に関する情報が必要である。ステップＳ１２０２では、メイン制御部６０２が３次元点群１１０５に対して平面検出を行う。平面検出では、メイン制御部６０２は３次元点群１１０５の各点に対して法線ベクトルを求め、上記法線ベクトルをクラスタリングする。このようにして検出された平面の数に基づいてメイン制御部６０２はステップＳ１２０２の判別処理を行う。
【００５０】
ステップＳ１２０２の判別の結果、少なくとも２つの平面を検出したとき、メイン制御部６０２は第１の荷物領域検出処理における物体領域関連情報の検出を成功したと判断する。このとき、メイン制御部６０２は本処理を終了し、ステップＳ１００７以降の処理を行う。一方、ステップＳ１２０２の判別の結果、少なくとも２つの平面を検出しないとき、メイン制御部６０２は第１の荷物領域検出処理における物体領域関連情報の検出を失敗したと判断する。このとき、メイン制御部６０２はカメラスキャナ１０１に対し荷物８０１の位置が近過ぎるか否かを判別する。具体的に、メイン制御部６０２は距離画像データ１１０１における距離値が予め設定された第１の許容最小値以下であるか否かを判別する（ステップＳ１２０３）。第１の許容最小値は距離画像取得部６０５の特性に応じて決定された物体までの距離の許容可能最小値、例えば、５００ｍｍである。ステップＳ１２０３では、距離画像データ１１０１を構成する画素のうち設定された距離値が第１の許容最小値以下である画素の個数が所定数、例えば、２０個以上である場合、距離画像データ１１０１における距離値が第１の許容最小値以下であると判別する。一方、距離画像データ１１０１を構成する画素のうち設定された距離値が第１の許容最小値以下である画素の個数が上記所定数未満である場合、距離画像データ１１０１における距離値が第１の許容最小値以下でないと判別する。
【００５１】
ステップＳ１２０３の判別の結果、距離画像データ１１０１における距離値が第１の許容最小値以下であるとき、メイン制御部６０２はカメラスキャナ１０１に対し荷物８０１の位置が近過ぎると判断する。このとき、メイン制御部６０２は、図１３（ａ）に示すように、荷物８０１の載置位置をカメラスキャナ１０１から遠ざける旨を示すガイド通知１３０１を載置台２０４に投影表示する（ステップＳ１２０４）。次いで、メイン制御部６０２は、荷物８０１が移動し且つ静止したことを検知すると（ステップＳ１２０５でＹＥＳ）、ステップＳ１２０１の処理に戻る。
【００５２】
ステップＳ１２０３の判別の結果、距離画像データ１１０１における距離値が第１の許容最小値以下でないとき、メイン制御部６０２はカメラスキャナ１０１に対し荷物８０１の位置が遠過ぎるか否かを判別する。具体的に、メイン制御部６０２は距離画像データ１１０１における距離値が第１の許容最大値以上であるか否かを判別する（ステップＳ１２０６）。第１の許容最大値は距離画像取得部６０５の特性に応じて決定された物体までの距離の許容可能最大値、例えば、１０００ｍｍである。ステップＳ１２０６では、距離画像データ１１０１を構成する画素のうち設定された距離値が第１の許容最大値以上である画素の個数が上記所定数以上である場合、距離画像データ１１０１における距離値が第１の許容最大値以上であると判別する。一方、距離画像データ１１０１を構成する画素のうち設定された距離値が第１の許容最大値以上である画素の個数が上記所定数未満である場合、距離画像データ１１０１における距離値が第１の許容最大値以上でないと判別する。
【００５３】
ステップＳ１２０６の判別の結果、距離画像データ１１０１における距離値が第１の許容最大値以上であるとき、メイン制御部６０２はカメラスキャナ１０１に対し荷物８０１の位置が遠過ぎると判断する。このとき、メイン制御部６０２は、図１３（ｂ）に示すように、荷物８０１の載置位置をカメラスキャナ１０１に近付ける旨を示すガイド通知１３０２を載置台２０４に投影表示する（ステップＳ１２０７）。次いで、メイン制御部６０２はステップＳ１２０５以降の処理を行う。
【００５４】
ステップＳ１２０６の判別の結果、距離画像データ１１０１における距離値が第１の許容最大値以上でないとき、メイン制御部６０２は俯瞰画像データ１１０６から特定される直線が１本であるか否かを判別する（ステップＳ１２０８）。
【００５５】
ステップＳ１２０８の判別の結果、上記特定される直線が１本でないとき、メイン制御部６０２はステップＳ１２０１の処理に戻る。一方、ステップＳ１２０８の判別の結果、上記特定される直線が１本であるとき、メイン制御部６０２は特定された１本の直線が画角に接しているか否かを判別する（ステップＳ１２０９）。
【００５６】
ステップＳ１２０９の判別の結果、特定された１本の直線が画角に接しているとき（例えば、図１３（ｃ）の直線１３０３参照。）、メイン制御部６０２は図１３（ｄ）のように、荷物８０１が荷物計測領域９０４をはみ出した位置に置かれていると判断する。このとき、メイン制御部６０２は荷物８０１の載置位置を中央に移動させる旨を示すガイド通知１３０４を載置台２０４に投影表示する（ステップＳ１２１０）。次いで、メイン制御部６０２はステップＳ１２０５以降の処理を行う。
【００５７】
ステップＳ１２０９の判別の結果、特定された１本の直線が画角に接していないとき（例えば、図１３（ｅ）の直線１３０５参照。）、メイン制御部６０２は図１３（ｆ）のように、荷物８０１の一の平面がカメラスキャナ１０１に正対するように置かれていると判断する。このとき、メイン制御部６０２はカメラスキャナ１０１に対して荷物８０１の２つの平面が正対するように荷物８０１の向きを変える旨を示すガイド通知１３０６を載置台２０４に投影表示する（ステップＳ１２１１）。次いで、メイン制御部６０２はステップＳ１２０５以降の処理を行う。
【００５８】
図１４は、図１０のステップＳ１０１１の第２の荷物載置ガイド処理の手順を示すフローチャートである。
【００５９】
図１４において、メイン制御部６０２はステップＳ１２０１の処理を行う。ステップＳ１２０１の判別の結果、処理を続行しないとき、メイン制御部６０２は荷物サイズ計測処理を終了する。一方、ステップＳ１２０１の判別の結果、処理を続行するとき、メイン制御部６０２は第２の荷物領域検出処理における物体領域関連情報の検出を成功したか否かを判別する。具体的に、メイン制御部６０２はステップＳ１００９の処理によって特定された荷物領域１１０８において底面を形成する頂点Ａ，Ｂ，Ｃを検出したか否かを判別する（ステップＳ１４０１）。
【００６０】
ステップＳ１４０１の判別の結果、頂点Ａ，Ｂ，Ｃを検出しないとき、メイン制御部６０２は第２の荷物領域検出処理における物体領域関連情報の検出を失敗したと判断する。このとき、メイン制御部６０２はカメラスキャナ１０１に対し荷物８０１の位置が近過ぎるか否かを判別する。具体的に、メイン制御部６０２は距離画像データ１１０１における距離値が第２の許容最小値以下であるか否かを判別する（ステップＳ１４０２）。第２の許容最小値はカメラ画像取得部６０４の特性に応じて決定された物体までの距離の許容可能最小値、例えば、６００ｍｍである。ステップＳ１４０２では、距離画像データ１１０１を構成する画素のうち設定された距離値が第２の許容最小値以下である画素の個数が上記所定数以上である場合、メイン制御部６０２は距離画像データ１１０１における距離値が第２の許容最小値以下であると判別する。一方、距離画像データ１１０１を構成する画素のうち設定された距離値が第２の許容最小値以下である画素の個数が上記所定数未満である場合、メイン制御部６０２は距離画像データ１１０１における距離値が第２の許容最小値以下でないと判別する。
【００６１】
ステップＳ１４０２の判別の結果、距離画像データ１１０１における距離値が第２の許容最小値以下であるとき、メイン制御部６０２はステップＳ１２０４以降の処理を行う。ステップＳ１４０２の判別の結果、距離画像データ１１０１における距離値が第２の許容最小値以下でないとき、メイン制御部６０２はカメラスキャナ１０１に対し荷物８０１の位置が遠過ぎるか否かを判別する。具体的に、メイン制御部６０２は距離画像データ１１０１における距離値が第２の許容最大値以上であるか否かを判別する（ステップＳ１４０３）。第２の許容最大値はカメラ画像取得部６０４の特性に応じて決定された物体までの距離の許容可能最大値、例えば、１１００ｍｍである。ステップＳ１４０３では、距離画像データ１１０１を構成する画素のうち設定された距離値が第２の許容最大値以上である画素の個数が所定数以上である場合、メイン制御部６０２は距離画像データ１１０１における距離値が第２の許容最大値以上であると判別する。一方、距離画像データ１１０１を構成する画素のうち設定された距離値が第２の許容最大値以上である画素の個数が所定数未満である場合、メイン制御部６０２は距離画像データ１１０１における距離値が第２の許容最大値以上でないと判別する。
【００６２】
ステップＳ１４０３の判別の結果、距離画像データ１１０１における距離値が第２の許容最大値以上であるとき、メイン制御部６０２はステップＳ１２０７以降の処理を行う。ステップＳ１４０３の判別の結果、距離画像データ１１０１における距離値が第２の許容最大値以上でないとき、メイン制御部６０２はステップＳ１２０８以降の処理を行う。
【００６３】
ステップＳ１４０１の判別の結果、頂点Ａ，Ｂ，Ｃを検出したとき、メイン制御部６０２はステップＳ１００９の処理によって特定された荷物領域１１０８において上面を形成する頂点Ｄ，Ｆが検出されているか否かを判別する（ステップＳ１４０４）。
【００６４】
ステップＳ１４０４の判別の結果、頂点Ｄ，Ｆが検出されているとき、メイン制御部６０２は第２の荷物領域検出処理における物体領域関連情報の検出を成功したと判断する。このとき、メイン制御部６０２は本処理を終了し、ステップＳ１０１２以降の処理を行う。
【００６５】
ステップＳ１４０４の判別の結果、頂点Ｄ，Ｆが検出されていないとき、メイン制御部６０２は距離画像センサ部２０８の画角に対し、荷物８０１の高さが高過ぎると判断する。このとき、メイン制御部６０２は荷物８０１の底面の変更を促すガイド通知、例えば、ＢＣＦＥ面が底面になるように荷物８０１の置き直しを促すガイド通知（不図示）を載置台２０４に投影表示し（ステップＳ１４０５）、ステップＳ１２０１の処理に戻る。
【００６６】
上述した実施の形態によれば、物体領域関連情報の検出に失敗した場合、荷物８０１を置き直すためのガイド通知が距離画像データ１１０１に基づいて載置台２０４に投影表示される。これにより、物体領域関連情報の検出に失敗した際に荷物８０１の適切な載置位置をユーザに知らせることができる。
【００６７】
また、上述した実施の形態では、距離画像データ１１０１における距離値が第１の許容最小値以下又は第２の許容最小値以下である場合、荷物８０１をカメラスキャナ１０１から遠ざけることを促すガイド通知１３０１が載置台２０４に投影表示される。ここで、カメラスキャナ１０１では、距離値が第１の許容最小値以下又は第１の許容最大値以上となる位置に配置された荷物８０１に対し、第１の荷物領域検出処理において荷物８０１の側面を特定する３次元点群１１０５等の物体領域関連情報を正確に検出することができない。また、カメラスキャナ１０１では、距離値が第２の許容最小値以下又は第２の許容最大値以上となる位置に配置された荷物８０１に対し、第２の荷物領域検出処理において広角画像データ１１０３から荷物８０１を形成する頂点Ａ〜Ｆ等の物体領域関連情報を正確に検出することができない。物体領域関連情報を正確に検出するために、ユーザは少なくとも距離値が第１の許容最小値以下又は第２の許容最小値以下にならない位置に荷物８０１を配置する必要がある。これに対し、本実施の形態では、距離画像データ１１０１における距離値が第１の許容最小値以下又は第２の許容最小値以下である場合、荷物８０１をカメラスキャナ１０１から遠ざけることを促すガイド通知１３０１が載置台２０４に投影表示される。これにより、カメラスキャナ１０１に対して近過ぎる位置に荷物８０１が配置されたことに起因して物体領域関連情報を正確に検出できない場合に、荷物８０１をカメラスキャナ１０１から遠ざけるようにユーザに伝えることができる。
【００６８】
さらに、上述した実施の形態では、距離画像データ１１０１における距離値が第１の許容最大値以上又は第２の許容最大値以上である場合、荷物８０１をカメラスキャナ１０１に近付けることを促すガイド通知１３０２が載置台２０４に投影表示される。これにより、カメラスキャナ１０１に対して遠過ぎる位置に荷物８０１が配置されたことに起因して物体領域関連情報を正確に検出できない場合に、荷物８０１をカメラスキャナ１０１に近付けるようにユーザに伝えることができる。
【００６９】
上述した実施の形態では、図１３（ｅ）の俯瞰画像データ１３０７のように、荷物８０１の輪郭を示す直線１３０５が１本のみ検出され且つ直線１３０５が画角に接しない場合、荷物８０１の２つの平面がカメラスキャナ１０１に正対するように荷物８０１の向きの変更を促すガイド通知１３０６が載置台２０４に投影表示される。ここで、俯瞰画像データ１３０７において荷物８０１の輪郭を示す直線１３０５が１本のみ検出され且つ直線１３０５が画角に接しない場合は、図１３（ｆ）に示すように荷物８０１の１つの平面のみがカメラスキャナ１０１に正対するように配置された場合に他ならない。カメラスキャナ１０１では、荷物８０１のサイズを計測する際に荷物８０１の立体形状を把握するために、荷物８０１の少なくとも２つの平面に関する情報が必要となる。このため、ユーザは荷物８０１の２つの平面がカメラスキャナ１０１に正対するように荷物８０１を荷物計測領域９０４に置く必要がある。これに対し、本実施の形態では、俯瞰画像データ１３０７において荷物８０１の輪郭を示す直線１３０５が１本のみ検出され且つ直線１３０５が画角に接しない場合、ガイド通知１３０６が載置台２０４に投影表示される。これにより、荷物８０１の１つの平面のみがカメラスキャナ１０１に正対するように配置されることに起因して物体領域関連情報を検出できない場合に、荷物８０１をカメラスキャナ１０１に対して適切な向きに変更するようにユーザに伝えることができる。
【００７０】
また、上述した実施の形態では、図１３（ｃ）の俯瞰画像データ１３０８のように荷物８０１の輪郭を示す直線１３０３が１本のみ検出され且つ直線１３０３が画角に接する場合、荷物８０１を荷物計測領域９０４の中央（真ん中）に配置することを促すガイド通知１３０４が載置台２０４に投影表示される。これにより、図１３（ｄ）に示すように荷物８０１の一部が荷物計測領域９０４からはみ出すように配置されることに起因して物体領域関連情報を検出できない場合に、荷物８０１を荷物計測領域９０４の中央に配置するようにユーザに伝えることができる。
【００７１】
さらに、上述した実施の形態では、第１の荷物領域検出処理及び第２の荷物領域検出処理のそれぞれにおいて、ガイド通知が距離画像データ１１０１に基づいて載置台２０４に投影表示される。すなわち、第２の荷物領域検出処理の実行に必要となる物体領域関連情報を第１の荷物領域検出処理によって検出できない場合に、第２の荷物領域検出処理の実行を開始する前に、ガイド通知が載置台２０４に投影表示される。これにより、第２の荷物領域検出処理の実行を開始する前に、荷物８０１を適切な位置に置き直す必要がある旨をユーザに伝えることができる。
【００７２】
以上、本発明について、上述した実施の形態を用いて説明したが、本発明は上述した実施の形態に限定されるものではない。例えば、計測処理の開始等の操作を行う操作画面や、計測結果といった計測関連情報を載置台２０４の操作平面上に投影表示するのではなく、例えば、ＬＣＤタッチパネル５１３や図示しない出力装置に上記操作画面や計測関連情報を表示しても良い。
【００７３】
また、上述した実施の形態では、ユーザの正面にカメラスキャナ１０１が配置された場合について説明したが、カメラスキャナ１０１の配置位置はユーザの正面に限られず、ユーザの側面側にカメラスキャナ１０１が配置されても良い。ユーザの側面側にカメラスキャナ１０１を配置することで、図１５に示すように、荷物８０１の計測操作を行う担当者１５０１と顧客１５０２とが対面するような対面用端末として利用することができる。カメラスキャナ１０１を対面用端末として利用する場合、担当者１５０１に対して上述した各メッセージが逆さま等にならないように順当な向きに文字を載置台２０４に投影表示するのが好ましい。
【００７４】
本発明は、上述の実施の形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７５】
１０１  カメラスキャナ
２０２  カメラ部
２０８  距離画像センサ部
１１０１  距離画像データ
１１０３  広角画像データ
１１０６、１１０７、１３０７、１３０８  俯瞰画像データ
１３０１、１３０２、１３０４、１３０６  ガイド通知
１３０３、１３０５  直線
【図１】
2019120618.tif 000004
【図２】
2019120618.tif 000005
【図３】
2019120618.tif 000006
【図４】
2019120618.tif 000007
【図５】
2019120618.tif 000008
【図６】
2019120618.tif 000009
【図７】
2019120618.tif 000010
【図８】
2019120618.tif 000011
【図９】
2019120618.tif 000012
【図１０】
2019120618.tif 000013
【図１１】
2019120618.tif 000014
【図１２】
2019120618.tif 000015
【図１３】
2019120618.tif 000016
【図１４】
2019120618.tif 000017
【図１５】
2019120618.tif 000018