(57)【要約】【課題】被包装物の形状に適した包装材・外装材のサイズを導出する。【解決手段】包装支援装置は、１以上の方向について、包装または外装対象である被包装物を撮像した撮像画像と、該方向における被包装物までの距離を示す距離情報を取得する取得手段と、取得手段により取得された撮像画像及び距離情報の少なくともいずれかに基づいて、被包装物の外形を示す外形情報を構成する構成手段と、外形情報と距離情報とに基づき、被包装物の形状に係る寸法を導出する導出手段と、導出手段により導出された被包装物の形状に係る寸法に基づき、該被包装物の包装材または外装材のサイズを決定する決定手段と、を有する。【選択図】図５
2020179880.tif 000002
【特許請求の範囲】
【請求項１】
１以上の方向について、包装または外装対象である被包装物を撮像した撮像画像と、該方向における前記被包装物までの距離を示す距離情報を取得する取得手段と、
前記取得手段により取得された撮像画像及び距離情報の少なくともいずれかに基づいて、前記被包装物の外形を示す外形情報を構成する構成手段と、
前記外形情報と前記距離情報とに基づき、前記被包装物の形状に係る寸法を導出する導出手段と、
前記導出手段により導出された前記被包装物の形状に係る寸法に基づき、該被包装物の包装材または外装材のサイズを決定する決定手段と、
を有することを特徴とする包装支援装置。
【請求項２】
前記被包装物について、該被包装物の少なくとも一部を包装または外装する対象部位として設定する設定手段をさらに有し、
前記導出手段は、前記対象部位に係る寸法を導出し、
前記決定手段は、前記対象部位を少なくとも内包する包装材または外装材のサイズを決定する
ことを特徴とする請求項１に記載の包装支援装置。
【請求項３】
前記決定手段により決定される包装材のサイズは、前記被包装物の形状に沿う態様での該被包装物の前記対象部位の包装を実現するサイズであり、
前記導出手段は、１つの方向について、該方向における前記対象部位に係る前記被包装物の形状の外縁部に示される輪郭線の長さを、前記距離情報に基づいて導出し、
前記決定手段は、複数の方向について前記導出手段により導出された前記輪郭線の長さを、各々の方向と対応するように平面展開することで、包装材のサイズを決定する
ことを特徴とする請求項２に記載の包装支援装置。
【請求項４】
前記導出手段は、前記複数の方向のそれぞれについて、前記被包装物の同一部を始点とし、前記外縁部における該始点と異なる他の点を終点とする２種類の輪郭線について長さを導出し、
前記決定手段は、前記平面展開において、前記被包装物の同一部を配置すると定めた点を起点として、放射状に各方向の２種類の輪郭線を展開し、該放射状に展開された輪郭線群を内包するように包装材のサイズを決定する
ことを特徴とする請求項３に記載の包装支援装置。
【請求項５】
前記構成手段は、前記被包装物の形状に沿う態様での包装を行わないと定められた外形の部位について輪郭線の形状を変更し、
前記導出手段は、前記変更後の外形情報に基づき、前記対象部位に係る寸法を導出する
ことを特徴とする請求項２乃至４のいずれか１項に記載の包装支援装置。
【請求項６】
前記決定手段により決定される外装材のサイズは、前記被包装物の前記対象部位を内包する態様での外装を実現するサイズであり、
前記包装支援装置は、外装材の形状を選択する選択手段をさらに有し、
前記導出手段は、前記被包装物の前記対象部位の形状について、前記選択手段により選択された外装材の形状について予め定められた種類の外形寸法を導出する
ことを特徴とする請求項２乃至５のいずれか１項に記載の包装支援装置。
【請求項７】
前記取得手段は、前記予め定められた種類の外形寸法の少なくとも一部が、取得した前記撮像画像及び前記距離情報に基づいて導出されなかった場合に、異なる方向について前記撮像画像及び前記距離情報をさらに取得することを特徴とする請求項６に記載の包装支援装置。
【請求項８】
前記異なる方向を通知する第１の通知手段をさらに有することを特徴とする請求項７に記載の包装支援装置。
【請求項９】
前記導出手段は、前記予め定められた種類の外形寸法の少なくとも一部が、前記外形情報及び前記距離情報に基づいて導出されない場合に、前記距離情報に基づいて前記被包装物の３次元形状を推定し、該推定した３次元形状に基づいて前記予め定められた種類の外形寸法を導出することを特徴とする請求項６に記載の包装支援装置。
【請求項１０】
前記撮像画像及び前記距離情報に基づいて、前記被包装物の形状に係る寸法が最大となる方向を特定する特定手段と、
前記特定手段により特定された、前記被包装物の形状に係る寸法が最大となる方向を通知する第２の通知手段をさらに有することを特徴とする請求項１乃至９のいずれか１項に記載の包装支援装置。
【請求項１１】
１以上の方向について、包装または外装対象である被包装物を撮像した撮像画像と、該方向における前記被包装物までの距離を示す距離情報を取得する取得工程と、
前記取得工程における取得された撮像画像及び距離情報の少なくともいずれかに基づいて、前記被包装物の外形を示す外形情報を構成する構成工程と、
前記外形情報と前記距離情報とに基づき、前記被包装物の形状に係る寸法を導出する導出工程と、
前記導出工程において導出された前記被包装物の形状に係る寸法に基づき、該被包装物の包装材または外装材のサイズを決定する決定工程と、
を有することを特徴とする包装支援装置の制御方法。
【請求項１２】
コンピュータを、請求項１乃至１０のいずれか１項に記載の包装支援装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包装支援装置、制御方法及びプログラムに関し、特に被包装物の３次元形状推定に基づく包装材や外装材のサイズを導出する方法に関する。
【背景技術】
【０００２】
物体（被包装物）の包装を容易ならしめるべく、被包装物の少なくとも一部の面のサイズをスキャナで取得し、得られた情報に基づいて、裏面に折り目を印刷した包装紙を生成する技術がある（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−０６５１９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、特許文献１に記載される技術では、被包装物が、箱等の予め定められた形状パターンのいずれに合致しているかの選択入力をユーザが行う工程を含んでおり、被包装物がパターンに合致しない態様を想定していない。即ち、被包装物の形状によっては、綴じ代が想定よりも大きくなる、被包装物の外形に沿って包装を行うと包装紙が不足する等、必要十分な包装紙のサイズを好適に特定できない可能性があった。
【０００５】
本発明は、上述の問題点に鑑みてなされたものであり、被包装物の形状に適した包装材・外装材のサイズを導出する包装支援装置、制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
前述の目的を達成するために、本発明の包装支援装置は、１以上の方向について、包装または外装対象である被包装物を撮像した撮像画像と、該方向における被包装物までの距離を示す距離情報を取得する取得手段と、取得手段により取得された撮像画像及び距離情報の少なくともいずれかに基づいて、被包装物の外形を示す外形情報を構成する構成手段と、外形情報と距離情報とに基づき、被包装物の形状に係る寸法を導出する導出手段と、導出手段により導出された被包装物の形状に係る寸法に基づき、該被包装物の包装材または外装材のサイズを決定する決定手段と、を有することを特徴とする。
【発明の効果】
【０００７】
このような構成により本発明によれば、被包装物の形状に適した包装材・外装材のサイズを導出することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図
【図２】本発明の実施形態に係る撮像素子１０５の構成を説明するための図
【図３】本発明の実施形態に係るデジタルカメラ１００において、被包装物２００の外形情報を説明するための図
【図４】本発明の実施形態１に係るデジタルカメラ１００において、被包装物２００の包装のために導出する輪郭線の長さについて説明するための図
【図５】本発明の実施形態１に係るデジタルカメラ１００で実行される、包装材提示処理を例示したフローチャート
【図６】本発明の実施形態１に係る被包装物２００の包装のために導出する輪郭線の長さについて説明するための別の図
【図７】本発明の実施形態１に係る、被包装物２００の形状に沿った包装を実現する包装材の決定について説明するための図
【図８】本発明の実施形態２に係るデジタルカメラ１００において、被包装物２００の外形寸法の導出を説明するための図
【図９】本発明の実施形態２に係るデジタルカメラ１００で実行される、外装材提示処理を例示したフローチャート
【図１０】本発明の実施形態２に係る被包装物２００の外装態様を説明するための図
【図１１】本発明の実施形態２に係る被包装物２００の形状推定を説明するための図
【発明を実施するための形態】
【０００９】
［実施形態１］
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１０】
以下に説明する一実施形態は、包装支援装置の一例としての、撮像範囲の被写体までの距離を示す距離情報を取得可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像画像及び被写体距離の情報に基づいて、被写体の３次元形状を推定することが可能な任意の機器に適用可能である。
【００１１】
《デジタルカメラの機能構成》
図１は、本発明の実施形態に係るデジタルカメラ１００の機能構成を示したブロック図である。
【００１２】
制御部１０１は、例えばＣＰＵやマイクロプロセッサ等の制御装置であり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１０１は、例えば記録媒体１０２に格納されている各ブロックの動作プログラムを読み出し、メモリ１０３に展開して実行することで各ブロックの動作を制御する。また制御部１０１は、撮像時において、オートフォーカス（ＡＦ：自動焦点合わせ）、フォーカス位置の変更、Ｆ値（絞り）の変更等の処理も行う。
【００１３】
記録媒体１０２は、例えば不揮発性メモリ等のデジタルカメラ１００が備える記録装置である。記録媒体１０２は、デジタルカメラ１００が有する各ブロックの動作プログラム等、恒久的な記録が必要となる情報の格納に用いられる。一方、メモリ１０３は、例えば揮発性メモリ等の記憶装置であり、動作プログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データを一時的に記憶する記憶領域として機能する。
【００１４】
結像光学系１０４は、デジタルカメラ１００が有する撮影レンズであり、被写体（被包装物２００）の光学像を撮像素子１０５の撮像面に形成する。結像光学系１０４は、複数のレンズ群（不図示）、絞り（不図示）を含んで構成され、撮像素子１０５から所定距離離れた位置に射出瞳を有する。なお、本明細書において、光軸１１０と平行な方向をｚ方向または深度方向とし、光軸１１０と直交し、撮像素子１０５の水平方向と平行な方向をｘ方向、撮像素子１０５の垂直方向と平行な方向をｙ方向として定義する、あるいは軸を設けるものとする。
【００１５】
撮像素子１０５は、例えばＣＣＤやＣＭＯＳセンサ等の光電変換素子群で構成された撮像装置である。撮像素子１０５には、マイクロレンズ、カラーフィルタ、光電変換部で構成された複数の画素が配置されている。撮像素子１０５は、結像光学系１０４を介して撮像面に形成された被写体像を光電変換し、該被写体像に係る画像信号を出力する。撮像素子１０５は、所定の配色パターンに基づく画素位置に応じたカラーフィルタ（ＲＧＢ）が適用されており、該カラーフィルタの波長帯域の光量を画素値とする画像信号を出力する。
【００１６】
画像処理部１０６は、撮像素子１０５から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。画像処理部１０６から出力される画像データ（撮像画像）はメモリ１０３に蓄積され、各処理に用いられるものとする。
【００１７】
導出部１０７は、撮像された被包装物２００について、該被包装物２００の包装や外装に用いる材料のサイズを導出する。本実施形態では、導出部１０７は、被包装物２００を包装するために必要十分な、包装材（包装紙）のサイズを、被包装物２００の形状に基づいて導出するものとして説明する。
【００１８】
表示部１０８は、例えば、液晶ディスプレイや有機ＥＬ等の表示装置である。表示部１０８は、撮像画像をスルー表示することによる撮影時の構図確認や、各種設定画面やメッセージ情報の報知にも用いられる。本実施形態では表示部１０８は、主として、被包装物２００に適合する包装材のサイズの導出結果の表示に用いられる。
【００１９】
なお、本実施形態では、ハードウェアとしてデジタルカメラ１００が備える各ブロックに対応した回路やプロセッサにより処理が実現されるものとして説明する。しかしながら、本発明の実施はこれに限られるものではなく、各ブロックの処理が該各ブロックと同様の処理を行うプログラムにより実現されるものであってもよい。
【００２０】
《被包装物の形状導出》
上述したように、本実施形態のデジタルカメラ１００では、被包装物２００に適した包装材を決定するために、被包装物２００の形状を把握する必要がある。以下、本実施形態のデジタルカメラ１００で行われる被包装物２００の形状導出方法について説明する。
【００２１】
本実施形態では、撮像素子１０５が、撮像面位相差測距方式の測距機能を実現すべく、１つの画素は、図２（ａ）に示されるように撮像素子１０５の水平方向（ｘ方向）に２つの光電変換部２０３ａ及びｂを備える。上述したように、各画素には、マイクロレンズ２０１及びカラーフィルタ２０２が設けられており、マイクロレンズ２０１を通過した、カラーフィルタ２０２の波長帯域の光束は、光電変換部２０３ａと光電変換部２０３ｂのそれぞれで受光される。即ち、該画素において光電変換部２０３ａと２０３ｂの各々が受光する光束は、図２（ｂ）に示されるような、結像光学系１０４の射出瞳をｙ方向に分割した分割瞳領域２１１及び２１２のそれぞれを通過した光束となる。つまり、２つの分割瞳領域を通過する光束は、各々光学中心がことなった関係となっているため、撮像素子１０５の全画素のうちの光電変換部２０３ａのみに基づく画像と、光電変換部２０３ｂのみに基づく画像とは視差を有する関係となっている。
【００２２】
従って、画像処理部１０６は、光電変換部２０３ａのみに基づく輝度画像と光電変換部２０３ｂのみに基づく輝度画像とに基づき、結像光学系１０４の前側主点位置から被写体までの距離（被写体距離）を、ステレオマッチング方式で導出できる。より詳しくは、画像処理部１０６は、２つの輝度画像間で、被写体像は距離に応じた量の視差が生じるため、該量と、撮像時の焦点距離及び撮像素子１０５の画素ピッチの情報とに基づいて被写体距離を導出できる。本実施形態では画像処理部１０６は、撮像素子１０５の各画素位置について、該画素に光学像が結像されている被写体までの被写体距離を導出し、撮像素子１０５と同一の画素数を有する２次元情報として距離情報を生成する。このとき、距離情報の１画素は、２つの輝度画像を合成して得られる輝度画像、即ち、瞳分割せずに撮像した際に得られる輝度画像の、各画素に存在する被写体までの被写体距離を示している。
【００２３】
なお、本実施形態では撮像素子１０５が、撮像面位相差測距方式の測距機能に対応しており、ｙ方向に瞳分割された２種類の画像を取得可能であるものとして説明したが、分割態様はこれに限られるものではない。即ち、各画素の光電変換部２０３ａと光電変換部２０３ｂとは、撮像素子１０５の水平方向に並んで設けられているものである必要はなく、垂直方向に並んで設けられているものであってもよい。また１画素において瞳分割して受光する光電変換部の数は、３以上であってもよいことは言うまでもない。
【００２４】
また、本実施形態では、１回の撮像にて、被包装物２００を含む撮像範囲の輝度画像と距離情報の取得を可能ならしめるべく、上述したような構成の撮像素子１０５を用いるものとして説明するが、距離情報の取得はこれに限られるものではない。即ち、距離情報は、ステレオマッチング方式を用いるのであれば、瞳分割せずに光学像を記録する１つの撮像素子を有する撮像装置を用いて、被包装物２００を異なる位置で複数回撮像して得られた輝度画像群を用いて生成されるものであってもよい。あるいは、両眼カメラ等、撮像光学系を複数有する撮像装置を用いて、撮像により得られた複数の輝度画像群を用いて距離情報は生成されるものであってもよい。また、距離情報は画像処理に基づいて生成されるものである必要はなく、例えばレーザーレンジファインダ等の測距装置を用いることで生成されるものであってもよい。
【００２５】
このようにして得られた輝度情報及び距離情報に基づいて、本実施形態の導出部１０７は、撮像方向における被包装物２００の外縁部分を特定し、形状の情報としてその長さを導出する。より詳しくは、導出部１０７は、３次元形状を有する被包装物２００を、その形状に沿わせた包装を可能ならしめる包装材を特定するために、複数の方向について撮像を行わせ、各撮像方向における被包装物２００の外縁部分の長さを導出する。
【００２６】
１つの撮像方向における被包装物２００の外縁部分の長さは、例えば次のようにして導出されるものであってよい。まず、導出部１０７は、被包装物２００の外形を抽出する。抽出される外形は、被包装物２００をセグメンテーションした情報として構成される。
【００２７】
導出部１０７は、図３（ａ）に示されるような、撮像により得られた輝度画像（上）と距離情報（下）に基づき、図３（ｂ）に×印で示されるように、輝度画像中の被包装物２００の基準位置を特定する。被包装物２００の基準位置は、本実施形態では輝度画像及び距離情報の少なくともいずれかに基づいて特定されるものとして説明する。例えば、導出部１０７は、距離情報に含まれる最もデジタルカメラ１００に近接している部分を、被包装物２００の基準位置として特定するものであってもよい。
【００２８】
しかしながら、被包装物２００の基準位置は、これに限られるものではなく、所定の基準やユーザによる選択操作に基づいて行われるものであってもよい。例えば、導出部１０７は、画角中心に存在している像を被包装物２００とし、該中心部を基準位置として特定するものであってもよいし、合焦情報に基づき、合焦している領域の中心部を被包装物２００の基準位置として特定してもよい。被包装物２００の基準位置の特定方法は、これに限られるものではなく、どのような方法が用いらてもよい。
【００２９】
導出部１０７は、特定した被包装物２００について、輝度画像の色情報または距離情報に基づき、図３（ｃ）に示されるような、被包装物２００の領域とそれ以外の領域とをセグメンテーションした外形の情報（外形情報）を構成する。図３（ｃ）において、白色で示した領域が被包装物２００の外形を抽出した部分となっている。より詳しくは、被包装物２００と背景とでは色情報が異なることが多く、基準位置の画素から色情報の類似度が閾値を越えない画素を含めるよう領域を拡大することで、被包装物２００の領域（外形）を抽出することができる。例えば、導出部１０７は、ＲＧＢ情報を均等色空間であるＬ＊ａ＊ｂ＊色空間に変換し、該空間上の距離である色差を用いることで、色情報の類似度を得、利用することができる。なお、色の類似度の決定方法はこれに限定されるものではなく、どのような方法を用いるものであっても構わない。
【００３０】
また被包装物２００を撮像した場合、被包装物２００とそれ以外の背景領域とでは、被写体距離が異なっていることが想定される。従って、導出部１０７は、距離情報を参照することで、基準位置に係る被写体距離と距離が近い画素を領域に取り込み、被包装物２００の外形として特定することができる。また導出部１０７は、輝度画像や距離情報から顕著性マップを生成することで、外形情報を構成してもよい。顕著性マップは、画像中の注目となる領域を抽出することができる技術であり、輝度画像や距離情報を特徴量に変換して解析することで、被包装物２００の外形情報を構成するものであってもよい。
【００３１】
外形情報を構成すると、導出部１０７は、被包装物２００の外形の領域の境界部を抽出すことで、図４（ａ）に示されるように、被包装物２００の外縁部分（輪郭）を抽出することができる。導出部１０７は、このように抽出された外縁部分について、距離情報の同画素位置に格納されている被写体距離の情報に基づいて、外縁部分（輪郭線）の長さを導出する。輪郭線の長さＬは、該輪郭線に沿って並ぶ画素の数ｐｃを用いて、
Ｌ＝ｐｃ×ｐｐ×Ｄ／ｆ
として導出されるものであってよい。ここで、ｐｐは撮像素子１０５の画素ピッチ、Ｄは被写体距離、ｆは結像光学系１０４の後側主点位置から撮像素子１０５の撮像面までの距離である。なお、輪郭線の長さの導出式はこれに限られるものではなく、被包装物２００の輪郭線の画素数と被包装物２００の距離情報を用いていれば、他の情報はどのようなものを用いて導出するものであってもよい。例えば、焦点距離から導出した画角情報を用いてもよい。この他、例えば被写体距離及び焦点距離の組み合わせにおける各画素の長さが、予め格納されたテーブルを参照することで、導出部１０７は輪郭線の長さを導出するものであってもよい。
【００３２】
なお、長さの導出精度を向上させるために、図４（ｂ）に示されるように、輪郭線の各画素と、該画素の近傍画素に対応する被写体距離の情報を用いてもよい。この場合、輪郭線に属する画素の被写体距離を、該画素と該画素周辺に存在する画素の被写体距離の平均値で代用すればよい。
【００３３】
ところで、導出部１０７は被包装物２００について、複数の撮像方向における外縁部分の長さを導出することになるため、撮像方向が、例えば被包装物２００について定められた基準の方向に対して、いずれの角度に相当するかを特定する必要がある。このため、導出部１０７は、輪郭線近傍の距離情報の分布を基に、撮像素子１０５の撮像面に対する被包装物２００の傾き（角度θ）も導出する。ここで、撮像素子１０５の撮像面に対する傾きを０とする、被包装物２００について定められた基準の方向は、被包装物２００の形状を平面で近似した場合に該平面が撮像面と平行の状態のときの方向であるものとして説明する。
【００３４】
即ち、上述した式で導出した輪郭線の長さＬは、図４に示したような置物のように、撮像素子１０５の撮像面に対する傾きが０度である場合に、被包装物２００の像の稜線が、略同一の被写体距離に現れることを前提とするものである。このため、撮像素子１０５の撮像面に対して被包装物２００が傾きを有する場合には、導出部１０７は、輪郭線の長さＬを、傾きが０度の際に導出された輪郭線を射影変換することで導出すればよい。
【００３５】
なお、輪郭線の長さは、上述したように、被包装物２００について基準の方向を定め、これが撮像素子１０５に対して角度をなさない場合の輪郭線の長さを基準として、該角度に変化が生じた際の値を導出する方式に限られるものではない。例えば導出部１０７は、被包装物２００の距離情報が輪郭近傍で変化している場合に、各輪郭上の点（画素）を三次元空間上の点に変換し、該点群を結ぶ線を加算していくことで輪郭長を導出するものであってもよい。このとき、各点の座標は、ｚ方向の値が被写体距離であり、ｘ方向及びｙ方向の値は、輝度画像上の画素位置が示す値を、被写体距離、焦点距離及び画素ピッチに基づいて変換することで導出できる。
【００３６】
《包装材提示処理》
以下、上述のような構成をもつ本実施形態のデジタルカメラ１００において、被包装物２００を適切に包装する包装材を特定して提示する包装材提示処理について、図５のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。本包装材提示処理は、例えば、デジタルカメラ１００が撮像モードで起動中に、被包装物２００を適切に包装可能な包装材を提示する第１の計測モードが選択された際に開始されるものとして説明する。
【００３７】
Ｓ５０１で、制御部１０１は、撮像素子１０５に被包装物２００の撮像を行わせ、該撮像により得られた画像信号に基づき、画像処理部１０６に輝度画像及び距離情報を生成させる。
【００３８】
Ｓ５０２で、導出部１０７は制御部１０１の制御の下、得られた輝度画像及び距離情報の少なくともいずれかに基づいて、被包装物２００の外形を示す外形情報を構成する。
【００３９】
Ｓ５０３で、導出部１０７は制御部１０１の制御の下、構成した外形情報に基づいて、被包装物２００の外縁部分を抽出する。
【００４０】
Ｓ５０４で、導出部１０７は、Ｓ５０２において特定した被包装物２００の外縁部分に対応する距離情報を参照し、外縁部分に係る輪郭線の長さを導出する。本実施形態では導出部１０７は、輪郭線の長さを例えば図６（ａ）に実線と破線とで示されるように、２つに分離して導出する。図６（ａ）の例では、被包装物２００の輪郭線のうちの、最下端の点を始点とし、最上端の点が終点となるよう輪郭線を２種類に分離したが、本発明の実施において輪郭線の分離態様は、これに限られるものではない。輪郭線の分離は、例えば図６（ｂ）に示されるように最下端の中点を始点とした垂線と輪郭線との交点を終点とするよう行われるものであってもよい。また、図６（ｃ）に示されるように、被包装物２００を任意の角度で回転（図の例では１８０度回転）させ、回転後の最下端や最上端等の任意の点を始点として分離するものであってもよい。このように、導出部１０７は、異なる位置に設定された２点を、始点及び終点とする２種類の輪郭線について、それぞれ長さを導出する。導出された２種類の輪郭線の長さの情報は、撮像素子１０５に対して被包装物２００がなす角度（撮像方向）の情報に関連付けられて、メモリ１０３に格納されるものとする。
【００４１】
なお、本実施形態では被包装物２００の全体をその形状に沿わせた包装材で包装するものとして説明するが、本発明の実施はこれに限られるものではない。即ち、包装する被包装物２００の部位は全体である必要はなく、その一部を包装対象とするものであってもよい。この場合、被包装物２００の輪郭線のうちの、包装対象部位に含まれる部位のみが長さの導出対象となり、包装対象部位に含まれない部分との境界部が、輪郭線の終点に設定される。
【００４２】
また、本実施形態では、被包装物２００の形状に沿った態様で包装を行うものとして説明するが、本発明の実施はこれに限られるものではない。例えば、被包装物２００の一部に衝撃に弱い等、別途緩衝材や設けたり意図的に空隙を設ける必要がある部位、あるいは形状に沿った包装が構造上困難な部位については、形状に沿って包装することが好ましくない。このため、例えば図６（ｄ）に円形領域６０１内に示されるように、被包装物２００の形状に沿う態様での包装を行わないと定められた外形の部位については、該部位の輪郭線の形状を変更した上で、変更後の輪郭線について長さを導出するようにしてもよい。あるいは、図６（ｄ）のように輪郭線を置換するのではなく、例えば該当箇所の画素の移動平均を求める、あるいは、間引きした上で点在する画素を連結する方式等によって、包装材に余裕をもたせるよう輪郭線の長さを導出するものとしてもよい。この他、輪郭線を示す画像を縮小する、あるいは分解能を低減する等の処理によって画素を間引くことで、同様に包装材に余裕をもたせるような輪郭線の長さを導出するよう構成してもよい。
【００４３】
Ｓ５０５で、導出部１０７は制御部１０１の制御の下、包装材を決定するために必要な数の輪郭線の長さの取得がなされたか否かを判断する。上述したように、１つの撮像方向について導出される輪郭線の長さは、該方向における被包装物２００の外縁を覆うために必要な包装材の長さに対応するものであって、その他の方向における被包装物２００の形状を考慮していない。従って、本ステップにおいて、被包装物２００を必要十分に包装可能な包装材の２次元的なサイズを導出するために必要な情報取得が完了しているか否かを、導出部１０７は判断する。
【００４４】
必要な情報取得が完了しているか否かは、例えば、単純に予め定められた数の撮像方向について、上記輪郭線の長さの導出が完了したか否かに応じて判断されるものであってもよい。より厳密には、いずれの角度に対応する撮像方向について輪郭線長さの導出が完了しているかを管理し、これが包装材を導出するに十分であるか否かを予め設定した判断基準を満たすか否かに応じて判断されるものであることが好ましい。上述したように、撮像素子１０５の撮像面に対する被包装物２００の傾き角θは距離情報から推定することができるため、導出部１０７は、いずれの角度θについて輪郭線長さを導出したかを管理しているものとする。
【００４５】
ここで、輪郭線の長さを導出する撮像方向の決定は、例えば被包装物２００の撮像方向を連続的に異ならせながら事前に取得された輝度画像及び距離情報から、輪郭線の長さが最大となる、あるいは所定値以上となる方向を特定することで行われるものでもよい。この際の連続的な撮像は、デジタルカメラ１００を動かして行われるものであってもよいし、被包装物２００自体を回転させることにより行われるものであってもよく、例えば４方向や８方向に設定されていてよい。あるいは、輝度画像及び距離情報の取得状況に基づき、ユーザに撮像を行うべき被包装物２００の方向を、例えば表示部１０８を介して指示するものであってもよい。また例えば距離情報に基づき、凹凸が生じている撮像方向を特定すると、導出部１０７は該方向について輪郭線の長さ導出が完了しているか否かを、本ステップの判断において含めるものとしてもよい。
【００４６】
導出部１０７は、包装材を決定するために必要な数の輪郭線の長さの取得がなされていると判断した場合は処理をＳ５０６に移す。また導出部１０７は、必要な数の輪郭線の長さの取得がなされていないと判断した場合は、例えば導出を行うべき撮像方向と、該方向について撮像を行うことを促す通知とを、表示部１０８や不図示のスピーカ等を介して提示して処理をＳ５０１に戻す。
【００４７】
Ｓ５０６で、導出部１０７は制御部１０１の制御の下、複数の撮像方向のそれぞれについて導出された２つの輪郭線を、関連付けられた角度に応じて平面展開する。平面展開は、図７（ａ）のようになる。図示される例では、４方向の撮像方向について輪郭線の長さを取得した場合の平面展開態様を示しており、各撮像方向に係る輪郭線長さ分の直線（輪郭線群）が、基準とする点から放射状に展開されている。図示した例では、輪郭線は直線としているが、輪郭線の長さを三次元空間上の点群から導出している態様においては、平面に展開される輪郭線が曲線となってもよい。なお、本実施形態では、図７（ａ）に示されるように１つの点を起点として平面展開を行うため、各撮像方向についてＳ５０４で導出される２種の輪郭線の始点は、いずれの撮像方向においても同一部と推定される画素に設定されるものとする。
【００４８】
Ｓ５０７で、導出部１０７は制御部１０１の制御の下、被包装物２００を包装する包装材のサイズ、及び該包装材における被包装物２００の配置場所を決定し、例えば表示部１０８を介して提示して、本包装材提示処理を完了する。本実施形態では被包装物２００に対して決定される包装材は矩形状であるものとし、導出部１０７は、Ｓ５０５において平面展開した輪郭線が内包される、図７（ｂ）のような最小の矩形を包装材として提示するよう構成されているものとする。このとき、被包装物２００の包装材に配置する際は、輪郭線の始点に設定した部位が配置場所となることが前提となっている。
【００４９】
ここで、最小の矩形の特定は、全ての輪郭線が矩形内に内包されているだけでなく、留めしろ分のマージン分を考慮して決定されるものであってもよい。また包装材が、例えばロール紙等を用いて生成される態様では、矩形の一辺の長さは固定となり、該条件を満たすサイズとして決定される。あるいは、サイズの異なる種類の包装紙が予め登録されている態様においては、導出部１０７は、このうちの平面展開された輪郭線を内包する最小サイズの包装紙を、包装材として決定するものであってもよい。
【００５０】
なお、本実施形態では包装材は矩形状であるものとして説明したが、平面展開された輪郭線を内包する態様であれば、形状はいずれであってもよいことは言うまでもない。
【００５１】
また、本実施形態では被包装物２００を包装可能な包装材を、表示部１０８を介して提示するものとして説明したが、本発明の実施はこれに限られるものではない。例えば、包装材を撮像することで、導出部１０７は同様に得られた輝度画像及び距離情報から該包装材のサイズを取得し、該包装材が被包装物２００の包装に適合するか否かの判定結果を提示するものとしてもよい。
【００５２】
以上説明したように、本実施形態の包装支援装置によれば、被包装物の形状に適した包装材のサイズを導出することができる。より詳しくは、包装支援装置は、被包装物について得られる距離情報に基づいて、複数の方向について、該方向からみた被包装物の外周長さを導出することで、被包装物の形状に沿った包装を可能ならしめる包装材のサイズを決定することができる。
【００５３】
［実施形態２］
上述した実施形態では、被包装物２００の形状に合わせた、該被包装物を直接的に包装する包装材のサイズを特定して提示するものとして説明した。ところで、上述したように距離情報に基づいて被包装物２００の形状を特定する構成は、該被包装物の形状に沿った包装材を特定する用途に限らず、該被包装物に適合する外装材の特定にも用いることが可能である。従って、本実施形態では、デジタルカメラ１００において、被包装物２００の形状に適合する外装材を特定する態様について、説明する。なお、本実施形態の説明において、デジタルカメラ１００が有する機能構成は実施形態１と同様であるものとする。
【００５４】
《被包装物の形状導出》
本実施形態における被包装物の形状導出は、基本的には実施形態１と同様であるが、外装材の特定に必要となる形状に係る情報が異なるため、以下、形状導出の概要について図を参照して説明する。
【００５５】
上述したように、撮像により得られた輝度画像及び距離情報から被包装物２００の外形情報を構成すると、導出部１０７は、被包装物２００の領域に係る距離情報に基づいて、被包装物２００についての代表被写体距離を決定する。代表被写体距離は、例えば被包装物２００の領域に係る距離情報によって示される被写体距離の平均値として導出されるものであってよい。
【００５６】
代表被写体距離を決定すると、導出部１０７は、撮像方向における被包装物２００の外形寸法を導出する。外形寸法は、輝度画像（あるいは距離情報）において、図８（ａ）に示されるような被包装物２００の像の領域の幅８０１及び高さ８０２に基づいて導出されるものであってよい。より詳しくは、導出部１０７は、被包装物２００の像の領域の水平方向の画素数ｐｈに基づいて、水平方向の外形寸法Ｓｈを
Ｓｈ＝ｐｈ×ｐｐ×Ｄ／ｆ
として導出する。該式におけるｐｐ及びｆは、実施形態１において輪郭線の長さＬを導出するために用いた撮像素子１０５の画素ピッチ、結像光学系１０４の後側主点位置から撮像素子１０５の撮像面までの距離である。またＤは、代表被写体距離を用いるものとする。同様に垂直方向の外形寸法Ｓｖは、被包装物２００の像の領域の垂直方向の画素数ｐｖに基づいて、
Ｓｖ＝ｐｖ×ｐｐ×Ｄ／ｆ
として導出することができる。
【００５７】
なお、本実施形態では簡単のため、被包装物２００の外形寸法を、撮像された輝度画像ベースの水平方向及び垂直方向を用いて導出するものとして説明するが、本発明の実施はこれに限られるものではない。例えば、図８（ｂ）に８０３で示されるように、最大長を示す方向をもって、被包装物２００の外形寸法としてもよい。
【００５８】
また、撮像時に被包装物２００が、撮像素子１０５の撮像面に対して角度をなしている場合、導出部１０７は、例えば距離情報に基づいて該角度を導出し、これに基づいて被包装物２００の外形寸法を導出すればよい。例えば、被包装物２００が撮像面に対してｙ軸を周りに角度θ回転した状態にある場合、水平方向の画素数に基づいて導出した長さＳｈは
Ｓｈ’＝Ｓｈ／ｃｏｓθ
として補正することで、角度をなしていない状態の外形寸法を得ればよい。
【００５９】
《外装材提示処理》
次に、本実施形態のデジタルカメラ１００において、被包装物２００に適合する外装材を特定して提示する外装材提示処理について、図９のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。本包装材提示処理は、例えば、デジタルカメラ１００が撮像モードで起動中に、被包装物２００に適合するサイズの外装材を提示する第２の計測モードが選択された際に開始されるものとして説明する。なお、本外装材提示処理の説明において、上述した実施形態１の包装材提示処理と同様の処理を行うステップについては、同一の参照番号を付して説明を省略し、以下では本外装材提示処理において特徴的な処理を行うステップについて特に説明する。
【００６０】
Ｓ９０１で、制御部１０１は、被包装物２００を外装する予定である外装材の形状を決定する。外装材の形状は、直方体や円柱といった柱体、三角錐や円錐といった錐体、球体等、どのような形状であってもよい。形状の決定は、ユーザによる操作入力に基づいて予め定められた種類のうちから決定されるものであってもよいし、固定の形状が選択されるものであってもよいし、被包装物２００の撮像画像を解析することで、適切な形状が選択されるものであってもよい。以下の説明では簡単のため、外装材の形状は直方体に決定されるものとして説明する。
【００６１】
Ｓ５０２において外形情報を構成すると、導出部１０７はＳ９０２で、該外形情報に基づいて被包装物２００の外形寸法を導出し、撮像素子１０５に対して被包装物２００がなす角度（撮像方向）の情報に関連付けて、メモリ１０３に格納する。外形寸法は、１つの撮像方向については、基本的には該方向について撮像された輝度画像に対応する２次元の方向について導出されるものであってよい。なお、外形寸法として導出すべき方向は、Ｓ９０１において決定された外装材の形状によって異なるものであってよい。
【００６２】
Ｓ９０３で、導出部１０７は制御部１０１の制御の下、外装材の寸法を決定するために必要な被包装物２００の外形寸法が取得されたか否かを判断する。上述したように、本実施形態の外装材提示処理では、外装材の形状は直方体であるものとするため、適合する外装材を特定するためには、外形寸法として、幅、高さ、奥行きの直交する３方向の寸法を取得する必要がある。即ち、被包装物２００の外装態様は、例えば図１０（ａ）及び（ｂ）に示されるように、被包装物２００の３種類の外形寸法が、直方体の外装材の内寸に収まっていることが必要となる。
【００６３】
従って、本ステップにおいて導出部１０７は、Ｓ９０１において決定された外装材の形状に応じて定められた方向について、外形寸法が取得されたか否かの判断を行う。本実施形態では、被包装物２００の幅、高さ、奥行きの直交する３方向の外形寸法が必要となるため、例えば被包装物２００が撮像面に対して角度をなしていない状態に導出された２つの寸法に加え、側面（±９０度をなした状態）の寸法が必要となる。導出部１０７は、必要な被包装物２００の外形寸法が取得されていると判断した場合は処理をＳ９０４に移す。また導出部１０７は、必要な被包装物２００の外形寸法が取得されていないと判断した場合は、例えば不足している方向の外形寸法を得るための撮像方向と、該方向について撮像を行うことを促す通知とを、表示部１０８等を介して提示して処理をＳ５０１に戻す。ここで、導出が必要な外形寸法は、外装材の形状に応じて定められるものであり、直方体以外の形状についても、予め定められた種類の外形寸法の導出が必要である旨が、形状に対応付けて管理されているものとする。
【００６４】
ところで、例えば撮像面に対して角度０の状態において、可視の被包装物２００の面と不可視の面（背面）の形状が、これらの面の境界面を介して対称性を有する被包装物２００である場合、複数回の撮像をせずとも奥行き方向の寸法を推定できる。即ち、図１０（ａ）に示した被写体の形状が、図１１に示すように可視の面（実線）と不可視の面（破線）とは、一点鎖線を介して、面対称に形成されているような態様では、奥行き方向の外形寸法を得るべく側面からの撮像を要しない。この場合、撮像面と角度をなさない状態の撮像方向での、被包装物２００の領域の被写体距離の分布に基づいて、可視の面の３次元形状を構成することができる。故に、単純に該３次元形状が不可視の面にも対照的に存在するものとして推定することで、導出部１０７は奥行き方向の最大の外形寸法を導出することができる。
【００６５】
なお、被包装物２００がどのような対称性を有するか、あるいは対称の軸や点や面がどのような態様で現れるかは被包装物２００によって異なるものである。故に、被包装物２００の３次元形状の推定にあたり、対象の軸・点・面の情報は、例えばユーザによる操作入力に基づいて行われるものであってもよいし、機械学習に基づく推定結果を利用して行われるものであってもよい。後者の態様では、被包装物２００が対称性を有しているものに限定される必要はなく、輝度画像から被写体が認識された場合に、該認識結果の被写体の形状と、距離情報に基づいて実測した値とに基づいて、合致する全体形状を導出するものであってよい。
【００６６】
Ｓ９０４で、導出部１０７は制御部１０１の制御の下、被包装物２００の外形寸法の情報に基づいて、被包装物２００を内包する外装材のサイズを決定し、例えば表示部１０８を介して提示して、本外装材提示処理を完了する。本ステップにおいて決定される外装材のサイズは、内寸が被包装物２００の外形寸法となる最小のものであってもよいし、所定の空隙が設けられるよう調整されたものであってもよい。
【００６７】
以上説明したように、本実施形態の包装支援装置によれば、被包装物の外形寸法に適した、所望の形状の外装材のサイズを導出することができる。なお、本実施形態では被包装物２００を完全に内包可能な外装材を導出するものとして説明したが、本発明の実施はこれに限られるものではない。即ち、外装する被包装物２００の部位は全体である必要はなく、その一部を対象とするものであってもよい。この場合、被包装物２００の外形のうちの、外装対象部位に含まれる部位のみが外形寸法の導出対象となる。
【００６８】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【００６９】
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７０】
１００：デジタルカメラ、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：結像光学系、１０５：撮像素子、１０６：画像処理部、１０７：導出部、１０８：表示部、２００：被包装物
【図１】
2020179880.tif 000003
【図２】
2020179880.tif 000004
【図３】
2020179880.tif 000005
【図４】
2020179880.tif 000006
【図５】
2020179880.tif 000007
【図６】
2020179880.tif 000008
【図７】
2020179880.tif 000009
【図８】
2020179880.tif 000010
【図９】
2020179880.tif 000011
【図１０】
2020179880.tif 000012
【図１１】
2020179880.tif 000013