(57)【要約】【課題】画像中の物体の属性情報を推定する。【解決手段】画像処理装置は、被写体を撮像した撮像画像から前記被写体の深度方向の距離分布を示した深度情報を生成する深度生成手段と、前記撮像画像から特定の物体の領域を検出する物体検出手段と、前記特定の物体の姿勢を推定する姿勢推定手段と、前記撮像画像および前記深度情報における前記特定の物体の姿勢を変換する姿勢変換手段と、前記姿勢が変換された撮像画像と深度情報と画像の撮影条件とから前記特定の物体の属性情報を推定する属性情報推定手段と、を有する。【選択図】図１
2020194454.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像した撮像画像から前記被写体の深度方向の距離分布を示した深度情報を生成する深度生成手段と、
前記撮像画像から特定の物体の領域を検出する物体検出手段と、
前記特定の物体の姿勢を推定する姿勢推定手段と、
前記撮像画像および前記深度情報における前記特定の物体の姿勢を変換する姿勢変換手段と、
前記姿勢が変換された撮像画像と深度情報と画像の撮影条件とから前記特定の物体の属性情報を推定する属性情報推定手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記物体検出手段は、事前に学習して取得した物体の情報を用いて特定の物体の領域を抽出することで、前記特定の物体の種類および領域の検出を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記姿勢推定手段は、事前に学習して取得した物体の情報を用いて前記特定の物体の姿勢を推定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記姿勢推定手段は、事前に取得した物体の３次元形状のデータと、前記特定の物体の部位のデータと用いて前記特定の物体の姿勢を推定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記姿勢変換手段は、前記姿勢推定手段で推定された前記撮像画像および前記深度情報における特定の物体の姿勢と、事前に取得した特定の物体の姿勢とを用いて、前記撮像画像および前記深度情報に対して幾何変換を行うことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記姿勢変換手段は、前記姿勢推定手段で推定された前記特定の物体の部位の情報と、事前に取得した物体の姿勢および部位の情報とを用いて、前記撮像画像および前記深度情報における前記特定の物体の部位ごとに幾何変換を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記姿勢推定手段は、前記特定の物体の胴体部の主たる法線方向を算出し、該法線方向と垂直な平面を求め、
前記姿勢変換手段は、前記平面を基準として前記撮像画像および前記深度情報に対して幾何変換を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記属性情報は、寸法、形状、体積および質量の少なくとも１つであることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記属性情報推定手段は、前記特定の物体の種類に応じた計測位置を特定し、事前に学習して取得した物体の情報を用いて前記計測位置における寸法を推定することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記属性情報推定手段は、事前に取得した物体の３次元形状を用いて撮像画像から取得できない物体の部位の形状を推定し、前記物体の深度情報から得られた物体の部位の形状と合成することで前記特定の物体の３次元形状を推定することを特徴とする請求項８に記載の画像処理装置。
【請求項１１】
前記属性情報推定手段は、前記特定の物体の３次元形状から体積を推定し、前記体積と物体の密度を用いて前記特定の物体の質量を推定することを特徴とする請求項８に記載の画像処理装置。
【請求項１２】
前記属性情報推定手段は、前記撮像画像から得られる物体の部位と、物体の部位ごとの密度を用いて前記特定の物体の質量を推定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記属性情報推定手段は、前記特定の物体が動物である場合、特定の物体の領域から体毛領域を除いた体積を算出し、体毛領域を除いた体積と物体の密度を用いて前記特定の物体の質量を推定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記特定の物体に関する情報を入力する入力手段をさらに有することを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
【請求項１５】
前記物体検出手段は、事前に学習して取得した物体の種類を識別するための情報と、前記入力手段により入力された物体に関する情報とを用いて前記特定の物体の種類を判定することを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】
前記特定の物体の計測位置を指定する指定手段をさらに有し、
前記属性情報推定手段は、前記指定手段により指定された前記特定の物体の計測位置の寸法を算出することを特徴とする請求項９に記載の画像処理装置。
【請求項１７】
前記指定手段は、ユーザによる前記特定の物体に対して２箇所を指定する操作、３箇所以上を指定する操作、または、なぞる操作に応じて前記計測位置を指定することを特徴とする請求項１６に記載の画像処理装置。
【請求項１８】
前記特定の物体は、人間以外の動物であることを特徴とする請求項１から１７のいずれか１項に記載の画像処理装置。
【請求項１９】
前記画像処理装置は、画像を撮像する撮像素子を有する撮像装置であり、
前記深度生成手段は、前記撮像素子により撮像された異なる視差を持つ画像から深度情報を生成することを特徴とする請求項１から１７のいずれか１項に記載の画像処理装置。
【請求項２０】
前記撮像画像、前記深度情報および前記属性情報を関連付けて記録する記録手段をさらに有することを特徴とする請求項１から１９のいずれか１項に記載の画像処理装置。
【請求項２１】
前記撮像素子は１つの画素に複数の光電変換部を有することを特徴とする請求項１９に記載の画像処理装置。
【請求項２２】
深度生成手段が、被写体を撮像した撮像画像から前記被写体の深度方向の距離分布を示した深度情報を生成するステップと、
物体検出手段が、前記撮像画像から特定の物体の領域を検出するステップと、
姿勢推定手段が、前記特定の物体の姿勢を推定するステップと、
姿勢変換手段が、前記撮像画像および前記深度情報における前記特定の物体の姿勢を変換するステップと、
属性情報推定手段が、前記姿勢が変換された撮像画像と深度情報と画像の撮影条件とから前記特定の物体の属性情報を推定するステップと、を有することを特徴とする画像処理方法。
【請求項２３】
コンピュータを、請求項１から２１のいずれか１項に記載された画像処理装置として機能させるためのプログラム。
【請求項２４】
コンピュータを、請求項１から２１のいずれか１項に記載された画像処理装置として機能させるためのプログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の物体の属性情報を推定する技術に関する。
【背景技術】
【０００２】
野生動物の観測や家畜の成長管理において、物体の寸法（体積）や質量を直接計測することが困難な場合があり、非接触に動物の属性情報を取得することが求められる。
【０００３】
非接触で物体表面の形状計測を行う方法としてパターン投影法、多眼撮影法、ＴＯＦ（Time of Flight）法などが知られている。非接触で計測した表面形状から体積を推定する方法として特許文献１が提案されている。特許文献１では、農作物の体積推定方法として光切断法を用いた表面形状計測に加え、農作物の陰面を接地面まで体積としたうえで補正係数によって体積の補正を行い、近似的に体積を推定する方法が提案されている。
【０００４】
農作物のような静止物体に対し、動物は動きがありその動きを制御することは困難である。動物の寸法などの属性情報を取得するには動物の姿勢を知ることが必要となる。特許文献２では、撮像装置を用いて撮影した画像から特徴点を抽出し、予め学習して取得した特徴量と比較することで対象物体の姿勢を推定する方法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第５６８６０５８号公報
【特許文献２】特許第４４４９４１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１では、計測対象物体の背面形状は計測または推定を行っておらず、おおよその体積を推定することは可能であるが、対象物体の３次元的な形状を得ることができないため、体積や質量の推定精度が低下してしまう。
【０００７】
野生動物の観測や家畜の成長管理において、動物を対象とする場合は対象物体の姿勢を制御することは困難であり、撮像画像から対象動物の全長を推定する場合、異なる姿勢では推定結果も異なる。特許文献２では、対象物体を認識するために予め学習した特徴点との比較により対象物体の姿勢を推定して対象物体を認識しているが、対象物体の属性情報（寸法・形状・体積・質量など）の推定は行っていない。
【０００８】
本発明は、上記課題に鑑みてなされ、その目的は、画像中の物体の属性情報を推定できる技術を実現することである。
【課題を解決するための手段】
【０００９】
上記課題を解決し、目的を達成するために、本発明の画像処理装置は、被写体を撮像した撮像画像から前記被写体の深度方向の距離分布を示した深度情報を生成する深度生成手段と、前記撮像画像から特定の物体の領域を検出する物体検出手段と、前記特定の物体の姿勢を推定する姿勢推定手段と、前記撮像画像および前記深度情報における前記特定の物体の姿勢を変換する姿勢変換手段と、前記姿勢が変換された撮像画像と深度情報と画像の撮影条件とから前記特定の物体の属性情報を推定する属性情報推定手段と、を有する。
【発明の効果】
【００１０】
本発明によれば、画像中の物体の属性情報を推定することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１の装置構成を示すブロック図（ａ）、撮像素子の画素配列を示す図（ｂ）および撮像素子の断面構造を示す模式図（ｃ）。
【図２】実施形態１の撮像素子と光学系と画像の関係を説明する模式図。
【図３】実施形態１の属性情報推定処理を示すフローチャート。
【図４】実施形態１の対象物体選択画面を例示する図。
【図５】実施形態１の姿勢推定処理の一例を説明する図。
【図６】実施形態１の姿勢変換処理および寸法計測位置の一例を示す図。
【図７】実施形態１の寸法計測位置の入力方法の一例を説明する図。
【図８】実施形態２の属性情報推定処理を示すフローチャート。
【図９】実施形態２の姿勢推定・変換処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１３】
［実施形態１］以下、実施形態１について説明する。
以下では、画像処理装置の一例としての、被写体の距離分布を示す深度情報を取得可能なデジタルカメラに、本発明を適用した実施形態の例を説明する。しかし、本発明は、撮像画像と撮像画像に対応する深度情報と画像の撮影条件とに基づいて物体の属性情報寸法・形状・体積・質量など）を推定することが可能な任意の機器に適用可能である。
【００１４】
＜デジタルカメラの構成＞まず、図１を参照して、本実施形態のデジタルカメラ１００の構成および機能について説明する。
【００１５】
撮像光学系１０は、デジタルカメラ１００が有する撮影レンズであり、被写体の光学像を撮像素子１１上に形成する。撮像光学系１０は、光軸１０２上に並んだ不図示の複数のレンズで構成され、撮像素子１１から所定距離離れた位置に射出瞳１０１を有する。なお、本明細書において、光軸１０２と平行な方向をｚ方向または深度方向とし、光軸１０２と直交し、撮像素子１１の水平方向と平行な方向をｘ方向、撮像素子１１の垂直方向と平行な方向をｙ方向として定義する、あるいは軸を設けるものとする。
【００１６】
撮像素子１１は、例えばＣＣＤ（電荷結合素子）やＣＭＯＳセンサ（相補型金属酸化膜半導体）である。撮像素子１１は、撮像光学系１０を介して撮像面に形成された被写体像を光電変換し、該被写体像に係る画像信号を出力する。また、本実施形態では撮像素子１１は、後述するように撮像面位相差測距方式の測距機能を有しており、撮像画像に加えて、撮像装置から被写体までの距離（被写体距離）を示す距離情報を生成して出力可能である。
【００１７】
制御部１２は、例えばＣＰＵやマイクロプロセッサなどの制御装置であり、デジタルカメラ１００が備える各ブロックの動作を制御する。制御部１２は、例えば、撮像時のオートフォーカス（ＡＦ：自動焦点合わせ）、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、記憶部１４や入力部１５、表示部１６、通信部１７の制御を行う。
【００１８】
画像処理装置１３は、デジタルカメラ１００が有する各種の画像処理を実現するブロックである。図示されるように画像処理装置１３は、画像生成部１３０、深度生成部１３１、物体検出部１３２、姿勢推定部１３３、姿勢変換部１３４、属性情報推定部１３５の画像処理ブロックと、画像処理の作業領域として用いられるメモリ１３６とを有している。画像処理装置１３は、論理回路を用いて構成することができる。また、別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。
【００１９】
画像生成部１３０は、撮像素子１１から出力された画像信号のノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う。画像生成部１３０から出力される画像データ（撮像画像）はメモリ１３６に蓄積され、物体検出部１３２および表示部１６に用いられる。
【００２０】
深度生成部１３１は、後述する撮像素子１１が有する測距用画素に係り得られた信号を基づいて、深度情報の分布を表す深度画像を生成する。ここで、深度画像は、各画素に格納される値が、該画素に対応する撮像画像の領域に存在する被写体の被写体距離である２次元の情報である。
【００２１】
物体検出部１３２は、画像生成部１３０により生成された撮像画像を用いて、該撮像画像に含まれる、予め計測対象となる物体を検出し、撮像画像中の位置・大きさを特定する。予め計測対象となる物体の種類が指定されていない場合は、物体検出部１３２において種類を特定する。なお、本実施形態では、対象物体は人間以外の動物であるものとする。
【００２２】
姿勢推定部１３３は、物体検出部１３２によって検出された物体領域において、対象物体の姿勢を予め学習して取得し記憶部１４に格納されている情報を利用して推定する。
【００２３】
姿勢変換部１３４は、姿勢推定部１３３で推定された対象物体について、鑑賞用画像および深度画像における対象物体の姿勢を属性情報の推定に適した特定の姿勢に変換する。特定の姿勢は対象物体により異なり、予め指定された物体の種類、または物体検出部１３２で特定した物体情報に基づき、予め記憶部１４および／またはメモリ１３６に格納されている姿勢情報から決定する。
【００２４】
属性情報推定部１３５は、姿勢変換部１３４で対象物体の姿勢が特定の姿勢に変換された鑑賞用画像と深度画像とから対象物体の属性情報として寸法・形状・体積・質量の少なくとも１つを推定する。寸法推定では、対象物体により寸法を計測する位置が異なる。よって、予め指定された物体の種類または物体検出部１３２で特定した物体の種類に基づき予め記憶部１４および／またはメモリ１３６に格納されている寸法計測のための情報を利用して推定を行う。形状推定では、姿勢変換した深度画像により表面形状を取得し、物体検出部１３２で特定した物体の種類に応じて、予め記憶部１４および／またはメモリ１３６に格納されている対象物体の３次元形状データを参照して推定を行う。体積推定では、形状推定により求められた対象物体の３次元形状と撮影パラメータから推定を行う。質量推定では、体積推定により求められた体積と対象物体に応じた密度情報を利用して推定を行う。密度情報は予め物体ごとに計測しておき、記憶部１４に格納されている。
【００２５】
記憶部１４は、撮像された画像データ、各ブロックの動作の過程で生成された中間データ、画像処理装置１３やデジタルカメラ１００の動作において参照されるパラメータなどが記録される不揮発性の記録媒体である。記憶部１４は、処理の実現にあたり許容される処理性能が担保されるものであれば、高速に読み書きでき、かつ、大容量の記録媒体であればどのようなものであってもよく、例えば、フラッシュメモリなどが望ましい。
【００２６】
入力部１５は、例えば、ダイヤル、ボタン、スイッチ、タッチパネルなどの、デジタルカメラ１００に対してなされた情報入力や設定変更の操作入力を検出するユーザインターフェイスである。入力部１５は、なされた操作入力を検出すると、対応する制御信号を制御部１２に出力する。
【００２７】
表示部１６は、例えば、液晶ディスプレイや有機ＥＬなどの表示装置である。表示部１６は、撮像画像をスルー表示することによる撮影時の構図確認や、各種設定画面やメッセージ情報の報知に用いられる。本実施形態では表示部１６は、物体の検出結果、形状・体積・質量など推定結果などの表示も行う。
【００２８】
通信部１７は、デジタルカメラ１００が備える、外部との情報送受信を実現する通信インタフェースである。通信部１７は、得られた撮像画像や深度情報、被写体の属性情報（寸法・形状・体積・質量）の推定結果などを他の装置に送出可能に構成されていてよい。
【００２９】
＜撮像素子の構成＞次に、図１（ｂ）、（ｃ）を参照して、本実施形態の撮像素子１１の詳細構成について説明する。
【００３０】
撮像素子１１は、図１（ｂ）に示されるように、異なるカラーフィルタが適用された２行×２列の画素群１１０が複数連結して配列されることで構成されている。拡大図示されるように、画素群１１０は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルタが配置されており、各画素（光電変換素子）からは、Ｒ、Ｇ、Ｂのいずれかの色情報を示した画像信号が出力される。なお、本実施形態では一例として、カラーフィルタが、図示されるような分布担っているものとして説明するが、本発明の実施がこれに限られるものではないことは容易に理解されよう。
【００３１】
本実施形態の撮像素子１１は、撮像面位相差測距方式の測距機能を実現すべく、１つの画素（光電変換素子）は、撮像素子１１の水平方向に係る、図１（ｂ）のＩ−Ｉ’断面において、複数の光電変換部が並んで構成される。より詳しくは、図１（ｃ）に示されるように、各画素は、マイクロレンズ１１１およびカラーフィルタ１１２を含む導光層１１３と、第１の光電変換部１１５および第２の光電変換部１１６を含むと、で構成されている。
【００３２】
導光層１１３において、マイクロレンズ１１１は、画素へ入射した光束を第１の光電変換部１１５および第２の光電変換部１１６に効率よく導くよう構成されている。またカラーフィルタ１１２は、所定の波長帯域の光を通過させるものであり、上述したＲ、Ｇ、Ｂのいずれかの波長帯の光のみを通過させ、後段の第１の光電変換部１１５および第２の光電変換部１１６に導く。
【００３３】
受光層１１４には、受光した光をアナログ画像信号に変換する２つの光電変換部（第１の光電変換部１１５と第２の光電変換部１１６）が設けられており、これら２つの光電変換部から出力された２種類の信号が測距に用いられる。即ち、撮像素子１１の各画素は、同様に水平方向に並んだ２つの光電変換部を有しており、全画素のうちの第１の光電変換部１１５から出力された信号で構成された画像信号と、第２の光電変換部１１６から出力された信号で構成される画像信号が用いられる。換言すれば、第１の光電変換部１１５と第２の光電変換部１１６とは、画素に対してマイクロレンズ１１１を介して入光する光束を、それぞれ部分的に受光する。故に、最終的に得られる２種類の画像信号は、撮像光学系１０の射出瞳の異なる領域を通過した光束に係る瞳分割画像群となる。ここで、各画素で第１の光電変換部１１５と第２の光電変換部１１６とが光電変換した画像信号を合成したものは、画素に１つの光電変換部のみが設けられている態様において該１つの光電変換部から出力される画像信号（鑑賞用）と等価である。
【００３４】
このような構造を有することで、本実施形態の撮像素子１１は、鑑賞用画像信号と測距用画像信号（２種類の瞳分割画像）とを出力することが可能となっている。なお、本実施形態では、撮像素子１１の全ての画素が２つの光電変換部を備え、高密度な深度情報を出力可能に構成されているものであるとして説明するが、本発明の実施はこれに限られるものではない。
【００３５】
＜撮像面位相差測距方式の測距原理＞
ここで、本実施形態のデジタルカメラ１００で行われる、第１の光電変換部１１５および第２の光電変換部１１６から出力された瞳分割画像群に基づいて、被写体距離を導出する原理について、図２を参照して説明する。
【００３６】
図２（ａ）は、撮像光学系１０の射出瞳１０１と、撮像素子１１中の画素の第１の光電変換部１１５に受光する光束を示した概略図である。図２（ｂ）は同様に第２の光電変換部１１６に受光する光束を示した概略図である。
【００３７】
図２（ａ）および（ｂ）に示したマイクロレンズ１１１は、射出瞳１０１と受光層１１４とが光学的に共役関係になるように配置されている。撮像光学系１０の射出瞳１０１を通過した光束は、マイクロレンズ１１１により集光されて第１の光電変換部１１５または第２の光電変換部１１６に導かれる。この際、第１の光電変換部１１５と第２の光電変換部１１６にはそれぞれ図２（ａ）および（ｂ）に示される通り、異なる瞳領域を通過した光束を主に受光する。第１の光電変換部１１５には第１の瞳領域２１０を通過した光束、第２の光電変換部１１６には第２の瞳領域２２０を通過した光束となる。
【００３８】
撮像素子１１が備える複数の第１の光電変換部１１５は、第１の瞳領域２１０を通過した光束を主に受光し、第１の画像信号を出力する。また、同時に撮像素子１１が備える複数の第２の光電変換部１１６は、第２の瞳領域２２０を通過した光束を主に受光し、第２の画像信号を出力する。第１の画像信号から第１の瞳領域２１０を通過した光束が撮像素子１１上に形成する像の強度分布を得ることができる。また、第２の画像信号から第２の瞳領域２２０を通過した光束が、撮像素子１１上に形成する像の強度分布を得ることができる。
【００３９】
第１の画像信号と第２の画像信号間の相対的な位置ズレ量（所謂、視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量との関係について、図２（ｃ）、（ｄ）、（ｅ）を用いて説明する。図２（ｃ）、（ｄ）、（ｅ）は本実施形態の撮像素子１１、撮像光学系１０について説明した概略図である。図中の符号２１１は、第１の瞳領域２１０を通過する第１の光束を示し、符号２２１は第２の瞳領域２２０を通過する第２の光束を示す。
【００４０】
図２（ｃ）は合焦時の状態を示しており、第１の光束２１１と第２の光束２２１が撮像素子１１上で収束している。このとき、第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間との視差量は０となる。図２（ｄ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の信号により形成される第２の画像信号との視差量は０とはならず、負の値を有する。図２（ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号との視差量は正の値を有する。図２（ｄ）と図２（ｅ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、撮像光学系の結像関係（幾何関係）に従って位置ズレが生じることが分かる。第１の画像信号と第２の画像信号との位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。
【００４１】
＜属性情報推定処理＞次に、図３（ａ）のフローチャートを用いて、本実施形態のデジタルカメラ１００において実行される撮像画像から対象物体の属性情報を推定する処理について説明する。なお、図３（ａ）のフローチャートに対応する処理は、制御部１２が、例えば記憶部１４に記憶されている対応する処理プログラムを読み出し、不図示の揮発性メモリに展開して実行し、デジタルカメラ１００の各部を制御することにより実現することができる。後述する図８および図９でも同様である。
【００４２】
Ｓ３０１で、制御部１２は、計測対象となる物体の選択を行う。撮影時に表示部１６に計測を行う物体の一覧を表示し、入力部１５によってユーザが所望の物体を選択できるようにする。これにより物体の種類の推定を省略することができ、誤認識を防止することができる。ここでは、入力部１５と表示部１６を別体に構成しているが、タッチパネルなどにより表示部１６が入力部１５の機能を持つように構成してもよい。図４は計測対象の物体一覧の表示例を示している。図４では、動物の分類と、分類ごとの詳細な動物の種類が選択可能に表示され、ユーザは表示された選択肢のいずれかを選択すればよい。撮影対象が予め用意された物体の種類に当てはまらない場合は、例えば、図４に示すように「その他」の選択肢を表示し、一般的なパラメータを用いて属性情報推定を行えばよい。
【００４３】
Ｓ３０２で、制御部１２は、設定された焦点位置、絞り、露光時間などの撮像設定にて撮像を行うよう処理する。より詳しくは、制御部１２は、撮像素子１１に撮像を行わせ、得られた撮像画像を画像処理装置１３に伝送させ、メモリ１３６に記憶するよう制御する。ここで、撮像画像は、撮像素子１１が有する第１の光電変換部１１５のみから出力された信号で構成された画像信号Ｓ１と、第２の光電変換部１１６のみから出力された信号で構成された画像信号Ｓ２の２種類であるものとする。
【００４４】
Ｓ３０３で、画像処理装置１３は、得られた撮像画像から鑑賞用画像と深度画像とを生成する。より詳しくは、画像処理装置１３のうちの画像生成部１３０は、まず画像信号Ｓ１と画像信号Ｓ２の各画素の画素値を加算することで、１つのベイヤー配列画像を生成する。画像生成部１３０は、該ベイヤー配列画像について、Ｒ、Ｇ、Ｂ各色の画像のデモザイキング処理を行い、鑑賞用画像を生成する。なお、デモザイキング処理は、撮像素子上に配置されたカラーフィルタに応じて行われるものであり、デモザイキング方法についていずれの方式が用いられるものであってもよいことは言うまでもない。このほか、画像生成部１３０は、ノイズ除去、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの処理を行い、最終的な鑑賞用画像を生成してメモリ１３６に格納する。
【００４５】
＜深度画像生成処理＞
一方、深度画像については、深度生成部１３１が生成に係る処理を行う。ここで、深度画像生成に係る処理について、図３（ｂ）のフローチャートを用いて説明する。
【００４６】
Ｓ３１１で、深度生成部１３１は、画像信号Ｓ１および画像信号Ｓ２について、光量補正処理を行う。撮像光学系１０の周辺画角ではヴィネッティングにより、第１の瞳領域２１０と第２の瞳領域２２０の形状が異なることに起因し、画像信号Ｓ１と画像信号Ｓ２の間では、光量バランスが崩れている。従って、本ステップにおいて、深度生成部１３１は、例えば、予め記憶部１４および／またはメモリ１３６に格納されている光量補正値を用いて、画像信号Ｓ１と画像信号Ｓ２の光量補正を行う。
【００４７】
Ｓ３１２で、深度生成部１３１は、撮像素子１１における変換時に生じたノイズを低減する処理を行う。具体的には深度生成部１３１は、画像信号Ｓ１と画像信号Ｓ２に対して、フィルタ処理を適用することで、ノイズ低減を実現する。一般に、空間周波数が高い高周波領域ほどＳＮ比が低くなり、相対的にノイズ成分が多くなる。従って、深度生成部１３１は、空間周波数が高いほど、通過率が低減するローパスフィルタを適用する処理を行う。なお、Ｓ３１１における光量補正は、撮像光学系１０の製造誤差などによっては望ましい結果とはならないため、深度生成部１３１は、直流成分を遮断し、かつ、高周波成分の通過率が低いバンドパスフィルタを適用することが望ましい。
【００４８】
Ｓ３１３で、深度生成部１３１は、画像信号Ｓ１と画像信号Ｓ２に基づいて、これらの画像間の視差量を導出する。具体的には、深度生成部１３１は、画像信号Ｓ１内に、代表画素情報に対応した注目点と、該注目点を中心とする照合領域とを設定する。照合領域は、例えば、注目点を中心とした一辺が所定長さを有する正方領域などの矩形領域であってよい。次に深度生成部１３１は、画像信号Ｓ２内に参照点を設定し、該参照点を中心とする参照領域を設定する。参照領域は、上述した照合領域と同一の大きさおよび形状を有する。深度生成部１３１は、参照点を順次移動させながら、画像信号Ｓ１の照合領域内に含まれる画像と、画像信号Ｓ２の参照領域内に含まれる画像との相関度を導出し、最も相関度が高い参照点を、画像信号Ｓ２における、注目点に対応する対応点として特定する。このようにして特定された対応点と注目点との相対的な位置ズレ量が、注目点における視差量となる。
【００４９】
深度生成部１３１は、このように注目点を代表画素情報に従って順次変更しながら視差量を算出することで、該代表画素情報によって定められた複数の画素位置における視差量を導出する。本実施形態では簡単のため、鑑賞用画像と同一の解像度で深度情報を得るべく、視差量を計算する画素位置（代表画素情報に含まれる画素群）は、鑑賞用画像と同数になるよう設定されているものとする。なお、相関度の導出方法として、ＮＣＣ（Normalized Cross-Correlation）やＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）などの方法を用いてよい。
【００５０】
また、導出された視差量は、所定の変換係数を用いることで、撮像素子１１から撮像光学系１０の焦点までの距離であるデフォーカス量に変換することができる。ここで、所定の変換係数Ｋ、デフォーカス量をΔＬとすると、視差量ｄは、以下の式１によって、デフォーカス量に変換できる。
【００５１】
（式１）
ΔＬ＝Ｋ×ｄ
さらに、デフォーカス量ΔＬを幾何光学におけるレンズの公式である以下の式２を用いることで、被写体距離に変換することができる。
（式２）
１／Ａ＋１／Ｂ＝１／Ｆ
ここで、Ａは物面から撮像光学系１０の主点までの距離（被写体距離）、Ｂは撮像光学系１０の主点から像面までの距離、Ｆは撮像光学系１０の焦点距離を指すものとする。即ち、該レンズの公式において、Ｂの値がデフォーカス量ΔＬから導出することができるため、撮像時の焦点距離の設定に基づき、被写体から物面までの距離Ａを導出することができる。
【００５２】
深度生成部１３１は、このように導出した被写体距離を画素値とする２次元情報を構成し、深度画像としてメモリ１３６に格納する。
【００５３】
一方、Ｓ３０４で、物体検出部１３２は、対象物体領域の検出を行う。物体検出部１３２は、Ｓ３０１で選択された対象物体の種類に基づき、事前に学習して取得し記憶部１４に格納された情報を利用して対象物体領域を特定し、特定した領域の輪郭に沿って対象物体を抽出する。この場合、深度画像を利用して対象物体領域の抽出を補助することも可能である。抽出した対象物体領域以外は特定または一定の値とし、対象物体領域のみが残された物体抽出画像を生成する。深度画像においても同様に対象物体領域以外は特定または一定の値に置き換え、対象物体領域のみが有効な値を持つ物体抽出深度画像を生成する。物体抽出画像および物体抽出深度画像はメモリ１３６に記憶され、以降の処理に利用される。対象物体領域を抽出するための学習方法には、例えばＤｅｅｐ Ｌｅａｒｎｉｎｇなど、様々な機械学習を利用することができるが、特定の方法に限定されず、どのような方法を用いてもよい。
【００５４】
Ｓ３０５で、姿勢推定部１３３は、物体抽出画像における対象物体の姿勢推定を行う。姿勢推定部１３３は、Ｓ３０４における対象物体領域の検出結果から、物体抽出画像中の領域内における特徴点の抽出を行い、事前に学習して取得し記憶部１４に格納されている３次元形状の特徴点データを利用して姿勢の推定を行う。さらに物体抽出深度画像を利用することでより詳細な姿勢変化を推定することが可能となる。姿勢推定では、主に物体抽出画像を利用して対象物体としての動物の頭部や胴体、脚、尾といった部位がどこに位置しているか、頭部がどちらを向いているかといった情報を推定する。また、対象物体全体の撮影方向から見た向きは胴体の向きによって判定可能である。胴体の向きの判定には物体抽出深度画像を利用する。物体抽出深度画像から各画素における法線方向を算出し、上記胴体位置の情報を利用して胴体部分の法線方向を取得する。動物の胴体は曲面であるため法線方向は一定ではない。よって主成分分析などを行い、主たる法線方向を算出する。この主たる法線方向と垂直な面を対象物体の向きを表す平面として推定する。例えば、図５に示すように対象動物の胴体の中心を通り頭部から尾までを垂直に切断する平面Ｐｖおよび水平に切断する平面Ｐｈを推定し、後述の姿勢変換に利用する。
【００５５】
本実施形態では、対象物体領域検出と姿勢推定を別の処理としたが、機械学習を利用することで対象物体領域検出と物体の姿勢推定を同時に行ってもよい。
【００５６】
Ｓ３０６で、姿勢変換部１３４は、Ｓ３０５で推定された対象物体の姿勢を利用して、対象物体の物体抽出画像での姿勢変換および物体抽出深度画像での姿勢変換を行う。例えば、物体抽出画像から物体の属性情報として動物の寸法を推定する場合、動物に種類によって計測しやすい特定の姿勢がある。例えば、哺乳類の場合は図６に示すように撮影した画像（図６（ａ））を変換し側面から撮影された画像（図６（ｂ））にすることでその全長Ｌａ・頭胴長Ｌｂ・体高Ｌｃといった寸法の計測が容易となる。
【００５７】
鳥類・魚類なども側面からの撮像画像となるように変換するのがよい。鳥類の場合は図６（ｃ）に示すように全長Ｌａや翼長Ｌｄなどの寸法を計測する。ただし、図６（ｄ）のように翼を広げた鳥類の場合は、上方から俯瞰した画像となるように変換するのが望ましく、翼開長Ｌｅを計測する。また、爬虫類・両生類・昆虫などの節足動物も情報からの俯瞰した画像となるのが望ましい。ただし、どのような動物においても撮影された画像における対象物体の姿勢に応じて、側面からの画像または上方からの画像に適宜変換するのが望ましい。
【００５８】
ここでの姿勢変換は基本的には幾何変換による画像の変換を行う。哺乳類の場合を例にすると、上記姿勢推定において推定された動物の姿勢を示す垂直切断平面Ｐｖを利用し、この平面の法線が撮影装置１に対して垂直となるように回転角を算出する。得られた回転角から回転行列Ｒを生成し、以下の式３のように物体抽出画像および物体抽出深度画像を回転変換させることで図６（ａ）であった対象動物の姿勢を図６（ｂ）のような姿勢に変換する。
（式３）
2020194454.tif 000003
Ｐは変換前の画像上の位置（ｘ、ｙ、ｚ）を意味し、Ｐ’は変換後の画像上の位置である。変換により欠落した画素位置の情報は周辺の画素の情報から補間することで欠落のない変換画像を生成する。
【００５９】
このように、姿勢変換された物体抽出画像および物体抽出深度画像がメモリ１３６に記憶され、以降の処理に利用される。本実施形態では、回転行列を利用した姿勢変換を例に説明したが、回転以外に平行移動、拡大縮小などを加えた変換を利用することもできる。姿勢変換を行うことで後述する属性情報推定のために予め計測保持しておくデータを減らすことができる利点もある。
【００６０】
Ｓ３０７で、属性情報推定部１３５は、対象物体の属性情報の推定を行う。属性情報とは、対象物体の寸法・形状・体積・質量を表し、属性情報推定ではこれらのうち少なくとも１つを推定する。
【００６１】
まず属性情報の１つである寸法推定について説明する。寸法推定では、姿勢変換された物体抽出画像を表示部１６に表示し、ユーザが入力部１５により表示された画像中の動物において所望の計測位置を指定する。指定方法としては２箇所を指定する方法（図７（ａ））、３箇所以上を指定してそれぞれの間を線形的に接続したり（図７（ｂ））、多項式を用いて接続したりする方法、ユーザが計測したい部分をなぞる方法（図７（ｃ））を用いる。図７（ａ）では、２点Ｐ１およびＰ２を指定し、２点間の水平の長さを計測する場合を示す。他にも垂直方向の長さを計測する場合や２点間のユークリッド距離を計測する場合を指定できるようにするのが望ましい。図７（ｂ）では４点Ｐ１〜Ｐ４を指定し各点の間を直線で繋いだ例を示している。他にもスプライン曲線などを用いて各点間を補間してその長さを計測してもよい。図７（ｃ）は図中のＰ１からＰ２までユーザがなぞった曲線の長さを計測する例である。このように様々な計測位置の指定方法と指定区間の計測方法があるが、２箇所の指定では直線のみの計測となり簡便な計測が可能な一方で、３箇所以上の指定もしくはなぞることによって曲線の長さも計測可能となり計測の自由度が向上する。特に、曲線による計測は、姿勢変換において所望の姿勢に変換できなかった場合の計測に効果がある。例えば、図６（ｅ）に示すようにヘビの全長Ｌａの計測など直線に伸びている状態が困難な動物の計測に効果がある。
【００６２】
計測点指定後の長さの計測は、指定された計測位置間の画素数をカウントすることで画像中の画素単位またはサブ画素単位で計測される。この場合の計測値は像空間における長さである。計測された画素単位の長さを実際の物体空間での長さに変換するために、まず撮像素子１１の１画素サイズの大きさから像空間での国際単位系の長さに変換する。次に撮影パラメータを利用して撮影倍率Ｍを求め、計測された像空間での長さと撮影倍率Ｍの積をとることで物体空間での実際の長さを算出する。
【００６３】
撮影倍率Ｍは撮影時のパラメータである撮像光学系１０の焦点距離Ｆ、対象物体距離Ｚを利用して以下の式４により算出できる。
（式４）
Ｍ＝Ｚ／Ｆ
対象物体距離Ｚは、撮像光学系１０に含まれるフォーカレンズの位置と対応するフォーカス距離を予め計測しておき、撮影時のフォーカスレンズ位置を検出して対応するフォーカス距離を対象物体距離Ｚとして取得する。
【００６４】
続いて属性情報の１つである形状推定について説明する。形状推定は対象物体の３次元形状を推定する。Ｓ３０１で選択された物体の種類の情報、Ｓ３０６で生成された姿勢変換された物体抽出画像および物体抽出深度画像を利用して行う。姿勢変換された物体抽出深度画像は、デジタルカメラ１００から対象物体までの距離に依存した値になっているため、対象物体までの距離を差し引くことでデジタルカメラ１００から見た対象物体面の深度画像（＝形状）が算出される。以降の説明では、計測された対象物体のある特定の一面を表面とするものとする。一度の撮影では対象物体の特定の一面形状のみが計測可能で、撮影方向から見えない反対の面は計測することができない。対象物体の反対面を推定するにあたり、予め計測対象となる複数の物体の３次元形状を計測し、参照３次元形状を記憶部１４および／またはメモリ１３６に格納しておく。格納しておく参照３次元形状は、物体ごとに平均的な１つの３次元形状でもよいが、反対面の推定精度を向上させるために複数の３次元形状を保持しておくことが望ましい。参照３次元形状は、ボクセル単位のデータまたは、国際単位系で表現されたデータのいずれであってもよいが、参照３次元形状データの単位によって以下の変換処理が変更される。ここでボクセルは、１画素をｘｙｚ方向に拡張した３次元の画素サイズを意味する。また、国際単位系のデータは物体側での対象物体のサイズを国際単位系で計測したものを意味する。上記算出された対象物体の表面の形状情報において、深度情報（Ｚ方向）は国際単位系であるが、対象物体のＸＹ方向の大きさは画素単位となっている。参照３次元形状のデータ単位に応じて深度情報をボクセル単位に変更、または対象物体のＸＹ方向の大きさを国際単位系に変更する。ボクセル単位および国際単位系の変換は、前述のように撮影パラメータを利用して撮影倍率Ｍを求め、式４を利用して変換する。
【００６５】
次に参照３次元形状と検出した対象物体の大きさが同じになるように、参照３次元形状を変換する。その後、対象物体の表面形状と大きさ変換した参照３次元形状との位置のマッチング処理が行われる。マッチング処理によって計測された表面形状が、参照３次元形状においてどの面に対応するかを決定する。同時に、計測されていない対象物体の反対面が参照３次元形状において特定される。この特定された参照３次元形状における反対面を、計測された対象物体の表面形状と合成することで対象物体の３次元形状が推定される。複数の異なる参照３次元形状を格納した場合は、最も計測形状と合致する参照３次元形状から反対面を推定する。
【００６６】
３次元形状の推定精度をさらに向上させるために、計測した表面形状と参照３次元形状の合致面との形状の差を算出し、算出した差を参照３次元形状の反対面に加減算することで形状を補正し推定反対面とする。または、形状の厚みに対する上記差の量を算出し、反対面の形状の厚みに応じて補正量を変更してもよい。
【００６７】
対象物体の大きさに対して、物体空間における１画素サイズが大きい場合、推定された３次元形状は段差のある不正確な形状となる。よって撮像素子１１の画素数が多いことが望ましく、撮影時に物体が画面に対してできるだけ大きく占めるように撮影するのが望ましい。画素単位の段差を低減するために、補間処理を適用することでより滑らかな形状に変更し、さらにはポリゴンデータとしてもよい。
【００６８】
次に、属性情報の１つである体積推定について説明する。体積推定では、上記形状推定で推定された３次元形状を用いて体積を算出する。推定された体積がボクセル単位データの場合、推定された３次元形状中のボクセル数をカウントし、ボクセルの一辺の長さを、式４を利用することで物体空間での体積を推定する。推定された体積が既に物体空間における国際単位系で表現されたデータの場合は、推定された３次元形状内を積分することで体積を推定する。なお、推定される体積は、画像処理にてベースとなる単位体積要素（正規格子単位）であるボクセル基準で導出されてもよいし、現実世界における実寸大の寸法基準で導出されるものであってもよい。
【００６９】
次に、属性情報の１つである質量推定について説明する。質量推定では、上記体積推定で導出された対象物体の体積と、記憶部１４および／またはメモリ１３６に格納されている対象物体の密度情報とを乗算することで対象物体の質量を推定する。密度情報は対象物体に対して一様としてもよいが、より高精度に質量を推定するために部位ごとに異なる情報を保持して利用することもできる。対象物体の骨格分析などを用いて部位ごと、例えば、頭部、胴体、腕、脚などに分割し、それぞれ異なる密度情報を用いて質量推定を行う。なお、本実施形態では、対象物体の密度情報を用いて質量を算出したが、これに限らず、対象物体の比重量の情報を予め記憶部１４および／またはメモリ１３６に格納しておき、推定された対象物体の３次元形状の体積を乗算することで重量を推定してもよい。
【００７０】
Ｓ３０８で、制御部１２は、Ｓ３０７で推定された属性情報を表示部１６に表示すると共に、記憶部１４に記憶する。Ｓ３０７で推定された属性情報は、Ｓ３０３で生成された鑑賞用画像のメタデータとして深度画像と関連付けて記録することが望ましい。
【００７１】
以上説明したように、本実施形態によれば、撮像画像から生成される深度画像と、画像が撮影された条件とから画像中の物体の属性情報を推定することが可能となる。詳しくは、深度画像と、物体の領域検出、姿勢推定、姿勢変換のための事前に学習し取得した情報、予め計測した形状、撮影パラメータおよび質量比を用いることで、対象物体の属性情報を推定できる。
【００７２】
［実施形態２］次に、実施形態２について説明する。
【００７３】
実施形態１では、ユーザが計測対象物体の選択を行っていた。これに対し、実施形態２は、ユーザにおる計測対象物体の選択入力がないところが実施形態１と相違する。なお、実施形態２において、デジタルカメラ１００の構成や機能は、実施形態１の図１や図３と同様であり、実施形態１の属性情報推定処理と相違する点を中心に説明する。
【００７４】
図８は、実施形態２の属性情報推定処理を示し、実施形態１の図３の処理と同一の処理には同一のステップ番号を付して示している。
【００７５】
Ｓ８０１で、図３のＳ３０２と同様に、制御部１２は、設定された焦点位置、絞り、露光時間などの撮像設定にて撮像を行うよう処理する。
【００７６】
Ｓ８０２で、図３のＳ３０３と同様に、画像生成部１３０は、鑑賞用画像と深度画像を生成する。
【００７７】
Ｓ８０３で、物体検出部１３２は、被写体の認識を行う。被写体認識・領域検出は、予め機械学習によって取得した物体の分類・種類の情報に基づき、画像中の物体の識別および位置・輪郭の抽出を行い、物体抽出画像を生成する。抽出した位置・輪郭情報を深度画像にも適用し、深度生成部１３１により物体抽出深度画像を生成する。機械学習は特定の方法に限定されず、どのような方法を用いてもよい。
【００７８】
Ｓ８０４で、姿勢推定部１３３および姿勢変換部１３４は、Ｓ８０３で識別および抽出した物体の姿勢推定および姿勢変換を行う。ここで、画像処理装置１３の姿勢推定部１３３および姿勢変換部１３４が行うＳ８０４の処理の詳細を図９のフローチャートを用いて説明する。
【００７９】
姿勢推定部１３３は、Ｓ８０４１において、Ｓ８０３で生成された物体抽出深度画像から、デジタルカメラ１００から対象物体の基準位置までの距離を差し引くことで対象物体の撮影方向から見た表面の形状を取得する。基準位置は、デジタルカメラ１００から対象物体までの最も近い位置で設定してもよいし、最も遠い位置で設定してもよく、特に限定するものではない。
【００８０】
Ｓ８０４２で、姿勢推定部１３３は、Ｓ８０４１で得られた対象物体の表面形状と、予め記憶部１４に格納されている対象物体の３次元形状とを比較し、同じ大きさになるようにいずれか一方の大きさを変更する。その後の属性情報推定を考慮した場合、予め記憶部１４および／またはメモリ１３６に格納されている３次元形状の大きさを対象物体の表面形状の大きさに合わせるのが望ましく、変換係数を予め記憶部１４および／またはメモリ１３６に記憶しておくことが望ましい。
【００８１】
Ｓ８０４３で、姿勢推定部１３３は、Ｓ８０４１で取得した対象物体の表面形状と、予め記憶部１４および／またはメモリ１３６に格納されている３次元形状とのマッチング処理を行い、対象物体を撮影している方向を特定する。この方法は、撮影した物体の姿勢が予め記憶部１４および／またはメモリ１３６に格納されている属性情報が取得しやすい姿勢と類似した姿勢であって、撮影方向が異なる場合に有効である。一方、対象物体の姿勢が予め記憶部１４および／またはメモリ１３６に格納されている姿勢と大きく異なる場合は、マッチング処理における評価値（マッチングスコア）が低下する。よって、Ｓ８０４４においてマッチングスコアを閾値と比較する。Ｓ８０４４においてマッチングスコアが閾値より高い場合は、Ｓ８０４５で対象物体の向きを表す撮影面が特定される。マッチングスコアが閾値より低い場合は、Ｓ８０４６で対象物体の関節部位および骨格の特定を行う。この特定も予め学習して取得した情報を利用して行う。
【００８２】
Ｓ８０４７で、姿勢変換部１３４は、予め用意された３次元形状における骨格位置との違いを算出し、関節位置を支点に関節位置より先端方向部分の部位を回転させて、基準となる姿勢に類似するように表面形状を変換する。例えば、座った状態の牛を撮影した場合、大腿部、飛節、前膝などの脚部の関節位置や長さ、回転角を推定し、関節を回転の支点として回転させて立ち上がった状態の推定画像を生成する。変換された表面形状を再びＳ８０４３のマッチング処理に入力し、再度対象物体の向きを表す撮影面の特定を行う。
【００８３】
Ｓ８０４８で、姿勢変換部１３４は、Ｓ８０４５で特定された撮影面情報に基づき、図３のＳ３０６と同様に、対象物体を側面から撮影したように、物体抽出画像および表面形状に対して幾何変換を利用して姿勢変換する。変換された物体抽出画像および表面形状はメモリ１３６に記憶され、以降の処理に利用される。
【００８４】
図８の説明に戻り、Ｓ８０５で、図３のＳ３０７と同様に、属性情報推定部１３５により対象物体の属性情報の推定を行う。Ｓ８０５で推定された属性情報は、表示部１６に表示されるとともに記憶部１４に記憶される。推定された属性情報は、Ｓ８０２で生成された鑑賞用画像のメタデータとして深度画像と共に記憶することが望ましい。
【００８５】
ここで、Ｓ８０５の属性情報推定がＳ３０７と相違するところを説明する。
【００８６】
属性情報の１つである寸法推定について、実施形態１では、ユーザが計測位置を指定し、指定された位置で寸法を計測していた。これに対して、実施形態２では、画像処理装置１３が、Ｓ８０３で得られた物体の識別結果により物体の種類を特定し、必要な寸法情報（全長・頭胴長・体高など）から寸法の計測位置を決定する。そして、Ｓ８０４６と同様に事前に学習して取得した情報を利用して骨格認識を行い、Ｓ８０３の被写体認識で得られた輪郭情報を利用して計測位置を特定する。
【００８７】
属性情報の１つである形状推定については、Ｓ８０４の姿勢推定・変換で生成した表面形状と、予め記憶部１４および／またはメモリ１３６に格納されている３次元形状の大きさを合わせるための変換係数を利用する。変換係数を利用して記憶部１４に記憶されている３次元形状の大きさを変換し、計測対象物体の表面形状以外の背面部分を、大きさが変換された３次元形状から取得する。計測対象物体の表面形状と３次元形状から取得した背面形状とを合成することで計測対象物体の３次元形状を生成する。合成にあたり、接続部分は滑らかになるように平滑化処理を行う。
【００８８】
属性情報の１つである体積および質量の推定については、対象物体の体毛を考慮した推定を行う。実施形態１では体毛を考慮しておらず、体毛も同じ密度として質量の算出を行っていたため、実際の質量と推定された質量との誤差が大きくなる場合がある。また、羊毛生産などにおいては、体毛体積のみの推定が必要な場合もある。
【００８９】
以上説明したように、本実施形態によれば、実施形態１の処理に加え、体毛量を推定し補正を行う。体毛量の推定には、まずジョイントバイラテラルフィルタやガイデットフィルターなどを利用してマッチング処理を行い、アルファマットを算出する。アルファマットが１以下の領域を体毛領域としてその厚みを算出し、推定した３次元形状から体毛領域を除いた体積を算出する。同様に質量推定についても、体毛領域を除いた体積を利用して、物体の種類ごとに格納されている密度情報を乗算することで体毛領域を除いた質量を推定する。または、体毛を含めた体積と体毛を除いた体積から体毛領域のみの体積を算出し、体毛の密度情報を利用して体毛質量を推定し、体毛を除いた質量との和をとることで、体毛の密度の違いを考慮した質量推定を行う。
【００９０】
［他の実施形態］
本実施形態では、撮像素子１１が撮像面位相差測距方式の光電変換素子を有し、鑑賞用画像と深度画像とを取得できるものとして説明したが、本発明の実施において、深度情報の取得はこれに限られるものではない。深度情報は、例えば両眼の撮像装置や複数の異なる撮像装置から得られた複数枚の撮像画像に基づいて、ステレオ測距方式で取得するものであってもよい。あるいは、例えば光照射部と撮像装置を用いたステレオ測距方式や、ＴＯＦ（Time of Flight）方式と撮像装置の組み合わせによる方式などを用いて取得するものであってもよい。
【００９１】
実施形態１と実施形態２の属性情報推定処理はそれぞれの実施形態に限定するものではなく、同じ情報を用いる処理を入れ替えても実現可能である。
【００９２】
また、本実施形態として適用可能な画像処理装置は、デジタルスチルカメラ、デジタルビデオカメラ、車載カメラ、携帯電話やスマートフォンなどを含む。
【００９３】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００９４】
本発明は、撮像装置を利用した非接触での物体の属性情報推定であり、例えば、簡易的な家畜の成長記録、動物園での動物の健康管理、野生動物の遠方からの属性取得などメジャーや質量計による計測が困難な状況において有用である。
【００９５】
発明は上記実施形態に制限されるものではなく、発明の精神および範囲から離脱することなく、様々な変更および変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００９６】
１００…デジタルカメラ、１２…制御部、１３…画像処理装置、１３０…画像生成部、１３１…深度生成部、１３２…物体検出部、１３３…姿勢推定部、１３４…姿勢変換部、１３５…属性情報推定部
【図１】
2020194454.tif 000004
【図２】
2020194454.tif 000005
【図３】
2020194454.tif 000006
【図４】
2020194454.tif 000007
【図５】
2020194454.tif 000008
【図６】
2020194454.tif 000009
【図７】
2020194454.tif 000010
【図８】
2020194454.tif 000011
【図９】
2020194454.tif 000012