(57)【要約】【課題】  特定の物体と観測対象の物体とを含む領域の深度画像から観測対象の物体の位置を検出する。【解決手段】  深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置は、特定の物体を含む領域の深度画像に基づいて、距離に関するヒストグラムを生成するヒストグラム生成部と、基準の位置から観測対象の物体までの第１の距離を深度画像に基づいて算出する第１距離算出部と、基準の位置から特定の物体までの第２の距離をヒストグラムに基づいて算出する第２距離算出部と、第１の距離と第２の距離との間にあるいずれかの距離を閾値に設定し、第１の距離以上で閾値以下の距離を示す画素を対象画素として深度画像から抽出する抽出部と、対象画素の深度画像における位置および対象画素が示す距離に基づいて、観測対象の物体の３次元空間における位置を算出する位置算出部とを有する。【選択図】  図１
2018055343.tif 000002
【特許請求の範囲】
【請求項１】
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置において、
特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成するヒストグラム生成部と、
前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出する第１距離算出部と、
前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出する第２距離算出部と、
前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出する抽出部と、
前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する位置算出部と
を有することを特徴とする情報処理装置。
【請求項２】
請求項１に記載の情報処理装置において、
前記観測対象の物体は、人物の頭部である
ことを特徴とする情報処理装置。
【請求項３】
請求項１または請求項２に記載の情報処理装置において、
前記第１距離算出部は、前記深度画像の各画素が示す距離のうち、最小の距離を前記第１の距離として算出する
ことを特徴とする情報処理装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の情報処理装置において、
前記第２距離算出部は、前記ヒストグラムのピークのうち、ピークの値が高い順から複数のピークを選択し、選択した前記複数のピークにそれぞれ対応する複数の距離のうち、最小の距離を前記第２の距離として算出する
ことを特徴とする情報処理装置。
【請求項５】
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置と、
前記情報処理装置により検出された前記観測対象の物体の３次元空間における位置に基づいて前記観測対象の物体の状態を判定し、前記観測対象の物体の状態が特定の状態である場合に所定の情報を外部に通知する制御装置とを有し、
前記情報処理装置は、
特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成するヒストグラム生成部と、
前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出する第１距離算出部と、
前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出する第２距離算出部と、
前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出する抽出部と、
前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する位置算出部とを有する
ことを特徴とする情報処理システム。
【請求項６】
請求項５に記載の情報処理システムにおいて、
前記観測対象の物体は、人物の頭部であり、
前記特定の物体は、浴槽の縁である
ことを特徴とする情報処理システム。
【請求項７】
請求項６に記載の情報処理システムにおいて、
前記制御装置は、前記観測対象の物体の３次元空間における位置が、所定時間の間、予め決められた一定の範囲内に収まっている場合、前記観測対象の物体の状態が前記特定の状態であると判定し、前記所定の情報を外部に通知する
ことを特徴とする情報処理システム。
【請求項８】
請求項６または請求項７に記載の情報処理システムにおいて、
前記制御装置は、前記観測対象の物体が前記基準の位置から離れる動きを所定時間継続していることを前記観測対象の物体の位置の変化に基づいて検出した場合、前記観測対象の物体の状態が前記特定の状態であると判定し、前記所定の情報を外部に通知する
ことを特徴とする情報処理システム。
【請求項９】
請求項６ないし請求項８のいずれか１項に記載の情報処理システムにおいて、
前記制御装置は、前記観測対象の物体と前記特定の物体との距離が所定値以下である状態が所定時間継続している場合、前記観測対象の物体の状態が前記特定の状態であると判定し、前記所定の情報を外部に通知する
ことを特徴とする情報処理システム。
【請求項１０】
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置における情報処理方法において、
前記情報処理装置が有するヒストグラム生成部が、特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成し、
前記情報処理装置が有する第１距離算出部が、前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出し、
前記情報処理装置が有する第２距離算出部が、前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出し、
前記情報処理装置が有する抽出部が、前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出し、
前記情報処理装置が有する位置算出部が、前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する
ことを特徴とする情報処理方法。
【請求項１１】
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理をコンピュータに実行させるための情報処理プログラムにおいて、
特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成し、
前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出し、
前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出し、
前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出し、
前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
浴室等の特定の空間内の異常を検知する異常検知システム等の情報処理システムは、特定の空間内を撮像した画像を処理する情報処理装置等を有する。例えば、浴室内の異常を検知する浴室異常検知システムでは、情報処理装置は、ＣＣＤ(Charge Coupled Device)またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いた撮像装置により撮像された画像から人の頭部を検出する。この種の浴室異常検知システムでは、人の頭部の画像に関する特徴量の統計モデルと撮像装置により撮像された浴室内の画像とを比較して頭部を検出する方法が提案されている（例えば、特許文献１参照）。
【０００３】
また、近年、深度センサから対象物までの距離と画素値とが対応付けられた画素を含む深度画像から人の頭部を検出する方法が提案されている（例えば、特許文献２参照）。この種の方法では、深度画像における人物の領域（以下、人体領域とも称する）を背景から分離した後に、人体領域から人の頭部の位置を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−５２６２６号公報
【特許文献２】特表２０１３−５１６０１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
深度画像における人体領域を背景から分離した後に、人体領域から人の頭部の位置を検出する方法では、人体領域を背景から分離できない場合、深度画像から人の頭部の位置を検出することは困難である。例えば、背景に含まれる浴槽等の物体と人物とがほぼ等しい距離に分布する場合、人体領域を背景から分離することは困難である。このため、背景に含まれる浴槽等の物体と人物とがほぼ等しい距離に分布する場合、深度画像から人の頭部の位置を検出することは困難である。
【０００６】
１つの側面では、本発明は、特定の物体と観測対象の物体とを含む領域の深度画像から観測対象の物体の位置を検出することを目的とする。
【課題を解決するための手段】
【０００７】
一観点によれば、基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置は、特定の物体を含む領域の深度画像に基づいて、距離に関するヒストグラムを生成するヒストグラム生成部と、基準の位置から観測対象の物体までの第１の距離を深度画像に基づいて算出する第１距離算出部と、基準の位置から特定の物体までの第２の距離をヒストグラムに基づいて算出する第２距離算出部と、第１の距離と第２の距離との間にあるいずれかの距離を閾値に設定し、第１の距離以上で閾値以下の距離を示す画素を対象画素として深度画像から抽出する抽出部と、対象画素の深度画像における位置および対象画素が示す距離に基づいて、観測対象の物体の３次元空間における位置を算出する位置算出部とを有する。
【０００８】
別の観点によれば、情報処理システムは、基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置と、情報処理装置により検出された観測対象の物体の３次元空間における位置に基づいて観測対象の物体の状態を判定し、観測対象の物体の状態が特定の状態である場合に所定の情報を外部に通知する制御装置とを有し、情報処理装置は、特定の物体を含む領域の深度画像に基づいて、距離に関するヒストグラムを生成するヒストグラム生成部と、基準の位置から観測対象の物体までの第１の距離を深度画像に基づいて算出する第１距離算出部と、基準の位置から特定の物体までの第２の距離をヒストグラムに基づいて算出する第２距離算出部と、第１の距離と第２の距離との間にあるいずれかの距離を閾値に設定し、第１の距離以上で閾値以下の距離を示す画素を対象画素として深度画像から抽出する抽出部と、対象画素の深度画像における位置および対象画素が示す距離に基づいて、観測対象の物体の３次元空間における位置を算出する位置算出部とを有する。
【０００９】
別の観点によれば、基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置における情報処理方法では、情報処理装置が有するヒストグラム生成部が、特定の物体を含む領域の深度画像に基づいて、距離に関するヒストグラムを生成し、情報処理装置が有する第１距離算出部が、基準の位置から観測対象の物体までの第１の距離を深度画像に基づいて算出し、情報処理装置が有する第２距離算出部が、基準の位置から特定の物体までの第２の距離をヒストグラムに基づいて算出し、情報処理装置が有する抽出部が、第１の距離と第２の距離との間にあるいずれかの距離を閾値に設定し、第１の距離以上で閾値以下の距離を示す画素を対象画素として深度画像から抽出し、情報処理装置が有する位置算出部が、対象画素の深度画像における位置および対象画素が示す距離に基づいて、観測対象の物体の３次元空間における位置を算出する。
【００１０】
別の観点によれば、基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理をコンピュータに実行させるための情報処理プログラムは、特定の物体を含む領域の深度画像に基づいて、距離に関するヒストグラムを生成し、基準の位置から観測対象の物体までの第１の距離を深度画像に基づいて算出し、基準の位置から特定の物体までの第２の距離をヒストグラムに基づいて算出し、第１の距離と第２の距離との間にあるいずれかの距離を閾値に設定し、第１の距離以上で閾値以下の距離を示す画素を対象画素として深度画像から抽出し、対象画素の深度画像における位置および対象画素が示す距離に基づいて、観測対象の物体の３次元空間における位置を算出する。
【発明の効果】
【００１１】
特定の物体と観測対象の物体とを含む領域の深度画像から観測対象の物体の位置を検出できる。
【図面の簡単な説明】
【００１２】
【図１】情報処理装置、情報処理システム、情報処理方法および情報処理プログラムの一実施形態を示す図である。
【図２】情報処理装置、情報処理システム、情報処理方法および情報処理プログラムの別の実施形態を示す図である。
【図３】図２に示した情報処理システムの通信経路の一例を示す図である。
【図４】浴室内の状態とヒストグラムとの対応の一例を示す図である。
【図５】図２に示した情報処理装置の動作の一例を示す図である。
【図６】図２に示した制御装置の動作の一例を示す図である。
【図７】図６に示した状態判定通知処理の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、実施形態について、図面を用いて説明する。
【００１４】
図１は、情報処理装置、情報処理システム、情報処理方法および情報処理プログラムの一実施形態を示す。図１に示す情報処理システムＩＳＹＳａは、情報処理装置ＩＰＥａおよび制御装置ＣＮＴａを有し、浴室等の特定の空間内の異常を検知する。なお、情報処理装置ＩＰＥａは、ハードウェアのみで実現されてもよく、情報処理プログラム等のソフトウェアによりハードウェアを制御することにより実現されてもよい。例えば、情報処理プログラムは、基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像ＤＩＭＧから観測対象の物体の３次元空間における位置（以下、３次元位置とも称する）を検出する情報処理を、コンピュータに実行させてもよい。この場合、情報処理装置ＩＰＥａは、コンピュータにより実現される。同様に、制御装置ＣＮＴａは、ハードウェアのみで実現されてもよく、ソフトウェアによりハードウェアを制御することにより実現されてもよい。すなわち、情報処理システムＩＳＹＳａは、ハードウェアのみで実現されてもよく、ソフトウェアによりハードウェアを制御することにより実現されてもよい。
【００１５】
図１の括弧内には、情報処理システムＩＳＹＳａが浴室内の異常を検知する場合の浴室内の状態の一例と、浴室内の状態を示す深度画像ＤＩＭＧの一例と、深度画像ＤＩＭＧから生成されるヒストグラムの一例とを示す。図１の括弧内に示す符号ＯＢＪは、監視の対象となる人物ＯＢＪ（以下、監視対象者ＯＢＪとも称する）を示す。なお、監視対象者ＯＢＪの頭部ＯＢＪａは、観測対象の物体の一例である。また、浴槽の縁ＥＤＧＢは、特定の物体の一例である。以下、頭部ＯＢＪａは、物体ＯＢＪａとも称され、浴槽の縁ＥＤＧＢは、物体ＥＤＧＢとも称される。
【００１６】
深度画像ＤＩＭＧは、例えば、対象物との間の距離を計測する３次元の深度センサ等の深度カメラＤＣＡＭにより生成される。図１に示す例では、深度カメラＤＣＡＭは、浴室の天井に設置され、情報処理システムＩＳＹＳａと無線または有線の伝送路を介して通信可能に接続される。なお、深度カメラＤＣＡＭの位置は、基準の位置の一例である。図１に示す深度画像ＤＩＭＧでは、画素値の違いを網掛けの濃淡で模式的に示している。例えば、網掛けの濃度は、深度カメラＤＣＡＭまでの距離が近くなるほど、濃くなる。ヒストグラムは、後述するヒストグラム生成部ＨＧＥＮａにより、深度画像ＤＩＭＧから生成される。
【００１７】
情報処理装置ＩＰＥａは、浴室内に設置された深度カメラＤＣＡＭと無線または有線の伝送路を介して通信可能に接続される。そして、情報処理装置ＩＰＥａは、浴室内の状態を示す深度画像ＤＩＭＧを深度カメラＤＣＡＭから取得し、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置を深度画像ＤＩＭＧに基づいて算出する。このように、情報処理装置ＩＰＥａは、深度画像ＤＩＭＧから観測対象の物体ＯＢＪａの３次元位置を検出する。
【００１８】
例えば、情報処理装置ＩＰＥａは、ヒストグラム生成部ＨＧＥＮａ、第１距離算出部ＤＣＡＬ１ａ、第２距離算出部ＤＣＡＬ２ａ、抽出部ＥＸＴａおよび位置算出部ＰＣＡＬａを有する。以下、第１距離算出部ＤＣＡＬ１ａは、距離算出部ＤＣＡＬ１ａとも称され、第２距離算出部ＤＣＡＬ２ａは、距離算出部ＤＣＡＬ２ａとも称される。
【００１９】
ヒストグラム生成部ＨＧＥＮａは、特定の物体ＥＤＧＢを含む領域の深度画像ＤＩＭＧに基づいて、距離に関するヒストグラムを生成する。図１の括弧内に示すヒストグラムの横軸は、深度カメラＤＣＡＭからの距離を示し、縦軸は、各距離に対応する画素値を保持する画素の数を示す。例えば、ヒストグラム生成部ＨＧＥＮａは、深度画像ＤＩＭＧにより表される距離毎に各距離に対応する画素値を保持する画素の数を計数して、距離に関するヒストグラムを生成する。この場合、ヒストグラムの各区間の幅は、深度画像ＤＩＭＧにより表される距離の精度（最小単位）に対応する。なお、ヒストグラムの各区間の幅は、深度画像ＤＩＭＧにより表される距離の精度より大きくてもよい。
【００２０】
距離算出部ＤＣＡＬ１ａは、基準の位置から観測対象の物体ＯＢＪａまでの第１の距離を深度画像ＤＩＭＧに基づいて算出する。例えば、距離算出部ＤＣＡＬ１ａは、深度画像ＤＩＭＧの各画素が示す距離のうち、最小の距離を第１の距離として算出する。距離算出部ＤＣＡＬ１ａは、第１の距離を、ヒストグラムを参照して算出してもよいし、ヒストグラムを参照せずに深度画像ＤＩＭＧから算出してもよい。図１に示す例では、距離算出部ＤＣＡＬ１ａは、深度画像ＤＩＭＧの各画素が示す距離のうち、最小の距離Ｄ１を、深度カメラＤＣＡＭから監視対象者ＯＢＪの頭部ＯＢＪａまでの第１の距離として算出する。そして、距離算出部ＤＣＡＬ１ａは、第１の距離Ｄ１を示す情報ＤＩＮＦ１を抽出部ＥＸＴａに出力する。
【００２１】
浴槽と観測対象者ＯＢＪとがほぼ等しい距離に分布する場合でも、監視対象者ＯＢＪの頭部ＯＢＪａの少なくとも一部が浴槽の縁ＥＤＧＢより深度カメラＤＣＡＭ側に存在すれば、距離算出部ＤＣＡＬ１ａは、第１の距離Ｄ１を算出できる。すなわち、監視対象者ＯＢＪと浴槽の縁ＥＤＧＢとが重なる場合でも、監視対象者ＯＢＪの頭部ＯＢＪａの少なくとも一部が浴槽の縁ＥＤＧＢより深度カメラＤＣＡＭ側に存在すれば、距離算出部ＤＣＡＬ１ａは、第１の距離Ｄ１を算出できる。
【００２２】
なお、距離算出部ＤＣＡＬ１ａは、第１の距離を算出する際の選択対象を、深度カメラＤＣＡＭの特性に基づいて限定してもよい。例えば、信頼度の低い部分を距離“０”として扱う深度カメラＤＣＡＭが用いられる場合、距離算出部ＤＣＡＬ１ａは、深度画像ＤＩＭＧの各画素が示す距離のうち、“０”を除く距離を選択対象にする。この場合、距離算出部ＤＣＡＬ１ａは、深度画像ＤＩＭＧの各画素が示す距離のうち、“０”を除く最小の距離を第１の距離として算出する。
【００２３】
距離算出部ＤＣＡＬ２ａは、深度画像ＤＩＭＧに基づいて生成されたヒストグラムの情報ＨＩＮＦをヒストグラム生成部ＨＧＥＮａから受け、基準の位置から特定の物体ＥＤＧＢまでの第２の距離をヒストグラムに基づいて算出する。例えば、距離算出部ＤＣＡＬ２ａは、ヒストグラムの各区間において、両側の区間より画素数が多い区間をピークＰＫ（ＰＫａ、ＰＫｂ）が発生している区間として検出する。図１に示すヒストグラムでは、距離算出部ＤＣＡＬ２ａは、距離Ｄ２、Ｄ３をピークＰＫａ、ＰＫｂが発生している区間として検出する。そして、距離算出部ＤＣＡＬ２ａは、ヒストグラムのピークＰＫのうち、ピークＰＫの値が高い順から複数のピークＰＫを選択し、選択した複数のピークＰＫにそれぞれ対応する複数の距離のうち、最小の距離を第２の距離として算出する。以下、ピークＰＫの値は、ピーク値とも称される。
【００２４】
図１に示す例では、距離算出部ＤＣＡＬ２ａは、距離Ｄ２、Ｄ３の２箇所で発生したピークＰＫａ、ＰＫｂを選択する。そして、距離算出部ＤＣＡＬ２ａは、２箇所で発生したピークＰＫａ、ＰＫｂにそれぞれ対応する距離Ｄ２、Ｄ３のうち、最小の距離Ｄ２を、深度カメラＤＣＡＭから浴槽の縁ＥＤＧＢまでの第２の距離として算出する。
【００２５】
ここで、例えば、浴室内を側面から見ると、下から床面、浴槽の縁ＥＤＧＢおよび監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭで計測される物体として存在する。浴室の天井に設置された深度カメラＤＣＡＭから見ると、床面、浴槽の縁ＥＤＧＢおよび監視対象者ＯＢＪの頭部ＯＢＪａは、深度画像ＤＩＭＧの画面内に含まれ、物体の高さに応じた画素値で分けられる。床面、浴槽の縁ＥＤＧＢは、監視対象者ＯＢＪの頭部ＯＢＪａに比べて、深度画像ＤＩＭＧの画面と平行またはほぼ平行な方向である水平方向の広がりが大きい。このため、深度カメラＤＣＡＭから浴槽の縁ＥＤＧＢまでの距離に対応する画素値で示される領域（画素数）は、深度カメラＤＣＡＭから監視対象者ＯＢＪの頭部ＯＢＪａまでの距離に対応する画素値で示される領域（画素数）に比べて、広くなる。同様に、深度カメラＤＣＡＭから床面までの距離に対応する画素値で示される領域（画素数）は、深度カメラＤＣＡＭから監視対象者ＯＢＪの頭部ＯＢＪａまでの距離に対応する画素値で示される領域（画素数）に比べて、広くなる。
【００２６】
したがって、深度画像ＤＩＭＧの画素値（距離）に対するヒストグラムでは、床面、浴槽の縁ＥＤＧＢが存在する距離でピークＰＫが発生する。監視対象者ＯＢＪの頭部ＯＢＪａが存在する距離でもピークＰＫが発生する場合があるが、監視対象者ＯＢＪの頭部ＯＢＪａが存在する距離では、床面、浴槽の縁ＥＤＧＢほど顕著にピークＰＫは発生しない。したがって、距離算出部ＤＣＡＬ２ａは、ヒストグラムのピークＰＫをピーク値が高い順にいくつか選択し、最小の距離で発生するピークＰＫを浴槽の縁ＥＤＧＢに起因するピークＰＫと判定する。
【００２７】
これにより、距離算出部ＤＣＡＬ２ａは、浴槽と観測対象者ＯＢＪとがほぼ等しい距離に分布する場合でも、浴槽の縁ＥＤＧＢに起因するピークＰＫを検出でき、深度カメラＤＣＡＭから浴槽の縁ＥＤＧＢまでの第２の距離Ｄ２を算出できる。すなわち、距離算出部ＤＣＡＬ２ａは、監視対象者ＯＢＪと浴槽の縁ＥＤＧＢとが重なる場合でも、浴槽の縁ＥＤＧＢに起因するピークＰＫを検出でき、深度カメラＤＣＡＭから浴槽の縁ＥＤＧＢまでの第２の距離Ｄ２を算出できる。距離算出部ＤＣＡＬ２ａは、第２の距離Ｄ２を示す情報ＤＩＮＦ２を抽出部ＥＸＴａに出力する。
【００２８】
抽出部ＥＸＴａは、第１の距離Ｄ１と第２の距離Ｄ２との間にあるいずれかの距離を閾値に設定し、第１の距離Ｄ１以上で閾値以下の距離を示す画素を対象画素として深度画像ＤＩＭＧから抽出する。例えば、抽出部ＥＸＴａは、距離Ｄ１と距離Ｄ２との中点（（Ｄ１＋Ｄ１）／２））を閾値として設定する。そして、抽出部ＥＸＴａは、距離Ｄ１以上で閾値（（Ｄ１＋Ｄ１）／２））以下の距離に対応する画素値を保持する画素を対象画素として、深度画像ＤＩＭＧから抽出する。なお、閾値は、距離Ｄ１と距離Ｄ２との中点に限定されない。すなわち、抽出部ＥＸＴａは、距離Ｄ１と距離Ｄ２との中点より距離Ｄ２側にあるいずれかの距離を閾値として設定してもよいし、距離Ｄ１と距離Ｄ２との中点より距離Ｄ１側にあるいずれかの距離を閾値として設定してもよい。
【００２９】
位置算出部ＰＣＡＬａは、対象画素の情報ＰＸＩＮＦを抽出部ＥＸＴａから受け、対象画素の深度画像ＤＩＭＧにおける位置および対象画素が示す距離に基づいて、観測対象の物体ＯＢＪａの３次元位置を算出する。そして、位置算出部ＰＣＡＬａは、観測対象の物体ＯＢＪａの３次元位置の情報ＰＩＮＦを制御装置ＣＮＴａに出力する。例えば、位置算出部ＰＣＡＬａは、対象画素の深度画像ＤＩＭＧにおける位置（２次元空間における位置）の平均と対象画素が示す距離の平均とを、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置として算出する。
【００３０】
このように、情報処理装置ＩＰＥａは、距離Ｄ１以上で閾値以下の距離を示す対象画素を、深度画像ＤＩＭＧにおける監視対象者ＯＢＪの頭部ＯＢＪａ（観測対象の物体ＯＢＪａ）に対応する画素と推定する。上述したように、監視対象者ＯＢＪと浴槽の縁ＥＤＧＢとが重なる場合でも、情報処理装置ＩＰＥａは、第１の距離Ｄ１および第２の距離Ｄ２を算出できるため、第１の距離Ｄ１と第２の距離Ｄ２との間にあるいずれかの距離を閾値に設定できる。したがって、情報処理装置ＩＰＥａは、監視対象者ＯＢＪと浴槽の縁ＥＤＧＢとが重なる場合でも、距離Ｄ１以上で閾値以下の距離を示す対象画素に基づいて、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置を算出できる。すなわち、情報処理装置ＩＰＥａは、特定の物体ＥＤＧＢと観測対象の物体ＯＢＪａの一部とがほぼ等しい距離に分布する場合でも、特定の物体ＥＤＧＢと観測対象の物体ＯＢＪａとを含む領域の深度画像ＤＩＭＧから観測対象の物体ＯＢＪａの位置を検出できる。
【００３１】
また、深度画像ＤＩＭＧから観測対象の物体ＯＢＪａの位置を検出することができるため、観測対象の物体ＯＢＪａを撮像したカラー画像から統計モデル等を用いて観測対象の物体ＯＢＪａの位置を検出する場合に比べて、計算量を低減することができる。
【００３２】
制御装置ＣＮＴａは、情報処理システムＩＳＹＳａ全体を制御する。また、制御装置ＣＮＴａは、情報処理装置ＩＰＥａにより検出された観測対象の物体ＯＢＪａの３次元位置に基づいて観測対象の物体ＯＢＪａの状態を判定し、観測対象の物体ＯＢＪａの状態が特定の状態である場合に所定の情報を外部に通知する。例えば、浴室内の異常を検知する情報処理システムＩＳＹＳａでは、特定の状態は、監視対象者ＯＢＪが意識を失った状態等の異常な状態である。したがって、制御装置ＣＮＴａは、例えば、監視対象者ＯＢＪの頭部ＯＢＪａが一定時間（例えば、５分）静止している場合、監視対象者ＯＢＪの状態が異常な状態であると判定し、異常を示す情報を外部に通知する。なお、異常な状態は、特定の状態の一例であり、異常を示す情報は、所定の情報の一例である。
【００３３】
監視対象者ＯＢＪと浴槽の縁ＥＤＧＢとが重なる場合でも、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置が情報処理装置ＩＰＥａにより検出されるため、制御装置ＣＮＴａは、浴室内の異常を検知できる。
【００３４】
なお、情報処理システムＩＳＹＳａの構成は、図１に示す例に限定されない。例えば、情報処理システムＩＳＹＳａは、深度カメラＤＣＡＭを有してもよい。また、深度カメラＤＣＡＭが情報処理システムＩＳＹＳａの外部に設けられる場合、情報処理システムＩＳＹＳａは、深度カメラＤＣＡＭが設置される空間（図１に示す例では、浴室）とは別の空間（例えば、居間等）に配置されてもよい。
【００３５】
また、第１距離算出部ＤＣＡＬ１ａは、ヒストグラム生成部ＨＧＥＮａ内に設けられてもよい。この場合、ヒストグラム生成部ＨＧＥＮａは、距離に関するヒストグラムを生成する際に、最小の距離を基準の位置から観測対象の物体ＯＢＪａまでの第１の距離Ｄ１として算出してもよい。
【００３６】
また、制御装置ＣＮＴａは、監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭから離れる動きを所定時間（例えば、３分間）継続している場合、監視対象者ＯＢＪの状態が異常な状態であると判定し、異常を示す情報を外部に通知してもよい。あるいは、制御装置ＣＮＴａは、監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢとの距離が所定値以下の状態が一定時間（例えば、２分）継続している場合、監視対象者ＯＢＪの状態が異常な状態であると判定し、異常を示す情報を外部に通知してもよい。
【００３７】
あるいは、情報処理システムＩＳＹＳａは、浴室以外の空間内の異常等を検知してもよい。例えば、情報処理システムＩＳＹＳａは、書斎内の異常を検知してもよい。この場合、例えば、深度カメラＤＣＡＭは、書斎の壁に設置され、特定の物体の一例である本棚の縁を含む領域の深度画像ＤＩＭＧを生成する。そして、情報処理装置ＩＰＥａは、観測対象の物体の一例である本が本棚からはみ出ている場合に、本の３次元位置を深度画像ＤＩＭＧから算出する。制御装置ＣＮＴａは、情報処理装置ＩＰＥａにより検出された本（観測対象の物体）の３次元位置に基づいて、本が本棚からはみ出ている異常な状態であるかを判定し、本が本棚からはみ出ている異常な状態である場合に異常を示す情報を外部に通知する。
【００３８】
以上、図１に示す実施形態では、ヒストグラム生成部ＨＧＥＮａは、特定の物体ＥＤＧＢを含む領域の深度画像ＤＩＭＧに基づいて、距離に関するヒストグラムを生成する。第１距離算出部ＤＣＡＬ１ａは、基準の位置から観測対象の物体ＯＢＪａまでの第１の距離Ｄ１を深度画像ＤＩＭＧに基づいて算出する。第２距離算出部ＤＣＡＬ２ａは、基準の位置から特定の物体ＯＢＪａまでの第２の距離Ｄ２をヒストグラムに基づいて算出する。抽出部ＥＸＴａは、第１の距離Ｄ１と第２の距離Ｄ２との間にあるいずれかの距離を閾値に設定し、第１の距離Ｄ１以上で閾値以下の距離を示す画素を対象画素として深度画像ＤＩＭＧから抽出する。位置算出部ＰＣＡＬａは、対象画素の深度画像ＤＩＭＧにおける位置および対象画素が示す距離に基づいて、観測対象の物体ＯＢＪａの３次元位置を算出する。
【００３９】
このように、情報処理装置ＩＰＥａは、第１の距離Ｄ１以上で閾値以下の距離の領域（対象画素）を観測対象の物体ＯＢＪａに対応する領域（画素）と推定し、推定した領域に基づいて観測対象の物体ＯＢＪａの３次元位置を算出する。観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、ヒストグラムを用いて第２の距離Ｄ２を算出することができる。また、観測対象の物体ＯＢＪａの少なくとも一部が特定の物体ＥＤＧＢより深度カメラＤＣＡＭ側に存在すれば、第１の距離Ｄ１を算出することができ、第１の距離Ｄ１と第２の距離Ｄ２との間にあるいずれかの距離を閾値に設定することができる。したがって、情報処理装置ＩＰＥａは、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、第１の距離Ｄ１以上で閾値以下の距離を示す対象画素に基づいて、観測対象の物体ＯＢＪａの３次元位置を算出できる。すなわち、情報処理装置ＩＰＥａは、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、特定の物体ＥＤＧＢと観測対象の物体ＯＢＪａとを含む領域の深度画像ＤＩＭＧから観測対象の物体ＯＢＪａの位置を検出できる。
【００４０】
また、制御装置ＣＮＴａは、情報処理装置ＩＰＥａにより検出された観測対象の物体ＯＢＪａの３次元位置に基づいて観測対象の物体ＯＢＪａの状態を判定し、観測対象の物体ＯＢＪａの状態が特定の状態である場合に所定の情報を外部に通知する。制御装置ＣＮＴａは、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、情報処理装置ＩＰＥａにより検出された観測対象の物体ＯＢＪａの３次元位置に基づいて、観測対象の物体ＯＢＪａの状態を判定できる。これにより、制御装置ＣＮＴａは、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、観測対象の物体ＯＢＪａの状態が特定の状態であるか否かを検知できる。
【００４１】
図２は、情報処理装置、情報処理システム、情報処理方法および情報処理プログラムの別の実施形態を示す。図１で説明した要素と同一または同様の要素については、同一または同様の符号を付し、これ等については、詳細な説明を省略する。図２以降においても、図１と同様に、情報処理システムＩＳＹＳｂが浴室内の異常を検知する場合を例にして、情報処理システムＩＳＹＳｂの動作等を説明する。なお、情報処理システムＩＳＹＳｂの検知対象は浴室内に限定されない。すなわち、情報処理システムＩＳＹＳｂは、浴室以外の空間内の異常等を検知してもよい。
【００４２】
図２に示す情報処理システムＩＳＹＳｂは、例えば、画像処理プロセッサＰＵＩ、制御プロセッサＰＵＣ、記憶部ＭＥＭ１、ＭＥＭＣ等を有するコンピュータにより実現される。例えば、情報処理システムＩＳＹＳｂは、深度カメラＤＣＡＭ、情報処理装置ＩＰＥｂ、制御装置ＣＮＴｂ、メモリインタフェース部ＭＩＦ、不揮発性メモリＮＶＭＥＭ、通信インタフェース部ＣＩＦ、通信装置ＣＯＭおよびセンサ部ＳＥＮＵを有する。情報処理装置ＩＰＥｂに含まれる画像処理プロセッサＰＵＩ、制御装置ＣＮＴｂに含まれる制御プロセッサＰＵＣ、メモリインタフェース部ＭＩＦおよび通信インタフェース部ＣＩＦは、バスＢＵＳに接続される。
【００４３】
深度カメラＤＣＡＭは、図１に示した深度カメラＤＣＡＭと同一または同様である。例えば、深度カメラＤＣＡＭは、特定の物体ＥＤＧＢを含む領域の深度画像ＤＩＭＧを生成し、生成した深度画像ＤＩＭＧを情報処理装置ＩＰＥｂに含まれる画像処理プロセッサＰＵＩに転送する。
【００４４】
情報処理装置ＩＰＥｂは、ＣＰＵ（Central Processing Unit）等の画像処理プロセッサＰＵＩおよび記憶部ＭＥＭＩを有する。画像処理プロセッサＰＵＩは、ヒストグラム生成部ＨＧＥＮｂ、第１距離算出部ＤＣＡＬ１ｂ、第２距離算出部ＤＣＡＬ２ｂ、抽出部ＥＸＴｂおよび位置算出部ＰＣＡＬｂを有する。以下、第１距離算出部ＤＣＡＬ１ｂは、距離算出部ＤＣＡＬ１ｂとも称され、第２距離算出部ＤＣＡＬ２ｂは、距離算出部ＤＣＡＬ２ｂとも称される。
【００４５】
例えば、画像処理プロセッサＰＵＩは、ヒストグラム生成部ＨＧＥＮｂ、距離算出部ＤＣＡＬ１ｂ、距離算出部ＤＣＡＬ２ｂ、抽出部ＥＸＴｂおよび位置算出部ＰＣＡＬｂの機能を実現するための情報処理プログラムを実行するハードウェアである。すなわち、ヒストグラム生成部ＨＧＥＮｂ、距離算出部ＤＣＡＬ１ｂ、距離算出部ＤＣＡＬ２ｂ、抽出部ＥＸＴｂおよび位置算出部ＰＣＡＬｂは、画像処理プロセッサＰＵＩが情報処理プログラムを実行することにより実現される。情報処理プログラムは、例えば、不揮発性メモリＮＶＭＥＭ等に格納される。
【００４６】
ヒストグラム生成部ＨＧＥＮｂ、距離算出部ＤＣＡＬ１ｂおよび距離算出部ＤＣＡＬ２ｂの各々は、図１に示したヒストグラム生成部ＨＧＥＮａ、距離算出部ＤＣＡＬ１ａおよび距離算出部ＤＣＡＬ２ａの各々と同一または同様である。また、抽出部ＥＸＴｂおよび位置算出部ＰＣＡＬｂの各々は、図１に示した抽出部ＥＸＴａおよび位置算出部ＰＣＡＬａの各々と同一または同様である。すなわち、画像処理プロセッサＰＵＩが情報処理プログラムを実行することにより、図１に示した情報処理装置ＩＰＥａと同一または同様な情報処理装置ＩＰＥｂが実現される。例えば、画像処理プロセッサＰＵＩは、深度カメラＤＣＡＭから取得した深度画像ＤＩＭＧに基づいて、観測対象の物体ＯＢＪａの３次元位置を算出する。記憶部ＭＥＭＩは、命令を記憶する命令記憶領域とデータを記憶するデータ記憶領域とを有し、画像処理プロセッサＰＵＩで使用する命令およびデータを記憶する。
【００４７】
制御装置ＣＮＴｂは、ＣＰＵ等の制御プロセッサＰＵＣおよび記憶部ＭＥＭＣを有する。制御プロセッサＰＵＣは、情報処理システムＩＳＹＳｂ全体を制御する。例えば、制御プロセッサＰＵＣは、図１に示した制御装置ＣＮＴａと同一または同様の機能を実現するための制御プログラムを実行するハードウェアである。すなわち、制御プロセッサＰＵＣが制御プログラムを実行することにより、図１に示した制御装置ＣＮＴａと同一または同様な制御装置ＣＮＴｂが実現される。例えば、制御プロセッサＰＵＣは、画像処理プロセッサＰＵＩにより検出された観測対象の物体ＯＢＪａの３次元位置に基づいて観測対象の物体ＯＢＪａの状態を判定し、観測対象の物体ＯＢＪａの状態が特定の状態である場合に所定の情報を外部に通知する。なお、制御プログラムは、例えば、不揮発性メモリＮＶＭＥＭ等に格納される。記憶部ＭＥＭＣは、命令を記憶する命令記憶領域とデータを記憶するデータ記憶領域とを有し、制御プロセッサＰＵＣで使用する命令およびデータを記憶する。
【００４８】
メモリインタフェース部ＭＩＦは、不揮発性メモリＮＶＭＥＭに接続される。不揮発性メモリＮＶＭＥＭは、フラッシュメモリ等の不揮発性の半導体メモリである。例えば、不揮発性メモリＮＶＭＥＭは、画像処理プロセッサＰＵＩが使用する情報処理プログラムおよびデータ、制御プロセッサが使用する制御プログラムおよびデータ等を記憶する。なお、不揮発性メモリＮＶＭＥＭは、コンピュータが読み取り可能な記録媒体の一例である。
【００４９】
通信インタフェース部ＣＩＦは、通信装置ＣＯＭおよびセンサ部ＳＥＮＵに接続される。通信装置ＣＯＭは、例えば、図３に示すゲートウェイＧＷと通信する。センサ部ＳＥＮＵは、例えば、浴室内に監視対象者ＯＢＪが居るか否かを検出するセンサである。例えば、制御プロセッサＰＵＣは、通信インタフェース部ＣＩＦおよび通信装置ＣＯＭを介してゲートウェイＧＷにアクセスする。また、制御プロセッサＰＵＣは、センサ部ＳＥＮＵによる検出結果等のセンサ情報を、通信インタフェース部ＣＩＦを介してセンサ部ＳＥＮＵから読み取る。
【００５０】
なお、情報処理システムＩＳＹＳｂの構成は、図２に示す例に限定されない。例えば、情報処理システムＩＳＹＳｂは、深度カメラＤＣＡＭを含まずに定義されてもよい。また、深度カメラＤＣＡＭは、通信インタフェース部ＣＩＦを介して画像処理プロセッサＰＵＩ等と通信してもよい。また、記憶部ＭＥＭＩは、バスＢＵＳを介して画像処理プロセッサＰＵＩに接続されてもよい。同様に、記憶部ＭＥＭＣは、バスＢＵＳを介して制御プロセッサＰＵＣに接続されてもよい。
【００５１】
また、画像処理プロセッサＰＵＩおよび制御プロセッサＰＵＣは、プロセッサコアでもよい。例えば、情報処理システムＩＳＹＳｂは、複数のプロセッサコアを有するマルチコアプロセッサを含むコンピュータにより実現されてもよい。また、例えば、情報処理システムＩＳＹＳｂを実現するコンピュータは、ハードディスクドライブ、ＳＳＤ（Solid State Drive）等の補助記憶装置を有してもよい。この場合、情報処理プログラム、制御プログラム等のプログラムは、補助記憶装置に格納されてもよい。また、情報処理プログラム、制御プログラム等のプログラムは、光ディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体に記録されてもよい。この場合、例えば、可搬型記録媒体に記録された情報の読み出しおよび記録を実行するドライブ装置等が情報処理システムＩＳＹＳｂを実現するコンピュータに接続されてもよい。光ディスク、ＵＳＢメモリ等の可搬型記録媒体は、コンピュータが読み取り可能な記録媒体の一例である。また、情報処理システムＩＳＹＳｂは、情報処理プログラム、制御プログラム等のプログラムを、通信装置ＣＯＭ等を介してサーバ等からダウンロードし、記憶部ＭＥＭＩ、ＭＥＭＣ等に格納してもよい。
【００５２】
図３は、図２に示した情報処理システムＩＳＹＳｂの通信経路の一例を示す。情報処理システムＩＳＹＳｂは、例えば、浴室の天井に設置される。そして、情報処理システムＩＳＹＳｂは、浴室内の状態等を示す情報を、ルータ等のゲートウェイＧＷおよびクラウドサーバＣＬＳＶを介して端末装置ＴＭに送信する。端末装置ＴＭは、例えば、監視者ＧＵＤが使用するコンピュータ、スマートフォン、携帯電話等である。
【００５３】
例えば、情報処理システムＩＳＹＳｂは、監視対象者ＯＢＪの状態が異常な状態であると判定した場合、監視対象者ＯＢＪの状態が異常な状態であることを示す情報を、ゲートウェイＧＷおよびクラウドサーバＣＬＳＶを介して端末装置ＴＭに送信する。図３に示す例では、情報処理システムＩＳＹＳｂは、監視対象者ＯＢＪの状態が異常な状態である場合、端末装置ＴＭの表示画面に“危険”と表示する。
【００５４】
なお、情報処理システムＩＳＹＳｂの通信経路は、図３に示す例に限定されない。例えば、情報処理システムＩＳＹＳｂは、ゲートウェイＧＷおよびクラウドサーバＣＬＳＶを介さずに、監視対象者ＯＢＪの状態が異常な状態であることを示す情報を端末装置ＴＭに送信してもよい。また、情報処理システムＩＳＹＳｂは、監視対象者ＯＢＪの状態が正常な状態である場合にも、正常であることを示す情報を端末装置ＴＭに送信してもよい。あるは、情報処理システムＩＳＹＳｂは、センサ部ＳＥＮＵの検出結果等のセンサ情報を端末装置ＴＭに送信してもよい。
【００５５】
図４は、浴室内の状態とヒストグラムとの対応の一例を示す。図４では、深度カメラＤＣＡＭからの距離の対応を分かりやすくするために、図１に示したヒストグラムを９０度回転させて記載している。したがって、図４では、ヒストグラムの縦軸は、深度カメラＤＣＡＭからの距離を示し、横軸は、各距離に対応する画素値を保持する画素の数を示す。
【００５６】
浴槽に入っている監視対象者ＯＢＪが正常な状態である場合、天井側から順に、監視対象者ＯＢＪの頭部ＯＢＪａ、浴槽の縁ＥＤＧＢおよび床面が深度カメラＤＣＡＭで計測される物体として存在する。この場合、深度画像ＤＩＭＧの各画素が示す距離のうち、最小の距離Ｄ１は、監視対象者ＯＢＪの頭頂部の位置に対応する。深度カメラＤＣＡＭから監視対象者ＯＢＪの頭頂部までの距離Ｄ１は、基準の位置から観測対象の物体ＯＢＪａまでの第１の距離の一例である。
【００５７】
また、図１で説明したように、ヒストグラムのピークＰＫは、浴槽の縁ＥＤＧＢが存在する距離と床面が存在する距離とで発生する。また、浴槽の縁ＥＤＧＢは、床面より深度カメラＤＣＡＭ側に存在するため、浴槽の縁ＥＤＧＢに起因するピークＰＫａに対応する距離は、床面に起因するピークＰＫｂに対応する距離より小さい。すなわち、ヒストグラムのピークＰＫのうち、最小の距離Ｄ２で発生するピークＰＫａが浴槽の縁ＥＤＧＢに起因するピークＰＫａである。したがって、距離Ｄ２より大きい距離Ｄ３で発生するピークＰＫｂは、床面に起因するピークＰＫｂである。
【００５８】
なお、深度カメラＤＣＡＭの性能等の影響により、浴槽の縁ＥＤＧＢおよび床面でそれぞれ２つのピークＰＫが検出される場合もある。この場合、４つのピークＰＫがヒストグラムから検出される。このため、距離算出部ＤＣＡＬ２ｂは、深度カメラＤＣＡＭから浴槽の縁ＥＤＧＢまでの第２の距離Ｄ２を算出する際に、４つに対して１つを念のために加えて、５つのピークＰＫをピーク値が高い順に選択する。なお、ピークＰＫの数が５つ未満である場合、全てのピークＰＫが選択される。そして、距離算出部ＤＣＡＬ２ｂは、選択したピークＰＫのうち、最小の距離Ｄ２で発生するピークＰＫａを浴槽の縁ＥＤＧＢに起因するピークＰＫａと判定する。
【００５９】
また、監視対象者ＯＢＪの頭部ＯＢＪａが存在する距離でもピークＰＫが発生する可能性があるため、所定値以下のピークＰＫは、選択対象から除外されてもよい。所定値は、例えば、実験、シミュレーション等に基づいて、頭部ＯＢＪａに起因するピークＰＫが選択されないように決定される。
【００６０】
監視対象者ＯＢＪの頭頂部の位置に対応する距離Ｄ１と浴槽の縁ＥＤＧＢの位置に対応する距離Ｄ２との中点Ｄｔｈ（＝（（Ｄ１＋Ｄ１）／２））は、頸部の位置（高さ）と推定され、閾値Ｄｔｈとして設定される。距離Ｄ１以上で閾値Ｄｔｈ以下の距離の領域（対象画素）は、監視対象者ＯＢＪの頭部ＯＢＪａに対応する領域（画素）と推定される。例えば、抽出部ＥＸＴｂは、距離Ｄ１以上で閾値Ｄｔｈ以下の距離に対応する画素値を保持する画素を、監視対象者ＯＢＪの頭部ＯＢＪａに対応する対象画素として深度画像ＤＩＭＧから抽出する。深度画像ＤＩＭＧから抽出された対象画素に基づいて、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置が算出される。
【００６１】
このように、監視対象者ＯＢＪの頭部ＯＢＪａに対応する対象画素は、監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢと床面との高さ方向の位置関係と、ヒストグラムとに基づいて、深度画像ＤＩＭＧから抽出される。このため、監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢとが重なる場合でも、頭部ＯＢＪａの少なくとも一部が浴槽の縁ＥＤＧＢより深度カメラＤＣＡＭ側に存在すれば、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置を算出することができる。
【００６２】
図５は、図２に示した情報処理装置ＩＰＥｂの動作の一例を示す。図５に示す動作は、例えば、画像処理プロセッサＰＵＩが情報処理プログラムを実行することにより実現される。
【００６３】
ステップＳ３１０では、画像処理プロセッサＰＵＩは、深度カメラＤＣＡＭの画素値（距離）に関するヒストグラムを生成する。すなわち、画像処理プロセッサＰＵＩは、深度カメラＤＣＡＭからの距離に対するヒストグラムを、深度画像ＤＩＭＧから生成する。
【００６４】
例えば、ヒストグラム生成部ＨＧＥＮｂは、区画の幅が“Ｗ”のヒストグラムを生成する場合、“Ｗ×ｎ”以上で“Ｗ×（ｎ＋１）”未満（ｎ＝０、１、２、３、・・・）の距離に対応する画素値を保持する画素の数を区間毎に計数する。そして、ヒストグラム生成部ＨＧＥＮｂは、計測した画素数を度数として、距離に関するヒストグラムを生成する。なお、ヒストグラムの各区間の幅Ｗは、深度画像ＤＩＭＧにより表される距離の精度（最小単位）と同じでもよいし、大きくてもよい。
【００６５】
次に、ステップＳ３２０では、画像処理プロセッサＰＵＩは、深度カメラＤＣＡＭに最も近い距離Ｄ１を監視対象者ＯＢＪの頭頂部の位置として算出する。例えば、画像処理プロセッサＰＵＩは、深度画像ＤＩＭＧの各画素により示される画素値のうちの最小値を算出し、最小値に対応する距離Ｄ１を監視対象者ＯＢＪの頭頂部の位置に対応する距離Ｄ１とする。
【００６６】
次に、ステップＳ３３０では、画像処理プロセッサＰＵＩは、ステップＳ３１０で生成したヒストグラムのピークＰＫのうち、ピーク値が高い方から５つのピークＰＫを選択する。なお、ヒストグラムのピークＰＫの数が５つ未満の場合、画像処理プロセッサＰＵＩは、ヒストグラムの全てのピークＰＫを選択する。
【００６７】
次に、ステップＳ３４０では、画像処理プロセッサＰＵＩは、ステップＳ３３０で選択したピークＰＫにそれぞれ対応する距離のうち、深度カメラＤＣＡＭに最も近い距離Ｄ２を、浴槽の縁ＥＤＧＢの位置に対応する距離Ｄ２として算出する。なお、ピークＰＫにそれぞれ対応する距離は、例えば、ピークＰＫが発生した区間の下限値（“Ｗ×ｎ”）でもよいし、区間の平均値（“Ｗ×ｎ＋Ｗ／２“）でもよい。このように、画像処理プロセッサＰＵＩは、ステップＳ３３０で選択したピークＰＫのうち、深度カメラＤＣＡＭに最も近い区間（距離）で発生するピークＰＫを浴槽の縁ＥＤＧＢに起因するピークＰＫと判定する。
【００６８】
次に、ステップＳ３５０では、画像処理プロセッサＰＵＩは、監視対象者ＯＢＪの頭頂部の位置と浴槽の縁ＥＤＧＢの位置との中点を監視対象者ＯＢＪの頸部の位置として算出する。すなわち、画像処理プロセッサＰＵＩは、ステップＳ３２０で算出した距離Ｄ１とステップＳ３４０で算出した距離Ｄ２との中点Ｄｔｈを監視対象者ＯＢＪの頸部の位置に対応する距離Ｄｔｈとして算出する。監視対象者ＯＢＪの頸部の位置に対応する距離Ｄｔｈ、すなわち、距離Ｄ１と距離Ｄ２との中点Ｄｔｈは、閾値Ｄｔｈの一例である。例えば、画像処理プロセッサＰＵＩは、監視対象者ＯＢＪの頸部の位置に対応する距離Ｄｔｈを閾値Ｄｔｈに設定する。なお、画像処理プロセッサＰＵＩは、距離Ｄ１と距離Ｄ２との中点より距離Ｄ２側にあるいずれかの距離を閾値Ｄｔｈとして設定してもよいし、距離Ｄ１と距離Ｄ２との中点より距離Ｄ１側にあるいずれかの距離を閾値Ｄｔｈとして設定してもよい。
【００６９】
次に、ステップＳ３６０では、画像処理プロセッサＰＵＩは、ステップＳ３５０で算出した監視対象者ＯＢＪの頸部の位置より高い位置の領域を監視対象者ＯＢＪの頭部ＯＢＪａの領域として抽出する。例えば、画像処理プロセッサＰＵＩは、距離Ｄ１以上で閾値Ｄｔｈ以下の距離に対応する画素値を保持する画素（領域）を、監視対象者ＯＢＪの頭部ＯＢＪａに対応する対象画素（領域）として深度画像ＤＩＭＧから抽出する。
【００７０】
次に、ステップＳ３７０では、画像処理プロセッサＰＵＩは、ステップＳ３６０で抽出した監視対象者ＯＢＪの頭部ＯＢＪａの領域の重心を監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置として算出する。例えば、画像処理プロセッサＰＵＩは、監視対象者ＯＢＪの頭部ＯＢＪａに対応する対象画素の深度画像ＤＩＭＧにおける位置（２次元空間における位置）の平均を、監視対象者ＯＢＪの頭部ＯＢＪａの水平方向の位置として算出する。そして、画像処理プロセッサＰＵＩは、対象画素が示す距離の平均を、監視対象者ＯＢＪの頭部ＯＢＪａの垂直方向の位置として算出する。水平方向は、深度画像ＤＩＭＧの画面と平行またはほぼ平行な方向であり、垂直方向は、深度画像ＤＩＭＧの画面と垂直またはほぼ垂直な方向である。このように、画像処理プロセッサＰＵＩは、対象画素の深度画像ＤＩＭＧにおける位置および対象画素が示す距離に基づいて、観測対象の物体ＯＢＪａの３次元位置を算出する。
【００７１】
なお、情報処理装置ＩＰＥｂの動作は、図５に示す例に限定されない。例えば、画像処理プロセッサＰＵＩは、ステップＳ３３０で５つのピークを検出する際に、監視対象者ＯＢＪの頭部ＯＢＪａに起因するピークＰＫを選択しないように、ピーク値が所定値以下のピークＰＫを選択対象から除外してもよい。また、ステップＳ３３０で選択するピークＰＫの数は、５つに限定されない。また、画像処理プロセッサＰＵＩは、浴槽の縁ＥＤＧＢの位置に対応する距離Ｄ２の他に、浴槽の縁ＥＤＧＢの水平方向の位置を算出してもよい。例えば、画像処理プロセッサＰＵＩは、距離Ｄ２に対応する画素値を保持する画素の水平方向の位置を、浴槽の縁ＥＤＧＢの水平方向の位置として算出してもよい。
【００７２】
図６は、図２に示した制御装置ＣＮＴｂの動作の一例を示す。図６に示す動作は、例えば、情報処理システムＩＳＹＳｂ全体を制御する制御プロセッサＰＵＣが制御プログラムを実行することにより実現される。したがって、図６に示す動作は、情報処理システムＩＳＹＳｂの動作に対応する。
【００７３】
ステップＳ１００では、制御プロセッサＰＵＣは、人（監視対象者ＯＢＪ）が浴室に入るまで、ステップＳ２００の処理の実行を待機する。例えば、センサ部ＳＥＮＵは、浴室内に監視対象者ＯＢＪが居るか否かを検出する。そして、制御プロセッサＰＵＣは、監視対象者ＯＢＪが浴室に入ったことをセンサ部ＳＥＮＵが検出するまで、ステップＳ２００以降の処理の実行を待機する。監視対象者ＯＢＪが浴室に入ったことをセンサ部ＳＥＮＵが検出した場合、制御プロセッサＰＵＣの動作は、ステップＳ２００に移る。なお、深度カメラＤＣＡＭは、監視対象者ＯＢＪが浴室に入ったことをセンサ部ＳＥＮＵが検出した後に動作を開始してもよいし、監視対象者ＯＢＪが浴室に入ったことをセンサ部ＳＥＮＵが検出する前に動作を開始してもよい。
【００７４】
ステップＳ２００では、制御プロセッサＰＵＣは、深度画像ＤＩＭＧの取得間隔に対応する時間が経過するまで、ステップＳ３００の処理の実行を待機する。例えば、制御プロセッサＰＵＣは、ステップＳ３００、Ｓ４００、Ｓ５００の一連の処理を繰り返して実行する際の周期が深度画像ＤＩＭＧの生成間隔に同期するように、ステップＳ３００の処理の実行を待機する。深度画像ＤＩＭＧの取得間隔に対応する時間が経過した場合、制御プロセッサＰＵＣの動作は、ステップＳ３００に移る。
【００７５】
ステップＳ３００では、制御プロセッサＰＵＣは、深度画像ＤＩＭＧを深度カメラＤＣＡＭから情報処理装置ＩＰＥｂに転送する。例えば、制御プロセッサＰＵＣは、深度カメラＤＣＡＭに深度画像ＤＩＭＧの転送を指示する。あるいは、制御プロセッサＰＵＣは、画像処理プロセッサＰＵＩに深度画像ＤＩＭＧの取得を指示する。これにより、深度画像ＤＩＭＧが深度カメラＤＣＡＭから画像処理プロセッサＰＵＩに転送される。深度画像ＤＩＭＧを受けた画像処理プロセッサＰＵＩは、図５に示したステップＳ３１０−Ｓ３７０の処理を実行する。これにより、浴槽の縁ＥＤＧＢの位置に対応する距離Ｄ２、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置等が算出される。
【００７６】
次に、ステップＳ４００では、制御プロセッサＰＵＣは、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置、浴槽の縁ＥＤＧＢの位置（距離Ｄ２）等を示す情報を、情報処理装置ＩＰＥｂの画像処理プロセッサＰＵＩから取得する。
【００７７】
次に、ステップＳ５００では、制御プロセッサＰＵＣは、入浴者である監視対象者ＯＢＪの状態を判定して通知する状態判定通知処理を実行する。状態判定通知処理の詳細は、図７で説明する。例えば、状態判定通知処理により、監視対象者ＯＢＪの状態が異常な状態であるか否かが判定され、監視対象者ＯＢＪの状態が異常な状態である場合に、図３で説明したように、異常を示す情報が監視者ＧＵＤの端末装置ＴＭに通知される。
【００７８】
次に、ステップＳ６００では、制御プロセッサＰＵＣは、人（監視対象者ＯＢＪ）が浴室から退出したか否かを判定する。例えば、制御プロセッサＰＵＣは、人が浴室に居ることを示す検出結果（センサ情報）をセンサ部ＳＥＮＵから受信した場合、監視対象者ＯＢＪが浴室から退出していないと判定する。監視対象者ＯＢＪが浴室から退出していない場合、制御プロセッサＰＵＣの動作は、ステップＳ２００に戻る。
【００７９】
一方、制御プロセッサＰＵＣは、人が浴室に居ないことを示す検出結果をセンサ部ＳＥＮＵから受信した場合、監視対象者ＯＢＪが浴室から退出したと判定する。監視対象者ＯＢＪが浴室から退出した場合、制御プロセッサＰＵＣの動作は、ステップＳ１００に戻る。なお、ステップＳ１００において、監視対象者ＯＢＪが浴室に入ったことをセンサ部ＳＥＮＵが検出した後に深度カメラＤＣＡＭが動作を開始する場合、制御プロセッサＰＵＣは、深度カメラＤＣＡＭの動作を停止してから、動作をステップＳ１００に戻す。このように、監視対象者ＯＢＪの状態の異常を検知する処理は、監視対象者ＯＢＪが浴室に入ってから退出するまで実行される。なお、制御装置ＣＮＴｂの動作、すなわち、制御プロセッサＰＵＣの動作は、図６に示す例に限定されない。
【００８０】
図７は、図６に示した状態判定通知処理の一例を示す。制御プロセッサＰＵＣは、図６に示したステップＳ４００で取得した監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置、浴槽の縁ＥＤＧＢの位置（距離Ｄ２）等を示す情報を用いて、図７に示す状態判定通知処理を実行する。
【００８１】
ステップＳ５１０では、制御プロセッサＰＵＣは、監視対象者ＯＢＪの頭部ＯＢＪａが所定時間（例えば、５分間）静止しているか否かを判定する。監視対象者ＯＢＪの頭部ＯＢＪａが所定時間静止している状態は、監視対象者ＯＢＪの動作が止まっていることを意味し、監視対象者ＯＢＪが異常な状態であることを意味する。なお、監視対象者ＯＢＪの頭部ＯＢＪａが所定時間静止しているか否かは、例えば、所定時間前から現在までに観測された監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置が予め決められた一定の範囲内に収まっているか否かを判定することにより判定される。なお、所定時間および一定の範囲は、例えば、実験、シミュレーション、統計データ等に基づいて、予め決定される。
【００８２】
例えば、制御プロセッサＰＵＣは、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置が、所定時間の間、予め決められた一定の範囲内に収まっているか否かを判定する。そして、制御プロセッサＰＵＣは、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置が、所定時間の間、予め決められた一定の範囲内に収まっている場合、監視対象者ＯＢＪの頭部ＯＢＪａが所定時間静止していると判定する。監視対象者ＯＢＪの頭部ＯＢＪａが所定時間静止している場合、制御プロセッサＰＵＣの動作は、ステップＳ５５０に移る。
【００８３】
一方、制御プロセッサＰＵＣは、所定時間内における監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置の変化が予め決められた一定の範囲を超えた場合、監視対象者ＯＢＪの頭部ＯＢＪａが動いていると判定する。監視対象者ＯＢＪの頭部ＯＢＪａが動いている場合、制御プロセッサＰＵＣの動作は、ステップＳ５２０に移る。
【００８４】
ステップＳ５２０では、制御プロセッサＰＵＣは、監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭから離れる動きを所定時間（例えば、３分間）継続しているか否かを判定する。監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭから離れる動きを所定時間継続している状態は、監視対象者ＯＢＪの頭部ＯＢＪａが下がり続けていることを意味し、体に力が入っていない異常な状態であることを意味する。所定時間は、例えば、実験、シミュレーション、統計データ等に基づいて、予め決定される。ステップＳ５２０で参照される所定時間は、ステップＳ５１０で参照される所定時間と同じ時間でもよいし、異なる時間でもよい。
【００８５】
監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭから離れる動きを所定時間継続しているか否かは、例えば、所定時間前から現在までに観測された監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置における垂直方向の位置の変化等に基づいて判定される。
【００８６】
例えば、制御プロセッサＰＵＣは、監視対象者ＯＢＪの頭部ＯＢＪａの位置が深度カメラＤＣＡＭから離れる方向に移動する回数（増加回数）と、監視対象者ＯＢＪの頭部ＯＢＪａの位置が深度カメラＤＣＡＭに近づく方向に移動する回数（減少回数）とを検出する。そして、制御プロセッサＰＵＣは、増加回数が減少回数より多い場合、監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭから離れる動きを所定時間継続していると判定する。監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭから離れる動きを所定時間継続している場合、制御プロセッサＰＵＣの動作は、ステップＳ５５０に移る。
【００８７】
一方、制御プロセッサＰＵＣは、増加回数が減少回数以下の場合、監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭから離れる動きを所定時間継続している状態ではないと判定する。監視対象者ＯＢＪの頭部ＯＢＪａが深度カメラＤＣＡＭから離れる動きを所定時間継続している状態ではない場合、制御プロセッサＰＵＣの動作は、ステップＳ５３０に移る。
【００８８】
ステップＳ５３０では、制御プロセッサＰＵＣは、監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢとの距離が所定値以下である状態が所定時間（例えば、２分間）継続しているか否かを判定する。所定時間および所定値は、例えば、実験、シミュレーション、統計データ等に基づいて、予め決定される。ステップＳ５３０で参照される所定時間は、ステップＳ５１０、Ｓ５２０で参照される所定時間のいずれかと同じ時間でもよいし、いずれとも異なる時間でもよい。
【００８９】
監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢとの距離が所定値以下である状態は、例えば、監視対象者ＯＢＪの頭部ＯＢＪａのほとんどの部分が浴槽の縁ＥＤＧＢより下にあることを意味し、鼻および口が水面に近いことが予想される。したがって、図７に示す動作では、監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢとの距離が所定値以下である状態は、監視対象者ＯＢＪが異常な状態であると判定される。
【００９０】
監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢとの距離が所定値以下である状態が所定時間継続しているか否かは、例えば、所定時間前から現在までに観測された監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置における垂直方向の位置等に基づいて判定される。
【００９１】
例えば、制御プロセッサＰＵＣは、監視対象者ＯＢＪの頭部ＯＢＪａの３次元位置のうちの垂直方向における位置（距離）と浴槽の縁ＥＤＧＢの位置に対応する距離Ｄ２との差が所定値以下である状態が所定時間継続しているか否かを判定する。監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢとの距離が所定値以下である状態が所定時間継続している場合、制御プロセッサＰＵＣの動作は、ステップＳ５５０に移る。一方、監視対象者ＯＢＪの頭部ＯＢＪａと浴槽の縁ＥＤＧＢとの距離が所定値を超える状態が所定時間内に発生する場合、制御プロセッサＰＵＣの動作は、ステップＳ５４０に移る。
【００９２】
ステップＳ５４０では、制御プロセッサＰＵＣは、監視対象者ＯＢＪは正常な状態である、すなわち、異常なしと判定し、状態判定通知処理を終了する。状態判定通知処理が終了した後、制御プロセッサＰＵＣの動作は、図６に示したステップＳ６００に移る。
【００９３】
ステップＳ５５０では、制御プロセッサＰＵＣは、異常を示す情報を監視者ＧＵＤの端末装置ＴＭに通知する。例えば、制御プロセッサＰＵＣは、図３で説明したように、監視対象者ＯＢＪの状態が異常であることを示す情報を、ゲートウェイＧＷおよびクラウドサーバＣＬＳＶを介して端末装置ＴＭに送信し、状態判定通知処理を終了する。状態判定通知処理が終了した後、制御プロセッサＰＵＣの動作は、図６に示したステップＳ６００に移る。
【００９４】
このように、制御プロセッサＰＵＣは、観測対象の物体ＯＢＪａの位置が、所定時間の間、予め決められた一定の範囲内に収まっている場合、観測対象の物体ＯＢＪａの状態が特定の状態であると判定し、所定の情報を外部に通知する。あるいは、制御プロセッサＰＵＣは、観測対象の物体ＯＢＪａが基準の位置から離れる動きを所定時間継続していることを観測対象の物体ＯＢＪａの位置の変化に基づいて検出した場合、観測対象の物体ＯＢＪａの状態が特定の状態であると判定する。そして、制御プロセッサＰＵＣは、所定の情報を外部に通知する。また、制御プロセッサＰＵＣは、観測対象の物体ＯＢＪａと特定の物体ＥＤＧＢとの距離が所定値以下である状態が所定時間継続している場合、観測対象の物体ＯＢＪａの状態が特定の状態であると判定し、所定の情報を外部に通知する。
【００９５】
なお、状態判定通知処理は、図７に示す例に限定されない。例えば、制御プロセッサＰＵＣは、ステップＳ５１０、Ｓ５２０、Ｓ５３０のうちのいずれか１つ、または、いずれか２つを省いてもよい。また、制御プロセッサＰＵＣは、ステップＳ５４０において、監視対象者ＯＢＪが正常な状態であることを示す情報を、端末装置ＴＭに送信してもよい。あるいは、制御プロセッサＰＵＣは、特定な状態を緊急度等に基づいて複数の特定状態に分け、観測対象の物体ＯＢＪａの状態が複数の特定状態のいずれかであるかを判定し、緊急度に応じた情報を端末装置ＴＭに送信してもよい。
【００９６】
以上、図２から図７に示す実施形態においても、図１に示した実施形態と同様の効果を得ることができる。例えば、画像処理プロセッサＰＵＩは、基準の位置から観測対象の物体ＯＢＪａまでの第１の距離Ｄ１を深度画像ＤＩＭＧに基づいて算出する。したがって、観測対象の物体ＯＢＪａの少なくとも一部が特定の物体ＥＤＧＢより深度カメラＤＣＡＭ側に存在すれば、第１の距離Ｄ１を算出することができる。
【００９７】
また、画像処理プロセッサＰＵＩは、特定の物体ＥＤＧＢを含む領域の深度画像ＤＩＭＧに基づいて、距離に関するヒストグラムを生成し、基準の位置から特定の物体ＥＤＧＢまでの第２の距離Ｄ２をヒストグラムに基づいて算出する。これにより、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、ヒストグラムから第２の距離Ｄ２を算出することができる。
【００９８】
そして、画像処理プロセッサＰＵＩは、第１の距離Ｄ１と第２の距離Ｄ２との間に閾値Ｄｔｈを設定し、閾値Ｄｔｈ以下で第１の距離Ｄ１以上の距離の領域（対象画素）に基づいて、観測対象の物体ＯＢＪａの３次元位置を算出する。すなわち、画像処理プロセッサＰＵＩは、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、第１の距離Ｄ１以上で閾値Ｄｔｈ以下の距離を示す対象画素に基づいて、観測対象の物体ＯＢＪａの３次元位置を算出できる。すなわち、画像処理プロセッサＰＵＩは、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、特定の物体ＥＤＧＢと観測対象の物体ＯＢＪａとを含む領域の深度画像ＤＩＭＧから観測対象の物体ＯＢＪａの位置を検出できる。
【００９９】
また、制御プロセッサＰＵＣは、画像処理プロセッサＰＵＩにより検出された観測対象の物体ＯＢＪａの３次元位置に基づいて観測対象の物体ＯＢＪａの状態を判定し、観測対象の物体ＯＢＪａの状態が特定の状態である場合に所定の情報を外部に通知する。制御プロセッサＰＵＣは、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、画像処理プロセッサＰＵＩにより検出された観測対象の物体ＯＢＪａの３次元位置に基づいて、観測対象の物体ＯＢＪａの状態を判定できる。これにより、制御プロセッサＰＵＣは、観測対象の物体ＯＢＪａの一部と特定の物体ＥＤＧＢとが重なる場合でも、観測対象の物体ＯＢＪａの状態が特定の状態であるか否かを検知できる。
【０１００】
以上の実施形態において説明した発明を整理して、付記として開示する。
（付記１）
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置において、
特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成するヒストグラム生成部と、
前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出する第１距離算出部と、
前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出する第２距離算出部と、
前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出する抽出部と、
前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する位置算出部と
を有することを特徴とする情報処理装置。
（付記２）
付記１に記載の情報処理装置において、
前記観測対象の物体は、人物の頭部である
ことを特徴とする情報処理装置。
（付記３）
付記１または付記２に記載の情報処理装置において、
前記第１距離算出部は、前記深度画像の各画素が示す距離のうち、最小の距離を前記第１の距離として算出する
ことを特徴とする情報処理装置。
（付記４）
付記１ないし付記３のいずれか１項に記載の情報処理装置において、
前記第２距離算出部は、前記ヒストグラムのピークのうち、ピークの値が高い順から複数のピークを選択し、選択した前記複数のピークにそれぞれ対応する複数の距離のうち、最小の距離を前記第２の距離として算出する
ことを特徴とする情報処理装置。
（付記５）
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置と、
前記情報処理装置により検出された前記観測対象の物体の３次元空間における位置に基づいて前記観測対象の物体の状態を判定し、前記観測対象の物体の状態が特定の状態である場合に所定の情報を外部に通知する制御装置とを有し、
前記情報処理装置は、
特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成するヒストグラム生成部と、
前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出する第１距離算出部と、
前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出する第２距離算出部と、
前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出する抽出部と、
前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する位置算出部とを有する
ことを特徴とする情報処理システム。
（付記６）
付記５に記載の情報処理システムにおいて、
前記観測対象の物体は、人物の頭部であり、
前記特定の物体は、浴槽の縁である
ことを特徴とする情報処理システム。
（付記７）
付記６に記載の情報処理システムにおいて、
前記制御装置は、前記観測対象の物体の３次元空間における位置が、所定時間の間、予め決められた一定の範囲内に収まっている場合、前記観測対象の物体の状態が前記特定の状態であると判定し、前記所定の情報を外部に通知する
ことを特徴とする情報処理システム。
（付記８）
付記６または付記７に記載の情報処理システムにおいて、
前記制御装置は、前記観測対象の物体が前記基準の位置から離れる動きを所定時間継続していることを前記観測対象の物体の位置の変化に基づいて検出した場合、前記観測対象の物体の状態が前記特定の状態であると判定し、前記所定の情報を外部に通知する
ことを特徴とする情報処理システム。
（付記９）
付記６ないし付記８のいずれか１項に記載の情報処理システムにおいて、
前記制御装置は、前記観測対象の物体と前記特定の物体との距離が所定値以下である状態が所定時間継続している場合、前記観測対象の物体の状態が前記特定の状態であると判定し、前記所定の情報を外部に通知する
ことを特徴とする情報処理システム。
（付記１０）
付記５ないし付記９のいずれか１項に記載の情報処理システムにおいて、
前記第１距離算出部は、前記深度画像の各画素が示す距離のうち、最小の距離を前記第１の距離として算出する
ことを特徴とする情報処理システム。
（付記１１）
付記５ないし付記１０のいずれか１項に記載の情報処理システムにおいて、
前記第２距離算出部は、前記ヒストグラムのピークのうち、ピークの値が高い順から複数のピークを選択し、選択した前記複数のピークにそれぞれ対応する複数の距離のうち、最小の距離を前記第２の距離として算出する
ことを特徴とする情報処理システム。
（付記１２）
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理装置における情報処理方法において、
前記情報処理装置が有するヒストグラム生成部が、特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成し、
前記情報処理装置が有する第１距離算出部が、前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出し、
前記情報処理装置が有する第２距離算出部が、前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出し、
前記情報処理装置が有する抽出部が、前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出し、
前記情報処理装置が有する位置算出部が、前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する
ことを特徴とする情報処理方法。
（付記１３）
付記１２に記載の情報処理方法において、
前記観測対象の物体は、人物の頭部である
ことを特徴とする情報処理方法。
（付記１４）
付記１２または付記１３に記載の情報処理方法において、
前記第１距離算出部が、前記深度画像の各画素が示す距離のうち、最小の距離を前記第１の距離として算出する
ことを特徴とする情報処理方法。
（付記１５）
付記１２ないし付記１４のいずれか１項に記載の情報処理方法において、
前記第２距離算出部が、前記ヒストグラムのピークのうち、ピークの値が高い順から複数のピークを選択し、選択した前記複数のピークにそれぞれ対応する複数の距離のうち、最小の距離を前記第２の距離として算出する
ことを特徴とする情報処理方法。
（付記１６）
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理をコンピュータに実行させるための情報処理プログラムにおいて、
特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成し、
前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出し、
前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出し、
前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出し、
前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する
ことを特徴とする情報処理プログラム。
（付記１７）
付記１６に記載の情報処理プログラムにおいて、
前記観測対象の物体は、人物の頭部である
ことを特徴とする情報処理プログラム。
（付記１８）
付記１６または付記１７に記載の情報処理プログラムにおいて、
前記深度画像の各画素が示す距離のうち、最小の距離を前記第１の距離として算出する
ことを特徴とする情報処理プログラム。
（付記１９）
付記１６ないし付記１８のいずれか１項に記載の情報処理プログラムにおいて、
前記ヒストグラムのピークのうち、ピークの値が高い順から複数のピークを選択し、選択した前記複数のピークにそれぞれ対応する複数の距離のうち、最小の距離を前記第２の距離として算出する
ことを特徴とする情報処理プログラム。
（付記２０）
基準の位置から対象物までの距離と画素値とが対応付けられた画素を含む深度画像から観測対象の物体の３次元空間における位置を検出する情報処理をコンピュータに実行させるための情報処理プログラムを記録した記録媒体であって、
特定の物体を含む領域の前記深度画像に基づいて、距離に関するヒストグラムを生成し、
前記基準の位置から前記観測対象の物体までの第１の距離を前記深度画像に基づいて算出し、
前記基準の位置から前記特定の物体までの第２の距離を前記ヒストグラムに基づいて算出し、
前記第１の距離と前記第２の距離との間にあるいずれかの距離を閾値に設定し、前記第１の距離以上で前記閾値以下の距離を示す画素を対象画素として前記深度画像から抽出し、
前記対象画素の前記深度画像における位置および前記対象画素が示す距離に基づいて、前記観測対象の物体の３次元空間における位置を算出する
処理をコンピュータに実行させるための情報処理プログラムを記録したことを特徴とするコンピュータが読み取り可能な記録媒体。
【０１０１】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲がその精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。
【符号の説明】
【０１０２】
ＣＮＴａ、ＣＮＴｂ‥制御装置；ＣＩＦ‥通信インタフェース部；ＣＯＭ‥通信装置；ＤＣＡＬ１ａ、ＤＣＡＬ１ｂ‥第１距離算出部；ＤＣＡＬ２ａ、ＤＣＡＬ２ｂ‥第２距離算出部；ＤＣＡＭ‥深度カメラ；ＥＸＴａ、ＥＸＴｂ‥抽出部；ＨＧＥＮａ‥ヒストグラム生成部；ＩＰＥａ、ＩＰＥｂ‥情報処理装置；ＩＳＹＳａ、ＩＳＹＳｂ‥情報処理システム；ＭＥＭＣ、ＭＥＭＩ‥記憶部；ＭＩＦ‥メモリインタフェース部；ＮＶＭＥＭ‥不揮発性メモリ；ＰＣＡＬａ、ＰＣＡＬｂ‥位置算出部；ＰＵＣ‥制御プロセッサ；ＰＵＩ‥画像処理プロセッサ；ＳＥＮＵ‥センサ部
【図１】
2018055343.tif 000003
【図２】
2018055343.tif 000004
【図３】
2018055343.tif 000005
【図４】
2018055343.tif 000006
【図５】
2018055343.tif 000007
【図６】
2018055343.tif 000008
【図７】
2018055343.tif 000009