(57)【要約】【課題】検出部の検出領域内に存在する可動物体が変位した場合にも、可動物体の領域を除外した人領域を抽出する。【解決手段】第１取得部１８は、検出部１２の検出範囲内の３次元情報を検出部１２から取得する。また、第２取得部２０は、検出部１２の検出範囲内に存在する特定可動物体に相当する可動物体領域を３次元情報から特定可能な可動物体特定情報を取得する。また、抽出部２４は、第１取得部１８によって取得された車室内に人が存在しない状況での３次元情報(ベースフレームｆ1)と車室内に人が存在している状況での３次元情報ｆnとの背景差分|ｆn−ｆ1|を演算する。そして、抽出部２４は、背景差分|ｆn−ｆ1|及び第２取得部２０によって取得された可動物体特定情報に基づいて、３次元情報ｆnから人に相当する人領域を抽出する。【選択図】図１
2017138680.tif 000002
【特許請求の範囲】
【請求項１】
検出部の検出範囲内に人が存在しない第１状況での第１の３次元情報を前記検出部から取得すると共に、前記検出範囲内に人が存在している第２状況での第２の３次元情報を前記検出部から取得する第１取得部と、
前記検出範囲内に存在する可動物体に相当する可動物体領域を前記第２の３次元情報から特定可能な可動物体特定情報を取得する第２取得部と、
前記第１取得部によって取得された前記第１の３次元情報と前記第２の３次元情報との差分、及び、前記第２取得部によって取得された前記可動物体特定情報に基づいて、前記第２の３次元情報から前記人に相当する人領域を抽出する抽出部と、
を含む画像処理装置。
【請求項２】
前記抽出部は、前記差分に基づいて前記第１状況と前記第２状況との間での前記可動物体の移動の有無を判定し、前記可動物体の移動有りと判定した場合は、前記可動物体特定情報に基づいて前記第２の３次元情報から前記可動物体領域を特定し、前記差分及び前記可動物体領域の特定結果に基づいて前記第２の３次元情報から前記人領域を抽出する請求項１記載の画像処理装置。
【請求項３】
前記抽出部は、前記可動物体の移動無しと判定した場合は、前記差分を表す差分情報に差分として現れている領域に対応する前記第２の３次元情報の領域を、前記人領域として抽出する請求項２記載の画像処理装置。
【請求項４】
前記抽出部は、前記可動物体特定情報に基づいて前記第２の３次元情報から前記可動物体領域を特定し、前記差分を表す差分情報に差分として現れている領域に対応する前記第２の３次元情報の領域のうち、特定した前記可動物体領域以外の領域を、前記人領域として抽出する請求項１記載の画像処理装置。
【請求項５】
前記第１取得部は、取得した前記第１の３次元情報を記憶部に記憶させ、
前記抽出部は、前記記憶部に記憶された前記第１の３次元情報を用いて前記人領域の抽出を行った後に、前記記憶部に記憶された前記第１の３次元情報を前記可動物体の移動に応じて更新する請求項４記載の画像処理装置。
【請求項６】
前記第１取得部は、取得した前記第１の３次元情報を記憶部に記憶させ、
前記抽出部は、前記記憶部に記憶された前記第１の３次元情報を前記可動物体の移動に応じて更新した後に、更新後の前記第１の３次元情報を用いて前記人領域の抽出を行う請求項４記載の画像処理装置。
【請求項７】
前記第１取得部は、前記検出範囲内の３次元情報を前記検出部から取得し、
前記第２取得部は、前記第１取得部によって取得された、前記検出範囲内に人が存在しない第１状況での第１の３次元情報から前記可動物体特定情報を取得する請求項１〜請求項６の何れか１項記載の画像処理装置。
【請求項８】
検出部の検出範囲内に人が存在しない第１状況での第１の３次元情報を前記検出部から取得すると共に、前記検出範囲内に人が存在している第２状況での第２の３次元情報を前記検出部から取得し、
かつ、前記検出範囲内に存在する可動物体に相当する可動物体領域を前記第２の３次元情報から特定可能な可動物体特定情報を取得し、
取得した前記第１の３次元情報と前記第２の３次元情報との差分、及び、取得した前記可動物体特定情報に基づいて、前記第２の３次元情報から前記人に相当する人領域を抽出する
処理をコンピュータに実行させる画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
従来より、画像からパニングベクトル等を検出して推定領域を抽出し、推定領域の形状から人の上半身の３次元モデルの位置姿勢を推定して投影することで、人物の顔領域を抽出し、その領域に高い情報量を割り当てた符号化を行う第１の技術が提案されている。
【０００３】
また、移動する人物の顔画像を辞書情報と照合することで、予め登録された人物か否かを判定するにあたり、エリア内の個々の人物に対する照合処理を個々の人物が特定の位置に近づく順に開始する第２の技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−２７５２３７号公報
【特許文献２】特開２００８−１５８６７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば、車両のシートに人が着座している場合、シートは人のシート調整操作に伴って変位する。この例のように、検出領域内に存在する可動物体(上記の例ではシート)が変位した場合に、可動物体の領域を除外した人領域を抽出したい、という課題がある。これに対し、第１の技術及び第２の技術は、変位した可動物体の領域と人領域とを分離することができないので、上記の課題を解決することはできない。
【０００６】
一つの側面では、本発明は、検出領域内に存在する可動物体が変位した場合にも、可動物体の領域を除外した人領域を抽出することが目的である。
【課題を解決するための手段】
【０００７】
一つの実施態様では、検出部の検出範囲内に人が存在しない第１状況での第１の３次元情報を前記検出部から取得すると共に、前記検出範囲内に人が存在している第２状況での第２の３次元情報を前記検出部から取得する。また、前記検出範囲内に存在する可動物体に相当する可動物体領域を前記第２の３次元情報から特定可能な可動物体特定情報を取得する。そして、前記第１の３次元情報と前記第２の３次元情報との差分、及び、前記可動物体特定情報に基づいて、前記第２の３次元情報から前記人に相当する人領域を抽出する。
【発明の効果】
【０００８】
一つの側面として、検出領域内に存在する可動物体が変位した場合にも、可動物体の領域を除外した人領域を抽出できる、という効果を有する。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置を含む画像処理システムの機能ブロック図である。
【図２】画像処理装置として機能するコンピュータの概略ブロック図である。
【図３Ａ】３次元センサの検出範囲の一例を示すイメージ図である。
【図３Ｂ】図３Ａに示す検出範囲を３次元センサによって検出した場合に得られる３次元情報のうちの距離情報の一例を示すイメージ図である。
【図３Ｃ】図３Ａに示す検出範囲を３次元センサによって検出した場合に得られる３次元情報の一例を示すイメージ図である。
【図４】３次元センサによって検出した３次元情報の一例を示すイメージ図である。
【図５】第１実施形態に係る人領域抽出処理を示すフローチャートである。
【図６】第１実施形態に係る人領域抽出処理を説明するための説明図である。
【図７】特定可動物体の一例としての車両のシートのオクルージョン領域を示す斜視図である。
【図８】第２実施形態に係る人領域抽出処理を示すフローチャートである。
【図９】第３実施形態に係る人領域抽出処理を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１１】
〔第１実施形態〕
図１には、本実施形態に係る画像処理システム１０が示されている。画像処理システム１０は、検出部１２、画像処理装置１４及び処理装置１６を含み、検出部１２及び処理装置１６は画像処理装置１４に接続されている。検出部１２は、予め設定された検出範囲内に存在する物体を検出し、検出範囲内の３次元情報を出力する。
【００１２】
画像処理装置１４は、検出部１２より出力された３次元情報から、人に相当する人領域を抽出する装置であり、第１取得部１８、第２取得部２０、記憶部２２及び抽出部２４を含んでいる。第１取得部１８は検出部１２及び記憶部２２に接続され、第２取得部２０は第１取得部１８に接続され、抽出部２４は第１取得部１８、第２取得部２０及び記憶部２２に接続されている。なお、第２取得部２０は、図１に破線で示すように、記憶部２２にも接続される場合がある。
【００１３】
第１取得部１８は検出部１２から出力された３次元情報を取得する。記憶部２２は第１取得部１８によって取得された３次元情報を記憶する。第２取得部２０は、第１取得部１８によって取得された３次元情報に基づいて、検出部１２の検出範囲内に存在する可動物体に相当する可動物体領域を３次元情報から特定可能な可動物体特定情報を取得する。なお、第２取得部２０は、記憶部２２と接続され、かつ、当該記憶部２２に可動物体の３次元情報が予め記憶されている場合には、予め記憶されている可動物体の３次元情報に基づいて可動物体特定情報を取得することも可能である。
【００１４】
抽出部２４は、第１取得部１８によって取得されて記憶部２２に記憶された、検出部１２の検出範囲内に人が存在しない第１状況での第１の３次元情報を記憶部２２から読み出す。また、抽出部２４は、検出部１２の検出範囲内に人が存在している第２状況での第２の３次元情報を第１取得部１８から取得し、第２取得部２０から可動物体特定情報を取得する。そして、抽出部２４は、第１の３次元情報と第２の３次元情報との差分、及び、可動物体特定情報に基づいて、第２の３次元情報から人領域を抽出し、第２の３次元情報からの人領域の抽出結果を処理装置１６へ出力する。
【００１５】
処理装置１６は、画像処理装置１４の抽出部２４から入力された３次元情報からの人領域の抽出結果に基づいて所定の処理を行う。所定の処理の一例としては、人領域として抽出された人の姿勢を判定する処理が挙げられるが、これに限定されるものではない。
【００１６】
以下では、一例として、検出部１２が、車両に搭載され、車両のシート及び当該シートに乗員が着座した場合に乗員が占める空間を含む車室内の所定範囲を検出範囲とし、当該検出範囲内の３次元情報を出力する３次元センサ６０(図２参照)である態様を説明する。また、以下では、一例として、画像処理装置１４が、３次元センサ６０より取得した３次元情報から車両のシートに着座した乗員に相当する人領域を抽出する態様を説明する。
【００１７】
上記態様において、画像処理装置１４は、図３に示すコンピュータ３０で実現される。コンピュータ３０は、３次元センサ６０と同一の車両に搭載され、ＣＰＵ３２、一時記憶領域としてのメモリ３４、不揮発性の記憶部３６、検出部１２の一例である３次元センサ６０(詳細は後述)が接続される入出力インターフェース(Ｉ／Ｆ)３８を含む。また、コンピュータ３０は、記録媒体４０に対するデータの読み出し及び書き込みを行う読出書込装置(Ｒ／Ｗ)４２、及び、処理装置１６の一例である車両側装置６２とネットワークを介して接続されるネットワークＩ／Ｆ４４を含む。ＣＰＵ３２、メモリ３４、記憶部３６、入出力Ｉ／Ｆ３８、Ｒ／Ｗ４２及びネットワークＩ／Ｆ４４は、バス４６を介して互いに接続されている。
【００１８】
記憶部３６はＨＤＤ(Hard Disk Drive)、ＳＳＤ(Solid State Drive)、フラッシュメモリ等によって実現される。記憶部３６には、コンピュータ３０を画像処理装置１４として機能させるための人領域抽出プログラム４８が記憶されている。ＣＰＵ３２は、人領域抽出プログラム４８を記憶部３６から読み出してメモリ３４に展開し、人領域抽出プログラム４８に含まれる各プロセスを順次実行する。人領域抽出プログラム４８は、第１取得プロセス５０、第２取得プロセス５２及び抽出プロセス５４を含む。
【００１９】
ＣＰＵ３２は、第１取得プロセス５０を実行することで、図１に示す第１取得部１８として動作する。また、ＣＰＵ３２は、第２取得プロセス５２を実行することで、図１に示す第２取得部２０として動作する。また、ＣＰＵ３２は、抽出プロセス５４を実行することで、図１に示す抽出部２４として動作する。これにより、人領域抽出プログラム４８を実行したコンピュータ３０が画像処理装置１４として機能することになる。人領域抽出プログラム４８は開示の技術に係る画像処理プログラムの一例である。
【００２０】
また、記憶部３６には３次元情報記憶領域５６が設けられており、３次元情報記憶領域５６には第１取得部１８によって取得された３次元情報が記憶される。これにより、記憶部３６は図１に示す記憶部２２として機能する。また、記憶部３６には可動物体特定情報記憶領域５８が設けられており、可動物体特定情報記憶領域５８には第２取得部２０によって取得された可動物体特定情報が記憶される。
【００２１】
なお、画像処理装置１４は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。
【００２２】
次に、本第１実施形態の作用を説明する。車両の自動運転技術は現在開発が進んでいるが、自動運転技術が適用された車両では、車両側が自動運転を行っている状況と、乗員(運転手)が手動で運転を行っている状況と、の切り替えを行うことが想定される。例えば、車両側が自動運転を行っている状況から、乗員(運転手)が手動で運転を行う状況へ切り替える際には、乗員が手動での運転が可能な状態か否かを事前に判定する必要がある。この判定などを精度良く行うためには、乗員の姿勢を正確に認識する必要があり、乗員の姿勢を正確に認識するためには、車室内を検出することで得られた情報から乗員に相当する人領域を正確に抽出することが求められる。
【００２３】
車室内という空間は、昼夜の明るさの差や、トンネル内での明滅など、外光(による照明条件)の変動が顕著である。このため、本実施形態では、検出部１２として、画像センサよりも外光(による照明条件)の変動にロバストな３次元センサ６０を用いている。３次元センサ６０は、例えば赤外光等を用いて検出範囲内を走査すると共に、検出範囲内の物体で反射した光を２次元に配列された受光素子群の何れかで検出して測距する等により、検出範囲内の３次元情報を出力するものである。３次元センサ６０から出力される３次元情報は、受光素子群のうちの個々の受光素子に対応する個々の検出点(検出範囲内の物体の表面上の検出点)の３次元位置を表す情報を含んでいる。
【００２４】
一例として、図３Ａに画像として示す検出範囲を３次元センサ６０によって検出した場合に得られる３次元情報を図３Ｂ、図３Ｃ及び図４に各々示す。図３Ｂは、３次元情報が表す個々の検出点の３次元位置に含まれる距離情報(３次元センサ６０からの距離を表す情報)を、画像化(距離情報が表す距離に応じて画素の濃淡を変化)して示したものである。また、図３Ｃは、３次元情報が表す個々の検出点の３次元位置を３次元座標空間上にプロットした結果を俯瞰したイメージを画像化して示したものであり、図４は、前記プロットした結果を互いに異なる方向から見たイメージを画像化して示したものである。
【００２５】
また、車両側装置６２は、３次元センサ６０及び画像処理装置１４(コンピュータ３０)と同一の車両に搭載され、当該車両に関する各種の検知を行うセンサ群や、前記車両に関する各種の処理を行う装置を含んでいる。本実施形態において、車両側装置６２が行う処理には、画像処理装置１４(コンピュータ３０)から受信した人領域の抽出結果に基づき、抽出された人領域に対応する乗員の姿勢を判定し、乗員が手動での運転が可能な状態か否かを判定する処理が含まれる。また、画像処理装置１４(コンピュータ３０)は、車両側装置６２に含まれるセンサ群による各種の検知結果を車両側装置６２から受信する。
【００２６】
一方、画像(２次元情報)や３次元情報等の３次元情報から人領域を抽出する手法の一つに、人が存在しない状況で取得した情報と人が存在している状況で取得した情報との差分を算出し、差分が無い領域を背景領域として除去する背景差分法がある。しかし、この技術を車両の乗員に相当する人領域の抽出に適用した場合、乗員のリクライニング操作等によってシートが変位した際に、変位したシートに相当する領域も背景差分で差分有りの領域として抽出される。このため、人領域として抽出した領域の中に、変位したシートに相当する領域が含まれることになり、人領域と変位したシートに相当する領域とを分離することができず、人領域を正確に抽出できない。
【００２７】
そこで、第１実施形態では、車両のシートが乗員のリクライニング操作等によって変位した場合にも、変位したシートに相当する領域を人領域と分離し、乗員に相当する人領域を正確に抽出するために、画像処理装置１４が図５に示す人領域抽出処理を行う。
【００２８】
人領域抽出処理のステップ１００において、第１取得部１８は、車両側装置６２から受信したセンサ群による各種の検知結果に基づき、現在の車室内が乗員が存在しない状況か否か判定する。ステップ１００の判定が否定された場合は、判定が肯定される迄ステップ１００を繰り返す。この判定は、一例として、予め設定された特定操作が乗員によって行われたことが検知されたか否かを判定することで実現できる。上記の特定操作としては、例えば、乗員が車外から車両のドアのロック機構の解錠を指示する操作や、車外へ出てドアのロック機構の施錠を指示する操作等のように、車室内に乗員が存在しないと考えられる状況で行われる操作が挙げられる。
【００２９】
但し、車室内に乗員が存在しない状況は、上記の特定操作の検知の有無に基づいて判定することに限られるものではなく、ステップ１００の判定は、その他の公知の乗員検知技術を利用して実現することも可能である。
【００３０】
ステップ１００の判定が肯定された場合はステップ１０２へ移行し、ステップ１０２において、第１取得部１８は、３次元センサ６０から３次元情報を取得する。また、次のステップ１０４において、第１取得部１８は、ステップ１０２で３次元センサ６０から取得した３次元情報をベースフレームｆ1として記憶部３６の３次元情報記憶領域５６に記憶させる。ベースフレームｆ1は、車室内に乗員が存在しない状況で取得しているため、一例として図６(１)に画像７０として示すように、ベースフレームｆ1には人領域は存在せず、ドアフレームに相当する領域１５０やシートに相当する領域１５２のみ存在している。なお、ベースフレームｆ1は「検出範囲内に人が存在しない第１状況での第１の３次元情報」の一例である。
【００３１】
次のステップ１０６において、第２取得部２０は、ベースフレームｆ1に含まれる個々の検出点の距離情報に基づき、ベースフレームｆ1を、シート等の特定可動物体に相当する特定可動物体領域と、特定可動物体領域以外の背景領域と、に分離する。具体的には、ベースフレームｆ1に含まれる個々の検出点を、隣り合う検出点のうち距離の差が所定値未満の検出点が同一グループに属するようにグループ化し、検出点をグループ化した結果に応じて３次元センサ６０の受光素子群をグループ分けする。これにより、ベースフレームｆ1に含まれる個々の検出点を、シートとドアフレーム等の距離が異なる物体毎に分離することができ、図６に画像９６として示すように特定可動物体領域１５４を抽出することができる。
【００３２】
ステップ１０８において、第２取得部２０は、３次元センサ６０の受光素子群をグループ分けした結果を、可動物体特定情報として記憶部３６の可動物体特定情報記憶領域５８に記憶させる。ここで記憶される可動物体特定情報は、「検出部の検出範囲内に存在する可動物体に相当する可動物体領域を３次元情報から特定可能な可動物体特定情報」の一例である。
【００３３】
次のステップ１１０以降の処理は、車室内に乗員が存在している状況で行われる。なお、車両側装置６２から受信したセンサ群による各種の検知結果に基づき、現在の車室内が乗員が存在している状況かを判定した上で、ステップ１１０以降の処理を行うようにしてもよい。
【００３４】
ステップ１１０において、第１取得部１８は、３次元センサ６０から３次元情報ｆnを取得する。ステップ１１０で取得する３次元情報ｆnは「検出範囲内に人が存在する第２状況での第２の３次元情報」の一例である。次のステップ１１２において、抽出部２４は、ステップ１１０で取得した３次元情報ｆnと、記憶部３６に記憶されているベースフレームｆ1と、の背景差分|ｆn−ｆ1|を演算する。
【００３５】
このときの３次元センサ６０の検出範囲内は、ベースフレームｆ1の取得時に対して、乗員の有無のみが相違している第１の場合と、乗員の有無が相違しかつ特定可動物体も変位している第２の場合と、が想定される。第１の場合は、３次元センサ６０から取得した３次元情報が、図６(１)に示す画像７０から図６(２)に示す画像７６のように変化する。このため、図６(３)に画像８２として示すように、背景差分|ｆn−ｆ1|には人領域１５６のみが差分として現れる。一方、第２の場合は、３次元センサ６０から取得した３次元情報が、図６(１)に示す画像７２から図６(２)に示す画像７８、又は、図６(１)に示す画像７４から図６(２)に示す画像８０のように変化する。このため、図６(３)に画像８４又は画像８６として示すように、背景差分|ｆn−ｆ1|には人領域１５６及び特定可動物体領域１５８が差分として現れる。
【００３６】
次のステップ１１４において、抽出部２４は、ベースフレームｆ1の取得時から特定可動物体が移動しているか否かを判定する。この判定は、例えば、背景差分|ｆn−ｆ1|に人領域１５６のみが差分として現れた場合と、背景差分|ｆn−ｆ1|に人領域１５６及び特定可動物体領域１５８が差分として現れた場合と、では差分領域の大きさが相違することを利用して行うことができる。具体的には、車室内に乗員が存在している状況で、３次元センサ６０から３次元情報ｆnを取得し、時間軸方向に隣り合う３次元情報の間で背景差分|ｆn−ｆn-1|を演算することを繰り返す。そして、背景差分|ｆn−ｆn-1|に現れた差分領域の大きさが大きくなった場合に、特定可動物体が移動したと判定することができる。
【００３７】
また、ステップ１１４の判定は、以下の処理によっても実現できる。すなわち、先のステップ１０６でベースフレームｆ1から特定可動物体領域を抽出した後に、抽出した特定可動物体領域から乗員によるオクルージョンが発生しない領域(乗員が存在している状況でも３次元センサ６０から見て乗員の陰に隠れない領域)を選択する。例えば、特定可動物体がシートであれば、乗員によるオクルージョンが発生しない領域として、図７にハッチングで示すシートの側面領域１７０を選択することができる。そして、３次元センサ６０から３次元情報ｆnを取得し、取得した３次元情報における選択領域の位置を特定することを繰り返し、特定した選択領域の位置が変化した場合に、特定可動物体が移動したと判定することができる。
【００３８】
また、ステップ１１４の判定は、以下の処理によっても実現できる。すなわち、まず、後述するステップ１１８のように３次元情報ｆn内の特定可動物体の領域を特定する。そして、３次元情報ｆn内の特定可動物体の領域が、先のステップ１０８で特定したベースフレームｆ1内の特定可動物体の領域と不一致の場合に、特定可動物体が移動したと判定することができる。
【００３９】
ベースフレームｆ1の取得時から特定可動物体が移動していない場合、前述のように、背景差分|ｆn−ｆ1|には人領域１５６のみが差分として現れる(図６(３)に示す画像８２も参照)。このため、ステップ１１４の判定が否定された場合はステップ１１６へ移行し、ステップ１１６において、抽出部２４は、背景差分|ｆn−ｆ1|に差分として現れている領域に対応する３次元情報ｆn内の領域(検出点群)を乗員に相当する人領域として抽出する。そして、ステップ１１６の処理を行うとステップ１２２へ移行する。
【００４０】
一方、ベースフレームｆ1の取得時から特定可動物体が移動している場合は、前述のように、背景差分|ｆn−ｆ1|には人領域１５６及び特定可動物体領域１５８が差分として現れる(図６(３)に示す画像８４,８６も参照)。このため、ステップ１１４の判定が否定された場合はステップ１１８へ移行する。ステップ１１８において、抽出部２４は、記憶部３６に記憶されている可動物体特定情報に基づいて、３次元情報ｆn内の特定可動物体の領域(検出点群)を特定する(図６(４)に示す画像９２,９４も参照)。
【００４１】
特定可動物体の領域の特定は、可動物体特定情報(特定可動物体に対応する３次元センサ６０の受光素子群の情報)から３次元情報上での特定可動物体の形状を算出し、算出した形状と同形状の領域をパターンマッチング等によって探索することで実現できる。但し、特定可動物体が例えばシートであれば、背もたれ部の角度は乗員の操作によって変更される可能性があるので、上記のパターンマッチング等では、探索するパターンの角度も変化させながら探索を行う。
【００４２】
ステップ１２０において、抽出部２４は、背景差分|ｆn−ｆ1|に差分として現れている差分領域から、ステップ１１８で特定した特定可動物体の領域を除外する。そして、特定可動物体の領域を除外した後の差分領域に対応する３次元情報ｆn内の領域(検出点群)を乗員に相当する人領域として抽出する(図６(４)に示す画像８８,９０も参照)。
【００４３】
ステップ１２２において、抽出部２４は、ステップ１１６又はステップ１２２で抽出した人領域の情報を車両側装置６２へ出力する。これにより、車両側装置６２において、人領域に対応する乗員の姿勢を判定し、乗員が手動での運転が可能な状態か否かを判定する処理などが行われる。ステップ１２２の処理を行うとステップ１１０に戻り、例えば、車両のイグニッションスイッチがオンしている間、ステップ１１０〜ステップ１２２を繰り返す。
【００４４】
このように、第１実施形態では、第１取得部１８は、車室内(検出部１２の検出範囲内)に人が存在しない状況での３次元情報(ベースフレームｆ1)を検出部１２から取得する。また、第１取得部１８は、車室内(検出部１２の検出範囲内)に人が存在している状況での３次元情報ｆnを検出部１２から取得する。また、第２取得部２０は、車室内(検出部１２の検出範囲内)に存在する特定可動物体に相当する特定可動物体の領域を３次元情報ｆnから特定可能な可動物体特定情報を取得する。そして、抽出部２４は、背景差分|ｆn−ｆ1|及び第２取得部２０によって取得された前記可動物体特定情報に基づいて、３次元情報ｆnから人に相当する人領域を抽出する。これにより、検出部１２の検出領域内に存在する特定可動物体が変位した場合にも、特定可動物体の領域を除外した人領域を抽出することができる。
【００４５】
また、第１実施形態では、抽出部２４は、背景差分|ｆn−ｆ1|に基づいてベースフレームｆ1の取得時からの特定可動物体の移動の有無を判定する。また、抽出部２４は、特定可動物体の移動有りと判定した場合は、可動物体特定情報に基づいて３次元情報ｆnから特定可動物体の領域を特定する。そして、抽出部２４は、差分及び可動物体領域の特定結果に基づいて３次元情報ｆnから人領域を抽出する。これにより、後述する第２実施形態や第３実施形態のように、ベースフレームｆ1を更新する処理を行う必要が無くなる。
【００４６】
また、第１実施形態では、抽出部２４は、特定可動物体の移動無しと判定した場合は、背景差分|ｆn−ｆ1|に差分として現れている領域に対応する３次元情報ｆnの領域を、人領域として抽出する。これにより、ベースフレームｆ1の取得時から特定可動物体が移動していない場合の処理が簡単になる。
【００４７】
また、第１実施形態では、第２取得部２０は、第１取得部１８によって取得されたベースフレームｆ1から可動物体特定情報を取得する。これにより、特定可動物体の情報を予め記憶しておく場合と比較して、特定可動物体の情報の記憶時から特定可動物体が変化した場合(例えば特定可動物体としてのシートに布を被せた等の場合)にも、処理精度が低下することを回避することができる。
【００４８】
〔第２実施形態〕
次に開示の技術の第２実施形態を説明する。なお、第２実施形態は第１実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、図８を参照して第２実施形態に係る人領域抽出処理を説明する。
【００４９】
第２実施形態に係る人領域抽出処理のステップ１００〜１１０は、第１実施形態で説明した人領域抽出処理と同一である。第２実施形態に係る人領域抽出処理のステップ１３０において、抽出部２４は、記憶部３６に記憶されている可動物体特定情報に基づき、第１実施形態に係る人領域抽出処理(図５)のステップ１１８と同様に、３次元情報ｆn内の特定可動物体の領域を特定する。
【００５０】
次のステップ１３２において、抽出部２４は、第１実施形態に係る人領域抽出処理(図５)のステップ１１２と同様に、ステップ１１０で取得した３次元情報ｆnと、記憶部３６に記憶されているベースフレームｆ1と、の背景差分|ｆn−ｆ1|を演算する。ステップ１３４において、抽出部２４は、背景差分|ｆn−ｆ1|に差分として現れている差分領域に対応する３次元情報ｆn内の領域のうち、先のステップ１３０で抽出した特定可動物体の領域以外の領域(検出点群)を、乗員に相当する人領域として抽出する。
【００５１】
また、ステップ１２２で人領域の情報を出力した後、次のステップ１３６において、抽出部２４は、記憶部３６に記憶されているベースフレームｆ1のうち、移動前後の特定可動物体の領域に対応する部分を３次元情報ｆnへ更新する。
【００５２】
第２実施形態に係る人領域抽出処理は、ステップ１０８及びステップ１３０で特定可動物体の領域を特定している。このため、ステップ１３６を最初に実行するときには、移動前後の特定可動物体の領域は、ステップ１０８で特定した特定可動物体の領域と、ステップ１３０で特定した特定可動物体の領域と、の論理和で算出できる。また、ステップ１３６を２回目以降に実行するときには、移動前後の特定可動物体の領域は、ステップ１３０の前回の実行時に特定した特定可動物体の領域と、ステップ１３０の今回の実行時に特定した特定可動物体の領域と、の論理和で算出できる。そして、ベースフレームｆ1の更新は、ベースフレームｆ1のうち、算出した移動前後の特定可動物体の領域に対応する部分を３次元情報ｆnで上書きすることで実現できる。
【００５３】
このように、第２実施形態においても、第１実施形態と同様に、第１取得部１８は、車室内(検出部１２の検出範囲内)に人が存在しない状況での３次元情報(ベースフレームｆ1)を検出部１２から取得する。また、第１取得部１８は、車室内(検出部１２の検出範囲内)に人が存在している状況での３次元情報ｆnを検出部１２から取得する。また、第２取得部２０は、車室内(検出部１２の検出範囲内)に存在する特定可動物体に相当する特定可動物体の領域を３次元情報ｆnから特定可能な可動物体特定情報を取得する。そして、抽出部２４は、背景差分|ｆn−ｆ1|及び第２取得部２０によって取得された前記可動物体特定情報に基づいて、３次元情報ｆnから人に相当する人領域を抽出する。これにより、検出部１２の検出領域内に存在する特定可動物体が変位した場合にも、特定可動物体の領域を除外した人領域を抽出することができる。
【００５４】
また、第２実施形態では、抽出部２４は、可動物体特定情報に基づいて３次元情報ｆnから可動物体領域を特定する。そして、抽出部２４は、背景差分|ｆn−ｆ1|に差分として現れている領域に対応する３次元情報ｆnの領域のうち、特定した可動物体領域以外の領域を、人領域として抽出する。これにより、第１実施形態のように、特定可動物体の移動の有無を判定する処理を行う必要が無くなる。
【００５５】
また、第２実施形態では、第１取得部１８は、取得したベースフレームｆ1を記憶部２２に記憶させる。そして、抽出部２４は、記憶部２２に記憶されたベースフレームｆ1を用いて人領域の抽出を行った後に、記憶部２２に記憶されたベースフレームｆ1を特定可動物体の移動に応じて更新する。このように、ベースフレームｆ1を適宜更新することで、ベースフレームｆ1内の特定可動物体の領域と３次元情報ｆn内の特定可動物体の領域との位置の差が小さくなる。このため、３次元情報ｆn内の特定可動物体の領域を特定する処理を行うにあたり、ベースフレームｆ1内の特定可動物体の領域を基準として特定可動物体の領域の探索を開始することで、上記処理の負荷を軽減できる。
【００５６】
〔第３実施形態〕
次に開示の技術の第３実施形態を説明する。なお、第３実施形態も第１実施形態と同一の構成であるので、各部分に同一の符号を付して説明を省略し、図９を参照して第３実施形態に係る人領域抽出処理を説明する。
【００５７】
第３実施形態に係る人領域抽出処理のステップ１００〜１３０は、第２実施形態で説明した人領域抽出処理と同一である。
【００５８】
第３実施形態に係る人領域抽出処理のステップ１３８において、抽出部２４は、第２実施形態に係る人領域抽出処理(図８)のステップ１３６と同様に、ベースフレームｆ1のうち、移動前後の特定可動物体の領域に対応する部分を３次元情報ｆnへ更新する。これにより、ベースフレームｆ1の取得時から特定可動物体が移動していたとしても、更新後のベースフレームｆ1における特定可動物体の領域は、３次元情報ｆnにおける特定可動物体の領域に一致する。
【００５９】
次のステップ１４０において、抽出部２４は、ステップ１３８で更新した後のベースフレームｆ1を用いて背景差分|ｆn−ｆ1|を演算する。そして、ステップ１４２において、抽出部２４は、背景差分|ｆn−ｆ1|に差分として現れている領域に対応する３次元情報ｆn内の領域(検出点群)を、乗員に相当する人領域として抽出する。
【００６０】
このように、第３実施形態においても、第１実施形態と同様に、第１取得部１８は、車室内(検出部１２の検出範囲内)に人が存在しない状況での３次元情報(ベースフレームｆ1)を検出部１２から取得する。また、第１取得部１８は、車室内(検出部１２の検出範囲内)に人が存在している状況での３次元情報ｆnを検出部１２から取得する。また、第２取得部２０は、車室内(検出部１２の検出範囲内)に存在する特定可動物体に相当する特定可動物体の領域を３次元情報ｆnから特定可能な可動物体特定情報を取得する。そして、抽出部２４は、背景差分|ｆn−ｆ1|及び第２取得部２０によって取得された前記可動物体特定情報に基づいて、３次元情報ｆnから人に相当する人領域を抽出する。これにより、検出部１２の検出領域内に存在する特定可動物体が変位した場合にも、特定可動物体の領域を除外した人領域を抽出することができる。
【００６１】
また、第３実施形態においても、第２実施形態と同様に、抽出部２４は、可動物体特定情報に基づいて３次元情報ｆnから可動物体領域を特定する。そして、抽出部２４は、背景差分|ｆn−ｆ1|に差分として現れている領域に対応する３次元情報ｆnの領域のうち、特定した可動物体領域以外の領域を、人領域として抽出する。これにより、第１実施形態のように特定可動物体の移動の有無を判定する処理を行う必要が無くなる。
【００６２】
また、第３実施形態では、第１取得部１８は、取得したベースフレームｆ1を記憶部２２に記憶させる。そして、抽出部２４は、記憶部２２に記憶されたベースフレームｆ1を特定可動物体の移動に応じて更新した後に、更新後のベースフレームｆ1を用いて人領域の抽出を行う。このように、ベースフレームｆ1を適宜更新することで、ベースフレームｆ1内の特定可動物体の領域と３次元情報ｆn内の特定可動物体の領域との位置の差が小さくなる。このため、第２実施形態と同様に、３次元情報ｆn内の特定可動物体の領域を特定する処理を行うにあたり、ベースフレームｆ1内の特定可動物体の領域を基準として特定可動物体の領域の探索を開始することで、上記処理の負荷を軽減できる。
【００６３】
なお、上記では車室内(検出部１２の検出領域内)に存在する特定可動物体の一例として車両のシートを説明したが、これに限定されるものではなく、特定可動物体は、例えば車両のシートに取り付けられた可動式の肘かけ等であってもよい。また、自動運転を行う機能を搭載した車両において、自動運転中は車両のハンドル部が収納される場合、上述した実施形態のように、人領域を抽出する目的が乗員が運転可能な状態か否かの判定であれば、当該判定を行う際にはハンドル部は収納されている。しかし、抽出した人領域が自動運転中にも別の目的に用いられる等の場合は、上記のハンドル部なども特定可動物体として扱うことができる。
【００６４】
また、上記では車室内(検出部１２の検出領域内)に存在する特定可動物体に相当する特定可動物体の領域を３次元情報から特定可能な可動物体特定情報を、３次元センサ６０より取得した３次元情報(ベースフレームｆ1)から取得する態様を説明した。しかし、これに限定されるものではなく、可動物体特定情報は予め記憶しておいてもよい。また、特定可動物体の３次元情報(例えばＣＡＤ(Computer-Aided Design)を用いて作成された３次元３ＡＤ情報)を予め記憶しておき、特定可動物体の３次元情報から可動物体特定情報を生成するようにしてもよい。但し、上記のように、特定可動物体の情報を予め記憶しておく場合、特定可動物体の情報の記憶時から特定可動物体が変化すると(例えば特定可動物体としてのシートに布を被せられたりして一部の表面位置が変化すると)、処理精度が低下する可能性がある。このため、可動物体特定情報は３次元センサ６０より取得した３次元情報(ベースフレームｆ1)から取得することが望ましい。
【００６５】
更に、上記では検出部の検出範囲が車両の室内で、車両の乗員に相当する人領域を抽出する態様を説明したが、開示の技術の適用範囲は車両に限定されるものではない。一例としては、可動式のベッド及び当該ベッド上に滞在している人を含む範囲を検出部の検出範囲とし、可動式のベッドを可動物体として、可動式のベッド上に滞在している人に相当する範囲を抽出する態様が挙げられる。この場合、ベッドに内蔵された感圧センサがベッド上に人が存在しないことを検知している状態で、ベースフレームｆ1を取得するようにすればよい。
【００６６】
また、上記では開示の技術に係る画像処理プログラムの一例である人領域抽出プログラム４８が記憶部３６に予め記憶（インストール）されている態様を説明した。しかし、開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、メモリカード等の記録媒体に記録されている形態で提供することも可能である。
【００６７】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【００６８】
以上の実施形態に関し、更に以下の付記を開示する。
【００６９】
（付記１）
検出部の検出範囲内に人が存在しない第１状況での第１の３次元情報を前記検出部から取得すると共に、前記検出範囲内に人が存在している第２状況での第２の３次元情報を前記検出部から取得する第１取得部と、
前記検出範囲内に存在する可動物体に相当する可動物体領域を前記第２の３次元情報から特定可能な可動物体特定情報を取得する第２取得部と、
前記第１取得部によって取得された前記第１の３次元情報と前記第２の３次元情報との差分、及び、前記第２取得部によって取得された前記可動物体特定情報に基づいて、前記第２の３次元情報から前記人に相当する人領域を抽出する抽出部と、
を含む画像処理装置。
【００７０】
（付記２）
前記抽出部は、前記差分に基づいて前記第１状況と前記第２状況との間での前記可動物体の移動の有無を判定し、前記可動物体の移動有りと判定した場合は、前記可動物体特定情報に基づいて前記第２の３次元情報から前記可動物体領域を特定し、前記差分及び前記可動物体領域の特定結果に基づいて前記第２の３次元情報から前記人領域を抽出する付記１記載の画像処理装置。
【００７１】
（付記３）
前記抽出部は、前記可動物体の移動無しと判定した場合は、前記差分を表す差分情報に差分として現れている領域に対応する前記第２の３次元情報の領域を、前記人領域として抽出する付記２記載の画像処理装置。
【００７２】
（付記４）
前記抽出部は、前記可動物体特定情報に基づいて前記第２の３次元情報から前記可動物体領域を特定し、前記差分を表す差分情報に差分として現れている領域に対応する前記第２の３次元情報の領域のうち、特定した前記可動物体領域以外の領域を、前記人領域として抽出する付記１記載の画像処理装置。
【００７３】
（付記５）
前記第１取得部は、取得した前記第１の３次元情報を記憶部に記憶させ、
前記抽出部は、前記記憶部に記憶された前記第１の３次元情報を用いて前記人領域の抽出を行った後に、前記記憶部に記憶された前記第１の３次元情報を前記可動物体の移動に応じて更新する付記４記載の画像処理装置。
【００７４】
（付記６）
前記第１取得部は、取得した前記第１の３次元情報を記憶部に記憶させ、
前記抽出部は、前記記憶部に記憶された前記第１の３次元情報を前記可動物体の移動に応じて更新した後に、更新後の前記第１の３次元情報を用いて前記人領域の抽出を行う付記４記載の画像処理装置。
【００７５】
（付記７）
前記第１取得部は、前記検出範囲内の３次元情報を前記検出部から取得し、
前記第２取得部は、前記第１取得部によって取得された、前記検出範囲内に人が存在しない第１状況での第１の３次元情報から前記可動物体特定情報を取得する付記１〜付記６の何れか１項記載の画像処理装置。
【００７６】
（付記８）
前記第２取得部は、記憶部に予め記憶された前記可動物体の３次元情報を前記記憶部から取得し、取得した前記可動物体の３次元情報から前記可動物体特定情報を取得する付記１〜付記６の何れか１項記載の画像処理装置。
【００７７】
（付記９）
検出部の検出範囲内に人が存在しない第１状況での第１の３次元情報を前記検出部から取得すると共に、前記検出範囲内に人が存在している第２状況での第２の３次元情報を前記検出部から取得し、
かつ、前記検出範囲内に存在する可動物体に相当する可動物体領域を前記第２の３次元情報から特定可能な可動物体特定情報を取得し、
取得した前記第１の３次元情報と前記第２の３次元情報との差分、及び、取得した前記可動物体特定情報に基づいて、前記第２の３次元情報から前記人に相当する人領域を抽出する
処理をコンピュータに実行させる画像処理方法。
【００７８】
（付記１０）
前記差分に基づいて前記第１状況と前記第２状況との間での前記可動物体の移動の有無を判定し、前記可動物体の移動有りと判定した場合は、前記可動物体特定情報に基づいて前記第２の３次元情報から前記可動物体領域を特定し、前記差分及び前記可動物体領域の特定結果に基づいて前記第２の３次元情報から前記人領域を抽出する付記９記載の画像処理方法。
【００７９】
（付記１１）
前記可動物体の移動無しと判定した場合は、前記第１の３次元情報と前記第２の３次元情報との差分を表す差分情報に差分として現れている領域に対応する前記第２の３次元情報の領域を、前記人領域として抽出する付記１０記載の画像処理方法。
【００８０】
（付記１２）
前記可動物体特定情報に基づいて前記第２の３次元情報から前記可動物体領域を特定し、前記第１の３次元情報と前記第２の３次元情報との差分を表す差分情報に差分として現れている領域に対応する前記第２の３次元情報の領域のうち、特定した前記可動物体領域以外の領域を、前記人領域として抽出する付記９記載の画像処理方法。
【００８１】
（付記１３）
取得した前記第１の３次元情報を記憶部に記憶させ、
前記記憶部に記憶された前記第１の３次元情報を用いて前記人領域の抽出を行った後に、前記記憶部に記憶された前記第１の３次元情報を前記可動物体の移動に応じて更新する付記１２記載の画像処理方法。
【００８２】
（付記１４）
取得した前記第１の３次元情報を記憶部に記憶させ、
前記記憶部に記憶された前記第１の３次元情報を前記可動物体の移動に応じて更新した後に、更新後の前記第１の３次元情報を用いて前記人領域の抽出を行う付記１２記載の画像処理方法。
【００８３】
（付記１５）
前記検出範囲内の３次元情報を前記検出部から取得し、
取得した、前記検出範囲内に人が存在しない第１状況での第１の３次元情報から前記可動物体特定情報を取得する付記９〜付記１５の何れか１項記載の画像処理方法。
【００８４】
（付記１６）
記憶部に予め記憶された前記可動物体の３次元情報を前記記憶部から取得し、取得した前記可動物体の３次元情報から前記可動物体特定情報を取得する付記９〜付記１５の何れか１項記載の画像処理方法。
【００８５】
（付記１７）
検出部の検出範囲内に人が存在しない第１状況での第１の３次元情報を前記検出部から取得すると共に、前記検出範囲内に人が存在している第２状況での第２の３次元情報を前記検出部から取得し、
かつ、前記検出範囲内に存在する可動物体に相当する可動物体領域を前記第２の３次元情報から特定可能な可動物体特定情報を取得し、
取得した前記第１の３次元情報と前記第２の３次元情報との差分、及び、取得した前記可動物体特定情報に基づいて、前記第２の３次元情報から前記人に相当する人領域を抽出する
処理をコンピュータに実行させるための画像処理プログラム、又は、当該画像処理プログラムが記録された記録媒体。
【符号の説明】
【００８６】
１０…画像処理システム、１２…検出部、１４…画像処理装置、１６…処理装置、１８…第１取得部、２０…第２取得部、２２…記憶部、２４…抽出部、３０…コンピュータ、３２…ＣＰＵ、３４…メモリ、３６…記憶部、４８…人領域抽出プログラム、６０…３次元センサ、６２…車両側装置、１５４…特定可動物体領域、１５６…人領域、１５８…特定可動物体領域
【図１】
2017138680.tif 000003
【図２】
2017138680.tif 000004
【図３Ａ】
2017138680.tif 000005
【図３Ｂ】
2017138680.tif 000006
【図３Ｃ】
2017138680.tif 000007
【図４】
2017138680.tif 000008
【図５】
2017138680.tif 000009
【図６】
2017138680.tif 000010
【図７】
2017138680.tif 000011
【図８】
2017138680.tif 000012
【図９】
2017138680.tif 000013