(57)【要約】【課題】撮影画像から特定の対象を正確に抽出することができる技術を提供する。【解決手段】所定空間を撮影する撮影装置で得られた撮影画像から特定の対象を抽出する処理を行う画像処理装置は、前記撮影画像に対して前記特定の対象を抽出する抽出範囲を設定する設定部と、所定方向から前記抽出範囲内に進入した物体を分離する分離部と、前記抽出範囲から前記物体が分離された前記撮影画像から前記特定の対象を抽出する抽出部と、を備える。【選択図】図１
2019133446.tif 000002
【特許請求の範囲】
【請求項１】
所定空間を撮影する撮影装置で得られた撮影画像から特定の対象を抽出する処理を行う画像処理装置であって、
前記撮影画像に対して前記特定の対象を抽出する抽出範囲を設定する設定部と、
所定方向から前記抽出範囲内に進入した物体を分離する分離部と、
前記抽出範囲から前記物体が分離された前記撮影画像から前記特定の対象を抽出する抽出部と、
を備える、画像処理装置。
【請求項２】
前記設定部は、前記撮影画像に対して前記抽出範囲の少なくとも一部を囲む検出線を設定し、
前記検出線を超えて前記抽出範囲に向かう物体を検出する検出部を更に備える、請求項１に記載の画像処理装置。
【請求項３】
前記撮影画像と前記所定空間の背景画像との差分から背景差分画像を求める背景差分処理部と、
前記背景画像を更新するか否かを判断する更新判断部と、
を更に備える、請求項１又は２に記載の画像処理装置。
【請求項４】
前記設定部は、前記抽出部で抽出した前記特定の対象の大きさに基づいて前記抽出範囲を変動する、請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記所定空間は自動車の室内であって、
前記特定の対象には、前記自動車の運転者が含まれ、
前記所定方向には、助手席から運転席に向かう方向、および、後部座席から前記運転席に向かう方向が含まれる、請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
所定空間を撮影する撮影装置で得られた撮影画像から特定の対象を抽出する処理を行う画像処理方法であって、
前記撮影画像に対して前記特定の対象を抽出する抽出範囲を設定する設定工程と、
所定方向から前記抽出範囲内に進入した物体を分離する分離工程と、
前記抽出範囲から前記物体が分離された前記撮影画像から前記特定の対象を抽出する抽出工程と、
を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
従来、カメラで撮影した撮影画像から人物を抽出する技術が知られる。例えば、特許文献１には、頭部形状に対応させて準備したテンプレート画像を用いて画像中の頭部の領域を特定することが開示される。また、特許文献１には、頭部の像が判明していれば、奥行き画像において頭部領域と同じ画素値、または近傍の画素値を有する連続した領域が身体の像を表している推定できることが開示される。奥行き画像は、各被写体のカメラからの奥行き方向の距離を、画像平面の２次元座標にマッピングし画素値として表した画像である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２３８７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、複数の人が撮影された撮影画像においては、各人を正確に切り分けて抽出することが難しいことがある。例えば車室内に配置されたカメラによって運転者の状態を検知するシステムでは、助手席や後部座席に座る人と運転者とを切り分けることができず、運転者の状態を誤検出する可能性がある。
【０００５】
本発明は、上記課題に鑑みて、撮影画像から特定の対象を正確に抽出することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために本発明の画像処理装置は、所定空間を撮影する撮影装置で得られた撮影画像から特定の対象を抽出する処理を行う画像処理装置であって、前記撮影画像に対して前記特定の対象を抽出する抽出範囲を設定する設定部と、所定方向から前記抽出範囲内に進入した物体を分離する分離部と、前記抽出範囲から前記物体が分離された前記撮影画像から前記特定の対象を抽出する抽出部と、を備える構成（第１の構成）になっている。
【０００７】
上記第１の構成の画像処理装置において、前記設定部は、前記撮影画像に対して前記抽出範囲の少なくとも一部を囲む検出線を設定し、前記検出線を超えて前記抽出範囲に向かう物体を検出する検出部を更に備える構成（第２の構成）であることが好ましい。
【０００８】
上記第１または第２の構成の画像処理装置は、前記撮影画像と前記所定空間の背景画像との差分から背景差分画像を求める背景差分処理部と、前記背景画像を更新するか否かを判断する更新判断部と、を更に備える構成（第３の構成）であることが好ましい。
【０００９】
上記第１から第３のいずれかの構成の画像処理装置において、前記設定部は、前記抽出部で抽出した前記特定の対象の大きさに基づいて前記抽出範囲を変動する構成（第４の構成）であってよい。
【００１０】
上記第１から第４のいずれかの構成の画像処理装置において、前記所定空間は自動車の室内であって、前記特定の対象には、前記自動車の運転者が含まれ、前記所定方向には、助手席から運転席に向かう方向、および、後部座席から前記運転席に向かう方向が含まれる構成（第５の構成）であってよい。
【００１１】
上記目的を達成するために本発明の画像処理方法は、所定空間を撮影する撮影装置で得られた撮影画像から特定の対象を抽出する処理を行う画像処理方法であって、前記撮影画像に対して前記特定の対象を抽出する抽出範囲を設定する設定工程と、所定方向から前記抽出範囲内に進入した物体を分離する分離工程と、前記抽出範囲から前記物体が分離された前記撮影画像から前記特定の対象を抽出する抽出工程と、を備える構成（第６の構成）になっている。
【発明の効果】
【００１２】
本発明は、撮影画像から特定の対象を正確に抽出することができる技術を提供する。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態に係る画像処理システムの構成を示すブロック図
【図２】撮影装置で撮影される撮影画像の一例を示す図
【図３】第１実施形態に係る画像処理装置の動作例を示すフローチャート
【図４】撮影装置で撮影される背景画像の一例を示す図
【図５】撮影画像に抽出範囲を設定した画像の一例を示す図
【図６】抽出範囲内に進入する物体の方向について説明するための図
【図７】抽出された運転者と背景領域との境界線を強調した画像の一例を示す図
【図８】第２実施形態に係る画像処理システムの構成を示すブロック図
【図９】第２実施形態において設定部によって設定される検出線を説明するための図
【図１０】第２実施形態に係る画像処理装置の動作例を示すフローチャート
【図１１】第３実施形態に係る画像処理システムの構成を示すブロック図
【図１２】第３実施形態に係る画像処理装置の動作例を示すフローチャート
【発明を実施するための形態】
【００１４】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。
【００１５】
＜１．第１実施形態＞
図１は、第１実施形態に係る画像処理システムの構成を示すブロック図である。図１に示すように、本実施形態の画像処理システムは、撮影装置１と画像処理装置２とを備える。撮影装置１は所定空間を撮影する装置である。所定空間は、例えば、車両の室内、住居の室内、車両以外の移動体の室内等であってよい。車両には、例えば列車、電車、自動車等の車輪のついた乗り物が広く含まれる。車両以外の移動体には、例えば船舶や航空機等が含まれる。以下、所定空間が自動車の室内である場合を例に説明する。なお、以下においては、「自動車の室内」のことを「車室内」と表現する。
【００１６】
撮影装置１は、詳細には、車室内を一方向から撮影する単眼カメラである。撮影装置１は、例えば運転席や助手席に座っている乗員のみならず後部座席に座っている乗員も俯瞰して撮影できるように配置されることが好ましい。これにより、車室内の各乗員の状態を認識することが可能になる。撮影装置１は、例えば、ルームミラーの近傍等、自動車の天井の前方中央部に設置される。撮影装置１がルームミラー近傍に設置された場合、撮影装置１で撮影される撮影画像は、例えば図２に示すようになる。図２は、運転席に運転者Ｄが座っている場合の画像を示す。なお、運転者Ｄは、運転席に座る乗員のことを指す。
【００１７】
撮影装置１と画像処理装置２とは、相互に通信可能に接続される。撮影装置１と画像処理装置２との接続形態は、有線でも無線でもよい。撮影装置１は、撮影した撮影画像を画像処理装置２に出力する。
【００１８】
なお、撮影装置１は近赤外線カメラとし、車室内には、撮影装置１の撮影領域に近赤外光を照射する近赤外照明装置が設置されることが好ましい。これにより、夜間等の車室内が暗い状況においても、画像処理装置２の画像処理によって車室内の乗員を検出することができる。
【００１９】
画像処理装置２は、撮影装置１で得られた撮影画像から特定の対象を抽出する処理を行う。画像処理装置２は、例えば自動車に搭載される。ただし、画像処理装置２は自動車に搭載されなくてもよい。例えば、画像処理装置２は、自動車と通信を行うサーバ装置に含まれてよい。また、画像処理装置２は、例えば自動車に乗る乗員が持ち運ぶ携帯端末に含まれてもよい。
【００２０】
本実施形態では、特定の対象には、自動車の運転者Ｄが含まれる。特定の対象には、運転者Ｄに限らず、助手席や後部座席に座る乗員等が含まれてよい。特定の対象は複数であってもよい。すなわち、特定の対象は、例えば、自動車の各席に座る乗員全てであってもよい。撮影画像から乗員を抽出することによって、乗員の状態を適時に把握することができ、危険回避行動を促すことや乗員に情報提供を行うこと等が可能になる。以下では、特定の対象が自動車の運転者Ｄである場合を例に説明する。なお、特定の対象は、自動車以外の車両の乗員、船舶の乗員、航空機の乗員、部屋の中の住人等であってもよい。
【００２１】
図１に示すように、画像処理装置２は、マイコン２０および記憶部２１を含んで構成される。マイコン２０は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部２１は、不揮発性のメモリである。マイコン２０は、例えば記憶部２１に記憶されたプログラムに基づいて情報の処理及び送受信を行う。マイコン２０は、取得部２０１と、設定部２０２と、背景差分処理部２０３と、判定部２０４と、分離部２０８と、抽出部２０５とを備える。換言すると、画像処理装置２は、取得部２０１と、設定部２０２と、背景差分処理部２０３と、判定部２０４と、分離部２０８と、抽出部２０５とを備える。マイコン２０が備えるこれらの各部２０１〜２０５、２０８の機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。
【００２２】
なお、取得部２０１、設定部２０２、背景差分処理部２０３、判定部２０４、分離部２０８と、及び、抽出部２０５の少なくともいずれか一つ又は全部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されてもよい。また、取得部２０１、設定部２０２、背景差分処理部２０３、判定部２０４、分離部２０８と、及び、抽出部２０５は、概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。
【００２３】
取得部２０１は、撮影装置１からアナログ又はデジタルの撮影画像を所定の周期（例えば、１／３０秒周期）で時間的に連続して取得する。すなわち、取得部２０１によって取得される撮影画像の集合体が撮影装置１で撮影された動画像である。取得した撮影画像がアナログの場合、取得部２０１は、そのアナログの撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。取得部２０１から出力される１つの撮影画像が１つのフレーム画像となる。
【００２４】
設定部２０２は、撮影装置１で得られた撮影画像に対して特定の対象を抽出する抽出範囲を設定する。本実施形態では、設定部２０２は、取得部２０１で取得された撮影画像（フレーム画像）に対して運転者Ｄを抽出する抽出範囲を設定する。抽出範囲は、例えば枠線で囲まれた１つの領域であり、運転席の近傍に設定される。抽出範囲は、例えば運転者Ｄの上半身等、運転者の身体の少なくとも一部が当該範囲内に収まるように設定される。抽出範囲は、予め記憶部２１に記憶される情報に基づいて設定される。抽出範囲を設定して、当該抽出範囲に絞って運転者Ｄの抽出処理を行うことによって、画像処理の処理負担を軽減することができる。抽出範囲は、一定の範囲であってもよいが、変動してもよい。
【００２５】
なお、特定の対象が助手席や後部座席に座る乗員である場合、抽出範囲は、運転席の近傍ではなく、例えば助手席や後部座席の近傍等であってよい。特定の対象が複数である場合、抽出範囲は複数設定されてよい。
【００２６】
背景差分処理部２０３は、撮影装置１で得られた撮影画像と、所定空間の背景画像との差分から背景差分画像（前景画像）を求める。本実施形態では、背景差分処理部２０３は、取得部２０１で取得された撮影画像（フレーム画像）と、車室内の背景画像との画素の差分を求め、当該画素の差分に基づいて背景領域と前景領域とを区別する。本実施形態では、抽出範囲に限定して背景差分処理が行われる。これにより、画像処理の負担を軽減することができる。ただし、背景差分処理は、撮影画像の全領域に対して行われてもよい。
【００２７】
なお、背景差分処理部２０３で用いる背景差分の手法は、上述の手法に限定されず、例えばグラフカット技術を用いた背景差分法であってよい。グラフカット技術を用いた背景差分法では、予め取得した背景に対する前景を分割するために必要となるエネルギーの総量が最小となるように領域を求めて、背景領域と前景領域との区別が行われる。
【００２８】
判定部２０４は、撮影装置１で得られた撮影画像中に所定方向から抽出範囲内に進入した物体があるか否かを判定する。抽出範囲内に進入する物体として、例えば、運転者自身の身体の一部、助手席や後部座席に座る乗員の身体の一部、および、乗員が車室内に持ち込んだ荷物等が想定される。抽出範囲は、運転者Ｄを抽出するために設けられた領域であり、この領域に進入する運転者Ｄ以外の物体は運転者Ｄと区別する必要がある。このために、判定部２０４は、所定方向から抽出範囲内に進入する物体の存在を確認する。
【００２９】
本実施形態では、所定方向には、助手席から運転席に向かう方向、および、後部座席から運転席に向かう方向が含まれる。これにより、抽出範囲に進入する運転者Ｄの身体以外の物体を検出することが可能になる。なお、助手席から運転席に向かう方向は、一定の角度範囲を有する方向であってよい。後部座席から運転席に向かう方向は、一定の角度範囲を有する方向であってよい。これらの角度範囲は、例えば実験やシミュレーションに基づいて決定されてよい。また、抽出対象が運転者Ｄではなく、助手席や後部座席に座る乗員である場合には、所定方向は、上述の方向とは異なる方向とされる。例えば、助手席に座る乗員を抽出する場合には、所定方向には、運転席から助手席に向かう方向、および、後部座席から運転席に向かう方向が含まれる。
【００３０】
判定部２０４は、運転者Ｄの抽出を行う撮影画像（フレーム画像）と、当該撮影より時間的に前に撮影された少なくとも１つの撮影画像（フレーム画像）とに基づいて、抽出範囲へ進入する物体の進入方向を判定する。当該判定に用いられる画像は、例えば、背景差分処理が行われる前の画像でもよいし、背景差分処理によって得られた前景画像であってもよい。
【００３１】
分離部２０８は、所定方向から抽出範囲内に進入した物体を分離する。抽出部２０５は、抽出範囲から前記物体が分離された撮影画像から特定の対象を抽出する。本実施形態では、抽出部２０５は、助手席から運転席に向かう方向、および、後部座席から運転席に向かう方向から抽出範囲内に進入した物体を分離して撮影画像から運転者Ｄを抽出する。
【００３２】
抽出部２０５は、背景差分法によって取得した前景画像に基づいて運転者Ｄを抽出する。運転者Ｄの抽出に際して、抽出部２０５は、判定部２０４からの情報に基づいて、助手席や後部座席に座る乗員の動きに起因して抽出範囲内に入ったと推定される物体を運転者Ｄから分離して運転者を抽出する。これによれば、撮影画像から抽出される運転者Ｄ（特定の対象）の身体に、助手席や後部座席に座る乗員の身体や、車室内に持ち込まれた荷物等が含まれることを防止することができる。また、運転者Ｄの動きに伴って抽出範囲内に入ったと推定される運転者Ｄの身体の一部は、運転者Ｄから分離することなく、運転者Ｄに含めることができる。すなわち、本実施形態の構成によれば、運転者Ｄを正しく抽出することができる。
【００３３】
図３は、第１実施形態に係る画像処理装置２の動作例を示すフローチャートである。画像処理装置２は、電源から電力が供給されている状態で図３に示すフローチャートの動作を開始する。以下では、画像処理装置２又は他の実施形態に係る画像処理装置が搭載される車両を「自車両」という。
【００３４】
まず、画像処理装置２は、エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わったか否かを監視する（ステップＳ１）。このため、画像処理装置２は、車両のドアが施錠状態か解錠状態かを通知する信号、および、エンジンがオンであるかオフであるかを通知する信号を画像処理装置２の外部から受け取る。なお、自車両が電気自動車である場合は、駆動輪を回転させるモータに電力を供給するモータ駆動装置に電源から電力が供給されていない状態がエンジンオフに相当する。
【００３５】
エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わると、取得部２０１は、例えば自車両に乗員が乗る前の撮影画像（フレーム画像）である背景画像を取得する（ステップＳ２）。図４は、撮影装置１で撮影される背景画像の一例を示す図である。取得部２０１は背景画像を取得した後、所定の周期でフレーム画像を取得し続ける。
【００３６】
次に、画像処理装置２は、運転者Ｄの抽出処理を行う処理対象画像となるフレーム画像を決定する（ステップＳ３）。処理対象画像は、運転席に運転者Ｄが座った後に撮影装置１によって撮影される画像である。運転席に運転者Ｄが座ったか否かは、撮影装置１で得られた時系列に並ぶ複数のフレーム画像を比較することによって検出してよい。他の手法として、座席に設置された重量センサ等のセンサによって運転席に運転者Ｄが座ったことを検出してもよい。なお、処理対象画像は、運転席に運転者Ｄが座った後に撮影装置１で得られたフレーム画像が順番に選択される構成であってよい。また、処理対象画像は、運転席に運転者Ｄが座った後に所定の時間間隔で得られるフレーム画像が選択される構成であってもよい。
【００３７】
処理対象画像が決定されると、設定部２０２が処理対象画像に対して運転者Ｄを抽出する抽出範囲を設定する（ステップＳ４）。本実施形態では、抽出範囲は予め記憶部２１に記憶される一定の範囲である。抽出範囲は、例えば、運転者Ｄの大きさや運転席のポジション等が変わった場合でも運転者Ｄの所定部位が検出できるように、余裕を持った範囲とされる。所定部位は、例えば運転者Ｄの上半身である。また、抽出範囲は、ハンドル、シートベルトリトラクター、シフトノブ等の車両可動部品を外す範囲に設定されてよい。これにより、車両可動部品が動くことによって背景領域を前景領域であると誤って区別する可能性を低減することができる。
【００３８】
図５は、撮影画像に抽出範囲ＥＲを設定した画像の一例を示す図である。図５に示すように、抽出範囲ＥＲは枠形状とされる。本実施形態では、抽出範囲ＥＲは矩形状であるが、抽出範囲ＥＲの形状は、例えば円形状、楕円形状、矩形を除く多角形状等の他の形状であってよい。
【００３９】
また、設定部２０２は、抽出部２０５で抽出した特定の対象の大きさに基づいて抽出範囲ＥＲを変動してよい。設定部２０２は、例えば運転者Ｄの大きさに基づいて抽出範囲ＥＲを変動してよい。この構成の場合、設定部２０２は、運転者Ｄが撮影画像から抽出される前においては、予め準備された抽出範囲を設定し、運転者Ｄが撮影画像から抽出された後は、運転者Ｄの大きさに基づいて抽出範囲を変更する。詳細には、運転者Ｄの身体が大きい場合には抽出範囲を大きくし、運転者Ｄの身体が小さい場合には抽出範囲を小さくする。抽出範囲ＥＲの大きさは、運転者Ｄの大きさに応じて連続的に変化させてもよいし、段階的に変化させてもよい。抽出範囲ＥＲを運転者Ｄの大きさに応じて変動させることによって、抽出範囲ＥＲに運転者Ｄ以外の乗員や車両に持ち込まれた荷物等が映り込む可能性を低減することができる。すなわち、撮影画像から運転者Ｄを正確に抽出できる可能性を向上できる。
【００４０】
抽出範囲ＥＲが設定されると、背景差分処理部２０３が抽出範囲ＥＲ内において背景差分処理を実行する（ステップＳ５）。具体的には、背景差分処理部２０３は、ステップＳ２で取得された背景画像と、ステップＳ３で取得された処理対象画像とを比較し、閾値に基づいて処理対象画像の抽出範囲ＥＲ内を前景領域と背景領域とに区別する。
【００４１】
次に、判定部２０４が処理対象画像に所定方向から抽出範囲ＥＲ内に進入した物体が有るか否かを判定する（ステップＳ６）。図６は、抽出範囲ＥＲ内に進入する物体の方向について説明するための図である。図６において、基準線Ｌ１は、矩形状の抽出範囲ＥＲを上下に分離する。基準線Ｌ２は、矩形状の抽出範囲ＥＲを左右に分離する。基準線Ｌ１より上側から抽出範囲ＥＲに進入する物体の進入角度はプラスである。逆に、基準線Ｌ１より下側から抽出範囲ＥＲに進入する物体の進入角度はマイナスである。プラス側において、進入角度の絶対値は基準線Ｌ１を基準として反時計回り方向に大きくなる。マイナス側において、進入角度の絶対値は基準線Ｌ１を基準として時計回り方向に大きくなる。例えば、基準線Ｌ１に平行であって、抽出範囲ＥＲに右側から左側に進入する物体の進入角度は０°である。基準線Ｌ１に平行であって、抽出範囲ＥＲに左側から右側に進入する物体の進入角度は１８０°（又は−１８０°）である。基準線Ｌ２に平行であって、上側から下側に進入する物体の進入角度は９０°であり、下側から上側に進入する物体の進入角度は−９０°である。
【００４２】
所定方向は、例えば０°以上１８０°以下としてよい。進入角度がプラスとなる方向から進入する物体は、後部座席から進入する物体である可能性が高い。また、進入角度が０°となる方向から進入する物体は、助手席から進入する物体である可能性が高い。一方、進入角度がマイナスとなる方向から進入する物体は、運転者Ｄ自身の身体の一部である可能性が高い。このために、所定方向を０°以上１８０°以下にすることによって、運転者Ｄ以外の物体の動きを抽出することが可能になる。ただし、これは例示にすぎない。例えば、助手席からの物体の進入と判断できる範囲は、０°からプラス側およびマイナス側に所定の範囲を有してよい。すなわち、所定方向は、例えば、所定のマイナス角以上１８０°以下としてよい。
【００４３】
判定部２０４は、処理対象画像より前に撮影された少なくとも１つのフレーム画像と、処理対象画像とを比較して所定方向から進入する物体があるか否かを判定する。比較に用いられる画像は、背景差分処理が行われる前の画像であってもよいし、背景差分処理が行われた画像であってもよい。前者の場合には、ステップＳ５の背景差分処理を行う前に、判定部２０４による進入物体の判定が行われてよい。また、後者の場合、背景差分処理が行われる範囲は、抽出範囲ＥＲより広いことが好ましい。
【００４４】
所定方向から抽出範囲内に進入する物体が有る場合（ステップＳ６でＹｅｓ）、背景差分処理によって得られたエッジに基づいて所定方向から進入する物体を特定する（ステップＳ７）。すなわち、所定方向から進入した物体は、運転者Ｄの身体とは異なる物体として分離される。分離された物体の情報は記憶部２１に記憶される。本実施形態では、所定方向を０°以上１８０°以下としている。このために、助手席や後部座席に座る乗員の動きに起因して抽出範囲ＥＲ内に入ったと推定される物体を運転者Ｄから分離して抽出することができる。一方、運転者Ｄの動きに伴って抽出範囲ＥＲ内に入ったと推定される運転者Ｄの身体の一部は、除外することなく運転者Ｄに含めることができる。
【００４５】
次に、抽出部２０５が運転者Ｄの抽出処理を行う（ステップＳ８）。抽出部２０５は、抽出範囲ＥＲ内において、運転者Ｄの頭部の検出処理を行う。頭部の検出処理の具体的な手法は特に限定されないが、例えば頭部のＨＯＧ（Histograms of Oriented Gradients)特徴量を用いたAdaBoostアルゴリズムによる機械学習を実行する手法を挙げることができる。抽出部２０５は、運転者Ｄの頭部を検出すると、頭部の位置と背景差分処理によって得られたエッジに基づいて運転者Ｄの身体部分を特定する。抽出部２０５は、頭部の検出や身体部分の特定に際して、先に分離された物体を頭部や身体から切り離して抽出処理を行う。
【００４６】
なお、所定方向から抽出範囲内に進入する物体が無い場合（ステップＳ６でＮｏ）、上述の分離抽出処理（ステップＳ７）が行われることなく、ステップＳ８の運転者Ｄの抽出処理が行われる。
【００４７】
抽出部２０５が、例えば抽出した運転者Ｄと背景領域（所定方向から抽出範囲ＥＲに進入した物体がある場合は当該物体領域も含む領域）との境界線を強調した画像を生成し、外部の表示装置に出力するようにしてもよい。図７は、抽出された運転者Ｄと背景領域との境界線Ｂを強調した画像の一例を示す図である。
【００４８】
図７において、破線で囲んだ部分は、抽出範囲ＥＲ内に映り込んだ後部座席の乗員の腕の一部である。この部分が運転者Ｄと分離されることなく抽出されると、あたかも運転者Ｄが腕を上げている姿勢で抽出される可能性がある。本実施形態では、抽出範囲ＥＲ内に入り込んだ後部座席の乗員の腕の一部は、判定部２０４の処理によって運転者Ｄの身体と区別することができ、このような誤検出の発生を防止することができる。
【００４９】
運転者Ｄの抽出処理が完了すると、画像処理装置２は、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わったか否かを確認する（ステップＳ９）。エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ３に戻る。一方、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わると、画像処理装置２は図３に示すフローチャートの動作を終了する。なお、画像処理装置２が図３に示すフローチャートの動作を終了した後に画像処理装置２に電源から電力が供給されると、画像処理装置２は再び図３に示すフローチャートの動作を開始する。
【００５０】
＜２．第２実施形態＞
図８は、第２実施形態に係る画像処理システムの構成を示すブロック図である。本実施形態では、画像処理システムは、撮影装置１と画像処理装置２Ａとを備える。本実施形態の撮影装置１の構成は第１実施形態と同じである。また、本実施形態の画像処理装置２Ａは、第１実施形態の画像処理装置２の構成とほぼ同じである。第１実施形態と同様の構成については、同一の符号を付し、特に説明の必要がない場合には説明を省略する。
【００５１】
図８に示すように、本実施形態においては、画像処理装置２Ａが検出部２０６を更に備える。この点が第１実施形態の構成と異なる。詳細には、マイコン２０Ａは、取得部２０１と、設定部２０２と、背景差分処理部２０３と、判定部２０４と、分離部２０８と、抽出部２０５とに加えて、検出部２０６を備える。マイコン２０Ａが備えるこれらの各部２０１〜２０６、２０８の機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。なお、各部２０１〜２０６、２０８の少なくともいずれか一つ又は全部は、ＡＳＩＣやＦＰＧＡ等のハードウェアで構成されてもよい。また、各部２０１〜２０６、２０８は概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。
【００５２】
本実施形態においても、設定部２０２は抽出範囲ＥＲを設定する。抽出範囲ＥＲの設定に加えて、設定部２０２は、撮影装置１で得られた撮影画像に対して抽出範囲ＥＲの少なくとも一部を囲む検出線ＤＬを設定する。図９は、第２実施形態において設定部２０２によって設定される検出線ＤＬを説明するための図である。
【００５３】
図９に示すように、本実施形態においては、検出線ＤＬは抽出範囲ＥＲの全体を囲む。検出線ＤＬは矩形の枠状である。ただし、検出線ＤＬは抽出範囲ＥＲの一部を囲む構成であってよい。この場合、検出線ＤＬは、例えば、判定部２０４によって物体の進入が判定される所定方向に対応する範囲にのみ設けられる構成であってよい。具体的には、検出線ＤＬは逆Ｕ字状等であってよい。また、検出線ＤＬが抽出範囲ＥＲの全体を囲む枠状である場合においても、検出線ＤＬの形状は円形状や楕円形状等の矩形状以外の形状であってよい。
【００５４】
検出部２０６は、検出線ＤＬを超えて抽出範囲ＥＲに向かう物体を検出する。検出線ＤＬを超えて抽出範囲ＥＲに向かう物体には、例えば、運転者自身の身体の一部、助手席や後部座席に座る乗員の身体の一部、および、乗員が車室内に持ち込んだ荷物等が含まれる。
【００５５】
検出部２０６は、運転者Ｄの抽出を行う撮影画像（フレーム画像）と、当該撮影より時間的に前に撮影された少なくとも１つの撮影画像（フレーム画像）とに基づいて、検出線ＤＬを超えて抽出範囲ＥＲに向かう物体を検出する。当該物体の検出に用いられる画像は、例えば、背景差分処理が行われる前の画像でもよいし、背景差分処理によって得られた前景画像であってもよい。
【００５６】
図１０は、第２実施形態に係る画像処理装置２Ａの動作例を示すフローチャートである。図１０に示す画像処理装置２Ａの動作は、図３に示す第１実施形態の画像処理装置２の動作とほぼ同じである。このために、第１実施形態と重複する部分は簡単に説明し、異なる部分を詳細に説明する。
【００５７】
まず、画像処理装置２Ａは、エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わったか否かを監視する（ステップＳ１）。エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わると、取得部２０１は背景画像を取得する（ステップＳ２）。次に、画像処理装置２は、運転者Ｄの抽出処理を行う処理対象画像となるフレーム画像を決定する（ステップＳ３）。
【００５８】
処理対象画像が決定されると、設定部２０２が処理対象画像に対して抽出範囲ＥＲおよび検出線ＤＬを設定する（ステップＳ４Ａ）。設定部２０２が、抽出範囲ＥＲに加えて検出線ＤＬを設定する点が第１実施形態と異なる。抽出範囲ＥＲが予め記憶部２１に記憶される一定の範囲である場合、検出線ＤＬも予め記憶部２１に記憶される位置に設定されてよい。また、抽出範囲ＥＲが変動する場合、検出線ＤＬも抽出範囲ＥＲの変動に合わせて変動する構成であってよい。
【００５９】
抽出範囲ＥＲおよび検出線ＤＬが設定されると、背景差分処理部２０３が検出線ＤＬによって囲まれる領域内において背景差分処理を実行する（ステップＳ５）。なお、検出線ＤＬを超えて抽出範囲ＥＲに向かう物体が存在するか否かを確認するための画像が背景差分処理を行う前の画像である場合には、背景差分処理を行う範囲は第１実施形態と同様に抽出範囲ＥＲ内であってよい。
【００６０】
次に、検出部２０６は、処理対象画像に検出線ＤＬを超えて抽出範囲ＥＲに向かう物体が存在するか否かを確認する（ステップＳ１０）。換言すると、検出部２０６は、検出線ＤＬに基づいて抽出範囲ＥＲ内に進入する可能性がある物体（進入可能性物体）が存在するか否かを確認する。検出部２０６は、処理対象画像より前に撮影された少なくとも１つのフレーム画像の前景画像と、処理対象画像の前景画像とを比較して進入可能性物体があるか否かを確認する。
【００６１】
進入可能性物体がある場合（ステップＳ１０でＹｅｓ）、検出部２０６は当該情報を記憶部２１に記憶させる処理を行う（ステップＳ１１）。記憶部２１に記憶させる情報は、単に、進入可能性物体が存在するという情報のみでもよいが、進入予測方向を含むことが好ましい。進入可能性物体がない場合（ステップＳ１０でＮｏ）、ステップＳ１１が行われることなくステップＳ６が行われる。なお、本実施形態では、進入可能性物体が存在する場合、当該情報を記憶させる構成としているが、単にフラグを立てる構成であってもよい。
【００６２】
ステップＳ１１に続いて、判定部２０４は処理対象画像に所定方向から抽出範囲ＥＲ内に進入した物体が有るか否かを判定する（ステップＳ６）。判定部２０４は、現在の処理対象画像より１つ前の処理対象画像の処理によって進入可能性物体が存在するという情報が得られている場合、当該情報に基づいて、抽出範囲ＥＲに所定方向から進入する物体を効率良く検出することができる。なお、判定部２０４は、現在の処理対象画像より１つ前の処理対象画像の処理によって進入可能性物体が存在するという情報が得られていない場合には、画像処理による判定を省略して、抽出範囲ＥＲに進入した物体がないと判定してもよい。
【００６３】
所定方向から抽出範囲内に進入する物体が有る場合（ステップＳ６でＹｅｓ）、当該物体は運転者Ｄの身体とは異なる物体として分離される（ステップＳ７）。次に、抽出部２０５が運転者Ｄの抽出処理を行う（ステップＳ８）。所定方向から抽出範囲内に進入する物体が無い場合（ステップＳ６でＮｏ）、上述の分離抽出処理（ステップＳ７）が行われることなく、ステップＳ８の運転者Ｄの抽出処理が行われる。運転者Ｄの抽出処理が完了すると、画像処理装置２Ａは、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わったか否かを確認する（ステップＳ９）。エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ３に戻る。一方、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わると、画像処理装置２Ａは図１０に示すフローチャートの動作を終了する。
【００６４】
本実施形態の構成によれば、検出線ＤＬを用いて抽出範囲ＥＲに進入する可能性がある物体を予め検出して、当該情報を利用して抽出範囲ＥＲに所定方向から進入した物体が有るか否かを判定することができる。このために、抽出範囲ＥＲに所定方向から進入した物体が有るか否かを効率良く、且つ、正確に検出することができる。この結果、運転者Ｄの身体に、助手席や後部座席に座る乗員の身体や、車室内に持ち込まれた荷物等を誤って含めて運転者Ｄを抽出することを防止することができる。
【００６５】
＜３．第３実施形態＞
図１１は、第３実施形態に係る画像処理システムの構成を示すブロック図である。本実施形態では、画像処理システムは、撮影装置１と画像処理装置２Ｂとを備える。本実施形態の撮影装置１の構成は第１実施形態と同じである。また、本実施形態の画像処理装置２Ｂは、第１実施形態の画像処理装置２の構成とほぼ同じである。第１実施形態と同様の構成については、同一の符号を付し、特に説明の必要がない場合には説明を省略する。
【００６６】
図１１に示すように、本実施形態においては、画像処理装置２Ｂが更新判断部２０７を更に備える。この点が第１実施形態の構成と異なる。詳細には、マイコン２０Ｂは、取得部２０１と、設定部２０２と、背景差分処理部２０３と、判定部２０４と、分離部２０８、抽出部２０５とに加えて、更新判断部２０７を備える。マイコン２０Ｂが備えるこれらの各部２０１〜２０５、２０７、２０８の機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。なお、各部２０１〜２０５、２０７、２０８の少なくともいずれか一つ又は全部は、ＡＳＩＣやＦＰＧＡ等のハードウェアで構成されてもよい。また、各部２０１〜２０５、２０７、２０８は概念的な構成要素である。１つの構成要素が実行する機能を複数の構成要素に分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてよい。
【００６７】
更新判断部２０７は、背景画像を更新するか否かを判断する。詳細には、更新判断部２０７は、前景画像の中に、所定期間を超えて動かない物体が存在するか否かを確認する。所定期間を超えて動かない物体が存在する場合には、更新判断部２０７は、当該物体を背景に含める背景画像の更新を行う。乗員は、通常、座席に座っている状態でも全く動かないことはないために、背景画像に加えられることはない。一方、例えば乗員によって車両に持ち込まれた荷物は動かない可能性が高く、背景画像に含められることがある。
【００６８】
図１２は、第３実施形態に係る画像処理装置２Ｂの動作例を示すフローチャートである。図１２に示す画像処理装置２Ｂの動作は、図３に示す第１実施形態の画像処理装置２の動作とほぼ同じである。このために、第１実施形態と重複する部分は簡単に説明し、異なる部分を詳細に説明する。
【００６９】
まず、画像処理装置２Ｂは、エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わったか否かを監視する（ステップＳ１）。エンジンオフ時に自車両のドアが施錠状態から解錠状態に切り替わると、取得部２０１は背景画像を取得する（ステップＳ２）。次に、画像処理装置２は、運転者Ｄの抽出処理を行う処理対象画像となるフレーム画像を決定する（ステップＳ３）。
【００７０】
処理対象画像が決定されると、設定部２０２が処理対象画像に対して抽出範囲ＥＲを設定する（ステップＳ４）。抽出範囲ＥＲが設定されると、背景差分処理部２０３が抽出範囲ＥＲ内において背景差分処理を実行する（ステップＳ５）。次に、判定部２０４は処理対象画像に所定方向から抽出範囲ＥＲ内に進入した物体が有るか否かを判定する（ステップＳ６）。
【００７１】
所定方向から抽出範囲内に進入する物体が有る場合（ステップＳ６でＹｅｓ）、当該物体は運転者Ｄの身体とは異なる物体として分離される（ステップＳ７）。次に、抽出部２０５が運転者Ｄの抽出処理を行う（ステップＳ８）。所定方向から抽出範囲内に進入する物体が無い場合（ステップＳ６でＮｏ）、上述の分離抽出処理（ステップＳ７）が行われることなく、ステップＳ８の運転者Ｄの抽出処理が行われる。
【００７２】
運転者Ｄの抽出処理が完了すると、更新判断部２０７が背景画像を更新するか否かを判断する（ステップＳ１２）。更新判断部２０７は、背景差分処理によって得られた前景画像の中に、所定期間を超えて動かない物体が存在する場合、背景画像を更新すると判断する。一方、更新判断部２０７は、背景差分処理によって得られた前景画像の中に、所定期間を超えて動かない物体が存在しない場合、背景画像を更新しないと判断する。
【００７３】
背景画像を更新すると判断した場合（ステップＳ１２でＹｅｓ）、更新判断部２０７は背景画像を更新する処理を行う（ステップＳ１３）。詳細には、更新判断部２０７は、所定期間動かない物体の画像領域を特定し、当該画像領域を背景画像と合成する処理を行う。ステップＳ１３に続いてステップＳ９が行われる。なお、背景画像を更新しないと判断した場合（ステップＳ１２でＮｏ）、ステップＳ１３は行われず、ステップＳ９が行われる。
【００７４】
ステップＳ９においては、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わったか否かが確認される。エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わるというイベントが発生していなければ、ステップＳ３に戻る。一方、エンジンオフ時に自車両のドアが解錠状態から施錠状態に切り替わると、画像処理装置２Ｂは図１２に示すフローチャートの動作を終了する。
【００７５】
本実施形態の構成によれば、抽出範囲ＥＲに存在する動かない物体が適宜背景画像へと含められる。このために、背景差分処理によって運転者Ｄを抽出する際の処理負荷を低減することができる。また、運転者Ｄの身体に車室内に持ち込まれた荷物を誤って含めて運転者Ｄを抽出することを防止することができる。また、座席位置やシートベルトリトラクターの位置が変更された場合に、その変更が反映された背景画像を得ることができる。
【００７６】
＜４．留意事項＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で組み合わせて実施されてよい。
【００７７】
運転者Ｄだけでなく、助手席や後部座席に座る乗員も画像から抽出する場合には、各乗員に対して図３等に示すフローチャートに従った処理が行われればよい。
【００７８】
運転者Ｄの抽出結果の用途は特に限定されないが、例えば運転者Ｄの抽出位置の推移を監視することで、運転者Ｄの運転不能状態を検出することができる。なお、運転者Ｄの運転不能状態が検出された場合に自車両がどのようなサービスを実行するかについても特に限定されないが、運転者Ｄの運転不能状態が検出された場合に実行されるサービスの例としては、自車両の自動停止や運転者、同乗者、車外の少なくとも一つに対する異常報知などを挙げることができる。また、別の例として、運転者Ｄの抽出によって取得された運転者Ｄの大きさ情報に基づいて、エアバックを動作させるエアバックＥＣＵの動作設定が行われてもよい。
【符号の説明】
【００７９】
１・・・撮影装置
２、２Ａ、２Ｂ・・・画像処理装置
２０２・・・設定部
２０３・・・背景差分処理部
２０４・・・判定部
２０５・・・抽出部
２０６・・・検出部
２０７・・・更新判断部
２０８・・・分離部
ＤＬ・・・検出線
ＥＲ・・・抽出範囲
【図１】
2019133446.tif 000003
【図２】
2019133446.tif 000004
【図３】
2019133446.tif 000005
【図４】
2019133446.tif 000006
【図５】
2019133446.tif 000007
【図６】
2019133446.tif 000008
【図７】
2019133446.tif 000009
【図８】
2019133446.tif 000010
【図９】
2019133446.tif 000011
【図１０】
2019133446.tif 000012
【図１１】
2019133446.tif 000013
【図１２】
2019133446.tif 000014