(57)【特許請求の範囲】
【請求項１】
車両内を撮影した車内画像に基づいて、前記車内画像における車両内の人物の、人体の複数の部位の位置を検出する人体部位検出手段と、
前記人体部位検出手段で得られた部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と、
あらかじめ学習された識別器と、前記特徴量算出手段が算出した順位特徴量とを用いて、車両内乗員の行動を識別する識別手段と、
を有することを特徴とする行動認識装置。
【請求項２】
前記識別器は、決定木学習によって学習されたものであり、人体のある部位間の距離の大きさの順位と、別のある部位間の距離の大きさの順位との大小関係に基づいて構成される、
請求項１に記載の行動認識装置。
【請求項３】
前記識別器は、統計的機械学習に基づいて構成される、
請求項１に記載の行動認識装置。
【請求項４】
前記識別手段は、あらかじめ定められた複数の行動それぞれに対する確からしさを算出するものであり、
動画像を構成する複数フレームの画像に対して、人体の部位位置の検出、順位特徴量の算出、および前記複数の行動それぞれに対する確からしさの算出を行い、前記確からしさの二乗和が最大となる行動を前記車両内乗員の行動であると判断する、
請求項１から３のいずれか１項に記載の行動認識装置。
【請求項５】
車両内を撮影した車内画像における車両内の人物の人体の複数の部位の位置、および車両内の人物が取った正解の行動を取得する入力手段と、
人体の部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と、
前記特徴量算出手段が算出した順位特徴量と、前記正解の行動とに基づいて、車両内乗員の行動を識別するための識別器を学習する学習手段と、
を有することを特徴とする学習装置。
【請求項６】
前記学習手段は、人体のある部位間の距離の大きさの順位と別のある部位間の距離の大きさの順位との大小関係に基づく決定木学習によって前記識別器を学習する、
請求項５に記載の学習装置。
【請求項７】
前記学習手段は、統計的機械学習に基づいて前記識別器を学習する、
請求項５に記載の学習装置。
【請求項８】
前記車内画像における複数の部位の位置に微小変動を加えた入力データも同一の正解行動を表す学習データとして用いて識別器を学習する、
請求項５から７のいずれか1項に記載の学習装置。
【請求項９】
車両内を撮影した車内画像に基づいて、前記車内画像における車両内の人物の、人体の複数の部位の位置を検出する人体部位検出ステップと、
前記人体部位検出ステップにおいて得られた部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出ステップと、
あらかじめ学習された識別器と、前記特徴量算出ステップにおいて算出した順位特徴量とを用いて、車両内乗員の行動を識別する識別ステップと、
を含むことを特徴とする行動認識方法。
【請求項１０】
車両内を撮影した車内画像における車両内の人物の人体の複数の部位の位置、および車両内の人物が取った正解の行動を取得する入力ステップと、
人体の部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出ステップと、
前記特徴量算出ステップにおいて算出した順位特徴量と、前記正解の行動とに基づいて、車両内乗員の行動を識別するための識別器を学習する学習ステップと、
を含むことを特徴とする学習方法。
【請求項１１】
請求項９または１０に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，車両内乗員の行動認識技術に関する．
【背景技術】
【０００２】
車両内乗員の行動を認識する手法として，たとえば，非特許文献1のような方法が提案
されている．非特許文献１では，入力画像から解像度の異なる複数の画像（ピラミッド画像）を作成し，得られたピラミッド画像から高密度に着目点を検出する．また，各々の着目点を時間方向に追跡して得られた軌跡毎に，HOG，HOF，MBHといった複数の種類の画像
特徴量を算出する．さらに，これらの画像特徴量を次元方向に連結し，Bag-of-Feature表現を用いて，より記述能力の高い画像特徴量に変換する．最終的に，識別対象となる行動毎に得られた画像特徴量を入力とする非線形SVM (Support Vector Machine)を用いて識別器を学習する．
【０００３】
また，車両内乗員の行動を認識する手法として，たとえば，非特許文献２のような方法が提案されている．非特許文献２では，デプス・センサーを用いて各時刻における人体の部位の位置を検出し，得られた人体の部位の位置を入力とする隠れマルコフモデル（HMM
）を用いて，第一の特徴量を算出する．また，得られた第一の特徴量に対して，フィッシャー・カーネル（Fisher Kernel）を適用することで，より記述能力の高い第2の特徴量（Fisher Vector）に変換する．最終的に，識別対象となる行動毎に算出した第2の特徴量を入力とする非線形SVMを用いて識別器を学習する．
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】H. Wang, A. Klaser, C. Schmid. “Dense Trajectories and Motion Boundary Descriptors for Action Recognition”, International Journal of Computer Vision (IJCV), 103, pp.60-79, 2013.
【非特許文献２】Y. Goutsu et al., “Gesture recognition using hybrid generative discriminative approach with Fisher Vector”, IEEE International Conference on Robotics and Automation (ICRA), 2015.
【非特許文献３】M. Schwarz et al., RGB-D Object Recognition and Pose Estimation Based on Pre-Trained Convolutional Neural Network Features ICRA2015
【非特許文献４】A. Toshev et al., Pose Estimation via Deep Neural Networks, CVPR2015
【非特許文献５】L. Breiman. “Random Forests”, Machine Learning, vol. 45, no. 1, pp. 5-32, 2001.
【非特許文献６】J. Weston，C. Watkins. Multi-class Support Vector Machines，Technical Report CSD-TR-98-04,1998.
【非特許文献７】Sugiyama, M. Superfast-trainable multi-class probabilistic classifier by least-squares posterior fitting. IEICE Transactions on Information and Systems, vol.E93-D, no.10, pp.2690-2701, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら，非特許文献１のように，画像空間上から高密度に着目点を抽出し，得られた軌跡毎に複数の種類の画像特徴量を算出する場合，得られる特徴量が膨大となる．したがって，識別器の学習だけでなく，その識別器を用いた識別処理にも長時間を要するという問題がある．
【０００６】
また，非特許文献２のように，デプス・センサーを用いて各時刻における人体の部位の位置を検出し，得られた人体の部位の位置を入力とする隠れマルコフモデル（HMM）を適
用する場合，ジェスチャー認識のような，動画像中の人物が意図した行動を認識するのに有効である反面，動画像中の人物が意図しない危険行動などを認識するのは困難であるという問題がある．
【０００７】
本発明は上記の問題点を考慮してなされたものであり，車両内乗員の行動を精度良く認識可能とすることを目的とする．
【課題を解決するための手段】
【０００８】
本発明の第一の態様は，行動認識装置であり，
車両内を撮影した車内画像に基づいて，前記車内画像における車両内の人物の，人体の複数の部位の位置を検出する人体部位検出手段と，
前記人体部位検出手段で得られた部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と，
あらかじめ学習された識別器と，前記特徴量算出手段が算出した順位特徴量とを用いて，車両内乗員の行動を識別する識別手段と，
を有することを特徴とする．
【０００９】
車両内の人物の部位の位置は，前記車内画像に対応する距離画像（奥行情報）も考慮して求めることも好ましい．また，部位間の距離は，車内画像内での距離（2次元距離）で
あってもよいし，奥行情報も考慮した3次元的な距離であってもよい．
【００１０】
本実施形態においては，人体の部位間の距離の大きさの順位に基づく特徴量（順位特徴量）を用いているので，入力画像中の人体のスケール変動，回転，平行移動に対して頑強である．したがって，座席位置の水平移動，乗員の体格差，カメラの位置や向きなどの影響を抑制した精度のよい認識が行える．
【００１１】
上記の識別器は，決定木学習によって学習することができる．たとえば，Random Forestsアルゴリズムにしたがって学習することができる．この際，決定木において各ノードでの分岐を判定する条件として，人体のある部位間の距離の大きさの順位と，別のある部位間の距離の大きさの順位との大小関係に基づく判定条件を採用することができる．上記の識別器は，入力情報が，あらかじめ定められた複数の行動のいずれに該当するかを決定するものであってもよいし，これら複数の行動それぞれに対する確からしさ（確率）を算出するものであってもよい．
【００１２】
上記の識別器はまた，決定木学習以外の任意の統計的機械学習，たとえば，SVM（Support Vector Machine），最小二乗確率的分類法，ベイズ推定，ニューラルネットワークな
どの手法によって学習されたものであってもよい．
【００１３】
車両内乗員の行動は，1枚の画像のみから判断するものであってもよいが，複数枚の画
像，より詳細には複数フレームから構成される動画像に基づいて認識することが好ましい．この場合，行動認識装置は，動画像を構成する複数フレームの画像に対して，人体の部位位置の検出，順位特徴量の算出，および前記複数の行動それぞれに対する確からしさの算出を行い，前記確からしさの二乗和が最大となる行動を前記車両内乗員の行動であると判断する，ことが好ましい．ここでは確からしさの二乗和を用いて評価しているが，単純和や積などを用いても構わない．
【００１４】
本発明の第二の態様は，上記の行動認識装置において用いられる識別器を学習するため
の学習装置であって，
車両内を撮影した車内画像における車両内の人物の人体の複数の部位の位置，および車両内の人物が取った正解の行動を取得する入力手段と，
人体の部位間の距離の大きさの順位に基づく特徴量である順位特徴量を算出する特徴量算出手段と，
前記特徴量算出手段が算出した順位特徴量と，前記正解の行動とに基づいて，車両内乗員の行動を識別するための識別器を学習する学習手段と，
を有することを特徴とする．
【００１５】
第一の態様と同様に，部位間の距離は車内画像内での距離（2次元距離）であってもよ
いし，奥行情報も考慮した3次元的な距離であってもよい．3次元的な距離を採用する場合には，奥行情報も利用する必要がある．なお，人体の部位の位置の検出は，学習装置が行ってもよいし，人間が行ってもよい．
【００１６】
本態様において，人体の複数の部位の位置に微小変動を加えた入力データも同一の正解行動を表す学習データとして用いて識別器を学習することも好ましい．このようにノイズを加えた学習データを用意することで，人体の部位の位置の推定誤差に対して頑強な識別器を学習できる．
【００１７】
なお、本発明は，上記手段の少なくとも一部を備える行動認識装置または学習装置として捉えることができる．また，本発明は、上記処理の少なくとも一部を実行する行動認識方法または学習方法として捉えることもできる．また、本発明は、これら方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる．上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる．
【発明の効果】
【００１８】
本発明によれば，車両内乗員の行動認識の精度を向上することができる．特に，車両内の環境的要因による変動，たとえば，座席位置の水平移動，乗員の体格差，カメラの位置や向き，人体の部位の位置の推定誤差などによる影響を抑制することができる．
【図面の簡単な説明】
【００１９】
【図１】実施形態に係る行動認識装置1および学習装置2の機能構成図
【図２】学習装置2が行う学習処理のフローチャート
【図３】赤外画像入力部11に入力される赤外画像の例
【図４】人体部位検出部13による検出結果の例
【図５】微小変動印加部151による微小変動印加結果の例
【図６】部位間の距離の大きさの順位に基づく順位特徴量の説明
【図７】決定木モデルの説明
【図８】行動認識装置1が行う行動認識処理のフローチャート
【発明を実施するための形態】
【００２０】
［概要構成］
本発明の実施形態に関して，図面を参照して説明する．図1(a)は，本実施形態に係る行動認識装置1の概略構成を示すブロック図である．本実施形態に係る行動認識装置1は，半導体集積回路(LSI)を用いて実現できる．ここで，行動認識装置1は，図1(a)に示すように，赤外画像入力部11，奥行情報入力部12，人体部位検出部13，特徴量算出部14，識別部16を有する．識別部16は，1枚の画像から識別対象行動それぞれの確率（確からしさ）を求
める確率算出部161と，複数フレームの画像から車両内乗員の行動を特定するための確率
積算部162とを含む．これらの構成要素は，行動認識装置1が果たす機能にそれぞれ対応し
ている．
【００２１】
図1（b）は，識別部16の確率算出部161（識別器）を学習するための，学習装置2の概略構成を示すブロック図である．本実施形態に係る学習装置2は，半導体集積回路(LSI)を用いて実現できる．ここで，学習装置2は，図1(b)に示すように，赤外画像入力部11，奥行
情報入力部12，人体部位検出部13，学習部15，正解行動入力部17を有する．学習部15は，微小振動印加部151，特徴量算出部152，判定条件設定部153を含む．ここで，学習装置2が有する機能ブロックのうち行動認識装置1が有するものと同一のものについては，同一の
参照番号を付している．
【００２２】
これらの各機能部については，以下の学習処理および行動認識処理の説明の中で合わせて説明する．
【００２３】
［学習処理］
まず，学習装置2が行う学習処理について説明する．図2は学習処理の流れを示すフローチャートである．
【００２４】
ステップS10において，学習装置2は，正解行動が既知の行動について赤外画像および奥行情報（距離画像）の動画像を取得する．赤外画像は赤外画像入力部11から，奥行情報は奥行情報入力部12から，正解行動は正解行動入力部17からそれぞれ入力される．
【００２５】
赤外画像入力部11は，図3のように，行動認識装置1の外部から入力される車両内の赤外画像（以下，赤外画像）を取得し，時刻t (t=1,2,…,T)での赤外画像I(t)を人体部位検出部13に出力する．赤外画像は，車両内に設置された赤外線カメラから取得すればよい．なお，本実施形態では赤外画像を用いているが可視光画像を用いても構わない．
【００２６】
奥行情報入力部12は，行動認識装置1の外部から入力される車両内の奥行情報（以下，
奥行情報）を取得し，得られた時刻t (t=1,2,…,T)での奥行情報D(t)を人体部位検出部13に出力する．ここで，奥行情報D(t)は，すでに市販されているステレオカメラやTOFセン
サーなどを車両内に設置して取得すればよい．
【００２７】
正解行動入力部17には，現在入力された赤外画像および奥行情報の正解行動（正解カテゴリ）が入力される．正解行動の例は，ハンドル操作，バックミラーの調整，コントロール・パネルの調整，シートベルトの着用・着脱，スマートフォン操作，飲食などが挙げられる．
【００２８】
ステップS11-S13からなるループL1の処理は，入力された動画像の各フレームを対象に
して行われる．
【００２９】
ステップS11では，人体部位検出部13が，赤外画像I(t)および奥行情報D(t)から人体の
部位を検出する．
【００３０】
人体部位検出部13は，図4のように，赤外画像入力部11で得られた赤外画像I(t)と，奥
行情報入力部12で得られた奥行情報D(t)とに基づいて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出し，学習部15に出力する．
【００３１】
ここで，xm(t)は，時刻tでのm番目の部位の赤外画像I(t)における水平方向座標を表す
．また，ym(t)は，時刻tでのm番目の部位の赤外画像I(t)における垂直方向座標を表す．
一方，zm(t)は，時刻tでのm番目の部位の奥行方向座標を表し，奥行情報D(t)における2次元座標(xm(t),ym(t))上の値で与えられる．
【００３２】
具体的には，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)は，たとえば，非特許文献3のように，あらかじめ，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)と奥行方向座標zm(t) (m=1,2,…,M)とが付与された大量の学習用デー
タを用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出するための識別器C1を構成し，得られた識別器C1を用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出すればよい．
【００３３】
あるいは，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)は，非特許文献4のように，あらかじめ，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)が付与された大量の学習用データを用いて，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出するための識別器C2を構成し，得られた識別器C2を用い
て，車両内乗員のM個の部位の2次元座標(xm(t),ym(t)) (m=1,2,…,M)を検出してもよい．
【００３４】
ステップS12において，学習部15の微小変動印加部151は，人体部位検出部13によって得られた車両内乗員のM個の部位の2次元座標(xm(t), ym(t)) (m=1,2,…,M)に微小変動を加
えて，似て非なるK個の学習用データDk(t) (k=1,2,…,K)を作成する．微小変動を加えた
後も，正解行動は正解行動入力部17に入力されたものと同一である．
【００３５】
微小変動印加部151は，図5のように，人体部位検出部13で得られた車両内乗員のM個の
部位の2次元座標(xm(t), ym(t)) (m=1,2,…,M)に対して微小な変動(Δxm,k(t),Δym,k(t)) (m=1,2,…,M, k=1,2,…,K)を加えることで，似て非なるK個の学習用データDk(t)(k=1,2,…,K)を作成し，特徴量算出部152に出力する．
【００３６】
ここで，Δxm,k(t)は，m番目の部位の水平方向に対する微小な変動を表し，その大きさは，あらかじめ決められた最大値Δxmax以下の無作為な値で与えられ，k(=1,2,…,K)毎に値が異なる．また，Δym,k(t)は，m番目の部位の垂直方向に対する微小な変動を表し，その大きさは，あらかじめ決められた最大値Δymax以下の無作為な値で与えられ，k(=1,2,
…,K)毎に値が異なる．さらに，最大値ΔxmaxとΔymaxは，各々試行錯誤的に決められる
．
【００３７】
ステップS13において，特徴量算出部152が，微小変動印加部151で得られた似て非なるk個の学習用データDk(t) (k=1,2,…,K)に基づいて，K個の順位特徴量Fk(t) (k=1,2,…,K)
を算出する．具体的には，順位特徴量F(t)は，次の式(1)を用いて算出される．
【数１】
0006443393.tif 000002
【００３８】
ここで，式（1）において，D(m,n)はm番目の部位とn番目の部位との赤外画像空間上の
ユークリッド距離，R(D(m,n))は，D(1,2), D(1,3),・・・,D(8,9), D(9,10)を降順に並び替えたときのD(m,n)の順位を各々表す．たとえば，図6（a）のように，便宜上4つの部位
を考え，すべての部位のペア間の距離D(t)が，
D(t) = (D(1,2), D(1,3), D(1,4), D(2,3), D(2,4), D(3,4))
= (5.5, 2.6, 2.8, 3.5, 4.3, 4.0)
で与えられたとすると，時刻tにおける順位特徴量F(t)は，
F(t) = (1, 5, 6, 4, 3, 2)
のように算出できる．
【００３９】
順位特徴量F(t)は， 図6（b）のように，人体の部位の位置のスケール変動に対して不
変であり，また微小変動に対して頑健であるという特性がある．すなわち，順位特徴量F(
t)は，人体の部位間の距離の順位のみに依存するため，拡大・縮小といったスケール変動が生じても不変であり，人体の部位の位置が微小に変動しても，その変動がそれらの順位に影響しなければ，順位特徴量F(t)は一定である．このような特性により，車両内乗員の行動を推定する際に生じる様々な変動，たとえば，座席位置の水平移動，乗員の体格差，カメラの位置や向き，深層学習による人体の部位の位置の推定誤差などによる影響を抑制することができる．
【００４０】
以上のステップS11-S13の処理により，1フレーム分の画像について，複数の学習データDk(t)が作成され，それぞれについて順位特徴量F(t)が決定される．そしてループL1の繰
り返しにより，入力された動画像の各フレームについて当該処理が実行される．
【００４１】
ステップS14において，学習部15の判定条件設定部153は，特徴量算出部152で得られたK×T個の順位特徴量Fk(t) (k=1,2,…,K, t=1,2,…,T)，およびそれぞれに対する正解カテ
ゴリを用いて，識別対象カテゴリc(=1,…,C)に対する識別器C3を学習する．本実施形態では，決定木学習，特に非特許文献5のようなRandom Forestsを用いて，識別器C3を学習す
る．
【００４２】
Random Forestsとは，図7のような，決定木を弱識別器とする集団学習アルゴリズムの
一種であり，複数のノードr(=1,...,R)と，ノード間を接続するリンクとから構成される
．最上位層にあるノードをルート・ノード，最下位層にあるノードをリーフ・ノード，それ以外を単にノードとよぶ．各ノードには学習により，ノード内の順位特徴量を左右のノードに振り分けるための判定条件Φr(r=1,...,R)と，識別対象カテゴリc(=1,…,C)に対する確率Pr(c) (r=1,...,R)とが格納される．
【００４３】
ここで，識別対象カテゴリc(=1,…,C)は，正解行動入力部17に入力される正解行動である．識別対象カテゴリは，車両内乗員の行動認識の文脈に基づいて適切に設定すればよい．たとえば，“c=1:ハンドル操作”，“c=2:バックミラーの調整”，“c=3:コントロール・パネルの操作”，“c=4:シートベルトの着用・着脱”，“c=5:スマホ操作”，“c=6:飲食”のように設定すればよい．
【００４４】
また，Random Forestsの学習に必要な判定条件の候補φm(m=1,...,M)は，順位特徴量F(t)のi番目の要素I，j番目の要素J，要素Iと要素Jとの大小比較のための閾値τとを用いて設定する．具体的な判定条件，すなわちφmにおけるi, k, τの値は無作為（ランダム）
に決定する．
【００４５】
判定条件は，決定木を構成する各ノードからどちらの子ノードに遷移するかの決定に用いられる．具体的には，順位特徴量F(t)のi番目の要素Iと，j番目の要素J との大小比較
を行い，I - J > τが成立する場合は右側のノードに，成立しない場合は左側のノードに遷移する．たとえば，順位特徴量F(t)=(1, 5, 6, 4, 3, 2)に対して判定条件(i, j, τ)=(1, 5, 1)を適用した場合，i(=1)番目の要素I=5と，j(=5)番目の要素J=2とから，I-J = 5-2 = 3 > 1 = τが成立するため，右側のノードに遷移する．同様に，判定条件(i, j, τ)=(1, 0, 7)を適用した場合，i(=1)番目の要素I=5と，j(=0)番目の要素J=1とから，I-J =
5-1 = 4 < 7 = τが成立するため，左側のノードに遷移する．
【００４６】
以上のように，判定条件の候補φm(m=1,...,M)が得られたら，あとは非特許文献5で決
められた手順に従って学習をすればよい．ここでいう学習とは，各ノードr(=1,...,R)に
適切な判定条件Φr(r=1,...,R)と，識別対象カテゴリc(=1,…,C)に対する確率Pr(c) (r=1,...,R)を設定することをいう．具体的には，r番目のノードにおける判定条件Φr(r=1,…,R)は，判定条件の候補φm(m=1,...,M)のうちで，式（2）で定義される信頼度G(φ)を最
大にするものを設定すればよい．
【数２】
0006443393.tif 000003
【００４７】
ここで，Ql(φ)は，判定条件φで左側のノードに遷移するサンプルの個数，Qr(φ)は，判定条件φで右側のノードに遷移するサンプルの個数，H(Q(φ))は，所定ノードにおける識別対象カテゴリに対する情報エントロピー，H(Ql(φ))は，判定条件φで左側のノード
に遷移したサンプルの識別対象カテゴリに対する情報エントロピー，H(Qr(φ))は，判定
条件φで右側のノードに遷移したサンプルの識別対象カテゴリに対する情報エントロピーを各々表す．
【００４８】
最終的に，Random Forestsの各ノードr(=1,...,R)における判定条件Φr(r=1,...,R)と
，識別対象カテゴリc(=1,…,C)に対する確率Pr(c) (r=1,...,R)が決定される．学習に用
いる学習データの部分集合および判定条件の候補φmを異ならせて上記の処理を複数回行
い，複数の決定木を作成する．識別器（識別部16の確率算出部161に相当）の識別結果は
，各決定木によって求められる識別対象カテゴリcに対する確率Pr(c)を統合したものである．
【００４９】
［行動認識処理］
次に，行動認識装置1が行う行動認識処理について説明する．図8は行動認識処理の流れを示すフローチャートである．
【００５０】
ステップS20において，行動認識装置1は，認識対象の行動についての赤外画像および奥行情報（距離画像）の動画像を取得する．赤外画像と奥行情報の取得は，基本的に学習処理のときと同様である．
【００５１】
ステップS21-S23からなるループL2の処理は，入力された動画像の各フレームを対象に
して行われる．
【００５２】
ステップS21では，人体部位検出部13が人体の部位の2次元位置が検出される．ステップS22では，特徴量算出部14が人体の部位間の距離の順位に基づく順位特徴量を算出する．
ステップS21およびS22における処理は，学習処理におけるステップS11およびS12の処理と同様である．
【００５３】
ステップS23では，学習装置2によって学習された確率算出部161が，特徴量算出部14に
よって算出された順位特徴量の認識対象カテゴリc(=1,…,C)それぞれに対応する確率を求める．特徴量算出部14によって新たに入力された順位特徴量をF(t')と表す．順位特徴量F(t')は，認識対象カテゴリが未知である．確率算出部161は，学習部15で得られたRandom Forestsの各ノードr(=1,...,R)における判定条件Φr(r=1,...,R)と，識別対象カテゴリc(=1,…,C)に対する確率Pr(c) (r=1,...,R)とに基づいて，順位特徴量F(t’) (t’=1,…,T
’)の認識対象カテゴリc(=1,…,C)に対する確率P(t’, c)を算出する．算出された確率P(t', c)は確率積算部162に出力される．
【００５４】
具体的には，確率P(t’, c)は，学習部15で得られたRandom Forestsの各ノードr(=1,...,R)における判定条件Φr(r=1,...,R)を参照することで，ルート・ノードからノードを順に辿っていき，最終的に到達したリーフ・ノードr’ (r'は1からRのいずれか)における確率Pr’(c)で与えられる．
【００５５】
ステップS24において，確率積算部162は，直近のLフレームの識別結果（カテゴリごと
の確率）に基づいて，入力された動画像における車両内乗員の行動を決定する．具体的には，確率積算部162は，確率算出部161で得られた時刻t’での認識対象カテゴリc(=1,…,C)に対する確率P(t’, c)を時間方向にLフレーム積算することで，順位特徴量F(t’)が，
認識対象カテゴリc(=1,…,C)のうちのどれに属するかを判定する．具体的には，順位特徴量F(t’)が属する認識対象カテゴリc(F(t’)) (1からCのいずれか)は，式（3）を用いて
判定すればよい．
【数３】
0006443393.tif 000004
【００５６】
ここで，式(3)において，確率P(t’, c)に対する単純な和ではなく，二乗和を求めるのは，似て非なる2つの認識対象カテゴリがある場合，それらの相違を強調するためである
．また，Lの値は，試行錯誤的に決定すればよい．
【００５７】
このようにして得られた車両内乗員の行動認識結果c(F(t’))は，行動認識装置1を活用するより上位の装置に伝達され，車両内乗員の行動を入力とする様々なアプリケーションに適用される．たとえば，車両内乗員によるスマホ操作や飲食といった危険行動を認識し，車両の走行状態と照らし合わせることで適応的に注意を促すことなどに適用される．なお，上記手段が行動認識装置1の一例に相当する．
【００５８】
本実施形態では，部位間の距離の大きさの順位を特徴量として利用しているので，精度のよい行動認識が行える．距離の大きさの順位は，拡大・縮小と言ったスケール変換，回転や平行移動が生じても不変であり，また部位の微小変動に対しても頑強であるためである．このような特性により，車両内乗員の行動を推定する際に生じる様々な変動，たとえば，座席位置の水平移動，乗員の体格差，カメラの位置や向き，深層学習による人体の部位の位置の推定誤差などによる影響を抑制することができる．
【００５９】
［変形例］
上記の説明では，人体の部位の位置として2次元位置(xm(t), ym(t))を求めており，し
たがって，部位間の距離もxy面内での距離が用いられている．しかしながら，人体の部位の位置を3次元で求めて，部位間の距離として3次元空間内での距離を用いることも好適である．この場合，学習処理において部位の位置に微小変動を加える際には，x,y,zの各成
分に無作為な値を加えてもよいし，x,yの成分に無作為な値を加えてz成分は奥行情報D(t)における(xm(t)+Δxm,k(t), ym(t)+Δym,k(t))の値としてもよい．
【００６０】
また，学習処理や行動認識処理において用いられる人体の部位の位置は，どのようにして求められても構わない．これは部位検出のアルゴリズムが特定のものに限定されないことを意味するだけでなく，部位検出を人手で行ってもよいことを意味する．もっとも，行動認識処理については，リアルタイムに処理を行うために人体の部位検出を機械によって行うことが望ましい．
【００６１】
また，確率積算部162は，各フレームにおける確率P(t', c)の二乗和に基づいて最終的
な行動カテゴリの認識結果を決定しているが，単純和や積（あるいは，相加平均や相乗平均）に基づいて決定してもよい．
【００６２】
また，上記の説明では，決定木学習の例としてRandom Forestsを採用した場合を説明したが，ID3やCARTのようなその他の決定木学習アルゴリズムを用いてもよい．
【００６３】
また，採用可能な学習処理は決定木学習に限られず，その他の任意の統計的機械学習で
あって構わない．統計的機械学習とは，学習データから統計的方法に基づいて，入力データのクラス判別を行うモデルを生成する学習処理を指す．たとえば，非特許文献6のよう
な多クラスSupport Vector Machineを用いることができる．あるいは，非特許文献7のよ
うな最小二乗確率的分類法を用いることもできる．その他にも，ベイズ推定やニューラルネットワークなどを用いることもできる．
【００６４】
本発明における行動認識装置1や学習装置2は，半導体集積回路(LSI)による実装に限定
されず，汎用的なマイクロプロセッサやメモリを有するコンピュータがプログラムを実行することによって実現されても構わない．また，上記の説明では，行動認識装置1と学習
装置2を異なる装置として説明したが，1台の装置において学習モードを認識モードとを切り替えられるように構成しても構わない．
【符号の説明】
【００６５】
1…行動認識装置
11…赤外画像入力部
12…奥行情報入力部
13…人体部位検出部
14…特徴量算出部
15…学習部
16…識別部
17…正解情報入力部
【図１】
0006443393.tif 000005
【図２】
0006443393.tif 000006
【図３】
0006443393.tif 000007
【図４】
0006443393.tif 000008
【図５】
0006443393.tif 000009
【図６】
0006443393.tif 000010
【図７】
0006443393.tif 000011
【図８】
0006443393.tif 000012