(57)【要約】【課題】  コストを抑制しつつ、乗員の有無や乗員の状況などの車内座席の使用状況を正確に識別する。【解決手段】  カメラ１０は、赤外光源３０の点灯時における第１の画像と、赤外光源３０の消灯時における第２の画像とを、カメラ制御部２０を介して、コンピュータ５０に供給する。コンピュータ５０は、第１及び第２の画像における輝度信号の差分である輝度差分画像を生成する。輝度差分画像は、カメラ１０から近い距離の物体については差分輝度値が大きくなり、遠い物体については差分輝度値が小さくなるような簡易距離画像の性質を有する。そこで、コンピュータ５０は、輝度差分画像に基づいて、車内の座席使用状況を識別する。【選択図】  図１
2005195394.tif 000002
【特許請求の範囲】
【請求項１】
車内の座席に着座した乗員の身体及びその周囲の車窓背景を撮像可能な位置に配置された撮像手段と、
前記車内を投光する光源と、
前記撮像手段の同期信号に同期して前記光源の点灯及び消灯を制御する点灯制御手段と、
前記光源の点灯時に前記撮像手段により撮像された第１の画像と、前記光源の消灯時に前記撮像手段により撮像された第２の画像と、に基づいて特徴量を演算する特徴量演算手段と、
前記特徴量演算手段により演算された特徴量に基づいて前記車内の座席使用状況を識別する識別手段と、
を備えた車内座席使用状況識別装置。
【請求項２】
前記特徴量演算手段は、前記特徴量として、前記第１及び第２の画像における輝度信号の差分及び比の少なくとも１つを演算する
請求項１に記載の車内座席使用状況識別装置。
【請求項３】
前記特徴量演算手段は、単位領域あたり３以上の分解能を有する特徴量を演算する
請求項１または請求項２に記載の車内座席使用状況識別装置。
【請求項４】
前記識別手段は、前記特徴量を所定ブロック毎に分割し、各ブロック内における特徴量の平均値又は分散値に基づいて前記車内の座席使用状況を識別する
請求項１から請求項３のいずれか１項に記載の車内座席使用状況識別装置。
【請求項５】
前記識別手段は、車内の座席使用状況として、乗員の有無、乗員の姿勢、乗員の頭部位置、乗員が大人又は子供であるか、チャイルドシートの有無の少なくとも１つを識別する
請求項１から請求項４のいずれか１項に記載の車内座席使用状況識別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車内座席使用状況識別装置に係り、特に、１台のカメラを用いて車両内部の座席使用状況を識別する車内座席使用状況識別装置に関する。
【背景技術】
【０００２】
従来、被写体である人間の顔画像を撮像し、顔画像に基づいてその人間の状態を検出することが行われている（例えば、特許文献１乃至３を参照。）。
【０００３】
特許文献１には、光源の点灯時と消灯時に運転者の顔画像を撮影し、光源の点灯時と消灯時の顔画像の差分値を演算し、この差分値に基づいて運転者の覚醒度を判断して警報を行う「居眠り運転警報装置」が記載されている。
【０００４】
特許文献２には、所定の間隔をおいて配置された２つの撮像部から得られた２つの画像に基づいて対象物までの距離を演算し、対象物までの距離と基準データとに基づいて乗員の乗車状態を検出する「乗員の乗車状態検出装置」が記載されている。
【０００５】
特許文献３には、同一被写体について時間差をもって撮像された画像から抽出される第１及び第２の画像のエッジ画像の差分画像を形成し、差分画像に基づいて被写体の状態を検出する「差分画像を用いた被写体の検出装置」が記載されている。
【特許文献１】特開平１０−１０５８９８号公報
【特許文献２】特開２０００−９７６３８号公報
【特許文献３】特開２０００−１１３１６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に記載された「居眠り運転警報装置」は、運転者の顔に向けて撮像体を設置しているので、運転者の顔及び顔の表情に起因する覚醒度しか検出することができなかった。特許文献２に記載された「乗員の乗車状態検出装置」は、少なくとも２つの撮像部を必要としているため、コストが高くなってしまう問題があった。
【０００７】
また、特許文献３に記載された「差分画像を用いた被写体の検出装置」は、時間差のある２つのエッジ画像の差分を用いて被写体を検出している。このため、車両走行中の車窓の背景を誤って動きのある被写体として取り扱ってしまうおそれがあるので、その背景のエッジ画像の差分を抽出してしまい、その結果、乗員を正確に検出したり識別することができない問題があった。
【０００８】
本発明は、上述した課題を解決するために提案されたものであり、コストを抑制しつつ、乗員の有無や乗員の状況などの車内座席の使用状況を正確に識別することができる車内座席使用状況識別装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するため、本発明に係る車内座席使用状況識別装置は、車内の座席に着座した乗員の身体及びその周囲の車窓背景を撮像可能な位置に配置された撮像手段と、前記車内を投光する光源と、前記撮像手段の同期信号に同期して前記光源の点灯及び消灯を制御する点灯制御手段と、前記光源の点灯時に前記撮像手段により撮像された第１の画像と、前記光源の消灯時に前記撮像手段により撮像された第２の画像と、に基づいて特徴量を演算する特徴量演算手段と、前記特徴量演算手段により演算された特徴量に基づいて前記車内の座席使用状況を識別する識別手段と、を備えている。
【００１０】
撮像手段は車内に取り付けられ、その撮像可能範囲は乗員の身体及びその周囲の車窓背景である。なお、上半身は乗員の頭部を含んでいる。
【００１１】
光源は、車内を光で照らすことができればよく、例えば赤外光源に限定されるものではない。点灯制御手段は、撮像手段の同期信号に同期して、光源の点灯及び消灯を制御する。このため、撮像手段は、光源の点灯時及び消灯時にそれぞれ被写体を撮像して、第１及び第２の画像を生成する。
【００１２】
特徴量演算手段は、第１及び第２の画像に基づいて特徴量を演算することで、光源に近い距離にある物体のみを検出し、光源から距離の離れた車窓背景などが取り除かれた特徴量を得る。そして、この特徴量に基づいて前記車内の座席使用状況を識別する。
【００１３】
したがって、車内座席使用状況識別装置によれば、車窓風景の変化に影響されることなく、光源に近い距離にある座席の使用状況を高精度に識別することができる。
【００１４】
ここで、前記発明において、前記特徴量演算手段は、前記特徴量として、前記第１及び第２の画像における輝度信号の差分及び比の少なくとも１つを演算してもよい。これにより、特徴量演算手段は、第１及び第２の画像において光源から遠い距離にある領域の輝度信号はほぼ同じになることから、光源から遠い距離にある車窓背景などを確実に取り除いた特徴量を求めることができる。このため、前記発明は、車窓背景の変化に影響されず、車内の座席使用状況を正確に識別することができる。
【００１５】
さらに、前記特徴量演算手段は、単位領域あたり３以上の分解能を有する特徴量を演算してもよい。これにより、識別性能を向上させることができる。
【００１６】
また、前記発明において、前記識別手段は、前記特徴量を所定ブロック毎に分割し、各ブロック内における特徴量の平均値又は分散値に基づいて前記車内の座席使用状況を識別してもよい。これにより、所定ブロック毎の状況を用いることで、さらにノイズの影響を受けにくく、かつ高速に座席の使用状況が識別できるようになる。
【００１７】
さらに、前記識別手段は、車内の座席使用状況として、乗員の有無、乗員の姿勢、乗員の頭部位置、乗員が大人又は子供であるか、チャイルドシートの有無の少なくとも１つを識別してもよい。
【発明の効果】
【００１８】
本発明に係る車内座席使用状況識別装置は、光源の点灯時に撮像手段により撮像された第１の画像と、光源の消灯時に撮像手段により撮像された第２の画像と、に基づいて特徴量を演算し、この特徴量に基づいて車内の座席使用状況を識別することにより、車窓風景の変化に影響されることなく、光源に近い距離にある座席の使用状況を高精度に識別することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
【００２０】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る車内座席使用状況識別装置の構成を示す図である。第１の実施形態に係る車内座席使用状況識別装置は、車内の座席使用状況（ここでは、「大人正常姿勢」、「大人前傾姿勢」、「空席・荷物（空席又は荷物のみ）」のいずれか）を識別するものである。
【００２１】
車内座席使用状況識別装置は、被写体として車内の乗員を撮像するカメラ１０と、カメラ１０で生成された画像を後述のコンピュータ５０に供給するカメラ制御部２０と、車内に赤外光を照射する赤外光源３０と、赤外光源３０の点灯／消灯を制御するための点灯パルスを発生する点灯パルス発生部４０と、カメラ１０で得られた画像に基づいて座席使用状況を識別するコンピュータ５０と、を備えている。
【００２２】
カメラ１０は、識別対象となる座席に着座する乗員の上半身（頭部を含む。）及びその周囲の車窓背景を撮影できるように、車内の上部に取り付けられている。なお、カメラ１０の撮像レンズには、可視光カットフィルタ５が取り付けられている。カメラ１０は、可視光カットフィルタ５を介して、被写体である乗員及びその周囲を撮影する。
【００２３】
カメラ制御部２０は、カメラ１０のシャッタの同期信号を点灯パルス発生部４０に供給すると共に、カメラ１０で生成された画像をコンピュータ５０に供給する。
【００２４】
赤外光源３０は、識別対象となる座席に十分な光量が届くような赤外光を出射する。点灯パルス発生部４０は、点灯パルスを赤外光源３０に供給することで、赤外光源３０の点灯／消灯を制御する。
【００２５】
ここで、点灯パルス発生部４０は、カメラ制御部２０から供給される同期信号に基づいて点灯パルスを生成する。点灯パルスは、１／３０秒毎にオンになるパルスである。すなわち、点灯パルスは、カメラ１０の奇数フィールド（又は偶数フィールド）撮影時にオンになり、カメラ１０の偶数フィールド（又は奇数フィールド）撮影時にオフになるパルスである。
【００２６】
図２（Ａ）はカメラ１０の電子シャッタを示すタイミングチャートであり、同図（Ｂ）は赤外光源３０の点灯（ＯＮ）／消灯（ＯＦＦ）を示すタイミングチャートである。電子シャッタは、１フレーム期間（１／３０秒）で２回オンになる。すなわち、１フィールド期間（１／６０秒）毎にオンになる。このため、赤外光源３０は、カメラ１０の奇数又は偶数フィールドのいずれか一方の電子シャッタに同期して、点灯する。
【００２７】
これにより、カメラ１０は、赤外光源３０の点灯時のフィールド画像（以下「第１の画像」という。）と、赤外光源３０の消灯時のフィールド画像（以下「第２の画像」という。）とを、１／６０秒毎に交互に生成する。そして、カメラ１０は、第１及び第２の画像を、カメラ制御部２０を介してコンピュータ５０に供給する。
【００２８】
コンピュータ５０は、車内座席使用状況を識別するための特徴量として、第１及び第２の画像における各輝度信号の差分（以下「輝度差分画像」という。）を演算する。特徴量として輝度差分画像を用いるのは、次の理由による。すなわち、この輝度差分画像は、単位領域（例えば１ピクセル）あたり０又は１の２値の分解能ではなく３以上の分解能を有しており、カメラ１０から近い距離の物体については差分輝度値が大きくなり、遠い物体については差分輝度値が小さくなるような簡易距離画像の性質を有するからである。
【００２９】
図３は赤外光源３０がオンのときに得られた第１の画像、図４は赤外光源３０がオフのときに得られた第２の画像、図５は輝度差分画像を示す図である。図５に示すように、輝度差分画像では、カメラ１０から近い距離にある乗員の顔が明確になり、カメラ１０から遠い距離にある車窓背景はほとんど見えなくなっている。
【００３０】
そして、コンピュータ５０は、輝度差分画像に基づいて車内の座席使用状況を識別する。コンピュータ５０は、車内の座席使用状況の識別においては、例えば次のようなニューラルネットワークを用いることができる。
【００３１】
図６は、ニューラルネットワークの構成を示す図である。このニューラルネットワークは、入力層、中間層（隠れ層）、出力層で構成される階層型であり、座席使用状況として、「大人正常姿勢」、「大人前傾姿勢」、「空席・荷物」のいずれかを識別する。ここで、ニューラルネットワークの入力層、隠れ層、出力層の各々のユニット数は、１９２、１９、３である。
【００３２】
図７は、ニューラルネットワークの入力層の各ユニットに入力される輝度差分画像の一例を示す図である。輝度差分画像は、入力層の各ユニットに入力されるに当たって、例えば１９２（＝１２×１６）のブロックに分割される。なお、１ブロックは、例えば１６００（＝４０×４０）ピクセルで構成されている。そして、各ブロックに分割された輝度差分画像は、入力層の各ユニットに入力される。
【００３３】
出力層の３つのユニットは、「大人正常姿勢」、「大人前傾姿勢」、「空席・荷物」の各々の座席状態に対応している。これらの各ユニットの出力値は、０から１までの値になる。そして、出力値が最も大きいユニットに対応する座席状態が、識別結果となる。
【００３４】
以上のように構成された車内座席使用状況識別装置では、コンピュータ５０は、最初に、ニューラルネットワークの各ユニットの結合荷重を決定するための学習を行い、その後、座席使用状況の識別を行う。
【００３５】
図８は、ニューラルネットワークに学習させるための手順を示すフローチャートである。すなわち、コンピュータ５０は、次のステップＳＴ１からステップＳＴ６までの処理を行って、各ユニットの結合荷重を決定する。
【００３６】
ステップＳＴ１では、コンピュータ５０は、１フレーム期間中に赤外光源３０をオン／オフさせながら、カメラ１０に車内の座席使用状況（人、物など）の動画撮影を行わせて、ステップＳＴ２に移行する。これにより、コンピュータ５０には、カメラ制御部２０を介してカメラ１０から第１及び第２の画像が逐次供給される。
【００３７】
ステップＳＴ２では、コンピュータ５０は、カメラ１０から逐次供給される第１及び第２の画像から、学習用静止画として用いる第１及び第２の画像を選定する。そして、学習用静止画を記憶して、ステップＳＴ３に移行する。
【００３８】
ステップＳＴ３では、コンピュータ５０は、ステップＳＴ２で記憶された学習用静止画に対して、ニューラルネットワークの出力の正解値（教師信号）を与えて、ステップＳＴ４に移行する。
【００３９】
ステップＳＴ４では、コンピュータ５０は、学習用静止画として選定した第１及び第２の画像から、赤外光源３０のオン／オフ時の差分である輝度差分画像を計算して、ステップＳＴ５に移行する。
【００４０】
ステップＳＴ５では、コンピュータ５０は、４０×４０ピクセルのブロック毎に、輝度差分画像の平均輝度値を計算して、ステップＳＴ６に移行する。
【００４１】
ステップＳＴ６では、コンピュータ５０は、ニューラルネットワークに対して、教師信号及び輝度差分画像のブロック毎の平均輝度値を入力して、バックプロゲーションにより各ユニットの結合荷重を決定する。
【００４２】
コンピュータ５０は、以上のような処理によってニューラルネットワークに学習をさせて各ユニットの結合荷重を決定した後、次に説明するように、この結合荷重を用いて座席使用状況の識別を行う。
【００４３】
図９は、学習後のニューラルネットワークを用いて座席使用状況を識別するための手順を示すフローチャートである。すなわち、コンピュータ５０は、ニューラルネットワークを用いて次のステップＳＴ１１からステップＳＴ１６までの処理を行って、座席使用状況を識別する。
【００４４】
ステップＳＴ１１では、コンピュータ５０は、赤外光源３０がオンのときにカメラ１０に撮影をさせて、このときカメラ１０から出力された第１の画像を記憶して、ステップＳＴ１２に移行する。
【００４５】
ステップＳＴ１２では、コンピュータ５０は、赤外光源３０がオフのときにカメラ１０に撮影をさせて、このときカメラ１０から出力された第２の画像を記憶して、ステップＳＴ１３に移行する。
【００４６】
ステップＳＴ１３では、コンピュータ５０は、第１及び第２の画像における輝度信号の差分である輝度差分画像を計算して、ステップＳＴ１４に移行する。
【００４７】
ステップＳＴ１４では、コンピュータ５０は、輝度差分画像を学習時と同じブロック（例えば、４０×４０ピクセル）毎に分割し、各ブロック内の平均輝度値を計算し、ステップＳＴ１５に移行する。
【００４８】
ステップＳＴ１５では、コンピュータ５０は、ブロック毎の平均輝度値をニューラルネットワークに入力し、学習時に計算した結合荷重を用いて、ニューラルネットワークの出力値を求めて、ステップＳＴ１６に移行する。
【００４９】
ステップＳＴ１６では、コンピュータ５０は、ニューラルネットワークの出力層を構成する３つのユニットの中で、最大値を出力したユニットに対応する座席使用状況を識別結果として出力する。例えば、「大人正常姿勢」、「大人前傾姿勢」、「空席・荷物」に各々対応するユニットの出力が０．９、０．１、０．２になった場合、最大値０．９を出力したユニットに対応する「大人正常姿勢」が識別結果として出力される。
【００５０】
以上のように、本発明の第１実施形態に係る車内座席使用状況識別装置は、赤外光源３０をオン／オフして第１及び第２の画像を生成し、これらの画像から輝度差分画像を演算することによって、簡単な演算で、赤外光源３０に近い物体のみを抽出し車窓景色などの遠くに存在するものを取り除いた画像（特徴量）を得ることができる。
【００５１】
さらに、上記車内座席使用状況識別装置は、輝度差分画像を特徴量として用いて車内の座席使用状況を識別することで、車窓の景色の変化に影響されることなく、車内の乗員又は物体を高精度に識別することができる。
【００５２】
［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。
【００５３】
第２の実施形態に係る車内座席使用状況識別装置は、車内の座席に乗員がいる場合に、その乗員の頭部の位置を識別するものであり、図１と同様に構成されている。
【００５４】
本実施の形態では、コンピュータ５０は、カメラ１０から供給された第１及び第２の画像に基づいて、第１の実施形態と同様に、輝度差分画像を計算してこの輝度差分画像を１９２個のブロックに分割し、ブロック毎に、ブロック内の平均輝度値を求める。さらに、コンピュータ５０は、上記ブロック毎に、第１または第２の画像における濃淡値の平均値（以下「平均濃淡値」という。）を求める。
【００５５】
そして、コンピュータ５０は、図６に示すニューラルネットワークの代わりに、次に示すようなニューラルネットワークを用いて乗員の頭部の位置を識別する。
【００５６】
図１０は、本実施の形態に係るニューラルネットワークの構成を示す図である。このニューラルネットワークは、入力層、中間層（隠れ層）、出力層の階層型であり、座席使用状況として、座席に着座している乗員の頭部のブロックを識別するものである。ここで、第２のニューラルネットワークの入力層、隠れ層、出力層の各々のユニット数は、３８４、３８、１９２である。
【００５７】
入力層の１９２個のユニットには、第１の実施形態と同様に、ブロック毎の平均輝度値が入力される。入力層の残り１９２個のユニットには、ブロック毎の平均濃度値が入力される。
【００５８】
出力層の各ユニットは、１９２個のブロックにそれぞれ対応している。１９２個のユニットの出力値は、０から１までの値になる。そして、出力値が所定の閾値を超えると、その出力値のユニットに対応するブロックは頭部の存在するブロックであると識別される。
【００５９】
次に、コンピュータ５０は、上記図８に示したステップＳＴ１からステップＳＴ６までの処理を行って、各ユニットの結合荷重を決定する。なお、コンピュータ５０は、ステップＳＴ６においては、図１０に示すニューラルネットワークに対して、これに対応する教師信号と、学習用のブロック毎の平均輝度値及び平均濃淡値を入力して、バックプロゲーションにより各ユニットの結合荷重を決定すればよい。
【００６０】
そして、コンピュータ５０は、このニューラルネットワークを用いて上記図９に示したステップＳＴ１１からステップＳＴ１６までの処理を行うことによって、乗員の頭部位置を識別すればよい。なお、ニューラルネットワークの入力層には、ブロック毎の平均輝度値だけでなく、上述した平均濃淡値も入力する。
【００６１】
図１１は、コンピュータ５０がニューラルネットワークを用いて乗員の頭部位置を識別した結果を示す図である。同図に示すように、頭部位置と識別されたブロックは、小さな四角で示されている。したがって、これらの四角を囲む矩形領域が頭部全体の位置となる。
【００６２】
以上のように、第２の実施形態に係る車内座席使用状況識別装置は、特徴量として、輝度差分画像及び濃淡画像を用いることにより、簡単な演算で、赤外光源３０に近い乗員の頭部のみを抽出し車窓景色などの遠くに存在するものを取り除いた画像を得ることができる。そして、上記車内座席使用状況識別装置は、輝度差分画像及び濃淡画像を用いることで、車窓の景色の変化に影響されることなく、乗員の頭部位置を高精度に識別することができる。
【００６３】
なお、本発明は、上述した第１及び第２の実施形態に限定されるものではなく、特許請求の範囲に記載された事項の範囲内で設計変更されたものについても適用可能である。
【００６４】
例えば、コンピュータ５０は、特徴量として輝度差分画像（第１及び第２の画像における輝度信号の差分）を用いたが、その他の情報を特徴量として用いることもできる。特徴量は、例えば、第１及び第２の画像における輝度信号の比である輝度比画像であってもよいし、当該輝度比画像及び輝度差分画像の両方であってもよい。
【００６５】
さらに、ニューラルネットワークの各ユニットに入力する信号は、特徴量の各ブロック内における平均値に限らず、各ブロック内の分散値やヒストグラムであってもよい。
【００６６】
また、コンピュータ５０は、ニューラルネットワークを用いて車内の座席使用状況を識別したが、他の識別手法を用いてもよい。コンピュータ５０は、例えば、ルールベースによって車内の座席使用状況を識別することもできる。例えば、最初に面積の大きい物体を検出し、その物体の形状を用いて座席使用状況を識別してもよい。また、球や円柱のような物体は、輝度差分画像の平均輝度値が隣接ブロック間でなだらかに変化することを考慮して、そのような特徴を持つ領域を探すことにより、座席使用状況を識別してもよい。
【００６７】
コンピュータ５０は、第１の実施形態では「大人正常姿勢」、「大人前傾姿勢」、「空席・荷物」のいずれかを識別し、第２の実施形態では乗員の頭部位置を識別したが、これら以外を識別することもできる。例えば、チャイルドシートの有無、チャイルドシートがあるときはその向き（前向き又は後向き）、大人又は子供、及びその姿勢（正常、前傾、後傾など）を識別することも可能である。このとき、コンピュータ５０は、識別対象に応じた学習用静止画像及び教師信号をニューラルネットワークに与えて、当該ニューラルネットワークに学習させればよい。なお、他の識別手法を用いても、上述した座席使用状況を識別できるのは勿論である。
【実施例】
【００６８】
ニューラルネットワークに「大人正常姿勢」、「大人前傾姿勢」、「空席・荷物」のそれぞれの状態を学習させた後、座席使用状況について識別した。
【００６９】
［学習データの準備］
学習用静止画として、次の１５０枚の画像を準備した。
大人正常姿勢：５０枚  男女１０人（新聞、本、箱、ヘルメットを持つ場合も含む）
大人前傾姿勢：５０枚  男女１０人
空席・荷物：５０枚  晴天、曇天
ここで、図１２乃至図１５は大人正常姿勢の学習用静止画の一例を示す図、図１６及び図１７は大人前傾姿勢の学習用静止画の一例を示す図、図１８及び図１９は空席・荷物の学習用静止画の一例を示す図である。
【００７０】
［識別結果］
１．検証方法
９人分の学習用静止画（大人正常姿勢４５枚、大人前傾姿勢４５枚）と、空席・荷物の学習用静止画（４５枚）を用いて学習した。
【００７１】
そして、１人分の検証用静止画（大人正常姿勢５枚、大人前傾姿勢５枚）、空席・荷物の検証用静止画（５枚）をニューラルネットワークに入力した。そして、１０人について検証し、識別率の平均値を算出した。
【００７２】
２．識別結果
平均識別率は９４％になった。ただし、各データセットは８０〜１００％である。
【００７３】
これまでの実施例は光源が１個の場合を述べたが、光源を複数用いると、さらに効果が発生する例もある。例えば、人体の左右（もしくは前後）に光源を２つ置いて、その間にカメラを置いた例を考える。この方式のメリットは、２つの光源を交互（または同時に）点灯することにより、体全体の構造（姿勢）を捉えることができ、より信頼性のある検出ができるメリットがある。２つの光源を交互に点灯させる場合は、それぞれの光源を点灯した画像と点灯なしの画像との差分を用いる方式になる。
【図面の簡単な説明】
【００７４】
【図１】本発明の実施形態に係る車内座席使用状況識別装置の構成を示す図である。
【図２】（Ａ）はカメラの電子シャッタを示すタイミングチャートであり、（Ｂ）は赤外光源の点灯／消灯を示すタイミングチャートである。
【図３】赤外光源がオンのときに得られた第１の画像である。
【図４】赤外光源がオフのときに得られた第２の画像である。
【図５】輝度差分画像を示す図である。
【図６】ニューラルネットワークの構成を示す図である。
【図７】ニューラルネットワークの入力層の各ユニットに入力される輝度差分画像の一例を示す図である。
【図８】ニューラルネットワークに学習させるための手順を示すフローチャートである。
【図９】学習後のニューラルネットワークを用いて座席使用状況を識別するための手順を示すフローチャートである。
【図１０】ニューラルネットワークの構成を示す図である。
【図１１】コンピュータがニューラルネットワークを用いて乗員の頭部位置を識別した結果を示す図である。
【図１２】大人正常姿勢の学習用静止画の一例を示す図である。
【図１３】大人正常姿勢の学習用静止画の一例を示す図である。
【図１４】大人正常姿勢の学習用静止画の一例を示す図である。
【図１５】大人正常姿勢の学習用静止画の一例を示す図である。
【図１６】大人前傾姿勢の学習用静止画の一例を示す図である。
【図１７】大人前傾姿勢の学習用静止画の一例を示す図である。
【図１８】空席・荷物の学習用静止画の一例を示す図である。
【図１９】空席・荷物の学習用静止画の一例を示す図である。
【符号の説明】
【００７５】
５  可視光カットフィルタ
１０  カメラ
２０  カメラ制御部
３０  赤外光源
４０  点灯パルス発生部
５０  コンピュータ
【図１】
2005195394.tif 000003
【図２】
2005195394.tif 000004
【図６】
2005195394.tif 000005
【図８】
2005195394.tif 000006
【図９】
2005195394.tif 000007
【図１０】
2005195394.tif 000008
【図３】
2005195394.tif 000009
【図４】
2005195394.tif 000010
【図５】
2005195394.tif 000011
【図７】
2005195394.tif 000012
【図１１】
2005195394.tif 000013
【図１２】
2005195394.tif 000014
【図１３】
2005195394.tif 000015
【図１４】
2005195394.tif 000016
【図１５】
2005195394.tif 000017
【図１６】
2005195394.tif 000018
【図１７】
2005195394.tif 000019
【図１８】
2005195394.tif 000020
【図１９】
2005195394.tif 000021