(57)【要約】【課題】低コストで精度良く乗員の状態を検知すること。【解決手段】画像処理装置１０１は、座席を撮影するためのカメラ２００が設置された位置に対応して算出された変換パラメータを記憶する変換パラメータ記憶部１３２と、変換パラメータに基づいて、カメラ２００によって撮影された画像を変換し、変換後の画像を出力する画像変換部１３３と、を有する。変換パラメータは、画像上の座席の見え方を予め定められた見え方に近似させるように、画像を変換させるパラメータである。【選択図】図１１
2018060466.tif 000002
【特許請求の範囲】
【請求項１】
座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶する変換パラメータ記憶部と、
前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力する画像変換部と、を有し、
前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータである、
画像処理装置。
【請求項２】
前記変換パラメータは、
前記画像上の座席の所定点の座標が予め定められた座標と一致するように、前記画像を変換させるパラメータである、
請求項１に記載の画像処理装置。
【請求項３】
前記変換パラメータは、
前記画像上の座席の所定点に基づく線分の傾きが予め定められた傾きと一致するように、前記画像を変換させるパラメータである、
請求項１に記載の画像処理装置。
【請求項４】
前記変換パラメータは、
さらに、前記座席の角度および前記座席の位置の少なくとも一方に対応して算出され、
前記画像変換部は、
前記カメラが設置された位置の情報と、前記カメラによって前記画像が撮影されたときの前記座席の角度および前記座席の位置の少なくとも一方の情報とに基づいて、前記変換パラメータを選択して変換に用いる、
請求項１に記載の画像処理装置。
【請求項５】
請求項１乃至４に記載の画像処理装置を含む検知装置であって、
学習モデルと前記画像処理装置に含まれる画像変換部から出力された変換後の画像から抽出された特徴量とに基づいて、該画像における所定状態を検知する検知部、を有する、
検知装置。
【請求項６】
請求項１乃至４に記載の画像処理装置を含む学習装置であって、
前記カメラによって撮影された、前記座席における第１状態を示す正解画像と、前記座席における第２状態を示す不正解画像とを受け取る画像入力部と、
前記正解画像および前記不正解画像から抽出された特徴量に基づいて学習モデルを生成する学習部と、を有し、
前記画像処理装置に含まれる画像変換部は、前記変換パラメータに基づいて、前記画像入力部が受け取った前記正解画像および前記不正解画像を変換し、変換後の正解画像および変換後の不正解画像を前記学習部へ出力し、
前記学習部は、前記画像変換部から出力された前記変換後の正解画像および前記変換後の不正解画像から抽出された特徴量に基づいて学習モデルを生成する、
学習装置。
【請求項７】
前記第１状態は、
前記座席に人物が着座している状態であり、
前記第２状態は、
前記座席に人物が着座していない状態である、
請求項６に記載の学習装置。
【請求項８】
座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶し、
前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力し、
前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータである、
画像処理方法。
【請求項９】
座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶する処理と、
前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力する処理と、をコンピュータに実行させ、
前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータである、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の状態の学習および検知に用いられる画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラムに関する。
【背景技術】
【０００２】
近年、移動体（例えば、自動車等の車両）の乗員の状態を検知する技術が開発されている。例えば特許文献１には、乗員の状態の検知精度を向上させるシステム（以下、従来技術という）が開示されている。
【０００３】
従来技術では、まず、車両内の座席を撮影可能なカメラからの距離データに基づいて、予め用意された頭部テンプレート（人物の頭部を表現する型紙）のサイズが正規化される。次に、カメラにより撮影された画像と、正規化された頭部テンプレートとのテンプレートマッチングにより相関値が算出される。そして、算出された相関値が閾値以上である場合、乗員が着座していると判定される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１９８９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、頭部テンプレートのサイズの正規化に必要な距離データを得るために、多大なコストがかかる。
【０００６】
本発明の目的は、低コストで精度良く乗員の状態を検知できる画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本開示の画像処理装置は、座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶する変換パラメータ記憶部と、前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力する画像変換部と、を有し、前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータである。
【０００８】
本開示の検知装置は、本開示の画像処理装置を含む検知装置であって、学習モデルと前記画像処理装置に含まれる画像変換部から出力された変換後の画像から抽出された特徴量とに基づいて、該画像における所定状態を検知する検知部、を有する。
【０００９】
本開示の学習装置は、本開示の画像処理装置を含む学習装置であって、前記カメラによって撮影された、前記座席における第１状態を示す正解画像と、前記座席における第２状態を示す不正解画像とを受け取る画像入力部と、前記正解画像および前記不正解画像から抽出された特徴量に基づいて学習モデルを生成する学習部と、を有し、前記画像処理装置に含まれる画像変換部は、前記変換パラメータに基づいて、前記画像入力部が受け取った前記正解画像および前記不正解画像を変換し、変換後の正解画像および変換後の不正解画像を前記学習部へ出力し、前記学習部は、前記画像変換部から出力された前記変換後の正解画像および前記変換後の不正解画像から抽出された特徴量に基づいて学習モデルを生成する。
【００１０】
本開示の画像処理方法は、座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶し、前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力し、前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータである。
【００１１】
本開示の画像処理プログラムは、座席を撮影するためのカメラが設置された位置に対応して算出された変換パラメータを記憶する処理と、前記変換パラメータに基づいて、前記カメラによって撮影された画像を変換し、変換後の画像を出力する処理と、をコンピュータに実行させ、前記変換パラメータは、前記画像上の座席の見え方を予め定められた見え方に近似させるように、前記画像を変換させるパラメータである。
【発明の効果】
【００１２】
本発明によれば、低コストで精度良く乗員の状態を検知できる。
【図面の簡単な説明】
【００１３】
【図１】車両におけるカメラの設置例を示す図
【図２】着座状態の撮影画像と非着座状態の撮影画像の一例を示す図
【図３】特徴量のプロット例を示す図
【図４】着座状態の撮影画像の一例を示す図
【図５】特徴量のプロット例を示す図
【図６】本発明の実施の形態に係る学習装置の構成例を示すブロック図
【図７】本発明の実施の形態に係る学習装置の動作例を示すフローチャート
【図８】変換パラメータの算出処理に用いられる画像の一例を示す図
【図９】算出された座標および基準座標の一例を示す図
【図１０】変換パラメータを用いて変換された画像の一例を示す図
【図１１】本発明の実施の形態に係る検知装置の構成例を示すブロック図
【図１２】本発明の実施の形態に係る検知装置の動作例を示すフローチャート
【図１３】本発明の変形例に係るパラメータの算出処理の一例を説明する図
【図１４】本発明の変形例に係るパラメータの算出処理の一例を説明する図
【図１５】本発明の変形例に係る学習装置の構成例を示すブロック図
【図１６】本発明の変形例に係る検知装置の構成例を示すブロック図
【発明を実施するための形態】
【００１４】
＜発明に至った知見＞
従来、車両の乗員の状態を学習し、学習結果に基づいて検知する技術では、車室内に設置されたカメラが用いられる。カメラの設置例を、図１（ａ）および図１（ｂ）に示す。図１（ａ）は車両を側方から見た断面図であり、図１（ｂ）は車両を真上から見た断面図である。
【００１５】
カメラ１０は、例えば近赤外線カメラであり、図１（ａ）および図１（ｂ）に示すように、車両１の車室内において天井近くに設置される。カメラ１０の角度は、運転席２０に着座した乗員を撮影できるように調整される。
【００１６】
このように設置されたカメラ１０により撮影された画像の一例を図２（ａ）および図２（ｂ）に示す。図２（ａ）は、乗員が運転席２０に着座している状態（以下、着座状態という）を撮影した画像の一例である。図２（ｂ）は、乗員が運転席２０に着座していない状態（以下、非着座状態という）を撮影した画像の一例である。
【００１７】
そして、図２（ａ）の画像および図２（ｂ）の画像は、例えば、ＳＶＭ（Support Vector Machine）などの、教師つき機械学習に用いられる。ＳＶＭでは、例えば、図２（ａ）に示した着座状態の画像が正解画像（正解サンプル）として、図２（ｂ）に示した非着座状態の画像が不正解画像（不正解サンプル）として、それぞれ大量に学習される。これにより、着座状態と非着座状態とを識別するための学習モデルが生成される。
【００１８】
この学習モデルについて、図３を用いて説明する。図３は、正解画像および不正解画像のそれぞれから抽出された特徴量のプロット例を示す図である。なお、図３では、説明の便宜上、抽出された特徴量が２次元で表現される場合を示している。
【００１９】
図３において、丸で示される点は、正解画像から抽出された特徴量（以下、第１特徴量という）であり、菱形で示される点は、不正解画像から抽出された特徴量（以下、第２特徴量という）である。このように第１特徴量群と第２特徴量群が抽出された場合、第１特徴量群と第２特徴量群の双方から最大距離となる直線Ｌが決定される。直線Ｌの上側は正解（着座状態）であり、直線Ｌの下側は不正解（非着座状態）である。学習モデルは、特徴量が直線Ｌの上側にあるか下側にあるかを識別するための数値を算出する関数である。
【００２０】
ところで、車両には様々な車種が存在し、車種によって例えば車高、バックミラーおよびルームランプの位置、内装デザインなどが異なる。そのため、カメラの設置位置は、車種によって異なる可能性がある。なお、本実施の形態でいう「カメラの設置位置」には、カメラの設置角度が含まれるとする。
【００２１】
カメラの設置位置が異なれば、撮影された画像における乗員の映り方（以下、見かけという）も異なることになる。例えば、図２（ａ）の画像の撮影時に比べて、カメラ１０をより乗員に近い位置に、かつ、ピッチ角が大きくなるよう設置して着座状態を撮影した場合、図４に示す画像となる。図４の画像では、図２（ａ）の画像に比べて、乗員はより大きく映り、乗員の上半身は左側に傾くように映っている。すなわち、図２（ａ）の画像と図４の画像は両方とも、着座状態を撮影した画像であるが、乗員の見かけが異なる。
【００２２】
図４のような画像を正解画像として学習する場合、抽出される特徴量も異なる。この例を図５に示す。図５において、星型の点は、図４のような画像から抽出された特徴量である。図５に示すように、星型の点は、直線Ｌの上側と下側に分布している。そのため、着座状態または非着座状態の識別を精度良く行うことができない。
【００２３】
高精度の識別を実現するためには、カメラの設置位置毎に学習モデルを生成すればよい。しかし、そのためには、一般的には少なくとも十万オーダーの正解画像と不正解画像を準備する必要がある。また、正解画像は、様々な条件（例えば、姿勢、体格、服装等）の乗員が撮影された画像である必要がある。このようなことから、カメラの設置位置毎に学習モデルを生成するためには、多大なコストがかかる。
【００２４】
そこで、本願発明者は、複数のカメラの設置位置に対応する１つの学習モデル（換言すれば、カメラの設置位置に依存しない１つの学習モデル）を生成することに着目した。そのために、学習に用いられる正解画像と不正解画像、状態検知の対象である撮影画像において乗員が同じような見え方（同じような見かけ）となるように、各画像を変換（正規化ともいう）することとした。画像上の乗員の見かけが同じであれば、特徴量も近い値が抽出されるため、状態検知を高精度に実現できる学習モデルを生成できる。画像の変換には、変換パラメータを用いるが、これについては後述する。
【００２５】
座席に着座した乗員は様々な体勢をとるため、乗員の身体の角度は座席の背もたれの角度で常に近似できる訳ではないが、乗員の体勢は座席の背もたれの角度または座席の位置によって制限されるため、乗員の見かけの違いは、座席の見かけの違いで近似できると言える。
【００２６】
また、車両の座席は、車種によって形状に多少の違いはあるものの、大きさ、位置などはほとんど同じである。よって、座席の見かけは、カメラの設置位置と相関関係にあると言える。
【００２７】
以上のことから、本発明は、学習時において、正解画像および不正解画像のそれぞれを、座席が同じ見え方となるように変換し、変換後の各画像に基づいて、カメラの設置位置に依存しない１つの学習モデルを生成するようにする。これにより、本発明は、学習用の画像をカメラの設置位置ごとに大量に用意する必要がなくなり、コストを低減できる。
【００２８】
また、本発明は、乗員の状態の検知時において、状態検知の対象となる撮影画像を、学習時における座席の見かけと同じ見え方となるように変換し、変換後の画像と上記学習モデルに基づいて、乗員の状態を検知するようにする。これにより、本発明は、乗員の状態の検知を精度良く実現できる。
【００２９】
以下、本発明の一実施の形態について、図面を参照して詳細に説明する。
【００３０】
＜学習装置の構成＞
本実施の形態に係る学習装置１００の構成について、図６を用いて説明する。図６は、学習装置１００の構成例を示すブロック図である。
【００３１】
図６に示すように、学習装置１００は、画像処理装置１１０および学習部１２０を有する。画像処理装置１１０は、画像記憶部１１１、変換パラメータ記憶部１１２、および画像変換部１１３を有する。学習装置１００は、後述する検知装置１０１で使用される学習モデルを生成する装置である。
【００３２】
なお、図示は省略するが、学習装置１００および画像処理装置１１０は、例えば、ＣＰＵ（Central Processing Unit）、制御プログラムを格納したＲＯＭ（Read Only Memory）等の記憶媒体、ＲＡＭ（Random Access Memory）等の作業用メモリ、および通信回路を有する。この場合、図６に示す各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００３３】
画像記憶部１１１は、学習用の画像として、複数の正解画像と複数の不正解画像を記憶する。正解画像は、例えば、乗員の着座状態を示す画像（例えば、図２（ａ）、図４参照）である。不正解画像は、例えば、乗員の非着座状態を示す画像である。不正解画像は、着座していない状態の乗員の画像のほか、乗員が着座していない座席の画像（例えば、図２（ｂ）参照）を含む。
【００３４】
正解画像と不正解画像は、カメラの設置位置毎に撮影されたものであればよく、乗員の体勢毎、服装毎に用意される必要はない。
【００３５】
また、正解画像および不正解画像には、それらの画像を撮影したカメラの設置位置を示す情報（以下、設置位置情報という）が対応付けられている。
【００３６】
なお、本実施の形態では、座席に着座する乗員が人間である場合を例に挙げて説明するが、乗員は、人間に限らず、その他の生物であってもよい。
【００３７】
変換パラメータ記憶部１１２は、変換パラメータを記憶する。変換パラメータは、設置位置が異なる各カメラで撮影された正解画像、不正解画像および撮影画像のそれぞれにおける座席の見かけ（見え方）を、予め定められた座席の見かけに近似させる（または、予め定められた座席の見かけと同じにする）ように、画像を変換するためのパラメータである。
【００３８】
変換パラメータは、カメラの設置位置毎に算出される（算出方法については後述する）。よって、変換パラメータ記憶部１１２は、複数の変換パラメータを記憶する。各変換パラメータには、カメラの設置位置を示す設置位置情報が対応付けられている。
【００３９】
画像変換部１１３は、画像記憶部１１１から正解画像および不正解画像を読み出し、それらの画像に付された設置位置情報に対応する変換パラメータを変換パラメータ記憶部１１２から読み出す。
【００４０】
そして、画像変換部１１３は、読み出された変換パラメータに基づいて、読み出された正解画像および不正解画像の変換を行う。以下、変換後の正解画像を「変換正解画像」といい、変換後の不正解画像を「変換不正解画像」という。
【００４１】
この画像変換処理によって、設置位置が異なるカメラによって撮影された各正解画像および各不正解画像における座席の見かけは、同じようになる。
【００４２】
そして、画像変換部１１３は、変換正解画像および変換不正解画像を学習部１２０へ出力する。
【００４３】
学習部１２０は、画像変換部１１３から変換正解画像および変換不正解画像を受け取る。
【００４４】
そして、学習部１２０は、変換正解画像および変換不正解画像から特徴量を抽出し、抽出された特徴量に基づいて、学習モデルを生成する。
【００４５】
そして、学習部１２０は、生成された学習モデルを所定装置へ出力する。所定装置は、例えば、後述する検知装置１０１の検知部１４０（図１１参照）、または、検知部１４０がアクセス可能な記憶装置（図示略）などである。
【００４６】
以上、学習装置１００の構成について説明した。
【００４７】
＜学習装置の動作＞
本実施の形態に係る学習装置１００の動作について、図７を用いて説明する。図７は、学習装置１００の動作例を示すフローチャートである。
【００４８】
まず、画像変換部１１３は、正解画像、不正解画像、および、それらに対応する変換パラメータを読み出す（ステップＳ１０１）。
【００４９】
次に、画像変換部１１３は、変換パラメータを用いて、正解画像および不正解画像の変換を行う（ステップＳ１０２）。そして、画像変換部１１３は、変換正解画像および変換不正解画像を学習部１２０へ出力する。
【００５０】
次に、学習部１２０は、画像変換部１１３から受け取った変換正解画像および変換不正解画像に基づいて、学習モデルを生成する（ステップＳ１０３）。そして、学習部１２０は、生成された学習モデルを所定装置へ出力する。
【００５１】
以上、学習装置１００の動作について説明した。
【００５２】
＜変換パラメータの算出例＞
変換パラメータの算出例について、図８〜図１０を用いて説明する。以下では、射影変換を例に挙げて説明する。また、以下に説明する変換パラメータの算出処理は、学習装置１００またはそれ以外の装置（図示略）により行われるが、以下では学習装置１００が行う場合を例に挙げて説明する。
【００５３】
まず、学習装置１００は、例えば図８に示す画像３１〜３３を所定装置（カメラまたは画像記憶装置）から受け取る。画像３１〜３３は、座席が撮影された画像である。画像３１〜３３を撮影したカメラの設置位置は、それぞれ、異なるものとする。このため、画像３１〜３３上の座席の見かけは異なる。例えば、図８に示した点線は、各画像上の座席における点ａ〜ｄの位置の違い（ずれ）を示している。
【００５４】
次に、学習装置１００は、画像３１〜３３上の各座席における点ａ〜ｄの座標を算出する。点ａは、座席の背もたれの右側上方の点であり、点ｂは、座席の背もたれの左側上方の点である。また、点ｃは、座席の座面の左側前方の点であり、点ｄは、座席の座面の右側前方の点である。
【００５５】
このようにして算出された座標の一例を図９に示す。図９は、画像毎に算出された点ａ〜ｄのｘ座標とｙ座標を示している。また、図９に示した基準座標は、変換後の目標として定められた座標である。
【００５６】
学習装置１００は、各画像３１〜３３における点ａ〜ｄの座標が、基準座標として定められた点ａ〜ｄの座標と一致するように変換パラメータを算出する。これにより、画像３１〜３３毎に変換パラメータが算出される。すなわち、カメラの設置位置毎に変換パラメータが算出される。
【００５７】
そして、学習装置１００は、算出された変換パラメータを、例えば変換パラメータ記憶部１１２に記憶させる。このとき、上述したとおり、各変換パラメータには、カメラの設置位置を示す設置位置情報が対応付けられる。なお、算出された変換パラメータは、例えば、学習装置１００の製品出荷前に、変換パラメータ記憶部１１２に記憶される。
【００５８】
算出された変換パラメータによって変換された各画像の例を図１０に示す。画像３１ａは、図８に示した画像３１が変換パラメータによって変換された画像である。画像３２ａは、図８に示した画像３２が変換パラメータによって変換された画像である。画像３３ａは、図８に示した画像３３が変換パラメータによって変換された画像である。このように変換後の画像３１ａ〜３３ａでは、図１０の点線に示すように、各画像上の座席における点ａ〜ｄの見かけの位置が同じようになる（図８に示したずれが解消される）。すなわち、画像３１ａ〜３３ａ上の座席の見かけは同じようになる。
【００５９】
なお、カメラの設置位置の違いだけではなく、撮影された座席の車室内における実際の座席角度（例えば、背もたれの角度）および座席位置（例えば、座面の前端の位置）の違いによっても各画像上の座席の見かけは異なる。そのため、画像３１〜３３毎に座席角度の情報および座席位置の情報が対応付けられている場合には、各変換パラメータは、座席角度、座席位置、およびカメラの設置位置に基づいて決定される、画像上の座席における複数点の座標を用いて算出されてもよい。また、変換パラメータがカメラの設置位置毎に算出される場合には、変換パラメータは、カメラ設置位置毎に予め設定された座席角度および座席位置それぞれの代表的な数値を用いて算出されてもよい。座席角度および座席位置それぞれの代表的な数値とは、例えば車両の乗員となることが想定される一般的な体格の男性が着座した場合の座席角度および座席位置である。
【００６０】
以上、変換パラメータの算出例について説明した。
【００６１】
＜検知装置の構成＞
本実施の形態に係る検知装置１０１の構成について、図１１を用いて説明する。図１１は、検知装置１０１の構成例を示すブロック図である。
【００６２】
図１１に示す検知装置１０１は、例えば、車両等の移動体において用いられる。すなわち、検知装置１０１は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。なお、本実施の形態では、検知装置１０１が車両に適用されたものとして説明するが、車両に限定されない。
【００６３】
図１１に示すように、検知装置１０１は、画像処理装置１３０および検知部１４０を有する。画像処理装置１３０は、画像入力部１３１、変換パラメータ記憶部１３２、および画像変換部１３３を有する。
【００６４】
なお、図示は省略するが、検知装置１０１および画像処理装置１３０は、例えば、ＣＰＵ、制御プログラムを格納したＲＯＭ等の記憶媒体、ＲＡＭ等の作業用メモリ、および通信回路を有する。この場合、図１１に示す各部の機能は、ＣＰＵが制御プログラムを実行することにより実現される。
【００６５】
画像入力部１３１は、カメラ２００から、状態検知の対象となる撮影画像を受け取る。カメラ２００は、図１に示したカメラ１０と同様に、車室内の所定位置に設置され、座席、または、その座席に着座した乗員を撮影する。なお、ここでは例として、カメラ２００は、車両の出荷前に、車室内の所定位置に固定して取り付けられているとする。
【００６６】
そして、画像入力部１３１は、カメラ２００から受け取った撮影画像を画像変換部１３３へ出力する。
【００６７】
なお、ここでは、画像入力部１３１がカメラ２００から撮影画像を受け取る場合を例に挙げて説明したが、画像入力部１３１は、カメラ２００以外の装置（例えば、カメラ２００から撮影画像を受け取る記憶装置）から撮影画像を受け取ってもよい。
【００６８】
変換パラメータ記憶部１３２は、カメラ２００の設置位置に対応する１つの変換パラメータを記憶する。この変換パラメータは、上記「変換パラメータの算出例」で説明したように、カメラ２００の設置位置に対応して予め算出されたものであり、例えば、検知装置１０１の製品出荷前に、変換パラメータ記憶部１３２に記憶される。
【００６９】
画像変換部１３３は、画像入力部１３１から撮影画像を受け取り、変換パラメータ記憶部１３２から変換パラメータを読み出す。
【００７０】
そして、画像変換部１３３は、変換パラメータに基づいて、撮影画像の変換を行う。変換後の撮影画像を、以下「変換撮影画像」という。
【００７１】
そして、画像変換部１３３は、変換撮影画像を検知部１４０へ出力する。
【００７２】
検知部１４０は、画像変換部１３３から変換撮影画像を受け取り、その変換撮影画像から特徴量を抽出する。
【００７３】
そして、検知部１４０は、抽出された特徴量と、学習装置１００によって生成された学習モデルとに基づいて、乗員の状態（例えば、乗員が着座状態であるかまたは非着座状態であるか）を検知する。
【００７４】
そして、検知部１４０は、検知結果を示す情報（以下、検知結果情報という）を所定装置へ出力する。所定装置は、図示は省略するが、例えば、車両の走行を制御するＥＣＵ（Electronic Control Unit）、または記憶装置等が挙げられる。
【００７５】
以上、検知装置１０１の構成について説明した。
【００７６】
＜検知装置の動作＞
本実施の形態に係る検知装置１０１の動作について、図１２を用いて説明する。図１２は、検知装置１０１の動作例を示すフローチャートである。
【００７７】
まず、画像入力部１３１は、カメラ２００から撮影画像を受け取る（ステップＳ２０１）。そして、画像入力部１３１は、その撮影画像を画像変換部１３３へ出力する。
【００７８】
次に、画像変換部１３３は、画像入力部１３１から撮影画像を受け取り、変換パラメータ記憶部１３２から変換パラメータを読み出す（ステップＳ２０２）。
【００７９】
次に、画像変換部１３３は、変換パラメータを用いて撮影画像の変換を行う（ステップＳ２０３）。そして、画像変換部１３３は、変換撮影画像を検知部１４０へ出力する。
【００８０】
検知部１４０は、画像変換部１３３から受け取った変換撮影画像に基づいて、乗員の状態を検知する（ステップＳ２０４）。そして、検知部１４０は、検知結果情報を所定装置へ出力する。
【００８１】
以上、検知装置１０１の動作について説明した。
【００８２】
＜本実施の形態の効果＞
以上説明したように、本実施の形態によれば、学習時において、設置位置が異なるカメラによって撮影された正解画像および不正解画像のそれぞれを、座席が同じ見え方となるように変換し、変換後の各画像に基づいて、カメラの設置位置に依存しない１つの学習モデルを生成する。これにより、学習用の画像をカメラの設置位置ごとに大量に用意する必要がなくなり、コストを低減できる。
【００８３】
また、本実施の形態によれば、乗員の状態の検知時において、状態検知の対象となる撮影画像を、学習時における座席の見かけと同じ見え方となるように変換し、変換後の画像と上記学習モデルに基づいて、乗員の状態を検知する。これにより、乗員の状態を精度良く検知できる。
【００８４】
＜本発明の変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記説明に限定されず、種々の変形が可能である。以下、各変形例について説明する。
【００８５】
（変形例１）
上記実施の形態では、画像上の座席の４点（点ａ〜ｄ）の座標が基準座標と同じになるように変換パラメータを算出する場合を例に挙げて説明したが、変換パラメータの算出方法は、これに限定されない。例えば、画像上の座席の予め定められた点を結ぶ線を用いて変換パラメータを算出してもよい。この具体例について、図１３、図１４を用いて以下に説明する。
【００８６】
まず、第１の算出方法について、図１３を用いて説明する。
【００８７】
例えば、まず、学習装置１００は、所定装置（カメラまたは画像記憶装置）から画像４１、４２を受け取る。画像４１および画像４２は、それぞれ、異なる設置位置のカメラにより撮影された座席の画像である。
【００８８】
次に、学習装置１００は、画像４１、４２のそれぞれにおいて、線分Ｌ１、Ｌ２を算出する。線分Ｌ１、Ｌ２は、それぞれ、画像上のヘッドレストの頂点ｅと、画像上の背もたれと画像上の座面の境界の中点ｆとを結ぶ仮想線である。また、学習装置１００は、線分Ｌ１、Ｌ２それぞれの傾き（角度）を算出する。ここでいう傾きは、例えば、画像４１、４２の垂直方向に対する傾き（角度）である。
【００８９】
次に、学習装置１００は、線分Ｌ１、Ｌ２の傾きが、予め定められた傾き（例えば、垂直）に一致するように変換パラメータを算出する。そして、学習装置１００は、算出された変換パラメータに設置位置情報を対応付けて、変換パラメータ記憶部１１２に記憶させる。
【００９０】
図１３に示す画像４１ａ、４２ａは、それぞれ、算出された変換パラメータを用いて画像４１、４２が変換された画像である。画像４１ａ、４２ａでは、それぞれ、線分Ｌ１、Ｌ２が垂直に変換され、座席の見かけが近似している。
【００９１】
次に、第２の算出方法について、図１４を用いて説明する。
【００９２】
例えば、まず、学習装置１００は、所定装置（カメラまたは画像記憶装置）から画像５１、５２を受け取る。画像５１および画像５２は、それぞれ、異なる設置位置のカメラにより撮影された座席および着座状態の乗員の画像である。
【００９３】
次に、学習装置１００は、画像４１、４２のそれぞれにおいて、線分Ｌ１、Ｌ２を算出する。線分Ｌ１、Ｌ２は、第１の算出方法で説明した通りである。
【００９４】
次に、学習装置１００は、線分Ｌ１、Ｌ２の傾きが、予め定められた傾き（例えば、垂直）に一致するように変換パラメータを算出する。
【００９５】
図１４に示す画像５１ａ、５２ａは、それぞれ、算出された変換パラメータを用いて画像５１、５２が変換された画像である。画像５１ａ、５２ａでは、それぞれ、線分Ｌ１、Ｌ２が垂直に変換され、座席および着座状態の乗員の見かけが近似している。
【００９６】
次に、学習装置１００は、線分Ｌ１、Ｌ２の長さが、予め定められた長さになるように変換パラメータを補正する。そして、学習装置１００は、補正された変換パラメータに設置位置情報を対応付けて、変換パラメータ記憶部１１２に記憶させる。
【００９７】
図１４に示す画像５１ｂ、５２ｂは、それぞれ、補正された変換パラメータを用いて画像５１ａ、５２ａが変換された画像である。図１４の例では、線分Ｌ１と線分Ｌ２が同じ長さとなるように、画像５１ａが拡大されて画像５１ｂとなり、画像５２ａが縮小されて画像５２ｂとなっている。これにより、画像５１ｂ、５１ｂでは、それぞれ、座席および着座状態の乗員の見かけが近似している。
【００９８】
このようにして算出された本変形例の変換パラメータは、実施の形態と同様に、学習装置１００における画像変換処理（図７のステップＳ１０２）、および、検知装置１０１における画像変換処理（図１２のステップＳ２０３）に用いられる。
【００９９】
（変形例２）
上記実施の形態では、検知装置１０１の変換パラメータ記憶部１３２には、カメラ２００の設置位置に対応した１つの変換パラメータが記憶されている場合を例に挙げて説明したが、複数の変換パラメータが記憶されてもよい。
【０１００】
例えば、複数の変換パラメータは、座席角度毎および座席位置毎に予め算出されたものである。よって、変換パラメータ記憶部１３２に記憶される複数の変換パラメータの各々には、座席角度情報および座席位置情報が対応付けられている。
【０１０１】
この場合、まず、画像変換部１３３は、座席角度および座席位置を検知可能な座席センサ（図示略）から、例えばＣＡＮ（Controller Area Network）経由で座席角度情報および座席位置情報を受け取る。ここでの座席角度情報および座席位置情報は、それぞれ、カメラ２００による撮影画像の撮影時における、座席角度および座席位置を示す情報である。
【０１０２】
次に、画像変換部１３３は、変換パラメータ記憶部１３２に記憶されている複数の変換パラメータの中から、座席センサから受け取った座席角度情報および座席位置情報が対応付けられている変換パラメータを選択する。そして、画像変換部１３３は、その変換パラメータをパラメータ記憶部１３２から読み出し、その変換パラメータを用いて撮影画像の変換を行う。
【０１０３】
なお、上記説明では、画像変換部１３３が座席センサから座席角度情報および座席位置情報を受け取る場合を例に挙げて説明したが、これに限定されない。例えば、画像変換部１３３は、画像入力部１３１から受け取った撮影画像に対して所定の画像解析を行い、座席角度情報および座席位置情報を取得してもよい。
【０１０４】
また、上記説明では、複数の変換パラメータが、座席角度情報および座席位置情報に対応付けられている場合を例に挙げて説明したが、座席角度情報または座席位置情報のいずれか一方に対応付けられていてもよい。
【０１０５】
本変形例によれば、座席角度毎および／または座席位置毎に算出された変換パラメータを用いて撮影画像の変換を行うので、検知の際に、乗員が座席角度および／または座席位置を変更した場合に対応でき、より検知の精度が向上する。
【０１０６】
（変形例３）
上記実施の形態では、カメラが車室内の所定位置に予め固定されている場合を例に挙げて説明したが、カメラは、車両の製品出荷後に、ユーザによって車室内に後付けされてもよい。この場合では、検知時における変換パラメータは、以下のようにして算出または決定される。
【０１０７】
まず、変換パラメータが算出される場合の一例について説明する。
【０１０８】
検知装置１０１の製品出荷時には、カメラの設置位置が未定であるため、変換パラメータ記憶部１３２には、変換パラメータは記憶されていない。その代わり、基準座標（例えば、図９に示した点ａ〜ｄの座標）が変換パラメータ記憶部１３２に記憶されている。
【０１０９】
ユーザにより車室内に設置されたカメラにより、状態検知の対象となる撮影画像が取得される。
【０１１０】
まず、画像変換部１３３は、画像入力部１３１からその撮影画像を受け取り、変換パラメータ記憶部１３２から４点の基準座標を読み出す。次に、画像変換部１３３は、撮影画像上の座席における４点（例えば、図８に示した点ａ〜ｄ）の座標を算出し、それらの座標が基準座標になるように変換パラメータを算出する。そして、画像変換部１３３は、算出された変換パラメータを用いて撮影画像の変換を行う。また、画像変換部１３３は、算出された変換パラメータを変換パラメータ記憶部１３２に記憶させる。
【０１１１】
次に、変換パラメータが決定される場合の一例について説明する。
【０１１２】
検知装置１０１の製品出荷時には、想定されるカメラの設置位置に対応して複数の変換パラメータが、変換パラメータ記憶部１３２に記憶されている。また、基準座標（例えば、図９に示した点ａ〜ｄの座標）も記憶されているとする。
【０１１３】
その後、ユーザによりカメラが車室内に設置され、そのカメラにより、状態検知の対象となる撮影画像が取得されたとする。
【０１１４】
まず、画像変換部１３３は、画像入力部１３１からその撮影画像を受け取り、変換パラメータ記憶部１３２から、全ての変換パラメータと、４点の基準座標とを読み出す。次に、画像変換部１３３は、撮影画像上の座席における４点（例えば、図８に示した点ａ〜ｄ）の座標を算出し、それらの座標を、各変換パラメータを用いて変換する。次に、画像変換部１３３は、各変換後の座標と、基準座標との比較を行う。この比較の結果、画像変換部１３３は、最も基準座標に近い変換後の座標を選択し、その変換後の座標に対して用いられた変換パラメータを、撮影画像の変換に用いる変換パラメータに決定する。そして、画像変換部１３３は、決定された変換パラメータを用いて撮影画像の変換を行う。
【０１１５】
（変形例４）
また、上記実施の形態では、座席の所定の点の画像における見かけの位置に基づいて変換パラメータを算出したが、これに限定されない。例えば、車室内の装置（乗員が乗車した際に座席位置に制限を与える装置。例えば、ステアリング）の所定の点の画像における見かけの位置に基づいて変換パラメータを算出してもよい。または、座席の所定の点の画像における見かけの位置と、車室内の装置の所定の点の画像における見かけの位置とに基づいて変換パラメータを算出してもよい。
【０１１６】
（変形例５）
上記実施の形態では、学習の対象および検知の対象が着座状態または非着座状態である場合を例に挙げて説明したが、学習の対象および検知の対象は、これに限定されず、例えば、人物の体勢、顔などであってもよい。
【０１１７】
（変形例６）
上記実施の形態では、学習装置１００と検知装置１０１が別々の構成である場合を例に挙げて説明したが、学習装置１００と検知装置１０１とを合わせて１つの学習検知装置として構成してもよい。その場合、画像処理装置１１０と画像処理装置１３０とを合わせて１つの画像処理装置として構成してもよい。
【０１１８】
（変形例７）
上記実施の形態では、学習装置１００の画像処理装置１１０が画像記憶部１１１と変換パラメータ記憶部１１２を有する場合を例に挙げて説明したが、画像記憶部１１１と変換パラメータ記憶部１１２は、例えば図１５に示すように、画像処理装置１１０の外部に設けられてもよい。その場合、画像処理装置１１０は、画像記憶部１１１から正解画像および不正解画像を受け取る画像入力部１１４と、変換パラメータ記憶部１１２から変換パラメータを受け取る変換パラメータ入力部１１５とを備える構成としてもよい。なお、画像入力部１１４と変換パラメータ入力部１１５を合わせて１つの入力部として構成してもよい。
【０１１９】
また、上記実施の形態では、検知装置１０１の画像処理装置１３０が変換パラメータ記憶部１３２を有する場合を例に挙げて説明したが、変換パラメータ記憶部１３２は、例えば図１６に示すように、画像処理装置１３０の外部に設けられてもよい。その場合、画像処理装置１３０は、変換パラメータ記憶部１３２から変換パラメータを受け取る変換パラメータ入力部１３５を備える構成としてもよい。なお、画像入力部１３１と変換パラメータ入力部１３５を合わせて１つの入力部として構成してもよい。
【産業上の利用可能性】
【０１２０】
本発明は、所定の状態の学習および検知に用いられる画像処理装置、検知装置、学習装置、画像処理方法、および画像処理プログラムに有用である。
【符号の説明】
【０１２１】
１  車両
１０、２００  カメラ
２０  運転席
１００  学習装置
１０１  検知装置
１１０、１３０  画像処理装置
１１１  画像記憶部
１１２、１３２  変換パラメータ記憶部
１１３、１３３  画像変換部
１１４、１３１  画像入力部
１１５、１３５  変換パラメータ入力部
１２０  学習部
１４０  検知部
【図１】
2018060466.tif 000003
【図２】
2018060466.tif 000004
【図３】
2018060466.tif 000005
【図４】
2018060466.tif 000006
【図５】
2018060466.tif 000007
【図６】
2018060466.tif 000008
【図７】
2018060466.tif 000009
【図８】
2018060466.tif 000010
【図９】
2018060466.tif 000011
【図１０】
2018060466.tif 000012
【図１１】
2018060466.tif 000013
【図１２】
2018060466.tif 000014
【図１３】
2018060466.tif 000015
【図１４】
2018060466.tif 000016
【図１５】
2018060466.tif 000017
【図１６】
2018060466.tif 000018