(57)【特許請求の範囲】
【請求項１】
車室内を撮像して表示する車室内監視装置であって、
前記車室への搭乗者それぞれについての呼称および特徴を含む個人情報を登録する個人情報登録手段と、
前記搭乗者の音声を認識する音声認識手段と、
前記音声認識手段によって認識された前記音声から抽出された、前記呼称を含んだ特定の前記搭乗者に対する呼びかけに基づき、前記個人情報から当該呼称に対応する前記搭乗者の前記特徴を取得する特徴取得手段と、
前記特徴取得手段によって取得された前記特徴に該当する前記搭乗者の前記車室内における位置を検索する位置検索手段と、
前記位置検索手段によって検索された前記位置に対応する表示映像を生成する表示映像生成手段と
を備え、
前記個人情報登録手段は、
前記音声に含まれる前記呼称をテキストへ変換したうえで、当該テキストと当該呼称に対応する前記搭乗者の前記特徴とを関連付けて登録することを特徴とする車室内監視装置。
【請求項２】
前記音声から前記呼びかけを抽出するワード識別手段
をさらに備え、
前記ワード識別手段は、
抽出した前記呼びかけをテキストへ変換したうえで、当該テキストを前記呼称と当該呼称以外のワードとに分離し、当該ワードが表示開始を示す場合には、当該呼称に対応する前記搭乗者の前記特徴を、前記特徴取得手段に対して取得させることを特徴とする請求項１に記載の車室内監視装置。
【請求項３】
前記位置検索手段は、
前記個人情報登録手段によって前記個人情報が既に登録されているならば、前記呼びかけの抽出前であっても、前記個人情報に含まれる前記特徴に基づいて前記搭乗者それぞれについての前記位置を検索することを特徴とする請求項１または２に記載の車室内監視装置。
【請求項４】
前記表示映像生成手段は、
前記位置検索手段によって検索された前記位置における撮像映像を拡大することによって、前記表示映像を生成することを特徴とする請求項１、２または３に記載の車室内監視装置。
【請求項５】
前記表示映像生成手段は、
前記位置検索手段によって検索された前記位置における撮像映像を選択することによって、前記表示映像を生成することを特徴とする請求項１、２または３に記載の車室内監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の車室内を撮像して表示する車室内監視装置に関する。
【背景技術】
【０００２】
従来、車両の車室内に配置されたカメラで車室内の様子を撮像し、カーナビゲーションシステムなどに備えられた車載モニタへ表示する車室内監視装置が知られている。かかる車室内監視装置は、運転中の運転者が目視しにくい位置の搭乗者の様子などを表示して、搭乗者の安全を確保する役割を担っている。
【０００３】
そして、搭乗者の安全をより確保するため、近年では、各種センサなどを用いて後部座席における異常を検知した場合や、子供が泣いていることを検知した場合などに、かかる検知方向の様子を表示する車室内監視装置も提案されている（たとえば、特許文献１または特許文献２参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−３４７２３２号公報
【特許文献２】特開２００８−２２１９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術を用いた場合、運転者に、即座に監視対象である搭乗者の様子を確認させることができないという問題があった。具体的には、従来技術では、子供が泣いているなどの異常を検知してからかかる検知方向の様子を表示するため、監視者である運転者は、あくまで受動的にしか様子を確認できなかった。
【０００６】
このため、たとえば、後部座席の子供が泣きはしないものの重篤な状態にある場合などには、救護の対策が遅れる可能性があった。また、子供の泣いた方向の様子を表示しても、子供が泣きながら移動した場合には、確実に子供の様子を表示できないケースもあった。
【０００７】
これらのことから、能動的、かつ、精度よく、監視対象である搭乗者の様子を運転者に確認させることができる車室内監視装置をいかにして実現するかが大きな課題となっている。なお、かかる課題は、運転者が監視される側である場合にも同様に発生する課題である。
【０００８】
本発明は、上述した従来技術による問題点を解消するためになされたものであって、能動的、かつ、精度よく、監視対象である搭乗者の様子を監視者に確認させることができる車室内監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、本発明は、車室内を撮像して表示する車室内監視装置であって、前記車室への搭乗者それぞれについての呼称および特徴を含む個人情報を登録する個人情報登録手段と、前記搭乗者の音声を認識する音声認識手段と、前記音声認識手段によって認識された前記音声から抽出された、前記呼称を含んだ特定の前記搭乗者に対する呼びかけに基づき、前記個人情報から当該呼称に対応する前記搭乗者の前記特徴を取得する特徴取得手段と、前記特徴取得手段によって取得された前記特徴に該当する前記搭乗者の前記車室内における位置を検索する位置検索手段と、前記位置検索手段によって検索された前記位置に対応する表示映像を生成する表示映像生成手段とを備え、前記個人情報登録手段は、前記音声に含まれる前記呼称をテキストへ変換したうえで、当該テキストと当該呼称に対応する前記搭乗者の前記特徴とを関連付けて登録することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、車室への搭乗者それぞれについての呼称および特徴を含む個人情報を登録し、搭乗者の音声を認識し、認識された音声から抽出された、呼称を含んだ特定の搭乗者に対する呼びかけに基づき、個人情報からかかる呼称に対応する搭乗者の特徴を取得し、取得された特徴に該当する搭乗者の車室内における位置を検索し、検索された位置に対応する表示映像を生成し、上記個人情報の登録については、上記音声に含まれる上記呼称をテキストへ変換したうえで、かかるテキストと上記呼称に対応する搭乗者の特徴とを関連付けて登録することとしたので、能動的、かつ、精度よく、監視対象である搭乗者の様子を監視者に確認させることができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明に係る車室内監視手法の概要を示す図である。
【図２】図２は、車室内監視装置の構成を示すブロック図である。
【図３】図３は、カメラおよびマイクの配置例を示す図である。
【図４】図４は、個人情報の登録までの動作を説明するための図である。
【図５】図５は、トリガ情報の設定例を示す図である。
【図６】図６は、音声認識部における音声認識処理および呼びかけワード識別部における呼びかけワード識別処理を説明するための図である。
【図７】図７は、呼びかけ例とそれにともなう特徴取得部、位置検索部および表示映像生成部の動作を説明するための図である。
【図８】図８は、位置検索部における対象検索処理および表示映像生成部における表示映像生成処理を説明するための図である。
【図９】図９は、車室内監視装置が実行する処理手順を示すフローチャートである。
【図１０】図１０は、個人情報の登録の変形例を示す図である。
【図１１】図１１は、呼びかけ例とそれにともなう特徴取得部、位置検索部および表示映像生成部の動作の変形例を説明するための図である。
【発明を実施するための形態】
【００１２】
以下に、添付図面を参照して、本発明に係る車室内監視手法の好適な実施例を詳細に説明する。なお、以下では、本発明に係る車室内監視手法の概要について図１を用いて説明した後に、本発明に係る車室内監視手法を適用した車室内監視装置についての実施例を図２〜図１１を用いて説明することとする。
【００１３】
また、以下では、監視者が、主に運転者である場合を例に挙げて説明することとする。また、以下では、車室内監視装置が、撮像部として車載カメラを、表示部として車載モニタを、それぞれ有している場合について説明することとし、車載カメラの撮像映像に基づく表示映像をかかる車載モニタへ表示することを「モニタリング」と記載するものとする。
【００１４】
まず、本発明に係る車室内監視手法の概要について図１を用いて説明する。図１は、本発明に係る車室内監視手法の概要を示す図である。なお、図１の（Ａ）には、車両５０を上方からみた場合の車室５１内の着座位置の配置例について、図１の（Ｂ）には、本発明に係る車室内監視手法の概要について、それぞれ示している。
【００１５】
図１の（Ａ）に示すように、車両５０は車室５１を備えており、車室５１は、その後部に着座位置５１ＲＲおよび５１ＲＬを、その前部に着座位置５１ＦＲおよび５１ＦＬを、それぞれ備えているものとする。
【００１６】
また、着座位置５１ＲＲには搭乗者ａが、着座位置５１ＲＬには搭乗者ｂが、着座位置５１ＦＲには搭乗者ｃが、着座位置５１ＦＬには搭乗者ｄが、それぞれ着座しているものとする。また、運転者かつ監視者は、搭乗者ｃであるものとする。なお、図中の「×」印は、搭乗者ｃから搭乗者ａの表情を目視できないことをあらわしている。
【００１７】
ここで、従来の手法によれば、搭乗者ｃは、他の搭乗者の様子を確認したい場合であっても、即座にかかる搭乗者の様子を確認できなかった。具体的には、従来の手法によれば、着座位置５１ＲＲあるいは５１ＲＬなどにおける異常を検知した場合でなければ、該当する着座位置をモニタリングしていなかった。すなわち、搭乗者ｃは受動的にしか、搭乗者ａあるいはｂなどの様子を確認できなかった。
【００１８】
なお、搭乗者ｃが、能動的に後方を振り返ったり、ルームミラーを注視したりすることで、搭乗者ａあるいはｂの様子を確認することはできる。しかし、運転者でもある搭乗者ｃの振り返りやルームミラーの注視は、運転動作として適切ではない場合がある。
【００１９】
とりわけ、即座に搭乗者ｃの死角に着座する搭乗者ａの様子を確認することは、受動的であれ能動的であれ、きわめて難しかった。
【００２０】
そこで、図１の（Ｂ）に示したように、本発明に係る車室内監視手法では、監視者の監視対象者に対する能動的な「呼びかけ」に基づき、撮像映像における監視対象者の位置を検索および特定し、即座にかかる監視対象者の様子をモニタリングすることとした。
【００２１】
まず、本発明に係る車室内監視手法では、車両５０への乗車時などに、すべての搭乗者ａ〜ｄについて、「呼称」および「特徴」を含む個人情報を、データベースである個人情報１５ａへ登録する（図１の（Ｂ−１）参照）。
【００２２】
つづいて、たとえば、車両５０の走行中などに、搭乗者ｃが搭乗者ａに対して「大丈夫？ａさん」と「呼びかけ」を行ったものとする（図１の（Ｂ−２）参照）。ここで、本発明に係る車室内監視手法では、かかる「大丈夫？ａさん」という「呼びかけ」に基づき、個人情報１５ａから「ａさん」の「特徴」を取得する。
【００２３】
なお、図１の（Ｂ−３）では、「ａさん」の「特徴」が、「ａさん」の顔画像である場合を示しているが（図中の閉曲線１で囲まれた部分参照）、かかる「特徴」は、顔画像に限らなくともよい。かかる点については、図１０を用いて後述する。
【００２４】
そして、本発明に係る車室内監視手法では、取得した「特徴」に基づいて車載カメラの撮像映像１１ａから「特徴」に合致する「ａさん」を検索し（図１の（Ｂ−４）参照）、かかる撮像映像１１ａにおける「ａさん」の位置を特定する（図１の（Ｂ−５）参照）。
【００２５】
そして、本発明に係る車室内監視手法では、特定した「ａさん」の位置（図１の（Ｂ−５）の閉曲線２に囲まれた部分参照）を、搭乗者ｃが、運転動作に支障をきたすことなく確実に視認できるように表示部１３（車載モニタに対応）へ表示する（図１の（Ｂ−６）参照）。
【００２６】
なお、図１の（Ｂ−６）では、「ａさん」の位置を拡大表示した例を示しているが、かかる拡大表示に限らなくともよい。この点については、図８を用いて後述する。また、上述した「呼びかけ」をトリガとする一連の動作の詳細については、図５から図７を用いて後述する。
【００２７】
このように、本発明に係る車室内監視手法では、監視者の監視対象者に対する能動的な「呼びかけ」に基づき、撮像映像における監視対象者の位置を検索および特定し、即座にかかる監視対象者の様子をモニタリングすることとした。
【００２８】
したがって、本発明に係る車室内監視手法によれば、能動的、かつ、精度よく、監視対象である搭乗者の様子を監視者に確認させることができる。
【００２９】
なお、図１を用いた説明では、監視者の「呼びかけ」をトリガとして、監視対象者の特徴を取得したうえで、監視対象者の位置を検索および特定する場合について説明したが、即時性を高めるために、「呼びかけ」をトリガとすることなく、あらかじめ各搭乗者の位置の当たりをつけておいてもよい。かかる点については、図１１を用いて後述する。
【００３０】
以下では、図１を用いて説明した車室内監視手法を適用した車室内監視装置についての実施例を詳細に説明する。なお、以下に示す実施例では、図１を用いて説明した場合と同様に、運転者かつ監視者が搭乗者ｃであり、監視対象者が搭乗者ａである場合について主に説明する。また、以下では、上述した「呼びかけ」を、「呼びかけワード」と記載することとする。
【実施例】
【００３１】
図２は、本実施例に係る車室内監視装置１０の構成を示すブロック図である。なお、図２では、車室内監視装置１０の特徴を説明するために必要な構成要素のみを示しており、一般的な構成要素についての記載を省略している。
【００３２】
図２に示すように、車室内監視装置１０は、カメラ１１と、マイク１２と、表示部１３と、制御部１４と、記憶部１５とを備えている。
【００３３】
また、制御部１４は、呼びかけワード入力部１４ａと、個人映像入力部１４ｂと、登録情報生成部１４ｃと、個人情報登録部１４ｄと、音声認識部１４ｅと、呼びかけワード識別部１４ｆと、特徴取得部１４ｇと、位置検索部１４ｈと、表示映像生成部１４ｉとをさらに備えている。そして、記憶部１５は、個人情報１５ａと、トリガ情報１５ｂとを記憶する。
【００３４】
カメラ１１は、搭乗者、および、車室５１（図１参照）内をそれぞれ撮像するカメラデバイスであり、車載カメラに対応する。なお、あらかじめ個人情報１５ａの登録（図１参照）を行うにあたって各搭乗者を撮像するカメラデバイスは、車載カメラに限らなくともよい。また、車両５０の夜間走行時に備えて、赤外線カメラを用いてもよい。
【００３５】
マイク１２は、搭乗者の「呼称」、および、監視者が発声する「呼びかけワード」を含む車室５１内のさまざまな音を、音響信号として入力する入力デバイスである。
【００３６】
なお、あらかじめ個人情報１５ａの登録を行うにあたっては、マイク１２は音響信号を呼びかけワード入力部１４ａへ、カメラ１１は撮像信号を個人映像入力部１４ｂへ、それぞれ出力する。また、監視対象者のモニタリングを行うにあたっては、マイク１２は音響信号を音声認識部１４ｅへ、カメラ１１は撮像映像信号を位置検索部１４ｈへ、それぞれ出力する。
【００３７】
ここで、車室５１内におけるカメラ１１およびマイク１２の配置例について、図３を用いて説明しておく。図３は、カメラ１１およびマイク１２の配置例を示す図である。なお、図３の（Ａ）には、カメラ１１の配置例を、図３の（Ｂ）には、マイク１２の配置例を、それぞれ示している。
【００３８】
図３の（Ａ−ａ）に示したように、カメラ１１は、ダッシュボード中央部やルームミラーの近傍など車室５１前部の中央部へ配置することができる。このように配置した場合の利点は、車室５１全体を見わたせる点にある。車室５１全体を見わたせる位置であれば上記位置に限定されず、その他の位置にも設置可能である。
【００３９】
なお、車室５１全体を見わたせる意味においては、図３の（Ａ−ｂ）に示したように、車室５１の天井部中央、たとえば、ルームランプ近傍にカメラ１１を配置してもよい。かかる場合、使用するレンズに魚眼レンズなどを用いて、各搭乗者の表情を含めた様子を確認しやすくするとより好ましい。
【００４０】
また、図３の（Ａ−ｃ）に示したように、カメラ１１を複数配置してもよい。なお、図３の（Ａ−ｃ）には、各搭乗者の前方へそれぞれカメラ１１を配置した例を示している。
【００４１】
かかる場合、車室５１の前部に着座する搭乗者分のカメラ１１は、たとえば、ダッシュボードやフロントウィンドウの近傍などに配置される。また、車室５１の後部に着座する搭乗者分のカメラ１１は、着座位置５１ＦＲや着座位置５１ＦＬの背面、たとえば、運転席および助手席のヘッドレストの背面などに配置することができる。
【００４２】
なお、図３の（Ａ−ｃ）に示したように、複数のカメラ１１を配置した場合、監視対象者の様子をモニタリングする際には、かかる監視対象者の様子をもっとも確認しやすいカメラ１１の撮像画像を選択するのみでよいという利点がある。
【００４３】
かかる点については、図８を用いて後述する。また、以下では、図３の（Ａ−ａ）に示した配置例で、カメラ１１が配置されているものとする。
【００４４】
また、図３の（Ｂ−ａ）に示したように、マイク１２は、着座位置５１ＦＲ前方、すなわち、運転席前方のダッシュボードやフロントウィンドウの近傍などへ配置することができる。かかる場合、監視者となる場合の多い運転者の発声する「呼びかけワード」を確実に集音することができるというメリットがある。
【００４５】
また、図３の（Ｂ−ｂ）に示したように、車室５１の天井部中央、たとえば、ルームランプ近傍にマイク１２を配置してもよい。かかる場合、無指向性マイクなどを用いることによって、いずれの搭乗者が監視者になる場合であっても、確実に「呼びかけワード」を集音できるというメリットがある。
【００４６】
なお、以下では、図３の（Ｂ−ａ）に示した配置例で、マイク１２が配置されているものとする。
【００４７】
図２の説明に戻り、表示部１３について説明する。表示部１３は、表示映像生成部１４ｉが生成し出力する監視対象者のモニタリング映像を表示する車載モニタなどの表示デバイスである。
【００４８】
制御部１４は、搭乗者それぞれの個人情報を登録したうえで、「呼びかけ」られた搭乗者の「特徴」をかかる個人情報から取得し、かかる「特徴」に該当する搭乗者の位置をカメラ１１の撮像映像において検索および特定し、特定した位置に基づいて表示映像を生成のうえ、表示部１３へ表示させる処理を行う処理部である。
【００４９】
呼びかけワード入力部１４ａは、個人情報１５ａの登録にあたり、マイク１２から入力される音響信号に基づいて各搭乗者の「呼称」を抽出したうえで、抽出した「呼称」の音声信号を、登録情報生成部１４ｃへ出力する処理を行う処理部である。
【００５０】
個人映像入力部１４ｂは、個人情報１５ａの登録にあたり、カメラ１１から入力される撮像信号に基づいて各搭乗者の「特徴」をあらわす画像データを生成したうえで、生成した画像データを登録情報生成部１４ｃへ出力する処理を行う処理部である。
【００５１】
登録情報生成部１４ｃは、呼びかけワード入力部１４ａから入力された「呼称」の音声信号をテキスト化したうえで、かかるテキスト化された「呼称」と、個人映像入力部１４ｂから入力された画像データとを関連付けた情報である登録情報を生成する処理を行う処理部である。また、登録情報生成部１４ｃは、生成した登録情報を、個人情報登録部１４ｄへ出力する処理を併せて行う。
【００５２】
個人情報登録部１４ｄは、登録情報生成部１４ｃから入力された登録情報を、個人情報１５ａへ記憶させる処理を行う処理部である。
【００５３】
ここで、個人情報１５ａの登録までの動作について、図４を用いて説明する。図４は、個人情報１５ａの登録までの動作を説明するための図である。なお、図中の閉曲線１４ａに囲まれた部分は呼びかけワード入力部１４ａにおける動作に、閉曲線１４ｂに囲まれた部分は、個人映像入力部１４ｂにおける動作に、閉曲線１４ｃおよび１４ｄに囲まれた部分は、登録情報生成部１４ｃおよび個人情報登録部１４ｄにおける動作に、それぞれ対応している。また、閉曲線１４ｃおよび１４ｄに囲まれた部分には、個人情報１５ａの登録例を含んで示している。
【００５４】
まず、閉曲線１４ａに囲まれた部分に示したように、呼びかけワード入力部１４ａは、マイク１２から入力される登録者（ここでは、搭乗者ｃなど）の発声する登録対象者の「呼称」（ここでは、「ａさん」）の音声信号を、登録情報生成部１４ｃへ出力する。
【００５５】
一方、閉曲線１４ｂに囲まれた部分に示したように、個人映像入力部１４ｂは、カメラ１１から入力される登録対象者（ここでは、搭乗者ａ）の画像データ（ここでは、顔画像）を生成したうえで、生成した画像データを登録情報生成部１４ｃへ出力する。
【００５６】
そして、閉曲線１４ｃおよび１４ｄに囲まれた部分に示したように、登録情報生成部１４ｃおよび個人情報登録部１４ｄは、呼びかけワード入力部１４ａから入力された「ａさん」の音声信号をテキスト化したうえで、個人映像入力部１４ｂから入力された「搭乗者ａの顔画像」と関連付け、個人情報１５ａへ登録する。
【００５７】
なお、「ａさん」などの「呼称」をテキスト化することで、搭乗者のうちの誰もが「呼びかけワード」を発声する監視者になれるというメリットがある。
【００５８】
ここで、閉曲線１４ｃおよび１４ｄに囲まれた部分に示した個人情報１５ａの登録例について説明する。個人情報１５ａは、「Ｎｏ．」項目と、「呼称」項目と、「特徴」項目とを含んでいる。
【００５９】
「Ｎｏ．」項目は、「呼称」ごとに登録される各レコードを一意に示すレコード番号が格納される項目である。「呼称」項目は、上述のようにテキスト化された各搭乗者の「呼称」が格納される項目である。「特徴」項目は、各「呼称」に対応する搭乗者の特徴を示すデータ（ここでは、顔画像）が格納される項目である。
【００６０】
なお、図示したように、「呼称」項目に格納される呼称は、「氏名」、「愛称」あるいは「敬称」など、その種別を問わない。たとえば、図４には、「ａさん」、「ｂくん」、「ｃ」、「ｄさん」および「ｄ先輩」など、さまざま呼び方で「呼称」が登録されている例を示している。また、「ｄさん」あるいは「ｄ先輩」のように、同一人物を異なる「呼称」で登録してもよい。
【００６１】
図２の説明に戻り、音声認識部１４ｅについて説明する。音声認識部１４ｅは、監視対象者のモニタリングを行うにあたり、マイク１２から入力される音響信号に基づいて「搭乗者」の発声した音声を抽出したうえで、抽出した音声の音声信号を呼びかけワード識別部１４ｆへ出力する処理を行う処理部である。
【００６２】
呼びかけワード識別部１４ｆは、音声認識部１４ｅから入力された音声信号に基づき、監視者が監視対象者へ向けて発声した「呼びかけワード」をテキスト化する処理を行う処理部である。
【００６３】
また、呼びかけワード識別部１４ｆは、テキスト化した「呼びかけワード」を「呼称」と「呼称」以外のワードとに分解したうえで、かかる「呼称」以外のワードが監視対象者のモニタリングに関する「トリガ」となるワードであるか否かを判別する処理を併せて行う。なお、かかる判別時には、記憶部１５のトリガ情報１５ｂを参照する。
【００６４】
また、呼びかけワード識別部１４ｆは、かかる判別によって監視対象者のモニタリングの「開始」を判別した場合には、特徴取得部１４ｇへ「呼称」を出力する処理を併せて行う。
【００６５】
また、呼びかけワード識別部１４ｆは、かかる判別によって監視対象者のモニタリングの「終了」を判別した場合には、かかるモニタリングを終了させる処理を併せて行う。
【００６６】
ここで、呼びかけワード識別部１４ｆが参照する記憶部１５のトリガ情報１５ｂについて、図５を用いて説明しておく。図５は、トリガ情報１５ｂの設定例を示す図である。
【００６７】
図５に示したように、トリガ情報１５ｂは、監視対象者のモニタリングに関して「トリガ」となるワードをあらかじめ設定した情報である。なお、トリガ情報１５ｂは、「カテゴリ」項目と「ワード」項目とを含んでいる。
【００６８】
「カテゴリ」項目は、監視対象者のモニタリングに関する動作を大別するカテゴリ値が格納される項目である。たとえば、図５に示したように、カテゴリ値「開始」を格納することによって、監視対象者のモニタリングを開始するワード（以下、「開始ワード」と記載する）を設定することができる。
【００６９】
また、カテゴリ値「終了」を格納することによって、監視対象者のモニタリングを終了するワード（以下、「終了ワード」と記載する）を設定することができる。
【００７０】
「ワード」項目は、「トリガ」となるワードの具体例が格納される項目である。たとえば、図５には、「開始ワード」として、「映像表示」、「映像スタート」、「大丈夫？」および「起きてる？」などが設定された例を示している。
【００７１】
また、「終了ワード」として、「表示終了」、「映像ストップ」および「もういいよ」などが設定された例を示している。なお、以下では、かかる設定例でトリガ情報１５ｂが設定されているものとし、「開始ワード」として「大丈夫？」を、「終了ワード」として「もういいよ」を、それぞれ用いるものとして説明を行う。
【００７２】
つづいて、音声認識部１４ｅにおける音声認識処理および呼びかけワード識別部１４ｆにおける呼びかけワード識別処理について、図６を用いて説明する。図６は、音声認識部１４ｅにおける音声認識処理および呼びかけワード識別部１４ｆにおける呼びかけワード識別処理を説明するための図である。
【００７３】
なお、図中の閉曲線１４ｅに囲まれた部分は音声認識部１４ｅにおける動作に、閉曲線１４ｆに囲まれた部分は、呼びかけワード識別部１４ｆにおける動作に、それぞれ対応している。
【００７４】
まず、図６の（１）に示したように、音声認識部１４ｅは、マイク１２から入力される搭乗者ｃなどの発声した音声の音声信号を、呼びかけワード識別部１４ｆへ出力する。なお、図６の（１）では、「大丈夫？ａさん」という「呼びかけワード」である音声がマイク１２から入力された例を示しており、以下でも、かかる「呼びかけワード」を前提に説明を進める。
【００７５】
そして、図６の（２）に示したように、呼びかけワード識別部１４ｆは、音声認識部１４ｅから入力された音声信号に基づいて「大丈夫？ａさん」という「呼びかけワード」をテキスト化する。
【００７６】
そして、図６の（３）に示したように、呼びかけワード識別部１４ｆは、テキスト化した「大丈夫？ａさん」を、「呼称」である「ａさん」と「呼称」以外のワードである「大丈夫？」とに分解する。
【００７７】
ここで、呼びかけワード識別部１４ｆは、「呼称」以外のワードである「大丈夫？」が、トリガ情報１５ｂにあらかじめ設定された監視対象者のモニタリングに関する「トリガ」となるワードと合致するか否かを判別する。
【００７８】
なお、上述のように、「大丈夫？」のワードは、トリガ情報１５ｂに「開始ワード」として設定されている前提であるため、ここで、呼びかけワード識別部１４ｆは、「呼称」のワードである「ａさん」を特徴取得部１４ｇへ出力する（図６に示した「特徴取得部へ」参照）。
【００７９】
また、仮に、「大丈夫？」のワードが「終了ワード」として設定されている、あるいは、「大丈夫？」のワード自体が設定されていないならば、車室内監視装置１０は、音声認識部１４ｅの動作へと制御を移す。
【００８０】
図２の説明に戻り、特徴取得部１４ｇについて説明する。特徴取得部１４ｇは、呼びかけワード識別部１４ｆから入力された「呼称」と合致する搭乗者の「特徴」を、記憶部１５の個人情報１５ａから取得する処理を行う処理部である。また、特徴取得部１４ｇは、取得した「特徴」を位置検索部１４ｈへ出力する処理を併せて行う。
【００８１】
位置検索部１４ｈは、特徴取得部１４ｇから入力された「特徴」に該当する搭乗者の、カメラ１１の撮像映像における位置を検索および特定する処理を行う処理部である。なお、かかる検索および特定は、カメラ１１の撮像映像と「特徴」をあらわす画像データとの比較などによって行われる。また、位置検索部１４ｈは、特定した位置を表示映像生成部１４ｉへ出力する処理を併せて行う。
【００８２】
表示映像生成部１４ｉは、位置検索部１４ｈから入力された監視対象者の位置に基づき、監視者が監視対象者の様子を確実に視認可能な表示映像を生成する処理を行う処理部である。
【００８３】
また、表示映像生成部１４ｉは、生成した表示映像を車載モニタなどに対応する表示部１３へ出力する処理を併せて行う。なお、表示映像生成部１４ｉにおける表示映像生成処理の詳細については、図８を用いて後述する。
【００８４】
ここで、呼びかけ例とそれにともなう特徴取得部１４ｇ、位置検索部１４ｈおよび表示映像生成部１４ｉの動作について、図７を用いて説明する。図７は、呼びかけ例とそれにともなう特徴取得部１４ｇ、位置検索部１４ｈおよび表示映像生成部１４ｉの動作を説明するための図である。なお、図７に示した横軸ｔは、時間の経過をあらわしている。
【００８５】
図７の（１）あるいは（２）に示したように、音声認識部１４ｅから「お腹すいたね。ａさん」あるいは「気分悪い？ａさん」といった音声の音声信号が入力された場合、呼びかけワード識別部１４ｆは、「お腹すいたね。」あるいは「気分悪い？」のワードがトリガ情報１５ｂへ設定されていなければ、「呼称」にあたる「ａさん」を特徴取得部１４ｇへ出力しない。
【００８６】
一方、図７の（３）に示したように、音声認識部１４ｅから「大丈夫？ａさん」という音声の音声信号が入力された場合、呼びかけワード識別部１４ｆは、「大丈夫？」のワードがトリガ情報１５ｂの「開始ワード」と合致すれば、「呼称」にあたる「ａさん」を特徴取得部１４ｇへ出力する。
【００８７】
したがって、上述の図５の設定例を前提とした場合、図７に示した例では、時間ｔ３に至るまでは、特徴取得部１４ｇ、位置検索部１４ｈおよび表示映像生成部１４ｉの非動作区間となる。すなわち、時間ｔ３に至るまでは、監視対象者のモニタリングは行われない。
【００８８】
また、図７に示したように、時間ｔ３以降は、特徴取得部１４ｇ、位置検索部１４ｈおよび表示映像生成部１４ｉの動作区間となる。すなわち、搭乗者ａを監視対象者とするモニタリングが行われることとなる。
【００８９】
かかる動作区間中は、たとえば、「体調悪い？」といった「呼称」を含まない音声信号（図７の（４）参照）や、既に一度入力された「気分悪い？ａさん」との音声信号（図７の（２）および（５）参照）が入力されても、搭乗者ａのモニタリングは継続して行われる。
【００９０】
そして、図７の（６）に示したように、トリガ情報１５ｂの「終了ワード」に合致する「もういいよ」との音声信号が入力されたならば、再び特徴取得部１４ｇ、位置検索部１４ｈおよび表示映像生成部１４ｉの非動作区間となる。したがって、搭乗者ａのモニタリングは、時間ｔ６において終了する。
【００９１】
つづいて、位置検索部１４ｈにおける対象検索処理および表示映像生成部１４ｉにおける表示映像生成処理について、図８を用いて説明する。図８は、位置検索部１４ｈにおける対象検索処理および表示映像生成部１４ｉにおける表示映像生成処理を説明するための図である。
【００９２】
なお、図８の（Ａ）には、監視対象者を拡大表示する場合について、図８の（Ｂ）には、複数のカメラ１１であるカメラ＃１〜＃４を配置した場合について、それぞれ示している。
【００９３】
図８の（Ａ−１）に示したように、位置検索部１４ｈは、たとえば、特徴取得部１４ｇから入力された監視対象者の「特徴」をあらわす顔画像に基づき、撮像映像１１ａにおける監視対象者の位置（図中の閉曲線３に囲まれた部分参照）を検索および特定する。
【００９４】
そして、図８の（Ａ−２）に示したように、表示映像生成部１４ｉは、たとえば、かかる閉曲線３に囲まれた部分を拡大表示する表示映像を生成したうえで、車載モニタなどの表示部１３へ表示させることができる。
【００９５】
したがって、撮像映像１１ａにおいては、その様子をよく確認できないほど監視対象者が小さく映っている場合であっても、監視者にかかる様子を確実に確認させることが可能となる。
【００９６】
また、図８の（Ｂ−１）に示したように、上述した図３の（Ａ−ｃ）の配置例などにそって複数のカメラ＃１〜＃４を配置した場合、位置検索部１４ｈは、たとえば、監視対象者がもっとも視認しやすい映像を撮像しているカメラ１１を特定してもよい。なお、図８の（Ｂ−１）には、位置検索部１４ｈが、カメラ＃１を特定した例を示している。
【００９７】
かかる場合、図８の（Ｂ−２）に示したように、表示映像生成部１４ｉは、カメラ＃１の撮像映像を選択して、表示部１３へ表示させることとすればよい。この場合、表示映像生成部１４ｉは、表示映像をあらたに生成することなく、カメラ＃１〜＃４の切り替えを行うのみで済むため、監視対象者のモニタリングの即時性を高めることができる。
【００９８】
また、図８には示していないが、表示映像生成部１４ｉは、車両５０の車速に応じて生成する表示映像を異ならせてもよい。たとえば、車速が０である場合には、図８に示したように、顔画像のみを表示映像として生成してもよい。また、車速が０より大きい場合には、ナビゲーション画面と顔画像とを組み合わせた表示映像を生成してもよい。
【００９９】
これにより、監視者が運転者である場合であっても、運転者を支援するナビゲーション情報を表示しつつ、監視対象者の様子をも確認させることができる。すなわち、運転に関する利便性を高めつつ、監視対象者の安全を確保することが可能となる。
【０１００】
図２の説明に戻り、記憶部１５について説明する。記憶部１５は、ハードディスクドライブや不揮発性メモリ、レジスタといった記憶デバイスで構成される記憶部であり、個人情報１５ａと、トリガ情報１５ｂとを記憶する。
【０１０１】
なお、個人情報１５ａについては図４を用いて、トリガ情報１５ｂについては図５を用いて、それぞれ既に説明したため、ここでの記載を省略する。
【０１０２】
次に、車室内監視装置１０が実行する処理手順について図９を用いて説明する。図９は、車室内監視装置１０が実行する処理手順を示すフローチャートである。なお、本フローチャートでは、個人情報１５ａの登録（ステップＳ１０１に対応）と監視対象者のモニタリング（ステップＳ１０２からステップＳ１０９に対応）とを一連の動作として示している。
【０１０３】
また、ステップＳ１０２からステップＳ１０９では、モニタリング１回分の「開始」から「終了」までの処理手順を示すこととする。
【０１０４】
図９に示したように、まず、呼びかけワード入力部１４ａおよび個人映像入力部１４ｂの出力に基づいて登録情報生成部１４ｃが生成した「呼称」および「特徴」を含む登録情報を、個人情報登録部１４ｄが、データベースである個人情報１５ａへ登録する（ステップＳ１０１）。
【０１０５】
つづいて、車両５０の走行中などに、音声認識部１４ｅが、マイク１２の集音した車室５１内の音響から搭乗者の音声を認識する（ステップＳ１０２）。そして、呼びかけワード識別部１４ｆが、かかる音声から監視者の「呼びかけワード」を識別する（ステップＳ１０３）。
【０１０６】
そして、呼びかけワード識別部１４ｆは、かかる「呼びかけワード」を解析して、「終了ワード」が含まれていないか否かを判定する（ステップＳ１０４）。
【０１０７】
ここで、「終了ワード」が含まれていないと判定された場合（ステップＳ１０４，Ｙｅｓ）、呼びかけワード識別部１４ｆは、「開始ワード」が含まれているか否かを判定する（ステップＳ１０５）。一方、ステップＳ１０４の判定条件を満たさなかった場合（ステップＳ１０４，Ｎｏ）、車室内監視装置１０は、モニタリング１回分の処理を終了する。
【０１０８】
つづいて、「開始ワード」が含まれていると判定された場合（ステップＳ１０５，Ｙｅｓ）、特徴取得部１４ｇが、「呼びかけワード」内の「呼称」に合致する搭乗者の「特徴」を、個人情報１５ａから取得する（ステップＳ１０６）。
【０１０９】
なお、ステップＳ１０５の判定条件を満たさなかった場合（ステップＳ１０５，Ｎｏ）、車室内監視装置１０は、ステップＳ１０２からの処理を繰り返す。
【０１１０】
そして、位置検索部１４ｈが、カメラ１１の撮像映像に基づき、特徴取得部１４ｇの取得した「特徴」に該当する搭乗者の位置を検索および特定する（ステップＳ１０７）。そして、表示映像生成部１４ｉが、検索および特定された位置に基づいて監視対象者である搭乗者の表示映像を生成したうえで（ステップＳ１０８）、かかる表示映像を表示部１３へ出力させる（ステップＳ１０９）。
【０１１１】
そして、車室内監視装置１０は、「呼びかけワード」に「終了ワード」が含まれるまで、ステップＳ１０２からの処理を繰り返す。
【０１１２】
上述してきたように、本実施例では、個人情報登録部が、各搭乗者に関する個人情報をあらかじめ登録するように車室内監視装置を構成した。また、音声認識部が、車室内の音響から搭乗者の音声を認識し、呼びかけワード識別部が、搭乗者の音声から監視者の「呼びかけワード」を識別のうえ解析し、特徴取得部が、解析された監視対象者の「呼称」と合致する搭乗者の「特徴」を取得し、位置検索部が、かかる「特徴」に該当する搭乗者の位置を検索および特定し、表示映像生成部が、特定された位置に基づいて監視対象者についての表示映像を生成のうえ表示させるように車室内監視装置を構成した。
【０１１３】
したがって、能動的、かつ、精度よく、監視対象である搭乗者の様子を監視者に確認させることができる。
【０１１４】
ところで、上述した実施例では、個人情報１５ａに含まれる「特徴」が、各搭乗者の顔画像である場合について説明した。しかし、車両５０へ家族が揃って搭乗する場合のように、各搭乗者の顔が似ているケースも考えられる。
【０１１５】
かかる場合、上述の「特徴」を顔画像に限定することなく、それ以外の情報を「特徴」として用いることで、監視対象者である搭乗者の位置の検索および特定を精度よく行うことができる。そこで、以下では、かかる変形例について図１０を用いて説明する。
【０１１６】
図１０は、個人情報１５ａの登録の変形例を示す図である。なお、図１０の（Ａ）には、登録用の撮像画像に基づく変形例を、図１０の（Ｂ）には、撮像画像を用いない変形例を、それぞれ示している。
【０１１７】
図１０の（Ａ）に示したように、変形例に係る個人情報１５ａａは、「特徴」項目にさらに上述した顔画像以外のデータを格納する項目を含むことができる。たとえば、図１０の（Ａ）には、「特徴」項目が、「顔」項目と、「配色」項目と、「服のデザイン」項目とをさらに含んでいる例を示している。
【０１１８】
ここで、「顔」項目と、「配色」項目と、「服のデザイン」項目とは、登録用の撮像画像に基づく項目である。「顔」項目は、上述した実施例と同様に、搭乗者の顔画像を格納する項目である。
【０１１９】
「配色」項目は、撮像画像に基づいて算出された配色の分布を格納する項目である。なお、図１０の（Ａ）では、説明を分かりやすくするために、大まかな配色の分布を色名で記載した例を示しているが、実際の格納データにはＲＧＢ値などを用いることができる。
【０１２０】
「服のデザイン」項目は、撮像画像に基づいて解析された各搭乗者が着ている服のデザインパターンを格納する項目である。たとえば、図１０の（Ａ）に示した例では、「呼称」が「ｃ」である搭乗者ｃの「服のデザイン」項目のみに、無地でないストライプのデザインパターンが格納されている例を示している。
【０１２１】
したがって、かかる例では、「顔」項目や「配色」項目の格納データを用いることなく、「服のデザイン」項目の格納データのみを用いて搭乗者ｃの位置を検索および特定することが可能となる。無論、各項目の格納データを組み合わせることによって、搭乗者の位置を検索および特定してもよい。
【０１２２】
また、図１０の（Ｂ）に示した変形例に係る個人情報１５ａｂのように、登録用の撮像画像を用いることなく、たとえば、ＩＣタグを用いることによって各搭乗者を識別することとしてもよい。
【０１２３】
具体的には、車両５０への乗車時などに、各搭乗者へＩＣタグを配布することとしたうえで、個人情報１５ａｂの登録にあたり、各「呼称」と各「ＩＣタグＩＤ」とを関連付けることとすればよい。かかる場合、データ量の大きくなりがちな画像データの処理にかかる処理負荷を軽減することができるので、監視対象者のモニタリングの即時性を向上させることが可能となる。
【０１２４】
また、上述した実施例では、監視者の「呼びかけワード」をトリガとする一連の動作中において、監視対象者である搭乗者の特徴の取得や、かかる特徴の取得に基づく位置の検索および特定などを行う場合について説明した。しかし、「呼びかけワード」をトリガとすることなく、あらかじめ各搭乗者の暫定位置を推定しておくこととしてもよい。
【０１２５】
そこで、以下では、かかる変形例について図１１を用いて説明する。図１１は、呼びかけ例とそれにともなう特徴取得部１４ｇ、位置検索部１４ｈおよび表示映像生成部１４ｉの動作の変形例を説明するための図である。
【０１２６】
なお、図１１では、特徴取得部１４ｇおよび位置検索部１４ｈの動作区間を「動作区間Ａ」と、表示映像生成部１４ｉの動作区間を「動作区間Ｂ」と、それぞれ示している。また、図１１を用いた説明では、図７と異なる部分について主に説明することとし、重複する部分については説明を省略するか、あるいは、簡単な説明にとどめることとする。
【０１２７】
図１１に示したように、変形例に係る車室内監視装置においては、「呼びかけワード」をトリガとすることなく、特徴取得部１４ｇや位置検索部１４ｈなどを動作させることができる。
【０１２８】
具体的には、図１１の（０）に示したように、「乗車」時（図中のｔ０参照）の個人情報の登録後から、特徴取得部１４ｇや位置検索部１４ｈなどをバックグラウンド動作させることができる（図１１の「動作区間Ａ」参照）。
【０１２９】
かかるバックグラウンド動作における特徴取得部１４ｇおよび位置検索部１４ｈは、個人情報１５ａに登録された各搭乗者の「特徴」に基づき、たとえば、車両５０の走行開始時などに搭乗者それぞれの位置を暫定位置として推定する。
【０１３０】
そして、図示しないが、搭乗者が席を替わるといったイベントが生じた場合などに、あらためて搭乗者それぞれの位置を暫定位置として推定する。
【０１３１】
そして、図１１の（３）に示したように、「大丈夫？ａさん」のようなモニタリング開始を示す「呼びかけワード」を呼びかけワード識別部１４ｆが識別した場合に、表示映像生成部１４ｉは、監視対象者にあたる搭乗者の直近の暫定位置に基づいて表示映像生成処理を開始する。
【０１３２】
そして、図１１の（６）に示したように、表示映像生成部１４ｉは、「もういいよ」のようなモニタリング終了を示す「呼びかけワード」を呼びかけワード識別部１４ｆが識別するまで、表示映像生成処理を継続する（図１１の「動作区間Ｂ」参照）。
【０１３３】
このように、特徴取得部１４ｇや位置検索部１４ｈなどをバックグラウンド動作させることによって、監視対象者の位置の検索および特定にかかる処理負荷を軽減することができるので、監視対象者をモニタリングする即時性を高めることが可能となる。
【０１３４】
なお、図１１に示した例では、「動作区間Ａ」が、「乗車」時からモニタリング終了を示す「もういいよ」の識別時までである場合を示しているが、図中のｔ６以降の「降車」時あるいは「エンジン停止」時までとしてもよい。
【０１３５】
また、上述した実施例および変形例では、「呼称」に基づいて監視対象者の位置を特定するに至る場合について説明したが、かかる場合に限られるものではない。たとえば、図示しないが、車室内の音声の指向性に基づき、いずれの位置に着座する搭乗者に対する「呼びかけワード」であるかを解析して、かかる搭乗者を監視対象者とするモニタリングを行ってもよい。
【産業上の利用可能性】
【０１３６】
以上のように、本発明に係る車室内監視装置は、能動的、かつ、精度よく、監視対象である搭乗者の様子を監視者に確認させたい場合に有用であり、特に、運転者にとって死角となる部分の多い多人数向け乗用車などの車室内監視装置への適用に適している。
【符号の説明】
【０１３７】
１０    車室内監視装置
１１    カメラ
１１ａ  撮像映像
１２    マイク
１３    表示部
１４    制御部
１４ａ  呼びかけワード入力部
１４ｂ  個人映像入力部
１４ｃ  登録情報生成部
１４ｄ  個人情報登録部
１４ｅ  音声認識部
１４ｆ  呼びかけワード識別部
１４ｇ  特徴取得部
１４ｈ  位置検索部
１４ｉ  表示映像生成部
１５    記憶部
１５ａ  個人情報
１５ａａ、１５ａｂ  個人情報
１５ｂ  トリガ情報
５０    車両
５１    車室
【図１】
0005687889.tif 000002
【図２】
0005687889.tif 000003
【図３】
0005687889.tif 000004
【図４】
0005687889.tif 000005
【図５】
0005687889.tif 000006
【図６】
0005687889.tif 000007
【図７】
0005687889.tif 000008
【図８】
0005687889.tif 000009
【図９】
0005687889.tif 000010
【図１０】
0005687889.tif 000011
【図１１】
0005687889.tif 000012