(57)【要約】【課題】乗員の状態変化を容易に認識することが可能な映像出力装置、映像出力方法、映像出力プログラムを提供する。【解決手段】車両に乗車している乳幼児を撮像した映像データを取得する映像データ取得部１１と、取得した映像データに基づいて、乳幼児の動きを検出する動き検出部１３と、乳幼児の動きに基づいてディスプレイ２２に表示する表示映像を生成する制御を行う映像制御部１５を備える。前記動き検出部１３にて検出される前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させる制御を行う。【選択図】      図１
2019199153.tif 000002
【特許請求の範囲】
【請求項１】
車両の乗員を撮像した乗員映像を取得する映像取得部と、
前記乗員映像に基づいて、前記乗員の動きを検出する動き検出部と、
前記乗員の動きに基づいて表示部に表示する表示映像を生成する制御を行う映像制御部と、を備え、
前記映像制御部は、
前記動き検出部にて検出される前記乗員の動きに応じて、前記表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させること
を特徴とする映像出力装置。
【請求項２】
前記乗員の動きに基づいて前記乗員の状態を判断する状態判断部、を更に備え、
前記映像制御部は、
前記状態判断部にて前記乗員の動き量が基準値以上と判断される場合には、少なくとも前記表示映像の一部を所定の表示とした表示映像を生成し、前記乗員の動き量が基準値未満と判断された場合には、前記乗員映像を所定時間だけ表示する表示映像を生成すること
を特徴とする請求項１に記載の映像出力装置。
【請求項３】
前記乗員が発する音声を取得する音声取得部、を更に備え、
前記状態判断部は、前記乗員の動きに加え、前記乗員が発する音声に基づいて前記乗員の状態を判断すること
を特徴とする請求項２に記載の映像出力装置。
【請求項４】
前記車両の車速を取得する車両情報取得部、を更に備え、
前記映像制御部は、前記車速が高いほど、前記乗員映像を表示する所定時間が短くなるように前記表示映像を生成すること
を特徴とする請求項１〜３のいずれか１項に記載の映像出力装置。
【請求項５】
前記車両の走行状態を取得する車両情報取得部、を更に備え、
前記映像制御部は、前記車両の走行状態が車速が所定値以上である、または、前記車両が所定の度合い以上の運転支援を実行していないことを示す場合、前記乗員映像を間欠的に表示する表示映像を生成すること
を特徴とする請求項１〜４のいずれか１項に記載の映像出力装置。
【請求項６】
前記車両の走行状態を取得する車両情報取得部、を更に備え、
前記映像制御部は、前記車両の走行状態が車速が所定値未満である、または、前記車両が所定の度合い以上の運転支援を実行していることを示す場合、前記乗員映像を連続的に表示し、且つ、前記乗員の動きが検出されなくなった時刻、または、乗員の動きが検出されなくなった時刻からの経過時間の少なくとも一方を前記表示映像に合成すること
を特徴とする請求項１〜５のいずれか１項に記載の映像出力装置。
【請求項７】
前記映像制御部は、前記乗員の動き量に応じて、前記表示映像の少なくとも一部の表示色を変更すること
を特徴とする請求項１〜６のいずれか１項に記載の映像出力装置。
【請求項８】
前記映像制御部は、前記乗員の動き量に応じて、前記表示色の濃度、色度、透過率のうちの少なくとも一つを変更すること
を特徴とする請求項７に記載の映像出力装置。
【請求項９】
前記映像取得部は、前記車両に設けられる複数の座席に存在する乗員の乗員映像を取得し、
前記映像制御部は、前記前記座席の位置を示す画像、及び乗員の状態を示す表示映像を生成すること
を特徴とする請求項１〜８のいずれか１項に記載の映像出力装置。
【請求項１０】
車両の乗員を撮像した乗員映像を取得するステップと、
前記乗員映像に基づいて、前記乗員の動きを検出するステップと、
動き検出部にて検出される前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させるステップと
を備えたことを特徴とする映像出力方法。
【請求項１１】
車両の乗員を撮像した乗員映像を取得するステップと、
前記乗員映像に基づいて、前記乗員の動きを検出するステップと、
動き検出部にて検出される前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させるステップと
をコンピュータに実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に乗車している乳幼児等の乗員の映像を出力する映像出力装置、映像出力方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
例えば、車両の後部座席に設置したチャイルドシートに乳幼児を乗せて車両を運転する場合には、運転者は乳幼児を適宜監視して、寝ているか、起きているか、或いは泣いているか等の状態を認識する。このような乗員の状態を監視するための映像出力装置として、例えば特許文献１に開示されたものが知られている。
特許文献１には、車両の後部座席に乗車している乗員の顔の表情を認識して、泣き顔、ニコニコ顔、おやすみ顔、等のアイコンをディスプレイに表示することにより、後部座席の乗員の状態を監視しやすくすることが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−６７２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では乗員の状態をアイコンで表示するため、車両を運転中の運転者は、乗員の状態変化を瞬時に認識できないという問題があった。また、車両が停止中である場合には乗員の表情を直接確認したいが、アイコンしか表示されないという問題があった。
本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、乗員の状態変化を適切に認識することが可能な映像出力装置、映像出力方法、及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明に係る映像出力装置は、車両の乗員を撮像した乗員映像を取得する映像取得部と、前記乗員映像に基づいて、前記乗員の動きを検出する動き検出部と、前記乗員の動きに基づいて表示部に表示する表示映像を生成する制御を行う映像制御部と、を備え、前記映像制御部は、前記動き検出部にて検出される前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させることを特徴とする。
【０００６】
本発明に係る映像出力方法は、車両の乗員を撮像した乗員映像を取得するステップと、前記乗員映像に基づいて、前記乗員の動きを検出するステップと、前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させるステップとを備えたことを特徴とする。
【０００７】
本発明に係るコンピュータプログラムは、車両の乗員を撮像した乗員映像を取得するステップと、前記乗員映像に基づいて、前記乗員の動きを検出するステップと、前記乗員の動きに応じて、表示映像の少なくとも一部の表示形態および前記乗員映像の表示状態を変化させるステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、乗員の状態変化を容易に認識することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明の第１、第２実施形態に係る映像出力装置の構成を示すブロック図である。
【図２】図２は、乳幼児画像の表示例を示す説明図であり、図２（ａ）は乳幼児の動きが検出されたときの表示例、図２（ｂ）は乳幼児の動きが検出されないときの表示例である。
【図３】図３は、乳幼児の画像をナビゲーション表示用のモニタに表示した例を示す説明図である。
【図４】図４は、乳幼児の画像を電子ミラーに表示した例を示す説明図である。
【図５】図５は、乳幼児の画像をドライブレコーダのモニタに表示した例を示す説明図である。
【図６】図６は、第１実施形態に係る映像出力装置の処理手順を示すフローチャートである。
【図７】図７は、第２実施形態に係る映像出力装置の処理手順を示すフローチャートである。
【図８】図８は、本発明の第３実施形態に係る映像出力装置の構成を示すブロック図である。
【図９】図９は、第３実施形態に係る映像出力装置の処理手順を示すフローチャートである。
【図１０】図１０は、第４実施形態に係り、複数の座席に乗車する乳幼児の状態を示す画像の表示例である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面を参照して説明する。
［第１実施形態の説明］
図１は、第１実施形態、及び後述する第２実施形態に係る映像出力装置、及びその周辺機器の構成を示すブロック図である。図１に示すように映像出力装置１０１は、車両に搭載されて車両の座席に乗車している乳幼児等の乗員を撮像するカメラ２１と、各種の画像を表示するディスプレイ２２（表示部）に接続されている。
【００１１】
カメラ２１は、車両の助手席、後部左座席、後部右座席等の各座席の、少なくとも一つの座席に乗車している乗員を撮像する。また、カメラ２１は、車両内の座席全体を俯瞰する位置に１台だけ設けることや、例えば、乳幼児を乗せる座席のみを撮像可能な位置に設けることができる。更に、車両に設けられるドライブレコーダ用のカメラと兼用することもできる。カメラ２１は、複数のカメラによって構成されてもよく、たとえば超広角レンズを用いて1台のカメラで広範囲を撮像できるものであってもよい。
【００１２】
ディスプレイ２２は、後述する映像制御部１５より出力される映像データ（表示映像）を表示する。ディスプレイ２２は、映像データの表示用に専用に設けることや、ナビゲーション画像表示用のモニタ画面、電子ミラー、或いはドライブレコーダのモニタ画面と兼用することができる。詳細については後述する。
【００１３】
映像出力装置１０１は、映像データ取得部１１（映像取得部）と、乗員認識部１２と、動き検出部１３と、映像制御部１５と、色画像生成部１６と、時計回路１７、及び車両情報取得部１８、を備えている。
【００１４】
映像データ取得部１１は、カメラ２１で撮像された映像データを取得する。特に、乳幼児等の乗員を撮像した映像である乗員映像を取得する。
乗員認識部１２は、映像データ取得部１１で取得された映像から、乳幼児（乗員）を認識する。具体的には、カメラ２１にて撮像された映像データには、乳幼児を乗せるためのチャイルドシートや背景の映像が含まれているので、乳幼児の映像、特に、顔及び胴体の映像を認識する。
【００１５】
動き検出部１３は、乗員認識部１２で認識された乳幼児の映像に基づき、乳幼児に動きが発生しているか否かを検出する。乳幼児の「動き」には、乳幼児が目や口などの顔の一部を動かす動作、手足を動かす動作が含まれる。乳幼児の動きを検出する際には、動き量の基準値を設定し、乳幼児の動き量が基準値以上の場合に動きが発生しているものと判断する。
【００１６】
映像制御部１５は、動き検出部１３で、乳幼児に動きが発生しているか否かに応じて、ディスプレイ２２に表示する映像（表示映像）を生成する処理を行う。詳細については後述する。
【００１７】
色画像生成部１６は、映像制御部１５で生成する表示映像の色画像を生成して、映像制御部１５に出力する。
【００１８】
車両情報取得部１８は、車両に搭載されるＣＡＮ（Controller Area Network）やセンサ等に接続されており、車両の車速データや加速度データ、アクセル開度などの走行情報を取得する。車両が自動運転もしくは運転支援装置を備える場合には、車両が現在どのような運転支援機能を実行して走行中であるかの情報を取得する形態があってもよい。運転支援を行う機能としては、ＬＫＳ(Lane Keeping System)やＡＣＣ(Adaptive Cruise Control)などが知られている。なお、車両情報取得部１８は、後述する第２実施形態で用いる構成要素であり、第１実施形態では必須の構成要素ではない。
【００１９】
時計回路１７は、経過時間を計時する。具体的には、後述する間欠表示の時間（２秒、１０秒等）を計時する。また、時計回路１７を設けずに、ＣＡＮ等から時刻データを取得して、経過時間を計時してもよい。
【００２０】
次に、映像制御部１５の詳細な処理について、図２〜図５に示す表示例を参照して説明する。図２（ａ）は乳幼児に動きが発生しているときの表示例を示す説明図、図２（ｂ）は乳幼児に動きが発生していないときの表示例を示す説明図である。
【００２１】
映像制御部１５は、動き検出部１３にて乳幼児に動きが発生していると判断された場合、即ち、上述した動き量が基準値以上であると判断された場合には、図３（ａ）に示すように、表示領域３０の少なくとも一部、たとえば周囲枠３１を赤色（所定の表示色）とした表示映像を生成する。即ち、色画像生成部１６にて生成される赤色の枠画像を有する表示映像を生成する。この際、周囲枠３１内の領域には何も表示しない。また表示領域３０の全体を所定の表示色とした表示映像としてもよい。表示領域３０の上部、下部などの一部を所定の表示色とした表示映像であってもよい。
【００２２】
また、乳幼児に動きが発生していないと判断された場合には、図３（ｂ）に示すように、周囲枠３１を緑色（他の表示色）に変更し、更に、周囲枠３１内の領域に乳幼児３２の映像（乗員映像）が表示された表示映像を生成する。周囲枠３１の色は、乳幼児に動きが発生している状態から、動き量が減少するにつれて赤色から緑色に徐々に変化させてもよい。即ち、周囲枠３１に表示する色度を徐々に変化させてもよい。また、色度以外にも、表示色の濃度を変化させることや、透過率を変化させることもできる。透過率を変化させることにより、赤色を徐々に薄くして無色に変化させる表示態様とすることができる。
【００２３】
また、乳幼児に動きが発生していない場合には、周囲枠３１の色を赤色から緑色に変化させることに加えて、周囲枠３１の内側の領域に、乳幼児３２の映像を間欠的に表示する。例えば２秒間表示、１０秒間非表示、２秒間表示、・・のように、表示時間と非表示時間が間欠的に繰り返される表示映像を生成する。即ち、乳幼児の動きが検出されない場合には、乳幼児３２の映像を所定時間だけ表示する表示映像を生成する。生成した表示映像をディスプレイ２２に出力する。なお、乳幼児３２の映像を間欠的に表示することに代えて、乳幼児の動きが発生していないことが検出された時点から、所定時間（例えば、５秒間）だけ乳幼児３２の映像を表示し、その後、緑色とされた周囲枠３１のみを表示するようにしてもよい。即ち、乗員映像の表示状態を変化させればよい。
【００２４】
従って、乳幼児に動きが発生しており、乳幼児が覚醒中であると判断される場合には、表示領域３０の周囲枠３１が赤色で点灯する表示映像が生成されてディスプレイ２２に出力される。運転中の運転者は、表示領域３０を長時間注視することなく、乳幼児が覚醒していることを自然な目の動きで認識することができる。また、乳幼児の映像は表示されないので、運転者が長時間に亘って表示領域３０を見続けることを防止できる。
【００２５】
一方、乳幼児に動きが発生しておらず、就寝中であると判断される場合には、周囲枠３１の色を緑色に変更し、更に周囲枠３１の内部の領域に乳幼児３２の映像を表示する表示映像が生成されてディスプレイ２２に出力される。運転者は、乳幼児が就寝している状態を映像で確認することができる。更に、乳幼児３２の映像は間欠的に表示されるので、運転者が長時間に亘って表示領域３０を見続けることを防止できる。
【００２６】
このように、映像制御部１５は、動き検出部１３にて乳幼児（乗員）の動きが検出された場合には、ディスプレイ２２の少なくとも一部、たとえば周囲枠３１を赤色（所定の表示色）で表示する表示映像を生成し、乳幼児の動きが検出されない場合には、乳幼児の映像を所定時間だけ表示する表示映像（例えば、間欠的に表示する表示映像）を生成してディスプレイ２２に表示する制御を行う。
【００２７】
次に、表示領域３０の具体的な表示例について説明する。図３は、表示映像の表示領域３０を、ナビゲーション画面４１の右下に表示する例を示し、図４は、電子ミラー４２の右側に表示する例を示し、図５は、ドライブレコーダ４３の表示画面に表示する例を示している。このように、表示領域３０を既存のモニタ設備に設定することにより、乳幼児監視用の特別なモニタを設ける必要がない。なお、映像制御部１５に、無線通信の機能を持たせるあるいは無線通信モジュールを接続し、無線通信を介して携帯端末に表示映像を送信して表示するようにしてもよい。つまり、ディスプレイ２２は、携帯端末の表示画面であってもよい。
【００２８】
次に、上述した第１実施形態に係る映像出力装置の処理手順を、図６に示すフローチャートを参照して説明する。
初めに、ステップＳ１１において、映像データ取得部１１は、カメラ２１で撮像された映像データ（乗員映像）を取得する。
【００２９】
ステップＳ１２において、乗員認識部１２は、映像データ取得部１１で取得した映像データに含まれる乳幼児（乗員）を認識する。
ステップＳ１３において、動き検出部１３は、乳幼児の映像から該乳幼児に動きが発生しているか否かを検出する。
【００３０】
ステップＳ１４において、動き検出部１３は、ステップＳ１３で検出された乳幼児の動き量が基準値以上であるか否かを判断する。前述したように、乳幼児の動き量が基準値以上である場合に、乳幼児に動きが発生したものと判断する。
動き量が基準値以上である場合には（ステップＳ１４でＹＥＳ）、ステップＳ１５において、色画像生成部１６は、赤色の枠画像を生成する。
【００３１】
ステップＳ１６において、映像制御部１５は、表示領域３０の周囲枠３１に赤色の枠画像を合成する。その結果、図３（ａ）に示したように、表示領域３０の周囲枠３１に赤色の枠画像が合成される。更に、ステップＳ１１の処理で取得した映像データを除去する。従って、周囲枠３１が赤色とされ、その内側には何も存在しない表示映像が生成される。
ステップＳ１７において、映像制御部１５は、ステップＳ１６の処理で生成した表示映像のデータをディスプレイ２２に出力する。
【００３２】
一方、乳幼児の動き量が基準値未満である場合には（ステップＳ１４でＮＯ）、ステップＳ１８において、色画像生成部１６は、緑色の枠画像を生成する。
【００３３】
ステップＳ１９において、映像制御部１５は、映像データに緑色の枠画像を合成する。その結果、図３（ｂ）に示したように、表示領域３０の周囲枠３１に緑色の枠画像が合成され、更に、周囲枠３１の内側に乳幼児の映像が存在する表示映像が生成される。この際、乳幼児の動き量の変化に応じて、周囲枠３１の色を徐々に変化させる。例えば、乳幼児の動き量がゆっくりと少なくなって基準値未満となった場合には、周囲枠３１の色を赤色から徐々に緑色に変化させる。こうすることにより、乳幼児が徐々に就寝に移行していることを周囲枠３１の色の変化で認識することができる。
ステップＳ２０において、映像制御部１５は、ステップＳ１９の処理で生成した表示映像に含まれる映像データが間欠的に表示、非表示を繰り返す画像として、ディスプレイ２２に出力する。
【００３４】
その結果、乳幼児の動きが基準値以上である場合には、図３（ａ）に示すように、周囲枠３１が赤色で表示される表示映像がディスプレイ２２に表示される。また、乳幼児の動きが基準値未満である場合には、図３（ｂ）に示すように、周囲枠３１が緑色で表示され、且つ周囲枠３１の内部に乳幼児の映像が、間欠的に表示される表示映像がディスプレイ２２に表示されることになる。
【００３５】
このようにして、第１実施形態に係る映像出力装置１０１では、乳幼児の動きを検出し、動き量が基準値以上である場合には、乳幼児は覚醒中であると判断して、表示領域３０の周囲に設けた周囲枠３１を赤色（所定の表示色）で表示する。この際、周囲枠３１の内側の領域には乳幼児の映像を表示しない。従って、運転者は、周囲枠３１の赤色を視認することにより、乳幼児が覚醒中であることを容易に認識することができる。また、運転者がディスプレイ２２を長時間見続けることを回避できるので、ディスプレイ２２を見続けることによる脇見運転を防止できる。
【００３６】
一方、乳幼児の動き量が基準値未満である場合には、乳幼児は就寝しているものと判断して、周囲枠３１を緑色で表示し、更に、周囲枠の内側に乳幼児の映像を間欠的に表示する。即ち、乳幼児の映像を所定時間だけ表示する。運転者は、周囲枠３１の表示色が緑色であることにより、乳幼児が就寝していることを直感的に認識することができる。また、乳幼児の映像を見ることにより、安全な姿勢で寝ているか否かを確認することができる。
また、乳幼児の映像は間欠的に表示されるので、運転者がディスプレイ２２に長時間見入ってしまうことを回避することができる。
【００３７】
［第２実施形態の説明］
次に、本発明の第２実施形態について説明する。装置構成は、第１実施形態で示した図１と同様であるので、構成説明を省略する。第２実施形態では、図１に示した車両情報取得部１８にて、車速データやアクセル開度、運転支援レベルなどの車両の走行情報を取得し、車両の走行状態に応じてディスプレイ２２に表示する画像の表示態様を変更する点で、前述した第１実施形態と相違する。
【００３８】
具体的には、車両が停車しているときには、乳幼児の映像を連続的に表示し、車両が走行している場合には、乳幼児の映像を間欠表示する際の表示時間を、車速に応じて変更する。以下、第２実施形態に係る映像出力装置の処理手順を、図７に示すフローチャートを参照して説明する。
【００３９】
図７に示すステップＳ３１〜Ｓ３７の処理は、図６に示したステップＳ１１〜Ｓ１７の処理と同様であるので、説明を省略する。
図７に示すステップＳ３８において、図１に示す車両情報取得部１８は、車両に搭載されるＣＡＮ、或いはセンサより、車速データを取得する。取得した車速データを映像制御部１５に出力する。
【００４０】
ステップＳ３９において、映像制御部１５は、車速に基づいて車両が走行中であるか、或いは停止中であるかを判断する。「停止中」は、車速がゼロの場合である。或いは、閾値速度（例えば、時速５ｋｍ）を設定し、車速が閾値速度未満（所定値未満）の場合に停止中と判断しても良い。
【００４１】
ステップＳ３９にて走行中であると判断された場合には（ステップＳ３９でＹＥＳ）、ステップＳ４０において、色画像生成部１６は、図３（ｂ）に示すように、緑色の枠画像を生成して映像制御部１５に出力する。
【００４２】
ステップＳ４１において、映像制御部１５は、映像データに緑色の枠画像を合成する。従って、周囲枠３１が緑色とされ、その内側に乳幼児の映像が存在する表示映像が生成される。
【００４３】
ステップＳ４２において、映像制御部１５は、生成された表示映像の乳幼児の映像が間欠的に表示されるように、ディスプレイ２２に出力する。従って、車両が走行している場合には、乳幼児の映像の周囲に緑色の枠画像が合成された画像が、間欠的にディスプレイ２２に表示される。ここで、映像データを間欠的に表示する際の表示時間を、車速に応じて変化させる。例えば、車速が４０ｋｍ／ｈ以下の場合には、映像データを、２秒間表示し、１０秒間非表示とする。車速が４０ｋｍ／ｈを超えた場合には、車速の増加に応じて、徐々に表示時間を短くする。例えば、車速が６０ｋｍ／ｈとなった場合には、表示時間を１秒間とし、非表示時間を１１秒とする。このように車速が高い場合ほど乗員がディスプレイ２２を注視する時間を短くすることで、車両の安全な走行に配慮しながら、乳幼児の映像を表示することができる。
【００４４】
一方、車両が走行中でない場合には（ステップＳ３９でＮＯ）、ステップＳ４３において、映像制御部１５は、時計回路１７より出力される時刻データに基づいて乳幼児が就寝した時刻、継続した就寝時間を演算し、表示映像に合成する。従って、乳幼児の映像に、乳幼児が就寝を開始した時刻、及び継続されている就寝時間のデータを合成した表示映像が生成される。そして、この表示映像をディスプレイ２２に出力する。従って、車両が停止している場合には、乳幼児の映像及び就寝時間のデータがディスプレイ２２に表示されることになる。この際、乳幼児の映像をズーム表示することにより、より一層乳幼児の状態を認識しやすくすることができる。
【００４５】
このようにして、第２実施形態に係る映像出力装置では、前述した第１実施形態と同様に、乳幼児の動き量が基準値以上である場合には、周囲枠３１を赤色で表示し、且つ、乳幼児の映像を表示しない。従って、運転者は、周囲枠３１の赤色を視認することにより、乳幼児が覚醒中であることを容易に認識することができる。また、運転者がディスプレイ２２を長時間見続けることを回避できるので、ディスプレイ２２を見続けることによる脇見運転を防止できる。
【００４６】
一方、乳幼児の動き量が基準値未満である場合には、更に、車両が走行中であるか否かを判断し、走行中である場合には、前述した第１実施形態と同様に、周囲枠３１を緑色で表示し、更に、周囲枠の内側に乳幼児の映像を所定時間だけ（例えば、間欠的に）表示する。従って、運転者は、周囲枠３１の表示色が緑色であることにより、乳幼児が就寝していることを直感的に認識することができる。また、乳幼児の映像をたとえば２秒間だけでも見ることにより、安全な姿勢で寝ているか否かを確認することができる。
【００４７】
車両が運転支援または自動運転を行う機能を有する場合、車両が、ＬＫＳやＡＣＣなどの運転支援処理を実行中であるか否かの走行情報を取得してもよい。運転支援状況が予め定めた所定の処理を実行中ではない場合、換言すれば、車両の運転者が安全走行に留意する必要が相対的に高い場合（車両が所定度合い以上の運転支援を実行していないことを示す場合）、このように間欠的な映像表示とすることで、運転者が映像を長時間注視することを防止することができる。
【００４８】
更に、乳幼児の映像は間欠的に表示されるので、運転者がディスプレイ２２に長時間見入ってしまうことを回避することができる。また、車速が高いほど、間欠表示する際の表示時間を短くする（所定時間を短くする）ので、脇見運転を防止することができる。
【００４９】
また、車両が停車中である場合には、乳幼児の映像、及び就寝した時刻、就寝時間のデータを表示するので、乳幼児の様子をより詳しく認識させることができる。例えば、車両が赤信号で停車している場合には、乳幼児の様子を詳細に確認することが可能となる。
【００５０】
運転支援状況が予め定めた所定の処理を実行中である場合、換言すれば、車両の運転者が安全走行に留意する必要が相対的に低い場合（車両が所定の度合い以上の運転支援を実行していることを示す場合）、乳幼児の様子を詳細に確認できる表示としてもよい。たとえばＳＡＥインターナショナルが定める「SAE J3016」が規定するレベル３以上の自動運転を実施中である場合には、比較的余裕をもって運転を行うことができるため、運転者が乳幼児の様子を詳細に確認することができる。また、運転支援処理を実行中の場合には、乳幼児の映像を表示する所定時間を長くする、または、間欠表示のインターバル時間を長くするなどの表示形態があってもよい。
【００５１】
［第３実施形態の説明］
次に、本発明の第３実施形態について説明する。図８は、第３実施形態に係る映像出力装置１０２の構成を示すブロック図である。図８に示すように第３実施形態に係る映像出力装置１０２は、前述した図１に示した映像出力装置１０１と対比して、状態判断部１４、及び音声取得部１９を備えている点、及び音声取得部１９がマイクロフォン２３に接続されている点で相違する。それ以外の構成は、図１と同様であるので、同一符号を付して構成説明を省略する。なお、マイクロフォン２３は、携帯端末のマイクロフォンを利用し、マイクロフォン２３と音声取得部１９の間、あるいは、音声取得部１９と状態判断部１４との間を無線通信で接続してもよい。
【００５２】
図８に示すマイクロフォン２３は、乳幼児の発する音声を検出して、音声取得部１９に出力する。
状態判断部１４は、動き検出部１３で検出される乳幼児の動きに基づいて、乳幼児が就寝しているもしくは就寝に近い状態であるか、或いは覚醒しているかを判断する。顔の向きの変化や手足の動きが所定値以上の大きさであること、所定時間以上に動きが継続していること、断続的な動きが所定回数以上に発生したことなど、就寝の判定基準は公知の技術を用いてよい。また、被観察者が乳幼児でない場合には、黙想や瞑想などを行っている状態や考えごとにふけっている状態を、就寝もしくは就寝に近い状態と判定してもよい、
【００５３】
就寝から覚醒への移行の判断は、例えば、乳幼児の動き閾値時間（例えば、２秒間）を設定し、閾値時間以上連続して乳幼児の動きが検出された場合に、乳幼児は覚醒したものと判断する。即ち、２秒未満の動きは、乳幼児が就寝しているときの目の振動（Rapid Eye Movement）や欠伸、寝返り等の、就寝中に行われる無造作な動きの可能性があるため、覚醒と判断しない。
【００５４】
なお、欠伸は、初めに緩やかな長い呼吸を行うために、大きく口を開け、次にしばらく開けた状態が続き、そして閉める。このような動作を示す「欠伸モデル」を用意し、乳幼児の動きと対比することにより、欠伸を判断し、欠伸と判断された場合には、覚醒していないものと判断することもできる。
【００５５】
更に、動きが検出されない場合でも、マイクロフォン２３で乳幼児が発する音声が検出された場合には、乳幼児は起きているものと判断する。また、状態判断部１４は、「あー、うー」や「ままー」等の、乳幼児が就寝中に無造作に発する音声のサンプルを記憶しておき、サンプルと一致する音声を検出した場合には、起きているか否かの判断に使用しない。即ち、上記のサンプルは、乳幼児が就寝中においても発することがあるので、このサンプルと一致する音声を検出した場合には、覚醒を判断するためのデータとして採用しない。
また、覚醒から就寝への移行の判断は、乳幼児の動きや音声が検出されなくなってから、例えば１０秒間が経過した場合に、乳幼児は就寝したものと判断する。
【００５６】
次に、図９に示すフローチャートを参照して、第３実施形態に係る映像出力装置１０２の処理手順について説明する。
初めに、ステップＳ５１において、映像データ取得部１１は、カメラ２１で撮像された映像データ（乗員映像）を取得する。
【００５７】
ステップＳ５２において、乗員認識部１２は、映像データ取得部１１で取得した映像に含まれる乳幼児（乗員）を認識する。
ステップＳ５３において、動き検出部１３は、乳幼児の映像から該乳幼児に動きが発生しているか否かを検出する。更に、状態判断部１４は、マイクロフォン２３で検出される音声データを取得する。
【００５８】
ステップＳ５４において、状態判断部１４は、乳幼児の動き及び音声を解析し、ステップＳ５５において、乳幼児が就寝したか否かを判断する。
就寝していないと判断された場合には（ステップＳ５５でＮＯ）、ステップＳ５６〜Ｓ５８の処理を行う。ステップＳ５６〜Ｓ５８の処理は、図６に示したステップＳ１５〜Ｓ１７の処理と同様である。
【００５９】
一方、就寝していると判断された場合には（ステップＳ５５でＹＥＳ）、ステップＳ５９〜Ｓ６１の処理を行う。ステップＳ５９〜Ｓ６１の処理は、図６に示したステップＳ１８〜Ｓ２０の処理と同様である。
【００６０】
その結果、乳幼児が就寝していない場合には、図３（ａ）に示すように、周囲枠３１が赤色で表示される映像がディスプレイ２２に表示される。また、乳幼児が就寝している場合には、図３（ｂ）に示すように、周囲枠３１が緑色で表示され、且つ周囲枠３１の内部に乳幼児の映像が、間欠的にディスプレイ２２に表示されることになる。
【００６１】
このようにして、第３実施形態に係る映像出力装置１０２では、乳幼児が就寝しているか否かを判断し、就寝していない場合には、表示領域３０の周囲に設けた周囲枠３１を赤色（所定の表示色）で表示する。この際、周囲枠３１の内側の領域には乳幼児の映像を表示しない。従って、運転者は、周囲枠３１の赤色を視認することにより、乳幼児が起きていることを容易に認識することができる。また、運転者がディスプレイ２２を長時間見続けることを回避できるので、ディスプレイ２２を見続けることによる脇見運転を防止できる。
【００６２】
一方、乳幼児が就寝している場合には、周囲枠３１を緑色で表示し、更に、周囲枠の内側に乳幼児の映像を間欠的に表示する。運転者は、周囲枠３１の表示色が緑色であることにより、乳幼児が就寝していることを直感的に認識することができる。また、乳幼児の映像を見ることにより、安全な姿勢で寝ているか否かを確認することができる。
また、乳幼児の映像は間欠的に表示されるので、運転者がディスプレイ２２に長時間見入ってしまうことを回避することができる。
【００６３】
なお、上述した第１〜第３実施形態では、表示領域３０（図２参照）のうち、周囲枠３１の色を赤色、或いは緑色として、乳幼児の状態を表示する例について示したが、本発明はこれに限らず、表示領域３０のうちの少なくとも一部の色を変更する構成とすることもできる。
【００６４】
［第４実施形態の説明］
次に、本発明の第４実施形態について説明する。前述した第１〜第３実施形態では、車両の一人の乳幼児（乗員）の状態を示す表示について説明した。第４実施形態では、複数の座席に存在する乳幼児の状態を検出して、各座席毎に表示する。
【００６５】
装置構成は、前述した図１と同様であるので説明を省略する。但し、映像データ取得部１１は、カメラ２１で撮像される映像から、車両の複数の座席の乳幼児の映像を取得する点で相違する。また、乳幼児の映像が複数であることから、動き検出部１３は、複数の乳幼児の動きを検出し、映像制御部１５は各乳幼児毎に、ディスプレイ２２に表示する表示映像を生成する。
【００６６】
図１０は、ディスプレイ２２に表示する映像の表示例を示す説明図である。図１０は、車両６０の座席が、前列２席、中列２席、後列２席の合計６つの座席６１ａ〜６１ｆが存在する例を示している。図１０に示すように、運転席を除く５つの座席６１ｂ〜６１ｆにそれぞれ表示領域が設定されており、各座席のうち乳幼児が乗っている座席について、前述した第１実施形態と同様に、表示する映像が変更される。即ち、乳幼児が覚醒している場合には、該乳幼児が乗っている座席に対応する位置の周囲枠を赤色で表示する。また、乳幼児が就寝している場合には、この周囲枠を緑色に変更し、更に、間欠的に乳幼児の画像を表示する。
【００６７】
このようにして、第４実施形態に係る映像出力装置では、車両の複数の座席に乳幼児が乗っている場合には、各座席毎に乳幼児の状態をディスプレイ２２に表示することができるので、複数の乳幼児の状態を容易に認識することが可能となる。
【００６８】
なお、上述した第１〜第４実施形態では、映像出力装置を車両に搭載する例について示したが、映像出力装置を車両以外の基地局などの遠隔地に設け、車両との間での通信により処理を実行する構成とすることも可能である。また、乗員として乳幼児を例に挙げて説明したが、本発明はこれに限定されない。高齢者や病気の人の状態を適切にディスプレイに表示する形態であってもよい。
【００６９】
また、上述した映像出力装置１０１、１０２は、例えば、ＣＰＵ、メモリ、及び入出力部を備える一体型のコンピュータとして構成することができる。また、本実施形態で示す各機能は、１又は複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置を含む。処理装置は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。さらに、映像出力装置１０１、１０２は、携帯端末に置き換えることが可能であり、各機能をアプリケーションで実現してもよい。
【００７０】
また、動き検出部にて検出される乗員の動きが検出された場合に表示映像の少なくとも一部の表示色を変化させることに代えて、表示形態を変化させてもよい。たとえばシンボルマークを映像に合成してもよく、映像の周囲枠の幅を広くするなど、運転者にとって判りやすい表示形態で表示させることができる。また動きが検出された場合に乳幼児の映像を表示させる形態であってもよい。この場合は運転者が乳幼児の映像を長時間に渡って注視しないよう、間欠的な映像表示とすることが好ましい。
【００７１】
以上、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【符号の説明】
【００７２】
１１  映像データ取得部（映像取得部）
１２  乗員認識部
１３  動き検出部
１４  状態判断部
１５  映像制御部
１６  色画像生成部
１７  時計回路
１８  車両情報取得部
１９  音声取得部
２１  カメラ
２２  ディスプレイ
２３  マイクロフォン
３０  表示領域
３１  周囲枠
３２  乳幼児
４１  ナビゲーション画面
４２  電子ミラー
４３  ドライブレコーダ
６０  車両
６１ａ〜６１ｆ  座席
１０１、１０２  映像出力装置
【図１】
2019199153.tif 000003
【図２】
2019199153.tif 000004
【図３】
2019199153.tif 000005
【図４】
2019199153.tif 000006
【図５】
2019199153.tif 000007
【図６】
2019199153.tif 000008
【図７】
2019199153.tif 000009
【図８】
2019199153.tif 000010
【図９】
2019199153.tif 000011
【図１０】
2019199153.tif 000012