(57)【要約】      （修正有）【課題】運転中に運転者が携帯電話を使用することで注意散漫になり、交通事故の原因となることを防止する。【解決手段】運転者の画像系列が、画像キャプチャユニットによって連続的にキャプチャされＳ２０５、顔物体の上の耳側面場所領域が、画像系列の各画像において検出されるＳ２１０。目標物体が、画像系列の各画像において検出されＳ２１５、移動軌跡が計算されるＳ２２０。移動軌跡が耳側面場所領域の方へ移動することを検出した時は注意信号が送られるＳ２２５。【選択図】図２
2015001979.tif 000002
【特許請求の範囲】
【請求項１】
車両用の電子装置で利用される車両運転用の警告方法であって、
画像キャプチャユニットによって運転者の画像系列を連続的にキャプチャすることと、
前記画像系列の各画像において顔物体の上の耳側面場所領域を検出することと、
前記画像系列の各画像において目標物体を検出することと、
前記画像系列に従って前記目標物体の移動軌跡を計算することと、
前記移動軌跡が前記耳側面場所領域の方へ移動するとき注意信号を送ることと、
を備える方法。
【請求項２】
前記画像系列の各画像において前記顔物体の上の前記耳側面場所領域を検出するステップは、
顔認識アルゴリズムを用いて前記顔物体を取得することと、
前記顔物体の上の鼻物体を探索することと、
前記鼻物体の場所に基づき水平方向に前記耳側面場所領域を探索することと、
を備える、請求項１に記載の警告方法。
【請求項３】
前記目標物体の前記移動軌跡を計算するステップは、
前記目標物体の垂直投影量および水平投影量を計算して前記目標物体の物体領域を取得することと、
前記物体領域内の参照点を選択することと、
前記画像系列の各画像において前記参照点の場所を用いて前記移動軌跡を取得することと、
を備える、請求項１に記載の警告方法。
【請求項４】
前記移動軌跡が前記耳側面場所領域の方へ移動するとき前記注意信号を送るステップは、
前記目標物体が前記耳側面場所領域の中に留まる滞在時間が所定の時間を超過するかどうかを決定することと、
前記滞在時間が前記所定の時間を超過するとき前記注意信号を送ることと、
をさらに備える、請求項１に記載の警告方法。
【請求項５】
前記目標物体を検出するステップは、
前記耳側面場所領域に従って関心領域（ＲＯＩ）を取得することと、
前記画像系列内の現在画像および参照画像の各々において、前記ＲＯＩの上で画像減算アルゴリズムを遂行し、目標領域画像を取得することと、
前記参照画像内の前記ＲＯＩを用いて、前記目標領域画像内のノイズをフィルタアウトし、前記目標物体を取得することと、
を備える、請求項１に記載の警告方法。
【請求項６】
前記参照画像内の前記ＲＯＩを用いて、前記目標領域画像内のノイズをフィルタアウトし、前記目標物体を取得するステップは、
前記参照画像内の前記ＲＯＩの上でエッジ検出アルゴリズムおよび拡張アルゴリズムを遂行し、フィルタされた領域画像を取得することと、
前記フィルタされた領域画像および前記目標領域画像の上で前記画像減算アルゴリズムを遂行し、前記目標物体を取得することと、
を備える、請求項５に記載の警告方法。
【請求項７】
車両用の電子装置であって、
運転者の画像系列を連続的にキャプチャする画像キャプチャユニットと、
前記画像系列を記憶する記憶ユニットと、
前記記憶ユニットへ結合されて前記画像系列を取得し、画像処理モジュールを遂行するように構成された処理ユニットと、を備え、
前記画像処理モジュールは、前記画像系列の各画像において顔物体の上の耳側面場所領域を検出し、前記画像系列の各画像において目標物体を検出し、前記目標物体の移動軌跡を計算し、前記移動軌跡に基づいて、前記目標物体が前記耳側面場所領域の方へ移動するかどうかを決定し、前記移動軌跡が前記耳側面場所領域の方へ移動するとき注意信号を送ることを特徴とする車両用の電子装置。
【請求項８】
前記画像処理モジュールは、
前記画像系列の各画像において前記顔物体の上の前記耳側面場所領域を検出する耳検出モジュールと、
前記画像系列の各画像において前記目標物体を検出する目標検出モジュールと、
前記目標物体の前記移動軌跡を計算する軌跡計算モジュールと、
前記移動軌跡に基づいて、前記目標物体が前記耳側面場所領域の方へ移動するかどうかを決定する決定モジュールと、
前記移動軌跡が前記耳側面場所領域の方へ移動するとき注意信号を送る注意モジュールと、
を備える、請求項７に記載の車両用の電子装置。
【請求項９】
前記画像処理モジュールは、
顔認識アルゴリズムを用いて前記顔物体を取得し、前記顔物体の上の前記鼻物体を探索する顔同定モジュールをさらに備え、
前記耳検出モジュールは、前記鼻物体の場所に基づき水平方向に前記耳側面場所領域を探索する、
請求項８に記載の車両用の電子装置。
【請求項１０】
前記軌跡計算モジュールは、前記目標物体の垂直投影量および水平投影量を計算して前記目標物体の物体領域を取得し、前記物体領域内の参照点を選択し、前記画像系列の各画像において前記参照点の場所を用いて前記移動軌跡を取得する、請求項８に記載の車両用の電子装置。
【請求項１１】
前記目標検出モジュールは、前記耳側面場所領域に従ってＲＯＩを取得し、前記画像系列内の現在画像および参照画像の各々において前記ＲＯＩの上で画像減算アルゴリズムを遂行して目標領域画像を取得し、前記参照画像内の前記ＲＯＩを用いて、前記目標領域画像内のノイズをフィルタアウトして前記目標物体を取得する、請求項８に記載の車両用の電子装置。
【請求項１２】
前記目標検出モジュールは、前記参照画像内の前記ＲＯＩの上でエッジ検出アルゴリズムおよび拡張アルゴリズムを遂行して、フィルタされた領域画像を取得し、前記フィルタされた領域画像および前記目標領域画像の上で前記画像減算アルゴリズムを遂行して前記目標物体を取得する、請求項１１に記載の車両用の電子装置。
【請求項１３】
前記決定モジュールは、前記目標物体が前記耳側面場所領域の中に留まる滞在時間が所定の時間を超過するかどうかを決定し、前記滞在時間が前記所定の時間を超過するとき前記注意信号を送る、請求項８に記載の車両用の電子装置。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本願は、２０１３年６月１４日に出願された台湾特許出願第１０２１２１１４７号の優先権の利益を主張する。上記特許出願の全体は、本明細書で参照することによって、ここに組み入れられて本願の一部分とされる。
【技術分野】
【０００２】
本発明は、警告メカニズムに関し、さらに具体的には、画像認識技術に基づく車両運転用の警告方法および車両用の電子装置に関する。
【背景技術】
【０００３】
運送の進歩は都市の成長を促進した。しかしながら、運送手段を操作しているときの粗悪な運転者行動から生じる交通事故は、社会の安全を危険にさらす主な原因になっているように見える。たとえば、携帯電話が現代生活で安価な電子製品となってきたので、ますます多くの車の運転者が運転中に携帯電話を使用している。一度、運転中に運転者が携帯電話を手にすると、運転者は容易に注意散漫になり、交通事故の原因の可能性を増加させる。それゆえに、どのようにして運転者の行動をタイムリーおよび効率的に監視するか、および、どのようにして粗悪な行動の危険性を安全システムにより運転者に警告するかは、この分野で対処されねばならない問題である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
どのようにして運転者の行動をタイムリーおよび効率的に監視するか、および、どのようにして粗悪な行動の危険性を安全システムにより運転者に警告するかは、この分野で対処されねばならない問題である。
【課題を解決するための手段】
【０００５】
本発明は、画像認識技術を用いて、運転者がモバイル機器を使用しているかどうかを決定するための、車両運転用の警告方法および車両用の電子装置を提供する。
【０００６】
本発明の車両運転用の警告方法は、車両用の電子装置の中で利用される。本方法は、次のステップを含む。運転者の画像系列が、画像キャプチャユニットによって連続的にキャプチャされる。顔物体の上の耳側面場所領域が、画像系列の各画像において検出される。目標物体が、画像系列の各画像において検出される。目標物体の移動軌跡が、画像系列に従って計算される。移動軌跡が耳側面場所領域の方へ移動するとき、注意信号が送られる。
【０００７】
本発明の実施形態において、画像系列の各画像における顔物体の上の耳側面場所領域を検出するステップは、顔認識アルゴリズムを用いて顔物体を取得するステップ、顔物体の上の鼻物体を探索するステップ、および鼻物体の場所に基づき水平方向に耳側面場所領域を探索するステップを含む。
【０００８】
本発明の実施形態において、画像系列に従って目標物体の移動軌跡を計算するステップは、目標物体の垂直投影量および水平投影量を計算して目標物体の物体領域を取得するステップ、物体領域の中の参照点を選択するステップ、および画像系列の各画像において参照点の場所を用いて移動軌跡を取得するステップを含む。
【０００９】
本発明の実施形態において、移動軌跡が耳側面場所領域の方へ移動するとき、目標物体が耳側面場所領域に留まる滞在時間が所定の時間を超過するかどうかも決定される。さらに、滞在時間が所定の時間を超過するとき注意信号が送られる。
【００１０】
本発明の実施形態において、目標物体を検出するステップは、耳側面場所領域に従って関心領域（ＲＯＩ）を取得するステップ、画像系列の中の現在画像および参照画像の各々においてＲＯＩの上で画像減算アルゴリズムを遂行し、目標領域画像を取得するステップ、および参照画像内のＲＯＩを用いて目標領域画像のノイズをフィルタアウトして、目標物体を取得するステップを含む。
【００１１】
本発明の実施形態において、参照画像内のＲＯＩを用いて目標領域画像のノイズをフィルタアウトし、目標物体を取得するステップは、参照画像内のＲＯＩの上でエッジ検出アルゴリズムおよび拡張アルゴリズムを遂行し、フィルタされた領域画像を取得するステップ、およびフィルタされた領域画像および目標領域画像の上で画像減算アルゴリズムを遂行して目標物体を取得するステップを含む。
【００１２】
本発明の車両用の電子装置は、運転者の画像系列を連続的にキャプチャする画像キャプチャユニット、画像系列を記憶する記憶ユニット、および記憶ユニットへ結合されて画像系列を取得し、さらに画像処理モジュールを遂行するように構成された処理ユニットを含む。画像処理モジュールは、画像系列の各画像において顔物体の上の耳側面場所領域を検出し、画像系列の各画像において目標物体を検出し、目標物体の移動軌跡を計算し、移動軌跡に基づき、目標物体が耳側面場所領域の方へ移動するかどうかを決定し、移動軌跡が耳側面場所領域の方へ移動するとき注意信号を送る。
【００１３】
本発明の実施形態において、画像処理モジュールは、画像系列の各画像において顔物体の上の耳側面場所領域を検出する耳検出モジュール、画像系列の各画像において目標物体を検出する目標検出モジュール、目標物体の移動軌跡を計算する軌跡計算モジュール、移動軌跡に基づき、目標物体が耳側面場所領域の方へ移動するかどうかを決定する決定モジュール、および移動軌跡が耳側面場所領域の方へ移動するとき注意信号を送る注意モジュールを含む。
【００１４】
本発明の実施形態において、画像処理モジュールは、さらに、顔認識アルゴリズムを用いて顔物体を取得し、顔物体の上の鼻物体を探索する顔同定モジュールを含む。加えて、耳検出モジュールは、さらに、鼻物体の場所に基づき水平方向に耳側面場所領域を探索する。
【００１５】
本発明の実施形態において、軌跡計算モジュールは目標物体の垂直投影量および水平投影量を計算して目標物体の物体領域を取得し、物体領域内の参照点を選択し、画像系列の各画像において参照点の場所を用いて移動軌跡を取得する。
【００１６】
本発明の実施形態において、目標検出モジュールは、耳側面場所領域に従ってＲＯＩを取得し、画像系列の現在画像および参照画像の各々においてＲＯＩの上で画像減算アルゴリズムを遂行して目標領域画像を取得し、参照画像内のＲＯＩを用いて目標領域画像のノイズをフィルタアウトして目標物体を取得する。
【００１７】
本発明の実施形態において、目標検出モジュールは参照画像のＲＯＩの上でエッジ検出アルゴリズムおよび拡張アルゴリズムを遂行して、フィルタされた領域画像を取得し、フィルタされた領域画像および目標領域画像の上で画像減算アルゴリズムを遂行して目標物体を取得する。
【００１８】
本発明の実施形態において、決定モジュールは、目標物体が耳側面場所領域の中に留まる滞在時間が所定の時間を超過するかどうかを決定し、滞在時間が所定の時間を超過するとき、注意信号を送るように注意モジュールに通知する。
【発明の効果】
【００１９】
上記に基づき、画像認識技術を使用することによって、車両の中で運転者が携帯電話を使用しているどうかが決定される。さらに、運転者が携帯電話を使用していることが確認されると、運転者の注意散漫に起因する事故を避けるため、注意メッセージが送られる。
【００２０】
本発明の上記の特徴および利点を一層理解可能にするため、図面を伴った実施形態が、続いて詳細に説明される。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に従った車両用の電子装置の略図である。
【００２２】
【図２】本発明の実施形態に従った車両運転用の警告方法のフローチャートである。
【００２３】
【図３】本発明の実施形態に従った車両運転用の他の警告方法のフローチャートである。
【００２４】
【図４】本発明の実施形態に従った画像の略図である。
【００２５】
【図５Ａ−５Ｅ】本発明の実施形態に従った目標物体検出の略図である。
【００２６】
【図６】本発明の実施形態に従った画像処理モジュールの略図である。
【発明を実施するための形態】
【００２７】
図１は、本発明の実施形態に従った車両用の電子装置の略図である。図１を参照すると、車両用の電子装置１００は、画像キャプチャユニット１１０、処理ユニット１２０、記憶ユニット１３０、および画像処理モジュール１４０を含む。本実施形態において、車両用の電子装置１００は、運転者の画像を取るように車両内の運転者座席の前面に搭載された独立装置である。他の実施形態において、車両用の電子装置１００は、車両の中に組み込まれる。車両用の電子装置１００は、たとえば埋め込みシステムの構造を有するので、任意の電子装置の中に埋め込まれる。
【００２８】
画像キャプチャユニット１１０は、運転者の画像系列（１つまたは複数の画像を含む）をキャプチャし、記憶ユニット１３０の中に画像系列を記憶する。画像キャプチャユニット１１０は、たとえば、電荷結合素子（ＣＣＤ）レンズ、相補型金属酸化膜半導体トランジスタ（ＣＭＯＳ）レンズ、または赤外レンズを有するビデオカメラまたはカメラであるが、これらに限定されない。
【００２９】
処理ユニット１２０は、たとえば、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、または他のプログラム可能デバイス、たとえば、マイクロプロセッサ、ディジタル信号プロセッサ（ＤＳＰ）などである。処理ユニット１２０は記憶ユニット１３０へ結合され、画像キャプチャユニット１１０によってキャプチャされた画像系列を取得する。加えて、処理ユニット１２０は画像処理モジュール１４０を実行し、画像系列の認識プロセスを遂行する。たとえば、画像を取った後、画像キャプチャユニット１１０は、その入力／出力（Ｉ／Ｏ）ユニットを介して記憶ユニット１３０の中に画像を記憶し、処理ユニット１２０は記憶ユニット１３０から画像を取得して、画像処理手順を実行する。
【００３０】
記憶ユニット１３０は、たとえば、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、または磁気ディスク記憶デバイスである。
【００３１】
本実施形態において、画像処理モジュール１４０は、たとえば、コンピュータプログラミング言語で書かれたコードセグメントである。コードセグメントは、たとえば、記憶ユニット１３０（または他の記憶ユニット）の中に記憶され、複数のコマンドを含む。そして、処理ユニット１２０はコードセグメントを実行する。加えて、他の実施形態において、画像処理モジュール１４０は、１つまたは複数の回路から構成されたハードウェアコンポーネントであってもよい。画像処理モジュール１４０は処理ユニット１２０へ結合され、処理ユニット１２０によって駆動される。
【００３２】
加えて、他の実施形態において、画像キャプチャユニット１１０は、さらに、不十分な光が存在するとき光を供給する照明要素を有し、そのキャプチャされた画像の明瞭性を確保する。
【００３３】
車両用の電子装置１００を使用しているケースにおける車両運転用の警告方法のステップが、下記で詳細に説明される。図２は、本発明の実施形態に従った車両運転用の警告方法のフローチャートである。図１および図２を参照すると、運転者の画像系列が、画像キャプチャユニット１１０によって連続的にキャプチャされる（ステップＳ２０５）。次に、画像処理モジュール１４０は、画像系列の各画像の上で画像処理手順を遂行し始める。
【００３４】
画像処理モジュール１４０は、画像系列の各画像において顔物体の上の耳側面場所領域を検出する（ステップＳ２１０）。本実施形態において、耳側面場所領域を一層正確に取得するため、顔物体を取得した後、画像処理モジュール１４０は顔物体の上の鼻物体を探索し、さらに、鼻物体の場所に基づき水平方向に耳側面場所領域を探索する。たとえば、画像処理モジュール１４０は、鼻物体の左側および右側の双方の頬のエッジを探索する。次いで、顔および耳の統計的相対位置に従って、発見されたエッジを参照として使用することにより、左側および右側の耳側面場所領域が取得される。
【００３５】
次に、画像処理モジュール１４０は、画像系列の各画像において目標物体を検出する（ステップＳ２１５）。ここで、目標物体は、たとえば携帯電話である。言い換えれば、画像処理モジュール１４０は、各画像において携帯電話を検出する。目標物体を取得した後、画像処理モジュール１４０は、画像系列に従って目標物体の移動軌跡を計算する（ステップＳ２２０）。たとえば、画像処理モジュール１４０は、目標物体の１つの点を参照点として使用し、各画像における参照点の場所の上で統計を遂行し、目標物体の移動軌跡を取得する。移動軌跡が耳側面場所領域の方へ移動することを検出したとき、画像処理モジュール１４０は注意信号を送る（ステップＳ２２５）。
【００３６】
ここで、画像処理モジュール１４０は、さらに、目標物体が耳側面場所領域の中に留まる滞在時間が所定の時間（たとえば３秒）を超過するかどうかを決定し、滞在時間が所定の時間を超過するとき注意信号を送る。すなわち、目標物体が耳側面場所領域に留まる滞在時間が所定の時間を超過する事態では、それは運転者が運転中に携帯電話を使用していることを暗示する。
【００３７】
続いて、他の実施形態が例示される。
【００３８】
図３は、本発明の実施形態に従った車両運転用の他の警告方法のフローチャートである。図１および図３の双方を参照すると、最初に、画像キャプチャユニット１１０によって、運転者の複数の画像が連続的にキャプチャされる（ステップＳ３０５）。次に、画像処理モジュール１４０は背景フィルタ動作を実行する（ステップＳ３１０）。たとえば、Ｎ番目の画像および（Ｎ＋１）番目の画像が、差分プロセスへ供される。次いで、後続する手順のための、背景をフィルタアウトされた画像が、グレースケール画像へ変換される。
【００３９】
その後で、画像処理モジュール１４０は、画像内の顔の特徴を検出し、それによって顔物体を取得する（ステップＳ３１５）。たとえば、記憶ユニット１３０は特徴データベースを記憶し、特徴データベースは顔の特徴のパターンを含む。顔の特徴のパターンを用いて画像と特徴データベースとの間の比較を遂行することによって、画像処理モジュール１４０は画像の各々で顔物体を取得する。好ましい実施形態において、各画像内の顔は、アダブーストアルゴリズムまたは他の通常の顔認識アルゴリズム（たとえば、ハールライク特徴を使用する顔認識）を使用して取得される。しかし、上記の手段は単なる例であり、本発明はこれらに限定されない。
【００４０】
次いで、画像処理モジュール１４０は、各画像において顔物体の上の耳側面場所領域を検出する（ステップＳ３２０）。たとえば、画像処理モジュール１４０は、顔物体の上の鼻物体を探索し、次いで鼻物体の左側および右側に沿って双方の頬のエッジを探索する。その後で、顔および耳の統計的相対位置に従って、発見されたエッジを参照として使用することによって、左側および右側の耳側面場所領域が取得される。次いで、画像処理モジュール１４０は、耳側面場所領域に従って関心領域（ＲＯＩ）を取得する（ステップＳ３２５）。
【００４１】
たとえば図４は、本発明の実施形態に従った画像の略図である。画像４００の中で顔物体４１０を検出した後、画像処理モジュール１４０は鼻物体４２０を取得し、次いで鼻物体４２０の左側および右側でエッジＣ１およびＣ２を発見し、エッジＣ１およびＣ２を参照として使用することによって、耳側面場所領域を取得する。例示の便宜上、ここでは１つの頬のエッジＣ１のみが説明される。しかし、他の頬のエッジＣ２において同じ状況が存在する。エッジＣ１の座標は参照として使用され、所定の物体領域の中で耳側面場所領域Ｅが取得される。次いで、耳側面場所領域Ｅに従って、他の所定の物体領域の中でＲＯＩ  Ｒが取得される。
【００４２】
次に、画像処理モジュール１４０は、現在画像および参照画像（これは、先行する画像、たとえば、現在画像の前の画像または前のＮ番目の画像であるか、または任意の所定の画像であってもよい）の各々においてＲＯＩの上で画像減算アルゴリズムを遂行し、目標領域画像を取得し（ステップＳ３３０）、参照画像内のＲＯＩを用いて目標領域画像内のノイズをフィルタアウトし、目標物体を取得する（ステップＳ３３５）。
【００４３】
たとえば図５Ａ〜図５Ｅは、本発明の実施形態に従って目標物体を検出する略図である。簡単にするため、図５Ａ〜図５Ｅのグレースケールは省略され、ここでは例示のためにグレースケールのエッジのみが描かれる。図５Ａは、ＲＯＩ  ５１１を例示する参照画像５１０を示す。図５Ｂは、画像キャプチャユニット１１０によってキャプチャされた現在画像５２０を示す。現在画像５２０は、ＲＯＩ  ５２１および耳側面場所領域Ｅを例示する。図５Ｃは、目標領域画像５３０を示す。図５Ｄは、フィルタされた領域画像５４０を示す。図５Ｅは、目標物体Ｏを有する領域画像５５０を示す。
【００４４】
具体的には、参照画像５１０のＲＯＩ  ５１１および現在画像５２０のＲＯＩ  ５２１の上で画像減算アルゴリズムが遂行され、これによって上記の２つの画像間の差分を示す目標領域画像５３０が取得される。すなわち、目標領域画像５３０は、ＲＯＩ  ５１１およびＲＯＩ  ５２１の上で画像減算アルゴリズムを遂行した結果である。目標領域画像５３０において、ダッシュ線は目標物体以外のノイズを表す。ノイズをフィルタアウトして目標物体を取得するため、参照画像５１０のＲＯＩ  ５１１の上でエッジ検出アルゴリズム、拡張アルゴリズムなどが遂行され、フィルタされた領域画像５４０が取得される。次いで、目標領域画像５３０およびフィルタされた領域画像５４０の上で画像減算アルゴリズムが遂行され、これによって図５Ｅで示されるような目標物体Ｏを有する領域画像５５０が取得される。
【００４５】
図３へ戻って、目標物体を取得した後、画像処理モジュール１４０は目標物体の垂直投影量および水平投影量を計算し、目標物体の物体領域を取得する（ステップＳ３４０）。具体的には、画像処理モジュール１４０は、垂直軸の上で目標物体の垂直投影量を計算して目標物体の長さを取得し、さらに水平軸の上で目標物体の水平投影量を計算して目標物体の幅を取得する。長さおよび幅を用いて、目標物体の物体領域が取得される。
【００４６】
その後で、画像処理モジュール１４０は、物体領域内の参照点を選択する（ステップＳ３４５）。さらに、後続の画面で目標物体の同じ点を参照点として使用することによって、各画像の参照点の場所を用いて移動軌跡が取得される（ステップＳ３５０）。
【００４７】
たとえば図５Ｅのケースでは、目標物体Ｏの長さおよび幅が計算され、物体領域５５１が取得され、物体領域５５１の左方最上点Ｂが参照点として使用される。他の後続する画像でも目標物体の目標領域の左方最上点が参照点として使用される。したがって、これらの画像の参照点から、目標物体の移動軌跡が取得される。物体領域の左方最上点を参照点として使用する上記のケースは、単なる例であり、本発明はこれに限定されない。その後で、移動軌跡が耳側面場所領域へ移動したことを検出したとき、画像処理モジュール１４０は注意信号を送る（ステップＳ３５５）。加えて、さらに、画像処理モジュール１４０は、移動軌跡が耳側面場所領域の方へ移動しているかどうかを検出し、目標物体（これは、本実施形態では携帯電話である）を一層正確に同定し得る。
【００４８】
画像処理モジュール１４０の構造を例示するため、１つの例が下記で与えられる。図６は、本発明の実施形態に従った画像処理モジュールの略図である。図４を参照すると、画像処理モジュール１４０は、顔同定モジュール６０１、耳検出モジュール６０３、目標検出モジュール６０５、軌跡計算モジュール６０７、決定モジュール６０９、および注意モジュール６１１を含む。
【００４９】
顔同定モジュール６０１は、顔認識アルゴリズムを用いて顔物体を取得し、顔物体の上の鼻物体を探索する。顔同定モジュール６０１は、たとえば、アダブーストアルゴリズムまたは他の通常の顔認識アルゴリズム（たとえば、ハールライク特徴を使用する顔認識）を使用することによって、画像内の顔物体を検出する。
【００５０】
耳検出モジュール６０３は、画像内の顔物体の上で耳側面場所領域を検出する。耳検出モジュール６０３は、たとえば、画像から取得された耳特徴と、前もって特徴データベース内に記憶された耳特徴のパターンとを比較し、これによって左側および右側の耳側面場所領域を取得する。加えて、髪または他の物体によって耳が覆われているため耳特徴を利用できない事態では、耳検出モジュール６０３は、パターン学習に従って耳側面場所領域が顔のどの場所に対応するかを通知されており、所定のデータから左側および右側の耳側面場所領域を直接取得する。加えて、耳検出モジュール６０３は、鼻物体の場所に基づき水平方向に耳側面場所領域を探索する。耳検出モジュール６０３は、たとえば、鼻物体の場所に基づき水平方向で双方の頬のエッジを取得し、次いで所定のデータから左側および右側の耳側面場所領域を取得する。
【００５１】
目標検出モジュール６０５は、画像内の目標物体を検出する。目標検出モジュール６０５は、耳側面場所領域に従ってＲＯＩを取得し、現在画像および参照画像の各々においてＲＯＩの上で画像減算アルゴリズムを遂行して目標領域画像を取得し、したがって、参照画像内のＲＯＩを用いて目標領域画像内のノイズをフィルタアウトして目標物体を取得する。これらの詳細は、図５Ａ〜図５Ｅを参照して説明されたので、ここでは省略される。
【００５２】
軌跡計算モジュール６０７は、目標物体の移動軌跡を計算する。軌跡計算モジュール６０７は、たとえば、目標物体の１つの点を参照点として使用し、各画像内の参照点の場所で統計を遂行し、目標物体の移動軌跡を取得する。軌跡計算モジュール６０７は、たとえば、目標物体の垂直投影量および水平投影量を計算して目標物体の物体領域を取得し、物体領域内の参照点を選択し、各画像内の参照点の場所を用いて移動軌跡を取得する。
【００５３】
決定モジュール６０９は、移動軌跡に基づき、目標物体が耳側面場所領域へ移動したかどうかを決定する。決定モジュール６０９は、たとえば、軌跡計算モジュール６０７によって取得された参照点の場所が、耳側面場所領域の中で位置決めされるかどうかを決定する。加えて、決定モジュール６０９は、移動軌跡に基づき、目標物体が耳側面場所領域へ移動しそうであるかどうかを予測する。上記は単なる例であり、本発明はこれらに限定されない。
【００５４】
注意モジュール６１１は、移動軌跡が耳側面場所領域へ移動したとき注意信号を送る。注意モジュール６１１は、たとえば、決定モジュール６０９からコマンドまたは命令を受けたとき音声または振動注意信号を送る。
【００５５】
車両用の電子装置１００は、画像認識技術を用いて、運転者が携帯電話を使用しているかどうかを検出する。加えて、車両用の電子装置１００は、さらに睡眠検出メカニズムを有し、運転者が居眠り運転状態にあるかどうかを検出する。
【００５６】
要するに、本発明は、画像認識技術を使用して画像内の目標物体を位置決めし、連続した複数の画像内で目標物体の移動軌跡を計算し、これによって車両の中で運転者が携帯電話を使用しているかどうかを決定する。さらに、運転者が携帯電話を使用していることが確認されたとき、運転者の注意散漫に起因する事故を避けるため、注意メッセージが送られる。
【００５７】
本発明は、上記の実施形態を参照して説明されたが、本発明の趣旨から逸脱することなく、説明された実施形態への修正が行われてもよいことは当業者に明らかであろう。したがって、本発明の範囲は、添付された特許請求の範囲によって規定され、上記の詳細な説明によっては規定されない。
【産業上の利用可能性】
【００５８】
本開示は、運転者の行動をタイムリーおよび効果的に監視するため運送手段の中で実現し得る。
【符号の説明】
【００５９】
１００  ・・・  電子装置
１１０  ・・・  画像キャプチャユニット
１２０  ・・・  処理ユニット
１３０  ・・・  記憶ユニット
１４０  ・・・  画像処理モジュール
４００  ・・・  画像
４１０  ・・・  顔物体
４２０  ・・・  鼻物体
５１０  ・・・  参照画像
５２０  ・・・  現在画像
５３０  ・・・  目標領域画像
５４０  ・・・  フィルタされた領域画像
５５０  ・・・  領域画像
５１１、５２１、Ｒ  ・・・  ＲＯＩ
５５１  ・・・  物体領域
６０１  ・・・  顔同定モジュール
６０３  ・・・  耳検出モジュール
６０５  ・・・  目標検出モジュール
６０７  ・・・  軌跡計算モジュール
６０９  ・・・  決定モジュール
６１１  ・・・  注意モジュール
Ｂ  ・・・  左方最上点
Ｃ１、Ｃ２  ・・・  エッジ
Ｅ  ・・・  耳側面場所領域
Ｏ  ・・・  目標物体
Ｓ２０５〜Ｓ２２５  ・・・  ステップ
Ｓ３０５〜Ｓ３５５  ・・・  ステップ
【図１】
2015001979.tif 000003
【図２】
2015001979.tif 000004
【図３】
2015001979.tif 000005
【図４】
2015001979.tif 000006
【図５Ａ】
2015001979.tif 000007
【図５Ｂ】
2015001979.tif 000008
【図５Ｃ】
2015001979.tif 000009
【図５Ｄ】
2015001979.tif 000010
【図５Ｅ】
2015001979.tif 000011
【図６】
2015001979.tif 000012
【外国語明細書】
2015001979000001.pdf