(57)【要約】【課題】対象物の運動方向に基づいてカメラの位置を調整し、対象物を高速度撮像する画像処理装置を提供する。【解決手段】カメラ２０で撮像した１フレームの画像を奇数フィールド画像４０及び偶数フィールド画像４１に分け、それぞれを１フレームとし、時系列順に並べることによって１／６０ｓでの高速度撮像を行うことが可能になる。また、撮像する対象物５Ａの運動方向とカメラ２０の走査方向６をほぼ一致させることによって、より正確な対象物の撮像が可能になる。【選択図】図４
2008301429.tif 000002
【特許請求の範囲】
【請求項１】
１つのフレームを奇数フィールド及び偶数フィールドに分けて撮像するカメラと、
前記カメラが出力した前記１つのフレームのデータを前記奇数フィールド及び前記偶数フィールドのデータに分離し、分離された前記奇数フィールド及び前記偶数フィールドの前記データに基づいて２つの画像データを生成する画像生成部とを備えたことを特徴とする画像処理装置。
【請求項２】
１つのフレームを奇数フィールド及び偶数フィールドに分けて撮像するカメラと、
前記カメラが出力した前記１つのフレームのデータを前記奇数フィールド及び前記偶数フィールドのデータに分離し、分離された前記奇数フィールド及び前記偶数フィールドの前記データに基づいて２つの画像データを生成する画像生成部と、
前記画像生成部で生成した前記２つの画像データを解析する解析部と、
前記カメラに設けられ、前記解析部の解析結果に基づいて前記カメラの向き及び角度を制御するカメラ制御部とを備えたことを特徴とする画像処理装置。
【請求項３】
前記解析部は、撮像する対象物の運動方向を解析し、
前記カメラ制御部は、前記解析部が解析した前記運動方向、及び前記カメラの走査方向に基づいて前記カメラの向き及び角度を制御することを特徴とする請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に偶数フィールド及び奇数フィールドの画像を用いることで高速度撮像を可能にした画像処理装置に関する。
【背景技術】
【０００２】
従来の技術として、クロックジェネレータが生成する信号に基づいてフレームを奇数フィールドと偶数フィールドに分けて撮像するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）と、ＣＣＤから送信された映像信号に対して所定の信号処理を行う信号処理部と、信号処理部が処理した映像信号をフレーム単位で受信し、フレームを構成する奇数フィールド又は偶数フィールドのどちらかをＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）メモリに供給する制御部と、映像信号を記憶するＩＣメモリと、映像を表示する表示部とを備えた高速度撮影装置が知られている（例えば、特許文献１）。
【０００３】
この高速度撮影装置のＣＣＤは、１秒間に３０枚の画像を撮像し、その１枚の画像（フレーム）は、偶数フィールドと奇数フィールドに分けて撮像される。言い換えるなら、偶数フィールド又は奇数フィールドは、１／６０ｓ（秒）に一回撮像される。
【０００４】
また、この高速度撮影装置によると、画面全体ではなく、対象物が存在する画面の一部のみを撮像し、更に奇数フィールド又は偶数フィールドのどちらかをＩＣメモリに記憶し、再生時には、このＩＣメモリに記憶された映像データを再生するので、対象物の高速度撮影が可能になる。
【特許文献１】特開平１０−５１７３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、従来の高速度撮影装置によると、撮像されるのは、全画面の一部であり、また、記憶する映像データは、奇数フィールド又は、偶数フィールドのどちらかだけであるので、対象物の運動方向によっては、撮像されていない可能性があった。
【０００６】
従って、本発明の目的は、対象物の運動方向に基づいてカメラの位置を調整し、対象物を高速度撮像する画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は上記目的を達成するため、１つのフレームを奇数フィールド及び偶数フィールドに分けて撮像するカメラと、前記カメラが出力した前記１つのフレームのデータを前記奇数フィールド及び前記偶数フィールドのデータに分離し、分離された前記奇数フィールド及び前記偶数フィールドの前記データに基づいて２つの画像データを生成する画像生成部とを備えたことを特徴とする画像処理装置を提供する。
【発明の効果】
【０００８】
このような構成によれば、対象物の運動方向に基づいてカメラの位置を調整し、対象物を高速度撮像する画像処理装置を提供することができる。
【発明を実施するための最良の形態】
【０００９】
以下に、本発明の画像処理装置の実施の形態を図面を参考にして詳細に説明していく。
【００１０】
[実施の形態]
（画像処理装置２の構成）
図１は、本発明の実施の形態に係る車両内部の概略図である。図２は、本発明の実施の形態に係る画像処理装置のブロック図である。本実施の形態において、画像処理装置２は、図１に示す車両１に搭載され、乗員３のまぶたの運動を解析することで、居眠り運転（意識の低下）の防止を可能にする。なお、目の位置の測定は、形状認識アルゴリズムやパターンマッチング等の一般的な画像処理の方法が用いられる。
【００１１】
画像処理装置２は、車両１のダッシュボード１０上に配置され、乗員３を撮像するカメラ２０と、対象物の運動方向とカメラ２０の走査方向に基づいてカメラ２０の向きとカメラ２０の光軸を中心とした角度を調整するカメラ制御部２１と、カメラ２０で撮像した画像信号（アナログ信号）をデジタル信号（例えば非圧縮ＡＶＩ（Ａｕｄｉｏ Ｖｉｄｅｏ Ｉｎｔｅｒｌｅａｖｉｎｇ）フォーマット）に変換する画像キャプチャ部２２と、デジタル信号に変換された画像信号を後述する偶数フィールドと奇数フィールドに分離する画像生成部２３と、画像生成部２３で処理した画像信号を解析する解析部２４と、画像を表示する表示部２５と、一回の瞬きに掛かる時間や閉眼時間のしきい値であるしきい値２６０を記憶する記憶部２６と、接続されたＤＶＤ等のメディアから、画像信号等を入力する入力部２７と、解析部２４の解析結果に基づいて警告を発する警告部２８と、各部を制御する制御部２９とを有する。なお、本実施の形態において、画像信号と記した場合は、特に断らない限り、デジタル化された画像信号を指すものとする。
【００１２】
カメラ２０は、インターレース方式のＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）又はＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｏｎ ｂｙ Ｌｉｎｅ）標準フォーマットで画像を撮像し、１秒間に３０枚、すなわち１／３０ｓ（秒）間隔で対象物を撮像する一般的なビデオカメラであり、１フレームを奇数フィールドと偶数フィールドに分けて走査し、撮像する。また、カメラ２０は、乗員３を撮像できる位置であれば、配置は限定されない。カメラ２０は、後述する図３（ｂ）に示す走査方向６にフレーム画像４Ａの奇数フィールド４２を上から下に撮像し、続いて偶数フィールド４３を上から下に撮像する。
【００１３】
（フレーム画像４Ａの構成）
図３（ａ）は、本発明の実施の形態に係るフレーム画像に関する概略図であり、図３（ｂ）は、本発明の実施の形態に係る奇数フィールド画像に関する概略図であり、図３（ｃ）は、本発明の実施の形態に係る偶数フィールド画像に関する概略図であり、図４は、本発明の実施の形態に係る従来の撮像の時間間隔に関する概略図である。
【００１４】
フレーム画像４Ａは、奇数フィールド画像４０と偶数フィールド画像４１の重ね合わせによって構成され、図３（ｂ）及び（ｃ）におけるフレーム画像４Ａは、走査方向６に走査された３つの奇数フィールド４２及び偶数フィールド４３からなるものとする。また、フレーム画像４Ａは、カメラ２０によって、図４に示すように、１／３０ｓ間隔で撮像されるが、奇数フィールド４２と偶数フィールド４３は、１／６０ｓ間隔で撮像されている。つまり、１／６０ｓ間隔で撮像された奇数フィールド４２と偶数フィールド４３を重ね合わせることによって、１／３０ｓ間隔のフレーム画像４Ａを構成している。
【００１５】
しかし、画像生成部２３は、図３（ａ）に示すフレーム画像４Ａを１フレームとせず、以下に説明する奇数及び偶数フィールド画像４０、４１をそれぞれ１フレーム（画像データ）とし、時系列に沿って並べることによって、従来の１／３０ｓ間隔の画像ではなく、１／６０ｓ間隔の高速度で撮像した画像を生成する。瞬きの速度は、高速であるので、従来の１／３０ｓ間隔の画像では、瞬きの瞬間を測定できず、瞬きに掛かる時間を正確に測定できない可能性があるが、１／６０ｓ間隔で瞬きを撮像することによって、瞬きに掛かる時間を正確に測定することが可能になる。
【００１６】
（フレーム画像４Ｂについて）
図５（ａ）は、本発明の実施の形態に係る奇数フィールド画像に関する概略図であり、図５（ｂ）は、本発明の実施の形態に係るフレーム画像に関する概略図である。図５（ａ）に示す奇数フィールド画像４０は、奇数フィールド４２と奇数フィールド４２の間、すなわち、偶数フィールド４３には、画像信号が存在しないので、画像生成部２３は、奇数フィールド画像４０を図５（ｂ）に示すフレーム画像４Ｂとし、１つのフレームを生成する。同様に、画像生成部２３は、偶数フィールド画像４１において、奇数フィールド４２を除いたフレーム画像４Ｂを生成する。これらのフレーム画像４Ｂが、画像生成部２３によって１フレームとして時系列順に並べられ、記憶部２６に記憶される。
【００１７】
（座標変換について）
図６（ａ）は、本発明の実施の形態に係るフレーム画像の一部の概略図であり、図６（ｂ）は、本発明の実施の形態に係る奇数フィールド画像の一部の概略図であり、図６（ｃ）は、本発明の実施の形態に係る偶数フィールド画像の一部の概略図であり、１つのフレームを６つの奇数フィールド４２及び６つの偶数フィールド４３で走査した場合を表している。フレーム画像４Ａは、ピクセル４４と呼ばれる最小単位の画素が集まることによって構成される。図６（ａ）の記号「ａ」〜「ｆ」は、フレーム画像４Ａ上に記録された点を表している。図６（ｂ）及び（ｃ）は、記号「ａ」〜「ｆ」が，奇数フィールド画像４０及び偶数フィールド画像４１上のどの位置に記録されるかを表している。また、フレーム系座標４ａは、フレーム画像４Ａの座標を表し、奇数フィールド系座標４０ａは、奇数フィールド画像４０の座標を表し、偶数フィールド系座標４１ａは、偶数フィールド画像４１の座標を表しており、縦軸をＹ、横軸をＸとしている。なお、Ｘ軸方向の座標値は、フレーム画像４Ａ、奇数フィールド画像４０及び偶数フィールド画像４１で変化しないので、Ｘ＝ｘ（Ｘは、フレーム系座標４ａのＸ軸の値、ｘは、奇数フィールド系座標４０ａ及び偶数フィールド系座標４１ａのｘ軸の値）が成り立つ。
【００１８】
奇数フィールド画像４０に記録された記号「ｂ」、「ｄ」及び「ｆ」の位置と、偶数フィールド画像４１に記録された記号「ａ」、「ｃ」及び「ｅ」の位置は、図６（ａ）においては、別々の位置にあるにもかかわらず、図６（ｂ）及び（ｃ）においては、同じ位置に記録されたように見える。よって解析部２４は、画像生成部２３から送信された１フレーム毎の画像（奇数フィールド画像４０及び偶数フィールド画像４１）に対して以下に説明する座標変換を行う。
【００１９】
記号「ｂ」を例にとると、記号「ｂ」は、図６（ａ）のフレーム系座標４ａでは、Ｙ軸の値は「１１」であり、図６（ｂ）の奇数フィールド系座標４０ａでは、ｙ軸の値は「６」となるので、この２つの値の座標変換は、フレーム系座標４ａのＹ軸の値をＹ、奇数フィールド系座標４０ａのｙ軸の値をｙとすると、この座標変換は、Ｙ＝２ｙ−１と表すことができる。奇数フィールド画像４０に含まれる他の記号「ｄ」及び「ｆ」についても、この座標変換は、同様に成り立っている。また、偶数フィールド画像４１に含まれる記号「ａ」を例にとると、記号「ａ」は、図６（ａ）のフレーム系座標４ａでは、Ｙ軸の値は「１２」であり、図６（ｃ）の偶数フィールド系座標４１ａでは、ｙ軸の値は「６」となるので、この２つの値の座標変換は、フレーム系座標４ａのＹ軸の値をＹ、偶数フィールド系座標４１ａのｙ軸の値をｙとすると、この座標変換は、Ｙ＝２ｙと表すことができる。偶数フィールド画像４１に含まれる他の記号「ｃ」及び「e」についても、この座標変換は、同様に成り立っている。よって、奇数フィールド画像４０及び偶数フィールド画像４１上で見かけ上同じ位置に記憶された画像でも、上記の座標変換を行うことによって、解析部２４は、奇数フィールド系座標４０ａ及び偶数フィールド系座標４１ａの座標を、フレーム系座標４ａの座標に正しく変換することができる。
【００２０】
（カメラ２０の角度調整）
図７（ａ）及び（ｂ）は、本発明の実施の形態に係るカメラの角度調整に関する概略図であり、図８は、本発明の実施の形態に係るカメラの角度調整前の走査方向と運動方向に関する概略図であり、図９は、本発明の実施の形態に係るカメラの角度調整後の走査方向と運動方向の概略図である。図７（ａ）及び（ｂ）は、カメラ２０が予め９０度、画面水平線７とカメラ２０の光軸を中心とした角度の回転を行った場合を表している。図８及び９は、１つのフレームを８つの奇数フィールド４２と７つの偶数フィールド４３で走査した場合を表しており、また、境界線９は、図３（ａ）の乗員３のまぶたと瞳の境界の一部を表している。また、図８及び９における○は、時刻ｔに奇数フィールド４２に境界線９として記録されたピクセル４４を表しており、△は、時刻ｔから１／６０ｓ後の偶数フィールド４３に境界線９として記録されたピクセル４４を表している。また、本実施の形態において、図９に示す点Ａの１／６０ｓ後の位置は、例えば、隣り合うフィールド上で記録された点Ｂに移るとして、運動を検出する。なお、まぶたの境界線９の検出は、垂直エッジ検出等の画像処理方法を用い、角度は、画面の左回りを正とする。
【００２１】
時刻ｔにおける境界線９の領域Ａは、図８に示すように、時刻ｔ＋１／６０ｓにおいては、奇数フィールド４２上に領域Ａの境界線９が含まれるので、偶数フィールド４３には、領域Ａの境界線９は、記録されない。これは、走査方向６に垂直な方向の解像度が低下して、運動を測定できないことを表している。しかし、図９に示すように、運動方向と走査方向６をほぼ一致させることによって解像度の低下を防ぎ、境界線９の１／６０ｓ後の位置を測定することが可能になる。
【００２２】
その運動方向の測定は、以下のようにして行われる。解析部２４は、図７（ａ）のように、フレーム画像４Ａの中心を通る画面水平線７、画面垂直線８、及び原点Ａを設定する。解析部２４は、時刻ｔ−１における物体位置５ａを（ｘｔ−１、ｙｔ−１）、時刻ｔにおける物体位置５ｂを（ｘｔ、ｙｔ）とすると、（ｘｔ−１、ｙｔ−１）及び（ｘｔ、ｙｔ）から図７（ｂ）に示す直線Ｌを算出する。続いて、算出した直線Ｌとカメラ２０の角度の基準線である画面水平線７との角度Δψｔを算出する。現在の角度ψｔ（この場合画面水平線７に一致）を用いて次のフレーム（時刻ｔ＋１）におけるカメラ２０の角度ψｔ＋１は、ψｔ＋１＝ψｔ＋Δψｔと算出される。解析部２４は、算出したカメラ２０の角度ψｔ＋１に基づいて位置調整信号を生成し、制御部２９を介してカメラ制御部２１に位置調整信号を送信する。カメラ制御部２１は、位置調整信号に基づいてカメラ２０を光軸を中心として左回りを正として角度ψｔ＋１回転させる。このカメラ２０の角度調整により、走査方向と運動方向をほぼ一致させることが可能になる。また、角度調整の際のオーバーシュートや振動を防ぐために、例えばＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ Ｉｎｔｅｇｒａｌ Ｄｅｒｉｖａｔｉｖｅ）制御等の方法によって調整量の設定をしても良い。なお、解析部２４は、対象物の速度ｖを算出することが可能で、１／６０ｓ間に移動した２点の距離と時間（１／６０ｓ）とによって算出する。
【００２３】
（動作）
以下に本実施の形態の画像処理装置の動作を図１から図９を参照し、図１０のフローチャートに従って詳細に説明する。
【００２４】
乗員３が、車両１に乗り込み、キーシリンダーにキーを差し込んで、エンジンをスタートさせると、制御部２９は、画像キャプチャ部２２を介してカメラ２０から画像信号を取得する。画像信号を制御部２９を介して受信した画像生成部２３は、奇数フィールド画像４０及び偶数フィールド画像４１に基づいたフレーム画像４Ｂを１フレームとした画像信号を生成し、解析部２４は、その画像信号に基づいて運動方向の測定を行う（Ｓ１）。
【００２５】
解析部２４は、まず乗員３の両目の位置から乗員３の目の高さ、顔の向きを検出し、続いてカメラ２０の上記した方法に基づいて画像乗員３のまぶたの運動方向を解析し、カメラ２０の向きと回転させる角度を算出し、算出した結果に基づいてカメラ制御部２１を介してカメラ２０の向きと角度を調整する（Ｓ２）。また、解析部２４は、図９に示す点Ａ及び点Ｂを設定する。解析部２４による点Ｂの設定は、まぶたを閉じた際の境界線９から設定する。なお、この向きと角度の調整は、まぶたを測定している間、常に調整しても良いし、測定開始時のみ行うようにしても良い。なお、本実施の形態において、乗員３のまぶたの運動方向は一定であるので、カメラ２０の角度と向きを固定し、カメラ制御部２１を除いた構成にすることも可能である。
【００２６】
続いて画像生成部２３は、画像キャプチャ部２２を介して取得した画像信号からフレーム画像４Ｂを時系列に沿って生成し、解析部２４は、生成されたフレーム画像４Ｂを解析する。
【００２７】
解析部２４は、瞬きに掛かる時間を、例えば、点Ａと点Ｂの運動として次のように算出する。解析部２４は、点Ａが、ある時刻に点Ｂに変位し、点Ａ付近に戻るまでの時間を、その運動に要したフレームの数から算出し、記憶部２６に記憶するしきい値２６０に基づいて所定の時間より長いか否かを判断する。解析部２４は、算出した瞬きに掛かる時間が所定の時間より短いとき（Ｓ４；Ｎｏ）、エンジンの停止、又はキーがキーシリンダーから抜かれるまで、瞬きに掛かる時間を算出しつづける。また、同様に閉眼時間がしきい値２６０を超えるか否かによって、警告をしても良いし、これらを組み合わせても良い。
【００２８】
ステップ４において、瞬きに掛かる時間が、所定の時間よりも長いとき（Ｓ４；Ｙｅｓ）、解析部２４は、制御部２９を介して警告部２８に警告信号を送信し、警告部２８は、例えば、制御部２９を介して表示部２５の点滅や警告メッセージ等の表示、又は、音や光による警告により、乗員３に居眠り運転を始める可能性があることを乗員３及び車両１に乗る人々に警告を行うので（Ｓ５）、意識の低下による居眠り運転を防止することができる。この一連の動作は、エンジンの停止、又はキーがキーシリンダーから抜かれるまで行われる。
【００２９】
なお、本実施の形態において、画像処理装置２は、乗員３の居眠りの防止を目的としていたが、カメラ２０を外部に向けて設け、車道の白線を撮像することによって、車両１のレーンからの逸脱を防止する目的に用いることができる。また、同様に、カメラ２０を外部に向けて設けることで、他の車両の接近の監視や、事故の状況を撮像し、記録することもできる。また、入力部２７から入力された画像を処理するようにしても良い。
【００３０】
（実施の形態の効果）
上記した実施の形態によると、対象物の運動方向に基づいてカメラの位置を調整し、対象物を高速度撮像することができる。
【００３１】
なお、本発明は、上記した実施の形態に限定されず、本発明の技術思想を逸脱あるいは変更しない範囲内で種々の変形が可能である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施の形態に係る車両内部の概略図である。
【図２】本発明の実施の形態に係る画像処理装置のブロック図である。
【図３】（ａ）は、本発明の実施の形態に係るフレーム画像に関する概略図であり、（ｂ）は、本発明の実施の形態に係る奇数フィールド画像に関する概略図であり、（ｃ）は、本発明の実施の形態に係る偶数フィールド画像に関する概略図である。
【図４】本発明の実施の形態に係る従来の撮像の時間間隔に関する概略図である。
【図５】（ａ）は、本発明の実施の形態に係る奇数フィールド画像に関する概略図であり、（ｂ）は、本発明の実施の形態に係るフレーム画像に関する概略図である。
【図６】（ａ）は、本発明の実施の形態に係るフレーム画像の一部の概略図であり、（ｂ）は、本発明の実施の形態に係る奇数フィールド画像の一部の概略図であり、（ｃ）は、本発明の実施の形態に係る偶数フィールド画像の一部の概略図である。
【図７】（ａ）及び（ｂ）は、本発明の実施の形態に係るカメラの角度調整に関する概略図である。
【図８】本発明の実施の形態に係るカメラの角度調整前の走査方向と運動方向に関する概略図である。
【図９】本発明の実施の形態に係るカメラの角度調整後の走査方向と運動方向の概略図である。
【図１０】本発明の実施の形態に係るフローチャートである。
【符号の説明】
【００３３】
１…車両、２…画像処理装置、３…乗員、４Ａ、４Ｂ…フレーム画像、４ａ…フレーム系座標、５ａ、５ｂ…物体位置、６…走査方向、７…画面水平線、８…画面垂直線、９…境界線、１０…ダッシュボード、２０…カメラ、２１…カメラ制御部、２２…画像キャプチャ部、２３…画像生成部、２４…解析部、２５…表示部、２６…記憶部、２７…入力部、２８…警告部、２９…制御部、４０…奇数フィールド画像、４０ａ…奇数フィールド系座標、４１…偶数フィールド画像、４１ａ…偶数フィールド系座標、４２…奇数フィールド、４３…偶数フィールド、４４…ピクセル、２６０…しきい値、ａ〜ｆ…記号、Ｌ…直線、ｔ…時刻、Δψｔ、ψｔ、ψｔ−１…角度、
【図１】
2008301429.tif 000003
【図２】
2008301429.tif 000004
【図３】
2008301429.tif 000005
【図４】
2008301429.tif 000006
【図５】
2008301429.tif 000007
【図６】
2008301429.tif 000008
【図７】
2008301429.tif 000009
【図８】
2008301429.tif 000010
【図９】
2008301429.tif 000011
【図１０】
2008301429.tif 000012