(57)【要約】【課題】プライバシーに関係する情報を多く含む画像は保存せず、プライバシーに関係する情報が少ない画像のみを保存する車載画像記録装置の実現。【解決手段】車両1に設けられた撮像装置10が撮影する車両の外部の画像を保存する記憶装置23と、撮像装置10の撮影した画像における遠景部分を識別する画像処理部21,22と、遠景部分の画像に占める割合に応じて、画像の記憶装置23への保存処理を制御する画像保存制御部25と、を備える。【選択図】図１
2010268148.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられた撮像装置が撮影する車両の外部の画像を保存する記憶装置と、
前記撮像装置の撮影した画像における遠景部分を識別する画像処理部と、
遠景部分の画像に占める割合に応じて、画像の前記記憶装置への保存処理を制御する画像保存制御部と、を備えることを特徴とする車載画像記録装置。
【請求項２】
前記画像保存制御部は、遠景部分の画像に占める割合が所定値以上の時に、画像の前記記憶装置への保存処理を実行することを特徴とする請求項１に記載の車載画像記録装置。
【請求項３】
前記画像処理装置は、少なくとも２フレーム分の画像を一時記憶するフレームメモリを備え、
当該車載画像記録装置は、前回の撮影位置からの移動距離に基づいて、前記撮像装置の撮影した画像の前記フレームメモリへの記憶タイミングを制御する撮像制御部を備え、
前記画像処理装置は、前記フレームメモリに記憶された画像間の動きベクトルを算出し、算出した動きベクトルを解析して画像内のグローバルベクトルを算出し、グローバルベクトルが算出される領域を遠景部分と判定することを特徴とする請求項１または２に記載の車載画像記録装置。
【請求項４】
前記画像処理装置は、画面の領域ごとに動きベクトルの信頼度を算出して動きベクトルの信頼度分布を算出し、グローバルベクトルが算出される領域のうち、所定の信頼度以上の領域を真遠景部分と判定し、
前記画像保存制御部は、前記真遠景部分の画像に占める割合が所定値以上の時に、画像の前記記憶装置への保存処理を実行することを特徴とする請求項３に記載の車載画像記録装置。
【請求項５】
前記画像処理装置は、各領域の動きベクトルの信頼度に応じてビットレートを割り当て、割り当てられたビットレートに応じて各領域の画像を符号化し、
前記画像保存制御部は、符号化された前記画像を前記記憶装置に保存することを特徴とする請求項４に記載の車載画像記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載された撮像装置が撮影した車両の外部の画像を記録する車載画像記録装置に関する。
【背景技術】
【０００２】
近年、車両に撮像装置を搭載して車両の外部を撮影し、撮影した画像を各種の用途に使用することが行われており、新しい用途も提案されている。例えば、ドライブレコーダは、撮影した画像に撮影日時データなどを付加して順次保存し、衝突などの特別な事態が発生した前後の画像を再生可能にすることにより、事故原因などの究明を可能にする。ドライブレコーダは、新たに撮影した画像を、経過時間のもっとも長い画像を消去するように上書きし、特別な事態が発生した後上書きを停止することにより、特別な事態が発生した前後の画像を保存する。なお、保存方法は各種提案されており、例えば、画像処理により経過時間が長い画像のデータ量を減少させることにより記憶時間を延長する方法などが提案されている。なお、ドライブレコーダに保存された画像データの改ざんを防止するため、ドライブレコーダに保存された画像データの出力は、所定の権限が入力された時のみに限定することも行われている。
【０００３】
また、撮影した画像を画像処理して、周囲の状況を認識し、車庫入れ動作の誘導や衝突発生の可能性を警告する警報装置なども提案されている。このための画像処理は、車両に近接して存在する物体を認識する必要があり、動画の動きベクトルを利用する装置が各種提案されている。例えば、１つの方法は、画像中の動きベクトルと共に車両の移動距離などから画像中に存在する平面の動きベクトルを検出し、それらから平面に対して静止している立体物検出する。また、動きベクトルを算出する計算量を低減する各種の方法も提案されている。
【０００４】
以上のように、車両の外部を撮影した画像を各種の用途に利用し、それらの画像処理方法も各種提案されているが、それらは安全・安心のために利用されるだけであり、運転経路中の風景画像として利用するといったことは行われていなかった。利用されていない１つの理由は、車両における撮像装置の取り付け位置が、安全・安心に適した画像を捕えるように決定されるため、良好な風景画像などを撮影するには適していないことである。しかし、そのような理由だけでなく、撮影した画像をそのまま利用可能にすると、プライバシーの問題を発生する恐れがあることも理由の１つである。そのため、良好な風景画像を撮影できる位置に撮像装置を搭載し、それで撮影した画像をユーザの楽しみ（アメニティ）のために利用することも、一般には行われていなかった。
【０００５】
車両に搭載された撮像装置は、車両の移動経路の周囲を撮影するが、撮影される画像には、道路に面した一般の建築物、道路際の人物、並行または対向して走行する車両などが含まれる。これらの画像には、個人のプライバシーに関係する情報も含まれるため、それらを保存して利用可能にすると、プライバシーに関係する情報が悪用される可能性があり、悪用された場合には各種の問題が発生する。特に、良好な風景画像を撮影できるような位置に撮像装置を搭載すると、このようなプライバシーに関係する情報が含まれる可能性が増大する。
【０００６】
そのため、上記のように車両の外部を撮影した画像をそのまま利用することは望ましくなく、画像を利用する場合には、画像におけるプライバシーに関係する情報を削除する必要がある。しかし、プライバシーに関係する情報を削除するには膨大な作業が必要である。
【０００７】
また、悪用の意図の無いユーザが、上記のように車両の外部を撮影した画像を利用する場合でも、大部分の画像は安全・安心のために有効であっても、ユーザがアメニティのために利用したいと希望する情報、例えば美しい風景画像であることは少ない。そのため、膨大な画像の中からアメニティのために利用したいと希望する画像を選択するには、膨大な作業が必要になる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００１−１１６５２７号公報
【特許文献２】特開平０６−３２６９７５号公報
【特許文献３】特開２００８−１９２０６０号公報
【特許文献４】特開平８−２５５２５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
以上のように、車両の外部を撮影した画像は、安全・安心のために利用されても、ユーザがアメニティのために利用されることはなかった。
【００１０】
実施形態は、プライバシーに関係する情報を多く含む画像は保存せず、プライバシーに関係する情報が少ない画像のみを保存する車載画像記録装置を実現する。
【課題を解決するための手段】
【００１１】
実施形態によれば、車両に設けられた撮像装置が撮影する車両の外部の画像を保存する記憶装置と、撮像装置の撮影した画像における遠景部分を識別する画像処理装置と、遠景部分の画像に占める割合に応じて、画像の記憶装置への保存処理を制御する画像保存制御部と、を備える車載画像記録装置が提供される。
【００１２】
車載用撮像装置で撮影できる画像では、プライバシーに関係する情報は、車両の近傍の対象物を撮影した近景に多く含まれ、遠景にはほとんど含まれない。また、悪用の意図の無いユーザがアメニティのために利用したいと希望する画像は、遠景画像であると考えられる。そこで、実施形態の車載画像記録装置では、画像処理装置が撮像装置の撮影した画像における遠景部分を識別し、画像保存制御部が遠景部分の画像に占める割合に応じて画像の記憶装置への保存処理を制御する。例えば、遠景部分の画像に占める割合が所定値以上の時のみ画像の記憶装置への保存処理を実行し、それ以外の時には画像の保存を行わない。
【発明の効果】
【００１３】
本発明によれば、これまでユーザのアメニティのために利用されていなかった車両の外部を撮影した画像が、容易にユーザのアメニティのために利用可能になる。  
【図面の簡単な説明】
【００１４】
【図１】図１は、第１実施形態の車載画像記録装置の構成を示す図である。
【図２】図２は、第１実施形態の車載画像記録装置の機能的な構成を示す図である。
【図３】図３は、第１実施形態における撮像装置の取り付け位置の例を示す図である。
【図４】図４は、第１実施形態における撮像装置の画角と撮影範囲の関係を説明する図である。
【図５】図５は、第１実施形態における撮影画像の取り込みタイミングを説明する図である。
【図６】図６は、第１実施形態における撮影画像の取り込み動作を示すフローチャートである。
【図７】図７は、第１実施形態における撮影画像の例および画像処理を説明する図である。
【図８】図８は、第１実施形態におけるグローバルベクトルの算出処理を説明する図である。
【図９】図９は、第１実施形態における画像保存処理を示すフローチャートである。
【図１０】図１０は、第２実施形態の車載画像記録装置の機能的な構成を示す図である。
【図１１】図１１は、第２実施形態における信頼度分布の算出処理を説明する図である。
【図１２】図１２は、第２実施形態における画像保存処理を示すフローチャートである。
【図１３】図１３は、第３実施形態の車載画像記録装置の機能的な構成を示す図である。
【図１４】図１４は、第３実施形態における処理を説明する図である。
【図１５】図１５は、車両前方を撮影した画像における遠景領域の例を示す図である。
【図１６】図１６は、車載画像記録装置の遠景検出部の別の構成例を示す図である。
【発明を実施するための形態】
【００１５】
図１は、第１実施形態の車載画像記録装置の構成を示す図である。
【００１６】
図１に示した第１実施形態の車載画像記録装置は、単独で構成されて使用することも可能であるが、従来のドライブレコーダやナビゲーション装置に付加される機能部分としても実現できる。第１実施形態では、車載画像記録装置は、従来のドライブレコーダの一部として実現されるものとする。
【００１７】
図１の（Ａ）に示すように、第１実施形態の車載画像記録装置は、車両に設けられた撮像装置１０が撮影する車両の外部の画像を処理するコンピュータシステム２０を備える。コンピュータシステム２０は、画像処理部２１と、記憶装置２３と、制御部２４と、を備える。画像処理部２１および制御部２４は、コンピュータのソフトウエアで実現され、記憶装置２３は不揮発性の半導体メモリや磁気ディスク装置で実現される。画像処理部２１は、画像内から遠景部分を検出する遠景検出部２１を備えるように構成される。また、制御部２４は、撮影した画像の記憶装置２３への保存を制御する保存制御部２５と、撮像装置１０での撮影および撮影した画像の取り込みタイミングを制御する撮像制御部２６と、を備えるように構成される。
【００１８】
図１の（Ｂ）は、コンピュータシステム２０を実現するハードウエア構成を示す図である。図示のように、コンピュータシステム２０は、ＣＰＵ３１と、ＲＯＭ、ＲＡＭおよびフラッシュメモリなどを有するメモリ３２と、入力インターフェース（Ｉ／Ｆ）３３と、第１外部記憶Ｉ／Ｆ３４と、第２外部記憶Ｉ／Ｆ３６と、出力Ｉ／Ｆ３８と、を有する。第１外部記憶Ｉ／Ｆ３４には、ハードディスク装置などの第１外部記憶装置３５が接続され、第２外部記憶Ｉ／Ｆ３６にはハードディスク装置などの第２外部記憶装置３７が接続される。入力Ｉ／Ｆ３３には、撮像装置１０の撮影した画像データ、車速データや方向データなどの車両１の走行データなどが入力される。出力Ｉ／Ｆ３８からは、車載ディスプレイ、プリンタなどへのデータが出力される。以上のハードウエア構成は広く知られているので、詳しい説明は省略する。
【００１９】
ここで、第１外部記憶Ｉ／Ｆ３４および第１外部記憶装置３５は、ドライブレコーダ用の画像データの保存を行う部分である。第１外部記憶装置３５は、画像処理部２１による圧縮などの処理を施した画像データを常時に保存し、記憶容量に余裕がなくなると新しい画像データを古い画像データが書き込まれている領域に上書きする。そして、車体への大きな衝撃を検出した時または画像処理の結果異常が発生したと判断された異常発生時には、その前後の画像データには新しい画像データを上書きしないようにする。これにより、異常発生時の前後の画像を保存できる。第１外部記憶装置３５に保存された画像データは、所定の権限を示すコードが入力された時のみ、任意のアドレスの画像データにアクセスして画像データを読み出したり、消去することが可能である。これにより、ドライブレコーダ用に保存された画像データの改ざんを防止できる。第１外部記憶Ｉ／Ｆ３４および第１外部記憶装置３５についてのこれ以上の説明は省略する。
【００２０】
第２外部記憶Ｉ／Ｆ３６および第２外部記憶装置３７は、第１実施形態の車載画像記録装置用の画像データの保存を行う部分であり、アメニティ用画像データを保存する。
【００２１】
第１実施形態では、車載用撮像装置１０で撮影できる画像では、プライバシーに関係する情報は、車両の近傍を撮影した近景に多く含まれ、遠景にはほとんど含まれないとする。また、悪用の意図の無いユーザがアメニティのために利用したいと希望する画像は、遠景画像であると考えられる。そこで、第１実施形態の車載画像記録装置では、画像処理部２１が撮像装置１０の撮影した画像における遠景部分を識別し、画像保存制御部２５が遠景部分の画像に占める割合に応じて画像の記憶装置２３への保存処理を制御する。例えば、遠景部分の画像に占める割合が所定値以上の時のみ画像の記憶装置２３への保存処理を実行し、それ以外の時には画像の保存を行わない。
【００２２】
図２は、第１実施形態の車載画像記録装置の機能的な構成をより詳細に示す図であり、図１の（Ａ）と同じ部分には同一の参照番号を付して表す。図２に示した機能的な構成は、第１実施形態の車載画像記録装置においてアメニティ用画像データを保存する部分の構成である。
【００２３】
図２に示すように、第１実施形態の車載画像記録装置は、撮像装置１０の撮影した１画面（フレーム）分の画像データを記憶する第１フレームメモリ４２および第２フレームメモリ４３と、撮像装置１０の撮影した画像データを第１フレームメモリ４２および第２フレームメモリ４３に取り込むタイミングを制御する撮像制御部２６と、第１フレームメモリ４２および第２フレームメモリ４３に記憶した画像データから動きベクトルを求める動きベクトル探索部４４と、動きベクトルからグローバル（ｇｌｏｂａｌ）ベクトルを検出するｇｌｏｂａｌベクトル検出部４５と、検出したグローバルベクトルに基づいて第１フレームメモリ４２または第２フレームメモリ４３の画像データの記憶装置２３（第２外部記憶装置３７）への保存を制御する画像保存制御部２５と、を備える。撮像制御部２６は、後述するように、車両からの車速データに基づいて制御を行う。また、第１フレームメモリ４２または第２フレームメモリ４３に記憶した画像データは、圧縮などの画像処理が施された後記憶装置２３に記憶される。
【００２４】
図３は、第１実施形態の車載画像記録装置における撮像装置の取り付け位置の例を示す図である。図３に示すように、撮像装置は、撮影した画像の利用目的に応じて車両１のいろいろな部分に設けることができる。例えば、撮像装置１０Ａは、車両１の左前方のコーナーに設けられる。撮像装置１０Ｂは、車両１の右前方のコーナーに設けられる。撮像装置１０Ａ、１０Ｂの画像は、見通しの悪い交差点に進入する場合に運転者に左右の状況を示す画像として使用される。撮像装置１０Ｃは、車両１のルーフの前方中央に設けられ、撮像装置１０Ｃの画像は、例えばドライブレコーダなどに利用される。撮像装置１０Ｄ、１０Ｅは、車両１のルーフの左右に設けられ、駐車スペースの確認などに使用される。撮像装置１０Ｆは、車両１の後方中央に設けられ、撮像装置１０Ｃの画像は、後進する場合に運転者に後方の状況を示す画像として使用される。
【００２５】
撮像装置の取り付け位置は、他にも各種の変形例が可能であり、撮影方向についても各種の変形例が可能である。また、車両に搭載する撮像装置の個数も特に制限されない。ドライブレコーダ用の画像を撮影する撮像装置の撮影した画像データを、アメニティ用に使用することも可能である。第１実施形態では、車載画像記録装置は、車両１の左前方のコーナーに設けた撮像装置１０Ａの撮影する画像をアメニティ用に記憶するものとする。撮像装置１０Ａは、画角θの撮影範囲を有し、撮影方向は車両１の側方、すなわち前方に対して左側９０度方向であるとする。
【００２６】
図４は、撮像装置１０Ａの画角と撮影範囲の関係を示す図である。撮像装置１０Ａの画角をθとすると、距離ｄ離れた位置で、撮像装置１０Ａが画面内に捕らえる範囲の長さＬは、次の式で求めることができる。
【００２７】
Ｌ＝２×ｄ／ｔａｎ（θ／２）
ここで、遠景とみなす対象物の距離の閾値をｄとする。言い換えれば、距離ｄ以上離れた対象物が遠景であり、距離ｄ以内の対象物が近景である。第１実施形態では、１０ｍ〜２０ｍの範囲を市街地における近景とする。言い換えれば、距離ｄを１０ｍ〜２０ｍ内の適当な値とする。
【００２８】
図５は、撮像制御部２６による、撮像装置１０の撮影した画像データを、第１フレームメモリ４２および第２フレームメモリ４３に取り込むタイミングおよび撮影範囲を説明する図である。
【００２９】
図５に示すように、車両１が同じ方向に移動し、時刻ｔＡに撮影した画像データを第１フレームメモリ４２に記憶し、時刻ｔＢに撮影した画像データを第２フレームメモリ４３に記憶する。車両１から距離ｄ離れた位置のライン２における時刻ｔＡに撮影した画像の範囲Ｌ１と、ライン２における時刻ｔＢに撮影した画像の範囲Ｌ２とが重ならないで隣接する場合、車両１は時刻ｔＡとｔＢの間に距離Ｌだけ移動したことになる。したがって、車両１から距離ｄ以内の対象物は、車両が距離Ｌだけ移動する前後の画像、すなわち第１フレームメモリ４２および第２フレームメモリ４３に記憶された画像データには、共通には含まれないことになる。なお、距離ｄより遠方の対象物のうち、図５でＬ３で示した範囲内にある物体が、車両が距離Ｌだけ移動する前後の画像、すなわち第１フレームメモリ４２および第２フレームメモリ４３に記憶された画像データに共通には含まれることになる。
【００３０】
図６は、撮像制御部２６の制御シーケンスを示すフローチャートである。このシーケンスでは、車速データｖに基づいて、移動距離Ｌごとに撮影して記憶する。
【００３１】
ステップ１０１では、撮像制御部２６が、車両１から車速データｖを受け取り、ｖ＝０、すなわち停止しているかを判定し、停止していればステップ１０５に進み、停止していなければステップ１０２に進む。
【００３２】
ステップ１０２では、撮像制御部２６が、タイマーにτ＝Ｌ／ｖをセットし、タイマー動作を開始する。
【００３３】
ステップ１０３では、撮像制御部２６が、タイマーがゼロになるまで待機し、ゼロになると、すなわち時間τ経過するとステップ１０４に進む。
【００３４】
ステップ１０４では、撮像制御部２６は、第１フレームメモリ４２または第２フレームメモリ４３に画像取込信号を出力する。第１フレームメモリ４２および第２フレームメモリ４３は、画像取込信号に応じて撮像信号１０Ａが出力する画像データを交互に取り込む。したがって、第１フレームメモリ４２に記憶された画像が、第２フレームメモリ４３に記憶された画像の前である場合も後である場合もあり得る。以下の説明では第１フレームメモリ４２に記憶された画像が、第２フレームメモリ４３に記憶された画像の前である場合を例として説明し、第１フレームメモリ４２に記憶された画像を前画像、第２フレームメモリ４３に記憶された画像を後画像と称する。この後、ステップ１０１に戻る。
【００３５】
ステップ１０５では、画像取込信号の出力を抑制する。したがって、停止時には、第１フレームメモリ４２または第２フレームメモリ４３に新たに画像データが取り込まれることはなく、動きベクトルの探索などの画像処理も行われない。
【００３６】
図７は、第１フレームメモリ４２および第２フレームメモリ４３に記憶された画像の例を示す図である。図７の（Ａ）は、第１フレームメモリ４２に記憶された遠景が含まれる前画像の例を示し、図７の（Ｂ）は図７の（Ａ）の画像を撮影した後、さらに距離Ｌ移動した時に撮影されて第２フレームメモリ４３に記憶された後画像の例を示す。図７の（Ｃ）は、第１フレームメモリ４２に記憶された近景のみが含まれる前画像の例を示し、図７の（Ｄ）は図７の（Ｃ）の画像を撮影した後、さらに距離Ｌ移動した時に撮影されて第２フレームメモリ４３に記憶された後画像の例を示す。
【００３７】
図７の（Ａ）および（Ｂ）に示すように、遠景が含まれる画像では、遠景部分は前画像と後画像の両方に含まれる。したがって、後述するように、２枚の画像で動きベクトル探索を行うと、遠景部分では車両の移動に応じたベクトル、すなわちグローバルベクトルが求まるが、近景部分ではグローバルベクトルが求まらない。そこで、第１実施形態では、グローバルベクトルが求まる部分を遠景部分、グローバルベクトルが求まらない部分を近景部分と判定する。図７の（Ａ）および（Ｂ）に示した水平方向の一点鎖線（横ライン）は、撮像装置１０Ａの設置位置から決められる画面の分割位置で、これより上部でグローバルベクトルの検出を行う。このグローバルベクトルが求まる領域が、画面内に占める割合が大きい場合に、撮影した画像の保存が許可される。
【００３８】
図７の（Ｃ）および（Ｄ）は、通り沿いの建物が大写しで撮影されている画像である。このような近景のみが含まれる２枚の画像では、同じ部分が撮影されないので、動きベクトル探索を行ってもグローバルベクトルが求まらない。その結果、図７の（Ａ）および（Ｂ）に示した横ラインより上部でグローバルベクトルが求まらないため、撮影した画像の保存は許可されない。
【００３９】
ここで、第１実施形態において動きベクトル探索部４４およびｇｌｏｂａｌベクトル検出部４５が行う遠景部分の識別処理、および画像保存制御部２５が行う遠景部分の識別結果に基づく保存処理の基本原理を説明する。
【００４０】
撮像装置は車両１の左前方のコーナーに設けられ、画角θの撮影範囲を有し、撮影方向は車両１の側方、すなわち前方に対して左側９０度方向である。そのため、図７の（Ａ）から（Ｄ）に示すように、遠景は画面の上側に存在することが多く、近景は画面の下側に存在することが多く、ある横ラインから下側はほとんど近景になる。また、車両は概ね水平方向に移動するので、グローバルベクトルは概ね水平方向である。
【００４１】
そこで、第１実施形態では、画面全体をＮｘ×Ｎｙ個のマクロブロックに分割し、マクロブロック単位で動きベクトルｍｖ（ｉ，ｊ）（０≦ｉ＜Ｎｘ−１、０≦ｊ＜Ｎｙ−１）を求める。ここで、ｘ方向が水平方向、ｙ方向が垂直方向であるとする。動きベクトルは、２つの画像を水平方向に限定してパターンマッチングすることにより求める。
【００４２】
そして、図８に示すように、マクロブロックの動きベクトルをブロック行ごとに平均処理し、１行分のマクロブロックの動きベクトルの平均ｍｖａｖｅ（ｊ）を算出する。
【００４３】
さらに、求めたブロック行ごとの平均ｍｖａｖｅ（ｊ）の上からｋ（０≦ｊ＜Ｎｙ−１）行での平均ｍｖａｖｅｌ（ｋ）を求める。平均ｍｖａｖｅｌ（ｋ）は、次の式（１）で表される。
【００４４】
【数１】
2010268148.tif 000003
【００４５】
さらに、平均ｍｖａｖｅｌ（ｋ）のｋ行でのばらつきｍｖｖａｒ（ｋ）を算出する。このばらつきｍｖｖａｒ（ｋ）は次の式（２）で表される。
【００４６】
【数２】
2010268148.tif 000004
【００４７】
ばらつきｍｖｖａｒ（ｋ）が所定の閾値より小さくなるｋを求める。このようにして決定した０行からｋ行のマクロブロックが遠景の範囲である。
【００４８】
そして、画面内で遠景の占める割合が所定の割合より大きい場合に、その画像を保存する。なお、上記の処理を、図７の（Ａ）および（Ｂ）に示した上部についてのみ行うようにしてもよい。
【００４９】
図９は、第１実施形態における画像保存制御部２５の処理シーケンスを示すフローチャートである。
【００５０】
ステップ２０１では、ｋに１を代入する。
【００５１】
ステップ２０２では、ｋがＮｙ以上であるかを判定し、Ｎｙ以上であればステップ２０５に進み、Ｎｙより小さければステップ２０３に進む。
【００５２】
ステップ２０３では、ばらつきｍｖｖａｒ（ｋ）が所定の閾値ｔｈ１より小さいかを判定し、小さければステップ２０４に進み、小さくなければステップ２０５に進む。
【００５３】
ステップ２０４では、ｋを１増加させてステップ２０２に戻る。
【００５４】
ステップ２０５では、ｋがＮｙに所定の割合ｔｈ２を乗じた値より大きいかを判定し、大きければステップ２０６に進み、大きくなければステップ２０７に進む。
【００５５】
ステップ２０６では、画像保存制御部２５がその画像データを記憶装置２３に保存する。
【００５６】
ステップ２０７では、保存処理を行わない。
【００５７】
以上説明したように、第１実施形態では、遠景の割合が多い画像のみが保存される。遠景の割合が少なく、近景の割合が大きな画像は、プライバシーに関係する可能性が高いため、保存されない。
【００５８】
図１０は、第２実施形態の車載画像記録装置の構成を示す図であり、図１の（Ａ）および図２と同じ部分には同一の参照番号を付して表す。図１０は、第１実施形態の装置の構成を示した図２に対応する図である。
【００５９】
第２実施形態の車載画像記録装置は、信頼度分布検出部４７をさらに設けたことが第１実施形態の車載画像記録装置と異なり、他の部分は類似している。したがって、ここでは、信頼度分布検出部４７、および信頼度分布検出部４７の検出結果に基づいて保存処理を行う画像保存制御部２５についてのみ説明する。
【００６０】
第２実施形態では、信頼度分布を求めて、求めた信頼度分布に応じて保存処理を行う。動きベクトルの信頼度を求めると、２枚の画像に共通に含まれる遠景部分では信頼度が高い動きベクトルが求まり、２枚の画像に共通には含まれない近景部分では動きベクトル候補の信頼度が低い。画面全体にわたるこの信頼度の分布は、動きベクトルの求まる領域と求まらない領域に対応する。ベクトルの信頼度が高い領域についてグローバルベクトルが検出されれば、その領域は遠景が含まれることを意味するので、撮影した画像を保存してもよい。画面全体にわたって信頼度が低い場合は、撮影した画像を保存しない。
【００６１】
第２実施形態において、信頼度分布検出部４７が信頼度を求める処理を具体的に説明する。第２実施形態では、前述のマクロブロックの動きベクトルｍｖ（ｉ，ｊ）における類似度を表すＳＡＤ値ｍｖＲ（ｉ，ｊ）を求める。ＳＡＤ値は、小さいほど信頼度が高い。
【００６２】
そして、図１１に示すように、マクロブロックのＳＡＤ値をブロック行ごとに平均処理し、１行分のマクロブロックの動きベクトルのＳＡＤ値ｍｖＲａｖｅ（ｊ）を算出する。
【００６３】
さらに、求めたブロック行ごとのＳＡＤ値ｍｖＲａｖｅ（ｊ）の上からｋ（０≦ｊ＜Ｎｙ−１）行での平均ｍｖＲ（ｋ）を求める。ｍｖＲ（ｋ）は、次の式（３）で表される。
【００６４】
【数３】
2010268148.tif 000005
【００６５】
ｍｖＲ（ｋ）の小さな領域が遠景の範囲であり、０行からｋ行のマクロブロックが遠景の範囲である。
【００６６】
画像保存制御部２５は、ｇｌｏｂａｌベクトル検出部４５が識別した遠景領域に関する情報と、信頼度分布検出部４７が算出した遠景領域に関する情報と、に基づいて、画像を記憶装置２３に保存するかしないかを判定して、保存処理を行う。
【００６７】
図１２は、第２実施形態における画像保存制御部２５の処理シーケンスを示すフローチャートである。
【００６８】
ステップ３０１では、ｋに１を代入する。
【００６９】
ステップ３０２では、ｋがＮｙ以上であるかを判定し、Ｎｙ以上であればステップ３０５に進み、Ｎｙより小さければステップ３０３に進む。
【００７０】
ステップ３０３では、ｍｖＲ（ｋ）が所定の閾値ｔｈ３より小さいかを判定し、小さければステップ３０４に進み、小さくなければステップ３０５に進む。
【００７１】
ステップ３０４では、ｋを１増加させてステップ３０２に戻る。
【００７２】
ステップ３０５では、ｋがＮｙに所定の割合ｔｈ２を乗じた値より大きいか且つ第１実施形態で検出したｍｖｖａｒ（ｋ）が所定の閾値ｔｈ１より小さいかを判定し、条件を満たせばステップ３０６に進み、大きくなければステップ３０７に進む。
【００７３】
ステップ３０６では、画像保存制御部２５がその画像データを記憶装置２３に保存する。
【００７４】
ステップ３０７では、保存処理を行わない。
【００７５】
以上説明したように、第２実施形態では、第１実施形態と同様に、遠景の割合が多い画像のみが保存され、遠景の割合が少ない画像は保存されないが、ベクトルの信頼度も考慮するので、より高い精度で遠景の割合を判定できる。
【００７６】
なお、画像保存制御部２５が、信頼度分布検出部４７の算出した遠景領域に関する情報のみに基づいて、画像を記憶装置２３に保存するかしないかを判定するように変形することも可能である。具体的には、ステップ３０５で、ｍｖｖａｒ（ｋ）については判定せず、ｋがＮｙに所定の割合ｔｈ２を乗じた値より大きいかのみを判定する。
【００７７】
図１３は、第３実施形態の車載画像記録装置の構成を示す図であり、図１０と同じ部分には同一の参照番号を付して表す。
【００７８】
第３実施形態の車載画像記録装置は、画像符号化装置４８をさらに設けたことが第２実施形態の車載画像記録装置と異なり、他の部分は類似している。したがって、ここでは、画像符号化装置４８および画像保存制御部２５についてのみ説明する。
【００７９】
第３実施形態では、第２実施形態で求めた信頼度に応じて、画像の中で割り当てる情報ビットを動的に配分する。画像符号化手法は、ＪＰＥＧに代表されるＤＣＴ変換と、ビットレート制御であり、近景に対応する信頼度の低い領域には、割り当てる情報ビットを減らす。これにより保存した画像データを復号した場合に得られる画像では、信頼度の低い近景領域はモザイク状の画像になり、プライバシーの問題が発生しない。
【００８０】
第３実施形態におけるビットレート制御を具体的に説明する。ここでは、説明を簡単にするために、動きベクトルを求めたＮｘ×Ｎｙ個のマクロブロックで画面全体が構成されていると仮定する。
【００８１】
全体ビットレートをφとする。第２実施形態においてベクトルの信頼度に応じて決定された０行からｋ行のマクロブロックの範囲を遠景領域とし、残りのｋ＋１行からＮｙ行のマクロブロックの範囲を近景領域とする。近景領域のマクロブロックについては、割り当てるビットを一律にαビット削減する。これにより、全体としてα×Ｎｘ×（Ｎｙ−１−ｋ）が削減される。この削減された総ビットを、０行からｋ行のマクロブロックの符号化に再配分する。これにより、全体のビットレートφは維持したまま、近景領域は、マクロブロックに割り当てられるビットが減少し、ブロック状のモザイク画となる。一方、遠景領域のマクロブロックに割り当てられるビットが増加し、遠景領域はより鮮明になる。
【００８２】
図１４は、第３実施形態における画像の符号化を説明する図である。図１４の（Ａ）に示すような画像が撮影され、中央付近の水平方向の一点鎖線より上の部分が高信頼度領域、すなわち遠景領域と判定され、下の部分が低信頼度領域、すなわち近景領域と判定されたと仮定する。上記のように、遠景領域には多くのビットを割り当てて符号化し、近景領域には少しのビットを割り当てて符号化し、符号化終了後記憶装置２３に保存する。保存した画像データを読み出して再生（復号化）すると、図１４の（Ｂ）に示すように、遠景領域は鮮明な画像になるが、近景領域はモザイク状の画像になる。そのため、近景領域に人が写っていても、識別できず、プライバシーの問題は生じない。
【００８３】
以上、車両の左前方のコーナーに設けた撮像装置１０Ａの撮影する画像を例として説明を行ったが、前述のように、撮像装置を設ける位置は制限されない。例えば、車両の前方を撮影する撮像装置の画像では、画面の両側および下側に近景が出現する。そこで、第１から第３実施形態の処理を行うと共に、図８および図１１に示した平均を求める処理を縦方向（上下方向）について画像中心から左右に行い、図１５において斜線で示すような遠景領域５１を決定することも可能である。
【００８４】
さらに、画像において遠景または近景の領域であることを判定する手法は、第１から第３実施形態の処理方法に限定されず、遠景領域または近景領域であることが判定可能であればどのような手法を使用することも可能である。
【００８５】
例えば、図１６は、特許文献１に記載された立体物検出装置の構成を示す図である。第１の動きベクトル検出部６１が画像中の動きベクトル（第１の動きベクトル）を検出し、第２の動きベクトル検出部６２が車両の移動距離などから画像中に存在する平面の動きベクトル（第２の動きベクトル）を検出する。平面の動きベクトルは、奥行きに沿ってベクトルノルムが小さくなり、また静止立体物がある場合は、ベクトルノルムが一定になる。比較部６３は、このことを利用して、第１の動きベクトルと第２の動きベクトルを比較し、立体物判定部６４が比較結果から平面に対して静止している立体物検出する。
【００８６】
特許文献１に記載された上記の手法を利用して遠景領域または近景領域であることを判定することが可能であり、その判定結果に基づいて第１から第３実施形態のように画像の保存処理を制御する。
【００８７】
ここに記載したすべての例や条件は、発明および技術に適用する発明の概念の理解を助ける目的で記載されたものであり、特に記載された例や条件は発明の範囲を制限することを意図するものではなく、明細書のそのような例の構成は発明の利点および欠点を示すものではない。発明の実施形態を詳細に記載したが、各種の変更、置き換え、変形が発明の精神および範囲を逸脱することなく行えることが理解されるべきである。
【００８８】
以下、実施形態に関し、更に以下の付記を開示する。
（付記１）
車両に設けられた撮像装置が撮影する車両の外部の画像を保存する記憶装置と、
前記撮像装置の撮影した画像における遠景部分を識別する画像処理部と、
遠景部分の画像に占める割合に応じて、画像の前記記憶装置への保存処理を制御する画像保存制御部と、を備えることを特徴とする車載画像記録装置。
（付記２）
前記画像保存制御部は、遠景部分の画像に占める割合が所定値以上の時に、画像の前記記憶装置への保存処理を実行することを特徴とする付記１に記載の車載画像記録装置。
（付記３）
前記画像処理装置は、少なくとも２フレーム分の画像を一時記憶するフレームメモリを備え、
当該車載画像記録装置は、前回の撮影位置からの移動距離に基づいて、前記撮像装置の撮影した画像の前記フレームメモリへの記憶タイミングを制御する撮像制御部を備え、
前記画像処理装置は、前記フレームメモリに記憶された画像間の動きベクトルを算出し、算出した動きベクトルを解析して画像内のグローバルベクトルを算出し、グローバルベクトルが算出される領域を遠景部分と判定することを特徴とする付記１または２に記載の車載画像記録装置。
（付記４）
前記画像処理装置は、画面の領域ごとに動きベクトルの信頼度を算出して動きベクトルの信頼度分布を算出し、グローバルベクトルが算出される領域のうち、所定の信頼度以上の領域を真遠景部分と判定し、
前記画像保存制御部は、前記真遠景部分の画像に占める割合が所定値以上の時に、画像の前記記憶装置への保存処理を実行することを特徴とする付記３に記載の車載画像記録装置。
（付記５）
前記画像処理装置は、各領域の動きベクトルの信頼度に応じてビットレートを割り当て、割り当てられたビットレートに応じて各領域の画像を符号化し、
前記画像保存制御部は、符号化された前記画像を前記記憶装置に保存することを特徴とする付記４に記載の車載画像記録装置。
（付記６）
前記記憶装置は、
前記撮像装置の撮影した画像を順次保存し、所定の権限が入力された時のみ保存した画像を出力する第１記憶装置と、
前記画像保存制御部により画像の保存処理が制御される第２記憶装置と、を備え、
前記第２記憶装置に保存された画像は任意にアクセス可能であることを特徴とする付記１から５のいずれかに記載の車載画像記録装置。
（付記７）
車両の外部を撮影した画像を保存する車載画像記録方法であって、
撮影した画像における遠景部分を識別し、
遠景部分の画像に占める割合に応じて、画像の保存処理を制御することを特徴とする車載画像記録方法。
【符号の説明】
【００８９】
１    車両
１０，１０ａ−１０Ｆ    撮像装置
２０    コンピュータシステム
２１    画像処理部
２２    遠景検出部
２３    記憶装置
２４    制御部
２５    保存制御部
２６    撮像制御部
４２    第１フレームメモリ
４３    第２フレームメモリ
４４    動きベクトル探索部
４５    ｇｌｏｂａｌベクトル検出部
４７    信頼度分布検出部
４８    画像符号化装置
【図１】
2010268148.tif 000006
【図２】
2010268148.tif 000007
【図３】
2010268148.tif 000008
【図４】
2010268148.tif 000009
【図５】
2010268148.tif 000010
【図６】
2010268148.tif 000011
【図７】
2010268148.tif 000012
【図８】
2010268148.tif 000013
【図９】
2010268148.tif 000014
【図１０】
2010268148.tif 000015
【図１１】
2010268148.tif 000016
【図１２】
2010268148.tif 000017
【図１３】
2010268148.tif 000018
【図１４】
2010268148.tif 000019
【図１５】
2010268148.tif 000020
【図１６】
2010268148.tif 000021