(57)【要約】【課題】入力画像に基づいて出力画像を出力するとともに、入力画像が入力された時の状況が誤認されることを抑制する出力画像を出力する画像処理装置と、この画像処理装置を搭載した記録装置を提供する。【解決手段】出力画像５０は、入力画像に基づいて作成される画像５０ａと、入力画像が入力される時間に関する情報である時間情報を表す表５０ｂと、を備える。表５０ｂには、各チャネルｃｈ１〜ｃｈ４の画像が基づく入力画像の時間情報がそれぞれ記載される。これにより、画像５０ａ中の各画像が示す状況の時間差を確認することができる。【選択図】図１１
2010028537.tif 000002
【特許請求の範囲】
【請求項１】
入力される入力画像に基づいた出力画像を作成し、出力する画像処理装置において、
前記入力画像が入力される時間に関する情報である時間情報を作成する時間情報作成部を備え、
前記出力画像とともに前記時間情報を出力することを特徴とする画像処理装置。
【請求項２】
前記入力画像が非同期で複数入力され、前記出力画像に、複数の前記入力画像に基づいた複数の画像が含まれるとともに、
当該複数の画像が基づく複数の前記入力画像に対する前記時間情報を、出力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記入力画像の画像データが書き込まれて一時的に保持されるフレームメモリ部をさらに備え、
前記出力画像の画像データが、前記フレームメモリ部に保持された画像データが読み出されて作成されるものであり、
前記時間情報作成部が、前記フレームメモリ部に画像データが書き込まれるタイミングと、前記フレームメモリ部から画像データが読み出されるタイミングと、の差から前記時間情報を作成することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記時間情報作成部が、
前記フレームメモリ部に画像データが書き込まれるタイミングを特定する書き込み信号を生成して出力する書き込み信号生成部と、
前記フレームメモリ部から画像データが読み出されるタイミングを特定する読み出し信号を生成して出力する読み出し信号生成部と、
前記読み出し信号に基づいて、前記フレームメモリ部から前記画像データが読み出されるタイミングを認識するとともに、前記読み出し信号が出力されたときに出力されている書き込み信号に基づいて、前記画像データが前記フレームメモリ部に書き込まれるタイミングを認識して、前記時間情報を作成する時間差測定部と、
を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記時間情報を画像として前記出力画像に含ませる時間情報書き込み部を、さらに備えることを特徴とする請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記入力画像を作成するカメラと、
請求項１〜請求項５のいずれかに記載の画像処理装置と、
記録を行う記録部と、を備え、
前記画像処理装置にて作成される前記出力画像と前記時間情報とが、前記記録部に記録されることを特徴とする記録装置。
【請求項７】
前記カメラが、車両に設けられるものであるとともに、
前記車両の事故を予見または検知する事故検出部と、
前記出力画像の出力形式を指定する出力形式指定部と、をさらに備え、
前記事故検出部が前記車両の事故を予見または検知したときに、前記出力形式指定部が、好適記録画像形式を指定することを特徴とする請求項６に記載の記録装置。
【請求項８】
前記画像処理部が、前記記録部に記録する前記出力画像の他に、他の出力画像を出力するものであり、
前記出力形式指定部が、前記他の出力画像の前記出力形式として、自機器に高い負荷がかかる高負荷画像形式を指定しているときに、前記事故検出部が前記車両の事故を予見または検知したとき、
前記出力形式指定部が、前記他の出力画像の前記出力形式として、自機器に低い負荷がかかる低負荷画像形式または前記他の出力画像の出力を停止させる停止形式を指定することを特徴とする請求項７に記載の記録装置。
【請求項９】
前記カメラが、前記車両に複数備えられるとともに異なる方向を撮像して複数の前記入力画像を作成し、
前記事故検出部が、前記車両の事故を予見または検知するとともに当該事故が発生する方向を予見または検知し、
前記好適記録画像形式が、複数の前記入力画像を縮小した複数の画像を前記出力画像中に配置するものであり、
前記事故検出部が前記車両の事故を予見または検知したとき、前記出力形式指定部が、前記事故検出部が予見または検知した前記事故が発生する方向に基づいて、前記複数の画像の少なくとも一つを大きくすることを特徴とする請求項７または請求項８に記載の記録装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の入力画像から出力画像を生成する画像処理装置や、この画像処理装置から出力される画像を記録する記録装置に関する。
【背景技術】
【０００２】
近年、安全な運転を支援したり、事故時の映像を記録したりするために、車両にカメラを搭載する場合がある。そして、これらのカメラによって順次撮像されて入力される入力画像を適宜処理することによって、運転者が即時的に確認するための表示用の出力画像を生成したり、事後的に確認するための記録用の出力画像を生成したりする画像処理装置が広く用いられている。
【０００３】
また、例えば特許文献１には、車両の前後左右の４つの方向に向けられたカメラを搭載するとともに、各カメラから得られる入力画像を合わせて１つの記録用の出力画像として関連付け、順次記録する記録装置が提案されている。
【０００４】
【特許文献１】特開平１１−１１０８９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような記録装置で記録される記録用の出力画像が、必ずしも正しい状況を示しているとは限らないことが問題となる。具体的には、記録用の出力画像に含まれる関連付けられた複数の入力画像のそれぞれの撮像のタイミングが、一致せずにずれている場合があることが問題となる。これは、車両に搭載される複数のカメラが同期して動作していない（それぞれが個別に動作する、いわゆる内部同期カメラである）場合に主に発生する。具体的には、それぞれのカメラによってそれぞれのタイミングで撮像された複数の入力画像がそれぞれのタイミングで画像処理装置に入力されるため、画像処理装置が、実際には撮像したタイミングがずれている複数の画像を関連付けて１つの記録用の出力画像として出力してしまうために発生する。
【０００６】
１つの記録用の出力画像に含まれる画像間に生じるズレは最大で１〜２フレーム分となる。このズレは、例えば、２フレーム分のズレが生じるとともにカメラから画像処理装置に入力される信号がＮＴＳＣ信号（毎秒約６０フィールド、即ち毎秒約３０フレーム）である場合、時間にして約１／１５秒のズレとなる。また、この時間のズレを、時速６０ｋｍ／ｈで走行している車両における撮像位置のズレに換算すると、約１．１１ｍとなる。
【０００７】
以上のように、記録用の出力画像に含まれる複数の画像間に、時間的及び距離的なズレが生じ得る。そして、このズレによって事故時の状況（例えば、多重衝突事故における衝突順や、回避行動の有無、回避方向など）が誤認されやすくなるため、事故解析の妨げとなる。
【０００８】
なお、複数のカメラ全てに共通の外部同期信号を与えて動作させることにより複数のカメラから入力される入力画像を同期されたものとする、いわゆる外部同期方式を採用することによって、この問題を改善する方法がある。しかしながら、外部同期方式を採用するためには、外部同期信号を生成する装置を設ける必要や、複数のカメラに外部同期信号を供給するための配線を設ける必要が生じるため、システムの構成が複雑化してしまう。また、カメラモジュール自体の小型化の妨げにもなる。
【０００９】
そこで本発明は、入力画像に基づいて出力画像を出力するとともに、入力画像が入力された時の状況が誤認されることを抑制する出力画像を出力する画像処理装置を提供することを目的とする。また、この画像処理装置を備えた記録装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記目的を達成するために本発明に係る画像処理装置は、入力される入力画像に基づいた出力画像を作成し、出力する画像処理装置において、前記入力画像が入力される時間に関する情報である時間情報を作成する時間情報作成部を備え、前記出力画像とともに前記時間情報を出力することを特徴とする。
【００１１】
また、上記構成の画像処理装置において、前記入力画像が非同期で複数入力され、前記出力画像に、複数の前記入力画像に基づいた複数の画像が含まれるとともに、当該複数の画像が基づく複数の前記入力画像に対する前記時間情報を、出力することとしても構わない。
【００１２】
このように構成すると、非同期で入力された複数の入力画像を用いて作成される出力画像をユーザが確認したときに、出力画像に用いられているそれぞれの入力画像の入力タイミングが確認されることとなる。したがって、入力画像の入力タイミングがずれている場合に、全て同じタイミングで入力されたものである（全て同じタイミングで撮像されたものである）と誤認されることによって事故時の状況が誤認されることを抑制することが可能となる。
【００１３】
また、上記構成の画像処理装置において、前記入力画像の画像データが書き込まれて一時的に保持されるフレームメモリ部をさらに備え、前記出力画像の画像データが、前記フレームメモリ部に保持された画像データが読み出されて作成されるものであり、前記時間情報作成部が、前記フレームメモリ部に画像データが書き込まれるタイミングと、前記フレームメモリ部から画像データが読み出されるタイミングと、の差から前記時間情報を作成することとしても構わない。
【００１４】
このように構成すると、時間情報を作成するために入力画像が入力される絶対的な時間を記録したり管理したりすることを不要とすることができる。そのため、容易に時間情報を得ることができる。なお、以下の実施形態では、フレームメモリ部の一例としてＲＡＭ部（特に、フレームメモリ領域）を挙げて説明している。
【００１５】
また、上記構成の画像処理装置において、前記時間情報作成部が、前記フレームメモリ部に画像データが書き込まれるタイミングを特定する書き込み信号を生成して出力する書き込み信号生成部と、前記フレームメモリ部から画像データが読み出されるタイミングを特定する読み出し信号を生成して出力する読み出し信号生成部と、前記読み出し信号に基づいて、前記フレームメモリ部から前記画像データが読み出されるタイミングを認識するとともに、前記読み出し信号が出力されたときに出力されている書き込み信号に基づいて、前記画像データが前記フレームメモリ部に書き込まれるタイミングを認識して、前記時間情報を作成する時間差測定部と、を備えることとしても構わない。
【００１６】
このように構成すると、画像データをフレームメモリ部に書き込む際に用いられる書き込み信号と、フレームメモリ部から読み出すときに用いられる読み出し信号と、を利用して時間情報を作成することができる。そのため、時間を測定する装置を設けるなどの大幅な構成の変更を要することなく、容易に時間情報を作成することが可能となる。また、画像処理装置の小型化及び簡素化を図ることが可能となる。なお、以下の実施形態では、書き込み信号生成部及び書き込み信号の一例として書き込みアドレス生成回路及び書き込みアドレスを挙げ、読み出し信号生成部及び読み出し信号の一例として映像出力アドレス生成回路及び垂直同期信号を挙げ、時間差測定部の一例としてレジスタ及びＭＰＵを挙げて説明している。
【００１７】
また、上記構成の画像処理装置において、前記時間情報を画像として前記出力画像に含ませる時間情報書き込み部を、さらに備えることとしても構わない。
【００１８】
このように構成すると、出力画像を再生（表示）可能な再生装置であれば、どのような再生装置であっても時間情報を確認することが可能となる。そのため、画像情報と時間情報とを関連付けて再生する特殊な機能を備えた再生装置を用いることなく、時間情報を確認することができる。なお、以下の実施形態では、時間情報書き込み部の一例としてＭＰＵ及びＲＡＭ部（特に、カラーテーブル及びＬＵＴ）を挙げて説明している。
【００１９】
また、本発明の記録装置は、前記入力画像を作成するカメラと、上記のいずれかに記載の画像処理装置と、記録を行う記録部と、を備え、前記画像処理装置にて作成される前記出力画像と前記時間情報とが、前記記録部に記録されることを特徴とする。
【００２０】
また、上記構成の記録装置において、前記カメラが、車両に設けられるものであるとともに、前記車両の事故を予見または検知する事故検出部と、前記出力画像の出力形式を指定する出力形式指定部と、をさらに備え、前記事故検出部が前記車両の事故を予見または検知したときに、前記出力形式指定部が、好適記録画像形式を指定することとしても構わない。
【００２１】
このように構成すると、事故発生を予見または検知したときに、記録部に記録される出力画像の出力形式を指定する構成となる。特に、記録に適した形式である（事故時の状況が誤認されにくい）好適記録画像形式の出力画像を出力し、記録することが可能となる。なお、以下の実施形態では、事故検出部の一例としてＭＰＵ及びＣＡＮ／ＬＩＮ、出力形式指定部の一例としてＭＰＵ及びＲＡＭ部（特に、ＬＵＴ）を挙げて説明している。
【００２２】
また、上記構成の記録装置において、前記画像処理部が、前記記録部に記録する前記出力画像の他に、他の出力画像を出力するものであり、前記出力形式指定部が、前記他の出力画像の前記出力形式として、自機器に高い負荷がかかる高負荷画像形式を指定しているときに、前記事故検出部が前記車両の事故を予見または検知したとき、前記出力形式指定部が、前記他の出力画像の前記出力形式として、自機器に低い負荷がかかる低負荷画像形式または前記他の出力画像の出力を停止させる停止形式を指定することとしても構わない。
【００２３】
このように構成すると、事故発生を予見または検知したときに、記録用の出力画像の出力を優先させることが可能となる。特に、他の出力画像を出力することによる記録装置への負荷を低減することで、記録用の出力画像に乱れや途切れが発生することを抑制することができる。
【００２４】
また、上記構成の記録装置において、前記他の出力画像の表示を行う表示部をさらに備えることとしても構わない。
【００２５】
また、上記構成の記録装置において、前記カメラが、前記車両に複数備えられるとともに異なる方向を撮像して複数の前記入力画像を作成し、前記事故検出部が、前記車両の事故を予見または検知するとともに当該事故が発生する方向を予見または検知し、前記好適記録画像形式が、複数の前記入力画像を縮小した複数の画像を前記出力画像中に配置するものであり、前記事故検出部が前記車両の事故を予見または検知したとき、前記出力形式指定部が、前記事故検出部が予見または検知した前記事故が発生する方向に基づいて、前記複数の画像の少なくとも一つを大きくすることとしても構わない。
【００２６】
このように構成すると、事故が発生する方向に基づいて、出力画像中の事故解析に重要な画像を大きくして（あまり縮小せずに高画質で）記録することが可能となる。したがって、事故時の状況が把握されやすい出力画像を記録することができる。また、事故解析に重要でないと判定される画像についても出力画像に含めて記録することとなる。そのため、事故解析に重要でないと判定される画像に重要な証拠が含まれる場合に、その証拠を記録することが可能となる。
【００２７】
また、本発明の記録装置は、車両に設けられるとともに入力画像を作成するカメラと、入力される前記入力画像に基づいた出力画像を作成して出力する画像処理装置と、前記出力画像の記録を行う記録部と、前記車両の事故を予見または検知する事故検出部と、前記出力画像の出力形式を指定する出力形式指定部と、を備え、前記事故検出部が前記車両の事故を予見または検知したときに、前記出力形式指定部が、好適記録画像形式を指定することを特徴とする。
【００２８】
記録装置は、円滑な動作を行うために記録用の出力画像が制限される場合がある。例えば、出力画像を記録する一方で、ユーザに出力画像を表示するなどして運転の支援を行う場合がある。このような場合、記録装置に大きな負荷がかかり出力画像に乱れや途切れが発生する場合がある。これを防ぐためには、記録用と表示用の出力画像を共通のものとしたり、異なるものとしながらも記録装置にかかる負荷を小さくしたりすることが必要となる。しかしながら、異なる目的の出力画像を同じものとしたり、負荷を小さくしたりすると、両方の目的が十分に達成できなくなりユーザの要求に応えることが困難となる問題がある。そこで、上述の記録装置は、必要な場合に記録に適した出力画像を出力することによって、ユーザの要求に応えることを可能としている。
【００２９】
記録装置を上記のように構成することによって、事故発生を予見または検知したときに、記録部に記録される出力画像の出力形式を指定する構成となる。特に、記録に適した形式である（事故時の状況が誤認されにくい）好適記録画像形式の出力画像を出力し、記録することが可能となる。
【発明の効果】
【００３０】
本発明によれば、出力される時間情報に基づいて入力画像が入力された時間を特定することができる。したがって、ユーザが出力画像を確認したときに、出力画像に用いられている入力画像が入力された時間を誤認することによって、入力画像の撮像時の状況が誤認されることを抑制することが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。また、最初に本発明の実施形態に係る記録装置や、記録装置に備えられる画像処理回路（画像処理部、画像処理装置）の構成例について説明し、その後に各実施例について説明する。
【００３２】
＜＜記録装置＞＞
図１に、本発明の実施形態に係る記録装置が適用される車両の一例を示す模式図を示す。図１（ａ）は、車両１００を上方から見た平面図であり、図１（ｂ）は車両１００を左斜め前方から見た斜視図である。図１では車両１００としてトラックを示しているが、車両１００はトラック以外の車両（普通乗用車など）であってもよい。また、車両１００は地面（例えば路面）上に配置されているものとする。
【００３３】
図１（ａ）に示すように、車両１００の前部、右側部、後部及び左側部に、それぞれカメラＣＡ１、ＣＡ２、ＣＡ３及びＣＡ４が取り付けられている。具体的に例えば、図１（ｂ）に示すように、カメラＣＡ１を車両１００のフロントミラー上部に設置したり、カメラＣＡ４を車両１００の左側部の最上部に設置したりしても構わない。さらに例えば、図１（ｂ）には示していないが、カメラＣＡ３を車両１００の後部の最上部に設置したり、カメラＣＡ２を車両１００の右側部の最上部に設置したりしても構わない。
【００３４】
また、図１（ｂ）に示すように、カメラＣＡ１は、光軸の向きが車両１００の前方斜め下向きになるように車両１００に設置される。同様に、カメラＣＡ２は光軸の向きが車両１００の右方斜め下向きになるように、カメラＣＡ３は光軸の向きが車両１００の後方斜め下向きになるように、カメラＣＡ４は光軸の向きが車両１００の左方斜め下向きとなるように、それぞれ車両１００に設置される。
【００３５】
また、図１（ｂ）に、カメラＣＡ１とＣＡ４の視野（即ち、撮像領域）の一例を、斜線領域によって示している。カメラＣＡ１は、車両１００の前方の所定領域内に位置する被写体（路面を含む）を撮像する。カメラＣＡ２は、車両１００の右方の所定領域内に位置する被写体を撮像する。カメラＣＡ３は、車両１００の後方の所定領域内に位置する被写体を撮像する。カメラＣＡ４は、車両１００の左方の所定領域内に位置する被写体を撮像する。
【００３６】
なお、上述の例では、カメラＣＡ１〜ＣＡ４の４つのカメラを備える場合について説明したが、カメラがｎ個（ｎは２以上の自然数）備えられる構成であれば４つでなくても構わない。ただし、以下では説明の具体化のため、上述した例と同様に４つのカメラが備えられる場合について説明する。また、車両１００の周方向に沿って隣接するカメラ（上述の例において、例えばカメラＣＡ４に着目する場合、隣接するカメラとはカメラＣＡ１とＣＡ３を指す）の撮像領域は、図１（ｂ）に示すように重複しても構わない。また、以下の説明において、カメラＣＡ１〜ＣＡ４を区別せずに、単にカメラあるいは各カメラと呼ぶ場合もあるものとする。
【００３７】
次に、図２を用いて本発明の実施形態に係る記録装置の構成の一例について説明する。図２は、本発明の実施形態に係る記録装置の構成例を示すブロック図である。図２に示すように、記録装置１は、上述のカメラＣＡ１〜ＣＡ４と、カメラＣＡ１〜ＣＡ４のそれぞれから出力される映像信号Ｖｉｎに基づいたデータや信号をそれぞれ生成して出力するデコーダＤＥＣ１〜ＤＥＣ４と、デコーダＤＥＣ１〜ＤＥＣ４から出力されるそれぞれのデータや信号に基づいたデータや信号を生成して出力する画像処理回路１１と、画像処理回路１１と各種データのやり取りを行うＲＡＭ部１２と、画像処理回路１１から出力されるデータや信号に基づいて表示用の映像信号Ｖｏｕｔ１を生成して出力する表示用エンコーダ１３と、画像処理回路から出力されるデータや信号に基づいて記録用の映像信号Ｖｏｕｔ２を生成して出力する記録用エンコーダ１４と、入力される表示用の映像信号Ｖｏｕｔ１に基づいて表示を行う表示部１５と、入力される記録用の映像信号Ｖｏｕｔ２の記録を行う記録部１６と、ＣＡＮ（Controller Area Network）やＬＩＮ（Local Interconnect Network）を介して車両情報を入手するとともに記録装置１全体の動作の制御を行うＭＰＵ（Micro Processing Unit）１７と、ユーザによる操作が入力される操作部１８と、不揮発性メモリであるＦＲＯＭ（Flash Read Only Memory）１９と、を備える。
【００３８】
カメラＣＡ１〜ＣＡ４として、ＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラを用いることができる。また、カメラＣＡ１〜ＣＡ４のそれぞれは、外部同期信号を必要としない内部同期カメラである。即ち、各カメラは内部クロックを発生する内部クロック発生回路を備えており、カメラＣＡ１〜ＣＡ４は各々の内部クロックに従って各々が独立したタイミングで映像信号Ｖｉｎを出力する。そのため、カメラＣＡ１〜ＣＡ４から出力される映像信号Ｖｉｎは非同期であり、各カメラを非同期カメラと呼ぶこともできる。
【００３９】
また、カメラＣＡ１に関する画像や信号、データ等は、チャネルｃｈ１に対応するものとする。同様に、カメラＣＡ２、ＣＡ３及びＣＡ４に関する画像や信号、データ等が、それぞれチャネルｃｈ２、ｃｈ３及びｃｈ４に対応するものとする。
【００４０】
各カメラは、所定のフレーム周期にて順次撮像を行い、撮像によって得られた画像を表す画像データを含む映像信号Ｖｉｎを出力する。この撮像によって得られた画像は画像処理回路１１に入力されるため、以下の説明において「入力画像」と呼ぶ。映像信号Ｖｉｎには、入力画像の画像データＤｉｎと、垂直同期信号Ｖｓｙｎｃ及び水平同期信号Ｈｓｙｎｃとが含まれる。
【００４１】
カメラＣＡ１〜ＣＡ４のそれぞれから出力される映像信号Ｖｉｎは、それぞれデコーダＤＥＣ１〜ＤＥＣ４に入力され、デコーダＤＥＣ１〜ＤＥＣ４によって画像データＤｉｎと、垂直同期信号Ｖｓｙｎｃと、水平同期信号Ｈｓｙｎｃと、に同期分離されて出力され、それぞれ画像処理回路１１に入力される。
【００４２】
画像処理回路１１に入力された画像データＤｉｎは、ＲＡＭ部１２に備えられるフレームメモリ領域１２ａに書き込まれて記憶される。ＲＡＭ部１２は、ＳＲＡＭ（Static Random Access Memory ）やＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などから形成される。
【００４３】
フレームメモリ領域１２ａの構成例について、図３に示す。図３は、本発明の実施形態に係る記録装置のＲＡＭ部に備えられるフレームメモリ領域の一例を示す模式図である。図３では、カメラごとに（チャネルｃｈ１〜ｃｈ４のそれぞれに）４つのフレームメモリが設けられる場合について示している。具体的には、カメラＣＡ１に対して４つのフレームメモリＭ1［１］〜Ｍ1［４］が設けられ、カメラＣＡ２に対して４つのフレームメモリＭ2［１］〜Ｍ2［４］が設けられ、カメラＣＡ３に対して４つのフレームメモリＭ3［１］〜Ｍ3［４］が設けられ、カメラＣＡ４に対して４つのフレームメモリＭ4［１］〜Ｍ4［４］が設けられる。各フレームメモリは、入力画像の画像データＤｉｎを１つ記録することができる。カメラＣＡ１から周期的に取得される入力画像の画像データＤｉｎは、Ｍ1［１］、Ｍ1［２］、Ｍ1［３］、Ｍ1［４］、Ｍ1［１］・・・の順番で４フレーム前の入力画像の画像データＤｉｎを、最新フレームの入力画像の画像データで上書きするように循環的に（サイクリックに）記憶されてゆく。カメラＣＡ２〜ＣＡ４に対しても同様である。
【００４４】
ＲＡＭ部１２には、フレームメモリ領域１２ａの他にＬＵＴ領域１２ｂが備えられる。ＬＵＴ領域１２ｂには、各カメラからの入力画像の各画素と画像処理回路１１から出力される画像（以下、入力画像に対して「出力画像」と呼ぶ）の各画素との対応関係を表すテーブルデータが記憶される。このテーブルデータにしたがってフレームメモリ領域内に記憶された入力画像の画像データＤｉｎを読み出すことで、出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２が得られる。
【００４５】
上記のテーブルデータは、記録装置１の電源投入時などの適切なタイミングにおいて不揮発性メモリであるＦＲＯＭ１９からＬＵＴ領域１２ｂに送られてＬＵＴ領域１２ｂ内に記憶される。テーブルデータは複数個あり、複数のテーブルデータが個別にＬＵＴ領域１２ｂに格納される。ＬＵＴ領域に格納された複数のテーブルデータのそれぞれはＬＵＴ（ルックアップテーブル）を形成する。ＬＵＴによって規定される入力画像の各画素と出力画像の各画素との対応関係は、複数のＬＵＴ間で互いに異なる。なお、ＬＵＴや出力画像の具体例については後述する。
【００４６】
また、ＲＡＭ部１２には、必要に応じてカラーテーブル領域１２ｃが形成される。カラーテーブル領域１２ｃには、出力画像にフォントイメージなどの付加画像を付加する（出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２の一部に付加画像を含ませる）場合に用いられるカラーテーブルが記憶される。
【００４７】
例えばＭＰＵ１７は、ＬＵＴの一部を書き換えることにより、カラーテーブルのデータを出力画像データＤｏｕｔ１，Ｄｏｕｔ２の一部に含ませることによって、付加画像の付加を行う。なお、出力画像に付加画像を付加しない場合は、カラーテーブル領域１２ｃを備えない構成としてもよい。ただし、以下では画像処理回路１１が出力画像に付加情報を付加して出力するとともに、ＲＡＭ部１２にカラーテーブル領域１２ｃが備えられる場合について説明する。また、ＬＵＴと同様に、カラーテーブルも電源投入時などにＦＲＯＭ１９から送られ、カラーテーブル領域１２ｃ内に記憶される構成としても構わない。
【００４８】
画像処理回路１１が出力画像を生成する際、ＬＵＴ領域１２ｂに記憶される複数のＬＵＴの中から、出力画像の生成に使用されるＬＵＴが選択される。選択はＭＰＵ１７によって行われ、ＭＰＵ１７は、操作部１８に入力されるユーザの操作内容や、ＣＡＮを介してＭＰＵ１７に与えられるＬＵＴの切り替え信号、ＣＡＮやＬＩＮを介して入手した車両情報など、に基づいてＬＵＴを適宜選択する。即ち、手動的または自動的にＬＵＴが選択される。また、ＭＰＵ１７は選択したＬＵＴを示すＬＵＴ選択情報を画像処理回路１１に送り、使用するＬＵＴを指定する。
【００４９】
指定されたＬＵＴに基づいて、画像データＤｏｕｔ１，Ｄｏｕｔ２が画像処理回路１１から出力されるとともに、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２も画像処理回路１１から出力される。表示用エンコーダ１３は、少なくとも画像データＤｏｕｔ１、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２を結合して映像信号Ｖｏｕｔ１を生成し、出力する。一方、記録用エンコーダ１４は、少なくとも画像データＤｏｕｔ２、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２を結合して映像信号Ｖｏｕｔ２を生成し、出力する。
【００５０】
入力画像の映像信号Ｖｉｎと出力画像の映像信号Ｖｏｕｔ１，Ｖｏｕｔ２とは互いに非同期である。即ち、画像処理回路１１は入力画像の映像信号Ｖｉｎの垂直同期信号Ｖｓｙｎｃ及び水平同期信号Ｈｓｙｎｃと独立して、出力画像の映像信号Ｖｏｕｔ１，Ｖｏｕｔ２の垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２を生成し、出力する。そして、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２の生成及び出力のタイミングに同期させて、出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２を出力する。
【００５１】
表示部１５は、液晶ディスプレイパネル等から形成される。なお、カーナビゲーションシステムなどに含まれる表示装置を、表示部１５として流用しても構わない。また、記録装置を１形成する各部位は、車両１００の適切な部位に設置されるが、表示部１５は車両１００の運転席付近に設置されると好ましい。そして、表示部１５は、表示用エンコーダ１３から入力される映像信号Ｖｏｕｔ１に基づいて、表示動作を行う。
【００５２】
記録部１６は、ＳＤＲＡＭ（ＲＡＭ部と共通でも構わない）などから成る記録保持部１６ａと、メモリーカード（例えば、フラッシュメモリなどの不揮発性の記録媒体）などから成る記録保存部１６ｂと、を備える。記録保持部１６ａは、入力される映像信号Ｖｏｕｔ２を一定期間保持する。また、ＭＰＵ１７から入力される車両情報も併せて保持する。なお、これらの情報を圧縮して保持しても構わない。
【００５３】
ＭＰＵ１７は、ＣＡＮやＬＩＮを介して入手した車両情報に基づいて事故の発生を事前に予見したり、生じた事故を事後的に検知したりする。ＭＰＵ１７は、事故の発生を予見または検知すると、記録保持部１６ａに一時的に保持されている映像信号Ｖｏｕｔ２や車両情報などを記録保存部１６ｂに転送させて記録させる。例えば、事故発生を予見または検知した場合に、事故発生の前後１０秒程度を示す映像信号Ｖｏｕｔ２やその期間の車両情報などを、記録保存部１６ｂに転送させて記録させる。また、記録保存部１６ｂには、ＬＵＴが例えば圧縮された状態で記録される。このＬＵＴに関しては、予め記録保存部１６ｂに記録しておくことが望ましい。なお、上述したＦＲＯＭ１９が、記録保存部１６ｂに構成されることとしても構わない。
【００５４】
また、入力画像及び出力画像について図４を用いて説明する。図４は、入力画像及び出力画像について示す模式図であり、図４（ａ）が入力画像、図４（ｂ）が出力画像を示している。入力画像及び出力画像の水平位置及び垂直位置を表す記号としてｘ及びｙを導入し、入力画像または出力画像上における各画素の位置を（ｘ，ｙ）にて表す。入力画像上の画素に対するｘ及びｙは、それぞれ、その画素の属する垂直ライン及び水平ラインの位置を表している。入力画像に関し、ｘが大きくなれば入力画像上の位置は右方向に向かい、ｙが大きくなれば入力画像上の位置は下方向に向かう。出力画像に関しても同様であり、ｘが大きくなれば出力画像上の位置は右方向に向かい、ｙが大きくなれば出力画像上の位置は下方向に向かうものとする。
【００５５】
入力画像の水平方向及び垂直方向の画素数をそれぞれＸｓｉｚｅ及びＹｓｉｚｅとする。以下では、説明の具体化のために、Ｘｓｉｚｅ＝６４０且つＹｓｉｚｅ＝４８０であるとする。また、出力画像の水平方向及び垂直方向の画素数は、入力画像のそれらと同じであるとする。したがって本例では、入力画像及び出力画像において、０≦ｘ＜Ｘｓｉｚｅ、０≦ｙ＜Ｙｓｉｚｅを満たす各整数値を取る。
【００５６】
映像信号Ｖｉｎ及びＶｏｕｔ１，Ｖｏｕｔ２は、インターレース方式による映像信号とすることも可能であるが、以下においては、ノンインターレース方式による映像信号である場合を代表させて説明する。即ち、入力画像の画像データＤｉｎが画像処理回路１１にラスター走査順に入力され、出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２が画像処理回路１１からラスター走査順に出力されることとする。特に、１つの入力画像及に関し、位置（０，０）、（１，０）、（２，０）、・・・、（Ｘｓｉｚｅ−１，１）、（０，１）、（１，１）、（２，１）、・・・、（Ｘｓｉｚｅ−１，１）、・・・、（０，Ｙｓｉｚｅ−２）、・・・、（Ｘｓｉｚｅ−１，Ｙｓｉｚｅ−２）、（０，Ｙｓｉｚｅ−１）、・・・、（Ｘｓｉｚｅ−１，Ｙｓｉｚｅ−１）の画素信号の順番で、画像データＤｉｎが画像処理回路１１に入力される。出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２も同様の順番で画像処理回路１１から出力される。画素信号とは、画像を形成する画素の輝度又は輝度及び色を表す値である。入力画像を形成する各画素の画素信号によって入力画像の画像データが形成され、出力画像を形成する各画素の画素信号によって出力画像の画像データが形成される。
【００５７】
また、以下では説明を簡単にするために、出力画像のフレーム周期と入力画像のフレーム周期とが等しいものとする。したがって、垂直同期信号Ｖｓｙｎｃ及びＶｓｙｎｃ２は、非同期的に生成及び出力されるが、生成及び出力される周期は等しいものとする。さらに、説明を簡単にするため、ある入力画像の画素信号の入力周期（画像処理回路１１への入力周期）と、出力画像の画素信号の出力周期（画像処理回路１１からの出力周期）は同じものとする（ピクセルクロックは同じであるものとする）。
【００５８】
なお、本実施形態の記録装置１を、画像処理回路１１から出力される映像信号Ｖｏｕｔ２やＭＰＵ１７から入力される車両情報を記録するだけでなく、表示動作を行うものとして説明したが、表示動作を行なわず（即ち、表示用エンコーダ１３及び表示部１５を備えず）、記録動作のみを行うものとしても構わない。また、表示動作の要否が選択可能な記録装置１としても構わない。
【００５９】
また、ＭＰＵ１７がＣＡＮやＬＩＮを介して入手する車両情報を、例えば、車両速度情報、車両加速度情報、舵角情報、ヨーレート（角速度）情報、エンジン回転数情報、ＧＰＳ（Global Positioning System）位置情報、時間情報、ブレーキ情報、アクセル情報、ウィンカ情報、レーダ情報、音情報、ソナー情報などの各種情報としても構わない。また、これらの情報以外の他の情報を入手しても構わない。
【００６０】
また、円滑な動作が可能であれば、記録保存部１６ｂにデータを保持させるとともに、必要な場合（例えば、事故発生を予見または検知した場合）に保持している必要なデータ（例えば、事故発生の前後１０秒程度のデータ）を記録用のデータとして管理する（例えば、上書きが行われないようにする）構成としても構わない。
【００６１】
＜＜画像処理回路＞＞
次に、画像処理回路１１の構成の一例について、図５を用いて説明する。図５は、画像処理回路内部の構成例をも示す、記録装置の一部ブロック図である。図５に示すように、画像処理回路１１は、書き込みアドレスを生成して出力する書き込みアドレス生成回路２１と、フレームメモリ指定情報とＬＵＴ情報とが入力されるとともに読み出しアドレスを生成して出力する読み出しアドレス生成回路２２と、ＬＵＴ選択情報が入力されるとともにＬＵＴアドレスを生成して出力するＬＵＴアドレス生成回路２３と、映像出力アドレスと垂直同期信号Ｖｓｙｎｃ２と水平同期信号Ｈｓｙｎｃ２とを生成するとともに出力する映像出力アドレス生成回路２４と、書き込みアドレスと垂直同期信号Ｖｓｙｎｃ２とが入力されるレジスタ２５と、ＲＡＭ部１２に対するデータの読み書きを制御する調停回路２６と、ＲＡＭ部１２から読み出される各チャネルの画素信号を必要に応じて調整して出力する画素信号調整部２７と、を備える。なお、以下では説明の簡略化のため、調停回路２６の存在を無視して説明するものとする。即ち、実際には調停回路２６の調停制御下でＲＡＭ部１２に対するデータの読み書きが行われるが、ＲＡＭ部１２に対して直接的に読み書きが行われるものとして説明する。
【００６２】
上述のように、チャネル数が４の場合について説明する。ここで、各チャネルのデータに対する画像処理回路１１の動作は４チャネル間で同様であるため、チャネルの番号を表す変数ｉを導入し、適宜、ｉを用いて説明の簡略化を図る（ｉは１、２、３又は４である）例えば、デコーダＤＥＣｉとは、チャネルｃｈ１を考える場合はデコーダＤＥＣ１を意味し、チャネルｃｈ２を考える場合はデコーダＤＥＣ２を意味する。
【００６３】
書き込みアドレス生成回路２１は、図１のデコーダＤＥＣｉから入力される垂直同期信号Ｖｓｙｎｃ及び水平同期信号Ｈｓｙｎｃと、デコーダＤＥＣｉから入力される画素信号（画像データＤｉｎを形成する画素信号）の入力間隔（ピクセルクロック）と、に基づいて、画素信号が書き込まれるべきＲＡＭ部１２のアドレス（以下、書き込みアドレスとする）を生成するとともにＲＡＭ部１２に与える。書き込みアドレスは、ＲＡＭ部１２内のフレームメモリＭi［１］〜Ｍi［４］上のアドレスである。また、入力画像の画像データＤｉｎの入力タイミングは、書き込みアドレスによって特定される。
【００６４】
ＤＥＣｉからフレームメモリＭi［１］〜Ｍi［４］に入力される画素信号は、書き込みアドレスにより指定されるあるフレームメモリＭi［１］〜Ｍi［４］のあるアドレスに書き込まれる。また、書き込みアドレスはレジスタ２５に入力され、所定のタイミングでラッチされる。
【００６５】
映像出力アドレス生成回路２４は、映像信号Ｖｉｎとは非同期で駆動し、出力画像用の垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２を生成して出力する。そして、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２に同期した映像出力アドレスを生成し、これをＬＵＴアドレス生成回路２３に与える。
【００６６】
ＬＵＴアドレス生成回路２３は、ＭＰＵ１７から入力されるＬＵＴ選択情報にしたがって、ＲＡＭ部１２のＬＵＴ領域１２ｂに格納されている複数のＬＵＴの内の少なくとも一つを指定する（指定されたＬＵＴを、以下指定ＬＵＴとする）。例えば、表示用及び記録用の出力画像の画像データＤｏｕｔ１及びＤｏｕｔ２が異なる場合、指定ＬＵＴは二つ必要となる。また、表示を行わない場合や表示用及び記録用の出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２が同じものである場合、指定ＬＵＴは一つ必要となる。ＬＵＴアドレス生成回路２３は、入力される映像出力アドレスに基づいて、指定ＬＵＴ上のあるアドレスを指定する情報（以下、ＬＵＴアドレスとする）をＲＡＭ部１２に与える。
【００６７】
このとき、ＭＰＵ１７からＲＡＭ部１２に入力されるＬＵＴ書き換え信号によって、指定ＬＵＴの一部が書き換えられている場合がある。特に、上述のように出力画像に付加画像を付加する場合など、ＬＵＴの書き換えが行われる。
【００６８】
読み出しアドレス生成回路２２には、ＭＰＵ１７からフレームメモリ指定情報が入力され、ＲＡＭ部１２からＬＵＴ情報が入力される。フレームメモリ指定情報は、画像データＤｏｕｔ１，Ｄｏｕｔ２を生成するために読み出すフレームメモリＭi［１］〜Ｍi［４］を指定する情報である。フレームメモリ指定情報によって、チャネル毎に、最新の画像データＤｉｎが保持されるフレームメモリＭi［１］〜Ｍi［４］が指定される。ＬＵＴ情報は、ＲＡＭ部１２に入力されるＬＵＴアドレスによって指定されるアドレス（指定ＬＵＴ上のあるアドレス）に格納されている情報（以下、入力画素位置情報とする）を示すものであり、どのチャネルの入力画像の、どの画素位置の画素信号を読み出すべきかを示す情報となる。
【００６９】
図６を用いてＬＵＴ情報の具体例について説明する。図６は、ＬＵＴの一例について示した図である。図６に示す例では、ＬＵＴ上のアドレスと出力画像の位置とが対応するものとなっている。例えば、ＬＵＴ上のアドレス（０，０）に格納されている入力画素位置情報（６００，８０，ｃｈ１）は、出力画像の位置（０，０）と対応している。これは、出力画像の位置（０，０）の画素の画素信号として、ｃｈ１の入力画像の位置（６００，８０）の画素の画素信号を読み出すべきことを示している。また、例えばＬＵＴ上のアドレス（１，０）には、入力画素位置情報（１０，７８，ｃｈ２）が格納されている。これは、出力画像の位置（１，０）の画素の画素信号として、ｃｈ２の入力画像の位置（６００，８０）の画素の画素信号を読み出すべきことを示している。
【００７０】
読み出しアドレス生成回路２２は、入力されるフレームメモリ指定情報とＬＵＴ情報とに基づいて、読み出しアドレスを生成してＲＡＭ部１２に出力する。読み出しアドレスは、例えば、どのチャネルのどのフレームメモリＭi［１］〜Ｍi［４］に保持されている入力画像の画像データＤｉｎの、どのアドレスの画素信号を読み出すべきかを示したものとなる。そして、この読み出しアドレスに基づいて、ＲＡＭ部１２から画素信号が読み出される。即ち、出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２がＲＡＭ部１２から出力される。なお、必要に応じて、ＲＡＭ部１２から出力された後に画素信号調整部２７によって調整された画素信号が、出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２を構成することとなる。
【００７１】
出力画像の具体例について図７を用いて説明する。図７は、出力画像の一例について示した模式図である。また、図７は、図６に示すＬＵＴが指定ＬＵＴとなる場合の出力画像について示したものであり、車両を示す画像ＣＡＲ（以下、車両ＣＡＲとする）を中心とした全周鳥瞰画像を出力する場合について示している。車両ＣＡＲ中に記載の矢印の画像（以下、矢印ＡＲＲとする）は、車両の進行方向を示したものであり、境界Ａは異なるチャネルの境界を示したものである。
【００７２】
図１（ａ）に示したように、カメラＣＡ１（ｃｈ１）は車両の前部、カメラＣＡ２（ｃｈ２）は車両の右部、カメラＣＡ３は車両の後部、カメラＣＡ４は車両の左部、をそれぞれ撮像しているため、各カメラから得られる各チャネルの入力画像を組み合わせることで、図７に示す全周鳥瞰画像が得られる。なお、矢印ＡＲＲや境界Ａを出力画像内に記載しても構わないし、記載しなくても構わない。記載する場合、ＬＵＴに矢印ＡＲＲや境界Ａを記載するための情報（例えば、カラーテーブルのデータを指定する情報）を含めても構わない。さらに、ＬＵＴ選択情報で指定ＬＵＴを変更したり、ＬＵＴ書き換え信号によってＬＵＴを適宜書き換えたりすることによって、矢印ＡＲＲや境界Ａの記載、非記載を切り替え可能な構成としても構わない。また、矢印ＡＲＲや境界Ａを示す画像を別途作成し、出力画像に重畳させることとしても構わない。
【００７３】
出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２の出力タイミングは、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２や、これらに同期して生成及び出力される映像出力アドレスに基づいて特定される。そして、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２と、画像データＤｏｕｔ１，Ｄｏｕｔ２と、が表示用エンコーダ１３と記録用エンコーダ１４とに入力され、表示用の映像信号Ｖｏｕｔ１と記録用の映像信号Ｖｏｕｔ２とが出力される。
【００７４】
レジスタ２５には、上述のように入力画像の画像データＤｉｎの入力タイミングを特定する書き込みアドレスが入力されており、出力タイミングを特定するＶｓｙｎｃ２の発生時点の書き込みアドレスがレジスタ２５にラッチされる。また、垂直同期信号Ｖｓｙｎｃ２の発生時点においてＭＰＵ１７に対して割り込み要求を発生させることで、ＭＰＵ１７に垂直同期信号Ｖｓｙｎｃ２の発生時点を把握させる。これによりＭＰＵ１７は、書き込みアドレスをラッチしたレジスタ２５のレジスタ値を取得することで、入力画像の画像データＤｉｎの入力タイミングと、出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２の出力タイミングと、の関係を認識することができる。
【００７５】
特に、入力画像の画像データＤｉｎの入力タイミングと、出力画像の画像データＤｏｕｔ１，Ｄｏｕｔ２の出力タイミングと、の時間差を認識することができる。即ち、画像データＤｉｎが画像処理回路１１に入力されてから、画像データＤｏｕｔとして画像処理回路１１から出力されるまでの時間差を認識することができる。なお、認識した時間差の利用例の詳細については、後述する第１実施例において説明する。
【００７６】
画素信号調整部２７は、ＲＡＭ部１２から出力される画素信号を必要に応じて調整する。例えば、画素信号調整部２７に備えられる混合部２７ａによって、複数（本例では二つ）のチャネルの画素信号を混合（ブレンディング）する。この場合の、指定ＬＵＴの入力画素位置情報の具体例について図８に示す。図８は、ＬＵＴの入力画素位置情報の構成の一例を示す図である。図８に示すように、本例における入力画素位置情報には、混合される画素信号が属する二つのチャネル（表ｃｈ及び裏ｃｈ）と、それぞれのチャネルの混合される画素信号の画素の位置（ｘ，ｙ）、混合する際の混合係数αと、が含まれる。
【００７７】
本例の場合、例えば、表ｃｈの画素信号に混合係数αを乗算したものと、裏ｃｈの画素信号に混合係数（１−α）を乗算したものと、を加算することで混合を行う。このとき、画素信号がＲＧＢやＹＵＶの信号のように各成分から成るものである場合、成分ごとに混合を行うこととしても構わない。
【００７８】
上述の混合部２７ａによる混合は、特に図７に示した全周鳥瞰画像中の、境界Ａ近傍を作成する際に用いることができる。この場合の具体例について図９を用いて説明する。図９は、出力画像の一例について示した模式図であり、図７とは異なる例について示したものである。図９に示す全周鳥瞰画像では、異なるチャネルの画素信号が混合されて得られる混合領域Ｃが存在する。この混合領域Ｃにおける混合係数αは、例えば、混合領域Ｃの中心（例えば、図７に示す境界Ａに相当する位置）で０．５になるとともに、中心から表ｃｈ側に進むにしたがって１に近づき、裏ｃｈ側に進むにしたがって０に近づく。例えば、表ｃｈがｃｈ１、裏ｃｈがｃｈ２である場合、図中左上の混合領域Ｃの中心から右方または上方に進むにしたがって混合係数が０に近づき、混合領域Ｃの中心から左方または下方に進むにしたがって混合係数が１に近づく。なお、この混合方法は一例であり、他の方法を用いても構わない。
【００７９】
また、本例では、画像処理回路１１から円滑に出力画像を出力するために（表示用や記録用の出力画像が乱れたり途切れたりすることを防止するために）、ＲＡＭ部１２へのアクセスを制限するものとする。例えば、ＲＡＭ部１２から同時期（画像処理回路１１から一つの画素信号が出力される程度の期間）に出力させる画素信号を二つまでとする制限を設ける。即ち、ＲＡＭ部１２から同時期に表ｃｈ及び裏ｃｈの二つの画素信号まで出力可能とし、これ以上の画素信号を同時期に出力させないこととする。
【００８０】
このような制限は、ＲＡＭ部１２に対してバースト転送を行う際に特に必要となる。バースト転送を用いると、ＲＡＭ部１２に画像データを書き込む場合や、一つのチャネルの画像データを読み出して一つの出力画像とする（即ち、車両の一方向のみを示す一画面画像を出力画像とする）場合などでは、入力画像を回転させて出力する必要がなく画素信号のアドレスが比較的連続したものとなりやすいため、バースト転送が効果的に行われる。即ち、一回のバースト転送で多数の画素信号を転送することが可能となる。しかしながら、上述のような全周鳥瞰画像を出力画像とする場合や、出力画像にレンズ歪補正（カメラのレンズとして広角レンズを用いた場合に生じる画像の歪の補正）を施す場合などでは、ＲＡＭ部１２から出力する画素信号のアドレスの連続性が乏しくなり、バースト転送が有効に動作しにくくなる場合が発生する。特に、一回のバースト転送で一つの画素信号のみＲＡＭ部１２から読み出されることが集中して発生し、これによってＲＡＭ部１２にアクセスが集中して帯域が圧迫される。このとき、上述のような制限を設けていないと、取り扱い可能な帯域の上限値を超えてＲＡＭ部１２にアクセスされることにより円滑な動作が阻害され、表示用や記録用の出力画像に途切れや乱れが生じる。
【００８１】
画素信号調整部２７は、混合部２７ａから出力される画素信号を画像データＤｏｕｔ１及びＤｏｕｔ２の共通のものとするか、画像データＤｏｕｔ１及びＤｏｕｔ２の画素信号を別々のものとするか、の切り替えを行う切替部２７ｂを備える。切替部２７ｂは、ＭＰＵ１７から入力される記録画像選択信号によって制御される。また、上述のような画素信号の混合を行って図９に示す出力画像を出力する場合（即ち、一つの画素信号を出力するために、複数のチャネルの画素信号を読み出す必要があるとき）は、上述のようなＲＡＭ部１２へのアクセス制限があるため、画像データＤｏｕｔ１及びＤｏｕｔ２が共通のものとなるように切替部２７ｂが制御を行う。
【００８２】
反対に、図７に示すように、一つの画素信号を出力するために一つのチャネルの画素信号を読み出す場合（混合部２７ａで混合を行わない場合）は、画像データＤｏｕｔ１とＤｏｕｔ２とが異なる場合が生じ得る。また、図７に示す場合の他に、出力画像が一つのチャネルの画素信号でのみ構成される場合などでも、画像データＤｏｕｔ１とＤｏｕｔ２とが異なる場合が生じ得る。また、上記の場合において、画像データＤｏｕｔ１とＤｏｕｔ２とが共通のものとなる場合も当然に生じ得る。なお、この切替部２７ｂの制御例や記録用の出力画像の作成例の詳細については、後述する第２実施例において説明する。
【００８３】
また、図１０に記録保存部のデータの保存方法の一例について示す。図１０に示すように、記録保存部１６ｂには、記録ＬＵＴと、第１事故画像及び第１車両情報と、第２事故画像及び第２車両情報と、…、第ｎ事故画像及び第ｎ車両情報と、が記録される。上述のように、ＭＰＵ１７が事故発生を予見または検知することによって、記録保存部１６ｂに、所定の期間の出力画像（事故画像）及び車両情報が記録される。また、新たな事故を予見または検知したとき、記録保存部１６ｂの記録可能容量が新たな記録を行うのに十分でなければ、最も古い事故画像及び車両情報を上書きする。
【００８４】
記録保存部１６ｂには、少なくとも第１事故画像〜第ｎ事故画像の生成に用いられるＬＵＴの全てが、記録ＬＵＴとして記録される。上述のようにＬＵＴは、入力画像の画素と出力画像の画素との対応を示すものである。そのため、例えばカメラＣＡ１〜ＣＡ４の車両１００における配置を変更するなどして撮像領域が変化する（入力画像が変化する）場合は、ＬＵＴを更新する必要がある。この場合、記録ＬＵＴも更新することとする。なお、更新後の記録ＬＵＴに、更新前のＬＵＴと更新後のＬＵＴとが含まれる構成としても構わない。また、全てのＬＵＴを記録ＬＵＴとして記録しても構わないし、圧縮して記録しても構わない。また、ＬＵＴを記録するのに代えて（または加えて）、ＬＵＴを作成するためのパラメータ（例えば、上述のレンズ歪補正を行うためのパラメータや、カメラの撮像領域に関するパラメータなど）を記録しても構わない。
【００８５】
なお、図５では説明の明確化のために、あたかも表ｃｈ及び裏ｃｈの画素信号が別々の経路（バス）を通って出力されるように図示したが、一つの経路から出力されるものとしても構わない。また、切替部２７ｂも同様であり、経路の切り替えを行うことなく画素信号の出力先を制御するものとしても構わない。ただし、以下の実施例については、図５に図示した構成を用いて説明することとする。
【００８６】
また、上述の例では、画像処理回路１１の動作の円滑化のために、ＲＡＭ部１２へのアクセスの制限があるものとして説明したが、ＲＡＭ部１２の帯域が十分広く同時期に多数のチャネルの画像信号を出力できるような構成であれば、必ずしも上述した制限を設ける必要はない。ただし、ＲＡＭ部１２の帯域を広くすることによって、記録装置１の構成が複雑化したり、大型化したりする問題が生じる可能性がある。また、帯域にある程度の余裕をもたせることで、事故発生時などの有事の際に記録装置１に高い負荷がかかったとしても、円滑な動作が行われる可能性を高めることができる。なお、以下の実施例については、ＲＡＭ部１２に対して上述の制限がある場合について説明を行う。
【００８７】
また、図９に示す出力画像において、例えば、図７と同様に境界Ａを記載したり、混合領域Ｃを示す線や混合係数の大きさに対応した線などを記載したりして、混合した部分を明示しても構わない。混合した部分を明示することとすると、事故解析の際に混合した部分であることを通知することができるため、事故状況が誤認されることを抑制することが可能となる。
【００８８】
また、図７及び図９に示す出力画像において、境界Ａや混合領域Ｃを明示しない画像を記録するとともに、記録した画像の表示を行う際に、これらの部分を必要に応じて明示することができる構成としても構わない。例えば、記録保存部１６ｂに記録される記録ＬＵＴから、混合係数や境界などの情報を得て、この情報に基づいて事後的に明示することとしても構わない。
【００８９】
＜＜実施例＞＞
以下に、本発明の各実施例の説明をする。なお、各実施例は矛盾が無いかぎり組み合わせて実施することができるものとする。
【００９０】
＜第１実施例＞
第１実施例では、ＭＰＵ１７がレジスタ２５から取得したレジスタ値により認識した、画像データの入力タイミングと出力タイミングとの時間差の利用例について、図面を参照して説明する。
【００９１】
図１１は、第１実施例の記録装置における記録用の出力画像の一例について示した模式図である。図１１に示すように、本例における出力画像５０には、各カメラによって撮像された画像データを用いた画像（例えば、全周鳥瞰画像）５０ａの他に、ＭＰＵ１７によって認識された時間差が記載される。例えば、図１１に示す記録用の出力画像５０には、時間差を示した表５０ｂが記載されている。なお、本例における表５０ｂ中の数値（Ｔ，Ｂ，Ｌ，Ｆ，Ｒ）の単位は、ｍｓｅｃであるものとする。
【００９２】
表５０ｂ中のＴは、ＭＰＵ１７が設定する絶対時間を表している。この絶対時間Ｔは、車両情報と関連付けて（同期させて）設定される。そのため、車両情報と図１１に示す出力画像５０とを記録保存部１６ｂに記録することによって、事後的に出力画像５０が示す状況の車両情報を確認することが可能となる。なお、絶対時間Ｔに対応する車両情報を出力画像５０中に画像として記載することとしても構わない。
【００９３】
また、表５０ｂ中のＢの数値０は、車両の後方を撮像するカメラＣＡ３（チャネルｃｈ３）から得られる画像データの、入力タイミングと出力タイミングとの時間差を示したものである。同様に、表５０ｂ中のＬの数値＋３３は、車両の左方を撮像するカメラＣＡ４（チャネルｃｈ４）から得られる画像データの、入力タイミングと出力タイミングとの時間差を示したものである。同様に、表５０ｂ中のＦの数値＋４は、車両の前方を撮像するカメラＣＡ１（チャネルｃｈ１）から得られる画像データの、入力タイミングと出力タイミングとの時間差を示したものである。同様に、表５０ｂ中のＲの数値＋１２は、車両の右方を撮像するカメラＣＡ２（チャネルｃｈ２）から得られる画像データの、入力タイミングと出力タイミングとの時間差を示したものである。
【００９４】
また、図１１に示す例では、時間差が最も小さいＢ（チャネルｃｈ２）の値を基準値０とする場合について示している。このとき、例えば、Ｂ（チャネルｃｈ２）の値からある値（基準化しない場合のＢの時間差）を減算して０にするとともに、他の値Ｌ，Ｆ，Ｒ（チャネルｃｈ４，ｃｈ１，ｃｈ３）からもある値を減算することで、Ｂを基準値０とすることができる。なお、絶対時間Ｔについて、同様の基準化を行っても構わない。このような基準化を行うと、絶対時間Ｔに対応する車両情報が、基準となるＢ（チャネルｃｈ２）と対応するようになる。
【００９５】
以上のように、本実施例の記録装置１は、画像５０ａだけでなく、画像５０ａの作成に用いられる画像データが入力された時間に関する時間情報も、合わせて記録する。そのため、時間情報に基づいて、画像データが入力された時間を特定することが可能となる。したがって、出力画像に用いられている入力画像が入力された時間をユーザが誤認することによって、事故時の状況が誤認されることを抑制することが可能となる。
【００９６】
特に、複数の入力画像の画像データが非同期で入力される構成であったとしても、各画像データが入力される時間差をユーザに確認させることが可能となる。そのため、画像５０ａが、異なるタイミングで入力された画像（即ち、異なるタイミングで撮像された入力画像）が組み合わされて作成されたものであったとしても、同じタイミングで入力（撮像）されたものであると誤認されることを抑制することが可能となる。したがって、事故時の状況が誤認されることを抑制することが可能となる。
【００９７】
また、画像データの入力タイミングと出力タイミングとの時間差から時間情報を作成することにより、容易に時間情報を作成することが可能となる。特に、それぞれのチャネルｃｈｉの画像データが入力される絶対的な時間の記録や管理を行うことを不要とすることができる。また、複数のチャネルｃｈｉに共通する出力タイミングにおける、それぞれのチャネルｃｈｉの画像データの入力タイミングに基づいて時間差を求めるため、複数のチャネルｃｈｉの時間情報を容易かつまとめて得ることができる。
【００９８】
また、出力タイミングを特定する垂直同期信号Ｖｓｙｎｃ２と、入力タイミングを特定する書き込みアドレスと、を利用して時間差を求めることができる。したがって、時間を測定する装置を設けるなどの大幅な構成の変更を不要とすることが可能となり、画像処理装置の小型化及び簡素化を図ることが可能となる。
【００９９】
なお、表５０ｂを画像として出力画像５０中に記載する（即ち、時間情報と出力画像とを一体とする）ことなく、時間情報と出力画像とを別々にしても構わない。ただし、時間情報を画像として出力画像５０中に記載する構成とすると、再生装置に求められる機能を緩和することが可能となる。
【０１００】
具体的には、記録保存部１６ｂに記録された「画像」のデータを再生（表示）できるものであれば、どのような再生装置であっても時間情報を確認することが可能となる。そのため、画像情報と時間情報とを関連付けて再生する特殊な機能を備えた再生装置を用いることなく、画像５０ａと表５０ｂ（時間情報）とを確認することができる。また、時間情報を画像として出力画像５０中に記載するとともに、別途時間情報を出力して記録する構成としても構わない。
【０１０１】
また、時間情報と同様に、車両情報を出力画像５０中に画像として記載しても構わない。そして、車両情報の中でも事故解析において特に必要な情報のみを出力画像５０中に画像として記載することとしても構わないし、全ての車両情報を画像として出力画像５０中に記載することとしても構わない。
【０１０２】
また、ＬＵＴ書き換え信号によってＬＵＴの書き換えを行うことで、出力画像５０中に表５０ｂを記載しても構わない。このとき、例えばＬＵＴを書き換え、カラーテーブルのデータを指定させることによってフォントイメージなどを出力画像５０中に作り込み、表５０ｂを記載しても構わない。また、別途表５０ｂを作成するとともに、出力画像５０に重畳させることによって表５０ｂを出力画像５０に含ませることとしても構わない。
【０１０３】
また、上述の例では、全てのチャネルの画像データを用いて出力画像を作成する場合について示したが、一部のチャネルの画像データを用いて出力画像を作成しても構わない。この場合、出力画像の作成に用いたチャネルの時間情報のみを作成することとしても構わないし、全てのチャネルの時間情報を作成することとしても構わない。
【０１０４】
また、表５０ｂの出力画像５０中への記載や更新を、所定の出力画像数毎や所定の時間間隔毎に行っても構わない。例えば、所定の出力画像５０にのみ表５０ｂを記載したり、全ての出力画像５０に表５０ｂを記載するがＬＵＴの書き換えなどによる表５０ｂの更新を所定の出力画像５０の出力時としたりしても構わない。また、時間情報と出力画像とを別々として記録保存部１６ｂに保存する場合も同様であり、時間情報の出力や更新を、所定の出力画像数毎や所定の時間間隔毎に行っても構わない。
【０１０５】
入力タイミング及び出力タイミングの時間差は、主に記録装置１本体や各カメラでの同期のズレに起因して発生するが、それぞれで同期を取るために用いられるクロック（例えば、ＰＬＬ（Phase Locked Loop）から出力されるクロック）自体は短時間で大きく変動することがない。即ち、表５０ｂ中のＢ，Ｌ，Ｆ，Ｒの各値（時間差）には差異が生じるものの、各値が短時間で大きく変動することは生じ難い。そこで、上記のように所定の出力画像数毎や所定の時間間隔毎に出力画像５０中へ表５０ｂを記載したり、表５０ｂを更新したりしても、時間差を正確に把握することが可能となる。このように、頻繁な表５０ｂの記載や更新を抑制することとすると、記録装置１にかかる負荷（例えば、ＭＰＵ１７の演算量やＲＡＭ部１２へのアクセス）を低減することが可能となる。
【０１０６】
ただし、時間差が大きく変動する場合は、その都度表５０ｂの記載や更新を行うこととすると好ましい。例えば、前回と今回の出力画像で同じフレームメモリに格納されている画像データが読み出される場合（例えば、前回の出力画像でＭi［１］の画像データが読み出されたが、今回の出力画像でもＭi［１］の画像データが読み出される場合）や、前回と今回の出力画像で不連続（一つとばし）となるフレームメモリに格納されている画像データが読み出される場合（例えば、前回の出力画像でＭi［１］の画像データが読み出されたが、今回の出力画像ではＭi［３］の画像データが読み出される場合）である。
【０１０７】
上述したように、フレームメモリＭi［１］〜Ｍi［４］に格納されている最新の画像データが読み出される構成であると、このような事態が発生する可能性がある。そして、このような事態が発生すると時間差が大きく変動する。そこで、このような事態が発生した場合には、表５０ｂの記載や更新を行って時間差の変動を通知することとする。
【０１０８】
また、図１２に示すような出力画像５１としても構わない。図１２は、第１実施例の記録装置における記録用の出力画像の別例について示した模式図である。図１２では、図１１に示した表５０ｂの内容（時間情報）を、車両ＣＡＲ中に記載することとしている。このように構成することにより、表５０ｂを記載するためのスペースを有効利用することが可能となる。例えば、車両情報などの情報を記載したり、出力画像５１に含まれる画像５１ａが占める領域を大きくしたりすることが可能となる。
【０１０９】
また、上述の例では、入力タイミングと出力タイミングとの時間差が最も小さいＢ（チャネルｃｈ２）を基準としているが、任意のチャネルを基準としても構わない。ただし、時間差が最も小さいチャネルを基準とすると、他のチャネルの時間差の符合を正（＋）に統一することができるため、ユーザに状況を把握させやすくすることが可能となる。また、基準化を行わず、それぞれのチャネルの時間差を記録するものとしても構わない。
【０１１０】
また、図１１及び図１２に示す出力画像５０，５１は一例に過ぎず、出力画像５０，５１を他の出力形式の画像としても構わない。特に、図１１及び図１２では、画像５０ａ，５１ａの出力形式として全周鳥瞰画像形式を用いる場合について示したが、後述する四画面分割画像形式やその他の出力形式を用いることとしても構わない。
【０１１１】
＜第２実施例＞
第２実施例では、記録用の出力画像の作成例や、事故時の状況が正確に確認されやすい出力形式の画像を記録することにより、事故時の状況が誤認されることを抑制する記録装置について、図面を参照して説明する。
【０１１２】
本例では、事故の発生を予見または検知した場合、記録用の出力画像を図１３に示すような四画面分割画像形式の画像とする。図１３は、四画面分割画像の一例について示す模式図である。図１３に示すように、四画面分割画像は、出力画像６０中の四つの等しい領域のそれぞれに、チャネルｃｈ１〜ｃｈ４の画像が含まれるものである。なお、本例では出力画像６０に含まれる画像のチャネル数が四であるため四分割としているが、出力画像に含ませる画像のチャネル数がｋ（ｋは２以上の整数）であればｋ分割として、それぞれの画像を出力画像中に含ませることとする。以下では、上述した例と同様にｋ＝４の場合について説明する。
【０１１３】
図７及び図９に示した全周鳥瞰画像は、境界Ａ付近や混合領域Ｃなどの二つのチャネルの画像の重複領域において、一方のチャネルの画素を切り捨てたり、二つのチャネルの画素を混合したりして作成される。そのため、全周鳥瞰画像形式で記録している最中に、事故などの衝撃によってカメラの向きや撮像領域が変化してしまうと、重複領域ではない画素が切り捨てられたり混合されたりする。したがって、特定の方向を示す画素が記録されなかったり、撮像領域中の異なる位置を示す画素が合成されることによって不明瞭となったりするなどの問題が生じる。
【０１１４】
これに対して、図１３に示すような四画面分割画像は、入力画像を縮小して（画素を間引いて）そのまま出力画像に含めることで作成される。そのため、事故などの衝撃によってカメラの向きが多少変わったとしても、全方向の画像が記録される可能性が高い。また、重複領域の画素の切り捨てや混合を行わないため、情報量が少なくなることを抑制することができる。したがって、四画面分割画像形式を記録用の出力画像の出力形式とすることによって、事故時の状況が誤認されることを抑制することができる。
【０１１５】
また、上述のように四画面分割画像は、画素の切り捨てや混合を行わずに作成されるため、情報量の減少が抑制される。そのため、記録保存部１６ｂに記録した四画面分割画像に含まれる各チャネルｃｈｉの画像を用いて、全周鳥瞰画像を作成することができる。例えば、四画面分割画像から全周鳥瞰画像を作成するための変換用ＬＵＴを記録保存部１６ｂに記録させることで、事後的に全周鳥瞰画像を作成することができる。なお、変換用ＬＵＴの他に、ＬＵＴを作成するためのパラメータ（例えば、上述のレンズ歪補正を行うためのパラメータや、カメラの撮像領域に関するパラメータなど）を記録することとしても構わない。このような構成であったとしても、事後的に全周鳥瞰画像を作成することができる。
【０１１６】
ところで、全周鳥瞰画像には、ユーザが車両の周囲の状況を一目で把握しやすいという利点がある。そのため、表示用の出力画像の出力形式としては、全周鳥瞰画像形式を用いると好適である。特に、図９に示したような混合を行って作成される全周鳥瞰画像は、境界がなく画像全体が自然に見えることや、物体消失問題が発生し難いことなどの利点があるため、さらに好適である。
【０１１７】
ここで、物体消失問題について図１４を用いて説明する。図１４は、物体消失問題について説明する模式図であり、車両の上斜め前方から見た斜視図である。図１４に示すように、車両に搭載されるカメラＣＡ１〜ＣＡ４は、それぞれ地面を見下ろすように配置されている。このとき、例えば車両１００の左後方（図９の混合領域Ｃまたはその付近に相当する位置）に存在するとともにある高さの物体１１０をカメラＣＡ３，ＣＡ４で撮像したとき、入力画像中の物体１１０は、物体画像１１３，１１４で示すように地面に沿って伸びたような画像となる。物体画像１１３，１１４の伸びる方向は、およそ物体１１０とカメラＣＡ３，ＣＡ４とを結んだ方向となる。このような場合、図７に示すような全周鳥瞰画像（混合無）では、物体画像１１３，１１４を示す画素がそれぞれ切り捨てられ、出力画像中で表示されない（消失する）場合がある。一方、図９に示すような全周鳥瞰画像（混合有）では、混合によって物体画像１１３，１１４が表示される可能性が高くなるため、物体消失問題が発生し難い。
【０１１８】
しかしながら、記録装置１は円滑な表示及び記録を行うため、上述のようにＲＡＭ部１２へのアクセスを制限する必要がある。そのため、ＲＡＭ部１２に頻繁にアクセスするとともに同時期に複数のチャネルの画素信号を出力させて作成させる全周鳥瞰画像（混合有）を表示用の出力画像として用いる場合、記録用の出力画像の作成が困難となる問題が生じる。
【０１１９】
また、全周鳥瞰画像（混合有）形式と異なる出力形式の画像であったとしても、ＲＡＭ部１２への頻繁なアクセスや演算量の多さなどから記録装置１に大きな負荷がかかる出力形式を表示用の出力画像として適用する場合も同様である。この場合も、記録用の出力画像の作成が困難となる問題が生じる。
【０１２０】
そこで、以下では、ユーザが望む出力画像を表示するとともに記録に適した出力画像を記録することを可能とする記録装置１について説明する。
【０１２１】
本実施例の記録装置１について、図面を参照して説明する。図１５は、第２実施例の記録装置における出力画像の制御例について示したフローチャートである。
【０１２２】
図１５に示すように、記録装置１の動作が開始されると、まず事故発生を予見または検知したか否かが確認される（ＳＴＥＰ１）。事故発生の予見または検知は、ＭＰＵ１７がＣＡＮ／ＬＩＮから車両情報を得ることで行うことができる。ここで、事故発生が予見または検知されなかったとき（ＳＴＥＰ１、ＮＯ）、ＳＴＥＰ２に進む。
【０１２３】
ＳＴＥＰ２では、表示部１５が表示を行っているか否かを確認する。ＳＴＥＰ２において、表示部１５が表示を行っていない場合は（ＳＴＥＰ２、ＮＯ）、記録用の出力画像の作成に注力することができる。そのため、記録に適した画像である四画面分割画像を記録用の出力画像として作成し、記録保持部１６ａに保持させる（ＳＴＥＰ３）。そして、ＳＴＥＰ１に戻り、事故発生の予見または検知の有無についての確認を行う。
【０１２４】
ＳＴＥＰ３では、図５に示す表ｃｈの画素信号及び混合部２７ａから出力される画素信号が無いものとなる。また、裏ｃｈの画素信号が、四画面分割画像を構成する画素信号となる。そして、切替部２７ｂが、裏ｃｈの画素信号が記録用の画像データＤｏｕｔ２を構成するように制御する。
【０１２５】
一方、表示部１５で何らかの画像の表示が行われている場合（ＳＴＥＰ２、ＹＥＳ）、その表示されている画像が、全周鳥瞰画像であるか否かについて確認される（ＳＴＥＰ４）。
【０１２６】
全周鳥瞰画像を表示していない場合（ＳＴＥＰ４、ＮＯ）、例えば一画面画像などの画像が表示されていることとなる。上述のように、一画面画像は、画素信号の出力時におけるＲＡＭ部１２へのアクセスが少ないもので済み、記録装置１にかかる負荷が小さいものとなる。そのため、記録に適した画像である四画面分割画像を記録用の出力画像として作成し、記録保持部１６ａに保持させる（ＳＴＥＰ５）。そして、ＳＴＥＰ１に戻り、事故発生の予見または検知の有無についての確認を行う。
【０１２７】
ＳＴＥＰ５では、図５に示す表ｃｈの画素信号が、例えば一画面画像を構成する画素信号となり、混合部２７ａから表ｃｈの画素信号が出力される。また、裏ｃｈの画素信号が、四画面分割画像を構成する画素信号となる。また、切替部２７ｂは、表ｃｈの画素信号が表示用の画像データＤｏｕｔ１を構成するとともに、裏ｃｈの画素信号が記録用の画像データＤｏｕｔ２を構成するように制御する。
【０１２８】
一方、全周鳥瞰画像の表示を行っている場合（ＳＴＥＰ４、ＹＥＳ）、次に車両が高速走行を行っているか否かについて確認される（ＳＴＥＰ６）。例えば、ＭＰＵ１７がＣＡＮ／ＬＩＮから車両情報を取得することによって、高速走行の有無を確認することができる。なお、ある閾値となる速度より速いか否かによって、高速走行の有無を判定しても構わない。
【０１２９】
高速走行を行っている場合（ＳＴＥＰ６、ＹＥＳ）、ユーザが表示部１５を凝視することが想定されにくいため、表示用の出力画像を全周鳥瞰画像（混合無）とする（ＳＴＥＰ７）。そして、全周鳥瞰画像（混合無）であれば、同時期に複数のチャネルの画素信号を出力したり混合したりすることがないため、記録装置１に負荷がかかるものの、記録用の出力画像の作成に支障がない程度となる。そのため、記録に適した画像である四画面分割画像を記録用の出力画像として作成し、記録保持部１６ａに保持させる（ＳＴＥＰ８）。そして、ＳＴＥＰ１に戻り、事故発生の予見または検知の有無についての確認を行う。
【０１３０】
ＳＴＥＰ８では、図５に示す表ｃｈの画素信号が、全周鳥瞰画像（混合無）を構成する画素信号となり、混合部２７ａから表ｃｈの画素信号が出力される。また、裏ｃｈの画素信号が、四画面分割画像を構成する画素信号となる。また、切替部２７ｂは、表ｃｈの画素信号が表示用の画像データＤｏｕｔ１を構成するとともに、裏ｃｈの画素信号が記録用の画像データＤｏｕｔ２を構成するように制御する。
【０１３１】
一方、高速走行を行っていない場合（ＳＴＥＰ６、ＮＯ）、次に表示用の出力画像が全周鳥瞰画像（混合有）であるか否かについて確認される（ＳＴＥＰ９）。
【０１３２】
表示用の出力画像が全周鳥瞰画像（混合有）でない場合（ＳＴＥＰ９、ＮＯ）、記録装置１の状態がＳＴＥＰ７の直後と同様の状態となるため、ＳＴＥＰ８と同様の動作を行うことができる。そのため、記録に適した画像である四画面分割画像を記録用の出力画像として作成し、記録保持部１６ａに保持させる（ＳＴＥＰ１０）。そして、ＳＴＥＰ１に戻り、事故発生の予見または検知の有無についての確認を行う。
【０１３３】
ＳＴＥＰ１０では、図５に示す表ｃｈの画素信号が、全周鳥瞰画像（混合無）を構成する画素信号となり、混合部２７ａから表ｃｈの画素信号が出力される。また、裏ｃｈの画素信号が、四画面分割画像を構成する画素信号となる。また、切替部２７ｂは、表ｃｈの画素信号が表示用の画像データＤｏｕｔ１を構成するとともに、裏ｃｈの画素信号が記録用の画像データＤｏｕｔ２を構成するように制御する。
【０１３４】
一方、表示用の出力画像が全周鳥瞰画像（混合有）である場合（ＳＴＥＰ９、ＹＥＳ）、同時期に複数のチャネルの画素信号を出力したり混合したりする必要があるため、記録装置１に大きな負荷がかかる。そして、記録用の出力画像として四画面分割画像を作成することとすると、表示用及び記録用の出力画像を円滑に作成することができない可能性が高くなる。そのため、表示用の出力画像である全周鳥瞰画像（混合有）を、記録用の出力画像として記録保持部１６ａに保持させる（ＳＴＥＰ１１）。そして、ＳＴＥＰ１に戻り、事故発生の予見または検知の有無についての確認を行う。
【０１３５】
ＳＴＥＰ１０では、図５に示す表ｃｈの画素信号と裏ｃｈの画素信号とが全周鳥瞰画像（混合有）を構成する画素信号となる。混合部２７ａは、表ｃｈの画素信号と裏ｃｈの画素信号とを混合係数に応じて混合して出力する。また、切替部２７ｂは、混合部２７ａから出力される画素信号が、表示用の画像データＤｏｕｔ１と記録用の画像データＤｏｕｔ２との両方を構成するように制御する。
【０１３６】
ところで、本制御例では、事故発生を予見または検知すると（ＳＴＥＰ１、ＹＥＳ）、記録に適した画像である四画面分割画像を記録用の出力画像として作成し、記録保持部１６ａに保持させる（ＳＴＥＰ１２）。このとき、記録装置１に対する負荷が大きい全周鳥瞰画像（混合有）を表示用の出力画像としている場合、例えば全周鳥瞰画像（混合無）に変更しても構わない。また、全周鳥瞰画像（混合有）を表示している場合に限らず、記録装置１に対する負荷が小さい出力画像を表示用の出力画像としたり、表示用の出力画像を停止したりするなどの制御を行っても構わない。即ち、四画面分割画像が出力画像として作成されることに対して支障がなければ、どのような制御を行っても構わない。
【０１３７】
そして、記録保持部１６ａに保持される事故発生の前後１０秒程度を示す記録用の出力画像（映像信号Ｖｏｕｔ２）やその期間の車両情報などを、記録保存部１６ｂに転送させて記録させる（ＳＴＥＰ１３）。
【０１３８】
このように制御することによって、事故発生を予見または検知したときに確実に、記録に適した出力形式（以下、好適記録画像形式とする）の画像（上述の例では四画面分割画像）を記録することが可能となる。したがって、事故発生時の状況が誤認されることを抑制することができる。
【０１３９】
また、事故発生を予見または検知したときに、表示動作よりも記録動作を優先させることによって、好適記録画像を作成及び記録したとしても記録装置１に多大な負荷がかかることを抑制することができる。そのため、出力画像が乱れるなどの問題が発生することが抑制され、正確に好適記録画像を記録することが可能となる。
【０１４０】
また、作成時に記録装置１に対して大きな負荷がかからない出力形式（以下、低負荷画像形式とする）の画像（上述の例では一画面画像及び全周鳥瞰画像（混合無））を表示する場合や、表示を行わない場合に、好適記録画像を作成及び記録する構成としている。また、作成時に記録装置１に対して大きな負荷がかかる出力形式（以下、高負荷画像形式とする）画像（上述の例では全周鳥瞰画像（混合有））の表示がユーザによって指示されている場合でも、利用されない可能性が高い状況（上述の例では高速走行している状況）であれば、表示用の画像を低負荷画像（上述の例では全周鳥瞰画像（混合無））に切り替え、好適記録画像を記録する構成としている。
【０１４１】
即ち、可能な限り好適記録画像を記録する構成としている。そのため、事故発生を予見または検知する前の期間についても、好適記録画像で記録される可能性を高めることが可能となる。
【０１４２】
一方、ユーザが、高負荷画像の表示を望む場合であり、好適記録画像を記録すると記録装置１の円滑な動作が阻害される場合では、高負荷画像を表示するとともに記録することとしている。これにより、好適記録画像を記録する場合には劣るが、事故発生前の期間についても円滑な記録を行うことができる。さらに、ユーザの要求に応じた表示動作を行うことができる記録装置１とすることができる。また、上述のように事故発生の予見や検知をした場合には好適記録画像を記録するように切り替えられるため、事故発生時の状況について正確に認識されやすくすることができる。
【０１４３】
なお、上述の例（特にＳＴＥＰ１２）では、事故発生を予見または検出する前の好適記録画像と、事故発生を予見または検出した後の好適記録画像と、を同じ四画面分割画像としているが、異なるものとしても構わない。特に、事故発生を予見または検出した際に、図１６に示すような画像としても構わない。図１６は、事故を予見または検知した場合に記録される出力画像の一例について示す模式図である。
【０１４４】
図１６に示す出力画像７０では、出力画像７０に含まれる特定のチャネル（本例ではｃｈ３）の画像が、他のチャネルの画像よりも大きくなる。即ち、入力画像から間引かれる画素数が、特定のチャネルの画像では少なくなり、他のチャネルの画像では多くなる。
【０１４５】
特定のチャネルは、例えば、他の車両が衝突してくる方向などによって決定される。即ち、記録しようとする事故時の状況について、特に重要であると判定される方向と近い方向を撮像しているカメラＣＡｉのチャネルｃｈｉを、特定のチャネルとする。なお、衝突方向などの検出については、例えば、ＭＰＵ１７がＣＡＮ／ＬＩＮから入力される車両情報（例えば、ソナー情報やレーダ情報などから得られる接近物体（例えば他の車両）との距離情報）から求めることができる。なお、設定される特定のチャネルを一つに限らず、複数としても構わない。
【０１４６】
以上のような各チャネルｃｈｉの画像の大きさの変更について、ＭＰＵ１７が、ＬＵＴ書き換え信号によってＬＵＴを書き換えることで実現しても構わない。また、所定のチャネルｃｈｉの画像を大きくしたＬＵＴをＲＡＭ部１２に複数種類備え、ＬＵＴを適宜選択することで実現しても構わない。
【０１４７】
このように、特定のチャネルの画像を大きく（高画質化）することにより、記録した画像に基づいて事故時の状況がさらに把握されやすくなる。また、特定のチャネル以外のチャネルの画像も出力画像７０に含ませる構成であるため、特定のチャネルが示す方向以外の方向の状況についても、出力画像７０から把握することができる。特に、特定のチャネルが示す方向以外の方向に重要な証拠がある場合に、その証拠を記録することが可能となる。
【０１４８】
また、第１実施例と第２実施例とを組み合わせても構わない。例えば、好適記録画像を記録する際に、時間情報を合わせて記録することとしても構わない。また、好適記録画像中に時間情報を記載して記録しても構わない。
【０１４９】
また、本発明の実施形態における記録装置１について、画像処理回路１１内の各部の動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１５０】
また、上述した場合に限らず、図１及び図５の記録装置１及び画像処理回路１１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて記録装置１や画像処理回路１１を構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１５１】
また、図２ではＭＰＵ１７やＲＡＭ部１２などを画像処理回路１１と別として記載しているが、これらの一部または全部と画像処理回路１１の一部または全部とを含めたものを、画像処理部や画像処理装置として解釈することができるものとする。
【０１５２】
以上、本発明における実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１５３】
本発明は、複数の入力画像から出力画像を生成する画像処理装置や、この画像処理装置から出力される画像を記録する記録装置に関する。特に、車両に搭載されるとともに車両の周囲の状況を記録する記録装置に適用すると好適である。
【図面の簡単な説明】
【０１５４】
【図１】は、本発明の実施形態に係る記録装置が適用される車両の一例を示す模式図である。
【図２】は、本発明の実施形態に係る記録装置の構成例を示すブロック図である。
【図３】は、本発明の実施形態に係る記録装置のＲＡＭ部に備えられるフレームメモリ領域の一例を示す模式図である。
【図４】は、入力画像及び出力画像について示す模式図である。
【図５】は、画像処理回路内部の構成例をも示す、記録装置の一部ブロック図である。
【図６】は、ＬＵＴの一例について示した図である。
【図７】は、出力画像の一例について示した模式図である。
【図８】は、ＬＵＴの入力画素位置情報の構成の一例を示す図である。
【図９】は、出力画像の一例について示した模式図である。
【図１０】は、記録保存部のデータの保存方法の一例を示す図である。
【図１１】は、第１実施例の記録装置における記録用の出力画像の一例について示した模式図である。
【図１２】は、第１実施例の記録装置における記録用の出力画像の別例について示した模式図である。
【図１３】は、四画面分割画像の一例について示す模式図である。
【図１４】は、物体消失問題について説明する斜視図である。
【図１５】は、第２実施例の記録装置における出力画像の制御例について示したフローチャートである。
【図１６】は、事故を予見または検知した場合に記録される出力画像の一例について示す模式図である。
【符号の説明】
【０１５５】
１    記録装置
１１    画像処理回路
１２    ＲＡＭ部
１２ａ  フレームメモリ領域
１２ｂ  ＬＵＴ領域
１２ｃ  カラーテーブル領域
１３    表示用エンコーダ
１４    記録用エンコーダ
１５    表示部
１６    記録部
１６ａ  記録保持部
１６ｂ  記録保存部
１７    ＭＰＵ
１８    操作部
２１    書き込みアドレス生成回路
２２    読み出しアドレス生成回路
２３    ＬＵＴアドレス生成回路
２４    映像出力アドレス生成回路
２５    レジスタ
２６    調停回路
２７    画素信号調整部
２７ａ  混合部
２７ｂ  切替部
【図１】
2010028537.tif 000003
【図２】
2010028537.tif 000004
【図３】
2010028537.tif 000005
【図４】
2010028537.tif 000006
【図５】
2010028537.tif 000007
【図６】
2010028537.tif 000008
【図７】
2010028537.tif 000009
【図８】
2010028537.tif 000010
【図９】
2010028537.tif 000011
【図１０】
2010028537.tif 000012
【図１１】
2010028537.tif 000013
【図１２】
2010028537.tif 000014
【図１３】
2010028537.tif 000015
【図１４】
2010028537.tif 000016
【図１５】
2010028537.tif 000017
【図１６】
2010028537.tif 000018