(57)【要約】【課題】メモリへの画像の書き込みの異常を検出する。【解決手段】画像表示システム２００においては、データ付与部２２が、フレームメモリ２３に書き込む前の画像に対して、時間的に隣り合う画像とは異なる検査用データを付与する。一方、異常検出部２４は、フレームメモリ３３から周期的に読み出された画像に付与された検査用データの更新状態に基づいて異常を検出する。フレームメモリ２３への画像の書き込みの異常があればこの検査用データが更新されないため、画像の書き込みの異常を容易に検出することができる。【選択図】図１
2012147308.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置であって、
画像を周期的にメモリに書き込む書込手段と、
前記メモリから前記画像を周期的に読み出す読出手段と、
前記メモリから読み出された前記画像に基づく表示画像を表示装置に出力して表示させる出力手段と、
前記メモリに書き込む前の前記画像それぞれに、時間的に隣り合う画像とは異なる検査用データを付与する付与手段と、
前記メモリから周期的に読み出された前記画像それぞれに付与された前記検査用データの更新状態に基づいて、異常を検出する検出手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記検出手段が前記異常を検出した場合は、前記表示画像に前記異常の発生を示す警告情報を含める警告手段、
を備えることを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記書込手段は、車両の周辺を撮影するカメラで取得された画像を前記メモリに書き込み、
前記出力手段は、前記車両に搭載された表示装置に前記表示画像を出力して表示させることを特徴とする画像処理装置。
【請求項４】
請求項１ないし３のいずれかに記載の画像処理装置において、
前記付与手段は、前記メモリに書き込む前の前記画像を周期的に含む映像信号の、ブランキング期間に対応する部分に前記検査用データを付加することを特徴とする画像処理装置。
【請求項５】
画像を表示する画像表示システムであって、
請求項１ないし４のいずれかに記載の画像処理装置と、
前記画像処理装置から出力された表示画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。
【請求項６】
画像を処理する画像処理方法であって、
（ａ）画像を周期的にメモリに書き込む工程と、
（ｂ）前記メモリから前記画像を周期的に読み出す工程と、
（ｃ）前記メモリから読み出された前記画像に基づく表示画像を表示する工程と、
（ｄ）前記メモリに書き込む前の前記画像それぞれに、時間的に隣り合う画像とは異なる検査用データを付与する工程と、
（ｅ）前記メモリから周期的に読み出された前記画像それぞれに付与された前記検査用データの更新状態に基づいて、異常を検出する工程と、
を備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を処理する技術に関する。
【背景技術】
【０００２】
表示装置への表示に用いる映像信号は、画像（フレーム）を所定の周期で含んでいる。この映像信号を処理対象とする画像表示システムは、映像信号の同期タイミングの調整や映像信号の同期周波数の変更などに、一の画像（一のフレーム）全体を記憶可能なフレームメモリと呼ばれるメモリを一般的に利用する。
【０００３】
例えば、画像表示システムは、映像信号に含まれる画像をメモリの所定の記憶領域に周期的に書き込む。そして、画像表示システムは、このメモリの記憶領域から所定のタイミングで画像を周期的に読み出す。これにより、映像信号の同期タイミングの調整や、映像信号の同期周波数などが実現される。
【０００４】
なお、本明細書で説明する技術に関連する技術を開示した文献として特許文献１がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−５２０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、上記のようにメモリを利用する画像表示システムにおいて、映像信号に含まれる画像を書き込む側の処理部に異常が生じる一方で、画像を読み出す側の処理部は正常となる場合がある。この場合においては、画像を記憶すべきメモリの領域には新たな画像が書き込まれないため、メモリの当該領域は最後に書き込まれた画像を継続的に記憶する状態となる。一方で、画像を読み出す側の処理部は正常であるため、メモリに記憶された同一の画像が繰り返し読み出されて、表示装置への表示に用いられる。これにより、画像表示システムは、表示する画像の内容が更新されない状態（以下、「画面固着状態」という。）に陥ることになる。
【０００７】
画像表示システムがこの画面固着状態となったとしても、表示装置に画像は表示されることから、画像表示システムに何らかの異常が生じたことをユーザは把握しにくい。一方で、表示装置が表示する画像の内容が更新されないことから、画像中の被写体の本来の様子が表示されなくなる。これにより、表示装置を視認するユーザが、画像表示システムの異常に気づかずに、表示装置に表示された画像の内容に基づいて誤った判断をする可能性がある。
【０００８】
特に、車両の周辺を撮影して得られた画像を車両内の表示装置に表示する画像表示システムがこのような画面固着状態となった場合においては、車両の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。
【０００９】
本発明は、上記課題に鑑みてなされたものであり、メモリへの画像の書き込みの異常を検出できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、請求項１の発明は、画像を処理する画像処理装置であって、画像を周期的にメモリに書き込む書込手段と、前記メモリから前記画像を周期的に読み出す読出手段と、前記メモリから読み出された前記画像に基づく表示画像を表示装置に出力して表示させる出力手段と、前記メモリに書き込む前の前記画像それぞれに、時間的に隣り合う画像とは異なる検査用データを付与する付与手段と、前記メモリから周期的に読み出された前記画像それぞれに付与された前記検査用データの更新状態に基づいて、異常を検出する検出手段と、を備えている。
【００１１】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記検出手段が前記異常を検出した場合は、前記表示画像に前記異常の発生を示す警告情報を含める警告手段、を備えている。
【００１２】
また、請求項３の発明は、請求項２に記載の画像処理装置において、前記書込手段は、車両の周辺を撮影するカメラで取得された画像を前記メモリに書き込み、前記出力手段は、前記車両に搭載された表示装置に前記表示画像を出力して表示させる。
【００１３】
また、請求項４の発明は、請求項１ないし３のいずれかに記載の画像処理装置において、前記付与手段は、前記メモリに書き込む前の前記画像を周期的に含む映像信号の、ブランキング期間に対応する部分に前記検査用データを付加する。
【００１４】
また、請求項５の発明は、画像を表示する画像表示システムであって、請求項１ないし４のいずれかに記載の画像処理装置と、前記画像処理装置から出力された表示画像を表示する表示装置と、を備えている。
【００１５】
また、請求項６の発明は、画像を処理する画像処理方法であって、（ａ）画像を周期的にメモリに書き込む工程と、（ｂ）前記メモリから前記画像を周期的に読み出す工程と、（ｃ）前記メモリから読み出された前記画像に基づく表示画像を表示する工程と、（ｄ）前記メモリに書き込む前の前記画像それぞれに、時間的に隣り合う画像とは異なる検査用データを付与する工程と、（ｅ）前記メモリから周期的に読み出された前記画像それぞれに付与された前記検査用データの更新状態に基づいて、異常を検出する工程と、を備えている。
【発明の効果】
【００１６】
請求項１ないし６の発明によれば、メモリに書き込む前の画像に時間的に隣り合う画像と異なる検査用データを付与し、メモリから読み出した画像に付与された検査用データの更新状態に基づいて異常を検出する。メモリへの画像の書き込みの異常があれば検査用データが更新されないため、その異常を検出することができる。
【００１７】
また、特に請求項２の発明によれば、表示装置に表示される表示画像に警告情報が含まれているため、異常が発生したことを表示画像を視認するユーザに報知することができる。
【００１８】
また、特に請求項３の発明によれば、車両の周辺を示す画像を表示装置に表示させる場合に、映像信号に異常があったとしても異常の発生をユーザに報知できるため、安全性を維持することができる。
【００１９】
また、特に請求項４の発明によれば、画像に影響を与えること無く、画像の書き込みの異常を検出することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、実施の形態で採用される技術の概要を説明するための図である。
【図２】図２は、連続する複数の画像の例を示している。
【図３】図３は、連続する複数の画像の例を示している。
【図４】図４は、連続する複数の画像の例を示している。
【図５】図５は、連続する複数の画像の例を示している。
【図６】図６は、画像表示システムの構成を示す図である。
【図７】図７は、車載カメラが車両に配置される位置を示す図である。
【図８】図８は、画像処理部が備える機能を示す図である。
【図９】図９は、任意視点画像を生成する手法を説明するための図である。
【図１０】図１０は、結合画像を生成する手法を説明するための図である。
【図１１】図１１は、画像処理部の画像を書き込む側の処理部の処理の流れを示す図である。
【図１２】図１２は、同期信号と映像信号との関係を示す図である。
【図１３】図１３は、画像処理部の画像を読み出す側の処理部の処理の流れを示す図である。
【図１４】図１４は、同期信号と映像信号との関係を示す図である。
【図１５】図１５は、連続する複数の結合画像の例を示す図である。
【図１６】図１６は、連続する複数の結合画像の例を示す図である。
【図１７】図１７は、警告情報が表示される様子を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２２】
＜１．技術概要＞
まず、本発明の実施の形態の具体的な構成を説明する前に、この実施の形態で採用される技術の概要を説明する。図１は、この技術の概要を説明するための図であり、画像表示システム２００の簡略構成を示している。
【００２３】
画像表示システム２００は、映像信号にフレームとして周期的に含まれる画像を処理する画像処理装置２０と、表示装置２９とを備えている。画像処理装置２０では表示画像が生成され、この表示画像が表示装置２９で表示される。
【００２４】
画像表示システム２００は、映像信号に含まれる一の画像（一のフレーム）全体を記憶可能な記憶容量を有するメモリであるフレームメモリ２３を備えている。画像表示システム２００は、このフレームメモリ２３を、映像信号の同期タイミングの調整や映像信号の同期周波数の変更などに用いる。
【００２５】
また、画像表示システム２００は、画像書込部２１、画像読出部２４、及び、表示画像生成部２６を備えている。
【００２６】
画像書込部２１は、映像信号に含まれる画像をフレームメモリ２３の所定の記憶領域に周期的に書き込む。すなわち、フレームメモリ２３の当該記憶領域においては、所定の周期ごとに画像が上書きされることになる。
【００２７】
また、画像読出部２４は、当該記憶領域に記憶された画像を、フレームメモリ２３から周期的に読み出す。これにより、画像読出部２４は、読み出した画像を所定の周期で含む映像信号を生成する。
【００２８】
表示画像生成部２６は、画像読出部２４が生成した映像信号に含まれる画像に基づいて表示画像を生成し、この表示画像を表示装置２９に所定の周期で出力する。これにより、表示装置２９において表示画像が表示される。
【００２９】
このような画像表示システム２００において、回路の故障や制御装置の暴走などにより、画像書込部２１などの画像を書き込む側の処理部に異常が生じることがある。この場合、フレームメモリ２３への画像の書き込みができなくなることから、フレームメモリ２３において映像信号の画像を記憶すべき記憶領域には新たな画像が上書きされない。その結果、当該記憶領域は最後に書き込まれた画像を継続的に記憶する状態となる。
【００３０】
画像読出部２４は、画像を書き込む側の処理部とは独立して動作する。このため、画像の書き込みに異常が生じていたとしても、画像読出部２４は、フレームメモリ２３から同一の画像を繰り返し読み出すことになる。そして、読み出された画像は表示画像生成部２６により表示画像とされ、この表示画像が表示装置２９において表示される。その結果、表示装置２９では、同一の内容の表示画像が継続的に表示される。すなわち、表示装置２９は、画面上に表示する表示画像の内容が更新されない画面固着状態となる。
【００３１】
図２は、映像信号に含まれる時間的に連続する複数の画像の例を示している。図中において右側ほど時間が経過していることを示している。すなわち、図中左側ほど先の画像であり、右側ほど後の画像となる（以降の図でも同様。）。
【００３２】
この図２に示す映像信号の画像Ｆ１〜Ｆ５を画像書込部２１がフレームメモリ２３に正常に書き込み、フレームメモリ２３からこれらの画像Ｆ１〜Ｆ５を画像読出部２４が読み出した場合においては、画像読出部２４が生成する映像信号は図２と同様の画像Ｆ１〜Ｆ５を含むことになる。これらの画像Ｆ１〜Ｆ５には、球状の被写体の像Ｓｂが含まれている。図２に示す映像信号の画像Ｆ１〜Ｆ５が表示画像として表示装置２９に連続的に表示されると、この被写体の像Ｓｂは表示装置２９の画面の左上から右下へ移動する。
【００３３】
一方、画像を書き込む側の処理部に異常が生じ、図２に示す映像信号の画像Ｆ１〜Ｆ５をフレームメモリ２３に正常に書き込めなかった場合を想定する。図３は、この場合において、画像読出部２４が生成する映像信号に含まれる時間的に連続する複数の画像Ｆ１１〜Ｆ１５の一例を示している。
【００３４】
図３に示す映像信号においては画像Ｆ１３以降はその内容が更新されていない。すなわち、画像Ｆ１４及び画像Ｆ１５は、フレームメモリ２３に最後に書き込まれた画像Ｆ１３と同一の内容となっている。なお、図中には示していないが、映像信号の画像Ｆ１５よりも後の画像についても、画像Ｆ１３と同一の内容となる。
【００３５】
図３に示す映像信号の画像Ｆ１３〜Ｆ１５が表示画像として表示装置２９に連続的に表示されると、被写体の像Ｓｂは画面の左上から中央へ移動した後、画面の中央で停止することになる。すなわち、表示装置２９は画面固着状態となり、表示する表示画像の内容が更新されなくなる。このように画面固着状態となると、画面上において本来の被写体の状態を示すことができなくなる。
【００３６】
画像処理装置２０は、このような異常を検出するため、図１に示すように、データ付与部２２と、異常検出部２７と、警告部２８とを備えている。
【００３７】
データ付与部２２は、画像書込部２１がフレームメモリ２３に書き込む前の画像のそれぞれに、検査用データを付与する。この検査用データは、例えば数字である。データ付与部２２は、映像信号において時間的に連続する画像に同一の数字ではなく、異なる数字を検査用データとして付与する。具体的には、データ付与部２２は、検査用データを画像に付与するごとに、検査用データとする数字を１ずつ増加していく。これにより、画像に付与される検査用データは、映像信号において時間的に隣り合う画像に付与されるものとは異なることになる。
【００３８】
映像信号の各画像は、このような検査用データが付与された状態で、フレームメモリ２３に記憶される。画像読出部２４は、検査用データが付与されてフレームメモリ２３に記憶された画像を、フレームメモリ２３から検査用データとともに読み出す。
【００３９】
異常検出部２７は、画像読出部２４に周期的に読み出された画像（画像読出部２４が生成した映像信号に周期的に含まれる画像）の検査用データを監視し、この検査用データの更新状態に基づいて異常を検出する。具体的には、異常検出部２７は、検査用データが画像ごとに更新されていれば正常であると判断する。一方、異常検出部２７は、連続する複数の画像の検査用データが同一となる場合は、異常が発生したと判断する。
【００４０】
前述の通り、画像書込部２１が書き込む連続する複数の画像には、互いに異なる検査用データが付与されている。したがって、画像読出部２４が読み出した連続する複数の画像の検査用データが同一となる場合とは、同一の画像が繰り返し読み出された場合、すなわち、画像の書き込みに異常が生じた場合に相当する。
【００４１】
警告部２８は、異常検出部２７が異常を検出した場合は、表示画像生成部２６が生成する表示画像に異常の発生を示す文字などを含む警告情報を重畳する。これにより、この警告情報は表示装置２９において表示される。その結果、表示装置２９を視認するユーザに異常の発生が報知される。
【００４２】
図４は、図２に示す映像信号に含まれる各画像Ｆ１〜Ｆ５にデータ付与部２２が検査用データＴＤを付与した様子を示す図である。図に示すように、連続する画像Ｆ１〜Ｆ５にそれぞれ異なる数字が検査用データＴＤとして付与されている。フレームメモリ２３への画像の書き込みが正常の場合においては、画像読出部２４が生成する映像信号は図４と同様の画像Ｆ１〜Ｆ５を含むことになる。異常検出部２７は、このように連続する複数の画像に付与された検査用データＴＤが、画像ごとに更新されることを確認することで正常であると判断する。
【００４３】
一方、図５は、フレームメモリ２３への画像の書き込みに異常が生じた場合において、画像読出部２４が生成する映像信号に含まれる画像の例を示す図である。図５に示す映像信号においては、画像Ｆ１３以降はその内容が更新されておらず、各画像に付与された検査用データＴＤも「３」のまま更新されていない。異常検出部２７は、このように連続する複数の画像に付与された検査用データＴＤが更新されないことに基づいて、画像の書き込みの異常を検出できることになる。
【００４４】
＜２．画像表示システムの構成＞
以下、上記で説明した技術を採用する画像表示システムについて具体的に説明する。図６は、本実施の形態に係る画像表示システム１００の構成を示す図である。この画像表示システム１００は、車両に搭載され、当該車両の周辺の様子を示す画像を生成して車室内に表示する機能を有している。以下、車両は自動車であるものとして説明する。
【００４５】
図６に示すように、画像表示システム１００は、ユーザに対して各種情報を表示する表示装置７と、表示装置７に表示する表示画像を生成する画像処理装置１０と、車両の周辺を撮影する撮影部５とを主に備えている。
【００４６】
表示装置７は、液晶ディスプレイなどを備えており、画像処理装置１０で生成された車両の周辺の様子を示す各種の表示画像を表示する。表示装置７は、ユーザから視認可能なように車両のインストルメントパネルなどに配置される。
【００４７】
画像処理装置１０は、例えば、画像を生成する機能を有するＥＣＵ（Electronic Control Unit）である。画像処理装置１０は、撮影部５で車両の周辺を撮影して得られる撮影画像に基づいて、表示装置７に表示するための表示画像を生成する。画像処理装置１０は、表示装置７とは異なる車両の所定の位置に配置される。
【００４８】
撮影部５は、画像処理装置１０に電気的に接続され、画像処理装置１０からの信号に基づいて動作する。撮影部５は、複数の車載カメラ、具体的には、フロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３、及び、バックカメラ５４を備えている。各車載カメラ５１〜５４は、レンズと撮像素子とを備えており電子的に画像を取得する。これら４つの車載カメラ５１〜５４は、車両の前後左右にそれぞれ配置される。
【００４９】
図７は、車載カメラ５１〜５４が車両９に配置される位置を示す図である。図７に示すように、フロントカメラ５１は車両９の前端に設けられ、その光軸５１ａは平面視で車両９の前後方向に沿って車両９の前方に向けられている。バックカメラ５４は、車両９の後端に設けられ、その光軸５４ａは平面視で車両９の前後方向に沿って車両９の後方に向けられている。これらフロントカメラ５１やバックカメラ５４の取付位置は、左右中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。
【００５０】
また、左サイドカメラ５２は左側のドアミラー９３に設けられ、その光軸５２ａは平面視で車両９の左右方向に沿って車両９の左側に向けられている。一方、右サイドカメラ５３は右側のドアミラー９３に設けられ、その光軸５３ａは平面視で車両９の左右方向に沿って車両９の右側に向けられている。
【００５１】
これらの車載カメラ５１〜５４のレンズとしては、魚眼レンズや超広角レンズなどが採用されている。このため、各車載カメラ５１〜５４が撮影可能な水平方向の角度θは１８０度以上となっており、４つの車載カメラ５１〜５４を利用することで車両９の全周囲の撮影が可能となっている。
【００５２】
図６に戻り、画像処理装置１０は、システム全体を制御する制御部１と、画像処理を実行する画像処理部３と、不揮発性メモリ４０と、信号受信部４３とを主に備えている。
【００５３】
制御部１は、ＣＰＵ、ＲＡＭ及びＲＯＭなどを備えたコンピュータである。制御部１の各種の制御機能は、所定のプログラムに従ってＣＰＵが演算処理を行うことで実現される。制御部１は、例えば、画像処理に必要な各種のパラメータなどを画像処理部３に指示する。
【００５４】
不揮発性メモリ４０は、電源オフ時においても記憶内容を維持可能なフラッシュメモリなどである。不揮発性メモリ４０には、制御部１の機能を実現するプログラム（ファームウェア）や、車体サイズなどの車両９に固有の情報を示す車両データなどが記憶されている。
【００５５】
信号受信部４３は、車両９に設けられた各種の車載装置から信号を受信する。この信号受信部４３を介して、画像表示システム１００の外部のシフトセンサ８１からの信号が制御部１に入力される。信号受信部４３は、シフトセンサ８１から、車両９の変速装置のシフトレバーの操作の位置、すなわち、”Ｐ（駐車）”，”Ｄ（前進）”，”Ｎ（中立）”，”Ｒ（後退）”などのシフトポジションを示す信号を受信する。
【００５６】
画像処理部３は、各種の画像処理を実行する機能を有している。画像処理部３は、撮影部５から撮影画像を取得し、撮影画像を処理して表示装置７に表示するための表示画像を生成する。
【００５７】
図８は、画像処理部３が備える機能を他の構成とともに示す図である。画像処理部３は、撮影部５が備える４つの車載カメラ５１〜５４で得られた４つの撮影画像を記憶可能なフレームメモリ３３を備えている。さらに、画像処理部３は、４つの書込系統３ａ〜３ｄと、画像読出部３４と、視点変換部３５と、表示画像生成部３６とを主に備えている。画像処理部３が備えるこれらの処理部は、例えば、ＡＳＩＣなどの集積回路で実現される。
【００５８】
４つの書込系統３ａ〜３ｄはそれぞれ、車載カメラで得られた撮影画像をフレームメモリ３３に書き込むものである。４つの書込系統３ａ〜３ｄは４つの車載カメラ５１〜５４にそれぞれ対応しており、対応する車載カメラで得られた撮影画像をフレームメモリ３３に書き込む。これら４つの書込系統３ａ〜３ｄは、互いに独立して動作する。
【００５９】
各書込系統３ａ〜３ｄは、ＡＤコンバータ３０と、画像書込部３１とを備えている。ＡＤコンバータ３０は、車載カメラからアナログの撮影画像を所定の周期で取得し、その撮影画像をデジタルの撮影画像に変換（Ａ／Ｄ変換）する。これにより、ＡＤコンバータ３０は、デジタルの撮影画像を所定の周期（例えば１／３０秒）で含む映像信号を生成する。画像書込部３１は、この映像信号に含まれる撮影画像を、フレームメモリ３３の所定の記憶領域に周期的に書き込む。
【００６０】
４つの書込系統３ａ〜３ｄの画像書込部３１は、フレームメモリ３３のそれぞれ異なる記憶領域に撮影画像を書き込むことになる。したがって、フレームメモリ３３には、４つの車載カメラ５１〜５４で得られた４つの撮影画像が記憶される。
【００６１】
画像読出部３４は、このようにフレームメモリ３３に記憶された４つの撮影画像を所定の周期で読み出し、４つの撮影画像を結合して４つの撮影画像の全ての内容を含む一の結合画像を生成する。これにより、画像読出部３４は、結合画像を所定の周期（例えば１／３０秒）で含む映像信号を生成する。
【００６２】
視点変換部３５は、画像読出部３４で生成された結合画像を用いて任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する。この任意視点画像を生成する手法の詳細については後述する。
【００６３】
表示画像生成部３６は、視点変換部３５に生成された任意視点画像を含む、表示装置７の表示に用いる表示画像を生成する。そして、表示画像生成部３６は、生成した表示画像を表示装置７に出力する。これにより、任意視点画像を含む表示画像が表示装置７に表示される。
【００６４】
また、画像処理部３の４つの書込系統３ａ〜３ｄはそれぞれデータ付与部３２を備えている。さらに、画像処理部３は、異常検出部３７と警告部３８とを備えている。これらデータ付与部３２、異常検出部３７及び警告部３８は、フレームメモリ３３への撮影画像の書き込みの異常を検出するための機能であるが詳細は後述する。
【００６５】
＜３．任意視点画像の生成＞
次に、任意の仮想視点からみた車両９の周辺の領域を示す任意視点画像を生成する手法について説明する。図９は、任意視点画像を生成する手法を説明するための図である。
【００６６】
まず、撮影部５のフロントカメラ５１、左サイドカメラ５２、右サイドカメラ５３及びバックカメラ５４でそれぞれ撮影が行われる。これにより、車両９の前方、左側方、右側方及び後方をそれぞれ示す４つの撮影画像Ｐ１〜Ｐ４が取得される（ステップＳ１）。これら４つの撮影画像Ｐ１〜Ｐ４には、車両９の全周囲を示す情報が含まれている。取得された４つの撮影画像Ｐ１〜Ｐ４は、フレームメモリ３３に記憶される。
【００６７】
次に、画像読出部３４が、４つの撮影画像Ｐ１〜Ｐ４をフレームメモリ３３から読み出し、４つの撮影画像Ｐ１〜Ｐ４を結合する。これにより、４つの撮影画像Ｐ１〜Ｐ４を縦２×横２に配列して含む結合画像ＵＰが生成される（ステップＳ２）。この結合画像ＵＰは、画像読出部３４から視点変換部３５に受け渡される。
【００６８】
次に、視点変換部３５が、結合画像ＵＰの各画素を、仮想的な三次元空間における立体曲面ＴＳに投影する（ステップＳ３）。立体曲面ＴＳは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両９が存在する位置として定められている。結合画像ＵＰに含まれる各画素の位置と、この立体曲面ＴＳの各画素の位置とは予め対応関係が定められている。このため、立体曲面ＴＳの各画素の値は、この対応関係と結合画像ＵＰに含まれる各画素の値とに基づいて決定できる。
【００６９】
結合画像ＵＰの各画素の位置と立体曲面ＴＳの各画素の位置との対応関係は、車両９における４つの車載カメラ５１〜５４の配置（相互間距離、地上高さ、光軸角度等）に依存する。この対応関係を示すテーブルデータは、不揮発性メモリ４０に予め記憶された車両データに含まれている。
【００７０】
また、視点変換部３５は、この車両データに含まれる車体の形状やサイズを利用し、車両９の三次元形状を示すポリゴンのモデルを仮想的に構成する。この車両９のモデルは、立体曲面ＴＳが設定される三次元空間において、車両９の位置と定められた略半球状の中心部分に配置される。
【００７１】
さらに、視点変換部３５は、立体曲面ＴＳが存在する三次元空間に対して、制御部１からの指示に基づいて仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視野方向とで規定され、この三次元空間における車両９の近傍に相当する任意の視点位置に任意の視野方向に向けて設定される。
【００７２】
そして、視点変換部３５は、設定した仮想視点ＶＰに応じて、立体曲面ＴＳにおける必要な領域を画像として切り出す。仮想視点ＶＰと、立体曲面ＴＳにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性メモリ４０等に予め記憶されている。また、視点変換部３５は、設定した仮想視点ＶＰに応じてポリゴンのモデルに関してレンダリングを行い、その結果となる二次元の車両９の像を、切り出した画像に対して重畳する。これにより、視点変換部３５は、車両９及びその車両９の周辺を任意の仮想視点ＶＰからみた様子を示す任意視点画像ＣＰを生成する（ステップＳ４，Ｓ５）。
【００７３】
例えば、視点位置が車両９の位置の略中央の直上で、視野方向が直下方向とした仮想視点ＶＰａを設定した場合は、視点変換部３５は、車両９の略直上から車両９を見下ろすように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰａを生成する（ステップＳ４）。また、図中に示すように、視点位置が車両９の位置の左後方で、視野方向が車両９における略前方方向とした仮想視点ＶＰｂを設定した場合は、視点変換部３５は、車両９の左後方からその周辺全体を見渡すように車両９及び車両９の周辺の領域を示す任意視点画像ＣＰｂを生成する（ステップＳ５）。
【００７４】
画像表示システム１００は、このような画像処理部の機能を利用することで車両９の周辺の任意の仮想視点からみた任意視点画像を生成し、その任意視点画像を含む表示画像を表示装置７で表示することができる。
【００７５】
＜４．画像表示システムの動作＞
次に、画像表示システム１００の動作の概要について説明する。画像表示システム１００は、所定の周期で任意視点画像を生成し、表示装置７において任意視点画像を含む表示画像を所定の周期で更新表示する。画像表示システム１００のユーザ（代表的にはドライバ）は、この表示装置７に表示された表示画像を視認することにより、当該車両の周辺の様子をほぼリアルタイムに把握できる。
【００７６】
任意視点画像の仮想視点ＶＰは、シフトセンサ８１から受信したシフトポジションを示す信号に基づいて定められる。例えば、シフトポジションが”Ｐ（駐車）”あるいは”Ｄ（前進）”の場合は、仮想視点ＶＰが車両９の位置の略中央の直上に設定され、車両９の全体を俯瞰するような任意視点画像ＣＰが生成される。一方、シフトポジションが”Ｒ（後退）”の場合は、仮想視点ＶＰが車両９の後方に向けて設定され、車両９が後退する方向の様子を示す任意視点画像ＣＰが生成される。
【００７７】
＜５．書き込み異常の検出＞
前述のとおり、このような任意視点画像ＣＰは結合画像ＵＰから生成される。そして、結合画像ＵＰは４つの撮影画像Ｐ１〜Ｐ４から生成される。
【００７８】
４つの車載カメラ５１〜５４では非同期に撮影がなされることから、４つの撮影画像Ｐ１〜Ｐ４それぞれの映像信号の同期タイミングは互いに異なっている。結合画像ＵＰを生成するためには、このような４つの撮影画像Ｐ１〜Ｐ４の映像信号の同期タイミングを一致させる必要がある。この同期タイミングを一致させるため、４つの撮影画像Ｐ１〜Ｐ４はそれぞれフレームメモリ３３に一旦記憶される。図１０は、結合画像ＵＰを生成する手法を説明するための図である。
【００７９】
画像処理部３の４つの書込系統３ａ〜３ｄ（図８参照。）はそれぞれ、対応する車載カメラの撮影画像Ｐ１〜Ｐ４をフレームメモリ３３の所定の記憶領域ＡＰ１〜ＡＰ４に書き込む。具体的には、第１書込系統３ａの画像書込部３１は、フロントカメラ５１の撮影画像Ｐ１をフレームメモリ３３の第１画像領域ＡＰ１に書き込む。第２書込系統３ｂの画像書込部３１は、左サイドカメラ５２の撮影画像Ｐ２をフレームメモリ３３の第２画像領域ＡＰ２に書き込む。第３書込系統３ｃの画像書込部３１は、右サイドカメラ５３の撮影画像Ｐ３をフレームメモリ３３の第３画像領域ＡＰ３に書き込む。さらに、第４書込系統３ｄはバックカメラ５４の撮影画像Ｐ４をフレームメモリ３３の第４画像領域ＡＰ４に書き込む。
【００８０】
画像読出部３４（図８参照。）は、このようにしてフレームメモリ３３の所定の記憶領域ＡＰ１〜ＡＰ４にそれぞれに記憶された４つの撮影画像Ｐ１〜Ｐ４を同時期に読み出す。そして、画像読出部３４は、同時期に読み出した４つの撮影画像Ｐ１〜Ｐ４を結合することで、結合画像ＵＰを生成する。
【００８１】
４つの書込系統３ａ〜３ｄは互いに独立して動作することから、４つの書込系統３ａ〜３ｄは独立して異常が生じる場合がある。４つの書込系統３ａ〜３ｄのいずれかに異常が生じた場合は、異常が生じた書込系統がフレームメモリ３３に撮影画像を書き込めなくなる。したがって、フレームメモリ３３における当該撮影画像を記憶すべき記憶領域には、新たな撮影画像が上書きされない。このため、当該記憶領域は最後に書き込まれた撮影画像を継続的に記憶する状態となる。
【００８２】
このような状態となると、画像読出部３４は、フレームメモリ３３から同一の撮影画像を繰り返し読み出して結合画像ＵＰを生成することになる。その結果、結合画像ＵＰ、任意視点画像ＣＰ及び表示画像に異常が生じ、これらは車両９の周辺の様子を正しく示さないことになる。このような異常のある表示画像が表示装置７に表示されると、車両９の周辺の様子をユーザが誤って判断し、ユーザが誤った運転を行う可能性がある。
【００８３】
例えば、右サイドカメラ５３の撮影画像Ｐ３を書き込む第３書込系統３ｃのみに異常が生じた場合を想定する。この場合は、フレームメモリ３３の第１画像領域ＡＰ１、第２画像領域ＡＰ２及び第４画像領域ＡＰ４にはそれぞれ撮影画像Ｐ１，Ｐ２，Ｐ４が周期的に書き込まれる。一方で、フレームメモリ３３の第３画像領域ＡＰ３には新たな撮影画像Ｐ３が書き込まれなくなる。
【００８４】
結合画像ＵＰは、このように更新されなくなった撮影画像Ｐ３に基づいて生成される。したがって、結合画像ＵＰにおいては、右サイドカメラ５３の撮影画像Ｐ３に対応する部分の内容が更新されなくなる。その結果、任意視点画像ＣＰにおいても、右サイドカメラ５３の撮影画像Ｐ３に対応する部分の内容が更新されないことになる。この任意視点画像ＣＰを含む表示画像がそのまま表示装置７に表示されると、右サイドカメラ５３の撮影範囲に存在する被写体の様子をリアルタイムに示すことができなくなる。
【００８５】
このため、画像表示システム１００では、４つの書込系統３ａ〜３ｄの異常を検出するために、図１から図５を用いて説明した技術を採用している。
【００８６】
すなわち、図１０に示すように、フレームメモリ３３に書き込む前の撮影画像Ｐ１〜Ｐ４に検査用データＴＤ１〜ＴＤ４がそれぞれ付与される。これら検査用データＴＤ１〜ＴＤ４は、フレームメモリ３３の所定の記憶領域ＡＴ１〜ＡＴ４にそれぞれ記憶される。フレームメモリ３３から４つの撮影画像Ｐ１〜Ｐ４を読み出す際には、４つの検査用データＴＤ１〜ＴＤ４も併せて読み出される。読み出された４つの検査用データＴＤ１〜ＴＤ４は、４つの撮影画像Ｐ１〜Ｐ４を含む結合画像ＵＰに再付与される。そして、この結合画像ＵＰに付与された４つの検査用データＴＤ１〜ＴＤ４それぞれの更新状態に基づいて異常が検出される。
【００８７】
図８に示す画像処理部３の４つの書込系統３ａ〜３ｄがそれぞれ備えるデータ付与部３２は、図１に示すデータ付与部２２に対応する。また、図８に示す画像処理部３の異常検出部３７及び警告部３８は、図１に示す異常検出部２７及び警告部２８にそれぞれ対応する。
【００８８】
図１１は、画像処理部３の４つの書込系統３ａ〜３ｄそれぞれの処理の流れを示す図である。４つの書込系統３ａ〜３ｄは、それぞれ独立して図１１に示す処理を所定の周期（例えば１／３０秒）で繰り返す。
【００８９】
まず、ＡＤコンバータ３０が、車載カメラからアナログの撮影画像を取得する。そして、ＡＤコンバータ３０は、アナログの撮影画像をデジタルの撮影画像に変換する。ＡＤコンバータ３０は、デジタルの撮影画像を画像書込部３１に受け渡す（ステップＳ１１）。
【００９０】
次に、画像書込部３１が、フレームメモリ３３に撮影画像を書き込むことになるが、この画像書込部３１が書き込む前の撮影画像に対してデータ付与部３２が検査用データを付与する（ステップＳ１２）。これにより、撮影画像と検査用データとのそれぞれがフレームメモリ３３の所定の記憶領域に書き込まれる（ステップＳ１３）。
【００９１】
データ付与部３２は、検査用データを撮影画像に付与するごとに、検査用データとする数字を１ずつ増加していく。これにより、データ付与部３２は、映像信号において時間的に隣り合う撮影画像とは異なる検査用データを撮影画像に付与する。検査用データが所定の値（例えば”１６”）となった場合は、次の検査用データは”１”に戻される。
【００９２】
また、データ付与部３２は、検査用データを、撮影画像自体ではなく、撮影画像を周期的に含む映像信号のブランキング期間に対応する部分に付加する。このブランキング期間は、映像信号とともに送信される同期信号によって規定される。
【００９３】
図１２は、同期信号と撮影画像Ｐを含む映像信号との関係を示す図である。図１２に示すように、垂直同期信号ＶＳは周期的に”Ｌ”となる信号であり、その周期は映像信号に含まれる一の撮影画像Ｐの周期に対応している。
【００９４】
図に示すように、垂直同期信号ＶＳの周期である垂直同期間隔ＶＷは、映像信号に撮影画像Ｐが存在する有効期間Ｖｂと、有効期間Ｖｂより前のブランキング期間Ｖａと、有効期間Ｖｂより後のブランキング期間Ｖｃとを合わせた期間となる。
【００９５】
有効期間Ｖｂは、イネーブル信号ＤＥが”Ｈ”の期間である。つまり、イネーブル信号ＤＥが”Ｌ”の期間がブランキング期間Ｖａ，Ｖｃとなる。映像信号のブランキング期間Ｖａ，Ｖｃに対応する部分は、連続する撮影画像Ｐの相互間に相当し、撮影画像Ｐを含まない。
【００９６】
このように映像信号のブランキング期間に対応する部分においては、撮影画像Ｐは含まれていない。データ付与部３２は、このような映像信号における、対象とする撮影画像Ｐの直前となるブランキング期間Ｖａに対応する部分に、検査用データＴＤを付加する。これにより、撮影画像Ｐの内容に影響を与えること無く撮影画像Ｐに検査用データＴＤを付与できる。
【００９７】
図１１に示す処理が４つの書込系統３ａ〜３ｄそれぞれで実行されることで、４つの撮影画像Ｐ１〜Ｐ４と、４つの検査用データＴＤ１〜ＴＤ４とがそれぞれフレームメモリ３３の所定の記憶領域に記憶される。
【００９８】
図１３は、画像処理部３のフレームメモリ３３より下流側の処理部（画像を読み出す側の処理部。具体的には、画像読出部３４、視点変換部３５、表示画像生成部３６、異常検出部３７及び警告部３８。）の処理の流れを示す図である。これらの処理部は、図１３に示す処理を所定の周期（例えば１／３０秒）で繰り返す。
【００９９】
まず、画像読出部３４は、フレームメモリ３３の所定の記憶領域にそれぞれ記憶された４つの撮影画像Ｐ１〜Ｐ４を読み出し、４つの撮影画像Ｐ１〜Ｐ４に基づいて結合画像ＵＰを生成する（ステップＳ２１）。続いて、画像読出部３４は、これら撮影画像Ｐ１〜Ｐ４に付与された４つの検査用データＴＤ１〜ＴＤ４を、フレームメモリ３３の所定の記憶領域から読み出す（ステップＳ２２）。そして、画像読出部３４は、４つの撮影画像Ｐ１〜Ｐ４を含む結合画像ＵＰに４つの検査用データＴＤ１〜ＴＤ４を再付与する。具体的には、画像読出部３４は、結合画像ＵＰを含む映像信号におけるブランキング期間に対応する部分に、読み出した４つの検査用データをＴＤ１〜ＴＤ４を付加することになる。
【０１００】
図１４は、同期信号と結合画像ＵＰを含む映像信号との関係を示す図である。図１４に示すように、イネーブル信号ＤＥが”Ｈ”となる有効期間Ｖｂには、映像信号に結合画像ＵＰが存在する。一方、イネーブル信号ＤＥが”Ｌ”となるブランキング期間Ｖａ，Ｖｂには、映像信号に結合画像ＵＰが存在しない。画像読出部３４は、このような映像信号において、結合画像ＵＰの直前となるブランキング期間Ｖａに対応する部分に４つの検査用データをＴＤ１〜ＴＤ４を付加する。これにより、結合画像ＵＰの内容に影響を与えること無く結合画像ＵＰに４つの検査用データＴＤ１〜ＴＤ４を再付与することができる。
【０１０１】
次に、視点変換部３５が、結合画像ＵＰに基づいて任意視点画像ＣＰを生成する（ステップＳ２３）。さらに、表示画像生成部３６が、この任意視点画像ＣＰを含む表示画像を生成する（ステップＳ２４）。
【０１０２】
このような任意視点画像ＣＰ及び表示画像の生成処理と並行して、異常検出部３７は、結合画像ＵＰに付与された４つの検査用データＴＤ１〜ＴＤ４をそれぞれ監視する。そして、異常検出部３７は、４つの検査用データＴＤ１〜ＴＤ４それぞれの更新状態に基づいて異常を検出する（ステップＳ２５）。
【０１０３】
具体的には、異常検出部３７は、４つの検査用データＴＤ１〜ＴＤ４の全てが前回の処理と異なる場合は正常であると判断する。すなわち、異常検出部３７は、連続する複数の結合画像ＵＰに付与された検査用データＴＤ１〜ＴＤ４の全てが更新されている場合は、正常であると判断する。一方、異常検出部３７は、４つの検査用データＴＤ１〜ＴＤ４の少なくとも一つが、前回の処理と同一となる場合は異常が発生したと判断する。すなわち、異常検出部３７は、連続する複数の結合画像ＵＰに付与された検査用データＴＤ１〜ＴＤ４の少なくとも一つが更新されない場合は、異常が発生したと判断する。
【０１０４】
各書込系統３ａ〜３ｄの画像書込部３１が書き込む連続する複数の撮影画像には、互いに異なる検査用データが付与されている。したがって、連続する複数の結合画像ＵＰに付与された検査用データが同一となる場合とは、撮影画像の書き込みに異常が生じた場合に相当する。
【０１０５】
図１５は、全ての撮影画像の書き込みが正常になされた場合における、連続する複数の結合画像ＵＰの例を示す図である。図に示すように、連続する複数の結合画像Ｕ１〜Ｕ５には、それぞれ４つの検査用データＴＤ１〜ＴＤ４が付与されている。そして、これらの検査用データＴＤ１〜ＴＤ４はそれぞれ、結合画像Ｕ１〜Ｕ５ごとに更新されている。
【０１０６】
一方、図１６は、一の撮影画像の書き込みに異常が生じた場合における、連続する複数の結合画像ＵＰの例を示す図である。この場合も、連続する結合画像Ｕ１１〜Ｕ１５には、それぞれ４つの検査用データＴＤ１〜ＴＤ４が付与されている。ただし、結合画像Ｕ１３以降の結合画像ＵＰの検査用データＴＤ３は「３」のまま更新されていない。異常検出部３７は、このように連続する複数の結合画像ＵＰに付与された検査用データのいずれかが更新されないことに基づいて、撮影画像の書き込みの異常を検出することになる。
【０１０７】
警告部３８は、異常検出部３７が異常を検出した場合は、表示画像生成部３６が生成する表示画像に異常の発生を示す文字などを含む警告情報を重畳する（図１３のステップＳ２６）。
【０１０８】
生成された表示画像は、表示装置７に出力されて表示される（ステップＳ２７）。表示画像に警告情報が重畳された場合は、図１７に示すように、警告情報ＤＢが表示画像ＤＰに含まれた状態で表示装置７において表示される。その結果、表示装置７を視認するユーザに異常の発生が報知されることから、ユーザが誤った運転を行うことを防止でき、安全性を維持できる。
【０１０９】
以上説明したように、画像表示システム１００においては、４つの書込系統３ａ〜３ｄのデータ付与部３２が、フレームメモリ３３に書き込む前の撮影画像に対して、時間的に隣り合う撮影画像とは異なる検査用データを付与する。一方、異常検出部３７は、フレームメモリ３３から周期的に読み出された撮影画像（より具体的には、撮影画像を含む結合画像）に付与された検査用データの更新状態に基づいて異常を検出する。フレームメモリ３３への撮影画像の書き込みの異常があればこの検査用データが更新されないため、このような異常を容易に検出することができる。
【０１１０】
また、異常が発生した場合は、表示装置７に表示される表示画像に警告情報が含まれているため、異常が発生したことを表示画像を視認するユーザに報知することができる。その結果、ユーザが誤った運転を行うことを防止でき、安全性を維持できる。
【０１１１】
＜６．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【０１１２】
上記実施の形態では、異常を検出した場合であっても、車両９の周辺の様子を示す表示画像が表示装置７に表示されていた。これに対して、異常を検出した場合は、全領域が同一色（例えば、黒）の表示画像を表示装置７に表示して、車両９の周辺の様子を示さないようにしてもよい。また、異常を検出した場合は、警告情報を表示せずに、この全領域が同一色の表示画像のみを表示装置７に表示するようにしてもよい。
【０１１３】
また、上記実施の形態では、画像ごとに１ずつ増加する数字を検査用データとして付与していたが、連続する画像に異なる数字を交互に検査用データとして付与するようにしてもよい。つまりは、メモリに書き込む前の画像それぞれに時間的に隣り合う画像とは異なる検査用データを付与すればよい。
【０１１４】
また、上記実施の形態では、車両に搭載される画像表示システム１００について具体的に説明したが、特定の場所に配置される監視カメラで得られた画像を表示装置に表示する画像表示システムなど、車両に搭載されない画像表示システムであっても、上記で説明した技術を好適に適用することが可能である。
【符号の説明】
【０１１５】
７    表示装置
１０    画像処理装置
３１    画像書込部
３２    データ付与部
３３    フレームメモリ
３４    画像読出部
３６    表示画像生成部
３７    異常検出部
３８    警告部
１００    画像表示システム
【図１】
2012147308.tif 000003
【図２】
2012147308.tif 000004
【図３】
2012147308.tif 000005
【図４】
2012147308.tif 000006
【図５】
2012147308.tif 000007
【図６】
2012147308.tif 000008
【図７】
2012147308.tif 000009
【図８】
2012147308.tif 000010
【図９】
2012147308.tif 000011
【図１０】
2012147308.tif 000012
【図１１】
2012147308.tif 000013
【図１２】
2012147308.tif 000014
【図１３】
2012147308.tif 000015
【図１４】
2012147308.tif 000016
【図１５】
2012147308.tif 000017
【図１６】
2012147308.tif 000018
【図１７】
2012147308.tif 000019