(57)【要約】      （修正有）【課題】画像フレームに同期させた情報伝達を改善する。【解決手段】車載映像表示システム１は、車両の外部を撮像範囲に含む画像センサ２を有するカメラ装置１Ａと、表示部６を有するディスプレイ装置１Ｂと、カメラ装置の撮像画像に付随する付随情報を撮像画像の画像データのアクティブ領域に書き込む付随情報書込部８、９と、付随情報が書き込まれた撮像画像である重畳画像から付随情報を読み出す付随情報読出部１３と、重畳画像を加工して付随情報を消去する付随情報消去部１６と、を備える。表示部は、重畳画像から付随情報が消去された画像を表示する。【選択図】図１
2018056950.tif 000002
【特許請求の範囲】
【請求項１】
車両の外部を撮像範囲に含む画像センサを有するカメラ装置と、
表示部を有するディスプレイ装置と、
前記カメラ装置の撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む付随情報書込部と、
前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す付随情報読出部と、
前記重畳画像を加工して前記付随情報を消去する付随情報消去部と、を備え、
前記表示部は、前記重畳画像から前記付随情報が消去された画像を表示する、
車載映像表示システム。
【請求項２】
画像フレームの累積枚数を数える画像フレームカウンタをさらに備え、
前記付随情報書込部は、前記画像フレームカウンタで数えた前記累積枚数を、付随情報として前記アクティブ領域に書き込み、
前記付随情報読出部が読み出した付随情報に基づいて、前記画像フレームが更新されているか否かを確認する、
請求項１に記載の車載映像表示システム。
【請求項３】
前記付随情報消去部は、前記重畳画像から抽出した特徴に基づき前記重畳画像をフィルタ処理することにより、前記付随情報を消去する、請求項１または２に記載の車載映像表示システム。
【請求項４】
連続するフレーム間の動き情報を検出し、前記動き情報に基づいて、前記付随情報が書き込まれる前の前記撮像画像の画素の特徴値を推定する動き検出・補償部をさらに備え、
前記付随情報消去部は、前記付随情報が書き込まれた部分の画素の特徴値を、推定された特徴値に置き換えることにより、前記付随情報を消去する、請求項１から３のいずれかに記載の車載映像表示システム。
【請求項５】
連続するフレーム間の動き情報を検出する動き検出部と、
前記付随情報を書き込む座標情報を前記付随情報消去部に送信する座標情報送信部と、
をさらに備え、
前記付随情報書込部は、前記動き情報に基づいて前記座標情報を生成し、
前記付随情報消去部は、前記座標情報に基づいて前記重畳画像から付随情報を消去する、請求項１から４のいずれかに記載の車載映像表示システム。
【請求項６】
前記付随情報消去部は、前記重畳画像の上にＯＳＤ画像を重畳することにより、前記付随情報を消去する、請求項１から５のいずれかに記載の車載映像表示システム。
【請求項７】
前記付随情報書込部は、前記付随情報を前記撮像画像の両端近傍、上端近傍、および下端近傍の少なくとも１つに書き込み、
前記付随情報消去部は、前記重畳画像の前記両端近傍、上端近傍、および下端近傍の少なくとも１つを切除することにより、前記付随情報を消去する、請求項１から６のいずれかに記載の車載映像表示システム。
【請求項８】
前記付随情報書込部は、前記カメラ装置の制御情報を前記付随情報として、前記アクティブ領域のいずれかの位置に書き込み、
前記制御情報に基づいて、前記重畳画像の画質を処理する画質処理部をさらに備える、請求項１から７のいずれかに記載の車載映像表示システム。
【請求項９】
車両の外部を撮像範囲に含む画像センサを有するカメラ装置と、
前記カメラ装置が撮影した撮影画像を表示する表示部を有するディスプレイ装置と、
前記カメラ装置の前記撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む付随情報書込部と、
前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す付随情報読出部と、を備え、
前記付随情報書込部は、前記付随情報を分解し、分解された前記付随情報を前記画像データのアクティブ領域における複数の画素に埋め込み、
前記付随情報読出部は、分解された前記付随情報を組み上げたものを前記付随情報として読み出す、
車載映像表示システム。
【請求項１０】
車両の外部を撮像範囲に含む画像センサを有するカメラ装置と、
前記カメラ装置が撮影した撮影画像を表示する表示部を有するディスプレイ装置と、
前記カメラ装置の前記撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む付随情報書込部と、
前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す付随情報読出部と、を備え、
前記付随情報書込部は、２つ以上の画素の特徴値の関係を前記付随情報の値に対応させる予め定められた変換ルールに従って、前記付随情報を前記画像データのアクティブ領域における複数の画素に埋め込み、
前記付随情報読出部は、前記変換ルールを用いて前記付随情報を読み出す、
車載映像表示システム。
【請求項１１】
カメラ装置とディスプレイ装置を備える車載映像表示システムによって実施される方法であって、
前記カメラ装置の撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む第１のステップと、
前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す第２のステップと、
前記重畳画像を加工して前記付随情報を消去する第３のステップと、
前記重畳画像から前記付随情報が消去された画像を前記ディスプレイ装置に表示させる第４のステップと、
を備える車載映像表示方法。
【請求項１２】
カメラ装置とディスプレイ装置を備える車載映像表示システムのコンピュータが実行するプログラムであって、前記コンピュータに、
前記カメラ装置の撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む第１のステップと、
前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す第２のステップと、
前記重畳画像を加工して前記付随情報を消去する第３のステップと、
前記重畳画像から前記付随情報が消去された画像を前記ディスプレイ装置に表示させる第４のステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車載映像表示システム、車載映像表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、カメラ技術の進歩、コストダウンにより、車載カメラを利用して運転を支援するための様々なシステムが開発されている。車載カメラを活用する車載映像表示システムの１つとして、従来は光学ミラーが映していた車外の領域の状況を車載カメラが撮像し、表示装置に画像として表示する電子ミラーシステムがある。電子ミラーシステムは、車載カメラと表示装置を備える。
【０００３】
一般に電子ミラーシステムにおいて起こりうる事象として、画像フリーズが考えられる。画像フリーズとは、電子ミラーシステムが備えるメモリコントローラや制御ソフトウェア等の不具合により、本来表示されるべきではないフレームメモリ内の画像フレームが表示装置に表示されてしまう事象である。
【０００４】
電子ミラーシステムにおいて画像フリーズが発生すると、表示装置には本来表示されるべき画像フレームとは異なる画像フレームが表示される。そのため、運転手が画像フリーズの発生に気付いていない場合、例えば、本来表示されるべき障害物等があっても、障害物等が存在しないものと運転手が錯覚しかねない。したがって、電子ミラーシステムにおいては、画像フリーズへの対策が必須である。
【０００５】
画像フリーズへの対策として、画像フリーズの有無を検出する手段を備えた電子ミラーシステムが提案されている（特許文献１参照）。特許文献１には、ＥＣＵが画像データを受け取り、画像データのブランキング期間に画像フレームの識別情報を付与し、ディスプレイ側で識別情報の照合を行うことにより、画像フリーズの有無を検出する手法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１６−０３９５０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
近年の電子ミラーシステム等の車載映像システムにおいては、画像の撮像から画像の表示に至るまでに、画像データのアクティブ領域を複数回切り出して、画像データのうち切り出されたアクティブ領域のみを後段に伝達する処理が行われることが一般的である。特許文献１に開示の手法においては、識別情報が画像データのブランキング期間に付与されているので、画像データのうち切り出されたアクティブ領域のみが後段に伝達されると、識別情報が後段に伝達されない問題がある。また、画像データのブランキング期間に付与された識別情報を別途後段に伝達すると、画像フレームと識別情報の伝達との同期の信頼性が低下する問題がある。いずれも、識別情報を用いた画像フリーズの有無の検出の信頼性を低下させることにつながる。
【０００８】
本開示の目的は、画像フレームに同期させた情報伝達を改善する車載映像表示システム、車載映像表示方法、およびプログラムを提供することである。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る車載映像表示システムは、車両の外部を撮像範囲に含む画像センサを有するカメラ装置と、表示部を有するディスプレイ装置と、前記カメラ装置の撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む付随情報書込部と、前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す付随情報読出部と、前記重畳画像を加工して前記付随情報を消去する付随情報消去部と、を備え、前記表示部は、前記重畳画像から前記付随情報が消去された画像を表示する、構成を採る。
【００１０】
本開示の一態様に係る車載映像表示システムは、車両の外部を撮像範囲に含む画像センサを有するカメラ装置と、前記カメラ装置が撮影した撮影画像を表示する表示部を有するディスプレイ装置と、前記カメラ装置の前記撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む付随情報書込部と、前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す付随情報読出部と、を備え、前記付随情報書込部は、前記付随情報を分解し、分解された前記付随情報を前記画像データのアクティブ領域における複数の画素に埋め込み、前記付随情報読出部は、分解された前記付随情報を組み上げたものを前記付随情報として読み出す、構成を採る。
【００１１】
本開示の一態様に係る車載映像表示システムは、車両の外部を撮像範囲に含む画像センサを有するカメラ装置と、前記カメラ装置が撮影した撮影画像を表示する表示部を有するディスプレイ装置と、前記カメラ装置の前記撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む付随情報書込部と、前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す付随情報読出部と、を備え、前記付随情報書込部は、２つ以上の画素の特徴値の関係を前記付随情報の値に対応させる予め定められた変換ルールに従って、前記付随情報を前記画像データのアクティブ領域における複数の画素に埋め込み、前記付随情報読出部は、前記変換ルールを用いて前記付随情報を読み出す、構成を採る。
【００１２】
本開示の一態様に係る車載映像表示方法は、カメラ装置とディスプレイ装置を備える車載映像表示システムによって実施される方法であって、前記カメラ装置の撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む第１のステップと、前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す第２のステップと、前記重畳画像を加工して前記付随情報を消去する第３のステップと、前記重畳画像から前記付随情報が消去された画像を前記ディスプレイ装置に表示させる第４のステップと、を備える構成を採る。
【００１３】
本開示の一態様に係るプログラムは、カメラ装置とディスプレイ装置を備える車載映像表示システムのコンピュータが実行するプログラムであって、前記コンピュータに、前記カメラ装置の撮像画像に付随する付随情報を前記撮像画像の画像データのアクティブ領域に書き込む第１のステップと、前記付随情報が書き込まれた前記撮像画像である重畳画像から前記付随情報を読み出す第２のステップと、前記重畳画像を加工して前記付随情報を消去する第３のステップと、前記重畳画像から前記付随情報が消去された画像を前記ディスプレイ装置に表示させる第４のステップと、を実行させる構成を採る。
【発明の効果】
【００１４】
本開示によれば、画像フレームに同期させた情報伝達を改善する車載映像表示システム、車載映像表示方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態に係る車載映像表示システムの構成図である。
【図２】本開示に係る車載映像表示システムの設置状態の一例を示す図である。
【図３】画像データの伝送タイミング図の一例である。
【図４】第１の実施の形態に係る第１の制御部の動作の一例を示すフローチャートである。
【図５】付随情報の埋め込みの一例を表す図である。
【図６】付随情報の埋め込みの他の一例を表す図である。
【図７Ａ】第１の実施の形態に係る第１の制御部が生成する重畳画像の一例である。
【図７Ｂ】第１の実施の形態に係る第１の制御部が生成する重畳画像の他の一例である。
【図８】第１の実施の形態に係る第２の制御部の動作の一例を示すフローチャートである。
【図９Ａ】本開示に係る車載映像表示システムにおけるフィルタ処理前の画素の一例を表す図である。
【図９Ｂ】本開示に係る車載映像表示システムにおけるフィルタ処理後の画素の一例を表す図である。
【図１０Ａ】本開示に係る車載映像表示システムにおける付随情報の消去前の画素の一例を表す図である。
【図１０Ｂ】本開示に係る車載映像表示システムにおける付随情報の消去後の画素の一例を表す図である。
【図１１】第２の実施の形態に係る車載映像表示システムの構成図である。
【図１２】コンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１６】
以下、本開示の実施の形態について、図面を参照して詳細に説明する。
【００１７】
（第１の実施の形態）
図１は、第１の実施の形態に係る車載映像表示システム１の構成図である。図２は、本開示に係る車載映像表示システム１の設置状態の一例を示す図である。車載映像表示システム１は、カメラ装置１Ａとディスプレイ装置１Ｂとを備える。
【００１８】
カメラ装置１Ａは、画像センサ２と、第１の制御部３と、を備える。ディスプレイ装置１Ｂは、第２の制御部４と、フレームメモリ５と、表示部６とを備える。車載映像表示システム１は、光学ミラーに代えて車両に搭載される電子ミラーシステムである。カメラ装置１Ａは、図２に示されるように、例えば、リアカメラまたはサイドカメラである。また、ディスプレイ装置１Ｂは、図２に示されるように、例えば、電子ミラーの表示装置である。
【００１９】
画像センサ２は、カメラのレンズを透過した光信号を電気信号に変換して、ＲＡＷ画像を生成する。画像センサ２は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。
【００２０】
第１の制御部３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、カメラ装置１Ａの各ブロックの動作を集中制御する。第１の制御部３は、画像解析部７と、付随情報生成部８と、画像処理部９と、画像送信部１０として機能する。
【００２１】
第２の制御部４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備える。ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開し、展開したプログラムと協働して、ディスプレイ装置１Ｂの各ブロックの動作を集中制御する。第２の制御部４は、画像受信部１２と、付随情報読出部１３と、画質処理部１４と、付随情報消去部１６として機能する。
【００２２】
画像解析部７は、フレーム毎にＲＡＷ画像を解析する。一例において、画像解析部７は、画像フレームの累積枚数を数えるフレームカウンタ１１を備える。
【００２３】
付随情報生成部８は、カメラの撮像画像に付随する付随情報を生成する。ここで、付随情報とは、撮像画像の画像フレームに付随させる任意の情報である。
【００２４】
画像処理部９は、ＲＡＷ画像を画像処理して撮像画像を生成し、次いで付随情報生成部８が生成した付随情報を撮像画像の画像データのアクティブ領域のいずれかの位置に重畳して重畳画像を生成する。具体的には、画像処理には、例えば、いずれも公知である、レンズ収差補正、色温度補正、色かぶり補正、露光量補正、コントラスト補正が含まれる。画像処理部９は、例えば、ＹＵＶ色空間の画像データとして撮像画像を生成する。付随情報生成部８と画像処理部９とは、付随情報を撮像画像の画像データのアクティブ領域に書き込む付随情報書込部として機能する。
【００２５】
図３は、画像データの伝送タイミング図の一例である。画像データは、ブランキング領域とアクティブ領域を含む。アクティブ領域とは、画素の特徴値（例えば輝度値）等の画面に表示されるデータを含む有効領域である。ブランキング領域とは、画面に表示されるデータを含まない無効領域である。図３に示されるように、画像データは、１フレーム期間につき１つのブランキング領域と１つのアクティブ領域とがインターリーブされて伝送される。
【００２６】
一例において、付随情報生成部８は、フレームカウンタ１１の値を、付随情報としてアクティブ領域のいずれかの位置に書き込む。例えば、カメラ装置の撮像画像の１画素が８ビットから構成される場合、１画素で８ビットのフレームカウンタ値を書き込むことができる。
【００２７】
一例において、付随情報生成部８は、表示部６においてＯＳＤ（On-screen display）画像が表示される部分に付随情報を書き込む。他の一例において、付随情報生成部８は、撮像画像の両端近傍、上端近傍、および下端近傍の少なくとも１つ（縁部）に付随情報を書き込む。こうすると、付随情報消去部１６が後に、付随情報をアクティブ領域からより容易に消去することができ、かつ、消去後により大きいアクティブ領域を確保することができる。
【００２８】
別の一例において、付随情報生成部８は、カメラ装置の撮像画像に付随する付随情報を分解して、アクティブ領域における複数の画素の特徴値に埋め込む。例えば、付随情報は、１ビット単位または数ビット単位に分解され、複数の画素の特徴値を構成するビットの一部に埋め込まれる。こうすると、撮像画像に与える視覚的な影響を抑えながら、アクティブ領域に付随情報を書き込むことができる。付随情報の分解の詳細については、図５を参照して後述する。
【００２９】
さらに別の一例において、付随情報生成部８は、予め定められた変換ルールに基づいて付随情報をアクティブ領域における複数の画素に埋め込む。ここで、変換ルールは、２つ以上の画素の特徴値の関係を付随情報の値に対応させる任意のルールである。例えば、隣接する画素の特徴値の大小関係を用いて変換ルールを定めることができる。こうすると、撮像画像に与える視覚的な影響を抑えながら、アクティブ領域に付随情報を書き込むことができる。変換ルールの詳細については、図６を参照して後述する。
【００３０】
画像送信部１０は、重畳画像を画像受信部１２に送信する。画像受信部１２は、重畳画像を画像送信部１０から受信する。重畳画像は、ＦＰＤ  Ｌｉｎｋ  ＩＩＩを介して送信または受信されるのが好ましいが、その他の有線または無線通信手段を介して送信されてもよい。必要に応じて、重畳画像は、送受信される前にその他のデータとともにシリアライズ処理およびデシリアライズ処理される。画像受信部１２は、次いで、重畳画像をフレームメモリ５に書き込む。
【００３１】
フレームメモリ５は、画像受信部１２が受信した重畳画像を一時的に記憶する。フレームメモリ５は、例えばデュアルポートＤＲＡＭである。
【００３２】
付随情報読出部１３は、フレームメモリ５から取得した重畳画像から付随情報を読み出す。一例において、付随情報読出部１３は、付随情報読出部１３が読み出した付随情報に基づいて、画像フレームが更新されているか否かを確認する。画像フレームが更新されていないことを確認することによって、付随情報読出部１３は、車載映像表示システム１が正常に動作していないこと（画像フリーズの発生）を特定することができる。
【００３３】
画質処理部１４は、フレームメモリ５から取得した重畳画像を画質処理する。画質処理には、例えば、いずれも公知である、ゲイン調整、コントラスト調整、輝度調整、色合い調整が含まれる。
【００３４】
一例において、画質処理部１４は、動き検出・補償部１５を備える。動き検出・補償部１５は、連続するフレーム間の動き情報を検出し、動き情報に基づいて、付随情報が書き込まれる前の撮像画像の画素の特徴値を推定する。動き検出・補償部１５は、画質処理回路が一般的に備える動き検出回路を流用してもよい。
【００３５】
付随情報消去部１６は、重畳画像を加工して付随情報を消去する。一例において、付随情報消去部１６は、重畳画像から抽出した特徴に基づき重畳画像をフィルタ処理することにより、付随情報を消去する。重畳画像から抽出した特徴は、例えば、付随情報を重畳した部分の周辺画素の輝度や色である。フィルタ処理は、例えば、周辺の画素を特徴値の順に並べた中央値に基づき中心の画素の特徴値を更新するメディアンフィルタである。
【００３６】
他の一例において、付随情報消去部１６は、重畳画像にＯＳＤ画像を重畳することにより、付随情報を消去する。さらに他の一例において、付随情報消去部１６は、重畳画像の両端近傍、上端近傍、および下端近傍の少なくとも１つを切除することにより、付随情報を消去する。
【００３７】
なお、分解された付随情報が複数の画素の特徴値に埋め込まれた場合や、予め定められた変換ルールに基づいて付随情報が複数の画素に埋め込まれた場合には、視覚的な影響を抑えた重畳画像が生成される。そのような場合には、付随情報消去部１６は、画質の向上を目的とするメディアンフィルタであってもよく、または省略してもよい。
【００３８】
表示部６は、付随情報消去部１６から取得した加工済み重畳画像を、乗員（例えば運転手）に対して表示する。一例において、表示部６は、ＬＶＤＳ（Low Voltage Differential Signal）を介して、重畳画像から付随情報が消去された画像を表示画像として付随情報消去部１６から取得する。したがって、表示部６が表示する表示画像には、付随情報が表示されない。一例において、表示部６は、ダッシュボードに配置される液晶ディスプレイである。
【００３９】
図４は、第１の実施の形態に係る第１の制御部３の動作の一例を示すフローチャートである。この処理は、例えば車両のエンジンが起動されることに伴い、カメラ装置１ＡのＣＰＵがＲＯＭに格納されているプログラムを読み出して実行することにより実現される。
【００４０】
まず、ステップＳ１１において、第１の制御部３は、画像センサ２が出力したＲＡＷ画像を取得する（画像解析部７および画像処理部９としての処理）。ステップＳ１２において、第１の制御部３は、ＲＡＷ画像を解析する（画像解析部７としての処理）。
【００４１】
ステップＳ１３において、第１の制御部３は、付随情報が書き込まれる画素からなる重畳領域を選定する（付随情報生成部８としての処理）。一例において、重畳領域は、表示部６においてＯＳＤ画像が表示される部分である。他の一例において、重畳領域は、撮像画像の両端近傍、上端近傍、および下端近傍の少なくとも１つである。付随情報を、撮像画像の両端近傍、上端近傍、および下端近傍（縁部）に書き込むことにより、付随情報をアクティブ領域から容易に消去することができ、かつ、消去後により大きいアクティブ領域を確保することができる。
【００４２】
ステップＳ１４において、第１の制御部３は、撮像画像を生成する（画像処理部９としての処理）。
【００４３】
ステップＳ１５において、第１の制御部３は、付随情報を重畳領域に重畳する（付随情報生成部８および画像処理部９としての処理）。一例において、付随情報生成部８および画像処理部９は、付随情報を示す値を用いて、重畳領域の画素の特徴値をそのまま書き換える。
【００４４】
他の一例において、付随情報生成部８および画像処理部９は、付随情報を１ビット単位または数ビット単位に分解し、重畳領域の複数の画素の特徴値の一部に埋め込む。
【００４５】
図５は、付随情報の埋め込みの一例を表す図である。撮像装置の撮像画像の各画素の特徴値が８ビットの値で構成される場合、各画素の８ビットのうち、特定のビット位置にあるビットを集めることにより、撮像画像を８枚のビットプレーンＢＰ０，…，ＢＰ７に分解することができる。図５に示されるように、各画素の特徴値のビット０（LSB, Least Significant Bit）に相当するビットプレーンをビットプレーンＢＰ０、各画素の特徴値のビット７（MSB, Most Significant Bit）に相当するビットプレーンをビットプレーンＢＰ７とする。ＭＳＢに近い程ビットプレーンのビット値の画質への視覚的な影響は大きくなり、ＬＳＢに近い程ビットプレーンのビット値の画質への視覚的な影響は小さくなる。
【００４６】
ＬＳＢに対応する撮像画像のビットプレーンＢＰ０はほぼランダム雑音と考えられるため、その値を書き換えても画像への視覚的な影響は僅かである。そこで、付随情報として８ビットのフレームカウンタ値ＣＦＲＡＭＥを埋め込む場合、重畳領域の８つの画素ＰＡ，ＰＢ，…，ＰＨの特徴値のビット０から構成されるビットプレーンＢＰ０に、フレームカウンタ値のビット列ＣＦＲＡＭＥのそれぞれのビット（ビット７〜ビット０）の値を書き込む。これに伴い、ビットプレーンＢＰ０の元の値は消去される。なお、付随情報を埋め込むビットとしては、各画素の特徴値のＬＳＢのみに限らず、ＬＳＢに近い複数のビットを使用してもよい。
【００４７】
例えば、重畳領域の８つの画素ＰＡ，ＰＢ，…，ＰＨは、Ｘ−Ｙ座標値｛（１６，７２０），（１６，７２１），…，（１６，７２７）｝を有する。このような連続する座標値に代えて、画質への影響を軽減させるために、分散する座標値を有する重畳領域の画素を選択してもよい。
【００４８】
別の一例において、付随情報生成部８および画像処理部９は、予め定められた変換ルールに基づいて、重畳領域の複数の画素の特徴値に付随情報を埋め込む。
【００４９】
図６は、付随情報の埋め込みの他の一例を表す図である。図６に示される例において、撮像画像において画素の特徴値が近い領域に９つの画素ＰＡ，ＰＢ，…，ＰＩが含まれるものと仮定する。９つの画素ＰＡ，ＰＢ，…，ＰＩに対し、隣り合う２つの画素の特徴値のうち左の値が右の値以上であれば１のビット値に、左の値が右の値より小さければ０のビット値に変換するという変換ルールが予め定められている。例えば、付随情報の埋め込み前の画素ＰＡ，ＰＢ，…，ＰＩの列Ｓ１の各画素の特徴値が｛７８，７７，７８，７８，７９，７７，７８，７８，８０｝であるとき、上記変換ルールにより生成されるビット列Ｃ１は｛１，０，１，０，１，０，１，０｝となる。
【００５０】
隣接する画素の特徴値の大小関係が埋め込むべき値と整合しない場合、画素の特徴値が書き換えられる。例えば、埋め込むべき付随情報（フレームカウンタ値）のビット列ＣＦＲＡＭＥが｛１，０，０，１，０，０，０，１｝であった場合、付随情報が埋め込まれた後の画素ＰＡ，ＰＢ，…，ＰＩの列Ｓ２の特徴値は、｛７８，７７，７８，７９，７８，７９，８０，８１，８０｝となり、画素ＰＡ，ＰＢ，…，ＰＩのうち、画素ＰＤ〜ＰＨの特徴値が書き換えられる。なお、付随情報の埋め込みに使用する画素は、隣接する画素に限られず、互いに離れた画素であってもよい。また、変換ルールは隣り合う２つの画素の特徴値の大小関係に限られず、３つ以上の画素の間に定められる任意の変換ルールであってもよい。
【００５１】
上記をまとめると、一例として、隣り合う２つの画素の特徴値の大小関係を用いる場合、８ビットのフレームカウンタ値を埋め込む場合には８＋１＝９個の画素を選択し、隣り合う画素間の大小関係によってビット列を生成する。生成されたビット列と埋め込むべき付随情報の値とが異なる場合、一例として、特徴値の大小関係によって生成されるビット列と付随情報の値とが一致するように画素列の特徴値を書き換えることにより、付随情報を埋め込む。
【００５２】
一例として、図５および図６を参照して説明された埋め込みに使用する特徴値として、色信号値を用いてもよい。こうすると、輝度信号値を用いた場合よりも、画質への影響が少なくすることができる。
【００５３】
ステップＳ１６において、第１の制御部３は、付随情報を重畳した重畳領域を送信する（画像送信部１０としての処理）。
【００５４】
図７Ａは、第１の実施の形態に係る第１の制御部３が生成する重畳画像の一例である。図７Ａの重畳画像１１０においては、付随情報Ｉ１およびＩ２が、車両の後方を撮像した撮像画像のそれぞれ上端近傍および下端近傍に重畳されている。図７Ａの重畳画像においては、重畳画像１１０の上端近傍は、空の領域に対応し、重畳画像１１０の下端近傍は、道路の領域に対応する。
【００５５】
図７Ｂは、第１の実施の形態に係る第１の制御部３が生成する重畳画像の他の一例である。図７Ｂの重畳画像１２０においては、付随情報Ｉ３が、車両の側方後方を撮像した撮像画像の右下端近傍に重畳されている。図７Ｂの重畳画像においては、重畳画像１２０の右下端近傍は、車両の車体部分に対応する。図７Ａおよび図７Ｂに示されるように、時間変化の小さい領域に付随情報を重畳することにより、以下で説明する付随情報の消去をより容易かつ確実に行うことができる。
【００５６】
図８は、第１の実施の形態に係る第２の制御部４の動作の一例を示すフローチャートである。この処理は、例えば車両のエンジンが起動されることに伴い、車載映像表示システム１のＣＰＵがＲＯＭに格納されているプログラムを読み出して実行することにより実現される。
【００５７】
まず、ステップＳ２１において、第２の制御部４は、重畳画像を受信する。ステップＳ２２において、第２の制御部４は、重畳画像をフレームメモリ５に書き込む（画像受信部１２としての処理）。
【００５８】
ステップＳ２３において、第２の制御部４は、フレームメモリ５から取得した重畳画像を画質処理する（画質処理部１４としての処理）。画質処理部１４が動き検出・補償部１５を備える場合、第２の制御部４は、連続するフレーム間の動き情報を検出し、動き情報に基づいて、付随情報が書き込まれる前の画素の特徴値を推定する。画素の特徴値は、例えば輝度値である。
【００５９】
ステップＳ２４において、第２の制御部４は、付随情報を読み出す（付随情報読出部１３としての処理）。付随情報は、第１の制御部３が選定した付随情報の重畳領域から読み出される。ここで、重畳領域は、例えば、表示部６においてＯＳＤ画像が表示される部分、アクティブ領域の両端近傍、上端近傍、および下端近傍の少なくとも１つである。
【００６０】
付随情報生成部８および画像処理部９が付随情報を示す値を用いて重畳領域の画素の特徴値をそのまま書き換えた場合、付随情報読出部１３は、重畳領域の画素の特徴値をそのまま付随情報として読み出すことができる。
【００６１】
付随情報生成部８および画像処理部９が付随情報を１ビット単位または数ビット単位に分解し、重畳領域の複数の画素の特徴値の一部に埋め込んだ場合、付随情報読出部１３は、画素の特徴値を組み上げたものを付随情報として、重畳領域から読み出すことができる。
【００６２】
付随情報生成部８および画像処理部９が、予め定められた変換ルールに基づいて、付随情報を画素データの中に埋め込んだ場合、付随情報読出部１３は、変換ルールに従って重畳領域の画素の特徴値から付随情報を読み出すことができる。
【００６３】
付随情報がフレームカウンタである場合、付随情報が更新されていないことを確認することによって、付随情報読出部１３は、車載映像表示システム１が正常に動作していないこと（画像フリーズの発生）を特定することができる。画像フリーズが発生した場合、例えば、付随情報消去部１６が、警告用のＯＳＤ画像を表示画像に重畳することにより、画像フリーズの発生を乗員に報知することができる。
【００６４】
ステップＳ２５において、第２の制御部４は、付随情報を消去する（付随情報消去部１６としての処理）。なお、付随情報がビット単位に分解され重畳領域の画素のＬＳＢに埋め込まれて伝送されてきた場合や付随情報が予め定められた変換ルールを用いて重畳領域の画素に埋め込まれて伝送されてきた場合には、上述したように付随情報の埋め込みによる撮像画像への視覚的な影響が小さいので、ステップＳ２５を省略してもよい。
【００６５】
ステップＳ２６において、表示部６は、加工済み重畳画像を表示する。加工済み重畳画像には、付随情報は含まれていないので、乗員は、あたかも付随情報が書き込まれなかった撮像画像を直接視ているかのように、加工済み重畳画像を視ることができる。
【００６６】
一例として、付随情報消去部１６が重畳画像から抽出した周辺画素の特徴に基づき重畳画像をメディアンフィルタによりフィルタ処理することにより重畳画像を加工する場合を説明する。
【００６７】
図９Ａは、本開示に係る車載映像表示システム１におけるフィルタ処理前の画素の一例を表す図である。図９Ｂは、本開示に係る車載映像表示システム１におけるフィルタ処理後の画素の一例を表す図である。この例においては、フィルタ処理前の中心画素に付随情報である輝度値１２が書き込まれている。付随情報が書き込まれる前の撮像画像の中心画素の輝度値を、周辺画素の輝度値に基づき推定する。
【００６８】
図９Ａに示されるように、中心画素および中心画素を取り囲む周辺画素の輝度値は、左上から順にそれぞれ｛８５，８４，８６，８５，１２，８４，８４，８３，８４｝である。これらの値を昇順または降順に並べると、中央（５番目）の輝度値は、８４である。そこで、付随情報消去部１６は、中心画素の輝度値を８４とすることにより、中心画素をフィルタ処理する。フィルタ処理済み重畳画像においては、付随情報である輝度値１２が消去されている。重畳領域の全ての画素を中心画素として、フィルタ処理を行う。
【００６９】
図１０Ａは、本開示に係る車載映像表示システム１における付随情報の消去前の画素の一例を表す図である。図１０Ｂは、本開示に係る車載映像表示システム１における付随情報の消去後の画素の一例を表す図である。この例においては、フィルタ処理前の中心画素に付随情報である輝度値１２が書き込まれている。付随情報が書き込まれる前の撮像画像の中心画素の輝度値を、周辺画素の輝度値に基づき推定する。
【００７０】
図１０Ａに示されるように、中心画素の上の２画素および下の２画素の輝度値は、それぞれ｛８５，８４，８３，８３｝である。これらの輝度値から、例えばＦＩＲフィルタを用いて、重みベクトル（３２／２５６，９６／２５６，９６／２５６，３２／２５６）に関する重み付き平均値を計算すると、小数部分を四捨五入して輝度値８４が得られる。そこで、付随情報消去部１６は、中心画素の輝度値を推定された値８４と置き換えることにより、重畳画像を加工する。加工済み重畳画像においては、付随情報である輝度値１２が消去されている。重畳領域の全ての画素を中心画素として、中心画素の輝度値を推定された値と置き換える。
【００７１】
なお、上記において、中心画素の上の２画素および下の２画素の輝度値に代えて、中心画素の左の２画素および右の２画素の輝度値｛８５，８５，８４，８３｝を用いてもよい。また、これに代えて、前後の２フレームにおける中心画素の輝度値を用いてもよい。
【００７２】
付随情報消去部１６は、座標情報に基づいて重畳画像から付随情報を消去することにより、重畳画像を加工する。車載カメラの撮像画像は、時間方向／空間方向に輝度や色の変化の少ない領域が多く存在する。特にサイドカメラの撮像画像においては、車両の車体が映っている領域は変化が少ない。そのような領域に付随情報を重畳した場合、付随情報消去部１６は、周辺画素の情報を用いて付随情報を重畳する前の撮像画像の画素の特徴値を推定し、画素を復元することにより、付随情報を確実に消去することができる。
【００７３】
他の一例において、付随情報消去部１６は、重畳画像にＯＳＤ画像をさらに重畳することにより、重畳画像を加工する。また、他の一例において、付随情報消去部１６は、重畳画像の両端近傍、上端近傍、および下端近傍を切除することにより、重畳画像を加工する。
【００７４】
さらに他の一例において、第２の制御部４が動き検出・補償部１５を備える場合、付随情報消去部１６は、付随情報が重畳された画素の特徴値を動き検出・補償部１５が推定した特徴値と置き換えることにより、重畳画像を加工する。こうすると、時間方向に変化する領域に重畳された付随情報を、より効率的に消去することができる。
【００７５】
このように、第１の実施の形態に係る車載映像表示システム１の一例は、車両の外部を撮像範囲に含む画像センサ２を有するカメラ装置１Ａと、表示部６を有するディスプレイ装置１Ｂと、カメラ装置１Ａの撮像画像に付随する付随情報を撮像画像の画像データのアクティブ領域に書き込む付随情報書込部（８，９）と、付随情報が書き込まれた撮像画像である重畳画像から付随情報を読み出す付随情報読出部１３と、重畳画像を加工して付随情報を消去する付随情報消去部１６と、を備え、表示部６は、重畳画像から付随情報が消去された画像を表示する、構成を採る。
【００７６】
また、第１の実施の形態に係る車載映像表示システム１の他の一例は、車両の外部を撮像範囲に含む画像センサ２を有するカメラ装置１Ａと、カメラ装置１Ａが撮影した撮影画像を表示する表示部６を有するディスプレイ装置１Ｂと、カメラ装置１Ａの撮像画像に付随する付随情報を撮像画像の画像データのアクティブ領域に書き込む付随情報書込部（８，９）と、付随情報が書き込まれた撮像画像である重畳画像から付随情報を読み出す付随情報読出部１３と、を備え、付随情報書込部（８，９）は、付随情報を分解し、分解された付随情報を画像データのアクティブ領域における複数の画素に埋め込み、付随情報読出部１３は、分解された付随情報を組み上げたものを付随情報として読み出す、構成を採る。
【００７７】
また、第１の実施の形態に係る車載映像表示システム１のさらなる他の一例は、車両の外部を撮像範囲に含む画像センサ２を有するカメラ装置１Ａと、カメラ装置１Ａが撮影した撮影画像を表示する表示部６を有するディスプレイ装置１Ｂと、カメラ装置１Ａの撮像画像に付随する付随情報を撮像画像の画像データのアクティブ領域に書き込む付随情報書込部（８，９）と、付随情報が書き込まれた撮像画像である重畳画像から付随情報を読み出す付随情報読出部１３と、を備え、付随情報書込部（８，９）は、２つ以上の画素の特徴値の関係を付随情報の値に対応させる予め定められた変換ルールに従って、付随情報を画像データのアクティブ領域における複数の画素に埋め込み、付随情報読出部１３は、変換ルールを用いて付随情報を読み出す、構成を採る。
【００７８】
第１の実施の形態に係る車載映像表示システム１によれば、カメラ側でアクティブ領域に付随情報が書き込まれ、ディスプレイ側で加工済み重畳画像が表示される直前に付随情報が消去されることにより、シンプルな手法により、画像の伝送容量を増加させることなく、画像フレームに同期した情報伝達を実現することができる。さらに、付随情報がフレームカウンタの値である場合、画像フリーズの有無を表示する直前に判定することができ、カメラ側からディスプレイ側までを貫通させた場合の画像フリーズの有無を確実に検出することができる。
【００７９】
（第２の実施の形態）
図１１は、第２の実施の形態に係る車載映像表示システム２１の構成図である。第２の実施の形態に係る車載映像表示システム２１は、カメラ装置２１Ａとディスプレイ装置２１Ｂとを備える。カメラ装置２１Ａは、画像センサ２と、第１の制御部２２とを備える。ディスプレイ装置２１Ｂは、第２の制御部２３と、フレームメモリ５と、表示部６とを備える。画像センサ２と、フレームメモリ５と、表示部６とは、第１の実施の形態のものと同様であるので、説明を省略する。
【００８０】
第１の制御部２２は、画像解析部２４と、付随情報生成部２５と、画像処理部２６と、画像送信部１０と、座標情報送信部２７として機能する。画像送信部１０は、第１の実施の形態のものと同様であるので、説明を省略する。
【００８１】
第２の制御部２３は、画像受信部１２と、座標情報受信部２９と、付随情報読出部３０と、画質処理部１４と、付随情報消去部３１として機能する。画像受信部１２と画質処理部１４とは、第１の実施の形態のものと同様であるので、説明を省略する。
【００８２】
画像解析部２４は、連続するフレーム間の動き情報を検出する動き検出部２８を備える。画像解析部２４は、画像解析部２４としての画像処理回路が一般的に備える動き検出回路を動き検出部２８に流用してもよい。
【００８３】
付随情報生成部２５は、動き情報に基づいて付随情報を重畳する座標を示す情報である座標情報を生成する。例えば、付随情報生成部２５は、動き情報に基づいて、最も動き量の少ない座標を示す座標情報を生成する。画像処理部２６は、付随情報生成部２５が生成した座標情報によって示される位置に、付随情報を重畳する。付随情報生成部２５と画像処理部２６とは、付随情報を撮像画像の画像データのアクティブ領域に書き込む付随情報書込部として機能する。
【００８４】
座標情報送信部２７は、付随情報を重畳する座標情報を座標情報受信部２９に送信する。座標情報受信部２９は、座標情報送信部２７から座標情報を受信する。座標情報は、Ｉ２Ｃシリアルバスを介して送信または受信されるのが好ましいが、その他の有線または無線通信手段を介して受信されてもよい。
【００８５】
付随情報読出部３０は、座標情報によって示される重畳画像における位置から付随情報を読み出す。付随情報消去部３１は、座標情報によって示される重畳画像における位置から付随情報を消去する。
【００８６】
このように、第２の実施の形態に係る車載映像表示システム２１のカメラ装置２１Ａは、連続するフレーム間の動き情報を検出する動き検出部２８と、付随情報を書き込む座標情報をディスプレイ装置２１Ｂに送信する座標情報送信部２７と、を備え、付随情報書込部（２５，２６）は、動き情報に基づいて座標情報を生成し、付随情報消去部３１は、座標情報に基づいて重畳画像から付随情報を消去する。
【００８７】
第２の実施の形態に係る車載映像表示システム２１によれば、付随情報を重畳する前に、付随情報を重畳する領域を、例えば、走行シーンに応じて変化させることができる。例えば、時間方向に輝度値／色の変化が少ない領域を、付随情報の重畳前の画素を周辺画素から復元し易い領域として選ぶのが好ましい。こうすると、付随情報消去部３１が重畳画像から付随情報をより確実に消去することができる。
【００８８】
さらに、走行シーンに応じて付随情報を重畳する座標を一定時間毎に変化させる場合であっても、座標情報送信部２７が座標情報受信部２９に一定時間毎に送信する座標情報に基づいて、付随情報消去部３１が重畳画像から付随情報をより確実に消去することができる。
【００８９】
図１２は、コンピュータのハードウェア構成の一例を示す図である。上述した各実施の形態および各変形例における各部の機能は、コンピュータ２１００が実行するプログラムにより実現される。
【００９０】
図１２に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。
【００９１】
そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。
【００９２】
そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
（その他の実施の形態）
【００９３】
第１の実施の形態および第２の実施の形態においては、付随情報書込部（８，９）（２５，２６）は、付随情報として、フレームカウンタ値等のフレーム固有の情報を撮像画像に書き込む。これに代えて、またはこれに加えて、付随情報書込部（８，９）（２５，２６）は、カメラの制御情報を付随情報として撮像画像の画像データのアクティブ領域のいずれかの位置に重畳してもよい。この場合、第２の制御部４，２３は、制御情報に基づいて、重畳画像の画質を処理する画質処理部１４の設定を変更する。
【００９４】
例えば、車両の走行中にカメラ側の自動制御によって、輝度信号のゲインが高くなった場合、画像のノイズ成分が増幅されてしまう。そのような場合であっても、カメラ側の制御情報としてカメラ側のゲイン情報を付随情報として撮像画像の画像データのアクティブ領域に重畳してディスプレイ側に送信することにより、ディスプレイ側において撮像画像または重畳画像に同期させてノイズリダクションの強度を変更することができる。
【産業上の利用可能性】
【００９５】
本開示に係る車載映像表示システムは、車両の周囲を映すミラーに代えて車両に搭載され、電子ミラーとして使用されるのに好適である。
【符号の説明】
【００９６】
１  車載映像表示システム
１Ａ  カメラ装置
１Ｂ  ディスプレイ装置
２  画像センサ
３  第１の制御部
４  第２の制御部
５  フレームメモリ
６  表示部
７  画像解析部
８  付随情報生成部
９  画像処理部
１０  画像送信部
１１  フレームカウンタ
１２  画像受信部
１３  付随情報読出部
１４  画質処理部
１５  動き検出・補償部
１６  付随情報消去部
Ｉ１  付随情報
Ｉ２  付随情報
Ｉ３  付随情報
【図１】
2018056950.tif 000003
【図２】
2018056950.tif 000004
【図３】
2018056950.tif 000005
【図４】
2018056950.tif 000006
【図５】
2018056950.tif 000007
【図６】
2018056950.tif 000008
【図７Ａ】
2018056950.tif 000009
【図７Ｂ】
2018056950.tif 000010
【図８】
2018056950.tif 000011
【図９Ａ】
2018056950.tif 000012
【図９Ｂ】
2018056950.tif 000013
【図１０Ａ】
2018056950.tif 000014
【図１０Ｂ】
2018056950.tif 000015
【図１１】
2018056950.tif 000016
【図１２】
2018056950.tif 000017