(57)【特許請求の範囲】
【請求項１】
撮像部から１映像記録周期内に出力される第１〜第Ｎ（Ｎは２以上の整数）フレームのうち、前記第１〜第（Ｎ−１）フレームの撮像データから点滅駆動される被写体に対応する設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Ｎフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて前記設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記部分画像データとして前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記部分画像データを、前記第Ｎフレームの撮像データに合成する、
ことを特徴とする画像処理装置。
【請求項２】
前記抽出部は、
入力画素の色が設定色か否かを判定し、判定結果に応じたコードを出力する第１の判定部と、
前記入力画素の色が無彩色か又は飽和色かを判定し、判定結果に応じたコードを出力する第２の判定部と、
前記第１の判定部から出力されるコードと前記第２の判定部から出力されるコードに基づいて抽出対象領域を推定し、前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、判定結果に応じて前記抽出対象領域の領域情報を前記記憶部に格納する判定出力部と、
を有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定出力部は、
ｍ（ｍは２以上の整数）番目の画素の色が前記設定色に対応し、（ｍ−１）番目の画素の色が前記設定色以外の色の場合に前記ｍ番目の画素を抽出対象領域の先頭と推定し、前記ｍ番目の画素の画素値を前記記憶部に格納し、
ｍ番目の画素の色が、前記設定色と無彩色と飽和色の何れかであり、（ｍ−１）番目の画素が前記抽出対象領域に含まれる場合に、前記ｍ番目の画素を前記抽出対象領域に含むと判定し、前記ｍ番目の画素の画素値を前記記憶部に格納し、
ｍ番目の画素の色が、前記設定色と前記無彩色と前記飽和色のいずれでもなく、（ｍ−１）番目の画素が前記抽出対象領域に含まれる場合に、前記ｍ番目の画素を非対象領域と推定し、前記抽出対象領域の妥当性を判定し、妥当と判定した場合に前記抽出対象領域の領域情報を前記記憶部に格納する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記判定出力部は、
前記ｍ番目の画素の色が前記設定色と前記無彩色と前記飽和色の何れかであり、前記（ｍ−１）番目の画素が前記非対象領域の場合に、前記ｍ番目の画素を抽出対象領域の先頭と推定する、ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記設定色は、信号機に備えられた複数の発光部に対応する複数の信号色を含み、
前記判定出力部は、
前記抽出対象領域の先頭と推定した画素の色をレジスタに記憶し、
前記ｍ番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れかである場合に前記ｍ番目の画素の画素値を前記記憶部に格納し、
前記ｍ番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れでもない場合に、前記ｍ番目の画素を非対象領域と判定する、
ことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記判定出力部は、
前記抽出対象領域に含まれると判定した画素をカウントする第１のカウンタと、
前記設定色と等しい色の画素をカウントする第２のカウンタと、
を有し、
前記第１のカウンタのカウント値と前記第２のカウンタのカウント値に基づいて前記抽出対象領域の妥当性を判定する、
ことを特徴とする請求項２〜５のいずれか一項に記載の画像処理装置。
【請求項７】
前記領域情報は、前記抽出対象領域の先頭の座標値と、前記抽出対象領域に含まれる画素の数を含む、
ことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
【請求項８】
１映像記録周期内に第１〜第Ｎ（Ｎは２以上の整数）フレームの撮像データを出力する撮像部と、
前記第１〜第（Ｎ−１）フレームの撮像データから点滅駆動される被写体に対応する設定色に対応する領域の部分画像データを抽出し、前記部分画像データを記憶部に格納する抽出部と、
前記第Ｎフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて前記設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記部分画像データとして前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記部分画像データを、前記第Ｎフレームの撮像データに合成する、
ことを特徴とする撮像装置。
【請求項９】
映像記録周期毎に１つのフレームの画像データを出力する撮像装置と、
前記撮像装置から出力される各フレームの画像データを記録する記録装置と、
を有し、
前記撮像装置は、
撮像部から１映像記録周期内に出力される第１〜第Ｎ（Ｎは２以上の整数）フレームのうち、前記第１〜第（Ｎ−１）フレームの撮像データから点滅駆動される被写体に対応する設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Ｎフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて前記設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記部分画像データとして前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記部分画像データを、前記第Ｎフレームの撮像データに合成する、
ことを特徴とする撮像システム。
【請求項１０】
撮像部から１映像記録周期内に出力される第１〜第Ｎ（Ｎは２以上の整数）フレームの撮像データから１つの出力フレームを生成するデータ処理方法であって、
撮像部から１映像記録周期内に出力される第１〜第Ｎフレームのうち、前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて点滅駆動される被写体に対応する設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Ｎフレームの撮像データに合成する、
ことを特徴とするデータ処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
画像処理装置、撮像装置、撮像システム、及びデータ処理方法に関する。
【背景技術】
【０００２】
従来、車両に設置されたカメラによって車両の周辺を撮像し、撮像された画像情報を記録する記録装置、所謂ドライブレコーダが提案されている。ドライブレコーダにより記録された映像は、例えば事故が発生した場合の事後原因の究明や、乗務員の安全運転教育等に利用される。
【０００３】
ところで、車両の周辺には、道路等に設置された交通信号機が含まれる。近年の交通信号機の発光部には、発光ダイオード（ＬＥＤ：Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）が用いられている。ＬＥＤを用いた交通信号機は、消費電力や交通信号機の長寿命化に有利である。ＬＥＤは、例えば商用電源によって駆動され、交流電源周波数の周期に従って点灯と滅灯とを繰り返している（点滅している）。一方、ドライブレコーダは、例えば３０フレーム／１秒などの一定の周期で撮影画像を記録している。このため、撮影装置の条件によっては、全ての発光部が消灯した交通信号機が記録される。
【０００４】
このため、点灯状態の交通信号機を撮影する装置が各種提案されている。例えば、電源の周期に対してずらしたタイミングで撮影する装置がある（例えば、特許文献１参照）。また、ＬＥＤの点滅周期よりも長いシャッター速度で撮影する装置がある（例えば、特許文献２参照）。また、ＬＥＤの点滅周期と非同期となる周期にて撮影する装置がある（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−２７８４９６号公報
【特許文献２】特開２００８−２８８７４３号公報
【特許文献３】特開２００５−３０１５１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、電源の周期に対してタイミングをずらす場合、電源の周期を取得しなければならず、またタイミング制御が難しい。ＬＥＤの点灯周期よりも長い周期にて撮影する装置では、シャッター等の制御が複雑になる。また、ＬＥＤの点滅周期と非同期な周期にて撮影された画像は、一般的な撮影装置の撮影周期と異なるため、再生時に違和感を覚えたり、特別な表示装置や変換装置が必要としたりする。
【０００７】
この撮影装置で、点滅駆動される被写体を好適に撮影することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一観点によれば、撮像部から１映像記録周期内に出力される第１〜第Ｎ（Ｎは２以上の整数）フレームのうち、前記第１〜第（Ｎ−１）フレームの撮像データから点滅駆動される被写体に対応する設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、前記第Ｎフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、を有し、前記抽出部は、前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて前記設定色に対応する抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記部分画像データとして前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、前記合成部は、前記領域情報に基づいて、前記部分画像データを、前記第Ｎフレームの撮像データに合成する。
【発明の効果】
【０００９】
本発明の一観点によれば、点滅駆動される被写体を好適に撮影することができる。
【図面の簡単な説明】
【００１０】
【図１】システムの概略図である。
【図２】第一実施形態の撮像装置のブロック回路図である。
【図３】抽出フレーム及び合成フレームの説明図である。
【図４】抽出部のブロック回路図である。
【図５】（ａ）（ｂ）は画像データの説明図である。
【図６】抽出部の動作説明図である。
【図７】交通信号機の説明図である。
【図８】発光部の画像の説明図である。
【図９】発光部領域の推定処理の説明図である。
【図１０】発光部領域の説明図である。
【図１１】フレームに対する抽出処理と合成処理の説明図である。
【図１２】第二実施形態の撮像装置のブロック回路図である。
【図１３】抽出部のブロック回路図である。
【図１４】領域判定後の画素列を示す説明図である。
【図１５】（ａ）〜（ｆ）は、アドレス制御の説明図である。
【図１６】第三実施形態の撮像装置のブロック回路図である。
【図１７】抽出部のブロック回路図である。
【図１８】第四実施形態の撮像装置のブロック回路図である。
【図１９】抽出部のブロック回路図である。
【図２０】ベイヤ結合部のブロック回路図である。
【図２１】画像データの説明図である。
【図２２】別の撮像装置のブロック図である。
【図２３】信号色判定設定値の説明図である。
【図２４】（ａ）（ｂ）は、抽出部における領域設定の説明図である。
【発明を実施するための形態】
【００１１】
以下、実施形態を添付図面に従って説明する。
図１に示すように、このシステムは、撮像装置１１と記録装置１２を有している。このシステムは、例えば車両に搭載され、撮像装置１１は、車両前方を撮像するように車両に搭載されている。撮像装置１１は、撮像した画像データＧＤを出力する。記録装置１２は、撮像装置１１から出力される画像データＧＤを記録する。
【００１２】
撮像装置１１は、所定の規格（例えばＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）規格）に応じた所定の周期で画像データの各フレームを出力する。つまり、撮像装置１１は、所定の規格に対応するフレーム数の画像データを出力する。例えば、撮像装置１１は、所定の規格に対応する周波数（例えば、３０Ｈｚ）にて各フィールドの画像データを出力する。従って、記録装置１２は、撮像装置１１に対応する規格にて画像データを記録する。この画像データの形式（フレーム数）は、一般的な動画記録フォーマットに対応する。従って、記録装置１２に記録された画像データは、この記録装置１２の記録形式に対応する表示装置（例えば、ＮＴＳＣ方式の表示装置）に表示することができる。例えば、表示装置は、対応する数のフレーム（上記の例では１秒間に３０フレーム（ｆｐｓ：ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ））を表示する。また、記録装置１２に記録された画像データは、一定の周期でフレームを含む。従って、各フレーム間の時間間隔が一定であるため、違和感の無い映像が得られる。
【００１３】
撮像装置の実施形態を順次説明する。
（第一実施形態）
図２に示すように、撮像装置１１のレンズ２１は、被写体を撮影するための被写体像を撮像部２２の受光面に結像する。撮像部２２は、所定配列（例えばベイヤ配列）のカラーフィルタと、光電変換部を含む複数の画素を備えた撮像素子を備える。撮像素子としては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどが用いられる。
【００１４】
撮像部２２は、タイミング制御部２３から供給される制御信号に応じて動作する。制御信号は、クロック信号と同期信号（垂直同期信号、水平同期信号、等）を含む。タイミング制御部２３は、上記の規格に応じた周波数のクロック信号を生成する。例えば、タイミング制御部２３は、上記のフレーム数に対応し、フレーム数の整数倍（例えば、３倍）の周波数（例えば９０Ｈｚ）のクロック信号を生成する。
【００１５】
撮像部２２は、クロック信号に応答して、被写体像を光電変換して撮像データを生成する。そして、撮像部２２は、クロック信号に同期して、撮像した各フレームの撮像データＳＦを出力する。上記例の場合、撮像部２２は、１秒間に９０フレーム（ｆｐｓ）の撮像データＳＦを出力する。
【００１６】
デモザイク部２４は、撮像部２２から出力される撮像データＳＦを、所定形式の画像データに変換し、変換後の画像データを出力する。
図５（ａ）に示すように、１つのフレームの撮像データＳＦは、複数の画素データＳＧを含む。図５（ａ）において、左右方向に配列された画素データＳＧは、撮像素子の第１の方向（例えば水平方向）に配列された複数の受光部に対応し、図５（ａ）において上下方向に配列された画素データＳＧは、撮像素子の第１の方向と直交する第２の方向（例えば垂直方向）に配列された複数の受光部に対応する。各画素データＳＧは、対応する受光部がそれぞれ受ける光の量に応じた値（画素値）を含む。撮像素子の受光部は、所定配列（例えばベイヤ配列）のカラーフィルタを透過した光を受光する。従って、各画素データＳＧに含まれる画素値は、対応するカラーフィルタの配列及び色に応じた色情報を含む。
【００１７】
例えば、各画素データを区別する場合、受光部の配列に応じて、ＳＧ（ｘ，ｙ）と表す。ｘは第１の方向の配列順序であり、ｙは第２の方向の配列順序である。例えば、図５（ａ）において、左上の画素データをＳＧ（１，１）と表す。その画素データＳＧ（１，１）の右隣の画素データをＳＧ（２，１）と表し、画素データＳＧ（１，１）の下側の画素データをＳＧ（１，２）と表す。撮像部において第１の方向に配列された受光部の数をｍ、第２の方向に配列された受光部の数ｎとすると、図５（ａ）において右下の画素データをＳＧ（ｍ，ｎ）と表す。
【００１８】
各画素データＳＧは、対応するカラーフィルタの色に応じた色情報を含む。例えば、ベイヤ配列のカラーフィルタは、赤色（Ｒ）のフィルタと、緑色（Ｇ）のフィルタと、青色（Ｂ）のフィルタを含む。従って、撮像データＳＧは、複数の画素データＳＧを含み、各画素データＳＧは、それぞれ対応する１つの色の色情報を含む。
【００１９】
図５（ｂ）に示すように、画素データＳＧ（１，１）は赤色（Ｒ）の色情報を含み、画素データＳＧ（２，１）は緑色（Ｇｒ）の色情報を含む。また、画素データＳＧ（１，２）は緑色（Ｇｂ）の色情報を含み、画素データＳＧ（２，２）は青色（Ｂ）の色情報を含む。なお、第１の方向（水平方向）に赤色（Ｒ）のフィルタが隣接する緑色のフィルタにより得られる色情報をＧｒ、第１の方向に青色（Ｂ）のフィルタが隣接する緑色のフィルタにより得られる色情報をＧｂとして示す。
【００２０】
図２に示すデモザイク部２４は、各画素データＳＧにおいて、不足する色情報を、周囲の画素データＳＧにより補間にて生成する。例えば、デモザイク部２４は、図５（ｂ）に示す画素データＳＧ（１，１）の色情報（赤色）と、画素データＳＧ（１，３）の色情報（赤色）に基づいて、例えば直線補間（内挿）により、画素データＳＧ（１，２）に対応する赤色の色情報を生成する。このように、各画素データＳＧについて、対応するカラーフィルタ以外の色の色情報を生成する。そして、デモザイク部２４は、３つの色の情報を含む画素データ、つまりＲＧＢ形式の画素データを生成する。さらに、デモザイク部２４は、ＲＧＢ形式の画素データを、例えばＹＣｂＣｒ（Ｙ（輝度）、Ｃｂ，Ｃｒ（色差））形式のデータに変換する。変換後の画像データは複数の画素データを含み、各画素データは、輝度情報と色差情報を含む。
【００２１】
なお、デモザイク部２４において、色変換処理、画像の輪郭（エッジ）を強調するエッジ強調処理、明るさやコントラストを調整するガンマ補正処理、を行うようにしてもよい。なお、デモザイク部２４は、各処理を、必要とするデータ形式に応じて、適宜のタイミングで実施する。
【００２２】
抽出部２５と合成部２７は、デモザイク部２４から出力されるフレームの画像データのうち、所定位置のフレームの画像データをそれぞれ処理するように設定されている。例えば、合成部２７は、図１に示す記録装置の映像記録周期毎にデモザイク部２４から出力される画像データを処理するように設定されている。そして、抽出部２５は、合成部２７が処理するフレームの間のフレームを処理するように設定されている。
【００２３】
図３に示すように、時間の経過に従って、フレームの画像データが図２に示すデモザイク部２４から順次出力される。抽出部２５は、デモザイク部２４から連続的に出力されるフレームのうち、［３ｎ−２］番目（ｎ＝１，２，・・・）のフレームＦａと、［３ｎ−１］番目のフレームＦｂとを処理する。合成部２７は、デモザイク部２４から連続的に出力されるフレームのうち、［３ｎ］番目のフレームＦｃを処理する。抽出部２５が処理するフレームを抽出フレーム、合成部２７が処理するフレームを合成フレームと呼ぶ。
【００２４】
抽出部２５は、フレームＦａの画像データから設定色に対応する領域を推定し、その領域に含まれる画素の情報と、領域の情報をメモリ２６に格納する。メモリ２６は記憶部の一例である。
【００２５】
車両に搭載されたシステム（ドライブレコーダ）の場合、設定色は、交通信号機の発光部に対応する。つまり、設定色は、交通信号機の赤色発光部，黄色発光部，青色発光部に対応する。従って、抽出部２５は、設定色に従って各発光部に対応する領域を推定し、推定した領域に含まれる画素の情報、推定した領域の情報をメモリ２６に格納する。推定した領域を発光部領域という。発光部領域に含まれる画素の情報（画素情報）は、画素値（画素の色）と、画素の座標値を含む。発光部領域の情報（領域情報）は、発光部領域の先頭座標、発光部領域に含まれる画素の数、を含む。
【００２６】
デモザイク部２４は、各フレームの画像データを、フレームのライン毎に順次出力する。例えば、図５（ａ）に示す１フレームの画像データＳＦの場合、デモザイク部２４は、最上段のラインに含まれる画素データを、左側から右側に向って順次出力する。なお、実際には、上記変換後の形式（ＹＣｂＣｒ形式）の画像データを出力する。そのラインに含まれるすべての画素データを出力すると、１段目のラインと同様に、２段目のラインに含まれる画素データを順次出力する。そして、最終段のラインに含まれるすべての画素データの出力が終了すると、１つのフレームの画像データの出力が終了する。
【００２７】
抽出部２５は、デモザイク部２４から出力される画像データ、つまり各画素データを判定し、発光部領域を推定する。つまり、抽出部２５は、フレームＦａに含まれるライン毎に、発光部領域を推定する。そして、抽出部２５は、推定した発光部領域に含まれる画素データのうち、最初に判定した画素データの座標値を先頭座標として出力する。更に、抽出部２５は、推定した発光部領域に含まれる画素の数を出力する。
【００２８】
同様に、抽出部２５は、設定色に対応する画素が含まれる領域（発光部領域）をフレームＦｂから抽出する。そして、抽出部２５は、抽出した発光部領域に含まれる画素の情報と、発光部領域の情報（領域情報）をメモリ２６に格納する。
【００２９】
合成部２７は、抽出部２５がメモリ２６に格納した発光部領域のデータを、メモリ２６から読み出す。そして、合成部２７は、デモザイク部２４から出力される合成フレームＦｃと、発光部領域とを合成して出力フレームＦｄを生成する。そして、合成部２７は、生成した出力フレームＦｄを出力する。
【００３０】
詳述すると、メモリ２６に格納された発光部領域のデータは、発光部領域に含まれる画素の画素値及び座標値を含む。画素値は、ＹＣｂＣｒ形式のデータである。デモザイク部２４は、合成フレームＦｃに含まれる画素のデータ（画素値）を順次出力する。合成部２７は、入力画素の数をカウントする。このカウント値は、入力画素が含まれるラインの位置、各ラインにおける入力画素の位置に対応する。つまり、合成部２７は、入力画素をカウントすることで、各入力画素の座標値を得る。
【００３１】
合成部２７は、発光部領域に含まれる画素のうち、入力画素の座標値と等しい座標値の画素の画素値と、入力画素の画素値とを合成して出力画素の画素値を生成する。合成部２７は、例えばαブレンド演算により、複数の画素値を合成して出力画素の画素値を生成する。この出力画素の画素値は、出力フレームＦｄに含まれる。そして、合成部２７は、生成した出力画素の画素値を出力する。
【００３２】
出力部２８は、合成部２７から順次出力される出力データに基づく信号を、撮像装置１１の外部に出力する。なお、撮像装置１１に含まれる各処理部のうちの少なくとも１つは、撮像装置１１の全体を制御する制御装置（例えばＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）が形成されたチップ（ＳｏＣ：Ｓｙｓｔｅｍ  ｏｎ  Ｃｈｉｐ）に搭載される。このチップには、例えば、デモザイク部２４，抽出部２５，合成部２７，出力部２８が搭載される。なお、このチップに、撮像部２２，タイミング制御部２３，メモリ２６のうちの少なくとも１つが搭載されていてもよい。
【００３３】
次に、抽出部２５の詳細を説明する。
図４に示すように、抽出部２５は、信号色設定部３１、信号色判定部３２、無彩色・飽和判定部３３、判定出力部３４を含む。
【００３４】
信号色設定部３１には信号色領域情報が記憶されている。信号色領域情報は、交通信号機の発光部に対応する設定色と、発光部を判定するためのしきい値を含む。設定色は、交通信号機の各発光部の色に対して、色差Ｃｂ，Ｃｒに対応する一対の色値が設定されている。信号色領域情報は、例えば制御装置（ＣＰＵ）により設定される。
【００３５】
図７に示すように、交通信号機１００は、信号色の青色，黄色，赤色にそれぞれ対応する３つの発光部１０１，１０２，１０３を有している。発光部１０１は、間隔を開けて配列された複数の発光ダイオード（ＬＥＤ）１１１を有している。各発光ダイオード１１１は、例えば商用電源に応じて間欠的に駆動され、青色の光を放射する。発光部１０２は、間隔を開けて配列された複数の発光ダイオード（ＬＥＤ）１１２を有している。各発光ダイオード１１２は、例えば商用電源に応じて間欠的に駆動され、黄色の光を放射する。発光部１０１は、間隔を開けて配列された複数の発光ダイオード（ＬＥＤ）１１１を有している。各発光ダイオード１１３は、例えば商用電源に応じて間欠的に駆動され、赤色の光を放射する。
【００３６】
交通信号機１００の発光部（例えば発光部１０３）を撮影した画像１２０は、図８に示すように、対応する発光ダイオード１１３から放射された光を撮像した素子領域１２１を含む。図４に示す信号色設定部３１に設定される信号色領域情報は、赤色，黄色，青色の各発光部の素子領域１２１のそれぞれに対応する設定色及びしきい値を含む。
【００３７】
発光ダイオード１１３は、中心の輝度が高いため、図８に示すように、素子領域１２１の中心付近の画素は、１つ又は複数の色の値が飽和する場合がある。このように、飽和した複数の画素の領域を飽和領域１２２とし、破線の丸で示す。また、各発光ダイオードの間の領域、つまり素子領域１２１の外側の画素は、無彩色（灰色又は黒）である。このように、無彩色の画素の領域を無彩色領域１２３とする。これら、信号色、飽和色、無彩色を総称して発光部色と呼ぶ。そして、交通信号機１００の各発光部１０１〜１０３に対応しない色を非発光部色と呼ぶ。非発光部色の領域を非発光部領域（非対象領域）という。
【００３８】
図２に示すデモザイク部２４から出力されるフレームＦａ，Ｆｂの画素データは、図４に示す信号色判定部３２、無彩色・飽和判定部３３、判定出力部３４に順次供給される。
信号色判定部３２（第１の判定部）は、信号色設定部３１に格納された信号色領域情報を読み出す。信号色判定部３２は、入力画素データに含まれる色情報のうち、色差Ｃｂ，Ｃｒの値（色差値）と、各発光部１０１〜１０３の色値との差分の絶対値を算出する。そして、信号色判定部３２は、算出した絶対値としきい値とを比較し、絶対値がしきい値以下であれば、入力画素が対応する領域に含まれると判定する。そして、信号色判定部３２は、判定結果に基づいて、入力画素が含まれる色領域を示すコード［信号色コード］を出力する。また、信号色判定部３２は、入力画素が上記の素子領域１２１の何れにも含まれない場合、これを示すコード［非色コード］を出力する。
【００３９】
無彩色・飽和判定部３３（第２の判定部）は、画素データに含まれる色情報に基づいて、各画素データの状態を判定し、判定結果に応じたコードを出力する。無彩色・飽和判定部３３は、入力された画素データに含まれる色情報のうち、色差情報ＣｂＣｒに基づいて、画素データの画素が無彩色か否かを判定する。無彩色は、３つの原色が同程度まじりあった色であり、色差情報Ｃｂ＝Ｃｒ＝０となる。例えば、無彩色・飽和判定部３３は、画素データの色情報に含まれる色差情報Ｃｂ，Ｃｒの値（絶対値）がそれぞれしきい値（ゼロに近い値）以下の場合に、その画素データの画素を無彩色と判定し、しきい値より大きい場合に無彩色ではないと判定する。
【００４０】
また、無彩色・飽和判定部３３は、入力された画素データに含まれる色情報のうち、輝度情報Ｙに基づいて、画素データの画素値が飽和しているか否かを判定する。例えば、中心の領域１２２に含まれる画素の色情報は、輝度Ｙが最大値となる。従って、無彩色・飽和判定部３３は、画素データの色情報に含まれる輝度値に基づいて、その画素値が飽和しているか否かを判定する。そして、無彩色・飽和判定部３３は、判定結果に応じて、飽和を示すコード［飽和色コード］、無彩色を示すコード［無彩色コード］、いずれにも当てはまらないことを示すコード［非対象コード］、の何れかを出力する。
【００４１】
判定出力部３４は、信号色判定部３２から出力されるコードと、無彩色・飽和判定部３３から出力されるコードに基づいて、交通信号機１００の発光部１０１〜１０３に対応する領域（発光部領域（抽出対象領域））を推定する。そして、判定出力部３４は、推定した発光部領域に含まれる画素の画素データを出力する。また、判定出力部３４は２つのカウンタ４１，４２を有し、これらカウンタ４１，４２のカウント値に基づいて、推定した発光部領域の妥当性を判定し、判定結果に応じて発光部領域の領域情報を出力する。
【００４２】
判定出力部３４における判定と出力データについて説明する。
判定出力部３４は、信号色判定部３２と無彩色・飽和判定部３３から出力されるコードと、１つ前の画素に対する判定結果に基づいて、画素が交通信号機１００の各発光部１０１〜１０３に対応する領域［発光部領域］に含まれるか否かを判定する。発光部領域は、発光部色の画素を含む領域、つまり図８に示すように、素子領域１２１、飽和領域１２２、無彩色領域１２３を含む。そして、発光部領域の外側は、非発光部色の画素を含む。
【００４３】
［１つ前の画素が非発光部領域に属する場合］
信号色判定部３２から信号色コードが出力されるとき、判定出力部３４は入力画素を発光部領域に含まれる画素と判定し、その画素の画素データを出力する。また、判定出力部３４は、入力画素に対応する信号色コードと入力画素の座標値をレジスタ４３に格納する。そして、判定出力部３４は、カウンタ４１，４２を初期化する。この初期化において、判定出力部３４は、各カウンタ４１，４２のカウント値を「１」にセットする。
【００４４】
信号色判定部３２から信号色コード以外のコードが出力されるとき、判定出力部３４は入力画素を発光部領域に含まれない画素、つまり非発光部領域に含まれる画素と判定する。
【００４５】
［１つ前の画素が発光部領域に属する場合］
信号色判定部３２から信号色コードが出力されるか、又は無彩色・飽和判定部３３から飽和色コード又は無彩色コードが出力されるとき、判定出力部３４は、入力画素を発光部領域に含まれる画素と判定し、その画素の画素データを出力する。そして、判定出力部３４は、画素数カウンタ４１のカウント値をカウントアップする。また、判定出力部３４は、信号色判定部３２から信号色コードが出力されるとき、信号色カウンタ４２のカウント値をカウントアップする。
【００４６】
信号色判定部３２から非色コードが出力され、且つ無彩色・飽和判定部３３から非対象コードが出力されるとき、判定出力部３４は入力画素を非発光部領域に含まれる画素と判定し、出力画素の妥当性を判定する。
【００４７】
判定出力部３４は、画素数カウンタ４１のカウント値が所定のしきい値以上であり、信号色カウンタ４２のカウント値が画素数カウンタ４１のカウント値に対して所定値以上の割合であるとき、出力画素に対する推定が妥当であると判定する。画素数カウンタ４１のカウント値は、入力画素を発光部領域に含まれると判定した数、即ち発光部領域に含まれると判定した入力画素の連続数である。信号色カウンタ４２のカウント値は、信号色である入力画素の数である。
【００４８】
このシステムを搭載した車両が交差点等に近づいたとき、交通信号機１００の発光部１０１〜１０３は、所定以上の大きさで撮影される。従って、各発光部１０１〜１０３に対して、発光部領域は所定の長さを有し、かつ信号色の画素が発光部領域を占める割合が所定値以上となる。判定出力部３４は、出力画素に対する推定を妥当と判定した場合、領域情報を出力する。領域情報は、レジスタ４３に格納した座標値、画素数カウンタ４１のカウント値を含む。レジスタ４３に格納した座標値は、１つ前の画素が非発光部領域に属し、発光部領域に含まれると判定した入力画素の座標値である。つまり、この座標値は、発光部領域の先頭の座標値を示す。
【００４９】
判定出力部３４の状態は、図６に示すように遷移する（ステート遷移）。
即ち、ステートＳＴ１において、入力画素を非発光部領域に含まれると判定している。条件Ｔ１（１つ前の画素が非発光部領域であり、次の入力画素の色が信号色）を満足する場合、ステートＳＴ２に遷移する。このとき、入力画素の色を発光部信号色としてレジスタ４３に格納する。また、カウンタ４１，４２を初期化する。次に、ステートＳＴ２において、条件Ｔ２（入力画素の色が、レジスタ４３に格納した発光部信号色と無彩色と飽和色の何れか）を満足する場合、画素数カウンタ４１のカウント値を更新する。更に、入力画素の色が発光部信号色の場合、信号色カウンタ４２のカウント値を更新する。ステートＳＴ２において、条件Ｔ３（入力画素の色が、レジスタ４３に格納した発光部信号色と無彩色と飽和色の何れでもない）を満足する場合、妥当性判定を行い、ステートＳＴ１に遷移する。次に、ステートＳＴ１において、条件Ｔ４（入力画素の色が信号色以外）を満足する場合、ステートＳＴ１に遷移する。
【００５０】
上記の判定出力部３４の処理を、図９に従って説明する。
今、図９に示すように、画素Ｇ１〜Ｇ１２が順次入力される。例えば、画素Ｇ３，Ｇ６，Ｇ７，Ｇ９は信号色、画素Ｇ４，Ｇ５は無彩色、画素Ｇ８は飽和色、画素Ｇ１，Ｇ２，Ｇ１０〜Ｇ１２は、それら以外の色である。
【００５１】
画素Ｇ２が入力されるとき、１つ前の画素Ｇ１は信号色以外であり、画素Ｇ２は信号色以外であるため、判定出力部３４は、画素Ｇ２の画素データを出力しない。次いで、画素Ｇ３が入力されるとき、１つ前の画素Ｇ２は信号色以外であり、画素Ｇ３は信号色である。従って、判定出力部３４は、画素Ｇ３の画素データを出力し、画素Ｇ３の色情報を発光部信号色としてレジスタ４３に格納し、各カウンタ４１，４２を初期化する。次いで、画素Ｇ４が入力されるとき、１つ前の画素Ｇ３は信号色であり、画素Ｇ４は無彩色である。従って、判定出力部３４は、画素Ｇ４の画素データを出力し、画素数カウンタ４１を更新する。次いで、画素Ｇ５が入力されるとき、１つ前の画素Ｇ４は無彩色であり、画素Ｇ５は無彩色である。従って、判定出力部３４は、画素Ｇ５の画素データを出力し、画素数カウンタ４１を更新する。
【００５２】
次いで、画素Ｇ６が入力されるとき、１つ前の画素Ｇ５は無彩色であり、画素Ｇ６の色情報はレジスタ４３に格納した発光部信号色と等しい。従って、判定出力部３４は、画素Ｇ６の画素データを出力し、画素数カウンタ４１及び信号色カウンタ４２を更新する。次いで、画素Ｇ７が入力されるとき、１つ前の画素Ｇ６は発光部信号色であり、画素Ｇ７の色情報は発光部信号色と等しい。従って、判定出力部３４は、画素Ｇ７の画素データを出力し、画素数カウンタ４１及び信号色カウンタ４２を更新する。次いで、画素Ｇ８が入力されるとき、１つ前の画素Ｇ７は発光部信号色であり、画素Ｇ８は飽和色である。従って、判定出力部３４は、画素Ｇ８の画素データを出力し、画素数カウンタ４１を更新する。次いで、画素Ｇ９が入力されるとき、１つ前の画素Ｇ８は飽和色であり、画素Ｇ９は発光部信号色である。従って、判定出力部３４は、画素Ｇ９の画素データを出力し、画素数カウンタ４１及び信号色カウンタ４２を更新する。次いで、画素Ｇ１０が入力されるとき、１つ前の画素Ｇ９は発光部信号色であり、画素Ｇ１０は発光部信号色と無彩色と飽和色の何れでもない。従って、判定出力部３４は、妥当性判定を行う。
【００５３】
つまり、判定出力部３４は、画素Ｇ３〜Ｇ９を発光部領域と推定する。このとき、画素数カウンタ４１のカウント値は「７」であり、信号色カウンタ４２のカウント値は「４」である。例えば、領域判定のためのしきい値を「４」とすると、画素数カウンタ４１のカウント値はしきい値以上であるため、判定出力部３４は、これら画素Ｇ３〜Ｇ９により推定した発光部領域を妥当と判定し、発光部領域の先頭座標、つまり画素Ｇ３の座標値と、画素数カウンタ４１のカウント値（＝７）を出力する。
【００５４】
上記の処理により、交通信号機１００の発光部領域、例えば、図１０に示す発光部１０３に対して、複数の発光部領域１３０が推定される。各発光部領域１３０は、図９に示す画素Ｇ３〜Ｇ９、つまり、信号色と飽和色と無彩色のうちの何れか１つの色の画素を含む。そして、これら複数の発光部領域１３０に含まれる画素の画素データが、部分画像データとして図２に示すメモリ２６に格納される。
【００５５】
次に、上記の撮像装置１１の処理を説明する。
例えば、図１１に示すように、１映像記録周期において、３つのフレームＦａ，Ｆｂ，Ｆｃがデモザイク部２４から出力される。
【００５６】
第１のフレームＦａに含まれる交通信号機１００は、第３の発光部１０３が点灯している。従って、抽出部２５は、フレームＦａから第３の発光部１０３に対応する発光部領域１３０を抽出し、メモリ２６に格納する。このように、メモリ２６に格納された発光部領域１３０は、フレームＦａ全体の画像データに対する部分画像データである。
【００５７】
次に、第２のフレームＦｂに含まれる交通信号機１００は、何れの発光部１０１〜１０３が点灯していない。従って、抽出部２５は、第２のフレームＦｂに対応する部分画像データをメモリ２６に格納しない。
【００５８】
次に、第３のフレームＦｃに含まれる交通信号機１００は、何れの発光部１０１〜１０３が点灯していない。合成部２７は、この第３のフレームＦｃに対し、メモリ２６に格納された部分画像データ（発光部領域１３０）を合成して出力フレームＦｄを生成する。このように生成された出力フレームＦｄは、図１に示す記録装置１２に記録される。即ち、第３の発光部１０３が点灯した出力フレームＦｄが、記録される。
【００５９】
次の映像記録周期においても、同様に、２つのフレームから、点灯した発光部に対応する部分画像データがメモリ２６に格納され、その部分画像データは次の１つのフレームに合成されて出力フレームが生成される。
【００６０】
このように、図１に示す記録装置１２には、映像記録周期毎に１つの出力フレームＦｄが記録される。従って、記録装置１２に記録された複数の出力フレームＦｄの記録間隔は一定である。従って、複数の出力フレームＦｄを動画として再生した場合、違和感の無い映像が得られる。また、映像記録周期毎に撮影されたフレームＦｃに含まれる交通信号機１００の発光部１０１〜１０３が点灯していなくても、映像記録周期内の他の複数のフレームＦａ，Ｆｂから抽出された部分画像データがフレームＦｃに合成されて出力フレームＦｄが生成される。このため、すべての発光部１０１〜１０３が点灯していない交通信号機１００が含まれる出力フレームの数が低減する。従って、再生された映像において、交通信号機１００の発光部１０１〜１０３の何れが点灯しているかを確認することができる。
【００６１】
以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）撮像部２２は、記録装置１２の１映像記録周期に複数（例えば３つ）のフレームＦａ，Ｆｂ，Ｆｃを出力する。抽出部２５は、デモザイク部２４から連続的に出力されるフレームのうち、［３ｎ−２］番目（ｎ＝１，２，・・・）のフレームＦａと、［３ｎ−１］番目のフレームＦｂとを処理する。合成部２７は、デモザイク部２４から連続的に出力されるフレームのうち、［３ｎ］番目のフレームＦｃを処理する。
【００６２】
抽出部２５は、フレームＦａ，Ｆｂの画像データから設定色に対応する領域を推定し、その領域に含まれる画素の情報と、領域の情報をメモリ２６に格納する。合成部２７は、抽出部２５がメモリ２６に格納した発光部領域のデータを、メモリ２６から読み出す。そして、合成部２７は、デモザイク部２４から出力される合成フレームＦｃと、発光部領域とを合成して出力フレームＦｄを生成する。
【００６３】
従って、撮像装置１１は、合成部２７が出力する出力フレームＦｄに従って画像データＧＤを出力する。つまり、撮像装置１１は、記録装置１２の映像記録周期毎に出力フレームＦｄを出力する。従って、記録装置１２に記録された複数の出力フレームＦｄの記録間隔は一定である。従って、複数の出力フレームＦｄを動画として再生した場合、違和感の無い映像が得られる。
【００６４】
（２）映像記録周期毎に撮影されたフレームＦｃに含まれる交通信号機１００の発光部１０１〜１０３が点灯していなくても、映像記録周期内の他の複数のフレームＦａ，Ｆｂから抽出された部分画像データがフレームＦｃに合成されて出力フレームＦｄが生成される。このため、すべての発光部１０１〜１０３が点灯していない交通信号機１００が含まれる出力フレームの数が低減する。従って、再生された映像において、交通信号機１００の発光部１０１〜１０３の何れが点灯しているかを確認することができる。
【００６５】
（３）抽出部２５は、信号色設定部３１に格納された信号色領域情報に基づいて、入力画素が発光部領域か否かを推定する。そして、抽出部２５は、発光部領域と推定した画素の画素値をメモリ２６に格納する。従って、発光部１０１〜１０３の形状が円以外でも、発光部領域を推定する。従って、円形状の発光部１０１〜１０３を持つ交通信号機１００以外に、例えば矢印式信号機や歩行者用信号機など、また文字が表示される信号機など、の発光部を抽出することができる。
【００６６】
（４）抽出部２５は、信号色設定部３１に格納された信号色領域情報に基づいて、入力画素が発光部領域か否かを推定する。そして、抽出部２５は、発光部領域と推定した画素の画素値をメモリ２６に格納する。従って、フレーム全体をメモリに格納する場合と比べ、メモリ２６の容量が小さくてよい。このことは、抽出部２５やメモリ２６を搭載した半導体装置（チップ）の面積の増大の抑制に寄与する。
【００６７】
（５）判定出力部３４は、発光部領域と推定した画素をカウントするカウンタ４１と、信号色と判定した画素をカウントするカウンタ４２を有し、カウンタ４１，４２のカウント値に基づいて発光部領域の妥当性を判定するようにした。従って、発光部１０１〜１０３に対応する領域を抽出し、対応しない領域を除外することで、精度の高い抽出を行うことができる。
【００６８】
（６）抽出部２５は、信号色を判定する信号色判定部３２と、無彩色・飽和色を判定する無彩色・飽和判定部３３を含む。無彩色は、発光部１０１〜１０３のうち、発光ダイオード１１１〜１１３が搭載されていない部分であり、飽和色は、各発光ダイオード１１１〜１１３の中心部分の輝度が高い部分に対応する。従って、ＬＥＤ方式の交通信号機１００の発光部１０１〜１０３に対応する領域を確実に抽出することができる。発光ダイオード１１１〜１１３を用いたＬＥＤ方式の交通信号機１００の発光部１０１〜１０３を確実に抽出することができる。
【００６９】
（第二実施形態）
次に、撮像装置の第二実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して図面と説明の一部またはすべてを省略する。
【００７０】
図１２に示すように、撮像装置１１ａは、レンズ２１、撮像部２２、タイミング制御部２３、デモザイク部２４、抽出部２５ａ、メモリ２６ａ、合成部２７、出力部２８を有している。
【００７１】
抽出部２５ａは、第１のフレームＦａと第２のフレームＦｂそれぞれの画素に基づいて、発光部領域を推定し、推定した発光部領域に含まれる画素の画像データと、その画像データを格納する書き込みアドレス（ライトアドレス）を出力する。メモリ２６ａは、ライトアドレスに画像データを記憶する。そして、抽出部２５ａは、発光部領域の推定に対する妥当性を判定し、その判定結果に応じて、メモリ２６ａに対するライトアドレスを制御する。
【００７２】
図１３に示すように、抽出部２５ａは、信号色設定部３１、信号色判定部３２、無彩色・飽和判定部３３、判定出力部３４ａを有している。この判定出力部３４ａは、妥当性の判定結果に応じてメモリ２６ａに対する書き込みアドレスを制御する。
【００７３】
判定出力部３４ａは、画素数カウンタ４１、信号色カウンタ４２、レジスタ４３、レジスタ４４を有している。
判定出力部３４ａは、画素のデータを出力する毎に、書き込みアドレス（ライトアドレス）ＷＡをメモリ２６ａに出力し、ライトアドレスＷＡをインクリメントする。メモリ２６ａは、ライトアドレスＷＡに対応する領域に、画素データを記憶する。ライトアドレスＷＡのインクリメントは、次の画素の画素データを格納するアドレスを設定するものである。従って、判定出力部３４ａは、インクリメントは、ライトアドレスＷＡに対してメモリ２６ａに格納する画素データのデータ量に応じた値を加算し、次の画素データを格納するライトアドレスＷＡを設定する。
【００７４】
判定出力部３４ａは、レジスタ４４に領域開始アドレスを格納する。領域開始アドレスは、発光部領域と判定した最初の画素のデータを格納したメモリ２６ａのアドレスである。判定出力部３４ａは、発光部領域と判定した最初の画素、つまり、前の画素が非発光部領域であり、入力画素を発光部領域と判定した場合に、ライトアドレスＷＡをレジスタ４４に格納する。このレジスタ４４に格納されたライトアドレスＷＡが領域開始アドレスである。
【００７５】
そして、判定出力部３４ａは、発光部領域に対する妥当性の判定結果に基づいて、その発光部領域が妥当と判定した場合、ライトアドレスＷＡ及びレジスタ４４の内容を変更することなく、状態ＳＴ１へと遷移する。一方、判定出力部３４ａは、発光部領域が妥当ではないと判定した場合、レジスタ４４から読み出した領域開始アドレスをライトアドレスＷＡにセットする。これにより、判定出力部３４ａは、次に、発光部領域と判定した画素のデータを、ライトアドレスＷＡに格納する、つまり、妥当ではないと判定した画素のデータに上書きする。この結果、メモリ２６ａには、妥当ではないと判定した画素のデータは保存されない。
【００７６】
次に、上記の抽出部２５ａ（判定出力部３４ａ）の処理を説明する。
判定出力部３４ａは、図１４に示す連続する複数の画素について、発光部領域か否かを判定する。図１４において、ハッチングを付した丸は発光部領域と推定した画素を示し、ハッチングを付していない丸は発光部領域ではないと判定した画素を示す。
【００７７】
判定出力部３４ａは、入力画素を非発光部領域と判定した場合に、各カウンタ４１，４２のカウント値に基づいて、入力画素に基づいて推定した発光部領域の妥当性を判定する。なお、以下の説明において、発光部領域における信号色画素の割合は判定条件を満足するものとする。
【００７８】
判定出力部３４ａは、図１４に示す画素Ｇ１を発光部領域の先頭画素と推定し、ライトアドレスＷＡを領域開始アドレスＳＡとしてレジスタ４４に格納する。そして、判定出力部３４ａは、ライトアドレスＷＡと、画素Ｇ１の画素データ（色情報、座標値）をメモリ２６ａに出力し、ライトアドレスＷＡをインクリメントする。メモリ２６ａは、判定出力部３４ａから出力されるライトアドレスＷＡに対応する領域に、判定出力部３４ａから出力される画素データを記憶する。
【００７９】
同様に、判定出力部３４ａは、図１４に示す画素Ｇ２〜Ｇ４を発光部領域に含まれる画素と推定し、各画素Ｇ２〜Ｇ４の画素データと、対応するライトアドレスＷＡをメモリ２６ａに出力し、各画素Ｇ２〜Ｇ４毎にライトアドレスＷＡをインクリメントする。メモリ２６ａは、各画素Ｇ２〜Ｇ４を、ライトアドレスＷＡに対応する領域に記憶する。
【００８０】
これにより、図１５（ａ）に示すように、メモリ２６ａには、画素Ｇ１〜Ｇ４の画素データが格納される。このとき、領域先頭アドレスＡＳは画素Ｇ１が記憶された領域を示し、ライトアドレスＷＡは次の画素の画素データを格納する領域を示す。
【００８１】
次に、判定出力部３４ａは、図１４に示す画素Ｎ１を非発光部領域と判定することで、画素Ｇ１〜Ｇ４に対する妥当性を判定する。例えば、連続する画素数のしきい値を「３」とする。画素Ｎ１の判定時において、画素数カウンタ４１のカウント値は「４」である。従って、判定出力部３４ａは、ライトアドレスＷＡを変更しない。
【００８２】
次に、判定出力部３４ａは、上記の画素Ｇ１〜Ｇ４と同様に、画素Ｇ５，Ｇ６を発光部領域の画素と推定し、ライトアドレスＷＡと各画素Ｇ５，Ｇ６の画素データをメモリ２６ａに出力する。その結果、メモリ２６ａには、図１５（ｂ）に示すように、画素Ｇ５，Ｇ６の画素データが格納される。このとき、領域先頭アドレスＡＳは画素Ｇ５が記憶された領域を示し、ライトアドレスＷＡは次の画素の画素データを格納する領域を示す。
【００８３】
次に、判定出力部３４ａは、図１４に示す画素Ｎ２を非発光部領域と判定することで、画素Ｇ５，Ｇ６に対する妥当性を判定する。例えば、連続する画素数のしきい値を「３」とする。画素Ｎ２の判定時において、画素数カウンタ４１のカウント値は「２」であり、連続する画素数のしきい値（＝３）より小さい。従って、判定出力部３４ａは、レジスタ４４に格納した領域開始アドレスＳＡを読み出し、ライトアドレスＷＡに領域開始アドレスＳＡを設定する。これにより、図１５（ｃ）に示すように、領域先頭アドレスＳＡとライトアドレスＷＡは、共に画素Ｇ５が記憶された領域を示す。
【００８４】
次に、判定出力部３４ａは、図１４に示す画素Ｇ７を発光部領域の先頭画素と推定し、ライトアドレスＷＡを領域開始アドレスＳＡとしてレジスタ４４に格納する。そして、判定出力部３４ａは、ライトアドレスＷＡと、画素Ｇ７の画素データ（色情報、座標値）をメモリ２６ａに出力し、ライトアドレスＷＡをインクリメントする。従って、メモリ２６ａには、図１５（ｄ）に示すように、画素Ｇ５の画素データに画素Ｇ７の画素データが上書きされる。
【００８５】
同様に、判定出力部３４ａは、図１４に示す画素Ｇ８を発光部領域に含まれる画素と推定し、画素Ｇ８の画素データと、対応するライトアドレスＷＡをメモリ２６ａに出力し、ライトアドレスＷＡをインクリメントする。従って、メモリ２６ａには、図１５（ｄ）に示すように、画素Ｇ６の画素データに画素Ｇ８の画素データが上書きされる。そして、ライトアドレスＷＡは、次の画素の画素データを格納する領域を示す。
【００８６】
次に、判定出力部３４ａは、図１４に示す画素Ｎ３を非発光部領域と判定することで、画素Ｇ７，Ｇ８に対する妥当性を判定する。この場合、判定出力部３４ａは、図１５（ｂ）に示す画素Ｇ５，Ｇ６と同様に、画素Ｇ７，Ｇ８を判定する。そして、判定出力部３４ａは、レジスタ４４に格納した領域開始アドレスＳＡを読み出し、ライトアドレスＷＡに領域開始アドレスＳＡを設定する。これにより、図１５（ｅ）に示すように、領域先頭アドレスＳＡとライトアドレスＷＡは、共に画素Ｇ７が記憶された領域を示す。
【００８７】
次に、判定出力部３４ａは、図１４に示す画素Ｇ９〜Ｇ１１を判定し、図１５（ｆ）に示すように、各画素Ｇ９〜Ｇ１１の画素データをメモリ２６ａに格納する。そして、判定出力部３４ａは、図１４に示す画素Ｎ４を非発光部領域と判定することで、画素Ｇ９〜Ｇ１１に対する妥当性を判定する。この場合、判定出力部３４ａは、図１５（ａ）に示す画素Ｇ１〜Ｇ４と同様に、画素Ｇ９〜Ｇ１１を判定する。従って、判定出力部３４ａは、ライトアドレスＷＡを変更しない。これにより、図１５（ｆ）に示すように、領域先頭アドレスＳＡは、共に画素Ｇ９が記憶された領域を示し、ライトアドレスＷＡは次の画素の画像データを格納する領域を示す。
【００８８】
このように、メモリ２６ａには、推定が妥当と判定した発光部領域に含まれる画素のデータのみが格納される。従って、容量の小さなメモリ２６ａを用いることができる。このように、容量の小さなメモリ２６ａは、メモリ２６ａが搭載されるチップの面積の増加を抑制する。
【００８９】
以上記述したように、本実施形態によれば、第一実施形態の効果に加え、以下の効果を奏する。
（１）抽出部２５ａは、発光部領域に対する推定が妥当であると判定した場合、ライトアドレスを、次の発光部領域の先頭アドレスとして記憶する。これにより、抽出部２５ａは、次に推定した発光部領域に含まれる画素のデータを、メモリ２６ａに格納する準備を行う。
【００９０】
一方、抽出部２５ａは、発光部領域に対する推定が妥当ではないと判定した場合、その発光部領域として記憶した画素列の先頭アドレスに、ライトアドレスを一致させる。従って、次に推定された発光部領域に含まれる画素のデータは、１つ前に推定した発光部領域の画素のデータを格納した領域に格納される。つまり、抽出部２５ａは、推定した発光部領域に含まれる画素のデータを、発光部領域では無いと判定した画素のデータに対して上書きする。この結果、メモリ２６ａには、推定した発光部領域に対し、妥当性処理において発光部領域として判定した画素のデータが保持され、発光部領域ではないと判定されたデータは保存されない。つまり、メモリ２６ａには、妥当性判定により妥当と判定された発光部領域に含まれる各画素のデータが保存される。従って、抽出部２５ａは、メモリ２６ａに、不必要なデータを保存しないため、例えばスタティックメモリ（ＳＲＡＭ：Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のように、小さな容量のメモリ２６ａを用いることができる。
【００９１】
（第三実施形態）
次に、撮像装置の第三実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して説明の一部またはすべてを省略する。
【００９２】
図１６に示すように、撮像装置１１ｂの撮像部２２は、レンズ２１により結像された被写体からの光を光電変換して光量と色情報を含む１フレームの撮像データを生成する。撮像部２２は、映像記録周波数のフレーム数の整数倍（例えば、３倍）のフレームの撮像データを生成し、各フレームの撮像データを出力する。この撮像データは、撮像部２２が有するカラーフィルタに対応する形式、例えばＲＧＢ形式のデータである。また、撮像データにおける各画素は、カラーフィルタに対応し、例えばベイヤ配列に対応する１つの色の色情報を含む（図５（ｂ）参照）。
【００９３】
デモザイク部２４ｂは、各画素データにおいて、不足する色情報を、周囲の画素データにより補間にて生成する。例えば、デモザイク部２４は、図５（ｂ）に示す画素データＳＧ（１，１）の色情報（赤色）と、画素データＳＧ（１，３）の色情報（赤色）に基づいて、例えば直線補間（内挿）により、画素データＳＧ（１，２）に対応する赤色の色情報を生成する。このように、各画素データについて、対応するカラーフィルタ以外の色の色情報を生成する。このように生成される画素データは、３つの色の色情報を含むＲＧＢ形式のデータである。そして、デモザイク部２４ｂは、生成した各画素の画素データを出力する。つまり、デモザイク部２４ｂは、ＲＧＢ形式の画像データを出力する。
【００９４】
なお、デモザイク部２４ｂにおいて、色変換処理、画像の輪郭（エッジ）を強調するエッジ強調処理、明るさやコントラストを調整するガンマ補正処理、を行うようにしてもよい。なお、デモザイク部２４ｂは、各処理を、必要とするデータ形式に応じて、適宜のタイミングで実施する。
【００９５】
抽出部２５ｂと合成部２７ｂは、デモザイク部２４ｂから出力されるＲＧＢ形式の画像データを処理する。抽出部２５ｂと合成部２７ｂは、デモザイク部２４ｂから出力されるフレームの画像データのうち、所定位置のフレームの画像データをそれぞれ処理するように設定されている。例えば、合成部２７ｂは、図１に示す記録装置の映像記録周期毎にデモザイク部２４ｂから出力される画像データを処理するように設定されている。そして、抽出部２５ｂは、合成部２７ｂが処理するフレームの間のフレームを処理するように設定されている。
【００９６】
図１７に示すように、抽出部２５ｂの信号色設定部３１ｂには、図７に示す交通信号機１００の各発光部１０１〜１０３の色に対応する信号色が設定されている。各発光部１０１〜１０３に対応する信号色は、それぞれ発光部１０１〜１０３に対応する割合で三原色（ＲＧＢ）の値がセットされている。つまり、各発光部１０１〜１０３に対応する信号色は、それぞれＲＧＢの値を含む。
【００９７】
信号色判定部３２ｂは、信号色設定部３１ｂに格納された信号色領域情報を読み出す。信号色判定部３２ｂは、入力画素データに含まれるＲＧＢの値と、信号色領域情報とを比較して、発光部領域を推定する。そして、信号色判定部３２ｂは、推定した領域に対応するコード（［信号色コード］，［非色コード］）を出力する。
【００９８】
無彩色・飽和判定部３３ｂは、入力画素データに含まれる各色（ＲＧＢ）の画素値のうち、少なくとも１つの色の画素値が飽和（最大値又は最大値から所定値小さい値）している場合、飽和を示すコード［飽和色コード］を出力する。また、無彩色・飽和判定部３３ｂは、各色（ＲＧＢ）の画素値を互いに比較して差分値を算出し、算出した差分値に基づいて、画素が無彩色か否かを判定し、判定結果に応じて無彩色を示すコード［無彩色コード］を出力する。また、無彩色・飽和判定部３３は、上記の何れでもない場合、その旨を示すコード［非対象コード］を出力する。
【００９９】
判定出力部３４は、信号色判定部３２ｂから出力されるコードと、無彩色・飽和判定部３３ｂから出力されるコードに基づいて、発光部領域を推定する。そして、判定出力部３４は、推定した発光部領域の妥当性を判定し、妥当と判定した発光部領域の領域情報を出力する。領域情報は、推定した発光部領域の先頭の座標値（発光部領域に含まれる画素の座標値）と、発光部領域に含まれる画素の数（画素数）を含む。
【０１００】
図１６に示す合成部２７ｂは、抽出部２５ｂがメモリ２６に格納した発光部領域のデータを、メモリ２６から読み出す。このデータは、発光部領域に含まれる画素の画素値及び座標値を含み、画素値は、ＲＧＢ形式のデータである。合成部２７ｂは、デモザイク部２４ｂから出力される合成フレームＦｃと、メモリ２６から読み出したデータとを、ＲＧＢの各成分毎に例えばαブレンドにより合成して出力画素の画素値を生成する。そして、合成部２７ｂは、生成した出力画素の画素値を出力する。
【０１０１】
以上記述したように、本実施形態によれば、第一実施形態の効果に加え、以下の効果を奏する。
（１）デモザイク部２４ｂはＲＧＢ形式の画像データを出力する。抽出部２５ｂは、ＲＧＢ形式のフレームＦａ，Ｆｂから発光部領域を抽出し、合成部２７ｂはＲＧＢ形式のフレームＦｃに、メモリ２６から読み出した画素を合成する。このように、ＲＧＢ形式のデータのフレームを処理することができる。ＲＧＢ形式は、ＹＣｂＣｒ形式のデータと比べ、色の解像度の低下が少ない。また、信号色領域の判定においてＹＣｂＣｒ形式のデータよりも正確な判定が期待される。
【０１０２】
（第四実施形態）
次に、撮像装置の第四実施形態を説明する。
なお、上記の実施形態と同じ構成部分については同じ符号を付して説明の一部またはすべてを省略する。
【０１０３】
図１８に示すように、撮像装置１１ｃの撮像部２２は、レンズ２１により結像された被写体からの光を光電変換して光量と色情報を含む１フレームの撮像データを生成する。撮像部２２は、映像記録周波数のフレーム数の整数倍（例えば、３倍）のフレームの撮像データを生成し、各フレームの撮像データを出力する。この撮像データは、撮像部２２が有するカラーフィルタに対応する形式、例えばＲＧＢ形式のデータである。
【０１０４】
抽出部２５ｃと合成部２７ｃは、撮像部２２から順次出力されるフレームのうち、所定位置のフレームの撮像データをそれぞれ処理するように設定されている。例えば、撮像部２２は、撮像したフレームの撮像データを所定の周期（映像記録周期の１／３）で連続的に出力する。抽出部２５ｃは、撮像部２２から連続的に出力されるフレームのうち、抽出フレームＦａ，Ｆｂを処理し、合成部２７ｃは合成フレームＦｃを処理する。
【０１０５】
撮像部２２から出力される各フレームは、撮像部２２に含まれるカラーフィルタに対応する色情報を含む。つまり、各フレームはベイヤ配列に対応する画像データ（ベイヤデータ）であり、各フレームに含まれる画素は、カラーフィルタに対応する１つの色の色情報を含む（図５（ｂ）参照）。
【０１０６】
従って、抽出部２５ｃは、互いに異なる色情報を含む複数の画素を合成して合成画素を生成する。例えば、抽出部２５ｃは、図２１に示すように、赤色（Ｒ）の色情報を含む画素ＳＧ（１，１）と、緑色（Ｇｒ、Ｇｂ）の色情報を含む画素ＳＧ（２，１），ＳＧ（１，２）と、青色（Ｂ）の色情報を含む画素ＳＧ（２，２）とを結合して１つの合成画素ＣＧを生成する。この合成画素ＣＧは、ＲＢＧの各成分の値を含む。つまり、この合成画素ＣＧのデータは、ＲＧＢ形式の色情報を含む。
【０１０７】
抽出部２５ｃは、上記の抽出部２５ｂと同様に、生成した合成画素の色情報に基づいて発光部領域を推定し、推定した発光部領域の妥当性を判定して合成画素のデータをメモリ２６に格納する。
【０１０８】
図１９に示すように、抽出部２５ｃは、ベイヤ結合部３５、信号色設定部３１ｂ、信号色判定部３２ｂ、無彩色・飽和判定部３３ｂ、判定出力部３４を有している。
図２０に示すように、ベイヤ結合部３５は、ライン分の画素のデータを記憶するラインメモリ５１と、入力画素と、ラインメモリ５１から出力される画素とを結合して合成画素ＣＧを生成する結合部５２を有している。例えば、ラインメモリ５１は、１つのフレームにおける奇数番目のラインの画素のデータを記憶する。結合部５２は、偶数番目のラインにおける２つの入力画素と、ラインメモリ５１から出力される２つの画素とを結合して１つの合成画素ＣＧを生成する。そして、結合部５２は、生成した合成画素ＣＧを出力する。
【０１０９】
合成部２７ｃは、合成フレームＦｃに、メモリ２６から読み出した発光部領域の画像データを合成して出力フレームＦｄを生成する。メモリ２６に格納された合成画素は、ＲＧＢ形式の色情報を含む。合成部２７ｃに供給される合成フレームＦｃの画素は、ベイヤ配列に応じた１つの色情報を含む。従って、合成部２７ｃは、合成画素に含まれる色情報（Ｒ成分、Ｇ成分、Ｂ成分）のうち、入力画素に対応する色成分と、入力画素の色情報とを例えばαブレンド演算して合成した色情報を生成し、その色情報を含む画素データを出力する。即ち、合成部２７ｃは、４つの入力画素に対し、１つの合成画素の各成分を合成し、４つの入力画素に対応する４つの出力画素を生成する。
【０１１０】
図１８に示すデモザイク部２４ｃは、合成部２７ｃから順次出力される画素データにおいて、不足する色情報を、周囲の画素データの色情報から補間により生成する。そして、デモザイク部２４ｃは、生成したＲＧＢ形式の画素データを出力する。
【０１１１】
以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）抽出部２５ｃは、４つの画素を結合した合成画素に基づいて、発光部領域を推定する。従って、抽出部２５ｃが推定する画素数は、例えば第一実施形態と比べ、１／４となる。従って、発光部領域の判定回数が少なくなるため、高速処理に適している。また、処理に必要なメモリ２６のメモリ量を小さくできる。
【０１１２】
（他の実施形態）
なお、上記実施形態は、これを適宜変更した以下の態様にて実施することもできる。
・上記各実施形態において、ＹＣｂＣｒ形式の画像データに替えてＲＧＢ形式の画像データを出力するようにしてもよい。また、ＲＧＢ形式の画像データに替えてＹＣｂＣｒ形式の画像データを出力するようにしてもよい。また、ＹＵＶ形式等の他の形式の画像データを出力するようにしてもよい。
【０１１３】
・各合成部において、入力画素とメモリから読み出した画素のうち、明るい画素を選択し、選択した画素を含む出力フレームを生成するようにしてもよい。例えば、ＹＣｂＣｒ形式の画素データの場合、入力画素の輝度成分Ｙをメモリから読み出した画素の輝度成分Ｙと比較し、大きい方の輝度成分Ｙの値を含む出力フレームを生成する。
【０１１４】
・各実施形態において、前画素が非発光部領域であって、入力画素の色が信号色に対応する場合に、入力画素を発光部領域の先頭画素と推定したが、条件を変更してもよい。例えば、信号色又は無彩色の場合に入力画素を発光部領域と推定する。また、信号色又は飽和色の場合に入力画素を発光部領域と推定する。また、信号色と無彩色と飽和色の何れか１つの場合に入力画素を発光部領域と推定する。
【０１１５】
・各実施形態において、メモリ２６，２６ａに格納された部分画像データについて、更に判定を行うようにしてもよい。
例えば、図２２に示す撮像装置１１ｄはＣＰＵ２９を含む。このＣＰＵ２９は、メモリ２６から読み出した部分画像データについて、各画素の座標値と画素データに基づいて、抽出された画素が、交通信号機に対応するものか否かを判定する。例えば、交通信号機の発光部に対応する部分画像データの場合、垂直方向（画像の上下方向であって、入力画素の配列方向（ライン方向）と直交する方向）に隣接する発光部領域が推定される。従って、ＣＰＵ２９は、隣接する複数の発光部領域を妥当と判定し、例えば１ラインのように孤立した発光部領域を妥当ではないと判定する。そして、ＣＰＵ２９は、判定結果に応じた選択信号ＳＬを出力する。合成部２７ｄは、ＣＰＵ２９から出力される選択信号ＳＬに応答して、個々の抽出された画素データについて、合成するか否かを選択する。なお、ＣＰＵ２９は、メモリ２６に格納された画素データの妥当性を判定する判定手段の一例である。このようにＣＰＵ２９（判定手段）を有することで、さらに精度の高い判定を行うことができる。なお、この図２２に示すＣＰＵ２９と合成部２７ｄを、上記の各実施形態に応じて適用してもよい。
【０１１６】
・各実施形態において、信号色の判定を適宜変更してもよい。例えば、入力画素の色情報に含まれる色差値Ｃｂ’，Ｃｒ’と、設定値の色差値Ｃｂ，Ｃｒとの差の二乗和、すなわち、
Ｚ＝（Ｃｂ−Ｃｂ’）２＋（Ｃｒ−Ｃｒ’）２
を演算し、演算結果Ｚに基づいて画素の色が信号色か否かを判定するようにしてもよい。
【０１１７】
また、信号色か否かを判定するしきい値を信号色設定部３１に記憶させ、しきい値を変更可能としてもよい。
また、信号色か否かを判定するしきい値を、発光部毎に設定するようにしてもよい。
【０１１８】
また、しきい値に替えて、各発光部の色に対応する色差ＣｂＣｒの最大値と最小値を設定し、入力画素の色差値Ｃｂ，Ｃｒが最大値と最小値の間の値であるときにその入力画素を発光部領域と推定するようにしてもよい。
【０１１９】
また、図２３に示すように、色差値のＣｂＣｒ平面において、原点を通過する２つの線分に挟まれた領域に、入力画素の色差値Ｃｂ，Ｃｒが含まれるか否かにより、その入力画素が発光部領域か非発光部領域かを推定するようにしてもよい。
【０１２０】
・各実施形態において、抽出部が処理する画素を制限するようにしてもよい。
例えば、車両に搭載された撮像装置、いわゆるドライブレコーダの場合、交通信号機は撮影されたフレーム画像の上部に交通信号機１００が含まれている。従って、図２４（ａ）に示すように、フレームの上部に対して抽出対象領域６１を設定し、その抽出対象領域６１内の画素について発光部領域の推定と妥当性の判定を行うようにしてもよい。また、図２４（ｂ）に示すように、抽出除外領域６２を設定し、その抽出除外領域６２外の画素について発光部領域の推定と妥当性の判定を行うようにしてもよい。各領域６１，６２は、例えば、制御装置（ＣＰＵ）により設定される。このように領域６１，６２を設定することで、例えば、入力画素の座標値に従って、信号色判定部等の処理をキャンセルする。これにより、抽出部に含まれる信号色判定部等が動作する回数を、領域を設定しない場合と比べて少なくすることで、撮像装置の消費電力を低減することができる。また、抽出対象領域６１外の画素や、抽出除外領域６２内の画素を発光部領域として誤って抽出することがなくなるため、メモリ２６の容量を少なくすることができる。
【０１２１】
・上記各実施形態では、撮像装置は所定の規格（ＮＴＳＣ規格）の画像データを出力することとしたが、他の規格（例えば、ＰＡＬ（Ｐｈａｓｅ  Ａｌｔｅｒｎａｔｉｎｇ  Ｌｉｎｅ））に応じた画像データを出力するようにしてもよい。
【０１２２】
・フレーム数を適宜変更する。各撮像装置は、記録するフレーム数に応じて、そのフレーム数の整数倍のフレーム数で撮像して画像データを生成するようにしてもよい。
・上記実施形態では、３つのフレームから１つの合成フレームを生成するようにしたが、２つのフレームから１つの合成フレームを生成する、又は４つ以上のフレームから１つの合成フレームを生成するようにしてもよい。
【０１２３】
・１秒間に記録するフレーム数を、例えば、５，６，１０，１２，１５，２０，２５フレームのように、適宜変更してもよい。
・上記各実施形態は、車両に搭載されるシステム（所謂ドライブレコーダ）としたが、街路等に設置される監視カメラ、等に具体化してもよい。
【０１２４】
・第五実施形態において、合成部２７ｃは、抽出部２５ｃと同様に、複数の画素を結合して合成画素を生成し、その生成した合成画素と、メモリ２６から読み出した画素（合成画素）とを合成して出力フレームを生成するようにしてもよい。
【０１２５】
上記各実施形態に関し、以下の付記を開示する。
（付記１）
撮像部から１映像記録周期内に出力される第１〜第Ｎ（Ｎは２以上の整数）フレームのうち、前記第１〜第（Ｎ−１）フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Ｎフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Ｎフレームの撮像データに合成する、
ことを特徴とする画像処理装置。
（付記２）
前記抽出部は、
入力画素の色が設定色か否かを判定し、判定結果に応じたコードを出力する第１の判定部と、
前記入力画素の色が無彩色か又は飽和色かを判定し、判定結果に応じたコードを出力する第２の判定部と、
前記第１の判定部から出力されるコードと前記第２の判定部から出力されるコードに基づいて抽出対象領域を推定し、前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、前記抽出対象領域の妥当性を判定し、判定結果に応じて前記抽出対象領域の領域情報を前記記憶部に格納する判定出力部と、
を有することを特徴とする付記１に記載の画像処理装置。
（付記３）
前記判定出力部は、
ｍ（ｍは２以上の整数）番目の画素の色が前記設定色に対応し、（ｍ−１）番目の画素の色が前記設定色以外の色の場合に前記ｍ番目の画素を抽出対象領域の先頭と推定し、前記ｍ番目の画素の画素値を前記記憶部に格納し、
ｍ番目の画素の色が、前記設定色と無彩色と飽和色の何れかであり、（ｍ−１）番目の画素が前記抽出対象領域に含まれる場合に、前記ｍ番目の画素を前記抽出対象領域に含むと判定し、前記ｍ番目の画素の画素値を前記記憶部に格納し、
ｍ番目の画素の色が、前記設定色と前記無彩色と前記飽和色のいずれでもなく、（ｍ−１）番目の画素が前記抽出対象領域に含まれる場合に、前記ｍ番目の画素を非対象領域と推定し、前記抽出対象領域の妥当性を判定し、妥当と判定した場合に前記抽出対象領域の領域情報を前記記憶部に格納する、
ことを特徴とする付記２に記載の画像処理装置。
（付記４）
前記判定出力部は、
前記抽出対象領域に含まれると判定した画素をカウントする第１のカウンタと、
前記設定色と等しい色の画素をカウントする第２のカウンタと、
を有し、
前記第１のカウンタのカウント値と前記第２のカウンタのカウント値に基づいて前記抽出対象領域の妥当性を判定する、
ことを特徴とする付記２又は３に記載の画像処理装置。
（付記５）
前記領域情報は、前記抽出対象領域の先頭の座標値と、前記抽出対象領域に含まれる画素の数を含む、
ことを特徴とする付記１，２，３又は４に記載の画像処理装置。
（付記６）
前記判定出力部は、
前記ｍ番目の画素の色が前記設定色と前記無彩色と前記飽和色の何れかであり、前記（ｍ−１）番目の画素が前記非対象領域の場合に、前記ｍ番目の画素を抽出対象領域の先頭と推定する、ことを特徴とする付記３，４又は５に記載の画像処理装置。
（付記７）
前記設定色は、信号機に備えられた複数の発光部に対応する複数の信号色を含み、
前記判定出力部は、
前記抽出対象領域の先頭と推定した画素の色をレジスタに記憶し、
前記ｍ番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れかである場合に前記ｍ番目の画素の画素値を前記記憶部に格納し、
前記ｍ番目の画素の色が、前記レジスタに記憶した色と前記無彩色と前記飽和色の何れでもない場合に、前記ｍ番目の画素を非対象領域と判定する、
ことを特徴とする付記３，４，５又は６に記載の画像処理装置。
（付記８）
前記撮像部から出力される各フレームの画素は、前記撮像部のカラーフィルタに対応する１つの色情報を含み、
各画素について、不足する色方法を、周辺の画素の色情報に基づいて生成して複数の色情報を含む画素値を生成するデモザイク部を有し、
前記抽出部と前記合成部は、前記デモザイク部から出力される画素の画素値に基づいてそれぞれ対応する処理を実行する、
ことを特徴とする付記３，４，５，６又は７に記載の画像処理装置。
（付記９）
前記撮像部から出力される各フレームの画素は、前記撮像部のカラーフィルタに対応する１つの色情報を含み、
前記抽出部は、
異なる色情報を含む複数の画素を結合して１つの合成画素を生成する結合部を含み、
前記合成画素の色に基づいて推定した前記抽出対象領域の合成画素の画素値を前記記憶部に格納し、
前記合成部は、１つの色情報を含む前記画素に対し、前記記憶部から読み出した前記合成画素に含まれ前記画素の色に対応する色成分と、前記画素の色情報を合成する、
ことを特著とする付記３，４，５，６，７又は８に記載の画像処理装置。
（付記１０）
前記判定出力部は、
前記画素値とともに前記画素値を書き込むライトアドレスを前記記憶部に出力し、
前記ｍ番目の画素を前記抽出対象領域の先頭と推定した場合に、前記記憶部に前記画素値を書き込むライトアドレス領域先頭アドレスとしてレジスタに記憶し、
前記抽出対象領域が妥当ではないと判定した場合に前記レジスタから読み出した前記領域先頭アドレスを前記ライトアドレスに設定する、
ことを特著とする付記３，４，５，６，７，８又は９に記載の画像処理装置。
（付記１１）
１映像記録周期内に第１〜第Ｎ（Ｎは２以上の整数）フレームの撮像データを出力する撮像部と、
前記第１〜第（Ｎ−１）フレームの撮像データから設定色に対応する領域の部分画像データを抽出し、前記部分画像データを記憶部に格納する抽出部と、
前記第Ｎフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Ｎフレームの撮像データに合成する、
ことを特徴とする撮像装置。
（付記１２）
映像記録周期毎に１つのフレームの画像データを出力する撮像装置と、
前記撮像装置から出力される各フレームの画像データを記録する記録装置と、
を有し、
前記撮像装置は、
撮像部から１映像記録周期内に出力される第１〜第Ｎ（Ｎは２以上の整数）フレームのうち、前記第１〜第（Ｎ−１）フレームの撮像データから設定色に対応する部分画像データを抽出し、抽出した前記部分画像データを記憶部に格納する抽出部と、
前記第Ｎフレームの撮像データに、前記記憶部から読み出した前記部分画像データを合成したフレームの画像データを出力する合成部と、
を有し、
前記抽出部は、
前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を前記記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記合成部は、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Ｎフレームの撮像データに合成する、
ことを特徴とする撮像システム。
（付記１３）
撮像部から１映像記録周期内に出力される第１〜第Ｎ（Ｎは２以上の整数）フレームの撮像データから１つの出力フレームを生成するデータ処理方法であって、
撮像部から１映像記録周期内に出力される第１〜第Ｎフレームのうち、前記第１〜第（Ｎ−１）フレームの各画素について、各画素の色に基づいて抽出対象領域を推定し、推定した前記抽出対象領域に含まれる画素の画素値を記憶部に格納し、
前記抽出対象領域の妥当性を判定し、妥当と判定した前記抽出対象領域の領域情報を前記記憶部に格納し、
前記領域情報に基づいて、前記抽出対象領域の画素を、前記第Ｎフレームの撮像データに合成する、
ことを特徴とするデータ処理方法。
【符号の説明】
【０１２６】
２２  撮像部
２５  抽出部
２６  メモリ
２７  合成部
Ｆａ〜Ｆｃ  フレーム
Ｆｄ  出力フレーム
【図１】
0005803402.tif 000002
【図２】
0005803402.tif 000003
【図３】
0005803402.tif 000004
【図４】
0005803402.tif 000005
【図５】
0005803402.tif 000006
【図６】
0005803402.tif 000007
【図７】
0005803402.tif 000008
【図８】
0005803402.tif 000009
【図９】
0005803402.tif 000010
【図１０】
0005803402.tif 000011
【図１１】
0005803402.tif 000012
【図１２】
0005803402.tif 000013
【図１３】
0005803402.tif 000014
【図１４】
0005803402.tif 000015
【図１５】
0005803402.tif 000016
【図１６】
0005803402.tif 000017
【図１７】
0005803402.tif 000018
【図１８】
0005803402.tif 000019
【図１９】
0005803402.tif 000020
【図２０】
0005803402.tif 000021
【図２１】
0005803402.tif 000022
【図２２】
0005803402.tif 000023
【図２３】
0005803402.tif 000024
【図２４】
0005803402.tif 000025