(57)【要約】【課題】  デジタルの画素信号を処理する構成について、構成の変更を最小限に抑え、かつ、より簡易にＲＡＷ信号の属性を正確に判定でき、設計者の検証にかかる負荷をも軽減できる画像処理装置を提供する【解決手段】  画像を生成するための画素信号を取得するカメラ・プリプロセス部１０１、画素信号の属性に係るインデックス信号を生成すると共に、生成されたインデックス信号を画素信号に対応付けて出力するタイミングジェネレータ１０９と、出力された属性情報に基づいて、画素信号の属性を認識して画像を生成する映像処理部１０２とを画像処理装置に設ける。【選択図】  図１
2005303588.tif 000002
【特許請求の範囲】
【請求項１】
画像を生成するための画素信号を取得する画素信号取得手段と、
取得された画素信号の属性に係る属性情報を生成する画素属性情報生成手段と、
前記画素属性情報生成手段によって生成された属性情報を、前記画素信号と対応付けて出力する画素・属性対応出力手段と、
前記画素・属性対応出力手段によって出力された属性情報に基づいて、前記画素信号の属性を認識して画像を生成する画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画素信号取得手段が、フィルタ部材と、該フィルタ部材を通して光を受光する複数の受光部とを有し、前記属性情報生成手段は、前記受光部の各々が受光した光を画素信号とし、各受光部に受光された光が透過した前記フィルタ部材の属性を画素の属性に係る属性情報として生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記属性情報生成手段は、前記受光部によって受光された光が透過した前記フィルタ部材における色、光透過の可否、位置の少なくとも１つを属性情報とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画素属性情報生成手段が所定の数のビット信号で属性情報を表すインデックス信号を生成すると共に、前記画素・属性同期出力手段がインデックス信号を前記画素信号に同期して出力し、前記画像生成手段は、前記インデックス信号に対応する属性情報を示す対応情報を有し、該対応情報に前記インデックス信号を対照して前記属性情報を認識することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像生成手段は、前記属性情報に基づいて、前記画素信号を属性ごとに分類することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画素・属性対応出力手段は、属性情報と、該属性情報に対応する画素信号とを同期させて出力することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
画像を生成するための画素信号の属性に係る属性情報を生成する画素属性情報生成ステップと、
前記画素属性情報生成手段ステップにおいて生成された属性情報を、対応する前記画素信号に同期して出力する画素・属性同期出力ステップと、
前記画素・属性同期出力ステップにおいて出力された属性情報に基づいて、前記画素信号の属性を認識して画像を生成する画像生成ステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を形成するためのデジタルデータを生成する画像処理装置及び画像処理方法に係り、特にデジタル式のスチルカメラ（ＤＳＣ）等に用いられる画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
現在、撮影によって得られた画像に係る信号（画素信号）をデジタル化し、処理を施して画像を形成する電子カメラ（以降デジタルカメラと記す）やデジタル式のビデオカメラが広く普及している。一般的なデジタルカメラ等は、図１０に示すように、アナログ処理ブロック１と、デジタル映像処理ブロック２とで構成されている。アナログ処理ブロック１は、カメラで撮影された画像を示すアナログ信号を処理してデジタル信号に変換し、この信号を例えば画素信号であるＲＡＷ信号としてデジタル映像処理ブロック２に転送する。
【０００３】
デジタル処理ブロック２は、アナログ処理ブロック１から転送されたＲＡＷ信号を処理して画像（デジタルカメラの場合は写真である）を形成可能なデータを生成する。この際、デジタル映像処理ブロック２からはアナログ処理ブロック１にピクセルクロック（ＰＣＬＫ）等の同期信号が出力され、アナログ処理ブロック１は、ＲＡＷ信号を同期信号に同期して転送する。
【０００４】
図１１は、アナログ処理ブロック１とデジタル映像処理ブロック２との構成をより詳細に示す図である。アナログ処理ブロック１は、カメラ・プリプロセス部１５とタイミングジェネレータ１１とでなり、カメラ・プリプロセス部１５は被写体を撮影してＲＡＷ信号を生成する。タイミングジェネレータ１１には、デジタル映像処理ブロック２から同期信号が入力され、同期信号に基づいてカメラ・プリプロセス部１５に制御信号を出力する。また、デジタル映像処理ブロック２からは、撮影条件を示す信号（通信信号）がカメラ・プリプロセス部１５に出力され、撮影条件がカメラ・プリプロセス部１５に設定される。このようなタイミングジェネレータ１１の構成を図１２に示す。
【０００５】
ところで、デジタルカメラやビデオカメラの分野では、新たな製品を開発する場合、開発費を抑える目的でアナログ処理ブロック１の仕様は変更するが、デジタル映像処理ブロック２のハードウェア構成は変更せず、ソフトウェアのみで対応することが少なくない。そして、アナログ処理ブロック１の仕様は、一般的にイメージセンサデバイス１２の仕様に依存して決定される。
【０００６】
すなわち、イメージセンサデバイス１２は、光検出機能を持った半導体素子（受光素子）を二次元的に配列し、この上にカラーフィルタやマイクロレンズ等の光学素子を実装して構成されたデバイスである。後述するように、カラーフィルタは各々の受光素子毎に機能が異なり、例えば受光面上における位置により、Ｒ，Ｇ，Ｂの色の配置や光を受光しない遮光領域といった属性を有する。ＲＡＷ信号を構成するデジタル信号のデータは、カラーフィルタの属性によって例えばＲの信号なのか、あるいは遮光領域で得られた信号なのかといった属性が変化すると考えられる。
【０００７】
従来技術では、デジタル映像処理ブロック２が同期信号をカウントし、同期信号に基づいて転送されてきたＲＡＷ信号の属性を判定する（例えば特許文献１）。そして、判定の結果に基づいて信号を処理し、画像を生成している。
このため、設計者は、新しい仕様のイメージセンサを使用した新たなデジタルカメラの設計にあたり、そのイメージセンサの仕様を深く理解した上で、デジタル映像処理ブロック２にて正確に同期信号をカウントし、ＲＡＷ信号の属性を正しく判定する必要がある。
また、イメージセンサの多画素化（例えば１００万画素以上）により、多種多様なセンサ駆動モード（間引きモード、全画素読出しモードなど）が存在し、その駆動モードに応じてＲＡＷ信号の出力形式（属性）が変化する。設計者は駆動モード毎に、ＲＡＷ信号の属性を正しく判定する必要がある。
【特許文献１】特開２００１−２８５６９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
デジタル映像処理ブロック２におけるＲＡＷ信号の属性判定は、イメージセンサの多機能化、多品種化による仕様の複雑化のために、設計者にとって大きな負担となってきた。そして、設計者の開発にかかる過大な負荷は、デジタルカメラ等の開発期間の長期化や開発費の増加を招き、デジタルカメラ等の開発や市場への普及を阻害する原因にもなり得る。
【０００９】
ＲＡＷ信号の属性判定について簡単に記述する。デジタル映像処理ブロック２が出力する同期信号とセンサ駆動モードにより、ＲＡＷ信号の送受信の形式が決定する。デジタル映像処理ブロック２は、送受信の形式に基づいて入力してきたＲＡＷ信号が遮光画素領域の信号なのか、あるいは画像を示す有効領域の信号なのかを判定する。さらに、有効領域の信号であった場合、この信号が示す色を判定し、分離することが必要になる。
【００１０】
上記した理由により、設計の現場において、デジタル映像処理ブロック２においてより簡易に画素信号の属性を判別できる技術が要求されていた。
本発明は、上記した点に鑑みてなされたものであり、デジタルの画素信号を処理する構成の変更を最小限に抑え、かつ、デジタルの画素信号を処理する構成部分がより簡易にＲＡＷ信号の属性を判定でき、設計者の負荷を軽減できる画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
以上の課題を解決するため、本発明の画像処理装置は、画像を生成するための画素信号を取得する画素信号取得手段と、取得された画素信号の属性に係る属性情報を生成する画素属性情報生成手段と、前記画素属性情報生成手段によって生成された属性情報を、前記画素信号と対応付けて出力する画素・属性対応出力手段と、前記画素・属性対応出力手段によって出力された属性情報に基づいて、前記画素信号の属性を認識して画像を生成する画像生成手段と、を備えることを特徴とする。
【００１２】
このような発明によれば、画素信号の属性に関する情報を、画素信号に対応させて画像生成手段に出力することができる。このため、本発明は、画像生成手段の構成を変更することなく、複数の態様の画素信号取得手段に対応させることができる。また、本発明によれば、画像生成手段が画素信号の属性を知るための処理をなくすことができる。
ところで、一般的な従来技術では、画素信号の属性を判断するにあたり、イメージセンサ仕様によって決まる同期信号のタイミングやセンサ駆動モードを深く考慮することが要求される。これに対し、属性に関する情報を画素信号と同期して出力する本発明は、画素信号の属性がより簡易に認識でき、処理を簡易化できるばかりでなく、画像生成の信頼性を高めることができる。本発明は、従来技術における設計者の負荷を軽減し、装置の開発にかかるコストを小さく、開発にかかる時間を短くすることができる。
【００１３】
したがって、本発明の画像処理装置は、画素信号を画像形成するために処理する構成の変更を最小限に抑え、かつ、画像形成する側の構成がより簡易にＲＡＷ信号の属性を判定でき、設計者の負荷をも軽減できる
また、本発明の画像処理装置は、画素信号取得手段が、フィルタ部材と、該フィルタ部材を通して光を受光する複数の受光部とを有し、前記属性情報生成手段は、前記受光部の各々が受光した光を画素信号とし、各受光部に受光された光が透過した前記フィルタ部材の属性を画素の属性に係る属性情報として生成することを特徴とする。
【００１４】
このような発明によれば、各受光部に受光された光が透過したフィルタ部材の属性を画素の属性とし、各受光部で得られた画素信号に対応つけて出力することができる。フィルタ部材の属性によって受光部が受光する光の色や光の透過、遮蔽の別が決まるので、本発明は、画素信号に画素の色（遮光、すなわち黒を含む）等の属性を付与することができる。このため、本発明では、画素信号を生成した光が透過したフィルタ部材の属性を画像生成手段が認識することができる。
【００１５】
また、本発明の画像処理装置は、前記属性情報生成手段が、前記受光部によって受光された光が透過した前記フィルタ部材における色、光透過の可否、位置の少なくとも１つを属性情報とすることを特徴とする。
このような発明によれば、フィルタ部材の色、光透過の可否、位置の少なくとも１つを属性情報として画素信号に付与することができる。このため、本発明では、画素信号を生成した光が透過したフィルタ部材の色、光透過の可否、位置の少なくとも１つを画像生成手段が認識することができる。
【００１６】
また、本発明の画像処理装置は、前記画素属性情報生成手段が所定の数のビット信号で属性情報を表すインデックス信号を生成すると共に、前記画素・属性同期出力手段がインデックス信号を前記画素信号に同期して出力し、前記画像生成手段は、前記インデックス信号に対応する属性情報を示す対応情報を有し、該対応情報に前記インデックス信号を対照して前記属性情報を認識することを特徴とする。
【００１７】
このような発明によれば、画素属性情報生成手段から画像生成手段に出力される属性情報の情報量を低減し、画素信号に同期して出力しやすくすることができる。さらに、画像生成手段の側でインデックス情報を属性情報に変換できるので、画像生成手段は充分な情報量の属性情報を得ることができる。
また、本発明の画像処理装置は、前記画像生成手段が、前記属性情報に基づいて、前記画素信号を属性ごとに分類することを特徴とする。
【００１８】
このような発明によれば、画素信号をより簡易に処理することができる。
また、本発明の画像処理装置は、前記画素・属性対応出力手段は、属性情報と、該属性情報に対応する画素信号とを同期させて出力することを特徴とする。
このような発明によれば、画素信号と、画素信号の属性とを簡易に対応付けることができる。
【００１９】
また、本発明の画像処理方法は、画像を生成するための画素信号の属性に係る属性情報を生成する画素属性情報生成ステップと、前記画素属性情報生成手段ステップにおいて生成された属性情報を、対応する前記画素信号に同期して出力する画素・属性同期出力ステップと、前記画素・属性同期出力ステップにおいて出力された属性情報に基づいて、前記画素信号の属性を認識して画像を生成する画像生成ステップと、を含むことを特徴とする。
【００２０】
このような発明によれば、画素信号に含まれる画素信号の属性に関する情報を、対応する画素信号に同期して画像を生成する画像生成ステップに渡すことができる。このため、本発明は、画像生成を実行する手段の構成を変更することなく、複数の態様の画素信号を取得する手段に対応させることができる。また、本発明によれば、画像生成ステップにおける画素信号の属性を知るための処理をなくすことができる。
【発明を実施するための最良の形態】
【００２１】
以下、図を参照して本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。図１は、本発明の画像処理装置を説明するための図である。図示した構成は、アナログ処理部１０１と映像処理部１０２とを備えていて、アナログ処理部１０１は、カメラ・プリプロセス部１１１とタイミングジェネレータ１０９とを有する。このような構成は、本実施形態の画像処理装置を電子カメラに適用した構成である。
【００２２】
カメラ・プリプロセス部１１１は画素信号としてＲＡＷ信号を映像処理部１０２に出力する。また、映像処理部１０２は同期信号をタイミングジェネレータ１０９に出力する。また、アナログ処理部１０１は、カメラ・プリプロセス部１１１と、タイミングジェネレータ１０９とを有し、カメラ・プリプロセス部１１１はタイミングジェネレータ１０９によって出力される制御信号に基づいて動作する。
【００２３】
上記した構成のうち、本実施形態では、アナログ処理部１０１のカメラ・プリプロセス部１１１が画像を生成するための画素信号を取得する画素信号取得手段として機能する。また、タイミングジェネレータ１０９が、取得された画素信号の属性に係る属性情報を生成する画素属性情報生成手段及び生成された属性情報を、対応する画素信号に同期して出力する画素・属性同期出力手段を含む。さらに、映像処理部１０２のデジタル処理部１０４が、出力された属性情報に基づいて、画素信号を処理して画像を生成する画像生成手段を備える。このような構成の詳細については後述するものとする。
【００２４】
図１に示した本実施形態は、タイミングジェネレータ１０９から映像処理部１０２にインデックス信号およびセンサ情報を出力している点が従来技術と相違する。インデックス信号とは、画素信号の属性情報を所定のビット数で示す信号である。また、センサ情報とは、インデックス信号に対応する属性情報を示す対応情報である。センサ情報によれば、インデックス信号を画素信号の属性にかかる情報に変換し、画素信号の属性を知ることができる。
【００２５】
以下、カメラ・プリプロセス部１１１、タイミングジェネレータ１０９、映像処理部１０２の構成について説明する。
（カメラ・プリプロセス部）
カメラ・プリプロセス部１１１は、イメージセンサデバイス１０３、アンプ・クランプ１０５、ＡＤＣ（Analog-to-Digital Converter）１０７を備えている。図２は、イメージセンサデバイスの構造を例示した図である。イメージセンサデバイス１０３は、フィルタ部材であるカラーフィルタ２０１と、このカラーフィルタ２０１を通して光を受光する複数の受光素子で構成されたイメージセンサ２０２とを有している。カラーフィルタ２０１はイメージセンサ２０２上に設けられていて、カラーフィルタ２０１には遮光領域、無効画素領域、有効画素領域がある。
【００２６】
イメージセンサ２０２の各々の受光素子は、カラーフィルタ２０１の遮光領域、無効画素領域、有効画素領域のいずれかを透過した光を受光する。なお、本明細書中、画素とは、各々の受光素子が読み取って得られた画像の要素をいい、画素信号とは画素を表す信号である。カラーフィルタ２０１のうち遮光領域に対応する位置にある受光素子が得た画素信号を遮光画素という。また、無効画素領域に対応する位置にある受光素子が得た画素信号を無効画素といい、有効画素領域に対応する受光素子が受光して得た画素信号を有効画素というものとする。
【００２７】
遮光領域は光を透過しない領域で、遮光画素は黒の基準を決めることに使用される。黒の基準値は、遮光画素の値を平均化して決定され、遮光されていない領域の明るさが基準値に基づいて決定される。遮光領域の信号は、電源電圧や温度等によって変動する。このため、デジタルカメラでは、遮光領域で検出される信号を常にモニターしている。
一方、有効領域及び無効画素領域は、光を透過する受光領域である。ただし、無効領域を透過した光によって生成された信号は、例えばカラーフィルタ２０１における位置上信頼性が低い等の理由により、以降の画像処理に使用されない無効画素となる。本実施形態では、無効画素が出力される期間を無効画素期間という。また、カラーフィルタ２０１の有効画素領域を透過した光を受光した受光素子の信号は、有効画素として以降の画像処理に使用される。有効画素が出力される期間を有効画素期間と記す。
【００２８】
なお、イメージセンサ２０２は、水平同期信号が出力する期間（図中１Ｈとして表す）の範囲で１ライン分の画素信号の信号を出力する。
さらに、カラーフィルタ２０１の有効画素領域には、図示したように例えばＲ，Ｇ，Ｂの各色の原色フィルタが市松模様に配列されている。Ｒ色のフィルタを透過した光を受光した受光素子はＲ色の信号を出力する。また、同様に、Ｇ色のフィルタを透過した光を受光した受光素子はＧ色の信号を出力し、Ｂ色のフィルタを透過した光を受光した受光素子はＢ色の信号を出力する。
【００２９】
本実施形態では、以上のように、イメージセンサデバイス１０３によって受光された光に基づいて画素信号を取得する。また、タイミングジェネレータ１０９が、各受光素子に対応するカラーフィルタ２０１の属性を、画素信号の属性に係る属性情報として生成する。本実施形態では、受光素子によって受光された光が透過してきたカラーフィルタ２０１の色（例えばＲ，Ｇ，Ｂ）、光透過の可否（遮光領域か否か）、カラーフィルタ２０１における位置（有効画素領域または無効画素領域）の少なくとも１つを属性情報として属性情報を生成するものとする。
【００３０】
イメージセンサデバイス１０３が出力した信号は、アンプ・クランプ１０５に入力される。アンプ・クランプ１０５は、信号の黒（ＤＣ）のレベルを設定（クランプ）し、所定の利得で増幅する。増幅された信号はさらにＡＤＣ１０７に入力され、デジタルデータに変換される。この信号は、ＲＡＷ信号として映像処理部１０２に出力する。
図３は、図２に示したイメージセンサデバイス１０３によって生成されたＲＡＷ信号の送信フォーマットを示す図である。図示したように、ＲＡＷ信号は水平同期信号ＨＳＹＮＣに同期して送信される。また、カラーフィルタが市松模様の構成を有する場合、偶数ラインは画素信号がＲ、Ｇの順番で、奇数ラインは画素信号がＧ、Ｂの順番で出力する。デジタル映像処理部１０２は、このようなフォーマットで転送されてくるＲＡＷデータを画素信号の属性によって分離する必要がある。
【００３１】
（タイミングジェネレータ）
次に、タイミングジェネレータ１０９について説明する。図４は、タイミングジェネレータ１０９の構成を説明するための図である。タイミングジェネレータ１０９は、映像処理部１０２によって出力された同期信号に基づいて画素信号をカウントするピクセルカウンタ３０１を備えている。ピクセルカウンタ３０１は、画素信号をカウントし、画素信号の出力順序を示すピクセル番号と画素が配列されて成るラインの出力順序を示すライン番号とを出力する。
【００３２】
また、タイミングジェネレータ１０９は、イメージセンサデバイス１０３、アンプ・クランプ１０５、ＡＤＣ１０７をそれぞれ制御する信号を生成する駆動制御信号生成部３０２、画素信号の属性に係る属性情報であるインデックス信号を生成、発生するインデックス発生部３０３、カラーフィルタ２０１の構成に関する情報が書き込まれた光学フィルタ構成データメモリ３０４、映像処理部１０２と通信し、イメージセンサデバイス１０３のシャッタ速度やゲイン、クランプレベル等の情報を受信するシリアル通信部３０５を備えている。
【００３３】
タイミングジェネレータ１０９は、一般的にイメージセンサデバイス１０３の近く、あるいは内部に組み込まれて構成される。光学フィルタ構成データメモリ３０４には、イメージセンサデバイス１０９に固有のデータ（光学フィルタデータ）が書き込まれる。また、シリアル通信部３０５が受け取ったシャッタ速度、ゲイン、クランプレベル等の情報は、タイミングジェネレータ１０９が備える各手段に設定される。
【００３４】
光学フィルタ構成データメモリ３０４には、光学フィルタデータとしてイメージセンサデバイス１０３のサイズ、カラーフィルタ２０１の色の配列、遮光領域、有効画素領域、無効画素領域の位置等の情報が書き込まれている。このような情報は、カラーフィルタ２０１の構造を与える配列構造番号、配列構造の画素配列インデックスに対応する色情報テーブルとして与えられる。
【００３５】
図５は、カラーフィルタの配列構造番号と画素配列インデックスとを説明するための図である。配列構造番号とは、例えば、カラーフィルタ２０１のｍ×ｎのマトリックス構成を区別するために付された番号をいい、画素配列インデックスとはマトリックスの図中左上端に位置するセルを基準に付された番号を指す。配列構造番号と画素配列インデックスとによれば、どのようなマトリックス構成のどの位置にあるセルを指すのかが識別できる。配列構造の画素配列インデックスに対応する色情報テーブルとは、配列構造番号及び画素配列インデックスによって決まるマトリックス上の画素の位置と、この画素の色が例えばＲ，Ｇ，Ｂのいずれにあたるかを示すテーブルである。
【００３６】
また、遮光領域、有効画素領域、無効画素領域の位置を示す情報は、各領域の始まりを示す画素の番号と終わり（次の領域の始まり）を示す画素の番号（スタート画素番号）や各領域のライン数（幅）等によって示される。インデックス発生部３０３は、上記した情報を光学フィルタ構成データメモリ３０４から読み出し、また、ピクセル番号、ライン番号を入力し、各情報とピクセル番号、ライン番号のタイミングとに基づいてインデックス信号を生成する。
【００３７】
図６は、インデックス発生部３０３を説明するための図である。インデックス発生部３０３は、ピクセルデコーダ５０１、領域判定部５０２、インデックスコーダ５０３を備えている。領域判定部５０２には、ピクセル番号及びライン番号が入力される。また、光学フィルタ構成データメモリ３０４から読み出されたスタート画素番号や幅が入力される。領域判定部５０２は、スタート画素番号及び幅にかかる情報に基づいて有効画素領域にある画素の読み込み開始を検出し、有効画素期間中は有効画素の出力タイミングを示す有効画素フラグをピクセルデコーダ５０１に出力する。
【００３８】
ピクセルデコーダ５０１は、有効画素フラグをライン番号及びピクセル番号と対照し、入力した画素の画像における位置（何ライン目の何番目にある画素か）を判定する。そして、カラーフィルタ配列構造番号から画素を読み取ったイメージセンサデバイス１０３のカラーフィルタ２０１の構造を検出し、入力した画素に対応するカラーフィルタ２０１における位置を画素配列インデックス番号としてインデックスコーダ５０３に出力する。
【００３９】
また、有効画素期間以外の期間にあっては、遮光領域にある画素が入力するタイミングで遮光画素フラグをインデックスコーダ５０３に出力する。また、無効画素期間にあっては無効画素の出力タイミングを示す無効画素フラグを出力する。さらに、他の判定要素として例えばカラーフィルタ２０１に無彩色画素領域がある場合には無彩色画素の出力タイミングを示す無彩色画素フラグを出力する。
【００４０】
以上述べたように、画素配列インデックス番号、遮光画素フラグ等がインデックスコーダ５０３に入力される。インデックスコーダ５０３は、このような情報に基づいてインデックス信号を出力する。すなわち、無効画素が入力した場合、インデックスコーダ５０３は、無効画素がＲＡＷ信号としてカメラ・プリプロセス部１１１から出力するタイミングに同期して無効画素であることを示すインデックス信号を出力する。
【００４１】
また、インデックスコーダ５０３は、画素配列インデックスに対応する色情報テーブルを備えている。そして、入力された画素配列インデックスを色情報テーブルと対照し、入力した画素信号を生成したカラーフィルタの色、すなわち画素信号の色を判定する。そして、得られた画素信号の色の情報をもインデックス信号として出力する。
図７は、インデックス信号を説明するための図である。インデックス信号Ｉｎは、ピクセルクロックに同期してインデックス発生部３０３から映像処理部１０２に出力される。このため、インデックス信号Ｉｎの映像処理部１０２に対する出力のタイミングはＲＡＷ信号に含まれる画素信号の出力タイミングに同期している。また、本実施形態では、駆動制御信号生成部３０２が、画素信号と、この画素信号の属性を示すインデックス信号Ｉｎとが同期するよう制御信号を出力している。
【００４２】
本実施形態では、インデックス信号Ｉｎを「Ｄ2，Ｄ1，Ｄ0」の３ビットの信号としている。図に例示したように、画素信号が有効画素であってＲの色を示す属性を「０」で示すものとし、「０，０，０」のデータを割り当てている。また、画素信号が有効画素であって奇数ラインのＧの色を示す属性を「３」で示すものとし、「０，１，１」のデータを割り当てている。さらに、画素信号が無効画素であって遮光画素である属性を「４」で示すものとし、「１，０，１」のデータを割り当てている。
【００４３】
また、以上のインデックス信号Ｉｎと属性との対応関係を本実施形態のセンサ情報とする。センサ情報は、シリアル通信部３０５を介して映像処理部１０２に送られる。また、インデックス信号Ｉｎと属性との対応関係は、カラーフィルタ等、イメージセンサデバイスに固有の情報とは無関係に決定できる。このため、インデックス信号Ｉｎと属性との対応関係は予め映像処理部１０２の側に記憶させておくことも可能である。
【００４４】
以上述べたように、ＲＡＷデータを構成する画素信号は、対応するインデックス信号Ｉｎと同期してデジタル映像処理部１０２に出力される。このため、デジタル映像処理部１０２では、ＲＡＷデータの各画素信号をカウントしてカラーフィルタの構造と対照するよりも簡易に画素信号の属性を判定することができる。
また、多品種のイメージセンサが存在し、更にそのセンサ各々が多種多様な駆動モードを持つ場合でも、設計者は多種多様で複雑なイメージセンサの仕様を完全に理解しなくても、インデックス信号を監視することで、ＲＡＷ信号の属性を判別することができる。すなわち、設計者の負担を軽減することができる。
【００４５】
（映像処理部）
映像処理部１０２は、図１に示したように、デジタル映像処理部１０４、表示記録部１０６、基本クロック発生部１０８、シリアル通信部１１０を備えている。基本クロック発生部１０８は、ピクセルクロック、水平同期信号、垂直同期信号を生成してタイミングジェネレータ１０９と共にデジタル映像処理部１０４に入力する構成である。また、シリアル通信部１１０は、タイミングジェネレータ１０９と通信してタイミングジェネレータ１０９にイメージセンサデバイス１０３のシャッタ速度やゲイン、クランプレベルを入力する。さらに、本実施形態では、タイミングジェネレータ１０９からセンサ情報を入力し、デジタル映像処理部１０４に入力する。
【００４６】
図８は、デジタル映像処理部１０４の構成を説明するための図である。デジタル映像処理部１０４は、カラー映像処理部８０２と、イネーブル信号生成部８０１と、輝度レベル設定部８０３と、黒レベル設定部８０４とを有している。本実施形態では、デジタル映像処理部１０４はＤＳＰ（Digital Signal Processor）等のハードウェアもしくはソフトウェアで実現される構成である。また、イネーブル信号生成部８０１、輝度レベル設定部８０３は、ハードウェアによって実現するものとする。
【００４７】
デジタル映像処理部１０４に入力されたＲＡＷ信号は、カラー映像処理部８０２、イネーブル信号生成部８０１、輝度レベル設定部８０３のいずれにも入力する。また、インデックス信号は、カラー映像処理部８０２とイネーブル信号生成部８０１とに入力する。イネーブル信号生成部８０１は、インデックス信号に基づいて遮光領域や無効領域といった特定の領域にある画素信号の入力開始を検出し、各種のイネーブル信号を生成し、出力する。イネーブル信号により、カラー映像処理部８０２、イネーブル信号生成部８０１、輝度レベル設定部８０３は、それぞれＲＡＷ信号の取り込みを開始する。
【００４８】
イネーブル信号生成部８０１は、インデックス信号をセンサ情報に対照し、インデックス信号が付された画素信号が遮光画素領域あるいは有効画素領域といった特定の領域の画素信号読み込み開始を示すものであるか否か判断する。そして、読み込み開始を示すものであった場合、対応する構成にイネーブル信号を出力する。すなわち、イネーブル信号生成部８０１は、有効画素領域を示すインデックス番号が入力されると、カラー映像処理部８０２に入力されるＥｎａｂｌｅ＿Ｖａｌｉｄを有効にする。カラー映像処理部８０２は、Ｅｎａｂｌｅ＿Ｖａｌｉｄが有効になったことによりＲＡＷ信号の読み込みを開始し、カラー映像処理を開始する。
【００４９】
また、イネーブル信号生成部８０１は、遮光画素を示すインデックス信号が入力されると、黒レベル設定部８０４に入力されるＥｎａｂｌｅ＿Ｂｌａｃｋを有効にする。Ｅｎａｂｌｅ＿Ｂｌａｃｋが有効になったことにより、黒レベル設定部８０４は、ＲＡＷ信号中の遮光画素を内部回路で補足する。そして、補足した遮光画素の値を積算し、その平均値をとって黒レベルを算出する。算出された黒レベルの値は、アナログクランプレベルとしてタイミングジェネレータ１０９に送信される。
【００５０】
さらに、イネーブル信号生成部８０１は、例えばＧ色の画素を測光すべき画素信号とした場合、Ｇ色の画素信号を示すインデックス信号の入力によって輝度レベル設定部８０３に出力されるＥｎａｂｌｅ＿Ｗｈｉｔｅをイネーブル状態にする。輝度レベル設定部８０３は、Ｅｎａｂｌｅ＿Ｗｈｉｔｅがイネーブル状態になったことによってＲＡＷ信号中の測光すべき画素値を内部回路で補足する。そして、内蔵する測光器（図示せず）で画素信号が示す輝度を測光し、１フレーム分の測光値を積分する。積分によって得られた値を輝度評価値とし、予め定められた輝度目標値と比較する。
【００５１】
さらに、輝度レベル設定部８０３は、輝度目標値と輝度評価値との差分が小さくなるように電子シャッタ速度やアンプのゲインを調整し、調整した値をタイミングジェネレータ１０９に出力する。具体的には、輝度評価値が輝度目標値より小さい場合には画像が暗いと判定し、電子シャッタ速度を遅くして露出時間を長くする。また、輝度評価値が輝度目標値よりも大きい場合には画像が明るいと判定し、電子シャッタ速度を速くして露出時間を短くする。このように電子シャッタ速度を調整することによってイメージセンサデバイスの露出の制御が可能になる。
【００５２】
図９は、カラー映像処理部８０２を説明するための図である。カラー映像処理部８０２は、メモリ９０５と、メモリ９０５を制御するメモリコントローラ９０１と、ＤＳＰ９０３とを備えている。メモリコントローラ９０１はアドレス発生器９０２を備えていて、メモリコントローラ９０１とメモリ９０５とはアドレスバス、データバス、制御バスによって接続されている。また、メモリコントローラ９０１とＤＳＰ９０３とはローカルバスによって接続されている。
【００５３】
なお、メモリコントローラ９０１は、インデックス信号に基づいて画素信号を属性ごとに分離してメモリ９０５に保存する。ＤＳＰ９０３は、インデックス信号に基づいて画素信号を処理する構成である。
すなわち、メモリコントローラ９０１には、インデックス信号、ＲＡＷ信号、イネーブル信号が入力される。メモリコントローラ９０１は、イネーブル信号が有効になったときにアドレスポインタ（メモリ９０５におけるアドレスを指定する信号）をアドレスバスに出力し、また、ＲＡＷ信号をデータバスに出力する。さらに、制御バスを使ってメモリ９０５を書き込み可能な状態にし、ＲＡＷ信号を書き込む。
【００５４】
なお、アドレスポインタは、メモリコントローラ９０１が内蔵するアドレス発生器９０２によって生成される。アドレス発生器９０２は、インデックス信号に応じたオフセット量と、受信したインデックス信号とが示すインデックス番号の画素（受信画素数）の総数を加算してアドレスポインタを生成する。受信画素数はインクリメントされる。
上記した書込の処理を１フレーム分（１つのＶＳＹＮＣが出力される期間）行うことにより、色ごとに分離された画素信号（色プレーン）９０６のメモリが生成される。
【００５５】
ＤＳＰ９０３は、メモリ９０５から色プレーン９０６を読み出して画像を生成する。このとき、ＤＳＰ９０３は、予め読み込んでおいたセンサ情報である色情報テーブルに色プレーン９０６を対照し、色プレーンの色を判別する。
以上述べたように、本実施形態は、映像処理部１０２が、対応するインデックス信号Ｉｎと同期して画素信号を受け取る。このため、イメージセンサデバイスの属性等、カメラ構成に特有の情報をデジタル映像処理部１０２が有する必要がない。このような本実施形態によれば、デジタルの画素信号を処理する映像処理部１０２の構成を変更することなく、さまざまな態様のアナログ処理部１０１と組み合わせてデジタルカメラやビデオムービーを構成することができる。
【図面の簡単な説明】
【００５６】
【図１】本発明の一実施形態の画像処理装置を説明するための図である。
【図２】図１に示したイメージセンサデバイスの構造を例示した図である。
【図３】イメージセンサデバイスによって生成されたＲＡＷ信号の送信フォーマットを示す図である。
【図４】図１に示したタイミングジェネレータの構成を説明するための図である。
【図５】本発明の一実施形態のカラーフィルタの配列構造番号と画素配列インデックスとを説明するための図である。
【図６】図４に示したインデックス発生部を説明するための図である。
【図７】本発明の一実施形態のインデックス信号を説明するための図である。
【図８】図１に示したデジタル映像処理部の構成を説明するための図である。
【図９】図８に示したカラー映像処理部を説明するための図である。
【図１０】一般的なデジタルカメラの構成を説明するための図である。
【図１１】図１０に示したアナログ処理ブロックとデジタル映像処理ブロックとの構成をより詳細に示す図である。
【図１２】図１０に示したタイミングジェネレータの構成を説明するための図である。
【符号の説明】
【００５７】
１０１  アナログ処理部、１０２  映像処理部、１０３  イメージセンサデバイス、１０４  デジタル映像処理部、１０５  アンプ・クランプ、１０６  表示記録部、１０７  ＡＤＣ、１０８  基本クロック発生部、１０９  タイミングジェネレータ、１１０  シリアル通信部、１１１  カメラ・プリプロセス部、２０１  カラーフィルタ、２０２  イメージセンサ、３０１  ピクセルカウンタ、３０２  駆動制御信号生成部、３０３  インデックス発生部、３０４  光学フィルタ構成データメモリ、３０５  シリアル通信部、５０１  ピクセルデコーダ、５０２  領域判定部、５０３  インデックスコーダ、８０１  イネーブル信号生成部、８０２  カラー映像処理部、８０３  輝度レベル設定部、８０４  黒レベル設定部、９０１  メモリコントローラ、９０３  ＤＳＰ、９０５  メモリ、９０６  色プレーン
【図１】
2005303588.tif 000003
【図２】
2005303588.tif 000004
【図３】
2005303588.tif 000005
【図４】
2005303588.tif 000006
【図５】
2005303588.tif 000007
【図６】
2005303588.tif 000008
【図７】
2005303588.tif 000009
【図８】
2005303588.tif 000010
【図９】
2005303588.tif 000011
【図１０】
2005303588.tif 000012
【図１１】
2005303588.tif 000013
【図１２】
2005303588.tif 000014