(57)【要約】【課題】画像センサおよび画像処理機を含む画像処理システムにおいて、製造会社および製品モデル別に異なる多種の画像センサに対応可能なインターフェース装置を提供する。【解決手段】イメージを撮像する画像センサと、前記撮像されたイメージを画像データとして出力するために処理する画像処理機と、前記画像センサと前記画像処理機とのあいだに接続されたセンサインターフェースとを備え、該センサインターフェースが、前記画像センサに関する情報を記憶するセンサタイプレジスタ、前記画像センサに関する情報を前記センサタイプレジスタに書き込み、前記画像センサを制御するマイクロコンピュータ、および前記画像センサからの出力信号を受信して、該出力信号を前記センサタイプレジスタに記憶された情報に基づいて出力端に連結された画像処理機の入力に好適なように変換し、この変換された信号を前記画像処理機に伝達するセンサ信号処理部を備えている。【選択図】図３
2005020689.tif 000002
【特許請求の範囲】
【請求項１】
イメージを撮像する画像センサと、前記撮像されたイメージを画像データとして出力するために処理する画像処理機と、前記画像センサと前記画像処理機とのあいだに接続されたセンサインターフェースとを備え、
該センサインターフェースが、
前記画像センサに関する情報を記憶するセンサタイプレジスタ、
前記画像センサに関する情報を前記センサタイプレジスタに書き込み、前記画像センサを制御するマイクロコンピュータ、および
前記画像センサからの出力信号を受信して、該出力信号を前記センサタイプレジスタに記憶された情報に基づいて出力端に連結された画像処理機の入力に好適なように変換し、この変換された信号を前記画像処理機に伝達するセンサ信号処理部
を備えることを特徴とする、画像処理システムにおけるインターフェース装置。
【請求項２】
前記画像センサからの出力信号が、垂直同期化信号、水平同期化信号、ピクセルクロック信号およびピクセルデータ信号を含む請求項１記載のインターフェース装置。
【請求項３】
前記画像センサに関する情報が、垂直同期化信号の極性情報、水平同期化信号の極性情報、前記画像センサからの画像情報のピクセルクロック信号の極性情報、前記画像処理機の画像信号処理モード情報およびパターン信号情報、さらに前記撮像されたイメージの水平大きさ情報および前記撮像されたイメージの垂直大きさ情報を含む請求項１記載のインターフェース装置。
【請求項４】
前記センサタイプレジスタが、センサ信号レジスタ、水平大きさレジスタ、および垂直大きさレジスタを含む請求項１記載のインターフェース装置。
【請求項５】
前記センサ信号レジスタが、垂直同期化信号の極性情報、水平同期化信号の極性情報、ピクセルクロック信号の極性情報、画像信号処理モード情報およびパターン信号情報を含み、前記水平大きさレジスタが水平大きさ信号を含み、前記垂直大きさレジスタが垂直大きさ信号を含む請求項４記載のインターフェース装置。
【請求項６】
前記センサ信号処理部が、
垂直同期化信号の極性情報に基づいて、前記画像センサからの垂直同期化信号の極性を反転させるかまたは反転させない第１マルチプレクス、
前記画像処理機の画像信号処理モード情報に基づいて、前記第１マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第２マルチプレクス、
水平同期化信号の極性情報に基づいて、前記画像センサからの水平同期化信号の極性を反転させるかまたは反転させない第３マルチプレクス、
前記画像処理機の画像信号処理モード情報に基づいて、前記第３マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第４マルチプレクス、
前記画像センサからの画像情報のピクセルクロック信号の極性情報に基づいて、前記画像センサからのピクセルクロック信号の極性を反転させるかまたは反転させない第５マルチプレクス、
前記画像処理機の画像信号処理モード情報に基づいて、前記第５マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第６マルチプレクス、および
前記画像処理機の画像信号処理モード情報に基づいて、ピクセルデータ信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第７マルチプレクス
を含む請求項１記載のインターフェース装置。
【請求項７】
前記マイクロコンピュータが、前記画像センサと多目的Ｉ/Ｏ信号を送受信することによって前記画像センサを制御する請求項１記載のインターフェース装置。
【請求項８】
画像処理システムにおける画像センサと画像処理機とを接続するインターフェース方法であり、
前記画像センサに関する情報をセンサタイプレジスタに書き込むステップ、
前記画像センサの出力信号を受信するステップ、
前記センサタイプレジスタに書き込まれた情報に基づいて、前記画像センサからの出力信号を前記画像処理機の出力に適切に変換するステップ、および
前記変換された信号を前記画像処理機に伝達するステップ
を含むことを特徴とする、画像処理システムにおけるインターフェース方法。
【請求項９】
前記画像センサの出力信号が、垂直同期化信号、水平同期化信号、ピクセルクロック信号およびピクセルデータ信号を含む請求項８記載のインターフェース方法。
【請求項１０】
前記画像センサに関する情報が、水平同期化信号の極性情報、垂直同期化信号の極性情報、ピクセルクロック信号の極性情報、前記画像処理機の画像信号処理モード情報およびパターン信号情報、さらに前記撮像されたイメージの水平大きさ情報および前記撮像されたイメージの垂直大きさ情報を含む請求項８記載のインターフェース方法。
【請求項１１】
前記センサタイプレジスタが、センサ信号レジスタ、水平大きさレジスタおよび垂直大きさレジスタを含む請求項８記載のインターフェース方法。
【請求項１２】
前記センサ信号レジスタが、垂直同期化信号の極性情報、水平同期化信号の極性情報、ピクセルクロック信号の極性情報、画像信号処理モード情報およびパターン信号情報を含み、前記水平大きさレジスタが水平大きさ信号を含み、前記垂直大きさレジスタが垂直大きさ信号を含む請求項１１記載のインターフェース方法。
【請求項１３】
前記画像センサからの出力信号を画像処理機の出力に適切に変換するステップが、
垂直同期化信号の極性情報に基づいて前記画像センサからの垂直同期化信号の極性を反転させるかまたは反転させない第１ステップ、
前記画像処理機の画像信号処理モード情報に基づいて、前記第１ステップの反転させたかもしくは反転させなかった垂直同期化信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第２ステップ、
水平同期化信号の極性情報に基づいて、前記画像センサからの水平同期化信号の極性を反転させるかまたは反転させない第３ステップ、
前記画像処理機の画像信号処理モード情報に基づいて、前記第３ステップの反転させたかもしくは反転させなかった水平同期化信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第４ステップ、
前記画像センサからの画像情報のピクセルクロック信号の極性情報に基づいて、前記画像センサからのピクセルクロック信号の極性を反転させるかまたは反転させない第５ステップ、
前記画像処理機の画像信号処理モード情報に基づいて、前記第５ステップの反転させたかもしくは反転させなかったピクセルクロック信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第６ステップ、および
前記画像処理機の画像信号処理モード情報に基づいて、ピクセルデータ信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第７ステップ
を含む請求項８記載のインターフェース方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理システムにおけるインターフェース装置および方法に関する。さらに詳細には、画像処理機(image processor)を含むデジタルカメラなどの装置において製造会社および製品モデル別にそれぞれ異なってくる画像センサ(imaging sensor)の処理データにしたがって画像処理機をそれぞれ別途に設計しなければならない時間および費用上の問題を解決するために、画像センサの処理データにしたがって別途設計変更することなく、画像処理データに好適なデータ形態に画像センサの出力データを変更可能にする画像処理システムにおけるインターフェース装置および方法に関する。
【背景技術】
【０００２】
一般に、画像処理機を含むデジタルカメラなどの装置またはシステムでは、レンズにより撮像されたイメージを検知する画像センサでアナログ画像データを獲得し、この獲得したデータをＡ／Ｄ(analog to digital)変換したのち、画像処理機に印加するために各フレームごとに同期信号を生成する。このように生成された同期信号に基づいて画像処理機は画像センサの画素データを獲得したのち、それぞれの画素データを画像処理を通じて画像圧縮符号化過程のためのデータフォーマットに転換して画像圧縮符号化過程(Image compression coding(ＪＰＥＧ、ＭＰＥＧ))に印加する。ついで、前記画像符号化過程を通じて符号化されたイメージをホストインターフェースを介してデジタルカメラのメモリまたはディスプレイ装置に伝達する。
【０００３】
かかる装置またはシステムに採用される画像センサとしては、通常、光学信号を電気信号に変換するＣＣＤ(charged coupled device)イメージセンサまたはＣＭＯＳ(complementary metal oxide semiconductor)イメージセンサを使用している。
【０００４】
とくに、ＣＣＤイメージセンサは、シリコンのウエハ上に超小型金属電極を多数配置したものであって、多数のフォトダイオードで構成され、ここに光が加えられると光学的エネルギーが電気に変換される。各画素ごとに存在するフォトダイオードから生成された電荷を垂直伝達ＣＣＤおよび水平伝達ＣＣＤを介して高い電位差にて増幅器に伝達するので、電力消耗は大きいものの、雑音に強く、均一に増幅される特長がある。
【０００５】
また、ＣＭＯＳイメージセンサは、各画素ごとにフォトダイオードおよび増幅器を設置したものであって、ＣＣＤイメージセンサに比べて電力消耗が少なく、小型化が可能であるものの、画質に劣るという短所がある。
【０００６】
このようなＣＣＤイメージセンサまたはＣＭＯＳイメージセンサは、さまざまな種別があり、また、各製造会社によって画像処理機のためのインターフェースおよび特性も異なっているので、画像処理機は特定のセンサに合わせて設計および製作しなければならない。その結果、特定のセンサの需給が困難となり新しいものに変更する場合には、その特質に合わせて画像処理のためのシステムも再設計しなければならないという負担があった。
【０００７】
そこで、特許文献１(発明の名称：タイミング信号発生装置)は、画素数の異なる複数種のＣＣＤに対して各種のタイミング信号を提供したり、または各種ＣＣＤへの対応が容易なタイミング信号発生装置を提案している。つまり、前記特許文献１には、それぞれタイミング信号が異なるＣＣＤに好適なタイミング信号を発生することによって、各種のＣＣＤに対応可能にするタイミング信号発生装置が開示されている。しかし、ＣＣＤは、製造会社および製品モデル別に異なるタイミング信号を有するとともに、その他の処理データおよび同期化信号も異なってくるので、前記特許文献１で開示しているタイミング信号発生装置だけではさまざまな種類のイメージセンサに対応することには限界があり、使用するＣＣＤに好適な画像処理システムを再設計しなければならないという問題は依然として残されていた。
【０００８】
図１は従来のデジタルカメラの画像信号処理システムの構成を示す。図１に示されるように、レンズ１０により撮像されたイメージは、画像センサ１１内でＡ／Ｄ変換されたのち、画像処理機１２に印加されるが、このとき、専用の画像処理機が内蔵されなかった画像センサの場合には、ベイヤーパターン(Bayer color filter array pattern)として出力されて画像処理機１２に印加される。
【０００９】
画像処理機１２では、色フィルタ配列補間(color filter array interpolation)、色マトリクス(color matrix)変換、色補正(color correction)、色向上(color enhancement)などの画像処理が行なわれる。このとき、各画像フレームの同期信号として使用される信号は、一つの画像フレームの開始を示す垂直同期化信号であるvsync(vertical synchronization)、フレーム内のライン別イメージの活性化状態を示す水平同期化信号であるhsync(horizontal synchronization)、および各画素データの同期化を示すピクセルクロック信号であるpixel_clkから構成され、実質的な画像に対するピクセルデータはpixel_dataの形に伝達される。画像処理されたデータはＣＣＩＲ ６５６またはＣＣＩＲ ６０１フォーマット(YUV space)に変換されたのち、ＹＶＵ ４：２：２またはＹＶＵ ４：２：０の形態に画像符号化部(ＭＰＥＧまたはＪＰＥＧ)１３の入力として印加されて画像符号化される。
【００１０】
符号化されたフレームデータはフレームバッファ１４に臨時に記憶されたのち、デジタルカメラやＰＣなどのホストインターフェース１５を介してデジタルカメラ、ＰＣなどの記憶装置またはディスプレイ装置に伝達される。
【００１１】
大部分の画像センサはvsync、hsync、pixel_clk、pixel_dataで構成される出力信号を有し、画像センサを制御するための両方向入出力信号が存在する。これらの信号は、デジタルカメラなどのシステムにおける画像センサと画像処理機とのあいだのインターフェースで活用される。
【００１２】
図７は画像センサのスペックを各製造会社別および各モデル別に表すものであって、各製造会社および製品モデル別にその処理されるデータの基準がそれぞれ設定されている。
【００１３】
図２は従来の画像センサ１１から画像処理機１２への信号伝達を概略的に示す図である。ここで、vsync、hsync、pixel_clk、pixel_dataのほか、画像センサの制御のための両方向制御信号は、画像センサ１１の製造会社または製品モデルによって異なってくる。
【００１４】
画像センサ１１の内部に専用の画像処理機が含まれていると、画像センサ１１の出力は画像処理された状態のＣＣＩＲ ６５６、またはＣＣＩＲ ６０１フォーマット(YVU space)に出力され、画像処理機１２はそれを単に画像符号化部１３の入力形態に変換させる役割だけを果たす。一方、画像センサ１１には内部レジスタが存在するが、大部分のセンサは主として２つまたは３つのワイヤを用いた直列通信方法を通じて画像センサの内部レジスタに対して読み書きできるようになっている。このレジスタにどんな値を書き込むかによって画像の特質が変わるため、レジスタに書き込まれるデータは画像の特質を制御する重要な手段となる。
【００１５】
前記のように、画像センサは、各製造会社別に画像フレームの同期信号、つまりhsync、vsync、pixel_clkの相違、pixel_arrayの大きさの相違、センサ内の専用画像処理機の存在有無、出力されるベイヤーパターンの相違、センサを制御する直列通信方法の相違といった違いをもつ。したがって、デジタルカメラなどの装置またはシステム内の画像処理機は特定のセンサに合わせて設計しなければならない。
【００１６】
したがって、使用する画像センサ１１が変更される場合、画像処理機１２内の根本的な画像処理アルゴリズムが変わらないにもかかわらず、単に画像処理機１２と画像センサ１１とのあいだの転送される信号が変更されるという理由から画像処理機を再設計しなければならないという負担があった。とくに、大部分の画像処理機はＬＳＩとして存在するので、その再設計には相当な費用と時間がかかるという問題があった。
【００１７】
【特許文献１】特開２００３−４６８７８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
したがって、前述の問題を解決するための本発明の目的は、画像センサおよび画像処理機を含む画像処理システムにおいて、製造会社および製品モデル別に異なる多種の画像センサに対応可能な画像処理システムにおけるインターフェース装置および方法を提供することである。
【００１９】
本発明の他の目的は、さまざまな種類の画像センサに対応できるような画像処理機を提供することによって、それぞれの画像センサに対応する画像処理機を再設計することなく、デジタルカメラ用画像処理システムの製造コストおよび製造時間を減少させることのできる画像処理システムにおけるインターフェース装置および方法を提供することである。
【課題を解決するための手段】
【００２０】
前記の目的を達成するために、本発明は、製造会社別に異なる特質を有する画像センサに対して画像処理機を含む装置またはシステムが対応可能になるようにするインターフェース装置および方法を提供する。
【００２１】
すなわち、本発明の画像処理システムにおけるインターフェース装置は、イメージを撮像する画像センサと、前記撮像されたイメージを画像データとして出力するために処理する画像処理機と、前記画像センサと前記画像処理機とのあいだに接続されたセンサインターフェースとを備え、該センサインターフェースが、前記画像センサに関する情報を記憶するセンサタイプレジスタ、前記画像センサに関する情報を前記センサタイプレジスタに書き込み、前記画像センサを制御するマイクロコンピュータ、および前記画像センサからの出力信号を受信して、該出力信号を前記センサタイプレジスタに記憶された情報に基づいて出力端に連結された画像処理機の入力に好適なように変換し、この変換された信号を前記画像処理機に伝達するセンサ信号処理部を備えることを特徴としている。
【００２２】
前記画像センサからの出力信号が、垂直同期化信号、水平同期化信号、ピクセルクロック信号およびピクセルデータ信号を含むのが好ましい。
【００２３】
前記画像センサに関する情報が、垂直同期化信号の極性情報、水平同期化信号の極性情報、前記画像センサからの画像情報のピクセルクロック信号の極性情報、前記画像処理機の画像信号処理モード情報およびパターン信号情報、さらに前記撮像されたイメージの水平大きさ情報および前記撮像されたイメージの垂直大きさ情報を含むのが好ましい。
【００２４】
前記センサタイプレジスタが、センサ信号レジスタ、水平大きさレジスタ、および垂直大きさレジスタを含むのが好ましい。
【００２５】
前記センサ信号レジスタが、垂直同期化信号の極性情報、水平同期化信号の極性情報、ピクセルクロック信号の極性情報、画像信号処理モード情報およびパターン信号情報を含み、前記水平大きさレジスタが水平大きさ信号を含み、前記垂直大きさレジスタが垂直大きさ信号を含むのが好ましい。
【００２６】
前記センサ信号処理部が、垂直同期化信号の極性情報に基づいて、前記画像センサからの垂直同期化信号の極性を反転させるかまたは反転させない第１マルチプレクス、前記画像処理機の画像信号処理モード情報に基づいて、前記第１マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第２マルチプレクス、水平同期化信号の極性情報に基づいて、前記画像センサからの水平同期化信号の極性を反転させるかまたは反転させない第３マルチプレクス、前記画像処理機の画像信号処理モード情報に基づいて、前記第３マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第４マルチプレクス、前記画像センサからの画像情報のピクセルクロック信号の極性情報に基づいて、前記画像センサからのピクセルクロック信号の極性を反転させるかまたは反転させない第５マルチプレクス、前記画像処理機の画像信号処理モード情報に基づいて、前記第５マルチプレクスの出力をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第６マルチプレクス、および前記画像処理機の画像信号処理モード情報に基づいて、ピクセルデータ信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第７マルチプレクスを含むのが好ましい。
【００２７】
前記マイクロコンピュータが、前記画像センサと多目的Ｉ/Ｏ信号を送受信することによって前記画像センサを制御するのが好ましい。
【００２８】
また、本発明の画像処理システムにおけるインターフェース方法は、画像処理システムにおける画像センサと画像処理機とを接続するインターフェース方法であり、前記画像センサに関する情報をセンサタイプレジスタに書き込むステップ、前記画像センサの出力信号を受信するステップ、前記センサタイプレジスタに書き込まれた情報に基づいて、前記画像センサからの出力信号を前記画像処理機の出力に適切に変換するステップ、および前記変換された信号を前記画像処理機に伝達するステップを含むことを特徴としている。
【００２９】
前記画像センサの出力信号が、垂直同期化信号、水平同期化信号、ピクセルクロック信号およびピクセルデータ信号を含むのが好ましい。
【００３０】
前記画像センサに関する情報が、水平同期化信号の極性情報、垂直同期化信号の極性情報、ピクセルクロック信号の極性情報、前記画像処理機の画像信号処理モード情報およびパターン信号情報、さらに前記撮像されたイメージの水平大きさ情報および前記撮像されたイメージの垂直大きさ情報を含むのが好ましい。
【００３１】
前記センサタイプレジスタが、センサ信号レジスタ、水平大きさレジスタおよび垂直大きさレジスタを含むのが好ましい。
【００３２】
前記センサ信号レジスタが、垂直同期化信号の極性情報、水平同期化信号の極性情報、ピクセルクロック信号の極性情報、画像信号処理モード情報およびパターン信号情報を含み、前記水平大きさレジスタが水平大きさ信号を含み、前記垂直大きさレジスタが垂直大きさ信号を含むのが好ましい。
【００３３】
前記画像センサからの出力信号を画像処理機の出力に適切に変換するステップが、垂直同期化信号の極性情報に基づいて前記画像センサからの垂直同期化信号の極性を反転させるかまたは反転させない第１ステップ、前記画像処理機の画像信号処理モード情報に基づいて、前記第１ステップの反転させたかもしくは反転させなかった垂直同期化信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第２ステップ、水平同期化信号の極性情報に基づいて、前記画像センサからの水平同期化信号の極性を反転させるかまたは反転させない第３ステップ、前記画像処理機の画像信号処理モード情報に基づいて、前記第３ステップの反転させたかもしくは反転させなかった水平同期化信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第４ステップ、前記画像センサからの画像情報のピクセルクロック信号の極性情報に基づいて、前記画像センサからのピクセルクロック信号の極性を反転させるかまたは反転させない第５ステップ、前記画像処理機の画像信号処理モード情報に基づいて、前記第５ステップの反転させたかもしくは反転させなかったピクセルクロック信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第６ステップ、および前記画像処理機の画像信号処理モード情報に基づいて、ピクセルデータ信号をバイパスさせるか、またはローレベル状態に前記画像処理機に伝達する第７ステップを含むのが好ましい。
【発明の効果】
【００３４】
本発明によれば、製造会社および製品モデル別に異なっているさまざまな種類の画像センサに対応可能な画像処理システムを提供することができる。
【００３５】
また、本発明によれば、１つの画像処理機を用いてさまざまな種類の画像センサに対応可能となるので、究極的に画像センサに対応する画像処理機を再設計しなくて済み、画像処理システムの製造コストおよび製造時間を減少させることができる。
【発明を実施するための最良の形態】
【００３６】
以下、添付図面を参照しつつ本発明を詳細に説明する。
【００３７】
図３は本発明にかかわる画像処理システムにおけるインターフェース装置を概略的に示す図である。図３に示されるように、画像処理システムにおけるインターフェース装置は、画像センサ３０１、センサインターフェース３０２および画像処理機３０３を備えており、該画像センサ３０１と画像処理機３０３とのあいだにセンサインターフェース（インターフェース装置）３０２が配置されている。該センサインターフェース３０２は、センサ信号処理部３０４、センサタイプレジスタ３０５およびマイコン（マイクロコンピュータ）３０６を備えている。
【００３８】
本発明の一実施の形態において、画像処理機３０３は必ず信号処理のためのプロセッサを含むが、このプロセッサが以下に説明されるマイコン３０６の役割まで果してもよい。つまり、図３においてはマイコン３０６が画像処理機３０３と分離されて示されているが、マイコン３０６の役割を果たすために別途プロセッサおよびメモリを提供しなくとも、画像処理機３０３に含まれる特定のプロセッサおよびメモリがプログラムを通じてマイコン３０６の役割を代行してもよい。
【００３９】
画像センサ３０１は、レンズ(図示せず)により撮像されたイメージを検知してアナログ画像データを獲得してそのデータをＡ／Ｄ(Analog to Digital)変換し、このように変換したデータを各フレームごとに画像処理機３０３に印加するための同期信号を生成する。そして、前記同期信号に基づいて前記画像処理機３０３は画像センサ３０１の画素データを獲得したのち、画像処理を通じてそれぞれの画素データを画像符号化過程のためのデータフォーマットに転換させる。画像センサ３０１から出力される信号は、一つの画像フレームの開始を示す垂直同期化信号であるvsync(vertical synchronization)信号、フレーム内のライン別イメージの活性化状態を示す水平同期化信号であるhsync(horizontal synchronization)信号、各画素データの同期化を示すピクセルクロック信号であるpixel_clk信号、および各画素のデータを含むピクセルデータ信号であるpixel_data信号から構成される。
【００４０】
前記画像センサ３０１から出力される信号のうちvsync、hsync、およびpixel_clk信号は、撮像されたイメージの同期化のための信号であって、そのフレームの同期化のために各フレームがハイ(high)信号かロー(low)信号か、もしくは上昇エッジか下降エッジかに対する情報を含み、また、pixel_dataは各画素のデータを含む。
【００４１】
前記画像センサ３０１からの前記vsync、hsync、pixel_clk、およびpixel_dataは画像処理機３０３に入力される前にセンサインターフェース３０２のセンサ信号処理部３０４に入力される。
【００４２】
マイコン３０６は、内部にプロセッサおよび書込み/読出し可能メモリ(たとえば、ＲＡＭ)(図示せず)を含んでおり、前記メモリには使用する画像センサ３０１に関する情報および使用する画像センサ３０１の制御のためのプログラムが格納される。使用する画像センサ３０１にしたがって、メモリに記憶された画像センサ３０１に関する情報を変更し、画像センサを制御するためのプログラムを変更しなければならない。また、画像センサ３０１の内部動作制御は、マイコン３０６により制御されるＧＰＩＯ(General Purpose I/O)信号による。この信号は、２〜３ラインの信号で構成されており、同期クロック信号とデータ信号とからなって読出しまたは書込み動作を可能にする。本発明では、これらの信号を一般的な両方向出力としてマイコン３０６により制御可能に構成することによって異なる特質を有するさまざまな画像センサに対応可能にしている。なお、前記画像センサ３０１に関する情報としては、後述するように、たとえばvsync信号の極性情報、hsync信号の極性情報、画像センサ３０１からの画像情報のpixel_clk信号の極性情報、画像処理機３０３の画像信号処理（ＩＳＰ(Image Signal Processing)）モード情報およびパターン信号情報、さらに撮像されたイメージの水平大きさ情報および撮像されたイメージの垂直大きさ情報がある。
【００４３】
また、マイコン３０６は画像センサ３０１に関する情報をセンサタイプレジスタ３０５に書き込む。そうすると、センサ信号処理部３０４はマイコン３０６により書き込まれたセンサタイプレジスタ３０５の内容に基づいて画像センサから入力されるvsync、hsync、pixel_clk、およびpixel_data信号を現在使用する画像センサ３０１に好適に変換させる。このように変換された信号、つまり、vsync_1、hsync_1、pixel_clk_1、およびpixel_data_1は画像処理機３０３に入力される。
【００４４】
図３においてパターン信号は、画像センサ３０１が出力するベイヤーパターンの形態を画像処理機３０３に知らせるためのものである。画像センサ３０１内に所定の画像処理機が含まれていない場合、センサタイプレジスタ３０５から画像処理機３０３に伝達される信号はベイヤーパターンとなる。この場合、ベイヤーパターンはつぎのような形態例を有する。
【００４５】
00：rgrgrg....
gbgbgb....
01：bgbgbg....
grgrgr....
10：gbgbgb....
rgrgrg....
11：grgrgr....
bgbgbg....
【００４６】
また、画像センサ３０１内に前記所定の画像処理機が含まれている場合には、センサタイプレジスタ３０５から画像処理機３０３に伝達される信号はＹＶＵパターンとなり、パターン信号はＹＶＵパターンに対する情報を含んでいる。
【００４７】
センサタイプレジスタ３０５はこのようなパターンに対する情報を、たとえば、図４（ａ）に示した[ｂ１：ｂ０]ブロックに記憶する。マイコン３０６によりセンサタイプレジスタ３０５に書き込まれたパターンに対する情報は、パターン信号として画像処理機３０３に入力される。
【００４８】
これと同様に、画像センサ３０１から出力されるイメージの大きさに対する情報もまずマイコン３０６に入力されてから当該マイコン３０６によりセンサタイプレジスタ３０５に書き込まれる。センサタイプレジスタ３０５に書き込まれたイメージの大きさに対する情報は、センサタイプレジスタ３０５から画像処理機３０３にイメージの水平大きさに対する情報である水平大きさ信号のwidth信号およびイメージの垂直大きさに対する情報である垂直大きさ信号のheight信号の形態として画像処理機３０３に伝達される。
【００４９】
画像処理機３０３は前述したような入力信号、つまり、vsync_1、hsync_1、pixel_clk_1、pixel_data_1を内部の画像処理過程を通じて画像符号化過程(ＭＰＥＧまたはＪＰＥＧ)に対する入力としてvsync_2、hsync_2、ＹＶＵ信号(輝度および色差信号)を出力する。
【００５０】
図４（ａ）ないし図４（ｃ）は、それぞれセンサタイプレジスタ３０５における、センサ信号レジスタ４０１、水平大きさレジスタ４０２および垂直大きさレジスタ４０３の例示的な構成を示す図である。
【００５１】
図４（ａ）ないし図４（ｃ）に示されるように、センサ信号レジスタ４０１の[ｂ１：ｂ０]ブロックには補間パターンが記憶され、ｂ２ブロックにはピクセルクロック信号の極性、ｂ３ブロックにはvsync信号の極性、ｂ４ブロックにはhsync信号の極性、ｂ５ブロックにはＩＳＰ(Image Signal Processing)モード情報(画像処理機の動作モード情報、すなわち画像処理機がオン状態かオフ状態かに対する情報)が記憶される。水平大きさレジスタ４０２にはイメージの水平大きさに対する情報であるwidth信号が記憶され、垂直大きさレジスタ４０３にはイメージの垂直大きさに対する情報であるheight信号が記憶される。なお、図４（ａ）ないし図４（ｃ）に示したレジスタの構成は例示的なものであり、他の実施例によって変形可能である。
【００５２】
図５はセンサインターフェース３０２の内部構成を示す図である。以下、図５を参照しつつセンサインターフェース３０２内で行なわれる信号変換過程を詳細に説明する。
【００５３】
画像センサ３０１から入力される信号のうち、あるイメージのフレームの開始を示すvsync信号は、センサタイプレジスタ３０５で図４（ａ）のセンサ信号レジスタ４０１のｂ３ブロックに記憶されたvsyncの極性信号を制御信号５０１とする第１マルチプレクス５０２によりvsyncの極性が反転されるか、または反転されなかった形態のi_vsync信号となる。たとえば、制御信号５０１がハイならvsync信号がそのままバイパスされ、制御信号５０１がローならvsyncが反転されて出力される。i_vsync信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ５ブロックに記憶されたＩＳＰモード信号を制御信号５０３とする第２マルチプレクス５０４によりバイパスされてvsync_1として出力されるか、またはローレベル状態となる。たとえば、i_vsync信号は、ＩＳＰモードがオン状態ならそのままバイパスされて画像処理機３０３に伝達され、ＩＳＰモードがオフ状態ならローレベル(接地)となる。
【００５４】
画像センサ３０１から入力される信号のうち、フレーム内のライン別イメージの活性化状態を示すhsync信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ４ブロックに記憶されたhsyncの極性を制御信号５０５とする第３マルチプレクス５０６によりhsyncの極性が反転されるか、または反転されなかった形態のi_hsyncとして出力される。たとえば、制御信号５０５がハイならhsync信号がそのままバイパスされ、制御信号５０５がローならhsyncが反転されて出力される。i_hsync信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ５ブロックに記憶されたＩＳＰモードを制御信号５０７とする第４マルチプレクス５０８によりバイパスされてhsync_1として出力されるか、またはローレベル状態となる。すなわち、i_hsync信号は、たとえば、ＩＳＰモードがオン状態ならそのままバイパスされて画像処理機３０３に伝達され、ＩＳＰモードがオフ状態ならローレベル(接地)となる。
【００５５】
これと同様に、画像センサ３０１から入力される信号のうち、各画素データの同期化を示すpixel_clk信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ２ブロックに記憶されたpixel_clkの極性を制御信号５０９とする第５マルチプレクス５１０によりpixel_clkの極性が反転されるか、または反転されなかった形態のi_pixel_clkとして出力される。たとえば、制御信号５０９がハイならpixel_clk信号がそのままバイパスされ、制御信号５０５がローならpixel_clkが反転されてi_pixel_clkとして出力される。i_pixel_clk信号は、図４（ａ）のセンサ信号レジスタ４０１のＩＳＰモード信号を制御信号５１１とする第６マルチプレクス５１２によりバイパスされてpixel_clk_1として出力されるか、またはローレベル状態となる。すなわち、i_pixel_clk信号は、たとえば、ＩＳＰモードがオン状態ならそのままバイパスされて画像処理機３０３に伝達され、ＩＳＰモードがオフ状態ならばローレベル(接地)となる。
【００５６】
画像センサ３０１から入力される信号のうちpixel_data信号は、図４（ａ）のセンサ信号レジスタ４０１のｂ５ブロックに記憶されたＩＳＰモード信号を制御信号５１３とする第７マルチプレクス５１４によりバイパスされてpixel_data_1として出力されるか、またはローレベル状態となる。すなわち、pixel_data信号は、ＩＳＰモードがオン状態ならそのままバイパスされて出力され、ＩＳＰモードがオフ状態ならローレベル状態となる。
【００５７】
パターン信号は、センサタイプレジスタ３０５のうち、図４（ａ）のセンサ信号レジスタ４０１の、たとえば[ｂ１：ｂ０]ブロックに記憶された値を画像処理機３０３に伝達するためのものであって、画像センサ３０１のベイヤーパターンを示す信号であり、センサ信号レジスタ４０１のＩＳＰモード(ｂ５)がオン（ＯＮ)である場合に限り意味ある値となる。
【００５８】
水平大きさ、つまりwidth信号はセンサタイプレジスタ３０５のうち、図４（ｂ）の水平大きさレジスタ４０２の、たとえば[ｂ１５：ｂ０]ブロックに記憶された値であって、画像処理機に伝達されて画像センサ３０１が活性化される一つのフレームの水平大きさを示す。
【００５９】
垂直大きさ、つまりheight信号は、センサタイプレジスタ３０５のうち図４（ｃ）の垂直大きさレジスタ４０３の[ｂ１５：ｂ０]ブロックに記憶された値であって、画像処理機に伝達されて画像センサ３０１が活性される一つのフレームの垂直大きさを示す。
【００６０】
マイコン３０６は、現在使用する画像センサに対応する値をセンサタイプレジスタ３０５に書き込み、また、ＧＰＩＯ(多目的Ｉ/Ｏ：General Purpose I/O）信号を用いて画像センサ３０１と両方向通信を行ない、現在使用されている画像センサを制御する。
【００６１】
図６は画像処理機３０３の構成を示す図である。以下、図６を参照しつつ画像処理機３０３で行なわれる画像処理過程を説明する。
【００６２】
図３のセンサインターフェース３０２で処理されて出力されるvsync_1、hsync_1、pixel_clk_1、pattern、およびpixel_data信号は、画像処理機３０３の入力として伝達される。画像処理機３０３に入力されたvsync_1、hsync_1、pixel_clk_1、pattern、およびpixel_data信号は、補間のためにラインバッファ６０１に臨時に記憶される。
【００６３】
補間処理部６０２は、ラインバッファ６０１から受信したベイヤーパターンの各ピクセルをＲＧＢ形態に変換させる。そののち、前記ＲＧＢデータは色プロセシング部６０３を通じてＹＣｂＣｒまたはＹＶＵ形態に変換され、pixel_data2としてマルチプレクス６０４に伝達される。
【００６４】
マルチプレクス６０４は、ＹＣｂＣｒ、ＹＶＵフォーマッタ(formatter)６０５に入力され、図４ａのセンサ信号レジスタ４０１のｂ５ブロックに記憶されたＩＳＰモード信号を制御信号としてpixel_dataを選択する。たとえば、ＩＳＰモードがオン(ＯＮ)の場合には、色プロセシング部６０３から出力されたpixel_data２がＹＣｂＣｒ、ＹＶＵフォーマッタ６０５の入力として選択され、ＩＳＰモードがオフ(ＯＦＦ)の場合には、画像センサ３０１から直接出力されたpixel_dataがＹＣｂＣｒ、ＹＶＵフォーマッタ６０５の入力として選択される。
【００６５】
前記ＹＣｂＣｒ、ＹＶＵフォーマッタ６０５は、画像処理機の最終出力のためのものであって、ＩＳＰモードがオンの状態では図３のvsync_1、hsync_1、およびpixel_clk_1信号とマルチプレクス６０４の出力であるpixel_data_1を入力として受信し、ＩＳＰモードがオフの状態では、図３のi_vsync、i_hsync、およびi_pixel_clk信号と、ＩＳＰ処理過程を行なわなかったpixel_dataを受信し、さらにセンサタイプレジスタに記憶されたheight信号およびwidth信号を受信する。
【００６６】
そののち、前述したような信号を受信したＹＣｂＣｒ、ＹＶＵフォーマッタ６０５は画像符号化機に好適な入力として動作されるためのＣＣＩＲ ６５６（図２参照）、ＣＣＩＲ ６０１（図２参照）形態のＹＣｂＣｒ４：２：２もしくはＹＣｂＣｒ４：２：０形態、またはＭＰＥＧやＪＰＥＧなどの適切な形態に変換されたpixel_dataと、１つのフレームの垂直・水平信号であるvsync_2とhsync_2を出力する。
【００６７】
以上、本発明を特定の実施の形態と関連して図示および説明したが、当業者であれば、特許請求の範囲によって定められる発明の思想および領域から逸脱しない範囲内で様々な改造および変更が可能であることがわかるであろう。
【図面の簡単な説明】
【００６８】
【図１】従来の画像信号処理システムの構成を示す図である。
【図２】従来の画像センサから画像処理機に信号を伝達するための構成を示すブロック図である。
【図３】本発明の画像処理システムにおけるインターフェース装置を概略的に示す図である。
【図４】本発明にかかわるセンサタイプレジスタの例示的な構成を示す図である。
【図５】本発明にかかわるセンサインターフェースの内部構成を示す図である。
【図６】本発明にかかわる画像処理機の構成を示す図である。
【図７】画像センサが処理するデータのスペックを各製造会社および製品モデル別に示す図である。
【符号の説明】
【００６９】
３０１  画像センサ
３０２  センサインターフェース
３０３  画像処理機
３０４  センサ信号処理部
３０５  センサタイプレジスタ
３０６  マイコン
４０１  センサ信号レジスタ
４０２  水平大きさレジスタ
４０３  垂直大きさレジスタ
【図１】
2005020689.tif 000003
【図２】
2005020689.tif 000004
【図３】
2005020689.tif 000005
【図４】
2005020689.tif 000006
【図５】
2005020689.tif 000007
【図６】
2005020689.tif 000008
【図７】
2005020689.tif 000009