(57)【要約】【課題】  フレームレートを一定に保ち無効画像を間引き、有効な画像のみを表示する。【解決手段】  画像信号が処理された後、該画像信号を出力する信号処理部と、画像信号が供給され、画像信号と同期信号がそれぞれ出力され、第１の制御信号に応じて同期信号の出力が制御され、第１の制御信号に応じて前記同期信号が出力されないとき無効画像信号が後段のシステムに出力されないようにする出力制御部１６と、第２の制御信号が所定のタイミングで入力され、第２の制御信号に応じて同期信号が所定のタイミングで除去される第１の制御信号を発生する制御部１８と、制御部に第２の制御信号を発生するためのデータを記憶する記憶部１７とを有し、同期信号を制御して、有効画像のみを出力するようにした。【選択図】図１
2006270529.tif 000002
【特許請求の範囲】
【請求項１】
画像信号が処理された後、該画像信号を出力する信号処理部と、
前記画像信号が供給され、該画像信号と同期信号がそれぞれ出力され、第１の制御信号に応じて前記同期信号の出力が制御され、該第１の制御信号に応じて前記同期信号が出力されないとき無効画像信号が後段のシステムに出力されないようにする出力制御部と、
第２の制御信号が所定のタイミングで入力され、該第２の制御信号に応じて前記同期信号が所定のタイミングで除去される前記第１の制御信号を発生する制御部と、
前記制御部に前記第２の制御信号を発生するためのデータを記憶する記憶部と
を有する
信号処理回路。
【請求項２】
前記出力制御部は前記同期信号を一定の間隔で間引き、フレームレートを一定にする前記第１の制御信号を出力する
請求項１記載の信号処理回路。
【請求項３】
前記制御部は前記フレーム内の無効画像出力期間に前記無効画像信号が出力されるように前記第１の制御信号を出力する
請求項２記載の信号処理回路。
【請求項４】
前記制御部は、前記記憶部のデータにより一定のフレームレートに設定された期間、前記第２の制御信号の処理タイミングをずらし、前記フレーム内の無効画像信号出力期間に前記無効画像信号が出力されるようにした
請求項２記載の信号処理回路。
【請求項５】
画像信号が処理された後画像信号と垂直同期信号が出力され、該垂直同期信号の出力を制御する第１の制御部と、
前記第１の制御回路で出力される前記垂直同期信号を一定のタイミングで間引き、フレームレートを一定とし、該フレーム内の無効画像信号出力期間に無効画像信号が出力されるようにした第２の制御部と
を有する
信号処理回路。
【請求項６】
前記第２制御部は、前記フレームレートを一定にされた期間、該第２の制御信号の処理タイミングをずらし、前記フレームの無効画像信号出力期間に前記画像信号が出力されるようにした
請求項５記載の信号処理回路。
【請求項７】
撮像手段から出力された画像信号を処理して画像信号と垂直同期信号が出力されるとともに該垂直同期信号の出力が制御される第１の制御部と、
前記第１の制御回路から出力される前記垂直同期信号を一定のタイミングで間引き、フレームレートを一定とし、該フレームの無効画像信号出力期間に無効画像信号を出力するようにした第２の制御部と、
前記第２の制御部に前記垂直同期信号の間引くタイミングに関するデータを供給する記憶部と、
前記第１の制御部から出力された画像信号が処理された後該画像信号が表示される表示部と
を有する
画像表示装置。
【請求項８】
前記第２の制御部はフレームレートをフレームレート変更前の１／２または１／３のいずれか１つにし、該フレームの無効画像信号出力期間に前記無効画像信号が出力されるようにした
請求項７記載の画像表示装置。
【請求項９】
前記第２制御部は、前記フレームレートが一定にされた期間、前記第１の制御部に供給する制御信号のタイミングをずらし、前記フレームの無効画像信号出力期間に前記無効画像信号が出力されるようにした
請求項７記載の画像表示装置。
【請求項１０】
撮像手段から出力された画像信号を処理して画像信号と垂直同期信号が出力されるとともに該垂直同期信号の出力が制御される第１の制御部と、
前記垂直同期信号の間引くためのデータが記憶される記憶部と、
無効画像の発生に応じて制御信号を発生する第２の制御回路と、
前記記憶部から供給されたデータと前記第２の制御部から供給された制御信号に応じて、前記第１の制御回路から出力される前記垂直同期信号を一定のタイミングで間引き、フレームレートを一定とし、該フレーム期間内の無効画像信号出力期間に無効画像信号を出力するようにしたマイクロコンピュータと、
前記第１の制御部から出力された画像信号が処理された後該画像信号が表示される表示部と
を有する
カメラシステム。
【請求項１１】
前記第２の制御部はフレームレートをフレームレート変更前の１／２または１／３のいずれか１つにし、該フレームの無効画像信号出力期間に前記無効画像信号が出力されるようにした
請求項１０記載のカメラシステム。
【請求項１２】
前記マイクロコンピュータは、前記フレームレートに設定された期間、前記第１の制御部に供給する制御信号のタイミングをずらし、前記無効画像信号出力期間に前記無効画像信号が出力されるようにした
請求項１０記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同期信号に応じて無効画像信号を間引く信号処理回路、カメラ等の画像表示装置やカメラシステムに関し、特に垂直同期信号を一定のタイミングで非アクティブにし出力画像を等間隔で間引く制御を行って、センサ等の制限事項等により非同期に発生する無効画像を間引いたフレームに合わせこむことによって、無効画像を出力しないで一定のフレームレートを実現できる信号処理回路およびその画像表示装置とそれを用いたカメラシステムを提供する。
【背景技術】
【０００２】
センサから画素信号を読み出す際に、読み出し順序を反転させることで画像の上下反転を行うときなど、一時的にセンサから壊れた画像（以降、無効画像と略す）が読み出される場合には、後段の表示／記録装置に無効画像を取り込まないようにするため、これまで以下に挙げる対策が主になされていた。
【０００３】
第１の対策例として、垂直同期信号を制御することにより、無効画像を表示しないことで対応していた。
図５は、指定されたコマンド処理を実行することにより次のフレームでセンサから無効画像が出力されるときの例で、無効画像を出力しないように垂直同期信号の制御を行った場合のタイミングチャートである。
図５中において、ＣＰＵ同期信号（図５（Ａ））はカメラ信号処理回路からマイコンに入力されている信号で、マイコンの制御プログラム（図５（Ｂ））はこの信号に同期して各種処理を行っている。
マスク信号（図５（Ｃ））は垂直同期信号のマスクを行うための制御フラグで、ここではマスク信号がＨｉｇｈのときには垂直同期信号（図５（Ｄ））がマスクされる（つまり間引かれる）ものとする。
ここで、図５（Ｆ）を見ると分かるように、１フレームを垂直同期信号の立下りから次の立下りと考えた場合には、無効画像を間引いたフレームでは１フレームがさらに次のフレームの立下りまでとなってしまい、結果として一時的にフレームレートが通常時（α[ＦＰＳ]；フレーム／秒）の半分（α/２[ＦＰＳ]）になってしまう。ここでαはフレーム数で、たとえば６０または３０などである。
基本的にカメラモジュールの上位のプログラムから指定されるコマンドは非同期に発生するため、この方法で対応すると不定期にフレームレートが変化してしまうことになる。これは後段で動画記録を行う場合には大きな問題となる。
またこれはカメラモジュールの上位からのコマンドに限らず、通常のカメラ自動制御プログラムにおいてもセンサの無効画像が出力されてしまう場合（例えば、電子シャッタの設定値による制限など）に同様の対応を行っている場合には当然該当する事象である。
【０００４】
また第２の対応策として、カメラモジュールの後段のソフトで対応する方法がある。
センサの無効画像を後段の表示／記録装置に取り込まないようにする制御をカメラモジュールのソフトウエアで実現しない場合には、後段のソフトウエアで対応することになる。
この場合、後段のソフトウエアで無効画像を判断するために、（１）垂直同期信号をカウントする、（２）タイマを使用して時間を計測する、（３）カメラモジュールから無効画像通知信号を出力してもらう、などといった何らかの判定手段が必要となり、またこれらの手段により無効画像と判定された画像を、（ａ）単に読み飛ばす、（ｂ）前フレームの画像を使用して補間する、などといった間引き／補間手段が必要となり、後段のソフトウエア開発に負担をかけていた。
【０００５】
このように、同期ズレや色ズレなどにより壊れた無効画像を、垂直同期信号の出力を制御することによって間引くシステムでは、無効画像を間引くことによって一時的にフレームレートが低下してしまうため、例えば動画記録を行う場合には、フレームレートが非同期に変化してしまうため、使用するのが困難だった。
また、上述した無効画像をカメラモジュール内で間引かないで出力した場合、フレームレートを一定に保つことは可能であるが、カメラモジュールの後段のシステムで無効画像かどうかを判断して表示／記録しないような処理を行う必要があり、後段のソフトウエア開発に負担をかけていた。
また特許文献１には同期信号をマスクし、その同期信号に対応する特定画像の出力を停止することが開示してあるが、フレームレートを一様にする構成とその動作については開示してなく、そのため動画などが不自然な動きになってしまう問題がある。
特許文献２には、２つの異なるインタレース形式の画像信号Ａ，Ｂからそれぞれノンインタレース形式の画像信号Ｃ，Ｄを生成し、Ｃ，Ｄ同時に出力、Ｃだけ出力、Ｄだけ出力、の制御のフレームレートを一定に保ったまま出力できる技術を開示してある。
しかしながら、携帯電話用の小型カメラなどメカシャッタを持たないノンインタレース形式の画像信号（つまり全画素読み出し方式のイメージセンサ）等において、画像信号を補間する処理は開示してなく、無効画像があった時これを除去する技術は開示してなく、またフレームレートを一定にすることも示していない。そのため無効画像が出力されたりあるいはフレームレートが変動したりする問題がある。
【特許文献１】特開２００４−２２８８２１号公報
【特許文献２】特開平９−０３７１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
垂直同期信号を一定のタイミングで非アクティブにし出力画像を等間隔で間引く制御を行って、センサ等の制限事項等により非同期に発生する無効画像を間引いたフレームに合わせ込むことによって、無効画像を出力しないで一定のフレームレートとする。
センサから画素信号を読み出す際に、読み出し順序を反転させることで画像の上下反転を行うときなど、一時的にセンサから壊れた画像が読み出される場合には、後段の表示／記録装置に無効画像を取り込まないようにする。
【課題を解決するための手段】
【０００７】
本発明の信号処理回路は、画像信号が処理された後、該画像信号を出力する信号処理部と、前記画像信号が供給され、該画像信号と同期信号がそれぞれ出力され、第１の制御信号に応じて前記同期信号の出力が制御され、該第１の制御信号に応じて前記同期信号が出力されないとき無効画像信号が後段のシステムに出力されないようにする出力制御部と、第２の制御信号が所定のタイミングで入力され、該第２の制御信号に応じて前記同期信号が所定のタイミングで除去される前記第１の制御信号を発生する制御部と、前記制御部に前記第２の制御信号を発生するためのデータを記憶する記憶部とを有する。
本発明の信号処理回路は、画像信号が処理された後画像信号と垂直同期信号が出力され、該垂直同期信号の出力を制御する第１の制御部と、前記第１の制御回路で出力される前記垂直同期信号を一定のタイミングで間引き、フレームレートを一定とし、該フレーム内の無効画像信号出力期間に無効画像信号が出力されるようにした第２の制御部とを有する。
本発明の信号処理回路を用いた固体撮像装置は、撮像手段から出力された画像信号を処理して画像信号と垂直同期信号が出力されるとともに該垂直同期信号の出力が制御される第１の制御部と、前記第１の制御回路から出力される前記垂直同期信号を一定のタイミングで間引き、フレームレートを一定とし、該フレームの無効画像信号出力期間に無効画像信号を出力するようにした第２の制御部と、前記第２の制御部に前記垂直同期信号の間引くタイミングに関するデータを供給する記憶部と、前記第１の制御部から出力された画像信号が処理された後該画像信号が表示される表示部とを有する。
本発明のカメラシステムは、撮像手段から出力された画像信号を処理して画像信号と垂直同期信号が出力されるとともに該垂直同期信号の出力が制御される第１の制御部と、前記垂直同期信号の間引くためのデータが記憶される記憶部と、無効画像の発生に応じて制御信号を発生する第２の制御回路と、前記記憶部から供給されたデータと前記第２の制御部から供給された制御信号に応じて、前記第１の制御回路から出力される前記垂直同期信号を一定のタイミングで間引き、フレームレートを一定とし、該フレーム期間内の無効画像信号出力期間に無効画像信号を出力するようにしたマイクロコンピュータと、前記第１の制御部から出力された画像信号が処理された後該画像信号が表示される表示部とを有する。
【発明の効果】
【０００８】
垂直同期信号の出力を制御することによって無効画像を間引くシステムにおいて、非同期に無効画像を発生させることなく、動画記録に必要とされる一定のフレームレートを実現することができる。
また、簡単な制御でフレームレートを一定に保ちつつ無効画像を間引くことが出来るので、カメラモジュールの後段のシステムで無効画像を判断／処理する制御を必要とせず、安価に実現することができる。
【発明を実施するための最良の形態】
【０００９】
図１に本発明の実施形態例であるカメラシステムに用いられる信号処理装置とその表示装置１０を示す。カメラ等の表示装置は、イメージセンサ１１、カメラ信号処理回路１２、不揮発性メモリ１７、マイクロコンピュータ１８、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１９、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０で構成されている。
また、たとえばカメラ等の信号処理回路１２は、分離回路１３、輝度系制御部１４、クロマ（色信号）系制御部１５、出力制御部１６で構成されている。
【００１０】
イメージセンサ１１として例えばＣＣＤイメージセンサおよびＣＭＯＳイメージセンサの固体撮像素子があり、光信号を電気信号に変換している。電気信号はＣＤＳ回路などでノイズを除去された後、ＡＧＣ回路、ブランキング回路を経て出力される。
カメラ信号処理回路１２の分離回路１３は、たとえば櫛型フィルターなどを使用して、Ｙ／Ｃ分離回路を構成することにより、イメージセンサ１１から出力された画像信号を輝度信号とクロマ信号に分離する。
輝度系制御部１４は、利得を可変する利得制御回路、ＤＣ成分を再生するクランプ回路、後段に接続される表示装置例えばＣＲＴなどガンマ特性に合わせるためガンマ補正回路、過度の大きな入力信号に対して信号振幅を制限するホワイトクリップ回路、また垂直、水平方向の輪郭を強調する垂直輪郭補正回路や水平輪郭補正回路等で構成されている。
これらの回路は図1に示してあるマイクロコンピュータ１８から出力される制御信号により制御される。
クロマ系制御部１５は、Ｒ，Ｇ，Ｂなどの色に分離する色分離回路、色分離された色信号を合成するマトリックス回路、白色のバランスを調整するホワイトバランス回路、カラーエンコーダなどで構成されている。
出力回路１６は、輝度系制御部１４から出力された輝度信号とクロマ系制御部１５から出力されたクロマ（色）信号を加算し、加算された信号を処理してコンポジット（複合）信号として画像（または映像）を出力し、またこれと並列に同期信号を出力する。
不揮発性メモリ１７はＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などで構成され、マイクロコンピュータ１８が立ち上げられた時、同期信号などをマスクするタイミングやフレームレートなどの量を設定するデータを記憶している。
マイクロコンピュータ１８は８ビット、１６ビットマイコンなどが使用され、場合によっては制御用マイコン（マイクロコンピュータ）と兼用されている。このマイクロコンピュータ１８からの制御信号Ａ，Ｂにより、輝度系制御部１４を調整し、またクロマ系制御部１５のホワイトバランス、色温度などを調整する。
また、ＲＯＭ２０に記憶されている制御プログラムにより、後述するように、出力制御部１６から出力される同期信号を何Ｖ同期（Ｖｓｙｎｃ；垂直同期信号）毎に出力するかの制御信号を出力している。
ＲＡＭ（Ｒａｎｄａｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１９はマイクロコンピュータ１８の動作中、各種プログラムが使用する、テンポラリーなデータの記憶に用いられる。
ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０は後述の本発明を動作させるための制御プログラムや自動露光制御するためのプログラムやＷＢ（ホワイトバランス）調整するためのプログラムを格納している。
【００１１】
次ぎにこの信号処理回路１２を用いた画像表示装置とカメラシステム１０の動作について、図２を用いて説明する。
本発明においてはただ単に垂直同期信号をマスクするだけでなく、一定のタイミングでマスク信号を切り替えることにより、フレームレートを一定に保持しつつ、無効画像を出力しないようにした。
【００１２】
図２に、本発明の第1の実施形態例である制御のタイミングチャートを示す。
イメージセンサ１１において、マトリックス状に配列されたＰＤ（ホトダイオード）から検出された光信号は垂直、水平転送あるいは信号線を介して水平転送され、その出力された画素信号はＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）回路でノイズを除去されてプリアンプで増幅され、さらにＡＧＣで利得制御されて出力される。
分離回路１３で、輝度信号とクロマ信号に分離される。輝度信号は輝度系制御部１４に入力され、クランプ、輪郭補正などのプロセス制御された後出力される。
一方クロマ系処理回路１５はホワイトバランスなどの調整がされ、カラーマトリックス回路でＹ信号とマトリックスされた後、カラーエンコーダでエンコードされた後、輝度信号と加算（合成）される。
【００１３】
不揮発性メモリ１７にフレームレートと何Ｖ（Ｖｓｙｎｃ；垂直同期）毎にマスク信号を発生させるかのデータを記憶させる。カメラシステムが立ち上がった時、このデータをマイクロコンピュータ１８に転送する。
一方マイクロコンピュータ１８は制御プログラム（図２（Ｂ））にしたがって動作し、不揮発性メモリ１７から出力されたデータに基き所定のＶｓｙｎｃ（Ｖ同期信号）毎に新たなＶ同期信号を発生するように制御信号を出力する（図２（Ｃ），（Ｄ））。
また出力制御部１６の垂直同期信号に同期してマスク信号（図２（Ｃ））を発生し、その結果フレームレートが設定される。
たとえば２Ｖｓｙｎｃ毎、３Ｖｓｙｎｃ毎、・・・毎に新たなＶｓｙｎｃを発生するようにできる。この設定数は任意であり、これらの値に限定されるものではない。２Ｖｓｙｎｃ毎に新たなＶｓｙｎｃを発生させると、フレームレートは従来のフレームレートの１／２に低下し、また３Ｖｓｙｎｃ毎に新たなＶｓｙｎｃを発生させると、フレームレートは従来のフレームレートの１／３に低下する。
【００１４】
次ぎにフレームレートを変更する動作例につき図２を用いて説明する。ここではフレームレートを通常の１／２に低下した例を示す。
マイクロコンピュータ（ＣＰＵ）１８で制御プログラム（図２（Ｂ））に基き、制御信号ＣをＣＰＵ同期信号に同期させて出力制御部１６に供給する。たとえばＣＰＵ同期信号に同期した時刻ｔ１で制御プログラムに応じて“Ｈ”レベルの制御信号を出力し、時刻ｔ４で“Ｌ”レベルの制御信号を出力する。以下同様に、時刻ｔ７で“Ｈ”レベル、時刻ｔ１０で“Ｌ”レベルとし、また時刻ｔ１３で“Ｈ”レベル、時刻ｔ１６で“Ｌ”レベル、・・・と各制御信号を出力する。
その結果図２（Ｃ）に示すように、出力制御部１６において、マスク信号が時刻ｔ１〜ｔ４、時刻ｔ７〜ｔ１０、時刻ｔ１３〜ｔ１６、・・・に“Ｈ”レベルとなり、１フレームおきにマスク信号（図２（Ｃ））が発生している。
この結果、１フレームの期間が従来の２倍となり、変更前のフレームレートに比べて、フレームレートが１／２に低下している。
【００１５】
図２（Ｄ）に実線と破線で示してあるように、マスク信号が無いと、時刻ｔ２〜ｔ３，時刻ｔ５〜ｔ６，時刻ｔ８〜ｔ９，時刻ｔ１１〜ｔ１２、・・・の“Ｈ”レベルの垂直同期信号が発生している。
しかしながら、マイクロコンピュータ１８の制御プログラムにより図２（Ｃ）のマスク信号が供給されると、出力制御部１６で垂直同期信号がマスクされ、そのマスク信号が１Ｖｓｙｎｃおきに発生する。たとえば時刻ｔ１〜時刻ｔ４までマスク信号があるので、その期間のＶｓｙｎｃはマスクされ、その結果出力制御部１６の同期信号出力（端子）から“Ｌ”レベルの垂直同期信号が出力される。以下同様に、時刻ｔ８〜ｔ９、時刻ｔ１４〜ｔ１５、・・・の同期信号はマスクされ“Ｌ”レベルになる。
その結果、出力制御部１６の同期信号出力から時刻ｔ５〜ｔ６、時刻ｔ１１〜ｔ１２、時刻ｔ１７〜ｔ１８、・・・のみ“Ｈ”レベルの垂直同期信号が出力される。
よって、出力制御部１６の同期信号出力は、図２（Ｅ）に示してあるように、垂直同期信号（時刻ｔ５〜ｔ６）に対する１垂直同期期間は時刻ｔ０〜ｔ６、また垂直同期信号（時刻ｔ１１〜ｔ１２）に対する１垂直同期期間は時刻ｔ６〜ｔ１２、垂直同期信号（時刻ｔ１７〜ｔ１８）に対する１垂直同期期間は時刻ｔ１２〜ｔ１８、・・・となっている。
【００１６】
このように、図２においては、垂直同期信号を１フレーム分間引く制御を行った場合の例である。この一定のタイミング、および間引くフレーム数に関しては図１に示す不揮発性メモリ１７に記憶するデータを変更して、このデータをマイクロコンピュータ１８に供給し、制御プログラムにこのデータを取り込み処理することで、容易に変更することが可能である。
図２に示すように、本発明による制御を行うことでフレームレートは通常動作時よりも遅くなるが、常に一定のフレームレートが実現できることが分かる。本発明の実施形態では一定のタイミングで間引いたフレームにセンサの無効画像が出力されるように制御を行う。この制御の詳細に関しては後述する。
【００１７】
現在カメラモジュールの高速化に伴い、高フレームレートによる画像出力が実現できるようになってきたので、フレームレートの設定がカメラモジュールの持つ最高の性能より遅くなってもあまり大きな問題とはならない。むしろ動作クロックを落とすことによって消費電力を抑えることの方が重要である。
また動画記録では記録容量の制限により、通常撮影時よりも遅いフレームレートで記録することも多々あり、本発明で提案する手法は大いに有効であると考えられる。
【００１８】
次ぎに図１と図２で示した一定のフレームレートを実現するタイミングチャートの中で、垂直同期信号が間引かれているフレームにセンサの無効画像を合わせこむ動作について説明する。本発明の他の実施形態例を図３および図４に挙げ、それぞれの例について、以降に詳細に示す。
【００１９】
図３に本発明の実施形態例である、フレームレートを落として、一定レートとして無効画像を除去する動作について説明する。
まず、１フレーム後に無効画像となるコマンドの制御例について説明する。
図３は、上位プログラムから受け取ったコマンドを処理することで、次のフレームが無効画像となる場合の制御例である。
時刻ｔ１〜ｔ４、時刻ｔ７〜ｔ１０、時刻ｔ１３〜ｔ１６、・・・で“Ｈ”レベルのマスク信号が発生している（図２（Ｃ））。それに応じて、時刻ｔ２〜ｔ３、時刻ｔ８〜ｔ９、時刻ｔ１４〜ｔ１５、・・・の期間は垂直同期信号がマスク信号により除去されている。
その結果、垂直同期信号は時刻ｔ５〜ｔ６、時刻ｔ１１〜ｔ１２、時刻ｔ１７〜ｔ１８、・・・で発生していて（図２（Ｄ））、フレームレートはα／２［ＦＰＳ］（ここでαは１秒間のフレーム数；フレーム／秒）で通常の１／２となっている。
【００２０】
例えばＣＰＵ同期信号（図２（Ａ））期間の矢印で示した時刻に、カメラシステムの通信手段ＩＩＣバスやＵＡＲＴ通信手段により外部からマイクロコンピュータ１８へ、イメージセンサに関する画像の上下反転出力のコマンドやセンサのタイミング変更のコマンドが設定されたことを知らせるコマンドが入力されたとする。
上述したイメージセンサで画像の上下反転動作やセンサの動作タイミング変更により画像が乱れるなどの無効画像が発生することがある。
時刻ｔ１〜ｔ４の期間にコマンドが入力されたので、このコマンド処理は通常次ぎのＣＰＵ同期期間（時刻ｔ４〜ｔ７）で行われる。この場合、次ぎのフレーム（時刻ｔ７〜ｔ１０）が無効画像となるため、コマンドに応じた処理は時刻ｔ４〜ｔ７の「垂直同期信号を間引かないフレーム」で行えば良いことが分かる。
図３で示すコマンドのうち、コマンド１のコマンドに応じた処理は、無効画像出力タイミングが時刻ｔ８〜ｔ１０に合っているので、タイミングをずらす必要は無い。
その結果、時刻ｔ８〜ｔ９の垂直同期信号（図２（Ｄ））が図２（Ｃ）に示す時刻ｔ７〜ｔ１０のマスク信号により除去され、従来出力される無効画像は間引かれる。
したがって、図１の同期信号出力（端子）から垂直同期信号が間引かれるので、後段（不図示）のシステム回路やそこで処理された画像信号を表示する画像表示装置には、この無効画像信号は表示されない。
しかし時刻ｔ１０からｔ１３の期間内の時刻ｔ１１〜ｔ１２の期間垂直同期信号が発生しているので、画像が出力される。ただしこの期間は、有効画像が出力される期間であり、無効画像は出力されない。
このように、フレームレートを落として、従来の有効画像を出力するフレーム期間に無効画像除去のためのコマンドが実行されるようにして１フレーム後に無効画像を出力するようにし、かつこの期間をマスクしているので無効画像は間引かれる。
その結果、後段のシステムに無効画像は出力されないので、システムに接続された画像表示部（不図示）では表示されない。
【００２１】
さらに、コマンド実行後１フレーム後に無効画像が出力される他の実施形態例について説明する。
いま仮に、コマンド２がＣＰＵ同期信号の時刻ｔ１０〜ｔ１３の期間に供給されたとする。
コマンド２はフレームの時刻ｔ１３〜ｔ１６のフレームで行われることになっているが、このフレーム期間でコマンド処理が行われると、時刻ｔ１６〜ｔ１９に無効画像が出力されることになり、本来有効画像（信号）出力期間であるので問題を生じる。
これを解消するため、１フレーム実行を遅らせて次のフレーム（時刻ｔ１６〜ｔ１９）期間で実行するようにして、無効画像を合わせこんでいる。
即ち、時刻ｔ１６〜ｔ１９の期間にコマンドに応じた処理を行い、時刻ｔ１９〜のフレーム期間に無効画像が出力されるようにするが、マスク信号が“Ｈ”レベルで垂直同期信号が除去されて存在しないので、この無効画像は間引かれる（図２（Ｄ））。
したがって、コマンドが無効画像出力に対応する垂直同期期間または有効画像出力に対応する期間のいずれの期間に入力されても、制御プログラムにより、コマンド処理の処理タイミングをずらしたりして、次のフレームの垂直同期信号がマスクされた無効画像出力期間に出力されるようにしている。
そして無効画像出力期間をマスクしているので、信号処理回路から無効画像を出力しても後段の画像表示部（不図示）にはこの無効画像は表示されない。
また上述した実施形態例は、カメラモジュールの画像信号処理最終段（出力制御部１６）で制御されるため、マイクロコンピュータが制御する自動露光制御および自動ホワイトバランス制御の自動制御に影響を与えない。
【００２２】
次ぎに、コマンドが実行されてから２フレーム後に無効画像となるコマンドの制御に関する他の実施形態例の信号処理回路及びそれを用いた画像表示装置とそのカメラシステムについて図４を用いて説明する。
図４は、上位プログラムから受け取ったコマンドを処理することで、２フレーム後の画像が無効画像（出力期間）となる場合の制御例である。基本的に図３の実施形態例と同様であるが、２フレーム後に無効画像が出力されるため、コマンド入力位置が「垂直同期信号を間引くフレーム」か「垂直同期信号を間引かないフレーム」により、コマンド実行フレーム位置が異なる。
【００２３】
例えばＣＰＵ同期信号期間（時刻ｔ０以前のフレーム）に、カメラシステムの通信手段ＩＩＣバスやＵＡＲＴ通信手段により外部からマイクロコンピュータ１８へ無効画像が発生するコマンドが入力されたとする。
コマンド１Ａは時刻ｔ０以前にコマンドが入力されたので、コマンドに応じた処理は時刻ｔ１〜ｔ４の垂直同期信号を間引くフレームで行っている（図４）。
これに対して、コマンド２Ａは時刻ｔ７〜ｔ１０の期間（無効画像出力期間）に入力されているので、次のフレーム時刻ｔ１０〜ｔ１３の期間にコマンドに応じた処理が行われると、２フレーム後に出力されるので、時刻ｔ１６〜ｔ１８の期間の有効画素出力期間に無効画像が出力されてしまい、本来有効画像と同時に出力され問題を生じる。
これを避けるため、無効画像出力期間に無効画像を出力するようにするにはコマンド実行期間を変更する必要がある。
図４で示すコマンドのうち、コマンド１Ａは垂直同期信号を間引かないフレーム（〜時刻ｔ０で実行されるため、コマンドの実行は上述したように、時刻ｔ１〜ｔ４の期間に行われる。
その結果、２フレーム後の時刻ｔ６〜ｔ１２内の時刻ｔ７〜ｔ１０期間に無効画像が出力されるが、この期間はマスク信号が時刻ｔ７〜ｔ１０で“Ｈ”レベルとなって、垂直同期信号をマスクしているので、図１の同期信号出力（端子）から垂直同期信号が間引かれる。
その結果、この無効画像出力期間にコマンド実行された無効画像は図１に示す画像出力（端子）から垂直同期信号が“Ｈ”レベルの有効期間内では出力されない。
即ち、フレームレートを落として、かつ２フレーム後に無効画像を出力するため、コマンドに応じた処理の実行時間（フレーム期間）のタイミングを予め設定した。
その結果、２フレーム後に無効画像を出力し無効画像期間に合わせ、無効画像が出力されないようにした。さらに、後段のシステムに無効画像は出力されないので、システムに接続された画像表示部（不図示）では表示されない。
【００２４】
さらに、コマンド実行後２フレーム後に無効画像が出力される他の実施形態例について説明する。
いま仮に、コマンド２ＡがＣＰＵ同期信号の時刻ｔ７〜ｔ１０の期間に供給されたとする。
コマンド２Ａはフレームの時刻ｔ１０〜ｔ１３のフレームで行われることになっているが、このフレーム期間でコマンド２Ａを実行させると、２フレーム後の時刻ｔ１６〜ｔ１９は垂直同期信号を間引かないフレーム（時刻ｔ１６〜ｔ１９）の有効画素出力期間となっているので、問題を生じる。
そこで、コマンドに応じた処理をさらに１フレーム遅らせて、垂直同期信号を間引くフレーム（時刻ｔ１３〜ｔ１６）で実行することで、無効画像出力タイミングを合わせこんでいる。
即ち、時刻ｔ１０〜ｔ１３の期間に行っていたコマンド処理を、１フレームずらして時刻ｔ１３〜ｔ１６の期間に行う。
このコマンド処理が終わると、２フレーム後の時刻ｔ１９〜のフレーム期間に無効画像が出力されるが、マスク信号が“Ｈ”レベルで垂直同期信号が除去されて“Ｌ”レベルなので、この無効画像は画像出力（端子）から有効画像としては出力されない（図４（Ｄ））。その結果、後段のシステムに無効画像は出力されないので、システムに接続された表示部（不図示）では表示されない。
したがって、コマンドが無効画像出力に対応する垂直同期期間または有効画像出力に対応する期間のいずれの期間に入力されても、制御プログラムにより、コマンドに応じた処理のタイミングを調整して、２フレーム後の垂直同期信号がマスクされた無効画像（信号）出力期間に出力されるようにし、無効画像信号を出力しないようにしている。
また上述した実施形態例は、カメラモジュールの画像信号処理最終段で制御されるため、マイクロコンピュータが制御する自動露光制御および自動ホワイトバランス制御の自動制御に影響を与えない。
【００２５】
なお、図３、図４の実施形態例はあくまでも本発明の実施形態例で、間引く必要のある無効画像の枚数、および画像を間引くタイミングに関しては特に規定しない。
また例としてセンサの無効画像が発生する要因をカメラモジュールの上位プログラムからのコマンドをトリガーとして説明を行ったが、これは通常のカメラ自動制御プログラムにおいてセンサの無効画像が出力されてしまう場合（例えば、電子シャッタの設定値による制限など）にも適用することが可能である。
また、上述したように、本発明で説明に使用した無効画像は、主にイメージセンサの無効画像を示していたが、これは例えばメカシャッタやレンズなどカメラモジュールを構成する周辺機器のどれに当てはめてもよく、イメージセンサに限定したものではない。
【００２６】
以上述べたように、本発明は、垂直同期信号の出力を制御することによって無効画像を間引くシステムにおいて、非同期に無効画像を発生させることなく、動画記録に必要とされる一定のフレームレートを実現することができる。
また、簡単な制御でフレームレートを一定に保ちつつ無効画像を間引くことが出来るので、カメラモジュールの後段のシステムで無効画像を判断／処理する制御を必要とせず、安価に実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明の実施形態例である信号処理回路とそれを用いた画像表示装置とそのカメラシステムの全体ブロック構成を示す図である。
【図２】図１に示した信号処理回路とそれを用いた画像表示装置とそのカメラシステムの基本動作を説明するためのタイミングチャートである。
【図３】図１に示した信号処理回路とそれを用いた画像表示装置とそのカメラシステムの動作を説明するためのタイミングチャートである。
【図４】図１に示した信号処理回路とそれを用いた画像表示装置とそのカメラシステムの他の動作を説明するためのタイミングチャートである。
【図５】従来の画像処理の動作を説明するためのタイミングチャートである。
【符号の説明】
【００２８】
１０…信号処理回路とそれを用いた画像表示装置、１１…イメージセンサ、１２…カメラ信号処理回路、１３…分離回路、１４…輝度系制御部、１５…クロマ系制御部、１６…出力制御部、１７…不揮発性メモリ、１８…マイクロコンピュータ（ＣＰＵ）、１８…ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；マイクロコンピュータ）、１９…ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、２０…ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）。
【図１】
2006270529.tif 000003
【図２】
2006270529.tif 000004
【図３】
2006270529.tif 000005
【図４】
2006270529.tif 000006
【図５】
2006270529.tif 000007