(57)【要約】【課題】イメージセンサを用いたカメラシステムにおいて、フォーカルプレーン方式のイメージセンサはライン毎に読み出し時間が異なるため、動体の被写体を撮影時に歪んだ画像になる。【解決手段】Ｘ−Ｙアドレス方式の撮像部１０１と、撮像部をＸ−Ｙアドレス方式により走査する水平走査部１０２および垂直走査部１０３と、主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って水平走査部および垂直走査部を制御する主走査方向制御部１０５と、水平走査部および垂直走査部によって撮像部を走査した結果読み出された画像信号を出力する出力部１０４とを備える。さらに、イメージセンサにおける撮像部の主走査方向を制御する機能を有するとともに、出力部から入力した画像信号の信号処理結果を一時記憶するメモリを有する信号処理回路２００を備える。【選択図】図１
2006054788.tif 000002
【特許請求の範囲】
【請求項１】
Ｘ−Ｙアドレス方式の撮像部と、
前記撮像部をＸ−Ｙアドレス方式により走査する水平走査部および垂直走査部と、
主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って前記水平走査部および前記垂直走査部を制御する主走査方向制御部と、
前記水平走査部および前記垂直走査部によって前記撮像部を走査した結果読み出された画像信号を出力する出力部と、
を備えたイメージセンサ。
【請求項２】
前記撮像部は、入射光を光電変換する光電変換素子と、前記光電変換素子で得られた撮像信号を読み出す読み出し部と、前記光電変換素子をリセットするリセット部とで構成される単位画素を縦横マトリクス状に配列したものである請求項１に記載のイメージセンサ。
【請求項３】
前記主走査方向制御信号は、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて生成されるものである請求項１または請求項２に記載のイメージセンサ。
【請求項４】
請求項１から請求項３までのいずれかに記載のイメージセンサと、
前記イメージセンサにおける前記撮像部の主走査方向を制御する機能を有するとともに、前記出力部から入力した画像信号の信号処理結果を一時記憶するメモリを有する信号処理回路と
を備えたカメラシステム。
【請求項５】
前記信号処理回路は、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて前記主走査方向制御信号を生成し、前記イメージセンサの主走査方向制御部に送出するように構成されている請求項４に記載のカメラシステム。
【請求項６】
前記信号処理回路は、前記画像信号に基づいて生成された被写体の動きベクトルに応じて前記主走査方向制御信号を生成し、生成した前記主走査方向制御信号に基づいて前記撮像部の主走査方向を制御し、前記主走査方向を切り替えた場合は画像データを前記メモリに一時記憶し、前記メモリから画像データを読み出すときに画像方向を縦横変更するように構成されている請求項４または請求項５に記載のカメラシステム。
【請求項７】
前記信号処理回路は、前記主走査方向制御信号の生成が外部入力信号の入力時に有効化され、生成した前記主走査方向制御信号に基づいて前記撮像部の主走査方向を制御し、前記主走査方向を切り替えた場合は画像データを前記メモリに一時記憶し、前記メモリから画像データを読み出すときに画像方向を縦横変更するように構成されている請求項４または請求項５に記載のカメラシステム。
【請求項８】
前記外部入力信号は、前記イメージセンサを含むレンズユニットの回転を示す信号である請求項７に記載のカメラシステム。
【請求項９】
前記外部入力信号は、シャッタを押したことを示す信号である請求項７に記載のカメラシステム。
【請求項１０】
前記外部入力信号は、手ぶれ検出信号である請求項７に記載のカメラシステム。
【請求項１１】
前記外部入力信号は、動画符号量の規定値超過検出信号である請求項７に記載のカメラシステム。
【請求項１２】
前記外部入力信号は、キズ補正方向の変更信号である請求項７に記載のカメラシステム。
【請求項１３】
イメージセンサを含む回転可能なレンズユニットと、
前記イメージセンサの出力部からの画像信号に基づいて生成された被写体の動きベクトルに応じてレンズユニット回転制御信号を生成し、生成した前記レンズユニット回転制御信号に基づいて前記レンズユニットを回転制御する信号処理回路と
を備えたカメラシステム。
【請求項１４】
イメージセンサを含む回転可能なレンズユニットと、
外部入力信号に応じてレンズユニット回転制御信号を生成し、生成した前記レンズユニット回転制御信号に基づいて前記レンズユニットを回転制御する信号処理回路と
を備えたカメラシステム。
【請求項１５】
前記外部入力信号は、シャッタを押したことを示す信号である請求項１４に記載のカメラシステム。
【請求項１６】
前記外部入力信号は、手ぶれ検出信号である請求項１４に記載のカメラシステム。
【請求項１７】
前記外部入力信号は、動画符号量の規定値超過検出信号である請求項１４に記載のカメラシステム。
【請求項１８】
前記外部入力信号は、キズ補正方向の変更信号である請求項１４に記載のカメラシステム。
【請求項１９】
前記信号処理回路は、動画撮影時に時間的冗長性を利用してフレーム間の差分を符号化するインター符号化を実施している状態で、撮像部の主走査方向の切り替えが発生したときは、空間的冗長性を利用して符号化するイントラ符号化に切り替えることを特徴とする請求項４に記載のカメラシステム。
【請求項２０】
前記信号処理回路は、前記主走査方向の切り替えが発生したときは、少なくとも１フレームの間は主走査方向制御信号の有効化を停止する請求項１９に記載のカメラシステム。
【請求項２１】
前記信号処理回路は、動画撮影時に時間的冗長性を利用してフレーム間の差分を符号化するインター符号化を実施している状態で、前記イメージセンサを含むレンズユニットの回転が発生したときは、空間的冗長性を利用して符号化するイントラ符号化に切り替えることを特徴とする請求項１３に記載のカメラシステム。
【請求項２２】
前記信号処理回路は、前記レンズユニットの回転が発生したときは、少なくとも１フレームの間はレンズユニット回転制御信号の有効化を停止する請求項２１に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、イメージセンサ、および、イメージセンサの出力信号を信号処理して画像を出力するカメラシステムに関するものである。
【背景技術】
【０００２】
ＣＣＤ(Charge Coupled Device)イメージセンサに比べてノイズが大きいとされてきたＭＯＳ（MetalOxide Semiconductor）イメージセンサは、技術進歩によりノイズ面が改善されてきている。ＭＯＳイメージセンサは、単一チップ上に集積可能で、小型化および高集積化が容易である。その上、２．９Ｖなどの単一電源での駆動が可能であり、さらに、ＣＣＤイメージセンサに比べて低消費電力である。そのため、カメラ付き携帯電話に代表されるようなモバイル機器への採用が増えている。
【０００３】
図８は、従来のイメージセンサを用いたカメラシステムを示す。図８において、１００はフォーカルプレーンシャッタ方式のイメージセンサであって、Ｘ−Ｙアドレス方式で走査する撮像部（エリアセンサ）１０１と、Ｘ−Ｙアドレス方式に従って撮像部１０１を水平方向に走査する水平走査部１０２と、垂直方向に走査する垂直走査部１０３と、水平走査部１０２および垂直走査部１０３によって撮像部１０１を走査した結果読み出された画像信号を出力する出力部１０４とを具備している。撮像部１０１は、入射光を光電変換するための光電変換素子と、その光電変換素子で得られた撮像信号を読み出す読み出し部と、光電変換素子をリセットするリセット部とで構成される単位画素を縦横マトリクス状に配列した構成となっている。
【０００４】
また、２００は信号処理回路（ＤＳＰ）であって、システムを管理するＣＰＵ２０１と、ＣＰＵ２０１からの駆動制御によってイメージセンサ１００を駆動制御するための制御信号（センサ駆動パルス）Ｓｃを出力するタイミングジェネレータ（ＴＧ）２０２と、イメージセンサ１００から出力されてくる画像信号ＳｏのサンプリングおよびＡＤ変換を行うＡＦＥ（アナログフロントエンド）２０３と、ＡＦＥ２０３から出力されるデジタル信号に対してＣＰＵ２０１の指示に従ってメモリ２０４を用いて信号処理を行う信号処理部２０５と、信号処理部２０５で得られた画像データを記憶するメモリ２０４と、信号処理部２０５で処理された信号を外部出力するＩ／Ｆ（interface）部２０６と、ＣＰＵ２０１の指示に従ってメモリ２０４を制御するメモリコントロール部２０７とを具備している。
【０００５】
イメージセンサ１００における撮像部１０１をＸ−Ｙアドレス方式により走査する水平走査部１０２および垂直走査部１０３は、信号処理回路２００におけるタイミングジェネレータ２０２からの制御信号Ｓｃによって駆動される。
【０００６】
図９は、図８のカメラシステムで撮像した被写体の動きを示す。ＭＯＳイメージセンサのようなフォーカルプレーンシャッタ方式のイメージセンサにおいては、ライン毎に受光時間が異なる（フォーカルプレーン蓄積）。すなわち、ＭＯＳイメージセンサの場合の“蓄積の同時性”がない。その結果、特に被写体の動きの方向が撮像部の主走査方向と同方向（平行または反平行）にある場合に、画像歪みを生じる可能性が高い。これは、フォーカルプレーンシャッタ方式のイメージセンサに特有の現象である。
【０００７】
図９（ａ）〜図９（ｃ）は被写体の水平右方向移動時の様子を示す。図９（ａ）に示すＢ１はＮフレーム目での被写体、図９（ｂ）に示すＢ２はＮフレーム目に続くＮ＋１フレーム目での被写体である。つまり、被写体Ｂ１がＢ２のように右方向に移動したことを表している。
【０００８】
図９（ｃ）は、図９（ａ）から図９（ｂ）にかけてのように右方向に移動した被写体を撮影し、イメージセンサ１００を水平方向に読み出したときの出力画像Ｂ３を示す。左上から右下に流れるような画像歪みとなっている。
【０００９】
図９（ｄ）〜図９（ｆ）は被写体の水平左方向移動時の様子を示す。図９（ｄ）に示すＢ４はＮフレーム目での被写体、図９（ｅ）に示すＢ５はＮ＋１フレーム目での被写体である。つまり、被写体Ｂ４がＢ５のように左方向に移動したことを表している。
【００１０】
図９（ｆ）は、図９（ｄ）から図９（ｅ）にかけてのように左方向に移動した被写体を撮影し、イメージセンサ１００を水平方向に読み出したときの出力画像Ｂ６を示す。右上から左下に流れるような画像歪みとなっている。
【００１１】
上記の被写体の移動とは別に、手ぶれに対する動き検出を行い、ＭＯＳイメージセンサ（イメージセンサ）の読み出し位置を算出して、読み出し位置を変更するような取り組みも行われている（例えば、特許文献１参照）。
【特許文献１】特開２００１−３５８９９９号公報（第４頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【００１２】
上記のように、ＣＣＤのような電荷転送型のイメージセンサの場合は、全画素を同一期間で受光した画像信号が順番に転送されて読み出されることから、画素毎の受光期間の時間差は発生しない（蓄積の同時性）。これに対して、ＭＯＳイメージセンサのようなＸ−Ｙアドレス方式の撮像部をもったイメージセンサの場合は、通常、１ライン単位で画像情報を読み出すフォーカルプレーンシャッタ方式となっている。そのため、ラインごとに受光時間のズレが発生し、歪んだ画像になることがある。
【００１３】
この対策として、例えば各画素の受光時間を短くする方法が提案されている。しかし、ライン間で歪みが生じることは避けられない。
【００１４】
また、特許文献１では、動き検出に基づいた画素単位の読み出しアドレスの制御により、手ぶれによる歪みの補正を行うようにしている。しかし、ＭＯＳイメージセンサのライン単位での制御が複雑なものとなる上に、ＭＯＳイメージセンサの構造も複雑になる。
【００１５】
さらに、カメラ付き携帯電話に代表されるようなモバイル機器には、レンズユニットが回転する方式のものがあるが、この方式には特許文献１の方法だけでは対応困難である。
【００１６】
また、蓄積の同時性を図るグローバルシャッタ型のＭＯＳイメージセンサもある。しかし、これは構造が複雑で、現状ではモバイル機器への採用は難しい。
【００１７】
また、メカシャッタによって受光時間を合わせる方法もある。しかし、レンズ部の高さが高くなる上に、メカシャッタ制御が必要となり、レンズ部のコストアップを招く。したがって、モバイル機器には適さない。
【課題を解決するための手段】
【００１８】
本発明によるイメージセンサは、
Ｘ−Ｙアドレス方式の撮像部と、
前記撮像部をＸ−Ｙアドレス方式により走査する水平走査部および垂直走査部と、
主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って前記水平走査部および前記垂直走査部を制御する主走査方向制御部と、
前記水平走査部および前記垂直走査部によって前記撮像部を走査した結果読み出された画像信号を出力する出力部と、
を備えた構成とされている。
【００１９】
この構成によれば、処理画像データ中の被写体の動き方向が主走査方向と一致するとき（平行または反平行時）は、主走査方向制御信号を主走査方向制御部に与えることによって、被写体動き方向に対して一致しなくなる方向に主走査方向を切り替える。例えば、主走査方向を水平方向としているときの被写体動き方向が同じく水平方向であるときは、主走査方向を水平方向から垂直方向に切り替える。すなわち、主走査部を水平走査部から垂直走査部に切り替えるとともに、副走査部を垂直走査部から水平走査部に切り替える。また、上記とは逆に、主走査方向を垂直方向としているときの被写体動き方向が同じく垂直方向であるときは、主走査方向を垂直方向から水平方向に切り替える。すなわち、主走査部を垂直走査部から水平走査部に切り替えるとともに、副走査部を水平走査部から垂直走査部に切り替える。このようにして撮像部（エリアセンサ）を主走査・副走査し、得られた画像信号を出力部を介して出力する。このように本発明のイメージセンサによれば、フォーカルプレーンシャッタ方式の走査線単位同時読み出しであっても、撮像部の主走査方向を被写体の動きに応じて適切に切り替えることによって、フォーカルプレーンシャッタ特有の歪んだ画像を改善し、歪みのない画像を得ることができる。
【００２０】
上記構成のイメージセンサにおいて、前記撮像部としては、入射光を光電変換する光電変換素子と、前記光電変換素子で得られた撮像信号を読み出す読み出し部と、前記光電変換素子をリセットするリセット部とで構成される単位画素を縦横マトリクス状に配列したものが好ましい。これの代表例に、ＭＯＳイメージセンサがある。
【００２１】
また、上記構成のイメージセンサにおいて、前記主走査方向制御信号については、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて生成されたものを利用することが好ましい。
【００２２】
また、本発明によるカメラシステムは、
上記のように構成されたイメージセンサと、
前記イメージセンサにおける前記撮像部の主走査方向を制御する機能を有するとともに、前記出力部から入力した画像信号の信号処理結果を一時記憶するメモリを有する信号処理回路と
を備えた構成とされている。
【００２３】
この構成においては、主走査方向を切り替えた場合は信号処理結果である画像データをメモリに一時記憶し、メモリから画像データを読み出すときに画像方向を変更し、元に戻す。上記と同様に、イメージセンサがフォーカルプレーンシャッタ方式ゆえに走査線単位同時読み出しを行うものであっても、撮像部の主走査方向を被写体の動きに応じて適切に切り替えることによって、フォーカルプレーンシャッタ特有の歪んだ画像を改善し、歪みのない画像を得るカメラシステムを実現できる。
【００２４】
上記構成のカメラシステムにおいて、前記信号処理回路については、前記出力部からの前記画像信号に基づいて生成された被写体の動きベクトルに応じて前記主走査方向制御信号を生成し、前記イメージセンサの主走査方向制御部に送出するように構成されているものが好ましい。
【００２５】
また、上記構成のカメラシステムにおいて、前記信号処理回路については、前記画像信号に基づいて生成された被写体の動きベクトルに応じて前記主走査方向制御信号を生成し、生成した前記主走査方向制御信号に基づいて前記撮像部の主走査方向を制御し、前記主走査方向を切り替えた場合は画像データを前記メモリに一時記憶し、前記メモリから画像データを読み出すときに画像方向を縦横変更するように構成されているものが好ましい。
【００２６】
あるいは、上記構成のカメラシステムにおいて、前記信号処理回路については、前記主走査方向制御信号の生成が外部入力信号の入力時に有効化され、生成した前記主走査方向制御信号に基づいて前記撮像部の主走査方向を制御し、前記主走査方向を切り替えた場合は画像データを前記メモリに一時記憶し、前記メモリから画像データを読み出すときに画像方向を縦横変更するように構成されているものが好ましい。外部入力信号の入力がないときには主走査方向制御の動作を行わないので、消費電力の増大を抑制することができる。メモリかあは縦横変更して読み出すので、得られる画像の向きは正規のものとなる。
【００２７】
上記の外部入力信号については、次のようないくつかの種類がある。
【００２８】
前記イメージセンサを含むレンズユニットの回転（回転位相の変更）を示す信号を外部入力信号としてもよい。
【００２９】
シャッタを押したことを示す信号を外部入力信号としてもよいし、手ぶれ検出信号を外部入力信号としてもよい。ＤＳＣ（デジタルスチルカメラ）のように、イメージセンサを含むカメラ本体に対するシャッタ押しの手ぶれやその他の振動を検知し、その検知結果に応じて撮像部の主走査方向を制御する。これによって、フォーカルプレーンシャッタ特有の画像歪みを改善できる。
【００３０】
また、動画符号量の規定値超過検出信号を外部入力信号としてもよい。動画像データの記録や通信において、容量削減のための動画符号化を行う。動画符号量が過剰に多い場合は画像の歪みが発生している可能性がある。そこで、動画符号量を検知し、その検知結果に応じて撮像部の主走査方向を制御する。これによって、フォーカルプレーンシャッタ特有の画像歪みを改善できる。
【００３１】
また、キズ補正方向の変更信号を外部入力信号としてもよい。プロセス上の画素欠陥などに起因して、撮像部に白キズや黒キズが発生する場合がある。これに対応するためのキズ補正回路が搭載される。キズ補正の効果は縦横で異なることがある。そこで、必要に応じて、ユーザー操作によりキズ補正方向の変更を行う。このキズ補正方向変更信号を外部入力信号としてに与える。キズが目立つ場合は、撮像部の主走査方向を制御してキズ補正を行うことにより画質を向上させることが可能となる。
【００３２】
ところで、主走査方向制御信号に従って水平走査部および垂直走査部を制御する主走査方向制御部をもたないタイプのイメージセンサを備えるカメラシステムの場合には、次のような展開も可能である。
【００３３】
すなわち、
イメージセンサを含む回転可能なレンズユニットと、
前記イメージセンサの出力部からの画像信号に基づいて生成された被写体の動きベクトルに応じてレンズユニット回転制御信号を生成し、生成した前記レンズユニット回転制御信号に基づいて前記レンズユニットを回転制御する信号処理回路と
を備えたカメラシステムである。
【００３４】
あるいは、
イメージセンサを含む回転可能なレンズユニットと、
外部入力信号に応じてレンズユニット回転制御信号を生成し、生成した前記レンズユニット回転制御信号に基づいて前記レンズユニットを回転制御する信号処理回路と
を備えたカメラシステムである。
【００３５】
上記の外部入力信号については、次のようないくつかの種類がある。
【００３６】
シャッタを押したことを示す信号を外部入力信号としてもよいし、手ぶれ検出信号を外部入力信号としてもよい。また、動画符号量の規定値超過検出信号を外部入力信号としてもよい。あるいは、キズ補正方向の変更信号を外部入力信号としてもよい。
【００３７】
処理画像データ中の被写体の動き方向が主走査方向と一致するとき（平行または反平行時）は、レンズユニット回転制御信号をレンズユニットの回転制御部に与えることによって、処理画像データ中の被写体動き方向ではなく実際の被写体の動き方向に対して撮像部の主走査方向が一致しない方向となるようにレンズユニット自体を回転制御する。主走査方向自体の切り替えは行わない。撮像部の主走査方向は一般に水平方向である。そこで例えば、実際の被写体が水平方向に移動しているときは、レンズユニットを回転させる。その結果として、処理画像データ中の被写体動き方向は主走査方向とは一致しなくなる。したがって、イメージセンサがフォーカルプレーンシャッタ方式ゆえに走査線単位同時読み出しを行うものであっても、レンズユニットの回転位相を被写体の動きに応じて適切に変更することによって、フォーカルプレーンシャッタ特有の歪んだ画像を改善し、歪みのない画像を得るカメラシステムを実現できる。この場合、イメージセンサを含むレンズユニットの回転で対応しており、撮像部の主走査方向を切り替えるのではないから、メモリを用いた画像出力方向の調整の必要がなくなる。
【００３８】
上記構成の主走査方向寿命延長方式のカメラシステムにおいて、前記信号処理回路については、動画撮影時に時間的冗長性を利用してフレーム間の差分を符号化するインター符号化を実施している状態で、撮像部の主走査方向の切り替えが発生したときは、空間的冗長性を利用して符号化するイントラ符号化に切り替えることが好ましい。その場合に、前記主走査方向の切り替えが発生したときは、少なくとも１フレームの間は主走査方向制御信号の有効化を停止することが好ましい。
【００３９】
また、上記構成のレンズユニット回転方式のカメラシステムにおいて、前記信号処理回路については、動画撮影時に時間的冗長性を利用してフレーム間の差分を符号化するインター符号化を実施している状態で、前記イメージセンサを含むレンズユニットの回転が発生したときは、空間的冗長性を利用して符号化するイントラ符号化に切り替えることが好ましい。その場合に、前記レンズユニットの回転が発生したときは、少なくとも１フレームの間はレンズユニット回転制御信号の有効化を停止することが好ましい。
【００４０】
撮像部の主走査方向変更またはレンズユニットの回転によって、動画像符号化におけるフレーム間の時間的冗長性の関係が乱れる可能性がある。そのような場合は、フレーム間の差分を符号化しないイントラ符号化を実施するように制御する。これによって、動画符号化を実施する際も画像を乱すことなく、歪んだ画像の発生を抑制できる。また、主走査方向変更、レンズユニットの回転を頻繁に行うことは、出力画像の乱れを生じさせる可能性があるので、フレーム単位で管理して制御するのがよい。
【発明の効果】
【００４１】
本発明によれば、フォーカルプレーンシャッタ方式のイメージセンサにおける走査線単位同時読み出しであっても、被写体の動きに応じて撮像部の主走査方向を切り替え、またはレンズユニットを回転することによって、フォーカルプレーンシャッタ特有の現象である歪んだ画像を抑制できる。
【００４２】
また、手ぶれやキズ補正の効果の向上にも有効である。さらには、ＭＰＥＧなどの動画符号化を含んだカメラシステムにおいてもフォーカルプレーンシャッタ方式のイメージセンサに特有の画像歪みによる符号量増加を抑制する効果をもたらす。メカシャッタ等の機構も不要であり、構造の簡素化を図りつつローコストでのシステム設計が可能である。したがって、携帯電話等のモバイルカメラシステムに適している。
【発明を実施するための最良の形態】
【００４３】
以下、本発明の実施の形態について図面を参照して説明する。なお、各図において、メモリやタイミングジェネレータ、ＡＦＥが信号処理回路（ＤＳＰ）内にあるように記載しているが、信号処理回路の外部にある構成でも構わない。
【００４４】
（実施の形態１）
図１は、本発明の実施の形態１におけるカメラシステムの構成を示すブロック図である。このカメラシステムは、イメージセンサ１００と信号処理回路２００から構成されている。
【００４５】
図１において、１００はフォーカルプレーンシャッタ方式のイメージセンサであって、Ｘ−Ｙアドレス方式で走査する撮像部（エリアセンサ）１０１と、Ｘ−Ｙアドレス方式に従って撮像部１０１を水平方向に走査する水平走査部１０２と、垂直方向に走査する垂直走査部１０３と、水平走査部１０２および垂直走査部１０３によって撮像部１０１を走査した結果読み出された画像信号を出力する出力部１０４と、主走査方向を水平方向とするか垂直方向とするかを決定する主走査方向制御信号に従って水平走査部１０２および垂直走査部１０３を制御する主走査方向制御部１０５とを具備している。撮像部１０１はＭＯＳイメージセンサで構成され、入射光を光電変換するための光電変換素子と、その光電変換素子で得られた撮像信号を読み出す読み出し部と、光電変換素子をリセットするリセット部とで構成される単位画素を縦横マトリクス状に配列した構成となっている。
【００４６】
また、信号処理回路２００はＤＳＰ（Digital Signal Processor）で構成されており、システムを管理するＣＰＵ２０１と、ＣＰＵ２０１からの駆動制御によってイメージセンサ１００を駆動制御するための制御信号（センサ駆動パルス）Ｓｃを出力するタイミングジェネレータ（ＴＧ）２０２と、イメージセンサ１００から出力されてくる画像信号ＳｏのサンプリングおよびＡＤ変換を行うＡＦＥ（アナログフロントエンド）２０３と、ＡＦＥ２０３から出力されるデジタル信号に対してＣＰＵ２０１の指示に従ってメモリ２０４を用いて信号処理を行う信号処理部２０５と、信号処理部２０５での信号処理のために画像データを一時記憶するメモリ２０４と、信号処理部２０５で処理された信号を外部出力するＩ／Ｆ（interface）部２０６と、ＣＰＵ２０１の指示に従ってメモリ２０４を制御するメモリコントロール部２０７と、信号処理部２０５の結果を用いて被写体の動き検出を行う動き検出部２０８とを具備している。
【００４７】
信号処理回路２００における動き検出部２０８は、信号処理部２０５の処理結果に基づいて被写体の動きを動きベクトルとして検出し、その結果をＣＰＵ２０１に与える。ＣＰＵ２０１は、与えられた被写体の動きベクトル情報に基づいてイメージセンサ１００における主走査方向を決定し、主走査方向制御信号をタイミングジェネレータ２０２を介してイメージセンサ１００に送出する。この主走査方向制御信号は制御信号Ｓｃとしてイメージセンサ１００に与えられる。
【００４８】
ＣＰＵ２０１は、現在の主走査方向と処理画像データ中の被写体動き方向とを比較し、両者が不一致であれば、主走査方向制御信号として現在の主走査方向を維持し、両者が一致するときは主走査方向制御信号として９０度変更の方向切り替えを行う。具体的には、現在の主走査方向が水平方向であるときに、処理画像データ中の被写体動き方向が水平方向であれば、９０度変換の垂直方向を主走査方向にすべきとする主走査方向制御信号を送出する。また、現在の主走査方向が垂直方向であるときに、処理画像データ中の被写体動き方向が垂直方向であれば、９０度変換の水平方向を主走査方向にすべきとする主走査方向制御信号を送出する。
【００４９】
イメージセンサ１００の主走査方向制御部１０５は、信号処理回路２００からの主走査方向制御信号に従って水平走査部１０２および垂直走査部１０３を制御し、主走査方向が主走査方向制御信号に従った方向となるようにする。
【００５０】
次に、以上のように構成された本実施の形態のカメラシステムの動作を説明する。
【００５１】
図２（ａ）の上側の図は、従来技術の場合の図９（ｃ）に相当する。これは、被写体が水平右方向に移動した場合の画像Ｂ３を示している。ここでの主走査方向は水平方向となっている。これに対して、本実施の形態の場合は、図２（ａ）の下側の図のようになる。
【００５２】
図２（ｂ）の上側の図は、従来技術の場合の図９（ｆ）に相当する。これは、被写体が水平左方向に移動した場合の画像Ｂ６を示している。ここでの主走査方向は水平方向となっている。これに対して、本実施の形態の場合は、図２（ｂ）の下側の図のようになる。
【００５３】
いま、静止画撮影時または動画撮影時に、ＣＰＵ２０１による主走査方向制御信号が水平方向を主走査方向とすべき通常モードにあるとする。この状態で被写体を撮影し、動き検出部２０８によって被写体の動きベクトルが水平の右方向または左方向であると検知されたとする。この場合、ＣＰＵ２０１は垂直方向を主走査方向とすべき主走査方向制御信号を生成し、タイミングジェネレータ２０２を介してイメージセンサ１００に送出する。その結果、主走査方向制御部１０５は、垂直走査部１０３による走査を主走査とし、水平走査部１０２による走査を副走査とするように、垂直走査部１０３および水平走査部１０２を制御する。これにより、図２（ａ），（ｂ）の下側の図に示すように、主走査方向を垂直方向とする状態で撮像部１０１が走査される。同時読み出しの方向が水平方向から垂直方向に切り替えられる。全ラインが同時読み出しされることになる。出力部１０４からの画像信号Ｓｏは通常に比べて縦横変換した信号となるが、信号処理回路２００における信号処理部２０５での信号処理の際に、メモリ２０４を用いて縦横逆変換を行う。すなわち、画像信号Ｓｏを信号処理した結果の画像データをそのままメモリ２０４に一時記憶させ、メモリ２０４から画像データを読み出すときに縦横変換して元に戻す。その結果、出力画像はＡ１，Ａ２のようになる。右方向移動の場合の画像Ａ１は若干幅広になり、左方向移動の場合の画像Ａ２は若干幅細になるが、いずれも、フォーカルプレーンシャッタ動作に起因する画像歪みは抑制されている。
【００５４】
以上のように本実施の形態によれば、主走査方向を切替可能なイメージセンサを用いたカメラシステムにおいて、撮像部の主走査方向と処理画像データ中の被写体動き方向との比較を通じて、両者が一致しているときに限り撮像部の主走査方向を切り替える制御を行うことにより、フォーカルプレーンシャッタ動作に起因する画像歪みの発生を抑制することができる。
【００５５】
（実施の形態２）
図３は、本発明の実施の形態２におけるカメラシステムの構成を示すブロック図である。
【００５６】
図１（実施の形態１）の構成において、外部入力信号ＤinがＣＰＵ２０１に入力されるようになっている。基本的な動作および被写体の動きベクトル情報による主走査方向の判断については、実施の形態１と同様とする。
【００５７】
＜レンズユニットが回転可能な場合＞
本実施例は、レンズユニットが機器本体に対して回転可能に装備されている機器に適用するものである。
【００５８】
例えば、携帯電話の中には、レンズユニット（カメラ部）が携帯電話本体に対して回転可能に構成されているものがある。レンズユニットには、イメージセンサまたはイメージセンサと信号処理回路（ＤＳＰ）が含まれている。
【００５９】
レンズユニットの回転角度によっては、被写体の動く方向が撮像部の主走査方向と同一となる場合があり、画像が歪む可能性がある。レンズユニットが回転したことを伝える信号を外部入力信号ＤinとしてＣＰＵ２０１に与える。
【００６０】
ＣＰＵ２０１は、レンズユニットの回転を示す外部入力信号Ｄinの入力があったときに動き検出部２０８をアクティブにし、動き検出部２０８による動き検出情報に基づく主走査方向制御を動作させる。
【００６１】
動き検出部２０８を常時的に動作状態（アクティブ状態）にしておくことは、消費電力の増大につながる。そこで、常時は動き検出部２０８をＯＦＦ状態にしておく。外部入力信号Ｄinがアクティブになったときに限って、動き検出部２０８を動作させるものとする。
【００６２】
いま、主走査方向が水平方向に設定されている状態で、処理画像データ中の被写体動き方向が主走査方向に対して同方向（平行または反平行）になっていないとする。そして、この状態からレンズユニットが９０度回転して被写体動き方向が主走査方向と同方向になったとする。このレンズユニットの回転に伴って外部入力信号Ｄinがアクティブとなり、ＣＰＵ２０１に入力される。ＣＰＵ２０１は動き検出部２０８をアクティブにする。すると、動き検出部２０８からの被写体の動き検出情報を受けたＣＰＵ２０１は、処理画像データ中の被写体動き方向と現在の主走査方向との異同を判断し、一致すれば、図２（ａ），（ｂ）の下側の図のように主走査方向を垂直方向に切り替える。これにより、レンズユニットの回転に即して、画像の歪みを抑制することができる。
【００６３】
＜シャッタの手ぶれ＞
シャッタスイッチを押して手ぶれが発生し、その手ぶれの方向が被写体の移動方向と同方向（平行または反平行）であった場合は、歪んだ画像となる可能性がある。シャッタスイッチを押したことを示す信号を外部入力信号ＤinとしてＣＰＵ２０１に与える。あるいは、手ぶれ検出信号を外部入力信号Ｄinとして与える。
【００６４】
ＣＰＵ２０１は、シャッタスイッチ信号／手ぶれ検出信号である外部入力信号Ｄinの入力があったときに動き検出部２０８をアクティブにし、動き検出部２０８による動き検出情報に基づく主走査方向制御を動作させる。これによって、手ぶれ発生時の画像の歪みを抑制することができる。
【００６５】
いま、主走査方向が垂直方向に設定されている状態で、処理画像データ中の被写体動き方向が主走査方向に対して同方向（平行または反平行）になっていないとする。そして、この状態からシャッタスイッチを押すことで被写体動き方向が主走査方向と同方向になったとする。このシャッタスイッチ押しに伴って外部入力信号Ｄinがアクティブとなり、ＣＰＵ２０１に入力される。ＣＰＵ２０１は動き検出部２０８をアクティブにする。すると、動き検出部２０８からの被写体の動き検出情報を受けたＣＰＵ２０１は、処理画像データ中の被写体動き方向と現在の主走査方向との異同を判断し、一致すれば、主走査方向を水平方向に切り替える。
【００６６】
＜動画符号量による判断＞
ＭＰＥＧなどの動画圧縮は、時間的冗長性を利用してフレーム間の差分を符号化する。歪みが発生している場合は、差分量が多くなり、必然的に動画符号量が増加する傾向にある。逆にいうと、動画符号量が一定以上に大きい場合は、画像歪みを生じている可能性がある。そこで、カウントした動画符号量を規定値と比較し、規定値より多いときに符号化量過剰信号を生成するようにし、この符号化量過剰信号を外部入力信号ＤinとしてＣＰＵ２０１に与える。
【００６７】
ＣＰＵ２０１は、符号化量過剰信号である外部入力信号Ｄinの入力があったときに動き検出部２０８をアクティブにし、動き検出部２０８による動き検出情報に基づく主走査方向制御を動作させる。これによって、動画符号量の過剰の場合に、画像の歪みを抑制することができる。
【００６８】
＜キズ補正方向変更による判断＞
イメージセンサ１００では、プロセス上の画素欠陥などに起因して、白キズや黒キズが発生する場合がある。これに対応するためのキズ補正回路を信号処理回路２００の信号処理部２０５に内蔵させたカメラシステムもある。キズ補正回路に様々なアルゴリズムがあり、縦横でキズ補正の効き具合が異なることがある。そこで、キズ補正の効きが悪い場合に、ユーザー操作によりキズ補正方向変更を行う。このキズ補正方向変更信号を外部入力信号ＤinとしてＣＰＵ２０１に与える。
【００６９】
ＣＰＵ２０１は、キズ補正方向変更信号である外部入力信号Ｄinの入力があったときに動き検出部２０８をアクティブにし、動き検出部２０８による動き検出情報に基づく主走査方向制御を動作させる。これによって、キズ補正の効きが悪い場合に、画像の歪みを抑制することができる。
【００７０】
なお、ＣＰＵ２０１は、主走査方向の切り替えの指令を出したときは、次のような制御を行う。ＡＦＥ２０３から出力されてくるキズ補正前のデータに対して、メモリ２０４を用いてキズ補正を行う。そして、メモリ２０４から読み出す際に縦横変換を行い、信号処理部２０５で画像信号処理を実施する。
【００７１】
実施の形態２における上記４つのケースをまとめた場合の汎用例の動作を示すフローチャートを図４に示す。
【００７２】
ステップＳ１からステップＳ４は、この順番である必要はない。また、ステップＳ１からステップＳ４の各事項は全部必要というわけではない。
【００７３】
さらに、ステップＳ１からステップＳ４の各事項において、ステップＳ５からステップＳ８のように動き検出部２０８にて検出された被写体の動き検出から画像が歪むという判断をＣＰＵ２０１で行っているが、これも省略可能である。ステップＳ１からステップＳ４の各事項が発生した場合は、常に、撮像部１０１の主走査方向を切り替える制御をＣＰＵ２０１で実施しても構わない。
【００７４】
したがって、様々な形態のカメラシステムにおいて、外部入力信号がアクティブなときに動き検出部を起動することを通じて主走査方向を適宜変えることにより、フォーカルプレーンシャッタ特有の歪んだ画像の発生を抑制できる。
【００７５】
（実施の形態３）
本発明の実施の形態３は、実施の形態１，２とは異なって、主走査方向の切り替え機能をもたないタイプのイメージセンサを搭載したカメラシステムについてのものである。すなわち、従来タイプのイメージセンサへの適用を配慮したものである。
【００７６】
図５は、本発明の実施の形態３におけるカメラシステムの構成を示すブロック図である。
【００７７】
イメージセンサ１００を含むレンズユニット３００は、レンズユニット回転制御部３０１を具備している。信号処理回路２００におけるＣＰＵ２０１からレンズユニット回転制御部３０１に対してレンズユニット回転制御信号ＳＬが出力され、これによって、レンズユニット３００を回転制御するように構成されている。イメージセンサ１００においては、実施の形態１，２の場合の主走査方向制御部１０５はない。ＣＰＵ２０１による主走査方向制御信号もない。
【００７８】
被写体を撮影し、動き検出部２０８によって被写体の動きベクトルが水平の右方向または左方向であると検知されたとする。この場合、ＣＰＵ２０１は、レンズユニット回転制御部３０１に対してレンズユニット回転制御信号ＳＬを出力する。その結果、レンズユニット回転制御信号ＳＬはレンズユニット３００を９０度回転する。主走査方向の切り替えは行われない。
【００７９】
これにより、処理画像データ中の被写体動き方向は主走査方向とは異なる方向に変更される。その結果、フォーカルプレーンシャッタ動作に起因する画像歪みは抑制される。
【００８０】
実施の形態１，２とは異なり、撮像部１０１の主走査方向を切り替える方式ではないので、メモリ２０４を用いた画像データの縦横変換を実施しなくてもよい。したがって、専用のメモリ２０４は無くとも構わない。メモリ２０４が元々実装されている場合においても、メモリコントロール部２０７とメモリ２０４を停止するように制御し、余分な消費電力をセーブすることも可能である。
【００８１】
なお、レンズユニット３００を回転させるには少なからず時間を要するが、例えば、シャッタスイッチを半押しにしてフォーカスを合わせるカメラシステム等において、フォーカスを合わせる時間内にレンズユニット３００を回転させるように構成すればよい。
【００８２】
なお、実施の形態２と同様に外部入力信号Ｄinを併用するようにしてもよい。
【００８３】
以上のように本実施の形態によれば、主走査方向の切り替え機能をもたないタイプのイメージセンサを用いたカメラシステムにおいても、イメージセンサを含むレンズユニットの回転制御を行うことによって、フォーカルプレーンシャッタ動作に起因する歪んだ画像の発生を抑制することができる。
【００８４】
（実施の形態４）
図６と図７は、本発明の実施の形態４におけるカメラシステムの構成の２例を示すブロック図である。これらは、実施の形態１〜３とは異なり、Ｉ／Ｆ部２０６ａに動画符号化回路を含んでいる。この動画符号化回路は、被写体の動きを検出する機能を有している。
【００８５】
実施の形態３でも説明したが、ＭＰＥＧなどの動画符号化は、時間的冗長性を利用するもので、フレーム間の差分を符号化する。そのため、撮像部１０１の主走査方向の切り替えやレンズユニット３００の回転を行うと、フレーム間の相関性を損なう可能性がある。フレーム間の相関性を損なえば、必然的にフレーム間の差分が増加するので、動画符号量の増加を招くことになる。
【００８６】
そこで、本実施の形態では、撮像部１０１の主走査方向の切り替えやレンズユニット３００の回転については、フレーム単位で実施することにする。撮像部１０１の主走査方向の切り替えやレンズユニット３００の回転を行うフレームにおいては、ＣＰＵ２０１から動画符号化回路を含むＩ／Ｆ部２０６ａに対し、フレーム間の差分を符号化しないように制御する。その代わりに、空間的冗長性を利用した動画符号化であるイントラ符号化を実施するように制御する。このイントラ符号化により、画質を改善できる。
【００８７】
さらに、連続的な撮像部１０１の主走査方向の切り替えや連続的なレンズユニット３００の回転は信号処理の負荷がかかりやすく、制御が困難であり、望ましくない。そこで、本実施の形態では、ＣＰＵ２０１は、撮像部１０１の主走査方向の切り替えやレンズユニット３００の回転をＮフレーム（Ｎは自然数）の間、行わないように制御する。Ｎは外部からユーザーが設定可能とする。
【００８８】
以上のように本実施の形態によれば、カメラ付携帯電話システムのような動画符号化を含めたカメラシステムにおいて、動画符号化と連動するとともに、主走査方向変更やレンズユニット回転の急激な動作を防止することにより、動画符号量を軽減し、画質を維持し、信号処理に負担のかからない制御を実現することができる。
【産業上の利用可能性】
【００８９】
本発明のイメージセンサ／カメラシステムは、フォーカルプレーンシャッタを用いたＭＯＳイメージセンサなどのイメージセンサ特有の画像歪みを抑制できるので、ＤＳＣ（デジタルスチルカメラ）やカメラ付き携帯電話などのモバイルカメラシステムに有効である。
【図面の簡単な説明】
【００９０】
【図１】本発明の実施の形態１におけるカメラシステムの構成を示すブロック図
【図２】本発明の実施の形態１におけるカメラシステムの画像歪み抑制の説明図
【図３】本発明の実施の形態２におけるカメラシステムの構成を示すブロック図
【図４】本発明の実施の形態２におけるカメラシステムの動作を示すフローチャート
【図５】本発明の実施の形態３におけるカメラシステムの構成を示すブロック図
【図６】本発明の実施の形態４におけるカメラシステムの構成を示すブロック図（その１）
【図７】本発明の実施の形態４におけるカメラシステムの構成を示すブロック図（その２）
【図８】従来のカメラシステムの構成を示すブロック図
【図９】従来のカメラシステムで撮像した被写体の動き、画像歪みを説明する図
【符号の説明】
【００９１】
１００  イメージセンサ
１０１  撮像部
１０２  水平走査部
１０３  垂直走査部
１０４  出力部
１０５  主走査方向制御部
２００  信号処理回路（ＤＳＰ）
２０１  ＣＰＵ
２０２  タイミングジェネレータ（ＴＧ）
２０３  ＡＦＥ（アナログフロントエンド）
２０４  メモリ
２０５  信号処理部
２０６  Ｉ／Ｆ部
２０６ａ  動画符号化回路内蔵のＩ／Ｆ部
２０７  メモリコントロール部
２０８  動き検出部
３００  レンズユニット
３０１  レンズユニット回転制御部
Ｓｃ  制御信号
Ｓｏ  画像信号
ＳＬ  レンズユニット回転制御信号
Ｄin  外部入力信号 
【図１】
2006054788.tif 000003
【図２】
2006054788.tif 000004
【図３】
2006054788.tif 000005
【図４】
2006054788.tif 000006
【図５】
2006054788.tif 000007
【図６】
2006054788.tif 000008
【図７】
2006054788.tif 000009
【図８】
2006054788.tif 000010
【図９】
2006054788.tif 000011