(57)【要約】【課題】画質が良好である所望の画像サイズの映像信号を撮像装置で生成する。【解決手段】画素加算が行われた画素の信号と画素加算が行われていない画素の信号を用いて映像信号Ｄrb，Ｄgb，Ｄbbを撮像部１４r，１４g，１４bで生成する。この映像信号Ｄrb，Ｄgb，Ｄbbにおける画素加算の有無による周波数特性の違いを周波数特性補正手段で補正する。周波数特性補正手段としては、例えば画素加算が行われた画素の信号と画素加算が行われていない画素の信号とで、フィルタ特性を切り換えてフィルタ処理を行うフィルタ部をカメラ信号処理部１５に設ける。撮像部１４r，１４g，１４bで画素加算を行うことで、カメラ信号処理部１５に例えばラインメモリを設けて画素加算行う必要がなく、撮像装置の回路規模を小さくできる。また低消費電力化も可能となる。【選択図】        図１
2007049566.tif 000002
【特許請求の範囲】
【請求項１】
画素加算が行われた画素の信号と画素加算が行われていない画素の信号を用いて映像信号を生成する撮像手段と、
前記映像信号における前記画素加算の有無による周波数特性の違いを補正する周波数特性補正手段とを有する
ことを特徴とする撮像装置。
【請求項２】
前記周波数特性補正手段は、前記画素加算が行われた画素の信号と前記画素加算が行われていない画素の信号とで、フィルタ特性を切り換えてフィルタ処理を行い、前記周波数特性の違いを補正する
ことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記周波数特性補正手段は、前記画素加算が行われていない画素の信号から高周波成分を抽出して、前記画素加算が行われた画素の信号に対し、前記抽出した高周波成分を用いて周波数特性の補正を行う
ことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記周波数特性補正手段は、前記画素加算が行われていない画素の信号に対して低域通過フィルタ処理を行う
ことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記周波数特性補正手段として、光学ローパスフィルタを用いた
ことを特徴とする請求項１記載の撮像装置。
【請求項６】
前記撮像手段では、フレーム毎に、前記画素加算を行う画素と画素加算が行われない画素の位相を可変する
ことを特徴とする請求項１記載の撮像装置。
【請求項７】
画素加算が行われた画素の信号と画素加算が行われていない画素の信号を用いて映像信号を生成する撮像工程と、
前記映像信号における前記画素加算の有無による周波数特性の違いを補正する周波数特性補正工程とを有する
ことを特徴とする映像信号生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置と映像信号生成方法に関する。詳しくは、画素加算が行われた画素の信号と画素加算が行われていない画素の信号を用いて映像信号を生成し、この映像信号に対して、画素加算の有無による周波数特性の違いを補正する処理を行うことで、高画質な撮像画像を得るものである。
【背景技術】
【０００２】
映像機器では、映像信号のディジタル化に伴い、水平方向や垂直方向の画素数が異なる種々の放送伝送方式が規格化されている。このため、水平方向や垂直方向の画素数が異なる放送伝送方式の機器にも対応できるように、原画像の画素数を所望の放送伝送方式に対応した画素数に変換する画像サイズ変換処理が行われている。
【０００３】
例えば、特許文献１に示されているように、補間演算を行うことで所望の放送伝送方式に対応した画素数の映像信号を生成する。この補間演算では、補間演算される画素の位相に最も近いフィルタ係数を用いることで、任意の変換比率で画像サイズ変換処理が行われる。
【０００４】
【特許文献１】特開平１０−１３４１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、撮像装置においても、通常は最大撮像画素数（有効画素数）で映像信号を出力することが基本的に行われている。しかし、撮像装置から出力される映像信号を記録媒体に記録する記録装置や、撮像装置から出力される映像信号を用いて撮像画像の表示を行う表示装置が、最大撮像画素数に対応していない場合、撮像装置は、記録装置や表示装置に対応した放送伝送方式の画素数とする画像サイズ変換処理を行ってから映像信号を出力させる必要がある。
【０００６】
例えば、最大撮像画素が水平方向１９２０画素×垂直方向１０８０ラインであるプログレッシブ走査方式の映像信号（以下「１０８０ｐの映像信号」という）Ｄpaを、水平方向１２８０画素×垂直方向７２０ラインであるプログレッシブ走査方式の映像信号（以下「７２０ｐの映像信号」という）Ｄpbとして出力する場合、水平方向および垂直方向の画素数をそれぞれ２／３倍する画像サイズ変換処理を行う必要がある。
【０００７】
このとき、１０８０ｐの映像信号Ｄpaと７２０ｐの映像信号Ｄpbのフレームレートが６０フレーム／秒(ｆｐｓ）であると、１０８０ｐの映像信号Ｄpaでは、標本化周波数が１４８．５ＭＨｚ、７２０ｐの映像信号Ｄpbでは標本化周波数が７４．２５ＭＨｚとなる。
【０００８】
ここで、撮像素子から「１９２０×１０８０」の最大撮像画素数で画素の信号を読み出して映像信号Ｄpaを生成した後、２／３倍の画素数に変換する場合、画像サイズ変換前までは、７２０ｐの標本化周波数に対して２倍の周波数で駆動する必要があり消費電力が大きくなってしまう。また、垂直方向の画像サイズ変換では、数ライン分のラインメモリが必要となり、回路規模が大きくなってしまう。さらに、補間演算を用いて画像サイズ変換処理を行うものとすると、回路構成が複雑となってしまう。
【０００９】
そこで、この発明では、回路規模が小さく低消費電力化が可能で、画質が良好である所望の画像サイズの映像信号を生成できる撮像装置と映像信号生成方法を提供するものである。
【課題を解決するための手段】
【００１０】
この発明に係る撮像装置と映像信号生成方法は、画素加算が行われた画素の信号と画素加算が行われていない画素の信号を用いて映像信号を生成し、この映像信号における画素加算の有無による周波数特性の違いを周波数特性補正手段、例えば画素加算が行われた画素の信号と画素加算が行われていない画素の信号とで、フィルタ特性を切り換えてフィルタ処理を行うフィルタ部、あるいは光学ローパスフィルタで補正するものである。
【発明の効果】
【００１１】
この発明によれば、画素加算が行われた画素の信号と画素加算が行われていない画素の信号を用いて映像信号が撮像手段で生成されて、映像信号における画素加算の有無による周波数特性の違いが周波数特性補正手段によって補正される。
【００１２】
このため、画像サイズ変換において垂直方向の画素加算を行う場合、撮像手段から出力された映像信号をラインメモリに記憶させて垂直方向の画素加算を行う必要がないので、回路規模を小さくできる。また低消費電力化もはかることができる。さらに、画素加算の有無による周波数特性の違いが補正されるので、周波数特性の違いによる画質の劣化を防止することが可能となり、良好な画質の画像を得ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、撮像装置１０の構成を示している。撮像レンズ１１を通過した被写体光は、光学ローパスフィルタ１２によって、撮像画素の大きさと隣接画素との間隔により決まる再生可能な限界周波数を超えた高周波成分が低減される。この高周波成分が低減された被写体光は、色分解プリズム１３によって、三原色の各色成分に分光されて撮像部１４r，１４g，１４bに入力される。
【００１４】
撮像部１４r，１４g，１４bは等しい構造とされており、撮像部１４rは赤色成分に基づいた信号、撮像部１４gは緑色成分に基づいた信号、撮像部１４bは青色成分に基づいた信号をそれぞれ生成する。また、撮像部１４gは、解像度を向上させるために、撮像部１４rおよび撮像部１４bに対して、画素位置を水平方向に１／２画素移動することも行われる。
【００１５】
図２は、撮像部の構成を示している。なお、撮像部として赤色成分に基づいた信号を生成する撮像部１４rについてのみ説明を行い、撮像部１４g，１４bについての説明は省略する。
【００１６】
画素部１４１は、光電変換を行って、入力された光に応じた信号を画素毎に生成する。さらに、画素毎の信号を用いて、フレーム画像の映像信号Ｓraを生成してＡ／Ｄ変換部１４２に供給する。Ａ／Ｄ変換部１４２は、画素部１４１から供給された映像信号Ｓraをディジタルの映像信号Ｄraに変換して加算処理部１４３に供給する。
【００１７】
加算処理部１４３は、後述する駆動信号生成部１４４から供給された加算制御信号ＣＴbに基づいて水平方向や垂直方向に画素の加算を行い、最大撮像画素数の映像信号Ｄraを、撮像装置１０に接続される機器の放送伝送方式に対応した画素数の映像信号Ｄrbとする画像サイズ変換を行う。
【００１８】
ここで、画像サイズを変換する場合、単に画素加算や間引きを行うものとすると、画素の空間的な位相が合わなくなってしまう場合がある。図３は、間引き処理による画像サイズ変換動作を示している。なお、図３Ａは、画像サイズ変換前の画素配列、図３Ｂは間引きする画素位置、図３Ｃは画像サイズ変換後の画素配列を示している。また、説明を簡単とするため、図３では、画像サイズ変換前の水平方向１２画素、垂直方向９画素のみ示している。
【００１９】
間引き処理では、例えば２画素の出力を行ったとき次の１画素を出力しないものとして、図３Ｂにおける斜線部の画素を間引いて、図３Ｃに示すように、画素数を２／３倍とする。この場合、間引きが行われた部分は間引き処理前の２画素分に相当するものであるから、間引き処理後の画像では、１画素分離れた間引き処理前の画素と２画素分離れた間引き処理前の画素が交互に用いられることとなり、空間的な位相が合わなくなってしまう。なお、図３Ｃでは、２画素分に相当する画素間隔の位置を二重線で示している。
【００２０】
図４は、画素加算による画像サイズ変換動作を示している。なお、図４Ａは、画像サイズ変換前の画素配列、図４Ｂは加算する画素位置、図４Ｃは画像サイズ変換後の画素配列を示している。また、説明を簡単とするため、図４においても、図３と同様に、画像サイズ変換前の水平方向１２画素、垂直方向９画素のみ示している。
【００２１】
加算処理では、例えば、水平方向の２画素と垂直方向の２画素を加算して、画像サイズ変換後の１画素とする。また、加算する画素位置を水平方向に１画素移動して、水平方向の２画素と垂直方向の２画素を加算して、画像サイズ変換後の１画素とする。また、垂直方向に対しても、加算する画素位置を垂直方向に１画素移動して、水平方向の２画素と垂直方向の２画素を加算して、画像サイズ変換後の１画素とする処理を行う。このようにして、水平方向の３画素から水平方向の２画素を生成する処理と垂直方向の３画素から垂直方向の２画素を生成する処理を行う。さらに、このような処理を水平方向および垂直方向に３画素単位で行うものとすれば、図４Ｃに示すように、画素数を２／３倍とすることができる。なお、図４Ｂにおいて、破線で示す矢印表示は、加算する４つの画素を示すものである。
【００２２】
このように加算処理を行うものとすると、例えば水平方向の１画素目と２画素目の画素加算を行って得られた画素と、２画素目と３画素目の画素加算を行って得られた画素との画素間隔は、１画素分に相当するものとなる。水平方向の２画素目と３画素目の画素加算を行って得られた画素と、４画素目と５画素目の画素加算を行って得られた画素との画素間隔は、２画素分に相当するものとなり、画素間隔が一定とならず空間的な位相が合わなくなってしまう。また、垂直方向についても水平方向と同様に、空間的な位相が合わなくなってしまう。なお、図４Ｃでは、２画素分に相当する画素間隔の位置を二重線で示している。
【００２３】
したがって、加算処理部１４３は、画素加算を行う際に、画像サイズ変換処理後の画素中心の間隔が均等となるように位相を調整して画素加算を行う。ここで、画素中心とは、画素の空間的な中心を呼ぶものとする。図５は画素中心を○印で示しており、１つの画素Ｐaの画素中心は、図５Ａのように、画素Ｐaの中央位置となる。隣接する２つの画素Ｐa，Ｐb（Ｐa，Ｐc）を均等な比率で加算する場合の画素中心は、図５Ｂに示すように、加算する２つの画素Ｐa，Ｐb（Ｐa，Ｐc）の中央位置となる。また、隣接する４つの画素Ｐa，Ｐb，Ｐc，Ｐdを均等な比率で加算する場合の画素中心は、図５Ｃに示すように、加算する４つの画素Ｐa，Ｐb，Ｐc，Ｐdの中央位置となる。
【００２４】
さらに、加算する画素の比率を調整することで、画素中心を所望の位置に設定できる。例えば、画素Ｐaの比率を画素Ｐb（Ｐc）よりも大きくしたときの画素中心は、図５Ｄに示すように、２つの画素Ｐa，Ｐb（Ｐc）の中央位置から画素Ｐaの方向に移動した位置なる。また、画素Ｐaの比率を画素Ｐb（Ｐc）よりも小さくしたときの画素中心は、図５Ｅに示すように、２つの画素Ｐa，Ｐb（Ｐc）の中央位置から画素Ｐb（Ｐc）の方向に移動した位置となる。
【００２５】
図２の駆動信号生成部１４４は、後述する制御部２０から供給された制御信号ＣＴmに基づき、画素部１４１やＡ／Ｄ変換部１４２を駆動するための駆動信号ＣＴaを生成する。また、駆動信号生成部１４４は、加算処理部１４３で画素中心の間隔が均等となるように画素加算を行い、最大画素数の映像信号を所望の画像サイズの映像信号に変換するための加算制御信号ＣＴbを制御部２０から供給された画素加算設定信号ＣＴsに基づいて生成する。
【００２６】
撮像部１４g，１４bも撮像部１４rと同様にして、撮像装置１０に接続される機器の放送伝送方式に対応した解像度の映像信号Ｄgb，Ｄbbを生成する。
【００２７】
図１のカメラ信号処理部１５は、撮像部１４r，１４g，１４bで生成された映像信号Ｄrb，Ｄgb，Ｄbbを用いて、補正処理やフィルタ処理およびプロセス処理等を制御部２０から供給された制御信号ＣＴmに基づいて行い、接続される機器に応じたフォーマットの映像出力信号ＤＶoutを生成する。
【００２８】
図６は、カメラ信号処理部１５の構成を示している。前処理部１５１は、映像信号Ｄrb，Ｄgb，Ｄbbに対して欠陥補正処理やホワイトバランス調整処理等を行い、処理後の映像信号Ｄrc，Ｄgc，Ｄbcを、周波数特性補正手段である水平フィルタ部１５２に供給する。なお、周波数特性補正手段は、水平フィルタ部１５２と垂直フィルタ部１５３で構成する。
【００２９】
図７は、水平フィルタ部１５２の構成を示している。映像信号Ｄrc，Ｄgc，Ｄbcは、フィルタ５２１とフィルタ５２２に供給される。フィルタ５２１は、高域通過フィルタあるいは帯域通過フィルタで構成して、画素加算が行われた画素に対して左右に位置する画素の信号を用いたフィルタ処理により高周波成分を抽出して、信号Ｈr，Ｈg，Ｈbとしてフィルタ出力選択部５２３に供給する。フィルタ５２２は、低域通過フィルタで構成して、水平標本化周波数の帯域である成分を低下させるフィルタ処理を行い、高周波成分が減衰された映像信号Ｄrd，Ｄgd，Ｄbdをフィルタ出力選択部５２３に供給する。
【００３０】
フィルタ出力選択部５２３は、画素加算が行われた画素であるか否かを示す画素識別信号ＣＴqに基づき、画素加算が行われた画素では、フィルタ５２１から出力された信号Ｈr，Ｈg，Ｈbを選択して、選択信号ＤＳr，ＤＳg，ＤＳbとして可変比率混合部５２４に供給する。また画素加算の行われていない画素では、フィルタ５２２から出力された映像信号Ｄrd，Ｄgd，Ｄbdを選択して、選択信号ＤＳr，ＤＳg，ＤＳbとして可変比率混合部５２４に供給する。
【００３１】
可変比率混合部５２４は、入力された映像信号Ｄrc，Ｄgc，Ｄbcとフィルタ出力選択部５２３から供給された選択信号ＤＳr，ＤＳg，ＤＳbの混合比を、画素識別信号ＣＴqに基づき画素加算の有無に応じて調整して加算を行い、画素加算の有無による水平方向の周波数特性の違いを補正した映像信号Ｄre，Ｄge，Ｄbeを生成する。
【００３２】
垂直フィルタ部１５３も水平フィルタ部１５２と同様に構成されており、画素加算が行われた画素であるか否かに応じて、フィルタ処理後の信号の選択を行う。さらに、選択した信号と水平フィルタ部１５２から出力された映像信号Ｄre，Ｄge，Ｄbeの混合比を調整して加算を行い、画素加算の有無による垂直方向の周波数特性の違いを補正した映像信号Ｄrf，Ｄgf，Ｄbfを生成する。なお、垂直フィルタ部１５３は、垂直方向のフィルタ処理を行うものであることから、画素加算が行われた画素の上下に位置する画素の信号を用いたフィルタ処理による高周波成分の抽出や、垂直標本化周波数の帯域である高周波成分を低下させる処理を行う。
【００３３】
図６のプロセス部１５４は、垂直フィルタ部１５３から出力された映像信号Ｄrf，Ｄgf，Ｄbfに対してプロセス処理、例えばガンマ補正処理やニー処理等を行い、プロセス処理後の映像信号Ｄrg，Ｄgg，Ｄbgを映像信号出力部１５５に供給する。映像信号出力部１５５は、プロセス部１５４から供給された映像信号Ｄrg，Ｄgg，Ｄbgを、信号記録装置や表示装置に対応した映像出力信号、例えばコンポーネントやコンポジット、あるいは輝度信号と色差信号の映像出力信号ＤＶoutとして出力する。
【００３４】
図１に示す制御部２０には、ユーザインタフェース部２１が接続されている。ユーザインタフェース部２１は、撮像装置１０の設定や動作切換を行う際に操作されるものであり、ユーザ操作に応じた操作信号ＵＳを生成して制御部２０に供給する。例えば、接続する機器に応じた画像サイズを指定する操作が行われたときには、指定された画像サイズを示す操作信号ＵＳを制御部２０に供給する。なお、接続する機器に応じた画像サイズの指定は、接続する機器と通信を行い、この機器から画像サイズを示す情報を入手するものとしても良い。
【００３５】
制御部２０は、操作信号ＵＳに応じて制御信号ＣＴmを生成して、撮像部１４r，１４g，１４bやカメラ信号処理部１５に供給することで、撮像装置１０をユーザ操作に応じて動作させる。
【００３６】
また、制御部２０は、最大撮像画素数と指定された映像出力信号ＤＶoutの画像サイズから、どのような画素加算動作を行うが判別して、画素加算動作の設定を行う画素加算設定信号ＣＴsを生成して撮像部１４r，１４g，１４bに供給する。
【００３７】
さらに、画素加算が行われている画素であるか画素加算が行われていない画素であるかを示す画素識別信号ＣＴq（図示せず）を、制御部２０あるいは撮像部の駆動信号生成部１４４で生成して、カメラ信号処理部１５に供給する。
【００３８】
次に、撮像装置の画像サイズ変換動作、例えば、最大撮像画素数に対して水平方向および垂直方向の画素数を２／３倍とした映像出力信号ＤＶoutを生成する場合について説明する。なお、説明を簡単とするため、以下の図では、画像サイズ変換前の水平方向１２画素、垂直方向９画素のみ示している。
【００３９】
撮像部１４r，１４g，１４bは、水平方向および垂直方向に対して、図８に示すように、２画素加算を１画素おきに行うことで画素数を２／３倍にする。なお、図８Ａは、画素部１４１の画素配置、図８Ｂは画素加算を行ったときの画素中心、図８Ｃは、撮像部から出力される映像信号の画像サイズを示している。
【００４０】
例えば、画素部１４１の１ライン目と２ライン目の画素を用いて、画像サイズ変換後の１ライン目の映像信号を生成する。ここで、画素部１４１における１ライン目の最初の２画素と２ライン目の最初の２画素を用いて、等しい比率で４画素加算を行い、画像サイズ変換後の１ライン目の最初の画素の信号を生成する。すなわち、４画素の信号レベルを加算したのち加算結果を加算した画素数で除算することで最初の画素の信号を生成する。次に、画素部１４１における１ライン目の３番目の画素と２ライン目の３番目の画素を用いて、等しい比率で２画素加算を行い、画像サイズ変換後の２画素目の信号を生成する。以下同様に、４画素加算と２画素加算を繰り返すことにより、画像サイズ変換後の１ライン目の信号を生成できる。
【００４１】
その後、画素部１４１の３ライン目の画素を用いて、画像サイズ変換後の２ライン目の映像信号を生成する。ここで、画素部１４１における３ライン目の最初の２画素を用いて、等しい比率で２画素加算を行い、画像サイズ変換後の２ライン目の最初の画素の信号を生成する。次に、画素部１４１における３ライン目の３番目の画素を画像サイズ変換後の２番目の画素の信号として用いる。以下同様に、２画素加算を画像サイズ変換後の信号における１画素おきに繰り返すことで、画像サイズ変換後の２ライン目の信号を生成できる。
【００４２】
以下、上述の処理を繰り返すことで、画素数が最大撮像画素数の２／３倍とされた画像サイズ変換後の映像信号Ｄrb，Ｄgb，Ｄbbを得ることができる。また、画素加算を行ったときの画素中心は、加算した画素の中央位置であることから、画像サイズ変換後の映像信号における画素中心の間隔は、図８Ｂから明らかなように、各画素間で等しいものとなる。
水平フィルタ部１５２のフィルタ出力選択部５２３では、水平方向に画素加算が行われているか否かに応じて、フィルタ出力の選択を行う。図９は、フィルタ出力選択部５２３におけるフィルタ出力選択動作を説明するためのものであり、図９Ａは映像信号Ｄrc，Ｄgc，Ｄbc、図９Ｂはフィルタ出力選択部５２３から出力される選択信号ＤＳr，ＤＳg，ＤＳbを示している。
【００４３】
ここで、映像信号の１ライン目の１画素目は、水平方向に画素加算が行われている画素「１＋２」であることから、フィルタ５２１から出力された信号Ｈr，Ｈg，Ｈbを選択する。２画素目は、水平方向の画素加算が行われていない画素「３」であることから、フィルタ５２２から出力された映像信号Ｄrd，Ｄgd，Ｄbdを選択する。以下同様に、水平方向に画素加算が行われている画素であるときはフィルタ５２１の出力、水平方向に画素加算が行われていない画素であるときはフィルタ５２２の出力を選択する。
【００４４】
可変比率混合部５２４は、供給された映像信号Ｄrc，Ｄgc，Ｄbcに対して、水平方向に画素加算が行われた画素であるときには、映像信号Ｄrc，Ｄgc，Ｄbcとフィルタ５２１から出力された高周波成分である信号Ｈr，Ｈg，Ｈbの混合比を調整して加算する。また、水平方向に画素加算が行われていない画素であるときには、映像信号Ｄrc，Ｄgc，Ｄbcの混合比を「０」、フィルタ５２１から出力された映像信号Ｄrd，Ｄgd，Ｄbdの混合比を「１」として加算する。すなわち、供給された映像信号Ｄrc，Ｄgc，Ｄbcに換えて、フィルタ処理がなされた映像信号Ｄrd，Ｄgd，Ｄbdを出力する。さらに、映像信号Ｄrc，Ｄgc，Ｄbcと信号Ｈr，Ｈg，Ｈbを加算するとき、画素加算の有無に係らず可変比率混合部５２４から出力される映像信号Ｄre，Ｄge，Ｄbeの周波数特性が一定となるように混合比を調整する。
【００４５】
このように、水平フィルタ部１５２でフィルタ処理を行うものとすると、水平フィルタ部１５２から出力される映像信号Ｄre，Ｄge，Ｄbeは、画素加算の有無に係らず水平方向の周波数特性が一定となる。したがって、水平方向について、画素加算が行われた画素と画素加算が行われていない画素との境界部分が周波数特性の違いにより顕著となってしまうことを防止できる。
【００４６】
垂直フィルタ部１５３のフィルタ出力選択部は、水平フィルタ部１５２のフィルタ出力選択部５２３と同様に、垂直方向に画素加算が行われている画素では高周波成分の信号、垂直方向の画素加算が行われていない画素では高周波成分が低減された映像信号を選択する。また、垂直フィルタ部１５３の可変比率混合部は、垂直方向に画素加算が行われている画素では、映像信号Ｄre，Ｄge，Ｄbeと高周波成分の信号との混合比を調整して加算することで映像信号Ｄrf，Ｄgf，Ｄbfを生成する。また、垂直方向に画素加算が行われていない画素では、映像信号Ｄre，Ｄge，Ｄbeの混合比を「０」、高周波成分が低減された映像信号の混合比を「１」として加算を行い、映像信号Ｄrf，Ｄgf，Ｄbfを生成する。さらに、映像信号Ｄre，Ｄge，Ｄbeと高周波成分の信号を加算するとき、画素加算の有無に係らず可変比率混合部から出力される映像信号Ｄrf，Ｄgf，Ｄbfの周波数特性が一定となるように混合比を調整する。
【００４７】
このように、垂直フィルタ部１５３でフィルタ処理を行うものとすると、垂直フィルタ部１５３から出力される映像信号Ｄrf，Ｄgf，Ｄbfは、画素加算の有無に係らず垂直方向の周波数特性が一定となる。したがって、垂直方向について、画素加算が行われた画素と画素加算が行われていない画素との境界部分が周波数特性の違いにより顕著となってしまうことを防止できる。
【００４８】
また、プロセス部１５４に対しては、画素加算が行われた画素と画素加算が行われていない画素との水平方向および垂直方向の境界部分が目立たないものとされた映像信号Ｄrf，Ｄgf，Ｄbfが供給される。このため、映像信号出力部１５５から出力される映像出力信号ＤＶoutに基づく画像は、画素加算が行われた画素と画素加算が行われていない画素との周波数特性の違いにより例えばエッジ部分で画素の境界がギザギザのように表示されてしまうことがなく、良好な画質の画像となる。
【００４９】
ところで、図８に示す画素加算をフレーム毎に繰り返すと、画素加算が行われた画素と画素加算が行われていない画素との境界が画面上で固定された位置となる。したがって、水平フィルタ部１５２や垂直フィルタ部１５３におけるフィルタ特性や可変比率混合部での混合比等を最適化しないと、画素加算が行われた画素と画素加算が行われていない画素の境界が目立ち易くなる。このため、制御部２０あるいは駆動信号生成部１４４を周波数補正手段として用いるものとして、画素加算が行われた画素と画素加算が行われていない画素の位相がフレーム毎に可変するように、加算制御信号ＣＴbを生成して加算処理部１４３に供給する。このように、画素加算が行われた画素と画素加算が行われていない画素の位相をフレーム毎に可変すれば、視覚の積分効果により、画素加算が行われた画素と画素加算が行われていない画素の境界を目立ちにくくすることができる。
【００５０】
図１０は、画素加算が行われた画素と画素加算が行われていない画素の位相をフレーム毎に可変したときの画素加算動作を示している。図１０Ａは、画素部１４１の画素配置、図１０Ｂ〜図１０Ｅは画素加算位置、図１０Ｆは、撮像部から出力される映像信号の画像サイズを示している。
【００５１】
例えば図１０Ｂに示すｎフレームでは、画像サイズ変換後の１ライン目の最初の画素として水平方向および垂直方向のそれぞれ２画素を用いた４画素加算を行い、次の画素では垂直方向に２画素加算を行う。以下このような処理を繰り返す。２ライン目の最初の画素は水平方向に２画素加算を行い、次の画素では画素加算を行わないものとする。以下このような処理を繰り返すことで、ｎフレームの画像サイズ変換を行う。
【００５２】
図１０Ｃに示すｎ＋１フレームでは、画像サイズ変換後の１ライン目の最初の画素では画素加算を行わないものとし、次の画素では水平方向に２画素加算を行う。以下このような処理を繰り返す。２ライン目の最初の画素は垂直方向に２画素加算を行い、次の画素では４画素加算を行う画素加算を行わないものとする。以下このような処理を繰り返すことで、ｎ＋１フレームの画像サイズ変換を行う。
【００５３】
図１０Ｄに示すｎ＋２フレームでは、画像サイズ変換後の１ライン目の最初の画素では水平方向に２画素加算を行い、次の画素では画素加算を行わないものとする。以下このような処理を繰り返す。２ライン目の最初の画素は４画素加算を行い、次の画素では垂直方向に２画素加算を行う。以下このような処理を繰り返すことで、ｎ＋２フレームの画像サイズ変換を行う。
【００５４】
図１０Ｅに示すｎ＋３フレームでは、画像サイズ変換後の１ライン目の最初の画素では垂直方向に２画素加算を行い、次の画素では４画素加算を行うものとする。以下このような処理を繰り返す。２ライン目の最初の画素では画素加算を行わないものとし、次の画素では水平方向に２画素加算を行う。以下このような処理を繰り返すことで、ｎ＋３フレームの画像サイズ変換を行う。
【００５５】
このように、フレーム毎に画素加算が行われた画素と画素加算が行われていない画素の位相を可変することで、画素加算が行われた画素と画素加算が行われていない画素の境界を目立ちにくくすることができる。
【００５６】
ここで、図１０に示すように画素加算が行われた画素と画素加算が行われていない画素の位相を可変すると、図１０における○印で示す画素中心が、各フレームで異なるものとなってしまう。このため、ｎフレームを基準としたとき、水平フィルタ部１５２は、ｎフレームに対して、画素中心の位置が水平方向に異なるフレーム、すなわちｎ＋１フレームとｎ＋３フレームに示すように画素加算を行うフレームに対して、画素中心がｎフレームの画素中心と一致するようにフィルタ処理を行う。例えば、水平方向の１画素目と画素加算が行われている２画素目の比率をフィルタ係数によって調整して画素加算を行い、画素中心がｎフレームの１画素目の画素中心と等しい画素を生成する。また、画素加算が行われている２画素目と画素加算が行われていない３画素目の比率をフィルタ係数によって調整して画素加算を行い、画素中心がｎフレームの２画素目の画素中心と等しい画素を生成する。以下同様に処理することで、画素中心の水平方向の位置をｎフレームと一致させることができる。
【００５７】
垂直フィルタ部１５３は、ｎフレームに対して、画素中心の位置が垂直方向に異なるフレーム、すなわちｎ＋１フレームとｎ＋２フレームに示すように画素加算を行うフレームに対して、画素中心がｎフレームの画素中心と一致するようにフィルタ処理を行う。例えば、画素加算が行われている垂直方向の１ライン目の最初の画素と画素加算が行われていない２ライン目の最初の画素の比率をフィルタ係数によって調整して画素加算を行い、画素中心がｎフレームの１ライン目の最初の画素と等しい画素を生成する。また、画素加算が行われていない２ライン目の最初の画素と画素加算が行われている３ライン目の最初の画素の比率をフィルタ係数によって調整して画素加算を行い、画素中心がｎフレームの２ライン目の最初の画素と等しい画素を生成する。以下同様に処理することで、画素中心の垂直方向の位置をｎフレームと一致させることができる。
【００５８】
このように、画素加算が行われた画素と画素加算が行われていない画素の位相をフレーム毎に可変して、境界が画面上で固定されないようにすれば、水平フィルタ部１５２や垂直フィルタ部１５３のフィルタの特性や可変比率混合部の混合比等を最適化して、画素加算が行われた画素と画素加算が行われていない画素の周波数特性を精度良く合わせなくとも、視覚の積分効果により、画素加算が行われた画素と画素加算が行われていない画素の境界を目立ちにくくすることができる。
【００５９】
さらに、画素加算が行われた画素と画素加算が行われていない画素の位相をフレーム毎に可変して、画素中心を一致させることで、画素加算が行われた画素と画素加算が行われていない画素との境界が許容できる適度に目立たなくできるときには、画素加算が行われた画素に対して高周波成分を加算することで周波数特性を補正したり、画素加算が行われていない画素に対しては高周波成分を減衰させた映像信号を選択することで周波数特性を補正する処理等を行う必要がないことは勿論である。
【００６０】
ところで、上述の形態では、撮像部１４r，１４g，１４bで水平方向と垂直方向の画像サイズ変換を行うものとしたが、いずれか一方の方向の画像サイズ変換を撮像部１４r，１４g，１４bで行い、他方向の画像サイズ変換をカメラ信号処理部１５で行うものとしても良い。このようにカメラ信号処理部１５で画像変換を行うものとすれば、撮像部１４r，１４g，１４bで行うことができないような画素加算をカメラ信号処理部１５で行ものとすることで、所望のサイズへの画像サイズ変換を行うことができる。
【００６１】
例えば、撮像部１４r，１４g，１４bは、蓄積された電荷の読み出しを制御して加算する画素を設定する場合、画素の電荷を読み出して加算を行うと、図４に示すように同じ画素の信号を繰り返し用いて加算することができない。すなわち１番目の画素と２番目の画素の電荷を読み出しての加算を行ったのち、２番目の画素と３番目の画素を加算することができない。しかし、カメラ信号処理部１５にメモリを設けるものとすれば、メモリに記憶した信号を繰り返し読み出すことで、１番目の画素と２番目の画素の加算を行ったのち、２番目の画素と３番目の画素を加算する処理を容易に行うことができる。
【００６２】
また、一方の方向の画像サイズ変換を撮像部１４r，１４g，１４bで行い、他方向の画像サイズ変換をカメラ信号処理部１５で行う場合、撮像部１４r，１４g，１４bで垂直方向の画像サイズ変換、カメラ信号処理部１５で水平方向の画像サイズ変換を行うものとすれば、カメラ信号処理部１５にラインメモリを設ける必要がないので、回路規模や消費電力を大幅に削減できる。
【００６３】
さらに、上述の形態では、画素加算が行われた画素の有無による周波数特性の違いを、水平フィルタ部１５２や垂直フィルタ部１５３および制御部２０によって補正するものとしたが、周波数特性補正手段として光学ローパスフィルタ１２を用いるものとして、光学ローパスフィルタ１２で周波数特性の違いの補正を行うものとしても良い。この場合、光学ローパスフィルタ１２では、画素加算が行われた画素に合わせて周波数帯域制限を行い、画素加算が行われていない画素の高周波成分を減衰させることで、画素加算が行われた画素の有無による周波数特性の違いを補正する。このようにすれば、画像サイズ変換後の映像信号では高周波成分が失われるものの、画素加算が行われた信号部分と画素加算が行われていない信号部分との境界が顕著となってしまうことを防止できる。
【図面の簡単な説明】
【００６４】
【図１】撮像装置の構成を示す図である。
【図２】撮像部の構成を示す図である。
【図３】間引き処理による画像サイズ変換動作を説明するための図である。
【図４】画素加算による画像サイズ変換動作を説明するための図である。
【図５】画素中心を説明するための図である。
【図６】カメラ信号処理部の構成を示す図である。
【図７】水平フィルタ部の構成を示す図である。
【図８】画素加算動作を説明するための図である。
【図９】フィルタ出力選択部の動作を示す図である。
【図１０】画素加算が行われた画素と画素加算が行われていない画素の位相を可変する場合の動作を説明するための図である。
【符号の説明】
【００６５】
１０・・・撮像装置、１１・・・撮像レンズ、１２・・・光学ローパスフィルタ、１３・・・色分解プリズム、１４r，１４g，１４b・・・撮像部、１５・・・カメラ信号処理部、２０・・・制御部、２１・・・ユーザインタフェース部、１４１・・・画素部、１４２・・・Ａ／Ｄ変換部、１４３・・・加算処理部、１４４・・・駆動信号生成部、１５１・・・前処理部、１５２・・・水平フィルタ部、１５３・・・垂直フィルタ部、１５４・・・プロセス部、１５５・・・映像信号出力部、５２１，５２２・・・フィルタ、５２３・・・フィルタ出力選択部、５２４・・・可変比率混合部
【図１】
2007049566.tif 000003
【図２】
2007049566.tif 000004
【図３】
2007049566.tif 000005
【図４】
2007049566.tif 000006
【図５】
2007049566.tif 000007
【図６】
2007049566.tif 000008
【図７】
2007049566.tif 000009
【図８】
2007049566.tif 000010
【図９】
2007049566.tif 000011
【図１０】
2007049566.tif 000012