(57)【要約】【課題】斜め方向に発生するビートノイズにも対応できるノイズ除去手法を提案する。【解決手段】入力されるデジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正手段を備える画像処理装置において、補正手段は、デジタル画像データに含まれる光学的黒領域画素データを順次周期的に振り分ける分配手段と、分配手段より分配された光学的黒領域画素データが順次入力される積分手段と、積分手段における積分結果を積分回数で除算する第１演算手段と、第１演算手段の出力の最小値を検出する最小値検出手段と、最小値と前記の除算結果とを演算することによりビートノイズの周期データを得る第２演算手段と、を備える画像処理装置。【選択図】図２
2008022375.tif 000002
【特許請求の範囲】
【請求項１】
入力されるデジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正手段を備える画像処理装置において、
前記補正手段は、
前記デジタル画像データに含まれる光学的黒領域画素データを順次周期的に振り分ける分配手段と、
前記分配手段より分配された前記光学的黒領域画素データが順次入力される積分手段と、
前記積分手段における積分結果を積分回数で除算する第１演算手段と、
前記第１演算手段の出力の最小値を検出する最小値検出手段と、
前記最小値と前記除算結果とを演算することにより前記ビートノイズの前記周期データを得る第２演算手段と、を備える、ことを特徴とする画像処理装置。
【請求項２】
前記補正手段は、
前記ビートノイズの周期データから１つのデータを第１選択制御信号に従って選択する第１選択手段と、
前記第１選択手段で選択された前記ビートノイズの周期データを第２選択制御信号に従って選択する第２選択手段と、
前記第１選択手段及び前記第２選択手段で選択された連続する２つの前記ビートノイズの前記周期データに重み付けを行い、１つの補正値を算出する第３演算手段と、
前記第３演算手段で算出された前記１つの補正値を前記デジタル画像データに含まれる有効画素データから減算することにより前記ビートノイズを除去する第４演算手段と、をさらに備える、ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記補正手段は、
１水平期間あたりの画素数をカウントする第１カウンタと、
水平期間数をカウントする第２カウンタと、
前記第１カウンタの出力と１水平期間の１画素目から有効画素の１画素目までの画素数を加算する第５演算手段と、
前記第２カウンタの出力にビートノイズの水平期間数ごとの位相差を乗算する第６演算手段と、
前記第５演算手段の出力と前記第６演算手段の出力を加算する第７演算手段と、
前記第７演算手段の出力をビートノイズの周期データの個数で除算した余りを得る第１剰余演算手段と、をさらに備え、
前記第１剰余演算手段の出力を前記第１選択制御信号とし、前記第１剰余演算手段の出力より位相が進んだ信号を前記第２選択制御信号とする、ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
多フィールド読み出しの固体撮像素子から出力されるアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段より出力される前記デジタル画像データを一時保持するメモリ手段と、
前記Ａ／Ｄ変換手段又は前記メモリ手段から出力される前記デジタル画像データを選択する第１選択手段と、
前記第１選択手段で選択された前記前記デジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正手段と、を備え、
水平期間ごとに次の水平期間を前記固体撮像素子から読み出した時の水平同期信号の周期および読み出したフィールドに対応する位相補正を行う、ことを特徴とする画像処理装置。
【請求項５】
前記補正手段は、
前記デジタル画像データに含まれる前記ビートノイズの周期が不明である場合は、前記メモリ手段から出力される前記デジタル画像データに含まれる光学的黒領域画素データを解析し、前記ビートノイズの周期を求めた後に前記位相補正を行う、ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記補正手段は、
前記メモリ手段から出力される前記デジタル画像データに含まれる光学的黒領域画素データの一部が順に積分手段で積分されるよう振り分ける分配手段と、
前記積分手段における積分回数で前記積分手段の積分結果を除算する第１演算手段と、
前記第１演算手段からの除算結果から最小値を検出する検出手段と、
前記検出手段で検出された前記最小値を前記除算結果から減算する第２演算手段と、を備え、前記メモリ手段から出力される前記デジタル画像データの前記光学的黒領域画素データに含まれる前記ビートノイズの前記周期データを得る、ことを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記補正手段は、
前記ビートノイズの前記周期データから１つの周期データを選択する第２選択手段と、
前記メモリ手段より出力される前記デジタル画像データから前記第２選択手段で選択された前記ビートノイズの前記１つの周期データを減算する第１演算手段と、をさらに備える、ことを特徴とする請求項４に記載の画像処理装置。
【請求項８】
前記補正手段は、
１水平期間あたりの前記有効画素の数をカウントする第１カウンタと、
水平期間数をカウントする第２カウンタと、
前記第１カウンタの出力と１水平期間の１画素目から有効画素データの１画素目までの画素数を加算する第２演算手段と、
前記第２カウンタの出力をフィールド数で除算した余りを算出する第３演算手段と、
前記第３演算手段の出力に従ってビートノイズのフィールドごとの位相差を選択する第３選択手段と、
前のフィールドの位相に前記第３選択手段の出力を加算する第４演算手段と、
前記第１カウンタが前記有効画素の１水平期間当たりの画素数の値になるタイミングで前記第４演算手段の出力を更新し、それ以外は出力を保持する保持手段と、
前記第２演算手段の出力と前記保持手段の出力を加算する第５演算手段と、
前記第５演算手段の出力をビートノイズの周期当たりの画素数で除算した余りを算出する第６演算手段と、をさらに備え、
前記第６演算手段の出力を前記第２選択手段の選択制御信号とする、ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
固体撮像素子から転送されるアナログ信号をデジタルに変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力される有効画素からビートノイズの周期データを減算する補正手段を備える画像処理装置において、
前記Ａ／Ｄ変換手段から出力される一部の光学的黒領域画素データを、前記ビートノイズの周期あたりの画素単位の個数分設けられた積分器に順に積分されるよう振り分ける分配手段と、
各々の前記積分器における積分回数で前記積分器の積分結果を除算する第１演算手段と、
前記第１演算手段における除算結果から最小値を検出する検出手段と、
前記検出手段において検出された前記最小値を前記除算結果から減算する第２演算手段と、を備え、
前記補正手段において積分され正規化された前記ビートノイズのパラメータの中からパラメータ最小値を検出し、前記ビートノイズの前記パラメータから前記パラメータ最小値を減算することで前記ビートノイズのオフセット除去を行う、ことを特徴とする画像処理装置。
【請求項１０】
入力されるデジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正手段を備える画像処理装置の制御方法において、
前記補正手段は、
前記デジタル画像データに含まれる光学的黒領域画素データを順次周期的に振り分ける分配工程と、
前記分配工程で分配された前記光学的黒領域画素データが順次入力される積分工程と、
前記積分工程の積分結果を積分回数で除算する第１演算工程と、
前記第１演算工程の出力の最小値を検出する最小値検出工程と、
前記最小値と前記除算結果とを演算することにより前記ビートノイズの前記周期データを得る第２演算工程と、を備える、ことを特徴とする画像処理装置の制御方法。
【請求項１１】
前記補正手段は、
前記ビートノイズの周期データから１つのデータを第１選択制御信号に従って選択する第１選択工程と、
前記第１選択工程で選択された前記ビートノイズの周期データを第２選択制御信号に従って選択する第２選択工程と、
前記第１選択工程及び前記第２選択工程で選択された連続する２つの前記ビートノイズの前記周期データに重み付けを行い、１つの補正値を算出する第３演算工程と、
前記第３演算工程で算出された前記１つの補正値を前記デジタル画像データに含まれる有効画素データから減算することにより前記ビートノイズを除去する第４演算工程と、をさらに備える、ことを特徴とする請求項１０に記載の画像処理装置の制御方法。
【請求項１２】
前記補正手段は、
１水平期間あたりの画素数をカウントする第１カウント工程と、
水平期間数をカウントする第２カウンと工程と、
前記第１カウンタの出力と１水平期間の１画素目から有効画素の１画素目までの画素数を加算する第５演算工程と、
前記第２カウント工程の出力にビートノイズの水平期間数ごとの位相差を乗算する第６演算工程と、
前記第５演算工程の出力と前記第６演算工程の出力を加算する第７演算工程と、
前記第７演算工程の出力をビートノイズの周期データの個数で除算した余りを得る第１剰余演算工程と、をさらに備え、
前記第１剰余演算工程の出力を前記第１選択制御信号とし、前記第１剰余演算工程の出力より位相が進んだ信号を前記第２選択制御信号とする、ことを特徴とする請求項１１に記載の画像処理装置の制御方法。
【請求項１３】
多フィールド読み出しの固体撮像素子から出力されるアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程より出力される前記デジタル画像データをメモリ手段に一時保持するメモリ工程と、
前記Ａ／Ｄ変換工程又は前記メモリ手段から出力される前記デジタル画像データを選択する第１選択工程と、
前記第１選択工程で選択された前記前記デジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正工程と、を備え、
水平期間ごとに次の水平期間を前記固体撮像素子から読み出した時の水平同期信号の周期および読み出したフィールドに対応する位相補正を行う、ことを特徴とする画像処理装置の制御方法。
【請求項１４】
前記補正工程は、
前記デジタル画像データに含まれる前記ビートノイズの周期が不明である場合は、前記メモリ手段から出力される前記デジタル画像データに含まれる光学的黒領域画素データを解析し、前記ビートノイズの周期を求めた後に前記位相補正を行う、ことを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項１５】
前記補正工程は、
前記メモリ手段から出力される前記デジタル画像データに含まれる光学的黒領域画素データの一部が順に積分手段で積分されるよう振り分ける分配工程と、
前記積分手段における積分回数で前記積分手段の積分結果を除算する第１演算工程と、
前記第１演算工程からの除算結果から最小値を検出する検出工程と、
前記検出工程で検出された前記最小値を前記除算結果から減算する第２演算工程と、を備え、前記メモリ手段から出力される前記デジタル画像データの前記光学的黒領域画素データに含まれる前記ビートノイズの前記周期データを得る、ことを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項１６】
前記補正工程は、
前記ビートノイズの前記周期データから１つの周期データを選択する第２選択工程と、
前記メモリ手段より出力される前記デジタル画像データから前記第２選択工程で選択された前記ビートノイズの前記１つの周期データを減算する第１演算工程と、をさらに備える、ことを特徴とする請求項１３に記載の画像処理装置の制御方法。
【請求項１７】
前記補正工程は、
１水平期間あたりの前記有効画素の数をカウントする第１カウント工程と、
水平期間数をカウントする第２カウント工程と、
前記第１カウント工程の出力と１水平期間の１画素目から有効画素データの１画素目までの画素数を加算する第２演算工程と、
前記第２カウント工程の出力をフィールド数で除算した余りを算出する第３演算工程と、
前記第３演算工程の出力に従ってビートノイズのフィールドごとの位相差を選択する第３選択工程と、
前のフィールドの位相に前記第３選択工程の出力を加算する第４演算工程と、
前記第１カウント工程でのカウントが前記有効画素の１水平期間当たりの画素数の値になるタイミングで前記第４演算工程の出力を更新し、それ以外は出力を保持する保持工程と、
前記第２演算工程の出力と前記保持工程の出力を加算する第５演算工程と、
前記第５演算工程の出力をビートノイズの周期当たりの画素数で除算した余りを算出する第６演算工程と、をさらに備え、
前記第６演算工程の出力を前記第２選択工程における選択制御信号とする、ことを特徴とする請求項１６に記載の画像処理装置の制御方法。
【請求項１８】
固体撮像素子から転送されるアナログ信号をデジタルに変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力される有効画素からビートノイズの周期データを減算する補正手段を備える画像処理装置の制御方法において、
前記Ａ／Ｄ変換手段から出力される一部の光学的黒領域画素データを、前記ビートノイズの周期あたりの画素単位の個数分設けられた積分器に順に積分されるよう振り分ける分配工程と、
各々の前記積分器における積分回数で前記積分器の積分結果を除算する第１演算工程と、
前記第１演算工程における除算結果から最小値を検出する検出工程と、
前記検出工程において検出された前記最小値を前記除算結果から減算する第２演算工程と、を備え、
前記補正手段において積分され正規化された前記ビートノイズのパラメータの中からパラメータ最小値を検出し、前記ビートノイズの前記パラメータから前記パラメータ最小値を減算することで前記ビートノイズのオフセット除去を行う、ことを特徴とする画像処理装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像を撮像する撮像装置等に適用される画像処理装置に関し、特に撮像した映像信号に重畳するビートノイズの除去を可能とした画像処理装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラ、携帯電話等に用いられるＣＣＤなどの固体撮像素子は、小型化及び高画素化が進み、固体撮像素子を駆動させる撮像回路の駆動周波数が高くなってきている。また、撮像装置には固体撮像素子の駆動回路以外に、ＣＰＵなどの制御システム回路、ＤＲＡＭなどのメモリ回路及びＬＣＤ等の表示回路を有する。これらの回路のそれぞれが異なる高い周波数のクロック信号で動作している。このような複数の異なる周波数のクロック信号が存在する撮像装置において、装置の小型化により基板面積が小さくなり、各回路間のクロック干渉が無視できない問題となっている。例えば、クロック信号水平期間間の干渉、クロック信号水平期間と電源配線パターンの干渉、クロック信号水平期間とアナログ信号の干渉等が挙げられる。これらのクロック干渉が起こると、干渉したクロック周波数のノイズが撮像した映像信号に重畳してしまい、得られる画像データの品位が劣化する問題がある。
【０００３】
従来技術においては、映像信号に重畳したノイズを抽出してキャンセルするために、１水平期間分の画像データを記憶する記憶部を備え、固体撮像素子の垂直方向の光学的黒画素を水平期間積分して記憶部に記憶する。そして、有効画素データから１水平期間の記憶画像データを減算することで重畳されたノイズを除去することが、例えば特許文献１で提案されている。
【０００４】
他の従来技術においては、例えば特許文献２において、ビートノイズ信号をキャンセルする技術が提案されている。ここでは、２種類のクロックにより形成されるビートノイズ信号の１周期に相当する画素数分の複数チャンネルを有し、キャプチャ中の光学的黒領域における各画素の信号を順次複数チャンネルごとに積分するマルチチャンネルクランプ回路を設けている。そしてこの積分値を入力画像データから減算することでビートノイズ信号を取り除く方法が用いられている。
【特許文献１】特開平７−６７０３８号公報
【特許文献２】特開２００２−１５２６００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の従来例では、複数水平期間の画像データを１水平期間分の信号として積分するため、垂直方向に発生したノイズしか抽出できず、斜め方向に発生したノイズには対応できない。
【０００６】
また、特許文献２において、ビートノイズ信号の周期が画素データの整数倍でない場合についての処理方法については考慮されておらず、特許文献２で提案された内容で対応するには不十分である。実際には、ビートノイズ信号の周期や初期位相の値は、画素データの有理数倍の値である場合もある。さらに、特許文献２で提案された発明では、ビートノイズ信号の周期が予め判明していないとビートノイズ信号を取り除くことができない。さらに、この従来技術の提案では、固体撮像素子からの画像データに対して１画素ずつノイズを除去する構成である。しかしながら、多フィールド読み出しの固体撮像素子で撮影されメモリ上でフレーム化された画像データに対してはビートノイズ信号の除去を行うことが出来ない。
【０００７】
本発明は、ビートノイズの周期や初期位相の値が画素の整数倍以外である場合において、画像信号に含まれるビートノイズ成分を精度良く抽出し、画像信号からビートノイズ成分を除去することを目的とする。本発明の他の目的は、ビートノイズの周期が不明な場合においても補正を可能にすることを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するため、本願の実施形態に係る画像処理装置は、入力されるデジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正手段を備える画像処理装置において、
前記補正手段は、
前記デジタル画像データに含まれる光学的黒領域画素データを順次周期的に振り分ける分配手段と、
前記分配手段より分配された前記光学的黒領域画素データが順次入力される積分手段と、
前記積分手段における積分結果を積分回数で除算する第１演算手段と、
前記第１演算手段の出力の最小値を検出する最小値検出手段と、
前記最小値と前記除算結果とを演算することにより前記ビートノイズの前記周期データを得る第２演算手段と、を備える、ことを特徴とする。
【０００９】
上記の目的を達成するため、本願の他の実施形態に係る画像処理装置は、多フィールド読み出しの固体撮像素子から出力されるアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段より出力される前記デジタル画像データを一時保持するメモリ手段と、
前記Ａ／Ｄ変換手段又は前記メモリ手段から出力される前記デジタル画像データを選択する第１選択手段と、
前記第１選択手段で選択された前記前記デジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正手段と、を備え、
水平期間ごとに次の水平期間を前記固体撮像素子から読み出した時の水平同期信号の周期および読み出したフィールドに対応する位相補正を行う、ことを特徴とする。
【００１０】
上記の目的を達成するため、本願の、さらに他の実施形態に係る画像処理装置は、固体撮像素子から転送されるアナログ信号をデジタルに変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力される有効画素からビートノイズの周期データを減算する補正手段を備える画像処理装置において、
前記Ａ／Ｄ変換手段から出力される一部の光学的黒領域画素データを、前記ビートノイズの周期あたりの画素単位の個数分設けられた積分器に順に積分されるよう振り分ける分配手段と、
各々の前記積分器における積分回数で前記積分器の積分結果を除算する第１演算手段と、
前記第１演算手段における除算結果から最小値を検出する検出手段と、
前記検出手段において検出された前記最小値を前記除算結果から減算する第２演算手段と、を備え、
前記補正手段において積分され正規化された前記ビートノイズのパラメータの中からパラメータ最小値を検出し、前記ビートノイズの前記パラメータから前記パラメータ最小値を減算することで前記ビートノイズのオフセット除去を行う、ことを特徴とする。
【００１１】
上記の目的を達成するため、本願の、さらに他の実施形態に係る画像処理装置の制御方法は、入力されるデジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正手段を備える画像処理装置の制御方法において、
前記補正手段は、
前記デジタル画像データに含まれる光学的黒領域画素データを順次周期的に振り分ける分配工程と、
前記分配工程で分配された前記光学的黒領域画素データが順次入力される積分工程と、
前記積分工程の積分結果を積分回数で除算する第１演算工程と、
前記第１演算工程の出力の最小値を検出する最小値検出工程と、
前記最小値と前記除算結果とを演算することにより前記ビートノイズの前記周期データを得る第２演算工程と、を備える、ことを特徴とする。
【００１２】
上記の目的を達成するため、本願の、さらに他の実施形態に係る画像処理装置の制御方法は、多フィールド読み出しの固体撮像素子から出力されるアナログ画像信号をデジタル画像データに変換するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換工程より出力される前記デジタル画像データをメモリ手段に一時保持するメモリ工程と、
前記Ａ／Ｄ変換工程又は前記メモリ手段から出力される前記デジタル画像データを選択する第１選択工程と、
前記第１選択工程で選択された前記前記デジタル画像データに含まれる有効画素データからビートノイズの周期データを減算する補正工程と、を備え、
水平期間ごとに次の水平期間を前記固体撮像素子から読み出した時の水平同期信号の周期および読み出したフィールドに対応する位相補正を行う、ことを特徴とする。
【００１３】
上記の目的を達成するため、本願の、さらに他の実施形態に係る画像処理装置の制御方法は、固体撮像素子から転送されるアナログ信号をデジタルに変換するＡ／Ｄ変換手段と、
前記Ａ／Ｄ変換手段から出力される有効画素からビートノイズの周期データを減算する補正手段を備える画像処理装置の制御方法において、
前記Ａ／Ｄ変換手段から出力される一部の光学的黒領域画素データを、前記ビートノイズの周期あたりの画素単位の個数分設けられた積分器に順に積分されるよう振り分ける分配工程と、
各々の前記積分器における積分回数で前記積分器の積分結果を除算する第１演算工程と、
前記第１演算工程における除算結果から最小値を検出する検出工程と、
前記検出工程において検出された前記最小値を前記除算結果から減算する第２演算工程と、を備え、
前記補正手段において積分され正規化された前記ビートノイズのパラメータの中からパラメータ最小値を検出し、前記ビートノイズの前記パラメータから前記パラメータ最小値を減算することで前記ビートノイズのオフセット除去を行う、ことを特徴とする。
【発明の効果】
【００１４】
本発明によれば、垂直方向以外に斜め方向に発生するビートノイズも除去することが可能となる。また、画素クロックの整数倍以外の周期であるビートノイズも補正することが可能である。
【発明を実施するための最良の形態】
【００１５】
＜実施形態１＞
図１は、本発明の実施形態１に係る撮像装置の機能を示す機能ブロック図である。実施形態１に係る撮像装置は、ビートノイズ信号の周期が画素データの周期の整数倍であり、撮像しながらビートノイズ信号の除去を行うことが可能に構成されている。
【００１６】
図１において、１０１は撮像レンズ、１０２は絞り機構、１０３は光信号を光電変換する半導体の撮像素子である。撮像素子１０３は、ＣＣＤ撮像素子やＭＯＳ撮像素子等、半導体技術による固体撮像素子が使用可能である。また、１０４は、固定値の周期である水平同期信号ＨＤ（以下ＨＤ信号）及び垂直同期信号ＶＤ（以下ＶＤ信号）を生成する同期信号発生器（以下ＳＳＧという）である。又１０５は、ＨＤ信号及びＶＤ信号に同期した信号であって、撮像素子１０３を駆動させる各種の制御信号を生成するタイミングジェネレータ（以下ＴＧという）である。
【００１７】
さらに、１０６は、アナログの画像信号をデジタルの画像データに変換するＡ／Ｄ変換回路である。さらに１０７はＡ／Ｄ変換回路１０６から出力された画像データに含まれるビートノイズ成分の１周期分のノイズデータを光学的黒画素データより算出するビートノイズ検出回路である。また、１０８は、ビートノイズ検出回路１０７において算出されたビートノイズ１周期分のノイズデータを有効画像データから減算するビートノイズ除去回路である。
【００１８】
さらに、１０９は、ビートノイズ検出回路１０７及びビートノイズ除去回路１０８を駆動する制御信号を生成するウィンドウ回路である。また１１０は、各回路のモードやパラメータを決定するシステムコントローラ、１１１は、画像データに対し、補間処理や色変換処理などの画像処理を行う信号処理回路である。
【００１９】
さらに、１１３は、信号処理された画像データを一時記憶するＤＲＡＭ、１１２は、ＤＲＡＭ１１３と各回路のバスアービトレーションを行うメモリ制御回路、１１４は、画像データの縮小や拡大を行う変倍回路である。また、１１６は、画像データを表示する表示デバイスであるＬＣＤ、１１５は、ＬＣＤ１１６で画像データを表示するための表示制御回路である。
【００２０】
さらに、１１７は、画像データをＪＰＥＧ圧縮方式などの圧縮方式で圧縮及び／又は伸長するための圧縮伸長回路である。また、１１９は、圧縮伸長回路１１７で圧縮された画像データを記録する脱着可能なメモリカード、１１８は、メモリカード１１９とのインターフェースを行うＩ／Ｆ回路である。
【００２１】
次に、図１に示した構成を備える、本発明の実施形態１に係る撮像装置の撮像動作について説明する。ＴＧ１０５は、ＳＳＧ１０４において生成されるＨＤ信号及びＶＤ信号から撮像素子１０３を駆動する制御信号を生成する。撮像素子１０３は、ＴＧ１０５による制御信号のタイミングで、レンズ１０１及び絞り１０２を通過した光信号を電気信号へと変換する。撮像素子１０３において読み込まれたアナログの画像信号は、Ａ／Ｄ変換回路１０６においてアナログの画像信号からデジタルの画像データに変換されてビートノイズ検出回路１０７及びビートノイズ除去回路１０８へ出力される。
【００２２】
ウィンドウ回路１０９は、ＨＤ信号およびＶＤ信号を参照し、ビートノイズ検出回路１０７へイネーブル信号ＩＮＴＧ＿ＯＮ、セレクト信号ＩＮＴＧ＿ＳＥＬ、リセット信号ＩＮＴＧ＿ＣＬＲを供給する。さらに、ビートノイズ除去回路１０８へイネーブル信号ＲＥＭＶ＿ＯＮ及びリセット信号ＩＮＴＧ＿ＯＮを供給する。
【００２３】
また、ビートノイズ検出回路１０７は、ウィンドウ回路１０９から供給された制御信号に従ってビートノイズの１周期当たりの画素数のノイズデータを求める。そしてビートノイズ除去回路１０８において、画像データからビートノイズ検出回路１０７により求められたノイズデータを減算してビートノイズ成分を除去する。
【００２４】
ビートノイズ除去回路１０８から出力される、ビートノイズ成分が除去された画像データは、信号処理回路１１１において信号処理され、メモリ制御回路１１２を介してＤＲＡＭ１１３へ格納される。
【００２５】
また変倍回路１１４は、ＤＲＡＭ１１３に格納されている画像データを読み出し、ＬＣＤ１１６に表示させるため７２０×４８０画素程度のサイズに変倍処理をして、表示制御回路１１５を介して画像データをＬＣＤ１１６に表示する。また、圧縮伸長回路１１７においては、ＤＲＡＭ１１３から読み出した画像データを圧縮処理し、圧縮処理された圧縮画像データをＤＲＡＭ１１３に書き込む。さらにＩ／Ｆ回路１１８においては、ＤＲＡＭ１１３から読み出した圧縮画像データをメモリカード１１９へ書き込む。
【００２６】
図２は、例えばビートノイズの周期が４画素周期である場合のビートノイズ検出回路１０７の構成を示す。ビートノイズ検出回路１０７は、積分器２０２乃至２０５を備え、ウィンドウ回路１０９からの信号ＩＮＴＧ＿ＣＬＲがハイレベルになると、これら積分器２０２乃至２０５の積分値がリセットされる。
【００２７】
この信号ＩＮＴＧ＿ＣＬＲは、図３に示すように、３０４に示す位置においてハイレベルになり、積分器２０２乃至２０５のリセット動作が行われる。図３におけるリセット位置３０４の次の画素データからは、ウィンドウ回路１０９からの信号ＩＮＴＧ＿ＯＮがハイレベルになる。したがって、図２に示すＡＮＤ回路２００で、Ａ／Ｄ変換回路１０６より出力される画像データが信号ＩＮＴＧ＿ＯＮでゲートされて振り分け回路２０１へ送られる。
【００２８】
この信号ＩＮＴＧ＿ＯＮは、図３に示すように、光学的黒領域３０３に含まれる１水平期間に含まれる光学的黒画素データが、ビートノイズ検出回路１０７の積分器２０２乃至２０５のいずれかにおいて積分される期間、ハイレベルになる信号である。
【００２９】
振り分け回路２０１は、ウィンドウ回路１０９より出力される信号ＩＮＴＧ＿ＳＥＬの値に従い、信号ＩＮＴＧ＿ＯＮでゲートされた画像データを、積分器２０２、積分器２０３、積分器２０４及び積分器２０５のいずれかへ振り分ける。
【００３０】
この信号ＩＮＴＧ＿ＳＥＬは、図３に示すように、信号ＩＮＴＧ＿ＯＮがハイレベル、すなわち”１”の期間において、ビートノイズの周期の画素数の範囲で、供給される画像データを１画素ずつ順番に選択を周期的に繰り返す信号である。
【００３１】
本実施形態１では、ビートノイズ周期が４画素周期であると仮定したので、信号ＩＮＴＧ＿ＳＥＬが０、１、２、３、０・・・と繰り返す。この場合、振り分け回路２０１は光学的黒画素データの振り分け出力先を、それぞれ積分器２０２、積分器２０３、積分器２０４、積分器２０５、積分器２０２・・・と繰り返して切り替える。このような動作によって、積分器２０２乃至積分器２０５は、このように供給された１水平期間分の光学的黒画素データを積分する。
【００３２】
ビートノイズ検出回路１０７に設けられる積分器の数はビートノイズの周期の画素数によって決まる。本実施形態１においてはビートノイズの周期が４画素周期であるため、４個の積分器２０２乃至２０５が設けられている。当然にして、ビートノイズの周期が４画素周期以下の場合においても、ビートノイズの周期に応じて信号ＩＮＴＧ＿ＳＥＬの周期を変化させることにより対応できる。例えばビートノイズの周期が３画素周期であれば、信号ＩＮＴＧ＿ＳＥＬを０、１、２、０、１、２、・・・と変化させればよい。また、ビートノイズの周期が４画素周期以上であれば、積分器の数をビートノイズの周期に応じて増やせば対処可能である。
【００３３】
また、信号ＩＮＴＧ＿ＯＮ、信号ＩＮＴＧ＿ＳＥＬ及び信号ＩＮＴＧ＿ＣＬＲは、図４に示すように、ウィンドウ回路１０９に設けたそれぞれ水平カウンタ４０５及び垂直カウンタ４０６の出力をデコーダ４０７乃至４１０でデコードすることで生成される。
【００３４】
また、積分器２０２の積分結果は、除算器２０６においてＮで除算される。Ｎの値は積分器に積分された値を正規化するように決定され、図１のシステムコントローラ１１０が指定する。同様に、除算器２０７は積分器２０３の積分結果を、除算器２０８は積分器２０４の積分結果を、除算器２０９は積分器２０５の積分結果をそれぞれＮで除算し、１画素当たりの信号レベルに正規化する。
【００３５】
次に、最小値検出回路２１０において、除算器２０６乃至２０９で正規化されたデータの中から最小値ＭＩＮを検出する。減算器２１１乃至２１４において、除算器２０６乃至２０９からの正規化されたデータからそれぞれ最小値ＭＩＮを減算することで、ビートノイズの直流（ＤＣ）成分が除去される。以上の方法にてビートノイズの１周期分の画素値であるノイズデータＮＺ１、ＮＺ２、ＮＺ３及びＮＺ４が生成される。
【００３６】
次に、図５を使用して、ビートノイズ除去回路１０８における補正方法について説明する。セレクタ５０１は、ビートノイズ検出回路１０７において生成されたノイズデータＮＺ１、ＮＺ２、ＮＺ３及びＮＺ４を後述する選択制御信号である出力Ｄに従って選択する。そして、減算器５０７で、Ａ／Ｄ変換回路１０６から供給される有効画素データから、セレクタ５０１で選択されたノイズデータを減算する。さらにセレクタ５１３は、ウィンドウ回路１０９から出力される信号ＲＥＭＶ＿ＯＮがハイレベルの時は減算器５０７の出力を選択し、補正後画像データとして出力する。しかし、信号ＲＥＭＶ＿ＯＮがロウレベルの時は、Ａ／Ｄ変換回路１０６から供給された画素データを選択しそのまま出力する。
【００３７】
信号ＲＥＭＶ＿ＯＮは、有効画素領域３０２の有効画素信号がＡ／Ｄ変換回路１０６からビートノイズ除去回路１０８へ送られてくる期間にハイレベルになる信号である。信号ＲＥＭＶ＿ＯＮは、図４に示すように、ウィンドウ回路１０９に設けられた、水平カウンタ３０５及び垂直カウンタ３０６の出力をデコーダ４１０でデコードすることで生成される。
【００３８】
次に、セレクタ５０１の選択制御信号の生成方法について、図５のブロック図及び図６のタイムチャート図を使用して説明する。信号ＲＥＭＶ＿ＯＮがハイレベルになると、図６に示すように画素カウンタ５０２のリセットが解除され、クロックに従いカウントアップして１水平期間分のカウントを実行する。画素カウンタ５０２のカウント値は加算器５１２へ送られる。加算器５１２は、画素カウンタ５０２のカウント値と信号ｉｎｉｔｉａｌ＿ｐｈａｓｅを加算する。信号ｉｎｉｔｉａｌ＿ｐｈａｓｅは、図６に示すようにＨＤ信号の開始から信号ＲＥＭＶ＿ＯＮの開始までの画素数、もしくはこの画素数をビートノイズの周期で割った余りであり、システムコントローラ１１０により設定される。加算器５１２の加算結果を出力Ｂとして図６に図示する。この図では、信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値を２としている。
【００３９】
水平期間カウンタ５０３は、ウィンドウ回路１０９から送られる信号ＩＮＴＧ＿ＯＮがハイレベルの時にカウント値がリセットされ、図６に示すように、信号ＩＮＴＧ＿ＯＮがロウレベルの時はＨＤ信号に従いカウント動作が実行される。つまり水平期間カウンタ５０３は、ビートノイズ検出回路１０７において光学的黒画素データの１水平期間分からノイズデータＮＺ１乃至ＮＺ４が算出される水平期間を基準としてカウント動作が行われる。
【００４０】
信号ｐｈａｓｅは、図６に示すように、１水平期間ごとのビートノイズ位相差の信号であり、システムコントローラ１１０から送られる。信号ｐｈａｓｅと水平期間カウンタ５０３の出力値を乗算器５０４で乗算する。乗算器５０４の乗算結果を出力Ａとして図６に図示し、この図では、信号ｐｈａｓｅの値を１としている。さらに、乗算器５０４の乗算結果と加算器５１２の加算結果とを加算器５０５で加算する。加算器５０５の加算結果を出力Ｃとして図６に示している。
【００４１】
剰余演算器５０６は、加算器５０５における加算結果をビートノイズ１周期分の画素数４で割った余りの値をセレクタ５０１に選択制御信号として送る。剰余演算器５０６における剰余演算結果を出力Ｄとして図６に示している。選択制御信号である出力Ｄは、信号ＲＥＭＶ＿ＯＮがハイレベルの期間において、図６に示したビートノイズ位相の値と等しくなっており、セレクタ５０１においてビートノイズの位相に合わせてノイズデータが選択される。なお、剰余演算器５０６におけるビートノイズ１周期分の画素数の値は、システムコントローラ１１０が指定する。
【００４２】
システムコントローラ１１０は、図７のフローチャート図のように動作する。図７において、ステップＳ７０１では、モードに応じてクロック周波数を設定する。すなわち、高解像動画を撮影するモードや電子ビューファインダーなどの省電モードなど、撮像装置の動作モードに従ってシステムコントローラ１１０からＴＧ１０５へ信号を送り撮像素子のクロック周波数を変更する。この場合、図８に示すように、周囲のクロックは一定であるためビートノイズの周期は不変であるが、１周期当たりの画素数が変化する。次に、ステップＳ７０２では、撮像素子１０３のクロック周波数をビートノイズの周波数で除算して、ビートノイズ１周期当たりの画素数を計算し、ビートノイズ除去回路１０８における剰余演算器５０６に設定する。その後、ステップＳ７０３に進み、光学的黒領域の１水平期間分の画素数をビートノイズ周期の画素数で除算し、積分器２０２乃至積分器２０５における各積分値を正規化する値Ｎを求め、ビートノイズ検出回路１０７に設定する。
【００４３】
次にステップＳ７０４では、信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値を求める。この場合、図６に示すようにＨＤ信号の開始から信号ＲＥＭＶ＿ＯＮの開始までの画素数または画素数をビートノイズ周期で除算した余りの値を信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値とし、ビートノイズ除去回路１０８へ設定する。さらにステップＳ７０５では信号ｐｈａｓｅの値を求めるが、図６に示すようにＨＤ信号の周期のクロック数をビートノイズ周期の画素数で除算した余りの値を信号ｐｈａｓｅの値とし、ビートノイズ除去回路１０８へ設定する。
【００４４】
＜実施形態２＞
図９は、本発明の実施形態２に係る撮像装置の機能を示す機能ブロック図であり、ビートノイズ信号の周期が画素データの周期の整数倍であり、ＤＲＡＭ１１３から画像データを読み出してビートノイズ信号の除去を行うことが可能に構成されている。
【００４５】
本実施形態２では、システムコントローラ１１０から出力する信号によって、画像データの取り込み時にビートノイズ除去を行うか、またはＤＲＡＭ１１３から読み出した画像データに対してビートノイズ除去を行うか、の切り替えが可能に構成されている。さらに、ビートノイズの周期が不明であっても、一旦メモリに取り込んだ画像データの光学的黒領域をＦＦＴ変換などにより解析することで、ビートノイズ周期を求めた後にビートノイズ補正が行うことができる。
【００４６】
図９においては、図１と同じ回路要素には同じ参照符号を示している。したがって、特段の説明がない場合には、図１と同じ動作を行うものとする。図９において、撮像素子１０３からＨＤ信号及びＶＤ信号に同期したクロックで信号を読み出された画像データは、Ａ／Ｄ変換回路１０６を経てメモリ制御回路１１２によってＤＲＡＭ１１３へ記憶される。
【００４７】
システムコントローラ１１０から出力される信号ｍｅｍＯＮは、ＤＲＡＭ１１３から読み出した画像データに対してビートノイズ除去を行う場合においてはハイレベルとなり、キャプチャ時にビートノイズ除去を行う場合においてはロウレベルとなる。本実施形態２においては、信号ｍｅｍＯＮはハイレベルとなり、セレクタ１２１においてメモリ制御回路１１２を介してＤＲＡＭ１１３から読み出した画像データをメモリ画像同期回路１２０へ出力する。メモリ画像同期回路１２０は、メモリ制御回路１１２によってＤＲＡＭ１１３から読み出された画像データの１水平期間ごとに１パルス出力する信号ｍｅｍＨＤ信号を生成し出力する。
【００４８】
ＤＲＡＭ１１３から読み出した画像データは、図３の３０７に示す領域でありＨＤ信号とは非同期であるため、ＤＲＡＭ１１３から読み出した画像データに対応した信号ｍｅｍＨＤ信号を新たに生成する必要がある。また、ＤＲＡＭ１１３から読み出す画像データは１枚単位であるため、ＶＤ信号については新たに信号を生成する必要は無い。また、同時に、メモリ画像同期回路１２０は、ＤＲＡＭ１１３から読み出された画像データをビートノイズ検出回路１０７及びビートノイズ除去回路１０８へ出力する。
【００４９】
セレクタ１２２では、信号ｍｅｍＯＮがハイレベルであれば信号ｍｅｍＨＤを選択し、信号ｍｅｍＯＮがロウレベルであればＨＤ信号を選択する。本実施形態２では、信号ｍｅｍＯＮはハイレベルであるため、信号ｍｅｍＨＤをウィンドウ回路１０９へ出力する。ウィンドウ回路１０９は、信号ｍｅｍＨＤ信号をデコードして信号ＩＮＴＧ＿ＯＮ、信号ＩＮＴＧ＿ＳＥＬ、信号ＩＮＴＧ＿ＣＬＲ、信号ＲＥＭＶ＿ＯＮを生成し、ビートノイズ検出回路１０７及びビートノイズ除去回路１０８へ出力する。
【００５０】
ビートノイズ検出回路１０７及びビートノイズ除去回路１０８で、信号ＩＮＴＧ＿ＯＮ、信号ＩＮＴＧ＿ＳＥＬ、信号ＩＮＴＧ＿ＣＬＲ、信号ＲＥＭＶ＿ＯＮに従ってビートノイズの除去が行われ、メモリ制御回路１１２によってＤＲＡＭ１１３に記憶される。ＤＲＡＭ１１３に記憶されたビートノイズ成分が除去された画像データは、信号処理回路１１１で信号処理され、メモリ制御回路１１２を介してＤＲＡＭ１１３へ格納される。
【００５１】
変倍回路１１４においてＤＲＡＭ１１３に格納されている画像データを読み出し、ＬＣＤ１１６に表示させるサイズに変倍し、表示制御回路１１５において画像データをＬＣＤ１１６に表示する。また、圧縮伸長回路１１７においてＤＲＡＭ１１３から読み出した画像データを圧縮し、Ｉ／Ｆ回路１１８においてメモリカード１１９へ圧縮された圧縮画像データを書き込む。
【００５２】
次に、実施形態２におけるビートノイズの補正方法について説明する。実施形態２におけるビートノイズ検出回路１０７の構成及び動作は、実施形態１と同様であり、図２と同じ構成である。しかしビートノイズ除去回路１０８においては、ＤＲＡＭ１１３から読み出した画像データに対するノイズデータＮＺ１乃至ＮＺ４を選択する方法について、使用する撮像素子１０３の走査方式に応じた選択をする必要がある。
【００５３】
撮像素子１０３の走査方式がプログレッシブ走査型ＣＣＤなどの１水平期間ずつ順次に読み取るセンサを用いて撮像しＤＲＡＭ１１３に記憶されている画像データについて説明する。すなわちこの場合、１水平期間ごとのビートノイズの位相変化は、図６におけるＨＤ信号期間の１画素目のビートノイズ位相に示すように、１水平期間進むごとに信号ｐｈａｓｅの値が３ずつ進んでいる。このように各水平期間のビートノイズの位相は、ＨＤ信号の一定周期に依存するため一定に変化しており、実施形態１の画像データを取得しながらノイズ除去する場合と同様に、図５に示したビートノイズ除去回路１０８の構成にてノイズデータを選択すればよい。
【００５４】
しかしながら、撮像素子１０３の走査方式がインターレース走査ＣＣＤなど２フィールド読み出しのセンサを用いて撮像しＤＲＡＭ１１３に記憶されている画像データについて説明する。この場合には、１つのフィールドの中で水平期間ごとの位相変化は、図６に示したようにそれぞれ一定である。しかしながら、図１１におけるＶＤ信号期間の１画素目のビートノイズ位相に示すようにフィールドごとにビートノイズの位相差があるため、ビートノイズ成分を含む画像データに対するノイズデータの選択を次のような方法で行う必要がある。
【００５５】
図１０に、実施形態２におけるビートノイズ除去回路１０８の回路図を示す。図１０において、図５と同じ回路要素には同じ参照符号を示している。したがって、特段の説明がない場合には、図５と同じ動作を行うものとする。インターレース走査型ＣＣＤを使用して１水平期間おきに走査された画像をＤＲＡＭ１１３から読み出した場合について説明する。
【００５６】
図１０における信号ｅｖｅｎ＿ｉｎｃｒは、奇数番目の水平期間に対する偶数番目の水平期間の位相差の信号であり、信号ｏｄｄ＿ｉｎｃｒは偶数番目の水平期間に対する奇数番目の水平期間の位相差の信号である。信号ｅｖｅｎ＿ｉｎｃｒおよび信号ｏｄｄ＿ｉｎｃｒはシステムコントローラ１１０が設定する。
【００５７】
セレクタ５０８で、水平期間カウンタ５０３のＬＳＢが０のとき、画像データの偶数水平期間を処理していることになるため、信号ｅｖｅｎ＿ｉｎｃｒを選択する。一方、水平期間カウンタ５０３のＬＳＢが１のとき、画像データの奇数水平期間を処理していることになるため、信号ｏｄｄ＿ｉｎｃｒを選択する。
【００５８】
加算器５０９で、１水平期間前の位相にセレクタ５０８の出力を加算する。加算器５０９の加算結果は、システムコントローラ１１０によって指定された１水平期間分の画素数に画素カウンタ５０２のカウンタ値が一致したタイミングで、フリップフロップ５１０にロードされる。そのために、ＡＮＤ回路５１４、５１５及びＯＲ回路５１６が設けられる。一方、１水平期間分の画素数に画素カウンタ５０２のカウンタ値が一致しない期間においては、フリップフロップ５１０の値はそのまま保持される。
【００５９】
加算器５１２で、画素カウンタ５０２のカウンタ値と信号ｉｎｉｔｉａｌ＿ｐｈａｓｅとを加算する。信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値は、信号ｍｅｍＨＤから信号ＲＥＭＶ＿ＯＮのハイレベルになるまでの画素数である。
【００６０】
加算器５０５で、フリップフロップ５１０にホールドされているビートノイズの位相の値と加算器５１２の出力を加算する。剰余演算器５０６において、加算器５０５における加算結果をビートノイズ１周期分の画素数４で割った余りをセレクタ５０１に選択制御信号として出力する。なお、剰余演算器５０６におけるビートノイズ１周期分の画素数の値は、システムコントローラ１１０が指定する。
【００６１】
セレクタ５０１では、選択制御信号に従ってノイズデータを選択し、加算器５０７で画像データからノイズデータを減算する。セレクタ５１３で、信号ＲＥＭＶ＿ＯＮがハイレベルの時は減算器５０７の出力を選択し、補正後画像データとして出力する。信号ＲＥＭＶ＿ＯＮがロウレベルの時は、Ａ／Ｄ変換回路１０６から入力された画素データを選択しそのまま出力する。
【００６２】
図１０においては、２フィールド読み出しの撮像素子を用いた場合について述べたが、３フィールド以上の読み出しの撮像素子を用いた場合においても対処可能であり、フィールド数をＸとした場合について示す。
【００６３】
図１２に示すように、セレクタ５０８におけるフィールドの位相差データをフィールド数Ｘだけ用意する。また、剰余演算器５１１において水平期間カウンタ５０３のカウンタ値をフィールド数Ｘで剰余演算した結果をセレクタ５０８の選択制御信号として入力すればよい。
【００６４】
図５、図１０及び図１２に示したようなノイズデータを選択するセレクタ５０１の選択信号を生成する際に、画素カウンタ５０２にｉｎｉｔｉａｌ＿ｐｈａｓｅを加算する加算器５１２と、水平期間カウンタ５０３にｐｈａｓｅを乗算する乗算器５０４を設ける。これにより、１水平期間ごとにビートノイズが何画素ずれるかを認識できるため、メモリから読み出したデータについてもビートノイズ除去を行うことができる。
【００６５】
さらに、本実施形態では、メモリから読み出したデータに対してビートノイズ除去を可能にした。したがって、前述したように、ビートノイズの周期が不明であっても、メモリから読み出した画像データの光学的黒領域をＦＦＴ変換などにより解析することで、ビートノイズ周期を求めた後にビートノイズ補正を行うことができる。
【００６６】
＜実施形態３＞
本発明の実施形態３においては、ビートノイズの周期が画素の整数倍以外であり、画像データを取得しながらビートノイズの除去を行う。実施形態３が実施形態１と異なる点は、ビートノイズの周期が画素データの整数倍以外という点である。以下、実施形態１とは異なる部分について説明する。
【００６７】
実施形態３におけるビートノイズ検出回路１０７及びビートノイズ除去回路１０８の回路構成及び動作を、図１３、１４及び１５を用いて説明する。
【００６８】
図１３は、ビートノイズの周期が４．５画素周期であるとき、光学的黒画素データ４．５画素をノイズデータ５画素に換算し、さらに５画素のノイズデータを用いて補正後の画像データを求める方法を説明する図である。図１４は、実施形態３におけるビートノイズ検出回路１０７の回路図であり、図１５は、実施形態３におけるビートノイズ除去回路１０８の回路図である。
【００６９】
なお、ビートノイズ周期が４．５画素周期以外である場合においても、画素単位で表したビートノイズ周期の小数点以下を切り上げた整数以上の整数個のデータに換算することにより、ビートノイズ１周期分のデータを求めればよい。
【００７０】
まず、ビートノイズ１周期を含む光学的黒画素データ４．５画素からノイズデータ５画素に換算する。図１３の（ａ）に示すように、光学的黒画素データとノイズデータの位相が同じになるのはビートノイズの２周期毎である。
【００７１】
図１３の（ｂ）はノイズデータの画素の大きさを概念的に示し、ノイズデータ、補正値及び補正後画像データを算出する方法を説明する図である。図１３の（ｂ）に示すように、ノイズデータ１画素の概念的な大きさを光学的黒画素データの０．９画素の大きさとすると、ビートノイズ周期４．５画素をノイズデータ５画素で表すことができる。下記の式のように光学的黒画素データに重み付けをして混合した後、混合後データＭＤの値をそれぞれ１０通り求める。
【００７２】
混合後データＭＤ１＝９／９×光学的黒データａ
混合後データＭＤ２＝１／９×光学的黒データａ＋８／９×光学的黒データｂ
混合後データＭＤ３＝２／９×光学的黒データｂ＋７／９×光学的黒データｃ
混合後データＭＤ４＝３／９×光学的黒データｃ＋６／９×光学的黒データｄ
混合後データＭＤ５＝４／９×光学的黒データｄ＋５／９×光学的黒データｅ
混合後データＭＤ６＝５／９×光学的黒データｅ＋４／９×光学的黒データｆ
混合後データＭＤ７＝６／９×光学的黒データｆ＋３／９×光学的黒データｇ
混合後データＭＤ８＝７／９×光学的黒データｇ＋２／９×光学的黒データｈ
混合後データＭＤ９＝８／９×光学的黒データｈ＋１／９×光学的黒データｉ
混合後データＭＤ１０＝９／９×光学的黒データｉ
上記のように、混合後データＭＤ１乃至ＭＤ１０を算出するビートノイズ検出回路１０７の動作について図１４及び図１６を用いて説明する。図１４において、混合器１４０１、混合比カウンタ１４２４、振り分け回路１４０２、積分器１４０３乃至積分器１４０７、カウンタ１４０８乃至カウンタ１４１２は、ＣＬＫを２逓倍回路１４２６において倍速にした信号ＩＮＴＧ＿ＣＬＫで動作する。
【００７３】
ビートノイズ周期当たりの光学的黒画素データの画素数よりもビートノイズ周期当たりのノイズデータの画素数の方が多くなるため、上記の回路においては入力される光学的黒画素データよりも早く動作しなければならないためである。
【００７４】
図１６に示すように、信号ＩＮＴＧ＿ＣＬＲのハイレベルの時に積分器１４０３乃至積分器１４０７の積分値及びカウンタ１４０８乃至カウンタ１４１２のカウンタ値が０にリセットされる。信号ＩＮＴＧ＿ＯＮのロウレベルの時に混合比カウンタ１４２４のカウンタ値がリセットされ、信号ＩＮＴＧ＿ＯＮがハイレベルになると、信号ＩＮＴＧ＿ＣＬＫに従い、０から１８の間で１ずつカウントアップする。混合比カウンタ１４２４のカウンタ値のビット幅は５ｂｉｔで出力するが、上位４ｂｉｔを係数ｍとして使用し、下位１ｂｉｔの反転を信号ＩＮＴＧ＿ＥＮとして使用する。混合比カウンタ１４２４が１８までカウントし、次の信号ＩＮＴＧ＿ＣＬＫで０になると、連続して信号ＩＮＴＧ＿ＥＮが１となるため、クロック１回の間に２回積分されることになる。
【００７５】
混合比カウンタ１４２４の出力値を除算器１４２５において係数の分母ｄ＝９で除算する。除算器１４２５の除算結果を係数ｍとして混合器１４１０１へ出力する。画素データは信号ＩＮＴＧ＿ＯＮでマスクされ、信号ＩＮＴＧ＿ＯＮがハイレベルの時のみ光学的黒画素データＯＢ１として混合器１４０１へ入力される。また同時に、光学的黒画素データＯＢ１及び信号ＩＮＴＧ＿ＯＮを１画素分遅らせ、光学的黒画素データＯＢ２として混合器１４０１へ入力する。混合器回路１４０１において、光学的黒画素データＯＢ１に係数（１−ｍ）を乗算した結果と光学的黒画素データＯＢ２に係数ｍを乗算した結果を加算することにより、混合後データＭＤの値が求められる。従って、混合後データＭＤを算出する式は下記のようになる。
【００７６】
混合後データＭＤ＝光学的黒画素データＯＢ１×（１−ｍ）＋光学的黒画素データＯＢ２×ｍ
混合比カウンタ１４２４の最大値及び係数の分母ｄの値は、ビートノイズ周期の画素数をノイズデータの画素数で除算することにより求められ、システムコントローラ１１０によって設定される。
【００７７】
積分器１４０３及び積分器１４０７において、図１６に示すように、信号ＩＮＴＧ＿ＥＮがハイレベルであり、且つ信号ＩＮＴＧ＿ＳＥＬにより指定された積分器が振り分け回路１４０２より出力された混合後データを積分する。混合後データＭＤ１と混合後データＭＤ６はビートノイズの同じ位相にあるため、図１４の振り分け回路１４０２により積分器１４０３に積分され、積分結果を図１３の（ｂ）に示す積分データＩＤ１とする。同様に、混合後データＭＤ２と混合後データＭＤ７は積分器１４０４に積分され積分データＩＤ２となり、混合後データＭＤ３と混合後データＭＤ８は積分器１４０５に積分され積分データＩＤ３となる。また、混合後データＭＤ４と混合後データＭＤ９は積分器１４０６に積分され積分データＩＤ４となり、混合後データＭＤ５と混合後データＭＤ１０は積分器１４０７に積分され積分データＩＤ５となる。
【００７８】
カウンタ１４０８乃至カウンタ１４１２において、図１６に示すように、信号ＩＮＴＧ＿ＥＮがハイレベルであり、且つ信号ＩＮＴＧ＿ＳＥＬにより指定されたカウンタが１ずつカウントアップする。カウンタ１４０８は積分器１４０３に積分された回数をカウントしており、積分データＩＤ１をカウンタ１４０８のカウント値で除算し、図１３の（ｂ）に示す正規化データＮＤ１を求める。同様に、積分データＩＤ２をカウンタ１４０９のカウント値で除算し正規化データＮＤ２を、積分データＩＤ３をカウンタ１４１０のカウント値で除算し正規化データＮＤ３を求める。同様に、積分データＩＤ４をカウンタ１４１１のカウント値で除算し正規化データＮＤ４を、積分データＩＤ５をカウンタ１４１２のカウント値で除算し正規化データＮＤ５を求める。
【００７９】
図１４の最小値検出回路１４１８において、正規化データ５個の中から最小値ＭＩＮを検出し、５個の正規化データからそれぞれ最小値ＭＩＮを減算することで、ビートノイズのオフセットが除去される。これにてノイズデータＮＺ１乃至ＮＺ５の５個が求まる。
【００８０】
次に、図１３の（ｂ）に示す補正値Ａ、Ｂ、Ｃ、Ｄ及びＥを求める。補正値Ａ乃至Ｅは、下記の式のようにノイズデータＮＺ１乃至ＮＺ５に重み付けをして求める。なお、補正値Ｆ、Ｇ、Ｈ及びＩについては図示していない。
【００８１】
補正値Ａ＝ノイズデータＮＺ１×（９／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ２×（１／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｂ＝ノイズデータＮＺ２×（８／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ３×（２／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｃ＝ノイズデータＮＺ３×（７／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ４×（３／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｄ＝ノイズデータＮＺ４×（６／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ５×（４／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｅ＝ノイズデータＮＺ５×（５／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ６×（５／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｆ＝ノイズデータＮＺ６×（４／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ７×（６／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｇ＝ノイズデータＮＺ７×（３／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ８×（７／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｈ＝ノイズデータＮＺ８×（２／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ９×（８／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
補正値Ｉ＝ノイズデータＮＺ９×（１／１０−水平期間剰余数ｋ×ｐｈａｓｅ）＋ノイズデータＮＺ１０×（９／１０＋水平期間剰余数ｋ×ｐｈａｓｅ）
上記の演算は、図１５における混合器１５１１において行われ、各ノイズデータＮＺに掛けられる係数は混合比回路１５１０において下記のように生成される。剰余演算器１５０９において、水平期間カウンタ１５０４のカウンタ値を係数の分母である１０で除算した余りである水平期間剰余数ｋ（０≦ｋ≦９）を出力し、混合比回路１５１０へ送る。
【００８２】
混合比回路１５１０において、水平期間剰余数ｋと信号ｐｈａｓｅの乗算が行われる。信号ｐｈａｓｅは、ビートノイズが画像データ１水平期間ごとにずれる位相の値であり、ビートノイズ周期が画素の整数倍以外の場合においては、信号ｐｈａｓｅの値も整数倍以外になることがある。水平期間剰余数ｋと信号ｐｈａｓｅの値の乗算は固定小数点数で行われ、乗算結果が１以上になる場合は整数部を切り捨て、乗算結果は常に１未満の小数とする。
【００８３】
乗算結果を常に１未満の小数とする理由として、図１３の（ｃ）を用いて説明する。図１３の（ｃ）は、信号ｐｈａｓｅの値が３／１０である時の基準ノイズデータ（ｋ＝０）に対するノイズデータ（ｋ＝１、２、３）の位相差の様子を示したものである。ｋの値が進むにつれノイズデータは３／１０画素ずつ左にシフトしており、基準ノイズデータ（ｋ＝０）に比べてｋ＝１、２、３のノイズデータは水平期間剰余数ｋと信号ｐｈａｓｅの値を乗算した値だけ位相がシフトしている。ｋ＝３になるとｋ＝０の時に比べて、ちょうどノイズデータ１画素分だけ左にシフトした状態になり、ｋが４以上の整数である時もノイズデータ１画素以上の位相差があることになる。
【００８４】
従って、基準のノイズデータと１水平期間目以降のノイズデータの位相差が１画素以上となる場合は、前述したように混合比回路１５１０において整数部を切り捨て１未満の小数とする。これにより、補正値を求める際の水平期間ごとの位相変化に対応したノイズデータの重み付けを行うことができる。
【００８５】
以上、信号ｐｈａｓｅの値が３／１０である場合について説明した。しかしながら、信号ｐｈａｓｅの値が１以上の数値である場合においては、信号ｐｈａｓｅの値の整数部を切り捨て、信号ｐｈａｓｅの値の小数部の値についてのみ混合比回路１５１０において演算すればよい。
【００８６】
セレクタ１５０１及びセレクタ１５０２において選択されるノイズデータについては、混合比回路１５１０において切り捨てられる１画素以上の整数の位相差だけシフトさせる必要がある。セレクタ１５０１及びセレクタ１５０２の選択制御信号として、補正値Ａ、Ｂ、Ｃ、Ｄ及びＥを求めるために必要な隣り合う２個のノイズデータを選択する方法について図１５を用いて説明する。
【００８７】
加算器１５１４において、画素カウンタのカウンタ値と信号ｉｎｉｔｉａｌ＿ｐｈａｓｅの値とを加算し、加算結果を加算器１５０６へ送る。乗算器１５０５において、水平期間カウンタ１５０４のカウンタ値に１水平期間ごとの位相差信号ｐｈａｓｅの値を乗算する。信号ｐｈａｓｅの値が３／１０のとき、乗算器１５０５では固定小数点数の乗算が行われ、乗算結果の整数部のみを出力する。この値は混合比回路１５１０において切り捨てた整数部の値と等しい。
【００８８】
加算器１５０６において、乗算器１５０５の出力と加算器１５１４の出力とを加算する。剰余演算器１５０７において、加算器１５０６の加算結果をノイズデータの画素数５で除算した余りを選択制御信号である信号ｓｅｌとして出力する。セレクタ１５０１及びセレクタ１５０２は、図１７に示す選択制御信号である信号ｓｅｌに従いノイズデータを選択し、混合器１５１１において補正値Ａ、Ｂ、Ｃ、Ｄ及びＥが求められ、加算器１５１２において有効画素データから補正値を減算する。
【００８９】
セレクタ１５１３は、信号ＲＥＭＶ＿ＯＮがハイレベルの時は減算器１５１２の出力を選択し、補正後画像データとして出力する。一方、信号ＲＥＭＶ＿ＯＮがロウレベルの時はＡ／Ｄ変換回路１０６からの入力された画素データを選択しそのまま出力する。
【００９０】
また、実施形態２において述べた、多フィールド読み出しの撮像素子から読み出した各フィールド画像がメモリ上でフレーム化された画像データに対するビートノイズ除去にも対応可能である。この場合には、図１５における乗算器１５０５を図１２で示された構成に置き換えればよい。
【００９１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給しても達成可能である。すなわち、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００９２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性の半導体メモリカード、ＲＯＭなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合もある。
【００９３】
しかし、さらにそのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９４】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれる場合もあり得る。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００９５】
【図１】本発明の実施形態に係る画像処理装置の機能ブロック図である。
【図２】本発明の実施形態１に係るビートノイズ検出回路の機能ブロック図である。
【図３】本発明の実施形態に係る画像処理装置における光学的黒領域、有効画素領域等を説明する図である。
【図４】本発明の実施形態に係る画像処理装置で使用されるウィンドウ回路の機能ブロック図である。
【図５】本発明の実施形態１に係るビートノイズ除去回路の機能ブロック図である。
【図６】本発明の実施形態１に係る画像処理装置の動作の説明に供するタイムチャート図である。
【図７】本発明の実施形態に係る画像処理装置におけるシステムコントローラの動作を説明するフローチャート図である。
【図８】本発明の実施形態に係る画像処理装置のモードに対するビートノイズ周波数の変化を説明する図である。
【図９】本発明の実施形態２に係る画像処理装置の機能ブロック図である。
【図１０】本発明の実施形態２に係るビートノイズ除去回路の機能ブロック図である。
【図１１】本発明の実施形態２にフィールドごとの位相差を説明する図である。
【図１２】本発明の実施形態２に係るビートノイズ除去回路の機能ブロック図である。
【図１３】本発明の実施形態２に係る画像処理装置のモードに対するビートノイズ周波数の変化を説明する図である。
【図１４】本発明の実施形態３に係るビートノイズ検出回路の機能ブロック図である。
【図１５】本発明の実施形態３に係るビートノイズ除去回路の機能ブロック図である。
【図１６】本発明の実施形態３に係る画像処理装置の動作の説明に供するタイムチャート図である。
【図１７】本発明の実施形態３の動作の説明に供する、セレクタ１２０１及びセレクタ１２０２で選択されるノイズデータと選択制御信号の関係を表す図である。
【図１】
2008022375.tif 000003
【図２】
2008022375.tif 000004
【図３】
2008022375.tif 000005
【図４】
2008022375.tif 000006
【図５】
2008022375.tif 000007
【図６】
2008022375.tif 000008
【図７】
2008022375.tif 000009
【図８】
2008022375.tif 000010
【図９】
2008022375.tif 000011
【図１０】
2008022375.tif 000012
【図１１】
2008022375.tif 000013
【図１２】
2008022375.tif 000014
【図１３】
2008022375.tif 000015
【図１４】
2008022375.tif 000016
【図１５】
2008022375.tif 000017
【図１６】
2008022375.tif 000018
【図１７】
2008022375.tif 000019