(57)【要約】【課題】ライブ画像のうち複数フレームを用いて動きベクトルを算出する回路において、高ゲイン時にノイズによる誤判定が発生する場合がある。【解決手段】１つ目は、現在のフレームと直前のフレームとの差分信号から動きベクトルを求める際に、差分が小さい場合はクリップ回路により差分０にクリップする。クリップ回路のクリップ量はゲイン（感度）に応じ可変とする。２つ目は、画像生成（表示、保存）用のガンマカーブは画像生成用に最適化し、動きベクトル算出用のガンマカーブは動きベクトル算出用に最適化する。動きベクトル算出用のガンマカーブはゲイン（感度）に応じ可変とする。【選択図】図４
2012095212.tif 000002
【特許請求の範囲】
【請求項１】
入射した光を固体撮像素子上に結像させるレンズ、露出を制御する絞りを備える光学系と、それらを制御するための光学系制御部と、結像させた光学像を電気信号に変換する固体撮像素子と、固体撮像素子を駆動するための電圧、パルスを供給する撮像系制御部と、固体撮像素子の出力にクランプ、ゲインをかける処理を行うアナログ信号処理部と、アナログ信号にデジタル変換を行なうアナログ／デジタル（Ａ／Ｄ）変換部と、Ａ／Ｄ変換したデジタル信号から出力画像を生成するデジタル信号処理部と、デジタル信号処理部にて出力画像を生成する際に一時的に画像データを格納する内部記憶部と、生成した画像データを表示する画像表示部と、生成した画像データを最終的に保存するための外部記憶装置とのインターフェース（Ｉ／Ｆ）部と、デジタル信号処理された複数の出力画像の差分により被写体の動きベクトルを算出する動きベクトル算出部を備える撮像装置において、動きベクトルの算出時の差分信号にクリップを設け、撮影条件に応じてクリップ量を可変とすることを特徴とする撮像装置。
【請求項２】
撮影条件とはノイズレベルであることを特徴とする請求項１に記載の撮像装置。
【請求項３】
撮影条件とは回路アンプゲイン設定であることを特徴とする請求項１に記載の撮像装置。
【請求項４】
撮影条件とは撮影感度設定であることを特徴とする請求項１に記載の撮像装置。
【請求項５】
撮影条件とは露光時間であることを特徴とする請求項１に記載の撮像装置。
【請求項６】
撮影条件とは周辺回路からの飛び込みノイズであることを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮影条件とは被写体輝度であることを特徴とする請求項１に記載の撮像装置。
【請求項８】
撮影条件とは固体撮像素子の駆動モードであることを特徴とする請求項１に記載の撮像装置。
【請求項９】
撮影条件とは固体撮像素子の温度であることを特徴とする請求項１に記載の撮像装置。
【請求項１０】
入射した光を固体撮像素子上に結像させるレンズ、露出を制御する絞りを備える光学系と、それらを制御するための光学系制御部と、結像させた光学像を電気信号に変換する固体撮像素子と、固体撮像素子を駆動するための電圧、パルスを供給する撮像系制御部と、固体撮像素子の出力にクランプ、ゲインをかける処理を行うアナログ信号処理部と、アナログ信号にデジタル変換を行なうアナログ／デジタル（Ａ／Ｄ）変換部と、Ａ／Ｄ変換したデジタル信号から出力画像を生成するデジタル信号処理部と、デジタル信号処理部にて出力画像を生成する際に一時的に画像データを格納する内部記憶部と、生成した画像データを表示する画像表示部と、生成した画像データを最終的に保存するための外部記憶装置とのインターフェース（Ｉ／Ｆ）部と、デジタル信号処理された複数の出力画像の差分により被写体の動きベクトルを算出する動きベクトル算出部を備える撮像装置において、画像生成用のガンマカーブと動きベクトル算出用のガンマカーブを別に設け、撮影条件に応じて動きベクトルの算出用のガンマカーブを可変とすることを特徴とする撮像装置。
【請求項１１】
撮影条件とはノイズレベルであることを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
撮影条件とは回路アンプゲイン設定であることを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
撮影条件とは撮影感度設定であることを特徴とする請求項１０に記載の撮像装置。
【請求項１４】
撮影条件とは露光時間であることを特徴とする請求項１０に記載の撮像装置。
【請求項１５】
撮影条件とは周辺回路からの飛び込みノイズであることを特徴とする請求項１０に記載の撮像装置。
【請求項１６】
撮影条件とは被写体輝度であることを特徴とする請求項１０に記載の撮像装置。
【請求項１７】
撮影条件とは固体撮像素子の駆動モードであることを特徴とする請求項１０に記載の撮像装置。
【請求項１８】
撮影条件とは固体撮像素子の温度であることを特徴とする請求項１０に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個体撮像素子を用いた撮像装置に関するものである。
【背景技術】
【０００２】
特許文献１記載の発明は、撮像装置においてライブ画像を用いて動き検知を行なう際に、マスク画像を作成し、背景をマスク（除外）して動き検知を行なうものである。注目被写体の動き検知をする精度は上がるが、回路構成が従来の動き検知手段に加え、別途マスク画像を生成するための手段が必要となる。
【０００３】
特許文献２記載の発明は、過去の複数フレームより参照画像を作成し、現在のフレームと参照画像の差分をみることにより動き検知を行なうものである。この方法はランダムノイズによる影響を抑える点では効果があるが、注目被写体の動きベクトルを得るためには、被写体の動きが速い場合は精度が落ちる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２１０７８４号公報
【特許文献２】特開平９−５０５２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ライブ画像のうち複数フレームを用いて動きベクトルを算出する回路において、高ゲイン時にノイズによる誤判定が発生する場合がある。この誤判別を低減させることを課題としている。
【課題を解決するための手段】
【０００６】
本発明は、入射した光を固体撮像素子上に結像させるレンズ、露出を制御する絞りを備える光学系と、それらを制御するための光学系制御部と、結像させた光学像を電気信号に変換する固体撮像素子と、固体撮像素子を駆動するための電圧、パルスを供給する撮像系制御部と、固体撮像素子の出力にクランプ、ゲインをかける処理を行うアナログ信号処理部と、アナログ信号にデジタル変換を行なうアナログ／デジタル（Ａ／Ｄ）変換部と、Ａ／Ｄ変換したデジタル信号から出力画像を生成するデジタル信号処理部と、デジタル信号処理部にて出力画像を生成する際に一時的に画像データを格納する内部記憶部と、生成した画像データを表示する画像表示部と、生成した画像データを最終的に保存するための外部記憶装置とのインターフェース（Ｉ／Ｆ）部と、デジタル信号処理された複数の出力画像の差分により被写体の動きベクトルを算出する動きベクトル算出部を備える撮像装置において、動きベクトルの算出時の差分信号にクリップを設け、撮影条件に応じてクリップ量を可変とすることを特徴としている。
【０００７】
また本発明は、前記撮像装置において、撮影条件とはノイズレベルであることを特徴としている。
【０００８】
また本発明は、前記撮像装置において、撮影条件とは回路アンプゲイン設定であることを特徴としている。
【０００９】
また本発明は、前記撮像装置において、撮影条件とは撮影感度設定であることを特徴としている。
【００１０】
また本発明は、前記撮像装置において、撮影条件とは露光時間であることを特徴としている。
【００１１】
また本発明は、前記撮像装置において、撮影条件とは周辺回路からの飛び込みノイズであることを特徴としている。
【００１２】
また本発明は、前記撮像装置において、撮影条件とは被写体輝度であることを特徴としている。
【００１３】
また本発明は、前記撮像装置において、撮影条件とは固体撮像素子の駆動モードであることを特徴としている。
【００１４】
また本発明は、前記撮像装置において、撮影条件とは固体撮像素子の温度であることを特徴としている。
【００１５】
本発明は、入射した光を固体撮像素子上に結像させるレンズ、露出を制御する絞りを備える光学系と、それらを制御するための光学系制御部と、結像させた光学像を電気信号に変換する固体撮像素子と、固体撮像素子を駆動するための電圧、パルスを供給する撮像系制御部と、固体撮像素子の出力にクランプ、ゲインをかける処理を行うアナログ信号処理部と、アナログ信号にデジタル変換を行なうアナログ／デジタル（Ａ／Ｄ）変換部と、Ａ／Ｄ変換したデジタル信号から出力画像を生成するデジタル信号処理部と、デジタル信号処理部にて出力画像を生成する際に一時的に画像データを格納する内部記憶部と、生成した画像データを表示する画像表示部と、生成した画像データを最終的に保存するための外部記憶装置とのインターフェース（Ｉ／Ｆ）部と、デジタル信号処理された複数の出力画像の差分により被写体の動きベクトルを算出する動きベクトル算出部を備える撮像装置において、画像生成用のガンマカーブと動きベクトル算出用のガンマカーブを別に設け、撮影条件に応じて動きベクトルの算出用のガンマカーブを可変とすることを特徴としている。
【００１６】
また本発明は、前記撮像装置において、撮影条件とはノイズレベルであることを特徴としている。
【００１７】
また本発明は、前記撮像装置において、撮影条件とは回路アンプゲイン設定であることを特徴としている。
【００１８】
また本発明は、前記撮像装置において、撮影条件とは撮影感度設定であることを特徴としている。
【００１９】
また本発明は、前記撮像装置において、撮影条件とは露光時間であることを特徴としている。
【００２０】
また本発明は、前記撮像装置において、撮影条件とは周辺回路からの飛び込みノイズであることを特徴としている。
【００２１】
また本発明は、前記撮像装置において、撮影条件とは被写体輝度であることを特徴としている。
【００２２】
また本発明は、前記撮像装置において、撮影条件とは固体撮像素子の駆動モードであることを特徴としている。
【００２３】
また本発明は、前記撮像装置において、撮影条件とは固体撮像素子の温度であることを特徴としている。
【発明の効果】
【００２４】
以上説明したように、本発明によれば、ライブ画像のうち複数フレームを用いて動きベクトルを算出する回路において、高ゲイン時にノイズによる誤判定が発生する場合がある。この誤判別を低減させることが可能となる。
【図面の簡単な説明】
【００２５】
【図１】動きベクトル算出の概要
【図２】動きベクトル算出時のノイズによる影響
【図３】本発明の撮像装置の構成
【図４】第一の実施例の動作フロー
【図５】第一の実施例にて用いる可変パラメータの扱い
【図６】第二の実施例の動作フロー
【図７】第二の実施例にて用いるガンマカーブの扱い
【発明を実施するための形態】
【００２６】
最初に、図１を用いて本実施例の動きベクトル算出の概要を説明する。
【００２７】
人物を含む構図にてライブ画像を表示し、人物が動いている場合に、直前のフレームが図１（ａ）、現在のフレームが図１（ｂ）であるとする。その二枚の画像を任意の座標をずらして画像の差分を求め、差分が最小となる座標の移動量が動きベクトルとなる（図１（ｃ））。特に図示しないが、被写体に人物が含まれる場合に人物を認識する手段が別途あれば、人物のみを用いて動きベクトルを算出してもよい。さらに、注目被写体か否かを判別できれば、着目被写体のみを用いて動きベクトルを算出してもよい。
【００２８】
次に、図２を用いて動きベクトル算出時のノイズによる影響について説明する。
【００２９】
図２（ａ）のような人物を含む構図にて現在のフレームと直前のフレームの差分を求める場合、ノイズ成分が多いと差分データは図２（ｂ）で示すように動き差分かノイズ差分か判別できなくなる。そのためノイズ抑圧できれば図２（ｃ）で示すように動き差分を抽出しやすくなる。
【００３０】
次に、本発明の撮像装置の構成を図３を用いて説明する。
【００３１】
入射した光を固体撮像素子上に結像させる光学系３０１と、光学系の露出やズーム、フォーカス等を制御するための光学系制御部３０２と、結像させた光学像を電気信号に変換する固体撮像素子３０３と、固体撮像素子を駆動するための撮像系制御部３０４と、固体撮像素子の出力にクランプ、ゲインをかける等の処理を行うアナログ信号処理部３０５と、アナログ信号にデジタル変換を行なうアナログ／デジタル（Ａ／Ｄ）変換部３０６と、Ａ／Ｄ変換したデジタル信号から出力画像を生成するデジタル信号処理部３０７と、デジタル信号処理部にて出力画像を生成する際に一時的に画像データを格納する内部記憶部３０８と、生成した画像データを最終的に保存するための外部記憶装置とのインターフェース（Ｉ／Ｆ）部３０９と、生成された画像を表示する電子ファインダとしての画像表示部３１０と、デジタル信号処理された複数の出力画像の差分により被写体の動き量を算出する動き演算部３１１から構成する。
【実施例１】
【００３２】
以下、本発明の第一の実施例を図４及び図５を用いて説明する。
【００３３】
図４は、図３中３１１で示す動き算出部における第一の実施例の動作フローである。
【００３４】
撮像装置がライブ画像表示等、フレーム毎に順次画像信号が動き算出部に入力されるとともに直前フレームの画像信号をメモリに保持する状態において、現在のフレーム（ＦＲｎ）４０１とメモリに保持していた直前のフレーム（ＦＲｎ−１）４０２との差分を演算部４０３から出力する。出力された差分信号には被写体差分とともにノイズ成分も含まれるため、変換部４０４にてノイズ成分を可変パラメータＫを用いてクリップして出力する。そのクリップ処理された差分信号を用いて動き算出４０５を行なう。
【００３５】
図５は、図４中４０４で示す変換部にて用いる可変パラメータＫの扱いを説明する図である。
【００３６】
入力された差分信号（ＩＮ）に対し、可変パラメータＫをオフセット成分として用いて入出力変換して出力（ＯＵＴ）する。ここで、可変パラメータＫはゲイン等ノイズレベルに変化をもたらす条件に応じて可変とし、ノイズレベルが小さい場合はＫを小さく、逆にノイズレベルが大きい場合はノイズの影響を抑えるためにＫを大きくする。
【実施例２】
【００３７】
以下、本発明の第二の実施例を図６及び図７を用いて説明する。
【００３８】
図６は、図３中３１１で示す動き算出部における第二の実施例の動作フローである。
【００３９】
撮像装置がライブ画像表示等、フレーム毎に順次画像信号が動き算出部に入力されるとともに直前フレームの画像信号をメモリに保持する状態において、撮影画像あるいはライブ画像表示を行なう処理系は、現在のフレーム（ＦＲｎ）６０１を変換部６０３にて画像生成用のガンマカーブγ１を用いてガンマ変換を行ない、画像を生成する（６０４）。動き算出を行なう処理系は、現在のフレーム（ＦＲｎ）６０１とメモリに保持していた直前のフレーム（ＦＲｎ−１）６０２を変換部６０５及び６０６にて動き算出用のガンマカーブγ２を用いてガンマ変換を行ない、それらの差分を演算部６０７から出力する。出力された差分信号を用いて動き算出６０８を行なう。
【００４０】
図７は、図６中６０３、６０５及び６０６で示す変換部にて用いるガンマカーブγ１及びγ２の扱いを説明する図である。
【００４１】
画像生成用のガンマカーブγ１は画像生成用に最適化したガンマカーブである。動き算出用のガンマカーブγ２は動き算出用に最適化したガンマカーブであり、ゲイン等ノイズレベルに変化をもたらす条件に応じて可変とし、ノイズレベルが小さい場合は大きい値とすることにより低輝度部のガンマを立てるガンマカーブ設定とし、ノイズレベルが大きい場合はノイズの影響を抑えるためにガンマカーブを小さい値とすることにより低輝度部をリニアに近いガンマカーブ設定とする。
【符号の説明】
【００４２】
３０１‥‥光学系
３０２‥‥光学系制御部
３０３‥‥固体撮像素子
３０４‥‥撮像系制御部
３０５‥‥アナログ信号処理部
３０６‥‥アナログ／デジタル変換部
３０７‥‥デジタル信号処理部
３０８‥‥内部記憶部
３０９‥‥外部インターフェース部
３１０‥‥画像表示部
３１１‥‥動き演算部
４０１‥‥現在のフレーム（ＦＲｎ）
４０２‥‥直前のフレーム（ＦＲｎ−１）
４０３‥‥差分演算部
４０４‥‥差分データ変換部
４０５‥‥動き演算部
６０１‥‥現在のフレーム（ＦＲｎ）
６０２‥‥直前のフレーム（ＦＲｎ−１）
６０３‥‥現在のフレームの画像生成用ガンマ変換部
６０４‥‥画像生成部
６０５‥‥現在のフレームの動き演算用ガンマ変換部
６０６‥‥直前のフレームの動き演算用ガンマ変換部
６０７‥‥差分演算部
６０８‥‥動き演算部
【図１】
2012095212.tif 000003
【図２】
2012095212.tif 000004
【図３】
2012095212.tif 000005
【図４】
2012095212.tif 000006
【図５】
2012095212.tif 000007
【図６】
2012095212.tif 000008
【図７】
2012095212.tif 000009