(57)【要約】【課題】複数の出力画像に対して出力画像間の輝度変動を低減する。【解決手段】時系列的に連続撮像された複数の取得画像について各取得画像ごとに、代表輝度が所定範囲に含まれるように、画素値補正手段１２が各画素の画素値を補正する。その後、輝度変化率判定手段１４０が代表輝度の輝度変化率が規定範囲を逸脱するか否かを判定し、周期的変動判定手段１４１が代表輝度の時間変動が周期的であるか不規則であるかを判定する。輝度変化率が規定範囲を逸脱する場合、または、代表輝度の時間変動が不規則であると判定した場合、不規則変動用処理手段１６が取得画像を既に取得した取得画像とで平滑化する。代表輝度の時間変動が周期的であると判定した場合、周期的変動用処理手段１５が代表輝度の時間変動周期の整数倍となる処理期間に含まれる複数の取得画像のうち、上記処理期間の周期に同期して所定の１または複数の取得画像を抽出して出力画像を生成する。【選択図】図１
2010183206.tif 000002
【特許請求の範囲】
【請求項１】
撮影領域を時系列的に連続撮像された複数の画像を取得し、複数の取得画像に対して画像処理を行い、画像処理後の画像を出力画像として画像表示手段に出力する画像処理方法であって、
前記複数の取得画像について各取得画像ごとに複数の所定画素の画素値から算出される輝度値を代表輝度とし、各取得画像について前記代表輝度が予め設定された範囲に含まれるように各画素の画素値を補正し、補正前の代表輝度に対する補正後の代表輝度を示す輝度変化率が規定範囲を逸脱するか否かを判定するとともに、前記取得画像に含まれる１以上の画素の輝度の時間変動が不規則であるか否かを判定し、前記輝度変化率が前記規定範囲を逸脱すると判定した場合または前記取得画像に含まれる１以上の画素の輝度の時間変動が不規則であると判定した場合、最新の取得画像ごとに当該最新の取得画像を既に取得した取得画像とで平滑化し、前記最新の取得画像ごとに順次平滑化した複数の画像を新たな前記複数の取得画像とする第１のステップと、
前記第１のステップの前または当該第１のステップの後に、前記代表輝度の時間変動が周期的であるか否かを判定し、前記代表輝度の時間変動が周期的であると判定した場合、当該代表輝度の時間変動周期の整数倍となる所定期間を処理期間と設定し、すべての処理期間において、当該処理期間に含まれる複数の取得画像のうち当該処理期間の周期に同期するタイミングで所定の１または複数の取得画像を抽出して画像を生成し、すべての処理期間において生成した複数の画像を新たな前記複数の取得画像とする第２のステップとを有し、
前記第１のステップおよび前記第２のステップを行った後の前記複数の取得画像を前記出力画像として前記画像表示手段に出力する
ことを特徴とする画像処理方法。
【請求項２】
前記代表輝度の時間変動が周期的であると判定した場合、前記出力画像を当該代表輝度の変動周期で前記画像表示手段に順次出力することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記代表輝度は、前記取得画像のうち顔検出または動き検出が行われる領域に含まれる複数の画素の画素値から算出される平均輝度であることを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
撮影領域を時系列的に連続撮像された複数の画像を取得し、複数の取得画像に対して画像処理を行い、画像処理後の画像を出力画像として画像表示手段に出力する画像処理装置であって、
前記複数の取得画像について各取得画像ごとに、複数の所定画素の画素値から算出される輝度値を代表輝度とし、各取得画像について前記代表輝度が予め設定された範囲に含まれるように各画素の画素値を補正する画素値補正手段と、
前記画素値補正手段による補正前の代表輝度に対する補正後の代表輝度を示す輝度変化率が規定範囲を逸脱するか否かを判定する輝度変化率判定手段と、
前記取得画像に含まれる１以上の画素の輝度の時間変動が不規則であるか否かを判定する不規則変動判定手段と、
前記輝度変化率判定手段によって前記輝度変化率が前記規定範囲を逸脱すると判定された場合または前記不規則変動判定手段によって前記取得画像に含まれる１以上の画素の輝度の時間変動が不規則であると判定された場合、最新の取得画像ごとに当該最新の取得画像を既に取得した取得画像とで平滑化し、前記最新の取得画像ごとに順次平滑化した複数の画像を新たな前記複数の取得画像とする不規則変動用処理手段と、
前記代表輝度の時間変動が周期的であるか否かを判定する周期的変動判定手段と、
前記周期的変動判定手段によって前記代表輝度の時間変動が周期的であると判定された場合、当該代表輝度の時間変動周期の整数倍となる所定期間を処理期間と設定し、すべての処理期間において、当該処理期間に含まれる複数の取得画像のうち当該処理期間の周期に同期するタイミングで所定の１または複数の取得画像を抽出して画像を生成し、すべての処理期間で生成した複数の画像を新たな前記複数の取得画像とする周期的変動用処理手段と
を備えることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影領域を時系列的に連続撮像された複数の画像を取得し、複数の取得画像に対して画像処理を行う画像処理方法および画像処理装置に関するものである。
【背景技術】
【０００２】
従来から、撮影領域を時系列的に連続撮像された複数の画像を取得し、複数の取得画像に対して画像処理を行う画像処理装置として、取得画像の画素値を時間軸方向に加算したものを出力画像とするものが知られている（例えば特許文献１参照）。従来の画像処理装置は、取得画像間の輝度のばらつきを平滑化し、ランダムノイズを低減する。
【０００３】
このような画像処理装置は、画像表示が可能なインターホンシステム、特にマンション用インターホンシステムに用いることができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３６７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記の画像処理装置がマンション用インターホンシステムに用いられた場合、画像処理装置に接続される撮像手段は、マンションのロビーなどに取り付けられる。撮像手段が取り付けられたロビーの光源としては、一般的に蛍光灯などの放電灯が用いられる。放電灯は交流電源の１／２の周期で点灯するため、放電灯の照明環境で撮像するとフリッカが発生してしまう。例えばインターレース方式の場合、図１５に示すように、放電灯の変動周期が１０ミリ秒（＝１／（５０Ｈｚ×２））であって、各フィールド画像のレートが約６０フィールド／秒（フィールド間隔１６．６７ミリ秒）であるとき、フィールド画像の輝度は５０ミリ秒周期で変動することになる。
【０００６】
しかしながら、従来の画像処理装置では、取得画像の画素値を時間軸方向に加算して平滑化することでランダムノイズを低減することができるものの、放電灯の変動周期によって発生するフリッカを低減させることはできなかった。このため、従来の画像処理装置では、表示画像にフリッカによる輝度変動が残ってしまうという問題があった。
【０００７】
本発明は上記の点に鑑みて為されたものであり、その目的は、複数の出力画像に対して出力画像間の輝度変動を低減することができる画像処理方法および画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
請求項１に係る画像処理方法の発明は、撮影領域を時系列的に連続撮像された複数の画像を取得し、複数の取得画像に対して画像処理を行い、画像処理後の画像を出力画像として画像表示手段に出力する画像処理方法であって、前記複数の取得画像について各取得画像ごとに複数の所定画素の画素値から算出される輝度値を代表輝度とし、各取得画像について前記代表輝度が予め設定された範囲に含まれるように各画素の画素値を補正し、補正前の代表輝度に対する補正後の代表輝度を示す輝度変化率が規定範囲を逸脱するか否かを判定するとともに、前記取得画像に含まれる１以上の画素の輝度の時間変動が不規則であるか否かを判定し、前記輝度変化率が前記規定範囲を逸脱すると判定した場合または前記取得画像に含まれる１以上の画素の輝度の時間変動が不規則であると判定した場合、最新の取得画像ごとに当該最新の取得画像を既に取得した取得画像とで平滑化し、前記最新の取得画像ごとに順次平滑化した複数の画像を新たな前記複数の取得画像とする第１のステップと、前記第１のステップの前または当該第１のステップの後に、前記代表輝度の時間変動が周期的であるか否かを判定し、前記代表輝度の時間変動が周期的であると判定した場合、当該代表輝度の時間変動周期の整数倍となる所定期間を処理期間と設定し、すべての処理期間において、当該処理期間に含まれる複数の取得画像のうち当該処理期間の周期に同期するタイミングで所定の１または複数の取得画像を抽出して画像を生成し、すべての処理期間において生成した複数の画像を新たな前記複数の取得画像とする第２のステップとを有し、前記第１のステップおよび前記第２のステップを行った後の前記複数の取得画像を前記出力画像として前記画像表示手段に出力することを特徴とする。
【０００９】
請求項２に係る画像処理方法の発明は、請求項１の発明において、前記代表輝度の時間変動が周期的であると判定した場合、前記出力画像を当該代表輝度の変動周期で前記画像表示手段に順次出力することを特徴とする。
【００１０】
請求項３に係る画像処理方法の発明は、請求項１または２の発明において、前記代表輝度は、前記取得画像のうち顔検出または動き検出が行われる領域に含まれる複数の画素の画素値から算出される平均輝度であることを特徴とする。
【００１１】
請求項４に係る画像処理装置の発明は、撮影領域を時系列的に連続撮像された複数の画像を取得し、複数の取得画像に対して画像処理を行い、画像処理後の画像を出力画像として画像表示手段に出力する画像処理装置であって、前記複数の取得画像について各取得画像ごとに、複数の所定画素の画素値から算出される輝度値を代表輝度とし、各取得画像について前記代表輝度が予め設定された範囲に含まれるように各画素の画素値を補正する画素値補正手段と、前記画素値補正手段による補正前の代表輝度に対する補正後の代表輝度を示す輝度変化率が規定範囲を逸脱するか否かを判定する輝度変化率判定手段と、前記取得画像に含まれる１以上の画素の輝度の時間変動が不規則であるか否かを判定する不規則変動判定手段と、前記輝度変化率判定手段によって前記輝度変化率が前記規定範囲を逸脱すると判定された場合または前記不規則変動判定手段によって前記取得画像に含まれる１以上の画素の輝度の時間変動が不規則であると判定された場合、最新の取得画像ごとに当該最新の取得画像を既に取得した取得画像とで平滑化し、前記最新の取得画像ごとに順次平滑化した複数の画像を新たな前記複数の取得画像とする不規則変動用処理手段と、前記代表輝度の時間変動が周期的であるか否かを判定する周期的変動判定手段と、前記周期的変動判定手段によって前記代表輝度の時間変動が周期的であると判定された場合、当該代表輝度の時間変動周期の整数倍となる所定期間を処理期間と設定し、すべての処理期間において、当該処理期間に含まれる複数の取得画像のうち当該処理期間の周期に同期するタイミングで所定の１または複数の取得画像を抽出して画像を生成し、すべての処理期間で生成した複数の画像を新たな前記複数の取得画像とする周期的変動用処理手段とを備えることを特徴とする。
【発明の効果】
【００１２】
請求項１の発明によれば、評価対象画素の輝度の時間変動が不規則である場合、取得画像を時間軸方向で平滑化することによって、ランダムノイズを低減することができ、代表輝度の時間変動が周期的である場合、代表輝度の時間変動周期の整数倍となる期間ごとに同輝度の出力画像を生成することによって、フリッカを低減することができ、その結果、複数の出力画像に対して出力画像間の輝度変動を低減することができる。
【００１３】
請求項２の発明によれば、代表輝度の時間変動の周期に合わせて出力画像を順次出力することによって、出力画像を取得画像と同じ速度で画像表示させることができる。
【００１４】
請求項３の発明によれば、取得画像内の重要部分の輝度を用いて各処理を行うことができる。
【００１５】
請求項４の発明によれば、代表輝度の時間変動が不規則である場合、取得画像を時間軸方向で平滑化することによって、ランダムノイズを低減することができ、代表輝度の時間変動が周期的である場合、代表輝度の時間変動周期の整数倍となる期間ごとに同輝度の出力画像を生成することによって、フリッカを低減することができ、その結果、複数の出力画像に対して出力画像間の輝度変動を低減することができる。
【図面の簡単な説明】
【００１６】
【図１】実施形態１の構成を示すブロック図である。
【図２】同上の使用例を示す図である。
【図３】同上に係る周期的変動用処理手段の構成を示すブロック図である。
【図４】同上に係る周期的変動用処理手段の動作を説明するための図である。
【図５】同上に係る不規則変動用処理手段の構成を示すブロック図である。
【図６】（ａ）が同上の対象被写体領域の動きベクトルの測定点の設定例図、（ｂ）が同上の対象被写体領域の各動きベクトル測定点の測定結果図、（ｃ）が同上の顔領域の動きベクトル測定点の設定例図、（ｄ）が同上の顔領域の各動きベクトル測定点の測定結果図である。
【図７】同上に係る不規則変動用処理手段の処理動作に対応した無限長インパルス応答ＩＩＲフィルタの等価回路図である。
【図８】同上における合成画像の保存画像と取得画像の加算割合の説明図である。
【図９】同上における動き補正の原理説明図である。
【図１０】同上に係る画像処理装置の動作を示すフローチャートである。
【図１１】実施形態２に係る周期的変動用処理手段の動作を説明するための図である。
【図１２】実施形態３に係る周期的変動用処理手段の動作を説明するための図である。
【図１３】実施形態４に係る周期的変動用処理手段の動作を説明するための図である。
【図１４】実施形態５に係る周期的変動用処理手段の動作を説明するための図である。
【図１５】光源と撮像画像との関係を示す図である。
【発明を実施するための形態】
【００１７】
（実施形態１）
まず、実施形態１に係る画像処理装置の構成について図１を用いて説明する。図１に示す画像処理装置１は、撮影領域を時系列的に連続撮像された動画を撮像手段２から取得し、上記動画を構成する複数の取得画像に対して画像処理を行い、画像処理後の画像を出力画像として画像表示手段３に出力する画像処理装置である。この画像処理装置１は、対象被写体領域を設定するための動体検出手段１０および顔検出手段１１と、取得画像の各画素の画素値を補正する画素値補正手段１２と、取得画像を一時的に保存する画像記憶手段１３と、後述の代表輝度や評価対象画素の輝度を用いて判定を行う判定手段１４と、各取得画素に対して画像処理を行う処理手段１９とを備えている。
【００１８】
撮像手段２は、例えばＣＣＤ（Charged Coupled Device）などの撮像素子（図示せず）を備えたのであり、図２に示すように、建築物の天井（マンションのロビーの天井）Ｃなどに取り付けられ、被写体Ｍｎを含む所定の撮影領域を時系列的に連続撮像する。撮像手段２が取り付けられた天井Ｃには、照明器具として例えば蛍光灯などの放電灯（図示せず）が取り付けられている。
【００１９】
撮像手段２で撮像された各取得画像は、インターレース方式の奇数フィールド画像または偶数フィールド画像である。したがって、図１５に示すように、各フィールド画像のレートが約６０フィールド／秒（フィールド間隔１６．６７ミリ秒）である。なお、放電灯の変動周期は１０ミリ秒（＝１／（５０Ｈｚ×２））である。なお、図１５に示す１番目のフィールド（１番目の奇数フィールド）と４番目のフィールド（２番目の偶数フィールド）との露光量は同じであり、２番目のフィールド（１番目の偶数フィールド）と５番目のフィールド（３番目の奇数フィールド）との露光量は同じである。
【００２０】
画像表示手段３は、例えば宅内に設置されたインターホン親機などであり、液晶パネルなどの表示画面３０を有し、画像処理装置１からの出力画像を表示画面３０に順次表示する。
【００２１】
図１に示す動体検出手段１０は、例えば取得画像と合成対象となる保存画像との差分画像を作成して変化領域を抽出し、この変化領域を２値化して近接距離の変化領域同士を１つにまとめる外接矩形を生成して統合領域とし、この統合領域ごとに、取得画像と保存画像間の濃淡パターンマッチングを行い、類似度が低い統合領域を動体候補として抽出し（図６（ａ）参照）、後述の画像動き算出手段１６３（図５参照）に被写体領域情報として与える。
【００２２】
顔検出手段１１は、例えば取得画像の画像データから生成したカラーヒストグラムと、予め作成している顔部分のテンプレートヒストグラムとを比較して顔の部分の領域を決定する方法などを用いて顔領域を抽出するもので、この顔領域情報を画像動き算出手段１６３に与える。
【００２３】
画素値補正手段１２は、撮像手段２からの複数の取得画像について、各取得画像ごとに、顔検出に用いられた領域の各画素の画素値から、顔検出に用いられた領域の平均輝度を代表輝度として算出し、さらに、各取得画像について、代表輝度の大きさが予め設定された範囲に含まれるように、各画素の画素値（カラー画像の場合、赤緑青の各画素値）を補正する。具体的には、画素値補正手段１２は、記憶手段１２０に予め記憶されている変換テーブルを用いて、代表輝度がどれくらい上記範囲から外れているかに応じて、各画素の画素値を変換する。画素値補正手段１２から出力された取得画像は、画像記憶手段１３に一時的に記憶される。なお、代表輝度は、顔検出に用いられた領域の平均輝度ではなく、動き検出が行われた領域の平均輝度であってもよい。また、代表輝度が上記範囲に最初から含まれている場合、取得画像は、画素値補正手段１２による補正は行われずに、画像記憶手段１３に一時的に記憶される。
【００２４】
判定手段１４は、画素値補正手段１２による補正前の代表輝度に対する補正後の代表輝度を示す輝度変化率が規定範囲を逸脱するか否かを判定する輝度変化率判定手段１４０と、代表輝度の時間変動が周期的であるか否かを判定する周期的変動判定手段１４１と、顔検出に用いられた領域に含まれる１以上の画素（評価対象画素）の輝度の時間変動が不規則であるか否かを判定する不規則変動判定手段１４２とを備えている。
【００２５】
不規則変動判定手段１４２は、評価対象画素の輝度値を時間軸方向に捕集したデータを求め、このデータの標準偏差が予め設定された設定値を超えると、評価対象画素の輝度の時間変動が不規則であると判定する。一方、上記データの標準偏差が上記設定値以下である場合、不規則変動判定手段１４２は、評価対象画素の輝度の時間変動が不規則ではないと判定する。なお、評価対象画素は、顔検出に用いられた領域に含まれる１以上の画素ではなく、動き検出が行われた領域に含まれる１以上の画素であってもよい。
【００２６】
処理手段１９は、代表輝度の時間変動が周期的である場合に実行される周期的変動用処理手段１５と、評価対象画素の輝度の時間変動が不規則である場合に実行される不規則変動用処理手段１６とを備えている。
【００２７】
周期的変動用処理手段１５は、周期的変動判定手段１４１によって代表輝度の時間変動が周期的であると判定された場合に実行するものであり、図３に示すように、複数の取得画像に対して合成処理と間引き処理を行う画像合成・間引き手段１５０と、取得画像および出力画像を一時的に保存する画像記憶手段１５１とを備えている。
【００２８】
続いて、周期的変動用処理手段１５の動作について説明する。まず、代表輝度の周期は５０ミリ秒である（図１５参照）。したがって、代表輝度の時間変動の１周期内には、図４に示すように、３つのフィールド画像（取得画像）が含まれている。
【００２９】
画像合成・間引き手段１５０は、代表輝度の時間変動の１周期内に含まれる３つのフィールド画像のうち１番目の奇数フィールド画像を単一画像とする。画像合成・間引き手段１５０は、代表輝度の時間変動の周期ごとに単一画像を生成する。代表輝度の時間変動の周期ごとに単一画像を生成した周期的変動用処理手段１５は、単一画像を出力画像として代表輝度の変動周期で画像表示手段３（図１参照）に順次出力する。一方、残りのフィールド画像（２番目のフィールド画像、３番目のフィールド画像）については、画像合成・間引き処理１５０は、間引き処理を行う。つまり、画像合成・間引き手段１５０は、２つとばしでフィールド画像を出力画像とし、奇数フィールド画像および偶数フィールド画像を交互に２０ｆｐｓで画像表示手段３に出力する。このようにすると、出力画像間の輝度をほぼ等しくすることができ、フリッカが発生しない。
【００３０】
不規則変動用処理手段１６は、輝度変化率判定手段１４０によって輝度変化率が規定範囲を逸脱すると判定された場合、不規則変動判定手段１４２によって評価対象画素の輝度の時間変動が不規則であると判定された場合に実行するものであり、図５に示すように、後述の画像合成後の出力画像を保存する画像記憶手段１６０と、画像記憶手段１６０で保存している保存画像と最新の取得画像との画像合成を行う画像合成手段１６１と、撮像手段２の姿勢情報と条件情報とから取得画像での動きベクトルに換算する画像動き換算手段１６２と、取得画像上の対象被写体領域を参照して動きベクトル測定点を設定し、取得画像と保存画像との間で動きベクトルを算出する画像動き算出手段１６３とを備えている。撮像手段２の姿勢情報は、撮像手段２の姿勢を制御する姿勢制御手段１７（図１参照）から取得され、撮像手段２の条件情報は、撮像手段２の撮像条件を制御する撮像条件制御手段１８（図１参照）から取得される。
【００３１】
不規則変動用処理手段１６は、取得画像を既に取得した取得画像とで平滑化し、平滑化した画像を新たな保存画像として更新するとともに出力画像とする。以下、詳細に説明する。
【００３２】
画像動き算出手段１６３は、動体検出手段１０（図１参照）により検出された動体（対象被写体領域）に対して動きベクトル測定点を複数設定する。ここで、被写体Ｍｎ（図２参照）が物品の場合は、撮像画像の枠内で移動したとしても変形を伴うことはないが、被写体Ｍｎが人の場合は手足などに部分的な移動や変形を伴うことがあり、これらの影響を避けて人の全体的な動きを測定するためには、顔や胴体の動きを測定する必要がある。したがって、画像動き算出手段１６３は、動体として設定された領域（図６（ａ）において破線で示す外接矩形の領域）の上半部に密となるように動きベクトル測定点（図６（ａ）において□で示す）を設定し、各動きベクトル測定点における動きベクトルをブロックマッチング法により図６（ｂ）の「→」で示すように求める。
【００３３】
さらに、画像動き算出手段１６３は、これら求めた動きベクトルから代表値を求める。この代表値の求め方は、例えば求めた動きベクトルにおいて過半数以上等しい動きベクトルを代表値の動きベクトルＭ１とする。なお、本実施形態では後述するように複数の動きベクトルを扱うので、代表値を唯一のものと限定せず、複数の動作ベクトル測定値を画像合成手段１６１へ出力するようにしてもよい。
【００３４】
画像動き算出手段１６３は、顔検出手段１１（図１参照）により検出された顔領域（図６（ｃ）の破線で示す矩形内）に対して目、耳、鼻など陰影のある各部位に対応して図示するように動きベクトル測定点（図６（ｃ）において□で示す）を設定し、各動きベクトル測定点の動きベクトルをブロックマッチング法により図６（ｄ）に「→」で示すように測定する。この場合、口周辺は言葉を発生する際に変形するので、口周辺の動きベクトル測定点は密に設定する必要があるが、顔全体の変位を求める場合には口周辺は重要ではないので、口周辺には動きベクトル測定点を設定しなくてもよい。各動きベクトル測定点においては、顔領域の抽出の手法により目、耳、鼻などの顔部品を認識することで正確な位置を求めることができる。要求される設定位置精度次第では、予め顔形状の統計情報から顔輪郭に対する各顔部品の相対位置を求めておき、それを顔輪郭となる矩形に幾何的に適用してもよい。
【００３５】
図６（ｄ）は、対象被写体領域（顔領域）に設定した各動きベクトル測定点で求めた動きベクトルの分布Ｍ２（ｘ、ｙ）（以下「動きベクトルＭ２」という）を示しており、口の変形部分を除いて顔を変形のない剛体と仮定すると、取得画像と保存画像との顔の動きは、一次変換で近似することができる。しかし、図示するように口の周辺で動きが一様でない状態に対応するためにはデータをマッピングするなどの処理が必要となる。
【００３６】
撮像手段２は、モータのような駆動手段（図示せず）が姿勢制御手段１７（図１参照）により制御されることで、水平方向（パン）と垂直方向（チルト）の姿勢が制御されるが、図５に示す画像動き換算手段１６２は、姿勢制御手段１７から撮像手段２の姿勢情報を取り込み、画像合成に使用される各画像の取得時の相対的な振れ角θを測定する。もちろん、撮像手段２の姿勢制御が行われない場合には姿勢情報として変位ゼロが採用される。画像動き換算手段１６２は、上述のように求めた振れ角θを、撮像条件制御手段１８（図１参照）から得る撮像手段２の光学系の焦点距離ｌからなる条件情報を用いて動きベクトルに換算する。上述の振れ角θと焦点距離ｌとを用いて取得画像と保存画像との撮影時刻のずれによる結像面α上での像の移動量Δｘを、Δｘ＝［（ｌ２＋ｘ２）／ｌ]ｔａｎθと定義し、必要に応じて姿勢制御手段１７からの歪曲情報も加えて動きベクトル分布Ｍ３（ｘ，ｙ）（以下「動きベクトルＭ３」という）を設定する。
【００３７】
画像合成手段１６１は、取得画像と保存画像との間で画像上同一座標の画素値をｍ：ｎの重み付け平均を求め、この平均した画素値による画像を合成画像として出力し、この出力した合成画像を画像記憶手段１６０に記憶させ、撮像手段２から取得する新たな画像と処理する際に新たな保存画像として用いる。この一連の処理は、図７に示す無限長インパルス応答ＩＩＲフィルタとして示すことができ、このフィルタが平滑化フィルタとして作用してノイズの低減が図れる。
【００３８】
ところで、時系列的に取得された個々の画像の、最新の合成画像における加算割合は図８に示すようになり、動く被写体では過去の情報が尾を引くように残るため、ぶれが生じる。なお、図８中の左端の棒グラフが新規に撮影した取得画像を、その右隣りから右方向に過去に遡る形で取得された画像のバーを示し、この画像のバーの長さが最新の合成画像、つまり保存画像における加算割合を示す。
【００３９】
そこで、図５に示す画像合成手段１６１は、画像動き算出手段１６３からの動きベクトルＭ１，動きベクトルＭ２と、画像動き換算手段１６２からの動きベクトルＭ３とを動きベクトル候補として用いて動き補正を行う。
【００４０】
保存画像と取得画像とでは時間経過により撮像された被写体Ｍｎには動きがある。ここで図９（ｄ）に示すように取得画像上に１以上の画素からなる処理単位（図９（ｄ）で示す□）を設定し、被写体Ｍｎが人であって、移動する人の胴体に対応する処理単位では、取得画像（図９（ｄ））から動体検出によって求めた動きベクトルＭ１により動きを補正した保存画像において取得画像との類似性が高いので、動きベクトルＭ１が適用される（図９（ｃ））。一方、移動する人の顔に対応する処理単位では、顔検出により求められた動きベクトルＭ２により動き補正された保存画像において取得画像との類似性が高いので、動きベクトルＭ２が適用される（図９（ｂ））。さらに、背景に対応する処理単位では、撮像手段２の変位により求められた動きベクトルＭ３により動き補正された保存画像において、取得画像との類似性が高いので、動きベクトルＭ３による動き補正が適用される。
【００４１】
続いて、画像合成手段１６１は画像合成する前に上述のように動き補正後の補正画像と取得画像の類似性を評価する処理を行う。
【００４２】
この場合に、補正画像と取得画像との間の画素値の差の絶対値を上述の処理単位内もしくはその処理単位の近傍において積算してブロックマッチングエラーを求めて評価するか、または空間差分画像において同様にブロックマッチングエラーを求めて評価する。この場合、ブロックマッチングエラーでは、値が大きくなる程、類似性が低くなる。
【００４３】
このようにして類似性を評価する処理を経て、その評価結果に基づいて合成時における保存画像と取得画像の画素値の加算割合を決定して、画像合成を行う。ここで、加算値の割合の決定は、例えば動きベクトルＭ１によって動き補正を行った保存画像に対する類似性の評価値と、動きベクトルＭ２によって動き補正を行った保存画像に対する類似性の評価値とを比較し、動きベクトルＭ１側の類似性が高い場合には取得画像と動きベクトルＭ１で補正した保存画像とを１：３の割合で重み付き平均をとる。また、動きベクトルＭ２側の類似性が高い場合には、取得画像と動きベクトルＭ２で動き補正した保存画像とを１：３の割合で重み付き平均をとる。また、何れの評価値も予め設定している所定の閾値を超えなかった場合には、保存画像の画素値は使用せず、取得画像の画素値がそのまま適用される。
【００４４】
ここで、画像処理装置１を構成する各手段は、マイクロコンピュータにおいてプログラムを実行することで実現される機能で構成してもよく、またハードウェア構成により個々に独立する形で構成してもよい。また、画像処理装置１は、図２に示すように撮像手段２とは別体となっているが、撮像手段２と一体となって撮像装置を構成してもよい。さらに、画像表示手段３をも一体に組み込んで撮像装置を構成してもよい。
【００４５】
次に、本実施形態に係る画像処理装置１の動作について図１０を用いて説明する。まず、画像処理装置１は、撮像手段２から新規の画像を取得する（図１０のＳ１）。動体検出手段１０は取得画像から動体を検出し、顔検出手段１１は取得画像から顔部分を検出する（Ｓ２）。各取得画像ごとに、顔検出に用いられた領域を輝度評価領域に設定し（Ｓ３）、輝度評価領域の平均輝度を代表輝度として測定する（Ｓ４）。
【００４６】
続いて、周期的変動判定手段１４１が、代表輝度の時間変動を解析し（Ｓ５）、上記代表輝度の時間変動が周期的であるか否かを判定する（Ｓ６）。代表輝度の時間変動が周期的である場合、周期的変動用処理手段１５が動作する（変動周期内合成処理オン）（Ｓ７）。つまり、周期的変動用処理手段１５は、代表輝度の時間変動の１周期内に含まれる３つのフィールド画像のうち、１番目の奇数フィールド画像を単一画像（出力画像）とし、残りのフィールド画像（２番目のフィールド画像、３番目のフィールド画像）を間引く。
【００４７】
その後、各取得画像について、代表輝度が予め設定された範囲に含まれるように、画素値補正手段１２は、記憶手段１２０に記憶されている変換テーブルを用いて、各画素の画素値を補正する（Ｓ８）。
【００４８】
その後、輝度変化率判定手段１４０が、輝度変化率が規定範囲を逸脱するか否か（輝度変化量が所定値以下であるか否か）を判定する（Ｓ９）。輝度変化率が規定範囲を逸脱する場合（輝度変化量が所定値以下である場合）、取得画像画素の輝度を測定し（Ｓ１０）、画素輝度の統計処理を行う（Ｓ１１）。
【００４９】
その後、不規則変動判定手段１４２が、評価対象画素の輝度の時間変動が不規則であるか否かを判定する（Ｓ１２）。つまり、輝度値の標準偏差が所定値以下であるか否かを判定する。輝度値の標準偏差が所定値より大きい場合、不規則変動用処理手段１６が動作する（Ｓ１３）。つまり、不規則変動用処理手段１６は、取得画像を既に取得した取得画像とで平滑化する（前出力画像積算処理オン）。
【００５０】
以上、本実施形態によれば、評価対象画素の輝度の時間変動が不規則である場合、取得画像を時間軸方向で平滑化することによって、ランダムノイズを低減することができ、代表輝度の時間変動が周期的である場合、代表輝度の時間変動の周期ごとに同輝度の単一画像を生成することによって、フリッカを低減することができ、その結果、複数の出力画像に対して出力画像間の輝度変動を低減することができる。
【００５１】
また、本実施形態によれば、代表輝度の時間変動の周期に合わせて出力画像を順次出力することによって、出力画像を取得画像と同じ速度で画像表示させることができる。
【００５２】
さらに、本実施形態によれば、取得画像内の重要部分の輝度を用いて各処理を行うことができる。
【００５３】
（実施形態２）
実施形態２に係る画像処理装置１は、図１１に示すように、周期的変動用処理手段１５が２つのフィールド画像（取得画像）を合成して出力画像を生成する点で、実施形態１に係る画像処理装置１と相違する。なお、実施形態１と同様の構成要素については、説明を省略する。
【００５４】
本実施形態に係る周期的変動用処理手段１５の画像合成・間引き手段１５０（図３参照）は、代表輝度の時間変動の周期ごとに、連続する２つのフィールド画像（１番目のフィールド画像、２番目のフィールド画像）を積分して出力画像とする。具体的には、画像合成・間引き手段１５０は、２番目のフィールド画像と画像記憶手段１５１に記憶されている１番目のフィールド画像とで、画素値加算してビットシフト演算（１／２倍）を行う。その後、画像合成・間引き手段１５０は、出力画像である合成画像を２０ｆｐｓで画像表示手段３に出力する。一方、３番目のフィールド画像については、画像合成・間引き手段１５０は、間引き処理を行う。なお、本実施形態の周期的変動用処理手段１５は、上記以外の点において実施形態１の周期的変動用処理手段１５と同様である。
【００５５】
以上、本実施形態によれば、実施形態１と同様に出力画像間の輝度をほぼ等しくするとともに、さらに、出力画像の上下動が発生しないようにすることができる。
【００５６】
また、各フィールド画像のレートは、正確には５９．９４フィールド／秒であるので、実際には１０秒（＝０．０５秒×０．０１秒／｛（３つ／５９．９４フィールド／秒）−（３つ／６０）｝）程度の周期で輝度変動が発生することもあるが、本実施形態によれば、上記１０秒周期の輝度変動も低減することができる。
【００５７】
（実施形態３）
実施形態３に係る画像処理装置１は、図１２に示すように、周期的変動用処理手段１５が３つのフィールド画像（取得画像）を合成して出力画像を生成する点で、実施形態１に係る画像処理装置１と相違する。なお、実施形態１と同様の構成要素については、説明を省略する。
【００５８】
本実施形態に係る周期的変動用処理手段１５の画像合成・間引き手段１５０（図３参照）は、代表輝度の時間変動の周期ごとに、連続する３つのフィールド画像（１周期内のすべてのフィールド画像）を積分して出力画像とする。具体的には、画像合成・間引き手段１５０は、３番目のフィールド画像と画像記憶手段１５１に記憶されている１番目のフィールド画像および２番目のフィールド画像とで、画素値加算し定数倍してビットシフト演算を行う。このとき、１番目のフィールド画像（図示例では奇数フィールド画像）：２番目のフィールド画像（図示例では偶数フィールド画像）：３番目のフィールド画像（図示例では奇数フィールド画像）の重み付けを１：２：１とする。つまり、奇数フィールド画像の重み付けの和と偶数フィールド画像の重み付けの和とが等しくなるようにする。その後、画像合成・間引き手段１５０は、出力画像である合成画像を２０ｆｐｓで画像表示手段３に出力する。なお、本実施形態の周期的変動用処理手段１５は、上記以外の点において実施形態１の周期的変動用処理手段１５と同様である。
【００５９】
以上、本実施形態によれば、出力画像間の輝度がほぼ等しくなり、フリッカが発生しない。また、画像表示手段３においてインターレース方式の出力画像を順次表示したときに、出力画像の上下動、つまり表示画像の揺れを低減することができる。
【００６０】
なお、本実施形態では、１番目のフィールド画像：２番目のフィールド画像：３番目のフィールド画像の重み付けを１：２：１としたが、本実施形態の変形例として、１番目のフィールド画像：２番目のフィールド画像：３番目のフィールド画像の重み付けを１：１：１としてもよい。つまり、すべてのフィールド画像の重み付けを等しくしてもよい。このような場合、１０秒周期の輝度変動の抑制効果を最大にすることができる。
【００６１】
（実施形態４）
実施形態４に係る画像処理装置１は、図１３に示すように、周期的変動用処理手段１５が奇数フィールド画像同士を合成し、偶数フィールド画像同士を合成する点で、実施形態１に係る画像処理装置１と相違する。なお、実施形態１と同様の構成要素については、説明を省略する。
【００６２】
本実施形態に係る周期的変動用処理手段１５の画像合成・間引き手段１５０（図３参照）は、代表輝度の時間変動周期の２倍となる処理期間を設定し、上記処理期間ごとに、１番目の奇数フィールド画像と２番目の奇数フィールド画像（３番目のフィールド画像）とを１：１（画素値に掛ける値としては１／２：１／２）の重み付けで合成して出力画像を生成する一方、２番目の偶数フィールド画像（４番目のフィールド画像）と３番目の偶数フィールド画像（６番目のフィールド画像）とを１：１（画素値に掛ける値としては１／２：１／２）の重み付けで合成して出力画像を生成する。１番目の偶数フィールド画像（２番目のフィールド画像）と３番目の奇数フィールド画像（５番目のフィールド画像）については、画像合成・間引き手段１５０は、間引き処理を行う。本実施形態では、図１３に示すように、奇数フィールド画像の処理区間と偶数フィールド画像の処理区間とが重なっておらず、交互になっている。つまり、本実施形態では、奇数フィールド画像の処理区間の中心（重心）と偶数フィールド画像の処理区間の中心（重心）とが離れている。奇数フィールド画像による出力画像と偶数フィールド画像による出力画像とは、交互に画像表示手段３に出力される。
【００６３】
本実施形態によれば、インターレース方式において、各フィールドの独立性を保って解像度をキープすることができる。
【００６４】
また、本実施形態によれば、奇数フィールド画像の処理区間と偶数フィールド画像の処理区間とが離れることによって、奇数フィールド画像と偶数フィールド画像とで処理タイミングをずらすことができるので、２つの奇数フィールド画像を合成した出力画像と２つの偶数フィールド画像を合成した出力画像とからなるフレーム画像の集合を動画として画像表示手段３に表示させた場合に、被写体Ｍｎの動きを滑らかにすることができる。
【００６５】
（実施形態５）
実施形態５に係る画像処理装置１は、図１４に示すように、奇数フィールド画像同士を合成する処理区間と、偶数フィールド画像同士を合成する処理区間とが重なっている点で、実施形態４に係る画像処理装置１と相違する。なお、実施形態４と同様の構成要素については、説明を省略する。
【００６６】
本実施形態に係る周期的変動用処理手段１５の画像合成・間引き手段１５０（図３参照）は、代表輝度の時間変動周期の２倍となる処理期間を設定し、上記処理期間ごとに、１番目の奇数フィールド画像と２番目の奇数フィールド画像（３番目のフィールド画像）と３番目の奇数フィールド画像（５番目のフィールド画像）とを１：１：２（画素値に掛ける値としては１／４：１／４：１／２）の重み付けで合成して出力画像を生成する一方、１番目の偶数フィールド画像（２番目のフィールド画像）と２番目の偶数フィールド画像（４番目のフィールド画像）と３番目の偶数フィールド画像（６番目のフィールド画像）とを２：１：１（画素値に掛ける値としては１／２：１／４：１／４）の重み付けで合成して出力画像を生成する。本実施形態では、図１４に示すように、奇数フィールド画像の処理区間と偶数フィールド画像の処理区間とが重なっている。つまり、本実施形態では、奇数フィールド画像の処理区間の中心（重心）と偶数フィールド画像の処理区間の中心（重心）とがほぼ同じである。奇数フィールド画像による出力画像と偶数フィールド画像による出力画像とは、交互に画像表示手段３に出力される。
【００６７】
本実施形態によれば、奇数フィールド画像の処理区間と偶数フィールド画像の処理区間とが重なることによって、奇数フィールド画像と偶数フィールド画像とで処理タイミングを近づけることができるので、３つの奇数フィールド画像を合成した出力画像と３つの偶数フィールド画像を合成した出力画像とからなる１つフレーム画像を静止画として画像表示手段３に表示させた場合に、静止画としてのブレを少なくすることができる。
【符号の説明】
【００６８】
１  画像処理装置
１０  動体検出手段
１１  顔検出手段
１２  画素値補正手段
１４０  輝度変化率判定手段
１４１  周期的変動判定手段
１４２  不規則変動判定手段
１５  周期的変動用処理手段
１６  不規則変動用処理手段
２  撮像手段
３  画像表示手段
【図１】
2010183206.tif 000003
【図２】
2010183206.tif 000004
【図３】
2010183206.tif 000005
【図４】
2010183206.tif 000006
【図５】
2010183206.tif 000007
【図６】
2010183206.tif 000008
【図７】
2010183206.tif 000009
【図８】
2010183206.tif 000010
【図９】
2010183206.tif 000011
【図１０】
2010183206.tif 000012
【図１１】
2010183206.tif 000013
【図１２】
2010183206.tif 000014
【図１３】
2010183206.tif 000015
【図１４】
2010183206.tif 000016
【図１５】
2010183206.tif 000017