(57)【要約】【課題】撮影後に動画再生したい場合や、記録した動画から静止画を抜き出したい場合等に適したノイズリダクション処理を可能とする技術を提供する。【解決手段】巡回型のノイズ低減が行われた動画像を構成する複数のフレームのうちの着目フレームの画像と、着目フレームに対する巡回型のノイズ低減に用いられた着目フレームに対する重みづけ加算の係数が入力され、これら着目フレームの画像と係数から、ノイズ低減を行う前の着目フレームの画像を復元する復元手段を備えた画像処理装置を提供する。この画像処理装置の復元手段は、巡回型のノイズ低減が行われた着目フレームの前フレームの画像と、巡回型のノイズ低減が行われた着目フレームの画像とを、係数の逆数に基づき重みづけ加算することにより復元を行う。【選択図】図１
2017076904.tif 000002
【特許請求の範囲】
【請求項１】
巡回型のノイズ低減が行われた動画像を構成する複数のフレームのうちの着目フレームの画像と、前記着目フレームに対する前記巡回型のノイズ低減に用いられた前記着目フレームに対する重みづけ加算の係数が入力され、前記着目フレームの画像と前記係数から、前記ノイズ低減を行う前の前記着目フレームの画像を復元する復元手段を備え、
前記復元手段は、前記巡回型のノイズ低減が行われた、前記着目フレームの前フレームの画像と、前記巡回型のノイズ低減が行われた、前記着目フレームの画像とを、前記係数の逆数に基づき重みづけ加算することにより前記復元を行う
ことを特徴とする画像処理装置。
【請求項２】
前記復元手段は、前記巡回型のノイズ低減が行われた前記着目フレームの画像に前記係数の逆数を乗じた結果と、前記巡回型のノイズ低減が行われた前記前フレームの画像に１と前記係数の逆数との差分を乗じた結果とを加算することにより、前記復元を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記復元手段は、前記巡回型のノイズ低減が行われた前記着目フレームの画像と前記巡回型のノイズ低減が行われた前記前フレームの画像との差分に前記係数の逆数を乗じた結果を、前記巡回型のノイズ低減が行われた前記前フレームの画像に加算することにより、前記復元を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記係数は、１以下の値を有することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記復元手段が復元した画像を静止画像として圧縮処理する圧縮手段を更に備えることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記圧縮手段は、前記巡回型のノイズ低減が行われた複数のフレームの画像を動画像として圧縮処理することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記動画像に巡回型のノイズ低減を行うノイズ低減手段を備えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
【請求項８】
被写体を撮像し動画像を生成する撮像手段と、
前記動画像を処理する請求項１から７のいずれか１項に記載の画像処理装置と
を備えることを特徴とする撮像装置。
【請求項９】
巡回型のノイズ低減が行われた動画像を構成する複数のフレームのうちの着目フレームの画像と、前記着目フレームに対する前記巡回型のノイズ低減に用いられた前記着目フレームに対する重みづけ加算の係数が入力され、前記着目フレームの画像と前記係数から、前記ノイズ低減を行う前の前記着目フレームの画像を復元する復元工程を有し、
前記復元工程では、前記巡回型のノイズ低減が行われた、前記着目フレームの前フレームの画像と、前記巡回型のノイズ低減が行われた、前記着目フレームの画像とを、前記係数の逆数に基づき重みづけ加算することにより前記復元が行われる
ことを特徴とする画像処理装置の制御方法。
【請求項１０】
コンピュータを、請求項１乃至７のいずれか1項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及びその制御方法、撮像装置、並びにプログラムに関する。
【背景技術】
【０００２】
デジタルカメラやカムコーダで動画撮影する際に、特に高感度撮影で記録画像にノイズが重畳されて目立つことがある。そのノイズを低減する画像処理には、例えば以下の２種類がある。１つは、該当フレーム単独で隣接画素を参照することにより二次元方向に処理を行なうフレーム内ノイズリダクション処理である。もう１つは、複数フレームを用いて時間方向に処理を行なうフレーム間ノイズリダクション処理である。後者のフレーム間ノイズリダクション処理には、該当フレームと過去のフレームを用いてある比率で混合する処理を行なうフレーム間ノイズリダクション処理として、巡回型ノイズリダクション処理がある。
【０００３】
巡回型ノイズリダクションは時間方向のランダムノイズのちらつきを低減する効果があるが、強くかけすぎると動いている被写体に残像が生じてしまう。そのため、巡回型ノイズリダクション処理については、さらに用途によりノイズリダクション処理の強度を変更する手法が提案されている。特許文献１は、静止画撮影時と動画撮影時で巡回型ノイズリダクション処理の強度を変更する手法を開示する。また特許文献２は、静止画撮影時と動画撮影時でフレーム内ノイズリダクション処理とフレーム間ノイズリダクション処理の依存比率を変更する手法を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開2000-22993号公報
【特許文献２】特開平11-69202号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の従来技術では撮影時に用途を決定した上でノイズリダクション処理の強度を決定し実施しているため、撮影後に動画再生したい場合や、記録した動画から静止画を抜き出したい場合に用途に適したノイズリダクション処理を行うことが困難である。
【０００６】
本発明は、撮影後に動画再生したい場合や、記録した動画から静止画を抜き出したい場合等に適したノイズリダクション処理を可能とする技術を提供する。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明は、画像処理装置であって、
巡回型のノイズ低減が行われた動画像を構成する複数のフレームのうちの着目フレームの画像と、前記着目フレームに対する前記巡回型のノイズ低減に用いられた前記着目フレームに対する重みづけ加算の係数が入力され、前記着目フレームの画像と前記係数から、前記ノイズ低減を行う前の前記着目フレームの画像を復元する復元手段を備え、
前記復元手段は、前記巡回型のノイズ低減が行われた、前記着目フレームの前フレームの画像と、前記巡回型のノイズ低減が行われた、前記着目フレームの画像とを、前記係数の逆数に基づき重みづけ加算することにより前記復元を行うことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影後に動画再生したい場合や、記録した動画から静止画を抜き出したい場合に適したノイズリダクション処理が可能となる。
【図面の簡単な説明】
【０００９】
【図１】発明の実施形態に対応する画像処理装置１００の構成の一例を示す図。
【図２】発明の実施形態に対応する画像処理部２０の機能構成の一例を示す図。
【図３】発明の実施形態に対応する巡回型ＮＲ部及び画像復元部の機能構成の一例を示す図。
【図４】発明の実施形態に対応する撮影時及び再生時の出力画像を説明するための図。
【図５】発明の実施形態に対応する巡回型ＮＲ部及び画像復元部の例示的動作を説明するための図。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して発明の実施形態を説明する。図１は、発明の実施形態に対応する画像処理装置１００の構成例を示す図である。画像処理装置１００は、撮像機能を有する携帯端末、情報処理装置或いは撮像装置であれば、デジタルカメラ、デジタルビデオカメラ、カメラ付き携帯端末（カメラ付き携帯電話を含む）、スマートフォン、ノートパソコン等のいずれであってもよい。以下では、画像処理装置１００としてデジタルカメラを例として発明の実施形態を説明する。
【００１１】
デジタルカメラ１００は、光学系（撮像用レンズ）１０を介して被写体像を撮影（撮像）するように構成されている。光学系１０は、フォーカスレンズやズームレンズ（撮影画角を変更可能なレンズ）として構成されうる。これにより光学的なズーム機能（いわゆる光学ズーム）が提供されている。デジタルカメラ１００は、更に、撮像素子１４によって被写体を撮像して生成される画像を電子的に切り取る（トリミング）ことによる電子的なズーム機能（いわゆる電子ズーム）を有するように構成されうる。なお、デジタルカメラ１００は、光学ズーム及び電子ズームのいずれか一方の機能のみを有するように構成される場合もある。また、光学系１０は、交換可能であってもよく、この場合は、デジタルカメラ１００の本体側から光学系１０に対して電気信号を送ることにより、光学系１０内の駆動機構が変倍用のレンズを駆動してズーム機能を提供してもよい。あるいは、デジタルカメラ１００の本体側に光学系１０内の変倍用のレンズを機械的に駆動する駆動機構を設けてもよい。
【００１２】
光学系（撮影レンズ）１０を通る被写体からの光線（光学的な画角内から入射する光線）は、絞り機能を備えるシャッター１２の開口を通して撮像素子（例えば、ＣＣＤセンサ、ＣＭＯＳセンサ）１４の撮像面に被写体の光学像を形成する。撮像素子１４は、この光学像を電気的なアナログ画像信号に変換して出力する。Ａ／Ｄ変換器１６は、撮像素子１４から提供されるアナログ画像信号をデジタル画像信号に変換する。撮像素子１４及びＡ／Ｄ変換器１６は、タイミング発生部１８から提供されるクロック信号や制御信号によって制御される。タイミング発生部１８は、メモリ制御部２２及びシステム制御部５０により制御される。タイミング発生部１８が撮像素子１４のリセットタイミングを制御することによって、電子シャッタとして蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
【００１３】
システム制御部５０は画像処理装置１００全体を制御する。画像処理部２０は、Ａ／Ｄ変換器１６から提供される画像データ（デジタル画像信号）又はメモリ制御部２２から提供される画像データに対して画素補間処理や色変換処理等の画像処理を行う。また画像処理部２０は、画像の切り出し、変倍処理を行うことで電子ズーム機能を実現する。さらに画像処理部２０は、撮像素子１４で撮像された画像データに基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光による自動調光）処理のためのデータを演算する。演算結果はシステム制御部５０に提供する。システム制御部５０は、この演算結果に基づいて露光制御部４０、測距制御部（ＡＦ制御部）４２を制御し、自動露出やオートフォーカス機能を実現している。更に、画像処理部２０は、撮像素子１４で撮像された画像データに基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も実行する。
【００１４】
画像処理部２０は、本実施形態に対応する巡回型ノイズリダクション処理及び、巡回型ノイズリダクションが施された画像から元の画像を復元する画像復元処理を実行することができる。また、被写体検出機能を有することもできる。被写体検出方法としてはパターンマッチング、特徴点抽出など、公知の方法を適用可能で特に限定されない。また、検出する被写体の例として本実施形態では顔とするが、公知の被写体検出方法を用いて他の被写体（被写体領域）を検出するものであってもよく、検出される被写体は限定されない。
【００１５】
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０及びメモリ制御部２２を介して、又は、画像処理部２０を介することなくメモリ制御部２２を介してメモリ３０に書き込まれる。
【００１６】
画像表示部２８はＴＦＴ、ＬＣＤ等から構成され、メモリ２０に書き込まれた表示用の画像データをメモリ制御回路２２を介して表示する。画像表示部２８は、撮像画像を連続的に表示することにより、電子ファインダー機能を実現する。画像表示部２８は、システム制御部５０からの表示制御指令によって任意に表示をＯＮ／ＯＦＦされうる。表示をＯＦＦにして使用することにより、デジタルカメラ１００の電力消費を大幅に低減することができる。
【００１７】
メモリ３０は、撮影（記録媒体に記録する画像として撮像）した静止画像や動画像を格納するために使用される。メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。メモリ３０は、システム制御部５０の作業領域としても使用されうる。
【００１８】
不揮発性メモリ３１はＦｌａｓｈＲＯＭ等で構成される。システム制御部５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
【００１９】
圧縮・伸長部３２は、例えば適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮・伸長する処理部である。メモリ３０に格納された画像データを読み込んで圧縮処理或いは伸長処理を行い、処理を終えた画像データをメモリ３０に書き込むように構成されうる。圧縮・伸張部３２は、本実施形態に対応する巡回型ノイズリダクション処理によりノイズ低減された複数のフレーム画像を圧縮処理し、動画像データを生成することができる。また、本実施形態に対応する画像復元処理により復元された画像を圧縮処理し、動画像からのキャプチャ画像である静止画像を、例えばＪＰＥＧ画像データとして生成することができる。
【００２０】
露光制御部４０は、システム制御部５０から提供される情報に基づいて、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ（発光装置）４８と連携したフラッシュ調光機能も有しうる。フラッシュ４８は、フラッシュ調光機能及びＡＦ補助光の投光機能を有する。測距制御部４２は、システム制御部５０から提供される情報に基づいて、光学系１０のフォーカシング用レンズを制御する。ズーム制御部４４は、光学系１０のズーミングを制御する。露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。
【００２１】
各種操作部６０、６２、６４、６６、７０及び７２は、システム制御部５０に対して各種の動作指示を入力するための操作部であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
【００２２】
モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定するための操作部である。シャッタースイッチＳＷ１（６２）は、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。シャッタースイッチＳＷ２（６４）は、シャッターボタンの操作完了でＯＮとなる。
【００２３】
フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像素子１４への露光を終了させる。また、撮像素子１４から読み出した信号を記憶媒体２００に書き込む記録処理までの一連の処理の動作開始を指示する。より具体的には、Ａ／Ｄ変換部１６、メモリ制御部２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御部２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長部３２での圧縮を行う、などである。
【００２４】
表示切替スイッチ６６は、画像表示部２８の表示切替の指示を受け付けるための操作部である。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ、ＬＣＤ等から成る画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。操作部７０は各種ボタン、タッチパネルや回転式ダイアル等から構成され、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等を含む。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等も含むことができる。
【００２５】
ズームスイッチ７２はユーザーが撮像画像の倍率変更指示を行うための操作部である。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。ズームスイッチ７２を用いることでズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し、光学ズーム操作を実施することができる。また、画像処理部２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更を実施することもできる。
【００２６】
電源８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源供給部である。インタフェース（Ｉ／Ｆ）９０はメモリカードやハードディスク等の記憶媒体２００とのインタフェースである。コネクタ９２はメモリカードやハードディスク等の記憶媒体との接続を提供するコネクタである。
【００２７】
光学ファインダ１０４は、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。光学ファインダー１０４内には、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示を行うための表示素子が配置されてもよい。
通信部１１０はＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。コネクタ（アンテナ）１１２は、通信部１１０により画像処理装置１００を他の機器と接続するためのコネクタ、或いは無線通信の場合はアンテナである。記憶媒体２００はメモリカードやハードディスク等で構成される。記憶媒体２００は、半導体メモリや磁気ディスク等から構成される記憶部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を有する。
【００２８】
上述した画像処理装置１００内の各構成は、撮像素子や表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
【００２９】
図２は、本実施形態の画像処理部２０の機能構成の一部を例示する図である。画像処理部２０には、撮像部１４からのRGB信号がＡ／Ｄ変換部１６を介して入力される。或いは、メモリ３０からの画像データがメモリ制御部２２を介して入力される。画像処理部２０は、輝度生成部２０１、色生成部２０２、エッジ強調部２０３からなる現像処理部２０４と、巡回型ノイズリダクション（ＮＲ）部２０５、画像復元部２０６とからなる処理機能を有する。画像処理部２０から出力される画像信号はメモリ制御部２２を介してメモリに入力され、圧縮・伸張部３２等により動画像或いは静止画像として処理されてもよい。画像処理部２０の上記処理機能は、専用ロジック回路やメモリを用いてハードウェア的に実現されてもよい。また、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に実現されてもよい。
【００３０】
輝度生成部２０１は、入力画像信号から輝度信号成分を抽出し、ガンマ変換、面内のノイズリダクション等の輝度信号を生成する。色生成部２０２は色信号成分を抽出し、ガンマ変換、色マトリクス処理等の色信号を生成する。エッジ強調部２０３は画像の高周波成分を抽出し、高周波成分を強調する。これらの構成により画像処理部２０は現像処理部２０４として機能し、入力ＲＧＢ信号をＹＵＶ信号に変換することができる。RGBからYUVの変換の一例を式(1)に示す。
Y= 0.299R+0.587G+0.114B
U=-0.169R-0.331G+0.500B         ・・・(1)
V= 0.500R-0.419G-0.081B
【００３１】
現像処理部２０４から出力されるYUV信号には、巡回型ノイズリダクション（ＮＲ）部２０５にてノイズ低減処理が実施される。ノイズ低減処理により得られた画像信号はメモリ３０に格納された後、圧縮・伸張部により圧縮処理されて動画像データとして記憶媒体２００に記憶されてもよい。また、巡回型ノイズリダクション処理が施された画像信号から元の画像信号を復元する場合は画像復元部２０６にて画像復元処理が実施される。画像復元処理により得られた元の画像はメモリ３０に格納された後、圧縮・伸張部により圧縮処理されてＪＰＥＧ画像データ等の静止画像として記憶媒体２００に記憶されてもよい。
【００３２】
図３（ａ）は、本実施形態の画像処理部２０のうち、巡回型ＮＲ部２０５の構成の一例を示す図である。動画像を構成し得る複数のフレームのうち、処理対象のフレームである着目フレームをFr1としたとき、巡回型ノイズリダクション部２０５にはFr1が入力され、乗算器３０１により係数αを乗算する。ここで、係数αは１以下の値をとる。さらに、あらかじめフレームメモリ３０２に記憶しておいた前フレームFr0'に、乗算器３０３により係数(1-α)を乗算し、加算器３０４にて乗算器３０１から出力されたαが乗算された入力フレームと加算する。このようにして本実施形態では、着目フレームFr1と前フレームFr0'とを係数αを使って重みづけ加算することにより巡回型ノイズリダクション処理を行う。巡回型ＮＲ部２０５は、この加算結果を巡回後のフレームFr1'として出力し、かつ、次フレームの巡回型ノイズリダクション処理で用いるためにFr1'をフレームメモリ３０２に記憶する。ここで、αが大きいと着目フレームのノイズの影響力が大きくなるためノイズリダクション効果は小さくなる。一方、αが小さいと着目フレームのノイズの影響力が小さくなるためノイズリダクション効果は大きくなる。
【００３３】
図３（ｂ）は、本実施形態の画像処理部２０のうち、画像復元部２０６の構成の一例を示す図である。巡回型ノイズリダクション処理が施された着目フレームをFr1'としたとき、画像復元部にはFr1'が入力され、乗算器３１１により係数１／αを乗算する。ここで、係数αは、巡回型ＮＲ部２０５において用いた係数である。さらに、あらかじめフレームメモリ３１２に記憶しておいた前フレームFr0'に、乗算器３１３により係数(１-１／α)を乗算し、加算器３１４にて乗算器３１１から出力された１／αが乗算された入力フレームと加算する。このようにして本実施形態では、着目フレームFr1'と前フレームFr0'とを、巡回型ノイズリダクション処理に使用した係数αの逆数である係数1/αを使って重みづけ加算することにより巡回型ノイズリダクション処理が行われた画像から元の画像を復元する。画像復元部は、この加算結果を着目フレームFr1の復元画像として出力する。また、次フレームの画像復元処理のためにFr1'をフレームメモリ３１２に記憶する。
【００３４】
図４は、記録時、及び再生時の出力画像を説明するための図である。画像の見えとして、巡回型ノイズリダクション処理を強めにかけると動体の残像(尾引き)が発生する。この残像は、フレーム間で被写体の画像内での位置が異なるため、前フレームの画像を使って巡回型ノイズリダクション処理を行うと、現フレームにおける被写体位置からずれた位置に前フレームの被写体情報が現れてしまうために発生する。このような残像はフレーム間をなめらかに表現したい動画再生時においては目立ちにくいが、一時停止時や静止画切り出し時には目立ちやすい。また、ランダムノイズは動画再生時にはフレーム毎のちらつきとして認識しやすく、静止画切り出し時には固定しているためちらつきにはならない。図４（ａ）は撮影した動画像の１フレームを示しており、ノイズ低減を優先して巡回型ノイズリダクション処理を強めにかけた画像である。図４（ｂ）は動画像から抜き出した静止画を示しており、残像が無いことを優先し、ノイズは許容している。そこで、本実施形態では、動画用に巡回型ノイズリダクション処理を行ってフレーム間を滑らかに表現することを可能とする一方で、当該動画のフレームを静止画として切り出す場合に画像を復元して残像を除去することを可能とする。
【００３５】
図５は、本実施形態の撮影時、及び再生時の巡回型ノイズリダクション回路の動作を説明する図である。まず、図５(a)を用いて撮影時の巡回型ノイズリダクションを実施する動作を説明する。入力は着目フレームFr1とフレームメモリに記憶している前フレームFr0'で、巡回の係数はαとする。本実施形態では、着目フレームＦｒ１と前フレームＦｒ０'との大小関係に応じて２つのルートを切替える。Ｆｒ１≧Ｆｒ０'の場合、上側の点線で囲まれたルートＲ１でＮＲ処理済みの着目フレームFr1'を得る。具体的に減算器５０１においてFr1-Fr0'を求め、増幅器５０２にて当該差分値に係数αを乗算する。乗算結果は加算器５０３にて前フレームFr0'に加算される。減算器５０６には下側のルートＲ２からの入力は無いので、加算器５０３からの出力がそのままＮＲ処理済みの着目フレームFr1'として出力される。
【００３６】
また、Ｆｒ１＜Ｆｒ０'の場合、下側の一点鎖線で囲まれたルートＲ２でＮＲ処理済みの着目フレームFr1'を得る。具体的に減算器５０４においてFr0'-Fr1を求め、増幅器５０５にて当該差分値に係数αを乗算する。乗算結果は減算器５０６に供給され、前フレームFr0'から減算される。このとき加算器５０３にはＦｒ０'のみが入力され、減算器５０６の正側入力にはＦｒ０'が供給されている。
【００３７】
以上により、Ｆｒ１とＦｒ０'との大小関係に依らずＮＲ処理済みの着目フレームFr1'を得ることができる。このときの撮影時の巡回型ノイズリダクションの動作は以下の式(2)で表現できる。
Fr1'=αFr1+(1-α)Fr0'を変形し、Fr1'=Fr0'+α(Fr1-Fr0')・・・(2)
【００３８】
次に、図５(b)を参照して再生時に巡回型ノイズリダクションが施された画像（Ｆｒ１'）を元の画像（Ｆｒ１）に復元する処理について説明する。当該処理は、動画用にフレーム単位に巡回型ノイズリダクション処理を実施した場合に、当該動画からフレーム単体を静止画として切り出す場合に有効である。図５（ｂ）は、画像復元回路の一構成例を示す。当該画像復元回路に対する入力は、巡回型ノイズリダクションが施された着目フレームFr1'及び前フレームFr0'である。前フレームＦｒ０'はフレームメモリ３１２に記憶されているものとする。画像復元に際しては、図５（ａ）の巡回型ノイズリダクション実行時に使用した係数αを用いる。
本実施形態では、着目フレームＦｒ１'と前フレームＦｒ０'との大小関係に応じて２つのルートを切替える。Ｆｒ１'≧Ｆｒ０'の場合、上側の点線で囲まれたルートＲ３で着目フレームFr1を復元する。具体的に減算器５１１においてFr1'-Fr0'を求め、増幅器５１２にて当該差分値に係数１／αを乗算する。乗算結果は加算器５１３にて前フレームFr0'に加算される。減算器５１６には下側の一点鎖線で囲まれたルートＲ４からの入力は無いので、加算器５１３からの出力がそのまま着目フレームFr1の復元画像として出力される。
【００３９】
また、Ｆｒ１'＜Ｆｒ０'の場合、下側の一点鎖線で示すルートＲ４で着目フレームFr1を復元する。具体的に減算器５１４においてFr0'-Fr1'を求め、増幅器５１５にて当該差分値に係数１／αを乗算する。乗算結果は減算器５１６に供給され、前フレームFr0'から減算される。このとき加算器５１３にはＦｒ０'のみが入力され、減算器５１６の正側入力にはＦｒ０'が供給されている。
【００４０】
以上により、Ｆｒ１'とＦｒ０'との大小関係に依らず着目フレームFr1を復元することができる。再生時の巡回型ノイズリダクションを復元する動作は以下の式(3)で表現できる。
Fr1=(1/α)Fr1'+(1-1/α)Fr0'を変形し、Fr1=Fr0'+(Fr1'-Fr0')/α・・・(3)
【００４１】
以上のように、本実施形態に対応する撮像装置によれば、動画を構成するフレームを静止画として抜き出す場合に、記録時の巡回型ノイズリダクションによる残像をキャンセルすることにより、抜き出した静止画の残像を低減することが可能となる。本実施形態では巡回型ノイズリダクション処理時に使用する係数が固定的に設定され、画像の復元時には当該係数を使用すればよいので撮影後に動画から静止画を抜き出す場合であっても、容易に画像復元が可能となる。
【００４２】
なお、本実施形態では、同一の撮像装置内で巡回型ノイズリダクション処理と画像復元処理の両方を行ったが、これに限られるものではない。撮像装置は、動画の記録時に巡回型ノイズリダクション処理を行って、得られた動画と巡回型ノイズリダクション処理で用いられた係数の情報を出力する。そして、この動画と係数の情報を受け取ったパーソナルコンピュータにインストールされたアプリケーション上で、画像を復元して残像を除去するようにしてもよい。このように、巡回型ノイズリダクション処理と画像復元処理は、別々の主体が行うようにしても構わない。
【００４３】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４４】
２０：画像処理部、２０５：巡回型ＮＲ部、２０６：画像復元部
【図１】
2017076904.tif 000003
【図２】
2017076904.tif 000004
【図３】
2017076904.tif 000005
【図４】
2017076904.tif 000006
【図５】
2017076904.tif 000007