(57)【要約】【課題】動画記録時及び動画再生時の処理負荷の増大を抑制しつつ、動画再生時に処理対象のフレームが直前のフレームの繰り返しであるか否かに応じて巡回ＮＲ処理を制御することを可能にする技術を提供する。【解決手段】撮像手段と、前記撮像手段による撮像を繰り返し行って複数の画像を生成するように制御する制御手段と、前記複数の画像をフレームとして並べた動画を生成する生成手段であって、前記複数の画像のうちの少なくとも一部については各画像を２以上の連続するフレームとして繰り返し並べる、生成手段と、前記動画と、前記動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報とを関連付けて記録する記録手段と、を備えることを特徴とする撮像装置を提供する。【選択図】図３
2020136892.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段と、
前記撮像手段による撮像を繰り返し行って複数の画像を生成するように制御する制御手段と、
前記複数の画像をフレームとして並べた動画を生成する生成手段であって、前記複数の画像のうちの少なくとも一部については各画像を２以上の連続するフレームとして繰り返し並べる、生成手段と、
前記動画と、前記動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報とを関連付けて記録する記録手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記記録手段は、前記識別情報として、前記動画の各フレームに対して前記フレームが直前のフレームと同じ画像に対応するか異なる画像に対応するかを示すフラグを関連付ける
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記記録手段は、前記識別情報として、前記動画に含まれるフレームのうち直前のフレームと異なる画像に対応するフレームの各々に対して無効なシャッタスピードを示す値を関連付ける
ことを特徴とする請求項１に記載の撮像装置。
【請求項４】
動画と、前記動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報とを取得する取得手段と、
前記識別情報に基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する判定手段と、
前記動画の各フレームに対して巡回型のノイズ低減処理を適用する画像処理手段であって、処理対象のフレームが直前のフレームと同じ画像に対応するか否かに応じて前記巡回型のノイズ低減処理における前記処理対象のフレームの重みを変化させる、画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項５】
動画と、前記動画のフレームレート及びシャッタスピードを示す情報とを取得する取得手段と、
前記フレームレート及び前記シャッタスピードに基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する判定手段と、
前記動画の各フレームに対して巡回型のノイズ低減処理を適用する画像処理手段であって、処理対象のフレームが直前のフレームと同じ画像に対応するか否かに応じて前記巡回型のノイズ低減処理における前記処理対象のフレームの重みを変化させる、画像処理手段と、
を備えることを特徴とする画像処理装置。
【請求項６】
前記判定手段は、前記フレームレート及び前記シャッタスピードに基づいて、１回の撮像に対応するフレーム数を取得し、前記フレーム数に基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
動画と、前記動画に関連付けられたメタデータとを取得する取得手段と、
前記メタデータに基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する判定手段と、
前記動画の各フレームに対して巡回型のノイズ低減処理を適用する画像処理手段であって、処理対象のフレームが直前のフレームと同じ画像に対応するか否かに応じて前記巡回型のノイズ低減処理における前記処理対象のフレームの重みを変化させる、画像処理手段と、
を備え、
前記メタデータが前記動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報を含む場合、前記判定手段は、前記識別情報に基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定し、
前記メタデータが前記識別情報を含まず、前記メタデータが前記動画のフレームレート及びシャッタスピードを示す情報を含む場合、前記判定手段は、前記フレームレート及び前記シャッタスピードに基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する
ことを特徴とする画像処理装置。
【請求項８】
前記画像処理手段は、前記処理対象のフレームが直前のフレームと同じ画像に対応する場合、前記巡回型のノイズ低減処理における前記処理対象のフレームの重みを、前記処理対象のフレームが直前のフレームと異なる画像に対応する場合よりも小さくする
ことを特徴とする請求項４乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像処理手段は、前記処理対象のフレームが直前のフレームと同じ画像に対応する場合、前記巡回型のノイズ低減処理における前記処理対象のフレームの重みを０にする
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
撮像手段を備える撮像装置が実行する制御方法であって、
前記撮像手段による撮像を繰り返し行って複数の画像を生成するように制御する制御工程と、
前記複数の画像をフレームとして並べた動画を生成する生成工程であって、前記複数の画像のうちの少なくとも一部については各画像を２以上の連続するフレームとして繰り返し並べる、生成工程と、
前記動画と、前記動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報とを関連付けて記録する記録工程と、
を備えることを特徴とする制御方法。
【請求項１１】
画像処理装置が実行する画像処理方法であって、
動画と、前記動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報とを取得する取得工程と、
前記識別情報に基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する判定工程と、
前記動画の各フレームに対して巡回型のノイズ低減処理を適用する画像処理工程であって、処理対象のフレームが直前のフレームと同じ画像に対応するか否かに応じて前記巡回型のノイズ低減処理における前記処理対象のフレームの重みを変化させる、画像処理工程と、
を備えることを特徴とする画像処理方法。
【請求項１２】
画像処理装置が実行する画像処理方法であって、
動画と、前記動画のフレームレート及びシャッタスピードを示す情報とを取得する取得工程と、
前記フレームレート及び前記シャッタスピードに基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する判定工程と、
前記動画の各フレームに対して巡回型のノイズ低減処理を適用する画像処理工程であって、処理対象のフレームが直前のフレームと同じ画像に対応するか否かに応じて前記巡回型のノイズ低減処理における前記処理対象のフレームの重みを変化させる、画像処理工程と、
を備えることを特徴とする画像処理方法。
【請求項１３】
画像処理装置が実行する画像処理方法であって、
動画と、前記動画に関連付けられたメタデータとを取得する取得工程と、
前記メタデータに基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する判定工程と、
前記動画の各フレームに対して巡回型のノイズ低減処理を適用する画像処理工程であって、処理対象のフレームが直前のフレームと同じ画像に対応するか否かに応じて前記巡回型のノイズ低減処理における前記処理対象のフレームの重みを変化させる、画像処理工程と、
を備え、
前記メタデータが前記動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報を含む場合、前記判定工程では、前記識別情報に基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定し、
前記メタデータが前記識別情報を含まず、前記メタデータが前記動画のフレームレート及びシャッタスピードを示す情報を含む場合、前記判定工程では、前記フレームレート及び前記シャッタスピードに基づいて、前記動画の各フレームについて前記フレームが直前のフレームと同じ画像に対応するか否かを判定する
ことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至３のいずれか１項に記載の撮像装置の、撮像手段を除く各手段として機能させるためのプログラム。
【請求項１５】
コンピュータを、請求項４乃至９のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、制御方法、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
巡回型のノイズ低減処理（以下、「巡回ＮＲ処理」と呼ぶ）が知られている。巡回ＮＲ処理とは、現フレームの画像とメモリに格納された１フレーム期間以上前の画像との相関を利用してノイズを低減する処理である。特許文献１の記録装置は、ビデオ信号の記録時に、相関検出回路により連続する画面の相関を検出し、この相関値の情報をインデックスエリアに書き込んでおく。そして、再生装置は、再生時に、インデックスエリアの再生信号から連続する画面の相関情報を得、これに応じて、ノイズリデュース量を制御する。
【０００３】
また、動画記録時のシャッタ制御として、図２（ａ）に示すような通常シャッタ制御と、図２（ｂ）に示すようなスローシャッタ制御とが知られている。スローシャッタ制御の場合、蓄積タイミングに対応するフレームは、実質的に直前のフレームの繰り返しである。そのため、蓄積タイミングに対応するフレームは、直前のフレームとの相関が極めて高い。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平５−２２６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１は、スローシャッタ制御を行う場合を考慮していない。そのため、特許文献１の技術をスローシャッタ制御による動画記録に適用した場合、蓄積タイミングに対応するフレームに対しても相関検出処理が行われる。相関検出処理は比較的処理負荷が高いため、相関が極めて高いことが明らかであるにも関わらず蓄積タイミングに対応するフレームに対して相関検出処理を行うことは、消費電力の無意味な増大を招くことになる。
【０００６】
本発明はこのような状況に鑑みてなされたものである。本発明は、動画記録時及び動画再生時の処理負荷の増大を抑制しつつ、動画再生時に処理対象のフレームが直前のフレームの繰り返しであるか否かに応じて巡回ＮＲ処理を制御することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明は、撮像手段と、前記撮像手段による撮像を繰り返し行って複数の画像を生成するように制御する制御手段と、前記複数の画像をフレームとして並べた動画を生成する生成手段であって、前記複数の画像のうちの少なくとも一部については各画像を２以上の連続するフレームとして繰り返し並べる、生成手段と、前記動画と、前記動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報とを関連付けて記録する記録手段と、を備えることを特徴とする撮像装置を提供する。
【発明の効果】
【０００８】
本発明によれば、動画記録時及び動画再生時の処理負荷の増大を抑制しつつ、動画再生時に処理対象のフレームが直前のフレームの繰り返しであるか否かに応じて巡回ＮＲ処理を制御することが可能となる。
【０００９】
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
【図面の簡単な説明】
【００１０】
【図１】撮像装置１００のブロック図。
【図２】（ａ）通常シャッタ制御の概念図、（ｂ）スローシャッタ制御の概念図。
【図３】第１の実施形態に係るフレーム記録処理のフローチャート。
【図４】第１の実施形態に係るＲＡＷ動画記録処理の概念図。
【図５】第１の実施形態に係る現像処理のフローチャート。
【図６】各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報の例を示す図。
【図７】第２の実施形態に係る現像処理のフローチャート。
【図８】第２の実施形態に係るＲＡＷ動画再生処理の概念図。
【図９】フレームレートとシャッタスピードと蓄積フレーム数との対応関係を示す図。
【図１０】第３の実施形態に係る現像処理のフローチャート。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１２】
［第１の実施形態］
図１は、撮像装置１００のブロック図である。図１において、１０１はレンズ、１０２はレンズ駆動部、１０３はメカニカルシャッタ（以下、「メカシャッタ」と呼ぶ）、１０４は絞り、１０５はメカニカルシャッタ・絞り駆動部（以下、「シャッタ・絞り駆動部」と呼ぶ）である。１０６は撮像素子、１０７は画像信号処理回路、１０８はメモリ部、１０９は制御部、１１０は記録媒体制御インタフェース部（以下、「記録媒体制御Ｉ／Ｆ部」と呼ぶ）である。１１１は表示部、１１２は記録媒体、１１３は外部インタフェース部（以下、「外部Ｉ／Ｆ部」と呼ぶ）、１１４はメモリ部、１１５は操作部である。
【００１３】
レンズ１０１は、レンズ駆動部１０２によってズーム、フォーカス等が駆動制御される。レンズ１０１を通った被写体像は、絞り１０４にて適切な光量に調整され、撮像素子１０６上の撮像面に結像される。撮像素子１０６上の撮像面に結合した被写体像は、光電変換され、更にゲイン調整、アナログ信号からデジタル信号への変換を行うＡ／Ｄ変換が行われる。こうして得られたデジタル信号は、Ｒ、Ｇｒ、Ｇｂ、Ｂの信号として画像信号処理回路１０７に送られる。画像信号処理回路１０７は、現像処理、ノイズを軽減するローパスフィルタ処理、シェーディング処理、ホワイトバランス（ＷＢ）処理、巡回ＮＲ処理などの各種の画像信号処理を行い、更に各種の補正、画像データの圧縮等を行う。
【００１４】
メカシャッタ１０３及び絞り１０４は、シャッタ・絞り駆動部１０５によって駆動制御される。制御部１０９は、撮像装置１００全体の制御と各種演算を行う。メモリ部１０８は、画像データを一時的に記憶する。記録媒体制御Ｉ／Ｆ部１１０は、記録媒体１１２に対する、画像データの記録又は読み出しを行う。表示部１１１は、画像データの表示を行う。記録媒体１１２は、半導体メモリ等の着脱可能記録媒体であり、画像データを記録する。外部Ｉ／Ｆ部１１３は、外部コンピュータ等と通信を行うためのインタフェースである。メモリ部１１４は、制御部１０９での演算結果を記憶する。
【００１５】
操作部１１５を介してユーザが設定した撮像装置１００の駆動条件に関する情報は、制御部１０９に送られ、これらの情報に基づいて撮像装置１００全体の制御が行われる。メタデータ付加部１１６は、記録媒体制御Ｉ／Ｆ部１１０を介して画像データを記録媒体１１２に記録する際に、画像データにメタデータを付加する。メタデータ解析部１１７は、記録媒体制御Ｉ／Ｆ部１１０を介して記録媒体１１２から読み出された画像データからメタデータを取得して解析する。
【００１６】
次に、図３及び図４を参照して、第１の実施形態に係るＲＡＷ動画記録処理について説明する。図３は、撮像装置１００がＲＡＷ動画記録時にフレーム毎に実行するフレーム記録処理のフローチャートであり、図４は、ＲＡＷ動画記録処理の概念図である。図３のフローチャートの各ステップの処理は、特に断らない限り、制御部１０９が制御プログラムに従って撮像装置１００の各部を制御することにより実現される。ユーザが操作部１１５を用いてＲＡＷ動画の記録開始を指示すると、制御部１０９は露出設定に従って撮像素子１０６の露出制御を開始し、フレーム毎に本フローチャートの処理を実行する。
【００１７】
Ｓ３０１で、制御部１０９は、現在のフレームが読み出しタイミング（撮像素子１０６から画像信号を読み出すタイミング）であるか否かを判定する。例えば、図４（ａ）に示すようにシャッタスピードＴＶが１／６０秒（又はそれ以下）の場合、毎フレームが読み出しタイミングである。また、図４（ｂ）に示すようにシャッタスピードＴＶが１／１５秒の場合、センサー蓄積（撮像素子１０６における電荷の蓄積）が４フレームかけて行われるため、読み出しタイミングは４フレームに１回である。現在のフレームが読み出しタイミングである場合、処理はＳ３０２に進み、そうでない場合、処理はＳ３０４に進む。
【００１８】
Ｓ３０２で、制御部１０９は、撮像素子１０６から画像信号を読み出して画像信号処理回路１０７に入力することによりベイヤ配列のＲＡＷ画像データを生成し、記録対象の画像データとしてメモリ部１０８に一時的に格納する。これにより、記録対象の画像データが、前回の読み出しタイミングに得られた画像データから今回の読み出しタイミングに得られた画像データへと更新される。
【００１９】
Ｓ３０３で、メタデータ付加部１１６は、メモリ部１１４に格納されている更新フラグに「１」を設定する。更新フラグは、現在のフレームが更新フレーム（直前のフレームとは異なる画像に対応するフレーム）であるか非更新フレーム（直前のフレームと同じ画像に対応するフレーム）であるかを示すフラグ（識別情報）である。更新フラグ「１」は更新フレームを示し、更新フラグ「０」は非更新フレームを示す。
【００２０】
一方、Ｓ３０１において現在のフレームが読み出しタイミングでないと判定された場合、Ｓ３０４で、メタデータ付加部１１６は、メモリ部１１４に格納されている更新フラグに「０」を設定する。
【００２１】
Ｓ３０３又はＳ３０４の処理に続いて、Ｓ３０５で、制御部１０９は、メモリ部１０８に格納されている画像データを動画のフレームとして、記録媒体制御Ｉ／Ｆ部１１０を介して記録媒体１１２に記録する。また、制御部１０９は、メモリ部１１４に格納されている更新フラグを含むメタデータを現在のフレームと関連付けて、記録媒体制御Ｉ／Ｆ部１１０を介して記録媒体１１２に記録する。
【００２２】
以上の処理を動画記録中にフレーム毎に実行することで、各フレームに更新フラグが関連付けられた動画が生成される。例えば、図４（ａ）に示すようにシャッタスピードが１／６０秒（又はそれ以下）の場合、全てのフレームが更新フレームとなり、更新フラグ「１」を含むメタデータが関連付けられる（図４（ａ）において関連付け４０３に含まれる更新フラグ４０１を参照）。一方、図４（ｂ）に示すようにシャッタスピードが１／１５秒の場合、記録対象の画像データ（記録画像）は４フレームに１回しか更新されず、残り３フレームには同じ記録画像が繰り返し並べられている。従って、メタデータの更新フラグは、読み出しタイミングに対応するフレームだけ「１」となっている（図４（ｂ）において関連付け４０３に含まれる更新フラグ４０１を参照）。そして、残りの３フレームの更新フラグは「０」となっている（図４（ｂ）において関連付け４０４に含まれる更新フラグ４０２を参照）。
【００２３】
次に、図５を参照して、第１の実施形態に係るＲＡＷ動画再生処理について説明する。図５は、撮像装置１００がＲＡＷ動画再生時にフレーム毎に実行する現像処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０９が制御プログラムに従って撮像装置１００の各部を制御することにより実現される。ユーザが操作部１１５を用いて再生対象のＲＡＷ動画を選択し、再生開始を指示すると、制御部１０９はフレーム毎に本フローチャートの処理を実行する。
【００２４】
Ｓ５０１で、制御部１０９は、記録媒体制御Ｉ／Ｆ部１１０を経由して記録媒体１１２に記録されたＲＡＷ動画ファイルから１フレームを読み出し、関連するメタデータを取得する。
【００２５】
Ｓ５０２で、メタデータ解析部１１７は、Ｓ５０１において取得されたメタデータを解析し、更新フラグが「１」であるか否か（即ち、現在のフレームが更新フレームであるか否か）を判定する。更新フラグが「１」の場合、処理はＳ５０３に進み、更新フラグが「０」の場合、処理はＳ５０４に進む。
【００２６】
Ｓ５０３で、制御部１０９が、巡回ＮＲ処理を所定の強度で実行するように、画像信号処理回路１０７の巡回ＮＲ処理のパラメータを設定する。巡回ＮＲ処理とは、例えば、巡回ＮＲ処理における現在のフレーム（処理対象のフレーム）の重みである。重みが大きい場合、強度は小さく、重みが小さい場合、強度は大きい。なお、ここで言う「所定の強度」については、例えば、撮像装置１００が現在のフレームの撮影時に行った巡回ＮＲ処理の強度をメタデータに記録しておき、この強度をＳ５０３において設定する強度として用いてもよいし、再生用に予め決められている強度を用いてもよい。あるいは、現在のフレームと直前のフレームの間のシーン変化の有無に応じて設定される強度や、ユーザによる指示に応じて設定された強度を用いてもよい。
【００２７】
一方、Ｓ５０２において更新フラグが「０」であると判定された場合、Ｓ５０４で、制御部１０９は、巡回ＮＲ処理を最大の強度で実行するように、画像信号処理回路１０７の巡回ＮＲ処理のパラメータを設定する。ここで言う「最大の強度」とは、現在のフレームの影響を受けない強度、即ち巡回ＮＲ処理を適用した後の前フレームをそのまま出力する（現在のフレームの重みを０にする）ということを意味する。
【００２８】
なお、Ｓ５０４における強度設定は、Ｓ５０３における強度設定と異なっていればよく、必ずしも最大の強度でなくてもよい。Ｓ５０３とＳ５０４とで強度設定が異なる限り、制御部１０９は、処理対象のフレームが直前のフレームと同じ画像に対応するか否かに応じて巡回ＮＲ処理における処理対象のフレームの重みを変化させる制御を行っていると言える。Ｓ５０４において、Ｓ５０３と比べて処理対象のフレームの重みを小さく設定する（巡回ＮＲ処理の強度を大きく設定する）場合には、非更新フレームのノイズ低減効果が大きくなる。
【００２９】
Ｓ５０３又はＳ５０４の処理に続いて、Ｓ５０５で、制御部１０９は、画像信号処理回路１０７を用いて、現在のフレームの画像データに対して現像処理を行い、現像済みの画像データを表示部１１１に表示する。現像処理は、Ｓ５０３又はＳ５０４において設定された強度に従う巡回ＮＲ処理を含む。巡回ＮＲ処理は、巡回ＮＲ処理を適用した後の前のフレームの画像データを参照して行われる。
【００３０】
以上の処理を動画再生中にフレーム毎に実行することで、各フレームに適した巡回ＮＲ処理が行われる。
【００３１】
なお、上の説明では、各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報としてメタデータに更新フラグを追加する構成について説明したが、識別情報は更新フラグに限定されない。例えば、図６に示すように、既存のメタデータにある特定の項目（シャッタスピードの設定値、ノイズ低減処理の強度設定値など）を識別情報として用いてもよい。図６の例では、シャッタスピード設定値を識別情報として用いる場合、更新フレームのシャッタスピード設定値にはシャッタスピード＝「ＴＶ１５」（符号６０１）が格納される。また、非更新フレームのシャッタスピード設定値には無効値＝「０ｘＦＦＦＦ」（符号６０２）が格納される。この場合、撮像装置１００は、再生時に現在のフレームのシャッタスピード設定値が無効値であるか否かに基づいて、現在のフレームが非更新フレームであるか否かを判定することができる。同様に、ノイズ低減処理の強度設定値を識別情報として用いる場合、更新フレームの強度設定値には所定の設定値（例えば、「Ｌｅｖｅｌ３」（符号６０３））が格納される。また、非更新フレームの強度設定値には無効値＝「０ｘＦＦＦＦ」（符号６０４）が格納される。この場合、撮像装置１００は、再生時に現在のフレームのノイズ低減処理の強度設定値が無効値であるか否かに基づいて、現在のフレームが非更新フレームであるか否かを判定することができる。
【００３２】
また、上の説明では、更新フレームに対しては所定の強度で巡回ＮＲ処理を実行し、非更新フレームに対しては最大の強度で巡回ＮＲ処理を実行する構成について説明した。しかしながら、例えばデジタルテレコンのような電子拡大のＯＮ／ＯＦＦや、カラーバー表示など、前のフレームから明らかに記録画像が変化する場合には、巡回ＮＲ処理を非実施にすることを示す情報をメタデータに格納してもよい。
【００３３】
以上説明したように、第１の実施形態によれば、撮像装置１００は、例えば図４（ｂ）に示すように、撮像を繰り返し行って複数の画像を生成し、複数の画像をフレームとして並べた動画を生成する。この時、撮像装置１００は、複数の画像のうちの少なくとも一部については各画像を２以上の連続するフレームとして繰り返し並べる。そして、撮像装置１００は、動画と、動画の各フレームが直前のフレームと同じ画像に対応するか否かを識別する識別情報（例えば図４（ｂ）に示す更新フラグ）とを関連付けて記録する。動画再生時には、撮像装置１００は、動画と共に識別情報を取得し、動画の各フレームに対して巡回型のノイズ低減処理を適用する。その際に、撮像装置１００は、処理対象のフレームが直前のフレームと同じ画像に対応するか否かに応じて、巡回型のノイズ低減処理における処理対象のフレームの重みを変化させる。これにより、動画記録時及び動画再生時の処理負荷の増大を抑制しつつ、動画再生時に処理対象のフレームが直前のフレームの繰り返しであるか否かに応じて巡回ＮＲ処理を制御することが可能となる。
【００３４】
［第２の実施形態］
第１の実施形態では、ＲＡＷ動画再生時に更新フラグのような識別情報を参照することにより、現在のフレームが更新フレームであるか否かを判定する構成について説明した。これに対し、第２の実施形態では、識別情報を用いずに、メタデータに記録されたフレームレート及びシャッタスピードに基づいてフレームの更新周期を算出し、更新周期に基づいて現在のフレームが更新フレームであるか否かを判定する構成について説明する。第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
【００３５】
図７及び図８を参照して、第２の実施形態に係るＲＡＷ動画再生処理について説明する。図７は、撮像装置１００がＲＡＷ動画再生時にフレーム毎に実行する現像処理のフローチャートであり、図８は、ＲＡＷ動画再生処理の概念図である。図７のフローチャートの各ステップの処理は、特に断らない限り、制御部１０９が制御プログラムに従って撮像装置１００の各部を制御することにより実現される。ユーザが操作部１１５を用いて再生対象のＲＡＷ動画を選択し、再生開始を指示すると、制御部１０９はフレーム毎に本フローチャートの処理を実行する。
【００３６】
Ｓ７０１で、制御部１０９は、記録媒体制御Ｉ／Ｆ部１１０を経由して記録媒体１１２に記録されたＲＡＷ動画ファイルから１フレームを読み出し、関連するメタデータを取得する。メタデータは、フレームレート及びシャッタスピードを示す情報を含む。
【００３７】
Ｓ７０２で、制御部１０９は、メタデータが示すフレームレート及びシャッタスピードに基づいて、蓄積フレーム数ｘを取得する。例えば、図９に示すような、フレームレートとシャッタスピードと蓄積フレーム数との対応関係を示したテーブルが、制御部１０９が備える不揮発性メモリに予め記憶されている。制御部１０９は、このテーブルを参照して蓄積フレーム数ｘを取得する。
【００３８】
Ｓ７０３で、制御部１０９は、フレームカウンタｎをＳ７０２において取得した蓄積フレーム数ｘで余りを算出し、余りが０であるか否かを判定する。フレームカウンタｎは、制御部１０９によって動画再生開始時に０に初期化されている。余りが０である場合、処理はＳ７０４に進み、そうでない場合、処理はＳ７０５に進む。
【００３９】
Ｓ７０４で、制御部１０９は、フレームカウンタｎに１を代入する。その後、第１の実施形態と同様に、Ｓ５０３及びＳ５０５の処理が実行される。
【００４０】
一方、Ｓ７０３においてｎ÷ｍの余りが０でないと判定された場合、Ｓ７０５で、制御部１０９は、フレームカウンタｎに１を加算する。その後、第１の実施形態と同様に、Ｓ５０４及びＳ５０５の処理が実行される。
【００４１】
以上の処理を動画再生中にフレーム毎に実行することで、各フレームに適した巡回ＮＲ処理が行われる。例えば、図８（ａ）に示すように、フレームレートが６０ｆｐｓでシャッタスピードが１／１５秒（ＴＶ１５）の場合を考える。この場合、Ｓ７０２では図９のテーブルに従って蓄積フレーム数ｘとして４が取得される。従って、図８（ａ）において符号８０１で示すように、フレームカウンタｎが４の倍数である場合に、ｎ÷ｘの余りが０になる。即ち、ｎ÷ｘの余りが０である場合に、現在のフレームは更新フレームであり、Ｓ５０３において巡回ＮＲ処理が所定の強度に設定される。また、フレームカウンタが４の倍数でない場合（即ち、ｎ÷ｘの余りが０でない場合）に、現在のフレームは非更新フレームであり、Ｓ５０４において巡回ＮＲ処理が最大の強度に設定される。同様に、図８（ｂ）に示すように、フレームレートが６０ｆｐｓでシャッタスピードが１／８秒（ＴＶ８）の場合、Ｓ７０２では図９のテーブルに従って蓄積フレーム数ｘとして８が取得される。従って、図８（ｂ）において符号８０２で示すように、フレームカウンタｎが８の倍数である場合に、ｎ÷ｘの余りが０になる。即ち、ｎ÷ｘの余りが０である場合に、現在のフレームは更新フレームであり、Ｓ５０３において巡回ＮＲ処理が所定の強度に設定される。また、フレームカウンタが８の倍数でない場合（即ち、ｎ÷ｘの余りが０でない場合）に、現在のフレームは非更新フレームであり、Ｓ５０４において巡回ＮＲ処理が最大の強度に設定される。
【００４２】
なお、巡回ＮＲ処理の強度に関して、シャッタスピードが長い長秒露光で記録されていた場合は、記録時に使われた強度とは異なる強めの設定にし、フレームレートに対して通常露光で記録されていた場合は、記録時と同じ強度に設定するように制御してもよい。
【００４３】
また、上の説明では、フレームカウンタｎを蓄積フレーム数ｘ毎に１に戻すものとした（図７のＳ７０３〜Ｓ７０４参照）。しかしながら、例えばインターレス形式を考慮し、シャッタスピードの変更を偶数フレームでのみ行うように制御にすれば、フレームカウンタは通し番号でもよい。
【００４４】
以上説明したように、第２の実施形態によれば、撮像装置１００は、メタデータに記録されたフレームレート及びシャッタスピードに基づいて、現在のフレームが更新フレームであるか否かを判定する。これにより、動画記録時に識別情報を記録しない場合であっても、動画再生時に処理対象のフレームが直前のフレームの繰り返しであるか否かに応じて巡回ＮＲ処理を制御することが可能となる。
【００４５】
［第３の実施形態］
第３の実施形態では、再生対象のＲＡＷ動画に関連付けられているメタデータの内容に応じて巡回ＮＲ処理の制御を切り替える構成について説明する。第３の実施形態において、撮像装置１００の基本的な構成は第１の実施形態及び第２の実施形態と同様である（図１参照）。以下、主に第１の実施形態及び第２の実施形態と異なる点について説明する。
【００４６】
図１０を参照して、第３の実施形態に係るＲＡＷ動画再生処理について説明する。図１０は、撮像装置１００がＲＡＷ動画再生時にフレーム毎に実行する現像処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、制御部１０９が制御プログラムに従って撮像装置１００の各部を制御することにより実現される。ユーザが操作部１１５を用いて再生対象のＲＡＷ動画を選択し、再生開始を指示すると、制御部１０９はフレーム毎に本フローチャートの処理を実行する。
【００４７】
Ｓ１０００で、制御部１０９は、記録媒体制御Ｉ／Ｆ部１１０を経由して記録媒体１１２に記録されたＲＡＷ動画ファイルから１フレームを読み出し、関連するメタデータを取得する。
【００４８】
Ｓ１００１で、メタデータ解析部は、現在のフレームのメタデータに更新フラグが含まれているか否かを判定する。メタデータに更新フラグが含まれている場合、処理は図５のＳ５０２に進み、制御部１０９は、現在のフレームに対して第１の実施形態において説明した巡回ＮＲ処理を実行する。メタデータに更新フラグが含まれていない場合、処理はＳ１００２に進む。
【００４９】
Ｓ１００２で、メタデータ解析部１１７は、現在のフレームのメタデータにフレームレート及びシャッタスピードを示す情報が含まれているか否かを判定する。メタデータにフレームレート及びシャッタスピードを示す情報が含まれている場合、処理は図７のＳ７０２に進み、制御部１０９は、現在のフレームに対して第２の実施形態において説明した巡回ＮＲ処理を実行する。メタデータにフレームレート及びシャッタスピードを示す情報が含まれていない場合、処理はＳ１００３に進む。
【００５０】
Ｓ１００３では、制御部１０９は、画像信号処理回路１０７を用いて、現在のフレームの画像データに対して現像処理を行い、現像済みの画像データを表示部１１１に表示する。ここで実行される現像処理には、図５及び図７のＳ５０５において実行される現像処理と異なり、巡回ＮＲ処理が含まれない。
【００５１】
以上の処理を動画再生中にフレーム毎に実行することで、メタデータに基づいて更新フレームであるか非更新フレームであるかを識別可能なフレームについては、各フレームに適した巡回ＮＲ処理が行われる。
【００５２】
なお、メタデータに特定の情報が含まれるかの判定に関して、直接情報の有無を確認する代わりに、メタデータのバージョン情報により判定する構成としてもよい。
【００５３】
以上説明したように、第３の実施形態によれば、撮像装置１００は、再生対象のＲＡＷ動画に関連付けられているメタデータの内容に応じて巡回ＮＲ処理の制御を切り替える。これにより、メタデータの内容に応じた柔軟な制御が可能になる。
【００５４】
［その他の実施形態］
上述した各実施形態では、ＲＡＷ動画を記録して再生する場合を例に説明を行ったが、各実施形態はＲＡＷ動画に限定されない。現像済みの動画を記録して再生する場合であっても、動画再生時に巡回ＮＲ処理を行う場合には、各実施形態の技術を利用可能である。
【００５５】
また、上述した各実施形態においては、本発明を撮像装置に適用した場合を例にして説明を行ったが、各実施形態はこの例に限定されない。本発明は、撮像素子を備える任意のデバイスに適用可能である。即ち、携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなど、画像を撮像可能な装置であれば、本発明は適用可能である。また、上述した各実施形態において動画を再生する構成に関する発明については、画像を撮像する機能を持たない画像処理装置に対しても適用可能である。
【００５６】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００５７】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００５８】
１００…撮像装置、１０６…撮像素子、１０７…画像信号処理回路、１０８…メモリ部、１０９…制御部、１１１…表示部、１１２…記録媒体、１１４…メモリ部、１１５…操作部、１１６…メタデータ付加部、１１７…メタデータ解析部
【図１】
2020136892.tif 000003
【図２】
2020136892.tif 000004
【図３】
2020136892.tif 000005
【図４】
2020136892.tif 000006
【図５】
2020136892.tif 000007
【図６】
2020136892.tif 000008
【図７】
2020136892.tif 000009
【図８】
2020136892.tif 000010
【図９】
2020136892.tif 000011
【図１０】
2020136892.tif 000012