(57)【要約】【課題】ＲＡＷ動画データを記録する画像処理装置において、データ容量を抑制しつつ各種ノイズ除去に必要となる情報を記録することを可能とする画像処理装置を提供する。【解決手段】デジタルスチルカメラは、複数のＲＡＷ画像フレームを含むＲＡＷ動画データをメモリ１０２に記録する。デジタルスチルカメラは、撮影条件、例えば、イメージセンサの感度、露光時間、イメージセンサの温度等の情報を取得する。そして、デジタルスチルカメラは、撮影条件に応じてＯＢ領域または遮光画像を所定のＲＡＷ画像フレームに含めるか否かを判断する。【選択図】図１
2018026743.tif 000002
【特許請求の範囲】
【請求項１】
複数のＲＡＷ画像フレームを含むＲＡＷ動画データを記録する記録手段と、
撮影条件を取得する取得手段と、
前記撮影条件に応じてノイズ除去に使用する情報を所定のＲＡＷ画像フレームに含めるか否かを判断する判断手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記ノイズ除去に使用する情報は、オプティカル・ブラック領域であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判断手段が前記オプティカル・ブラック領域を前記所定のＲＡＷ画像フレームに含めると判断した場合に、前記記録手段は、前記所定のＲＡＷ画像フレームの映像信号を記録する領域を拡張して当該オプティカル・ブラック領域を記録するか、または前記所定のＲＡＷ画像フレームの主画像領域に前記映像信号を記録し、副画像領域に当該オプティカル・ブラック領域を記録することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記ノイズ除去に使用する情報は、遮光画像であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記判断手段が前記遮光画像を前記所定のＲＡＷ画像フレームに含めると判断した場合に、前記記録手段は、前記所定のＲＡＷ画像フレームの映像信号を記録する領域に当該遮光画像を記録するか、または前記所定のＲＡＷ画像フレームの副画像領域に当該遮光画像を記録することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記記録手段は、前記所定のＲＡＷ画像フレームの副画像領域に前記遮光画像を記録する場合に、主画像領域に当該所定のＲＡＷ画像フレームの前のＲＡＷ画像フレームの映像信号を記録することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記判断手段は、ノイズ量またはノイズパターンが変化する撮影条件の場合に、前記ノイズ除去に使用する情報を前記所定のＲＡＷ画像フレームに含めることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記判断手段は、露光時間またはセンサの温度の変化がそれぞれ所定の変化量よりも大きい場合にオプティカル・ブラック領域及び遮光画像を前記所定のＲＡＷ画像フレームに含め、前記露光時間及びセンサの温度の変化量がそれぞれ前記所定の変化量以下の場合であって、センサ感度の変化が所定の変化量よりも大きいときに前記オプティカル・ブラック領域を前記所定のＲＡＷ画像フレームに含めることを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記所定のＲＡＷ画像フレームは、前記判断手段が前記ノイズ量またはノイズパターンが変化する撮影条件であると判断した直後、または所定の枚数のＲＡＷ画像フレームが撮像された後に撮像されたＲＡＷ画像フレームであることを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記記録手段は、前記ノイズ除去に使用する情報を前記ＲＡＷ動画データの先頭または最終のＲＡＷ画像フレームに含めることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記記録手段は、前記ノイズ除去に使用する情報を前記ＲＡＷ動画データの最終のＲＡＷ画像フレームに含める際に、前記ＲＡＷ動画データの撮影開始から撮影終了までの間のピークセンサ感度または平均センサ感度を用いて当該ノイズ除去に使用する情報を生成することを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記記録手段は、前記ＲＡＷ画像フレームと、当該ＲＡＷ画像フレームに前記ノイズ除去に使用する情報を含めたか否か及び当該情報の種別とを関連付けて、前記ＲＡＷ動画データに記録することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
複数のＲＡＷ画像フレームを含むＲＡＷ動画データを記録する画像処理装置の制御方法であって、
撮影条件を取得する取得工程と、
前記撮影条件に応じてノイズ除去に使用する情報を所定のＲＡＷ画像フレームに含めるか否かを判断する判断工程と、
前記判断工程における判断に従い、前記ＲＡＷ画像フレームを記録する記録工程と、
を有することを特徴とする制御方法。
【請求項１４】
請求項１乃至１２のいずれか１項に記載の画像処理装置が備える各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、制御方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ（以下、カメラ）の普及やパーソナルコンピュータの性能向上などにより、動画像の様々な編集技術が提案されている。このような背景から、今後は静止画像だけでなく、動画像についてもＲＡＷ形式のデータを扱うようになり、さらにＲＡＷ形式でファイル保存ができるカメラも一般的に普及していくと予想される。
【０００３】
特許文献１は、ＲＡＷ動画データを記録する際に、ユーザの指示に応じて特定のＲＡＷ画像フレームに対して現像パラメータを記録する画像処理装置を開示している。また、特許文献２は、処理対象画像とする静止画の撮影終了後の所望の時点で、当該処理対象画像と同一の撮影条件で撮像された遮光画像を撮像し、遮光画像を用いて処理対象画像のノイズキャンセル処理を行う画像処理システムを開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２４４４２３号公報
【特許文献２】特開２００７−８８７７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＲＡＷ動画データは、所定の方法で圧縮した動画データと異なりデータ量が非常に大きくなるため、内部メモリと記録装置の容量及び帯域を圧迫し、フレームレートの低下や装置の大型化を招く可能性がある。従来、こうしたＲＡＷ動画データを記録可能な画像処理装置では、イメージセンサから読み出される全ての領域をＲＡＷ画像データとして記録せずに、映像信号の領域を切り出して記録している。この方法では、ＲＡＷ動画データの解像度及びフレームレートを上げることができる一方で、切り出す領域の周辺（外側）がカットされてしまうため、余分画素を遮光領域として利用することができない。
【０００６】
映像信号の外側の遮光領域は、映像信号に含まれる暗電流成分等のノイズ信号を取得するために利用できる。この遮光領域のことをＯＢ領域（オプティカル・ブラック領域）と呼んでいる。ＯＢ領域に含まれるランダム・ノイズ成分を解析することにより、高度なノイズ除去（ノイズ・リダクション、ＮＲ）を行うことができる。ＯＢ領域がカットされてしまうことで、ＲＡＷ画像データを現像処理する際にノイズ成分に応じたＮＲ処理を施すことができなくなってしまう。
【０００７】
また、露光時間を長くした場合や高温環境下では映像信号に固定パターン・ノイズが発生する場合がある。映像信号に含まれる固定パターン・ノイズは、遮光画像を撮影することによりノイズ成分を検出することができる。映像信号から固定パターン・ノイズのノイズ成分を減算することによりノイズを除去する。静止画撮影では、撮像処理が完了した後に遮光画像の撮影を行うことで固定パターン・ノイズの除去を行うことができるが、動画撮影では、遮光画像の撮影を行うことにより映像が欠落してしまう。
【０００８】
このように、ＲＡＷ動画データを記録する際に、ＯＢ領域や遮光画像が記録されていない場合に、ＲＡＷ動画データの現像時においてノイズ量及びノイズパターンに応じたＮＲ処理を適用することができなくなってしまう。
【０００９】
本発明は、ＲＡＷ動画データを記録する画像処理装置において、データ容量を抑制しつつ各種ノイズ除去に必要となる情報を記録することを可能とする画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の一実施形態の画像処理装置は、複数のＲＡＷ画像フレームを含むＲＡＷ動画データを記録する記録手段と、撮影条件を取得する取得手段と、前記撮影条件に応じてノイズ除去に使用する情報を所定のＲＡＷ画像フレームに含めるか否かを判断する判断手段と、を備える。
【発明の効果】
【００１１】
本発明の画像処理装置によれば、ＲＡＷ動画データを記録する画像処理装置において、データ容量を抑制しつつ各種ノイズ除去に必要となる情報を記録することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施形態に係る画像処理装置の構成例を示す図である。
【図２】ＲＡＷ動画データのフレーム種別の特徴を示す図である。
【図３】ＯＢ領域及び遮光画像の記録の有無を判断する処理を示す図である。
【図４】ＲＡＷ画像フレームにおける映像領域とＯＢ領域を示す図である。
【図５】ＲＡＷ動画データの記録フォーマットについて説明する図である。
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について図面などを参照して説明する。
【００１４】
（第１実施形態）
図１は、本発明の一実施形態に係る画像処理装置の構成例を示す図である。なお、本実施形態では、画像処理装置をデジタルスチルカメラに適用した例を説明するが、これに限られるものではない。例えば、デジタルムービーカメラ等の撮像装置や情報処理装置（例えば、パーソナルコンピュータ、携帯端末）等に適用されうる。
【００１５】
図１において、撮像素子１０１は、ＣＣＤイメージセンサやＣＭＯＳセンサ等の固体撮像素子であり、例えばベイヤー配列を有する原色カラーフィルタを備え、カラー画像の撮影が可能である。ストロボ１１６は、ストロボ発光装置であり、任意の発光時間で制御することで発光量を調節し、撮像素子１０１による露光と連動して発光させることが可能である。
【００１６】
ＣＰＵ１１４は、画像全体の輝度に基づいてシャッター速度、絞り値を計算すると共に、予め定めた合焦領域を用いて合焦制御を行い、フォーカスレンズの駆動量を計算する。ＣＰＵ１１４で計算された露出値（シャッター速度、絞り値）及びフォーカスレンズの駆動量、ストロボ発光量は、制御回路１１３に出力され、制御回路１１３は、これら各値に基づいて絞りやシャッター、フォーカスレンズ等を駆動する。
【００１７】
画像処理回路１１５は、メモリ１０２に記憶された映像信号（画像データ）に特殊な画像処理を施すことが可能である。画像処理回路１１５を用いて顔検出や被写体領域を色及び輝度信号により領域分割するなどの画像処理が可能である。ホワイトバランス（ＷＢ）制御回路は、メモリ１０２に記憶された映像信号に基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された映像信号に対してＷＢ補正を行う。
【００１８】
色変換マトリックス（ＭＴＸ）回路１０４は、ＷＢ制御回路１０３によりＷＢ補正された映像信号が最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限する。ＣＳＵＰ（Ｃｈｒｏｍａ  Ｓｕｐｒｅｓｓ）回路１０６は、ＬＰＦ回路１０５で帯域制限された映像信号のうち、飽和部分の偽色信号を抑圧する。一方、ＷＢ制御回路１０３によりＷＢ補正された映像信号は、輝度信号（Ｙ）生成回路１１１にも出力されて輝度信号Ｙが生成される。
【００１９】
エッジ強調回路１１２は、生成された輝度信号Ｙに対してエッジ強調処理を施す。ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙと、エッジ強調回路１１２から出力される輝度信号Ｙとは、ＲＧＢ変換回路１０７にてＲＧＢ信号に変換され、ガンマ（γ）補正回路１０８にて階調補正が施される。階調補正が施されたＲＧＢ信号は、色輝度変換回路１０９にてＹＵＶ信号に変換され、さらにＪＰＥＧ圧縮回路１１０にて圧縮されて、外部記録媒体または内部記録媒体に映像信号として記録される。
【００２０】
次に、ＲＡＷ動画データのフレーム種別について説明する。なお、本明細書では、ＲＡＷ形式で取得または記録された動画像データを、ＲＡＷ動画データと記述する。また、ＲＡＷ動画データを構成するフレーム画像データを、ＲＡＷ画像データまたはＲＡＷ画像フレームと記述する。
【００２１】
図２は、ＲＡＷ動画データのフレーム種別の特徴を説明する図である。具体的には、ＯＢ領域（オプティカル・ブラック領域）の記録の有無と、遮光画像を取得するダーク撮影の有無により、ＲＡＷ画像フレームを４つの種別に分類している。
【００２２】
タイプ（Ｔｙｐｅ）Ａは、映像信号のみを記録する通常のＲＡＷ画像フレームを示す。タイプＢは、ＯＢ領域を記録するＲＡＷ画像フレームを示す。ＯＢ領域の記録方法については図５を用いて後述する。映像領域に加えてＯＢ領域も記録するため、タイプＡのＲＡＷ画像フレームと比べて記録する領域が拡張され、データ容量が増加する。タイプＣは、遮光画像（ダーク撮影画像）を記録するＲＡＷ画像フレームを示す。タイプＤは、ＯＢ領域と遮光画像を記録するＲＡＷ画像フレームを示す。
【００２３】
図３は、ＯＢ領域の記録の有無と遮光画像の記録の有無を判定するフローチャートを示す図である。ステップＳ２０１では、ＣＰＵ１１４が、カメラ情報を取得する。具体的には、カメラ情報として撮影条件、例えば、イメージセンサの感度、露光時間、イメージセンサの温度等の情報が取得される。なお、本実施形態では、イメージセンサの感度や温度、露光時間の情報を取得するが、これに限られるものではなく、ノイズ量またはノイズパターンが変化する撮影条件に関する情報が取得される。
【００２４】
ステップＳ２０２では、ＣＰＵ１１４が、ステップＳ２０１で取得した撮影条件の情報のうち、露光時間の変化が大きいか否かを判定する。露光時間の変化が所定の変化量よりも大きい場合にはステップＳ２０４に進み、露光時間の変化が所定の変化量以下の場合にはステップＳ２０３に進む。ステップＳ２０３では、ＣＰＵ１１４が、ステップＳ２０１で取得したイメージセンサの温度の変化が大きいか否かを判定する。イメージセンサの温度変化が所定の変化量よりも大きい場合にはステップＳ２０４に進み、イメージセンサの温度変化が所定の変化量以下の場合にはステップＳ２０５に進む。
【００２５】
ステップＳ２０４では、ＣＰＵ１１４が、ＲＡＷ画像フレームの種別がタイプＤであると判断し、ＯＢ領域と遮光画像を記録する。すなわち、露光時間の変化が大きい場合、またはイメージセンサの温度変化が大きい場合に、ＯＢ領域及び遮光画像がＲＡＷ画像フレームに記録される。ステップＳ２０５では、ＣＰＵ１１４が、ステップＳ２０１で取得したイメージセンサの感度（ＩＳＯ感度）に変化があるか否かを判定する。
【００２６】
イメージセンサの感度が変化していない場合にはステップＳ２０７へ進み、イメージセンサの感度が変化した場合にはステップＳ２０６へ進む。なお、イメージセンサの感度については、動画の撮影開始から撮影終了までの間の最高感度（ピークセンサ感度）及び平均感度（平均センサ感度）が記憶されている。ステップＳ２０６では、ＣＰＵ１１４が、イメージセンサの感度の変化が１／３段以上か否かを判定する。イメージセンサの感度の変化が１／３段以上の場合にはステップＳ２０８へ進み、イメージセンサの感度の変化が１／３段未満の場合にはステップＳ２０７へ進む。
【００２７】
ステップＳ２０８では、ＣＰＵ１１４が、ＲＡＷ画像フレームの種別がタイプＢであると判断し、ＯＢ領域を記録する。ステップＳ２０７では、ＣＰＵ１１４が、ＲＡＷ画像フレームの種別がタイプＡであると判断する。すなわち、露光時間の変化、イメージセンサの温度変化、及びイメージセンサの感度等の撮影条件の変化が大きい場合にノイズ除去に使用する情報としてＯＢ領域及び遮光画像が記録され、何れも小さい変動であった場合にＯＢ領域及び遮光画像は記録されない。
【００２８】
ステップＳ２０９では、ＣＰＵ１１４が、動画の記録開始時であるかまたは終了時であるかを判定する。動画の記録開始時または終了時にはステップＳ２１０に進む。ステップＳ２１０では、ＣＰＵ１１４が、ＲＡＷ画像フレームの種別がタイプＤであると判断し、ＯＢ領域と遮光画像を記録する。なお、図２の処理では遮光画像のみを記録するタイプＣの判定は行われなかったが、例えば、ステップＳ２０４においてタイプＣと判定するようにしてもよい。
【００２９】
図４は、ＲＡＷ画像フレームにおける映像領域とＯＢ領域を示す図である。領域３０１は、映像領域を示し、動画として表示される映像部分である。領域３０２、領域３０４、及び領域３０６は、ＯＢ領域を示し、イメージセンサの暗電流成分を分析するために使用する領域である。領域３０３は、固定パターン・ノイズが発生した例を示し、映像領域内に横スジとムラが生じている様子を示している。領域３０５には、領域３０３における固定パターン・ノイズが抽出されている。遮光してダーク撮影をおこなうことにより固定パターン・ノイズを抽出することができる。
【００３０】
図５は、ＲＡＷ動画データの記録フォーマットについて説明する図である。ＲＡＷ動画データ５０１は、ＯＢ領域付きＲＡＷ画像フレームを記録する例を示している。ＲＡＷ動画データは、複数のＲＡＷ画像フレームを含み、先頭フレームには、ＩＮＶＡＬＩＤ（Ｄ）の付帯情報が記録されており、先頭フレームが無効フレームであることを示すとともに、ＲＡＷ画像フレームの種別がタイプＤであることを示している。種別がタイプＤであるとは、ＯＢ領域と遮光画像とが記録されているＲＡＷ画像フレームであることを示しており、斜線で示した領域がＯＢ領域である。
【００３１】
続いて、画像フレーム００１（Ａ）、００３（Ａ）及び００４（Ａ）は、映像領域のみを記録するタイプＡのＲＡＷ画像フレームである。また、画像フレーム００２（Ｂ）は、映像領域に加えてＯＢ領域も記録するタイプＢのＲＡＷ画像フレームである。最終フレームには、ＩＮＶＡＬＩＤ（Ｄ）の付帯情報が記録されており、先頭フレームと同様に無効フレームであることを示すとともに、ＲＡＷ画像フレームの種別がタイプＤであることを示している。
【００３２】
このように、ＲＡＷ動画データ５０１では、動画の記録開始時、及び終了時に無効フレームとして動画表示に使用しない部分にＯＢ領域と遮光画像を埋め込んでいる。これにより、主画像の連続性を損なわずに遮光画像を記録することができる。なお、最終フレームにおけるＩＮＶＡＬＩＤ（Ｄ）を有する遮光画像は、図３のステップＳ２０５で記憶した動画記録中の最高感度、または平均感度の何れかのセンサ感度に切り替えてからダーク撮影を実行するものとする。
【００３３】
次に、ＲＡＷ動画データ５０２及び５０３は、ＯＢ領域と遮光画像を副画像コンテナ（副画像領域）に記録する例を示している。５０２は、動画として表示される映像領域を記録する主画像コンテナ（主画像領域）を示し、５０３は、ＯＢ領域、距離マップ、サブカメラ映像等の画像を記録する副画像コンテナを示している。ＲＡＷ動画データ５０２及び５０３の画像フレーム００２（Ｂ）は、ＲＡＷ画像フレームの種別がタイプＢであり、映像領域が主画像コンテナに、ＯＢ領域が副画像コンテナに記録されている。
【００３４】
画像フレーム００５（Ｃ）は、ＲＡＷ画像フレームの種別がタイプＣであり、遮光画像が副画像コンテナに記録されている。このとき、主画像コンテナには、前フレームである００４（Ａ）の映像が２度出しされている。なお、００５（Ｃ）の主画像コンテナに００４（Ａ）の映像を２度出しするのではなく、前後のフレームからフレーム補間の技術を用いて中間画像を生成することも可能である。上述した５０１〜５０３のように、ＲＡＷ画像フレームに対して当該ＲＡＷ画像フレームの種別が関連付けて記録される。すなわち、ＲＡＷ画像フレームに対して、ＯＢ領域や遮光画像等のノイズ除去に使用する情報を含めたか否か、及びその情報の種別が関連付けて記録される。
【００３５】
以上のように、本実施形態によれば、ＲＡＷ動画データを記録する画像処理装置において、ノイズ量またはノイズパターンが変化する撮影条件の場合に、所定のＲＡＷ画像フレームにＯＢ領域や遮光画像等のノイズ除去に使用する情報を付加する。このため、データ容量を抑制しつつ各種ノイズ除去に必要となる情報を記録することができ、ＲＡＷ動画データの現像時において、ランダム・ノイズ及び固定パターン・ノイズ等の各種ノイズ除去に必要な処理を適用することを可能とする。
【００３６】
なお、本実施形態では、固定パターン・ノイズの検出方法として遮光画像を用いる方法を説明したが、これに限定されるものではない。例えば、水平方向に生じる横スジのような固定パターン・ノイズであれば、ＯＢ領域を用いて解析することも可能である。
【００３７】
また、図３においてＲＡＷ画像フレームの種別をタイプＢ、タイプＣ、またはタイプＤと判定した場合に、ＯＢ領域または遮光画像を直ちに（当該判断の直後に）取得するか、または所定の枚数のＲＡＷ画像フレームを出力した後に取得するかは任意である。また、所定の時間が経過した後にＯＢ領域または遮光画像を取得してもよい。露光時間の切り替わりのタイミングにおいて直ちに応答せずに遅延を設けることにより、一時的な変化をキャンセルすることができる。このとき、被写体またはカメラ本体の動き情報を取得して、動き判定された場合にはＯＢ領域または遮光画像を取得しないように制御することも可能である。
【００３８】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００３９】
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００４０】
１０１  撮像素子
１０２  メモリ
１１３  制御回路
１１４  ＣＰＵ
１１５  画像処理回路
【図１】
2018026743.tif 000003
【図２】
2018026743.tif 000004
【図３】
2018026743.tif 000005
【図４】
2018026743.tif 000006
【図５】
2018026743.tif 000007