(57)【要約】【課題】ノイズを動画に付加すると、付加したノイズにより動画データの符号量が大きく増加してしまう場合がある。【解決手段】画像処理装置は、動画を取得する画像取得部と、動画において連続する複数の画像に、画素位置に対応する擬似ランダムノイズを付加するノイズ付加部と、ノイズ付加部が付加する擬似ランダムノイズを、予め定められた数の連続する画像毎に切り替えるノイズ制御部と、擬似ランダムノイズが付加された複数の画像を、画像間差分により圧縮する圧縮部とを備える。【選択図】図３
2013179542.tif 000002
【特許請求の範囲】
【請求項１】
動画を取得する画像取得部と、
前記動画において連続する複数の画像に、画素位置に対応する擬似ランダムノイズを付加するノイズ付加部と、
前記ノイズ付加部が付加する擬似ランダムノイズを、予め定められた数の連続する画像毎に切り替えるノイズ制御部と、
前記擬似ランダムノイズが付加された複数の画像を、画像間差分により圧縮する圧縮部と、
を備える画像処理装置。
【請求項２】
動画において動きベクトルを検出する動きベクトル検出部
をさらに備え、
前記ノイズ付加部は、０の動きベクトルが検出されたブロックに、０以外の動きベクトルが検出されたブロックよりも大きい強度で擬似ランダムノイズを付加する
請求項１に記載の画像処理装置。
【請求項３】
前記ノイズ付加部は、０以外の動きベクトルが検出されたブロックに擬似ランダムノイズを付加せず、０の動きベクトルが検出されたブロックに擬似ランダムノイズを付加する
請求項２に記載の画像処理装置。
【請求項４】
前記圧縮部は、前記動きベクトルに基づき基準画像から生成される予測画像と、画像間差分で圧縮される圧縮対象画像に含まれるブロックとの間の差分により、前記複数の画像を圧縮する
請求項２または３に記載の画像処理装置。
【請求項５】
前記ノイズ付加部は、前記基準画像に擬似ランダムノイズを付加し、前記圧縮対象画像に含まれる複数のブロックのうち０の動きベクトルが検出されたブロックに擬似ランダムノイズを付加する
請求項４に記載の画像処理装置。
【請求項６】
前記ノイズ制御部は、第１基準画像から始まり１以上の圧縮対象画像を含む連続する複数の画像に、それぞれ第１擬似ランダムノイズを適用し、第２基準画像から始まり１以上の圧縮対象画像を含む複数の画像に、それぞれ第２擬似ランダムノイズを適用する
請求項５に記載の画像処理装置。
【請求項７】
前記ノイズ制御部は、Ｉフレームから始まり１以上のＢフレームを含む連続する複数のフレームに、第１の擬似ランダムノイズを適用し、Ｐフレームから始まり１以上のＢフレームを含む連続する複数のフレームに、第２の擬似ランダムノイズを適用する
請求項６に記載の画像処理装置。
【請求項８】
前記ノイズ制御部は、前記複数の画像のうちの第１画像から始まる第１画像群における第１画像領域に第１擬似ランダムノイズを適用し、前記第１画像群に含まれる第２画像から始まる画像群における第２画像領域に第２擬似ランダムノイズを適用することにより、複数の擬似ランダムノイズの組み合わせを画像群に適用する
請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記ノイズ制御部は、ＧＯＰ構成が変化した場合に、ＧＯＰ構成に基づいて、画像群に前記複数の擬似ランダムノイズの組み合わせを適用するか、画像群に１の擬似ランダムノイズを適用するかを判断する
請求項８に記載の画像処理装置。
【請求項１０】
前記ノイズ制御部は、双方向予測により圧縮される画像の数が予め定められた値より大きい場合に、画像群に前記複数の擬似ランダムノイズの組み合わせを適用し、双方向予測により圧縮される画像の数が予め定められた値以下である場合に、画像群に前記１の擬似ランダムノイズを適用する
請求項９に記載の画像処理装置。
【請求項１１】
前記ノイズ制御部は、撮影のフレームレートが予め定められた値より大きい場合に、画像群に１の擬似ランダムノイズを適用し、フレームレートが予め定められた値以下である場合に、画像群に前記複数の擬似ランダムノイズの組み合わせを適用する
請求項８に記載の画像処理装置。
【請求項１２】
動画を取得する動画取得ステップと、
前記動画において連続する複数の画像に、画素位置に対応する擬似ランダムノイズを付加するノイズ付加ステップと、
前記ノイズ付加ステップにおいて付加する擬似ランダムノイズを、予め定められた数の連続する画像毎に切り替えるノイズ制御ステップと、
前記擬似ランダムノイズが付加された複数の画像を、画像間差分により圧縮する圧縮ステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
復号された動画像信号に、復号された動画像信号の輝度信号に応じて適応的にノイズを付加する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開平８−１６３５９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えば視覚的な画質劣化を低減するためにノイズを動画に付加すると、付加したノイズにより動画データの符号量が大きく増加してしまう場合がある。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像処理装置は、動画を取得する画像取得部と、動画において連続する複数の画像に、画素位置に対応する擬似ランダムノイズを付加するノイズ付加部と、ノイズ付加部が付加する擬似ランダムノイズを、予め定められた数の連続する画像毎に切り替えるノイズ制御部と、擬似ランダムノイズが付加された複数の画像を、画像間差分により圧縮する圧縮部とを備える。
【０００５】
本発明の第２の態様においては、プログラムは、動画を取得する動画取得ステップと、前記動画において連続する複数の画像に、画素位置に対応する擬似ランダムノイズを付加するノイズ付加ステップと、ノイズ付加ステップにおいて付加する擬似ランダムノイズを、予め定められた数の連続する画像毎に切り替えるノイズ制御ステップと、擬似ランダムノイズが付加された複数の画像を、画像間差分により圧縮する圧縮ステップとをコンピュータに実行させる。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】撮像装置１００のシステム構成図を示す。
【図２】ＡＳＩＣ１３５のブロック構成の一例を模式的に示す。
【図３】擬似ランダムノイズを付加する処理の一例を模式的に示す。
【図４】擬似ランダムノイズを適用するブロックの一例を模式的に示す。
【図５】擬似ランダムノイズを付加する処理の他の一例を模式的に示す。
【図６】撮像装置１００の起動から終了までの処理フローを示す。
【図７】動画撮影時における処理の一例を示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、撮像装置１００のシステム構成図を示す。撮像装置１００は、交換レンズ１２０およびカメラ本体１３０を備える。交換レンズ１２０は、レンズマウント接点１２１を有するレンズマウントを備え、カメラ本体１３０は、カメラマウント接点１３１を有するカメラマウントを備える。レンズマウントとカメラマウントが係合して交換レンズ１２０とカメラ本体１３０が一体化されると、レンズマウント接点１２１とカメラマウント接点１３１が接続される。撮像装置１００は、交換レンズ１２０とカメラ本体１３０とが一体化した状態で一眼レフカメラとして機能する。
【００１０】
被写体光は、光軸に沿って撮影光学系としてのレンズ群１２２を透過して、撮像素子１３２の受光面に結像する。レンズ群１２２は、レンズＭＰＵ１２３によって制御される。例えば、レンズＭＰＵ１２３は、フォーカスレンズモータを制御して、レンズ群１２２を構成するフォーカスレンズ群を移動させる。撮像素子１３２は、レンズ群１２２を通過した被写体光により撮像する撮像部の一部として機能する。
【００１１】
レンズＭＰＵ１２３は、レンズマウント接点１２１およびカメラマウント接点１３１を介してカメラＭＰＵ１３３と接続され、相互に通信を実行しつつ協働して交換レンズ１２０とカメラ本体１３０を制御する。撮像素子１３２は、被写体像である光学像を光電変換する素子であり、例えばＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１３２で光電変換された被写体像は、Ａ／Ｄ変換器１３４でアナログ信号からデジタル信号に変換される。撮像素子駆動部１４０は、撮像素子１３２およびＡ／Ｄ変換器１３４の駆動を制御する。例えば、撮像素子駆動部１４０は、カメラＭＰＵ１３３から与えられる露光時間、露光周期等に従って、撮像素子１３２の電荷リセットおよび読み出しタイミング、読み出しゲイン等に対する制御信号を出力する。撮像素子駆動部１４０は、撮像素子１３２からのアナログ信号としての読み出しに同期して、Ａ／Ｄ変換器１３４にデジタル信号へ変換させる制御信号を出力する。
【００１２】
デジタル信号に変換された受光信号としての被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１３４によりデジタル信号に変換された画像データは、ＡＳＩＣ１３５へ引き渡される。ＡＳＩＣ１３５は、画像処理機能に関連する回路を一つにまとめた集積回路である。ＳＤＲＡＭ１３６は、ＡＳＩＣ１３５における処理、画像データの記録および再生動作時において一時的に画像データを記憶するためのバッファメモリとして機能する。
【００１３】
ＡＳＩＣ１３５は、画像データを規格化された画像フォーマットの画像データに変換して出力する。例えば、ＡＳＩＣ１３５は、静止画データとしてのＪＰＥＧファイルを生成するための画像処理を行う。また、ＡＳＩＣ１３５は、動画データとしてのＭＰＥＧファイルを生成するための画像処理を行う。カメラＭＰＵ１３３は、ＡＳＩＣ１３５によって生成された静止画データ、動画データ等の画像データを、不揮発性の記録媒体としての外部メモリ１６０に転送して記録させる。外部メモリ１６０は、例えばフラッシュメモリ等により構成される。
【００１４】
ＡＳＩＣ１３５は、外部メモリ１６０への記録用に処理される画像データに並行して、表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１３７の制御に従って表示画像信号に変換され、液晶ディスプレイ等の表示デバイスとしての表示部１３８に表示される。また、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目も、表示制御部１３７の制御により表示部１３８に表示することができる。
【００１５】
撮像装置１００は、上記の画像処理における各々の要素も含めて、カメラＭＰＵ１３３により直接的または間接的に制御される。システムメモリ１３９は、電気的に消去・記憶可能な不揮発性メモリであり、例えばフラッシュＲＯＭ等により構成される。システムメモリ１３９は、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないように記憶している。カメラＭＰＵ１３３は、定数、変数、プログラム等を適宜ＳＤＲＡＭ１３６に展開して、撮像装置１００の制御に利用する。カメラ本体１３０内のＡ／Ｄ変換器１３４、ＡＳＩＣ１３５、ＳＤＲＡＭ１３６、システムメモリ１３９、表示制御部１３７、カメラＭＰＵ１３３、外部メモリ１６０は、バス等の接続インタフェース１４５により、相互に接続される。
【００１６】
操作入力部１４１は、ユーザによる設定操作等のユーザ操作を受け付ける。操作入力部１４１としては、電源スイッチ、レリーズボタン、動画撮影ボタン、撮像モードスイッチ、各種操作ボタン、表示部１３８に一体に実装されたタッチパネル等を含む。カメラＭＰＵ１３３は、操作入力部１４１が操作されたことを検知して、操作に応じた動作を実行する。例えば、カメラＭＰＵ１３３は、レリーズボタンが操作された場合に、レリーズ動作を実行するよう撮像装置１００の各要素を制御する。また、カメラＭＰＵ１３３は、タッチパネルが操作された場合に、表示部１３８に表示されたメニュー項目および操作内容に応じた動作をするよう、撮像装置１００の各要素を制御する。
【００１７】
カメラ本体１３０の各要素および外部メモリ１６０は、電源１７０から電力供給を受ける。電源１７０は、カメラ本体１３０に対して着脱できる、例えばリチウムイオン電池などの二次電池、家庭用ＡＣ電源等により構成される。カメラＭＰＵ１３３は、電源１７０から撮像装置１００の各要素への電力供給を制御する。二次電池は、撮像装置１００を駆動する電池の一例である。電池とは、実質的に充電することができない非充電式の電池を含む。
【００１８】
図２は、ＡＳＩＣ１３５のブロック構成の一例を模式的に示す。ＡＳＩＣ１３５は、画像取得部２００、画像処理部２１０、ノイズ付加部２２０、ノイズ制御部２３０、動きベクトル検出部２５０、圧縮部２６０を有する。
【００１９】
画像取得部２００は、Ａ／Ｄ変換器１３４から出力された画像データを取得する。画像処理部２１０は、画像データに画像処理を施す。例えば、画像処理部２１０による画像処理としては、ホワイトバランス調整、ガンマ補正、色補間処理、色変換処理等を例示することができる。色補間処理としては、１画素あたり１色の画像データから、１画素あたり３色の画像データを生成する処理等を例示することができる。色変換処理としては、ＲＧＢ信号としての画像データを、ＹＣ信号としての画像データに変換する処理等を例示することができる。
【００２０】
撮像素子１３２により動画撮影された場合、画像処理部２１０が取得する画像データは、動画に含まれる複数の画像の画像データである。すなわち、画像取得部２００は、動画データを取得する。ノイズ付加部２２０は、擬似ランダムノイズを画像データに追加することで、画像データに対していわゆるディザリング処理を行う。特に、ノイズ付加部２２０は、動画において連続する複数の画像に、画素位置に対応する擬似ランダムノイズを付加する。ノイズ付加部２２０は、複数の画像における少なくとも一部の画像領域に、擬似ランダムノイズを付加してよい。
【００２１】
なお、擬似ランダムノイズは、線形帰還シフトレジスタによって発生することができる。ノイズ制御部２３０は、画素位置に対応する乱数列を、疑似擬似ランダムノイズとして生成して、ＳＤＲＡＭ１３６に記憶する。例えば、ノイズ制御部２３０は、Ｎ×Ｍ画素の画像データに適用する擬似ランダムノイズとして、Ｎ×Ｍ個の乱数値を含む乱数列を生成する。乱数列に含まれる複数の乱数は、それぞれ特定の画素に対応する。ノイズ付加部２２０は、乱数列に含まれる複数の乱数を、対応する画素に加算する。
【００２２】
ノイズ制御部２３０は、ノイズ付加部２２０が付加する擬似ランダムノイズを、予め定められた数の連続する画像毎に切り替える。このため、これらの連続する画像には、それぞれ同一の擬似ランダムノイズが付加されている。
【００２３】
動きベクトル検出部２５０は、動画において動きベクトルを検出する。例えば、動きベクトル検出部２５０は、１６×１６ピクセル等のブロック単位で動きを検出する。ノイズ付加部２２０は、０の動きベクトルが検出されたブロックに、０以外の動きベクトルが検出されたブロックよりも大きい強度で擬似ランダムノイズを付加する。ノイズ付加部２２０は、０以外の動きベクトルが検出されたブロックに擬似ランダムノイズを付加せず、０の動きベクトルが検出されたブロックに擬似ランダムノイズを付加してよい。
【００２４】
圧縮部２６０は、動きベクトルに基づき基準画像から生成される予測画像と、画像間差分で圧縮される圧縮対象画像に含まれるブロックとの間の差分により、複数の画像を圧縮する。ここで、同一の擬似ランダムノイズが適用される複数の画像に含まれるブロックのうち、０の動きベクトルで参照関係にあるブロックについては、圧縮部２６０における画像間差分によって擬似ランダムノイズがキャンセルされる。この場合、擬似ランダムノイズを付加することによって、符号量は増加しない。
【００２５】
なお、圧縮部２６０は、一例としてＭＰＥＧ圧縮を施す。圧縮部２６０は、動きベクトルに基づく予測画像とブロックとの間の差分を量子化して符号化を施すことで、動画データを圧縮する。圧縮部２６０により圧縮された動画データは、外部メモリ１６０に転送されて、不揮発性の記録媒体に記録される。
【００２６】
図３は、擬似ランダムノイズを付加する処理の一例を模式的に示す。本図においては、分かり易く説明することを目的として、画像領域を４×４画素で模式的に示した。
【００２７】
ノイズ制御部２３０は、Ｉフレームから始まり、２つのＢフレームを含む３つのフレームに、第１乱数列を適用する。ノイズ付加部２２０は、乱数列に含まれる乱数を画素値に加算する。例えば、Ｉフレーム３１０の左上の画素３１２の画素値に、第１乱数列の第１番目の乱数３９０を加算する。Ｉフレーム３１０における画素の画素値には、それぞれ第１乱数列の対応する順番の乱数が加算される。Ｉフレーム３１０と同様に、Ｂフレーム３２０およびＢフレーム３３０の各画素の画素値にも、それぞれ第１乱数列の対応する順番の乱数が加算される。このように、Ｉフレーム３１０、Ｂフレーム３２０、Ｂフレーム３３０を含む第１画像群においては、１フレーム周期で循環する乱数列が擬似ランダムノイズとして適用される。
【００２８】
ノイズ制御部２３０は、次のＰフレーム３４０から始まり、２つのＢフレーム３５０および３６０を含む３つのフレームに、第２乱数列を適用する。また、ノイズ制御部２３０は、更に次のＰフレーム３７０から始まりＢフレーム３８０を含む３つのフレームに、第３乱数列を適用する。このように、ノイズ制御部２３０は、Ｉフレーム、Ｐフレーム毎に、乱数列を切り替える。そして、ノイズ付加部２２０は、図４に関連して後述するように、ＩフレームおよびＰフレームに擬似ランダムノイズを付加するとともに、Ｂフレームに含まれる複数のブロックのうち０の動きベクトルが検出されたブロックに擬似ランダムノイズを付加する。
【００２９】
すなわち、ノイズ制御部２３０は、Ｉフレームから始まり１以上のＢフレームを含む連続する複数のフレームに、第１の擬似ランダムノイズを適用し、Ｐフレームから始まり１以上のＢフレームを含む連続する複数のフレームに、第２の擬似ランダムノイズを適用する。ここで、Ｉフレーム、Ｐフレームは、基準画像の一例であり、Ｂフレームは圧縮対象画像の一例である。すなわち、ノイズ制御部２３０は、第１基準画像から始まり１以上の圧縮対象画像を含む連続する複数の画像に、それぞれ第１擬似ランダムノイズを適用し、第２基準画像から始まり１以上の圧縮対象画像を含む複数の画像に、それぞれ第２擬似ランダムノイズを適用する。そして、ノイズ付加部２２０は、基準画像に擬似ランダムノイズを付加し、圧縮対象画像に含まれる複数のブロックのうち０の動きベクトルが検出されたブロックに擬似ランダムノイズを付加する。
【００３０】
本図に例示したように、ノイズ制御部２３０は、１フレーム周期で循環する乱数列を擬似ランダムノイズとして適用するので、フレームデータをフレーム間差分で符号化した場合に、符号量が著しく増加することがない。例えば、本例において、Ｂフレーム３２０は、Ｉフレーム３１０およびＰフレーム３４０を参照することができる。Ｐフレーム３４０を参照して差分がとられる場合には、乱数列が異なるブロックを参照することとなり、符号量は統計的に増加する。しかし、Ｉフレーム３１０を参照して差分がとられる場合には、擬似ランダムノイズはキャンセルされる。Ｉフレーム３１０およびＰフレーム３４０をそれぞれ参照する確率を１／２とすると、符号量の増加量を統計的に半減することができる。前フレームを参照する確率が高いほど、符号量の増加量を低減することができる。
【００３１】
また、ノイズ制御部２３０が、予め定められたフレーム数毎に乱数列を時間的に切り替えるので、動画として再生された場合、乱数列が時間的に切り替わる。このため、人の目に固定パターンとして認識されづらくなる。
【００３２】
図４は、擬似ランダムノイズを適用するブロックの一例を模式的に示す。本図においては、分かり易く説明することを目的として、画像領域を４×４のブロックで模式的に表した。
【００３３】
ノイズ付加部２２０は、ＩフレームおよびＰフレームの全ブロックに、擬似ランダムノイズを付加する。一方、ノイズ付加部２２０は、Ｂフレームのブロックのうち、０の動きベクトルが検出されたブロックに、擬似ランダムノイズを付加する。ノイズ付加部２２０は、０以外の動きベクトルが検出されたブロックには、擬似ランダムノイズを付加しないので、符号量が著しく増大することを未然に防ぐことができる。なお、０以外の動きベクトルが検出されたブロックは、動きが存在するブロックである。このため、このようなブロックにディザリングを施さなくても、動画として再生した場合には画質劣化が顕著には認識されにくい。
【００３４】
図５は、擬似ランダムノイズを付加する処理の他の一例を模式的に示す。本図においても、図３と同様に、画像領域を４×４画素で模式的に示した。
【００３５】
本例では、各画像群に対して、２つの乱数列の組み合わせが擬似ランダムノイズとして適用される。本例においては、同一の乱数列は５フレームにわたって適用されるが、図３の例と同様に１フレーム周期で循環して適用される。本例において、２つの乱数列が同一画像に適用される場合、それぞれ互いに異なる画像領域に適用される。
【００３６】
例えば、本例のＢフレーム５３０には、第１乱数列および第２乱数列の組み合わせが適用される。第１乱数列および第２乱数列が、Ｂフレーム５３０内の複数の画素ラインに交互に適用される。ここで、圧縮部２６０においてＢフレーム５２０がＩフレーム５１０を参照して圧縮される場合、統計的に１／２の確率で擬似ランダムノイズがキャンセルされる。Ｐフレーム５４０を参照して圧縮される場合も同様である。また、Ｂフレーム５３０がＩフレーム５１０を参照して圧縮される場合において、擬似ランダムノイズがキャンセルされる確率は統計的に１／２である。しかし、Ｂフレーム５３０がＰフレーム５４０を参照する場合、擬似ランダムノイズはキャンセルされる。このため、擬似ランダムノイズの付加によって、符号量が著しく増加することを未然に防ぐことができる。
【００３７】
本例によれば、同一の乱数列の組み合わせが適用される連続フレームは、最大でも２フレームである。例えば、連続するＢフレーム５３０およびＰフレーム５４０に対して、第１乱数列および第２乱数列の組み合わせが連続して適用されるが、その前後のフレームには異なる内容の乱数列が適用される。したがって、これらのフレームが動画として再生された場合、乱数列が比較的に短時間で切り替わるので、乱数列が人の目に固定パターンとして認識されづらくなる。
【００３８】
本図において説明したように、ノイズ制御部２３０は、複数の画像のうちの第１画像から始まる第１画像群における第１画像領域に第１擬似ランダムノイズを適用し、第１画像群に含まれる第２画像から始まる画像群における第２画像領域に第２擬似ランダムノイズを適用することにより、複数の擬似ランダムノイズの組み合わせを画像群に適用する。
【００３９】
図６は、撮像装置１００の起動から終了までの処理フローを示す。本フローは、操作入力部１４１の一部としての電源ボタンがＯＮされた場合に、開始される。本フローは、カメラＭＰＵ１３３が主体となって撮像装置１００の各部を制御することにより実行される。
【００４０】
ステップＳ６００において、カメラＭＰＵ１３３は、初期設定を開始する。例えば、カメラＭＰＵ１３３は、撮像装置１００を制御するための各種パラメータ等を、システムメモリ１３９からＳＤＲＡＭ１３６に展開する。そして、カメラＭＰＵ１３３は、例えば撮像モードスイッチ等を含む操作入力部１４１の状態、および、展開された各種パラメータに基づき、撮像装置１００の各部の動作条件を設定する。例えば、撮像モードスイッチの位置に応じて、撮像モードを設定する。また、撮像モードに応じて、撮像条件や画像処理条件を設定する。例えば、撮像モードとしては、風景の撮影に適した風景モード、動きのある人物の撮影に適した運動会モード等を例示することができる。
【００４１】
続いて、ステップＳ６０２において、表示部１３８への表示を行う。例えば、カメラＭＰＵ１３３は、撮像モード、撮像条件および画像処理条件等を識別する設定情報を、表示部１３８に表示させる。
【００４２】
続いて、ステップＳ６０４において、カメラＭＰＵ１３３は、操作入力部１４１に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラＭＰＵ１３３が主体となって、指示された設定処理を行う（ステップＳ６０６）。設定処理としては、撮像モードを設定する処理、撮像条件を設定する処理、画像処理条件を設定する処理、動画撮影におけるフレームレートを設定する処理、動画撮影時に図１から図５に関連して説明したディザリングを施すか否かを設定する処理等を例示することができる。
【００４３】
ステップＳ６０４において、ユーザ指示が撮影実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ６１２）。撮影実行に関する指示としては、ライブビューボタン、動画撮影ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ６０４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を実行する（ステップＳ６２２）。再生処理としては、記録媒体に記録された画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【００４４】
ステップＳ６０６、ステップＳ６１２、ステップＳ６２２の処理が完了すると、ステップＳ６０８に進み、電源をＯＦＦするか否かを判断する。例えば、電源ボタンがＯＦＦ位置に切り替えられた場合や、電源がＯＮされてから予め定められた期間、ユーザ指示無しの状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップ８０４に処理を移行させる。
【００４５】
図７は、動画撮影時における処理の一例を示す。本フローは、図６のステップＳ６１２の一部として実行される。本フローは、動画撮影ボタンが押し込まれた場合に、実行される。
【００４６】
ステップＳ７０２において、カメラＭＰＵ１３３は、ノイズ付加モードを選択する。例えば、ディザリングを施す旨がステップＳ６０６で設定されている場合に、ノイズ付加モードを選択する。例えば、図３に関連して説明したように画像群に１つの乱数列を適用する第１ノイズ付加モードと、図５に関連して説明したように画像群に複数の乱数列の組み合わせを適用する第２ノイズ付加モードとのいずかを選択する。一例として、動画撮影のフレームレートに基づいて、ノイズ付加モードを選択してよい。具体的には、フレームレートが予め定められた値より大きい場合に、第１ノイズ付加モードを選択し、フレームレートが予め定められた値以下である場合に、第２ノイズ付加モードを選択する。第２ノイズ付加モードによれば、少なくとも一部の画像領域で比較的に頻繁に擬似ランダムノイズを変化させることができる。したがって、フレームレートが低い場合は、第２ノイズ付加モードを選択することで、固定パターンを人の目に認識させにくくすることができる。
【００４７】
また、圧縮部２６０が生成するＧＯＰ構成に基づいて、第１ノイズ付加モードを選択するか、第２ノイズ付加モードを選択するかを判断してもよい。例えば、Ｂフレームの数が予め定められた値より大きいＧＯＰ構成である場合に、第２ノイズ付加モードを選択し、Ｂフレームの数が予め定められた値以下である場合に、第１ノイズ付加モードを選択する。第１ノイズ付加モードによれば、前フレームを参照するフレームが多い場合に、圧縮効率を高めることができる。一方、第２ノイズ付加モードによれば、少なくとも一部の画像領域で比較的に頻繁に擬似ランダムノイズを変化させることができる。したがって、Ｂフレームの数が多いＧＯＰ構成で圧縮する場合は、第２ノイズ付加モードを選択することで、固定パターンを人の目に認識させにくくすることができる。
【００４８】
また、撮像モードが風景モードの場合、第１ノイズ付加モードを選択し、撮像モードが運動会モードの場合に、第２ノイズ付加モードを選択してもよい。なお、撮像モードは、ユーザ設定により設定されてよいし、シーン判定などにより撮像装置１００により自動で判定されてもよい。
【００４９】
続いて、ステップＳ７０４において、カメラＭＰＵ１３３は、フレームの読み出しを開始する。以後、フレームが撮影される毎に、ＡＳＩＣ１３５にフレームデータが取り込まれて、画像処理部２１０において処理され、ＳＤＲＡＭ１３６に記憶される。そして、逐次、圧縮対象のフレームとしてＳＤＲＡＭ１３６から読み出されて圧縮、符号化に供される。
【００５０】
ステップＳ７０６において、ノイズ制御部２３０は、圧縮対象のフレームにつき、切り替え周期が経過したフレームであるか否かを判断する。切り替え周期が経過したフレームである場合、ノイズ制御部２３０は適用する乱数列を切り替える（ステップＳ７０８）。続いて、ステップＳ７１０において、ノイズ付加部２２０は、乱数列を擬似ランダムノイズとして付加する。ステップＳ７０６の判断において、切り替え周期が経過したフレームでない場合、ステップＳ７１０において圧縮対象のフレームに、現在設定されている乱数列を擬似ランダムノイズとして付加する。
【００５１】
なお、ステップＳ７１０において、圧縮対象のフレームがＩフレームまたはＰフレームの場合、全ブロックに擬似ランダムノイズとして追加する。一方、圧縮対象のフレームがＢフレームの場合、０の動きベクトルが検出されたブロックに、擬似ランダムノイズとして追加する。
【００５２】
ステップＳ７１０の処理が完了すると、ステップＳ７１２において圧縮・符号化を行う。具体的には、圧縮・符号化を適用できるフレームデータの組がＳＤＲＡＭ１３６に存在する場合、圧縮部２６０において圧縮・符号化処理を行う。
【００５３】
続いて、ステップＳ７１４において、動画撮影の処理を終了するか否かを判断する。例えば、動画撮影ボタンが再度押し込まれ、かつ、圧縮対象のフレームが存在しない場合、動画撮影の処理を終了すると判断し、処理を終了する。動画撮影の処理を終了しない旨を判断した場合、ステップＳ７０６に処理を進める。
【００５４】
なお、本フローにおいて、乱数列を切り替えるか否かを判断する場合に、切り替え周期が経過したフレームであるか否かに基づいて判断した。しかし、ＧＯＰ構成が変化した場合にも、乱数列を切り替えてよい。例えば、ＧＯＰ構成が変化した場合に、Ｉフレームから新たな乱数列に切り替えてよい。また、ＧＯＰ構成が変化した場合に、同一の乱数列を適用する周期を変えてもよい。また、ＧＯＰ構成が変化した場合に、ＧＯＰ構成に基づいて、第１ノイズ付加モードおよび第２ノイズ付加モードのいずれを選択するかを判断してもよい。また、撮影のフレームレートが変化した場合に、フレームレートに基づいて、第１ノイズ付加モードおよび第２ノイズ付加モードのいずれを選択するかを判断してもよい。ＧＯＰ構成やフレームレートに基づきノイズ付加モードを選択する処理としては、ステップＳ７０２と同様の処理を適用できる。
【００５５】
以上に説明したように、撮像装置１００によれば、符号量を著しく増大させることなく、画質劣化を認識しにくい動画データを生成することができる。
【００５６】
本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばカメラＭＰＵ１３３等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００５７】
本実施形態において、レンズ交換式の一眼レフカメラとしての撮像装置１００を取り上げて説明した。撮像装置としては、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、撮像機能を有する機器を適用の対象とすることができる。また、記録機能付きのテレビ、レコーダ等の画像記録装置を、適用の対象とすることができる。また、映像を出力する画像出力装置を、適用の対象とすることができる。
【００５８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５９】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６０】
１００  撮像装置、１２０  交換レンズ、１２１  レンズマウント接点、１３０  カメラ本体、１３１  カメラマウント接点、１２２  レンズ群、１３２  撮像素子、１２３  レンズＭＰＵ、１３３  カメラＭＰＵ、１３４  Ａ／Ｄ変換器、１３５  ＡＳＩＣ、１３６  ＳＤＲＡＭ、１３７  表示制御部、１３８  表示部、１３９  システムメモリ、１４０  撮像素子駆動部、１４１  操作入力部、１４５  接続インタフェース、１７０  電源、１６０  外部メモリ、２００  画像取得部、２１０  画像処理部、２２０  ノイズ付加部、２３０  ノイズ制御部、２５０  動きベクトル検出部、２６０  圧縮部、３１０、５１０  Ｉフレーム、３１２  画素、３２０、３３０、３５０、３８０、５２０、５３０  Ｂフレーム、３４０、３７０、５４０  Ｐフレーム、３９０  乱数
【図１】
2013179542.tif 000003
【図２】
2013179542.tif 000004
【図３】
2013179542.tif 000005
【図４】
2013179542.tif 000006
【図５】
2013179542.tif 000007
【図６】
2013179542.tif 000008
【図７】
2013179542.tif 000009