(57)【特許請求の範囲】
【請求項１】
複数の種類のエフェクトから、動画像に施すエフェクトの種類を選択する選択手段と、
前記選択手段により選択された種類のエフェクトを前記動画像に施す実行手段と、
前記選択手段により選択されたエフェクトの種類に応じて、前記実行手段により前記エフェクトが施された前記動画像を符号化する際の符号量を決定する決定手段と、
前記決定手段により決定された符号量に基づいて、前記動画像を符号化する符号化手段と、を有し、
前記決定手段は、前記選択手段により選択された種類のエフェクトが施された前記動画像をフレーム内符号化する際の符号量が、前記エフェクトが施されていない動画像をフレーム内符号化する際の符号量よりも削減される場合、当該削減される符号量を、当該動画像をフレーム間符号化する際の符号量として割り当てることを特徴とする画像処理装置。
【請求項２】
前記決定手段は、前記選択手段により選択された種類のエフェクトが、フレームにより異なる内容の効果を施すエフェクトである場合、参照フレームに施されたエフェクトの内容と、符号化の対象となるフレームに施されたエフェクトの内容とに基づいて、当該符号化の対象となるフレームをフレーム間符号化する際の符号量を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記決定手段は、前記エフェクトが施されていない動画像と比較して、画質が維持される範囲でビットレートが小さくなるように、前記選択手段により選択されたエフェクトの種類に応じて、前記実行手段により前記エフェクトが施された前記動画像を符号化する際の符号量を決定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記決定手段は、前記エフェクトが施されていない動画像と比較して、ビットレートが維持される範囲で画質が良くなるように、前記選択手段により選択されたエフェクトの種類に応じて、前記実行手段により前記エフェクトが施された前記動画像を符号化する際の符号量を決定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
フレーム内における前記エフェクトは、ボケの付加、シャープネスの付加、コントラストの補正、ノイズの付加、キズの付加、および塗りつぶしの付加のうち、少なくとも１つを含み、
フレーム間における前記エフェクトは、キズの付加、ノイズの付加、フレームのブレの付加、および明滅の付加のうち、少なくとも１つを含むことを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
【請求項６】
複数の種類のエフェクトから、動画像に施すエフェクトの種類を選択する選択工程と、
前記選択工程により選択された種類のエフェクトを前記動画像に施す実行工程と、
前記選択工程により選択されたエフェクトの種類に応じて、前記実行工程により前記エフェクトが施された前記動画像を符号化する際の符号量を決定する決定工程と、
前記決定工程により決定された符号量に基づいて、前記動画像を符号化する符号化工程と、を有し、
前記決定工程は、前記選択工程により選択された種類のエフェクトが施された前記動画像をフレーム内符号化する際の符号量が、前記エフェクトが施されていない動画像をフレーム内符号化する際の符号量よりも削減される場合、当該削減される符号量を、当該動画像をフレーム間符号化する際の符号量として割り当てることを特徴とする画像処理方法。
【請求項７】
請求項１〜５の何れか１項に記載の画像処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、画像に対してエフェクト処理を行うために用いて好適なものである。
【背景技術】
【０００２】
画像にエフェクトを施すことで特有のフィルタ効果を得る処理がある。ここでのエフェクトとは、ボケ、シャープネス、コントラスト補正、ノイズ、キズ、および塗りつぶし等の画像効果を指す。また、動画像に対しては更に、フレーム間で異なるエフェクトをかけることで動画像に特有のフィルタ効果を得ることができる。ここでのエフェクトとは、ノイズ、キズ、明滅、およびブレ等の画像効果を指す。さらにこれらのエフェクトを組み合わせることで、特有のフィルタ効果を得ることができる。以下の説明では、このようなフィルタ効果を得るためのフィルタを必要に応じて動画フィルタと称する。また、撮影時にカメラ内で画像データに対してエフェクト処理を行い、エフェクト処理を行った画像データをメディアに記録するためには、メディアの書き込み速度やカメラでの処理速度の問題があることから、画像データを符号化する必要がある。
【０００３】
エフェクト処理による効果を得つつ動画像の符号量を制御する技術として特許文献１、２に記載の技術がある。
特許文献１には、動画像にかけられたフェードを検出し、そのフェードの開始部分と終了部分とで符号化時の符号量の割り当てを変える技術が開示されている。
特許文献２では、画素ブロックのＤＣＴ係数のＤＣ成分だけを量子化し、残りについては０（ゼロ）を出力することにより、意図的にブロックノイズを発生させて、エフェクトとしてのモザイク効果を得る技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−５９７７５号公報
【特許文献２】特開平１０−２９０３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に関しては、フェードを画像から検出する必要がある。このため、符号化効率はフェードの検出精度に左右される。また、特許文献２に関しては、モザイク効果をかけるために符号化を制御しているため、モザイク効果のかかり方が画像の特徴に大きく左右される。そのため、意図した効果を得ることが難しい。
このように、従来の技術では、エフェクト処理による効果を十分に得つつ動画像を効率よく符号化することが容易ではないという問題点がある。
本発明は、このような問題点に鑑みてなされたものであり、エフェクト処理による効果を十分に得つつ動画像を効率よく符号化することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、複数の種類のエフェクトから、動画像に施すエフェクトの種類を選択する選択手段と、前記選択手段により選択された種類のエフェクトを前記動画像に施す実行手段と、前記選択手段により選択されたエフェクトの種類に応じて、前記実行手段により前記エフェクトが施された前記動画像を符号化する際の符号量を決定する決定手段と、前記決定手段により決定された符号量に基づいて、前記動画像を符号化する符号化手段と、を有し、前記決定手段は、前記選択手段により選択された種類のエフェクトが施された前記動画像をフレーム内符号化する際の符号量が、前記エフェクトが施されていない動画像をフレーム内符号化する際の符号量よりも削減される場合、当該削減される符号量を、当該動画像をフレーム間符号化する際の符号量として割り当てることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、エフェクト処理による効果を十分に得つつ動画像を効率よく符号化することができる。
【図面の簡単な説明】
【０００８】
【図１】エフェクトが施された動画像のフレーム内での特徴を示す図である。
【図２】カメラシステムの構成を示す図である。
【図３】エフェクト処理部の構成の第１の例を示す図である。
【図４】符号化処理部の構成を示す図である。
【図５】ボケ効果付加部の処理を示すフローチャートである。
【図６】ボケ開始座標とボケ終了座標を示す図である。
【図７】ボケ画像と入力画像のブレンド率を示す図である。
【図８】ＬＵＴの入出力特性を示す図である。
【図９】シネスコマスクを示す図である。
【図１０】ボケ効果付加部の処理を示すフローチャートである。
【図１１】周辺減光付加部の処理を示すフローチャートである。
【図１２】周辺減光マスクを示す図である。
【図１３】イントラ予測における１６×１６ピクセルを示す図である。
【図１４】垂直方向予測モードを説明する図である。
【図１５】水平方向予測モードを説明する図である。
【図１６】ＡＬＬ−Ｉ符号化を行った場合の効果を示す図である。
【図１７】各エフェクトを施した場合のフレーム間での特徴を示す図である。
【図１８】エフェクト処理部の構成の第２の例を示す図である。
【図１９】キズフレームを示す図である。
【図２０】キズフレームを付加するタイミングを示す図である。
【図２１】ブレフレームのパターンを示す図である。
【図２２】ブレフレームを使用するタイミングを示す図である。
【図２３】高輝度フレームを生成するタイミングを示す図である。
【図２４】動きベクトルの探索方法を説明する図である。
【図２５】ＩＰＰ符号化を行った場合の効果を示す図である。
【図２６】ＩＰＰ符号化の方法を説明する図である。
【図２７】画質を維持するために必要な符号量を示す図である。
【発明を実施するための形態】
【０００９】
まず、後述する実施形態に至った過程について説明する。
動画像を符号化する場合、複数のフレーム単位（ＧＯＰ（Group Of Pictures））で符号化を制御する技術が知られている。ＧＯＰは、Ｉフレーム、Ｐフレーム、およびＢフレームで構成されることが一般的である。Ｉフレームは、そのフレーム内のみで符号化が行われるイントラ符号化フレームである。Ｐフレームは、時間的に前のフレームとの予測値との差分を符号化することにより符号化される前方向フレーム間予測符号化フレームである。これに対して、Ｂフレームは、時間的に前後のフレームとの予測値との差分を符号化することにより符号化される双方向フレーム間予測符号化フレームである。
【００１０】
符号化の効率という観点から見ると、Ｂフレームが最も効率が良く、次にＰフレームが効率良く、Ｉフレームが最も効率が悪い。しかしながら、Ｉフレームはイントラ符号化フレームである。このため、フレーム内の画像の特徴のみによって符号量が左右され、動画像の構成（他のフレーム）によって符号量が大きく左右されることはない。これに対して、ＢフレームとＰフレームは、フレーム間の予測を用いて符号化が行われる。このため、フレーム間の相関性が高い場合の符号化効率は高いが、フレーム間の相関性が低い場合は符号化効率が低くなる。このようにＢフレームとＰフレームの符号量は、動画像の構成に左右されやすい。このため、ＢフレームとＰフレームについては、通常、ビットレート制御等で符号量を制限する。したがって、量子化値を無理に大きくする必要が生じ、その結果、画質の劣化が生じ得る。
【００１１】
エフェクトが施された動画像データに対して、前述したような、エフェクトが施されていない通常の動画像データに適用されるものと同様のビットレート制御を適用すると、通常の動画像データに比べて符号化効率が劣化する。本発明者らは、このことに着目し、エフェクトが施された動画像データを符号化する場合と、エフェクトが施されていない通常の動画像データを符号化する場合との相違を検討した。その結果、エフェクトが施された動画像データには、符号量が少なくて済む部分と符号量がより多く必要である部分が存在し、この符号量が少なくて済む部分と、符号量がより多く必要である部分は、エフェクトの種類によって変わるという知見を得た。以下に示す実施形態は、このような知見に基づいてなされたものである。以下、図面を参照しながら、実施形態を説明する。尚、以下の説明では、エフェクトが施されていない通常の動画像を必要に応じて通常動画と称する。
【００１２】
（第１の実施形態）
まず、第１の実施形態を説明する。
本実施形態では、動画像の撮影を行うデジタルカメラが、通常動画に加えて、３種類の動画フィルタを施した動画像に対する符号化を行う場合を例に挙げて説明する。これら３種類の動画フィルタとして、オールドムービー風、ジオラマ風、およびトイカメラ風のエフェクト処理（画像効果）を施す動画フィルタを例に挙げて説明する。また、本実施形態では、符号化方式として、全てのフレームをフレーム内符号化で符号化するＡＬＬ−Ｉ符号化を用いる場合を例に挙げて説明する。
【００１３】
最初に、本実施形態で例に挙げる３種類の動画フィルタについて説明する。図１は、３種類のそれぞれの動画フィルタによるエフェクトが施された動画像のフレーム内での特徴の一例を概念的に示す図である。図１（ａ）は、通常動画のフレームを示し、図１（ｂ）は、オールドムービー風のエフェクトが施された動画像のフレームを示す。また、図１（ｃ）は、ジオラマ風のエフェクトが施された動画像のフレームを示し、図１（ｄ）は、トイカメラ風のエフェクトが施された動画像のフレームを示す。本実施形態では、これらのエフェクト処理を施した動画像に対する符号量の割り当て方法を、動画フィルタの種類に応じて変える。尚、本実施形態では、符号化方式として、ＡＬＬ−Ｉ符号化を想定している。このため、時間方向の各フレームで常にエフェクトが施されているような、フレーム内圧縮に関与する領域以外は、通常動画の領域として取り扱うものとする。
【００１４】
図１（ａ）に示す通常動画のフレームは、通常画像領域１００１からなり、通常画像領域１００１は、エフェクトが施されていない通常動画の領域である。
図１（ｂ）に示すオールドムービー風のエフェクトが施された動画像のフレームは、シネスコマスク領域１００２、１００４と、通常画像領域１００３とを有する。シネスコマスク領域１００２、１００４は、画素値がＲ＝０，Ｇ＝０，Ｂ＝０の領域である。通常画像領域１００３は、エフェクトが施されていない通常動画の領域である。
【００１５】
図１（ｃ）に示すジオラマ風のエフェクトが施された動画像のフレームは、ボケ領域１００５、１００７と、高コントラスト領域１００６とを有する。ボケ領域１００５、１００７は、ＬＰＦ（ローパスフィルタ）によってボケが付加された領域である。高コントラスト領域１００６は、エフェクトが施される前よりも高いコントラストになるような画像効果が付加された領域である。
【００１６】
図１（ｄ）に示すトイカメラ風のエフェクトが施された動画像のフレームは、周辺減光領域１００８、１００９、１０１０、１０１１と、ボケ領域１０１２とを有する。周辺減光領域１００８、１００９、１０１０、１０１１は、画像の周辺が減光したような画像効果が付加された領域である。周辺減光領域１００８、１００９、１０１０、１０１１の画像信号に対するゲインを下げることで、このような画像効果が得られる。ボケ領域１０１２は、ボケが付加されることによりピントがややずれているような画像効果が付加される領域である。ただし、図１（ｄ）に示すボケ領域１０１２と、図１（ｃ）ボケ領域１００５、１００７を比較した場合、ボケ領域１００５、１００７の方が強いボケが付加されているものとする。
【００１７】
図２は、本実施形態におけるカメラシステムの構成の一例を示すブロック図である。
図２に示すカメラシステムは、光学系１、撮像素子２、現像部３、エフェクト処理部４、符号化処理部５、出力部６、ＵＩ部７、およびバス８を備える。本実施形態では、図２に示すカメラシステムが、１つの画像処理装置で実現される場合を例に挙げて説明する。ただし、画像処理装置は、図２に示す構成に限定されない。例えば、光学系１、撮像素子２、および現像部３を画像処理装置とは別の装置で実現してもよい。このようにする場合、例えば、画像処理装置は、当該別の装置で得られた画像データを入力し、以下に説明するエフェクト処理部４および符号化処理部５の機能を実行することができる。
【００１８】
図３は、エフェクト処理部４の構成の一例を示すブロック図である。
図３に示すエフェクト処理部４は、入力端子４０１、入力端子４０２、エフェクト選択部４０３、ボケ効果付加部４０４、シネスコマスク付加部４０５、ボケ効果付加部４０６、ＬＵＴ処理部４０７、周辺減光付加部４０８、および出力端子４０９を有する。
【００１９】
図４は、符号化処理部５の構成の一例を示すブロック図である。
図４に示す符号化処理部５は、入力端子５０１、入力端子５０２、入力端子５２１、動きベクトル探索部５０３、インター予測部５０４、イントラ予測部５０５、予測値決定部５０６、減算器５０７、直交変換部５０８、および量子化部５０９を有する。符号化処理部５は、さらに、エントロピー符号化部５１０、逆量子化部５１１、逆直交変換部５１２、加算器５１３、デブロッキングフィルタ部５１４、および参照フレーム生成部５１５を有する。符号化処理部５は、さらに、エフェクト強度決定部５１６、エフェクト位置決定部５１７、エフェクト面積決定部５１８、量子化値決定部５１９、および出力端子５２０を有する。
【００２０】
以上の構成を有する本実施形態のカメラシステムの処理の概要は次の通りである。
図１において、光学系１を通った光は、撮像素子２で光電変換され、画像データとして現像部３に供給される。尚、光学系１は、アイリスおよびレンズ等を有する。撮像素子２は、ＣＭＯＳセンサまたはＣＣＤ等を有する。
【００２１】
現像部３は、光電変換された画像データに対して、例えば、ゲインコントロール、ホワイトバランス、ノイズの低減、色補間、および色調整等の現像処理を行い、これらの現像処理が行われた画像データをエフェクト処理部４に供給する。
ＵＩ部７は、ユーザーによる操作が行われる部分である。ユーザーは、ＵＩ部７を操作して、符号化方法の選択と、エフェクトの内容の選択を行う。ここで、エフェクトの内容には、エフェクトを施さないことも含まれ得るものとする。ユーザーにより選択された符号化方法、エフェクトの内容を示す信号は、それぞれ、符号化選択信号、動画フィルタ選択信号として、バス８を介して、光学系１、撮像素子２、現像部３、エフェクト処理部４、符号化処理部５、出力部６に供給される。
【００２２】
エフェクト処理部４は、現像部３で現像処理が行われた画像データに対して、動画フィルタ選択信号に示される動画フィルタを用いてエフェクト処理を行い、エフェクトを施した画像データを、符号化処理部５に供給する。動画フィルタ選択信号に、エフェクトを施さないことが示されている場合、エフェクト処理部４は、エフェクト処理を行わずに、通常動画として、現像部３で現像処理が行われた画像データを出力する。
符号化処理部５は、エフェクト処理部４から出力された画像データを符号化し、符号化した画像データを出力部６に供給する。出力部６は、符号化処理部５で符号化された画像データを、ＣＦカード等のメディアに保存する。
【００２３】
図３を参照しながら、エフェクト処理部４の構成の一例を説明する。
入力端子４０１には、ＵＩ部７からバス８を介して動画フィルタ選択信号が入力され、動画フィルタ選択信号はエフェクト選択部４０３に供給される。
入力端子４０２には、現像部３で現像処理が行われた画像データが入力され、現像処理が行われた画像データはエフェクト選択部４０３に供給される。
【００２４】
エフェクト選択部４０３は、動画フィルタ選択信号を基に、現像処理が行われた後の画像データに対して施すエフェクトの内容を選択する。次に、エフェクト選択部４０３は、動画フィルタ選択信号がジオラマ風を示していれば、現像処理が行われた画像データをボケ効果付加部４０４に出力する。また、エフェクト選択部４０３は、動画フィルタ選択信号がオールドムービー風を示していれば、現像処理が行われた画像データをシネスコマスク付加部４０５に出力する。また、エフェクト選択部４０３は、動画フィルタ選択信号がトイカメラ風を示していれば、現像処理が行われた画像データをボケ効果付加部４０６に出力する。また、エフェクト選択部４０３は、動画フィルタ選択信号が何もエフェクトを施さないことを示している場合、または、動画フィルタ選択信号が入力されていない場合、現像処理が行われた画像データを出力端子４０９に出力する。
【００２５】
ボケ効果付加部４０４は、現像処理が行われた画像データが入力されると、当該画像データに対してボケの効果を付加し、当該ボケの効果が付加された画像データをＬＵＴ処理部４０７に出力する。
ＬＵＴ処理部４０７は、コントラストが高くなるように、ボケ効果付加部４０４から入力される画像データのコントラストを、ＬＵＴ（ルックアップテーブル）を用いて補正し、当該コントラストが補正された画像データを出力端子４０９に出力する。
【００２６】
シネスコマスク付加部４０５は、現像処理が行われた画像データが入力されると、当該画像データに対してシネスコマスクの効果を付加し、当該効果が付加された画像データを出力端子４０９に出力する。
ボケ効果付加部４０６は、現像処理が行われた画像データが入力されると、当該画像データに対してボケの効果を付加し、当該効果が付加された画像データを周辺減光付加部４０８に出力する。
周辺減光付加部４０８は、ボケ効果付加部４０６から入力される画像データに対して４隅のゲインを下げることにより、周辺減光の効果を付加し、当該効果が付加された画像データを出力端子４０９に出力する。
【００２７】
図４を参照しながら、符号化処理部５の構成の一例を説明する。
入力端子５０１には、ＵＩ部７からバス８を介して動画フィルタ選択信号が入力され、動画フィルタ選択信号は、エフェクト強度決定部５１６、エフェクト位置決定部５１７、およびエフェクト面積決定部５１８に供給される。
入力端子５２１には、ＵＩ部７からバス８を介して符号化選択信号が入力され、符号化選択信号は、予測値決定部５０６に供給される。
また、エフェクト処理部４から出力された画像データは、入力端子５０２を介して、動きベクトル探索部５０３、イントラ予測部５０５、および減算器５０７に供給される。尚、以下の説明では、エフェクト処理部４から入力端子５０２に入力される画像データを必要に応じて現フレームと称する。
【００２８】
動きベクトル探索部５０３は、入力端子５０２からの現フレームと、参照フレーム生成部５１５から出力された参照フレームとに基づいて、動きベクトルを探索し、動きベクトルをインター予測部５０４に出力する。
インター予測部５０４は、動きベクトル探索部５０３で探索された動きベクトルと、参照フレーム生成部５１５から出力された参照フレームとに基づいて、フレーム間での現フレームの予測を行う。インター予測部５０４は、その予測の結果であるインター予測値（予測画像）を予測値決定部５０６に出力する。
【００２９】
イントラ予測部５０５は、入力端子５０２からの現フレームを入力として、フレーム内での現フレームの予測を行い、その結果であるイントラ予測値（予測画像）を予測値決定部５０６に出力する。
予測値決定部５０６は、インター予測部５０４から入力されたインター予測値と、イントラ予測部５０５から入力されたイントラ予測値の出力先を、入力端子５２１からの符号化選択信号に応じて切り替える。具体的に、予測値決定部５０６は、入力端子５２１からの符号化選択信号に応じて、現フレームの予測値を、減算器５０７または加算器５１３に出力する。
【００３０】
減算器５０７は、入力端子５０２からの現フレームと、予測値決定部５０６で決定された予測値との差分値を算出し、当該差分値を直交変換部５０８に出力する。
直交変換部５０８は、現フレームと予測値との差分値に対して直交変換を行い、直交変換を行った結果を量子化部５０９に出力する。
【００３１】
エフェクト強度決定部５１６は、入力端子５０１からの動画フィルタ選択信号を基に、エフェクトの種類と強度を決定し、エフェクトの種類と強度の情報を量子化値決定部５１９に出力する。
エフェクト位置決定部５１７は、入力端子５０１からの動画フィルタ選択信号を基に、エフェクトが施されている位置を決定し、エフェクトが施されている位置の情報を量子化値決定部５１９に出力する。
【００３２】
エフェクト面積決定部５１８は、入力端子５０１からの動画フィルタ選択信号を基に、エフェクトが施されている領域の面積を決定し、エフェクトが施されている面積の情報を量子化値決定部５１９に出力する。
量子化値決定部５１９は、以上のようにして導出される、エフェクトの種類および強度の情報と、エフェクトが施されている位置および面積の情報とを基に、量子化値を決定し、決定した量子化値を量子化部５０９に出力する。
【００３３】
量子化部５０９は、直交変換部５０８で直交変換された、現フレームと予測値との差分値に対して、量子化値決定部５１９で決定された量子化値を基に量子化を行い、量子化を行った結果を、逆量子化部５１１およびエントロピー符号化部５１０に出力する。
エントロピー符号化部５１０は、量子化部５０９で量子化された、現フレームと予測値との差分値に対してエントロピー符号化を行い、エントロピー符号化を行った結果を、符号化ストリームとして出力端子５２０に出力する。
逆量子化部５１１は、量子化部５０９で量子化された、現フレームと予測値との差分値に対して逆量子化を行い、逆量子化を行った結果を、逆直交変換部５１２に出力する。
【００３４】
逆直交変換部５１２は、逆量子化部５１１で逆量子化された、現フレームと予測値との差分値を逆直交変換して、逆直交変換した結果を加算器５１３に出力する。
加算器５１３は、逆直交変換部５１２で逆直交変換された、現フレームと予測値との差分値に対して、予測値決定部５０６で決定された予測値を加算することによって、ローカルデコードを行う。そして、加算器５１３は、ローカルデコードした結果を、デブロッキングフィルタ部５１４に出力する。
【００３５】
デブロッキングフィルタ部５１４は、加算器５１３でローカルデコードされたフレームに対して、ブロックノイズを低減するようなフィルタをかけ、当該フィルタをかけたフレームを参照フレーム生成部５１５内のフレームメモリに出力する。
参照フレーム生成部５１５は、加算器５１３でローカルデコードされ、デブロッキングフィルタ部５１４でフィルタがかけられたフレームを参照フレームとして保持し、参照フレームを動きベクトル探索部５０３と、インター予測部５０４に出力する。
出力端子５２０は、エントロピー符号化部５１０で生成された符号化ストリームを出力部６に出力する。
以上のように構成されたカメラシステムにおいて、エフェクト処理部４の処理と、符号化処理部５における量子化部５０９までの処理について、更に詳しく説明する。
【００３６】
図３において、入力端子４０１からは動画フィルタ選択信号が入力される。前述したようにエフェクト処理部４は、現像部３で現像処理が行われた画像データに対して、動画フィルタ選択信号に示される動画フィルタによりエフェクト処理を行う。本実施形態では、動画フィルタ選択信号により、次の４つの動画フィルタ選択信号のうち、何れかが入力される場合を例に挙げて説明する。すなわち、４つの動画フィルタ選択信号は、通常動画、オールドムービー風のエフェクトを施す動画フィルタ、ジオラマ風のエフェクトを施す動画フィルタ、およびトイカメラ風のエフェクトを施す動画フィルタを示す信号である。通常動画とは、エフェクトを施さずに通常動画として出力することを示す。ただし、動画フィルタ選択信号により選択されるエフェクト処理は、これらに限定されない。フレーム内におけるエフェクトには、例えば、ボケの付加、シャープネスの付加、コントラストの補正、ノイズの付加、キズの付加、および塗りつぶしの付加のうち、少なくとも１つを含めることができる。
【００３７】
入力端子４０２からは、現像部３で現像処理が行われた画像データが入力される。ここでは、各動画フィルタで施されるエフェクトの特性上、現像処理が行われた画像データとして、ＹＵＶデータが入力される場合を例に挙げて説明する。しかしながら、動画フィルタの内容によっては、画像データは、ＲＧＢデータ、ベイヤーデータであっても構わない。
【００３８】
エフェクト選択部４０３は、選択器の役割を果たす。この選択器は、動画フィルタ選択信号に示される動画フィルタの種類に基づいて、入力端子４０２を介して入力される画像データに対して施す動画フィルタを選択する。すなわち、エフェクト選択部４０３は、動画フィルタ選択信号に示される動画フィルタの種類に基づいて、入力端子４０２を介して入力される画像データをどのパスに通すのかを決定する。
【００３９】
エフェクト選択部４０３により、ジオラマ風のエフェクトを施す動画フィルタが選択された場合、画像データは、ボケ効果付加部４０４、ＬＵＴ処理部４０７、および出力端子４０９のパスを通り、各部で処理が行われる。
【００４０】
図５は、ボケ効果付加部４０４で行われる処理の一例を示すフローチャートである。
まず、ステップＳ１００１において、ボケ効果付加部４０４は、エフェクト選択部４０３から出力された画像データ（ＹＵＶデータ）を入力する。
次に、ステップＳ１００２において、ボケ効果付加部４０４は、ステップＳ１００１で入力した画像データからボケ画像を作成する。ボケ効果付加部４０４は、例えば、ガウシアンフィルタを用いて、ステップＳ１００１で入力した画像データに対し平滑化を行うことによりボケ画像を生成する。ガウシアンフィルタのタップ数は、例えば、３×３である。ただし、ガウシアンフィルタのタップ数は、これに限定されない。例えば、ユーザーがタップ数を選択できるようにしても構わない。
【００４１】
次に、ステップＳ１００３において、ボケ効果付加部４０４は、ボケ開始座標を設定する。
次に、ステップＳ１００４において、ボケ効果付加部４０４は、ボケ座標終了座標を設定する。
【００４２】
図６は、ボケ開始座標とボケ終了座標の一例を示す図である。ジオラマ風の動画像に対しては、画像の上部と下部にボケ効果を付加する。このとき、ボケ部分とそうでない部分との境界を不自然にしないために、徐々にボケ効果を付加する必要がある。図６において、座標１０２１は、ボケ終了座標Ｙｅを示し、座標１０２２は、ボケ開始座標Ｙｓを示す。また、座標１０２３は、画像の最上部の座標Ｙｕを示し、座標１０２４は、最下部の座標Ｙｂを示す。尚、ここでの座標は、図６に示す画像の上下方向（縦方向）の座標である。また、ボケ効果は、図６に示す画像の上部から下部の方向に付加される。
【００４３】
次に、ステップＳ１００５において、ボケ効果付加部４０４は、各座標に応じてボケ画像（ステップＳ１００２で作成したボケ画像）と入力画像（ステップＳ１００１で入力した画像データ）のブレンド率を決定する。
図７は、ボケ画像と入力画像のブレンド率の一例を示す図である。図７において、実線は、ボケ画像のブレンド率を示し、破線は、入力画像のブレンド率を示す。
【００４４】
図７に示すように、画像の最上部の座標Ｙｕでは、ボケ画像を１００％使用するのに対して、ボケ終了座標Ｙｅでは、入力画像を１００％使用する。また、画像の最上部の座標Ｙｕとボケ終了座標Ｙｅとの間の座標（中間座標）では、ボケ画像と入力画像とをブレンドする。また、ボケ開始座標Ｙｓでは、入力画像を１００％使用するのに対して、画像の最下部の座標Ｙｂではボケ画像を１００％使用する。また、ボケ開始座標Ｙｓと、画像の最下部の座標Ｙｂとの間の座標（中間座標）では、ボケ画像と入力画像とをブレンドする。
【００４５】
最後に、ステップＳ１００６において、ボケ効果付加部４０４は、ステップＳ１００５で決定したブレンド率に従って、ボケ画像と入力画像とをブレンドする。このように、ボケ画像と入力画像のブレンド率を、座標に応じて変えることによって、ボケ領域とそうでない領域が自然に見えるようにする。
【００４６】
図３の説明に戻り、ＬＵＴ処理部４０７は、ＬＵＴ処理を行うことにより、ボケ効果付加部４０４によりボケ効果が付加された画像データのコントラストを上げる処理を行う。
図８は、ＬＵＴの入出力特性の一例を示す図である。図８では、ＬＵＴの入出力の値を０〜１の範囲で示す。図８（ａ）は、ＬＵＴ処理部４０７で何も補正を行わない場合の入出力特性を示す。一方、図８（ｂ）は、コントラストを補正する場合のＬＵＴの入出力特性を示す。図８（ｂ）に示すように、ＬＵＴの入出力特性の形状をＳ字にすることによって、コントラストを高くするような補正を行うことができる。ＬＵＴ処理部４０７は、図８（ｂ）に示すような入出力特性を有するＬＵＴを用いて、ボケ効果付加部４０４によりボケ効果が付加された画像データを補正し、補正した画像データを出力端子４０９に出力する。
【００４７】
図３の説明に戻り、エフェクト選択部４０３により、オールドムービー風のエフェクトを施す動画フィルタが選択された場合、画像データは、シネスコマスク付加部４０５のパスを通り、処理が行われる。
シネスコマスク付加部４０５においてシネスコマスクが付加される座標は、画像サイズに応じて一意に決まる。図９は、シネスコマスクの一例を示す図である。図９に示すように、画像データの横方向の長さ１０３１と縦方向の長さ１０３２の比率がシネスコープのアスペクト比である１２：５に出来るだけ近くなるようにする。シネスコマスク付加部４０５は、このような比率になるように、画像の上下の領域に、Ｒ＝０、Ｇ＝０、Ｂ＝０またはＹ＝０となるような領域としてシネスコマスク領域１００２、１００４を挿入する。そして、シネスコマスク付加部４０５は、このような領域を挿入した画像データを出力端子４０９に出力する。
【００４８】
図３の説明に戻り、エフェクト選択部４０３により、トイカメラ風のエフェクトを施す動画フィルタが選択された場合、画像データは、ボケ効果付加部４０６および周辺減光付加部４０８のパスを通り、各部で処理が行われる。
ボケ効果付加部４０６は、エフェクト選択部４０３から出力された画像データ全体に一意にボケ効果を付加する。
【００４９】
図１０は、ボケ効果付加部４０６で行われる処理の一例を示すフローチャートである。
まず、ステップＳ１０１１において、ボケ効果付加部４０６は、エフェクト選択部４０３から出力された画像データを入力する。
次に、ステップＳ１０１２において、ボケ効果付加部４０６は、ステップＳ１０１１で入力した画像データを、縮小率ｂ／ａで縮小する。
【００５０】
次に、ステップＳ１０１３において、ボケ効果付加部４０６は、ステップＳ１０１２で縮小した画像データを、拡大率ａ／ｂで元のデータのサイズに拡大して戻すことにより、ボケ効果を付加する。トイカメラ風のエフェクトを施す動画フィルタは、ボケ効果によってピントがやや合っていないような効果を画像データに付加することを目的とするフィルタである。このため、ステップＳ１０１２の処理で用いる縮小率を９／１０程度と小さいものにするのが好ましいが、ユーザーがこの縮小率を設定して効果を調整できるようにしても構わない。
【００５１】
図１１は、周辺減光付加部４０８で行われる処理の一例を示すフローチャートである。
まず、ステップＳ１０２１において、周辺減光付加部４０８は、ボケ効果付加部４０６でボケ効果が付加された画像データを入力する。
次に、ステップＳ１０２２において、周辺減光付加部４０８は、ステップＳ１０２１で入力した画像データから、低ゲインの画像データを作成する。この際、画像データに対して乗算されるゲインは７５％程度であるものとするが、ユーザーが設定して効果を調整できるようにしても構わない。
【００５２】
次に、ステップＳ１０２３において、周辺減光付加部４０８は、周辺減光マスクを作成する。図１２は、周辺減光マスクの一例を概念的に示す図である。ここでは、図１２に示すような周辺減光マスクが、予め用意されており、この予め用意されている周辺減光マスクを用いるものとする。
最後に、ステップＳ１０２４において、周辺減光付加部４０８は、ステップＳ１０２３で作成した周辺減光マスクを用いて、入力画像（ステップＳ１０２１で入力した画像データ）と低ゲイン画像（ステップＳ１０２２で作成した画像データ）をブレンドする。
【００５３】
ここで、周辺減光マスクの値は、０〜１の範囲であり、Ｓであるとする。そうすると、周辺減光付加部４０８は、例えば、以下の（式１）により、低ゲイン画像と入力画像のブレンドを行う。ただし、（式１）において、ブレンド後の画素値をＰ、入力画像の画素値をＩ、低ゲイン画像の画素値をＴとする。
Ｐ＝Ｔ・Ｓ＋Ｉ・（１−Ｓ）  ・・・（式１）
周辺減光付加部４０８は、以上のようにブレンドした画像データを出力端子４０９に出力する。
【００５４】
前述したように本実施形態では、符号化処理部５において、ＡＬＬ−Ｉ符号化が行われる場合（全てのフレームをフレーム内符号化で符号化する場合）を例に挙げて説明する。したがって、フレーム間符号化に関しては、本実施形態中での説明を省略する。尚、本実施形態では、フレーム間符号化に関する構成はあってもなくてもよい。フレーム間符号化に関しては、第２の実施形態で説明する。
【００５５】
符号化処理部５は、エフェクト処理部４から出力された画像データ（エフェクト処理が行われた画像データ、または、エフェクト処理が行われていない画像データ）を現フレームとして入力端子５０２から入力する。イントラ予測部５０５は、現フレーム内だけの情報を用いてイントラ予測値（予測画像）を作成する。ここでは、３つのイントラ予測モードを周囲の状況を基に切り替える場合を例に挙げて説明する。以下、それぞれのイントラ予測モードについて説明する。尚、ここでのイントラ予測のサイズは、１６×１６ピクセルであるものとする。
【００５６】
図１３は、イントラ予測における１６×１６ピクセルを示す図である。図１３において、白で示すピクセルは、予測により生成されるピクセルであり、これをp[x, y]で示す。また、グレーで示すピクセルは、予測に用いられるピクセルであり、これをpred[x, y]で示す。それぞれの座標位置に関しては、図１３に示す通りである。
図１４は、一つ目の予測モードである垂直方向予測モードの一例を説明する図である。この予測モードは、予測に用いられるピクセルの値を垂直方向（ｙ軸方向）にそのまま予測値として用いる予測モードである。垂直方向予測モードにより予測により生成されるピクセルp[x, y]は、以下の（式２）のようになる。
pred[x, y]＝p[x, -1]   when x＝0,1,・・・,15  ・・・（式２）
【００５７】
図１５は、二つ目の予測モードである水平方向予測モードの一例を説明する図である。この予測モードは、予測に用いられるピクセルの値を水平方向（ｘ軸方向）にそのまま予測値として用いる予測モードである。水平方向予測モードにより予測により生成されるピクセルp[x, y]は、以下の（式３）のようになる。
pred[x, y]＝p[-1, y]   when y＝0,1,・・・,15  ・・・（式３）
三つ目の予測モードは、予測に用いられるピクセルの値の平均値を予測値として用いるＤＣ予測モードである。ＤＣ予測モードにより予測により生成されるピクセルp[x, y]は、以下の（式４）のようになる。
【００５８】
【数１】
0006624818.tif 000002
【００５９】
イントラ予測部５０５は、１６×１６ピクセルにおいて、垂直方向予測モード、水平方向予測モード、およびＤＣ予測モードにより計算される予測値と、現フレームの画素値との差分の絶対値の総和をそれぞれ導出する。イントラ予測部５０５は、導出した値のうち、最も小さい値が得られたときの予測方法を選択し、選択した予測方法による予測値をイントラ予測値として、予測値決定部５０６に出力する。
【００６０】
予測値決定部５０６は、入力端子５２１から入力される符号化選択信号に基づいて、予測値を決定する。本実施形態では、ＡＬＬ−Ｉ符号化を行うことを想定している。このため、符号化選択信号として、イントラ予測を選択することを示す信号が常に設定され、予測値決定部５０６からは、イントラ予測部５０５で導出されたイントラ予測値が常に出力される。
【００６１】
エフェクト強度決定部５１６は、動画フィルタ選択信号を基に、エフェクトの種類と強度を決定する。また、エフェクト位置決定部５１７は、動画フィルタ選択信号を基に、エフェクトが施されているフレーム内の位置を決定する。エフェクト面積決定部５１８は、動画フィルタ選択信号を基に、エフェクトが施されている領域の面積を決定する。
本実施形態では、動画フィルタ選択信号に示される動画フィルタに対して、エフェクトの種類と強度、および、エフェクトが施されている位置と面積が一意に決まるものとする。
【００６２】
図１６は、各エフェクト処理を行った画像データに対して、ＡＬＬ−Ｉ符号化を行った場合の効果の一例を表形式で示す図である。
図１６の「画質を維持しつつ符号量を減らせる領域」は、通常画像の画質を維持するという条件下でエフェクトによって符号量を減らせる画像内の領域を示す。「画質を維持しつつ減らせる符号量」は、その「画質を維持しつつ符号量を減らせる領域」で減らせる符号量を示す。「画質を維持するために、より符号量が必要な領域」は、エフェクトによって通常画像の画質を維持するために符号量を増やさなければならない画像内の領域を示す。「最終的なビットレート」は、それぞれのエフェクトを施した場合の最終的なビットレートを５段階で示す。ここでは、エフェクトを施さない通常動画におけるビットレートを「４」とした相対的な値を、それぞれのエフェクトを施した場合の最終的なビットレートとして示す。
【００６３】
例えば、オールドムービー風のエフェクトを施す場合には、シネスコマスク領域が、通常動画を符号化する場合よりも符号量を減らせる領域に相当する。シネスコマスク領域では塗りつぶしが行われる。したがって、エフェクトとしては非常に強いといえる。このため、図１６に示すように、画質を維持しつつ減らせる符号量を大としている。
また、ジオラマ風のエフェクトを施す場合には、上下のボケ領域が符号量を減らせる領域に相当する。ボケ領域ではボケが付加される。したがって、エフェクトとしては、塗りつぶしよりは弱い。このため、図１６に示すように、画質を維持しつつ減らせる符号量を中としている。
【００６４】
また、トイカメラ風のエフェクトを施す場合には、４隅の周辺減光部と全体の弱いボケ領域が、符号量を減らせる領域に相当する。したがって、エフェクトとしてはオールドムービー風およびジオラマ風のエフェクトと比較すると弱い。このため、図１６に示すように、画質を維持しつつ減らせる符号量を小としている。
【００６５】
また、ジオラマ風のエフェクトを施す場合には、非ボケ領域（高コントラスト領域）のコントラストを高くしている。このため、図１６に示すように、その領域を「画質を維持するために、より符号量が必要な領域」としている（図１６の非ボケ領域の高コントラスト領域を参照）。
【００６６】
量子化値決定部５１９は、図１６に示す内容を特定するための情報を記憶している。尚、画質を維持しつつ減らせる符号量を、例えば、「大」、「中」、「小」として記憶せず、例えば、具体的な数値として記憶してもよい。また、画質を維持しつつ減らせる符号量を、通常動画の場合の符号量に対する割合（通常動画の場合の符号量を「１」とした場合の値）として記憶してもよい。量子化値決定部５１９は、この情報を基に、動画フィルタ選択信号に示されている動画フィルタを適用した場合の、「画質を維持しつつ符号量を減らせる領域」と「画質を維持するために、より符号量が必要な領域」とを特定することができる。
【００６７】
そして、量子化値決定部５１９は、量子化値を算出する。この量子化値は、以下の第１の情報と第２の情報を基に算出される。第１の情報は、動画フィルタ選択信号に示されている動画フィルタを適用した場合における「画質を維持しつつ符号量を減らせる領域」の面積およびエフェクトの強度である。第２の情報は、動画フィルタ選択信号に示されている動画フィルタを適用した場合における「画質を維持するために、より符号量が必要な領域」の面積およびエフェクトの強度である。また、量子化値決定部５１９は、エフェクト位置決定部５１７で決定された、エフェクトを施す位置に応じて、算出した量子化値を適用する領域を決定する。
【００６８】
オールドムービー風のエフェクト処理を行う場合、シネスコマスクには符号量を割り当てる必要がない。このため、量子化値決定部５１９は、シネスコマスクの量子化値を最大値に設定する。ここで最大値とは、符号量が最も小さくなるような値を示す。
【００６９】
ジオラマ風のエフェクトを施す場合、上下のボケ領域には符号量を少なく割り当てることで画質を維持できるが、シネスコマスクほど符号量を減らすことはできない。このため、量子化値決定部５１９は、量子化値をシネスコマスクに対する量子化値よりも小さい値に設定する。また、非ボケ領域（高コントラスト領域）には符号量を多く割り当てる必要がある。したがって、量子化値決定部５１９は、上下のボケ領域において削減した符号量が、非ボケ領域（高コントラスト領域）に割り当てられるようにする。
【００７０】
トイカメラ風のエフェクトを施す場合、量子化値決定部５１９は、画像全体の弱いボケ領域には通常動画で設定される量子化値よりも高い量子化値を設定する。このボケ領域に対する量子化値は、通常のビットレートコントロールにより算出される量子化値の範疇である。また、量子化値決定部５１９は、４隅の周辺減光領域のうち、低ゲイン画像が１００％使われる領域には、通常、ジオラマ風のエフェクトで得られる上下のボケ領域よりもさらに低い量子化値を設定する。
【００７１】
オールドムービー風のシネスコマスクの量子化値をＱ１、ジオラマ風の上下のボケ領域の量子化値をＱ２、トイカメラ風の低ゲイン画像が１００％使われる領域の量子化値をＱ３とすると、以下の（式５）の関係が成り立つ。
Ｑ１＞Ｑ２＞Ｑ３  ・・・（式５）
【００７２】
前述したように量子化値決定部５１９は、エフェクトを施した位置の量子化値のみを決定する。それ以外の領域の量子化値は、通常のビットレートコントロールにより算出される量子化値が用いられる。したがって、エフェクトが施されている領域とエフェクトが施されていない領域とでは、割り当てられる符号量が異なることになる。量子化部５０９は、直交変換部５０８で直交変換された画像データに対して、以上のようにして量子化値決定部５１９で決定された量子化値を用いて量子化を行う。
【００７３】
以上のように本実施形態では、動画像に適用される動画フィルタによるエフェクトの種類に応じて、フレーム内での符号量の割り当てを制御する。したがって、動画フィルタによるエフェクトの種類に応じて最適なＡＬＬ−Ｉ符号化を提供することができる。図１６の「最終的なビットレート」の欄に示すように、通常動画における「最終的なビットレート」を「４」とした場合、オールドムービー風のエフェクトを施した場合の「最終的なビットレート」は「２」となり、最もビットレートを下げることができる。これに対して、ジオラマ風とトイカメラ風のエフェクトを施した場合の「最終的なビットレート」は「３」となり、通常動画よりはビットレートを下げることが出来るが、オールドムービー風のエフェクトを施した場合よりもビットレートを削減する効果は小さい。
【００７４】
本実施形態では、図１６に示すように、動画フィルタによるエフェクトの種類に応じて、通常画像の画質を維持する範囲でビットレートが削減されるように、エフェクトの種類に応じてフレーム内符号化する場合の符号量を制御する場合を例に挙げて説明した。しかしながら、ビットレートを削減せずに、例えば、動画フィルタによるエフェクトの種類に応じて、ビットレートの削減分に対応する符号量を、通常画像よりも画質を向上させるために割り当てても構わない。このようにする場合、図１６において「画質を維持しつつ符号量を減らせる領域」は「ビットレートを維持しつつ符号量を減らせる領域」になり、「画質を維持しつつ減らせる符号量」は「ビットレートを維持しつつ減らせる符号量」になる。また、「画質を維持するために、より符号量が必要な領域」は「ビットレートを維持するために、より符号量が必要な領域」になり、「最終的なビットレート」は「最終的な画質」になる。
【００７５】
以上のように本実施形態では、エフェクト処理された動画像を符号化する際に、動画像に施されているエフェクトの種類によって、動画像に対する符号量の割り当てを変えることで、高画質、高効率の符号化画像を得ることができる。例えば、通常画像と比較して画質を維持する場合には、ビットレートを低減することができる。一方、通常画像と比較してビットレートを維持する場合には、符号化歪みを低減することができる。
【００７６】
（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、本実施形態では、符号化方式として、全てのフレームをフレーム内符号化で符号化するＡＬＬ−Ｉ符号化を用いる場合を例に挙げて説明した。これに対し、本実施形態では、符号化方式として、フレーム間符号化を行うＩＰＰ符号化を行う場合について説明する。具体的には、第１の実施形態において、動画像に適用したエフェクトに応じて削減したフレーム内符号化での符号量を、フレーム間での符号量に割り当てる方法を説明する。このように本実施形態と第１の実施形態は、符号化の方法が異なることによる構成および処理が主として異なる。したがって、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１６に付した符号と同一の符号を付す等して詳細な説明を省略する。
【００７７】
最初に、本実施形態で例に挙げる３種類の動画フィルタについて説明する。図１７は、３種類のそれぞれの動画フィルタによるエフェクトを施した場合の動画像のフレーム間での特徴の一例を概念的に示す図である。図１７（ａ）は、通常動画のフレームを示し、図１７（ｂ）は、オールドムービー風のエフェクトが施された動画像のフレームを示す。また、図１７（ｃ）は、ジオラマ風のエフェクトが施された動画像のフレームを示し、図１７（ｄ）は、トイカメラ風のエフェクトが施された動画像のフレームを示す。尚、各動画フィルタのフレーム内での特徴については、第１の実施形態で説明したため（図１を参照）、本実施形態では詳細な説明を省略する。
【００７８】
図１７（ａ）に示す通常動画のフレームでは、例えば３０ｆｐｓで撮影された動画は３０ｆｐｓの動画として取り扱うといったように、撮影フレームレートと、動画像として取り扱われるフレームレートとが一致する。また、各フレームに対して、フレーム間で異なるようなエフェクトはかけられない。
【００７９】
図１７（ｂ）に示すオールドムービー風のエフェクトが施された動画像のフレームでは、撮影フレームレートと、動画像として取り扱われるフレームレートは、通常動画のフレームと同じである。ただし、オールドムービー風のエフェクトが施された動画像のフレームでは、フレーム間で異なるエフェクトがかけられることが特徴となる。具体的にフレーム間のエフェクトとして、例えば、ノイズ、キズ、フレームのブレ、および明滅のうち少なくとも１つがフレーム間でランダムに付加される。
【００８０】
図１７（ｃ）に示すジオラマ風のエフェクトが施された動画像のフレームでは、撮影したフレームの間引きが行われ、動画像として取り扱われるフレームレートを通常動画と同じフレームレートとして扱う効果が付加される。また、各フレームに対して、フレーム間で異なるようなエフェクトはかけられない。
図１７（ｄ）に示すトイカメラ風のエフェクトが施された動画像のフレームでは、通常動画と同様、撮影フレームレートと、動画像として取り扱われるフレームレートとが一致する。また、各フレームに対して、フレーム間で異なるようなエフェクトはかけられない。
【００８１】
本実施形態におけるカメラシステムは、第１の実施形態におけるカメラシステムと比較して、エフェクト処理部４と符号化処理部５の構成および動作の一部のみが異なる。このため、第１の実施形態との共通部分の詳細な説明を省略し、第１の実施形態との差分の説明のみを行う。
【００８２】
図１８は、エフェクト処理部４の構成の一例を示すブロック図である。
図１８に示すエフェクト処理部４は、入力端子４０１、入力端子４０２、エフェクト選択部４０３、ボケ効果付加部４０４、シネスコマスク付加部４０５、ボケ効果付加部４０６、ＬＵＴ処理部４０７、周辺減光付加部４０８、および出力端子４０９を有する。エフェクト処理部４は、さらに、フレーム間引き部４１１、キズ付加部４１２、ブレ付加部４１３、および明滅付加部４１４を有する。
また、符号化処理部５の構成は、第１の実施形態と同じであるため、詳細な説明を省略する。
【００８３】
以上の構成を有する本実施形態のカメラシステムの処理の概要は次の通りである。ただし、入力端子４０１、入力端子４０２、エフェクト選択部４０３、ボケ効果付加部４０４、ＬＵＴ処理部４０７、シネスコマスク付加部４０５、ボケ効果付加部４０６、および周辺減光付加部４０８の処理は、第１の実施形態と同じである。したがって、これらの処理の詳細な説明を省略する。また、符号化処理部５に関しても、処理概要に関しては第１の実施形態で説明したのと同じであるため、詳細な説明を省略する。
【００８４】
フレーム間引き部４１１は、ＬＵＴ処理部４０７から出力される画像データに対して、フレーム単位で間引きを行い、間引きされた画像データを出力端子４０９に出力する。
キズ付加部４１２は、シネスコマスク付加部４０５から出力される画像データに対して、数フレームおきにキズを付加し、キズを付加した画像データをブレ付加部４１３に出力する。
【００８５】
ブレ付加部４１３は、キズ付加部４１２から出力される画像データに対して、数フレームおきにブレを付加して明滅付加部４１４に出力する。
明滅付加部４１４は、ブレ付加部４１３から出力される画像データに対して、数フレームおきに明滅を付加して出力端子４０９に出力する。
【００８６】
以上のように構成されたエフェクト処理部４の処理と、符号化処理部５における量子化部５０９までの処理の一例について、更に詳しく説明する。ただし、入力端子４０１、入力端子４０２、エフェクト選択部４０３、ボケ効果付加部４０４、ＬＵＴ処理部４０７、シネスコマスク付加部４０５、ボケ効果付加部４０６、周辺減光付加部４０８の処理に関しては、第１の実施形態と同じである。したがって、ここではこれらの詳細な説明を省略する。
【００８７】
フレーム間引き部４１１は、時間方向に連続して入力されるフレームに対し、ｘフレーム中、１フレームを残して残りのフレームを間引く処理を行う。本実施形態ではｘを「２」とする。ただし、ｘは「２」に限定されない。ユーザーの所望する効果に合わせてユーザーがｘの値を調整できるようにしても構わない。間引かれたフレームは出力端子４０９に出力される。
【００８８】
キズ付加部４１２は、時間方向に連続して入力されるフレームに対し、ランダムにキズを付加する。図１９は、キズフレームの一例を示す図である。キズ付加部４１２は、図１９に示すようなキズフレーム１０４１、１０４２、１０４３を、キズ付加部４１２に入力される画像データに重ねることにより、画像データにキズを付加する。本実施形態では、図１９（ａ）、図１９（ｂ）、図１９（ｃ）に示すキズフレーム１０４１、１０４２、１０４３の３種類のキズフレームを使用する場合を例に挙げる。しかしながら、キズフレームは、これらに限定されない。
【００８９】
図２０は、それぞれのキズフレーム１０４１、１０４２、１０４３を付加するタイミングの一例を示す図である。図２０において、キズフレーム１０４１、１０４２、１０４３を付加するフレーム周期をそれぞれフレーム周期１０４４、１０４５、１０４６とする。図２０に示すように、それぞれのフレーム周期１０４４、１０４５、１０４６に差を持たせることによって、動画像として見た場合にランダムなキズが発生しているような特殊効果を得ることができる。
【００９０】
ブレ付加部４１３は、時間方向に連続して入力されるフレームに対し、ランダムにブレを付加する。
図２１は、ブレフレームのパターンの一例を示す図である。シネスコマスクを除く領域に元々存在した画像が、図２１（ａ）に示すブレフレーム１０５１では上方向にブレることを、図２１（ｂ）に示すブレフレーム１０５２では下方向にブレることを示す。
ブレ付加部４１３は、これらのブレフレームのパターンに従って、シネスコマスクを除いた実際の画像データを上または下方向に平行移動させることによって、ブレの効果を画像データに付加する。本実施形態では、ブレフレーム１０５１、１０５２の２種類のブレフレームのパターンを使用する場合を例に挙げて示す。しかしながら、ブレフレームのパターンは、これらに限定されない。また、画像データを平行移動することによって画像データが無くなる部分が生じる。ブレ付加部４１３は、その部分に黒を挿入する。
【００９１】
図２２は、それぞれのブレフレーム１０５１、１０５２を使用するタイミングの一例を示す図である。図２２において、ブレフレーム１０５１、１０５２を使用するフレーム周期をそれぞれフレーム周期１０５３、１０５４とする。図２２に示すように、それぞれのフレーム周期１０５３、１０５４に差を持たせることによって、動画像として見た場合にランダムなブレが発生しているような特殊効果を得ることができる。
【００９２】
明滅付加部４１４は、時間方向に連続して入力されるフレームに対し、ランダムに明滅を付加する。具体的に明滅付加部４１４は、画像フレームに対してゲインをかけて高輝度フレームを生成する。図２３は、高輝度フレームを生成するタイミングの一例を示す図である。明滅付加部４１４は、フレーム周期１０６１、１０６２において画像フレームにゲインをかけ、高輝度フレームを生成する。ここでは２種類のフレーム周期において高輝度フレームを生成する場合を例に挙げて示す。しかしながら、高輝度フレームを生成するフレーム周期は、２種類に限定されない。図２３に示すように、それぞれのフレーム周期１０６１、１０６２に差を持たせることによって、動画像として見た場合にランダムな明滅が発生しているような特殊効果を得ることができる。
【００９３】
第１の実施形態では、符号化処理部５で行われる符号化のうち、フレーム内符号化について説明を行った。本実施形態では、符号化処理部５でＩＰＰ符号化を行うことを想定しているので、以下に、符号化処理部５で行われるフレーム間符号化について説明を行う。
【００９４】
符号化処理部５は、エフェクト処理部４においてエフェクトが施された画像データを現フレームとして入力端子５０２から入力する。
動きベクトル探索部５０３は、参照フレーム生成部５１５で生成された参照フレームと、入力端子５０２から入力された現フレームとに基づいて、動きベクトルを探索する。この場合、現フレームがＰフレームであれば参照フレームは現フレームよりも前のフレームとなる。図２４は、動きベクトルの探索方法の一例を説明する図である。図２４に示すように、動きベクトル探索部５０３は、現フレームと参照フレームをそれぞれマクロブロック単位に分割する。そして、動きベクトル探索部５０３は、それぞれのマクロブロックにおいて、参照フレームのマクロブロックが現フレームのどのマクロブロックに最も似ているかによって、フレーム間の動きベクトルを探索する。図２４では、矢印線の基端に位置する参照フレームのマクロブロックは、現フレームのマクロブロックのうち、矢印線の先端に位置する現フレームのマクロブロックに最も似ていることを示す。尚、ここではマクロブロックのサイズは１６×１６ピクセルであるものとする。ただし、マクロブロックのサイズは、１６×１６ピクセルに限定されない。
【００９５】
インター予測部５０４は、参照フレームと、動きベクトル探索部５０３で探索された動きベクトルとに基づいて、インター予測値（予測画像）を作成する。動きベクトルは、参照フレームのマクロブロックが現フレームのマクロブロックのどのマクロブロックに最も似ているかという観点で探索される。このため、動きベクトルの精度が高ければ、参照フレームと動きベクトルによって、現フレームに近い予測画像を得ることができる。
【００９６】
予測値決定部５０６は、インター予測部５０４から入力されたインター予測値とイントラ予測部５０５から入力されたイントラ予測値を、入力端子５２１から入力される符号化選択信号に応じて切り替える。本実施形態では、ＩＰＰ符号化を行うことを想定している。このため、予測値決定部５０６は、インター予測値とイントラ予測値を、符号化選択信号に応じて決められるＧＯＰ構造に準じて切り替える。
【００９７】
エフェクト強度決定部５１６では、入力端子５０１からの動画フィルタ選択信号を基に、エフェクトの種類と強度を決定する。
エフェクト位置決定部５１７は、入力端子５０１からの動画フィルタ選択信号を基に、エフェクト処理が行われているフレーム内およびフレーム間の位置を決定する。
エフェクト面積決定部５１８は、入力端子５０１からの動画フィルタ選択信号を基に、エフェクトが施されている領域の面積を決定する。
本実施形態では、動画フィルタ選択信号に示されている動画フィルタに対して、エフェクトの種類と強度、および、エフェクトが施されている位置と面積は一意に決まるものとする。
【００９８】
量子化値決定部５１９は、動画フィルタ選択信号に示されている動画フィルタについて、「画質を維持しつつ符号量を減らせる領域」の面積および強度と、「画質を維持するために、より符号量が必要な領域」の面積および強度を基に量子化値を算出する。この処理は、第１の実施形態で説明した処理と同じであり、「画質を維持しつつ符号量を減らせる領域」および「画質を維持するために、より符号量が必要な領域」はフレーム内の領域である。図１６に示したように、動画フィルタに応じて、フレーム内で減らせる符号量の想定値は異なる。量子化値決定部５１９は、この符号量を考慮して、フレーム間符号化に割り当てる目標符号量を制御する。
【００９９】
図２５は、各エフェクト処理を行った画像データに対してＩＰＰ符号化を行った場合の効果の一例を表形式で示す図である。
図２５の「フレーム間符号化の効率が落ちる要素」は、画質を維持するという条件下で、フレーム間符号化の効率が落ちる要素を示す。「フレーム間符号化の効率が落ちる量」は、その「フレーム間符号化の効率が落ちる要素」によりフレーム間符号化の効率が落ちる量を示す。「フレーム内符号化で減らせる符号量」は、画質を維持するという条件下で、フレーム内符号化により減らせる符号量を示す。「画質を維持できる最終的なビットレート」は、それぞれのエフェクトを施した場合に必要な最終的なビットレートを５段階で示す。ここでは、エフェクトを施さない通常動画におけるビットレートを「４」とした相対的な値を、それぞれのエフェクトを施した場合に必要な最終的なビットレートとして示す。
【０１００】
例えば、オールドムービー風のエフェクトを施す場合には、フレーム間で付加されるランダムなキズ、明滅、およびブレが、通常動画をフレーム間符号化する場合よりも、フレーム間符号化の効率が落ちる要素である。それらの要素によってフレーム間の相関が小さくなるため、フレーム間符号化の効率が落ちる量は大きくなる。これに対して、オールドムービー風のエフェクトを施す場合には、フレーム内で減らせる符号量も大きい。このため、画質を維持できる最終的なビットレートは、通常動画をフレーム間符号化する場合と同じとなる。したがって、１ＧＯＰあたりの目標符号量として、フレーム内符号化の目標符号量を、通常動画をフレーム内符号化する場合よりも下げ、フレーム間符号化の目標符号量を、通常動画をフレーム間符号化する場合よりも明示的に上げる。そして、フレーム内符号化により削減できる符号量をフレーム間符号化に割り当てる。このようにすることにより、通常動画と同等の画質を維持することができる。
【０１０１】
また、ジオラマ風のエフェクトを施す場合、フレーム間符号化の効率が落ちる要素は、フレーム間でフレームを間引くことである。この要素によってフレーム間の相関がやや小さくなるため、フレーム間符号化の効率が落ちる量はやや大きくなる。ただし、フレーム間符号化の効率が落ちる量は、通常動画をフレーム間符号化する場合よりは大きいが、オールドムービー風のエフェクトが施された画像データをフレーム間符号化する場合よりは小さくなる。これに対して、ジオラマ風のエフェクトを施す場合には、フレーム内で減らせる符号量もやや大きい。このため、画質を維持できる最終的なビットレートは、通常動画を符号化する場合と同じとなる。したがって、１ＧＯＰあたりの目標符号量として、フレーム内符号化の目標符号量を、通常動画をフレーム内符号化する場合よりも下げ、フレーム間符号化の目標符号量を、通常動画をフレーム間符号化する場合よりも明示的に上げる。そして、フレーム内符号化により削減できる符号量をフレーム間符号化に割り当てる。このようにすることにより、通常動画と同等の画質を維持することができる。ただし、フレーム内符号化の目標符号量は、オールドムービー風のエフェクトが施される画像データに対するフレーム内符号化の目標符号量よりも大きく設定する。また、フレーム間符号化の目標符号量は、オールドムービー風のエフェクトが施される画像データに対するフレーム間符号化の目標符号量よりも小さく設定する。
【０１０２】
また、トイカメラ風のエフェクトを施す場合には、フレーム間符号化の効率が落ちる要素は無く、フレーム間符号化の効率が落ちる量は、通常動画を符号化する場合と同等である。ただし、フレーム内符号化で減らせる符号量は、通常動画を符号化する場合に比べると存在する。このため、画質を維持できる最終的なビットレートは、通常動画、オールドムービー風のエフェクトが施される画像データ、およびジオラマ風のエフェクトが施される画像データを符号化する場合と比べると小さくなる。したがって、１ＧＯＰあたりの目標符号量として、フレーム内符号化の目標符号量を、通常動画をフレーム内符号化する場合よりも下げ、フレーム間符号化の目標符号量を、通常動画をフレーム間符号化する場合と同等にする。このようにすることにより、通常動画と同等の画質を維持することができる。ただし、フレーム内符号化の目標符号量は、オールドムービー風およびジオラマ風のエフェクトが施される画像データに対するフレーム内符号化の目標符号量よりも大きく設定する。
【０１０３】
量子化値決定部５１９は、図２５に示す内容を特定するための情報を記憶している。尚、フレーム間符号化の効率が落ちる量や、フレーム内符号化で減らせる符号量を、例えば、「大」、「中」、「小」として記憶せず、例えば、具体的な数値として記憶してもよい。また、フレーム内符号化で減らせる符号量を、通常動画の場合の効率・符号量に対する割合（通常動画の場合の効率・符号量を「１」とした場合の値）として記憶してもよい。
量子化値決定部５１９は、この情報に基づいて目標符号量を決定し、決定した目標符号量に基づいて最終的な量子化値を決定し、決定した量子化値を量子化部５０９に出力する。
【０１０４】
以上のように本実施形態によれば、動画像に適用される動画フィルタによるエフェクトの種類に応じて、フレーム内符号化とフレーム間符号化を行う際の符号量の割り当てを制御する。したがって、動画フィルタによるエフェクトの種類に応じて最適なＩＰＰ符号化を提供することができる。
本実施形態では、動画フィルタによるエフェクトの種類に応じて、通常画像の画質を維持する範囲でビットレートが削減されるように、エフェクトの種類に応じてフレーム内符号化・フレーム間符号化する場合の符号量を制御する場合を例に挙げて説明した。しかしながら、第１の実施形態で説明したのと同様に、ビットレートを削減せずに、例えば、動画フィルタによるエフェクトの種類に応じて、ビットレートの削減分に対応する符号量を、通常画像よりも画質を向上させるために割り当てても構わない。この場合、図２５において「フレーム内符号化で減らせる符号量」は、「画質を維持しつつ減らせる符号量」ではなく「ビットレートを維持しつつ減らせる符号量」になる。また、「画質を維持できる最終的なビットレート」は「ビットレートを維持できる最終的な画質」になる。
【０１０５】
（第３の実施形態）
次に、第３の実施形態を説明する。本実施形態では、オールドムービー風のエフェクトが施された画像データに対するフレーム間符号化を行う際に、各フレームに付加するエフェクトに応じて符号量の割り当てを変える。このように、本実施形態と第２の実施形態は、オールドムービー風のエフェクトが施された画像データに対するフレーム間符号化を行うための構成および処理の一部が主として異なる。したがって、本実施形態の説明において、第１および第２の実施形態と同一の部分については、図１〜図２５に付した符号と同一の符号を付す等して詳細な説明を省略する。本実施形態でも、第１、第２の実施形態で説明したのと同様に、オールドムービー風のエフェクト処理が施された動画像のフレームには、キズ、フレームのブレ、および明滅がフレーム間でランダムに付加される場合を例に挙げて説明する。
【０１０６】
図２６は、オールドムービー風のエフェクトが施された画像データに対するＩＰＰ符号化の方法の一例を説明する図である。図２６において、フレーム１が参照フレームであるＩフレームであり、フレーム２〜７が処理対象となるフレームであるものとする。ここではフレーム１とフレーム５には明滅が、フレーム２にはブレが、フレーム４とフレーム７にはキズがそれぞれ付加されているものとする。
【０１０７】
図２７は、参照フレームと現フレームに対して施されているオールドムービー風のエフェクトの内容に応じた符号量であって、画質を維持するために必要な符号量の一例を表形式で示す図である。図２７では、参照フレームと現フレームに、オールドムービー風のエフェクトが何も施されていない場合（通常画像の場合）の符号量を「３」として、５段階で符号量を表すものとする。また、明滅、ブレに関しては、同じ明るさ、同じブレ量の効果のみが各フレームに付加されているものとする。
【０１０８】
図２７に示す通り、オールドムービー風のエフェクトとして、参照フレームに、明滅、ブレ、またはキズが含まれ、且つ、対象フレームに、それとは異なる内容のエフェクトが施されている場合に、より多くの符号量が必要になる。逆に、参照フレームと対象フレームに、オールドムービー風のエフェクトとして、同じ内容のエフェクトが施されている場合には、より多くの符号量を割り当てる必要はなくなるため、その部分の符号量は通常動画を符号化する場合と同等でよい。
【０１０９】
第２の実施形態では、量子化値決定部５１９は、オールドムービー風のエフェクト処理を行う場合には、フレーム間符号化の目標符号量を、通常動画をフレーム間符号化する場合よりも明示的に上げる。これに対し本実施形態では、量子化値決定部５１９は、図２７に示す内容を特定するための情報を記憶している。量子化値決定部５１９は、この情報に基づき、オールドムービー風のエフェクトとして、参照フレームと対象フレームとで異なる内容のエフェクトが施されている場合には、同じ内容のエフェクトが施されている場合よりも多くの符号化対象フレームに割り当てる。したがって、より効率の良い符号化を行うことが可能となる。
【０１１０】
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【０１１１】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。
【符号の説明】
【０１１２】
１：光学系、２：撮像措置、３：現像部、４：エフェクト処理部、５：符号化処理部
【図１】
0006624818.tif 000003
【図２】
0006624818.tif 000004
【図３】
0006624818.tif 000005
【図４】
0006624818.tif 000006
【図５】
0006624818.tif 000007
【図６】
0006624818.tif 000008
【図７】
0006624818.tif 000009
【図８】
0006624818.tif 000010
【図９】
0006624818.tif 000011
【図１０】
0006624818.tif 000012
【図１１】
0006624818.tif 000013
【図１２】
0006624818.tif 000014
【図１３】
0006624818.tif 000015
【図１４】
0006624818.tif 000016
【図１５】
0006624818.tif 000017
【図１６】
0006624818.tif 000018
【図１７】
0006624818.tif 000019
【図１８】
0006624818.tif 000020
【図１９】
0006624818.tif 000021
【図２０】
0006624818.tif 000022
【図２１】
0006624818.tif 000023
【図２２】
0006624818.tif 000024
【図２３】
0006624818.tif 000025
【図２４】
0006624818.tif 000026
【図２５】
0006624818.tif 000027
【図２６】
0006624818.tif 000028
【図２７】
0006624818.tif 000029