(57)【要約】【課題】撮影時の情報に基づいて撮影者の意図を反映した画像処理を行う動画処理装置を提供すること。【解決手段】撮影時の合焦評価値を示す個別合焦評価値が付帯されたフレーム画像から構成される動画ファイルが記録される記録部１０と、対象フレーム画像群の個別合焦評価値を代表する代表合焦評価値を算出する評価値算出部２０と、評価値算出部で算出された代表合焦評価値に基づいて、対象フレーム画像群に含まれる個別合焦評価値を正規化して個別正規化合焦評価値を算出する正規化部３０と、前記対象フレーム画像群のなかで、前記個別正規化合焦評価値が相対的に低いフレーム画像が、相対的に高いフレーム画像に対して目立たなくなるように、前記個別正規化合焦評価値が相対的に低いフレーム画像に対して画像処理を行う画像処理部４０を備える。【選択図】図１
2014175739.tif 000002
【特許請求の範囲】
【請求項１】
撮影時の合焦評価値を示す個別合焦評価値が付帯されたフレーム画像から構成される動画ファイルが記録される記録部と、
前記動画ファイルに含まれる複数のフレーム画像を対象フレーム画像群として、前記対象フレーム画像群の個別合焦評価値を代表する代表合焦評価値を算出する評価値算出部と、
前記評価値算出部で算出された前記代表合焦評価値に基づいて、前記対象フレーム画像群に含まれる個別合焦評価値を正規化して個別正規化合焦評価値を算出する正規化部と、
前記対象フレーム画像群を構成するフレーム画像又はフレーム画像群のなかで、前記個別正規化合焦評価値が相対的に低いフレーム画像又はフレーム画像群が、前記個別正規化合焦評価値が相対的に高いフレーム画像又はフレーム画像群に対して目立たなくなるように、前記個別正規化合焦評価値が相対的に低いフレーム画像又はフレーム画像群を構成する少なくとも一部のフレーム画像に対して画像処理を行う画像処理部と、を備える
ことを特徴とする動画処理装置。
【請求項２】
前記評価値算出部は、前記対象フレーム画像群に含まれる前記個別合焦評価値の最大値を前記代表合焦評価値として算出する
ことを特徴とする請求項１に記載の動画処理装置。
【請求項３】
前記評価値算出部は、前記正規化部で正規化されるまでの間、前記対象フレーム画像群に含まれる前記個別合焦評価値を一時記憶する
ことを特徴とする請求項１に記載の動画処理装置。
【請求項４】
前記正規化部は、前記個別合焦評価値を正規化した後に、更に所定の閾値に基づいてグループ化した値を個別正規化合焦評価値として算出し、
前記画像処理部は、前記グループ化された値の個別正規化合焦評価値に基づいて、画像処理する
ことを特徴とする請求項１に記載の動画処理装置。
【請求項５】
動画を撮影し、撮影した動画を前記記録部及びに前記評価値算出部に出力する撮影部を備え、
前記評価値算出部は、前記撮影部で撮影された動画に係るフレーム画像毎に個別合焦評価値を算出し、
前記正規化部は、前記評価値算出部で算出された個別合焦評価値を正規化して個別正規化合焦評価値を算出し、
前記記録部には、前記撮影部で撮影された動画のフレーム画像が記録されると共に、前記正規化部で算出された個別正規化合焦評価値が、前記フレーム画像に対応して記録される
ことを特徴とする請求項１に記載の動画処理装置。
【請求項６】
前記正規化部で算出された前記個別正規化合焦評価値を符号化して、前記フレーム画像に対応付けて、前記記録部に記録する符号化部を更に有する
ことを特徴とする請求項５に記載の動画処理装置。
【請求項７】
前記撮影部から撮影された複数のフレーム画像を一時的に記憶する一時記憶部を更に有し、
前記記録部には、前記一時記憶部に一時記憶されているフレーム画像が入力される
ことを特徴とする請求項５に記載の動画処理装置。
【請求項８】
前記正規化部は、前記記録部に記録された動画ファイルに存在する対象フレーム画像群に含まれる前記個別合焦評価値に対して、前記正規化して個別正規化合焦評価値を算出し、
前記画像処理部は、前記正規化部で算出された前記個別正規化合焦評価値に基づいて、画像処理のパラメータを設定する
ことを特徴とする請求項１に記載の動画処理装置。
【請求項９】
前記画像処理部は、前記個別正規化合焦評価値に基づいて、前記画像処理のパラメータを設定する
ことを特徴とする請求項１に記載の動画処理装置。
【請求項１０】
前記画像処理部は、前記個別正規化合焦評価値が相対的に低い高合焦フレーム群の画質が、相対的に前記個別正規化合焦評価値が相対的に高い低合焦フレーム群の画質よりも低くなるように前記画像処理のパラメータを設定する
ことを特徴とする請求項８または９に記載の動画処理装置。
【請求項１１】
前記画像処理のパラメータは、単一フレームに係る画質に対するパラメータであって、
前記画像処理部は、単一フレームに係わる画像処理を行う
ことを特徴とする請求項８または９に記載の動画処理装置。
【請求項１２】
前記単一フレームに係る画質は、Ｓ／Ｎ、輝度、彩度、鮮鋭度又は解像度の少なくともいずれか１つである
ことを特徴とする請求項１１に記載の動画処理装置。
【請求項１３】
前記画像処理部は、前記低合焦フレーム群のフレーム画像にディストーションを施す処理を行う
ことを特徴とする請求項１０に記載の動画処理装置。
【請求項１４】
前記画像処理部は、前記低合焦フレーム群のフレーム画像が前記高合焦フレーム群のフレーム画像に対して解像度が低下するように、前記低合焦フレーム群のフレーム画像に対してローパスフィルタ処理を行う
ことを特徴とする請求項１０に記載の動画処理装置。
【請求項１５】
前記画像処理部は、前記代表合焦評価値が算出されたフレーム画像を含む複数のフレーム画像単位で、画像処理を行う
ことを特徴とする請求項１に記載の動画処理装置。
【請求項１６】
前記画像処理部は、前記個別正規化合焦評価値が相対的に低い低合焦フレーム群のフレーム画像について、隣接するフレーム画像を混合する画像処理を行う
ことを特徴とする請求項１５に記載の動画処理装置。
【請求項１７】
撮影により作成されたフレーム画像から、撮影シーンが変化したことを検出するシーンチェンジ検出部を更に有し、
前記評価値算出部は、撮影シーンが変化したあと、更に変化するまでの間の撮影により作成された複数のフレーム画像を前記対象フレーム画像群として、前記代表合焦評価値を算出する
ことを特徴とする請求項１に記載の動画処理装置。
【請求項１８】
前記評価値算出部は、所定の時間間隔の範囲又は所定の枚数のフレーム画像を前記対象フレーム画像群として、前記代表合焦評価値を算出する
ことを特徴とする請求項１に記載の動画処理装置。
【請求項１９】
動画処理装置で行われる動画処理方法において、
撮影時の合焦評価値を示す個別合焦評価値が付帯されたフレーム画像であって、当該フレーム画像から構成される動画ファイルに含まれる複数のフレーム画像を対象フレーム画像群として、前記対象フレーム画像群の個別合焦評価値を代表する代表合焦評価値を算出し、
算出された前記代表合焦評価値に基づいて、前記対象フレーム画像群に含まれる個別合焦評価値を正規化して個別正規化合焦評価値を算出し、
前記対象フレーム画像群を構成するフレーム画像又はフレーム画像群のなかで、前記個別正規化合焦評価値が相対的に低いフレーム画像又はフレーム画像群が、前記個別正規化合焦評価値が相対的に高いフレーム画像又はフレーム画像群よりも目立たなくなるように、前記個別正規化合焦評価値が相対的に低いフレーム画像又はフレーム画像群を構成する少なくとも一部のフレーム画像に対して画像処理を行う、
ことを特徴とする動画処理方法。
【請求項２０】
コンピュータに動画処理方法を実行させるプログラムにおいて、
撮影時の合焦評価値を示す個別合焦評価値が付帯されたフレーム画像であって、当該フレーム画像から構成される動画ファイルに含まれる複数のフレーム画像を対象フレーム画像群として、前記対象フレーム画像群の個別合焦評価値を代表する代表合焦評価値を算出するステップと、
算出された前記代表合焦評価値に基づいて、前記対象フレーム画像群に含まれる個別合焦評価値を正規化して個別正規化合焦評価値を算出するステップと、
前記対象フレーム画像群を構成するフレーム画像又はフレーム画像群のなかで、前記個別正規化合焦評価値が相対的に低いフレーム画像又はフレーム画像群が、前記個別正規化合焦評価値が相対的に高いフレーム画像又はフレーム画像群よりも目立たなくなるように、前記個別正規化合焦評価値が相対的に低いフレーム画像又はフレーム画像群を構成する少なくとも一部のフレーム画像に対して画像処理を行うステップとを含む、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画処理装置に関する。
【背景技術】
【０００２】
動画像の再生を行う装置で、撮像装置側に被写体検出の機能を備え、被写体認識等を用いて、重要なフレームとそれ以外は判別し、要約およびデータの軽減を行う装置が提案されている。
また、撮影のタイミングに応じて、フレームレートを変更する撮像装置が提案されている。詳しくは、カメラに加速度センサを備え、加速度の差違によってフレームレートを変更する撮像装置である（特許文献１）。また、カメラの撮影時に非合焦であることを示すために、非合焦画像に対して劣化処理を施す技術が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−５０８７７号公報
【特許文献２】特開２００３−２２４７６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
特許文献１の発明では、被写体の動きや追尾に基づいてフレームレートが変更されるが、撮影者の意図と被写体の動きの相対的な変動量は、必ずしも一致するものではない。また、特許文献1の発明では、撮影と動画像の画質変更（フレームレートの変更）がリアルタイムで行えるため、撮影者の意図を反映した効果を付加することが可能であるが、イメージャのフレームレートは撮影時に決定したときにその後変更することは出来ず、柔軟性に難がある。
撮影時の情報を利用して撮影画像に何らか動画処理を施すことができれば、撮影者の意図を反映した画像を容易に得ることができるはずである。
本発明は、上記課題に鑑み、撮影時の情報に基づいて撮影者の意図を反映した画像処理を行う動画処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、動画処理装置は、撮影時の合焦評価値を示す個別合焦評価値が付帯されたフレーム画像から構成される動画ファイルが記録される記録部と、前記動画ファイルに含まれる複数のフレーム画像を対象フレーム画像群として、前記対象フレーム画像群の個別合焦評価値を代表する代表合焦評価値を算出する評価値算出部と、前記評価値算出部で算出された前記代表合焦評価値に基づいて、前記対象フレーム画像群に含まれる個別合焦評価値を正規化して個別正規化合焦評価値を算出する正規化部と、前記対象フレーム画像群を構成するフレーム画像又はフレーム画像群のなかで、前記個別正規化合焦評価値が相対的に低いフレーム画像又はフレーム画像群が、前記個別正規化合焦評価値が相対的に高いフレーム画像又はフレーム画像群に対して目立たなくなるように、前記個別正規化合焦評価値が相対的に低いフレーム画像又はフレーム画像群を構成する少なくとも一部のフレーム画像に対して画像処理を行う画像処理部と、を備える。
【発明の効果】
【０００６】
本発明によれば、撮影時の情報に基づいて撮影者の意図を反映した画像処理を行う動画処理装置を提供することができる。
【図面の簡単な説明】
【０００７】
【図１】第１実施形態の動画処理装置における第１構成のブロック図である。
【図２】ｉ番目のフレーム画像Ｆ（ｉ）に対応する個別合焦評価値Ｄ（ｉ）のカーブの１例を示す図である。
【図３】図２の個別合焦評価値Ｄ（ｉ）により正規化された正規化合焦評価値Ａ（ｉ）のカーブを示す図である。
【図４】正規化合焦評価値Ａ（ｉ）に対応する輝度の階調変換カーブの例を示す図である。
【図５】図３で示した正規化合焦評価値Ａ（ｉ）を、２値化した様子を示す図である。
【図６】２値化されたＡａ（ｉ）の出力に応じた輝度の階調変換カーブの例を示す図である。
【図７】第１実施形態の第２構成を示すブロック図である。
【図８】ＩＩＲフィルタ５４のブロック図である。
【図９】第１実施形態の第３構成を示すブロック図である。
【図１０】第１実施形態の第４構成を示すブロック図である。
【図１１】第１実施形態の第５構成を示すブロック図である。
【図１２】正規化合焦評価Ａ（ｉ）に対するノイズゲインテーブル４０２をグラフ化したものである。
【図１３】輝度に対するノイズ分散量テーブル４０４をグラフ化したものである。
【図１４】第１実施形態の第６構成を示すブロック図である。
【図１５】３行３列の空間フィルタの例を示す図である。
【図１６】正規化合焦評価値Ａ（ｉ）に対応する水平解像度を示す図である。
【図１７】第２実施形態の第１構成を示すブロック図である。
【図１８】フレームレートの変更の様子を示すグラフである。
【図１９】正規化合焦評価値Ａ（ｉ）と定数（乗算係数）の関係を示した図である。
【図２０】第２実施形態の第２構成を示すブロック図である。
【図２１】正規化合焦評価値Ａ（ｉ）に対する混合フレーム数の参照テーブルをグラフ化したものである。
【発明を実施するための形態】
【０００８】
以下、図面に従って本発明の実施形態を説明する。
〔第１実施形態〕
第１実施形態の動画処理装置は、第１構成から第７構成を有する。図１は、第１実施形態の動画処理装置における第１構成のブロック図である。動画処理装置の第１構成を動画処理装置１として示す。第１構成は本実施形態の動画処理装置を実現するための最小構成である。
【０００９】
〔第１構成〕
動画処理装置１は、記録部１０、評価値算出部２０、正規化部３０、画像処理部４０を有する。図１を含む以降のブロック図では、画像データの流れを太線で示し、画像以外のデータの流れを細線で示す。
【００１０】
記録部１０は、動画の撮影により作成された動画ファイルと、前記動画ファイルを構成するフレーム画像Ｆ（ｉ）毎の合焦状態を示す個別合焦評価値Ｄ（ｉ）を記録するものである。ｉは、整数で、フレーム番号である。記録部１０は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリである。
【００１１】
個別合焦評価値Ｄ（ｉ）は、各フレーム画像の撮影時の合焦の度合いを示す値である。撮影部の合焦方式がコントラスト方式の場合には、個別合焦評価値は、レンズの合焦位置決定時のいわゆるピークのコントラスト値になる。撮影部の合焦方式が位相差方式の場合には、位相差の値である。以下の説明では、合焦評価値として、コントラスト値を代表して示すが、位相差値でも同様である。
【００１２】
個別合焦評価値Ｄ（ｉ）としてコントラスト値が、各フレーム画像データのヘッダーあるいはフッターに管理情報の一部として、画像データに付帯されて記録部１０に記録される。
【００１３】
評価値算出部２０は、記録部１０に記録された複数のフレーム画像Ｆ（ｉ）を対象フレーム画像群として、対象フレーム画像群の各個別合焦評価値Ｄ（ｉ）から、対象フレーム画像群を代表する代表合焦評価値Ｄｒを算出するものである。
【００１４】
対象フレーム画像群とは、一定時間（例えば、５ｓｅｃ）、一定フレーム数（例えば、５００フレーム）、あるいは指示された区切りの期間（例えば、後述するシーンチェンジ）の範囲に属するフレーム画像である。なお、対象フレーム画像群の範囲設定は、操作者によりメニュー画面等で選択できるようにしてもよい。
【００１５】
評価値算出部２０は、対象フレーム画像群に含まれる個別合焦評価値Ｄ（ｉ）から最大合焦評価値Ｄｍａｘあるいは平均合焦評価値Ｄａｖｅを算出して、代表合焦評価値Ｄｒとする。評価値算出部２０は、算出した代表合焦評価値Ｄｒ及び個別合焦評価値Ｄ（ｉ）を正規化部３０に出力する。また、評価値算出部２０は、前記正規化部で正規化されるまでの間、対象フレーム画像群に含まれる個別合焦評価値Ｄ（ｉ）を一時記憶する。
【００１６】
図２は、フレーム画像Ｆ（ｉ）に対応する個別合焦評価値Ｄ（ｉ）のカーブの１例を示す図である。横軸はフレーム画像Ｆ（ｉ）、縦軸は個別合焦評価値Ｄ（ｉ）である。対象範囲（対象フレーム画像群）での個別合焦評価値Ｄ（ｉ）の最大合焦評価値が、Ｄｍａｘである。Ｆ（ｂ）は、ＤｍａｘとなるＦ（ｉ）である。Ｄａｖｅ（破線で示す）は、平均合焦評価値である。
【００１７】
評価値算出部２０は、時間やフレーム数等で特定された対象範囲内で、最大合焦評価値Ｄｍａｘを検出して、最大合焦評価値Ｄｍａｘを代表合焦評価値Ｄｒとする。あるいは、評価値算出部２０は、対象範囲内での平均合焦評価値Ｄａｖｅを算出して、これを代表合焦評価値Ｄｒとしてもよい。以下では、最大合焦評価値Ｄｍａｘを代表合焦評価値Ｄｒとする例で説明する。
【００１８】
正規化部３０は、評価値算出部２０で算出された代表合焦評価値Ｄｒに基づいて、対象フレーム画像群に含まれる各個別合焦評価値Ｄ（ｉ）を正規化して、個別正規化合焦評価値（以下、正規化合焦評価値と略す）Ａ（ｉ）を算出する。正規化合焦評価値Ａ（ｉ）は、各フレーム画像Ｆ（ｉ）に対応する正規化合焦評価値である。更に、正規化部３０は、正規化合焦評価値Ａ（ｉ）を、さらに所定の閾値に基づいてグループ化した正規化合焦評価値Ａ（ｉ）としてもよい。グループ化とは、例えば合焦・非合焦の２値化である。正規化部３０は、算出した正規化合焦評価値Ａ（ｉ）を画像処理部４０に出力する。
【００１９】
図３は、図２の個別合焦評価値Ｄ（ｉ）のカーブから算出された正規化合焦評価値Ａ（ｉ）のカーブを示す図である。正規化部３０は、代表合焦評価値Ｄｒ（ここではＤｍａｘ）を基準として、Ａ（ｉ）＝Ｄ（ｉ）／Ｄｍａｘにより、正規化合焦評価値Ａ（ｉ）を求める。正規化合焦評価値Ａ（ｉ）は０＜Ａ（ｉ）≦１である。Ａ（ｉ）＝０．４及び０．９に対応する画像処理の例を図４で後述する。
【００２０】
画像処理部４０は、記録部１０に記録された動画ファイルに含まれるフレーム画像に対して画像処理する。ここで、画像処理部４０は、対象フレーム画像群を構成するフレーム画像又はフレーム画像群のなかで、正規化合焦評価値Ａ（ｉ）が相対的に低いフレーム画像又はフレーム画像群（以下、まとめて低合焦フレーム群と称す）が、相対的に高いフレーム画像又はフレーム画像群（以下、まとめて高合焦フレーム群と称す）よりも目立たなくなるよう、対象フレーム画像群を構成するフレーム画像又は対象フレーム画像群を構成する少なくとも一部のフレーム画像に対して画像処理する。
【００２１】
目立たなくする処理として、画像処理部４０は、高合焦フレーム群の画質よりも、低合焦フレーム群の画質が相対的に低下するように、低合焦フレーム群に対して低画質化処理を行う。低画質化処理とは、低合焦フレーム群に対して、例えばＳ／Ｎ、輝度や彩度等を低下させる処理である。画像処理部４０は、低画質化処理として、低合焦フレーム群に対して低画質になるような処理パラメータを設定して、画像処理を行う。低合焦フレーム群が目立たなくなることにより、高合焦フレーム群を目立せることができる。
【００２２】
画像処理部４０は、個別合焦評価値Ｄ（ｉ）に基づいて、画像処理のパラメータを設定することになる。また、画像処理部４０は、個別合焦評価値Ｄ（ｉ）の最大合焦評価値Ｄｍａｘあるいは平均合焦評価値Ｄａｖｅに基づいて、対象フレーム画像群に含まれる画像処理のパラメータ範囲を設定することにもなる。
【００２３】
画像処理部４０は、低画質化処理のパラメータとして、単一フレームの画質に対するパラメータにより、単一フレームに係わる画像処理を行う。単一フレームの画質とは、例えば、Ｓ／Ｎ、輝度、彩度、コントラスト、鮮鋭度又は解像度である。また、画像処理部４０は、高合焦フレーム群に対してはコントラストを強めかつ輝度階調変換を通常のままにし、低合焦フレーム群に対してはコントラストを弱めかつ輝度階調変換によって輝度も低下させるようにして、複数画質を組み合わせるようにしてもよい。
【００２４】
また、画像処理部４０は、低画質化処理として、低合焦フレーム群のフレーム画像にディストーション（歪み・変形）処理を施すようにしてもよい。低合焦フレーム群の画像に対してだけ、わざと歪を施す処理を行うことで、低合焦フレーム群の画像を相対的に目立たなくすることができる。
【００２５】
画像処理部４０は、低合焦フレーム群のフレーム画像が、高合焦フレーム群に対して相対的に解像度が低下するように、低合焦フレーム群のフレーム画像にローパスフィルタ処理を施すようにしてもよい。低合焦フレーム群の画像をぼんやりした画像にすることで、低合焦フレーム群の画像を相対的に目立たなくすることができる。
【００２６】
また、画像処理部４０は、上述したような単一フレームではなく、代表合焦評価値Ｄｒが算出された複数のフレーム画像単位で画像処理をすることで、低合焦フレーム群の画像を相対的に目立なくすることができる。複数のフレーム画像単位での画像処理としては、画像補間による中間フレーム作成やフレーム混合等があるかが、詳細は実施形態４及び５で説明する。
【００２７】
図４は、正規化合焦評価値Ａ（ｉ）に対応する輝度の階調変換カーブの例を示す図である。横軸が入力輝度（規格化値）Ｉin(i,x,y)で、縦軸が出力輝度（規格化値）Ｉout(i,x,y)として、出力輝度Ｉout(i,x,y)は、以下で定まる。
Ｉout(i,x,y)＝Ｃ×Ａ(i)×Ｉin(i,x,y)×(Ｉin(i,x,y)／Ｉmax＾(Ｂ／Ａ(ｉ)))
ここで、Ｂ，Ｃは任意の定数、例えばＢ＝０．５、Ｃ＝１とする。
【００２８】
図４（Ａ）は、正規化合焦評価値Ａ（ｉ）＝０．９の場合の階調変換カーブである。Ａ（ｉ）＝０．９のフレーム画像Ｆ（ｉ）は、高合焦フレーム群に相当し、高合焦フレーム群に対しては、図４（Ａ）の階調変換カーブにより、コントラストが強く、輝度差が高い画像処理が行われる。
【００２９】
図４（Ｂ）は、正規化合焦評価値Ａ（ｉ）＝０．４の場合の階調変換カーブである。Ａ（ｉ）＝０．４のフレーム画像Ｆ（ｉ）は、低合焦フレーム群に相当し、高合焦フレーム群に対しては、図４（Ｂ）の階調変換カーブにより、コントラストが弱く、輝度差が低い画像が生成される。
【００３０】
これにより、合焦評価値が高い画像（高合焦フレーム群）は、コントラストを高くかつ輝度差が大きくなるような画像処理がなされ、合焦評価値が低い画像（低合焦フレーム群）は、コントラストを低くかつ輝度差が小さくなるような画像処理がなされる。なお、高合焦フレーム群に対しては、コントラストや輝度を通常のパラメータ又は未処理としたままでもよい。
【００３１】
図６は、前述の様に、合焦・非合焦で２値化（１，０）された正規化合焦評価値Ａａ（ｉ）に応じた輝度の階調変換カーブの例を示す図である。２値化処理された正規化合焦評価値Ａ（ｉ）をＡａ（ｉ）と表記する。正規化部３０は、正規化合焦評価値Ａ（ｉ）を出力するのではなく、さらに正規化合焦評価値Ａ（ｉ）を所定の閾値に基づいて２値化して、グループ化したデータとして出力してもよい。また、上述と同様に、非合焦Ａａ（ｉ）＝０のみ、図６の曲線に従って輝度変換の処理を行い、Ａａ（ｉ）＝１の場合は未処理としても良い。
【００３２】
図５は、図３で示した正規化合焦評価値Ａ（ｉ）を、閾値０．６で２値化した様子を示す図である。Ａ（ｉ）≦０．６となるＦ（ｉ）（低合焦フレーム群に相当）は、Ａａ（ｉ）＝０となる。Ａ（ｉ）＞０．６となるＦ（ｉ）（高合焦フレーム群に相当）は、Ａａ（ｉ）＝１となる。
【００３３】
つまり、図５に示す例では、正規化合焦評価値Ａ（ｉ）では、Ｆ（ｉ）の中央の１／３程度がＡａ（ｉ）＝１となり、Ｆ（ｉ）の左側約１／３と右側約１／３が、Ａａ（ｉ）＝０となる。
【００３４】
図６（Ａ）及び（Ｂ）は、２値化されたＡａ（ｉ）の出力に応じた輝度の階調変換カーブの例を示す図である。図６（Ａ）は、画像が目立つような階調変換カーブで、高合焦フレーム群に相当するＡａ（ｉ）＝１のフレーム画像Ｆ（ｉ）に対して、適用される。逆に、図６（Ｂ）は、画像が目立ない階調変換カーブで、低合焦フレーム群に相当するＡａ（ｉ）＝０のフレーム画像Ｆ（ｉ）に対して、適用される。なお、閾値０．６は１例で、閾値は他の値であってもよい。
【００３５】
〔第２構成〕
図７は、第１実施形態の第２構成を示すブロック図である。動画処理装置の第２構成を動画処理装置２として示す。動画処理装置２は、個別合焦評価値Ｄ（ｉ）を平均化処理してから評価値算出部２０で代表合焦評価値Ｄｒを算出する。図１のブロック図と同一構成要素には同一符号を付して示す。
【００３６】
動画処理装置２は、記録部１０、評価値算出部２０、正規化＆符号化処理部３２、画像処理部４０、撮影部５０、コントラスト値算出部５２、ＩＩＲフィルタ５４、ＦＩＦＯバッファ５６、ＦＩＦＯバッファ５８、符号化部６０、制御部８０及びメモリ８２を有する。
【００３７】
記録部１０、評価値算出部２０及び画像処理部４０は、第１構成で説明済なので、説明は省略する。正規化＆符号化処理部３２は、正規化部３０を含むもので、正規化合焦評価値Ａ（ｉ）を算出し、算出した正規化合焦評価値Ａ（ｉ）について更に符号化処理を行い、符号化した正規化合焦評価値Ａ（ｉ）を画像処理部４０に出力するものである。
【００３８】
撮影部５０は、被写体像を結像する撮影レンズ、被写体像の光電変換やＡ／Ｄ変換等してフレーム画像として出力する撮像処理部、撮影レンズに含まれる合焦レンズの位置を駆動してコントラストピークとなる位置に移動させる合焦駆動部等を有する。また、撮影部５０は、フレーム画像に合焦時のコントラスト値に関する情報を付帯して出力する。
【００３９】
コントラスト値算出部５２は、撮影部５０でフレーム画像に付帯されたコントラスト値に関する情報から、各フレーム画像Ｆ（ｉ）に対応する個別合焦評価値Ｄ（ｉ）を算出する。ここでは、Ｄ（ｉ）をＤｉｎ（ｉ）と表記する。
【００４０】
ＩＩＲ（Ｉｎｆｉｎｉｔｅ ｉｍｐｕｌｓｅ ｒｅｓｐｏｎｓｅ）フィルタ５４は、個別合焦評価値Ｄｉｎ（ｉ）の時間的な変動を緩和して平均化するものである。コントラスト値は、被写体の変化や検出のバラツキ等によって短時間で大きく変動する場合もあり、このような場合に画面も対応して細かく画質が変化するのは、見る側にとっては好ましくなく、安定化させたほうがよいからである。
【００４１】
図８は、ＩＩＲフィルタ５４のブロック図である。ＩＩＲフィルタ５４への入力をＤｉｎ（ｉ）、出力をＤｏｕｔ（ｉ）とする。ＩＩＲフィルタ５４は、入力したＤｉｎ（ｉ）に（１−ａ）を乗算した値に、１Ｈ遅延されたＤｉｎ（ｉ−１）にａを乗算した値を加算して、出力するものである。ａは、定数である。
【００４２】
つまり、Ｄｏｕｔ（ｉ）＝（１−ａ）×Ｄｉｎ（ｉ）＋ａ×Ｄｉｎ（ｉ−１）となる。ａはＩＩＲフィルタにおける帰還係数と呼ばれるもので、ａの値が大きくなるほど、より以前のフレームの荷重係数が大きくなり、フィルタによる平滑化の効果が大きくなり、個別合焦評価値Ｄｉｎ（ｉ）に対してＤｏｕｔ（ｉ）の変動が少なくなる。  
【００４３】
ＦＩＦＯバッファ５６及びＦＩＦＯバッファ５８は、一時記憶メモリ用で、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。ＩＩＲフィルタ５４によって遅延が発生し、画像フレームと個別合焦評価値Ｄｏｕｔ（ｉ）の対応関係に時間的なズレが生じるため、ＦＩＦＯバッファ５６及びＦＩＦＯバッファ５８の間で遅延の補償を行う。また、ＦＩＦＯバッファ５６は、フレーム画像を記録部１０に記録する場合の一時記録部ともなる。
【００４４】
なお、ＩＩＲフィルタ５４の説明のためにＩＩＲフィルタ５４の前後でＤｉｎ（ｉ））及びＤｏｕｔ（ｉ）と区別して表記するが、ＦＩＦＯバッファ５８出力以降は簡便のためＤ（ｉ）と表記する。
【００４５】
符号化部６０は、ＩＩＲフィルタ５４で平均化（平滑化）された個別合焦評価値Ｄ（ｉ）を符号化して記録部１０に出力するものである。記録部１０は、符号化された個別合焦評価値Ｄ（ｉ）を記録する。
【００４６】
制御部８０は、メモリ８２に記憶された制御プログラムを読込んで動画処理装置２全体を制御するＣＰＵである。
【００４７】
以上構成で、評価値算出部２０は、記録部１０に記録された平均化された個別合焦評価値Ｄ（ｉ）に基づき、時間やフレーム数等で特定された対象範囲内で、最大合焦評価値Ｄｍａｘあるいは平均合焦評価値Ｄａｖｅを検出して、代表合焦評価値Ｄｒを算出する。評価値算出部２０は、算出した代表合焦評価値Ｄｒを正規化＆符号化処理部３２に出力する。
【００４８】
正規化＆符号化処理部３２は、平均化された個別合焦評価値Ｄ（ｉ）と代表合焦評価値Ｄｒに基づき、第１構成で説明したと同様な正規化処理と、更に符号化処理を行って符号化された正規化合焦評価値Ａ（ｉ）を算出して、画像処理部４０に出力する。
【００４９】
画像処理部４０は、符号化された正規化合焦評価値Ａ（ｉ）に基づき、第１構成で説明したと同様な処理を行う。
【００５０】
〔第３構成〕
図９は、第１実施形態の第３構成を示すブロック図である。動画処理装置の第３構成を動画処理装置３として示す。動画処理装置３は、同一の撮影シーン区間を検出し、検出した同一の撮影シーン区間を対象フレーム画像群の範囲に設定して、動画処理を行うものである。動画処理装置１及び２のブロック図と同一構成要素には同一符号を付して示す。
【００５１】
動画処理装置３は、記録部１０、評価値算出部２０、正規化＆符号化処理部３２、画像処理部４０、撮影部５０、シーンチェンジ検出部６２、読出し制御部６４、制御部８０、メモリ８２を有する。
【００５２】
記録部１０、評価値算出部２０、正規化＆符号化処理部３２、画像処理部４０、撮影部５０、制御部８０、メモリ８２については、動画処理装置２で説明済みであるので、説明は省略する。
【００５３】
シーンチェンジ検出部６２は、輝度の情報、色相・彩度の情報や、輝度・色相・彩度の単位時間での変動量の差違、被写体認識（特定の被写体の識別、被写体の運動量の差違）等を用いて、記録部１０に記録された撮影画像を解析し、撮影シーンの切換りを検出して、同一シーンの区間を特定するものである。特定された同一シーンの区間に属する複数のフレーム画像が対象フレーム画像群となる。また、シーンチェンジ検出部６２は、画像以外の付帯情報として、撮影シーンの切換りの検出に、音声情報を使ってもよい。
【００５４】
シーンチェンジ検出部６２は、特定した同一シーン区間の情報（例えば、同一シーンの開始と終了のフレーム画像番号）を出力する。
【００５５】
読出し制御部６４は、シーンチェンジ検出部６２から出力された同一シーン区間の情報により、記録部１０からの同一シーンに属するフレーム画像の読出しを制御する。
【００５６】
動画処理装置３における処理の流れを説明する。撮影部５０で撮影された動画ファイル（フレーム画像）はいったん記録部１０に記録される。シーンチェンジ検出部６２は、記録部１０に記録された動画ファイルを読出して、同一シーン区間を特定する。読出し制御部６４により制御されて、記録部１０から同一シーン区間に属するフレーム画像が読み出されて、画像処理部４０に出力される。
【００５７】
記録部１０から読み出される同一シーン区間のフレーム画像に対応して、評価値算出部２０は、同一シーン区間のフレーム画像の個別合焦評価値Ｄ（ｉ）を読み出して、代表合焦評価値Ｄｒ（最大合焦評価値Ｄｍａｘまたは平均合焦評価値Ｄａｖｅ）を算出して、個別合焦評価値Ｄ（ｉ）とともに出力する。
【００５８】
正規化＆符号化処理部３２は、動画処理装置２で説明したと同様に、代表合焦評価値Ｄｒに基づき、個別合焦評価値Ｄ（ｉ）から符号化された正規化合焦評価値Ａ（ｉ）を算出して、画像処理部４０に出力する。画像処理部４０は、正規化合焦評価値Ａ（ｉ）に基づき、同一シーン区間のフレーム画像（対象フレーム画像群）に対して動画処理装置１で説明したと同様な低画質化処理を行う。
【００５９】
なお、シーンチェンジだけで対象フレーム画像群を特定するのではなく、シーンチェンジに一定時間や一定フレーム数の条件を組み合わせて、対象フレーム画像群を特定するようにしてもよい。同じシーンが何分も長く続くような場合には、鑑賞や編集作業を考えて、一定時間で区切るようにしてもよいからである。
【００６０】
〔第４構成〕
図１０は、第１実施形態の第４構成を示すブロック図である。動画処理装置の第４構成を動画処理装置４として示す。動画処理装置４は、正規化＆符号化処理部３２により算出された正規化合焦評価値Ａ（ｉ）を記録部１０に記録するようにした構成である。図１及び図７のブロック図と同一構成要素には同一符号を付して示す。
【００６１】
動画処理装置４は、記録部１０、評価値算出部２０、正規化＆符号化処理部３２、画像処理部４０、撮影部５０、コントラスト値算出部５２、ＩＩＲフィルタ５４、ＦＩＦＯバッファ５６、ＦＩＦＯバッファ５８、制御部８０及びメモリ８２を有する。
【００６２】
各部の基本的な動作は、動画処理装置２と同様であるので説明は省略し、動画処理装置２と異なる点を説明する。
【００６３】
正規化＆符号化処理部３２は、正規化合焦評価値Ａ（ｉ）を算出し、符号化処理を行い、符号化した正規化合焦評価値Ａ（ｉ）を記録部１０に出力する。記録部１０は、符号化された正規化合焦評価値Ａ（ｉ）を記録する。記録部１０は、符号化された正規化合焦評価値Ａ（ｉ）を対応する各フレーム画像のヘッダー等に記録するようにしてもよい。
【００６４】
画像処理部４０には、記録部１０からフレーム画像Ｆ（ｉ）と各フレーム画像に対応する正規化合焦評価値Ａ（ｉ）が出力される。画像処理部４０は、各フレーム画像に対応する正規化合焦評価値Ａ（ｉ）に基づき、動画処理装置１で説明したと同様な処理を、各フレーム画像について行う。
【００６５】
〔第５構成〕
図１１は、第１実施形態の第５構成を示すブロック図である。動画処理装置の第５構成を動画処理装置５として示す。動画処理装置５は、第２構成の変形例であって、画像処理としてノイズ処理の機能を有する。図１１は、図７の画像処理部を中心にしたブロック図である。
【００６６】
画像処理部４２は、ノイズゲインテーブル４０２、ノイズ分散量テーブル４０４、付加ノイズ量算出部４０６及びノイズ付加処理部４０８を有する。
【００６７】
ノイズゲインテーブル４０２は、正規化＆符号化処理部３２から出力された正規化合焦評価値Ａ（ｉ）に対応してノイズゲインを決定するためのテーブルである。図１２は、ノイズゲインテーブル４０２をグラフ化したものである。図１２は、横軸が正規化合焦評価値Ａ（ｉ）で、縦軸がノイズゲインで、正規化合焦評価値Ａ（ｉ）が高い場合にはノイズを減少させ、正規化合焦評価値Ａ（ｉ）が低い場合にはノイズを増加させるようなカーブになっている。正規化合焦評価値Ａ（ｉ）が１の場合には、ノイズゲインを０とする。すなわち、Ａ（ｉ）が１の場合には画像劣化の処理を何も施さないということである。
【００６８】
図１３は、輝度に対するノイズ分散量テーブル４０４をグラフ化したものである。ノイズ分散量テーブル４０４は、１２ビットから８ビットにニー変換した画素値（輝度）を考慮してノイズ分散を与えるテーブルである。この処理は、ノイズの振幅を、輝度と図１２のノイズゲインの積とした場合に符合無し8ビットの値域０〜２５５から振り切れることを防止するためのものである（必ずしも必要な構成では無いのですが）。
【００６９】
付加ノイズ量算出部４０６は、ノイズゲインテーブル４０２及びノイズ分散量テーブル４０４により、各フレーム画像に画素値に応じて付加するノイズ量を算出する。具体的には、ノイズゲインテーブル４０２の出力とノイズ分散量テーブル４０４の出力の積をとる。
【００７０】
ノイズ付加処理部４０８は、付加ノイズ量算出部４０６で算出されたノイズを、各フレーム画像の画像データに付加する。
【００７１】
これにより、画像処理部４２により低合焦フレーム群の画像ほど多くのノイズが付加されるので、低合焦フレーム群の画像を目立たなくし、観察者を高合焦フレーム群の画像により注目させることができる。
【００７２】
〔第６構成〕
図１４は、第１実施形態の第６構成を示すブロック図である。動画処理装置の第６構成を動画処理装置６として示す。動画処理装置６は、第２構成の変形例であって、画像処理としてローパス処理機能を有し、正規化合焦評価値Ａ（ｉ）を用いて帯域処理を行う。図１４は、図７の画像処理部を中心にしたブロック図である。
【００７３】
画像処理部４４は、ローパスフィルタ係数算出部４１０及びローパス処理部４１２を有する。
ローパスフィルタ係数算出部４１０は、正規化合焦評価値Ａ（ｉ）を用いて、ローパスフィルタ係数を算出する。例えば、正規化合焦評価値Ａ（ｉ）＝Ａとし、ローパスフィルタを、３行３列の原画像のピクセルに対する図１５のような空間フィルタとすると、
Ｉ´（ｉ、ｊ）＝Ｉ（ｉ-１、ｊ-１）×（１−Ａ）＋Ｉ（ｉ、ｊ−１）×（２−２Ａ）＋・・・＋Ｉ（ｉ＋１、ｊ＋１）×（１−Ａ）
となる。上記のローパスフィルタは、Ａが小さい程ボケの幅が大きくなるように変化する。
【００７４】
ローパス処理部４１２は、算出されたローパスフィルタ係数に応じて、コンボリューション処理（畳み込み処理）を行う。これにより、低合焦フレーム群の画像は解像感が低く、高合焦フレーム群の画像は解像感が高いという効果になるので、低合焦フレーム群の画像を目立たなくし、観察者を高合焦群の画像により注目させることができる。ボケ量を変化させる方法として、図１５の様な３ｘ３の小さいカーネルのフィルタを複数回施す方法が有り、例えば、画質を下げたい場合は、フィルタを施す回数を増加させるという方法も有る。
【００７５】
〔第７構成〕
第７構成は、正規化合焦評価値Ａ（ｉ）に応じて、解像度を変更する構成である。画像処理部４０による処理以外は第２構成と同一であるので、ブロック図は省略する。
【００７６】
図１６は、正規化合焦評価値Ａ（ｉ）に対応する水平解像度を示す図である。画像処理部４０が、図１５で示すカーブに相当する解像度テーブルを備え、正規化合焦評価値Ａ（ｉ）に対応して、解像度（横×縦）を１６０×１２０、 ３２０×２４０、 ４８０×３６０、 ６４０×４８０、 ９６０×７２０ 、１９２０×１０８０と変化させる。
【００７７】
画像処理部４０は、上記の解像度テーブルから各フレーム画像の正規化合焦評価値Ａ（ｉ）に応じて解像度を決定して、各フレーム画像を決定した解像度になるように処理する。これにより、低合焦群の画像は解像感が低く、高合焦群の画像は解像感が高いという効果を得、低合焦フレーム群の画像を目立たなくし、観察者を合焦した画像により注目させることができる。
【００７８】
〔第２実施形態〕
第２実施形態は、画像処理部が、複数のフレーム画像単位で、画像処理する例である。第２実施形態として、２つの構成（以下、第１構成及び第２構成）を示す。第１実施形態と同一構成要素には、同じ符号を付して示す。
【００７９】
〔第１構成〕
図１７は、第２実施形態の第１構成を示すブロック図である。第２実施形態の第１構成を動画処理装置８として示す。動画処理装置８は、正規化合焦評価値Ａ（ｉ）に応じて、フレームメモリに記録されている動画像のフレームレートを変更するものである。
【００８０】
動画処理装置８は、評価値算出部２０、正規化＆符号化処理部３２、画像処理部４６、撮影部５０、コントラスト値算出部５２、ＦＩＦＯバッファ５６、ＦＩＦＯバッファ５８、フレームメモリ８４を有する。
【００８１】
動画処理装置８は、図７で示した動画処理装置２に対して、ＩＩＲフィルタ５４を削除し、記録部１０に代えてフレームメモリ８４を入れて、画像処理部４０の内容を変更したものである。
【００８２】
フレームメモリ８４は、撮影部５０で得られた動画ファイルのフレーム画像を記憶するともに、正規化＆符号化処理部３２から出力された正規化合焦評価値Ａ（ｉ）をフレーム画像Ｆ（ｉ）に付帯あるいは関連づけて記憶する。
【００８３】
画像処理部４６は、フレーム数決定部４２０、フレーム数変更処理部４２２を有する。フレーム数決定部４２０は、合焦状態つまり正規化合焦評価値Ａ（ｉ）に応じてフレーム数を決定するものである。フレーム数変更処理部４２２は、フレーム数決定部４２０により決定されたフレーム数に応じて、動画ファイルのフレームレートを変更するものである。
【００８４】
フレーム数を増加する手段はいくつかあるが、２例を簡単に説明する。０次補間は、増加させようとするフレーム画像の前後何れかのフレーム画像のデータを割り当てる方法で、この方法の場合には、同じ画像が続くようになる。
【００８５】
線形補間は、前後のフレーム画像を所定の割合でミキシングする方法である。この方法の場合には、動きブレが見える場合があるので、動き補償を行い、中間画像を生成する。中間画像の生成は、フレーム間の動きの情報を使って、前後のフレーム画像を全体的・局所的に移動させて生成する。
【００８６】
また中間画像は、フレームメモリに記録されている画像がＭＰＥＧ等の動き予測のベクトルによって符号化されている場合、Iフレーム（予測の基準に成っているフレーム）に対して予測対象のＰ，Ｂフレームを予測しているベクトルデータを使ってデータを作成する。また、条件によってはフレームデータを間引くことを行う。
【００８７】
図１８は、フレームレートの変更の様子を示すグラフである。図１８（Ａ）は、画像ファイルにおける、正規化合焦評価値Ａ（ｉ）の変化の１例を示すグラフである。正規化合焦評価値Ａ（ｉ）のカーブから、正規化合焦評価値Ａ（ｉ）が最大となるフレーム画像を特定する。なお、最大合焦評価値は複数でも良い。
【００８８】
図１８（Ｂ）は、特定した最大合焦評価値のフレーム画像Ｆ（ｂ）の位置を示す図である。図１８（Ｃ）は、変更されたフレーム数を示すグラフである。上側の横軸が、フレーム数変更前の動画ファイルのフレーム画像Ｆ（ｉ）で、下側の横軸がフレーム数変更後の動画ファイルのフレーム画像Ｆ´（ｉ）である。縦軸は、増減させるフレーム数の倍率である。
【００８９】
特定したフレーム画像Ｆ（ｂ）に近いほどフレーム数を増加し、離れるほどフレーム数を減少させる。フレーム画像Ｆ（ｂ）付近では、フレーム画像に対して、上述のように中間フレームを作成しフレーム数を増加させるようにする。フレーム画像Ｆ（ｂ）から離れたフレームでは、逆にフレームを間引く処理を行う。
【００９０】
例えばｂ＝Ｎｏ３００とし、Ｆ（ｂ）の前後３０フレーム（計６０フレーム）について、３倍の９０フレームに増加させる。逆に、Ｆ（ｂ）から遠いフレーム、例えばＮｏ１５０〜Ｎｏ１８０フレームについて、間引いてフレーム数を１／３に削減する。これにより、Ｎｏ１５０フレーム→Ｎｏ９０フレーム、Ｎｏ１８０フレーム→Ｎｏ１００フレーム、Ｎｏ２７０フレーム→Ｎｏ２１０フレーム、Ｎｏ３３０フレーム→Ｎｏ３９０フレームにそれぞれ番号が変更となる。
【００９１】
再生時のフレームレートは一定であるので、結果として、フレーム画像Ｆ（ｂ）に近いフレームはスローモーション、フレーム画像Ｆ（ｂ）から遠いフレームは早送りをしたように再生される。
【００９２】
なお、上述したＭＰＥＧを利用した中間フレームの生成では、対象のフレーム画像Ｆ（ｍ）をIフレームとして、フレーム画像Ｆ（ｍ）に隣接するフレーム画像は動きベクトルによって符号化される。このときのブロック（マクロブロック）のデータに対して、定数倍し、Iフレームとの演算を行い、中間フレームを作成する。図１９は、正規化合焦評価値Ａ（ｉ）と定数（乗算係数）の関係を示した図である。乗算係数が少ないほど、細かい中間フレームの合成を行うことになる。図１９の例では、フレームレートを上げる方法＝乗算係数＜１について示しているが、フレームレートを下げる事を考えると、係数は１以下という制限は無い。
【００９３】
〔第２構成〕
図２０は、第２実施形態の第２構成を示すブロック図である。第２実施形態の第２構成を動画処理装置９として示す。動画処理装置９は、正規化合焦評価値Ａ（ｉ）に応じて、時間方向にフレーム数を混合するものである。正規化合焦評価値Ａ（ｉ）が最大となる特定のフレーム画像Ｆ（ｂ）から前後で離れた画像について、わざと時間的なボケ（残像）を伴った画像にすることで、その区間の画像を目立たなくすることができる。
【００９４】
動画処理装置９は、動画処理装置８に対して画像処理部４８の処理内容が異なるのみで他は同一であるので、画像処理部４８についてのみ説明する。
【００９５】
画像処理部４８は、混合フレーム数決定部４３０、フレーム混合処理部４３２を有する。混合フレーム数決定部４３０は、正規化合焦評価値Ａ（ｉ）に応じて、時間方向に混合するフレーム数を決定するものである。混合フレーム数決定部４３０は、参照テーブルあるいは計算式に基づきフレーム数を決定する。図２１は、正規化合焦評価値Ａ（ｉ）に対する混合フレーム数の参照テーブルをグラフ化したものである。
【００９６】
フレーム混合処理部４３２は、混合フレーム数決定部４３０で決定された混合フレーム数に応じて、フレームの混合処理を行うものである。図２１でＡ（ｉ）>０．８では、混合フレーム数１となり、合焦値が高いフレーム画像（高合焦フレーム群）については混合処理を行なわない。Ａ（ｉ）＝０．２のように合焦値が低いフレーム画像（低合焦フレーム群）には、他の９枚のフレーム画像と混合する処理を行う。
【００９７】
これにより、特定のフレーム画像Ｆ（ｂ）から離れたフレーム画像に、時間方向のフィルタ処理を施すことによって、残像・混合効果によるブレ・ボケが生じる。この結果相対的に特定のフレーム画像の近傍が観察者にとって、着目しやすい画像になる。
【００９８】
以上説明した第１及び第２実施形態によれば、各種の低画質化処理により低合焦フレーム群の画像を目立たなくすることにより、高合焦フレーム群の画像に観察者を着目させることができる。
【００９９】
例えば、花にピントが十分にあっているシーン(高合焦フレーム群)は通常通りの彩度で再生されるが、花にピントが十分には合っていないシーン(低合焦フレーム群)は、彩度の低い画像として再生される。これによって、花にピントが十分にあっている画面をより引き立たせることができ、動画像に映る花を色鮮やかに表現することができる。
【０１００】
また、低画質化処理のパラメータ設定は、動画の連続性を保持しつつ（動画像の前後関係がわかる程度に悪くしつつ）、低合焦フレーム群に対して注視しなくなるような設定であればよく、動画像全体の撮影状況にあわせてパラメータの設定(画質を悪くする方法・度合い)を変えてもよい。
【０１０１】
このように、低合焦フレーム群のフレーム画像を画像処理によって低画質化することで、動画全体のストーリーを保持しつつ、高合焦フレーム群のフレーム画像を引き立てることができる。
【０１０２】
また、非特定区間内のフレーム画像を低画質化することは、以下の効果もある。１つ目として、動画像の鑑賞者の目の負担を軽減できる効果がある。
【０１０３】
近年のディスプレイで表示される画像は高輝度化・高解像度化・高色温度化が進むことで綺麗に見える反面、鑑賞者の目に大きな負担をかけている。このような状況下で同じようなシーンが続く長時間の動画像を見続けることは、鑑賞者にとって不快である。重要でないシーン(低合焦フレーム群)に対し、目に優しい低画質化処理(目に優しいコントラスト、輝度にする等の処理)を行うことで、鑑賞者の目の負担を軽減し、不快感を下げることができる。
【０１０４】
また、低画質化は鑑賞者に動画の早送りを促し、鑑賞時間を短縮させ、鑑賞時間を短縮することで目の負担をさらに軽減できる。また、鑑賞時間が短くなることで、見せたいシーン(高合焦フレーム群)により集中しやすくさせられる。なお、早送りの最中でも、各場面の画質を確認できるので注目シーンの検索もスムーズに行える。
【０１０５】
２つ目として、低合焦フレーム群のフレーム画像を低画質化することで、結果的に符合量が下がる事になり、メモリ内で使用するデータ容量を少なくでき、また、ＰＣ（パーソナルコンピュータ）へのデータ転送を速く行うこともできる。
【０１０６】
つまり、フレーム画像に対する画質の低下処理は、符号量を減少させる効果もある。Ｍｐｅｇ符号化のiフレームは、離散コサイン変換を使っている。このときに、解像度低下、及び帯域低下を施している画像は、高周波の信号が低減されており、結果的にゼロとみなされる場合、符合量が低下する。
【０１０７】
また、高周波の情報が低減されていることから、ＭｐｅｇのＢフレームに関しては、前後のフレームとの類似度が高くなるため、ベクトルで表現できる画像領域が増加するため、面内の符号化（イントラ符号化）の頻度が低減し、結果として、符合量が低減する。
【０１０８】
同様に、輝度、彩度、コントラストを低減した場合に、離散コサイン変換を行った場合に高周波の信号が低減し、ゼロとみなされる場合に符号量が低下する。また、前後のフレームの類似度が上がるために、ベクトルの予測符合を使う率が上がり、面内の符号化（イントラ符号化）の頻度が低減し、結果として、符合量が低減する。
【０１０９】
なお、上記各実施形態において、構成１〜９で説明した評価値算出部２０、正規化部３０、画像処理部４０〜４８の一部あるいは全部をＣＰＵによるソフトウェアで実現するようにしてもよい。具体的には、構成２〜９では、制御部８０のＣＰＵが、メモリ８２に格納された制御プログラムを読込んで評価値算出部２０、正規化部３０、画像処理部４０〜４８の機能を実行すればよい。また、構成１では、評価値算出部２０、正規化部３０、画像処理部４０の代わりに、制御部８０のＣＰＵとメモリ８２に相当する構成を備えることで実現される。
【０１１０】
なお、本発明は上述した実施形態そのままに限定されるものではく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用が可能であることはもちろんである。
【符号の説明】
【０１１１】
１，２，３，４，５，６，７，８，９  動画処理装置
１０    記録部
２０    評価値算出部
３０    正規化部
３２    正規化＆符号化処理部
４０、４２，４４，４６、４８  画像処理部
５０    撮影部５０
５２    コントラスト値算出部
５４    ＩＩＲフィルタ
５６    ＦＩＦＯバッファ
５８    ＦＩＦＯバッファ
６０    符号化部
６２    シーンチェンジ検出部
６４    読出し制御部
８０    制御部
８２    メモリ
８４    フレームメモリ
４０２  ノイズゲインテーブル
４０４  ノイズ分散量テーブル
４０６  付加ノイズ量算出部
４０８  ノイズ付加処理部
４１０  ローパスフィルタ係数算出部
４１２  ローパス処理部
４２０  フレーム数決定部
４２２  フレーム数変更処理部
４３０  混合フレーム数決定部
４３２  フレーム混合処理部
【図１】
2014175739.tif 000003
【図２】
2014175739.tif 000004
【図３】
2014175739.tif 000005
【図５】
2014175739.tif 000006
【図７】
2014175739.tif 000007
【図８】
2014175739.tif 000008
【図９】
2014175739.tif 000009
【図１０】
2014175739.tif 000010
【図１１】
2014175739.tif 000011
【図１２】
2014175739.tif 000012
【図１３】
2014175739.tif 000013
【図１４】
2014175739.tif 000014
【図１５】
2014175739.tif 000015
【図１６】
2014175739.tif 000016
【図１７】
2014175739.tif 000017
【図１８】
2014175739.tif 000018
【図１９】
2014175739.tif 000019
【図２０】
2014175739.tif 000020
【図２１】
2014175739.tif 000021
【図４】
2014175739.tif 000022
【図６】
2014175739.tif 000023