(57)【要約】【課題】トランスコードを行いつつ再生画像の像ブレ補正を行う場合の画質劣化を抑制する。【解決手段】再生された複数の画像から動きベクトルを検出する検出部と、複数の画像から全画角よりも小さい画角の矩形領域を切り出す切り出し部と、切り出された矩形領域を、動きベクトルに基づいて位置合わせした後に拡大することにより、画像の像ブレ補正を行う像ブレ補正部と、拡大された矩形領域のデータ形式を変換するトランスコード部と、を備え、切り出し部は、トランスコード部における変換のパラメータの値の変化に応じて切り出す矩形領域の解像度を変更する。【選択図】図１
2018152793.tif 000002
【特許請求の範囲】
【請求項１】
再生された複数の画像から動きベクトルを検出する検出手段と、
前記複数の画像から全画角よりも小さい画角の矩形領域を切り出す切り出し手段と、
切り出された前記矩形領域を、前記動きベクトルに基づいて位置合わせした後に拡大することにより、画像の像ブレ補正を行う像ブレ補正手段と、
拡大された前記矩形領域のデータ形式を変換するトランスコード手段と、を備え、
前記切り出し手段は、前記トランスコード手段における変換のパラメータの値の変化に応じて切り出す前記矩形領域の解像度を変更することを特徴とする画像処理装置。
【請求項２】
前記検出手段は、前記画像を分割したブロックごとに、直前の参照画像と動きベクトルから生成される予測画像との予測誤差の総和が最小となる動きベクトルを検出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記切り出し手段は、前記検出手段により検出された動きベクトルの水平成分及び垂直成分を用いて、前記画像の中心からシフトさせた位置を前記矩形領域の中心位置とすることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記切り出し手段は、前記検出手段により検出された動きベクトルの水平成分もしくは垂直成分に対する前記画像の解像度の比を用いて、前記矩形領域の解像度を算出することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記切り出し手段は、前記変換のパラメータである解像度の変化の割合が第１の閾値を上回る場合には、前記矩形領域を大きく切り出すことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記切り出し手段は、前記変換のパラメータであるビットレートの変化の割合が第２の閾値を上回る場合には、前記矩形領域を大きく切り出すことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記切り出し手段は、前記変換のパラメータであるフレームレートが第３の閾値を下回る場合には、前記矩形領域を小さく切り出すことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記切り出し手段は、前記変換のパラメータである感度が第４の閾値を上回る場合には、前記矩形領域を大きく切り出すことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記切り出し手段は、前記変換のパラメータである絞り値が第５の閾値を下回る場合には、前記矩形領域を大きく切り出すことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
【請求項１０】
再生された複数の画像から動きベクトルを検出する検出工程と、
前記複数の画像から全画角よりも小さい画角の矩形領域を切り出す切り出し工程と、
切り出された前記矩形領域を、前記動きベクトルに基づいて位置合わせした後に拡大することにより、画像の像ブレ補正を行う像ブレ補正工程と、
拡大された前記矩形領域のデータ形式を変換するトランスコード工程と、を備え、
前記切り出し工程では、前記トランスコード工程における変換のパラメータの値の変化に応じて切り出す前記矩形領域の解像度を変更することを特徴とする画像処理装置の制御方法。
【請求項１１】
請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１２】
請求項１０に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、トランスコードを行いつつ再生画像の像ブレ補正を行う画像処理装置に関するものである。
【背景技術】
【０００２】
ビデオカメラでは、手振れなどにより、許容できない像ブレを伴う動画像が記録される場合がある。このような動画像の像ブレを再生時に補正することができる。例えば、特許文献１では、動画像の像ブレを動きベクトルとして検出し、この動きベクトルを用いて動画像の一部分を矩形領域として選択した後、この矩形領域を原画像と同じ解像度に拡大することで像ブレ補正効果を得る技術を提案している。また特許文献２では、ビデオカメラ内の角速度センサで検出した装置の振れ量をメタデータとして動画像と共に記録し、再生時にこのメタデータを用いて像ブレを補正する技術を提案している。
【０００３】
ビデオカメラでは、記録された動画像のデータ形式（解像度、フレームレートなど）を変換するトランスコード（非特許文献１参照）という機能を搭載していることがある。トランスコードでは、動画像を再生し、再生時に解像度やフレームレートを変換した後、変換した動画像を符号化し記録することで、データ形式を変換する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１４３３８０号公報
【特許文献２】特開平１０−４２２３３号公報
【非特許文献】
【０００５】
【非特許文献１】Elan Amir, Steven McCanne, Hui Zhang(1995), An Application Level Video Gateway,MULTIMEDIA '95 Proceedings of the third ACM international conference on Multimedia,255-265.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、トランスコードでは、解像度やビットレートなどのデータ形式を変換するため、画質の劣化を伴うことがある。また、再生画像を切り出して位置合わせすることにより像ブレを補正する方法では、動画像の一部分を矩形領域として選択し拡大するため、画像補間により画質が劣化する場合がある。
【０００７】
このように、トランスコードと像ブレ補正では、共に画質を劣化させる要因を含んでおり、画質劣化を許容範囲内に収めたい場合、トランスコードで変換するデータ形式を踏まえつつ、切り出す矩形領域を決定する必要がある。しかし、従来では、トランスコード時に像ブレ補正を行うことを想定していないため、トランスコードで変換するデータ形式を踏まえつつ、切り出す矩形領域を決定するということは考慮されていない。
【０００８】
本発明は上述した課題に鏡みてなされたものであり、その目的は、トランスコードを行いつつ再生画像の像ブレ補正を行う場合の画質劣化を抑制することである。
【課題を解決するための手段】
【０００９】
本発明に係わる画像処理装置は、再生された複数の画像から動きベクトルを検出する検出手段と、前記複数の画像から全画角よりも小さい画角の矩形領域を切り出す切り出し手段と、切り出された前記矩形領域を、前記動きベクトルに基づいて位置合わせした後に拡大することにより、画像の像ブレ補正を行う像ブレ補正手段と、拡大された前記矩形領域のデータ形式を変換するトランスコード手段と、を備え、前記切り出し手段は、前記トランスコード手段における変換のパラメータの値の変化に応じて切り出す前記矩形領域の解像度を変更することを特徴とする。
【発明の効果】
【００１０】
本発明によれば、トランスコードを行いつつ再生画像の像ブレ補正を行う場合の画質劣化を抑制することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態に係わる画像処理装置のブロック図。
【図２】一実施形態の画像処理装置の動作を示すフローチャート。
【図３】一実施形態におけるＳ３処理を示すフローチャート。
【図４】一実施形態におけるＳ４処理を示すフローチャート。
【図５】一実施形態におけるＳ５処理を示すフローチャート。
【図６】一実施形態におけるＳ６処理を示すフローチャート。
【図７】一実施形態におけるＳ７処理を示すフローチャート。
【図８】一実施形態におけるＳ８処理を示すフローチャート。
【図９】Ｓ３処理における参照テーブルを示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。図１は、本発明の画像処理装置の一実施形態の内部構成を示すブロック図である。
【００１３】
図１において、画像処理装置１００は、ＣＰＵ１０１、メモリ１０２、読み出し部１０３、メニュー選択部１０４、データ形式取得部１０５、メタデータ解析部１０６、再生部１０７、動きベクトル検出部１０８、矩形領域演算部１０９を有する。また、画像処理装置１００は、さらに矩形領域選択部１１０、矩形領域拡大部１１１、トランスコード部１１２、記録部１１３、記録媒体１１４、バス１１５を有する。本実施形態では、再生画像の複数のフレーム画像から全画角よりも小さい画角の画像を切り出し、位置合わせした後に全画角と同じ画角になるように拡大することにより、再生画像の像ブレ補正を行う。
【００１４】
図１において、メモリ１０２は、画像処理装置１００で実行されるプログラムを格納するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）とＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）を有する。ＲＡＭは、プログラムの実行時に参照する変数情報、関数呼び出しに必要なスタック情報、動的なメモリ確保に必要なヒープ情報、バッファリングされた動画像、ユーザーの入力操作情報などの各種データを格納する。ＣＰＵ１０１は、メモリ１０２を構成するＲＡＭに格納された各種情報を参照しつつ、メモリ１０２を構成するＲＯＭに格納されたプログラムを実行し、画像処理装置１００の各部を制御する。バス１１５は、アドレスバス、データバス、制御バスで構成される。バス１１５は、画像処理装置１００の各部の間で命令やデータを通信する際に用いられる。
【００１５】
メニュー選択部１０４は、ＬＣＤタッチパネルで構成される。メニュー選択部１０４は、ユーザーに対し、操作ボタン、カメラ設定情報、動画像に付随するメタデータ等をＬＣＤタッチパネル上に表示する。本実施形態では、動画像のデータ形式（解像度、フレームレート、ビットレート、動画フォーマットなど）を変換するトランスコードを実施するため、動画像のデータ形式をユーザーが選択する操作ボタンをＵＩ画面に表示する。ユーザーが操作ボタンを押すと、メニュー選択部１０４がＬＣＤタッチパネルの入力操作を検出し、その旨をＣＰＵ１０１に通知する。
【００１６】
データ形式取得部１０５は、ＣＰＵ１０１からの命令を受け、メニュー選択部１０４を用いてユーザーが選択した入力操作情報を取得する。トランスコードを実施する場合、データ形式取得部１０５は、ユーザーが選択したデータ形式をトランスコード部１１２に通知する。
【００１７】
読み出し部１０３は、ＣＰＵ１０１の命令を受け、記録媒体１１４に記録された動画像を一定サイズ毎に順次読み出し、メモリ１０２に展開しバッファリングする。読み出し部１０３は、動画像の読み出しが完了すると、ＣＰＵ１０１に対し、その旨を通知する。
【００１８】
メタデータ解析部１０６は、ＣＰＵ１０１の命令を受け、メモリ１０２に展開された動画像に付随するメタデータを解析する。まず動画像をデマルチプレクサ処理し、メタデータ群の位置を特定する。次に、メタデータ群を走査し解析することにより、所望のメタデータを取得する。ここで、メタデータは、フレーム単位、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅ）単位、動画単位に付随している。メタデータは、解像度、フレームレートなど属性情報に加え、ノイズ量、エンコーダ性能を含む画質評価指標を含んでもよい。またメタデータは、撮影時の感度、絞り値、露光時間、ＮＤ（Ｎｅｕｔｒａｌ  Ｄｅｎｓｉｔｙ）フィルター、輪郭強調、カラーマトリックス、非線形階調変換情報、ホワイトバランス、ノイズリダクションを含む画質調整パラメータを含む。さらに、動きベクトル、ジャイロセンサ情報を含む装置の振れ情報を含んでもよい。メタデータ解析部１０６は、デコード処理に必要なメタデータを再生部１０７に通知する。
【００１９】
再生部１０７は、メタデータ解析部１０６により解析されたメタデータを用いて、動画像をデコード処理し、ＹＵＶ形式の動画像を生成する。再生部１０７は、ＹＵＶ形式の動画像をメニュー選択部１０４に転送し、一定間隔毎に１画像ずつＬＣＤタッチパネルに表示する。さらに、再生部１０７は、ＹＵＶ形式の動画像を動きベクトル検出部１０８及び矩形領域選択部１１０に転送する。
【００２０】
動きベクトル検出部１０８は、再生部１０７により再生された動画像をベクトル解析する。まず動画像をｋ×ｌ個のブロックに分割し、対象画像ｕ（ｘ，ｙ，ｔ）を生成する。ここで、ブロックの左上の画素を（ｘ，ｙ） 、時間をｔとする。次に、対象画像の直前の画像である参照画像ｓ（ｘ，ｙ，ｔ−１）に対し、動きベクトル（ｖｘ（ｘ，ｙ），ｖｙ（ｘ，ｙ））だけ移動させた予測画像ｕ（ｘ−ｖｘ（ｘ），ｙ−ｖｙ（ｙ），ｔ−１）を生成する。これより、対象画像と予測画像の予測誤差ｅ（ｘ，ｙ，ｔ）を演算できる。
ｅ（ｘ，ｙ，ｔ）＝ｕ（ｘ，ｙ，ｔ）−ｕ（ｘ−ｖｘ（ｘ），ｙ−ｖｙ（ｙ），ｔ−１）
次に、対象画像をｕ，参照画像をｓとし、ブロック内の予測誤差の総和を求める。
【００２１】
【数１】
2018152793.tif 000003
【００２２】
ここで、１ブロックの大きさはｗ×ｈであり、この領域を探索範囲Ｓとする。また関数Ｌとして、Ｌ１ノルムもしくはＬ２ノルムを用いる。次に、ブロックマッチングにより、対象画像と予測画像の間でブロックの差分が最小となる動きベクトル（ｖｘ＊，ｖｙ＊）を演算する。
【００２３】
【数２】
2018152793.tif 000004
【００２４】
次に、各ブロックの動きベクトルの平均値を演算し、画像全体の動きベクトル（ｖｘ＊*，ｖｙ＊*）を検出する。
【００２５】
【数３】
2018152793.tif 000005
【００２６】
次に、動きベクトル検出部１０８は、画像全体の動きベクトルを矩形領域演算部１０９に転送する。矩形領域演算部１０９は、メタデータ解析部１０６により解析されたメタデータ、データ形式取得部１０５により取得されたデータ形式、動きベクトル検出部１０８により検出された動きベクトルを用いて、動画像の一部分を選択する（切り出す）ための矩形領域を算出する。矩形領域の算出方法は後程説明する。矩形領域演算部１０９は、算出した矩形領域を矩形領域選択部１１０に転送する。
【００２７】
矩形領域選択部１１０は、矩形領域演算部１０９により算出された矩形領域を用いて、再生部１０７により再生された動画像から矩形領域を選択する（切り出す）。ここで、矩形領域を選択位置と解像度を用いて選択する。例えば、４０９６ｘ２１６０画素の動画像に対し、中心画素を原点（０，０）とすると、（５１２，５１２）を選択位置として矩形領域の中心画素の位置（中心位置）をこの位置に合わせ（シフトさせ）、解像度として２０４８×１０８０画素の範囲を選択する。次に、矩形領域選択部１１０は、矩形領域拡大部１１１ に動画像の矩形領域を転送する。
【００２８】
矩形領域拡大部１１１は、矩形領域選択部１１０により選択された動画像の矩形領域を像ブレを補正するように位置合わせした後、画像補間により原画像と同じ解像度に拡大する。次に、矩形領域拡大部１１１は、拡大された動画像をトランスコード部１１２に転送する。
【００２９】
トランスコード部１１２は、矩形領域拡大部１１１により拡大された動画像を、データ形式取得部１０５で取得されたデータ形式に変換する。例えば、データ形式が解像度である場合には、指定された解像度に縮小し、データ形式がビットレートである場合には、符号化処理を介してビットレートを変換する。そのため、トランスコード部は、ＭＰＥＧ形式の符号化処理、多重化処理を含んでもよい。次に、トランスコード部１１２は、トランスコードされた動画像を記録部１１３に転送する。必要に応じて、トランスコード部１１２と矩形領域選択部１１０の実行順序が前後してもよい。記録部１１３は、トランスコード部１１２によりトランスコードされた動画像を記録媒体に記録する。また無線通信により、外部に転送して記録してもよい。
【００３０】
図２は、本実施形態の処理の流れを説明するフローチャートである。まず、Ｓ２００において、矩形領域演算部１０９により演算された動きベクトル（ｖｘ＊*，ｖｙ＊*）を用いて、矩形領域の水平解像度、垂直解像度のセットである解像度ａ（水平解像度，垂直解像度）を算出する（以下、Ｓ３処理と呼ぶ）。続いて、Ｓ２０１に遷移する。
【００３１】
Ｓ２０１において、Ｓ２００で算出した矩形領域の解像度ａを一時的に保存するため、バッファａｐｒｅに格納する。続いて、Ｓ２０２に遷移する。Ｓ２０２とＳ２０５間でループ処理を実行する。ループ処理が実行される度に、Ｓ２０３において、画質劣化を引き起こすパラメータ（総画素数、ビットレート、ＩＳＯ感度、フレームレート、絞り値）毎に、後程説明する矩形領域演算処理（切り出し画角演算処理）を繰り返す。なお、上記のパラメータのうち総画素数に基づく矩形領域演算処理を以下Ｓ４処理と呼ぶ。同様に、ビットレートに基づく矩形領域演算処理をＳ５処理、ＩＳＯ感度に基づく矩形領域演算処理をＳ６処理、フレームレートに基づく矩形領域演算処理をＳ７処理、絞り値に基づく矩形領域演算処理をＳ８処理と呼ぶ。そして、画質劣化を許容範囲内に収めるため、それぞれの処理において矩形領域の解像度ａを拡大する。ここで、上記のパラメータとして、メタデータ解析部１０６で解析されたメタデータ、データ形式取得部１０５で取得されたデータ形式、動きベクトル検出部１０８で検出した動きベクトルを用いる。続いて、Ｓ２０４に遷移する。
【００３２】
Ｓ２０４において、Ｓ２０３で算出した矩形領域の解像度ａと、Ｓ２００において演算した矩形領域の解像度ａｐｒｅが一致するかを判定する。一致する場合には、画質劣化が許容範囲内であり、矩形領域の解像度ａを変更する必要がないと判断し、次のパラメータに基づく矩形領域演算処理に遷移する。一方、不一致である場合には、Ｓ２０３で用いたパラメータが許容できない画質劣化を引き起こすと判断し、矩形領域の解像度ａを拡大後、矩形領域演算処理を終了し、矩形領域を確定する。
【００３３】
次に、各矩形領域演算処理（Ｓ３処理 、Ｓ４処理、Ｓ５処理、Ｓ６処理、Ｓ７処理、Ｓ８処理）の詳細について説明する。図３を参照して、Ｓ３処理について説明する。
【００３４】
まずＳ３処理では、Ｓ３０１において、動きベクトルの水平成分ｖｘ＊*と垂直成分ｖｙ＊*を比較し、Ｓ３０２もしくはＳ３０３において大きい方の値を移動量ｖ＊*に代入する。Ｓ３０４において、この移動量を用いて矩形領域の解像度ａを算出する。
【００３５】
ａ＝μ３・ａ１／ｖ＊*  （μ３：比例定数、ｖ＊*：移動量、ａ１：原画像の解像度）
ここで、原画像の解像度ａ１（水平解像度，垂直解像度）を水平解像度が４０９６画素、垂直解像度が２１６０画素と仮定すると、移動量ｖ＊*が６４０画素の場合、図９に示す参照テーブルから比例定数μ３は３２０となる。そして、矩形領域の解像度である解像度ａは、水平解像度が２０４８画素、垂直解像度が１０８０画素と算出される。次に、矩形領域の選択位置（切り出し位置）を演算する。原画像の中心画素（０，０）を原点とすると、座標（ｖｘ＊*，ｖｙ＊*）を矩形領域の選択位置として矩形領域の中心画素の位置とする。
【００３６】
次に、図４に示すＳ４処理について説明する。Ｓ４処理では、総画素数の変化の割合Δｐ（＝（ｐ１−ｐ２）／ｐ１）を用いて、矩形領域の解像度ａを演算する。なお、ｐ１は原画像の総画素数、ｐ２は切り出す矩形領域の総画素数である。
【００３７】
まずＳ４０１において、総画素数の変化の割合Δｐと閾値δ１の大小関係を判定する。ここで、閾値δ１は、矩形領域の画質を担保できる解像度の下限値αに基づき決定される。例えば下限値αの水平解像度が１９２０画素、垂直解像度が１０８０画素である場合には、総画素数の閾値δ１はδ１＝（４０９６×２１６０−１９２０×１０８０）／（４０９６×２１６０）とする。総画素数の変化の割合Δｐが閾値δ１より大きい（閾値を上回る）場合、原画像の解像度に対し、Ｓ３処理で求めた矩形領域の解像度ａが極めて小さいことを意味し、画質劣化が許容できないと判断してＳ４０２に遷移する。一方、総画素数の変化の割合Δｐが閾値δ１以下である（閾値を下回る）場合、原画像の解像度に対し、Ｓ３処理で求めた矩形領域の解像度ａが、画質が担保できる許容範囲内であると判断し、Ｓ４処理を終了して矩形領域の解像度ａを確定する。
【００３８】
Ｓ４０２においては、画質劣化を許容範囲内に収めるため、総画素数の変化の割合Δｐを用いて、Ｓ３処理で演算した矩形領域の解像度ａを拡大する。
【００３９】
ａ＝μ１・ａ・Δｐ  （μ１：比例定数、ａ：矩形領域の解像度、Δｐ：総画素数の変化の割合）
Δｐ＝（ｐ１−ｐ２）／ｐ１  （ｐ１：原画像の総画素数、ｐ２：矩形領域の総画素数）
次に、Ｓ４０３において、Ｓ４０１と同様に、Ｓ４０２で求めた矩形領域の解像度ａが、画質を担保できる範囲内に収まっているかを、総画素数の変化の割合Δｐと閾値δ１の大小関係から判定する。総画素数の変化の割合Δｐが閾値δ１より大きく、画質が担保できないと判定された場合には、Ｓ４０４に遷移する。一方、総画素数の変化の割合Δｐが閾値δ１以下であり、画質が担保できると判定された場合には、Ｓ４処理を終了する。
【００４０】
Ｓ４０３において画質が担保できないと判定された場合には、Ｓ４０４において画質が担保できる許容範囲内の下限値αに基づく解像度（上記の例では、水平１９２０画素、垂直１０８０画素）を矩形領域の解像度ａに設定し、Ｓ４処理を終了する。
【００４１】
図５に示すＳ５処理について説明する。Ｓ５処理では、ビットレートの変化の割合Δｂを用いて、矩形領域の解像度ａを算出する。まずＳ５０１において、ビットレートの変化の割合Δｂと閾値δ２の大小関係を判定する。ビットレートの変化の割合Δｂが閾値δ２より大きい場合、元々の動画像のビットレートｂ１に対し、トランスコード後のビットレートｂ２が極めて小さいことを意味し、画質劣化が許容できないと判断してＳ５０２に遷移する。一方、ビットレートの変化の割合Δｂが閾値δ２以下の場合、画質が担保できる許容範囲内であることを意味し、Ｓ５処理を終了して矩形領域の解像度ａを確定する。
【００４２】
Ｓ５０２においては、ビットレートの変化の割合Δｂを用いて、Ｓ４処理で求めた矩形領域の解像度ａを画質を担保できるように拡大し、Ｓ５処理を終了する。
【００４３】
ａ＝μ２・ａ・Δｂ  （μ２：比例定数、ａ：矩形領域の解像度、Δｂ：ビットレートの変化の割合）
Δｂ＝（ｂ１−ｂ２）／ｂ１  （ｂ１：原画像のビットレート、ｂ２：トランスコード後のビットレート）
図６に示すＳ６処理について説明する。Ｓ６処理では、ＩＳＯ感度ｉを用いて、矩形領域の解像度ａを算出する。まずＳ６０１において、ＩＳＯ感度ｉと閾値θ１の大小関係を判定する。ＩＳＯ感度ｉが閾値θ１より大きい場合、ノイズが極めて大きいことを意味し、画質劣化が許容できないと判断してＳ６０２に遷移する。一方、ＩＳＯ感度ｉが閾値θ１以下の場合、画質が担保できる許容範囲内であることを意味し、Ｓ６処理を終了して矩形領域の解像度ａを確定する。
【００４４】
Ｓ６０２において、ＩＳＯ感度ｉを用いて、Ｓ５処理で求めた矩形領域の解像度ａを画質を担保できるように拡大し、Ｓ６処理を終了する。
【００４５】
ａ＝μ４・ｉ・ａ  （μ４：比例定数、ｉ：ＩＳＯ感度、ａ：矩形領域の解像度）
図７に示すＳ７処理について説明する。Ｓ７処理では、フレームレートｒを用いて、矩形領域の解像度ａを算出する。まずＳ７０１において、フレームレートｒと閾値θ２の大小関係を判定する。フレームレートｒが閾値θ２より小さい場合、フレーム間隔が極めて長く、動画像の振れが大きくなる傾向が高いことを意味する。そのため、矩形領域の解像度ａを小さくして像ブレ補正効果を高めるため、Ｓ７０２に遷移する。一方、フレームレートｒが閾値θ２以上である場合、フレーム間隔が短く、動画像の振れが発生しにくい傾向にあることを意味する。そのため、Ｓ７処理を終了して矩形領域の解像度ａを確定する。
【００４６】
Ｓ７０２においては、フレームレートｒを用いて、Ｓ６処理で求めた矩形領域の解像度ａを像ブレ補正効果を担保できるよう縮小し、Ｓ７処理を終了する。
【００４７】
ａ＝μ５・ａ・ｒ  （μ５：比例定数、ａ：矩形領域の解像度、ｒ：フレームレート）
図８に示すＳ８処理について説明する。Ｓ８処理では、絞り値ｆを用いて、矩形領域の解像度ａを算出する。まずＳ８０１において、絞り値ｆと閾値θ３の大小関係を判定する。絞り値ｆが閾値θ３より小さい場合（絞りが開いている場合）、球面収差によりノイズが極めて大きいことを意味する。そのため、画質劣化が許容できないと判断してＳ８０２に遷移する。一方、絞り値ｆが閾値θ３以上の場合（絞りが絞られている場合）、球面収差が軽減され画質が担保できる許容範囲内であることを意味する。そのため、Ｓ８処理を終了して矩形領域の解像度ａを確定する。
【００４８】
Ｓ８０２において、絞り値ｆを用いて、Ｓ８処理で求めた矩形領域の解像度ａを画質を担保できるよう拡大し、Ｓ８処理を終了する。
【００４９】
ａ＝μ６・ａ／ｆ  （μ６：比例定数、ｆ：絞り値、ａ：矩形領域の解像度）
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５０】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
１００：画像処理装置、１０１：ＣＰＵ、１０２：メモリ、１０３：読み出し部、１０４：メニュー選択部、１０５：データ形式取得部、１０６：メタデータ取得部、１０７：再生部、１０８：動きベクトル検出部、１０９：矩形領域演算部、１１０：矩形領域選択部１１１：矩形領域拡大部、１１２：トランスコード部、１１３：記録部、１１５：バス
【図１】
2018152793.tif 000006
【図２】
2018152793.tif 000007
【図３】
2018152793.tif 000008
【図４】
2018152793.tif 000009
【図５】
2018152793.tif 000010
【図６】
2018152793.tif 000011
【図７】
2018152793.tif 000012
【図８】
2018152793.tif 000013
【図９】
2018152793.tif 000014