(57)【要約】【課題】  撮影動画からＮ倍速の安定化動画を生成する際に、画質と動画フレームの出力タイミングを考慮することによって高画質の安定化動画を生成すること。【解決手段】  第１動画から前記撮影手段の撮影軌跡を推定する撮影軌跡推定手段と、推定された撮影軌跡の軌跡変動が低減するように補正する撮影軌跡再構築手段と、補正された撮影軌跡に対応した第２動画を、第１動画からレンダリングにより生成する手段と、第１動画から動画フレームの画質評価値を検出する画質評価値検出手段と、第１動画から第２動画で使用する動画フレームのフレーム間隔に従って、第２動画の出力フレームのタイミングを決定する出力フレームタイミング決定手段と、を備える。【選択図】図１
2020102787.tif 000002
【特許請求の範囲】
【請求項１】
第１動画から撮影手段の撮影軌跡を推定する撮影軌跡推定手段と、
前記推定された撮影軌跡の軌跡変動が低減するように補正する撮影軌跡再構築手段と、
前記補正された撮影軌跡に対応した第２動画を、前記第１動画からレンダリングにより生成する手段と、
前記第１動画から動画フレームの画質評価値を検出する画質評価値検出手段と、
前記第１動画から前記第２動画で使用する動画フレームのフレーム間隔に従って、第２動画の出力フレームのタイミングを決定する出力フレームタイミング決定手段と、を備え、
前記撮影軌跡再構築手段は、
前記第２動画を構成する各フレーム画像における、少なくとも、画質評価値と、
前記第２動画のレンダリング対象フレームに関して前記出力フレームタイミング決定手段で指定された出力フレームとレンダリング対象フレームの記録時間差とからなる重み付け情報によって、
レンダリング対象フレームに重み付けし、撮影軌跡を補正することを特徴とする画像処理装置。
【請求項２】
前記画質評価値は少なくとも、前記第１動画の動画フレームの輝度の分布に基づく露出値による評価値と、前記第１動画の動画フレームの輝度の分布に基づく輝度の分散に基づく評価値によって算出されることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画質評価値検出手段において、輝度の分布に基づく露出値による評価値は、第一と第二の閾値を設け、前記輝度の分布に基づいた露出値が指定した露出値の第一の閾値に近づくにつれて露出値による評価値を高くし、露出値が指定した露出値の第二の閾値から離れるにつれて露出値による評価値を低くし、露出値が指定した露出値の第一と第二の閾値の間である時に、露出値による評価値を最大値とすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画質評価値検出手段において、前記第１動画の動画フレームの輝度の分布に基づく輝度の分散に基づく評価値を利用することによって、前記輝度の分布に基づいた輝度の分散が大きくなるにつれて輝度の分散に基づく評価値を高くすることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記輝度の分布は撮像装置の評価測光で使用される評価値を利用することによって、露出値による評価値として使用することを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記輝度の分布は撮像装置の焦点調節評価値を利用することによって、輝度の分布に基づく輝度の分散に基づく評価値として使用することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記画質評価値検出手段は前記第１動画の動画フレームの像高によって評価値の割合の比重を重くすることを特徴とする請求項２乃至請求項６の何れか一項に記載の画像処理装置。
【請求項８】
前記レンダリング対象フレームの重み付けは画質評価値、各フレームの重み付け間隔、カメラ位置の速度の変化量である加速度、カメラ位置の加速度の変化量である加加速度のいずれかまたは複数の評価値から算出することによって、各評価値の値が大きくなるにつれて前記レンダリング対象フレームの重み付けを大きくすることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記カメラ位置の加速度とカメラ位置の加加速度は、前記撮影軌跡推定手段によって推定された撮影軌跡と、前記レンダリング対象フレームの記録時間差によって算出することを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
複数の評価値において、各評価値のうち、少なくとも１つの評価値が０となった場合に、評価値に応じて前記レンダリング対象フレームの重み付けの算出方法を変更することを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特に手振れなどによる撮影画角の変動を安定化させる画像処理装置に関する。
【背景技術】
【０００２】
手振れなどによる撮影画角の変動を電子的に安定化させる技術として、従来から、撮影動画から撮影軌跡を推定して、推定された撮影軌跡の軌跡変動が低減するように補正し、補正後の撮影軌跡に対応した安定化動画を生成する技術が提案されている。特許文献１には、撮影軌跡を折れ線に近似し、撮影情報に応じて折れ線の傾きを調整する技術が開示されている。
【０００３】
さらに、動画生成時に撮影時の撮影軌跡を利用することで動画を補正する技術が提案されている。特許文献２には、ハイレートで撮影した動画フレームを利用してレンダリング勝利時に焦点の合っている動画フレームの領域を使用することによって動画フレームの画素値を補正し、補正結果を動画として出力する方法が開示されている。
【０００４】
また、撮影動画に対して、再生速度をＮ倍速にした安定化動画を生成することで、アクションカムで撮影された長時間動画を短時間のダイジェスト動画にして楽しむ、と言ったことも盛んにおこなわれている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−５１０９号公報
【特許文献２】特願２００５−１６２５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示された従来技術では、通常のデジタルカメラで撮影された長時間動画から短時間ダイジェスト動画を生成し、安定化動画を作成する際に、動画の画質を評価することがない。このとき、画質とは、例えば画像の明るさやピントボケに対するものであり、画像が明るすぎる、または暗すぎる場合や、ピントボケによる影響によって被写体として何が写っているのか分からないものは低画質となる。動画の画質を評価することが無いために、動画として適切でないフレームを安定化動画にすると見ても内容が分からない動画になる課題がある。
【０００７】
また、特許文献２に開示された従来技術では、画質を補正することは可能であるが、動画フレーム間のカメラ位置の移動量と動画フレームの出力タイミングを考慮した動画フレームの選択をしないため、短時間のダイジェスト動画を作成しても安定化動画を作成することができない。
【０００８】
画質と出力タイミングを考慮してユーザの意図を汲んだＮ倍速動画を得るには撮影した動画像のフレーム毎に画質の評価を行うと共に出力タイミングに基づいて評価を行い、動画像のフレーム毎に重み付けを行うことが必要である。
【０００９】
そのためには、画質の評価方法を定義するとともに出力フレームタイミングに基づいた評価方法を定義する必要がある。画質の評価方法とは複数ある画質の評価項目について数値化することによって定量的に評価する方法である。
【００１０】
また、出力フレームタイミングに基づいた評価方法とはＮ倍速動画作成の際に間引いた画像が出力フレームとして選択される時に、その画像が単純な等間隔の間引きで選択された出力フレームとどの程度タイミングがずれているかを数値化することによって定量的に評価するものである。
【００１１】
画質評価方法と出力フレームのタイミングに基づいた評価に従って動画フレームのレンダリングを制御する。それらは特許文献１、特許文献２の組み合わせでは成し得ない方法である。
【００１２】
そこで本発明の目的は、撮影動画からＮ倍速の安定化動画を生成する際に、画質と動画フレームの出力タイミングを考慮することで、高画質の安定化動画を生成することが可能な画像処理を提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するため、本発明に係る画像処理装置は、
第１動画から撮影手段の撮影軌跡を推定する撮影軌跡推定手段と、前記推定された撮影軌跡の軌跡変動が低減するように補正する撮影軌跡再構築手段と、前記補正された撮影軌跡に対応した第２動画を、前記第１動画からレンダリングにより生成する手段と、前記第１動画から動画フレームの画質評価値を検出する画質評価値検出手段と、前記第１動画から前記第２動画で使用する動画フレームのフレーム間隔に従って、第２動画の出力フレームのタイミングを決定する出力フレームタイミング決定手段と、を備え、前記撮影軌跡再構築手段は、前記第２動画を構成する各フレーム画像における、少なくとも、画質評価値と、前記第２動画のレンダリング対象フレームに関して前記出力フレームタイミング決定手段で指定された出力フレームとレンダリング対象フレームの記録時間差とからなる重み付け情報によって、レンダリング対象フレームに重み付けし、撮影軌跡を補正することを特徴とする。
【発明の効果】
【００１４】
本発明に係る画像処理装置によれば、撮影動画からＮ倍速の安定化動画を生成する際に、画質と動画フレームの出力タイミングを考慮することで、高画質の安定化動画を生成することが可能な画像処理を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態である全体の構成を示すブロック図
【図２】撮影軌跡推定部の構成を示すブロック図
【図３】撮影軌跡補正部の構成を示すブロック図
【図４】第１の実施形態である全体の動作を示すフローチャート
【図５】撮影軌跡推定部の動作を示すフローチャート
【図６】撮影軌跡補正部の動作を示すフローチャート
【図７】画像マッチングの模式図
【図８】カメラ位置姿勢推定の方法を説明する図
【図９】撮像軌跡推定部および撮像軌跡補正部の動作を説明する図
【図１０】出力フレームタイミングを説明するための図
【図１１】画像フレームの評価と重み付けの動作を示すフローチャート
【図１２】露出評価値の算出方法を説明する図
【図１３】ピントによる評価値の算出方法を説明する図
【図１４】出力フレームタイミングによる評価値の算出方法を説明する図
【図１５】撮像軌跡の適正化に関する説明をする図
【図１６】評価値によって重み付けをする動作を示すフローチャート
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１７】
＜第１の実施形態＞
図１に、本発明の第１の実施形態である画像処理装置の構成を示す。
【００１８】
画像処理装置１００は、画像入力部１０１と、画像メモリ１０２と、撮影軌跡推定部１０３と、撮影軌跡補正部１０４、出力画像生成部１０５から成る。画像入力部１０１は画像処理装置１０１へ画像が入力された場合に画像が入力され、入力された画像は画像メモリ１０２と撮影軌跡推定部１０３へ供給される。画像メモリ１０２は、画像入力部１０１により入力された１フレーム又は複数のフレームを一時的に記憶保持する。保存された複数の画像は撮影軌跡推定部１０３、撮影軌跡補正部１０４、出力画像生成部１０５へ供給される。
【００１９】
撮影軌跡推定部１０３は、画像入力部１０１と画像メモリ１０２から供給された画像をもとに撮影軌跡の推定を行う。撮影軌跡推定部１０３は、推定した撮影軌跡を撮影軌跡補正部１０４へ供給する。撮影軌跡補正部１０４は、撮影軌跡推定部１０３から供給された推定された撮影軌跡と画像メモリ１０２から供給された画像から撮影軌跡の補正を行う。補正された撮影軌跡は、出力画像生成部１０５へ供給される。出力画像生成部１０５は、撮影軌跡補正部１０４によって補正された撮影軌跡に応じた画角領域を撮影動画から読み出し、撮影時のＮ倍速（Ｎは整数）での安定化動画を生成する。出力画像生成部１０５から出力された出力画像が画像処理装置１００によって処理された出力画像となる。
【００２０】
図２に、撮影軌跡推定部１０３の構成を示す。
【００２１】
撮影軌跡推定部１０３は、画像マッチング部１０３１、変動量算出部１０３２、変動量累積部１０３３から成る。画像マッチング部１０３１は、画像入力部１０１と画像メモリ１０２から供給された画像を基に画像のマッチング処理を行い、画像のマッチング処理の結果を変動量算出部１０３２へ供給する。変動量算出部１０３２は、画像マッチング部１０３１から供給された画像のマッチング処理の結果からカメラ位置とカメラ姿勢である撮影軌跡の変動量を算出し、算出結果を変動量累積部１０３３へ供給する。変動量累積部１０３３は、変動量算出部１０３２から供給された変動量の算出結果を累積し、累積した結果を撮影軌跡補正部１０４へ供給する。
【００２２】
図３に、撮影軌跡補正部１０４の構成を示す。
【００２３】
撮影軌跡補正部１０４は、画像フレーム重み付け決定部１０４１、撮影軌跡適正化部１０４２から成る。撮影軌跡推定部１０３によって推定される撮影軌跡は撮影時の撮影軌跡であり、撮影軌跡補正部１０４によって安定化した軌跡を算出する。画像フレーム重み付け決定部１０４１は画像メモリ１０２から供給された画像と撮影軌跡推定部１０３で推定された撮影軌跡を基に画像フレームの重み付けを決定し、画像フレームの重みを撮影軌跡適正化部１０４２へ供給する。撮影軌跡適正化部は、画像フレーム重み付け決定部から供給された画像フレームの重みを基に撮影軌跡を適正化し、適正化した撮影軌跡を出力画像生成部１０５へ供給する。
【００２４】
以上のように構成された画像処理装置１００について、図４に示すフローチャートを用いて詳細に説明する。
【００２５】
ステップＳ４０１において、撮影された画像が、画像入力部１０１を介し画像処理装置へ入力される。
【００２６】
ステップＳ４０２において、入力された画像は画像メモリ１０２に記憶保持される。
【００２７】
ステップＳ４０３において、撮影軌跡推定部１０３は、ステップＳ４０１で入力された画像と、画像メモリ１０２に記憶保持されている画像を使用して撮影軌跡推定を行う。
【００２８】
ステップＳ４０４において、撮影軌跡補正部１０４は、ステップＳ４０３で推定された撮影軌跡の補正を行う。図９（ｂ）と（ｃ）は撮影軌跡を補正する様子を示しており、縦軸は三次元上のカメラ位置である撮影軌跡、横軸はフレーム番号である。図９（ｂ）の撮影軌跡９０２の、１フレーム毎の変化が滑らかになるように処理を施して、図９（ｃ）に示すように補正撮影軌跡９０３を生成する。
【００２９】
ステップＳ４０５は出力画像生成部１０５において１フレーム毎に図９（ｃ）の補正撮影軌跡９０３に応じた画角領域を撮影動画から読み出すことで、安定化動画を生成する。
【００３０】
ステップＳ４０３の撮影軌跡推定部１０３における処理を図５に示すフローチャートを用いて詳細に説明する。
【００３１】
ステップＳ５０１において、図２の画像マッチング部１０３１は、図７に示されるように、図７（ａ）の現フレーム（フレーム番号ｎ）と図７（ｂ）の次フレーム（フレーム番号ｎ＋１）でマッチング処理を行う。マッチング処理の結果を図７（ｃ）に示す。マッチングの手法はＳＩＦＴのように現フレームと次フレームの特徴点をそれぞれ算出し、算出した特徴点の対応探索を行ってもいいし、ＫＬＴ追跡器のように現フレームで特徴点を算出し、算出した特徴点を続くフレームで追跡する特徴点追跡を行っても良く、２フレーム内の対応点を算出することができれば手法は問わない。
【００３２】
図７（ａ）の丸で示された位置７０１、７０２、７０３は現フレーム中にある特徴点の位置であり、図７（ｂ）で示されている位置７０４、７０５、７０６は次フレーム中にある特徴点の位置である。マッチング処理の結果は、各特徴点の位置のうち対応する点を、図７（ｃ）の線７０７、７０８、７０９で示した。
【００３３】
このように、図７（ａ）の７０１は図７（ｂ）７０４といったように各特徴点の対応を算出する。特徴点の数は、図７では３点の対応点のみしか表示していないが実際にはこの数は限定されない。しかし、後に算出する基礎行列Ｆのパラメータの数が８個あるため、好ましくは８点以上有る方が精度よく算出可能である。また特徴点は、その特徴量やマッチングの精度が高い点のみを用いる方が後のカメラ位置姿勢の算出精度が向上するため、マッチング時の相関値や特徴量がある閾値よりも高い対応点のみを用いるといった処理を行っても良い。
【００３４】
ステップＳ５０２において、図２の変動量算出部１０３２は、ステップＳ５０１において行ったマッチングの結果を使用し、画像間のカメラ位置姿勢の変動量を算出する。
【００３５】
ここで、Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎを用いたカメラ位置姿勢推定の方法を、図８を用いて説明する。２フレーム間の対応点は２つの視点から見た三次元的な同一点であり、図８を用いると、二つの視点のカメラ中心はＣ１、Ｃ２であり、同一点は三次元座標点Ｘで表わされる。そして、Ｃ１、Ｃ２から見た三次元座標点Ｘがフレーム上に投影される対応点はｘ１、ｘ２で表わされる。
【００３６】
ここで、Ｃ１、Ｃ２でのカメラ行列Ｐ１、Ｐ２をそれぞれ式１、式２で表わすと以下のようにあらわせる。
【００３７】
【数１】
2020102787.tif 000003
【００３８】
【数２】
2020102787.tif 000004
【００３９】
ここで、原点を基準とした時の座標軸はカメラ中心Ｃ１にあわせており、Ｉは単位行列、Ｋは内部キャリブレーション行列、ＲはＣ２の位置でのカメラの向きを表わす回転変換行列、Ｔは三次元の平行移動ベクトルである。本実施形態ではＣ１、Ｃ２でのカメラは同じであるため内部キャリブレーション行列は同じである。
【００４０】
ここで、カメラの相対的な位置関係ＲとＴ、カメラの特性Ｋ、三次元点の位置の結果として画像上の点、ｘ１、ｘ２に幾何学的な制約が生じたために、前述のカメラ行列を用いると、三次元座標点Ｘを画像上の点ｘ１、ｘ２に射影する条件を導き出すことができ、式３の方程式を満たす必要がある。
【００４１】
【数３】
2020102787.tif 000005
【００４２】
【数４】
2020102787.tif 000006
【００４３】
式３はエピポーラ制約といい、このエピポーラ制約中の行列Ｆを基礎行列という。この行列Ｆは２つのカメラＣ１，Ｃ２間の回転および平行移動量を表わす式であり、式３はｘ１をｘ２に変換する式として表わしている。式４は行列Ｆを、カメラの相対的な位置関係ＲとＴ、カメラの特性Ｋ、Ｓｔで表わした式であり、Ｓｔは、三次元の平行移動ベクトルＴで表わされる交代行列である。
【００４４】
よって、ステップＳ５０１で求めた２フレーム間の対応点群を用いて、式３を解くとこの基礎行列Ｆが求められる。基礎行列Ｆを求める方法は、８組の対応点を用いた８点法、ＳＶＤ（特異値分解）を用いた最小二乗法などがある。そして、この基礎行列Ｆを求めたのちに、式４を用いてカメラ行列を復元することで、２つのフレーム間での回転変換行列Ｒと平行移動ベクトルＴを求めることができる。
【００４５】
図９（ａ）は算出した変動量のうち平行移動ベクトルＴの変動量を時系列（フレーム番号順）に並べたものであり、縦軸が画像の変動量、横軸がフレーム番号を示し、各フレームでのベクトルは矢印９０１で示している。画像変動量は実際にはｘ、ｙ、ｚ方向の３方向の成分を持っているが、図９（ａ）では省略していずれか１成分のみを表している。
【００４６】
ステップＳ５０３において、図２の変動量累積部１０３３は、ステップＳ５０２によって算出した変動量を時間方向に累積し撮影軌跡を算出する。図９（ａ）のベクトルである矢印９０１を時間方向に累積することで、図９（ｂ）の撮影軌跡である折れ線９０２を算出する。
【００４７】
以上で、ステップＳ４０３における撮影軌跡推定の詳細な説明を終える。
【００４８】
ステップＳ４０４の撮影軌跡補正部１０４における処理を、図６に示すフローチャートを用いて詳細に説明する。ステップＳ６０１において、画像メモリ上の画像フレームに対して評価値を求め、評価値に応じて画像フレーム毎に重み付けを行う。ステップＳ６０２において、ステップＳ６０１で画像フレーム毎に付けた重みを基に撮影軌跡の適正化を行う。
【００４９】
図１０（ａ）はステップＳ６０１において、画像フレーム重み付け決定部１０４１によって元の動画から安定化動画で使用するフレームが選択される様子を示す。横軸１００１は安定化動画で出力されたときのフレームの時間を示し、横軸１００２は元の動画で出力されたときのフレームの時間を示す。安定化動画として動画が生成さるときは元の動画のフレーム間隔になるように安定化動画のフレーム間隔も間引きされる。本実施形態では１００１は１００２の４倍の間隔なので、間引きすると４倍速の安定化動画が生成される。安定化動画で選択されたフレームの一例として選択フレーム１００３と選択フレーム１００４を示す。フレーム間隔１００５は選択フレーム１００３と選択フレーム１００４のフレームの間隔である。フレームは等間隔に設定される。
【００５０】
選択フレーム１００６は安定化動画として選択しようとしているフレームを例示的に示す。記録時間差０フレーム１００７は元の動画が等間隔で間引きされ、安定化動画フレームとして選択される場合において、記録時間差が０のフレームとなる。単純な早送り動画を作成する場合に、記録時間差０フレーム１００７は記録時間差がない最適なフレームとなる。選択候補フレーム１００８は選択フレーム１００６として選択可能な元の動画のフレームを示す。
【００５１】
本実施形態では、選択候補フレーム１００８の範囲は記録時間差０フレーム１００７のように元の動画が等間隔で間引きされ、安定化動画フレームとして選択される場合において、記録時間差が０のフレームとなるフレームから時間で前後に３フレームを選択し、計７フレームとしている。選択候補フレーム１００８の範囲は任意に決定することが可能であるが、図１０（ｂ）のような関係がある。図１０（ｂ）は、選択できるフレームの範囲と選択されたフレームとの時間的整合性の関係を示したものである。横軸１００９は選択できるフレームの範囲の広さを、縦軸１０１０は時間的整合性の高さを示している。
【００５２】
ここでの時間的整合性とは、安定化動画で選択されるフレームと、元の動画との時間的関係についてのものである。選択できるフレームの範囲が広くなるにつれて時間的整合性が低くなる関係を線１０１１で示している。点線１０１２は、時間的整合性の一番高い値を示している。また、選択できるフレームの範囲が最広で、かつ時間的整合性が一番高いところは線１０１１上の点１０１３となる。
【００５３】
選択候補フレーム１００８の各フレームに対して、画質評価値
【００５４】
【数５】
2020102787.tif 000007
【００５５】
、出力フレームタイミングの評価値
【００５６】
【数６】
2020102787.tif 000008
【００５７】
、カメラ位置の加速度の評価値
【００５８】
【数７】
2020102787.tif 000009
【００５９】
、カメラ位置の加速度の評価値
【００６０】
【数８】
2020102787.tif 000010
【００６１】
を算出することによって、各フレームの重み
【００６２】
【数９】
2020102787.tif 000011
【００６３】
を決定する。
【００６４】
このとき。ｎは各フレームに割り当てられた番号とする。本実施形態において、各評価値の範囲は０以上、１以下の小数の範囲で表現されるように正規化する。評価値の算出について説明する図１２（ａ）の１２０２、図１２（ｂ）の１２０６、図１３（ｂ）の１３０４、図１３（ｃ）の１３０６、図１４（ａ）の１４０３において最大値を１と表記するが、これは任意の値をとることが可能である。各評価値を一律の評価値の範囲に設定することによって各評価値の比重が同じになるようにしており、この条件を守る場合においては、例えば各評価値を０以上、１００以下の小数と定義することも可能である。しかしながら、各評価値を最終的には乗じることを後述する計算方法によって行うため、各評価値の最小値は０と定義する。また、各評価値の算出方法は後述する。
【００６５】
ステップＳ６０１の画像フレーム重み付け決定部１０４１の処理を図１１に示すフローチャートを用いて詳細に説明する。ステップＳ１１０１において、画像入力部１０１で入力され、画像メモリ１０２に記録されている画像の画質の評価を行う。画質の評価については、輝度の分布について評価する。本実施形態では輝度の分布として露出値を評価する。露出値とは撮像装置等によって画像が撮影された場合において撮像センサーで受光した明るさを表わしており、画像における輝度値と定義する。
【００６６】
図１２に画像フレームの露出から露出値による評価値
【００６７】
【数１０】
2020102787.tif 000012
【００６８】
を算出する方法を示す。図１２（ａ）の横軸は画像メモリ上にある画像の露出値を示し、縦軸は評価値を示す。曲線１２０１は画像の露出値に対応した露出値による評価値
【００６９】
【数１１】
2020102787.tif 000013
【００７０】
を示しており、露出値が最小であり、画像が真っ暗の時の評価値を最低とし、そこから画像全体の露出値が大きくなることによって画像全体は明るくなり、評価値も高くなる。点線１２０２は露出値による評価値
【００７１】
【数１２】
2020102787.tif 000014
【００７２】
の最大値である。
【００７３】
線部１２０３から線部１２０４の範囲は評価値が点線１２０２を超えた範囲であり、評価値は取りうる最大値となる。線部１２０４においてさらに画像全体が明るくなった場合、画像は明るすぎるために、より真っ白になっていき、被写体が何であるのかを認識することが困難になっていくため、評価値は小さくなる。
【００７４】
【数１３】
2020102787.tif 000015
【００７５】
は式５〜式８のように表わされる。
【００７６】
【数１４】
2020102787.tif 000016
【００７７】
【数１５】
2020102787.tif 000017
【００７８】
【数１６】
2020102787.tif 000018
【００７９】
【数１７】
2020102787.tif 000019
【００８０】
式５は露出値が０から線部１２０３まで範囲において適用さる。式６は線部１２０３から線部１２０４までの露出値の範囲で適用される。式７は線部１２０４の露出値から露出値の最大値までの範囲に適用される。式８は式５と式６の関数の詳細である。係数ｋを変えることによって図１２（ａ）の線部の傾きを変えることが可能である。また、ｘは露出値を表わしている。本実施例において、式８のｘについては２次の関数としているが、ｘが増加することによって、ｆ（ｘ）が増加する関係であるならば、ｘの次数はより高次でもかまわないし、別の関数を用いることも可能である。
【００８１】
線部１２０３から線部１２０４の範囲は任意に設定することが可能である。線部１２０３から線部１２０４の範囲は式５、式７の形状によっては設ける必要はなく、露出値と評価値の関係において、評価値が定義した範囲の値を超えてしまわないようにするために設けられている。また図１２（ｂ）のように、線１２０１の形状も変更することは可能である。図１２（ｂ）は図１２（ａ）と同様に画像フレームの露出から露出値による評価値
【００８２】
【数１８】
2020102787.tif 000020
【００８３】
を算出する方法の一例を示している。線１２０５は画像の露出値に対応した露出値による評価値
【００８４】
【数１９】
2020102787.tif 000021
【００８５】
を示しており、点線１２０６は露出値による評価値
【００８６】
【数２０】
2020102787.tif 000022
【００８７】
の最大値を示している。図１２（ｂ）は図１２（ａ）と異なり、露出値に応じて閾値１２０７、閾値１２０８、閾値１２０９、閾値１２１０を設定している。露出値が閾値１２０７以下、また閾値１２１０以上の場合は、評価値は最低となり、閾値１２０７から閾値１２０８の区間では評価値が明るさの上昇にともなって線形的に上昇し、閾値１２０９から閾値１２１０の区間では評価値が明るさの上昇にともなって線形的に減少する、このように露出値の評価値を求めることも可能である。
【００８８】
例示した図１２（ａ）、図１２（ｂ）のようにすることによって露出値に応じて画像の露出値による評価値
【００８９】
【数２１】
2020102787.tif 000023
【００９０】
を決定することが可能となる。
【００９１】
露出値による評価値
【００９２】
【数２２】
2020102787.tif 000024
【００９３】
は動画像が作成される過程において、撮像装置で利用された評価測光で使用される評価値を利用することによって求めることも可能である。評価測光で使用される評価値はすなわち画像の輝度の分布であり、輝度の分布から露出値による評価値を求める。評価測光で使用される評価値の範囲を０以上、１以下の小数の範囲で表現されるように正規化することで、露出値による評価値
【００９４】
【数２３】
2020102787.tif 000025
【００９５】
とすることが可能である。
【００９６】
図１３に画像フレームのピントによる評価値
【００９７】
【数２４】
2020102787.tif 000026
【００９８】
を算出する方法を示す。ピントによる評価値
【００９９】
【数２５】
2020102787.tif 000027
【０１００】
は輝度の分布における分散に基づいて算出される。図１３（ａ）はある画像を格子上に区分したものである。格子状に区分する場合、本実施例では９×７の格子状に区分しているが、一様に区分できる場合は、任意に決定できるが、各区分の解像度として、後述する計算処理を行う都合上、４画素以上で格子状に区分することが望ましい。格子１３０１は格子状に区分した画像の一例である。このように区分した格子状の画像に対して画像の分散値σを算出する。図１３（ｂ）に格子状に区分した画像の分散値からピントの合い具合を求める方法を示す。図１３（ｂ）では分散値が大きくなるにつれてピントの合い具合が高くなる関係を示している。曲線１３０３は格子状に区分した画像の分散値σに対応したピントの合い具合を示す。本実施例では曲線１３０３のような曲線としているが、分散値が大きくなることによってピントの合い具合の値が大きくなる関係であれば、実施する上では直線やその他の形状でもかまわない。分散値に応じて格子状の画像のピントの合い具合を数値として算出し、決定する。点線１３０４は分散値に対する評価値の最大値である。分散値が大きいほどピントの合い具合は高い値となる。分散値σは式９のように表わされる。
【０１０１】
【数２６】
2020102787.tif 000028
【０１０２】
式９においてｋは格子状に区分した時の画像の総画素数、ｘは注目した画素値、μは格子状に区分した時の画像の画素値の平均値である。
【０１０３】
点線１３０４はピントの合い具合のであり、最大値は１とする。このとき、分散値の取りうる値の最大値がピントの合い具合の値で取りうる値に対応するように正規化を行う。
【０１０４】
図１３（ｃ）は図１３（ｂ）で各格子状の画像毎に求めたピントの合い具合から画像全体のピントが合っている格子状の画像の割合ｒを求め、評価値とする方法を示す。曲線１３０５はピントの合い具合の割合ｒに対応した評価値を示している。本実施例では曲線１３０５のような曲線としているが、割合ｒが大きくなることによって評価値の値が大きくなる関係であれば、実施する上では直線やその他の形状でもかまわない。割合ｒに応じて画像のピントによる評価値
【０１０５】
【数２７】
2020102787.tif 000029
【０１０６】
を決定する。割合ｒはピントの合い具合の高い格子状に区分した時の区分画像毎の評価値の総和ｌと格子状に区分した時の区分画像毎の評価値の最大値の総和ｍを用いて式１０によって表現される。
【０１０７】
【数２８】
2020102787.tif 000030
【０１０８】
点線１３０６は割合ｒに対する評価値の最大値である。
【０１０９】
図１３（ａ）について、画像の像高に応じて各格子状の画像の評価値の重みを変更することによって画像フレームのピントによる評価値
【０１１０】
【数２９】
2020102787.tif 000031
【０１１１】
を算出することも可能である。
【０１１２】
ピントによる評価値
【０１１３】
【数３０】
2020102787.tif 000032
【０１１４】
は動画像が作成される過程において、撮像装置で利用された焦点調節評価値を使用することによって求めることも可能である。焦点調節評価値はすなわち画像の輝度の分布であり、輝度の分布から輝度の分散を求める。焦点調節評価値の範囲を０以上、１以下の小数の範囲で表現されるように正規化することで、ピントによる評価値
【０１１５】
【数３１】
2020102787.tif 000033
【０１１６】
とすることが可能である。
【０１１７】
図１３（ｄ）は像高に応じて各格子状の画像の評価値の重みを変更する様子を示す。画像１３０７はピント評価値を算出する対象の画像フレームである。１３０８は像高の中心から一定の範囲で区分した領域であり、この領域内にある格子状の画像の評価値を大きくする。また、区分した領域の範囲外の格子状の画像の評価値は小さくする。このようにすることで像高中心のピントの合い具合が高いほど画像フレームの評価値が大きくなるように工夫することも可能である。
【０１１８】
画質評価値
【０１１９】
【数３２】
2020102787.tif 000034
【０１２０】
は露出値による評価値
【０１２１】
【数３３】
2020102787.tif 000035
【０１２２】
とピントによる評価値
【０１２３】
【数３４】
2020102787.tif 000036
【０１２４】
によって、式１１のように表わされる。
【０１２５】
【数３５】
2020102787.tif 000037
【０１２６】
ただし、画質評価値
【０１２７】
【数３６】
2020102787.tif 000038
【０１２８】
については、露出値、ピントによる評価値に限るものではなく、新たな評価項目
【０１２９】
【数３７】
2020102787.tif 000039
【０１３０】
について
【０１３１】
【数３８】
2020102787.tif 000040
【０１３２】
として評価値を算出する手段があれば
【０１３３】
【数３９】
2020102787.tif 000041
【０１３４】
に乗ずることによって評価方法を追加することが可能である。
【０１３５】
【数４０】
2020102787.tif 000042
【０１３６】
などの各画質評価項目を乗ずることによって求められる。この時、
【０１３７】
【数４１】
2020102787.tif 000043
【０１３８】
としていることから、
【０１３９】
【数４２】
2020102787.tif 000044
【０１４０】
の範囲で算出され、数値が大きいほど画質が高いことを意味している。また、
【０１４１】
【数４３】
2020102787.tif 000045
【０１４２】
を単純に乗ずることによって求めているため、例えば、
【０１４３】
【数４４】
2020102787.tif 000046
【０１４４】
が１になったとしても、
【０１４５】
【数４５】
2020102787.tif 000047
【０１４６】
が０の場合は
【０１４７】
【数４６】
2020102787.tif 000048
【０１４８】
もその影響を受ける。そのため、露出値が適正であっても、ボケが大きいフレームは選択されにくくなる。
【０１４９】
【数４７】
2020102787.tif 000049
【０１５０】
が両方とも大きい場合は、すなわち、露出値が前記に定めた任意の適正な範囲であり、分散値が大きくボケが少ないフレームが選択されるようになる。
【０１５１】
以上で、ステップＳ１１０１における画質評価の詳細な説明を終える。
【０１５２】
ステップＳ１１０２は対象となる画像フレームについて安定化動画で選択される画像フレームと元の入力画像のフレームとの記録時間差を評価することで出力フレームタイミングの評価値
【０１５３】
【数４８】
2020102787.tif 000050
【０１５４】
を算出する。
【０１５５】
ステップＳ１１０２について図１０（ａ）との関係を説明する。
【０１５６】
図１０（ａ）において、記録時間差がない最適なフレームについて、そのフレームの出力フレームタイミングの評価値
【０１５７】
【数４９】
2020102787.tif 000051
【０１５８】
を最大とする。最適なフレームとは、単純なＮ倍速の安定化動画を作成する場合に、時間的な齟齬がない、整合性のとれたフレームである。この最適なフレームから離れたフレームを選択した場合、生成される安定化動画は単純なＮ倍速の安定化動画とならなくなってしまい、場合によっては動画像として同じフレームが選ばれ続けることによって動きのない動画が続いてしまう可能性や、時間的に逆行した動画となってしまう可能性があり、これは記録時間差がない最適なフレームからより離れたフレームを選択するほどその可能性は強くなる。このような点を考慮し、選択フレーム１００７からそれぞれ離れた間隔のフレームを選択する場合は離れた間隔の大きさに応じて出力フレームタイミングの評価値
【０１５９】
【数５０】
2020102787.tif 000052
【０１６０】
を小さくし、各画像フレームの評価値とする。
【０１６１】
図１４（ａ）に出力フレームタイミングの時間差と評価値の関係を示す。点１４０１は出力フレームタイミングの時間差が０のときの場合である。点線１４０３は出力フレームタイミングの評価値
【０１６２】
【数５１】
2020102787.tif 000053
【０１６３】
の最大値を示しており、点１４０１の場合に最大値となる。間隔１４０２は図１０（ａ）の安定化動画で選択されるフレームの間隔１００５に対して、元の動画におけるフレームの間隔である。間隔１４０２毎に出力フレームタイミングの時間差が離れる毎に線１４０４に示すように評価値は小さくなっていく。
【０１６４】
線１４０４の形状は本実施例では直線となっているが別の形状でもかまわない。図１４（ｂ）の線１４０５のように曲線を用いることも可能である。ただし、出力フレームタイミングの時間差が大きくなるにつれて評価値が小さくなる関係となるように線の形状を定める必要がある。
【０１６５】
図１４（ａ）において、出力フレームタイミングの評価値
【０１６６】
【数５２】
2020102787.tif 000054
【０１６７】
は出力フレームタイミングの時間差
【０１６８】
【数５３】
2020102787.tif 000055
【０１６９】
任意の係数ａを用いて式１２のように表わされる。
【０１７０】
【数５４】
2020102787.tif 000056
【０１７１】
式１２の係数ａは
【０１７２】
【数５５】
2020102787.tif 000057
【０１７３】
が取りうる値の範囲と
【０１７４】
【数５６】
2020102787.tif 000058
【０１７５】
が取りうる値の範囲を考慮したうえで決定する必要があり図１４（ａ）の直線１４０４における傾きの係数に相当する。Ａ大きくとることによって出力フレームタイミングの時間差の影響を大きくすることが可能である。
【０１７６】
以上で、ステップＳ１１０２における記録時間差における画像フレームの評価の詳細な説明を終える。
【０１７７】
ステップＳ１１０３において、画像フレーム間の加速度の変化をカメラ位置姿勢の加速度の評価値
【０１７８】
【数５７】
2020102787.tif 000059
【０１７９】
として画像フレームに設定する。本明細書では加速度の変化は加加速度と称する。加加速度はカメラ位置が短い時間で急激にかつ不連続に変化した時に大きな値として検出さる。そのため、加加速度が大きいと判断される場合、カメラ位置の急激かつ不連続な変化によって撮影された画像は全体が手ブレのような影響をうけていて画像がボケている可能性が高い。また、加加速度が大きい動画を見ると、視覚から受ける動きのあるものの運動情報と身体の平行感覚をつかさどる三半規管とにずれが生じ、特に生物に対しては乗り物酔いのような不快感を与える要因となるため、なるべく加加速度は小さい値となることが望ましい。
【０１８０】
ここで、カメラ位置姿勢をＦとする。Ｆは式４で述べたように２つのカメラＣ１、Ｃ２間の回転および平行移動量を表わす。Ｆを時間において１回微分することによってカメラ位置姿勢の移動速度、Ｓｔを時間において２回微分することによってカメラ位置の加速度を算出することが可能となる。
【０１８１】
図１０（ａ）において、安定化動画として選択しようとしている選択フレーム１００６と、すでに選択されている選択フレーム１００４が示されている。選択フレーム１００４のカメラ位置の加速度を算出し、選択候補フレーム１００８の各フレームについても同様に加速度を算出する。選択フレーム１００４のカメラ位置の加速度と選択候補フレーム１００８のそれぞれのフレームの加速度の差、すなわち加加速度を求める。安定化動画の生成時では加加速度がなるべく小さくなるように画像フレームが選択される。すなわち、加加速度が小さいフレームほど選択されるべき画像フレームとなる。加加速度が最小のものから順に高い評価値として、画像フレーム間の加加速度についてのカメラ位置の加速度の評価値
【０１８２】
【数５８】
2020102787.tif 000060
【０１８３】
とする。加加速度が小さいことにより、生成される間引き画像は生物にとって不快感の少ない動画像となる。本実施例のように選択候補フレームが７フレームあった場合は各フレーム毎の加加速度が小さい順に各フレームの評価値
【０１８４】
【数５９】
2020102787.tif 000061
【０１８５】
を決める。加加速度が最も小さいフレームの評価値
【０１８６】
【数６０】
2020102787.tif 000062
【０１８７】
を１としそこから加加速度の小ささ順に評価値を付けていく。また、評価値
【０１８８】
【数６１】
2020102787.tif 000063
【０１８９】
は本実施例では
【０１９０】
【数６２】
2020102787.tif 000064
【０１９１】
で与えられると定義している。本実施例のように選択候補フレームが７フレームの場合は、例えば、変化量が最小のフレームの評価値
【０１９２】
【数６３】
2020102787.tif 000065
【０１９３】
を１として変化量が大きくなるにつれてフレームに与える評価値
【０１９４】
【数６４】
2020102787.tif 000066
【０１９５】
を刻み幅を０．１として刻み幅ごとに下げていき、１、０．９、０．８、…のように定めて各フレームの評価値とする。この時、フレームに与える評価値の刻み幅は
【０１９６】
【数６５】
2020102787.tif 000067
【０１９７】
の範囲であれば任意でかまわない。
【０１９８】
ステップＳ１１０４において、画像フレーム間の速度の変化をカメラ位置の速度の評価値
【０１９９】
【数６６】
2020102787.tif 000068
【０２００】
として画像フレームに設定する。
【０２０１】
ステップＳ１１０３の説明で述べたようにカメラ位置の移動速度はＦを時間において１回微分することによって求めることが可能である。
【０２０２】
安定化動画の生成時では速度の変化、すなわち加速度がなるべく小さくなるように画像フレームが選択される。加速度が小さいフレームほど選択されるべき画像フレームとなる。
【０２０３】
図１０（ａ）において、安定化動画として選択しようとしている選択フレーム１００６と、すでに選択されている選択フレーム１００４が示されている。選択フレーム１００４のカメラ位置の速度を算出し、選択候補フレーム１００８の各フレームについても同様に速度を算出する。選択フレーム１００４のカメラ位置の速度と選択候補フレーム１００８のそれぞれのフレームの速度の差を求める。安定化動画の生成時では加速度がなるべく小さくなるように画像フレームが選択される。すなわち、加速度が小さいフレームほど選択されるべき画像フレームとなる。加速度が最小のものから順に高い評価値として、画像フレーム間の加速度についてのカメラ位置の速度の評価値
【０２０４】
【数６７】
2020102787.tif 000069
【０２０５】
とする。本実施例のように選択候補フレームが７フレームあった場合は各フレーム毎の加速度を求め、加速度が小さい順に各フレームの評価値
【０２０６】
【数６８】
2020102787.tif 000070
【０２０７】
を決める。加速度が最も小さいフレームの評価値
【０２０８】
【数６９】
2020102787.tif 000071
【０２０９】
を１としそこから加速度の小ささ順に評価値を付けていく。また、評価値
【０２１０】
【数７０】
2020102787.tif 000072
【０２１１】
は本実施例では
【０２１２】
【数７１】
2020102787.tif 000073
【０２１３】
で与えられると定義している。本実施例のように選択候補フレームが７フレームの場合は、例えば、加速度が最小のフレームの評価値
【０２１４】
【数７２】
2020102787.tif 000074
【０２１５】
を１として加速度が大きくなるにつれてフレームに与える評価値
【０２１６】
【数７３】
2020102787.tif 000075
【０２１７】
を刻み幅を０．１として刻み幅ごとに下げていき、１、０．９、０．８、…のように定めて各フレームの評価値とする。この時、フレームに与える評価値の刻み幅は
【０２１８】
【数７４】
2020102787.tif 000076
【０２１９】
の範囲であれば任意でかまわない。
【０２２０】
ステップＳ１１０５において、ステップＳ１１０１、ステップＳ１１０２、ステップＳ１１０３、ステップＳ１１０４で求めた評価値をもとに各フレームの重み
【０２２１】
【数７５】
2020102787.tif 000077
【０２２２】
を算出する。
【０２２３】
各フレームの重み
【０２２４】
【数７６】
2020102787.tif 000078
【０２２５】
は式１３のように表わされる。
【０２２６】
【数７７】
2020102787.tif 000079
【０２２７】
【数７８】
2020102787.tif 000080
【０２２８】
は０以上１以下の数値と定義しているため、
【０２２９】
【数７９】
2020102787.tif 000081
【０２３０】
【数８０】
2020102787.tif 000082
【０２３１】
のすべてが取りうる値の範囲において大きな値となればそのフレームの重みは大きくなる。重みが大きいと算出されるフレームは露出値が適切でピントが合っており、出力フレームのタイミングも大きい評価値であり、前フレームとの加速度、速度の変化が小さいフレームである。たたし、式１３の算出方法では、どこか１項目の評価値が低い場合でも全体の評価値に影響を与える。
【０２３２】
ステップＳ６０２において、図３の撮像軌跡適正化部１０４２は、ステップＳ４０３によって推定された撮像軌跡を、ステップＳ１１０５で決定した重みを使用し撮像軌跡の適正化を行う。撮像軌跡適正化の式は例えば次の式１４から式１８で表すことができる。
【０２３３】
【数８１】
2020102787.tif 000083
【０２３４】
【数８２】
2020102787.tif 000084
【０２３５】
【数８３】
2020102787.tif 000085
【０２３６】
【数８４】
2020102787.tif 000086
【０２３７】
【数８５】
2020102787.tif 000087
【０２３８】
ここで、
【０２３９】
【数８６】
2020102787.tif 000088
【０２４０】
は時刻ｔでの補正後のカメラ位置姿勢、
【０２４１】
【数８７】
2020102787.tif 000089
【０２４２】
は時刻ｔでの補正後のカメラ方向、
【０２４３】
【数８８】
2020102787.tif 000090
【０２４４】
に一番近い位置にある入力のカメラ位置姿勢である。
【０２４５】
ここで図１５を用いて撮影軌跡の補正の効果について説明する。図１５（ａ）〜（ｄ）に示したグラフは縦軸が三次元上のカメラ位置姿勢、横軸がフレーム番号を表している。図１５（ａ）の折れ線１５０１は入力撮影軌跡を示す。
【０２４６】
式１４は補正後の撮影軌跡の長さを調整する式である。図１５（ｂ）の折れ線１５０２は、折れ線１５０１に対して補正撮影軌跡の長さが短くなるように調整している図である。
【０２４７】
式１５は補正後のカメラ位置姿勢の１フレーム毎の変化が滑らかになるように調整する式である。図１５（ｃ）の曲線１５０３は、折れ線１５０２に対して補正撮影軌跡の１フレーム毎の変化が滑らかになるに調整している図である。
【０２４８】
式１６は入力カメラ位置姿勢と補正後のカメラ位置姿勢の差分を調整する式である。図１５（ｄ）の曲線１５０４は、曲線１５０３が入力撮影軌跡との差分が少なくなるように調整している図である。
【０２４９】
式１７は出力画像の画質と出力フレームタイミングを調整する式であり、詳細は後述する。
【０２５０】
式１８は式１４〜式１８の各項に対して、パラメータλ１〜λ４で重み付け加算したものであり、これを撮影軌跡補正の式とする。
【０２５１】
そして、式１８を最小とするように
【０２５２】
【数８９】
2020102787.tif 000091
【０２５３】
について非線形の最小化問題を解くことで、補正された撮影軌跡を算出することができる。
【０２５４】
式１７について詳細に説明する。
【０２５５】
式１７は式１０、または式１１、式１２、式１３によって求めた重み
【０２５６】
【数９０】
2020102787.tif 000092
【０２５７】
を式１６に乗じた式である。式１６は、前述のように入力カメラ位置姿勢と補正後のカメラ位置姿勢の差分を調整する式である。式１６に本実施例で導出した重み
【０２５８】
【数９１】
2020102787.tif 000093
【０２５９】
を乗ずることにより、例えば、
【０２６０】
【数９２】
2020102787.tif 000094
【０２６１】
が０にとても近い、小さな値であった場合、式１７の影響はとても小さくなる。
【０２６２】
【数９３】
2020102787.tif 000095
【０２６３】
が大きな値であった場合、撮影軌跡の補正では出力画像の画質と出力フレームタイミングを重視したものになる。
【０２６４】
ここで、式１８はλによって各項の重みを変更することが可能である。これらの重みづけは任意で指定することが可能である。例えばλ２の値を大きくし、λ３の値を小さくすると、図１５（ｃ）の曲線１５０３のように入力撮像軌跡から離れた撮像軌跡になっても１フレーム毎の変化を滑らかすることが優先される。
【０２６５】
また、出力画像フレームの画質を重要視したい場合は、λ４の値を大きくするのが良い。
【０２６６】
ステップＳ１１０６において処理フレームが最終フレームかの判断を行い最終フレームの場合はステップＳ４０４を終了する。最終フレームでなかった場合はステップＳ１１０１へ進む。
【０２６７】
ここまで、実施形態１における本提案の動作について述べた。
【０２６８】
以上により、画像フレームの重み  を画質評価による評価値と、出力フレームタイミングの記録時間差を基に算出することによって、安定化動画としてカメラ軌跡の速度とカメラ軌跡の加速度、出力フレームタイミングの記録時間差を考慮した高画質な安定化動画の生成が可能となる。
【０２６９】
＜第２の実施形態＞
本発明の第二の実施形態について説明する。
【０２７０】
本発明の第一の実施形態において、ステップＳ１１０５では、各フレームの重みを式１３によって決定したが、図１６のフローチャートに従ってフレームの重み
【０２７１】
【数９４】
2020102787.tif 000096
【０２７２】
を決定する方法についても例示する。図１６のフローチャートに従うことによって、どこか１項目の評価値が低い場合、例えばどこか１項目の評価値が０となってしまった場合でも全体の評価値に影響を与えてしまうことがないようにすることが可能である。
【０２７３】
図１６のフローチャートについて詳細に説明する。
【０２７４】
ステップＳ１６０１において画像フレームの評価を行う。画像フレームの評価については、少なくとも画像フレームの画質、出力フレームタイミング、カメラ位置の速度の変化、カメラ位置の加速度の変化に対して評価値の算出を行う。
【０２７５】
ステップＳ１６０２はステップＳ１６０１において算出した加速度の変化に対して大きさを評価する。加速度の変化が非常に大きいと判断された場合はステップＳ１６０３へ進む。また、加速度の変化が非常に大きいと判断されない場合はステップＳ１６０４へ進む。
【０２７６】
加速度の変化が非常に大きい、並びに速度の変化が非常に大きいとする基準は画像から特徴点を検出することができるか、できないかで判断される。つまり、特徴点を検出することができないということはそれだけ画像がぶれていことであり、カメラ位置の速度と加速度が非常に大きい状態にあると判断する。
【０２７７】
ステップＳ１６０３において、画像フレームの重みは画質評価値を使用せずに評価される。ステップＳ１６０３はステップＳ１６０１において算出した加速度の変化に対して大きさを評価し加速度の変化が非常に大きいと判断された場合であり、加速度の変化が非常に大きい場合は画像自体に強いブレが発生しているため、画質評価値を算出するまでもなく、選択候補フレームの画質評価値は極端に低い値を示すことが想像される。そのため、ステップＳ１５０３では画質の評価値を利用せずに画像フレームの重み
【０２７８】
【数９５】
2020102787.tif 000097
【０２７９】
を算出する。これにより、画質評価値の影響を受けない画像フレームの重み
【０２８０】
【数９６】
2020102787.tif 000098
【０２８１】
の算出が可能である。このとき、画像フレームの重み
【０２８２】
【数９７】
2020102787.tif 000099
【０２８３】
は式１９のように示される。
【０２８４】
【数９８】
2020102787.tif 000100
【０２８５】
ステップＳ１６０４はステップＳ１６０１において算出した速度の変化に対して大きさを評価する。速度の変化が非常に大きいと判断された場合はステップＳ１６０３へ進む。また、速度の変化が非常に大きいと判断されない場合はステップＳ１６０５へ進む。ステップＳ１６０３での処理は前述したため省略する。
【０２８６】
ステップＳ１６０５はステップＳ１６０１において算出した画質評価値に対して大きさを評価する。画像メモリ１０２に保存されている各画像フレームの画質評価値について、画質評価値がすべて高い場合はステップＳ１６０６へ進む。画質評価値がすべて高いと判断されない場合はステップＳ１６０７へ進む。
【０２８７】
ステップＳ１６０６において、画像フレームの重みは出力フレームタイミングのみを使用して評価される。このとき、画像フレームの重み
【０２８８】
【数９９】
2020102787.tif 000101
【０２８９】
は式２０のように示される。
【０２９０】
【数１００】
2020102787.tif 000102
【０２９１】
式２０では加速度の変化、速度の変化はそれほど大きな値ではなく、各画質評価値がすべて高い状況である。このような動画像のシーンとしてはカメラ位置の移動がほぼなく、被写体にピントが合っていて、露出値も適切である状況である。このような場合は出力フレームのタイミングに対する評価値のみで評価することにより、Ｎ倍速で圧縮動画を作成した場合に最適なフレームを選択することを重視するようにする。
【０２９２】
ステップＳ１６０７において、画像フレームの重み
【０２９３】
【数１０１】
2020102787.tif 000103
【０２９４】
は出力フレームタイミングと画質評価値を使用して評価される。このとき、画像フレームの重み
【０２９５】
【数１０２】
2020102787.tif 000104
【０２９６】
は式２１のように示される。
【０２９７】
【数１０３】
2020102787.tif 000105
【０２９８】
式２１では加速度の変化、速度の変化はそれほど大きな値ではない場合である。このような動画像のシーンとしてはカメラ位置の移動がないが、被写体にピントが合っていない、もしくは露出値が小さすぎたり大きすぎたりしていて画像全体が暗すぎたり明るすぎたりして被写体が認識できないような状況である。このような場合は前後の選択候補フレームから画質評価値の大きいフレームを出力フレームのタイミングを考慮して評価することによって、両者の両立を目的としたフレームの重み付けをするようにする。
【０２９９】
図１６のフローチャートによって式１３の算出方法では、どこか１項目の評価値が低い場合でも全体の評価値に影響を与えてしまう可能性をなるべく抑えた重みの算出を行うことができる。
【０３００】
以上により、図１６のフローチャートについての詳細な説明を終了する。
【０３０１】
ここまで、実施形態２における本提案の動作について述べた。
【０３０２】
以上により、画像フレームの重みを画質評価による評価値と、出力フレームタイミングの記録時間差を基に、図１６のフローチャートに従って算出することによって、安定化動画としてカメラ軌跡の速度とカメラ軌跡の加速度、出力フレームタイミングの記録時間差のどこか１項目の評価値が誤検出や画像フレームのテクスチャのために低い値となるような場合、つまり撮影されたシーンによっては検出が不得意な項目の評価値があった場合でも、評価値の一時的な変動の影響を受けることなく画像フレームの重み
【０３０３】
【数１０４】
2020102787.tif 000106
【０３０４】
を得ることができるので高画質な安定化動画の生成が可能となる。
【符号の説明】
【０３０５】
１０３  撮影軌跡推定部、１０４  撮影軌跡補正部
【図１】
2020102787.tif 000107
【図２】
2020102787.tif 000108
【図３】
2020102787.tif 000109
【図４】
2020102787.tif 000110
【図５】
2020102787.tif 000111
【図６】
2020102787.tif 000112
【図７】
2020102787.tif 000113
【図８】
2020102787.tif 000114
【図９】
2020102787.tif 000115
【図１０】
2020102787.tif 000116
【図１１】
2020102787.tif 000117
【図１２】
2020102787.tif 000118
【図１３】
2020102787.tif 000119
【図１４】
2020102787.tif 000120
【図１５】
2020102787.tif 000121
【図１６】
2020102787.tif 000122