(57)【要約】【課題】  標準画角で撮影された撮影動画から、Ｎ倍速の安定化動画を生成する際に、カメラワークとブレを考慮した安定化動画生成を可能にした画像処理装置を提供すること。【解決手段】  第１動画から撮像手段の撮影軌跡を推定する撮影軌跡推定手段と、推定された撮影軌跡の軌跡変動が低減するように補正する撮影軌跡補正手段と、補正後の軌跡に対応した第２動画を前記第１動画から生成する画像生成手段を有し、第１動画から第２動画で使用する動画フレームのフレーム間隔に従って、第２動画の出力フレームのタイミングを決定するタイミングを決定し、撮影軌跡から撮像手段の位置変化と撮像手段の姿勢変化を算出し、決定したタイミングと、撮像手段の位置及び姿勢変化に基づき、第２動画生成対象画像に重み付けし、前記重みに従い前記第２動画を生成することを特徴とする。【選択図】図１
2020102786.tif 000002
【特許請求の範囲】
【請求項１】
第１動画から撮像手段の撮影軌跡を推定する撮影軌跡推定手段と、
推定された撮影軌跡の軌跡変動が低減するように補正する撮影軌跡補正手段と、
補正後の軌跡に対応した第２動画を前記第１動画から生成する画像生成手段と、
を有する画像処理装置において、
前記第１動画から前記第２動画で使用する動画フレームのフレーム間隔に従って、第２動画の出力フレームのタイミングを決定するタイミング決定手段と、
前記撮影軌跡の解析を行う撮影軌跡解析手段と、
を有し、
前記撮影軌跡解析手段は、前記撮影軌跡から前記撮像手段の位置変化と前記撮像手段の姿勢変化を算出し、
前記画像生成手段は、少なくとも前記タイミング決定手段と、前記撮像手段の位置変化と前記撮像手段の姿勢変化に基づき、第２動画生成対象画像に重み付けし、前記重みに従い前記第２動画を生成することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、前記タイミング決定手段によって決定された前記出力フレームかから時間的に離れるに従い、時間重みを小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像生成手段は、前記撮像手段の姿勢変化が小さくなるに従い前記時間重みを大きくすることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像生成手段は、前記撮像手段の位置変化が大きくなるに従い間引き重みを小さくすることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記撮影軌跡補正手段は、前記撮像手段の姿勢変化が小さくなるに従い前記撮影軌跡と前記補正後の軌跡の差分を低減するように前記撮影軌跡の補正をすることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記撮影軌跡補正手段は、前記撮像手段の位置変化が大きくなるに従い前記撮影軌跡の位置姿勢の変動が低減するように前記撮影軌跡の補正をすることを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、特にブレなどによる撮影画角の変動を安定化させる画像処理装置に関する。
【背景技術】
【０００２】
ブレ（手振れや歩きブレなどによる動きを総称してブレとする）による撮影画角の変動を電子的に安定化させる技術として、従来から、撮影動画から撮影軌跡を推定して、推定された撮影軌跡の軌跡変動が低減するように補正し、補正後の撮影軌跡に対応した安定化動画を生成する技術が提案されている。
【０００３】
特許文献１には、撮影情報に応じて評価値を算出し、評価値に従って軌跡の補正を行う技術が開示されている。
【０００４】
また通常、動画の速度をＮ倍速にして生成することで、撮影された長時間動画を短時間のダイジェスト動画にして楽しむ、と言ったことも盛んにおこなわれている。  
【０００５】
特許文献２には、撮影画像の変化情報に基づいて、短時間のダイジェスト動画生成に使用するフレームを選択する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−５１０９号公報
【特許文献２】特開２０１５−６１２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示された従来技術では、通常のデジタルカメラで撮影された長時間動画から短時間ダイジェストの安定化動画作成の際、撮影軌跡全体を考慮した補正を行うため、撮影軌跡内にカメラワークが大きくブレが小さいフレームと、カメラワークが小さくブレが大きいフレームとが混在する場合、本来カメラワークが小さくブレが大きいフレームではブレを低減するように平滑化を強くかけるのがいいが、カメラワークが大きくブレが小さいフレームにも同様の補正を行ってしまうと、カメラワークに平滑化処理が強くかかってしまうため意図した補正軌跡よりも、カメラワークの動きが小さい軌跡が生成されてしまう。
【０００８】
また、特許文献２に開示された従来技術では、撮影画像の変化情報に基づいて短時間のダイジェスト動画生成に使用するフレームを決定しているため、カメラワークが大きいフレームやブレが大きいフレームでは撮影画像の変化が大きいので、間引き処理が行われずダイジェスト動画にならないことがある。逆にカメラワークが小さいフレームやブレが小さいフレームでは撮影画像の変化が小さいので未使用フレームが続き、大きくフレームが飛んでしまいシーンがぶつ切りになったような動画が生成されることがある。
【０００９】
そこで、本発明の目的は、Ｎ倍速の安定化動画を生成する際に、補正撮影軌跡と短時間のダイジェスト動画生成に使用するフレームをカメラワークとブレの２つを考慮することで、カメラワークとブレの混在した動画でも安定した短時間のダイジェスト動画生成を可能にした画像処理装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明に係る画像処理装置は、
第１動画から撮像手段の撮影軌跡を推定する撮影軌跡推定手段と、推定された撮影軌跡の軌跡変動が低減するように補正する撮影軌跡補正手段と、補正後の軌跡に対応した第２動画を前記第１動画から生成する画像生成手段と、を有する画像処理装置において、前記第１動画から前記第２動画で使用する動画フレームのフレーム間隔に従って、第２動画の出力フレームのタイミングを決定するタイミング決定手段と、前記撮影軌跡の解析を行う撮影軌跡解析手段と、を有し、前記撮影軌跡解析手段は、前記撮影軌跡から前記撮像手段の位置変化と前記撮像手段の姿勢変化を算出し、前記画像生成手段は、少なくとも前記タイミング決定手段と、前記撮像手段の位置変化と前記撮像手段の姿勢変化に基づき、第２動画生成対象画像に重み付けし、前記重みに従い前記第２動画を生成することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、標準画角で撮影された撮影動画から、Ｎ倍速の安定化動画を生成する際に、カメラワークとブレが混在していてもブレを低減した、安定化動画生成を可能にした撮像装置及び画像処理装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態である全体の構成を示すブロック図
【図２】カメラ軌跡推定部の構成を示すブロック図
【図３】カメラ軌跡解析部の構成を示すブロック図
【図４】出力画像生成部の構成を示すブロック図
【図５】第１の実施形態である全体の動作を示すフローチャート
【図６】カメラ軌跡推定部の動作を示すフローチャート
【図７】画像マッチングの模式図
【図８】カメラ位置姿勢推定の方法を説明する図
【図９】カメラ軌跡推定部およびカメラ軌跡補正部の動作を説明するための図
【図１０】カメラ軌跡解析部の動作を示すフローチャート
【図１１】カメラワークとブレと式８、式９の重みの関係を示すグラフ
【図１２】出力画像生成部の動作を示すフローチャート
【図１３】間引き重みと時間重みから使用フレームを選んでいる図
【図１４】カメラワークとブレと基準フレームからの時間的距離と間引き重みと時間重みの関係を示すグラフ
【発明を実施するための形態】
【００１３】
以下、本発明を実施するための形態について、図面を参照しながら説明する。
【００１４】
図１に、本発明の実施形態である画像処理装置の構成を示す。
【００１５】
画像処理装置１００は、画像入力部１０１と、画像メモリ１０２と、カメラ軌跡推定部１０３と、カメラ軌跡解析部１０４と、カメラ軌跡補正部１０５と、タイミング決定部１０６と、出力画像生成部１０７からなる。カメラ軌跡推定部１０３は画像マッチング部１０３１、変動量算出部１０３２、変動量累積部１０３３からなる。カメラ軌跡解析部１０４はカメラワーク推定部１０４１と、ブレ推定部１０４２からなる。出力画像生成部１０７は間引き重み決定部１０７１と、時間重み決定部１０７２と、使用フレーム決定部１０７３と、レンダリング部１０７４からなる。
【００１６】
カメラ軌跡推定部１０３によって推定されるカメラ軌跡は撮影時の撮影軌跡であり、カメラ軌跡補正部１０５によって安定化した軌跡を算出する。
【００１７】
画像メモリ１０２は、画像入力部１０１により入力された画像を１フレーム又は複数のフレーム、一時的に記憶保持する。
【００１８】
カメラ軌跡推定部は、画像入力部１０１により入力された画像と、画像メモリ１０２に記憶保持された画像を使用しカメラの軌跡推定を行う。
【００１９】
図２に、カメラ軌跡推定部１０３の構成を示す。
【００２０】
画像マッチング部１０３１は、現フレーム（フレーム番号ｎ）と次フレーム（フレーム番号ｎ＋１）のマッチング処理を行う。変動量算出部１０３２は、画像マッチング部１０３１よるマッチング結果を使用し画像間の変動量を算出する。変動量累積部１０３３は、変動量算出部１０３２によって算出された画像間の変動量を累積しカメラ軌跡を推定する。
【００２１】
図３に、カメラ軌跡解析部１０４の構成を示す。
【００２２】
カメラワーク算出部１０４１は、カメラ軌跡推定部１０３によって推定されたカメラ軌跡から、カメラワークの動きを推定する。ブレ推定部１０４２はカメラ軌跡推定部１０３によって推定されたカメラ軌跡から、カメラワーク算出部１０４１によって推定されたカメラワークを減算することでブレを推定する。
【００２３】
カメラ軌跡補正部１０５は、カメラ軌跡推定部１０３によって推定されたカメラ軌跡を、カメラ軌跡解析部１０４によって推定されたカメラワークとブレに応じて、カメラ軌跡を補正する。
【００２４】
タイミング決定部１０６は、撮影動画のＮ倍速（Ｎは整数）動画をレンダリングする際に基準となる基準フレームを決定する。
【００２５】
図４に、出力画像生成部１０７の構成を示す。
【００２６】
間引き重み決定部１０７１は、カメラ軌跡解析部１０４によって推定されたブレに応じて各フレーム毎に間引き重みを決定する。時間重み決定部１０７２は、カメラ軌跡解析部１０４によって推定されたカメラワークとタイミング決定部１０６によって決定した基準フレームから、各フレーム毎に時間重みを決定する。使用フレーム決定部１０７３は、間引き重み決定部１０７１によって決定された間引き重みと、時間重み決定部１０７２によって決定された時間重みによって、撮像動画のＮ倍速動画をレンダリングする際に使用する、
使用フレームを決定する。レンダリング部１０７４は、使用フレーム決定部１０７３によって決定された使用フレームから、カメラ軌跡補正部１０５によって補正されたカメラ軌跡に応じた画角領域を撮影動画から読み出し、撮像のＮ倍速（Ｎは整数）での安定化動画をレンダリングする。
【００２７】
以上のように構成された画像処理装置１００について、図５に示すフローチャートを用いて詳細に説明する。
【００２８】
ステップＳ５０１において、撮影された画像が、画像入力部１０１を介し画像処理装置へ入力される。入力された画像は画像メモリ１０２に記憶保持される。
【００２９】
ステップＳ５０２において、カメラ軌跡推定部１０３は、ステップＳ５０１で入力された画像と、画像メモリ１０２に記憶保持されている画像を使用してカメラ軌跡推定を行う。図７と、図８（ａ）と（ｂ）はカメラ軌跡推定について説明している図である。
【００３０】
ステップＳ５０３において、カメラ軌跡解析部１０４は、ステップＳ５０２で推定されたカメラ軌跡から、カメラワークとブレを分離する。
【００３１】
ステップＳ５０４において、カメラ軌跡補正部１０５は、ステップＳ５０２で推定されたカメラ軌跡を、ステップＳ５０３によって分離したカメラワークとブレに基づいて補正を行う。図９（ｂ）のカメラ軌跡９０２の、１フレーム毎の変化が滑らかになるように処理を施して、図９（ｃ）の補正カメラ軌跡９０３を生成する。
【００３２】
ステップＳ５０５において、タイミング決定部１０６は、撮影動画のＮ倍速動画を生成する際に、レンダリングの基準となる基準画像を画像メモリ１０２に記憶保持されている画像の中から決定する。基準フレームの決定方法はＮ倍速に従って、フレームを単純間引きする。
【００３３】
ステップＳ５０６において、出力画像生成部１０７において、ステップＳ５０５によって決定した基準フレームと、ステップＳ５０４において補正した補正カメラ軌跡を使用し、１フレーム毎に補正カメラ軌跡に応じた画角領域を撮影動画から読み出すことで、安定化動画を生成する。
【００３４】
ステップＳ５０２のカメラ軌跡推定部１０３における処理を図６に示すフローチャートを用いて詳細に説明する。
【００３５】
ステップＳ６０１において、図２の画像マッチング部１０３１は、図７に示されるように、図７（ａ）の現フレーム（フレーム番号ｎ）と図７（ｂ）の次フレーム（フレーム番号ｎ＋１）でマッチング処理を行う。マッチング処理の結果を図７（ｃ）に示す。
【００３６】
マッチングの手法はＳＩＦＴのように現フレームと次フレームの特徴点をそれぞれ算出し、算出した特徴点の対応探索を行ってもいいし、ＫＬＴ追跡器のように現フレームで特徴点を算出し、算出した特徴点を続くフレームで追跡する特徴点追跡を行っても良く、２フレーム内の対応点を算出することができれば手法は問わない。
【００３７】
図７（ａ）の丸で示された位置７０１、７０２、７０３は現フレーム中にある特徴点の位置であり、図７（ｂ）で示されている位置７０４、７０５、７０６は次フレーム中にある特徴点の位置である。マッチング処理の結果は、各特徴点の位置のうち対応する点を、図７（ｃ）の線７０７、７０８、７０９で示した。このように図７（ａ）の７０１は図７（ｂ）７０４といったように各特徴点の対応を算出する。特徴点の数は、図７では３点の対応点のみしか表示していないが実際にはこの数は限定されない。しかし後に算出する基礎行列Ｆのパラメータの数が８個あるため、好ましくは８点以上有る方が精度よく算出可能である。
【００３８】
また特徴点は、その特徴量やマッチングの精度が高い点のみを用いる方が後のカメラ位置姿勢の算出精度が向上するため、マッチング時の相関値や特徴量がある閾値よりも高い対応点のみを用いるといった処理を行っても良い。
【００３９】
ステップＳ６０２において、図２の変動量算出部１０３１は、ステップＳ６０１において行ったマッチングの結果を使用し、画像間のカメラ位置姿勢の変動量を算出する。
【００４０】
ここでＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎを用いたカメラ位置姿勢推定の方法を、図８を用いて説明する。２フレーム間の対応点は２つの視点から見た三次元的な同一点であり、図８を用いると、二つの視点のカメラ中心はＣ１、Ｃ２であり、同一点は三次元座標点Ｘで表わされる。そしてＣ１、Ｃ２から見た三次元座標点Ｘがフレーム上に投影される対応点はx１、x２で表わされる。
【００４１】
ここで、Ｃ１、Ｃ２でのカメラ行列Ｐ１、Ｐ２をそれぞれ式１、式２で表わすと以下のように表わされる。
【００４２】
【数１】
2020102786.tif 000003
【００４３】
【数２】
2020102786.tif 000004
【００４４】
ここで原点を基準とした時の座標軸はカメラ中心Ｃ１にあわせており、Ｉは単位行列、Ｋは内部キャリブレーション行列、ＲはＣ２の位置でのカメラの向きを表わす回転変換行列、Ｔは三次元の平行移動ベクトルである。本実施例ではＣ１、Ｃ２でのカメラは同じであるため内部キャリブレーション行列は同じである。
【００４５】
ここでカメラの相対的な位置関係ＲとＴ、カメラの特性Ｋ、三次元点の位置の結果として画像上の点、x１、x２に幾何学的な制約が生じために、前述のカメラ行列を用いると、三次元座標点Ｘを画像上の点x１、x２に射影する条件を導き出すことができ、式３の方程式を満たす必要がある。
【００４６】
【数３】
2020102786.tif 000005
【００４７】
【数４】
2020102786.tif 000006
【００４８】
式３はエピポーラ制約といい、このエピポーラ制約中の行列Ｆを基礎行列という。この行列Ｆは２つのカメラＣ１，Ｃ２間の回転および平行移動量を表わす式であり、式３はｘ１をｘ２に変換する式として表わしている。式４は行列Ｆを、カメラの相対的な位置関係ＲとＴ、カメラの特性Ｋ、Ｓｔで表わした式であり、Ｓｔは、三次元の平行移動ベクトルＴで表わされる交代行列である。
【００４９】
よって、ステップＳ６０１で求めた２フレーム間の対応点群を用いて、式３を解くとこの基礎行列Ｆが求められる。基礎行列Ｆを求める方法は、８組の対応点を用いた８点法、ＳＶＤ（特異値分解）を用いた最小二乗法などがある。そして、この基礎行列Ｆを求めたのちに、式４を用いてカメラ行列を復元することで、２つのフレーム間での回転変換行列Ｒと平行移動ベクトルＴを求めることができる。
【００５０】
図９（ａ）は算出した変動量のうち平行移動ベクトルＴの変動量を時系列（フレーム番号順）に並べたものであり、縦軸が画像の変動量、横軸がフレーム番号を示し、各フレームでのベクトルは矢印９０１で示している。画像変動量は実際にはｘ、ｙ、ｚ方向の３方向の成分を持っているが、図９（ａ）では省略していずれか１成分のみを表している。
【００５１】
ステップＳ６０３において、図２の変動量累積部１０３３は、ステップＳ６０２によって算出した変動量を時間方向に累積しカメラ軌跡を算出する。図９（ａ）のベクトルである矢印９０１を時間方向に累積することで、図９（ｂ）のカメラ軌跡である折れ線９０２を算出する。
【００５２】
以上で、ステップＳ５０２におけるカメラ軌跡推定の詳細な説明を終える。
【００５３】
ステップＳ５０３のカメラ軌跡解析部１０４における処理を、図１０に示すフローチャートを用いて詳細に説明する。ここでのブレとは、手ブレや歩行撮影時に足が地面に設置する際に発生する振動などカメラ軌跡としては意図しない高周波の動きを示し、カメラワークとはカメラ軌跡から意図しない高周波の動きを抜いたカメラそのものの動きである。
【００５４】
ステップＳ１００１において、図３のカメラワーク推定部１０４１は、ステップＳ５０２によって推定されたカメラ軌跡からカメラワークを推定する。カメラワークの推定方法は、例えばステップＳ５０２で推定したカメラ軌跡に対してローパスフィルタをかけることでカメラ軌跡からカメラワークのみを推定することが可能である。カメラワークの推定方法は、放物線や直線検出によりカメラワークを推定してもよく、カメラワークの推定ができれば手法は問わない。
【００５５】
ステップＳ１００２において、図３のブレ推定部１０４２は、ステップＳ５０２によって推定されたカメラ軌跡から、ステップＳ１００１において推定されたカメラワークを減算することで推定することができる。
【００５６】
ステップＳ１００１で推定したカメラワークと、ステップＳ１００２で推定したブレとステップＳ５０２によって推定したカメラ軌跡の関係を式５に示す。
【００５７】
【数５】
2020102786.tif 000007
【００５８】
（式５）
ｎはフレーム番号、
【００５９】
【数６】
2020102786.tif 000008
【００６０】
はフレームｎにおけるカメラ軌跡、
【００６１】
【数７】
2020102786.tif 000009
【００６２】
はフレームｎにおけるカメラワーク、
【００６３】
【数８】
2020102786.tif 000010
【００６４】
はフレームｎにおけるブレである。
【００６５】
ステップＳ５０４において、カメラ軌跡補正部１０５は、ステップＳ５０２で推定されたカメラ軌跡を、ステップＳ５０３によって分離したカメラワークとブレに基づいて補正を行う。図９（ｂ）のカメラ軌跡９０２の、１フレーム毎の変化が滑らかになるように処理を施して、図９（ｃ）に示すように補正カメラ軌跡９０３を生成する。補正の式は例えば次の式６から式８で表すことができる。
【００６６】
【数９】
2020102786.tif 000011
【００６７】
【数１０】
2020102786.tif 000012
【００６８】
【数１１】
2020102786.tif 000013
【００６９】
【数１２】
2020102786.tif 000014
【００７０】
は時刻tでの補正後のカメラ位置、
【００７１】
【数１３】
2020102786.tif 000015
【００７２】
は時刻tでの補正後のカメラ方向、式６は補正後のカメラ位置
【００７３】
【数１４】
2020102786.tif 000016
【００７４】
と、カメラワークの位置
【００７５】
【数１５】
2020102786.tif 000017
【００７６】
の差分を調整する式である。式７は補正後のカメラ位置
【００７７】
【数１６】
2020102786.tif 000018
【００７８】
とカメラ方向
【００７９】
【数１７】
2020102786.tif 000019
【００８０】
の１フレーム毎の変化が滑らかになるように調整する式である。式８は式６と式７から各式に対して、パラメータλ１とλ２で重み付け加算したものであり、これを撮像軌跡補正の式とする。式６と式７の重みは
【００８１】
【数１８】
2020102786.tif 000020
【００８２】
によって調整される。
【００８３】
【数１９】
2020102786.tif 000021
【００８４】
は式９と式１０大きさによって図１１の（ａ）（ｂ）のように変化させる。
【００８５】
【数２０】
2020102786.tif 000022
【００８６】
【数２１】
2020102786.tif 000023
【００８７】
式９はカメラワーク
【００８８】
【数２２】
2020102786.tif 000024
【００８９】
を微分し、フレーム毎に積算した式で、カメラワークの大きさを表す。式１０はブレ
【００９０】
【数２３】
2020102786.tif 000025
【００９１】
を２階微分しフレーム毎に積算した式で、ブレの大きさを表す。
【００９２】
図１１の横軸はそれぞれ
【００９３】
【数２４】
2020102786.tif 000026
【００９４】
の大きさを表し、縦軸はぞれぞれ
【００９５】
【数２５】
2020102786.tif 000027
【００９６】
の大きさを表す。図１１（ａ）ではカメラワークの大きさ
【００９７】
【数２６】
2020102786.tif 000028
【００９８】
が大きくなるに従い
【００９９】
【数２７】
2020102786.tif 000029
【０１００】
を大きくする。これはカメラワークの変動量が大きくなるに従い、より入力の軌跡に沿うように
【０１０１】
【数２８】
2020102786.tif 000030
【０１０２】
を大きくするように調整する。これはカメラワークが大きいときには入力のカメラワークから大きく外れないように調整する。
【０１０３】
図１１（ｂ）ではブレの大きさ
【０１０４】
【数２９】
2020102786.tif 000031
【０１０５】
が大きくなるに従い、
【０１０６】
【数３０】
2020102786.tif 000032
【０１０７】
を大きくする。これはブレが激しくなるに従いより強く平滑化を行うように調整する。カメラが静止している場合はカメラワークの大きさ
【０１０８】
【数３１】
2020102786.tif 000033
【０１０９】
とブレの大きさ
【０１１０】
【数３２】
2020102786.tif 000034
【０１１１】
が０になるが、
【０１１２】
【数３３】
2020102786.tif 000035
【０１１３】
を０にしてしまうと補正カメラ軌跡が生成されず、第二動画の生成ができなくなってしまう。
【０１１４】
そのため図１１では
【０１１５】
【数３４】
2020102786.tif 000036
【０１１６】
の最小値を設定することで、カメラワークの大きさ
【０１１７】
【数３５】
2020102786.tif 000037
【０１１８】
とブレの大きさ
【０１１９】
【数３６】
2020102786.tif 000038
【０１２０】
が一定値以下になる場合でも、
【０１２１】
【数３７】
2020102786.tif 000039
【０１２２】
の値が一定の値を下回らないようにする。
【０１２３】
図１１ではカメラワークの大きさ
【０１２４】
【数３８】
2020102786.tif 000040
【０１２５】
とブレの大きさ
【０１２６】
【数３９】
2020102786.tif 000041
【０１２７】
がある一定以上になると
【０１２８】
【数４０】
2020102786.tif 000042
【０１２９】
が一定になるような曲線のグラフにしているが、単純に直線の式にしても良い。
【０１３０】
【数４１】
2020102786.tif 000043
【０１３１】
は区間ごとに計算することで、一つの動画内にカメラワークが大きくブレが小さいフレームと、カメラワークが小さくブレが大きいフレームとが混在する場合でも、カメラワークの大きさとブレの大きさにあわせて図１１に従って
【０１３２】
【数４２】
2020102786.tif 000044
【０１３３】
を制御する。区間は
【０１３４】
【数４３】
2020102786.tif 000045
【０１３５】
を隣接フレーム毎に差分をとり、大きく変化する箇所で区切ることで、カメラワークの大きさとブレの大きさにあわせて
【０１３６】
【数４４】
2020102786.tif 000046
【０１３７】
を制御することができる。
【０１３８】
ステップＳ５０６の出力画像生成部１０７における処理を図１２に示すフローチャートを用いて詳細に説明する。図１３は出力画像生成についての説明図である。
【０１３９】
ステップＳ１２０１において、図４の間引き重み決定部１０７１は、ブレ
【０１４０】
【数４５】
2020102786.tif 000047
【０１４１】
によってフレーム毎の重みを決定する。ブレ
【０１４２】
【数４６】
2020102786.tif 000048
【０１４３】
と間引き重みの関係を図１４（ａ）に示す。
【０１４４】
図１４（ａ）の
【０１４５】
【数４７】
2020102786.tif 000049
【０１４６】
はフレームｎにおける間引き重みを表す、
【０１４７】
【数４８】
2020102786.tif 000050
【０１４８】
はブレ
【０１４９】
【数４９】
2020102786.tif 000051
【０１５０】
の２階微分であり、
【０１５１】
【数５０】
2020102786.tif 000052
【０１５２】
が大きくなるに従いフレームｎでのブレが激しいことを表す。
【０１５３】
【数５１】
2020102786.tif 000053
【０１５４】
が大きくなるに従い間引き重みを小さくすることで、ブレの激しいフレームが選ばれにくくなる。
【０１５５】
ステップＳ１２０２において、図４の時間重み決定部１０７２は、カメラワーク
【０１５６】
【数５２】
2020102786.tif 000054
【０１５７】
と、ステップＳ５０５によって決定した基準フレームによって時間重みを決定する。基準フレームからの時間的な距離と、カメラワーク
【０１５８】
【数５３】
2020102786.tif 000055
【０１５９】
と時間重みの関係を図１４（ｂ）に示す。
【０１６０】
図１４（ｂ）の
【０１６１】
【数５４】
2020102786.tif 000056
【０１６２】
はフレームｎにおける時間重みを表す。基準フレームから時間的に離れたフレームがレンダリング使用フレームで選ばれる場合、単純間引きのＮ倍速動画からは大きく異なる動画が生成されることになる。そのため基準フレームから時間的に離れたフレームの時間重みを小さくする。またカメラワーク
【０１６３】
【数５５】
2020102786.tif 000057
【０１６４】
によって時間重みの変化量を変化させる。
【０１６５】
【数５６】
2020102786.tif 000058
【０１６６】
はカメラワーク
【０１６７】
【数５７】
2020102786.tif 000059
【０１６８】
の微分であり、
【０１６９】
【数５８】
2020102786.tif 000060
【０１７０】
が大きいほどフレームｎでのカメラワーク変動量は大きい。
【０１７１】
【数５９】
2020102786.tif 000061
【０１７２】
が小さくなるほど基準フレームから時間的に離れたフレームでも時間重みを大きくする。      
【０１７３】
図１１では１４０１に比べて１４０２は
【０１７４】
【数６０】
2020102786.tif 000062
【０１７５】
が小さい場合である。
【０１７６】
ステップＳ１２０３において、図４の使用フレーム決定部１０７３は、ステップＳ１２０１で決定した間引き重みと、ステップＳ１２０２で決定した時間重みに従いレンダリング時に使用するフレームを決定する。時間重みと間引き重みを式１０のように加算し、式１０を最大化するフレームを使用フレームとして決定する。
【０１７７】
【数６１】
2020102786.tif 000063
【０１７８】
はステップＳ５０５によって決定された基準フレーム、
【０１７９】
【数６３】
2020102786.tif 000064
【０１８０】
は早送り倍率（整数）、
【０１８１】
【数６４】
2020102786.tif 000065
【０１８２】
はフレームｍにおける時間重み、
【０１８３】
【数６５】
2020102786.tif 000066
【０１８４】
はフレームｍにおける間引き重みである。
【０１８５】
図１３は、Ｎ＝４の４倍速動画生成する場合の図を表している。図１３の１３０１は入力軌跡、１３０２はステップＳ５０４によって補正された補正軌跡、１３０３はタイミング決定部によって決定された基準フレーム、１３０４はステップＳ１２０３によって決定する使用フレームである。図１３（ａ）は時間重み、間引き重みを考慮する前の単純間引きでレンダリング使用フレームを決定している図であり、図１３（ｂ）は時間重み、間引き重みを考慮してレンダリング使用フレームを決定する図である。
【０１８６】
図１３で
【０１８７】
【数６６】
2020102786.tif 000067
【０１８８】
が４の場合、フレーム１〜７の範囲で式１０を判定する。時間重みはフレーム４で最大となり、フレーム７および１で時間重み最小となる。間引き重みは入力軌跡１３０１と補正軌跡１３０２の差分が最小となるフレーム３で最大となり、差分が最大となるフレーム５で間引き重み最小となる。
【０１８９】
時間重みと間引き重みを式１０に従い加算し、
【０１９０】
【数６７】
2020102786.tif 000068
【０１９１】
が最大となるフレーム３を使用フレームとして決定する。同様の処理を
【０１９２】
【数６８】
2020102786.tif 000069
【０１９３】
で行い、基準フレーム１３０３から使用フレーム１３０４を決定する。
【０１９４】
【数６９】
2020102786.tif 000070
【０１９５】
の関係は次の式１１と式１２で表すことができ、
【０１９６】
【数７０】
2020102786.tif 000071
【０１９７】
【数７１】
2020102786.tif 000072
【０１９８】
によって制御される。
【０１９９】
【数７２】
2020102786.tif 000073
【０２００】
【数７３】
2020102786.tif 000074
【０２０１】
ステップＳ１２０４において、図４のレンダリング１０７４は、ステップＳ１２０３によって決定されたレンダリング使用フレームに従い、ステップＳ５０４によって補正されたカメラ軌跡に応じた画角領域を撮影動画から読み出し、撮像のＮ倍速での安定化動画を生成する。
【０２０２】
ここまで、本提案の動作について述べた。以上の処理を行うことによりカメラワーク
【０２０３】
【数７４】
2020102786.tif 000075
【０２０４】
とブレ
【０２０５】
【数７５】
2020102786.tif 000076
【０２０６】
に従って
【０２０７】
【数７６】
2020102786.tif 000077
【０２０８】
を変化させ、軌跡の補正と間引き制御を行うことで、カメラワークやブレの激しいカメラ軌跡を描いている動画からでも、意図した安定化動画生成が可能となる。例えば、カメラワーク
【０２０９】
【数７７】
2020102786.tif 000078
【０２１０】
が小さく、ブレ
【０２１１】
【数７８】
2020102786.tif 000079
【０２１２】
が大きい場合は
【０２１３】
【数７９】
2020102786.tif 000080
【０２１４】
が小さくなり、
【０２１５】
【数８０】
2020102786.tif 000081
【０２１６】
が大きくなるため、入力のカメラワークを気にせず、平滑化をしっかり行い滑らかな補正カメラ軌跡を生成することを重視する。同様にカメラワーク
【０２１７】
【数８１】
2020102786.tif 000082
【０２１８】
が小さく、ブレ
【０２１９】
【数８２】
2020102786.tif 000083
【０２２０】
が大きい場合は
【０２２１】
【数８３】
2020102786.tif 000084
【０２２２】
が大きくなるのでＮ倍速の基準フレームから時間的に離れたフレームでもレンダリング使用フレームに選ぶことが可能になる。
【符号の説明】
【０２２３】
１０４  カメラ軌跡解析部、１０６  タイミング決定部
【図１】
2020102786.tif 000085
【図２】
2020102786.tif 000086
【図３】
2020102786.tif 000087
【図４】
2020102786.tif 000088
【図５】
2020102786.tif 000089
【図６】
2020102786.tif 000090
【図７】
2020102786.tif 000091
【図８】
2020102786.tif 000092
【図９】
2020102786.tif 000093
【図１０】
2020102786.tif 000094
【図１１】
2020102786.tif 000095
【図１２】
2020102786.tif 000096
【図１３】
2020102786.tif 000097
【図１４】
2020102786.tif 000098