(57)【要約】【課題】一般にカメラの制御をマニュアルで行う場合は、速度が過度に動いたり、不足することが多く、撮影後の修正が望まれる。撮影後に映像のカメラの動きを変更する場合に、カメラの動きだけでなく物体の動きも変更されてしまう。【解決手段】映像データとカメラ情報を保存するデータ記憶部と、前記カメラ情報から最適化する補正編集区間とこの区間の補正カメラ情報を算出するカメラ情報算出部と、前記補正編集区間内の各補正前フレーム画像に対して、合成可能な最適近傍の複数の参照画像を選択する参照画像選択部と、補正前フレーム画像と前記参照画像より補正フレーム画像を補正前フレーム画像に対して生成する映像生成部から構成される。【選択図】図１
2010098355.tif 000002
【特許請求の範囲】
【請求項１】
映像データと映像データに係わるカメラ情報を保存するデータ記憶部と、
前記データ記憶部に保存されたカメラ情報から編集対象の時間区間を特定し、特定した時間区間の前後を含めた補正編集区間と、補正編集区間のカメラのズームや回転の補正した動きである補正カメラ情報を算出するカメラ情報算出部と、
補正編集区間内の補正対象となる各補正前フレーム画像に対して、カメラ情報と補正カメラ情報から補正前フレーム画像に合成可能な近傍の複数の参照画像を前記データ記憶部から選択する参照画像選択部と、
補正前フレーム画像と前記参照画像選択部で選択された参照画像を合成補間して補正フレーム画像を補正編集区間内の補正前フレーム画像に対して生成する映像生成部を備えたことを特徴とする動画編集装置。
【請求項２】
前記カメラ情報算出部は、カメラの動きの時間関数であるか、もしくは補正編集区間の任意時間のカメラの動きの対応付けルールであるカメラ情報関数を算出するカメラ情報関数算出部と、
外部入力によって編集対象区間を指定、もしくはカメラ情報関数から急激な変化もしくは緩慢な変化となっている編集対象区間を算出する編集対象区間算出部と、
外部入力によって補正編集区間を指定して補正カメラ情報関数と補正カメラ情報を算出する、もしくはカメラ情報関数と編集対象区間から補正編集区間と補正編集区間の補正カメラ情報関数を算出し、補正カメラ情報を生成する補正カメラ情報算出部を備えたことを特徴とする、請求項１に記載の動画編集装置。
【請求項３】
前記参照画像選択部は、カメラ情報と補正カメラ情報から補正前フレーム画像の近傍の複数の参照候補画像を抽出する参照画像候補抽出部と、
前記参照画像候補抽出部で抽出された参照候補画像と補正前フレーム画像を合成し、合成時に補正カメラ情報から得られる選択範囲において画素抜けがある場合に、参照候補画像を追加して合成画像に画素抜けがない参照画像を選択する参照画像決定部を備えたことを特徴とする、請求項１または請求項２に記載の動画編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された動画に対し、ユーザーが希望するカメラ動きに変更した動画を生成することを目的とした動画編集装置に関するものである。
【背景技術】
【０００２】
近年、ビデオカメラは記録媒体がテープ（ＤＶ）からＨＤＤやＤＶＤ・ＢＤなどのメディアやＳＤカードに記録するようになり、デジタルデーターを修正・変更することが一般的になっている。そのため、ユーザーがビデオカメラで撮影した動画をＰＣに取り込み、編集をする機会やニーズが高まっている。編集をする場合は、ユーザーが大切と判断する動画区間の抽出と撮影した区間の削除や補正、タイトルやエフェクト効果を付加して見栄えをよくするようなことが、動画編集として通常行なわれている。
【０００３】
この失敗区間の修正の一つでカメラの動きをユーザーが変えたい場合がある。例えば、ズーム制御が急激に加速されている動画を適切な速さにしたい場合や、パン・チルトしながら撮影した動画のパン・チルトの速度を変えたいような場合が、カメラの取り扱いに慣れていない一般ユーザーが撮影した場合は、頻繁に遭遇する。
【０００４】
ここで、撮影の失敗区間としては、ユーザーの操作ミスによるズームやパン、チルト（カメラの視野角や向き）などとそれらの組み合わせでのカメラの動きの急激な操作、逆にカメラの操作の急激な変化を恐れた緩慢な操作をして撮影した動画の区間がある。
そして、これらの動画に対する補正・修正の対処としては急激な操作に対しては、記録映像の異なるフレーム間に新たな中間フレームを補間して挿入する方法があり、逆に緩慢な動き変化に関してはフレームの間引きするなどが行われている。
また、文献１では、撮影した動画の１フレームごとにフレーム画像の中から、期待するカメラの動きに合う画像領域を生成し、この領域を切り出し、出力するフレーム画像に合わせて画像サイズを変え保存する方法が提案されている。
【特許文献１】特許第３０４１３６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の方法では、カメラの視野角や向きの動きはユーザーがイメージする速度になるものの、映像の中に映されている物体の動きの速さまで変更されてしまう上、音声と映像が同期できなくなるという問題があった。
【０００６】
また、文献１の手法では、十分に広い範囲で撮影する必要があるとともに、画像を切り出すことにより出力サイズにあったリサイズが発生し、リサイズ時の画質劣化が問題であった。
【０００７】
本発明は、前記従来の課題を解決するもので、撮影された動画に対し、ユーザーが希望するカメラ動きに変更した動画を撮影物体の動きの変更や音との同期のずれなく、また、画質劣化なく生成することができる動画編集装置である。
【課題を解決するための手段】
【０００８】
本発明は、映像データと映像データに係わるカメラ情報を保存するデータ記憶部と、
データ記憶部に保存されたカメラ情報から編集対象の時間区間を特定し、特定した時間区間の前後を含めた補正編集区間と、補正編集区間のカメラのズームや回転の補正した動きである補正カメラ情報を算出するカメラ情報算出部と、補正編集区間内の補正対象となる各補正前フレーム画像に対して、カメラ情報と補正カメラ情報から補正前フレーム画像に合成可能な近傍の複数の参照画像をデータ記憶部から選択する参照画像選択部と、補正前フレーム画像と参照画像選択部で選択された参照画像を合成補間して補正フレーム画像を補正編集区間内の補正前フレーム画像に対して生成する映像生成部を備えたことを特徴とする動画編集装置である。
【０００９】
また、本発明の動画編集装置のカメラ情報算出部は、カメラの動きの時間関数であるか、もしくは補正編集区間の任意時間のカメラの動きの対応付けルールであるカメラ情報関数を算出するカメラ情報関数算出部と、外部入力によって編集対象区間を指定、もしくはカメラ情報関数から急激な変化もしくは緩慢な変化となっている編集対象区間を算出する編集対象区間算出部と、外部入力によって補正編集区間を指定して補正カメラ情報関数と補正カメラ情報を算出する、もしくはカメラ情報関数と編集対象区間から補正編集区間と補正編集区間の補正カメラ情報関数を算出し、補正カメラ情報を生成する補正カメラ情報算出部を備えたことを特徴とするものである。
【００１０】
また、本発明の動画装置の参照画像選択部は、カメラ情報と補正カメラ情報から補正前フレーム画像の近傍の複数の参照候補画像を抽出する参照画像候補抽出部と、参照画像候補抽出部で抽出された参照候補画像と補正前フレーム画像を合成し、合成時に補正カメラ情報から得られる選択範囲において画素抜けがある場合に、参照候補画像を追加して合成画像に画素抜けがない参照画像を選択する参照画像決定部を備えたことを特徴とするものである。
【発明の効果】
【００１１】
本発明の動画編集装置は中間フレームを生成することによる画像劣化を発生させることなく、被写体に動物体がある場合に、その動物体の動きの速さを変化させることがなく、音声も切れ目がない、スローにならないという著しい効果がある。そのため、撮影後の録画映像をユーザーが希望するカメラ制御（ズーム・パン・チルト・回転の制御）の速さに合わせた動画に編集できる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を添付図面に基づき詳細に説明する。
【００１３】
（実施の形態）
図１は、本発明の実施の形態による動画編集装置の構成を示すブロック図である。図１において、各ブロックの機能は以下のとおりである。１１はデータ記憶部であり、映像とこの映像を撮影したときにカメラ本体が持つセンサー機能や画像処理によって生成されたズーム、パン、チルト、カメラの光軸周りの回転、撮影時刻、撮影位置などからなるカメラ情報が保存されている。１２はカメラ情報算出部であり、データ記憶部１１に保存されたカメラ情報からパン、チルト、回転、ズームのカメラ動作開始時刻と終了時刻とその変化を算出し、そのカメラ情報の変化度合いから編集対象区間と、最適なカメラ動作開始時刻と終了時刻である補正編集区間と、その区間の各画像である補正前フレーム画像の更新後のカメラ情報である補正カメラ情報を算出する。１３は参照画像選択部であり、更新後の補正カメラ情報を持つフレーム番号の近傍から補正前フレーム画像のフレーム番号までの間で、補正前フレーム画像中心に合成可能な参照画像を選択する。１４は映像生成部であり、参照画像選択部１３で選択された参照画像と補正前フレーム画像でカメラ情報算出部１２が算出した補正カメラ情報に基づいて画像変形と各画素の処理を行い、合成画像を生成する。
【００１４】
図１において、データ記憶部１１は撮影で得られた映像データとカメラ情報を記憶している。カメラ情報としては、カメラ本体が備えている加速度センサーや電子コンパスを構成するセンサーから得られたカメラのパラメータとしてのズーム、パン、チルト、カメラの光軸の周りの回転、カメラの方位と、時刻やＧＰＳなどで得られた位置情報である。また、このズームなどのカメラ情報は画像間の特徴点対応による画像処理などと組み合わせて修正されたものであってもよい。そしてカメラ情報は映像中の各フレーム画像と対応づけられているとする。
【００１５】
カメラ情報算出部１２のカメラ情報関数算出部１２１はデータ記憶部１１のカメラ情報を取り出して映像データの時間軸での各カメラ情報の値からカメラ情報関数を算出する。
この算出方法を、図２を用いて説明する。図２には撮影時にズームイン操作をした場合のズーム値の変化を示している。ビデオカメラは例えば１／６０秒のサンプリング周期Ｔで撮影されており、各フレーム画像に対応したズーム値がカメラ情報として存在している。このズーム値はノイズや手ブレなどの影響により時間軸上で揺らいだ値になっているので、近似を用いて関数化する。図２ではフレーム番号ｓ〜フレーム番号ｅ間は傾斜角αの直線、それ以外の期間は時間軸上で変化がなく、フレーム番号ｓ以前は固定のズーム値ｒｓ、フレーム番号ｅ以後は固定のズーム値ｒｅの直線と近似する。
つまり、以下の数式１で表されるズーム関数Ｚ（ｔ）と近似する。
【００１６】
【数１】
2010098355.tif 000003
【００１７】
本実施例では直線近似になっているが、曲線の関数や細かく時間軸上で分割された折れ線関数になる。
【００１８】
次に、編集対象区間算出部１２２は、得られたカメラ情報関数から時間軸上で急激な変化をしている場合に映像の視聴者は不快感を抱く原因になり、また編集者の意図に適しなくなるためカメラ情報を変更すべき編集対象区間を算出する。以下、図３も用いて説明する。
【００１９】
図３の中のオリジナルズームインの図は図２で説明した同じズームイン関数を示している。なお、本実施例では他のカメラ情報であるパンなどは殆ど変化していないと仮定している。また、カメラ情報の撮影時刻は連続であること、撮影位置も変化していないと仮定している。ここで簡単な例として、ズームインでの変化は編集閾値を持ち上限θ１、下限θ２とした場合に、図３のフレーム番号ｓとフレーム番号ｅの区間はα＞θ１であるため編集対象区間として算出される。
【００２０】
なお、上記の例では編集閾値として傾斜角の上限と下限を設定したが、他の条件を設定することもできる。例えば、ズームインの条件として時間の概念を導入し、ズームインを行っている時間ｚｐが、ｔｍｉｎ＜ｚｐ＜ｔｍａｘかつ、傾きｔａｎαが上限θ１、下限θ２の条件に適合しない場合に編集対象区間を設定するなどである。また、直線近似でない場合の関数表現の場合も、異なる編集対象区間の設定ができる。
【００２１】
また更に、本実施例では内部演算で編集対象区間を設定したが、ユーザーがオリジナルの映像を視聴して、ユーザーの操作で編集対象区間の開始点であるフレーム画像と終了点であるフレーム画像を設定してもよい。さらに、上記の内部演算で編集対象区間をユーザーに示し、その区間をユーザーが変更する手法もできる。
【００２２】
次に、補正カメラ情報算出部１２３は編集対象区間のカメラ情報関数と編集対象区間周辺のカメラ情報関数から、カメラ情報を変更する区間である補正編集区間と、その補正編集区間の補正後の補正カメラ情報関数を算出し、補正編集区間内の各フレーム画像のカメラ情報を変更して補正カメラ情報を生成する。前述のズームインの場合を例にとり、図３の修正ズームインの図を用いて説明する。オリジナルズームインの直線近似を維持し、かつ編集対象区間のスタート点であるフレーム番号ｓの位置を維持する場合に、ズームインの編集閾値として上限θ１、下限θ２であることからα＞θ１≧β≧θ２となるβを選択する。例として以下の数式２で表される補正ズーム関数Ｚ’（ｔ）を算出する。
【００２３】
【数２】
2010098355.tif 000004
【００２４】
ここで、ｅ＋ｎは新たなズームインの終了フレーム番号で、またフレーム番号ｓからフレーム番号ｅ＋ｎまでが補正編集区間である。
【００２５】
次に、補正編集区間の各フレームの画像を編集するために、補正カメラ情報である各フレームの補正ズーム値を算出する。図３を用いて、補正編集区間のフレーム番号ｅｄについて説明する。フレーム番号ｅｄでの補正ズーム関数のズーム値はｒｒｆであるため、これをズームに関する補正カメラ情報である補正ズーム値として得る。全ての補正編集区間のフレーム画像について、その演算を繰り返せばよい。
【００２６】
なお、補正編集区間もユーザー操作で補正編集区間の開始点であるフレーム画像と終了点であるフレーム画像を設定してもよい。また、補正編集区間の補正カメラ情報関数（本実施例では補正ズーム関数）も直線でなくてもよい。例えば、本実施例においての補正ズーム関数はフレーム番号ｓとフレーム番号ｅ＋ｎで微分可能な関数にすることもできる、つまり、フレーム番号ｓの前後、フレーム番号ｅ＋ｎの前後で滑らかとなる図３の第２の補正ズーム関数を設定できる。
【００２７】
次に、補正編集区間の各フレーム画像に対し、その補正ズーム値で画像修正することになるが、本ズームインの例では補正ズーム値：ｒｒｆ＜オリジナルのズーム値：ｒｅｄであるため、補正ズーム値では縮小したフレーム画像に修正することになりオリジナルのフレーム画像の解像度が変化することになるので補正が必要である。そこで本発明では、参照画像選択部１３の参照画像候補抽出部１３１において、補正編集区間内のオリジナルの各補正前フレーム画像に対し、その補正カメラ情報に近い周辺フレーム番号の補正前フレーム画像を参照画像候補として抽出する。
【００２８】
具体的に図３の修正ズームインの図を用いて説明する。前述のフレーム番号ｅｄでの補正ズーム値はｒｒｆであるので、カメラ情報関数であるズーム関数の値ｒｒｆに最も近いズーム値であり、しかもフレーム番号ｅｄに近いフレーム番号ｒｆを算出する。なお、ズーム関数は時間ｔの近似関数であるために、オリジナルのズーム値がｒｒｆに一致するフレーム画像が存在しない場合が通常である。結果として参照画像候補はフレーム番号ｒｆ〜フレーム番号ｅｄ−１となる。この操作を補正編集区間内の全ての補正前フレーム画像に対して算出する。
【００２９】
なお、本実施例ではズームインであるために、フレーム番号ｅｄ以前のフレーム番号を抽出する。例えばズームアウトの場合には、フレーム番号ｅｄ以降のフレーム番号を抽出することになる。
【００３０】
次に参照画像選択部１３の構成要素である参照画像決定部１３２においては、補正編集区間内の各補正前フレーム画像とその複数の参照画像候補を合成して画素抜けがない参照画像を選択する。ここで、合成手法としては、参照候補画像及び補正前フレーム画像の対応する特徴量を抽出し、複数の参照画像の座標変換を施して行う。この特徴量抽出は文献１に記されているＳＩＦＴやＨａｒｒｉｓのコーナー検出などを利用する。
［文献１］”Ｄｉｔｉｎｃｔｉｖｅ  ｉｍａｇｅ  ｆｅａｔｕｒｅｓ  ｆｒｏｍ  ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｋｅｙｐｏｉｎｔｓ”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，６０（２），ｐｐ．９１−１１０  （２００４）
参照画像決定部１３２では、各画素まで含めた合成を行うのではなく、対応する特徴点を基にして画像領域を座標変換するものである。座標変換で合成領域を算出した場合にオリジナルの解像度と一致させるために必要な領域に画素抜けが発生する場合がある。また、合成時に不要である参照画像を取り除く演算を行う。参照画像決定部１３２の詳細を図３と図４の参照画像生成部の図を用いて説明する。
【００３１】
まず、図４において、文字“Ａ”は被写体の中の動物体をシンボル化したものである。図４において、図３のフレーム番号ｅｄでの参照画像候補がフレーム番号ｒｆとフレーム番号ｒｆ＋１（＝ｅｄ−１）である例である。対応特徴点が一致するように座標変換して変形した画像は、変形画像Ｆ’ｒｆと変形画像Ｆ’ｒｆ＋１である。ズームインであるため変形画像は長方形になるはずだが、実際には微妙なパンやチルトなどがあることを考慮して長方形にしていない。この変形画像と補正前フレーム画像を合成した場合にオリジナルの補正前フレーム画像の解像度と合わせるためにリサイズが必要であり、そのリサイズ前の切取り枠内に画素抜けがないことが必要である。このリサイズ前の切取り枠の算出方法を説明する。
【００３２】
図３において、フレーム番号ｅｄのカメラ情報のズーム値はｒｅｄとする。なお、このｒｅｄはズーム関数のフレーム番号ｅｄでの値ｒ’ｅｄとは一致しない。そして、リサイズ率はＲｅｄｉｔ＝ｒｒｆ／ｒｅｄとなるので、リサイズ前の切取り枠は、オリジナルの解像度の枠をｒｅｄ／ｒｒｆ倍したものになる。
【００３３】
図４において、得られたリサイズ前の切取り枠内には画素抜けが発生している。そのためにフレーム番号ｒｆ−１の変形画像Ｆ’ｒｆ−１を用いて画素抜けをなくしている。このような画素抜けがなくなるまで参照画像の追加を行い収束させる。その結果、参照画像としては、フレーム番号ｒｆ−１〜フレーム番号ｒｆ＋１が参照画像となる。また、変形画像間で包含関係がある場合には、画質向上のためにフレーム番号ｅｄに近いものを選択する。逆にズームアウトの場合には、フレーム番号ｅｄから離れた画像を選択して合成するのが適切である場合が多い。理由はズームした画像の方が合成時の解像度がアップするためである。
【００３４】
なお、本実施例ではオリジナル画像の変形画像の枠だけでの画素抜けが発生しているが、その他の場合として、画像内に動物体がある場合には、オクルージョンがあるために合成画像の内部に画素抜けが発生する場合がある。そのような場合には、前述の特徴点マッチングを行う際に、参照画像候補をヒストグラムなどの手法で領域分割や画像を格子状に細分割して特徴点マッチングにより画素抜けを防止する。
また、リサイズ前の切り取り枠で画素抜けがなくなるように収束できない場合には、前述の補正カメラ情報算出部１２３において、補正カメラ情報関数の修正を行い、再度参照画像を選択するとよい。
【００３５】
次に、映像生成部１４においては、得られた参照画像と補正前フレーム画像と画素レベルまでの合成補間を行いオリジナルの補正前フレーム画像と同じ解像度に変換する。
図４の映像生成部の図において、参照画像間および補正前フレーム画像間のつなぎ目が滑らかに、また参照画像間と補正前フレーム画像間の撮影時の輝度変化を補間した画像を生成する。次に前述のリサイズ率Ｒｅｄｉｔで画像を縮小し、切取り枠で内部画像を補正前フレーム画像の解像度で切り取る。この演算を補正編集区間内の全ての補正前フレーム画像に対して全ての画素に対して画像処理を施すことによって補正された映像データを生成することができる。
【００３６】
なお、図３のズームインの例では補正ズーム関数は直線とし、かつ編集対象区間と補正編集区間の開始フレーム番号を同じにしたが、補正編集区間の開始点をフレーム番号ｓ以前のフレームに設定することもできる。しかし、その場合にはリサイズ率Ｒｅｄｉｔ＞１であるため、補正前フレーム画像を拡大することになり画質劣化を伴うため最良とは言いがたい。
【００３７】
本実施例ではカメラ情報の急激な変化に対しての補正を説明したが、緩慢なカメラ情報の補正の場合にも適用することが出来る。図５を用いて緩慢なズームインの補正を説明する。図５は緩慢なズームインの場合に、ズームインの変化度を上げる例である。図２および図３と同様にズーム関数等を設定している。ズーム関数はα≦上限θ１を満足するが、α≧下限θ２を満足しない。そのため、編集対象区間はフレーム番号ｓからフレーム番号ｅまでと設定している。次にθ１≧β≧θ２となる補正ズーム関数と補正編集区間を設定している。本例では編集対象区間の終了点と補正編集区間の終了点を同一にしている。補正ズーム関数は直線近似を採用すると仮定すると、フレーム番号ｓ〜フレーム番号ｓ＋ｍまでは補正ズーム関数はズーム値ｒｓで固定、フレーム番号ｓ＋ｍ〜フレーム番号ｅは傾斜角βの直線である。そして編集対象区間と補正編集区間は同一となる。補正編集区間のフレーム番号ｓ＋ｍからフレーム番号ｅまでの各補正前フレーム画像（フレーム番号ｅｄ）はフレームｒｆを算出して、図３と同様にフレーム番号ｒｆ近傍〜フレーム番号ｅｄ−１の参照画像と合成して補正フレーム画像を生成する。
【００３８】
一方、フレーム番号ｓ〜フレーム番号ｓ＋ｍまでの各補正前フレーム画像に対する補正フレーム画像の生成はｒｆ＝ｓと固定して参照画像を選択し合成する。なお、リサイズ率は図３での説明と同様に、Ｒｅｄｉｔ＝ｒｒｆ／ｒｅｄで、Ｒｅｄｉｔ≦１あるため画質劣化は生じない。
【００３９】
次にパンの場合について、図５、図６を用いて説明する。なお、チルトはパンの水平方向の回転を垂直方向に置き換えたものであるのでパンの以下の説明と同じである。
なお、ズームインの例と同様に、本例ではパンのみの変化があり、ズームやチルトなどの変化は殆どないと仮定している。
【００４０】
図６は図３のズームをパンに置き換えたもので、ｐｓ、ｐｓなどは、映像データの開始時点の方向を基準（パン角：０度）に右方向の編集対象区間の開始点のパン角、終了点のパンを示している。以下、図３と同様にズームをパンに変更したものである。パン関数とはカメラ情報関数のパンについての近似関数であり、本実施例でも直線近似で、パン角の設定された閾値をもとに補正編集区間や、直線近似の補正パン関数も設定している。そして、補正編集区間内の補正前フレーム画像であるフレーム番号ｅｄに関して、補正後カメラ情報である補正後パン値のｐｒｆを算出し、ｐｒｆに一番近いパン値（図ではｐ’ｒｆ）を持つフレーム番号ｒｆを算出し、フレーム番号ｒｆ近傍〜フレーム番号ｅｄ−１の複数の画像を参照画像候補として選択する。以下、図７も用いて説明する。図７ではフレーム番号ｒｆとフレーム番号ｒｆ＋１が参照画像候補であり、ｒｆ＋１＝ｅｄ−１としている。
ズームインの例と同様に、参照画像候補とフレーム番号ｅｄの補正前フレーム画像特徴点抽出と特徴点マッチングを行い、参照候補画像と補正前フレーム画像の画像変形を行い、画素抜けがないまで演算を繰り返す。
【００４１】
ここで、図７における変形の図のように、補正後パン値での光軸が画像の中心になるように変形する。そのため画像Ｆ’ｒｆが一番近いために変形が少なく、補正前フレーム画像の変形が一番大きくなる。理由はカメラの中心付近と周辺では大きく変化するため、パンの場合にはズームと異なり、補正前フレーム画像のセンター部分は、補正後パン値では周辺に移動するためである。
【００４２】
ここで、切取り枠は補正後パン値ｐｒｆでの光軸の中心となる補正前フレーム解像度と同じ高さＨ、横幅Ｗの枠である。画素抜けが発生しないと確認されると、ズームインの例と同様に、画素値まで含めて描画を行い、切取り枠内の画像を切り取り出力する。
【００４３】
本実施例では、カメラ情報のズームなどの各パラメータのみであったが、ズームとパンとが同時に行われる場合もある。このような場合には前述の組み合わせで行えばよい。
【産業上の利用可能性】
【００４４】
本発明にかかる動画編集装置は、特定した編集区間において保存しているカメラ情報から編集後のカメラ情報を生成し、補正前フレーム画像と編集後のカメラ情報に近い参照画像との合成で編集後の画像フレームを作るものであり、撮影対象の動物体の動きの速さを変えることなく、中間フレーム生成による画像劣化なく、撮影コンテンツのカメラ制御失敗区間の補正に有用である。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施の形態における動画編集装置の構成を示すブロック図
【図２】本発明の実施の形態のカメラ情報関数算出部における撮影時にズームイン操作をした場合のズーム値の変化を表した図
【図３】本発明の実施の形態におけるカメラ情報算出部におけるオリジナル動画のズームイン関数と修正ズームイン関数の図
【図４】本発明の実施の形態におけるズームインを補正する場合の参照画像選択部と映像生成部の動作の図
【図５】本発明の実施の形態における緩慢なズームインのズーム関数とズーム補正関数の図
【図６】本発明の実施の形態におけるカメラ情報算出部におけるオリジナル動画のパンの関数と修正パンの関数の図
【図７】本発明の実施の形態におけるパンを補正する場合の参照画像選択部と映像生成部の動作の図
【符号の説明】
【００４６】
１１    データ記憶部
１２    カメラ情報算出部
１３    参照画像選択分
１４    映像生成部
１２１    カメラ情報関数算出部
１２２    編集対象区間算出部
１２３    補正カメラ情報算出部
１３１    参照画像候補抽出部
１３２    参照画像決定部
【図１】
2010098355.tif 000005
【図２】
2010098355.tif 000006
【図３】
2010098355.tif 000007
【図５】
2010098355.tif 000008
【図６】
2010098355.tif 000009
【図４】
2010098355.tif 000010
【図７】
2010098355.tif 000011