(57)【要約】【課題】シーン間で解像感のギャップを感じさせない動画編集を可能にすること。【解決手段】ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定する調整情報設定部と、前記調整情報設定部により設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成する編集処理部と、を備え、前記調整情報設定部は、連続するシーン間における解像感の変化が顕在化しないように前記拡大方法を設定する、情報処理装置が提供される。【選択図】図２
2013219549.tif 000002
【特許請求の範囲】
【請求項１】
ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定する調整情報設定部と、
前記調整情報設定部により設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成する編集処理部と、
を備え、
前記調整情報設定部は、連続するシーン間における解像感の変化が顕在化しないように前記拡大方法を設定する、
情報処理装置。
【請求項２】
前記調整情報設定部は、拡大率が大きいシーンに対して高い解像度が得られる拡大方法を設定し、拡大率が小さいシーンに対して低い解像度が得られる拡大方法を設定する、
請求項１に記載の情報処理装置。
【請求項３】
前記調整情報設定部は、全てのシーンの解像感が略一定となるように拡大率に応じた拡大方法をシーン毎に設定する、
請求項１に記載の情報処理装置。
【請求項４】
前記拡大方法は、拡大アルゴリズムの種類、及び当該拡大アルゴリズムに適用されるパラメータにより決定される、
請求項１に記載の情報処理装置。
【請求項５】
前記編集した動画のシーン群から指定されたシーンのショットサイズが手動で変更された場合、前記調整情報設定部は、変更後のショットサイズを考慮して再び各シーンの拡大方法を設定し直す、
請求項１に記載の情報処理装置。
【請求項６】
前記編集した動画のシーン群をサムネイル表示させる表示制御部と、
サムネイル表示されたシーン群の中から所望のシーンを指定してショットサイズを変更する操作を行うための操作部と、
をさらに備え、
前記操作部は、サムネイル表示されたシーンの画像に対して直接的にショットサイズの変更操作を与えることが可能なユーザインターフェースを提供する、
請求項５に記載の情報処理装置。
【請求項７】
ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定するステップと、
設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成するステップと、
を含み、
前記拡大方法は、連続するシーン間における解像感の変化が顕在化しないように設定される、
情報処理方法。
【請求項８】
ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定する調整情報設定機能と、
前記調整情報設定機能により設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成する編集処理機能と、
をコンピュータに実現させるためのプログラムであり、
前記調整情報設定機能は、連続するシーン間における解像感の変化が顕在化しないように前記拡大方法を設定する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【０００２】
撮影済みの動画から構図を変えた画をクロップする事で新たなショットサイズの動画を創り出す技術が注目されている。なお、ここで言うショットサイズとは、画枠に対する被写体の相対的な大きさを表す。被写体が人である例の場合、ロングショットとは全身を画枠におさめた場合を表し、ミディアムショットとは腰から上を画枠におさめた場合を表し、クローズアップとは顔だけを画枠におさめた場合を表す。こうした動画編集技術に関し、例えば、下記の特許文献１には、ポスト処理で画を切り出す事によるデジタルカメラワークの実現、及び切り出しによる解像度の低下は複数カメラをつなぎ合わせたパノラマ画像による高解像度化に関する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−２２３４８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の特許文献１に記載の技術は、解像度低下を回避するための手段として複数台のカメラを用いているため、システムの規模が膨大になり、コンシューマ用途に適さない。そこで、本技術は、上記のような事情を受けて考案されたものであり、ロングショットで撮影した１本の動画を利用しつつ、シーンの切り替え部分で解像感のギャップを生じさせずに済むことが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提供することを意図している。
【課題を解決するための手段】
【０００５】
本技術のある観点によれば、ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定する調整情報設定部と、前記調整情報設定部により設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成する編集処理部と、を備え、前記調整情報設定部は、連続するシーン間における解像感の変化が顕在化しないように前記拡大方法を設定する、情報処理装置が提供される。
【０００６】
また、本技術の別の観点によれば、ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定するステップと、設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成するステップと、を含み、前記拡大方法は、連続するシーン間における解像感の変化が顕在化しないように設定される、情報処理方法が提供される。
【０００７】
また、本技術の別の観点によれば、ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定する調整情報設定機能と、前記調整情報設定機能により設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成する編集処理機能と、をコンピュータに実現させるためのプログラムであり、前記調整情報設定機能は、連続するシーン間における解像感の変化が顕在化しないように前記拡大方法を設定する、プログラムが提供される。
【０００８】
また、本技術の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。
【発明の効果】
【０００９】
以上説明したように本技術によれば、ロングショットで撮影した１本の動画を利用しつつ、シーンの切り替え部分で解像感のギャップを生じさせずに済むことが可能になる。
【図面の簡単な説明】
【００１０】
【図１】シーン毎にショットサイズを調整しながら動画を編集する方法と、編集後の動画に生じる解像感のギャップについて説明するための説明図である。
【図２】本実施形態に係る動画編集方法の概要について説明するための説明図である。
【図３】本実施形態に係る動画編集装置の構成について説明するための説明図である。
【図４】本実施形態に係る動画編集処理の流れについて説明するための説明図である。
【図５】本実施形態に係るショットサイズ調整操作と、操作後のサイズ調整処理について説明するための説明図である。
【図６】本実施形態に係る動画編集装置の機能を実現することが可能なハードウェア構成例を示した説明図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
［説明の流れについて］
ここで、以下に記載する説明の流れについて簡単に述べる。
【００１３】
まず、図１を参照しながら、シーン毎にショットサイズを調整しながら動画を編集する方法と、編集後の動画に生じる解像感のギャップについて説明する。次いで、図２を参照しながら、本実施形態に係る動画編集方法の概要について説明する。次いで、図３を参照しながら、本実施形態に係る動画編集装置１０の構成について説明する。
【００１４】
次いで、図４を参照しながら、本実施形態に係る動画編集装置１０による動画編集処理の流れについて説明する。この中で、図５を参照しながら、本実施形態に係るショットサイズ調整操作と、操作後のサイズ調整処理についても説明する。次いで、図６を参照しながら、本実施形態に係る動画編集装置の機能を実現することが可能なハードウェア構成例を紹介する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
【００１５】
（説明項目）
１：はじめに
１−１：解像感のギャップについて
１−２：実施形態の概要について
２：実施形態の詳細
２−１：動画編集装置１０の構成
２−２：動画編集処理の流れ
３：ハードウェア構成例
４：まとめ
【００１６】
＜１：はじめに＞
本実施形態に係る技術は、撮影済みの動画から構図を変えた画をクロップする事で新たなショットサイズの動画を創り出す技術に関する。特に、本実施形態においては、クロップした各シーンの画像を均一な画質になるように出力画像サイズまで拡大し、拡大した画像を時系列でつなぎ合わせる事でプロが作成した様な動画に仕上げる手法を提案する。
【００１７】
ここで言うショットサイズとは画枠に対する被写体の相対的な大きさを表す。例えば、被写体が人である場合、ロングショットは全身を画枠におさめた場合を指し、ミディアムショットは腰から上を画枠におさめた場合を指し、クローズアップは顔だけを画枠におさめた場合を指す。
【００１８】
プロの現場では意図的にショットサイズを変えて撮影した動画を編集でつなぎ合わせる事で、動画をより印象的に仕上げる技術が確立しているが、本実施形態においては、動画からショットサイズを変えた画をクロップし、ショットサイズを時系列で切り替える事で、コンシューマ用途で、そのような手法を手軽に実現しようとするものである。
【００１９】
［１−１：解像感のギャップについて（図１）］
但し、クロップした動画の解像度は少ないため、アップコンバート技術により出力の画サイズまで画素数を増やす必要がある。その際、クロップサイズの違いによりアップコンバートの拡大倍率が異なるため、同一のアップコンバート処理では出力の解像感がシーン毎に異なってしまい、出来上がり映像の画質がシーン毎で不均一になってしまう。つまり、連続するシーン間で解像感にギャップが生じてしまうことがある。
【００２０】
例えば、図１に示すように、入力された動画（ＩＮ）を構成するシーン１（ＳＣＥＮＥ１）をフルショット（ＦＵＬＬ  ＳＨＯＴ）でクロップする際、拡大率が１．５倍になったとしよう。同様に、シーン２（ＳＣＥＮＥ２）をクローズショット（ＣＬＯＳＥ  ＳＨＯＴ）でクロックする際、拡大率が４倍になったとしよう。もし、同じ拡大アルゴリズムを利用したならば、シーン１は拡大率が小さい分だけ高い解像感（ＨＩＧＨ）が得られ、一方で、シーン２は拡大率が大きい分だけ解像感が低く（ＬＯＷ）なるだろう。
【００２１】
当然、シーン１、２の切り替えタイミング（Ａ）において、解像感のギャップが生じる。図１の例では、シーン２とシーン３（ＳＣＥＮＥ３）との間、及びシーン３とシーン４（ＳＣＥＮＥ４）との間でも同様に解像感のギャップが生じる。但し、シーン４は、ミディアムショット（ＭＥＤＩＵＭ  ＳＨＯＴ）でクロップしているため、シーン３との拡大率の差が小さい。その結果、タイミング（Ａ）でユーザが感じる解像感のギャップよりも、タイミング（Ｃ）でユーザが感じる解像感のギャップの方が小さいだろう。
【００２２】
しかしながら、タイミング（Ａ）において生じるような大きな解像感のギャップが生じたり、頻繁に解像感が変化したりする動画は好ましくない。そこで、後述する実施形態においては、前シーンでの解像感と現シーンの拡大率の２つを考慮し、現シーンのアップコンバート処理のアルゴリズムを切り替える事でシーン感の解像感を均一にする手法を提案する。
【００２３】
ところで、先に紹介した特許文献１のように、ポスト処理で画をクロップする事で疑似的なカメラワーク（デジタルカメラワーク）を実現する手法はあるが、クロップ後の拡大による解像度の低下に対しては、複数のカメラ画像をつなぎ合わせたパノラマ画像を用いて高解像度化を実現している。しかし、この手法では、解像度低下を回避するためだけに複数台のカメラを用いており、システムの規模が膨大になり、コンシューマ用途に適さない。こうしたシステム規模の観点からも、後述する実施形態に係る技術は有用である。
【００２４】
［１−２：実施形態の概要について（図２）］
さて、本実施形態において議論するシーンの解像感とは、拡大率と拡大アルゴリズムの２つの要因から決定されるものである。拡大率が高い場合は解像感は低く、拡大率が低い場合は解像感は高くなる。また、拡大アルゴリズムが高品質なほど解像感は高く、拡大アルゴリズムが低品質なほど解像感は低くなる。
【００２５】
また、拡大アルゴリズムの品質とは、例えば、補間フィルタのタップ数などで決まるものであり、通常、タップ数が多い程高品質であり、タップ数が少ない程低品質である。また、他の例で言えば、バイリニア補間は一般的に高速だが低品質であり、超解像による補間は処理負荷は高いものの品質は高い。以下、このような解像感を考慮した動画編集方法について議論を進める。
【００２６】
上記の通り、本実施形態においては、前シーンでの解像感と現シーンの拡大率の２つを考慮し、現シーンのアップコンバート処理のアルゴリズムを切り替える事でシーン感の解像感を均一にする手法を提案する。つまり、図２に示すように、シーン間の解像感のギャップが発生しない様、前のシーンの解像感に応じて現シーンの拡大アルゴリズムを決定する。フルショットのシーンに関しては、その後のシーンでどこまで解像感を出せるか分からないため、あえて解像感を出さない処理にすることが好ましい。
【００２７】
このような手法を適用すると、シーン単体での画質を犠牲にする場合もあるが、全体でみた際の画質の均一感によりトータルの画質性能を向上させることが可能になる。さらに、該当シーン前後のショットサイズに応じて、該当シーンの拡大アルゴリズムを切り替えるため、アルゴリズム切り替えに伴う計算コストの増減が生じ、計算コストをシーン間で貸し借りする事となり、トータルの計算コストの増加を抑える事が可能になるという功を奏する。
【００２８】
図２の例では、タイミング（Ａ）、（Ｂ）、（Ｃ）において生じる解像感のギャップが抑圧されている。また、シーン１、３で処理負荷の低い拡大アルゴリズム（ＡＲＧＯＲＩＴＨＭ＃２）が用いられるため、全体として計算コストが抑制されている。具体的には、拡大率が４倍のシーンから、拡大率が１．５倍のシーンへと切り替える部分ではボケを許容するため、タップ間隔を狭めるなどの処理負荷を削減することが可能である。一方、拡大率が１．５倍のシーンから、拡大率が４倍のシーンへと切り替える部分ではボケを減らすために重い処理が必要となるが、上記で削減した計算パワーを割り振る事で、トータルの計算コストを変えずに解像感の平坦化が実現可能になる。
【００２９】
＜２：実施形態の詳細＞
以下、本発明の一実施形態について詳細に説明する。
【００３０】
［２−１：動画編集装置１０の構成（図３）］
まず、図３を参照しながら、本実施形態に係る動画編集装置１０の構成について説明する。図３は、本実施形態に係る動画編集装置１０の構成について説明するための説明図である。
【００３１】
なお、図３に例示した撮像装置１１、操作デバイス１２、及び表示装置１３の一部又は全部は、動画編集装置１０に内蔵していてもよいし、外部機器として有線又は無線で接続されていてもよい。また、撮像装置１１により撮像された動画のデータが、有線又は無線の伝送線路、記録メディア、或いは、クラウドコンピューティングシステムを介して動画編集装置１０に入力されるように構成されていてもよい。但し、ここでは説明の都合上、撮像装置１１から動画のデータが動画編集装置１０に直接入力されるものとして説明を進める。
【００３２】
図３に示すように、動画編集装置１０は、主に、動画取得部１０１と、構図決定部１０２と、アルゴリズム決定部１０３と、サイズ調整部１０４と、インサートカット挿入部１０５と、動画出力部１０６とにより構成される。なお、動画編集装置１０を構成する各構成要素の機能は、１台の情報処理装置を利用して実現されてもよいし、複数台の情報処理装置を利用して実現されてもよい。また、動画編集装置１０の一部又は全部の機能は、撮像装置１１、操作デバイス１２、表示装置１３などとネットワークを介して接続されたクラウドコンピューティングシステムの機能を利用して実現されてもよい。但し、ここでは説明の都合上、１台の情報処理装置により動画編集装置１０の機能が実現されるものとして説明を進める。
【００３３】
まず、動画取得部１０１は、撮像装置１１により撮像された動画のデータを取得する。動画取得部１０１により取得された動画のデータは、構図決定部１０２に入力される。動画のデータが入力されると、構図決定部１０２は、入力された動画を構成するシーン群のうち、少なくともショットサイズを変更するシーンを決定したり、シーン毎にショットサイズを決定したりする。なお、各シーンは、１又は複数の動画フレームにより構成される。また、構図決定部１０２は、インサートカット用に用いる動画フレームを決定したり、インサートカットを挿入する位置を決定したりする。
【００３４】
以下、ショットサイズを変更するシーンの情報、ショットサイズの情報、インサートカット用に用いる動画フレームの情報、インサートカットを挿入する位置の情報など、動画編集に関して構図決定部１０２により決定された情報を「構図情報」と呼ぶことにする。構造決定部１０２により決定された構図情報は、アルゴリズム決定部１０３に入力される。構図情報が入力されると、アルゴリズム決定部１０３は、入力された構図情報に含まれるショットサイズの情報に基づいて拡大アルゴリズムの種類を決定する。
【００３５】
例えば、アルゴリズム決定部１０３は、図２に示すように、シーン間の切り替え部分で解像感のギャップが極力生じないように拡大アルゴリズムの種類を決定する。なお、ここで言う拡大アルゴリズムの種類とは、少なくとも演算ロジックの種類及びパラメータの設定種類を意味する。演算ロジックとは、例えば、バイキュービック法、線形補間法、最近傍法、超解像などの演算手法を言う。一方、パラメータの設定種類とは、フィルタのタップ数や超解像に用いるフレーム数などのパラメータ自体に関する設定を言う。
【００３６】
上記のようにしてアルゴリズム決定部１０３によりシーン毎に決定された拡大アルゴリズムの種類を示す情報（以下、アルゴリズム情報）は、サイズ調整部１０４に入力される。アルゴリズム情報が入力されると、サイズ調整部１０４は、動画取得部１０１により取得された動画（以下、オリジナル動画）に対し、構図情報及びアルゴリズム情報に基づいてクロップ処理及び拡大処理を実行する。サイズ調整部１０４によりクロップ処理及び拡大処理が施された動画は、インサートカット挿入部１０５に入力される。クロップ処理及び拡大処理が施された動画が入力されると、インサートカット挿入部１０５は、構図情報に基づいてインサートカット画像を生成及び挿入した動画（以下、構図編集後動画）を生成する。
【００３７】
上記のようにして生成された構図編集後動画は、動画出力部１０６に入力される。構図編集後動画が入力されると、動画出力部１０６は、入力された構図編集後動画を表示装置１３に表示させる。なお、表示装置１３がネットワーク又は他の機器を介して動画編集装置１０に接続されている場合、動画出力部１０６は、構図編集後動画のデータを表示装置１３又は表示装置１３の表示を制御する他の機器（非図示）に送信する。その結果、ユーザは、表示装置１３に表示された構図編集後動画を確認することができるようになる。
【００３８】
表示装置１３に表示された構図編集後動画を確認したユーザが、一部又は全部のシーンについて構図情報を変更したい場合、操作デバイス１２を利用して構図情報を手動で修正することが可能である（例えば、図５を参照）。操作デバイス１２を利用して構図情報が修正されると、修正後の構図情報は、アルゴリズム決定部１０３に入力される。修正後の構図情報が入力されると、アルゴリズム決定部１０３は、入力された構図情報に基づいて再びシーン毎に演算アルゴリズムの種類を決定し、新たなアルゴリズム情報を生成する。アルゴリズム決定部１０３により新たに生成されたアルゴリズム情報は、サイズ調整部１０４に入力される。
【００３９】
その後、サイズ調整部１０４、インサートカット挿入部１０５により新たな構図編集後動画が生成され、動画出力部１０６に入力される。動画出力部１０６は、再び表示装置１３に構図編集後動画を表示させる。ユーザが構図編集後動画の品質に納得するまで、或いは、構図編集後動画について自動算出された品質評価値が所定の閾値を超えるまで、上記のようにして構図編集後動画の調整処理を繰り返し実行することが可能である。最終的に得られた構図編集後動画は、動画編集装置１０に接続された記憶デバイス、又は動画編集装置１０からアクセス可能なクラウドコンピューティングシステムなどで保持される。
【００４０】
以上、本実施形態に係る動画編集装置１０の構成について説明した。なお、動画編集装置１０の機能は、例えば、図６に示すような情報処理装置のハードウェアを利用し、記録媒体に格納可能なコンピュータプログラムに基づいて実現されてもよい。
【００４１】
［２−２：動画編集処理の流れ（図４、図５）］
次に、図４を参照しながら、本実施形態に係る動画編集処理の流れ（動画編集装置１０の動作）について説明する。図４は、本実施形態に係る動画編集処理の流れ（動画編集装置１０の動作）について説明するための説明図である。なお、図４に示した処理の流れは一例であり、一部の処理ステップの順序を入れ替えたり、省略したりすることも可能である。また、利用する演算アルゴリズムやユーザの設定内容に応じて必要な処理ステップを追加することも可能である。こうした変形例についても当然に本実施形態の技術的範囲に属することは言うまでもない。
【００４２】
図４に示すように、まず、ユーザは後からショットサイズを変えられる様に広い画角で動画を撮影する（Ｓ１０１）。基本的には、被写体を画枠に含めた状態で広角撮影すれば良い。ステップＳ１０１で撮影された動画は、動画取得部１０１の機能により動画編集装置１０に入力される。次いで、動画編集装置１０は、構図決定部１０２の機能により、動画からクロップする領域の候補を決定する（Ｓ１０２）。例えば、人が被写体である動画であれば、全身を画枠におさめたロングショット、腰から上を画枠におさめたミディアムショット、顔だけを画枠におさめたクローズアップといった複数のショットサイズの候補がピックアップされる。
【００４３】
次いで、動画編集装置１０は、構図決定部１０２の機能により、映像制作の定石にのっとってショットサイズを決める（Ｓ１０３）。映像制作の定石とは、例えば、「先頭はロングショットが一般的で、始めに全体を俯瞰させ、その後でより注目被写体がより見やすくなるように、よりタイトなショットサイズを選択していく」といった構図形式である。ショットサイズは数秒おきに切り替えていき、より印象的な映像に仕上げることが好ましい。また、ユーザがショットサイズを指定している場合はそれを優先させるようにする。
【００４４】
次いで、動画編集装置１０は、アルゴリズム決定部１０３の機能により、前シーンの解像感、現シーンの拡大率を考慮し、シーン間の解像感の変動が無いように現シーンの拡大アルゴリズムを決定する（Ｓ１０４）。但し、最初のシーンのショットサイズとしては、次にどのショットサイズが来ても良い様に、中間の解像感になるような拡大アルゴリズムが選択される。なお、動画編集装置１０は、サイズ調整部１０４の機能により、この時点でショットサイズを変更する処理を実行してもよい。
【００４５】
次いで、動画編集装置１０は、インサートカット挿入部１０５の機能により、インサートカット画像を挿入する（Ｓ１０５）。インサートカット画像の挿入方法としては、所定の位置やユーザの設定に基づいてインサートカット画像を挿入する方法や、解像感を考慮してインサートカット画像を挿入する方法などが考えられる。後者の場合、動画編集装置１０は、まず、シーン毎の拡大率及び拡大アルゴリズムから、シーン間の解像感の変動がどうなるかを確認する。次いで、動画編集装置１０は、シーン間の拡大率が極端に異なる等の要因でやむを得ずシーン間の解像感のギャップが残っている場合に、必要に応じて中間の解像感を有するインサートカットを入れる。このような方法を利用すると、シーン間のギャップを埋めることが可能になる。
【００４６】
次いで、動画編集装置１０は、サイズ調整部１０４の機能により、決定した拡大アルゴリズムに応じてクロップした画像を拡大する。そして、動画編集装置１０は、サイズ調整部１０４及び／又は動画出力部１０６の機能により、拡大した画像をつなぎ合わせて、最終的な映像を出力する（Ｓ１０６）。次いで、ユーザが出来上がりの映像を確認し、品質の良否を判定する（Ｓ１０７）。品質が良い場合（ＯＫの場合）、動画編集に係る一連の処理は終了する。一方、品質に不満がある場合（ＮＧの場合）、処理は、ステップＳ１０８へと進行する。
【００４７】
処理がステップＳ１０８へと進行した場合、ユーザは好みに応じてショットサイズを修正する（Ｓ１０８）。例えば、あるシーンでの特定の被写体のクローズアップが欲しいといった場合に、注目領域とショットサイズをユーザが再指定し、ショットサイズの修正を行う。なお、ショットサイズの修正を行ったままの状態では、修正を入れたシーンとの前後のシーンの時系列の違和感が発生してしまう。そのため、ショットサイズの調整後、動画編集装置１０は、再びステップＳ１０３〜Ｓ１０６の処理を実行する。
【００４８】
なお、ステップＳ１０８においてユーザがショットサイズを調整するためのインターフェースとしては、例えば、図５に示すようなユーザインターフェースが考えられる。例えば、編集後の動画を構成する各シーンのサムネイルだけを表示しておき、ショットサイズを変更したいシーンのサムネイルを所望のサイズになるまで拡大できるようにする。図５の例では、ピンチ操作によりショットサイズの拡大／縮小を実現する構成としているが、他の操作方法を適用することも可能である。上記のように、一部のシーンについてショットサイズが調整されると、他のシーンについてもショットサイズが自動的に変更される。
【００４９】
以上、本実施形態に係る動画編集処理の流れについて説明した。
【００５０】
（変形例）
また、別の調整の例として全体の解像感の調整を一律底上げする様なやり方もある。この場合は所望の解像感になる様に全シーンをやり直す事になる。そして、調整結果をユーザが評価し、必要に応じて再度ショットサイズの調整を行う。この場合も、図５に例示したようなタブレット端末におけるユースケースでショットサイズの調整を想定した場合、最終出力映像がショットサイズの異なるシーン毎にサムネイルで表示されていて、ユーザが修正をしたいサムネイル被写体にタッチしてピンチで拡大すると、それに連動して前後のシーンのショットサイズが更新される。
【００５１】
（効果）
これまではプロによる撮影及び編集でしか生成する事の出来なかった、時系列でショットサイズを切り替えた映像が、ポスト処理による自動編集で実現可能にする事でコンシューマレベルでも簡単に作成出来る様になる。また、これまではショットサイズを切り替えるために複数台のカメラを使ってロングショット、ミディアムショット、クローズアップを同時に撮影し、編集でショットサイズを切り替える方法も考えられてはいたが、本手法の適用により１台のカメラで複数のショットを切り替えた映像を撮影する事が可能になる。
【００５２】
＜３：ハードウェア構成例（図６）＞
上記の動画編集装置１０が有する各構成要素の機能は、例えば、図６に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図６に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔの略である。
【００５３】
図６に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略である。
【００５４】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【００５５】
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
【００５６】
出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ  ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙの略である。
【００５７】
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略である。
【００５８】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略である。
【００５９】
接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅの略である。
【００６０】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ  ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅの略である。
【００６１】
＜４：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
【００６２】
上記の情報処理装置の機能構成は次のように表現することができる。
【００６３】
（１）
ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定する調整情報設定部と、
前記調整情報設定部により設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成する編集処理部と、
を備え、
前記調整情報設定部は、連続するシーン間における解像感の変化が顕在化しないように前記拡大方法を設定する、
情報処理装置。
【００６４】
（２）
前記調整情報設定部は、拡大率が大きいシーンに対して高い解像度が得られる拡大方法を設定し、拡大率が小さいシーンに対して低い解像度が得られる拡大方法を設定する、
上記（１）に記載の情報処理装置。
【００６５】
（３）
前記調整情報設定部は、全てのシーンの解像感が略一定となるように拡大率に応じた拡大方法をシーン毎に設定する、
上記（１）又は（２）に記載の情報処理装置。
【００６６】
（４）
前記拡大方法は、拡大アルゴリズムの種類、及び当該拡大アルゴリズムに適用されるパラメータにより決定される、
上記（１）〜（３）のいずれか１項に記載の情報処理装置。
【００６７】
（５）
前記編集した動画のシーン群から指定されたシーンのショットサイズが手動で変更された場合、前記調整情報設定部は、変更後のショットサイズを考慮して再び各シーンの拡大方法を設定し直す、
上記（１）〜（４）のいずれか１項に記載の情報処理装置。
【００６８】
（６）
前記編集した動画のシーン群をサムネイル表示させる表示制御部と、
サムネイル表示されたシーン群の中から所望のシーンを指定してショットサイズを変更する操作を行うための操作部と、
をさらに備え、
前記操作部は、サムネイル表示されたシーンの画像に対して直接的にショットサイズの変更操作を与えることが可能なユーザインターフェースを提供する、
上記（５）に記載の情報処理装置。
【００６９】
（７）
ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定するステップと、
設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成するステップと、
を含み、
前記拡大方法は、連続するシーン間における解像感の変化が顕在化しないように設定される、
情報処理方法。
【００７０】
（８）
ショットサイズを拡大するシーン、当該シーンのショットサイズ、及び当該シーンのショットサイズを変更するために用いる拡大方法を設定する調整情報設定機能と、
前記調整情報設定機能により設定されたシーン、ショットサイズ、拡大方法に基づいて編集した動画を生成する編集処理機能と、
をコンピュータに実現させるためのプログラムであり、
前記調整情報設定機能は、連続するシーン間における解像感の変化が顕在化しないように前記拡大方法を設定する、
プログラム。
【００７１】
（備考）
上記の構図決定部１０２、アルゴリズム決定部１０３は、調整情報設定部の一例である。上記のサイズ調整部１０４、インサートカット挿入部１０５は、編集処理部の一例である。上記の動画出力部１０６は、表示制御部の一例である。上記の操作デバイス１２は、操作部の一例である。
【００７２】
以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。
【符号の説明】
【００７３】
１０    動画編集装置
１１    撮像装置
１２    操作デバイス
１３    表示装置
１０１    動画取得部
１０２    構図決定部
１０３    アルゴリズム決定部
１０４    サイズ調整部
１０５    インサートカット挿入部
１０６    動画出力部
【図１】
2013219549.tif 000003
【図２】
2013219549.tif 000004
【図３】
2013219549.tif 000005
【図４】
2013219549.tif 000006
【図５】
2013219549.tif 000007
【図６】
2013219549.tif 000008