(57)【要約】【課題】画像に対してエフェクトを施すことによる動画の作成を容易に行うことができる画像処理方法、画像処理装置および画像処理プログラムを提供する。【解決手段】処理対象画像において切り出される範囲を指定する枠の移動経路を、前記処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求め、  前記移動経路に沿って前記処理対象画像から複数の画像を切り出し、該複数の画像を用いて動画を作成する画像処理方法である。【選択図】図２
2014183425.tif 000002
【特許請求の範囲】
【請求項１】
処理対象画像において切り出される範囲を指定する枠の移動経路を、前記処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求め、
前記移動経路に沿って前記処理対象画像から複数の画像を切り出し、該複数の画像を用いて動画を作成する
画像処理方法。
【請求項２】
前記ユーザによる入力はタッチパネルに対して行われ、
前記処理対象画像上の複数の位置は、前記タッチパネルに前記ユーザが接触物体を接触させたまま所定方向に所定距離だけ動かすなぞり操作により入力される
請求項１に記載の画像処理方法。
【請求項３】
前記ユーザからの入力に応じて前記枠のサイズを設定する
請求項１に記載の画像処理方法。
【請求項４】
求められた前記移動経路を補正する
請求項１に記載の画像処理方法。
【請求項５】
前記移動経路を直線状またはなめらかな曲線状に補正する
請求項４に記載の画像処理方法。
【請求項６】
前記処理対象画像における被写体を認識し、
認識結果に基づいて前記動画の構図を調整する
請求項１に記載の画像処理方法。
【請求項７】
認識された前記被写体が前記枠内に収まるように前記移動経路を調整することにより前記動画の構図を調整する
請求項６に記載の画像処理方法。
【請求項８】
認識された前記被写体が前記枠内に収まるように前記枠のサイズを調整することにより前記動画の構図を調整する
請求項６に記載の画像処理方法。
【請求項９】
認識された前記被写体が前記枠内の所定の位置に位置するように前記枠の前記処理対象画像中における位置を調整することにより前記動画の構図を調整する
請求項６に記載の画像処理方法。
【請求項１０】
前記枠内の所定の位置とは、予め定められた比率に基づく位置である
請求項９に記載の画像処理方法。
【請求項１１】
前記ユーザのなぞり操作の速度に応じて前記動画の再生速度を変化させて前記動画を作成する
請求項２に記載の画像処理方法。
【請求項１２】
前記ユーザによる入力はハードウェアボタンに対して行われ、
前記処理対象画像上の複数の位置は、前記ハードウェアボタンを用いて前記処理対象画像上に複数の位置をプロットすることにより入力される
請求項１に記載の画像処理方法。
【請求項１３】
前記処理対象画像上にプロットされた複数の位置の間隔に基づいて前記動画の再生速度を変化させて前記動画を作成する
請求項１２に記載の画像処理方法。
【請求項１４】
前記処理対象画像は複数の画像を組み合わせた画像である
請求項１に記載の画像処理方法。
【請求項１５】
処理対象画像において切り出される範囲を指定する枠の移動経路を、前記処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求める移動経路算出部と、
前記移動経路に沿って前記処理対象画像から複数の画像を切り出し、該複数の画像を用いて動画を作成する動画作成部と
を備える画像処理装置。
【請求項１６】
処理対象画像において切り出される範囲を指定する枠の移動経路を、前記処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求め、
前記移動経路に沿って前記処理対象画像から複数の画像を切り出し、該複数の画像を用いて動画を作成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、画像処理方法、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
画像に動きを付ける特殊効果として、Ken Burnsエフェクトと称される画像処理方法が知られている。Ken Burnsエフェクトを用いることにより、ズームイン、ズームアウト、パンニングなどの効果を使って、１枚の画像に動きを付けて、ストーリー性を演出することができる。
【０００３】
Ken Burnsエフェクトを用いて、１枚の画像から動画を作成するソフトウェアにおいては、まず、ユーザによって画像を部分的に切り出す範囲を定めた表示枠の大きさと、表示枠の始点と終点が指定される。そして、これらの情報（表示枠の大きさ、始点と終点）から移動経路を算出し、表示枠が移動するごとに切り出される複数の画像を使用して動画を作成するのが通常である。
【０００４】
一方、Ken Burnsエフェクトを用いて１枚の画像から動画を作成するソフトウェアには、被写体検出を用いるものもある（特許文献１）。具体的には、まず、画像から検出された人物の顔の大きさと位置に基づいて、静止画を部分的に切り出す範囲を定めた表示枠の大きさや表示枠の始点と終点を自動的に算出する。そして、表示枠が移動するごとに切り出される複数の画像を使用して動画を作成する。また、あらかじめ一定の表示枠の大きさと表示枠の移動経路が設定され、その表示枠が移動するごとに切り出される複数の画像を使用して動画を作成するものがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−３０４０９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、前者の手法では、編集したい画像の数が多い場合や、１枚の画像上で、始点と終点を複数指定したい場合、表示枠の大きさや移動経路を設定するために多くの時間を要してしまうという課題がある。
【０００７】
また、後者の手法では、ユーザがパンニング、ズーミングしたい任意の被写体の大きさや位置に基づいて、表示枠の大きさや表示枠の移動経路を算出することができず、必ずしもユーザが表現したい動画を作成することができるとは限らない。
【０００８】
本技術はこのような問題点に鑑みなされたものであり、動画の作成を容易に行うことができる画像処理方法、画像処理装置および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、第１の技術は、処理対象画像において切り出される範囲を指定する枠の移動経路を、処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求め、移動経路に沿って処理対象画像から複数の画像を切り出し、該複数の画像を用いて動画を作成する画像処理方法である。
【００１０】
また、第２の技術は、処理対象画像において切り出される範囲を指定する枠の移動経路を、処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求める移動経路算出部と、移動経路に沿って処理対象画像から複数の画像を切り出し、複数の画像を用いて動画を作成する動画作成部とを備える画像処理装置である。
【００１１】
さらに、第３の技術は、処理対象画像において切り出される範囲を指定する枠の移動経路を、処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求め、移動経路に沿って前記処理対象画像から複数の画像を切り出し、複数の画像を用いて動画を作成する画像処理方法をコンピュータに実行させる画像処理プログラムである。
【発明の効果】
【００１２】
本技術によれば、動画の作成を容易に行うことができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、画像処理装置による処理の概要を説明するための図である。
【図２】図２は、本技術の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図３】図３Ａは、入力部がタッチパネルである場合にユーザにより移動経路として入力される入力情報を示す図であり、図３Ｂは、移動経路算出部により算出された表示部の移動経路を示す図である。
【図４】図４Ａは、入力部がハードウェアボタンである場合にユーザにより移動経路として入力された情報を示す図であり、図４Ｂは、移動経路算出部により算出された表示部の移動経路を示す図である。
【図５】図５Ａは、ピンチ操作により表示枠のサイズが設定される前の状態を示す図であり、図５Ｂは、ピンチ操作により表示枠のサイズが設定された状態を示す図である。
【図６】図６は、画像処理装置の機能を備える機器の一例である撮像装置の構成を示すブロック図である。
【図７】図７は、第１の実施の形態に係る画像処理装置による処理の流れを示すフローチャートである。
【図８】図８Ａおよび図８Ｂは、ユーザからの入力情報の一例を示す図である。
【図９】図９は、本技術により作成される動画の一例を示す図である。
【図１０】図１０Ａおよび図１０Ｂは、ユーザからの入力情報の他の例を示す図である。
【図１１】図１１は、本技術により作成される動画の他の例を示す図である。
【図１２】図１２は、入力部がハードウェアボタンである場合に、移動経路としてユーザにより入力される入力情報の例を示す図である。
【図１３】図１３Ａはユーザにより入力が行われている状態を示す図であり、図１３Ｂはユーザの入力終了後にプレビューが開始される状態を示す図であり、図１３Ｃは、プレビュー終了後の状態を示す図である。
【図１４】図１４は、ユーザからの入力の内容を表示する態様を示す図である。
【図１５】図１５Ａは、複数の画像を示す図であり、図１５Ｂは、複数の画像を組み合わせることにより構成された処理対象画像を示す図である。
【図１６】図１６Ａは、複数の画像を示す図であり、図１６Ｂは、複数の画像を組み合わせることにより構成された処理対象画像を示す図であり、図１６Ｃは、複数の画像を組み合わせることにより構成された処理対象画像がユーザに提示される際の状態を示す図である。
【図１７】図１７は、本技術の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図１８】図１８Ａは、ユーザからの入力情報に基づいて決定された移動経路を示す図であり、図１８Ｂは、移動経路補正部により補正された移動経路を示す図である。
【図１９】図１９は、第２の実施の形態に係る画像処理装置による処理の流れを示すフローチャートである。
【図２０】図２０は、本技術の第３の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２１】図２１Ａ乃至図２１Ｄは、構図調整部による構図調整処理の一例を示す図である。
【図２２】図２２Ａ乃至図２２Ｃは、構図調整部による構図調整処理の他の例を示す図である。
【図２３】図２３は、第３の実施の形態に係る画像処理装置による処理の流れを示すフローチャートである。
【図２４】図２４は、本技術の変形例に係る画像処理装置の構成を示すブロック図である。
【図２５】図２５は、本技術の変形例に係る画像処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．画像処理装置の構成］
［１−２．撮像装置の構成］
［１−３．画像処理装置における処理］
＜２．第２の実施の形態＞
［２−１．画像処理装置の構成］
［２−２．画像処理装置における処理］
＜３．第３の実施の形態＞
［３−１．画像処理装置の構成］
［３−２．画像処理装置における処理］
＜４．変形例＞
【００１５】
＜１．第１の実施の形態＞
［１−１．画像処理装置の構成］
まず、図１および図２を参照して、画像処理装置１０の構成について説明する。画像処理装置１０は、Ken Burnsエフェクトと称される処理を処理対象となる画像（以下、処理対象画像と称する。）に施すことにより、パンニング、ズームイン、ズームアウトなどのエフェクトが施された動画を作成するものである。
【００１６】
図１は、画像処理装置１０による処理の概要を説明するための図である。図１に示されるように、画像処理装置１０は処理対象画像２０１上に表示枠を設定する。表示枠は、画像処理装置１０により作成される動画の表示範囲を示すものである。また、表示枠は動画作成のために処理対象画像２０１から切り出される範囲を示すものでもある。表示枠には、動画の開始時における表示範囲を示す枠２０２（以下、開始表示枠と称する。）と、動画の終了時における表示範囲を示す枠２０３（以下、終了表示枠と称する。）がある。
【００１７】
表示枠のサイズを変更することにより、Ken Burnsエフェクトのズームイン、ズームアウトの位置およびサイズを指定することができる。表示枠が小さければ小さいほど、動画は処理対象画像の一部にズームインしたものとなる。また、表示枠が大きければ大きいほど、動画はズームアウトしたものとなる。
【００１８】
さらに、画像処理装置１０は、図１に示される線分のように、表示枠が処理対象画像２０１上を移動する経路２０４（以下、移動経路と称する。）を設定する。移動経路２０４は、Ken Burnsエフェクトのパンニングが行われる範囲を示すものである。移動経路２０４の始点は動画の開始位置を示す開始表示枠２０２の中心位置である。また、移動経路２０４の終点は動画の終了地点を示す終了表示枠２０３の中心位置となる。
【００１９】
図２は、画像処理装置１０の構成を示すブロック図である。画像処理装置１０は、制御部１１、移動経路算出部１２、表示枠設定部１３、動画作成部１４とから構成されている。画像処理装置１０は、例えば、撮像装置、スマートフォン、携帯電話機、パーソナルコンピュータ、タブレット端末、サーバなどの機器において動作するものである。ただし、画像処理装置単体の装置として構成されてもよい。
【００２０】
画像処理装置１０には、上述した他の機器などが備える入力部１５、表示部１６が接続されている。ただし、画像処理装置１０自体が入力部および表示部を備える構成であってもよい。また、画像処理装置１０には、上述した他の機器などから処理対象画像が供給される。
【００２１】
入力部１５は、ユーザからの操作入力を受け付ける入力手段である。入力部は、例えば、表示部１６と一体に構成されたタッチパネルなどである。タッチパネルは、例えば静電容量方式タッチパネル、感圧式タッチパネルなどである。画像処理装置１０には、入力部１５からユーザによる入力内容を示す入力情報が供給される。
【００２２】
タッチパネルは、操作面である画面上の複数の箇所に同時になされた操作のそれぞれを検出し、その接触位置を示す情報を出力することができる。また、タッチパネルは、操作面に対して繰り返しなされた操作のそれぞれを検出し、そのそれぞれの接触位置を示す情報を出力することもできる。
【００２３】
これにより、タッチパネルは、いわゆるタップ入力、ダブルタップ入力、フリック操作、ドラッグ操作、ピンチ操作、なぞり操作などのユーザからの様々な入力、操作を受け付けて、それらを検出することができる。
【００２４】
タップ入力とは、ユーザの指などを操作面上に短時間１回だけ接触させる入力動作である。ダブルタップ入力とは、指などを操作面上に短い間隔で連続して２回接触させる入力動作である。これらは主に決定の入力などに用いられる。
【００２５】
ドラッグ操作とは、ユーザの指などを操作面上に接触させたまま移動させる入力動作である。フリック操作とは、ユーザの指など操作面上の１点を指示してから、そのまま任意の方向に素早くはじくようにする入力動作である。これにより、例えば、記憶媒体などに保存されている複数の画像を表示部に表示させて見る際に、画像をめくるようにして切り替えることができる。
【００２６】
ピンチ操作は、まず、ユーザの２本の指などを同時に操作面上に接触させて、次にその２本の指などを開いたり、つまむように閉じたりする入力動作である。ピンチ操作により例えば、表示部に表示されている領域を示す枠の拡大、縮小などの入力が可能となる。なお、ピンチ操作において、接触させた２本の指などを開く操作をピンチアウト操作、２本の指などを閉じる操作をピンチイン操作と称する。
【００２７】
さらに、なぞり操作とは、指などを操作面上に接触させた状態のまま移動させることにより直線上または曲線状の入力を行うことができる入力動作である。本実施の形態においては、ユーザは、移動経路の入力をなぞり操作で行うことにより、直感的な入力を行うことができる。
【００２８】
入力部１５としてのタッチパネルに対して入力がなされると、入力部１５から画像処理装置１０の制御部１１に対して接触位置を示す入力情報が供給される。
【００２９】
表示部１６は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された画像表示手段である。表示部１６には、画像処理装置１０による処理が施される処理対象画像、画像処理装置１０により作成された動画、その他ＵＩ（User Interface）などが表示される。
【００３０】
制御部１１は、供給された入力情報の受け渡し、供給された処理対象画像の受け渡し、作成された動画の出力、画像処理装置１０の各部及び全体の制御などを行うものである。
【００３１】
また、制御部１１は、供給された入力情報に示される処理対象画像上の入力位置を表示部１６に表示される処理対象画像上の座標に変換する。なお、以下の説明では、座標情報に変換されたものも入力情報と称する。そして、制御部１１により座標に変換された入力情報は、移動経路算出部１２に供給される。
【００３２】
移動経路算出部１２は、供給された入力情報に基づいて処理対象画像上における表示枠の移動経路を求めるものである。図３Ａにおいて、処理対象画像２１１上の太線２１２は、入力部がタッチパネルである場合に、ユーザのなぞり操作によって移動経路として入力された入力情報である。その入力情報は特許請求の範囲における、「連続する複数の位置」に相当するものである。
【００３３】
例えば、ユーザにより、タッチパネルに対して、図３Ａ中の太線２１２のように線分状に移動経路が入力された場合、移動経路算出部１２により移動経路２１３は図３Ｂ中の線分のように算出される。この場合、太線２１２で示される入力情報と、移動経路算出部１２により決定される移動経路２１３は略同一のものとなる。表示枠２１４は中心を移動経路２１３に合わせて移動することとなる。
【００３４】
このように、入力部１５がタッチパネルの場合、ユーザは、タッチパネルをなぞることにより移動経路を指定することができる。例えば、ユーザがタッチパネルに指を触れた位置を移動経路の開始点とし、指をタッチパネルから離した位置を移動経路の終了地点とすることができる。
【００３５】
また、入力部がハードウェアボタンであり、ユーザが上下左右キーなどに対するキー操作および決定ボタンへの入力で移動経路をプロットすることにより入力可能な場合には図４に示されるようになる。図４Ａのように、入力情報が処理対象画像上にプロットされた複数の点２１５、２１５、・・・である場合には、移動経路算出部１２により図４Ｂに示されるように移動経路２１６が算出される。この場合、移動経路２１６は、処理対象画像上にプロットされた複数の点２１５を入力された順序に従って結んだものとなる。このプロットされた複数の点も特許請求の範囲における、「連続する複数の位置」に相当するものである。
【００３６】
表示枠設定部１３は、供給されるユーザの入力情報に応じて表示枠の移動開始時点および移動終了時点におけるサイズを設定するものである。なお、移動経路の始点は動画の開始位置を示す開始表示枠の中心位置である。また、移動経路の終点は動画の終了地点を示す終了表示枠の中心位置となる。
【００３７】
表示枠設定部１３による表示枠の設定は、具体的には、入力部１５がタッチパネルである場合、図５に示されるようになる。図５Ａに示されている状態において、ユーザが表示枠２１７内に指を接触させてから、その指をピンチ操作で広げると、その入力情報が制御部１１から表示枠設定部１３に供給される。そして表示枠設定部１３により、図５Ｂに示されるように、表示枠設定部１３は、指の開き具合に応じて表示枠２１７のサイズが大きく設定される。さらに、ピンチ操作で指を閉じる操作がなされた場合には表示枠のサイズは小さくなる。これにより、直感的、そして容易に表示枠のサイズを変更することができる。
【００３８】
また、ユーザが表示枠を構成する辺または角に指などを接触させた状態でドラッグ操作を行うことにより表示枠のサイズが変更させるようにしてもよい。入力部１５がハードウェアボタンである場合には、上下左右キーの操作で開始表示枠か終了表示枠かが選択された後、さらに上下左右キーに応じて表示枠のサイズを変更するようにすることなどが挙げられる。
【００３９】
また、入力部１５がダイヤル状の入力手段である場合、そのダイヤルを回転させることにより、表示枠のサイズを変更可能としてもよい。例えば、ユーザがダイヤルを時計回りに回転させた場合には、表示枠を大きくし、逆に、ユーザがダイヤルを反時計回りに回転させた場合には表示枠を小さくする、などが挙げられる。
【００４０】
動画作成部１４は、処理対象画像からKen Burnsエフェクトが施された動画を作成するものである。動画作成部１４は、まず、移動経路に基づいて表示枠を処理対象画像上で移動させ、移動経路に沿って所定の間隔で表示枠サイズの画像を切り出す。この切り出された画像は動画作成に用いられる画像であるため、動画用画像と称する。動画作成部１４は、例えば、毎秒３０フレームで再生時間が５秒の動画を作成する場合、表示枠の中心が移動経路の始点から終点に移動する間に等間隔で、１５０フレーム分の動画用画像を切り出す。
【００４１】
次に、動画作成部１４は、切り出した動画用画像を例えば、表示部の表示サイズに一致するサイズに変換する。これにより、サイズの小さい表示枠によって切り出された動画用画像ほど高倍率にしたものとなる。
【００４２】
そして、動画作成部１４は、サイズ変換を施した動画用画像の一つを１フレームとして、動画用画像を連続再生することにより動画データを作成する。
【００４３】
例えば、表示枠がサイズ一定の状態で移動経路に沿って移動する場合には、倍率を一定にしたまま画像の一部分をスクロールさせるパンニングのエフェクトが施された動画が作成されることとなる。
【００４４】
また、表示枠の中心座標が変化せず、表示枠のサイズのみが変化する場合、静止画の倍率が変化するズームイン、またはズームアウトエフェクトが施された動画が作成されることとなる。
【００４５】
さらに、表示枠のサイズが変化し、表示枠の中心座標が移動経路に沿って移動する場合、パンニングとズームインまたはズームアウトエフェクトが施された動画が作成されることとなる。
【００４６】
以上のようにして画像処理装置１０が構成されている。なお、画像処理装置１０の処理機能はコンピュータなどの各種機器によって実現することができる。その場合、画像処理装置１０が有すべき機能の処理内容を記述したプログラムが提供される。そして、そのプログラムを機器で実行することにより、上述の処理機能が機器上で実現される。
【００４７】
処理内容を記述したプログラムは、光ディスク、半導体メモリなどのコンピュータで読み取り可能な記録媒体に記録しておくことができる。このような記録媒体は、パッケージソフトウェアとして販売／提供することができる。また、プログラムをサーバに格納しておき、アプリケーションとしてネットワークを介して販売／提供することもできる。
【００４８】
プログラムを実行する各種機器は、例えば、記録媒体に記録されたプログラムまたはサーバから転送されたプログラムを自己の記憶装置に格納する。そして、機器は、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。また、プログラムを、機器の制御部のメモリにインストールして実行させることもできる。
【００４９】
また、機器は、記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。さらに、機器は、サーバからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００５０】
ただし、画像処理装置１０は、プログラムによって実現されるのみでなく、それぞれの機能を有するハードウェアによる専用の装置を組み合わせて実現してもよい。
【００５１】
また、画像処理装置による処理は、いわゆるクラウドサービスとしてユーザに提供されてもよい。クラウドサービスとは、ネットワーク上に存在するサーバによって提供されるサービスであり、インターネットをベースとしたコンピュータの利用形態の一つである。必要な処理は基本的に全てサーバ側で行われる。ユーザはデータを自分のパソコン、スマートフォン、携帯電話機などではなく、インターネット上のサーバに保存する。よって、自宅、会社、ネットカフェ、学校、外出先など、さまざまな環境においてもサービスの利用、データを閲覧、編集、アップロードなどを行うことができる。クラウドに保存またはアップロードした処理対象画像にクラウド側で画像処理を施し、作成された動画をクラウドに保存することにより、さまざまな環境において画像処理の利用、動画の閲覧が可能となる。
【００５２】
［１−２．撮像装置の構成］
次に、画像処理装置１０が動作する機器の一例である撮像装置の構成について説明する。図６は、撮像装置１００の構成を示すブロック図である。
【００５３】
撮像装置１００は、光学撮像系１０１、撮像素子１０２、前処理回路１０３、カメラ処理回路１０４、画像メモリ１０５、制御部１０６、表示部１０７、入力部１０８、記憶部１０９および通信部１１０から構成されている。
【００５４】
光学撮像系１０１は、被写体からの光を撮像素子１０２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。光学撮像系１０１を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子１０２上に結像される。
【００５５】
撮像素子１０２は、制御部１０６から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子１０２から出力されるアナログ撮像信号は前処理回路１０３に出力される。撮像素子１０２としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
【００５６】
前処理回路１０３は、撮像素子１０２から出力されたアナログ撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドなどを行う。さらに、ＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。
【００５７】
カメラ処理回路１０４は、前処理回路１０３からの画像信号に対して、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。
【００５８】
画像メモリ１０５は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリであり、前処理回路１０３およびカメラ処理回路１０４によって所定の処理が施された画像データを一時的に蓄えておくものである。
【００５９】
制御部１０６は、例えばＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置１００全体の制御を行う。また、制御部１０６は画像処理装置の機能を備えるプログラムを実行することにより、画像処理装置１０、具体的には移動経路算出部１２、表示枠設定部１３、動画作成部１４、動画変換部１１１として機能する。
【００６０】
表示部１０７は、例えば、ＬＣＤ、ＰＤＰ、有機ＥＬパネルなどにより構成された表示手段である。表示部１０７には、撮影中のスルー画、記憶媒体に記録された画像、処理対象画像、作成された動画、各種ＵＩなどが表示される。
【００６１】
入力部１０８は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、タッチパネル、表示部１０７と一体に構成されたタッチスクリーンなどからなる入力手段である。入力部１０８に対して入力がなされると、その入力に応じた制御信号が生成されて制御部１０６に出力される。そして、制御部１０６はその制御信号に対応した演算処理や制御を行う。
【００６２】
記憶部１０９は、例えば、ハードディスク、ＳＳＤ（Solid State Drive）、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。記憶部１０９には、処理対象画像となる撮影済み画像、画像処理装置により作成された動画などが所定の形式で保存される。
【００６３】
処理対象画像となる撮影済み画像は、例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態で記憶部１０９に保存される。動画は、例えば、ＭＰＥＧ（Moving Picture Experts Group）、ＡＶＩ（Audio Video Interleaving）などの形式で記憶部１０９に保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
【００６４】
通信部１１０は、例えば、所定のプロトコルに基づいてインターネット、専用回線などのネットワーク、他の装置との通信を行うためのネットワークインターフェースである。通信方式は有線通信、無線ＬＡＮ（Local Area Network）、Ｗｉ−Ｆｉ（Wireless Fidelity）、３Ｇ回線、４Ｇ回線、ＬＴＥ（Long Term Evolution）を用いた通信など、どのようなものでもよい。本技術により作成された動画を通信部１１０を介して、インターネット上のサービスにアップロードすること、パーソナルコンピュータなどの他の装置に転送することなどを可能とするとよい。
【００６５】
移動経路算出部１２、表示枠設定部１３、動画作成部１４は図２を参照して説明したものと同様である。動画変換部１１１は、動画作成部１４により作成された動画に例えば、ＭＰＥＧ、ＡＶＩなどの所定の動画フォーマットへの変換処理を施し、動画データとして出力する。
【００６６】
動画をそれらの形式に変換した場合、ＳＮＳ（social networking service）、動画共有サイトなどのインターネットサービスに手軽にアップロードすることができるという利点がある。また、動画をそれらの形式に変換する際にPicture Effectなどのエフェクトを追加することができるという利点がある。
【００６７】
以上のようにして撮像装置１００が構成されている。なお、上述したように撮像装置１００は画像処理装置１０が動作する機器の一例である。画像処理装置１０は、他にもスマートフォン、携帯電話機、パーソナルコンピュータ、タブレット端末、サーバなどの機器において動作するようにしてもよい。
【００６８】
［１−３．画像処理装置における処理］
次に、画像処理装置１０において行われる処理について説明する。図７は画像処理装置１０による処理の流れを示すフローチャートである。
【００６９】
まず、ステップＳ１１で、制御部１１に処理対象画像が供給される。供給された処理対象画像は制御部１１の制御のもと表示部１６に表示されてユーザに提示される。処理対象画像は、既に撮影済みであり、記憶媒体などに保存されている撮影済み画像である。ただし、画像処理装置１０が動作する機器が撮像装置、撮影可能なスマートフォン、携帯電話機などである場合には、撮影済みとなる前の画像であって、スルー画を構成する画像であってもよい。ユーザが撮影済み画像から動画を作成するモードと、スルー画において動画を作成するモードを選択することができるようにしてもよい。
【００７０】
次にステップＳ１２で、入力部１５に対して行われたユーザの入力を示す入力情報が制御部１１に供給される。その入力情報は制御部１１から、移動経路算出部１２、表示枠設定部１３、動画作成部１４に供給される。次にステップＳ１３で、移動経路算出部１２によりユーザ入力情報に基づいて移動経路が算出される。次にステップＳ１４で、表示枠設定部１３により入力情報に基づいて表示枠のサイズが設定される。
【００７１】
なお、ステップＳ１３の移動経路算出と、ステップＳ１４の表示枠の設定は図７のフローチャートに示される順序に限られるものではない。先に表示枠の設定を行い、その後に移動経路の算出を行なってもよい。また、まず、表示枠設定部１３で始点表示枠の設定を行い、次に移動経路算出部１２で移動経路の算出を行い、その後に表示枠設定部１３で終点表示枠の設定を行うようにしてもよい。これは、ユーザからの入力の順序によって決定されるものである。
【００７２】
次にステップＳ１５で、動画作成部１４により、移動経路に沿って表示枠のサイズの動画用画像の切り出しが行われる。次にステップＳ１６で、動画作成部１４により、動画用画像のサイズ変換がなされ、動画用画像の一つを１フレームとして、その動画用画像が連続再生されることにより動画データが作成される。
【００７３】
例えば、図８Ａに示されるように、処理対象画像２１８に対する開始表示枠２１９、終了表示枠２２０および移動経路２２１がある場合、表示枠の移動の軌跡は図８Ｂにおいて破線で示されるようになる。なお、移動経路２２１は処理対象画像２１８中において左から右へ移動するものとする。
【００７４】
この場合、作成される動画は図９に示されるようなものとなる。開始表示枠２１９と終了表示枠２２０のサイズは同一であり、移動経路２２１は処理対象画像２１８中の左から右へ移動するように設定されているため、動画は、処理対象画像２１８中の左から右へパンニングする動画となる。
【００７５】
また、図１０Ａに示されるように、処理対象画像２２２に対する開始表示枠２２３、終了表示枠２２４および移動経路２２５がある場合、表示枠の移動の軌跡は図１０Ｂにおいて破線で示されるようになる。なお、移動経路２２５は処理対象画像２２２中において左から右へ移動するものとする。
【００７６】
この場合、作成される動画は図１１に示されるようなものとなる。開始表示枠２２３より終了表示枠２２４の方が大きく、移動経路２２５は処理対象画像２２２中の左から右へ移動するように設定されているため、動画は、処理対象画像２２２中の左から右へパンニングしながらズームアウトしていく動画となる。
【００７７】
以上のようにして、画像処理装置１０によって処理対象画像から動画が作成される。本技術によれば、ユーザは、処理対象画像において見る者に注目させたい被写体をなぞるだけでKen Burnsエフェクトが施された動画を作成することができるため、直感的に、また、容易に動画の作成を行うことできる。
【００７８】
次に、入力部１５がタッチパネルである場合、ユーザの入力操作の種類に応じて、より詳細な移動経路の算出、表示枠の設定を行う例について説明する。
【００７９】
第１の例としては、ユーザのタッチパネル上をなぞる速度と動画の再生速度を対応させることが挙げられる。例えば、ユーザのなぞり速度が速い場合には動画の再生速度を速くし、なぞる速度が遅い場合には動画の再生速度を遅くする。この処理は、ユーザからの入力情報の供給を受けた動画作成部１４が動画用画像の切り出し間隔、動画用画像の再生速度を調整することにより行うことができる。
【００８０】
これにより、例えば、処理対象画像中において、ユーザが動画を見る者に注目して欲しい領域においてはなぞり操作を遅くし、それ以外の領域においてはなぞり操作を速くすることにより、緩急がついた、より印象深い動画を直感的に作成することができる。
【００８１】
第２の例としては、入力部１５であるタッチパネルが感圧式である場合に、ユーザからの入力の圧力とズーム率を対応させることが挙げられる。ユーザがタッチパネルを強く押した場合には、その入力の圧力の高さに応じて入力位置を中心とした表示枠のサイズを小さくして、動画がズームインするようにする。また、ユーザがタッチパネルに指を接触させてから徐々にゆっくりと指を離した場合には、入力位置を中心とした表示枠のサイズを大きくして、動画がズームアウトするようにする。これによれば、ユーザはズームインして動画を見る者に注目して欲しい領域においてはタッチパネルを強く押せばよいため、動画の作成を直感的に行うことができる。この処理は、ユーザからの入力情報の供給を受けた表示枠設定部１３により行われる。
【００８２】
また、入力部１５がハードウェアボタンであり、移動経路の入力をプロットすることにより行う場合、プロットの間隔に対応させて動画の再生速度を変化させるようにしてもよい。この処理は、ユーザからの入力情報の供給を受けた動画作成部１４が動画用画像の切り出し間隔、動画用画像の再生速度を調整することにより行うことができる。
【００８３】
例えば、図１２に示されるように、処理対象画像２２６中の左側の被写体付近のように、ユーザによるプロットの間隔が狭い（プロットの密度が高い）範囲においては、動画の再生速度を遅くする。一方、処理対象画像２２６中の右側の被写体付近のようにプロットの間隔が広い（プロットの密度が低い）範囲においては動画の再生速度を速くする。これにより、入力部１５がハードウェアボタンであっても直感的な動画の作成が可能となる。
【００８４】
画像処理装置１０が撮像装置、スマートフォンなど撮像機能を有する機器において動作する場合、処理対象画像は撮影済み画像だけでなく、バッファなどに保存され、スルー画を構成する画像であってもよい。この場合、タッチパネルに対して移動経路の入力が行われ、タッチパネルからユーザの指が離れた時点からプレビューが開始するようにしてもよい。
【００８５】
この点について図１３を参照して説明する。なお、図１３においては、ユーザからは移動経路を示す入力情報の入力だけが行われるものとする。また、ユーザから表示枠のサイズを指定する入力はなく、表示枠のサイズはデフォルトであるものとする。
【００８６】
図１３Ａに示されるように、表示部１６に表示される処理対象画像２２７に対してユーザが移動経路を示す入力を行い、ユーザの指がタッチパネルから離れたら、動画作成部１４により動画が作成される。そして、ユーザの指がタッチパネルから離れた直後から図１３Ｂに示されるように動画２２８のプレビューが表示部１６において開始される。この場合、ユーザの指がタッチパネルに接触した位置が移動経路の開始地点となり、ユーザの指がタッチパネルから離れた位置が移動経路の終了地点となる。
【００８７】
そして、動画２２８が最後まで再生されると、図１３Ｃに示されるように、表示部１６において、移動経路の再入力、表示枠の再設定を行うモードに移行するためのモード移行ボタン２２９が動画２２８上に重畳して表示される。そのモード移行ボタン２２９に対してユーザからの入力が行われたら画像処理装置１０は動画の編集、移動経路再入力編集モードに移行することとなる。また、図１３Ｃに示されるように、動画の保存を指示するための保存ボタン２３０を表示させ、その保存ボタン２３０に対してユーザからの入力が行われたら動画を所定の動画フォーマットに変換して保存するようにしてもよい。
【００８８】
このように、ユーザからの移動経路の入力が完了するとすぐにプレビューを開始することにより、ユーザは入力後即座に動画を確認することができる。これにより、入力、動画の確認、保存をわかりやすく、さらに迅速に行うことができる。
【００８９】
また、図１４に示されるように、ユーザから入力された入力情報を処理対象画像２３１上に表示してユーザに提示するようにしてもよい。図１４においては、移動経路を表す線分、移動経路の開始位置を示す「start」という文字列、移動経路の終了位置を示す「Stop」という文字列が表示されている。
【００９０】
さらに、開始表示枠を示す枠の表示、開始表示枠であることを示す「zoom start」の文字列、終了表示枠であることを示す「zoom end」の文字列が表示されている。このような入力情報の表示は、ユーザからの入力時に常時表示するようにしてもよいし、ユーザからの表示を指示する入力に応じて表示するようにしてもよい。このように入力内容を表示してユーザに提示することにより、ユーザは自分が入力した内容を容易に確認することができる。なお、「start」、「stop」、「zoom start」、「zoom end」という表記はあくまで一例であり、他の文字列、アイコンなどでもよい。
【００９１】
次に、処理対象画像の応用例について説明する。処理対象画像は、１枚の画像に限られず、複数の画像を組み合わせたものでもよい。図１５は、複数の画像を組み合わせることにより処理対象画像を構成する第１の例を示すものである。図１５Ａは組み合わせる前の複数の画像である。第１の例においては、図１５Ｂに示されるように、複数の画像を重ならないように隣り合わせることにより１つの処理対象画像が構成されている。
【００９２】
図１６は、複数の画像を組み合わせることにより処理対象画像を構成する第２の例を示すものである。図１６Ａは組み合わせる前の複数の画像である。第２の例においては、図１６Ｂに示されるように、複数の画像間において被写体が一致する領域を重ねることにより一つの処理対象画像を構成している。これは、例えば、画像のマッチング処理などにより一致すると判断された画像を組み合わせて行うことができる。なお、ユーザに対しては、図１６Ｃに示されるように一つの処理対象画像として表示して提示するとよい。
【００９３】
このような画像を組み合わせることにより処理対象画像を構成する処理は、画像の供給を受けた制御部１１で行い、その処理対象画像は、制御部１１から移動経路算出部１２、表示枠設定部１３、動画作成部１４に供給するようにするとよい。
【００９４】
このように、複数の画像を用いて一つの処理対象画像を構成することにより、動画に映る範囲を広げることが可能となり、動画における表現の幅を広げることができる。また、例えば、同じ風景を異なる時刻で撮影しそれらを組み合わせて処理対象画像を構成し、Ken Burnsエフェクトでパンニングさせることにより、時間の流れを表した動画を作成することもできる。
【００９５】
＜２．第２の実施の形態＞
［２−１．画像処理装置の構成］
次に本技術の第２の実施の形態について説明する。図１７は、第２の実施の形態に係る画像処理装置２０の構成を示すブロック図である。なお、第１の実施の形態と同様の構成要素については同一の符号を付し、その説明を省略する。第２の実施の形態は、移動経路補正部２１を備える点で第１の実施の形態と相違する。
【００９６】
移動経路補正部２１は、移動経路算出部１２により求められた表示枠の移動経路を補正するものである。動画作成部１４は、移動経路補正部２１により補正された移動経路に基づいて動画を作成する。
【００９７】
移動経路の補正について、図１８を参照して説明する。移動経路は、入力部１５がタッチパネルの場合には、ユーザのなぞり操作により入力された入力情報に基づいて求められる。しかし、なぞり操作では、ユーザが意図しない方向に指が動いてしまったりすることにより、移動経路が歪んだものとなる場合がある。移動経路が歪んだものであると、パンニングエフェクトがその歪んだ移動経路に沿って行われるため、作成される動画が見難いものなる。そこで、移動経路補正部２１は、ユーザからの入力情報に基づいて算出された移動経路に公知の線分変換技術を適用することにより、移動経路を直線またはなめらかな曲線に補正し、動画を見やすいものにする。
【００９８】
図１８Ａは、ユーザからの入力情報に基づいて算出された処理対象画像２３２上の移動経路の一例を示すものである。図１８Ａからわかるように、移動経路２３３は直線や、なめらかな曲線とはなっておらず歪んだものとなっている。そこで、移動経路補正部２１は補正処理を施すことにより、図１８Ｂに示されるように移動経路２３３をなめらかな線分とする。移動経路２３３がなめらかな線分となることにより、動画が見やすいものとなる。
【００９９】
以上のようにして第２の実施の形態に係る画像処理装置２０が構成されている。なお、画像処理装置２０が、撮像装置、スマートフォン、パーソナルコンピュータ、タブレット端末、サーバなどの機器において動作する点、画像処理装置２０単体の装置として構成されてもよい点、プログラムとして提供されてもよい点などは第１の実施の形態と同様である。
【０１００】
［２−２．画像処理装置における処理］
図１９は、本技術の第２の実施の形態に係る処理の流れを示すフローチャートである。なお、第１の実施の形態と同様の処理には同一のステップ番号を付してその説明を省略する。
【０１０１】
ユーザからの入力情報が供給され、移動経路算出部１２により移動経路が求められた後、次にステップＳ２１で、移動経路補正部２１により移動経路の補正処理が行われる。そして、第１の実施の形態と同様に、ステップＳ１４乃至ステップＳ１６で、移動経路に基づいて動画作成が行われる。
【０１０２】
以上のようにして、本技術の第２の実施の形態が構成されている。この第２の実施の形態によれば、補正された座標情報に基づいた移動経路に沿って動画作成部１４が動画用画像を切り出して動画を作成することにより、動画はパンニングエフェクトがなめらかに行われる見やすい動画となる。
【０１０３】
＜３．第３の実施の形態＞
［３−１．画像処理装置の構成］
【０１０４】
次に本技術の第３の実施の形態について説明する。図２０は、第３の実施の形態に係る画像処理装置３０の構成を示すブロック図である。なお、第１の実施の形態および第２の実施の形態と同様の構成要素については同一の符号を付し、その説明を省略する。第３の実施の形態は、被写体認識部３１、構図調整部３２を備える点で第１および第２の実施の形態と相違する。
【０１０５】
被写体認識部３１は、公知の被写体認識処理などを用いて処理対象画像中における物体、人物などの被写体を認識するものである。認識方法としては、テンプレートマッチングによる顔／物体認識技術、被写体の輝度分布情報に基づくマッチング方法、画像に含まれる肌色の部分や人間の顔の特徴量等に基づく方法などを用いてもよい。また、これらの手法を組み合わせて認識精度を高めるようにしてもよい。
【０１０６】
構図調整部３２は、被写体認識部３１により認識された被写体が表示枠内に含まれるように移動経路の補正、表示枠のサイズの調整処理を行うことにより動画の構図を調整するものである。まず、構図調整部３２による構図調整の第１の態様について、図２１を参照して説明する。
【０１０７】
図２１Ａには、処理対象画像３０１上において、ユーザからの入力に基づく開始表示枠３０２、終了表示枠３０３、移動経路３０４が示されている。また、移動経路３０４に沿った表示枠の移動の軌跡が破線で示されている。図２１Ｂは、被写体認識部３１により認識された物体が示されている。図２１Ｂからわかるように、処理対象画像３０１においては、物体として、３人の人物、第１被写体３０５、第２被写体３０６、第３被写体３０７が認識されている。
【０１０８】
図２１Ａと図２１Ｂを比較してわかるように、図２１Ａに示される開始表示枠３０２、終了表示枠３０３、移動経路３０４では、第２被写体３０６の一部が表示枠内に収まっていない。この状態で動画を作成すると、動画には第２被写体３０６の全体が収まらないこととなる。
【０１０９】
そこで、構図調整部３２は、図２１Ｃに示されるように、認識された全ての被写体が表示枠内に収まるように移動経路３０４を補正することにより動画の構図を調整する。図２１Ｃにおいては、第２被写体３０６も表示枠内に収まるように、移動経路３０４が第２被写体３０６付近で下方向になめらかに湾曲するように補正されている。
【０１１０】
また、構図調整部３２は、図２１Ｄに示されるように、第２被写体３０６を含める全ての被写体が表示枠内に収まるように表示枠のサイズを調整することにより動画の構図を調整するようにしてもよい。図２１Ｄにおいては、全ての被写体が表示枠内に収まるように開始表示枠３０２、終了表示枠３０３のサイズが大きくなっている。このような移動経路の補正、表示枠の補正は、被写体として認識された領域と、表示枠を移動経路に沿って移動させることにより表示範囲となる領域とを比較することにより行うことができる。
【０１１１】
さらに、構図調整部３２は、移動経路の補正、表示枠のサイズの調整を組み合わせて動画の構図を調整するようにしてもよい。
【０１１２】
次に、構図調整部３２による構図調整の第２の態様について図２２を参照して説明する。まず、図２２Ａに示されるように、被写体認識部３１により処理対象画像３１０中から二人の人物、第１被写体３１１、第２被写体３１２が認識されたものとする。また、図２２Ｂに示されるように、ユーザからの入力に基づいて開始表示枠３１３と終了表示枠３１４とが設定されたものとする。
【０１１３】
そして、構図調整部３２は、図２２Ｃに示されるように、第１被写体３１１の中心が開始表示枠３１３の３分の１に当たる位置に一致するように、移動経路の始点の位置を調整することにより開始表示枠３１３の位置を調整する。終了表示枠３１４についても同様に、第２被写体３１２の中心が終了表示枠３１４の３分の１に当たる位置に一致するように、移動経路の終点の位置を調整することにより終了表示枠３１４の位置を調整する。なお、３分の１に当たる位置に物体を位置させるのは、いわゆる三分割法と称される、美観を起こさせ、写真をより良く見せるための構図である。
【０１１４】
このようにして、認識された表示枠をよりよい構図で収めた動画を作成することができる。なお、表示枠の位置の調整は、必ずしも３分割法に基づくものである必要はない。予め定められた比率に基づき美観を起こさせ、写真をよりよく見せるための構図であればどのようなものでもよい。そのような構図としては他にも、レイルマン比率に基づく構図、２分割法に基づく構図、黄金比に基づく構図などがある。ユーザがどの構図を用いるかを処理の前に選択することができるようにしてもよい。
【０１１５】
以上のようにして第３の実施の形態に係る画像処理装置３０が構成されている。なお、画像処理装置３０が、撮像装置、スマートフォン、パーソナルコンピュータ、タブレット端末、サーバなどの機器において動作する点、画像処理装置３０単体の装置として構成されてもよい点、プログラムとして提供されてもよい点などは第１の実施の形態と同様である。
【０１１６】
［３−２．画像処理装置における処理］
図２３は本技術の第２の実施の形態に係る処理の流れを示すフローチャートである。なお、第１および第２の実施の形態と同様の処理には同一のステップ番号を付してその説明を省略する。
【０１１７】
ステップＳ１１乃至ステップＳ１４で、処理対象画像入力、移動経路算出部１２による移動経路の算出、表示枠設定部１３による表示枠の設定がなされた後、ステップＳ３１で、被写体認識部３１により被写体認識処理が行われる。なお、被写体認識処理は、移動経路算出、表示枠設定の前に行なっていてもよい。
【０１１８】
次にステップＳ３２で、構図調整部３２により、構図調整処理が行われる。そして、ステップＳ１５およびステップＳ１６で、調整された移動経路、表示枠に基づいて動画作成部１４により、動画作成が行われる。
【０１１９】
以上のようにして、本技術の第３の実施の形態が構成されている。この第３の実施の形態によれば、認識された被写体が動画内に含まれるように移動経路および／または表示枠のサイズが調整されるため、処理対象画像中の被写体を動画に収めることができる。
【０１２０】
なお、第３の実施の形態において、構図調整部３２は構図の調整のために、表示枠のサイズの調整に加え、表示枠の形状の調整を行うようにしてもよい。
【０１２１】
＜４．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
【０１２２】
実施の形態では、動画変換部１１１は、作成された動画をMPEG、AVIなどの動画形式に変換すると説明した。しかし、動画変換部１１１は、処理対象画像上における移動経路、表示枠のサイズ、形状などの動画を作成するための情報をメタデータとして作成し、処理対象画像とメタデータとを対応付けて記憶部などに保存するようにしてもよい。そして、制御部１１による制御のもとメタデータを参照することにより、処理対象画像から動画を一時的に作成して再生する。画像データとそれに付随するメタデータは、一般的に動画データよりサイズが小さいため、この方法によれば、記憶部などのデータ保存領域の節約を図ることができる。
【０１２３】
また、動画の作成の際に、動画に音声を追加するようにしてもよい。この場合、画像処理装置４０は図２４に示されるように、効果追加部４１を備える。効果追加部４１は、動画にＢＧＭ（Back Ground Music）、効果音、音声メッセージなどの音声を追加する処理を行うものである。
【０１２４】
ユーザによる音声の追加指示の入力方法としては、例えば、入力部がタッチパネルの場合、処理対象画像上において所望の被写体に指を接触させ、指が接触している間、撮像装置などが備えるマイクロホンに対して音声を入力する。そして、効果追加部が、指が接触していた被写体と音声とを効果追加部が対応付けて、動画中にその被写体が現れたらそれに対応付けられた音声が再生されるようにする。また、ユーザが被写体を選択するための枠などのアイコンを用いて被写体を選択し、その被写体に対応させて音声を入力するようにしてもよい。
【０１２５】
なお、音声の追加指示の入力は、移動経路および表示枠の入力前または後どちらでもよい。また、音声は、マイクロホンから入力した音声だけに限られず、画像処理装置１０または画像処理装置１０の機能を備える機器が有する音声データなどでもよい。
【０１２６】
また、構図調整部３２は、被写体認識部３１による認識結果に基づいて、認識された被写体が表示枠内に収まるように調整ではなく、自動で表示枠の移動経路、表示枠のサイズ、形状を設定するようにしてもよい。
【０１２７】
また、被写体認識部３１により認識された被写体が上述した３分割法などに基づく最適な構図に収まるように構図調整部は、認識された被写体が表示枠内に収まるように、自動で表示枠の移動経路、表示枠のサイズ、形状を設定するようにしてもよい。
【０１２８】
本技術は、静止画だけでなく動画に対して適用することも可能である。動画に適用することにより、元々の動画の中でさらに特定の被写体に見る者の注目を集めることができる印象的な動画を作成することができる。
【０１２９】
また、第２の実施の形態と第３の実施の形態を組み合わせて、図２５に示されるように、画像処理装置５０を、移動経路補正部２１、被写体認識部３１、構図調整部３２を備えるものとして構成してもよい。
【０１３０】
上述した第２の実施の形態では移動経路補正部２１は移動経路算出部１２により算出された移動経路を補正すると説明を行った。しかし、入力情報から変換された座標情報を補正し、その補正された座標情報に基づいて移動経路算出部１２が移動経路を求めることにより移動経路が直線またはなめらかな曲線になるようにしてもよい。
【０１３１】
また、本技術は以下のような構成も取ることができる。
【０１３２】
（１）処理対象画像において切り出される範囲を指定する枠の移動経路を、前記処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求め、
前記移動経路に沿って前記処理対象画像から複数の画像を切り出し、該複数の画像を用いて動画を作成する
画像処理方法。
【０１３３】
（２）前記ユーザによる入力はタッチパネルに対して行われ、
前記処理対象画像上の複数の位置は、前記タッチパネルに前記ユーザが接触物体を接触させたまま所定方向に所定距離だけ動かすなぞり操作により入力される
前記（１）に記載の画像処理方法。
【０１３４】
（３）前記ユーザからの入力に応じて前記枠のサイズを設定する
前記（１）または（２）に記載の画像処理方法。
【０１３５】
（４）求められた前記移動経路を補正する
前記（１）から（３）のいずれかに記載の画像処理方法。
【０１３６】
（５）前記移動経路を直線状またはなめらかな曲線状に補正する
前記（４）に記載の画像処理方法。
【０１３７】
（６）前記処理対象画像における被写体を認識し、
認識結果に基づいて前記動画の構図を調整する
をさらに備える
前記（１）から（５）のいずれかに記載の画像処理方法。
【０１３８】
（７）認識された前記被写体が前記枠内に収まるように前記移動経路を調整することにより前記動画の構図を調整する
前記（６）に記載の画像処理方法。
【０１３９】
（８）認識された前記被写体が前記枠内に収まるように前記枠のサイズを調整することにより前記動画の構図を調整する
前記（６）または（７）に記載の画像処理方法。
【０１４０】
（９）認識された前記被写体が前記枠内の所定の位置に位置するように前記枠の前記処理対象画像中における位置を調整することにより前記動画の構図を調整する
前記（６）から（８）のいずれかに記載の画像処理方法。
【０１４１】
（１０）前記枠内の所定の位置とは、予め定められた比率に基づく位置である
前記（９）に記載の画像処理方法。
【０１４２】
（１１）前記ユーザのなぞり操作の速度に応じて前記動画の再生速度を変化させて前記動画を作成する
前記（２）に記載の画像処理方法。
【０１４３】
（１２）前記ユーザによる入力はハードウェアボタンに対して行われ、
前記処理対象画像上の複数の位置は、前記ハードウェアボタンを用いて前記処理対象画像上に複数の位置をプロットすることにより入力される
前記（１）から（１１）のいずれかに記載の画像処理方法。
【０１４４】
（１３）前記処理対象画像上にプロットされた複数の位置の間隔に基づいて前記動画の再生速度を変化させて前記動画を作成する
前記（１２）に記載の画像処理方法。
【０１４５】
（１４）前記処理対象画像は複数の画像を組み合わせた画像である
前記（１）から（１３）のいずれかに記載の画像処理方法。
【０１４６】
（１５）処理対象画像において切り出される範囲を指定する枠の移動経路を、前記処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求める移動経路算出部と、
前記移動経路に沿って前記処理対象画像から複数の画像を切り出し、該複数の画像を用いて動画を作成する動画作成部と
を備える画像処理装置。
【０１４７】
（１６）  処理対象画像において切り出される範囲を指定する枠の移動経路を、前記処理対象画像においてユーザにより入力される連続する複数の位置に基づいて求め、
前記移動経路に沿って前記処理対象画像から複数の画像を切り出し、該複数の画像を用いて動画を作成する
画像処理方法をコンピュータに実行させる画像処理プログラム。
【符号の説明】
【０１４８】
１０、２０、３０、４０、５０・・・・画像処理装置
１１・・・・・・・・・・・・・・・・制御部
１２・・・・・・・・・・・・・・・・移動経路算出部
１３・・・・・・・・・・・・・・・・表示枠設定部
１４・・・・・・・・・・・・・・・・動画作成部
１５・・・・・・・・・・・・・・・・入力部
１６・・・・・・・・・・・・・・・・表示部
２１・・・・・・・・・・・・・・・・移動経路補正部
３１・・・・・・・・・・・・・・・・被写体認識部
３２・・・・・・・・・・・・・・・・構図調整部
４１・・・・・・・・・・・・・・・・効果追加部
【図１】
2014183425.tif 000003
【図２】
2014183425.tif 000004
【図３】
2014183425.tif 000005
【図４】
2014183425.tif 000006
【図５】
2014183425.tif 000007
【図６】
2014183425.tif 000008
【図７】
2014183425.tif 000009
【図８】
2014183425.tif 000010
【図９】
2014183425.tif 000011
【図１０】
2014183425.tif 000012
【図１１】
2014183425.tif 000013
【図１２】
2014183425.tif 000014
【図１３】
2014183425.tif 000015
【図１４】
2014183425.tif 000016
【図１７】
2014183425.tif 000017
【図１８】
2014183425.tif 000018
【図１９】
2014183425.tif 000019
【図２０】
2014183425.tif 000020
【図２１】
2014183425.tif 000021
【図２２】
2014183425.tif 000022
【図２３】
2014183425.tif 000023
【図２４】
2014183425.tif 000024
【図２５】
2014183425.tif 000025
【図１５】
2014183425.tif 000026
【図１６】
2014183425.tif 000027