(57)【要約】【課題】より自然な動画フレームの切り出しを実現すること。【解決手段】動画フレームに含まれるオブジェクトの動き情報を検出する動き検出部と、前記動き検出部によりオブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定する切り出し領域決定部と、を備える、情報処理装置が提供される。【選択図】図６
2013172446.tif 000002
【特許請求の範囲】
【請求項１】
動画フレームに含まれるオブジェクトの動き情報を検出する動き検出部と、
前記動き検出部によりオブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定する切り出し領域決定部と、
を備える、
情報処理装置。
【請求項２】
前記動画フレームに含まれるオブジェクトを検出するオブジェクト検出部をさらに備え、
前記切り出し領域決定部は、前記動き検出部によりオブジェクト毎に検出された動き情報と、前記オブジェクト検出部により検出されたオブジェクトの検出結果とに基づいて前記動画フレームから切り出すべき領域を決定する、
請求項１に記載の情報処理装置。
【請求項３】
前記切り出し領域決定部は、前記オブジェクト毎に検出された動き情報と、前記オブジェクトの検出結果とを用いて当該オブジェクトの略外形に対応するオブジェクト領域を抽出し、抽出したオブジェクト領域の配置と、オブジェクト領域の配置を基準とする所定の切り出しパターンとに基づいて前記動画フレームから切り出すべき領域を決定する、
請求項２に記載の情報処理装置。
【請求項４】
前記動き検出部は、前記動画フレームに複数のオブジェクトが含まれている場合に、当該各オブジェクトの動き情報を検出する、
請求項１に記載の情報処理装置。
【請求項５】
前記動き検出部は、前記動画フレームのコーデック情報に含まれる動き情報を検出結果として出力する、
請求項１に記載の情報処理装置。
【請求項６】
前記オブジェクト検出部により検出されたオブジェクトが被写体であるか、背景であるかを識別するオブジェクト識別部をさらに備え、
前記切り出し領域決定部は、被写体であると識別されたオブジェクトのオブジェクト領域及び背景であると識別されたオブジェクトのオブジェクト領域の配置と、前記所定の切り出しパターンとに基づいて前記動画フレームから切り出すべき領域を決定する、
請求項３に記載の情報処理装置。
【請求項７】
前記オブジェクト検出部により検出されたオブジェクトが被写体であるか、背景であるかを識別するオブジェクト識別部をさらに備え、
前記切り出し領域決定部は、被写体であると識別されたオブジェクトのオブジェクト領域の配置と、前記所定の切り出しパターンとに基づいて前記動画フレームから切り出すべき領域を決定する、
請求項３に記載の情報処理装置。
【請求項８】
前記切り出し領域決定部は、被写体として識別されるオブジェクトのオブジェクト領域を除く前記動画フレーム内の領域から、インサートカットに利用可能な素材として切り出すべき領域を決定し、
前記情報処理装置は、前記切り出し領域決定部により決定された領域を前記動画フレームから切り出し、当該領域の画像を用いて、インサートカットとして動画に挿入されるインサート画像を生成するインサート画像生成部をさらに備える、
請求項１に記載の情報処理装置。
【請求項９】
前記インサート画像を挿入すべき位置を検出するインサート位置検出部と、
前記インサート画像生成部により生成されたインサート画像を前記インサート位置検出部により検出された位置に挿入するインサート画像挿入部と、
をさらに備える、
請求項８に記載の情報処理装置。
【請求項１０】
前記切り出し領域決定部は、複数の前記切り出すべき領域を決定し、
前記インサート画像生成部は、前記複数の切り出すべき領域にそれぞれ対応する複数のインサート画像を生成し、
前記インサート画像挿入部は、前記複数のインサート画像の中から選択したインサート画像を前記インサート位置検出部により検出された位置に挿入する、
請求項９に記載の情報処理装置。
【請求項１１】
動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を前記動画フレームから切り出す処理を経て得られる切り出し画像を取得する画像取得部を備える、
端末装置。
【請求項１２】
前記切り出し画像に対応する動画フレームを当該切り出し画像又は当該切り出し画像を加工した画像に置き換えた動画を再生する動画再生部をさらに備える、
請求項１１に記載の端末装置。
【請求項１３】
前記切り出すべき領域を決定する処理は、オブジェクト毎に検出された動き情報と、物体検出によるオブジェクトの検出結果とに基づいて前記動画フレームから切り出すべき領域を決定する処理である、
請求項１１に記載の端末装置。
【請求項１４】
前記切り出すべき領域を決定する処理は、前記オブジェクト毎に検出された動き情報と、前記オブジェクトの検出結果とを用いて当該オブジェクトの略外形に対応するオブジェクト領域を抽出し、抽出したオブジェクト領域の配置と、オブジェクト領域の配置を基準とする所定の切り出しパターンとに基づいて前記動画フレームから切り出すべき領域を決定する処理である、
請求項１３に記載の端末装置。
【請求項１５】
前記動き情報を検出する処理は、前記動画フレームに複数のオブジェクトが含まれている場合に、当該各オブジェクトの動き情報を検出する処理である、
請求項１１に記載の端末装置。
【請求項１６】
前記動き情報を検出する処理は、前記動画フレームのコーデック情報に含まれる動き情報を検出結果として出力する処理である、
請求項１１に記載の端末装置。
【請求項１７】
前記切り出すべき領域を決定する処理は、被写体として識別されるオブジェクトのオブジェクト領域を除く前記動画フレーム内の領域から、インサートカットに利用可能な素材として切り出すべき領域を決定する処理であり、
前記画像取得部は、前記切り出し画像を用いて生成された、インサートカットとして動画に挿入されるインサート画像を取得し、
前記端末装置は、前記インサート画像が挿入された動画を再生する動画再生部をさらに備える、
請求項１１に記載の端末装置。
【請求項１８】
撮像した動画を所定の機器に提供する動画提供部と、
前記撮像した動画の動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を撮像するための撮像方法に関する補助情報を生成する処理を実行した前記所定の機器から当該補助情報を取得する補助情報取得部と、
前記補助情報をユーザに提供する情報提供部と、
を備える、
撮像装置。
【請求項１９】
動画フレームに含まれるオブジェクトの動き情報を検出するステップと、
オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定するステップと、
を含む、
情報処理方法。
【請求項２０】
撮像した動画を所定の機器に提供すステップと、
前記撮像した動画の動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を撮像するための撮像方法に関する補助情報を生成する処理を実行した前記所定の機器から当該補助情報を取得するステップと、
前記補助情報をユーザに提供するステップと、
を含む、
撮像装置における情報提供方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法に関する。
【背景技術】
【０００２】
一般家庭などにおいてもデジタルカメラなどで撮影した映像を手軽に編集できるような環境が整ってきた。しかしながら、多くのユーザにとって、被写体に合った好適な構図で撮影したり、インサートカット用の画像を用意したりすることは案外難しい。こうした構図判定技術やインサートカット画像の挿入技術に関し、例えば、下記の特許文献１及び２には、次のような技術的事項が開示されている。
【０００３】
下記の特許文献１には、ある映像の時空間投影画像から構図の時間的な変化などを検出し、その検出結果に基づいて当該映像から一部の映像を切り出す技術が開示されている。また、下記の特許文献２には、予めインサートフラグが設定された画像を取得し、ある映像において繋がり具合が非連続的であると判定された画像間に、取得した画像をインサートカット画像として挿入する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平６−２５３１９７号公報
【特許文献２】特開２００６−３０２４５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１においては、映像の各フレームに含まれる被写体などのオブジェクトについて、個々のオブジェクトの動きを考慮した好適な構図で映像を切り出す方法に関して何ら言及されていない。また、上記の特許文献２においては、インサートカット画像として適した画像を自動生成する技術に関して何ら言及されていない。
【０００６】
そこで、本技術は、上記のような事情を受けて考案されたものであり、より自然な動画フレームの切り出しを実現することが可能な、新規かつ改良された情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法を提供することを意図したものである。
【課題を解決するための手段】
【０００７】
本技術のある観点によれば、動画フレームに含まれるオブジェクトの動き情報を検出する動き検出部と、前記動き検出部によりオブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定する切り出し領域決定部と、を備える、情報処理装置が提供される。
【０００８】
また、本技術の別の観点によれば、動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を前記動画フレームから切り出す処理を経て得られる切り出し画像を取得する画像取得部を備える、端末装置が提供される。
【０００９】
また、本技術の別の観点によれば、撮像した動画を所定の機器に提供する動画提供部と、前記撮像した動画の動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を撮像するための撮像方法に関する補助情報を生成する処理を実行した前記所定の機器から当該補助情報を取得する補助情報取得部と、前記補助情報をユーザに提供する情報提供部と、を備える、撮像装置が提供される。
【００１０】
また、本技術の別の観点によれば、動画フレームに含まれるオブジェクトの動き情報を検出するステップと、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定するステップと、を含む、情報処理方法が提供される。
【００１１】
また、本技術の別の観点によれば、撮像した動画を所定の機器に提供すステップと、前記撮像した動画の動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を撮像するための撮像方法に関する補助情報を生成する処理を実行した前記所定の機器から当該補助情報を取得するステップと、前記補助情報をユーザに提供するステップと、を含む、撮像装置における情報提供方法が提供される。
【発明の効果】
【００１２】
以上説明したように本技術によれば、より自然な動画フレームの切り出しを実現することが可能になる。
【図面の簡単な説明】
【００１３】
【図１】複数オブジェクトの動き検出技術について説明するための説明図である。
【図２】複数オブジェクトの動き検出技術について説明するための説明図である。
【図３】本実施形態に係る構図判定技術の概要について説明するための説明図である。
【図４】本実施形態に係るインサートカット画像挿入技術の概要について説明するための説明図である。
【図５】本実施形態に係る構図判定技術やインサートカット画像挿入技術を実現することが可能なシステム構成例について説明するための説明図である。
【図６】本実施形態に係る構図判定技術を実現することが可能な情報処理装置の機能構成について説明するための説明図である。
【図７】本実施形態に係る構図判定技術を実現することが可能な情報処理装置の機能構成について、より詳細に説明するための説明図である。
【図８】本実施形態に係る構図判定技術を実現することが可能な情報処理装置の機能構成について、より詳細に説明するための説明図である。
【図９】本実施形態に係る構図判定技術を実現することが可能な情報処理装置の機能構成について、より詳細に説明するための説明図である。
【図１０】本実施形態に係る被写体領域の調整方法について具体的に説明するための説明図である。
【図１１】本実施形態に係る被写体領域の調整方法について具体的に説明するための説明図である。
【図１２】本実施形態に係る切り出しパターンの例について具体的に説明するための説明図である。
【図１３】本実施形態に係る切り出しパターンの例について具体的に説明するための説明図である。
【図１４】本実施形態に係る切り出しパターンの例について具体的に説明するための説明図である。
【図１５】本実施形態に係る切り出し領域の決定方法について具体的に説明するための説明図である。
【図１６】本実施形態に係る囲い込み構図の判定方法について具体的に説明するための説明図である。
【図１７】本実施形態に係る切り出し方法について具体的に説明するための説明図である。
【図１８】本実施形態に係る切り出し方法について具体的に説明するための説明図である。
【図１９】本実施形態に係る切り出し方法について具体的に説明するための説明図である。
【図２０】本実施形態に係る構図判定処理の全体的な流れについて説明するための説明図である。
【図２１】本実施形態に係る被写体領域の検出方法について説明するための説明図である。
【図２２】本実施形態に係る動き検出方法について説明するための説明図である。
【図２３】本実施形態に係る切り出し領域の決定方法について説明するための説明図である。
【図２４】本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能なシステムを構成する撮像装置の機能構成について説明するための説明図である。
【図２５】本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能な撮像装置の動作について説明するための説明図である。
【図２６】本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能な撮像装置の動作について説明するための説明図である。
【図２７】本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能な情報処理システムの機能構成について説明するための説明図である。
【図２８】本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能な情報処理システムの動作について説明するための説明図である。
【図２９】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の機能構成について説明するための説明図である。
【図３０】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の機能構成について、より詳細に説明するための説明図である。
【図３１】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の機能構成について、より詳細に説明するための説明図である。
【図３２】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の機能構成について、より詳細に説明するための説明図である。
【図３３】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の機能構成について、より詳細に説明するための説明図である。
【図３４】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の機能構成について、より詳細に説明するための説明図である。
【図３５】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の動作について説明するための説明図である。
【図３６】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の動作について説明するための説明図である。
【図３７】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の動作について説明するための説明図である。
【図３８】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の動作について説明するための説明図である。
【図３９】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の動作について説明するための説明図である。
【図４０】本実施形態に係るインサートカット画像挿入技術を実現することが可能な情報処理装置の動作について説明するための説明図である。
【図４１】本実施形態に係る構図判定技術及びインサートカット画像挿入技術を実現可能な装置及びシステムのハードウェア構成例を示した説明図である。
【発明を実施するための形態】
【００１４】
以下に添付図面を参照しながら、本技術に係る好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１５】
［説明の流れについて］
ここで、以下に記載する説明の流れについて簡単に述べる。
【００１６】
まず、図１及び図２を参照しながら、複数オブジェクトの動き検出技術について簡単に説明する。次いで、図３を参照しながら、本実施形態に係る構図判定技術の概要について説明する。次いで、図４を参照しながら、本実施形態に係るインサートカット画像挿入技術の概要について説明する。次いで、図５を参照しながら、本実施形態に係る構図判定技術及びインサートカット画像挿入技術を適用可能なシステム構成例について説明する。
【００１７】
次いで、図６〜図１９を参照しながら、本実施形態に係る構図判定技術を実現可能な情報処理装置３０の構成について説明する。次いで、図２０〜図２３を参照しながら、本実施形態に係る構図判定技術を実現可能な情報処理装置３０の動作について説明する。
【００１８】
次いで、図２４を参照しながら、本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能な撮像装置１０の機能構成について説明する。次いで、図２５及び図２６を参照しながら、本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能な撮像装置１０の動作について説明する。次いで、図２７を参照しながら、本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能な情報処理システム２０の機能構成について説明する。次いで、図２８を参照しながら、本実施形態に係る構図判定技術を応用した構図アドバイス提供方法を実現可能な情報処理システム２０の動作について説明する。
【００１９】
次いで、図２９〜図３４を参照しながら、本実施形態に係るインサートカット画像挿入技術を実現可能な情報処理装置３０の機能構成について説明する。次いで、図３５〜図４０を参照しながら、本実施形態に係るインサートカット画像挿入技術を実現可能な情報処理装置３０の動作について説明する。次いで、図４１を参照しながら、本実施形態に係る構図判定技術及びインサートカット画像挿入技術を実現可能な装置及びシステムのハードウェア構成例について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。
【００２０】
（説明項目）
１：はじめに
１−１：複数オブジェクトの動き検出技術
１−２：構図判定技術の概要
１−３：インサートカット画像挿入技術の概要
１−４：システム構成について
２：構図判定技術の詳細
２−１：情報処理装置３０の構成（構成例＃１）
２−２：情報処理装置３０の動作
２−３：応用例＃１（コーデックの動き情報を利用する構成）
２−４：応用例＃２（広角撮影した映像を利用する構成）
２−５：応用例＃３（構図アドバイス機能）
２−５−１：撮像装置１０の構成
２−５−２：撮像装置１０の動作
２−５−３：情報処理システム２０の構成
２−５−４：情報処理システム２０の動作
３：インサートカット画像挿入技術の詳細
３−１：情報処理装置３０の構成（構成例＃２）
３−２：情報処理装置３０の動作
３−３：応用例＃１（音声を考慮した挿入位置の決定方法）
３−４：応用例＃２（色合いを考慮した挿入画像の選択方法）
４：ハードウェア構成例
５：まとめ
【００２１】
＜１：はじめに＞
はじめに、本実施形態に係る構図判定技術及びインサートカット画像挿入技術に関連する複数オブジェクトの動き検出技術について紹介する。また、本実施形態に係る構図判定技術及びインサートカット画像挿入技術の概要について述べる。
【００２２】
［１−１：複数オブジェクトの動き検出技術（図１、図２）］
まず、図１及び図２を参照しながら、複数オブジェクトの動き検出技術について説明する。図１及び図２は、複数オブジェクトの動き検出技術について説明するための説明図である。
【００２３】
この技術は、動画フレームに複数のオブジェクト（図１の例では人Ｍ１及びＭ２）が含まれる場合に、各オブジェクトの動きベクトル（図１の例ではＯｂｊｅｃｔＭＶ１及びＯｂｊｅｃｔＭＶ２）を算出する技術である。動きベクトルを検出する技術としては、例えば、ブロックマッチング法などの手法がよく利用される。
【００２４】
こうした手法を利用すると、動画フレームを構成する各ブロックの動きベクトル（以下、ＬＭＶ）を検出することができる。さらに、検出された多数のＬＭＶをクラスタリングし、各クラスタ（図２の例ではＣｌｕｓｔｅｒ＃１〜＃３）に属するＬＭＶの代表をＯｂｊｅｃｔＭＶとして抽出することで、オブジェクト毎の動きベクトルを得ることが可能になる。本稿においては、このような技術を複数オブジェクトの動き検出技術と呼ぶ。
【００２５】
以上、複数オブジェクトの動き検出技術について説明した。
【００２６】
［１−２：構図判定技術の概要（図３）］
次に、図３を参照しながら、本実施形態に係る構図判定技術の概要について説明する。図３は、本実施形態に係る構図判定技術の概要について説明するための説明図である。
【００２７】
本実施形態に係る構図判定技術は、オブジェクト（図３の例では人Ｍ１）の動きを考慮して好適な構図を決定し、その構図に適合する領域を切り出す技術に関する。例えば、図３の例では、オブジェクトＭ１がフレームの中央付近に位置し、右方向に移動している。オブジェクトＭ１の動きは、動きベクトルＯｂｊｅｃｔＭＶ１により検出される。このとき、本実施形態に係る構図判定技術においては、例えば、オブジェクトＭ１の動き方向に空間をとるようにして切り出し範囲が決定される。そして、この切り出し範囲が切り出され、サイズ調整などの加工処理が施された上で元の動画フレームに置き換えられる。
【００２８】
本実施形態に係る構図判定技術の一つの特徴は、各オブジェクトの動きを考慮した切り出し範囲の決定方法にある。また、本実施形態に係る構図判定技術は、複数オブジェクトが動画フレームに含まれる場合に、各オブジェクトの動きベクトルを考慮して切り出し範囲を決定することも念頭に置いている。こうした決定方法を実現するために、上述した複数オブジェクトの動き検出技術が利用される。ここでは動きの方向に空間をとる切り出し方法を紹介したが、オブジェクト毎の動きベクトルを利用することで、様々な構図を実現することが可能になる。他の切り出しパターンについては、後段において具体例を交えながら詳述する。また、本実施形態に係る構図判定技術を用いて決定した好適な構図の情報をユーザに提供する仕組みについても紹介する。
【００２９】
以上、本実施形態に係る構図判定技術の概要について説明した。
【００３０】
［１−３：インサートカット画像挿入技術の概要（図４）］
次に、図４を参照しながら、本実施形態に係るインサートカット画像挿入技術の概要について説明する。図４は、本実施形態に係るインサートカット画像挿入技術の概要について説明するための説明図である。
【００３１】
本実施形態に係るインサートカット画像挿入技術は、インサートカットに用いる画像（以下、インサート画像）の素材を動画フレームから自動的に切り出し、その素材を加工してインサート画像を生成する技術に関する。例えば、図４に示すように、主要なオブジェクト（図４の例では人Ｍ１〜Ｍ３）を含まない領域の一部がインサート画像の素材として用いる切り出し範囲に設定される。このとき、切り出し範囲は、例えば、動画フレームのアスペクト比と同じ形状に設定される。また、この切り出し範囲の画像が切り出され、動画フレームのサイズに拡大されてインサート画像が生成される。そして、このインサート画像は、シーンチェンジなどのポイントに挿入される。後段において詳述するが、本実施形態に係るインサートカット画像挿入技術は、インサート画像の自動生成、インサートカットを入れるポイントの自動検出、及びインサート画像の自動挿入を含む技術である。
【００３２】
以上、本実施形態に係るインサートカット画像挿入技術の概要について説明した。
【００３３】
［１−４：システム構成について（図５）］
次に、図５を参照しながら、本実施形態に係る構図判定技術及びインサートカット画像挿入技術を適用可能なシステムの構成例について説明する。図５は、本実施形態に係る構図判定技術及びインサートカット画像挿入技術を適用可能なシステムの構成例について説明するための説明図である。但し、ここで紹介するシステム構成は一例であり、実施の態様に応じて様々に変形することが可能である。
【００３４】
図５に示すように、このシステムは、例えば、撮像装置１０、情報処理システム２０、情報処理装置３０などにより構成される。撮像装置１０は、動画を撮像する機器である。また、情報処理システム２０は、例えば、撮像装置１０とネットワークを介して接続されたクラウドコンピューティングシステムやサーバシステムなどである。また、情報処理装置３０は、パーソナルコンピュータ、情報端末、ゲーム機などの機器である。なお、以下では、説明の都合上、撮像装置１０により撮像された映像データを情報処理装置３０が主に処理することを前提に説明を進めるが、情報処理装置３０の機能を情報処理システム２０に搭載するシステム構成としてもよいし、その逆の構成であってもよい。また、情報処理装置３０が複数台の装置で構成されていてもよい。
【００３５】
以上、本実施形態に係る構図判定技術及びインサートカット画像挿入技術を適用可能なシステムの構成例について説明した。ここでは本実施形態に係る構図判定技術及びインサートカット画像挿入技術を実行する装置やシステムを含んだシステム構成例を示したが、当該システムは、さらに、構図判定結果を反映した動画を取得して再生する端末装置を含んでいてもよい。同様に、当該システムは、インサートカット画像挿入技術によりインサートカットが挿入された動画を取得して再生する端末装置を含んでいてもよい。
【００３６】
以上、本実施形態に係る主要な技術の概要などについて説明した。以下では、本実施形態に係る構図判定技術及びインサートカット画像挿入技術について順次詳細に説明する。
【００３７】
＜２：構図判定技術の詳細＞
以下、本実施形態に係る構図判定技術について説明する。
【００３８】
［２−１：情報処理装置３０の構成（構成例＃１；図６〜図１９）］
まず、図６を参照しながら、本実施形態に係る構図判定技術を実現することが可能な情報処理装置３０の構成について説明する。図６は、本実施形態に係る構図判定技術を実現することが可能な情報処理装置３０の構成について説明するための説明図である。
【００３９】
図６に示すように、情報処理装置３０は、主に、被写体領域検出部３０１と、オブジェクト毎動き検出部３０２と、切り出し領域決定部３０３と、切り出しパターンデータベース３０４と、切り出し部３０５とにより構成される。
【００４０】
構図判定処理を開始すると、まず、現在の動画フレームに相当するＣＵＲ画像が被写体領域検出部３０１、オブジェクト毎動き検出部３０２、切り出し領域決定部３０３、及び切り出し部３０５に入力される。また、動き検出に用いる参照フレームに相当するＲＥＦ画像がオブジェクト毎動き検出部３０２に入力される。被写体領域検出部３０１は、被写体検出技術（物体認識、顔認識、顔トラッキングなども含む。）を利用してＣＵＲ画像から被写体を含む領域（以下、被写体領域）を検出する。被写体領域検出部３０１により検出された被写体領域の情報（以下、被写体領域情報）は、切り出し領域決定部３０３に入力される。
【００４１】
一方、ＣＵＲ画像及びＲＥＦ画像が入力されたオブジェクト毎動き検出部３０２は、入力されたＣＵＲ画像及びＲＥＦ画像を利用して各オブジェクトの動きベクトルＯｂｊｅｃｔＭＶを検出する。オブジェクト毎動き検出部３０２により検出された各オブジェクトの動きベクトルＯｂｊｅｃｔＭＶの情報（以下、ＯｂｊｅｃｔＭＶ情報）は、切り出し領域決定部３０３に入力される。
【００４２】
以上のように、切り出し領域決定部３０３には、ＣＵＲ画像、被写体領域情報、及びＯｂｊｅｃｔＭＶ情報が入力される。これらの情報が入力されると、切り出し領域決定部３０３は、入力された情報に基づいて切り出し領域を決定する。このとき、切り出し領域決定部３０３は、切り出しパターンデータベース３０４から読み出した切り出しパターンの情報に基づいて切り出し領域を決定する。切り出しパターンとは、例えば、「オブジェクトの動き方向に空間をもたせる構図」「３分割構図」「囲い込み構図」など、オブジェクトの配置や動き方向を基準とする切り出し条件を規定した情報である。
【００４３】
切り出し領域決定部３０３により決定された切り出し領域の情報は、切り出し部３０５に入力される。切り出し領域の情報が入力されると、切り出し部３０５は、入力された切り出し領域の情報に従ってＣＵＲ画像から一部の領域を切り出して切り出し画像を生成する。切り出し部３０５により生成された切り出し画像は、情報処理装置３０から出力される。例えば、切り出し画像は、端末装置（非図示）や撮像装置１０などに提供される。また、切り出し画像は、動画フレームのサイズに拡大された後、ＣＵＲ画像に代えて元の動画に挿入される。
【００４４】
以上、情報処理装置３０の構成について大まかに説明した。以下では、情報処理装置３０の主要な構成要素について、より詳細に説明する。
【００４５】
（被写体領域検出部３０１の詳細）
まず、図７を参照しながら、被写体領域検出部３０１の構成について、より詳細に説明する。図７は、被写体領域検出部３０１の構成について、より詳細に説明するための説明図である。
【００４６】
図７に示すように、被写体領域検出部３０１は、主に、輝度情報抽出部３１１と、色情報抽出部３１２と、エッジ情報抽出部３１３と、被写体情報抽出部３１４と、動き情報抽出部３１５と、被写体マップ生成部３１６と、被写体領域特定部３１７とにより構成される。
【００４７】
被写体領域検出部３０１にＣＵＲ画像が入力されると、入力されたＣＵＲ画像は、輝度情報抽出部３１１、色情報抽出部３１２、エッジ情報抽出部３１３、被写体情報抽出部３１４、動き情報抽出部３１５、被写体領域特定部３１７に入力される。輝度情報抽出部３１１は、ＣＵＲ画像から輝度情報を抽出し、被写体マップ生成部３１６に入力する。色情報抽出部３１２は、ＣＵＲ画像から色情報を抽出し、被写体マップ生成部３１６に入力する。エッジ情報抽出部３１３は、ＣＵＲ画像からエッジ情報を抽出し、被写体マップ生成部３１６に入力する。被写体情報抽出部３１４は、ＣＵＲ画像から被写体情報を抽出し、被写体マップ生成部３１６に入力する。動き情報抽出部３１５は、ＣＵＲ画像から動き情報を抽出し、被写体マップ生成部３１６に入力する。
【００４８】
輝度情報、色情報、エッジ情報、被写体情報、及び動き情報が入力されると、被写体マップ生成部３１６は、入力された輝度情報、色情報、エッジ情報、被写体情報、及び動き情報を用いて被写体マップを生成する。被写体マップ生成部３１６により生成された被写体マップは、被写体領域特定部３１７に入力される。被写体マップが入力されると、被写体領域特定部３１７は、入力されたＣＵＲ画像及び被写体マップに基づいて各被写体に対応する領域（被写体領域）を特定し、被写体領域情報を出力する。
【００４９】
以上、被写体領域検出部３０１の構成について説明した。
【００５０】
（オブジェクト毎動き検出部３０２の詳細）
次に、図８を参照しながら、オブジェクト毎動き検出部３０２の構成について、より詳細に説明する。図８は、オブジェクト毎動き検出部３０２の構成について、より詳細に説明するための説明図である。
【００５１】
図８に示すように、オブジェクト毎動き検出部３０２は、主に、ＬＭＶ検出部３２１と、ブロック除外判定部３２２と、クラスタリング部３２３と、平均値算出部３２４、３２５、３２６、３２７、３２８と、ディレイバッファ３２９とにより構成される。
【００５２】
オブジェクト毎動き検出部３０２にＣＵＲ画像及びＲＥＦ画像が入力されると、入力されたＣＵＲ画像及びＲＥＦ画像は、ＬＭＶ検出部３２１に入力される。ＬＭＶ検出部３２１は、ＣＵＲ画像及びＲＥＦ画像を用いてＬＭＶを検出する。例えば、ＬＭＶ検出部３２１は、ブロックマッチング法などの手法を用いてブロック毎のＬＭＶを検出する。ＬＭＶ検出部３２１により検出されたＬＭＶは、ブロック除外判定部３２２、クラスタリング部３２３、及び平均値算出部３２４、３２５、３２６、３２７、３２８に入力される。
【００５３】
ＬＭＶが入力されると、ブロック除外判定部３２２は、ブロック単位でのＤＲ（Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、及びブロックの座標に基づいてクラスタリングの際に利用しない不要なブロック（以下、除外ブロック）を判定する。ブロック除外判定部３２２により不要ブロックと判定されたブロックの情報は、クラスタリング部３２３に入力される。除外ブロックの情報が入力されると、クラスタリング部３２３は、除外ブロックに対応するＬＭＶ以外のＬＭＶを対象に、ＬＭＶのクラスタリング処理を実行する。
【００５４】
クラスタリング部３２３によるクラスタリングの結果は、平均値算出部３２４、３２５、３２６、３２７、３２８に入力される。平均値算出部３２４は、クラスタ＃０に属するＬＭＶの平均値を算出し、算出した平均値をＯｂｊｅｃｔＭＶ０として出力する。なお、＃０〜＃４は便宜的に付した番号である。また、ここでは説明の都合上、クラスタ数が５の場合を想定しているが、クラスタ数が５を超える場合には適宜平均値算出部などの数や構成を変更されたい。
【００５５】
同様に、平均値算出部３２５は、クラスタ＃１に属するＬＭＶの平均値を算出し、算出した平均値をＯｂｊｅｃｔＭＶ１として出力する。平均値算出部３２６は、クラスタ＃２に属するＬＭＶの平均値を算出し、算出した平均値をＯｂｊｅｃｔＭＶ２として出力する。平均値算出部３２７は、クラスタ＃３に属するＬＭＶの平均値を算出し、算出した平均値をＯｂｊｅｃｔＭＶ３として出力する。平均値算出部３２８は、クラスタ＃４に属するＬＭＶの平均値を算出し、算出した平均値をＯｂｊｅｃｔＭＶ４として出力する。
【００５６】
また、平均値算出部３２４、３２５、３２６、３２７、３２８から出力されたＯｂｊｅｃｔＭＶ０〜ＯｂｊｅｃｔＭＶ４は、ディレイバッファ３２９に格納される。ディレイバッファ３２９に格納されたＯｂｊｅｃｔＭＶ０〜ＯｂｊｅｃｔＭＶ４は、クラスタリング部３２３により読み出され、次回クラスタリング処理を実行する際に利用される。例えば、後述する階層的クラスタリングを実行する場合などにおいて、前回のクラスタリング処理において抽出された各クラスタの代表ベクトル（ＯｂｊｅｃｔＭＶ）が利用される。
【００５７】
以上、オブジェクト毎動き検出部３０２の構成について説明した。
【００５８】
（切り出し領域決定部３０３の詳細）
次に、図９〜図１４を参照しながら、切り出し領域決定部３０３の構成について、より詳細に説明する。図９〜図１４は、切り出し領域決定部３０３の構成について、より詳細に説明するための説明図である。
【００５９】
図９に示すように、切り出し領域決定部３０３は、主に、被写体領域調整部３３１と、切り出し領域算出部３３２とにより構成される。
【００６０】
切り出し領域決定部３０３に被写体領域情報、ＯｂｊｅｃｔＭＶ情報、及びＣＵＲ画像が入力されると、入力された被写体領域情報、ＯｂｊｅｃｔＭＶ情報、及びＣＵＲ画像は、被写体領域調整部３３１に入力される。これらの情報が入力されると、被写体領域調整部３３１は、図１０に示すように、ＯｂｊｅｃｔＭＶ情報から認識される被写体領域と、被写体領域情報に示された被写体領域とを照合し、その照合結果に応じて被写体領域を調整する。
【００６１】
図１０の例では、ＯｂｊｅｃｔＭＶ情報から２つのオブジェクトＯＢＪ１、ＯＢＪ２に対応する被写体領域が認識されている。一方、被写体領域情報としては、一例として、顔認識により検出されたオブジェクトＯＢＪ１の顔領域が被写体領域として得られている。この場合、被写体領域調整部３３１は、ＯｂｊｅｃｔＭＶ情報が示す２つの被写体領域のうち、被写体領域情報が示す被写体領域を含むものを抽出し、調整後の被写体領域として認識する。このような調整を行うことで、例えば、人を被写体とする領域をより精度良く切り出すことが可能になる。
【００６２】
上記の例では、ＯｂｊｅｃｔＭＶ情報と、顔認識の結果とを照合させる方法を示したが、例えば、顔以外の部位（手や上半身など）の検出結果を利用しても同様の効果を得ることが可能である。また、ＯｂｊｅｃｔＭＶ情報では除外されてしまった領域を被写体領域情報により補完する方法なども考えられる。例えば、平坦な色彩の衣服を身につけている人を被写体とすると、衣服の部分がＯｂｊｅｃｔＭＶ情報の被写体領域から除外されてしまうことがある。このような除外された領域が被写体領域情報として検出されている場合、被写体領域情報により特定される被写体領域を含むように、被写体領域調整部３３１は、被写体領域を調整する。
【００６３】
このように、ＯｂｊｅｃｔＭＶ情報から判定した被写体領域の位置と、被写体検出により検出された被写体領域の位置とを照合することにより、被写体領域の検出精度を高めることが可能になる。なお、被写体領域の調整方法としては、図１０に例示した方法の他、図１１に示すような様々な方法が考えられる。特に、図１１に示した方法は、例えば、図１０に示したオブジェクトＯＢＪ１及びＯＢＪ２の被写体領域が共に検出された場合などに適用される。例えば、（例１）サイズの大きい被写体領域を選択して調整後の被写体領域とする方法、（例２）全ての被写体領域を含む矩形の領域を調整後の被写体領域とする方法、（例３）顔認識で検出された顔を含む領域を優先的に調整後の被写体領域とする方法などが考えられる。
【００６４】
その他にも、（例４）顔認識で認識された自分の子供を含む領域を優先的に調整後の被写体領域とする方法、（例５）物体認識で検出された特定物体を含む領域を優先的に調整後の被写体領域とする方法、（例６）被写体領域の候補をユーザに提示して、調整後の被写体領域をユーザに選択させる方法なども考えられる。このようにして被写体領域調整部３３１により調整された被写体領域の情報は、切り出し領域算出部３３２に入力される。被写体領域の情報が入力されると、切り出し領域算出部３３２は、切り出しパターンデータベース３０４から読み出した切り出しパターンの情報に基づいて切り出し領域を算出する。
【００６５】
例えば、切り出しパターンとして「３分割構図」を選択した場合、切り出し領域算出部３３２は、図１２に示すように、被写体であるオブジェクトＯＢＪ１が画面の左側から１／３の範囲に収まるように切り出し領域を算出する。なお、切り出しパターンとしては、「３分割構図」の他にも、例えば、図１３に示すように様々なパターンが考えられる。例えば、（例１）被写体が占める割合に応じた切り出しパターン、（例２）被写体の種類に応じた切り出しパターン、（例３）被写体周辺のエッジに応じた切り出しパターン、（例４）動き量に応じた切り出しパターン、（例５）切り出しパターンを提示し、ユーザに選択してもらう方法なども考えられる。なお、（例２）などの方法には顔認識などの処理が必要になるが、公知の顔認識方法を利用すればよい。
【００６６】
また、切り出し領域を決定した場合、切り出し領域算出部３３２は、図１４に示すように、切り出し領域の左上隅の座標（開始点（ｘ，ｙ））、切り出し領域の幅Ｗｉｄｔｈ、切り出し領域の高さＨｅｉｇｈｔなどの値を算出する。このようにして算出された切り出し領域を規定する値は、切り出し部３０５に入力される。
【００６７】
（切り出し領域の決定方法に関する補足説明）
ここで、図１５〜図１９を参照しながら、切り出し領域の決定方法について説明を補足する。図１５〜図１９は、切り出し領域の決定方法について説明を補足するための説明図である。
【００６８】
まず、図１５を参照する。図１５に示すように、ＣＵＲ画像に被写体と背景とが含まれる場合、背景を考慮した切り出し領域の決定方法が考えられる。例えば、背景を含む領域（以下、背景領域）の重心を含むように切り出す方法が考えられる。また、背景領域を無視するように切り出す方法も考えられる。また、背景領域を無視するか否かを選択し、その選択結果に応じた切り出しパターンでで切り出す方法も考えられる。この選択は、例えば、ユーザに選択させる方法や、背景領域の面積に応じて選択する方法などが考えられる。また、被写体の動きと背景領域の位置とを考慮して切り出し領域を決定する方法なども考えられる。
【００６９】
次に、図１６を参照する。図１６に示すように、切り出しパターンとして「囲い込み構図」を選択することが適当な場合がある。囲い込み構図を判定する方法としては、例えば、次のような方法が考えられる。まず、被写体領域の中心を基準に画像を４象限に分割し、各象限に属する背景領域の画素数を計数する。そして、４象限全てにおいて背景領域の画素数が所定の閾値以上となる場合に、囲い込み構図が適当であると判定する。なお、閾値判定する対象を画素数の値から画素数の割合に変更しても同様にして囲い込み構図の判定が可能である。囲い込み構図が適当と判定された場合、被写体の中心が三分線の中心にくるように切り出したり、被写体の中心が画面の中央にくるように切り出したりする方法が適用される。
【００７０】
次に、図１７を参照する。図１７に示すように、複数の被写体の動きに応じた切り出し方法も考えられる。この場合、主要な被写体を選択し、主要な被写体を基準に切り出し領域を決定する方法が適用される。主要な被写体の選択基準としては、例えば、面積の大きな被写体、最前面に位置する被写体、ブレ・ボケのない被写体などが考えられる。図１７の例では、例えば、最も面積の大きなオブジェクトＯＢＪ１が主要な被写体として選択され、オブジェクトＯＢＪ１を基準として切り出し領域が決定される。
【００７１】
次に、図１８及び図１９を参照する。これまでは切り出すＣＵＲ画像を動画中のどの動画フレームにするかという点について考察してこなかった。ここでは、この点について述べる。１つの方法として、図１８に示すように、被写体間の距離が最小となる動画フレームを選択し、選択した動画フレームを切り出し対象とする方法が考えられる。この場合、接近している複数の被写体を１つの被写体領域で認識し、例えば、認識した被写体領域の中心が三分割線上にのるように切り出す方法などが考えられる。逆に、図１９に示すように、被写体間の距離が最大となる動画フレームを切り出し対象とする方法も考えられる。この場合、例えば、各被写体領域の中心が三分割線上にのるように切り出す方法などが考えられる。
【００７２】
このように、様々な切り出し方法が適用可能である。
【００７３】
以上、情報処理装置３０の機能構成について詳細に説明した。
【００７４】
［２−２：情報処理装置３０の動作（図２０〜図２３）］
次に、図２０〜図２３を参照しながら、情報処理装置３０の動作について説明する。図２０〜図２３は、情報処理装置３０の動作について説明するための説明図である。
【００７５】
（全体的な処理の流れ）
まず、全体的な処理の流れについて説明する。図２０に示すように、情報処理装置３０は、まず、被写体検出技術に基づいて被写体領域を検出する（Ｓ１０１）。次いで、情報処理装置３０は、オブジェクト毎の動きベクトルを検出する（Ｓ１０２）。次いで、情報処理装置３０は、オブジェクト毎の動きベクトル、被写体領域の検出結果、切り出しパターンに基づいて切り出し領域を決定する（Ｓ１０３）。次いで、情報処理装置３０は、ステップＳ１０３で決定した切り出し領域を切り出して（Ｓ１０４）、一連の処理を終了する。なお、ステップＳ１０１、Ｓ１０２の処理は順序を入れ替えてもよい。
【００７６】
以上、全体的な処理の流れについて説明した。
【００７７】
（被写体領域の検出に係る処理の流れ）
次に、被写体領域の検出に係る処理の流れについて説明する。図２１に示すように、情報処理装置３０は、まず、ＣＵＲ画像から輝度情報を抽出する（Ｓ１１１）。次いで、情報処理装置３０は、ＣＵＲ画像から色情報を抽出する（Ｓ１１２）。次いで、情報処理装置３０は、ＣＵＲ画像からエッジ情報を抽出する（Ｓ１１３）。次いで、情報処理装置３０は、ＣＵＲ画像から被写体情報を抽出する（Ｓ１１４）。
【００７８】
次いで、情報処理装置３０は、ＣＵＲ画像から動き情報を抽出する（Ｓ１１５）。次いで、情報処理装置３０は、輝度情報、色情報、エッジ情報、被写体情報、動き情報を用いて被写体マップを生成する（Ｓ１１６）。次いで、情報処理装置３０は、ステップＳ１１６で生成した被写体マップを利用して被写体領域を検出し（Ｓ１１７）、被写体領域の検出に係る一連の処理を終了する。
【００７９】
以上、被写体領域の検出に係る処理の流れについて説明した。
【００８０】
（動き検出に係る処理の流れ）
次に、動き検出に係る処理の流れについて説明する。図２２に示すように、情報処理装置３０は、まず、全ブロックについて処理を終了したか否かを判定する（Ｓ１２１）。全ブロックについて処理を終了した場合、情報処理装置３０は、処理をステップＳ１２５に進める。一方、全ブロックについて処理を終了していない場合、情報処理装置３０は、処理をステップＳ１２２に進める。
【００８１】
処理をステップＳ１２２に進めた場合、情報処理装置３０は、現在注目しているブロックが除外対象のブロックであるか否かを判定する（Ｓ１２２）。除外対象のブロックである場合、情報処理装置３０は、処理をステップＳ１２３に進める。一方、除外対象のブロックでない場合、情報処理装置３０は、処理をステップＳ１２４に進める。
【００８２】
処理をステップＳ１２３に進めた場合、情報処理装置３０は、現在注目しているブロックについて除外フラグを入力し（Ｓ１２３）、処理をステップＳ１２１に進める。一方、処理をステップＳ１２４に進めた場合、情報処理装置３０は、ＬＭＶのクラスタリングを実行し（Ｓ１２４）、処理をステップＳ１２１に進める。ステップＳ１２１において処理をステップＳ１２５に進めた場合、情報処理装置３０は、各クラスタについてＬＭＶの平均値を算出し（Ｓ１２５）、動き検出に係る一連の処理を終了する。
【００８３】
以上、動き検出に係る処理の流れについて説明した。
【００８４】
（切り出し領域の決定に係る処理の流れ）
次に、切り出し領域の決定に係る処理の流れについて説明する。図２３に示すように、情報処理装置３０は、被写体領域情報とＯｂｊｅｃｔＭＶ情報とに基づいて被写体領域を調整する（Ｓ１３１）。次いで、情報処理装置３０は、調整後の被写体領域と切り出しパターンとに基づいて切り出し領域を決定し（Ｓ１３２）、切り出し領域の決定に係る一連の処理を終了する。
【００８５】
以上、切り出し領域の決定に係る処理の流れについて説明した。
【００８６】
以上、情報処理装置３０の動作について説明した。
【００８７】
［２−３：応用例＃１（コーデックの動き情報を利用する構成）］
ところで、これまではＯｂｊｅｃｔＭＶを一々算出することを前提に説明を進めてきたが、例えば、動画に含まれるコーデック情報を利用することで、ＯｂｊｅｃｔＭＶの算出負荷を低減することが可能になる。もちろん、ＯｂｊｅｃｔＭＶ情報がコーデック情報に含まれていれば、その情報をそのまま利用することでＯｂｊｅｃｔＭＶの算出工程が省略可能になり、大幅に処理の軽量化が図れる。また、コーデック情報にＬＭＶの情報が含まれていれば、ＯｂｊｅｃｔＭＶを算出する際にＬＭＶの算出工程を省略することが可能になり、処理負荷の軽減及び処理時間の短縮が図れる。
【００８８】
［２−４：応用例＃２（広角撮影した映像を利用する構成）］
ところで、好適な構図になるようにＣＵＲ画像を切り出すと、当然のことながら画像サイズが小さくなる。そのため、切り出し画像を動画に挿入する際には、切り出し画像を動画フレームのサイズまで拡大する必要がある。その際、画質の劣化が生じてしまう。そこで、本実施形態に係る構図判定技術を適用する場合、高解像度で撮像することが好ましい。高解像度で撮像することにより、画質の劣化を抑制することが可能になる。また、予め広角撮影された動画を用意することで、切り出し可能な範囲が広がることになり、実現可能な切り出しパターンが増加し、より柔軟で多様な構図作りが可能になる。
【００８９】
［２−５：応用例＃３（構図アドバイス機能）］
さて、これまで切り出しパターンに対応する構図となるように切り出し領域を決定してＣＵＲ画像から切り出し画像を生成する方法について説明してきた。しかし、切り出し画像を生成する過程で得られる切り出し領域の情報は、撮影者にとっても有用な情報である。つまり、切り出し領域の情報は、どのような構図で撮影するのが適当かを判断するのに利用可能である。そこで、本件発明者は、切り出し領域の情報を構図のアドバイスに利用する仕組みを考案した。例えば、撮像装置１０及び情報処理システム２０を以下のような構成にすることで上記のような構図アドバイス機能が実現できるようになる。
【００９０】
（２−５−１：撮像装置１０の構成（図２４））
まず、図２４を参照しながら、構図アドバイス機能を搭載した撮像装置１０の機能構成について説明する。図２４は、構図アドバイス機能を搭載した撮像装置１０の機能構成について説明するための説明図である。
【００９１】
図２４に示すように、撮像装置１０は、主に、撮像部１０１と、画像データ送信部１０２と、通信デバイス１０３と、アドバイス受信部１０４と、アドバイス提示部１０５とにより構成される。
【００９２】
撮像部１０１は、ズームレンズやフォーカスレンズなどで構成される光学系、ＣＣＤやＣＭＯＳなどの固体撮像素子、固体撮像素子から出力される電気信号をＡ／Ｄ変換して画像データを生成する画像処理回路などを含む。撮像部１０１から出力された画像データは、画像データ送信部１０２に入力される。画像データが入力されると、画像データ送信部１０２は、通信デバイス１０３を介して画像データを情報処理システム２０に送信する。なお、通信デバイス１０３は、筐体から着脱可能な構成であってもよい。
【００９３】
画像データを受信した情報処理システム２０から構図アドバイスの情報が送信された場合、アドバイス受信部１０４は、通信デバイス１０３を介して構図アドバイスの情報を受信する。アドバイス受信部１０４により受信された構図アドバイスの情報は、アドバイス提示部１０５に入力される。構図アドバイスの情報が入力されると、アドバイス提示部１０５は、入力された構図アドバイスの情報をユーザに提示する。例えば、アドバイス提示部１０５は、表示部（非図示）に切り出し領域に対応する枠線を表示したり、自動的にズーム機構を駆動させて切り出し領域と撮像領域とが近づくように制御したりする。
【００９４】
以上、撮像装置１０の構成について説明した。
【００９５】
（２−５−２：撮像装置１０の動作（図２５、図２６））
次に、図２５及び図２６を参照しながら、構図アドバイス機能を搭載した撮像装置１０の動作について説明する。図２５及び図２６は、構図アドバイス機能を搭載した撮像装置１０の動作について説明するための説明図である。
【００９６】
まず、図２５を参照する。図２５に示すように、画像データ送信処理を開始した撮像装置１０は、動画像の画像データを撮像する（Ｓ２０１）。次いで、撮像装置１０は、ステップＳ２０１で撮像した動画像の画像データを情報処理システム２０に送信する（Ｓ２０２）。次いで、撮像装置１０は、画像データ送信処理の終了操作があったか否かを判定する（Ｓ２０３）。終了操作があった場合、撮像装置１０は、画像データ送信処理に係る一連の処理を終了する。一方、終了操作がない場合、撮像装置１０は、処理をステップＳ２０１に進める。
【００９７】
次に、図２６を参照する。図２６に示すように、アドバイス提示処理を開始した撮像装置１０は、まず、情報処理システム２０から構図アドバイスの情報を受信したか否かを判定する（Ｓ２１１）。構図アドバイスの情報を受信した場合、撮像装置１０は、処理をステップＳ２１２に進める。一方、構図アドバイスの情報を受信していない場合、撮像装置１０は、処理をステップＳ２１１に進める。処理をステップＳ２１２に進めた場合、撮像装置１０は、情報処理システム２０から受信した構図アドバイスの情報をユーザに提示し（Ｓ２１２）、アドバイス提示処理に係る一連の処理を終了する。
【００９８】
以上、撮像装置１０の動作について説明した。
【００９９】
（２−５−３：情報処理システム２０の構成（図２７））
次に、図２７を参照しながら、構図アドバイス機能を搭載した情報処理システム２０の機能構成について説明する。図２７は、構図アドバイス機能を搭載した情報処理システム２０の機能構成について説明するための説明図である。
【０１００】
図２７に示すように、情報処理システム２０は、主に、画像データ受信部２０１と、切り出し方法決定部２０２と、アドバイス生成部２０３と、アドバイス送信部２０４とにより構成される。
【０１０１】
撮像装置１０から送信された画像データは、画像データ受信部２０１により受信される。画像データ受信部２０１により受信された画像データは、切り出し方法決定部２０２に入力される。画像データが入力されると、切り出し方法決定部２０２は、上述した情報処理装置３０と同様に、画像データから被写体領域情報及びＯｂｊｅｃｔＭＶ情報を検出し、被写体領域を調整後、切り出しパターンに基づいて切り出し領域を決定する。切り出し方法決定部２０２により決定された切り出し領域の情報は、アドバイス生成部２０３に入力される。
【０１０２】
切り出し領域の情報が入力されると、アドバイス生成部２０３は、入力された切り出し領域の情報に基づいて構図アドバイスの情報を生成する。例えば、アドバイス生成部２０３は、切り出し領域の位置や縦横のサイズなどの情報を含む構図アドバイスの情報を生成する。或いは、アドバイス生成部２０３は、切り出し領域の情報から、ズーム制御値、撮像装置１０の傾き、レンズを向ける方向などについて修正すべき内容を含む構図アドバイスの情報を生成する。
【０１０３】
アドバイス生成部２０３により生成された構図アドバイスの情報は、アドバイス送信部２０４に入力される。構図アドバイスの情報が入力されると、アドバイス送信部２０４は、入力された構図アドバイスの情報を撮像装置１０に送信する。
【０１０４】
以上、情報処理システム２０の構成について説明した。
【０１０５】
（２−５−４：情報処理システム２０の動作（図２８））
次に、図２８を参照しながら、構図アドバイス機能を搭載した情報処理システム２０の動作について説明する。図２８は、構図アドバイス機能を搭載した情報処理システム２０の動作について説明するための説明図である。
【０１０６】
図２８に示すように、アドバイス送信処理を開始した情報処理システム２０は、まず、撮像装置１０から画像データを受信したか否かを判定する（Ｓ３０１）。画像データを受信した場合、情報処理システム２０は、処理をステップＳ３０２に進める。一方、画像データを受信していない場合、情報処理システム２０は、処理をステップＳ３０１に進める。処理をステップＳ３０２に進めた場合、情報処理システム２０は、切り出し方法を決定する（Ｓ３０２）。次いで、情報処理システム２０は、ステップＳ３０２で決定した切り出し方法に基づいて構図アドバイスの情報を生成する（Ｓ３０３）。次いで、情報処理システム２０は、ステップＳ３０３で生成した構図アドバイスの情報を撮像装置１０に送信し（Ｓ３０４）、処理をステップＳ３０１に進める。
【０１０７】
以上、情報処理システム２０の動作について説明した。
【０１０８】
以上、本実施形態に係る構図判定技術の詳細について説明した。
【０１０９】
＜３：インサートカット画像挿入技術の詳細＞
次に、本実施形態に係るインサートカット画像挿入技術について説明する。なお、ここで説明するインサートカット画像挿入技術は、被写体領域情報及びＯｂｊｅｃｔＭＶ情報を利用してインサート画像の素材を切り出すための切り出し領域を検出する点で、上述した構図判定技術と一部共通する部分がある。
【０１１０】
［３−１：情報処理装置３０の構成（構成例＃２；図２９〜図３４）］
まず、図２９を参照しながら、本実施形態に係るインサートカット画像挿入技術を実現可能な情報処理装置３０の機能構成について説明する。図２９は、本実施形態に係るインサートカット画像挿入技術を実現可能な情報処理装置３０の機能構成について説明するための説明図である。
【０１１１】
図２９に示すように、情報処理装置３０は、主に、インサート画像選択部３５１と、インサート画像生成部３５２と、切り出し画像バッファ３５３と、インサート画像バッファ３５４と、インサート画像挿入ポイント検出部３５５と、挿入インサート画像決定部３５６と、インサート画像挿入部３５７とにより構成される。
【０１１２】
なお、以下では、インサート画像選択部３５１、インサート画像生成部３５２、切り出し画像バッファ３５３をインサート画像生成ブロックＢ１と呼ぶことがある。また、インサート画像挿入ポイント検出部３５５、挿入インサート画像決定部３５６、及びインサート画像挿入部３５７をインサート画像挿入ブロックＢ２と呼ぶことがある。
【０１１３】
（インサート画像生成ブロックＢ１の構成）
ＣＵＲ画像の画像データが情報処理装置３０に入力されると、入力された画像データは、インサート画像選択部３５１に入力される。画像データが入力されると、インサート画像選択部３５１は、入力された画像データの一部を切り出してインサート画像の素材として用いる切り出し画像を生成する。インサート画像選択部３５１により生成された切り出し画像は、インサート画像生成部３５２に入力されると共に、切り出し画像バッファ３５３に格納される。切り出し画像が入力されると、インサート画像生成部３５２は、入力された切り出し画像を動画フレームのサイズに拡大してインサート画像を生成する。インサート画像生成部３５２により生成されたインサート画像は、インサート画像バッファ３５４に格納される。
【０１１４】
（インサート画像挿入ブロックＢ２の構成）
インサート画像の挿入対象となる画像データが情報処理装置３０に入力されると。入力された画像データは、インサート画像挿入ポイント検出部３５５に入力される。画像データが入力されると、インサート画像挿入ポイント検出部３５５は、入力された画像データからシーンチェンジなど、インサートカットを挿入すべきポイント（以下、挿入ポイント）を検出する。インサート画像挿入ポイント検出部３５５により検出された挿入ポイントの情報は、挿入インサート画像決定部３５６に入力される。
【０１１５】
挿入ポイントの情報が入力されると、挿入インサート画像決定部３５６は、インサート画像バッファ３５４に格納されたインサート画像の中から、入力された挿入ポイントへの挿入に適したインサート画像（以下、挿入インサート画像）を決定する。挿入インサート画像決定部３５６により決定された挿入インサート画像は、インサート画像挿入部３５７に入力される。挿入インサート画像が入力されると、インサート画像挿入部３５７は、入力された挿入インサート画像を挿入ポイントに挿入し、挿入インサート画像が挿入された画像データ（以下、挿入後画像データ）を出力する。
【０１１６】
以上、情報処理装置３０の構成について大まかに説明した。以下では、情報処理装置３０の主要な構成要素について、より詳細に説明する。
【０１１７】
（インサート画像選択部３５１の詳細）
まず、図３０を参照しながら、インサート画像選択部３５１の構成について、より詳細に説明する。図３０は、インサート画像選択部３５１の構成について、より詳細に説明するための説明図である。
【０１１８】
図３０に示すように、インサート画像選択部３５１は、主に、被写体領域検出部３６１と、オブジェクト毎動き検出部３６２と、インサートカット用領域検出部３６３と、インサートカット用領域切り出し部３６４とにより構成される。なお、被写体領域検出部３６１の機能は、上述した被写体領域検出部３０１の機能と実質的に同じである。また、オブジェクト毎動き検出部３６２の機能は、上述したオブジェクト毎動き検出部３０２の機能と実質的に同じである。
【０１１９】
インサート画像選択部３５１にＣＵＲ画像が入力されると、ＣＵＲ画像は、被写体領域検出部３６１、オブジェクト毎動き検出部３６２、インサートカット用領域検出部３６３、及びインサートカット用領域切り出し部３６４に入力される。ＣＵＲ画像が入力された被写体領域検出部３６１は、被写体検出技術に基づいてＣＵＲ画像に含まれる被写体領域を検出する。被写体領域検出部３６１により検出された被写体領域の情報（被写体領域情報）は、インサートカット用領域検出部３６３に入力される。
【０１２０】
オブジェクト毎動き検出部３６２には、ＣＵＲ画像に含まれる各オブジェクトの動きベクトルを検出する際に用いるＲＥＦ画像が入力される。オブジェクト毎動き検出部３６２は、入力されたＣＵＲ画像及びＲＥＦ画像に基づいて各オブジェクトの動きベクトルを検出する。オブジェクト毎動き検出部３６２により検出された各オブジェクトの動きベクトルを示す情報（ＯｂｊｅｃｔＭＶ情報）は、インサートカット用領域検出部３６３に入力される。
【０１２１】
ＣＵＲ画像、被写体領域情報、及びＯｂｊｅｃｔＭＶ情報が入力されると、インサートカット用領域検出部３６３は、インサートカット用に用いるインサート画像の素材としてＣＵＲ画像から切り出すべき領域（切り出し領域）を検出する。インサートカット用領域検出部３６３により検出された切り出し領域の情報は、インサートカット用領域切り出し部３６４に入力される。切り出し領域の情報が入力されると、インサートカット用領域切り出し部３６４は、入力された切り出し領域の情報に従ってＣＵＲ画像の一部を切り出し、切り出した画像（切り出し画像）を切り出し画像バッファ３５３に格納する。
【０１２２】
（インサートカット用領域検出部３６３の詳細）
ここで、図３１を参照しながら、インサートカット用領域検出部３６３の構成について、さらに詳細に説明する。図３１は、インサートカット用領域検出部３６３の構成について、さらに詳細に説明するための説明図である。
【０１２３】
図３１に示すように、インサートカット用領域検出部３６３は、主に、被写体領域調整部３７１と、インサートカット用画像領域決定部３７２とにより構成される。なお、被写体領域調整部３７１の機能は、上述した被写体領域調整部３３１の機能と実質的に同じである。
【０１２４】
インサートカット用領域検出部３６３に被写体領域情報、ＣＵＲ画像、ＯｂｊｅｃｔＭＶ情報が入力されると、これらの情報は、被写体領域調整部３７１に入力される。これらの情報が入力されると、被写体領域調整部３７１は、被写体領域情報から特定される被写体領域と、ＯｂｊｅｃｔＭＶ情報から特定される被写体領域とを照合し、両者が合致する被写体領域を調整後の被写体領域として認識する。なお、被写体領域調整部３７１は、上述した被写体領域調整部３３１と同様、他の方法で被写体領域を調整するように構成されていてもよい。
【０１２５】
このようにして被写体領域調整部３７１により得られた調整後の被写体領域の情報は、インサートカット用画像領域決定部３７２に入力される。被写体領域の情報が入力されると、インサートカット用画像領域決定部３７２は、入力された被写体領域の情報に基づいてインサートカットに用いる切り出し領域を決定する。例えば、インサートカット用画像領域決定部３７２は、被写体領域を除く領域から、動画フレームと同じアスペクト比の矩形領域を切り出し領域に決定する。
【０１２６】
以上、インサート画像選択部３５１の構成について説明した。
【０１２７】
（インサート画像生成部３５２の詳細）
次に、図３２を参照しながら、インサート画像生成部３５２の構成について、より詳細に説明する。図３２は、インサート画像生成部３５２の構成について、より詳細に説明するための説明図である。
【０１２８】
図３２に示すように、インサート画像生成部３５２は、主に、同一シーン検出部３８１と、画像拡大部３８２とにより構成される。
【０１２９】
インサート画像生成部３５２に切り出し画像が入力されると、入力された切り出し画像は、同一シーン検出部３８１に入力される。切り出し画像が入力された同一シーン検出部３８１は、切り出し画像バッファ３５３に格納された切り出し画像の中から、入力された切り出し画像と同じシーンに対応する切り出し画像を検出する。そして、同一シーン検出部３８１は、検出した同一シーンの切り出し画像の情報を画像拡大部３８２に入力する。
【０１３０】
なお、ここでは複数枚の動画フレームを利用した超解像技術を適用して切り出し画像を拡大する方法を考えているため、同一シーンの切り出し画像を用意するブロックを設けているが、１枚の動画フレームによる超解像技術の場合には、このブロックは不要である。また、超解像技術を用いずとも、Ｂｉｃｕｂｉｃ変換やＢｉｌｉｎｅａｒ変換などの手法により切り出し画像を拡大する場合にも、上記のブロックは不要になる。但し、ここでは複数枚の動画フレームを利用した超解像技術の適用を前提として説明を進める。
【０１３１】
なお、上記のような１枚の動画フレームから切り出し画像を拡大する手法において、複数の同一シーンがある場合に同一シーンの中から品質の良いものを選択して用いる方法などを適用することも可能である。例えば、同一シーンの中から、ブレやボケが少ない動画フレームやノイズが少ない動画フレームを選択して利用することにより、切り出し画像の画質劣化を抑制することが可能になる。
【０１３２】
同一シーンの切り出し画像の情報が入力されると、画像拡大部３８２は、現在の切り出し画像と、同一シーンの切り出し画像とを用いて現在の切り出し画像に超解像処理を施し、動画フレームと同サイズにまで現在の切り出し画像を拡大する。画像拡大部３８２により拡大された切り出し画像は、インサート画像として出力される。
【０１３３】
なお、画像拡大部３８２は、例えば、図３３に示すように構成することが可能である。図３３の例において、画像拡大部３８２は、主に、初期画像生成回路３９１と、ＳＲ画像バッファ３９２と、超解像処理器３９３、３９５、３９７と、加算器３９４、３９６、３９８と、スイッチＳＷとにより構成される。なお、図３３に例示した画像拡大部３８２の詳細な構成及び動作については、特開２００８−１４００１２号公報を参照されたい。
以上、インサート画像生成部３５２の構成について説明した。
【０１３４】
（インサート画像挿入ポイント検出部３５５の詳細）
次に、図３４を参照しながら、インサート画像挿入ポイント検出部３５５の構成について、より詳細に説明する。図３４は、インサート画像挿入ポイント検出部３５５の構成について、より詳細に説明するための説明図である。
【０１３５】
図３４に示すように、インサート画像挿入ポイント検出部３５５は、主に、遅延器４０１と、シーンチェンジ検出部４０２と、挿入判定部４０３とにより構成される。
【０１３６】
インサート画像挿入ポイント検出部３５５に画像データが入力されると、入力された画像データは、遅延器４０１及びシーンチェンジ検出部４０２に入力される。遅延器４０１は、１フレーム分だけ画像データの出力を遅延させる。そのため、現在の画像データが入力されると、遅延器４０１は、現在の画像データより１フレーム前の画像データをシーンチェンジ検出部４０２に入力する。従って、シーンチェンジ検出部４０２には、現在の画像データと、１フレーム前の画像データとが入力される。
【０１３７】
現在の画像データと、１フレーム前の画像データとが入力されると、シーンチェンジ検出部４０２は、入力された２枚の画像データを比較してシーンチェンジを検出する。シーンチェンジ検出部４０２による検出結果は、挿入判定部４０３に通知される。シーンチェンジが検出された場合、挿入判定部４０３は、「挿入有り」と判定し、挿入ポイントであることを示す挿入フラグを出力する。一方、シーンチェンジが検出されなかった場合、挿入判定部４０３は、「挿入無し」と判定し、挿入ポイントではないことを示す挿入フラグを出力する。
【０１３８】
なお、ここでは対象となるフレームの前後に位置するフレームに基づいてシーンチェンジを検出する方法を紹介したが、前後に位置するフレーム以外のフレームを参照してシーンチェンジを検出することも可能である。例えば、数フレーム分だけ、誤ってレンズを足下に向けてしまった場合など、その部分に相当する複数フレームについて挿入ポイントが設定されるようにすることで、該当部分にインサート画像が挿入されるようになる。
【０１３９】
以上、インサート画像挿入ポイント検出部３５５の構成について説明した。
【０１４０】
以上、情報処理装置３０の機能構成について詳細に説明した。
【０１４１】
［３−２：情報処理装置３０の動作（図３５〜図４０）］
次に、図３５〜図４０を参照しながら、情報処理装置３０の動作について説明する。図３５〜図４０は、情報処理装置３０の動作について説明するための説明図である。
【０１４２】
（インサート画像生成ブロックＢ１による全体的な処理の流れ）
まず、図３５を参照しながら、インサート画像生成ブロックＢ１による全体的な処理の流れについて説明する。図３５は、インサート画像生成ブロックＢ１による全体的な処理の流れについて説明するための説明図である。
【０１４３】
図３５に示すように、インサート画像生成ブロックＢ１は、まず、インサート画像に適した画像を選択し、切り出し画像バッファに保存する（Ｓ４０１）。次いで、インサート画像生成ブロックＢ１は、ステップＳ４０１で選択した画像をフレームサイズに拡大してインサート画像を生成する（Ｓ４０２）。次いで、インサート画像生成ブロックＢ１は、ステップＳ４０２で生成したインサート画像をインサート画像バッファに保存し（Ｓ４０３）、インサート画像の生成に係る一連の処理を終了する。
【０１４４】
以上、インサート画像生成ブロックＢ１による全体的な処理の流れについて説明した。
【０１４５】
（インサート用画像の選択に係る処理の流れ）
次に、図３６を参照しながら、インサート用画像の選択に係る処理の流れについて、より詳細に説明する。図３６は、インサート用画像の選択に係る処理の流れについて、より詳細に説明するための説明図である。
【０１４６】
図３６に示すように、インサート画像生成ブロックＢ１は、まず、被写体領域を検出する（Ｓ４１１）。次いで、インサート画像生成ブロックＢ１は、オブジェクト毎の動きベクトルを検出する（Ｓ４１２）。次いで、インサート画像生成ブロックＢ１は、オブジェクト毎の動きベクトル、被写体領域の検出結果、及び切り出しパターンに基づいてインサート画像の素材を切り出すための切り出し領域を決定する（Ｓ４１３）。次いで、インサート画像生成ブロックＢ１は、ステップＳ４１３で検出した切り出し領域を切り出し、切り出し画像を切り出し画像バッファに保存して（Ｓ４１４）、インサート用画像の選択に係る一連の処理を終了する。なお、ステップＳ４１１、Ｓ４１２の処理順序は入れ替えてもよい。
【０１４７】
以上、インサート用画像の選択に係る処理の流れについて説明した。
【０１４８】
（インサート画像用領域の検出に係る処理の流れ）
次に、図３７を参照しながら、インサート画像用領域の検出に係る処理の流れについて説明する。図３７は、インサート画像用領域の検出に係る処理の流れについて説明するための説明図である。
【０１４９】
図３７に示すように、インサート画像生成ブロックＢ１は、被写体領域情報と、ＯｂｊｅｃｔＭＶ情報とに基づいて被写体領域を調整する（Ｓ４２１）。次いで、インサート画像生成ブロックＢ１は、被写体領域を除外した矩形領域をインサート画像用領域（切り出し領域）として出力し（Ｓ４２２）、インサート画像用領域の検出に係る一連の処理を終了する。
【０１５０】
以上、インサート画像用領域の検出に係る処理の流れについて説明した。
【０１５１】
（インサート画像の生成に係る処理の流れ）
次に、図３８を参照しながら、インサート画像の生成に係る処理の流れについて説明する。図３８は、インサート画像の生成に係る処理の流れについて説明するための説明図である。
【０１５２】
図３８に示すように、インサート画像生成ブロックＢ１は、まず、前フレームと同じシーンか否かを確認する（Ｓ４３１）。なお、切り出し画像を拡大する際に複数枚超解像を適用しない場合は、ステップＳ４３１を省略することが可能である。次いで、インサート画像生成ブロックＢ１は、同じシーンの複数フレームを用いて超解像を適用しつつ、現在のフレーム（切り出し画像）を拡大し、インサート画像バッファに保存して（Ｓ４３２）、インサート画像の生成に係る一連の処理を終了する。
【０１５３】
なお、インサート画像生成ブロックＢ１は、所定時間の動きに相当するシーケンスを考慮して切り出し処理を実施し、切り出された画像からインサート画像（この場合、動画としてインサート画像群が得られる。）を生成してバッファに保存するように構成されていてもよい。かかる構成により、例えば、運動会のシーンにおいて旗の動きや観客の動きなどを所定時間分だけ撮影したインサート画像群を利用することが可能になる。つまり、インサートに適した動画をインサートすることが可能になる。また、動画として利用されることを考慮し、撮像時のブレを除去する処理などを施したり、動画として不自然な印象を与えないよう、拡大処理の際などに工夫を加えたりすることが好ましい。
【０１５４】
以上、インサート画像の生成に係る処理の流れについて説明した。
【０１５５】
（インサート画像挿入ブロックＢ２による全体的な処理の流れ）
次に、図３９を参照しながら、インサート画像挿入ブロックＢ２による全体的な処理の流れについて説明する。図３９は、インサート画像挿入ブロックＢ２による全体的な処理の流れについて説明するための説明図である。
【０１５６】
図３９に示すように、インサート画像挿入ブロックＢ２は、まず、インサート画像の挿入ポイントを検出する（Ｓ４４１）。例えば、インサート画像挿入ブロックＢ２は、シーンチェンジが生じたポイントを挿入ポイントして検出する。次いで、インサート画像挿入ブロックＢ２は、挿入するインサート画像をインサート画像バッファから選択する（Ｓ４４２）。次いで、インサート画像挿入ブロックＢ２は、ステップＳ４４２で選択したインサート画像を挿入ポイントに挿入し（Ｓ４４３）、一連の処理を終了する。
【０１５７】
以上、インサート画像挿入ブロックＢ２による全体的な処理の流れについて説明した。
【０１５８】
（挿入ポイントの検出に係る処理の流れ）
次に、図４０を参照しながら、挿入ポイントの検出に係る処理の流れについて説明する。図４０は、挿入ポイントの検出に係る処理の流れについて説明するための説明図である。
【０１５９】
図４０に示すように、インサート画像挿入ブロックＢ２は、まず、シーンチェンジの有無を確認する（Ｓ４５１）。次いで、インサート画像挿入ブロックＢ２は、シーンチェンジ有りの場合に「挿入有り」を示す挿入フラグを出力し、シーンチェンジ無しの場合に「挿入無し」を示す挿入フラグを出力して（Ｓ４５２）、挿入ポイントの検出に係る一連の処理を終了する。
【０１６０】
以上、挿入ポイントの検出に係る処理の流れについて説明した。なお、上記の説明においては、１枚のインサート画像を挿入する処理に注目して説明を進めたが、複数枚の動画フレームで構成される動画をインサートする構成に拡張することも可能である。また、所定時間（例えば、５秒など）分のインサート画像を用意する場合、その時間に相当する枚数の動画フレームからインサート画像群を生成してもよい。また、同じ動画フレームを所定時間分挿入してもよい。
【０１６１】
以上、情報処理装置３０の動作について説明した。
【０１６２】
［３−３：応用例＃１（音声を考慮した挿入位置の決定方法）］
上記の説明においては、前フレームの画像と現フレームの画像とを比較することによりシーンチェンジを検出する方法を紹介した。しかし、本実施形態に係る技術を適用するに当たってシーンチェンジの検出方法は、上述した方法に限定されない。例えば、音声を利用してシーンチェンジを検出する方法なども考えられる。例えば、運動会の音楽など、背景の音声に連続性がある場合、シーンチェンジが発生していないと判定することができる。より具体的には、画像の比較からシーンチェンジであると判定されても、背景の音声に連続性がある場合にはシーンチェンジではないと判定する方法などが有効であろう。このように、音声をシーンチェンジに適用することでシーンチェンジの検出精度が向上し、より好適な挿入ポイントの検出が可能になる。
【０１６３】
［３−４：応用例＃２（色合いを考慮した挿入画像の選択方法）］
また、インサート画像の選択方法について、例えば、なるべく挿入ポイントに近い動画フレームから切り出されたインサート画像を選択するようにしたり、色合いの近いインサート画像を選択することで、より自然なインサートカットが実現できるようになる。例えば、（前フレームの全画素値平均値＋後フレームの全画素値平均値）／２と、インサート画像候補の全画素値平均値とを比べ、両者の差異が最も小さい候補をインサート画像として採用する方法などが考えられる。また、既に挿入したインサート画像を再度使わないようにするなどの制限を課すことも現実的には有効であろう。また、こうした条件を考慮して適当なインサート画像がない場合、動画とは無関係に予め用意されたインサート画像を選択して挿入する方法なども考えられる。
【０１６４】
以上、本実施形態に係るインサートカット画像挿入技術の詳細について説明した。
【０１６５】
＜４：ハードウェア構成例（図４１）＞
上記の情報処理装置３０及び情報処理システム２０が有する各構成要素の機能は、例えば、図４１に示すようなハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図４１に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔの略である。
【０１６６】
図４１に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略である。
【０１６７】
ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
【０１６８】
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
【０１６９】
出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ  Ｄｉｓｐｌａｙの略である。
【０１７０】
記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅの略である。
【０１７１】
ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ  ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔの略である。
【０１７２】
接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ  Ｃｏｍｐｕｔｅｒ  Ｓｙｓｔｅｍ  Ｉｎｔｅｒｆａｃｅの略である。
【０１７３】
通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ  ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅの略である。
【０１７４】
＜５：まとめ＞
最後に、本実施形態の技術的思想について簡単に纏める。以下に記載する技術的思想は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム等、種々の情報処理装置に対して適用することができる。
【０１７５】
上記の情報処理装置の機能構成は次のように表現することができる。例えば、下記（１）のように表現した情報処理装置は、オブジェクト毎の動き情報を利用して切り出し領域を決定するため、例えば、オブジェクトが動く先にあるものを残しつつ、バランスの良い構図に動画フレームの構図を調整することが可能になる。
【０１７６】
（１）
動画フレームに含まれるオブジェクトの動き情報を検出する動き検出部と、
前記動き検出部によりオブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定する切り出し領域決定部と、
を備える、
情報処理装置。
【０１７７】
（２）
前記動画フレームに含まれるオブジェクトを検出するオブジェクト検出部をさらに備え、
前記切り出し領域決定部は、前記動き検出部によりオブジェクト毎に検出された動き情報と、前記オブジェクト検出部により検出されたオブジェクトの検出結果とに基づいて前記動画フレームから切り出すべき領域を決定する、
上記（１）に記載の情報処理装置。
【０１７８】
（３）
前記切り出し領域決定部は、前記オブジェクト毎に検出された動き情報と、前記オブジェクトの検出結果とを用いて当該オブジェクトの略外形に対応するオブジェクト領域を抽出し、抽出したオブジェクト領域の配置と、オブジェクト領域の配置を基準とする所定の切り出しパターンとに基づいて前記動画フレームから切り出すべき領域を決定する、
上記（２）に記載の情報処理装置。
【０１７９】
（４）
前記動き検出部は、前記動画フレームに複数のオブジェクトが含まれている場合に、当該各オブジェクトの動き情報を検出する、
上記（１）〜（３）のいずれか１項に記載の情報処理装置。
【０１８０】
（５）
前記動き検出部は、前記動画フレームのコーデック情報に含まれる動き情報を検出結果として出力する、
上記（１）〜（４）のいずれか１項に記載の情報処理装置。
【０１８１】
（６）
前記オブジェクト検出部により検出されたオブジェクトが被写体であるか、背景であるかを識別するオブジェクト識別部をさらに備え、
前記切り出し領域決定部は、被写体であると識別されたオブジェクトのオブジェクト領域及び背景であると識別されたオブジェクトのオブジェクト領域の配置と、前記所定の切り出しパターンとに基づいて前記動画フレームから切り出すべき領域を決定する、
上記（３）に記載の情報処理装置。
【０１８２】
（７）
前記オブジェクト検出部により検出されたオブジェクトが被写体であるか、背景であるかを識別するオブジェクト識別部をさらに備え、
前記切り出し領域決定部は、被写体であると識別されたオブジェクトのオブジェクト領域の配置と、前記所定の切り出しパターンとに基づいて前記動画フレームから切り出すべき領域を決定する、
上記（３）に記載の情報処理装置。
【０１８３】
（８）
前記切り出し領域決定部は、被写体として識別されるオブジェクトのオブジェクト領域を除く前記動画フレーム内の領域から、インサートカットに利用可能な素材として切り出すべき領域を決定し、
前記情報処理装置は、前記切り出し領域決定部により決定された領域を前記動画フレームから切り出し、当該領域の画像を用いて、インサートカットとして動画に挿入されるインサート画像を生成するインサート画像生成部をさらに備える、
上記（１）〜（５）のいずれか１項に記載の情報処理装置。
【０１８４】
（９）
前記インサート画像を挿入すべき位置を検出するインサート位置検出部と、
前記インサート画像生成部により生成されたインサート画像を前記インサート位置検出部により検出された位置に挿入するインサート画像挿入部と、
をさらに備える、
上記（８）に記載の情報処理装置。
【０１８５】
（１０）
前記切り出し領域決定部は、複数の前記切り出すべき領域を決定し、
前記インサート画像生成部は、前記複数の切り出すべき領域にそれぞれ対応する複数のインサート画像を生成し、
前記インサート画像挿入部は、前記複数のインサート画像の中から選択したインサート画像を前記インサート位置検出部により検出された位置に挿入する、
上記（９）に記載の情報処理装置。
【０１８６】
（１１）
動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を前記動画フレームから切り出す処理を経て得られる切り出し画像を取得する画像取得部を備える、
端末装置。
【０１８７】
（１２）
前記切り出し画像に対応する動画フレームを当該切り出し画像又は当該切り出し画像を加工した画像に置き換えた動画を再生する動画再生部をさらに備える、
上記（１１）に記載の端末装置。
【０１８８】
（１３）
前記切り出すべき領域を決定する処理は、オブジェクト毎に検出された動き情報と、物体検出によるオブジェクトの検出結果とに基づいて前記動画フレームから切り出すべき領域を決定する処理である、
上記（１１）又は（１２）に記載の端末装置。
【０１８９】
（１４）
前記切り出すべき領域を決定する処理は、前記オブジェクト毎に検出された動き情報と、前記オブジェクトの検出結果とを用いて当該オブジェクトの略外形に対応するオブジェクト領域を抽出し、抽出したオブジェクト領域の配置と、オブジェクト領域の配置を基準とする所定の切り出しパターンとに基づいて前記動画フレームから切り出すべき領域を決定する処理である、
上記（１３）に記載の端末装置。
【０１９０】
（１５）
前記動き情報を検出する処理は、前記動画フレームに複数のオブジェクトが含まれている場合に、当該各オブジェクトの動き情報を検出する処理である、
上記（１１）〜（１４）のいずれか１項に記載の端末装置。
【０１９１】
（１６）
前記動き情報を検出する処理は、前記動画フレームのコーデック情報に含まれる動き情報を検出結果として出力する処理である、
上記（１１）〜（１５）のいずれか１項に記載の端末装置。
【０１９２】
（１７）
前記切り出すべき領域を決定する処理は、被写体として識別されるオブジェクトのオブジェクト領域を除く前記動画フレーム内の領域から、インサートカットに利用可能な素材として切り出すべき領域を決定する処理であり、
前記画像取得部は、前記切り出し画像を用いて生成された、インサートカットとして動画に挿入されるインサート画像を取得し、
前記端末装置は、前記インサート画像が挿入された動画を再生する動画再生部をさらに備える、
上記（１１）に記載の端末装置。
【０１９３】
（１８）
撮像した動画を所定の機器に提供する動画提供部と、
前記撮像した動画の動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を撮像するための撮像方法に関する補助情報を生成する処理を実行した前記所定の機器から当該補助情報を取得する補助情報取得部と、
前記補助情報をユーザに提供する情報提供部と、
を備える、
撮像装置。
【０１９４】
（１９）
動画フレームに含まれるオブジェクトの動き情報を検出するステップと、
オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定するステップと、
を含む、
情報処理方法。
【０１９５】
（２０）
撮像した動画を所定の機器に提供すステップと、
前記撮像した動画の動画フレームに含まれるオブジェクトの動き情報を検出し、オブジェクト毎に検出された動き情報を用いて前記動画フレームから切り出すべき領域を決定し、決定した領域を撮像するための撮像方法に関する補助情報を生成する処理を実行した前記所定の機器から当該補助情報を取得するステップと、
前記補助情報をユーザに提供するステップと、
を含む、
撮像装置における情報提供方法。
【０１９６】
（２１）
上記（１）〜（１８）のいずれかに記載された情報処理装置、端末装置、又は撮像装置が有する各構成要素の機能をコンピュータに実現させることが可能なプログラム。当該プログラムが記録された、コンピュータにより読取り可能な記録媒体。
【０１９７】
（備考）
上記のオブジェクト毎動き検出部３０２は、動き検出部の一例である。上記の被写体領域検出部３０１は、オブジェクト検出部、オブジェクト識別部の一例である。上記のインサート画像挿入ポイント検出部３５５は、インサート位置検出部の一例である。上記の画像データ送信部１０２は、動画提供部の一例である。上記のアドバイス受信部１０４は、補助情報取得部の一例である。上記のアドバイス提示部１０５は、情報提供部の一例である。
【０１９８】
以上、添付図面を参照しながら本技術に係る好適な実施形態について説明したが、本技術はここで開示した構成例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本技術の技術的範囲に属するものと了解される。
【符号の説明】
【０１９９】
１０    撮像装置
１０１    撮像部
１０２    画像データ送信部
１０３    通信デバイス
１０４    アドバイス受信部
１０５    アドバイス提示部
２０    情報処理システム
２０１    画像データ受信部
２０２    切り出し方法決定部
２０３    アドバイス生成部
２０４    アドバイス送信部
３０    情報処理装置
３０１    被写体領域検出部
３０２    オブジェクト毎動き検出部
３０３    切り出し領域決定部
３０４    切り出しパターンデータベース
３０５    切り出し部
３１１    輝度情報抽出部
３１２    色情報抽出部
３１３    エッジ情報抽出部
３１４    被写体情報抽出部
３１５    動き情報抽出部
３１６    被写体マップ生成部
３１７    被写体領域特定部
３２１    ＬＭＶ検出部
３２２    ブロック除外判定部
３２３    クラスタリング部
３２４、３２５、３２６、３２７、３２８    平均値算出部
３２９    ディレイバッファ
３３１    被写体領域調整部
３３２    切り出し領域算出部
３５１    インサート画像選択部
３５２    インサート画像生成部
３５３    切り出し画像バッファ
３５４    インサート画像バッファ
３５５    インサート画像挿入ポイント検出部
３５６    挿入インサート画像決定部
３５７    インサート画像挿入部
３６１    被写体領域検出部
３６２    オブジェクト毎動き検出部
３６３    インサートカット用領域検出部
３６４    インサートカット用領域切り出し部
３７１    被写体領域調整部
３７２    インサートカット用画像領域決定部
３８１    同一シーン検出部
３８２    画像拡大部
３９１    初期画像生成回路
３９２    ＳＲ画像バッファ
３９３、３９５、３９７    超解像処理器
３９４、３９６、３９８    加算器
４０１    遅延器
４０２    シーンチェンジ検出部
４０３    挿入判定部
Ｂ１    インサート画像生成ブロック
Ｂ２    インサート画像挿入ブロック
【図１】
2013172446.tif 000003
【図２】
2013172446.tif 000004
【図３】
2013172446.tif 000005
【図４】
2013172446.tif 000006
【図５】
2013172446.tif 000007
【図６】
2013172446.tif 000008
【図７】
2013172446.tif 000009
【図８】
2013172446.tif 000010
【図９】
2013172446.tif 000011
【図１０】
2013172446.tif 000012
【図１１】
2013172446.tif 000013
【図１２】
2013172446.tif 000014
【図１３】
2013172446.tif 000015
【図１４】
2013172446.tif 000016
【図１５】
2013172446.tif 000017
【図１６】
2013172446.tif 000018
【図１７】
2013172446.tif 000019
【図１８】
2013172446.tif 000020
【図１９】
2013172446.tif 000021
【図２０】
2013172446.tif 000022
【図２１】
2013172446.tif 000023
【図２２】
2013172446.tif 000024
【図２３】
2013172446.tif 000025
【図２４】
2013172446.tif 000026
【図２５】
2013172446.tif 000027
【図２６】
2013172446.tif 000028
【図２７】
2013172446.tif 000029
【図２８】
2013172446.tif 000030
【図２９】
2013172446.tif 000031
【図３０】
2013172446.tif 000032
【図３１】
2013172446.tif 000033
【図３２】
2013172446.tif 000034
【図３３】
2013172446.tif 000035
【図３４】
2013172446.tif 000036
【図３５】
2013172446.tif 000037
【図３６】
2013172446.tif 000038
【図３７】
2013172446.tif 000039
【図３８】
2013172446.tif 000040
【図３９】
2013172446.tif 000041
【図４０】
2013172446.tif 000042
【図４１】
2013172446.tif 000043