(57)【要約】【課題】抽出領域に応じて適切な表示効果を与えた動画を作成する。【解決手段】領域抽出部２は、元画像から特定領域の抽出を試みる。領域抽出部２は、特定領域を抽出できた場合は抽出ＯＫ信号を、特定領域を抽出できなかった場合は抽出ＮＧ信号をスライドショー生成部１に出力する。スライドショー生成部１は、テンプレート管理部５のテンプレート管理情報を参照し、特定した動作種類のテンプレートのＩＤおよび抽出ＯＫ信号または抽出ＮＧ信号に対応する表示条件を規定するテンプレートのＩＤを特定する。スライドショー生成部１は、特定された動作種類および表示条件で各元画像が表示されるような動画データを作成する。【選択図】  図３
2007243411.tif 000002
【特許請求の範囲】
【請求項１】
静止画に基づいて動画データを生成する画像処理装置であって、
特定の領域の抽出の有無に対応する表示条件を規定する動画テンプレートを格納したデータベースと、
前記静止画から前記特定の領域を抽出する領域抽出部と、
前記領域抽出部による前記特定の領域の抽出の有無に対応する表示条件を規定する動画テンプレートを前記データベースから読み出し、前記静止画と前記動画テンプレートに基づいて動画データを生成する動画データ生成部と、
を備える画像処理装置。
【請求項２】
前記データベースは前記特定の領域の抽出の有無および前記特定の領域の抽出の精度に対応する表示条件を規定する動画テンプレートを格納し、
前記動画データ生成部は前記領域抽出部による特定の領域の抽出の有無および抽出の精度に対応する表示条件を規定する動画テンプレートを前記データベースから読み出し、前記静止画と前記動画テンプレートに基づいて動画データを生成する請求項１に記載の画像処理装置。
【請求項３】
前記データベースは前記特定の領域の抽出の有無および抽出された特定の領域の種類に対応する表示条件を規定する動画テンプレートを格納し、
前記領域抽出部は前記静止画から前記特定の領域および前記特定の領域の種類を抽出し、
前記動画データ生成部は前記領域抽出部による特定の領域の抽出の有無および抽出された特定の領域の種類に対応する表示条件を規定する動画テンプレートを前記データベースから読み出し、前記静止画と前記動画テンプレートに基づいて動画データを生成する請求項１または２に記載の画像処理装置。
【請求項４】
前記特定の領域は人物の顔の存在領域を含む請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
静止画に基づいて動画データを生成する画像処理方法であって、
特定の領域の抽出の有無に対応する表示条件を規定する動画テンプレートをデータベースに格納するステップと、
前記静止画から前記特定の領域を抽出するステップと、
前記特定の領域の抽出の有無に対応する表示条件を規定する動画テンプレートを前記データベースから読み出し、前記静止画と前記動画テンプレートに基づいて動画データを生成するステップと、
を含む画像処理方法。
【請求項６】
請求項５に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画に基づいて動画像を生成する技術に関する。
【背景技術】
【０００２】
スライドショーはかつてパソコン用のアプリケーション機能であったが、最近ではデジタルカメラやカメラ付き携帯電話にも搭載されている。また、シンプルな画像切り替え効果にとどまらず、フォトクリップのような激しい動きのスライドショーも登場しつつある。
【０００３】
それらは静止画像の一部をズームしたり、一部を除いてテンプレート画像を上に重ねて表示したりするが、画像によっては、人間や動物などの主人公と考えられる対象を半分に切ってしまったり、上にテンプレート画像を重ねてしまったりする場合がある。
【０００４】
その対策として、特許文献１は、画像から顔領域を抽出し、その顔領域を使ってズーム、パン、マスキングなどの動きのあるスライドショーを作成する。
【特許文献１】特開２００５−１８２１９６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１は、人間の顔以外の物体、例えば動物や車などを主人公にしたい場合は有効でない。また、顔を常に正確に抽出できる保障はないため、不正確な顔抽出に基づいて動きを自動設定しても不適切なことが考えられる。
【０００６】
本発明はこのような問題点に鑑みてなされたもので、抽出領域に応じて適切な表示効果を与えた動画を作成することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、静止画に基づいて動画データを生成する画像処理装置であって、特定の領域の抽出の有無に対応する表示条件を規定する動画テンプレートを格納したデータベースと、静止画から特定の領域を抽出する領域抽出部と、領域抽出部による特定の領域の抽出の有無に対応する表示条件を規定する動画テンプレートをデータベースから読み出し、静止画と動画テンプレートに基づいて動画データを生成する動画データ生成部と、を備える。
【０００８】
この発明によると、特定の領域の抽出の有無に応じて表示条件を変化させる。こうすると、動画において特定の領域が見やすくなり、興趣性も増す。
【０００９】
データベースは特定の領域の抽出の有無および特定の領域の抽出の精度に対応する表示条件を規定する動画テンプレートを格納し、動画データ生成部は領域抽出部による特定の領域の抽出の有無および抽出の精度に対応する表示条件を規定する動画テンプレートをデータベースから読み出し、静止画と動画テンプレートに基づいて動画データを生成することが好ましい。
【００１０】
こうすると、抽出の精度に応じて表示条件を変化させ、動画において特定の領域がさらに見やすくなり、興趣性も増す。
【００１１】
データベースは特定の領域の抽出の有無および抽出された特定の領域の種類に対応する表示条件を規定する動画テンプレートを格納し、領域抽出部は静止画から特定の領域および特定の領域の種類を抽出し、動画データ生成部は領域抽出部による特定の領域の抽出の有無および抽出された特定の領域の種類に対応する表示条件を規定する動画テンプレートをデータベースから読み出し、静止画と動画テンプレートに基づいて動画データを生成することが好ましい。
【００１２】
こうすると、抽出された領域の種類に応じて表示条件を変化させ、動画における特定の領域へ付与する表示効果が適切になり、興趣性も増す。
【００１３】
なお、特定の領域は人物の顔の存在領域を含む。
【００１４】
本発明は、静止画に基づいて動画データを生成する画像処理方法であって、特定の領域の抽出の有無に対応する表示条件を規定する動画テンプレートをデータベースに格納するステップと、静止画から特定の領域を抽出するステップと、特定の領域の抽出の有無に対応する表示条件を規定する動画テンプレートをデータベースから読み出し、静止画と動画テンプレートに基づいて動画データを生成するステップと、を含む。
【００１５】
本発明は、この画像処理方法をコンピュータに実行させるためのプログラムも含む。
【発明の効果】
【００１６】
この発明によると、特定の領域の抽出の有無、抽出の精度、あるいは抽出された特定の領域の種類に応じて表示条件を変化させる。こうすると、動画において特定の領域が見やすくなり、特定の領域に付与する表示効果も適切になり、興趣性も増す。
【発明を実施するための最良の形態】
【００１７】
＜第１実施形態＞
図１は本発明の好ましい実施形態に係るスライドショー作成装置のブロック構成図である。スライドショー作成装置は、制御部８、スライドショー生成部１、領域抽出部２、画像処理部３、画像管理部４、テンプレート管理部５、表示部６および画像入出力部７を備える。
【００１８】
画像管理部４は、デジタルスチルカメラなどと接続された画像入出力部７から入力された静止画像を蓄積するＨＤＤなどの記憶媒体である。
【００１９】
スライドショー生成部１は、画像管理部４に蓄積された画像のうちユーザの選択した所望の１または複数の静止画像（例えばＪＰＥＧ形式のファイル。以下、元画像と呼ぶ）とテンプレート管理部５に記憶されたテンプレートの中から選択された所望のテンプレートの規定する動作種類および表示条件に基づき、携帯電話やデジタルカメラなどで再生可能な形式の動画データあるいは音声も含んだ動画データ（スライドショー）を生成する。
【００２０】
具体的な動作種類の一例を挙げると、複数の静止画をランダムに切り替えて表示させたり、あるいは１または複数の静止画を所定の速度に従って画面上を水平・垂直移動（パン・チルト）するよう表示させたり、複数の静止画をスライドショーのように切り替えたり、画像を拡縮（ズームイン／ズームアウト）したり、画像の特定領域以外を隠す（マスキング）ようにしたり、画像を回転させるなどして静止画像の動きを作る「エフェクト」の種類や、動画と合成される花や窓枠などの静止画像あるいは動画像である「合成枠」の種類がある。動画データの再生に同期して再生される「バックグラウンドミュージック（ＢＧＭ）」の曲名を動作種類に含めてもよい。
【００２１】
生成された後の動画データは、ＭＰ３ファイルのようにテンプレートとは独立した形式でもよいし、アニメーションＧＩＦのように静止画とテンプレートの両方が揃って動画が再生される形式であってもよい。
【００２２】
詳細は省略するが、テンプレートは、元画像の再生に付随する文書、キャラクタ、アイコンなどの各種オブジェクトの配置座標、サイズ、色などの表示状態も規定することができる。
【００２３】
領域抽出部２は、各元画像における特定領域、例えば人物の顔、犬や猫などの動物、乗り物その他の物体の存在領域を抽出する。領域抽出部２は、特定領域を抽出したか否かを示す信号をスライドショー生成部１に出力する。特定領域を抽出したことを示す信号は「抽出ＯＫ」、特定領域を抽出しなかったことを示す信号は「抽出ＮＧ」で表す。
【００２４】
テンプレート管理部５は、テンプレートおよびテンプレート管理情報を蓄積したデータベースである。
【００２５】
図２はテンプレート管理部５に記憶されるテンプレート管理情報の一例を示す。図２に示すように、テンプレート管理情報は、領域抽出部２による特定領域の抽出の有無と、特定領域の抽出の有無に適合する表示条件のテンプレートの識別番号（ＩＤ）とを、各動作種類のテンプレートのＩＤと対応づける。
【００２６】
ここでは例えば、テンプレートの種類「Ｔｅｍｐ００１」および抽出ＯＫ信号については表示条件「ｔｅｍｐ００１−１」が、テンプレートの種類「Ｔｅｍｐ００１」および抽出ＮＧ信号については表示条件「ｔｅｍｐ００１−２」が、それぞれ対応している。
【００２７】
なお、特定領域が抽出された場合の表示条件の一例として、その特定領域の存在位置に相当するくり抜き部分を有するマスキング画像を元画像と合成することが挙げられる。あるいは、特定領域が抽出されなかった場合の表示条件として、画面中央付近など所定の位置にある程度の大きさのくり抜き部分を有するマスキング画像を元画像と合成することが挙げられる。あるいは、特定領域が抽出された場合の表示条件として、その特定領域の存在位置を回避するような合成枠や動画を合成することが挙げられる。
【００２８】
画像処理部３は、スライドショー生成部１の生成した動画データに従い、表示部６の表示規格に適合した映像信号（例えばＮＴＳＣ信号）を生成し、表示部６に出力する。
【００２９】
なお、スライドショー作成装置は、携帯電話やデジタルカメラなどで構成してもよい。
【００３０】
以下、図３に従い、本装置の処理の流れを説明する。
【００３１】
Ｓ１では、ユーザによる入力操作に応じて、スライドショーで使用する元画像を画像管理部４から選択する。元画像を１枚１枚指定するのが面倒であれば、画像を格納したフォルダを選択させ、そのフォルダ内のすべての画像を元画像とすればよい。
【００３２】
Ｓ２では、ユーザによる入力操作に応じて、スライドショーの動作種類を規定するテンプレートをテンプレート管理部５から選択する。
【００３３】
Ｓ３では、選択した動作種類を規定するテンプレートのＩＤを特定する。
【００３４】
Ｓ４では、領域抽出部２は、元画像から特定領域の抽出を試みる。領域抽出部２は、特定領域を抽出できた場合は抽出ＯＫ信号を、特定領域を抽出できなかった場合は抽出ＮＧ信号をスライドショー生成部１に出力する。
【００３５】
Ｓ５では、スライドショー生成部１は、テンプレート管理部５のテンプレート管理情報を参照し、Ｓ３で特定した動作種類のテンプレートのＩＤおよびＳ４で出力された抽出ＯＫ信号または抽出ＮＧ信号に対応する表示条件を規定するテンプレートのＩＤを特定する。
【００３６】
なお、Ｓ４およびＳ５は、選択された元画像の各々について実行される。
【００３７】
Ｓ６では、スライドショー生成部１は、特定された動作種類および表示条件で各元画像が表示されるような動画データを作成する。
【００３８】
Ｓ７では、画像処理部３は、生成された動画データに基づいて表示部６で表示される動画の映像信号を生成し、表示部６に出力する。表示部６は映像信号を入力すると、動画を表示する。
【００３９】
図４および図５は特定領域が人の顔の場合における抽出の有無に応じた表示条件の一例を示す。図４のように、顔領域の抽出（ここでは３つ）があれば、顔領域以外の領域をマスキングするとともに、顔領域だけをくり抜いて表示するくり抜き領域が画面左から右にかけて移動してくるように表示することで、人の顔部分の表示に興趣性を持たせる。
【００４０】
図５のように、顔領域が抽出されなければ、どこに顔領域があるか分からないため、くり抜き領域を画面左中央から画面右中央まで移動する。
【００４１】
このように、スライドショー生成部１は、元画像の特定領域の抽出の有無に応じた表示条件で動画データを作成する。こうすると、動画において特定領域が見やすくなり、興趣性も増す。
【００４２】
＜第２実施形態＞
特定領域の抽出精度（抽出された領域中に特定領域が存在する確からしさを数値化したもの）に合わせて表示条件を変更してもよい。
【００４３】
図６は第２実施形態に係るテンプレート管理情報の概念説明図である。この情報は、動作種類のテンプレートごとに、特定領域の抽出精度の範囲に応じた表示条件を規定する。ここでは例えば、テンプレート「Ｔｅｍｐ００１」については、抽出精度の範囲「８０−１００」に対して表示条件「ｔｅｍｐ００１−１」が、抽出精度の範囲「４０−７９」に対して表示条件「ｔｅｍｐ００１−２」が、抽出精度の範囲「０−３９」に対して表示条件「ｔｅｍｐ００１−３」が、それぞれ対応している。
【００４４】
以下、図７に従い、本装置の処理の流れを説明する。
【００４５】
Ｓ１１では、ユーザによる入力操作に応じて、スライドショーで使用する元画像を画像管理部４から選択する。
【００４６】
Ｓ１２では、ユーザによる入力操作に応じて、スライドショーの動作種類を規定するテンプレートをテンプレート管理部５から選択する。
【００４７】
Ｓ１３では、選択した動作種類のテンプレートのＩＤを特定する。
【００４８】
Ｓ１４では、領域抽出部２は、元画像から特定領域の抽出を試みる。領域抽出部２は、特定領域の抽出精度の数値（０−１００の範囲の値）をスライドショー生成部１に出力する。
【００４９】
Ｓ１５では、スライドショー生成部１は、テンプレート管理部５のテンプレート管理情報を参照し、特定した動作種類のテンプレートのＩＤおよび特定領域の抽出精度に対応する表示条件のＩＤを特定する。
【００５０】
なお、Ｓ１４およびＳ１５は、選択された元画像の各々について実行される。
【００５１】
Ｓ１６では、スライドショー生成部１は、特定された動作種類および表示条件で各元画像が表示されるような動画データを作成する。
【００５２】
Ｓ１７では、画像処理部３は、生成された動画データに基づいて表示部６で表示される動画の映像信号を生成し、表示部６に出力する。表示部６は映像信号を入力すると、動画を表示する。
【００５３】
図８は特定領域が人の顔の場合における抽出精度ごとの表示条件の一例を示す。抽出精度が９０％であれば、人の顔以外の領域をマスキングして表示するが、抽出精度が高いため、マスキングしないくり抜き領域の周縁は特定領域の周縁と近接させ、くり抜き領域の面積をなるべく小さくして見栄えをよくする。抽出精度が７０％であれば、抽出精度が若干低いため、抽出された領域に実際に特定領域が存在するのか不確実であるから、くり抜き領域を若干大きめにする。抽出精度が３０％であれば、特定領域の存在の確からしさが低く、マスキング領域が特定領域とかぶって見えなくなるおそれがあるため、マスキングは行わない。
【００５４】
図９は特定領域が動物の場合における抽出精度ごとの表示条件の一例を示す。背景が野原のように乱雑でなければ抽出精度が高く（９０％）、特定領域の面積はなるべく小さくする。背景がタイルのように複雑で抽出精度が若干低い（７０％）のであれば、くり抜き領域を若干大きめにする。背景に様々な物体が存在し抽出精度が低い（３０％）のであれば、マスキングは行わない。
【００５５】
このように、特定領域の存在の確からしさに応じた表示条件を設定すれば、動画で特定領域が見やすくなる。
【００５６】
＜第３実施形態＞
特定領域の抽出の有無や精度だけでなく、抽出された特定領域の種類に応じて表示条件を設定してもよい。
【００５７】
図１０は第３実施形態に係るテンプレート管理情報の概念説明図である。この情報は、テンプレートの動作種類、特定領域の抽出の有無および抽出された特定領域の種類に応じた表示条件を規定する。ここでは例えば、テンプレートの動作種類「Ｔｅｍｐ００１」および抽出された特定領域の種類「顔」については表示条件「ｔｅｍｐ００１−１」が、テンプレートの動作種類「Ｔｅｍｐ００１」および抽出された特定領域の種類「その他」については表示条件「ｔｅｍｐ００１−２」が、テンプレートの種類「Ｔｅｍｐ００１」および特定領域の抽出ＮＧ信号については表示条件「ｔｅｍｐ００１−３」が、それぞれ対応している。
【００５８】
以下、図１１に従い、本装置の処理の流れを説明する。
【００５９】
Ｓ２１では、ユーザによる入力操作に応じて、スライドショーで使用する元画像を画像管理部４から選択する。
【００６０】
Ｓ２２では、ユーザによる入力操作に応じて、スライドショーの動作種類を規定するテンプレートをテンプレート管理部５から選択する。
【００６１】
Ｓ２３では、選択した動作種類のテンプレートのＩＤを特定する。
【００６２】
Ｓ２４では、領域抽出部２は、元画像から特定領域の抽出を試みる。領域抽出部２は、特定領域を抽出した場合は抽出された特定領域の種類を抽出ＯＫ信号として出力し、抽出できない場合は抽出ＮＧ信号を出力する。
【００６３】
Ｓ２５では、スライドショー生成部１は、テンプレート管理部５のテンプレート管理情報を参照し、動作種類のテンプレートのＩＤ、特定領域の抽出の有無および特定領域の種類に対応する表示条件のＩＤを特定する。
【００６４】
なお、Ｓ２４およびＳ２５は、選択された元画像の各々について実行される。
【００６５】
Ｓ２６では、スライドショー生成部１は、特定された動作種類および表示条件で各元画像が表示されるような動画データを作成する。
【００６６】
Ｓ２７では、画像処理部３は、生成された動画データに基づいて表示部６で表示される動画の映像信号を生成し、表示部６に出力する。表示部６は映像信号を入力すると、動画を表示する。
【００６７】
図１２は抽出された特定領域の種類が人物の顔である場合のマスキング領域の一例を示す。このマスキング領域は人の顔に合わせて服の形態としている。
【００６８】
図１３は抽出された特定領域の種類が人物の顔以外のもの（動物）である場合のマスキング領域の一例を示す。このマスキング領域は人物の顔以外のものに適合するよう虫眼鏡状の形態である。
【００６９】
このように、特定領域の種類に応じた表示条件を設定すれば、動画で特定領域が見やすく楽しくなる。
【図面の簡単な説明】
【００７０】
【図１】第１実施形態に係るスライドショー作成装置の概略構成図
【図２】第１実施形態に係るテンプレート管理部の蓄積する情報を概念的に示す図
【図３】第１実施形態に係るスライドショー作成装置の実行する処理の流れの一例を示すフローチャート
【図４】特定領域が抽出された場合の動画の概念説明図
【図５】特定領域が抽出されなかった場合の動画の概念説明図
【図６】第２実施形態に係るテンプレート管理部の蓄積する情報を概念的に示す図
【図７】第２実施形態に係るスライドショー作成装置の実行する処理の流れの一例を示すフローチャート
【図８】特定領域（人物の顔）の抽出精度に応じた動画の概念説明図
【図９】特定領域（動物）の抽出精度に応じた動画の概念説明図
【図１０】第３実施形態に係るテンプレート管理部の蓄積する情報を概念的に示す図
【図１１】第３実施形態に係るスライドショー作成装置の実行する処理の流れの一例を示すフローチャート
【図１２】特定領域の種類（人物の顔）に応じた動画の概念説明図
【図１３】特定領域の種類（動物）に応じた動画の概念説明図
【符号の説明】
【００７１】
１：スライドショー生成部、２：領域抽出部、４：画像管理部、５：テンプレート管理部
【図１】
2007243411.tif 000003
【図２】
2007243411.tif 000004
【図３】
2007243411.tif 000005
【図４】
2007243411.tif 000006
【図５】
2007243411.tif 000007
【図６】
2007243411.tif 000008
【図７】
2007243411.tif 000009
【図８】
2007243411.tif 000010
【図９】
2007243411.tif 000011
【図１０】
2007243411.tif 000012
【図１１】
2007243411.tif 000013
【図１２】
2007243411.tif 000014
【図１３】
2007243411.tif 000015