(57)【要約】【課題】画像から抽出された顔以外の物体に対してエフェクトを施した際に、スライドショーに対するユーザの満足度が低下するのを可及的に防止する。【解決手段】元画像から抽出された顔領域が主要被写体と判定されれば、物体抽出の閾値は５のままであり、その他の余計な物体領域が抽出されず、余計な物体領域にエフェクトが付与されない。元画像から顔領域が検出されたが主要被写体でないと判定されれば、物体抽出の閾値は５から１段階減らされた４かそれ未満の値になる。このため、顔以外の物体領域が抽出される確率が増加し、本来撮影者が意図していた主要被写体である物体にもエフェクトが付与され、スライドショーに対するユーザの満足度が増す。【選択図】  図８
2008020944.tif 000002
【特許請求の範囲】
【請求項１】
静止画に基づいてスライドショーデータを生成する画像処理方法であって、
前記静止画から人物の顔の存在する領域である顔領域を抽出するステップと、
物体抽出精度を設定するステップと、
設定された物体抽出精度に従い、前記静止画から前記顔以外の物体の存在する領域である物体領域を抽出するステップと、
抽出された顔領域および物体領域のうち少なくとも一方に基づいて、主要被写体が抽出されたか否かを判断するステップと、
前記主要被写体が抽出されたと判断されなかったことに応じ、現在設定されている物体抽出精度を所定の値だけ減らした値を新たな物体抽出精度に設定するステップと、
を含む画像処理方法。
【請求項２】
請求項１に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【請求項３】
請求項１に記載の画像処理方法に含まれるステップおよび前記抽出された顔領域および物体領域のうち少なくとも一方に所定のエフェクトが実施された静止画を順次表示するスライドショーデータを生成するステップを実行するコンピュータと、
前記コンピュータが生成したスライドショーデータに基づき、前記エフェクトが実施された静止画を順次表示装置に表示する表示制御部と、
を備えた画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は静止画に基づいてスライドショーを生成する技術に関する。
【背景技術】
【０００２】
一定時間で切り替わるような従来のスライドショーにとどまらず、フォトクリップのような表示上の効果（エフェクト）が施されたスライドショーを自動的に生成するソフトウェアが知られている。エフェクトは画像の一部をズームしたり切り抜いたりテンプレート画像を上に重ねて表示したりする。
【０００３】
例えば、特許文献１や２のように、画像から顔領域を抽出して、その情報を使ってスライドショーを作成する技術がある。
【０００４】
一方、風景写真や動物写真のように、顔領域が存在しない画像の場合、犬や車などの被写体を抽出したい場合がある。しかし、それらは顔抽出における目のように、形が一様であり、特定しやすい対象でないため、抽出精度が低くなる傾向にある。その抽出手段としては、色が大きく変わっている領域や、高周波数成分の多い領域を抽出する方法が考えられる。
【０００５】
これは簡単にいうと、色の変化量あるいは周波数成分の高さに、ある閾値を設定して、それを超えた場合には、対象領域として抽出するというものである。
【特許文献１】特開２００５−１８２１９６号公報
【特許文献２】特開２００５−３５４３２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述の物体抽出の閾値を低く設定すればするほど、物体を抽出する可能性は高くなるが、その分、余計な物体や物体として誤った領域までも抽出してしまう可能性が高い。そして、余計な物体や誤った領域にエフェクトを施すと、ユーザはエフェクトの本来の効果を実感できないどころか、逆に誤った対象へのエフェクトを無価値に感じてしまい、スライドショーの満足度が低下するおそれがある。
【０００７】
本発明はこのような問題点に鑑みてなされたもので、その目的は、人物であるか否かにかかわらず、画像からエフェクトを施すべき領域を正しく抽出し、かつ余計な物体を極力抽出しないようにし、スライドショーに対するユーザの満足度を高めることにある。
【課題を解決するための手段】
【０００８】
本発明は、静止画に基づいてスライドショーデータを生成する画像処理方法であって、静止画から人物の顔の存在する領域である顔領域を抽出するステップと、物体抽出精度を設定するステップと、設定された物体抽出精度に従い、静止画から顔以外の物体の存在する領域である物体領域を抽出するステップと、抽出された顔領域および物体領域のうち少なくとも一方に基づいて、主要被写体が抽出されたか否かを判断するステップと、主要被写体が抽出されたと判断されなかったことに応じ、現在設定されている物体抽出精度を所定の値だけ減らした値を新たな物体抽出精度に設定するステップと、を含む。
【０００９】
この方法では、人物の顔あるいは物体である主要被写体が静止画像から抽出されなかった場合、物体抽出精度を所定の値減らし、これを新たな物体抽出精度とする。低く設定された新たな物体抽出精度では、物体を抽出する確率が増加するから、物体が抽出される可能性がより高くなる。また、主要被写体が静止画像から抽出されなかった場合に初めて抽出精度を落とすから、抽出精度が低くなりすぎて必要のない物体が抽出されたり、誤った領域が物体領域として抽出される可能性を極力に抑えることができる。このため、必要のない物体や誤った領域にエフェクトが付与されたスライドショーが実行されてユーザに不満足感を与えるおそれが少ない。
【００１０】
上記の画像処理方法をコンピュータに実行させるためのプログラムも本発明に含まれる。
【００１１】
また、上記の画像処理方法に含まれるステップおよび抽出された顔領域および物体領域のうち少なくとも一方に所定のエフェクトが実施された静止画を順次表示するスライドショーデータを生成するステップを実行するコンピュータと、コンピュータが生成したスライドショーデータに基づき、エフェクトが実施された静止画を順次表示装置に表示する表示制御部と、を備えた画像処理装置も本発明に含まれる。
【発明の効果】
【００１２】
本発明では、人物の顔あるいは物体である主要被写体が静止画像から抽出されなかった場合、物体抽出精度を所定の値減らし、これを新たな物体抽出精度とする。低く設定された新たな物体抽出精度では、物体を抽出する確率が増加するから、物体が抽出される可能性がより高くなる。また、主要被写体が静止画像から抽出されなかった場合に初めて抽出精度を落とすから、抽出精度が低くなりすぎて必要のない物体が抽出されたり、誤った領域が物体領域として抽出される可能性を極力に抑えることができる。このため、必要のない物体や誤った領域にエフェクトが付与されたスライドショーが実行されてユーザに不満足感を与えるおそれが少ない。      
【発明を実施するための最良の形態】
【００１３】
図１は本発明の好ましい実施形態に係るスライドショー作成装置のブロック構成図である。スライドショー作成装置は、ＣＰＵ８、スライドショー生成部１、顔領域抽出部２、物体領域抽出部９、記憶部４、メモリ５、表示制御部３、表示装置６および入力装置７を備える。この装置は、典型的には、ハードディスクレコーダ、パソコン、デジタルカメラなどで実現される。
【００１４】
入力装置７は、静止画像や音楽データを外部から入力するための装置であり、ＤＶＤやフラッシュメモリといった可搬性記録媒体のデータ読み取り装置、ネットワークアダプタ、シリアルポートなどで構成される。
【００１５】
記憶部４は、入力装置７から入力された静止画像や音楽を蓄積するハードディスク（ＨＤＤ）などの記憶媒体である。記憶部４は、テンプレートおよびテンプレート管理情報を蓄積したデータベース、プログラム、後述する顔領域ＤＢや物体領域ＤＢなども記憶する。
【００１６】
メモリ５は、ＣＰＵ８のプログラムやプログラムの処理に必要なデータを一時的に格納する。
【００１７】
表示制御部３は、ＣＰＵ８の指令に従い、ディスプレイなどで構成された表示装置６へ出力する映像信号を生成し、表示装置６に出力する。表示装置はスライドショー作成装置に内蔵されていてもよいし外付けの装置であってもよい。
【００１８】
スライドショー生成部１は、記憶部４に蓄積された静止画像のうちユーザの選択した所望の１または複数の静止画像（例えばＥｘｉｆ形式や、ＪＰＥＧ形式の画像ファイル。以下、元画像と呼ぶ）と記憶部４に記憶されたテンプレートの中から選択された所望のテンプレートの規定する動作条件に基づき、所定の効果が付与された複数の元画像の全部または一部を順次切り替えて再生する形式の動画データあるいは音声も含んだ動画データ（スライドショー）を生成する。
【００１９】
スライドショーに用いる元画像は、入力された静止画像全てでなくてもよく、例えば後述する物体領域も顔領域も抽出されないような画像は、切り捨ててもよい。あるいは、主要被写体、物体領域、顔領域が重複すると推定される画像群や、類似度が高い画像群は、その中から１つだけをスライドショーの元画像として用い、残りは切り捨ててもよい。
【００２０】
具体的なテンプレートの動作条件の一例を挙げると、画像中の物体領域や顔領域（まとめて特定領域で表す）を所定の速度で水平・垂直移動（パン・チルト）するよう表示させたり、特定領域を拡縮（ズームイン／ズームアウト）したり、特定領域以外を隠す（マスキング、図２（ａ）参照）ようにしたり、特定領域を強調するような画像を合成したり（合成枠、図２（ｂ）参照）、特定領域を回転させるなどして元画像の動きを作る「エフェクト」の種類がある。スライドショーの再生に同期して再生される「バックグラウンドミュージック（ＢＧＭ）」の曲名を動作条件に含めてもよい。
【００２１】
生成された後の動画データは、ＭＰ３ファイルのようにテンプレートとは独立した形式でもよいし、アニメーションＧＩＦのように静止画とテンプレートの両方が揃って動画が再生される形式に変換されてもよい。
【００２２】
詳細は省略するが、テンプレートは、元画像の再生に付随する文書、キャラクタ、アイコンなどの各種オブジェクトの配置座標、サイズ、色などの表示状態も規定することができる。
【００２３】
顔領域抽出部２は、各元画像における顔領域、すなわち人物の顔の部分の存在領域を抽出する。顔領域抽出部２は、顔領域を抽出したか否かを示す信号をスライドショー生成部１に出力する。どのようにして顔領域を抽出するかは任意であるが、例えば、顔の輪郭パターンに類似の形状の領域を顔領域として抽出する、あるいは目、鼻、口の存在部分とそれを包含する肌色領域から顔全体の輪郭を推定し、それに相当する領域を顔領域として抽出することなどが挙げられる。
【００２４】
物体領域抽出部９は、犬や猫などの動物、自動車などの乗り物、その他顔領域以外の物体の存在領域を物体領域として抽出する。どのようにして物体を抽出するかは任意であるが、例えば、周辺画素領域と比較した色の変化が所定の閾値を超えているような画素領域や周波数成分が所定の閾値を超えている画素領域を物体領域として抽出する。
【００２５】
顔領域抽出部２が抽出対象とする顔領域は、目、鼻、口などの特定部位の存在を基準とすれば、比較的高い抽出精度が確保できる。一方、物体領域抽出部９が抽出対象とする物体領域は、物体の性質が一様でないし（例えば物体が犬である場合は、犬種によって身体的特徴の差異が大きく、人物の目、鼻、口などの特定部位を基準とするのが困難）、物体の抽出基準となる閾値撮影が画一的であるため撮影条件によっては有効でなく、顔領域の抽出と比較すると抽出精度が低いことが一般的に言える。そうすると、物体をなるべく多く抽出するためには、その抽出精度を低く設定する必要がある。
【００２６】
しかし、既に顔が抽出された場合、一般的にはそれらが元画像中の主要被写体と解されるから、精度が低い物体抽出の結果、物体として誤って抽出された領域に余計なエフェクトが実施されてしまい、ユーザの不満足感につながるし、精度の低い物体を抽出する処理自体が無駄になる可能性が高い。本実施形態はかかる問題点に対処するため、主要被写体の抽出の結果に応じて物体抽出の精度を物体領域抽出に必要かつ最小限度緩和する。
【００２７】
図３および図４は記憶部４に含まれる顔領域ＤＢおよび物体領域ＤＢの記憶する情報の一例を示す。
【００２８】
図３に示すように、顔領域ＤＢは、各画像の識別番号（ＩＤ）と、各画像のサイズと、顔領域抽出部２が各画像から抽出した１または複数の顔領域と、各顔領域の中心座標と、各顔領域のサイズとを対応づけて記憶する。
【００２９】
一方、図４に示すように、物体領域ＤＢは、各画像の識別番号（ＩＤ）と、各画像のサイズと、物体領域抽出部９が各画像から抽出した１または複数の顔領域と、各物体領域の中心座標と、各物体領域のサイズとを対応づけて記憶する。
【００３０】
図３または図４に示す情報は、必ずしも全てを同時に記憶する必要はなく、必要な情報の一部のみを記憶してもよい。
【００３１】
図５はスライドショー作成処理の流れを示すフローチャートである。この処理はＣＰＵ８が実行する。
【００３２】
Ｓ１では、後述する顔領域ＤＢおよび物体領域ＤＢの作成処理を行う。
【００３３】
Ｓ２では、メモリ５に記憶された元画像の全てについて下記のＳ３（エフェクト生成処理）が実行されたか否かを判断する。Ｓ３が実行されていない元画像があれば、その元画像についてＳ３の処理を行う。全ての元画像についてＳ３が実行されたと判断すれば、この判断を終了する。
【００３４】
Ｓ３では、各画像の各顔領域・各物体領域を対象とした所定のエフェクトが実施されるデータを生成する。
【００３５】
Ｓ４では、エフェクトが設定された各元画像のスライドショーにおける表示順序を、元画像の入力順、タイムスタンプ順、元画像のファイル名のアイウエオあるいはアルファベット順に従って、あるいはランダムに決定する。
【００３６】
Ｓ５では、各々の静止画像の顔領域・物体領域にエフェクトの設定された静止画像を、Ｓ４で決定された表示順序に従って表示していくスライドショーのデータの作成をスライドショー生成部１に指令する。
【００３７】
図６は、顔領域ＤＢおよび物体領域ＤＢの作成処理の流れを示す。この処理はＣＰＵ８が実行する。
【００３８】
Ｓ１１では、入力装置７から入力された１または複数の静止画像を元画像としてメモリ５に記憶する。
【００３９】
Ｓ１２では、メモリ５に記憶された元画像の全てについて下記のＳ１３〜Ｓ１８が実行されたか否かを判断する。Ｓ１３〜Ｓ１８が実行されていない元画像があれば、その元画像についてＳ１３〜Ｓ１８の処理を行う。全ての元画像についてＳ１３〜Ｓ１８が実行されたと判断すれば、この処理を終了する。
【００４０】
Ｓ１３では、顔領域抽出部２に対し、各元画像のそれぞれから顔領域を抽出するよう指令する。顔領域抽出部２は、ＣＰＵ８からの指令に応じて元画像から顔領域を抽出する。抽出された顔領域は、必要に応じ、その顔領域に固有の番号、その顔領域の抽出元となった元画像のＩＤ、元画像における顔領域の座標、およびその顔領域のサイズと対応づけられた上で顔領域ＤＢに記憶される（図３参照）。
【００４１】
Ｓ１４では、物体領域抽出の閾値を所定の初期値（例えば図７の最高レベル「５」）に設定する。
【００４２】
Ｓ１５では、物体領域抽出部９に対し、各元画像のそれぞれから物体領域を抽出するよう指令する。物体領域抽出部９は、ＣＰＵ８からの指令に応じて元画像から物体領域を抽出する。抽出された物体領域は、必要に応じ、その物体領域に固有の番号、その領域の抽出元となった元画像のＩＤ、元画像における物体領域の座標、およびその物体領域のサイズと対応づけられた上で物体領域ＤＢに記憶される（図４参照）。
【００４３】
Ｓ１６では、抽出された顔領域および物体領域すなわち特定領域のうち少なくともいずれか１つが元画像における主要被写体であるか否かを判断する。いずれかの特定領域が主要被写体である場合はＳ１２に戻り、いずれの特定領域も主要被写体でない場合はＳ１７に移行する。
【００４４】
いずれの特定領域が主要被写体であるかの判断は、例えば元画像の中心位置に特定領域が存在するか否かを判断し、中心位置に特定領域が存在すれば、その特定領域が主要被写体であると判断する。あるいは、Ｅｘｉｆファイルのタグ情報に記憶されている焦点位置に特定領域が存在するか否かを判断し、焦点位置に特定領域が存在すれば、その特定領域が主要被写体であると判断する。あるいは、必ずしも主要被写体が元画像の中心にあるかとは限らないため、抽出された特定領域の面積の合計が、元画像の面積のうちの所定の割合（例えば５０％）以上を占める場合、それらの特定領域のすべてが主要被写体であると判断する。
【００４５】
Ｓ１７では、現在の物体領域抽出の閾値が最低値（例えば図７の最低レベル「１」）であるか否かを判断する。最低値であればＳ１２に戻り、最低値でない場合はＳ１８に移行する。
【００４６】
Ｓ１８では、現在の物体領域抽出の閾値（色変化の閾値、周波数の閾値その他のもの）から１段階下げた値（例えば図７の「５」から１レベル下げた「４」）を新たな閾値とする。そして、Ｓ１５に戻る。
【００４７】
以上の処理による作用と効果は次のようになる。
【００４８】
図８は元画像の一例を示しており、図８（ａ）は人物が主要被写体となっている元画像、図８（ｂ）は人物とそれ以外の物体が主要被写体となっている元画像、図８（ｃ）は人物以外の物体が主要被写体となっている元画像を例示する。
【００４９】
図８（ａ）のような元画像から、顔１〜顔３という顔領域が検出され、Ｓ１６でこれらの顔領域のうち中心の「顔２」が主要被写体と判定されれば、物体抽出の閾値は５のままであり、その他の余計な物体領域が抽出されず、余計な物体領域でなく主要被写体である顔領域にエフェクトが付与され（Ｓ３）、スライドショーに対するユーザの満足度が低下するおそれが小さい。
【００５０】
また、図８（ｂ）のような元画像から、顔１という顔領域が検出されたが、Ｓ１６でその顔領域が中心になく主要被写体がないと判定されれば、物体抽出の閾値は５から１段階減らされた４かそれ未満の値になる。このため、顔以外の物体領域である物１〜物４が抽出される確率が増加し、本来撮影者が意図していた主要被写体である「顔１」と「物体４」の双方にエフェクトが付与され、スライドショーに対するユーザの満足度が増す。
【００５１】
また、図８（ｃ）のような元画像からは、顔領域が全く検出されないから、物体抽出の閾値は５から１段階減らされた４かそれ未満の値になり、顔以外の物体領域が抽出される確率が増加し、物体１〜４という物体領域が抽出される確率が増加し、本来撮影者が意図していた主要被写体である「物体４」にエフェクトが付与され、スライドショーに対するユーザの満足度が増す。
【図面の簡単な説明】
【００５２】
【図１】スライドショー作成装置の概略構成図
【図２】特定領域に施されたエフェクトの一例を示す図
【図３】顔領域ＤＢの情報を概念的に示す図
【図４】物体領域ＤＢの情報を概念的に示す図
【図５】スライドショー生成処理の流れを示すフローチャート
【図６】ＤＢ作成処理の流れを示すフローチャート
【図７】物体領域抽出の閾値の段階の一例を示す図
【図８】元画像の一例を示す図
【符号の説明】
【００５３】
１：スライドショー生成部、２：顔領域抽出部、３：表示制御部、６：表示装置、９：物体領域抽出部
【図１】
2008020944.tif 000003
【図２】
2008020944.tif 000004
【図３】
2008020944.tif 000005
【図４】
2008020944.tif 000006
【図５】
2008020944.tif 000007
【図６】
2008020944.tif 000008
【図７】
2008020944.tif 000009
【図８】
2008020944.tif 000010