(57)【要約】【課題】事前に定義した画像間の遷移効果に最適な画像を抽出して人物の顔を効果的に表示するスライドショーを提供することを可能とする。【解決手段】上記課題を解決するために本発明に係る画像処理装置は、複数の画像を入力する画像入力手段と、入力された複数の画像を連続表示するときの、画像間の遷移効果を決定する決定手段と、入力された複数の画像の中から、決定された遷移効果に対応した条件の顔を含む画像を抽出する画像抽出手段と、画像抽出手段が抽出した画像を表示装置に連続表示するよう制御する表示制御手段と、を備えたことを特徴とする。【選択図】図１
2012109696.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像を入力する画像入力手段と、
前記入力された複数の画像を連続表示するときの、画像間の遷移効果を決定する決定手段と、
前記入力された複数の画像の中から、前記決定された遷移効果に対応した条件の顔を含む画像を抽出する画像抽出手段と、
前記画像抽出手段が抽出した画像を表示装置に連続表示するよう制御する表示制御手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記条件は、顔の正面度に関する条件である、
請求項１に記載の画像処理装置。
【請求項３】
前記条件は、顔の画像中の位置に関する条件である、
請求項１に記載の画像処理装置。
【請求項４】
入力画像に含まれる顔を、遷移効果に対応付けて登録する登録手段を、更に備え、
前記条件は、前記登録した顔に関する条件である、
請求項１に記載の画像処理装置。
【請求項５】
複数の画像を入力する画像入力ステップと、
前記入力された複数の画像を連続表示するときの、画像間の遷移効果を決定する決定ステップと、
前記入力された複数の画像の中から、前記決定された遷移効果に対応した条件の顔を含む画像を抽出する画像抽出ステップと、
前記画像抽出手段が抽出した画像を表示装置に連続表示するよう制御する表示制御ステップと、を有することを特徴とする画像処理方法。
【請求項６】
前記条件は、顔の正面度に関する条件である、
請求項５に記載の画像処理方法。
【請求項７】
前記条件は、顔の画像中の位置に関する条件である、
請求項５に記載の画像処理方法。
【請求項８】
入力画像に含まれる顔を、遷移効果に対応付けて登録する登録ステップを、更に有し、
前記条件は、前記登録した顔に関する条件である、
請求項５に記載の画像処理方法。
【請求項９】
請求項５から請求項８のいずれかに記載の画像処理方法を記述した非一時記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間の遷移効果に最適な画像を抽出してスライドショーを提供する技術に関する画像処理装置に関するものである。
【背景技術】
【０００２】
近年、撮影した静止画や動画を素材にして、子供の成長記録や旅行の思い出などをテーマに短時間のスライドショー動画を作成するユーザが増えてきており、そういった用途に対応したアプリケーションソフトなどが商品化されている。通常、これらの作品作りには、各種画像間の遷移効果と組み合わせて時系列的に素材が並べられた動画を作成し、その後でユーザが適宜必要に応じて素材の並びを入れ替えたり、画像間の遷移効果を変更することが多い。また、各社からもこれらの一連の画像間の遷移効果をテンプレートとして後から追加提供するなどして、利用の幅を広げている。
【０００３】
一方、画像中に映っている人物の顔を検出したり、その顔を認証してその人物が誰なのかを認証する撮影機器や、アプリケーションソフトなども商品化されている。こうした顔などをオブジェクトとして検出して、それらオブジェクトの情報を使ってアプリケーションに応用する技術が開示されている。（特許文献１）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２７８４６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、静止画や動画中の人物の顔の情報をもとに、膨大な数の素材から最適な画像を抽出して、スライドショーの画像間の遷移効果がより効果的に行われることを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために本発明に係る画像処理装置は、複数の画像を入力する画像入力手段と、入力された複数の画像を連続表示するときの、画像間の遷移効果を決定する決定手段と、入力された複数の画像の中から、決定された遷移効果に対応した条件の顔を含む画像を抽出する画像抽出手段と、画像抽出手段が抽出した画像を表示装置に連続表示するよう制御する表示制御手段と、を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明の画像処理は、画像間の遷移の効果に対して、入力画像から人物の顔の映っている割合の最適な画像を抽出することで、人物の顔が適切な大きさの画像を使ったスライドショーを作成することができるという利点がある。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１に於ける画像処理の例を示すブロック図
【図２】本発明の実施の形態１に於ける操作時のフロー図
【図３】本発明の実施の形態１に於ける遷移効果の定義と画像の選択の例を示すブロック図
【図４】本発明の実施の形態１に於ける遷移効果の例を示すブロック図
【図５】本発明の実施の形態１に於ける顔の割合を考慮した遷移効果の例を示すブロック図
【図６】本発明の実施の形態２に於ける操作時のフロー図
【図７】本発明の実施の形態２に於ける顔の正面度を考慮した遷移効果の例を示すブロック図
【図８】本発明の実施の形態３に於ける操作時のフロー図
【図９】本発明の実施の形態３に於ける顔の位置を考慮した遷移効果の例を示すブロック図
【図１０】本発明の実施の形態４に於ける画像処理の例を示すブロック図
【図１１】本発明の実施の形態４に於ける操作時のフロー図
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について添付の図面を参照して説明する。なお、各図面において同一の符号は同一の構成要素または同様の作用、動作をなすものを表す。
【００１０】
（実施の形態１）
図１は、本発明装置の実施の形態１の画像処理装置の構成を示すブロック図である。
【００１１】
図１において、この 画像処理装置は 画像入力手段１０１、取得手段１０２、決定手段１０３、画像抽出手段１０４、読出手段１０５、表示制御手段１０６を備える。
【００１２】
画像処理装置の各構成部材について説明する。まず、画像入力手段１０１では、対象となる画像（静止画や動画）を入力する。取得手段１０２では、各画像内の人物の顔を検出してその顔の情報を取得する。決定手段１０３では、各画像を表示する際の画像間の切り替わり時の遷移効果を定義する。読出手段１０５は、遷移効果のそれぞれに対応した顔の条件を読み出す。画像抽出手段１０４では、決定手段１０３で定義された遷移効果に最適な画像を、読み出した顔の条件に従い、取得手段１０２で取得した情報をもとに抽出する。表示制御手段１０６では、画像抽出手段１０４で抽出された画像を決定手段１０３で定義された効果に従って連続表示するよう制御を行う。
【００１３】
次に、図２を用いて、本実施の形態１の画像処理装置の動作を説明する。
【００１４】
まず、使用する画像（静止画や動画）ファイルの入力を行う（ステップＳ１１）。次に画像を解析して、人物の顔が記録されているかどうかを解析する（ステップＳ１２）。ステップＳ１２で顔があるかどうかを判定し（ステップＳ１３）、顔があると判定された場合は、画像の画面全体に対して顔の占める割合を算出する（ステップＳ１４）。ステップＳ１１で入力した画像の全ての顔の解析が終了したかどうかを判定し（ステップＳ１５）、まだ終了していない場合はステップＳ１２に、終了した場合は次のステップＳ１６に移行する。画像を表示していく際に画像と画像の切り替え時の遷移効果を決定し、その決定された遷移効果に対して表示するのに効果的な顔の条件を読み出す（ステップＳ１６）。それぞれの遷移効果に対して、表示するのに効果的な顔の条件については、幾つかの実施形態を後述する。ステップＳ１６で読み出した顔の条件に適切な画像を、ステップＳ１１で入力した画像から抽出する（ステップＳ１７）。ステップＳ１６で決定されたすべての遷移効果に対応する前後の画像の抽出が完了したかどうかを判定し（ステップＳ１８）、完了していない場合はステップＳ１６に戻り、完了した場合は次のステップＳ１９に移行する。ステップＳ１６で定義した遷移効果とステップＳ１７で抽出した画像とを組み合わせて、映像を表示する（ステップＳ１９）。
【００１５】
続いて、図３を用いて、ステップＳ１６〜ステップＳ１８における各画像間の遷移効果とそれに対して抽出される画像の関係を説明する。
【００１６】
予め画像間の遷移効果（Ｎ−１、Ｎ、Ｎ＋１）がテンプレートとして定義されているものとする。それぞれの切り替え効果には人物の顔を効果的に表示するための条件として、画像中の人物の顔の映り方（大きさや、向き、位置など）が設定されている。ステップＳ１４で取得した情報をもとに、それぞれの顔の条件に対応する画像をステップＳ１７にて抽出し、シーンＮ、シーンＮ＋１、シーンＮ＋２の画像として当てはめていく。最終的にステップＳ１９にて、各シーンを連続表示しながら、各シーン間が切り替わるタイミングで各遷移効果を適用して画像を表示していく。
【００１７】
続いて、図４を用いて、画像切り替え時の遷移効果の一例を示す。図４では風景などのシーンＡが映っている画像から、人物が映っているシーンＢに遷移する場合の切り替え効果として、シーンＢでの人物の顔を中心に円形の枠が徐々に広がってシーンＢの画像に切り替わっている様子を示している。こうした画像間の切り替え効果を適宜連続して行っていくことで、スライドショーが作成されていく。
【００１８】
続いて、図５を用いて、顔の映っている割合の最適な画像を抽出するのに適した効果の一例を示す。
【００１９】
図５では、シーンＡを背景に人物の映っている複数の画像（シーンＢ１、シーンＢ２）を縮小表示で、右から左へ移動していく効果を示している。シーンＢ１とシーンＢ２はサイズが小さいため人物の顔を表示していても、ある程度の大きさがないと判別しにくくなってしまう。そのため、シーンＡのように背景とする画像に、シーンＢ１やシーンＢ２のように人物が撮像された画像を表示するときには、シーンＢ１やシーンＢ２に所定の面積以上を占める顔を含む画像を採用する。なお、ここでは、所定の面積以上を占める顔としたが、画像中における顔の占める割合であってもよい。こういった切り替え効果に対して、事前にステップＳ１３〜ステップＳ１５の間で人物の顔を抽出し、ステップＳ１７で最適な顔の割合の条件に適合する画像を抽出する。
【００２０】
以上のように実施の形態１によれば、画像間の遷移の効果に対して、背景とする画像の前面に重畳表示する画像として、所定の面積以上を占める顔を含む画像を採用することで、人物の顔が適切な大きさの画像を使ったスライドショーを作成することが可能である。
【００２１】
（実施の形態２）
実施の形態１においては、顔の条件として顔の画像に占める割合とした例を説明した。一方、実施の形態２においては、顔の条件として顔の正面度とした例を説明する。図６は、実施の形態２における動作のフローチャートであるが、ステップＳ２１以外の動作については、図２を用いて説明した実施の形態１の場合と同様であるため、説明を省略する。
【００２２】
実施の形態２の画像処理装置は、ステップＳ２１において、画像中の人物の顔がどの程度正面を向いているかを示す正面度を取得する。
【００２３】
通常は顔の向きが正面の画像を優先して選択することが望ましい場合が多いが、ここでは顔の向きが正面でない画像が望ましい場合の遷移効果の一例を図７を用いて示す。
【００２４】
図７では、シーンＡを背景に人物の映っている２枚の画像がそれぞれ左右に分かれて、シーンＢ１は上から下に移動し、シーンＢ２は下から上に移動していく。途中両方の画像が隣り合った時、人物の顔がお互い向き合っているように見せるため、シーンＢ１で使用する画像は人物の正面度が左向きのものを選び、シーンＢ２で使用する画像は人物の正面度が右向きのものを選ぶのが望ましい。こういった切り替え効果に対して、ステップ１７で最適な顔の正面度の条件に適合する画像を抽出する。
【００２５】
以上のように実施の形態２によれば、画像間の遷移の効果に対して、背景とする画像の前面に重畳表示する画像として、該遷移効果に対応する所定の顔の正面度の画像を抽出することで、人物の顔が適切な向きを向いた画像を使ったスライドショーを作成することが可能である。
【００２６】
（実施の形態３）
実施の形態３においては、顔の条件として顔の画像中の位置とした例を説明する。図８は、実施の形態３における動作のフローチャートであるが、ステップＳ２２以外の動作については、図２を用いて説明した実施の形態１の場合と同様であるため、説明を省略する。
【００２７】
実施の形態３の画像処理装置は、ステップＳ２２において、画像中の人物顔の画像中の位置を取得する。
【００２８】
続いて、図９を用いて、顔の映っている位置の最適な画像を抽出するのに適した効果の一例を示す。図９では、人物の映ったシーンＡを背景に、その左側半分をシーンＢが上から下へ移動していく遷移効果を示している。こうした場合、シーンＡに写っている人物の顔が隠れないように予めシーンＡには右側の位置に人物の顔が映っている画像を選ぶのが望ましい。こういった切り替え効果に対して、ステップ１７で最適な顔の位置の条件に適合する画像を抽出する。
【００２９】
以上のように実施の形態３によれば、画像間の遷移の効果に対して、前面に重畳表示する画像の背景とする画像として、前面に重畳表示する画像の位置を回避する位置に顔の映っている画像を抽出することで、画像の遷移効果にあった位置に人物の顔が表示されるスライドショーを作成することが可能である。
【００３０】
（実施の形態４）
実施の形態４においては、顔の条件として予め登録した顔とした例を説明する。図１０は、実施の形態４の画像処理装置の構成を示すブロック図である。図１０において、２０１は画像中の人物の顔が誰なのかを認証する認証手段であり、それ以外の符号で図１と同じ符号を有するものは同じ機能を有するので詳細な説明は省略する。また、図１１は、実施の形態４における動作のフローチャートであるが、ステップＳ２３以外の動作については、図２を用いて説明した実施の形態１の場合と同様であるため、説明を省略する。
【００３１】
実施の形態４の画像処理装置は、顔が検出された場合にその顔が誰なのかを認証する（ステップ２３）。ステップＳ１６にて各遷移効果に対する顔の条件として特定の人物を設定するように定義されており、ステップＳ２３にて認証した人物がステップＳ１６で定義されている特定の人物に適合する画像を優先的に抽出する（ステップＳ１７）。
【００３２】
以上のように実施の形態４によれば、画像間の遷移の効果に対して、認証した人物を含む画像を抽出することで、ユーザー所望の人物のみが登場するスライドショーを作成することが可能である。
【００３３】
（他の実施形態）
なお、本発明はコンピュータプログラムとして実現してもよい。また、電気通信回線または記録媒体等を介してそのプログラムを配布し、コンピュータを用いて本発明を実施することもできる。
【００３４】
上述の通り、本発明は好ましい実施形態により詳細に説明されるが、本発明はこれらに限定されるものではなく、特許請求の範囲に記載された本発明の技術的範囲内において好ましい変形例及び修正例が可能であることは当業者にとって自明なことであろう。
【産業上の利用可能性】
【００３５】
本発明にかかる画像処理装置は、ＰＣなどの演算処理装置であってもよいし、デジタルカメラ、ムービーカメラ、カメラ付き携帯電話のような撮像装置であってもよい。すなわち、画像処理可能な装置であれば、本発明を適用可能である。
【符号の説明】
【００３６】
１０１    画像入力手段
１０２    取得手段
１０３    決定手段
１０４    画像抽出手段
１０５    読出手段
１０６    表示制御手段
２０１    認証手段
【図１】
2012109696.tif 000003
【図２】
2012109696.tif 000004
【図３】
2012109696.tif 000005
【図４】
2012109696.tif 000006
【図５】
2012109696.tif 000007
【図６】
2012109696.tif 000008
【図７】
2012109696.tif 000009
【図８】
2012109696.tif 000010
【図９】
2012109696.tif 000011
【図１０】
2012109696.tif 000012
【図１１】
2012109696.tif 000013