(57)【要約】【課題】モーフィングの効果が十分に発揮されるスライドショー表示を実現する。【解決手段】抽出部１１ａは、複数の画像各々について画像を構成する構成要素を抽出する。解析部１１ｂは、抽出された構成要素に基づいて、複数の画像各々を解析する。ソート部１１ｃは、解析結果に基づいて、複数の画像を近似する順にソートすることにより、複数の画像の表示順を決定する。対応点設定部１１ｄは、解析結果に基づいて、ソート部１１ｃにより決定された表示順において連続する前後の画像間で構成要素を対応付けるモーフィング対応点を複数の画像各々に設定する。表示制御部１１ｅは、複数の画像各々に設定されたモーフィング対応点を用いたモーフィングにより切り替え前後の画像を変化させながら、ソート部１１ｃにより決定された表示順に従って複数の画像を順次表示させる。【選択図】図１
2011181996.tif 000002
【特許請求の範囲】
【請求項１】
画像を切り替える際にモーフィングにより画像を変化させるスライドショー表示に用いられる複数の画像の表示順を決定する表示順序決定装置であって、
前記複数の画像各々について画像を構成する構成要素を抽出する抽出部と、
前記抽出部により抽出された前記構成要素に基づいて、前記複数の画像各々を解析する解析部と、
前記解析部の解析結果に基づいて、前記複数の画像を近似する順にソートすることにより、前記複数の画像の表示順を決定するソート部と、
前記解析部の解析結果に基づいて、前記ソート部により決定された表示順において連続する前後の画像間で前記構成要素を対応付けるモーフィング対応点を前記複数の画像各々に設定する対応点設定部と、
前記対応点設定部により前記複数の画像各々に設定されたモーフィング対応点を用いたモーフィングにより切り替え前後の画像を変化させながら、前記ソート部により決定された表示順に従って前記複数の画像を順次表示させる表示制御部と、
を備える表示順序決定装置。
【請求項２】
前記抽出部は、
前記構成要素として、前記複数の画像各々に含まれる顔画像を抽出し、
前記解析部は、
前記解析結果として、前記複数の画像各々に含まれる前記顔画像の数を算出し、
前記ソート部は、
前記顔画像の数が多い順又は少ない順に、前記複数の画像をソートする、
ことを特徴とする請求項１に記載の表示順序決定装置。
【請求項３】
前記抽出部は、
前記構成要素の輪郭又は画像の縁で形成される複数の閉曲線を前記複数の画像各々から抽出し、
前記解析部は、
前記解析結果として、前記複数の画像各々に含まれる複数の閉曲線の数に関する情報、前記複数の閉曲線の隣接関係に関する情報及び前記複数の閉曲線の包含関係に関する情報を生成し、
前記ソート部は、
前記複数の閉曲線の数、前記複数の閉曲線の隣接関係及び前記複数の閉曲線の包含関係の近似度に応じて、前記複数の画像をソートする、
ことを特徴とする請求項１又は２に記載の表示順序決定装置。
【請求項４】
前記ソート部によって決定された表示順において連続する前後の画像間で、前記構成要素の数の違いが所定レベル以上である場合に、前記前後の画像のうち、前記構成要素の数が多い方の画像をトリミングし、トリミングされた画像を、スライドショー表示に用いられる画像に組み込むトリミング部をさらに備える、
ことを特徴とする請求項１乃至３のいずれか一項に記載の表示順序決定装置。
【請求項５】
前記ソート部によって決定された表示順において連続する前後の画像のうち、一方の画像の構成要素の大きさ又は位置を調整する画像調整部をさらに備える、
ことを特徴とする請求項１乃至４のいずれか一項に記載の表示順序決定装置。
【請求項６】
請求項１乃至５のいずれか一項に記載の表示順序決定装置を備え、
前記表示順序決定装置によって決定された表示順に従って、複数の画像を順次表示することを特徴とする画像表示装置。
【請求項７】
画像を切り替える際にモーフィングにより画像を変化させるスライドショー表示に用いられる複数の画像の表示順を決定するコンピュータを、
前記複数の画像各々について画像を構成する構成要素を抽出する抽出手段と、
前記抽出手段により抽出された前記構成要素に基づいて、前記複数の画像各々を解析する解析手段と、
前記解析手段の解析結果に基づいて、前記複数の画像を近似する順にソートすることにより、前記複数の画像の表示順を決定するソート手段と、
前記解析手段の解析結果に基づいて、前記ソート手段により決定された表示順において連続する前後の画像間で前記構成要素を対応付けるモーフィング対応点を前記複数の画像各々に設定する対応点設定手段と、
前記対応点設定手段により前記複数の画像各々に設定されたモーフィング対応点を用いたモーフィングにより切り替え前後の画像を変化させながら、前記ソート手段により決定された表示順に従って前記複数の画像を順次表示させる表示制御手段と、
して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像を用いたスライドショー表示を行う表示順序決定装置、画像表示装置及びコンピュータに実行させるプログラムに関する。
【背景技術】
【０００２】
モーフィングとは、一方の画像から他方の画像へ画像を滑らかに変化させていく一手法である（例えば、特許文献１参照）。モーフィングは、一方の画像と、他方の画像とを平行に配置して考えるとわかりやすい（例えば後述する図４参照）。モーフィングでは、平行に置かれた両画像各々で対応する特徴点（モーフィング対応点）を線分の両端のペアとして複数指定し、モーフィング対応点で規定される線分の線形補間により一方の画像から他方の画像へ画像を次第に変化させて行く。
【０００３】
複数の画像のスライドショーの画像切り替えにおいて、モーフィングにより切り替え中の画像を変化させれば、画像の変化を滑らかなものとすることができるうえ、モーフィングによる視覚効果により、スライドショーに独特の面白みを加えることができる。
【０００４】
切り替え前後の画像が近似していれば、モーフィングによる一方の画像から他方の画像への変化は極めて滑らかなものとなる。例えば、無背景で１人の顔が写った画像から、同じく無背景で別の１人の顔が写った画像へ変化させる場合には、その変化は滑らかとなり、モーフィングによる視覚効果が大きくなる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−１１８２４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、例えば、モーフィングにより１人の顔が写った画像から４人の顔が写った画像へ画像を変化させる場合、４人のうちの１人の顔画像は、切り替え前の１人の顔の画像に対応させるにしても、残りの３人の顔は画像の切り替えに伴ってフェードインするようになる。このように、画像が変化する際にフェードインする部分が増えると、モーフィングの効果が薄れるおそれがある。
【０００７】
本発明は、上記実情に鑑みてなされたものであり、モーフィングの効果が十分に発揮されるスライドショー表示を実現することができる表示順序決定装置、画像表示装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の第１の観点に係る表示順序決定装置は、
画像を切り替える際にモーフィングにより画像を変化させるスライドショー表示に用いられる複数の画像の表示順を決定する表示順序決定装置であって、
前記複数の画像各々について画像を構成する構成要素を抽出する抽出部と、
前記抽出部により抽出された前記構成要素に基づいて、前記複数の画像各々を解析する解析部と、
前記解析部の解析結果に基づいて、前記複数の画像を近似する順にソートすることにより、前記複数の画像の表示順を決定するソート部と、
前記解析部の解析結果に基づいて、前記ソート部により決定された表示順において連続する前後の画像間で前記構成要素を対応付けるモーフィング対応点を前記複数の画像各々に設定する対応点設定部と、
前記対応点設定部により前記複数の画像各々に設定されたモーフィング対応点を用いたモーフィングにより切り替え前後の画像を変化させながら、前記ソート部により決定された表示順に従って前記複数の画像を順次表示させる表示制御部と、
を備える。
【０００９】
本発明の第２の観点に係る画像表示装置は、
本発明の表示順序決定装置を備え、
前記表示順序決定装置によって決定された表示順に従って、複数の画像を順次表示することを特徴とする。
【００１０】
本発明の第３の観点に係るプログラムは、
画像を切り替える際にモーフィングにより画像を変化させるスライドショー表示に用いられる複数の画像の表示順を決定するコンピュータを、
前記複数の画像各々について画像を構成する構成要素を抽出する抽出手段と、
前記抽出手段により抽出された前記構成要素に基づいて、前記複数の画像各々を解析する解析手段と、
前記解析手段の解析結果に基づいて、前記複数の画像を近似する順にソートすることにより、前記複数の画像の表示順を決定するソート手段と、
前記解析手段の解析結果に基づいて、前記ソート手段により決定された表示順において連続する前後の画像間で前記構成要素を対応付けるモーフィング対応点を前記複数の画像各々に設定する対応点設定手段と、
前記対応点設定手段により前記複数の画像各々に設定されたモーフィング対応点を用いたモーフィングにより切り替え前後の画像を変化させながら、前記ソート手段により決定された表示順に従って前記複数の画像を順次表示させる表示制御手段と、
して機能させる。
【発明の効果】
【００１１】
本発明によれば、スライドショーにおける画像の表示順を、画像が近似する順に自動的に並び替えるので、モーフィングにより前後の画像を変化させる際に、モーフィングされる部分を多くしてフェードイン又はフェードアウトする部分を少なくすることができる。これにより、モーフィングの効果が十分に発揮されるスライドショー表示を実現することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態１に係る表示順序決定装置の機能的な構成を示すブロック図である。
【図２】図１の表示順序決定装置のハードウエア構成を示すブロック図である。
【図３】図３（Ａ）、図３（Ｂ）は、前後の画像におけるモーフィング対応点の一例を模式的に示す図である。
【図４】モーフィングを説明するための模式図である。
【図５】図５（Ａ）は、モーフィングによる画像の変化を示す図である。図５（Ｂ）は、クロスディゾルブによる画像の変化を示す図である。
【図６】表示順序決定処理のフローチャートである。
【図７】顔画像モーフィング事前処理のフローチャートである。
【図８】全要素モーフィング事前処理のフローチャートである。
【図９】図９（Ａ）乃至図９（Ｄ）は、スライドショーに用いられる複数の画像の一例である。
【図１０】図１０（Ａ）乃至図１０（Ｄ）は、図９（Ａ）乃至図９（Ｄ）の画像から抽出された輪郭線画像の一例である。
【図１１】図１１（Ａ）乃至図１１（Ｄ）は、図１０（Ａ）乃至図１０（Ｄ）の輪郭線画像から抽出される閉曲線の一例である。
【図１２】図１２（Ａ）乃至図１２（Ｄ）は、図１１（Ａ）乃至図１１（Ｄ）に示される閉曲線の関係を示す閉曲線テーブルの一例である。
【図１３】決定された表示順の一例である。
【図１４】本発明の実施形態２に係る表示順序決定装置の機能的な構成を示すブロック図である。
【図１５】図１５（Ａ）、図１５（Ｂ）は、切り替え前後の画像の一例である。図１５（Ｃ）、図１５（Ｄ）は、図１５（Ａ）、図１５（Ｂ）の各画像の閉曲線テーブルの一例である。
【図１６】図１６（Ａ）、図１６（Ｂ）は、トリミングされた画像の一例である。図１６（Ｃ）、図１６（Ｄ）は、図１６（Ａ）、図１６（Ｂ）の各画像の閉曲線テーブルの一例である。
【図１７】トリミングされた画像の表示順の一例である。
【図１８】図１８（Ａ）乃至図１８（Ｄ）は、トリミングの他の方法を説明するための図である。
【図１９】本発明の実施形態３に係る表示順序決定装置の機能的な構成を示すブロック図である。
【図２０】図２０（Ａ）は、一方の画像の拡大前における切り替え前後の画像の一例である。図２０（Ｂ）は、一方の画像の拡大後における切り替え前後の画像の一例である。
【発明を実施するための形態】
【００１３】
本発明に係る実施形態について図面を参照して説明する。なお、本発明は下記の実施形態及び図面によって限定されるものではない。下記の実施形態及び図面に変更（構成要素の削除も含む）を加えることができるのはもちろんである。また、以下の説明では、本発明の理解を容易にするために、重要でない公知の技術的事項の説明を適宜省略する。
【００１４】
（実施形態１）
まず、本発明の実施形態１について説明する。
【００１５】
本実施形態に係る表示順序決定装置１００の構成について、図１及び図２を参照して説明する。本実施形態に係る表示順序決定装置１００は、デジタルフォトフレーム等のデジタル写真を表示する画像表示装置である。
【００１６】
表示順序決定装置１００は、制御部１１と、記憶部１２と、操作部１３と、表示部１４と、読出・書込部１５と、を備える。これらは、互いに信号入出力可能に接続されている。
【００１７】
制御部１１は、表示順序決定装置１００全体を制御する。制御部１１は、画像を切り替える際にモーフィングにより画像を変化させるスライドショー表示に用いられる複数の画像を、記憶媒体５０から読み出す。制御部１１は、抽出部１１ａと、解析部１１ｂと、ソート部１１ｃと、対応点設定部１１ｄと、表示制御部１１ｅとを備える。
【００１８】
抽出部１１ａは、読み出された複数の画像各々について、画像を構成する構成要素を抽出する。ここで、構成要素とは、例えば、画像に写っている人物や物体の各部の像により形成される画像を構成する要素であり、例えば、人物の顔画像や、物体の輪郭などを含んでいる。
【００１９】
解析部１１ｂは、抽出部１１ａにより抽出された構成要素に基づいて、複数の画像各々を解析する。この解析により、例えば、画像内における構成要素の数や位置関係などが画像の解析結果として取得される。
【００２０】
ソート部１１ｃは、解析部１１ｂの解析結果に基づいて、複数の画像を近似する順にソートすることにより、複数の画像の表示順を決定する。この表示順は、記憶部１２に記憶される。例えば、画像の構成要素の数が同じものや、構成要素の位置関係が近似しているものが連続するように、画像がソートされる。
【００２１】
対応点設定部１１ｄは、解析部１１ｂの解析結果に基づいて、ソート部１１ｃにより決定された表示順において連続する前後の画像間で構成要素を対応付けるモーフィング対応点を複数の画像各々に設定する。ここでは、複数の画像各々の構成要素上にモーフィング対応点が設定され、構成要素の位置関係等に基づいて、モーフィングを行う前の画像の構成要素上のモーフィング対応点と、モーフィングを行った後の画像の構成要素上のモーフィング対応点とが、１対１で対応付けられることにより、前後の画像各々の構成要素が対応付けられる。
【００２２】
図３（Ａ）には、切り替え前の画像Ｐ１が示され、図３（Ｂ）には、切り替え後の画像Ｐ２が示されている。図３（Ａ）、図３（Ｂ）では、モーフィング対応点が、各画像に重ねて白丸で示されている。図３（Ａ）、図３（Ｂ）に示すように、モーフィング対応点は、各画像の構成要素の形状の特徴を反映した点である。例えば、図３（Ａ）、図３（Ｂ）では、猫の耳、顔、目（瞳孔含む）の形状の特徴を良く表す部分（例えば、輪郭線の上など）に、モーフィング対応点が設けられている。
【００２３】
画像Ｐ１、Ｐ２内に設定されたモーフィング対応点を頂点としたメッシュを利用することで、画像Ｐ１、Ｐ２間における画素の対応を得ることができる。例えば、画像Ｐ１、Ｐ２間で、猫の耳のほぼ同じ輪郭部分のモーフィング対応点同士、猫の顔のほぼ同じ輪郭部分のモーフィング対応点同士、猫の目のほぼ同じ輪郭部分や瞳孔の部分を対応させれば、滑らかなモーフィングが可能になる。各画像Ｐ１、Ｐ２のモーフィング対応点は、記憶部１２に記憶される。
【００２４】
図４には、切り替え前後の画像Ｐ１、Ｐ２におけるモーフィング対応点ｔ１１、ｔ１２、ｔ２１、ｔ２２が模式的に示されている。対応点設定部１１ｄにより、画像Ｐ１のモーフィング対応点ｔ１１と、画像Ｐ２のモーフィング対応点ｔ２１とが対応づけされ、画像Ｐ１のモーフィング対応点ｔ１２と、画像Ｐ２のモーフィング対応点ｔ２２とが対応づけされるものとする。
【００２５】
表示制御部１１ｅは、記憶部１２に記憶された表示順に従って、複数の画像を表示部１４に順次表示する表示制御を行う（所謂スライドショー）。このスライドショーでは、表示制御部１１ｅは、画像を切り替える際にモーフィングにより切り替え前後の画像を変化させる。
【００２６】
例えば、図４に示すように、画像Ｐ１から画像Ｐ２を切り替える際には、画像Ｐ１、Ｐ２で対応するモーフィング対応点（例えば、ｔ１１及びｔ２１、ｔ１２及びｔ２２）を両端とする線分を複数指定し、それらの線分の線形補間により画像Ｐ１から他方の画像Ｐ２へ画像を次第に変化させて行く。画像Ｐは、画像Ｐ１から画像Ｐ２への中間画像の一例である。画像Ｐでは、モーフィング対応点ｔ１１、ｔ２１に対応する点ｔ１、モーフィング対応点ｔ２１、ｔ２２に対応する点ｔ２等が補間点となる。点ｔ１における画素値は、モーフィング対応点ｔ１１とモーフィング対応点ｔ２１との線形補間値となり、点ｔ２における画素値は、モーフィング対応点ｔ２１とモーフィング対応点ｔ２２との線形補間値となる。
【００２７】
図５（Ａ）は、このようにしてモーフィングにより一方の画像から他方の画像へ変化する様子が示されている。図５（Ａ）に示すように、モーフィングでは、一方の画像から他方の画像へ変化させていく際に、目と目、耳と耳、といった特徴ある部位が対応付けられており、２つの画像の特徴が対応付けられているので、画像を滑らかに変化させることができる。
【００２８】
これに対し、図５（Ｂ）には、クロスディゾルブにより画像が変化する様子が示されている。図５（Ｂ）に示すように、クロスディゾルブでは、単に、一方の画像がフェードアウトし、他方の画像がフェードインしているだけなので、画像の変化の過程で「切り替え途中で目が４つになる」、「輪郭が不明瞭になる」といった現象が発生し、画像の変化が不自然なものとなる。
【００２９】
図１、図２に戻り、制御部１１は、例えば、ＣＰＵ（Central Processing Unit）１１１と１次記憶装置１１２とタイマ１１３とによって実現される。ＣＰＵ１１１は、制御プログラム１２２に従って、表示順序決定装置１００全体を制御する。制御プログラム１２２は、後述の２次記憶装置１２１に記憶され、１次記憶装置１１２へ読み込まれ、ＣＰＵ１１１によって実行される。制御部１１の機能の一部は、各種専用回路（例えばデータを圧縮するエンコーダ、データを伸長するデコーダ等）によって実現されてもよい。この場合、各種専用回路がＣＰＵ１１１の機能の一部を担う。
【００３０】
１次記憶装置１１２は、例えば、ＲＡＭ（Random Access Memory）によって構成され、ＣＰＵ１１１のワーキングメモリ等として機能する。ＣＰＵ１１１が処理中に使用するデータ及び生成したデータは１次記憶装置１１２に一時記憶される。ＣＰＵ１１１に入出力されるデータは１次記憶装置１１２に一時記憶される。
【００３１】
タイマ１１３は、時間を計測する。ＣＰＵ１１１は、タイマ１１３を用いて時間を計測する。
【００３２】
記憶部１２は、制御部１１が処理中に使用する又は生成したデータや制御部１１が記憶媒体５０から読み出した画像等を適宜記憶する。記憶部１２は、表示順や各画像のモーフィング対応点の情報等が含まれるスライドショー情報１２３を記憶する。記憶部１２は、例えば、２次記憶装置１２１によって実現される。２次記憶装置１２１には、制御プログラム１２２、スライドショー情報１２３等が記憶される。制御プログラム１２２、スライドショー情報１２３等のプログラムやデータは、ＣＰＵ１１１によって１次記憶装置１１２に読み出されて、ＣＰＵ１１１によって使用、参照等される。２次記憶装置１２１は、ハードディスク、フラッシュメモリ等の記憶装置によって構成される。
【００３３】
操作部１３は、ユーザの操作入力を受け付ける。操作部１３は、受け付けた操作に応じた操作データ（操作情報）を制御部１１に出力する。操作部１３は、例えば、入力キー１３２によって実現される。
【００３４】
入力キー１３２は、ユーザからの押圧操作に応じたオン信号等を操作情報として出力する。入力キー１３２は、例えば、スライドショーの開始及び停止に用いられる再生・停止キー等の１以上のキーによって構成される。
【００３５】
表示部１４は、制御部１１から供給される画像等に基づいて、画像、操作画面等を表示する。表示部１４は、例えば、駆動回路１４１と表示パネル１４２とから実現される。駆動回路１４１は、ＣＰＵ１１１から供給される画像に従って表示パネル１４２を駆動し、表示パネル１４２に画像、操作画面等を表示させる。表示パネル１４２は、液晶パネル、有機ＥＬ（Electro Luminescence）パネル等によって構成される。
【００３６】
読出・書込部１５は、記憶媒体５０に対してデータ（例えば画像）を読み書きする。読出・書込部１５は、例えば、メディアコントローラ１５１によって実現される。メディアコントローラ１５１は、メモリカード５１に対してデータを読み書きする。
【００３７】
記憶媒体５０は、各種のデータを記憶する。記憶媒体５０は、デジタルカメラが撮影した撮影画像（例えばデジタル写真）を記憶する。記憶媒体５０は、メモリカード５１によって実現される。メモリカード５１は、フラッシュメモリ等のメモリを使用したものである。
【００３８】
次に、表示順序決定装置１００によって行われる表示順序決定処理について説明する。
【００３９】
この処理は、例えば、ユーザが、操作部１３を操作して、表示順序決定処理の開始操作を行ったことを契機として開始される。
【００４０】
記憶媒体５０には、複数の画像（静止画像）が、予め記録されているものとし、制御部１１は、スライドショー表示におけるこの複数の画像の表示順序を決定する。制御部１１は、記憶媒体５０に記憶された画像全て、又は、記憶媒体５０に記憶された所定のグループ（例えば同一のフォルダ）内の複数の画像等を用いて表示順序決定処理を行ってもよい。
【００４１】
図６には、表示順序決定処理のフローチャートが示されている。図６に示すように、まず、制御部１１は、複数の画像を記憶部１２から読み込む（ステップＳ１）。ここで、例えば、図９（Ａ）乃至図９（Ｄ）にそれぞれ示す画像Ａ乃至画像Ｄが読み込まれる。
【００４２】
続いて、制御部１１は、モーフィングの対象を顔画像のみとするか否かを判定する（ステップＳ２）。この判定は、操作部１３の操作入力や、予め記憶部１２に記憶されているパラメータの設定値を参照して行われる。
【００４３】
モーフィングの対象を顔画像のみとする場合（ステップＳ２；Ｙｅｓ）、制御部１１は、顔画像モーフィング事前処理を行う（ステップＳ３）。一方、モーフィングの対象を顔画像のみとしない場合（ステップＳ２；Ｎｏ）、制御部１１は、全要素モーフィング事前処理を行う（ステップＳ４）。ステップＳ３、Ｓ４終了後、制御部１１は、処理を終了する。
【００４４】
（顔画像モーフィング事前処理）
まず、顔画像モーフィング事前処理について説明する。
【００４５】
図７には、顔画像モーフィング事前処理のフローチャートが示されている。図７に示すように、まず、抽出部１１ａは、画像を構成する構成要素として、読み込まれた複数の画像各々に含まれる顔画像を抽出する（ステップＳ１１）。続いて、解析部１１ｂは、画像の解析結果として、複数の画像各々に含まれる顔画像の数を算出する（ステップＳ１２）。
【００４６】
続いて、ソート部１１ｃは、顔画像の数に応じて、複数の画像をソートして、表示順を決定する（ステップＳ１３）。ここでは、例えば、複数の画像が、顔画像の数が多い順または少ない順に並べ替えられる。顔画像の数が同じ画像については、例えば、撮像された日付順等に従って並べ替えることができる。
【００４７】
続いて、対応点設定部１１ｄは、ソートされた順番に従って、切り替え前後の画像について、モーフィングに対応させる顔画像を対応付け、その顔画像における顔の輪郭及び顔の中の目、口等の部分においてもモーフィング対応点を設定する（ステップＳ１４）。このとき、切り替え前後の画像で顔画像の数が異なる場合には、モーフィング対応点を設定することができない顔画像が出てくることがある。このような顔画像に対しては、フェードイン又はフェードアウトするように設定することができる。また、顔画像を検出することができない画像については、モーフィングを行わないようにすることができる。ステップＳ１４終了後は、制御部１１は、顔画像モーフィング事前処理を終了する。
【００４８】
これらの処理を予め行なっておき、モーフィングによるスライドショーが開始されると、表示制御部１１ｅは、記憶部１２に記憶された表示順に従って複数の画像をスライドショー表示する。この間、画像の切り替えは、タイマ１１３が計測する時間によって制御される。画像の切り替えの間、表示制御部１１ｅは、モーフィングにより一方の画像から他方の画像へ表示する画像を変化させる。
【００４９】
なお、複数の画像各々で顔画像の数が同じである場合には、顔画像の数に応じたソートではなく、撮像された日付順や、記憶された順番又は操作部１３の操作入力により指定された順番に従って、画像をソートするようにしてもよい。このようにしても、顔画像の数は各画像で同じであるため、モーフィングによる視覚効果は、十分に発揮される。
【００５０】
（全要素モーフィング事前処理）
次に、全要素モーフィング事前処理について説明する。全要素モーフィング事前処理では、対象が人物の顔画像だけでなく、全ての画像内のオブジェクトをモーフィングの対象とする。
【００５１】
図８には、全要素モーフィング事前処理のフローチャートが示されている。図８に示すように、まず、抽出部１１ａは、全ての画像の輪郭を抽出する（ステップＳ２１）。ここで、抽出部１１ａは、例えば、オブジェクト辞書を用いて各画像に含まれるオブジェクトを検出したり、ステレオカメラ等などによりオブジェクトを検出したりして、オブジェクトの輪郭線を検出する。また、抽出部１１ａは、色相・彩度・輝度などが大きく変化している境界線を検出し、その境界線を輪郭線とするなど、様々な画像処理や解析方法を使用して、各画像の輪郭線などの各種特徴を抽出する。
【００５２】
ここで、例えば、図９（Ａ）に示す画像Ａから図１０（Ａ）に示すような輪郭画像が抽出され、図９（Ｂ）に示す画像Ｂから図１０（Ｂ）に示すような輪郭画像が抽出され、図９（Ｃ）に示す画像Ｃから図１０（Ｃ）に示すような輪郭画像が抽出され、図９（Ｄ）に示す画像Ｄから図１０（Ｄ）に示すような輪郭画像が抽出される。
【００５３】
図８に戻り、続いて、抽出部１１ａは、抽出された構成要素の輪郭等に基づく閉曲線を抽出する（ステップＳ２２）。
【００５４】
例えば、図１０（Ａ）に示す輪郭画像では、図１１（Ａ）に示すように、顔部分の閉曲線Ｃ０、頭髪部分の閉曲線Ｃ１、眼の部分の閉曲線Ｃ２、Ｃ３、口の部分の閉曲線Ｃ４、胴体部分の閉曲線Ｃ５等が抽出される。なお、ここでは、画像の縁も輪郭線の一部とみなしている。
【００５５】
また、図１０（Ｂ）に示す輪郭画像では、図１１（Ｂ）に示すように、左の人物の顔部分の閉曲線Ｃ０、左の人物の頭髪部分の閉曲線Ｃ１、右の人物の顔部分の閉曲線Ｃ２、右の人物の頭髪部分の閉曲線Ｃ３、左の人物の眼の部分の閉曲線Ｃ４、Ｃ５、左の人物の口の部分の閉曲線Ｃ６、右の人物の眼の部分の閉曲線Ｃ７、Ｃ８、右の人物の口の部分の閉曲線Ｃ９、左の人物の胴体部分の閉曲線Ｃ１０、右の人物の閉曲線Ｃ１１等が抽出される。
【００５６】
また、図１０（Ｃ）に示す輪郭画像では、図１１（Ｃ）に示すように、壁の部分の閉曲線Ｃ０、屋根の部分の閉曲線Ｃ１、窓の部分の閉曲線Ｃ２、Ｃ３、ドアの部分の閉曲線Ｃ４、地面の部分の閉曲線Ｃ５が抽出される。
【００５７】
また、図１０（Ｄ）に示す輪郭画像では、図１１（Ｄ）に示すように、眼の部分の閉曲線Ｃ０、Ｃ１、顔の部分の閉曲線Ｃ２、頭髪部分の閉曲線Ｃ３、胴体部分の閉曲線Ｃ４、口の部分の閉曲線Ｃ５等が抽出される。
【００５８】
なお、画像Ａ（図９（Ａ）参照）と画像Ｄ（図９（Ｄ）参照）とでは、閉曲線の番号の付け替えると、閉曲線の位置関係及び数は同じになる。
【００５９】
図８に戻り、続いて、解析部１１ｂは、抽出された閉曲線の数、閉曲線の包含関係及び閉曲線の隣接関係を特定し、画像構成の解析結果として、複数の画像各々に含まれる複数の閉曲線の数に関する情報、複数の閉曲線の隣接関係に関する情報及び複数の閉曲線の包含関係に関する情報を含むテーブル、すなわち閉曲線テーブルを生成する（ステップＳ２３）。ここで、複数の閉曲線の隣接関係に関する情報とは、ある閉曲線が、他の閉曲線に隣接していることを示す情報である。また、複数の閉曲線の包含関係に関する情報とは、ある閉曲線が、他の閉曲線に包含されていることを示す情報である。
【００６０】
例えば、図１１（Ａ）に示すように、画像Ａでは、閉曲線Ｃ２、Ｃ３、Ｃ４は、閉曲線Ｃ０に包含されている。また、閉曲線Ｃ０は、閉曲線Ｃ１、Ｃ５に隣接している。図１２（Ａ）には、画像Ａについて生成された閉曲線テーブルＴ１が示されている。閉曲線テーブルＴ１では、各閉曲線Ｃ０〜Ｃ６について、入れ子親と隣接線とが登録される。ここで、入れ子親とは、ある閉曲線を含む閉曲線を指す。すなわち、閉曲線テーブルＴ１の入れ子親には、各閉曲線について、その閉曲線を含有する閉曲線が登録されている。また、隣接線とは、画像内で、ある閉曲線に隣接する閉曲線を指す。すなわち、閉曲線テーブルＴ１の隣接線には、各閉曲線について、その閉曲線に隣接する閉曲線が登録されている。
【００６１】
同様に、画像Ｂ、Ｃ、Ｄについても、図１２（Ｂ）、図１２（Ｂ）、図１２（Ｄ）に示す閉曲線テーブルＴ２、Ｔ３、Ｔ４が生成される。
【００６２】
図８に戻り、解析部１１ｂは、生成された閉曲線テーブルに基づいて、各画像の近似度を算出する（ステップＳ２４）。ここでは、画像同士の閉曲線の数、閉曲線が隣接する閉曲線の数、包含する閉曲線の数など、閉曲線の構成に着目して全ての画像間の近似度が算出される。例えば、画像内の閉曲線を、画像間で適当に１対応１で対応付けた時に、対応付けられなかった閉曲線がなければ、解析部１１ｂは、閉曲線の数をそのまま得点に加算する。また、対応付けられた閉曲線同士の隣接する閉曲線（隣接線）の数、包含される閉曲線（入れ子親）の数などが一致すれば、解析部１１ｂは、さらに、得点を１点ずつ加算する。このような計算を、閉曲線の全ての組み合わせについて行い、最大の得点を、その画像間の最終的な得点とする。この得点が高ければ高いほど、両画像の近似度は、大きいということになる。なお、画像の近似度の求め方は、これには限られず、画像同士の閉曲線の数、閉曲線が隣接する閉曲線の数、包含する閉曲線の数を用いた任意の方法を採用することができる。
【００６３】
続いて、ソート部１１ｃは、算出された各画像の近似度（複数の閉曲線の数、隣接関係及び包含関係の近似度）に基づいて画像をソートする（ステップＳ２５）。閉曲線テーブルに規定された閉曲線の位置関係及び数が近いものが連続するような順番となるように、画像が並べ替えられる。こうして、例えば、図１３に示すように、画像Ｃ（家）→画像Ａ（１人の人物）→画像Ｄ（１人の人物）→画像Ｂ（２人の人物）というような表示順が得られる。
【００６４】
続いて、対応点設定部１１ｄは、決定された表示順において連続する前後の画像各々について、閉曲線上にモーフィング対応点を設定する（ステップＳ２６）。より具体的には、対応点設定部１１ｄは、画像内の閉曲線の隣接の仕方（隣接関係）と入れ子の具合（包含関係）、すなわち閉曲線の位置関係等に基づいて、連続する画像同士の対応する閉曲線を決定し、閉曲線上の点同士をモーフィング対応点として対応付ける。
【００６５】
ここで、モーフィング対応点の設定においては、それぞれの閉曲線の重心位置と、他の閉曲線の重心位置との位置関係も調べて、重心位置が近い輪郭線同士が対応するようにすれば、滑らかなモーフィングが可能となる。このようなモーフィング対応点の対応付けにより、例えば、画像Ｃ（家）から画像Ａ（１人の人物）に切り替える際には、画像Ｃにおける家の窓と画像Ａにおける人物の目とが対応するようになる。また、画像Ｃにおける家のドアと画像Ａにおける人物の口とが対応するようになる。また、画像Ｃにおける家の壁と画像Ａにおける人物の顔とが対応するようになる。また、画像Ｃにおける家の屋根と画像Ａにおける人物の頭髪とが対応するようになる。画像Ｃにおける地面と画像Ｃにおける人物の胴体とが対応するようになる。また、画像Ａ（１人の人物）から画像Ｄ（１人の人物）に切り替える際には、顔は顔、目は目、口は口、頭髪は頭髪に対応するようになる。また、画像Ｄ（１人の人物）から画像Ｂ（２人の人物）に切り替える際には、画像Ｂの２人のうちの片方のみをモーフィング対象としてランダムに選択し、画像Ｄの顔画像と、画像Ｂにおける選択された１人の画像とを対応付け、画像Ｂにおけるもう１人の顔画像をフェードインさせるようにすればよい。
【００６６】
これらの処理を予め行なっておき、モーフィングによるスライドショーが開始されると、表示制御部１１ｅは、記憶部１２に記憶された表示順に従って複数の画像をスライドショー表示する。この間、画像の切り替えは、タイマ１１３が計測する時間によって制御される。画像の切り替えの間、表示制御部１１ｅは、モーフィングにより一方の画像から他方の画像へ表示する画像を変化させる。
【００６７】
以上詳細に説明したように、本実施形態によれば、スライドショーにおける画像の表示順を、画像が近似する順に自動的に並び替えるので、モーフィングにより前後の画像を変化させる際に、モーフィングされる部分を多くしてフェードイン又はフェードアウトする部分を少なくすることができる。これにより、モーフィングの効果が十分に発揮されるスライドショー表示を実現することができる。
【００６８】
また、本実施形態に係る顔画像モーフィング事前処理によれば、スライドショーにおける画像の表示順を、顔画像の数に応じて自動的に並び替えるので、人物の顔画像などを滑らかに変化させることができるうえ、モーフィングの効果が十分に発揮されるスライドショー表示を実現することができる。
【００６９】
また、本実施形態に係る全要素モーフィング事前処理によれば、画像の構成要素の輪郭等から成る複数の閉曲線の数、複数の閉曲線の隣接関係及び複数の閉曲線の包含関係の近似度に応じて、スライドショーにおける画像の表示順を、自動的に並び替えるので、あらゆるオブジェクトが写り込んだ画像などを滑らかに変化させることができるうえ、モーフィングの効果が十分に発揮されるスライドショー表示を実現することができる。また、人物の顔と家との間のモーフィングなども可能となるので、より面白みのある画像の変化を実現することができる。
【００７０】
なお、実際の写真画像では、顔や体などの各部分の画像がうまく輪郭として取得できない可能性があるが、画像の切り替えの効果を楽しむ目的としては、画像に写る物または人物等のオブジェクトの抽出を正確に行う必要はなく、取得された閉曲線が複数のオブジェクトに跨ったりしていてもよい。
【００７１】
画像間の近似度については、厳密に求める必要はない。例えば、図９（Ａ）乃至図９（Ｄ）に示される画像であれば、決定される表示順は、例えば画像Ｃ（家）→画像Ｄ（１人の人物）→画像Ａ（１人の人物）→画像Ｂ（２人の人物）であってもよい。
【００７２】
また、表示制御部１１ｅは、顔画像の数が同じ画像の切り替え時にのみモーフィングで画像を変化させ、顔画像の数が異なる画像に切り替える場合には、モーフィング以外の方法で画像を切り替えるようにしてもよい。同様に、閉曲線の数、隣接関係及び包含関係に着目して並べ替えを行なう場合、前後の画像の閉曲線の数の違いが、所定のレベル未満である場合（例えば閉曲線の数が２倍未満）にはモーフィングを行い、閉曲線の構成の違いが、所定のレベル以上（例えば閉曲線の数が２倍以上）となった場合には、モーフィング以外の方法で画像を切り替えるようにしてもよい。
【００７３】
また、上記実施形態では、画像の閉曲線の数、隣接関係及び包含関係に着目して画像の間の近似度の算出やモーフィング対応点の設定を行なったが、このほか、閉曲線の位置、大きさ、その閉曲線内を占める色を検出し、閉曲線の位置、大きさ、色等の閉曲線に関する情報に基づいて、画像間の近似度の算出やモーフィング対応点の設定を行なってもよい。例えば、位置、大きさがほぼ同じである閉曲線、同系色である閉曲線をそれぞれ対応付けるようにして、画像間の近似度の算出や、モーフィング対応点の設定を行うことができる。
【００７４】
また、本実施形態では、抽出された顔画像の数や、抽出された閉曲線の位置関係又は数に基づいて、画像をソートし、モーフィング対応点を設定することとしているが、その他の画像解析手段を用いて、画像を解析し、その解析結果に応じて画像の近似度を算出したり、モーフィング対応点を設定したりしてもよい。
【００７５】
（実施形態２）
次に、本発明の実施形態２について説明する。
【００７６】
図１４には、本実施形態に係る表示順序決定装置１００は、制御部１１が、トリミング部１１ｆをさらに備える点が、上記実施形態１と異なっている。トリミング部１１ｆは、ソート部１１ｃによって決定された表示順において連続する前後の画像間で、構成要素の数の違いが所定レベル（例えば２倍）以上である場合に、前後の画像のうち、構成要素の数が多い方の画像をトリミングし、トリミングされた画像を、スライドショー表示に用いられる画像として組み込む。
【００７７】
例えば、トリミング部１１ｆは、１人の顔画像を含む画像から２人の人物の顔画像を含む画像へ切り替える場合には、画像間で、構成要素の数が２倍以上となるので、２人の人物の顔画像を含む画像をトリミングして１人ずつの画像に分割する。表示制御部１１ｅは、分割されたトリミング画像を用いてモーフィングによるスライドショー表示を制御する。
【００７８】
図１５（Ａ）には、切り替え前の画像Ｄが示され、図１５（Ｂ）には、切り替え後の画像Ｂが示されている。図１５（Ａ）に示すように、画像Ｄでは、顔画像の数が１つであり、図１５（Ｂ）に示すように、画像Ｂでは、顔画像の数が２つである。ソート部１１ｃによって決定された決定順により、画像Ｄから画像Ｂへのモーフィングを行う場合、画像Ｄと画像Ｂとの構成要素の数の違いが例えば２倍以上であると判定されると、トリミング部１１ｆは、画像Ｂのトリミングを行う。
【００７９】
トリミング部１１ｆによる画像Ｂのトリミング方法の１つに、閉曲線テーブルを用いた方法がある。図１５（Ｃ）には、画像Ｄの閉曲線テーブルＴ４が示され、図１５（Ｄ）には、画像Ｂの閉曲線テーブルＴ２が示されている。この方法では、トリミング画像の閉曲線テーブルが、図１５（Ｃ）に示す閉曲線テーブルＴ１の構成にできるだけ近くなるように（閉曲線の数、隣接関係及び包含関係が近くなるように）、画像Ｂがトリミングされる。
【００８０】
より具体的には、トリミング部１１ｆは、図１５（Ｄ）に示す閉曲線テーブルに設定された各閉曲線を、入れ子親、隣接線で関連している閉曲線にグループ分けする。そして、トリミング部１１ｆは、その閉曲線のグループごとのトリミング画像を生成する。図１６（Ａ）、図１６（Ｂ）には、このようにして閉曲線のグループ分けによりトリミングされた２つのトリミング画像Ｂ−１、Ｂ−２が示されている。図１６（Ｃ）、図１６（Ｄ）には、図１６（Ａ）、図１６（Ｂ）に示す各画像Ｂ−１、Ｂ−２の閉曲線テーブルが示されている。図１６（Ｃ）、図１６（Ｄ）に示す閉曲線テーブルにおける閉曲線の数、隣接関係及び包含関係は、図１５（Ｄ）に示す閉曲線テーブルと比較すると、図１５（Ｃ）に示す閉曲線テーブルにおける閉曲線の数、隣接関係及び包含関係に近似しているのがわかる。
【００８１】
なお、トリミング部１１ｆは、抽出された顔画像の数が多い画像を、顔画像が少ない方の画像と顔画像が同じ数になるようにトリミングするようにしてもよい。例えば、図１８（Ａ）に示す画像Ｄと図１８（Ｂ）に示す画像Ｂとであれば、画像Ｂの方が、顔画像の数が多いので、トリミング部１１ｆは、画像Ｂをトリミングし、図１８（Ｃ）を示すトリミング画像Ｂ−１’と、図１８（Ｄ）に示すトリミング画像Ｂ−２’とを得る。
【００８２】
また、その他の方法で、トリミングを行ってもよいのは勿論である。
【００８３】
以上詳細に説明したように、本実施形態によれば、決定された表示順において連続する前後の画像における構成要素の数が著しく異なる場合には、一方の画像をトリミングし、トリミング画像を用いてモーフィングによるスライドショー表示を行う。これにより、連続する前後の画像をさらに近似させることができる。この結果、モーフィングの効果が十分に発揮されるスライドショー表示を実現することができる。
【００８４】
（実施形態３）
次に、本発明の実施形態３について説明する。
【００８５】
図１９には、本実施形態に係る表示順序決定装置１００では、制御部１１が、画像調整部１１ｇをさらに備える。この点が、上記実施形態２と異なっている。画像調整部１１ｇは、ソート部１１ｃによって決定された表示順において連続する２枚の画像間で、構成要素の大きさ又は位置の違いが所定レベル以上（例えば、大きさが２倍以上、位置ずれが所定距離以上）である場合に、その２枚の画像のうち、一方の画像の構成要素の大きさ又は位置を調整する。
【００８６】
図２０（Ａ）の２つの画像Ｂ−１、Ｄのように、モーフィングをする画像間で、対応する閉曲線の位置や大きさが異なる場合、又は、抽出された顔画像の大きさや位置が異なる場合、これはこれでモーフィングとして面白い効果が出ることもある。しかしながら、本実施形態では、画像の変化の滑らかさ（これもモーフィングの効果の１つである）を優先し、画像調整部１１ｇが、閉曲線の大きさ及び位置等ができるだけ同じになるように、一方の画像を調整する。例えば、図２０（Ｂ）に示すように、画像Ｂ−１を調整して、画像Ｂ−１−１が生成され、画像Ｂ−１−１が、画像Ｄと連続する画像としてスライドショーに用いられる。
【００８７】
また、画像調整部１１ｇは、逆に、切り替え前後の画像を著しく異ならしめるために、逆に、切り替え前後の画像のうちの一方の画像の構成要素を、異なる位置、異なる大きさに変更するようにしてもよい。画像によっては、この方がモーフィングの効果が大きくなる場合があるからである。
【００８８】
以上詳細に説明したように、本実施形態によれば、決定された表示順において連続する前後の画像のうち、一方の画像を、モーフィングの効果が高まるように調整する。この結果、ユーザの負担を増大させることなく、モーフィングの効果が十分に発揮されるスライドショー表示を実現することができる。
【００８９】
表示順序決定装置１００は、デジタルカメラ、パーソナルコンピュータ等のコンピュータであってもよい。表示順序決定装置１００がパーソナルコンピュータ等である場合は、表示順序決定装置１００は、記憶部１２、表示部１４等を備えなくても良い。この場合、表示順序決定装置１００は、適宜、外部の記憶部、表示部等に接続される。
【００９０】
なお、上記各実施形態において、実行されるプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical Disk）等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
【００９１】
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
【００９２】
また、上述の機能を、ＯＳ（Operating System）が分担して実現する場合又はＯＳとアプリケーションとの協働により実現する場合等には、ＯＳ以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
【産業上の利用可能性】
【００９３】
本発明は、モーフィングを適用した複数の画像のスライドショー表示に好適である。
【符号の説明】
【００９４】
１１…制御部、１１ａ…抽出部、１１ｂ…解析部、１１ｃ…ソート部、１１ｄ…対応点設定部、１１ｅ…表示制御部、１１ｆ…トリミング部、１１ｇ…画像調整部、１２…記憶部、１３…操作部、１４…表示部、１５…読出・書込部、５０…記憶媒体、５１…メモリカード、１００…表示順序決定装置、１１１…ＣＰＵ、１１２…１次記憶装置、１１３…タイマ、１２１…２次記憶装置、１２２…制御プログラム、１２３…スライドショー情報、１３２…入力キー、１４１…駆動回路、１４２…表示パネル、１５１…メディアコントローラ
【図１】
2011181996.tif 000003
【図２】
2011181996.tif 000004
【図４】
2011181996.tif 000005
【図６】
2011181996.tif 000006
【図７】
2011181996.tif 000007
【図８】
2011181996.tif 000008
【図１０】
2011181996.tif 000009
【図１１】
2011181996.tif 000010
【図１２】
2011181996.tif 000011
【図１４】
2011181996.tif 000012
【図１９】
2011181996.tif 000013
【図３】
2011181996.tif 000014
【図５】
2011181996.tif 000015
【図９】
2011181996.tif 000016
【図１３】
2011181996.tif 000017
【図１５】
2011181996.tif 000018
【図１６】
2011181996.tif 000019
【図１７】
2011181996.tif 000020
【図１８】
2011181996.tif 000021
【図２０】
2011181996.tif 000022