(57)【要約】【課題】画像だけでなく動画像に付帯する音声や文字等もレイアウトに反映させ、内容の充実した編集物を作成するのに好適な画像レイアウト装置を提供する。【解決手段】動画像を取得する動画像取得部１１０と、動画像取得部１１０で取得した動画像に付帯する音声情報に基づいて音声認識を行いその認識結果であるテキスト情報を出力する音声認識部１９０と、動画像取得部１１０で取得した動画像を構成する複数の静止画像のなかから画像を選択する画像選択部１５０と、音声認識部１９０からのテキスト情報および画像選択部１５０で選択した選択画像をレイアウトする画像レイアウト部１７０とを備える。【選択図】　図８
2004120127.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数の静止画像のなかから画像を選択し、選択した画像をレイアウトする装置であって、
前記動画像に付帯する付帯情報を前記動画像から取得する付帯情報取得手段と、前記複数の静止画像のなかから画像を選択する画像選択手段と、前記付帯情報取得手段で取得した付帯情報に基づいて前記画像選択手段で選択した選択画像をレイアウトするレイアウト手段とを備えることを特徴とする画像レイアウト装置。
【請求項２】
請求項１において、
前記画像選択手段は、ユーザの好みに適合した画像を前記複数の静止画像のなかから選択するようになっていることを特徴とする画像レイアウト装置。
【請求項３】
請求項１及び２のいずれかにおいて、
前記動画像には、音声情報が付帯しており、
前記付帯情報取得手段は、前記動画像に付帯する音声情報に基づいて音声認識を行い、認識結果であるテキスト情報を前記付帯情報として取得するようになっており、
前記レイアウト手段は、前記付帯情報取得手段で取得したテキスト情報及び前記選択画像をレイアウトするようになっていることを特徴とする画像レイアウト装置。
【請求項４】
請求項１及び２のいずれかにおいて、
前記動画像には、テキスト情報が付帯しており、
前記付帯情報取得手段は、前記動画像に付帯するテキスト情報を前記付帯情報として取得するようになっており、
前記レイアウト手段は、前記付帯情報取得手段で取得したテキスト情報及び前記選択画像をレイアウトするようになっていることを特徴とする画像レイアウト装置。
【請求項５】
請求項３及び４のいずれかにおいて、
さらに、前記付帯情報取得手段で取得したテキスト情報に基づいて要約を作成する要約作成手段を備え、
前記レイアウト手段は、前記要約作成手段で作成した要約及び前記選択画像をレイアウトするようになっていることを特徴とする画像レイアウト装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
さらに、前記動画像からシーンの区切を検出するシーン区切検出手段を備え、
前記画像選択手段は、前記シーン区切検出手段の検出結果に基づいて前記複数の静止画像のなかから画像を選択するようになっていることを特徴とする画像レイアウト装置。
【請求項７】
請求項１乃至５のいずれかにおいて、
さらに、前記動画像からシーンの区切を検出するシーン区切検出手段を備え、
前記付帯情報取得手段は、前記シーン区切検出手段の検出結果に基づいて前記付帯情報を前記動画像から取得するようになっていることを特徴とする画像レイアウト装置。
【請求項８】
請求項５において、
さらに、前記動画像からシーンの区切を検出するシーン区切検出手段を備え、
前記要約作成手段は、前記シーン区切検出手段の検出結果及び前記付帯情報取得手段で取得したテキスト情報に基づいて要約を作成するようになっていることを特徴とする画像レイアウト装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記レイアウト手段は、レイアウトの枠組みを構成する異なる複数のテンプレートのなかから前記テンプレートを選択し、選択したテンプレート及び前記付帯情報に基づいて前記選択画像をレイアウトするようになっていることを特徴とする画像レイアウト装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
さらに、前記付帯情報を識別情報と対応付けて記憶する付帯情報記憶手段と、前記付帯情報記憶手段の付帯情報を提供する付帯情報提供手段とを備え、
前記レイアウト手段は、前記付帯情報に対応する識別情報を含む参照情報及び前記選択画像をレイアウトするようになっており、
前記付帯情報提供手段は、前記参照情報に基づくアクセスがあったときは、当該参照情報に含まれる識別情報に対応する付帯情報を前記付帯情報記憶手段から読み出し、読み出した付帯情報をアクセス元に提供するようになっていることを特徴とする画像レイアウト装置。
【請求項１１】
請求項１０において、
さらに、前記識別情報を生成する識別情報生成手段を備え、
前記付帯情報取得手段は、前記付帯情報を前記動画像から取得し、取得した付帯情報を、前記識別情報生成手段で生成した識別情報と対応付けて前記付帯情報記憶手段に記憶するようになっていることを特徴とする画像レイアウト装置。
【請求項１２】
請求項１乃至９のいずれかにおいて、
さらに、前記動画像のうち前記選択画像を含むものを識別情報と対応付けて記憶する動画像記憶手段と、前記動画像記憶手段の動画像を提供する動画像提供手段とを備え、
前記レイアウト手段は、前記選択画像を含む動画像に対応する識別情報を含む参照情報及び前記選択画像をレイアウトするようになっており、
前記動画像提供手段は、前記参照情報に基づくアクセスがあったときは、当該参照情報に含まれる識別情報に対応する動画像を前記動画像記憶手段から読み出し、読み出した動画像をアクセス元に提供するようになっていることを特徴とする画像レイアウト装置。
【請求項１３】
請求項１２において、
さらに、前記識別情報を生成する識別情報生成手段と、動画像を生成する動画像生成手段とを備え、
前記動画像生成手段は、前記動画像のうち前記選択画像を含むものを生成し、生成した動画像を、前記識別情報生成手段で生成した識別情報と対応付けて前記動画像記憶手段に記憶するようになっていることを特徴とする画像レイアウト装置。
【請求項１４】
請求項１０乃至１３のいずれかにおいて、
前記参照情報は、ＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）であることを特徴とする画像レイアウト装置。
【請求項１５】
請求項１０乃至１３のいずれかにおいて、
前記参照情報は、バーコードであることを特徴とする画像レイアウト装置。
【請求項１６】
請求項１０乃至１５のいずれかにおいて、
前記参照情報は、広告情報を含むことを特徴とする画像レイアウト装置。
【請求項１７】
請求項１乃至１６のいずれかにおいて、
さらに、前記レイアウト手段のレイアウト結果に基づいて印刷を行う印刷手段を備えることを特徴とする画像レイアウト装置。
【請求項１８】
動画像を構成する複数の静止画像のなかから画像を選択し、選択した画像をレイアウトするプログラムであって、
前記動画像に付帯する付帯情報を前記動画像から取得する付帯情報取得手段、前記複数の静止画像のなかから画像を選択する画像選択手段、及び前記付帯情報取得手段で取得した付帯情報に基づいて前記画像選択手段で選択した選択画像をレイアウトするレイアウト手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする画像レイアウトプログラム。
【請求項１９】
動画像を構成する複数の静止画像のなかから画像を選択し、選択した画像をレイアウトする方法であって、
前記動画像に付帯する付帯情報を前記動画像から取得する付帯情報取得ステップと、前記複数の静止画像のなかから画像を選択する画像選択ステップと、前記付帯情報取得ステップで取得した付帯情報に基づいて前記画像選択ステップで選択した選択画像をレイアウトするレイアウトステップとを含むことを特徴とする画像レイアウト方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像を構成する複数の静止画像のなかから選択した画像をレイアウトする装置およびプログラム、並びに方法に係り、特に、画像だけでなく動画像に付帯する音声や文字等もレイアウトに反映させ、内容の充実した編集物を作成するのに好適な画像レイアウト装置および画像レイアウトプログラム、並びに画像レイアウト方法に関する。
【０００２】
【従来の技術】
ディジタルビデオカメラで動画像を撮影し、撮影した動画像を使ってオリジナルアルバムを作成する場合、ユーザは、例えば、撮影した動画像をパソコンに取り込み、動画像を構成する複数の静止画像のなかから画像を選択し、選択画像をレイアウトした後にプリンタで印刷する。パソコン上のアプリケーションでは、多くの場合、印刷したい画像をいくつか選択すると、規定のテンプレートに選択画像を当てはめて自動レイアウトしてくれる。
【０００３】
従来、画像を利用してアルバムその他の編集物を作成する技術としては、例えば、特許文献１に開示されている電子絵本表示装置（以下、第１の従来例という。）、特許文献２に開示されているオリジナル絵本（以下、第２の従来例という。）、特許文献３に開示されているオリジナル絵本（以下、第３の従来例という。）および特許文献４に開示されているビデオプリンタ（以下、第４の従来例という。）があった。
【０００４】
第１の従来例は、あらかじめ絵本となる画像および文章などを書き込む記録媒体と、記録媒体から読み出した背景用画像データを格納する背景用メモリおよび動画用画像データを格納する動画用メモリと、背景用メモリおよび動画用メモリから読み出した背景データおよび動画データを合成して絵本にする合成部とを備え、合成部が合成した画像データを絵本として表示するように構成する。
【０００５】
これにより、絵本を電子化、更に簡易アニメーション機能や音声を付加して静止した絵でけでは得られない効果を与えるとともに、紙を使用せず、再印刷することなく絵本の題材の変更を可能とし、保管を簡易かつ長期間の保管を可能とする。
第２の従来例は、絵本の物語の中の特定の登場人物がブランクの絵本の各ページをあらかじめ準備しておき、ディジタルカメラにより撮影した人物画像をコンピュータにより処理して、ブランクの登場人物の部分にレイアウトしてプリントすることにより、絵本を完成させるようにして絵本の物語に登場する人物と名前を自由に設定出来るようにして、世界に一冊しか存在しない、一冊づつ違う絵本を安い費用で容易にプリント出来るようにしたものである。また、オリジナル絵本の製作方法においては、プリントされた絵本の原紙を独自の方法によりハードカバーを付けて製本出来るようにして短時間で容易にオリジナル絵本の製作が出来るようにしたものである。
【０００６】
第３の従来例は、原版の絵本において登場人物の名前と写真とを個人の名前および写真と取り替えて作成した。その一例として「ももじろう」は、その原版が「ももたろう」であり、題名が「ももじろう」に置き換えられるとともに、絵の中では、「ももたろう」の顔に変えて「子供（じろう）」の顔写真が使われている。さらに、物語本文中の名前の記載も「ももたろう」を「ももじろう」に置き換え、写真も全て「ももたろう」の顔が「子供（じろう）」の顔写真に取り替えられているため、世界で一冊だけのオリジナル絵本となる。
【０００７】
第４の従来例は、インデックスコード検波器にてテレビ信号に重畳されたインデックスコードを検波する。そして、インデックスコードが検波されたときに、メインＣＰＵが、インデックコードが重畳された画像をフレームメモリに記録する制御を行うとともにメカニズム部にて印刷する制御を行う。
これにより、テレビ番組の最初から最後まで見ることなく、必要な画像のみを適宜得ることが可能になる。
【０００８】
【特許文献１】
特開平５−１２０４００号公報
【０００９】
【特許文献２】
特開平１１−１２８５５３号公報
【００１０】
【特許文献３】
実願平１０−８４２０号公報
【００１１】
【特許文献４】
特開平７−１７０４７３号公報
【００１２】
【発明が解決しようとする課題】
ディジタルビデオカメラで撮影した動画像からオリジナルアルバムを作成する場合は、動画像を構成する複数の静止画像のなかから選択した画像をレイアウトするだけでなく、動画像に付帯する音声やクリップ等の文字も一緒にレイアウトした方が、内容の充実したアルバムを作成することができる。
【００１３】
しかしながら、第１の従来例にあっては、背景データおよび動画データを合成して絵本を作成するようになっているだけで、動画像に付帯する音声や文字等を編集物に反映させることはできない。
また、第２の従来例にあっては、ディジタルカメラにより撮影した人物画像をコンピュータにより処理して、ブランクの登場人物の部分にレイアウトしてプリントすることにより絵本を作成するようになっているだけで、同様に、動画像に付帯する音声や文字等を編集物に反映させることはできない。
【００１４】
また、第３の従来例にあっては、登場人物の名前と写真とを個人の名前および写真と取り替えて絵本を作成するようになっているだけで、同様に、動画像に付帯する音声や文字等を編集物に反映させることはできない。
また、第４の従来例にあっては、インデックスコードが検波されたときに、メインＣＰＵが、インデックコードが重畳された画像をフレームメモリに記録する制御を行うとともにメカニズム部にて印刷するようになっているだけで、同様に、動画像に付帯する音声や文字等を編集物に反映させることはできない。
【００１５】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、画像だけでなく動画像に付帯する音声や文字等もレイアウトに反映させ、内容の充実した編集物を作成するのに好適な画像レイアウト装置および画像レイアウトプログラム、並びに画像レイアウト方法を提供することを目的としている。
【００１６】
【課題を解決するための手段】
〔発明１〕
上記目的を達成するために、発明１の画像レイアウト装置は、
動画像を構成する複数の静止画像のなかから画像を選択し、選択した画像をレイアウトする装置であって、
前記動画像に付帯する付帯情報を前記動画像から取得する付帯情報取得手段と、前記複数の静止画像のなかから画像を選択する画像選択手段と、前記付帯情報取得手段で取得した付帯情報に基づいて前記画像選択手段で選択した選択画像をレイアウトするレイアウト手段とを備えることを特徴とする。
【００１７】
このような構成であれば、付帯情報取得手段により、付帯情報が動画像から取得され、画像選択手段により、動画像を構成する複数の静止画像のなかから画像が選択される。そして、レイアウト手段により、取得された付帯情報に基づいて選択画像がレイアウトされる。
ここで、付帯情報は、動画像に付帯する情報をいい、これには、例えば、動画像に付帯する音声情報またはテキスト情報が含まれる。
【００１８】
また、付帯情報に基づいて選択画像をレイアウトすることには、例えば、付帯情報がレイアウト可能な情報であれば、付帯情報および選択画像をレイアウトすること、付帯情報がレイアウト不可能な情報であれば、付帯情報を利用した情報処理を行ってその処理結果および選択画像をレイアウトすることが含まれる。付帯情報がレイアウト可能な情報であっても、後者の方法によりレイアウトを行うこともできる。
〔発明２〕
さらに、発明２の画像レイアウト装置は、発明１の画像レイアウト装置において、
前記画像選択手段は、ユーザの好みに適合した画像を前記複数の静止画像のなかから選択するようになっていることを特徴とする。
【００１９】
このような構成であれば、画像選択手段により、ユーザの好みに適合した画像が複数の静止画像のなかから選択される。
ここで、ユーザの好みに適合した画像を選択する構成として、より具体的には、ユーザの好みに関するユーザ情報を記憶するユーザ情報記憶手段を備え、画像選択手段は、ユーザ情報記憶手段のユーザ情報に基づいて複数の静止画像のなかから画像を選択する構成を提案することができる。
〔発明３〕
さらに、発明３の画像レイアウト装置は、発明１および２のいずれかの画像レイアウト装置において、
前記動画像には、音声情報が付帯しており、
前記付帯情報取得手段は、前記動画像に付帯する音声情報に基づいて音声認識を行い、認識結果であるテキスト情報を前記付帯情報として取得するようになっており、
前記レイアウト手段は、前記付帯情報取得手段で取得したテキスト情報および前記選択画像をレイアウトするようになっていることを特徴とする。
【００２０】
このような構成であれば、付帯情報取得手段により、動画像に付帯する音声情報に基づいて音声認識が行われ、認識結果であるテキスト情報が付帯情報として取得される。そして、レイアウト手段により、取得されたテキスト情報および選択画像がレイアウトされる。
〔発明４〕
さらに、発明４の画像レイアウト装置は、発明１および２のいずれかの画像レイアウト装置において、
前記動画像には、テキスト情報が付帯しており、
前記付帯情報取得手段は、前記動画像に付帯するテキスト情報を前記付帯情報として取得するようになっており、
前記レイアウト手段は、前記付帯情報取得手段で取得したテキスト情報および前記選択画像をレイアウトするようになっていることを特徴とする。
【００２１】
このような構成であれば、付帯情報取得手段により、動画像に付帯するテキスト情報が付帯情報として取得され、レイアウト手段により、取得されたテキスト情報および選択画像がレイアウトされる。
〔発明５〕
さらに、発明５の画像レイアウト装置は、発明３および４のいずれかの画像レイアウト装置において、
さらに、前記付帯情報取得手段で取得したテキスト情報に基づいて要約を作成する要約作成手段を備え、
前記レイアウト手段は、前記要約作成手段で作成した要約および前記選択画像をレイアウトするようになっていることを特徴とする。
【００２２】
このような構成であれば、要約作成手段により、取得されたテキスト情報に基づいて要約が作成され、レイアウト手段により、作成された要約および選択画像がレイアウトされる。
〔発明６〕
さらに、発明６の画像レイアウト装置は、発明１ないし５のいずれかの画像レイアウト装置において、
さらに、前記動画像からシーンの区切を検出するシーン区切検出手段を備え、
前記画像選択手段は、前記シーン区切検出手段の検出結果に基づいて前記複数の静止画像のなかから画像を選択するようになっていることを特徴とする。
【００２３】
このような構成であれば、シーン区切検出手段により動画像からシーンの区切が検出されると、画像選択手段により、シーン区切検出手段の検出結果に基づいて複数の静止画像のなかから画像が選択される。
ここで、シーン区切検出手段の検出結果に基づいて画像を選択する構成として、より具体的には、シーン区切検出手段は、動画像からシーンの区切を検出し、シーンの区切を示すシーン区切情報を出力し、画像選択手段は、シーン区切検出手段からのシーン区切情報に基づいて、動画像を構成する複数の静止画像のうち同一シーンまたは特定シーンに属するもののなかから画像を選択する構成を提案することができる。
〔発明７〕
さらに、発明７の画像レイアウト装置は、発明１ないし５のいずれかの画像レイアウト装置において、
さらに、前記動画像からシーンの区切を検出するシーン区切検出手段を備え、
前記付帯情報取得手段は、前記シーン区切検出手段の検出結果に基づいて前記付帯情報を前記動画像から取得するようになっていることを特徴とする。
【００２４】
このような構成であれば、シーン区切検出手段により動画像からシーンの区切が検出されると、付帯情報取得手段により、シーン区切検出手段の検出結果に基づいて付帯情報が動画像から取得される。
ここで、シーン区切検出手段の検出結果に基づいて付帯情報を取得する構成として、より具体的には、シーン区切検出手段は、動画像からシーンの区切を検出し、シーンの区切を示すシーン区切情報を出力し、付帯情報取得手段は、シーン区切検出手段からのシーン区切情報に基づいて、動画像のうち同一シーンまたは特定シーンに係るものに付帯する付帯情報を動画像から取得する構成を提案することができる。
〔発明８〕
さらに、発明８の画像レイアウト装置は、発明５の画像レイアウト装置において、
さらに、前記動画像からシーンの区切を検出するシーン区切検出手段を備え、
前記要約作成手段は、前記シーン区切検出手段の検出結果および前記付帯情報取得手段で取得したテキスト情報に基づいて要約を作成するようになっていることを特徴とする。
【００２５】
このような構成であれば、シーン区切検出手段により動画像からシーンの区切が検出されると、要約作成手段により、シーン区切検出手段の検出結果および取得されたテキスト情報に基づいて要約が作成される。
ここで、シーン区切検出手段の検出結果に基づいて要約を作成する構成として、より具体的には、シーン区切検出手段は、動画像からシーンの区切を検出し、シーンの区切を示すシーン区切情報を出力し、要約作成手段は、シーン区切検出手段からのシーン区切情報、および動画像のうち同一シーンまたは特定シーンに係るものから取得したテキスト情報に基づいて要約を作成する構成を提案することができる。
〔発明９〕
さらに、発明９の画像レイアウト装置は、発明１ないし８のいずれかの画像レイアウト装置において、
前記レイアウト手段は、レイアウトの枠組みを構成する異なる複数のテンプレートのなかから前記テンプレートを選択し、選択したテンプレートおよび前記付帯情報に基づいて前記選択画像をレイアウトするようになっていることを特徴とする。
【００２６】
このような構成であれば、レイアウト手段により、異なる複数のテンプレートのなかからテンプレートが選択され、選択されたテンプレートおよび付帯情報に基づいて選択画像がレイアウトされる。
〔発明１０〕
さらに、発明１０の画像レイアウト装置は、発明１ないし９のいずれかの画像レイアウト装置において、
さらに、前記付帯情報を識別情報と対応付けて記憶する付帯情報記憶手段と、前記付帯情報記憶手段の付帯情報を提供する付帯情報提供手段とを備え、
前記レイアウト手段は、前記付帯情報に対応する識別情報を含む参照情報および前記選択画像をレイアウトするようになっており、
前記付帯情報提供手段は、前記参照情報に基づくアクセスがあったときは、当該参照情報に含まれる識別情報に対応する付帯情報を前記付帯情報記憶手段から読み出し、読み出した付帯情報をアクセス元に提供するようになっていることを特徴とする。
【００２７】
このような構成であれば、レイアウト手段により、付帯情報に対応する識別情報を含む参照情報と、選択画像とがレイアウトされる。したがって、レイアウト結果から参照情報を参照し、その参照情報に基づいて画像レイアウト装置にアクセスすることができる。
一方、参照情報に基づくアクセスがあると、付帯情報提供手段により、その参照情報に含まれる識別情報に対応する付帯情報が付帯情報記憶手段から読み出され、読み出された付帯情報がアクセス元に提供される。
【００２８】
ここで、レイアウト手段は、少なくとも参照情報および選択画像をレイアウトするようになっていればよく、付帯情報、参照情報および選択画像をレイアウトするようになっていてもよいし、参照情報および選択画像だけをレイアウトするようになっていてもよい。以下、発明１２の画像レイアウト装置において同じである。
【００２９】
また、付帯情報記憶手段は、付帯情報をあらゆる手段でかつあらゆる時期に記憶するものであり、付帯情報をあらかじめ記憶してあるものであってもよいし、付帯情報をあらかじめ記憶することなく、本装置の動作時に外部からの入力等によって付帯情報を記憶するようになっていてもよい。
〔発明１１〕
さらに、発明１１の画像レイアウト装置は、発明１０の画像レイアウト装置において、
さらに、前記識別情報を生成する識別情報生成手段を備え、
前記付帯情報取得手段は、前記付帯情報を前記動画像から取得し、取得した付帯情報を、前記識別情報生成手段で生成した識別情報と対応付けて前記付帯情報記憶手段に記憶するようになっていることを特徴とする。
【００３０】
このような構成であれば、識別情報生成手段により、識別情報が生成され、付帯情報取得手段により、付帯情報が動画像から取得され、取得された付帯情報が、生成された識別情報と対応付けられて付帯情報記憶手段に記憶される。
〔発明１２〕
さらに、発明１２の画像レイアウト装置は、発明１ないし９のいずれかの画像レイアウト装置において、
さらに、前記動画像のうち前記選択画像を含むものを識別情報と対応付けて記憶する動画像記憶手段と、前記動画像記憶手段の動画像を提供する動画像提供手段とを備え、
前記レイアウト手段は、前記選択画像を含む動画像に対応する識別情報を含む参照情報および前記選択画像をレイアウトするようになっており、
前記動画像提供手段は、前記参照情報に基づくアクセスがあったときは、当該参照情報に含まれる識別情報に対応する動画像を前記動画像記憶手段から読み出し、読み出した動画像をアクセス元に提供するようになっていることを特徴とする。
【００３１】
このような構成であれば、レイアウト手段により、選択画像を含む動画像に対応する識別情報を含む参照情報と、選択画像とがレイアウトされる。
一方、参照情報に基づくアクセスがあると、動画像提供手段により、その参照情報に含まれる識別情報に対応する動画像が動画像記憶手段から読み出され、読み出された動画像がアクセス元に提供される。
【００３２】
ここで、動画像記憶手段は、動画像をあらゆる手段でかつあらゆる時期に記憶するものであり、動画像をあらかじめ記憶してあるものであってもよいし、動画像をあらかじめ記憶することなく、本装置の動作時に外部からの入力等によって動画像を記憶するようになっていてもよい。
〔発明１３〕
さらに、発明１３の画像レイアウト装置は、発明１２の画像レイアウト装置において、
さらに、前記識別情報を生成する識別情報生成手段と、動画像を生成する動画像生成手段とを備え、
前記動画像生成手段は、前記動画像のうち前記選択画像を含むものを生成し、生成した動画像を、前記識別情報生成手段で生成した識別情報と対応付けて前記動画像記憶手段に記憶するようになっていることを特徴とする。
【００３３】
このような構成であれば、識別情報生成手段により、識別情報が生成され、動画像生成手段により、動画像のうち選択画像を含むものが生成され、生成された動画像が、生成された識別情報と対応付けられて動画像記憶手段に記憶される。
〔発明１４〕
さらに、発明１４の画像レイアウト装置は、発明１０ないし１３のいずれかの画像レイアウト装置において、
前記参照情報は、ＵＲＬであることを特徴とする。
【００３４】
このような構成であれば、レイアウト手段により、識別情報を含むＵＲＬと、選択画像とがレイアウトされる。したがって、レイアウト結果からＵＲＬを参照し、そのＵＲＬに基づいて画像レイアウト装置にアクセスすることができる。
〔発明１５〕
さらに、発明１５の画像レイアウト装置は、発明１０ないし１３のいずれかの画像レイアウト装置において、
前記参照情報は、バーコードであることを特徴とする。
【００３５】
このような構成であれば、レイアウト手段により、識別情報を含むバーコードと、選択画像とがレイアウトされる。したがって、レイアウト結果からバーコードを参照し、そのバーコードに基づいて画像レイアウト装置にアクセスすることができる。
〔発明１６〕
さらに、発明１６の画像レイアウト装置は、発明１０ないし１５のいずれかの画像レイアウト装置において、
前記参照情報は、広告情報を含むことを特徴とする。
【００３６】
このような構成であれば、レイアウト手段により、識別情報および広告情報を含む参照情報と、選択画像とがレイアウトされる。
〔発明１７〕
さらに、発明１７の画像レイアウト装置は、発明１ないし１６のいずれかの画像レイアウト装置において、
さらに、前記レイアウト手段のレイアウト結果に基づいて印刷を行う印刷手段を備えることを特徴とする。
【００３７】
このような構成であれば、印刷手段により、レイアウト手段のレイアウト結果に基づいて印刷が行われる。
〔発明１８〕
一方、上記目的を達成するために、発明１８の画像レイアウトプログラムは、
動画像を構成する複数の静止画像のなかから画像を選択し、選択した画像をレイアウトするプログラムであって、
前記動画像に付帯する付帯情報を前記動画像から取得する付帯情報取得手段、前記複数の静止画像のなかから画像を選択する画像選択手段、および前記付帯情報取得手段で取得した付帯情報に基づいて前記画像選択手段で選択した選択画像をレイアウトするレイアウト手段として実現される処理をコンピュータに実行させるためのプログラムであることを特徴とする。
【００３８】
このような構成であれば、コンピュータによってプログラムが読み取られ、読み取られたプログラムに従ってコンピュータが処理を実行すると、発明１の画像レイアウト装置と同等の作用が得られる。
〔発明１９〕
一方、上記目的を達成するために、発明１９の画像レイアウト方法は、
動画像を構成する複数の静止画像のなかから画像を選択し、選択した画像をレイアウトする方法であって、
前記動画像に付帯する付帯情報を前記動画像から取得する付帯情報取得ステップと、前記複数の静止画像のなかから画像を選択する画像選択ステップと、前記付帯情報取得ステップで取得した付帯情報に基づいて前記画像選択ステップで選択した選択画像をレイアウトするレイアウトステップとを含むことを特徴とする。
【００３９】
【発明の実施の形態】
以下、本発明の第１の実施の形態を図面を参照しながら説明する。図１ないし図１０は、本発明に係る画像レイアウト装置および画像レイアウトプログラム、並びに画像レイアウト方法の第１の実施の形態を示す図である。
本実施の形態は、本発明に係る画像レイアウト装置および画像レイアウトプログラム、並びに画像レイアウト方法を、ディジタルビデオカメラで撮影した動画像のなかから画像を選択し、選択した画像を自動レイアウトする場合について適用したものである。なお、ディジタルビデオカメラで撮影した動画像には、音声情報およびテキスト情報が付帯している。
【００４０】
本発明は、「視覚の誘導場」という概念を画像のレイアウト評価に用いて、最適なレイアウトとなる画像を選択すること、および選択画像を見栄えのよくレイアウトすることを実現するものである。まず、視覚の誘導場について簡単に説明する。
視覚の誘導場は、例えば、文字列上に存在する個々の文字の読み易さなどの評価を行うことで、その文字列全体の読み易さの指標などとして用いられている。
【００４１】
最初に、生理学および心理学的な知見に基づいた文字画像の視覚の誘導場の推定を行う例として、電子化によって得られた文字のディジタル画像から視覚の誘導場を推定する方法について説明する。
なお、文字列内の個々の文字が読み易い状態とは、個々の文字を囲む視覚の誘導場が、できるだけ干渉し合わないような間隔で配置されていることであるとされている。具体的には、個々の文字を囲む視覚の誘導場の閉曲線を考えたとき、その閉曲線のポテンシャル値が高いと他の文字との分離が難しく、読みにくいということである。このことから、視覚の誘導場の広がりを基準に、文字列内の個々の文字の読み易さを定量的に評価できると考えられる。なお、視覚の誘導場については、横瀬善正著の「形の心理学」（名古屋大学出版会（１９８６））（以下、これを参考論文という。）に記載されている。
【００４２】
参考論文に示された視覚の誘導場（以下、単に誘導場と略記する。）とは、図形の周囲に波及する「場」を考えることにより、視覚現象を説明するものである。参考論文は、直線・円弧で構成された図形を対象としているため、任意のディジタル画像の誘導場は求められない。ここでは、最初に白黒２値のディジタル画像における誘導場の計算方法を示す。
【００４３】
誘導場は、基本的にクーロンポテンシャルと解釈できることから、パターンの外郭を構成する画素を点電荷と仮定し、それらが作るクーロンポテンシャルの集積から、ディジタル画像における誘導場の分布を計算する。
図１は、ディジタル画像の画素配列を示す図である。図１に示すように、ｎ個の点列から構成される曲線ｆ（ｓ）によって、任意の点Ｐに誘導場が形成されるとする。曲線ｆ（ｓ）は、線図形の線分や画図形の輪郭線に当たる。そして、曲線ｆ（ｓ）を構成する各点ｐ１，ｐ２，…，ｐｉ，…，ｐｎを正電荷１の点電荷と仮定し、点Ｐから曲線ｆ（ｓ）上を走査して、曲線ｆ（ｓ）を構成するｎ個の点ｐ１，ｐ２，…，ｐｉ，…，ｐｎが見つかり、走査して見つかった曲線ｆ（ｓ）上の各点までの距離をｒｉとすると、点Ｐにおける誘導場の強さＭｘｙは、下式（１）により定義することができる。なお、Ｍｘｙの下付符号ｘｙは、点Ｐの画像中のｘ座標およびｙ座標を表している。
【００４４】
【数１】
2004120127.tif 000003
【００４５】
上式（１）を用いることにより、任意のディジタル画像の誘導場を求めることができる。また、曲線が複数ある場合、点Ｐにおける誘導場の強さＭｘｙは、個々の曲線が点Ｐにつくる誘導場の和になる。なお、上式（１）は、点Ｐから発した光が直接当たる部分のみ和をとるという制約条件がつく。例えば、点Ｐに対して、曲線ｆ１（ｓ），ｆ２（ｓ），ｆ３（ｓ）が図２に示すように存在しているとすると、点Ｐから見えない部分、つまり、この場合、曲線ｆ１（ｓ）に遮蔽されて点Ｐから見えない範囲Ｚに存在する部分の和はとらない。図２の例では、曲線ｆ３（ｓ）のすべてと曲線ｆ２（ｓ）の一部の和はとらないことになる。これを遮蔽条件という。
【００４６】
図３（ａ）は、「Ａ」という文字について、上式（１）で計算した誘導場の例を示すものである。図３（ａ）の文字「Ａ」周辺に地図の等高線状に分布している細い線Ｌが誘導場の等ポテンシャル線であり、中央から外に行くほど誘導場の強さＭｘｙは弱くなりやがて０に近づく。
図３（ａ）の誘導場の分布の形状・強さにおける特徴、特に「Ａ」の頂点付近の分布が他より鋭角な特徴は、参考論文による四角形や三角形など、図形の角付近に関する誘導場の分布の心理実験結果と一致する。
【００４７】
また、図３（ｂ）は、遮蔽条件がなく、画素すべてを正電荷１の点電荷と仮定した誘導場の例であるが、誘導場の分布は、全体的に丸くなり、参考論文による心理実験結果と異なったものとなる。このように、遮蔽条件は、誘導場を特徴づける上で重要なものとなる。
このようにして、ある文字についての誘導場を得ることができる。なお、視覚の誘導場を用いた技術の例としては、例えば、「長石道博：「視覚の誘導場を用いた読み易い和文プロポーショナル表示」、映像メディア学会誌、Ｖｏｌ．５２，Ｎｏ．１２，ｐｐ．１８６５−１８７２（１９９８）」や、「三好正純、下塩義文、古賀広昭、井手口健：「視覚の誘導場理論を用いた感性にもとづく文字配置の設計」、電子情報通信学会論文誌、８２−Ａ，９，１４６５−１４７３（１９９９）」がある。
【００４８】
本発明は、このような誘導場を利用し、文字や写真、絵、図形などからなるひとまとまりの画像について、そのレイアウトが最適なレイアウトであるか否かを評価し、それによって、これまで人間の直感や手作業に頼っていたレイアウト評価を自動的に行おうとするものである。
本実施の形態では、レイアウトの良し悪しを評価する際、レイアウト対象となるひとまとまりの画像を１つの誘導場計算対象とみなして、その誘導場を計算し、それによって求められた等ポテンシャル線の形状に基づいてレイアウトの良し悪しを評価する。
【００４９】
今、レイアウト対象となるひとまとまりの画像が図４に示されるように、文字列と写真からなる画像であるとする。図４に示される画像は、新聞記事の一部を示すもので、文字列部分Ｃと写真Ｐ１，Ｐ２からなり、図４に示されるレイアウトは、新聞紙面専門のデザイナによってなされたものであり、多くの人が見やすく内容の理解がし易いとされるレイアウトであるとする。
【００５０】
図４に示すように、ある限られた表示範囲にレイアウトされるひとまとまりの画像全体について、上式（１）を用いて誘導場を計算すると、求められた誘導場によって、図５のような等ポテンシャル線Ｌが描かれる。なお、このようなレイアウト対象となる情報全体について誘導場を計算する際、図４で示した文字列部分Ｃは、図５に示すように、それぞれの文字列を単純な線で表し、写真Ｐ１，Ｐ２は、その外形を矩形枠で表して誘導場を計算する。
【００５１】
これは、レイアウトが各要素の位置関係や大きさで決まるため、各要素を単純化して表現することができるからであり、このように、各要素を単純化して表現した状態で誘導場を計算し、求められた誘導場から等ポテンシャル線を描けば、その等ポテンシャル線は、そのレイアウト全体の等ポテンシャル線を表すことができる。
【００５２】
なお、図４に示すレイアウトは、専門のデザイナによってデザインされた見やすく内容の理解がし易いとされるレイアウトであり、このようにレイアウトされた画像全体から得られた等ポテンシャル線Ｌは、全体に凹凸が少なく丸みを帯びたものとなる。
このことから、レイアウト対象となるひとまとまりの画像全体について誘導場を計算し、それによって得られた等ポテンシャル線の形状から、その画像のレイアウトの良し悪しを判断することができる。つまり、得られた等ポテンシャル線の凹凸の度合いがわかれば、それによって当該画像のレイアウトが良いレイアウトであるかどうかの評価を行うことができる。
【００５３】
そこで、本実施の形態では、この等ポテンシャル線の凹凸の度合いを等ポテンシャル線の複雑度として求め、その複雑度を当該画像のレイアウトの良し悪しを評価する指標として用いる。つまり、等ポテンシャル線が、凹凸が少なく丸みを帯びていればいるほど複雑度は小さくなり、等ポテンシャル線の凹凸が激しいほど複雑度は大きくなる。この複雑度は、ｉ番目の等ポテンシャル線の複雑度をＣｉで表せば、下式（２）により定義することができる。下式（２）において、Ｌｉはｉ番目の等ポテンシャル線の長さ、Ｓｉはｉ番目の等ポテンシャル線で囲まれた面の面積を表している。なお、ｉ番目の等ポテンシャル線の長さＬｉは、そのポテンシャル線を構成するドット数と考えることができ、ｉ番目の等ポテンシャル線で囲まれた面の面積Ｓｉは、ｉ番目の等ポテンシャル線で囲まれた面に存在するドット数と考えることができる。
【００５４】
【数２】
2004120127.tif 000004
【００５５】
上式（２）によれば、レイアウト対象となるひとまとまりの画像について計算された誘導場によって描かれた等ポテンシャル線の長さが長いほど（凹凸が激しいほど）複雑度Ｃｉの値は大きくなるといえる。逆に言えば、等ポテンシャル線に凹凸が少なく円に近いほど複雑度Ｃｉは小さな値となる。
ここで、図４で示したひとまとまりの画像を図６で示すように色々なレイアウトとしたときのそれぞれの複雑度を計算してみる。図６では、図５と同様に、文字列部分Ｃはそれぞれの文字列を単純な線で表し、写真Ｐ１，Ｐ２は単に矩形枠で表している。
【００５６】
図６において、同図（ａ）は、図４と同じレイアウト（これをレイアウトＡ１という。）であり、同図（ｂ）は、図４の写真Ｐ２を文字列の中に配置したレイアウト（これをレイアウトＡ２という。）、同図（ｃ）は、写真Ｐ１が右下、写真Ｐ２が左上となっているレイアウト（これをレイアウトＡ３という。）、同図（ｄ）は、２つの写真Ｐ１，Ｐ２を文字列の中に配置したレイアウト（これをレイアウトＡ４という。）である。
【００５７】
これらについて、まず、それぞれの誘導場を計算し、求められた誘導場によって描かれた等ポテンシャル線（それぞれのｉ番目のポテンシャル線）から、上式（２）によってそれぞれ複雑度を計算すると、図７のような結果が得られた。図７は、横軸にそれぞれのレイアウトＡ１〜Ａ６をとり、縦軸にそれぞれのレイアウトＡ１〜Ａ６に対して求められた複雑度をとっている。
【００５８】
図７によれば、デザイナによってレイアウトされた読みやすく内容の理解のし易いとされるレイアウトＡ１（基準レイアウトＡ１という。）の複雑度が最も小さく、他の３つのレイアウトＡ２，Ａ３，Ａ４はいずれも、基準レイアウトＡ１に比べると、その複雑度は大きな値となっている。特に、この例においては、レイアウトＡ３が最も大きな複雑度となっている。
【００５９】
これは、前述したように、基準レイアウトＡ１から求められた誘導場に凹凸が少なく全体的に丸みを帯びているためであり、他の３つのレイアウトＡ２〜Ａ４はそれぞれのレイアウトから求められた等ポテンシャル線に凹凸が大きいためである。
また、等ポテンシャル線を利用し、画像全体における誘導場のエネルギＥは、下式（３）により定義することができる。下式（３）において、ｉはｉ番目の等ポテンシャル線を、Ｓｉはｉ番目の等ポテンシャル線で囲まれた面の面積を、Ｐｉはｉ番目の等ポテンシャル線におけるポテンシャル値をそれぞれ表している。これは、誘導場を３次元的に考えたとき、その誘導場の体積を求めるのに相当し、その体積の大きさをエネルギと定義している。
【００６０】
【数３】
2004120127.tif 000005
【００６１】
以上は、新聞などの記事（多くは文字列と写真などからなる）の一部をレイアウト対象のひとまとまりの画像とし、そのひとまとまりの画像をレイアウトする場合についての評価を行った場合であるが、レイアウト対象の画像としては、一般的な画像を用いた場合の評価も同様に考えることができる。
次に、本発明に係る画像レイアウト装置の構成を図８を参照しながら説明する。図８は、本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
【００６２】
本発明に係る画像レイアウト装置は、図８に示すように、動画像を構成する複数の静止画像のなかから画像を選択してレイアウトするレイアウト部１００と、ユーザの好みに適合した画像その他特定画像の特徴を学習する学習部２００と、レイアウト条件その他の条件を入力する条件入力部３００とで構成されている。より具体的には、ＣＰＵ、ＲＯＭ、ＲＡＭおよびＩ／Ｆ等をバス接続した一般的なコンピュータとして構成し、ＣＰＵは、ＲＯＭの所定領域に格納されている所定のプログラムを起動させ、そのプログラムに従ってレイアウト部１００、学習部２００および条件入力部３００として実現される処理を実行する。
【００６３】
レイアウト部１００は、動画像を取得する動画像取得部１１０と、動画像取得部１１０で取得した動画像を構成する各静止画像について画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出部１２０と、ユーザの好みに適合した画像その他特定画像の特徴を示す画像特徴情報をユーザモデルとして記憶したユーザモデル記憶部１３０と、画像の評価値を算出する評価値算出部１４０と、動画像取得部１１０で取得した動画像を構成する複数の静止画像のなかから画像を選択する画像選択部１５０と、レイアウトの枠組みを構成する異なる複数のテンプレートを記憶したテンプレート記憶部１６０と、画像選択部１５０で選択した選択画像をレイアウトする画像レイアウト部１７０と、印刷を行う印刷部１８０と、表示を行う表示部１８５と、動画像取得部１１０で取得した動画像に付帯する音声情報に基づいて音声認識を行う音声認識部１９０と、音声認識部１９０の認識結果に基づいて要約を作成する要約作成部１９１と、動画像取得部１１０で取得した動画像からシーンの区切を検出するシーン区切検出部１９２とで構成されている。
【００６４】
動画像取得部１１０は、複数の動画像を記憶した動画像記憶媒体５０が与えられたときは、与えられた動画像記憶媒体５０からいずれかの動画像を取得するようになっている。ここで、動画像記憶媒体５０としては、例えば、ＦＤ、ＣＤ、ＭＯ、メモリカードその他のリムーバブルメモリがある。
画像特徴情報抽出部１２０は、動画像取得部１１０で取得した動画像を構成する各静止画像について、誘導場の強さＭｘｙ、等ポテンシャル線の複雑度Ｃｉ、誘導場のエネルギＥおよび画像を構成する各画素の三原色輝度値Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙを画像特徴情報として抽出するようになっている。誘導場の強さＭｘｙ、等ポテンシャル線の複雑度Ｃｉおよび誘導場のエネルギＥは、静止画像を白黒２値化処理した画像に基づいて算出する。本実施の形態では、画像特徴情報に含まれる各特徴量Ｍｘｙ，Ｃｉ，Ｅ，Ｎ１ｘｙ，Ｎ２ｘｙおよびＮ３ｘｙをそれぞれベクトルとして取り扱う。
【００６５】
ユーザモデル記憶部１３０は、複数のユーザモデルを記憶し、図９に示すように、ニューラルネットワーク４００により各ユーザモデルを記憶するようになっている。図９は、ニューラルネットワーク４００の構成を示す図である。なお、ユーザモデルとしては、ユーザの好みに適合した画像の特徴を示すユーザモデル、インパクトのある画像の特徴を示すユーザモデル、または特定画風の画像の特徴を示すユーザモデルが記憶されている。
【００６６】
ニューラルネットワーク４００は、図９に示すように、特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥを入力するｉ個の入力層Ｉｉと、各入力層Ｉｉからの出力を入力するｊ個の中間層Ｈｊと、各中間層Ｈｊの出力を入力して嗜好値を出力する出力層Ｏｋとから構成されている。そして、入力層Ｉｉと中間層Ｈｊとは結合係数Ｗｉｊのシナプスにより、中間層Ｈｊと出力層Ｏｋとは結合係数Ｗｊｋのシナプスによりそれぞれ結合されている。
【００６７】
また、ニューラルネットワーク４００は、後述の特徴学習部２３０によりユーザの好みに適合した画像その他特定画像の特徴を学習している。したがって、ユーザの好みに適合した画像その他特定画像から抽出した特徴量をニューラルネットワーク４００に入力したときは、嗜好値として比較的高い値が出力層Ｏｋから出力され、ユーザの好みに適合しない画像その他特定画像以外の画像から抽出した特徴量をニューラルネットワーク４００に入力したときは、嗜好値として比較的低い値が出力層Ｏｋから出力される。
【００６８】
評価値算出部１４０は、ユーザモデル記憶部１３０のなかから、後述の評価値算出条件入力部３１０で入力した評価値算出条件を満たすユーザモデルを選択する。そして、画像特徴情報抽出部１２０で抽出した画像特徴情報から特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥを得て、得られた特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥを、選択したユーザモデルに係るニューラルネットワーク４００に入力し、ニューラルネットワーク４００の出力値を評価値として算出する。なお、評価値の算出は、各静止画像ごとに行う。
【００６９】
図８に戻り、シーン区切検出部１９２は、動画像取得部１１０で取得した動画像からシーンの区切を検出し、シーンの区切を示すシーン区切情報を画像選択部１５０および音声認識部１９０にそれぞれ出力するようになっている。なお、シーンの区切は、例えば、画像の輝度値の変化に基づいたものなど、従来のシーン抽出方法により検出することができる。
【００７０】
音声認識部１９０は、シーン区切検出部１９２からのシーン区切情報に基づいて、動画像取得部１１０で取得した動画像のうち同一シーンまたは特定シーンに係るものに付帯する音声情報をその動画像から取得し、取得した音声情報に基づいて音声認識を行い、認識結果としてテキスト情報を要約作成部１９１に出力するようになっている。なお、同一シーンまたは特定シーンの指定は、ユーザが行うようにしてもよいし、自動的に行うようにしてもよいが、画像選択部１５０が対象とするシーンと一致させることが必要である。
【００７１】
要約作成部１９１は、音声認識部１９０からのテキスト情報に基づいて要約を作成し、作成した要約をテキスト情報として画像レイアウト部１７０に出力するようになっている。なお、要約の作成については従来の例による。
画像選択部１５０は、シーン区切検出部１９２からのシーン区切情報に基づいて、動画像取得部１１０で取得した動画像を構成する複数の静止画像のうち同一シーンまたは特定シーンに属するもののなかから、評価値算出部１４０で算出した評価値が大きい順に所定数の静止画像を選択するようになっている。ここで、静止画像の選択は、さらに、後述の画像選択条件入力部３２０で入力した画像選択条件を満たすように行う。なお、同一シーンまたは特定シーンの指定は、ユーザが行うようにしてもよいし、自動的に行うようにしてもよいが、音声認識部１９０が対象とするシーンと一致させることが必要である。
【００７２】
テンプレート記憶部１６０は、図１０に示すように、異なる複数のテンプレートを記憶するようになっている。図１０は、テンプレートの構造を示す図である。
各テンプレートは、選択画像を格納するための画像格納枠およびテキスト情報を格納するための文字格納枠を複数レイアウト領域に配置して構成されており、各画像格納枠には、選択画像を配置する優先順位が付されている。図１０（ａ）に示すテンプレートでは、優先順位として最も高い「１」を付した画像格納枠５０１ａがレイアウト領域上半分に大きく配置され、優先順位として「２」〜「５」を付した画像格納枠５０２ａ〜５０５ａがレイアウト領域下半分の４区画にそれぞれ小さく配置されている。これは、評価値が最も高い選択画像を画像格納枠５０１ａに格納し、次いで評価値が高い順に４つの選択画像を画像格納枠５０２ａ〜５０５ａにそれぞれ格納することを意味している。一方、同図（ａ）に示すテンプレートでは、画像格納枠５０１ａ〜５０５ａに対応する文字格納枠５０１ｂ〜５０５ｂが対応の画像格納枠と重畳して配置されている。
【００７３】
また、図１０（ｂ）に示すテンプレートでは、優先順位として「１」を付した画像格納枠５１１がレイアウト領域左半分に大きく配置され、優先順位として「２」〜「４」を付した画像格納枠５１２〜５１４がレイアウト領域右半分の３区画にそれぞれ小さく配置されている。これは、評価値が最も高い選択画像を画像格納枠５１１に格納し、次いで評価値が高い順に３つの選択画像を画像格納枠５１２〜５１４にそれぞれ格納することを意味している。一方、同図（ｂ）に示すテンプレートでは、画像格納枠５１１の下方に文字格納枠５１５が配置されている。
【００７４】
また、図１０（ｃ）に示すテンプレートでは、レイアウト領域を縦４つ横２つに区画し、優先順位として「１」〜「８」を付した画像格納枠５２１〜５２８が、左から右、次いで上から下の順に各区画に配置されている。これは、評価値が高い順に８つの選択画像を画像格納枠５２１〜５２８にそれぞれ格納することを意味している。一方、同図（ｃ）に示すテンプレートでは、画像格納枠５２７，５２８の下方に文字格納枠５２９が配置されている。
【００７５】
図８に戻り、画像レイアウト部１７０は、テンプレート記憶部１６０のなかから、後述のレイアウト条件入力部３３０で入力したレイアウト条件を満たすテンプレートを選択する。そして、画像選択部１５０で選択した選択画像を、評価値算出部１４０で算出した評価値のうちその選択画像に対応するものに基づいて、選択したテンプレートなかの画像格納枠に格納する。具体的には、選択画像を、その評価値と一致する優先順位が付された画像格納枠に格納する。また、要約作成部１９１からのテキスト情報を、選択したテンプレートなかの文字格納枠に格納する。これにより選択画像および要約をレイアウトする。
【００７６】
印刷部１８０は、画像レイアウト部１７０でのレイアウト結果をプリンタ等で印刷するようになっている。これにより、ユーザは、画像レイアウト部１７０でのレイアウト結果を紙面にて確認することができる。
表示部１８５は、画像レイアウト部１７０でのレイアウト結果をディスプレイ等で表示するようになっている。これにより、ユーザは、画像レイアウト部１７０でのレイアウト結果を画面にて確認することができる。
【００７７】
学習部２００は、図８に示すように、動画像取得部１１０で取得した動画像を構成する複数の静止画像のなかからユーザによる画像の指定を入力する画像指定入力部２１０と、動画像取得部１１０で取得した動画像を構成する複数の静止画像のうち画像指定入力部２１０で入力した指定に係るものについて画像特徴情報を抽出する画像特徴情報抽出部２２０と、画像特徴情報抽出部２２０で抽出した画像特徴情報に基づいてユーザの好みに適合した画像その他特定画像の特徴を学習する特徴学習部２３０とで構成されている。
【００７８】
画像特徴情報抽出部２２０は、画像特徴情報抽出部１２０と同一機能を有して構成されており、動画像取得部１１０で取得した動画像を構成する複数の静止画像のうち画像指定入力部２１０で入力した指定に係るものについて、誘導場の強さＭｘｙ、等ポテンシャル線の複雑度Ｃｉ、誘導場のエネルギＥ、並びに画像を構成する各画素の三原色輝度値Ｎ１ｘｙ，Ｎ２ｘｙおよびＮ３ｘｙを画像特徴情報として抽出するようになっている。
【００７９】
特徴学習部２３０は、ユーザモデル記憶部１３０のなかから、後述の評価値算出条件入力部３１０で入力した評価値算出条件を満たすユーザモデルを選択する。そして、画像特徴情報抽出部２２０で抽出した画像特徴情報から特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥを得て、得られた特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥに基づいて、公知のバックプロパゲーション法その他の学習法により、選択したユーザモデルに係るニューラルネットワーク４００を学習するようになっている。学習では、画像指定入力部２１０で入力した指定に係る静止画像から抽出した特徴量をニューラルネットワーク４００に入力したときに、嗜好値として比較的高い値が出力層Ｏｋから出力されるように結合係数Ｗｉｊ，Ｗｊｋを決定する。例えば、バックプロパゲーション法を用いる場合は、前向き演算または後ろ向き演算により結合係数Ｗｉｊ，Ｗｊｋを決定する。
【００８０】
条件入力部３００は、図８に示すように、評価値の算出に関する評価値算出条件を入力する評価値算出条件入力部３１０と、画像の選択に関する画像選択条件を入力する画像選択条件入力部３２０と、レイアウトに関するレイアウト条件を入力するレイアウト条件入力部３３０とで構成されている。
評価値算出条件入力部３１０は、ユーザモデル記憶部１３０のユーザモデルのうちいずれかを特定する内容を評価値算出条件として入力するようになっている。ユーザは、例えば、「ユーザの好みに適合した画像」、「インパクトのある画像」および「特定画風の画像」のなかから「ユーザの好みに適合した画像」を指定すると、その指定に対応するユーザモデル（ユーザの好みに適合した画像の特徴を示すユーザモデル）を特定する内容が評価値算出条件として入力される。この場合は、画像選択部１５０において、ユーザの好みに適合した画像が選択され、画像レイアウト部１７０において、ユーザの好みに適合した画像をレイアウトする場合に適切なレイアウトとなるようにレイアウトが決定される。
【００８１】
画像選択条件入力部３２０は、選択画像の枚数を特定する内容を画像選択条件として入力するようになっている。例えば、選択画像の枚数として「１０」が指定された場合は、画像選択部１５０において、動画像取得部１１０で取得した動画像を構成する複数の静止画像のなかから、評価値算出部１４０で算出した評価値が大きい順に１０枚の静止画像が選択される。
【００８２】
レイアウト条件入力部３３０は、直接印刷を行うか否か、印刷プレビューを行うか否か、印刷ページ数、およびテンプレート記憶部１６０のテンプレートのうちいずれかを特定する内容をレイアウト条件として入力するようになっている。例えば、直接印刷および印刷プレビューを行うことが、印刷ページ数として「３」が、テンプレートとして「テンプレート１」がそれぞれ指定された場合は、画像レイアウト部１７０において、テンプレート１に基づいて選択画像が３ページを上限としてレイアウトされ、表示部１８５において、画像レイアウト部１７０でのレイアウト結果が印刷プレビューされた後、印刷部１８０において、画像レイアウト部１７０でのレイアウト結果が直接印刷される。
【００８３】
次に、本実施の形態の動作を説明する。
初めに、ニューラルネットワーク４００を学習する場合を説明する。
ユーザの好みに適合した画像の特徴を示すユーザモデルについてそのニューラルネットワーク４００を学習する場合、ユーザは、まず、複数の動画像を記憶した動画像記憶媒体５０を動画像取得部１１０に与える。動画像記憶媒体５０が与えられると、動画像取得部１１０により、与えられた動画像記憶媒体５０からいずれかの動画像が取得される。
【００８４】
次に、ユーザは、「ユーザの好みに適合した画像」を評価値算出条件として指定するとともに、動画像取得部１１０で取得された動画像を構成する複数の静止画像のなかから自己の好みに適合したものをいくつか指定する。これらの指定は、評価値算出条件入力部３１０および画像指定入力部２１０に入力する。
「ユーザの好みに適合した画像」が指定されると、特徴学習部２３０により、ユーザモデル記憶部１３０のなかから、ユーザの好みに適合したユーザモデルが学習対象として選択される。
【００８５】
一方、静止画像の指定が入力されると、画像特徴情報抽出部２２０により、動画像取得部１１０で取得された動画像を構成する複数の静止画像のうち入力された指定に係るものについて、特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥが画像特徴情報として抽出される。そして、特徴学習部２３０により、抽出された画像特徴情報から特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥを得て、得られた特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥに基づいて、選択されたユーザモデルに係るニューラルネットワーク４００が学習される。この一連の処理は、指定されたすべての静止画像について行われる。
【００８６】
なお、インパクトのある画像の特徴を示すユーザモデルについてそのニューラルネットワーク４００を学習する場合は、上記同様の要領で、「インパクトのある画像」を指定するとともに、動画像取得部１１０で取得した動画像を構成する複数の静止画像のなかからインパクトのあるものをいくつか指定すればよい。もちろん、画像を手動で指定するに限らず、インパクトのある画像に共通する画像特徴情報を求めておき、その画像特徴情報と同一または類似の画像特徴情報を有する画像を自動的に指定するようにしてもよい。
【００８７】
また、特定画風の画像の特徴を示すユーザモデルについてそのニューラルネットワーク４００を学習する場合は、上記同様の要領で、「特定画風の画像」を指定するとともに、動画像取得部１１０で取得した動画像を構成する複数の静止画像のなかから特定画風のものをいくつか指定すればよい。もちろん、画像を手動で指定するに限らず、特定画風の画像に共通する画像特徴情報を求めておき、その画像特徴情報と同一または類似の画像特徴情報を有する画像を自動的に指定するようにしてもよい。
【００８８】
次に、画像をレイアウトする場合を説明する。
ユーザの好みに適合した画像をレイアウトする場合、ユーザは、まず、複数の動画像を記憶した動画像記憶媒体５０を動画像取得部１１０に与える。動画像記憶媒体５０が与えられると、動画像取得部１１０により、与えられた動画像記憶媒体５０からいずれかの動画像が取得される。そして、シーン区切検出部１９２により、取得された動画像からシーンの区切が検出され、シーンの区切を示すシーン区切情報が画像選択部１５０および音声認識部１９０にそれぞれ出力される。
【００８９】
次に、ユーザは、「ユーザの好みに適合した画像」を評価値算出条件として指定するとともに、所望のテンプレートをレイアウト条件として指定する。これらの指定は、例えば、ディフォルト設定にしておくことで省略することもできる。また同時に、必要があれば、画像選択条件およびその他のレイアウト条件を指定することもできる。
【００９０】
「ユーザの好みに適合した画像」が指定されると、評価値算出部１４０により、ユーザモデル記憶部１３０のなかから、ユーザの好みに適合したユーザモデルが選択される。このユーザモデルは、評価値の算出に用いられる。また、テンプレートが指定されると、画像レイアウト部１７０により、テンプレート記憶部１６０のなかから、ユーザが指定したテンプレートが選択される。このテンプレートは、選択画像のレイアウトに用いられる。
【００９１】
一方、画像特徴情報抽出部１２０により、取得された動画像を構成する各静止画像について特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥが画像特徴情報として抽出される。次いで、評価値算出部１４０により、抽出された画像特徴情報から特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥを得て、得られた特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥが、選択されたユーザモデルに係るニューラルネットワーク４００に入力され、その入力に伴って出力されるニューラルネットワーク４００からの出力値が評価値として算出される。この一連の処理は、動画像取得部１１０で取得された動画像を構成するすべての静止画像について行われる。
【００９２】
次いで、画像選択部１５０により、シーン区切検出部１９２からのシーン区切情報に基づいて、取得された動画像を構成する複数の静止画像のうち同一シーンまたは特定シーンに属するもののなかから、評価値が大きい順に所定数の静止画像が選択される。
一方、音声認識部１９０により、シーン区切検出部１９２からのシーン区切情報に基づいて、取得された動画像のうち同一シーンまたは特定シーンに係るものに付帯する音声情報がその動画像から取得され、取得された音声情報に基づいて音声認識が行われ、認識結果としてテキスト情報が要約作成部１９１に出力される。次いで、要約作成部１９１により、音声認識部１９０からのテキスト情報に基づいて要約が作成され、作成された要約がテキスト情報として画像レイアウト部１７０に出力される。
【００９３】
画像の選択および要約の作成が行われると、画像レイアウト部１７０により、選択画像がその評価値に基づいてレイアウトされるとともに要約がレイアウトされる。レイアウトでは、選択されたテンプレートにおいて、選択画像が、その評価値と一致する優先順位が付された画像格納枠に格納される。また、選択されたテンプレートにおいて、要約作成部１９１からのテキスト情報が文字格納枠に格納される。そして、レイアウト条件として印刷プレビューを行うことが指定されていれば、表示部１８５により、画像レイアウト部１７０でのレイアウト結果がディスプレイ等で印刷プレビューされ、レイアウト条件として直接印刷を行うことが指定されていれば、印刷部１８０により、画像レイアウト部１７０でのレイアウト結果がプリンタ等で直接印刷される。
【００９４】
なお、インパクトのある画像をレイアウトする場合は、上記同様の要領で、「インパクトのある画像」を指定するとともに、所望のテンプレートをレイアウト条件として指定すればよい。
また、特定画風の画像をレイアウトする場合は、上記同様の要領で、「特定画風の画像」を指定するとともに、所望のテンプレートをレイアウト条件として指定すればよい。
【００９５】
このようにして、本実施の形態では、動画像に付帯する音声情報に基づいて音声認識を行いその認識結果であるテキスト情報を出力する音声認識部１９０と、動画像を構成する複数の静止画像のなかから画像を選択する画像選択部１５０と、音声認識部１９０からのテキスト情報および画像選択部１５０で選択した選択画像をレイアウトする画像レイアウト部１７０とを備える。
【００９６】
これにより、音声認識結果および選択画像がレイアウトされるので、選択画像だけでなく動画像に付帯する音声もレイアウトに反映させることができる。したがって、従来に比して、比較的内容の充実した編集物を作成することができる。さらに、本実施の形態では、画像選択部１５０は、ユーザの好みに適合した画像を複数の静止画像のなかから選択するようになっている。
【００９７】
これにより、ユーザの好みに比較的沿った内容の編集物を作成することができる。
さらに、本実施の形態では、さらに、音声認識部１９０からのテキスト情報に基づいて要約を作成する要約作成部１９１を備え、画像レイアウト部１７０は、要約作成部１９１で作成した要約および選択画像をレイアウトするようになっている。
【００９８】
これにより、動画像に付帯する音声情報に関する要約を併せてレイアウトすることができるので、さらに内容の充実した編集物を作成することができるとともに、音声情報に係るレイアウト部分が比較的簡潔明瞭となり、読みやすくなる。さらに、本実施の形態では、さらに、動画像からシーンの区切を検出するシーン区切検出部１９２を備え、画像選択部１５０は、シーン区切検出部１９２からのシーン区切情報に基づいて、動画像取得部１１０で取得した動画像を構成する複数の静止画像のうち同一シーンまたは特定シーンに属するもののなかから、評価値算出部１４０で算出した評価値が大きい順に所定数の静止画像を選択するようになっている。
【００９９】
これにより、動画像が複数のシーンからなる場合は、各シーンごとに画像を選択することができるので、比較的詳細に編集を行うことができる。
さらに、本実施の形態では、さらに、動画像からシーンの区切を検出するシーン区切検出部１９２を備え、音声認識部１９０は、シーン区切検出部１９２からのシーン区切情報に基づいて、動画像取得部１１０で取得した動画像のうち同一シーンまたは特定シーンに係るものに付帯する音声情報をその動画像から取得し、取得した音声情報に基づいて音声認識を行い、認識結果としてテキスト情報を要約作成部１９１に出力するようになっている。
【０１００】
これにより、動画像が複数のシーンからなる場合は、各シーンごとに音声情報を取得することができるので、比較的詳細に編集を行うことができる。
さらに、本実施の形態では、動画像を構成する各静止画像について画像の特徴を示す画像特徴情報を抽出する画像特徴情報抽出部１２０と、画像特徴情報抽出部１２０で抽出した画像特徴情報に基づいて画像の評価値を算出する評価値算出部１４０と、動画像を構成する複数の静止画像のなかから画像を選択する画像選択部１５０と、評価値算出部１４０で算出した評価値に基づいて画像選択部１５０で選択した選択画像のレイアウトを決定する画像レイアウト部１７０とを備えている。
【０１０１】
これにより、画像の内容に応じてレイアウトを決定することができるので、画像の内容に応じて比較的見栄えのよいレイアウトを実現することができる。
さらに、本実施の形態では、ユーザの好みに適合した画像特徴情報をユーザモデルとして記憶するためのユーザモデル記憶部１３０を備え、評価値算出部１４０は、画像特徴情報抽出部１２０で抽出した画像特徴情報およびユーザモデル記憶部１３０のユーザモデルに基づいて、評価値を算出するようになっている。
【０１０２】
これにより、ユーザの好みに比較的適合したレイアウトとなるようにレイアウトを決定することができるので、ユーザにとって比較的見栄えのよいレイアウトを実現することができる。また、ユーザの好みに比較的適合したレイアウトの画像を選択することができる。
さらに、本実施の形態では、ユーザモデルは、ユーザの好みに適合した画像について視覚の誘導場の強さＭｘｙを示す誘導場特徴量を含み、画像特徴情報抽出部１２０は、各静止画像ごとに、その静止画像について視覚の誘導場の強さＭｘｙを算出し、算出した視覚の誘導場の強さＭｘｙを示す誘導場特徴量を含む画像特徴情報を抽出するようになっている。
【０１０３】
これにより、生理学、心理学的な知見に基づく視覚の誘導場の強さＭｘｙをレイアウトの決定に利用したことにより、ユーザの好みにさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、ユーザにとってさらに見栄えのよいレイアウトを実現することができる。また、ユーザの好みにさらに適合したレイアウトの画像を選択することができる。
【０１０４】
さらに、本実施の形態では、ユーザモデルは、ユーザの好みに適合した画像について視覚の誘導場における等ポテンシャル線の複雑度Ｃｉを示す複雑度特徴量を含み、画像特徴情報抽出部１２０は、各静止画像ごとに、その静止画像について視覚の誘導場を算出し、算出した視覚の誘導場から等ポテンシャル線を得て、その等ポテンシャル線の複雑度Ｃｉを示す複雑度特徴量を含む画像特徴情報を抽出するようになっている。
【０１０５】
これにより、生理学、心理学的な知見に基づく視覚の誘導場における等ポテンシャル線の複雑度Ｃｉをレイアウトの決定に利用したことにより、ユーザの好みにさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、ユーザにとってさらに見栄えのよいレイアウトを実現することができる。また、ユーザの好みにさらに適合したレイアウトの画像を選択することができる。
【０１０６】
さらに、本実施の形態では、ユーザモデルは、ユーザの好みに適合した画像について視覚の誘導場のエネルギＥを示すエネルギ特徴量を含み、画像特徴情報抽出部１２０は、各静止画像ごとに、その静止画像について視覚の誘導場のエネルギＥを算出し、算出した視覚の誘導場のエネルギＥを示すエネルギ特徴量を含む画像特徴情報を抽出するようになっている。
【０１０７】
これにより、生理学、心理学的な知見に基づく視覚の誘導場のエネルギＥをレイアウトの決定に利用したことにより、ユーザの好みにさらに適合したレイアウトとなるようにレイアウトを決定することができる。したがって、ユーザにとってさらに見栄えのよいレイアウトを実現することができる。また、ユーザの好みにさらに適合したレイアウトの画像を選択することができる。
【０１０８】
さらに、本実施の形態では、画像選択部１５０は、評価値算出部１４０で算出した評価値に基づいて、動画像を構成する複数の静止画像のなかから画像を選択するようになっている。
これにより、画像の特徴に関する評価値に応じて画像を選択することができるので、比較的見栄えのよい画像を選択することができる。
【０１０９】
さらに、本実施の形態では、評価値の算出に関する評価値算出条件を入力する評価値算出条件入力部３１０を備え、評価値算出部１４０は、評価値算出条件入力部３１０で入力した評価値算出条件および画像特徴情報抽出部１２０で抽出した画像特徴情報に基づいて、評価値を算出するようになっている。
これにより、評価値の算出条件を指定することができるので、レイアウトの自由度を向上することができる。
【０１１０】
さらに、本実施の形態では、画像の選択に関する画像選択条件を入力する画像選択条件入力部３２０を備え、画像選択部１５０は、画像選択条件入力部３２０で入力した画像選択条件に基づいて、動画像を構成する複数の静止画像のなかから画像を選択するようになっている。
これにより、画像の選択条件を指定することができるので、画像選択の自由度を向上することができる。
【０１１１】
さらに、本実施の形態では、動画像を取得する動画像取得部１１０を備え、画像選択部１５０は、動画像取得部１１０で取得した動画像を構成する複数の静止画像のなかから画像を選択するようになっている。
これにより、外部の画像をレイアウト対象として取り扱うことができる。
上記第１の実施の形態において、画像選択部１５０は、発明１、２、６または１８の画像選択手段に対応し、画像選択部１５０による選択は、発明１９の画像選択ステップに対応し、画像レイアウト部１７０は、発明１、３、５、９、１７または１８のレイアウト手段に対応している。また、画像レイアウト部１７０によるレイアウトは、発明１９のレイアウトステップに対応し、印刷部１８０は、発明１７の印刷手段に対応し、音声認識部１９０は、発明１、３、５、７または１８の付帯情報取得手段に対応し、音声認識部１９０による取得は、発明１９の付帯情報取得ステップに対応している。
【０１１２】
また、上記第１の実施の形態において、要約作成部１９１は、発明５の要約作成手段に対応し、シーン区切検出部１９２は、発明６または７のシーン区切検出手段に対応し、音声情報は、発明１、３、７、９、１８または１９の付帯情報に対応している。
次に、本発明の第２の実施の形態を図面を参照しながら説明する。図１１および図１２は、本発明に係る画像レイアウト装置および画像レイアウトプログラム、並びに画像レイアウト方法の第２の実施の形態を示す図である。以下、上記第１の実施の形態と異なる部分についてのみ説明し、重複する部分については同一の符号を付して説明を省略する。
【０１１３】
本実施の形態は、本発明に係る画像レイアウト装置および画像レイアウトプログラム、並びに画像レイアウト方法を、図１１に示すように、ディジタルビデオカメラで撮影した動画像のなかから画像を選択し、選択した画像を自動レイアウトする場合について適用したものであり、上記第１の実施の形態と異なるのは、要約に代えて動画像および要約を参照するためのＵＲＬをレイアウトする点にある。
【０１１４】
まず、本発明に係る画像レイアウト装置の構成を図１１を参照しながら説明する。図１１は、本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
本発明に係る画像レイアウト装置は、インターネットに通信可能に接続し、図１１に示すように、レイアウト部１００と、学習部２００と、条件入力部３００と、外部からのアクセスに応じて動画像または要約を提供する情報提供部６００とで構成されている。
【０１１５】
レイアウト部１００は、動画像取得部１１０と、画像特徴情報抽出部１２０と、ユーザモデル記憶部１３０と、評価値算出部１４０と、画像選択部１５０と、テンプレート記憶部１６０と、画像選択部１５０で選択した選択画像をレイアウトする画像レイアウト部１７２と、印刷部１８０と、表示部１８５と、音声認識部１９０と、音声認識部１９０の認識結果に基づいて要約を作成する要約作成部１９３と、動画像取得部１１０で取得した動画像からシーンの区切を検出するシーン区切検出部１９４と、ユニークキーを生成するユニークキー生成部１９５と、動画像を生成する動画像生成部１９６と、動画像および要約をユニークキーと対応付けて記憶する動画像記憶部１９７とで構成されている。
【０１１６】
動画像記憶部１９７には、動画像生成部１９６で生成した動画像および要約作成部１９３で作成した要約がそれぞれファイルとして格納されているとともに、各ユニークキーごとに動画像、要約およびシーン区切情報の対応付けを登録するユニークキー別対応テーブル７００が格納されている。図１２は、ユニークキー別対応テーブル７００のデータ構造を示す図である。
【０１１７】
ユニークキー別対応テーブル７００には、図１２に示すように、各ユニークキーごとに１つのレコードが登録されている。各レコードは、ユニークキー生成部１９５で生成したユニークキーを登録するフィールド７０２と、動画像を格納した動画像ファイルのファイル名および格納場所を登録するフィールド７０４と、要約を格納したテキストファイルのファイル名を登録するフィールド７０６と、シーン区切情報を登録するフィールド７０８とを含んで構成されている。フィールド７０８は、さらに、シーンの区切として開始時刻を登録するフィールドと、シーンの区切として終了時刻を登録するフィールドとを含んで構成されている。
【０１１８】
図１２の例では、第１段目のレコードには、ユニークキーとして「００１０００１」が、動画像ファイルのファイル名および格納場所として「ｄ：￥ｆｉｌｅｓ￥００１．ｍｐｅｇ」が、テキストファイルのファイル名として「Ｔｅｘｔ１」が、シーン区切情報として「０：１０〜０：２０」がそれぞれ登録されている。これは、動画像取得部１１０で取得した動画像のうち開始時刻０：１０から終了時刻０：２０までのシーンに係るものが動画像ファイル「ｄ：￥ｆｉｌｅｓ￥００１．ｍｐｅｇ」に格納され、同シーンに係る動画像に付帯する音声情報を要約したものがテキストファイル「Ｔｅｘｔ１」に格納されており、それら動画像および要約がユニークキー「００１００１」により特定可能となっていることを意味している。したがって、ユニークキー「００１００１」を与えて画像レイアウト装置にアクセスをすると、これに対応する動画像および要約を入手することができる。
【０１１９】
図１１に戻り、シーン区切検出部１９４は、動画像取得部１１０で取得した動画像からシーンの区切を検出し、シーンの区切を示すシーン区切情報を画像選択部１５０、音声認識部１９０および動画像生成部１９６にそれぞれ出力するようになっている。
ユニークキー生成部１９５は、ユニークキーを生成し、生成したユニークキーを要約作成部１９３および動画像生成部１９６に出力するようになっている。図１２の例では、ユニークキーは、動画像ファイルに付される番号を上位３桁として与え、ユニークキーの生成順に付される連続番号を下位３桁として与えることにより生成する。
【０１２０】
要約作成部１９３は、音声認識部１９０からのテキスト情報に基づいて要約を作成し、作成した要約を、ユニークキー生成部１９５で生成したユニークキーと対応付けて動画像記憶部１９７に記憶するようになっている。
動画像生成部１９６は、シーン区切検出部１９４からのシーン区切情報に基づいて、動画像取得部１１０で取得した動画像のうち同一シーンまたは特定シーンに係るものをその動画像から取得し、取得した動画像およびシーン区切情報を、ユニークキー生成部１９５で生成したユニークキーと対応付けて動画像記憶部１９７に記憶するようになっている。
【０１２１】
画像レイアウト部１７２は、テンプレート記憶部１６０のなかから、レイアウト条件入力部３３０で入力したレイアウト条件を満たすテンプレートを選択する。そして、画像選択部１５０で選択した選択画像を、評価値算出部１４０で算出した評価値のうちその選択画像に対応するものに基づいて、選択したテンプレートなかの画像格納枠に格納する。具体的には、選択画像を、その評価値と一致する優先順位が付された画像格納枠に格納する。また、画像選択部１５０で選択した選択画像に係るユニークキーを動画像記憶部１９７から読み出し、読み出したユニークキーを含むＵＲＬ（画像レイアウト装置のネットワークアドレスを示すもの）を、選択したテンプレートなかの文字格納枠に格納する。これにより選択画像およびＵＲＬをレイアウトする。
【０１２２】
情報提供部６００は、図１１に示すように、動画像記憶部１９７の動画像を提供する動画像提供部６１０と、動画像記憶部１９７の要約を提供する要約提供部６２０とで構成されている。
動画像提供部６１０は、ＵＲＬに基づくアクセスがあったときは、そのＵＲＬに含まれるユニークキーに対応する動画像を動画像記憶部１９７から読み出し、読み出した動画像をアクセス元に提供するようになっている。
【０１２３】
要約提供部６２０は、ＵＲＬに基づくアクセスがあったときは、そのＵＲＬに含まれるユニークキーに対応する要約のテキスト情報を動画像記憶部１９７から読み出し、読み出したテキスト情報をアクセス元に提供するようになっている。
次に、本実施の形態の動作を説明する。
ユーザの好みに適合した画像をレイアウトする場合、ユーザは、まず、複数の動画像を記憶した動画像記憶媒体５０を動画像取得部１１０に与える。動画像記憶媒体５０が与えられると、動画像取得部１１０により、与えられた動画像記憶媒体５０からいずれかの動画像が取得される。そして、シーン区切検出部１９４により、取得された動画像からシーンの区切が検出され、シーンの区切を示すシーン区切情報が画像選択部１５０、音声認識部１９０および動画像生成部１９６にそれぞれ出力される。
【０１２４】
次に、ユーザは、「ユーザの好みに適合した画像」を評価値算出条件として指定するとともに、所望のテンプレートをレイアウト条件として指定する。これらの指定は、例えば、ディフォルト設定にしておくことで省略することもできる。また同時に、必要があれば、画像選択条件およびその他のレイアウト条件を指定することもできる。
【０１２５】
「ユーザの好みに適合した画像」が指定されると、評価値算出部１４０により、ユーザモデル記憶部１３０のなかから、ユーザの好みに適合したユーザモデルが選択される。このユーザモデルは、評価値の算出に用いられる。また、テンプレートが指定されると、画像レイアウト部１７２により、テンプレート記憶部１６０のなかから、ユーザが指定したテンプレートが選択される。このテンプレートは、選択画像のレイアウトに用いられる。
【０１２６】
一方、画像特徴情報抽出部１２０により、取得された動画像を構成する各静止画像について特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥが画像特徴情報として抽出される。次いで、評価値算出部１４０により、抽出された画像特徴情報から特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥを得て、得られた特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥが、選択されたユーザモデルに係るニューラルネットワーク４００に入力され、その入力に伴って出力されるニューラルネットワーク４００からの出力値が評価値として算出される。この一連の処理は、動画像取得部１１０で取得された動画像を構成するすべての静止画像について行われる。
【０１２７】
次いで、画像選択部１５０により、シーン区切検出部１９４からのシーン区切情報に基づいて、取得された動画像を構成する複数の静止画像のうち同一シーンまたは特定シーンに属するもののなかから、評価値が大きい順に所定数の静止画像が選択される。
一方、音声認識部１９０により、シーン区切検出部１９４からのシーン区切情報に基づいて、取得された動画像のうち同一シーンまたは特定シーンに係るものに付帯する音声情報がその動画像から取得され、取得された音声情報に基づいて音声認識が行われ、認識結果としてテキスト情報が要約作成部１９３に出力される。次いで、ユニークキー生成部１９５により、ユニークキーが生成され、要約作成部１９３により、音声認識部１９０からのテキスト情報に基づいて要約が作成され、作成された要約のテキスト情報が、生成されたユニークキーと対応付けられて動画像記憶部１９７に記憶される。また、動画像生成部１９６により、シーン区切検出部１９４からのシーン区切情報に基づいて、取得された動画像のうち同一シーンまたは特定シーンに係るものがその動画像から取得され、取得された動画像およびシーン区切情報が、生成されたユニークキーと対応付けられて動画像記憶部１９７に記憶される。
【０１２８】
画像の選択、要約の作成および動画像の生成が行われると、画像レイアウト部１７２により、選択画像がその評価値に基づいてレイアウトされるとともにＵＲＬがレイアウトされる。レイアウトでは、選択されたテンプレートにおいて、選択画像が、その評価値と一致する優先順位が付された画像格納枠に格納される。また、選択画像に係るユニークキーが動画像記憶部１９７から読み出され、選択されたテンプレートにおいて、読み出されたユニークキーを含むＵＲＬ（例えば、ｈｔｔｐ：／／ｗｗｗ．ａｂｃｄ．ｃｏ．ｊｐ／ｆｉｌｅｓ．ｃｇｉ？ｉｄ＝００１０００１）が文字格納枠に格納される。そして、レイアウト条件として印刷プレビューを行うことが指定されていれば、表示部１８５により、画像レイアウト部１７２でのレイアウト結果がディスプレイ等で印刷プレビューされ、レイアウト条件として直接印刷を行うことが指定されていれば、印刷部１８０により、画像レイアウト部１７２でのレイアウト結果がプリンタ等で直接印刷される。
【０１２９】
レイアウト結果が印刷された編集物の頒布を受けたユーザは、編集物にＵＲＬが印刷されているので、自己のネットワーク端末等において、ＵＲＬを参照して画像レイアウト装置にアクセスすることにより、編集物に掲載されている画像に関連する動画像および要約を入手することができる。
画像レイアウト装置では、ＵＲＬに基づくアクセスがあると、動画像提供部６１０により、そのＵＲＬに含まれるユニークキーに対応する動画像が動画像記憶部１９７から読み出され、読み出された動画像がアクセス元に提供される。また、要約提供部６２０により、そのＵＲＬに含まれるユニークキーに対応する要約のテキスト情報が動画像記憶部１９７から読み出され、読み出されたテキスト情報がアクセス元に提供される。動画像または要約は、例えば、ホームページ形式で提供することができる。
【０１３０】
なお、インパクトのある画像をレイアウトする場合は、上記同様の要領で、「インパクトのある画像」を指定するとともに、所望のテンプレートをレイアウト条件として指定すればよい。
また、特定画風の画像をレイアウトする場合は、上記同様の要領で、「特定画風の画像」を指定するとともに、所望のテンプレートをレイアウト条件として指定すればよい。
【０１３１】
このようにして、本実施の形態では、動画像に付帯する音声情報に基づいて音声認識を行いその認識結果であるテキスト情報を出力する音声認識部１９０と、動画像を構成する複数の静止画像のなかから画像を選択する画像選択部１５０と、選択画像に係るユニークキーを含むＵＲＬおよび選択画像をレイアウトする画像レイアウト部１７２とを備える。
【０１３２】
これにより、動画像に付帯する音声情報等を入手するためのＵＲＬおよび選択画像がレイアウトされるので、選択画像だけでなく動画像に付帯する音声もレイアウトに反映させることができる。したがって、従来に比して、比較的内容の充実した編集物を作成することができる。
さらに、本実施の形態では、さらに、動画像のうち選択画像を含むものをユニークキーと対応付けて記憶する動画像記憶部１９７と、動画像記憶部１９７の動画像を提供する動画像提供部６１０とを備え、動画像提供部６１０は、ＵＲＬに基づくアクセスがあったときは、そのＵＲＬに含まれるユニークキーに対応する動画像を動画像記憶部１９７から読み出し、読み出した動画像をアクセス元に提供するようになっている。
【０１３３】
これにより、ＵＲＬに基づいて画像レイアウト装置にアクセスすることにより、選択画像を含む動画像を入手することができる。また、ＵＲＬを参照することにより動画像へのアクセスが可能となるので、動画像の入手が比較的容易となる。
さらに、本実施の形態では、さらに、要約をユニークキーと対応付けて記憶する動画像記憶部１９７と、動画像記憶部１９７の要約を提供する要約提供部６２０とを備え、要約提供部６２０は、ＵＲＬに基づくアクセスがあったときは、そのＵＲＬに含まれるユニークキーに対応する要約のテキスト情報を動画像記憶部１９７から読み出し、読み出したテキスト情報をアクセス元に提供するようになっている。
【０１３４】
これにより、ＵＲＬに基づいて画像レイアウト装置にアクセスすることにより、選択画像に関連する要約を入手することができる。また、ＵＲＬを参照することにより要約へのアクセスが可能となるので、要約の入手が比較的容易となる。上記第２の実施の形態において、画像選択部１５０は、発明１、２、６または１８の画像選択手段に対応し、画像選択部１５０による選択は、発明１９の画像選択ステップに対応し、画像レイアウト部１７２は、発明１、３、５、９、１０、１２、１７または１８のレイアウト手段に対応している。また、画像レイアウト部１７２によるレイアウトは、発明１９のレイアウトステップに対応し、印刷部１８０は、発明１７の印刷手段に対応し、音声認識部１９０は、発明１、３、５、７、１１または１８の付帯情報取得手段に対応している。
【０１３５】
また、上記第２の実施の形態において、音声認識部１９０による取得は、発明１９の付帯情報取得ステップに対応し、要約作成部１９３は、発明５の要約作成手段に対応し、シーン区切検出部１９４は、発明６または７のシーン区切検出手段に対応し、ユニークキー生成部１９５は、発明１１または１３の識別情報生成手段に対応している。また、動画像生成部１９６は、発明１３の動画像生成手段に対応し、動画像記憶部１９７は、発明１２若しくは１３の動画像記憶手段、または発明１０若しくは１１の付帯情報記憶手段に対応し、動画像提供部６１０は、発明１２の動画像提供手段に対応している。
【０１３６】
また、上記第２の実施の形態において、要約提供部６２０は、発明１０の付帯情報提供手段に対応し、音声情報は、発明１、３、７、９ないし１１、１８または１９の付帯情報に対応し、ユニークキーは、発明１０ないし１３の識別情報に対応し、ＵＲＬは、発明１０、１２または１４の参照情報に対応している。
なお、上記第１および第２の実施の形態においては、動画像に付帯する音声情報に基づいて音声認識を行いその認識結果であるテキスト情報を出力する音声認識部１９０を設けて構成したが、これに限らず、動画像にクリップ等のテキスト情報が付帯している場合は、音声認識部１９０に代えてまたは音声認識部１９０とともに、動画像に付帯するテキスト情報を動画像から取得するテキスト情報取得部を設けて構成してもよい。この場合、テキスト情報取得部で取得したテキスト情報は、音声認識部１９０からのテキスト情報と同様に取り扱えばよい。
【０１３７】
この場合において、テキスト情報取得部は、発明４の付帯情報取得手段に対応し、画像レイアウト部１７０，１７２は、発明４のレイアウト手段に対応し、テキスト情報は、発明４の付帯情報に対応している。
また、上記第２の実施の形態においては、動画像または要約を参照するための情報としてＵＲＬを採用するように構成したが、これに限らず、バーコードを採用するように構成してもよい。
【０１３８】
これにより、バーコードを参照することにより要約または動画像へのアクセスが可能となるので、要約または動画像の入手が比較的容易となる。
また、上記第２の実施の形態においては、ユニークキーおよび画像レイアウト装置のネットワークアドレスを含むＵＲＬをレイアウトするように構成したが、これに限らず、ＵＲＬには、さらに、広告情報を含めてもよい。
【０１３９】
この場合において、ＵＲＬは、発明１６の参照情報に対応している。
また、上記第１および第２の実施の形態において、シーン区切検出部１９２，１９４は、シーン区切情報を音声認識部１９０に出力し、音声認識部１９０は、シーン区切検出部１９２からのシーン区切情報に基づいて、動画像取得部１１０で取得した動画像のうち同一シーンまたは特定シーンに係るものに付帯する音声情報をその動画像から取得し、取得した音声情報に基づいて音声認識を行い、認識結果としてテキスト情報を要約作成部１９１に出力するように構成したが、これに限らず、シーン区切検出部１９２，１９４は、シーン区切情報を要約作成部１９１，１９３に出力し、要約作成部１９１，１９３は、シーン区切検出部１９２からのシーン区切情報に基づいて、動画像取得部１１０で取得した動画像のうち同一シーンまたは特定シーンに係るものに係るテキスト情報に基づいて要約を作成するように構成してもよい。
【０１４０】
これにより、動画像が複数のシーンからなる場合は、各シーンごとに要約を作成することができるので、比較的詳細に編集を行うことができる。
この場合において、シーン区切検出部１９２，１９３は、発明８のシーン区切検出手段に対応し、音声認識部１９０は、発明８の付帯情報取得手段に対応し、要約作成部１９１，１９３は、発明８の要約作成手段に対応している。
【０１４１】
また、上記第１の実施の形態においては、テンプレートに従って選択画像および要約をレイアウトするように構成したが、さらに具体的には、図１３に示すように、紙芝居風のテンプレートを用意し、テンプレートの文字格納枠に要約のテキスト情報を格納するように構成してもよい。図１３は、紙芝居風のテンプレートの構造を示す図である。また、図１３の例では、選択画像と要約を同一面に印刷するようにしたが、選択画像を表面に印刷し、要約を裏面に印刷するようにしてもよい。これにより、紙芝居を自動的に生成することができる。
【０１４２】
また、上記第１および第２の実施の形態においては、自動的にレイアウトされた印刷データを作成し、それを自動印刷するように構成したが、これに限らず、自動的にレイアウトした印刷データを作るのではなく、上位数枚を１枚ごと直接印刷するように構成することもできる。これにより、例えば、３枚だけ綺麗な画像を直ぐに印刷したい場合にも適用することができる。
【０１４３】
また、上記第１および第２の実施の形態においては、音声認識部１９０を設けたが、例えば、音声認識部１９０がＨＭＭ（Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）を利用して音声認識を行うようになっている場合は、シーン区切情報を利用し、音声認識に利用する言語モデルを変化させることや、シーンの区切において、音声認識の状態遷移をリセットすることが考えられる。
【０１４４】
また、上記第１および第２の実施の形態において、動画像取得部１１０は、複数の動画像を記憶した動画像記憶媒体５０が与えられたときは、与えられた動画像記憶媒体５０からいずれかの動画像を取得するように構成したが、これに限らず、動画像を少なくとも含むマルチメディアデータが与えられたときは、与えられたマルチメディアデータから動画像を抽出するように構成してもよい。
【０１４５】
これにより、マルチメディアデータをレイアウト対象として取り扱うことができる。
また、上記第１の実施の形態においては、自動的にレイアウトされた印刷データを作成し、それを自動印刷するように構成したが、これに限らず、上位数枚を１枚ごと直接印刷するように構成することもできる。
【０１４６】
これにより、例えば、３枚だけ綺麗な画像をすぐに印刷したい場合にも対応することができる。また、ディジタルビデオカメラで撮影されたメモリカード等をプリンタに差し込んだ際に、直接印刷するようなサービスやシステムを構築することができる。
また、上記第１および第２の実施の形態においては、ユーザの好みに適合した画像を複数の静止画像のなかから選択するように構成したが、これに限らず、一般的に印象の良い画像を複数の静止画像のなかから選択するように構成してもよい。この場合、複数のユーザに印象の良いと思う画像を指定してもらい、指定された画像の特徴を、上記第１および第２の実施の形態と同じ要領でニューラルネットワーク４００に学習させておけばよい。
【０１４７】
さらに、この場合、複数のユーザに印象の良し／悪しを入力してもらうだけでなく、印象の強い／弱いを入力してもらい、これに基づいてニューラルネットワーク４００に学習させることも可能である。これにより、一般的なユーザ特性が学習できるため、複数の人の好みに適合した画像を選択するのに好適な画像レイアウト装置を構成することができる。
【０１４８】
さらに、この場合、例えば、１０代、２０代、３０代など、年齢に応じてユーザをグループ分けして、各グループごとに、そのユーザに印象の良いと思う画像を指定してもらい、指定された画像の特徴をニューラルネットワーク４００に学習させることも可能である。これにより、同世代の人の好みに適合した画像を選択するのに好適な画像レイアウト装置を構成することができる。また、ある画像が何代の人に好まれるかを調べることにも使用できる。
【０１４９】
また、上記第１および第２の実施の形態において、ニューラルネットワーク４００は、出力層Ｏｋを一つだけ設けて構成したが、これに限らず、複数の出力層を設けて構成してもよい。例えば、ユーザの好き／嫌いのいずれかを出力する第１の出力層と、ユーザの印象の良し／悪しのいずれかを出力する第２の出力層と、ユーザの印象の強さ／弱さのいずれかを出力する第３の出力層とを設けて構成することもできる。
【０１５０】
また、上記第１および第２の実施の形態においては、動画像取得部１１０で取得した動画像を構成するすべての静止画像から画像特徴情報を抽出するように構成したが、これに限らず、動画像取得部１１０で取得した動画像を構成する複数の静止画像のうち所定の抽出条件を満たすものから画像特徴情報を抽出するように構成してもよい。所定の抽出条件としては、例えば、色の分布を算出し、算出した分布が所定の閾値以上という条件を設定することができる。これにより、色が全体的に暗すぎる画像は抽出の対象外とすることができる。
【０１５１】
また、上記第１および第２の実施の形態においては、画像を構成するすべての画素の特徴量を抽出し、抽出した特徴量に基づいて学習を行うように構成したが、これに限らず、例えば、縦方向５つ横方向５つのピクセルからなる矩形領域の画素群において４つ角の画素を対象とし、対象画素の特徴量（例えば、平均値）を抽出し、抽出した特徴量に基づいて学習を行うように構成してもよい。
【０１５２】
また、上記第１および第２の実施の形態においては、特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥに基づいて画像選択および学習を行うように構成したが、これに限らず、特徴量Ｍｘｙ，Ｎ１ｘｙ，Ｎ２ｘｙ，Ｎ３ｘｙ，ＣｉおよびＥのうちいずれかに基づいて画像選択および学習を行うように構成してもよい。
また、上記第１および第２の実施の形態においては、ニューラルネットワーク４００の学習法としてバックプロパゲーション法を例示したが、これに限らず、自己組織化による教師なし学習法を利用することもできる。これにより、例えば、ユーザがディジタルビデオカメラで撮影した動画像を構成する２５枚の静止画像の特徴を学習し、その画像の傾向に沿って学習することができ、そのユーザの好みを自動的に学習することができる。
【０１５３】
また、上記第１および第２の実施の形態においては、静止画像を白黒２値化処理した画像に基づいて、誘導場の強さＭｘｙ、等ポテンシャル線の複雑度Ｃｉおよび誘導場のエネルギＥを算出するように構成したが、これに限らず、カラーの静止画像そのものに基づいて、誘導場の強さＭｘｙ、等ポテンシャル線の複雑度Ｃｉおよび誘導場のエネルギＥを算出するように構成することもできる。
【０１５４】
また、上記第１および第２の実施の形態においては、三原色輝度値を各原色ごとのベクトルＮ１ｘｙ，Ｎ２ｘｙおよびＮ３ｘｙとして取り扱ったが、これに限らず、加算等を行って、１つのベクトルとして取り扱ってもよい。
また、上記第１および第２の実施の形態において、レイアウト部１００、学習部２００、条件入力部３００または情報提供部６００を実現するにあたってはいずれも、ＲＯＭにあらかじめ格納されている制御プログラムを実行する場合について説明したが、これに限らず、これらの手順を示したプログラムが記憶された記憶媒体から、そのプログラムをＲＡＭに読み込んで実行するようにしてもよい。
【０１５５】
ここで、記憶媒体とは、ＲＡＭ、ＲＯＭ等の半導体記憶媒体、ＦＤ、ＨＤ等の磁気記憶型記憶媒体、ＣＤ、ＣＤＶ、ＬＤ、ＤＶＤ等の光学的読取方式記憶媒体、ＭＯ等の磁気記憶型／光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あらゆる記憶媒体を含むものである。
【０１５６】
また、上記第１および第２の実施の形態においては、本発明に係る画像レイアウト装置および画像レイアウトプログラム、並びに画像レイアウト方法を、ディジタルビデオカメラで撮影した動画像のなかから画像を選択し、選択した画像を自動レイアウトする場合について適用したが、これに限らず、本発明の主旨を逸脱しない範囲で他の場合にも適用可能である。例えば、次のような変形例が考えられる。
【０１５７】
第１に、動画像に付帯させる情報は時間情報でもよい。このとき、例えば、ディジタルビデオカメラで撮影されたゴルフスイングをコマごとに表示させ、なおかつ、時間情報も付与することによって、さらに内容が充実した編集物を作成することができる。
第２に、ＵＲＬによって得られる情報は、動画像および要約に限らず、３Ｄ映像であってもよい。
【０１５８】
第３に、ＵＲＬに基づいて入手した動画像または要約の表示方法は、Ｗｅｂブラウザ経由でコンピュータ上に表示させたが、専用アプリケーションを利用して表示してもよいし、テレビ、カーナビ、携帯電話または携帯端末に直接表示してもよい。
第４に、ＵＲＬがＳＳＬ（Ｓｅｃｕｒｅ　Ｓｏｃｋｅｔ　Ｌａｙｅｒ）に対応していてもよい。
【０１５９】
第５に、動画像記憶部１９７には、動画像および要約をユニークキーと対応付けて記憶させたが、さらに、動画像、要約、広告情報、解説記事およびコラムをユニークキーと対応付けて記憶させてもよい。したがって、ＵＲＬに基づいてアクセスすれれば、動画像および要約だけでなく広告情報、解説記事およびコラムを入手することができる。
【０１６０】
第６に、動画像記憶部１９７には、変換部によって動画像を変換したメディア情報を記憶させてもよい。例えば、３Ｄ用にファイルフォーマットを変換し、それを記憶させてもよい。
【０１６１】
【発明の効果】
以上説明したように、本発明に係る請求項１ないし１７記載の画像レイアウト装置によれば、付帯情報に基づいて選択画像がレイアウトされるので、選択画像だけでなく動画像に付帯する音声や文字等もレイアウトに反映させることができる。したがって、従来に比して、比較的内容の充実した編集物を作成することができるという効果が得られる。
【０１６２】
さらに、本発明に係る請求項２記載の画像レイアウト装置によれば、ユーザの好みに比較的沿った内容の編集物を作成することができるという効果も得られる。
さらに、本発明に係る請求項３記載の画像レイアウト装置によれば、動画像に付帯する音声をレイアウトに反映させることができるので、さらに内容の充実した編集物を作成することができるという効果も得られる。
【０１６３】
さらに、本発明に係る請求項４記載の画像レイアウト装置によれば、動画像に付帯するテキストを併せてレイアウトすることができるので、さらに内容の充実した編集物を作成することができるという効果も得られる。
さらに、本発明に係る請求項５または８記載の画像レイアウト装置によれば、動画像に付帯する付帯情報に関する要約を併せてレイアウトすることができるので、さらに内容の充実した編集物を作成することができるとともに、付帯情報に係るレイアウト部分が比較的簡潔明瞭となり、読みやすくなるという効果も得られる。
【０１６４】
さらに、本発明に係る請求項６記載の画像レイアウト装置によれば、動画像が複数のシーンからなる場合は、各シーンごとに画像を選択することができるので、比較的詳細に編集を行うことができるという効果も得られる。
さらに、本発明に係る請求項７記載の画像レイアウト装置によれば、動画像が複数のシーンからなる場合は、各シーンごとに付帯情報を取得することができるので、比較的詳細に編集を行うことができるという効果も得られる。
【０１６５】
さらに、本発明に係る請求項８記載の画像レイアウト装置によれば、動画像が複数のシーンからなる場合は、各シーンごとに要約を作成することができるので、比較的詳細に編集を行うことができるという効果も得られる。
さらに、本発明に係る請求項１０または１１記載の画像レイアウト装置によれば、参照情報に基づいて画像レイアウト装置にアクセスすることにより、選択画像に関連する付帯情報を入手することができるという効果も得られる。
【０１６６】
さらに、本発明に係る請求項１２または１３記載の画像レイアウト装置によれば、参照情報に基づいて画像レイアウト装置にアクセスすることにより、選択画像を含む動画像を入手することができるという効果も得られる。
さらに、本発明に係る請求項１４記載の画像レイアウト装置によれば、ＵＲＬを参照することにより付帯情報または動画像へのアクセスが可能となるので、付帯情報または動画像の入手が比較的容易となるという効果も得られる。
【０１６７】
さらに、本発明に係る請求項１５記載の画像レイアウト装置によれば、バーコードを参照することにより付帯情報または動画像へのアクセスが可能となるので、付帯情報または動画像の入手が比較的容易となるという効果も得られる。
一方、本発明に係る請求項１８記載の画像レイアウトプログラムによれば、請求項１記載の画像レイアウト装置と同等の効果が得られる。
【０１６８】
一方、本発明に係る請求項１９記載の画像レイアウト方法によれば、請求項１記載の画像レイアウト装置と同等の効果が得られる。
【図面の簡単な説明】
【図１】ディジタル画像の画素配列を示す図である。
【図２】視覚の誘導場の強さを求める際の遮蔽条件を説明する図である。
【図３】文字「Ａ」の視覚の誘導場の例であり、同図（ａ）は遮蔽条件を考慮して視覚の誘導場を求めた場合、同図（ｂ）は遮蔽条件を考慮しないで視覚の誘導場を求めた場合を示す図である。
【図４】基準となるレイアウト例としてのある新聞記事の一部分の画像を示す図である。
【図５】図４に示す画像に対し、文字列部分はそれぞれの文字列を単純な線で表し、写真は単に矩形枠で表して誘導場を計算し、計算された誘導場から得られた等ポテンシャル線を示す図である。
【図６】図４で示した基準レイアウトとその基準レイアウトを種々変化させたレイアウトとした場合の図である。
【図７】図６（ａ）〜（ｄ）のようなレイアウトとしたときのそれぞれのレイアウトに対する複雑度を示す図である。
【図８】本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
【図９】ニューラルネットワーク４００の構成を示す図である。
【図１０】テンプレートの構造を示す図である。
【図１１】本発明に係る画像レイアウト装置の構成を示す機能ブロック図である。
【図１２】ユニークキー別対応テーブル７００のデータ構造を示す図である。
【図１３】紙芝居風のテンプレートの構造を示す図である。
【符号の説明】
５０…動画像記憶媒体，１００…レイアウト部，１１０…動画像取得部，１２０…画像特徴情報抽出部，１３０…ユーザモデル記憶部，１４０…評価値算出部，１５０…画像選択部，１６０…テンプレート記憶部，１７０，１７２…画像レイアウト部，１８０…印刷部，１８５…表示部，１９０…音声認識部，１９１，１９３…要約作成部，１９２，１９４…シーン区切検出部，１９５…ユニークキー生成部，１９６…動画像生成部，１９７…動画像記憶部，２００…学習部，２１０…画像指定入力部，２２０…画像特徴情報抽出部，２３０…特徴学習部，３００…条件入力部，３１０…評価値算出条件入力部，３２０…画像選択条件入力部，３３０…レイアウト条件入力部，４００…ニューラルネットワーク，５００〜５２８…画像格納枠，６００…情報提供部，６１０…動画像提供部，６２０…要約提供部，７００…ユニークキー別対応テーブル
【図１】
2004120127.tif 000006
【図２】
2004120127.tif 000007
【図３】
2004120127.tif 000008
【図４】
2004120127.tif 000009
【図５】
2004120127.tif 000010
【図６】
2004120127.tif 000011
【図７】
2004120127.tif 000012
【図８】
2004120127.tif 000013
【図９】
2004120127.tif 000014
【図１０】
2004120127.tif 000015
【図１１】
2004120127.tif 000016
【図１２】
2004120127.tif 000017
【図１３】
2004120127.tif 000018