(57)【要約】【課題】複数の領域に対して同じタイル画像が選ばれる不具合を解消する。【解決手段】動画から静止画である複数のタイル画像を生成するタイル生成部１１０と、複数のタイル画像のうち、複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像をそれぞれ選択するタイル選択部１３０とを備え、タイル生成部１１０は、複数のタイル画像を、類似する複数のタイル画像ごとに複数の群に分類し、タイル選択部１３０は、同一の群に分類されている複数のタイル画像を互いに離して配置すべく選択するモザイク画像生成装置１０が提供される。【選択図】図１
2012137959.tif 000002
【特許請求の範囲】
【請求項１】
動画から静止画である複数のタイル画像を生成するタイル生成部と、
前記複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像をそれぞれ選択するタイル選択部と
を備え、
前記タイル生成部は、前記複数のタイル画像を、類似する複数のタイル画像ごとに複数の群に分類し、
前記タイル選択部は、同一の群に分類されている前記複数のタイル画像を互いに離して配置すべく選択する画像処理装置。
【請求項２】
前記複数の分割領域のそれぞれの特徴量を算出する対象特徴量算出部と、
前記複数のタイル画像のそれぞれの前記特徴量を算出するタイル特徴量算出部と
をさらに備え、
前記タイル選択部は、前記複数のタイル画像のうち、前記複数の分割領域の特徴量に対応する特徴量を有するタイル画像をそれぞれ選択し、前記対象画像の前記複数の分割領域に対応する位置にそれぞれ嵌め込む請求項１に記載の画像処理装置。
【請求項３】
前記対象画像を、その一つが複数の分割領域を含むように複数の大領域に分割するとともに、前記複数の大領域のそれぞれに対して、前記同一の群に分類された複数のタイル画像を予め定められた枚数以内で分配するタイル分配部をさらに備え、
前記タイル選択部は、前記複数の大領域のそれぞれについて前記タイル分配部により分配されたタイル画像のうち、前記複数の分割領域の特徴量に対応する特徴量を有するタイル画像を選択する請求項２に記載の画像処理装置。
【請求項４】
前記タイル分配部は、前記複数の分割領域のうち、前記タイル選択部により選択されるタイル画像が存在しない分割領域がある場合に、その一つに含まれる複数の分割領域の数がより小さくなるように前記対象画像を新たな複数の大領域に分割してから、前記新たな複数の大領域のそれぞれに対して、前記同一の群に分類された複数のタイル画像を予め定められた枚数以内で分配し、
前記タイル選択部は、前記新たな複数の大領域のそれぞれについて前記タイル分配部により分配されたタイル画像のうち、前記複数の分割領域の特徴量に対応する特徴量を有するタイル画像を選択する請求項３に記載の画像処理装置。
【請求項５】
前記タイル選択部は、前記複数の分割領域のうち、前記タイル選択部により選択されるタイル画像が存在しない分割領域がある場合に、いずれのタイル画像も割り当てずに表示する請求項２に記載の画像処理装置。
【請求項６】
前記タイル生成部は、前記複数の分割領域のうち、前記タイル選択部により選択されるタイル画像が存在しない分割領域がある場合に、他の動画から静止画である他の複数のタイル画像を生成し、
前記タイル選択部は、タイル画像が存在しない分割領域に対して、前記他の複数のタイル画のうち、前記複数の分割領域の特徴量に対応する特徴量を有するタイル画像をそれぞれ選択し、前記対象画像の前記複数の分割領域に対応する位置にそれぞれ嵌め込む請求項３に記載の画像処理装置。
【請求項７】
前記タイル生成部は、前記複数の分割領域のうち、前記タイル選択部により選択されるタイル画像が存在しない分割領域の特徴量に対応する特徴量を有する動画を検索して、前記他の動画として提示する請求項６に記載の画像処理装置。
【請求項８】
前記タイル生成部は、前記動画に類似する動画を検索して、前記他の動画として提示する請求項６に記載の画像処理装置。
【請求項９】
前記特徴量は、前記複数の分割領域のそれぞれの基本色の平均濃度値および前記複数のタイル画像それぞれの基本色の平均濃度値を含む請求項２から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記タイル生成部は、前記動画の時間的順序における前後のタイル画像を比較して類似度を判断する請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記タイル生成部は、群に含まれる複数のタイル画像の互いの類似度が小さいほど、多くのタイル画像を前記群に分類する請求項１０に記載の画像処理装置。
【請求項１２】
動画から静止画である複数のタイル画像を生成するタイル生成段階と、
前記複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像をそれぞれ選択するタイル選択段階と
を備え、
前記タイル生成段階において、前記複数のタイル画像を、類似する複数のタイル画像ごとに複数の群に分類し、
前記タイル選択段階において、同一の群に分類されている前記複数のタイル画像を互いに離して配置すべく選択する画像処理方法。
【請求項１３】
動画から静止画である複数のタイル画像を生成するタイル生成機能、および、
前記複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像をそれぞれ選択するタイル選択機能
をコンピュータに実現させ、
前記タイル生成機能において、前記複数のタイル画像を、類似する複数のタイル画像ごとに複数の群に分類し、
前記タイル選択機能において、同一の群に分類されている前記複数のタイル画像を互いに離して配置すべく選択するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
サイズの小さい画像であるタイル画像を複数用意して、それらのタイル画像を敷き詰めることにより、全体としても視覚的に意味を持つモザイク画像を生成するモザイク画像生成装置がある（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
特許文献１  特開２００９−１７１１５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
見栄えのよいモザイク画像を生成するには、できるだけ多様なタイル画像が用いられることが好ましい。しかしながら上記特許文献１等の方法では、同じ色濃度の領域が複数ある場合に、当該複数の領域に対して同じタイル画像が選ばれることになる。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、動画から静止画である複数のタイル画像を生成するタイル生成部と、複数のタイル画像のうち、複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像をそれぞれ選択するタイル選択部とを備え、タイル生成部は、複数のタイル画像を、類似する複数のタイル画像ごとに複数の群に分類し、タイル選択部は、同一の群に分類されている複数のタイル画像を互いに離して配置すべく選択する画像処理装置が提供される。
【０００５】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００６】
【図１】本発明の実施するための形態の一例である、モザイク画像生成装置１０の機能ブロック図である。
【図２】モザイク画像生成装置１０が実行するモザイク画像生成方法の概略を示すフローチャートである。
【図３】図２のステップＳ２０の詳細を示すフローチャートである。
【図４】図４は、対象画像Ａの一例を模式的に示す。
【図５】図２のステップＳ４０の詳細を示すフローチャートである。
【図６】動画Ｂからタイル画像Ｂｇｋが生成される過程を示す概略図である。
【図７】図２のステップＳ５０の詳細を示すフローチャートである。
【図８】図２のステップＳ５４の詳細を示すフローチャートである。
【図９】タイル画像Ｂgｋを大領域Ｄｓに分配する過程を示す概略図である。
【図１０】図２のステップＳ６０の詳細を示すフローチャートである。
【図１１】初期モザイク画像Ｗ０を模式的に示す。
【図１２】図２のステップＳ７０の詳細を示すフローチャートである。
【図１３】補正モザイク画像Ｗ１を模式的に示す。
【図１４】撮像装置３０の機能ブロックを模式的に示す。
【発明を実施するための形態】
【０００７】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００８】
図１は、本発明を実施するための形態の画像処理装置の一例である、モザイク画像生成装置１０の機能ブロック図である。モザイク画像生成装置１０は、動画から生成したタイル画像を用いてモザイク画像を生成する。ここでモザイク画像とは、当該モザイク画像よりもサイズの小さい画像であるタイル画像を複数用意して、それらのタイル画像を敷き詰めることにより、全体としても視覚的に意味を持つように形成された画像をいう。タイル画像が撮影画像である場合に、フォトモザイク画像と呼ばれることがある。
【０００９】
モザイク画像生成装置１０は、動画から静止画である複数のタイル画像を生成するタイル生成部１１０と、複数のタイル画像のうち、複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像をそれぞれ選択するタイル選択部１３０とを備える。モザイク画像生成装置１０は、さらに、分割領域の特徴量を算出する対象特徴量算出部１００と、タイル画像の特徴量を算出するタイル特徴量算出部１２０とを備える。
【００１０】
モザイク画像生成装置１０は、対象画像を複数の大領域に分割するとともに、複数の大領域のそれぞれに対して、複数のタイル画像を分配するタイル分配部１２２をさらに備える。モザイク画像生成装置１０は、タイル選択部１３０により選択されたタイル画像と、対象画像におけるタイル画像に対応する分割領域と、を重畳して表示する重畳表示部１４０をさらに備える。モザイク画像生成装置１０はさらに、対象画像、動画、タイル画像、および、それらの特徴量を含む情報を記憶する記憶部１５０を備える。記憶部１５０はモザイク画像生成装置１０内に取り付けられたメモリ、ＨＤＤ等であってもよいし、モザイク画像生成装置１０に対して取り外し可能なカード型メモリであってもよい。
【００１１】
モザイク画像生成装置１０の一例はパーソナルコンピュータである。ただし、モザイク画像生成装置１０はパーソナルコンピュータに限られず、画像処理をすることができる電子機器であればよい。モザイク画像生成装置１０は、ＣＤ−ＲＯＭ１２等の記憶媒体によりインストールされたプログラム、または、インターネット等のネットワークから提供されたプログラムを実行することにより、上記対象特徴量算出部１００等の各機能が実現されてもよい。
【００１２】
図２は、モザイク画像生成装置１０が実行するモザイク画像生成方法の概略を示すフローチャートである。まず、ユーザからの入力により対象画像Ａが選択される（Ｓ１０）。選択された対象画像Ａは記憶部１５０に記憶される。対象特徴量算出部１００は、対象画像Ａを複数に分割して複数の分割領域とし、複数の分割領域のそれぞれの特徴量を算出する（Ｓ２０）。
【００１３】
一方、ユーザからの入力により動画Ｂが選択される（Ｓ３０）。動画Ｂの形式は、ＭＰＥＧ４、ＡＶＩ等のいずれであってもよい。選択された動画Ｂは記憶部１５０に記憶される。タイル生成部１１０は、動画Ｂから静止画である複数のタイル画像Ｂｇｋを生成する（Ｓ４０）。生成された複数のタイル画像Ｂｇｋのそれぞれについて、タイル特徴量算出部１２０は特徴量を算出する（Ｓ５０）。
【００１４】
タイル分配部５４は、対象画像Ａを、その一つが複数の分割領域を含むように複数の大領域に分割する（Ｓ５４）。さらにタイル分配部５４は、上記大領域のそれぞれに対して、同一の群に分類された複数のタイル画像を予め定められた枚数以内で分配する（同ステップ）。
【００１５】
さらにタイル選択部１３０は、複数のタイル画像Ｂｇｋのうち、複数の分割領域の特徴量に対応する特徴量を有するタイル画像Ｂｇｋをそれぞれ選択し、対象画像Ａの複数の分割領域に対応する位置にそれぞれ嵌め込む（Ｓ６０）。これによりモザイク画像が生成される。図２において、ステップＳ３０からＳ５４はステップＳ２０およびＳ３０よりも後に記載されているが、前に実行されてもよいし、同時に実行されてもよい。
【００１６】
図３は、図２のステップＳ２０の詳細を示すフローチャートである。図４は、対象画像Ａの一例を模式的に示す。図４に示す例において、対象画像Ａは、横ｘドット、縦ｙドットの大きさの写真画像であり、例えばＪＰＥＧ形式の画像である。
【００１７】
ステップＳ２０において、対象特徴量算出部１００は、対象画像Ａを複数の分割領域Ａｉｊに分割する（Ｓ２００）。分割領域Ａｉｊのサイズの初期値は予め設定され、記憶部１５０に格納されている。分割領域Ａｉｊのサイズはユーザが変更できてもよい。図４に示す例において、対象画像Ａはｍ×ｎに等分割されている。よって、個々の分割領域Ａｉｊの縦横のドット数ｐ、ｑはそれぞれ、ｙ／ｍ、ｘ／ｎである。対象画像Ａの縦横がそれぞれ千ドット程度であるときに、分割数ｍ、ｎは例えばそれぞれ数十であり、数百から数千の分割領域Ａｉｊに分割される。
【００１８】
また対象特徴量算出部１００は、分割領域Ａｉｊの色濃度を算出する（Ｓ２１０）。ここで色濃度は、色を表す基本色のそれぞれについて空間的な平均値を計算することにより得られる。基本色の一例はＲＧＢである。以下ＲＧＢで説明するが、ＹＵＶ等の他の基本色を用いてもよい。図４に示すように分割領域Ａｉｊのドット数がｐ×ｑである場合に、下記の通り、各点での赤色の総和をドット数で除することにより、当該分割領域Ａｉｊにおける赤色の色濃度Ｒｉｊが得られる。
Ｒｉｊ＝ΣＲ（Ａｉｊ）／（ｐ×q）
緑色および青色についても同様の計算により、分割領域ＡｉｊのＲＧＢ各色での色濃度（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）が得られる。
【００１９】
以上、対象特徴量算出部１００は、ステップＳ２１０をすべての分割領域Ａｉｊについて実行する（Ｓ２２０）。さらに対象特徴量算出部１００は、分割領域Ａｉｊに対応付けて色濃度（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）を記憶部１５０に保存する（Ｓ２３０）。以上によりステップＳ２０の動作が終了する。
【００２０】
図５は、図２のステップＳ４０の詳細を示すフローチャートである。図６は、動画Ｂからタイル画像Ｂｇｋが生成される過程を示す概略図である。
【００２１】
タイル生成部１１０は、動画Ｂのシーンチェンジを検出することにより、動画Ｂをシーン毎に分割する（Ｓ４００）。この場合に例えばタイル生成部１１０は、動画Ｂ内の時間的に前後のフレームの画像を比較して、当該画像間の差分が閾値を超えた場合にシーンチェンジがあったと判断する。特にタイル生成部１１０は、各フレームの被写体を検知することにより人物の数を算出し、前後のフレームの画像において人物の数が変化したことによりシーンチェンジがあったと判断してもよい。当該閾値は予め設定されて記憶部１５０に格納されているが、ユーザにより変更することができてもよい。図６に示す例において、タイル生成部１１０は、動画Ｂをシーン１からシーンＧに分割している。
【００２２】
タイル生成部１１０は、動画Ｂから、基準条件を満たす複数の静止画を生成し（Ｓ４１０）、当該複数の静止画をそれぞれサイズすることにより複数のタイル画像Ｂｇｋを生成する（Ｓ４２０）。リサイズの大きさは分割領域Ａｉｊのサイズと同一であることが好ましい。
【００２３】
上記基準条件の例は、各シーンｇにおける冒頭の画像および当該冒頭の画像から一定時間毎の画像を用いることである。ここでタイル生成部１１０は、各シーンｇから複数のタイル画像Ｂｇｋを生成することが好ましいので、上記一定時間を最短のシーンの継続時間よりも短く設定してもよい。
【００２４】
基準条件の他の例は、シーンチェンジよりも小さい第２の閾値を用いて、同一シーンｇ内で時間的な前後のフレームの画像間の差分が当該第２閾値を超えた場合にその時のフレームの画像を用いることである。これにより、シーン内の互いのフレームの画像の類似度が小さいほど、多くのタイル画像Ｂｇｋが当該シーンｇから生成される。
【００２５】
基準条件のさらに他の例として、顔認識を用いて同じ人物の登場回数に上限を設けてもよい。基準条件のさらに他の例として、動画ＢがＭＰＥＧ４などの圧縮フォーマットを用いている場合に、ＢフレームおよびＰフレームなど圧縮率の大きいフレームの画像を用いずに、Ｉフレーム等の圧縮率の小さいフレームの画像を用いることとしてもよい。
【００２６】
図６に示す例においてタイル生成部１１０は、シーン１から、冒頭の画像および上記基準条件を満たす画像に基づいて、ｈ枚のタイル画像Ｂ１１からＢ１ｈを生成している。同様にタイル生成部１１０は、シーン２から２枚のタイル画像Ｂ２１、Ｂ２２を生成し、シーンＧからｈ'枚のタイル画像ＢＧ１からＢＧｈ'を生成している。このタイル画像Ｂｇｋはいずれも、図４に示した分割領域Ａｉｊのサイズに合わせて縦ｐドット、横ｑドットにリサイズされている。
【００２７】
タイル生成部１１０は、シーンｇから生成されたタイル画像Ｂｇｋの数をシーン毎に集計する（Ｓ４３０）。タイル生成部１１０は、シーンｇに対応付けて、当該シーンｇから生成されたタイル画像Ｂｇｋの数および当該複数のタイル画像Ｂｇｋをタイル特徴量算出部１２０に出力する（Ｓ４４０）。
【００２８】
図７は、図２のステップＳ５０の詳細を示すフローチャートである。ステップＳ５０はタイル特徴量算出部１２０がタイル生成部１１０からタイル画像Ｂｇｋを受け取ることにより開始する。
【００２９】
タイル特徴量算出部１２０は、タイル画像Ｂｇｋの色濃度を算出する（Ｓ５１０）。ここで色濃度は分割領域Ａｉｊの色濃度に対応した方法で計算される。例えば分割領域Ａｉｊの色濃度がＲＧＢのそれぞれについての空間的な平均値である場合に、タイル画像Ｂｇｋの色濃度もＲＧＢのそれぞれについて空間的な平均値を計算することにより得られる。図６に示すようにタイル画像Ｂｇｋのドット数がｐ×ｑである場合に、下記の通り、各点での赤色の総和をドット数で除することにより、当該タイル画像Ｂｇｋにおける赤色の色濃度Ｒｇｋが得られる。
Ｒｇｋ＝ΣＲ（Ｂｇｋ）／（ｐ×q）
緑色および青色についても同様の計算により、タイル画像ＢｇｋのＲＧＢ各色の色濃度（Ｒｇｋ、Ｇｇｋ、Ｂｇｋ）が得られる。
【００３０】
以上、ステップＳ５１０をすべてのタイル画像Ｂｇｋについて実行する（Ｓ５２０）。タイル特徴量算出部１２０は、シーンｇに対応付けて、当該シーンｇから生成されたタイル画像Ｂｇｋの数、タイル画像Ｂｇｋおよびその色濃度（Ｒｇｋ、Ｇｇｋ、Ｂｇｋ）をタイル分配部１２２に出力する（Ｓ５３０）。以上によりステップＳ５０の動作が終了する。
【００３１】
図８は、図２のステップＳ５４の詳細を示すフローチャートである。図９は、タイル画像Ｂｇｋを大領域Ｄｓに分配する過程を示す概略図である。ステップＳ５４はタイル分配部１２２がタイル特徴量算出部１２０からタイル画像Ｂｇｋを受け取ることにより開始する。
【００３２】
タイル分配部１２２は、対象画像Ａを、その一つが複数の分割領域Ａｉｊを含むように複数の大領域Ｄｓに分割する（Ｓ５４０）。図９に示す例において、対象画像Ａは、５×４の２０個の大領域Ｄｓに分割されている。また各々の大領域Ｄｓは５×７の３５個の部分領域Ａｉｊを含んでいる。
【００３３】
大領域Ｄｓの分割数Ｓの初期値および上限値は、予め設定されて記憶部１５０に格納されている。タイル分割部１２２は、分割数Ｓを初期値から上限値を超えない範囲で自動的に変更してもよい。例えば、タイル分割部１２２は、それぞれのシーンｇに含まれるタイル画像数Ｂｇｋの数ｈのうちの最大値、最小値または平均値に近い整数のいずれかを分割数Ｓとしてもよい。また、分割数Ｓはユーザにより変更することができてもよい。
【００３４】
タイル分配部１２２は、複数の大領域Ｄｓのそれぞれに対して、一のシーンｇに含まれる複数のタイル画像Ｂｇｋを予め定められた枚数以内、例えば１枚ずつ分配する（Ｓ５４２）。この場合にタイル分配部１２２は例えば、大領域Ｄｓに付された番号ｓの順に、タイル画像Ｂｇｋを番号ｋの順で分配する。分配の順序はこれに限られず、大領域Ｄｓおよびタイル画像Ｂｇｋのいずれか一方または両方に優先順位付けをして、当該優先順位に従って分配してもよい。
【００３５】
ここでタイル分割部１２２は、一つのシーンｇに含まれるタイル画像Ｂｇｋの数ｈが大領域Ｄｓの分割数Ｓに対して不足しているかどうかを判断する（Ｓ５４４）。タイル画像Ｂｇｋの数ｈが大領域Ｄｓの分割数Ｓに対して不足している場合には（Ｓ５４４：Ｎｏ）、一のシーンｇだけではすべての大領域Ｄｓに対して予め定められた枚数のタイル画像Ｂｇｋが分配されないので、分配の枚数が足りない大領域Ｄｓに対して、タイル分割部１２２は次のシーンｇ'に含まれるタイル画像Ｂｇｋを分配する（Ｓ５４６）。一方、タイル画像Ｂｇｋの数ｈが大領域Ｄｓの分割数Ｓに対して不足していない場合には（Ｓ５４４：Ｎｏ）、すべての大領域Ｄｓに対して予め定められた枚数のタイル画像Ｂｇｋが分配されたことになる。
【００３６】
図９に示す例において、シーン１はｈ枚のタイル画像Ｂ１ｋを有し、タイル画像Ｂ１１が大領域Ｄ１に分配され、タイル画像Ｂ１２が大領域Ｄ２に分配されている。ここで、タイル画像Ｂ１ｋの数ｈが分割数Ｓ（＝２０）より大きければ、シーン１の画像Ｂ１ｋが一枚ずつすべての大領域Ｄｓに分配される。さらに、シーン２は２枚のタイル画像Ｂ２１、Ｂ２２を有し、タイル画像Ｂ２１が大領域Ｄ１に分配され、タイル画像Ｂ２２が大領域Ｄ２に分配されている。ここで、タイル画像Ｂ２ｋの数は分割数よりも小さいので、上記ステップＳ５４６の動作により、次のシーン３のタイル画像が大領域Ｄ３以降に分配される。
【００３７】
タイル分割部１２２は、上記ステップS５４２からＳ５４６をすべてのシーンｇについて実行する（Ｓ５４８）。これにより、すべてのシーンｇのタイル画像Ｂｇｋが少なくともいずれかの大領域Ｄｓに分配されるとともに、一の大領域Ｄｓに一のシーンｇのタイル画像Ｂｇｋが偏って分配されることを避けることができる。
【００３８】
タイル分配部１２２は、シーンｇに対応付けて、当該シーンｇから生成されたタイル画像Ｂｇｋの数、タイル画像Ｂｇｋおよびその色濃度（Ｒｇｋ、Ｇｇｋ、Ｂｇｋ）、ならびに、いずれの大領域Ｄｓに分配されたかを示す情報を記憶部１５０に保存する（Ｓ５６０）。以上によりステップＳ５４の動作が終了する。この場合にタイル画像Ｂｇｋは例えばＪＰＥＧ形式で保存される。なお、ステップＳ５４２において、予め定められた枚数は１枚に限られず、２枚、３枚等の任意の数でよい。
【００３９】
図１０は、図２のステップＳ６０の詳細を示すフローチャートである。図１１は、初期モザイク画像Ｗ０を模式的に示す。
【００４０】
タイル選択部１３０は、分割領域Ａｉｊとタイル画像Ｂｇｋとの類似度Ｅを算出する（Ｓ６１０）。この場合にタイル選択部１３０はまず、記憶部１５０に格納されている分割領域Ａｉｊの色濃度（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）を読み出す。つぎにタイル選択部１３０は、当該分割領域Ａｉｊが属している大領域Ｄｓに分配されたタイル画像Ｂｇｋの色濃度（Ｒｇｋ、Ｇｇｋ、Ｂｇｋ）を読み出す。さらにタイル選択部１３０はそれらの間の、下記に示される平均二乗誤差を類似度Ｅとして算出する。
Ｅ＝（Ｒｉｊ−Ｒｇｋ）２＋（Ｇｉｊ−Ｇｇｋ）２＋（Ｂｉｊ−Ｂｇｋ）２
これにより、分割領域Ａｉｊの色濃度とタイル画像Ｂｇｋの色濃度とが近いほど類似度Ｅの値は小さくなる。
【００４１】
タイル選択部１３０は、分割領域Ａｉｊとタイル画像Ｂｇｋとの類似度Ｅが予め定められた閾値よりも小さい場合に（Ｓ６２０：Ｙｅｓ）、当該タイル画像Ｂｇｋを位置ｉｊに対応付ける（Ｓ６３０）。一方、タイル選択部１３０は、分割領域Ａｉｊとタイル画像Ｂｇｋとの類似度Ｅが予め定められた閾値よりも大きい場合に（Ｓ６２０：Ｎｏ）、同じ大領域Ｄｓに分配されている他のタイル画像Ｂｇｋ'でステップＳ６１０およびＳ６２０の動作を繰り返す（Ｓ６４０：Ｎｏ）。当該閾値は予め設定されて、記憶部１５０に格納されているが、ユーザにより変更できてもよい。
【００４２】
分割領域Ａｉｊに対して類似度Ｅが閾値よりも小さくなるタイル画像Ｂｇｋがあった場合（Ｓ６３０）、および、当該大領域Ｄｓに分配されたタイル画像Ｂｇｋについて当該分割領域Ａｉｊに対していずれのタイル画像Ｂｇｋも類似度Ｅが閾値よりも小さくならなかった場合に（Ｓ６４０：Ｙｅｓ）、タイル選択部１３０は、次の分割領域Ａｉ'ｊ'に対して、ステップＳ６１０からＳ６４０を実行する（Ｓ６５０：Ｎｏ）。すべての分割領域Ａｉｊに対してステップＳ６１０からＳ６４０を実行した場合に（Ｓ６５０：Ｙｅｓ）、タイル選択部１３０は、ステップＳ６６０に進む。
【００４３】
ステップＳ６６０において、タイル選択部１３０は、ステップＳ６３０で選択したタイル画像Ｂｇｋをその対応する位置ｉｊに嵌め込むことにより、初期モザイク画像Ｗ０を作成し（Ｓ６６０）、画像表示装置等に出力する（Ｓ６７０）。ステップＳ６４０において、分割領域Ａｉｊに対していずれのタイル画像Ｂｇｋも類似度Ｅが閾値よりも小さくならなかった場合を許容しているので、その場合には位置ｉｊに対して嵌め込むタイル画像Ｂｇｋが存在しない。その場合にタイル選択部３０はダミー画像Ｚを嵌め込む。ダミー画像Ｚの一例は、真白または真黒のベタ塗りの画像である。
【００４４】
この場合にタイル選択部１３０は、初期モザイク画像Ｗ０を、タイル画像Ｂｋおよびダミー画像Ｚを嵌め込んだ一枚の画像に合成したＪＰＥＧ等の画像ファイルにして出力する。これに代えてタイル選択部１３０は、初期モザイク画像Ｗ０を、タイル画像Ｂｋおよびダミー画像Ｚ自体と、それぞれが嵌め込まれるべき位置情報が記載されたリスト等とを含む専用のフォーマットのファイルとして出力してもよい。
【００４５】
なおタイル選択部１３０はタイル画像Ｂｇｋが選択される度に更新した初期モザイク画像Ｗ０を出力してもよい。その場合にさらにタイル選択部１３０は、新たに配置されたタイル画像Ｂｇｋの位置が分かるように枠を表示してもよい。
【００４６】
図１１に示す例において、大領域Ｄ２に含まれる分割領域Ａｉｊに対応する位置ｉｊには、当該大領域Ｄ２に分配された、シーン１のタイル画像Ｂ１２が選択されて嵌め込まれている。また、大領域D１４等の位置ｉ'j'等にはダミー画像Ｚとしての黒塗り画像が嵌め込まれている。
【００４７】
図１２は、図２のステップＳ７０の詳細を示すフローチャートである。図１３は、補正モザイク画像Ｗ１を模式的に示す。
【００４８】
タイル選択部１３０は、複数の分割領域Ａｉｊのうち、選択されたタイル画像Ｂｇｋが存在しない分割領域Ａｉｊがあるかどうか判断する（Ｓ７００）。この判断は、ダミー画像Ｚが嵌め込まれている位置ｉｊがあるか否かで判断してもよい。
【００４９】
選択されたタイル画像Ｂｇｋが存在しない分割領域Ａｉｊがある場合に（Ｓ７００：Ｙｅｓ）、タイル選択部１３０は、上記ステップＳ６００により分割された分割数Ｓが上限に達しているかどうかを判断する（Ｓ７１０）。
【００５０】
分割数Ｓが上限に達していない場合に（Ｓ７１０：Ｎｏ）、タイル選択部１３０は、分割数Ｓを増やすべくタイル分割部１２２に指示する（Ｓ７２０）。指示を受けたタイル分割部１２２は新たな分割数Ｓ'で上記ステップＳ５４を実行してタイル画像Ｂｇｋを再分配し、タイル選択部１３０は、再分配されたタイル画像Ｂｇｋで上記ステップＳ６０を実行して改めてタイル画像Ｂｇｋを選択しかつ嵌め込み、上記ステップＳ７００に戻る。これにより、大領域Ｄｓ'の各々に含まれる分割領域Ａｉｊの数が大領域Ｄｓよりも小さくなるので、タイル画像Ｂｇｋを選択する条件が緩和される。
【００５１】
一方、分割数Ｓが上限に達している場合に（Ｓ７１０：Ｙｅｓ）、タイル選択部１３０は、他の動画を検索すべくタイル生成部１１０に指示する（Ｓ７３０）。例えばタイル生成部１１０は、記憶部１５０内の動画を検索してユーザに提示する（同ステップ）。
【００５２】
この場合に例えば、タイル生成部１１０は、上記動画Ｂに類似する動画Ｂ'を検索して提示する。類似するかどうかの判断は、それぞれの動画のタグ情報の一致度に基づいてもよいし、顔認識における人物の一致度に基づいてもよい。さらに他の例としてタイル生成部１１０は、すでにタイル画像Ｂ'ｇｋが生成されている動画Ｂ'を提示してもよい。その場合にさらにタイル生成部１１０は、上記ステップＳ７００でいずれのタイル画像Ｂｇｋも選択されていないと判断された分割領域Ａｉｊの色濃度との類似度Ｅが閾値以内となる色濃度を有する動画Ｂ'を検索して、候補として提示してもよい。
【００５３】
ステップＳ７１０において選択されたタイル画像Ｂｇｋが存在しない分割領域Ａｉｊがない場合に（Ｓ７００：Ｎｏ）、重畳表示部１４０は、タイル画像Ｂｇｋと分割領域Ａｉｊとを重畳して表示する。この場合に、重畳表示部１４０は、予め定められたタイル画像Ｂｋ分割領域Ａｉｊとの重畳の比率Ｃａ、Ｃｂ（ただし、Ｃａ＋Ｃｂ＝１）を用いる。当該比率はユーザにより変更されてもよい。
【００５４】
図１３に示す例において、位置ｉｊには分割領域Ａｉｊおよび動画Ｂから生成されたタイル画像Ｂｇｋが重畳されている。また、位置ｉ'ｊ'には、初期モザイク画像Ｗ０ではダミー画像Ｚであったものが、これに代えて、分割領域Ａｉ'ｊ'および他の動画Ｂ'から生成された補正タイル画像Ｂ'ｋ'が重畳されている。以上によりステップＳ７０の動作が終了する。
【００５５】
なお、ステップＳ７０の動作はステップＳ６０の後に自動的に実行してもよいし、ユーザからの入力があった場合に実行してもよい。また、補正モザイク画像Ｗ１の出力フォーマットは上記初期モザイク画像Ｗ０の出力フォーマットと同様である。
【００５６】
以上、本実施形態によれば、類似する複数のタイル画像がシーン毎に対応づいており、それらが各大領域に分配されるので、同一のシーンから生成された複数のタイル画像を互いに離して配置することができる。これにより、同一のタイル画像が複数の大領域に渡って繰り返し用られることを避けることができるとともに、同一のシーンから生成された互いに類似するタイル画像が同一の大領域内で多数用いられるのを避けることができる。
【００５７】
また、はじめに設定した条件でタイル画像Ｂｇｋが見つからなかった分割領域Ａｉｊにダミー画像Ｚを嵌め込んで初期モザイク画像Ｗ０を表示するので、ユーザの使い勝手が向上する。さらに当該ダミー画像Ｚが存在する場合に、初期モザイク画像Ｗ０を、大領域Ｄｓをより細かく分割し、または、他の動画Ｂ'を用いることで補正するので、最終的にダミー画像Ｚのない見栄えの良いモザイク画像を生成することができる。
【００５８】
なお、上記実施形態においてはタイル分配部１２２が同一のシーンｇから生成された複数のタイル画像Ｂｇｋを各大領域Ｄｓに分配することにより、同一のシーンｇから生成された複数のタイル画像Ｂｇｋを互いに離して配置する。しかしながら、これに代えてまたはこれに加えて、同一のシーンｇから生成された複数のタイル画像Ｂｇｋが互いに所定距離より離れるように当該タイル画像Ｂｇｋが選択されてもよい。この場合にタイル画像選択部１３０は、一の分割領域Ａｉｊのタイル画像Ｂｇｋを選択する場合に、当該分割領域ｉｊから特定の範囲内、例えば直接隣接している分割領域Ａｉ'ｊ'、ですでに選択されているタイル画像Ｂｇｋを候補から除いた上で、残りのタイル画像Ｂｇｋから類似度Ｅを判断してもよい。
【００５９】
また、上記実施形態において、色濃度の類似度に代えてまたは加えて、輪郭パターンの類似度を判断してもよい。この場合に、輪郭パターンは、画像の空間的な微分によって得られた線分を、水平線、垂直線、斜線等の予められたパターンに分類することにより取得してもよい。  また、上記実施形態においてはタイル画像Ｂｋが動画Ｂから生成されたもののみを使っているが、これに加えて、もともと静止画だった画像から生成したタイル画像が混在していてもよい。
【００６０】
図１４は、撮像装置３０の機能ブロックを模式的に示す。撮像装置３０は、例えば動画を撮像することができるデジタルカメラであって、さらに上記モザイク画像生成装置１０と同じ機能を有するモザイク画像生成部１４を備える。例えば、モザイク画像生成部１４は、図１の対象特徴量算出部１００、タイル生成部１１０、タイル特徴量算出部１２０、タイル分配部１２２、タイル選択部１３０および重畳表示部１４０を有する。
【００６１】
図１４の撮像装置３０は、像光が入力される光学系２００、当該光学系２００から入力される像光を電気的信号に変換して出力する撮像素子２１０、および、撮像素子２２０からの出力に基づいて画像処理をする画像処理部２２０を有する。さらに、撮像装置３０は、撮像した画像およびメニュー等を表示するＴＦＴ液晶表示部２３２、動画開始ボタンおよびタイル画像生成指示ボタン等のスイッチ２４２を有する。また撮像装置３０は各種の記憶装置、例えば、ハードディスクドライブ２６０（以下、ＨＤＤと記載する）、ＦＬＡＳＨメモリ２６２、ＳＤカード２６２、ＳＤＲＡＭ２６６を有する。これらの記憶装置は、図１における記憶部１５０としても機能する。
【００６２】
画像処理部２２０は、撮像素子２１０からのデータを受信する撮像素子データ受信部２２２、露出、合焦等の評価値を演算するＡＥ等評価値演算部２２４、撮像素子２１０からの出力をＹＵＶ形式等の画像として生成する画像処理演算部２２６、当該ＹＵＶ形式等をＪＰＥＧ等に変換する画像コーデック部２２８を有する。さらに画像処理部２２０は、各種のコントローラ、例えば、ＴＦＴ液晶表示部２３２にデータを出力するＴＦＴ液晶データ出力部２３０、スイッチ２４２の操作を検出するスイッチ検出部２４０を有する。画像処理部２２０はさらに、上記ＨＤＤ２６０、ＦＬＡＳＨメモリ２６２、ＳＤカード２６４、ＳＤＲＡＭ２６６をそれぞれ制御する、ＨＤＤコントローラ２５０、ＦＬＡＳＨコントローラ２５２、ＳＤカードＩＦ制御部２５４、ＳＤＲＡＭコントローラ２５６を有する。
【００６３】
画像処理部２２０は、ユーザから動画開始ボタンによる録画の指示が入力されてから終了の指示が入力されるまでの動画Ｂを、一つの動画ファイルとして生成する。動画処理部２２０は当該動画Ｂを上記いずれかの記憶装置に記憶する。
【００６４】
スイッチ２４２からの入力によりスイッチ検出部２４２がモザイク画像生成指示ボタンの操作が検知した場合に、モザイク画像生成部１４のタイル生成部１１０は、上記記憶装置を検索して、動画Ｂを、タイル画像Ｂｇｋを生成すべき動画として提示する。ユーザにより当該動画Ｂが選択された場合に、モザイク画像生成部１４は図１の処理を実行する。さらにタイル生成部１１０は、上記ステップＳ７３０において他の動画Ｂ'を検索する場合も、上記記憶装置内を検索して提示する。これにより、タイル画像を生成するもととなる動画を効率的に提示することができる。
【００６５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６６】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６７】
Ａ  対象画像、Ａｉｊ  分割領域、Ｂ  動画、Ｂｇｋ  タイル画像、Ｅ  類似度、１０  モザイク画像生成装置、１２  ＣＤ−ＲＯＭ、１４  モザイク画像生成部、１００  対象特徴量算出部、１１０  タイル生成部、１２０  タイル特徴量算出部、１２２  タイル分配部、１３０  タイル選択部、１４０  重畳表示部、１５０  記憶部、２００  光学系、２１０  撮像素子、２２０  画像処理部、２２２  撮像素子データ受信部、２２４  ＡＥ等評価値演算部、２２６  画像処理演算部、２２８  画像コーデック部、２３０  ＴＦＴ液晶データ出力部、２４０  スイッチ検出部、２４２  スイッチ、２５０  ＨＤＤコントローラ、２５２  ＦＬＡＳＨコントローラ、２５４  ＳＤカードＩＦ制御部、２５６  ＳＤＲＡＭコントローラ、２６０  ハードディスクドライブ、２６２  ＦＬＡＳＨメモリ、２６４  ＳＤカード、２６６  ＳＤＲＡＭ
【図１】
2012137959.tif 000003
【図２】
2012137959.tif 000004
【図３】
2012137959.tif 000005
【図４】
2012137959.tif 000006
【図５】
2012137959.tif 000007
【図６】
2012137959.tif 000008
【図７】
2012137959.tif 000009
【図８】
2012137959.tif 000010
【図９】
2012137959.tif 000011
【図１０】
2012137959.tif 000012
【図１１】
2012137959.tif 000013
【図１２】
2012137959.tif 000014
【図１３】
2012137959.tif 000015
【図１４】
2012137959.tif 000016