(57)【要約】【課題】モザイク画像を生成する場合に、動画を静止画のタイル画像として用いることはできなかった。【解決手段】動画から静止画である複数のタイル画像を生成するタイル生成部１１０と、複数のタイル画像のうち、複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択部１３０とを備える画像処理装置１０が提供される。タイル選択部１３０は、複数のタイル画像のうち、複数の分割領域の特徴量に対応する特徴量を有するタイル画像をそれぞれ選択し、対象画像の複数の分割領域に対応する位置にそれぞれ嵌め込んでもよい。【選択図】図１
2012137958.tif 000002
【特許請求の範囲】
【請求項１】
動画から静止画である複数のタイル画像を生成するタイル生成部と、
前記複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択部と
を備える画像処理装置。
【請求項２】
前記複数の分割領域のそれぞれの特徴量を算出する対象特徴量算出部と、
前記複数のタイル画像のそれぞれの前記特徴量を算出するタイル特徴量算出部と
をさらに備え、
前記タイル選択部は、前記複数のタイル画像のうち、前記複数の分割領域の特徴量に対応する特徴量を有するタイル画像をそれぞれ選択し、前記対象画像の前記複数の分割領域に対応する位置にそれぞれ嵌め込む請求項１に記載の画像処理装置。
【請求項３】
前記特徴量は、前記複数の分割領域のそれぞれの基本色の平均濃度値および前記複数のタイル画像それぞれの基本色の平均濃度値を含む請求項２に記載の画像処理装置。
【請求項４】
前記対象特徴量算出部は、前記対象画像内の主要被写体を認識し、前記複数の分割領域のうち前記主要被写体に属する分割領域に対し、前記主要被写体に属しない分割領域よりも大きい重要度を前記特徴量として算出し、
前記タイル特徴量算出部は、前記複数のタイル画像のうち、予め定められた指標に基づいてタイル画像の重要度を前記特徴量として算出する請求項３に記載の画像処理装置。
【請求項５】
前記予め定められた指標は、前記動画の撮像時に記録された情報を用いる請求項４に記載の画像処理装置。
【請求項６】
前記タイル選択部は、前記複数の分割領域のうち、前記タイル選択部により選択されるタイル画像が存在しない分割領域がある場合に、重要度が高いタイル画像の基本色の平均濃度値をタイル画像が存在しない分割領域の基本色の平均濃度値に変更して、前記分割領域に対応する位置に嵌め込む請求項４に記載の画像処理装置。
【請求項７】
前記タイル選択部は、前記複数のタイル画像のうち、前記タイル選択部により選択されなかったタイル画像がある場合に、前記タイル選択部により選択されなかった前記タイル画像の基本色の平均濃度値を前記複数の分割領域のうちのいずれかの分割領域の基本色の平均濃度値に変更して、前記分割領域に対応する位置に嵌め込む請求項４に記載の画像処理装置。
【請求項８】
前記タイル選択部により選択されたタイル画像と、前記対象画像における前記タイル画像に対応する分割領域とを重畳して表示する重畳表示部をさらに備え、
前記重畳表示部は、前記分割領域の重要度に基づいて、前記タイル画像と前記分割領域の前記対象画像との重畳の比率を決定する請求項４に記載の画像処理装置。
【請求項９】
前記タイル生成部は、前記動画のシーンチェンジを検出し、検出されたシーンチェンジの冒頭の画像を用いて前記タイル画像を生成する請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記シーンチェンジは前記動画中の被写体人物数の変化を含む請求項９に記載の画像処理装置。
【請求項１１】
請求項１から１０のいずれか１項に記載の画像処理装置と、
前記動画を撮像する撮像部と
を備える撮像装置。
【請求項１２】
前記タイル生成部は、前記撮像部により前記動画を撮像した動画ファイルが生成されるごとに、前記動画から前記複数のタイル画像を生成して保存する請求項１１に記載の撮像装置。
【請求項１３】
動画から静止画である複数のタイル画像を生成するタイル生成段階と、
前記複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択段階と
を備える画像処理方法。
【請求項１４】
動画から静止画である複数のタイル画像を生成するタイル生成機能、および、
前記複数のタイル画像のうち、前記複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択機能
をコンピュータに実現させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
サイズの小さい画像であるタイル画像を複数用意して、それらのタイル画像を敷き詰めることにより、全体としても視覚的に意味を持つモザイク画像を生成するモザイク画像生成装置がある。この場合にタイル画像として動画を用いてモザイク画像に当該動画を嵌め込むものがある（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
特許文献１  特開２０００−２８７０６９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
見栄えのよいモザイク画像を生成するには、タイル画像の数は多いほうがよい。しかしながら、個人が大量の写真画像を自ら撮影しておくのは困難である。さらに上記特許文献１では、動画を静止画のタイル画像として用いることはできなかった。
【課題を解決するための手段】
【０００４】
上記課題を解決するために、本発明の第１の態様においては、動画から静止画である複数のタイル画像を生成するタイル生成部と、複数のタイル画像のうち、複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択部とを備える画像処理装置が提供される。
【０００５】
本発明の第２の態様においては、上記画像処理装置と、動画を撮像する撮像部２０とを備える撮像装置が提供される。
【０００６】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００７】
【図１】本発明の実施するための形態の一例であるモザイク画像生成装置１０の機能ブロック図である。
【図２】モザイク画像生成装置１０が実行するモザイク画像生成方法の概略を示すフローチャートである。
【図３】図２のステップＳ２０の詳細を示すフローチャートである。
【図４】対象画像Ａの一例を模式的に示す。
【図５】図２のステップＳ４０の詳細を示すフローチャートである。
【図６】動画Ｂからタイル画像Ｂｋが生成される過程を示す概略図である。
【図７】図２のステップＳ５０の詳細を示すフローチャートである。
【図８】図２のステップＳ６０の詳細を示すフローチャートである。
【図９】初期モザイク画像Ｗ０を模式的に示す。
【図１０】補正モザイク画像Ｗ１を模式的に示す。
【図１１】撮像装置３０の機能ブロックを模式的に示す。
【発明を実施するための形態】
【０００８】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【０００９】
図１は、本発明を実施するための形態の画像処理装置の一例である、モザイク画像生成装置１０の機能ブロック図である。モザイク画像生成装置１０は、動画から生成したタイル画像を用いてモザイク画像を生成する。ここでモザイク画像とは、当該モザイク画像よりもサイズの小さい画像であるタイル画像を複数用意して、それらのタイル画像を敷き詰めることにより、全体としても視覚的に意味を持つように形成された画像をいう。タイル画像が撮影画像である場合に、フォトモザイク画像と呼ばれることがある。
【００１０】
モザイク画像生成装置１０は、動画から静止画である複数のタイル画像を生成するタイル生成部１１０と、複数のタイル画像のうち、複数のタイル画像を用いて生成すべき対象画像を複数に分割した複数の分割領域のそれぞれに対応するタイル画像を選択するタイル選択部１３０とを備える。モザイク画像生成装置１０は、さらに、分割領域の特徴量を算出する対象特徴量算出部１００と、タイル画像の特徴量を算出するタイル特徴量算出部１２０と、分割領域の特徴量に対応する特徴量を有するタイル画像をそれぞれ選択して嵌め込むタイル選択部１３０とを備える。モザイク画像生成装置１０は、タイル選択部１３０により選択されたタイル画像と、対象画像におけるタイル画像に対応する分割領域と、を重畳して表示する重畳表示部１４０をさらに備える。モザイク画像生成装置１０はさらに、対象画像、動画、タイル画像、および、それらの特徴量を含む情報を記憶する記憶部１５０を備える。記憶部１５０はモザイク画像生成装置１０内に取り付けられたメモリ、ＨＤＤ等であってもよいし、モザイク画像生成装置１０に対して取り外し可能なカード型メモリであってもよい。
【００１１】
モザイク画像生成装置１０の一例はパーソナルコンピュータである。ただし、モザイク画像生成装置１０はパーソナルコンピュータに限られず、画像処理をすることができる電子機器であればよい。モザイク画像生成装置１０は、ＣＤ−ＲＯＭ１２等の記憶媒体によりインストールされたプログラム、または、インターネット等のネットワークから提供されたプログラムを実行することにより、上記対象特徴量算出部１００等の各機能が実現されてもよい。
【００１２】
図２は、モザイク画像生成装置１０が実行するモザイク画像生成方法の概略を示すフローチャートである。まず、ユーザからの入力により対象画像Ａが選択される（Ｓ１０）。選択された対象画像Ａは記憶部１５０に記憶される。対象特徴量算出部１００は、対象画像Ａを複数に分割して複数の分割領域とし、複数の分割領域のそれぞれの特徴量を算出する（Ｓ２０）。
【００１３】
一方、ユーザからの入力により動画Ｂが選択される（Ｓ３０）。動画Ｂの形式は、ＭＰＥＧ４、ＡＶＩ等のいずれであってもよい。選択された動画Ｂは記憶部１５０に記憶される。タイル生成部１１０は、動画Ｂから静止画である複数のタイル画像Ｂｋを生成する（Ｓ４０）。生成された複数のタイル画像Ｂｋのそれぞれについて、タイル特徴量算出部１２０は特徴量を算出する（Ｓ５０）。
【００１４】
さらに、タイル選択部１３０は、複数のタイル画像Ｂｋのうち、複数の分割領域の特徴量に対応する特徴量を有するタイル画像Ｂｋをそれぞれ選択し、対象画像Ａの複数の分割領域に対応する位置にそれぞれ嵌め込む（Ｓ６０）。これによりモザイク画像が生成される。なお、図２において、ステップＳ３０からＳ５０は、ステップＳ２０およびＳ３０よりも後に記載されているが、前であってもよいし、同時であってもよい。
【００１５】
図３は、図２のステップＳ２０の詳細を示すフローチャートである。図４は、対象画像Ａの一例を模式的に示す。図４に示す例において、対象画像Ａは、横ｘドット、縦ｙドットの大きさの写真画像であり、例えばＪＰＥＧ形式の画像である。
【００１６】
ステップＳ２０において、対象特徴量算出部１００は対象画像Ａの主要被写体を検出する（Ｓ２００）。主要被写体の検出は、被写体検出により検出された顔を主要被写体とする方法、顔検出により検出された顔のうち予め登録された顔を主要被写体とする方法、対象画像Ａの撮像時に記録されているオートフォーカスのポイント付近またはスポット露光におけるスポット付近を主要被写体とする方法等が用いられる。図４に示す例において、太線の枠が主要被写体として認識された領域を示す。
【００１７】
対象特徴量算出部１００は、対象画像Ａを複数の分割領域Ａｉｊに分割する（Ｓ２１０）。分割領域Ａｉｊのサイズの初期値は予め設定され、記憶部１５０に格納されている。分割領域Ａｉｊのサイズはユーザにより変更できてもよい。図４に示す例において、対象画像Ａはｍ×ｎに等分割されている。よって、個々の分割領域Ａｉｊの縦横のドット数ｐ、ｑはそれぞれ、ｙ／ｍ、ｘ／ｎである。対象画像Ａの縦横がそれぞれ千ドット程度であるときに、分割数ｍ、ｎは例えばそれぞれ数十であり、数百から数千の分割領域Ａｉｊに分割される。
【００１８】
対象特徴量算出部１００は、分割領域Ａｉｊが主要被写体の領域に属するかどうかを判断する（Ｓ２２０）。分割領域Ａｉｊが主要被写体の領域に属する場合に（Ｓ２２０：Ｙｅｓ）、対象特徴量算出部１００は当該分割領域ＡｉｊのフラグＦ１を初期値０から１に立てる（Ｓ２２０）。分割領域Ａｉｊが主要被写体の領域に属しない場合に（Ｓ２２０：Ｎｏ）、対象特徴量算出部１００は当該分割領域ＡｉｊのフラグＦ１を初期値である０のままとする。
【００１９】
対象特徴量算出部１００は、分割領域Ａｉｊのピント具合が良好であるかどうかを判断する（Ｓ２３０）。ピント具合が良好であるかどうかは、例えば、当該分割領域Ａｉｊの画像のコントラストが閾値より高いかどうか等により判断する。分割領域Ａｉｊのピント具合が良好である場合に（Ｓ２３０：Ｙｅｓ）、対象特徴量算出部１００は当該分割領域ＡｉｊのフラグＦ２を初期値０から１に立てる（Ｓ２４０）。分割領域Ａｉｊのピント具合が良好でない場合に（Ｓ２３０：Ｎｏ）、対象特徴量算出部１００は当該分割領域ＡｉｊのフラグＦ２を０のままとする。
【００２０】
また対象特徴量算出部１００は、分割領域Ａｉｊの色濃度を算出する（Ｓ２５０）。ここで色濃度は、色を表す基本色のそれぞれについて空間的な平均値を計算することにより得られる。基本色の一例はＲＧＢである。以下ＲＧＢで説明するが、ＹＵＶ等の他の基本色を用いてもよい。図４に示すように分割領域Ａｉｊのドット数がｐ×ｑである場合に、下記の通り、各点での赤色の総和をドット数で除することにより、当該分割領域Ａｉｊにおける赤色の色濃度Ｒｉｊが得られる。
Ｒｉｊ＝ΣＲ（Ａｉｊ）／（ｐ×q）
緑色および青色についても同様の計算により、分割領域ＡｉｊのＲＧＢ各色での色濃度（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）が得られる。
【００２１】
以上、対象特徴量算出部１００は、ステップＳ２２０からＳ２５０をすべての分割領域Ａｉｊについて実行する（Ｓ２６０）。さらに対象特徴量算出部１００は、分割領域Ａｉｊに対応付けて、フラグＦ１、Ｆ２の値および色濃度（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）を記憶部１５０に保存する（Ｓ２７０）。以上によりステップＳ２０の動作が終了する。
【００２２】
なお、上記ステップＳ２００において主要被写体の境界線が分割領域Ａｉｊ内を走る場合には、分割領域Ａｉｊの一部分は主要被写体であって、他の部分は主要被写体でない。この場合に、対象特徴量算出部１００は、分割領域Ａｉｊにおける主要被写体が占める割合が閾値よりも大きい場合に、例えば半分よりも大きい場合に、当該分割領域Ａｉｊは主要被写体に属すると判断する。
【００２３】
図５は、図２のステップＳ４０の詳細を示すフローチャートである。図６は、動画Ｂからタイル画像Ｂｋが生成される過程を示す概略図である。
【００２４】
タイル生成部１１０は、動画Ｂのシーンチェンジを検出することにより、動画Ｂをシーン毎に分割する（Ｓ４００）。この場合に例えばタイル生成部１１０は、動画Ｂ内の時間的に前後のフレームの画像を比較して、当該画像間の差分が閾値を超えた場合にシーンチェンジがあったと判断する。特にタイル生成部１１０は、各フレームの被写体を検知することにより人物の数を算出し、前後のフレームの画像において人物の数が変化したことによりシーンチェンジがあったと判断してもよい。当該閾値は予め設定されて記憶部１５０に格納されているが、ユーザにより変更することができてもよい。
【００２５】
タイル生成部１１０は、動画Ｂから複数の静止画を生成し（Ｓ４１０）、当該複数の静止画をそれぞれリサイズすることにより複数のタイル画像Ｂｋを生成する（Ｓ４２０）。リサイズの大きさは分割領域Ａｉｊのサイズと同一であることが好ましい。タイル生成部１１０は、当該複数のタイル画像Ｂｋをタイル特徴量算出部１２０に出力する（Ｓ４３０）。
【００２６】
ここでタイル生成部１１０は、ステップＳ４００により分割された各シーンから少なくとも１枚のタイル画像Ｂｋを生成することが好ましい。この場合にタイル生成部１１０は各シーンにおける冒頭の画像からタイル画像Ｂｋを生成してもよい。
【００２７】
図６に示す例において、タイル生成部１１０は、動画Ｂをシーン１からシーンｈに分割し、各シーンの冒頭の画像からタイル画像Ｂ１からＢｈを生成している。このタイル画像Ｂｋはいずれも、図４に示した分割領域Ａｉｊのサイズに合わせて縦ｐドット、横ｑドットにリサイズされている。
【００２８】
タイル生成部１１０は、同一のシーンｇから複数のタイル画像Ｂｋを生成してもよい。この場合にタイル生成部１１０は、各シーンｇの冒頭から一定時間毎のフレームの画像からタイル画像Ｂｋを生成してもよい。これに加えてまたはこれに代えて、タイル生成部１１０は、シーンチェンジよりも小さい第２の閾値を用いて、同一シーンｇ内で時間的な前後のフレームの画像間の差分が当該第２閾値を超えた場合にその時のフレームの画像からタイル画像Ｂｋを生成してもよい。
【００２９】
図７は図２のステップＳ５０の詳細を示すフローチャートである。ステップＳ５０はタイル特徴量算出部１２０がタイル生成部１１０からタイル画像Ｂｋを受け取ることにより開始する。
【００３０】
タイル特徴量算出部１２０は、タイル画像Ｂｋの撮影時情報が良好かどうかを判断する（Ｓ５００）。タイル画像Ｂｋの撮影時情報が良好かどうかは、動画Ｂの撮像中に記録された情報を読み取ることにより判断してもよい。例えば、動画Ｂの撮像中に、ズーム中かどうか、オートフォーカス中かどうか、ＩＳＯ感度切り替え直後かどうか、露出制御変更直後かどうかを情報として記録しておき、タイル特徴量算出部１２０はこれらの情報を読み取り、ズーム中、オートフォーカス中、ＩＳＯ感度切り替え直後および露出制御変更直後のフレームの画像から生成されたタイル画像Ｂｋの撮影時情報は良好でないと判断する。
【００３１】
タイル画像Ｂｋの撮影時情報が良好な場合に（Ｓ５００：Ｙｅｓ）、タイル特徴量算出部１２０は当該タイル画像ＢｋのフラグＦ３を初期値０から１に立てる（Ｓ５１０）。一方、タイル画像Ｂｋの撮影時情報が良好でない場合に（Ｓ５００：Ｎｏ）、タイル特徴量算出部１２０は当該タイル画像ＢｋのフラグＦ３を初期値である０のままとする。
【００３２】
タイル特徴量算出部１２０は、タイル画像Ｂｋが主要被写体を含むかどうかを判断する（Ｓ５２０）。タイル画像Ｂｋが主要被写体を含む場合に（Ｓ５２０：Ｙｅｓ）、タイル特徴量算出部１２０は当該タイル画像ＢｋのフラグＦ４を初期値０から１に立てる（Ｓ５３０）。一方、タイル画像Ｂｋが主要被写体を含まない場合に（Ｓ５２０：Ｎｏ）、タイル特徴量算出部１２０は当該タイル画像ＢｋのフラグＦ４を初期値である０のままとする。主要被写体の検出は、ステップＳ２００と同様の方法が用いられる。
【００３３】
タイル特徴量算出部１２０は、タイル画像Ｂｋのピント具合が良好であるかどうかを判断する（Ｓ５４０）。ピント具合が良好であるかどうかの判断は、ステップＳ２３０と同様の方法が用いられる。タイル画像Ｂｋのピント具合が良好である場合に（Ｓ５４０：Ｙｅｓ）、タイル特徴量算出部１２０は当該タイル画像ＢｋのフラグＦ５を初期値０から１に立てる（Ｓ５５０）。一方、タイル画像Ｂｋのピント具合が良好でない場合に（Ｓ５４０：Ｎｏ）、タイル特徴量算出部１２０は当該タイル画像ＢｋのフラグＦ５を０のままとする。
【００３４】
またタイル特徴量算出部１２０は、タイル画像Ｂｋの色濃度を算出する（Ｓ５５０）。ここで色濃度は分割領域Ａｉｊの色濃度に対応した方法で計算される。例えば分割領域Ａｉｊの色濃度がＲＧＢのそれぞれについての空間的な平均値である場合に、タイル画像Ｂｋの色濃度もＲＧＢのそれぞれについて空間的な平均値を計算することにより得られる。図６に示すようにタイル画像Ｂｋのドット数がｐ×ｑである場合に、下記の通り、各点での赤色の総和をドット数で除することにより、当該タイル画像Ｂｋにおける赤色の色濃度Ｒｋが得られる。
Ｒｋ＝ΣＲ（Ｂｋ）／（ｐ×q）
緑色および青色についても同様の計算により、タイル画像ＢｋのＲＧＢ各色の色濃度（Ｒｋ、Ｇｋ、Ｂｋ）が得られる。
【００３５】
以上、ステップＳ５２０からＳ５５０をすべてのタイル画像Ｂｋについて実行する（Ｓ５７０）。タイル特徴量算出部１２０は、タイル画像Ｂｋに対応付けて、フラグＦ３、Ｆ４、Ｆ５の値および色濃度（Ｒｋ、Ｇｋ、Ｂｋ）を記憶部１５０に保存する（Ｓ５８０）。この場合にタイル画像Ｂｋは例えばＪＰＥＧ形式で保存される。以上によりステップＳ５０の動作が終了する。
【００３６】
図８は、図２のステップＳ６０の詳細を示すフローチャートである。図９は初期モザイク画像Ｗ０を模式的に示し、図１０は補正モザイク画像Ｗ１を模式的に示す。
【００３７】
タイル選択部１３０は、色濃度および各フラグの重み付けＣ１、Ｃ２（ただし、Ｃ１＋Ｃ２＝１）を設定する（Ｓ６００）。ここで各フラグはそれぞれの画像の重要度を数値化した特徴量である。当該重み付けの初期値は予め設定されて、記憶部１５０に格納されている。重み付けはユーザが変更できる。重み付けの設定により、色濃度の重み付けを大きくしてモザイク画像を見栄えよくするか、各フラグの重み付けを大きくしてモザイク画像における重要な位置に、重要なタイル画像が嵌め込まれることを優先するか、を設定することができる。
【００３８】
タイル選択部１３０は、分割領域Ａｉｊとタイル画像Ｂｋとの類似度Ｅを算出する（Ｓ６１０）。この場合にタイル選択部１３０はまず、記憶部１５０に格納されている分割領域Ａｉｊの色濃度（Ｒｉｊ、Ｇｉｊ、Ｂｉｊ）および各フラグＦ１、Ｆ２を読み出す。同様にタイル選択部１３０は、タイル画像Ｂｋの色濃度（Ｒｋ、Ｇｋ、Ｂｋ）および各フラグＦ３、Ｆ４、Ｆ５を読み出す。さらにタイル選択部１３０はそれらの間の、下記に示される平均二乗誤差を類似度Ｅとして算出する。
Ｅ＝Ｃ１×｛（Ｒｉｊ−Ｒｋ）２＋（Ｇｉｊ−Ｇｋ）２＋（Ｂｉｊ−Ｂｋ）２｝
＋Ｃ２×｛（Ｆ１＋Ｆ２）／２−（Ｆ３＋Ｆ４＋Ｆ５）／３｝２
これにより、分割領域Ａｉｊの色濃度および各フラグとタイル画像Ｂｋの色濃度および各フラグとが近いほど類似度Ｅの値は小さくなる。なお、タイル選択部１３０は、分割領域Ａｉｊが主要被写体に属する場合にＣ２が大きくなるように重み付けを変えてもよい。
【００３９】
タイル選択部１３０は、分割領域Ａｉｊとタイル画像Ｂｋとの類似度Ｅが予め定められた閾値よりも小さい場合に（Ｓ６２０：Ｙｅｓ）、当該タイル画像Ｂｋを位置ｉｊに対応付ける（Ｓ６３０）。一方、タイル選択部１３０は、分割領域Ａｉｊとタイル画像Ｂｋとの類似度Ｅが予め定められた閾値よりも大きい場合に（Ｓ６２０：Ｎｏ）、他のタイル画像Ｂｋ'でステップＳ６１０およびＳ６２０の動作を繰り返す（Ｓ６４０：Ｎｏ）。類似度Ｅの閾値は予め設定されて、記憶部１５０に格納されているが、ユーザにより変更できてもよい。
【００４０】
分割領域Ａｉｊに対して類似度Ｅが閾値よりも小さくなるタイル画像Ｂｋがあった場合（Ｓ６３０）、および、当該分割領域Ａｉｊに対していずれのタイル画像Ｂｋも類似度Ｅが閾値よりも小さくならなかった場合に（Ｓ６４０：Ｙｅｓ）、タイル選択部１３０は、次の分割領域Ａｉ'ｊ'に対して、ステップＳ６１０からＳ６４０を実行する（Ｓ６５０：Ｎｏ）。すべての分割領域Ａｉｊに対してステップＳ６１０からＳ６４０を実行した場合に（Ｓ６５０：Ｙｅｓ）、タイル選択部１３０は、ステップＳ６６０に進む。
【００４１】
ステップＳ６６０において、タイル選択部１３０は、ステップＳ６３０で選択したタイル画像Ｂｋをその対応する位置ｉｊに嵌め込むことにより初期モザイク画像Ｗ０を作成し（Ｓ６６０）、画像表示装置等に出力する（Ｓ６７０）。ステップＳ６４０において、分割領域Ａｉｊに対していずれのタイル画像Ｂｋも類似度Ｅが閾値よりも小さくならなかった場合を許容しているので、その場合には位置ｉｊに対して嵌め込むタイル画像Ｂｋが存在しない。その場合にタイル選択部１３０はダミー画像Ｚを嵌め込む。ダミー画像Ｚの一例は、真白または真黒のベタ塗りの画像である。
【００４２】
この場合にタイル選択部１３０は、初期モザイク画像Ｗ０を、タイル画像Ｂｋおよびダミー画像Ｚを嵌め込んだ一枚の画像に合成したＪＰＥＧ等の画像ファイルにして出力する。これに代えてタイル選択部１３０は、タイル選択部１３０は、タイル画像Ｂｋおよびダミー画像Ｚ自体と、それぞれが嵌め込まれるべき位置情報が記載されたリスト等とを含む専用のフォーマットのファイルで出力してもよい。
【００４３】
図９に示す例において、位置ｉｊにはタイル画像Ｂｋが嵌め込まれている。また、位置ｉ'ｊ'には黒塗りのダミー画像Ｚが配されている。
【００４４】
さら重畳表示部１４０は、初期モザイク画像Ｗ０を補正して補正モザイク画像Ｗ１を生成し（Ｓ６８０）、画像表示装置等に出力する（Ｓ６９０）。ステップＳ６８０およびＳ６９０はステップＳ６７０の後に自動的に実行してもよいし、ユーザからの入力があった場合に実行してもよい。また、補正モザイク画像Ｗ１の出力フォーマットは上記初期モザイク画像Ｗ０の出力フォーマットと同様である。
【００４５】
Ｓ６８０において、重畳表示部１４０は、タイル画像Ｂｋと分割領域Ａｉｊとを重畳して表示する。この場合に、重畳表示部１４０は、分割領域Ａｉｊの重要度に基づいて、タイル画像Ｂｋ分割領域Ａｉｊとの重畳の比率Ｃａ、Ｃｂ（ただし、Ｃａ＋Ｃｂ＝１）を決める。例えば重畳表示部１４０は、タイル画像Ｂｋの嵌め込まれる位置ｉｊが対象画像Ａの主要被写体に属している場合のタイル画像Ｂｋの重畳の比率Ｃａを、主要被写体に属していない場合のタイル画像Ｂｋ'の重畳の比率Ｃａ'よりも大きく設定する。これにより、補正モザイク画像Ｗ１において主要被写体に対応する領域におけるタイル画像Ｂｋがよりはっきり見えるので、ユーザの目を引くことができる。
【００４６】
Ｓ６８０において、さらに重畳表示部１４０は、ダミー画像Ｚが嵌め込まれている位置ｉｊに対して、いずれかのタイル画像Ｂｋの色濃度を変更した補正タイル画像Ｂ'ｋを嵌め込む。その場合のタイル画像Ｂｋは、いずれの分割領域Ａｉｊに対しても選ばれなかったものでもよいし、フラグＦ３、Ｆ４、Ｆ５の平均値が高いほうから選んでもよい。重畳表示部１４０は、選んだタイル画像Ｂｋの色濃度が、上記分割領域Ａｉｊの色濃度と一致するように色濃度を変更して補正タイル画像Ｂ'ｋを生成する。例えば、重畳表示部１４０は、タイル画像Ｂｋの各ドットの赤色に差分（Ｒｉｊ−Ｒｋ）を一律に加算して補正タイル画像Ｂ'ｋの当該ドットの赤色とする。重畳表示部１４０は、緑色および青色に対しても同様に補正する。これにより、ダミー画像Ｚを用いることがなくなり、補正モザイク画像Ｗ１の見栄えをよくすることができる。
【００４７】
図１０に示す例において、位置ｉｊには比率Ｃａ、Ｃｂで分割領域Ａｉｊおよびタイル画像Ｂｋが重畳されている。また、位置ｉ'ｊ'には、初期モザイク画像Ｗ０ではダミー画像Ｚであったものが、これに代えて、比率Ｃａ'、Ｃｂ'で分割領域Ａｉｊおよび補正タイル画像Ｂｋ'が重畳されている。以上によりステップＳ６０の動作が終了する。
【００４８】
以上、本実施形態によれば、動画Ｂに基づいてモザイク画像を生成することができる。また、分割領域Ａｉｊおよびタイル画像Ｂｋのそれぞれが主要被写体であるかどうか等の重要度を特徴量として類似度を判断するので、モザイク画像における重要な部分に、タイル画像としても重要な画像を嵌め込むことで、ユーザの目を惹くことができる。また、いずれのタイル画像Ｂｋも選択されなかった分割領域Ａｉｊに対して補正タイル画像Ｂｋ'を生成して嵌め込むことにより、モザイク画像の見栄えをよくすることができる。
【００４９】
なお、上記ステップＳ６２０からＳ６４０において、タイル画像Ｂｋのｋが小さいほうから順にみて、類似度Ｅが閾値以下となるものがあったら当該タイル画像Ｂｋを選択しているが、タイル画像Ｂｋの選択の方法はこれに限られない。例えば、タイル選択部１３０は、一の分割領域Ａｉｊに対して全てのタイル画像Ｂｋとの類似度Ｅを算出しておき、閾値以下となるものが複数あった場合に、そのうち最も小さい値となるタイル画像Ｂｋを選択してもよい。それに代えてタイル選択部１３０は、一の分割領域Ａｉｊについてタイル画像Ｂｋのｋが小さいほうから順にみて、類似度Ｅが閾値以下となるものがあったら当該タイル画像Ｂｋを選択し、次の分割領域Ａｉ'ｊ'に対しては、選択されたタイル画像Ｂｋの次のタイル画像Ｂｋ＋１から順にみていってもよい。これらにより、同じタイル画像Ｂｋばかりが繰り返し選択されることを防ぐことができる。
【００５０】
また、図１から図１０に示す実施形態において、色濃度の類似度に代えてまたは加えて、輪郭パターンの類似度を判断してもよい。この場合に、輪郭パターンは、画像の空間的な微分によって得られた線分を、水平線、垂直線、斜線等の予められたパターンに分類することにより取得してもよい。また、上記実施形態においてはタイル画像Ｂｋが動画Ｂから生成されたもののみを使っているが、これに加えて、もともと静止画だった画像から生成したタイル画像が混在していてもよい。
【００５１】
図１１は、撮像装置３０の機能ブロックを模式的に示した。撮像装置３０は、例えば動画を撮像することができるデジタルカメラであって、さらに上記モザイク画像生成装置１０と同じ機能を有するモザイク画像生成部１４を備える。例えば、モザイク画像生成部１４は、図１の対象特徴量算出部１００、タイル生成部１１０、タイル特徴量算出部１２０、タイル選択部１３０および重畳表示部１４０を有する。
【００５２】
図１１の撮像装置３０は、像光が入力される光学系２００、当該光学系２００から入力される像光を電気的信号に変換して出力する撮像素子２１０、および、撮像素子２２０からの出力に基づいて画像処理をする画像処理部２２０を有する。さらに、撮像装置３０は、撮像した画像およびメニュー等を表示するＴＦＴ液晶表示部２３２、動画開始ボタンおよびタイル画像生成指示ボタン等のスイッチ２４２を有する。また撮像装置３０は各種の記憶装置、例えば、ハードディスクドライブ２６０（以下、ＨＤＤと記載する）、ＦＬＡＳＨメモリ２６２、ＳＤカード２６２、ＳＤＲＡＭ２６６を有する。これらの記憶装置は、図１における記憶部１５０としても機能する。
【００５３】
画像処理部２２０は、撮像素子２１０からのデータを受信する撮像素子データ受信部２２２、露出、合焦等の評価値を演算するＡＥ等評価値演算部２２４、撮像素子２１０からの出力をＹＵＶ形式等の画像として生成する画像処理演算部２２６、当該ＹＵＶ形式等をＪＰＥＧ等に変換する画像コーデック部２２８を有する。さらに画像処理部２２０は、各種のコントローラ、例えば、ＴＦＴ液晶表示部２３２にデータを出力するＴＦＴ液晶データ出力部２３０、スイッチ２４２の操作を検出するスイッチ検出部２４０を有する。画像処理部２２０はさらに、上記ＨＤＤ２６０、ＦＬＡＳＨメモリ２６２、ＳＤカード２６４、ＳＤＲＡＭ２６６をそれぞれ制御する、ＨＤＤコントローラ２５０、ＦＬＡＳＨコントローラ２５２、ＳＤカードＩＦ制御部２５４、ＳＤＲＡＭコントローラ２５６を有する。
【００５４】
画像処理部２２０は、ユーザから動画開始ボタンによる録画の指示が入力されてから終了の指示が入力されるまでの動画を一つの動画ファイルとして生成し、上記いずれかの記憶装置に記憶する。動画処理部２２０は、動画ファイルを生成した旨の信号をモザイク画像生成部１４に出力する。
【００５５】
動画ファイルが生成された旨の信号が入力されると、モザイク画像生成装部１４のタイル生成部１１０は、上記ステップＳ４０を実行して動画ファイルの動画Ｂから複数のタイル画像Ｂｋを生成する。タイル生成部１１０は、当該タイル画像Ｂｋを上記記憶装置に保存する。この場合にタイル生成部１１０は、当該タイル画像Ｂｋを動画ファイル内に格納する。
【００５６】
スイッチ２４２からの入力によりモザイク画像生成指示ボタンの操作が検知されて、タイル画像を生成すべき動画として当該動画Ｂが選択された場合に、モザイク画像生成部１４のタイル生成部１１０は、上記ステップＳ４０の動作に先立って、動画ファイル内にタイル画像Ｂｋが格納されているかどうかを判断する。当該動画ファイル内にタイル画像Ｂｋが格納されている場合に、タイル生成部１１０は当該タイル画像Ｂｋを読み出して、タイル特徴量算出部１２０に出力する。これにより、上記ステップＳ４０の動作をスキップすることができる。
【００５７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００５８】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００５９】
Ａ  対象画像、Ａｉｊ  分割領域、Ｂ  動画、Ｂｋ  タイル画像、Ｂ'ｋ  補正タイル画像、W０  初期モザイク画像、W１  補正モザイク画像、１０  モザイク画像生成装置、１２  ＣＤ−ＲＯＭ、１４  モザイク画像生成部、２０  撮像部、３０  撮像装置、１００  対象特徴量算出部、１１０  タイル生成部、１２０  タイル特徴量算出部、１３０  タイル選択部、１４０  重畳表示部、１５０  記憶部、２００  光学系、２１０  撮像素子、２２０  動画処理部、２２２  撮像素子データ受信部、２２４  ＡＥ等評価値演算部、２２６  画像処理演算部、２２８  画像コーデック部、２３０  ＴＦＴ液晶データ出力部、２４０  スイッチ検出部、２４２  スイッチ、２５０  ＨＤＤコントローラ、２５２  ＦＬＡＳＨコントローラ、２５４  ＳＤカードＩＦ制御部、２５６  ＳＤＲＡＭコントローラ、２６０  ハードディスクドライブ、２６２  ＦＬＡＳＨメモリ、２６４  ＳＤカード、２６６  ＳＤＲＡＭ
【図１】
2012137958.tif 000003
【図２】
2012137958.tif 000004
【図３】
2012137958.tif 000005
【図４】
2012137958.tif 000006
【図５】
2012137958.tif 000007
【図６】
2012137958.tif 000008
【図７】
2012137958.tif 000009
【図８】
2012137958.tif 000010
【図９】
2012137958.tif 000011
【図１０】
2012137958.tif 000012
【図１１】
2012137958.tif 000013