(57)【要約】【課題】撮影時の情景を短時間で思い出すことを手助けする映像コンテンツを、簡易な操作で作成する。【解決手段】検索対象に属する画像の各々について、特定の被写体の数が０であるか否かを判断し、特定の被写体の数が０である場合はその画像を背景画像とし、特定の被写体の数が０でない場合はその画像から被写体を含む領域を抽出し、被写体切り抜き画像とする。背景画像の動きベクトルｖ１、被写体切り抜き画像の動きベクトルｖ２の指定をキーボード５７やマウス５６から受け付け、ｖ１・ｖ２に従い、各動画フレームにおける背景画像および被写体切り抜き画像の位置を決定し、各動画フレームにおいて両者を合成する。その際、被写体切り抜き画像が上位の層に配置される。そして、作成された動画フレームを、時系列順に並べ、これらを結合し、動画像データを作成する。  【選択図】  図３
2008187256.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つの静止画データを用いて動画データを作成する画像作成装置であって、
前記動画データの素材となるべき静止画データの検索対象範囲を指定する指定部と、
前記指定部が指定した検索対象範囲に属する各静止画データから、特定の被写体の数を検出する検出部と、
前記検出部が、前記特定の被写体の数が零であると判断した静止画データの集合から、第１の画像を選択する第１画像選択部と、
前記検出部が、前記特定の被写体の数が１以上であると判断した静止画データの集合から、第２の画像を選択する第２画像選択部と、
前記第２画像選択部が選択した前記第２の画像から、前記特定の被写体を含む領域を抽出することで、第３の画像を作成する第３の画像作成部と、
任意に指定された再生時間およびフレームレートに応じた個数の動画フレームを作成する動画フレーム作成部と、
任意に指定された第１の動きベクトルに従い、前記第１の画像を前記動画フレーム作成部の作成した各動画フレームに配置する第１配置部と、
任意に指定された第２の動きベクトルに従い、前記第３の画像を前記動画フレーム作成部の作成した各動画フレームに配置する第３配置部と、
前記各動画フレームに配置された第１の画像および第３の画像を、前記第３の画像が上位の層となるよう合成し、動画フレームデータを作成する動画フレームデータ作成部と、
前記動画フレームデータ作成部の作成した各動画フレームデータを時系列順に連結することで動画データを作成する動画データ作成部と、
を備える動画作成装置。
【請求項２】
少なくとも２つの静止画データを用いて動画データを作成する画像作成方法であって、
前記動画データの素材となるべき静止画データの検索対象範囲を指定するステップと、
指定された検索対象範囲に属する各静止画データから、特定の被写体の数を検出するステップと、
前記特定の被写体の数が零であると判断した静止画データの集合から、第１の画像を選択するステップと、
前記特定の被写体の数が１以上であると判断した静止画データの集合から、第２の画像を選択するステップと、
前記第２の画像から、前記特定の被写体を含む領域を抽出することで、第３の画像を作成するステップと、
任意に指定された再生時間およびフレームレートに応じた個数の動画フレームを作成するステップと、
任意に指定された第１の動きベクトルに従い、前記第１の画像を前記各動画フレームに配置するステップと、
任意に指定された第２の動きベクトルに従い、前記第３の画像を前記各動画フレームに配置するステップと、
前記各動画フレームに配置された第１の画像および第３の画像を、前記第３の画像が上位の層となるよう合成し、動画フレームデータを作成するステップと、
作成された各動画フレームデータを時系列順に連結することで動画データを作成するステップと、
を含む動画作成方法。
【請求項３】
請求項２の動画作成方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像から動画像を作成する技術に関する。
【背景技術】
【０００２】
撮影画像から被写体部分を抜き出し、他の画像上に合成して再生表示やプリントする技術が存在する。
【０００３】
特許文献１では、予め用意されたテンプレート画像上の設定された位置に撮影画像の被写体部分を合成しプリントする。
【０００４】
特許文献２では、選択された背景画像に設定された複数の合成位置、角度、大きさに従い、複数の合成画像を作成し、利用者に表示する。
【０００５】
特許文献３では、カメラ上で選択した画像の一部分を切り取って空白部分を設け、その空白部分に撮影画像などを合成して記録する。
【０００６】
特許文献４では、テンプレート画像上にキャラクタレイアウトを設定し、そのレイアウトと近い配置を持つ被写体画像を自動で選択し合成出力する。
【０００７】
特許文献５では、有名人の顔やプロフィール情報をデータベースに登録しておき、撮影画像の被写体に近い有名人を抽出し、その有名人に関連した背景画像と利用者の顔画像を合成プリントする。
【０００８】
特許文献６では、背景画像と被写体画像との間の差異を抑制するように境界上の画素の色調を変更し、ぼかす。
【０００９】
特許文献７では、被写体画像の肌色や服の色を解析し、その解析結果に応じて背景画像を選択する。被写体部分の写りが映える合成結果を得ることを可能としている。
【特許文献１】特開平６−１５３８２号公報
【特許文献２】特開２０００−２６１７２２号公報
【特許文献３】特開２００１−４５３４６号公報
【特許文献４】特開２００４−３０２９３９号公報
【特許文献５】特開２００５−２４２４３３号公報
【特許文献６】特開２０００−２０９４２５号公報
【特許文献７】特開２００３−１６３８０３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特許文献１・２は、予め用意されたテンプレート画像しか利用できず、合成結果に面白みがない。また、被写体部分に隠れてしまった背景部分を見ることはできない。
【００１１】
特許文献３は、背景画像を選択する行為と切り抜き位置を指定する行為が必要であり、合成データを容易に得ることができず不便である。また、被写体部分に隠れてしまった背景部分を見ることはできない。
【００１２】
特許文献４は、被写体のレイアウト位置からのみテンプレート画像が自動で採用され、操作が簡単で優れているが、被写体部分に隠れてしまった背景部分を見ることはできない。また、レイアウト位置に依存したテンプレートとなるため、背景画像の選択という面では汎用性に欠けている。
【００１３】
特許文献５は、被写体に類似する有名人画像を基準とした背景画像が自動で選択され、操作が簡単で優れているが、被写体部分に隠れてしまった背景部分を見ることはできない。
【００１４】
特許文献６は、被写体と背景画像の境界付近を画像処理により滑らかにつなぐために、より自然な合成結果を得ることを可能としているが、被写体部分に隠れてしまった背景部分を見ることはできない。また、数多くの画像データから被写体画像か背景画像かを判断した上で、それぞれ１枚ずつ選択しなければならず不便である。
【００１５】
特許文献７は、肌の色や服の色に依存して背景画を自動的に選択することにより、被写体部分の写りが映える合成結果を得ることを可能としているが、合成後の被写体部分に隠れてしまった背景部分を見ることはできない。また、背景画像の選択という面では、被写体の色に依存して自動で決定するため、汎用性に欠ける。
【００１６】
本発明は、撮影時の情景を短時間で思い出すことを手助けする映像コンテンツを、簡易な操作で作成することを目的とする。具体的には、被写体画像と背景画像を合成する際、被写体画像と背景画像を自動選別することにより簡易な素材選択を可能にし、かつ被写体画像により隠れてしまった背景画像を閲覧可能なデータを作成することを目的とする。
【課題を解決するための手段】
【００１７】
本発明は、少なくとも２つの静止画データを用いて動画データを作成する画像作成装置であって、動画データの素材となるべき静止画データの検索対象範囲を指定する指定部と、指定部が指定した検索対象範囲に属する各静止画データから、特定の被写体の数を検出する検出部と、検出部が、特定の被写体の数が零であると判断した静止画データの集合から、第１の画像を選択する第１画像選択部と、検出部が、特定の被写体の数が１以上であると判断した静止画データの集合から、第２の画像を選択する第２画像選択部と、第２画像選択部が選択した第２の画像から、特定の被写体を含む領域を抽出することで、第３の画像を作成する第３の画像作成部と、任意に指定された再生時間およびフレームレートに応じた個数の動画フレームを作成する動画フレーム作成部と、任意に指定された第１の動きベクトルに従い、第１の画像を動画フレーム作成部の作成した各動画フレームに配置する第１配置部と、任意に指定された第２の動きベクトルに従い、第３の画像を動画フレーム作成部の作成した各動画フレームに配置する第３配置部と、各動画フレームに配置された第１の画像および第３の画像を、第３の画像が上位の層となるよう合成し、動画フレームデータを作成する動画フレームデータ作成部と、動画フレームデータ作成部の作成した各動画フレームデータを時系列順に連結することで動画データを作成する動画データ作成部と、を備える。
【００１８】
この発明によると、特定の被写体を含む領域（第３の画像）が、背景画（第１の画像）の上位に配置されたフレームからなる動画データを作成することができる。この動画データを再生すると、背景データと被写体データがそれぞれ第１の動きベクトルおよび第２の動きベクトルに従って動くことで同時に再生される。被写体データは背景データの上位層にあるが、該動きベクトルに従って第３の画像と第１の画像が離隔していけば、被写体に隠れた部分の背景画を見ることができるようになるから、撮影時の情景をより深く思い出すことができる。
【００１９】
本発明は、少なくとも２つの静止画データを用いて動画データを作成する画像作成方法であって、動画データの素材となるべき静止画データの検索対象範囲を指定するステップと、指定された検索対象範囲に属する各静止画データから、特定の被写体の数を検出するステップと、特定の被写体の数が零であると判断した静止画データの集合から、第１の画像を選択するステップと、特定の被写体の数が１以上であると判断した静止画データの集合から、第２の画像を選択するステップと、第２の画像から、特定の被写体を含む領域を抽出することで、第３の画像を作成するステップと、任意に指定された再生時間およびフレームレートに応じた個数の動画フレームを作成するステップと、任意に指定された第１の動きベクトルに従い、第１の画像を各動画フレームに配置するステップと、任意に指定された第２の動きベクトルに従い、第３の画像を各動画フレームに配置するステップと、各動画フレームに配置された第１の画像および第３の画像を、第３の画像が上位の層となるよう合成し、動画フレームデータを作成するステップと、作成された各動画フレームデータを時系列順に連結することで動画データを作成するステップと、を含む。
【００２０】
上記の動画作成方法をコンピュータに実行させるプログラムも本発明に含まれる。
【発明の効果】
【００２１】
この発明によると、特定の被写体を含む領域（第３の画像）が、背景画（第１の画像）の上位に配置されたフレームからなる動画データを作成することができる。この動画データを再生すると、背景データと被写体データがそれぞれ第１の動きベクトルおよび第２の動きベクトルに従って動くことで同時に再生される。被写体データは背景データの上位層にあるが、該動きベクトルに従って第３の画像と第１の画像が離隔していけば、被写体に隠れた部分の背景画を見ることができるようになるから、撮影時の情景をより深く思い出すことができる。
【発明を実施するための最良の形態】
【００２２】
図１は本発明の好ましい実施形態に係る画像作成装置１のブロック構成図である。画像作成装置１は、プロセッサ５１と、各種操作を受け付けるキーボード５７やマウス５６と、液晶ディスプレイなどの表示装置５５と、表示装置５５への映像信号の供給を制御するグラフィック制御回路５４と、プロセッサ５１の実行するプログラムなどを不揮発的に記憶するＲＯＭ５２と、プロセッサ５１の使用データを一時的に格納するＲＡＭ５３と、プリンタ６０と、画像データなどの各種データを蓄積するＨＤＤ５８と、フロッピーディスク５９ａに対するデータ書き込みやデータ読み出しを行うＦＤＤ５９を備えている。
【００２３】
ＨＤＤ５８には、デジタルカメラやスキャナーなどの各種画像出力装置で撮像・生成・出力した複数の静止画像データ（以下単に「静止画」という）が記憶される。ＨＤＤ５８の静止画は、フロッピーディスク５９ａや図示しないＵＳＢポートなどを介してＨＤＤ５８に入力される。画像作成装置１は、静止画に基づいて動画を合成する装置であるが、各ユーザが個人的に使用するパソコンで構成可能である。
【００２４】
図２は、画像作成装置１の実行する画像処理の流れを示す。この処理の手順は、プロセッサ５１で実行可能なプログラムによって規定されており、かつ、このプログラムは、ＲＯＭ５２あるいはＨＤＤ５８に記憶されている。
【００２５】
まず、図２（ａ）に示すように、画像処理は、画像選択処理（Ａ１）および画像合成処理（Ａ２）を含んでいる。図２（ｂ）に示すように、画像選択処理は、処理ステップＳ１〜Ｓ１１を含んでいる。また図２（ｃ）に示すように、画像合成処理は、処理ステップＳ２１〜Ｓ３２を含んでいる。
【００２６】
まず、図２（ｂ）に基づき、画像選択処理の内容を説明する。
【００２７】
Ｓ１では、ＨＤＤ５８に格納された静止画のうち、動画像合成の素材となりうる静止画の範囲（検索対象）の指定をキーボード５７やマウス５６から受け付ける。検索対象の指定は、フリーキーワードのようにユーザの指定に完全に依存する属性に応じてもよいし、格納フォルダ名や撮影日時など、ある程度幅のあるグループに応じてもよい。
【００２８】
図３（ａ）に例示するように、検索対象は、様々な内容を記録した静止画の一群である。
【００２９】
Ｓ２では、指定された検索対象に適合する静止画を、ＨＤＤ５８から抽出し、抽出した画像に連番を付する。その順序は、例えば撮影日付順に基づく。そして、Ｌ＝抽出した静止画の数とする。またＩ＝０とする。
【００３０】
Ｓ３では、Ｉ＜Ｌであるか否かを判断する。Ｉ＜Ｌである場合はＳ４、Ｉ＜Ｌでない場合はＳ９に進む。
【００３１】
Ｓ４では、Ｉ番目の画像から、特定の被写体の数を検出する。特定の被写体とは、人物の顔やその他の物体である。特定の被写体が顔である場合は、各種の顔検出技術を用いて、顔を検出する。具体的には、例えば、複数の顔データを予めＨＤＤ５８に登録しておき、それらの顔データと静止画とのパターンマッチングの結果に応じて検出する。あるいは、目、鼻、口といった顔を構成するオブジェクトの位置および形状に関するデータを登録しておき、それらのオブジェクトデータと静止画とのパターンマッチングの結果に応じて検出してもよい。
【００３２】
Ｓ５では、Ｓ４で抽出された特定の被写体の数が０であるか否かを判断する。特定の被写体の数が０である場合はＳ６、特定の被写体の数が０でない場合はＳ７に進む。
【００３３】
図３（ｂ）は特定の被写体である「人物」および「ウェディングケーキ」の数が０である静止画、図３（ｃ）は特定の被写体の数が０でない静止画を例示している。
【００３４】
Ｓ６では、動画中の「背景」を構成すべき素材を格納するＲＡＭ５３あるいはＨＤＤ５８の領域である「背景キュー」に、Ｉ番目の画像を追加する。
【００３５】
Ｓ７では、動画中の「被写体」を構成すべき素材を格納するＲＡＭ５３あるいはＨＤＤ５８の領域である「被写体キュー」に、Ｉ番目の画像を追加する。
【００３６】
Ｓ９では、背景キュー内から、「背景」を構成する素材を１つ選択し、これを背景画像とする。
【００３７】
Ｓ１０では、背景キュー内から、「被写体」を構成する素材を１つ選択する。
【００３８】
図３（ｄ）は「背景」を構成する素材として選択された静止画、図３（ｅ）は「被写体」を構成する素材として選択された静止画を例示している。
【００３９】
Ｓ１１では、「被写体」を構成する素材として選択された静止画から、Ｓ４で検出された特定の被写体部分を含む領域を抽出し、被写体切り抜き画像とする。この際、被写体領域のみを抽出してもよいし、被写体領域を包含する所定範囲の領域も合わせて抽出してもよい。また、抽出した領域の周辺などにボカシやマスキングなどの各種画像処理を行ってもよい。
【００４０】
次に、図２（ｃ）を参照し、画像合成処理の内容を説明する。
【００４１】
Ｓ２１では、Ｓ９で選択された背景画像を画像１、Ｓ１１で抽出された被写体切り抜き画像を画像２とする。
【００４２】
Ｓ２２では、合成すべき動画の総再生時間と動画のフレームレート（単位はｆｐｓ；frame per second）の指定をキーボード５７やマウス５６から受け付ける。
【００４３】
Ｓ２３では、動画のフレーム数Ｎを決定する。フレーム数Ｎは、作成する動画データの再生時間とフレームレートから決定する。例えば、３０ｆｐｓで３秒間の動画データであれば、Ｎ＝３０×３＝９０フレームと決定される。
【００４４】
Ｓ２４では、画像１の動きベクトルｖ１、画像２の動きベクトルｖ２の指定をキーボード５７やマウス５６から受け付ける。動きベクトルｖ１・ｖ２はそれぞれ、時系列順にならべられたＮ個のフレームからなる動画像の、各フレーム間における背景および被写体の動き方向および動き量を表し、かつ、動画再生の開始から終了までに背景および被写体が動く軌跡を表す。
【００４５】
動きベクトルｖ１・ｖ２は、マウス５６からのポインタ操作（各フレーム間での移動方向および単位時間あたりの移動量）から直接得てもよいし、予め想定される動画のテーマ（「結婚式」や「旅行」など）に沿った数種のベクトルのパターンデータをＨＤＤ５８に用意しておき、そのパターンの中からユーザが任意に選択するようにしてもよい。
【００４６】
ここで、被写体の後ろに隠れていた背景画像の部分を見ることが可能となるよう、動きベクトルｖ１とｖ２とは同一でなく、かつ、少なくとも一方は正であるとする。この条件を満たさない動きベクトルが指定された場合は、表示装置５５に警告を表示し、再指定を促してもよい。
【００４７】
Ｓ２５では、各フレームにおける背景の位置Ｐｏｓ１［０］，・・，Ｐｏｓ１［Ｎ−１］および被写体の位置Ｐｏｓ２［０］，・・，Ｐｏｓ２［Ｎ−１］を、それぞれ動きベクトルｖ１・ｖ２に基づいて決定する。Ｐｏｓ１［０］およびＰｏｓ２［０］はベクトルの始点（初期位置）であるため、ユーザが任意に指定してもよいし、所定のデフォルト位置に定めてもよい。
【００４８】
Ｓ２６では、Ｉ＝０とする。
【００４９】
Ｓ２７では、Ｉ＜Ｎであるか否かを判断する。Ｉ＜Ｎである場合はＳ２８、Ｉ＜Ｎでない場合はＳ３２に進む。
【００５０】
Ｓ２８では、Ｉ番目のフレームについて、背景画像をＰｏｓ１［Ｉ］に配置する。
【００５１】
Ｓ２９では、Ｉ番目のフレームについて、被写体切り抜き画像をＰｏｓ２［Ｉ］に配置する。そして、配置された位置を保った状態で、背景画像と被写体切り抜き画像の両者を合成する。この際、被写体切り抜き画像は、背景画像よりも上位層に配置して合成する。
【００５２】
Ｓ３０では、上記合成された画像に基づき、Ｉ番目のフレーム画像を作成する。
【００５３】
Ｓ３１では、Ｉを１インクリメントする（Ｉ＝Ｉ＋１）。そして、Ｓ２７に戻る。
【００５４】
Ｓ３２では、作成された動画フレームを、付与された番号に応じて時系列順に並べ、これらを結合し、動画像データを作成する。
【００５５】
図３（ｇ）は画像合成処理の結果得られた動画像データを表示装置５５で再生した様子を例示している。ここでは、背景画像の動きベクトルｖ１として右下方向のベクトルが、被写体切り抜き画像の動きベクトルｖ２として上方向のベクトルが指定されている。背景画像と被写体切り抜き画像が異なる方向へ移動することにより、時間経過するにつれ被写体切り抜き画像と背景画像の位置関係が変化するため、通常再生とは異なる印象を得ることができる。また、被写体切り抜き画像は背景画像よりも上位層にあるが、時間経過するにつれ、重なっていた被写体切り抜き画像と背景画像とが離隔し、隠れていた背景画像の部分を見ることが可能となる。
【００５６】
当然ながら、ベクトルは図示したものに限らない。例えば、「旅行」というテーマに関連したベクトルｖ２のパターンとして、被写体が乗り物に乗車しているように、左右に揺動するようなものを格納してもよい。
【００５７】
なお、抽出する被写体の数は複数でも単数でもよく、少なくとも１つあればよい。被写体が複数抽出された場合は、抽出された個々の被写体と背景との全ての組合せについて、それぞれ個別に動画データを作成してもよい。
【図面の簡単な説明】
【００５８】
【図１】画像作成装置のブロック図
【図２】画像処理のフローチャート
【図３】処理対象の静止画および処理後の動画を例示する図
【符号の説明】
【００５９】
５１：プロセッサ、５２：ＲＯＭ、５３：ＲＡＭ、５６：マウス、５７：キーボード、５８：ＨＤＤ
【図１】
2008187256.tif 000003
【図２】
2008187256.tif 000004
【図３】
2008187256.tif 000005