(57)【要約】      （修正有）【課題】異なる動画を連続して再生する動画を容易に作成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】映像・音声信号記録部で記録された動画データは、例えばＭＰＥＧ−７形式で作成され、動画データのフレームに対応するフレーム画像データと、フレーム画像データごとに生成され、各フレーム画像データから抽出された画像中の色、形等の特徴量を格納するメタデータを含む。映像・音声信号編集部１８は、編集指示制御部１４からの操作入力に基づいて、映像・音声信号記録部１６に記録された動画データの中から動画データを選択し、合成等の編集処理を行う。メタデータ読み込み部２０は、編集指示制御部１４からの操作入力に基づいて選択された動画データからメタデータを読み込み、読み込んだメタデータを解析する。動画自動合成部２２は、動画を自動合成する。【選択図】図１
2007184869.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択手段と、
前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得手段と、
前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定手段と、
前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像取得手段は、前記画像及び前記画像の色特徴情報を記録したメタデータを取得し、
前記色特徴情報取得手段は、前記メタデータから前記画像の色特徴情報を取得することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定手段を更に備え、
前記色特徴情報取得手段は、前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得し、
前記媒介色決定手段は、前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定し、
前記動画像生成手段は、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成することを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定手段を更に備え、
前記色特徴情報取得手段は、前記１の接続フレームの色特徴情報を取得し、
前記媒介色決定手段は、前記第１の接続フレームの色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定し、
前記動画像生成手段は、前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択し、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成することを特徴とする請求項１又は２記載の画像処理装置。
【請求項５】
前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする請求項１から４のいずれか１項記載の画像処理装置。
【請求項６】
前記動画像生成手段は、前記第２のトランジション処理として、エッジワイプトランジションエフェクト、アイリスワイプトランジションエフェクト、クロックワイプトランジションエフェクト、マトリックスワイプトランジションエフェクト、フェードトランジションエフェクト、プッシュトランジションエフェクト又はスライドトランジションエフェクトのうち少なくとも１つのトランジション処理を施すことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記媒介色決定手段は、前記第１の画像又は第２の画像又は主要被写体領域において出現頻度が高い代表色、空間的集中度が高い色のうち少なくとも一方を媒介色とすることを特徴とする請求項１から６のいずれか１項記載の画像処理装置。
【請求項８】
画像を取得する画像取得工程と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、
前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得工程と、
前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定工程と、
前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程と、
を備えることを特徴とする画像処理方法。
【請求項９】
画像を取得する画像取得工程と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定工程と、
前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得する色特徴情報取得工程と、
前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定工程と、
前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する工程と、
前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程と、
を備えることを特徴とする画像処理方法。
【請求項１０】
画像を取得する画像取得工程と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定工程と、
前記１の接続フレームの色特徴情報を取得する色特徴情報取得工程と、
前記第１の接続フレームの色特徴情報に基づいて画像を合成する際の媒介色を決定する媒介色決定工程と、
前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択する工程と、
前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する工程と、
前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程と、
を備えることを特徴とする画像処理方法。
【請求項１１】
前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする請求項８から１０のいずれか１項記載の画像処理方法。
【請求項１２】
画像を取得する画像取得機能と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、
前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得機能と、
前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定機能と、
前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。
【請求項１３】
画像を取得する画像取得機能と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定機能と、
前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得する色特徴情報取得機能と、
前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定機能と、
前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する機能と、
前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。
【請求項１４】
画像を取得する画像取得機能と、
前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、
前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定機能と、
前記１の接続フレームの色特徴情報を取得する色特徴情報取得機能と、
前記第１の接続フレームの色特徴情報に基づいて画像を合成する際の媒介色を決定する媒介色決定機能と、
前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択する機能と、
前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する機能と、
前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能と、
をコンピュータに実現させることを特徴とする画像処理プログラム。
【請求項１５】
前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする請求項１２から１４のいずれか１項記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及び画像処理プログラムに係り、特に画像を編集、合成する技術に関する。
【背景技術】
【０００２】
従来、画像の色相、彩度又は明度の情報を用いて映像を分類する映像特徴処理方法について開示されている（特許文献１）。
【特許文献１】特開平６−２５１１４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
動画を合成する場合に、画像中の色を媒介として異なる場面同士をつなぐという映像表現が用いられることがある。例えば、動画中の赤い色の花にズームインしていき、画面全体がほぼ赤一色になったところで、別の赤一色の動画に切り替わり、ズームアウトしていくと、赤い自動車が現れるというような映像表現である。このような映像表現を利用して異なる動画を合成して、連続して再生する動画を作成する場合には、まず、近似した色の被写体を含む動画を２つ用意し、次に、上記の２つの動画中の近似した色を媒介として動画を編集してつなぎ合わせる、という一連の処理を手動で行う必要があり、上記のような処理には、高度な動画編集操作に習熟している必要である。このため、一般のユーザがデジタルカメラ等を用いて撮影した動画を趣味の範囲で編集して上記のような動画を作成するのは困難であった。
【０００４】
本発明はこのような事情に鑑みてなされたもので、異なる動画を連続して再生する動画を容易に作成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために請求項１に係る画像処理装置は、画像を取得する画像取得手段と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択手段と、前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得手段と、前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定手段と、前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成手段とを備えることを特徴とする。
【０００６】
請求項１によれば、撮像した画像や記録媒体に記録された画像の中から合成する第１、第２の画像を選択するだけで、第１、第２の画像の色特徴情報に基づいて、第１、第２の画像を自動的に合成することができる。
【０００７】
請求項２に係る画像処理装置は、請求項１において、前記画像取得手段は、前記画像及び前記画像の色特徴情報を記録したメタデータを取得し、前記色特徴情報取得手段は、前記メタデータから前記画像の色特徴情報を取得することを特徴とする。
【０００８】
請求項２に係る画像処理装置によれば、例えば、ＭＰＥＧ−７形式等によって記述されたメタデータから画像の色特徴情報を取得することができる。
【０００９】
請求項３に係る画像処理装置は、請求項１又は２において、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定手段を更に備え、前記色特徴情報取得手段は、前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得し、前記媒介色決定手段は、前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定し、前記動画像生成手段は、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成することを特徴とする。
【００１０】
請求項３に係る画像処理装置によれば、第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、ユーザからの操作入力により第１、第２の画像からそれぞれ選択された第１、第２の接続フレームを、第１、第２の接続フレームの色特徴情報に基づいて、第１、第２の画像を自動的に合成することができる。
【００１１】
請求項４に係る画像処理装置は、請求項１又は２において、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定手段を更に備え、前記色特徴情報取得手段は、前記１の接続フレームの色特徴情報を取得し、前記媒介色決定手段は、前記第１の接続フレームの色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定し、前記動画像生成手段は、前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択し、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成することを特徴とする。
【００１２】
請求項４に係る画像処理装置によれば、第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、ユーザからの操作入力により第１の画像から選択された第１の接続フレームの色特徴情報に基づいて、第２の画像から第２の接続フレームを選択することにより、第１、第２の画像を自動的に合成することができる。
【００１３】
請求項５に係る画像処理装置は、請求項１から４において、前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする。
【００１４】
請求項５に係る画像処理装置によれば、第１、第２の画像から中の媒介色を用いて、画像が切り替えを違和感なく行うことができる。
【００１５】
請求項６に係る画像処理装置は、請求項５において、前記動画像生成手段は、前記第２のトランジション処理として、エッジワイプトランジションエフェクト、アイリスワイプトランジションエフェクト、クロックワイプトランジションエフェクト、マトリックスワイプトランジションエフェクト、フェードトランジションエフェクト、プッシュトランジションエフェクト又はスライドトランジションエフェクトのうち少なくとも１つのトランジション処理を施すことを特徴とする。
【００１６】
請求項６に係る画像処理装置に列挙したトランジション処理を用いることにより、場面の切り替え時において多様な表現方法を簡易な手段で選択することができる。
【００１７】
請求項７に係る画像処理装置は、請求項１から６において、前記媒介色決定手段は、前記第１の画像又は第２の画像又は主要被写体領域において出現頻度が高い代表色、空間的集中度が高い色のうち少なくとも一方を媒介色とすることを特徴とする。
【００１８】
請求項８に係る画像処理方法は、画像を取得する画像取得工程と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得工程と、前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定工程と、前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程とを備えることを特徴とする。
【００１９】
請求項９に係る画像処理方法は、画像を取得する画像取得工程と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定工程と、前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得する色特徴情報取得工程と、前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定工程と、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する工程と、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程とを備えることを特徴とする。
【００２０】
請求項１０に係る画像処理方法は、画像を取得する画像取得工程と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択工程と、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定工程と、前記１の接続フレームの色特徴情報を取得する色特徴情報取得工程と、前記第１の接続フレームの色特徴情報に基づいて画像を合成する際の媒介色を決定する媒介色決定工程と、前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択する工程と、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する工程と、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成工程とを備えることを特徴とする。
【００２１】
請求項１１に係る画像処理方法は、請求項８から１０において、前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする。
【００２２】
請求項１２に係る画像処理プログラムは、画像を取得する画像取得機能と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、前記第１の画像又は第２の画像の色特徴情報を取得する色特徴情報取得機能と、前記第１の画像又は第２の画像のうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定機能と、前記第１の画像及び第２の画像中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出し、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の画像と第２の画像とを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能とをコンピュータに実現させることを特徴とする。
【００２３】
請求項１３に係る画像処理プログラムは、画像を取得する画像取得機能と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像及び第２の画像から相互に接続する第１の接続フレーム及び第２の接続フレームをそれぞれ指定する接続フレーム指定機能と、前記１の接続フレーム及び第２の接続フレームの色特徴情報を取得する色特徴情報取得機能と、前記第１の接続フレーム又は第２の接続フレームのうち少なくとも一方の色特徴情報に基づいて、前記第１の画像と第２の画像とを合成する際の媒介色を決定する媒介色決定機能と、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する機能と、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能とをコンピュータに実現させることを特徴とする。
【００２４】
請求項１４に係る画像処理プログラムは、画像を取得する画像取得機能と、前記取得した画像の中から合成する第１の画像と第２の画像の選択の指示入力を受け付ける画像選択機能と、前記第１の画像又は第２の画像のうち少なくとも一方が動画像の場合に、前記第１の画像に含まれるフレームの中から第１の接続フレームを指定する接続フレーム指定機能と、前記１の接続フレームの色特徴情報を取得する色特徴情報取得機能と、前記第１の接続フレームの色特徴情報に基づいて画像を合成する際の媒介色を決定する媒介色決定機能と、前記第２の画像に含まれる各フレームの色特徴情報に基づいて前記第１の接続フレームに接続する第２の接続フレームを選択する機能と、前記第１の接続フレーム及び第２の接続フレーム中において前記媒介色又は前記媒介色に近似する色を含む第１の媒介色領域及び第２の媒介色領域をそれぞれ検出する機能と、前記第１の媒介色領域及び第２の媒介色領域を媒介として前記第１の接続フレームと第２の接続フレームとを接続するトランジション処理を施し、前記第１の画像と第２の画像とを合成して動画像を生成する動画像生成機能とをコンピュータに実現させることを特徴とする。
【００２５】
請求項１５に係る画像処理プログラムは、請求項１２から１４において、前記トランジション処理は、前記第１の媒介色領域にズームインする第１のトランジション処理と、画面が第１の媒介色領域により略覆われた段階で第２の媒介色領域のズームイン画像に切り替える第２のトランジション処理と、前記第２の媒介色領域からズームアウトすることにより場面を切り替える第３のトランジション処理を含むことを特徴とする。
【００２６】
本発明の請求項１２から１５に係る画像処理プログラムを、例えば、パーソナルコンピュータ（ＰＣ）や、ビデオ再生装置（ビデオデッキ、テレビ）、撮影装置（電子カメラ、デジタルカメラ）、携帯情報端末（ＰＤＡ）、携帯電話機、携帯フォトプレーヤー等の画像再生機能を有する装置に適用することにより、本発明に係る画像処理装置及び画像処理方法を実現することができる。
【発明の効果】
【００２７】
本発明によれば、撮像した画像や記録媒体に記録された画像の中から合成する第１、第２の画像を選択するだけで、第１、第２の画像の色特徴情報に基づいて、第１、第２の画像を自動的に合成することができる。
【発明を実施するための最良の形態】
【００２８】
以下、添付図面に従って本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの好ましい実施の形態について説明する。
【００２９】
図１は、本発明の一実施形態に係る画像処理装置の主要構成を示すブロック図である。図１に示すように、本実施形態の画像処理装置１０は、映像・音声出力部１２、編集指示制御部１４、映像・音声信号記録部１６、映像・音声信号編集部１８、メタデータ読み込み部２０及び動画自動合成部２２を備える。
【００３０】
映像・音声出力部１２は、動画を表示する表示部及び音声を出力するスピーカ等を備える。編集指示制御部１４は、画像処理装置１０のボタン類やリモコン等を含む操作用のユーザインターフェイス（ＵＩ）である。
【００３１】
映像・音声信号記録部１６は、例えば、ハードディスクドライブ（ＨＤＤ）やＤＶＤ等の記録装置であり、動画データを記録する。本実施形態では、動画データは、例えば、ＭＰＥＧ−７形式で作成され、動画データのフレームに対応するフレーム画像データＦ１−１、Ｆ１−２…と、フレーム画像データＦ１−１、Ｆ１−２…ごとに生成されるメタデータＭ１−１、Ｍ１−２…を含んでいる（図２等参照）。メタデータＭ１−１、Ｍ１−２…は、それぞれフレーム画像データＦ１−１、Ｆ１−２…から抽出された画像中の色、形等の特徴量を格納する。ここで、メタデータＭ１−１、Ｍ１−２…に格納される色の特徴量は、例えば、代表色（Dominant Color、画像中において出現頻度が高い色とその出現頻度、空間的集中度を記述したもの）、色構成比（Scalable Color、画像全体の色構成、各色の構成割合をヒストグラム形式で記述したもの）、色構造（Color Structure、画像全体の色構成をヒストグラム形式で記述したもので、周辺画素の色情報を取り込んだもの）、色分布（Color Layout、色の空間的な配置を記述したもの）である。
【００３２】
映像・音声信号編集部１８は、動画データの編集を行うブロックである。映像・音声信号編集部１８は、編集指示制御部１４からの操作入力に基づいて、映像・音声信号記録部１６に記録された動画データの中から動画データを選択し、合成等の編集処理を行う。
【００３３】
メタデータ読み込み部２０は、編集指示制御部１４からの操作入力に基づいて選択された動画データからメタデータを読み込み、読み込んだメタデータを解析する。動画自動合成部２２は、動画の自動合成機能を実行する。動画自動合成部２２によって合成された動画データは、映像・音声信号編集部２２によって所定のファイル形式に変換されて、映像・音声出力部１２に出力されるとともに、映像・音声信号記録部１６に記録される。
【００３４】
図２は、動画データの合成処理を模式的に示すブロック図である。図２において、動画データ１は、フレーム画像データＦ１−１、Ｆ１−２…、及びメタデータＭ１−１、Ｍ１−２…を含んでいる。動画データ１は、フレーム画像データＦ１−１、Ｆ１−２…が順に再生表示されて動画像を構成する。同様に、動画データ２では、フレーム画像データＦ２−１、Ｆ２−２…が順に再生表示されて動画像を構成する。なお、図２では、動画データに含まれる音声データは省略されている。
【００３５】
次に、動画データを合成する手順について説明する。まず、編集指示制御部１４からの操作入力により、合成する動画データが選択される。合成する動画データを選択する際には、例えば、映像・音声信号記録部１６に記録された動画データが、フォルダツリーや、代表画像のプレビュー表示（例えば、先頭フレーム、末尾のフレーム等のサムネイル表示）等により、映像・音声出力部１２に表示され、表示された動画データの中から合成する動画データを選択するようなユーザインターフェイスを用いる。なお、以下の説明では、動画データ１の途中のフレームから動画データ２の所定のフレームに切り替わる（場面が切り替わる）動画データ３を生成するものとする。
【００３６】
次に、映像・音声出力部１２により動画データ１、２が再生表示され、編集指示制御部１４からの操作入力により、動画データ１、２中のフレーム画像データＦ１−１、Ｆ１−２…、及び、Ｆ２−１、Ｆ２−２…の中から動画データ１、２の接続ポイントとなる接続フレーム（それぞれＦ１−ｉ、Ｆ２−ｊ）が選択される。
【００３７】
次に、メタデータ読み込み部２０は、選択された接続フレームＦ１−ｉ、Ｆ２−ｊのメタデータＭ１−ｉ、Ｍ２−ｊを読み込んで、接続フレームＦ１−ｉ、Ｆ２−ｊに含まれる色特徴の情報を取得する。そして、動画自動合成部２２は、接続フレームＦ１−ｉ、Ｆ２−ｊの色特徴情報に基づいて、動画データ１、２を合成する際に媒介とする媒介色を決定する。
【００３８】
次に、動画自動合成部２２は、メタデータＭ１−ｉの上記媒介色の色分布の情報を参照して、接続フレームＦ１−ｉにおける媒介色の位置を取得し、媒介色の位置に向かってズームインするトランジションフレームＦＴを生成する処理を行う。また、動画自動合成部２２は、フレーム画像データＦ２−ｊにおける媒介色の位置を取得し、媒介色の位置からフレーム画像データＦ２−ｊ全体にズームアウトするトランジションフレームＦＴを生成する処理を行う。そして、動画データ１のフレーム画像データＦ１−１、Ｆ１−２…、Ｆ１−ｉと、トランジションフレームＦＴ、動画データ２のフレーム画像データＦ２−ｊ…が合成されて、動画データ３が生成される。
【００３９】
また、動画自動合成部２２は、トランジションフレームＦＴに対応する音声データを生成する。トランジションフレームＦＴに対応する音声データは、例えば、接続フレームＦ１−ｉからズームインの最後のトランジションフレームに向けて、動画データ１の音声をフェードアウトするとともに、ズームアウトの最初のトランジションフレームから接続フレームＦ２−ｊに向けて動画データ２の音声をフェードインすることにより生成される。
【００４０】
図３は、合成により生成された動画データ３を模式的に示すブロック図である。図３に示すように、動画データ３は、動画データ１のフレーム画像データＦ１−１、Ｆ１−２…、接続フレームＦ１−ｉが再生された後に、トランジションフレームＦＴ、動画データ２の接続フレームＦ２−ｊ以降のフレーム画像データが再生されて動画像を構成する。なお、図３には、トランジションフレームＦＴ及びトランジションフレームＦＴに対応するメタデータＭＴは１つずつに簡略化されているが、実際にはズームイン、ズームアウトのフレーム数に応じて複数生成される。
【００４１】
ここで、媒介色を決定する手順について説明する。媒介色を決定する手順の例としては、以下の３つが考えられる。
【００４２】
（１）接続フレームＦ１−ｉ又はＦ２−ｊにおいて、最も出現頻度が高い代表色を媒介色とする。例えば、接続フレームＦ１−ｉ又はその前後を含むフレーム群において占める面積の割合が最大又は所定値以上の領域の色を媒介色とする。これにより、フレーム内において、面積が小さい領域を介して場面が接続されることにより、場面の接続が不自然になるのを防止することができる。
【００４３】
（２）接続フレームＦ１−ｉ又はＦ２−ｊにおいて、出現頻度及び色の空間的集中度に基づいて算出されるスコアが高い色を媒介色とする。例えば、接続フレームＦ１−ｉ又はその前後を含むフレーム群において占める面積の割合が最大又は所定値以上であって、接続フレームＦ１−ｉ内において１つにまとまった領域の色を媒介色とする。例えば、背景の規則的な模様等がフレーム内の大面積を占める場合に、この模様の一部を介して場面が接続されることにより、場面の接続が不自然になるのを防止することができる。
【００４４】
（３）接続フレームＦ１−ｉ又はＦ２−ｊから主要被写体を検出し、検出した主要被写体が含まれる領域の色特徴に基づいて媒介色を決定する。ここで、主要被写体を検出する方法としては、例えば、画像中において検出された人物の顔領域や、接続フレームＦ１−ｉの前後のフレームにおける変位量に基づいて主要被写体を検出する方法がある。この場合、画像内において顔領域が最も大きい人物、又は、動きが少ない（カメラが追尾している）被写体を主要被写体として検出する。また、媒介色を決定する方法としては、例えば、主要被写体領域の色情報（Ｒ，Ｇ，Ｂ等）から色相、彩度、明度等を取得して、色相値を用いてヒストグラム化し、この色相値の代表値（極値）に対応する色を媒介色とする方法がある。また、画像を複数の（例えば、８×８）の分割領域に分割し、分割領域ごとに画素データの平均値を算出し、この平均値にＤＣＴ変換を行ってＤＣＴ係数値を算出して、上記ＤＣＴ係数値、又はその一部により記述される色を媒介色とする方法を用いることもできる。これにより、動画データ１、２を主要被写体を介して接続できる。
【００４５】
図４は、動画データ３の再生表示の例を模式的に示す図である。図４に示す例では、接続フレームＦ１−ｉ中の花の赤（ｒｅｄ１）が媒介色として選択され、赤い花に向かってズームインしていき（フレームＦＴ−ａ）、フレームの略全体を花の赤が占めると（フレームＦＴ−ｂ）、自動車の赤（ｒｅｄ２）に切り替わる（フレームＦＴ−ｃ）。そして、ズームアウトして（フレームＦＴ−ｄ）、動画データ２の接続フレームＦ２−ｊの赤い自動車の場面に切り替わる。なお、図４に示す例では、トランジションフレームＦＴが４枚に省略されている。
【００４６】
次に、本実施形態に係る動画データの合成処理の流れについて、図５のフローチャートを参照して説明する。まず、編集指示制御部１４からの操作入力により、合成する動画データ１、２が選択される（ステップＳ１０）。なお、以下の説明では、動画データ１の接続フレームＦ１−ｉから動画データ２の接続フレームＦ２−ｊに切り替わる動画データ３を生成するものとする。
【００４７】
次に、動画データ１、２のフレーム画像データの中から接続フレームＦ１−ｉ及びＦ２−ｊが指定され（ステップＳ１２）、メタデータ読み込み部２０によって接続フレームＦ１−ｉ及びＦ２−ｊのメタデータＭ１−ｉ及びＭ２−ｊが読み込まれる（ステップＳ１４）。そして、接続フレームＦ１−ｉのメタデータＭ１−ｉに記録された色特徴から、動画データ１、２を合成する際の媒介色が決定される（ステップＳ１６）。
【００４８】
次に、接続フレームＦ１−ｉからＦ２−ｊに接続するトランジションフレームＦＴが生成される（ステップＳ１８）。本実施形態では、接続フレームＦ１−ｉ中の上記媒介色の領域にズームインするトランジションフレームＦＴ−ａ〜ＦＴ−ｂが生成されるとともに、接続フレームＦ２−ｊ中の上記媒介色又は媒介色に近似する色の領域からズームアウトするトランジションフレームＦＴ−ｃ〜ＦＴ−ｄが生成される。また、ステップＳ１８では、トランジションフレームＦＴ−ａ〜ＦＴ−ｄに対応する音声データが生成される。トランジションフレームＦＴ−ａ〜ＦＴ−ｄに対応する音声データは、例えば、接続フレームＦ１−ｉからズームインの最後のトランジションフレームＦＴ−ｂに向けて、動画データ１の音声をフェードアウトするとともに、ズームアウトの最初のトランジションフレームＦＴ−ｃから接続フレームＦ２−ｊに向けて動画データ２の音声をフェードインすることにより生成される。なお、ステップＳ１８では、トランジションフレームＦＴ−ａ〜ＦＴ−ｄのフレーム数や、音声のフェードイン／フェードアウト時におけるボリューム、音声、効果音等については、ユーザが編集指示制御部１４から操作入力を行うことにより適宜選択することができる。
【００４９】
そして、動画データ１の接続フレームＦ１−ｉまでのフレーム画像データＦ１−１〜Ｆ１−ｉ、上記トランジションフレームＦＴ−ａ〜ＦＴ−ｄ、動画データ２の接続フレームＦ２−ｊ以降のフレーム画像データが合成されて動画データ３が生成される（ステップＳ２０）。なお、ステップＳ１８からＳ２０の処理は、動画データ１、２等が直接編集されないように、例えば、画像処理装置１０のテンポラリ領域にバッファリングすることにより実行される。
【００５０】
次に、ステップＳ２０において生成された動画データ３が映像・音声出力部１２にプレビュー再生される（ステップＳ２２）。ステップＳ２２では、動画データ１から動画データ２に場面が切り替わる部分、例えば、接続フレームＦ１−ｉ又はその直前の数フレームから、トランジションフレームＦＴ−ａ〜ＦＴ−ｄ、接続フレームＦ２−ｊ又はその直後の数フレームに至る部分のみがプレビュー再生されるようにすればよい。なお、動画データ３は、例えば、動画データの一覧表示（サムネイル表示）の中でプレビュー再生されるようにしてもよい。そして、ステップＳ２２のプレビュー再生の結果がＯＫの場合、すなわち、編集指示制御部１４から動画データ３を保存する指令の入力を受け付けた場合には（ステップＳ２４のＹｅｓ）、動画データ３が映像・音声信号記録部１６に保存される（ステップＳ２６）。一方、ステップＳ２２のプレビュー再生の結果をユーザが気に入らない場合、すなわち、動画データ３を保存せず、合成処理をやり直す指示の入力を編集指示制御部１４から受け付けた場合には（ステップＳ２４のＮｏ）、ステップＳ１２の処理に戻る。
【００５１】
本実施形態によれば、接続フレームに含まれる所定の媒介色を媒介とすることで、ユーザが動画編集操作に習熟していなくても、異なる動画データを容易に合成することができる。
【００５２】
次に、動画データの合成処理の流れの別の実施形態について、図６のフローチャートを参照して説明する。まず、編集指示制御部１４からの操作入力により、合成する動画データ１、２が選択される（ステップＳ３０）。次に、動画データ１のフレーム画像データの中から接続フレームが指定され（ステップＳ３２）、メタデータ読み込み部２０によって接続フレームＦ１−ｉのメタデータＭ１−ｉが読み込まれる（ステップＳ３４）。
【００５３】
次に、接続フレームＦ１−ｉのメタデータＭ１−ｉに記録された色特徴から、動画データ１、２を合成する際の媒介色が決定され（ステップＳ３６）、動画データ２から媒介色又は媒介色に近似した色を含むフレーム（以下の説明では、接続フレームＦ２−ｊとする）が検出される（ステップＳ３８）。
【００５４】
次に、接続フレームＦ１−ｉ中の上記媒介色の領域にズームインするトランジションフレームＦＴ−ａ〜ＦＴ−ｂが生成されるとともに、接続フレームＦ２−ｊ中の上記媒介色又は媒介色に近似する色の領域からズームアウトするトランジションフレームＦＴ−ｃ〜ＦＴ−ｄが生成される（ステップＳ４０）。また、ステップＳ４０では、上記図５のステップＳ１８と同様にして、トランジションフレームＦＴ−ａ〜ＦＴ−ｄに対応する音声データが生成される。
【００５５】
そして、動画データ１の接続フレームまでのフレーム画像データＦ１−１〜Ｆ１−ｉ、上記トランジションフレームＦＴ−ａ〜ＦＴ−ｄ、動画データ２の接続フレームＦ２−ｊ以降のフレーム画像データが合成されて動画データ３が生成される（ステップＳ４２）。なお、ステップＳ４０からＳ４２の処理は、動画データ１、２等が直接編集されないように、例えば、画像処理装置１０のテンポラリ領域にバッファリングすることにより実行される。
【００５６】
次に、ステップＳ２０において生成された動画データ３が映像・音声出力部１２にプレビュー再生される（ステップＳ４４）。なお、ステップＳ４４では、上記図５のステップＳ２２と同様に、動画データ１から動画データ２に場面が切り替わる部分のみがプレビュー再生されるようにすればよい。そして、ステップＳ４４のプレビュー再生の結果がＯＫの場合、すなわち、編集指示制御部１４から動画データ３を保存する指令の入力を受け付けた場合には（ステップＳ４６のＹｅｓ）、動画データ３が映像・音声信号記録部１６に保存される（ステップＳ４８）。一方、ステップＳ４４のプレビュー再生の結果をユーザが気に入らない場合、すなわち、動画データ３を保存せず、合成処理をやり直す指示の入力を編集指示制御部１４から受け付けた場合には（ステップＳ４６のＮｏ）、ステップＳ３２の処理に戻る。
【００５７】
図６に示す実施形態によれば、合成する動画データを選択して、動画データ１において接続フレームを指定するだけで、色を媒介とした動画データの接続を自動的に行うことができる。
【００５８】
なお、本実施形態では、再生順が先の動画データ１のフレームの中から場面の転換点となる接続フレームを指定するようにしたが、再生順が後の動画データ２の中から接続フレームを指定して当該接続フレームに含まれる色の中から媒介色を決定し、動画データ１のフレーム中から上記媒介色又は媒介色に近似した色を含むフレームを接続フレームとして選択するようにしてもよい。
【００５９】
なお、上記の各実施形態では、動画データを合成するようにしたが、例えば、複数の静止画像を連続して再生表示する場合にも、同様のトランジションを行うことにより、動的な画像再生や、スライドショーを行うことができる。また、上記の各実施形態では、２つの動画データを合成する場合について説明したが、３以上の動画データについても同様の処理により合成することが可能である。
【００６０】
また、上記の各実施形態では、接続フレームＦ１−ｉ中の媒介色にズームインして、接続フレームＦ２−ｊの媒介色に近似した色に切り替えるトランジション処理を用いたが、例えば、ある一色のフレームから、所定のトランジション処理を経て、別の色一色のフレームに切り替えるトランジション処理を用いてもよい。
【００６１】
図７は、トランジション処理の例を模式的に示す図である。図７（ａ）に示すエッジワイプトランジションエフェクトは、フレームＦ１−ｉの端部や頂点から直線状、四角形又は多角形状のエッジＥ１が１又は複数移動することによりフレームＦ２−ｊに切り替わるトランジション処理である。図７（ｂ）に示すアイリスワイプトランジションエフェクトは、フレームＦ１−ｉ内の１点（例えば、中央や所定の被写体を含む領域）から多角形や円形、楔形状、ハート形、キーホール形状等の形状でフレームＦ２−ｊが拡がっていくことによりフレームＦ２−ｊに切り替わるトランジション処理である。図７（ｃ）に示すクロックワイプトランジションエフェクトは、１又は複数のエッジＥ３がフレームＦ１−ｉ内を円周方向に掃くことによりフレームＦ２−ｊに切り替わるトランジション処理である。図７（ｄ）に示すマトリックスワイプトランジションエフェクトは、例えば、ジグザグ状又はスパイラル等のパターンにしたがって、フレームＦ１−ｉ上にフレームＦ２−ｊがタイル状に現れるトランジション処理である。また、上記のほかのトランジション処理としては、表示されているフレームの上に別のフレームがフェードインするフェードトランジションエフェクトや、表示されているフレームを別のフレームが押し出すプッシュトランジションエフェクト、表示されているフレームの上に別のフレームがスライドするスライドトランジションエフェクトがある。上記の各実施形態では、媒介色にズームインしてこれらのトランジション処理を実行することにより、別の動画データのフレームに移行させることにより、例えば、媒介色と媒介色に近似した色の間だけでなく、例えば、補色同士や、明色と暗色、暖色と寒色等の関係になるような色の組み合わせを媒介とした場面の切り替えが可能になる。
【００６２】
なお、上記の実施形態では、画像の色特徴情報をメタデータから取得するようにしたが、例えば、編集指示制御部１４からの操作入力によって選択された画像を解析して、色特徴情報を取得するようにしてもよい。
【００６３】
なお、上記図５及び図６の実施形態に示す処理を行う画像処理プログラムを、例えば、パーソナルコンピュータ（ＰＣ）や、ビデオ再生装置（ビデオデッキ、テレビ）、撮影装置（電子カメラ、デジタルカメラ）、携帯情報端末（ＰＤＡ）、携帯電話機、携帯フォトプレーヤー等の画像再生機能を有する装置に適用することにより、上記の各実施形態に係る画像処理装置及び画像処理方法を実現することができる。
【図面の簡単な説明】
【００６４】
【図１】本発明の一実施形態に係る画像処理装置の主要構成を示すブロック図
【図２】動画データの合成処理を模式的に示すブロック図
【図３】合成により生成された動画データ３を模式的に示すブロック図
【図４】合成により生成された動画データ３の再生表示の例を模式的に示す図
【図５】動画データの合成処理の流れを示すフローチャート
【図６】動画データの合成処理の流れの別の実施形態を示すフローチャート
【図７】トランジション処理の例を模式的に示す図
【符号の説明】
【００６５】
１０…画像処理装置、１２…映像・音声出力部、１４…編集指示制御部、１６…映像・音声信号記録部、１８…映像・音声信号編集部、２０…メタデータ読み込み部、２２…動画自動合成部
【図１】
2007184869.tif 000003
【図２】
2007184869.tif 000004
【図３】
2007184869.tif 000005
【図４】
2007184869.tif 000006
【図５】
2007184869.tif 000007
【図６】
2007184869.tif 000008
【図７】
2007184869.tif 000009