(57)【要約】【課題】動画像の内容全体をより的確に把握可能な静止画像を作成する画像処理装置および画像処理プログラムを提供する。【解決手段】複数のフレームにより構成される動画像から複数のフレームを選択するフレーム選択部１１１ａと、選択された複数のフレームから所定のオブジェクトを認識し抽出すると共に、認識し複数のオブジェクトに優先順位を設定するオブジェクト抽出部１１１ｂと、オブジェクト抽出部１１１ｂにより抽出された複数のオブジェクトを優先順位に基づいて配置することにより、抽出された複数のオブジェクトを含む静止画像を作成する画像作成部１１１ｃと、を備える画像処理装置。【選択図】図８
2012044358.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、
前記選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、
前記抽出手段により認識された複数の物体像に優先順位を設定する優先順位設定手段と、
前記抽出手段により抽出された複数の物体像を前記優先順位に基づいて配置することにより、前記抽出された複数の物体像を含む静止画像を作成する画像作成手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像作成手段は、前記優先順位に基づいて、前記静止画像における物体像の相対的な大きさと、前記静止画像における物体像が配置される位置と、のいずれか少なくとも１つを決定することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記抽出手段により認識された複数の物体像の各々について、該物体像を前記静止画像に含めるか否かを判定する判定手段を更に備え、
前記画像作成手段は、前記判定手段により否定判定された物体像を含まない前記静止画像を作成することを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記画像作成手段は、前記抽出手段により複数のフレームの各々から認識された複数の物体像が同一の物体の像であった場合、該複数の物体像のうちいずれか１つの物体像のみを前記静止画像に含めることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記判定手段は、前記抽出手段により認識された複数の物体像の各々について、該物体像と同一の物体の像が含まれるフレームの数と、該物体像の大きさと、該物体像の合焦の度合いと、のいずれか少なくとも１つに基づいて、該物体像を前記静止画像に含めるか否かを判定することを特徴とする画像処理装置。
【請求項６】
請求項４または５に記載の画像処理装置において、
前記優先順位設定手段は、前記抽出手段により認識された複数の物体像の各々について、該物体像と同一の物体の像が含まれるフレームの数と、該物体像の大きさと、該物体像の合焦の度合いと、のいずれか少なくとも１つに基づいて、前記優先順位を設定することを特徴とする画像処理装置。
【請求項７】
請求項１〜６のいずれか一項に記載の画像処理装置において、
前記選択された複数のフレームの各々について、該フレームのシーンを判別するシーン判別手段を更に備え、
前記優先順位設定手段は、前記抽出手段により認識された複数の物体像の各々について、該物体像が認識されたフレームにおいて前記シーン判別手段により判別されたシーンに基づき前記優先順位を設定することを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置において、
前記抽出手段により認識された複数の物体像を複数のグループに分類する分類手段を更に備え、
前記画像作成手段は、前記複数のグループに基づいて前記静止画像を作成することを特徴とする画像処理装置。
【請求項９】
請求項８に記載の画像処理装置において、
前記静止画像の全体領域を、前記複数のグループ毎の領域に分割する領域分割手段を更に備え、
前記画像作成手段は、前記複数のグループの各々について、該グループに含まれる物体像を該グループに対応する前記領域に配置することにより前記静止画像を作成することを特徴とする画像処理装置。
【請求項１０】
請求項８に記載の画像処理装置において、
前記画像作成手段は、前記複数のグループの各々に対応する複数の前記静止画像を作成することを特徴とする画像処理装置。
【請求項１１】
請求項８〜１０のいずれか一項に記載の画像処理装置において、
前記分類手段は、前記物体像の種類と、前記動画像の時間軸上における前記物体像が認識されたフレームの位置と、前記シーン判別手段により判別されたシーンと、のいずれか少なくとも１つに基づき、前記抽出手段により認識された複数の物体像を前記複数のグループに分類することを特徴とする画像処理装置。
【請求項１２】
複数のフレームにより構成される動画像から複数のフレームを選択する選択工程と、
前記選択された複数のフレームから所定の物体像を認識し抽出する抽出工程と、
前記抽出工程により抽出された複数の物体像に優先順位を設定する優先順位設定工程と、
前記抽出工程により抽出された複数の物体像を前記優先順位に基づいて配置することにより、前記抽出された複数の物体像を含む静止画像を作成する画像作成工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理プログラムに関する。
【背景技術】
【０００２】
記録媒体に記録されている複数の静止画像をいわゆるサムネイル表示し、記録媒体の内容の把握を容易にすることが一般的に行われている。同様のことを動画像に対して行う場合、動画像には通常多数のフレームが含まれるので、サムネイル画像として適切なフレームを選択しなければならない。例えば特許文献１には、１つの記録コンテンツから複数のサムネイルデータを作成するコンテンツ記録再生装置が記載されている。このコンテンツ記録再生装置は、作成した複数のサムネイルデータをサムネイル候補として画面に表示し、それらのうちユーザが選択した１つを代表サムネイルとする。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２９４９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されている技術を用いても、個々のサムネイル画像は１フレームに対応しているので、動画像の内容全体をサムネイル画像から把握することは困難である。
【課題を解決するための手段】
【０００５】
請求項１に係る発明は、複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、抽出手段により認識された複数の物体像に優先順位を設定する優先順位設定手段と、抽出手段により抽出された複数の物体像を優先順位に基づいて配置することにより、抽出された複数の物体像を含む静止画像を作成する画像作成手段と、を備えることを特徴とする画像処理装置である。
請求項１２に係る発明は、複数のフレームにより構成される動画像から複数のフレームを選択する選択工程と、選択された複数のフレームから所定の物体像を認識し抽出する抽出工程と、抽出工程により抽出された複数の物体像に優先順位を設定する優先順位設定工程と、抽出工程により抽出された複数の物体像を優先順位に基づいて配置することにより、抽出された複数の物体像を含む静止画像を作成する画像作成工程と、をコンピュータに実行させることを特徴とする画像処理プログラムである。
【発明の効果】
【０００６】
本発明によれば、動画像の内容全体をより的確に把握可能な静止画像を作成することができる。
【図面の簡単な説明】
【０００７】
【図１】第１の実施の形態における画像処理装置の回路構成を示すブロック図である。
【図２】オブジェクト合成処理によるサムネイル画像の作成手順を示す図である。
【図３】ベストショット合成処理によるサムネイル画像の作成手順を示す図である。
【図４】動画像ファイルから代表画像を作成する処理のフローチャートである。
【図５】オブジェクト認識処理のフローチャートである。
【図６】オブジェクト合成処理のフローチャートである。
【図７】ベストショット合成処理のフローチャートである。
【図８】第２の実施の形態における画像処理装置の回路構成を示すブロック図である。
【図９】画像作成部１１１ｃによるオブジェクトの配置の例を示す図である。
【図１０】動画像ファイルから代表画像を作成する制御回路１１１の処理を示すフローチャートである。
【図１１】第３の実施の形態における画像処理装置の回路構成を示すブロック図である。
【図１２】領域分割部２１１ｇによる領域の分割例を示す図である。
【発明を実施するための形態】
【０００８】
（第１の実施の形態）
図１は、本実施の形態における画像処理装置の回路構成を示すブロック図である。画像処理装置１は、制御回路１１，フラッシュメモリ１２，ＤＲＡＭ１３，ハードディスクドライブ（ＨＤＤ）１４，外部機器インタフェース（Ｉ／Ｆ）１５，入力装置１６，および表示装置１７を備える。フラッシュメモリ１２には、制御回路１１が実行する所定の制御プログラムが記憶される。ＤＲＡＭ１３には、制御プログラムが使用するデータが一時的に格納される。ＨＤＤ１４には、複数の動画像ファイルが格納される。
【０００９】
外部機器Ｉ／Ｆ１５は、デジタルカメラなどの外部機器を接続するためのインタフェースである。画像処理装置１のユーザは、例えば外部機器Ｉ／Ｆ１５へデジタルカメラを接続し、デジタルカメラにより撮影された動画像ファイルをＨＤＤ１４へ取り込むことができる。入力装置１６はキーボードやマウスなどの各種の入力装置である。入力装置１６は、ユーザの操作に応じて制御回路１１へ操作信号を出力する。表示装置１７は液晶モニタなどの各種の表示装置である。
【００１０】
制御回路１１はフレーム選択部１１ａ，オブジェクト抽出部１１ｂ，および画像作成部１１ｃを有する。これらの機能部は、制御回路１１がフラッシュメモリ１２に記憶されている所定の制御プログラムを実行することにより、ソフトウェア的に実現される。なお、これらの各機能部を制御回路１１の中に電子回路として実装してもよい。
【００１１】
次に、画像処理装置１による動画像ファイルの一覧表示機能について説明する。制御回路１１は、ＨＤＤ１４に格納されている複数の動画像ファイルの一覧表示機能と、動画像ファイルの再生機能と、を有する。動画像ファイルの一覧表示機能とは、各々の動画像ファイルに対応する静止画像（以下、代表画像と呼ぶ）をサムネイル表示する機能である。サムネイル表示された代表画像のうち、いずれか１つがユーザにより選択されると、制御回路１１は選択された代表画像に対応する動画像ファイルの再生を開始する。
【００１２】
本実施形態の画像処理装置１は、代表画像を作成する２種類の処理を実行することが可能である。以下の説明では、この２種類の処理をオブジェクト合成処理およびベストショット合成処理と称する。動画像ファイルの一覧表示を行う際、制御回路１１は、ＨＤＤ１４に格納されている各々の動画像ファイルに対して、これら２種類の処理のうちいずれかの処理を実行する。
【００１３】
（オブジェクト合成処理の説明）
図２は、オブジェクト合成処理による代表画像の作成手順を示す図である。図２（ａ）に、以下で説明するオブジェクト合成処理の対象となる動画像ファイル２１を示す。この動画像ファイル２１は、複数のフレームＦ１１〜Ｆ１９から構成されている。
【００１４】
オブジェクト合成処理では、まずフレーム選択部１１ａがオブジェクト合成処理の対象となるフレームをフレームＦ１１〜Ｆ１９から選択する。フレーム選択部１１ａは、例えば動画像ファイル２１に含まれる全てのフレームを選択するようにしてもよいし、あるいは数フレーム毎に１フレームを選択するようにしてもよい。また、シーンチェンジの検出等を考慮してフレームを選択するようにしてもよい。図２（ｂ）には、フレーム選択部１１ａが４つのフレームＦ１２，Ｆ１４，Ｆ１６，Ｆ１９をオブジェクト合成処理の対象として選択した様子を示す。
【００１５】
次にオブジェクト抽出部１１ｂが、フレーム選択部１１ａにより選択されたこれら４つのフレームからオブジェクトを認識する。本発明においてオブジェクトとは、例えば人物、車、建物など、各フレームに含まれる所定の物体像である。オブジェクトの認識には、例えばパターンマッチングなどの周知の技術を用いることができる。図２（ｂ）に示した例では、フレームＦ１２からは車のオブジェクトＯＡ１が、フレームＦ１４からは人のオブジェクトＯＢ１および犬のオブジェクトＯＣ１が、フレームＦ１６からは人のオブジェクトＯＢ２および犬のオブジェクトＯＣ２が、フレームＦ１９からは犬のオブジェクトＯＣ３および家屋のオブジェクトＯＤ１が、それぞれ認識される。
【００１６】
オブジェクト抽出部１１ｂはこれらのオブジェクトを認識した後、これらのオブジェクトの同一性を判定する。例えばデジタルカメラにより毎秒３０フレームの撮影を行って動画像ファイルを作成した場合、連続する複数のフレームに同一の物体が繰り返し写り込む。オブジェクト抽出部１１ｂは、認識した複数のオブジェクトが、上記の例のように１つの物体に基づくオブジェクトか否かを判定する。オブジェクトの同一性の判定には周知の画像認識技術を用いることができる。例えば人のオブジェクトであれば周知の顔認識技術等を用いることが可能である。
【００１７】
図２（ｂ）の例では、オブジェクト抽出部１１ｂはフレームＦ１４において認識された人のオブジェクトＯＢ１とフレームＦ１６において認識された人のオブジェクトＯＢ２とが同一人物のオブジェクトであると判定する。同様に、オブジェクト抽出部１１ｂは図２（ｂ）に示した４つのフレームから、オブジェクトＯＣ１，ＯＣ２，ＯＣ３が同一の物体のオブジェクトであると判定する。
【００１８】
続いてオブジェクト抽出部１１ｂは、各フレームから認識した各オブジェクトの抽出を行う。ただし、同一性の判定の結果に基づき、同一の物体のオブジェクトは複数のフレームからいずれか１つしか抽出しない。例えば、オブジェクト抽出部１１ｂは図２（ｂ）に示した複数のフレームからオブジェクトＯＣ１，ＯＣ２，ＯＣ３のうちいずれか１つだけを抽出する。
【００１９】
本実施形態において、オブジェクト抽出部１１ｂが同一の物体のオブジェクトからいずれか１つのオブジェクトを選択する基準は、動画像ファイル２１におけるオブジェクトの出現順である。例えば図２（ｂ）において、選択されたフレームの動画像ファイル２１における時系列順は、フレームＦ１２，フレームＦ１４，フレームＦ１６，フレームＦ１９という順序になっている。従って、同一の物体のオブジェクトＯＣ１，ＯＣ２，ＯＣ３のうち、出現順が最も早いオブジェクトは、動画像ファイル２１内の時系列順で最も早いフレームＦ１４から認識されたオブジェクトＯＣ１である。オブジェクト抽出部１１ｂはこのように、同一の物体のオブジェクトのうち、動画像ファイルにおいて最初に出現するオブジェクトを抽出する。
【００２０】
最後に画像作成部１１ｃが、オブジェクト抽出部１１ｂにより抽出された複数のオブジェクトを並べて１つの静止画像を作成する。作成された静止画像の例を図２（ｃ）に示す。図２（ｃ）に示した静止画像Ｐ１には、オブジェクト抽出部１１ｂにより抽出された４つのオブジェクトＯＡ１，ＯＢ１，ＯＣ１，ＯＤ１が含まれている。これらのオブジェクトは、動画像ファイル２１における出現順に左から右の順で並べられている。また、静止画像Ｐ１の背景は、背景色として選択された単色の塗り潰しとなっている。この静止画像Ｐ１が、オブジェクト合成処理により作成された動画像ファイル２１の代表画像である。
【００２１】
（ベストショット合成処理の説明）
図３は、ベストショット合成処理による代表画像の作成手順を示す図である。図３（ａ）に、以下で説明するベストショット合成処理の対象となる動画像ファイル２２を示す。この動画像ファイル２２は複数のフレームＦ２１〜Ｆ２９から構成されている。
【００２２】
ベストショット合成処理の前半は、オブジェクト合成処理と同様にフレームの選択、オブジェクトの認識、同一性の判定に関する処理である。すなわち、まずフレーム選択部１１ａにより処理対象とするフレームが選択される。次にオブジェクト抽出部１１ｂによりオブジェクトが認識されると共に、各オブジェクトが同一の物体のオブジェクトか否かが判定される。なおベストショット合成処理では、フレーム選択部１１ａは、各フレームから視点の水平移動を検知し、パノラマ画像が作成可能となるようにフレームの選択を行う。
【００２３】
その後オブジェクト抽出部１１ｂは、認識したオブジェクトに対応する物体のうち出現頻度が最も高い１つを動画像ファイル２２の主要被写体として選択する。そして、この主要被写体に対応するオブジェクトのうち、サイズが最も大きいオブジェクトを主要オブジェクトとして選択する。以下、主要オブジェクトが含まれるフレームを、主要被写体のベストショットと呼ぶ。
【００２４】
画像作成部１１ｃは、フレーム選択部１１ａが処理対象として選択した複数のフレームに基づくパノラマ画像を作成する。そして、このパノラマ画像を背景とし、且つ主要オブジェクト以外のオブジェクトを含まない静止画像を作成する。この静止画像が、動画像ファイル２２の代表画像である。
【００２５】
画像作成部１１ｃが作成するパノラマ画像は、可能な限り主要オブジェクト以外のオブジェクトを含まないように作成される。例えば移動する物体を追跡して撮影された動画像の場合、あるフレームにおいてその物体の蔭となった背景であっても、その前後のフレームでは蔭となっていないことが考えられる。従って、そのようなフレームを利用すれば、背景のパノラマ画像を主要オブジェクト以外のオブジェクトを含まないように作成することができる。
【００２６】
図４は、動画像ファイルから代表画像を作成する制御回路１１の処理を示すフローチャートである。本フローチャートの処理を実行するためのプログラムはフラッシュメモリ１２に格納されている。まずステップＳ１０では、フレーム選択部１１ａが以降の処理の対象とするフレームを選択する。ステップＳ２０では、オブジェクト抽出部１１ｂが後述するオブジェクト認識処理を実行する。ステップＳ３０では、制御回路１１が代表画像の作成方法を判定する。例えば動画像ファイルの視点が水平方向にパンニングしていることを検出した場合には、代表画像をベストショット合成処理により作成すべきであると判定され、それ以外の場合には代表画像をオブジェクト合成処理により作成すべきであると判定される。
【００２７】
ステップＳ３０において、制御回路１１が代表画像をオブジェクト合成処理により作成すべきであると判定した場合にはステップＳ４０へ進む。ステップＳ４０では、オブジェクト抽出部１１ｂおよび画像作成部１１ｃにより、後述するオブジェクト合成処理が実行される。他方、ステップＳ３０で、制御回路１１が代表画像をベストショット合成処理により作成すべきであると判定した場合にはステップＳ５０へ進む。ステップＳ５０では、オブジェクト抽出部１１ｂおよび画像作成部１１ｃにより、後述するベストショット合成処理が実行される。
【００２８】
図５は、オブジェクト認識処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ２０において呼び出される。オブジェクト認識処理では、図４のステップＳ１０において選択された各フレームからの、オブジェクトの認識が行われる。ステップＳ２１では、オブジェクト抽出部１１ｂが、フレーム選択部１１ａにより選択されたフレームのうち未処理のフレームを１つ読み込む。ステップＳ２２では、オブジェクト抽出部１１ｂが、ステップＳ２１で読み込んだフレームからオブジェクトの認識に必要な特徴量を算出する。ステップＳ２３では、オブジェクト抽出部１１ｂが、ステップＳ２１で読み込んだフレームからオブジェクトの認識を行う。オブジェクトの認識には、ステップＳ２２で算出した特徴量を使用する。
【００２９】
なお、ステップＳ２２における特徴量の算出と、ステップＳ２３におけるオブジェクトの認識と、では共に周知の画像認識技術が利用される。周知の画像認識技術として例えばパターンマッチングを採用するのであれば、まずステップＳ２２においてオブジェクト抽出部１１ｂが、あらかじめ用意された複数のパターンの各々について、処理対象のフレームとの相関を表す特徴量を算出する。そして、ステップＳ２３においてオブジェクト抽出部１１ｂが、上記の特徴量に基づき所定の基準を満たすパターンを選択する。
【００３０】
ステップＳ２４では、オブジェクト抽出部１１ｂが、これまでに認識されたオブジェクトとステップＳ２３において直近に認識されたオブジェクトとの同一性を判定する。ステップＳ２５では、オブジェクト抽出部１１ｂがステップＳ２３で認識したオブジェクトからオブジェクト情報を作成する。オブジェクト情報はオブジェクトの抽出を行うための情報である。オブジェクト情報には、例えばオブジェクトへ割り当てられる一意な識別子、これまでに認識したオブジェクトと同一か否かを表す情報、オブジェクトに外接する矩形、オブジェクトが認識されたフレームを特定する為の情報、等が含まれる。ステップＳ２６では、オブジェクト抽出部１１ｂが、ステップＳ２５で作成したオブジェクト情報をＤＲＡＭ１３へ記録する。ステップＳ２７では、オブジェクト抽出部１１ｂがフレーム選択部１１ａにより選択された全フレームに対して処理を完了したか否かを判定する。未処理のフレームが残っている場合にはステップＳ２１へ戻る。他方、全てのフレームに対して処理を完了した場合にはオブジェクト認識処理は終了する。
【００３１】
図６は、オブジェクト合成処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ４０において呼び出される。ステップＳ４１では、オブジェクト抽出部１１ｂがステップＳ２５でＤＲＡＭ１３に記録された全てのオブジェクト情報を読み込む。ステップＳ４２では、オブジェクト抽出部１１ｂが、オブジェクト情報に含まれる全オブジェクトのうち未処理のオブジェクトを出現順に１つ選択する。
【００３２】
ステップＳ４３では、オブジェクト抽出部１１ｂが、オブジェクト情報に含まれるオブジェクトの同一性に関する情報を確認し、ステップＳ４２で選択したオブジェクトと同一のオブジェクトが既に抽出されているか否かを判定する。抽出済みであった場合にはステップＳ４３により肯定判定がなされ、ステップＳ４５へ進む。他方、否定判定がなされた場合にはステップＳ４４へ進む。ステップＳ４４では、オブジェクト抽出部１１ｂが、オブジェクト情報に基づいて対応するフレームからオブジェクトを抽出する。ステップＳ４５では、オブジェクト抽出部１１ｂが、全てのオブジェクトについて処理が完了したか否かを判定する。未処理のオブジェクトが存在する場合には否定判定がなされ、ステップＳ４２へ戻る。他方、ステップＳ４５において肯定判定がなされた場合にはステップＳ４６へ進む。ステップＳ４６では、画像作成部１１ｃが、ステップＳ４４において抽出された全てのオブジェクトを含む静止画像を作成する。
【００３３】
図７は、ベストショット合成処理のフローチャートである。この処理は、図４に示したフローチャートのステップＳ５０において呼び出される。ステップＳ５１では、オブジェクト抽出部１１ｂがステップＳ２５でＤＲＡＭ１３に記録された全てのオブジェクト情報を読み込む。ステップＳ５２では、オブジェクト抽出部１１ｂが、オブジェクトごとの出現頻度を集計する。ステップＳ５３では、オブジェクト抽出部１１ｂが、ステップＳ５２で集計した出現頻度が最も多いオブジェクト、すなわち主要被写体を選択する。ステップＳ５４では、オブジェクト抽出部１１ｂが、主要被写体に対応するオブジェクトのうちサイズが最も大きいオブジェクト、すなわち主要オブジェクトを、オブジェクト情報に基づいて対応するフレームから抽出する。ステップＳ５５では、画像作成部１１ｃが、最終的に作成される静止画像の背景画像となるパノラマ画像を作成する。ステップＳ５６では、画像作成部１１ｃが、ステップＳ５５で作成したパノラマ画像を背景とし、且つ、ステップＳ５４で抽出された主要オブジェクト以外のオブジェクトを含まない静止画像を作成する。
【００３４】
上述した第１の実施の形態による画像処理装置によれば、次の作用効果が得られる。
（１）画像作成部１１ｃは、オブジェクト抽出部１１ｂにより抽出された複数のオブジェクトを含む静止画像を作成する。これにより、１つの静止画像から動画像ファイルの内容全体をより的確に把握することができる。
【００３５】
（２）オブジェクト抽出部１１ｂは、複数のフレームの各々から認識された複数のオブジェクトが同一の物体のオブジェクトであった場合、複数のオブジェクトのうちいずれか１つのオブジェクトのみを抽出する。これにより、繰り返し登場する物体が存在した場合であっても、動画像ファイルの内容全体を把握しやすい静止画像が作成される。
【００３６】
（３）制御回路１１は、オブジェクト合成処理とベストショット合成処理とを切り替えて静止画像を作成する。これにより、動画像の特性に合った適切な静止画像が作成される。
【００３７】
（４）画像作成部１１ｃは、パノラマ画像を静止画像の背景とする場合に、主要オブジェクト以外のオブジェクトが含まれないようなパノラマ画像を作成する。これにより、主要オブジェクトが何であるかを判断しやすい静止画像が作成される。
【００３８】
（第２の実施の形態）
図８は第２の実施の形態における画像処理装置の回路構成を示すブロック図である。第１の実施の形態における画像処理装置（図１）との違いは、制御回路１１１が更に抽出判定部１１１ｄおよびシーン判別部１１１ｅを有している点である。
【００３９】
抽出判定部１１１ｄは、オブジェクト抽出部１１１ｂにより認識された複数のオブジェクトの各々について、当該オブジェクトを代表画像に含めるか否かを判定する。オブジェクト抽出部１１１ｂは、抽出判定部１１１ｄにより否定判定されたオブジェクトを抽出しない。すなわち、画像作成部１１１ｃにより作成される静止画像には、抽出判定部１１１ｄにより否定判定されたオブジェクトが含まれない。
【００４０】
なお、抽出判定部１１１ｄにより否定判定されたオブジェクトが、画像作成部１１１ｃにより作成される静止画像に含まれないようにする方法は複数存在する。例えば、オブジェクト抽出部１１１ｂを、そのようなオブジェクトを認識しないように構成してもよい。また、オブジェクト抽出部１１１ｂが各オブジェクトを抽出した後で、画像作成部１１１ｃがそのようなオブジェクトを静止画像に含めないようにしてもよい。
【００４１】
シーン判別部１１１ｅは、フレーム選択部１１１ａが選択した各フレームについて、当該フレームのシーンを判別する。シーン判別の結果は、例えば「風景」、「ポートレート」、「運動会」、「結婚式」、「マクロ」等のようになる。シーン判別部１１１ｅによるシーン判別には、種々の周知技術を用いる事が可能である。シーン判別の結果は、後述する優先順位設定に用いられる。
【００４２】
（抽出判定部１１１ｄの説明）
抽出判定部１１１ｄによる判定の詳細について説明する。抽出判定部１１１ｄは、オブジェクトを静止画像に含めるか否かを、当該オブジェクトの撮影時間と、当該オブジェクトの大きさと、当該オブジェクトの合焦の度合いと、に基づいて判定する。
【００４３】
当該オブジェクトの撮影時間とはすなわち、動画像ファイル全体において当該オブジェクトが含まれるフレームの総数である。以下、当該オブジェクトが含まれるフレームの総数と、動画像ファイル全体の総フレーム数との比率をＴｄと表す。当該オブジェクトの大きさとはすなわち、フレーム全体の大きさに対する当該オブジェクトの大きさの比率である。以下、オブジェクトの大きさのフレーム全体の大きさに対する比率をＳと表す。当該オブジェクトの合焦の度合いとはすなわち、動画像ファイル全体において当該オブジェクトのコントラストが基準値よりも高いフレームの総数である。以下、当該オブジェクトのコントラストが基準値よりも高いフレームの総数と、動画像ファイル全体の総フレーム数との比率をＴｆと表す。
【００４４】
抽出判定部１１１ｄは、Ｔｄ、Ｓ、およびＴｆがそれぞれ所定の閾値より小さいオブジェクトについて否定判定を行う。なお、オブジェクトの大きさに関する判定を行う際に、オブジェクトの撮影時間を加味した判定を行ってもよい。例えば抽出判定部１１１ｄが、サイズが小さいオブジェクトであっても撮影時間が長いオブジェクトであれば、静止画像に含めるように判定を行ってもよい。
【００４５】
（優先順位設定の説明）
本実施形態のオブジェクト抽出部１１１ｂは、各フレームから認識した複数のオブジェクトに対し、優先順位を設定する。画像作成部１１１ｃは、オブジェクト抽出部１１１ｂにより設定された優先順位に基づいて各オブジェクトを配置し、静止画像を作成する。以下、優先順位の設定方法について説明する。
【００４６】
オブジェクト抽出部１１１ｂは、オブジェクトの優先順位を、当該オブジェクトの撮影時間と、当該オブジェクトの大きさと、当該オブジェクトの合焦の度合いと、に基づいて設定する。すなわちオブジェクト抽出部１１１ｂは、上述のＴｄ、Ｓ、およびＴｆに基づいてオブジェクトの優先順位を設定する。オブジェクト抽出部１１１ｂはまず、認識された１番目からｎ番目までの各オブジェクトについて、次式（１）により定義される優先度Ｐｒ（ｎ）を算出する。
Ｐｒ（ｎ）  ＝  （Ｔｄ（ｎ）・α＋Ｓ（ｎ）（１−α））・Ｗ（ｎ）      …（１）
【００４７】
なお式（１）において、αは撮影時間と面積の優先度を表す係数であり、０以上１以下の値を採る。また、Ｗ（ｎ）はシーン判別に基づく各オブジェクトの重みであり、０以上１以下の値を採る。重みＷ（ｎ）は、優先度の算出に先立ってオブジェクト抽出部１１１ｂにより設定される。例えばシーン判別の結果が「風景」であれば、空、海、山、木、花、建物などのオブジェクトについてより大きな重みＷ（ｎ）が設定される。また、シーン判別の結果が「ポートレート」、「運動会」、「結婚式」などであれば、人のオブジェクトについて他のオブジェクトより大きな重みＷ（ｎ）が設定される。すなわち、オブジェクト抽出部１１１ｂは、シーン判別の結果に応じてオブジェクトの種類に応じた重みＷ（ｎ）を設定する。全てのオブジェクトについて優先度Ｐｒ（ｎ）を算出したオブジェクト抽出部１１１ｂは、最後に、優先度Ｐｒ（ｎ）が大きなオブジェクトから順に優先順位を設定する。
【００４８】
（オブジェクトの抽出の説明）
第１の実施の形態では、オブジェクト抽出部１１ｂが同一の物体のオブジェクトからいずれか１つのオブジェクトを選択する基準は、動画像ファイル２１におけるオブジェクトの出現順であった。本実施形態に係るオブジェクト抽出部１１１ｂは、これとは異なる基準に基づいて、同一の物体のオブジェクトからいずれか１つのオブジェクトを選択する。
【００４９】
オブジェクト抽出部１１１ｂは、ピントが合っている箇所が多いオブジェクトを優先的に抽出する。オブジェクト抽出部１１１ｂはまた、フレーム全体の大きさに対するオブジェクトの大きさがより大きなオブジェクトを優先的に抽出する。更に、オブジェクト抽出部１１１ｂは、個々のオブジェクトの種類に応じて抽出基準を変更する。
【００５０】
例えば、空は人や車に比べて、面積や色が重視されると考えられる。また、人物は顔が正面を向いていることや身体全体が写っていること、笑顔であることなどが重要である。このように、オブジェクト抽出部１１１ｂは、オブジェクトの種類に応じて異なる抽出基準を用いて、オブジェクトの抽出を行う。
【００５１】
（画像作成部１１１ｃの説明）
画像作成部１１１ｃは、以上のようにして各オブジェクトに設定された優先順位に基づいて、静止画像を作成する。
【００５２】
図９は、画像作成部１１１ｃによるオブジェクトの配置の例を示す図である。図９（ａ）では、優先順位が最も高いオブジェクトＯＦ１を静止画像３００ａの中央に配置し、その他のオブジェクトＯＦ２をオブジェクトＯＦ１の周囲に配置している。また、静止画像３００ａにおいて、オブジェクトＯＦ１が他のオブジェクトＯＦ２よりも相対的に大きくなっている。
【００５３】
図９（ｂ）では、オブジェクトを優先順位の順に左から右に並べて配置している。具体的には、最も優先順位の高いオブジェクトＯＧ１を静止画像３００ｂの左側に配置し、その右隣に次に優先順位が高いオブジェクトＯＧ２を、更に右隣にはその次に優先順位が高いオブジェクトＯＧ３を配置している。また、静止画像３００ｂにおいて、各オブジェクトの大きさは優先順位が高いほど相対的に大きくなっている。
【００５４】
画像作成部１１１ｃは、図９（ａ）に示した配置方法と図９（ｂ）に示した配置方法とを、所定の基準により切り替えて静止画像を作成する。例えば、優先度が他のオブジェクトより突出して高いオブジェクトが存在する場合には図９（ａ）の方法を、それ以外の場合には図９（ｂ）の方法を利用して静止画像を作成する。また、図９（ａ）の方法と図９（ｂ）の方法とをユーザが任意に指定できるようにしてもよい。
【００５５】
また、各オブジェクトの優先度がほとんど同じ場合には、画像作成部１１１ｃが図９（ｃ）に示した配置方法を利用するようにしてもよい。図９（ｃ）では、静止画像３００ｃにおいて各オブジェクトＯＨ１が均等に並べて配置されており、また各オブジェクトＯＨの大きさは均等になっている。
【００５６】
図１０は、動画像ファイルから代表画像を作成する制御回路１１１の処理を示すフローチャートである。本フローチャートの処理を実行するためのプログラムはフラッシュメモリ１１２に格納されている。まずステップＳ１１０では、フレーム選択部１１１ａが以降の処理の対象とするフレームを選択する。ステップＳ１２０では、シーン判別部１１１ｅがシーン判別処理を実行する。シーン判別処理では、フレーム選択部１１１ａにより選択されたフレームについて、周知のシーン判別技術によるシーン判別が行われる。ステップＳ１３０では、オブジェクト抽出部１１１ｂがオブジェクト認識処理を実行する。ステップＳ１４０では、オブジェクト抽出部１１１ｂがオブジェクトの優先順位設定処理を実行する。オブジェクトの優先順位設定処理では、前述した基準により、各オブジェクトについて優先順位が設定される。
【００５７】
ステップＳ１５０では、制御回路１１１が代表画像の作成方法を判定する。ステップＳ１５０において、制御回路１１１が代表画像をオブジェクト合成処理により作成すべきであると判定した場合にはステップＳ１６０へ進む。ステップＳ１６０では、オブジェクト抽出部１１１ｂおよび画像作成部１１１ｃにより、オブジェクト合成処理が実行される。他方、ステップＳ１５０で、制御回路１１が代表画像をベストショット合成処理により作成すべきであると判定した場合にはステップＳ１７０へ進む。ステップＳ１７０では、オブジェクト抽出部１１１ｂおよび画像作成部１１１ｃにより、ベストショット合成処理が実行される。
【００５８】
上述した第２の実施の形態による画像処理装置によれば、次の作用効果が得られる。
（１）オブジェクト抽出部１１１ｂは、認識した複数のオブジェクトに優先順位を設定する。画像作成部１１１ｃは、これら複数のオブジェクトを優先順位に基づいて配置することにより、複数のオブジェクトを含む静止画像を作成する。このようにしたので、動画像の内容全体をより的確に把握可能な静止画像を作成することができる。
【００５９】
（２）画像作成部１１１ｃは、優先順位に基づいて、静止画像におけるオブジェクトの相対的な大きさと、静止画像におけるオブジェクトが配置される位置とを決定する。このようにしたので、オブジェクトの大きさおよび位置が優先順位に応じて的確に決定され、静止画像の視認性が向上する。
【００６０】
（３）抽出判定部１１１ｄは、オブジェクト抽出部１１１ｂにより認識された複数のオブジェクトの各々について、当該オブジェクトを静止画像に含めるか否かを判定する。画像作成部１１１ｃは、抽出判定部１１１ｄにより否定判定されたオブジェクトを含まない静止画像を作成する。このようにしたので、静止画像に重要でないオブジェクトが含まれず、静止画像の視認性が向上する。
【００６１】
（４）シーン判別部１１１ｅは、フレーム選択部１１１ａにより選択された複数のフレームの各々について、当該フレームのシーンを判別する。オブジェクト抽出部１１１ｂは、認識した複数のオブジェクトの各々について、当該オブジェクトが認識されたフレームにおいてシーン判別部１１１ｅにより判別されたシーンに基づき優先順位を設定する。このようにしたので、シーンに応じた適切な優先順位を設定することが可能となる。
【００６２】
（第３の実施の形態）
図１１は第３の実施の形態における画像処理装置の回路構成を示すブロック図である。第２の実施の形態における画像処理装置（図８）との違いは、制御回路２１１が更にオブジェクト分類部２１１ｆおよび領域分割部２１１ｇを有している点である。
【００６３】
オブジェクト分類部２１１ｆは、オブジェクト抽出部２１１ｂにより認識された複数のオブジェクトを、複数のグループに分類する。画像作成部２１１ｃは、この複数のグループに基づいて静止画像を作成する。領域分割部２１１ｇは、静止画像の全体領域を、複数のグループ毎の領域に分割する。画像作成部２１１ｃは、複数のグループの各々について、当該グループに含まれるオブジェクトを当該グループに対応する領域に配置することにより静止画像を作成する。
【００６４】
（オブジェクト分類部２１１ｆの説明）
オブジェクト分類部２１１ｆは、オブジェクトの種類と、動画像の時間軸上におけるオブジェクトが認識されたフレームの位置と、シーン判別部２１１ｅにより判別されたシーンと、のいずれかに基づいて各オブジェクトを複数のグループに分類する。オブジェクト分類部２１１ｆがどの基準を選択するかはユーザが任意に選択できるようにしてもよいし、動画像の特徴等によりオブジェクト分類部２１１ｆが自動的にいずれかの基準を選択するようにしてもよい。
【００６５】
例えばオブジェクトの種類に基づいてオブジェクトを分類する場合、オブジェクト分類部２１１ｆは、人物のオブジェクトと、車のオブジェクトと、建物のオブジェクトと、をそれぞれ別々のグループに分類する。この場合、人物のオブジェクトが属するグループと、車のオブジェクトが属するグループと、建物のオブジェクトが属するグループと、の３つのグループがオブジェクト分類部２１１ｆにより作成される。
【００６６】
例えば動画像の時間軸上におけるオブジェクトが認識されたフレームの位置に基づいてオブジェクトを分類する場合、オブジェクト分類部２１１ｆは、動画像全体を所定間隔ごとに区切り、その区切り毎にグループを作成する。そして、その区切りに含まれる全てのオブジェクトを、同一のグループに分類する。例えば全体で３分の動画像を１分毎に区切り、先頭から１分時点までのグループ、１分時点から２分時点までのグループ、２分時点から終端までのグループ、という３つのグループがオブジェクト分類部２１１ｆにより作成される。
【００６７】
例えばシーン判別部２１１ｅにより判別されたシーンに基づいてオブジェクトを分類する場合、オブジェクト分類部２１１ｆは、動画像全体におけるシーンの切り替わりを検出する。そして、同一シーンの区間毎にグループを作成する。そして、その区間に含まれる全てのオブジェクトを、同一のグループに分類する。
【００６８】
（領域分割部２１１ｇの説明）
図１２は、領域分割部２１１ｇによる領域の分割例を示す図である。領域分割部２１１ｇは、静止画像の全体領域を、複数のグループ毎の領域に分割する。例えば図１２では、静止画像４００を、タイル状に区切った４つの領域４００ａ、４００ｂ、４００ｃ、４００ｄに分割している。画像作成部２１１ｃは、このようにして区切られた各領域に、各グループに分類されたオブジェクトを配置する。例えば１つ目のグループに分類された各オブジェクトを領域４００ａに、２つ目のグループに分類された各オブジェクトを領域４００ｂにそれぞれ配置する。各領域における画像作成部２１１ｃによるオブジェクトの配置基準は、第２の実施の形態と同様である。
【００６９】
上述した第３の実施の形態による画像処理装置によれば、次の作用効果が得られる。
（１）オブジェクト分類部２１１ｆは、オブジェクト抽出部２１１ｂにより認識された複数のオブジェクトを複数のグループに分類する。画像作成部２１１ｃは、複数のグループに基づいて静止画像を作成する。このようにしたので、よりわかりやすい静止画像を作成することが可能となる。
【００７０】
（２）領域分割部２１１ｇは、静止画像の全体領域を、複数のグループ毎の領域に分割する。画像作成部２１１ｃは、複数のグループの各々について、当該グループに含まれるオブジェクトを当該グループに対応する領域に配置する。このようにしたので、１つの静止画像に各オブジェクトがより的確に配置される。
【００７１】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施形態と組み合わせることも可能である。
【００７２】
（変形例１）
代表画像の作成は、サムネイル表示を行う際に実行してもよいし、動画像ファイルを作成する際に実行してもよい。例えばビデオカメラに上述した代表画像の作成処理を実行させてもよい。また、作成された代表画像を、動画像ファイルに関連付けられた画像ファイルとして記録媒体に記録してもよい。
【００７３】
（変形例２）
上述した実施の形態の説明では、オブジェクト合成処理とベストショット合成処理という２つの処理を切り替えて代表画像を作成していたが、これらのうち一方の処理のみを用いて代表画像を作成するように画像処理装置を構成してもよい。
【００７４】
（変形例３）
オブジェクト抽出部１１ｂが所定の数よりも多くのオブジェクトを認識した場合、それらのオブジェクトのうち一部のもののみを抽出するようにしてもよい。例えば、所定のサイズ以下のオブジェクトは抽出しないようにしてもよいし、オブジェクトの種類や形状に基づき抽出するオブジェクトを限定するようにしてもよい。また、例えば顔認識などの技術を用いて、特定の人物のみが抽出されるようにしてもよい。あるいは、オブジェクトの一覧を表示し、抽出するオブジェクトをユーザに選択させるようにしてもよい。
【００７５】
（変形例４）
同一の物体のオブジェクトからいずれか１つを選択する基準として、オブジェクトの出現順以外の基準を用いてもよい。例えばサイズが最も大きいオブジェクトを選択してもよいし、コントラストが最も高いオブジェクトを選択するようにしてもよい。あるいは、所定の画像処理により算出された特徴量を用いてオブジェクトの選択を行うようにしてもよい。
【００７６】
（変形例５）
静止画像に複数のオブジェクトを配置する手法は、出現順に左から右の順で並べる以外の手法であってもよい。例えばランダムに静止画像全体に配置するようにしてもよい。また、オブジェクトの数が多い場合には、一部または全部のオブジェクトを縮小して静止画像に納めるようにしてもよい。あるいは、静止画像のサイズを大きくしてもよい。
【００７７】
（変形例６）
オブジェクト合成処理とベストショット合成処理との切り替えは、上述した実施の形態に限定されない。例えばユーザが手動でどちらの処理を用いるか選択できるようにしてもよいし、動画像ファイルに出現するオブジェクトの数が所定数より多い場合にはオブジェクト合成処理を用いるようにしてもよい。
【００７８】
（変形例７）
画像作成部１１ｃがオブジェクト合成処理において作成する静止画像は、何らかの背景を有するようにしてもよい。例えばフレーム選択部１１ａにより選択されたフレームのうちいずれかのフレームの背景を用いるようにしてもよいし、所定の背景画像を用いるようにしてもよい。
【００７９】
（変形例８）
主要被写体および主要オブジェクトの選択方法は、上述した実施の形態に限定されない。例えば最も強いエッジが検出されたフレームをベストショットとし、このフレームに含まれるオブジェクトを主要オブジェクトとする、等の方法であってもよい。
【００８０】
（変形例９）
１つの動画像から複数の静止画像を作成するようにしてもよい。また、これらの静止画像を縦横に連結した静止画像を代表画像としてもよい。例えば第３の実施の形態において、画像作成部２１１ｃが領域分割部２１１ｇにより分割された複数の領域に各グループのオブジェクトを配置するのではなく、グループ毎に複数の静止画像を作成するようにしてもよい。
【００８１】
（変形例１０）
抽出判定部１１１ｄがオブジェクトを静止画像に含めるか否かを判定する基準は、上述の実施形態のものに限定されない。例えば、ユーザが入力装置１１６を用いた操作によって静止画像に含めるオブジェクトを選択するようにしてもよい。この場合、抽出判定部１１１ｄはユーザが選択したオブジェクトについて肯定判定を行い、それ以外のオブジェクトについて否定判定を行う。また、予めユーザが特定の人物を登録しておくと、抽出判定部１１１ｄが周知の人物認識技術により当該人物のみを静止画像に含めるよう判定するようにしてもよい。更に、予めユーザがオブジェクトの種類（人、車、空など）を指定しておくと、抽出判定部１１１ｄが当該種類のオブジェクトのみを静止画像に含めるよう判定するようにしてもよい。
【００８２】
本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。
【符号の説明】
【００８３】
１、１００、２００  画像処理装置
１１、１１１、２１１  制御回路
１１ａ、１１１ａ、２１１ａ  フレーム選択部
１１ｂ、１１１ｂ、２１１ｂ  オブジェクト抽出部
１１ｃ、１１１ｃ、２１１ｃ  画像作成部
１１１ｄ、２１１ｄ  抽出判定部
１１１ｅ、２１１ｅ  シーン判別部
２１１ｆ  オブジェクト分類部
２１１ｇ  領域分割部
【図１】
2012044358.tif 000003
【図２】
2012044358.tif 000004
【図３】
2012044358.tif 000005
【図４】
2012044358.tif 000006
【図５】
2012044358.tif 000007
【図６】
2012044358.tif 000008
【図７】
2012044358.tif 000009
【図８】
2012044358.tif 000010
【図９】
2012044358.tif 000011
【図１０】
2012044358.tif 000012
【図１１】
2012044358.tif 000013
【図１２】
2012044358.tif 000014
【手続補正書】
【提出日】平成23年9月5日(2011.9.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、
前記選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、
前記抽出手段により認識された複数の物体像が認識されたフレームのシーンを判別するシーン判別手段と、
前記シーン判別手段で判別されたシーンに対応して物体像の種類に応じた優先順位を、前記抽出手段により認識された複数の物体像の各々に設定する優先順位設定手段と、
前記抽出手段により抽出された複数の物体像を前記優先順位に基づいて配置することにより、前記抽出された複数の物体像を含む静止画像を作成する画像作成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記画像作成手段は、前記優先順位に基づいて、前記静止画像における物体像の相対的な大きさと、前記静止画像における物体像が配置される位置と、のいずれか少なくとも１つを決定することを特徴とする画像処理装置。
【請求項３】
請求項１または２に記載の画像処理装置において、
前記抽出手段により認識された複数の物体像の各々について、該物体像を前記静止画像に含めるか否かを判定する判定手段を更に備え、
前記画像作成手段は、前記判定手段により否定判定された物体像を含まない前記静止画像を作成することを特徴とする画像処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載の画像処理装置において、
前記画像作成手段は、前記抽出手段により複数のフレームの各々から認識された複数の物体像が同一の物体の像であるかを認識し、同一の物体の像であると認識された場合は該複数の物体像のうちいずれか１つの物体像を前記静止画像に含めることを特徴とする画像処理装置。
【請求項５】
請求項３〜４に記載の画像処理装置において、
前記判定手段は、前記抽出手段により認識された複数の物体像の各々について、該物体像と同一の物体の像が含まれるフレームの数と、該物体像の大きさと、該物体像の合焦の度合いとに基づいて、該物体像を前記静止画像に含めるか否かを判定することを特徴とする画像処理装置。
【請求項６】
請求項３〜５に記載の画像処理装置において、
前記優先順位設定手段は、前記抽出手段により認識された複数の物体像の各々について、該物体像と同一の物体の像が含まれるフレームの数と、該物体像の大きさと、該物体像の合焦の度合いとに基づいて、前記優先順位を設定することを特徴とする画像処理装置。
【請求項７】
複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、
前記選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、
前記選択された複数のフレームの各々について、該フレームのシーンを判別するシーン判別手段と、
前記物体像の種類と、前記動画像の時間軸上における前記物体像が認識されたフレームの位置と、前記判別されたシーンとのいずれか少なくとも１つに基づき、前記抽出手段により認識された複数の物体像を複数のグループに分類する分類手段と、
前記抽出手段により抽出された複数の物体像を前記分類手段で分類されたグループ毎に配置して、前記抽出された複数の物体像を含む静止画像を作成する画像作成手段と
を備えることを特徴とする画像処理装置。  
【請求項８】
請求項７に記載の画像処理装置において、
前記静止画像の全体領域を、前記複数のグループ毎の領域に分割する領域分割手段を更に備え、
前記画像作成手段は、前記複数のグループの各々について、該グループに含まれる物体像を該グループに対応する前記領域に配置して前記静止画像を作成することを特徴とする画像処理装置。
【請求項９】
請求項７または８に記載の画像処理装置において、
前記分類手段は、動画像を所定間隔ごとに区切って、区切り毎にグループを作成し、その区切りに含まれるオブジェクトを同一のグループに分類することを特徴とする画像処理装置。
【請求項１０】
請求項７または８に記載の画像処理装置において、
前記分類手段は、動画像におけるシーンの切り替わりを検出し、同一シーンの区間毎にグループを作成し、その区間に含まれるオブジェクトを同一のグループに分類することを特徴とする画像処理装置。
【請求項１１】
複数のフレームにより構成される動画像から複数のフレームを選択する選択工程と、
前記選択された複数のフレームから所定の物体像を認識し抽出する抽出工程と、
前記抽出手段により認識された複数の物体像が認識されたフレームのシーンを判別するシーン判別工程と、
前記シーン判別工程で判別されたシーンに対応して物体像の種類に応じた優先順位を、前記抽出工程により認識された複数の物体像の各々に設定する優先順位設定工程と、
前記抽出工程により抽出された複数の物体像を前記優先順位に基づいて配置することにより、前記抽出された複数の物体像を含む静止画像を作成する画像作成工程と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【請求項１２】
複数のフレームにより構成される動画像から複数のフレームを選択する選択工程と、
前記選択された複数のフレームから所定の物体像を認識し抽出する抽出工程と、
前記選択された複数のフレームの各々について、該フレームのシーンを判別するシーン判別工程と、
前記物体像の種類と、前記動画像の時間軸上における前記物体像が認識されたフレームの位置と、前記判別されたシーンとのいずれか少なくとも１つに基づき、前記抽出工程により認識された複数の物体像を複数のグループに分類する分類工程と、 
前記抽出工程により抽出された複数の物体像を前記分類工程で分類されたグループ毎に配置して、前記抽出された複数の物体像を含む静止画像を作成する画像作成工程と
をコンピュータに実行させることを特徴とする画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
請求項１に係る発明は、複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、前記選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、前記抽出手段により認識された複数の物体像が認識されたフレームのシーンを判別するシーン判別手段と、前記シーン判別手段で判別されたシーンに対応して物体像の種類に応じた優先順位を、前記抽出手段により認識された複数の物体像の各々に設定する優先順位設定手段と、前記抽出手段により抽出された複数の物体像を前記優先順位に基づいて配置することにより、前記抽出された複数の物体像を含む静止画像を作成する画像作成手段とを備えることを特徴とする画像処理装置である。
請求項７に係る発明は、複数のフレームにより構成される動画像から複数のフレームを選択する選択手段と、選択された複数のフレームから所定の物体像を認識し抽出する抽出手段と、選択された複数のフレームの各々について、該フレームのシーンを判別するシーン判別手段と、物体像の種類と、動画像の時間軸上における物体像が認識されたフレームの位置と、判別されたシーンとのいずれか少なくとも１つに基づき、抽出手段により認識された複数の物体像を複数のグループに分類する分類手段と、抽出手段により抽出された複数の物体像を分類手段で分類されたグループ毎に配置して、抽出された複数の物体像を含む静止画像を作成する画像作成手段とを備えることを特徴とする画像処理装置である。