(57)【要約】アップショット検出装置（１０）は、映像を構成する少なくとも二つのフレーム又はフィールド間の動き量を、該フレーム又は該フィールドを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する動き検出手段（１０１）と、この演算された動き量を二値化する二値化手段（１０２）と、この二値化された動き量が同じである所定単位が連結してなる連結領域のうち、所定単位の数が所定閾値以上であるものを、大領域として特定する大領域特定手段（１０３，１０４）と、この特定された大領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、この特定された大領域を有するフレーム又はフィールドをアップショットとして特定するアップショット特定手段（１０５，１０６，１０８）とを備える。これにより、簡便且つ迅速にアップショットを検出できる。
2008129656.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成する少なくとも二つのフレーム又はフィールド間の動き量を、該フレーム又は該フィールドを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する動き検出手段と、
前記演算された動き量を二値化する二値化手段と、
前記二値化された動き量が同じである前記所定単位が連結してなる連結領域のうち、前記所定単位の数が所定閾値以上であるものを、大領域として特定する大領域特定手段と、
前記特定された大領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大領域を有するフレーム又はフィールドをアップショットとして特定するアップショット特定手段と
を備えることを特徴とするアップショット検出装置。
【請求項２】
前記大領域特定手段は、
前記連結領域を検出する連結領域検出手段と、
前記検出された連結領域のうち、前記所定単位の数が前記単位数閾値以上であるものを大領域として抽出する大領域抽出手段と
を備えることを特徴とする請求の範囲第１項に記載のアップショット検出装置。
【請求項３】
前記アップショット特定手段は、
前記抽出された大領域が、前記少なくとも一つが前記所定の条件を満たすか否かを判定する判定手段と、
前記所定の条件を満たすと判定された場合に、前記抽出された大領域を有するフレーム又はフィールドを前記アップショットとして検出するアップショット検出手段と
を備えることを特徴とする請求の範囲第１項に記載のアップショット検出装置。
【請求項４】
前記複数の評価項目は、前記特定された大領域の面積と前記特定抽出された大領域に外接する矩形の面積との面積比を含み、
前記所定の条件は、前記面積比が面積比閾値以上である
ことを特徴とする請求の範囲第１項に記載のアップショット検出装置。
【請求項５】
前記複数の評価項目は、前記特定された大領域に外接する矩形の横幅及び縦幅の幅比を含み、
前記所定の条件は、前記幅比が所定範囲内である
ことを特徴とする請求の範囲第１項に記載のアップショット検出装置。
【請求項６】
前記複数の評価項目は、前記特定された大領域の重心位置を含み、
前記所定の条件は、前記重心位置が、前記フレーム又は前記フィールドの縦幅に対して所定位置より下である
ことを特徴とする請求の範囲第１項に記載のアップショット検出装置。
【請求項７】
前記動き検出手段は、前記所定単位の各々に対し、周波数解析を行い、前記動き量を演算することを特徴とする請求の範囲第１項に記載のアップショット検出装置。
【請求項８】
前記周波数解析は、二次元離散コサイン変換又は離散フーリエ変換を含んでいることを特徴とする請求の範囲第７項に記載のアップショット検出装置。
【請求項９】
前記連結領域検出手段は、前記フレーム上又は前記フィールド上における前記所定単位の各々に対しラベリング処理を行い、前記連結領域を検出することを特徴とする請求の範囲第２項に記載のアップショット検出装置。
【請求項１０】
前記特定された大領域の位置範囲を検出する位置範囲検出手段を更に備え、
前記アップショット検出手段は、前記所定の条件を満たすと判定された場合に、前記検出された位置範囲が前記フレームの中央に位置することを条件に、前記特定された大領域を有するフレームを前記アップショットとして検出する
ことを特徴とする請求の範囲第３項に記載のアップショット検出装置。
【請求項１１】
前記検出された領域の領域数を計数する計数手段を更に備え、
前記アップショット検出手段は、前記所定の条件を満たすと判定された場合に、前記計数された領域数が領域数閾値以下であることを条件に、前記特定された大領域を有するフレームを前記アップショットとして検出する
ことを特徴とする請求の範囲第３項に記載のアップショット検出装置。
【請求項１２】
前記フレーム又は前記フィールドに対して顔検出を行う顔検出手段を更に備えることを特徴とする請求の範囲第１項に記載のアップショット検出装置。
【請求項１３】
請求項１に記載のアップショット検出装置と、
前記映像について、受信、送信、再生、撮影、記録及び編集のうち少なくとも一つの処理を行う処理手段と
を備えることを特徴とする電子機器。
【請求項１４】
映像を構成する少なくとも二つのフレーム又はフィールド間の動き量を、該フレーム又は該フィールドを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する動き検出工程と、
前記演算された動き量を二値化する二値化工程と、
前記二値化された動き量が同じである前記所定単位が連結してなる連結領域のうち、前記所定単位の数が所定閾値以上であるものを、大領域として特定する大領域特定手段と、
前記特定された大領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大領域を有するフレーム又はフィールドをアップショットとして特定するアップショット特定工程と
を備えることを特徴とするアップショット検出方法。
【請求項１５】
コンピュータを、
映像を構成する少なくとも二つのフレーム又はフィールド間の動き量を、該フレーム又は該フィールドを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する動き検出手段と、
前記演算された動き量を二値化する二値化手段と、
前記二値化された動き量が同じである前記所定単位が連結してなる連結領域のうち、前記所定単位の数が所定閾値以上であるものを、大領域として特定する大領域特定手段と、
前記特定された大領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大領域を有するフレーム又はフィールドをアップショットとして特定するアップショット特定手段と
として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、ビデオ等の動画に含まれるアップショットを検出するアップショット検出装置及び方法、電子機器、並びにコンピュータプログラムに関する。
【背景技術】
【０００２】
この種の装置における検出方法では、例えば映像中における人の顔がアップにされているショット或いはフレーム画像に代表される、動物体の一部又は全部によって主要な領域が意図的に若しくは非偶発的に大きく占められているショット或いはショットシーン（以下適宜「アップショット」という）やそのショットに係るフレーム画像（以下適宜「アップフレーム」或いは「アップショットフレーム」という）を検出する。例えば、複数のフレーム画像を用いて動きベクトルを算出し、該算出された動きベクトル全体が所定のカメラワークモデルに則しているか否かを判定して、則していないと判定された場合に、動物体アップフレームとして検出する装置が提案されている（特許文献１参照）。【０００３】
【特許文献１】特開２００６−２４４０７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の背景技術によれば、カメラワークモデルに則しているか否かを判定するために、動きベクトルを算出しなければならず、アップフレーム或いはアップショットを検出するまでに時間がかかる可能性があるという技術的問題点がある。加えて、カメラワークモデルを定義しなければならないという技術的問題点がある。【０００５】
本発明は、例えば上記問題点に鑑みてなされたものであり、簡便且つ迅速にアップショットを検出できるアップショット検出装置及び方法、電子機器、並びにコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明のアップショット検出装置は、上記課題を解決するために、映像を構成する少なくとも二つのフレーム又はフィールド間の動き量を、該フレーム又は該フィールドを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する動き検出手段と、前記演算された動き量を二値化する二値化手段と、前記二値化された動き量が同じである前記所定単位が連結してなる連結領域のうち、前記所定単位の数が所定閾値以上であるものを、大領域として特定する大領域特定手段と、前記特定された大領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大領域を有するフレーム又はフィールドをアップショットとして特定するアップショット特定手段とを備える。【０００７】
本発明のアップショット検出装置によれば、動作時には、先ず、例えばプロセッサ、メモリ等を備えてなる、動き検出手段によって、映像を構成する少なくとも二つのフレーム又はフィールド間の動き量が所定単位毎に演算される。ここに、本発明に係る「所定単位」とは、フレーム画像又はフィールド画像を構成する一画素であってもよいし、複数の画素からなる区画（例えば、縦１６画素×横１６画素）であってもよい。【０００８】
本発明に係る「少なくとも二つのフレーム又はフィールド」とは、例えば、ビデオカメラ等によって撮影された動画（即ち、映像）を構成しており、時間軸上にて一定間隔又は任意間隔で撮像或いは取得、入力、生成等される複数のフレーム画像又はフィールド画像のうち、相前後する少なくとも二つのフレーム画像又はフィールド画像である。典型的には、時間軸上で他フレーム又はフィールドを間に挟むことなく連続して並ぶ二つのフレーム又はフィールドであるが、時間軸上で他の少数のフレーム又はフィールドを間に挟んで断続的に並ぶ二つのフレーム又はフィールドであってもよい。【０００９】
本発明に係る「動き量」とは、フレーム内又はフィールド内に写っている物体が動いたり、例えばパン等のカメラワークがあったりすることによる、少なくとも二つのフレーム間、或いは少なくとも二つのフィールド間における位置の差分を意味する。この動き量は、例えば、所定ブロック単位の、サンプリング時刻の異なる複数のフレーム又はフィールド間における差分が最小となる移動ベクトルを求めるブロックマッチング手法、或いは、一画素単位での移動ベクトルを求めるオプティカルフロー算出手段等を用いて演算すればよい。【００１０】
具体的には例えば、映像がプログレッシブ方式で撮像等されている場合、二つのフレームのうち一方のフレームを構成している複数のライン（即ち、走査線）のうち奇数番目のラインからなる奇数フィールドを抽出し、他方のフレームの偶数番目のラインからなる偶数フィールドを抽出する。次に、抽出された一方のフレームの奇数フィールドと、抽出された他方のフレームの偶数フィールドとを合わせて、動き量演算処理のためのフレームを生成して、該生成されたフレームから動き量を所定単位毎に求める。【００１１】
或いは、映像がインターレース方式で撮像等されている場合、奇数フィールド及び偶数フィールドを合わせて、動き量演算処理のためのフレームを生成して、該生成されたフレームから動き量を所定単位毎に求める。【００１２】
続いて、例えばプロセッサ、メモリ等を備えてなる、大領域特定手段によって、二値化された動き量が同じである複数の所定単位が連結してなる連結領域のうち、所定単位の総数が、予め設定された単位数閾値以上であるものが、大領域として特定される。尚、連結領域の検出又は特定は、例えば、ラベリング処理等により行われる。また、「単位数閾値」とは、大領域か否かを決定する値であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。或いは、ユーザーがアップショットを定義して、手動で設定してもよい。この単位数閾値は、映像の解像度や所定単位にもよるが、例えば、映像の解像度が縦４８０画素×横７２０画素、所定単位が、縦１６画素×横１６画素の区画である場合には、６０区画であり、アップショット候補であると推定可能な値として設定されている。【００１３】
続いて、例えばプロセッサ、メモリ等を備えてなる、アップショット特定手段によって、上記特定された大領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、上記特定された大領域を有するフレーム又はフィールドが、アップショットとして特定される。逆に、上記特定された大領域について、予め設定された複数の評価項目のうちいずれもが所定の条件を満たさない場合には、上記特定された大領域を有するフレーム又はフィールドが、アップショットとして特定されることはない。ここに「評価項目」は、例えば、大領域の形状やフレーム上の位置等である。また「所定の条件」とは、アップショットであるか否かを決定する条件であり、確実にアップショットであると推定可能な条件として設定されている。【００１４】
本発明では、二値化を利用した統計処理の結果に従って、フレーム内又はフィールド内の何処に或いはどのようなアップショットが存在するかを明らかにすることなく、フレームの単位又はフィールドの単位で、アップショットに係るものであるか否かを特定している。即ち、本発明では、フレームの単位又はフィールドの単位でアップショットであるか否かを特定することに特化した処理を実行する。言い換えれば、フレーム内又はフィールド内の何処に或いはどのようなアップショットが存在するかを明らかにするための動きベクトルを用いた複雑高度な処理や、アップショットをなす人や動物を特定するパターン認識或いはオブジェクト認識等の複雑高度な処理などを実行することを要しない。【００１５】
具体的には、本発明では、フレーム内又はフィールド内において物体が所定速度以上で動いているか否か（即ち、動き検出手段によって演算された動き量が所定閾値以上であるか否か）が判定可能であればよく、物体の動き方向、実際の移動速度、距離等を特定することを要しない。更に、閾値を設けることによって、フレーム内又はフィールド内における物体の比較的大きな動きのみを検出又は抽出することによって、処理量を大幅に低減している。【００１６】
本発明は、フレームの単位又はフィールドの単位でアップショットであるか否かを特定するという目的を達成するための過程で、付加的或いは余分な情報が生成されることを極力排除することで、最低限或いはそれに近いデータ処理を経てこの本来の目的を達成していると言える。従って、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）符号化器等に用いられる動きベクトル探索手段に比べ、大幅に少ない演算量で目的を達することができ、一連の処理にかかる時間を短縮することが可能となる。【００１７】
以上の結果、本発明のアップショット検出装置によれば、簡便且つ迅速にアップショットを検出することができる。【００１８】
本発明のアップショット検出装置の一態様では、前記大領域特定手段は、前記連結領域を検出する連結領域検出手段と、前記検出された連結領域のうち、前記所定単位の数が前記単位数閾値以上であるものを大領域として抽出する大領域抽出手段とを備える。【００１９】
この態様では、大領域特定手段において、先ず、例えばプロセッサ、メモリ等を備えてなる、連結領域検出手段によって、二値化された動き量が同じである所定単位が抽出され、該抽出された所定単位が連結してなる領域が検出される。続いて、例えばプロセッサ、メモリ等を備えてなる、大領域抽出手段によって、検出された領域に含まれる所定単位の数が単位数閾値以上である領域が大領域として抽出される。よって、二値化された動き量に基づいて、大領域を極めて効率的に特定できる。【００２０】
本発明のアップショット検出装置の他の態様では、前記アップショット特定手段は、前記抽出された大領域が、前記少なくとも一つが前記所定の条件を満たすか否かを判定する判定手段と、前記所定の条件を満たすと判定された場合に、前記抽出された大領域を有するフレーム又はフィールドを前記アップショットとして検出するアップショット検出手段とを備える。【００２１】
この態様では、アップショット特定手段において、先ず、例えばプロセッサ、メモリ等を備えてなる、評価手段によって、抽出された大領域に対し、複数の評価項目に夫々対応する複数の評価値が付与される。評価値は、例えば、形状である場合は、大領域に外接する矩形の横幅及び縦幅の比（即ち、アスペクト比）等である。或いは、フレーム上の位置である場合は、大領域の中心のフレーム上における座標や、大領域に外接する矩形の、一又は複数の頂点のフレーム上における座標等である。続いて、例えばプロセッサ、メモリ等を備えてなる、判定手段によって、付与された複数の評価値のうち少なくとも一つの評価値が、該評価値に対応する所定の条件を満たすか否かが判定される。続いて、所定の条件を満たすと判定された場合、例えばプロセッサ、メモリ等を備えてなる、アップショット検出手段により、抽出された大領域を有するフレーム又はフィールドがアップショットとして検出される。よって、特定された大領域に基づいて、アップショットを極めて効率的に特定できる。【００２２】
本発明のアップショット検出装置の他の態様では、前記複数の評価項目は、前記特定された大領域の面積と前記特定された大領域に外接する矩形の面積との面積比を含み、前記所定の条件は、前記面積比が面積比閾値以上である。【００２３】
この態様によれば、複数の評価項目には、特定された大領域の面積と特定された大領域に外接する矩形の面積との面積比が含まれている。この場合には、例えば評価手段は評価値として、面積比を付与する。【００２４】
「面積比閾値」とは、アップショットであるか否かを決定する値であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。この面積比閾値は、確実にアップショットであると推定可能な値として設定されている。尚、「面積比」及び「面積比閾値」は、比に限らず、百分率や割合であってもよい。【００２５】
本発明のアップショット検出装置の他の態様では、前記複数の評価項目は、前記特定された大領域に外接する矩形の横幅及び縦幅の幅比を含み、前記所定の条件は、前記幅比が所定範囲内である。【００２６】
この態様によれば、複数の評価項目には、特定された大領域に外接する矩形の横幅及び縦幅の幅比（即ち、アスペクト比）が含まれている。この場合には、例えば評価手段は評価値として、幅比を付与する。尚、「幅比」は、比に限らず、百分率や割合であってもよい。【００２７】
「所定範囲」とは、アップショットであるか否かを決定する範囲であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。この所定範囲は、例えば、０．７≦横幅／縦幅≦１．２であり、確実にアップショットであると推定可能な値として設定されている。【００２８】
本発明のアップショット検出装置の他の態様では、前記複数の評価項目は、前記特定された大領域の重心位置を含み、前記所定の条件は、前記重心位置が、前記フレーム又は前記フィールドの縦幅に対して所定位置より下である。【００２９】
この態様によれば、複数の評価項目には、特定された大領域の重心位置が含まれている。この場合には、例えば評価手段は評価値として、重心位置を付与する。尚、「重心位置」は、典型的には、フレームにおける座標値で表されている。「座標値」は、絶対値でもよいし、例えば、フレームの横幅又は縦幅に対する、比、割合又は百分率であってもよい。【００３０】
「所定位置」とは、アップショットであるか否かを決定する位置（例えば、座標値）であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。この所定位置は、確実にアップショットであると推定可能な位置として設定されている。【００３１】
尚、「フレームの縦幅に対して所定位置より下」とは、重心位置がフレームのＹ軸方向における所定位置より下部に存在することを意味する。具体的には例えば、フレームの左上隅の座標がＸ＝０，Ｙ＝０である場合、重心位置のＹ座標の値が、所定位置のＹ座標の値より大きいことを意味する。【００３２】
本発明のアップショット検出装置の他の態様では、前記動き検出手段は、前記所定単位の各々に対し、周波数解析を行い、前記動き量を演算する。【００３３】
この態様によれば、動き検出手段は、少なくとも二つのサンプリング時刻の異なるフレーム又はフィールドから生成された動き量演算処理のためのフレームの所定単位夫々における画像信号に対し、周波数解析を行う。続いて、該行った周波数解析の結果に基づいて、所定単位における垂直方向の最高周波数成分と該所定単位全体とのパワー比を求めて動き量とする。【００３４】
この態様では、前記周波数解析は、二次元離散コサイン変換又は離散フーリエ変換を含んでいてもよい。【００３５】
このように構成すれば、効率よく動き量を演算することができ、より処理にかかる時間を短縮することが可能となる。【００３６】
上述の連結領域検出手段を備える態様では、前記連結領域検出手段は、前記フレーム上又は前記フィールド上における前記所定単位の各々に対してラベリング処理を行い、前記連結領域を検出してもよい。【００３７】
このように構成すれば、ラベリング処理を利用することで、比較的容易にして、連結領域を検出することができる。【００３８】
上述のアップショット検出手段を備える態様では、前記特定された大領域の位置範囲を検出する位置範囲検出手段を更に備え、前記アップショット検出手段は、所定の条件を満たすと判定された場合に、前記検出された位置範囲が前記フレームの中央に位置することを条件に、前記特定された大領域を有するフレーム又はフィールドをアップショットとして検出してもよい。【００３９】
このように構成すれば、例えばプロセッサ、メモリ等を備えてなる、位置範囲検出手段は、特定された大領域の位置範囲を検出する。位置範囲は、例えば、大領域の重心及び該大領域に外接する矩形の各頂点の座標で表される。尚、「中央」とは、大領域に外接する矩形の各頂点のいずれもが、フレーム又はフィールドの端部上にないという意味である。【００４０】
これにより、例えば、対象物の前を、対象としていない物体（以下、遮蔽物ともいう）が通過することによって、遮蔽物がアップで撮影されているフレーム又はフィールドをアップショットとして検出することを防止することができ、実用上非常に有利である。【００４１】
上述のアップショット検出手段を備える態様では、前記検出された領域の領域数を計数する計数手段を更に備え、前記アップショット検出手段は、所定の条件を満たすと判定された場合に、前記計数された領域数が領域数閾値以下であることを条件に、前記特定された大領域を有するフレーム又はフィールドを前記アップショットとして検出してもよい。【００４２】
このように構成すれば、例えばプロセッサ、メモリ等を備えてなる、計数手段は、検出された領域の領域数を計数する。例えば、ズームやパン等のカメラワークがあった際に撮影されたフレーム又はフィールドでは、多数の領域が検出されることが本願発明者の研究により判明している。従って、検出された領域数を計数することによって、カメラワークがあったか否かを判定することができる。【００４３】
尚、「領域数閾値」とは、カメラワークがあったか否かを決定する値であり、典型的には、予め固定値として設定されているが、何らかのパラメータに応じた可変値として設定されていてもよい。この領域数閾値は、映像の解像度や所定単位にもよるが、例えば、映像の解像度が縦４８０画素×横７２０画素、所定単位が、縦１６画素×横１６画素の区画である場合には、例えば１０であり、確実にカメラワークがあったと推定可能な値として設定されている。【００４４】
本発明のアップショット検出装置の他の態様では、前記フレーム又は前記フィールドに対して顔検出を行う顔検出手段を更に備える。【００４５】
この態様によれば、アップで撮影されている対象物が静止している場合、即ち、動き検出手段、二値化手段、連結領域検出手段、及び大領域特定手段による一連の処理によって、検出されない場合であっても、例えばプロセッサ、メモリ等を備えてなる、顔検出手段によって検出された顔領域の面積が所定面積以上であることを条件に、アップショットとして検出することができる。【００４６】
本発明の電子機器は、上記課題を解決するために、上述したアップショット検出装置（但し、その各種態様を含む）と、前記映像について、受信、送信、再生、撮影、記録及び編集のうち少なくとも一つの処理を行う処理手段とを備える。【００４７】
本発明の電子機器によれば、上述した本発明に係るアップショット検出装置を具備してなるので、簡便且つ迅速にアップショットを検出することができる。この結果、チャプターのサムネイル表示やダイジェスト再生に適した、編集機能・撮影補助機能付ビデオカメラ、動画再生装置、ビデオ編集機、ビデオサーバ、ビデオストレージ機器等の各種電子機器を実現することができる。特に、アップショット検出装置により特定されるアップショットに基づいて、各種の処理を行うことも可能となる。【００４８】
本発明のアップショット検出方法は、上記課題を解決するために、映像を構成する少なくとも二つのフレーム又はフィールド間の動き量を、該フレーム又は該フィールドを構成する一画素又は複数の隣接画素からなる所定単位毎に演算する動き検出工程と、前記演算された動き量を二値化する二値化工程と、前記二値化された動き量が同じである前記所定単位が連結してなる連結領域のうち、前記所定単位の数が所定閾値以上であるものを、大領域として特定する大領域特定手段と、前記特定された大領域について、予め設定された複数の評価項目のうち少なくとも一つが所定の条件を満たす場合に、前記特定された大領域を有するフレーム又はフィールドをアップショットとして特定するアップショット特定工程とを備える。【００４９】
本発明のアップショット検出方法によれば、上述した本発明のアップショット検出装置と同様に、簡便且つ迅速にアップショットを検出することができる。【００５０】
尚、本発明のアップショット検出方法においても、上述した本発明のアップショット検出装置における各種態様と同様の各種態様を採ることが可能である。【００５１】
本発明のコンピュータプログラムは、上記課題を解決するために、コンピュータを、上述した本発明のアップショット検出装置（但し、その各種態様を含む）として機能させる。【００５２】
本実施形態のコンピュータプログラムによれば、当該コンピュータプログラムを格納するＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、計測システムに備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを通信手段を介してダウンロードさせた後に実行させれば、上述した本発明のアップショット検出装置を比較的容易にして実現できる。これにより、上述した本発明のアップショット検出装置の場合と同様に、簡便且つ迅速にアップショットを検出することができる。【００５３】
本発明の作用及び他の利得は次に説明する実施するための最良の形態から明らかにされよう。【００５４】
以上詳細に説明したように、本発明のアップショット検出装置によれば、動き検出手段、二値化手段、大領域特定手段、及びアップショット特定手段を備え、本発明のアップショット検出方法によれば、動き検出工程、二値化工程、大領域特定工程、及びアップショット特定工程を備え、本発明のコンピュータプログラムによれば、コンピュータを上述のアップショット検出装置として機能させるので、簡便且つ迅速にアップショットを検出することができる。
【図面の簡単な説明】
【００５５】
【図１】第１実施形態に係るビデオカメラの構成を示すブロック図である。
【図２】第１実施形態に係る時間軸上で並ぶ複数のフレーム画像を図式的に示す概念図である。
【図３】第１実施形態に係る動き量演算処理のためのフレーム画像におけるブロックの一例を図式的に示す概念図である。
【図４】第１実施形態に係る大領域の評価項目の一例を示す概念図である。
【図５】第１実施形態に係るアップショット検出装置における動物体アップショット検出処理を示すフローチャートである。
【図６】第１実施形態に係るアップショット検出装置における顔検出処理を示すフローチャートである。
【図７】第２実施形態に係るアップショット検出装置の構成を示すブロック図である。
【図８】第２実施形態に係るアップショット検出装置における動物体アップショット検出処理を示すフローチャートである。
【符号の説明】
【００５６】
１  ビデオカメラ
１０  アップショット検出装置
２０  撮影装置
３０  制御部
４０  記憶装置
５０  表示装置
６０  操作パネル
【発明を実施するための最良の形態】
【００５７】
以下、本発明のアップショット検出装置を備える電子機器の一例としてのビデオカメラに係る実施形態を図面に基づいて説明する。【００５８】
＜第１実施形態＞
本発明のアップショット検出装置を備えるビデオカメラに係る第１実施形態を、図１乃至図５を参照して説明する。【００５９】
先ず、図１を参照して本実施形態に係るビデオカメラの構成について説明する。図１は、本実施形態に係るビデオカメラの構成を示すブロック図である。【００６０】
図１において、ビデオカメラ１は、アップショット検出装置１０、撮影装置２０、制御部３０、記憶装置４０、表示装置５０、及び操作パネル６０を備えて構成されている。【００６１】
アップショット検出装置１０は、動き検出部１０１、二値化部１０２、領域検出部１０３、大領域抽出部１０４、評価部１０５、判定部１０６、領域数計数部１０７、アップショット検出部１０８、及び顔検出部１０９を備えて構成されている。【００６２】
ここに、本実施形態に係る「動き検出部１０１」、「二値化部１０２」、「領域数計数部１０７」及び「顔検出部１０９」は、夫々、本発明に係る「動き検出手段」、「二値化手段」、「計数手段」及び「顔検出手段」の一例である。本実施形態に係る「領域検出部１０３」及び「大領域抽出部１０４」は、夫々、本発明に係る「連結領域検出手段」及び「大領域抽出手段」の一例であり、これら両者により「大領域特定手段」の一例が構成されている。本実施形態に係る「評価部１０５」、「判定部１０６」及び「アップショット検出部１０８」は、夫々、本発明に係る「評価手段」、「判定手段」及び「アップショット検出手段」の一例であり、これら三者により、「アップショット特定手段」の一例が構成されている。【００６３】
撮影装置２０は、例えば、レンズやＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）を含んで構成されており、動画や、連続写真を撮影し、時間軸上で所定間隔或いは一定間隔で並ぶ複数の、本発明に係る「フレーム」の一例としてのフレーム画像を生成するように構成されている。記憶装置４０は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）や不揮発性のメモリであり、撮影装置２０によって生成された動画等を逐次蓄える。【００６４】
制御部３０は、操作ボタン６０によって受け付けられたユーザーからの指示に応じて、撮影装置２０を制御したり、該撮影装置２０によって撮影された動画等を、例えば、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）等である、表示装置５０に表示したり、或いは、撮影された動画等からアップショットを検出するようにアップショット検出装置１０を制御したりする。【００６５】
操作ボタン６０によって、アップショット検出の要求が受け付けられた際に、制御部３０は、記憶装置４０に蓄えられている、動画（又は、連続写真）を読み込むようにアップショット検出装置１０を制御する。【００６６】
ここで、図２を参照して、フレーム画像について説明を加える。図２は、本実施形態に係る時間軸上で並ぶ複数のフレーム画像を図式的に示す概念図である。【００６７】
図２において、動画ＭＩ（又は、連続写真）は、時間軸ｔ上における各時刻ｔ１、ｔ２、…、ｔｎに取得された複数のフレーム画像ＭＩ１、ＭＩ２、…、ＭＩｎから構成されている。ここで、フレーム画像ＭＩ１に着目すると、フレーム画像ＭＩ１は、複数のライン３００から構成されている。該複数のライン３００は、フレーム画像ＭＩ１の上から順に、０、１、２、…と番号が付与されている。図２において、３００ｅ及び３００ｏは、夫々、偶数番目のライン及び奇数番目のラインを示している。【００６８】
再び、図１に戻り、動き検出部１０１は、アップショット検出装置１０の入力端子Ｐ１を介して読み込まれた動画の少なくとも二つのフレーム画像又はフィールド画像間の動き量を、本発明に係る「所定単位」の一例としてのブロック単位で演算する。【００６９】
具体的には、先ず、読み込まれた動画（即ち、入力映像信号）がインターレース方式である場合には、フレーム画像ＭＩ１における偶数番目のライン３００ｅからなる偶数フィールドと奇数番目のライン３００ｏからなる奇数フィールドとを合わせて、動き量演算処理のためのフレーム画像を生成する。【００７０】
或いは、読み込まれた動画がプログレッシブ方式の場合には、例えば、フレーム画像ＭＩ１の奇数フィールドとフレーム画像ＭＩ２の偶数フィールドとを合わせて、動き量演算処理のためのフレーム画像を生成する。尚、奇数フィールド及び偶数フィールドの組み合わせは逆でもよいし、連続して並ぶフレーム画像に限らず、数フレーム飛び越して組み合わせてもよい。この場合、組み合わせるフレーム画像間の時間差が大きくなると、フレーム画像内において動きの遅い物体も検出することが可能となるが、該物体の組み合わせるフレーム画像間の移動距離がブロックの大きさを超えると検出できなくなるため、組み合わせるフレーム画像は、数フレーム以内であることが望ましい。【００７１】
インターレース方式であるか、プログレッシブ方式であるかにかかわらず、連続して並ぶ二つのフレーム画像のうち一方の奇数フィールドと、他方の偶数フィールドとを合わせて、動き量演算処理のためのフレーム画像を生成してもよいし、奇数フィールド同士又は偶数フィールド同士を合わせて、動き量演算処理のためのフレーム画像を生成してもよい。尚、本実施形態に係る「奇数フィールド」及び「偶数フィールド」は、本発明に係る「フィールド」の一例である。【００７２】
次に、動き検出部１０１は、生成された動き量演算処理のためのフレーム画像のブロック夫々における、輝度値や濃度値等を示す映像信号に対し、二次元コサイン変換又は離散フーリエ変換等の周波数解析を行う。続いて、該行った周波数解析の結果に基づいて、ブロックにおける垂直方向の最高周波数成分とブロック全体とのパワー比を求めて動き量とする。【００７３】
ここで、図３を参照して、ブロックについて説明を加える。図３は、本実施形態に係る動き量演算処理のためのフレーム画像におけるブロックの一例を図式的に示す概念図である。【００７４】
図３（ａ）において、動き量演算処理のためのフレーム画像３１０は、複数のブロック３１１に区画されている。ブロック３１１は、図３（ｂ）に示すように、フレーム画像３１０を構成している複数の画素３１１ｐを所定数（ここでは、縦１６画素×横１６画素）含んで構成されている。【００７５】
例えば、周波数解析として二次元コサイン変換を用いた場合、動き検出部１０１は、二次元コサイン変換係数に応じて、動きのあるブロック（即ち、少なくとも二つのフレーム画像又はフィールド画像間において位置が変化した物体が写っているブロック）を検出するための動き量を演算する。具体的には例えば、水平方向の画素数がｍ、垂直方向の画素数がｎからなるブロックを二次元コサイン変換した、水平方向ｕの空間周波数と垂直方向ｖの空間周波数とからなる変換空間座標における二次元コサイン変換係数Ｘｕ，ｖを用いて、下記式（１）によって動き量を演算する。【００７６】
【数１】
2008129656.tif 000003
再び、図１に戻り、二値化部１０２は、演算された動き量を二値化する。領域検出部１０３は、二値化された動き量のうち一方の値のブロックを抽出して、該抽出されたブロックが連結してなる領域を検出する。具体的には、二値化されたフレーム画像３１０に対して、ラベリング処理を施して、領域を検出している。【００７７】
次に、大領域抽出部１０４は、検出された領域に含まれるブロックの数が、本発明に係る「単位数閾値」の一例としてのブロック数閾値（例えば、６０ブロック）以上である領域を大領域として抽出する。【００７８】
次に、評価部１０５は、抽出された大領域に対し、複数の評価項目に夫々対応する複数の評価値を付与する。【００７９】
ここで、図４を参照して、複数の評価項目について説明を加える。ここに、図４は、本実施形態に係る大領域の評価項目の一例を示す概念図である。【００８０】
評価部１０５は、フレーム画像３１０上の大領域４０１に対し、該大領域４０１の面積と該大領域４０１に外接する外接矩形４０２の面積との面積比、外接矩形４０２の横幅４０２ｘ及び縦幅４０２ｙの幅比（以下、アスペクト比ともいう）、大領域４０１の重心４０１ｇの重心位置等に対応する評価値を付与する。【００８１】
再び、図１に戻り、領域数計数部１０７は、領域検出部１０３によって検出された領域の数を計数する。【００８２】
判定部１０６は、大領域４０１に対して付与された複数の評価値のうち少なくとも一つの評価値が、該評価値に対応する所定の条件を満たすか否かを判定する。ここで、所定の条件は、評価値が面積比である場合には、面積比閾値（例えば、０．５）以上である、アスペクト比である場合には、該アスペクト比が所定の範囲内（例えば、０．７≦横幅４０２ｘ／縦幅４０２ｙ≦１．２）である、或いは、重心４０１ｇの重心位置である場合には、フレーム画像ＭＩ１の縦幅に対して所定位置より下である（例えば、重心４０１ｇがフレーム画像３１０の下部２／３に存在している）等である。【００８３】
判定部１０６は、更に、領域数計数部１０７によって計数された領域数が領域数閾値（例えば、１０）以下であるか否かを判定する。【００８４】
アップショット検出部１０８は、判定部１０６によって、複数の評価値のうち少なくとも一つの評価値が所定の条件を満たすと判定され、且つ領域数が領域数閾値以下であると判定された場合に、大領域４０１を有するフレーム画像３１０を構成する偶数フィールド若しくは奇数フィールド、又は該偶数フィールド若しくは奇数フィールドを含んでなるフレーム画像をアップショットとして検出し、出力端子Ｐ２を介して、結果を出力する。該出力された結果は、制御部３０によって、表示装置５０に表示され、或いは、記憶装置４０に格納される。このような一連の処理によって、動物体のアップショットを検出することができる。【００８５】
一方、顔検出部１０９は、読み込まれた動画ＭＩを構成する複数のフレーム画像ＭＩ１、ＭＩ２、…、ＭＩｎの夫々に対して、或いは、フレーム画像を構成する偶数フィールド又は奇数フィールドに対して、所定の顔検出処理を行う。具体的には例えば、フレーム画像ＭＩ１上の肌色領域を検出し、該肌色領域の面積・形状・位置等が夫々に対応する条件を満たしているか否かを判定して、満たしていると判定された場合に、顔として検出する。【００８６】
アップショット検出部１０８は、顔が検出されたフレーム画像をアップショットとして検出、出力端子Ｐ２を介して、結果を出力する。これにより、撮影対象物が静止している場合であっても、アップショットを検出することができる。【００８７】
以上の結果、本実施形態によれば、簡便且つ迅速にアップショットを検出することができる。従って、チャプターのサムネイル表示やダイジェスト再生に適したビデオカメラ１を提供することが可能となる。【００８８】
尚、図１を参照して説明した電子機器の他にも、動画再生装置、ビデオ編集機、ビデオサーバ、ビデオストレージ機器等が挙げられる。そして、これらの各種電子機器に適用可能なのは言うまでもない。【００８９】
次に、以上のように構成されたビデオカメラ１が備えるアップショット検出装置１０の動作について、図５及び図６のフローチャートを参照して説明を加える。ここに、図５は、本実施形態に係るアップショット検出装置における動物体アップショット検出処理を示すフローチャートであり、図６は、本実施形態に係るアップショット検出装置における顔検出処理を示すフローチャートである。【００９０】
尚、次に示す動作は、記憶装置４０又はその他の、アップショット検出装置１０に外付け若しくは内蔵された記憶装置に、ローディング、ダウンロード等されたコンピュータプログラムが、アップショット検出装置１０を構成する各部（図１参照）により適宜実行されることによって実行される。【００９１】
図５において、先ず、動き検出部１０１によって、読み込まれた動画ＭＩの少なくとも二つのフレーム画像又はフィールド画像間の動き量がブロック３１１単位で演算される（ステップＳ１０１）。次に、二値化部１０２によって、演算された動き量が二値化される（ステップＳ１０２）。次に、領域検出部１０３によって、二値化された動き量のうち一方の値のブロックが抽出され、該抽出されたブロックが連結してなる領域が検出される（ステップＳ１０３）。【００９２】
続いて、領域数計数部１０７によって、検出された領域の領域数が計数される（ステップＳ１０４）。領域数の計数と相前後して、大領域抽出部１０４によって、検出された領域に含まれるブロックの数がブロック数閾値以上である領域が大領域として抽出される（ステップＳ１０５）。【００９３】
次に、評価部１０５によって、抽出された大領域に対して、複数の評価項目に夫々対応する複数の評価値が付与される（ステップＳ１０６）。続いて、判定部１０６によって、付与された評価値が所定の条件を満たしているか否かが判定される（ステップＳ１０７）。満たしていないと判定された場合（ステップＳ１０７：Ｎｏ）、処理を一旦終了して、他のフレーム画像又はフィールド画像に対してステップＳ１０１からの処理を行う。【００９４】
満たしていると判定された場合（ステップＳ１０７：Ｙｅｓ）、続いて、判定部１０６によって、計数された領域数が領域数閾値以下であるか否かが判定される（ステップＳ１０８）。領域数閾値より多いと判定された場合（ステップＳ１０８：Ｎｏ）、処理を一旦終了して、他のフレーム画像又はフィールド画像に対してステップＳ１０１からの処理を行う。【００９５】
領域数閾値以下であると判定された場合（ステップＳ１０８：Ｙｅｓ）、アップショット検出部１０８によって、該当するフレーム画像又はフィールド画像をアップショットとして検出して、結果を出力する（ステップＳ１０９）と共に、他のフレーム画像又はフィールド画像に対してステップＳ１０１からの処理を行う。尚、ステップＳ１０７及びＳ１０８の各処理は、相前後して行われてもよい。【００９６】
図６において、顔検出部１０９によって、読み込まれた動画ＭＩを構成するフレーム画像又はフィールド画像に対し、所定の顔検出処理が施される（ステップＳ２０１）。次に、顔が検出されたか否かが判定され（ステップＳ２０２）、検出されないと判定された場合は（ステップＳ２０２：Ｎｏ）、処理を一旦終了して、他のフレーム画像又はフィールド画像に対してステップＳ２０１からの処理を行う。【００９７】
顔が検出されたと判定された場合（ステップＳ２０２：Ｙｅｓ）、アップショット検出部１０８によって、該当するフレーム画像又はフィールド画像をアップショットとして検出して、結果を出力する（ステップＳ２０３）と共に、他のフレーム画像又はフィールド画像に対してステップＳ２０１からの処理を行う。【００９８】
＜第２実施形態＞
本発明のアップショット検出装置を備えるビデオカメラに係る第２実施形態を、図７及び図８を参照して説明する。第２実施形態では、アップショット検出装置の構成が異なっている以外は、第１実施形態の構成と同様である。よって、第２実施形態について、第１実施形態と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図７及び図８を参照して説明する。図７は、図１と同趣旨の、第２実施形態に係るアップショット検出装置の構成を示す模式図である。【００９９】
図７において、アップショット検出装置１１は、動き検出部１０１、二値化部１０２、領域検出部１０３、大領域抽出部１０４、評価部１０５、判定部１０６、領域数計数部１０７、アップショット検出部１０８、顔検出部１０９、及び遮蔽物検出部２０１を備えて構成されている。ここに、本実施形態に係る「遮蔽物検出部２０１」は、本発明に係る「位置範囲検出手段」の一例である。【０１００】
遮蔽物検出部２０１は、第１実施形態における図４に示すような、大領域抽出部１０４によって抽出された大領域４０１が、フレーム画像３１０上のどこを占めているかを示す位置範囲を検出する。この位置範囲は、例えば、外接矩形４０２の左上隅４０２ａの座標、横幅４０２ｘ、及び縦幅４０２ｙによって表される。【０１０１】
アップショット検出手段１０８は、検出された位置範囲がフレーム画像３１０の中央に位置すると判定された場合に、他の条件を満たしていることを条件に、アップショットとして検出する。【０１０２】
これにより、例えば、対象物の前を遮蔽物が通過することによって、遮蔽物がアップで撮影されているフレーム画像又はフィールド画像をアップショットとして検出することを防止することができる。【０１０３】
次に、本実施形態におけるアップショット検出装置１１の動作について、図８のフローチャートを用いて説明する。本実施形態では、図５に示した第１実施形態における動物体アップショット検出処理のステップＳ１０７及びステップＳ１０８間に処理が追加されている以外は、第１実施形態と同様である。よって、第２実施形態について、第１実施形態と重複する説明を省略する。【０１０４】
判定部１０６によって、抽出された大領域４０１に付与された複数の評価値のうち、少なくとも一つの評価値が所定の条件を満たしていると判定された場合（ステップＳ１０７：Ｙｅｓ）、続いて、判定部１０６によって、検出された位置範囲がフレーム画像３１０の中央に位置しているか否かが判定される（ステップＳ３０１）。なお、ここにいう「画像の中央」とは、画像の縁にかからないことを意味してもよいし、画像の中心の周囲に設定された固定又は可変サイズの矩形又は円形のエリアを意味してもよい。【０１０５】
位置していると判定された場合（ステップＳ３０１：Ｙｅｓ）、続いて、ステップＳ１０８の処理が行われる。一方、位置していないと判定された場合（ステップＳ３０１：Ｎｏ）、処理を一旦終了して、他のフレーム画像又はフィールド画像に対して、ステップＳ１０１からの処理を行う。【０１０６】
尚、ステップＳ１０７、Ｓ１０８、及びＳ３０１の各処理は、相前後して行われてもよい。【０１０７】
尚、本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨、或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴うアップショット検出装置及び方法、電子機器、並びにコンピュータプログラムもまた、本発明の技術的範囲に含まれるものである。
【図１】
2008129656.tif 000004
【図２】
2008129656.tif 000005
【図３】
2008129656.tif 000006
【図４】
2008129656.tif 000007
【図５】
2008129656.tif 000008
【図６】
2008129656.tif 000009
【図７】
2008129656.tif 000010
【図８】
2008129656.tif 000011
【国際調査報告】
2008129656.tif 000012
2008129656.tif 000013