(57)【要約】  【課題】  より詳細なショット種別を判定することのできる非圧縮または圧縮された動画像データの分類装置を提供することにある。  【解決手段】  動画像データにおける爆発を含むショットを判定する爆発ショット判定部５１、チェイスを含むショットを判定するチェイスショット判定部５２、および顔のクローズアップを含むクローズアップショット判定部５３からなるショット分類部５を有する。爆発ショット判定部５１、チェイスショット判定部５２およびクローズアップショット判定部５３は、色情報解析部２、動き情報解析部３およびオーディオ解析部４からの解析情報の少なくとも一つを用いて、爆発、チェイス、およびクローズアップを判定する。爆発ショット判定部５１とチェイスショット判定部５２の前段にアクションショット判定部、クローズアップショット判定部５３の前段に会話ショット判定部を設けてもよい。  【選択図】  図１
2006277232.tif 000002
【特許請求の範囲】
【請求項１】
非圧縮または圧縮された動画像データの分類装置において、  前記動画像データのショット分割を行うショット分割部と、
前記動画像データにおける色情報を解析する色情報解析部と動き情報を解析する動き情報解析部と、
前記動画像データに付随するオーディオデータを解析するオーディオ解析部と、
前記色情報解析部、動き情報解析部およびオーディオ解析部からの解析情報の少なくとも一つを用いて、動画像データにおける爆発を含むショットを判定する爆発ショット判定部、チェイスを含むショットを判定するチェイスショット判定部、および顔のクローズアップを含むクローズアップショット判定部の少なくとも一つを具備したことを特徴とする動画像データの分類装置。
【請求項２】
請求項１に記載の動画像データの分類装置において、
前記動画像データは離散コサイン変換を用いて圧縮符号化されたデータであり、
前記色情報は、前記動画像データの輝度成分および色差成分に関する直流成分のみから構成される画像上で解析することを特徴とする動画像データの分類装置。
【請求項３】
請求項１または２に記載の動画像データの分類装置において、
前記色情報は、画像内の画素データ、画像内の色ヒストグラム、および画像内の色配置情報の少なくとも一つであることを特徴とする動画像データの分類装置。
【請求項４】
請求項１に記載の動画像データの分類装置において、
前記爆発ショット判定部は、画像内の色情報と、オーディオデータのレベルとの少なくとも一つにより判定することを特徴とする動画像データの分類装置。
【請求項５】
請求項４に記載の動画像データの分類装置において、
前記爆発ショット判定部は、前記画像内の色情報として画像内の画素データを用い、炎に該当する色を持つ画素数を計数して、爆発を判定することを特徴とする動画像データの分類装置。
【請求項６】
請求項４に記載の動画像データの分類装置において、
前記爆発ショット判定部は、前記画像内の色情報として、画像内の色ヒストグラムを用い、炎に該当する色範囲の頻度を測定して、爆発を判定することを特徴とする動画像データの分類装置。
【請求項７】
請求項１に記載の動画像データの分類装置において、
前記オーディオ解析部は、前記ショット内におけるサブバンドエネルギーの重み付け平均を用いて判定することを特徴とする動画像データの分類装置。
【請求項８】
請求項１または４ないし７のいずれかに記載の動画像データの分類装置において、
前記爆発ショット判定部は、ショット内の任意のフレームにおいて、前記炎に該当する画素数または色範囲の頻度と、前記サブバンドエネルギーの重み付け平均がそれぞれある規定値よりも大きい場合に、該フレームを爆発を含むフレームと見なし、該フレームを含むショットを爆発を含むショットと判定することを特徴とする動画像データの分類装置。
【請求項９】
請求項８に記載の動画像データの分類装置において、
前記爆発ショット判定部は、さらに爆発を含むと見なされたフレームが連続して出現し、かつその画素数または色範囲の頻度が時間的に変動している場合に、該フレーム群を爆発を含むフレーム群と見なし、該フレーム群を含むショットを爆発を含むショットと判定することを特徴とする動画像データの分類装置。
【請求項１０】
請求項１に記載の動画像データの分類装置において、
前記動画像データの動き情報とオーディオデータからアクションを含むショットを判定するアクションショット判定部をさらに具備し、該アクションから前記爆発を含むショットを判定し、階層的なショット種別の分類を行うことを特徴とする動画像データの分類装置。
【請求項１１】
請求項１に記載の動画像データの分類装置において、
前記チェイスショット判定部は、ショット内の動き情報を解析する手段から少なくとも構成されることを特徴とする動画像データの分類装置。
【請求項１２】
請求項１１に記載の動画像データの分類装置において、
前記動き情報は、ショット内における動きの最頻方向および動きの大きさのショット平均の少なくとも一つであることを特徴とする動画像データの分類装置。
【請求項１３】
請求項１２に記載の動画像データの分類装置において、
前記動画像データは予測符号化を用いて圧縮符号化されたデータであり、前記ショット内における動きの最頻方向および動きの大きさのショット平均は、ショット内における順方向動き予測画像と双方向動き予測画像の少なくとも一つにおける動き情報から算出されることを特徴とする動画像データの分類装置。
【請求項１４】
請求項１または１１ないし１３のいずれかに記載の動画像データの分類装置において、
前記チェイスショット判定部は、ショット内における動きの最頻方向の割合および動きの大きさのショット平均がそれぞれある規定値よりも大きい場合に、該ショットをチェイスを含むショットと判定することを特徴とする動画像データの分類装置。
【請求項１５】
請求項１１ないし１４のいずれかに記載の動画像データの分類装置において、
前記チェイスショット判定部によりチェイスを含むと判定されたショットを複数集約してチェイスシーンを判定することを特徴とする動画像データの分類装置。
【請求項１６】
請求項１に記載の動画像データの分類装置において、
前記動画像データの動き情報とオーディオデータからアクションを含むショットを判定するアクションショット判定部をさらに具備し、該アクションからさらに前記チェイスを含むショットを判定し、階層的なショット種別の分類を行うことを特徴とする動画像データの分類装置。
【請求項１７】
請求項１に記載の動画像データの分類装置において、
前記クローズアップショット判定部は、画面内の色情報から少なくとも判定されることを特徴とする動画像データの分類装置。
【請求項１８】
請求項１７に記載の動画像データの分類装置において、
前記クローズアップショット判定部は、前記色情報として画像内の画素データを用い、肌色に該当する色を持つ画素数を計数することを特徴とする動画像データの分類装置。
【請求項１９】
請求項１７に記載の動画像データの分類装置において、
前記クローズアップ判定部は、前記色情報として画像内の色ヒストグラムを用い、肌色に該当する色範囲の頻度を測定することを特徴とする動画像データの分類装置。
【請求項２０】
請求項１８または１９に記載の動画像データの分類装置において、
前記クローズアップ判定部は、ショット内の任意のフレームにおいて、前記肌色に該当する画素数または色範囲の頻度の少なくともいずれかがある規定値よりも大きい場合に、該フレームをクローズアップを含むフレームと見なし、該フレームを含むショットをクローズアップを含むショットと判定することを特徴とする動画像データの分類装置。
【請求項２１】
請求項１７ないし２０のいずれかに記載の動画像データの分類装置において、
前記クローズアップ判定部は、さらにオーディオ情報としてオーディオ種別を用い、ショット内のオーディオ種別が音声である割合がある規定値よりも大きい場合に、該ショットをクローズアップショットと判定することを特徴とする動画像データの分類装置。
【請求項２２】
請求項１に記載の動画像データの分類装置において、
前記動画像データから会話を含むショットを判定する会話ショット判定部をさらに具備し、該会話ショット判定部から得られた会話ショットからクローズアップを含むショットを判定し、クローズアップを含む会話ショットを判定することを特徴とする動画像データの分類装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非圧縮または圧縮された動画像データを解析し、それらを予め定義されたショット種別に分類する動画像データの分類装置に関し、特に意味的なショット種別に分類することによって動画像データの効率的な検索、閲覧、あるいは動画像の内容や文脈の推定をすることが可能な、動画像データの分類装置に関する。
【背景技術】
【０００２】
動画像データのショット分類に関する従来技術としては、本発明者等による特開２００４−２６０７３４号公報において、ショットを「アクション」クラス、「ドラマチック」クラス、「会話」クラス、「汎用」クラスなどに分類する手段、スローシーン、ズームシーン、パンシーンなどの意味的な概念を持たないシーン種別、及びコマーシャルシーンやハイライトシーンなどの意味的な概念を持つシーン種別に分類する装置が開示されている。
【０００３】
また、本発明者等による特願２００４−６２８６６号においては、ショット種別として「風景」クラスを導入し、同一クラスのショットの集合をシーンとして判定する装置が開示されている。
【特許文献１】特開２００４−２６０７３４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記した既存技術では、動画像データを予め定義されたショット種別に分類することができるが、これらは比較的大まかな分類であり、ショットのラベル付けという観点ではより詳細なショット種別が必要となる。例えば「アクション」クラスは比較的広義であり、実際には「爆発」や「カーチェイス」などの従属クラスが存在する。また、このようなショット種別を用いて動画像の内容や文脈を推定しようとした場合、詳細なショット種別を定義することにより動画像の内容や文脈を適切に捉えることができる。
【０００５】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、より詳細なショット種別を判定することのできる非圧縮または圧縮された動画像データの分類装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明は、非圧縮または圧縮された動画像データの分類装置において、  前記動画像データのショット分割を行うショット分割部と、前記動画像データにおける色情報を解析する色情報解析部と動き情報を解析する動き情報解析部と、前記動画像データに付随するオーディオデータを解析するオーディオ解析部と、前記色情報解析部、動き情報解析部およびオーディオ解析部からの解析情報の少なくとも一つを用いて、動画像データにおける爆発を含むショットを判定する爆発ショット判定部、チェイスを含むショットを判定するチェイスショット判定部、および顔のクローズアップを含むクローズアップショット判定部の少なくとも一つを具備した点に特徴がある。
【０００７】
また、前記動画像データの動き情報とオーディオデータからアクションを含むショットを判定するアクションショット判定部をさらに具備し、該アクションからさらにチェイスを含むショットを判定し、階層的なショット種別の分類を行うようにした点に他の特徴がある。
【０００８】
さらに、前記動画像データから会話を含むショットを判定する会話ショット判定部を具備し、該会話ショット判定部から得られた会話ショットからクローズアップを含むショットを判定し、クローズアップを含む会話ショットを判定するようにした点に他の特徴がある。
【発明の効果】
【０００９】
本発明によれば、非圧縮または圧縮された動画像データを、爆発ショット、チェイスショット、またはクローズアップショット等の意味的なショット種別に分類することができる。
【００１０】
また、アクションからさらにチェイスを含むショットを判定し、あるいは会話ショット判定部から得られた会話ショットからクローズアップを含むショットを判定し、階層的なショット種別の分類を行うことができるようになる。
【００１１】
また、本発明を用いれば、動画像データの検索、閲覧や、動画像の内容や文脈の推定を、効率的に行えるようになる。
【発明を実施するための最良の形態】
【００１２】
以下に、図面を参照して本発明を詳細に説明する。まず、本発明の一実施形態を、図１を参照して説明する。図１は、動画像データの分割装置の構成図である。
【００１３】
まず、非圧縮または圧縮された動画像データはショット分割部でショット単位に分割され、その後各々のショットから色情報解析部２において色情報が、動き情報解析部３において動き情報が、さらに付随するオーディオデータからオーディオ解析部４においてオーディオ情報が抽出される。これらの処理については、前記特許文献１で開示されている手法などを用いることができる。
【００１４】
色情報を抽出する対象は、ショットの先頭フレームやショットを代表するキーフレーム、またはショット内の全てのフレームなど、任意のフレームを選択することができる。また、オーディオ情報としては、オーディオエネルギーやオーディオ種別などを用いることができるが、ここではサブバンドに分割されて符号化されているオーディオデータを対象として、サブバンドエネルギーの重み付け平均を用いるものとして説明する。
【００１５】
このとき、入力動画像データがMPEG形式など離散コサイン変換を用いて圧縮符号化されたデータである場合には、直流成分のみから構成される画像（DC画像）を用いて色情報を解析することができる。色情報としては、画像内の画素値のデータ、画像内の任意の色ヒストグラム、または画像内の色配置情報などを用いることができる。
【００１６】
また、予測符号化を用いて圧縮されている場合には、動き情報を抽出する対象は、順方向予測符号化画像や双方向予測符号化画像、および双方向予測符号化画像における順方向動きベクトル、逆方向動きベクトルのいずれの組み合わせでも用いることができる。これらを対象として抽出した動き情報に対し、ショット内の平均値や中間値、最大値など任意の値を動き情報として利用することができる。
【００１７】
色情報解析部３、動き情報解析部２、オーディオ情報解析部４の後段にはショット分類部５が配置される。このショット分類部５は、爆発ショット判定部５１、チェイスショット判定部５２、およびクローズアップショット判定部５３から少なくとも構成される。ショット分類部５の出力は、ショット種別登録部６に登録される。
【００１８】
爆発ショット判定部５１は色情報とオーディオ情報を、チェイスショット判定部５２は動き情報を、クローズアップショット判定部５３は色情報（または、必要に応じてオーディオ情報）を、それぞれ少なくとも入力とし、以降の判定処理を行う。
【００１９】
まず、爆発ショット判定部５１における処理を、図２を参照して説明する。爆発ショット判定部５１では、下記の(1)、(2)の少なくともいずれかを評価するとともに、爆発音に伴うオーディオ情報の特性を評価する。
(1)色情報を画素値データとしたときの、炎に該当する画素値を持つ画素数
(2)色情報を色ヒストグラムとしたときの、炎に該当する色範囲の頻度
【００２０】
具体的には、ステップＳ１で、爆発ショット判定部５１にフレームFNが入力される。ステップＳ２では、爆発ショット判定部５１に入力されたショット内の任意のフレームFNの色情報について、予め規定された炎に該当する色を持つ画素数P_flameを計数し、この値が予め定められた閾値THP_flameよりも大きい場合、もしくは予め規定された炎に該当する色範囲の頻度H_flameが予め定められた閾値THH_flameよりも大きい場合に、もしくは共に大きい場合にステップＳ３に進み、フレームFNに爆発が含まれると判定する。ステップＳ４では、このフレームを含むショットに爆発が含まれると判定する。
【００２１】
ここで、画像の特徴だけを用いた場合には例えば太陽の色などによる誤判定が生じる可能性があるため、前記の判定に対してさらにショット内のサブバンドエネルギーの重み付け平均SBEがある閾値THA_explosionよりも大きいという条件を追加することにより、精度を向上させることができる。さらに、急激な明るさの変化などによる誤判定にも対応するため、炎に該当する色を持つフレームが連続して出現すると同時に、その画素数が時間的に変動している場合に、これらのフレーム群を含むショットに爆発が含まれると判定することもできる。
【００２２】
次に、チェイスショット判定部５２における処理を、図３を参照して説明する。カーチェイスなどのチェイスショットでは、車や戦闘機などのオブジェクトが高速に動いているほか、そのオブジェクトを撮影するカメラも規則的な動きをすることが多い。従って、チェイスショットに含まれる動きは比較的大きく、それらの方向は均一的である。そこで、チェイスショット判定部５２では、ショット内に含まれる動きの大きさと動きの方向を評価する。
【００２３】
具体的には、ステップＳ１１では、チェイスショット判定部５２にショットSNが入力する。ステップＳ１２では、チェイスショット判定部５２に入力されたショットSNにおける動き情報について、動きベクトルから算出される動きの大きさのショット内平均MV_magと、動きの最頻方向の割合MV_dirがそれぞれある閾値THM_magとTHM_dirよりも大きいかどうか判断する。大きいと判断された場合に、ステップＳ１３に進み、ショットSN内にチェイスが含まれると判定する。動き方向は任意数を選択することができ、例えば８方向などに設定できる。
【００２４】
なお、通常チェイスショットは連続的に出現することが多いため、チェイスショット判定部５２の後段にチェイスシーン判定部（図示されていない）を設けることができ、チェイスショットが連続して判定される場合に、チェイスシーンと判定する。このとき、隣接するチェイスショットの間には他のショット種別が挿入されることもあるため、完全に隣接している必要はなく、ある既定数のショット間隔だけ離れていてもよい。
【００２５】
さらに、クローズアップショット判定部５３における処理を、図４を参照して説明する。クローズアップショット判定部５３では、次の(3)、(4)の少なくともいずれかを評価する。
(3)色情報を画素値データとしたときの、顔に該当する肌色の画素値を持つ画素数
(4)色情報を色ヒストグラムとしたときの、顔に該当する肌色の色範囲の頻度
【００２６】
具体的には、ステップＳ２１で、クローズアップショット判定部５３にフレームFNが入力する。ステップＳ２２では、該クローズアップショット判定部５３に入力されたショット内の任意のフレームFNにおける色情報について、予め規定された肌色に該当する色を持つ画素数P_skinを計数し、この値が予め定められた閾値THP_skinよりも大きい場合、もしくは予め規定された肌色に該当する色範囲の頻度H_skinが予め定められた閾値THH_skinよりも大きい場合に、もしくは共に大きい場合にステップＳ２３に進み、フレームFNに顔のクローズアップが含まれると判定する。ステップＳ２４では、このフレームを含むショットに顔のクローズアップが含まれると判定する。
【００２７】
ここで、肌色の画素数だけを用いた場合に体のほかの部位などによる誤判定が生じる可能性があるため、前記の判定に対してさらに肌色画素の領域の形状を評価したり、顔テンプレートなどにより、画像中に顔が含まれるかどうかを高精度に判定することもできる。
【００２８】
図５に、クローズアップショット判定部５３の他の処理例を示す。この処理フローのように、オーディオ解析部から得られたオーディオ種別を用いて、ショットSNにおいてオーディオ種別が「音声」である秒数またはフレーム数のショット内での割合ACLが予め定められた閾値THA_voiceよりも大きいという条件を付加することもできる。オーディオ種別ACLの取得手段としては、特開平10-247093で開示されている手段などを用いることができる。
【００２９】
具体的には、ステップＳ３１でショットSNを入力し、顔のクローズアップを含む事を示すフラグFFを０に置く。ステップＳ３２では、フレームFNを入力する。ステップＳ３３とＳ３４では、前記ステップＳ２２とＳ２３と同様の処理を行い、ステップＳ３５では、フレームFNはショットSNの最終フレームであるか否かの判断がされる。なお、ステップＳ３４では、前記フラグFFを１にする。ステップＳ３５の判断が否定の時にはステップＳ３６に進んで、FNを１インクリメントする。
【００３０】
ステップＳ３２〜Ｓ３６の処理が繰り返し行われ、ステップＳ３５の判断が肯定になると、ステップＳ３７に進んで、フラグFF＝１でかつACL＞THA_voiceであるか否かの判断がなされる。この判断が肯定であれば、ステップＳ３８に進んで、前記ショットSNの種別が、顔を含むクローズアップであると判定される。
【００３１】
図６は本発明の第２の実施形態を示す図である。この実施形態では、爆発ショット判定部５１とチェイスショット判定部５２の前段にアクションショット判定部５４を設け、さらにクローズアップショット判定部５３の前段に会話ショット判定部５５を設けたものである。なお、他の符号は図１と同一または同等物を示す。
【００３２】
爆発ショット、チェイスショットは「アクション」クラスの従属クラス、クローズアップショットは「会話」クラスの従属クラスとみなすことができる。従って、階層的なショット種別の分類を行うことができるほか、予め判定対象とするショットを主クラスに属するショットに絞り込むことにより、判定に要する処理量を低減することができる。
【００３３】
アクションショット判定部５４や会話ショット判定部５５の処理については、前記特許文献１に示されている方法または手段を適用することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施形態の動画像データ分類装置の構成を示すブロック図である。
【図２】爆発ショット判定部の処理を示すフローチャートである。
【図３】チェイスショット判定部の処理を示すフローチャートである。
【図４】クローズアップショット判定部の処理を示すフローチャートである。
【図５】クローズアップショット判定部の他の処理を示すフローチャートである。
【図６】本発明の他の実施形態の動画像データ分類装置の構成を示すブロック図である。
【符号の説明】
【００３５】
１・・・ショット分割部、２・・・色情報解析部、３・・・動き情報解析部、４・・・オーディオ解析部、５・・・ショット分類部、６・・・ショット種別登録部、５１・・・爆発ショット判定部、５２・・・チェイスショット判定部、５３・・・クローズアップショット判定部、５４・・・アクションショット判定部、５５・・・会話ショット判定部。
【図１】
2006277232.tif 000003
【図２】
2006277232.tif 000004
【図３】
2006277232.tif 000005
【図４】
2006277232.tif 000006
【図５】
2006277232.tif 000007
【図６】
2006277232.tif 000008