(57)【特許請求の範囲】
【請求項１】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
を備え、
前記自動分類部は、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記部分領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行する判定部と
を含み、
前記部分領域は、複数の画素を有する、
画像処理装置。
【請求項２】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
を備え、
前記自動分類部は、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かの判定処理を実行する判定部と
を含み、
前記近傍領域は、複数の画素を有する、
請求項１に記載の画像処理装置。
【請求項３】
前記算出部は、前記比較フレームを複数の部分領域に分割し、前記比較フレームの中から前記部分領域毎に前記特徴点を検出する、
請求項２に記載の画像処理装置。
【請求項４】
前記算出部は、前記近傍領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記近傍領域のみを用いて、前記総合類似度を算出する、
請求項２又は３に記載の画像処理装置。
【請求項５】
前記設定部は、フレームの画面内においてエリアの設定をユーザから受け付け、前記動画に含まれる特定のフレームの前記エリア内の画像を、又は前記動画に含まれる２以上の特定のフレームの前記エリア内の画像を合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームの前記エリア内の画像を比較フレームとして設定する、
請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
を備え、
前記自動分類部は、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行する判定部と
を含み、
前記設定部は、前記基準フレームを複数設定することが可能であり、
前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行し、
前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定し、
前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行し、
前記設定部は、前記判定処理により、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームを前記基準フレームとして再設定し、
前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
画像処理装置。
【請求項７】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
を備え、
前記自動分類部は、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行する判定部と
を含み、
前記設定部は、前記基準フレームを複数設定することが可能であり、
前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行し、
前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定し、
前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行し、
前記設定部は、前記判定処理により、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームを合成し、
前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
画像処理装置。
【請求項８】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
を備え、
前記自動分類部は、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かの判定処理を実行する判定部と
を含み、
前記設定部は、前記基準フレームを複数設定することが可能であり、
前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行し、
前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定し、
前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行し、
前記設定部は、前記判定処理により、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームを前記基準フレームとして再設定し、
前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
画像処理装置。
【請求項９】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する自動分類部
を備え、
前記自動分類部は、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する設定部と、
前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である総合類似度を算出する算出処理を実行する算出部と、
前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かの判定処理を実行する判定部と
を含み、
前記設定部は、前記基準フレームを複数設定することが可能であり、
前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行し、
前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定し、
前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行し、
前記設定部は、前記判定処理により、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームを合成し、
前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
画像処理装置。
【請求項１０】
前記設定部は、前記判定処理により、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームを合成する、
請求項６又は８に記載の画像処理装置。
【請求項１１】
前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後において、前記基準フレームが複数設定されている場合に、
前記算出部は、前記複数の基準フレーム間の類似度を算出し、
前記判定部は、前記複数の基準フレーム間の類似度の高い前記基準フレームに対応する前記チャンネルどうしを、１つのチャンネルに統合する、
請求項６から１０のいずれかに記載の画像処理装置。
【請求項１２】
前記類似度は、相関係数である、
請求項１から１１のいずれかに記載の画像処理装置。
【請求項１３】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
をコンピュータに実行させ、
前記分類するステップは、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、
前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
前記比較フレーム及び前記基準フレームを複数の部分領域に分割するステップと、
前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出するステップと、
前記局所類似度の高い前記部分領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、
前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップと
を含み、
前記部分領域は、複数の画素を有する、
画像処理プログラム。
【請求項１４】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
をコンピュータに実行させ、
前記分類するステップは、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、
前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
前記比較フレームの中から特徴点を検出するステップと、
前記特徴点毎にその近傍領域を設定するステップと、
前記近傍領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、
前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定するステップと
を含み、
前記近傍領域は、複数の画素を有する、
画像処理プログラム。
【請求項１５】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
をコンピュータに実行させ、
前記分類するステップは、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、前記局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出する算出処理を実行するステップと、
前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップと
を含み、
前記基準フレームは、複数設定することが可能であり、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理が実行され、
前記判定処理では、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定され、
前記設定するステップは、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
前記比較フレームが新たに設定される度に、前記算出処理及び前記判定処理が実行され、
前記判定処理では、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームが前記基準フレームとして再設定され、
前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
画像処理プログラム。
【請求項１６】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
をコンピュータに実行させ、
前記分類するステップは、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、前記局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出する算出処理を実行するステップと、
前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップと
を含み、
前記基準フレームは、複数設定することが可能であり、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理が実行され、
前記判定処理では、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定され、
前記設定するステップは、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
前記比較フレームが新たに設定される度に、前記算出処理及び前記判定処理が実行され、
前記判定処理では、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームが合成され、
前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
画像処理プログラム。
【請求項１７】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
をコンピュータに実行させ、
前記分類するステップは、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出する算出処理を実行するステップと、
前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定する判定処理を実行するステップと
を含み、
前記基準フレームは、複数設定することが可能であり、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理が実行され、
前記判定処理では、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定され、
前記設定するステップは、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
前記比較フレームが新たに設定される度に、前記算出処理及び前記判定処理が実行され、
前記判定処理では、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームが前記基準フレームとして再設定され、
前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
画像処理プログラム。
【請求項１８】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
をコンピュータに実行させ、
前記分類するステップは、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出する算出処理を実行するステップと、
前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定する判定処理を実行するステップと
を含み、
前記基準フレームは、複数設定することが可能であり、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理が実行され、
前記判定処理では、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定され、
前記設定するステップは、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定し、
前記比較フレームが新たに設定される度に、前記算出処理及び前記判定処理が実行され、
前記判定処理では、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームが合成され、
前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる、
画像処理プログラム。
【請求項１９】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理方法であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
を備え、
前記分類するステップは、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、
前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
前記比較フレーム及び前記基準フレームを複数の部分領域に分割するステップと、
前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出するステップと、
前記局所類似度の高い前記部分領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、
前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップと
を含み、
前記部分領域は、複数の画素を有する、
画像処理方法。
【請求項２０】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理方法であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップ
を備え、
前記分類するステップは、
前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、
前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、
前記比較フレームの中から特徴点を検出するステップと、
前記特徴点毎にその近傍領域を設定するステップと、
前記近傍領域のみの画素値を用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、
前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定するステップと
を含み、
前記近傍領域は、複数の画素を有する、
画像処理方法。
【請求項２１】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類し、前記複数のフレームを前記複数のチャンネルに分類した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる自動分類部
を備える、
画像処理装置。
【請求項２２】
１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、
前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類し、前記複数のフレームを前記複数のチャンネルに分類した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させるステップ
をコンピュータに実行させる、
画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関し、特に、１の動画内に異なるチャンネルに属するフレームが混在する場合に、これらのフレームをチャンネル毎に分類するための画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
動画の録画の一方式として、タイムラプスという間欠録画方式が知られている。これは、通常よりも低いフレームレートで、言うならばコマを落としながら録画する方式であり、同じ記録媒体に通常よりも長時間の録画を可能にする。防犯カメラにおいても、しばしばこのタイムラプスの方式が採用され、更には、フレームレートを下げることでできた隙間時間に、別の防犯カメラの映像が挿入されることもある。この場合、複数のカメラの映像、すなわち、複数のチャンネルの映像が１つのタイムラインに沿って交互に切り替わるような動画が録画される。【０００３】
複数のチャンネルの映像を１つのタイムライン上にまとめて録画した動画は、専用機器を用いれば、カメラ毎の、すなわち、チャンネル毎の映像をモニターに表示することができる。特許文献１の専用機器では、映像の各フレームにチャンネル番号のデータが付与されており、再生時には、これを参照することで、複数のチャンネルの映像が混在した映像の中から任意のチャンネルの映像のみを取り出すことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３１９２１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、複数のチャンネルの映像が混在した映像を一般の再生機器で再生する場合には、チャンネル毎の映像を見ることができない。各フレームのチャンネルを認識するための仕様は、メーカー毎、又は機種毎に異なっており、一般の再生機器は、これらの仕様に対応していないからである。【０００６】
本発明は、１の動画内に異なるチャンネルに属するフレームが混在する場合に、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生を可能にする画像処理装置及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１観点に係る画像処理装置は、１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理装置であって、自動分類部を備える。前記自動分類部は、前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類する。【０００８】
ここでは、１の動画内に異なるチャンネルに属するフレームが混在する場合に、これらのフレームをチャンネル毎に分類するための機能が提供される。具体的には、まず、動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度が算出され、これに応じて、複数のフレームが複数のチャンネルに自動的に分類される。この機能によれば、動画の仕様に関わらず、異なるチャンネルに属するフレームが混在する動画をチャンネル毎の動画へと分離することが可能になる。すなわち、１の動画内に異なるチャンネルに属するフレームが混在する場合において、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生が可能になる。【０００９】
本発明の第２観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記自動分類部は、設定部と、算出部と、判定部とを含む。前記設定部は、前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する。前記算出部は、算出処理を実行する。前記算出処理は、前記比較フレーム及び前記基準フレームを複数の部分領域に分割し、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記部分領域のみを用いて、総合類似度を算出する処理である。前記総合類似度は、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である。前記判定部は、前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行する。【００１０】
なお、「フレームを複数の部分領域に分割する」ことには、フレーム全体を隈なく重複なく複数の部分領域に分割することの他、フレーム全体の一部の領域（例えば、外枠領域を除いた中央領域等）を隈なく重複なく複数の部分領域に分割することや、フレーム全体又は一部を一部重複する複数の部分領域に分割すること等が含まれる。【００１１】
ここでは、動画に含まれるフレーム間の類似度を算出するために、比較フレーム及び基準フレームが部分領域に分割され、当該部分領域の単位で、比較フレームと基準フレームとの間の局所類似度が算出される。そして、局所類似度の高い部分領域のみを用いて、フレーム全体での総合類似度が算出される。この総合類似度は、比較フレームと基準フレームとが同じチャンネルに属するか否かの判断基準となる。【００１２】
すなわち、ここでは、総合類似度を算出するに当たり、局所類似度の低い部分領域の情報は考慮されない。なぜならば、同じチャンネルに属するフレームどうしは、背景画像は一致するが、移動体が存在する部分（以下、移動体部分）においては異なる画像となる。そして、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いてフレーム間の総合類似度を判断すると、たとえ同じチャンネルに属するフレームどうしであっても、総合類似度が低く判断される虞があるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えられる局所類似度の低い部分領域は、総合類似度の算出に用いられない。その結果、移動体の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。【００１３】
本発明の第３観点に係る画像処理装置は、第１観点に係る画像処理装置であって、前記自動分類部は、設定部と、算出部と、判定部とを含む。前記設定部は、前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームを比較フレームとして設定する。前記算出部は、算出処理を実行する。前記算出処理は、前記比較フレームの中から特徴点を検出し、前記特徴点毎にその近傍領域を設定し、前記近傍領域のみを用いて、総合類似度を算出する処理である。前記総合類似度は、前記比較フレームと前記基準フレームとの間のフレーム全体での前記類似度である。前記判定部は、前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かの判定処理を実行する。【００１４】
ここでは、動画に含まれるフレーム間の類似度を算出するために、比較フレームの中から特徴点が検出され、当該特徴点の近傍領域のみを用いて、比較フレームと基準フレームとの間の総合類似度が算出される。この総合類似度は、比較フレームと基準フレームとが同じチャンネルに属するか否かの判断基準となる。【００１５】
すなわち、ここでは、総合類似度を算出するに当たり、特徴点の近傍領域以外の領域の情報は考慮されない。なぜならば、異なるチャンネルに属するフレームどうしであっても、それらが似通った光景を撮影したものであれば、フレーム全体の情報を用いてフレーム間の総合類似度を判断すると、総合類似度が高く判断される虞があるからである。例えば、同一の店内の異なる場所を撮影した２つの映像においては、どちらも同じ均一色の壁紙や床等がフレームの大部分を占めることがあり、そのような場合、フレーム全体の総合類似度が高くなってしまう。従って、ここでは、誤判定を避けるべく、特徴点の近傍領域以外の領域、すなわち、同じ均一色の壁紙や床等の背景を写している可能性の高い領域は、総合類似度の算出に用いられない。その結果、似通った背景の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。【００１６】
本発明の第４観点に係る画像処理装置は、第３観点に係る画像処理装置であって、前記算出部は、前記比較フレームを複数の部分領域に分割し、前記比較フレームの中から前記部分領域毎に前記特徴点を検出する。【００１７】
ここでは、動画に含まれるフレーム間の類似度を算出するために、比較フレームが部分領域に分割され、当該部分領域の単位で、特徴点が検出される。その結果、特徴点が、フレームの画面全体の一部の領域に偏ってしまうことがなく、フレーム全体の中から凡そ均等に検出される。その結果、特徴点の近傍領域のみを用いて総合類似度を算出する場合に、当該総合類似度が、偏った一部の領域の類似度を評価した値となることを避けることができる。従って、比較されるフレームどうしの類似度を正確に評価することができる。【００１８】
本発明の第５観点に係る画像処理装置は、第３観点又は第４観点に係る画像処理装置であって、前記算出部は、前記近傍領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出し、当該局所類似度の高い前記近傍領域のみを用いて、前記総合類似度を算出する。【００１９】
ここでは、動画に含まれるフレーム間の類似度を算出するために、比較フレームが部分領域に分割され、当該部分領域の単位で、特徴点が検出される。そして、特徴点の近傍領域の単位で、比較フレームと基準フレームとの間の局所類似度が算出され、更に、局所類似度の高い近傍領域のみを用いて、総合類似度が算出される。【００２０】
すなわち、ここでは、総合類似度を算出するに当たり、局所類似度の低い特徴点の近傍領域の情報は考慮されない。なぜならば、同じチャンネルに属するフレームどうしは、背景画像は一致するが、移動体部分においては異なる画像となる。そして、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いてフレーム間の総合類似度を判断すると、たとえ同じチャンネルに属するフレームどうしであっても、総合類似度が低く判断される虞があるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えらえる局所類似度の低い領域は、総合類似度の算出に用いられない。その結果、移動体の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。【００２１】
本発明の第６観点に係る画像処理装置は、第２観点から第５観点のいずれかに係る画像処理装置であって、前記設定部は、フレームの画面内においてエリアの設定をユーザから受け付け、前記動画に含まれる特定のフレームの前記エリア内の画像を、又は前記動画に含まれる２以上の特定のフレームの前記エリア内の画像を合成したフレームを基準フレームとして設定するとともに、前記動画に含まれる別の特定のフレームの前記エリア内の画像を比較フレームとして設定する。【００２２】
例えば、処理対象となる動画が防犯カメラの映像等である場合には、しばしば、フレームの画面内には、日時の表示エリアが設けられている。そして、このような日時の表示エリアを含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、同じチャンネルに属するフレームどうしであっても、類似度が低く判断される虞がある。また、フレームの画面内に、黒縁が設けられている場合がある。逆に、このような場合には、黒縁を含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、異なるチャンネルに属するフレームどうしであっても、類似度が高く判断される虞がある。ここでは、フレームの画面内において、ユーザにより指定されたエリアのみが、類似度の算出の根拠として利用される。従って、以上のような誤判定の要因となり得るエリアを類似度の算出の根拠となるエリアから除外することができる。【００２３】
本発明の第７観点に係る画像処理装置は、第２観点から第６観点のいずれかに係る画像処理装置であって、前記設定部は、前記基準フレームを複数設定することが可能である。前記算出部は、前記基準フレームが複数設定されている場合には、前記各基準フレームについて前記算出処理を実行する。前記判定部は、前記判定処理において、前記総合類似度が最も高くなる前記比較フレームと前記基準フレーム又はその合成元のフレームとが、同じ前記チャンネルに属すると判定する。【００２４】
ここでは、基準フレームを複数設定することが可能である。そして、比較フレームは各基準フレームと比較され、最も高い総合類似度を与える基準フレームと同じチャンネルに分類される。なお、ここでの基準フレームは、特定のチャンネルを代表するフレームとして機能する。その結果、動画に含まれるフレームを複数のチャンネルに正確に分類することができる。【００２５】
本発明の第８観点に係る画像処理装置は、第７観点に係る画像処理装置であって、前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定する。前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行する。前記設定部は、前記判定処理により、前記比較フレームがいずれの前記基準フレームとも、又はいずれの前記基準フレームの合成元のフレームとも同じ前記チャンネルに属さないと判定された場合には、当該比較フレームを前記基準フレームとして再設定する。【００２６】
ここでは、動画の中からフレームが順次選択され、最初に選択されたフレームが特定のチャンネルを代表する基準フレームとして設定される。また、２番目以降に選択されたフレームは、まずは比較フレームとして設定される。そして、比較フレームがそれまでに設定されている各基準フレームと比較され、いずれの基準フレームに対応するチャンネルにも属さないと判定された場合には、新たなチャンネルを代表する基準フレームとして再設定される。この方法によれば、例えば、動画に含まれるフレームの総当たりの比較を避けることができ、計算負荷を抑えつつ、動画に含まれるフレームを複数のチャンネルに分類することができる。【００２７】
本発明の第９観点に係る画像処理装置は、第７観点又は第８観点に係る画像処理装置であって、前記設定部は、前記動画の中からフレームを順次選択してゆきながら、最初に選択したフレームを前記基準フレームとして設定し、それ以降に選択したフレームを前記比較フレームとして設定する。前記設定部が前記比較フレームを新たに設定する度に、前記算出部は、前記算出処理を実行し、前記判定部は、前記判定処理を実行する。前記設定部は、前記判定処理により、前記比較フレームがいずれかの前記基準フレームと、又はいずれかの前記基準フレームの合成元のフレームと同じ前記チャンネルに属すると判定された場合には、当該基準フレームに当該比較フレームを合成する。【００２８】
ここでは、動画の中からフレームが順次選択され、最初に選択されたフレームが特定のチャンネルを代表する基準フレームとして設定される。また、２番目以降に選択されたフレームは、まずは比較フレームとして設定される。そして、比較フレームがそれまでに設定されている各基準フレームと比較され、いずれかの基準フレームに対応するチャンネルに属すると判定された場合には、当該比較フレームが当該基準フレームに合成される。この方法によれば、特定のチャンネルを代表する基準フレームが、当該チャンネルに属する様々なフレームを正確に代表する画像となり、動画に含まれるフレームを複数のチャンネルに正確に分類することができる。【００２９】
本発明の第１０観点に係る画像処理装置は、第８観点又は第９観点に係る画像処理装置であって、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後において、前記基準フレームが複数設定されている場合に、前記算出部は、前記複数の基準フレーム間の類似度を算出する。前記判定部は、前記複数の基準フレーム間の類似度の高い前記基準フレームに対応する前記チャンネルどうしを、１つのチャンネルに統合する。【００３０】
ここでは、個々のフレームに対する自動分類の判定が終了した後に、再度チャンネル間の類似度が判定される。従って、最終的に自動分類により検出されるチャンネルの数を減らし、チャンネル分類の精度を向上させることができる。【００３１】
本発明の第１１観点に係る画像処理装置は、第８観点から第１０観点のいずれかに係る画像処理装置であって、前記判定部は、前記動画の中から最後のフレームが選択され、前記算出処理及び前記判定処理が終了した後、所定枚数以下のフレームしか属していない前記チャンネルを消滅させる。【００３２】
ここでは、個々のフレームに対する自動分類の判定が終了した後に、所定枚数以下のフレームしか属していないチャンネルが存在する場合には、そのようなチャンネルが消滅させられる。これにより、チャンネルとはみなせないようなチャンネルが、自動分類の最終的な結果に含まれることを回避し、チャンネル分類の精度を向上させることができる。【００３３】
本発明の第１２観点に係る画像処理装置は、第１観点から第１１観点のいずれかに係る画像処理装置であって、前記類似度は、相関係数である。【００３４】
ここでは、フレーム間の相関係数に基づいて、動画に含まれるフレームを複数のチャンネルに分類することができる。【００３５】
本発明の第１３観点に係る画像処理プログラムは、１の動画内に異なるチャンネルに属するフレームが混在する場合に、前記フレームを前記チャンネル毎に分類するための画像処理プログラムであって、前記動画に含まれる複数のフレームに画像処理を施すことにより、フレーム間の類似度を算出し、前記類似度に応じて、前記複数のフレームを複数のチャンネルに分類するステップをコンピュータに実行させる。ここでは、第１観点と同様の効果を奏することができる。【００３６】
本発明の第１４観点に係る画像処理プログラムは、第１３観点に係る画像処理プログラムであって、前記分類するステップは、前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、前記比較フレーム及び前記基準フレームを複数の部分領域に分割するステップと、前記部分領域毎に前記比較フレームと前記基準フレームとの間の局所類似度を算出するステップと、局所類似度の高い前記部分領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、前記総合類似度に応じて、前記比較フレームが前記基準フレーム又はその合成元のフレームと同じチャンネルに属するか否かの判定処理を実行するステップとを含む。ここでは、第２観点と同様の効果を奏することができる。【００３７】
本発明の第１５観点に係る画像処理プログラムは、第１３観点に係る画像処理プログラムであって、前記分類するステップは、前記動画に含まれる特定のフレームを、又は前記動画に含まれる２以上の特定のフレームを合成したフレームを基準フレームとして設定するステップと、前記動画に含まれる別の特定のフレームを比較フレームとして設定するステップと、前記比較フレームの中から特徴点を検出するステップと、前記特徴点毎にその近傍の領域である近傍領域を設定するステップと、前記近傍領域のみを用いて、前記比較フレームと前記基準フレームとの間のフレーム全体での総合類似度を算出するステップと、前記総合類似度に応じて、前記比較フレームと前記基準フレーム又はその合成元のフレームとが同じチャンネルに属するか否かを判定するステップとを含む。ここでは、第３観点と同様の効果を奏することができる。
【発明の効果】
【００３８】
本発明によれば、動画の仕様に関わらず、異なるチャンネルに属するフレームが混在する動画をチャンネル毎の動画へと分離することが可能になる。すなわち、１の動画内に異なるチャンネルに属するフレームが混在する場合において、当該動画がどのような仕様で録画されたものであったとしても、チャンネル毎の再生が可能になる。
【図面の簡単な説明】
【００３９】
【図１】本発明の第１実施形態に係る画像処理装置のブロック図。
【図２】画像データが取り込まれる前の基本画面の図。
【図３】画像データが取り込まれた後の基本画面の図。
【図４】１のタイムラインに属する静止画群を示す図。
【図５】エリア設定ウィンドウを示す図。
【図６】再分類ウィンドウを示す図。
【図７】再分類ウィンドウを示す別の図。
【図８】確認ウィンドウを示す図。
【図９】本発明の第１実施形態に係る自動分類処理の流れを示すフローチャート。
【図１０】本発明の第１実施形態に係る類似度の算出の方法を説明する概念図。
【図１１】本発明の第２実施形態に係る自動分類処理の流れを示すフローチャート。
【図１２】本発明の第２実施形態に係る類似度の算出の方法を説明する概念図。
【図１３】本発明の第３の実施形態に係る自動分類処理の流れを示すフローチャート。
【図１４】本発明の第３実施形態に係る類似度の算出の方法を説明する概念図。
【図１５】本発明の第３実施形態に係る別の類似度の算出の方法を説明する概念図。
【図１６】本発明の第３実施形態に係るさらに別の類似度の算出の方法を説明する概念図。
【図１７】本発明の第３の実施形態に係る色彩傾向を評価する処理の流れを示すフローチャート。
【図１８】印象度を定義する情報を説明する図。
【発明を実施するための形態】
【００４０】
以下、図面を参照しつつ、本発明のいくつかの実施形態に係る画像処理装置及び画像処理プログラムについて説明する。
【００４１】
＜１．第１実施形態＞
＜１−１．画像処理装置の概要＞
図１に示す画像処理装置１は、本発明に係る画像処理装置の一実施形態である。画像処理装置１は、汎用のパーソナルコンピュータである。画像処理装置１には、本発明に係る画像処理プログラムの一実施形態である画像処理プログラム２が、これを格納するＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータが読み取り可能な記録媒体６０等から提供され、インストールされている。画像処理プログラム２は、動画及び静止画に対する画像処理を支援するためのアプリケーションソフトウェアである。画像処理プログラム２は、画像処理装置１に後述する動作に含まれるステップを実行させる。
【００４２】
画像処理装置１は、ディスプレイ１０、入力部２０、記憶部３０及び制御部４０を有する。これらの部１０〜４０は、互いにバス線やケーブル等５を介して接続されており、適宜、通信可能である。ディスプレイ１０は、液晶ディスプレイ等から構成され、後述する画面等をユーザに対し表示する。入力部２０は、マウス及びキーボート等から構成され、画像処理装置１に対するユーザからの操作を受け付ける。記憶部３０は、ハードディスク等から構成される不揮発性の記憶領域である。制御部４０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等から構成される。
【００４３】
画像処理プログラム２は、記憶部３０内に格納されている。記憶部３０内には、ソフトウェア管理領域５０が確保されている。ソフトウェア管理領域５０は、画像処理プログラム２が使用する領域である。ソフトウェア管理領域５０内には、オリジナル画像領域５１、加工ファイル領域５２及び印象度定義領域５３が確保されている。各領域５１〜５３の役割については、後述する。
【００４４】
制御部４０は、記憶部３０内に格納されている画像処理プログラム２を読み出して実行することにより、仮想的に自動分類部４１及び再分類部４５として動作する。また、自動分類部は、設定部４２、算出部４３及び判定部４４としても動作する。各部４１〜４５の動作については、後述する。
【００４５】
＜１−２．画像処理装置の構成及び動作の詳細＞
制御部４０は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、画像処理プログラム２を起動する。画像処理プログラム２が起動されると、基本画面Ｗ１（図２参照）がディスプレイ１０上に表示される。なお、ディスプレイ１０上に表示される画面、ウィンドウ、ボタンその他の全ての要素の表示は、制御部４０により制御される。
【００４６】
＜１−２−１．画像データの取込み＞
基本画面Ｗ１は、オリジナル画像領域５１への画像データの取込みの命令をユーザから受け付ける。オリジナル画像領域５１へ取り込まれた画像データは、後述する再生処理、画像処理及びチャンネル分離処理の対象になる。制御部４０は、静止画ファイル又は動画ファイルから、オリジナル画像領域５１へ画像データを取り込む。なお、本明細書において、静止画ファイルとは、静止画形式のデータファイルであり、動画ファイルとは、動画形式のデータファイルである。
【００４７】
静止画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の静止画ファイルを指定するか、又は１のフォルダを指定する。前者の場合、制御部４０は、その静止画ファイルの記憶部３０内のアドレスパス及びファイル名をユーザに入力させる。後者の場合、制御部４０は、そのフォルダの記憶部３０内のアドレスパス及びフォルダ名をユーザに入力させる。その後、制御部４０は、指定された静止画ファイル又は指定されたフォルダ内の全ての静止画ファイルを、オリジナル画像領域５１に静止画ファイル群として保存する。なお、本明細書において、「群」という場合には、その要素数は複数とは限らず、１つであってもよい。
【００４８】
一方、動画ファイルから画像データを取り込む場合、ユーザは、入力部２０を操作することにより、１の動画ファイルの記憶部３０内のアドレスパス及びファイル名を入力する。制御部４０は、ユーザが動画ファイルを指定したことを検知すると、基本画面Ｗ１上に動画取込みウィンドウ（図示されない）を重ねて表示させる。動画取込みウィンドウは、指定された動画ファイルのタイムラインの全区間うち、任意の区間の選択をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して特定の区間を選択したことを検知すると、指定された動画ファイルのその区間に含まれるフレーム群に１対１で対応する静止画ファイル群を生成する。その後、制御部４０は、この静止画ファイル群をオリジナル画像領域５１に保存する。従って、本実施形態では、後述する再生処理、画像処理及びチャンネル分離処理の対象となる画像データは、動画ファイルではなく、静止画ファイルである。
【００４９】
なお、制御部４０は、オリジナル画像領域５１へ取り込まれた静止画ファイル群が動画ファイルに由来する場合だけではなく、静止画ファイルに由来する場合であっても、静止画ファイル群を１のタイムラインに沿って配列されているものと認識する。配列は、ファイルの属性等から自動的に付与される。
【００５０】
＜１−２−２．再生処理＞
オリジナル画像領域５１へ静止画ファイル群が取り込まれると、制御部４０は、基本画面Ｗ１上に表示ウィンドウＷ２（図３参照）を重ねて表示させる。表示ウィンドウＷ２は、オリジナル画像領域５１へ取り込まれた静止画ファイル群のタイムラインの数だけ作成される。
【００５１】
表示ウィンドウＷ２内には、まず、オリジナル画像領域５１へ取り込まれた静止画ファイル群に含まれる１の静止画ファイル（例えば、タイムライン上で先頭のフレームの静止画ファイル）が表示される。その後、後述するとおり、表示ウィンドウＷ２内に表示されるフレームは、ユーザの操作を受けて切り替わる。
【００５２】
制御部４０は、表示ウィンドウＷ２内で、その表示ウィンドウＷ２に対応するタイムラインに属するフレーム群を、動画として再生可能である。ここで、図３に示すとおり、基本画面Ｗ１上には、ウィンドウ選択プルダウンメニューＴ１、再生ボタンＴ２、コマ送りボタンＴ３、コマ戻しボタンＴ４及びタイムラインバーＴ５が配置されている。
【００５３】
表示ウィンドウＷ２が複数存在する場合であっても、アクティブな表示ウィンドウＷ２は１つである。ウィンドウ選択プルダウンメニューＴ１は、どの表示ウィンドウＷ２をアクティブとするかの選択をユーザから受け付ける。以下、アクティブな表示ウィンドウＷ２に対応するタイムラインを、アクティブタイムラインと呼び、アクティブタイムラインに属するフレーム群を、アクティブフレーム群と呼ぶ。また、アクティブな表示ウィンドウＷ２内に現在表示されているフレームを、アクティブ表示フレームと呼ぶ。
【００５４】
再生ボタンＴ２は、アクティブフレーム群の動画としての再生の命令をユーザから受け付ける。制御部４０は、ユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内に、アクティブフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。なお、再生は、再生ボタンＴ２が押下された時点のアクティブ表示フレームから開始する。また、再生ボタンＴ２は、再生の停止の命令をユーザから受け付ける。制御部４０は、再生中にユーザが入力部２０を介して再生ボタンＴ２を押下したことを検知すると、アクティブな表示ウィンドウＷ２内の表示を、その時点のアクティブ表示フレームに固定する。
【００５５】
コマ送りボタンＴ３、コマ戻しボタンＴ４はそれぞれ、アクティブ表示フレームを、アクティブタイムラインに沿って１つ後、１つ前のフレームへ切り替える命令をユーザから受け付ける。
【００５６】
タイムラインバーＴ５は、アクティブタイムラインを図式的に示すオブジェクトである。タイムラインバーＴ５は、そのバーが延びる方向に、アクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＴ５上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。
【００５７】
図３に示すように、タイムラインバーＴ５は、選択フレーム群に対応する分割領域Ａ１と、非選択フレーム群に対応する分割領域Ａ２とを異なる態様で表示する。選択フレーム群とは、アクティブタイムライン上で現在選択されている区間に対応するフレーム群である。非選択フレーム群とは、アクティブタイムライン上で現在選択されていない区間に対応するフレーム群である。
【００５８】
タイムラインバーＴ５は、アクティブタイムライン上の任意の区間の選択をユーザから受け付ける。言い換えると、ユーザは、入力部２０を介してタイムラインバーＴ５上の分割領域を操作することにより、アクティブフレーム群の中から、任意のフレームを任意の数だけ選択することができる。制御部４０は、選択フレーム群を後述される画像処理及びチャンネル分離処理の対象として認識する。なお、ユーザによりタイムラインバーＴ５上の分割領域が選択される度に、アクティブ表示フレームは、最新に選択された分割領域に対応するフレームに切り替わる。
【００５９】
＜１−２−３．画像処理＞
以下、選択フレーム群に対する画像処理について説明する。制御部４０は、ノイズ除去、シャープネス、明るさ／コントラスト／彩度調整、画像解像度、回転、文字／矢印／モザイクの付加、画像平均などの複数の画像処理モジュールを実行可能である。画像処理モジュールは、画像処理プログラム２に組み込まれている。
【００６０】
ユーザは、入力部２０を介して基本画面Ｗ１を操作することにより、画像処理モジュールの中から任意のものを、任意の順番に、任意の回数だけ選択することが可能である。制御部４０は、ユーザが画像処理モジュールを選択したことを検知する度に、選択フレーム群に対しその画像処理モジュールを実行する。
【００６１】
フレームに対し画像処理モジュールが１回、２回、３回，・・・と、順次実行されてゆくにつれて、そのフレームは、第１次、第２次、第３次，・・・と、順次加工されてゆく。第０次フレームは、オリジナル画像領域５１に保存されている静止画ファイルに対応する。第（ｍ＋１）次フレームは、第ｍ次フレームに対応する静止画ファイルに対し画像処理モジュールを１回実行した後の静止画ファイルに対応する（ｍは、０以上の整数）。制御部４０は、第１次以降のフレームに対応する静止画ファイルを順次生成し、これらの静止画ファイルを加工ファイル領域５２内にそれぞれ別個に保存する。
【００６２】
図４は、１のタイムラインに属する静止画群が画像処理プログラム２によりどのように管理されるかを示す概念図である。図４において、横軸のＮ軸は、タイムライン上のフレームの順番を示しており、縦軸のＭ軸は、加工の順番を示している。図４のＮ−Ｍ空間内の座標（ｎ，ｍ）に対応する四角形は、静止画Ｑ（ｎ，ｍ）を表している。静止画Ｑ（ｎ，ｍ）は、タイムライン上でｎ番目のフレームの第ｍ次の静止画である（ｎは、自然数であり、ｍは、０以上の整数である）。
【００６３】
制御部４０は、各フレームについて、現在選択されている座標ｍの値をパラメータｍsとして管理する。オリジナル画像領域５１へ静止画ファイル群が取り込まれた直後、座標ｍsは、初期値０である。その後、画像処理モジュールが１回実行される度に、そのフレームの座標ｍsは１ずつインクリメントされる。また、ユーザは、入力部２０を介して所定の操作を行うことにより、選択フレーム群の座標ｍsを自在に変更することができる。なお、フレームに対し画像処理モジュールを実行するとは、そのフレームの第ｍs次の静止画に対し画像処理モジュールを実行することである。従って、座標ｍsを変更することには、画像処理モジュールの実行の対象を変更するという意味がある。また、フレームを表示するとは、そのフレームの座標ｍsの静止画を表示することである。従って、座標ｍsを変更することには、アクティブな表示ウィンドウＷ２内に表示される対象を変更するという意味もある。
【００６４】
＜１−３．チャンネル分離処理＞
以下、画像処理プログラム２に実装されているチャンネル分離処理について説明する。チャンネル分離処理とは、異なるチャンネルに属する映像が混在する動画を、チャンネル毎の動画へと分離する処理である。すなわち、チャンネル分離処理の対象とされるべき動画とは、典型的には、タイムラプスの方式で録画される複数の動画を、各動画の隙間時間に他の動画の映像を埋める形式で１つのタイムライン上に混合した動画（以下、混合タイムラプス動画という）である。混合タイムラプス動画は、複数のチャンネルの映像がタイムラインに沿って交互に切り替わるような動画である。
【００６５】
チャンネル分離処理は、選択フレーム群に対し実行されるが、チャンネル分離処理の実行には、複数のフレームが必要となる。従って、選択フレーム群としてフレームが１枚しか選択されていない状態では、チャンネル分離処理の開始のための操作ボタン等が無効化されており、チャンネル分離処理は開始させることができないものとする。或いは、選択フレーム群としてフレームが１枚しか選択されていなかったとしても、アクティブタイムライン上に複数のフレームが存在する場合には、アクティブタイムライン上の全てのフレームを、チャンネル分離処理の対象とすることもできる。以下では、チャンネル分離処理の対象となるフレーム群を対象フレーム群と呼ぶ。また、対象フレーム群により構成される動画を対象動画と呼ぶ。
【００６６】
チャンネル分離処理は、対象動画に含まれる複数のフレームを複数のチャンネルに自動的に分類する自動分類処理と、自動分類処理による分類結果をユーザが手動操作により修正する再分類処理とからなる。
【００６７】
自動分類処理は、自動分類部４１により実行される。自動分類処理は、対象動画に含まれる複数のフレームに画像処理を施すことにより、これらのフレームを複数のチャンネルに自動的に分類する処理である。具体的には、自動分類部４１は、フレーム間の類似度を算出し、当該類似度に応じて、対象動画に含まれる複数のフレームを複数のチャンネルに分類する。フレーム間の類似度は、比較されるフレームが同じチャンネルに属することの指標として算出される。自動分類処理の詳細については後述するが、自動分類処理の結果、複数のチャンネルが検出される。各チャンネルには、複数のフレームが所属する。なお、混合タイムラプス動画が対象とされる限りには、通常、複数のチャンネルが検出されることになるが、自動分類処理の結果、１のチャンネルしか検出されないこともあり得る。また、自動分類処理において、いずれのチャンネルにも属さないと判定されたフレームには、「未分類」という分類のラベリングが付与される。従って、自動分類処理の結果、対象動画に含まれる各フレームには、いずれかのチャンネルのチャンネル名、又は「未分類」のいずれかのラベリングが付与される。
【００６８】
再分類処理は、再分類部４５により実行される。再分類処理は、ユーザの操作に従って、対象動画に含まれる任意のフレームを任意のチャンネルに個別に分類する処理である。具体的には、再分類処理では、自動分類処理によりいずれのチャンネルにも分類されなかった未分類のフレームを、個別に特定のチャンネルに分類することができる。また、自動分類処理により誤ったチャンネルに分類されてしまったフレームを、正しい別のチャンネルに分類することもできる。従って、ユーザは、自動分類処理の結果がおかしいと感じた場合に、問題のフレームの所属先のチャンネルをフレーム単位で修正することができる。また、再分類処理では、ユーザの操作に従って、チャンネルを新規作成したり、複数のチャンネルを１のチャンネルに統合したりすることも可能である。すなわち、再分類処理は、自動分類処理の結果の手動での修正に利用される。
【００６９】
自動分類部４１は、ユーザが入力部２０を介して所定の操作を行ったことを検知すると、チャンネル分離処理を開始させる。チャンネル分離処理が開始すると、設定部４２は、まず、基本画面Ｗ１上に、選択フレームを表示するエリア設定ウィンドウＷ３（図５参照）を重ねて表示させる。エリア設定ウィンドウＷ３は、選択フレーム内で、自動分類処理においてフレーム間の類似度を算出するための基準となるエリアの指定をユーザから受け付ける画面である。選択フレームとは、対象フレーム群に含まれる１のフレームであり、例えば、対象フレーム群の中でタイムラインに沿って先頭のフレームとしたり、アクティブ表示フレームとしたりすることができる。なお、既に述べたことから明らかであるが、アクティブ表示フレームは、タイムラインバーＴ５上で最新に選択されたフレームであるため、必ず対象フレーム群に含まれている。
【００７０】
対象動画が防犯カメラの映像等である場合には、しばしば、フレームの画面内には（図５の例では左下の部分）、日時の表示エリアが設けられている。そして、このような日時の表示エリアを含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、同じチャンネルに属するフレームどうしであっても、類似度が低く判断される虞がある。また、フレームの画面内に、黒縁が設けられている場合がある。逆に、このような場合には、黒縁を含むフレーム全体の情報を用いてフレーム間の類似度を判断すると、異なるチャンネルに属するフレームどうしであっても、類似度が高く判断される虞がある。また、対象動画が、異なるエレベータ内に設置された防犯カメラの映像から構成される混合タイムラプス動画である場合にも、異なるチャンネルに属するフレーム間の類似度が高く判断され易い。エレベータ内の風景は、いずれも似通っているからである。エリア設定ウィンドウＷ３は、このような事態を避け、自動分類処理で算出されるフレーム間の類似度が同じチャンネルに属することの正確な指標となるよう、誤判定の要因となり得るエリアを類似度の算出の根拠となるエリアから除外するのに役立つ。具体的には、ユーザは、エリア設定ウィンドウＷ３の選択フレーム内で、各チャンネルの背景を特徴づけるエリアを指定する。エレベータの例で言うと、各エレベータ内の風景を特徴づけるポスター等が写っているエリアを指定すればよい。ユーザが、エリア設定ウィンドウＷ３上で、マウス等の操作により選択フレーム内の任意のエリアを指定すると、選択フレーム内には、ユーザにより指定されたエリアを示す囲み線７１が表示される。これにより、ユーザは、正しいエリアを指定できているか否かを確認することができる。
【００７１】
そして、ユーザによりエリア設定ウィンドウＷ３上の開始ボタン７２が押されると、その旨が自動分類部４１により検知され、後述する自動分類処理が開始する。また、同時に、エリア設定ウィンドウＷ３が閉じられる。なお、選択フレーム内でエリアが指定されていない状態で、開始ボタン７２が押された場合には、自動分類処理において、フレームの画面全体が類似度の算出の根拠として使用される。キャンセルボタン７３は、エリア設定ウィンドウＷ３を介してのエリア指定をキャンセルするためのボタンである。
【００７２】
自動分類処理の実行中は、自動分類処理の進捗状況を示すダイアログボックスが表示される。そして、自動分類処理が終了すると、当該ダイアログボックスが閉じられるとともに、再分類部４５が再分類処理を開始する。自動分類処理の詳細については、後述する。再分類部４５は、まず、基本画面Ｗ１上に、自動分類処理後に再分類を行うためのユーザーインターフェースとして、図６に示す再分類ウィンドウＷ４を重ねて表示させる。
【００７３】
再分類ウィンドウＷ４上には、チャンネル一覧エリアＣ１、フレーム一覧エリアＣ２、再生エリアＣ３、及びタイムラインバーＣ４が配置されている。チャンネル一覧エリアＣ１内には、自動分類処理で検出されたチャンネルにそれぞれ対応するチャンネルオブジェクト９１が配列される。図６の例では、４つのチャンネルＣＨ０１，ＣＨ０２，ＣＨ０３，ＣＨ０４に対応する４つのチャンネルオブジェクト９１が配列されている。本実施形態では、チャンネルオブジェクト９１は、アイコンの形態である。
【００７４】
図６に示すとおり、チャンネルオブジェクト９１には、対応するチャンネルのチャンネル名ＣＨ０１，ＣＨ０２，・・・が表示される。また、チャンネルオブジェクト９１には、対応するチャンネルに属する複数のフレームを代表する代表フレームのサムネイル画像が表示される。代表フレームは、後述するユーザの操作を受けて適宜切り替わるが、デフォルトは、例えば、対応するチャンネルに属するフレームのうち、タイムラインに沿って先頭のフレームである。なお、図６には示されていないが、チャンネルの数が多くなり、全てのチャンネルに対応するチャンネルオブジェクト９１をチャンネル一覧エリアＣ１内に配置しきれなくなると、当該エリアＣ１内にスクロールバーが登場し、当該エリアＣ１は実質的に拡大される。また、チャンネルオブジェクト９１には、対応するチャンネルに属するフレームの枚数も表示される。このようなフレームの枚数は、後述するユーザの操作を受けて変化するが、当該変化に合わせて、チャンネルオブジェクト９１における枚数の表示も、リアルタイムに切り替わる。
【００７５】
また、チャンネル一覧エリアＣ１内には、チャンネルオブジェクト９１の他、未分類オブジェクト９２も配置されている。未分類オブジェクト９２は、対象フレーム群の中で、いずれのチャンネルにも属さない未分類のフレームをまとめる分類に対応するオブジェクトである。なお、未分類のフレームをまとめる分類とは、現実のチャンネルには対応しないが、フレームをまとめていると言う意味では、仮想的には１つのチャンネルを構成している。そのため、未分類オブジェクト９２は、チャンネルオブジェクト９１と類似の形態を有し、本実施形態では、同じサイズのアイコンである。具体的には、未分類オブジェクト９２では、チャンネル名に代えて「未分類」の表示がされ、チャンネルに属するフレームの枚数に代えて未分類フレームの枚数が表示される。未分類オブジェクト９２における枚数の表示も、未分類のフレームの枚数の変化に合わせて、リアルタイムに切り替わる。また、未分類オブジェクト９２にも、「未分類」のフレームを代表する代表フレームのサムネイル画像が表示される。この代表フレームも、後述するユーザの操作を受けて適宜切り替わるが、デフォルトは、例えば、「未分類」の分類に属するフレームのうち、タイムラインに沿って先頭のフレームである。本実施形態では、未分類オブジェクト９２とチャンネルオブジェクト９１との間には、境界線９３が引かれている。
【００７６】
再分類部４５は、チャンネル一覧エリアＣ１内において、全てのチャンネルオブジェクト９１及び未分類オブジェクト９２の中から、任意の１のオブジェクトを選択する選択操作をユーザから受け付けている。全てのオブジェクト９１，９２のうち、現在選択されているオブジェクトは、その他のオブジェクトとは異なる態様で表示される。図６の例では、チャンネルＣＨ０１のオブジェクト９１が、その他のオブジェクト９１，９２とは異なる色で表示されている。以下では、現在選択されている１のオブジェクト９１，９２に対応するチャンネル又は分類を、選択チャンネルと呼ぶ。
【００７７】
フレーム一覧エリアＣ２内では、選択チャンネルに属する全てのフレームのサムネイル画像９４が一覧表示される。なお、選択チャンネルに属するフレームの枚数が多く、全てのサムネイル画像９４をフレーム一覧エリアＣ２内に配置しきれない場合には、当該エリアＣ２内にスクロールバー９５が登場し、当該エリアＣ２は実質的に拡大される。従って、ユーザは、オブジェクト９１，９２の選択状態を切り替えることにより、フレーム一覧エリアＣ２内に、未分類の全てのフレーム、又はいずれかのチャンネルに属する全てのフレームを選択的に一覧表示させることができる。従って、フレーム一覧エリアＣ２内の限られたスペースを有効利用しつつ、対象フレーム群に含まれる未分類及び分類済みのフレームを全て確認することができる。特に、この一覧表示の態様によれば、各チャンネルに誤ったフレームが分類されていたとしても、それを発見することが容易になる。なお、本実施形態では、チャンネル一覧エリアＣ１内のサムネイル画像９４は、多段式に配列可能であり、元のフレームのタイムライン上での順番ｎが大きくなるにつれて、左から右へ、上から下へと時系列順に配置される。
【００７８】
再分類部４５は、各チャンネルに属する特定の１枚のフレームを、アクティブフレームとして管理するとともに、特定の１枚の未分類のフレームについても、アクティブフレームとして管理する。フレーム一覧エリアＣ２内では、アクティブフレームのサムネイル画像９４には、他のフレームのサムネイル画像９４と区別するためのサインとして、囲み枠９６が付される。フレーム一覧エリアＣ２内のサムネイル画像９４は、各々、オブジェクトとして認識されており、ユーザは、クリック操作等により、フレーム一覧エリアＣ２内の全てのサムネイル画像９４の中から、任意の１のサムネイル画像９４を選択することができる。また、キーボード上の特定のキーを押下しながら、クリック操作を繰り返す操作等により、フレーム一覧エリアＣ２内のサムネイル画像９４を同時に複数選択することも可能である。再分類部４５は、フレーム一覧エリアＣ２内でサムネイル画像９４が選択される度に、選択チャンネルのアクティブフレームを、最新に選択されたサムネイル画像９４に対応するフレームに切り替える。このとき、囲み枠９６の位置も移動する。また、アクティブフレームは、チャンネルオブジェクト９１及び未分類オブジェクト９２に表示されるサムネイル画像と連動しており、各チャンネル又は分類のアクティブフレームが変更される度に、当該チャンネル又は分類に対応するオブジェクト９１，９２のサムネイル画像も切り替わる。すなわち、本実施形態では、各チャンネル及び分類の代表フレームとは、アクティブフレームに一致する。
【００７９】
フレーム一覧エリアＣ２内のアクティブフレームのサムネイル画像９４は、ドラッグ＆ドロップ操作により、チャンネル一覧エリアＣ１内のいずれかのオブジェクト９１，９２上に重ねるように個別に移動させることができる。また、フレーム一覧エリアＣ２内で複数のサムネイル画像９４が同時選択されている場合には、これらの複数のサムネイル画像９４を一括して、チャンネル一覧エリアＣ１内のいずれかのオブジェクト９１，９２上に重ねるように移動させることができる。（ただし、「移動」と言っても、サムネイル画像９４は、目的のオブジェクト９１，９２上でリリースされると、フォルダに挿入されたかの如く消える。）言い換えると、再分類部４５は、フレーム一覧エリアＣ２内の任意のサムネイル画像９４を、任意のチャンネル又は分類に関連付ける操作をユーザから受け付けている。この関連付け操作がされると、当該操作で移動させられたサムネイル画像９４に対応するフレームは、当該サムネイル画像９４の移動先となったオブジェクト９１，９２に対応するチャンネル又は分類に再分類される。なお、当該操作に係るサムネイル画像９４に対応するフレームが、元々、当該操作に係るオブジェクト９１，９２に対応するチャンネル又は分類に分類されていた場合には、当該操作は無視され、再分類は行われない。
【００８０】
図６に示すとおり、チャンネル一覧エリアＣ１内には、オブジェクト９１，９２の配列の後に、新規作成オブジェクト９７が配置されている。新規作成オブジェクト９７は、チャンネルを新規作成するためのオブジェクトであり、本実施形態では、アイコンの形態である。そして、以上の関連付け操作と同様の操作は、オブジェクト９１，９２だけでなく、新規作成オブジェクト９７に対しても行うことができる。具体的には、再分類部４５は、ドラッグ＆ドロップ操作により、フレーム一覧エリアＣ２内のアクティブフレームのサムネイル画像９４を新規作成オブジェクト９７上に重ねるように個別に移動させる操作をユーザから受け付けている。また、フレーム一覧エリアＣ２内で複数のサムネイル画像９４が同時選択されている場合には、これらの複数のサムネイル画像９４を一括して、新規作成オブジェクト９７上に重ねるように移動させることもできる。（ただし、「移動」と言っても、サムネイル画像９４は、新規作成オブジェクト９７上でリリースされると、フォルダに挿入されたかの如く消える。）そして、この関連付け操作がなされると、新規作成オブジェクト９７が存在していた位置に、チャンネルオブジェクト９１が新規作成される。
【００８１】
新規作成されたチャンネルオブジェクト９１は、関連付け操作により移動させられた１又は複数のサムネイル画像９４に対応するフレームを要素とする新たなチャンネルを表すオブジェクトとなる。言い換えると、関連付け操作により移動させられた１又は複数のサムネイル画像９４に対応するフレームが、新たなチャンネルに再分類される。従って、チャンネルオブジェクト９１が新規作成された直後において、移動されられたサムネイル画像９４が１つしかなかった場合には、当該オブジェクト９１上には、当該サムネイル画像９４が表示される。一方、複数のサムネイル画像９４が移動させられた場合には、それらのサムネイル画像９４の中の１つ（例えば、最後に選択されたもの）が、新規作成されたチャンネルオブジェクト９１上に表示される。チャンネル名も、適宜付与され、表示される。また、チャンネルオブジェクト９１の新規作成に伴って、新規作成オブジェクト９７は、新規作成されたオブジェクト９１を含むオブジェクト９１，９２の配列の後に移動する。
【００８２】
以上の各種関連付け操作によりフレームの再分類が行われると、再分類されたフレームには、再分類先のチャンネル又は分類に応じて、チャンネル名ＣＨ０１，ＣＨ０２，・・・又は「未分類」のラベリングが再付与される。また、フレーム一覧エリアＣ２内からは、再分類されたフレームのサムネイル画像９４が削除される。このとき、フレーム一覧エリアＣ２内では、削除されたサムネイル画像９４が配置されていたスペースを埋めるように、残りのサムネイル画像９４が整列される。なお、再分類されたフレームには、必ずアクティブフレームが含まれている。従って、再分類後、選択チャンネルのアクティブフレームは、タイムラインに沿って後ろのフレームのうち最も近い、なければタイムラインに沿って前のフレームのうち最も近いフレームに変更される。選択チャンネルのアクティブフレームの変更は、囲み枠９６の位置、及び、オブジェクト９１，９２上のサムネイル画像の表示に、適宜反映される。また、再分類されたフレームの移動前及び移動先のオブジェクト９１，９２に対応するチャンネル及び／又は分類に属するフレームの枚数が再計算され、オブジェクト９１，９２の表示に反映される。
【００８３】
また、以上の各種関連付け操作は、ドラッグ＆ドロップ操作以外の態様でも実現可能である。具体的には、図６に示すとおり、フレーム一覧エリアＣ２内のオブジェクト９１，９２，９７には、右下にキーボードの特定のキーを示す文字列が表示されている。再分類部４５は、オブジェクト９１，９２，９７に表示されている特定のキーが押下されたことを検知すると、その時点の選択チャンネルのアクティブフレーム、すなわち、フレーム一覧エリアＣ２内で現在囲み枠９６が付されているフレームが、当該特定のキーに対応するオブジェクト９１，９２，９７に関連付けられたものと判断する。その後の処理は、ドラッグ＆ドロップ操作の態様で関連付け操作が行われた場合と同様である。
【００８４】
また、再分類部４５は、ユーザの操作を受けて、複数のチャンネル（本段落及び次段落において、「未分類」の分類も含む。）を統合することもできる。具体的には、チャンネル一覧エリアＣ１内では、任意の１のオブジェクト９１，９２を、ドラッグ＆ドロップ操作により、別の任意の１のオブジェクト９１，９２上に重ねるように個別に移動させることができる。また、複数のオブジェクト９１，９２を同時に複数選択可能とし、これらの複数のオブジェクト９１，９２を一括して、別の任意の１のオブジェクト９１，９２上に移動可能としてもよい。（ただし、「移動」と言っても、移動させられたオブジェクト９１，９２は、移動先のオブジェクト９１，９２上でリリースされると、フォルダに挿入されたかの如く消える。）言い換えると、再分類部４５は、チャンネル一覧エリアＣ１内の任意のチャンネルを、別の任意のチャンネルに関連付ける操作をユーザから受け付けている。この関連付け操作がされると、当該操作で移動させられたオブジェクト９１，９２に対応するチャンネルは、当該オブジェクト９１，９２の移動先となった別のオブジェクト９１，９２に対応するチャンネルに統合される。
【００８５】
以上の関連付け操作によりチャンネルの統合が行われると、移動させられたオブジェクト９１，９２に対応するチャンネルに属する全てのフレームには、移動先のオブジェクト９１，９２に対応するチャンネルのチャンネル名「未分類」、ＣＨ０１，ＣＨ０２，・・・のラベリングが再付与される。その結果、移動先のオブジェクト９１，９２が、統合された新たなチャンネルを表すオブジェクトとなる。統合されたチャンネルのアクティブフレームとしては、移動先となったオブジェクト９１，９２のアクティブフレームが継続して用いられる。また、再分類部４５は、統合されたチャンネルに属するフレームの枚数を計算し、オブジェクト９１，９２上の表示に反映させる。また、チャンネル一覧エリアＣ１内では、チャンネルオブジェクト９１が移動させられた場合には、移動させられたチャンネルオブジェクト９１が消失し、消失したチャンネルオブジェクト９１が配置されていたスペースを埋めるように、残りのオブジェクト９１，９７が整列される。未分類オブジェクト９２が移動させられた場合には、フレームの枚数は０となるが、未分類オブジェクト９２はそのまま残る。
【００８６】
また、チャンネルオブジェクト９１が複数存在する場合に、チャンネル一覧エリアＣ１内でのこれらのオブジェクト９１の配列の順番は、ドラッグ＆ドロップ操作により自在に変更することができる。例えば、図６の状態で、チャンネルＣＨ０１のチャンネルオブジェクト９１をチャンネルＣＨ０２のチャンネルオブジェクト９１の右側へと移動したい場合には、チャンネルＣＨ０１のチャンネルオブジェクト９１を、チャンネルＣＨ０２，ＣＨ０３のチャンネルオブジェクト９１の間に移動させればよい。
【００８７】
次に、再生エリアＣ３について説明する。再生エリアＣ３は、選択チャンネルに属するフレーム群を動画として再生可能である。図６に示すとおり、再分類ウィンドウＷ４上には、再生ボタン７６、コマ送りボタン７７及びコマ戻しボタン７８が配置されている。
【００８８】
再生ボタン７６は、選択チャンネルに属するフレーム群の動画としての再生の命令をユーザから受け付ける。再分類部４５は、再生ボタン７６が押下されたことを検知すると、再生エリアＣ３内に、選択チャンネルに属するフレーム群に含まれるフレームを、タイムラインに沿って順次コマ送りの形式で表示させる。再生は、再生ボタン７６が押下された時点の選択チャンネルのアクティブフレームから開始する。また、再生は、選択チャンネルに応じたフレームレートで行われる。そして、再生中、再生エリアＣ３内に表示されるフレームは順次切り替わることになるが、当該切り替えの度に、再分類部４５により管理されるアクティブフレームは、当該切り替え後のフレームへとリアルタイムに更新される。また、再生ボタン７６は、再生の停止の命令をユーザから受け付ける。再分類部４５は、再生中に再生ボタン７６が押下されたことを検知すると、再生エリアＣ３内の表示を、その時点のアクティブフレームに固定する。なお、停止中においても、再生エリアＣ３内には、常に選択チャンネルのアクティブフレームが表示される。従って、停止中、フレーム一覧エリアＣ２内でのサムネイル画像９４の選択操作によりアクティブフレームが変更されると、再生エリアＣ３内の表示もリアルタイムに変更される。
【００８９】
また、再生中、アクティブフレームは随時更新されてゆくが、フレーム一覧エリアＣ２内の囲み枠９６も、最新のアクティブフレームのサムネイル画像９４を囲む位置にリアルタイムに移動する。また、このとき、選択チャンネルに対応するオブジェクト９１，９２のサムネイル画像も、リアルタイムに更新される。すなわち、再生エリアＣ３内での表示は、囲み枠９６の位置及びオブジェクト９１，９２のサムネイル画像の表示と、同期が取られている。しかしながら、他の実施形態では、再生中はこのような同期は取らない構成としてもよい。その場合、例えば、再生が停止した時点で初めて、囲み枠９６の位置が移動し、及び／又は、オブジェクト９１，９２のサムネイル画像が更新されるようにしてもよい。
【００９０】
コマ送りボタン７７、コマ戻しボタン７８はそれぞれ、再生エリアＣ３内の表示を、選択チャンネルに属するフレーム群のうち、タイムラインに沿って１つ後、１つ前のフレームへと切り替える命令をユーザから受け付ける。ボタン７７，７８操作による再生エリアＣ３内の表示の変更も、アクティブフレームの変更に連動している。
【００９１】
以上の再生の機能は、既存のチャンネル内に誤って分類されているフレームを発見するのに役立つ。すなわち、人は、動画を再生中に、突然、異なるチャンネルに属するフレームが現れた場合には、直ぐにそれを発見することができる。そして、そのような場合には、直ちに再生を停止させ、フレーム一覧エリアＣ２内で対応するフレームのサムネイル画像９４を探し出し、当該サムネイル画像９４を以上の関連付け操作により正しいチャンネルへと移動させればよい。
【００９２】
再分類ウィンドウＷ４上の再生エリアＣ３の下方には、選択チャンネルのフレームレートを表示するフレームレートエリアＣ５が表示されている。フレームレートは、様々な方法で算出することができ、例えば、選択チャンネルに属するフレームの枚数を、選択チャンネルに属する先頭のフレームの時刻と最後のフレームの時刻との差で割った値として算出することができる。或いは、選択チャンネルのフレームレートは、以下の式に基づいて算出することもできる。
（アクティブタイムラインに対応する動画のフレームレート）×（選択チャンネルに属するフレームの枚数）÷（アクティブタイムラインに属するフレーム数）
【００９３】
ところで、上述したとおり、選択チャンネルに属するフレームは、フレームの再分類により変化する。従って、再分類部４５は、再分類が行われる度に、選択チャンネルのフレームレートを再計算し、リアルタイムにフレームレートエリアＣ５の表示を変更する。また、フレームレートエリアＣ５の近傍には、選択チャンネルのチャンネル名又は分類名が表示されるチャンネル名エリアＣ６が配置されている。従って、ユーザは、再生エリアＣ３内に表示されている映像がどのチャンネルに属し、また、フレームレートエリアＣ５内に表示されているフレームレートがどのチャンネルのフレームレートであるかを正確に理解することができる。
【００９４】
次に、タイムラインバーＣ４について説明する。タイムラインバーＣ４は、基本画面Ｗ１上のタイムラインバーＴ５と同様に、アクティブタイムラインを図式的に示すオブジェクトである。チャンネル分離処理の対象となる対象フレーム群は、アクティブフレーム群の一部又は全部を構成する。従って、再分類ウィンドウＷ４上においても、アクティブタイムラインを管理できることは重要であるため、基本画面Ｗ１上のタイムラインバーＴ５と同様のタイムラインバーＣ４が配置されている。タイムラインバーＣ４は、左右方向に
延びており、左右方向にアクティブフレーム群のフレーム数で等分に分割されている。タイムラインバーＣ４上の左からｎ番目の分割領域は、アクティブタイムライン上でｎ番目のフレームに対応する（ｎは、自然数）。
【００９５】
再分類部４５は、タイムラインバーＣ４上において、選択チャンネルのアクティブフレームに対応する分割領域を示すサインとして、当該分割領域の位置に直線８３を表示する。すなわち、直線８３は、エリアＣ３内、及び、エリアＣ２の囲み枠９６内に表示されているフレームの、アクティブタイムライン上での位置を示している。また、タイムラインバーＣ４の下方には、対象範囲バー８５が表示されている。対象範囲バー８５は、タイムラインバーＣ４と同様に左右方向に、対象フレーム群の占める区間に対応する範囲に亘って延びている。
【００９６】
タイムラインバーＣ４は、左右方向に拡縮可能である。具体的には、再分類ウィンドウＷ４上には、尺度変更バー８６が配置されており、尺度変更バー８６は、スライド溝６１及びスライダー６２の２つのオブジェクトを組み合わせたオブジェクトである。スライド溝６１は、左右方向に直線状に延びる溝のようなＧＵＩを有し、スライダー６２は、スライド溝６１内を左右方向にスライドするようなＧＵＩを有する。ユーザは、入力部２０を介してスライダー６２を操作することにより、スライド溝６１に沿ってスライダー６２を左右方向に往復移動させることができる。再分類部４５は、スライド溝６１内でのスライダー６２の左右方向の位置に応じて、タイムラインバーＣ４の左右方向の尺度を段階的に変更する。具体的には、スライダー６２が右側へ移動するにつれて、タイムラインバーＣ４の左右方向の尺度は段階的に短くなり、スライダー６２が左側へ移動するにつれて、タイムラインバーＣ４の左右方向の尺度は段階的に長くなる。なお、タイムラインバーＣ４の左右方向の尺度が変更されると、それに比例して、全ての分割領域の左右方向のサイズも均等に変更される。ただし、スライダー６２がスライド溝６１内の最左の位置に達すると、タイムラインバーＣ４は、サムネイル一覧Ｃ７に変化する（図７参照）。また、タイムラインバーＣ４及びサムネイル一覧Ｃ７の左右方向の尺度が長く、再分類ウィンドウＷ４内に収まりきらない場合には、左右方向にスクロールするスクロールバー８７が登場し、タイムラインバーＣ４を表示するためのエリアは左右方向に実質的に拡大される。
【００９７】
サムネイル一覧Ｃ７は、アクティブタイムラインに属する全てのフレームのサムネイル画像８８を左右方向に配列したものである。従って、ユーザは、再分類ウィンドウＷ４上で、アクティブタイムラインに含まれる対象フレーム群以外のフレームについても、確認することができる。サムネイル一覧Ｃ７上の左からｎ番目のサムネイル画像８８は、アクティブタイムライン上でｎ番目のフレームのサムネイル画像である（ｎは、自然数）。サムネイル一覧Ｃ７内において、選択チャンネルのアクティブフレームのサムネイル画像８８には、その他のサムネイル画像８８から区別するためのサインとして、囲み枠８９が付される。
【００９８】
タイムラインバーＣ４及びサムネイル一覧Ｃ７は、タイムラインバーＴ５と同様に、アクティブタイムライン上の任意のフレームの選択をユーザから受け付ける。言い換えると、ユーザは、クリック操作等によりタイムラインバーＣ４上の分割領域、又はサムネイル一覧Ｃ７内の任意のサムネイル画像８８を選択することにより、アクティブフレーム群の中から、任意のフレームを選択することができる。そして、再分類部４５は、タイムラインバーＣ４及びサムネイル一覧Ｃ７上でフレームが選択される度に、当該フレームが対象フレーム群に含まれる否かを判断する。そして、含まれると判断された場合には、当該フレームの属するチャンネル又は分類を、選択チャンネルに切り替える。同時に、再分類部４５は、当該フレームを選択チャンネルのアクティブフレームに切り替える。ここでの選択チャンネル及びアクティブフレームの変更は、チャンネル一覧エリアＣ１、フレーム一覧エリアＣ２、再生エリアＣ３、フレームレートエリアＣ５及びチャンネル名エリアＣ６の表示にリアルタイムに反映される。また、直線８３及び囲み枠８９の位置も、リアルタイムに変更される。
【００９９】
ユーザは、以上説明した様々な機能を用いて、対象フレーム群に含まれる複数のフレームの再分類を行うことができる。そして、再分類が終了したと判断した時点で、ＯＫボタンＥ５を押下する。これを受けて、再分類部４５は、再分類ウィンドウＷ４を閉じるとともに、新たなタイムラインに属する１又は複数の動画を新規作成する。新規作成される１又は複数の動画は、再分類ウィンドウＷ４上で最終的に定義されていたチャンネルであって、ユーザにより選択されていたもの（以下、最終チャンネル）に１対１で対応する。ユーザによる最終チャンネルの選択は、図６に示すとおり、チャンネルオブジェクト９１上に配置されている選択ボックス９８に選択の印を入れることにより行われる。なお、本実施形態では、選択ボックス９８のデフォルト値は「選択」の状態である。従って、ユーザは、動画の作成が不要と判断したチャンネルについてのみ、対応するオブジェクト９１上の選択ボックスを操作し、「非選択」の状態にすればよい。また、本実施形態では、再生エリアＣ３の下方にも、選択ボックス９９が配置されている。選択ボックス９９は、選択チャンネル（ただし、「未分類」の分類は含まれない）の動画の作成の要否を選択するためのオブジェクトであり、チャンネルオブジェクト９１上の選択ボックス９８と同期が取られている。再分類部４５は、選択ボックス９８，９９の選択状態を判断し、最終チャンネルを決定する。
【０１００】
以上のとおり新規作成される動画は、それぞれに対応する最終チャンネルに属する全てのフレームを、新たなタイムラインに沿って配列したものである。また、このとき、これらの新たな動画に１対１で対応する表示ウィンドウＷ２が新規作成される。更に、再分類部４５は、これらの新たな動画に含まれるフレーム群に１対１で対応する静止画ファイル群を作成し、加工ファイル領域５２内に格納し、第０次のフレームとして扱う。すなわち、これ以降、これらの新たな動画は、オリジナル画像領域５１へ取り込まれた静止画ファイル群と同様に処理されることが可能になる。具体的には、表示ウィンドウＷ２内で同様に再生可能となり、同様に各種画像処理の対象となる。
【０１０１】
なお、「未分類」の分類に対応する動画は、新規作成されない。そのため、ＯＫボタンＥ５が押下された時点で、再分類部４５は、未分類のフレームが残っているか否かを判断し、残っている場合にはその旨をユーザに伝えるようにしてもよい。この場合、例えば、再分類部４５は、未分類のフレームが残っていると判断される場合に、図８に示すような確認ウィンドウＷ５をディスプレイ１０上に表示させる。そして、「はい」ボタン７４が押されるのを待って、以上の動画の新規作成処理に移行する。「いいえ」ボタン７５が押された場合には、確認ウィンドウＷ５を閉じ、再分類ウィンドウＷ４に復帰する。一方、未分類のフレームが残っていないと判断される場合には、直ちに以上の動画の新規作成処理に移行する。
【０１０２】
＜１−４．自動分類のアルゴリズム＞
以下、図９を参照しつつ、自動分類処理の詳細について説明する。自動分類処理は、上述したとおり、エリア設定ウィンドウＷ３上の開始ボタン７２が押下された時に開始する。以下では、対象フレーム群を構成する複数のフレームを、Ｆ1，Ｆ2，・・・，ＦJと表す（Ｊは、２以上の整数）。なお、フレームＦ1，Ｆ2，・・・，ＦJの配列は、タイムライン上での配列に等しい。
【０１０３】
まず、ステップＳ１では、自動分類部４１が、対象フレーム群に含まれる各フレームＦ1，Ｆ2，・・・，ＦJのサイズを縮小する。このとき、例えば、フレームの横及び／又は縦の画素数が規定数となるように縮小してもよいし、元のサイズから所定の割合のサイズとなるように縮小してもよい。また、このとき、アスペクト比が保存されるようにしてもよいし、しなくてもよい。この縮小のステップにより、以下の処理の高速化が図られるとともに、ノイズの影響が低減される。以下では、縮小後のフレームＦ1，Ｆ2，・・・，ＦJも、Ｆ1，Ｆ2，・・・，ＦJと表す。
【０１０４】
続くステップＳ２では、設定部４２が、チャンネルＣＨ1を定義し、フレームＦ1をチャンネルＣＨ1に分類する。具体的には、フレームＦ1にチャンネル名ＣＨ1のラベリングを付与する。また、設定部４２は、フレームＦ1を、チャンネルＣＨ1に属するフレーム群を代表する基準フレームＧ1として設定する。なお、後述されるステップＳ１０により、チャンネル数は随時増加し得る。そして、新たに作成されるチャンネルＣＨlついても、それぞれのチャンネルに属するフレーム群を代表する基準フレームＧlが設定されることになる（ｌ＝２，３，・・・）。
【０１０５】
以上の前処理が終了すると、設定部４２は、残りのフレームＦ2，Ｆ3，・・・，ＦJの中からタイムラインに沿って順次フレームＦjを選択し（ｊ＝２，３，・・・，Ｊ）、比較フレームとして設定する。一方で、算出部４３、判定部４４及び設定部４２は、比較フレームＦjが設定される度に、比較フレームＦjに対し以下のステップＳ３〜Ｓ１０を繰り返し、既存の基準フレームＧ1，Ｇ2，・・・，ＧLとの比較を行う（Ｌは、既存のチャンネル数）。
【０１０６】
ステップＳ３では、算出部４３は、比較フレームＦj全体を規定数Ｋ（Ｋは、２以上の整数）の部分領域（ブロック）Ｄ1，Ｄ2，・・・，ＤKに分割する（図１０参照）。なお、ここでいう比較フレームＦj全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。なお、部分領域Ｄ1，Ｄ2，・・・，ＤKは、比較フレームＦj全体を隈なく分割したものである必要はなく、また、互いに一部重複していてもよい。形状については、矩形である必要はなく、例えば、円形であっても、他の多角形であってもよい。また、形状やサイズについては、均一とすることもできるし、互いに異なるものとすることもできる。
【０１０７】
続くステップＳ４では、算出部４３は、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々を、部分領域Ｄ'1，Ｄ'2，・・・，Ｄ'Kに分割する（図１０参照）。部分領域Ｄ'1，Ｄ'2，・・・，Ｄ'Kは、フレームの画面内において、それぞれ部分領域Ｄ1，Ｄ2，・・・，ＤKと同じ位置を占めるように定義される。
【０１０８】
次に、ステップＳ５では、算出部４３は、部分領域Ｄk，Ｄ'k（ｋ＝１，２，・・・，Ｋ）の組み合わせ毎に、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）との類似度（以下、局所類似度）Ｙlkを算出する。すなわち、局所類似度Ｙlkとは、比較フレームＦjの部分領域Ｄkと基準フレームＧlの部分領域Ｄ'kとの類似度である。本実施形態では、正規化相互相関（ＺＮＣＣ）と呼ばれる相関係数が算出されるが、他の実施形態では、ＮＣＣと呼ばれる相関係数や、ＳＤＤ、ＳＡＤと呼ばれる類似度等、他の類似度が算出されてもよい。
【０１０９】
次に、ステップＳ６では、算出部４３は、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での類似度（以下、総合類似度）Ｂlを算出する。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、局所類似度Ｙlkの高い部分領域Ｄk，Ｄ'kを判断する。このとき、例えば、局所類似度Ｙlkが上位規定割合に入るものを高いと判断することもできるし、局所類似度Ｙlkが所定の閾値よりも大きいものを高いと判断することもできる。そして、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、フレーム全体の中で局所類似度Ｙlkの高い部分領域Ｄk，Ｄ'kのみを用いて、比較フレームＦjと基準フレームＧlとの類似度を再度算出し、総合類似度Ｂlとする（図１０参照）。本実施形態では、総合類似度Ｂlとしても、正規化相互相関（ＺＮＣＣ）が算出されるが、局所類似度Ｙlkと同様に、他の類似度が算出されてもよい。また、総合類似度Ｂlと局所類似度Ｙlkとが異なる方法で算出されてもよい。
【０１１０】
以上より、本実施形態では、総合類似度Ｂlを算出するに当たり、局所類似度Ｙlkの低い部分領域Ｄk，Ｄ'kの情報は考慮されないが、これは、以下の理由による。すなわち、同じチャンネルのフレームどうしは、背景画像は一致するが、移動体部分においては異なる画像となる。そして、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いて総合類似度Ｂlを判断すると、たとえ同じチャンネルのフレームどうしであっても、総合類似度Ｂlが低くなるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えられる局所類似度Ｙlkの低い部分領域Ｄk，Ｄ'kは、総合類似度Ｂlの算出に用いられない。その結果、移動体の影響が低減され、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。
【０１１１】
続くステップＳ７では、判定部４４が、ステップＳ６で算出された総合類似度Ｂ1，Ｂ2，・・・，ＢLのうち最大のものを判定し、当該最大のものが所定の閾値よりも大きいか否かを判定する。そして、所定の閾値よりも大きいと判定された場合には、処理はステップＳ８に進み、所定の閾値以下と判定された場合には、処理はステップＳ１０に進む。
【０１１２】
ステップＳ８では、判定部４４は、比較フレームＦjがチャンネルＣＨMAXに属すると判定する。ＭＡＸとは、最大の総合類似度Ｂlを与えるｌの値である。具体的には、判定部４４は、比較フレームＦjにチャンネル名ＣＨMAXのラベリングを付与し、比較フレームＦjをチャンネルＣＨMAXに分類する。これにより、比較フレームＦjは、チャンネルＣＨMAXに属するフレーム群と同じチャンネルに属することになる。
【０１１３】
ステップＳ８の後、処理はステップＳ９に進められる。ステップＳ９では、設定部４２が、チャンネルＣＨMAXの基準フレームＧMAXを更新する。具体的には、設定部４２は、比較フレームＦjと既存の基準フレームＧMAXとを合成して、新たな基準フレームＧMAXとする。本実施形態では、合成の態様として、既存の基準フレームＧMAXよりも比較フレームＦjの重みが大きくなるような重み付け平均が採用される。こうすることで、チャンネルＣＨMAXに属するフレーム群を代表する基準フレームＧMAXが、より直近のフレームに重みが置かれた合成画像となる。その結果、フレーム間のチャンネルの異同を判断するに当たり、時系列の変化に対応することが可能になる。なお、他の実施形態では、比較フレームＦjをそのまま、新たな基準フレームＧMAXとして設定してもよい。また、ステップＳ９を省略し、基準フレームＧMAXの更新を行わないようにすることもできる。
【０１１４】
一方、ステップＳ１０は、ステップＳ６で算出された総合類似度Ｂ1，Ｂ2，・・・，ＢLが、いずれも所定の閾値以下と判断される場合に実行されるステップである。言い換えると、ステップＳ１０は、比較フレームＦjが、いずれのチャンネルＣＨlの基準フレームＧlとも類似しない場合に実行されるステップである。ステップＳ１０では、設定部４２は、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLに加え、新たなチャンネルＣＨL+1を定義し、比較フレームＦjを当該チャンネルＣＨL+1に分類する。具体的には、比較フレームＦjに新たなチャンネル名ＣＨL+1のラベリングを付与する。また、設定部４２は、比較フレームＦjを、新たなチャンネルＣＨL+1に属するフレーム群を代表する基準フレームＧL+1として設定する。
【０１１５】
全てのフレームＦ1，Ｆ2，・・・，ＦJに対するステップＳ３〜Ｓ１０が終了すると、処理はステップＳ１１に進められる。ステップＳ１１では、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの修正が行われる。具体的には、算出部４３は、基準フレームＧ1，Ｇ2，・・・，ＧL間のフレーム全体の類似度を総当たりで算出する。なお、ここでいうフレーム全体とは、ステップＳ３と同様、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。また、本実施形態では、ステップＳ５，Ｓ６と同様、類似度として正規化相互相関（ＺＮＣＣ）が算出されるが、他の類似度が算出されてもよい。また、類似度が、総合類似度Ｂl及び局所類似度Ｙlkとは異なる方法で算出されてもよい。そして、判定部４４は、これらの類似度に所定の閾値を超えるものがあれば、そのような類似度を与える基準フレームＧlに対応するチャンネルＣＨlどうしを、１つのチャンネルに統合する。具体的には、統合されるチャンネルＣＨlに属するフレームＦjの全てに、同じチャンネル名のラベリングを再付与する。なお、ここでは、３つ以上のチャンネルＣＨlが１つに統合されることもある。
【０１１６】
更に、判定部４４は、以上のチャンネルの統合を行ってもなお１枚のフレームしか含まれないチャンネルＣＨlが存在する場合には、当該チャンネルＣＨlを消滅させる。具体的には、判定部４４は、消滅させる全てのチャンネルＣＨlに属するフレームＦjに、「未分類」のラベリングを再付与する。なお、本実施形態では、１枚のフレームＦjしか含まれないチャンネルＣＨlが消滅の対象となるが、このような基準値を２枚、３枚、・・・としてもよい。また、作成可能なチャンネル数に上限を設けておくこともできる。この場合、チャンネル数が上限を超えないように、フレームＦjの枚数の少ないチャンネルから消滅させるようにすることができる。
【０１１７】
以上の処理によると、最終的に作成されたチャンネルのチャンネル名ＣＨlに含まれる数値は、連続番号とはなっていない可能性が高い。そこで、判定部４４は、最終的に作成されたチャンネルＣＨlに、ＣＨ０１，ＣＨ０２，・・・とのチャンネル名を順番に再付与し、各フレームＦjに付与されているラベリングを、これらの新たなチャンネル名で更新する。そして、その後、自動分類処理が終了する。
【０１１８】
＜２．第２実施形態＞
以下、本発明の第２実施形態について説明する。図１１は、第２実施形態に係る自動分類処理の流れを示しており、第２実施形態と第１実施形態とは、自動分類のアルゴリズムのみが相違する。また、図９及び図１１を比較すれば分かるように、両自動分類処理の相違点は、第２実施形態においてはステップＳ４〜Ｓ６の代わりに、ステップＳ２４〜Ｓ２６が挿入されている点のみである。従って、以下では、簡単のため、当該相違点のみを説明する。
【０１１９】
第２実施形態では、第１実施形態と同様のステップＳ１〜Ｓ３の実行後に、ステップＳ２４が実行される。ステップＳ２４では、算出部４３が、比較フレームＦjの各部分領域Ｄ1，Ｄ2，・・・，ＤK内で、特徴点を検出する。このとき、各部分領域Ｄ1，Ｄ2，・・・，ＤK内で検出される特徴点の数は、同数とすることが好ましい。以下、比較フレームＦj内の特徴点を、Ｐ1，Ｐ2，・・・，ＰU（Ｕは、２以上の整数）と表す。
【０１２０】
算出部４３は、比較フレームＦj内において、各特徴点Ｐu（ｕ＝１，２，・・・，Ｕ）の近傍に、部分領域Ｖuを設定する（図１２参照）。部分領域Ｖuは、特徴点Ｐuを中心とする所定サイズの領域である。そして、算出部４３は、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し、部分領域Ｖ'1，Ｖ'2，・・・，Ｖ'Uを設定する（図１２参照）。部分領域Ｖ'1，Ｖ'2，・・・，Ｖ'Uは、フレームの画面内において、それぞれ部分領域Ｖ1，Ｖ2，・・・，ＶUと同じ位置を占めるように定義される。
【０１２１】
以上のとおり、本実施形態では、比較フレームＦjの中から、部分領域Ｄ1，Ｄ2，・・・，ＤKの単位で、特徴点Ｐ1，Ｐ2，・・・，ＰUが検出される。その結果、特徴点Ｐ1，Ｐ2，・・・，ＰUが、比較フレームＦjの画面全体の一部の領域に偏ってしまうことがなく、比較フレームＦj全体の中から凡そ均等に検出される。
【０１２２】
次に、ステップＳ２５では、算出部４３は、部分領域Ｖu，Ｖ'u（ｕ＝１，２，・・・，Ｕ）の組み合わせ毎に、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）との局所類似度Ｙluを算出する。すなわち、局所類似度Ｙluとは、比較フレームＦjの部分領域Ｖuと基準フレームＧlの部分領域Ｖ' uとの類似度である。なお、第１及び第２実施形態における局所類似度は、共に部分領域での類似度を表すという点で共通するため、同じ記号Ｙを用いて表す。また、本実施形態では、正規化相互相関（ＺＮＣＣ）と呼ばれる相関係数が算出されるが、第１実施形態と同様に、他の類似度が算出されてもよい。
【０１２３】
次に、ステップＳ２６では、算出部４３は、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での総合類似度Ｂlを算出する。なお、第１及び第２実施形態における総合類似度は、共にフレーム全体での類似度を表すという点で共通するため、同じ記号Ｂを用いて表す。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、局所類似度Ｙluの高い部分領域Ｖu，Ｖ'uを判断する。このとき、例えば、局所類似度Ｙluが上位規定割合に入るものを高いと判断することもできるし、局所類似度Ｙluが所定の閾値よりも大きいものを高いと判断することもできる。そして、各ｌ（ｌ＝１，２，・・・，Ｌ）について、フレーム全体の中で局所類似度Ｙluの高いＶu，Ｖ'uのみを用いて、比較フレームＦjと基準フレームＧlとの類似度を再度算出し、総合類似度Ｂlとする。本実施形態でも、総合類似度Ｂlとしては、正規化相互相関（ＺＮＣＣ）が算出されるが、第１実施形態と同様に、他の類似度が算出されてもよい。また、本実施形態でも、総合類似度Ｂlと局所類似度Ｙluとが異なる方法で算出されてもよい。
【０１２４】
以上のステップＳ２６により、総合類似度Ｂ1，Ｂ2，・・・，ＢLが算出される。その後の処理の流れは、第１実施形態と同様である。
【０１２５】
以上のとおり、本実施形態では、総合類似度を算出するに当たり、特徴点Ｐ1，Ｐ2，・・・，ＰUの近傍の部分領域Ｖ1，Ｖ2，・・・，ＶU以外の領域の情報は考慮されない。なぜならば、異なるチャンネルのフレームどうしであっても、それらが似通った光景を撮影したものであれば、フレーム全体の情報を用いて総合類似度Ｂlを判断すると、総合類似度Ｂlが高くなるからである。例えば、同一の店内の異なる場所を撮影した２つの映像においては、どちらも同じ均一色の壁紙や床等がフレームの大部分を占めることがあり、そのような場合、総合類似度Ｂlが高くなってしまう。従って、ここでは、誤判定を避けるべく、同じ均一色の壁紙や床等の背景を写している可能性の高い領域、すなわち、特徴点Ｐ1，Ｐ2，・・・，ＰUの近傍以外の領域は、総合類似度Ｂlの算出に用いられない。その結果、似通った背景の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かを正確に判断することができる。
【０１２６】
更に、本実施形態では、総合類似度Ｂlを算出するに当たり、局所類似度Ｙluの低い部分領域Ｖu，Ｖ'uの情報も考慮されない。なぜならば、フレーム全体に占める移動体部分の割合が大きい場合に、フレーム全体の情報を用いて総合類似度Ｂlを判断すると、たとえ同じチャンネルのフレームどうしであっても、総合類似度Ｂlが低くなるからである。従って、ここでは、誤判定を避けるべく、移動体部分を多く含むと考えらえる局所類似度Ｙluの低い部分領域Ｖu，Ｖ'uは、総合類似度Ｂlの算出に用いられない。その結果、移動体の影響を低減して、比較されるフレームどうしが同じチャンネルに属するか否かをさらに正確に判断することができる。
【０１２７】
＜３．第３実施形態＞
以下、本発明の第３実施形態について説明する。図１３は、第３実施形態に係る自動分類処理の流れを示しており、第３実施形態と第１及び第２実施形態とは、自動分類のアルゴリズムのみが相違する。また、図１３と図９とを比較すれば分かるように、第１及び第３実施形態に係る自動分類処理の相違点は、第３実施形態においてはステップＳ５，Ｓ６の代わりに、サブルーチンＳ３０が挿入されている点のみである。従って、以下では、簡単のため、当該相違点のみを説明する。
【０１２８】
上記のとおり、第１及び第２実施形態では、フレーム間の類似度として相関係数が算出されたが、第３実施形態では、フレーム間の類似度がフレームの色彩傾向に基づいて評価される。また、フレームの色彩傾向としては、フレームの画面内における全体的な色彩傾向と、フレームの画面内における局所的な色彩傾向とが総合的に考慮される。以下、具体的に説明する。
【０１２９】
まず、第３実施形態では、第１実施形態と同様のステップＳ１〜Ｓ４が実行され、続いて、サブルーチンＳ３０が実行される。サブルーチンＳ３０は、フレームの画面内における局所的な又は全体的な色彩傾向を示す様々な色指標を評価する処理であり、図１７にその詳細が示される。特に、サブルーチンＳ３０に含まれるステップＳ３１〜Ｓ３３では、濃度が考慮され、ステップＳ３４〜Ｓ３８では、彩度が考慮され、ステップＳ３９〜Ｓ４３では、色相が考慮される。なお、ステップＳ３１〜Ｓ３３では、濃度が考慮されるが、濃度に代えて、明度や輝度が用いられてもよい。また、サブルーチンＳ３０に含まれるステップＳ４４〜４６では、フレームの全体的な印象度が考慮される。
【０１３０】
まず、ステップＳ３１では、算出部４３は、比較フレームＦj全体の平均濃度Ｈｄを算出する。なお、ここでいう比較フレームＦj全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。また、算出部４３は、比較フレームＦj内の各部分領域Ｄk（ｋ＝１，２，・・・，Ｋ）における平均濃度Ｅｄkを算出する。なお、平均濃度は、対象とするエリア内の全ての画素の濃度の平均値として算出され、各画素の濃度は、当該画素のＲＧＢ値の平均値として算出される。続いて、算出部４３は、各部分領域Ｄk（ｋ＝１，２，・・・，Ｋ）に対し、濃度Ｅｄk＞濃度Ｈｄとなる場合には、「１」の値を付与し、濃度Ｅｄk≦濃度Ｈｄとなる場合には、「０」の値を付与する（図１４参照）。なお、この「１」「０」は、局所領域の濃度がフレーム全体を基準として相対的に高いか低いかを示す指標であり、濃度（明るさ）に関する局所的な色彩傾向を表す色指標（以下、濃度指標）である。
【０１３１】
続くステップＳ３２では、算出部４３は、ステップＳ３１と同様の処理を、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧl内の各部分領域Ｄ'k（ｋ＝１，２，・・・，Ｋ）に対し、濃度指標を算出する（図１４参照）。なお、図１３及び図１７に示すとおり、ステップＳ３２は繰り返し実行されることになるため、濃度指標が算出済みである基準フレームＧlについては、当該値が参照され、新たな算出の処理は省略される。
【０１３２】
続くステップＳ３３では、算出部４３は、ステップＳ３１，Ｓ３２で算出された濃度指標に基づいて、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）との間の類似度Ｂｄlを算出する。具体的には、算出部４３は、類似度Ｂｄlとして、比較フレームＦj内での濃度指標の分布パターンと、各基準フレームＧl内での濃度指標の分布パターンとの類似度を算出する。本実施形態では、「１」「０」の濃度指標が一致しない部分領域Ｄk，Ｄ'kの組み合わせの数をカウントし、当該カウント値を部分領域の数Ｋで割った値の二乗値を、類似度Ｂｄlとする（図１４参照）。なお、ここで、部分領域の数Ｋでの除算が行われるのは、類似度Ｂｄlを０〜１の間の値に維持し、正規化するためである。また、ステップＳ３３、及び後述するステップＳ３８，Ｓ４３で算出される類似度は、類似している程小さな値となる。この意味で、これらの類似度は、非類似度と捉えることもできる。
【０１３３】
ところで、画像の構図とは、画面内における複数の要素の配置により決定される。そして、多くの画像は、単純化すれば、注目物体を表す領域とその背景を表す領域とに大きく分かれる構図となる。すなわち、濃度指標が「１」の領域と「０」の領域とは、一方が注目物体を表し、他方がその背景を表していると考えることができる。この考え方からすると、比較フレームＦj内での濃度指標の分布パターンとは、比較フレームＦjの構図を表しており、基準フレームＧl内での濃度指標の分布パターンとは、基準フレームＧlの構図を表していると言える。従って、類似度Ｂｄlは、比較フレームＦj及び基準フレームＧl間の構図の類似度を表していると言える。
【０１３４】
続くステップＳ３４では、算出部４３は、比較フレームＦj内での濃度指標の分布パターンに基づいて、比較フレームＦjを２つの部分領域Ｒ1，Ｒ2に分割する（図１５参照）。部分領域Ｒ1は、比較フレームＦj内で濃度指標が「１」となる部分領域Ｄkを全て結合した領域であり、部分領域Ｒ2は、比較フレームＦj内で濃度指標が「０」となる部分領域Ｄkを全て結合した領域である。すなわち、ステップＳ３４では、比較フレームＦjの構図に基づいて、比較フレームＦjを注目物体を表す領域とその背景を表す領域とに分割している。
【０１３５】
続くステップＳ３５では、ステップＳ３４と同様に、算出部４３は、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々における濃度指標の分布パターンに基づいて、基準フレームＧ1，Ｇ2，・・・，ＧLの各々を部分領域Ｒ'1，Ｒ'2に分割する（図１５参照）。部分領域Ｒ'1は、基準フレームＧl内で濃度指標が「１」となる部分領域Ｄ'kを全て結合した領域であり、部分領域Ｒ'2は、基準フレームＧl内で濃度指標が「０」となる部分領域Ｄ'kを全て結合した領域である。すなわち、ステップＳ３５では、基準フレームＧlの構図に基づいて、基準フレームＧlを注目物体を表す領域とその背景を表す領域とに分割している。
【０１３６】
続くステップＳ３６では、算出部４３は、比較フレームＦj内の部分領域Ｒ1，Ｒ2の各々に対し、ＲＧＢ別の３つの平均値を算出する。続いて、算出部４３は、部分領域Ｒ1におけるＲＧＢ別の３つの平均値から、部分領域Ｒ1の彩度を算出するとともに、部分領域Ｒ2におけるＲＧＢ別の３つの平均値から、部分領域Ｒ2の彩度を算出する。次に、算出部４３は、部分領域Ｒ1，Ｒ2の間の相対的な彩度（以下、相対彩度）を算出する。相対彩度は、部分領域Ｒ1の彩度と部分領域Ｒ2の彩度との差の絶対値として算出される。相対彩度は、彩度に関する色彩傾向を表す色指標（以下、彩度指標）である。
【０１３７】
続くステップＳ３７では、算出部４３は、ステップＳ３６と同様の処理を、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧl内の部分領域Ｒ'1，Ｒ'2の各々の彩度を算出し、これらの差の絶対値である相対彩度を算出する。なお、図１３及び図１７に示すとおり、ステップＳ３７は繰り返し実行されることになるため、相対彩度が算出済みである基準フレームＧlについては、当該値が参照され、新たな算出の処理は省略される。ステップＳ３５も、同様に省略され得る。
【０１３８】
続くステップＳ３８では、算出部４３は、ステップＳ３６，Ｓ３７で算出された比較フレームＦjの相対彩度と、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）の相対彩度との類似度Ｂｓlを算出する。本実施形態では、類似度Ｂｓlは、両相対彩度の差を２５５で割った値の二乗値として算出される。なお、ここで、２５５での除算が行われるのは、類似度Ｂｓlを０〜１の間の値に維持し、正規化するためである。
【０１３９】
続くステップＳ３９では、算出部４３は、比較フレームＦjを、主領域Ｏ1及び副領域Ｏ2の２つの領域に分割する。具体的には、ステップＳ３４で算出された部分領域Ｒ1，Ｒ2のうち、面積のより広い方の領域を主領域Ｏ1とし、より狭い方の領域を副領域Ｏ2として設定する（図１６参照）。すなわち、ステップＳ３９は、比較フレームＦjの構図に基づいて、比較フレームＦjを注目物体を表す領域とその背景を表す領域とに分割している。
【０１４０】
続くステップＳ４０では、ステップＳ３９と同様に、算出部４３は、基準フレームＧ1，Ｇ2，・・・，ＧLの各々を、主領域Ｏ'1及び副領域Ｏ'2の２つの領域に分割する。具体的には、ステップＳ３５で算出された部分領域Ｒ'1，Ｒ'2のうち、面積のより広い方の領域を主領域Ｏ'1とし、より狭い方の領域を副領域Ｏ'2として設定する（図１６参照）。すなわち、ステップＳ４０では、基準フレームＧlの構図に基づいて、基準フレームＧlを注目物体を表す領域とその背景を表す領域とに分割している。
【０１４１】
続くステップＳ４１では、算出部４３は、主領域Ｏ1の平均色相を算出するとともに、副領域Ｏ2の平均色相を算出する。なお、この平均色相は、色相に関する局所的な色彩傾向を表す色指標（以下、色相指標）であり、対象とするエリア内の全ての画素の色相の平均値として算出される。
【０１４２】
続くステップＳ４２では、算出部４３は、ステップＳ４１と同様の処理を、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、基準フレームＧl内の領域Ｏ'1，Ｏ'2の各々に対し、色相指標を算出する。なお、図１３及び図１７に示すとおり、ステップＳ４２は繰り返し実行されることになるため、色相指標が算出済みである基準フレームＧlについては、当該値が参照され、新たな算出の処理は省略される。ステップＳ４０も、同様に省略され得る。
【０１４３】
続くステップＳ４３では、算出部４３は、比較フレームＦj内の主領域Ｏ1における色相指標と、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）内の主領域Ｏ'1における色相指標との類似度Ｂｈ1lを算出する。本実施形態では、類似度Ｂｈ1lは、主領域Ｏ1，Ｏ'1の色相指標の差を１８０で割った値の二乗値として算出される。また、算出部４３は、比較フレームＦj内の副領域Ｏ2における色相指標と、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）内の副領域Ｏ'2における色相指標との類似度Ｂｈ2lを算出する。具体的には、副領域Ｏ2，Ｏ'2の色相指標の差を１８０で割った値の二乗値を、類似度Ｂｈ2lとする。なお、ここで、１８０での除算が行われるのは、類似度Ｂｈ1l，Ｂｈ2lを０〜１の間の値に維持し、正規化するためである。
【０１４４】
続くステップＳ４４〜Ｓ４６は、フレームの画面内における全体的な色彩傾向を示す色指標を評価するステップである。本実施形態では、フレームの画面内における全体的な色彩傾向を評価するために、様々な印象度Ｚ1，Ｚ2，・・・，ＺI（Ｉは、２以上の整数）が定義されている。なお、これらの印象度Ｚ1，Ｚ2，・・・，ＺIを定義するための各種情報は、ソフトウェア管理領域５０内の印象度定義領域５３内に格納されている。
【０１４５】
以下、印象度Ｚi（ｉ＝１，２，・・・，Ｉ）について、説明する。各印象度Ｚiは、１又は複数の色条件に関連付けられており、これらの色条件には、重みが定義されている。なお、同じ印象度Ｚiに関連付けられている１又は複数の色条件の重みは、合計して１となる。図１８は、印象度Ｚ1「ナチュラル」の例を示しており、印象度Ｚ1「ナチュラル」は、「緑」「茶」及び「ベージュ」の３つの色条件に関連付けられている。また、「緑」「茶」及び「ベージュ」の３つの色条件には、それぞれ０．５，０．２５，０．２５の重みが付与されている。図１８に示すとおり、各色条件には、濃度（明度）、彩度及び色相の値に対する評価値が定義されている。ここで、ある画素が与えられた場合、各色条件の値は、当該画素の濃度、彩度及び色相の値に対応する評価値を導出した後、これらの評価値を掛け合わせることにより算出される。そして、当該画素の印象度Ｚiの値は、各色条件の値に以上の重みを付けて加算した値として算出される。
【０１４６】
ステップＳ４４では、算出部４３は、比較フレームＦjのフレーム全体での各印象度Ｚi（ｉ＝１，２，・・・，Ｉ）の値を算出する。なお、ここでいうフレーム全体とは、エリア設定ウィンドウＷ３上でエリアの指定がされていた場合には、当該エリア全体であり、指定がされていない場合には、フレームの画面全体である。具体的には、算出部４３は、各ｉ（ｉ＝１，２，・・・，Ｉ）について、比較フレームＦjのフレーム全体に含まれる各画素について印象度Ｚiの値を算出し、これらの値の平均値を算出し、当該平均値をフレーム全体での印象度Ｚiの値とする。なお、フレーム全体での印象度Ｚiの値は、印象度Ｚiに関するフレーム全体での色彩傾向を表す色指標（以下、印象指標）である。
【０１４７】
続くステップＳ４５では、算出部４３は、ステップＳ４４と同様の処理を、既存のチャンネルＣＨ1，ＣＨ2，・・・，ＣＨLの基準フレームＧ1，Ｇ2，・・・，ＧLの各々に対し実行する。すなわち、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、印象度Ｚ1，Ｚ2，・・・，ＺIの各々に対し、基準フレームＧlの印象指標を算出する。なお、図１３及び図１７に示すとおり、ステップＳ４５は繰り返し実行されることになるため、印象指標が算出済みである基準フレームＧlについては、当該値が参照され、新たな算出の処理は省略される。
【０１４８】
続くステップＳ４６では、算出部４３は、印象度Ｚ1，Ｚ2，・・・，ＺIに基づいて、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）とのフレーム全体での類似度Ｂｉlを算出する。具体的には、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）及び各ｉ（ｉ＝１，２，・・・，Ｉ）について、比較フレームＦjのフレーム全体での印象度Ｚiの値と基準フレームＧlのフレーム全体での印象度Ｚiの値の差の二乗値を算出する。そして、各ｌ（ｌ＝１，２，・・・，Ｌ）について、これらのＩ個の二乗値の合計値の平方根（Ｉ次元の印象度空間内における比較フレームＦjと基準フレームＧlとの距離）を１から引いた値を算出し、これを類似度Ｂｉlとする。
【０１４９】
次に、ステップＳ４７では、算出部４３は、既に算出された類似度Ｂｄl，Ｂｓl，Ｂｈ1l，Ｂｈ2l，Ｂｉl（ｌ＝１，２，・・・，Ｌ）に基づいて、比較フレームＦjと、各基準フレームＧl（ｌ＝１，２，・・・，Ｌ）との類似度（以下、総合類似度）Ｂlを算出する。なお、第１及び第３実施形態における総合類似度は、共にフレーム全体での類似度を表すという点で共通するため、同じ記号Ｂを用いて表す。本実施形態では、算出部４３は、各ｌ（ｌ＝１，２，・・・，Ｌ）について、Ｂｄl，Ｂｓl，Ｂｈ1l，Ｂｈ2lの合計値の平方根（４つの指標に関する４次元空間内における比較フレームＦjと基準フレームＧlとの距離）を１から引いた値（構図比較結果）を算出した後、当該値とＢｉl（印象比較結果）を掛け合わせた値を総合類似度Ｂlとする。なお、他の実施形態では、異なる方法を採用することも可能であり、例えば、構図比較結果及び／又は印象比較結果に適当な係数を掛けたり、適当な値を足したり引いたりした後に、両値を掛け合わせるようにしてもよい。或いは、適宜係数を加えつつ、１−Ｂｄlの平方根，１−Ｂｓlの平方根，１−Ｂｈ1lの平方根，１−Ｂｈ2lの平方根，Ｂｉlを足し合わせた値を総合類似度Ｂlとしてもよい。
【０１５０】
以上のステップＳ４７により、総合類似度Ｂ1，Ｂ2，・・・，ＢLが算出される。その後の処理の流れは、第１実施形態と同様である。
【０１５１】
＜４．用途＞
画像処理プログラム２は、多種多様な動画に対する画像処理を取り扱うことができ、例えば、警察等の機関が事件の捜査のために防犯カメラの監視映像を解析する場面でも利用され得る。例えば、同じ店舗内に多数の防犯カメラが設置されることがあるが、これらの監視映像は、しばしば、混合タイムラプス動画の形式で記録される。そして、このような場合、防犯カメラを設置している店舗内の専用機器を用いれば、混合タイムラプス動画に含まれる各チャンネルを分離することができるが、警察等においては、各メーカーの各機種に対応した専用機器を所有している訳ではないため、再生が困難になる。従って、動画の仕様に関わらず、混合タイムラプス動画をチャンネル毎の動画へと分離することが可能な以上のタイムライン分離処理は、このような場面で活用することができる。
【０１５２】
＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて、種々の変更が可能である。例えば、以下の変更が可能である。
【０１５３】
＜５−１＞
上記実施形態における再分類ウィンドウＷ４を、複数のウィンドウから構成してもよい。
【０１５４】
＜５−２＞
上記実施形態では、選択チャンネルを切り替えることにより、フレーム一覧エリアＣ２内においてフレーム群がチャンネル又は分類の単位で切り替え表示されるようになっていた。しかしながら、複数のチャンネル及び「未分類」の分類の各々に対し、フレーム群を一覧表示するためのフレーム一覧エリアを設けてもよい。この場合においては、画面スペースを効率的に使用するべく、各フレーム一覧エリア内において、フレーム群をサムネイル表示することが好ましく、さらに、サムネイル画像群をタイムラインに沿って配列することが好ましい。また、この場合、アイコンの形態のチャンネルオブジェクト９１及び未分類オブジェクト９２を省略し、各チャンネル用のフレーム一覧エリアを、関連付け操作のためのチャンネルオブジェクトとして使用するとともに、「未分類」の分類用のフレーム一覧エリアを、関連付け操作のための未分類オブジェクトとして使用することができる。すなわち、「未分類」のフレーム一覧エリアの中から任意のフレームを選択し、これをチャンネル用の任意のフレーム一覧エリア（チャンネルオブジェクト）にドラッグ＆ドロップすることにより、当該フレームを当該エリアに対応するチャンネルに分類できるように構成することも可能である。チャンネルに含まれるフレームを、別のチャンネル又は分類に移動させる場合も同様である。
【０１５５】
或いは、「未分類」のフレーム群を一覧表示するためのフレーム一覧エリアと、チャンネルに属するフレーム群を一覧表示するためのフレーム一覧エリアとを設け、「未分類」のフレーム群が前者のエリア内で常に表示されるようにしてもよい。この場合、後者のエリア内では、現在選択されているチャンネルに属するフレーム群のみが一覧表示されるようにすることができる。
【０１５６】
＜５−３＞
第３実施形態では、様々な色指標が定義され、これらが様々に組み合わされて総合類似度Ｂlが定義されたが、他の態様で色指標を定義することも可能であるし、他の態様で色指標を組み合わせて総合類似度Ｂlを定義することも可能である。例えば、第３実施形態では、濃度に関する色指標に基づいて構図が決定されたが、例えば、色相及び／又は彩度に関する色指標に基づいて構図を決定してもよい。また、部分領域Ｒ1，Ｒ2の間の相対彩度に基づいて類似度Ｂｓlが算出されたが、部分領域Ｒ1，Ｒ'1間での絶対的な彩度の差や、部分領域Ｒ2，Ｒ'2間での絶対的な彩度の差を類似度Ｂｓlとしてもよい。また、部分領域Ｒ1，Ｒ'1間での濃度の差や、部分領域Ｒ2，Ｒ'2間での濃度の差を類似度として算出し、総合類似度Ｂlに加味してもよい。
【０１５７】
＜５−４＞
上記実施形態では、チャンネル分離処理が開始した直後に、エリア設定ウィンドウＷ３が表示され、誤判定を避けるためのエリアの設定ができるように構成されていた。しかしながら、このようなエリア設定ウィンドウＷ３を表示させず、かかるエリアの設定ができないようにしてもよい。或いは、チャンネル分離処理が開始した直後は、エリア設定ウィンドウＷ３が表示されないものの、再分類ウィンドウＷ４上に、エリアの設定を行った上で自動分類処理のやり直しを命じるためのボタンを用意してもよい。この場合、ユーザは、エリアを設定せずに行った自動分類処理の結果が適切ではない（誤判定が多い）場合にのみ、以上のボタンを押下し、エリア設定ウィンドウＷ３を表示させる。そして、エリアの設定を行った上で、再度自動分類処理を実行させることができる。或いは、チャンネル分離処理が開始した直後にエリア設定ウィンドウＷ３を表示させ、エリアを設定した状態で自動分類処理を実行することができるようにしつつ、さらに、再分類ウィンドウＷ４上に上述のボタンを用意してもよい。
【０１５８】
＜５−５＞
上記実施形態のステップＳ９では、比較フレームＦjと既存の基準フレームＧMAXとを重み付け平均により合成したものを、新たな基準フレームＧMAXとした。しかしながら、基準フレームＧMAXの更新方法は、これに限られない。例えば、各画素について、チャンネルＣＨMAXに含まれる全てのフレーム（その時点の比較フレームＦjも含まれる）の画素値のヒストグラムを作成し、最頻となる画素値を基準フレームＧMAXの当該画素の画素値としてもよい。或いは、ヒストグラム中の中央値となる画素値を基準フレームＧMAXの当該画素の画素値としてもよい。
【０１５９】
＜５−６＞
上記実施形態において、ステップＳ１０の直後等にチャンネル数Ｌが一定数以上に達しているか否かを判定し、一定数以上に達していると判定される場合には、ステップＳ１１と同様の既存のチャンネルの修正処理を行うようにしてもよい。チャンネル数Ｌが増えすぎると、処理負荷が多大になるからである。ただし、フレーム数が１のチャンネルが存在したとしても、当該１のフレームが、現在選択されている比較フレームＦjから時間的に一定値以内の近さであれば、当該チャンネルの削除を行わないようにすることが好ましい。当該チャンネルは、最近作成されたチャンネルであり、今後当該チャンネルに分類されるフレームが出現する可能性が高いからである。なお、以上のようなチャンネルの削除を行っただけでは、チャンネル数Ｌが一定値を超えてしまう場合には、チャンネル数が２以上のチャンネル、３以上のチャンネルも、順次削除の対象とし、チャンネル数が一定数以下に保たれるようにすることができる。
【符号の説明】
【０１６０】
１  画像処理装置
２  画像処理プログラム
４１  自動分類部
４２  設定部
４３  算出部
４４  判定部
４５  再分類部
９１  チャンネルオブジェクト
９２  未分類オブジェクト
Ｃ３  再生エリア
Ｗ４  再分類ウィンドウ（再分類画面）
【図１】
0006524997.tif 000002
【図２】
0006524997.tif 000003
【図３】
0006524997.tif 000004
【図４】
0006524997.tif 000005
【図５】
0006524997.tif 000006
【図６】
0006524997.tif 000007
【図７】
0006524997.tif 000008
【図８】
0006524997.tif 000009
【図９】
0006524997.tif 000010
【図１０】
0006524997.tif 000011
【図１１】
0006524997.tif 000012
【図１２】
0006524997.tif 000013
【図１３】
0006524997.tif 000014
【図１４】
0006524997.tif 000015
【図１５】
0006524997.tif 000016
【図１６】
0006524997.tif 000017
【図１７】
0006524997.tif 000018
【図１８】
0006524997.tif 000019