(57)【要約】【課題】映像処理装置において、ユーザによる情報の映像種別分けの煩雑さを解消し、映像データの直感的把握性を向上させる。【解決手段】映像処理装置は、映像データを蓄積する蓄積手段を有し、それに蓄積された映像データの映像種別を設定し（ステップＳ４０１）、設定された映像種別毎に、対応した処理を選択し（ステップＳ４０５、Ｓ４０６、４０７、４０８、４０９）、選択された処理を映像データに対して実行し、実行した処理の結果を映像データに付加して蓄積手段に蓄積し、実行した処理の結果を含む情報を表示する（ステップＳ４１１、Ｓ４１２、４１３、４１４、４１５）。【選択図】        図４
2004173112.tif 000002
【特許請求の範囲】
【請求項１】
映像データを加工し、当該加工した結果を表示する映像処理装置であって、
前記映像データを蓄積する蓄積手段と、
該蓄積手段に蓄積された映像データの映像種別を設定する映像種別設定手段と、
該映像種別設定手段によって設定された映像種別毎に、対応した処理を選択する処理選択手段と、
該処理選択手段によって選択された処理を前記映像データに対して実行し、当該実行した処理の結果を前記映像データに付加して前記蓄積手段に蓄積する映像処理手段と、
該映像処理手段による前記結果を含む情報を表示する処理結果表示手段と
を備えたことを特徴とする映像処理装置。
【請求項２】
前記処理選択手段によって選択された処理が、顔画像を検出する処理であった場合、前記映像処理手段は、処理の結果として検出された顔画像を代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記処理選択手段によって選択された処理が、連続した複数の画像を連結する処理であった場合、前記映像処理手段は、処理の結果として連結された画像を単一の代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記処理選択手段によって選択された処理が、３次元物体を検出する処理であった場合、前記映像処理手段は、処理の結果として検出された３次元物体の任意方向の投影画像を代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とする請求項１乃至３のいずれかに記載の映像処理装置。
【請求項５】
前記映像処理手段の稼動量及び前記蓄積手段に蓄積される前記映像データのデータ量に応じて、金額を設定する課金設定手段をさらに備えたことを特徴とする請求項１乃至４のいずれかに記載の映像処理装置。
【請求項６】
映像処理装置のＣＰＵにより、映像データを加工し、当該加工した結果を表示する映像処理方法であって、
前記映像処理装置は、前記映像データを蓄積する蓄積手段を有し、
前記ＣＰＵによって、
前記蓄積手段に蓄積された映像データの映像種別を設定する映像種別設定ステップと、
該映像種別設定ステップにおいて設定された映像種別毎に、対応した処理を選択する処理選択ステップと、
該処理選択ステップにおいて選択された処理を前記映像データに対して実行し、当該実行した処理の結果を前記映像データに付加して前記蓄積手段に蓄積する映像処理ステップと、
該映像処理ステップにおける前記結果を含む情報を表示する処理結果表示ステップと
を備えたことを特徴とする映像処理方法。
【請求項７】
前記処理選択ステップにおいて選択された処理が、顔画像を検出する処理であった場合、前記映像処理ステップにおいて、処理の結果として検出された顔画像を代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とする請求項６に記載の映像処理方法。
【請求項８】
前記処理選択ステップにおいて選択された処理が、連続した複数の画像を連結する処理であった場合、前記映像処理ステップにおいて、処理の結果として連結された画像を単一の代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とする請求項６又は７に記載の映像処理方法。
【請求項９】
前記処理選択ステップにおいて選択された処理が、３次元物体を検出する処理であった場合、前記映像処理ステップにおいて、処理の結果として検出された３次元物体の任意方向の投影画像を代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とする請求項６乃至８のいずれかに記載の映像処理方法。
【請求項１０】
前記映像処理ステップにおける稼動量及び、前記蓄積手段に蓄積される前記映像データのデータ量に応じて、金額を設定する課金設定ステップをさらに備えたことを特徴とする請求項６乃至９のいずれかに記載の映像処理方法。
【請求項１１】
請求項６乃至１０のいずれかに記載の映像処理方法の各ステップをコンピュータに実行させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１２】
請求項６乃至１０のいずれかに記載の映像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像処理装置及び方法に関し、より詳しくは、ユーザが撮影した動画情報をその用途に応じて処理及び加工し提示する映像処理装置、映像処理方法、記録媒体及びプログラムに関する。
【０００２】
【従来の技術】
近年、ビデオ撮影機能付き携帯電話、動画撮影機能付デジタルカメラ等、比較的短時間のムービーを撮影する機器が急増している。また、ネットワーク技術の発展により撮影された動画を個人あるいは不特定多数に対して配信する事が可能となった。携帯等のモバイル端末、デジタルカメラ等にて静止画及び動画を取得した場合、端末内のメモリに保存されるかあるいは別途用意されたＰＣ（ｐｅｒｓｏｎａｌ  ｃｏｍｐｕｔｅｒ）等へ転送する場合が一般的である。ただし、保存蓄積に関しては、画像、映像、音声等のデータを保存するサービスが、例えば「ｈｔｔｐ：／／ｗｗｗ．ｅｇｒｏｕｐｓ．ｃｏ．ｊｐ／」にて提供されている。また、撮影する対象を文章に限れば、ネットワークを介して文字認識などを行い翻訳サービス等を実現するシステムも提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平１０−１３４００４号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、ビデオ撮影機能付き携帯電話、動画撮影機能付デジタルカメラ等によって撮影された映像データは、ローカルな記憶メディアあるいはネットワークを介して別メディアに保存されたとしても映像の内容は再生して確認するしか方法がないため、撮影後の映像種別分けが煩雑になる。
【０００５】
また、「ｈｔｔｐ：／／ｗｗｗ．ｅｇｒｏｕｐｓ．ｃｏ．ｊｐ／」にて提供されている方法によっても、サーバに保存されたデータは取得した日付、ユーザ名によって保存されるのみであるため、蓄積された映像種別（人物、風景等）を後から参照する場合、再生し、その内容を確認する方法しかないため同様に映像種別分けの煩雑さは解消されない。さらに、時刻、ユーザ名のみではデータ内容を直感的に把握できない。
【０００６】
また、上述の特許文献１等の方法によっても、対象とする映像種別が文字情報のみのため、一般に撮影された風景、人物画像などは扱えない。
【０００７】
従来のシステムには上述したような種々の課題があり、さらなる改善が望まれている。
【０００８】
本発明は、このような課題に鑑みてなされたもので、その目的とするところは、ユーザによる情報の映像種別分けの煩雑さを解消し、映像データの直感的把握性を向上させた映像処理装置及び方法を提供することにある。
【０００９】
【課題を解決するための手段】
このような目的を達成するために、本発明の映像処理装置は、映像データを加工し、当該加工した結果を表示する映像処理装置であって、前記映像データを蓄積する蓄積手段と、該蓄積手段に蓄積された映像データの映像種別を設定する映像種別設定手段と、該映像種別設定手段によって設定された映像種別毎に、対応した処理を選択する処理選択手段と、該処理選択手段によって選択された処理を前記映像データに対して実行し、当該実行した処理の結果を前記映像データに付加して前記蓄積手段に蓄積する映像処理手段と、該映像処理手段による前記結果を含む情報を表示する処理結果表示手段とを備えたことを特徴とする（図３〜１２、１５、１６に対応）。
【００１０】
ここで、前記処理選択手段によって選択された処理が、顔画像を検出する処理であった場合、前記映像処理手段は、処理の結果として検出された顔画像を代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とすることができる（図５、６に対応）。
【００１１】
また、前記処理選択手段によって選択された処理が、連続した複数の画像を連結する処理であった場合、前記映像処理手段は、処理の結果として連結された画像を単一の代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とすることができる（図７、８に対応）。
【００１２】
また、前記処理選択手段によって選択された処理が、３次元物体を検出する処理であった場合、前記映像処理手段は、処理の結果として検出された３次元物体の任意方向の投影画像を代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とすることができる（図９、１０に対応）。
【００１３】
また、前記映像処理手段の稼動量及び前記蓄積手段に蓄積される前記映像データのデータ量に応じて、金額を設定する課金設定手段をさらに備えたことを特徴とする（図１４に対応）。
【００１４】
また上記目的を達成するために、本発明の映像処理方法は、映像処理装置のＣＰＵにより、映像データを加工し、当該加工した結果を表示する映像処理方法であって、前記映像処理装置は、前記映像データを蓄積する蓄積手段を有し、前記ＣＰＵによって、前記蓄積手段に蓄積された映像データの映像種別を設定する映像種別設定ステップと、該映像種別設定ステップにおいて設定された映像種別毎に、対応した処理を選択する処理選択ステップと、該処理選択ステップにおいて選択された処理を前記映像データに対して実行し、当該実行した処理の結果を前記映像データに付加して前記蓄積手段に蓄積する映像処理ステップと、該映像処理ステップにおける前記結果を含む情報を表示する処理結果表示ステップとを備えたことを特徴とする（図４、６、８、１０、１２、１６に対応）。
【００１５】
ここで、前記処理選択ステップにおいて選択された処理が、顔画像を検出する処理であった場合、前記映像処理ステップにおいて、処理の結果として検出された顔画像を代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とすることができる（図６に対応）。
【００１６】
また、前記処理選択ステップにおいて選択された処理が、連続した複数の画像を連結する処理であった場合、前記映像処理ステップにおいて、処理の結果として連結された画像を単一の代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とすることができる（図８に対応）。
【００１７】
また、前記処理選択ステップにおいて選択された処理が、３次元物体を検出する処理であった場合、前記映像処理ステップにおいて、処理の結果として検出された３次元物体の任意方向の投影画像を代表画像とし、該代表画像のデータを前記映像データに付加することを特徴とすることができる（図１０に対応）。
【００１８】
また、前記映像処理ステップにおける稼動量及び、前記蓄積手段に蓄積される前記映像データのデータ量に応じて、金額を設定する課金設定ステップをさらに備えたことを特徴とすることができる（図１４に対応）。
【００１９】
また上記目的を達成するために、本発明のコンピュータ読み取り可能な記録媒体は、上述のいずれかに記載の映像処理方法の各ステップをコンピュータに実行させるためのプログラムを記録したことを特徴とする（図４、６、８、１０、１２、１６に対応）。
【００２０】
また上記目的を達成するために、本発明のプログラムは、上述のいずれかに記載の映像処理方法の各ステップをコンピュータに実行させることを特徴とする（図４、６、８、１０、１２、１６に対応）。
【００２１】
なお、特許請求の範囲と対応する実施形態及び図番を（）で示す。ただし、特許請求の範囲に記載した構成要素は上記（）部の実施形態の構成部に限定されるものではない。
【００２２】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。なお、各図面において同様の機能を有する箇所には同一の符号を付し、説明の重複は省略する。
【００２３】
以下、本発明の実施形態を「映像加工配信サービス」を例として説明する。
【００２４】
（システム構成）
図１は、本実施形態のシステム概略図である。図１中、符号１０１は画像入力機器群、１０２ａと１０２ｂは配信用計算機、１０３は蓄積加工処理用計算機、１０４はユーザ管理用計算機、１０５は表示用端末群である。
【００２５】
画像入力機器群１０１は、映像の蓄積やネットワーク通信機能を備えた配信用計算機１０２ａ、１０２ｂに接続されたカメラ、カメラ付き携帯電話、デジタルカメラ等によって構成され、ネットワーク１０６に接続可能とする。この内、デジタルカメラは有線、無線、あるいはメモリカード等の記憶メディアによってネットワーク通信機能を備えた配信用計算機１０２ａ、１０２ｂにデータを転送可能とし、ネットワーク１０６に画像データを配信するものとする。
【００２６】
画像入力機器群１０１によって取得された画像データはネットワーク１０６を介して蓄積加工処理用計算機１０３に送信され、蓄積される。蓄積加工処理用計算機１０３では、蓄積された映像データに対して、ユーザによって指定された処理を施し、その結果を保存あるいは配信するものとする。
【００２７】
ユーザ管理用計算機１０４では、ユーザによって画像入力機器群１０１より配信された映像の情報量及び、蓄積加工処理用計算機１０３にて実行された処理応じて、ユーザ毎に課金し、その履歴を保存するものとする。
【００２８】
表示用端末群１０５はネットワーク通信機能を有した計算機、携帯電話等の表示機能つき端末で構成され、蓄積加工処理用計算機１０３によって処理された結果を受信し表示する。
【００２９】
（画像蓄積処理の流れ）
図２は、画像入力機器群１０１、蓄積加工処理用計算機１０３、ユーザ管理用計算機１０４間の処理手順を示すシーケンス図である。まず、サービスを受けようとするユーザは、画像入力機器あるいはネットワーク通信機能を備えた配信用計算機１０２ａ、１０２ｂより、ユーザ管理用計算機１０４に対して、ＩＤ登録要請を行う。ユーザよりＩＤ登録要請を受信したユーザ管理用計算機では、ユーザ毎に固有のＩＤを生成しユーザに返信すると同時に、蓄積加工処理用計算機１０３に対してユーザ情報を送信する。蓄積加工処理用計算機１０３では、この時点でＩＤ申請を行ったユーザの画像蓄積用領域の確保とユーザアカウントを生成する。なお、２回目以降ユーザはこの手続きを行わなくともよいものとする。
【００３０】
続いて、ユーザはユーザ管理用計算機１０４より発行されたＩＤを用いて蓄積加工処理用計算機１０３に利用要請を行う。利用要請を受けた蓄積加工処理用計算機１０３は、ＩＤの確認を行い許可されたユーザであれば、利用許可を発行する。
【００３１】
利用許可を受けたユーザは画像入力機器によって取得された映像データを蓄積加工処理用計算機１０３に送信する。ユーザより映像データを受信した蓄積加工処理用計算機１０３は、ユーザ情報および蓄積情報をユーザ管理用計算機１０４に送信する。
【００３２】
また、ユーザが映像データに対して何らかの加工処理を希望する場合は、加工処理利用要請を蓄積加工処理用計算機１０３に送信する。加工処理利用要請を受信した蓄積加工処理用計算機１０３は、自動選択あるいはユーザによって指定された加工処理を映像データに対して実行し、加工処理実績情報をユーザ管理用計算機１０４に送信すると共に、その処理結果をユーザに対して配信する。
【００３３】
（蓄積加工処理ブロック図）
図３は蓄積加工処理用計算機１０３内の蓄積加工処理に関するブロック図である。蓄積加工処理は、ネットワーク通信部３０１、画像蓄積部３０２、処理選択部３０３、映像処理部３０４、表示処理部３０５、記憶メディア部３０６から成る。また映像処理部３０４は、顔画像検出処理部３０４ａ、映像連結処理部３０４ｂ、３次元変換処理部３０４ｃ、文書処理部３０４ｄ、種別新規追加処理部３０４ｅから成る。
【００３４】
ネットワーク通信部３０１では、ユーザ管理用計算機１０４、画像入力機器群１０１からの情報を受信し画像蓄積部３０２及び処理選択部３０３にコマンドを送る。ここで、ユーザ管理用計算機１０４よりユーザ情報を受信した場合、ＩＤを記録すると共に画像蓄積部３０２に対してユーザ登録コマンドを送信する。画像入力機器群１０１より利用要請を配信された場合、前述のユーザ管理用計算機１０４より送られたＩＤ情報を検索し一致するものがあれば利用許可を画像入力機器群１０１に返信する。画像入力機器群１０１より映像データを配信された場合、画像蓄積部３０２に対して画像蓄積コマンドを発行する。このとき画像入力機器群１０１より加工処理利用要請を配信された場合、処理選択部３０３に対して映像データあるいはユーザによって指定された処理コマンドを発行する。
【００３５】
画像蓄積部３０２では、ネットワーク通信部３０１からの情報を受信し、ユーザアカウント、蓄積領域の生成及び映像データの蓄積を行う。ネットワーク通信部３０１より、ユーザ登録コマンドを受信すると、ユーザアカウントを生成すると共に記憶メディア部３０６にユーザが利用可能な一定容量の蓄積領域を確保する。ネットワーク通信部３０１より、画像蓄積コマンドを受信すると、ユーザから送信された映像データを記憶メディア３０６に保存する。
【００３６】
処理選択部３０３では、ネットワーク通信部３０１から情報を受信し、顔画像検出処理部３０４ａ、映像連結処理部３０４ｂ、３次元変換処理部３０４ｃ、文書処理部３０４ｄ、種別新規追加処理部３０４ｅへ処理実行コマンドを発行する。この際、発行されるコマンドはユーザが明示的に選択したものでもよいし、処理選択部３０３内にて映像データより自動検知してもよいものとする。
【００３７】
顔画像検出処理部３０４ａでは、処理選択部３０３から発行された処理実行コマンドを受信すると記憶メディア３０６より映像データをロードし顔検出処理を実行する。実行結果は、表示処理部３０５へ送信する。
【００３８】
映像連結処理部３０４ｂでは、処理選択部３０３から発行された処理実行コマンドを受信すると記憶メディア３０６より映像データをロードし映像連結処理を実行する。実行結果は、表示処理部３０５へ送信する。
【００３９】
３次元変換処理部３０４ｃでは、処理選択部３０３から発行された処理実行コマンドを受信すると記憶メディア３０６より映像データをロードし３次元変換処理を実行する。実行結果は、表示処理部３０５へ送信する。
【００４０】
文書処理部３０４ｄでは、処理選択部３０３から発行された処理実行コマンドを受信すると記憶メディア３０６より映像データをロードし文書処理を実行する。実行結果は、表示処理部３０５へ送信する。
【００４１】
表示処理部３０５では、顔画像検出処理部３０４ａ、映像連結処理部３０４ｂ、３次元変換処理部３０４ｃ、文書処理部３０４ｄより送信された処理結果を表示用端末に応じた形式に加工しネットワーク通信部３０１を介してユーザに送信する。
【００４２】
なお、処理選択部３０３、顔画像検出処理部３０４ａ、映像連結処理部３０４ｂ、３次元変換処理部３０４ｃ、文書処理部３０４ｄ、表示処理部３０５の処理の詳細は後述する。
【００４３】
（処理選択部フローチャート）
図４は蓄積加工処理用計算機１０３内の処理選択部３０３に関するフローチャートである。処理選択部３０３は、蓄積加工処理用計算機１０３のＣＰＵ（不図示）が、蓄積加工処理用計算機１０３のＲＡＭ（ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ；不図示）にロードした図４のフローチャートで示す処理を規定したプログラムを、読み出して実行することにより実現される機能である。尚、このプログラムは、ＣＰＵによって、上記プログラムを記録した記録媒体（記憶メディア３０６、不図示のフロッピー（登録商標）ディスク等）から読み出され、又は、上記プログラムを提供する他のコンピュータ等からネットワークを経由してダウンロードされ、ＲＡＭにロードされる。
【００４４】
処理選択部３０３では、画像入力機器群１０１より加工処理利用要請に基づく処理コマンドをネットワーク通信部３０１から受信した場合、以下の流れに従い処理を行う。
【００４５】
ＣＰＵは、ユーザにより映像種別が指定されたか判定し（ステップＳ４０１）、指定されていればユーザ指定の種別に対応する処理部、即ち後述のステップＳ４１１、Ｓ４１２、Ｓ４１３、Ｓ４１４、Ｓ４１５のいずれかに相当する処理を選択し処理を終了する（ステップＳ４１０→終了）。
指定されていなければ処理をステップＳ４０２へ移行する。
【００４６】
ステップＳ４０２においてＣＰＵは、画像入力機器群１０１より配信された映像データを記憶メディア３０６からロードする。そして、ステップＳ４０３においてＣＰＵは、映像データのカラー情報より肌色領域を抽出し、また水平、垂直方向にカラーデータの頻度分布を抽出する。次いでＣＰＵは、データに対してオプティカルフローを算出する（ステップＳ４０４）。
【００４７】
ＣＰＵは、肌色領域が指定面積以上であれば、顔画像検出処理部３０４ａへ処理コマンドを発行し処理を終了する（ステップＳ４０５→Ｓ４１１→終了）。指定面積未満であれば処理をステップＳ４０６へ移行する。
【００４８】
ＣＰＵは、水平、垂直方向のカラー頻度分布の予め定められた閾値以上のピークをカウントし（ステップＳ４０６）、指定数以上あれば、文書処理部３０４ｄへ処理コマンドを発行し処理を終了する（ステップＳ４１２→終了）。指定数未満であれば処理をステップＳ４０７へ移行する。
【００４９】
ＣＰＵは、映像全体のオプティカルフロー平均速度が予め定められた閾値以上か否か判定し（ステップＳ４０７）、閾値以上であれば、映像連結処理部３０４ｂへ処理コマンドを発行し処理を終了する（ステップＳ４１３→終了）。閾値未満であれば処理をＳ４０８へ移行する。
【００５０】
ＣＰＵは、映像中のオプティカルフロー速度が予め定められた閾値以上である領域が指定面積以上か否か判定し（ステップＳ４０８）、指定面積以上であれば３次元変換処理部３０４ｃへ処理コマンドを発行し処理を終了する（ステップＳ４１４→終了）。閾値以下であれば処理をステップＳ４０９へ移行する。
【００５１】
ＣＰＵは、ユーザに対し新規に映像種別を追加するかどうか問い合わせ（ステップＳ４０９）、追加ありであれば種別新規追加処理部３０４ｅへ映像種別新規追加処理コマンドを発行し処理を終了する（ステップＳ４１５→終了）。追加なしであれば処理をステップＳ４０１へ移行する。
【００５２】
上記処理のうち、ステップＳ４０３の肌色領域の抽出には例えば、特開平９−５０５２８号公報に開示された人物検出装置の方法を用いることができる。図１７は、この人物検出装置の概要を示す図である。
【００５３】
図１７において、人物検出装置の方法を説明する。処理部１７２０へ入力部１７１０からカラー画像を入力する。顔色領域探索部１７２１は、入力されたカラー画像のＲＧＢ値から顔色領域を探索して候補領域とし、位置決め部１７２２で用いるモザイクサイズを決定する。位置決め部１７２２は、候補領域をモザイク化し、位置決め用辞書１７２３のモザイク画像との距離を計算して対象画像の切り出し位置を決定する。位置決め部１７２２は粗探索部１７２２ａと詳細探索部１７２２ｂからなる。切り出し部１７２４は、位置決め部１７２２で得られた切り出し位置に基づいて入力画像から顔領域を切り出し、出力部１７３０に表示する。この構成により、背景等の影響による誤抽出を減らし、効率的に画像中から人物の顔画像部分を抽出することができる。
【００５４】
また、ステップＳ４０４のオプティカルフローの算出には例えば、特開平１１−３１６８４８号公報に開示されたオプティカルフロー場推定方法を用いることができる。図１８は、このオプティカルフロー場推定方法の概要を示す図である。
【００５５】
図１８において、オプティカルフロー場推定方法を説明する。処理部１８２０は、入力部１８１０において入力された時系列画像から速度成分の計測対象の領域を抽出し、３次元配列である時空間画像メモリ１８２０ｅ中の画素の集合として、画像中のエッジや輪郭の描く運動軌跡曲面を構成する時空間抽出部１８２０ａと、運動軌跡の接平面の頻度分布を検出する３次元ハフ変換部１８２０ｂと、３次元ハフ変換により得られる接平面の頻度分布が格納される投票分布メモリ１８２０ｆと、投票分布メモリ１８２０ｆ中の分布から速度成分の頻度分布を求め、速度分布メモリ１８２０ｇに格納する速度成分投票部１８２０ｃと、速度分布メモリ１８２０ｇ中の分布から複数の速度成分を検出する速度成分検出部１８２０ｄとを有する。
【００５６】
さらに処理部１８２０は、複数の異なる速度成分をもつ運動軌跡曲面によって共有される接平面（共有接平面と呼ぶ）の集合を投票分布メモリ１８２０ｆ中の分布から検出し、この共有接平面上の存在する運動軌跡曲面を構成する画素の集合を時空間画像メモリ１８２０ｅから抽出する共有接平面検出部１８２０ｈと、共有接平面上の画素のそれぞれについて、複数の速度成分に対応する方向に沿った運動軌跡の継続性を計算する運動軌跡継続性計算部１８２０ｉと、共有接平面上の画素の運動軌跡の継続性の大小により、各画素について複数の速度成分の中から一つを選ぶ、共有接平面上速度成分判定部１８２０ｊとを有し、共有接平面上に存在しない接平面に接する運動軌跡を構成する時空間画像メモリ１８２０ｅ中の画素のそれぞれについて、速度成分検出部１８２０ｄにより検出された複数の速度成分を有する度合いを計算する寄与度計算部１８２０ｋと、その各画素について、各々の速度成分を有する度合いが最も大きい速度成分をその画素の速度成分と判定する速度成分判定部１８２０ｌと、共有接平面上速度成分判定部１８２０ｊ、および、速度成分判定部１８２０ｌによって各画素に与えられた速度成分をまとめオプティカルフロー場を構成し、出力部１８３０へ出力をおこなうオプティカルフロー場構成部１８２０ｍとを有する。
【００５７】
このような構成により、時系列画像中の動物体の輪郭が時空間中に描く運動軌跡曲面を求め、その接平面の頻度分布を計算し、さらにその接平面の交線の頻度分布として対象の領域に含まれる速度成分の分布を求め、そこから顕著な速度成分を計算している。そして、速度成分に対応する交線をなす接平面の中から共通の接平面を検出し、その共通の接平面上の運動軌跡を構成する各画素については、運動軌跡が継続している速度成分を、その画素の速度成分とするようにし、また共通の接平面以外の接平面に対する画素については、速度成分を有する度合いのもっとも大きい速度成分をもって画素の速度成分とするようにする。これにより、時系列画像の局所的な領域に複数の明確に異なる動きをもつ対象が存在する場合にも、その領域内において、画素、フレーム単位にオプティカルフロー場を精度良く推定することができる。
【００５８】
また、ステップＳ４０３の処理では色情報として肌色としたが、これは任意の色情報あるいはテクスチャ情報であってよい。また、本実施形態では処理選択部３０３の処理を、色情報、オプティカルフローとしたが、これは選択された処理方式によって任意の方式としてもよい。
【００５９】
（顔画像検出処理部のブロック図）
図５は蓄積加工処理用計算機１０３内の顔画像検出処理部３０４ａに関するブロック図である。顔画像検出処理部３０４ａは、顔認識処理部５０１、辞書登録部５０２、データベース部５０３から成る。顔認識処理部５０１では、映像中より顔画像の検出、認識処理を行う。辞書登録部５０２では、新規に入力された人物の顔画像をユーザ指定の映像種別に関連付けてデータベース部５０３に登録する。データベース部５０３では、ユーザ毎に設定された顔画像とその映像種別をデータベースとして蓄積する。
【００６０】
（顔画像検出処理のフローチャート）
図６は蓄積加工処理用計算機１０３内の顔画像検出処理部３０４ａに関するフローチャートである。顔画像検出処理部３０４ａは、蓄積加工処理用計算機１０３のＣＰＵが、蓄積加工処理用計算機１０３のＲＡＭにロードした図６のフローチャートで示す処理を規定したプログラムを、読み出して実行することにより実現される機能である。尚、このプログラムは、ＣＰＵによって、上記プログラムを記録した記録媒体（記憶メディア３０６、不図示のフロッピー（登録商標）ディスク等）から読み出され、又は、上記プログラムを提供する他のコンピュータ等からネットワークを経由してダウンロードされ、ＲＡＭにロードされる。
【００６１】
顔画像検出処理部３０４ａでは、処理選択部３０３より処理コマンドを受信した場合、以下の流れに従い処理を行う。
【００６２】
ＣＰＵは、記憶メディア３０６より映像データを受信する（ステップＳ６０１）。ステップＳ６０２においてＣＰＵは、辞書への登録有無をユーザに問い合わせる。登録無しの場合、ＣＰＵは対象データの氏名、映像種別の入力を求め、辞書への登録即ちデータベース部５０３への登録後、処理を終了する（ステップＳ６０６→Ｓ６０７→終了）。登録済みの場合は処理をステップＳ６０３へ移行する。
【００６３】
ステップＳ６０３においてＣＰＵは、データベース部５０３より氏名、映像種別別に顔画像をロードする。次いでステップＳ６０４においてＣＰＵは、ステップＳ６０３にてロードした顔画像を辞書として映像データに対して顔画像認識処理を実行し、対象画像の人物の氏名、映像種別を特定する。そして、その認識結果の顔画像とその氏名、映像種別を表示処理部３０５へ送信する。
【００６４】
同時に、認識結果の顔画像を映像データに代表画像とし付加しその映像種別と共に記憶メディア３０６に登録する。
【００６５】
上記処理のうち、ステップＳ６０４の顔画像認識処理には例えば、特開平８−５５１３３号公報に開示された顔画像による登録データ検索装置の方法を用いることができる。図１９は、この顔画像による登録データ検索装置の概要を示す図である。
【００６６】
図１９において、顔画像による登録データ検索装置の方法を説明する。データベース１９３０  にはモザイク顔ファイル１９３０ａのモザイク顔データに対応して人物属性データを登録しておく。検索処理部１９２０は、対象人物の顔画像をカメラ等により取り込み（１９１０）、画像の多重解像度を利用して疎密探索で顔画像の位置決めを行い，予め記憶したモザイク顔との距離計算によるマッチングにより入力顔画像の人物を同定し（１９５０〜１９９０），その人物の属性データを得て，携帯型装置または離れた場所でその人物属性データを画面表示または音声出力する（１９４０）。この構成により、検索の対象となる相手に違和感を持たれないように，人物の顔画像を取り込み，取り込んだ顔画像から人物を同定し，画面表示もしくは音声出力により当該人物の属性データを教示することができる。
【００６７】
また、図６の処理は動画像を対象としてもよいし、デジタルカメラ画像等によって入力された一枚の画像でもよいものとする。
【００６８】
（映像連結処理部のブロック図）
図７は蓄積加工処理用計算機１０３内の映像連結処理部３０４ｂに関するブロック図である。映像連結処理部３０４ｂは、フレーム画像抽出部７０１、フレーム間連結処理部７０２から成る。フレーム画像抽出部７０１では、記憶メディア３０６よりロードした映像に対して一定間隔のフレームを一枚の画像として抽出するフレーム画像抽出処理を行う。この際、抽出する画像の時間間隔は予め指定するものとする。フレーム間連結処理部７０２では、各フレームの重なる部分を検出し、お互いの画像を連結する処理を行う。
【００６９】
（映像連結処理のフローチャート）
図８は蓄積加工処理用計算機１０３内の映像連結処理部３０４ｂに関するフローチャートである。映像連結処理部３０４ｂは、蓄積加工処理用計算機１０３のＣＰＵが、蓄積加工処理用計算機１０３のＲＡＭにロードした図８のフローチャートで示す処理を規定したプログラムを、読み出して実行することにより実現される機能である。尚、このプログラムは、ＣＰＵによって、上記プログラムを記録した記録媒体（記憶メディア３０６、不図示のフロッピー（登録商標）ディスク等）から読み出され、又は、上記プログラムを提供する他のコンピュータ等からネットワークを経由してダウンロードされ、ＲＡＭにロードされる。
【００７０】
映像連結処理部３０４ｂでは、処理選択部３０３より処理コマンドを受信した場合、以下の流れに従い処理を行う。
【００７１】
ＣＰＵは、記憶メディア３０６より映像データを受信する（ステップＳ８０１）。ＣＰＵは、予め指定された時間間隔でフレーム画像を抽出し、各フレームに時刻順に連番ｔ０−ｔｎを付与する。初期値としてｋ＝０を代入する（ステップＳ８０２）。
【００７２】
次いでＣＰＵは、付与番号ｔｋ及びｔｋ＋１のフレーム画像同士の一致する特徴点を検索し（ステップＳ８０３）、画像を連結し、合成する（ステップＳ８０４）。生成されたフレーム番号をｔｋ＋１とし保存する。ｋ＝ｋ＋１とする（変数ｋのカウントアップ）（ステップＳ８０５）。
【００７３】
ＣＰＵは、ステップＳ８０６において最終フレームかどうかを判定し、最終であればステップＳ８０７へ最終でなければステップＳ８０３へ処理を移行する。
【００７４】
ＣＰＵは、ステップＳ８０７において連結されたフレームを任意の矩形変換し、矩形変換された画像を表示処理部へ送信する（ステップＳ８０８）。
【００７５】
同時に、矩形変換された画像を映像データに代表画像とし付加しその映像種別（風景）と共に記憶メディア３０６に登録する。
【００７６】
上記処理のうち、ステップＳ８０４の画像を連結し合成する処理には例えば、特開平１０−１６４４３５号公報に開示された複数映像の時空間統合、管理装置の方法を用いることができる。図２０は、この複数映像の時空間統合、管理装置の概要を示す図である。
【００７７】
図２０において、複数映像の時空間統合、管理装置の方法を説明する。撮影状態検出部２００３は、画像データ列を読み出し、カメラオンオフとカメラ操作情報を検出する。映像分割部２００４はカメラオンオフ情報を基に映像をショット毎に分割し、被写体，背景分離部２００５がカメラ操作情報等を基に被写体と背景を分離する。被写体動き情報抽出部２００６が被写体情報をフレーム間で対応付ける一方、撮影空間再合成部２００７がカメラ操作情報と背景から撮影空間を再合成し、ショット間関係算出部２００８が再合成された複数の撮影空間の間の空間的関係を算出する。上記カメラオンオフ、カメラ操作、被写体、被写体動き、再合成背景とショット間関係の各情報を時空間的に管理・蓄積し、ユーザ要求等に従って撮影空間と被写体を１以上再合成し、表示又は出力する。この構成により、同じ撮影空間の複数映像から映像情報を効率よく取得でき、複数映像を時空間的に統一的に管理、表現、操作できる。
【００７８】
また、図８の処理は動画像および連続撮影された複数枚の画像を対象とする。
【００７９】
（３次元変換処理部のブロック図）
図９は蓄積加工処理用計算機１０３内の３次元変換処理部３０４ｃに関するブロック図である。３次元変換処理部３０４ｃは、フレーム画像抽出部９０１、３Ｄ構造抽出処理部９０２から成る。フレーム画像抽出部９０１では、記憶メディア３０６よりロードした映像に対して一定間隔のフレームを一枚の画像として抽出するフレーム画像抽出処理を行う。この際、抽出する画像の時間間隔は予め指定するものとする。３Ｄ構造抽出処理部９０２では、各フレームの特徴点を検出し、対象物に対するカメラ位置を検出し、各フレームの撮影位置関係を計測した後、３次元画像を生成する処理を行う。
【００８０】
（３次元変換処理のフローチャート）
図１０は蓄積加工処理用計算機１０３内の３次元変換処理部３０４ｃに関するフローチャートである。３次元変換処理部３０４ｃは、蓄積加工処理用計算機１０３のＣＰＵが、蓄積加工処理用計算機１０３のＲＡＭにロードした図１０のフローチャートで示す処理を規定したプログラムを、読み出して実行することにより実現される機能である。尚、このプログラムは、ＣＰＵによって、上記プログラムを記録した記録媒体（記憶メディア３０６、不図示のフロッピー（登録商標）ディスク等）から読み出され、又は、上記プログラムを提供する他のコンピュータ等からネットワークを経由してダウンロードされ、ＲＡＭにロードされる。
【００８１】
３次元変換処理部３０４ｃでは、処理選択部３０３より処理コマンドを受信した場合、以下の流れに従い処理を行う。
【００８２】
ＣＰＵは、記憶メディア３０６より映像データを受信する（ステップＳ１００１）。ＣＰＵは、予め指定された時間間隔でフレーム画像を抽出し、各フレーム間で特徴点を検出する（ステップＳ１００２→Ｓ１００３）。
【００８３】
次いでＣＰＵは、ステップＳ１００４において各フレームの特徴点の対応を検出し、撮影したカメラの対象物に対する位置姿勢を計測し、ステップＳ１００５において最終フレームかどうかを判定する。最終であればステップＳ１００６へ最終でなければステップＳ１００３へ処理を移行する。
【００８４】
ＣＰＵは、ステップＳ１００４にて得た各カメラの位置関係を基として仮想空間に対象物体の３次元形状を構成し、３次元形状データを表示処理部３０５へ送信する（ステップＳ１００６→Ｓ１００７）。
【００８５】
同時に、３次元形状データの画像を映像データに代表画像とし付加しその映像種別（固形物体）と共に記憶メディア３０６に登録する。
【００８６】
上記処理のうち、ステップＳ１００４の特徴点の対応を検出し、撮影したカメラの対象物に対する位置姿勢を計測する処理には例えば、文献「加藤晃市他”能動的図形更新によるカメラキャリブレーション”電子情報通信学会、信学技報、ＰＲＵ９４−１１２（１９９５−０１）、３９〜４６頁」、「出口光一郎”射影幾何学によるＰｎＰカメラ問題の統一的解法”情報処理シンポジウム、Ｖｏｌ．９０、ｐｐ４１−５０、１９９０」に示されているような演算手法を用いることができる。
【００８７】
また、ステップＳ１００６の仮想空間に対象物体の３次元形状を構成する処理には例えば、特開平８−４３０５６号公報に開示された移動物体特徴取得装置の方法を用いることができる。図２１は、この移動物体特徴取得装置の概要を示す図である。
【００８８】
図２１において、移動物体特徴取得装置の方法を説明する。魚眼レンズ２１１６を付けたテレビカメラ２１１５で、移動物体としての車両２１１２を一定の区間の間撮影し、その各撮影画像から背景画像を除去して車両のシルエットを求める。各画像の車両タイヤの接地点の移動軌跡を求め、これより、カメラ２１１５の視点と、各画像における車両との相対位置を求める。この相対位置関係で投影空間に対し各シルエットを配し、その各シルエットを投影空間に投影して、車両の形状を取得する。この構成により、１台のカメラで物体を回転させることなくその形状を取得することができる。
【００８９】
また、図１０の処理は動画像および連続撮影された複数枚の画像を対象とする。
【００９０】
（文書処理部のブロック図）
図１１は蓄積加工処理用計算機１０３内の文書処理部３０４ｄに関するブロック図である。文書処理部３０４ｄは、フレーム画像抽出部１１０１、文書認識処理部１１０２から成る。フレーム画像抽出部１１０１では、記憶メディア３０６よりロードした映像に対して一定間隔のフレームを一枚の画像として抽出するフレーム画像抽出処理を行う。この際、抽出する画像の時間間隔は予め指定するものとする。文書認識処理部１１０２では、各フレームの文書構造を抽出し、文字部分に対して文字認識処理を行う。
【００９１】
（文書処理のフローチャート）
図１２は蓄積加工処理用計算機１０３内の文書処理部３０４ｄに関するフローチャートである。文書処理部３０４ｄは、蓄積加工処理用計算機１０３のＣＰＵが、蓄積加工処理用計算機１０３のＲＡＭにロードした図１２のフローチャートで示す処理を規定したプログラムを、読み出して実行することにより実現される機能である。尚、このプログラムは、ＣＰＵによって、上記プログラムを記録した記録媒体（記憶メディア３０６、不図示のフロッピー（登録商標）ディスク等）から読み出され、又は、上記プログラムを提供する他のコンピュータ等からネットワークを経由してダウンロードされ、ＲＡＭにロードされる。
【００９２】
文書処理部３０４ｄでは、処理選択部３０３より処理コマンドを受信した場合以下の流れに従い処理を行う。
【００９３】
ＣＰＵは、記憶メディア３０６より映像データを受信する（ステップＳ１２０１）。ＣＰＵは、予め指定あるいは任意の１フレーム画像を抽出し、フレーム中で文書の文字領域を検出する（ステップＳ１２０２→Ｓ１２０３）。
【００９４】
次いでＣＰＵは、ステップＳ１２０４において検出された文字領域に対して文字認識処理を実行し文字コードに変換する。さらにステップＳ１２０５において、ステップＳ１２０２にて複数フレームが指定された場合はステップＳ１２０６へ処理を移行し、単一フレームが指定された場合はステップＳ１２０７へ処理を移行する。
【００９５】
ＣＰＵは、ステップＳ１２０６において、文字認識結果より文書が重複した部分を削除および連続した部分を連結する。またステップＳ１２０７において、文字コードに変換された文書データを表示処理部３０５へ送信する。
【００９６】
同時に、文書データの画像を映像データに代表画像とし付加しその映像種別（文書）と共に記憶メディア３０６に登録する。
【００９７】
上記処理のうち、ステップＳ１２０３の文書の文字領域を検出する処理には例えば、特開２０００−１４８７５２号公報に開示された文書構造認識方法を用いることができる。図２２は、この文書構造認識方法の概要を示す図である。
【００９８】
図２２において、文書構造認識方法を説明する。認識対象となる文書を入力し（ステップＳ２２０１）、文書と、予め保持されている箇条書きパターンとを行毎にパターンマッチングを行い（ステップＳ２２０２）、該箇条書きパターンにマッチする箇条書きの候補を生成し、文書の一行について文字が存在する行頭から文字が存在する行末までの文字列の長さを測定し（ステップＳ２２０３）、生成された箇条書き候補に空白が含まれる場合には、文字列の長さを用いて、得られた該箇条書き候補の中から１つの箇条書き候補を決定し（ステップＳ２２０４）、決定された箇条書き候補から空白を削除して箇条書きラベル及び内容の情報を取得し（ステップＳ２２０５）、決定された箇条書き候補に、ラベルの内容の情報をタグとして付与して出力する（ステップＳ２２０６）。この構成により、文書内の特定の文字列パターンとそのパターンを含む行の行頭から行末までの長さに着目し、行全体の長さと特定文字列パターンの長さの関係を考慮することにより、分野に依存しない任意の箇条書きを含む文の構造を解析することができる。
【００９９】
また、ステップＳ１２０４の文字認識処理を実行し文字コードに変換する処理には例えば、特開平９−６９２１号公報に開示された文字列入力装置の方法を用いることができる。図２３は、この文字列入力装置の概要を示す図である。
【０１００】
図２３において、文字列入力装置の方法を説明する。入力された文字イメージデータ２３０５について、文字品質評価処理ブロック２３０１にて、文字認識を行った場合の第１位文字候補の正解率すなわち文字認識率と、正解文字候補が第ｎ位までの文字候補中に含まれる率すなわち正解文字候補包含率を推定する。さらに、その推定結果に基づいて、文字列イメージデータを文字コードに変換する複数の入力手段２３０２、２３０３、２３０４の内、その変換処理に要する時間すなわち入力時間が最短となる手段を選択する。こうして選択された入力手段により、常に、入力文字品質に対応した高い入力効率での文字列入力を可能にする。この構成により、入力文字の字体変動に対応した適切な入力方法を機械的に選択することができる。
【０１０１】
また、図１２の処理は動画像を対象としてもよいし、デジタルカメラ画像等によって入力された一枚の画像でもよいものとする。
【０１０２】
（表示処理部変換例）
図１３（ａ）、（ｂ）、（ｃ）、（ｄ）は、各処理結果を表示処理部３０５においてユーザに提示する形式に変換した例を示す図である。図１３（ａ）は、顔画像検出処理部３０４ａより送信された処理結果の変換例、図１３（ｂ）は、映像連結処理部３０４ｂより送信された処理結果の変換例、図１３（ｃ）は、３次元変換処理部３０４ｃより送信された処理結果の変換例、図１３（ｄ）は、文書処理部３０４ｄより送信された処理結果の変換例を示す。
【０１０３】
図１３（ａ）は、顔画像検出処理部３０４ａより送信された顔画像とその氏名・映像種別を基に生成された表示例である。この表示例１３０２ａは、入力画像１３０１ａの映像種別を家族、友人等とし過去に撮影された画像と共に一覧表示した結果である。
【０１０４】
図１３（ｂ）は、映像連結処理部３０４ｂより送信された映像連結結果の表示例である。この表示例１３０２ｂは、複数フレームに渡る同じ場所にて撮影された結果１３０１ｂを連結し１枚の画像１３０３とし、過去に撮影された画像と共に一覧表示した結果である。
【０１０５】
図１３（ｃ）は、３次元変換処理部３０４ｃより送信された３次元データの表示例である。この表示例１３０２ｃは、送信された３次元データ１３０１ｃをいくつかの方向から観測した場合の画像に変換して一覧表示した結果である。
【０１０６】
図１３（ｄ）は、文書処理部３０４ｄより送信された文書データの表示例である。この表示例１３０２ｄは、送信された文字コードをテキストとした結果である。
【０１０７】
また各表示結果は、ネットワーク通信部３０１、ネットワーク１０６を介してユーザ側の表示用端末に表示されるものとする。
【０１０８】
（ユーザ管理テーブル）
図１４は、画像蓄積部３０２、処理選択部３０３、顔画像検出処理部３０４ａ、映像連結処理部３０４ｂ、３次元変換処理部３０４ｃ、文書処理部３０４ｄより送信された各処理利用情報をユーザ管理用計算機１０４内にてユーザ毎に管理するためのテーブル１４０１を示したものである。
【０１０９】
図中、各行の最も左には各ユーザのＩＤが入る。２コラム目は画像蓄積部３０２より送信されたデータに係るユーザの記憶メディア３０６の使用量に一定料金を乗算した結果が入るものとする。３コラム目は処理選択部３０３より送信されたユーザの処理選択部利用回数に一定料金を乗算した結果が入るものとする。４コラム目は顔画像検出処理部３０４ａより送信されたユーザの顔画像検出処理利用回数に一定料金を乗算した結果が入るものとする。以下、５−７コラムは映像連結処理部３０４ｂ、３次元変換処理部３０４ｃ、文書処理部３０４ｄの利用回数管理とし顔画像検出処理３０４ａと同様の管理を行う。最終コラムは、ユーザ毎の合計利用料金が算出された結果が入るものとし、この結果は逐次ユーザに請求されてもよいし、毎月等の一定間隔で請求され値がクリアされてもよいものとする。
【０１１０】
（種別新規追加処理部ブロック図）
図１５は蓄積加工処理用計算機１０３内の種別新規追加処理部３０４ｅに関するブロック図である。種別新規追加処理部３０４ｅは、フレーム画像抽出部１５０１、代表画像指定部１５０２から成る。フレーム画像抽出部１５０１では、記憶メディア３０６よりロードした映像に対して一定間隔のフレームを一枚の画像として抽出するフレーム画像抽出処理を行う。この際、抽出する画像の時間間隔は予め指定するものとする。代表画像指定部１５０２では、フレーム画像抽出部１５０１にて抽出された画像を表示用端末に提示し、任意の１枚をユーザによって指定する。
【０１１１】
（種別新規追加処理のフローチャート）
図１６は蓄積加工処理用計算機１０３内の種別新規追加処理部３０４ｅに関するフローチャートである。種別新規追加処理部３０４ｅは、蓄積加工処理用計算機１０３のＣＰＵが、蓄積加工処理用計算機１０３のＲＡＭにロードした図１６のフローチャートで示す処理を規定したプログラムを、読み出して実行することにより実現される機能である。尚、このプログラムは、ＣＰＵによって、上記プログラムを記録した記録媒体（記憶メディア３０６、不図示のフロッピー（登録商標）ディスク等）から読み出され、又は、上記プログラムを提供する他のコンピュータ等からネットワークを経由してダウンロードされ、ＲＡＭにロードされる。
【０１１２】
種別新規追加処理部３０４ｅでは、処理選択部３０３より処理コマンドを受信した場合以下の流れに従い処理を行う。
【０１１３】
ＣＰＵは、記憶メディア３０６より映像データを受信し、予め指定された時間間隔でフレーム画像を抽出する（ステップＳ１６０１→Ｓ１６０２）。
【０１１４】
そしてＣＰＵは、抽出されたフレームの中から１枚をユーザにより指定されるとその指定を受け付け、登録する映像種別を新規あるいは既存のものから指定されるとその指定を受け付ける（ステップＳ１６０３→Ｓ１６０４）。
【０１１５】
同時に、指定された１枚のフレーム画像を映像データに代表画像とし付加しその指定された映像種別と共に記憶メディア３０６に登録する。
【０１１６】
以上の処理によって映像つきメッセージ、風景、固形物体及び文書以外であった場合の画像登録を可能とする。
【０１１７】
（実施形態の効果）
以上の構成により、ビデオ撮影機能付き携帯電話、動画撮影機能付デジタルカメラ等によって撮影された映像データを、画像処理技術等によって映像データの映像種別を自動的に区別し映像種別毎に処理を実行する。さらにまた処理結果として各データの代表画像を決定しデータに付加する。
【０１１８】
このため、映像種別分けの煩雑さを回避し、映像データの直感的把握性を向上させた映像処理装置を提供することが可能となる。
【０１１９】
【発明の効果】
以上説明したように本発明によれば、映像処理装置は、映像データを蓄積する蓄積手段を有し、それに蓄積された映像データの映像種別を設定し、設定された映像種別毎に、対応した処理を選択し、選択された処理を映像データに対して実行し、実行した処理の結果を映像データに付加して蓄積手段に蓄積し、実行した処理の結果を含む情報を表示する。
【０１２０】
このため、逐次ユーザによる映像データの映像種別分けが不要となり映像種別分けの煩雑さを解消し、かつデータ内容の直感的把握性を向上させる事が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態のシステム概略図である。
【図２】本発明の実施形態の画像蓄積加工処理の処理手順を示すシーケンス図である。
【図３】本発明の実施形態の蓄積加工処理のブロック図である。
【図４】本発明の実施形態の処理選択部フローチャートである。
【図５】本発明の実施形態の顔画像検出処理部のブロック図である。
【図６】本発明の実施形態の顔画像検出処理部のフローチャートである。
【図７】本発明の実施形態の映像連結処理部のブロック図である。
【図８】本発明の実施形態の映像連結処理部のフローチャートである。
【図９】本発明の実施形態の３次元変換処理部のブロック図である。
【図１０】本発明の実施形態の３次元変換処理部のフローチャートである。
【図１１】本発明の実施形態の文書処理部のブロック図である。
【図１２】本発明の実施形態の文書処理部のフローチャートである。
【図１３】本発明の実施形態の各処理結果を表示処理部においてユーザに提示する形式に変換した例を示す図で、（ａ）は、顔画像検出処理部より送信された処理結果の変換例、（ｂ）は、映像連結処理部より送信された処理結果の変換例、（ｃ）は、３次元変換処理部より送信された処理結果の変換例、（ｄ）は、文書処理部より送信された処理結果の変換例を示す図である。
【図１４】本発明の実施形態のユーザ管理テーブルである。
【図１５】本発明の実施形態の種別新規追加処理部のブロック図である。
【図１６】本発明の実施形態の種別新規追加処理部のフローチャートである。
【図１７】人物検出装置の概要を示す図である。
【図１８】オプティカルフロー場推定方法の概要を示す図である。
【図１９】顔画像による登録データ検索装置の概要を示す図である。
【図２０】複数映像の時空間統合、管理装置の概要を示す図である。
【図２１】移動物体特徴取得装置の概要を示す図である。
【図２２】文書構造認識方法の概要を示す図である。
【図２３】文字列入力装置の概要を示す図である。
【符号の説明】
１０１  画像入力機器群
１０２ａ、１０２ｂ  配信用計算機
１０３  蓄積加工処理用計算機
１０４  ユーザ管理用計算機
１０５  表示用端末群
１０６  ネットワーク
３０１  ネットワーク通信部
３０２  画像蓄積部
３０３  処理選択部
３０４  映像処理部
３０４ａ  顔画像検出処理部
３０４ｂ  映像連結処理部
３０４ｃ  ３次元変換処理部
３０４ｄ  文書処理部
３０４ｅ  種別新規追加処理部
３０５  表示処理部
３０６  記憶メディア部
５０１  顔認識処理部
５０２  辞書登録部
５０３  データベース部
７０１  フレーム画像抽出部
７０２  フレーム間連結処理部
９０１  フレーム画像抽出部
９０２  ３Ｄ構造抽出処理部
１１０１  フレーム画像抽出部
１１０２  文書認識処理部
１３０２ａ、１３０２ｂ、１３０２ｃ、１３０２ｄ  変換例
１５０１  フレーム画像抽出部
１５０２  代表画像指定部
【図１】
2004173112.tif 000003
【図２】
2004173112.tif 000004
【図３】
2004173112.tif 000005
【図４】
2004173112.tif 000006
【図５】
2004173112.tif 000007
【図６】
2004173112.tif 000008
【図７】
2004173112.tif 000009
【図８】
2004173112.tif 000010
【図９】
2004173112.tif 000011
【図１０】
2004173112.tif 000012
【図１１】
2004173112.tif 000013
【図１２】
2004173112.tif 000014
【図１３】
2004173112.tif 000015
【図１４】
2004173112.tif 000016
【図１５】
2004173112.tif 000017
【図１６】
2004173112.tif 000018
【図１７】
2004173112.tif 000019
【図１８】
2004173112.tif 000020
【図１９】
2004173112.tif 000021
【図２０】
2004173112.tif 000022
【図２１】
2004173112.tif 000023
【図２２】
2004173112.tif 000024
【図２３】
2004173112.tif 000025