(57)【要約】【課題】情報を提供することによるプライバシの侵害を軽減することができるようにする。【解決手段】  時空間積分演算部１１３−０乃至１１３−ｍは、フィルタ特性制御部１１１からの積分時間パラメータに応じて、記憶部４３の映像情報に対して、映像情報の時空間的特性に応じたフィルタリング処理を並列して実行する。明瞭度フィルタ１１４−０乃至１１４−ｍは、時空間積分演算部１１３−０乃至１１３−ｍからの映像情報に対して、フィルタ特性制御部１１１からの明瞭度パラメータに応じて、明瞭度フィルタリング処理を並列して行い、融合処理部１１５に出力する。融合処理部１１５は、フィルタ特性制御部１１１からの融合比率パラメータに応じて、各明瞭度フィルタ１１４からの映像情報を融合する。本発明は、所定の空間を入力した映像音声情報を送受信する映像音声通信システムに適用できる。【選択図】図１１
2006333044.tif 000002
【特許請求の範囲】
【請求項１】
入力される情報に対して所定の処理を行う情報処理装置において、
所定の実空間内において入力された空間性を有する空間情報に対して、前記所定の空間内に存在する物体の情報が前記空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する複数の時空間フィルタリング処理手段と、
前記複数の時空間フィルタリング処理手段により前記時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成手段と、
前記合成手段により合成された空間情報を、後段に出力する出力手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記空間情報は、映像情報である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記時空間フィルタリング処理手段は、前記映像情報を時間積分することにより、前記時空間的特性に応じたフィルタリング処理を実行する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記時空間フィルタリング処理手段は、前記映像情報に対して、前記時空間的特性に応じた透明度のフィルタリング処理を実行する
ことを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記時空間フィルタリング処理手段により前記時空間的特性に応じたフィルタリング処理が実行された各映像情報に対して、さらに、前記透明度と異なる種類の映像フィルタリング処理をそれぞれ実行する複数の映像フィルタリング処理手段をさらに備え、
前記合成手段は、前記映像フィルタリング処理が実行されたそれぞれの映像情報を合成する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
ユーザの操作に応じて、前記時空間的特性に応じたフィルタリング処理毎の時空間パラメータ、および前記映像フィルタリング処理毎の映像パラメータの少なくとも一方を入力するパラメータ入力手段をさらに備え、
前記複数の時空間フィルタリング処理手段は、前記映像情報に対して、前記パラメータ入力手段により入力された前記時空間パラメータおよび前記時空間的特性に応じたフィルタリング処理を並列で実行し、
前記複数の映像フィルタリング処理手段は、前記映像情報に対して、前記パラメータ入力手段により入力された前記映像パラメータに応じた映像フィルタリング処理をそれぞれ実行する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記パラメータ入力手段は、ユーザの操作に応じて、前記合成手段により合成される空間情報の合成パラメータも入力し、
前記合成手段は、前記パラメータ入力手段により入力された合成パラメータに応じて、前記映像フィルタリング処理が実行されたそれぞれの映像情報を合成する
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記所定の実空間内から前記空間情報を入力する入力手段を
さらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記合成手段により合成された空間情報を、ネットワークを介して、他の情報処理装置に送信する送信手段を
さらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
他の情報処理装置から、ネットワークを介して、前記合成手段により合成された空間情報を受信する受信手段を
さらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記合成手段により合成された空間情報を、ユーザに対して出力する制御を行う出力制御手段を
さらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
入力される情報に対して所定の処理を行う情報処理装置の情報処理方法において、
所定の実空間内において入力された空間性を有する空間情報に対して、前記所定の空間内に存在する物体の情報が前記空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する時空間フィルタリング処理ステップと、
前記時空間フィルタリング処理ステップの処理により前記時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成ステップと、
前記合成ステップの処理により合成された空間情報を、後段に出力する出力ステップと
を含むことを特徴とする情報処理方法。
【請求項１３】
入力される情報に対して所定の処理をコンピュータに行わせるプログラムが記録されている記録媒体であって、
所定の実空間内において入力された空間性を有する空間情報に対して、前記所定の空間内に存在する物体の情報が前記空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する時空間フィルタリング処理ステップと、
前記時空間フィルタリング処理ステップの処理により前記時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成ステップと、
前記合成ステップの処理により合成された空間情報を、後段に出力する出力ステップと
を含むことを特徴とするプログラムが記録されている記録媒体。
【請求項１４】
入力される情報に対して所定の処理をコンピュータに行わせるプログラムであって、
所定の実空間内において入力された空間性を有する空間情報に対して、前記所定の空間内に存在する物体の情報が前記空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する時空間フィルタリング処理ステップと、
前記時空間フィルタリング処理ステップの処理により前記時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成ステップと、
前記合成ステップの処理により合成された空間情報を、後段に出力する出力ステップと
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、入力される所定の実空間内の情報に対して、その情報の時空間的特性に応じたフィルタリング処理を行うことにより、プライバシを保護しつつ、高臨場感を伴うコミュニケーションが可能な環境を実現することができるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
パーソナルコンピュータの急速な普及やネットワーク環境の整備が進んだことなどにより、遠隔地間での高画質で、常時接続可能な映像音声通信が可能になり、いつでも、どこでも、だれとでも、高臨場感を伴うコミュニケーションを行うことができるようになってきている。
【０００３】
しかしながら、従来の映像音声通信の方法では、例えば、音声電話のような通信方法と較べてより多くの情報が送受信されることから、場合によっては、ユーザのパーソナルスペースやプライバシの保護が困難になってしまうといった社会心理学的な問題が生じている。
【０００４】
この問題に対応して、特許文献１または特許文献２に示されるように、仮想空間においてアバタなどのキャラクタを用いての遠隔地間のコミュニケーションを行う方法が提案されている。
【０００５】
また、例えば、テレビ電話装置において送受信される映像情報内のプライバシを保護するために、ユーザの輪郭情報などを解析し、表情や視線を伝える映像情報部分のみに遮蔽処理を施す方法も提案されている。
【０００６】
【特許文献１】特開２００１−１６０１５４号公報
【特許文献２】特開平１１−２５０１６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、前者のように仮想空間を用いてのコミュニケーション方法では、現実に撮像された映像情報などが表示されないことから、プライバシの問題は緩和される一方で、現実に撮像された映像情報から得られる、そもそもの高臨場感および常時接続感が失われてしまう。すなわち、プライバシを保護しつつ、高臨場感を伴うコミュニケーションを行うことが困難であった。
【０００８】
また、後者の方法では、プライバシを保護しつつ、実際の映像によるコミュニケーションを行うことができるが、その際、輪郭情報の解析などの複雑な画像認識処理が必要となり、ユーザの操作や、画像認識処理を行う装置に負荷がかかってしまっていた。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、プライバシを保護しつつ、リアルタイムなコミュニケーションが可能な環境を簡単に実現することができるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明の情報処理装置は、所定の実空間内において入力された空間性を有する空間情報に対して、所定の空間内に存在する物体の情報が空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する複数の時空間フィルタリング処理手段と、複数の時空間フィルタリング処理手段により時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成手段と、合成手段により合成された空間情報を、後段に出力する出力手段とを備えることを特徴とする。
【００１１】
空間情報は、映像情報であるようにすることができる。
【００１２】
時空間フィルタリング処理手段は、映像情報を時間積分することにより、時空間的特性に応じたフィルタリング処理を実行するようにすることができる。
【００１３】
時空間フィルタリング処理手段は、映像情報に対して、時空間的特性に応じた透明度のフィルタリング処理を実行するようにすることができる。
【００１４】
時空間フィルタリング処理手段により時空間的特性に応じたフィルタリング処理が実行された各映像情報に対して、さらに、透明度と異なる種類の映像フィルタリング処理をそれぞれ実行する複数の映像フィルタリング処理手段をさらに備え、合成手段は、映像フィルタリング処理が実行されたそれぞれの映像情報を合成するようにすることができる。
【００１５】
ユーザの操作に応じて、時空間的特性に応じたフィルタリング処理毎の時空間パラメータ、および映像フィルタリング処理毎の映像パラメータの少なくとも一方を入力するパラメータ入力手段をさらに備え、複数の時空間フィルタリング処理手段は、映像情報に対して、パラメータ入力手段により入力された時空間パラメータおよび時空間的特性に応じたフィルタリング処理を並列で実行し、複数の映像フィルタリング処理手段は、映像情報に対して、パラメータ入力手段により入力された映像パラメータに応じた映像フィルタリング処理をそれぞれ実行するようにすることができる。
【００１６】
パラメータ入力手段は、ユーザの操作に応じて、合成手段により合成される空間情報の合成パラメータも入力し、合成手段は、パラメータ入力手段により入力された合成パラメータに応じて、映像フィルタリング処理が実行されたそれぞれの映像情報を合成するようにすることができる。
【００１７】
所定の実空間内から空間情報を入力する入力手段をさらに備えるようにすることができる。
【００１８】
合成手段により合成された空間情報を、ネットワークを介して、他の情報処理装置に送信する送信手段をさらに備えるようにすることができる。
【００１９】
他の情報処理装置から、ネットワークを介して、合成手段により合成された空間情報を受信する受信手段をさらに備えるようにすることができる。
【００２０】
合成手段により合成された空間情報を、ユーザに対して出力する制御を行う出力制御手段をさらに備えるようにすることができる。
【００２１】
本発明の情報処理方法は、所定の実空間内において入力された空間性を有する空間情報に対して、所定の空間内に存在する物体の情報が空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する時空間フィルタリング処理ステップと、時空間フィルタリング処理ステップの処理により時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成ステップと、合成ステップの処理により合成された空間情報を、後段に出力する出力ステップとを含むことを特徴とする。
【００２２】
本発明の記録媒体に記録されているプログラムは、所定の実空間内において入力された空間性を有する空間情報に対して、所定の空間内に存在する物体の情報が空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する時空間フィルタリング処理ステップと、時空間フィルタリング処理ステップの処理により時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成ステップと、合成ステップの処理により合成された空間情報を、後段に出力する出力ステップとを含むことを特徴とする。
【００２３】
本発明のプログラムは、所定の実空間内において入力された空間性を有する空間情報に対して、所定の空間内に存在する物体の情報が空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する時空間フィルタリング処理ステップと、時空間フィルタリング処理ステップの処理により時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成ステップと、合成ステップの処理により合成された空間情報を、後段に出力する出力ステップとを含むことを特徴とする。
【００２４】
本発明においては、所定の実空間内において入力された空間性を有する空間情報に対して、所定の空間内に存在する物体の情報が空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理が並列で実行される。そして、時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報が合成され、合成された空間情報が、後段に出力される。
【００２５】
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであってもよいし、１つの装置を構成している内部ブロックどうしであってもよい。
【００２６】
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、すなわち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであってもよい。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであってもよい。
【発明の効果】
【００２７】
本発明によれば、情報を提供することによるプライバシの侵害を軽減することができる。また、本発明によれば、プライバシを保護しつつ、高臨場感を伴うコミュニケーションが可能な環境を実現することができる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２９】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００３０】
請求項１に記載の情報処理装置（例えば、図１の映像音声通信装置１−１）は、所定の実空間内において入力された空間性を有する空間情報に対して、所定の空間内に存在する物体の情報（例えば、図５の物体Ｇのオブジェクト）が空間情報（例えば、図５の映像７２の映像情報）に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する複数の時空間フィルタリング処理手段（例えば、図１１の時空間積分演算部１１３−０乃至１１３−ｍ）と、複数の時空間フィルタリング処理手段により時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成手段（例えば、図１１の融合処理部１１５）と、合成手段により合成された空間情報を、後段に出力する出力手段（例えば、図１１の情報出力部４５）とを備えることを特徴とする。
【００３１】
請求項５に記載の情報処理装置は、時空間フィルタリング処理手段により時空間的特性に応じたフィルタリング処理が実行された各映像情報に対して、さらに、透明度と異なる種類の映像フィルタリング処理をそれぞれ実行する複数の映像フィルタリング処理手段（例えば、図１１の明瞭度フィルタ１１４−０乃至１１４−ｍ）をさらに備え、合成手段は、映像フィルタリング処理が実行されたそれぞれの映像情報を合成することを特徴とする。
【００３２】
請求項６に記載の情報処理装置は、ユーザの操作に応じて、時空間的特性に応じたフィルタリング処理毎の時空間パラメータ（例えば、図１４の時間積分パラメータ）、および映像フィルタリング処理毎の映像パラメータ（例えば、図１５の明瞭度パラメータ）の少なくとも一方を入力するパラメータ入力手段（例えば、図１の操作入力部１２−１）をさらに備え、複数の時空間フィルタリング処理手段は、映像情報に対して、パラメータ入力手段により入力された時空間パラメータおよび時空間的特性に応じたフィルタリング処理を並列で実行し、複数の映像フィルタリング処理手段は、映像情報に対して、パラメータ入力手段により入力された映像パラメータに応じた映像フィルタリング処理をそれぞれ実行することを特徴とする。
【００３３】
請求項７に記載の情報処理装置は、パラメータ入力手段は、ユーザの操作に応じて、合成手段により合成される空間情報の合成パラメータ（例えば、図１５の融合比率パラメータ）も入力し、合成手段は、パラメータ入力手段により入力された合成パラメータに応じて、映像フィルタリング処理が実行されたそれぞれの映像情報を合成することを特徴とする。
【００３４】
請求項８に記載の情報処理装置は、所定の実空間内から空間情報を入力する入力手段（例えば、図１のカメラ部１１−１）をさらに備えることを特徴とする。
【００３５】
請求項９に記載の情報処理装置は、合成手段により合成された空間情報を、ネットワーク（例えば、図１のネットワーク２）を介して、他の情報処理装置（例えば、図１の映像音声通信装置１−２）に送信する送信手段（例えば、図１の送信部２１−１）をさらに備えることを特徴とする。
【００３６】
請求項１０に記載の情報処理装置は、他の情報処理装置から、ネットワークを介して、合成手段により合成された空間情報を受信する受信手段（例えば、図１の受信部２２−１）をさらに備えるようにすることができる。
【００３７】
請求項１１に記載の情報処理装置は、合成手段により合成された空間情報を、ユーザに対して出力する制御を行う出力制御手段（例えば、図１のミキサ処理部１６−１）をさらに備えるようにすることができる。
【００３８】
請求項１２に記載の情報処理方法は、所定の実空間内において入力された空間性を有する空間情報に対して、所定の空間内に存在する物体の情報が空間情報に存在する存在時間と存在位置の特性である時空間的特性に応じたフィルタリング処理を並列で実行する時空間フィルタリング処理ステップ（例えば、図１７のステップＳ７１乃至Ｓ７３）と、時空間フィルタリング処理ステップの処理により時空間的特性に応じたフィルタリング処理が並列で実行されたそれぞれの空間情報を合成する合成ステップ（例えば、図１７のステップＳ７５）と、合成ステップの処理により合成された空間情報を、後段に出力する出力ステップ（例えば、図１６のステップＳ５５）とを含むことを特徴とする。
【００３９】
なお、請求項１３に記載の記録媒体および請求項１４に記載のプログラムも、上述した請求項１２に記載の情報処理方法と基本的に同様の構成であるため、繰り返しになるのでその説明は省略する。
【００４０】
以下、図を参照して本発明の実施の形態について説明する。
【００４１】
図１は、本発明を適用した映像音声通信システムの構成例を示している。この映像音声通信システムは、常時接続を行う映像音声通信装置１−１および１−２が、それぞれ、所定の実空間を入力した映像音声情報に、ユーザの操作および映像音声情報の時空間的特性に応じたフィルタリング処理を行い、フィルタリング処理された映像音声情報を、ネットワーク２を介して、リアルタイムに送受信することで、遠隔地の通信相手と、お互いのプライバシを保護しつつ、高臨場感のあるコミュニケーションを行うようにするものである。なお、以下、入力された映像情報が送受信される場合について説明する。
【００４２】
図１の例において、インタネットに代表されるネットワーク２には、ユーザＡが操作する映像音声通信装置１−１、ユーザＢが操作する映像音声通信装置１−２が接続されている。なお、以下、映像音声通信装置１−１および１−２を個々に区別する必要がない場合、まとめて映像音声通信装置１とも称する。この例においては、映像音声通信装置１が２台のみ示されているが、ネットワーク２には、任意の台数の映像音声通信装置１が接続される。
【００４３】
映像音声通信装置１−１は、パーソナルコンピュータなどで構成される。映像音声通信装置１−１は、カメラ部１１−１、操作入力部１２−１、時空間積分フィルタ部１３−１、接続制御部１４−１、通信部１５−１、ミキサ処理部１６−１、モニタ１７−１、および記憶部１８−１により構成される。なお、映像音声通信装置１−１において、各部を接続する二重線矢印は映像情報の流れを表しており、矢印（一重線矢印）は制御信号などの流れを表している。
【００４４】
カメラ部１１−１は、映像音声通信装置１−１が設置されているユーザＡのユーザ空間（実空間）内を撮像し、撮像した空間情報（空間の映像情報）を入力し、時空間積分フィルタ部１３−１または記憶部１８−１に供給する。すなわち、空間の映像情報には、撮像した所定の空間に存在する物体（被写体）に対応する映像（オブジェクト）情報が含まれている。したがって、空間の映像情報は、空間性を有する映像情報である。なお、空間に存在する物体とは、例えば、人や物、壁、カーテンなどであり、その空間に存在する物体であれば、人や物、壁、カーテンなどに限定されない。
【００４５】
操作入力部１２−１は、キーボードやマウス、またはダイヤルなどで構成され、ユーザＡの操作に対応した制御信号をカメラ部１１−１、時空間積分フィルタ部１３−１または接続制御部１４−１に供給する。すなわち、ユーザＡは、操作入力部１２−１を操作することにより、カメラ部１１−１の撮像開始を指示したり、接続制御部１４−１に通信開始を指示する。また、ユーザＡは、操作入力部１２−１を操作することにより、時空間積分フィルタ部１３−１が行うフィルタリング処理を調整するための調整情報（例えば、後述する積分時間パラメータなど）を入力する。
【００４６】
時空間積分フィルタ部１３−１は、カメラ部１１−１により撮像された空間の映像情報を直接、あるいは、記憶部１８−１を介して入力し、入力した空間の映像情報に対して、ユーザＡにより操作入力部１２−１を介して入力される調整情報と空間の映像情報の時空間的特性に応じたフィルタリング処理（以下、単に時空間フィルタリング処理とも称する）を実行する。
【００４７】
ここで、時空間的特性とは、カメラ部１１−１により撮像される、空間性を有する空間情報（空間の映像情報）から取得される時間的特性であって、現在から過去（所定の時間）の空間の映像情報に含まれる、撮像された所定の空間内に存在する物体の映像（オブジェクト）情報がどの空間位置にどのくらいの時間、存在（滞在）しているかといった、空間の映像情報における各オブジェクト情報の存在時間と存在位置（滞在時間と滞在位置）の特性のことである。すなわち、空間の映像情報の時空間的特性は、空間性を有する映像情報の時間変動の特性である。
【００４８】
さらに、換言するに、時空間的特性は、現在から過去（所定の時間）に、カメラ部１１−１により映像情報として入力された対象の、所定の空間内に存在する物体が所定の空間の中のどの位置にどのくらいの時間存在しているかといった、所定の空間内に存在する物体の存在時間と存在位置（滞在時間と滞在位置）の特性、すなわち、所定の空間内における時間変動の特性ともいえる。なお、以下、空間の映像情報を、単に映像情報とも称する。
【００４９】
したがって、時空間積分フィルタ部１３−１は、ユーザＡにより操作入力部１２−１を介して入力される調整情報と映像情報の時空間的特性に応じて、透明度や部分遮断、あるいはぼかしなどの時空間フィルタリング処理を実行する。
【００５０】
例えば、時空間積分フィルタ部１３−１は、映像情報において、位置ａに短い時間しか存在しないオブジェクト（例えば、通り過ぎる他のユーザの映像）情報に対しては、位置ｂに長い時間存在するオブジェクト（例えば、常設される家具の映像）情報に対するよりも、透過度を大きくしたり、部分遮断するなどの時空間フィルタリング処理を実行したり、あるいは、映像情報において、位置ｃに長い時間存在するオブジェクト情報に対しては、位置ｄに短い時間しか存在しないオブジェクト情報に対するよりもぼかしを大きくするなどの時空間フィルタリング処理を実行する。
【００５１】
そして、時空間積分フィルタ部１３−１は、時空間フィルタリング処理された映像情報を、出力映像情報として、通信部１５−１およびミキサ処理部１６−１に供給する。
【００５２】
接続制御部１４−１は、操作入力部１２−１を介して入力されるユーザＡの操作に応じて、通信部１５−１を制御し、ネットワーク２を介しての映像音声通信装置１−２との通信の接続を確立させたり、接続を遮断させる。
【００５３】
通信部１５−１は、送信部２１−１および受信部２２−１により構成され、ネットワーク２を介して、他の映像音声通信装置１と通信を行う。送信部２１−１は、時空間積分フィルタ部１３−１から供給される出力映像情報を、ネットワーク２を介して、映像音声通信装置１−２に送信する。受信部２２−１は、映像音声通信装置１−２からネットワーク２を介して受信される出力映像情報を、ミキサ処理部１６−１に供給する。
【００５４】
ミキサ処理部１６−１は、時空間積分フィルタ部１３−１から供給される出力映像情報および受信部２２−１から供給される出力映像情報を合成（重畳）する。ミキサ処理部１６−１は、合成した出力映像情報に対応する映像や、時空間積分フィルタ部１３−１から供給される出力映像情報または受信部２２−１から供給される出力映像情報に対応する映像を、モニタ１７−１に表示させる。
【００５５】
これにより、ＬＣＤ（Liquid Crystal Display）などにより構成されるモニタ１７−１からは、時空間積分フィルタ部１３−１により時空間フィルタリング処理されたユーザＡの空間の映像情報に対応する映像や、映像音声通信装置１−２の時空間積分フィルタ部１３−２により時空間フィルタリング処理されたユーザＢの空間の映像情報に対応する映像が、後述する図８に示されるように表示される。
【００５６】
記憶部１８−１は、カメラ部１１−１から入力される空間の映像情報を一旦記憶しておき、記憶している映像情報を、時空間積分フィルタ部１３−１に供給する。すなわち、時空間積分フィルタ部１３−１においては、リアルタイムに撮像された空間の映像情報だけでなく、記憶部１８−１に一旦記憶されている空間の映像情報も処理される。
【００５７】
映像音声通信装置１−２は、カメラ部１１−２、操作入力部１２−２、時空間積分フィルタ部１３−２、接続制御部１４−２、送信部２１−２および受信部２２−２からなる通信部１５−２、ミキサ処理部１６−２、モニタ１７−２、並びに記憶部１８−２により構成され、映像音声通信装置１−１と基本的な構成は同じであるため、その説明は省略する。
【００５８】
なお、以下、カメラ部１１−１および１１−２、操作入力部１２−１および１２−２、時空間積分フィルタ部１３−１および１３−２、通信部１５−１および１５−２、接続制御部１４−１および１４−２、ミキサ処理部１６−１および１６−２、モニタ１７−１および１７−２、記憶部１８−１および１８−２、送信部２１−１および２１−２、並びに受信部２２−１および２２−２を個々に区別する必要がない場合、まとめて、カメラ部１１、操作入力部１２、時空間積分フィルタ部１３、接続制御部１４、通信部１５、ミキサ処理部１６、モニタ１７、記憶部１８、送信部２１、並びに受信部２２とも称する。
【００５９】
また、この映像音声通信装置１は、パーソナルコンピュータで構成することができることはもちろん、例えば、携帯電話機、その他のＰＤＡ(Personal Digital Assistant)機器や、ＡＶ(Audio Visual)機器や家電（家庭用電化製品）などのＣＥ（Consumer Electronics）機器などで構成することもできる。
【００６０】
以上のように、映像音声通信システムにおいては、所定の空間を撮像して入力された空間の映像情報が、ユーザが設定する調整情報（パラメータ）と空間の映像情報の時空間的特性に応じたフィルタリング処理が実行されてから、通信相手に送信される。
【００６１】
なお、上記説明においては、カメラ部１１および記憶部１８と、通信部１５およびミキサ処理部１６との間に、時空間積分フィルタ部１３を設け、時空間積分フィルタ部１３においては、カメラ部１１または記憶部１８からの映像情報を時空間フィルタリング処理する場合を説明したが、時空間積分フィルタ部１３の位置は、図１の場合に限定されず、映像音声通信装置１の二重線矢印で示される映像情報が入出力される各部間であれば、どこに設置されてもよい。
【００６２】
例えば、時空間積分フィルタ部１３は、受信部２２とミキサ処理部１６に設置されてもよく、その場合、時空間積分フィルタ部１３は、他の映像音声通信装置１において入力され、受信部２２より受信された空間の映像情報を時空間フィルタリング処理し、ミキサ処理部１６に出力するように構成される。
【００６３】
図２は、図１の時空間積分フィルタ部の詳細な構成例を示している。なお、図２に示される構成例は、空間の映像情報に対してなされる時空間的特性に応じたフィルタリング処理の具体的な一例として、空間の映像情報を積分時間パラメータに応じて積分演算処理する場合の構成例である。
【００６４】
図２の時空間積分フィルタ部１３は、パラメータ設定部４１、情報変換処理部４２、記憶部４３、時空間積分演算部４４、および情報出力部４５により構成される。
【００６５】
パラメータ設定部４１には、操作入力部１２を介して、時空間積分フィルタ部１３−１が行うフィルタリング処理を調整するための調整情報として、積分時間パラメータが入力される。積分時間パラメータは、積分時間Ｔ［ｓ］（Ｔmin≦Ｔ≦Ｔmax，Ｔ＝０）とサンプル（フレーム）数Ｎ［ｆ(frequency)］（１≦Ｎ≦Ｆｓ＊Ｔ）で構成される。
【００６６】
なお、Ｔ＝０の場合は、時空間積分演算部４４により現在時刻の映像情報（サンプル）が記憶部４３から読み出されて、そのまま情報出力部４５より出力される。すなわち、Ｔ＝０の場合、リアルタイムの映像情報がそのまま出力される。
【００６７】
パラメータ設定部４１は、操作入力部１２を介して調整情報（積分時間パラメータ）が入力されると、入力された積分時間パラメータを、時空間積分演算部４４が行う処理のパラメータとして設定する。すなわち、パラメータ設定部４１においては、積分時間パラメータのサンプル数Ｎ、およびサンプル数Ｎと積分時間Ｔから求まるサンプル間隔τが設定される。いまの場合、サンプル間隔τ＝Ｔ／Ｎ（Ｔmin≦τ≦Ｔ）となる。
【００６８】
情報変換処理部４２は、例えば、図１の場合、カメラ部１１などから撮像された空間の映像情報を入力し、入力した映像情報を、所定の形式に変換して、記憶部４３に書き込む。記憶部４３は、最大サンプル蓄積時間Ｔmax［ｓ］で、最大サンプル数Ｎmax［ｆ］の映像情報（画像情報）を蓄積する。なお、蓄積される映像情報が、最大サンプル数Ｎmax［ｆ］を超えた場合には、最も古いサンプルから情報が消去され、順次サンプル情報列が更新される。すなわち、記憶部４３には、逐次、ある時刻（例えば、現在時刻）から過去までの所定の時間の映像情報が記憶されている。
【００６９】
例えば、情報変換処理部４２が、サンプル周波数Ｆｓ[fps］でＶＧＡ（６４０＊４８０ピクセル）サイズの２４ビットフルカラーＲＧＢ形式に変換した場合、記憶部４３には、サンプル周波数Ｆｓ＝１／最小サンプル間隔（Ｔmin）[fps］、最大サンプル蓄積時間Ｔmax［ｓ］、および最大サンプル数Ｎmax＝Ｆｓ＊Ｔmax［ｆ］の映像情報が蓄積される。
【００７０】
時空間積分演算部４４は、ユーザにより入力され、パラメータ設定部４１により設定された積分時間パラメータのサンプル数Ｎおよびサンプル間隔τ（積分時間Ｔ）に応じて、記憶部４３に蓄積されている映像情報を積分演算することにより、映像情報に対して、映像情報の時空間的特性に応じたフィルタリング処理を実行し、フィルタリング処理された映像情報を、出力映像情報として、情報出力部４５に供給する。
【００７１】
具体的には、時空間積分演算部４４は、サンプル抽出部５１、サンプル加算部５２、およびサンプル除算部５３により構成される。
【００７２】
サンプル抽出部５１は、パラメータ設定部４１により設定されたサンプル数Ｎおよびサンプル間隔τに応じたサンプル（フレーム）を、記憶部４３から読み出し、読み出したサンプルを、サンプル加算部５２に供給する。
【００７３】
サンプル加算部５２は、サンプル抽出部５１により抽出された全サンプルについて、ＶＧＡサイズのサンプルの各ピクセル毎に、色情報（Ｒ（赤）：０乃至２５５、Ｇ（緑）：０乃至２５５、Ｂ（青）：０乃至２５５）の値を加算し、各ピクセル毎の加算した色情報の値を、サンプル除算部５３に供給する。
【００７４】
サンプル除算部５３は、サンプル加算部５２から供給される各ピクセル毎の色情報の値を除算し、各ピクセル毎の除算した色情報の値を、出力映像情報として、情報出力部４５に供給する。
【００７５】
なお、空間積分演算部４４が行う積分演算処理は、サンプル数Ｎおよび積分時間Ｔに応じて積分演算処理が実行されることから、Ｆｓｔ（Ｔ，Ｎ）として表される。したがって、図２の例においては、時空間積分演算部４４は、時空間積分演算部４４が行う積分演算であるＦｓｔ（Ｔ，Ｎ）として表されている。
【００７６】
情報出力部４５は、サンプル除算部５３からの積分演算処理された出力映像情報を、後段（例えば、図１の場合、通信部１５およびミキサ処理部１６）に供給する。
【００７７】
次に、図３および図４を参照して、図２の時空間積分演算部の積分演算処理について詳しく説明する。
【００７８】
図３の例においては、現在を時刻ｔ＝０とし、ユーザによりサンプル間隔τ＝最小サンプル間隔Ｔminが設定されている場合の時間軸が表されている。
【００７９】
この時間軸において、現在時刻ｔ＝０より図中右側のｔ＝１τ乃至７τは、これから経過する未来の時刻を表しており、現在時刻ｔ＝０より図中左側のｔ＝−１τ乃至−１１τは、経過した過去の時刻を表している。また、時間軸上には、ユーザが操作入力部１２を操作し入力することで、パラメータ設定部４１により設定される積分時間パラメータの積分時間Ｔ１（時刻ｔ＝０乃至−４），積分時間Ｔ２（時刻ｔ＝０乃至−７）、および積分時間Ｔ３（時刻ｔ＝０乃至−１０）が示されている。
【００８０】
現在時刻ｔ＝０において、記憶部４３には、過去に向けてサンプル間隔τ（最小サンプル間隔Ｔmin）毎にサンプル（フレーム）が蓄積されている。したがって、サンプル抽出部５１は、そのうち、ユーザの操作に応じて設定される積分時間Ｔ内のサンプルを、ユーザの操作に応じて設定されるサンプル数Ｎ枚抽出する。
【００８１】
例えば、ユーザが操作入力部１２を操作することにより、積分時間パラメータとして、積分時間Ｔ１＝４τが設定された場合、サンプル抽出部５１は、現在時刻ｔ＝０からの積分時間Ｔ１（時刻ｔ＝０乃至−４）に含まれる、サンプル間隔τ毎のＮ＝Ｔ１／τ＝４（枚）のサンプルを抽出する。
【００８２】
また、ユーザが操作入力部１２を操作することにより、積分時間パラメータとして、積分時間Ｔ２＝７τが設定された場合、サンプル抽出部５１は、現在時刻ｔ＝０より積分時間Ｔ２（時刻ｔ＝０乃至−７）に含まれる、サンプル間隔τ毎のＮ＝Ｔ２／τ＝７（枚）のサンプルを抽出する。
【００８３】
同様に、ユーザが操作入力部１２を操作することにより、積分時間パラメータとして、積分時間Ｔ３＝１０τが設定された場合、サンプル抽出部５１は、現在時刻ｔ＝０より積分時間Ｔ３（時刻ｔ＝−１乃至−１０）に含まれる、サンプル間隔τ毎のＮ＝Ｔ３／τ＝１０（枚）のサンプルを抽出する。
【００８４】
なお、現在時刻ｔ＝０において、積分時間Ｔ＝０の場合は、サンプル数０となる。したがって、現在時刻ｔ＝０、積分時間Ｔ＝０の場合には、時空間積分フィルタ部１３−１からは、現在時刻ｔ＝０の映像情報、すなわち、リアルタイムの映像情報がそのまま出力される。
【００８５】
図４は、時刻ｔにおける各サンプル（フレーム）内の情報構造を示している。
【００８６】
図４の例において、サンプルは、縦方向に１，２，…，ｘ，…，４８０行で、横方向に１，２，…，ｙ，…，６４０列の合計６４０＊４８０＝３０７，２００画素（ピクセル）で構成される。
【００８７】
このとき、ｘ行ｙ列のピクセルは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の２４ビットフルカラーの情報を有している。ｘ行ｙ列のピクセルが有する色情報Ｐｘｙ（ｔ）は、次の式（１）で表される。
【００８８】
Ｐｘｙ（ｔ）＝｛Ｒｘｙ，Ｇｘｙ，Ｂｘｙ｝                          ・・・（１）
【００８９】
なお、２４ビットフルカラーの場合、各色情報の値は、それぞれ０≦Ｒｘｙ，Ｇｘｙ，Ｂｘｙ≦２５５となる。
【００９０】
式（１）より、サンプルにおけるピクセル行列ごとの色情報Ｐ（ｔ）は、次の式（２）で表される。
【００９１】
【数１】
2006333044.tif 000003
・・・（２）
【００９２】
サンプル加算部５２およびサンプル除算部５３は、サンプル抽出部５１が抽出したサンプルを用いて、以下の式（３）、式（４）、および式（５）に従って、積分演算処理を行う。
【００９３】
具体的には、サンプル加算部５２は、式（３）に示されるように、サンプル間隔τ毎にＮ枚のサンプルにおけるｘ行ｙ列のピクセルの色情報Ｐｘｙ（ｔ）を加算する。
【００９４】
【数２】
2006333044.tif 000004
・・・（３）
【００９５】
サンプル除算部５３は、サンプル加算部５２により加算された値をサンプル数Ｎで除算し、出力映像情報を算出する。時間ｔにおける積分時間Ｔ（＝Ｎ＊τ）の出力映像情報Ｑ（ｔ）は、次の式（４）で表される。
【００９６】
【数３】
2006333044.tif 000005
・・・（４）
【００９７】
なお、式（３）および式（４）を合わせることにより、ピクセル毎の出力映像情報Ｑ（ｔ）は、次の式（５）で表される。
【００９８】
【数４】
2006333044.tif 000006
・・・（５）
【００９９】
以上のように、時空間積分演算部４４においては、サンプル抽出部５１により積分時間Ｔおよびサンプル数Ｎに応じて抽出されたサンプルの情報に対して、Ｆｓｔ（Ｔ，Ｎ）の積分演算が実行される。
【０１００】
次に、図５乃至図８を参照して、上述した積分演算処理による時空間的特性に応じたフィルタリング処理の結果について具体的に説明する。
【０１０１】
図５は、ある空間内を撮像した空間の映像情報が対応する映像の例を示している。図５の例においては、左から順に、モニタ１７に表示される、ｔ＝−１０τに撮像（入力）された映像情報（サンプル）に対応する映像７１、ｔ＝−２τに撮像された映像情報に対応する映像７２、ｔ＝０に撮像された映像情報に対応する映像７３が示されている。また、各映像７１乃至７３（が対応するサンプル）において、中央の定位置のピクセルを、ピクセルＰとする。
【０１０２】
これらの映像７１乃至７３は、ある空間の奥に壁Ｂがｔ＝−１６τ乃至ｔ＝０の間（長時間）存在し、ある空間の中央、かつ、壁Ｂの手前に、物体Ｇがｔ＝−４τに出現し、ｔ＝−４τ乃至ｔ＝０の間（中時間）存在し、ある空間の中央、かつ、物体Ｇの手前に、物体Ｒがｔ＝−１に出現し、ｔ＝−１τ乃至ｔ＝０の間（短時間）存在する場合に、ある空間内が撮像された映像情報に対応するものである。
【０１０３】
ｔ＝−１０τにおける映像７１には、壁Ｂのオブジェクト（映像）のみが表示される。このとき、映像７１のピクセルＰにおいては、壁Ｂのオブジェクトが表示される。したがって、現在時刻ｔ＝−１０τのとき、ピクセルＰは、壁Ｂのオブジェクトの色情報を有している。
【０１０４】
ｔ＝−２τの映像７２には、壁Ｂのオブジェクトの手前に、物体Ｇのオブジェクトが表示される。このとき、映像７２のピクセルＰにおいては、一番手前の物体Ｇのオブジェクトが表示される。したがって、現在時刻ｔ＝−２τのとき、ピクセルＰは、物体Ｇのオブジェクトの色情報を有している。
【０１０５】
ｔ＝０の映像７３には、壁Ｂのオブジェクトの手前の物体Ｇのオブジェクトの手前に、さらに、物体Ｒのオブジェクトが表示される。このとき、映像７３のピクセルＰにおいては、一番手前の物体Ｒのオブジェクトが表示される。したがって、現在時刻ｔ＝０のとき、ピクセルＰは、物体Ｒのオブジェクトの色情報を有している。
【０１０６】
ここで、各映像におけるピクセルＰが有する色情報の時間による変化について、図６を参照して説明する。図６のグラフにおいては、縦軸がピクセルＰにおいて表示されるオブジェクトの表示比率（不透明度）（％）を表しており、横軸が時間軸を表している。
【０１０７】
ｔ＝−１６τから、壁Ｂのオブジェクトの手前に物体Ｇのオブジェクトが出現するｔ＝−４τまでは、例えば、図５の映像７１に示されるように、ピクセルＰにおいては、壁Ｂのオブジェクトが表示比率１００％で表示される。すなわち、この間のサンプルにおけるピクセルＰは、壁Ｂのオブジェクトの色情報を有している。
【０１０８】
物体Ｇのオブジェクトが出現したｔ＝−４τから、物体Ｇのオブジェクトの手前に物体Ｒのオブジェクトが出現するｔ＝−１τまでは、例えば、図５の映像７２に示されるように、ピクセルＰにおいては、物体Ｇのオブジェクトが表示比率１００％で表示される。すなわち、この間のサンプルにおけるピクセルＰは、物体Ｇのオブジェクトの色情報を有している。
【０１０９】
物体Ｒのオブジェクトが出現したｔ＝−１τから、現在時刻ｔ＝０までは、例えば、図５の映像７３に示されるように、ピクセルＰにおいては、物体Ｒのオブジェクトが表示比率１００％で表示される。すなわち、この間のサンプルにおけるピクセルＰは、物体Ｒのオブジェクトの色情報を有している。
【０１１０】
以上のように、ある空間内を物体が移動する場合、ある空間内が撮像された映像上のピクセルＰの色情報は、時間や物体の移動（位置）に応じて変化する。このように、時間や物体の位置の特性（すなわち、時空間的特性）に応じて色情報が変化するピクセルＰにおいて、例えば、時空間的特性に応じたフィルタリング処理として、積分時間Ｔのサンプルを用いて積分演算を実行することにより、その結果、図７に示されるように、積分時間Ｔに応じてピクセルＰにおける各オブジェクトの表示比率を変化させることができる。
【０１１１】
図７は、現在時刻ｔ＝０において、時空間的特性に応じたフィルタリング処理（時空間フィルタリング処理）を行った場合のピクセルＰにおけるオブジェクトの表示比率の変化を表すグラフである。図７のグラフにおいては、縦軸がピクセルＰにおけるオブジェクトの表示比率（不透明度）（％）を表しており、横軸が積分時間Ｔを表している。
【０１１２】
積分時間Ｔが１τの場合、時刻ｔ＝−１τから、現在時刻ｔ＝０までのサンプルにおけるピクセルＰの色情報は、図６を参照して上述したように、物体Ｒのオブジェクトの色情報のみで構成される。したがって、時空間フィルタリング処理後のピクセルＰにおいては、物体Ｒのオブジェクトが表示比率１００％で表示される。
【０１１３】
積分時間Ｔが２τ乃至４τの場合、ｔ＝−２τ、−３τ、または−４τから、現在時刻ｔ＝０までのサンプルにおけるピクセルＰの色情報は、図６を参照して上述したように、物体Ｇのオブジェクトの色情報になるときと、物体Ｒのオブジェクトの色情報になるときがあるため、時空間フィルタリング処理後のピクセルＰにおいては、物体Ｇのオブジェクトと、物体Ｒのオブジェクトが積分時間Ｔに応じた表示比率で表示される。
【０１１４】
すなわち、積分時間Ｔが２τの場合、ｔ＝−２τ乃至―１τの間（１τ間）、ピクセルＰは、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、ピクセルＰは、物体Ｒのオブジェクトの色情報を有する。したがって、積分時間Ｔが２τの場合、時空間フィルタリング処理後のピクセルＰにおいては、物体Ｇのオブジェクトと物体Ｒのオブジェクトが、１対１（５０％，５０％）の表示比率で表示される。
【０１１５】
積分時間Ｔが３τの場合、ｔ＝−３τ乃至―１τの間（２τ間）、ピクセルＰは、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、ピクセルＰは、物体Ｒのオブジェクトの色情報を有する。したがって、積分時間Ｔが３τの場合、時空間フィルタリング処理後のピクセルＰにおいては、物体Ｇのオブジェクトと物体Ｒのオブジェクトが、２対１の表示比率で表示される。
【０１１６】
積分時間Ｔが４τの場合、ｔ＝−４τ乃至―１τの間（３τ間）、ピクセルＰは、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、ピクセルＰは、物体Ｒのオブジェクトの色情報を有する。したがって、積分時間Ｔが４τの場合、時空間フィルタリング処理後のピクセルＰにおいては、物体Ｇのオブジェクトと物体Ｒのオブジェクトが、３対１（７５％，２５％）の表示比率で表示される。
【０１１７】
さらに、積分時間Ｔが５τ乃至１６τの場合、ｔ＝−５τ乃至−１６τのうちの時刻ｔから、現在時刻ｔ＝０までのサンプルにおけるピクセルＰの色情報は、図６を参照して上述したように、壁Ｂのオブジェクトの色情報になるとき、物体Ｇのオブジェクトの色情報になるとき、および物体Ｒのオブジェクトの色情報になるときがあるため、現在時刻ｔ＝０のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、および物体Ｒのオブジェクトが積分時間Ｔに応じた表示比率で表示される。
【０１１８】
すなわち、積分時間Ｔが５τの場合、ｔ＝−５τ乃至―４τの間（１τ間）、ピクセルＰは、壁Ｂのオブジェクトの色情報を有し、ｔ＝−４τ乃至―１τの間（３τ間）、ピクセルＰは、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、ピクセルＰは、物体Ｒのオブジェクトの色情報を有する。したがって、積分時間Ｔが５τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、１対３対１の表示比率で表示される。
【０１１９】
積分時間Ｔが６τの場合、ｔ＝−６τ乃至―４τの間（２τ間）、ピクセルＰは、壁Ｂのオブジェクトの色情報を有し、ｔ＝−４τ乃至―１τの間（３τ間）、ピクセルＰは、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、ピクセルＰは、物体Ｒのオブジェクトの色情報を有する。したがって、積分時間Ｔが６τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、２対３対１の表示比率で表示される。
【０１２０】
積分時間Ｔが７τの場合、ｔ＝−７τ乃至―４τの間（３τ間）、ピクセルＰは、壁Ｂのオブジェクトの色情報を有し、ｔ＝−４τ乃至―１τの間（３τ間）、ピクセルＰは、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、ピクセルＰは、物体Ｒのオブジェクトの色情報を有する。したがって、積分時間Ｔが７τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、３対３対１の表示比率で表示される。
【０１２１】
以下、同様に、積分時間Ｔが８τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、４対３対１の表示比率で表示される。積分時間Ｔが９τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、５対３対１の表示比率で表示される。積分時間Ｔが１０τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、６対３対１の表示比率で表示される。
【０１２２】
積分時間Ｔが１１τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、７対３対１の表示比率で表示される。積分時間Ｔが１２τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、８対３対１の表示比率で表示される。積分時間Ｔが１３τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、９対３対１の表示比率で表示される。
【０１２３】
積分時間Ｔが１４τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、１０対３対１の表示比率で表示される。積分時間Ｔが１５τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、１１対３対１の表示比率で表示される。積分時間Ｔが１６τの場合、時空間フィルタリング処理後のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、１２対３対１の表示比率で表示される。
【０１２４】
図８は、図５を参照して上述した空間の映像情報が、図７の積分時間Ｔに応じたサンプルを用いて積分演算処理を行うことによる時空間的特性に応じたフィルタリング処理が実行された場合に、現在時刻ｔ＝０において表示される映像を表している。
【０１２５】
図８の例においては、左より、現在時刻ｔ＝０においてモニタ１７に表示される、積分時間Ｔ＝１０τの場合の時空間フィルタリング処理後の映像情報に対応する映像９１、積分時間Ｔ＝２τの場合の時空間フィルタリング処理後の映像情報に対応する映像９２、積分時間Ｔ＝０の場合の時空間フィルタリング処理後の映像情報に対応する映像９３が示されている。
【０１２６】
現在時刻ｔ＝０において、積分時間Ｔ＝１０τに応じたサンプルを用いて、時空間フィルタリング処理が実行された場合、図７を参照して上述したように、映像９１のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、６対３対１の表示比率で表示される。すなわち、時空間フィルタリング処理が実行された結果、現在時刻ｔ＝０に表示される映像９１のピクセルＰの色情報は、１０％の物体Ｒのオブジェクトの色情報、３０％の物体Ｇのオブジェクトの色情報、６０％の壁Ｂのオブジェクトの色情報で表される。
【０１２７】
同様に、現在時刻ｔ＝０において、積分時間Ｔ＝２τに応じたサンプルを用いて、時空間フィルタリングを行った場合、図７を参照して上述したように、映像９２のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、０対５対５の表示比率で表示される。すなわち、時空間フィルタリング処理が実行された結果、現在時刻ｔ＝０に表示される映像９２のピクセルＰの色情報は、５０％の物体Ｒのオブジェクトの色情報、５０％の物体Ｇのオブジェクトの色情報、０％の壁Ｂのオブジェクトの色情報で表される。
【０１２８】
また、現在時刻ｔ＝０において、積分時間Ｔ＝０に応じたサンプルを用いて、時空間フィルタリングを行った場合、すなわち、積分時間Ｔ＝０の場合、ｔ＝０の映像情報がそのまま表示されるので、映像９３のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、０対０対１の表示比率で表示される。すなわち、時空間フィルタリング処理が実行された結果、現在時刻ｔ＝０に表示される映像９３のピクセルＰの色情報は、１００％の物体Ｒのオブジェクトの色情報、０％の物体Ｇのオブジェクトの色情報、０％の壁Ｂのオブジェクトの色情報で表される。
【０１２９】
以上のように、積分時間Ｔ＝１０τのように、積分時間Ｔが長く設定されることにより、設定された積分時間Ｔ内において、壁Ｂのオブジェクトのように映像情報に存在する時間の長いオブジェクトが、動きがあり存在時間の短いオブジェクトよりも明確に表示される。
【０１３０】
これに対して、積分時間Ｔ＝２τのように、積分時間Ｔが短く設定されることにより、積分時間Ｔよりも時間的に前に存在した映像情報は考慮されなくなるため、積分時間Ｔ以前を含めると長く存在したオブジェクトよりも、物体Ｇのオブジェクトのように比較的近い過去（積分時間Ｔ内の）、および物体Ｒのオブジェクトのように最も近い過去において出現するオブジェクトが明確に表示される。すなわち、短く設定された積分時間Ｔにおいて、映像情報に、壁Ｂのオブジェクトより長く存在している物体Ｇや物体Ｒのオブジェクトがより明確に表示される。
【０１３１】
そして、積分時間Ｔ＝０が設定される場合には、過去の映像情報は考慮されなくなるため、積分時間Ｔ以前から長く存在したオブジェクトは表示されず、物体Ｒのオブジェクトのように現在時刻に存在しているオブジェクトのみ（すなわち、現在時刻の映像情報）が表示される。
【０１３２】
すなわち、積分時間Ｔを用いて、時空間的特性に応じたフィルタリング処理を行うことにより、空間の映像情報において、積分時間Ｔ内に存在する時間の長いオブジェクトがより明確に表示されることとなる。
【０１３３】
したがって、例えば、長時間変化することのない壁などの周囲の背景のオブジェクト（映像）は、通信相手に開示されてもいいが、１，２時間座っている被撮像ユーザ（自分）の表情や、被撮像ユーザの後ろを横切る他のユーザのオブジェクト（映像）をあまり明確に表示させたくない場合には、積分時間Ｔを長く設定して積分を実行させることにより、長い積分時間Ｔにおいて、背景のオブジェクトが、被撮像ユーザや他のユーザのオブジェクトより長く存在することになり、背景のオブジェクトを、被撮像ユーザや他のユーザのオブジェクトより明確に表示させることができる。
【０１３４】
これに対して、被撮像ユーザや他のユーザのオブジェクトを、背景のオブジェクトより明確に表示させたい場合には、積分時間Ｔを短く設定して積分を実行させることにより、短い積分時間Ｔにおいて、被撮像ユーザや他のユーザのオブジェクトが背景のオブジェクトより長く存在することになり、被撮像ユーザや他のユーザのオブジェクトを背景のオブジェクトより明確に表示させることができる。
【０１３５】
すなわち、図２の時空間積分演算部４４においては、入力された積分時間Ｔに応じて、通信相手に送信する情報の表示比率（明瞭度）が調整されるので、プライバシの侵害を容易に軽減することができる。
【０１３６】
以上のように、例えば、ある空間を撮像している場合に、長時間撮像される（すなわち、映像情報に存在する存在時間が長い）時空間的特性を有する壁Ｂなどのオブジェクトと、撮像時間が比較的短い、あるいは、移動時間が速い（すなわち、映像情報に存在する存在時間が短い）時空間的特性を有する物体ＲやＢ、または人間などのオブジェクトとの表示バランスを、被撮像ユーザが積分時間Ｔを入力することにより調整することができる。これにより、被撮像ユーザが望む表示バランスで、映像情報を通信相手のユーザに送信することができる。
【０１３７】
なお、上記説明における壁Ｂのオブジェクトの色情報は、物体名とは特に関連はない。すなわち、壁Ｂのオブジェクトの色情報は、物体名と同様に、｛Ｒ，Ｇ，Ｂ｝＝｛０，０，２５５｝であってもよいし、｛Ｒ，Ｇ，Ｂ｝＝｛１５０，３０，２０｝であってもよい。他の物体のオブジェクトの色情報についても同様である。
【０１３８】
また、上記説明においては、積分時間に応じたサンプルの映像情報の積分を行うことにより表示比率を変更するようにしたが、例えば、表示比率（不透明度）に限らず、ぼかしや部分的に遮断させるような時空間フィルタリング処理を行うようにしてもよい。
【０１３９】
次に、図９のフローチャートを参照して、映像音声通信装置１−１が映像音声通信装置１−２と行う映像通信処理を説明する。
【０１４０】
ユーザＡは、ユーザＢの映像音声通信装置１−２と相互に通信するために、操作入力部１２−１を操作する。操作入力部１２−１は、ユーザＡの操作に対応した制御信号を、接続制御部１４−１に供給する。接続制御部１４−１は、ステップＳ１１において、操作入力部１２−１からの制御信号に応じて、送信部２１−１を制御し、ネットワーク２を介して、映像音声通信装置１−２との接続を確立させる。
【０１４１】
具体的には、接続制御部１４−１は、操作入力部１２−１からの制御信号に応じて、送信部２１−１を制御し、ネットワーク２を介して、映像音声通信装置１−２に対して接続要求を送信させる。
【０１４２】
映像音声通信装置１−２は、映像音声通信装置１−１からの接続要求を受けると、ミキサ処理部１６−２を介して、接続要求に対応する通知をモニタ１７−２に表示させる。ユーザＢは、モニタ１７−２に表示される接続要求の通知に応じて、操作入力部１２−２を操作して、接続を許可する。操作入力部１２−２は、ユーザＢの操作に対応した制御信号を接続制御部１４−２に供給する。接続制御部１４−２は、送信部２１−２を制御し、ネットワーク２を介して、映像音声通信装置１−１に対して接続許可を送信させる。
【０１４３】
映像音声通信装置１−１の受信部２２−１は、映像音声通信装置１−２からの接続許可を受けると、接続許可を接続制御部１４−１に供給する。これにより、映像音声通信装置１−１は、通信相手の映像音声通信装置１−２とのネットワーク２を介しての接続が確立され、映像音声通信装置１−１および映像音声通信装置１−２の間は、後述するステップＳ２０において映像通信処理の終了が指示されたと判定されるまで、常時接続の状態となる。
【０１４４】
ユーザＡは、通信相手の映像音声通信装置１−２に、ユーザＡのユーザ空間の映像情報を送信し、かつ、送信する映像情報に対して、所望の度合いのプライバシ保護に対応する時空間フィルタリング処理を行うために、操作入力部１２−１を操作して、積分時間Ｔとサンプル数Ｎなどの調整情報（積分時間パラメータ）を入力するとともに、カメラ部１１−１に対して撮像開始を指示する。
【０１４５】
パラメータ設定部４１は、操作入力部１２を介して積分時間パラメータが入力されると、ステップＳ１２において、入力された積分時間パラメータを、時空間積分演算部４４が行う処理のパラメータとして設定し、ステップＳ１３に進む。すなわち、パラメータ設定部４１は、積分時間パラメータのサンプル数Ｎ、およびサンプル数Ｎと積分時間Ｔから求まるサンプル間隔τなどを設定する。
【０１４６】
カメラ部１１−１は、ステップＳ１３において、操作入力部１２−１からの制御信号に応じて、ユーザＡのユーザ空間の撮像を開始し、撮像した空間情報、すなわち、ユーザ空間に存在する被写体に対応する映像（オブジェクト）の情報が含まれる空間の映像情報を入力し、情報変換処理部４２に供給する。情報変換処理部４２は、カメラ部１１−１から入力された映像情報を、所定の形式に変換して、記憶部４３に書き込み、ステップＳ１４に進む。
【０１４７】
ステップＳ１４において、時空間積分演算部４４は、パラメータ設定部４１により設定された積分時間パラメータに応じて時空間積分フィルタ処理を実行する。この時空間積分フィルタ処理は、図１０を参照して後述する。
【０１４８】
ステップＳ１４の時空間積分フィルタ処理により、積分時間パラメータに応じた積分演算Ｆｓｔ（Ｔ，Ｎ）処理が実行されることで、記憶部４３の映像情報に対して、映像情報の時空間的特性に応じたフィルタリング処理が実行される。すなわち、映像情報に含まれる各オブジェクトの情報が有する時空間的特性に応じたフィルタリング処理が実行され、時空間フィルタリング処理が実行された映像情報（色情報）が、情報出力部４５に供給される。
【０１４９】
情報出力部４５は、ステップＳ１５において、時空間積分演算部４４からの映像情報を、出力映像情報として、後段（すなわち、送信部２１−１およびミキサ処理部１６−１）に供給し、ステップＳ１６に進む。
【０１５０】
ステップＳ１６において、送信部２１−１は、時空間フィルタリング処理が施された出力映像情報を、ネットワーク２を介して、接続中の映像音声通信装置１−２に送信する。これに対応して、映像音声通信装置１−２の受信部２２−２は、映像音声通信装置１−１からの出力映像情報を受信する。これにより、受信された出力映像情報に対応する映像がミキサ処理部１６−２を介して、モニタ１７−２に表示される。すなわち、映像音声通信装置１−２のモニタ１７−２には、ユーザＡの所望した度合いの時空間フィルタリング処理が施された映像情報に対応する映像が表示される。
【０１５１】
また、映像音声通信装置１−２も、ステップＳ１１で接続が確立された後、映像音声通信装置１−１と同様に、ユーザＢのユーザ空間（の所定の空間）に存在する被写体（物体）に対応するオブジェクトの情報が含まれる映像情報を入力し、ユーザＢにより操作入力部１２−２を介して入力され、パラメータ設定部４１により設定された積分時間パラメータを用いて時空間フィルタリング処理が実行された出力映像情報を、ネットワーク２を介して送信してくる。
【０１５２】
映像音声通信装置１−１の受信部２２−１は、ステップＳ１７において、映像音声通信装置１−２からの出力映像情報を受信し、受信した出力映像情報をミキサ処理部１６−１に供給し、ステップＳ１８に進む。
【０１５３】
ミキサ処理部１６−１は、ステップＳ１８において、時空間積分フィルタ部１３−１からの出力映像情報と、映像音声通信装置１−２からの出力映像情報を合成（重畳）し、合成した出力映像情報に対応する画像をモニタ１７−１に表示させる。
【０１５４】
具体的には、ミキサ処理部１６−１は、映像音声通信装置１−２からの出力映像情報に対応する映像を親画面に表示させ、時空間積分フィルタ部１３−１からの出力映像情報に対応する映像を子画面に表示させるように合成して表示させたり、あるいは、映像音声通信装置１−２からの出力映像情報に対応する映像をモニタ１７−１に表示させ、映像音声通信装置１−２からの出力映像情報に対応する映像を図示せぬ他のモニタに表示させるように、出力映像情報の表示を制御する。
【０１５５】
以上のようにして、ユーザＡの映像音声通信装置１−１のモニタには、ユーザＢの所望の時空間フィルタ処理が施された出力映像情報に対応する映像が表示される。すなわち、ユーザＢが所望しない限り、すなわち、積分時間Ｔ＝０を設定しない限り、撮像されたままの映像情報は表示されないので、これにより、ユーザＢのプライバシの保護が促進される。
【０１５６】
また、ユーザＡは、モニタ１７−１の、例えば、子画面に表示される時空間フィルタリング処理が施されたユーザＡのユーザ空間の映像情報に対応する映像を見て、時空間フィルタリング処理の結果を確認する。
【０１５７】
例えば、時空間フィルタリング処理の結果が好ましくないと思った場合、ユーザＡは、映像音声通信装置１−２に送信する映像情報に対する時空間フィルタリング処理の積分時間パラメータを変更するために、操作入力部１２−１を操作して、調整情報である積分時間パラメータを再度入力する。
【０１５８】
操作入力部１２−１から積分時間パラメータに対応する制御信号が入力されると、パラメータ設定部４１は、ステップＳ１９において、積分時間パラメータが変更されたか否かを判定し、積分時間パラメータが変更されたと判定した場合、ステップＳ１２に戻り、操作入力部１２−１を介して入力される積分時間パラメータを更新（設定）し、それ以降の処理を繰り返す。
【０１５９】
これにより、ステップＳ１４の時空間積分フィルタ処理は、変更された積分時間パラメータに応じて実行される。
【０１６０】
また、パラメータ設定部４１は、ステップＳ１９において、積分時間パラメータが変更されていないと判定した場合、ステップＳ２０に進む。
【０１６１】
例えば、ユーザＡは、操作入力部１２−１を操作して、映像音声通信装置１−２との映像通信処理を終了する指示を入力する。操作入力部１２−１は、ユーザの操作に対応する制御信号を接続制御部１４−１に供給する。あるいは、ユーザＢにより映像通信処理を終了したいとの要求が受信部２２−１に受信され、受信された要求が接続制御部１４−１に供給される。
【０１６２】
接続制御部１４−１は、ステップＳ２０において、ユーザＡまたはユーザＢからの映像通信処理の終了が指示されたか否かを判定し、どちらか一方からでも映像通信処理の終了が指示されたと判定した場合、通信部１５−１を制御し、接続を切断させ、映像通信処理を終了させる。なお、特に説明はしないが、接続が切断される前に、映像音声通信装置１−２やモニタ１７−１に終了通知を表示させるようにしてもよい。
【０１６３】
一方、ステップＳ２０において、ユーザＡまたはユーザＢからの映像通信処理の終了が指示されていないと判定された場合、ステップＳ１３に戻り、それ以降の処理が繰り返される。すなわち、この場合、前回設定されたままの積分時間パラメータに基づいて時空間積分フィルタ処理が実行される。
【０１６４】
なお、図９の例において、映像情報の送受信のみの終了指示があった場合には、映像音声通信装置１−１および１−２の接続は確立されたまま、映像情報の送受信のみが終了される。
【０１６５】
また、図９の例においては、ユーザにより設定された積分時間パラメータによる時空間フィルタリング処理された映像情報を通信相手に送信するとともに、積分時間パラメータによる処理の効果を確認するように説明したが、ユーザの有するモニタにおいて、まず、積分時間パラメータによる処理の効果を確認して、映像情報に所望の時空間フィルタリング処理が施されていることを確認した後に、通信相手に映像情報を送信開始するようにしてもよい。
【０１６６】
さらに、例えば、調整情報、すなわち積分時間パラメータを入力するための操作入力部１２−１を、例えば、回転の度合いに応じて、積分時間パラメータが入力可能なダイヤルや、傾きの度合いに応じて、積分時間パラメータが入力可能なスティックなどで構成するようにすることにより、ユーザは、ダイヤルを回転させたり、スティックを傾けるだけで、変更された積分時間パラメータを用いて時空間フィルタリング処理された映像情報に対応する映像がモニタ１７−１に表示されるので、ユーザは、簡単に、積分時間パラメータを入力し、その結果を確認することができる。
【０１６７】
次に、図１０のフローチャートを参照して、図９のステップＳ１４の時空間積分フィルタ処理を説明する。記憶部４３には、カメラ部１１により撮像、入力され、情報変換処理部４２により所定の形式に変換された映像情報が蓄積されている。
【０１６８】
ステップＳ３１において、サンプル抽出部５１は、パラメータ設定部４１により設定された積分時間パラメータの積分時間Ｔおよびサンプル数Ｎに基づいて、サンプル（フレーム）を抽出し、抽出したサンプルを、サンプル加算部５２に供給し、ステップＳ３２に進む。
【０１６９】
ステップＳ３２において、サンプル加算部５２は、サンプル抽出部５１により抽出されたサンプルを用いて、ピクセル毎に色情報を加算し、加算したピクセル毎の色情報の値を、サンプル除算部５３に供給し、ステップＳ３３に進む。
【０１７０】
ステップＳ３３において、サンプル除算部５３は、サンプル加算部５２により加算されたピクセル毎の色情報の値を、サンプル数で除算し、除算した色情報の値からなる映像情報を、情報出力部４５に供給し、時空間積分フィルタ処理を終了する。
【０１７１】
以上のように、ユーザＡの操作により設定された積分時間パラメータの積分時間Ｔおよびサンプル数Ｎに応じたサンプル（映像情報）の各ピクセル毎の色情報が積分演算（すなわち、Ｆｓｔ（Ｔ，Ｎ））されることにより、映像情報に含まれる各オブジェクト情報の存在時間と存在位置の時空間的特性で構成される映像時間の時空間的特性に応じて、表示比率が変更されるフィルタリング処理が実行される。
【０１７２】
したがって、入力したユーザＡの空間の映像情報を通信相手に送信する場合、ユーザＡは、例えば、壁などの長く存在するオブジェクトを明確に、通り過ぎるユーザをあまり明確に表示させたくないときには、積分時間Ｔを長めに設定したり、あるいは、壁などの長く存在するオブジェクトより、所定の空間に出入りするユーザなどを明確に表示させたいときには、積分時間Ｔを短めに設定するなど、所望の積分時間パラメータを簡単に設定するだけで、通信相手に知られたくない情報をフィルタリングしてから、送信することができる。
【０１７３】
すなわち、時空間フィルタリング処理により、ユーザにより所定の空間を撮像して入力された映像情報内の、例えば、ユーザの顔の表情や、通り過ぎる他のユーザなどといったような個人特定情報や行動情報といったプライバシ情報や環境情報の情報量がある程度削減されてから送信されるので、ユーザのプライバシ侵害が軽減され、プライバシ保護を行いつつ、通信相手と映像情報を用いたコミュニケーションを簡単に行うことができる。
【０１７４】
また、この時空間フィルタリング処理は、ユーザにより指示される積分時間パラメータに応じたサンプルで積分演算を行うことにより行われるので、例えば、輪郭抽出などの複雑な画像認識処理が必要なく、したがって、複雑な画像認識処理などのような負荷が装置にかかるのを抑制することができる。
【０１７５】
さらに、上述したように、時空間積分フィルタ部１３は、図１の二重線矢印のどの各部間に設置されてもよい。したがって、この時空間フィルタリング処理は、他のユーザから送信されてくる他のユーザの空間の映像情報に対しても実行することができるので、他のユーザの空間の映像情報のうち、ユーザの所望の情報以外の情報が出力されないように制限することも可能である。
【０１７６】
なお、上記説明においては、ユーザにより指示される調整情報（積分時間パラメータ）に応じて積分演算を行うことにより、表示比率（透過度）を変更する時空間的特性に応じたフィルタリング処理を行う例を説明したが、例えば、映像情報から取得される時空間的特性を用いて、時空間的特性に応じたフィルタリング処理を行うものであれば、他の方法を用いてもよく、さらに、時空間フィルタリングの効果の種類も、ぼかしや部分遮断などの効果を用いるようにしてもよい。
【０１７７】
ここで、上述した図２の時空間積分演算部４４においては、積分時間パラメータの積分時間Ｔを用いて、時空間的特性に応じたフィルタリング処理（すなわち、Ｆｓｔ（Ｔ，Ｎ）の積分演算）を行うことにより、空間の映像情報において、積分時間Ｔ内に存在する時間の長いオブジェクトがより明確に表示される。すなわち、このとき、空間の映像情報から、この積分時間Ｔ内に存在するオブジェクトが分離されている。
【０１７８】
したがって、積分時間パラメータの積分時間Ｔに応じて、空間の映像情報において、任意の積分時間Ｔ内に存在するオブジェクトを分離させることができる。
【０１７９】
そこで、次に、１段で構成される時空間積分演算部４４を多段化して、任意の複数の積分時間パラメータの積分時間Ｔを入力することで、空間の映像情報から、任意の積分時間Ｔ内に存在するオブジェクトを分離させ、さらに、分離させたオブジェクト毎に、他の出離の効果を与える、ぼかしやシャープネスなどの映像フィルタリング処理を行うことで、さらに、高性能なフィルタ処理を実現した例を説明する。
【０１８０】
図１１は、図１の時空間積分フィルタ部の詳細な構成例を示している。なお、図１１の時空間積分フィルタ部１３は、図２の時空間積分フィルタ部１３の他の例であり、図２における場合に対応する部分には、対応する符号が付してあり、その詳細な説明は繰り返しになるので適宜省略する。
【０１８１】
すなわち、図１１の時空間積分フィルタ部１３は、図２の時空間積分演算部４４の代わりに、多段化して構成される時空間積分演算部１１３が追加され、それに応じて、パラメータ設定部４１の代わりに、ｍ＋１段（０≦ｍ≦max）に多段化されて構成される時空間積分演算部１１３やその他の各部のパラメータを設定し、供給することで、時空間積分フィルタ部１３のフィルタ特性の制御を行うフィルタ特性制御部１１１が追加されている。
【０１８２】
また、ｍ＋１段に多段化されて構成される時空間積分演算部１１３に応じて、時空間積分演算部１１３の前段には、分配器１１２が追加され、さらに、後段には、ｍ＋１段で構成される明瞭度フィルタ１１４と、各明瞭度フィルタ１１４からの映像情報を融合（合成）する融合処理部１１５が追加されている。
【０１８３】
図１１の例において、フィルタ特性制御部１１１には、ユーザの操作に応じて、操作入力部１２を介して、調整情報が入力される。調整情報は、ｍ＋１段の各時空間積分演算部１１３の積分時間パラメータ（積分時間Ｔ＝０，Ｔ１，Ｔ２，…，Ｔｍおよびサンプル数Ｎ＝０，Ｎ１，Ｎ２，…，Ｎｍ）の他に、各積分時間パラメータに対応する明瞭度パラメータＧ＝Ｇ０，Ｇ１，Ｇ２，…，Ｇｍ、および融合比率パラメータα＝α０，α１，α２，…，αｍで構成される。
【０１８４】
明瞭度パラメータは、ｍ＋１段の各明瞭度フィルタ１１４が行う、明瞭度フィルタリング処理の明瞭度の度合いを調整するために用いられるパラメータであり、融合比率パラメータは、融合処理部１１５が行う、ｍ＋１段の各明瞭度フィルタ１１４からの映像情報の融合比率を調整するためのパラメータである。
【０１８５】
なお、ユーザは、これらの調整情報を構成する各パラメータを、個別に入力することもできるし、フィルタ特性制御部１１１に規定の調整パラメータパターン群を予め設定しておくようにして、そのパターン群の中から所望のパターンを選択し、１または２軸の変数（例えば、ぼかし効果の強弱やコントラストなど）を調整することにより、まとめて入力することも可能である。
【０１８６】
フィルタ特性制御部１１１には、操作入力部１２を介して、図１２に示されるような調整情報が入力される。
【０１８７】
図１２の例において、横軸は、積分時間パラメータの積分時間Ｔを表し、縦軸は、明瞭度パラメータの明瞭度（０乃至１００％）、および融合比率パラメータの融合比率（α０＋α１＋α２＋…＋αｍ＝１００％）を表している。
【０１８８】
図１２の例においては、積分時間Ｔ＝０に対応する明瞭度パラメータがＧ０＝略９０（％）であり、融合比率パラメータがα０＝略６（％）であることが示されており、積分時間Ｔ＝Ｔ１に対応する明瞭度パラメータがＧ１＝略８０（％）であり、融合比率パラメータがα１＝略７（％）であることが示されており、積分時間Ｔ＝Ｔ２に対応する明瞭度パラメータがＧ２＝略５０（％）であり、融合比率パラメータがα２＝略１２（％）であることが示されている。
【０１８９】
積分時間Ｔ＝Ｔ３に対応する明瞭度パラメータがＧ３＝略４０（％）であり、融合比率パラメータがα３＝略１５（％）であることが示されており、積分時間Ｔ＝Ｔ４に対応する明瞭度パラメータがＧ４＝略３５（％）であり、融合比率パラメータがα４＝略１４（％）であることが示されており、積分時間Ｔ＝Ｔ５に対応する明瞭度パラメータがＧ５＝略３２（％）であり、融合比率パラメータがα５＝略１２（％）であることが示されている。
【０１９０】
積分時間Ｔ＝Ｔ６に対応する明瞭度パラメータがＧ６＝略３０（％）であり、融合比率パラメータがα６＝略８（％）であることが示されており、…、積分時間Ｔ＝Ｔｍに対応する明瞭度パラメータがＧｍ＝略５０（％）であり、融合比率パラメータがαｍ＝略０（％）であることが示されている。
【０１９１】
フィルタ特性制御部１１１は、調整情報を構成するこれらのパラメータ（積分時間パラメータ、明瞭度パラメータ、または融合比率パラメータ）を、対応する１乃至ｍ＋１段目の各時空間積分演算部１１３、１乃至ｍ＋１段目の各明瞭度フィルタ１１４、または融合処理部１１５のパラメータとして設定し、それぞれに供給する。
【０１９２】
分配器１１２は、各時空間積分演算部１１３が所望するサンプル数Ｎおよびサンプル間隔τに応じたサンプル（フレーム）を、記憶部４３から読み出し、読み出したサンプルを、各時空間積分演算部１１３に供給する。
【０１９３】
時空間積分演算部１１３、明瞭度フィルタ１１４、および融合処理部１１５は、フィルタ特性制御部１１１からのパラメータに応じて、時空間フィルタリング処理、明瞭度フィルタリング処理、および融合処理からなる多段化フィルタ処理を行う。
【０１９４】
具体的には、時空間積分演算部１１３は、Ｔ＝０を初め（１段目）として、Ｔ＝Ｔ１，Ｔ２，…，ＴｍおよびＮ＝Ｎ１，Ｎ２，…，Ｎｍの積分時間パラメータが供給されるｍ＋１段の時空間積分演算部１１３−０乃至１１３−ｍで構成され、記憶部４３に蓄積されている映像情報を、分配器１１２を介して読み出し、読み出した映像情報に、フィルタ特性制御部１１１から供給される積分時間パラメータに応じて、積分演算Ｆｓｔ（Ｔ，Ｎ）処理を行う。
【０１９５】
例えば、図１１の時空間積分演算部１１３は、積分時間Ｔ＝０に応じて、Ｆｓｔ（０）の積分演算を行う（すなわち、リアルタイムの映像情報をそのまま通過させる）時空間積分演算部１１３−０、積分時間Ｔ＝Ｔ１およびサンプル数Ｎ＝Ｎ１に応じてＦｓｔ（Ｔ１，Ｎ１）の積分演算を行う時空間積分演算部１１３−１、積分時間Ｔ＝Ｔ２およびサンプル数Ｎ＝Ｎ２に応じてＦｓｔ（Ｔ２，Ｎ２）の積分演算を行う時空間積分演算部１１３−２、積分時間Ｔ＝Ｔ３およびサンプル数Ｎ＝Ｎ３に応じてＦｓｔ（Ｔ３，Ｎ３）の積分演算を行う時空間積分演算部１１３−３、…、積分時間Ｔ＝Ｔｍおよびサンプル数Ｎ＝Ｎｍに応じてＦｓｔ（Ｔｍ，Ｎｍ）の積分演算を行う時空間積分演算部１１３−ｍのｍ＋１段により構成される。
【０１９６】
なお、時空間積分演算部１１３は、多段化されたことが異なるだけであり、その他の構成は、図２の時空間積分演算部４４と同様の構成である。すなわち、各時空間積分演算部１１３−０乃至１１３−ｍも、図２の時空間積分演算部４４と同様に構成され、時空間積分演算部４４と同様の処理を行う。
【０１９７】
すなわち、時空間積分演算部１１３−０乃至１１３−ｍは、ユーザにより入力され、フィルタ特性制御部１１１により設定されて供給される積分時間パラメータに応じて、記憶部４３に蓄積されている映像情報を、分配器１１２を介して読み出し、積分演算することにより、映像情報に対して、映像情報の時空間的特性に応じたフィルタリング処理を実行し、時空間フィルタリング処理された映像情報を、対応する明瞭度フィルタ１１４−０乃至１１４−ｍに出力する。
【０１９８】
明瞭度フィルタ１１４は、ｍ＋１段の時空間積分演算部１１３−０乃至１１３−ｍに対応するｍ＋１段の明瞭度フィルタ１１４−０乃至１１４−ｍで構成され、対応する時空間積分演算部１１３−０乃至１１３−ｍからの映像情報に、フィルタ特性制御部１１１から供給される明瞭度パラメータに応じて、明瞭度（ぼかし）フィルタリング処理を行い、明瞭度フィルタリング処理した映像情報を、融合処理部１１５に出力する。
【０１９９】
例えば、図１１の明瞭度フィルタ１１４は、時空間積分演算部１１３−０からの映像情報に、明瞭度パラメータＧ＝Ｇ０に応じて、明瞭度フィルタリング処理を行う明瞭度フィルタ１１４−０、時空間積分演算部１１３−１からの映像情報に、明瞭度パラメータＧ＝Ｇ１に応じて、明瞭度フィルタリング処理を行う明瞭度フィルタ１１４−１、時空間積分演算部１１３−２からの映像情報に、明瞭度パラメータＧ＝Ｇ２に応じて、明瞭度フィルタリング処理を行う明瞭度フィルタ１１４−２、時空間積分演算部１１３−３からの映像情報に、明瞭度パラメータＧ＝Ｇ３に応じて、明瞭度フィルタリング処理を行う明瞭度フィルタ１１４−３、…、時空間積分演算部１１３−ｍからの映像情報に、明瞭度パラメータＧ＝Ｇｍに応じて、明瞭度フィルタリング処理を行う明瞭度フィルタ１１４−ｍのｍ＋１段により構成される。
【０２００】
融合処理部１１５は、フィルタ特性制御部１１１から供給される融合比率パラメータに応じて、各明瞭度フィルタ１１４から入力される映像情報を融合（合成）し、融合した映像情報を、出力映像情報として、情報出力部４５に出力する。
【０２０１】
次に、図１３乃至図１５を参照して、図１１の時空間積分フィルタ部の多段化フィルタ処理について詳しく説明する。なお、以下、時空間積分演算部１１３−０乃至１１３−３の４段で構成される場合を説明する。
【０２０２】
図１３は、フィルタ特性制御部１１１に入力される調整情報の例を表している。図１３の例においては、図１２の例と同様に、横軸は、積分時間パラメータの積分時間Ｔを表し、縦軸は、明瞭度パラメータの明瞭度（０乃至１００％）、および融合比率パラメータの融合比率（α０＋α１＋α２＋…＋αｍ＝１００％）を表している。
【０２０３】
図１３の例においては、積分時間Ｔ＝０に対応する明瞭度パラメータがＧ０＝９０（％）であり、融合比率パラメータがα０＝３５（％）であることが示されており、積分時間ＴがＴ１＝２τに対応する明瞭度パラメータがＧ１＝６０（％）であり、融合比率パラメータがα１＝１５（％）であることが示されている。また、積分時間ＴがＴ２＝６τに対応する明瞭度パラメータがＧ２＝４５（％）であり、融合比率パラメータがα２＝１０（％）であることが示されており、積分時間ＴがＴ３＝１０τに対応する明瞭度パラメータがＧ２＝２５（％）であり、融合比率パラメータがα３＝４０（％）であることが示されている。
【０２０４】
フィルタ特性制御部１１１は、積分時間Ｔ＝０に対応する各パラメータを、１段目の各部または映像情報に対応するパラメータと設定し、積分時間Ｔ１＝２τに対応する各パラメータを、２段目の各部または映像情報に対応するパラメータと設定し、積分時間Ｔ２＝６τに対応する各パラメータを、３段目の各部または映像情報に対応するパラメータと設定し、積分時間Ｔ３＝１０τに対応する各パラメータを、４段目の各部または映像情報に対応するパラメータと設定する。
【０２０５】
そして、フィルタ特性制御部１１１は、１段目に対応する積分時間パラメータとして、積分時間Ｔ＝０を１段目の時空間積分演算部１１３−０に供給し、１段目に対応する明瞭度パラメータとして、積分時間Ｔ＝０に対応する明瞭度パラメータＧ０＝９０を１段目の明瞭度フィルタ１１４−０に供給し、１段目の明瞭度フィルタ１１４−０からの映像情報の融合比率パラメータとして、融合比率パラメータα０＝３５を融合処理部１１５に供給する。
【０２０６】
フィルタ特性制御部１１１は、２段目に対応する積分時間パラメータとして、積分時間Ｔ１＝２τを２段目の時空間積分演算部１１３−１に供給し、２段目に対応する明瞭度パラメータとして、積分時間Ｔ１＝２τに対応する明瞭度パラメータＧ１＝６０を２段目の明瞭度フィルタ１１４−１に供給し、２段目の明瞭度フィルタ１１４−１からの映像情報の融合比率パラメータとして、融合比率パラメータα１＝１５を融合処理部１１５に供給する。
【０２０７】
フィルタ特性制御部１１１は、３段目に対応する積分時間パラメータとして、積分時間Ｔ２＝６τを３段目の時空間積分演算部１１３−２に供給し、３段目に対応する明瞭度パラメータとして、積分時間Ｔ２＝６τに対応する明瞭度パラメータＧ２＝４５を３段目の明瞭度フィルタ１１４−２に供給し、３段目の明瞭度フィルタ１１４−２からの映像情報の融合比率パラメータとして、融合比率パラメータα２＝１０を融合処理部１１５に供給する。
【０２０８】
さらに、フィルタ特性制御部１１１は、４段目に対応する積分時間パラメータとして、積分時間Ｔ３＝１０τを４段目の時空間積分演算部１１３−３に供給し、４段目に対応する明瞭度パラメータとして積分時間Ｔ３＝１０τに対応する明瞭度パラメータＧ３＝２５を、４段目の明瞭度フィルタ１１４−３に供給し、４段目の明瞭度フィルタ１１４−３からの映像情報の融合比率パラメータとして、融合比率パラメータα３＝４０を融合処理部１１５に供給する。
【０２０９】
図１４は、各時空間積分部１１３の時空間的特性に応じたフィルタリング処理（時空間フィルタリング処理）を説明する図であり、図１５は、各明瞭度フィルタ１１４の明瞭度フィルタリング処理、および融合処理部１１５の融合処理を説明する図である。なお、図１４および図１５の例においては、図５を参照して上述した空間の映像情報を用いて説明する。
【０２１０】
図１４の例においては、左から順に、各段（１乃至４段）の時空間積分演算部１１３、各段の時空間積分演算部１１３に対してフィルタ特性制御部１１１から供給される積分時間Ｔ、図５を参照して上述した空間の映像情報が用いられて、積分時間Ｔに応じて、図６および図７を参照して上述した時空間フィルタリング処理が実行された結果、対応する明瞭度フィルタ１１４−０乃至１１４−３に入力される映像情報が対応する映像１３１乃至１３４、および各映像１３１乃至１３４におけるピクセルＰの色情報の表示比率が示されている。
【０２１１】
図１５の例においては、左から順に、各段（１乃至４段）の明瞭度フィルタ部１１４、各段の明瞭度フィルタ部１１４に対してフィルタ特性制御部１１１から供給される明瞭度パラメータＧ、図１４の各空間の映像１３１乃至１３４が対応する映像情報が用いられて、明瞭度パラメータＧに応じて、明瞭度フィルタリング処理が実行された結果、融合処理部１１５に入力される映像情報に対応する映像１４１乃至１４４、融合処理部１１５に対してフィルタ特性制御部１１１から供給される融合比率パラメータα、映像１４１乃至１４４が対応する映像情報が用いられて、融合処理部１１５により融合処理された後の映像情報に対応する映像１５１、および映像１５１におけるピクセルＰの色情報の表示比率が示されている。
【０２１２】
１段目から順に説明する。１段目の時空間積分演算部１１３−０は、現在時刻ｔ＝０において、フィルタ特性制御部１１１からの積分時間Ｔ＝０に応じたサンプルを用いて、時空間フィルタリング処理を行い、明瞭度フィルタ１１４−０に映像１３１に対応する映像情報を出力する。
【０２１３】
この場合、図６を参照して上述したように、映像１３１のピクセルＰの色情報は、物体Ｒのオブジェクトの色情報のみで構成される。したがって、映像１３１のピクセルＰにおいては、ｔ＝０の映像情報（すなわち、リアルタイム情報）がそのまま後段に出力されるので、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、０対０対１の表示比率で出力される。
【０２１４】
したがって、時空間積分演算部１１３−０による時空間フィルタリング後の映像情報である映像１３１のピクセルＰの色情報は、１００％の物体Ｒのオブジェクトの色情報、０％の物体Ｇのオブジェクトの色情報、０％の壁Ｂのオブジェクトの色情報で構成される。
【０２１５】
１段目の明瞭度フィルタ１１４−０は、時空間積分演算部１１３−０からの映像１３１が対応する映像情報に、フィルタ特性制御部１１１から供給される明瞭度パラメータＧ０＝９０％（ぼかし強度：低）に応じた明瞭度フィルタリング処理を行い、融合処理部１１５に、映像１４１に対応する映像情報を出力する。
【０２１６】
したがって、明瞭度フィルタ１１４−０による明瞭度フィルタリング後の映像情報である映像１４１は、ぼかし強度の低い明瞭度パラメータＧ０により、明瞭度９０％の全体的に少しだけぼけた映像となる。
【０２１７】
２段目の時空間積分演算部１１３−１は、現在時刻ｔ＝０において、フィルタ特性制御部１１１からの積分時間Ｔ１＝２τに応じたサンプルを用いて、時空間フィルタリング処理を行い、明瞭度フィルタ１１４−１に映像１３２に対応する映像情報を出力する。
【０２１８】
この場合、図６を参照して上述したように、映像１３２のピクセルＰは、ｔ＝−２τ乃至―１τの間（１τ間）、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、物体Ｒのオブジェクトの色情報を有する。したがって、映像１３１のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、０対１対１の表示比率で出力される。
【０２１９】
したがって、時空間積分演算部１１３−１による時空間フィルタリング後の映像情報である映像１３２のピクセルＰの色情報は、５０％の物体Ｒのオブジェクトの色情報、５０％の物体Ｇのオブジェクトの色情報、０％の壁Ｂのオブジェクトの色情報で構成される。
【０２２０】
２段目の明瞭度フィルタ１１４−１は、時空間積分演算部１１３−１からの映像１３２が対応する映像情報に、フィルタ特性制御部１１１から供給される明瞭度パラメータＧ１＝６０％（ぼかし強度：中）に応じた明瞭度フィルタリング処理を行い、融合処理部１１５に、映像１４２に対応する映像情報を出力する。
【０２２１】
したがって、明瞭度フィルタ１１４−１による明瞭度フィルタリング後の映像情報である映像１４２は、ぼかし強度の中程度の明瞭度パラメータＧ１により、明瞭度６０％の、全体的に、映像１４１よりもぼけた映像となる。
【０２２２】
３段目の時空間積分演算部１１３−２は、現在時刻ｔ＝０において、フィルタ特性制御部１１１からの積分時間Ｔ２＝６τに応じたサンプルを用いて、時空間フィルタリング処理を行い、明瞭度フィルタ１１４−２に映像１３３に対応する映像情報を出力する。
【０２２３】
この場合、図６を参照して上述したように、映像１３３のピクセルＰは、ｔ＝−６τ乃至―４τの間（２τ間）、壁Ｂのオブジェクトの色情報を有し、ｔ＝−４τ乃至―１τの間（３τ間）、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、物体Ｒのオブジェクトの色情報を有する。したがって、映像１３３のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、２対３対１の表示比率で出力される。
【０２２４】
したがって、時空間積分演算部１１３−２による時空間フィルタリング後の映像情報である映像１３３のピクセルＰの色情報は、１７％の物体Ｒのオブジェクトの色情報、５０％の物体Ｇのオブジェクトの色情報、３０％の壁Ｂのオブジェクトの色情報で構成されている。
【０２２５】
３段目の明瞭度フィルタ１１４−２は、時空間積分演算部１１３−２からの映像１３３が対応する映像情報に、フィルタ特性制御部１１１から供給される明瞭度パラメータＧ２＝４０％（ぼかし強度：やや高）に応じた明瞭度フィルタリング処理を行い、融合処理部１１５に、映像１４３に対応する映像情報を出力する。
【０２２６】
したがって、明瞭度フィルタ１１４−２による明瞭度フィルタリング後の映像情報である映像１４３は、ぼかし強度のやや高い明瞭度パラメータＧ２により、明瞭度４０％の、全体的に、映像１４２よりもぼけた映像となる。
【０２２７】
４段目の時空間積分演算部１１３−３は、現在時刻ｔ＝０において、フィルタ特性制御部１１１からの積分時間Ｔ３＝１０τに応じたサンプルを用いて、時空間フィルタリング処理を行い、明瞭度フィルタ１１４−３に映像１３４に対応する映像情報を出力する。
【０２２８】
この場合、図６を参照して上述したように、映像１３４のピクセルＰは、ｔ＝−１０τ乃至―４τの間（６τ間）、壁Ｂのオブジェクトの色情報を有し、ｔ＝−４τ乃至―１τの間（３τ間）、物体Ｇのオブジェクトの色情報を有し、ｔ＝−１τ乃至０の間（１τ間）、物体Ｒのオブジェクトの色情報を有する。したがって、映像１３４のピクセルＰにおいては、壁Ｂのオブジェクト、物体Ｇのオブジェクト、物体Ｒのオブジェクトが、６対３対１の表示比率で出力される。
【０２２９】
したがって、時空間積分演算部１１３−３による時空間フィルタリング後の映像情報である映像情報である映像１３４のピクセルＰの色情報は、１０％の物体Ｒのオブジェクトの色情報、３０％の物体Ｇのオブジェクトの色情報、６０％の壁Ｂのオブジェクトの色情報で構成されている。
【０２３０】
４段目の明瞭度フィルタ１１４−３は、時空間積分演算部１１３−３からの映像１３４が対応する映像情報に、フィルタ特性制御部１１１から供給される明瞭度パラメータＧ３＝２５％（ぼかし強度：高）に応じた明瞭度フィルタリング処理を行い、融合処理部１１５に、映像１４４に対応する映像情報を出力する。
【０２３１】
したがって、明瞭度フィルタ１１４−３による明瞭度フィルタリング後の映像情報である映像１４４は、ぼかし強度の高い明瞭度パラメータＧ３により、明瞭度２５％の、全体的に、映像１４３よりもぼけた映像、すなわち、映像１４１乃至１４４の中で最もぼけた映像となる。
【０２３２】
以上により、融合処理部１１５には、明瞭度フィルタ１１４−０から映像１４１に対応する映像情報が入力され、明瞭度フィルタ１１４−１から映像１４２に対応する映像情報が入力され、明瞭度フィルタ１１４−２から映像１４３に対応する映像情報が入力され、明瞭度フィルタ１１４−３から映像１４４に対応する映像情報が入力される。
【０２３３】
すなわち、明瞭度フィルタ１１４−１からは、空間の映像情報から、積分時間Ｔ＝０に応じてリアルタイム（ｔ＝０）に存在するオブジェクトの表示比率が変更（調整）され、表示比率が変更されたオブジェクト（からなる映像１３１）に対して、明瞭度が高くなるように明瞭度フィルタリング処理が行われた映像１４１の映像情報が、融合処理部１１５に入力される。
【０２３４】
明瞭度フィルタ１１４−２からは、空間の映像情報から、積分時間Ｔ＝２τに応じて、ｔ＝−２τ乃至０の間に存在するオブジェクトの表示比率が変更され、表示比率が変更されたオブジェクト（からなる映像１３２）に対して、明瞭度が中程度になるように明瞭度フィルタリング処理が行われた映像１４２の映像情報が、融合処理部１１５に入力される。
【０２３５】
明瞭度フィルタ１１４−３からは、空間の映像情報から、積分時間Ｔ＝６τに応じて、ｔ＝−６τ乃至０の間に存在するオブジェクトの表示比率が変更され、表示比率が変更されたオブジェクト（からなる映像１３３）に対して、明瞭度がやや低くになるように明瞭度フィルタリング処理が行われた映像１４３の映像情報が、融合処理部１１５に入力される。
【０２３６】
明瞭度フィルタ１１４−４からは、空間の映像情報から、積分時間Ｔ＝１０τに応じて、ｔ＝−１０τ乃至０の間に存在するオブジェクトの表示比率が変更され、表示比率が変更されたオブジェクト（からなる映像１３４）に対して、明瞭度が低くになるように明瞭度フィルタリング処理が行われた映像１４４の映像情報が、融合処理部１１５に入力される。
【０２３７】
以上のように、ユーザにより入力される積分時間Ｔに基づいて、各オブジェクトの表示比率を変更させることができる時空間フィルタリング処理を多段化して行うようにすることにより、段毎の積分時間Ｔに存在する、すなわち段毎に異なる時間特性を有するオブジェクト群が分離され、分離されたオブジェクト群の表示比率が変更される。
【０２３８】
そして、分離された各段のオブジェクト群毎に、さらに、明瞭度（ぼかし）効果を与える明瞭度フィルタなどの画像処理（映像処理）を適用するようにしたので、任意の時間特性を有するオブジェクト群に対して、個別に画像処理の効果を与えることができる。
【０２３９】
また、融合処理部１１５は、フィルタ制御部１１１からの融合比率パラメータα０乃至α３に応じて、映像１４１乃至１４４が対応する映像情報を融合する。すなわち、融合処理部１１５は、映像１４１の映像情報を、融合比率パラメータα０＝３５％で融合し、映像１４２の映像情報を、融合比率パラメータα１＝１５％で融合し、映像１４３の映像情報を、融合比率パラメータα２＝１０％で融合し、映像１４４の映像情報を、融合比率パラメータα３＝４０％で融合し、それらを融合した結果として、映像１５１に対応する映像情報を、後段に出力する。
【０２４０】
したがって、融合処理部１１５により融合処理され、後段に出力される映像１５１のピクセルＰは、（１００＊０．３５＋５０＊０．１５＋１７＊０．１０＋１０＊０．４０）＝４８．２％の物体Ｒのオブジェクトの色情報、（０％＊０．３５＋５０％＊０．１５＋５０％＊０．１０＋３０％＊０．４０）＝２４．５％の物体Ｇのオブジェクトの色情報、（０％＊０．３５＋０％＊０．１５＋３３％＊０．１０＋６０％＊０．４０）＝２７．３％の物体Ｇのオブジェクトの色情報を有する。
【０２４１】
なお、映像１５１のピクセルＰにおける明瞭度は、明瞭度フィルタ１１４において各映像情報に対して明瞭度フィルタリング処理が実行されているため、実際には数値化されるものではないが、説明の便宜上、数値化するならば、例えば、物体Ｒのオブジェクトの色情報には、１００％（明瞭度９０％）＊０．３５＋５０％（明瞭度６０％）＊０．１５＋１７％（明瞭度４５％）＊０．１０＋１０％（明瞭度２５％）＊０．４０の明瞭度（すなわち、５５％の明瞭度）の明瞭度フィルタリング処理が実行されている。
【０２４２】
映像１５１のピクセルＰにおける物体Ｇのオブジェクトの色情報には、０％（明瞭度９０％）＊０．３５＋５０％（明瞭度６０％）＊０．１５＋５０％（明瞭度４５％）＊０．１０＋３０％（明瞭度２５％）＊０．４０の明瞭度（すなわち、２３．５％の明瞭度）の明瞭度フィルタリング処理が実行されている。映像１５１のピクセルＰにおける物体Ｇのオブジェクトの色情報には、０％（明瞭度９０％）＊０．３５＋０％（明瞭度６０％）＊０．１５＋３３％（明瞭度４５％）＊０．１０＋６０％（明瞭度２５％）＊０．４０の明瞭度（すなわち、１４．５％の明瞭度）の明瞭度フィルタリング処理が実行されている。
【０２４３】
すなわち、明瞭度フィルタ１１４においては、時空間積分演算部１１３により時空間フィルタリング処理された各映像情報が明瞭度フィルタリング処理されるので、存在時間（段毎の積分時間Ｔ）に応じて異なる明瞭度フィルタリング処理を行うことができる。
【０２４４】
以上のように、空間の映像情報において、リアルタイム（ｔ＝０）に存在するオブジェクト、ｔ＝−２τ乃至０の間に存在するオブジェクト、ｔ＝−６τ乃至０の間に存在するオブジェクト、ｔ＝−１０τ乃至０の間に存在するオブジェクトが分離され、それぞれ、明瞭度フィルタリング処理された後、ユーザの融合比率パラメータに応じて、融合される。
【０２４５】
したがって、例えば、空間情報において、短時間しか存在しないものを一番明瞭に表示させ、存在する時間が大きくなるにつれて不明瞭に（ぼかして）表示させるなど、図２の１段構成の時空間積分演算部４４の場合よりも、多様な出力映像情報を得ることが可能になる。
【０２４６】
なお、上記説明においては、融合比率パラメータαがすべて正の値である場合について説明したが、融合比率パラメータαは、総計が１００％になることを前提として、負の値をとるように拡張することもできる。ただし、このとき、０乃至２５５の範囲を超えた色情報は、０以下の場合には、０であり、２５５以上の場合には、２５５であるとする。
【０２４７】
具体的に説明すると、時空間積分演算部１１３および明瞭度フィルタ１１４が各３段（例えば、時間空間積分演算部１１３−１乃至１１３−３と明瞭度フィルタ１１４−１乃至１１４−３）で構成される場合に、すべてが正の値の例として、各融合比率パラメータが、α１＝５０％、α２＝３０％、α３＝２０％（総計１００％）であるとし、拡張したときの例として、各融合比率パラメータが、α１＝８０％、α２＝−３０％、α３＝５０％（総計１００％）であるとする。
【０２４８】
簡単のため、例えば、明瞭度フィルタ１１４−１からの映像情報が赤（R/255 G/0 B/0）で、明瞭度フィルタ１１４−２からの映像情報が緑（R/0 G/255 B/0）で、明瞭度フィルタ１１４−３からの映像情報が青（R/0 G/0 B/255）である場合、すべてが正の値のときには、融合処理部１１５により融合処理された映像情報（色情報）は、茶色（R/128 G/77 B/255）となるが、拡張したときには、融合処理部１１５により融合処理された映像情報（色情報）は、マゼンタ（R/204 G/-77(=0) B/128）となる。
【０２４９】
なお、これらの単色の場合は、色情報の差が顕著であるが、通常の物体の色情報は、単色の場合と異なり、それぞれの色要素のバランスが近い。これにより、任意の時間存在するものを強調させるだけでなく、減衰させることも可能となる。
【０２５０】
したがって、例えば、積分時間Ｔの長い時空間積分演算部１１３からの映像情報の融合比率パラメータを負の値に設定することで、壁などの長く存在するオブジェクトだけをあまり明確に表示させないようにできるし、また同様に、積分時間Ｔの中程度の時空間積分演算部１１３からの映像情報の融合比率パラメータを負の値に設定することで、壁などのように長く存在するオブジェクトや、所定の空間に出入りする（短くしか存在しない）ユーザなどのオブジェクト以外の中程度の時間存在するオブジェクトだけをあまり明確に表示させないようにできる。
【０２５１】
以上のように、多段化されたフィルタ全体で、より高次、かつ高性能のフィルタを形成することができ、ユーザの所望に応じた多様な出力映像情報を得ることができる。
【０２５２】
したがって、図１１の時空間積分演算部１１３においても、入力された積分時間Ｔに応じて、通信相手に送信する情報の表示比率および明瞭度などが調整され、簡単に、ユーザの所望する程度に、プライバシを保護することができる。
【０２５３】
次に、図１６のフローチャートを参照して、映像音声通信装置１−１が映像音声通信装置１−２と行う映像通信処理を説明する。なお、図１６の例は、図９の映像通信処理の他の例であり、ステップＳ５１，Ｓ５３，Ｓ５５乃至Ｓ５８，およびＳ６０は、図９のステップＳ１１，Ｓ１３，Ｓ１５乃至Ｓ１８，およびＳ２０と基本的に同様の処理を行うため、その詳細な説明は適宜省略する。
【０２５４】
ユーザＡは、ユーザＢの映像音声通信装置１−２と相互に通信するために、操作入力部１２−１を操作する。操作入力部１２−１は、ユーザＡの操作に対応した制御信号を、接続制御部１４−１に供給する。接続制御部１４−１は、ステップＳ５１において、操作入力部１２−１からの制御信号に応じて、送信部２１−１を制御し、ネットワーク２を介して、映像音声通信装置１−２との接続を確立させる。
【０２５５】
これにより、映像音声通信装置１−１は、通信相手の映像音声通信装置１−２とのネットワーク２を介しての接続が確立され、映像音声通信装置１−１および映像音声通信装置１−２の間は、後述するステップＳ６０において映像通信処理の終了が指示されたと判定されるまで、常時接続の状態となる。
【０２５６】
ユーザＡは、通信相手の映像音声通信装置１−２に、ユーザＡのユーザ空間の映像情報を送信し、かつ、送信する映像情報に対して、所望の度合いのプライバシ保護に対応するフィルタリング処理を行うために、操作入力部１２−１を操作して、積分時間パラメータ、明瞭度パラメータ、および融合比率パラメータからなる調整情報を入力するとともに、カメラ部１１−１に対して撮像開始を指示する。
【０２５７】
なお、このとき、フィルタ特性制御部１１１に規定の調整パラメータパターン群が予め設定されており、ユーザＡは、操作入力部１２−１を操作して、規定の調整パラメータパターン群から所望のパターンを選択することで、調整情報を入力する。
【０２５８】
フィルタ特性制御部１１１は、操作入力部１２を介して調整情報が入力されると、ステップＳ５２において、入力された調整情報を構成する各パラメータを、対応する１乃至ｍ＋１段目の各時空間積分演算部１１３、１乃至ｍ＋１段目の各明瞭度フィルタ１１４、または融合処理部１１５のパラメータとして設定し、それぞれに供給し、ステップＳ５３に進む。
【０２５９】
カメラ部１１−１は、ステップＳ５３において、操作入力部１２−１からの制御信号に応じて、ユーザＡのユーザ空間の撮像を開始し、撮像した空間情報、すなわち、ユーザ空間に存在する被写体に対応する映像（オブジェクト）の情報が含まれる空間の映像情報を入力し、情報変換処理部４２に供給する。情報変換処理部４２は、カメラ部１１−１から入力された映像情報を、所定の形式に変換して、記憶部４３に書き込み、ステップＳ５４に進む。
【０２６０】
ステップＳ５４において、時空間積分演算部１１３、明瞭度フィルタ１１４、および融合処理部１１５は、フィルタ特性制御部１１１により設定された各パラメータに応じて多段化フィルタ処理を実行し、ステップＳ５５に進む。この多段化フィルタ処理は、図９のステップＳ１４の時空間積分フィルタ処理を多段化した処理の例であり、図１７を参照して後述する。
【０２６１】
ステップＳ５４の多段化フィルタ処理により、各段の時空間積分演算部１１３により、積分時間パラメータに応じた積分演算処理が実行されることで、記憶部４３の映像情報に対して、映像情報の時空間的特性に応じたフィルタリング処理が実行され、各段の明瞭度フィルタ１１４により、明瞭度パラメータに応じて、明瞭度（ぼかし）フィルタリング処理が実行される。
【０２６２】
そして、各段において、時空間フィルタリング処理および明瞭度フィルタリング処理が実行された映像情報が、融合処理部１１５により、融合比率パラメータに応じて融合（合成）され、融合した映像情報（色情報）が、出力映像情報として、情報出力部４５に出力される。
【０２６３】
情報出力部４５は、ステップＳ５５において、融合処理部１１５からの映像情報を、力映像情報として、後段（すなわち、送信部２１−１およびミキサ処理部１６−１）に供給し、ステップＳ５６に進む。
【０２６４】
ステップＳ５６において、送信部２１−１は、多段化フィルタ処理が施された出力映像情報を、ネットワーク２を介して、接続中の映像音声通信装置１−２に送信する。これに対応して、映像音声通信装置１−２の受信部２２−２は、映像音声通信装置１−１からの出力映像情報を受信する。これにより、受信された出力映像情報に対応する映像がミキサ処理部１６−２を介して、モニタ１７−２に表示される。すなわち、映像音声通信装置１−２のモニタ１７−２には、ユーザＡの所望した度合いの多段化フィルタ処理が施された映像情報に対応する映像が表示される。
【０２６５】
また、映像音声通信装置１−２も、ステップＳ５１で接続が確立された後、映像音声通信装置１−１と同様に、ユーザＢのユーザ空間（の所定の空間）に存在する被写体（物体）に対応するオブジェクトの情報が含まれる映像情報を入力し、ユーザＢにより操作入力部１２−２を介して入力された調整情報を用いて多段化フィルタ処理が実行された出力映像情報を、ネットワーク２を介して送信してくる。
【０２６６】
映像音声通信装置１−１の受信部２２−１は、ステップＳ５７において、映像音声通信装置１−２からの出力映像情報を受信し、受信した出力映像情報をミキサ処理部１６−１に供給し、ステップＳ５８に進む。
【０２６７】
ミキサ処理部１６−１は、ステップＳ５８において、時空間積分フィルタ部１３−１からの出力映像情報と、映像音声通信装置１−２からの出力映像情報を合成（重畳）し、合成した出力映像情報に対応する画像をモニタ１７−１に表示させる。
【０２６８】
以上のようにして、ユーザＡの映像音声通信装置１−１のモニタには、ユーザＢの所望の多段化フィルタ処理が施された出力映像情報に対応する映像が表示される。すなわち、ユーザＢが所望しない限り、撮像されたままの映像情報は表示されないので、これにより、ユーザＢのプライバシの保護が促進される。
【０２６９】
また、ユーザＡは、モニタ１７−１の、例えば、子画面に表示される多段化フィルタ処理が施されたユーザＡのユーザ空間の映像情報に対応する映像を見て、多段化フィルタ処理の結果を確認する。
【０２７０】
例えば、多段化フィルタ処理の結果が好ましくないと思った場合、ユーザＡは、映像音声通信装置１−２に送信する映像情報に対する多段化フィルタ処理の各パラメータを変更するために、操作入力部１２−１を操作して、積分時間パラメータ、明瞭度パラメータ、および融合比率パラメータからなる調整情報を再度入力する。あるいは、ユーザＡは、操作入力部１２−１を操作して、各パラメータを個別に入力する。
【０２７１】
操作入力部１２−１から調整情報に対応する制御信号が入力されると、フィルタ特性制御部１１１は、ステップＳ５９において、入力された調整情報に基づいて、少なくとも１のパラメータが変更されたか否かを判定し、少なくとも１のパラメータが変更されたと判定した場合、ステップＳ５２に戻り、操作入力部１２−１を介して入力される調整情報を構成するパラメータを、対応する各部に供給し、それ以降の処理を繰り返す。
【０２７２】
これにより、ステップＳ５４の多段化フィルタ処理は、新たに供給された各パラメータ情報に応じて実行される。
【０２７３】
また、フィルタ特性制御部１１１は、ステップＳ５９において、どのパラメータも変更されていないと判定した場合、ステップＳ６０に進む。
【０２７４】
例えば、ユーザＡは、操作入力部１２−１を操作して、映像音声通信装置１−２との映像通信処理を終了する指示を入力する。操作入力部１２−１は、ユーザの操作に対応する制御信号を接続制御部１４−１に供給する。あるいは、ユーザＢにより映像通信処理を終了したいとの要求が受信部２２−１に受信され、受信された要求が接続制御部１４−１に供給される。
【０２７５】
接続制御部１４−１は、ステップＳ６０において、ユーザＡまたはユーザＢからの映像通信処理の終了が指示されたか否かを判定し、どちらか一方からでも映像通信処理の終了が指示されたと判定した場合、通信部１５−１を制御し、接続を切断させ、映像通信処理を終了させる。なお、特に説明はしないが、接続が切断される前に、映像音声通信装置１−２やモニタ１７−１に終了通知を表示させるようにしてもよい。
【０２７６】
一方、ステップＳ６０において、ユーザＡまたはユーザＢからの映像通信処理の終了が指示されていないと判定された場合、ステップＳ５３に戻り、それ以降の処理が繰り返される。すなわち、この場合、すでに供給済みの各パラメータに基づいて多段化フィルタ処理が実行される。
【０２７７】
なお、図１６の例においては、ユーザにより入力された調整情報に応じて、多段化フィルタ処理された映像情報を通信相手に送信するとともに、調整情報による処理の効果を確認するように説明したが、ユーザの有するモニタにおいて、まず、調整情報による処理の効果を確認して、映像情報に所望の多段化フィルタ処理が施されていることを確認した後に、通信相手に映像情報を送信開始するようにしてもよい。
【０２７８】
次に、図１７のフローチャートを参照して、図１６のステップＳ５４の多段化フィルタ処理を説明する。なお、この多段化フィルタ処理は、図１０の時空間積分フィルタ処理を多段化させた例であり、図１７のステップＳ７１乃至Ｓ７３は、図１０のステップＳ３１乃至Ｓ３３が、ｍ＋１段の各時空間積分演算部１１３により多段化されて実行されるものである。
【０２７９】
すなわち、記憶部４３には、カメラ部１１により撮像、入力され、情報変換処理部４２により所定の形式に変換された映像情報が蓄積されている。
【０２８０】
ステップＳ７１において、時空間積分演算部１１３のサンプル抽出部５１は、フィルタ特性制御部１１１から供給された積分時間パラメータの積分時間Ｔおよびサンプル数Ｎに基づいて、サンプル（フレーム）を、分配器１１２を介して抽出し、抽出したサンプルを、時空間積分演算部１１３のサンプル加算部５２に供給し、ステップＳ７２に進む。
【０２８１】
ステップＳ７２において、サンプル加算部５２は、サンプル抽出部５１により抽出されたサンプルを用いて、ピクセル毎に色情報を加算し、加算したピクセル毎の色情報の値を、時空間積分演算部１１３のサンプル除算部５３に供給し、ステップＳ７３に進む。
【０２８２】
ステップＳ７３において、サンプル除算部５３は、サンプル加算部５２により加算されたピクセル毎の色情報の値を、サンプル数で除算し、除算した色情報の値からなる映像情報を、対応する明瞭度フィルタ１１４に出力する。
【０２８３】
ステップＳ７４において、明瞭度フィルタ１１４は、フィルタ特性制御部１１１から供給された明瞭度パラメータに応じて、明瞭度（ぼかし）フィルタリング処理を行い、明瞭度フィルタリング処理した映像情報を、融合処理部１１５に出力し、ステップＳ７５に進む。
【０２８４】
これらのステップＳ７１乃至Ｓ７４の処理は、ｍ＋１段の時空間積分演算部１１３−０乃至１１３−ｍ、およびｍ＋１段の明瞭度フィルタ１１４−０乃至１１４−ｍにより並列に実行される。
【０２８５】
融合処理部１１５は、ステップＳ７５において、フィルタ特性制御部１１１から供給される融合比率パラメータに応じて、各明瞭度フィルタ１１４から入力される映像情報を融合（合成）し、融合した映像情報を、出力映像情報として、情報出力部４５に出力し、多段化フィルタ処理を終了し、図１６のステップＳ５４に戻り、ステップＳ５５に進む。
【０２８６】
以上のように、ユーザＡの操作により入力された積分時間パラメータに応じて、映像時間の時空間的特性に応じて、表示比率が変更されるフィルタリング処理が多段化して実行されることで、空間の映像情報から、複数の積分時間パラメータに応じた時空間的特性を有するオブジェクトからなる映像情報が分離され、分離された映像情報が、ユーザＡの操作により入力された明瞭度パラメータに応じて、所定の明瞭度になるようにフィルタリング処理される。
【０２８７】
したがって、任意の時間特性を有するオブジェクト群に対して、表示比率の変更だけでなく、明瞭度（ぼかし）効果を与えることができる。なお、この明瞭度フィルタリング処理は、明瞭度に限定されず、シャープネス、コントラストなどの他の画像（映像）処理フィルタであってもよい。
【０２８８】
さらに、明瞭度フィルタリング処理が実行された任意の時間特性を有するオブジェクト群の映像情報を、ユーザＡの操作により入力された融合比率パラメータに応じて、合成（融合）することにより、任意の時間存在するものを強調させたり、減衰させた映像情報を得ることができる。すなわち、ユーザの所望に応じた多様な出力映像情報を得ることができる。
【０２８９】
以上のように、時空間特性に応じたフィルタリング処理を多段化し、さらに、他の画像処理フィルタを追加し、処理後の映像情報を融合するように多段化されたフィルタを構成するようにしたので、多段化されたフィルタ全体でより高次、かつ高性能のフィルタを形成することができる。
【０２９０】
したがって、入力したユーザＡの空間の映像情報を通信相手に送信する場合、ユーザＡは、例えば、短めに設定した積分時間Ｔに対応する明瞭度パラメータを、明瞭度が低くなるように設定したり、長めに設定した積分時間Ｔに対応する融合比率パラメータよりも小さい値、あるいは、負の値などに設定することにより、壁などの長く存在するオブジェクトを明確に、通り過ぎるユーザをあまり明確に表示させないようにすることができる。
【０２９１】
また、さらに、存在時間が長時間でも短時間でもない中時間存在するオブジェクトに対しても、明確に、あるいは、不明確に表示させることも可能になる。
【０２９２】
なお、時空間特性に応じたフィルタ処理を多段化することで、ユーザが設定可能なパラメータが増えるが、上述したように、フィルタ特性制御部１１１に規定の調整パラメータパターン群が予め設定するようにしたので、ユーザＡは、操作入力部１２−１を操作して、規定の調整パラメータパターン群から所望のパターンを選択するだけで、調整情報を容易に入力することもできる。
【０２９３】
以上のように、図１１の時空間積分フィルタ部１３においては、所望の積分時間パラメータ、明瞭度パラメータ、または融合比率パラメータを簡単に設定するだけで、通信相手に知られたくない情報をフィルタリングしてから、送信することができる。
【０２９４】
すなわち、時空間的特性フィルタリング処理により、ユーザにより所定の空間を撮像して入力された映像情報内の、例えば、ユーザの顔の表情や、通り過ぎる他のユーザなどといったような個人特定情報や行動情報といったプライバシ情報や環境情報の情報量がある程度削減されてから送信されるので、ユーザのプライバシ侵害が軽減され、プライバシ保護を行いつつ、通信相手と映像情報を用いたコミュニケーションを簡単に行うことができる。
【０２９５】
また、このフィルタリング処理は、ユーザにより指示される積分時間パラメータに応じたサンプルで積分演算を行うことにより行われるので、多段化したとしても、例えば、輪郭抽出などの複雑な画像認識処理が必要なく、したがって、複雑な画像認識処理などのような負荷が装置にかかるのを抑制することができる。
【０２９６】
さらに、上記説明においては、入力される空間情報が、図４に示される２次元の映像情報である場合に対して、時空間的特性に応じたフィルタリング処理を行う例を説明したが、入力される空間情報は、２次元の映像情報に限定されず、例えば、点としての０次元であってもよいし、線などの１次元の映像情報であってもよいし、さらに、３次元以上の多次元の映像情報であってもよい。
【０２９７】
また、上記説明においては、映像情報を用いて説明したが、音声情報の場合も同様に適用することができる。例えば、マイクロフォンなどにより所定の空間内が集音された音声情報のうち、ユーザの音声やある物体が発する音声（すなわち、音源）がどの方位や位置にどのくらいの時間存在しているかなどの時空間的特性に応じてフィルタリング処理を実行してから、音声情報を送信することにより、例えば、打ち合わせにおける会話などだけを遮断させることができる。これにより、音声情報の場合も、プライバシ保護を行いつつ、通信相手と臨場感のあるコミュニケーションが実現される。
【０２９８】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。この場合、例えば、図１の映像音声通信装置１−１および１−２は、図１８に示されるようなパーソナルコンピュータ２０１により構成される。
【０２９９】
図１８において、ＣＰＵ（Central Processing Unit）２１１は、ＲＯＭ(Read Only Memory) ２１２に記憶されているプログラム、または、記憶部２１８からＲＡＭ（Random Access Memory）２１３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ２１３にはまた、ＣＰＵ２１１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
【０３００】
ＣＰＵ２１１、ＲＯＭ２１２、およびＲＡＭ２１３は、バス２１４を介して相互に接続されている。このバス２１４にはまた、入出力インタフェース２１５も接続されている。
【０３０１】
入出力インタフェース２１５には、キーボード、マウスなどよりなる入力部２１６、ＣＲＴ(Cathode Ray Tube)，ＬＣＤ（Liquid Crystal Display）などよりなるディスプレイ、並びにスピーカなどよりなる出力部２１７、ハードディスクなどより構成される記憶部２１８、モデム、ターミナルアダプタなどより構成される通信部２１９が接続されている。通信部２１９は、無線などのネットワークを介しての通信処理を行う。
【０３０２】
入出力インタフェース２１５にはまた、必要に応じてドライブ２２０が接続され、磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、或いは半導体メモリ２２４などが適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部２１８にインストールされる。
【０３０３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０３０４】
なお、このプログラムは、全体として上述した一連の処理を実行できれば、その形態は特に限定されない。例えば、上述した各ブロックのそれぞれに対応するモジュールのそれぞれからなるモジュール構成とされてもよいし、幾つかのブロックの機能の一部または全部が組み合わされたモジュール、若しくは、ブロックの機能が分割されたモジュールからなるモジュール構成とされてもよい。或いは、単に１つのアルゴリズムを有するプログラムでもよい。
【０３０５】
このプログラムが記録される記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（CD-ROM(Compact Disk-Read Only Memory)，ＤＶＤ(Digital Versatile Disk)を含む）、光磁気ディスク２２３（MD(Mini-Disk)（商標）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているＲＯＭ２１２や、記憶部２１８に含まれるハードディスクなどで構成される。
【０３０６】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０３０７】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
【０３０８】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【図面の簡単な説明】
【０３０９】
【図１】本発明の映像音声通信システムの構成例を示す図である。
【図２】図１の映像音声通信装置の時空間積分フィルタ部の詳細な構成例を示すブロック図である。
【図３】ユーザによりサンプル間隔τが設定されている場合の時間軸を示す図である。
【図４】時刻ｔにおける各サンプル内の情報構造の例を示す図である。
【図５】ある空間内を撮像した映像情報が対応する映像の例を示す図である。
【図６】図５の映像におけるピクセルＰが有する色情報の変化を説明する図である。
【図７】時空間的特性に応じたフィルタリング処理を行った場合の図５のピクセルＰにおける表示比率の変化を表す図である。
【図８】時空間的特性に応じたフィルタリング処理が実行された場合に、現在時刻ｔ＝０において表示される映像の例を示す図である。
【図９】図１の映像音声通信装置の映像通信処理を説明するフローチャートである。
【図１０】図９のステップＳ１４の時空間積分フィルタ処理を説明するフローチャートである。
【図１１】図１の映像音声通信装置の時空間積分フィルタ部の詳細な他の構成例を示すブロック図である。
【図１２】図１１のフィルタ特性制御部に入力されるパラメータを説明する図である。
【図１３】図１１の時空間積分フィルタ部の多段化フィルタ処理を説明する図である。
【図１４】図１１の時空間積分フィルタ部の多段化フィルタ処理を説明する図である。
【図１５】図１１の時空間積分フィルタ部の多段化フィルタ処理を説明する図である。
【図１６】図１の映像音声通信装置の他の映像通信処理を説明するフローチャートである。
【図１７】図１６のステップＳ５４の時空間積分フィルタ処理を説明するフローチャートである。
【図１８】本発明を適用するパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
【０３１０】
１−１，１−２  映像音声通信装置，２  ネットワーク，１１−１，１１−２  カメラ部，１２−１，１２−２  操作入力部，１３−１，１３−２  時空間積分フィルタ部，１４−１，１４−２  接続制御部，１５−１，１５−２  通信部，１６−１，１６−２  ミキサ処理部，１７−１，１７−２  モニタ，４１  情報入力部，４２  情報変換処理部，４３  記憶部，４４  時空間積分演算部，４５  情報出力部，５１  サンプル抽出部，５２  サンプル加算部，５３  サンプル除算部，１１１  フィルタ特性制御部，１１２  分配器，１１３，１１３−０乃至１１３−ｍ  時空間積分演算部，１１４，１１４−０乃至１１４−ｍ  明瞭度フィルタ，１１５  融合処理部
【図１】
2006333044.tif 000007
【図２】
2006333044.tif 000008
【図３】
2006333044.tif 000009
【図４】
2006333044.tif 000010
【図５】
2006333044.tif 000011
【図６】
2006333044.tif 000012
【図７】
2006333044.tif 000013
【図８】
2006333044.tif 000014
【図９】
2006333044.tif 000015
【図１０】
2006333044.tif 000016
【図１１】
2006333044.tif 000017
【図１２】
2006333044.tif 000018
【図１３】
2006333044.tif 000019
【図１４】
2006333044.tif 000020
【図１５】
2006333044.tif 000021
【図１６】
2006333044.tif 000022
【図１７】
2006333044.tif 000023
【図１８】
2006333044.tif 000024