(57)【要約】【課題】背景画像を予め準備して表示させたりユーザが前景と背景を予め設定したりするなどの必要がなく、照明変動があっても被写体の画像を適切に抽出して他の空間映像に合成可能にすること。【解決手段】奥行きデータ取得部11は、被写体を含む空間内の奥行きデータを取得し、テクスチャデータ取得部12は、被写体を含む空間内のテクスチャデータを取得する。被写体データ抽出部10は、奥行きデータにおける被写体と背景の差を利用して被写体の領域候補を特定し、さらにテクスチャデータにおける画像特徴を評価し、これらの結果から被写体の領域を特定し、そのテクスチャデータを抽出する。空間映像入力部13は、任意の空間映像を入力し、被写体データ合成部14は、被写体の領域のテクスチャデータを空間映像に合成する。【選択図】図１
2014175837.tif 000002
【特許請求の範囲】
【請求項１】
被写体を含む空間内の奥行きデータを取得する奥行きデータ取得手段と、
被写体を含む空間内のテクスチャデータを取得するテクスチャデータ取得手段と、
前記奥行きデータ取得手段により取得された奥行きデータと前記テクスチャデータ取得手段により取得されたテクスチャデータから、被写体領域を特定して該被写体領域のテクスチャデータを抽出する被写体データ抽出手段と、
任意の空間映像を入力する空間映像入力手段と、
前記被写体データ抽出手段により抽出された被写体領域のテクスチャデータを前記入力手段により入力された空間映像に合成する被写体データ合成手段を備え、
前記被写体データ抽出手段は、前記奥行きデータ取得手段により取得された奥行きデータにおける被写体と背景の差を利用して被写体領域候補を特定し、さらに前記テクスチャデータ取得手段により取得されたテクスチャデータにおける画像特徴を評価し、これらの結果から被写体領域を特定し、そのテクスチャデータを抽出することを特徴とする被写体画像抽出および合成装置。
【請求項２】
前記被写体データ抽出手段は、前記テクスチャデータ取得手段により取得されたテクスチャデータにおける画像特徴として小領域の色または輝度またはテクスチャ情報の空間的連続性を、類似性を含めて評価することを特徴とする請求項１に記載の被写体画像抽出および合成装置。
【請求項３】
前記被写体データ抽出手段は、被写体領域候補の境界近傍付近のテクスチャデータにおける画像特徴を評価し、この評価結果で被写体領域候補の境界を補完することにより被写体領域を特定することを特徴とする請求項１または２に記載の被写体画像抽出および合成装置。
【請求項４】
前記奥行きデータ取得手段は、被写体を含む空間内の奥行きデータを連続的に取得して累積する累積手段を備え、
前記被写体データ抽出手段は、前記累積手段により累積された奥行きデータにおける被写体と背景の差から被写体を構成する各構成要素の領域候補を特定して被写体領域候補を特定することを特徴とする請求項１ないし３のいずれか１つに記載の被写体画像抽出および合成装置。
【請求項５】
前記空間映像入力手段により入力される空間映像のテクスチャデータと奥行きデータを用いて該空間映像におけるオブジェクトの特性を推定するオブジェクト特性推定手段を備え、
前記被写体データ合成手段は、前記オブジェクト特性推定手段により推定されたオブジェクトの特性に応じて被写体領域のテクスチャデータを空間映像のテクスチャデータに対して隠蔽、配置することを特徴とする請求項１ないし４のいずれか１つに記載の被写体画像抽出および合成装置。
【請求項６】
前記オブジェクト特性推定手段は、前記空間映像入力手段により入力された空間映像の奥行きデータを用いてオブジェクト領域候補を特定し、さらに前記空間映像入力手段により入力された空間映像のテクスチャデータにおける画像特徴を評価し、これらの結果からオブジェクトの三次元位置および形状をオブジェクトの特性として推定することを特徴とする請求項５に記載の被写体画像抽出および合成装置。
【請求項７】
前記オブジェクト特性推定手段は、前記空間映像入力手段により入力された空間映像のテクスチャデータにおける画像特徴として色または輝度またはテクスチャ情報の空間的連続性を、類似性を含めて評価することを特徴とする請求項６に記載の被写体画像抽出および合成装置。
【請求項８】
前記被写体データ合成手段は、前記オブジェクト特性推定手段により推定されたオブジェクトの特性における奥行きデータが予め定められた値以下のオブジェクト領域に重なる被写体領域の部分のテクスチャデータを、該オブジェクト領域のテクスチャデータで隠蔽することを特徴とする請求項５に記載の被写体画像抽出および合成装置。
【請求項９】
前記被写体データ合成手段は、前記オブジェクト特性推定手段により推定されたオブジェクトの特性における奥行きデータが前記奥行きデータ取得手段により取得された被写体の奥行きデータの値以下のオブジェクト領域に重なる被写体領域の部分のテクスチャデータを、該オブジェクト領域のテクスチャデータで隠蔽することを特徴とする請求項５に記載の被写体画像抽出および合成装置。
【請求項１０】
さらに、被写体を含む空間における光源の照明条件を推定する第１の光源推定手段と、
前記空間映像入力手段により入力された空間映像が取得された空間における光源の照明条件を推定する第２の光源推定手段と、
前記被写体データ抽出手段により抽出された被写体の領域のテクスチャデータを前記第１および第２の光源推定手段により推定された光源の照明条件の相違に応じて加工する被写体加工手段を備え、
前記被写体加工手段により加工された被写体の領域のテクスチャデータを前記空間映像入力手段により入力された空間映像に合成することを特徴とする請求項１ないし９のいずれか１つに記載の被写体画像抽出および合成装置。
【請求項１１】
前記第１の光源推定手段は、前記テクスチャデータ取得手段により取得されたテクスチャデータをＨＳＶ色空間に変換し、所定範囲内のＨｕｅ値を持つ複数の微小領域におけるＶａｌｕｅ値を比較することにより被写体を含む空間における光源の照明条件を推定し、
前記第２の光源推定手段は、前記空間映像入力手段により入力された空間映像のテクスチャデータをＨＳＶ色空間に変換し、所定範囲内のＨｕｅ値を持つ複数の微小領域におけるＶａｌｕｅ値を比較することにより空間映像が取得された空間における光源の照明条件を推定することを特徴とする請求項１０に記載の被写体画像抽出および合成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体画像抽出および合成装置に関し、特に、被写体を含む空間の画像から被写体の画像を抽出し、抽出された被写体の画像を別の任意の空間映像に合成する被写体画像抽出および合成装置に関する。
【背景技術】
【０００２】
遠隔地コミュニケーションシステムとしてＴＶ会議システムや、より高性能・高画質のテレプレゼンスシステムが知られている。また、遠隔地にいる会議参加者が同じ会議室の空間内にいるような感覚を提供するシステムも提案されている。
【０００３】
参加者が同じ会議室などの空間内にいるような感覚は、遠隔の各拠点に物理的に同じ空間を作り、参加者を含む各拠点の空間映像を他の拠点に送信して再現することにより実現できる。しかし、これでは、各拠点に物理的に同じ空間を予め作っておく必要があるので、コストが増大するという課題があり、また、拠点が限られるという課題もある。
【０００４】
各拠点の空間画像から参加者の画像だけを抽出し、抽出された参加者の画像を他の拠点に送信し、他の拠点の空間映像に合成するという画像処理を用いれば、各拠点に物理的に同じ空間を予め作っておく必要がなく、参加者が仮想的に同じ空間にいるような感覚を実現できるので、コスト面で有利であり、また、拠点が限られることもない。
【０００５】
特許文献１では、背景画像を予め生成して表示し、表示された背景画像の前に被写体を配置し、背景画像とともに被写体を撮影して得られる画像から被写体の画像を抽出し、抽出された被写体の画像を別の背景画像に合成する画像撮影・表示装置が提案されている。
【０００６】
特許文献２では、第１のカラーカメラによるカラー画像における特定色領域と、第１のカラーカメラによるカラー画像および第２のカラーカメラによるカラー画像の視差に基づいて生成された距離画像に基づいて、特定色を有する対象を認識する対象認識装置が提案されている。
【０００７】
特許文献３では、カラー画像と距離画像を取得し、ユーザによる前景または背景の設定に従ってカラー画像の色情報と距離画像の距離情報を統合的に用いて画像から対象物をセグメンテーションする画像セグメンテーション方法が提案されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−２１３１２４号公報
【特許文献２】特開２０１１−１９８２７０号公報
【特許文献３】特開２０１０−３９９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の画像撮影・表示装置では、予め背景画像を生成して表示し、表示された背景画像の前に被写体を配置し、それを撮影して得られる画像から被写体領域を判別して被写体の画像を抽出するので、背景画像としてブルーバック等の単一色画像あるいは被写体と区別できるような色・模様の画像を予め作成する必要があり、また、背景画像を表示するための画像表示装置を必要とするので、装置構成が複雑になるという課題がある。
【００１０】
特許文献２の対象認識装置は、まず、カラー画像から肌色などの事前に指定した色を有する手などの特定色領域を検出し、次に、特定色領域のうち、距離画像における距離が閾値以上の領域を排除することで特定色を有する対象を認識するので、ユーザの手など色が予め分かっている対象を認識するのに有効なものである。この技術では、対象の色を事前に指定する必要があるので、色が未知の対象や衣服を着用している人物などの多様な色を含む対象の画像を抽出できないという課題がある。また、照明変動などによってカラー画像の色味が変わると、事前に指定した色では対象の画像を適切に抽出できなくなる可能性もある。
【００１１】
特許文献３の画像セグメンテーション方法では、セグメンテーションに先立ってユーザが前景または背景の一部を設定する手間を要するため、利便性が損なわれるという課題がある。
【００１２】
被写体を含む空間の画像取得時に照明変動などがあると、その変動が背景と被写体の判別に影響し、被写体の画像を適切に抽出できなくなる可能性がある。また、被写体を含む空間の画像取得時と被写体の画像を合成する他の空間映像の取得時とで光源の位置や色味などの照明条件が異なると、被写体の画像を合成したときの会議映像が不自然になり、また、他の空間映像にオブジェクトが存在する場合も、被写体とオブジェクトの隠蔽・配置などの関係から、被写体の画像を合成したときの会議映像が不自然になることもある。特許文献１−３には、このような問題を解決する手法は開示されていない。
【００１３】
本発明の目的は、背景画像を予め準備して表示させたりユーザが前景と背景を予め設定したりするなどの必要がなく、また、照明変動があっても被写体の画像を適切に抽出して他の空間映像に合成できる被写体画像抽出および合成装置を提供することにある。
【００１４】
本発明の他の目的は、被写体を含む空間の画像取得時と他の空間映像の取得時とで光源の位置や色味などの照明条件が異なる場合でも、被写体の画像が合成されたときの会議映像に不自然さが生じない被写体画像抽出および合成装置を提供することにある。
【００１５】
本発明のさらに他の目的は、他の空間映像に机などのオブジェクトが存在する場合でも、被写体の画像が合成されたときの会議映像に不自然さが生じない被写体抽出および合成装置を提供することにある。
【課題を解決するための手段】
【００１６】
上記課題を解決するため、本発明は、被写体を含む空間内の奥行きデータを取得する奥行きデータ取得手段と、被写体を含む空間内のテクスチャデータを取得するテクスチャデータ取得手段と、前記奥行きデータ取得手段により取得された奥行きデータと前記テクスチャデータ取得手段により取得されたテクスチャデータから、被写体領域を特定して該被写体領域のテクスチャデータを抽出する被写体データ抽出手段と、任意の空間映像を入力する空間映像入力手段と、前記被写体データ抽出手段により抽出された被写体領域のテクスチャデータを前記入力手段により入力された空間映像に合成する被写体データ合成手段を備え、前記被写体データ抽出手段は、前記奥行きデータ取得手段により取得された奥行きデータにおける被写体と背景の差を利用して被写体領域候補を特定し、さらに前記テクスチャデータ取得手段により取得されたテクスチャデータにおける画像特徴を評価し、これらの結果から被写体領域を特定し、そのテクスチャデータを抽出する点に第１の特徴がある。
【００１７】
また、本発明は、前記被写体データ抽出手段が、前記テクスチャデータ取得手段により取得されたテクスチャデータにおける画像特徴として小領域の色または輝度またはテクスチャ情報の空間的連続性を、類似性を含めて評価する点に第２の特徴がある。
【００１８】
また、本発明は、前記被写体データ抽出手段が、被写体領域候補の境界近傍付近のテクスチャデータにおける画像特徴を評価し、この評価結果で被写体領域候補の境界を補完することにより被写体領域を特定する点に第３の特徴がある。
【００１９】
また、本発明は、前記奥行きデータ取得手段が、被写体を含む空間内の奥行きデータを連続的に取得して累積する累積手段を備え、前記被写体データ抽出手段は、前記累積手段により累積された奥行きデータにおける被写体と背景の差から被写体を構成する各構成要素の領域候補を特定して被写体の領域候補を特定する点に第４の特徴がある。
【００２０】
また、本発明は、前記空間映像入力手段により入力される空間映像のテクスチャデータと奥行きデータを用いて該空間映像におけるオブジェクトの特性を推定するオブジェクト特性推定手段を備え、前記被写体データ合成手段は、前記オブジェクト特性推定手段により推定されたオブジェクトの特性に応じて被写体領域のテクスチャデータを空間映像のテクスチャデータに対して隠蔽、配置する点に第５の特徴がある。
【００２１】
また、本発明は、前記オブジェクト特性推定手段が、前記空間映像入力手段により入力された空間映像の奥行きデータを用いてオブジェクト領域候補を特定し、さらに前記空間映像入力手段により入力された空間映像のテクスチャデータにおける画像特徴を評価し、これらの結果からオブジェクトの三次元位置および形状をオブジェクトの特性として推定する点に第６の特徴がある。
【００２２】
また、本発明は、前記オブジェクト特性推定手段が、前記空間映像入力手段により入力された空間映像のテクスチャデータにおける画像特徴として色または輝度またはテクスチャ情報の空間的連続性を、類似性を含めて評価する点に第７の特徴がある。
【００２３】
また、本発明は、前記被写体データ合成手段が、前記オブジェクト特性推定手段により推定されたオブジェクトの特性における奥行きデータが予め定められた値以下のオブジェクト領域に重なる被写体領域の部分のテクスチャデータを、該オブジェクト領域のテクスチャデータで隠蔽する点に第８の特徴がある。
【００２４】
また、本発明は、前記被写体データ合成手段が、前記オブジェクト特性推定手段により推定されたオブジェクトの特性における奥行きデータが前記奥行きデータ取得手段により取得された被写体の奥行きデータの値以下のオブジェクト領域に重なる被写体領域の部分のテクスチャデータを、該オブジェクト領域のテクスチャデータで隠蔽する点に第９の特徴がある。
【００２５】
また、本発明は、さらに、被写体を含む空間における光源の照明条件を推定する第１の光源推定手段と、前記空間映像入力手段により入力された空間映像が取得された空間における光源の照明条件を推定する第２の光源推定手段と、前記被写体データ抽出手段により抽出された被写体の領域のテクスチャデータを前記第１および第２の光源推定手段により推定された光源の照明条件の相違に応じて加工する被写体加工手段を備え、前記被写体加工手段により加工された被写体の領域のテクスチャデータを前記空間映像入力手段により入力された空間映像に合成する点に第１０の特徴がある。
【００２６】
さらに、本発明は、前記第１の光源推定手段が、前記テクスチャデータ取得手段により取得されたテクスチャデータをＨＳＶ色空間に変換し、所定範囲内のＨｕｅ値を持つ複数の微小領域におけるＶａｌｕｅ値を比較することにより被写体を含む空間における光源の照明条件を推定し、前記第２の光源推定手段が、前記空間映像入力手段により入力された空間映像のテクスチャデータをＨＳＶ色空間に変換し、所定範囲内のＨｕｅ値を持つ複数の微小領域におけるＶａｌｕｅ値を比較することにより空間映像が取得された空間における光源の照明条件を推定する点に第１１の特徴がある。
【発明の効果】
【００２７】
本発明では、奥行きデータを用いて被写体と背景の奥行きの差から空間画像中の被写体領域候補を特定し、さらにテクスチャデータにおける画像特徴を評価し、これらの結果を用いて被写体領域を特定し、その画像を抽出するので、背景画像を予め準備して表示させたり、ユーザが前景と背景を予め設定したりする必要がなく、また、照明変動があっても、被写体を含む空間のテクスチャデータ(画像)から被写体の画像を適切に抽出できる。
【００２８】
また、テクスチャデータにおける画像特徴を小領域の色または輝度またはテクスチャ情報とし、その空間的連続性を、類似性を含めて評価することにより、照明変動があっても被写体の画像を適切に抽出できる。
【００２９】
また、被写体を含む空間の撮影時と他の空間映像の撮影時とで光源の位置や色味などの照明条件が異なる場合でも、被写体の画像を加工して両者の照明条件の相違を吸収した上で被写体の画像を他の空間映像に合成することにより、自然な会議映像を再現できる。
【００３０】
さらに、他の空間映像に机などのオブジェクトが存在する場合でも、奥行きデータとテクスチャデータを用いて空間内のオブジェクトの三次元位置や形状などの特性を推定し、推定された特性に応じて被写体とオブジェクトの隠蔽・配置などの関係を考慮して被写体の画像を他の空間映像に合成することにより、自然な会議映像を再現できる。
【００３１】
これにより、遠隔地コミュニケーションシステムにおいて、遠隔拠点にいる参加者が恰も同一の空間にいるような感覚を提供することができる。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施形態を示すブロック図である。
【図２】本発明を双方向遠隔地コミュニケーションシステムに適用した実施形態を概略的に示すブロック図である。
【図３】図２の空間取得装置と空間再現装置の構成を詳細に示すブロック図である。
【図４】本発明における動作を概略的に示す説明図である。
【発明を実施するための形態】
【００３３】
以下、図面を参照して本発明を説明する。図１は、本発明の一実施形態を示すブロック図である。
【００３４】
この実施形態の被写体画像抽出および合成装置は、被写体データ抽出部10、奥行きデータ取得部11、テクスチャデータ取得部12、空間映像入力部13および被写体データ合成部14を備える。
【００３５】
被写体データ抽出部10および被写体データ合成部14は、プロセッサのソフトウエアあるいはハードウエアで構成することができる。また、奥行きデータ取得部11にはデプスカメラを用いることができ、テクスチャデータ取得部12にはカラーカメラを用いることができる。
【００３６】
被写体データ抽出部10は、奥行きデータ差分計算部15、被写体領域候補特定部16、画像特徴抽出部17、画像特徴評価部18および被写体領域特定・テクスチャデータ抽出部19を備える。
【００３７】
以下では、会議室などの任意の室内空間に人物が存在し、人物が被写体であるとして説明する。
【００３８】
デプスカメラは、室内空間に位置する人物のほぼ正面に設置され、奥行きデータ取得部11は、人物を含む室内空間全体についての奥行きデータ(デプス値)を取得する。
【００３９】
奥行きデータ差分計算部15は、デプスカメラの視野領域を奥行きデータの値に応じて各領域に区分し、さらに、各領域間の奥行きデータ差分を計算する。
【００４０】
被写体領域候補特定部16は、奥行きデータ差分計算部15により計算された奥行きデータ差分に基づいて人物(被写体)領域候補を特定する。会議室などの室内空間では、人物が位置する箇所(座席位置)は、予め定められていて、デプスカメラの設置位置から人物が位置する箇所までの距離が分かっており、デプスカメラから見たときの人物と背景には奥行きに差があるので、人物領域候補は、奥行きデータ差分計算部15で区分された領域のうち、デプスカメラから人物の位置までのデプス値を含む領域を選択することで特定できる。奥行きデータ差分は、照明変動に影響されないので、ここでは照明変動の影響を受けることなく人物領域候補を特定できる。
【００４１】
人物と背景の奥行きの差が顕著でなかったり、人物の近くに他のオブジェクトが存在したり、人物の輪郭部分の奥行きデータにノイズが含まれていたりすると、奥行きデータだけを用いて特定される領域を人物領域としたのでは信頼性が十分でない。したがって、被写体領域候補特定部16で、まず、人物領域候補を特定する。
【００４２】
なお、人物と背景の奥行きの差が顕著でなくても、それらの奥行きデータを連続的に観測して累積すれば人物と背景の奥行きデータ差分を顕著にできる。被写体領域候補特定部16では、そのような手法を用いて人物領域候補を特定してもよい。この手法を用いれば、人物の構成要素、例えば顔、胴体、腕などの各構成要素まで別々に特定できる。これは、人物の各構成要素の色が多様である場合に、まず、各構成要素の領域を特定し、次に、構成要素の集まりとして人物領域を特定するのに有効である。
【００４３】
奥行きデータだけを用いて特定される領域を人物領域としたのでは信頼性が十分でないので、以下に説明するように、さらに、テクスチャデータ取得部12により取得されるテクスチャデータを補完的に用いて人物領域候補から人物領域を特定する。
【００４４】
カラーカメラは、室内空間に位置する人物のほぼ正面に設置される。この設置位置は、デプスカメラとほぼ同じ位置とし、その視野領域もデプスカメラとほぼ同じとする。テクスチャデータ取得部12は、人物を含む室内空間全体についてのテクスチャデータ(画像)を取得する。
【００４５】
画像特徴抽出部17は、テクスチャデータ取得部12により取得されたテクスチャデータの画像特徴を抽出する。例えば、テクスチャデータを小領域ごとに分割し、各小領域の色情報を画像特徴として抽出する。
【００４６】
画像特徴評価部18は、被写体領域候補特定部16により特定された人物領域候補の境界近傍付近における画像特徴を評価する。例えば、人物領域候補の境界近傍付近における各小領域の色情報の空間的連続性を評価する。各小領域の色情報の空間的連続性は、人物領域候補の境界付近内側の小領域(人物領域と推定される位置)から色情報を抽出し、それに隣接する小領域の色情報がその色情報と同じかどうかを順次行うことで評価できる。ここで、色情報の類似性まで含めて空間的連続性を評価すれば、照明の当たり具合などの影響を吸収して色情報の連続性を評価できる。ここでは、人物領域候補の境界近傍付近の各小領域だけの色情報を評価すればよいので、処理負担は軽い。
【００４７】
また、類似すると評価された隣接する小領域の色情報をフィードバックし、その色情報を用いて、さらに隣接する小領域の色情報の空間的連続性を評価するという処理を繰り返し行えば、隣接する小領域間で徐々に色情報が変わっていても、それらの小領域の色情報は空間的に連続していると評価できる。色情報の類似性まで広げて評価することは、照明の当たり具合などの影響を吸収するのに有効であるが、類似の範囲は元々異なる他の色情報が含まれないように設定される。
【００４８】
さらに、画像特徴の評価に際しては、色情報の時間的変化を連続して観測し、その時間的変化が所定値以下であれば無視するという手法を併用して、照明変動による影響を低減することもできる。なお、所定サイズ以下で周囲から孤立している色情報の領域は、ノイズとして無視し、周囲の色情報と同じとすればよい。
【００４９】
被写体領域特定・テクスチャデータ抽出部19は、被写体領域候補特定部16により特定された人物領域候補と画像特徴評価部18による画像特徴の評価結果を用いて人物領域を特定し、人物領域のテクスチャデータ(人物の画像)を抽出する。例えば、人物領域候補の境界近傍付近における各小領域の色情報の空間的連続性から人物領域の境界を定めることにより、奥行きデータだけを用いた人物領域の特定での信頼性の問題を補完できる。なお、机などオブジェクトの領域が人物領域候補に含まれていても、そのテクスチャデータや奥行きデータの特徴を基にその領域を排除できる。例えば、机などのオブジェクトのテクスチャデータは、固定的な色情報(画像特徴)を持ち、人物の色情報と相違するのが普通であるので、その相違に基づいて机などのオブジェクトの領域を排除できる。また、奥行きデータで一定長さ以上の水平の直線が検出されれば、その直性を含む領域は机であると判定でき、この判定により机の領域を排除できる。なお、人物の直ぐ前の会議用ノートパソコンや直ぐ後ろの椅子などのオブジェクトは、その領域を含めて人物領域と特定してもよい。
【００５０】
被写体領域特定・テクスチャデータ抽出部19で、人物領域を特定するために空間的連続性をみる色情報は、人物領域候補内で人物領域を構成すると推定される小領域の色情報を適宜選択すればよい。また、被写体領域候補特定部16で人物の構成要素、例えば顔、胴体、腕などの各構成要素の領域候補まで別々に特定されている場合には、構成要素の領域候補内で構成要素の領域を構成すると推定される小領域の色情報をそれぞれ選択し、その空間的連続性をみて各構成要素の領域を特定し、各構成要素の領域の集まりを人物領域として特定すればよい。
【００５１】
以上のように、奥行きデータを用いて人物領域候補を特定し、さらにテクスチャデータの画像特徴を評価し、これらを用いて人物領域を特定することにより、色が未知あるいは色が多様な人物の場合でも、照明変動などにより空間画像の色味が変わる場合でも、人物領域を適切に特定してその画像を抽出できる。
【００５２】
空間映像入力部13は、任意の空間映像を入力する。また、被写体データ合成部14は、空間映像入力部13により入力された空間映像に、被写体領域特定・テクスチャデータ抽出部19により抽出された人物の画像を合成する。人物の画像を合成するときの空間映像上の位置は、空間映像入力部13により入力される空間映像にもよるが、空間映像上の、例えば中央に固定的に設定してもよく、適宜の位置に可変設定できるようにしてもよい。これにより、空間映像入力部13により入力された空間映像内に人物が存在するような空間映像を再現できる。
【００５３】
本発明は、遠隔地間でのテレビ会議やテレプレゼンスシステムなどの遠隔地コミュニケーションシステムに適用できる。
【００５４】
拠点1,2の遠隔地コミュニケーションシステムでは、拠点1の画像から参加者(被写体)領域のテクスチャデータを抽出し、そのテクスチャデータを拠点2の空間映像に合成すれば、拠点2において、拠点1にいる参加者が恰も拠点2にいるかのような会議映像を再現できる。逆に、拠点2の画像から参加者(被写体)領域のテクスチャデータを抽出し、そのテクスチャデータを拠点1の空間映像に合成すれば、拠点1において、拠点2にいる参加者が恰も拠点1にいるかのような会議映像を再現できる。また、両者を組み合わせれば双方向コミュニケーションが可能となる。
【００５５】
以下、本発明が適用された遠隔地コミュニケーションシステムについて説明する。しかし、本発明は、その適用に限定されるものではない。
【００５６】
図２は、本発明を双方向遠隔地コミュニケーションシステムに適用した実施形態を概略的に示すブロック図である。
【００５７】
この遠隔地コミュニケーションシステムは、双方向コミュニケーションの拠点を1,2とし、拠点１は空間取得装置20および空間再現装置21を備え、拠点2は空間取得装置20′および空間再現装置21′を備える。
【００５８】
拠点1,2の空間が会議室であり、それぞれの会議室に被写体として会議参加者が各1名存在するものとすると、空間取得装置20と空間再現装置21′は、拠点1の空間画像から会議参加者(以下、参加者１と称する)領域のテクスチャデータ(参加者1の画像)を抽出して拠点2に伝送し、拠点2において、参加者1の画像を拠点2の空間映像に合成して会議映像を再現するために用いられる。また、空間取得装置20′と空間再現装置21は、拠点2の空間画像から会議参加者(以下、参加者2と称する)領域のテクスチャデータ(参加者2の画像)を抽出して拠点1に伝送し、拠点1おいて、参加者2の画像を拠点1の空間画像に合成して会議映像を再現するために用いられる。
【００５９】
図３は、図２の空間取得装置20と空間再現装置21′の構成を詳細に示すブロック図であり、図１、図２と同一あるいは同等部分には同じ符号を付している。なお、図３では、空間取得装置20と空間再現装置21′を示しているが、空間取得装置20′と空間再現装置21も同様に構成される。
【００６０】
空間取得装置20は、奥行きデータを取得するデプスカメラ１台、テクスチャデータを取得するカラーカメラ１台を備える。このデプスカメラおよびカラーカメラは、拠点1の参加者１のほぼ正面に設置される。空間再現装置21′は、奥行きデータを取得するデプスカメラ1台、テクスチャデータを取得するカラーカメラ1台を備え、さらに、拠点1の参加者1の画像が合成された拠点2の空間映像を会議映像として再現するディスプレイ1台を備える。なお、本発明における拠点数、デプスカメラやカラーカメラやディスプレイの台数は任意であり、この例に限られない。
【００６１】
空間取得装置20は、奥行きデータ取得部11、テクスチャデータ取得部12、被写体データ抽出部10、光源推定部22および被写体データ送信部23を備える。奥行きデータ取得部11、テクスチャデータ取得部12、被写体データ抽出部10は、図１と同じである。
【００６２】
奥行きデータ取得部11は、参加者1を含む会議室全体の奥行きデータ(デプス値)を取得し、テクスチャデータ取得部12は、参加者１を含む会議室全体のテクスチャデータを取得する。
【００６３】
被写体データ抽出部10は、奥行きデータ取得部11により取得された奥行きデータを用いて参加者1の領域候補を特定し、さらにテクスチャデータ取得部12により取得されたテクスチャデータの画像特徴を評価し、それらの結果を用いて参加者1の領域を特定し、参加者1の領域のテクスチャデータ(参加者1の画像)および奥行きデータを抽出する。具体的には、奥行きデータおよび奥行きデータ差分を用いて参加者１の領域候補を特定し、さらにテクスチャデータにおける各小領域の色情報の空間的連続性を評価し、参加者1の領域候補内の色情報が連続している領域を参加者１の領域として特定し、参加者1の画像および奥行きデータを抽出する。ここで、奥行きデータを用いることによって、会議中に照明変動があってもその影響を受けずに参加者1の領域候補を特定でき、さらにテクスチャデータにおける画像特徴を用いることによって参加者1の領域を適切に特定できる。
【００６４】
なお、ある時点で観測される参加者１と背景の奥行きデータ差分が顕著でなくても、奥行きデータを連続的に観測して累積することでその差分を顕著にすることができる。この手法を用いれば、参加者1の構成要素、例えば顔、胴体、腕などの各構成要素の領域候補まで別々に特定することが可能となる。これは、多様な色の構成要素を持つ参加者1の領域の特定に有効である。すなわち、まず、奥行きデータを用いて参加者1の構成要素、例えば顔、胴体、腕などの各構成要素の領域候補まで別々に特定し、次に、各構成要素内の色情報を用いて、各構成要素の領域を別々に特定し、さらに、各構成要素の領域の集まりとして参加者1の領域を特定できる。
【００６５】
光源推定部22は、テクスチャデータ取得部12により取得されたテクスチャデータから、拠点1の会議室における光源の位置・方向や色味などの照明条件を推定する。光源の位置・方向は、テクスチャデータ取得部12により取得されたテクスチャデータをHSV色空間に変換し、所定範囲内のHue値を持つ各微小領域について照明の強弱を表すValue値のマップ化を行うことで推定できる。例えば、所定範囲内のHue値を持つ各微小領域についてのValue値が、右上で大きい値を持ち、それから離れるに従って小さい値になる場合、右上方に光源があると推定でき、中央上で大きい値を持ち、それから離れるに従って小さい値になる場合には、真上に光源があると推定できる。また、光源の色味は、例えば、Hue値から人間の肌色領域を推定し、この肌色領域のHue値の肌色基準からの偏差を評価することで推定できる。光源推定部22で、参加者1の領域、机などのオブジェクト領域、背景領域などの領域種別ごとに照明条件を推定し、領域種別ごとの推定結果を統合し、例えば領域種別ごとの推定結果の平均や多数となった推定結果などを採用すれば、照明条件の推定の信頼性を高めることができる。
【００６６】
被写体データ送信部23は、被写体データ抽出部10により抽出された参加者1の領域のテクスチャデータを含む被写体データをネットワーク経由で連続的あるいは一定時間後ごとに拠点2に送信する。テクスチャデータは、そのまま送信してもよいが、適宜圧縮して送信してもよい。
【００６７】
この実施形態では、拠点1,2における光源の照明条件の相違を吸収するようにするので、さらに、光源推定部22により推定された照明条件をテクスチャデータに含めて送信する。照明条件としての光源の位置は、例えば、照明の強弱をマップ化したものを送信すればよく、光源の色味は、基準色からの偏差を送信すればよい。なお、照明条件は、テクスチャデータほど頻繁に送らなくてもよい。
【００６８】
空間再現装置21′は、被写体データ受信部24、奥行きデータ取得部25、テクスチャデータ取得部26、オブジェクト特性推定部27、光源推定部28、被写体データ加工部29、被写体データ合成部14および空間表示部30を備える。
【００６９】
奥行きデータ取得部25にはデプスカメラを用いることができ、テクスチャデータ取得部26にはカラーカメラを用いることができる。また、空間表示部30には各種ディスプレイを用いることができる。
【００７０】
カラーカメラは、テクスチャデータ取得部26が拠点2の空間映像を取得するように設置される。この空間映像は、拠点2の参加者2の画像を含まなくてもよいが、この実施形態では、以下に説明するように、拠点1,2における光源の照明条件(色味)の違いを人間の肌色を利用して吸収するので、参加者2の肌色部分を含むようにする。
【００７１】
デプスカメラは、カラーカメラとほぼ同じ位置に設置され、また、その視野領域は、カラーカメラとほぼ同じである。ディスプレイは、参加者2がその表示画面を視ることができる位置、例えば表示画面が参加者1と相対するように設置される。
【００７２】
被写体データ受信部24は、拠点1の被写体データ送信部23から送信された被写体データを受信し、そのテクスチャデータが圧縮されている場合には伸張して元のテクスチャデータに復元する。被写体データには、参加者１のテクスチャデータの他に光源の照明条件が含まれている。
【００７３】
奥行きデータ取得部25は、拠点2の会議室についての奥行きデータ(デプス値)を取得する。テクスチャデータ取得部26は、拠点2の会議室についてのテクスチャデータ(空間映像)を取得する。
【００７４】
オブジェクト特性推定部27は、奥行きデータ取得部25により取得された奥行きデータおよびテクスチャデータ取得部により取得されたテクスチャデータを用いて拠点2の会議室に存在する机などのオブジェクトの三次元位置や形状などの特性を推定する。オブジェクトの形状は、図１の被写体領域特定・テクスチャデータ抽出部17の処理と同様に、奥行きデータ取得部25により取得された奥行きデータを用いてオブジェクト領域候補を特定し、さらにテクスチャデータ取得部26により取得されたテクスチャデータにおける画像特徴の空間的連続性を評価し、これらの結果を用いて特定できる。ここでも奥行きデータとテクスチャデータを用いることによりオブジェクトの形状を適切に推定できる。
【００７５】
光源推定部28は、拠点1の光源推定部22と同様であり、テクスチャデータ取得部26により取得されたテクスチャデータを用いて、拠点2の会議室における光源の位置や色味などの照明条件を推定する。
【００７６】
被写体データ加工部29は、参加者1の画像が拠点2の空間映像に合成されたとき、拠点1,2の照明条件の違いによらず自然な会議映像が再現されるように、参加者1の画像を加工する。例えば、拠点1,2の光源の位置が異なり、拠点1の会議室における光源が右上にあり、拠点2の会議室における光源が真上にある場合、参加者1の画像のHSV色空間でのValue値は、右上から離れるに従って徐々に小さくなるのに対し、拠点2の空間映像のValue値は、中央上から離れるに従って徐々に小さくなる。これをそのまま合成した場合、再現される会議映像は不自然になる。そこで、拠点2の空間映像と参加者1の画像におけるValueの傾向および値を類似させる。ここでは、参加者1の画像を加工しているが、それに代えて拠点2の空間映像を加工してもよい。
【００７７】
また、拠点1,2における光源の色味の相違によっても不自然な会議映像が再現される。この場合には、参加者1の画像における肌色領域のHue値を、参加者2の画像における肌色領域のHue値に一致させるような補正値で、参加者1の画像を補正すればよい。参加者1の画像を補正する代わりに、拠点2の空間映像を補正してもよい。これにより、拠点1,2の照明条件が相違する場合でも、拠点2の空間映像と参加者1の画像の違和感をなくすことができる。
【００７８】
被写体データ合成部19は、被写体データ加工部29により加工された参加者1の画像をテクスチャデータ取得部26により取得された拠点2の空間映像に合成する。参加者1の画像を合成する空間映像上の位置は、例えば、空間映像上の中央や適宜の位置に設定できる。この実施形態では、さらに、拠点2の空間映像に対して拠点1の参加者1の画像を合成する際に、オブジェクト特性推定部27により推定されたオブジェクトの三次元位置や形状などの特性を考慮して、参加者1の画像をオブジェクトに対して隠蔽、配置するようにしている。参加者1の画像が合成される空間映像上の位置およびオブジェクト特性推定部27により推定されたオブジェクトの三次元位置や形状などの特性から参加者1の画像とオブジェクトの重なり具合が分かるので、その重なり具合により、参加者1の画像をオブジェクトに対して隠蔽、配置できる。例えば、拠点2の空間映像において参加者1より前とする奥行きデータの値を予め定めておくことにより、参加者1の画像が合成されたときに参加者1を隠蔽するオブジェクトを判定でき、この判定結果と参加者1の画像およびオブジェクトの形状により参加者1の画像をオブジェクトに対して隠蔽、配置できる。なお、参加者1の画像そのままではその表示サイズが適当でない場合、参加者1の画像の大きさを、拠点2の空間映像における特定領域の大きさを用いて決定する(例えば、参加者1の顔の大きさが参加者2の顔領域の大きさと同じになるように決定する)などすれば、参加者1の画像を適当な表示サイズにできる。
【００７９】
また、拠点1,2においてデプスカメラに対する参加者1とオブジェクトの奥行き方向の位置を予め定めておいてもよい。例えば、拠点1の参加者1の位置と拠点2の机の位置を、デプスカメラにより取得される参加者1の奥行きデータの値が、拠点2の机の直ぐ奥側の奥行きデータの値となるような位置に予め設定しておく。このようにすれば、参加者1とオブジェクトの奥行きデータを必要とするが、奥行きデータ同士の比較により参加者1の画像とオブジェクトの隠蔽関係を判定でき、また、参加者1の画像そのままで適当な表示サイズとして合成できる。以上により、自然さを損なうことなく参加者1の画像を拠点2の空間映像に合成できる。
【００８０】
空間表示部30は、被写体データ合成部19により生成された会議映像を再現する。なお、空間表示部30で再現する会議映像は、テクスチャデータ取得部26により取得されたテクスチャデータの全画像領域でなくてもよく、例えば、拠点1の参加者1の画像が合成された領域だけを抽出して再現してもよい。
【００８１】
以上のように、拠点1の参加者1の画像を拠点2の空間映像に合成して会議映像を再現することにより、拠点1の参加者1が恰も拠点2にいるかのような感覚を提供できる。
【００８２】
図３では、拠点1から参加者1の画像を拠点2へ伝送し、拠点2の空間映像に合成して会議映像を再現することにより、参加者1が恰も拠点2にいるかのような感覚を提供する仕組みについて説明したが、逆に、拠点2から参加者2の画像を拠点1へ伝送し、拠点1の空間映像に合成して会議映像を再現することにより、参加者2が恰も拠点1にいるかのような感覚を提供する仕組みとすることができ、両方の仕組みを備えることにより、臨場感の高い双方向コミュニケーションを実現することもできる。
【００８３】
図４は、本発明における動作を概略的に示す説明図である。拠点1では、参加者1を含む空間を撮影し(S1)、その画像から参加者1の画像を抽出し(S2)、参加者1の画像を拠点2に送信する(S3)。S2では、まず、奥行きデータを用いて参加者1の領域候補を特定し、また、テクスチャデータにおける画像特徴を抽出して評価し、これらの結果を用いて参加者1の画像を抽出する。拠点2では、拠点2の空間を撮影し(S4)、その空間映像に拠点1から送信された参加者1の画像を合成する(S5)。
【００８４】
拠点2では、参加者2を含む空間を撮影し(S6)、その画像から参加者2の画像を抽出し(S7)、抽出した参加者2の画像を拠点1に送信する(S8)。S7では、まず、奥行きデータを用いて参加者2の領域候補を特定し、また、テクスチャデータにおける画像特徴と抽出して評価し、これらの結果を用いて参加者2の画像を抽出する。拠点1では、拠点1の空間を撮影し(S9)、その空間映像に拠点2から送信された参加者2の画像を合成する(S10)。
【００８５】
なお、S9,S6は、S1,S4で共用でき、それによりS9,S6を省くことができる。この場合、S1で撮影された画像のうち、参加者1を含まない領域を拠点1の空間映像とすることもでき、S6で撮影された画像のうち、参加者2を含まない領域を拠点2の空間映像とすることもできる。これにより、図３の空間取得装置21と空間再現装置22′のデプスカメラ、カラーカメラを兼用することができる。
【００８６】
以上、実施形態について説明したが、本発明は、上記実施形態に限定されず、種々に変形したものも含む。例えば、上記実施形態では、拠点を2つとしたが、本発明は、3以上の拠点間での遠隔地間コミュニケーションシステムに適用することもできる。また、上記実施形態では、画像特徴を色情報とし、その空間的連続性を評価しているが、画像特徴やその評価対象は、奥行きデータを用いた特定での信頼性を補完するものであれば他のものでもよく、テクスチャや輝度の空間的連続性を評価して被写体領域を特定することもできる。
【００８７】
また、図１では、画像特徴抽出部17で画像全領域の画像特徴を抽出しているが、画像特徴抽出部17でも、被写体領域候補を用いてその境界近傍付近だけの画像特徴を抽出するようにすれば、画像特徴抽出の処理負担を軽減できる。また、被写体領域候補の特定とは独立して並列的に、テクスチャデータ全領域を画像特徴に従って区分し、これにより区分された領域から、被写体領域候補内の画像特徴を用いて被写体領域を特定するようにしてもよい。この場合でも、被写体領域候補内の画像特徴を適宜選択し、その画像特徴を用いて被写体領域を特定できるので、被写体領域の画像特徴が未知の場合や多様な場合でも被写体領域を特定できる。
【００８８】
また、図３では、拠点1,2間で、参加者1の画像に加えて、光源の照明条件や奥行きデータも送受信しているが、拠点1,2における光源の照明条件に相違がない場合やその相違を吸収する必要がない場合には、光源の照明条件を送受信する必要がない。また、参加者1とオブジェクトの隠蔽・配置を考慮する必要がない場合には、奥行きデータを送受信する必要もない。
【００８９】
また、図３では、デプスカメラおよびカラーカメラにより、拠点2の会議室についての奥行きデータおよびテクスチャデータを取得しているが、それらは、会議中でなく事前に取得しておいてもよい。
【００９０】
また、光源の色味の相違は、人間の肌色でない既知の色を利用して補正することもでき、その場合には、拠点2の空間映像は、参加者2の肌色部分を含まなくてもよい。
【００９１】
また、拠点2の空間映像を、参加者2の背面から撮影したものとし、その参加者2の前に拠点1の参加者1がいるように、参加者2の背面画像を含む空間映像に参加者1の画像を合成してもよい。
【００９２】
また、テレビ会議では参加者の前に机が存在するのが普通であり、奥行きデータ差分からは机の領域まで含んで参加者の領域候補として特定されることもあるが、机と参加者のテクスチャデータや奥行きデータはその特徴が相違するので、その相違から机の領域を排除できる。また、参加者の前に参加者の画像と重なるオブジェクト(会議用ノートパソコンなど)が存在することもあり、そのオブジェクトの領域まで含んで参加者の領域候補として特定される場合には、そのオブジェクトの領域を含む領域を、参加者の領域候補、参加者の領域と特定してもよい。
【００９３】
さらに、オブジェクトにより参加者が隠蔽されて参加者の一部が欠けて参加者の領域候補として特定される場合には、そのまま参加者の領域を特定すればよい。また、参加者の直ぐ後ろに椅子が存在し、椅子の領域まで参加者の領域候補として特定される場合、椅子の領域を含めて参加者の領域と特定してもよい。
【符号の説明】
【００９４】
10・・・被写体データ抽出部、11・・・奥行きデータ取得部、12・・・テクスチャデータ取得部、13・・・空間映像入力部、14・・・被写体データ合成部、15・・・奥行きデータ差分計算部、16・・・被写体領域候補特定部、17・・・画像特徴抽出部、18・・・画像特徴評価部、19・・・被写体領域特定・テクスチャデータ抽出部、20,20′・・・空間取得装置、21,21′・・・空間再現装置、22,28・・・光源推定部、23・・・被写体データ送信部、24・・・被写体データ受信部、25・・・奥行きデータ取得部、26・・・テクスチャデータ取得部、27・・・オブジェクト特性推定部、29・・・被写体データ加工部、30・・・空間表示部
【図１】
2014175837.tif 000003
【図２】
2014175837.tif 000004
【図３】
2014175837.tif 000005
【図４】
2014175837.tif 000006