【手続補正書】
【提出日】平成22年11月15日(2010.11.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラ装置と映像処理装置とを備え、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する複合映像生成システムであって、
現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、
前記カメラ装置は、
前記不可視光の映像を含む前記現実映像を撮像する撮像手段を備え、
前記映像処理装置は、
前記マークの映像であるマーク映像の、前記撮像された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、
前記撮像された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段と、
を備えることを特徴とする複合映像生成システム。
【請求項２】
請求項１に記載の複合映像生成システムにおいて、
前記カメラ装置の前記撮像手段は、
可視光の映像と前記不可視光の映像とを含む前記現実映像を撮像し、
前記映像処理装置は、
前記決定された重畳態様に基づいて、前記仮想物映像を生成し当該仮想物映像を前記撮像された前記現実映像に重ねて前記複合映像を生成する複合映像生成手段を更に備えることを特徴とする複合映像生成システム。
【請求項３】
請求項２に記載の複合映像生成システムにおいて、
前記重畳態様決定手段は、前記仮想物映像を前記撮像された現実映像に重ねることによって前記マーク映像が隠れるように、前記重畳位置を決定することを特徴とする複合映像生成システム。
【請求項４】
請求項２に記載の複合映像生成システムにおいて、
前記映像処理装置は、
前記撮像された現実映像における前記マーク映像が占める領域を特定し、前記領域の外側の映像に基づいて前記領域内における現実世界の映像を補完することによって、当該現実映像中における前記マーク映像を消去するマーク映像消去手段を更に備えることを特徴とする複合映像生成システム。
【請求項５】
請求項１に記載の複合映像生成システムにおいて、
前記カメラ装置の撮像手段は、
可視光の映像を撮像する可視光カメラ装置と、
前記不可視光の映像を撮像する不可視光カメラ装置と、
を備え、
前記映像処理装置の前記マーク判別手段は、前記撮像された不可視光の映像に基づいて前記状態を判別し、
前記映像処理装置は、
前記決定された重畳態様に基づいて、前記仮想物映像を生成し当該仮想物映像を前記撮像された可視光の映像に重ねて前記複合映像を生成する複合映像生成手段を更に備えることを特徴とする複合映像生成システム。
【請求項６】
現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する複合映像生成システムにおける重畳態様決定方法であって、
現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、
前記カメラ装置が、
前記不可視光の映像を含む前記現実映像を撮像し、
前記映像処理装置が、
前記マークの映像であるマーク映像の、前記撮像された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別し、
前記撮像された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定することを特徴とする重畳態様決定方法。
【請求項７】
現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する映像処理装置であって、
現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、
カメラ装置により撮像された、前記不可視光の映像を含む前記現実映像を取得する取得手段と、
前記マークの映像であるマーク映像の、前記取得された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、
前記取得された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段と、
を備えることを特徴とする映像処理装置。
【請求項８】
現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する映像処理装置に含まれるコンピュータによって実行される映像処理プログラムであって、
現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、
前記コンピュータを、
カメラ装置により撮像された、前記不可視光の映像を含む前記現実映像を取得する取得手段、
前記マークの映像であるマーク映像の、前記取得された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段、
前記取得された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段、
として機能させることを特徴とする映像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記課題を解決するために、請求項１に記載の発明は、カメラ装置と映像処理装置とを備え、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する複合映像生成システムであって、現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、前記カメラ装置は、前記不可視光の映像を含む前記現実映像を撮像する撮像手段を備え、前記映像処理装置は、前記マークの映像であるマーク映像の、前記撮像された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、前記撮像された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段と、を備えることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
この発明によれば、現実世界の空間上には、不可視光を少なくとも反射または放射するマークが付され、カメラ装置が、不可視光の映像を含む現実映像を撮像し、映像処理装置が、マーク映像の、現実映像中における位置、マークの向き、マークの撮像手段からの距離、のうち少なくとも一つの状態を判別し、現実映像に重ねる仮想物映像の重畳態様を、判別された状態に対応させて決定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
請求項２に記載の発明は、請求項１に記載の複合映像生成システムにおいて、前記カメラ装置の前記撮像手段は、可視光の映像と前記不可視光の映像とを含む前記現実映像を撮像し、前記映像処理装置は、前記決定された重畳態様に基づいて、前記仮想物映像を生成し当該仮想物映像を前記撮像された前記現実映像に重ねて前記複合映像を生成する複合映像生成手段を更に備えることを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
この発明によれば、カメラ装置が、可視光の映像と不可視光の映像とを含む現実映像を撮像し、映像処理装置が、決定された重畳態様に基づいて、仮想物映像を生成し当該仮想物映像を現実映像に重ねて複合映像を生成するので、一のカメラ装置でシステムを構成することが可能となり、安価にシステムを構成することが出来る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
請求項５に記載の発明は、請求項１に記載の複合映像生成システムにおいて、前記カメラ装置の撮像手段は、可視光の映像を撮像する可視光カメラ装置と、前記不可視光の映像を撮像する不可視光カメラ装置と、を備え、前記映像処理装置の前記マーク判別手段は、前記撮像された不可視光の映像に基づいて前記状態を判別し、前記映像処理装置は、前記決定された重畳態様に基づいて、前記仮想物映像を生成し当該仮想物映像を前記撮像された可視光の映像に重ねて前記複合映像を生成する複合映像生成手段を更に備えることを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
この発明によれば、可視光カメラ装置が、可視光の映像を撮像し、不可視光カメラ装置が、不可視光の映像を撮像し、映像処理装置が、不可視光の映像に基づいて、マーク映像の、現実映像中における位置、マークの向き、マークの撮像手段からの距離、のうち少なくとも一つの状態を判別し、決定された重畳態様に基づいて、仮想物映像を生成し当該仮想物映像を可視光の映像に重ねて複合映像を生成する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
請求項６に記載の発明は、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する複合映像生成システムにおける重畳態様決定方法であって、現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、前記カメラ装置が、前記不可視光の映像を含む前記現実映像を撮像し、前記映像処理装置が、前記マークの映像であるマーク映像の、前記撮像された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別し、前記撮像された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定することを特徴とする。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】変更
【補正の内容】
【００２１】
請求項７に記載の発明は、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する映像処理装置であって、現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、カメラ装置により撮像された、前記不可視光の映像を含む前記現実映像を取得する取得手段と、前記マークの映像であるマーク映像の、前記取得された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段と、前記取得された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段と、を備えることを特徴とする。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正の内容】
【００２２】
請求項８に記載の発明は、現実世界の映像である現実映像上に仮想物の映像である仮想物映像を重ねて、現実世界と仮想物とが複合した映像である複合映像を生成する映像処理装置に含まれるコンピュータによって実行される映像処理プログラムであって、現実世界の空間上には、光のうち可視光以外の予め定められた波長の光である不可視光を少なくとも反射または放射するマークが付され、前記コンピュータを、カメラ装置により撮像された、前記不可視光の映像を含む前記現実映像を取得する取得手段、前記マークの映像であるマーク映像の、前記取得された現実映像中における位置、当該マークの向き、当該マークの前記撮像手段からの距離、のうち少なくとも一つの状態を判別するマーク判別手段、前記取得された現実映像に重ねる前記仮想物映像の当該現実映像中における位置である重畳位置、当該仮想物映像が示す仮想物の向き、当該仮想物映像の見者の視点からの距離、の少なくとも何れか一つである重畳態様を、前記判別された状態に対応させて決定する重畳態様決定手段、として機能させることを特徴とする。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
ここで、キャプチャプログラム５１は、システム制御部２５が、映像入力部２１によって映像信号から変換された通常撮影画像データ１０１ａ（可視光の映像の一例）と赤外線画像データ１０１ｂ（不可視光の映像の一例）とを、トラッキングプログラム５２と同期プログラム５３とに分配するためのプログラムである。具体的に、システム制御部２５は、通常撮影画像データ１０１ａを同期プログラム５３に供給する一方、赤外線画像データ１０１ｂをトラッキングプログラム５２に供給する。