(57)【要約】【課題】屋外使用時のロバスト性を確保しつつ、近接領域画像をフィールドレートで取得する。【解決手段】カラー動画像を撮影するカラーカメラ１１と、近接物体ＯＢに赤外光を照射する赤外光源部１５と、点灯赤外画像と消灯赤外画像とを交互に取得する赤外カメラ１２と、点灯赤外画像と消灯赤外画像の絶対値差分画像を取得する絶対値差分画像取得部２２と、絶対値差分画像から近接領域画像を抽出する近接領域画像抽出部２３と、近接領域画像から近接物体を表すオブジェクト画像を抽出するオブジェクト画像抽出部２４とを備える。【選択図】      図２
2004304718.tif 000002
【特許請求の範囲】
【請求項１】
カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出装置であって、
可視光を用いて前記近接物体のカラー動画像を取得する撮影手段と、
前記近接物体に赤外光を照射する赤外光源と、
前記赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し行わせる点灯制御手段と、
前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得する赤外画像取得手段と、
現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続して取得された点灯赤外画像と消灯赤外画像との差分の絶対値の画像を取得する絶対値差分画像取得手段と、
前記絶対値差分画像取得手段が取得した絶対値差分画像を基に、前記カラー動画像から前記近接領域画像を抽出する抽出手段とを備えることを特徴とする近接領域画像抽出装置。
【請求項２】
前記撮影手段及び前記赤外画像取得手段の光軸は、一致の状態で配設されていることを特徴とする請求項１記載の近接領域画像抽出装置。
【請求項３】
前記撮影手段によって取得された時間的に連続する２枚のフィールド画像、前記２枚のフィールド画像とそれぞれ同期して取得された点灯赤外画像及び消灯赤外画像を１枚の画像に統合して、前記絶対値差分画像取得手段に出力する画像統合部をさらに備え、
前記画像統合部は、前記２枚のフィールド画像、前記点灯赤外画像及び前記消灯赤外画像をそれぞれ、水平方向の画素数が１／２となるように圧縮して、１枚の画像に統合することを特徴とする請求項１又は２記載の近接領域画像抽出装置。
【請求項４】
前記抽出手段は、前記近接領域画像から肌色の領域を除去し、前記近接物体を表すオブジェクト画像を抽出することを特徴とする請求項１〜３のいずれかに記載の近接領域画像抽出装置。
【請求項５】
前記抽出手段が抽出したオブジェクト画像を表示するオーバーヘッドディスプレイをさらに備え、
前記撮影手段、前記赤外光源及び前記赤外画像取得手段は、前記オーバーヘッドディスプレイと一体的に構成されているとともに、その光軸が撮影者の視野内に含まれるように配設されていることを特徴とする請求項１〜４のいずれかに記載の近接領域画像取得装置。
【請求項６】
カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出方法であって、
撮影手段を用い、前記近接物体のカラー動画像を撮影するステップと、
前記近接物体に対して赤外光を照射する赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し実行させるステップと、
赤外画像取得手段を用い、前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得するステップと、
現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続する前記点灯赤外画像と前記消灯赤外画像との差分の絶対値の画像を取得するステップと、
前記差分の絶対値の画像を基に、前記撮影手段が取得したカラー動画像から前記近接領域画像を抽出するステップとを備えることを特徴とする近接領域画像抽出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、近接物体を含むカラー動画像から、近接物体を含む近接領域画像を抽出する技術に関する。
【０００２】
【従来の技術】
近年、カラービデオカメラと赤外カメラとを用いて、カラービデオカメラが撮影したカラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する技術がいくつか提案されている。
【０００３】
非特許文献１においては、カラー動画像を撮影するカラービデオカメラと、このカラービデオカメラと光軸一致状態に配設された赤外カメラと、赤外光を発光する赤外光源とを備え、被写体からの赤外反射光を受光することで得られた赤外画像に基づいて、カラー動画像から近接領域画像を抽出する装置が開示されている。かかる装置では、カラービデオカメラと赤外カメラとが光軸一致の状態で配設されているため、両カメラは同一の被写体を撮影することが可能となり、カラー動画像から近接領域画像を精度よく抽出することができる。なお、赤外画像は、輝度が距離の二乗に反比例して現れる特性を有しているため、輝度を基に、近接領域画像と背景画像とを分離することができる。
【０００４】
しかし、非特許文献１の装置においては、屋内では近接領域画像を良好に抽出することができるものの、屋外では太陽光に多く含まれる赤外光の影響により、赤外画像中の背景画像の輝度が高くなってしまい、近接領域画像を精度良く抽出することができず、屋外でのロバスト性が低下するという問題を有していた。
【０００５】
そこで、赤外光源に対して、赤外カメラが赤外画像を取得するタイミングと同期して、点灯及び消灯を交互に繰り返し実行させ、赤外光源の点灯時の赤外画像（点灯赤外画像）と赤外光源の消灯時の赤外画像（消灯赤外画像）とを交互に取得し、点灯赤外画像から、その点灯赤外画像の次フィールドで取得された消灯赤外画像を差し引くことにより差分画像を取得し、この差分画像を用いて、近接領域画像を抽出することで屋外でのロバスト性を確保できる装置が開示されている。
【０００６】
ここで、点灯赤外画像には、太陽光に含まれる赤外光の成分（太陽光赤外成分）と赤外光源からの赤外光の成分（光源赤外光成分）とが含まれている。一方、消灯赤外画像には、太陽赤外光成分のみが含まれる。そのため、点灯赤外画像から消灯赤外画像を差し引くと、両画像に含まれる太陽赤外光成分が相殺されることとなり、差分画像には、光源赤外光成分のみが含まれ、背景画像と近接領域画像とを精度よく分離することができる。その他、以下に示す非特許文献３及び４なども存在する。
【０００７】
【非特許文献１】
上岡、河村、河野、木戸出“ウェアラブル装置を用いたオブジェクト登録・検索システムの基礎実験”画像電子学会第９１回研究会、ｐｐ２５−３０，ｊａｎ  ２００２
【非特許文献２】
Ｌｅｅ，Ｃ．，Ｓｃｈｒｏｄｅｒ，Ｋ，ａｎｄ  Ｓｅｉｂｅｌ，Ｅ．Ｅｆｆｉｃｉｅｎｔ  ｉｍａｇｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｏｆ  ｗａｌｋｉｎｇ  ｈａｚａｒｄｓ  ｕｓｉｎｇ  ＩＲ  ｉｌｌｕｍｉｎａｔｉｏｎ  ｉｎ  Ｗｅａｒａｂｌｅ  ｌｏｗ  ｖｉｓｉｏｎ  ａｉｄｓ．Ｐｒｏｃ．６ｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｗｅａｒａｂｌｅ  Ｃｏｍｐｕｔｅｒｓ（ＩＳＷＣ２００２），ｐｐ１２７−１２８，Ｏｃｔ．２００２
【非特許文献３】
種本、松本、今井、小笠原“赤外光源を用いたての画像取得に基づく非接触インターフェイスの構築”ロボティクス・メカトロニクス講演会’０１公演論文集、１Ｐ１−Ｍ１０，２００１
【非特許文献４】
三原、原島、沼崎Ｐｏｐ．ｅｙｅ“パーソナルユーザ向けの「飛び出す」動画取得システム”ＷＩＳＳ２００２論文集，ｐｐ．７３−７９，Ｄｅｃ２００２
【０００８】
【発明が解決しようとする課題】
しかしながら、非特許文献２に開示された装置では、点灯赤外画像からその次に取得される消灯赤外画像を差し引くことにより差分画像を取得しているが、これでは差分画像は、奇数フィールド画像及び偶数フィールド画像が取得される周期をΔＴとすると、２ΔＴの周期で取得されるため、近接領域画像をフィールドレートで取得することができないという問題があった。特に、赤外カメラ及びカラーカメラを頭部に装着してウェアラブルに使用する場合、頭部運動（首振り）による画像変動が大きいため、差分画像を取得する周期が大きいと、赤外画像及びカラー画像間における近接物体の位置が相違してしまい、近接領域画像を高精度に検出することができなくなってしまう。
【０００９】
本発明は、上記課題を解決するためになされたものであり、屋外におけるロバスト性を確保しつつ、近接領域画像をフィールドレートで取得することができる近接領域画像抽出装置及び近接領域画像抽出方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本近接領域画像抽出装置は、カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出装置であって、可視光を用いて前記近接物体のカラー動画像を取得する撮影手段と、前記近接物体に赤外光を照射する赤外光源と、前記赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し行わせる点灯制御手段と、前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得する赤外画像取得手段と、現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続して取得された点灯赤外画像と消灯赤外画像との差分の絶対値の画像を取得する絶対値差分画像取得手段と、前記絶対値差分画像取得手段が取得した絶対値差分画像を基に、前記カラー動画像から前記近接領域画像を抽出する抽出手段とを備えることを特徴とする。
【００１１】
この構成によれば、撮影手段によって、カラー動画像が撮影されるとともに、撮影手段がフィールド画像を取得するタイミングと同期して、赤外光源の点灯と消灯とが交互に繰り返され、赤外画像取得手段によって、点灯赤外画像と消灯赤外画像とが交互に繰り返し撮影される。そして、時間的に連続する点灯赤外画像と消灯赤外画像との差分の絶対値の画像（絶対値差分画像）が取得される。ここで、絶対値差分画像は、前フィールド画像に対応する赤外画像が点灯赤外画像であり、現フィールド画像に対応する赤外画像が消灯赤外画像である場合は、点灯赤外画像から消灯赤外画像を差し引くことで取得され、前フィールド画像に対応する赤外画像が消灯赤外画像であり、現フィールド画像に対応する赤外画像が点灯赤外画像である場合は、消灯赤外画像から点灯赤外画像を差し引いた差分画像にマイナス１を乗算することで取得される。
【００１２】
これにより、点灯赤外画像と消灯赤外画像との差分画像がフィールドレートで得ることが可能となる。そして、この差分画像を基に近接領域画像が抽出され、この近接領域画像をマスク画像として、対応するカラー動画像にマスキング処理を施し、カラー動画像から近接領域画像が抽出される。
【００１３】
また、前記撮影手段及び前記赤外画像取得手段の光軸は、一致の状態で配設されていることが好ましい。この構成によれば、赤外画像取得手段と撮影手段とは、同じ被写体を撮影することが可能となるため、カラー動画像から抽出される近接領域画像の抽出精度をより高めることができる。
【００１４】
また、前記撮影手段によって取得された時間的に連続する２枚のフィールド画像、前記２枚のフィールド画像とそれぞれ同期して取得された点灯赤外画像及び消灯赤外画像を１枚の画像に統合して、前記絶対値差分画像取得手段に出力する画像統合部をさらに備え、前記画像統合部は、前記２枚のフィールド画像、前記点灯赤外画像及び前記消灯赤外画像をそれぞれ、水平方向の画素数が１／２となるように圧縮して、１枚の画像に統合することが好ましい。
【００１５】
この構成によれば、連続する２枚のカラー画像、点灯赤外画像及び消灯赤外画像は、それぞれ水平方向の画素数が１／２に圧縮されて１枚の画像に統合されるため、これら４枚の画像を効率よく絶対値差分画像取得手段に出力することができる。
【００１６】
また、前記抽出手段は、前記近接領域画像から肌色の領域を除去し、前記近接物体を表すオブジェクト画像を抽出することが好ましい。この構成によれば、近接領域画像に含まれる近接物体を把持する撮影者の手の画像を除去することが可能となり、カラー動画像から近接物体を表すオブジェクト画像を抽出することができる。
【００１７】
また、前記抽出手段が抽出したオブジェクト画像を表示するオーバーヘッドディスプレイをさらに備え、前記撮影手段、前記赤外光源及び前記赤外画像取得手段は、前記オーバーヘッドディスプレイと一体的に構成されているとともに、その光軸が撮影者の視野内に含まれるように配設することが好ましい。
【００１８】
この構成によれば、撮影手段及び赤外画像取得手段は、撮影者が近接物体を把持し、把持した近接物体を目視したときの画像を撮影することができる。
【００１９】
本発明に係る近接領域画像抽出方法は、カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出方法であって、撮影手段を用い、前記近接物体のカラー動画像を撮影するステップと、前記近接物体に対して赤外光を照射する赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し実行させるステップと、赤外画像取得手段を用い、前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得するステップと、現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続する前記点灯赤外画像と前記消灯赤外画像との差分の絶対値の画像を取得するステップと、前記差分の絶対値の画像を基に、前記撮影手段が取得したカラー動画像から前記近接領域画像を抽出するステップとを備えることを特徴とする。
【００２０】
この構成によれば、撮影手段によって、カラー動画像が撮影されるとともに、撮影手段がフィールド画像を取得するタイミングと同期して、赤外光源の点灯と消灯とが交互に繰り返され、赤外画像取得手段によって、点灯赤外画像と消灯赤外画像とが交互に繰り返し撮影される。そして、時間的に連続する点灯赤外画像と消灯赤外画像との差分の絶対値の画像（絶対値差分画像）が取得される。ここで、絶対値差分画像は、前フィールド画像に対応する赤外画像が点灯赤外画像であり、現フィールド画像に対応する赤外画像が消灯赤外画像である場合は、点灯赤外画像から消灯赤外画像を差し引くことで取得され、前フィールド画像に対応する赤外画像が消灯赤外画像であり、現フィールド画像に対応する赤外画像が点灯赤外画像である場合は、消灯赤外画像から点灯赤外画像を差し引いた差分画像にマイナス１を乗算することで取得される。
【００２１】
これにより、点灯赤外画像と消灯赤外画像との差分画像がフィールドレートで得ることが可能となる。そして、この差分画像を基に近接領域画像が抽出され、この近接領域画像をマスク画像として、対応するカラー動画像にマスキング処理を施し、カラー動画像から近接領域画像が抽出される。
【００２２】
【発明の実施の形態】
以下、本発明の一の実施の形態について説明する。図１は、本実施形態に係る近接領域画像抽出装置の外観構成を示した図である。本近接領域画像抽出装置は、撮影者Ｐの顔面部に装着される装着部１０及び撮影者Ｐの例えば腰部に装着されるウェアラブルコンピュータ２０から構成されている。装着部１０及びウェアラブルコンピュータ２０は電気ケーブルにより電気的に接続されている。なお、電気ケーブルに代えて無線により通信可能に接続してもよい。
【００２３】
装着部１０は、撮影ユニット１０１、制御ユニット１０２及び表示ユニット１０３を備えている。撮影ユニット１０１は、被写体からの反射光を受光するビームスプリッタ１３、ビームスプリッタ１３の上下に配設された赤外光源部１５を備えている。ビームスプリッタ１３は、撮影者のこめかみ付近に配設され、撮影者Ｐの視野内に存在する被写体からの反射光が受光可能となっている。本近接領域画像抽出装置は、撮影者Ｐによって把持された近接物体ＯＢをカラービデオカメラにより撮影し、得られたカラー動画像から近接物体ＯＢの画像（オブジェクト画像）を抽出し、このオブジェクト画像を表示ユニット１０３に動画像表示させるものである。
【００２４】
赤外光源部１５は、赤外発光ダイオードが所定行所定列に配列されている。制御ユニット１０２は、後述するフィールド多重回路及び同期回路を備えている。
【００２５】
表示ユニット１０３は、眼鏡１０４及び眼鏡１０４のフレーム上であって、撮影者Ｐが左右何れか一方の眼（図１では、撮影者Ｐの右眼）の前方に配設された片眼ディスプレイ１０５とを備えている。
【００２６】
図２は、本近接領域画像抽出装置の全体構成を示したブロック図である。図２に示すように、装着部１０は、カラーカメラ１１、赤外カメラ１２、ビームスプリッタ１３、フィールド多重回路１４、赤外光源部１５、同期回路１６、赤外透過フィルタ１７及び表示装置１８を備えている。
【００２７】
カラーカメラ１１は、ビームスプリッタ１３の図中上側に配設され、所定のフィールドレートでカラー動画像を取得する。カラーカメラ１１は、表示装置１８の各画素と対応するように所定行所定列で配列されたエリアＣＣＤを備えている。赤外カメラ１２は、ビームスプリッタ１３の図中右側に配設され、カラーカメラ１１と同一のフィールドレートで赤外画像を取得する。赤外カメラ１２は、表示装置１８の各画素と対応するように所定行所定列で配列され、赤外光帯域に高い感度を有するエリアＣＣＤを備えている。
【００２８】
ビームスプリッタ１３は、近接物体ＯＢの光像を反射してカラーカメラ１１側に導くとともに、近接物体ＯＢからの反射光を透過して赤外カメラ１２側に導く。これにより、カラーカメラ１１と赤外カメラ１２との光軸が一致し、両カメラは同じ被写体を撮影することができる。ビームスプリッタ１３と赤外カメラ１２との間には、赤外透過フィルタ１４が配設されている。これにより、赤外カメラ１２には、被写体からの反射光に含まれる赤外光成分のみが抽出され、導かれることとなる。なお、ビームスプリッタ１３として、赤外光のみを透過して赤外カメラ１２側に導く特性を有するものを採用した場合、赤外透過フィルタ１４は不要となる。
【００２９】
赤外光源部１５は、赤外発光ダイオード及び赤外発光ダイオードに駆動電流を供給する駆動回路等から構成され、同期回路１６の制御の基、近接物体ＯＢに対して赤外光の点灯及び消灯を交互に繰り返し照射する。
【００３０】
同期回路１６は、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外光源部１５に赤外光の点灯と消灯とを繰り返し実行させるとともに、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外カメラ１２に赤外画像を取得させる。これにより、赤外カメラ１２は、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外光源部１５の点灯時の赤外画像である点灯赤外画像と消灯時の赤外画像である消灯赤外画像とを交互に取得することが可能となる。点灯赤外画像及び消灯赤外画像の垂直解像度は、それぞれ、フレーム画像の垂直解像度の１／２である。
【００３１】
なお、以下の説明では、カラーカメラ１１が奇数フィールド画像（１枚のフレーム画像の奇数行のみを表した画像）を取得するときに、赤外カメラ１２は、点灯赤外画像を取得するものとし、カラーカメラ１１が偶数フィールド画像（１枚のフレーム画像の偶数行のみを表した画像）を取得するときに、赤外カメラ１２は、消灯赤外画像を取得するものとする。ただし、本発明はこれに限定されず、カラーカメラ１１が奇数フィールド画像を取得するときに、赤外カメラ１２は、消灯赤外画像を取得し、カラーカメラ１１が偶数フィールド画像を取得するときに、赤外カメラ１２は、点灯赤外画像を取得してもよい。
【００３２】
フィールド多重回路１７は、奇数フィールド画像とこれと同時に取得された点灯赤外画像、偶数フィールド画像とこれと同時に取得された消灯赤外画像の合計４枚の画像を統合して１枚の画像（統合画像）とし、ウェアラブルコンピュータ２０に出力する。これにより、上記４枚の画像を効率よくウェアラブルコンピュータ２０に出力することが可能となる。フィールド多重回路１７は、この統合画像を上記４枚の画像を取得する毎に生成し、ウェアラブルコンピュータ２０に出力する。したがって、統合画像は、フィールド画像が取得される周期をΔＴとすると、２ΔＴの周期で生成されることになる。
【００３３】
図３は、フィールド多重回路１７が生成した統合画像の一例を示している。図３に示すように、フィールド多重回路１７は、１枚の画像を水平方向の中心部で左右２つのエリアＡ１及びＡ２に分ける。そして、エリアＡ１には、それぞれ水平方向の画素数が１／２に圧縮された奇数フィールド画像及び偶数フィールド画像を奇数フィールド画像から順番に１ラインずつ交互に配列する。また、エリアＡ２には、それぞれ水平方向の画素数が１／２に圧縮された点灯赤外画像及び消灯赤外画像を、点灯赤外画像から順番に１ラインずつ交互に配列する。この場合、エリアＡ１には、奇数フィールド画像及び偶数フィールド画像を偶数フィールド画像から順番に１ラインずつ交互に配列し、エリアＡ２には、点灯赤外画像及び消灯赤外画像を消灯赤外画像から順番に１ラインずつ交互に配列してもよい。さらに、エリアＡ１に奇数フィールド画像及び偶数フィールド画像を、エリアＡ２に点灯赤外画像及び消灯赤外画像を配列してもよい。
【００３４】
図２に示すウェアラブルコンピュータ２０は、ＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置等から構成されている（いずれも図略）。補助記憶装置には、オペレーティングシステム及びウェアラブルコンピュータ２０を本近接領域画像抽出装置の処理部として機能させるための制御プログラム等を記憶する。ＣＰＵは、オペレーティングシステムの制御の基、この制御プログラムを実行することで、ウェアラブルコンピュータ２０を画像メモリ２１、絶対値差分画像取得部２２、近接領域画像抽出部２３及びオブジェクト画像抽出部２４として機能させる。
【００３５】
画像メモリ２１は、例えばＲＡＭから構成され、フィールド多重回路１７で生成された統合画像を一時的に記憶する。
【００３６】
絶対値差分画像取得部２２は、画像メモリ２１から１枚の統合画像を読み出し、この統合画像に含まれる点灯赤外画像から消灯赤外画像を差し引くことで得られた差分画像を絶対値差分画像として取得するとともに、画像メモリ２１から次の統合画像を読み出し、前の統合画像に含まれる消灯画像から、次の統合画像に含まれる点灯赤外画像を差し引くことで得られた差分画像に−１を乗算し絶対差分画を取得する。ここでいう差分画像とは、点灯赤外画像及び消灯赤外画像の対応する画素同士の輝度の差分を算出することにより得られる画像をいう。
【００３７】
近接領域画像抽出部２３は、絶対値差分画像取得部２２が取得した絶対値差分画像の輝度を所定の閾値と比較し、この閾値よりも大きな輝度を有する領域を近接領域画像として抽出し、抽出した画像をマスク画像として、対応する奇数フィールド画像又は偶数フィールド画像に対してマスキング処理を施し、奇数フィールド画像又は偶数フィールド画像から近接領域画像を抽出する。
【００３８】
オブジェクト画像抽出部２４は、近接領域画像抽出部２３が抽出した近接領域画像に対して、肌色の画素領域を除去することにより、近接領域画像中の近接物体を把持する撮影者の手の画像を除去し、オブジェクト画像を抽出する。
【００３９】
表示装置１８は、片眼ディスプレイ１０５から構成され、オブジェクト画像抽出部２４が抽出したオブジェクト画像を表示する。
【００４０】
なお、本近接領域画像抽出装置は、フィールド多重回路１４が画像統合部に相当し、同期回路１６が点灯制御手段に相当し、近接領域画像抽出部２３及びオブジェクト画像抽出部２４が抽出手段に相当する。
【００４１】
次に、本近接領域画像抽出装置の動作を図４〜図６を参照して説明する。図４は、本近接領域画像抽出装置が行う処理を説明するための図である。また、図５は、カラーカメラ１１が取得する奇数フィールド画像及び偶数フィールド画像を時系列的に表すとともに、赤外カメラ１２が取得する点灯赤外画像及び消灯赤外画像を時系列的に表した図である。さらに、図６（ａ）はカラーカメラ１１が取得するカラー動画像を示し、（ｂ）は赤外カメラ１２が取得する点灯赤外画像及び消灯赤外画像を用いて生成された絶対値差分画像を示し、（ｃ）近接領域画像を示し、（ｄ）はオブジェクト画像を示している。
【００４２】
図４では、１列目には統合画像ＪＩ１、ＪＩ２、・・・が下側に向けて時系列的に示されており、２列目には奇数フィールド画像ＯＩ１、偶数フィールド画像ＥＩ１、点灯赤外画像ＬＲ１及び消灯赤外画像ＯＲ１、・・・が下側に向けて時系列的に示されており、３列目には絶対値差分画像ＳＩ１、ＳＩ２、・・・が下側に向けて時系列的に示されており、４列目にはマスク画像Ｍ１、Ｍ２、・・・が下側に時系列的に示されており、５列目には近接領域画像ＥＸ１、ＥＸ２、・・・が下方向に向けて時系列的に示されている。また、図５では、奇数フィールド画像ＯＩ１、ＯＩ２、・・・及び偶数フィールド画像ＥＪ１、ＥＪ２、・・・が時系列的に交互に表されており、点灯赤外画像ＬＲ１、ＬＲ２、・・・及び消灯赤外画像ＯＲ１、ＯＲ２、・・・が時系列的に表されている。さらに図５では、絶対値差分画像ＳＩ１、ＳＩ２、・・・及び近接領域画像ＥＸ１、ＥＸ２、・・・が時系列的に表されている。なお、図４及び図５において同じ符号を付しているものは同じ画像を表している。
【００４３】
図４に示すように、まず、絶対値差分画像取得部２２は、統合画像ＪＩ１に含まれる点灯赤外画像ＬＲ１から消灯赤外画像ＯＲ１を差し引き、絶対値差分画像ＳＩ１を算出する。この場合、図６（ｂ）に示すような絶対値差分画像が取得される。この絶対値差分画像は輝度情報のみを含むモノクロ画像である。
【００４４】
このように絶対値差分画像を算出しているため、屋外使用時におけるロバスト性を確保することができる。屋外環境下において、太陽光には多量の赤外光成分が含まれており、近接物体ＯＢの赤外画像には、太陽光に起因する赤外成分と照射赤外光に起因する赤外成分とが含まれている。近接物体ＯＢの赤外画像に太陽光に起因する赤外成分が多く含まれると、近接物体ＯＢ以外の背景画像の輝度も大きくなり、輝度に基づいて、赤外画像から近接物体ＯＢのみを抽出することが困難となる。そのため、近接物体ＯＢを精度よく抽出するためには、近接物体ＯＢの赤外画像から太陽光に起因する赤外成分を取り除き、照射赤外光に起因する赤外成分のみを抽出する必要がある。点灯赤外画像には、太陽光に起因する赤外成分と照射赤外光に起因する赤外成分が含まれている。一方、消灯赤外画像に太陽光に起因する赤外成分のみが含まれている。したがって、点灯赤外画像から消灯赤外画像を差し引くと、両赤外画像に含まれる太陽光に起因する赤外成分が相殺され、照射赤外光に起因する赤外成分のみを抽出することが可能となる。これにより屋外環境下でのロバスト性が確保されることとなる。
【００４５】
次いで、近接領域画像抽出部２３は、この絶対値差分画像ＳＩ１の各画素の輝度を所定の閾値と比較することにより、絶対値差分画像ＳＩ１からマスク画像Ｍ１を抽出する。赤外画像は、輝度が距離の二乗に反比例して表れるという特性を有している。すなわち、赤外カメラ１２の近傍に位置する近接物体ＯＢは、赤外画像中、高い輝度で表され、背景画像は、近接物体ＯＢに比べて極端に低い輝度で表される。そのため、近接物体ＯＢの輝度と背景画像の輝度との間の所定の値を閾値として設定し、各画素の輝度をこの閾値と比較することにより、カラー動画像から近接領域画像を抽出することができる。
【００４６】
次いで、近接領域画像抽出部２３は、マスク画像Ｍ１を用いて奇数フィールド画像ＯＩ１に対してマスキングを施し、奇数フィールド画像ＯＩ１から近接領域画像ＥＸ１を抽出する。この場合、図６（ｃ）に示すように近接物体ＯＢ及び撮影者Ｐの手Ｈの画像が近接領域画像として抽出される。
【００４７】
次いで、オブジェクト画像抽出部２４は、近接領域画像ＥＸ１から肌色の画素を除去することで、撮影者Ｐの手Ｈの画像を除去し、オブジェクト画像を抽出する。この場合、図６（ｄ）に示すように、近接物体ＯＢ（コップ）の画像のみが抽出される、すなわちオブジェクト画像が抽出されることとなる。抽出されたオブジェクト画像は、表示装置１８に表示される。
【００４８】
次いで、図４に示すように、絶対値差分画像取得部２２は、統合画像Ｊ１１の次に生成された統合画像ＪＩ２に含まれる点灯赤外画像ＬＲ２から統合画像ＪＩ１に含まれる消灯赤外画像を差し引くことにより、絶対値差分画像ＳＩ２を取得する。すなわち、絶対値差分画像取得部２２は、図５に示すように、偶数番目の差分画像（絶対値差分画像ＳＩ２、ＳＩ４、・・・）を取得するにあたり、消灯赤外画像から点灯赤外画像を差し引いた差分画像に−１を乗算し、この差分画像の各画素の輝度をプラスの値とすることにより絶対値差分画像を得ている。その結果、絶対値差分画像ＳＩ１、ＳＩ２、・・・をフィールドレートで得ることができる。
【００４９】
表示装置１８は、このようにして抽出されたオブジェクト画像を順次表示していく。これにより、表示装置１８には、撮影者Ｐの視野内に存在する近接物体ＯＢの画像が撮影者Ｐの動作に追従して表示されることとなる。
【００５０】
以上説明したように本近接領域画像抽出装置によれば、屋外におけるロバスト性を確保するために、点灯赤外画像と消灯赤外画像の差分画像を算出するにあたり、絶対値差分画像を用いているため、オブジェクト画像をフィールドレート（ΔＴ）で得ることができる。
【００５１】
また、カラーカメラ１１及び赤外カメラ１２は、ユーザが顔面部に装着する装着部１０に含まれているため、頭部運動（首振運動）が頻繁に発生することが想定され、この場合、取得画像毎の画像変動が大きくなるが、本近接領域画像抽出装置は、フィールドレートで絶対値差分画像を取得することができるため、オブジェクト画像を高精度で抽出することが可能となる。
【００５２】
また、ビームスプリッタ１３を用い、カラーカメラ１１と赤外カメラ１２との光軸を一致させているため、両カメラは同じ被写体を撮影することが可能となり、近接領域画像の抽出精度をより高めることができる。
【００５３】
さらに、フィールド多重回路１４を用いて、統合画像を生成し、ウェアラブルコンピュータ２０に出力しているため、奇数フィールド画像、偶数フィールド画像、点灯赤外画像及び消灯赤外画像を効率良くウェアラブルコンピュータ２０に出力することができる。
【００５４】
さらに、ビームスプリッタ１３が撮影者Ｐのこめかみ付近に位置するように撮影ユニット１０２の装着が可能となっているため、撮影者Ｐが近接物体ＯＢを目視することにより、近接物体ＯＢを撮影することが可能となる。そのため、撮影者Ｐは、撮影することを意識することなく、近接物体ＯＢを用いて、何らかの作業を行なっているときの近接物体ＯＢの画像を取得することができる。
【００５５】
さらに、ウェアラブルコンピュータ２０を用いているため、撮影者Ｐは、本近接領域画像抽出装置を装着した状態で、自由に動き回ることができる。
【００５６】
なお、本発明は、以下の態様を採用してもよい。
【００５７】
（１）上記実施形態では、カラーカメラ１１と赤外カメラ１２とは、フィールド画像と赤外画像とを同じタイミングで取得しているがこれに限定されず、例えば、図７に示すように、奇数フィールド画像ＯＩ１、点灯赤外画像ＬＲ１、偶数フィールド画像ＥＩ１、消灯赤外画像ＯＲ１、・・・の順番となるように、フィールド画像と赤外画像とを一定の時間間隔（ΔＴ）でタイミングをずらして取得する態様も請求項１に記載する「同期」に含まれる。この場合、従来の方式、すなわち点灯赤外画像から消灯赤外画像を差し引いた画像のみを差分画像とする方式を採用すると、差分画像は４ΔＴの周期で取得されることとなる。一方、本発明による方式を採用すれば、絶対値差分画像ＳＩ１、ＳＩ２、ＳＩ３、・・・は、２ΔＴの周期で取得されることとなるため、本変形例においても、高速にオブジェクト画像を抽出することができる。
【００５８】
（２）  上記実施形態では、フィールド多重回路１４は、図３に示すような統合画像を取得しているが、これに限定されず、図８に示すように、エリアＡ１には、それぞれ水平方向の画素数が１／２に圧縮された点灯赤外画像及び奇数フィールド画像を１ラインずつ交互に配列し、エリアＡ２には、それぞれの水平方向の画素数が１／２に圧縮された消灯赤外画像及び偶数フィールド画像を１ラインずつ交互に配列してもよい。
【００５９】
（３）上記実施形態では、奇数フィールド画像と偶数フィールド画像とに分けて取得するインターレース方式のカラーカメラ１１を採用したが、本発明は、これに限定されず、プログレッシブ方式のカラーカメラ１１を採用してもよい。この場合、フィールド多重回路１４は、インターレース方式のカラーカメラを採用したときと同様に、プログレッシブ方式のカラーカメラによって取得された２枚の画像と、その２枚の画像と同期して取得された点灯赤外画像及び消灯赤外画像の合計４枚の画像を用いて統合画像を生成すればよい。この場合であっても、統合画像をフレームレート（２ΔＴ）で取得することができる。
【００６０】
【発明の効果】
以上説明したように本発明によれば、点灯赤外画像と消灯赤外画像との絶対値差分画像を用いて、近接領域画像を抽出しているため、屋外におけるロバスト性を確保しつつ、近接領域画像をフィールドレートで抽出することができる。
【図面の簡単な説明】
【図１】本実施形態に係る近接領域画像抽出装置の外観構成を示した図である。
【図２】本近接領域画像抽出装置の全体構成を示したブロック図である。
【図３】フィールド多重回路が生成した統合画像の一例を示した図である。
【図４】本近接領域画像抽出装置が行う処理を説明するための図である。
【図５】カラービデオカメラが取得する奇数フィールド画像及び偶数フィールド画像を時系列的に表すとともに、赤外カメラが取得する点灯赤外画像及び消灯赤外画像を時系列的に表した図である。
【図６】（ａ）はカラーカメラが取得するカラー動画像を示し、（ｂ）は赤外カメラが取得する点灯赤外画像及び消灯赤外画像を用いて生成された絶対値差分画像を示し、（ｃ）近接領域画像を示し、（ｄ）はオブジェクト画像を示している。
【図７】カラービデオカメラ及び赤外カメラの画像取得タイミングの変形例を示した図である。
【図８】統合画像の他の例を示した図である。
【符号の説明】
１０  装着部
１１  カラービデオカメラ
１２  赤外カメラ
１３  ビームスプリッタ
１４  フィールド多重回路
１５  赤外光源部
１６  同期回路
１７  表示装置
１８  眼鏡
２０  ウェアラブルコンピュータ
２１  画像メモリ
２２  絶対値差分画像取得部
２３  近接領域画像抽出部
２４  オブジェクト画像抽出部
【図１】
2004304718.tif 000003
【図２】
2004304718.tif 000004
【図３】
2004304718.tif 000005
【図４】
2004304718.tif 000006
【図５】
2004304718.tif 000007
【図６】
2004304718.tif 000008
【図７】
2004304718.tif 000009
【図８】
2004304718.tif 000010