特集JVRSJ Vol.10 No.2 June, 2005

ユビキタスと VR

特集 ■ユビキタスと VR

1377

ユビキタスステレオビジョン- 実時間実環境ヒューマンセンシング -依田育士
YODA IKUSHI

産業技術総合研究所

坂上勝彦

産業技術総合研究所

SAKAUE KATSUHIKO

1．はじめにオープンな空間で人々の存在，動線，姿勢，顔，意図したジェスチャを理解する

多地点配置の高速ネットワークに接続したステレオビ
ジョンの利用を前提とした，人間を中心とする ( 人の存在，その顔やジェスチャ，ハンドサインの ) リアルタイ

ステレオカメラ������ギガビット
ネットワーク

距離画像をキーにしたシーンの分割

多地点カメラのサーバ＆クライアントモデル

単純，高速な対象記述・認識手法開発

複数カメラによる複数対象の認識

ム認識技術や，実際に利用する場に適応できるような学習型の認識技術の研究を 2000 年頃から行っている．ユ
ビキタスステレオビジョンとは，複数のステレオカメラとそれらを利用するアプリケーションという枠組みで構

図1

ユビキタスステレオビジョンの概念図

成され，実時間実環境でのヒューマンセンシングを提供
習型ステレオビジョン [7] を研究していた．プロジェクするものである．
研究目的は，激しい影の変化などを含む屋内外のどこ

ト最終年度を迎えたとき，研究の総括と今後の展開を考にでも対応可能なステレオカメラを設置し，そのときに慮し，今までの仕組みを複数ステレオカメラと複数人と得られる距離情報と画像情報を同時に利用し，いかに役いう枠組みに拡張し，総合的なヒューマンセンシングと立てるかにフォーカスしている．そのために独立した複して捉え直そうと考えた．

数ステレオカメラによる複数対象の認識を前提とし，距

ここで我々の研究と「ユビキタス」との位置付けにつ離情報から対象領域を着目する手法，対象の記述・認識いて述べる．ユビキタスという語は多種多様に用いられ手法を開発する．我々の研究の中心課題を図 1 に示した．ているが，インターネットを中心としてユビキタス・コこれに関連する画像認識の研究は既に 30 年にわたる歴

ンピューティング [9-11] を包括する意味合いでのユビキ史が存在し，あらゆる手法の開発・適応が試みられてきタス・ネットワークを主張するものの研究課題である [12]た．しかしこれほど研究開発が進み，適応範囲が広がっ(a) 多様なアプライアンスの研究ているにもかかわらず，一切制約のない実世界を対象と(b) ネットワークミドルウェアの研究した画像理解，認識といった範疇に踏み込むと，問題の(c) ユビキタス環境におけるサービスの研究難易度は飛躍的に高まり，共通のフレームワークすら未に基づき我々の研究を位置付ける．すると，我々のビだに見えてこないのが現状である．そこで，距離情報をジョン研究はその中のアプライアンス，ならびにサービ用いることで最も困難な問題である認識対象に着目する

ス研究に関連する．これはビジョンセンサがセンサネッためのセグメンテーション問題を劇的に容易にし，そのトワークとして構築されたり，その機能として位置情報後の認識問題に注力するためのフレームワークを作る．

を提供したりすることが可能だからである．

そもそも RWC プロジェクト後半に参画し [8]，以前か位置情報サービスとしては既に GPS や PHS によるもら計算機とユーザのより自然な対話を実現するために，のが提供されているが，室内位置など，より高精度な基本的にステレオカメラ 1 台対 1 人のユーザのための学ものを求める場合は，IC などのタグを与えるものも考131478

日本バーチャルリアリティ学会誌第 10 巻 2 号 2005 年 6 月

特集

ユビキタスと VRえられる．しかし，ビジョン技術を用いれば何も持たせクライアントも稼働するものでなければならない．
実際，ることもなくユーザの位置情報を提供できる．さらにビ

3 章の室内複数人物認識や，4 章の安全監視事例 ( 踏切ジョンセンサがネットワーク上にユビキタスに配置され空間や駅ホーム端監視 ) では 4 〜 12 台で実験を行った．

ることで，位置情報だけでなく，可能な限り個人の詳細室内と踏切空間内では完全に情報を同期統合することをな情報を獲得し，物理環境と情報環境を各個人に適合す前提した．複数の情報を統合することで，1 台のカメラるように自動調節することも可能になる．同様に，安全・が遮蔽，光の差し込みなどで信頼性が低下しても，ロバ安心のためなどに利用することも可能であろう．

ストに動作継続することを意図したものである．一方，

以下，我々の提案するユビキタスステレオビジョンと駅ホーム端などの場合は，基本的に各カメラは弱い同期そのアプリケーション事例について述べる．

で動作し，近傍同士のカメラを除き，実時間で統合される情報は画像情報や 3 次元情報から分析された結果のみ

2．ユビキタスステレオビジョンの非常に少ない記号情報であることを前提としている．
表 2 に，多数カメラの統合と協調方法を基にした分類

2.1 ユビキタスステレオビジョンの基本構成
我々の提案するユビキタスステレオビジョン (USV)[1]を示す．以降 3，4 章で適応される場面は，表のいずれかとは，表 1 のような特徴を備えているものとした．実時に分類され，いずれの場合も計算機による自動制御を前間，実環境，実利用を志向し，あらゆる環境に適応可能，提としている．しかし，特に 4 章の安全監視事例におい同時に実装を容易にすることを目指している．て自動判定が難しい場合は，単純にその画像を管理者にそこでまず必要となる 3 次元情報の獲得については，自動転送する機能を併せ持つことを想定している．

各ステレオカメラに 1 台の PC がローカルに 3 次元形状
2.3 ステレオカメラの設置形態と距離情報の処理方法の復元計算を行い，取得するカラー画像と併せ可能な限りの画像特徴の抽出を行う．我々はこのステレオカメラステレオカメラの設置方法と，その距離情報の処理方と PC の組を「ステレオサーバ」と呼んでいる．

法は，当然のことながらアプリケーションの目的に依存次にグローバルな処理として，アプリケーションに合する．しかし，アプリケーションに依存しない共通の距

わせて必要なデータや処理特徴を各カメラサーバから別離情報処理方法として，引き出し射影法を提案しているの PC1 台に統合して全視野内の情報を獲得する．この[2]．これは，カメラから得られる距離情報をグローバルように必要に応じ，ステレオカメラサーバからデータを座標に変換後，空間中に含まれる距離情報を垂直方向に収集，統合，利用する側を「アプリケーションクライア複数段階に分けて射影し，高さ別の空間情報を持った画ント」と呼ぶ．統合には全てのデータを集積する場合や，像群として利用する手法である ( 図 3 参照 )．

個々のステレオカメラサーバが認識した結果のみを利用

このときカメラの設置形態に応じ，階層的に距離情報する場合もある．また，両者の中間形態として，必要時を処理する手法と，加算的に処理する方法を使い分ける．にのみデータのみ転送する利用方法も考えられる．

表 3 にカメラの設置形態とその対象，手法についてまとめた．斜め見下ろし交差型は少数の個人の個別特徴を保2.2 USV のサーバ＆クライアントモデル持し，認識に用いている．一方，垂直見下ろし型は個人ステレオカメラサーバの台数に依存せず，個々のステ特徴を排除し , 大勢の人々に対して集団を分節している．

レオカメラサーバも，全体を統合するアプリケーション
表1

ただし，目的に応じてこれらの手法は混在もする．
表2

USV の定義

USV の統合と独立

ⅰ．強い同期統合型（高速ネットワークで結合）

・入力情報は複数のステレオカメラから得られる３次元距離とカラー画像

距離情報，画像情報ともに統合され，信頼性を向上させる．

・実時間（リアルタイム）で利用

ex.) 室内空間制御，踏切空間監視・実環境で利用（屋内外で利用可能）

ⅱ．弱い同期型（低速ネットワークで結合）・各ステレオカメラはスタンドアロンで稼働

距離情報，画像情報はローカルに処理され，必要情報のみ統合される．

・複数ステレオカメラは静的配置，キャリブレーションは事前に１回ex.) ホーム端安全管理，大空間での動線獲得

・高速ネットワークの利用を基本とするが，低速でも稼働

ⅲ．単独型・動的制御（パン・チルト・ズームなど）をベースとはしない

狭いエリアを１台で稼働するスポットインタフェース．

・切り出しは距離情報を利用し，対象依存モデルを作らないex.) 重度障害者支援・認識手法は対象に依存しないものが基本

14

特集

JVRSJ Vol.10 No.2 June, 2005

ユビキタスと VR

表31579

よる個人に対応した室内空間の機器操作を可能にする

ステレオカメラの設置形態と処理手法

Ａ．斜め見下ろし交差型

ジェスチャインタフェースの実現を目的とした．ここで対象：テクスチャ情報の利用も含む少人数の精細な認識や高信頼性な認識の腕さしとは，対象物を指示するために，片腕を大きく手法：段違い引き出し法（情報を重複して加算することで形状を保存）突き出すことを言う．以下，中心となる人物姿勢認識，視野：基本的にカメラ間の視野が重複することを想定個人識別，インタフェースについて紹介する．

Ｂ．垂直見下ろし型
対象：不特定多数内の個々のトラッキング，人数計測

3.1 複数人物の個別姿勢認識

手法：加算引き出し法（全体形状を安定的に抽出）実験室において一定領域 (4.5m×3.6m=10 畳 ) を取り囲

視野：カメラ間の視野が一部重複，または独立むようにステレオカメラ 4 台を四隅に配置した ( 斜め見下ろし交差型 )．そして，その領域内おいて，

表4・誰がいつシーンに入り，いつ出ていったのか，屋内外での USV 利用シーン

・その人がシーンの中で何をしていたのか，

ａ．室内での人の認識とインタラクション（個人識別も可能）
・人行動ログの取得

・インタフェースとしての利用

・特定作業への支援

・アミューズメントへの応用ということを実時間で認識することを課題とした．
目標は 10 畳内にいる常識的な複数人 (4，5 人程度 ) の立位，座位，伏位の 3 姿勢とその動きの理解である．

ｂ．屋外での人の認識（トラッキングが中心）
・安全監視

図 2 に人の姿勢認識，個人識別，腕さし動作の認識を・大空間での動線獲得行っている画面を示した．ここでは，上述の実験室内に立位と座位の人が各 1 名いる状態で，姿勢認識と腕さし認識，さらに顔領域の抽出を行っている．
また，図 3 に階層型引き出し法による射影結果と，そ2.4 現実の利用シーン具体的な利用シーンとして，表 4 のような照明の変化れに基づく個人領域の特定，個人の識別結果を示した．

が少ない屋内と，激しく光量が変化する屋外での人の認識を想定している．ただし，示した事例以外にも，適応シーンを替えて同様な枠組みでより広いシーンに適応可能と考えている．以下，3 章においては室内の少人数の精細な認識を中心とする複数人物認識とインタフェースについて，4 章においては広域な空間での不特定多数の認識を対象とする利用シーンを中心に事例を説明する．
3．複数人物認識とインタフェース
ここでは主に室内を中心とした高精度な複数の人々の認識利用例について述べる．既に個人の顔の位置，向き，話者などを識別するシステムは多数存在し，さらに，人間の 3 次元的な位置や動きの特定を目的に対象領域を拡げることで全身を撮影するシステムも多数存在する．し

図2

室内の複数人物認識

かしながらこれらは個々の目的に特化してしまい，顔認識とジェスチャ認識，または動線情報とジェスチャ認識というように本来同時に認識が望まれるような情報を共存させる視点が欠けている．同時に，ユーザは固定的な空間や向きに縛られて認識されている．
そこで，カメラの位置や向きを意識することなく複数の目的を共存可能にするようなフレームワークを提供することを試みる．具体的には室内空間における複数人の個人識別とその全行動ログの取得，および「腕さし」に

図3

15

段違い引き出し法による距離情報利用

1680

日本バーチャルリアリティ学会誌第 10 巻 2 号 2005 年 6 月

特集

ユビキタスと VR

左側が階層型引き出し法による射影結果，右側がその結いつつ進めるという 2 点に留意しながら取り組んでいる．

果から各個人の領域を分割，認識した結果である．このこの問題は，意図した動作とそうでない動作を見分

例では，立位で腕さしをしている人，立位の人，座位のけるという点において，上述の腕さしジェスチャインタ人の計 3 名がいる．ここでは，個々の顔認識と同時に姿フェースとは極めて類似点が多い．我々の研究は環境に勢と腕さしの有無を識別している．

一切の制約を加えない．同時に，操作者には意図したジェスチャをしてもらうが，それ以外の普通のジェスチャに3.2 顔認識による個人識別制限を加えないで行っている．決められたジェスチャの人の状態把握後は個人識別を行う．識別は顔認識を中み行うことを前提とした認識システムや，ジェスチャ認心とするが，意識してカメラに正面顔を向けた状況で認識ゲームと，我々のスタンスは根本的に異なる．

識を行うのではなく，全く制約なく自然に室内を動く人
4．屋外大規模空間での状態監視 ( 安全管理への適用 )の顔認識を行う．このために学習用，認識用の顔画像を自然に室内を動く人から取得し，教師なしで正面顔を自上述の室内のより詳細なヒューマンセンシングとは異動分類して辞書を自動構成し，正面顔らしいと判断したなり，個々の人のジェスチャ，顔認識などを排除した不時のみ認識，それ以外の不確かな場合は無視する手法を特定多数の状態監視について述べる．特に屋外など設置用いている [3]．

場所を一切選ばない広い空間に適応させる．この目的のまた，実際に人間が行う個人識別は，顔を見ているの応用事例として，踏切内監視，駅ホーム端監視，イベン

ではなく，その人の身長や歩き方，普段の服装から判断

ト空間監視などについて継続的に実験を行っている．

していると思われる．そこで，常時得られる距離情報とこれらの実験は実環境において，どの程度の解像度画画像情報を利用して，今までのような静的な顔の認識や像によって何が可能なのか．必要となるアルゴリズムは識別といった枠組みではない個人識別方法の開発も目指

何なのか．実環境に耐え得るハードウェアスペックはどしている．の程度なのか．これらを実地試験で獲得するために行っている．表 5 に，今までに行ってきた主要実験例を一覧

3.3 インタフェースした．以下個々の目的別に実環境実験について紹介する．

空間内の人の状況，個人識別後は，非接触・非拘束・
4.1 踏切空間監視

位置フリーのインタラクションを目標とする．すなわちヒューマンセンシング技術を核にした，ユビキタス環境

現在の踏切内安全監視装置には，複数の赤外線センサにおけるインタフェース機能の開発である．

が利用されている．この方式では赤外線センサのライン具体的な目標として，腕さしジェスチャによる室内機上に障害物があった場合のみ反応するので，自動車は確器操作インタフェースを実装した．過去の研究事例におけ

実に検知できても，人や自転車などがそのラインの間にるジェスチャインタフェースは，カメラの向き，場所に依いた場合は，全く無力なセンサとなっている．そこで，ス存したものがほとんどである．そこで，室内空間において，テレオカメラからの距離情報を利用して，踏切内を認識す位置に依存しないジェスチャインタフェースの実現を目る研究も始まっている [13]．この事例では，単体のステレ指した．具体的にはユーザの意図した腕さしを距離画像か表5ら実時間で獲得する．立位，座位に関係なく，かつ複数ユーザに対応した意図した腕さしジェスチャによる機器操作日時が可能になっている [4]．また，顔認識と組み合わせること

踏で，個人別に操作の許可や優先権を設定できる．

切

さらにインタフェースの応用例として，重度障害者の駅ための支援技術にも取り組んでいる．これは電動車いす

2003.1-2
2004.6
2001.11ホのコントローラを手で操作できない人に対して，ステレ｜

オカメラを車いすに搭載し，顔向き推定 [5] から得られム

2001.112003.1-2

る頭部のジェスチャにより，障害者自身の意思で車いすを操作可能にするインタフェースを提供する試みである．

広屋内外のどこでも利用可能にすること，実際の臨床を行域

2005.3-916

継続的な広域空間監視実験概要
場所

東急東横線
元住吉駅踏切
東急東横線
自由が丘駅踏切目的
踏切空間の人の監視
踏切空間の人の監視

カメラ台数
６台
斜め見下ろし交差型
４台
斜め見下ろし交差型

JR 牛久駅
３番線ホーム
東急東横線
横浜駅
1 番線ホーム
東急東横線
元住吉駅
３線線ホームホーム端転落監視実験
転落状況のデータ取得

４台
垂直見下ろし型

ホーム端監視実験
乗客のデータ取得

５台
垂直見下ろし型

ホーム上の人の監視
車いすの認識白杖の認識

１台
斜め見下ろし型

愛知万博
グローバルハウス
オレンジホール

会場内部の人数計測
行動軌跡の解析
RF-ID との連携実験

７台
垂直見下ろし型特集

JVRSJ Vol.10 No.2 June, 2005

ユビキタスと VR

図4

USV による踏切空間監視

図6

オカメラにより精度を安定させることは行われているが，

1781

USV による全体の動線管理検知できることを確認した．

複数台による精度向上，安定性確保は行われていない．

横浜駅においては，始発から終電までの全時間帯におUSV による監視方法では，踏切の四隅に踏切空間をいて，実際の乗客の出入りを撮影した．図 6 には，全乗取り囲むようにステレオカメラを設置し ( 斜め見下ろし

客の動線管理を示した．各カメラ単位に処理された僅か交差型 )，4 台のステレオカメラで完全に空間を監視すな結果情報から全体の動線を作成する弱い同期統合型のる．図 4 の四隅の画像が，4 台のステレオカメラから得システムとなっている．この処理戦略により，今後カメられたカラー画像であり，中央は統合された 3 次元情報

ラが数十台単位で増加しても対応可能になっている．

を示している．このような構成で，単体の必要解像度，4.3 広域空間監視

太陽光の影響，設置角度の影響を，また複数台化の効果などあらゆることを評価している．

上述の監視技術は，踏切やホーム端といった安全監視だけの目的以外には，より大きな空間での動線計測，4.2 駅ホーム端安全管理監視に適応可能である．そこで現在開催されている愛駅のホーム端からの転落事故による死亡者は年間数十

知万博 ( 愛・地球博 ) のグローバルハウス・オレンジホー件に達し，特に都市部での鉄道，地下鉄においては緊急

ル ( 図 7) において半年間の常設実験 ( 垂直見下ろし型 )に解決すべき課題となっている．既存のセンシング技術を行っている．実験の目的は以下の三つである．

としては落下検知マットが利用され，超音波，赤外線セ

1. リアルタイムの大きな領域単位での人数計測

ンサなども検討されているが，検知範囲や誤検出への対

2. 視野内の人の行動分析応に難がある．そこで，ステレオカメラを駅ホーム端の3. RF-ID タグ (Aimulet) との連携実験

天井から下を見るように直線に並べ ( 垂直見下ろし型 )，あらゆるセンシングには向き，不向きがあるので，他ホーム端の人々の状況を監視する [6]．実際に東急東横線のセンサとビジュアルセンサをどのように組み合わせる

横浜駅でカメラから取得した 3 次元画像を図 5 に示した．のかなどへの研究の発展，展開は無限の可能性があると現実の複雑な状態の人々を対象に，ホームからのデー考えている．それに向けてのグランドチャレンジが開始

タ転落実験を JR 牛久駅で，ホーム端の軌跡獲得実験をされたところである．

東急東横線横浜駅で，ホーム上の人々の自動分類に着目した実験を元住吉駅で行い，データを取得した．
JR 牛久駅ではホーム上と線路面上両方で，人の落下，宇宙と地球科
学と技術

芸術と文明

生命と環境

座り込み，寝込み姿の 3 次元情報から，全時間帯における ( 夕日の差し込み時，夜間を含む ) 人の存在を確実に
夢と未来

カメラ監視位置
図5図7

USV によるホーム端 3 次元復元図

17USV 愛知万博グローバルハウス・オレンジホール

1882

日本バーチャルリアリティ学会誌第 10 巻 2 号 2005 年 6 月特集

ユビキタスと VR

Manifold Learning” Proceedings of Inter. Conf. on Pattern5．まとめと今後の研究

Recognition 2004, Vol.4, pp.462-466 (2004)

USV の基本構成，ならびに現実のアプリケーション事例について述べた．本研究の目的は，対象に応じ，[6] 依田，細谷，坂上：“ ユビキタスステレオビジョン

ステレオカメラを静的に適宜配置することにより，そによる駅ホーム端安全管理 ” 電学論 C Vol.124, No.3，のシーン内の必要な情報を掌握するために，3 次元情報

pp.805-811 (2004)[7] I. Yoda and K. Sakaue:“Utilization of Stereo Disparityとカラー画像情報を同時に利用する手法の研究開発でand Optical Flow Information for the Computer analysisある．

of Human Interaction” Machine Vision and Applications,

具体的なアプリケーションとしては精細な認識を求め

Vol.13, No.4, pp.185-193 (2003).

る主に室内での生活支援技術と，大規模空間を対象とする主に屋外での安全性向上支援の事例を示した．それぞ[8] 産総研実世界知能研究班：“ 産業技術総合研究所にれの目的に合わせて複数のステレオカメラが，強い同期おける RWC 研究研究発表資料集 ” 2000 (2001)，2001

で動作，弱い同期で動作，あるいは単純にシングルで動〜 2002 (2002)[9] M. Weiser:“Some computer science issues in Ubiquitous作することができる．

Computing” Communications of the ACM Vol.36, No.7

現在，最重要事項として，現在までの全ての実験結

pp.74-84 (1993-07)

果を反映させたハードウェアであるユビキタスステレオビジョンデバイス (USVD) を完成させた．これはス[10] TRON PROJECT Official HP: http://www.tron.org/

テレオ距離計算部分を全て受け持つハードウェアを実[11] J. Wejchert：“「姿を消すコンピュータ」：進行中の装したハーフサイズ PCI ボードと，専用ステレオカメ

研究プロジェクト ” 情処誌 Vol.43, No.8, pp.880-883

ラから構成される．これにより，計算機本体の CPU を(2002-08)[12] 森川，南，青山：“ ユビキタスネットワーキングへ全て認識処理に使うことを可能にする．さらにはランの道 ” 情処誌 Vol.43, No.6, pp.631-638 (2002-06)

チボックスサイズのセットトップボックス化をも可能にし，どんなところにでも設置できるハードウェアに[13] 柴山，塙，太田：“ 踏切障害物検知用のステレオ画なる．今後は，この USVD をベースとして実装の展開像装置の開発 ” 第 9 回画像センシングシンポジウムを図る．同時に，その中で必要となる人を中心とした予稿集，pp.1-6 (2003)

対象の自動的な学習方法，対象の記述方法，現実シー【略歴】

ン内での認識方法の開発を進める．

依田育士（YODA Ikushi）
参考文献( 独 ) 産業技術総合研究所[1] I. Yoda and K. Sakaue:“Concept of Ubiquitous Stereo Vision

情報技術研究部門

主任研究員

and Applications for Human Sensing” Proceedings IEEE Inter.

1992 年東京都立科学技術大学大学院工学研究科修士課

Symposium on Computational Intelligence in Robotics and程修了．同年電子技術総合研究所入所．入所後，画像処Automation, pp.1251-1257 (2003)

理手順の自動学習法や，人を中心とした実時間認識シス[2] I. Yoda, et al.:“Human Body Sensing Using Multi-Point

テムに関する研究など，コンピュータビジョンや画像理

Stereo Cameras” Proceedings of Inter. Conf. on Pattern解の研究に従事．筑波大学連携大学院助教授 ( 併任 )．工Recognition 2004, Vol.4, pp.1010-1015 (2004)

学博士．

[3] I. Yoda, et al.:“Automatic Face Classification andRecognition Using Self-Organization” Proceedings of Inter.

坂上勝彦（SAKAUE Katsuhiko）

Conf. on Pattern Recognition 2004, Vol.4, pp.1006-1009( 独 ) 産業技術総合研究所(2004)

情報技術研究部門部門長[4] Y. Yamamoto, et al.:“Arm-Pointing Gesture Interface

1981 年東京大学大学院工学研究科博士課程修了．同年

Using Surrounded Stereo Cameras System” Proceedings

電子技術総合研究所入所．画像処理、コンピュータビ

of Inter. Conf. on Pattern Recognition 2004, Vol.4,

ジョンなどの研究に従事．筑波大学連携大学院教授 ( 併pp.965-970 (2004)

任 )．工学博士．1979 年度電子通信学会学術奨励賞受賞．
1985 年度情報処理学会論文賞受賞．

[5] B. Raytchev, et al.:“Head Pose Estimation by Nonlinear

18