57

リアルタイムビュー機能を有する
2 台のカメラによる三次元計測システム
田房 友典**・宮地 耕平*
Three-Dimensional Measurement System by Two Cameras
with Real-Time View
Tomonori Tabusa ** and Kouhei Ｍiyachi *Abstract
In this study, we develop a generic display software to display data and 3D reconstruction softwareto restore the feature points and three-dimensional automatic tracking feature points. Required tocommunicate data to each other, two software processes work in conjunction series of up to
three-dimensional display of the feature point extraction.

１．はじめにできるシステムの開発を行う．開発システムは特徴
点の自動追跡と三次元復元を行う「特徴点ソフトウ
三次元復元は，2 次元の特徴点情報をもとに対象 ェア」と三次元復元データを汎用的に表示する「表物の動きをPC内部で三次元に復元する技術である． 示ソフトウェア」で構成される．2 つのソフトウェ
代表的な技術として，モーションキャプチャによる アは，お互いに必要データの通信を行い，特徴点抽アミューズメント分野への応用や医療福祉分野にお 出から三次元表示までの一連の作業を連携して処理けるリハビリ器具の開発，スポーツ分野におけるフ する．開発システムは，初期座標と接続情報の設定ォーメーション解析等に用いられているが，汎用的 のみで，様々な形状の対象物において，ワイヤーフな製品化には至っていない．三次元復元の汎用性の レームによる三次元復元座標の表示が可能である．
低さの理由として，次の 2 つが挙げられる．
実験として，形状（動作）の異なる 2 つの動物体
1 つ目は，特徴点の抽出作業と画像間の対応付け を対象に開発システムを適用した．実験結果より，が困難であることである．三次元復元では，特徴点 特徴点抽出から可視化までの作業の効率性とワイヤを間接などの指定場所に付けることを必要とするが， ーフレームを用いた可視化について考察する．
復元対象が動物体の場合，特徴点を取得する画像フ
２．三次元復元システム
レームが多くなり，抽出作業に多くの時間を費やす．
2 つ目は，多くの三次元復元アルゴリズム[1,2]の復元処理がバッチ処理であるため，データ取得完了後に ２．１ 光学式三次元復元とその問題点三次元復元法は，復元情報を抽出する方法で光学しか復元と可視化ができないことである．
特徴点の抽出における浪費時間の問題については， 式と磁気式に大別される．磁気式ではまず，磁気コ
特徴点を画像処理により自動追跡できれば，時間を イルをマーカーとして対象物の関節に取り付け，磁大幅に短縮できる．即時に結果が可視化できない三 界内で動作を行う．次に，磁気コイルが磁界内で動次元復元の問題については，本研究室で，開発され くとき生じる歪みを計測することで，コイルの位置ている逐次処理で三次元復元が可能な逐次復元アル を記録する．対して光学式では，物体の動作を複数台のカメラで撮影し，対象物に付加した特徴点の座ゴリズム[3]を用いると解決できる．
本研究では，カメラに写った復元対象から初期の 標を抽出し記録する．その後，いずれも記録した情特徴点を設定すると，即時に復元結果を三次元表示 報をもとに対象物の動きを PC 内部で三次元座標に
＊＊
＊

情報工学科
生産システム工学専攻

平成 24 年 9 月 28 日受理

58
弓削商船高等専門学校

紀要復元する．本研究では，光学式三次元復元を対象とした特徴点抽出から三次元表示までを一括で処理するシステムの提案を行う．
一般的に光学式三次元復元の処理は，図 1 の過程で行なわれる．複数台のカメラによって特徴点の 2次元座標を取得後，三次元復元アルゴリズムによって三次元座標に変換し可視化を行う．同図ⓐでは，取得画像から復元する対象物の特徴点の座標を複数台のカメラから抽出する．対象物が動物体の場合，画像の数は膨大なものとなり特徴点数は比例して増大する．特徴点の抽出はマウス操作で行っており，特徴点の増大によって多くの時間を費やし，人への負担が大きい．同図ⓑは多くの研究者が研究に取り組み，様々な三次元復元手法が存在する．同図ⓒ
は対象物に特化した開発が行われているため，万能に対象物を可視化するソフトウェアの作成は難しい．

第 35 号（平成 25 年）

複数台カメラによる特徴点抽出

a

２次元座標

３次元復元
アルゴリズム

３次元座標b可視化c

図 1 光学式三次元復元の過程

図 2 従来の三次元復元法と開発システム

表 1 ハードウェア
２．２ システムの概要
開発システムは，図 1 に示す三次元復元の一連のCPU 3.20GHz
処理を 2 つのソフトウェアを用いて 1 つのシステム
メモリ 4GBPC
ＨＤ 500GBとして構成する．提案するシステム構成を図 2 に示センサー解像度 200 万画素
す．
動画 最大 1600×1200 ピクセル
USBカメラシステムのハードウェア構成として，2 台の USB カ
フレームレート 最大 30fps
メラを PC と接続する．同図の処理ⓐと処理ⓑを一縦 40 ㎝×横 20 ㎝×奥行き 20 ㎝
スクリーン
つのソフトウェア（以下，特徴点ソフト）として連
20W の蛍光灯×3 個使用のスポットライト
照明携する．連携により USB カメラで特徴点座標を取得すると即時に三次元座標を出力することができる．
また，対象物を汎用的に三次元表示するために，同表 2 ソフトウェア
図処理ⓒをワイヤーフレームで表示するソフトウェ
Microsoft Visual C++ 2008 Express開発ソフト
Editionア（以下，表示ソフト）である．また，特徴点ソフ
Windows 7 Professional 32bit
OS
トと TCP/IP による通信機能を設け，遠隔でも三次元データの受け取りを可能にする．開発システムに利用した三次元復元アルゴリズムは，研究室で提案
３．特徴点ソフトの開発された因子分解法に基づくアルゴリズム[3]を用いる．
本アルゴリズムは既にライブラリ化されており，仕様通りのデータ形式を与えると三次元座標を出力す ３．１ 特徴点座標の取得法
３.１.１ 従来法ることができる．
光学式三次元復元の場合，複数台のカメラで対象物を撮影し，画像から特徴点のＸＹ座標を抽出する．
２．３ 開発環境システムのハードウェア構成とソフトウェア構成 本研究室で，実施している特徴点の 2 次元座標の取を表 1 と表 2 に示す．
また，本システムの開発では， 得方法について述べる．まず，多地点に置かれた 2
特徴点追跡と三次元表示を行う際に画像処理ライブ 台のカメラから対象物の画像を取得しＨＤに保存す
ラリの OpenCV[4]，OpnenGL[5]，VideoInput[6]を使 る．次に，図 3 のような特徴点抽出ソフトウェアを用する．復元対象物の撮影には，特徴点追跡をより 起動し，保存した画像から対象物の 5 箇所の特徴点の抽出を行っている．画像領域内で対象物の特徴点安定に行うためにスクリーンと照明を使用する．
座標をマウスクリックすると座標領域に XY 座標が表示される．同図では，2 台目の画像においても，同様に順番を対応させながら抽出する．対応とは，

59

リアルタイムビュー機能を有する 2 台のカメラによる三次元計測システム（田房・宮地）

図 4 のようにカメラの 1 台目での特徴点の取得順と2 台目の取得順が同じであることである．対象物が動物体の場合は，フレームごとに同処理を行う．

画像領域

ライブラリの引数，1 台目の XY 座標と 2 台目の XY座標を分割した 4 つの配列と 1 フレームあたりの特徴点数を与える．

座標領域(a) 特徴点の初期設定直後の 2 台のカメラ画像

図 3 従来の特徴点抽出の例(b) 対象物の移動後に自動追跡をする 2 台のカメラ画像
図 5 特徴点の初期座標の設定と自動追跡処理(a)

1 台目のカメラ画像(b) 2 台目のカメラ画像

図 4 対応付けされた特徴点抽出の例

３.１.２ 提案法
提案法は，USB カメラ 2 台で画像を取得しながら特徴点の抽出を自動で行う．初期抽出後は，1 度画像をＨＤに保存しなくてもよく，図 5 のように初期特徴点座標を設定するだけで，対象物の移動に対して，瞬時に特徴点座標が取得できる．
特徴点の自動追跡処理の様子を図 5 に示す．まず，2 つのキャプチャウィンドウを自動起動させ，2 台のUSB カメラから同時に画像のキャプチャを行う．特徴点座標の初期設定はマウス操作し取得画像内をクリックする．手順は前章で述べた通り，2 つの画像から対応した特徴点座標を同順序で抽出しなければならない．同図(b)のように物体が移動後，特徴点の図 6 三次元復元ライブラリの引数の例マーカーも追跡される．このとき，特徴点座標の取得間隔は，画像取得のフレームレートと特徴点の追図 5 のように，プログラム内部では，特徴点の座跡処理時間に関係している．追跡処理は OpenCV の標を4つの配列と1の変数に分解して格納している．
機能である Lucas-Kanade 手法[5]を用いる．
任意のフレーム数の特徴点座標が 4 つの配列に蓄積
３．２ 逐次復元ライブラリの仕様されたとき，ライブラリの引数に渡している．
本ライブラリは，2 台のカメラに対応し特徴点座標の三次元計算をバッチ処理と逐次処理で行う．本 ３．３ 表示情報の付加

60
弓削商船高等専門学校

紀要

三次元座標に復元された個々の特徴点は，単に表示をすると元の形状を認識することが難しい．そのため，表示ソフトは三次元座標の受信以前に，特徴点数，接続数，接続情報を表示情報として受信する．
まず，特徴点ソフトは，1 フレーム分の特徴点数を取得し送信することで，表示ソフトに 1 フレーム分の特徴点数を認識させる．次に，特徴点の接続数と接続情報を送信する．接続情報とは，ワイヤーフレーム表示のために必要な端点となる特徴点の番号である．複数のワイヤーで結ぶ場合は，端点の特徴点番号を連結して送信する．図 7(a)のように 2 本のワイヤーで復元結果を表示させる場合，特徴点番号の①，②，④，②の順にマウスクリックすると，同図(b)の接続情報配列にその番号が格納される．このとき，プログラムの仕様で同じ特徴点番号を 2 回連続クリックすることはできない．接続情報の作成は，特徴点ソフトにてユーザーが特徴点座標の初期設定をした後に行う．また，接続情報設定のために特徴点番号をクリックすると，その情報（ワイヤーフレーム）は，画像上に表示され接続情報を確認することができる．表示ソフトでは受信した表示情報を基に，座標をワイヤーフレームで接続する．

第 35 号（平成 25 年）を行った．
同図左側に USB カメラを付けているのが撮影用スクリーンである．対象物をスクリーン内部に配慮し USB カメラで，全体が捉えられるように位置を調整する．本実験では，スクリーン上で全体の動作(a)ワイヤーフレームの設定画像 (b)接続情報配列
図 7 接続情報の入力の例

４．表示ソフトの開発
特徴点ソフトから順次送信される三次元座標を即時にワイヤーフレーム表示するソフトを開発する．
なお表示にはグラフィックライブラリの OpenGLを用いた．通信及び処理の流れを図 8 に示す．両ソ
フトを起動後，TCP/IP を用い互いの通信経路を確保した後，特徴点ソフトは，前章で示した表示情報を表示ソフトに送信する．表示ソフトは，待機中となり，三次元座標を受信するまで待機する．特徴点ソフトは，引き続き特徴点の追跡取得を行い，特徴点毎に取得した特徴点座標の XY 座標を逐次 XYZ の三次元座標に復元し，表示ソフトに送信する．このとき，特徴点ソフトにおいては，1 フレーム内で特徴点数の取得数に増減はないものとする．待機中の表示ソフトは三次元座標を受信し，特徴点数が 1 フ
レームに達すると，アニメーションで三次元表示を行う．このとき，アニメーションは，特徴点ソフトから送信された表示情報に基づいてワイヤーフレーム表示し，原点に対して視点を自由に変更することができる．
５．実験及び考察
開発した実際のシステムの外観を図 9 に示す．実験として「手のひら」と「文字を書く動作」の復元

図 8 表示システムにおける通信図
PC

ディスプレイUSB カメラ図 9 開発システムの外観を撮影できる程度の対象物を実験対象としている．
５．１ 実験対象「手のひら」
実験対象を「手のひら」とし，開発システムを実行した場合の入力画像および三次元復元表示を図61

リアルタイムビュー機能を有する 2 台のカメラによる三次元計測システム（田房・宮地）

10 に示す．同図(a)と(b)は復元対象である左手に対して 10 箇所の特徴点を初期座標に設定し，追跡処理を行っている（接続情報の設定前）．同図(c)と(d)は(a) 1 台目カメラの画像取得した特徴点座標の三次元アニメーションの表示結果であり，視点の変更を行っている．

(b)(c) 手の三次元表示 1

2 台目カメラの画像(d) 手の三次元表示 2
図 10 手の復元結果(a) 1 台目カメラの画像(b) 2 台目カメラの画像

62
弓削商船高等専門学校

紀要(c) 文字を書く動作の三次元表示 1

第 35 号（平成 25 年）(d) 文字を書く動作の三次元表示 2

図 11 文字を書く動作の復元結果

５．２． 実験対象「文字を書く動作」
実験対象を「文字を書く動作」とし，開発システ
ムを実行した場合の入力画像および三次元復元表示
を図 11 に示す．同図 (a)と(b)は，左手と鉛筆に対し，各箇所の特徴点の座標取得，および追跡処理を行っている(接続情報の設定後)．同図(c)と(d)は取得した特徴点座標の三次元アニメーションの表示結果であり，視点の変更を行っている．

画像上の特徴がぼけてしまうため，特徴点追跡精度が落ちてしまうことがある．これらの問題点に関して，CPU やカメラのハード的な性能の向上や入力画質の改善などの解決策が考えられる．
可視化の対象物の表現手段として用いたワイヤーフレーム表示は，いかなる対象物においても概観を表現できるように用いた．汎用性を高めて，即時に可視化を行うためには，マウス操作だけで直感的に接続できるワイヤーフレームが優れている．しかし，操作が複雑にならない範囲でワイヤーの太さや色を変更できた方がより運動を明確に表現することができると考えられる．
６．おわりに

５．３ 考察対象物の特徴点抽出と接続情報の設定にかかる時間は，実験「手のひら」において約 5 分である．従来の画像をＨＤに保存して，マウス操作による作業よりも大幅に特徴点抽出にかかる時間は短縮された．
光学式三次元復元では，特徴点の取得，三次元復また，三次元座標の可視化するまでの時間は，特徴点に関する情報を設定後，約 2 秒で表示される． 元，可視化の過程を独立して行っており，それに伴これは，従来の個別に行っていた処理を 1 つのシス い多くの時間を費やし，汎用性の面での問題があっテムとして統合したため，待ち時間が短縮できたと た．本研究では，三次元復元の過程を 1 つのシステ考えられる．開発システムは，カメラで取得した入 ムとし構成することを提案し，三次元座標を即時に力画像から即時に三次元可視化することができる． 可視化する遠隔表示システムの開発を行った．特徴
この入力画像の動きと可視化されたアニメーション 点ソフトと表示ソフトの連携により，初期座標と接とのタイムラグは，ほとんど感じられない．これは， 続情報の設定のみで，様々な形状の対象物において，逐次復元アルゴリズムの性能でもあるが，画像取得 三次元復元が容易に可能となった．
システムの実証実験として，2 つの対象物に対しから可視化までを短時間で行えることから，2 次元座標入力と三次元座標出力に関するインターフェー て復元処理を行った．特徴点抽出から可視化にかかス（データフロー）が効果的に設定できていると考 る時間は，提案通り大幅に短縮され，対象となる画像を入力後，即時にワイヤーフレームアニメーショえられる．
特徴点追跡処理については，いくつかの問題があ ンによって可視化することができた．また，ハードる．特徴点数が増えることで，追跡処理にかかる計 ウェア構成においても，PC と USB カメラ 2 台だけ算量が多くなり，次のフレームを読み込む時間が長 の簡易構成かつ，マウス操作だけで，三次元表示まくなる．また，その影響によって画像の取得間隔が で可能である．その結果，目標とする汎用的な三次広くなると，次のサンプル時刻において，特徴点の 元復元システムの構築に近づいたと考えられる．
システムの改善点として，特徴点ソフトについて移動距離が長くなる可能性が高いため，追跡制度が低くなる．さらに動物体の素早い動きに対しては， は特徴点自動追跡のさらなる高精度化が求められて

63

リアルタイムビュー機能を有する 2 台のカメラによる三次元計測システム（田房・宮地）いる．表示ソフトにおいては複雑な視点の設定位置を変更し，復元のスケールに対応すること，点またはワイヤーフレームでの表示であるため，ユーザーに対しての見やすさを重視することが挙げられる．
参考文献[1] C.Tomasi and T.Kanade ，Shape and motion

from image streams under orthography: A
factorization method, International Journal ofComputer Vision,vol.9, pp.137-154,1992.

[2] Tan,J.K., Ishikawa,S, Human motion recovery
by the factorization based on a spatio-temporalmeasurement matrix. Computer Vision andImage
Understanding
Vol.82,No.2,pp.101-109,2001.
[3] 田房友典，川田智章，石川聖二:因子分解法に連続性を考慮した変形体の三次元復元法，ビジュ
アルコンピューティング予稿集，pp.249-254(2005).
[4] OpenCV-1.1pre リファレンス マニュアル（日本語）,http://opencv.jp/sample/linear_algebra.html[5] OpenGL de プログラミング,http://wiki.livedoor.
jp/mikk_ni3_92/[6] VideoInput - a free windows video capture
library,http://www.muonics.net/school/spring05/videoInput/[7] B. D. Lucas and T. Kanade: An Iterative ImageRegistration Technique with an Application toStereo Vision, Proc. 7th International
Conference on Artificial Intelligence,
pp.674-679, 1981.