情報処理学会 インタラクション 2019
IPSJ Interaction 20193P-76
2019/3/6

ToF カメラの計測歪みを利用した水深の推定と水を媒体とするインタラクションへの応用
片岡 駿之介1古賀 崇了1,a)

概要：本研究では，Time of Flight (ToF) カメラを利用して水を撮像した際に生じる計測歪みを利用して，容器内の水深を多点で同時に推定する手法を提案する．一般的な水深測定の手法として浮きや超音波センサを用いる手法があるが，これらは多点で同時に水深を測定することに適していない．一方で，提案手法は画像処理によってリアルタイムに多点同時推定を実現するため，「浮きなどとの物理的な干渉がない」，「超音波センサをアレイ状に配置する必要がない」などの利点がある．本稿では，提案手法による水深推定実験の結果を示し，インタラクティブアート等に応用可能な，水を媒体として音・映像に変化をもたらすプロジェクタ―カメラシステムのプロトタイピングの結果について述べる．

1. はじめに
近年，インタラクティブアートにおいて鑑賞者が作品に触れる際の媒体として，水などの液体を用いる方法が注目を集めている．例えば，FairLift[1] は，水中および水上に空中像を表示する光学系を応用した作品である．この作品

し，このモデルを用いて入力された画像から水深の推定を行う．本報告では，提案手法による水深推定実験の結果を示し，水を媒体として音・映像に変化をもたらすプロジェ
クタ―カメラシステムへの応用事例について述べる．

2. 提案手法

では，水槽内の水位の変化量を超音波センサを用いて計測提案手法で用いる水深の多点同時測定システムの構成

し，その変化量に応じて空中像の表示高さを変化させること，処理の流れを図 1 に示す．水が入った容器の深度情報とで，水中および水上に表示された空中像をすくい上げるは，床面に対して垂直に設置された Kinect V2 によって取インタラクションを実現している．

得され，ワークステーションに入力される．本研究では，浮きや超音波センサは水位や水深を測定するための代表

Kinect V2 の深度情報の取得可能範囲を考慮し，設置高さ的な手法であるが，これらの手法で多点測定を行うためにを床から 1,000mm の位置とした．Kinect V2 から得られは複数の浮きやセンサを配置する必要がある．また，これる深度情報は，各画素に深度値を持つ深度画像となる．水らの手法を利用した多点測定を行う際の問題点として，浮がある場所については，この深度画像中で 1,000mm 以上きを利用する手法は外見上望ましくなく，超音波センサをの深度情報を持つという計測歪みが発生する．この歪み量用いた手法ではセンサをアレイ状に配置する必要があるたは水深に応じて変化するため，この原理を利用して，水がめ構成が複雑になることが挙げられる．

ある位置の検出と水深の推定を行う．

本研究では上記の問題を解決し，水を媒体とするインタ

深度情報から水深を推定するためのモデルの構築は以下

ラクティブアートへ応用することを目的として，深度画像の手順で行った．はじめに，容器内の水深を 0mm, 50mm,を利用した水深の多点同時測定手法を提案する．水深の多100mm, 150mm, 200mm と変化させた際の深度画像を 100点同時測定には，ToF カメラを用いて半透明物体の深度情フレーム分取得する．Kinect V2 から得られる深度画像は，報を取得した際に生じる計測歪みを利用する．岩口らは，512×424 [px] の解像度を持つ．得られる深度画像の周辺部

ToF カメラで半透明物体までの距離を計測した際に計測にはノイズが多く発生するため，周囲 30px はモデル化の結果に歪みが生じる性質を利用し，半透明物体の分類を実データに含めないようにトリミングを行う．また，合成し現した [2]．この計測歪みは水においても同様に現れるたた深度画像にはノイズによる外れ値が多く含まれるため，め，水深に応じて得られる深度情報をあらかじめモデル化

深度画像を 8px 四方の窓で切り出し，そのうちの深度値が1a)大きい方の上位 15%を外れ値として除外する．外れ値を除
国立高等専門学校機構 徳山工業高等専門学校
koga@tokuyama.ac.jp© 2019 Information Processing Society of Japan

外した深度値の中から最も大きい値をその窓の代表値とす

972

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

図 13P-762019/3/6

図 2システムの構成と処理の流れ．

(b)(a)(a) 推定結果の例．(b) 映像投影の様子．

る処理を深度画像中の全ての窓で行うことで，3,392 個の平均と標準偏差を求めた．これを画像中の全ての容器が置代表値が得られる．

かれているエリアで計算し推定精度を評価した結果，水深次に，これらの 3,392 個の代表値のうち，深度値がしき80mm から水深 170mm の間において，実際の水深との誤い値を越える値を取り出す．しきい値は Kinect V2 の床面差± 20mm 以内で推定できることが確認できた．ただし，からの設置高さである 1,000mm に，深度画像に現れるノ水深が 80mm 未満の場合や，視野の端の領域では精度低下

イズを考慮したオフセットを 20mm 加えた 1,020mm とすが見られた．

る．それぞれの水深について得られている 100 フレーム分

4. 水の状態を利用した映像と音とのインタラ
クションシステムの代表値の平均値をモデル構築用のデータとして利用する．ここで，同じ水深の容器であっても，深度画像の中心部ほど深度値が大きく，端になるほど深度値が小さく検出

本研究では，図 1 に示すような，水を媒体として音・映像される特性を考慮して，モデルを構築するための関数 f をに変化をもたらすシステムのプロトタイピングを行った．

以下の式で設定した．

容器の x, y 方向の座標，水深の推定結果，水面の揺らぎのf=X ∑Y∑

状態を，Open Sound Control(OSC) を利用して図 1 の投{d(x, y) − (−ax − by + c)}
222

x=0 y=0

影映像生成部，音響データ生成部に送信する．投影映像生成部では，Processing を用いて映像を生成することで，図ここで，d(x, y) は実測値，x, y はデータの座標，c はモデ2(b) に示すように，水が検出された領域の深度に応じて投ル用データの深度値の最大値を表す．この評価関数が最小

影内容を可変にしている．一方，音響データ生成部では，となるような a, b の組み合わせを最適化により求める．

ビジュアルプログラミング環境 Pure Data(Pd) を利用し，上記のモデルを各水深について構築した後は，入力され水の状態に関する受信データを音の高さ，音量，エフェクた画像に対して以下の手順で水深推定を行う．Kinect V2

ト，ノイズなどの様々な効果と対応づけることにより，イから入力された深度画像のうち，しきい値 1,020mm を越ンタラクティブなサウンドの生成を行っている．システムえる点を全て取り出し，これらを計測対象点とする．座標

構築後，鑑賞者が水の状態を変えることによるリアルタイx, y における各水深のモデルを fn (x, y) とする．ここで，ムな映像・音の変化を確認することができた．

n = 0, 1, 2, 3, 4 であり，この添字はモデル構築時に計測した水深の値 0mm, 50mm, 100mm, 150mm, 200mm にそれ5. おわりにぞれ対応する．ある計測対象点 x, y の深度値が dr (x, y) で本研究では，ToF カメラによる水の撮像で得られる深度∗与えられる時，fn∗ (x, y) < dr (x, y) < fn+1(x, y) となるよ∗∗うな 2 つのモデル fn (x, y) と fn+1 (x, y) を求める．この関

画像の計測歪みを利用した水深の多点同時測定手法を提案

係性から，添字 n と n + 1 に対応する水深 wn と wn+1 をたインタラクションシステムのプロトタイプを構築した．

求め，以下の式で水深の推定値 we (x, y) を求める．

we (x, y) =dr (x, y) − fn∗ (x, y)∗ (x, y) − f ∗ (x, y) × (wn+1 − wn ) + wn
fn+1n

これを全ての計測対象点で行うことで，水深推定を行う．

し, その推定精度の評価を行うとともに，その結果を利用し今後は，水深の推定精度の向上に取り組む予定である．
謝辞 本研究は JSPS 科研費 16K21580 の助成を受けた.
参考文献
[1]

3. 評価
水深推定の結果の一例を図 2(a) に示す．水深推定の精度評価として，図中の枠線で囲まれた領域内において，水[2]Y. Matsuura and N. Koizumi, “FairLift: Interaction with
Mid-air Images on Water Surface,” SIGGRAPH 2018
Emerging Technologies, Article No.6, 2018.
岩口優也, 田中賢一郎, 青砥隆仁, 久保尋之, 舩冨卓哉, 向川康博,“ToF カメラの距離計測歪みを手掛かりとした半透明物体の分類,” 情処研報 CVIM 203-12, Sep. 2016.

深の推定値が 0 を越える値を対象に，推定された水深の© 2019 Information Processing Society of Japan

973