情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A11
2016/3/2

美部屋度推定法の検討
浦島 智†

唐山 英明†

鳥山 朋二†

概要：一人暮らしの部屋の散らかり方の変化は，そこに居住する者の生活の変化を反映する．この散らかり方の変化を自動的かつ継続的に計測することができれば，居住するものの身体機能の低下などを検知し，外部から介入することなどが可能となると考えられる．本論文では，床面に向けて天井付近に設置した深度カメラからの距離画像を用いて，その部屋の美部屋度を推定する手法を提案する．2 名の被験者の部屋で約 1 ヶ月半の期間に取得された距離画像およびカラー画像の中から，それぞれ 15 枚，14 枚の画像を選び，距離画像から提案手法で美部屋度を推定し，カラー画像から部屋の乱雑さを人の目により 1 対比較法で評価した結果，それらの間で相関係数 0.88, 0.84 と高い相関を得ることができ，提案する美部屋度が部屋の散らかり状況の指標となることを示すことができた．

A Study of Evaluation Method for the Room Tidiness
AKIRA URASHIMA† HIDEAKI TOUYAMA†TOMOJI TORIYAMA†
Abstract: The change of the room tidiness of the single life reflects the change of the resident’s life. If we can automatically andcontinuously evaluate the change of the tidiness, we can detect the decrease of the body ability etc., and can let the persons
concerned go to aid him. In this paper, we propose the evaluation method for the tidiness of a room using the depth image from thedepth camera which is set near the ceiling and aims to the floor. We carried out the experiment of acquiring the depth/color room
images of the two subjects for about one and a half months. From the selected 15 and 14 pieces of images, we obtained highcorrelation coefficient value as 0.88 and 0.84 between the tidiness value calculated by the proposed method and the humanevaluated room tidiness by the pairwise comparison method, which shows that the proposed method can be usable to evaluate theroom tidiness automatically.

1. はじめに

2. 美部屋度推定法

一人暮らしの生活において，居住する部屋の整理整頓は本論文で提案する手法では，天井付近から床面に向けた本人の問題となる．本人の性格にも依存するだろうが，生深度カメラの距離画像は以下のような手順で処理される

活に乱れが生じた場合，部屋の整理にかけるリソースが少（図 1）．

なくなり，「散らかった」状態になる場合がある．
この「散らかった」状態の度合いを日々自動的に計測す

距離画像

セル分割

時間方向の平均

セル毎の平面近似

マスク処理

セル毎に平面と距離画像の差のRMS の計算ることができれば，例えばある時点より急に散らかるようになった場合，病気や怪我など身体機能の低下や何らかの生活上のトラブルが発生を疑い，外部からの介入が可能となると考えられる．また，自分で気付きにくい部屋の様子の緩やかな変化なども客観的に把握することができ，整理整頓のきっかけとすることができると考えられる．

RMS が閾値未満のセルをカウント

美部屋度

そこで我々は，天井付近に設置した赤外線深度カメラからの距離画像を用いて，部屋の美部屋度を推定する手法を
図 1提案する．距離画像を用いることで，部屋に存在する物体の色模様に影響を受けず，また赤外線を用いることで，照Figure 1

美部屋度推定の流れFlow of evaluation for the room tidiness

明状態に関係なく推定できる．また，距離画像では文字や絵などの情報を読み取ることができず，推定結果も美部屋

まず，取得された距離画像に対して，ノイズの影響を低度という単純な数値であるため，使用者のプライバシー侵減するために一定時間の平均をとる．次に，部屋の美部屋害への恐れを低減することができると考えられる．

度と関係しない窓や壁などの領域や，プライバシーの恐れ

本論文では，2 章で提案する美部屋度の推定法について述べた後，3 章で提案した推定法の検証実験について述べ，4 章で実験結果について検討を行い，5 章でまとめる．

から被験者にとって扱ってほしくない領域などを除外するため，画像のマスク処理を行う．
マスク処理された距離画像は，一定の大きさの長方形の† 富山県立大学
Toyama Prefectural University© 2016 Information Processing Society of Japan201

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A11
2016/3/2

セルに分割され，そのセルごとに最小 2 乗法を用いて近似する平面を算出する．この近似平面と距離画像のピクセル値(単位は mm)との差の二乗平均平方根(RMS)をセルごとに計算する．物が置かれていない床面や机などの領域のセ比較ソフトの絵ルについては，この RMS の値は小さくなり，物などが置かれると RMS の値は大きくなる．
最後に，計算した RMS の値が，あらかじめ指定した閾値未満となるセルの数をカウントし，これを美部屋度として採用する．
図 2

3. 美部屋度推定法検証実験

一対比較画面の外観

Figure 2 Screen of pairwise comparison

今回提案した美部屋度の推定手法を検証するための実験を実施した．以下にその内容と結果を述べる．

210 回，被験者 B の画像については 182 回の評価を一人の3.1 実験環境評価者は実施することになる．ただし，画像対の出現する

本実験の被験者は，一人暮らしの 20 代男性 2 名（それぞ順序はランダムである．

れ被験者 A，被験者 B とする）であり，実験期間は 2015 年

評価された結果について 5 段階の尺度に－2～＋2 の数値9 月中旬から 10 月末までの約 1 ヶ月半である．被験者本人(数値の小さい側がより乱雑となる)を対応させ，シェッフが，被験者の生活する部屋の隅に床から天井まで届くポーェの一対比較法 [1]を用いて各カラー画像の評価値を求めルを立て，その天井付近に床面に向けた深度カメラを設置た．この評価値は評価者の評価の平均となるため－2～＋2した．の値をとる．これを部屋の散らかり方の指標(正解)とする．

深度カメラには Microsoft 社の Kinect2 を用い，部屋に設一方で，カラー画像と同じタイミングの距離画像に対し置したノート PC により 30 分おきに部屋の距離画像を取得て，2 章で述べた提案手法を適用し，美部屋度を算出した．

し，記録した．ただし記録される距離画像は，30 フレーム分割したセルの数は 1024(=32×32)であるが，画像のマスク(1 秒間分)の平均を取ったものとした．また検証のため，距により計算に使用できないセルがあるため，美部屋度の値離画像と同時に通常のカラー画像も取得した．

は 0 以上使用可能なセル数以下の整数をとることになる．

取得した距離画像およびカラー画像については，被験者以上より，人が評価した時の評価点と提案手法による美本人に全数をチェックしてもらい，プライバシー等の問題部屋度の相関係数を求める．この相関係数が十分に高い値がないと判断したものについてのみ，提出してもらっていであれば，提案手法により自動的な美部屋度の推定が可能る．これにより被験者 A については 2210 枚，被験者 B にであるといえる．

ついては 1855 枚の距離画像およびそれと同時のカラー画

3.3 実験結果像が取得された．
3.2 検証手法
部屋の散らかりの度合いを人の目によって判断するために，約 1 ヵ月半の実験期間を 3 日ごとの 15 の期間に分け，図 3 に提案手法でセルをカウントする際に用いる閾値を変化させた場合の相関係数の変化を示す．閾値が 1.5 mm～1.75 mm のあたりで相関係数がピークとなることが見て取れる．

(1)人が写っていない，(2)カラー画像で部屋の様子がわかる，そこで閾値を 1.75 mm とした時の提案手法による美部屋という二つの条件に合致するカラー画像を一つの期間につ度と，人による評価値の対応を，被験者 A の部屋についてき 1 枚抽出した．その結果，被験者 A については 15 枚，は図 4 に，被験者 B の部屋については図 5 に示す．それ

被験者 B については 14 枚の画像が抽出された．数が異なぞれ美部屋度が大きくなるにつれ，人による評価値も大きる理由は，被験者 B について条件に合う画像が存在しないくなる傾向が読み取れる．被験者の部屋間で美部屋度の値期間があったためである．の範囲が異なっているが，これは部屋の様子(露出している

この抽出したカラー画像について，被験者とは別の評価床面積)の差によるものと考えられる．

者に一対比較を行ってもらった．評価者は，それぞれの被この時の相関係数はそれぞれ 0.88 と 0.84 であり，十分験者について 50 代女性 1 名，20 代男性 2 名の合計 3 名と高い相関を示しているといえる．また，それぞれの p 値はなっている．評価者には図 2 に示すような画面で，左右に1.2×10-5 (< 0.01), 1.5×10-4 (< 0.01)となっている．

並べた一対のカラー画像に対し「左の方が乱雑」「左の方がやや乱雑」「どちらが乱雑とも言えない」「右のほうがやや乱雑」「右のほうが乱雑」の五段階で評価してもらう．画像の左右の入れ替えを含めて，被験者 A の画像については© 2016 Information Processing Society of Japan202

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A11
2016/3/2

4. 検討

閾値による相関係数の変化

14.1 美部屋度と人による評価値との不一致について
被験者 B の部屋の，美部屋度 347，評価値 0.64 の場合の相関係数0.8

カラー画像を図 6 (a)に，美部屋度 286，評価値 0.84 の場合0.6のカラー画像を図 6 (b)に示す．

0.40.2

被験者a

この二つの部屋の状況では，(b)に比べて(a)の方が美部屋被験者b

度に関しては大きいに関わらず，人による評価値は(b)の方が高くなっている．これは，(a)の画像の上側中央寄りに写0っている複数のレジ袋が注目を集め，逆に(b)の下方やや左00.5
11.52セルをカウントする閾値 (mm)
図 3

Figure 3

2.5

寄りの床の上にレジ袋を含む複数のものが置かれていることが注目を集めなかったため，(a)の方が物のない床の面積

閾値による相関係数の変化が大きいにも関わらず，(b)の方がより乱雑でないと評価さ

Threshold value vs. Correlation coefficientれたのではないかと思われる．
提案する手法では，今のところ場所による影響を考慮していない．例えば，部屋の中央に置かれたものは，壁寄りに置かれたものより邪魔で片付いていないといえる．距離

被験者A

1.5

画像で壁を検出した場合，その付近のセルが美部屋度に与える寄与を小さくすることで対応が可能と思われる．

人による評価値1

また，ゴミ箱のような円筒や直方体の形状のものは，レ0.5

ジ袋のような複雑な形状を持つものに比べて，乱雑さを感0じさせにくいという効果があるのかもしれないが，これに

-0.5

100

130

160

190

220250

ついては，まず人の評価にどのような影響があるかを調べる必要がある．

-1
-1.5

提案手法による美部屋度

図 4 被験者 A の美部屋度と評価値の対応
Figure 4 Calculated tidiness value vs.
Human evaluation for subject a

被験者B

1.5

人による評価値(a)(b)1(a) 美部屋度 347, 評価値 0.64 のカラー画像(a) The color image which tidiness value is 347 and humanevaluation value is 0.64

0.5
0-0.5

200

230

260

290

320

350-1-1.5

提案手法による美部屋度

図 5 被験者 B の美部屋度と評価値の対応
Figure 5 Calculated tidiness value vs.
Human evaluation for subject b(b) 美部屋度 286, 評価値 0.84 のカラー画像(b) The color image which tidiness value is 286 and humanevaluation value is 0.84
図 6

画像例とその美部屋度

Figure 6 Sample color image and the tidiness value.

© 2016 Information Processing Society of Japan203

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A11
2016/3/2

井による整理整頓評価システム[3]が存在するが，作業者の4.2 評価者間の評価の違い机上の評価のために，可視光の画像を使用するものである．

評価値を評価者ごとに求め，評価者間での評価値の相関

一方で，本研究が対象とする美部屋度の推定では，就寝中をまとめたものを表 1 に示す．被験者 A および被験者 Bなど照明を落とした状態で居住者が在室する場合が考えらで共通する評価者については同じ記号を用いている．

れるため，対応できない場合があると思われる．また，広比較可能なすべての評価者間で正の相関がみられ，部屋

瀬らは Kinect センサを用いた床面の洗濯物片付き度合い判の乱雑さについて共通する認識があると思われる．ただし，定システム[4]を提案しているが，洗濯物が一定の段階に従評価者 A と評価者 C および，評価者 B と評価者 D の間でって片づけられることを前提として，その段階の評価を行は，相関係数が 0.9 以上の非常に強い相関がある一方で，うものである．そのため，洗濯物だけとは限らない部屋のそれ以外の組み合わせでは，相関係数が 0.8 程度までとな散らかりに対しては適用することができない．っている．これは，特定の個人が特殊であるということはないが，乱雑さの細かな評価において個人ごとに異なる基準が存在することを示唆していると思われる．

5. まとめと今後の課題
本論文では，部屋の乱雑さを取得するために，赤外線深表 1度カメラを用いて，距離画像から部屋の美部屋度を推定す

評価者間の評価の相関

Table 1 Correlation coefficient of evaluated value betweenる手法の提案を行った．検証のための実験では，2 名の被evaluators

験者の部屋の画像について，人の目による評価との相関係

被験者 A への評価

被験者 B への評価数が 0.88 および 0.84 となり，提案する手法による美部屋評価者対評価者対度の値が人による評価と合致することが確かめられた．

相関係数

相関係数

A-B

0.75

A-B0.80

B-C0.65

B-D0.92

C-A

0.90

D-A

0.80

4.3 関連研究
居住空間がものであふれかえり，本人もしくは第三者の社会的，職業的，その他の重大な生活機能に著しい苦痛や障害が生じる状態は，ためこみ症という疾病として定義されている[2]．土屋垣内らの研究[2]では，9 段階の異なる散らかり状況サンプルの写真を示し，部屋の状態を答えてもらう Clutter Image Rating （CIR）日本語版が紹介されているが，写真との比較は人が行うものであり，部屋の状態が自動的に計測されるものではない．また，病的な状況を測るためのものであるため，日常生活の中で用いるには，散今後の課題として，より人の評価に合致させるための，部屋の構造に対するものの配置の影響の検討や，人による評価の違いの要因の究明があげられる．また，実験を通じて，部屋の居住者の生活上の変化イベントと，美部屋度の変化との対応を検証していきたいと考えている．

参考文献[1] 高木 英行, “使える！統計検定・機械学習-III-主観評価実験のための有意差検定”, システム/制御/情報, Vol.58, No.12, pp.
514-520 (2014)[2] 土屋垣内晶, 黒宮健一, 五十嵐透子, 堀内聡, 安藤孟梓, 鄧科,吉良晴子, 津田彰, 坂野雄二, “ためこみ傾向を有する日本の青年の臨床的特徴”, 不安症研究, Vol. 6, No. 2, pp.72-85 (2015)[3] 石井徹, “整理整頓評価システム”, 2011 年電子情報通信学会
総合大会, A-18-8, p.280 (2011)[4] 広瀬大樹, 三好力, “3D 情報を用いた洗濯物片付き度合い判定システムの提案”, 情報処理学会第 76 回全国大会, 4Q-8, p.260(2014)

らかり段階の粒度が不足している．
自動的に整理整頓状況を計測するための研究として，石© 2016 Information Processing Society of Japan204