「画像の認識・理解シンポジウム(MIRU2012)」 2012 年 8 月

人流情報分析のための動線と流量の複合可視化手法
福手 亜弥†

大西 正輝‡

伊藤 貴之††お茶の水女子大学大学院 人間文化創成科学研究科 理学専攻 情報科学コース〒112-8610 東京都文京区大塚 2-1-1‡独立行政法人 産業技術総合研究所 〒305-8568 茨城県つくば市梅園 1-1-1
E-mail: †{fuku, itot}@itolab.is.ocha.ac.jp, ‡onishi@ni.aist.go.jp
あらまし 近年，動画像やレンジセンサによる人物移動追跡の研究が進み，人流情報の蓄積や分析が商業利用の面で注目されている．本論文では，インタラクティブな人流情報の可視化手法を提案する．本手法は人流情報を動線と流量の二つの要素から分析することが可能なシステムを提供する．動線分析としては動線のパターン分類を行い，流量分析としては流量の時間変化の表現を行う．さらに動線分析と流量分析を連動させて，複合的に動線と流量を分析することで，特定の時間帯にのみ頻出する人流や，特異な人流の発見や分析など人流に関する興味深い現象の発見が期待できる．動線の分類は，自動分類する手法と対話的操作によって手動分類する手法を選択的に用いる．動線の自動分類はユーザに負荷をかけることなく動線が分類できる一方，一意に決まった分類結果となるため，手動分類を取り入れて動線分類の自由度を広げる．自動的な分類手法にはスペクトラルクラスタリング，手動的な分類手法にはスケッチで動線分類をすることで，類似パターンへの分類，逸脱した行動をしている人物の発見・分析が可能である．また，流量分析における流量の時間変化の表現は，時系列情報可視化手法の一種である ThemeRiverを用いて行うことで，全体の流量変化と各々のクラスタを構成する動線群の時間別分布を可視化することができる．
キーワード 人流可視化，スペクトラルクラスタリング，DP マッチング， ThemeRiver，スケッチ機能

1. はじめに
我々は日常的に様々な場所を歩行しているが，人が歩行する場所には人の流れが存在し，その時々刻々と変化する人の流れを人流という．人流から得られる情報としては，ある場所における人々の歩いた経路（動線）や，特定の場所を通過した人々の量（流量）などがあり，都市開発・広告注目指標・施設運営の効率化など多方面に利用できる可能性を秘めている．近年，商業利用を目的として人物追跡[1]や人流シミュレーション[2]の研究が盛んに行われており，さまざまな場所に設置されたカメラから長期間の人流情報を正確に取得し，蓄積することが可能になってきた．しかし，人流情報を取得・蓄積するだけではなく，施設の活性化や安全管理などの観点からはその分析によって将来の知見を得ることが重要である．
本論文では，蓄積された人流情報の分析を行う為の，インタラクティブな可視化分析システムを提案する．本
システムを利用することで人流情報を動線と流量の二つの要素からインタラクティブに分析・検証することができる．動線分析は人物の行動を把握するために必要不可欠である．さまざまな潜在的意味をもつ動線の特定のパターンの分析において，動線を類似パターンごとに柔軟に分類することは重要である．そこで本論文では，動線の分類を自動と手動の二つの方法で可視化する．自動分類により取得場所に存在する動線をユーザに負担をかけることなく分類できる．しかし，自動による分類は結果が一意に決まってしまうという問題点も存在する．そこ
で手動分類も選択的に行えるようにすることで，ユーザにより動線を意図するクラスタへ分類したり，逸脱した行動を検出することができる．また流量は常に一定ではなく時々刻々と変化するため，流量分析では流量の時間変化を表現することが重要である．さらに動線分析と流量分析の二つを連動させることで分類された動線とそのクラスタ間の流量の時間変化を複合的に分析することが可能になり，人流に関する知見が得られる．
本手法による人流情報可視化分析の手順は以下の通りである．
a)
動線を自動または手動により分類可視化b)
分類した各クラスタを時系列流量可視化c)a)と b)の連動表示によりユーザによる分析を支援
以上の手順のうち，a) では人流情報の動線分析として自動または手動により動線の分類・可視化を行う．前者の自動による動線分類は，スペクトラルクラスタリング[6]を用いることで動線を類似パターンごと，つまりは人流情報を取得した場所での主要な経路へ動線を分類することができる．また後者の手動による動線分類では，ユーザがスケッチを行うことで，ユーザの求めるクラスタへ動線を分類したり，逸脱した行動をしている動線を検出したりと，スペクトラルクラスタリングでは抽出できないクラスタを作り出すことができる．次に b) では人流情報の流量分析として時系列情報の可視化手法の一つを用いて a) で分類された各々のクラスタの動線群の時間別分布を可視化する．最後に c) により a) の動線分析とb) の流量分析を連動させて，複合的に動線と流量の可視化結果を表示する．複合的に人流情報を可視化することで，各々のクラスタが形成する経路が時刻によってどのように変化しているかを一目で確認できるようになる．
取得場所での動線分析により同じ意味をもつ動線群，また逸脱した行動をしている動線の存在，動線分析と連動した流量分析により時刻または時期により流量がどのように変化しているかを把握することで，その流量が変化した原因の追及・改善，さらにはマーケティング支援などの促進に利用できると考えられる．

2. 関連研究
本章では人流情報の可視化における関連研究を紹介する．既存の可視化手法は，動線と流量を一枚の画面で可視化しているものと動線と流量を連動させ別々に可視化しているものに大別される．動線と流量を一つの画面で可視化する代表的な研究として薮下らによる研究[3]と帷子らによる研究[4]があげられる．薮下らの研究は，蓄積された経路情報から動線を近似・量子化し，類似動線を要約して表現している．帷子らの研究は，軌跡成長法により主要経路を抽出し，それらの太さの異なる矢印で表示することで，方向と流量をあわせて表現している．
これら二つの研究は一つの画面で取得した人流データの動線とその流量をまとめて可視化しているため，ある一定時間蓄積した全データをまとめた一つの結果として動線と流量の把握はできるが，変動する人流の様子を表現することはできないという欠点がある．一方，動線と流量を連動し別々に可視化する手法として，大西らによる研究[5]があげられる．大西らの研究は，ファジイクラス
タリングにより動線の分類を行い，またそれぞれのクラスタに意味を与え，最尤推定によって同じ意味を持つク
ラスタの動線数がどのように変化しているかをモデル化・グラフ表示することで，異なる期間や場所の動線がどのように変化しているかを比較し，効率よく動線の増減を可視化している．しかし，異なる時期の流量の違いをそれぞれの主要経路ごとにグラフで表示していたために，異なる時期とそれぞれの経路における流量が全体を通してどのように異なっているかを把握することは困難だった．本論文は動線と流量をそれぞれ複合的に可視化することを目的とし，従来手法では把握できなかった主要経路全体の流量の可視化を実現する．

本論文では，i 番目に追跡され始めた人物が フレーム分追跡されていたとすると，その人の t フレーム目での位置情報をとし，その人が移動した経路をで表す．以降 m を経路次元数，Pを経路情報と呼ぶ．

4. 動線分類
動線分析をする際，動線がどのような意味をもつかを知るために，動線をそれぞれの意味ごとに分類することが重要である．本研究では，動線の分類を，自動と手動の二つの手法で行う．自動による動線分類では，スペクトラルクラスタリングにより動線をデータ取得場所に存在する主要経路へ分類することが可能である．また一意に分類されるクラスタリング処理とは異なり，手動による動線分類では，スケッチによりユーザの求めるクラスタへ動線を分類したり，逸脱した行動をしている動線を検出することができる．

4.1. スペクトラルクラスタリングによる動線分類
動線のクラスタリング処理を行った場合，動線は類似パターンごとにクラスタ分類されるため，取得場所に存在する主な経路を明らかにすることができる．
クラスタリング処理を行う際，処理速度をあげるために前処理でそれぞれの人物がもつ経路情報 P の次元数を同一の次元数に揃える．ここでは揃える次元数を M とする．ある人物の持つ経路次元数 が M より大きい場合は，個ある位置情報の中から M 個取り出す．また， が Mより小さい場合は， 個の位置情報に加えてその位置情報の間に存在しうる新たな位置情報を補完する．以上の前処理を取得データに対して行い，各々の経路次元数をM に統一する．
次に前処理で各経路情報の次元数を M に揃えたデータに対してクラスタリングを行う．一般的なクラスタリン
グ手法としては非階層型クラスタリング手法である
k-means 法が広く用いられている．しかし，k-means 法はクラスタリング結果が初期値に依存するという欠点が存在する．そこで本研究では，この欠点を克服したスペクトラルクラスタリング[6]を用いる．
を M 次元に揃えたものをと定義す
る．n 個のデータセットが与えられ，これらを k 個のクラスタに分類するスペクトラルクラス
タリングのアルゴリズムを以下に示す（図 1）．

3. 実画像からの動線取得
本論文ではステレオカメラを用いて人物の位置情報を取得している．ステレオカメラから得られる視差画像から三次元空間を復元し，復元した三次元点をあらかじめキャリブレーションした床平面に投影を行い，人物の二次元平面上での座標位置を取得する．

Step1: 類似行列 A をデータセット
ifから算出する

Step2: 対角行列 D を，類似行列 A の i 列目の合計を要 素 と し て 持 った 対 角 行列 と し ， 行 列 L をと定義する
Step3: 行列 L を固有値分解し，k 個の固有ベクトルを求める
Step4: それぞれの固有ベクトルを各列に積み重ねて行列を形成し，行列 Qの各行を一つの要素とし，k-means 法を行う
Step5: 行列 Q の i 行目がクラスタ に属しているならば，元の点 をクラスタ に割り当てるは と の同士が隣接しているものは近しいものとして，離れているものは遠いものとして，次元削減を行った後にもその距離値が崩れないように二つの要素の距離値を制御する拡張パラメータであり，自動に選択される．
Step1，Step2，Step3 で類似構造を保ったまま次元削減をしているため，Step4 で実行する k-means 法は初期値に依存しにくくなる．k-means 法とスペクトラルクラスタリン
グを用いて，劇場から出る人々の動線を分類した結果を
図 2 に示す．図 2(a)は取得場所の画像である．図 2(b)は全ての動線をそのまま表示したものであり，動線同士が複雑に絡み合ってどの動線がどこへ向かっているかを把握することは難しい．図 2(c)は全動線に対して k-means法を行ったものである．動線は類似パターンごとにクラスタ分類されているが，青色部分の動線群をみると，異なる経路がひとつのクラスタに分類されていることがわかる．これは k-means 法が初期値に依存してしまう性質をもつためである．図 2(d)は全動線に対してスペクトラルクラスタリングを行ったものであり，先の k-means 法
では異なる経路を通過する動線群が同じクラスタに分類されてしまっていた部分も別のクラスタに分類されていることが分かる．
スペクトラルクラスタリングにより，動線を類似している動線群へまとめることで，取得場所における主要経路へと分類することができると考えられる．

図 1：スペクトラルクラスタリング(a) 劇場から出る人々の(b)トラッキング場所にトラッキング存在する全動線(c)k-means 法による分類 (d)スペクトラルクラスタリ
ングによる分類

図 2：動線の分類例

4.2. スケッチによる動線分類
スペクトラルクラスタリングでは自動で動線が分類できるものの，結果が一意に自動的に決まってしまうため，ユーザの意図するクラスタが抽出されなかったり，逸脱している行動を検出できなくなってしまうということがあった．そこで，スケッチ機能を用意し，マウスによりユーザの求める動線形状を描く（スケッチする）ことにより手動でユーザが動線分類を行うことができるようにする．
本論文において，スケッチにより描画された経路をと定義する．ユーザがスケッチを行い，人物の経路情報 P の中からこのスケッチ経路 と形状類似しているものを抽出する際，弾性マッチングの動的計画法の一種である DP マッチング[7]～[9]を用いて，スケッチ経路 と各々の経路情報 P との類似度を求める．
DP マ ッ チ ン グ は ， 異 な る 二 つ の パ タ ー ン ，と，において，の第 i 要素 と の第 j 要素 との対応付けを最適化する手法である．ある異なる 2 つのパターンに対して DP マッチングを行い，要素間の対応付けの最適化を行ったトレリス（DP パス）を図 3(a)に示す．
図 3(a)では格子点が 2 つのパターンの各々の要素の対応を表しており，格子点では と が対応していることを表している．DP マッチングは時間軸に伸縮したマッチングを行うことが可能なことから，音声やジェスチャなどの時系列パターン認識や，顔・文字などの画像認識などの分野で広く利用されている[10]．
異なる 2 つのパターン と の DP マッチング処理を以下に示す． と のベクトル間の局所距離をとする．各格子点における累積距
離を次式で求める(図 3(b))．

(1)(a) 最適経路探索空間としてのトレリス(b) 累積距離
図 3：DP マッチング

パターン間距離は非線形伸縮に対して不変なマ二つの一次元パターン と の DP マッチングは，ッチング距離であり，動線のような時間的な変形を伴うを求めることと同義であるため，を求めれ パターン認識に有効である．また，長さの異なる 2 パタ
ば二つのパターンの要素間の対応付けは最適化されていーンにおいても計算可能な距離である点も重要である．
ることとなる．求められたはパターン と の類 また，対応関係はパターン を基にした の変形状況を似度を表している．
表現したものであり，構造解析的手法や統計的解析手法
DP は時間軸に伸縮しているため，長さで正規化を行う． との接点となりうる．
格子点までに選択された経路の長さを求める． 本研究ではスケッチ経路 と全ての経路情報 P に対して DP マッチングを行い，がある閾値以下であるものを類似経路として抽出する．抽出された動線群をひ(2)とつのクラスタとし，動線可視化画面でハイライト表示を行う．
この操作を各格子点にて行い，次式より累積経路をそれまでたどった経路の長さで正規化する．

(3)

5. 時系列流量可視化
先のスペクトラルクラスタリング，またスケッチによる動線分類結果を用いて，各クラスタの時間帯別動線数を計算する．そして時系列情報可視化手法の一種である
ThemeRiver[11]を用いて，各クラスタの時間帯別流量を可視化する．
ThemeRiver とは，要素数の時間的推移を川の流れのように提示する可視化手法で，各要素を色で，各要素の値の大きさを垂直方向の幅で，時間を横軸で表しており，複数の要素の時系列変化を積み重ねて表示する．この手法の特徴は，値の大きさが塗り分けの幅に対応しているため，どの要素が大きく変化しているかを一目で知ることができること，また水平軸と対象になる要素を積み重ねているため，全体の変化をとらえやすくなっていることである．文献[11]では新聞のトピック数の変化を可視化することで提案手法の有効性を評価している．新聞のトピック数の時間的変化を ThemeRiver で表示した例を図 4に示す．図 4 は新聞のトピックを色で，トピック数を垂直方向の幅で表現しており，複数のトピックの時間的推移の同時把握を容易にしている．
図 5：取得データ場所の風景

図 4：ThemeRiver を用いた表示例
本手法では，ThemeRiver における色を各クラスタに，垂直方向の幅を各クラスタの流量にあてることで，全体の流量変化とクラスタごとの流量変化を可視化することができる．これにより，クラスタごとに流量がどの時刻にどのように変化しているかを把握することで，その流量の変動原因の追及・改善などに利用することができると考えられる．

6. 実験・考察
6.1. 実験東京都の秋葉原にある複合施設のエレベータ付近に設置したステレオカメラから取得した人流情報を本手法に適用した事例を紹介する．本事例においてある土曜日の9～23 時のデータの可視化分析を行った．
図 5 に画像の取得場所の再現図を示す．左に見える赤い四角で囲まれたエスカレータは 2 階から 3 階へと上がるエスカレータとなっており，右側に見える青い四角で囲まれたエスカレータは 3 階から 4 階へ上がるエスカレータである．図 6 は取得データ場所に存在する動線をそのまま表示したものである．

図 6：データ取得場所に存在する全動線

6.1.1. スペクトラルクラスタリングによる考察
取得した動線データに対してクラスタ数 8 でスペクトラルクラスタリングを実行し，動線を自動的に 8 つの経路に分類した．図 7 に分類された動線の可視化結果を示す．図 7 において，ピンク色の動線は 2 階から 4 階へ上がる人の動線，紫と青色の動線は 3 階から 4 階に上がる
人の動線，黄色と赤色の動線は 2 階から 3 階へ上がる人の動線，水色と橙色の動線はエレベータの横をすり抜ける人の動線，緑はエスカレータ付近を歩く人の動線を表している．なおクラスタ数は実験的に決定した．スペクトラルクラスタリングにより動線を類似パターンに分類することで，取得場所に存在する主な経路を明確化し，その経路を詳細に分析することでさらなる人流分析を行うことが可能になる．
次に動線を分類した各々のクラスタの流量変化をThemeRiver により表したものを図 8 に示す．横軸は時間，縦軸は人数を表しており，それぞれの色が図 7 の動線の色の人数に対応している．ThemeRiver を見ると，全体的に 13 時と 18 時に流量が多くなっていることがわかる．
また，それぞれのクラスタの流量の変動をみると，黄色と赤色のクラスタが 13 時と 18 時に大きく流量が増加しているのがみてとれる．赤色と黄色の動線は 2 階以下から 3 階へあがってきた人の動線であり，本施設の 2 階から 3 階にはレストランフロアとなっていることから，これは食事に訪れた人の動線であるといえる．また，本施設の 4 階より上のフロアにオフィスがあるが，2 階以下から上がってきた人の動線の流量が増加していることから，食事に訪れた人々はオフィスの人々ではなく，一般の人々であることが推察できる．

人流の流量を比較することも可能である．
上記の実験と同じ施設において，同一場所にて取得したある土曜日の 9～23 時とある火曜日の 9～23 時の二つの異なる時期のデータを比較した．これらのデータを合わせてスペクトラルクラスタリングを用いてクラスタリング処理を行い，先の 8 つの経路に動線を分類する．続
いて，土曜日と火曜日の流量変化を ThemeRiver による可視化結果（図 10)によって比較する．図 10(上)は土曜日，
図 10(下)は火曜日の流量変化に関する可視化結果である．
二つの ThemeRiver を見比べると，土曜日に比べて火曜日
図 7：スペクトラルクラスタリングによる動線分類の昼前後の流量の幅（図 10 の黒色の線の間の部分)が大きくなっていることから，昼は火曜日の利用者の数が多いと結論付けることができる．また，その時間帯の各クラスタの流量の様子をみると，火曜日の桃色・青色・紫色クラスタの可視化結果の幅が特に大きくなっていることから，4 階より上の平日に利用されるオフィスに勤めている人々がこの施設を利用していることが原因と考えられる．さらに，お昼のピークの時間は土曜日が 13 時であるのに対し，火曜日は 12 時であることから，平日は主にオフィスワーカにより使用されているため昼食時の時間帯が限られているが，休日は自由な時間に昼食をとる
図 8：土曜日の流量を表す ThemeRiver
ことができるため，このような分布になったと推測される．そして，休日である土曜日の ThemeRiver は平日である火曜日に比べ，流量変化がゆるやかである．これより，
6.1.2. スケッチによる考察
先の実験データに対して図 9 の黒色の線で示されたス 一般客の多い土曜日は客層がさまざまであるため時間にケッチを行うと，図の赤色で示された動線が抽出された． ばらつきがあるのに対し，オフィスワーカが多い平日は
これは，エスカレータの上りと下りを間違えてしまった 会社の昼食休憩や会社帰りというような決まった時間に人の動線と考えられる．このようにスケッチを用いるこ 訪れることが多いため，このような現象がおこると考えとで取得データの中から逸脱した行動をとっている人の られる．
動線の検出が可能である．スケッチ機能を用いて逸脱した行動を検出するで，不審者の発見やある行動を禁止されている場所における違反者の発見などの分析を行うことができる．

図 9：逸脱行動検出(エスカレータの上り下りを間違えた動線)

6.2. 同一場所における異なる時期の人流比較本手法を用いて，ある時期のみでなく，異なる時期と

図 10：流量比較(上：土曜日，下：火曜日)

pp.230-244, 2006.
[5] 大西, 依田, “大型複合施設における長期間にわたる人流
本論文では，蓄積された人流情報の分析を行う為の，比 較 と 可 視 化 手 法 ,” 電 子 情 報 通 信 学 会 論 文 誌 (D),vol.J90-D, no.4, pp.486-493, April.2010.
インタラクティブな動線と流量の可視化手法を提案した．
[6] A. Ng, M. Jordan, and Y. Weiss, “On spectral clustering:
動線分析として動線を自動(スペクトラルクラスタリン
Analysis and an algorithm,” NIPS, pp.849-856, 2001.
グ)と手動(スケッチ)により分類することで，取得場所に[7] 迫江, 千葉, “動的計画法を利用した音声時間正規化に基おける人物の行動を類似パターンまた，逸脱行動検出とづく連続音声認識, ”日本音響学会誌, vol.27, no 9, pp.43-49,
1978.
いう二つの方向から分析することができた．また，これ[8] H. Sakoe and S. Chiba, “A dynamic programming algorithmと連動させて類似パターンの動線群の流量分析をoptimization for spoken word recognition, ” IEEE Trans.Acoust.
ThemeRiver により行うことで時間帯による主要経路ごと
Speech and Signal Proc., vol.ASSP-26, no.1, pp.43-49, 1978.の流量変動の傾向を知ることができ，その経路がどうい[9] H. Sakoe, “Two-level DP-matching algorithm: a dynamic
programming based pattern matching algorithm for continuous
う行動をしているかを分析することで，流量変化の原因
speech recognition, ” IEEE Trans. Acoust. Speech and Signalを読み解くことができた．また可視化分析システムを用
Proc., vol.ASSP-27, no.6, pp.1058-1066, 1989.
いて，ある時期と他の時期を合わせて比較することで特[10] 大田, 山田, “動的計画法によるパターンマッチング,” 情報処理, vol.30, no.9, pp.1058-1066, 1989.
定の時間帯のみに頻出する人流や，特異な人流の発見や[11] Susan, Beth, Lucy, “ThemeRiver: Visualizing ThemeChanges
分析が容易になると考えられる．
over Time,” Freshwater Biology, vol.46, no.6, pp.807-819,
よりユーザに対応した人流情報分析システムを実現す
June.2001.

7. まとめるために，今後の課題として以下の点があげられる．
 自由歩行が行われている場所で取得した人流情報に対しての動線分類
 主要経路に該当する動線のサンプリング表示
 移動方向の表示
歩行者が自由にあらゆる方角へ移動できる公園などのような自由歩行が行われている場所においては，人々は決まった行動パターンをしていないため，取得した人流情報に対して動線分析を行う上で動線の分類を行う場合，正しいクラスタリング結果を得るのは難しいことが想定される．そのため，自由歩行で取得した人流情報に対しての最適な動線分類方法を模索する必要がある．また，主要経路に該当する動線のサンプリング表示については，現段階では分析対象の人流情報の動線を主な経路ごとに色分けして描画しているが，すべて描画してしまうと色分けしているとはいえ煩雑な可視化画面になってしまう．
これを改善するために，主な経路を代表する動線をクラスタから選択して，それだけを表示させることで主要経路の視認性の向上を図りたい．移動方向の表示について
は，現状では動線がどの向きに進んでいるかが分からない可視化結果になっているため，今後の課題として移動方向の情報も付加した可視化手法が必要である．

文献[1] J. Zhou, and J. Hoang, “Real Time Robust Human Detection
and Tracking System,” IEEE Computer Vision and PatternRecognition(CVPR), no.3, pp.149, 2005.
[2] 山田, 阿部, 木村, “計画・非計画購買者を考慮した店舗内人流シミュレーション,” 人工知能学会全国大会論文集,vol.19, pp.3E3-02, 2005.
[3] 薮下, 伊藤, “経路情報の要約と可視化の一手法,” 芸術科
学学会論文誌, vol.10, no.3, pp.167-178, 2011.
[4] 帷子, 趙, 柴崎, 有山, “レーザスキャナを用いた群集の流動抽出およびセンサネットワークを用いた温度分布モニタリング,” 全国測量技術大会 2006 学生フォーラム ,