Vol.2012-DPS-152 No.29
Vol.2012-GN-85 No.29
Vol.2012-EIP-57 No.29
2012/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

書き込みの時間軸表示によるホワイトボードログの振り返り支援システムの実装
谷口 禎英1,a)

堀口 悟史2,b)

井上 亮文4,c)

井垣 宏3,d)星 徹4,e)

概要：ホワイトボード上に書かれた内容は，記録しておくことで後から議事録を作成するための資料や新たなアイデア創出のヒントとして再利用することができる．議論の途中経過を残すために保存された動画のログは，どの動画にどの議論が記録されているか分かりづらい．また，いつ，何が議論されているか分からないため効率的な振り返りができない．我々はこれまでに，ホワイトボードを用いた議論のログ動画を振り返りやすい形に再構成し提示するシステムを提案した．本稿では，これまでの研究概要に加え，新たに実装した Web コンテンツ生成のための動画処理手法とその精度評価について述べる．
キーワード：ホワイトボード，振り返り，会議支援

A Review Supporting System for Whiteboard Logging Movies
Based on Notes Timeline
Taniguchi Yoshihide1,a)Horiguchi Satoshi2,b) Inoue Akifumi4,c)
Hoshi Tohru4,e)Igaki Hiroshi3,d)Abstract: Notes on a whiteboard can be useful when we have to make meeting records. They can also
provide us some tips for creating new ideas. However, reviewing the meeting video eﬃciently is diﬃcult
because we can not identify whether the video includes the target scenes until we open and play it. In thispaper, we propose a review supporting system for meeting videos based on notes timeline. In this system,
each highlighted note on a whiteboard is extracted and clipped out as a still image with its time stamp fromthe meeting video. Those images are sorted by the time stump, and are arranged along the seek bar. We caneasily grasp when and what was discussed in the meeting videos from the sequence of those images. They
can be used as the playing indexes of the videos. Experimental results showed that the precision and recall
value of note-block extraction were 87 % and 77%.
Keywords: Whiteboard, Log Reviewing, Meeting Support1234a)b)c)

東京工科大学大学院バイオ・情報メディア研究科
Graduate School of Bionics, Computer and Media Sciences,
Tokyo University of Technology
慶應義塾大学大学院理工学研究科
Graduate School of Science and Technology,Keio University
大阪大学大学院情報科学研究科
Graduate School of Information Science and Technology,
Osaka University
東京工科大学コンピュータサイエンス学部
School of Computer Science, Tokyo University of Technology
ytaniguchi@hil.cs.teu.ac.jp
horiguchi@mos.ics.keio.ac.jp
akifumi@stf.teu.ac.jp

c 2012 Information Processing Society of Japan⃝

1. はじめに
ホワイトボードは議論を行う上で有用な道具の 1 つである．ミーティングやブレインストーミングなどではホワイ
トボード上にアイデアを次々と書き出すことによってグループコミュニケーションが活性化する [1]．また，議題を書くことで議論の脱線を防止したり，アイデアを羅列することで新たなアイデアの創出を促進するなど，その利点はd)e)igaki@ist.osaka-u.ac.jp
hoshi@stf.teu.ac.jp1Vol.2012-DPS-152 No.29
Vol.2012-GN-85 No.29
Vol.2012-EIP-57 No.29
2012/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

様々である．ホワイトボード上に書かれた内容は，記録し支援する研究が行われている [5], [6]．しかし，これらの研ておくことで後から議事録を作成するための資料や新たな究は議論自体をリアルタイムに支援するもので，議論後のアイデア創出のヒントとして再利用することができる．内

振り返りは対象としていない．

容の記録には電子ホワイトボードやデジタルカメラなどが用いられる．

土田らは，ゼミ活動における映像・音声情報やテキスト情報，更に会議参加者や議論構造などのメタデータを取得

電子ホワイトボードや携帯電話のカメラ機能などを用いし，再利用可能なゼミコンテンツを作成するシステムを提て板書のスナップショットを記録する場合，比較的簡易な案している [7]．この研究は，議論ログの途中経過を振り返機材のみで議論の結果を容易に記録することができる．しりやすくする点では目的が一致している．しかし，このシかし，この方法では撮影された時点での結果しか残すこと

ステムでは専用リモコンなどの特別な機材が必要であり，ができない．結論に到るまでに却下され消去されたアイデ利用できる場所が限られてしまう．

アは後に有用なアイデアとして活用される場合があるた

加藤らは，議論において結論に行き着くまでの思考プロ

め，議論の途中経過を残すことは重要であるといえる．

セスの振り返りを支援するホワイトボードシステムを提案

ビデオカメラなどを用いて動画として内容を記録する場している [8]．野田らは，過去の任意の時点における描画合，議論の音声や途中で消去された内容も含めたログを残状況を木構造を用いて記録し，検索することができる樹状すことができる．しかし，複数回の議論を経て保存されたヒストリ機能を備えた “S.W. ボード” を提案している [9]．

動画群から特定の議論のログを探すには動画を 1 つずつ再しかし，これら研究はコンピュータ上のホワイトボードア生して内容を確認していく必要があり，動画の数が多くなプリケーションを利用して議論を行うことを前提としておるほどその手間も大きくなる．また，それぞれの動画中にり，本研究が対象とする一般的なホワイトボードを用いた

いつ，どういった内容が議論されているのか分からないた議論には対応できない．

め，長時間の動画では目的の場面を探すのに手間がかかる．
過去の議論を記録した動画群から重要な場面を素早く振り返ることができれば，アイデア創出のヒントとして効率的に活用することができる．

3. ホワイトボードログ動画の振り返り支援システム：MeetingShelf
本稿では，アナログホワイトボードのログ動画を議論の我々はこれまでに，議論中のホワイトボードを撮影した結果や全体の流れを振り返りやすいよう再構成し Web コン

動画群から重要な場面を容易に振り返ることができる Web

テンツとして提示するシステム MeetingShelf を提案する．

コンテンツを生成するシステムを提案した [2]．従来の提案システムでは，動画からの Web コンテンツに利用する板

3.1 システム概要

書の切り抜きや書き込み時間情報の抽出は大西らの手法 [3]図 1 に MeetingShelf の概要と利用手順を示す． (1) 議により実現可能であるとし，独自に抽出処理の実装を行わ論参加者は，ホワイトボードの正面に書き込み面全体が映なかった．本稿では従来の研究概要に加え，独自に実装しるようビデオカメラをセットし，議論を開始する． (2) 議た切り抜き画像等の抽出処理について新たに述べる．

論進行中，参加者は議論において重要と感じた書き込みに本論文の構成を以下に示す．2 章では関連する研究とそ任意のタイミングで下線を引き強調する．強調された書きれぞれとの相違点を述べる．3 章では提案システムの概要込みを以後，強調板書と呼ぶ． (3) 議論終了後，撮影したについて述べ，4 章ではプロトタイプシステムの実装につ動画をコンテンツサーバにアップロードする． (4) コンテ

いて述べる．5 章では実装した動画処理の精度評価についンツサーバでは下線により強調された板書を切り抜いた画て述べる．最後に 6 章ではまとめと今後について述べる．

像と，その部分を書き始めた時間，書き終えた時間を取得

2. 関連研究する． (5) 最後に，抽出された画像と時間情報を整理して振り返り用の Web コンテンツを生成し提示する．

電子的な機能を持たないホワイトボード（以降，アナロ

MeetingShelf は，特別な機材を必要とせずホワイトボーグホワイトボードと記述）のログを再利用するための研ドが設置されているほとんどの場で利用することができる．

究として，井上らは，簡易な機材のみでアナログホワイト電子ホワイトボードとアナログホワイトボードのどちらをボードのログ画像を振り返りやすい形に再構成するシステ

利用する議論にも対応でき，その他に必要な機材は 2 色以ムを提案している [4]．この研究は，議論の区切りごとに上の書き込みができる機能もしくはホワイトボードマーカ

撮影された写真を基に振り返り用コンテンツを作成するたと，ビデオカメラのみである．また，振り返り用コンテン

め，結論に至るまでの推移やホワイトボード上から消去さツは Web 上で提示されるため，閲覧に特別なアプリケーれたアイデアなどの途中経過を残すことができない．このションを必要としない．

他に，議論中のアナログホワイトボードの画像を常に保存し，それらの画像をプロジェクタで投影することで議論を

c 2012 Information Processing Society of Japan⃝2Vol.2012-DPS-152 No.29
Vol.2012-GN-85 No.29
Vol.2012-EIP-57 No.29
2012/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

図 2 カタログビュー
図 1

システム概要図

3.2 議論の進行方法
MeetingShelf を利用する際，書き込みを行うユーザは議論にとって重要と感じた書き込みに下線を引いていくだけでシステムを利用することができる．重要な書き込みに下線を引き強調することは普段からされる自然な記法であり，ユーザへの負担は少ないと考えられる．また，下線は任意のタイミングで引けばよい．システムの利用によりスムーズな議論の進行が阻害されることも少ないと考えられる．

3.3 ログの振り返り
MeetingShelf では，カタログビューとスライドビューの2 つの閲覧画面から議論ログの振り返りを行う．以降，そ図 3 スライドビュー

れぞれの詳細について述べる．

3.3.1 カタログビュー
カタログビューは記録された過去の議論群から振り返りのインデックスとして利用できるように並べられている．

たい議論を見つけるための画面である（図 2）．カタログ

スライダーの位置を各画像の左端に合わせると，それぞれビューでは，入力された動画（1 つの動画＝ 1 回の議論）の強調板書が書き始められる時点の全体画像が表示されから抽出された強調板書の画像がサムネイルとなって動る．各画像をクリックすると，その強調板書の書き終え時画ごとに一覧表示される．図中の動画 2 は，「開発環境」間に対応する位置にスライダーが移動する．

「AndroidSDK」などの画像が表示されている．これらのこのように，重要な書き込みがされた時間に素早くアク画像の文字から，動画 2 中の議論は Android 用アプリケーセスできることで，長時間議論したログであっても容易にションの開発に関するものであったことが推測できる．

議論の結果や流れを振り返ることができると考えられる．

このように，強調板書の画像一覧から議論の大まかな内容を知ることができるため，動画をひとつひとつ再生して内容を確認することに比べ，目的の議論を容易に探すことができる．

4. 実装
本章では実装した振り返り支援システムのプロトタイプについて述べる．

3.3.2 スライドビュー
カタログビュー上の強調板書の画像をクリックするとス4.1 実装環境

ライドビューに移行する．スライドビューはクリックした議論を撮影した動画から Web コンテンツに利用する画議論の詳細な内容を振り返るための画面である（図 3）．画

像や書き込み時間を抽出する際の動画像処理には，米 Intel

面上部にはホワイトボードの全体画像，その下には時間軸社が開発した動画像処理用ライブラリである OpenCV をを示すシークバーが表示される．ホワイトボードの全体画利用した [10]．動画撮影には SANYO 製のデジタルビデ像はシークバー上のスライダーを操作することで任意の時

オカメラ Xacti DMX-HD1010 を使用した．このデジタル点の全体画像に切り替えることができる．

ビデオカメラは FullHD 撮影に対応しており，入力動画の画面下部には強調板書の画像がスライダーを操作する際

c 2012 Information Processing Society of Japan⃝

フォーマットは 30fps，1920 ｘ 1080 ピクセルに設定した．

3

Vol.2012-DPS-152 No.29
Vol.2012-GN-85 No.29
Vol.2012-EIP-57 No.29
2012/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

図 4

処理の流れ

4.2 処理の流れ
動画が入力されてから Web コンテンツが生成されるまでの処理はすべてコンテンツサーバが行う．この処理の流れを図 4 に示す．以降，コンテンツサーバで行われる処理

図 5

文字ブロック矩形特定の流れの詳細について述べる．

4.2.1 音声の抽出 [処理 (1) ]とで，消去の有無を認識する．本実装では書き込みの量が動画がコンテンツサーバにアップロードされると，コンNt < Nt−1 である，かつ Nt ≒ 0 の場合，書き込みが消去

テンツサーバは動画から音声を抽出する．音声の抽出にはされたと認識する．書き込みの量が減少しているがある程FFmpeg を利用した．この音声はスライドビューにおける度の書き込みが残っている場合，書き込みの一部が書き手動画再生時に利用される．

によって遮蔽されたと認識する．その場合，時刻 t − 1 の4.2.2 スライス画像の保存 [処理 (2) ]スライス画像中の書き込みの領域を時刻 t のスライス画像

コンテンツサーバは単位時間ごとに動画から静止画を抽出し保存する．この画像をスライス画像と呼ぶ．プロトタに重畳させる．

4.2.5 ノイズの除去 [処理 (5) ]イプでは抽出する間隔を 0.25 秒とした．この間隔は以降

コンテンツサーバは画像処理時，ホワイトボードに書きの動画処理の精度を確認しつつ試験的に決定した．スライ込んだ際の板面の揺れから生じる影や光陰の変化を書き込

ス画像はスライドビューにおけるホワイトボードの全体画みと誤認識する場合がある．このノイズは後の文字ブロッ像として利用される．

クの特定に影響してしまうため，除去する必要がある．プ

4.2.3 書き込み領域の特定 [処理 (3) ]ユーザが書いた文字を認識するために書き手，書き込みロトタイプでは，連続した 3 単位時間のスライス画像 Pt ，Pt−1 ，Pt−2 における書き込み領域の論理積を取ることにが存在しないホワイトボードの全体画像がベース画像としより，ノイズの除去を行う．て必要となる．プロトタイプでは，動画から最初に抽出し4.2.6 文字ブロック矩形の特定 [処理 (6) ]たスライス画像をベース画像として利用する．コンテンツ

時間的，空間的近くに書かれた文字の集合を本稿では文

サーバはスライス画像とベース画像を用いて差分処理をす

字ブロックと呼び，文字ブロックの領域を包括する矩形をることでスライス画像中の書き手と書き込みの領域（画素文字ブロック矩形と呼ぶ．コンテンツサーバはスライス画の集合）を抽出した画像を生成する（図 6(a)）．一般に，像中の書き込みの領域を包括する矩形を求めることで文字書き込みの領域は書き手の領域に比べて十分に細い．この

ブロック矩形を特定する．文字ブロック矩形の特定の流れことを利用し，この画像に 2 値化処理とクロージング処理を図 5 に示す．コンテンツサーバは時刻 t − 1 における書を施すことで書き込みの領域を潰し，書き手の領域のみをき込み全体と，時刻 t − 1 から時刻 t の間に更新された書残す（図 6(b)）．最後に (a), (b) の差分を取ることで書きき込みをそれぞれ包括する矩形を求める．そして，その 2込みの領域のみを抽出した画像を生成する（図 6(c)）．

つの矩形の頂点の座標を比較することで，文字ブロック矩4.2.4 消去の認識と書き込みの補完 [処理 (4) ]形を拡張するか分割するかの判断を行う．

我々はホワイトボードを利用する際，書き込みによって余白がなくなると，しばしば書き込みを消去し新たに余4.2.7 Web コンテンツ用ファイルの抽出と Web コンテンツの生成 [処理 (7) , (8) ]白を作る．コンテンツサーバは，時刻 t のスライス画像に最後に，動画から探索した文字ブロックの左上，右下頂おける書き込みの量（総画素数）Nt と，1 単位時間前の点の (x,y) 座標，書き始め，書き終え時間，下線の有無をスライス画像における書き込みの量 Nt−1 とを比較するこデータベースに記録する．また，動画から文字ブロック部

c 2012 Information Processing Society of Japan⃝4Vol.2012-DPS-152 No.29
Vol.2012-GN-85 No.29
Vol.2012-EIP-57 No.29
2012/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

表 1 文字ブロック特定の精度評価結果

Cs

図 6

書き込みの特定Ns

Ms

適合率 (%)

再現率 (%)

80

動画 1109888.8

動画 2151055050

動画 3

12111090.983.3

合計

35312787.1

77.1

表 2

強調板書認識の精度評価結果

Cs

Ns

Ms

適合率 (%)

再現率 (%)

動画 1

43310075

動画 2

63310050

動画 376610085.7

合計

17141410082.4

は適合率，再現率ともに他に比べ低い結果となった．これは，動画 2 では文字が細かく書かれていたために，複数の文字ブロックが 1 つの文字ブロックとして誤って特定されることが多くあった．

5.2 強調板書認識の精度評価実験
実装したプロトタイプを用いて強調板書の認識の精度評
図 7

強調を判別する条件価を行った．評価には，文字ブロック特定の精度評価と同じ動画群を使用した．動画内で強調を施した箇所の数を分を静止画として抽出し，下線の有無に応じて別名で保存

Cs ，システムが強調板書として抽出した数を Ns ，Ns のする．

うち正しく抽出された数を Ms として適合率 Ps と再現率

下線の有無の認識は，消去が行われる直前と動画を処理Rs を求めた．抽出精度評価の結果を表 2 に示す．評価実し終えたタイミングで行う．まず，スライス画像に緑色の験の結果，すべての動画について適合率は 100%であった．

みが残るよう閾値処理を施した後，確率的ハフ変換によっ

しかし，動画 2 の再現率についてはそれに比べ低い結果とて直線検出を行う．検出されたすべての線の始点，終点のなった．これは，下線を引いた文字ブロックが正しく特定

座標とすべての文字ブロック矩形の座標を比較し，強調さされていなかったために下線の認識も正しく行われていなれた文字ブロック矩形があるかどうかを判定する．様々なかったためであった．また，蛍光灯の映り込みにより，線ホワイトボードの画像からテストを行った結果，強調されの色が判定しにくい場合があった．このような映り込みにていると判断する条件を以下のように設定した (図 7) ．

ついては，文献 [11] の手法を実装することで対応できると• 下線始点の y 座標と文字ブロック領域下辺の y 座標との位置関係が 0 ピクセル以上 20 ピクセル以下である• 下線始点の x 座標が文字ブロック領域の幅の内側である
動画処理が完了すると，処理した動画の振り返り用ページが Web コンテンツに追加される．

5. 精度評価
5.1 文字ブロックの特定の精度評価実験考えられる．

6. おわりに
本稿では，特別な機材を利用せずに動画形式のホワイトボードのログを振り返りやすい形に再構成し提示するシス
テム MeetingShelf を提案した．また，ログ動画から書き込
みの切り抜き画像や書き込みの時間情報といった Web コンテンツを作成するための素材を抽出する動画処理手法について述べた．プロトタイプを用いた精度評価実験の結果，実装したプロトタイプを用いて文字ブロックの特定の精文字ブロックを適合率 87.1%，再現率 77.1%で特定するこ度評価を行った．評価には，模擬議論動画 3 本を使用した．とが出来た．また，下線による文字ブロックの強調を適合

動画内の文字ブロックの数を Cb ，システムが文字ブロッ

率 100%，再現率 82.4%の精度で認識することができた．

クとして特定した数を Nb ，Nb のうち正しく特定された数

今後の展望としては，利用するホワイトボードの記法をを Mb として適合率 Pb と再現率 Rb を求めた．評価結果増やし，新たな振り返り支援コンテンツの実装を目指す．

を表 1 に示す．動画 1，3 については適合率，再現率とも現状では強調のための下線のみを利用しているが，書き込に 8 割を超えた結果が得られた．しかし，動画 2 についてみ同士の関係性を示す矢印や，領域を分ける線などが更に

c 2012 Information Processing Society of Japan⃝

5情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2012-DPS-152 No.29
Vol.2012-GN-85 No.29
Vol.2012-EIP-57 No.29
2012/9/14

利用できると考えられる．それらを利用し，現状とは異なる面での振り返り支援コンテンツを考案したい．
従来の提案システムでは図の書き込みを文字ブロックとして認識することができなかったが，新たに実装した動画処理により認識が可能となった．しかし，過去に書かれた文字ブロックへの追記や板面の一部分における書き込みの消去には未だ対応できていない．これらはホワイトボード利用時に頻繁にされる行動であるため，早急に対応する処理を実装したい．
運用評価については，上記の未対応部分の実装後，実際に行われる議論のログを収集した上で行いたい．

謝辞
本研究の一部は，高柳記念財団の研究助成による．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7][8]

[9]

[10]
[11]

John C. Tang. Findings from observational studies of collaborative work. International Journal of Man-Machine
Studies, Vol. 34, No. 2, pp. 143–160, 1991.
谷口禎英, 堀口悟史, 井上亮文, 井垣宏, 星徹. 簡易書式を利用したホワイトボードログ動画の振り返り支援システ
ム. マルチメディア、分散協調とモバイルシンポジウム
2011 論文集, 第 2011 巻, pp. 636–641, jun 2011.
大西正輝, 泉正夫, 福永邦雄. 講義映像における板書領域のブロック分割とその応用. 電子情報通信学会論文誌.
D-I, 情報・システム, I-情報処理, Vol. 83, No. 11, pp.
1187–1195, 2000-11-25.
井上亮文, 小林未宇, 市村哲, 星徹. 簡易書式の認識に基づ
くホワイトボードログの整理・共有システム. 情報処理学会論文誌, Vol. 50, No. 1, pp. 278–288, 2009-01-15.
大崎嗣豊, 奥山哲郎, 石野明, 篠原歩. 画像の常時保存と再生によるホワイトボードの拡張. インタラクション 2008,
pp. 1–2, 2008.
Francois Berard. The magic table: Computer Vision
Based Augmentation of a Whiteboard for Creative Meetings. In IEEE Work shop on Projector Camera System(PRO.CAM), pp. 1–8, 2003.
土田貴裕, 大平茂輝, 長尾確. ゼミコンテンツの再利用に基づく研究活動支援. 情報処理学会論文誌, Vol. 51, No. 6,
pp. 1357–1370, 2010-06-15.
加藤圭吾, 小林智也, 西本一志.
書き込み内容のリンク機能を有するホワイトボードを用いた思考プロセスの振り返り支援. インタラクション 2011,
pp. 1–2, 2011.
野田潤, 倉本到, 藤本典幸, 萩原兼一.
検索可能な樹状ヒストリ機能を備えたホワイトボード
システム”S.W. ボード” の提案と実装. 情報処理学会研究報告. [グループウェア], Vol. 2000, No. 97, pp. 55–60,
2000-10-19.
G. Bradski. The OpenCV Library. Dr. Dobb’s Journalof Software Tools, 2000.
Zhengyou Zhang and Li wei He. Whiteboard Scanningand Image Enhancement, 2003.

c 2012 Information Processing Society of Japan⃝6