情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-30
2020/3/9

机上へのプロジェクションによる紙面テキストハイライト手法
土田太一†1藤田和之†1中原和洋†2山田茂雄†2

高嶋和毅†1北村喜文†1

概要：自然言語処理技術を活用し特定のテキストをハイライトさせることにより，電子媒体上のテキストの可読性を向上させる試みはこれまで行われてきたが，紙媒体上でこれを実現する手法はまだ少ない．本研究では，プロジェクタカメラ系のシステムを用いて紙面上のテキストをハイライトする手法を提案する．カメラ画像を用いた文字認識により抽出されたテキストに対して形態素解析などの自然言語処理を行い，この処理結果に基づいて特定のテキストをプロジェクションによりハイライトさせることで，対象テキストの閲覧性や理解度を向上させる．デモアプリケーシ
ョンでは，3 種類のハイライトデザインを用い，文書内の重要語，または係り受け関係の可視化例を示す．

1. はじめに
近年，自然言語処理技術の発展により，これを用いたテ2. 提案手法
2.1

概要

キストマイニングがよく用いられている．Web サイトやド本手法では，机上に置かれた紙ドキュメントを対象としキュメント上のテキストデータを解析することにより，そて，プロジェクタを用いてテキストの一部をハイライトすの語句の品詞や出現頻度，さらには意味の要約などの情報ることを考える．システムは，ユーザが机に正対しているを得ることができ，解析結果は様々な目的に利用されていことを想定し，机上面の上方に設置されたカメラとプロジる．その中で，ユーザがテキストを効率的に閲覧・アノテェクタ，および，それらを制御する PC からなる．カメラーションすることができるよう，特定のテキストを装飾すによって撮影した画像から紙ドキュメントの位置およびドることによって可視性を向上させる試みが多くなされてきキュメント内のテキストを検出し，そのテキスト情報に自た．例えば、文章を対話的に彩色することで読解の速度お然言語処理を施すことにより，ハイライトすべきテキストよび精度を向上させる手法[1]や医療現場で用いられるテを決定する．これに基づき生成した映像をプロジェクタにキスト情報に対して可視化を行うことで情報検索を支援す

よって紙面に投影することでハイライトを行う．

る手法[2]が挙げられる．文書におけるハイライトは，コン2.2 プロトタイプ実装テンツの素早い理解や長期の記憶に寄与することが示され2.2.1 システムフローている[3]．しかし，テキストハイライト手法のほとんどは

図 1 および図 2 に示すように，カメラとプロジェクタに電子媒体上のテキストデータのみを対象としており，紙媒よるプロジェクタカメラ系を構成した．プロジェクタの上体として存在するテキスト情報には適用できない．紙媒体部にカメラを取り付け，紙面の置かれる机上面に向けて撮のテキストを対象としたコンテンツのハイライトも一部で影および投影ができるように設置した．カメラ及びプロジは検討されている[4]が，詳細なハイライト方法や得られるェクタの机上面からの距離はそれぞれ約 80cm および約効果については調査されていない．

70cm とした．また，紙の輪郭を検出する精度を高めるため，電子書籍等の普及により紙媒体でテキストを閲覧する機机上面を黒い布で覆った．あらかじめカメラとプロジェク会は減っているものの，閲覧性の高さや認知的負荷の低さタの相対位置を較正し，撮影する映像と投影する映像の位[5]などの利点から依然として紙面での閲覧を好む人も多置の誤差を抑えた．本システムで用いた机の天板サイズはい．また，読み速度や文章理解において紙媒体の優位性が45cm×60cm で あ り ， こ の 天 板 上 の 任 意 の 位 置 で A4

いくつかの研究でも示されている[6][7][8]．このため，電子（210mm×297mm）サイズの紙面の撮影・投影が可能である．

媒体と同様に，紙媒体のテキストに対しても可視性の向上を試みることは有意義であると考える．

カメラによって撮影された画像に対して，グレースケール化および二値化を行った上で輪郭検出処理を行い，机上そこで本研究では，紙媒体上でのテキストの閲覧性およにある紙ドキュメントの位置を検出した．これらの画像処び理解度を向上させるため，机上へのプロジェクションを理には OpenCV を用いた．検出した紙の画像に対して光学用いたテキストハイライト手法を提案する．提案するシス

文字認識エンジンの tesseract を用いた処理を行い，紙上のテムでは，紙上のテキストをカメラで読み取り自然言語処テキストに含まれる各単語の文字および座標を取得した．

理を行う．テキスト内の各単語の重要度や品詞といった情本システムでは，文字サイズが 16pt（5.6mm 四方）以上で報を取得し，それらをもとにプロジェクションを用いて紙あれば，安定してテキストを抽出できることを確認した（こ上のテキストを修飾することで閲覧性を向上させる．本稿

れは，一般的な紙面上のテキストを考えると十分なサイズ

では，このようなハイライト手法を実現するためのシステではないため，今後改善が必要である）．

ムの基礎検討とそのアプリケーション例について述べる．
†1 東北大学 電気通信研究所†2 日本ユニシス（株）© 2020 Information Processing Society of Japan909

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-30
2020/3/9

本手法を用いることで，図 3 に示すように，文書中の重要単語をその重要度に基づいてハイライトすることができるため，これを実現可能と考えられる．文書に含まれる単語の重要度を評価する指標の１つである tf-idf 値を算出し，この値が大きいほど濃い色でハイライトする．例えば図3(a)の例では，tf-idf 値が大きくなるほどその単語の黄色い背景色が濃くなっていき重要語に目が留まりやすくなるため，可読性の向上が期待される．本デモアプリケーションの実装では，tf-idf 値の算出は自然言語処理および機械学習
図1

システム概要図2

システム外観のライブラリである scikit-learn を用いた．
3.2 係り受けハイライトによる速読支援得られたテキスト情報をもとに，後述のハイライト手法

本アプリケーションは，小説などの書籍や論文を効率良を実現する画像を OpenCV によって生成しプロジェクタかく読むために有用であると期待される．図 4 に本デモシス

ら出力することで，紙上のテキストに対するハイライトをテムの動作例を示す．この例では、テキストに対して係り行った．

受け解析を行っている．主語となる単語とその単語が係る

2.2.2 テキストハイライト

動詞などの情報を抽出し，それぞれ異なる色でハイライト

電子媒体上でのテキストのハイライト方法デザインにしている．これにより主語と動詞との繋がりといった関係関しては，Strobelt らの研究[9]において詳細なガイドライ性が可視化されるため，文構造の把握が容易になり，文章ンが策定されている．彼らは，フォントカラー変更，フォに対する理解に役立つと考える．構文解析には自然言語処ントサイズ変更，文字背景色変更などを含む 13 種類のハ理ライブラリである StanfordNLP を用いた．

イライトデザインの有効性を検討しているが，印刷された紙面上のテキストに対しても適用可能なものは限られている．このため，紙面上へのプロジェクションによって容易に実現可能なものとして以下の 3 種類の手法（Backgroundcolor, Rectangle, Underline）を実装した．図 3 に，それぞれのデザインについてハイライト結果の様子を示す．さらに，コンテンツの一部を強調させる方法として，対象にアニメーション効果を与える方法が有用であることも示されている[10]．このため，実装した 3 種類のハイライトそれぞれに対し，点滅（Blink）および大きさの変化（Scale）の 2 種

図4

係り受けのハイライト例

4. おわりに
本稿では，机上へのプロジェクションによって紙上のテ類のアニメーションを実装した．

キストをハイライトすることでその可視性を向上させるシステムを提案し，その実装とアプリケーション例について述べた．今後は，有用性の評価や，視線検出やタッチ認識を用いたよりインタラクティブなアプリケーションを検討していく予定である．

参考文献
[1]

(a) Background color
図3(b) Rectangle(c) Underline

ハイライト手法

3. アプリケーション
提案するハイライト手法は，紙媒体を閲覧・アノテーションする多くの場面で応用可能である．以下に，主なアプリケーション例を紹介する．
3.1 重要語ハイライトによる要約支援
主に新聞記事や雑誌，または会議の議事録などにおいて，ドキュメント内の要旨を瞬時に把握することは有益である．

© 2020 Information Processing Society of Japan

内田友幸，田中英彦．可読性向上を図る対話的文書自動彩色システ
ム．電子情報通信学会論文誌 J80-D-2 (12), 3173–3180, 1997.

[2] Nicole Sultanum, Michael Brudno, Daniel Wigdor and Fanny Chevalier.
More text please! understanding and supporting the use of visualization forclinical text overview. Proc. 2018 CHI Conference on Human Factors inComputing Systems. ACM, 2018. p. 422.

[3]Fowler, Robert L., and Anne S. Barker. Effectiveness of highlighting forretention of text material. Journal of Applied Psychology, 59 (3), 358–364,1974.

[4] Frode Eika Sandnes, Evelyn Eika. Visual Augmentation of Printed Materials
with Intelligent See-Through Glass Displays: A Prototype Based onSmartphone and Pepper's Ghost. Proc. IEEE AIVR, 267–273, 2018.

[5] Kenton O’Hara and Abigail Sellen. A comparison of reading paper and online documents. Proc. CHI ’97, pp. 335–342, 1997.

[6] Anne Mangen, Bente R. Walgermo, Kolbjørn Brønnick. Reading linear texts

910

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-30
2020/3/9

on paper versus computer screen: Effects on reading comprehension.
International journal of educational research, 58, 61–68, 2013.

[7] 小林亮太, 池内淳. 表示媒体が文章理解と記憶に及ぼす影響―電子書
籍端末と紙媒体の比較―. 研究報告ヒューマンコンピュータインタラ
クション (HCI), 29 (2012), 1–7, 2012.

[8] 深谷拓吾, 小野進, 水口実, 中島青哉, 林真彩子, 安藤広志. 紙 vs 液晶ディスプレイ: メディアの違いが校正作業に与える影響~ マニュア
ル作成における事例~. 第 73 回情報処理学会全国大会講演論文集,
2011 (1), 7–8, 2011.

[9] Hendrik Strobelt, Daniela Oelke, Bum Chul Kwon, Tobias Schreck, andHanspeter Pfister. Guidelines for Effective Usage of Text HighlightingTechniques. IEEE transactions on visualization and computer graphics, 22(1), 489–498, 2016.

[10] Christopher Healey, James Enns. Attention and visual memory invisualization and computer graphics. IEEE transactions on visualization andcomputer graphics, 18 (7), 1170–1188, 2011.

© 2020 Information Processing Society of Japan

911