情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A43
2015/3/5

iPhone を用いた自動撮影機能付き書籍スキャンアプリの開発
山口 俊太郎†1 小山慎哉†1
概要：書籍スキャンアプリは存在するが，自動撮影機能の性質上，手ブレが発生したまま撮影されてしまう問題や，画像内に書面以外の不要な部分が入り込んだまま撮影されてしまう問題が存在する．本研究では，電子書籍ファイルを個人の手でも制作できるようにするために Apple 社の iPhone 向けの自動撮影機能付き書籍スキャンアプリの開発を行い，これらの問題についての改善を行なった．このアプリの特徴は，自動的に撮影されるタイミングを，書籍がカメラに写っている状態から書籍を引き上げた時にしたことである．

Development of Book-scanning Application with Auto-capturing for
iPhoneSHUNTARO YAMAGUCHI†1

SHINYA OYAMA†1

Abstract: There are some book-scanning applications in the world. Since their property of auto-capturing feature, however, someapplications sometimes capture pages of book with the camera shaking. Additionally, the capture images have non-essential areas
around of captured pages. Those problems make the quality of e-book files worse. In this paper, we have developed
book-scanning application with auto-capturing for iPhone to create e-book files personally with the improvement the problems
mentioned above. This application's feature is that the scanning timing is controlled by movement of the book in a view ofcamera.

1. はじめに

2. 目標機能

電子書籍とは，紙とインクを利用した印刷物ではなく，本研究で目指す書籍スキャンソフトは，個人が所有する書物の情報をディスプレイに表示することで書籍のようにスマートフォンで個人的利用することを前提に以下の 3 つ楽しむことができるものである．の機能の実装を目標とした．

しかし，現在の電子書籍は書籍データをインターネット(1) 自動トリミングで購入するのがほとんどであるため，個人で所有する書籍

前述したように，書籍の書面全てスキャニングを行うたが電子書籍化されていなければ個人の手で電子書籍化する

め膨大なデータ量となる．それを減らすため，書面以外の必要があり，そのための書籍スキャナ等を購入しなければ部分をトリミングにより除去できるようにする．

電子書籍化することが困難である．

(2) 自動撮影

そこで昨今，現在普及が進んでいるスマートフォン端末

先に挙げたアプリは，撮影する手間を簡単にするためにを用いた電子書籍アプリが登場している．その例としては，自動でシャッターが切れるようになっている．本開発アプ

Takuya Kawauchi 氏の”NDScanner”1)や，株式会社さいこちリでもこの機能を実装し，撮影時間の短縮を図る．の”JUCIE

最速非破壊自炊カメラ”2)，B

Frontier 氏の“自炊(3) 手ブレを防ぐ3)などがある．これらのアプリは，カメ書籍をスキャニングする時，手ブレが発生すると文章がラ画像内の動きを認識し，何も動いていない時，自動的に読みにくくなってしまう．仮に手ブレが起きたまま撮影さシャッターが切れるようになっている．なので，書籍のペれてしまった場合，また撮影し直す必要がる．本開発アプージをめくる動作が終わるとアプリは自動的に撮影するこ

リでは，それらの問題を解決することも目標とする．

カメラ FlipScanner”とができる．これを繰り返し行うことで，書籍の自動撮影を実現している．しかし，カメラに画像を保存するとき，

3. 開発環境

特に画像加工などをかけずに保存するため，写真の一部に実装する端末としては，iPhone 5 (MD297J/A，iOS 8.1

は書籍以外の背景が写り込んでしまう．よって，余分なデBuild:12B411)を対象とした．また，開発環境は Xcode 6.1.1

ータ量が発生する．また，固定する機材等を使用しない場(6A2008a)，および，画像ライブラリ OpenCV Ver.2.4 を用い合，手ブレが起きやすいと考えられる．て画像認識と加工を行った．

本研究では，以上に挙げた問題点を踏まえた上で，Apple社の iPhone 向けの書籍スキャナアプリの開発を行う．
†1 函館工業高等専門学校
National Institute of Technology, Hakodate College© 2015 Information Processing Society of Japan

312

4. 開発したアプリの概要
現時点での実装内容は，前述した３つの機能の全てについて，その基本的機能を実装した．

であれば，ユーザが良いと思った段階の画像がそのまま保存されるようになるので，撮影された画像も既存の方法より綺麗になると考えられる．
また，アプリがカメラに写っているものが背景かそうで(1) 自動トリミング
カメラに写る画像を二値化して白黒のみの画像にし，その画像に対して輪郭を認識させ，その輪郭を全て覆うようにトリミング処理を行った．これにより，カメラ撮影領域から撮影すべき本の領域を抽出し，撮影する前に無駄な部分を取り除くことが可能となった．
(2) 自動撮影, (3) 手ブレを防ぐ
これらの問題を解決するために，以下のような方法を考案した．それは，書籍をスキャニングする時の背景を予め記録しておき，背景以外（書面が写り込んだ状態）から背景への色の変化が観測された時に自動トリミングで最後に認識された画像を保存する，という方法である．
この流れを説明すると下記のとおりである．なお動作のないかを認識するために，カメラ画像の中心付近の色の平均色を記録する方法を用いた．ここで言う”画像の中心付近"とは，カメラ画像の中心点を中心とする大きさ 100 ピクセ
ルの正方形内にあるピクセルのこととする．アプリは，撮影開始時に映っていた中心付近の色の平均色を記録し，その色からの変更が確認された状態から，元の平均色に戻った時に撮影するようにした．
また，その色の認識速度と，自動トリミングが認識する速度は同タイミングで，人間が本を引き上げるタイミングを考慮し，約 1 秒間隔とした．
スキャニング時の様子を図 2 に，スキャンした画像と拡大画像を図 3 に示す．

模式図を図 1 に示す．
①

書籍をカメラで撮影すると，前述した自動トリミング機能が働き，トリミングされた画像が画面に表示される．この時点ではまだ撮影されていない．

②

ユーザは，トリミング画像を確認しながら書籍の位置を調整し，綺麗に写った段階で書籍をカメラの視野外に移動させる．

③

すると，カメラ画像は今まで本が写っていた画像から背景のみの状態となるので，アプリはその変化が観測されると，自動トリミングで最後に認識された綺麗に写った状態のトリミング画像を保存する．

図2

開発アプリのスキャニング時の様子(iPhone はカメラが床方向に見えるように机の上へ設置)

図1

自動撮影の処理の流れ

先に挙げた既存のアプリでは，アプリが単純に画面の動的変化が起きていないことだけを認識して自動で撮影するという処理の流れとなっている．そのため，もし撮影中にページめくり等で手間取るなどして，カメラに写る画像が背景のみになるような場合や，アプリでは認識されない程度の手ブレが発生している場合において，撮影画像が背景のみの画像で撮影されてしまうことや，手ブレにより小さい文字が読めない等の不具合が起き，また撮影し直す必要がある．
しかし，本アプリで採った方法のような，カメラの視野外へ本を動かすことがトリガとなって，自動撮影する方式© 2015 Information Processing Society of Japan

図3

開発アプリでのスキャン画像（一部拡大）※使用書籍：萬屋直人, 旅に出よう，滅びゆく世界の果てまで, ア
スキーメディアワークス, p13, 2008313

5. まとめと今後の課題
現在のところ，実装した自動撮影機能の感度が不十分であるため，意図した段階で撮影されない状況がたまに発生している．今後はその問題の修正を行い，よりスムーズにスキャニングできるようにしたいと考えている．
また，本アプリについてユーザビリティ調査を行い，機能改善に役立てたい．

参考文献
1) 本をめくるだけで簡単に非破壊自炊ができる「NDscanner 無料版」を使ってみた, http://gigazine.net/news/20141127-ndscanner/(2014)
2) 非破壊自炊を手軽かつ最速で行えるカメラアプリ「JUCIE」リリース, http://gigazine.net/news/20111219-non-destructive-scaniphone-app-jucie/ (2011)
3) 自炊カメラ FlipScanner : https://play.google.com/store/apps/details?id=com.bfrontier.JisuiCameraFreedom&hl=ja (2013)

謝辞

本研究は，Apple 社の iPhone 向けのアプリ開発を行っているが，アプリの実機転送等に必要な開発者登録についてご提供頂いた，株式会社シンクマスターの三原太郎氏に謹んで感謝の意を表する．

© 2015 Information Processing Society of Japan

314