情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-40
2024/2/28

あらゆる書籍を利用可能なページ操作デバイス
森山有理名†1魚井宏高†2

概要： 近年では折り畳み画面を採用した端末が増えており，電子書籍や書類を見開きで表示することが多い．しかしページめくりはタップやスワイプを使用した従来の操作方法のままである．読書においては紙書籍の方に優位性があることから，本研究ではあらゆる書籍を利用可能な操作デバイスを開発し，実際に本を読む時に近い操作を目指した．

1. 背景

書籍を操作デバイスとして利用できる．

近年スマートフォンの画面は大型化しており，折り畳み画使用した．

面を採用した機種が複数販売されている．折り畳み端末は

ページの動きの検出には Python3.9.13, OpenCV 4.5.5.62 をWeb カメラから入力された映像を毎フレームキャプチャ

通常のスマートフォンの 2 画面分の広さを持つことから，し，グレイスケールに変換し前フレームの映像との差の絶

電子書籍アプリ等で本の見開きを模した表示が可能となっ対値を取ることで，前フレームから動きのあった領域を抽ている．しかし，操作体形は通常のスマートフォンと変わ出することが出来る．（図 1，図 2）例にあげた写真では，らず，タップやスワイプを主とした操作となっている．こ

ページめくり操作の時に動きがあったページと手の輪郭がのことから，本を模した表示方法では，より実際の本に近白くなっている．

い操作方法に優位性があると考えた．
高野，柴田，大村は電子書籍の読書速度において，紙を模倣したスワイプ操作であっても，iPad や Kindle 端末よりも実際の紙で閲覧した方が速いことを示した．[1]
本研究では，スワイプ操作よりも実際の本に近い操作方法として，紙の本を利用したページめくりデバイスの開発を行った．

2. 先行研究ページめくりデバイスは様々な手法が考案されており，塙，村山，鯨井は HMD に AR 画像としてページ画像を提示し手のジェスチャでめくり操作を行う MekuReader を提示した．[2] 渡邊，望月はプラスチックシートを曲げることでペ

図 1 ページめくりの元写真ージめくり操作を模倣する手法を提示した．[3]
実際に紙の本を使用した操作デバイスとしては，渋田，柴田が提示した Navigation Book があげられる．[4]Navigation Book はページごとに QR コードが印刷された紙の本と，カメラからなるデバイスである．上から開かれた書籍を撮影し，読み取った QR コードによってページめくりを検出する．この手法では，あらかじめ QR コードを印刷した本を用意する必要があり，ページが手で隠れる，カメラの角度が限定される問題がある．そこで本研究では斜めや横から撮影可能で，あらゆる書籍を操作デバイスとして利用する手法を提案する．

図 2 前フレームとの差分

3. 提案手法
提案手法ではページの動きを Web カメラで検出し，その結果によって PC のキー入力をエミュレートする．これにより，マーカー等を印刷した本を用意せずとも，あらゆるこの時差分画像ではノイズや光源の変化等による微細な変化も白くなってしまう．ページの移動は大きな変化であるため，微細な変化を除去する必要がある．差分画像を 2†1 大阪電気通信大学 大学院 総合情報学研究科†2 大阪電気通信大学 総合情報学部© 2024 Information Processing Society of Japan803

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-40
2024/2/28

値化しモノクロの画像にし，モルフォロジー変換により収ページをめくっていく動作は重心の一定範囲の往復とし縮処理を行った．これにより微細な白領域は消える．そのて出現する．（図 6）

後，同様に膨張処理を行うことで，大きな変化の起きた領域のみ強調することができる．（図 3）

図 6 ページめくり動作による重心の移動
以下のグラフはページめくり動作中の重心移動の一例である．（図 7）
横軸 frame はページめくりが開始してからの経過フレー
ム，縦軸 coordinate はピクセル単位での重心の X 座標，Y座標である．
図 3 大きな変化の起きた領域のみ強調
この段階ではまだページを手繰る手の輪郭が白く残ってしまっている．輪郭部を除去するために，閉じた白領域それぞれの輪郭を検出し，その輪郭で囲まれた領域の面積を求める．面積が一定以下の領域を除去することで，動きの大きなページの輪郭部分のみを残すことができる．（図 4）

図 7 ページめくり動作中の重心移動
重心位置の Y 座標は安定しないが概ね一定の範囲に収まり，X 座標は一定方向に移動していく．
X 座標が移動し始めの座標に近くなった場合，1 回のペー
図 4 移動しているページの輪郭ジめくりが完了し次のページめくりが始まったとみなす．
また，重心が一定時間検出されなかった時もページめくり抽出したページ輪郭領域の重心を求める．図 5 は移動しが完了したとみなす．ページめくりが完了した時，X 座標

たページの輪郭と重心位置を元の画像に重ね合わせて表示の移動方向によって前のページ，次のページどちらに移動している．毎フレーム重心位置を求め，記録する．

したかを判定し，PC の PageUp キーおよび PageDown キー
入力をエミュレートする．
以上の処理によって，紙の本を利用してページめくり操作で PC を操作することができる．提案手法では操作に使用する書籍を限定せず，また Web カメラの角度も真上でなくともページの移動が写る角度であれば操作可能である．

4. おわりに本研究によって，マーカーを利用せずとも紙の本を PC の操作デバイスとして利用することが可能となった．
問題点としては，片方の手でまとまったページを保持し高図 5 ページの輪郭と重心位置速にめくる“パラパラめくり”や，本の途中を開く操作には対応できないことがあげられる．柴田・木村は写真集の© 2024 Information Processing Society of Japan804

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-40
2024/2/28

中から特定の写真を検索する事例において，目的情報の書籍内での大まかな位置がわかっている場合，紙での閲覧がPC やタブレットでの閲覧よりも高速に目的のページを見つけることができることを示した．[5] 指をしおりのように特定の位置に挟んで開くことができることが優位性として挙げられており，目的のページを瞬時に開くことができる改善は課題である．
また，色域を指定してページを抽出する手法を考えたが，書籍の多くは白い紙であり光の反射等白く写っている部分が動くと誤検出してしまった．ページの検出の改善は今後の課題である．
今回の提示手法では操作デバイスである本と画面が離れていることから，本を読む時と完全には同じ体験が得られないことが考えられる．折り畳み端末の上に重ねて本によるページめくり操作を行うことが出来れば，より本を読む体験に近くなるだろう．

参考文献
[1]

[2]

[3]

[4]
[5]

高野健太郎，柴田博仁，大村賢悟．ページめくりの操作性に着目した電子書籍端末の評価，ヒューマンインタフェース学
会論文誌，2012, vol. 14, no. 3, p. 95-98.
塙和樹，村山達也，鯨井政祐．MekuReader: めくりジェスチ
ャで読み進められる AR 電子ブックリーダ，情報処理学会全国大会講演論文集，2018，vol. 80, no. 4, p. 347-348渡邊純一郎，望月有人．フレキシブルディスプレイへ応用可
能な 曲げを利用した操作デバイス，情報処理学会論文誌，
2008，vol. 49, no. 12, p. 3899-3907
渋田一夫，柴田博仁．操作メディアとしての紙の利用，日本
画像学会誌，2020，Vol. 59, no. 2, p. 245-246
柴田博仁，大村賢悟．答えを探す読みにおける紙の書籍と電子書籍の比較, 日本画像学会誌, 2016, vol. 55, no. 3, pp. 279.

© 2024 Information Processing Society of Japan805