情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B34
2016/3/4

将棋実況中継のための画像処理
奥本 隼1,a)

吉田 光男1

岡部 正幸1

梅村 恭司1,b)

概要：将棋実況中継の盤面を映した映像において，盤面の情報を正確に伝えると同時に指し手の動作を伝えたい．しかしながら，通常の方法では棋士が駒を動かす際に手が盤面を遮り，盤面の一部が見えなくなるという問題がある．本稿ではこの問題を解決するために，画像処理によって盤面と手の領域を識別し，手の領域を半透明にして表示する処理を施した．この処理方法においての課題は，この処理を実況中継の状況に使えるようにすることである．通常，数秒の遅延は実況中継で許される．我々は，この遅延を利用して処理を実現した．

Image Processing for Japanese Chess Live Broadcasting
Okumoto Hayato1,a)Yoshida Mitsuo1

Okabe Masayuki1

Umemura Kyoji1,b)

Abstract: On broadcasting video of Japanese Chess matches, it is important for audience to know the exact
status of games and to see the moves of players. Unfortunately, when a player moves a piece, some informationof the piece usually covered by the hand of the player. In this research, we proposed a method to distinguishhands from pieces or a board and then generate semi-transparent image of hands. The main diﬃculty lies
in making this process suitable for broadcasting. Usually delay of several seconds is allowed in broadcasting.
We have made the most use of this delay.

1. はじめに将棋の実況中継において，将棋盤の盤面を直上から固定カメラで撮影した映像が放映される．本稿ではこの映像を盤面映像と呼ぶ．盤面映像は直上から撮影するため，棋士が駒を動かすときは図 1 のように，盤面の一部が手によって隠されてしまう．このとき，視聴者は駒と盤面の様子を把握することができない．

図 1 盤面映像の問題：駒が手で遮られて盤面が見えない

本稿では，盤面の一部が手によって隠されてしまう問題を解決するために，盤面映像に対して画像処理をおこなうことで，将棋盤の盤面の様子を映像上で常に見えるように考えている．

する．具体的な方針としては，映像中の棋士の手と盤面の2. 盤面映像に対する画像処理の方法

領域を判別し，盤面を覆う手の領域を過去の将棋盤面の映

2.1 盤面映像の性質について像で補う処理を施す．このような映像処理をおこなうこと盤面を遮るものが無いとき，将棋の盤面映像は将棋盤と並で，盤面の状況がより読み取りやすくなり，なおかつ棋士べられている駒が映される．棋士が駒を動かすときに限っが駒を動かす動作も視聴者に対して伝えることができるとて，将棋盤と駒の様子は棋士の手によって遮られる．このとき，盤面と並べられている駒の領域を後景，駒を動かす1a)b)

豊橋技術科学大学
okumoto15@ss.cs.tut.ac.jp
umemura@tut.jp© 2016 Information Processing Society of Japan

棋士の手の領域を前景と呼ぶ．後景と前景の動きについて着目すると，基本的に後景は静止しており，駒を動かした

904

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B34
2016/3/4

ときにのみ変化する性質がある．そして，前景は駒を動かすときに一時的に盤面を遮る性質がある．

2.2 半透明処理について
本稿では，盤面の一部が前景によって隠されている場合
でも，映像上で盤面の様子を常に見えるようにするために，前景領域を半透明にして，その後景に過去の盤面映像を表示する方法を考える．前景を完全に透明にするのではなく，図 2

遅延を利用しない場合：動かした駒が残り続ける半透明にすることで，盤面の様子だけでなく棋士が駒を動かす動作も見せることができる．
前景を半透明にして後景を見せるようにする処理は，次の手順でおこなう．

( 1 ) 後景と前景の領域を識別する( 2 ) 前景が後景を遮っていないとき，その時点の映像を後景のみの映像として保存する( 3 ) (2) で得られた過去の後景のみの映像に対して，現在の前景を半透明にして合成する

図 3 遅延を利用した場合：動かした駒が透過して見える以上の処理によって，前景となる手によって遮られたときでも，後景となる盤面の様子が常に見える結果が得られる．

後景映像に対して，駒が置かれる前の過去の前景映像を透過して表示することで，表示上は駒から手が離れる前に駒2.3 後景と前景の識別処理を見せることができると考えた．

後景と前景を識別するために，過去と現在の映像を比較

遅延を設けずに後景と前景の識別をおこなって半透明処して，色の違いによって識別する方法が考えられる．将棋

理をおこなった場合，図 2 のように駒を動かして手を遮っにおいては盤と駒，手の色が似ているため，色の違いのみている間は，動かした駒が，動く前の後景として表示されでは誤った識別が起こりやすい．そのため本稿では，ごくたままとなる．これは，後景が前景で遮られている間は死

短時間に色が変化した領域については前景として識別し，角となり，透過して表示することができないためである．

後景については，動いた後の映像で一定時間同じ色を保っ

しかし，遅延を利用することによって，表示上は数秒前のたとき，その領域を後景として識別する．後景を識別する

駒を動かしている段階でも，新しい入力映像では後景を遮ための時間を用意することで，より確実に前景と後景の識る前景はない状態となる．そのため，合成する後景の映像別をすることができる．この識別処理には一定の処理時間と前景の映像を，遅延時間の範囲内でずらすことができ，を要するため，処理時間を確保しなければならないという

表示映像上では後景が前景で隠れている段階でも，図 3 の問題が生じる．

ように変化後の後景を半透明で表示できる利点が得られる．

中継映像として満たすべき性質として，映像処理の即時性がある．現在の地上デジタル放送では伝送方式の仕組み
上，エンコードやデコード，多重化等の処理によって，視3. 実装上の課題と解決方針
3.1 後景と前景領域の識別および半透明処理

聴者へ映像が届くまでには数秒の遅延が生じている [1]．こ盤面映像から後景と前景を正確に識別することは，本稿のことから，完全な即時処理とは言えないが，視聴者に違において重要な処理である．後景と前景を正確に識別でき和感を与えない数秒程度の遅延であれば，中継放送においない場合，前景領域の半透明処理が不完全となり，後景がては妥当であるといえる．そのため，本稿では識別処理の見えなくなる箇所が生じることになる．

時間を確保するために，数秒の処理時間を設けて表示映像を遅延させることにする．

本稿の方法では，過去の後景映像と現在映像を比較して，画素値に一定以上の差があり，なおかつ画素値の変化が続いているとき，その領域を前景とみなし続ける．前景とな

2.4 遅延を利用することで得られる利点

る手は駒を動かす間は動き続けているため，この方法で識後景と前景の識別処理のために数秒の遅延を設けること別することができる．この識別方法によって，後景領域をで，表示映像が遅延することは前節で述べたが，この遅延前景が遮ったときには，過去の後景と遮った時点の前景を時間によって，駒が置かれた後の映像を利用することがでそれぞれ半透明にして合成することで，本来前景によってきるようになるという利点もある．この駒が置かれた後の遮られている後景が透過して見えることになる．将棋の盤面映像においては，後景が静止して状態を維持しているこ© 2016 Information Processing Society of Japan905

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B34
2016/3/4とから，過去の後景映像を表示することによって問題が生じない．

3.2 後景領域の更新
後景と前景を単純に識別する処理のみでは，棋士によって動かされた駒が前景として扱われ続けてしまう問題が生じる．移動された駒が静止した後，その駒の領域を後景として扱わなければならない．画素値の変化が続いている間その領域を前景としてみなすため，動かされた駒が静止したときに，その領域を後景としてみなすためには，駒が静止しているかどうか判定する必要がある．
動かされた駒を静止しているとみなすために，変化した領域が一定時間同じ画素値を維持したかどうかで判定する．
ここでは，領域ごとにタイマーを設けて，変化し続けてい図 4る領域に対してはタイマー値を一定に保持し，静止した領システム全体の様子域に対してはタイマー値を減じていくことで実現する．

4.2 閾値の修正と調整について
3.3 置かれた駒のすみやかな表示

特許において色変化の閾値設定は特定の方法に限定され前述の処理によって，駒が置かれた後の映像が入力されていないため，本画像処理の実装にあたっては，固定でパラてから後景とみなされるまでには，一定時間必要となる．

メータを調整する方法を採用した．実際に動作させて結果この処理時間のために，入力映像を数秒間バッファリンを確認しながら，パラメータを適切な値に調整をおこなっグして遅延をつくる．この遅延時間の範囲内で，後景を前た．特に，将棋盤，駒，指先の色は似ているため，誤作動景の映像に対して早めて表示することで，表示映像では処が少なくなるように閾値を厳しく設定した．

理時間なしで後景の更新処理がおこなわれたような映像と特許の実施例における閾値では，人物が後景を 10 秒以上なる．また，このときの表示映像では駒が置かれた瞬間に遮ることが想定されており，後景の更新に 10 秒程度の時間前景が透過するため，置かれた駒がすぐに表示されることが発生していた．しかし，将棋の盤面映像を検証したとこになる．

ろ，手が遮る時間は数秒程度であったため，ここでは 3 秒

4. 実装上注意を要した点について
4.1 後景と前景の識別処理の具体化について程度で反映がおこなわれるように閾値を調整した．

4.3 映像のバッファリング3.1, 3.2 節で述べた処理方法で，後景を利用した前景の透映像を遅延させて表示するために，カメラからの映像を過処理および後景の更新処理の実装をおこなった．この処数秒分保持する実装が必要となる．ここでは，数秒分のフ理方法は先行研究の特許に基づいており，本画像処理の用レームを保持できればよいため，メモリ上にリングバッファ途に合わせて処理の追加と改良をおこなっている．この特を構築し，このバッファに映像フレームを保持する実装と許「画像処理システム及びそれに用いる画像処理方法 [2]」した．また，置かれた駒を表示映像にすぐに反映するためは，「部分的な動きがある物体に遮蔽された背景を映す映像に，後景への反映処理の処理時間を考慮してバッファの長処理」という内容の発明である．特許の特徴としては，映さを調整した．

像に現れる物体に関してのモデルを生成せずに処理ができることである．特に，前景領域として検出した領域の一部の色が変化したとき，隣接する領域全体も前景であるとみなす処理が特徴として挙げられる．

5. システムの動作と検証
5.1 システム構成
本システムの実装にあたって利用した機材は，「Web カ特許の方法では，映像内の動きの検出処理については限メラ」とカメラを固定する「三脚」，そして画像処理をおこ定されておらず，適切な処理方法を選択する必要がある．

なう「コンピュータ」である．Web カメラは将棋盤を直上

また，後景への適用時間についても設定されていないため，から撮影できるように，三脚を用いて固定している．これ用途に合わせて調整する必要がある．

らを図 4 のように設置して動作の検証をおこなった．

5.2 動作の様子と検証
実装したシステムを動作させて，目標としている処理が© 2016 Information Processing Society of Japan906

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

(1) 盤面を遮らない状態

163B34
2016/3/4(2) 盤面を手が遮っている状態 (3) 駒を動かしている状態(4) 後景へ反映中の状態(5) 反映後の状態

図 5 処理映像の経過

図 6駒を移動した様子

図 7

駒を移動した様子（3 秒後）

まず，処理にかかる時間として数秒の遅延を許容したが，実現できているか検証した．システムの動作目標として，この遅延時間は 3 秒程度に抑えることができた．さらに，次の 4 つの観点について検証した．

この数秒の遅延を利用して，移動された駒を表示する時間

目標 1 盤面の様子が常に見えることを早めたことで，駒や盤面が見える時間が多くなり，より目標 2 指し手の動作が見えること盤面の様子が把握しやすくなったものと考えられる．

目標 3 置いた駒がすみやかに表示されること
目標 4 数秒の遅延で処理できること

本システムの画像処理は例として将棋に利用したが，類似した条件であれば他の対象に対しても利用することがで

まず，図 5 は実際に動作させた処理映像の結果を時系列きる．例えば囲碁やリバーシなどのボードゲームには容易で示したものである．(1) で盤面を遮っていない状態から，に応用することができる．これは画像処理の実装方法にお(2) では駒を動かすために手が盤面を遮っており，これがいて，特定の映像対象に関するモデルを構築していないた

半透明で表示されている様子を示している．(3) から (4) にめ，対象に依存せず利用することができると考えている．

かけては，動かされた駒が透過して表示されており，また，後景の更新中の様子を示している．(4) では動かされた歩

6. まとめ兵の駒が 2 つ表示されているが，駒の移動を自然に表示す

本稿では，将棋実況中継においての盤面映像で，盤面のるためにフェードインとフェードアウトをおこなっている様子を明確に伝えながら，なおかつ指し手の動作を伝えらためである．(5) では完全に後景が反映された反映後の結れる画像処理システムを構築した．カメラから入力された果が得られている．この結果から動作目標の 1, 2 が達成で映像を，許容できる遅延の範囲内で即時処理できているたきていることが検証できた．

め，実況中継でも問題無く利用できるシステムである．ま

次に，遅延時間について，実際に動作させた外観を図 6,た，将棋以外の対象にも応用できる画像処理システムであ7 に示す．図 6 の時点では，実際には駒を動かしているが，り，今後この画像処理システムを，他の分野でも利用する

画面上では手が表示されておらず駒も移動していないことことを検討している．

が示されている．次に，図 7 は図 6 の 3 秒後の様子である．
この時点では盤面を手で遮っていないが，画面上では手が半透明で表示されている．また，駒が動かされ，後景に反参考文献[1]映されている様子を示している．この結果から動作目標の3, 4 が達成できていることが検証できた．
[2]

5.3 システムの特徴

社 団 法 人 電 波 産 業 会, 地 上 デ ジ タ ル テ レ ビ ジ ョ ン
放 送 運 用 規 定 技 術 資 料, ARIB TR-B14 3.5 版 第7 編, pp.60, http://www.arib.or.jp/english/html/
overview/doc/4-TR-B14v3_5-3p3.pdf
梅村恭司, 画像処理システム及びそれに用いる画像処理方法, 特願 2014-252511, 平成 26 年 12 月 12 日動作させた結果から挙げられる，本システムの特徴について述べる．

© 2016 Information Processing Society of Japan907