FIT2006(第5回情報科学技術フォーラム)K-061

ロボットカメラ協調撮影システムのための撮影規則自動生成
Automatic generation of shooting rules for a robot camera cooperation system
奥田 誠†
Makoto Okuda

津田 貴生†
Takao Tsuda

武藤 一利†
Kazutoshi Mutou

西田 幸博†
Yukihiro Nishida

１． はじめに井上 誠喜†
Seiki Inoue

黄枠:撮影しているｼｮｯﾄ

新しい番組制作支援技術の 1 つとして、ロボットカメラ(以下、ロボカメ)の研究を進めている。これまで、放送カメラマンのフレーミング技術を実装したロボカメやテレビスタジオでの番組撮影を想定した移動ロボットペデス
タルの開発を行ってきた[1]。
今回、複数台のロボカメを用いたスタジオ番組制作システム構築に向け、番組の状況変化に応じたロボカメの撮影ショット決定手法を考案し、シミュレーション実験により有効性を確認したので、その概要を報告する。

(A)

赤枠:ｵﾝｴｱｼｮｯﾄ
<1ｶﾒ>

<2ｶﾒ>

<3ｶﾒ>

<4ｶﾒ>

2 ．システム2.1 番組形態(B)

テ レ ビ ス タ ジオでは さ まざまなジャン
情報画ｽｸﾘｰﾝﾌﾘｯﾌﾟ
ル の 番組が制作され小物る が 、今回ロボカメ
L1
R1の 撮 影ショット決定ﾃｰﾌﾞﾙ
手 法 を考案するにあL2R2た っ ては、教養番組や 情 報番組等で多く見 ら れる対談形式の1ｶﾒ
3ｶﾒ番組を想定した。
2ｶﾒ
4ｶﾒ
ス タ ジ オ 内 配置例
ｸﾚｰﾝ機能を図 1に示す。1～2付き名の上手出演者(L1、
図 1 スタジオ内配置例
L2)と 1～2 名の下手出演者(R1、R2)が任意の場所に提示されるフリップ、情報画スクリーン、小物(以下、情報物と総称)を用いながら対談を行う。ロボカメは多くの番組制作スタイルに合わせ、4 台用いることとした。

2.2 運用通常のスタジオ番組制作では、複数のカメラマンが撮影し、スイッチャーが映像選択する。ロボカメを用いた番組制作では、図 2のような運用画面で 1 人のオペレーターが各ロボカメの撮影ショット決定とスイッチングを行うものとした。
オペレーターは事前に、スタジオ内配置から各ロボカメに撮影ショットタイプを割り当てる。ここで各ロボカメに登録可能なショットタイプは表 1の通りとした。
撮影が始まると、番組の状況に合わせオペレーターがサムネール(A)を押下することにより、各ロボカメの撮影ショットを決定し、ロボカメはそのショットに合ったフレーミングを自動で行う。さらに各ロボカメが撮影した映像の中から、放送するのに適したものをスイッチングする(B)こととした。
†日本放送協会, JAPAN BROADCASTING CORPORATION

513

図2
表1

運用画面

撮影ショットタイプ

情報物､情報物込み L､Lﾊﾞｽﾄｼｮｯﾄ､Lﾂｰｼｮｯﾄ､
1ｶﾒ
R 越し L､Lｱｯﾌﾟｼｮｯﾄ､ﾒﾓﾘｰｼｮｯﾄ
情報物､情報物込み L､Lﾂｰｼｮｯﾄ､Lﾊﾞｽﾄｼｮｯﾄ､
2ｶﾒ Lｱｯﾌﾟｼｮｯﾄ､R 越し L､Rﾊﾞｽﾄｼｮｯﾄ､Rﾂｰｼｮｯﾄ､Rｱｯﾌﾟｼｮｯﾄ､L 越し R､全員､俯瞰､ﾒﾓﾘｰｼｮｯﾄ
3ｶﾒ

情報物､情報物込み R､Rﾂｰｼｮｯﾄ､Rﾊﾞｽﾄｼｮｯﾄ､
L 越し R､Rｱｯﾌﾟｼｮｯﾄ､ﾒﾓﾘｰｼｮｯﾄ

4ｶﾒ 全員､俯瞰､ﾒﾓﾘｰｼｮｯﾄ

2.3 撮影規則
1 人のオペレーターがスイッチングを行う上、撮影ショットを決定することは負荷が大きく、スイッチング判断の質低下を招く恐れがある。そこで、ロボカメはフレーミングを自動で行うのみでなく、撮影ショットの決定(切り替え)も可能な限り自動で行うことが望ましい。
これまでの番組調査[2]から、対談形式の番組制作において、カメラマンは以下の要因により撮影ショットを切り替えていることが分かっている。
1. 情報物の提示/除去
2. オンエア映像の切り替わり
3. 話者の切り替わり
4. 台本
5. 話題の変化
6. カメラマンの主観的判断
このうち、1.～3.は自動センシングが可能と判断し、表2に示すようなイベント駆動撮影規則を、各ロボカメに複数設定できるようにした。例えば、2 カメに表 2-①を設定した場合、フリップが提示されれば、2 カメはフリップショットを撮影する。
また、他のロボカメの動きに合わせた撮影ショット変

FIT2006(第5回情報科学技術フォーラム)更ができるよう、表 3に示すような協調撮影規則も複数設定できるようにした。例えば⑥は、あるロボカメ X が任意の撮影ショットからロボカメ Y が撮影しているものと同じショットに切り替わった時、ロボカメ Y は撮影ショットをベースショットに切り替えることを意味する。ここで、ベースショットとは、ショット切り替え時に選択可能なショットで、表 1の並び順に選択優先度が高い。他のカメラが選択済みのショットやフリップが提示されていない時の｢フリップショット｣等は選択不可能である。
表 2 イベント駆動撮影規則
番号
ｲﾍﾞﾝﾄ
①
ﾌﾘｯﾌﾟ
②
ﾌﾘｯﾌﾟ
③
ﾌﾘｯﾌﾟ
④
ﾌﾘｯﾌﾟ
⑤
越しｼｮｯﾄ､ﾒﾓﾘｰｼｮｯﾄ

提示
提示
提示
除去
ｵﾝｴｱ後

表 3 協調撮影規則
番号
ﾛﾎﾞｶﾒX
任意のｼｮｯﾄ⑥
切替
ﾛﾎﾞｶﾒY と同じｼｮｯﾄ⑦

全員ｼｮｯﾄ

ｵﾝｴｱ

切替ｼｮｯﾄﾌﾘｯﾌﾟ
ﾌﾘｯﾌﾟ込み L
ﾌﾘｯﾌﾟ込み R
ﾍﾞｰｽｼｮｯﾄ
ﾍﾞｰｽｼｮｯﾄ

3． 実験
考案したシステムの有効性を検証するため、実際に放送された番組を用いてシミュレーション実験を行った。
今回対象としたのは、｢スタジオパークからこんにちは｣｢クローズアップ現代｣(NHK 総合)、｢日本語なるほど塾｣｢高校講座・日本史｣(NHK 教育)である。表 4には各番組のジャンル、出演者数(下手人数:上手人数)、テスト番組数を示した。また、オンエアショット列を撮影規則を用いずに図 2の運用画面で再現する際の、手動ショット決定数(サムネール(A)タッチ数)、撮影規則(Ⅰ～Ⅲ及び番組ごとに行う個別設定)を用いた時の自動ショット決定数、手動ショット決定数を示した。そして、撮影規則を用いなかった時の手動ショット決定数(a)に対する撮影規則を用いた時の手動ショット決定数(b)の割合(削減率)を求めた。
表 4 シミュレーション実験結果
番組
ｽﾀｼﾞｵ
ｸﾛ現
なるほどｼﾞｬﾝﾙ
ﾄｰｸ
報道
教養
出演者数 2:1～2:2
1:1～1:2
1:1
番組数
355

ﾛﾎﾞｶﾒY
ﾛﾎﾞｶﾒX と同じｼｮｯﾄ
ﾍﾞｰｽｼｮｯﾄ
越しｼｮｯﾄ
ﾍﾞｰｽｼｮｯﾄ

2.4 撮影規則の自動生成
2.3 節で述べた撮影規則を、番組ごとに手動設定することは、番組制作者にとって負担が大きい。そこで、各番組に共通して用いることができると考えられる撮影規則は、登録されたロボカメの撮影ショットタイプから自動生成することとした。
撮影規則生成I. 情報物(i) 撮影ショットタイプに｢フリップショット｣が登録されているロボカメは、撮影規則①④を生成。
(ii) (i)に該当しないロボカメで、｢フリップ込み L ショット｣が登録されているロボカメは、撮影規則②④を生成。
(iii) (i)(ii)に該当しないロボカメで、｢フリップ込み R ショット｣が登録されているロボカメは、撮影規則③④を生成。
(iv) スクリーン、小物についても同様の処理を行う。
但し、複数のロボカメに同じ撮影規則を生成しない(優先順位は、2 カメ>3 カメ>1 カメ)。
II. オンエア｢越しショット｣や｢ドリーショット｣、｢ズームイン｣、｢クレーンショット｣等の単発的な演出メモリーショットが登録されているロボカメは、撮影規則⑤を生成。
III. 協調(i) 異なるロボカメ X、Y に同じ撮影ショットが登録されている場合、撮影規則⑥を生成。
(ii) あるロボカメ X に｢全員ショット｣が、別のロボカメY に｢越しショット｣登録されている場合、撮影規則⑦を生成。

514

手動(a)
Ⅰ
撮Ⅱ
影Ⅲ
規個
則
手(b)
削減率(%)

16347231108753.4

702215103245.7

10957
18004339.4

高校講座
教育
1:1
572
32
10032534.7

表 4を見ると、どの番組においても提案した撮影規則が撮影ショット手動決定数を大幅に削減したことが分かる。
但し、話題変化に合わせた撮影ショット変更やドリーショット等の演出的なカメラワークが多く用いられた番組は削減率が悪くなる傾向にあった。次に自動ショット決定数の内訳を見ると、情報物規則(Ⅰ)やオンエア規則(Ⅱ)
は有効に働いていることが分かる。一方、協調規則(Ⅲ)は手動削減効果が小さかった。これは、今回テストした番組においては、各カメラの役割分担が明確であったためと考えられる。

4． まとめ
複数台のロボカメを用いた番組制作スタイルを示し、運用性の向上を図るため、ロボカメの撮影ショット自動決定手法を提案した。さまざまなジャンルの番組でシミュレーション実験し、提案手法の有効性を確認した。
今後は撮影ショットの自動決定率向上を図ると共に、ロボカメ実機を用いた撮影実験を行って、撮影ショットの的確性や切り替えのタイミングを検証していきたい。
参考文献:[1] T. Tsuda, et al, “Intelligent Mobile Robot Camera,“ SMPTE Australia 2005 – Conference and Exhibition,
Session 4.4, July 2005.
[2] 奥田他, “ロボットカメラ協調撮影システム構築に向け たテレビ番組解析, ” 信学技報, vol.105, no. 609,
pp.159-163, Feb. 2006.