Print ISSN 0285-9831
Online ISSN 1348-0316
CD-ROM ISSN 2186-716X

256

◆
【論

文】
ST-GCNを用いた教師行動パターンに基づく教師行動の定量的評価

◆
【論

文】
環境地図のスケールに合わせたVisual Odometry◆【ショートペーパー】
モアレを用いた多彩な動き生成◆【ショートペーパー】
粘土細工のような両手操作による3 次元形状モデリング◆【ショートペーパー】
グラフィックデザインのためのセマンティクスを考慮した色候補生成◆【講座】
HTJ2K(High Throughput JPEG 2000)の概要◆【国際会議】
第12回ITUカレイドスコープ2020学術会議報告◆【報

告】2020年度画像電子学会年次大会報告

◆
【報

告】
Visual Computing 2020開催報告

◆
【報

告】
画像電子学会 第１回デジタルミュージアム・人文学
（DMH）
研究会

一般社団法人Vol.50 No.2

2021

画像電子学会賛助会員
池 上 通 信 機 株 式 会 社
オ リ ン パ ス 株 式 会 社
科 学 技 術 振 興 機 構
公益財団法人画像情報教育振興協会
桂 川 電 機 株 式 会 社
株式会社 K D D I 研究所
株式会社ゲネシスコンマース
コニカミノルタ株式会社（2021 年 3 月 31 日現在）

サ ク サ 株 式 会 社
シリコンスタジオ株式会社
株 式 会 社 テ レ ビ 朝 日
D I C
株 式 会 社
大 日 本 印 刷 株 式 会 社
ディライトワークス株式会社
東 芝 テ ッ ク 株 式 会 社
凸 版 印 刷 株 式 会 社

編集委員会（委 員 長）（副委員長）（編集顧問）

入会のご案内児玉 明
内田 理，小林直樹，竹島由里子
安田靖彦，富永英義，小宮一三，小野文孝,
羽鳥好律，松本充司，田中 清．
石川知一，関野雅則，上倉一人, 北岡伸也．
加藤茂夫（編集理事）（名誉編集幹事）（編集幹事） 河村尚登, 津田大介，森谷友昭，山田雄一郎．
（編集・
荒井良徳，石川雅浩，上平員丈，大木眞琴，
査読委員） 木村俊一, 久下哲郎，倉掛正治，櫻井快勢，
佐藤甲癸，佐藤周平，篠田一馬，白川真一,
新谷幹夫，田中賢一，N.P.チャンドラシリ，
プレーマチャンドラ・チンタカ，豊浦正広，
長谷川まどか，濱本和彦，藤澤 誠，藤代一成，
牧田孝嗣，吉田典正，若原俊彦，Chee Seng CHAN,
Paramesran RAVEENDRAN, KokSheik WONG．
（査読委員）

荒川賢一，荒木昭一，有川智彦，伊藤貴之，
五十嵐悠紀，岩切宗利，岩橋政宏，大澤秀史，
尾上孝雄，金井 崇，金子俊一，金森由博，金子 格，
金田和文,北郷正輝，勝間ひでとし， 栗原恒弥，
黒沢俊晴, 洪 博哲，小館亮之，駒形英樹，
小町祐史, 今間俊博，斎藤隆文，齋藤 豪,
斉藤文彦，佐藤真知子，篠原克幸，島村 潤，
下馬場 朋禄，白井啓一郎，杉崎栄嗣，瀬崎 薫，
瀬政孝義，高島洋一，高野邦彦，田中芳樹，
高橋時市郎，谷口行信，田村 徹，辻 宏行，
鉄谷信二 ， 中村康弘 ，納 富一宏， 包 躍，
林 正樹，福江潔也, 堀田裕弘，本宮隆広，
茅 暁陽，松木 眞，松田浩一，三田雄志，
三ツ峰秀樹，六浦光一，森島繁生，柳原政弘，
藪下浩子，山口隆二，山崎龍次,Hernan AGUIRRE，
Yoong Choon CHANG，Robin Bing-Yu CHEN，
Mochamad HARIADI，Pizzanu KANONGCHAIYOS，
Teck Chaw LING，Keat Keong PHANG，
Nordin BIN RAMLI．

（事務担当）

日本テレビ放送網株式会社
日 本 電 信 電 話 株 式 会 社
日
本
放
送
協
会
株 式 会 社 日 立 製 作 所
富士ゼロックス株式会社
古 野 電 気 株 式 会 社
三 菱 電 機 株 式 会 社
株 式 会 社 リ コ ー

浮ヶ谷 修，福島 理恵子，本田京子.

入会ご希望の方は下記ご参照の上，学会ホームページよりお申込頂くか，事務局にその旨ご連絡ください。
○会員の種別正会員：本会の目的に賛同する個人
学生会員：本会の目的に賛同する学生賛助会員：本学会を援助する個人または法人
特殊会員：本学会の目的に賛同する個人以外の図書室，研究室など○入会金および年会費
入会金：正 会 員 1,000 円
学生会員 500 円
年会費：正 会 員 10,000 円（口座振替 9,000 円）
学生会員 3,000 円
賛助会員 50,000 円（1 口）特殊会員 12,500 円○ご連絡先〒116-0002 東京都荒川区荒川 3-35-4
ライオンズマンション三河島第二 101 号
TEL (03)5615-2893
FAX（03）5615-2894
E-mail: hensyu@iieej.org（編集）kikaku@iieej.org（研究会・会員情報）
hyoujun@iieej.org（テストチャート）
http://www.iieej.org/
http://www.facebook.com/IIEEJ

画 像 電 子 学 会 誌
第50巻 第2号

通巻256号 （2021年4月）

目

次

随 想
243

日本人初のマスターズ優勝から見える夢の大切さ

245

ST-GCNを用いた教師行動パターンに基づく教師行動の定量的評価

大井 翔，姚 舜禹，野間春生

254

環境地図のスケールに合わせたVisual Odometry

山口真弘，森 尚平，斎藤英雄，谷内田尚司，
柴田剛志

265

モアレを用いた多彩な動き生成安部龍馬，北 直樹，斎藤隆文

272

粘土細工のような両手操作による3 次元形状モデリング古賀 亮，盧 承鐸，五十嵐健夫

277

グラフィックデザインのためのセマンティクスを考慮した色候補生成

玉置尚吾，北 直樹，斎藤隆文

284

秘境と世界遺産とを巡る旅（その２）287

HTJ2K(High Throughput JPEG 2000)の概要

293

第12回ITUカレイドスコープ2020学術会議報告297

2020年度画像電子学会年次大会報告

吉田典正

300

Visual Computing 2020開催報告

向井智彦

306

画像電子学会 第１回デジタルミュージアム・人文学（DMH）研究会

横山恵理

308

東京理科大学 工学部 情報工学科 谷口研究室

311

イマーシブライブエクスペリエンス（ILE）の標準化について

314
317
319
320

理事会だより・協賛案内
画像電子学会アーカイブII（1972-2019）の頒布について
画像電子学会研究会等予定
Call for Papers : The 7th IIEEJ International Conference on Image Electronics andVisual Computing 2021 (IEVC2021)
Advanced Image Seminar 2021

児玉 明

論 文

ショートペーパー

コーヒーブレイク
河村 尚登

講 座
渡邊 修

国際会議
松本充司

報 告

グループ紹介谷口行信

スキャニング

会

321

長尾慈郎

告・ニュース
323
325
327
331
335
335

イマーシブメディア実現のための画像関連技術論文特集 （和・英）
クリエイティビティを支援・拡大する画像関連技術論文特集（和・英）論文投稿の手引き
日本画像学会誌・日本写真学会誌・日本印刷学会誌目次
会 報
編集後記

The Journal of
the Institute of Image Electronics Engineers of Japan
Vol.50 No.2 April 2021

CONTENTS

Foreword
243

The Importance of Dreams Seen from the First Japanese Winner of the
Masters

Mei KODAMA

Contributed Papers
245

Quantification Evaluation of Teacher Behaviors Based on Teacher Action
Patterns Using ST-GCN

Sho OOI , Shunyu YAO , Haruo NOMA

254

Visual Odometry Adjusted to the Scale of a Global Map

Masahiro YAMAGUCHI, Shohei MORI, Hideo SAITO,
Shoji YACHIDA, Takashi SHIBATA

Short Papers
265

Various Motion Generation with Moiré

Ryuma ABE, Naoki KITA, Takafumi SAITO

272

3D Freeform Modeling by Two-Handed Clay Work

Akira KOGA, Seung-Tak NOH, Takeo IGARASHI

277

Semantics-Aware Color Candidate Generation for Graphic Designs

Shogo TAMAOKI, Naoki KITA, Takafumi SAITO

284

Journey for Scenic Spots around World Heritages : Part 2287

An Overview of HTJ2K (High Throughput JPEG 2000)

293

Report on 12th ITU Kaleidoscope Conference 2020

297

Report of IIEEJ Annual Conference 2020

Norimasa YOSHIDA

300

Report of Visual Computing 2020

Tomohiko MUKAI

306

The First Conference of IIEEJ SIG on Museum and Humanity

Eri YOKOYAMA

308

Taniguchi Lab., Dept. of Information and Computer Technology, Tokyo
University of Science

311

Standardization of Immersive Live Experience (ILE)

Coffee Break
Naoto KAWAMURA

Tutorial
Osamu WATANABEInternational Conference
Mitsuji MATSUMOTO

ReportResearch Group Introduction
Yukinobu TANIGUCHIScanning
Jiro NAGAO

Published four times a year by the Institute of Image Electronics Engineers of Japan（Gazo Denshi Gakkai）
101，3-35-4，Arakawa，Arakawa-ku，Tokyo 116-0002，Japan
Tel：+81-5615-2893 Fax：+81-5615-2894 E-mail：hensyu@iieej.org http://www.iieej.org/

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

日本人初のマスターズ優勝から見える夢の大切さ
児玉 明（副会長，広島大学）

The Importance of Dreams Seen from the First Japanese Winner of the Masters
Mei KODAMA (Vice President of IIEEJ, Hiroshima University)

新年度を迎え，心改まる季節である．今年は特に，全国的に染井吉野の開花が早まり，広島をはじめ各地で 1953 年の統計開始以来最も早い記録を更新した．筆者の所属する大学の所在地東広島では例年の入学式は蕾桜であるが，本年は異例の散り初めであった．コロナ禍の中での新年度は昨年同様であるが，対面での授業実施に伴い学内にも学生の活気が戻ってきたことは喜ばしいことである．とはいえ，4 月に入って新型コロナウイルス感染症の拡大を防ぐため，「まん延防止など重点措置」が特定の都市で実施され，さらに 4 月下旬には「緊急事態宣言」が 4 都府県で発令されたことは憂慮に堪えない．本稿では，世界で蔓延する新型コロナウイルスによる閉塞感のなか，明るい未来に目を向け，苦しいときを耐え抜く気持ちと夢の大切さについて考えてみたい．なお，若輩ながら昨年より副会長（編集委員長兼務）を仰せつかっており，そのご挨拶を兼ねて記させて頂く．
さて，4 月 16 日午後，新型コロナの影響で延期されていた日米首脳会談が行われた．バイデン政権発足後初めて訪米する外国首脳として熱い歓迎を受け，⾃由，⺠主主義，⼈権，法の⽀配等の普遍的価値を共有し，インド太平洋地域の平和と繁栄の礎である日米同盟関係をより一層強化していくことで一致し，更にアジアの地域情勢や安全保障について意見交換したとのニュースがあった．短い時間ではあるが，対面会談による密な国際連携が図られたことは，日米関係に留まらず，アジアや世界情勢の安定や人々の安寧にとって重要なことであり，オンライン会合では得られない成果であったと言える．一方，我々は，対面会合の価値は認識しつつも，相変わらず出張等の自粛を余儀なくされ，本学会の会合等も，感染防止重視のオンラインで実施している．気掛かりなのは，コスト低減，出席率の向上等の利便性はあるものの，オンライン化の導入により新たな知人を作り難い，深い話ができないなど，人と人との結びつきの希薄化が加速している事と，深い議論の欠如に伴う積極的思考の低下である．もし，人々が一つの目標／目的に邁進するために
これまで大切にされてきた絆や一体感がコロナ禍により損なわれているとすれば，コロナ禍の継続期間にもよるが，10年後，20 年後には，人々の結束力・団結力の低下，人間関係の欠如が目に見えない形で大きな社会問題を引き起こす可能性もあるだろう．したがって，ポストコロナを鑑みて，本学会においても高度情報通信技術・高性能製品の導入については，その有効性や改善に関する技術的側面の議論だけでなく，社会生活に対する恩恵と弊害等についても取り上げていく必要がある．
このようなテレワーク・オンライン化により人間関係の希薄化が懸念される中，一つの解決策は，「夢」の共有ではないだろうか．仮令，現実離れした夢であっても，それを語る人の熱意・真剣さは周囲に伝染するものであり，夢への過程（道）を一歩一歩解く（示す）ことができれば，いつの間にかその夢に同調し，夢の実現へ向かってゆく仲間を増やすものである．このためには，改めて人間力の重要性を認識しておく必要がある．人間力戦略研究会報告書によれば，，「リーダーシッ
人間力とは，(1) 「論理的思考力」，「創造力」等の知的能力的要素，(2) 「コミュニケーションスキル」
プ」
，
「公共心」
，
「規範意識」や「他者を尊重し切磋琢磨しながらお互いを高め合う力」等の社会・対人関係力的要素，(3) 「意欲」,「忍耐力」や「自分らしい生き方や成功を追求する力」等の自己制御的要素，が構成要素として挙げられる．これらの人間力を延ばす／磨く力の醸成に関しては，会社の役員や上司，大学の先生等の役割が大きい．私も恩師からその恩恵を受けたが，中でも(3)に関連する，夢に対する熱意を授かったのは，会合やゼミではなく，カフェや飲み会等の打ち解けた場でのたわいもない話を通じてであったと記憶している．コロナとの共存が求められる今，コロナル
ールを遵守しつつ，改めて飲み会・親睦会に相当する機会の大切さを噛み締めている．
また，夢に関するお手本は必ずしも身近な存在に限らない．趣味の世界に深入りしているとお叱りを受けるかもしれないが，ゴルフの話を通して，夢の大切さについて語らせていただきたい．コロナ禍で気が重くなるニュースが多い中で，松山英樹が日本勢男子として初めてゴルフの海外メジャーを制した朗報は，ゴルフ界のみならず日本全体に衝撃を与えるとともに，大いなる活力を届けてくれた．ゴルファーならば誰もが憧れるマスターズ（ジョージア州・オーガス
タナショナル GC）での優勝である．ご承知のとおり，ゴルフのメジャーとは，世界四大大会のマスターズ・トーナメ
ント，全米プロゴルフ選手権（PGA 選手権）
，全米オープン選手権，全英オープン（ジ・オープン選手権）を指す．こ243

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）のメジャーで勝つことが，世界のプロゴルファーの夢と言って良い．中でもマスターズはその歴史からメジャーの中でも別格の存在である．今回で，松山プロはアマ時代から数えて 10 回目の出場であったが，「自分の目標（夢）はマスターズ優勝」と常々言い切っていた．そして遂にその夢を実現したのである．ゴルフに詳しくない方でも，ご年配の方ならベン・ホーガンやジャック・ニクラウス，中・若年層ならフィル・ミケルソンやタイガー・ウッズらの名前と共にこの大会の名を聞かれたことがあるだろう．
ゴルフがそれほど上手くない私が言うのもおこがましいが，30 年以上の経験者として一言言わせて頂くと，ゴルフ
は技術力が勿論重要ではあるが，忍耐力と集中力のスポーツであり，精神力がその日のスコアに直結する．誰でも，アプローチショットがピンそばに寄ってくれたり，ロングパットが入れば気分が高揚する．だが，そんな幸運も得てして続かない．一方，ダフったり，池ポチャすれば落ち込み，パットしたボールがカップの縁をなめれば不運を嘆き，思わぬ場面での失敗が更に次のプレーに影響する．このような心の浮き沈みに克つことこそがゴルフの醍醐味である．これまで，世界トップクラスで活躍する日本人アスリートで技術的には優れているものの，精神力の差で涙を呑んだ場面は数々あった．今回の松山プロの活躍を見て，多くのゴルフファンが松山プロに自らを重ね合わせ，手に汗を握りながら，彼の高い技術力に裏打ちされた精神的強靭さに感服したと思う．往年の青木 功，尾崎将司，中島常幸等の日本ゴルフ界の名プレイヤーたちがいずれも 10 回以上挑み，跳ね返され続けた壁を，漸く松山プロが突破したこの大偉業は，大人だ
けでなく多くの子供たちに勇気と感動を与えてくれたに違いない．勝利の瞬間，TV 中継で解説者を務めた中島プロの
沈黙と涙がこれまで日本人が成し得なかったメジャー優勝の価値を物語っていた．コロナ禍の自粛一辺倒の生活で忘れがちであった，夢を持つことの大切さ，その実現に向けた苦難・偉業へのチャレンジ魂の素晴らしさを改めて我々に教えてくれたといえよう．1 年延期された東京オリンピック・パラリンピックも感染防止を万全にしたうえで是非実施していただきたいと願う所以でもある．
勿論，松山プロの陰の努力は想像を絶すると思うが，トップを目指して答えの見えていない努力目標を設定し，その成果を追い求める行為は，我々の研究開発にも当てはまる．目標到達に向け，再試行と挫折を繰り返しながら，ゴールへの道をさらに高い位置から俯瞰したり異なる視点から模索したりして，努力を続けることの重要性は，どの世界にも通じることであろう．時には，当面の目標やこれまで考えてきた手法を勇気を持って修正する場合があるかもしれないが，それが結果的に早道であることも多い．諦めずに挑戦を続ければ，成果が得られた時の高揚感は計り知れない．この醍醐味こそが，研究開発の楽しさであろう．新一万円札の肖像画に決まり，「日本資本主義の父」と称される渋沢栄一の名言として，「夢なき者は理想なし，理想なき者は信念なし，信念なき者は計画なし，計画なき者は実行なし，実行なき者は成果なし，成果なき者は幸福なし，故に幸福を求むる者は夢なかるべからず．
」や「ただそれを知っただけでは上
手くいかない．好きになればその道に向かって進む．もしそれを心から楽しむことが出来れば，いかなる困難にも挫けることなく進むことができるのだ．
」が思い起こされる．もし，松山プロのように自分の夢を持つこと，その実現過程を楽しむことができれば，誰でも，たとえ少しずつでも偉人に近づけるのではないだろうか．会員の皆様には，本学会を通じて，研究開発の醍醐味をより多くの研究者に届け／感じて貰うことが出来れば有難いし，学会発表の場で建設的な議論ができれば，人との交流は更に楽しくなるに違いない．
画像電子関連技術における先人の努力の積み重ねを糧とし，本学会で類を見ない研究開発に目を通すことで，未来の製品像が想像出来れば，その実現により，きっと先進的な画像
電子関連技術に包まれた明るい情報化社会の到来につながるであろう．改めて未来への希望を与えてくれた松山プロの雄姿に敬意を表し，引き続き，彼の今後は勿論，金谷拓実プロ等の次世代の活躍にも刮目していきたいと思う．
さて，前号からの広報の繰り返しになるが，現在，国際カンファレンス IEVC2021 は，世界でのコロナ蔓延を考慮し，9 月に初めて国内（北海道知床）での開催（現在ハイブリッド形式で実施の予定であるが，今後オンラインのみへの変更も視野に入れている）とし，論文募集をしている．当該 CFP を参照頂き，各イベントでの発表から論文投稿へと研究成果をステップアップさせてゆく発表形態をご検討頂きたい．加えて，これまでの本学会誌・英文論文誌への掲載論文をはじめ，技術解説，講座やスキャニングなどの全記事や各種イベント（年次大会，研究会等）の全予稿を収めた電子アーカイブの新規バージョン（第 1 回配布分の内容も含む）の頒布を開始しております．是非，申込みをお願い申し上
げますとともに，関係者へもご周知頂きたいと存じます．詳しい情報は，本号の「画像電子学会アーカイブⅡ（1972-2019）
頒布のご案内」をご覧ください．
最後に，現在のコロナ禍の閉塞感に負けないために，上述したように，個人個人がそれぞれ夢を持ち，誰もが忍耐と挑戦の気持ちを共有し，夢実現のために弛まぬ努力を続けることの重要性を，再度，申し述べると共に，是非，本学会を画期的な成果を発表する場，或いは積極的な議論の場として，活用頂きますようお願い申し上げ，副会長としての挨拶とさせて頂きます．会員の皆様のご健勝とご多幸をお祈り申し上げますとともに，本学会への一層のご理解とご支援を賜りますよう，お願い申し上げます．

244

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
IIEEJ

☠ᄚ
ST-GCN を用いた教師行動パターンに基づく教師行動の定量的評価
大翔†（正会員）

井

舜 禹†

姚

野 間 春 生†† 立命館大学 情報理工学部

Quantiﬁcation Evaluation of Teacher Behaviors Based on
Teacher Action Patterns Using ST-GCN
Sho OOI† (Member) , Shunyu YAO† , Haruo NOMA†† College of Information Science and Engineering〈あらまし〉 本論文では，新任教員の授業の質の向上を目指すために，新任教員と経験者教員の行動を解析し，その違いを定量的に評価 (点数化) することを目的とする．小学校・中学校・高等学校の新任教員は，初日から「先生」として教壇に立ち授業を行うが，授業力が十分に備わっていない状態である．新任教員の授業力を向上させるには，(1)
授業の客観的な振り返りを行い気づきを得ること，(2) 現場に近い環境で訓練を行うことが重要である．本論文では，(1) に着目する．新任教員が気づきを得るためには，経験者教員の授業との違いを客観的に振り返る必要がある．具体
的には，模擬授業中の新任教員と経験者教員の行動パターンを Spatial Temporal Graph Convolutional Networks
を用いて抽出し，それぞれの行動パターンデータセットを作成する．生成した行動パターンデータセットに基づいて，教員行動を定量的に評価する．実験として，新任・経験者教員の計 44 個の模擬授業データに対して，交差検証法により，模擬授業のスコア計算を行い評価した．結果として，新任・経験者教員にラベルづけしたデータに対して，スコアリングした結果，81.8%の分類精度が得られ，教員の授業行動を定量的に分析することができた．また，新任教員
は「板書をする」動作を含むパターンが多く，経験者教員は「立って話す」動作と他の動作を組み合わせて授業を構成しているが分かり，新任教員が経験者教員の授業への違いについて気づきを得られる可能性があることを示した．
キーワード：教師行動分析，教師行動評価，模擬授業，行動認識<Summary> This paper aims to improve a teaching quality of a beginner teacher, quantitatively evaluates the diﬀerence between beginner teachers and specialist teachers from analyzing behaviors of beginnerteachers and specialist teachers. Speciﬁcally, this study extracts behavior patterns of two groups using
spatial-temporal graph convolution networks, and generates pattern datasets of two groups. As an experiment, we evaluated the teacher’s behavior by calculating the score of the trial lesson based on patterndatasets. As a result, we obtained a classiﬁcation accuracy of 81.1 percents against beginner and specialist
teacher data, were able to analyze teacher’s behavior. Furthermore, beginner teachers’ class consisted of the
movement of ”writing on the board”, on the other hand, specialist teachers’ class composed the class by
combining ”standing and speaking” with other behaviors. This visualization shows that beginner teachers
can obtain awareness of the diﬀerences between experienced teachers and classes.
Keywords: teacher behavior analysis, teacher behavior evaluation, trial class, action recognition

大学における教職課程では，受講生が生徒役になり，教室の

1. は じ め に雰囲気をつくり模擬授業を実施する．その後，生徒役の学生

小学校・中学校・高等学校の新任教員は，初日から「先生」

が先生役の生徒の授業を評価したり，ビデオを振り返りディとして教壇に立ち授業を行うが，実践経験の不足から，授業

スカッションすることで自身の授業に対する気づきを得てい力 (どのように振る舞うのか，どのような発問をするのか，ど

る1),2)．新任教員の授業力を向上させるためには，(1) 授業のように授業をコントロールするのかなど) が十分に備わっの客観的な振り返りを行い気づきを得ること，(2) 現場に近ていない状態である．そのため，授業を多く経験するために， い環境で授業の訓練を行うことが重要であり，本論文では，

245

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

する．4 章では，実験について説明し，5 章では，結果と考察について述べる．6 章では，本研究の結論と展望について述べる．

2. 関 連 研 究
2.1 授業の評価方法
授業の評価方法として，学生や外部の評価者に対してアン
ケートを実施し，声の大きさ，板書，話し方，動作など評価している2)〜5)．しかし，アンケートによる評価は，多くの評価者が必要で，個人的な感情が入る可能性もあり，定量的な図 1 授業振り返りシステム

評価は難しい．また，生徒の成績との関係から授業を評価す

Fig. 1 Reﬂection system of the class

る方法も提案されている17)〜19)．福田ら20) は教員指導シス(1) に着目する．新任教員が気づきを得るためには，自分のテムを開発し，教育の専門家が体験者の授業を評価している．

授業や経験者教員の授業との違いについて，客観的なエビデ専門界による評価は信頼度高いが，主観的であり，教育の専

1)

ンスを提示することが効果的である ．そこで，図 1 に示す門家が必要という欠点がある．いずれの研究においても，評ように，振り返りシステムが重要であると考える．

価者が人であるために，個人的な感情が入る可能性もあり，振り返りシステムは，授業映像を入力とし，授業中における教員の振る舞い，発問，生徒の姿勢などから授業を評価し，その評価と改善点・授業の映像を教員にフィードバック
することで，自身の行動を客観的に把握できる (気づきが得られる) システムである．授業を客観的に評価する方法として，授業中の教師の振る舞い，発問，生徒の反応などに対して，聴講している教師や受講生のアンケートによる評価がある2)〜5)．しかし，アンケートによる評価は，主観的であり，評価者が多く必要になる．そこで，児童や生徒に大きな影響がある教員の行動に着目し6)〜11)，授業中の教員の行動から授業を評価する方法を提案する．授業中の行動に関する研究として，画像処理技術において板書などの一部の行動を検出したり13),14)，深層学習で静的が認識は行われている15)．しかし，授業中の行動は動的なパターンの組み合わせ (例えば，板書をし，指をさし，説明するなど) が重要であると考える．
本研究では，振り返りシステムにおける評価のフィードバッ
クを実現するために，授業中における動的な行動パターンに着目し，行動パターンから新任教員と経験者教員それぞれの行動パターンとの類似度を評価し，新任教員と経験者教員の授業中の行動パターンの違いを可視化する．具体的には，模擬授業を対象とし，教員の非言語的行動の動作認識において時系列情報を扱うことができ，一般のビデオ映像で処理することのできる Spatial Temporal Graph Convolutional

Networks (ST-GCN)16) によって教員の動作を 10 種類に分類する．その 10 種類の動作から行動パターンデータセット

人員も要する．

2.2 教員の授業行動識別手法
教員の非言語コミュニケーション (動作など) は，児童や生
徒に大きな影響がある6)〜11)．従来の画像処理技術を用いた教員行動の識別や分類方法として，杉本らは，大学の授業における講師の立ち位置や身振りの関係性から，超音波センサ
やカメラを用いて行動を 4 種類に分類している．しかし，どのような身振りであったのか詳細な検出は行っておらず，講義中に黒板を使って説明しているか，スライドを使って説明しているか等の行動を対象としている12)．島田らは板書，説明，移動の 3 種類の動作について，肌色抽出や顔認識による分類を試みている13)．米谷らは，受講者のアンケート評価の結果から，板書，話し方，板書を指すなどのジェスチャを推定する方法を提案している14)．小西らは，模擬授業においてオプティカルフローにより黒板前の教員の動きを検出している2)．いずれの研究においても，細かい教員の振る舞いや行動について検出していない．
他に一般的な行動認識の手法として，スケルトンシーケンス
ベースの方法があり，骨格の相対位置21)，骨格の軌跡の共分
散行列22)，深層学習ベース16),23) がある．これらの技術は教員行動にも応用することが可能であり，中川らは，PoseNet24)
を用いて，授業中の映像からフレームごとに切りだし分類を試みている15)．しかしながら，画像ごとに動作を識別しており，時系列情報は扱っていない．

を作成し，行動パターンデータセットに基づき授業中におけ

2.3 本研究の位置づけ

る教員行動の行動パターンが，新任教員もしくは経験者教員

本研究では，振り返りシステムにおける評価のフィードバッ

のどちらに類似しているかを定量的に評価する方法を提案す

クを実現するために，授業中における行動パターンに着目し，る．2 章では，関連研究を挙げながら本研究の立ち位置を述行動パターンからの授業評価と新任教員と経験者教員の行動

べる．3 章では，教員行動の動作パターンを抽出および動作の違いの可視化を目的とする．

パターンに基づく定量的評価 (スコアリング) の手法を紹介

従来，授業を評価するためには，受講者による評価や専門家による評価が信頼度も高く主流である．しかし，主観的な246

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 3 10 種類の教員行動
Fig. 3 Ten types of teacher behaviors

勢」と「机に手をついた姿勢」の行動は，教員採用試験の観図 2 評価システムの仕組み

点からも減点対象になる可能性もあり，模擬授業においてこ

Fig. 2 The ﬂow of evaluation systemのような行動はあまりしない．また，模擬授業を対象とし机評価であり，評価者が複数名必要になる．そこで，児童や生
徒に大きな影響がある授業中の教員行動に着目し6)〜11)，画像処理技術を用いることで，新任教員と経験者教員の行動パターンを抽出し，行動パターンの類似性によって客観的に授業を評価する．
新任教員と経験者教員の行動パターンについては，画像処理技術を用いて板書や発言中の行動を対象としており動作の細かく分類されていない点，深層学習を用いて多クラスを対象としているが時系列情報を扱っていない点が課題であった．

間巡視の行動は比較的出現が少なく，西尾らの研究では黒板を利用した指導方法 (黒板の前での指導者の振る舞い) は，学
習者の能動的な学習を促す方法として注目されていることから34)，本研究では，先行研究の分類29),30)を基に，現職教諭と議論し，現職教諭の意見から図 3 に示す黒板を利用した指導方法の振る舞いとして 10 種類を対象とした．ここで，(A)〜(J) は各動作のラベルである．ただし，行動の状況のみ定義しており，本研究では音声情報は活用していない．

3.2 単一動作認識と同様に，特殊なセンサを必要とせず，

教員動作の認識として，Yan らが提案した ST-GCN16)を教師の下半身が教卓等で隠れても上半身が安定して検出がで教員の動作に適用し認識する．ST-GCN16)では，同一フレー

きる Open Pose25) ベースであり，骨格の各ノードが誤検出

ム内の関節間の関係を考慮する空間グラフと，フレーム間のした際に，他のノードの空間軸方向と時間軸方向からリカバ

同一関節を結ぶ関節の時間的な変動を考慮する時間グラフのリができ，検出に頑健であるため，教師行動の認識に Yan ら

2 種類ある．Yan らが実験した ST-GCN16)では，5 秒程度のが提案した ST-GCN16) を教員の動作に適用し認識する．

動きに対して学習を行って認識をしているが，教員の動作は

24)

そこで，PoseNet

細かい動きが多いため数秒の間に複数の動作をするため誤認

3. 新任・経験者教員の動作パターンに基づく
教員行動の定量的評価手法

識が多かった．そこで，時間グラフに関するパラメータを変

本章では，ST-GCN を用いた教員動作の分類，教員の行動なった．今回は模擬授業のビデオデータ 44 本を目視し，最パターン抽出，教員の行動パターンに基づく模擬授業中の教長で 1 動作が 3 秒程度であったため，3 秒を 1 つの動作と員行動の定量的評価について述べる．提案する評価システム

して学習する35)．今回対象とした 44 本の模擬授業の動画で更し，畳み込み演算する行列サイズを小さくして学習をおこの処理手順は図 2 に示すように 5 ステップの処理である26)． は，教科や教師が異なるうえで平均を算出した結果であり，個人差などは考慮できていると考える．また，今回は定義し
3.1 教員動作の分類ていない他の教師行動の動作時間は，今回定義した「板書す
教 員 動 作 の 分 類 で は ，身 体 動 作 な ど 大 き く 7 種 類 にる (J)」の動作より短く，10 種類以外のデータを加えた場合
分類7),32),33) されており，河野らは 9 領域 51 種類の分類してでも対応できると考える．学習したモデルを活用し，模擬授いる27)〜29)．9 領域は，「床に立った姿勢」「机に手をついた姿
業に対して認識を行う．ST-GCN は特性上 30 fps のビデオ
勢」
「資料を持った姿勢」「身振りのついた姿勢」「片腕をつかを 4 フレームに一度認識を行い，時系列で出力される．本研
んだ姿勢」「黒板を利用した姿勢」「身体や衣服にふれる姿勢」
究では，30 fps のビデオを使用して分析するため，ST-GCN「椅子や机に座った姿勢」「机間巡視の姿勢」である．野中は，によって出力される (4 フレーム) の一結果は約 0.13 秒であ小学校教員がとる姿勢を，51 種類の姿勢に分類し，その後り，この結果を単一動作と定義する．
クラスタ解析し 7 領域に分類している30),31)．いずれの分類も実際の授業中のビデオ映像から手動で細かい動作を分類している．しかし，模擬授業中において「椅子や机に座った姿
247

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 4 単一動作から一連動作の抽出
Fig. 4 Extraction of a simple behavior to a serious behavior

3.3 一連動作の抽出
ST-GCN により，単一動作の抽出ができる. しかしながら，その一結果の時間 (0.13 秒) は実際に教員の動作の時間とは異なる．そこで，実際の動作に対応するため，ST-GCN の結果である単一動作を複数考慮し一連動作の抽出を行なった．
一連動作の長さについては，野中の研究30)を参考し決定した．
具体的には，図 4 に示すように，3.2 節で抽出した単一動作について同一の動作の連続が 4 つから 8 つまでを一連動作と

図 5 教員行動のパターン抽出
Fig. 5 Extraction of teacher behavior pattern

してまとめる．したがって，一連動作の時間は 0.52(0.13×4)秒から 1.04(0.13×8) 秒までとなる．また，一連動作の抽出
時に，単一動作の誤認識が考えらえるため，兒島ら36)が提案した過去の多数性を考慮した誤り訂正方式を使用した．

3.4 行動パターンデータセットの作成 (行動パターン抽出)
我々は，3.3 節で定義した一連動作から行動パターンを抽出する．具体的には，3.3 節で定義した一連動作を基に，ウィン
ドウサイズを 2 以上 6 までとし，スライドサイズを 1 としてスライディングウィンドウアルゴリズムを用いてパターンの抽出を行う．その様子を図 5 に示すが，ウィンドウサイズの違いによる影響を検討するために，一連動作に含まれる単一動作の最大値を 4〜8 の間で可変として比較する．また，新任教員と経験者教員の特徴を学習するため，複数の授業データを処理し，新任と経験者教員の授業データから抽出した行動
パターンをデータセットとして保存する．このとき，教員ごとに行動パターンを抽出する．ただし，教員 1 人につき抽出したパターンの回数は考慮しない (例: 教師 1:AA, AB, AC，
教師 2:AB, AAA，教師 3:AA, AB, AAA)．ここで，個人特有のパターンを排除するために，出現回数が 2 回以上の行動パターンをデータセットに保存する (例の場合，行動パター
ン AC は教師 1 のみなのでデータセットに保存しない)．

図 6 新任・経験者教員の行動パターンデータセットの作成
Fig. 6 Generation of behavior pattern dataset of begginer teacher and expert teacherと考える．図 6 に示すように，新任教員と経験者教員の行動
パターンデータセット中において共通している行動パターンを削除し，各データセットの独自の行動パターンのみを残すようにする．つまり，新任教員に見られる行動パターンおよび経験者教員に見られる行動パターンの抽出を行う．
次に，スコアの計算方法として，検証する模擬授業から教員行動を抽出し，作成した新任・経験者の行動パターンデー
タセットと比較し，それぞれの行動パターンデータセットと3.5 スコア計算 (定量的評価)
3.4 節で作成した教員の行動パターンデータセットを用いて授業中の行動をスコアリング (定量的評価) をする．このマッチングした数を求める．このとき，行動パターンは動作

とき，「経験者教員との違い」「新任教員の行動パターンを含類の動作として，「AB」の行動パターンと「ABC」の行動パ

む行動パターンになっていること」に「気づき」を与えるた

ターンが抽出された場合に，同じサブパターン「AB」が含めに，新任教員の行動パターンと経験者教員の行動パターン

まれる．ただし，パターン数を複数カウントするため，短いの類似度からスコアを定義し，算出する．新任教員らしいパ

サブパターン (例では「AB」) はカウントしない．

の順序やタイミングを含んでいる．また，長いパターンは短いパターンの情報を含む．例えば，
「A」，
「B」，
「C」は三種

ターンが多い場合はスコアが下がり，経験者教員らしい行動

ここで，経験者教員のデータセットにマッチングした数をパターンが多い場合はスコアが上がるように設定した．このα，新任教員のデータセットにマッチングした数を β ，スコアを S ，重みを W とし，式 (1)，式 (2) によりスコアを計算す

ように，数値化することにより，気づきを得ることができる

248

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）(a) 結果の提示の詳細

図 8 行動パターンの推薦機能
Fig. 8 Recommendation function of behavior pattern

は行動の修正の提案として経験者行動のデータセットから 1
動作が異なる似たようなパターンを推薦する．
フィードバックでは，図 7 の画面に示している評価 (スコ(b) 経験者パターンにマッチングした場合

ア)，マッチングパターン，改善パターンと映像を提示する
ことで，授業実施者が自身の授業を客観的に振り返り，授業の改善点や経験者教員との違いについて気づきを得る．この
時，評価 (スコア) が 50 点以上であれば経験者教員のパターンが新任教員のパターンより多く，50 点以下では新任教員のパターンが経験者教員のパターンより多い授業構成をしてい(c) 新任パターンにマッチングした場合ることが分かり，新任のパターンを減らし，評価 (スコア) を

図 7 模擬授業の結果提示
Fig. 7 Show the result of trial lecture上げる必要があることがわかる．同時に，マッチングパター
ンと改善パターンを見ることで，どのように授業を改善する

る．今回，新任教員特有の行動パターンを改善してもらうこ

べきかわかる．

と，パターン数が教員により異なるため正規化として，100

4. 実点法で算出した．そして，どちらの行動パターンが多いかを験明示するために，新任教員特有の行動パターンですべて構成

以下，本研究の実施にあたり，参加者全員に研究内容を説されている場合はスコアを 0，経験者教員の行動パターンで明し，実験参加への同意を得た．立命館大学における人を対すべて構成されている場合はスコアが 100，新任教員の行動象とする研究倫理審査委員会の審査に基づき実施している (衣パターンと経験者教員の行動パターンが同等の場合は 50 と笠-人-2018-51)．

なるように設定した．


W =

β
α
−
α+β α+β
04.1 単一動作認識に関する実験(α ̸= 0|β ̸= 0)

今回，定義した 10 種類の教員動作を 9 名から計 1,992 種(1)(α, β = 0)

類収集し，75% を学習データ，25% を検証データとした．検証方法としては，式 (3) により，10 種類の教員動作の平均認
識精度 (Accuracy[%]) を求めた．表 1 に収集した動作デー(2)タの内訳を示す．

例えば，ある模擬授業において，新任教員の行動パターン

Accuracy =S = 50W + 50

が 10 個，経験者教員の行動パターンが 20 個であればスコア
は「67」となる．

3.6 評価 (スコア) と結果の提示
3.5 節で算出したスコア，経験者・新任のパターンとのマッ
チング過程のビデオを生成した結果を図 7 に示す．
図 7(a) に示すように，スコア，現在の動作，動作列 (過去
7 つ＋現在の動作)，新任教員のパターンから経験者教員のパターンとなるように推薦パターンを明示する．また，結果の動作列が青字であれば新任パターン (図 7(b))，赤字であれば経験者パターン (図 7(b)) とマッチングしていることを意味

TP + TNTP + FP + FN + TN

T P : T rue P ositive,
T N : T rue N egative,(3)

F P : F alse P ositive,
F N : F alse N egative

4.2 模擬授業に対する実験
次に，模擬授業中における教師行動の定量化に関する実験について述べる．新任教員と経験者教員の分類として，全国
模擬授業大会の大会参加規程を参考に，教育経験が 2 年未満
を新任教員，それ以外を経験者教員とした．データセットとして，教員免許状を持つ常勤講師の経験のある男性 1 名，講師経験のない男子学生 1 名 (以下，グループ X)，塾の講師を経験日数などによって 2 分類した 24 名 (以下，グループ Y)，する．
修正機能について，図 8 に示すように，入力した教員の行動パターンが新任パターンにマッチングした時に，システム
249

教員免許状を持っていない情報科教育法 (講義) における学生

7 名 (以下，グループ Z) の 3 種類の模擬授業データセットに

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

ついて評価を試みた．模擬授業の科目と分野は，各自が得意ため，すべての個別動作で 90 ％以上の精度で認識する必要科目と分野を自由に選択させた．また模擬授業の時間を 15があると考える．認識率が低い理由として，「生徒を指す」動分と固定し，15 分間で完結するように促している．ただし， 作の学習において右利きが多く，右手で指す動作をしている
生徒主体となる演習形式などの模擬授業は選択せず，板書やデータが多かったため，「右手を挙げる」「右手を揺らす」に

口頭説明を通じて構成された模擬授業を対象としている．

誤認識しているケースが多かった．原因として，ST-GCN は

表 2 に実験データの構成，表 3 に科目の構成を示す．

Open Pose ベースの骨格情報であり，深度情報 (奥行き) が

模擬授業の行動評価方法として，今回はデータ数が少ない

ないため，手の前後情報が得られず，他の動作に誤認識した

ため，交差検証法で精度を求める．具体的には，検証用の授と考えられる．解決手法として，3D based Open Pose37)な業データを 1 つ，残りのデータを学習データとして，行動パ

ど 3 次元情報を活用することで，精度が向上できると考える．

ターンデータセットを作成し (3.4 節)，すべての組み合わせ
で模擬授業のパターンマッチングによりスコア計算を行い，評価した (3.5 節)．

5.2 模擬授業の評価に関する結果と考察
ウィンドウサイズ長の最大値における新任教員と経験者教員の分類に関する正解率を表 4，スコアの平均値を表 5 に示

また，ウィンドウサイズ長の最大値による違いを検証するため，最小値を 2 とし，最大値を 4〜8 で実験を行なった．新任教員と経験者教員の分類における正解率の算出方法として，ラベルが新任グループで模擬授業のスコアが 50 未満，ラベルが経験者グループで模擬授業のスコアが 50 以上の場合に正解とし，ウィンドウサイズ長の最大値ごとに正解率とスコす．また，新任教員の行動パターンデータセットと経験者教員の行動パターンデータセットの上位 10 位のパターンを表 6，
科目ごとにおける新任教員と経験者教員の分類に関する正解率を表 7 に示す．ただし，表 6 に示しているアルファベットは図 3 で定義した動作を示す．例えば，新任パターンの上位

8 位である「JJBD」(4 × 0.52 秒〜4 × 1.04 秒) は「板書をア平均値を求めた．

5. 結果と考察
5.1 単一動作の認識・分類に関する結果と考察
図 9 に ST-GCN を用いた 10 種類の教員動作の認識精度の結果の混合行列を示す．教員動作の平均認識精度は 88.9%であった．先行研究13),14)では，動作の認識精度は 90 ％程度であるため，平均認識精度として，従来と同等の性能であると考える．次に，個別の動作に着目すると「板書をする」の認識率は 100%，「生徒を指す」を除くその他の動作は 80%〜

90% 程度の精度で認識することができた．一方で「生徒を指す」は 40% 程度であり，行動パターンの形成にもかかわる
表 1 教員動作のデータ数
Table 1 The number of teacher behavior data
動作
手を広げる (A)
黒板を指す (B)
生徒を指す (C)
左手を挙げる (D)右手を挙げる (E)
立って話す (F)
両手を揺らす (G)左手を揺らす (H)右手を揺らす (I)
板書をする (J)
合計

総数

訓練

検証

240
170
126
140
175
332
222
214
214
200
1,992

211
152
116
124
133
293
187
187
184
175
1,749

29
18
10
16
42
39
27
27
25
25
243

図 9 10 種類の教員行動の認識率
Fig. 9 Accuracy of ten types of teacher behavior
表 3 科目と人数構成
Table 3 Subjects and the number of teachers
模擬授業数 (回数)人数 (人)

23
7
3
2
2
7
44

13
6
3
2
2
7
33

経験者教員
高校の非常勤講師 3 年目の男性
講師経験が 2 年以上

模擬授業数
2 回 (1 名)
17 回 (13 名)
0 回 (0 名)
19 回 (14 名)

科目
数学
英語
国語
理科
社会
情報
合計

表 2 模擬授業のデータセット
Table 2 Dataset of trial lectures
グループ

X
Y(塾の講師)Z
合計

新任教員
教員志望の男子学生
講師経験が 2 年未満
教員志望の学生

模擬授業数
7 回 (1 名)
11 回 (11 名)
7 回 (7 名)
25 回 (19 名)

250–

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
表 4 各ウィンドウサイズの長さの正解率 [%]Table 4 Accuracy of each windows size [%]ウィンドウ
サイズの最大値

新任
正解率

経験者
正解率

全体
正解率

4
5
6
7
8

84.0
84.0
88.0
88.0
92.0

63.2
57.9
68.4
68.4
68.4

75.0
72.7
79.6
79.6
81.8

教員の行動パターンデータセットの動作パターンの種類が経験者データセットより多いため，新任教員の行動パターンとマッチングしやすかったと考える．そのため，表 5 の全体平均値も 50 未満が多い．今後の課題として，単一動作の認識精度を向上し，経験者教員の正解率も新任教員の正解率と同等になるように改善する必要がある．
また，研究目的の新任教員が経験者教員の授業との違いについて「気づき」を得られるかについて，新任教員の正解率

表 5 各ウィンドウサイズ長さにおける最大値のスコアの平均値 [点]の結果が 90 ％以上であり，新任教員が振り返りをする際に，Table 5 Average of maximum score in each window size

自身の授業は新任の行動パターンが多いということが正しく

ウィンドウ
サイズの最大値

新任
平均値

経験者
平均値

全体
平均値

可視化されるため，経験者教員の行動パターンとの違いにつ

4
5
6
7
8

15.2
20.4
21.0
22.0
22.0

49.5
51.1
55.2
53.6
53.3

30.0
33.6
35.8
35.6
35.5

次に，表 5 のスコアについて人が授業を見て評価したスコ

いて「気づき」が得られると考える．
アとの関連から妥当性について考える．現職教員 1 名とデー
タセット Z の学生 7 名の合計 8 名に評価者になってもらい，
データセット Y の経験者教員の授業を 7 つとデータセット Zの新任教員 (教員志望学生) の授業 7 つを 100 点満点で主観

表 6 各データセットに出現回数の上位 10 位のパターン評価した．ただし，データセット Z の学生は自分の授業は評

Table 6 Top ten patterns of occurrences in each dataset
ランク

新任の
パターン

出現
回数

経験者の
パターン

出現
回数

1
2
3
4
5
6
7
8
9
10

DE
ED
JJJJG
IEF
JJJJE
JJJJJGBDJ
JJBD
JJJJJJD
EFJ

35
26
20
19
19
18
17
17
16
15

JFBFF
BJJJFBJJJFACIIJFJFFJFFBJJFJJJJFA
JFBC
ICFI
BFFCF

13
12
10
9
9
9
9
8
8
8

価しない．
その結果，新任教員の授業スコアの平均が 64.5，経験者教員の平均が 78.2 であり，本研究で定義したスコアと異なっていた．しかし，主観評価の結果と本システムで評価したスコアの結果との相関を算出したところ，新任教員が r = 0.70，
経験者教員が r = 0.47 とそれぞれ相関があった．スコアが異なった理由として，人が授業を評価する際に，50 点を基準
として 2 群に分けるように評価していないためと考える．一方で，相関があったということは，人手評価とシステムの評

A:手を広げる, B:黒板を指す, C:生徒を指す
D:左手を挙げる, E:右手を挙げる, F:立って話す
G:両手を揺らす, I:左手を揺らす, J:板書する価において，良い評価や悪い評価の傾向は算出できていると考える．以上より，今後スコアの算出方法について検討する必要があると考える．

表 7 各科目の正解率 [%]次に，表 6 に示す行動パターンであるが，新任教員の行動

Table 7 Accuracy of each subjects [%]
科目

全体
回数

全体
正解率

新任
回数

新任
正解率

経験者
回数

経験者
正解率

数学
英語
情報
国語
理科
社会

23
7
7
3
2
2

73.9
100.0
100.0
100.0
50.0
50.0

13
4
7
1
-

84.6
100.0
100.0
100.0
-

10
3
2
2
2

60.0
100.0
100.0
50.0
50.0

パターンデータセットの上位 10 位は「板書をする (J)」を含むパターンが 7 種類，「右手を挙げる (E)」を含むパターンが5 種類あるが，経験者教員の上位 10 位の中にはない．つまり，「板書をする (J)」
「右手を挙げる (E)」という動作を含むパターンを新任教員がよくすることが分かった．一方，経験者教員の行動パターンデータセットの上位 10 位は「板書をする (J)」を含むパターンが 7 種類，「立って話す (F)」を含むパターンは 9 種類である．これらの結果より，経験者教員

する (J) →板書をする (J) →黒板を指す (B) →左手を挙げる

は「立って話す (F)」動作と別の動作と組み合わせて行う傾(D)」である．

向があり，新任教員は「板書をする (J)」をメインとするよ
はじめに，ウィンドウサイズ長の最大値と正解率であるが， うな授業を進行する傾向があるのではないかと考える．
ウィンドウサイズの最大値を上げていくと平均正解率が上昇
また，新任教員の行動パターンデータセットと経験者教員しており，最大値 8 で平均正解率 81.8% である．詳細に確の新任教員の行動パターンデータセットで，共通した行動パ認すると新任教員の正解率は 92.0 ％であった．単一動作のターンの上位 10 位中の 6 割は連続的に「板書をする (J)」パ

平均認識精度の 88.9 ％と同等の精度であるため，分類できターンであり，4 割は「立って話す (F)」か「板書をする (J)」ていると考える．一方で，経験者教員の正解率が 68.4%であから「黒板を指す (B)」行動パターンか連続的な「立って話り，これは単一動作の認識の影響や表 6 に示すように，新任す (F)」行動パターンであった．

251

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

次に，データセットの構成と正解率だが，表 3 に示すように，数学が多く，英語や社会などのデータ数が少ない．また，に影響したのかを解析し，システムの効果を検証する．
なお，残る課題である，現場に近い模擬授業を訓練する場

同じ数学でも中学数学から高校数学までと混在しているが， 面を用意することに関しては，仮想空間上で生徒の反応があ表 4 に示すように，平均正解率はウィンドウサイズ長の最大る現実に近い模擬授業訓練システムの構築を目指したい．

値が 8 で 81.8% と高い．また，表 7 に示すように，科目別

謝や新任・経験者教員別にみても 50% 以上と高い．つまり，各辞科目で授業をするときの共通の行動パターンについて着目し

本 研 究 の 一 部 は ，JSPS KAKENHI Grant Number

たことで，科目や指導内容にとらわれず行動評価をすること

JP18H05754，JP19K20750 の支援を受けた．また，後藤壮ができたため，安定して評価することができたと考える．

史教諭をはじめ現職教諭の方々にはお忙しい中意見を頂き感謝する．

6. お わ り に本研究では，模擬授業訓練システムにおける (1) 授業の客

参考文献

観的な振り返りを行い気づきを得ること，(2) 現場に近い模

1) 吉崎静夫, デザイナーとしての教師 アクターとしての教師, 金子
書房, p.189 (1997).

擬授業を訓練する場面を用意することという 2 つの課題のうち，最初の課題を解決するために，授業中における行動に着
目し，教師行動の定量的評価および経験者教員と新任教員の行動の違いを可視化する試みを行った．
はじめに，10 種類の教員動作を定義し，1,992 個の教員動作データに対して深層学習モデルの ST-GCN16)を用いて認識した．結果として，平均 88.9% の精度で分類し，自動で単一動作の分類ができた．
次に，ST-GCN によって自動で分類した単一動作から実際の授業中の長さに応じた一連動作を定義した．この一連動作からスライディングウィンドウ方式により行動パターンデー
タセットを作成し，行動パターンデータセットに基づいて模擬授業中における教員の行動を定量的に評価した．44 個の模擬授業データに対して，交差検証法でスコアを計算した結果，ウィンドウサイズの長さ 8 で最大 81.8% の分類精度であり，教員の行動を定量的に評価できた．また，本提案システムのスコアにより，新任教員と経験者教員の行動パターンに傾向がある可能性がわかった．これを応用することにより，経験者教員の違いをスコアで確認することができ，改善パターンも提示することで，体験者自身の授業改善の気づきのきっかけを与えることができると考える．
今後の展望として，ST-GCN 以外にも，3 次元情報を用いたスケルトンベース方法などを使うことで，単一動作の認識精度の向上を目指すとともに，教師の発問についても検討していく．他にも，実際の教員は生徒に対して授業を行い，生徒の反応を考慮して授業展開をする．つまり，本研究では扱わなかった他の動作 (生徒とのインタラクション) を加えることで，実際の授業の行動を可視化し評価することも可能であると考える．
さらに，行動パターンデータベースは，学習データに依存するため，新任教員と経験者教員のデータ数を増やすこと，
スコア算出方法を検討し，人間の評価に近いスコアの算出を目指すこと，リアルタイムに点数を算出し，改善する行動パ
ターンとスコアをフィードバックすることで，体験者に気づきを与え，実際に授業の改善につながっているか，どのよう2522) 小西拓也, 澤野弘明, 坂本將暢, 中條直也, 鈴木裕利, 土屋健, 小柳
惠一: “画像処理技術を用いた模擬授業の振り返り支援システムの提案”, 電気学会論文誌, Vol.135, No.12, pp.1509–1515 (2015).
3) 谷敷正光, 村松幹二, 矢野浩一, 江口允崇: “模擬授業の評価の定量的分析”, 駒澤大学経済学論集, Vol.47, No.4, pp.3–23 (2015).
4) L. Kyriakides, D. Demetriou: “Introducing a Teacher Evaluation System Based on Teacher Eﬀectiveness Research: An Investigation of Stakeholders’ Perceptions”, Journal of Personnel
Evaluation in Education, Vol.20, No.1, pp.43–64 (2007).
5) D. J. Wilkerson, R. P. Manatt, M. A. Rogers, R. Maughan:“Validation of Student, Principal, and Self-Ratings in 360 FeedbackR for Teacher Evaluation”, Journal of Personnel Evaluation in Education, Vol.14, No.2, pp.179–192 (2000).
6) 三隅二不二, 矢守克也: “中学校における学級担任教師のリーダー
シップ行動測定尺度の作成とその妥当性に関する研究”, 教育心理学研究, Vol.37, No.1, pp.46–54 (1989).
7) H.A. Smith: “Nonverbal Communication in Teaching”, Reviewof Education Research, Vol.49, No.4, pp.631–672 (1979).
8) 岸俊行: “一斉授業における教師の教授行動の特徴とそれが授業の雰囲気に及ぼす影聾の検討”, 福井大学教育地域科学部紀要, Vol.5,
pp.197–211 (2014).
9) 大河原清: “教師の言語行動に伴う身体動作が児童・生徒の学習に及ぼす影響”, 日本教育工学論文誌, Vol.8, No.2, pp.71–85 (1983).
10) S. Rupert, J. Neil, Classroom Nonverbal Communication, New
York: Routledge (1991).
11) J.J. Okon: “Role of Non-Verbal Communication In Education”, Mediterranean Journal of Social Sciences, Vol.2, No.5,
pp.35–40 (2011).
12) 杉本吉隆, 丸谷宜史, 角所考, 美濃導彦: “講師行動の統計的性質に基づいた講義撮影のための講義状況の認識手法”, 情報処理学会研究報告, CVIM153, pp.179–186 (2006).
13) 島田敦士, 菅谷明, 谷口倫一朗: “講義中の教師の動作に基づく説
明対象の抽出”, 画像の認識・理解シンポジウム (MIRU), Vol.2,
pp.353–358 (2004).
14) 米谷雄介, 東本崇仁, 殿村貴司, 古田壮宏, 赤倉貴子: “受講者による逐次評価と総括評価を教員の講義改善支援に利用する講義映像
フィードバックシステム”, 日本教育工学論文誌, Vol.37, No.74,
pp.479–490 (2014).
15) 中川恵輔, 赤倉貴子: “授業改善に役立てる講義映像を用いた教授行動の検出”, 電子情報学会 情報・システムソサイエティ特別企画
学生ポスターセッション予稿集, No.ISS-SP-047, p.166 (2019).
16) S. Yan, Y. Xiong, D.Lin: “Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition”, Proc.
of Thirty-Second AAAI Conference on Artiﬁcial Intelligence(2018).

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
17) A.T. Milanowski, H.G. Heneman III: “Assessment of Teacher
Reactions to a Standards-based Teacher Evaluation System:
A Pilot Study”, Journal of Personnel Evaluation in Education,
Vol.15, No.3, pp.193–212 (2001).
18) C. Daniealson, T.L. McGreal: “Teacher Evaluation to Enhance
Professional Practice”, Alexandria, VA: Association for Supervision and Curriculum Development (2000).

bilitation System”, Proc. of 2018 IEEE International Conference on Artiﬁcial Intelligence in Engineering and Technology(IICAIET), pp. 1–6 (2018).
37) J. Martinez, R. Hossain, J. Romero, J. J. Little: “A Simple
Yet Eﬀective Baseline for 3D Human Pose Estimation”, Proc.
of the IEEE International Conference on Computer Vision, pp.
2640–2649 (2017).

19) H. Elizabeth: “Criterion-Related Validity Evidence for aStandards-Based Teacher Evaluation System”, Journal of Personnel Evaluation in Education Vol.17, No.3, pp. 207–219(2003).

(2020 年 9 月 23 日 受付)(2021 年 3 月 26 日 再受付)

20) 福田匡人, 冠野哲也, 黄宏軒, 桑原和宏: “仮想学級による教員採用試験のための場面指導練習システムの開発”, 人工知能学会全国大会論文集第 30 回全国大会 (2016), pp. 1–3 (2016).

大 井
翔 （正会員）2018 年大阪工業大学大学院情報科学研究科博士21) J. Wang, Z. Liu, Y. Wu, J. Yuan: “Mining Actionlet Ensemble
for Action Recognition with Depth Cameras”, Proc. of 2012
IEEE Conference on Computer Vision and Pattern Recognition, pp. 1290–1297 (2012).
22) M. E. Hussein, M. Torki, M. A. Gowayyed, M. El-Saban: “Human Action Recognition Using a Temporal Hierarchy of Covariance Descriptors on 3D Joint Locations”, Proc. of TwentyThird International Joint Conference on Artiﬁcial Intelligence(2013).
23) A. Shahroudy, J. Liu, N. Tian-Tsong, G. Wang: “NTU RGB+
D: A Large Scale Dataset for 3D Human Activity Analysis”,
Proc. of the IEEE Conference on Computer Vision and Pattern
Recognition, pp. 1010–1019 (2016).
24) O. Dan, A. Irene: Real-Time Human Pose Estimation in
the Browser with TensorFlow.js, Google Creative Lab, https://medium.com/tensorﬂow/real-time-humanpose-estimationin-the-browser-with-tensorﬂow-js7dd0bc881cd5(2019).
25) Z. Cao, T. Simon, S. Wei, Y. Sheikh: “Realtime Multi-Person
2D Pose Estimation Using Part Aﬃnity Fields”, Proc. of 2017
IEEE Conference on Computer Vision and Pattern Recognition(CVPR), pp. 1302–1310 (2017).
26) 姚舜禹, 大井翔, 野間春生: “熟練・新任教師の動作パターンに基づく
教師行動の定量的評価手法”, 電子情報通信学会技術報告, Vol.119,
No.105, pp. 11–16 (2019).
27) 河野義章: “教室内での教師の非言語的行動: 教師の性格特性と姿勢との関係”, 日本教育心理学会総会発表論文集 第 29 回総会発表
論文集, pp. 798–799 (1987).
28) 河野義章: “授業者の姿勢と性格特性の関係”, 東京学芸大学紀要.
第 1 部門, 教育科学, Vol.43, pp. 79–88 (1992).
29) 河野義章, 新野泰顕: “教師の姿勢の分類基準 (TP2002) の開発”,
日本教育工学会大会講演論文集 Vol.18, pp. 627–628 (2002).
30) 野中陽一朗: “授業中に小学校教師がとる姿勢の採取と分類に関する探索的検討”, 教育心理学研究, Vol.59, No.4, pp. 450–461 (2011).
31) 野中陽一朗, 沼昴佑, 井上弥: “教育実習内容の非言語的行動スキル
向上評定に基づく分類”, 日本教育工学会論文誌, Vol.35, No.Suppl,
pp. 5–8 (2011).
32) M.L. Knapp, Nonberbal Communication in Human Interaction, 2nd ed, Holt, Riinehart and Winston, New York, (1978).
33) J. Levy, Getting the Mssage Across : Nonverbal Communication in the Classroom, George Mason University, Fairfax,
Virginia (1979).
34) 西尾美津子, 久保田賢一: “子どもの能動的な学習を促すメディアとしての板書技術―ボリビア国への技術移転を通して―”, 教育メ
ディア研究, Vol.15, No.2, pp. 65–81 (2009).
35) 大井翔, 姚舜禹, 野間春生: “模擬授業支援システムのための STGCN に基づく教師行動分類の検討”, 電子情報通信学会技術報告,
Vol.118, No.510, pp. 59–62 (2019).
36) H. Kojima, M. Kitano, K. Yokota, S.Ooi, M. Sano: “Cleaning Behavior Estimation for Self-Supported Cognitive Reha-

253

後期課程修了．同年立命館大学情報理工学部助教. パターン認識，認知科学，教育工学の研究に従事．情報処理学会，電子情報通信学会，ロボッ
ト学会，画像電子学会，日本バーチャルリアリ
ティ学会，IEEE 各会員．博士 (情報学)．

姚
舜 禹
2019 年立命館大大学情報理工学部卒業 (留学)．
2019 年中国大連理工大学ソフトウェア開発卒業．
同年，中国大連理工大学大学のメデイア学科修士課程に進学，現在に至る．主として，行動認
識，深層学習の研究に従事．

野 間 春 生1994 年筑波大学大学院博士課程工学研究科修了．同年，株式会社国際電気通信基礎技術研究所(ATR) 入社，2013 年から立命館大学教授．主にバーチャルリアリティ，ヒューマンインタフェースの研究に従事．ヒューマンインタフェース学会，
日本バーチャルリアリティ学会，IEEE，ACM各会員．博士 (工学)．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
IIEEJ

☠ᄚ
環境地図のスケールに合わせた Visual Odometry
山 口 真 弘†谷内田 尚 司†††森尚 平††
柴 田 剛 志†††斎 藤 英 雄†（正会員）† 慶應義塾大学 , †† グラーツ工科大学 , ††† 日本電気株式会社

Visual Odometry Adjusted to the Scale of a Global Map
Masahiro YAMAGUCHI† , Shohei MORI†† , Hideo SAITO† (Member),
Shoji YACHIDA††† , Takashi SHIBATA†††† Keio University , †† Graz University of Technology , ††† NEC Corporation〈あらまし〉 本手法では，Structure from Motion (SfM) を用いて事前に作成した環境地図に合わせた Visual

Odometry (VO: 画像による自己位置推定手法) によるカメラ軌跡の推定手法とその利用方法を提案する．提案手法
では，VO の一つとして Direct Sparse Odometry (DSO) を取り上げ，この DSO の出力を用いて環境地図上でのカメラ位置姿勢の再計算を行う．その際，これらの関係づけられたカメラ位置姿勢を用いてポーズグラフを作成し最適化することで，DSO で推定される全フレームの環境地図上への位置合わせを実現する．そのため，本手法は単眼のカラーカメラのみで利用でき，学習データも不要であるという利点を有する．提案手法により，事前観測して作成した環境地図と現在ユーザが観測する光景との差から変更のあった箇所を物体単位で認識するシステムを実装し，実験室環境でリアルタイム動作が可能であることを確認した．さらに，既存のデータセットを用いた精度評価の実験を行った結果，提案手法では DSO のみを用いた場合に比べ位置姿勢推定の精度が向上した．
キーワード：カメラ位置姿勢推定, ビジュアルオドメトリ, 3 次元再構築, グラフ最適化, 個別物体領域分割<Summary> We propose a method for estimating camera trajectories optimally aligned with preparedenvironment maps and its application. We implement Direct Sparse Odometry (DSO) as real-time Visual
Odometry (VO) and Structure from Motion (SfM) to build environment maps. In this process, a pose graphis created and optimized using related camera poses to calculate the alignment of all frames from DSO
towards the environment map with the scales matched. Therefore, the proposed method runs solely witha monocular color camera and does not require any training datasets. We demonstrate that the proposed
method is able to be used as an object-based recognition system based on the diﬀerence between a map as aprior information and the current scene observations by the user. We tested this real-time application in alaboratory environment. In addition, we conducted an experiment to evaluate the accuracy of the proposed
method using an existing dataset. The results showed that the proposed method improved the accuracy ofpose estimation compared to the case using only DSO.
Keywords: camera pose estimation, visual odometry, structure from motion, graph optimization, instancesegmentation

定できないため，VO により得られる環境地図のスケールは，

1. は じ め にVO 初期化の際のカメラの動かし方やその方法に依存して実画像のみを用いてカメラ位置姿勢と環境地図を実時間で逐行ごとに異なり，実世界の絶対スケールを得ることはできな

次推定する Visual Odometry (VO: 画像による自己位置推

い．このため，事前に作成した高精度な環境地図や地図上の定手法) は自動運転や拡張現実感 (AR) の基幹技術として考位置に紐づけられた情報を，VO 実行時に得られる環境地図

えられている ．奥行推定のできない通常のカメラによる VOと正しいスケールで対応付けられないという問題があった．

では，カメラ位置姿勢と環境地図間の相対的スケールしか推

慣性計測装置 (IMU) や地球上での絶対位置が得られる

1)

254

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 1 システム概要
Fig. 1 System overview

Global Positioning System (GPS) などを組み合わせたセ

よって環境地図上に紐づけをしておいた情報へのアクセスがンサフュージョンは，環境地図上で実世界のスケールに基づ可能になる．その利用例として個別物体領域分割 (Instance2)〜4)

増やす方法に対して，単眼のカラーカメラの入力画像からSegmentation) を用いて， 環境地図が持つ物体識別ラベルと DSO の入力画像から得られた物体識別ラベルの比較によConvolutional Neural Network (CNN) を用いて距離画像

る物体の差分検出を実現できる．

いてカメラの位置姿勢を推定する手法である. センサを5),6)を推定する手法

は，学習方法によって実世界のスケール

で距離画像を推定することができる．しかし，教師付き学習

2. 関 連 手 法に基づく仕組み上，大量の学習データが必要であり，テスト

2.1 VO と SLAM

環境が学習データと類似していなければならないなどの制約

VO9),10)はカメラ画像を用いてカメラの自己位置推定をすがある．また従来より，事前構築された環境地図上でカメラ
位置姿勢を推定する手法が多数提案されている7),8)．これらの手法は，フレームごとにデータベースとマッチングを取ってカメラ位置姿勢を求めるのみであるため，連続したフレー
ムの幾何学的関連性を考慮したものにはなっていない．

るための枠組みである．入力画像シーケンスから画像間のマッチングと 3 次元復元を同時に行い，カメラの自己位置とそれまでの軌跡を推定する．VO は入力画像から直近の数フレー
ムを用いてカメラの位置姿勢と環境の 3 次元構造を最適化する仕組みになっているので，ドリフト誤差が生じるとその本論文では，事前準備した環境地図上で，単眼のカラーカ
メラから得られた画像シーケンスによって全てのフレームでカメラの位置姿勢推定を行うことを目的としている．そのため，単眼カラーカメラ入力画像列に VO 手法の一つである

Direct Sparse Odometry (DSO)9)を適用して，得られるス
ケール未知の環境地図と事前に作成した環境地図間で奥行値の比較により，DSO によりスケール未知で推定されるカメ
ラ位置姿勢を事前作成の環境地図のスケールに合致させて推定する手法を提案する．さらに，環境地図上で DSO の位置
姿勢を取得することによる 3 次元構造を用いた物体差分検出の手法を提案する．

誤差を解消する方法はなく，常に誤差が蓄積していく構造となっている．それに対して Simultaneous Localization and

Mapping (SLAM)2),3),11)ではこのようなドリフト誤差を軽減するための仕組みとして局所最適化やバンドル調整，Loop
Closure といった機能が盛り込まれている1)．
こういった最適化の仕組みにかかわらず，VO や SLAM では連続した画像シーケンスの中で直前に推定した 3 次元構造に対する相対的なカメラ位置姿勢を推定することしかできな
い．よって，得られる環境地図やカメラ位置姿勢は実世界のスケールに基づいておらず，使用者のカメラの動かし方や被写体に応じて異なるスケールで出力される．そのため，実世

これによって以下のような利点が挙げられる．まず，(1) VOを用いることで環境地図情報が一時的に得られない場合でもカメラの位置情報を得ることができる上，(2) 環境地図を参照できる場合はそこから得られる高精度な奥行情報を用いて界のスケールで環境地図に固定されている 3 次元コンテンツ
を，VO や SLAM から得られた位置姿勢により AR 表示するなどの用途には利用できなかった．

ドリフト誤差を解消できる．よって，(3) 提案手法を用いてVisual-Inertial Odometry (VIO) はこのような問題を解決する一つの方法とであり，IMU によって求められたスケー

DSO によって求めた位置姿勢を環境地図上で補正することで，既存の DSO のみを用いた場合に比べて精度良くすべてのルによって，カメラの自己位置を実世界のスケールに合わせ

カメラ位置姿勢を環境地図上で推定することができる．また，(4) 環境地図上で DSO のカメラ位置姿勢を推定することに255ることができる．VIO によって事前取得した環境地図に現在の軌跡を登録していく手法は近年提案されている12),13)．また GPS を用いて SLAM と実世界のスケールとの対応関係を

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）得る方法も提案されている14)．

地図を作成するオフライン処理と，入力画像に対して，VO

このような複数センサを組み合わせた手法に対して，提案の一つである DSO を用いて環境地図上でのカメラの自己位

手法は，センサを組み合わせることなく，単眼のカラーカメ

置推定を行うオンライン処理から成る．オンライン処理を行

ラのみを用いて事前取得した環境地図に VO 手法の一つであう際には，環境地図のスケールから DSO のスケールを補正

る DSO から得られた軌跡を同一座標系，同一スケールで登し，座標系の統合を逐次行うことで DSO で得られた情報を録することが可能である．これによって事前に取得した環境

環境地図上に反映する．さらに

地図に付随している物体識別ラベルを参照して，DSO によっ

環境地図と現在取得した画像との個別物体領域分割の結果をて推定された 3 次元構造から物体の差分検出が可能になる．

比較することで，新たに環境地図に加えられたものと，環境オンライン処理において，地図から取り除かれたものを 3 次元構造を用いて差分検出す

2.2 事前準備した環境地図上でのカメラ位置推定

ることが可能になる．

事前に取得した環境地図に対応したカメラ位置姿勢を求め点を紐づけることでカメラの自己位置姿勢を推定する手法が3.1 システム概要
図 1 に提案手法の概要を示す．単眼カラーカメラ入力画像ある7),15),16)．これらの手法では環境地図のランドマークが列からカメラの位置姿勢をオンラインで推定する手法として画像内に写っていることが前提となっているため，登録したVO と vSLAM が広く用いられている．本手法では環境地図

ランドマークが写っていない画像に対して位置姿勢を推定すを基にオンラインで推定中の軌跡の補正を行うため，逐次入ることはできない．

力される画像列のみでバンドル調整や Loop Closure などのる方法として，環境地図内のランドマークと入力画像の特徴

また，PTAMM は複数回の試行で得られた複数個のローカ

大域最適化を行う vSLAM のような枠組みを用いる必要がルマップを統合する手法として提案された17)．しかしこの手ない．よって，VO をオンラインでの軌跡推定に用いる．ま法は机の周りのような小規模なシーンを想定して作られていた，本手法では VO を単体で動かすよりも高精度にカメラる．また，これらの VO では，環境地図を作成した手法と同位置姿勢を推定することを目的とするため，環境地図の作成

一の手法を用いて，自己位置姿勢推定を行いながら，再度トには VO よりも精度よくカメラ位置姿勢を推定できる方法

ラッキングをするのが一般的である．そのため，事前取得しを用いる．そのため同じくカラーカメラ画像群を入力とする

SfM を環境地図の作成に利用している．SfM はすべてのフれる特徴量が同一であることが前提となっている．また VO レームを使って全体最適化しているため，VO や SLAM とに用いた手法と同様の手法を用いて環境地図を作成する際， 比較して高精度にカメラの自己位置推定と 3 次元形状の復元
環境地図と VO の両方で，同じ箇所でトラッキングに失敗す を行うことができる．そこで，オフラインでは SfM を用いて事前に環境地図 G を作成する．G にはスケール sSfM で作る恐れがある．
従来では，事前準備した環境地図上でカメラ位置姿勢を求 成した距離画像に加えて，カメラ位置姿勢，Bags of Binary
19)
める際は，環境地図と照合されたフレームのみでの位置姿勢 Words (BoW) のデータベース，個別物体領域分割の結果た環境地図を構成する特徴量と VO のトラッキングに用いらを求める手法が着目されてきた7)．それに対して提案手法では，ランドマークが観測できないフレームでも，VO によってが含まれている．
オンラインでは入力画像に対して DSO を用いてカメラのマッチングが得られた位置からの相対的な位置姿勢を取得す

位置姿勢推定を行う．その際の DSO のスケールは sVO でることができる．これによって，すべての入力画像シーケン表される．本手法では事前に作成した環境地図上に DSO のスでカメラの自己位置姿勢を推定することができる．また最軌跡を紐づける．つまり，環境地図に対して DSO の入力画

先端の VO を用いることで，机周りのような小規模なシーン

像の自己位置姿勢推定をする必要がある．関連した技術に，にとどまらず KITTI データセット18)のような屋外の大規模

vSLAM に用いられている Loop Closure があり，これは連なシーンでも利用が可能である．さらに事前準備する環境地

続していない時刻に観測された画像を BoW による類似画

図と VO で異なる 3 次元点の作成方法を利用するため，VO像検索を使って位置合わせする手法として広く用いられていでトラッキングに失敗するような箇所を環境地図で補間する

る2),3)．本手法の目的である，連続していない時刻に観測さことができる．さらに，スケールを合わせて推定を行うことれた画像を既存の地図に合わせて自己位置姿勢推定をするこ

で，実行ごとの利用を目的とした VO では実現できなかった， とは，Loop Closure の目的と合致しているため，本手法で環境地図による 3 次元構造と VO によるカメラ位置姿勢を利 は Loop Closure を参考にして，BoW を用いて自己位置姿
勢推定を行う．その結果をもとに画像間の特徴点マッチング

用した，物体の差分検出を可能にする．

と Perspective-n-Point(PnP) 問題を解くことで環境地図上
でのカメラ位置姿勢を推定している．その際，DSO の距離

3. 提 案 手 法

画像と環境地図の 3 次元構造を比較することによって sVO と本手法は，事前に取得した画像シーケンスから Structurefrom Motion (SfM) を用いて全体最適化を行った 3 次元環境

256

sSfM の比率を計算し，また類似フレームが見つからなかっThe Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

3.3 環境地図上での VO の位置姿勢推定
オンラインでは，事前取得した環境地図上でのカメラの位
置姿勢推定と 3 次元構造の推定を VO を用いて行う．単眼のカラーカメラを用いた VO では，作成される 3 次元構造のス
ケール sVO が初期化の際のステップ幅などに依存してランダムに定まる9)．そのため事前に作成した環境地図上で VOの位置姿勢を推定するためには，VO のスケールを環境地図のスケールに合わせたうえで，カメラ位置姿勢や 3 次元構
造を補正する必要がある．そこで本手法では DSO によって得られた距離画像 DVO と環境地図を構成している距離画像
図2

VO 座標系から環境地図座標系への座標系変換による
奥行値の取得Fig. 2 Obtaining depth values through coordinate system transformations from VO coordinate system
to SfM coordinate system

たフレームに対しても，グラフ最適化を行うことによって，DSO によって計算されたカメラ位置姿勢を環境地図上で再計算し登録を行う．
手法の応用としてオンラインの入力画像に対して個別物体
領域分割を行い，その結果をあらかじめ取得して環境地図が保持している個別物体領域分割の結果と比較することによって環境地図に対する物体識別ラベルの差分検出を行う．ここでは環境地図作成時と比較して新たに追加されたものと，取り除かれたものに関して検出を行う．

DSfM を用いて，各ピクセルの奥行値を比較することで環境
地図と DSO のスケールの比率を取得する．
はじめに，DSO の入力画像に対して環境地図の入力画像
SfM
Iから類似する画像の探索を行う．入力画像が DSO のキーフレーム I KF ⊂ IVO として扱われた場合，そのフレー
ムから得られた BoW ベクタ F KF を用いて式 (1) を満たす
環境地図内のフレームを取得する．

1−

1 FiSfM
F KF> tBoW−
2 |FiSfM | |F KF |(1)

ここで tBoW は BoW の類似画像検索結果のしきい値を表しており，i は環境地図のフレームのインデックスを表している．
該当フレームが複数取得できた際には，スコアが高い順に上位数フレームを該当フレームとして使用することとする．
該当したフレームに対して，IiSfM と I KF の間で ORB 特徴

3.2 SfM を用いた環境地図の作成量を用いた特徴点マッチングを行うことによって 2D–2D のオフラインでの処理として，事前取得しておいた M 枚の特徴点対応を得る．また IiSfM で得られた 2 次元特徴点と距離

画像から SfM を用いて環境地図 G を作成する．ここで SfM，環境地図を作成する際に用いたカメラパラメー
画像 DSfMiを用いて作成された環境地図はカラー画像群 I
群D

SfM

SfM

，その時のカメラ位置姿勢 T

SfM

，距離画像

タから世界座標系上での 3 次元点を取得する．I KF 上の一つによって構成されの特徴点に対して，複数の I SfM でマッチングする特徴点がている．今後，i 番目 (< M ) におけるカラー画像，距離画得られた際，それぞれのマッチング点の世界座標系上での 3像，カメラ位置姿勢はそれぞれ IiSfM ∈ ISfM ，DiSfM ∈ DSfM ， 次元位置を計算した後にそれらの点の重心の計算を行う．重
TiSfM ∈ TSfM と定義する．それに加えて DSO の入力に用 心と各点の分散の計算を行い，値がしきい値以下であれば有いられるフレームに対する類似フレームを ISfM のなかから

FiSfM ∈ FSfM による

20)

検索して得るために，ORB 特徴量
BoW データベースの作成を行う．
また環境地図と DSO への入力との差分検出を行うために
SfM
I
に対して個別物体領域分割を行い，各フレームの物体識
別ラベルを得る．SfM によって推定された 3 次元点群をそれぞれ ISfM に再投影して各 3 次元点が持つ物体識別ラベルの集計

効な 3 次元点として扱う．最後に I KF から得られた特徴点と DSfM から得られた 3 次元点から，3D–2D 対応によってPnP 問題を RANSAC を用いて解くことによって，環境地図に対応する I KF での DSO のカメラ位置姿勢を得ることができる．
次に，2D–2D マッチングを得られた 2 次元点のうち，DSOから得られた距離画像 DVO が値を持っている点を用いて，を行う．ここで一つの点が複数のラベルを持っている際には， DSO と環境地図の相対スケール sVO→SfM を得る．相対ス
最も票数の多いラベルをその点のラベルとする．また各点に ケールの算出については後述する．事前マップを再利用する
対して，同一ラベルをしきい値以上の保有している点のみ有ことができる DSO を用いる際には，環境地図から得られた効だと判定し，LSfM として環境地図に保存する．本手法では特徴点と DSO から得られる特徴点で同一のものを用いてい

このしきい値を 3 フレーム以上とした．よって本手法では事前

る2),17)．
しかし本手法では環境地図の作成に SIFT 特徴量を準備した環境地図を G ∈ {I

SfM

,D

SfM

SfM

,T

SfM

,F

SfM

,L

}

と定義する．

用いており，DSO では輝度値を直接参照している．そのため，環境地図と DSO から作成された 3 次元点群を同一のものとして扱うことができない．よって，このようなマッチン

257

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 3 環境地図を用いたグラフ最適化の概念図 (左) と実際のマッチング結果 (右)Fig. 3 Graph optimization using an environment map (left) and a matching result (right)

グをベースとした距離画像による位置姿勢の再計算とスケー

KF
力フレーム In までに対する処理と，Imとそれ以前に 3.3

ルの補正が必要になる．

KF
節の処理を行ったフレーム Im−1との間のフレームに対する

図 2 は VO 座標系から環境地図座標系への座標変換を表している．ここでは，PnP 問題を解くことで得られたカメラ位
KF

置姿勢を T̂
KF

T，DSO によって推定されたカメラ位置姿勢をとする．DSO のカメラ座標系は，DSO から推定された

距離画像 DVO の奥行値 d と DSO の画像座標 W = (u, v, 1)
によって，tVO = dKVO

−1W と表すことができる．KVO

は DSO の入力画像を取得しているカメラの内部パラメータを表している．これを用いて SfM のカメラ座標系上への変換を式 (2) を用いて表すことができる．

tSfM
1

!

≃ TSfM−1

T̂KF TKF

−1

tVO
1

地図座標系へと変換を行う．
KF
TVO→SfM:= sVO→SfM T̂KF
n
m Tm

−1

TVO
n

(4)

ここで，TVO→SfM は，環境地図座標系でのカメラ位置姿勢，

TVO は，VO 座標系でのカメラ位置姿勢を表している．またフレーム n で得られた奥行値に関しても sVO→SfM によって後者のフレーム群に対しては，グラフ最適化を用いたカメ(2)

ラ位置の補正を行っている．図 3 は提案手法でのポーズグラと表すこととする．
セルの奥行値を表しており，これを dVOp
対応するピクセルに対する SfM によって得られた奥行値をdSfMとすると式 (3) を用いて相対スケールを求めることがp
できる．

1 X dSfMpndVOp

前者に対して式 (4) を適用し VO 座標系から対応する環境

環境地図のスケールへと補正を行う．

!

ここで tSfM の第 3 成分は，SfM 画像座標系における各ピク

sVO→SfM =処理の 2 種類に分けられる．

フの作成を表している．すべてのキーフレーム i のカメラ位置に対して，その直前 i − 1 のカメラ位置とのエッジ ei,i−1の作成を行い以下の式のようなポーズグラフの作成を行う．

ei,i−1 =−1 KF
TKF
Ti
i−1

 

T̂KF
i−1

−1


T̂KF
i

(5)

マッチングが得られたフレームに関しては，T̂KF
は PnP 問i

(3)

題を解くことによって得られた位置姿勢を表しており，TKFip∈Ω

ただし，p ∈ Ω は画像の 2 次元平面 Ω の中のピクセル p を表している．ここでピクセル p は PnP 問題を解く際に 2D–2D
マッチングを得ていて且つ DVO が値を持っているピクセル
のみである．また条件を満たしているピクセル数の合計を nとする．DSO から得られる距離画像 DVO は距離センサなど

は i 番目の DSO のカメラ位置姿勢を表している．g2o アル
ゴリズム21)を用いて次の式のポーズグラフを最適化する．ここでは x = (T1 , ..., Tn ) としたとき，x を最適化したカメラ
位置姿勢である x∗ を求める．

F(x) =

で得られるものに比べて疎なものとなっている．DSO は入力画像にのみ依存して独立して動作をしているため，常にドリフト誤差が蓄積し続ける．そのため式 (3) から得られる相XeTi,i−1 Ωi,i−1 ei,i−1

(6)

⟨i⟩∈N

x∗ = arg min F(x)(7)

x対スケールの値は DSO の蓄積誤差によって変化するので一定ではない．よって，マッチングを行うたびに式 (3) による

ここで N は最後にマッチングしたフレームを表しており，計算を行い，相対スケールの値を更新する必要がある．

Ωi,i−1 は情報行列を表している．式 (7) をレーベンバーク・
マーカート法を用いて解くことによってそれぞれのカメラ位

3.4 キーフレームにおける位置姿勢補正
ここでは，3.3 節で I SfM ∈ ISfM とマッチングが得られず

置姿勢に対して最適化21)を行い，新たにカメラ位置姿勢群 x∗を得る．

位置姿勢推定を行うことができなかったフレームに対して，

sVO→SfM を用いて位置姿勢の補正を行う．位置姿勢の補正
KF
は，直近の 3.3 節の処理を行ったフレーム Im
から現在の入258

3.5 環境地図を利用した物体差分検出
環境地図内のラベル LSfM と 3.4 節によって補正されたカ

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）(a) DSO による 3 次元復元結果(b) 全体最適化を行った環境地図(c) 環境地図上への DSO の出力登録結果

図 4 提案手法による 3 次元復元結果

Fig. 4 3D reconstruction results of proposed method(a) DSO 入力画像(b) 比較に用いた環境地図入力画像(c) 差分検出結果

図 5 提案手法と DSO との差分
Fig. 5 Diﬀerence between the proposed method and DSO

メラ位置姿勢結果を用いて，3 次元構造を利用した物体の差分検出を行う．DSO のキーフレーム I

KF

⊂I

VO

4.1 実装に対して環本手法では COLMAP22)を用いて SfM を行い環境地図 Gの中から対象フレームとのを作成した．COLMAP の距離画像はフォトメトリックとジ

距離の L2 ノルムと画角の角度差がしきい値未満のフレーム

オメトリックの 2 通りの方法で作成されているが本手法でI Comp ⊂ ISfM を取得する．環境地図を作成する際に I Compはジオメトリック手法によって得られた距離画像を用いていを用いて作成された点群に注目し，それらの点群をフレームる23)．それに加えて各フレームに対して ORB 特徴量の計算

境地図を構成するフレーム I

I

SfM

KF

KF

上に再投影する．また Iに対して個別物体領域分割 を行い，DBoW3 を用いて画像データベースの作成を行った．
を行い，各画素に対して個別物体領域分割ラベルを取得する． さらに各フレームに対しいて Yolact24)を用いて個別物体領再投影されたラベルと取得したラベルとの差分を取得して， 域分割を行いフレームごとに物体識別ラベルを作成した．撮差分値がしきい値以上の際には新たに加えられたラベル，ま影した際のカメラ位置姿勢に対するドリフト誤差を軽減する

たは取り除かれたラベルと判断する．これによって新たに環ために撮影画像は画像シーケンスの中から五枚に一枚の量で境に出現した物体や環境から取り除かれた物体の検出を行う． 間引いて COLMAP の入力とした．

4. 評

本手法では，3.3 節で説明したように，距離画像を介して

価

環境地図に対する VO のスケールを算出している．そのため，本手法の有効性を示すために，定性的な評価として，自作他の手法と比較して密に奥行推定を行うことができる DSO

したデータとパブリックデータセットにおいてあらかじめ作

を VO の基礎として選択した．これを以下の 2 点において成した環境地図上で VO が動作することを示す．定量的な評拡張した．まず，BoW を用いたマッチングのためのスレッ価として，パブリックデータセットを用いてカメラ位置姿勢

ド，ポーズグラフ最適化のためのスレッド，差分検出のため推定の精度を測定し，本手法によって VO の精度が SfM ののスレッドを追加した．次に，ポーズグラフ最適化のために精度に近づくことを示す．この実験結果を通して提案手法がDirect Sparse Odometry with a Loop Closure (LDSO)3)

VO の問題点となる蓄積誤差とドリフト誤差を軽減できていのループクロージャーの箇所と類似したフレームワークを用ることを示す．また各処理に要する時間の測定を行った．最後

いて，g2o によるグラフ最適化を行っている．

に，個別物体領域分割を用いた差分検出に関して自作のデー
タセットを作成し，あらかじめ作成した環境地図に対して追4.2 環境地図上への VO の投影結果
図 4 から図 7 は本手法を用いて環境地図上に VO の推定結加された物体と取り除かれた物体の検出を行った．

果を投影したものである．図 4 は屋内の自作データに対して処259

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）(a) LIDAR による 3 次元点群を入力画像に投影した結果 (b) (a) にバイラテラルフィルタリングして生成した距離画像
図 6 KITTI データセットの LIDAR 点群からの距離画像作成結果
Fig. 6 Output of depth image from LIDAR point cloud of KITTI dataset(a) KITTI データセットにおける LIDAR で作成した環境地図での提案手法の (b) EuRoC データセットにおける連続してい出力結果ない画像群に対する提案手法の出力結果
図 7 提案手法による軌跡の出力結果
Fig. 7 Output results of the trajectory by the proposed method

理を行った結果で，環境地図上 (図 4(b)) での DSO(図 4(a))の画像を DSO の入力として提案手法を実行した．その結果の実行結果 (図 4(c)) を示している．環境地図は物体識別ラとして図 7(a) が得られた．また，EuRoC MAV データセッ

ベルによって色が付随しており，DSO への入力画像に対するトでは，Machine Hall の五種類の画像シーケンスからラン

個別物体領域分割の結果と環境地図との差分から環境におけ

ダムに画像を 350 枚選び，連続していない画像群を入力としる物体の差分検出を行っている (図 5)．図 5 では画像 (a) のて SfM を用いて環境地図を作成した．図 7(b) はその結果をDSO 入力画像に対して，環境地図入力画像として用いられた画像 (b) と比較すると，画像 (c) において本が新たに環境に現れた物体として検出されていることを示している．図 7
はそれぞれ KITTI データセット18)と EuRoC MAV データ
セット25)に対して処理を行った結果である．KITTI データ表している．図 7(a),(b) ではそれぞれ緑の四角錐が環境地図

いる．DSO の結果を受け取りその他二つのスレッドに出力

セットは車載のステレオカメラで街を走行した大規模なデーを割り振るメインスレッド，3.3 節と 3.4 節の処理を行うマッのカメラの位置姿勢を，赤線が提案手法の軌跡を表している．
また提案手法の各処理機能が要する処理時間の測定を行い，表 1 にまとめた．本手法は三つのスレッドから構成されてタセットである．KITTI データセットには真値を持つ訓練用

チングスレッド，出力を表示するビューアスレッドから成る．

のシーケンス (00 ∼ 10) と真値を持たないテスト用のシーケ

1 フレームを処理するのに要する時間はメインループの処理

ンス (11 ∼ 21) が含まれている．EuRoC MAV データセッ

速度と等価である．メインループが処理を行う上で，類似画

トではステレオ画像，IMU データ，カメラの軌跡の真値を含像の抽出に成功したときマッチング処理が開始され，表 1 のむ 11 の画像シーケンスが提供されている．画像シーケンスはマッチングにまとめられた処理が行われる．MH01 を環境地

異なる 3 種類の環境で撮影されており，Machine Hall が五図にして MH02 を DSO の入力として全 3040 フレームに対種類のシーケンス (MH01 ∼ MH05)，Vehicon Room 1 がして測定を行った．3040 フレームの中で 331 回マッチング

3 種類 (V101 ∼ V103)，Vehicon Room2 が 3 種類 (V201∼ V203) それぞれ提供されている．
KITTI データセットでは，提案手法のより広い汎用性を示すために SfM により事前に生成した環境地図を用いる代
わりに，LIDAR と GPS によって測定された結果を環境地図に用いた．LIDAR によって計測された環境の 3 次元点群
を入力画像に投影 (図 6(a)) し，バイラテラルフィルタ26)を用いて距離画像 (図 6(b)) を作成した．この距離画像と GPS処理が起動している．今回の実験では Intel Core i7-7700，のデータから環境地図を作成した．ステレオ画像のシーケン

環境地図を作成し，左側の映像をオンラインでの入力とした．

スであるので左カメラの画像を環境地図の入力に，右カメラ

その結果，トラッキングの処理速度の平均は 1 フレーム当た

260

3.60GHz のプロセッサとメモリ 32GB，NVIDIA GeForceGTX 1060 のグラフィックカードから成るデスクトップパソ
コンを用いている．本手法ではデータ量が増えた際，BoWの類似画像検索にかかる時間，点群のレンダリング，オフラ
インでの環境地図の作成とその読み込みにかかる時間が増える．そこで KITTI データセットのシーケンス 00，4541 枚の画像に本手法を適用した．ステレオカメラの右側の映像でThe Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

表 2 は EuRoC MAV データセットにおける Machine Hallり 87.8±38.8msec であった．処理時間に加えてこのシーケ

ンスでは環境地図として 11.9GB のデータをロードしている． と Vehicon Rooms 1，2 の結果を表している．表中の×印はより多くの画像を扱って環境地図を作成する際は，マッチン

十分なマッチングを取得できずシステムが起動できなかった

グスレッドの完了速度が遅くなるので，3.3 節の処理に関しことを表している．結果として，提案手法では環境地図とのて，より時間がかかることが想定される．また点群のレンダ

マッチングによってドリフト誤差が軽減されるため，全てのリングを行わないことや，参照する環境地図を場所によってシーケンスにおいて DSO よりも高い精度でカメラの位置姿ロードして，切り替えるといった実装をしてメモリの使用量

勢推定を行うことができた．提案手法は類似画像検索から得を抑える必要性があると考えられる．

られるマッチング結果に依存して，環境地図上での DSO のカメラ位置を推定している．そのため類似した視点から撮影

4.3 Sim(3) 補正を用いた APE 結果
EuRoC MAV データセットを用いて提案手法の精度を検証した．それぞれの撮影環境に対して，一つのシーケンスを
環境地図の作成に，その他のシーケンスを VO の入力として使用して実験を行った．いずれの画像シーケンスにおいてもステレオ画像の右側の画像のみを用いて環境地図の作成，VO

された画像が得られない場合，期待した結果を得ることができない．表 2 の Vehicon Room2 の結果において，V201 とV203 の組み合わせは互いにマッチングを得ることができなかったのでシステムが起動しなかった．また Machine Hallに関して，MH01 と MH02，MH04 と MH05 はそれぞれ似たような視点からの撮影を行っているため，互いに他方を環への入力を行った．
本手法の有効性を示すために Absolute Pose Error (APE)の測定をそれぞれのシーケンスでの実行結果に対して行った．
ここでは，入力画像に対して推定された位置姿勢と真値の境地図にしたときの結果が最もよくなっていることがわかる．
なお，表 2 における (Colmap) は Colmap によって推定されたカメラ位置姿勢と真値との APE 測定結果を表している．
また図 8 は，MH01 を環境地図にして，本手法を用いて位置姿勢の比較を行い，回転行列と並行移動ベクトルの平均二乗誤差を結果として表している．APE の評価は最適化を行う DSO のキーフレームに対してのみ行った．本手法，DSO，Colmap の位置姿勢推定結果に対して，梅山補正27)による Sim(3) 補正をおこなって位置姿勢とスケールの最適化

五つの Machine Hall シーケンスすべてに対して位置合わせとスケール合わせを行い，同一のスケールで表した結果である．各色ごとに一つのシーケンスの軌跡推定結果を表しており，破線は真値による軌跡を梅山補正によって重畳したものである．このように同様の環境地図を用いて提案手法の軌跡を行った．

推定を行うことによって，異なる時系列で撮影されたシーケ
表 1 提案手法の各機能処理時間
Table 1 Processing time of each component
スレッド
メイン
マッチング

処理
メインループ
特徴点マッチング
カメラ位置推定
グラフ最適化

ンスを同一の環境地図上に，Sim(3) 補正を行うことなく投影できていることがわかる．

処理回数 (回)

時間 (msec)

3040
331
313
10

122.76203.5970.39
2.23

さらに環境地図を保存して，保存した環境地図上で自己位
置姿勢推定を行いながら SLAM を実行する機能を持っている OpenVSLAM28)との比較検討を行った．KITTI データ

表 2 EuRoC データセットにおける APE 測定結果 (RMSE)

Table 2 APE in the EuRoC dataset (RMSE)
シーケンス

提案手法

XX
XXX環境地図XXX MH01 MH02 MH03 MH04 MH05
VO
X
MH01
MH02
MH03
MH04
MH05

–

–

0.046
–
0.173
0.258
0.150

0.069
0.049
–
0.344
0.272

0.058
0.074
0.254
–
0.085

0.069
0.054
0.185
0.068
–

0.280
0.270
0.630
0.572
0.509

(0.031)(0.017)(0.036)(0.049)(0.045)

XX環境地図XXX V101
X

V102

V103

–

–

–

–

–
0.080
0.830

0.148
–
1.242

0.200
0.094
–

–
–
–

–
–
–

0.344
0.631
1.009

(0.141)(0.049)(0.063)

XX環境地図XXX V201
X

V202

V203

–

–

–

–

0.105
–
1.544

×
0.052
–

–
–
–

–
–
–

0.262
0.589
1.611

(0.030)(0.025)(0.029)

XXX
VO
V201
V202
V203

(Colmap)

–
0.029
0.124
0.249
0.104

XXX
VO
V101
V102
V103

DSO

–
0.142
×

261

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

セットのシーケンス 00 に対して，自己位置姿勢推定のみのできていることがわかる．提案手法ではこのように連続でな評価を行うために，OpenVSLAM のループ機能が動作しな

いフレームを環境地図として扱うときに有効であることがわい最初の 1000 フレームに関して実験を行った．ステレオカ

かる．

メラの左側カメラ画像を環境地図の入力，右側画像を DSOの入力とした．またその際，環境地図に用いる画像群を全フレームから 3 フレームに 1 枚，5 フレームに 1 枚，7 フレームに 1 枚と間引いて実験を行った．この結果を表 3 に示す．

OpenVSLAM では環境地図を SLAM を使って作成しているためフレームを間引いてしまうと環境地図を作成することができず測定を行うことができなかった．それに対して提案手法ではフレームを間引いた際にも環境地図を作成することが4.4 物体の差分検出実験
自作のデータセットに対して環境地図を作成して本手法を適用した．その後，環境に新たに物体を加えて，環境に加わった物体が検出できるかを評価した．図 9 は検出結果を表しており，画像 (a) が DSO への入力画像，画像 (b) が環境地図で参照されたフレームの画像である．それに対して画像 (c)は物体の差分検出結果であり，上段では環境に新たに追加されたノートパソコンが，下段では環境から取り除かれたキーボードが検出されている．

5. む す び
本論文では SfM を用いて事前に作成した環境地図に合わせた VO によるカメラ軌跡の推定手法とその利用方法に関して提案した．提案手法は，SfM を用いて作成した環境地図
を BoW データベースによって参照することにより，VO の一つである DSO によって推定されたカメラ位置姿勢の補正を行う．そして，補正されたカメラ位置姿勢を含めた DSOの軌跡からポーズグラフを作成し，グラフ最適化を行うこと

図 8 EuRoC Machine Hall データセットの全シーケンスに対して，同一の環境地図を用いて軌跡推定を行った結果

によって DSO によって求められた軌跡を補正する．そのたFig. 8 Results of trajectory estimation using the sameenvironment map for all sequences of the EuRoC
Machine Hall dataset

め，本手法は単眼カラーカメラのみで利用でき，学習データも不要であるという利点を有する．また補正された環境地図
上ので軌跡をもとに，3 次元構造を用いた物体の差分検出を

表3

OpenVSLAM との APE 測定比較結果 (RMSE)
Table 3 Comparison of APE measurements with OpenVSLAM (RMSE)
手法
提案手法

OpenVSLAM

1
6.91
8.05

1/3
2.71
×

1/5
1.31
×

行った．
提案手法の有効性を示すために自作した複数のシーケンス

1/7
×
×

で環境地図に合わせたスケールでの DSO の実行結果を示した．また定量的な評価として，既存のデータセットを用いて，DSO のみを用いた場合に比べて提案手法による補正を行っ(i) 環境に新たに追加されたノートパソコンの検出(ii) 環境から取り除かれたキーボードの検出(a) VO 画像(b) 環境地図画像

図 9 個別物体領域分割による差分検出結果
Fig. 9 Change detection by Instance Segmentation

262(c) 検出結果

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

たほうが高い精度の位置姿勢推定を行うことができることを示した．また，差分検出の具体例として，物体識別ラベルの差分を用いて環境に新たに追加された物体や環境から取り除かれた物体の検出に本手法が有用であることを示した．

参考文献
1) T. Taketomi, H. Uchiyama, S. Ikeda: “Visual SLAM Algorithms: a Survey from 2010 to 2016”, IPSJ Trans. on Computer
Vision and Applications, Vol. 9, No. 1, pp.16 (2017).
2) R. Mur-Artal, J. D. Tardós: “ORB-SLAM2: An Open-Source
SLAM System for Monocular, Stereo, and RGB-D Cameras”,
IEEE Trans. on Robotics, Vol. 33, No. 5, pp.1255–1262 (2017).
3) X. Gao, R. Wang, N. Demmel, D. Cremers: “LDSO: Direct
Sparse Odometry with Loop Closure”, Proc. of IEEE/RSJ
International Conference on Intelligent Robots and Systems(IROS 2018), pp.2198–2204 (2018).
4) C. Forster, L. Carlone, F. Dellaert, D. Scaramuzza:“IMU Preintegration on Manifold for Eﬃcient Visual-Inertial
Maximum-a-Posteriori Estimation”, Proc. of Robotics Scienceand Systems, Vol. 13, pp.136 (2015).
5) K. Tateno, F. Tombari, I. Laina, N. Navab: “CNN-SLAM:
Real-Time Dense Monocular SLAM with Learned Depth Prediction”, Proc. of IEEE Conference on Computer Vision and
Pattern Recognition (CVPR 2017), pp.6243–6252 (2017).

a Previously Driven Route Using an Image Database”, Proc.
of IAPR Conference on Machine Vision Applications (MVA2013), pp.177–180 (2013).
17) R. Castle, G. Klein, D. W. Murray: “Video-Rate Localization in Multiple Maps for Wearable Augmented Reality”, Proc.
of IEEE International Symposium on Wearable Computers,
pp.15–22 (2008).
18) A. Geiger, P. Lenz, R. Urtasun: “Are We Ready for Autonomous Driving? The KITTI Vision Benchmark Suite”,
Proc. of IEEE Conference on Computer Vision and Pattern
Recognition (CVPR 2012), pp.3354–3361 (2012).
19) D. Gálvez-López, J. D. Tardos: “Bags of Binary Words for
Fast Place Recognition in Image Sequences”, IEEE Trans. on
Robotics, Vol. 28, No. 5, pp.1188–1197 (2012).
20) E. Rublee, V. Rabaud, K. Konolige, G. R. Bradski: “ORB:
an Eﬃcient Alternative to SIFT or SURF”, Proc. of IEEE
International Conference on Computer Vision (ICCV 2011),
pp.2564–2571 (2011).
21) R. Kümmerle, G. Grisetti, H. Strasdat, K. Konolige, W. Burgard: “g2o: A General Framework for Graph Optimization”,
Proc. of IEEE International Conference on Robotics and Automation (ICRA 2011), pp.3607–3613 (2011).
22) J. L. Schönberger, and J. M. Frahm: “Structure-from-Motion
Revisited”, Proc. of IEEE Conference on Computer Vision and
Pattern Recognition (CVPR 2016), pp.4104–4113 (2016).

6) N. Yang, R. Wang, J. Stuckler, D. Cremers: “Deep Virtual Stereo Odometry: Leveraging Deep Depth Prediction for
Monocular Direct Sparse Odometry”, Proc. of European Conference on Computer Vision (ECCV 2018), pp.817–833 (2018).

23) J. L. Schönberger, E. Zheng, J. M. Frahm, M. Pollefeys: “Pixelwise View Selection for Unstructured Multi-View Stereo”,
Proc. of European Conference on Computer Vision (ECCV2016), pp.501–518 (2016).

7) T. Taketomi, T. Sato, N. Yokoya: “Real-Time and Accurate
Extrinsic Camera Parameter Estimation using Feature Landmark Database for Augmented Reality”, Computers & Graphics, Vol. 35, No. 4, pp.768–777 (2011).

24) D. Bolya, C. Zhou, F. Xiao, Y. J. Lee: “YOLACT: Real-timeInstance Segmentation”, Proc. of IEEE International Conference on Computer Vision (ICCV 2019), pp.9157–9166 (2019).

8) J. Ventura, T. Höllerer: “Wide-Area Scene Mapping for Mobile
Visual Tracking”, Proc. of IEEE International Symposium on
Mixed and Augmented Reality (ISMAR 2012), pp.3–12 (2012).
9) J. Engel, V. Koltun, D. Cremers: “Direct Sparse Odometry”,
IEEE Trans. on Pattern Analysis and Machine Intelligence,Vol. 40, No. 3, pp.611–625 (2017).
10) C. Forster, M. Pizzoli, D. Scaramuzza: “SVO: Fast Semi-Direct
Monocular Visual Odometry”, Proc. of IEEE International
Conference on Robotics and Automation (ICRA 2014), pp.15–
22 (2014).
11) J. Engel, T. Schöps, D. Cremers: “LSD-SLAM: Large-Scale
Direct Monocular SLAM”, Proc. of European Conference on
Computer Vision (ECCV 2014), pp.834–849 (2014).
12) T. Qin, P. Li, S. Shen: “Relocalization, Global Optimizationand Map Merging for Monocular Visual-Inertial SLAM”, Proc.
of IEEE International Conference on Robotics and Automation(ICRA 2018), pp.1197–1204 (2018).
13) T. Schneider, M. Dymczyk, M. Fehr, K. Egger, S. Lynen, I.
Gilitschenski, R. Siegwart: “Maplab: An Open Framework for
Research in Visual-Inertial Mapping and Localization”, IEEE
Robotics and Automation Letters, Vol. 3, No. 3, pp.1418–1425(2018).
14) J. Ventura, C. Arth, G. Reitmayr, D. Schmalstieg: “Global
Localization from Monocular SLAM on a Mobile Phone”, IEEE
Trans. on Visualization and Computer Graphics, Vol. 20, No.
4, pp.531–539 (2014).
15) J. Ventura, T. Höllerer: “Wide-Area Scene Mapping for Mobile
Visual Tracking”, Proc. of IEEE International Symposium on
Mixed and Augmented Reality (ISMAR 2012), pp.3–12 (2012).
16) H. Kume, A. Suppé, T. Kanade: “Vehicle Localization along

26325) M. Burri, J. Nikolic, P. Gohl, T. Schneider, J. Rehder, S.
Omari, M. W. Achtelik, R. Siegwart: “The EuRoC Micro Aerial Vehicle Datasets”, The International Journal of
Robotics Research, Vol. 35, No. 10, pp.1157–1163 (2016).
26) C. Premebida, L. Garrote, A. Asvadi, A. P. Ribeiro, U. Nunes:“High-Resolution LIDAR-Based Depth Mapping Using Bilateral Filter”, Proc. of IEEE International Conference on Intelligent Transportation Systems (ITSC 2016), pp.2469–2474(2016).
27) S. Umeyama: “Least-Squares Estimation of Transformation
Parameters between Two Point Patterns”, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 13, No. 4, pp.376–
380 (1991).
28) S. Sumikura, M. Shibuya, K. Sakurada: “OpenVSLAM: a Versatile Visual SLAM Framework”, Proc. of The 27th ACM International Conference on Multimedia, pp.2292–2295 (2019).

(2020 年 5 月 29 日 受付)(2021 年 1 月 5 日 再受付)

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

山 口 真 弘2016 年 慶應義塾大学理工学部情報工学科卒業．
2021 年 同大学院理工学研究科開放環境科学専攻
博士課程修了．2021 年 日本電気株式会社入社．
博士 (工学)．コンピュータビジョンやその応用に関する研究に従事．

森
尚 平
2016 年 立命館大学大学院情報理工学研究科博士課程修了．その後，慶應義塾大学理工学部にて
日本学術振興会特別研究員 (PD)．現在，2018
年よりグラーツ工科大学 ICG ポストドクトラル
フェロー．博士 (工学)．拡張現実感及びヒューマンインタフェースに関する研究に従事．

斎 藤 英 雄 （正会員）
1987 年 慶應義塾大学理工学部電気工学科卒業．
1992 年 同大学院理工学研究科電気工学専攻博士課程修了．その後，同大学助手，専任講師，助教授を経て 2006 年 より教授．博士 (工学)．この間，1997 年から 99 年 までカーネギーメロン大学ロボティクス研究所訪問研究員．コンピュータ
ビジョンとその応用に関する研究に従事．

谷内田 尚 司1988 年 日本電気ホームエレクトロニクス株式会社入社，2000 年 日本電気株式会社入社，画像処
理回路設計技術及び研究開発に従事，現在同社，
バイオメトリクス研究所，主任．

柴 田 剛 志2008 年 日本電気株式会社入社．2017 年 東京工業大学大学院，理工学研究科博士課程修了 (工学博士)．2020 年 日本電信電話株式会社入社．画
像認識，画像処理及びコンピュータービジョンの研究開発に従事．現在，日本電信電話株式会
社，コミュニケーション科学基礎研究所，主任研
究員．

264

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
IIEEJ

ɀɰʁɑɣʁɚʁ
モアレを用いた多彩な動き生成
安 部

龍

馬†

北

直 樹†（正会員）

斎 藤 隆 文†（フェロー）† 東京農工大学

Various Motion Generation with Moiré
Ryuma ABE† , Naoki KITA† (Member), Takafumi SAITO† (Fellow)† Tokyo University of Agriculture and Technology〈あらまし〉 モアレとは周期的な模様が複数重なることによって発生する干渉パターンである．一般的に，印刷などでは除去対象として扱われるが，視覚的面白さから建築デザインやアートに利用されてきた．最近ではモアレをアニメーション表現として応用する手法もいくつか提案されている．しかし，既存のモアレアニメーション手法では，直線的な動きや拍動表現しか出来ず，表現できるモアレの動きが限定的である．そこで本研究では，モアレアニメーションの一般化手法を提案し，任意の曲線パスに沿った動きや，縞を一方向にしか動かしていないにも関わらずモアレが往復する反直感的な動きを実現することを目的とする．本研究では，移動波形を定義し，これを規則的に繰り返すことによって構成される移動縞と，固定波形や位相変位，強度によって定義される固定縞を重ね合わせることで発生するモアレアニメーションに焦点を置いている．固定波形は自由に設計することができ，モアレの発生領域内で位相変位を連続的に変化させることで，モアレの明暗が移動して見える．本研究で提案した手法は，既存手法と比較してより幅広い表現が可能となっている．したがって，人の目を引く建築デザインや広告用途への応用が期待される．
キーワード：縞の重ね合わせ, モアレ, アニメーション, パターン生成<Summary> Moiré is an interference pattern caused by the superposition of multiple periodic patterns.
Although it is generally treated as an object to be removed by printing, it has been used in architecturaldesign and art because of its visual interest. Recently, several methods have been proposed to apply moiré as
an animation technique. However, existing moiré animation methods can only represent linear and beating
motions, which limits the motion of the moiré. In this study, we propose a generalized method of moiré
animation, which realizes motion along an arbitrary curved path and counterintuitive motion where themoiré moves back and forth despite the fact that the grating is moving only in one direction. In this study,
we focus on moiré animation, which is generated by superposition of a moving grating composed by deﬁning
a moving waveform and repeating it regularly, and a ﬁxed grating deﬁned by a ﬁxed waveform, phase shift,and intensity. A ﬁxed waveform can be designed freely, and the brightness of moiré appears to move bycontinuously changing the phase shift in the region where moiré occurs. The proposed method allows fora wider range of expression than existing methods. Therefore, it is expected to be applied to eye-catchingarchitectural designs and advertising applications.
Keywords: superposition of gratings, moiré, animation, pattern generation

正しく分布した網点の干渉によりモアレが発生することがあ

1. は じ め にるため，除去対象として扱われる．一方で，モアレの視覚的

モアレとは周期的な模様が複数重なることによって発生すな面白さから，ファッションの分野では美しい模様を織りなる干渉パターンのことである．日常生活でよく見かけるもの

す生地の加工として用いたり，アートとしてモアレ模様を用に，網戸とレースのカーテンの干渉によって発生する網目模いた作品なども存在する．また，建築のデザインとして用い様などがある．また，一般的には印刷用語として用いられるられることもある．図 1 は視点の移動によって市松模様のよことが多く，網点を用いて色を表現している印刷では，規則

うなモアレが変化するファサードを導入した建物の例であり，

265

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 1 建物のファサードに用いられているモアレデザイン (写真は著者による公道からの撮影)

Fig. 1 Moiré design used on the facade of the building(Photo taken by the authors from a public road)

手前の周期模様と奥の周期模様の干渉によってモアレを発生させている．モアレを用いたアニメーション制御に関する研究では，Chosson と Hersch1)による研究の中で，フーリエ変換などを用いない簡単な制御方法が確立されており，最近ではモアレを用いたアニメーション表現手法を提案している研究もいくつか存在する2),3)．しかし，既存手法では直線的な動きや拍動表現しかできず，表現できるモアレの動きが限定的である．以降，モアレを利用したアニメーションをモアレ
アニメーションと呼ぶ．
そこで本論文では，モアレアニメーションの一般化手法を提案し，任意の曲線パスに沿った動きや，縞を一方向にしか動かしていないにも関わらずモアレが往復する反直感的な動きを実現する．図 2 は提案手法を用いて生成したアニメー
ション例である．なお，本稿は VC2020(本号 VC2020 報告

図 2 提案手法を用いて生成したアニメーション結果
Fig. 2 Animation result generated by the proposed
method

記事 参照) において発表した内容を発展させたものである．
またモアレの理論やモデルに関しては以下の 2 件がある．

2. 関 連 研 究

Amidror と Hersch4),5)は，フーリエ理論では捉えられな

本章では本論文に関連する過去の研究を紹介する．まずモいモアレ現象をいくつか紹介し，それらの現象についてフーリエ理論以外の説明を提供している．また，この議論をモア

アレの動きに関しては以下の 3 件がある．
山本ら2)は，モアレとして発生する干渉パターンの動きをレ理論で使用されている他の数学モデルに拡張し，それらの制御し，モノクロ文書画像上にモアレによる動きを付加して特徴と限界についてまとめている．当該研究は，モアレ現象

文書を強調する手法を提案している．当該手法は，任意の領を理論的に説明した研究であるが，本論文ではモアレのアニ

域にモアレを付加して強調表現することを可能とする一方， メーション制御の研究を行う．
他にモアレのセキュリティに関する研究として以下の 1 件
任意の曲線パスに沿った動きをなめらかにアニメーションさを紹介する．

せることができない問題点がある．

Chosson と Hersch は，認識可能な形状を 2 つの線状格

Huang と Wu6)は，オリジナルの印刷文書の認証のための子の重ね合わせによって表現する問題を考えた．そこで，形

光透かしと呼ばれる新しい視覚的情報隠蔽技術について説明

状の前景・背景の中心と形状境界との間にモアレ線を発生さしている．光透かしは，異なる構造パターンを持つ複数の 2

1)

せ，2 つの格子を相対的に変位させることで，モアレ線が移

次元 2 値画像の重ね合わせによって構築される．当該研究は，動し，拍動するような印象を与える手法を提案している．当

モアレをセキュリティの分野に応用した研究であるが，本論該手法は，装飾的な用途や偽造防止用途に対して有効に利用

文では最終的に広告や建築デザインへの応用を目指す．

できる一方，拍動表現以外の動きは提案されていない．

Chosson と Hersch3)は，文字や記号，色などの要素を組み合わせて，ダイナミックに動くメッセージを作成することが3. 提 案 手 法
本章では，まずモアレアニメーションに必要な移動縞と固できるモアレ画像の合成方法を提案している．当該手法は， 定縞について，提案する一般化理論をアナログ画像を前提と文字や記号などのメッセージをダイナミックに動かすモアレ

して説明する．次に，一般化理論を用いた移動縞と固定縞のを扱っているが，本論文では任意の領域内を流動するモアレ

実装について述べる．最後に，固定縞の重ね合わせについてを扱う．

述べ，本論文で新たに実現した往復運動を紹介する．画像の266

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

1

1-P(x,y)

0.5

x

0

左: 位相変位プロファイル，右: 位相変位画像 P (x, y)
図 3 位相変位の定義
Fig. 3 Deﬁnition of phase shift
図5

A(x,y)
1

Fig. 5 Animation result generated using Fig.3(right)
and Fig.4(right)

0.50

図 3(右) と図 4(右) を用いて生成されるアニメーショ
ン結果

x

3.2 モアレアニメーションの実装

左: 強度プロファイル，右: 強度画像 A(x, y)

本節では，前節で述べた一般化理論を用いた移動縞と固定

図 4 強度の定義

縞の実装について述べる．

Fig. 4 Deﬁnition of intensity

まず本論文では，移動波形 WM (s) 及び固定波形 WS (s) を座標系 (x, y) は，移動縞の縞方向を y 軸，移動方向を x 軸と式 (3) で定義している．

し，縞の周期が 1 となるように設定する．また，周期内の位{相は，通常 1 周期を 2π で表すことが一般的だが，ここではWM (s) = WS (s) =1 周期を 1 とする．

1 (0 ≤ s < 12 )0 ( 21 ≤ s < 1)

(3)

3.1 モアレアニメーションの一般化理論
モアレアニメーションは固定縞の上に移動縞を重ね合わせ

実際のモアレ生成では，移動縞及び固定縞は，アナログ画像

ることで視認することができる．そこで本節では，モアレア

からディジタル画像に変換し，アンチエイリアシングを施しニメーションに必要な移動縞と固定縞の一般化理論についてて作成する．このとき，移動縞の 1 周期を数画素以上に対応述べる．

させる必要がある．1 周期をなるべく多くの画素で (高解像

まず移動縞 M (x, y) は，移動波形 WM (s) を定義し，これ度で) 表現した方が，滑らかな動きのモアレが得られる．

を規則的に繰り返すことによって構成される．ここで，s は位相変位 P (x, y) と強度 A(x, y) は，濃淡画像として与え

位相 (0 ≤ s < 1) を表す．移動縞の定義式を式 (1) に表す．

ることができる．例えば，図 3 に示す位相変位画像と，図 4に示す強度画像を用いた場合，図 5 に示すような円形内を中M (x, y) = WM (x)(1)

心から外周に向かって同心円状に動くモアレが生成できる．

なお，本論文で使用する位相変位画像は線形のグラデーショ
次に固定縞 S(x, y) は，固定波形 WS (s)，位相変位 P (x, y)， ンに限定する．
強度 A(x, y) の 3 つの関数で決定する．固定波形は基本となる
3.3 固定縞の重ね合わせ縞の波形である．固定縞は，固定波形 WS (s) の位相を P (x, y)
前節によって生成した複数の固定縞を重ね合わせることで，だけ変位させ，強度 A(x, y) を掛け合わせることにより構成される．P (x, y) の値域は (0 ≤ P (x, y) < 1) であり，A(x, y)

新たな動きを生成することができる．本節では，固定縞の重の値域は (0 ≤ A(x, y) ≤ 1) である．固定縞の定義式を式 (2)ね合わせで往復運動を生成する方法について述べる．まず，に表す．

図 6 に示すような 2 つの異なる位相変位 P1 (x, y), P2 (x, y)を用いて，独立に 2 つの固定縞を作成する．これらを用いる

S(x, y) = WS (frac(x − P (x, y)))A(x, y)と，矩形領域内を，一方の固定縞でできるモアレ 1 が左から

(2)

右に，他方の固定縞でできるモアレ 2 が右から左に移動する．
ここで，frac() は小数部分を取得する関数である．

そして，モアレ 1 が右端に到達した瞬間にモアレ 2 の右端か

位相変位及び強度を画面内で一定にすると，画像全面が一ら出現して逆方向に移動し，それが左端に到達した瞬間に再様に点滅する．モアレの発生領域内で，位相変位を連続的にびモアレ 1 の左端から出現する．これら 2 つの固定縞を重ね変化させることで，点滅の位相がずれ，明暗が移動して見え合わせて使用することにより，生成されるモアレは矩形内をる．強度が 0 となる領域ではモアレは発生しない．これを利往復運動する．移動縞を一方向に移動させるだけで，モアレ用して，局所的なモアレを画面内に多数配置することができの往復運動を実現した例は，著者らが調べた限りでは過去にる．また，複数の固定縞の重ね合わせも可能である．

見当たらない．

267

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

載している．

4. 実

験

図 7 は夜空が描かれたイラストを背景として，その上に固4.1 アニメーション生成

定縞と移動縞を重ねることで 2 つのオーロラがそれぞれ右か

本節では，提案手法を用いて生成したモアレアニメーショ

ら左，左から右へと流れ，流星がそれぞれ右へ流れる動きをン結果を示す．なお，移動縞，固定縞，背景画像のオリジナ

モアレで表現した結果を示している．この結果は，それぞれ

ルのサイズは 3000×2000 [pixel] であり，移動縞のオリジナの領域ごとに異なる動きを施すことが可能であることを示し

ルの周期は 20 [pixel] であるが，紙面の都合上，縮小して掲ている．図 8 は，雷雲をイメージしたイラストを背景として，その上に固定縞と移動縞を重ねることで稲妻が走る動きをモ

1

1-P₁(x,y)アレで表現した結果を示している．これらの結果より，提案手法が複雑なパスに沿った動きに対しても有効であることを確認できる．また，図 9 では，水面に反射した月明かりに往0.5

復の動き，右上の月の光には放射状に広がる動きを施していx0

る．移動縞を右へスライドさせることで，水面に反射した月

左: 位相変位プロファイル，右: 位相変位画像 P1 (x, y)(a) モアレ 1 の位相変位

1

明かりが右から左，左から右へと往復する動きとなる．この
結果は，1 つのアニメーションの中に一方向の動きと往復の1-P₂(x,y)

0.5

動きの両方を施すことが可能であることを示している．

4.2 評価実験
移動縞の周期を n [pixel] としたとき，n がモアレアニメー
xションの視認性に影響を与えるか考察するため，以下の実験

0を行った．なお，本節は実験者による予備観察である．

左: 位相変位プロファイル，右: 位相変位画像 P2 (x, y)(b) モアレ 2 の位相変位

本実験では解像度 1920×1080 [pixel] の 23 インチモニター

図 6 往復する動きの生成
Fig. 6 Generating reciprocating motionを使用し，モニターは実験者の目から約 80[cm] の距離に設置

図 7 オーロラと流星を表現したアニメーション結果
Fig. 7 Animation result showing aurora and meteor

図 8 雷を表現したアニメーション結果
Fig. 8 Animation result showing lightning

した．次に n=60 [pixel]，n=40 [pixel]，n=20 [pixel] のモア

268

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

n=60 [pixel]

n=40 [pixel]

n=20 [pixel]

図 10 移動縞の周期が異なる出力結果

Fig. 10 Output results with diﬀerent periods of moving
gratings

図 11 モアレの露出量を抑えたアニメーションイメージ

Fig. 11 Animated image with low moiré exposure

できるため，固定縞の上に移動縞を重ね，かつ移動縞が明確
図 9 水面に反射した月明かりが揺れるアニメーション結果に視認できるときにおいてもモアレアニメーションが視認でFig. 9 Animation result of shimmering moonlight reﬂected on the surface of the water

きていると考えられる．
より厳密な議論を行うには，視覚研究や心理学的な見地からの考察も必要であると考えられため，本論文の目的からは
レアニメーションを作成し，その結果を比較する (図 10)． やや外れてしまう．本件に関しては，今後機会を改めて追及
本実験で用いた移動縞と固定縞のオリジナルのサイズは していきたい．

1000×1000 [pixel] であるが，紙面の都合上，縮小して掲載

5. まとめと今後の課題

している．

4.3 考察

本論文では，モアレアニメーションの一般化手法を提案し

結果 (図 10) を比較すると，n が小さいほどモアレアニメー

た．既存手法では，直線的な動きや拍動表現しか出来ず，表ションがヒトの視覚系に与える刺激が抑えられ，全体の視認現できるモアレの動きが限定的である問題点があった．本論性が向上していることが確認できる．この理由として，ヒト文で提案した手法では，任意の曲線パスに沿った動きを実現の視覚系の空間周波数特性による要因が考えられる．n を小することが可能となり，複雑なパスに沿った動きに対してもさくすることで移動縞が高空間周波数となり，ヒトのコント

有効であることを示した．また，過去の研究で提案されてきラスト感度が低下するため，移動縞が縞として視認できなくたモアレアニメーションは一方向に流れる動きであったが，7)なる ．これによって，移動縞に注意がいかなくなり，視覚本論文ではモアレが往復する新たな動きを実現できることをへの負荷が低減されることでモアレアニメーションの視認性示した．

が向上したと推察される．また，移動縞が明確に視認できる

本論文で提案した手法では，移動波形と固定波形の形状，

ときにおいてもモアレアニメーションが視認できる理由とし強度と位相変位によるモアレ移動領域と動き設定，さらにはて，ヒトの視覚補完による要因が考えられる．過去の研究に

固定縞の重ね合わせにより，様々なモアレを設計できる．しおいて，物体の一部が前面の物体によって遮蔽されても，ヒかしながら，どんな動きでも自由に生成できるわけではない．

トの後頭部に位置する第 1・2 次視覚野において遮蔽されて

例えば，2 章で紹介したバンドモアレ画像で表現可能な文字

欠損した視覚像がまるで絵を描くように補完されることで物や記号などのグラフィカル形状が動くアニメーションや，古8)体の全体像が再構成されることが明らかとなっている ．こ

典的なスリットアニメーションで表現できる絵柄が動くアニの視覚補完をアモーダル補完9)と呼び，ヒトはこの視覚補完

メーションは生成できない．また，移動縞の 1 周期あたりのにより，物体の一部が欠けていても全体像を認識することが黒線の幅を 1/2 としているため，モアレの露出量の制御は不269

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

可能であると考える．例えば，図 5 のように同心円状のモア
レが内から外へ広がるアニメーションにおいて，図 11 のような細い輪で同じ移動速度の動きを生成することはできない．
今後は，生成されるモアレの動きや濃淡変化の自由度について検討し，本手法の可能性と限界について探っていきたいと

付

録

A 結果ギャラリー

以下に示す移動縞を透明シートに印刷し，固定縞に重ねて右へスライドさせると，本論文で提案するアニメーションの確認が可能である．

考えている．
モアレアニメーションについては，移動縞の周期を小さくすると，ヒトの視覚系の空間周波数特性と視覚補完効果により，移動縞の視認性が抑制され，モアレアニメーションの視認性が向上するという知見が得られた．この視認性に関しては今後，より定量的な評価を行いたい．
モアレアニメーション技術を建築デザインや広告用途へ応用する場合，移動縞と固定縞を離して設置することが想定される．したがって，移動縞と固定縞間の距離と，移動縞の周期との関係性を視野に入れた研究も，今後の課題として検討していく必要がある．

参考文献
1) S. M. Chosson, R. D. Hersch: “Beating Shapes Relying on Moiré
Level Lines”, ACM Trans. on Graphics, Vol. 34, No. 1, pp.9:1–
9:11 (2014).

付図 A. 1 図 2 のアニメーションを得るための固定縞
app.Fig. 1 A ﬁxed grating to generate the animation in
Fig.22) 山本佳奈, 長岡航太, 斎藤隆文: “強調表示のためのモアレアニメー
ション”, 情報処理学会第 81 回全国大会, 6ZC-06 (2019).
3) R. D. Hersch, S. M. Chosson: “Band Moiré Images”, ACM
Trans. on Graphics, Vol. 23, No. 3, pp. 239–247 (2004).
4) I. Amidror, R. D. Hersch: “The Role of Fourier Theory and of
Modulation in The Prediction of Visible Moiré Eﬀects”, Journalof Modern Optics, Vol. 56, No. 9, pp. 1103–1118 (2009).
5) I. Amidror, R. D. Hersch: “Mathematical Moiré Models andTheir Limitations”, Journal of Modern Optics, Vol. 57, No. 1,
pp. 23–36 (2010).
6) S. Huang, J. -K. Wu: “Optical Watermarking for Printed Document Authentication”, IEEE Trans. on Information Forensics
and Security, Vol. 2, No. 2, pp. 164–173 (2007).
7) 横澤一彦, 視覚科学, 勁草書房 (2010).
8) H. Ban, H. Yamamoto, T. Hanakawa, S. Urayama, T. Aso, H.
Fukuyama, Y. Ejima: “Topographic Representation of An Occluded Object and The Eﬀects of Spatiotemporal Context in
Human Early Visual Areas”, Journal of Neuroscience, Vol. 33,
No. 43, pp. 16992–17007 (2013).

付図 A. 2 図 7 のアニメーションを得るための固定縞
app.Fig. 2 A ﬁxed grating to generate the animation in
Fig.7

9) A. Michotte, G. O. Thinès, G. Crabbé, Les Compléments
Amodaux Des Structures Perceptives, Louvain Institut de psychologie de l’université de Louvain (1964).

付図 A. 3 図 8 のアニメーションを得るための固定縞
app.Fig. 3 A ﬁxed grating to generate the animation in
Fig.8

270

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

安 部 龍 馬2020 年 東京農工大学 工学部情報工学科卒業．現在，東京農工大学 大学院工学府情報工学専攻 博
士前期課程在学中．コンピュータグラフィックス
に関する研究に従事．

北直 樹 （正会員）
2009 年 金沢大学 理学部物理学科卒業．2019 年
北陸先端科学技術大学院大学 先端科学技術研究
科 博士後期課程修了．博士 (知識科学)．現在，
東京農工大学 工学部知能情報システム工学科 助
教．コンピュータグラフィックスに関する研究に従事．ACM，画像電子学会など会員．

付図 A. 4 図 9 のアニメーションを得るための固定縞
app.Fig. 4 A ﬁxed grating to generate the animation inFig.9

斎 藤 隆 文 （フェロー）
1982 年 東京大学 工学部計数工学科卒業．1990
年 東京大学 大学院工学系研究科 博士課程修了．
工学博士．1987 年 NTT 研究所 勤務．1997 年
東京農工大学 工学部 助教授．現在，東京農工
大学 大学院工学研究院 教授．コンピュータグラ
フィックス，可視化，形状処理などの研究に従事．
画像電子学会フェロー，情報処理学会フェロー．

付図 A. 5 移動縞
app.Fig. 5 A moving grating(2020 年 12 月 21 日 受付)(2021 年 2 月 8 日 再受付)

271

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
IIEEJ

ɀɰʁɑɣʁɚʁ
粘土細工のような両手操作による 3 次元形状モデリング
古

賀

亮†

盧

承 鐸†

五十嵐 健 夫†（正会員）† 東京大学3D Freeform Modeling by Two-Handed Clay Work
Akira KOGA† , Seung-Tak NOH† , Takeo IGARASHI† (Member)† The University of Tokyo〈あらまし〉 VR 技術やハンドトラッキング技術を用いた 3D モデリングは，直観的な操作や立体的知覚を提供できる．しかし，既存の VR モデリングツールは変形具合の調整などの試行錯誤を前提とした操作には向いておらず，初心者がモデリングを始める上では使いにくいものであった．そこで，本論文では VR モデリングツールを基本とし，粘土細工を模した動作で 3D モデルを制作することが可能な新たなフレームワークを提案する．本システムでは，
ユーザは粘土の構成する単位である粘土粒子を手でつまんで粘土を操作し，単純な両手の動きによって結合や分断といった大局的な形状操作を行う．本論文では，作例と実験の結果を通し，本システムの有用性について検証した結果を報告する．
キーワード：CG, 3D モデリング, VR, ハンドトラッキング<Summary> The widespread of VR and hand tracking technology opens new possibilities of 3D modelingtools that enable a novice user to create a model with a ﬂat learning curve. However, existing VR modelingtools are diﬃcult for beginner to start modeling because of its complexity on trial-and-error based operations,such as adjustment of deformation on the model. In this paper, we propose a novel 3D modeling systemthat enables a user to create a freeform 3D shape based on a play-dough metaphor. The user can deformthe shape of an object by simple two-handed hand gestures. The object is represented as a set of playdough particles and their connectivity changes according to the hand gestures. We show several examples
of generated 3D models to demonstrate the expressiveness of our system. We also report the result of ourpilot user study conducted to examine the acceptability to novice users.
Keywords: computer graphics, 3D modeling, virtual reality, hand tracking

すことで，概形の大域的な形状操作を可能とする VR モデ

1. は じ め にリングシステムを提案し (図 1)，初心者への扱いやすさの改

3 次元モデリングに VR (Virtual Reality) 技術を取り入れた VR モデリングツールは 3 次元の視覚的フィードバックを得ながら 3 次元空間内で操作を行うことができる．しかし，既存の VR モデリングツールの一つである 3D ペイント1)は善を目指す．ユーザは操作オブジェクトを構成する粘土粒子

一旦描いたものの一部を動かすなど，試行錯誤しながら調整

粘土細工の概形操作に主に用いられる移動・結合・分断の 3 種をつまんで動かし，粒子間の結合状態を操作することでオブジェクトの形状を変形させることができる．本システムでは，
ハンドトラッキングを用いた直観的で直接的な両手操作で，する作業には向いておらず，3 次元変形 はオブジェクト配類の操作を表現する．ユーザはこれらのシンプルな操作を駆置後に変形具合の調整やポリゴンの操作など，複雑で細かい使することで簡単に 3D 形状の概形を変形させることができ

変形操作が必要であるため，いずれも初心者がモデリングをる．両手を利用したインタラクションは，DollHead4)のよう始める上で必ずしも使い勝手が良いとはいえない．そこで本に物体を抽象的な空間内でなく片手に固定することで，ユー?)

稿では，初心者にとって馴染みがある粘土細工を題材として， ザを身体的な相対的位置関係による相互作用空間に置くこと
4)
操作オブジェクトを付け離し可能な粘土粒子の集合体とみな ができ ，効率的で直観的な操作を提供する．

272

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）(HTC Vive)(LeapMotion)(a) 移動及び回転

図 1 VR 装置とハンドトラッキングによる粘土細工モデリ
ングシステムFig. 1 Proposed clay modeling system with VR andhand tracking

提案システムの評価として行った実験では，モデリング経
験の少ない参加者でも短時間の訓練で提示された粘土モデル(b) 結合を短時間で再現でき，また自由度の高い形状を作成すること

図 2 提案システムにおける操作方法
Fig. 2 Manipulations of the proposed systemができた．これは，提案システムのような造形システムが初(c) 分断心者にも直観的かつ有用であることを示唆している．なお，
本稿は VC2020(本号 VC2020 報告記事 参照) において発表

粘土モデル

した内容を発展させたものである．

ゴミ箱

2. 関 連 研 究
VR 技術を用いた両手インタラクションによるモデリングの重要性については，多くの先駆的な研究によって示されている．Bærenzen ら5)は各メッシュにラッチオブジェクトを配置し，ラッチオブジェクトやメッシュの頂点を操作することでメッシュの形状を変形させるアプローチの研究を行い，Vehoeven らは RodMesh6)というスケッチベースで描かれたメッシュに対して補助線を導入して手で形状を操作するモデ追加可能な粒子リング手法を開発した．またこれらメッシュ操作によるアプ
ローチ以外にも，Mendes7)らは両手のジェスチャーもしくは
メニュー操作によって CSG(Constructive Solid Geometry)で用いられる和集合/共通部分/差集合といったブーリアン操作を行うモデリング手法の評価を行った．本研究では，上記研究のように両手ジェスチャー操作を用い，ブーリアン操作の和集合と似たアプローチで 3D オブジェクト同士を結合す
るが，切り離しの際は部分的形状を壊しかねない共通部分や差集合を用いず，結合前の形状を維持して切り離す．

ユーザ
図 3 本システムの仮想環境
Fig. 3 Virtual environment in the proposed system

まむことで，「粘土」を移動・回転させることができる(図 2(a))．この際，「粘土」の形状は変化しない．
 結合操作: 「粘土」を他の「粘土」にくっつけることで，それぞれの「粘土」の形状を維持したまま，１つの新たな「粘土」として操作可能になる (図 2(b))．

 分断操作: 同じ「粘土」を両手で引っ張ることで，2 つ

3. 提案システム
本システムにおいて，「粒子」は操作の最小単位となる球状の 3 次元要素，「粘土」は複数の「粒子」が集まって 3 次元形状を表現したものである．
本システムでは，ユーザは HMD を装着し VR 空間内でモの「粘土」に分断し，個別操作可能になる (図 2(c))．この際，分断後のそれぞれの形状は元の「粘土」の対応部分を保持する．

3.1 ユーザインタフェース

デリングを行う．モデリング中は現実の手の動きをトラッキ

本システムのユーザインタフェース (図 1，図 3) は VR

ングする VR 空間内の手のモデルを操作し，現実の粘土細工

出力装置として VIVE，ハンドトラッキング入力装置としてに基づく以下の操作を表現することで，オブジェクトの形状

Leap Motion を用いて構成される．ユーザは奥に置かれている 6 色の「粒子」をつまみ，仮想空間に置くことで「粘土」を変化させる (図 2)．

 移動操作: 「粘土」内の「粒子」を親指と人差し指でつ273を生成でき，また手前左下の赤いゴミ箱に「粘土」を入れる

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
参加者#1

参加者#2

参加者#3

274 [秒]198 [秒]219 [秒]320 [秒]832 [秒]440 [秒]ヘビ

例示モデル

参加者#2 (902 [秒])参加者#3 (645 [秒])参加者#3 (294 [秒])トンボ

参加者#1 (603 [秒])図4

例示モデルおよび参加者による再現結果と制作時間

図 5 自由制作の結果

Fig. 4 The example objects, results and creation time of the user study

Fig. 5 The results from the free-play session

ことで「粘土」を削除できる．各操作中は「粒子」の配置をの移動後，「粘土」内のグラフを再構築し，複数の連結グラフ

確認でき，操作後に，操作したオブジェクトの表面の描画をに分かれているならば，それぞれのグラフを新しい「粘土」

行う．

として対応し，元の「粘土」を分断する．

3.2 粘土の表現および各操作

4.

上記の操作で重要な役割である形状保持をするために，各「粘土」に対して「粒子」を頂点としたグラフを導入して「粒子」間の位置関係を記憶する．各グラフにおいて，「粘土」内の 2 つの「粒子」中心間の距離が距離 Ta 以下であるとき，対応する 2 つの頂点間に辺を挿入し，Ta より大きい時は辺を削除する．本システムでは，「粒子」は半径 Rpi = Rp の球で表現し，Taii′ = Rpi + Rpi′ = 2Rp と設定した．また，各「粘土」はグラフのほかに各「粒子」をノードに持つ Bounding

Volume Hierarchy (BVH)8)を構成し，他の「粘土」や手との位置関係の計算に用いる．最後に「粘土」表面の描画はマー
チングキューブ法9)を用い，「粘土」表面の各ポリゴンに最も実

験

4.1 実験方法
VR ハンドトラッキングと粘土粒子を用いた本システムの直観性と有用性を評価するために実験を行った (図 1)．参加
者は全員 20 代前半の男性の大学生 3 人であり，全員 3D モデ
リングおよび VR に対してほぼ未経験であった．実験では，以下の手順で参加者にタスクを行った．

1. 参加者に 3.1 節で述べた本システムの UI 部分の説明と「粒子」をつまむ動作を説明し，実際に触りながら 5 分
程度練習してもらう．

2. こちらが例示したヘビの形状 (図 4．ヘビ-例示モデル)を見ながら作成する．

近い「粒子」の色情報を付与する．

3. 必要ならば結合・分断操作の説明を行う．
4. こちらが例示したトンボの形状 (図 4．トンボ-例示モデ
各手がつまむ (親指と人差し指の指先間距離を定数距離 Tbル) を見ながら作成する．
以内にする) 動作を行ったとき，各手から定数距離 Tc 以内に
5. 各参加者それぞれが自由に形状を制作する．
ある「粒子」のうち手に最も近い「粒子」を持つ「粘土」の各セッションの後，参加者の VR 酔いなどを防ぐため休憩時「粒子」をつまんだものとして操作可能にする．その「粘土」間を設けた．結合・分断の操作説明をセッション 1 で説明し
3.2.1 移動が片方の手のみにつままれている場合，各「粒子」の座標を手の角度変位と移動距離に対応させて更新する．両手の場合なかったのはこれら操作の発見可能性を観察するためである．
実験後，本システムのフィードバックを 6 段階リッカート尺

は分断処理を行った後に移動処理が行われる．

度の選択式アンケートと自由記述式アンケートでとった．

3.2.2 結合
各フレーム毎に「粘土」間の各「粒子」中心間距離を計算

4.2 実験結果

し，しきい値 Ta を下回っている「粒子」の組み合わせがあ

各参加者の作成した結果を図 4 と図 5 に示す．前者が例るならその 2「粒子」を端点とする辺を追加し，2 つの「粘示した形状作成での作例で，後者が自由制作セッション 5 で土」を結合させる．

の作例である．参加者#3 は自由制作を 2 つ作成したのでそ3.2.3 分断の両方を掲載している．図 6(a) は本システムの総合的な参「粘土」内の別々の「粒子」を 2 つの手でつまんで移動さ加者の評価である．システム各種の参加者の評価として，図せた時，各手がつまんでいる「粒子」と「粘土」内のグラフ上でその「粒子」の方が最短経路が短い「粒子」は対応する

6(b) は各種操作に関する操作性の評価であり，図 6(c) はシ
ステムの機能面に関する評価である．また，図 6(d) は実際手に追従して移動する．この両手操作での移動では，分断以に形状を作成した上で本システムのモデリング性能に関する外にも「粒子」同士を押し込むことも可能である．全「粒子」評価である．

274

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

まんでいた．ただし，この方法ではチョウの翅 (図 5 左下) の使いやすい．
操作を覚えやすい．
初心者のモデリングに有用である．

1

2

3

4

5

6

1

2

3

4

5

6

1

2

3

4

5

6

ように結合部分が複数ある場合，望むように分断できない恐れがある．この問題に対する解決策の 1 つとして，切断面の(a) システムの全体的な評価

描画による分断箇所の明示化などのアプローチが考えられる．
本システムで作成できる形状に関して，参加者は「粒子」

直観的なモデリングができる．

1

2

3

4

5

6

1

2

3

4

5

6

1

2

3

4

5

6

1

2

3

4

5

6

を曲線や平面的に配置できる形状を作成し，立体的に組み合粘土の移動は操作しやすい．
粘土の結合は操作しやすい．
粘土の分断は操作しやすい．

わせており，球や曲面のように「粒子」を立体的に配置する必要がある形状は作成されなかった．要因の 1 つとして，リ(b) 操作・UI の評価

アルタイムな結合判定によりユーザの思うような位置に配置
しづらいことが考えられる．これは結合の判定をユーザが手システムの挙動は信頼できる．

1

2

3

4

5

6

1

2

3

4

5

6

を離したタイミングにすることで解決できる．また，球など

操作失敗時のリカバリが容易だ．

の単純な立体的形状を自動的に作成する機能の追加で，これ(c) システム面の評価

らの形状作成コストを削減するなども有効的だと考えられる．

満足のいく形状が作れた．
形状の作成は容易である．
形状の変形は容易である．

1

2

3

4

5

6

1

2

3

4

5

6

1

2

3

4

5

6

同意できない6. 今後の課題とまとめ
本稿では VR 装置とハンドトラッキングを用いた単純な粘同意できる

土細工のような操作による 3D モデリングの新たなアプロー(d) モデリング性能の評価

チを提案した．実験を通して本手法により初心者でも自由な図 6 設問項目とその結果形状を簡単に作成できることが確認できた一方で，操作性やFig. 6 Questionnaire items and results

実用性における問題点も確認された．操作性改善のため，触以下に自由記述式アンケートでのフィードバックをまとめ

覚的フィードバックの導入やより複雑で細かい形状のモデリ

る．どの参加者も想定している分断箇所と異なる分断をする

ングを実現するため，物理的な形状変化の導入やスカルプティ

ことがあると指摘し，不慮の分断を起こさないように結合固ングへの拡張などが考えられ，本研究のさらなる発展が見込

定機能を望んでいた．また，本システムの用途や表現可能なまれる．

形状に関して，参加者からは簡易的な形状の概略を作成する

謝

上で有用であり，子供の教育目的などに利用可能であるとい

辞う意見が得られた．しかし，幾何的に整った形状の作成や立本研究を進めていくにあたり，有益なアドバイスをして下体的な配置などを行うには時間がかかるという意見も得られさった中島一崇氏に感謝を申し上げます．本研究は JSPS 科

た．他に，「粒子」の押し込みによる複雑な表現や，生成・移研費 19J13492 および JST CREST JPMJCR17A1 の支援

動・結合操作の直観性や手軽さなどが高く評価された．

を受けたものです．

5. 考

察

参考文献

図 4 から参加者は元の形状と同じような形状を作成でき，また図 5 も含めて各作成時間は最長 15 分程度と，初心者でも短時間での形状作成が可能であることが伺える．また，図6(a) から，本システムの操作の単純さが伺え，参加者も結合・分断操作をセクション (2) 完了までに気づくことが多く，初心者がモデリングをする上での簡潔さを確認することができた．
しかし，本システムには改善点が残っている．ある参加者
は奥にある粒子をつまんだり，ゴミ箱に入れる動作をする上で立体的認識のズレが見られた．このような立体的認識の改
善には空中ハプティクスなどの触覚的フィードバックの導入などが考えられる．他にも，参加者からのフィードバックや
図 6 (b) からわかるように，分断操作に関する評価は高くな
い．パスの長さによる分断箇所はわかりづらく，ユーザが維持させたい部分を分断しかねない．そのため参加者は確実に分断できるように，分断したい箇所にある「粒子」2 つをつ

275

1) Google Inc., Google Tilt Brush, https://www.tiltbrush.com/(2016).
2) Google Inc., Google Blocks, https://arvr.google.com/blocks/(2017).
3) Sketchbox Inc., SculptrVR, http://sculptrvr.com/ (2016).
4) K. Hinckley, R. Pausch, D. Proﬃtt, N.F. Kassell: “TwoHanded Virtual Manipulation”, ACM Trans. on ComputerHuman Interaction, Vol. 5, No. 3, pp.260–302 (1998).
5) A. Bærentzen, J.R. Frisvad, K. Singh: “Signiﬁer-Based Immersive and Interactive 3D Modeling”, Proc. of 25th ACM Symposium on Virtual Reality Software and Technology (VRST ’19),
No. 1, pp.1–5 (2019).
6) H. Schulz, M. Teschner, M. Wimmer: “RodMesh: Two-handed
3D Surface Modeling in Virtual Reality”, Vision, Modeling and
Visualization, pp.1–10 (2019).
7) D. Mendes, D. Medeiros, M. Sousa, R. Ferreira, A. Raposo, A.
Ferreira, J. Jorge: “Mid-air Modeling with Boolean Operationsin VR”, Proc. of 2017 IEEE Symposium on 3D User Interfaces(3DUI), pp.154–157 (2017).
8) C. Ericson, Real-Time Collision Detection, Morgan Kaufmann,
pp.235–284 (2005).

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
9) W.E. Lorensen, H.E. Cline, Marching Cubes: A High Resolution 3D Surface Construction Algorithm, Association for Computing Machinery, pp.163–169 (1987).

(2020 年 12 月 22 日 受付)(2021 年 2 月 19 日 再受付)
古 賀亮2020 年 東京大学理学部情報科学科卒業． 現在，
東京大学情報理工学系研究科修士課程に在学． 3次元モデリングに関する研究に取り組んでいる．

盧承 鐸
2012 年 東京大学大学院情報理工学系研究科修士課程修了． その後 3 年間， 韓国科学技術院 (KAIST) にて研究員として研究活動に従事．
2020 年 東京大学大学院情報理工学系研究科博士課程修了． 博士 (情報理工学)．3 次元モデルの生成関連する技術や， MR 技術を用いた３次元モデリング支援の研究に取り組んでいる．

五十嵐 健 夫 （正会員）
2000 年 東京大学大学院工学系研究科博士課程修了． 博士 (工学)． 2002 年 東京大学大学院
情報理工学研究科講師就任． 2005 年 同助教
授． 2011 年 同教授． IBM 科学賞， 学術振興会
賞， ACM SIGGRAPH Signiﬁcant New Researcher Award，ACM UIST Lasting Impact
Award， ACM CHI Academy 等受賞．ユーザ
インタフェース， 特に， インタラクティブコン
ピュータグラフィクスに関する研究に取り組ん
でいる．

276

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
IIEEJ

ɀɰʁɑɣʁɚʁ
グラフィックデザインのためのセマンティクスを考慮した色候補生成
玉 置

尚 吾†

北

直 樹†（正会員）

斎 藤 隆 文†（フェロー）† 東京農工大学

Semantics-Aware Color Candidate Generation for Graphic Designs
Shogo TAMAOKI† , Naoki KITA† (Member), Takafumi SAITO† (Fellow)† Tokyo University of Agriculture and Technology〈あらまし〉 本論文では，ユーザのカラーデザインにおける起点の支援を目的とし，グラフィックデザインのセマン
ティクスを考慮した色候補の新たな提示方法を提案する．デザイン制作においてカラーデザインは重要であるが，ペイントアプリケーションなどで提供される OS 標準のカラーパレットは選択肢が多すぎるため，選択に迷うことが多い．そこで機械学習ベースの色生成モデルを使用し，入力画像の各レイヤに設定されたレイヤ名を使用して複数の色候補を生成することを検討した．提案手法では一般的なカラーパレットではなく，レイヤごとに異なるセマンティク
スを考慮した色候補が提示されるため，ユーザは多様でかつ限定された色候補，すなわちデザイン候補を得ることができる．提案手法をウェブアプリケーションとして実装し，ユーザのデザインプロセスをどの程度支援できるかを評価することにより，提案手法の有効性や応用可能性を示した．
キーワード：デザイン支援, カラーパレット, カラーテーマ, デザインツール, 色割り当て<Summary> In this paper, we propose a novel color-suggestion method considering the semantics ofgraphic design to support the starting point in color design. Although color design is important in design
production, the standard OS color palette provided by paint applications has too many choices, which often
leads to confusion in selection. Therefore, we propose a machine learning-based color generation model thatcan generate multiple color candidatesusing the layer names set for each layer of a given graphic design. Our
method presents candidate colors to the users by considering the semantics of the graphic design for eachlayer. Therefore, the users can obtain the starting color of the graphic design exploration, and can obtain
diverse designs. We implement a web application using our method and evaluate the extent to which themethod supports the design process of novice users.
Keywords: design support, color palette, color theme, design tool, color assignment

着色したり，デザイン全体の調和を図ったりといったカラー

1. は じ め に

デザインは重要な作業である．しかし，初心者にとっては，

グラフィックデザインは，メッセージを視覚的に伝達する手

前述のような多くの選択肢を備えたパレットから色を選択す

段として制作されるデザインのことであり，雑誌，ポスター， ることは，常に同じ候補色からの選択であり，選択肢が多すWeb ページなどの様々な媒体で使用される．グラフィックデ

ぎるため，色の選択に迷うことが多く，困難な作業である．

ザインは色，フォント，レイアウトなどの要素で構成され，そこで本研究では，グラフィックデザインの初心者を対象

それらの中でも色は見る者に強い印象を与える効果がある．

とし，カラーデザインの起点を支援することを目的とし，画ペイントアプリケーションを使用してグラフィックデザイ

像のセマンティクスを考慮して色候補を提示する新たな色提ンを着色する際，OS 標準のカラーパレットや，RGB，HSV

示方法を提案する．提案手法を OS 標準のカラーパレットとの値をカラースライダ (図 1) で選択することが多々ある．一組み合わせた Web アプリケーションとして実装する．本手

般的なカラーパレットとアプリケーションは独立しており， 法では，入力として Scalable Vector Graphics (SVG) 形式
アプリケーションに関わらずユーザは常に同じ候補色から色のベクタ画像を使用し，個別のレイヤには，そのレイヤを表を選択する．一般的に，グラフィックデザインを適切な色ですテキストが設定されていることを前提とする．実際のデザ

277

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

イン制作でも，デザインの管理や効率的な作業のためにレイ参照) において発表した内容を発展させたものである．

ヤの命名が推奨されている．ただし，テキストはアプリケー

2. 関 連 研 究

ション上で変更できるため，入力の時点で完全なテキストが設定されている必要はない．また，本手法は入力画像の色情

2.1 色の認知とセマンティクス

報に関わらず，テキストから色候補を生成するため，入力画

色は物の生得的な色だけでなく，感情，文化，年齢などの像の色の設定は任意である．設定されたレイヤ名を使用して， 多くのセマンティクスの概念と人間の認知や行動に影響を強
機械学習ベースの色生成モデルでセマンティクスを考慮した く与えるほど強く関連している1),2)．例えば，赤色には「危複数の色候補を生成する．レイヤ名ごとに異なる色候補を生険」や「警告」といった印象を与える性質があり，直感的に成することによって，提案手法はユーザにデザイン探索の起危険を判断できるよう車のブレーキランプや非常ボタンに使点となる色候補を提示する．これにより，ユーザは提示され用されている．また，青色には「安全」や「信頼」といったた複数の色候補を手掛かりに色を選択することが可能とな印象を与える性質があり，信頼性を伝えるために Twitter やる．すなわち，多様なデザイン候補を得ることとなる．最後に，ユーザのカラーデザインをどの程度支援するかを測定す

PayPal などの IT 系サービス，あるいは株式会社エイチ・ア
イ・エス (HIS) や全日本空輸株式会社 (ANA) といったの旅

るユーザスタディを実施し，評価する．

行会社のロゴマークなどに多く使用されている．このように，

提案システムでは，ユーザは入力画像上を右クリックする(図 2(a)) と，レイヤ名に基づいた色候補が円形メニューで表示される (図 2(b))．円形メニューから，いずれかの色をクリックすると，レイヤに着色され，標準的なカラーパレット

グラフィックデザインを含む幅広いデザイン領域で，色は中心的な役割を担っている．

2.2 色候補の生成手法と提示インターフェース(以下，標準パレット) が表示される (図 2(c))．標準パレット

これまでに多くのカラーパレット生成のための研究やソフの初期値は提案された色となっており，標準パレット上のポ

トウェア開発が行われている．いくつかのカラーパレット生成

インタを動かすことにより提示された色を動的に変更するこツール3)〜5)は，ユーザが任意の一色を一般的なカラーパレッとができる．なお，本稿は VC2020(本号 VC2020 報告記事

トから選択すると，その色に調和する色を自動で選択してカラーパレットを作成する．しかし，これらのツールはカラー
パレットの調和のみで，着色対象のセマンティクスを考慮していない6)．セマンティクスを考慮したカラーパレットの生成手法として，テキスト入力を使用する手法がある．テキス
ト入力をもとにしたクエリベースの生成手法7)〜9)は，テキス
トを検索して取得する画像から色を抽出し，カラーパレットを作成するが，入力したテキストの意味する色よりも，取得した画像の内容に色がマッピングされてしまう問題点がある．

(a)

機械学習ベースの生成手法10),11)は，大規模なデータセット(b)

図 1 macOS 標準のカラーパレット (a) とカラースライダ

から意味的な関連性を学習することにより，単語を使用して(b)Fig. 1 macOS default
slider(b)カラーパレットを生成する．本研究で採用する Bahng らの手
colorpalette(a)

and

color

法12)は，一単語ではなく，フレーズレベルのテキスト入力をサポートする生成モデルである．また，機械学習モデルを使

図 2 アプリケーションワークフロー
Fig. 2 Work ﬂow of the application

278

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 3 Text2Colors に入力した単語と得られるパレットの例
Fig. 3 Examples of a text and the corresponding colors

用して，グラフィックデザインや白黒写真を自動着色する研究13)は数多く行われてきたが，これらは本研究におけるデザ
イン制作のプロセスを対話的に支援するという目的とは異なる．セマンティクスを考慮した色候補を生成・提示し，ユー
ザのデザインプロセスを支援する研究はこれまでに報告されていない．このように多くのカラーパレット生成ツールが開発されているが，これらは画像編集ツールとは独立しているものが多く，デザイナーは 2 つのツールを行き来しなければ

図 4 Web アプリケーション画面の詳細
Fig. 4 Details of the application window

ならないという問題点がある．このような問題に対処するた個含まれており，幅広い表現を含んでいる．フレーズレベル

め，色生成と着色の両方が可能なインターフェースの設計がのテキストと共起表現に対応するように設計されており，同研究されている．Playful Palette14)は，油絵や水彩のパレッ

じ単語を様々な色にマッピング可能である．

トをデジタルで実現したカラーピッカーインターフェースである．Color Builder15)は，Playful Palette をより物理的なパレットに近くなるよう，ユーザが起点となる複数の色を選択し，2 色のグラデーションや 3 色のブレンドを実装し，色を提示するインターフェースである．これらのインターフェー
スは，はじめに起点となる色を選択する必要があり，初心者のデザインプロセスにおいては，一般的なカラーパレットから色を選択することが困難である．このような問題に対処するため，提案手法では，テキストに基づいて生成された色候補を提示し，提案システムがユーザに代わってカラーデザインの起点となる色を選択する役割を担うことにより，ユーザのデザインプロセスを支援する．

3. 色候補の生成と提示
本章では，使用する色候補の生成モデルの概要と実装した
アプリケーションでの色候補の提示方法について述べる．

3.2 色候補の提示
色候補の提示手法を着色可能な Web アプリケーションとして実装した．提案システムの基本的な着色の手順は，i)〜iii) である．
i) レイヤを右クリックして色候補を表示
ii) 色候補からいずれかの色を選択
iii) 選択した色を調整
はじめに，SVG 画像を入力すると，アプリケーションの基
本画面 (図 4) が表示される．画面上部分には，入力画像が表示され (図 4(a))，下部分には，カーソルが指すレイヤのレイ
ヤ名，現在の色のカラーコード，5 色の候補色のカラーコー
ドが表示される (図 4(b)〜(d))．次に，画像上で右クリックすることにより，レイヤごとに異なる 5 色の色候補が円形メ
ニューで表示される (図 2(b)). 表示された円形メニューの色候補からいずれかの色をクリックすると，選択した色がレイヤに着色されると同時に標準パレットが表示される (図 2(c))．

3.1 色候補の生成表示された標準パレットにおいて，初期値はクリックした色本研究では，提案手法の色生成モデルとして Bahng らのとなっており，標準パレット上のポインタを動かすことによ12)

Text2Colors

を使用する．Text2Colors は，テキストから

カラーパレットを生成し，それを使用してグレースケール画
像に着色するモデルである．2 つの条件付き敵対的生成ネッ
トワークで構成されており，そのうち，カラーパレットを生成するモデルである Text-to-Palette Generation Networks(TPN) を使用する．TPN は，テキスト入力のセマンティクスを反映して関連あるカラーパレットを生成する．Text2Colorsに入力したテキストと色候補の例を図 3 に示す．
Text2Colors のデータセットには，手動でキュレーション
された Palette-and-Text (PAT) データセットを使用する．
PAT は，テキストと 5 色のカラーパレットのペアが 10,183

279

り提示された色を動的に変更可能である．

3.3 色候補の変更
はじめに提示された色候補以外の色を選択したい場合，レイヤ名の変更と追加のテキスト入力によって色候補の変更が可能である．ユーザはレイヤ名に基づいた色候補を使用して色を選択し，提示された色を調整し着色するが，提示された色候補以外の色を選択したい場合は，次の 2 種類の方法で色候補を変更可能である．色候補を変更することにより，多様な色を探索することが可能となる．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 5 レイヤ名の変更による色候補の変更 (変更前：“sun”，
変更後：“moon”)(a)図7

Fig. 5 Changing the candidate colors by changing thelayer name from “sun” to “moon”

(c)

(b)

アプリケーションを使用した着色結果 ((a),(b)) とレイ
ヤ名を使用して生成されたカラーパレット ((c))

Fig. 7 Colorizing illustrations using the application((a),(b)) and color palettes generated by thelayer names((c))

図 6 追加のテキスト入力色候補の変更 (追加テキスト：“autumn”，レイヤ名：“forest” )Fig. 6 Changing the candidate colors by inputting theadditional text “autumn” (layer name: “forest”)

3.3.1 レイヤの変更(b) “emotional”(a) “ﬂashy”

色候補を変更したいレイヤを右クリックして選択し，画像下の入力フォーム (図 4(f)) に新たなレイヤ名を入力すること
により，レイヤ名を変更できる．図 5 は，レイヤ名を “sun”
から “moon”に変更した際の色候補の変化である．

(c) “nostalgia”

図 8 着色結果と追加のテキスト入力で得られたカラーパレット

Fig. 8 Colorizing results for illustrations using the application and color palettes obtained by inputting
an additional text provided below each image

3.3.2 追加のテキスト入力
追加のテキスト入力は，入力画像の全レイヤに対して，色生成モデルで色候補を生成する際のクエリを設定する方法である．画像下の入力フォーム (図 4(e)) に入力することにより，追加のテキスト入力が可能である．追加のテキストを入力し，新たに色候補を生成すると，元の 5 色に新たな色候補

5 色を加えた 10 色が円形メニューで表示される．追加のテキスト入力は，全レイヤに対してレイヤ名を変更せずに色候補のクエリを変更できるため，画像の全体テーマを持つ場合

SA L ESA L EUP TO 50 %UP TO 50 %SHOP N OWSHOP N OW(a) “Christmas”
図9(b) “fantasy”

ポスターへの着色結果

Fig. 9 Colorizing results for posters using the applicationなどに有効であり，“pop”，“pastel”，“ark”，“fun”などのれた追加の 5 色から着色し，テキストの印象を反映した結果

様々なテキストの入力が考えられる．図 6 は，“autumn”ととなった．“ﬂashy”(図 8(a)) は「派手な」「けばけばしい」という追加テキストを入力した際の “forest”というレイヤ名のいった意味で，色候補には，明るい緑色やピンク色，濃い赤
色候補の変化である．円形メニューの左半分は元の 5 色で， 色などが提示された．“emotional”，“nostalgia”を入力した
右半分は追加で得られた 5 色を示す．
場合 (図 8(b),(c)) は，全体的に彩度が低く，落ち着いた色候
補が提示された．

4. 着 色 結 果

図 9 に示したポスターへの着色結果では，“rectangle”，

提案システムを使用することにより，同じカラーパレット“geometry”，“primitive”をレイヤ名としたが，Text2Colorsから異なる複数の着色画像が得られる．図 7 (a),(b) は，追はこのような単語で学習しておらず，色候補が生成されなかっ加のテキスト入力や標準パレットは使用せずに，レイヤ名をた．この場合には，イラストの全体的なイメージを追加のテもとに生成された 5 色の色候補 (図 7(c)) から着色した．追キストとして入力し，追加テキストを使用して生成された 5

加テキストを入力しない場合，2 つの着色結果に全体的な雰

色の色候補から着色した．

囲気の大きな差はないが，生成された色候補の使い分けや，色を割り当てるレイヤを変えることにより，バリエーション
ある着色結果を生成することができる．

5. ユーザスタディ
提案手法がユーザのカラーデザインを支援することを検証

追加のテキスト入力をした結果 (図 8) では，新たに生成さ280するために，ユーザスタディを実施した．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

表 1 CSI スコアの測定結果

Table 1 Break down of the CSI scores
CSI の項目Collaboration
Enjoyment
Exploration
ExpressivenessImmersion
Results Worth Eﬀort
CSI∗p < .05

従来手法

提案手法

0
4.0
12.6
14.3
7.0
10.7
48.4

0
5.1
19.0
16.1
9.5
12.0
61.2

t 検定
t = −1.91, p = 0.082
t = −3.04, p = 0.011∗
t = −1.33, p = 0.21t = −2.21, p = 0.049∗
t = −0.68, p = 0.51
t = −3.25, p = 0.023∗

平均選択数(標準偏差)

要素スコア (標準偏差)
従来手法
提案手法

0.67 (0.82)
1.17 (1.47)
3.83 (0.75)
3.67 (2.07)
3.00 (0.89)
2.67 (1.51)

0 (0)10.2 (2.23)
9.8 (2.07)
11.7 (2.29)
7.0 (1.78)
12.0 (2.73)

0 (0)13.2 (1.51)
14.8 (1.88)
13.2 (1.62)
9.5 (1.29)
13.5 (1.29)

5.1 測定方法と参加者
ユーザスタディでは，実験参加者に提案手法とベクタ画像の編集ソフトである Inkscape16)でそれぞれ別のグレースケー
ル画像に着色するタスクを課した．ユーザスタディの目的は，デザインプロセスを評価することであるため，参加者には自由に着色するよう伝えた．着色タスク完了後に，着色中の(a) 従来手法による着色

参加者と使用したツールに関するアンケートを行った．アン
ケートは，創造性支援ツールが創造的な作業を行うユーザの作業プロセスを支援する能力を評価するために設計された

Creativity Support Index (CSI)17)をもとに行った．CSI は，
Collaboration，Enjoyment，Exploration，Expressiveness，
Immersion，Results Worth Eﬀort の 6 要素でツールの創造性を定義し，2 種類のアンケートによって CSI スコアを算出する．CSI スコアは，0 から 100 でスコアリングされ，スコ(b) 提案手法による着色
図 10 ユーザスタディの実験参加者による着色結果 (画像 1)

Fig. 10 Colorizing illustrations in the user study(Image
1)

アが高いほど作業に対するツールの優れた支援を表す．
実験には，22〜24 歳の 6 名 (男性 5 名，女性 1 名) が参加
し，色覚異常を報告した者はいなかった．6 名のうち，1 名
はソフトウェアを使用して日常的に絵の練習をする者で，5名は初心者であった．
(a) 従来手法による着色

5.2 結果5.2.1 CSI スコアの測定結果
CSI スコアは，従来手法で 48.4 (標準偏差 =5.4)，提案手法で 61.2 (標準偏差 =7.0) であった (表 1)．対応のある t 検
定では，従来手法と提案手法の CSI スコアに有意差があり(t = −3.25，p = 0.023)，SVG 画像の着色タスクにおいて(b) 提案手法による着色提案手法がユーザのカラーデザインを支援していることを示

図 11 ユーザスタディの実験参加者による着色結果 (画像 2)

した．また，要素ごとにみると，Exploration，Immersion

Fig. 11 Colorizing illustrations in the user study(Image2)において統計的な有意差が認められた．参加者に課したタス
クは，他人との共同作業を含まないため，Collaboration 要トを使用することなく，提示された色をそのまま着色するこ素は該当なし (スコア 0) とした．

とがほとんどであった．特に図 10 のエアロバイクや図 11 の5.2.2 着色結果とプロセス

本のイラストなど，様々な着色が考えられるレイヤに対して参加者による従来手法による着色と提案手法による着色のは，色候補からそのまま色が選択されることが多くあった．

比較結果を図 10 と図 11 に示す．

一方で，色候補の中に気に入った色が無かった場合は，適当2 種類の画像の着色過程を通して，参加者は提示されたすべての色を一度は試して着色する傾向にあった．色候補内に気に入った色がある場合は，色をクリックした後に標準パレッ

281

な色を選択し，標準パレットから参加者自身がイメージする色を選択していた．
レイヤ名の変更は，はじめの色候補以外の色を選択したいThe Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

とき，色候補を変更するために使用されていた．一度別のレ成する際にレイヤ名をそのまま使用するのではなく，上位概イヤ名で色候補を試して，それでも気に入った色候補が出て念となる単語を取り入れてクエリを拡張したり，他の生成手こない場合には，レイヤ名を変更することを諦めて標準パ法の使用を検討する．

レットから色を選択することもあった．同じレイヤに対して様々なレイヤ名を入力して多様な色候補を試して着色する者もいた．

6.2 画像全体の色の調和や領域構成実装した Web アプリケーションでは，異なるレイヤ間で生成される色の調和やバランスを考慮した色の割り当て，レ追加テキストの入力機能は，6 名中 4 名の参加者が使用した．この機能を使用した 4 名は，着色開始時にテキストを入力し，10 色の色候補から着色したため，追加テキストの入力機能を使用しなかった 2 名より提示された色をそのまま使用する回数が多かった．

イヤの領域構成を考慮していない．色の配色には多くの調和理論があり，画像全体の配色を考慮してデザインすることはグラフィックデザインの効果を多様にする．今後は，「追加のテキスト入力」で入力されたフレーズなどを使用して，アプ
リケーションが自動で色を割り当てることにより，初心者の5.3 考察デザイン支援に役立つと考えられる．

従来手法による着色と提案手法による着色を比較すると，提案手法による着色の方が異なる参加者の着色であるにも関わらず，同じような雰囲気の着色結果となった．着色画像に割り当てられる色は，レイヤ名から想起しやすい無難な色が多い結果となった．また，提案手法による着色の方が着色されているレイヤの数が多く，効率的に着色された．一方で，従来手法による着色は，異なる雰囲気や独創的な着色結果となった．
この結果は，CSI スコアの Exploration と Expressiveness6.3 ユーザスタディ
本研究では，デザイン制作の初心者に対してユーザスタディを実施し，提案手法を使用したときのデザインプロセスを評価した．従来手法との比較実験は，本手法以外の要因がスコアに影響を与えてしまったことも考えられる．今後は，ユー
ザスタディを設計し直し，プロのアーティストやデザイナーに対してのデザインプロセスの支援，作業効率の向上，着色結果を評価する必要がある．

要素に表れている．提案手法はセマンティクスを考慮して限定された色候補を生成することによりユーザの色探索における適切な着色や効率的なデザイン作成に寄与したと考えられる．しかし，色候補の数を限定してしまうことは，ユーザの独創的で多様なデザイン作成を支援することにはつながらな
い．したがって，本手法は，非写実的なアーティスティック
デザインの着色向きではなく，多くの人に受け入れられやす
いウェブページの制作やプレゼンテーションにおいて効率良く着色するという課題に対して有効性があると考えられる．

7. ま と め
本研究では，初心者ユーザのカラーデザインの起点を支援することを目的とし，画像のセマンティクスを考慮した色候
補を提示する新たな手法を提案した．
提案手法は，入力として画像のレイヤ名が与えられた際，
レイヤ名の単語やフレーズに基づいて複数の色候補を生成してユーザに提示する．提案手法を一般的なカラーパレットと組み合わせた Web アプリケーションとして実装した．アプ
リケーションでは，ユーザがレイヤ上で右クリックすること

6. 今後の課題

により，レイヤ名に基づいた 5 色の色候補が円形に表示され，提案手法が従来手法に比べてユーザのデザインプロセスを

円形メニューのいずれかの色をクリックすると，その色が画支援していることがわかったが，CSI スコアは 100 点満点中像に着色される．提案手法がユーザのデザインプロセスをど

61.2 点と改善の余地が多くある．本章では，いくつかの視点の程度支援するかを検証するために，ツールの効果を定量的から改善点を議論する．

に評価する CSI を使用してユーザスタディを実施し，一般的

6.1 色の生成モデル

なカラーパレットを備えた従来手法と比較して，提案手法がユーザスタディのアンケートでは生成される色の精度に関ユーザのカラーデザインをより支援するツールであることをする改善点がいくつか挙げられた．ユーザが目標とする着色示した．今後は，画像全体の色の調和やレイヤの領域構成をが一般的な着色かどうかによって，必要とされるカラーパレッ

考慮した色を割り当てることにより，起点となる色だけでな

トは異なるため，様々な色の生成モデルを検討する必要があ

く，起点となるデザインを与えることができ，初心者のデザる．本研究で使用した Text2Colors は，グレースケール画

イン支援に役立つと考えられる．

像を着色するためのモデルであるため，データセットはグラ
フィックデザインに特化していない．グラフィックデザインに特化したデータセットで学習することにより，ユーザの求
めるより精度の高い色を生成すると考える．また，実体を持たない物や意味的に関連する色が存在しないようなレイヤへの着色を可能にする必要がある．そのために今後は，色を生

282

参考文献
1) M. D. Bortoli, J. Maroto: “Colours Across Cultures: Translating Colours in Interactive Marketing Communications”, Proc.
of the European Languages and the Implementation of Communication and Information Technologies (ELICT) (2001).
2) A. J. Elliot, M. A. Maier: “Color Psychology: Eﬀects of Per-The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）
ceiving Color on Psychological Functioning in Humans”, Annual Review of Psychology, Vol. 65, No. 1, pp. 95–120 (2014).

玉 置 尚 吾2020 年 東京農工大学工学部情報工学科卒業．現
在，同大学院工学府情報工学専攻博士前期課程に在学中．グラフィックデザインの制作支援に関する研究に従事．

3) Adobe, Adobe Color CC, https://color.adobe.com (2020).
4) Fabrizio Bianchi, Coolors, https://coolors.co (2020).
5) Paletton, Paletton, https://paletton.com (2020).
6) H. R. Kim , M. J. Yoo, H. Kang, I. K. Lee: “Perceptuallybased Color Assignment”, Computer Graphics Forum, Vol. 33,
No. 7, pp. 309–318 (2014).
7) Y. Liu, M. Cohen, M. Uyttendaele, S. Rusinkiewicz: “AutoStyle: Automatic Style Transfer from Image Collections toUsers’ Images”, Computer Graphics Forum, Vol. 33, No. 4, pp.
21–31 (2014).
8) M. Solli, R. Lenz: “Color Semantics for Image Indexing”, Proc.
of 5th European Conference on Colour in Graphics, Imaging
and Vision (CGIV 2010), Vol. 6, pp. 353-358 (2010).
9) V. Setlur, M. C. Stone: “A Linguistic Approach to Categorical Color Assignment for Data Visualization”, IEEE Trans.
on Visualization and Computer Graphics, Vol. 22, No. 1, pp.
698–707 (2016).
10) A. Jahanian, S. Keshvari, S. V. N. Vishwanathan, J. P. Allebach: “Colors – Messengers of Concepts: Visual Design Mining for Learning Color Semantics”, ACM Trans. on ComputerHuman Interaction, Vol. 24, No. 1, pp. 1–39 (2017).
11) N. Murray, S. Skaﬀ, L. Marcheotti, F. Perronnin: “Toward Automatic and Flexible Concept Transfer”, Computers & Graphics, Vol. 36, No. 6, pp. 622–634 (2012).
12) H. Bahng, S. Yoo, W. Cho, D. K. Park, Z. Wu, X. Ma, J. Choo:“Coloring with Words: Guiding Image Colorization throughText-based Palette Generation”, Proc. of 15th European Conference on Computer Vision (ECCV 2018), pp. 443–459 (2018).
13) S. Anwar, M. Tahir, C. Li, A. Mian, F. Khan, A. W. Muzaﬀar:“Image Colorization: A Survey and Dataset”, arxiv, pp. 1-17,
https://arxiv.org/pdf/2008.10774 (2020).
14) M. Shugrina, J. Lu, S. Diverdi: “Playful Palette: An Interactive Parametric Color Mixer for Artists”, ACM Trans. on
Graphics, Vol. 36, No. 4, pp. 1–10 (2017).
15) M. Shugriina, W. Zhang, F. Chevalier, S. Fidler, K. Singh.:“Color Builder: A Direct Manipulation Interface for Versatile
Color Theme Authoring”, Proc. of the 2019 CHI Conference on
Human Factors in Computing Systems (CHI 2019), No. 456,
pp. 1–12 (2019).
16) TheInkscape
Team,
Draw
https://inkscape.org (2020).

Freely—Inkscape,17) E. Cherry, C. Latulipe: “Quantifying the Creativity Supportof Digital Tools through the Creativity Support Index”, ACM
Trans. on Computer-Human Interaction, Vol. 21, No. 4, pp.
1–25 (2014).

(2020 年 12 月 18 日 受付)(2021 年 3 月 5 日 再受付)283

北直 樹 （正会員）
2009 年 金沢大学 理学部物理学科卒業．2019 年
北陸先端科学技術大学院大学 先端科学技術研究
科 博士後期課程修了．博士 (知識科学)．現在，
東京農工大学 工学部知能情報システム工学科 助
教．コンピュータグラフィックスに関する研究に従事．ACM，画像電子学会等会員．

斎 藤 隆 文 （フェロー）
1982 年 東京大学 工学部計数工学科卒業．1990
年 東京大学 大学院工学系研究科 博士課程修了．
工学博士．1987 年 NTT 研究所 勤務．1997 年
東京農工大学 工学部 助教授．現在，東京農工
大学 大学院工学研究院 教授．コンピュータグラ
フィックス，可視化，形状処理などの研究に従事．
画像電子学会フェロー，情報処理学会フェロー．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

秘境と世界遺産とを巡る旅（その２）河村 尚登（フェロー・元キヤノン）

Journey for Scenic Spots around World Heritages : Part 2
Naoto KAWAMURA (Fellow, Former Canon Inc.)(e)は，チリのパタゴニアにあるトーレス・デル・パイネ国

はじめに
退職後は海外の秘境や世界遺産巡りに頻繁に出かけていま
した 1)が，コロナ禍で海外旅行ができなくなり，昨年の秋以立公園（チリ）にあるクエルノス山(2,600m)で，6 つの峰を持ち花崗岩の白い岩肌の奇妙な形が印象的です．

降，GO TO トラベルキャンペーンを利用した国内旅行に切(f)は，同じくパタゴニアにあるフィッツ・ロイ（アルゼン

り替えました．しかし，それもつかの間，再度の非常事態宣チン 3,405m）で，世界遺産に登録されたロス・グラシアレス

言により，年始から完全な巣ごもり状態になってしまいまし

国立公園にあります．切り立った岩山で登山家憧れの山だそた．仕方がないので，これまで放置してきた過去の写真の整

うです．パタゴニアは 1 年で 300 日以上，天候が悪いそうで

理を始めたところ，思い出深い写真が次々と出てきましたのすが，運良く好天に恵まれ，マグダレナ島のペンギンや多くで．そのいくつかをここで紹介したいと思います．お仕事のの氷河の良い写真が撮れました．
(g)は，イタリアのシチリア島東部に位置するエトナ山

合間にコーヒーでも飲みながらご鑑賞ください．

（3,326m）で， 2013 年に富士山と同時期に世界遺産に登録

世界の山の写真
筆者はトレッキングや山の写真を撮ることが大好きです．
しかし，天候に左右され，また光の具合により思ったような写真がなかなか撮れません．とはいえこれまで大量に撮りだ
めした山の写真から，比較的よく撮れたもの 10 枚を写真 1として紹介します．
(a)は，スイスアルプス旅行でトレッキングをしてマッター
ホルン（4,478m）を撮ったものです．山頂に雲がかかっていましたが 30 分待って雲がなくなったのを見計らって撮影したもので，湖面に映ったマッターホルンの美しい写真が撮れました．
(b)は，エギュイ・デュ・ミディ展望台（フランス）から見たモンブラン(4,809m)です．富士山より高い所（3,842m）にある山頂に作られた展望台で，北峰とつながる屋外の橋には思わず足がすくみます．よくぞこんなところに作ったものだとあきれるばかりです．アルプスの山は登山電車やロープウ
ェイを使って簡単に展望台まで行け，天気さえよければ絵葉書のような写真が撮れます．
(c)は，ネパールに行った時，ブッダ・エアーのヒマラヤ遊覧飛行でエベレストの頂きを撮影したものです．この翌年，遊覧飛行を終えカトマンズへ戻る飛行機が墜落し全員が死亡したという新聞記事を見たときは思わずゾッとしました．
(d)は，やはりネパールのポカラから撮った朝日で染まった

写真１ 山の写真

マチャプチャレ（6,993m）です．神聖な山として崇敬されて(a)マッターホルン(フランス), (b)モンブラン(スイス), (c)エベレ

おり，ネパール政府により登山が禁止されていて未踏峰となっているそうです．早朝からカメラを構えて多数撮った中の1 枚で，時間的に赤みが変わっていくのが楽しめます．

スト(ネパール), (d)マチャプチャレ(ネパール), (e)パイネ国⽴公園(チリ), (f)フィッツ・ロイ(アルゼンチン), (g)エレナ⼭(シチリア島/
イタリア), (h)キリマンジャロ(タンザニア), (i)マウナケア⼭スバル
天⽂台(ハワイ), (j) コロンビア氷原(カナダ)

284The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）されました．今も活発に活動する活火山で，今年の 2 月にもしの木」とも呼ばれているそうです．
(g)は，ケニアで見た鈴なりの鳥の巣ならぬ鳥のアパートで，噴火を起こしました．
(h)は，タンザニアにあるキリマンジャロ（5,895m）です．

木全体が鳥の巣でした．

世界遺産にも登録されているンゴロンゴロ自然保護区には(h)はキルギスの草原で見たポピーの群生で，遠くの山の中

300km2 にも達する巨大なクレータがあり，その中でのドライ

腹までがポピーの赤色でほんのり染められて，幻想的な風景

ブサファリで，野生動物を観察しながら撮影しました．

に酔いました．それもそのはず，ポピーはいわゆるケシの花(i)は，ハワイ島マウナケア（4,205m）山頂にあるスバル天で麻薬のひとつです．

文台です．山頂まで行く途中，高地に身体をならすためイヌ(i)は，ナミビアで見たウェルウィッチアという草です．日

ズカビジターセンターで休憩してから行きます．夕日がとて

本名では「奇想天外」と呼ばれます．アフリカ・ナミブ砂漠

も美しく，綺麗な写真が撮れました．

の固有種で， 葉は 2 枚だけですが，裂けて何枚もあるように(j)は，カナダバンフ国立公園（世界遺産）のカナディアン

見えます．寿命が長い植物で 2000 年生きるといわれます．

ロッキーにあるコロンビア氷原です，アサバスカ氷河の先端(j)は，ケニアで見たソーセージの木です．長く太い実が垂に高速道路があります．

れ下がり，ソーセージのように見えることからその名がつけ以上が，私のベスト 10 ショットですが，掲載写真が小さいられたとのことです．なお，現地では「乳房の木」と呼ぶそので迫力が十分伝わらないのが残念です．

うです．全く乳房には見えませんが…．

珍しい草木の写真

フェアリーサークルの謎

次は，珍しい草木の写真を写真 2 でご紹介しましょう．

ナミブ砂漠には「フェアリーサークル（天使の輪）」と呼ば(a)は，マダガスカルのバオバブの木です．その高さはおよれる，不思議なサークル状の草を見ることができます（写真

そ 30m で直径は 10m ルにもなるといわれています．マダガ

3）．直径が 2ｍから大きいものでは 20～30ｍの環状に草が生

スカルの西海岸にあるモロンダバという町から車で 30 分ほえたものが点在しています．環状に生えるはっきりした原因

ど行くと，
観光地として人気のあるバオバブ街道が続きます．
バオバブの木には年輪がないので樹齢を測定することはできませんが，古い木では数百年～数千年にもなるそうです．
(b)は，「愛し合うバオバブ」と呼ばれるもので，2 本のバオ
バブの木が絡み合うようによりそって立っています．それぞれの木の幹はかなり太く，絡み合って益々太くなっています．
深い愛で結ばれた恋人同士が，木に姿を変え永遠の愛を誓いあっていると伝えられているそうです．
(c)は，ボルネオ（インドネシアサバ州）で撮影したラフレ
シアの花です．ラフレシアは熱帯雨林に生息する世界最大の花で，直径 1m 以上になるものもあります．茎や葉，根を持っておらず，他の植物に糸のような細胞を食い込ませて栄養をとって育つ寄生植物です．他の植物に比べうまく受粉する
確率が低く，また，森林の開拓もあってラフレシアも減少しており，幻の花とも言われています．
(d)は，エチオピアで見たジャカランダの並木道です．オーストラリアでよく見かけましたが，元は南米原産の落葉樹で，紫色の花を桜のように咲かせ，葉の緑とのコントラストが美しいことから世界 3 大花木(カエンボク・ホウオウボク・ジャカランダ)の一つと言われています．
(e)は，モロッコで見たアルガンの木です．アルガンの木は
アルガンオイルをとるもので特に珍しくはないのですが，何匹ものヤギが木に登って実を食べていました．
「豚もおだてりゃ…」ならぬ，「ヤギもおだてりゃ木に登る」でした．
(f)は，カンボジアのアンコールワットで見たガジュマルの

写真 2 珍しい草木(a)マダガスカル バオバブの木，(b)同 愛し合うバオバブ，(c)ボルネオ ラフレシア，(d)エチオピア ジャカランダの並木，(e)モロッコ アフガンの木に登るヤギ，(f)カンボジア アンコール

木の根が遺跡に絡みついています．ガジュマルは 他の木をそワット ガジュマル，(g)ナミビア 鳥のアパート，(h)キルギス ポの強い力で巻き付き，絞め殺すこともあることから「絞め殺ピーの群生，(i)ナミビア ウェルウィッチア, (j)ケニア ソーセージ
の木．

285

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

は分からず，これまで，地中に潜む昆虫説，地下生態系のシロアリによるとする説，
植物の出す毒説など多くの説があり，
真相がはっきりしないまさに「謎」の存在でした．一説として，フェアリーサークルの発生原因をチューリング・パター
ンという数学モデルで説明したものがあります．チューリン
グ・パターン（Turing Pattern）とはイギリスの数学者アラン・

写真 3 フェアリーサークルの謎

チューリングによって 1952 年に理論的存在が示された自発

左は地上からの撮影，右は砂漠遊覧で上空から撮影したもの的に生じる空間的パターンで，拡散方程式に拡散を抑制する反応が起きていると考え，反応項を追加し，
𝐷 ∇ 𝑢

𝑓 𝑢, 𝑣 ，𝐷 ∇ 𝑣

𝑔 𝑢, 𝑣という連立偏微分式から求められます（𝐷は拡散係数．𝑓，𝑔は反応項）．このチューリング・パターンでキリンやシマウ
マ，豹や魚などの生物の模様の発生を説明する試みがなされています 2)．図 1 はキリンのまだら模様とチューリング・パ
ターンで再現したものの比較，図 2 は,パラメータと初期値を

図 1 キリンのまだら模様とチューリング・パターンによるシミュレーション
左はケニアで撮影したキリン．右はチューリング・パターン．

変えて様々なチューリング・パターンを発生させたものです．
フェアリーサークルに対しても，植物がわずかな水分量の環境下でも成育するために広がる活動と，砂漠の乾燥がそれを抑制する活動とが異なる速さで作用し，波が生じて模様が作られると説明しています．
一方，沖縄科学技術大学院大学（OIST）の研究者は，皮膚図 2 パラメータを変えたときのチューリング・パターン

細胞とフェアリーサークルという一見無関係な 2 つの現象がパラメータ，初期値を変えて繰り返し演算することにより，異なったパ

生み出すパターンが極めてよく一致することから，皮膚細胞

ターンに収斂する．左端の図はフェアリーパターンに類似．

もフェアリーサークルも空間を求めて競い合っているので，そのパターンが似通っているのかもしれないという提案をしています 3)．
ところが 2020 年プレトリア大学（南アフリカ）と ITMO
大学（ロシア）の研究が学術誌に掲載され，遂に真犯人は「ユーフォルビア（トウダイグサ属）」であることが突きとめられました．ユーフォルビアが死んだ時に出す有毒な液体が，周

参考文献
1) 河村 尚登：
“秘境と世界遺産とを巡る旅”，
画像電子学会誌 Vol.47,
No.3, pp. 244–246 (2018)2) 近藤 滋：“波が生み出す動物の模様と形”，生産と技術, Vol. 62,
No.2, pp.38–40 (2010).

囲の草を枯らしていたのが真相のようです．
謎は解けたようですが，数理モデルによる謎解きは，興味

3) https://www.oist.jp/ja/news-center/news/2015/4/6/19252

をそそる内容ですね．
さいごに写真を整理しつつ，昔訪れた場所の風景や文化，人々の暮らしなどを思い出し，
もう一度行きたい気持ちになりました．
整理中，改めて写真をよく見ると，ケニアのシマウマとナ
ミビアのシマウマの縞模様が違うことに気が付きました．それではとキリンのまだら模様をよく見ますとやはり生存地によって微妙に違います．環境の違いがチューリング・パター
ンの反応項のパラメータを微妙に変えたのか，などと勝手に納得しています．チューリング・パターンは人の指紋パターンも再現でき，様々な応用が考えられます．ハーフトーニン
グやセキュリティなどに使えないか試してみたいと思いを馳せているところです．

286（フェロー）
河村 尚登
昭和 44 年 九州大学理学部物理学科卒．
昭和 46 年同大学院修士課程修了．同年キヤノン（株）入社．光学設計，カラー機器の開発，カラー画像処理，画像符号化等に従事．平成 2－8 年 豪州海外研究会社(CISRA)
取締役．平成 21－26 年 宇都宮大学オプテ
ィクス教育研究センター客員教授，平成 23－28 年 東京工業大学産学連携コーディネータ．工学博士. 本学会編集委員．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

HTJ2K(High Throughput JPEG 2000)の概要
渡邊 修
拓殖⼤学 ⼯学部

An Overview of HTJ2K (High Throughput JPEG 2000)
Osamu WATANABE
Takushoku University

1.

はじめに

High Throughput JPEG 2000（以下 HTJ2K と略記）は，JPEG 2000 シリーズ標準の Part 15 として 2019 年に ITU-T
Rec. T.814 | ISO/IEC 15444-15 として出版された 1)．HTJ2Kの主な⽬的は，従来の JPEG 2000 Part 12)（以下 J2K と略記）で 規 定 さ れ て い る ブ ロ ッ ク コ ー ダ で あ る EBCOT（Embedded Block Coding with Optimized Truncation）を置き

図 1

HTJ2K コーデックの構成例

換え，符号化システム全体のスループットを向上させるこ
とである．

2.

HTJ2K の標準化作業は，2017 年 3 ⽉の第 75 回 JPEG シ

HTJ2K の概要

2.1
規定されるブロックコーダ
図 1 は，HTJ2K に対応したコーデックの構成例のブロッドニー会合から始められた．第 76 回トリノ会合（2017 年
7 ⽉）において，CfP（Call for Proposal）が発⾏され，具体ク図である．HTJ2K は，⻘⾊のブロック部分「HT block

的な技術提案を募ることとなった．この CfP には，以下にencoder/decoder」を規定する．HT block encoder/decoder は挙げるスコープが記載されている．
a) 符号化効率の⼤幅な低下を招くことなく，CPU，GPU，
FPGA，ASIC などのプラットフォームで，スループットのJ2K における EBCOT3)を置換するもので，E を F(Fast)に置き換えて FBCOT とも呼ばれる．符号化システムのその他の要素（⾊空間変換，DWT (Discrete Wavelet Transform)，量⼤幅な向上を提供すること

⼦化，コードブロック分割など）は，J2K と全く同⼀であb) 既存のブロック符号化アルゴリズム（EBCOT）とのる．また，標準で規定されるのは，デコーダのみであり，数学的に可逆なトランスコーディングが可能であること

エンコーダについてはあくまで Informative な記述となっ

c) アルゴリズムは低消費電⼒で実⾏可能であることていることに注意されたい．これは，規定された⼿順でデd) 既存の JPEG 2000 シリーズ標準と共に使⽤可能であ

コード可能なコードストリームを出⼒できることが，エンること．

コーダに課せられた唯⼀の条件だからである．したがって，

これらより，HTJ2K の⽬的として，スループット向上だ

各ベンダーは，それぞれのターゲットアプリケーションにけでなく，アルゴリズムの計算複雑性や，既存の JPEG 2000

対して適した実装⽅法を取ることが可能となる．なお，本シリーズ標準との親和性を保つことが重視されているこ稿におけるエンコーダに相当する部分の説明は，このとがわかる．

Informative な記述および，筆者がプロジェクトエディタを

HTJ2K が FDIS(Final Draft of International Standard)ステー

務めたリファレンスソフトウェア 4)の内容に基づいている．

ジに達したのは 2019 年 3 ⽉のジュネーブ会合であるが，2.23 つの符号化パス
HTJ2K で規定されたブロックコーダ（以下 HT block

その間に，J2K へのコードストリームシンタックスへの追補（後にこの追補の内容は JPEG 2000 Part 1 第 4 版としてencoder/decoder と略記）は，J2K の EBCOT と同様に，エ出版）や，HTJ2K への適合性試験などの策定作業が並⾏しンコーダでは量⼦化された DWT サブバンド上に定義されて進められた．

る矩形領域であるコードブロックを⼊⼒とし，その圧縮デ

本稿では，HTJ2K の概要を⽰し，スループット向上の鍵

ータ，およびパケットヘッダ⽣成に必要な付随情報を出⼒となるブロックエンコードアルゴリズムについて説明する．また，J2K とのスループット⽐較実験の結果を⽰し，とする．デコーダでは，圧縮データを⼊⼒とし，復号結果である逆量⼦化前の DWT 係数を出⼒する．

HTJ2K の今後の展望について述べる．

EBCOT においては，コードブロック内の DWT 係数は，
ビットプレーンを単位として，最上位ビットから最下位ビ
287

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 3

Quad および Quad 内のスキャン順序

図 2 J2K と HTJ2K における符号化パス
表 1 HTJ2K によって影響を受けるマーカセグメントHT Cleanup pass エンコーディングアルゴリズム

3.

追加規定の内容

対象マーカセグメント

パラメータ値の拡張

COD, COC

制約の追加

SIZ, RGN

3.1
MagSgn, MEL, および VLC ビットストリーム
HT Cleanup pass における圧縮データは MagSgn，MEL，

新たに定義

CAP, PRF, CPF

VLC の 3 つのビットストリームに対応する．並列処理を意
識し，それぞれのストリームは独⽴に⽣成可能となっていットまで順にスキャンされ，各ビットプレーンは図 2 左にる．3 つのストリームはエンコーダの最終段において連結

⽰す 3 つの符号化パス(SigProp pass, MagRef pass, Cleanup

され， HT cleanup segment を形成する．

pass)のいずれかに分割される．3 つの符号化パスは独⽴に符号化処理され，圧縮データを構成する．最上位ビットプ
レーンは Cleanup pass のみに属するため，コードブロック

3.2

ビットストリーム生成の要素

3.2.1

Quad 単位の係数スキャン

内のビットプレーン数を𝑘すると，コードブロックの符号化パスの総数は3𝑘

コードブロックの⽔平×垂直⽅向のサイズを𝑊2となる．得られた符号化パスの圧縮

𝐻と置く．HT Cleanup pass では，コードブロック内のデータすべてをコードストリームに含める必要はなく，符DWT 係数を Quad と呼ばれる単位でスキャンする．1 つの号化パスごとに得られる歪みの予測値に基づいて符号化

Quad のサイズは2パスの切り捨てを⾏うことにより EBCOT の PCRD-opt

る⽔平⽅向の Quad 数𝑄𝑊，垂直⽅向の数𝑄𝐻はそれぞれ(Post Compression Rate Distortion Optimization) 機能が実現

𝑄𝑊

される．

ブロックサイズが 2 で割り切れないときには，⾏または列

これに対し，HTJ2K では，図 2 右に⽰すように符号化パ⌈𝑊2であり，コードブロック内に存在す⌉/2，𝑄𝐻⌈𝐻⌉/2である．すなわち，コードが追加される．したがって，コードブロック内の DWT 係
𝑛4 ∙ 𝑄𝑊 ∙ 𝑄𝐻

スはやはり 3 通りで，それぞれ HT Cleanup pass, HT SigProp

数を𝑋 とすると，𝑛 の取りうる範囲は0

pass, HT MagRef pass と呼ばれるが，コードブロックをビッとなる．図 3 における⾊のついていない画素の係数は，こトプレーン分割せず，ブロック内の DWT 係数を⼀度に処の追加された⾏および列を⽰している．追加される⾏およ

理する．その結果出⼒される符号化パスは⾼々3 つとなる．

び列に属する係数の値は，ゼロである．以下，本稿では，

このうち，HT Cleanup pass のエンコード・デコードが，Quad のインデックスを，𝑞で表すこととする．𝑞 の値の範HTJ2K の最も特徴的な部分であるので 3 章で詳述する．

囲は0

HT SigProp pass と HT MagRef pass については，EBCOT にはラスター順にスキャンされる．ここで，量⼦化ステップ

おける BYPASS モードに若⼲の修正を加えたアルゴリズ

サイズを𝛥，𝑝を整数とすると，量⼦化された DWT 係数のムとなっている．

振幅 𝜇

2.3

𝑞

𝑄𝑊 ∙ 𝑄𝐻 である．図 3 に⽰すように，各 Quad

および符号 𝑠 は，

コードストリームシンタックス

|𝑋 |
,𝑠
2 𝛥

𝜇

ブロックコーダの置き換えに伴い，JPEG 2000 コードス

𝑠𝑖𝑔𝑛 𝑋1

で与えられる．Quad 内の 4 係数は，北⻄ 𝑛

トリームシンタックスに規定が追加されている．具体的に

𝑛は，J2K 第 3 版で規定されたマーカセグメント群への，制4𝑞

1 →北東 𝑛4𝑞

2 →南東 𝑛4𝑞

4𝑞 →南⻄
3 ，の順

でスキャンされる．

約の追加，パラメータ値の拡張，そして新たなマーカセグ

また，Quad のうち，𝑄𝑢𝑎𝑑

メントの定義であり，この追加規定の内容を表 1 にまと

𝑄𝑢𝑎𝑑

める．詳細な内容については，規定 1)を参照されたい．

288

𝑄𝑊

𝑞

0

𝑞

𝑄𝑊 を Initial line pair，

𝑄𝑊 ∙ 𝑄𝐻 を Non-initial line pair と呼び，

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 5 コンテクストの導出
図 4

EMB pattern 導出のための変数．ただし，Initial line数が存在しないため，𝜅 の値は 1 に固定される．

𝟏に固定．

pair(q<QW)においては𝜿𝒒

ある Quad の EMB pattern 𝜖̅ は 4 ビットの値として以下のように定義される．

以降の符号化⼿順の⼀部は Initial line pair と Non initial line𝜖̅pair で異なることに注意されたい．
3.2.2

2𝜖

4𝜖

および 𝑢

ただし，𝜖

Codeblock significance ， MagSgn value ，𝜖Exponent
る変数である Significance，MagSgn value，Exponent につい

𝑢
0

𝐸
𝐸
𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒
1 𝑢
0 𝑢

𝑢

て解説する．
𝜇 の有意状態を Significance と呼び，𝜎 を⽤いて表すこ5は，それぞれ𝜖

符号化⼿順そのものの説明に先⽴ち，各⼿順で使⽤され

8𝜖

6

0
0

7

である．

とにする．𝜎 は
3.2.4
1
0

𝜎

0
0

𝜇
𝜇

MagSgn および VLC ビットストリーム⽣成のために，

2

CxtVLC ルックアップテーブルを⽤いて符号化に必要な情報を取得する．このテーブルには 3.2.2 項 及び 3.2.3 項と定義される．

で説明した諸変数と，コンテクストと呼ばれる Quad の周

𝑋 の振幅と符号をまとめて表現した値を MagSgn value

囲係数の有意状態を⽤いて計算されるインデックス値をと呼び，𝑣 を⽤いて表すことにする．𝑣 は，
𝑣

𝑠

2 𝜇

と定義される．ただし，𝜇𝜇1

使⽤する．インデックス値 𝑛 は次式に基づいて求めるこ

1

0である．

𝑛

𝜖̅

16𝜌

𝜎

2𝜎

256𝑐

8

ただし，

𝑚𝑖𝑛 𝐸 ∈ ℕ| 2𝜇𝜌4を満たす整数として定義される．ただし，2𝜇1は飽和付

き減算であり， 2𝜇

1

1

を⽤いて
2

3.2.3

とができる．

3

1は飽和付き減算であり，Exponent は サブバンド係数の振幅 𝜇
𝐸

CxtVLC ルックアップテーブル

𝜎 |𝜎

𝑐

𝜎

0である．

𝜎

4𝜎

8𝜎

2𝜎

4𝜎

𝑞

𝑄𝑊

2 𝜎

𝜎

4 𝜎

𝜎

9

𝑞

𝑄𝑊

10

EMB patternである（式(10)内の各有意状態については図 5 を参照）．

ここで，MagSgn および VLC ビットストリームを⽣成す

CxtVLC の出⼒は，EMB known bit pattern 𝜖

るために必要な EMB (Exponent Max Bound) pattern につい

符号語 𝑤，VLC 符号語⻑ 𝑙て説明する．ここで図 4 にあるように，EMB pattern 導出に必要な 𝛾 ，𝜅 ，𝑈 , ，𝑢 を定義しておく．ただし，𝐸

3.3

max 𝐸 , 𝐸

3.3.1

,𝐸

,𝐸

，𝛾 は Quad 内に有意な係数が2 つ以上ある場合に 1 となり，それ以外は 0 となる数であおよび VLCである．

ビットストリーム出力
MagSgn ビットストリーム出力

MagSgn ビットストリームは，Quad 内の MagSgn value

る．なお，Initial line pair においては，参照すべき上部の係

𝑣 それぞれの下位 𝑚289

ビットをパッキングすることで⽣The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図 7 HT cleanup segment の構成

3.4
図 6 VLC 符号化の順序

HT cleanup segment の構成

それぞれのビットストリームは，終端処理 (termination)を経てバイト列となる．このとき，MEL と VLC ビットス成される．𝑚の値は次式で決定される．
𝑚

𝑘

𝜎 𝑈

トリームは連結され，合わせて終端処理が⾏われる．HT𝑘cleanup segment は図 7 に⽰すように，先頭から MagSgn，

11

MEL，VLC の各バイト列が格納される．HT cleanup segment
全体の⻑さを 𝐿の値は，Quad 内の係数位置と EMB known bit pattern，MEL と VLC バイト列の⻑さを 𝑆と置く．デコーダに Scup の値を伝達するために，符号バ

の関係
𝜖

𝑘

2𝑘

4𝑘

ッファ𝐷

12

8𝑘

の最後尾の 2 バイトを次式にしたがって修正し，

HT cleanup segment が出⼒される．
により導かれる．対象となる MagSgn value のパッキン
グ時には，J2K での EBCOT 同様，圧縮データのボディ内

𝐷

𝐿

1

𝑆

≫4

に 0xFF90〜0xFFFF の範囲のマーカコードが出現すること

𝐷

𝐿

2

𝐷

𝐿

2 & 0𝑥𝐹0 | 𝑆& 0𝑥0𝐹を回避するために，ビットスタッフィング処理が⾏われる．
3.3.2

ここで，≫ は右論理シフト，&はビットごとの論理積でMEL ビットストリーム出力あり，0x は 16 進数であることを意味する接頭辞である．

コンテクスト𝑐 の値がゼロであった場合，当該 Quad は4.

MEL 符 号 化 の 対 象 と な る ． HTJ2K の MEL 符 号 化 はHT refinement segment

MELCODE5)に基づいている．Quad q 内の Significance 𝜎式(1)における 𝑝 の値をゼロ以外の値としたとき，HTがすべてゼロである場合，MELCODE におけるゼロラン⻑

cleanup segment に含まれないビットプレーンが存在する．

がインクリメントされる．このとき，ゼロラン⻑がしきい

これは図 3 右で⾚以外の場合に対応する．このようなビッ値を超えた場合，ビット“1”が符号バッファに送られ，ゼロトプレーンのうち，最も上位のものを HT SigProp pass およのラン⻑はリセットされる．Quad q 内の Significance 𝜎

び HT MagRef pass にて符号化し，これらをまとめて HTがひとつでも有意である場合は，ビット“0”および，その時

refinement segment が⽣成される．したがって，HT cleanup

点でのゼロラン⻑に応じた符号が符号バッファに送られ，segment とは異なり必須ではない segment である．前述しゼロのラン⻑がリセットされる．MEL ビットストリーム

たように，これらの 2 つのパスの符号化アルゴリズムはにおいてもビットスタッフィング処理が⾏われる．

EBCOT の BYPASS モードに若⼲の修正を加えたものであ

3.3.3

るため，ここでの説明は割愛する．詳細については，規定

VLC ビットストリーム出力1)を参照されたい．

VLC ビットストリームは基本的に，2 つの Quad をペア5.

にした Quad-pair を単位として出⼒される．CxtVLC の出⼒である𝑤，𝑙𝑈に加え unsigned residual と呼ばれる値 𝑢

HTJ2K によるスループット向上性能を評価するため

𝜅 をインデックスとして U-VLC ルックアップテー

ブルを引くことで得られる値 𝑢

，𝑢

，𝑢

性能評価

に，HTJ2K と J2K のエンコード時間を測定した．表 2 に，を合わせ

測 定 結 果 を ⽰ す ． 測 定 に は ， 3840 × 2160 ， RGB ， 12て VLC 符号化する(図 6 を参照)．VLC 符号化では，バッ

bit/pixel/component の静⽌画像を⽤いた．HTJ2K および J2K

ファの最後尾に最初に符号化される Quad に対応する符号のエンコーダソフトウェアには，Kakadu6) version 8.1 を⽤語が格納され，以後，バッファの後ろから前へとビットスいた．Kakadu は商⽤ JPEG 2000 コーデックソフトウェア

トリームが形成されていく．VLC ビットストリームにおいとして有名であり，Intel や ARM 等の各種 CPU アーキテてもビットスタッフィング処理が⾏われるが，ビットスト

クチャへの最適化が施されている．また，参考データとしリームの形成順序が逆であるため，MagSgn および MEL ビて JPEG を⽤いた場合のエンコード時間も測定した．

ットストリームとは⽅法が異なる．

290

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

JPEG エンコーダとしては，libjpeg-turbo version 2.1 beta7)

表 2 エンコード時間の比較 [ms]を⽤いた．測定環境は，CPU: intel core i9-9980HK, メモリ:

（3840×2160, RGB, 12 bpp/component，100 回の平均値）

64GB, コンパイラ: Apple Clang 12.0.0 である．なお，すべ測定に⽤いた符号化パラメータは，HTJ2K および J2K 共通で，DWT レベル: 5，コードブロックサイズ: 64×64，プ
ログレッション順序: RPCL を⽤いた．また，HTJ2K，J2K
および JPEG の量⼦化パラメータである Q-factor の値は 55,
65, 75, 85 である．JPEG 2000 における Q-factor の使⽤については⽂献 8)で提案されており，Kakadu version 8.1 に実装されている．なお，同じ Q-factor で J2K と同⼀の PSNR
値が保証されているわけではない．

J2K

JPEG

全体

block-coder

全体

block-coder(参考)

Lossless

84

23

2315

2243

N/A

95

82

10

450

380

134

85

73

6

263

191

120

75

70

5

201

137

115

65

62

4

173

109

111

55

70

4

153

90

108

参考文献

測定結果より，HTJ2K の J2K に対するスプープット向上率は，ロスレス符号化時に約 27.5 倍，ロッシー符号化においても数倍であることが分かる．また，JPEG に対して
も，スループットが 1.5 倍程度向上していることがわかる．
6.

HTJ2K

Q-factorてシングルスレッドにおける実⾏結果である．

おわりに

1) ITU-T Recommendation T.814 (2019) | ISO/IEC 15444-15:2019,“Information technology – JPEG 2000 image coding system: HighThroughput JPEG 2000,” (2019).
2) ITU-T Recommendation T.800 (2019) | ISO/IEC 15444-1: 2019,“Information technology - JPEG 2000 image coding system - Part
1: Core Coding System,” (2019).
3) D. Taubman: “High performance scalable image compression withEBCOT,” IEEE Trans. on Image Processing, Vol. 9, Issue 7 (2000).

HTJ2K のスループット向上は，新しいブロックコーダに依るところが⼤きい．本稿では，ブロックコーダの⼤きな

4) ISO/IEC JTC 1/SC 29/WG 1 N88036, “FDIS text of JPEG 2000
Part 5 (Reference Software) 3rd Edition”.

特徴である HT Cleanup pass エンコードについて解説を⾏

5) F. Ono, S. Kino, M. Yoshida, T. Kimura: “Bi-level Image Codingwith MELCODE- Comparison of Block Type code and Arithmetic
Type Codes-,” Proc. of 1989 IEEE Global Telecommunications
Conference and Exhibition 'Communications Technology for the
1990s and Beyond', (1989).

った．また，J2K および JPEG とのスループット⽐較実験の結果は，HTJ2K によって J2K ⽐で数倍〜⼗倍程度，JPEGと⽐べても⼗分なスループット向上が達成可能であることを⽰している．⼤幅なスループットの向上と，JPEG 2000

6) Kakadu software Pty Limited, “ Kakadu, ” [Online]. Available:
https://kakadusoftware.com/. [Accessed 24 3 2021].

の持つ豊富なスケーラビリティ機能，幅広い対応コンテン

7) “ libjpeg-turbo, ” [Online]. Available: https://github.com/libjpegturbo/libjpeg-turbo. [Accessed 24 3 2021].

ツ（2 値画像〜HDR 画像），ランダムアクセス性能等の特⻑によって，これまで JPEG 2000 が採⽤されてきた分野（デジタルシネマ，アーカイブ，映像コンテンツのマスターフォーマット等）以外にも普及が進むことが期待される．
例えば，⾞載カメラなどの⽤途では，画質と圧縮率に加え

8) A. Ahar, S. Mahmoudpour, O. Watanabe, D. Taubman, P.
Schelkens: “Parameterization of the quality factor for the highthroughput JPEG 2000, ” SPIE Optics, Photonics and Digital
Technologies for Imaging Applications VI (2020).
9) “OpenJPH,”[Online].
Available:
https://github.com/aous72/OpenJPH. [Accessed 24 3 2021].

て，処理遅延に対する要求を満たすことが求められる．ま10) “MatHTJ2K,”[Online].
Available:
https://github.com/osamu620/MatHTJ2K. [Accessed 24 3 2021].

た，現在 JPEG と CCD RAW を主な記録フォーマットとするデジタルカメラにおいても，HTJ2K lossless は CCD RAW

11) O. Watanabe, D. Taubman: “ A Matlab Implementation of theEmerging HTJ2K Standard, ” Proc. of 2019 IEEE 8th Global
Conference on Consumer Electronics (GCCE), (2019).

を代替できるフォーマットであるという意⾒もある．
現時点で HTJ2K に対応するソフトウェアには，リファ

12) Kakadu
Software
Pty
Limited,https://htj2k.com. [Accessed 25 3 2021].

レンスソフトウェア，Kakadu の他に，オープンソース実装
9)- 11)が存在する．また，複数のベンダーによって，FPGA を利⽤したハードウェアコーデックの開発も進んでいる．
HTJ2K に関するさらに詳しい情報については，関連 Web
サイト 12)を参照されたい．
本稿が HTJ2K に興味のある読者の理解の⼀助になれば幸いである．

291[Online].

Available:

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

渡邊修

1999 年 東京都⽴⼤学⼯学部卒業．
2004 年 同⼤学⼤学院電気⼯学専攻博⼠課程修了．博⼠（⼯学）．同年 拓殖⼤学⼯学部助⼿．現 同 教授．2010 年
2 ⽉より情報規格調査会 WG1 ⼩委員会（現 JPEG ⼩委員会）委員．2020 年
7 ⽉より主査．ISO/IEC 15444-1 (JPEG
2000 Part 1) 4th Edition, ISO/IEC 154445 (Reference Software) 3rd Edition,
ISO/IEC 15444-15 (HTJ2K) co editor．
2018 年 9 ⽉ Vrije Universiteit Brussels（ベルギー） 客員研究員（〜2019 年 9⽉）．2019 年情報規格調査会 国際規格
開発賞，2020 年 同会 標準化貢献賞受賞．

292

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

第 12 回 ITU カレイドスコープ 2020 学術会議報告松本充司†（名誉会員）†早稲田大学名誉教授

Report on 12th ITU Kaleidoscope Conference 2020
Mitsuji MATSUMOTO† (Honorable Member)†Professor Emeritus, Waseda University

1.

まえがき

2.

開会式と基調講演

2.1 開会式

学術会議カレイドスコープは，情報社会の健全な発展を支援し，国際標準を必要とする分野を特定するため，テーマを

ITU-TSB（電気通信標準化局）局長 Chaesub Lee 氏より，歓設定し，大学，産業界，研究機関等から幅広い見解をまとめ迎の挨拶のあとカレイドスコープ国際会議のテーマに関するる国際会議である．本学会もパートナーに名を連ねており，

ITU の作業とコラボレーションの取組みが紹介された．また，過去の本学会誌には京都で開催された第 5 回会議の報告記事

IEEE TEMS の Andy Chen 氏（カナダ）より，カレイドスコーを掲載している 1)．

プの重要性および IEEE TEMS がカレイドスコープのパート

第 12 回となるカレイドスコープ 2020 は，COVID-19 の世

ナーとしてサポートすることの経緯が紹介された．

界的な感染拡大のためオンラインで 2020 年 12 月 7 日から 11

2.2 基調講演日までジュネーブ時間をベースに開催された．発表方法や休憩時間などに従来の対面会議ではなかった制約を多少は伴っ

以下の 4 件の基調講演が行われた．

たが，特段問題なく行われ，通常通り優秀論文の表彰を行っ(1)『An accelerated digital transformation, courtesy of the recentて 5 日間の会議を終えた．図 1 に今回のポスターを掲げる．

pandemic』と題して，欧州工科大学院の Roberto Saracco 氏（イ今回のテーマは「デジタルトランスフォーメーション」でタリア）より，パンデミックにより加速されたデジタルトラ

あった．第 4 次産業革命においてはデータ分析を核として，

ンスフォーメーションが紹介された．COVID-19 による都市

ロボット工学，サイバーシステム，デジタルツイン，仮想シ

封鎖，在宅勤務で分断された人々の社会生活の変化，オフィ

ミュレーション，拡張現実，人工知能，ブロックチェーン等

ス業務の価値，オンライン診療，教育，e コマース等とデジの分野でイノベーションが進展している．

タルトランスフォーメーションとの関連性および AI による仕事の監視，COVD-19 の追跡システムなどイタリアの事例がそこで，ICT と社会経済開発の分野の専門家に対しデジタ紹介された．

ルトランスフォーメーションに関連するプロジェクト開発と研究への洞察をまとめたオリジナルの学術論文が求められた．
選考基準である，①明快さ，②Kaleidoscope との関連性，③デジタルトランスフォーメーションとの関連性，④標準化への重要性，に沿って技術プログラム委員会（TPC）が 2 回の査読評価を行い採択した論文は ITU 会議録や IEEE Xplore
デジタルライブラリに収録される．
また，優秀論文は発表時のパフォーマンスの評価も加えて総合的に選ばれ，
発表論文のうち 30 歳までの若手の著者には，若手著者認定証明書が与えられる．さらに優秀論文は，IEEE
Communications Standards Magazine, International Journal of

図 1 Kaleodpscope2021 ポスター

Technology Marketing, International Journal of Standardization
Research, Journal of ICT Standardization での公開が検討されて
いる．

293

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）(2) 『 Service-based architectures in production systems:

ットワークに大量のデータを転送する大規模マシンタイ

Challenges, solutions and experiences』と題して，フラウンホー

プの通信サービスをサポートする軽量ワイヤレスアクセ

ファーソフトウェア工学研究所 IESE（ドイツ）のトーマス・ス技術と関連プロトコルについての発表（ZTE， 中国）．

クーン氏から生産システムにおけるサービスベースのアーキ（2）
サイバーフィジカルシステムのサービス品質要件が常に満たされるように，計算リソース制御を自動化するためのテクチャの課題および解決方法が紹介された．

機械学習ベースのメカニズムについての発表（最優秀論文(3)『Beyond 5G/6G Telecommunication Ensuring Continuity in

賞：NICT，日本）．

Business, Research and Education』と題して，東京大学中尾彰
宏教授から，COVID-19 感染拡大により人々の経済社会活動

3.3 セッション 3：『ワイヤレスインフラストラクチャとデジタルトランスフォーメーション』

は大きな影響を受けている中で，ビジネス，研究，教育における継続性を保証する強靭な情報通信インフラストラクチャ

本セッションでは以下の 3 件の論文が発表された．

の構築の必要性，5G から 6G への移行形態について論じられ（1）5G ネットワークシステムの展開計画のさまざまな問題た．日本ではプライベート 5G（Local 5G）のホワイトスペーを示し，IMT-2020/5G のユースケースの要件および展開課

スとして非通信会社に開放されているエリアがある．この形

題の分析に基づくコアネットワーク，RAN およびエンドツ

態を電気通信の「民主化」とし，この民主化を発展させるこーエンドネットワーク展開のオプションについての発表とで 6G への持続可能な通信のインフラストラクチャ構築の（優秀論文賞：Tarbiat Modares 大学，イラン）．

展開を示した．この講演では特に多くの質問やコメントが寄（2）高度なモバイルブロードバンド（eMBB）と，同一サー

せられた．

ビスセル内で共存並びに干渉する可能性のある超高信頼，(4)『Industrial transformation and the digital revolution』と題して，IEEE IoT Initiative, 会長の Adam Drobot 氏（UK）から，デジタル化の採用の鍵となる管理，組織および協調構造につ

低遅延通信（URLLC）の両方をサポートする柔軟な多重化メカニズムについての発表（優秀論文賞：ZTE，中国）．
（3）URLLC アプリケーション向け 3GPP システム開発の概いて述べられた．注目すべき技術分野として，最適化手法，

要を示し，主に遅延とジッターの削減および信頼性と伝送モデリングおよびシミュレーションで構成される計算分析

効率の向上に焦点をあて，産業用 IoT とデジタルツインが（CA），機械学習を含む人工知能を用いたデータサイエンス強化された主要技術の分析についての発表（ZTE，中国）．

とデータエンジニアリング等があげられた．

3.4 セッション 4：『日常生活におけるデジタルトラン
スフォーメーション』

3．発表論文本セッションでは以下の 2 件の論文が発表された．

採択された論文は以下の 8 つの小テーマに分類して発表され，その他に IEEE TEMS 紹介のセッションが加えられた．

（1）ハイパーリンク，メタデータ，顔文字などの非テキスト

3.1 セッション 1：『デジタルトランスフォーメーションへの道』

コンポーネントから抽出したテキストを分析し，機械学習技術を使用しソーシャルメディアのプライベートメッセン
ジャーの意図を抽出する手法についての発表（Moratuwa 大

本セッションでは以下の 3 件の論文が発表された．

学， スリランカ）．

（1）デジタル化，デジタルトランスフォーメーション，デジ（2）物理インフラストラクチャの建設現場の管理に使用でき

タルミューテーション，デジタルメタモルフォーゼの概要

るデジタルプロセスプラットフォームについて述べている．

とその導入，再構築のプロセスについての発表（Bangkok

このプラットフォームでは，異種エンティティ（企業や材大学， タイ）．

料など）と相互接続されたプロセスチェーン（輸送，材料（2）
インターネットプラットフォームの典型的な使用例とし

処理，品質保証など）の対応についての発表（RWTH アーて WeChat の紹介と中国のデジタル経済と雇用の影響につヘン大学，ドイツ）．

いての発表 (CAICT，中国)．

3.5 セッション 5：『拡張現実と観光』（3）COVID-19 の発生地域の課題および 5G システムのアプ

本セッションでは以下の 2 件の論文が発表された．

リケーションが患者の予防と管理の段階でどのように役(1)自然保護の観点から没入感の高い仮想ツアーの発表（西ケ立つかを示し，ICT を医療および健康の革新と統合するたープ大学，南アフリカ）．

め の 包括的なセ ッ トを 確立す る こと につい ての発表

(2)ツアーガイドが不足している観点からセルフガイドツア(CAICT，中国)．

ーが可能な AR を利用した仮想ツアーの設計と体験向上を

3.2 セッション 2：『デジタルトランスフォーメーションの設計原則，アーキテクチャ，プロトコル』

目指した発表（西ケープ大学，南アフリカ）．

3.6 セッション 6：『農業における没入型テクノロジー』

本セッションでは以下の 2 件の論文が発表された．
（1）
ワイヤレスアップリンクを介して分散型デバイスからネ

294The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

本セッションでは以下の 2 件の論文が発表された．
（1）
農業における没入型インタラクティブ技術の応用の分析についての発表（西ケープ大学，南アフリカ）．
（2）
ワイン農園における没入型テクノロジーのユースケースのコンポーネントについての発表（西ケープ大学，南アフ
リカ）．

3.7 セッション 7：『AI，機械学習，デジタルトランス
フォーメーション』
本セッションでは以下の 3 件の論文が発表された．
（1）W 帯域(75〜110 GHz）を使用して，人口密集地にある
未確認のオブジェクトを自動検出するための AI ベースの方法によるシステムアーキテクチャおよび評価についての発表（優秀論文賞：早稲田大学，日本）．
（2）様々なプラットフォームが共存し，高度なモビリティと図 2 最優秀論文賞授賞

階層レイアウトを有するネットワークにおけるハンドオ
ーバーの設計についての発表である．シグナリングのオーのパネラーのうち汎米保健機構（PAHO）/世界保健機関

バーヘッドを削減しサービスの継続性を向上させるには（WHO）のセバスチャン・ガルシアサイソ局長が公衆衛生に

ハンドオーバー戦略の最適化が必要であり，AI による最適

おけるデジタルトランスフォーメーションについて紹介し，解を求め，信号強度によりハンドオーバー数を決定できる

COVID-19 後の時代における医療システムの強化と人々のケ方法についての発表（優秀論文賞：ZTE，中国）．
（3）単一画像の超解像を達成するためのフレームワークで，関連する方法と比較したパフォーマンス評価結果についアの新しいパラダイムの重要性について述べた．また，キングアブドゥッラー科学技術大学（KAUST，サウジアラビア）のモハメドスリムアローニ氏が 6G はパンデミックにどのよての発表（ZTE Microelectronics Research Institute, 中国）．

うに対応できるかについて論じ，カタルーニャ工科大学（ス

3.8 セッション 8：『産業用アプリケーションのセキュ
リティ』ペイン）のホルヘガルシアヴィダル氏は欧州のデジタルコン
タクトトレーシングアプリケーションの相互運用性について

本セッションでは以下の 2 件の論文が発表された．

紹介した．その後パネル討論・質疑応答が行われた．

（1）暗号化されたトラフィックパケットの識別に NLP 関連

5．表彰式と閉会式の表現学習方法を適用する，ディープラーニングベースのアプローチに関する発表（ZTE，中国）．

今回の国際会議では，18 ヵ国から 42 件のオリジナル研究（2）
深層学習を使用して人間が実行した行動をキャプチャし， 論文の投稿があり，その大部分は学術機関であった．カレイ
人間の行動を認識する視覚的行動認識システムアーキテ
ドスコープ運営委員会（SC）および技術プログラム委員会
クチャについての発表．実験結果は，提案システムが行動（TPC）によって審査された結果，5 件の論文が表彰候補に認識において 95.6％の精度を達成したことを示しており，．

なり，発表者のプレゼンパフォーマンスの評価も加えて，最本システムは ITU-T F.743 を満たしている．
（Anna 大学，

終的に 4 論文が選ばれた．国際会議最終日に ITU-T TSB

MITCampus，インド）

Chaesub Lee 局長より今回のリモートでの国際会議の総括と優秀論文受賞者の表彰および若手著者に認定証の授与式が行

3.9 IEEE TEMS (技術工学経営学会)セッション

われ，5 日間の日程が終了した．表 1 に優秀論文リスト，図 2IEEE TEMS 理事会委員の Gustavo Giannattasio 氏（ウルグアに最優秀論文賞の授賞シーンを掲げる．

イ）から，産業用データの高度な分析を行い有効活用して，システムの効率と予見を図るインダストリー4.0 マネージメ

6．あとがきントの紹介があった．

第 12 回カレイドスコープ国際会議は，当初ベトナムハノ

4．特別パネル討論

イの ITU Telecom World 2020 に併設した同時開催を計画していたが世界的な流行を見せた新型コロナウイルスの感染拡大

電気通信標準化局副局長 Reinhard Scholl 氏がモディレータ

によりリモートによる仮想国際会議となった．カレイドスコとなり『将来のパンデミックにおける ICT の役割』と題して，

ープ国際会議としては初めての経験であり，多くのスピーカ

パネル討論が行われた．まずモディレータから COVID-19 にが登場したが，大きな遅延もなく予定通りプログラム 2)が進関連する ITU のイニシアチブ活動の状況が紹介された．3 名

295

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

参考文献

行し，5 日間，連日 3 時間余の開催で終了した．
リモート会議は物理的な移動がなく，インターネットを介

1)

して自宅や職場から参加できることから専門家の招聘，聴講松本充司：“第 5 回 ITU カレイドスコープ 2013 学術会議
報告”, 画像電子学会誌 Vol.42, No.4, pp.518—523 (2013).

が容易であった．使用言語は英語のみであったがキャプショ
2)ン（リアルタイムテキスト）が採用されたので，聴覚障がいhttps://www.itu.int/en/publications/Documents/tsb/2020-ITUKaleidoscope/index.html#p=237.

者（Hard of Hearing）の方々にも参加が有効であった．
今回はアジア圏からの論文投稿および採択が目立った．特3)に優秀論文賞の受賞はアジアパシフィック圏のみであり，今https://www.itu.int/en/ITU-T/academia/kaleidoscope/2021/Pa
ges/

後，よりグローバルな論文投稿が期待される．日本からの発表は今回も優秀論文に選ばれ，毎回入賞となっている．カレ
イドスコープは国際機関電気通信連合のアカデミアの取り組（名誉会員）
松本 充司
1970 年 日本電信電話公社入社，電気通信研究所勤務，1996 年 早稲田大学国際情報通信研究センター勤務，光無線通信工学（OWC)の研究に従事，2015 年 同大学理工総研名誉研究員
現在に至る．ITU-D 電気通信開発部門 Q7/1 ア
クセシビリティ副ラポータ，本学会名誉会員，
IEEE-Senior Member，MIET，工博

みの一環である．参加費も論文投稿も無料であり，経済負担なく国際の場で学術論文の発表できる機会として，若手研究者にとっては大変貴重な場であるといえる．なお，カレイド
スコープ 2021 は 12 月 6‐10 日オンラインでの実施が予定されている．テーマは Connecting physical and virtual worlds で本学会に関連が深いテーマである（論文締め切りは 6 月 27 日 3)）．

表 1 優秀論文受賞者
表彰

著 者

論文名

First best paper

Ved P. Kafle and Abu Hena Al Muktadir (NICT，Japan)

Second best paper

Yutaka Katsuyama, Keping Yu, San Hlaing Myint, Toshio Sato,
Zheng Wen and Xin Qi（Waseda University，Japan）

Third best papers

Abolfazl Zakeri, Narges Gholipoor, Mohsen Tajallifar and Sina
Ebrahimi (Tarbiat Modares University, Iran); Mohammad Reza
Javan, Shahrood (University of Technology, Iran); Nader Mokari
and Ahmad R. Sharafat (Tarbiat Modares University, Iran)Kai Xiao and Xing Liu (ZTE Corporation and State Key
Laboratory of Mobile Network and Mobile Multimedia, China);
Xianghui Han, Peng Hao, Junfeng Zhang, Dong Zhou andXingguang Wei (ZTE Corporation, China)

296

Automation of computational resource
control of cyber-physical systems withmachine learning
AI-based W-band suspicious object detection
system for moving persons using GAN:
Solutions, performance evaluation andstandardization activities
Digital transformation via 5G: Deployment
plans

Flexible multiplexing mechanism forcoexistence of URLLC and eMBB services in
5G networks

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

2020 年度画像電子学会年次大会報告
吉田 典正†（年次大会実行委員長）†日本大学

Report of IIEEJ Annual Conference 2020
Norimasa YOSHIDA†(Chair, IIEEJ Annual Conference)†Nihon University
に関してノーベル物理学賞を受賞したこともあり，タイムリ

1. はじめにーかつ大変興味深い講演内容であった．例年行われてきたイ

2020 年度の画像電子学会年次大会（Visual/Media Computing

ンターンシップ相談コーナー，企業展示，技術賞の展示，懇Conference 2020）は，コロナ禍のため，半年遅れでオンライ

親会などは，残念ながらコロナの影響で実施することができンで開催された．本報告では年次大会の概要，コロナ禍によなかった．表彰式も Zoom で行い，表彰状は事前に発送してる延期及びオンライン開催に至るまでの経緯，年次大会の分おき，受賞者には一言感想を述べて頂く形式で行った．図 1

析，さらに今後の年次大会に向けての課題等を報告する．

に表彰式でのギャレリービューを，表 1 に各種実績を示す．

2. 2020 年度 年次大会概要

また参考のため前年度の実績を表 2 に示す．なお，年次大会

2020 年度の第 48 回画像電子学会年次大会（Visual/Media

の発表内容に基づく学会誌論文を例年通り「年次大会ショー
トペーパー特集」で募集している．

Computing Conference 2020）は，公益財団法人 画像情報教育振興協会（CG-ARTS）の特別後援，日本画像学会，日本写真年次大会の実行体制は以下のとおりである（敬称略）．実学会，日本印刷学会の協賛を得て，2020 年 12 月 2 日（水）行委員長：吉田 典正；実行副委員長：藤代 一成（VC）；プ～4 日（金）にオンラインで開催された．例年通り Visual

ログラム委員長：安藤 慎吾，向井 智彦（VC）；プログラムComputing （VC2020）とも併催した．

副委員長：児玉 明；オーガナイズドセッション担当：小野文

本大会のテーマは，「今日も画像電子技術の一日なり」と

孝, 柿本正憲；大会サポート担当 斎藤・北研究室（東京農した．このテーマは，当初の開催予定場所が慶應義塾大学の工大学），田中研究室（信州大学），吉田研究室（日本大学），

来往舎であったことから福沢諭吉翁の「今日も生涯の一日な

杉浦 裕太（VC）．ホームページ制作および予稿集制作は事務

り」にちなんだものであり，コロナ禍の下でも画像電子技術

局に担当頂いた．

の研究を一日一日しっかりと進めて頂きたいという願いを込

3．オンライン開催までの経緯

め，オンライン開催となってもこのテーマを引き継いだ．

2020 年度の年次大会は，当初 2020 年 6 月 25 日（木）～6

年次大会の発表件数は，一般セッション 6 件，学生セッシ

月 27 日（土）に慶應義塾大学の来往舎で開催の予定であった

ョン 9 件，学生ポスター4 件，インターンセッション 4 件，

が，コロナ禍により対面での実施ができないことになり，5

企画セッション 26 件，オーガナイズドセッション 10 件，特月の委員会で（対面での開催への期待もあり）12 月に延期と別講演 2 件（1 件は VC），追悼セッション 1 件であった．企した．対面での開催は可能か，オンラインと対面の併用とす

画セッションの内訳は，AIM/SDP/DRC 研究会で 17 件（8 件

るか，オンラインの場合にはどのような形態で開催すべきな+9 件の 2 セッション），DSG/MUS 研究会で 5 件，VMA 研究のかなどを，田中会長，藤代実行副委員長（VC 運営委員長）

会で 4 件であり，オーガナイズドセッションは 2 テーマで「画

及び向井 VC プログラム委員長などとともに慎重に検討を進像符号化の新たな潮流」（SIC 研究会）4 件，「マルチスペク

めるなかで，6 月には，会員の方々を対象に，年次大会で，

トル画像技術」（企画委員会）6 件であった．インターンセッ
ションは，
年次大会とは別の企画での開催を計画していたが，コロナ禍で開催ができなくなってしまったため，年次大会の対面とオンラインのどちらを希望するかのアンケートを実施
した．対面式でもオンラインでも参加予定が約 61%，オンラ
インであれば参加予定が約 26%であり，どちらかというとオ一部として開催した．

ンラインが優勢な結果となった（回答数 23）．

特別講演 I は 12 月 3 日で Cem Yuksel 氏（ユタ大学）によ

7 月後半から 8 月初めにかけて，コロナの収束が見えないる「Simplifying Complexity in Computer Graphics」であった．

ことから，オンライン開催とすることを決定し，どのような特別講演 II は， 12 月 4 日に国立天文台 水沢 VLBI 観測所の形態でどのように実行するかについての検討を開始した．オ

田崎文得氏に「ブラックホール画像化 －EHT プロジェクト

ンラインで開催するに当たって筆者が考えたことは，第一に，による史上初の成果－」というテーマで講演をして頂いた．

無事に年次大会を開催すること，そして（可能であれば）オ

2020 年に，ロジャー・ペンローズ氏がブラックホールの形成

297

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

ンラインで希薄になるであろう研究者同士のコミュニケーシ

度も静止画符号化標準化（SIC）研究会による「画像符号化

ョンの「場」を設けることであった．口頭発表についてはの新たな潮流」と，企画委員会の「マルチスペクトル画像技

Zoom によるリアルタイムの研究発表と，YouTube を利用し術」の 2 件であった．企画セッションは、昨年度と比較するて参加者がいつでも視聴可能なオンデマンドの２つの選択肢と発表件数は半数近くに減少したが、
過去 10 年を見てみるとを用意した．オンラインにすることは（インターネットに繋

標準的な数であると思われる．

がっていればどこからでも参加できるので），「位置の制約」2020 年度の年次大会の総参加者数は 499 名で，過去 10 年から解放されるが，さらにオンデマンドにすることによって間の中で最大であった．参加者数が最大となった要因として「時間の制約」からも解放されるからである．ポスター発表

は，オンラインであったこと，関係者（理事や VC 委員など）

については VC2020 と共通の Remo というシステムを利用すの指導学生を無料としたことが考えらえる．一方で，有料参ることとした．オンデマンドの質疑には，Slack というシステ

加者の人数は減少しており，今後さらに増やしていくことがムを利用した．コミュニケーションの「場」としては，Gather

望ましい．

Town1) の利用を検討したが，安定性に関する懸念などから，

5．むすび

年次大会での利用は断念した．
Zoom の URL，Slack のアドレスなどは，オンラインのプロ

2020 年度の年次大会は，コロナ禍のもと，学会初のオンラグラム(HTML)に記載した．学生アルバイトは，1 セッション

イン開催となり，どのようなシステムを用いてどのように開に，異なる大学から 2 名ついてもらい，1 名にタイマー画像

催するかを検討するところに大きな力を割くこととなった．

を表示してもらい発表者が時間を確認できるようにし，ベル

終わってみると，オンライン開催は，位置の制約，さらにはは手動で鳴らしてもらった．

時間の制約からも解放されるというメリットがあるものの，やはり対面の良さも再認識される結果となった．

4．2020 年度年次大会の分析

オンラインのメリットもあり，年次大会としては，（少な2020 年度の年次大会の分析にあたって，まず重要なことは， くとも過去 10 年では）最大の参加者数を記録したが，有料参オンラインでの実施に対する評価であろう．オンラインでの加者が減少しているという問題もある．研究者達が集まりた

トラブル対応用に専用の mail アドレスを設定したが，接続ないと思うような魅力的な年次大会になるよう，様々な取り組

どのトラブル相談は 1 件もなかった．口頭発表については，みを検討していくことが大切だと考える．

Zoom とオンデマンド(YouTube を利用)としたが，オンデマン
ドを希望した方は 4 件と多くはなかった．また，オンデマン

参考文献
1)

ドでは質疑に Slack を利用したが，活用度はセッションによhttps://gather.town (2021).

って様々であった．もっと積極的に Slack に質問などを書き
吉田 典正

込むよう，座長や関係者の方にお願いをしておくべきであっ（正会員）
1997 年博士（工学）早稲田大学．1997
年 東京農工大学助手．2003 年 日本大学生産工学部専任講師．2005 年 同准教授．2009 年～2010 年 米国ブリガムヤン
グ大学客員研究准教授．2012 年 日本大学生産工学部教授．現在に至る．形状処理，特に曲線曲面に関する研究に従事．

たと思う．年次大会のポスター発表については，発表件数も参加者も多くはなかったが（Remo を使い慣れていない方が多かったのも一因かもしれないが），口頭発表ではできない密な議論ができていたと思う．
2017 年から開始されたオーガナイズドセッションは，今年

図 1 表彰式でのギャレリービュー

298

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

表1

第 48 回（2020 年）年次大会実績

発表形式件数オンライン （口頭発表は Zoom，ポスター発表は Remo を利用）
2020 年 12 月 2 日(水)・3(木)・4 日(金)「今日も画像電子技術の一日なり」（「今日も生涯の一日なり」福沢諭吉）
特別講演/一般/学生/オーガナイズド/企画セッションはシリアルに実施、ポスターセッション・インターンセッショ
ンは VC と合同で実施
1.(3 日）「Simplifying Complexity in Computer Graphics」 Cem Yuksel 氏（ユタ大学）
2.(4 日）ブラックホール画像化 －EHT プロジェクトによる史上初の成果－ 田崎 文得 氏（国立天文台 水沢 VLBI観測所）
総発表件数：163 件（VC2020 を含む）
一般セッション
6 件(20 分講演)
学生口頭セッション 9 件(15 分講演)
学生ポスター 4 件，インターンセッション（ポスター）4 件 （→VC ポスターと合同実施）
企画セッション
26 件(約 20 分講演) AIM，SDP，DRC，DSG，MUS，VMA 各研究会
オーガナイズドセッション 10 件 (20～25 分講演）SIC 研究会「画像符号化の新たな潮流」
企画委員会「マルチスペクトル画像技術」
特別講演 2 件（内 1 件は VC 特別講演）(60 分講演)
追悼セッション
1 件(30 分)
VC2020 108 件（口頭発表 36 件， ポスター49 件，相対+企業招待及びスポンサー講演 20 件）

参加者数

総参加者数 499 名（有料参加者数 212 名）

場所

早稲田大学国際会議場

日程2019 年 6 月 27 日(木)・28 日(金)・29 日(土)テーマ

社会インフラ・生活インフラとして浸透した画像技術

セッション構成

特別講演，一般/学生/オーガナイズドセッションはシリアル，企画セッションはパラレルにも実施，学生ポスターセッションは VC と合同で実施

特別講演

1.(28 日）「脳と AI と絵画-北斎の「大波」と脳の記憶構造-」 塚田 稔 氏（玉川大学脳科学研究所）
2.(29 日）「『チコちゃんに叱られる! 』を支える CG 技術」 林 伸彦 氏 (株式会社 NHK アート総合美術センター)<VC 特別講演(27 日）「アニメーション映画制作における深層学習の応用 〜『あした世界が終わるとしても』〜」米辻 泰山 氏, 松岡 徹 氏 (株式会社 Preferred Networks)>
総発表件数：163 件
一般セッション
9 件(20 分講演)
学生口頭セッション 8 件(15 分講演) 学生ポスター 2 件（→VC ポスターと合同実施）
企画セッション
47 件(約 20 分講演) DSG 研究会，VMA 研究会，VHIS 研究会，AIM 研究会
オーガナイズドセッション 11 件 (20 分講演）SIC 研究会「XR(VR/AR/MR)の世界と画像符号化」
企画委員会「マルチスペクトル画像技術の展開」
特別講演
2 件＋VC 特別 1 件(60 分講演)
VC2019 総件数 86 件（口頭発表 14 件， ポスター52 件，招待+企業招待講演 17 件）

場所
日程
テーマ
セッション構成
特別講演

表2

発表形式件数第 47 回 （2019 年）年次大会実績（参考）総参加者数 419 名（有料参加者数 309 名）

参加者数

表3
総参加
者数

最近の年次大会実績
VC
講演件数

VC ポス
ター件数

VC 招待
講演件数

29

20

30

1

28

21

26

2

26

23

30

2

21

22

30

4

36

23

27

28

5

19

25

19

17

7

9

19

39

18

26

6

11

17

24

22

23

9

一般講
演件数

学生発
表件数

OS
講演件数

年度
2010

神奈川

191

372

15

30

2011

島根

198

238

17

38

2012

東京

264

387

26

51

2013

青森

203

231

28

32

2014

東京

240

336

17

2015

姫路

142

186

11

2016

東京

202

324

2017

東京

332

382

2018

山形

189

241

13

15

6

23

20

30

21

2019

東京
オンラ
イン

309

419

9

10

47

11

14

52

12+5

212

499

6

13

26

10

36

49

15+2

2020

有料参
加者数

企画 S
講演件数

開催
場所

299

6

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

Visual Computing 2020 開催報告
向井 智彦†（Visual Computing 2020 プログラム委員長）†東京都立大学

Report of Visual Computing 2020
Tomohiko MUKAI†(Program Chair, Visual Computing 2020)†Tokyo Metropolitan Universityの大きな関心を集めた．

1. はじめに論文プログラムは，計 30 名のプログラム委員による査読

Visual Computing 2020（VC2020）は，2020 年 12 月 2 日(水)から 4 日(金)までオンライン開催された．
Visual Computing は，CG 技術に関わる先端的な学術研究成果や，その制作現場へを経て採択された 11 件のロング発表と，22 件のショート発表で構成された．その中からプログラム委員による第一次審
査（論文の評価）と第二次投票（登壇発表と論文の総合評価）の還元について産学の垣根を超えて議論する場として，当学を経て，VC 論文賞「セルアニメ作品の 3 次元的な矛盾に着会「ビジュアルコンピューティング研究会」，情報処理学会「コンピュータグラフィックスとビジュアル情報学研究会」，
映像情報メディア学会「映像表現＆コンピュータグラフィッ

目した 2.5D モデルの一検討」（福里 司 (東京大学)，前島 謙
宣 (株式会社オー・エル・エム・デジタル/株式会社 IMAGICAGROUP)）と VC ショート発表賞「動画生成のための 3 次元

クス研究委員会」による主催，及び CG-ARTS による特別後顔変形モデル」（楊 興超，山口 光太（株式会社サイバーエー

援のもとで開催されている．28 回目を迎えた今回は，1993

ジェント AI Lab）
，齋藤 隼介（南カリフォルニア大学））が年の初開催以降最多となる約 500 名の技術者，研究者，クリそれぞれ選出された．

エイター，学生が参加し，最新の研究成果に関する論文発表

VC2020 の新しい試みの一環である応用論文発表では，株やポスター発表，企業出展などの企画が催された．

式会社デジタル・フロンティアの後藤 浩之氏らによる「Hair2. Visual Computing 2020 セッション概要

for Digital Human: 不気味の谷を越えるために」，奈良先端科VC2020 は，運営委員長：藤代 一成，運営副委員長：森島学技術大学院大学の品川 政太朗氏らによる「セマンティック
セグメンテーションに基づくアニメ作品の自動彩色」，
華為技

繁生・土橋 宜典，プログラム委員長：向井 智彦，プログラ術日本株式会社の岩本 尚也氏らによる「3D LIVE MAKER:

ム副委員長：楽 詠灝という運営体制のもとで，表 1 および表

好きなキャラクタに命を吹き込むまで」の 3 件の応用論文が，2 に示すように，論文セッションにおける 11 件のロング発表

VC2020 委員会からの招待として執筆・発表された．各社にと 22 件のショート発表，3 件の応用論文発表，49 件のポスタ

おける製品開発における学術研究成果の応用をテーマとして，

ー発表，企業招待講演 2 件，特別協賛企業講演 3 件，

例えばインハウスツールや技術デモの開発において参照した

SIGGRAPH 2020 & SIGGRAPH ASIA 2020 招待講演 7 件，国研究例や，それらの実装結果と検証結果，実用化に向けて施際会議・国際学術誌招待講演 8 件という計 105 件の講演・発された現場での工夫などがまとめられた論文である．現場で表に加え，特別講演 2 件，追悼セッション 1 件が画像電子学の要求に即した学術研究成果を調査，選定する過程が，実際

会年次大会と合同で開催された．

の採用に至らなかった研究例も含めて紹介されるとともに，ユタ大学の Cem Yuksel 氏による「Simplifying Complexity in

実用に足る品質や性能を得るための拡張方法など，実践的なComputer Graphics」と題した海外からの特別講演 1 では，

話題がまとめられていた．

SIGGRAPH など著名な学術会議において Yuksel 氏が発表し招待講演セッションでは，世界的に著名な学術雑誌や国際た多数の研究成果のダイジェストが紹介された．講演の中で会議で発表された 15 件の研究成果に関する招待講演が行わは，精細かつ複雑な CG 映像を簡潔なアイデアや計算方法にれた．世界的最高峰の CG 会議である SIGGRAPH ASIA 2019

よって表現しようとする，Yuksel 氏の一貫した研究姿勢が示と SIGGRAPH 2020 で発表された論文を筆頭に，国際的もトされていた．国立天文台の田崎 文得氏による「ブラックホー

ップレベルと認知されている研究成果について日本語で聴講

ル画像化 －EHT プロジェクトによる史上初の成果－」と題できる数少ない機会であるとともに，著者自身から研究活動した特別講演 2 では，2019 年 4 月に国内外で大きな話題となにおける苦労話などを聞くことができる珍しい機会であった．

った，史上初のブラックホールの映像化に関わる様々な取組

ポスターセッションでは，表 3 に示すように，会期中の各が紹介された．最先端の望遠鏡システムや画像処理技術，統日において 10～20 件程度の発表が行われた．
オンラインコミ計分析手法の応用や，国際的プロジェクトチームの連携，そュニケーションツール Remo 上に用意された仮想ルーム内にして研究成果を一般社会に広報するための工夫など，参加者

300

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

発表者と聴講者が集い，萌芽的な研究内容について意見交換

聴講者から好意的な意見が寄せられるとともに，発表者からを行った．また，企業展示セッションも同一時間帯に開催さも，制作現場での試行結果を論文として発表することの利点

れ，各協賛企業の開発者や人事担当者と学生・教員が交流をを実感したとの反応が得られた．
運営全体の大きな反省点としては，懇親会をはじめとする深めることができた．

参加者間交流の機会を十分に提供できなかったことである．

3．VC2020 の分析

参加者有志による非公式オンライン交流会などが自発的に企

論文セッションについては，従来のロング発表に加えてシ画されていたが，今後もオンライン学会が開催される際には，

ョート発表を導入したことで，より幅広い内容の講演が行わ何らかの公式イベントや，あるいは会期中に気軽に雑談を交れた．発表内容に関する議論はポスターセッションでじっくわせるような仕掛けや支援について検討したい．

り行うという VC2018 からの方針を踏まえ，1 件あたりの講

4．おわりに演時間は短く限られたものであったが，発表後もチャット上
で活発な議論が行われていたことから，研究議論の観点ではVC2020 は当初予定から 6 ヵ月の開催延期，オンライン開有用な場として機能していたように見受けられる．

催への移行という異例の状況にも関わらず，過去最大の参加

一方，近年の傾向として論文投稿数は減少傾向にある．こ

登録者数，発表件数を達成した．今後も Visual Computing がうした背景には，
国内シンポジウムや研究会での議論を経ず，国内最高の研究発表の場としてさらなる魅力を増すよう，引直接トップ国際会議や学術誌に投稿するという若手から中堅

き続き各種施策の充実や改善に向けて検討したい．最後に，研究者の動向も一因であろう．しかし，査読付きシンポジウ

VC2020 に厚いご支援をいただいた株式会社サイバーエージ

ムにおける投稿件数の減少はプログラムの品質低下に繋がり

ェント，株式会社ポリフォニー・デジタル，株式会社フォーかねないため，Visual Computing が国内最高の研究発表の場

ラムエイト，株式会社デジタル・フロンティア，華為技術日として魅力を増すよう，引き続き様々な取り組みを検討した

本株式会社，株式会社スクウェア・エニックス，株式会社い．

IMAGICA GROUP，株式会社ポリゴン・ピクチュアズには，

ポスターセッションは予稿なしで発表申し込みできるこ

この場を借りて御礼申し上げる．VC2020 での新しい挑戦やとから，卒業研究や修士研究の萌芽段階でも議論できる気軽

充実した企画，オンラインシステムの拡充を図られたのはスな場として活用されている．分野の裾野を拡げるという学会

ポンサーの支援によるところである．こうした支援に見合うの一機能として，また発表者の増加にも繋がる有用な施策で価値をさらに発信できるよう，学術会・産業会の両方に研究あることから，今後も引き続き同様の形式での実施を予定し成果を広く周知できる場として，研究者にとっても魅力的なている．ただし発表件数の増加に伴って聴講者が分散する傾シンポジウムとしていきたい．

向にあることから，各発表について十分に議論できないという意見も寄せられている．抜本的な解決が難しい課題ではあ向井 智彦

るが，より良い実施形態を検討したい．

2006 年 豊橋技術科学大学大学院博士後期課程修了，博士(工学)．豊橋技術科学大学情報工学系助教，株式会社スクウェア・エニッ
クス主席研究員，東海大学情報通信学部准教授を経て，2018 年 東京都立大学システムデザイン学部准教授，現在に至る．コンピュー
タグラフィックス，コンピュテーショナルデ
ザインに関する研究に従事．

各種招待講演については，例年通り概ね好評であった．企
業招待講演，スポンサー講演，国際会議招待講演のいずれにおいても多くの聴講者が参加していた．国内の産業動向や難関会議における国内研究者の活躍を紹介する場として，今後も継続されるものと考えている．また，応用論文に関しても
表1

Visual Computing 2020 実績

発表形式件数オンライン
2020 年 12 月 2 日（水）・3 日（木）・4 日（金）特別講演 / 論文（ロング・ショート・応用） / 招待講演 / ポスター / 追悼セッション
1. (3 日）「Simplifying Complexity in Computer Graphics」 Cem Yuksel 氏（ユタ大学）
2. (4 日）ブラックホール画像化 －EHT プロジェクトによる史上初の成果－
田崎 文得 氏（国立天文台 水沢 VLBI 観測所）
総発表件数：108 件
論文発表
36 件（ロング 11 件, ショート 22 件，応用論文 3 件）
ポスター発表49 件
招待講演15 件（SIGGRAPH 2019・SIGGRAPH ASIA 2019 招待 ７件，国際会議・学術誌招待 8 件）
企業招待講演2件
スポンサー講演3件
特別講演 2 件
追悼セッション 1 件

参加者数

総参加者数 499 名（有料参加者数 212 名）

場所
日程
セッション構成
特別講演

301

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

表2

Visual Computing 2020 プログラム

12 月 2 日（水）論文セッション 1 (レンダリング)[1]毛のレンダリングのための効率的な重点的サンプリング (long)*芝池 祐星 (和歌山大学), 岩崎 慶 (和歌山大学 / プロメテック CG リサーチ)[2] 氷のスペクトラルレンダリング (short)*井上 智皓 (東京工科大学大学院), 柿本 正憲 (東京工科大学 / プロメテック CG リサーチ), 戀津 魁 (東京工科大学)[3] メニスカスレンズ付加による広角での周辺湾曲を表現した CG 画像の生成 (short)*馬場 雅志, 藤木 陽太, 古川 亮, 宮崎 大輔 (広島市立大学)[4] 大域照明を考慮した人物全身のディジタル画像コンポジット (short)*大河原 将, 藤代 一成 (慶應義塾大学)
論文セッション 2（シミュレーション）[5] 局所二次形式近似による 2 次元 CG 流体渦場の幾何学特徴の抽出 (long)*丸山 哲 (九州大学大学院芸術工学府), 鶴野 玲治 (九州大学大学院芸術工学研究院)[6] GPU Smoke Simulation with Adaptive DCT Compression (long)*Daichi Ishida, Shigeo Morishima (Waseda University), Ryoichi Ando (National Institute of Informatics)[7] 位置ベース法を用いたクレーター地形生成に関する研究 (short)*池畑 開斗, 藤澤 誠, 三河 正彦 (筑波大学)[8] Hair for Digital Human: 不気味の谷を越えるために(応用論文)*後藤 浩之, 福田 啓 (Digital Frontier Inc.)
中前先生追悼セッション挨拶：藤代 一成（慶應義塾大学/VC2020 委員長）
モデレータ：土橋 宜典（北海道大学）
パネリスト：西田 友是（プロメテック CG リサーチ）, 金田 和文（広島大学）, 多田村 克己（山口大学）
企業招待講演 1：岩澤 駿 氏(スタジオジブリ)「研究の成果を現場で生かす ～アニメ表現を彩る CG エフェクト～」岩澤 駿 (スタジオジブリ)
企業招待講演 2：髙橋 誠史 氏(バンダイナムコ研究所)「デジタルエンターテイメント，ゲーム開発企業の研究開発プロジェクトとは ～アカデミックな知見の活用とアカデミックとの違い～」
髙橋 誠史 (バンダイナムコ研究所)
ポスター1＆企業セッション
国際論文誌・学会採択論文招待セッション[9] Interactive Video Completion (CG&A 2019)*岡部 誠, 野田 啓太 (静岡大学), 土橋 宜典 (北海道大学), 安生 健一 (OLM Digital, Inc. / CMIC, Victoria University of Wellington[10] Sketch2VF: 条件付きの敵対的生成ネットワークを用いたスケッチベースの流体アニメーション制作 (CASA 2019 Best Paper Nominee)
胡 鐘元 (東京大学), 謝 浩然 (北陸先端科学技術大学院大学), *福里 司, 佐藤 雄大, 五十嵐 健夫 (東京大学)[11] 視覚的ビジビリティメトリックを用いた最適テクスチャ解像度の決定方法 (PG 2019)
Krzysztof Wolski (MPI Informatik), Daniele Giunchi (University College London), *Shinichi Kinuwaki (Unaffiliated), Piotr Didyk (Universita dellaSvizzera italiana), Karol Myszkowski (MPI Informatik), Anthony Steed (Universita della Svizzera italiana), Rafal Mantiuk (University of Cambridge)[12] Asynchronous Eulerian Liquid Simulation (EG 2020)*小池 達也, 森島 繁生(早稲田大学), 安東 遼一(国立情報学研究所)[13] The Sprawlter Graph Readability Metric: Combining Sprawl and Area-aware Clutter (PacificVis 2020 Honorable Mention Award)
Zipeng Liu (University of British Columbia), *Takayuki Itoh (Ochanomizu University), Jessica Dawson, Tamara Munzner(University of British
Columbia)[14] TimeTubesX: A Query-Driven Visual Exploration of Observable, Photometric, and Polarimetric Behaviors of Blazars (TVCG 2020)*澤田 奈生子 (慶應義塾大学), 植村 誠 (広島大学), Johanna Beyer, Hanspeter Pfister (ハーバード大学),
藤代 一成 (慶應義塾大学)[15] Visual Simulation of Weathering Coated Metallic Objects (CGI 2020)*石飛 晶啓, 中山 雅紀 (慶應義塾大学), 藤代 一成 (慶應義塾大学, 杭州電子科技大学)[16] Colorization of Line Drawings with Empty Pupils (PG 2020)*秋田 健太, 森本 有紀, 鶴野 玲治 (九州大学)
12 月 3 日(木)論文セッション 3 (深度合成と視覚)[17] 多視点ブラケット撮影による深度合成手法および評価用データセットの構築 (long)*邱 雨澄 (芝浦工業大学), 小檜山 賢二, 田中 浩也 (慶應義塾大学), 井尻 敬 (芝浦工業大学)[18] Estimating Depth from Indoor Line Drawings (short)*Sergey Pavlov, Yoshihiro Kanamori, Yuki Endo (University of Tsukuba)[19] 周辺視野のコントラスト感度関数を用いた知覚感度低下の可視化手法 (short)*伊藤 謙吾, 齋藤 豪 (東京工業大学)[20] 最適化を利用した二色覚補償のための高速色変換技術 (short)*Zhenyang Zhu, Xinyi Wang (University of Yamanashi), Xiaodiao Chen (Hangzhou Dianzi University), Masahiro Toyoura, Xiaoyang Mao (University
of Yamanashi)
論文セッション 4 (XR とデザイン)[21] OptWedge: 認知コストを用いたディスプレイ領域外への位置誘導 (long)*宮川 翔貴, 木村 勝 (三菱電機株式会社)[22] 画像認識を用いて自己位置推定を行うスマートフォンによるインサイドアウト方式の AR/VRHMD 用コントローラシステムの302

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

提案 (short)*服部 圭介, 平井 辰徳 (駒澤大学)[23] 模様の連続性を担保した包装紙デザインの自動生成 (short)*菅原 万梨夏, 田村 崚, 北 直樹, 斎藤 隆文 (東京農工大学)[24] 時代背景に基づく和服キャラクターデザイン支援手法 (short)井上 華織 (東京工科大学), *鶴田 直也 (東洋大学), 早川 大地 (東京工科大学), 茂木 龍太 (東京都立大学),
近藤 邦雄 (東京工科大学)[25] モアレを用いた多彩な動き生成 (short)*安部 龍馬, 北 直樹, 斎藤 隆文(東京農工大学)
論文セッション 5（アニメ・イラスト）[26] セルアニメ作品の三次元的な矛盾に着目した 2.5D モデルの一検討 (long)*福里 司 (東京大学), 前島 謙宣 (OLM Digital, Inc. / IMAGICA GROUP, Inc.)[27] 奥行方向への移動に対する非写実的なパースのインタラクティブな設計手法 (long)*折登 樹, 楊 溪, 中島 一崇, 福里 司, 五十嵐 健夫 (東京大学)[28] ラフスケッチからの線画生成における線幅の自動付与 (short)*柴田 崚平, 中島 一崇, 福里 司, 五十嵐 健夫 (東京大学)[29] 手描き原画間の線の対応関係決定手法の改良と評価 (short)*岡田 大樹, 阮 念武, 齋藤 豪 (東京工業大学)[30] グラフィックデザインのためのセマンティクスを考慮したスマートな色候補生成と着色インターフェースの提案 (short)*玉置 尚吾, 北 直樹, 斎藤 隆文 (東京農工大学)[31] セマンティックセグメンテーションに基づくアニメ作品の自動彩色 (応用論文)*品川 政太朗 (奈良先端科学技術大学院大学), 久保 尋之 (東海大学), 石井 大地 (奈良先端科学技術大学院大学),
前島 謙宣 (OLM Digital, Inc. / IMAGICA GROUP, Inc.), 舩冨 卓哉, 中村 哲, 向川 康博 (奈良先端科学技術大学院大学)
特別講演 1：Cem Yuksel 氏（ユタ大学）
座長: 藤代 一成 (慶應義塾大学/VC2020 委員長)
「Simplifying Complexity in Computer Graphics」
Cem Yuksel (the University of Utah)
協賛企業招待講演（ポリフォニー・デジタル／フォーラムエイト／サイバーエージェント）
ポスター2＆企業セッション
12 月 4 日(金)論文セッション 6(顔)[32] スケルトンジョイントの個別制御による顔形状バリエーション合成 (long)厳 亦斌, *向井 智彦 (東京都立大学)[33] 顔の美しさに関する黄金比に基づく顔画像の生成 (short)*彭 然, 井上 光平, 原 健二 (九州大学)[34] 動画生成のための三次元顔変形モデル (short)*Xingchao Yang, Kota Yamaguchi (CyberAgent, Inc.), Shunsuke Saito (University of Southern California)[35] Style Controllable Facial Animation Synthesis from Singing Audio (short)*Shohei Iwase (Waseda University), Takuya Kato (ExaWizards Inc. / Waseda University), Shugo Yamaguchi, Yukitaka Tsuchiya, Shigeo Morishima(Waseda University)[36] Class-Discriminative Feature Group and its Visualization (short)*Rui Shi, Tianxing Li, Yasushi Yamaguchi (Graduate School of Arts and Sciences, The University of Tokyo)
論文セッション 7(Motion と動画)
[37] 注意機構を用いた身振り動作のスタイル変換 (long)*栗山 繁 (豊橋技術科学大学)[38] 3 次元 SRT 変換の例示ベース連動制御 (long)*向井 智彦 (東京都立大学)[39] SiamMask を用いた動画修復とマスク生成への応用 (short)*坪田 颯生, 岡部 誠 (静岡大学), 工藤 隆朗 (株式会社 IMAGICA GROUP), 由良 俊樹, 本間 祐作 (株式会社 IMAGICA Lab.)[40] 3D LIVE MAKER: 好きなキャラクタに命を吹き込むまで (応用論文)*岩本 尚也, 佐藤 浩之, Bo Zheng (Huawei Technologies Japan K.K.)
論文セッション 8(モデリングと曲線)[41] 疎な多視点画像からの樹木のボリュームモデリング (long)*岡部 誠 (静岡大学)[42] 粘土細工のような両手操作による 3 次元形状モデリング (short)*古賀 亮, 盧 承鐸, 五十嵐 健夫 (東京大学)[43] 水晶のプロシージャルモデリング (short)*北 直樹, 月井 智史, 都留 美和子 (東京農工大学)[44] ϵκ-Curves: Control for the Magnitude of Local Maximum Curvature (short)*Kenjiro T. Miura (Shizuoka University), R.U. Gobithaasan (University Malaysia Terengganu), Peter Salvi (Budapest University of Technology andEconomics), Dang Wang, Tadatoshi Sekine, Shin Usuki (Shizuoka University), Jun-ichi Inoguchi (University of Tsukuba), Kenji Kajiwara (Kyushu
University)
特別講演 2：田崎 文得氏（国立天文台）
座長: 田中 清 (信州大学/画像電子学会会長)「ブラックホール画像化 －EHT プロジェクトによる史上初の成果－」
田崎 文得 (国立天文台 水沢 VLBI 観測所)
ポスター3 ＆ 企業セッション
SIGGRAPH 招待講演セッション

303

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）[45] Animating Landscape: 色と動き情報の自己教師あり学習による景観画像からのアニメーション生成(SIGGRAPH Asia 2019)*遠藤 結城, 金森 由博 (筑波大学), 栗山 繁 (豊橋技術科学大学)[46] DeepRemaster: Temporal Source-Reference Attention を用いた動画のデジタルリマスター (SIGGRAPH Asia 2019)*飯塚 里志 (筑波大学), シモセラ エドガー (早稲田大学)[47] A Practical Octree Liquid Simulator with Adaptive Surface Resolution (SIGGRAPH 2020)*安東 遼一 (国立情報学研究所), Christopher Batty (ウォータルー大学)[48] Human-in-the-Loop Differential Subspace Search in High-Dimensional Latent Space (SIGGRAPH 2020)邱 嘉興 (臺灣科技大學), 小山 裕己 (産業技術総合研究所), 賴 祐吉 (臺灣科技大學), 五十嵐 健夫 (東京大学),*楽 詠灝 (青山学院大学)[49] Sequential Gallery for Interactive Visual Design Optimization (SIGGRAPH 2020)*小山 裕己 (産業技術総合研究所), 佐藤 一誠 (東京大学), 後藤 真孝 (産業技術総合研究所)[50] A Model for Soap Film Dynamics with Evolving Thickness (SIGGRAPH 2020)†Sadashige Ishida (IST Austria), ustria)Synak (IST Austria), *Fumiya Narita (Unaffiliated), Toshiya Hachisuka (The University of Tokyo), Chris
Wojtan (IST Austria) (r は共同筆頭著者)[51] Resampling-aware Weighting Functions for Bidirectional Path Tracing using Multiple Light Sub-paths(SIGGRAPH 2020))
名畑 豪祐 (和歌山大学), *岩崎 慶 (和歌山大学 / プロメテック CG リサーチ), 土橋 宜典 (北海道大学 / プロメテック CG リサーチ)
表彰式 ＆ Closing Remarks
表 3 VC2020 ポスター発表一覧[P01] ベジエ曲線を境界形状とする面光源のコサイン空間における実時間レンダリング法*久家 隆宏, 谷田川 達也, 森島 繁生 (早稲田大学)[P02] Neural Progressive Photon Mapping: 深層学習による適応的フォトン散布を用いたフォトンマッピング法*辻 雄太 (早稲田大学), 谷田川 達也 (東京大学), 森島 繁生 (早稲田大学)[P03] 光源位置を考慮した画像の合成ソフトウェアの開発*三ツ井 慧太郎, 岡部 誠 (静岡大学)[P04] 西陣爪掻本綴織の外観再現のための織糸の反射特性計測とレンダリング*坂田 那瑠実, 井村 誠孝 (関西学院大学)[P05] 多種モデル描画のための分散並列レンダリングサーバにおける, 圧縮ストリーミングによる同時接続上限の改善*奥村 直仁, 齋藤 豪 (東京工業大学)[P06] PBF 法を用いた土砂流れシミュレーション手法の開発*山崎 良祐, 藤澤 誠, 三河 正彦 (筑波大学)[P07] 炎の乱流スタイル転写における色分布の保持のための温度制御*細川 拓真, 佐藤 周平, 高 尚策, 唐 政 (富山大学)[P08] 点群用深層学習モデルを用いた高速なデータ駆動液体シミュレーション*渡邊 魁人, 金井 崇 (東京大学)[P09] 流体シミュレーションの taichi による実装と最適なパラメータの検討*石井 航輝, 中本 啓子, 小池 崇文 (法政大学)[P10] 流体エフェクト制作のための動画コラージュシステム
*高野 瑠人, 福里 司, 五十嵐 健夫 (東京大学)[P11] スケッチ入力を用いた煙の輪郭線情報に基づくシミュレーションデータ検索*玉川 諒汰, 佐藤 周平, 高 尚策, 唐 政 (富山大学)[P12] Video Textures を用いた液体表面のエンドレスアニメーション生成*中越達哉,佐藤周平,高尚策,唐政 (富山大学)[P13] Poisson image editing によるビデオを用いた炭酸飲料画像のアニメーション合成*南野 里帆, 佐藤 周平, 高 尚策, 唐 政 (富山大学)[P14] Harmonic Coordinate を用いた自由形状変形法による嚥下 4 次元 CT 画像の領域分割
菊地 貴博 (武蔵野赤十字病院), *井尻 敬 (芝浦工業大学), 才藤 栄一, 稲本 陽子 (藤田医科大学),
道脇 幸博 (武蔵野赤十字病院)[P15] 監視カメラ映像の異常検出手法の改良*渡邉 祐大, 岡部 誠 (静岡大学)[P16] 対象物をイメージ通りの向きや画角でとるためのドローン制御の研究*池上 敏史, 岡部 誠 (静岡大学)[P17] 樹木・森林・地形モデリングのための LiDAR 点群処理
*金井 崇, モレル ジュル (東京大学), バック アレクサンドラ (エクス・マルセイユ大学)[P18] ニューラルネットワークを利用した視点移動先推定モデル*橋詰青弥, 齋藤 豪 (東京工業大学)[P19] 仮想人間との対話のための眼球運動の分析および合成*胡 博文, 向井 智彦, 安藤 大地(東京都立大学)[P20] Object-oriented Representation Learning の実世界データ適用に向けた最新手法の性能分析*綱島 秀樹 (早稲田大学, AIST), 邱 玥 (筑波大学, AIST), 片岡 裕雄 (AIST), 森島 繁生 (早稲田大学)[P21] 指定領域の色変換に伴う色差を考慮した画像の自動色調整手法*水嶋 楓華, 佐藤 周平 (富山大学), 櫻井 快勢 (株式会社ドワンゴ), 高 尚策, 唐 政 (富山大学)[P22] 色彩学にもとづく色補正を適用した画像合成の検討*後藤 杏菜, 伊藤 貴之 (お茶の水女子大学)

304

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）[P23] 2D キャラクタアニメーション制作における U-net と pix2pix の組み合わせによるパーツ分け作業の自動化*渡邉 優, 阿倍 博信 (東京電機大学)[P24] アニメキャラクターにおける顔輪郭線の作画プロセスの数理モデル化*平松 慶己, 藤田 宜久 (立命館大学), 山西 良典 (関西大学), 仲田 晋 (立命館大学)[P25] 手描きアニメーション補間 Web アプリケーションの製作*岡田 大樹, 奥村 直仁, 山根 初美, 内田 光洋, 伊藤 謙吾, 齋藤 豪 (東京工業大学)[P26] 視点依存モデルを設計するための対話的な視点提示システム*福里 司 (東京大学), 前島 謙宣 (OLM Digital, Inc. / IMAGICA GROUP, Inc.)[P27] 深層学習により線の接合点での接続対を考慮した線画レンダリング手法*内田 光洋, 齋藤 豪 (東京工業大学)[P28] 単視点地形景観画像からの地形 3D モデル推定*高橋 遼, 遠藤 結城, 金森 由博 (筑波大学)[P29] 一枚の画像による 3D モデル再構成*山梨 傑, 岡部 誠(静岡大学)[P30] PIFu を用いた顔の線画からの 3D モデル生成*川中 雄太, 佐藤 周平, 高 尚策, 唐 政 (富山大学)[P31] パラメータ探索のための深層生成モデルと GPLVM を用いた低次元潜在空間の構築*酒井 洋樹, 井尻 敬 (芝浦工業大学)[P32] ユーザの体型を考慮した服飾形状デザインシステムの提案*西奥 一樹, 向井 智彦, 安藤 大地 (東京都立大学)[P33] モチベーション継続を目指した適応型ダンス練習支援システム FreeDance の設計*何 毅, 彭 以琛, 鄭 晓洁, 谷上 明日華, 吉田 匠吾, 謝 浩然, 金井 秀明, 宮田 一乘 (JAIST)[P34] スケッチベース弁当具材配置支援システム Sketch2Bento の開発*金山春香, 王寒歌, 吉田匠吾, 彭以琛, 謝浩然, 宮田一乘 (JAIST)[P35] スケルトンを用いた新聞紙造形技術 NewsFab の提案*有原 啓介, 中島健斗, 李 思成, 吉田 匠吾, 彭 以琛, 謝 浩然, 宮田 一乘 (JAIST)[P36] 大域特徴と局所特徴を考慮した人物顔スケッチ支援システム*黄 正宇, 彭 以琛, 日比野 友博 (JAIST), 趙 春琪 (東京大学), 謝 浩然 (JAIST), 福里 司 (東京大学),
宮田 一乘 (JAIST)[P37] 水面での屈折映像からの歪み除去*宇内 智哉, 遠藤 結城, 金森 由博 (筑波大学)[P38] 限定された要素の分布による画像の表現手法*櫻井 快勢 (株式会社ドワンゴ), 高山 沙也加 (お茶の水女子大学)[P39] 鳥の生体力学に基づく飛行アニメーション制作法の研究*栗﨑 美博, 向井 智彦, 安藤 大地 (東京都立大学)[P40] リアルタイムレンダリングにおける動的なキャラクターへのニューラルスタイル転移のパフォーマンス最適化*鈴木 克史, 奥屋 武志, 畑 美純 (ディライトワークス株式会社)[P41] DenseGATs: キャラクタの非線形変形のためのグラフアテンションネットワーク*Tianxing Li, Rui Shi, Takashi Kanai (The University of Tokyo)[P42] 弓動作に着目した弦楽器演奏モーションの自動生成*平田 明日香, 田中 啓太郎, 島村 僚, 森島 繁生 (早稲田大学)[P43] 演奏動画生成における姿勢転写手法の検討*土屋 志高, 森島 繁生 (早稲田大学)[P44] 対象を絞った動画の説明文生成*松本 健吾, 岡部 誠 (静岡大学)[P45] Context Aware Loss 関数を用いた野球スイング動画の区間分類法*荒川 耀太, 井尻 敬 (芝浦工業大学), 永見 智行 (北里大学)[P46] 幾何学的な特徴を用いたスケッチベース法線マップ生成*何 毅, 謝 浩然 (JAIST), 張 潮 (福井大学), 楊 渓 (東京大学), 宮田 一乗 (JAIST)[P47] Multi-level Attention Networks for Font Style Transfer between Different Languages*Chenhao Li, Yuta Taniguchi, Min Lu, Shin'ichi Konomi (Kyushu University)[P48] Face parsing using DeepLab v3+*Zhang Yu and Takashi Komuro (Saitama University)[P49] サンゴ礁の 3DCG モデリング手法の研究*堀内 尚, 向井 智彦, 安藤 大地 (東京都立大学)

305

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

画像電子学会 第１回デジタルミュージアム・人文学（DMH）研究会
横山 恵理††大阪工業大学

The First Conference of IIEEJ SIG on Museum and Humanity
Eri YOKOYAMA†† Osaka Institute of Technology

1. 概要

表 1 第 1 回 DMH 研究会

2021 年 3 月，画像電子学会第 2 種研究会である画像ミュー
ジアム（MUS）研究会，画像エンタテイメント(IET)研究会，
デジタルサイネージとインタラクション(DSG)研究会の 3 研究会を統合し，「デジタルミュージアム・人文学研究会」（略

講演タイトル【対面/Zoom】
1. 源氏物語絵巻の Web 教材開
発【対面】
2.

称：DMH）がリニューアルスタートした．それぞれの研究会
がこれまでの活動で蓄積した研究成果に，デジタル人文学関3.

連のテーマを新たに加えたものがそのスコープとなる．新研究会発足の経緯については DSG 研究会の最新年報記事を参4.

照いただきたい 1)．
新研究会の委員長は平山亮，副委員長は，大野邦夫及び横山恵理が務めることになった．本報告では DMH 研究会の第1 回研究会の内容について紹介する．なお会合名と研究会の5.

主催組織名が同じであるため，第何回とつけることで会合と

京都市バスで廻る国宝ナビ
ゲーション【対面】文学学習アプリケーション－百人一首のラビリンス－【対面】
Web サービスにおける仮想
ミュージアムへの考察～物語性とキュレーションの観点から【Zoom】
仮想美術館に今後求められる機能とその評価【対面】わかるようにしている．

2. 第 1 回デジタルミュージアム・人文学研究会
2.1 開催概要

6.

第 1 回研究会は，テーマを「仮想美術館」とし，2021 年 3
月 11 日（木）に Zoom によるオンラインと大阪工業大学枚方7.

キャンパス 1602 教室を会場としたハイブリッド方式で行われた 2)．会場参加での講演 4 件，Zoom による講演 3 件（うち海外からの講演 1 件），
およびフリーディスカッションが行わ

非接触型めくり展示解説「さわらずめくり」の製作と企画
展示への応用【Zoom】
八景デジタルアートキュー
ブ― Web ブラウザで見られる 3 次元アートスペース ―【Zoom】

れた．また，講演前には DMH 研究委員会平山委員長から，講演後には大野副委員長からの挨拶がそれぞれ行われた．第講演者
吉留裕大，内藤真志，
横山恵理，須永宏，平山亮（大阪工業大学）
川崎真子，須永宏（大阪工業大学）
須永宏，横山恵理（大阪工業大学）
大野邦夫（モナビ IT
コンサルティング）竹内晃平（大阪工業大学），林正樹（Uppsala
University ）， Steven
Bachelder （ Uppsala
University），平山亮（大阪工業大学）
鈴木卓治（国立歴史民俗博物館研究部）
林 正 樹 （ Uppsala
University），小林康雄（アストロデザイン㈱），佐藤仁（アストロデザイン㈱）2.2 講演

1 回研究会開催にあたり，これまでの経緯と今後の展望が熱表 1 に講演 7 件のタイトル・著者を示す．仮想美術館やデく語られた．

ジタルアート，国宝ナビゲーション，Web 教材，非接触型め

参加者は 15 名でこのうち会場参加は 7 名，Zoom によるオ

くり展示解説など，本研究会でターゲットとする様々な話題

ンライン参加は 8 名（うち海外からの参加 1 名）であった．

が取り上げられた．また，セマンティック Web やオントロジ

なお，
参加費は，
画像電子学会会員・非会員の区別なく 1,000の議論を含むコンテンツの意味的なモデルや構造の問題が議

円で，全論文を収めた PDF 予稿集を含む金額である．会場提論になった．

供校である大阪工業大学の学生は，会場での聴講参加が無料となった．この特典は，講演内容に詳しくなくても気軽に参

2.3 フリーディスカッション

加できる点で，広く門戸を広げ，本分野に興味をもつ学生をフリーディスカッションは全講演終了後に行われた．各講増やす効果につながることが期待できよう．

演後の質疑応答時間に盛り上がった討論の補足や，講演全体

306

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）に共通するテーマでもあるデジタル画像公開規格（主については，Slack 等を活用したオンラインの意見交換の場を準

IIIF：International Image Interoperability Framework）について備することも今後は検討したい．

情報交換が行われた．

参考文献

3. 総括と今後の展望

1) 大野邦夫：画像電子学会誌年報特集 4-6-1 DSG 研究会 Vol.50,

自由闊達な雰囲気のもと，参加者の熱意あふれる討論で盛No.1 pp.43-45 (2021).

り上がり，研究会のリニューアルスタートとして記念碑的な

2) 画像電子学会「第１回デジタルミュージアム・人文学（DMH）研会となったといえる．また，今回の議論をうけて，2021 年度

究会」開催案内. https://www.iieej.org/events/dmh1kasisai/（最終確認

年次大会 DMH 研究会企画セッションのテーマは「デジタル日：2021 年 3 月 30 日）．

人文学とメタデータ」に決定した．
横山恵理

コロナ禍のもとで Zoom を利用したハイブリッド方式とな

デジタルミュージアム・人文学研究会副委員長．2016 年，奈良女子大学大学院博士後期課程修了．現在，大阪工業大学情報科学部情報システム学科准教授．博士（文学）．

ったが，海外からの講演も交えることができ，大変有意義であった．また，卒業研究や修士論文に基づく講演もあり，特に学生にとっては，学外の研究者から有益な情報を得られる
うえ，身近なレベルの研究成果を知ることができる貴重な機会ともなった．コロナ禍で情報交換会が開催できないことに

307

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

東京理科大学 工学部 情報工学科 谷口研究室
谷口 行信（正会員）
東京理科大学

Taniguchi Lab., Dept. of Information and Computer Technology, Tokyo University of Science
Yukinobu TANIGUCHI (Member)Tokyo University of Science

1.

はじめに

牛舎に設置した監視カメラの映像を解析することで，牛 1 頭
1 頭を識別・追跡しながら，牛舎内での乳牛の行動を 24 時間

東京理科大学は，明治 14 年(1881 年)に東京帝国大学の卒業
生 21 人によって「東京物理学講習所」として創立されて以来，2021 年に 140 周年を迎える，私立大学としては極めて長い歴

牛の個体識別の従来手法として，耳標とよばれる牛の耳につけた番号を人が読み取る方法や，センサ内藏の首輪を乳牛に史を持つ総合理工系大学である．現在，理学部，工学部，薬つける方法があるが，人的・設備コストがかかるだけでなく，学部など 7 学部 31 学科から構成される．
その中で工学部情報

センサを体につけることは牛にとってもストレスとなること

工学科は，2016 年に経営工学科を母体として設置された比較が問題となる．本研究では，監視カメラを用いて，ホルスタ

的新しい学科であり，「ソーシャルデザイン」，「データサイエイン牛に特徴的な白黒の斑紋を手がかりとして個体識別を行

ンス」，「ソフトウェアデザイン」，「インテリジェントシステ

うアプローチをとっている．

ム」の 4 分野を柱として幅広く情報工学に関する教育研究を

個体管理システムは以下の 4 過程から構成される：①デプ

行っている．

スカメラを用いた乳牛の 3D モデル生成，②乳牛個体検出・

当研究室は，工学部情報工学科・工学研究科情報工学専攻

領域抽出，③斑紋特徴に基づく個体識別，④個体追跡．

に所属，葛飾キャンパス（東京都葛飾区）に位置し，2021 年①デプスカメラを用いた乳牛の 3D モデル生成（図 1）：高度は，助教 1 名，修士課程 16 名，学部 4 年生 9 名が在籍して精度な個体識別を実現するには，乳牛の斑紋をあらゆる方向いる．本稿では，当研究室の研究内容を簡単に紹介する．

2.

観察し記録する個体管理システムの実現を目指している．乳から撮影した画像を集め，マスタデータとしてデータベース

研究内容化しておく必要がある．効率的なマスタデータ作成のため，

私たちの身の周りには画像・映像データがあふれている．
スマートフォンで撮影した写真やビデオ，ソーシャルメディ

デプスカメラ 4 台を固定した撮影枠を設置し，撮影枠の中を乳牛が通過するタイミングで撮影して RGB-D 画像を取得，4枚の RGB-D 画像を合成することで 3D モデルを自動的に生成

ア，監視カメラや車載ドライブレコーダで撮影された映像スする．さらに，3D モデルを回転させながら乳牛斑紋の多視点

トリームなどである．当研究室では，これら膨大な画像・映画像を合成する．具体的には，予めカメラキャリブレーショ

像データの有効活用の基盤となる映像メディア処理技術（画ンによって求めたカメラ姿勢を用いて，大まかな点群位置合

像認識，映像解析）と，その応用について研究を進めている．

わせを行った後で，ICP アルゴリズムで正確な位置合わせをラボ環境に止まらず実環境で役立つ技術の創出を目指して，できるだけ実フィールドのデータを対象とすることを心がけており，共同研究も積極的に行うようにしている．
2.1

画像解析による乳牛の個体管理

酪農業の担い手不足から酪農家の戸数が減少し，酪農が大規模化してきている．このことから，フリーストールと呼ばれる，牛舎内で乳牛を自由に行動させながら飼育する方法が主流になっている．乳牛が自由に動き回るため，1 頭 1 頭の牛を人が観察するには限界があり，どうしても疾病や発情などの兆候を見逃すことが多くなるが，そのような見逃しは，乳量の減少など経済的損失に直結する．
本プロジェクトでは，

308

図1

乳牛の 3D モデル生成と多視点画像生成

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図2

乳牛個体検出・領域抽出

図 5 バスドライブレコーダの乗車区間推定：処理フロー

図 3 個体識別の処理フロー
図 6 乗車口・降車口の人物画像の照合（人物同定）

2.2

バスドライブレコーダ映像からの人流解析

路線バスの利用実態を正確に把握することは，バスの効率的な運行計画を策定する上で重要である．現在の利用実態調
査は，調査員がバスに乗り込んで乗降客数をカウントする，
人手に頼った方法が主流であり，コストが高く調査頻度が低いことが問題となっている．本プロジェクトでは，現在は多図 4 個体識別・個体追跡のイメージ図

くのバスに設置されているバスドライブレコーダに着目し，バスドライブレコーダのカメラ映像から，バス車内の人流情行っている 1)．

報，行動情報を自動的に把握する．本研究は，長野県に本社②乳牛個体検出・領域抽出（図 2）：牛舎の天井に取り付けがあるアルピコ交通㈱の協力の下で実施している．

たカメラで撮影した画像から Mask R-CNN を用いて牛 1 頭 1

ここでは，バスの乗車区間推定手法（乗客がどのバス停で頭を検出，個体領域を抽出する．

乗車し，どのバス停で降車したかを特定する手法）を簡単に③斑紋特徴に基づく個体識別（図 3，図 4）：天井カメラで紹介する．対象とするバスには 4 台のカメラが搭載されてお撮影した乳牛 1 頭 1 頭を切り出してクエリ画像を作成し，クり，2 台がバス車外を，2 台がバス車内を撮影している．
まず，

エリ画像と個体特徴データベースを照合することで個体識別

図 5 に示すように，車内カメラの映像から Faster R-CNN を用を行う 2)．斑紋特徴抽出器には，畳み込みニューラルネット
ワーク(ResNet152)を用いる．①で作成した多視点画像及び，

いて乗車口と降車口を通過する人物を検出・追跡する．検出
した人物画像から服の色・テクスチャを反映した CNN 特徴②で個体ごとに切り出した乳牛画像を用いて距離学習を行う． を抽出し，人物同定(person re-identification)を行うことで乗車
現時点の正解率は現時点では約 70％であり，斑紋が類似した区間を推定する 3)（図 6）．乗車口と降車口でカメラの種類，
乳牛をいかにして識別するかが課題となっている．

④個体追跡：複数のカメラの間を移動する乳牛を追跡し，
図 4 の矢印のように，乳牛の行動軌跡を求める．この行動軌

照明条件，撮影角度が大きく異なるため，一般的な人物同定
タスクより悪条件であるが，乗車した人は必ず降車口から 1
度だけ降車するといったバス特有の制約条件を考慮し，2 部跡を基に，乳牛の行動量や飲水・採食回数を算出し体調管理

グラフマッチング問題として定式化する方法を提案している．

に利用していくことを想定している．

2.3

本研究開発は，経済産業省中小企業庁「戦略的基盤技術高画像検索技術に基づく屋内現在位置推定

駅構内，大規模商業施設など屋内施設の構造が複雑になる度化支援事業(サポイン事業)」の一環で，産学連携コンソーにしたがって，観光客などの訪問者向け歩行者ナビゲーショ

シアム，㈱土谷製作所，㈱構研エンジニアリング，帯広畜産ンの重要性が増している．GPS の電波の届かない屋内で大学，㈱NTT ドコモの協力の下で実施している．

309

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

図7

画像検索を用いた屋内現在位置推定の位置測位手段として，WiFi, Blootooth, 地磁気などを使った乳牛同定と実利用を想定した精度評価,”第 48 回 画像電子学会年方法が開発されているが，ビーコンなどの専用機器を設置・次大会，S3-2（2020）.

管理するコストが発生する．我々は，これらの位置測位手段

3) T. Suzuki, Y. Shimada, Y. Taniguchi： “Human Pose Estimation andを補完する一つの方法として，画像検索を用いた現在位置推Motion Analysis for Estimating Bus Passenger Flows,” Proc. of the 6th

定について検討している．具体的には，図 7 に示すように，

IIEEJ International Conference on Image Electronics and Visual

あらかじめ施設内のあらゆる場所で撮影を行い，位置情報付

Computing (IEVC 2019) （2019）.

き画像（DB 画像）をデータベースに蓄積しておく．ユーザ4) 李 欣耘，古田 諒佑，入江 豪，谷口 行信：“多視点画像及び GeMがその場で撮影した画像 （クエリ画像）に最も類似した画像

Pooling を用いた屋内位置推定の高精度化,” 画像電子学会 第 295をデータベースから検索することでユーザの位置を推定する．

回研究会, pp. 107－111（2021）.

屋外には建物や標識など位置推定の手がかりとなる特徴が

5) 伊倉 遼，古田 諒佑，入江 豪，谷口 行信：“床画像と屋内構造地

豊富であるのに対して，屋内には類似した物体（壁，机など）図を用いた位置推定技術の研究,”画像電子学会 第 295 回研究会,が多く，手がかりとなる特徴が少ない．そのため 1 枚のクエ

pp. 103－106 （2021）.

リ画像のみでは，十分な精度が得られない場合が多い．そこ

6) 東京理科大学工学部情報工学科谷口研究室ホームページ,

で，ユーザに異なる方向（左右後方）のクエリ画像を追加でhttps://www.rs.tus.ac.jp/vml/ (2021).

撮影してもらい，精度を高めるアプローチを提案している 4)．
谷口 行信（正会員）

さらに，カメラで景観を撮影する際には，プライバシ保護の観点から人の写り込みに配慮する必要があり，クエリ画像，
DB 画像に人が写り込むと精度が低下するという問題がある．
この問題を解決するために，床を撮影した画像から位置を推定するアプローチも検討している 5)．床面の材質にもよるが，人の目では認識できない微細なテクスチャの違いや僅かなキズを手がかりに位置推定が可能であることを示した．

3.

おわりに

本稿では，当研究室の研究プロジェクトから三つを取り上げて紹介した．主に，共同研究に関連した研究テーマを取り上げたが，学生の興味や自由な発想・アイデアから発展したテーマにも取り組んでいる．もし興味をお持ちいただける場
合は，当研究室のホームページ 6) にもアクセスいただければ幸いである．

参考文献
1) 脇田 和希，古田 諒佑，谷口 行信：“乳牛個体識別のための RGB-D
データのシームレスな合成,”
画像電子学会 第 295 回研究会, pp. 34－38 （2021）.
2) 石渡 翔太郎，古田 諒佑，谷口 行信：“Attention 機構を導入した

310

1990 年 東京大学工学部計数工学科卒業．1992
年 同大大学院工学系研究科修士課程修了．同
年日本電信電話（株）入社．ヒューマンインタ
フェース研究所などを経て，2012～2015 年
NTT メディアインテリジェンス研究所主幹研究員．現在，東京理科大学工学部情報工学科教授．博士（工学）．映像メディア処理技術の研究に従事．本学会企画理事．画像電子学会，
ACM，映像情報メディア学会，電子情報通信学会，情報処理学会各会員．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

イマーシブライブエクスペリエンス（ILE）の標準化について
長尾 慈郎
NTT サービスエボリューション研究所

Standardization of Immersive Live Experience (ILE)
Jiro NAGAONTT Service Evolution Laboratories

1. まえがき

2. ILE の提唱とプロモーション
2.1 ILE の実例

イマーシブ（Immersive）という言葉は，VR 等の分野では「没入（感）」と訳されることが多い．これは，ヘッドマウン

ILE という言葉は，2018 年に制定された ITU-T 勧告

トディスプレイ（HMD）等を用いて視聴者（ここではサービ

H.430.12)で定義された新しい概念である．そのため ILE に関スを受ける人をこう呼ぶことにする）の視界を置換することする活動は，関連標準化団体等をはじめとする関連業界ににより別の空間（対象空間）を仮想的に再現し，そこに入り

ILE をプロモーションすることから始まった．読者の ILE へ込む（「没入」する）感覚を意味している．しかし，本稿で紹の理解を深めてもらうため，ここでは ILE システムの実例を介するイマーシブライブエクスペリエンス（Immersive Live

ご紹介させて頂きたい．

Experience: ILE）でのイマーシブはこれとは若干異なった意

図 1 に展示会で ILE システムをデモした際の様子を示す．

味合いを持つ．それは，視界を置換するのではなく遠隔地に

写真左（イベント会場の想定）の人物が実物体であり，その対象空間を（可能な限り）再現し，その中へ視聴者が物理的映像をリアルタイムに写真右（視聴会場の想定）の表示映像に入り込むことである．そこで ILE では Immersive を「超高として再現している．表示映像中にはイベント会場の壁など

臨場（感）」と訳す．また ILE はライブ（Live），つまりテレは表示されず人物のみが表示されていることに注意されたい．

ビの生中継のようにイベントをリアルタイムで伝送・再現すリアルタイム被写体抽出処理により人物のみを抽出して伝ることを旨としている．

送・再現することで，視聴会場に人物が現れたかのような感

また ILE は，多人数が同時に，しかも HMD 等を用いず，覚を生起させている．また写真ではお伝えできないが，イベ

グラスレスで視聴できることも特徴的である．前述の通り

ント会場の人物が前後に移動すると視聴会場の人物映像も前

ILE は対象空間を物理的に再現するため，基本的に HMD 等

後に移動しているように知覚されるリアルタイム奥行き感付は不要となる．遠隔地のイベント会場（コンサートやスポー

与加工がされている．さらにこの表示デバイスは全方向表示

ツの試合会場等）を対象空間としたとき，視聴者はパブリッに対応しており，周囲を移動しながら観察するとその方向にクビューイング等の視聴会場にて複数人でイベントを視聴す合わせて人物の正面映像が見えたり，横からの映像が見えたることが想定される．このような利用形態において，視聴会りする．これらすべてをグラスレスで実現している．このよ

場内の視聴者同士で会話したり一緒に喜び合って感動を共有

うに撮像系・処理系・表示系システムを組み合わせることにできることは，超高臨場感をもってイベント会場の出来事をより，ILE が目指す，多人数同時・グラスレスでの超高臨場体験できることと同様に重要な要素となる．ILE は HMD 等

感をリアルタイムに実現している 3)．

を利用しないため，複数の視聴者間で実際のイベントに参加しているような臨場感を提供することが可能である．
以上のような点において ILE は，個人ごとに視聴者の視界を置換し，蓄積型のコンテンツを使用することも多い VR 等の技術とは一線を画している．本稿では，このような特徴をもつ ILE の国際標準について，その検討を担う ITU-T(*1)
Study Group 16(*2) Question 8(*3)（以下，Q8/16）の活動やその標準制定に至った経緯も含めてご紹介する．なお最近のSG16 の動向は本学会誌年報特集号 1)も参考にされたい．

図 1 ILE システムの例

311

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）

2.2 ITU-T における ILE 検討の立ち上げ

また屋内会場の場合には照明演出などを再現するための情報

ITU-T において ILE の検討を開始するにあたり，当初は認も伝送する必要がある．そこで MPEG で作成されていた，映知度を高めるために新規 Question 設立に加え FG(*4)設立も視像や音声を同期伝送できる MMT（MPEG Media Transport）を野に様々な関係者と議論を深めていった．国内では総務省やILE に活用するため，
MMT の ILE プロファイルを検討した．

TTC，映像・音響を扱う国内企業と，ITU-T では SG16 議長

これは ITU-T H.430.47)として 2019 年 11 月に発行されたが，等のキーパーソンや SG16 の国外の主要参加企業などへの事

このプロファイルでは上述した人物の位置情報や照明情報だ

前相談で方向性を合わせて支援を取り付けてから Question 設

けでなく，会場のサイズ，機器の種類や設置位置なども伝送置提案をすることで円滑に進めることができた．ITU での議可能な記述子が規定されている．

論の結果，FG は設立せず新規の Question（ITU-T SG16 Q8:ILE を実現する上で重要となるもう一つの要素は，表示環

Immersive live experience systems and services）を設立すること境である．視聴会場へ伝送された情報から臨場感の高い映となった．VR に注目が集まり始めたタイミングでもあり，

像・音声・照明等を再現し，いかに「視聴者がいる空間に対ITU としても新しい標準化のテーマであることから，比較的象物が没入する感覚」を生起させるかは，ILE による超高臨スムーズに標準化検討体制が整った．ITU-T 局長とも相談し場感を実現する上での要となる．そこで Q8/16 では表示環境て進めたことも奏功した．

の詳細を規定する勧告に参照モデルと実装ガイドラインを盛Q8/16 の設立後も，ILE の認知，効用を広めるプロモーショ

り込むこととした．Q8/16 での議論の結果，2020 年 8 月に勧告 ITU-T H.430.58)として発行された．

ン，ILE に関連する技術的課題などを共有する場の設置が重要であった．ITU でワークショップを複数回開催して MPEG，

3. あとがき

DVB（Digital Video Broadcasting）などの主要プレイヤーに講演を依頼したり，関連する企業を積極的に訪問するなど，ILE

ITU-T H.430.1～H.430.5 の制定によって，国際的に相互接の認知を高めるための活動を続けた．ワークショップで ILE

続可能な ILE サービスを展開する基礎が整ってきており，
ILEの実例をデモするためにジュネーブまでデモ機を持ち込んだを支える技術は実ビジネスで利用され始めている．例えば芸こともあった．このような活動を通じて関連標準化団体との能 9)やスポーツ 10)の分野である．さらに ITU-T SG16 Q8 では

リエゾン関係やキーパーソンとのコネクションを構築できた

今後の作業項目として，触覚（振動）・温度・湿度など視聴覚ことは，その後の活動を支える基盤となった．

以外の五感刺激を伝送する技術や，臨場感の品質を計測・評価する技術が候補として挙がっている．前者の項目の標準化

2.3 ILE 勧告の制定が進めば，例えば風を感じる，熱気を感じるといった，イベ

ILE を専門に検討する Q8/16 が設立され，勧告の作成が進ントを全身で体感できるようなさらに高い臨場感の国際サー

められる体制が整ったところで，最初に取り組んだのは ILE

ビス化の促進が期待できる．また，後者は例えば臨場感の高の定義を明確化することであった．そこで要求条件，フレーさを数値で表すことができ，提供される臨場感が種類分けさムワーク，サービスシナリオの３つの勧告によって ILE を定れるなど，視聴者が望む臨場感を選択できるようになること

義することとし，これらを同時並行的に作成する作業を進めが期待できる．その結果として提供者間の競争が刺激され，た．

臨場感の品質や価格の改善が期待できる．このように ILE

Q8/16 における記載内容や粒度などの様々な議論を経て，サービスはまだまだ大きく進展する可能性を有する分野であ2018 年 8 月に 3 勧告が同時に発行された．ITU-T H.430.1 でり，今後更なる成長が期待できる．

は，ILE が満たすべき要求条件を規定した．ITU-T H.430.24)

謝辞

では，イベント会場での撮影やセンシングなどの環境情報取得，メディア同期伝送，メディア処理を含む ILE アプリケー

本稿の執筆にあたり，
Q8/16 設立前から ILE のプロモーショ

ション，視聴会場での表示機能から成る，ILE の基本アーキンに尽力された NTT アドバンステクノロジ 今中秀郎 氏，大テクチャ 5)を規定した．そして ITU-T H.430.36)では，ILE の

妻女子大学 田中 清 氏よりその経緯等について情報提供頂

ユースケースをベースに ILE サービスの分類を示した．

いたことを記し感謝の意を表する．

ILE の基本となる 3 勧告が完成したことにより，ILE が満

参考たすべき条件や基本アーキテクチャが明確となった．次に*1 ITU-T

Q8/16 が取り組んだのは，メディア同期伝送である．離れたInternational Telecommunication Union - Telecommunication

地点を結び，世界中のどこでもイベントをリアルタイムに再Standardization Sector（国際電気通信連合 電気通信標準化部

現する ILE にとって，イベント会場と視聴会場の相互接続性門）．ITU は電気通信分野における国際連合の専門機関であり，は非常に重要である．さらに伝送する情報も単なる映像・音ITU-T は電気通信に関する技術，運用，料金について勧告の声だけではない．イベント会場の人物（選手や歌手など）を作成などを行っている．

高い臨場感で再現するためには，その位置情報が必要である．

312

The Journal of the Institute of Image Electronics Engineers of Japan Vol.50 No.2 （2021）*2 Study Group
研究委員会（Study Group）は，ITU-T 配下で与えられた課題

長尾 慈郎

に関する国際標準作成を目的とした検討を行う．
第 16 研究委

2007 年 日本電信電話株式会社入社．途中，
NTT コミュニケーションズ株式会社にて映像
配信系商用サービスの技術リーダを経て，現在，NTT サービスエボリューション研究所 イ
ノベーティブサービス研究プロジェクト 主任研究員．映像・画像の配信・認識に関する研究に従事．TTC マルチメディア応用専門委
員会 ILE-SWG リーダ．ITU-T H.ILE-MMT（現H.430.4）, H.ILE-PE（現 H.430.5）各エディタ．電子情報通信学会，日本医用画像工学会各会員．博士（情報科学）．

員会（Study Group16：SG16）はマルチメディアに関する検討を行う．
*3 Question（Q）
課題．Study Group 配下に設立され，与えられた課題に関する国際標準作成を目的とした検討を行う．ILE に関する検討を行う Q は，ITU-T SG16 の Q8 である．
*4 FG
Focus Group（フォーカスグループ）．新規課題領域の検討を加速するための作業方法．迅速に設立でき，ITU 非会員も参加できるなどの特徴がある．

参考文献
1)

田中清，長尾慈郎: “5‒2 ITU-T SG16 –マルチメディア–”,画像電子学会誌（年報特集号），Vol. 50, No. 1, pp. 60–63(2021).
2) Recommendation ITU-T H.430.1, “Requirements for
immersive live experience (ILE) services” (2018).
3) J. Nagao, K. Tanaka, H. Imanaka: “Arena-Style Immersive
Live Experience (ILE) Services and Systems: Highly Realistic
Sensations for Everyone in the World,” ITU Journal: ICT
Discoveries, Vol. 3(1) (2020).
4) Recommendation ITU-T H.430.2, “Architectural framework
for immersive live experience (ILE) services” (2018).
5) 長尾慈郎: “標準類制定状況 –マルチメディア応用専門委員会–”, TTC レポート，Vol. 35, No. 1, pp. 7–10 (2020).
6) Recommendation ITU-T H.430.3, “Service scenario of
immersive live experience (ILE) ” (2018).
7) Recommendation ITU-T H.430.4, “Service configuration,
media transport protocols and signalling information of MMT
for Immersive Live Experience (ILE) systems” (2019).
8) Recommendation ITU-T H.430.5, “Reference models for
immersive live experience (ILE) presentation environments”(2020).
9) https://chokabuki.jp/2019minamiza/10) https://www.ntt.co.jp/news2019/1910/191008a.html

313

理事会だより
第 314 回理事会

１．⽇時：2021 年 1 ⽉ 15 ⽇（⾦）18:30-20:30
２．場所：Zoom によるオンライン開催
３．出席者：理事 18 名
出席者：22 名【会⻑】 ⽥中【副会⻑】 吉⽥，⼟橋，児⽟，⽵島【編集】 関野，上倉【企画】
⾕⼝，深⾒，柿本，上条，北【財務】 ⻑⾕川，⽥中
【総務】
⽵村，宮崎
【技術専⾨】盛岡，櫻井【地⽅】【監事】 伊藤＜事務局＞浮ヶ⾕事務局⻑、関沢アドバイザー<オブザーバー>内⽥ IVEC2021 実⾏委員⻑，事業企画室⻑ 松本元会⻑
４． 議題・資料
事項

担当

付番

⾴

（１）前回議事録確認＜⽵島副会⻑＞

314-001-1

1<吉⽥副会⻑>314-002-1

5（３）議題 2：2021 年第 49 回年次⼤会の開催について <児⽟副会⻑>314-003-1

6（４）議題 3：IEVC2021 準備状況

<内⽥ IEVC2021 委員⻑>

314-004-1

12

<事務局>

314-005-1

14＜児⽟副会⻑＞

314-006-1

16

314-006-2

19

議題（２）議題１：第 48 回年次⼤会 研究奨励賞
および優秀研究賞

受賞者決定について（５）議題 4：本会における共催・協賛・後援（名義使⽤の許可）について（第 2 回⽬）
報告（６）報告１：編集委員会報告

画像電⼦学会アーカイブ II(1972-2019)進捗状況 <事務局>（７）報告２：企画委員会報告<⾕⼝企画委員⻑>

314-007-121（８）報告３：セミナー委員会報告<深⾒セミナー委員⻑>

314-008-123（９）報告４：次期理事後任候補の推薦状況<事務局>

314-009-1

27（１０）報告５：フェロー、ベイン賞、技術賞 推薦依頼 <事務局>

314-010-128（１１）報告６：今年度理事会⽇程について

314-011-1

34

<事務局>

５． 議事（司会：⽵島副会⻑、議事録：⽵村総務理事）314

第 315 回 理事会
１．⽇時：2021 年 3 ⽉ 19 ⽇（⾦）18:30−21:25
２．場所：Zoom によるオンライン開催
３．出席者：理事 18 名
総出席者：24 名【会⻑】

⽥中【副会⻑】 吉⽥，⼟橋，児⽟，⽵島

【編集】

関野，上倉

【企画】

⾕⼝，深⾒，北

【財務】

⽥村，⽥中

【総務】

安藤，宮崎

【地⽅】

久保

【技術専⾨】 ⼤⻄，⽯原，盛岡【監事】＜IEVC2021＞内⽥実⾏委員⻑，⾦⽥副実⾏委員⻑
＜事業企画室⻑＞松本元会⻑
＜制度検討 WG 主査＞⼩野元会⻑
＜事務局＞浮ケ⾕事務局⻑，関沢アドバイザー
４．議題・資料担当

付番⾴

315-001-1

1

付番

⾴

＜内⽥ IEVC2021 委員⻑＞

315-002-1

4＜児⽟副会⻑＞

315-003-1

6（４）議題３：AIS2021 の企画について＜⼤⻄技術専⾨理事＞

315-004-1

21（５）議題４：2020 年度決算にむけて＜事務局＞

315-005-1

25（６）議題５：2021 年度予算について＜事務局＞

315-006-1

28（７）議題６：第 50 回総会資料の作成について＜事務局＞

315-007-130（８）報告１：編集委員会報告＜児⽟副会⻑＞

315-008-131（９）報告２：企画委員会報告＜⾕⼝企画委員⻑＞

315-009-1

33＜深⾒セミナー委員⻑＞

315-010-1

38

＜事務局＞

315-011-1

55

＜事務局＞

315-012-1

57

＜事務局＞

315-013-1

63（１）前回議事録確認＜司会者 児⽟副会⻑＞

承認事項

担当

（２）議題１：IEVC2021 準備状況
（３）議題２：2021 年 第 49 回年次⼤会準備状況

報告事項（10）報告３：セミナー委員会報告（11）報告４：次期理事後任候補の推薦状況（12）報告５：フェロー、ベイン賞、技術賞

推薦依頼（13）報告６：今後の理事会⽇程について
５．議事（司会：児⽟副会⻑、議事録：総務理事 宮崎）

315

協賛案内
<協賛のお知らせ>
会合名

ACM CHI 2021

開催日時

開催場所

2021/ 5 /8 ～13

パシフィコ横浜
North 他

SS112021(第27回画像センシングシンポジウム) 2021/6/9～11

3次元画像コンファレンス2021

2021/7/１－2

オンライン開催

オンライン開催(ZOOM)

主 催

Association of Computing
Machinery (略称 : ACM)

画像センシング研究会

連絡先
北村喜文(東北大学教授）
東北大学電気通信研究所〒9 80 8577 仙台市青葉区片平 2 1 1〒169-0073
東京都新宿区百人町2-21-27
画像センシング技術研究会事務局
アドコム･メディア(株)内ＴＥＬ ０３-3367-0571
ssii-jimｕ@ａｄｃｏｍ-ｍｅｄｉａ.ｃｏ.jp〒169-0073
東京都新宿区百人町2-21-27
アドコム・メディア(株) ※気付
3次元画像コンファレンス2021
3次元画像コンファレンス2019 実行委員会
実行委員会
info@3d-conf.org
TEL: 03-3367-0571

316

参加費/その他

http://chi2021.acm.org/

https://confit.atlas.jp/gu
ide/event/ssii2021/top

http://www.3d-conf.org/

画像電子学会アーカイブⅡ（1972-2019） 頒布のご案内
一般社団法人 画像電子学会
日頃は画像電子学会の活動にご参加，並びにご支援を賜り誠に有難うございます．当学会では，
2012 年 1 月号の画像電子学会誌（Vol.41, No.1，通巻 216 号）より，完全電子化して発行しておりますが，電子化以前の学会誌についても電子データとして提供して欲しいとのご要望を受け，「画像電子学会学会誌アーカイブ 2015」を，2015 年 3 月に頒布いたしました．このアーカイブには，画像電子学会誌の創刊第 1 号より通巻 215 号（2011 年 11 月号)までの掲載論文や解説等を含む全記事と，当学会の年次大会資料(1973 年~2007 年)，研究会資料（第 1 回～第 250 回：2010 年 3 月実施）等を収めております．今回，アーカイブ 2015 に収録の最新内容から約 10 年が経ちましたのを機に，
第 2 回目のアーカイブとして，「画像電子学会アーカイブⅡ（1972-2019）」の提供を企画し，2021 年 2
月より頒布を開始いたしましたので，ご案内申し上げます．
今回のアーカイブⅡでは，前回のアーカイブからシームレスに検索が可能となるように前回のアーカ
イブの内容をすべて含む構成とし，当学会が発行しております学会誌，英文論文誌（2013 年 12 月創刊），年次大会予稿，研究会資料等について創刊（初回）から 2019 年発行分までのすべてを収め，さらに画像電子学会の前身である電写研究会（1954～1971）資料など，画像電子関連の歴史的情報も新たに収めております．また，前回のアーカイブ 2015 では学会誌検索のみで可能であった「論文の題名と著者」による検索対象を他の資料（年次大会，研究会資料等）にまで拡大し，検索の利便性を高めています．
このように本アーカイブⅡは，当学会及びその前身の 65 年に及ぶ活動の全記録であると同時に，印刷，ファクシミリ，画像処理，画像符号化，コンピュータグラフィックス等，日本の画像電子関連研究・開発におけるこれまでの歩みの全貌を把握できる歴史的資産ともいえるものであります．したがって，
画像電子学会会員（個人，組織）の皆様のみならず，非会員の方々にも購入をご検討頂けるようにいたしました．なお今回，検索機能の強化を図った関係で，前回のアーカイブの内容も含めたデータ構
成としておりますため，前回との差分データのみの提供要請にはお応えせず，前回購入された方には，差分データ相当の特別割引価格にて新アーカイブをご提供致します．この結果，会員種別・前回
アーカイブ購入の有無等により異なる価格設定となりますので，詳しくは以下をご参照ください．奮ってのお申し込みをお待ちしております．
画像電子学会アーカイブⅡ（1972-2019）の内容，頒布価格，ご注文方法等につきましては，次に示す通りです．
■アーカイブⅡ（1972-2019）の主な内容
・学会誌
電写研究会（1954～1971）(画像電子学会の前身の学会誌).
画像電子学会誌：Vol.1, No.1(1972)～Vol.48, No.4(2019).
英文論文誌： Vol.1, No.1(2013)～Vol.7, No.2(2019)
・年次大会

年次大会予稿集 No.1(1973)～No.47(2019) ＊・研究会 第 1 種研究会講演予稿集 No.1(1972)～No.290(2019) ＊.
第 2 種研究会講演予稿集 1992～2019・その他 シンポジウム，画像関連連合会 秋季大会等

317

〇タイトルと著者名を一覧化した目次付きで，目次から当該論文・記事の参照が可能．
（＊の一部は PDF によるリンク機能により 2 段階検索で論文参照可能）〇スキャン PDF は埋込みテキスト付き（OCR 機能）のため，全体アーカイブの全文検索も可能．
■提供媒体：大容量 USB
■頒布価格
・会員価格
・前回のアーカイブを購入された方
19,000 円
・新規に購入される方
48,800 円
・非会員価格108,800 円
・法人価格（図書館等で貸出等を可能とする価格）
賛助会員もしくは特殊会員のみ
69,000 円■ご注文方法１．下記の Web ページよりお申し込みください。
https://www.iieej.org/archive-2/
もしくは、
２．下記切取り線以下の内容を，メールに転記し，subject を［アーカイブⅡ（1972-2019）注文］として
下記アドレス（hensyu@iieej.org）にお送りください．2021 年 2 月より頒布を開始しています．
■問合せ先〒116-0002 東京都荒川区荒川三丁目 35 番 4
ライオンズマンション三河島第二 101 号室
TEL 03-5615-2893 FAX 03-5615-2894
E-mail:hensyu@iieej.org－－－－切り取り線－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
E-mail：hensyu@iieej.org

2021 年

月日

画像電子学会アーカイブⅡ（1972-2019）を注文します．
お名前

ご所属

E-mail
下記のうち該当する項目に（〇）を付けてください．
（ ）アーカイブ 2015 を購入済の会員（ ）今回新規購入の会員（ ）非会員による購入（ ）賛助会員もしくは特殊会員による購入

19,000 円
48,800 円
108,800 円
69,000 円

以前のアーカイブ購入後に住所等が変更になった場合及び新規購入,非会員，賛助会員／特殊会員の方は下記も必ずご記入下さい．
ご送付先住所
お電話番号／FAX 番号318

2021年度画像電子学会研究会等予定
研究会等名

開催日

場所

テーマ

Advanced Image Seminar2021

6月16日（水）オンライン開催

画像認識技術とヒューマンインターフェースの最新動向

オンライン開催

オンライン化・リモート 企画・OSテーマ提案締切化を支える画像関連 済,発表締切済,原稿締
技術
切: 5/21（金）2021年度 第49回 画像電子学 6月24日（木）-26日（土）会 年次大会
3次元画像ｺﾝﾌｧﾚﾝｽ2021

7月1日（木）～2日 オンライン開催（金）

第2回デジタルミュージアム・人 8月予定
文学（DMH）研究会

未定（関東）

10月予定

ハイブリッド開催予定

IEVC2021

9月8日（水）～11日（土）北海道 知床（斜里）夢ホール知床
現地開催＋オンライン併用のハイブリッド予定

Visual Computing 2021

9月28日（火）～10月 慶應技術大学日吉キャンパス VC全般
1日（金）
来往舎 オンサイトorハイブリッ
ドorオンライン

第50回VMA研究会

10月予定

未定

第15回安全な暮らしのための情報技術研究会

10-11月予定

オンライン開催

見学会

未定

未定

第40回秋期セミナー

未定

未定

第2回ドローンセミナー

未定

未定

第16回視覚・聴覚支援システム 12月予定
研究会
第299回研究会

2-3月予定記事

3次元画像処理全般 講演締切済

第297回研究会

第298回研究会-高臨場感ディ 11月予定
スプレイフォーラム2021
ビジュアルコンピューティング 未定
ワークショップ2021

締切

画像一般

共催
申込締切済
原稿締切：7/9（金）人の繋がりを支援す
る情報技術

オンライン開催予定

共催

未定
未定

松山大学+ハイブリッド開催を予定

第300回研究会-映像表現・芸 3月予定
術科学フォーラム

未定

第51回VMA研究会/第17回 視 3月予定
覚・聴覚支援システム研究会
第3回デジタルミュージアム・人 3月予定

専修大学
ンパス

オンラインにおける視聴覚障害者への情報保障（仮）
画像一般
共催

向ヶ丘遊園キャVMAとVHISの近接領域

未定（関西）

文学（DMH）研究会
第5回SDPセミナー

未定

未定

第3回建築と画像電子の共通領域（AIM）研究懇談会

未定

未定*研究会の場合，いずれも「画像一般」を含む*空欄部は未定*上記の予定は変更になる場合があります

問合わせ先 〒116-0002 東京都荒川区荒川3-35-4-101
一般社団法人 画像電子学会
TEL：03-5615-2893

FAX：03-5615-2894

E-mail：kikaku@iieej.org
http://www.iieej.org/
http://www.facebook.com/IIEEJ

319

3rd Call for Papers (Call for Late Breaking Papers)
The 7th IIEEJ International Conference on
Image Electronics and Visual Computing 2021
(IEVC2021)
Shiretoko (Shari), Hokkaido, Japan / Sept. 8-11, 2021

https://www.iieej.org/en/ievc2021/
Purpose:The International Conference on Image Electronics and Visual Computing
2021 (IEVC2021) will be held in Shiretoko (Shari), Hokkaido, Japan, on Sept.
8-11, 2021, as the 7th international academic event of the Institute of
Image Electronics Engineers of Japan (IIEEJ) based on the great success of
IEVC2007 held in Cairns, Australia, IEVC2010 held in Nice, France, IEVC2012
held in Kuching, Malaysia, IEVC2014 held in Koh Samui, Thailand, IEVC2017
in Danang, Vietnam, and IEVC2019 held in Bali, Indonesia. The conference
aims to bring together researchers, engineers, developers, and students
from various fields in both academia and industry for discussing the latest
researches, standards, developments, implementations and application
systems in all areas of image electronics and visual computing.

Conference venue:
The conference venue is Yumehall Shiretoko, Shari Town, Hokkaido, JAPAN.

Paper submission:

The official language is English, and authors should submit their papers as PDF through the online submission system.
For details, visit the IEVC2021 official website.
(General papers submissions have already closed.)

Late Breaking Papers:

All suitably submitted papers for this category will be accepted for the conference. The authors must submit an
abstract of which length is 1-2 pages, and select one from the following two types: 1) Technical papers or 2)
Art/Demo papers. All the registered papers as late breaking papers will be published only in the USB proceedings of
IEVC2021.
Important Dates- Pre-Entry Submission (title, authors):
June 16, Wednesday, 2021
- Abstract Submission (1-2 pages):
June 21, Monday, 2021
- Notification of Acceptance:
June 28, Monday, 2021
- Camera-Ready Paper (1-2 pages):
July 2, Friday, 2021

Important information:

Online participation/presentation will beallowed for those who cannot come to thevenue and make a presentation due to the
COVID-19.

320画像電子学会セミナー
Advanced Image Seminar 2021 (AIS2021)「画像認識技術とヒューマンインターフェースの最新動向」

画像認識技術は、深層学習の進展と共に近年飛躍的な進歩を遂げており、日常の様々な場面で活用されるようになりました。特に今年はオリンピックが開催されることもあり、スポーツへの応用にも期待が高まっています。
また、AR/VR やタッチデバイスなど、新たなヒューマンインターフェースを用いたサービスも、日々生み出されています。本セミナーでは、これら画像認識技術やヒューマンインターフェースの最新動向について、第一線で活躍されている講師をお招きし、実例を含めて解説していただきます。

主催：画像電子学会
協賛(予定)： 映像情報メディア学会，情報処理学会，電子情報通信学会，
日本印刷学会，日本画像学会，日本写真学会
開催日：2021 年 6 月 16 日（水）13:00-16:40
場所：

オンライン開催

参加費（予定）：一般会員（協賛学会会員を含む）12,000 円 / 参与（減免制度ご利用の方）2,400 円
学生 2,400 円 / 非会員 18,000 円● 振込手数料はご負担願います．
● 参加者には講演後に、講演資料をダウンロード可能とする予定です．
※お申し込み頂いた非会員の方で，入会希望の方は，入会金・初年度会費を含む．
振込先： みずほ銀行 浜松町支店
口座番号：(普)1961408 口座名：画像電子学会
申込先： https://forms.gle/4AnFt2nxnNARS5Ep6 よりお申し込みください。
全般お問合せ先：画像電子学会 事務局〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号
TEL: 03-5615-2893， FAX：03-5615-2894, e-mail: kikaku@iieej.org

321【プログラム】
司会：大西
13:00- 13:10

隆之（NTT）

開会挨拶

13:10-14:10 「フォトリアル CG 表現技術」を核とした VR の取り組み
講師：大日本印刷株式会社

AB センターICT 事業開発本部

エキスパート関口弘樹氏

商品を販売する店舗の在り方やショッピングスタイルが変化している中、フォトリアル CG による実物以上の顧客体験によって、新しい商品の購買判断ができる「DNP バーチャルエクスペリエ
ンス VR ショールーム・VR モデルルーム」サービスを展開している。今回はそこで使われている
CG 技術と今後の展開についてご紹介します。
14:10-15:10

話した言葉を指でなぞった軌跡に表示する「しゃべり描きアプリ」の開発

講師：三菱電機株式会社

デザイン研究所 ホームシステムデザイン部
ホームインタラクションデザイングループ 主席研究員

平井正人氏「しゃべり描きアプリ」は、世界初の話した言葉を指でなぞった軌跡に表示するアプリで、聴覚障がい者や外国人との円滑で多様なコミュニケーションを実現します。このアプリは、自由な発想
で未来の社会や生活を豊かにする新コンセプトを提案することを目的に、2013 年にデザイン研究所で取り組みを開始した、デザイナーによる自主研究プロジェクト「Design X」における成果のひとつです。開発ストーリーを中心に紹介します。
15:10-15:30

休憩

15:30-16:30

作業分析ソリューション「骨紋®」講師：三菱電機株式会社情報技術総合研究所

監視メディアシステム技術部

社会安全高信頼化技術グループ 主席研究員

草野勝大氏

工場では生産性改善のため、監督者が目視で作業者を監視し、作業時間や作業手順などからボト
ルネック工程を特定する作業分析を実施しています。しかし、監督者の負荷が高く、自動化が求められています。課題解決のために、カメラ映像から抽出した作業者の骨格情報で作業を分析する技
術「骨紋」を開発いたしましたので、今回、ご紹介いたします。
16:30-16:40

閉会挨拶○タイトル，内容，講演時間等は変更になる可能性があります．

322

Call for Papers
2022 年 1 月号 論文特集号 論文募集
－イマーシブメディア実現のための画像関連技術－
画像電子学会 編集委員会

全天周映像（360 度映像）
，VR，AR，MR などの発展系であるイマーシブメディア（没入型高臨場感メディア）に関する研究が活発に行われています．更に，イマーシブメディアの魅力を余すところなく発揮するためのヘッド
マウントディスプレイ（HMD）の開発やユーザーインタフェースの検討なども並行して進められています．また，
ISO/IEC ではマルチメディア関連の標準化を行っている MPEG において，イマーシブメディアを実現するための技術の標準化（MPEG－I）が進められており，その規格化が完了しつつあります．ITU-T SG16 でも超高臨場ライブ
体験（ILE：Immersive Live Experience）の勧告化が進められ，システム化の機運も高まっています．
本特集では，このようにイマーシブメディアを実現する要素技術に関する論文や，それらの技術を応用して没入型高臨場感システムを実現するための研究に関するシステム開発論文を広く募集いたします．
1. 対象分野（キーワード）
・全天周映像（360 度映像），自由視点画像
・ポイントクラウド，ライトフィールド，ホログラフィ
・ヘッドマウントディスプレイ（HMD）
・ユーザーインタフェース，ユーザーエクスペリエンス・ユーザビリティ，インタラクション
・イマーシブコンテンツ，VR，AR，MR，SR，xR
・CG，画像処理，画像圧縮符号化
・MPEG-I，ILE，・その他関連する 画像基礎技術・画像システム技術

2. 論文の取り扱い
投稿様式，査読プロセスとも通常の投稿論文と同様です．採録決定が特集号に間に合わなかった場合には，通常の投稿論文として取り扱います．英文での投稿も受け付けます（IIEEJ Transactions on Image Electronics
and Visual Computing への掲載となります）．
3. 特集号発行
画像電子学会誌（電子版） 2022 年 1 月号
（英文：IIEEJ Transactions on Image Electronics and Visual Computing Vol.9, No.2 2021 年 12 月発行）
4. 論文投稿締切日
2021 年 5 月 31 日（月）5. 投稿方法および問い合わせ先
詳細は右記 URL をご確認ください．http://www.iieej.org/ronbun.html
画像電子学会 http://www.iieej.org/〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二TEL： 03-5615-2893，

FAX： 03-5615-2894，

323

E-mail：hensyu@iieej.org

101 号室Call for Papers
Special Issue on
Image-related Technology for Realizing Immersive MediaIIEEJ Editorial Committee
Research on immersive media, which is an advanced system with such as all-sky video (360-degree video), VR,
AR, and MR, is being actively conducted. In addition, the development of a head-mounted display (HMD) and thestudy of specific user interfaces are underway to fully demonstrate the appeal and the benefit of immersive media.
In ISO / IEC, Coded Representation of Immersive Media (MPEG-I) has been studied for realizing immersive media
in MPEG team, and though its standardization is being completed, further technologies are expected to be
standardized. ITU-T SG16 is also promoting the recommendation of ultra-high presence live experience (ILE:
Immersive Live Experience), and the momentum for systematization is increasing.
In this special issue, we are looking for a wide range of papers on elemental technologies that realize immersive
media and system development papers on research to realize immersive high-presence systems by applying thesetechnologies.
1. Topics covered include but not limited toAll-sky video (360-degree video), Free viewpoint Image, Point cloud, Light field, Holography, Head-mounted
display (HMD), User interface, User experience, Usability, Interaction, Immersive content, VR, AR, MR, SR,
xR, CG, Image processing, Image coding, Computer vision, Deep learning, MPEG-I, ILE
2. Treatment of papers
Submission paper style format and double-blind peer review process are the same as an ordinary contributed
paper. If the number of accepted papers is less than the minimum number for the special issue, the acceptancepaper will be published as an ordinary contributed paper. We ask for your understanding and cooperation.
3. Publication of Special Issue:
IEEJ Transactions on Image Electronics and Visual Computing Vo.9, No.2 (December 2021)
4. Submission Deadline
Monday, May 31, 2021
5. Contact details for Inquires:
IIEEJ Office E-mail: hensyu@iieej.org
6. Online Submission URL: http://www.editorialmanager.com/iieej/

324

Call for Papers
2022 年 4 月号 論文特集号 論文募集
― クリエイティビティを支援・拡大する画像関連技術 ―画像電子学会 編集委員会
AI 技術は，少子高齢化，人手不足，過疎化 等，成熟型社会が直面する社会課題を解決し，SDGs（Sustainable
Development Goals）の掲げる目標達成の鍵となる技術としても期待が大きく，画像関連分野における適用範囲
も，単なる画像生成，オブジェクト認識の枠を超え，属性指定画像生成，超解像度処理，グレースケール画像のカラー化，線画の色塗りなど，クリエイティビティに関わる分野へと広がりを見せている．
その一方で，クリエイティビティ処理で必要とされる解釈性や結果の予想しやすさについては深層学習技術
が必ずしも得意としていないことや，単純な適用では効果が上がらないとされているヒューマンインタフェー
ス分野への適用などに関して AI 技術の課題が残されているとも考えられる．
本論文特集はクリエイティビティをサポートならびに拡大する各種の画像関連技術を対象とし，深層学習の適用は勿論，それにとらわれない技術も含めた論文およびシステム開発論文を広く募集します．
1. 対象分野(キーワード)
・コンピュータグラフィックス，画像処理，画像認識，画像解析，可視化技術，立体視・コンピュータビジョン，パターン認識，画像データベース・ビッグデータ
・機械学習，深層学習，解釈性，説明性
・ユーザーインタフェース，ユーザーエクスペリエンス，ユーザビリティ，インタラクション
・クリエイティビティ，各種画像システム・画像アプリケーション・画像基礎技術 一般
2. 論文の取り扱い
投稿様式，査読プロセスとも通常の投稿論文と同様です．採録決定が特集号に間に合わなかった場合には，通常の投稿論文として取り扱います．英文での投稿も受け付けます（IIEEJ Transactions on Image
Electronics and Visual Computing への掲載となります）．
3. 特集号発行
画像電子学会誌（電子版） 2022 年 4 月号
（英文：IIEEJ Transactions on Image Electronics and Visual Computing Vol.10, No.1

2022 年 6 月発行）

4. 論文投稿締切日
2021 年 10 月 31 日（日）（英文は 2021 年 11 月 30 日（火））5. 投稿方法および問い合わせ先
詳細は下記 URL をご確認ください．
http://www.iieej.org/ronbun.html（電子投稿）
画像電子学会〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二TEL： 03-5615-2893
FAX： 03-5615-2894
E-mail：hensyu@iieej.org
http://www.iieej.org/

101 号室以上

325

Call for Papers
Special Issue on CG & Image Processing Technologies
Supporting and Expanding Human Creativities
IIEEJ Editorial Committee
The AI technology is expected to become a key technology for solving social problems and SDGs
(Sustainable Development Goals), such as declining birthrate, aging population, shortage of labor,
depopulation area, and so on, to which mature society, especially Japan is facing. The application scope ofthe technology in the field of image processing is expanding beyond the image generation and object
recognition to include areas related to creativity, such as attribute conditioned image generation,
super-resolution, image colorization, and line art coloring.
On the other hand, deep learning techniques don’t always have good nature at interpretability andexplainability of results required for creativity processing. Also, there is still issues to be addressed in AI
technology, such as the ineffectiveness to the human-computer interface field by a simple application. So,
technologies to support and expand the human creativity are gathering much concern, and quite promising inwide variety of applications.
This special issue of the paper targets various image-related technologies that support and expand
creativities, and calls for papers and system development papers that cover not only applications of deeplearning but also other technologies.
1.

Topics covered include but not limited to
Image Processing, Image Recognition, Image Detection, Pattern Recognition,
Computer Graphics, Visualization, Binocular Vision, 3D image processing
Computer Vision, Big Data, Image Data Bases,
Machine Learning, Deep Learning, Understandability, Explainability,
Creativity, Usability, Interpretability, Human Interface and Interaction, User Experience, Ubiquitous,
Other related fundamental / application / systemized technologies.

2.

Treatment of papers
Submission paper style format and double-blind peer review process are the same as an ordinary
contributed paper. If the number of accepted papers is less than the minimum number for the special
issue, the acceptance paper will be published as an ordinary contributed paper. We ask for yourunderstanding and cooperation.

3.

Publication of Special Issue:
IEEJ Transactions on Image Electronics and Visual Computing Vo.10, No.1 (June 2022)

4.

Submission Deadline:

Tuesday, November 30, 2021
5.

Contact details for Inquires:
IIEEJ Office E-mail: hensyu@iieej.org

6.

Online Submission URL: http://www.editorialmanager.com/iieej/

326

2017 年 1 月 6 日改訂
2018 年 7 月 6 日改訂
2020 年 10 月 2 日改訂

論文投稿の手引き1.

論文投稿(1) 投稿前・ 著者は「論文投稿の手引き」，「スタイルフォーマット」を学会ホームページの「学会誌」，「英文
論文誌」欄からダウンロードして，投稿論文の準備をする。
・ 「スタイルフォーマット」は TeX 版，Word 版の 2 種類が準備されており，出版コストおよび出版に至る労力削減のために，TeX 版の利用を推奨している。
・ 原稿には以下の 5 種類がある。
○ 論文：画像電子技術に関する独創的な研究成果，開発結果，検討結果を学術論文（フルペーパー）としてまとめたもの。新しいアイディアの提案を目的とする通常論文であり，新規性，有用性，信頼性，了解性に基づいて評価する。原則として刷り上がり 8 ページ以内とする。
○ ショートペーパー：研究速報的な性格を持ち，部分的にある程度良好な結果，新しい知見が得られたことを研究報告としてまとめたもの。原則として刷り上がり 4 ページ以内とする。
（論文・システム開発論文のいずれとも組み合わせが可能とする）○ システム開発論文：通常論文の新規性，有用性とは別に，既存技術の組み合わせ，或いはそれ自身に新規性があり，開発結果が従来法より優れているか，或いは他システムへ応用可能であり，新しい知見が示されているもの。原則として刷り上がり 8 ページ以内とする。
○ 資料論文：試験，運用，製造などの新しい成果をまとめたもの。あるいは現場の新技術紹介
や提案などで，必ずしも独創的でなくてもよい。
原則として刷り上がり 8 ページ以内とする。
※○ 実践論文：事例 やフィールドワークに関する発見，工夫，既存技術の新たな組み合わせ等
で，事例設計の客観性（相互主観性）を有し，個別の事例（フィールドワークも含む）から，他の事例（より一般的な事例も含む）への発展可能性（一般法則化），利活用・応用可能性などを示せるもの。原則として刷り上がり 6 ページ以内とする。
※事例とは，画像関連技術の開発・利活用に関する，フィールドワーク，システム開発，システム導入，ソフトウェア実装，アプリケーション開発，表示・提示方法，入出力インタフ
ェース開発，試験・評価方法，サービス，データベース作成等の実例を示す。
・ 原稿の投稿および掲載の条件として，論文，ショートペーパー，資料論文，実践論文のいずれも，著者のうち必ず 1 名以上は本学会の正会員または学生会員であることを必要とする。
・ 原稿の二重投稿を禁止する。論文，ショートペーパー，システム開発論文，資料論文，実践論文のいずれも，その採録決定以前に投稿原稿と同一内容のものが，投稿原稿と同一の著者もしくは少なくともその中の 1 名を含む著者によって他の公開出版物に掲載または投稿中の場合には，原則として採録としない。公開出版物とは，内外の書籍，雑誌および官公庁，学校，会社等の機関
誌，紀要などをいう。ただし，本学会または他学会（国外の学会を含む）等の年次大会，研究会，
シンポジウム，コンファレンス，講演会などの予稿，特許公開公報，当学会編集委員会で認めたものなどについてはこの限りではない。また，本会誌にショートペーパーとして採録になったものについて，成果を追加し内容を充実させ，論文として再び投稿したものについては二重投稿とみなさない。
(2) 投稿
・ 投稿原稿では，全ての著者情報を削除すること。ただし，参考文献はこの限りではない。

327

・ 著者は以下の論文投稿のページよりユーザ登録を行った上で，ログインして必要事項の記入と「スタイルフォーマット」を使用し作成した論文原稿のアップロードを行う。論文原稿のファイ
ルは pdf 形式（TeX の dvi を変換したもの）または Word 形式とする。 「スタイルフォーマット」
を使用するため，原則として図表等は論文原稿内に組み込む。
（査読の参考となる別のファイルを同時にアップロードすることは可能）
http://www。editorialmanager。com/iieej/
・ 投稿に関して質問がある場合には，学会事務局編集担当者に相談のこと。
（連絡先：〒116-0002 東
京都荒川区荒川 3-35-4 ライオンズマンション三河島第二 101 号

TEL: 03-5615-2893

FAX: 03-5615-2894 E-mail: hensyu@iieej。org 画像電子学会事務局編集担当 ）2.

論文査読と対応(1) 査読・ 論文原稿は該当専門分野に詳しい査読者によって審査され，「採録」，「条件付採録」または「返戻」のいずれかに判定される。査読結果は，学会事務局より連絡著者宛にメールで通知される。
なお，最終的な採録判定についてはショートペーパーを除き，いずれのカテゴリーの論文であっても 2 名以上の査読者の採録を必要とする。
・ 評価方法○ 通常論文は，次の基準で評価する。
 新規性：投稿内容に著者の新規性があること。
 有用性：投稿内容が学術や産業の発展に役立つものであること。
 信頼性：投稿内容が読者から見て信用できるものであること。
 了解性：投稿内容が明確に記述されており，読者が誤解なく理解できるものであること。
 文献調査：投稿内容に関連する文献調査が行われており，必要な比較が行われていること。
○ ショートペーパーは，通常論文の新規性，有用性とは別に，研究内容に速報性があり，斬新性の尺度からある程度良好な結果，部分的にでも新しい知見が得られたことを評価する。
○ システム開発論文は，通常論文の新規性，有用性の代わりに次の基準で評価する。
 システム開発の新規性：既存技術の統合であっても，組み合わせの新しさ，システムの新しさ，開発したシステムで得られた知見の新しさなどをシステムの新規性として認める。
 システム開発の有用性：類似システムと比較し，総合的或いは部分的に優れていること。シ
ステムとして先駆的な新しい応用コンセプトが示されていること。組み合わせが実用化のために合目的最適性を有すること。性能限界や実利用システムの性能事例が示されていること。
○ 資料論文は，通常論文における新規性要件については，試験，運用，製造などの新しい成果，
現場の新技術紹介や提案など，必ずしも独創的でなくても優先性があれば新規性として認める。また，有用性要件については新しい成果が既存技術と比較し優れており，学術や産業の発展に役立つものであればそれを評価する。
○ 実践論文は，通常論文の新規性，有用性に代えて合目的性，独自性，適応性の基準で評価する。また，信頼性，了解性，及び文献調査においては，基本的に通常論文と共通の観点により評価する。
（なお，5 段階評価において通常論文の評価項目を流用する場合は通常論文の新規性を「合目的性」に，有用性を「独自性」に，信頼性を「適応性及び信頼性の総合」に読み替えて記入するものとする。）
 合目的性：投稿内容に合目的性があること。
 独自性：投稿内容に著者の独自性や拡張性があること。
 適応性：投稿内容が先行事例より優れていること。また，当該事例の合目的性に対する要求

328

条件及び適用範囲において，当該事例が同一条件下で先行事例と比べ，複数の視点で高い客観性・相互主観性を有し，サービスの向上に貢献するものであること。
これらの具体的な例を以下に示す。


合目的性：当該事例への提案内容の導入が一定の目的にかなった方法であることが示されていること。また，分析結果の適用範囲において高い合目的性を有すること。



独自性：当該事例において先駆的な独自応用コンセプトが示されていること。先行事例の組
み合わせであっても組み合わせの独自性，導入事例の適用範囲の独自性，事例構成の独自性，他の事例（システム，サービス）への拡張性，現状の画像電子技術に係るサービスの有効性，得られた知見の独自性などを事例の独自性として認める。



適応性：提案事例のもつ適応性を判断するために充分な導入分析結果及び考察が示されていること。提案事例と先行事例との適応性に関する比較結果が，共通条件下で示されていること。提案事例が先行事例と比較し，総合的或いは複数の部分で性能が優れていること，或いは課題，合目的性に対する要求条件及び適用範囲において，より高い客観性・相互主観性を有していること。

(2) 査読結果受領後の対応
・ 「採録」の場合，著者は最終原稿の準備（３．に記載）に進む。
・ 「採録（参考意見有り）」の場合，著者は査読者からの参考意見を考慮して論文を修正し，最終原稿の準備（３．に記載）に進む。
・ 「条件付採録」の場合，著者は査読者から示された「採録の条件」に基づき，指定された期日まで（60 日以内）に論文を修正し，照会内容への対応を明記した回答書とともに再提出し，再度審査を受ける。修正論文には，修正箇所がわかるように，色を付けるか，下線を引くなどすること。
また，回答書は必ず添付し，採録条件全てに対し，修正点，主張点，今後の課題などを丁寧に説明すること。
・ 「返戻」の場合，著者は以降のプロセスに進むことができない。査読者から示された「返戻の理由」を吟味して論文内容を再検討し，あらためて投稿することができる。
(3) 修正原稿査読
・ 「条件付採録」で再提出する場合は，回答書・修正清書原稿・修正箇所マーク原稿の修正原稿一式を投稿ページより再提出する。但し，「条件付採録」で指定された期日を過ぎて提出された場合
は，新規の初回投稿論文として取り扱われるので注意すること。
・ 再提出された修正原稿は原則として同一の査読者によって再審査され，「採録（参考意見付記を含む）」または｢返戻｣のいずれかに判定される。
・ 以降の対応は（2）と同様である。

3.

最終原稿提出から出版まで(1) 最終原稿提出
・ 「採録」通知受理後は，事務局から最終原稿作成に関するメールが送付されるので，著者はその指⽰に従い最終原稿一式（電子データ）を準備し，指定の期日までに，事務局へ送付する。
・ 最終原稿一式とは，「スタイルフォーマット」を使用して作成した論文原稿のソースファイル（TeX
版または Word 版），その pdf ファイル，すべての図表の eps ファイル(bmp， jpg， png なども含む)，著者紹介用写真（縦横比 3:2，胸より上，300dpi 以上の eps ファイル，或いは，jpg ファイル）
であり，これらを zip 等の圧縮ファイルに格納して提出する。

329

・ 最終論文原稿には，著者名・組織名，著者紹介，必要により謝辞を記入する。
（スタイルファイル内のマクロのフラグを解除する）
・ 採録が決定した著者は，当該論文の掲載料を支払わなければならない。なお，別刷りの購入は任意。（別紙１「別刷価格表」参照）(2) ゲラ刷りの校正
・ 論文掲載号の発行のおよそ１ヶ月前に論文原稿のゲラ刷り（ハードコピー）の確認が依頼される。
著者は指定の期日まで（約１週間）に校正を行い，修正した原稿をスキャンした pdf ファイルを作成し，事務局へメールにて送付する。この際，「別刷り購入票」および「コピーライトフォーム」
を記入し，同様にスキャンした pdf ファイルをアップロードする。
・ 本会誌に掲載されるすべての記事については，電子的形態による利用も含め，著作権は原則として本会に帰属する。
・ 「別刷申込書」および「コピーライトフォーム」は学会ホームページの「学会誌」欄からダウンロードする。
（別紙２「別刷申込書」，別紙３「コピーライトフォーム」参照）(3) 出版
・ 最終校正された論文原稿は学会誌，或いは，英文論文誌（電子ファイル形態）としてオンライン出版されるとともに，学会ホームページに掲載される。
以上

330

331

日本画像学会誌

第 60 巻第2号

目次(通巻 250 号)

2021 年

論文
インピーダンス分光法による高分子発光ダイオードの電荷輸送特性評価
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
冨士本直起，高田 誠，永瀬 隆，小林隆史，内藤裕義…112( 2 )インクジェット法による 3 次元物体表面加飾印刷
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
小野伸幸，田中秀登，楡井雅巳，飽田俊介，古平武史…120( 10 )速報
圧電振動子の径方向振動を使用した薄い板状試料の超音波位相イメージング
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀今野耀士，今野和彦…127( 17 )Imaging Today「電子写真分野の最新の研究と製品」
Introduction ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀中山信行，美才治隆…133( 23 )正帯電単層有機感光体の潜像解析㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
宮本栄一，石田英樹…134( 24 )ビスナフチルキノン誘導体を用いた正帯電感光体の転写メモリ改良
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
岡田英樹，宮本栄一，水田泰史，横山正明…140( 30 )
光弾性法によるクリーニングブレードの内部応力の可視化㌀
㌀
㌀
㌀
㌀
㌀
㌀
樋口宗大，中根良樹，服部好弘…149( 39 )現像器開発での MBD プロセスの実践 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
加藤重己，坂口雅敏，廣中啓太…157( 47 )トナー粘弾性に着目した 1D‑CAE による定着ニップ機能のモデルベース設計
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
山岸義弘，川口弘達，笠間健一…162( 52 )感光体駆動ユニットの新規開発における体系的 MBD アプローチ ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
松田裕道…169( 59 )
高生産性・高信頼・高メディア対応力を追及した AccurioPress C14000―現像システムを中心に―㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
岡村 憩…178( 68 )デジタルカラープリンター RICOH Pro C5300S/C5310S
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
戸坂彰彦，高橋大介，徳田哲生，前畠康広，鈴木裕次…186( 76 )Imaging Highlight
化学物質のリスクアセスメントとクリエイト‑シンプル ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
鈴木

孝…194( 84 )

教育講座
視覚工学(Ⅴ)―視覚の空間特性―㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀内川惠二…199（89））

研究室訪問
芝浦工業大学工学部電気工学科

動的機能デバイス研究室㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
207( 97 )

㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀210(100)
会報㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀215(105)
会告㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀216(106)
投稿案内 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀218(108)
日本写真学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀220(110)
日本印刷学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀221(111)
画像電子学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
223(113)
Journal of Imaging Science and Technology の目次㌀
画像閑話

令和三年編集委員
編集委員長
中 村 一 希（千 葉 大 学)
編集副委員長 水 野 知 章（富 士 フ イ ル ム)
秋 山 勇 治（キ ヤ ノ ン)
編集委員
秋 山
新 井
池 田
石 田
石 塚
岩 田
梅 津
北 野

勇
啓
光
稔
一

治 ( キ ヤ ノ ン )之 (日本工業大学)
弘 ( 三 菱 製 紙 )尚 ( シ ャ ー プ )輝 (コニカミノルタ)
基 (大阪府立大学)
信二郎 ( 早 稲 田 大 学 )
賀 久 (富士ゼロックス)

木
黒
高
竹
朝
内
中
中

村
沢
橋
内
武
藤
村
山

編集幹事
編集副幹事

正 利 (元富士ゼロックス)
俊 晴 ( 千 葉 大 学 )
正 樹 (東芝テック)
達 夫 (元キヤノン)
敦 (コニカミノルタ)
裕 義 (大阪府立大学)
一 希 ( 千 葉 大 学 )信 行332(富士ゼロックス)

秋 山 勇 治（キ ヤ ノ ン)
石 塚 一 輝（コニカミノルタ)

名 越
美才治
前 田
水 野
宮 本
山
山

口
﨑

応

昇 ( 三 菱 製 紙 )隆 ( リ コ ー )秀 一 ( 東 海 大 学 )
知 章 (富士フイルム)
栄 一 (京セラドキュメント
ソリューションズ)大 地 ( リ コ ー )
弘 (元コニカミノルタ)

1

3

5

12
17

21
22
28

32
42

333

日 本 印 刷 学 会 誌

目次

第 58 巻

第 1 号（2021 年 2 月）

巻頭言セミナーとウェビナー . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 伊藤竜男
総説 特集「紙媒体と電子媒体」
紙メディアと電子メディア.
～技術論の限界を超えるための文理融合型比較メディア論の提案～ . .  .  .  .  .  . 尾鍋史彦
紙書籍と電子書籍の“使い分け”に関する消費者分析 . .  .  .  .  .  .  .  .  . 岩崎邦彦・渡部和雄
大学図書館のデジタル・トランスフォーメーションに対する.
組織の IT 活用能力. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 梅原英一
超薄型で伸縮自在なフルカラースキンディスプレイ. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 永江充孝
委員会報告
色評価用 LED 照明時の印刷物観察条件ガイドライン作成の中間報告 . .  .  .  .  .  .  . 平林利文
印象記2020 年度スクリーン印刷技術研究会セミナー印象記. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 藤村秀夫
Abstract . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
文献紹介. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
学会だより . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
日本印刷学会賛助会員名簿 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .

日本印刷学会誌編集委員
編集委員長
委
員

幹
事
表紙デザイン

東 吉彦（東京工芸大学）				 編集副委員長 矢口博之（東京電機大学）
江前敏晴（筑波大学）					 秋山宏介（特種東海製紙（株））			 杉山 徹（大日本印刷（株））
高橋 敦（共同印刷（株））			 因埜紀文（富士フイルム（株））			 寺本 悟（（独）国立印刷局）
井上武治郎（東レ（株））				 細井 功（東洋インキ（株））				 茂木雅男（凸版印刷（株））
前田秀一（東海大学）
小関健一
益田宏樹

334

1

2
12
18
23
27
29
31
32
34
40

○新入会員紹介（2021 年 3 月 31 日）

おかげさまで画像電子学会誌，2021 年第 2 号（4 月号）をお届けする運びとなりました．本号には，論文 5 編をはじめ正会員とする盛りだくさんの記事が掲載されています．

紺野 剛史 (富士通研究所)

この学会誌は 2021 年度最初の発行となりますが，この 1

奥村 健太 (株式会社ディーディー・エス)

年ほどでみなさまを取り巻く環境は大きく変わったのではな○会員現況

拡大を受け，いまもなおオンライン講義やリモート会議など

いかと思います．新型コロナウイルス（COVID-19）の感染を余儀なくされている方々も多いでしょうし，出張・旅行・
名誉会員

17 名

会食などの自粛ムードに疲弊気味の方もきっと多いことと拝

正会員

571 名

察します．

学生会員

60 名

賛助会員

23 社 34 口るワクチンの予防接種が，高齢者向けに開始されているもの

特殊会員

34 件

と思われます．それでもなお，高齢者に属さない一般の人々

この号が発行される頃には，新型コロナウイルスに対応すに予防接種が行き渡り，これまでのような人々の往来が復活するには，しばらく時間が掛かりそうです．その時期を予測するのは簡単ではないでしょう．
私事ですが，数年前に縁あって九州に戻り，その後編集委員会にはすっかりご無沙汰していましたが，この 1 年間くらいは，編集委員会への出席をリモートで容易に行えるようになりました．決して安くはない出張旅費と，行程に必要な時間とが共に節約できることから，年次大会や各種研究会のプ
ラニング，学会誌編集のお手伝いが再び出来るようになり，
喜んでいます．このようにオンライン講義やリモート会議ではその場に赴くことなく出席や開催が可能というのが大きなメリットです．
勿論，リモート環境にもデメリットはありますが，大学や各種研究機関にあっては，地域格差を緩和させうる可能性が実証されたり，授業についても教育技術の評価がよりシビアになり，結果として，我々を取り巻く環境は，大きな転換期を迎えていると実感しております．アカデミックな組織に限らず多くの業界や企業にとっても，まさに伸るか反るかの転機でしょう．そして，その変化にどこまでフレキシブルに対応できるかという，頭の柔らかさに加え，さらに一歩踏み込
んだ改革の姿勢も改めて問われていることを痛感します．
さて，本画像電子学会でも，大きな転換をするなら間違いなく今であろうということから，編集委員会や企画委員会などにおいては，様々な意見が行き交っています．それらを基に，本学会が持続的に発展し続けるための方向付けや方策について意見の集約を行い，その結果に従ってアクションを起こす時期がまさに近付いているといえるでしょう．
本誌が，論文掲載などに代表される情報発信を継続し，今後も更に価値ある学術雑誌として生き続けるために編集委員会としても様々な企画を実践に移したいと考えていますが，そのためには何より会員の皆様をはじめとする関係者のお力添えが必要です．
引き続いてのご支援をお願いする次第です．
（編集委員 田中 賢一）

335

発行所 一般社団法人 画像電子学会
第 50巻 第 2 号 （通巻 256号）
2021（ 令 和 3 ） 年 4 月 30 日発行 （年 4 回発行） 〒116-0002 東京都荒川区荒川 3-35-4 ライオンズマンション三河島第二 101 号
TEL （03） 5615-2893 FAX （03） 5615-2894 （振替 00180-3-166232）©2021 画像電子学会
E-mail ： hensyu@iieej.org
編集 ・ 発行者 児玉 明
http://www.iieej.org/

Journal of the IIEEJ 256
2021 Vol.50 No.2

画 像 電 子 学 会 誌

502