Print ISSN 0285-9831
Online ISSN 1348-0316
CD-ROM ISSN 2186-716X

248【IoT 社会の進展を支える画像電子関連技術論文特集】◆【特集論文】 情報の多重埋め込みを可能とするグリーンノイズ拡散型電子透かし法◆【特集論文】 Structure from Motion を用いた背景の 3 次元形状復元による移動カメラ画像列からの歩行者消去◆【特集システム開発論文】 獣害対策のための監視カメラ向けアライグマ検出器の構築と評価◆【特集システム開発論文】 環境中文字認識を利用した情報提供アプリケーションのためのウェアラブルシステムの開発◆【特集ショートペーパー】 フォグスクリーンを利用したホログラフィ立体像投影法におけるフリッカの低減法【画像電子の世界と現実世界を相互につなぐ技術論文特集】◆【特集論文】 視覚的に等価なライトフィールドフラットパネル３Ｄディスプレイ
◆【特集ショートペーパー】 他車両からの観測結果を事前知識とした車載カメラ映像中の人物再検出◆【一般論文】 Multi-Focused Plenoptic Camera からの高品質な多視点画像生成◆【一般論文】 グリーンノイズ拡散法による印刷耐性のある電子透かし◆【一般論文】 歌声と楽曲構造を入力とした歌唱時の表情アニメーション自動生成手法◆【連載技術解説】 画像電子技術の医療分野における応用 (6)ディジタル画像を用いた病理診断への展望

一般社団法人Vol.48 No.2

2019

画像電子学会賛助会員
株 式 会 社 朝 日 新 聞 社
池 上 通 信 機 株 式 会 社
オ リ ン パ ス 株 式 会 社
科 学 技 術 振 興 機 構
カ シ オ 計 算 機 株 式 会 社
公益財団法人画像情報教育振興協会
キ ヤ ノ ン 株 式 会 社
桂 川 電 機 株 式 会 社
株式会社 K D D I 研究所
株式会社ゲネシスコンマース（2019 年 3 月 31 日現在）

コニカミノルタ株式会社
サ ク サ 株 式 会 社
シリコンスタジオ株式会社
株 式 会 社 テ レ ビ 朝 日
ソ ニ ー 株 式 会 社
D I C
株 式 会 社
大 日 本 印 刷 株 式 会 社
東 芝 テ ッ ク 株 式 会 社
凸 版 印 刷 株 式 会 社
株 式 会 社 ド ワ ン ゴ

日本テレビ放送網株式会社
日 本 電 信 電 話 株 式 会 社
日
本
放
送
協
会
株 式 会 社 日 立 製 作 所
富士ゼロックス株式会社
古 野 電 気 株 式 会 社
三 菱 電 機 株 式 会 社
株 式 会 社 リ コ ー
リンク情報システム株式会社

編集委員会

入会のご案内（委 員 長） 児玉 明
（副委員長） 内田 理，小林直樹，竹島由里子（編集顧問） 安田靖彦，富永英義，小宮一三，青木正喜,
小野文孝，羽鳥好律，松本充司，田中 清．
（編集理事） 木村俊一，藤澤 誠，荒井良徳，佐藤周平．
（名誉編集
加藤茂夫
幹事）
（編集幹事） 津田大介，森谷友昭，山田雄一郎．
（編集・上平員丈，大 木眞琴，金井 崇，河村尚登，
査読委員）久下哲郎，倉掛正治，櫻井快勢，佐藤甲癸，
篠田一馬，白 川真一, 新谷 幹夫，田中賢一，

入会ご希望の方は下記ご参照の上，学会ホームページよりお申込頂くか，事務局にその旨ご連絡ください。

N.P.チャンドラシリ，プレーマチャンドラ・チンタカ，
坪下幸寛，豊浦正広，長谷川まどか，濱本和彦，
藤代一成，牧田孝嗣，吉田典正，若原俊彦，
Chee Seng CHAN，Paramesran RAVEENDRAN，
KokSheik WONG．
（査読委員）

荒川賢一，荒木昭一，有川智彦，伊藤貴之，
五十嵐悠紀，岩切宗利，岩橋政宏，大澤秀史，
尾上孝雄，金子俊一，金森由博，金子 格，
金田和文,北郷正輝，勝間ひでとし，栗原恒弥，
黒沢俊晴, 洪 博哲，小館亮之，駒形秀樹，
小町祐史,今間俊博，斎藤隆文，齋藤 豪,
斉藤文彦，佐藤真知子，篠原克幸，島村 潤，
下馬場 朋禄，白井啓一郎，杉崎栄嗣，瀬崎 薫，
瀬政孝義，高島洋一，高野邦彦，田中芳樹，
高橋時市郎，谷口行信，田村 徹，辻 宏行，
鉄谷信二，中村康弘，納富一宏，包 躍，
林 正樹，福江潔也,堀田裕弘，本宮隆広，
茅 暁陽，松木 眞，松田浩一，三田雄志，
三ツ峰秀樹，六浦光一，森島繁生，柳原政弘，
藪下浩子，山口隆二，山崎龍次,
Hernan AGUIRRE，Yoong Choon CHANG，
Robin Bing-Yu CHEN，Mochamad HARIADI，Pizzanu KANONGCHAIYOS，Teck Chaw LING，
Keat Keong PHANG，Nordin BIN RAMLI．

（事務担当） 関沢秀和，福島理恵子，本田京子.

○会員の種別正会員：本会の目的に賛同する個人
学生会員：本会の目的に賛同する学生賛助会員：本学会を援助する個人または法人
特殊会員：本学会の目的に賛同する個人以外の図書室，研究室など○入会金および年会費
入会金：正 会 員 1,000 円
学生会員 500 円
年会費：正 会 員 10,000 円（口座振替 9,000 円）
学生会員 3,000 円
賛助会員 50,000 円（1 口）特殊会員 12,500 円○ご連絡先〒116-0002 東京都荒川区荒川 3-35-4
ライオンズマンション三河島第二 101 号
TEL (03)5615-2893
FAX（03）5615-2894
E-mail: hensyu@iieej.org（編集）kikaku@iieej.org（研究会・会員情報）
hyoujun@iieej.org（テストチャート）
http://www.iieej.org/
http://www.facebook.com/IIEEJ

画像電子学会誌
第48巻 第2号

通巻248号 （2019年4月）

目
随

次

想

219 論文誌と研究の関係

藤澤 誠

IoT社会の進展を支える画像電子関連技術論文特集
編集委員会

220 IoT社会の進展を支える画像電子関連技術論文特集に寄せて論

文

221 情報の多重埋め込みを可能とするグリーンノイズ拡散型電子透かし法河村尚登

228 Structure from Motion を用いた背景の3 次元形状復元による移動カメラ画像

八木賢太郎，長谷川邦洋，斎藤英雄

列からの歩行者消去

システム開発論文

237

獣害対策のための監視カメラ向けアライグマ検出器の構築と評価

初田慎弥，大野真史，孟 林，泉知論

248 環境中文字認識を利用した情報提供アプリケーションのためのウェアラブルシ

菅谷至寛，坂井清士郎，宮崎智，大町真一郎

ステムの開発ショートペーパー

258 フォグスクリーンを利用したホログラフィ立体像投影法におけるフリッカの低減法

高野邦彦，富永俊太郎，池内達哉，佐藤甲癸，浅井紀久夫

画像電子の世界と現実世界を相互につなぐ技術論文特集263

画像電子の世界と現実世界を相互につなぐ技術論文特集に寄せて

論

編集委員会

文
伊達宗和，越智大介，木全英明

264 視覚的に等価なライトフィールドフラットパネル3Dディスプレイ
ショートペーパー

273 他車両からの観測結果を事前知識とした車載カメラ映像中の人物再検出

川西康友，出口大輔，井手一郎，村瀬 洋

コーヒーブレイク
278 カレンダー考

論

小野文孝

文

281 Multi-Focused Plenoptic Camera からの高品質な多視点画像生成

藤田秀，美川翔，高橋桂太，藤井俊彰

290 グリーンノイズ拡散法による印刷耐性のある電子透かし

河村尚登

303 歌声と楽曲構造を入力とした歌唱時の表情アニメーション自動生成手法

加藤卓哉，深山覚，中野倫靖，後藤真孝，森島繁生

連載技術解説画像電子技術の医療分野における応用 (6)315 ディジタル画像を用いた病理診断への展望

小林直樹

319 連載技術解説「画像電子技術の医療分野における応用」の完結にあたって

編集委員会

グループ紹介320 大阪工業大学情報科学部 情報メディア学科 三次元画像処理研究室（西尾研究

西尾孝治

室）

スキャニング
浅井光太郎

322 MPEG初期の記憶と学んだこと

会
325
327
328
330
332
334
336

告・ニュース

理事会だより・協賛案内
画像電子学会研究会等予定
2019年度第47回画像電子学会年次大会開催案内
Call for Papers : The 6th IIEEJ International Conference on Image Electronics andVisual Computing 2019 (IEVC2019)
Advanced Image Seminar 2019
暮らしと社会を支える画像・パターン認識関連技術論文募集(和・英)
画像・映像の作成・加工のためのCG・画像処理関連技術論文募集(和・英)

338
339
343
344
347
351
354
354

VC 2019論文特集 論文募集
「短期特別論文査読制度」のご案内
短期特別査読制度に係る論文募集のご案内
論文投稿の手引き
日本画像学会誌・日本写真学会誌・日本印刷学会誌目次
ITU KALEIDOSCOPE Call for Papers
会 報
編集後記

The Journal of
the Institute of Image Electronics Engineers of Japan
Vo1.48 No.2 April 2019

CONTENTS
Foreword
219

Relationship between Journal and Research

220

Introduction to the Special Issue on Internet of Things and its Related
Technologies in Image Electronics

Makoto FUJISAWA

Special Issue on Internet of Things and its Related Technologies in Image Electronics
Editorial Committee

Contributed Papers
221

Green-Noise Diffusion Watermarking Method Enabling to Embed Multiple
Information

Naoto KAWAMURA

228

Diminished Reality for Privacy Protection by Hiding Pedestrians in Motion
Image Sequences Using Structure from Motion

Kentaro YAGI, Kunihiro HASEGAWA, Hideo SAITO

237

Designs and Evaluation of Raccoon Detector for Anti-Vermin Surveillance
CamerasA Development of Wearable System for Information Providing
Applications Using Scene Text Recognition

System Development Papers

248

Shinya HATSUDA, Masashi ONO, Lin MENG, Tomonori IZUMIYoshihiro SUGAYA, Kiyoshiro SAKAI, Tomo MIYAZAKI,
Shinichiro OMACHI

Short Papers
258

A Flicker Noise Reduction Method of Holographic Projected Images with
the Use of the Fog Screen

Kunihiko TAKANO, Syuntaro TOMINAGA, Tatsuya IKEUCHI,
Koki SATO, Kikuo ASAI

Special Issue on Interaction Technologies between Image Electronics and Real World
263

Introduction to the Special Issue on Interaction Technologies between
Image Electronics and Real World

Editorial Committee

Contributed Paper
264

Flat Panel Visually-equivalent Light Field 3D Display

Munekazu DATE, Daisuke Ochi, Hideaki KIMATA

Short Paper
273

Person Re-Detection from an In-Vehicle Camera Video Referring toObservations from Other Vehicles

Yasutomo KAWANISHI, Daisuke DEGUCHI, Ichiro IDE, Hiroshi
MURASE

278

Calendar a la carte

281

Extracting Multi-View Images from Multi-Focused Plenoptic Camera

Shu FUJITA, Sho MIKAWA, Keita TAKAHASHI, Toshiaki FUJII

290

Robust Digital Watermarks embedded into Printing Images by GreenNoise Diffusion Method

Naoto KAWAMURA

303

Singing Facial Animation Synthesis Using Singing Voice and Musical
Information

Takuya KATO, Satoru FUKAYAMA, Tomoyasu NAKANO,
Masataka GOTO, Shigeo MORISHIMA

Coffee Break
Fumitaka ONO

Contributed Papers

Serial Technical Survey
Image Electronics Technology Applications for Medical Fields (6)315Trend on Pathological Diagnosis Using Digital Image

Naoki KOBAYASHI

319

Epilogue to the Serial Technology Survey on Image Electronics
Technology Applications for Medical Fields

Editorial Committee

320

Three-dimensional Image Processing Laboratory, Department of Media
Science, Faculty of Information Science and Technology, Osaka Instituteof Technology

Research Group Introduction
Koji NISHIO

Scanning
322

What I Remember and What I Have Learnt from Early MPEG

Kohtaro ASAI

Published four times a year by the Institute of Image Electronics Engineers of Japan（Gazo Denshi Gakkai）
101，3-35-4，Arakawa，Arakawa-ku，Tokyo 116-0002，Japan
Tel：+81-5615-2893 Fax：+81-5615-2894 E-mail：hensyu@iieej.org http://www.iieej.org/

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

論文誌と研究の関係
藤澤 誠（編集理事，筑波大学）

Relationship between Journal and Research
Makoto FUJISAWA（Board Member of IIEEJ, University of Tsukuba）

画像電子学会で編集理事を務めさせていただいて早二年が経とうとしています．以前より，Visual Computing 研究会
幹事として VC 特集号には関わっていましたが，本格的に画像電子学会誌・論文誌の編集・発行に関わらせていただき，編集委員長をはじめとする様々な方のサポートにより何とか任期を全うできそうです．編集委員会では論文誌のありかたについて議論されることもあり，私としても，研究活動とジャーナル（論文誌）との関係を改めて考える機会に恵まれましたので以下で紹介したいと思います．
私が論文というものをまともに読むようになったのは，静岡大学工学部機械工学科で三浦研究室に配属されてからです．高専出身だったので，高専 5 年次に卒業研究は経験していますが，授業の延長のような感じで専門書はたくさん読んだものの，論文というものをちゃんと読んだことはありませんでした．大学の研究室で研究をする上で，研究分野の最先端の論文，特にジャーナルに採録された論文をまず読むことが研究のスタートだと教わりました．最初に読んだ論
文は北海道大学の土橋先生が書かれた雲の CG アニメーションに関する SIGGRAPH 論文だったと記憶しています．研究
テーマを決める上で，当時セルオートマトンに興味を持った私が恩師である三浦憲二郎先生に相談したときに渡されたのがこの論文でした．今思うと確かに雲の生成過程をセルオートマトンでシミュレーションしていたのですが，私自身がやりたかったこととは少し違うように思えました．しかし，この論文は，私が CG 分野の研究にのめり込み，その後
10 年以上研究を続けるスタート地点になりました（三浦先生にこの論文を薦めていただいたことには今でも感謝しています）．その後，修士，博士課程に進むにつれて多くの論文を読み，CG 分野の中でも物理シミュレーションに興味を持
ち，その方面の研究を進めていくことになりました．そんな中で当然ながら，論文を読むだけでなく，自分でも論文を書いて投稿することにもなります．最初に自分が第一著者となって論文を書き外部に発表したのが，画像電子学会のVisual Computing 研究会と情報処理学会のグラフィックスと CAD 研究会が共催していたシンポジウム（現在の VisualComputing シンポジウム）でした．論文といっても予稿集に載る口頭発表論文なのですが，ちゃんとした査読があるところに投稿するのは初めてでしたので，投稿に当たってとても緊張した覚えがあります．その査読段階およびシンポジ
ウムの会場で様々なコメントをいただき，研究を更に進めて，最終的に論文誌に投稿し，無事採録されました．その後も他の論文を読み，それを参考に自分の研究を進め，成果が生まれてきたらまずシンポジウムで発表し，更に内容を拡張して論文誌に投稿するという流れで研究活動を進めてきました．
その意味でジャーナルというのは研究をスタートさせ，かつゴールを提供する場であるといえます．勿論，その間にシンポジウムや研究会などの発表を通じてコメントをもらい，研究をブラッシュアップしていくというフェーズがある
ものの，基本的な流れは変わりません．現在私は，自身が所属している筑波大学図書館情報メディア研究科で，研究科内で発行される紀要の編集にも関わらせていただいています．本研究科は，元々図書館情報大学という独立の大学であったこともあり，理系だけでなく文系の先生も多く所属しておられます．そのため，紀要には文系の研究室からの投稿も多いのですが，文系の論文を見てもやはり論文誌等での文献調査からスタートし，最終的に紀要などの論文誌に投稿するというプロセスは変わらず，論文誌と研究活動との密接な関係は共通というのを再認識しています．
さて，通信・ネットワークが発展し，投稿方法が電子化されて，論文誌そのものも電子化されつつあります．その結果海外のジャーナルでは従来の月次発行にこだわらず，採択した時点でネットに掲載し，より早期の成果発表を可能とする例が出ています．また，査読プロセスをサポートする査読システムでは，主としてシンポジウム・国際会議等向けに，単なる査読結果のやりとりではなく査読者間の議論が可能なものも増えてきました．さらに，最近はジャーナルとシンポジウムとの境がなくなりつつあり，本学会でも今年実施する国際会議 IEVC2019 では Journal Track という両者を兼ね備えた新たな試みを始めています．論文誌と研究の本質的な関係は今後も変わらないかもしれませんがこのように論文誌における電子化発行の普及や査読システムの進化により，研究の速度と質がより高められつつあるといえます．
今後 AI の進歩で校正作業はある程度自動化されるものと思いますが，査読の自動化は果たして実現されるのでしょうか？論文誌と研究活動とが持つ不可分の関係のさらなる充実と発展に向け，論文誌編集に関わるものとして，また，一研究者として引き続き尽力させていただきたいと考えています．

219

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）「IoT 社会の進展を支える画像電子関連技術」
論文特集に寄せて編集委員会
あらゆる「モノ」がインターネットでつながる IoT: Internet of Things (モノのインターネット)の社会が到来しようとしています．また，監視カメラ，自動車(ドライブレコーダー)，パソコン，携帯端末などで撮影された動画や静止画は，今や世界中に流布しており，IoT データそのものとなっています．そこで，これらの画像を活用可能とする画像電子関連技術は，IoT 社会の進展を支える一つの大きな柱になっていくものと考え，本特集を企画しました．
本特集には，多くの投稿を頂き本号(和文誌)には計 5 件（一般論文 2 件，システム開発論文 2 件，ショートペーパー1 件）の論文，英文誌（本年 6 月号）には 1 件の論文が採録されました．
「Structure from Motionを用いた背景の 3 次元形状復元による移動カメラ画像列からの歩行者消去」では，既存研究が持つ種々の制約を受けない物体消去手法，「環境中文字認識を利用した情報提供アプリケーションのためのウェアラブ
ルシステムの開発」および「獣害対策のための監視カメラ向けアライグマ検出器の構築と評価」では，具体的なアプリケーションに対するシステムと手法，「情報の多重埋め込みを可能とするグリーンノイズ拡散型電子透かし法」では，画像への新たな情報埋め込み手法，「フォグスクリーンによるホログラフィ立体像
投影法におけるフリッカの低減法」では，空間スクリーン投影画像の画質向上手法，6 月号英文誌に掲載予定の｢Fast Image Quality Enhancement for HEVC by Postfltering via Shallow Neural Networks」では，
H.265/HEVC 画質向上手法が提案されています．いずれも，画像を IoT データとして利用する際に発生する諸課題の解決に向けた画像電子関連技術研究成果をまとめていただいた興味深い論文になっています．
今後も，IoT データに関する画像電子関連技術研究の進展があるものと思われます．研究成果がございましたら，是非一般論文としてもご投稿いただければと存じます．
最後になりますが，本特集に論文を投稿していただいた皆様，査読関係者の皆様，並びに，事務局の皆様に心より御礼を申し上げます．
＊特集号編集理事
木村俊一（富士ゼロックス）（木村 俊一 記）

220

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）-- IoT 社会の進展を支える画像電子関連技術論文特集 --情報の多重埋め込みを可能とするグリーンノイズ拡散型電子透かし法河村 尚登（フェロー）
カワムラ・テクノラボ

Green-Noise Diffusion Watermarking Method Enabling to Embed
Multiple Information
Naoto KAWAMURA (Fellow)
Kawamura Techno Lab.

〈あらまし〉グリーンノイズ特性を示すドットパターンを用いて画像データに情報を埋め込むブロック型の不可視電子透かし法において，コード情報からなる主情報のほかに，二値パターンを副情報として情報の多重埋め込みを可能とする手法を提案する．主情報はグリーンノイズパターンで透かし情報として埋め込み，視認されにくく，強靭（robust）な耐性を示す．副情報は，主情報のスペクトルと重ならない高周波数域に分布するパターンで埋め込み，脆弱（fragile）な透かしとなる．それぞれ異なる抽出器により抽出することが可能である．利用形態として，著作権の保護，改竄検出，原本確認，不正流出の追跡などへの適用を可能とする．また，副情報は印刷用地紋や，ブロック同期用のマーカとしても利用可能である．
キーワード：電子透かし，グリーンノイズ，著作権保護<Summary> We propose an invisible block type Digital Watermarking Method which enables to embed multiple
information. The main watermark information is embedded by Green-Noise dot pattern, and secondary information issuperimposed on it. The Green-Noise pattern is perceptually low visibility for human visual system at the distance ofdistinct vision, and it represents high resilience for various attacks. The secondary information is embedded with a higher
frequency pattern which does not overlap with the spectrum of main information, then this will result in a fragile
watermark. Embedded information can be extracted separately by different extractors. The possible applications are
copyright protection, detection of tampering, confirmation of original, tracking of illegal outflow etc. Furthermore, the sub
information can be used as a copy-forgery-inhibited pattern and as a marker for block synchronization.
Keywords: digital watermark, green-noise, copyright protection

能とする．中でも，不可視型の電子透かしは，埋め込み情報

1. はじめにが人の眼では認識できず，かつ，原画像に近い品質のため広情報社会におけるデジタル化とネットワークの発展によい利用範囲が期待される．

り，容易に情報の複製ができ，物理的距離によらず多くの人
電子透かし技術は，その使用形態に対して異なる手法・アが情報を共有できるようになり社会の利便性が高まっている． ルゴリズムが用いられる．著作権保護のための電子透かしでしかし，その半面，著作権侵害や，情報の不正流出，情報のは，画質劣化を抑え，場合によっては印刷画像まで追跡可能
改ざんなどの各種セキュリティの問題が深刻化してきた．

としたり，透かしを除去し原画に戻したりする可逆性能も必

また，近年の画像機器の高画質化は原画と寸分も違わぬ要である．また，画像編集・加工などの様々な攻撃に対して複製が容易に得られるようになり，著作権を侵害した違反コ
強い耐性も要求される．このため深層に強く埋め込む必要がピーだけでなく，紙幣や有価証券等の偽造行為という悪質なあり，強靭（Robust）な透かしアルゴリズムが求められる．

犯罪行為を助長させる結果となっている．
一方，改ざんの検出を目的としたものでは，改ざんの有無
このような不正行為の対策技術の一つとして電子透かしのみならず位置の特定も可能とする必要がある．通常，脆弱（Digital Watermark）技術が注目されている．暗号化やDRM（Fragile）な透かしの埋め込みアルゴリズムが用いられる．

（Digital Right Management）と異なり，文書や画像情報の中に別の情報を直接埋め込み，除去が困難で，著作権の保護，

このように相矛盾する埋め込み手法となるため，それぞれの用途に対応したアルゴリズムとして発展してきた．

不正使用や偽造・改ざんの検出，不正流出の防止や追跡を可一方，著作権保護と改ざん検知を同時に実現する手法も提221

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

案されている1).Wavelet変換後の係数の大小関係に規則を与え， ステップで生成する．
Step1: 初期値として透かしの埋め込みと改ざん位置の検出を行っている．しかし，印刷耐性を得るためには係数に大きな値が必要で，アーティ

,

トを配置し

ファクトが視認されるようになる．

の領域に/2個のランダムドッとする．初期スペクトルはホワイトノイ

ズを呈す．
Step2: 次に，ドットパターンの二次元フーリエ変換を行い，本論文は，印刷耐性のある電子透かしと，改ざん検出のための透かしの埋め込みを備えた情報の多重埋め込みを可能と

Step3:

する不可視で可逆の電子透かしを提案する．まず，2章で運用

,

を得る．
,

,

形態と要件について，3章で本提案手法のアルゴリズムについに対して，周波数 ,
,

,

，

,

の帯域に制限するフィルタて，4章で実験と評価について，5章で考察，6章でその他の応用について述べ，最後にまとめを行う．

Step4:,′,

ターン ′ ,

2. 運用形態と要件

,

∙

,

図 1 に示す形態が考えられる．同図(a)は著作権保護対象の文書画像などへの埋め込みで，不正コピーや改ざんを検知し，

,

を乗じる．
(1)

に逆フーリエ変換を行い，多値のドットパを得る．

Step5: 誤差関数：

多重埋め込み可能な不可視型の電子透かしの運用として

,

が，

,

,

(2)

を求め，誤差の大きい順に白，黒反転する．

追跡を可能とする．埋め込みの主情報として著作者や配信者

Step2~5 を繰り返し行い，誤差関数が一定の値以下になったの名前，URL や配信日，管理番号などを埋め込む．副情報と時に終了し，最終的なドットパターンを得る．

して，関連するロゴマークや文字パターン，および改ざん個所を特定するためのパターンなどを埋め込む．著作権侵害の透かし埋め込み用のパターンとして，ビット“0”と“1”

追跡や改ざん画像の検出を可能とするという著作権保護の目に対応するため 2 種類のパターンを用意する．そのため，フ的からして電子データのみならず印刷画像までの追跡ができィルタ,ることが望ましい．
,!"

同図(b)はドライブレコーダや監視カメラなどへ搭載しセキュリティ対策を目的としたものである．
主情報として日時，を以下に示す楕円リング状の分布とする．

#

1,

$

$,!"

,!&'

#

$

$,!&'

こうして得られた最終ドットパターンを +
,

(1
,

3
，それを 90°場所などの情報を，副情報として改ざんの検知のパターンを回転したものを ,埋め込む．動画へのリアルタイム埋め込みが要求され，改ざターンとする．図 2(a),(b)にパターンの一例を示す．

とし，主情報の透かし埋め込み用のパんの有無だけではなく位置の特定も必要である．

3.2 副情報パターンの生成
副情報のパターン- ,3. グリーンノイズ拡散法のアルゴリズム
5)

3.1 グリーンノイズパターンの生成は，そのスペクトル分布が，主情報であるグリーンノイズパターンのスペクトルと重ならな
い高周波数域に分布するように設定する．一例として，1 画

印刷画像まで含めた著作権の管理・追跡と，改ざんされた
素単位の市松パターンを用いたものを図 2(c)に示す．そのス
場合の改ざん検出を可能とする要件を満たすために，主情報
ペクトルはナイキスト周波数となり，グリーンノイズのスペ
および副情報の多重埋め込みを可能とするグリーンノイズ拡
クトルとのクロストークはない．
散型電子透かし法を提案する．
本電子透かしに用いるグリーンノイズパターンは以下の

図 1 運用形態

図 2 埋め込みパターン

Fig.1 Applied system for digital watermark

Fig.2 Embedded pattern

222

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 3 副情報パターンの一例（図中，黒は 1,白は 0）
Fig.3 Examples of secondary information patterns (black region: 1,
white region:0)

図 5 主・副情報の抽出における画像処理
Fig.5 Image processing for main and secondary information extraction.

ターン生成時の + ，および 90°回転した , をマスクとした識

図 4 抽出用マスクパターン(図中，黒は 0,白は 1)

別器による輝度値の差分情報から求める．すなわち，ブロッFig.4 Mask patterns for information extraction(black region: 0, white region:1)

ク毎に，式(7)を計算し，透かしデータの埋め込みは，主・副情報を合成したパター
0.

,

0 1 とし，R×R の列をビット列に変換したものを1- ∈ 30,14 とし，ブロック毎ブロックに分割する．主情報の埋め込みは，埋め込みの文字に埋め込みビットに対応した +,込む．埋め込まれた画像を1とすると，以下のようにな,あるいは ,,

が望ましい．
1 ,

,

.

,

,
,

: +
,

# 56.7 ∙

,

1/2
1/2

1; 7 11; 7 1-

0
1

D

+

,

,

, $ ∈B

,

∙A

∙A

,

,

7

,

, $ ∈B

埋め込まれたビット 1- は式(8)により抽出される．
0
1-＝ F 1
不定

を埋め
|=+

る．56.7は埋め込み強度で，不可視であるためには56.7 ≪ 1∑ , $∈B

1
D
C,

C

ンをブロック単位で画像データに合成する．
,

>?

=,

3.3 透かしデータの埋め込み

今，画像データを.

,

=+

.
.

=+ =, G H;=, =+ G H;
IJ; K1.L

8=, |は信頼度を表し，H;は識別の閾値を表す．H;により，得られる透かし情報の信頼度を確認することができる．
図 5(a)に主情報の抽出のための画像処理を示す 7)．

(4)
(5)

3.5 副情報の抽出
副情報の抽出は，帯域分離フィルタにて主情報と分離でき

副情報は図 3 に示すような 2 値のロゴやパターンとし，埋め込み領域を9∈ 30,14 ，埋め込みパターンを- ,,とすると，主・副情報の合成されたパターン ′ ,
となる．
′

,

この ′ ,:-,,

1; 7 91; 7 9を式(4)，(5)の

,

,
,

1
0

るが，市松パターンの場合はより簡単に分離可能である．すなわち，図 4 のO+ , O, に示したマスクパターンの識別機を画

は，式(6)

素空間（実空間）にて埋め込み画像に畳みこみを行う．
P+

1

P,

6

1

,

,

∗ O+

∗ O,

(9)

式(9)で *は convolution を表す．出力ORSTと置き換えればよい．所定

より 2 値化して，式(10)となる．

の埋め込み信号列で合成されたパターンをブロック毎に埋め込む．図 2(d)に合成パターンとそのスペクトルを示す．

ORST

,

U

1 .
0

,

は閾値H;1に

V|P+ P, | G H;1
IJ; K1.L

ここで，Vは規格化の係数で，通常V

3.4 透かしデータの抽出
2)

(10)

1とする．抽出パター

ンの画像品質を表す評価量 NCC は，式(11)で表される．
主情報の抽出は，画像をブロックに分割し，ブロック毎にスペクトルを抽出し，そのスペクトルの形状から +
,

,

,

，

WXX

を識別する．識別方法として，図 4 に示すドットパ
ここで，O

223

,

∑ ∑Y O , ∙ ORST∑ ∑Y O ,,11は，劣化のないパターンを表す．図 5(b)にThe Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

ん個所では抽出が困難であるが，繰り返し重複して埋め込ま

副情報の抽出における画像処理を示す．

れているため13文字が正しく抽出された．

3.6 透かしの除去
4.2 画質評価
本手法は可逆型であるので完全に元の画像に戻すことが本手法では，ブロック単位で透かしを埋め込むが，ランできる．すなわち，式(4)および式(6)より，式(12)が導かれ，
.

,

1

,

56.7 ∙ ′,埋め込みパターン

,

.

(12)

ダムなドットのため両者の境界は目立ちにくい．

0,1 ，および56.7を“鍵”として原画像に戻すことができる．すなわち， +

,

，,

,

埋め込み画質に対する評価はPSNR（ピーク信号雑音比）
により評価することができる．埋め込み画像のダイナミック，56.7 および埋め込み情報があれば復元可能である． レンジを ，画像サイズをA `とするとPSNRは，式(14) となり，副情報の有無にかかわらず56.7のみの関数となる．
完全に復元するには，埋め込み画像のオーバー／アンダーフ
9

,

，

tW

ローを避けるため，ダイナミックレンジを56.7に応じ，式(13)MSEの線形変換をして埋め込み，除去後に逆変換を行えばよい．
.

,

1

56.7 ∙ .

,# 56.7/2

(13)

∴ tW

可逆性を必要としない場合は，この変換は省いても構わない．

10cI5,+
1
D .
A`
y,z

1

/Otu

(14)

20cI5,+ 56.7/2

一方，埋め込み画像を明視の距離で見た場合,視覚系の4. 実験と評価

VTF（Visual Transfer Function）により高空間周波数域が低下する．距離L[mm]におかれたP画素の画像をW[mm]で出力した

4.1 実験
カラー画像データをY, Cb, Cr変換し，輝度Yに透かし情報を時，VTFab bc L/ . cdは以下のように表される3), 4)．
VTF

ブロック単位で埋め込んでいく．ブロックサイズ は64×64とし，パターン +

,

は，

,

+

1, +

5 ，楕

_1/2 ∙ /2 である． , , はそれを90°回転したものである．図2 (a), (b)にそのパターンを示

円率は1.5とした．ここで，+す．副情報の埋め込み領域9,lmn2.72 i+.,jk∙op?∙q r1.3

lmn
op?q

i+.,∙

s

(15)

図 7 に56.7に対する PSNR を示す．2 つの埋め込み画像（.

,

1/2の平坦パターンおよび LENA 画像）が，150ppi

および 188ppi で明視距離（L=300[mm]）に置かれた時の VTFのパターンは，改ざん検出を考慮した PSNR（視覚的 PSNR）を求めたものである．VTFのため図3のジグザグパターンを選んだ．埋め込みビット0,1に応じてパターン + ， , を決め，副情報との合成パターンをを考慮した場合，PSNR は 5~7dB 向上する．LENA 画像では
低56.7では画像自体のエッジ情報が平滑化されるため PSNR

作成し，画像に埋め込んだ．
図6に画像出力を示す．(a)は960×576の原画にブロックサイ
ズR=64，56.7==0.1875で13文字（“copy prohibit”）を埋め込んは低下する．印刷耐性を要求する場合，56.7は 0.125~0.1875
以上が必要で 6)，視覚的 PSNR は 30dB 以下となる．
図 8 は，副情報を多重化することによる主情報への影響を電だもの，(b)は(a)の画像の一部改ざんした画像，(c)は改ざん画
子データで見たものである．副情報を入れても，PSNR およ
像の主情報抽出のためのスペクトル図，(d)は副情報を抽出しび視覚的 PSNR は変化しないが，主情報抽出の信頼度が低下たものである．(d)の図から改ざん個所ではジグザグパターン
する．したがって，同程度の信頼度を得るためには多少56.7が消失し，改ざんされていることが分かる．主情報は，改ざを大きくする必要がある．

図 7 埋め込み画質の56.7に対する PSNR

図 6 改ざん検出

Fig.7 PSNR versus 56.7 curve for watermark embedded image

Fig.6 Tampering detection

224

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

4.3 耐性評価
4.3.1 各種処理における耐性
512×512の画像に，主情報として8文字（“20180623”）を，副情報として矩形パターンを56.7=0.125で埋め込んだ画像に対して各種画像処理を行い，耐性評価を行った．図9および図10に耐性評価結果を示す．
JPEG圧縮ではQ=70, 50, 30と圧縮率を増大させても，主情報は高い信頼度で抽出できた．副情報のNCC値は低下したが，矩形のパターンは識別できる．変倍処理に関しては，ブロックの同期がずれるため主情報の抽出はできなかった．一方，
副情報ではNCC値は低下するが，0.75倍から1.5倍の範囲で副
情報の概略パターンは視認できた（図では縮小画像のため消失しているように見えるが，等倍では十分視認できる）．回転
処理に対して主情報は抽出できなかったが，副情報は0°から
図 8 副情報挿入による主情報への影響

5°の範囲で視認できた．平滑化処理，Shading処理，ガウスノ

Fig.8 Influence of main information by insertion of secondary information

イズ付加処理では，主情報は高い信頼度で埋め込み情報は抽出できたが，副情報は，平滑化処理では完全に消失し，Shading,
ガウスノイズに対しては，NCC値は大幅に低下した．
4.3.2 印刷における耐性
図11に印刷耐性の結果を示す．上段は512×512の画像に

56.7=0.25で8文字の主情報（“20180623”）と，矩形の副情報を埋め込んだ電子データでの出力を，下段は188ppiの解像度
でインクジェット用の普通紙にプリントした後，600dpiのスキャナで読み取った画像を示す．読み取った画像を512×512

図 10 各種処理に対する主・副情報の耐性(2)Fig.10 Resilience for main and secondary information from various
attacks of image processing (2)図 9 各種処理攻撃に対する主・副情報の耐性(1)Fig.9 Resilience for main and secondary information from various attacks
of image processing (1)225The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 11 印刷による主情報及び副情報の耐性
Fig.11 Resilience of main and secondary information from attacks byprinting

図 12 印刷された帳票からの主・副情報
Fig.12 Extraction of main and secondary information from printed formにBi-linear法にて解像度変換し透かし抽出を行った．主情報は， パターンとなってはいるが，副情報は抽出できる．これは後信頼度は大きく低下しているが埋め込み8文字を正しく抽出

述する同期用マーカとしての利用が可能であることを物語っできた．一方，副情報は，NCC値が0に近く完全に消失していている．

る．したがって副情報には印刷耐性がないことがわかる．こ6. その他の応用のため，副情報による改ざん検出等の応用は，紙媒体では抽出が困難で電子データのみとなる．

6.1 映像セキュリティ

5. 考察

運用形態で述べたドライブレコーダや監視カメラなどのセキュリティ対策では，動画像への埋め込みが必要となる．

5.1 画質に対する考察
主情報として日時，場所（GPS 情報）などの情報を，副情報
本手法では印刷耐性を満たすため56.7を0.125~0.1875よりとして改ざん検知用のパターンなどを動画に埋め込み，透か大きな値で埋め込まなければならずPSNRは低い値となる．しw の分散は各画し埋め込みと改ざんの検知を可能とする．主・副情報の透か素で均一で，式(15) となり，突出した偏りがないため，空間理が可能で，
動画像へのリアルタイム埋め込みが可能である．

かしながら，埋め込み画像と原画像の差 i
56.7⁄2

しの埋め込みは実空間で埋め込むことができるため，高速処的一様性に優れ，視覚的には大きな画質劣化は感じられない． 透かし抽出は演算負荷が大きいため，高速読み出しは難しい
Var i

w

(15)

が，リアルタイム性が要求されないため実用的には問題とな

電子データのみで用いる場合は，56.7を小さくでき，かつ， らない．
ブルー色や色差成分（例えば，Cb成分）に埋め込むことによ

6.2 帳票印刷時におけるセキュリティ対策
り高画質を維持できる．
電子政府，自治体のインターネットによる各種証明書の電5.2 耐性に対する考察
子交付や，電子チケットなどでは，受け取り側では紙媒体で各種攻撃に対する電子データでの耐性評価を行った結果， の使用が多い．このため，印刷帳票での改ざんや偽造に対す
主情報は，平滑化やshading，ガウスノイズなどの輝度情報にるセキュリティ対策が必要となる．主情報として配布者名，

影響を与える画像処理に対しては強い耐性を示すが，変倍や資料番号，日付，受信者名などを，副情報として警告パター

回転処理などの位置情報が変動する処理に対しては耐性が低ンや改ざん検知用パターンなどを埋め込む．副情報は印刷でいことが分かった．これは変倍や回転処理ではブロック同期は消失するが，特別な処理をすることにより，地紋パターンが得られなかったためである．ブロック同期が得られるようのように印刷画像で顕像化させることができる．図12は帳票に補正を行えば正しく抽出でき，透かし情報が消失されたわ

でのセキュリティ対策を示したもので，同図(a)は1024×512

けではない．

の帳票画像にブロックサイズ64，56.7=0.25で16文字の主情報

一方，副情報は，空間周波数の高いパターンで書き込む“20180623No123456”と，ジグザグパターンの副情報を埋め込ため消失しやすく，平滑化処理に対しては完全に消失する．

んだものである．同図(b)は175ppiでインクジェットプリンタ

また，実空間（画素空間）で抽出するため輝度変化にも影響

にて印刷出力したものと一部拡大を示す．副情報の市松パを受けやすい．しかし，変倍や回転処理のように空間位置がターンは消失している．同図(c)は3×3のLaplacianにてエッジ

変動する処理では，市松パターンとのビートが生じ，細切れ強調を施して印刷画像を出力したものとその一部拡大図であ226

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 13 プリント画像からの副情報抽出
Fig.13 Extraction of secondary information from printed form

図 14 ブロック同期用マーカの埋め込み
Fig.14 Applied system for digital watermark

る．副情報が地紋模様に顕像化され，改ざんがある場合位置の特定が可能となり印刷画像で改ざんの判定が可能となる．
などを，副情報としては改ざん検出用のパターンを埋め込む．
同図(d)は(c)の画像をスキャナにより600dpiで読み取り，画像
副情報は耐性が脆弱であるため編集・加工，改ざんなどの検補正（元の画像サイズに戻す）をした後，主情報の抽出を行出に利用できる．さらに，帳票などでは副情報を印刷時に地い埋め込まれた16文字を抽出することができた．主情報と副紋として出力することにより，印刷媒体においても改ざんの情報から真贋判定，改ざん検知，警告などが可能となる．
有無を確認することが可能である．埋め込みは実空間で高速
図13は文書の白背景に56.7=0.75で透かしを埋めこんだもに行えるため，ドライブレコーダや監視カメラなどの動画像のである．同図(b)はこれを188ppiでプリンタの濃度を多少高めへのリアルタイム埋め込みが可能である．
て出力したものである．ドットゲインの増大で副情報の市松パターンがつぶれ，周囲のグリーンノイズドットと濃度差が生じ浮き上がってくる．
一般に，改ざん検出は図6で説明したように，副情報の印

文献1) 渡邉淳，長谷川まどか，加藤茂夫：“著作権保護と改ざん検知を同時に実現する電子透かし方式”， 画像電子学会誌，Vol. 33, No.
5, pp. 756-764 (2004).

刷耐性がないため不可能であるが，このようにすることにより副情報の検出を紙媒体まで広げることができる．しかしながら，この方法はプリンタエンジンの特性，出力画像サイズ

2) C. Temi, S. Choomchuay, A. Lasakul: “A Robust Image Watermarking
Using Multiresolution Analysis of Wavelet”, IEEE Proc. ofInternational Symposium on Communications and Information
Technology (ISCIT) , pp.623–626 (2005).

および印字ドットサイズなどに影響を受けるため，事前に十3) R. P. Dooley; “Prediction Brightness Appearance at Edges Using Linear
and Non-Linear Visual Describing Functions”, SPSE Annual Meeting(1975).

分なキャリブレーションが必要である．

6.3 ブロック同期用マーカとしての利用

4) 坂田晴夫：“視覚の特性”, テレビジョン学会誌 Vol. 37, No. 11, pp.
948–955 (1983).

ブロック型の電子透かし手法では，抽出用マスクとブロックの同期が重要となる．そこで副情報を同期用のマーカとして利用することで高精度な同期が可能である．図14は同期用マーカを埋め込んだもので，同図(a)は埋め込み画像，同図(b)は副情報を抽出したものを示す．副情報は埋め込み文字ビッ

5) N. Kawamura：“Digital Halftoning by Stochastic Dither Screen Mask
Representing Green to Blue Noise Characteristics”, IIEEJ Trans. on
IEVC, Vol.5, No.1, pp.34–41 (2017).
6) 河村尚登：“グリーンノイズマスクを用いた印刷耐性のある電子透かしの検討” 画像電子学会第45回年次大会予稿，R1-3 (2017).

トのMSB（最上位ビット）に十字パターンとして埋め込まれ

7) 河村尚登：“グリーンノイズ拡散法による印刷耐性のある電子透かし”，画像電子学会誌，Vol.48, No.2, pp.290–302 (2019).

る．耐性評価で述べたように，副情報は0.75～1.5倍の変倍，Trans on IEVC Vol. 5, No.（2018 年 12 月 17 日 受付）±5°以内の回転に対しては抽出が可能である．したがってこの範囲以内であれば複数のマーカ位置から元の画像サイズを河村 尚登

推定することが可能となり，ブロック同期をとることが可能

1971 年九州大学理学部物理学科大学院修士課
程修了．同年，キヤノン(株)入社．光学設計，
カラーレーザ複写機，カラープリンタの開発，
画像処理，画像符号化などの研究開発に従事．
1990-1996 年，キヤノン豪州研究会社（CISRA）
取締役．現在 カワムラ・テクノラボ．工学博
士．映像情報メディア学会，日本画像学会各会
員．本学会フェロー，編集委員．

となる7)．

7. まとめ
情報の多重埋め込みを可能とするブロック型のグリーン
ノイズ拡散型電子透かし法を検討した．主情報はグリーンノ
イズパターンによる埋め込み，副情報は，ナイキスト周波数となる市松パターンによる埋め込みを多重化して行う．それぞれのスペクトルのクロストークが少ないため，埋め込まれた主・副情報の分離・抽出は高精度に行える．
著作権保護の利用形態として，主情報には著作者名やURL

227（フェロー）

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
IIEEJ

☠ᄚ

-- IoT 社会の進展を支える画像電子関連技術論文特集 --Structure from Motion を用いた背景の 3 次元形状復元による移動カメラ画像列からの歩行者消去
八

木

賢太郎†

長谷川

邦 洋†

斎 藤

英 雄†（正会員）† 慶應義塾大学

Diminished Reality for Privacy Protection by Hiding Pedestrians
in Motion Image Sequences Using Structure from Motion
Kentaro YAGI† , Kunihiro HASEGAWA† , Hideo SAITO† (Member)† Keio University〈あらまし〉 近年，画像中から任意の物体を消去し，まるでその物体が存在していないかのような画像を生成する技術が盛んに研究されている．こうした技術は画像中に写り込んだ人物のプライバシーの保護など様々な目的で用いられている．しかしながら既存研究には「複数カメラが必要である．
」，「消去対象物体が静止している必要がある．
」，「背景が平面である」といった制約があった．そこで本研究ではハンドヘルドカメラ一台のみを用いて撮影され，かつカ
メラ撮影者と消去対象人物の両方が移動を行うような，動的シーンに対して使用可能な人物消去技術を提案する．また，背景の 3 次元形状復元を行い，それを元に人物消去を行うため，任意の背景を持つシーンに対して使用可能である．実験では物体消去を行う複数の既存手法との比較を行い提案手法の優位性を示す．
キーワード：diminished reality, structure from motion, 3 次元復元, multi-view stereo<Summary> In recent years, techniques for diminishing objects from images are actively researched.
These technologies are used for multiple applications such as privacy protection for people who are unconsciously in images. However, conventional methods have constraints such as “multiple cameras are required”,“the object to be diminished is required to be static”, “the background must be a plane.” In this research, we
propose a method for diminishing people in an image sequence using a single handheld camera. We supposethat the scene is dynamic of which both photographer and people to be diminished are moving while thevideo is being recorded. In addition, the background can be arbitrary shape because we reconstruct 3D
shape of it. In the experiment, we compare the proposed method with existing methods for diﬀerent scenes
which have various backgrounds.
Keywords: diminished reality, structure from motion, 3D reconstruction, multi-view stereo

その人物がもとから存在していなかったかのような画像を生

1.

はじめに

成する技術が求められている．

近年， SNS や Google Street View などを通して誰もが容提案手法ではハンドヘルドカメラ 1 台で撮影された映像か

易に写真や動画の投稿，閲覧を行うことが可能である．このら，背景 3 次元モデルを復元することで画像中の人物消去を際，関係の無い人物が画像中に写りこみプライバシーの侵害行う． 本研究の特徴は，従来手法では実現の難しかった「背を受ける場合がある．そこで彼らのプライバシーを保護する景が平面と近似できないような奥行きを持つシーン」，「カメ

ために画像に写り込んだ人物に対して，顔にモザイクをかけラ撮影者も消去対象人物も移動を行うシーン」，「ハンドヘルたり，別の色でマスクするといった対策が行われている．しドカメラ一台で撮影されたシーン」において自然な画像を生かしながら，そうした処理により生成される画像は明らかに成できる点である．

元画像と異なるため，動画自体の見栄えを損なう恐れがある．

まず Structure from Motion を用いて背景の 3 次元モデ

そこで自動的に画像中に写り込んだ人物を検出し，あたかもルを取得する．この際，人検出領域外の特徴点を用いること

228

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

で人を含まない背景のみの 3 次元点群を取得する．その後，そこで本論文で提案する手法では移動カメラによって撮影

Multi-view Stereo，点群のメッシュ化， Texturing を行うされた映像に対しても使用可能であり，かつ背景の 3 次元形

ことで密な 3 次元モデルを生成する．最後に 3 次元モデルの状を復元可能な前景背景分離手法として，前景領域の抽出に

レンダリング画像と入力画像を合成することで画像中の人物

は，物体検出モデルの state-of-the-art である YOLO7)を用を消去する．

い， 背景の 3 次元復元には Structure from Motion を用いる．背景の 3 次元復元を行うことで各フレームでのカメラ視

2.

関連研究

点から見たレンダリング画像を生成することができ，背景形

本研究の目的は移動カメラによって撮影された映像中の歩行者を消去することである．本手法では事前に消去対象とな状によらない前景消去を行うことができる．

2.2 物体消去

る歩行者を前景領域として抽出しておき， Structure from

Motion によって復元した背景領域の 3 次元モデルを各カメ
ラ視点へレンダリングすることで人物消去を行う．本章では

2.1 節で前景背景の分離について，2.2 節で物体消去について
既存手法との比較を行い，提案手法の位置付けを明確にする．

一般的に，映像中の物体を消去する場合には異なる位置姿
勢から撮影された別の画像を用いる． Enomoto らによる研究ではカメラ前方の障害物を消去ことで対象平面の透視を行う8)． Enomoto らは AR マーカーによって対象平面を推定し，平面射影変換を施した別視点の画像を対象平面に投影す

2.1 前景背景分離ることで障害物を消去する． Flores はプライバシーの保護

多くの前景抽出手法は，事前に背景となるモデルを定義し， を目的とし， Google Street View に映り込む人物の消去を
そのモデルに当てはまるか否かによって前景背景領域を決定

行う9)．対象シーンに移動物体が無いこと，対象人物の背景するという考え方に基づいている．その内最も単純な方法は， が別フレームから撮影されていことを前提としており，平面
時間軸方向に平均化された背景画像に対して，ピクセルごと

射影変換を行うことで人物を消去する． Hasegawa らは，本の差分を求める手法である．例えば Bayart らが提案する AR研究と同様に消去人物が移動しているような画像列から人物システムでは，ユーザー視点カメラに CG を投影する際に， 消去を行う10)．しかし，背景が平面に近似できること，撮影
背景差分法によってカメラに写りこんだ物体を特定し消去し者が 1 か所に留まっていることを前提としており，提案手法ている1)．またピクセルごとの差分ではなく，背景領域をあるのように撮影者も移動するようなシーンには対応していない．

統計モデルとして表し，モデルに当てはまらない領域を前景らは混合ガウスモデルを用いて映像に写り混んだ物体群を複Li らはインターネット上に公開されている画像に付加された
Geo-Tag 情報を利用して人物消去を行う11)．まず消去したい人物が含まれた画像の Geo-Tag 情報から大まかな撮影位

数領域に分類することで前景の抽出を行っている?)． 玉木ら置を推定する．続いて，その周辺で撮影された画像群を用いは上記の方法を組み合わせ，フレーム間差分により動的な物て Structure from Motion を行い，各画像のより正確な撮体を抽出した後に，事前に定義された人体モデルに当てはま

影位置を取得する．その後，Structure from Motio に用いる領域のみを前景領域として抽出することで動画中の人物領た画像に対して平面射影変換を行うことで画像中の人物消去

域を抽出する手法を提案し有効性を示した4)．しかしこれらのを行う．これらの研究は，どれも消去対象人物の背景が平面

手法は固定カメラで撮影された映像を入力としており、我々であると仮定し，別視点画像に対して平面射影変換を行うこが対象としているような移動カメラによって撮影された映像とで対象物体の消去を行っている．そのため背景が平面と近には対応していない．

似できるようなシーンにしか対応できず，本研究が対象とすとして検出する手法もある．例えば Zivkovic ら， Friedman

自由移動カメラによる前景背景分離手法として穣田らの研5)

究があげられる ．穣田らは特徴量マッチングによって生成るような背景が複雑な 3 次元形状を持つようなシーンでは正
しく対象物体を消去できない．

されたパノラマ画像との背景差分を行うことによって前景領

任意の 3 次元形状を持つシーンに対しても使用可能な物体域の抽出を行う．穣田らの手法は背景が平面と近似できるよ

消去手法として， Honda らによる手法があげられる12)．こうなシーンを想定しており，カメラと撮影シーンが近かったの手法では RGB-D カメラを用いて生成された背景 3 次元モ

り，カメラ向きが大きく変動するシーンには対応していない． デルを利用して対象物体の消去を行う．本手法にはユーザー

Sheikh らは背景形状に依存しない前景背景分離を行うため

視点映像を撮影する RGB カメラと，背景の 3 次元復元を行に，特徴点の軌跡を用いた前景背景分類手法を提案した6)． うための RGB-D カメラの 2 台のカメラが用いられる．ユー

Sheikh らの手法は，複雑な形状を持つシーンでも使用可能である．しかしながら背景の 3 次元形状を復元しているわけ

ザ視点カメラで撮影された画像と隠背景撮影カメラで撮影さではないため，我々の手法が目的としている前景領域消去の位置を求め，背景 3 次元モデルをレンダリングすることでために，各フレームでのカメラ視点から見た背景領域画像を

対象物体の消去を行う．各フレームごとに 3 次元モデルの更生成する必要がある場合には向いていない．

新を行うため，消去対象物体が移動するような動的シーンに229れた画像のマッチングを行うことで， 2 台のカメラの相対

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 1 提案手法の流れ
Fig. 1 Flow of proposed method

対しても使用可能である． Kawai らによる研究では，全方シーンでの人物消去を行うため，移動画像列から背景の 3 次

13)

位カメラによって撮影された画像列から人物消去を行う． 元モデルを取得する．動的シーンにおける 3 次元形状復元手

この研究では，まず Stracture from Motion と Multi-View

法として Tanaja らや， Mustafa らの手法が挙げられる?)．

Stereo を用いて各フレームにおける Depth マップを生成す

これらの手法では，異なる視点から複数カメラで運動中の人る． Depth マップを用いて背景領域の変換を行なっている物を撮影し 3 次元復元を行う．これに対して本手法では移動ため，背景の 3 次元形状を考慮したワーピングが可能である． カメラ中の背景領域の 3 次元モデルを復元する必要があるた
その後エネルギー最小化を用いて人物消去を行うが，この時め Structure from Motion と Multi-View Stereo を用いて対象物体が持つ意味は考慮しておらず，消去対象人物以外の

3 次元復元を行う． このとき事前に前景領域を抽出しておくことで前景領域を含まない背景のみの 3 次元モデルを得るこ

移動物体も全て消去されてしまう．また，消去対象人物が着ている服の色が背景と似ている場合など，背景部分と消去対とができる．前景消去の際には復元された 3 次元モデルを各象部分のエネルギー差が小さい場合は上手く消去が行えない

カメラ視点へレンダリングすることで背景画像を生成し，背恐れがある． Granados らはハンドヘルドカメラ 1 台で撮影

景画像と入力画像を合成することで対象人物の消去を行う．

された，背景が奥行きを持つような動画に対して，背景の 3次元形状復元を行わずに人物消去を行う14)． Granados らの手法では消去対象人物の背景を複数平面に分割し，それぞれの平面に対して他フレームからの平面射影変換行列を求める．
これにより急に奥行きが変わるシーンでも物体間の幾何学的整合性が保たれた，自然な画像を生成することができる．
また他の物体消去手法として，背景可視部分のテクスチャを元に不可視部分の画素値を予測して物体消去を行う方法がある?)．
これらの手法は物体背景のテクスチャが持つ連続性を用いて物体消去を行うため，背景が連続的なテクスチャを持つ場合には有効であるが，背景が不連続である場合には不自

3.

手

法

提案手法では人領域を含まない背景 3 次元モデルを生成し，そのレンダリング画像を用いて人物消去を行う．まず初めに画像中の人領域検出を行う．その後，人検出領域外の画素を用いて Structure from Motion， Multi-view Stereo， メッ
シュ化， Texuturing を行うことで人を含まない背景 3 次元
モデルを生成する．その後， 生成された 3 次元モデルのレンダリング画像と入力画像を合成することで，画像中の歩行者消去を行う．図 1 に提案手法の流れを示す．

然な背景が重畳されてしまう．また，実際の観測に基づいて

3.1 背景の 3 次元モデル生成

不可視部分の画素を推定する訳ではないため，重畳された背まず，画像中の人領域検出を行う．本手法では物体検出

景は実際の形状とは異なる．

の CNN モデルである YOLO7)を用い，人とラベル付けさこうした物体消去手法に対して， 提案手法は以下の 3 つのれた矩形領域を人検出領域とする．また YOLO の学習には特徴を持つ．
「3 次元復元を行うため背景が平面と近似できな

ImageNet 1000-class competition dataset20)を用いた．全いような奥行きを持つシーンに対しても使用可能である点」， フレームにおいて人領域検出が終わったら，続いて Structure「カメラ撮影者も消去対象人物も移動を行うような動的シー from Motion を行い疎な背景 3 次元点群を生成する．画像間ンに対して使用可能である点」「ハンドヘルドカメラ一台でのマッチングを行う際には人検出領域外の特徴点を用いる．

撮影された映像に対して使用可能である点」．提案手法ではこれにより人物が 3 次元復元されるのを防ぐことができ，背これまで 1 台のカメラでは実現が難しかった，奥行きのある景のみの 3 次元点群を得ることができる．各画像での特徴量

230

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）!"#$%&'((&)$'*"+, -.,)/')+01#

図3

図2

3 次元点群とメッシュモデルのレンダリング画像
Fig. 2 Rendered images of pointcloud and mesh model!-#$2,)/,3,/$'*"+,$&4$56$*&/,.

poisson image blending27)の出力結果とレンダリング
画像Fig. 3 Result of poisson image blending27)and rendered
image

抽出には SIFT 特徴量21)を用い， Structure from Motionには 3 次元復元に関するオープンソースである OpenMVG
を用いる22)．続いて Multi-View Stereo を行い，より密な3 次元点群を取得する．本手法では Barnes らが提案した手法を用いる23)．次に，得られた 3 次元点群同士を繋ぎ，点群のメッシュ化を行う．この時， Structure from Motion，Multi-View Stereo によって得られた点群がどれほど密であるかは入力画像列の総フレーム数，各フレームで検出される

図4

特徴点数などに依存する．その為点群のメッシュ化には，入力点群の密度に依存せず，かつガラスや壁などテクスチャレスな環境においても頑健にメッシュ化が可能な Jancosek らの背景画像の重畳結果と poisson image blending27)の出力結果

Fig. 4 Results of superimposing and poisson image
blending27)手法を用いる24)．その後，得られたメッシュに対して Vu らことを目的としているため入力画像をベースに背景画像とのの手法を適用することで，生成された 3 次元モデルの円滑化合成を行い最終的な出力とする．

25)．最後に，得られた 3 次元モデルに対し Weachter

続いて画像合成の手順を説明する．まず同視点にレンダリらの手法を用いてテクスチャを施し，背景 3 次元モデルを得ングされた背景画像から人検出領域に対応する領域を切り抜る26)．テクスチャ生成には入力画像群を用いるが，この際消く．この画像を入力画像に重畳することで人物消去を行う．

去対象人物がテクスチャに映り込まぬよう，人検出領域に含しかし単純な重畳では入力画像と背景画像の境界線が目立ち，まれるピクセルはテクスチャ生成には用いないこととする．

画像に不自然さが残る．そこで poisson image blending27)をを行う

用いて画像を合成することで，より自然な出力を得る．図 4

3.2 2 次元画像への投影
続いて， 3 次元モデルから 2 次元画像へのレンダリングを行い，背景画像群を生成する．レンダリングには Structurefrom Motion により得られた，各フレームにおけるカメラの
位置姿勢推定値を利用する．
ここで得られた点群をそのままレンダリングした場合と，メッシュ化，テクスチャ生成後の 3 次元モデルをレンダリン
グした画像を比較する． 図 2 からわかるように Multi-View

Stereo を行ったとしても窓や壁など特徴点の少ない箇所は十分な点群が生成できず黒く穴が空いたようになってしまう．

に背景画像を人検出領域へ重畳した結果と，poisson image

blending27)による出力結果を示す．
poisson image blending27)を行う際，入力画像と背景画像を入力とすると，消去対象人物も出力結果に含まれてしまう．
そのため poisson image blending27)の入力は，背景画像重畳後の入力画像，背景画像，人検出領域のマスク画像とする．
このときマスク画像は人検出矩形の縦幅，横幅を 10 % 広くした領域とする．こうすることで，合成を行う際に境界部分が滑らかになり，より自然な画像が生成される．

それに対して本手法のようにメッシュ化，テクスチャ生成を行うことで欠損領域の少ない背景画像を生成することができる．

4.

評

価

本章では 2 つの実験を行った．実験 1 では異なる背景を持

3.3 入力画像と背景画像の合成

つ複数シーンに対して提案手法，既存手法を適用し，定性的

最後に，得られた背景画像群と入力画像群を合成することに出力結果の比較を行なった．実験 2 では提案手法，既存手で画像中の人物を消去する．ここで，背景画像を最終的な出法に対して，出力結果と背景画像の近似度を計測することで，力とせず，入力画像との合成を行うのは，図 3 に示すように， どの手法が最も実際の背景と近しい画像を生成できるか評価
背景画像は画像中の一部に欠損領域を含む場合があるためでした．

ある．ある領域が動画中で異なる視点から観測されなかった比較を行う既存手法として，Granados らの手法14)のようり， 3 次元復元に十分な特徴点が得られない場合，こうしたに，消去対象人物の背景部分のテクスチャを，背景が撮影さ欠損領域が生じる．また実際の背景と近しい画像を生成する

れている他フレームに対して平面射影変換を行うことで補完

231

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

保ったまま人物の消去を行うことができた． scene 1， scene

4， scene 5， scene 6 に示すように消去対象人物の背景に奥行きを持つ物体が存在していても，背景にズレが生じていな
いことがわかる．それに対して平面射影変換法では図中の赤枠で示す箇所において不自然な結果となっている． scene 1 で&#$%$!"#

は木の位置が背景とズレてしまっている．これは元画像中において人物の背景に存在する木が隠れてしまっているために，!"#$%$!&#

図5

木の平面に対するホモグラフィー推定がうまくいかなかったためである．同様に scene 6 でも人の背景に完全に隠れてし実験環境まったポールに対してはホモグラフィーを求めることができ

Fig. 5 Experimental environment

ず歪んだ画像となっている．また scene 5 では背景の滑り台する手法 (平面射影変換法)，そして Deep Learing を用いた
画像補完手法の state-of-the-art である Iizuka らの手法17)をにズレが生じている．これは滑り台が十分なテクスチャを持たないために，ホモグラフィー推定が上手く行かなかったためである．その一方で scene 2， scene 3， scene 7， scene

選択した．
平面射影変換法については，人検出領域背景領域を複数平面に分割し，それぞれの平面に対して他フレームからのホモグラフィー行列を求めることにより実装した．この手法の具体的なアルゴリズムを次に示す．まず，消去対象人物が含まれるフレーム t に対して，人検出領域の背景を手動で複数平
面 P = p1 ，p2 ，．
．
．
，pn に分割する．それぞれの平面 pk に対して，フレーム t とできるだけ近く，かつ pk が観測されているようなフレーム t′ を手動で選択する． t 中の pk が含まれる平面と，t′ 中の pk が含まれる平面間でのホモグラフィー行
列 H を求める．H によって射影変換した背景画像とフレー
ム t を poisson image blending27)を用いて合成する．画像間のマッチングを行う際には AKAZE 特徴量を用い，また Hの推定には RANSAC を用いた．poisson image blending27)を行う際には，提案手法と同様のパラメータを用い，背景画
像重畳後の入力画像，背景画像，対象平面 p のマスク画像を

8 のように消去対象人物の背景において急な奥行きの変化が生じていないシーンでは平面射影変換法でも自然な画像が生成できることがわかる．

Iizuka らの手法17)では，複数シーンにおいて，消去対象人
物の背後に存在する物体が復元されなかった．scene 1， scene
4， scene 6， scene 7 における結果を見てみると，本来存在するはずの木やポールが復元されていないことがわかる．これは Iizuka らの手法17)では実際の観測に基づいて不可視領域を補完するのではなく，他領域の画素値を元に領域内部の画素値を求めているためである．このように Iizuka らの手法17)をはじめとする inpainting 手法では消去対象人物の背景に完全に隠れてしまった物体は復元できないという問題がある．また，隠背景領域が大きくなったり，テクスチャが複雑になるほど背景の復元は難しくなるため，人検出領域が比較的大きい scene 1， scene 8 では背景が歪んだような画像が生成された．これに対して，本手法では背景の 3 次元モデ入力とした．
動画の撮影には Apple 社の iphone6s を用いた．解像度は1,920×1,080 でありキャプチャ速度は 30fps である．また，
図 5 に示すようにカメラ撮影者，消去対象人物の両方が移動を行うシーンで撮影を行なった．その際，歩行者とカメラ撮
影者は最も近づいた時で 5m-10m 程の距離を保ち，カメラ撮
影者は歩行者の進行方向と逆方向に 15m ほど歩行しながら撮影を行った．また背景 3 次元モデルから 2 次元画像へのレルを用いて人物消去を行なっているため，人物の背景に隠れた物体も復元が可能である．また，消去対象領域の大きさや背景のテクスチャに依存せずに自然な人物消去が可能である．
また，提案手法は scene 8 に示すように消去対象人物が複数人存在するようなシーンであっても使用可能である．人物
消去ができるかどうかは背景の 3 次元復元ができるかどうかに依存しているため，複数人の消去対象人物がいても人物背景が複数フレームによって撮影できていれば，消去対象人物

ンダリングには Blender 2.78b を使用した．

の数には関係なく本手法を適用できる．

4.1 実験 1

scene 6 では背景とズレることなく人物消去できているが，

実験 1 では異なる背景を持つ 8 つのシーンに対して人物

背景と消去対象人物の背景に存在する支柱が短く投影されて消去を行いその出力結果を定性的に評価した．図 6 に各手法しまっている．これは 3 次元点群に対するメッシュ化，メッによる出力結果を示す．左から順に入力画像列中のある 1 フ

シュの円滑化の過程でポールの先端が削られてしまったため

レーム，同フレームに対する提案手法の適用結果，平面射影である．3.2 節で示したように，メッシュ化を行うことで点変換法の適用結果， Iizuka らの手法17)の適用結果である．

群が得られないような箇所に対しても補完ができるが，この4.1.1 実験結果

シーンに含まれるポールのように急激に形状が変わるような提案手法では背景の 3 次元モデルを生成しているため背景箇所はノイズとして除去されてしまう場合もある．そのため，が平面に近いシーン，奥行きを持つシーンの両方で整合性を急に形状が変化するような箇所に対しても使用できるような

232

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 6 提案手法の適用結果
Fig. 6 Results of proposed method

233

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 7 実験 2 の流れ
Fig. 7 Flow of experiment 2
(
!"##$

!""

!"##'
!"##&
!"##%
!"##

 

!"#$%&'()*!"#+,-"./

!"#$$
!

%!

&!

'!

$!

(!!

(%!

(&!

('!

($!

%!!

%%!

%&!

%'!

%$!

)!!

)%!

)&!



図 8 各手法の NCC 値
Fig. 8 Value of NCC of each method

メッシュ化の方法を検討することが今後の課題である．

4.2 実験 2
実験 2 では各手法の出力結果と，人の写っていない背景画像を比較することで，どれだけ実際の背景と近しい画像を得られるかを定量的に評価した．まず ground truth となる背景画像を取得するために歩行者がいないシーンで動画の撮影を行った．その後，動画中の各フレームに人物画像を重畳することで擬似的に歩行者が写り込んだ動画を生成した．この動画を入力として人物消去を行い，その出力結果と人物画像

図9

1 フレーム目における ground truth と提案手法の出力
結果

Fig. 9 Ground truth and result of proposed method of
the first frame

頂上前の映像を比較した． 図 7 に実験 2 の流れを示す．

4.2.1 実験方法できた．提案手法の NCC が既存手法を大きく上回ったシー

まず歩行者が写っていないシーンで撮影を行う．この時， ンでは消去対象人物の背景に植木や木などの物体が存在して
図 5 に示すシーンを再現するためにカメラ撮影者は 15m 程

いた．4.1.1 項に示したように，背景の 3 次元復元を行わな

歩行しながら撮影を行なった．またここで得られた画像に人い手法では消去対象人物の背景に完全に隠れた物体やテクス

物画像を重畳する際には，カメラ撮影者の進行方向と逆方向

チャの少ない物体は復元することが難しい．それに対して，に歩行者が移動するシーンを再現するために，人物重畳領域

提案手法のように背景の 3 次元モデルを取得する方法では消を動画の全フレーム数 x，画像幅 w ピクセルに対して， w/x

去対象人物の背景に完全に隠れる物体であっても，その物体

ピクセルずつカメラ撮影者の移動方向と逆向きに変化させた． の形状に関わらず復元することが可能である．逆に消去対象
また出力結果と背景画像の比較では 2 画像間の類似度を示す

人物の背景に奥行きのある物体が存在していないシーンでは，値である N CC(Normalized Cross-Correlation) を指標とし

平面射影変換法の方が提案手法に比べて NCC の値が大きくた． N CC の値が 1 に近いほど， 2 枚の画像は類似していなった (0， 20， 40， 60 フレーム目)．

るといえる．

また，動画開始直後のフレームでは提案手法に比べて既存

4.2.2 実験結果

手法の方が良い結果となった．これは図 9 に示すように，そ各手法の出力結果と背景画像の N CC を図 8 に示す．本の領域の背景 3 次元モデルが生成できなかったことが原因で実験では全 341 フレームの動画に対して 20 フレームごとにある．Structure from Motion において，正確な 3 次元形

出力結果を取得し背景画像との比較を行った．図 8 が示すよ状を復元するためには，その特徴点が多視点から撮影されてうに，多くのフレームにおいて提案手法による出力結果が最いる必要がある．しかし動画開始直後，動画終了間際でしかも N CC 値が大きく，実際の背景と類似度が高い画像を復元

写っていないような背景に関しては，複数フレームからの撮234

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

影が行えないために， 3 次元点が正確に復元できない場合がある．そうした点群はメッシュ化を行う際に外れ値として除去されてしまうため，部分的に 3 次元モデルが生成できなかったと考えられる．

5.

む す

び

ハンドヘルドカメラによって撮影された動画を対象として，画像中に写り込んだ人物を消去した映像を生成する手法を提案した．従来手法は「複数カメラが必要である」，「消去対象
物体が静止している必要がある」，「背景が平面と仮定できる」
といった制約を持ち，本研究が対象とするようなハンドヘル
ドカメラ 1 台のみを用いて撮影され，かつカメラ撮影者と消去対象人物の両方が移動を行い，任意の背景を持つ動的シーンに対しての使用は難しかった．それに対して提案手法では，Structure from Motion などを用いて背景の 3 次元モデルを生成し，それを用いて人物消去を行うことで，今まで対応できなかった条件下での人物消去を可能とした．実験では既存の人物消去手法である，平面射影変換を用いた人物消去手法と Deep Learing を用いた画像補完手法との比較を行い提案
手法の優位性を示した．

参考文献
1) B. Bayart, J. Y. Didier, A. Kheddar: “Force Feedback Virtual
Painting on Real Objects: A Paradigm of Augmented Reality
Haptics”, Proc. of International Conference on Human Haptic
Sensing and Touch Enabled Computer Applications, Vol.5024,
pp.776–785 (2008).

Photo Collections”, Proc. of IEEE International Symposiumon Mixed and Augmented Reality, pp.11–19 (2013).
12) T. Honda, H. Saito: “Real Time Diminished Reality Basedon 3d Measurement of Environment Using An Rgbd Camera”, Trans. on Virtual Reality Society of Japan, Vol.19, No.2,
pp.105–116 (2014).
13) N. Kawai, N. Inoue, T. Sato, F. Okura, Y. Nakashima, N.
Yokoya: “Background Estimation for A Single Omnidirectional Image Sequence Captured with A Moving Camera”,
IPSJ Trans. on Computer Vision and Application, Vol.6, pp68–
72 (2014).
14) M. Granados, K. I. Kim, J. Tompkin, J. Kautz, C. Theobalt:“Background Inpainting for Videos with Dynamic Objects and
A Free-moving Camera”, Proc. of European Conference on
Computer Vision, Vol.7572, pp682–695 (2012).
15) J. Herling, W. Broll: “Pixmix: A real-time approach to highquality diminished reality”, Proc. of IEEE International Symposium on Mixed and Augmented Reality, pp.141–150 (2012).
16) N. Kawai, T. Sato, N. Yokoya: “Towards Iinternetscale Multiview Stereo”, IEEE Trans. on Visualization and Computer
Graphics, Vol.22, No.3, pp.1236–1247 (2016).
17) S.Iizuka, E.Simo-Serra, H. Ishikawa, “Globally and Locally
Consistent Image Completion”, ACM Trans. on Graphics,
Vol.36, No.4, pp.107:1–107:14 (2017).
18) A. Taneja, L. Ballan, M. Pollefeys. “Modeling Dynamic Scenes
Recorded with Freely Moving Cameras”, Proc. of Asian Conference on Computer Vision, Vol.3, pp.613–626 (2010).
19) A. Mustafa, H. Kim, J.Y. Guillemaut, A. Hilton: “General
Dynamic Scene Reconstruction from Multiple View Video”,
Proc. of IEEE International Conference on Computer Vision,
pp.900–908 (2015).

2) Z. Zivkovic: “Improved Adaptive Gaussian Mixture Model for
Background Subtraction”, Proc. of IEEE International Conference on Pattern Recognition, Vol.2, pp.28–31 (2014).

20) O. Russakovsky, J. Deng, H. Su, J. Krause, S. Satheesh, S.
Ma, Z. Huang, A. Karpathy, A. Khosla, M. Bernstein, A. C.
Berg, L. Fei-Fei: “ImageNet Large Scale Visual Recognition
Challenge”, International Journal of Computer Vision, Vol.115,
No.3, pp211–252 (2015).

3) N. Friedman, S. Russell: “Image Segmentation in Video Sequences: A Probabilistic Approach”, Proc. of Uncertainty in
Artiﬁcial Intelligence, Vol.13, pp.175–181 (1997).

21) D.G. Lowe: “Distinctive Image Features from Scale-invariant
Keypoints”, International Journal of Computer Vision, Vol.60,
No.2, pp91–110 (2004).

4) 玉木徹, 山村毅, 大西昇: “画像系列からの人物領域の抽出”, 電気学会論文誌, Vol.119, No.1, pp.137–43 (1999).

22) P. Moulon, P. Monasse, R. Marlet: “Adaptive Structure from
Motion with A Contrario Model Estimation”, Proc. of Asian
Conference on Computer Vision, Vol.7727, pp257–270 (2012).

5) 譲田 賢治, 坪内 貴之, 菅谷 保之, 金谷 健一: “移動ビデオカメラ画
像からの運動物体の抽出”, Computer Vision and Image Media,
Vol.2004, No.26, pp.41–48 (2004).
6) Y. Sheikh, O. Javed, T. Kanade: “Background Subtraction forFreely Moving Cameras”, Proc. of IEEE International Conference on Computer Vision, Vol.12, pp.1219–1225 (2009).
7) J. Redmon, S. Divvala, R. Girshick, A. Farhadi: “You Only
Look Once: Uniﬁed, Real-time Object Detection”, Proc. ofIEEE Conference on Computer Vision and Pattern Recognition, pp.779–788 (2016).
8) A. Enomoto, H. Saito: “Diminished Reality Using Multiple
Handheld Camera”, Proc. of Asian Conference on Computer
Vision Workshop, Vol.7, pp.130–135 (2007).
9) A. Flores, S. Belongie: “Removing Pedestrians from Google
Street View Images”, Proc. of IEEE Conference on Computer
Vision and Pattern Recognition Workshop, pp.53–58 (2010).
10) K. Hasegawa, H. Saito: “Synthesis of A Stroboscopic Image
from A Hand-held Camera Sequence for A Sports Analysis”,
Proc. of International Symposium on Mixed and Augmented
Reality Workshop, Vol.2, No.3, pp 277–289 (2016).
11) Z. Li, Y. Wang, J. Guo, L.-F. Cheong, S.-Z. Zhou: “Diminished Reality Using Appearance and 3D Geometry of Internet

23523) C. Barnes, E. Shechtman, A. Finkelstein, D.B. Goldman:“PatchMatch: A Randomized Correspondence Algorithm for
Structural Image Editing”, ACM Trans. on Graphics. Vol.28,
No.3, pp24:1–24:10 (2009).
24) M. Jancosek, T. Pajdla: “Exploiting Visibility Information in
Surface Reconstruction to Preserve Weakly Supported Surfaces”, International Scholarly Research Notices, Vol.2014,
pp1–20 (2014).
25) H.-H. Vu, P. Labatut, J.P. Pons, R. Keriven: “High Accuracy and Visibility-consistent Dense Multiview Stereo”, IEEE
Trans. on Pattern Analysis and Machine Intelligence, Vol.34,
No.5, pp889–901 (2012).
26) M. Waechter, N. Moehrle, M. Goesele: “Let There Be Color!
Large-scale Texturing of 3d Reconstructions”, Proc. of European Conference on Computer Vision, pp.836–850 (2014).
27) P. P’erez, M. Gangnet, A. Blake: “Poisson Image Editing”,
ACM Trans. on Graphics, Vol.22, pp.313–318 (2003).

(2018 年 5 月 31 日 受付)(2018 年 12 月 14 日 再受付)

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

八 木 賢太郎2017 年 慶應義塾大学理工学部情報工学科卒業．
2019 年 現在，慶應義塾大学理工学研究科前期博士課程在学し，コンピュータビジョンやその応用に関する研究に従事．

斎 藤 英 雄 （正会員）
1987 年 慶應義塾大学理工学部電気工学科卒業．
1992 年 同大学院理工学研究科電気工学専攻博士課程修了．その後, 同大学助手，専任講師，助教授を経て 2006 年 より教授．博士 (工学)．この間，1997 年 から 99 年 までカーネギーメロン大学ロボティクス研究所訪問研究員．コンピュータ
ビジョンとその応用に関する研究に従事．

長谷川 邦 洋2007 年 慶應義塾大学理工学部情報工学科卒業．
2009 年 同大大学院理工学研究科前期博士課程修了．同年キヤノン (株) 入社．2016 年 慶應義塾大学大学院理工学研究科後期博士課程修了．現在，
同大大学院理工学研究科特任助教．コンピュー
タビジョンやその応用に関する研究に従事．博士 (工学)．

236

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）-- IoT 社会の進展を支える画像電子関連技術論文特集 --獣害対策のための監視カメラ向けアライグマ検出器の構築と評価
初 田 慎 弥†大 野 真 史†孟 林‡†

泉 知 論‡†§（正会員）†立命館大学大学院 理工学研究科 電子システム専攻‡立命館大学 理工学部 電子情報工学科§立命館大学 歴史都市防災研究所

Designs and Evaluation of Raccoon Detector for Anti-Vermin Surveillance Cameras
Shinya HATSUDA†, Masashi ONO†, Lin MENG‡†, Tomonori IZUMI‡†§ (Member)†Graduate School of Science and Engineering, Ritsumeikan University‡College of Science and Engineering, Ritsumeikan University§Institute of Disaster Mitigation for Urban Cultural Heritage, Ritsumeikan University〈あらまし〉 本稿は，獣害対策のための監視カメラシステムの実現を目指し，アライグマを対象に機械学習の害獣認識への適用評価と組込み実装の試行，さらにデータセットの構築とそれによる認識精度の向上を報告する．まず，鳥獣飼育施
設で撮影した動物の画像を用いて構築したデータセットに基づき，HOG 特徴量とサポートベクタマシンによる分類器(HOG + SVM) ，HOG 特徴量とニューラルネットワークによる分類器 (HOG + NN) ，畳み込みニューラルネットワークによる分類器 (CNN) の 3 つを作成した．正答率と実行時間を評価・比較したところ，HOG+NN が速度で勝り，CNN が正答率で勝ることがわかった．この 2 つを監視カメラ等で用いられる組込みプロセッサ上に実装し性能の基礎評価を行った
ところ，HOG+NN は正答率 88.5%で VGA サイズの画像の処理に約 8.7 秒と比較的高速であったのに対し，CNN は 94.5%と高い正答率を示したが 45.8 秒を要した．次に，正答率の高い CNN について実際に寺社の監視カメラで撮影されたアライグマ画像を用いて評価した．寺社での実際の画像では正答率が 20-30%に低下したが，複数の異なる画像セットを組み合わせることで 60%程度に向上することを示した．さらに高速化を検討し，背景差分を用いて候補を絞ることで組込みプロ
セッサ上でも，数秒以下に抑えることができた．学習データを注意深く作成した CNN に，背景差分などの既存の画像処
理技術を組み合わせることで，監視カメラ上でもアライグマ自動検出が実現できることがわかった．
キーワード：アライグマ, 害獣, 監視カメラ, 画像認識, サポートベクタマシン, HOG 特徴量, ニューラルネット,
深層学習<Summary> Aiming for anti-vermin surveillance cameras, this paper presents evaluation and trial-implementations of classifiers basedon machine learning and construction of database to improve the accuracy for actual images. Based on a database composed of images
taken in a zoo, we construct classifiers with HOG features and a support vector machine (HOG + SVM), HOG features and a neuralnetwork (HOG + NN), and a convolutional neural network (CNN). The results show that the HOG + SVM classifier is the fastest andthe CNN classifier achieves the best accuracy. Trial implementations of the two classifiers on an embedded processor show that the
HOG+NN achieves 88.5% accuracy and takes 8.7sec processing time for a VGA sized image frame while the CNN achieves 94.5%
accuracy and takes 45.8sec processing time. For images actually taken in shrines and temples, an experiment reveals that the CNN
achieves merely 20-30% of accuracy but that training with a database composed of differently characterized image sets improves theaccuracy to around 60%. An improvement of the program with background subtraction technique is given and the processing time is
reduced to few seconds or less. The results indicate that the CNN trained with the carefully constructed image database shows good
accuracy to detect raccoons on low-computing-performance surveillance cameras.
Keywords: raccoons, vermin, surveillance camera, image recognition, SVM, HOG features, neural network, deep learning1.

現在，特定外来生物として指定されており，在来の生態系へ

はじめにの影響とともに，スイカ，トウモロコシなどの農作物にも被北米原産のアライグマは日本では過去ペットとして輸入さ害を与えている 1～3)．平成 18 年度には全国で約 1 万頭ものア

れ，
現在それらが野生化して様々な問題を引き起こしている．

ライグマが捕獲され，平成 20 年度の農作物被害はおよそ 2

237

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）億円と報告されている．また，建造物の破壊，侵入，糞尿にとラベル（属性）の組からなるデータセットを構築しなけれよる汚損などの問題を引き起こし，歴史的文化財への被害もばならない．我々は鳥獣飼育施設の協力を得て，アライグマ

拡大している 4～6)．

を含むいくつかの動物の動画を撮影し，データセットを構築

本研究では，外来生物の生態調査のためのフィールドカメ

した 7)．このデータセットを用いて，HOG 特徴量と SVM にラや歴史的建造物を守るための監視カメラなどについて，害よる分類器，HOG 特徴量とニューラルネットワークによる分獣の自動認識によるシステムの高度化を目標としている 7～10)．

類器，畳み込みニューラルネットワークによる分類器の 3 つ

監視カメラの画像内の物体を分類する研究は，主に人や車をを作成し，正答率と実行時間の観点から評価・比較する．こ

対象として進められてきた 11～15)．その可能性が広く認められれら分類器に基づく害獣検出を組込みプロセッサ上に実装し，て様々な分野への応用が期待されており，近年では，農作物検出率・速度性能・使用メモリ量を評価して，実用可能性をへの獣害対策のためのシカを対象とした自動認識の研究など探る．ここでは，フレーム全体に対してイメージピラミッドも見られる 16)．人を認識し警報を発する防犯システムでも動を生成し，スライディングウィンドウを走査する平易な方法

物などを人と誤認してしまう問題があり，動物を適切に認識を採用する．

し除外することが人の認識率の向上につながる．著者らは歴次に，実際に寺社の夜間監視カメラで撮影されたアライグ

史的文化財である寺社の保護のための監視カメラに関するプ

マ画像を用いた評価を行う．しかし，実際の夜間監視カメラ

ロジェクトに携わってきた．もとは盗難・破壊・放火など人画像は少ないため評価用データにのみ用い，学習データとし間を対象としたものであったが，寺社管理の現場や調査委員ては上記鳥獣飼育施設で撮影した画像と一般物体認識用の画会などのヒアリングにて特にアライグマの被害の増加による像を組み合わせて使用する．また，監視カメラでの検出の高困窮が訴えられ，監視カメラによるアライグマ対策を検討す

速化手法について議論する．

るものである．我々の知る限り，監視カメラによるアライグ

以下，2 章では 3 種の分類器について概説し，適用性を評

マ対策の事例はなく，本論文ではまずアライグマの自動認識

価・比較する．3 章では組込みプロセッサ上への実装についの可能性について基礎評価を行うこととした．

て概説し，性能の基礎評価を行う．4 章で学習用データの構

画像認識には，パターンマッチなどの古典的手法や，SVM成について示し，5 章でそれを用いた評価実験を行う．また，(Support Vector Machine)やニューラルネットワークなどの機

高速化について議論する．6 章にまとめを示す．

械学習による手法が提案されている．パターンマッチは標識

2.

や印刷文字など固定的な二次元形状の認識に適しており，与機械学習手法の害獣認識への適用評価えられたテンプレート画像と対象画像のマッチングにより認

アライグマの認識についていくつかの機械学習手法の性能識を行う 17)．一方，機械学習は形状に変異・変動がある対象を評価する．古典的な特徴量抽出手法と分類手法を組み合わにも適用することができる．

せた手法として，
HOG 特徴量と SVM を用いた分類器（以下，

機械学習では，分類器に大量の学習用サンプルを与えて内HOG+SVM），及び，HOG 特徴量とニューラルネットワーク

部状態を更新し適応させ，分類するためのパラメタを自動でを用いた分類器（以下，HOG+NN），また，最近の主流であ抽出する．分類器を体系的に構成することが難しい問題にもる畳み込みニューラルネットワークによる分類器（以下，

適用可能で，人間には分類が困難・不能な場合にも人間を超CNN-A）の三つの手法を用い，正答率と計算時間を比較する．

えた能力を示すこともある．典型的な機械学習は対象の特徴

本章では，鳥獣飼育施設で撮影した害獣及び背景の画像を量のモデル化と分類手法からなる．特徴量として Histograms

用いて対象害獣（アライグマ）とそれ以外（タヌキ，背景）of Oriented Gradients (HOG) 11)を，分類手法として SVM やニュの分類を行う．このデータセットをデータセット A と呼ぶこーラルネットワークを用いた分類器を歩行者や車の検出に適ととする．データセット A の画像枚数の内訳を表 1 に示す．
各画像はサイズを 32×32 画素に正規化，グレースケール化用した事例が報告されている 11～15)．近年，物体認識のコンテ
スト

ILSVRC201418)

し，左右反転を行ってデータセットの拡張を行っている．デにて畳み込みニューラルネットワーク

ータセットについての詳細は 4.3 節で議論する．

(Convolutional Neural Network: CNN)という手法が用いられ 19)

学習や実行時間の計測は汎用のデスクトップ PC を使用す

それまでにない高い性能を示したことで注目を集めている．
CNN は，特徴量抽出のための畳み込み係数，すなわち特徴量

表 1 学習用データセット Aのモデルそのものまで自動で学習させる点で，それまでの手

Table 1 Dataset A for learning

法と大きく異なる．CNN を中核とした機械学習は深層学習

クラス(deep learning)と呼ばれる．
本稿は，アライグマを対象に機械学習の害獣認識への適用
評価 8)と組込み実装の試行 9)，さらにデータセットの構築とそれによる認識精度の向上 10)を報告する．機械学習は大量の学習用サンプルを必要とするため，まず画像を収集し，画像

238

訓練用

テスト用

アライグマ

20,000

1,000

タヌキ

5,000

500

背景

40,000500

計65,0002,000

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

2.2 HOG 特徴量とニューラルネットワークによる認識

る．プロセッサは Intel Core i7 6700K (4.0GHz, 8MB cache)を搭
載し，
Ubuntu16.06 LTS 環境下で C プログラムをコンパイル，

画像特徴に HOG 特徴量，分類にニューラルネットワーク

実行している．

を使用し，認識率と実行時間を計測する．図 1 に HOG とニューラルネットワークによる認識のモデル図を示す．

2.1 HOG 特徴量と SVM による認識

画像を入力するとまず HOG 特徴量を抽出する．この HOG

画像特徴に HOG 特徴量，分類に SVM を使用し，認識率と特徴量をニューラルネットワークへ入力する．ニューラルネ

実行時間を計測する．画像から HOG 特徴量を抽出し，そのットワークの入力層のノード数は HOG 特徴量の次元数に同特徴量を SVM に入力して学習することにより，対象物を検出または分類する．
この HOG と SVM を組み合わせた方法は，人検出に広く使われ良い結果が得られている 11～15)．HOG 特

じ 1568 個である．中間層のノード数は 100 個とした．これは予備実験の結果による．ここでは“アライグマ”か“アライグマ以外”の 2 とおりに分類するため出力層は 2 ノードと徴量は照明の変化に強いが，拡大縮小や回転に弱いとされてする．後述する CNN の構成に倣い，中間層の活性化関数にいる．
本研究では野生の害獣を対象とするため，様々な距離，

は ReLU 関数，出力層の活性化関数にはソフトマックスを使体勢で撮影された害獣を認識しなければならない．様々な体用する．学習率は Adam21)により自動調整し，alpha は 0.001

勢の学習用サンプル画像を用意することで，ある程度の拡大とする．イテレーション(iteration)は 15,000 と設定する．

縮小や回転については対応できる．大幅な拡大縮小について

HOG+NN に表 1 の画像を用いて学習させ，テスト画像を分

は 3 章で導入するイメージピラミッドにより対応する．

類した結果を表 3 (a) に，全体の正答率を表 3 (b) に示す．ア

HOG 特徴量抽出プログラムは，
すべて C 言語で記述した．

ライグマに対する再現率は 84.5%，F 値は 88.0%，全体に対す

セルサイズを 4，ブロックサイズを 2，ヒストグラムのビン数

る正答率は 88.5%となった． PC 上で実行時間の計測を行っを 8 とすると 1,568 次元の特徴量となる．SVM には，libsvm

た結果，認識には画像 1 枚あたり平均 0.681msec を要した．

(A Library for Support Vector Machines)20)を使用する．libsvm は

2.3 畳み込みニューラルネットワークによる認識

国立台湾大学で開発されたオープンソースの SVM ライブラ
リである．ここで，ペナルティとマージンの大きさのトレー

畳み込みニューラルネットワークを用いて認識を行い，認ドオフを制御するパラメタ C とカーネルトリックに用いたガ

識率と実行時間を計測する．現在，画像認識において，畳み

ウスカーネルのパラメタ gamma はグリッドサーチを用いて最適化した．

入力層

中間層

HOG+SVM に表 1 の画像を用いて学習させ，テスト用画像を分類した結果を表 2 (a)に，全体の正答率を表 2 (b)に示す．

出力層

太字は正答数を示す．テスト画像として用意したアライグマ

特徴量
1568

32×32
入力画像

対する再現率は 86.0%，F 値は 89.4%，全体の正答率はおよそ89.8%であった．PC 上で実行時間の計測を行った結果，認識

Fig.1 Model of recognition by HOG and NN

Table 2 Result (a) and accuracy (b) by HOG+SVM for test images

アライグマ

出題

(b)
合計
（2,000 枚）以外

正答率

表 3 HOG+NN によるテスト画像の分類結果(a)と正答率(b)(%)

Table 3 Result (a) and accuracy (b) by HOG+NN for test images

860

140

86.0

55

445

89.0

10

490

98.0

正解
1,795

不正解
205

回答
(a)

出題

アライグマ
(1,000 枚)
タヌキ(500 枚)背景(500 枚)

アライグマ

100

図 1 HOG と NN による認識のモデル

表 2 HOG+SVM によるテスト画像の分類結果(a)と正答率(b)

回答

2

1568

には画像 1 枚あたり平均 111msec を要した．

(a)

⋮

⋮

アライグマ以外

れ，140 枚がアライグマでないと認識された．アライグマに

アライグマ

アライグマ
以外

845

155

84.5

タヌキ

57

443

88.6

背景

18

482

96.4

(%)
(b)
合計

239

(%)

アライグマ

正答率
89.8

正答率

正解
1,770

不正解
230

正答率
(%)
88.5

アライグマ

HOG特徴量抽出

画像 1,000 枚の内，860 枚の画像がアライグマとして認識さThe Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

ワークが一番よい正答率を示した．いずれの手法も，背景画込みニューラルネットワークは最も有力な手法である．
こ こ では 学習時に 深層学習の フ レー ムワー ク である像の正答率は 90%台後半であり，比較的良い結果となった．

Caffe22)を使用した．
Caffe は Berkeley Vision and Learning Center

アライグマまたはタヌキの画像と背景画像の分類を学習する(BVLC)で開発されたオープンソースソフトウェアであり，畳のは比較的容易であることがわかる．アライグマの正答率はみ込みニューラルネットワークに基づく深層学習を行うフレ

84.5％から 91.9％と開きが見られた．

ームワークである．本章及び次章の実験で使用する畳み込み

表 6 に各手法の正答率と実行時間をまとめる．表中の実行

ニューラルネットワークによる分類器を 5 章で構成するもの

時間は分類に要した時間（学習時間は含まない）を示す．CNNと区別して CNN-A と呼ぶこととする．その構造を図 2 に示の畳み込み層では画面全体に対して畳み込み演算のスキャンす．これは LeNet 23)を参考に作成された Caffe のサンプルモを何度も実行する．CNN の全結合層及び NN では，各層のすデルをもとに，出力層をクラス数に併せて修正したものであべてのノードにて直前層のすべてのノードからの値を用いた

る．入力画像は，畳み込み層(conv1)，プーリング層(pool1)，

計算を行う．そのため，これらの計算では計算量が非常に多畳み込み層(conv2)，プーリング層(pool2)，全結合層(ip1)，全

い．HOG では画面全体をブロック分割し各ブロックについて

結合層(ip2)の順に処理される．ip1 の出力は活性化関数 ReLU

勾配を計算しヒストグラムを作成する．画面全体に対する反に通す．出力層の ip2 の活性化関数にはソフトマックスを使復がなく，CNN や NN に比べて計算量は比較的少ない．SVM

用する．学習率は Adam により自動調整し，alpha は 0.001 とによる分類では，高次元の特徴ベクトルを学習した超平面のする．イテレーションは 15,000 と設定する．

式（サポートベクトル）で分類する．その際，ガウス関数を

この CNN に表 1 の画像を用いて学習させた分類器 CNN-A

用いたカーネルトリックによる空間変換を施す．ここでは文を用いてテスト用画像を分類した結果を表 4 (a)に，全体の正献 20)のライブラリを使用しており，実行時間はそれに依存し答率を表 4 (b)に示す．アライグマに対する再現率は 91.9%，

たものである．

F 値は 94.3%，全体に対する正答率はおよそ 94.5%となった．
PC 上で実行時間の計測を行った結果，認識には画像 1 枚あた

3

組込みシステム向け実装の基礎評価

前章の比較において最も高速であった HOG + NN と最も正り平均 11.9msec を要した．

答率が高かった CNN-A について，監視カメラやフィールド

2.4 評価のまとめカメラなどへの応用を想定し組込み向けプロセッサ上に実装

各手法におけるアライグマ，タヌキ，背景の各カテゴリにして性能評価を行う．
組込みシステムによく用いられる ARM

対する正答率を表 5 にまとめる．畳み込みニューラルネット

プロセッサを搭載した Raspberry Pi 3 Model B に実装し，評価3232する．その仕様を表 7 に示す．前章の結果を事前学習として

300

5

2

その学習済みパラメタを使用し，組込みプロセッサ上では分類のみを行う．

2

2
3

5

2

3

テスト画像は鳥獣飼育施設で撮影した動画を用いる．学習

2

用画像とは別に 1 フレームを抜き出し，VGA サイズ（640×OutputFullConnect

Pool2
(MAX
Pooling)

Conv2

Pool1
(MAX
Pooling)

Conv1

Input

表 5 各手法における各カテゴリの正答率の比較
Table 5 Comparison of accuracy rate for each category by eachmethod

図 2 CNN-A で使用する CNN のモデル

手法

Fig.2 The model of CNN used in CNN-A
表4

CNN-A によるテスト画像の分類結果(a)と正答率(b)Table 4 Result (a) and accuracy (b) by CNN-A for test images
(a)

回答
アライグマ

アライグマ以外

正答率(%)

出題

アライグマ

919

81

91.9

タヌキ

22

478

95.6

背景

8

492

98.4

(b)
合計

正解
1,889

111

アライグマ以外(%)

タヌキ(%)

背景(%)

HOG + SVM

86.0

89.0

98.0

HOG + NN

84.5

88.6

96.4

CNN-A

91.9

95.6

98.4

表 6 各手法における正答率と実行時間の比較
Table 6 Comparison of accuracy rate and execution time by eachmethod
手法

正答率(%)

不正解

アライグマ

94.5

240

正答率(%)

実行時間(msec)

HOG + SVM

89.8

111

HOG + NN

88.5

0.681

CNN-A

94.5

11.9

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

この VGA サイズの画像 1 枚の処理に約 8.7sec を要した．

480 画素）になるように中心部分を縮小し切り出した．このまた，プロセスの物理メモリの使用量を示す Resident Set Size

画像（静止画）に対して検出を行う．

(RSS)の最大値を計測した結果，約 20.4MB であった．

検出処理の概要を図 3 に示す．ここでは，一定サイズのウィンドウを画像上でスライドさせ，順にそのウィンドウの画像を分類していくスライディングウィンドウ方式を採用する．

3.2 畳み込みニューラルネットワークによる認識

また，対象物がこのウィンドウに納まるとは限らないため，

CNN-A による検出結果の画像を図 5 に示す．検出 10 個中

画像を縮小してスライディングウィンドウの適用を繰り返す

誤検出と思われるものは 2 個であり，HOG + NN による誤検

イメージピラミッドとよばれる手法をとる．ウィンドウサイ

出 42 個と比べて少なく，良い結果といえる．しかし，画像 1

ズは学習時に使用した画像サイズと同一の 32×32 画素とな枚の処理に約 45.8sec 要した．また，RSS の最大値は約 24MB

る．組込みシステムでの実装を考慮し，ウィンドウのスライであった．

ド間隔（ストライド）を 16 画素とし，またイメージピラミッ

3.3 評価ドを 1/2 縮小の１段階のみとすることで計算負荷の軽減を図

それぞれの手法における偽陽性率(FPR)，実行時間，Resident

る．これにより，１フレームあたりの分類の回数は(640/16)

Set Size(RSS)をまとめ，表 8 に記す．

×(480/16)+(320/16)×(240/16)=1,500 となる．

FPR の値を比較すると，HOG + NN では非常に高くなって

3.1 HOG 特徴量とニューラルネットワークによる認識

しまっているが，CNN-A では低く抑えられている．対して実HOG + NN による検出結果の画像を図 4 に示す．ここで，黒色の矩形は 640×480 画素の画像サイズにおいてスライディングウィンドウを適用した際，アライグマと検出された場所を示し，白色の矩形は 320×240 画素の画像サイズでアラ
イグマと検出された場所を示す．図 4 において，検出した矩形は 56 個でうち誤検出と思われるものは 42 個である．学習を行った際のテスト用背景画像に対する正答率は 96.4%となっており，仮にアライグマやタヌキが一切映っていない画像を入力した場合，背景画像であるにも関わらず 1,500×(1－0.964) = 54 枚が“アライグマ”と認識される計算となる．誤検出と思われる矩形の数 42 個はこれに合致する．
表7

Raspberry Pi 3 Model B の仕様

Table 7 Specifications of Raspberry Pi 3 Model B
Raspberry Pi 3 Model B

図 4 HOG + NN による検出結果

SoC

Broadcom BCM2837

CPU

1.2GHz Quad-Core ARM Cortex-A53

GPU

Dual Core VideoCore IV

メモリ

1GB LPDDR2

Fig.4 Result of detection by HOG + NN

32×32のウィンドウ
640
320
480

16px間隔でスライド

240
½に縮小

カメラから取り込んだ画像

縮小画像

図 3 検出処理の概要

図 5 CNN-A による検出結果

Fig.3 Outline of detection process

Fig.5 Result of detection by CNN-A

241

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

表 8 各手法における FPR，実行時間，RSS
Table 8 FPR, execution time and RSS by each method
FPR

手法

実行時間(sec)

RSS(MB)

HOG + NN

0.75

8.7

20.4

CNN-A

0.20

45.8

11.9

行時間の観点では HOG + NN は比較的短く，CNN-A はかな
り長い結果となった．一般的なカメラのフレームレートは図 6 実際に寺社で撮影されたアライグマ画像の例

30fps（フレームあたり 33msec）であるため，HOG + NN もFig.6 Image examples of raccoons invading a shrine

CNN-A もこの実装ではリアルタイム処理を行うことはできない．しかし目的用途によっては，例えば監視カメラで害獣を検出したら管理者に発報するようなシステムでは，フレー
ムレート及びタイムラグが１分程度であれば十分実用に耐えうる性能といえる．
イメージピラミッドとスライディングウィンドウを用いるのではなく，フレーム全体から対象物とその位置を一度で検出する技術 24) も提案されており，それにより高速化を期待することもできる．我々が想定する監視カメラやフィールド
カメラは位置が固定されているため，背景差分など古典的な手法が有効と思われる．分類対象となる箇所を限定すること
でフレームあたりの CNN の実行回数及び実行時間の低下が期待できる．また，プログラムをマルチスレッドに対応させるなどといった処理の並列化も実行時間を短くする手法として期待できる．そこで，以下では CNN による分類器を対象として実際の画像に対する認識精度の評価・向上と高速化を

図 7 CIFAR-10 の画像の例

検討する．

Fig.7 CIFAR-10 image examples

4

データセットの構築た暗視カメラによるグレースケール画像があるが，グレース

本研究は害獣対策を目的としており，実際に監視カメラやケールに統一し，撮影した画像からアライグマの映っている

フィールドカメラで得られた野生のアライグマ画像に対する部分を切り出して 32×32 画素にリサイズして使用する．画認識率を評価する必要がある．本章では，実際にアライグマ

像は計 374 枚用意した．
この画像には侵入口に侵入する様子，の被害を受けた寺社に調査のために設置した固定カメラで撮侵入口から頭を出している様子，侵入するために柱を登って影したアライグマ画像を用いて評価する．また，アライグマいる様子，柱から降りている様子，地面を歩いている様子がを検出するにあたり，“アライグマ以外”のクラスが必要にな

含まれ，これらはいくつかの異なる寺社で撮影されたものかる．監視カメラやフィールドカメラは通常位置固定であるたら構成されている．
その例を図 6 に示す．
左は柱を登る様子，

め，背景は背景差分法で除外することができる．ここでは，

右は柱から降りようと下を見ている様子の画像である．

アライグマ以外に写り込む可能性がある“その他の動物”を

4.2 CIFAR-10, CIFAR-100 dataset

想定し，公開されている一般物体認識用データセットから動物画像を利用してデータセットを構成する．なお，監視カメ

CIFAR-10，CIFAR-100 dataset25) は，物体認識の機械学習用

ラ画像が主に夜間のものであることを考慮し，本稿で学習，に公開されているラベル付けされた画像データセットである．

テスト，評価に用いる画像はすべてグレースケール化する．

CIFAR-10 dataset はクラスが飛行機，自動車，鳥，ネコ，シカ，
イヌ，カエル，ウマ，船，トラックの 10 種類のクラスを持つ．

4.1 侵入する様子のアライグマ画像

それぞれ訓練用に 5,000 枚，テスト用に 1,000 枚ずつ用意され学習済みモデルの評価用に，実際に寺社に侵入する様子のており，合計 60,000 枚の画像で構成されている．画像はすべ

野生のアライグマ画像を使用する．これは関西野生生物研究て 32×32 画素の RGB カラー画像である．ここでは 10 種の所 3)に提供いただいた．全国の寺社 5 カ所程度に設置された

うちアライグマと同じ哺乳類であるネコ，シカ，イヌ，ウマ

監視カメラで 2013 年から 2014 年の夏と冬に撮影されたものを使用する．その画像の例を図 7（左上から右にネコ，シカ，である．画像は日中に撮影されたカラー画像と夜に撮影されイヌ，ウマ）に示す．

242

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

CIFAR-100 dataset はスーパークラスが 20 あり，それぞれにとを想定し，一般物体認識用のデータセットからその他の動クラスが 5 つずつ属しており，計 100 クラスある．それぞれ物 5 種を追加する．それぞれの画像の枚数の内訳を表 9 に示のクラスに画像が訓練用に 500 枚，テスト用に 100 枚ずつ用

す．データセットの組み合わせの正答率への影響を評価する

意されており，合計 60,000 枚の画像で構成されている．

ため，表 10 に示す 3 通りの組み合わせを用いる．

CIFAR-10 と同じく画像はすべて 32×32 画素の RGB カラー

5

画像である．画像の例を図 8 に示す．ここでは 100 クラスの

評価実験

本章では，
4.1 節に示す実際の監視カメラで撮影されたアラ

うち，アライグマの画像を用いる．
CIFAR-10，CIFAR-100 dataset はどちらもカラー画像である

イグマ画像を評価用データとして用いて分類器の評価を行う．

が，夜行性のアライグマが暗視カメラに写ることを考慮して実際の監視カメラにはアライグマ以外の動物が写ることも想グレースケール化して使用する．

定し，学習データに 4.4 節に示す 6 種類の動物によるデータ
セットを用いた多クラス分類とした．深層学習はこれまでと4.3 飼育施設にて撮影した画像

同様にオープンソースの深層学習フレームワークである

著者らが鳥獣飼育施設で撮影したもの 26)を用いてデータセ

Caffe を用い，汎用 PC 上で行う．Caffe には CIFAR-10 dataset

ットを作成する．
撮影日時は 2016 年 11 月 14 日 13:00～16:00，

向けのサンプルモデルが用意されており，本章ではこれを基

撮影場所は（財）弘前市みどりの協会 弥生いこいの広場であに出力層をクラス数にあわせて修正したモデル（図 10）を使る．画像サイズは 32×32 画素であり，グレースケール化し用する．図中各層の機能は図 2 と同様である．ミニバッチサて使用する．画像の例を図 9（左からアライグマ，タヌキ）

イズは 100，学習時のイテレーションは 5,000 とした．テストに示す．以下，“弘前”はこの画像群を示す．

時にはテスト用に割り当てた画像すべてを使用するようにイ
テレーションを調整した．

撮影にあたっては，前後左右斜め，俯瞰，仰望など様々な方向からの，さらに文化財に侵入する状況を考慮して柱を登

5.1 データセットの組合せと学習

る，穴に入るなど様々な体勢の画像を撮ることとした．これ

ここでは図 10 の CNN のモデルを用いる．これに表 10 のを実現するために角材とペット用の大型玩具，誘導用の餌を

データセット B1, B2, B3 を用いて学習を行った分類器をそれ用いた．

ぞれ CNN-B1, CNN-B2, CNN-B3 と呼ぶこととする．学習時の4.4 データセットの作成

正答率の変化をそれぞれ図 11, 12, 13 に示す．横軸は学習の以上の画像を組み合わせ，実際の監視カメラでのアライグ

イテレーションの進行，縦軸は正答率を示し，赤線（＋印）

マ画像に対する認識率の向上を図る．また，実際の監視カメ

は訓練用画像に対する正答率，青線（×印）はテスト用画像

ラやフィールドカメラでは，アライグマ以外の動物も写るこに対する正答率を示す. テスト用画像に対する正答率は，
表 9 学習用データセット B
Table 9 Dataset B for learning
データセット

訓練用

テスト用

10,000

1,600

アライグマ
(CIFAR-100)

500

100

タヌキ(弘前)

2,500

200

図 8 CIFAR-100 のアライグマ画像の例

ネコ(CIFAR-10)

5,000

1,000

Fig.8 CIFAR-100 raccoon image examples

シカ(CIFAR-10)

5,000

1,000

イヌ(CIFAR-10)

5,000

1,000

ウマ(CIFAR-10)

5,000

1,000

アライグマ(弘前)表 10 データセット B の画像の組み合わせ
Table 10 Combinations of images for dataset B
データセットアライグマ(CIFAR-100)

アライグマ，
タヌキ
(弘前)

その他の
動物
(CIFAR-10)

データセット B1〇―〇

図 9 飼育施設にて撮影した画像の例

データセット B2―〇〇

Fig.9 Image examples taken in a zoo

データセット B3

〇

〇

〇

243

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

CNN-B1 と CNN-B2 では認識率は 30％に満たないが，2 種

5000 イテレーションで概ね安定し，最終的にはそれぞれ類のアライグマ画像を使用してモデルを学習させた CNN-B3

73.8％, 82.3%, 81.2%であった．

では認識率は約 60%にまで向上した．

5.2 実際の監視カメラ画像による評価

弘前のアライグマ画像は建造物に侵入する様子を再現し監視カメラに写った侵入する様子のアライグマ画像に対すているものも多く含んでおり，様々な姿勢を学習できるが，る分類の結果を表 11 にまとめる．各列は，2 章の CNN-A と撮影場所や撮影した個体が限られているため様々な環境の画

CNN-B1～3 による分類結果を示す．評価用データセットはす像に対応できていないと考えられる．CIFAR-100 のアライグ

べて同一の実際に侵入するアライグマの画像(4.1 節)である．

マ画像はそれぞれ撮影環境が異なるため様々な環境の画像に

CNN-B1～3 はアライグマ以外の動物のクラスをもつため，そ対応できるようになるが，図 8 の例に示すように地面に立っれらを“アライグマ以外”としてまとめる．

ている様子が多く，建造物に侵入するアライグマ画像には十

5

5

3

3

32
5

5

3

32
3

64

32 3 64
3

セットにこれら両方の画像を用いたモデルでは両方の画像の特徴を学習して認識率が向上したと思われる．
5.3 意図しない物体が写り込んだ場合
ここでは，想定外の物体が監視カメラに写り込んだ場合の挙動を確認する．背景は背景差分法や関連手法で除外し，ア
ライグマやその他の野生動物は学習済である．
それ以外では，

OutputFullConnect

Conv3

Pool3
(AVE Pooling)

Pool2(AVE Pooling)

Conv2

Pool1
(MAX Pooling)

Input

Conv1

5
5

(クラスの数)

32

64

32

32

分に対応できていなかったものと考えられる．学習用データ

風で木の葉やボールが動くといった事象が現実的なものとして考えられる．そこで，4.1 節の監視カメラ画像から背景の部
分を切り出し，その上に木の葉やボールを合成した画像を作

図 10 出力層をクラス数にあわせて修正した CNN モデル

製した．合成画像例を図 14 に示す．

Fig.10 Modified model of CNN

1.0

1.0

0.8

0.8

0.6

0.6

0.4

0.4

0.2

0.2

0.0

0

1000

2000

3000

4000

0.0

5000

0

1000

2000

3000

4000

図 11 CNN-B1 の訓練時の正答率の変化

図 13 CNN-B3 の訓練時の正答率の変化

Fig.11 Trace of the accuracy of CNN-B1 in learning

Fig.13 Trace of the accuracy of CNN-B3 in learning

5000

1.0

表 11 CNN-A, B1～3 による監視カメラ画像の分類結果の比較

0.8

Table 11 Comparison of classification results of surveillance camera
images by CNN-A, B1～3

0.6

クラス
アライグマ

0.4

アライグマ以外

0.2
0.0

0

1000

2000

3000

4000

5000

図 12 CNN-B2 の訓練時の正答率の変化

244

CNN-B1

CNN-B2

CNN-B3

41

74

104

224

11

9

216

110

タヌキ
182

ネコ
シカ

333

300

59

270

23

150

22

イヌ

29

15

7

ウマ

30

5

2

19.8

27.8

59.9

認識率(%)

Fig.12 Trace of the accuracy of CNN-B2 in learning

CNN-A

11.0

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

CNN-B3 で 30 枚の合成画像を分類した結果を表 12 にまと

くつかの機械学習による認識手法を比較・検討し，それらをめる．各列は出題の画像, 各行はその出題に対する分類器のRaspberry Pi 上に実装して組込みシステムとして評価し，さら回答を示す．この試行から定量的な結論を導くことはできなにデータセットの改善を行って認識性能の向上を確認した．

いが，分類結果は複数の動物のクラスに分散していることが比較した機械学習による認識手法の中では HOG 特徴量と見て取れる．意図しない物体を除外することは今後の課題でニューラルネットワークによる認識が最も計算負荷が少なく，ある．

畳み込みニューラルネットワークによる認識が最も精度が高かった．

5.4 組込みシステム向け実装の検討

これらを，ARM プロセッサを搭載する Raspberry Pi 上に実

CNN-B3 を組込みシステムとして実装した場合の性能につ装したところ，HOG + NN では誤検出が多いものの実行時間

いて検討する．3 章と同様に Raspberry Pi をプラットフォーム

が短く，CNN では誤検出が非常に少ないものの実行時間が長とし，本節では オープンソースの画像処理ライブラリであり， い結果となった．問題点についてはいくつか対応策が考えら
各プラットフォームに対し最適化がなされている OpenCV 27)

れ，使用した認識手法は害獣認識に適用することが不可能で画像処理ライブラリを活用した．

はないと結論付けられた．

フレーム全体からの検出にあたって，まず背景差分に基づ

機械学習法による害獣認識の妥当性について確認ができ

く分類対象箇所の限定を行う．直前のフレームとの背景差分た後，対象の害獣の実例画像を用いて評価を行い，精度に問（絶対値）を取り，2 値化，オープニング処理により差分画題があったためデータセットの改善を行った．その効果はあ像を生成する．差分画像から候補バウンディングボックスをる程度現れ，構築した認識システムは環境の変化に対応でき

抽出し，バウンディングボックス内でイメージピラミッドをることが示された．

作成しスライディングウィンドウ方式で CNN-B3 を適用する．

学習データを注意深く作成した CNN に，背景差分などの

4.1 節の監視カメラ画像のフレームレートを十分に落として

既存の画像処理技術を組み合わせることで，計算能力の低い実験に用いた．二値化の閾値などのパラメタにもよるが，ほ監視カメラ上でもアライグマの自動検出がある程度実現できぼ対象動物の部分のみを抽出できていることを確認し，る．今後の展望としてはこれを実際に組込みシステムとして

CNN-B3 の適用回数は 250 から 400 程度であった．1 フレー

実装し，野生の動物をカメラで撮影し，その場で自動認識を

ム当たりの各処理の実行時間は，背景差分がおよそ 15msec，行い，それに対する評価を行う予定である．また，認識精度

CNN-B3 が一回当たりおよそ 8msec，合計では 2,000msec からや実行時間を改善するための様々な手法を検証してゆきたい．

3,200msec 程度であった．監視や生態観察における自動分類

謝辞

や発報では，十分に実用的なフレームレート及びタイムラグ

本研究に際して，野生動物の生態，獣害とその対策につい

である．

6

てご指導を頂いた関西野生生物研究所 川道美枝子氏，
アライ

おわりに

グマほか動物画像の撮影にご協力を頂いた財団法人 弘前市

本稿では，獣害対策のための害獣自動認識を目的とし，いみどりの協会 弥生いこいの広場および弘前市農業政策課の皆様に感謝の意を示す．

参考文献
1) 農林水産省, “野生鳥獣被害防止マニュアル－アライグマ，ヌート
リア，キョン，マングース，タイワンリス（特定外来生物編）－”,図 14 背景画像に木の葉やボールを合成した画像例

http://www.maff.go.jp/j/seisan/tyozyu/higai/h_manual/h22_03.html .

Fig.14 Example of synthesized object images with background2) 環境省 自然環境局 野生生物課 外来生物対策室, “アライグマ防除の手引き（計画的な防除の進め方）”,

表 12 意図しない画像に対する分類の結果

https://www.env.go.jp/nature/intro/3control/files/manual_racoon.pdf,

Table 12 Result of classification for unexpected object imagesクラス

2011 年 3 月(2014 年 3 月改定).

アライグマ以外

木の葉合成画像

ボール合成画像

アライグマ

4

3

タヌキ

1

1

20

ネコ
シカ

26

1

27

3) 関西野生生物研究所, “アライグマの研究について”,
http://www.kansaiwildlife.com/racoon/ .
4) 川道美枝子, 川道武男, 山本憲一, 八尋由佳, 谷口仁士: “文化財へ11のアライグマ侵入経路とその対策試案 ～文化財受難の時代から

0

窃盗・放火や獣害から守るために～”, 第 3 章, 2013 年度 文化遺産

イヌ

4

14

における人災・獣害研究部会 報告書, 立命館大学歴史都市防災研

ウマ

0

0

究所 (2013).

245

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

Machines”, https://www.csie.ntu.edu.tw/~cjlin/libsvm/ .

5) 川道美枝子, 三宅慶一, 加藤卓也, 山本憲一, 八尋由佳, 川道武男:

21) D. P. Kingma, J. Ba: “Adam: A Method for Stochastic Optimization”,“京都市内でのハクビシン(Paguma larvata)の寺社等への出没動向”,

Proc. of International Conference for Learning Representations (ICLR)

立命館大学 京都歴史災害研究, 第 16 号, pp.112014—15 (2015).

(2015).

6) 川道美枝子, 八尋由佳, 川道武男: “京都市内でのアライグマ

22) Y. Jia, E. Shelhamer, J. Donahue, S. Karayev, J. Long, R. Girshick, S.

(Procyon lotor)の出没動向”, 立命館大学 京都歴史災害研究, 第 17

Guadarrama, T. Darrell: “Caffe: Convolutional Architecture for Fast号, pp.49—54 (2016).

Feature Embedding”, arXiv preprint arXiv:1408.5093,

7) 初田慎弥, 大野真史, 孟林, 泉知論: “害獣対策のためのアライグ
マ画像データベースの構築と深層学習による動物分類の試行”,

http://ucb-icsi-vision-group.github.io/caffe-paper/caffe.pdf (2014).

電子情報通信学会技術研究報告, Vol.117, No.105, PRMU2017-34,

23) Y. LeCun, P. Haffner, L. Bottou, Y. Bengio: “Object Recognition with
Gradient-Based Learning”, Shape, Contour and Grouping in Computer

pp.51—56 (2017).

Vision, pp.319—345 (1999).

8) 初田慎弥, 大野真史, 泉知論, 孟林: “監視カメラ向けアライグマ

24) J. Redmon, S. Divvala, R. Girshick, A. Farhadi: “You Only Look Once:の自動検出手法の検討”, 映像情報メディア学会技術報告, Vol.41,

Unified, Real-Time Object Detection”, Computer Vision and Pattern

No.27, ITE-AIT2017-156, pp.25—28 (2017).

Recognition, arXiv:1506.02640 (2015).

9) 初田慎弥, 大野真史, 泉知論, 孟林: “監視カメラ向けアライグマ

25) A. Krizhevsky, The CIFAR-10 Dataset, CIFAR-10 and CIFAR-100の自動検出の試行評価”, 平成 29 年度 SICE 関西支部・ISCIE 若手

Database, https://www.cs.toronto.edu/~kriz/cifar.html.

研究発表会予稿, pp.201—206 (2018).

26) Reconfigurable Systems Lab, Ritsumeikan University, “Raccoon10) 初田慎弥, 孟林, 泉知論: “文化財獣害対策のための学習用データ
ベースの構築と認識精度向上”, 画像電子学会第 284 回研究会予稿,

Database”, http://www.ritsumei.ac.jp/se/re/izumilab/dist/raccoon.htm.
27) OpenCV, https://opencv.org/.

17-03-12, pp.63—68 (2018).
11) N. Dalal, B. Triggs: “Histograms of Oriented Gradients for Human（2018 年 6 月 15 日 受付）

Detection”, Proc. of Computer Society Conference on Computer Vision（2019 年 1 月 23 日 再受付）

and Pattern Recognition (CVPR) (2005).
12) F. Han, Y. Shan, R. Cekander, H. S. Sawhney, R. Kumar: “A Two-Stage
Approach to People and Vehicle Detection With HOG-Based SVM”,
Proc. of Workshop on Performance Metrics for Intelligent Systems(PerMIS ), pp.133—140 (2006).
13) 中島佑樹, タン・ジュークイ, 石川聖二, 森江隆: “HOG 特徴量と人マスクを用いた人物及び身体方向の検出”, 画像電子学会誌,
Vol.39, No.6, pp.1104—1111 (2010).
14) J. Baek, J. Kim, E. Kim: “Comparison Study of Different Feature
Classifiers for Hand Posture Classification”, Proc. of International
Conference on Circuits and Systems (ICCAS), pp.683-687 (2013).
15) Raghunandan B., R. Kumaraswamy: “A Local Neural Network
Approach to Detect Actions of Human Body”, Proc. of National
Conference on Communication, Signal Processing and Networking(NCCSN) (2014).
16) 野間拓耶, 鹿嶋雅之, 福本伸也, 佐藤公則, 渡邊睦: “機械学習に基づく害獣（鹿）自動認識に関する研究”, 電子情報通信学会技術研究報告 PRMU2017-85, Vol.117, No.238, pp.127—132 (2017).
17) 長尾知晴, 安居院猛, 長橋宏: “遺伝的手法を用いた 2 値図形のパ
ターンマッチング”, 電子情報通信学会論文誌, D-Ⅱ, Vol.76, No.3,
pp.557—565 (1993).
18) Stanford Vision Lab, Large Scale Visual Recognition Competition 2014,
ImageNet, http://image-net.org/challenges/LSVRC/2014/index (2014).
19) K. Simonyan, A. Zisserman: “Very Deep Convolutional Networks forLarge-Scale Image Recognition”, Proc. of International Conference forLearning Representations (ICLR) (2015).
20) C.-C. Chang, C.-J. Lin, “LIBSVM — A Library for Support Vector

246The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

初 田 慎 弥2017 年 立命館大学理工学部電子情報工学科卒
業．2019 年 立命館大学大学院理工学研究科電子システム専攻博士課程前期課程修了．画像処理に関する研究に従事．

大 野 真 史2015 年 立命館大学理工学部電子情報デザイン学科卒業．2017 年 立命館大学大学院理工学研究
科電子システム専攻博士課程前期課程修了．画像処理に関する研究に従事．

孟 林
2006 年 立命館大学理工学部卒業．2008 年 同大
学大学院修士課程修了．2011 年 同大学院理工学研究科博士課程修了．博士（工学）．2011 年より立命館大学理工学部電子情報デザイン学科助手．2013 年より同学部電子情報工学科助教，講師を経て 2019 年より同准教授. また，2015 年から 2016 年までミネソタ大学客員研究員．プロセッサと画像処理に関する研究に従事．情報処理学会，電子情報通信学会，IEEE 各会員．
（正会員）
泉 知 論
1992 年 東京工業大学工学部情報工学科卒業．
1994 年 同大学院理工学研究科電気電子工学専
攻修士課程修了．1998 年 同博士課程修了．博士（工学）．1998 年から 2005 年まで京都大学大学
院情報学研究科助手．2005 年から立命館大学理工学部助教授，准教授を経て 2016 年より同教授．
また，1998 年から 2017 年まで株式会社シンセシス主幹研究員を兼務．LSI, FPGA, 画像処理などに関する研究開発に従事．画像電子学会，電子情報通信学会，情報処理学会，IEEE 他会員．

247

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
IIEEJ

ɀɂɏɩ⫴᫙☠ᄚ-- IoT 社会の進展を支える画像電子関連技術論文特集 --環境中文字認識を利用した情報提供アプリケーションのためのウェアラブルシステムの開発
菅 谷

至

寛†

坂 井

清士郎†

宮 崎

智†

大 町 真一郎†（正会員）† 東北大学大学院工学研究科

A Development of Wearable System for Information Providing Applications
Using Scene Text Recognition
Yoshihiro SUGAYA† , Kiyoshiro SAKAI† , Tomo MIYAZAKI† , Shinichiro OMACHI† (Member)† Graduate School of Engineering, Tohoku University〈あらまし〉 スマートフォンのカメラで撮影した文字情報を認識し，それを基にした情報提供を行うアプリが普及しつつある．今後の発展が期待されるが，手を自由に使えない状況や，身体にハンディキャップがある方には利用しづ
らい．そのような状況での情報提供システムに適したデバイスとしてスマートグラスがあるが，著者らの知る限り，
情景画像中の文字認識のために必要な性能を備え，作業や行動の邪魔にならないものは存在しなかった．そこで本稿
では, 環境中文字認識を利用した情報提供アプリケーションのためのウェアラブルシステムを開発した．試作したデバイスは情景画像中文字認識に耐えうるカメラと，装着したままの作業や行動に支障がないディスプレイを備える．
また，外部 PC またはクラウド上のサーバと通信するための機能を持ち，そのための API も整備した．さらに，試作デバイスはカメラ以外の入力デバイスを持たないため，そのような状況に適したユーザーインタフェースを開発した．路線図の駅名を認識して駅に関する情報を表示するサンプルアプリケーションを実装してユーザーインタフェー
ス及びシステム全体の評価実験を行い，リトライが許されるタスクでは実用の範囲にあることを確認した．
キーワード：ウェアラブルシステム, スマートグラス, 文字列検出, 文字認識, IoT<Summary> Smartphone Apps that recognize texts captured with a camera and provide information
based on the recognized texts are becoming widespread. However, they are hard to be used in situations
where hands cannot be freely used, and also for handicapped people. There are smart glasses as a device
suitable for the information providing system under such situations, however, there were no items that
had the performance necessary for character recognition in the scene image and did not interfere withwork and actions. In this paper, we developed a wearable system for information providing applications
using scene text recognition. The prototype device has a camera suitable for character recognition in thescene image and a display that does not hinder the tasks and actions while wearing. In addition, it has
a function to communicate with an external PC or a cloud server, and APIs for that are also developed.
Furthermore, since it has no input device except for the camera, we developed a user interface suitable forsuch a device. We implemented a sample application that recognizes a station name on the route map anddisplays information on the station. We conducted evaluation experiments of the user interface and thewhole system, and conﬁrmed that it is practical for tasks that are allowed to retry.
Keywords: wearable system, smart glasses, text detection, character recognition, IoT

生活する上で有益な情報を与えてくれる．例えば，駅や商業

1.

はじめに

施設などには利用者の案内を行う案内板があり，その中に書有史以来，文字情報は人間にとって欠かせないものである． かれている文字はどのような施設がどこにあるのかを教えて
情報のデジタル化が進みつつある現代においても，実世界中くれる．また，駅の路線図からは，その路線の駅名や料金なには非常に多くの「アナログな」文字が存在しており，我々がどを知ることができる．このように，文字情報は我々が生活

248

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

する上で欠かせないものであり，これを読み取ることによっ

カメラ，及び何らかの通信機能を備えたスマートグラスなどて多くの有益な情報が得られる．

も IoT デバイスの一つと考えられる．単純に，その通信機能

文字認識は古くから研究されているが，スマートフォンのを使ってインターネット上にある情報を利用者に提供できる普及によって一般の人々にも身近な存在になってきており， というだけではなく，搭載しているカメラを使って物体や文
名刺やレシートなど，スマートフォンのカメラで撮影した文字を認識しクラウド上に情報を蓄積したり，インターネット

字画像を認識してテキスト化するアプリやサービスが多数存

上に蓄積された情報と照合したりすることで新たなサービス

1)〜3)

在している

．また，印刷された文書だけはなく，情景中を展開できる可能性がある．本研究で開発したウェアラブル

の文字を認識して何らかの情報提供を行うアプリも存在し， デバイスは，その開発基盤となり得るものである．
たとえば，Google 翻訳4)の機能の一つである Word Lens で

2.

は，カメラで写した画像中に含まれる文字列をリアルタイムに認識し，それを翻訳したものを画像中に上書きして表示することができる．

関連研究

ヘッドマウントディスプレイ・スマートグラスは，AR/VR
ブームに伴い多くのものが開発されているが，ディスプレイ

このような文字認識を利用したスマートフォンアプリは非常に有用であり，今後も様々なアプリやサービスが展開されの方式，CPU の有無，通信機能の有無，外部電源の必要性など様々なタイプに分かれる．

ていくと期待されるが，スマートフォンは基本的に画面を見ゴーグルのような形状の光学非透過・没入型のウェアラながら手で操作するものであり，何らかの作業を行っている

ブルディスプレイとして，Oculus Rift5)や HTC VIVE6),

場合や，手に物を持っている状態での利用，あるいは，身体

PlayStation VR7)など，多くのデバイスが市販されている．

的なハンディキャップがある人への情報提供ツールとしては同様の形状をした簡易型のデバイスとして，自身ではディス使用しづらい場合がある．そのような状況での情報提供に適プレイを持たずにスマートフォンをセットして使用するもの8)

したデバイスとして，ヘッドマウントディスプレイやスマーもある．これらのデバイスは比較的安価で，VR ゲームなど

トグラスがある．AR (Augmented Reality) / VR (Virtualのエンターテインメント分野で広く利用されているが，視界

Reality) ブームに伴い様々なデバイスが開発・試作され，一を遮断するため装着したまま行動したり作業したりすること

部は市販されているが，著者らの知る限り，情景画像中の文が難しく，本研究で対象としているような情報提供システム

字認識のために必要な性能を備え，作業や行動の邪魔にならには向いていない．

Google Glass9),10)は透過型の単眼ヘッドマウントディスプ

ないものは存在しなかった．
そこで本研究では，市販のデバイスを組み合わせることレイをもつスマートグラスで，CPU や Wi-Fi，カメラ，モーで，環境中文字認識を利用した情報提供アプリケーションのションセンサなどを備えたスマートグラスである．視界を妨ためのシンプルなウェアラブルデバイスを開発した．試作しげず常に装着することを意識して設計されているため，本研

たウェアラブルデバイスは，装着しながら行動したり作業を究で対象としているような情報提供システムに適しているが，したりする場合にも妨げにならないヘッドマウントディスプ

搭載しているカメラの解像度が低く (720p)，情景画像中文字

レイと，スマートフォンに匹敵するカメラを備える．さらに， 認識のためには十分とはいえない．
外部 PC・クラウドサーバと連携して動作するための仕組み

Microsoft HoloLens11)も Google Glass のようなスマーと，入力デバイスとしてカメラのみを備える本試作デバイス

トグラスで，CPU や Wi-Fi，RGB カメラ，モーションセンのためのユーザーインタフェースを開発した．

サだけでなく，GPU，深度センサや環境認識カメラなど多数

ところで，従来からネットワークに接続されていたパソコのデバイスを備えている．そのため，Google Glass と比べンやスマートフォンだけでなく，家電や車からセンサに至るまてデバイス本体が大きく，装着したまま作業したり行動したで，あらゆるモノがインターネットにつながる IoT (Internet

りするにはやや不向きであり，情報提供システムには向いて

of Things) が近年注目されてきている．これらから生み出さいないと考えられる．

れる大量のデータを分析し，あるいは，モノ同士でコミュニ

なお，情景画像中文字認識を用いた情報提供システムにおケーションを行って連携することで，これまでになかった付

いて，カメラの性能は重要である．著者らは以前，NEC Tele

加価値やサービスが生まれるのではないかと期待されている． Scouter12)を用いて，認識した日本語の文字列を英語に変換
直接インターネットに接続しているモノ以外でも，実世界のして表示するシステムを開発したことがある．しかし，内蔵

モノから情報を取得するための仕組みが IoT にとって重要

カメラの解像度が非常に低く (ビデオ取得時 640 × 480)，壁である．例えば RFID タグはそれ自身がインターネットに面に掲示された文字を認識するには実用上不都合な距離までつながるわけではないが，モノをトレースしたり情報を得た

近づく必要があった．近年開発されたウェアラブルデバイス

りすることができるため，重要な IoT デバイスの一つと考でも，スマートフォンに匹敵するような性能のカメラを持つ

えられている．

ものはほとんどない．

こうした観点から見ると，ヘッドマウントディスプレイと249

この他にも様々なデバイスが開発されているが13)〜16)，著

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
表 1 ウェアラブルシステムのデバイス
Table 1 Devices of wearable system

Unit
Display
CameraStick PC

Manufacturer / model
Brother AirScouter WD-200A
Infinitegra FCB-MA130
Diginnos Stick DG-STK1B

図 2 装着例

Fig. 2 Example of device wearing

開発したウェアラブルデバイス(720p) である．AirScouter はディスプレイのみでありカメ

Fig. 1 Developed wearable device

ラを備えていないため，環境中テキスト検出及び認識に必要

図1

者らの知る限り，本研究で想定しているような情報提供シス
テムに適しているようなデバイス，すなわち，装着したままの行動や作業に邪魔にならないヘッドマウントディスプレイ
とスマートフォンに匹敵する性能のカメラを持つものは存在しなかった．
次に，ウェアラブルデバイスのユーザーインタフェースについて述べる．Oculus Rift や HTC VIVE のような没入型のヘッドマウントディスプレイでは，Oculus Touch5)や VIVE
コントローラ6),17)などのデバイスを手に持って使用することがほとんどである．Google Glass では音声によるコマンド
入力と，眼鏡のテンプルの部分に備えられたタッチパッドを併用する．また，Microsoft HoloLens では，ヘッドトラッ
キングによるカーソル移動，手指によるジェスチャー，音声
コマンドを組み合わせて操作する．いずれの場合でも手または指が一定の役割を果たしており，本論文で想定してるような手を自由に使えない状況や身体にハンディキャップがある
方の使用においては不都合があると考えられる．音声コマン
ド入力は手が使えない状況でも利用できるが，環境雑音の影
響を受けやすいという問題があるほか，公共の場で声を出して使うことに抵抗があるという人も少なくない18),19)．

3.

な性能を持つカメラユニットを別に用意した．カメラで撮影した動画に情報を重畳したうえで，ヘッドマウントディスプ
レイに表示することができる．
カメラユニット Infinitegra FCB-MA130 は 1/2.45 イン
チ Exmor CMOS，1,300 万画素のソニー製イメージセンサを搭載しており，USB 3.0 でスティック PC に接続している．
ウェアラブルデバイスを用いた環境中文字検出・認識を利用したアプリケーションでは，連続的に文字検出・認識を行うことも想定されるため，静止画に加え動画での画像取得品質も重要となるが，本試作デバイスでは 1920x1080 で動画を取得できる．装着者の見ている風景とカメラが取得する映像の空間的なずれが小さくなるように，カメラユニットは眉間の上に配置する．カメラユニットは野球帽のつばの下に固定し，ヘッドマウントディスプレイも野球帽と一体化すること
で野球帽型のウェアラブルデバイスとした．この頭部装着ユ
ニットの重量は約 200g で，579g の HoloLens と比べると大幅に軽量である．Google Glass (43g) と比べると重いが，野球帽型としているため眼鏡型と比べて重量が気にならず，作業の邪魔になりにくいと考えられる．装着例を図 2 に示す．
スティック PC は Intel Atom Z3735F，2GB メモリ，Wi-Fi (IEEE 802.11n) を搭載した Windows 10 マシンであり，環境中文字認識のためのウェアラブルシステム

5V の micro USB 電源入力で動作する．AirScouter のコン
トロールユニット，スティック PC，電源供給のための USB

3.1 試作デバイス
試作したウェアラブルデバイスのハードウェアは，ディスプレイユニット，カメラユニット，スティック PC から構成される (図 1)．各ユニットは市販品を用いており，詳細を表 1

モバイルバッテリーはまとめて携帯できるようにした (図 1)．
これらのユニットをまとめるためのフレーム，及びカメラユ
ニットの固定具は 3D プリンタを用いて制作した．

3.2 外部 PC・クラウドサーバ連携

に示す．
20)

ブラザーの AirScouter WD-200A

は透過・非透過切り替

文字列検出・文字認識及び，それらを利用した情報提供アえ式の単眼ヘッドマウントディスプレイで，ゴーグルのように

プリケーションの全てをスティック PC 上で動作させること

両眼を覆うタイプではないため，装着しながら作業をしやすも考えられるが，ウェアラブルデバイスの携帯性を確保する

く何らかの行動を行う妨げになりにくい．解像度は 1280x720

ために CPU やメモリ容量などが限られ，処理内容によって250

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

表 2 外部 PC 連携のための API
Table 2 API for cooperation with external PC

API name
sendText
sendImagecameraOutputCtrl
getImage

Functions
ヘッドマウントディスプレイにテキストを表示
ヘッドマウントディスプレイにイメージを表示
ヘッドマウントディスプレイへのカメラ映像表示 ON/OFF の制御
カメラ画像の取得

は計算能力が十分でない場合も考えられる．そこで，Wi-Fi
によって外部の PC やクラウド上のサーバと連携し，処理の一部を外部 PC などで実行できるようにした．
実装した API を表 2 に示す．これらは外部 PC からウェ
アラブルデバイスを制御したり，情報のやり取りをしたりするための仕組みで，外部 PC から，ヘッドマウントディスプ
レイに表示するテキスト情報・画像イメージの送信，カメラ
画像の受信，及びヘッドマウントディスプレイへのカメラ映像表示 ON/OFF の制御が可能である．

図 3 UI2 によるメニュー表示の例
Fig. 3 An example of menu by UI2試作したウェアラブルデバイスでは動画モードで連続的に画像を取得してヘッドマウントディスプレイに表示している

択を考えているため，いくつかのバリエーションが考えられが，getImage を用いることでその 1 フレームを静止画像とる．頭を左右に動かすことによるメニュー選択を UI1，上下
して外部 PC に送信し，外部 PC 側で利用することができる． に動かすことによるメニュー選択を UI2 とする (図 3)．
なお，リアルタイムに動画を外部 PC に転送することはでき UI1 装着者が頭部を左に動かすとメニュー A を選択，右にない．これは，Wi-Fi の通信帯域及びスティック PC の処理

動かすとメニュー B を選択．上または下に動かすとキャンセ

能力からくる制約のためである．sendText では，外部 PC

ルと判定する．

から任意のテキストを送信し，ヘッドマウントディスプレイ
上の指定位置に指定秒数だけテキストを表示させることがで

UI2 装着者が頭部を上に動かすとメニュー A を選択，下に動かすとメニュー B を選択．右または左に動かすとキャンセ

きる．同様に，sendImage では静止画像を外部 PC から送信

ルと判定する．

し，ヘッドマウントディスプレイ上に表示する．これらを用装着者の頭部の動きは，ある短い時間間隔で画像を 2 枚取いることで，外部 PC で処理した出力結果を，ヘッドマウン

得しオプティカルフローを求めることで推定する．まず，コー

トディスプレイ上にカメラで取得された動画に重畳して表示

ナー検出21)によって特徴点を抽出し，各特徴点のオプティカ
することができる．また，cameraOutputCtrl を用いると， ルフローを求める．オプティカルフローの抽出には Lucasカメラから取得した画像を連続的にヘッドマウントディスプ Kanade 法22)を用いた．抽出されたオプティカルフローには
レイに表示する機能の ON/OFF を行うことができる．

4.

外れ値が存在するため，次のような方法で投票によって頭部の動きを判定する．各特徴点において，オプティカルフロー

ユーザーインタフェースの開発

によって求めた水平方向の移動量と垂直方向の移動量を比較

本論文では手を自由に使えない状況や身体にハンディキャッ

し，水平方向の移動量が多ければ水平方向に投票し，そうでプのある方の使用を想定しているため，開発したウェアラブル

なけば垂直方向に投票する．全ての特徴点で投票を行い，水デバイスはカメラ以外の入力デバイスを備えておらず，その平方向の投票が多ければ頭部を水平方向に動かしたと判定し，ような機器を効率的に操作するためのユーザーインタフェー

垂直方向の投票が多ければ垂直方向に動かしたと判定する．

スが必要になる．そこで，装着したカメラだけを用いてメ移行方向 (左右または上下) も，同様に特徴点の移動方向の

ニュー選択 (2 択＋キャンセル動作) を行うためのユーザーイ

投票によって決定する．

ンタフェースを複数開発し，ユーザーによる主観評価実験によって利便性や優位性を比較した．

4.2 装着者の移動によるメニュー選択
装着者が何らかの掲示物を見た後に，その掲示物に近づく

4.1 頭部の動きによるメニュー選択

か遠ざかるかを判定することによってメニュー選択を行うユー

開発したウェアラブルデバイスでは眉間の上の位置にカメ

ザーインタフェースも考えられる．これを UI3 とする．

ラが装着されているため，頭部の動きに応じて取得される映装着者が掲示物に近づいた場合，取得画像が拡大すること像が動く．これを利用して頭部の動きを推定し，選択動作をになるため視野中央付近から周辺へのオプティカルフローが行うことができる．ここでは，2 択 (＋キャンセル動作) の選

発生し，逆に遠ざかった場合は周辺から画面中央に向かうフ

251

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）(a) Paper

図 4 UI3 で移動判定方法
Fig. 4 Determining method of moving direction in UI3ローが発生する．UI1, UI2 の場合と同様に，特徴点ごとにフローの方向をカウントし投票することによって判定する．
具体的には次のような方法で行う．
まず，図 4 のように，視野中心を中心として水平及び垂直方向に取得画像を分割する．これらの左上，右上，左下，右下の部分画像を，それぞれ，LU，RU，LD，RD とする．次(b) Scissorsに，それぞれの部分画像 LU，RU，LD，RD を 4 等分し，

図 5 手指の認識
Fig. 5 Finger detection

視野中心に近い領域を，それぞれ LU’，RU’，LD’，RD’ とする (図 4 の緑の枠で囲まれた領域)．これらの小領域 (LU’，

RU’，LD’，RD’ ) 内において特徴点のオプティカルフローを求める．視野中心に近づく (または遠ざかる) 方向のフローをそれぞれの小領域ごとにカウントし，その割合が閾値以上であった場合に，近づいている (または遠ざかっている) と仮判定する．最後に，4 つの小領域のうち，3 つ以上の領域で近づいている (または遠ざかっている) という判定が得られた
場合，装着者は近づいている (遠ざかっている) と判定する．
そうでない場合は，キャンセルと判定する．

(a) Map

オプティカルフローは，メニューを表示した時点の画像と，その 3 秒後の画像によって計算する．すなわち，メニュー表
示から 3 秒後のユーザーの移動位置に基づいてメニューが選択され，近づいていればメニュー A，遠ざかっていればメニュー B，静止していればキャンセルが選択される．

4.3 装着者の手の認識によるメニュー選択
本論文で想定する手を自由に使えない状況での利用にはやや問題があるが，カメラだけを用いたユーザーインタフェー(b) Wikipedia

スとしては，自分 (装着者) の手によるジェスチャーを認識する方法も考えられる．さまざまなバリエーションが考えられるが，認識の頑健性を考慮し，指を 4〜5 本 (パーを想定) 認

図 6 サンプルアプリケーションでの駅名に関する情報表示
Fig. 6 Indication of information on the station name inthe sample application

識した場合 (図 5 (a)) はメニュー A を選択し，1〜3 本 (チョキを想定) 認識した場合 (図 5 (b)) はメニュー B を選択したス装着者) が路線図を見たときに，利用者が注視していると思と判定する．一定時間以内に手を認識できなかった場合はキャわれる駅名を認識し，その駅に関する情報をヘッドマウント

ンセルと判定する．手及び指の本数の認識には，Fingertip

ディスプレイに表示する．表示する情報としては，その駅周辺の航空写真地図 (図 6 (a)) と Wikipedia の情報 (図 6 (b))23)

Detection in OpenCVを用いた．

を 4 章で述べたユーザーインタフェースによってメニュー選

5.

実

験

択する．

5.1 サンプルアプリケーションの実装

サンプルアプリケーションでは，全ての処理を外部 PC で試作したウェアラブルシステム及びユーザーインタフェー

動作させるように実装した．処理の流れは次のとおりである．

スを評価するにあたり，アプリケーションの実装例として駅

まず，ウェアラブルデバイスのカメラでとらえた画像を外部での情報提供システムを考える．利用者 (ウェアラブルデバイ

PC に転送する．次に，文字列検出を行い，画像中の文字列を252

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

6WDUWϪτΡέϩනࣖʤභؔʥ
ժ଀खಚ
յ
‫܃‬ศ͢

ช࣊‫ݗ‬ड़
ช࣊೟ࣟ(a) 入力画像(b) モルフォロジー勾配(c) エッジ抽出(d) クロージング (縦)(e) クロージング (横)(f) 文字列検出結果‫ݗ‬ड़ʀ೟ࣟ
ࣨഌϟωϣʖනࣖ
ϟωϣʖ$

ϟωϣʖ
મ୔

Ϋϡϱιϩ

ϟωϣʖ%

ஏਦ৚ๅ
නࣖ

図7

:LNLSHGLDනࣖ

サンプルアプリケーションの処理フロー

Fig. 7 Operation flow of the sample application

図 9 文字列検出処理の例
Fig. 9 An example of text detection

5.1.1 文字検出
文字検出は古くから非常に多くの研究が行われているが，スライディングウィンドウによる手法24)と連結成分分析による手法25)に大別される．スライディングウィンドウによる手法は検出ウィンドウを画像中で走査させながらテキストと非テキストの分類を行うが，計算コストが大きい傾向がある．
図8

連結成分分析による手法では，エッジ検出などによって文字視野中心 (レティクル)

候補領域を決め，文字候補領域の連結と文字領域かどうかのFig. 8 Reticle判定を行っていく．
全て検出する．検出された文字列のうち，視野中央から最も近年ではディープラーニングを用いた非常に高精度な手法

近い文字列を装着者が注視している文字列と推定し，その文も数多く提案され高い精度を実現しているが26),27)，本サン字列に対して文字認識を行う．画像の取得から文字認識まで

プルアプリケーションではリアルタイム動作のための高速性をもう一度行い，認識結果が同一だったときのみ，メニューが必要で，かつ対象が路線図に限定されているため，連結成

選択を行う．これは，装着者が文字列を注視しているか，あ分分析方式による簡単な手法を用いた．Canny エッジ検出

るいはたまたま文字列が視野中央に入っただけなのかを判定

器28)によって文字のエッジを検出し，モルフォロジー処理にするための処理である．特定の文字列を注視している場合， よって文字領域を連結させることで文字領域を検出する．処
短い一定時間後にも同一の文字列が視野中心に捉えられるのに対し，そうでない場合は頭部に動きがあり，別の文字列が理の手順は次のとおりである (図 9)．

1. 前処理認識されるか，視野中央に文字列が存在しない場合が多いと処理速度向上のために画像サイズを 1/4 × 1/4 = 1/16

考えられる．以上の処理を繰り返し実行する．サンプルアプに縮小した後，グレースケールに変換する．次に，モル

リケーションでの処理フローを図 7 に示す．

フォロジー処理による膨張画像と収縮画像の差分を取る

なお，装着者の視野中央と取得画像の中央は一致しないが，あらかじめおおよその対応関係を調べておき，ヘッドマ
ウントディスプレイ上の視野中央に相当する位置にレティク処理を行い (モルフォロジー勾配)，輪郭部分を強調する．
構造化要素は 3 × 3 の円形のものを用いた．

2. エッジ抽出

ル (マーク) を表示することで，システムが仮定する視野中

Canny エッジ検出器28)によってエッジを抽出し，エッ央を装着者に示す．装着者にはレティクルの位置に調べたい

ジマップを得る．ヒステリシス処理における二つの閾値駅名がある状態で注視してもらった (図 8)．

は予備実験によって求め，それぞれ 250，500 とした．

253

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
表3

3. モルフォロジー処理
膨張処理を行ってから収縮処理を行う (クロージング処理)．横書き及び縦書きの文字に対応できるように，構各ユーザーインタフェースに関する各順位の得票数及び平均順位

Table 3 Number of votes of each ranking and averageranking for each user interface

造化要素は 1 × 10 及び 10 × 1 の矩形のものをそれぞMethod
UI1
UI2
UI3
UI4

れ用いた．これによって，エッジを縦方向または横方向にそれぞれ膨張させ，連結する．

4. 矩形抽出

1st
8
6
0
2

2nd
4
8
1
3

3rd
4
2
6
4

4th
0
0
9
7

Average Rank
1.8
1.8
3.5
3.0

60%

80%

クロージング処理を行ったエッジマップに対し，Suzuki
らの手法29)を用いて連結成分の外接矩形を求める．複数

0%

20%

40%

100%

の外接矩形が重なっている場合には，それらを囲うような矩形を生成する．実装には OpenCV の findContours
を用いた．

UI1
UI2

5.1.2 文字認識
文字列検出で検出された領域のうち，最も視野中心 (レティクル) に近い領域の画像を入力として文字認識を行う．日本

UI3
UI4

語の認識が可能なフリーソフトウェアの文字認識エンジンとして Tesseract-OCR30)と NHocr31)が良く知られているが，予備実験の結果，サンプルアプリケーションで対象としている路線図では後者の方が認識精度が高かったため，文字認識

1st

2nd

3rd

4th

図 10 各ユーザーインタフェースに関する各順位の割合
Fig. 10 Ratio of each ranking for each user interfaceには NHocr を使用した．
認識結果には誤認識が含まれるが，サンプルアプリケーショ

4cm で表記されており，路線図から約 1m の距離で操作してンでは対象を駅名に限定しているため，駅名の辞書を用いたもらった．任意の駅を注視することで文字列検出・文字認識を

認識結果の補正を容易に行うことができる．NHocr から出行った後に，その駅に関する地図情報表示または Wikipedia

力された認識結果と辞書中の要素 (駅名) との DP マッチンの情報表示を行ってもらい，各ユーザーインタフェース (UI1,

グを行い，最も類似度が高かった要素を認識結果とする．

UI2, UI3, UI4) を用いたときの扱いやすさを 1 位から 4 位
までランク付けする．注視する駅名は指示しておらず被験者

5.1.3 情報表示
認識した駅名に関する情報表示として，その駅周辺の地図
情報と Wikipedia の情報の表示を実装した．どちらの情報を表示するかは，地図情報表示をメニュー A，Wikipedia の情報の表示をメニュー B として，4 章で述べたユーザーインタ
フェースによって選択する．なお，「キャンセル」を選択した
場合は，情報表示を行わずに最初のレティクル表示に戻る．
地図情報表示では，Google Maps API を使用した．文字認識で得られた駅名を検索し，得られた地図画像をウェアラ
ブルデバイスに転送・表示する (図 6(a))．
同様に，Wikipedia の情報では Wikipedia API を利用して文字認識で得られた駅名を検索する．得られた結果の先頭の一部を画像に変換してウェアラブルデバイスに転送し，ヘッ
ドマウントディスプレイに一定時間表示する (図 6(b))．

が自由に選択するが，各ユーザーインタフェースごとに 5 分
から 10 分程度の時間をかけて複数の駅名に対して様々な操作を試みてもらった．被験者は大学生及び大学院生 16 名である．
各々のユーザーインタフェースに関する各順位の得票数，及び平均順位を表 3 に，各順位の占める割合を図 10 に示す．
この結果から，高評価な UI1 及び UI2 と，低評価な UI3 及び UI4 に二極化していることがわかる．UI4 は，1 位を獲得した割合に関して UI1 及び UI2 と 5%水準で有意差がないが，2 位以上の順位を獲得した割合では有意差が認められた．

UI3 については，被験者から，どの程度近づけば (遠ざかれば) いいかという感覚的な指標がわかりづらいという指摘があった．このことが操作の難しさに繋がり，ユーザーがストレスを感じる要因になったと考えられる．UI4 の評価が低い

5.2 ユーザーインタフェースに関する主観評価実験

理由については，手とカメラ間の距離が近すぎるために手全4 章で述べたユーザーインタフェースを評価するために， 体をカメラに写すことが煩わしく，手全体が画像内に入って
5.1 節で述べたサンプルアプリケーションをウェアラブルシ

いないときに認識が失敗することが多かったためと思われる．

ステムに実装し，操作のしやすさを比較するための主観評価

UI1 と UI2 を比較すると，UI1 の方が 1 位を獲得した割合が高いが 5%水準で有意差はない．2 位以上，3 位以上の獲実験を行った．
被験者は試作したウェアラブルシステムを装着し，実験室内得割合，平均順位でも有意差はなく，UI1 と UI2 の使いやすに設置した模擬路線図を見てもらう．路線図の大きさは A1 サ

さはほぼ同等といえる．有意差の検定にはマクネマー検定を

イズ (841mm × 594mm) で駅名は文字幅およそ 3.5cm から

用いた．

254

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

表4

サンプルアプリケーションに関する試行成功率 (%)

Table 4 Trial success rate on sample application (%)
Resolution
Full HDWSVGADistance (m)
0.5
1.0
1.5
0.5
1.0
1.5

Detection
93
86
80
85
50
36

Recognition
91
88
81
86
80
61

5.3 サンプルアプリケーション全体の評価

Menu Selection
96
99
98
94
98
95

Overall
82
75
65
69
39
21

本開発システム (Full HD) の距離 0.5m，1m，1.5m にお本論文で開発したウェアラブルシステムは，環境中テキス

けるタスク全体の成功率は，それぞれ，82%，75%，65% でト認識を利用したアプリケーションでの利用を想定したものあった．検出成功率と認識成功率は距離が増加するにつれてである．その有効性を確認するため，5.1 節で述べたサンプル減少するが，メニュー選択成功率は距離による影響はあまり

アプリケーションを開発したウェアラブルシステム上に実装見られない．特に文字列検出の成功率が低いことが全体の成し，タスク成功率を各ステージごとに調査した．これによっ功率を下げてしまう一因となっているが，サンプルアプリケーて，本システムが環境中テキスト認識を利用したアプリケー

ションでの文字列検出には簡単な手法を用いており，改善の余ション開発・実装に利用できることを確認する．

地は十分あると考えられる．距離 1m での全体成功率 75%はまた，本開発システムの特徴の一つに，環境中テキスト認

十分とはいえないが，想定している情報提供アプリケーショ

識の利用に耐えうる高解像度 (Full HD) カメラを備えている

ンでは失敗時のリトライが想定される．表 4 はリトライを許ことが挙げられる．この効果を確認するために，取得画像をさない場合の成功率であるが，2 回までのリトライを許した

WSVGA 解像度 (1, 024 × 576) に縮小してその後の処理を場合の 1m での全体成功率 (連続する 3 回の試行中に 1 度で行ったものに対しても同じ実験を行い，成功率を比較した．

も成功すれば成功とする) を実測したところ， 95% となり

評価項目は次のとおりである．

十分に高い値が得られた．このことから，リトライが可能な

1. 検出成功率

タスクであれば実用の範囲にあると考えられる．

ユーザーが注視した文字列 (駅名) が検出できた場合，検一方，入力解像度を疑似的に WSVGA とした場合の結果を見ると，1m 以上の距離では特に検出成功率が大きく減少

出成功とする．

2. 認識成功率している．その結果，タスク全体での成功率は 1m で 39%，

検出が成功した文字列に対する文字認識率で，式 (1) の1.5m で 21% と著しく低く，リトライしても連続して失敗すように定義する．

ることが多かった．入力画像の解像度が非常に重要であり，(認識成功率) = (認識成功数)/(検出成功数) × 100

本開発システムが環境中テキスト認識を利用した情報提供ア(1)

プリケーションに有用であることが確認できた．
また，意図しないタイミングで情報提供画面が起動されな

3. メニュー選択成功率
メニュー操作によって地図情報表示を選択し，正しく地い事も重要であるが，デバイスを装着して実験室周辺を歩き図情報が表示されれば成功とする．前項目と同様に，認回って確認した範囲では，そのような問題は発生しなかった．

識成功の場合に対するメニュー選択成功率を求める．メ6.

ニュー選択のユーザーインタフェースは，主観評価実験
で評価が高かったものの一つである UI2 を使用した．

4. 全体成功率

む すび

人間にとって文字情報は非常に重要な情報源の一つであり，
日常生活においても有用な情報を与えてくれる．近年，スマー

注視した駅名に関する地図を表示するというタスク全体

トフォンのカメラで取得した文字情報を認識するアプリも普に関する成功率であり，次の式で求める．

及してきており，認識した文字情報を用いて様々な情報を提(全体成功率) = (地図表示成功数)/(試行数) × 100

供してくれるようなサービスの発展が期待されるが，スマー

本実験では，被験者に注視する文字列を指示しており，被トフォンは何らかの作業を行っている場合や，身体的なハン験者は対象文字列の位置をあらかじめ把握している．駅名はディキャップがある方など，手を自由に使えない状況では利文字幅およそ 3.5cm から 4cm で表記され，路線図からおよ用しづらい場合がある．そのような状況での情報提供システ

そ 0.5m，1m，1.5m の距離で実験を行った．それぞれ 100

ムに適したデバイスとしてヘッドマウントディスプレイやス

回の試行を行った結果を表 4 に示す．Full HD の行が本論文

マートグラスがあるが，著者らの知る限り，情景画像中文字での開発システム，WSVGA が入力解像度を疑似的に落と認識に必要な性能を備え，作業や行動の邪魔にならないもの

したものの結果である．

は存在しなかった．

255

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

そこで本稿では, 環境中文字認識を利用した情報提供アプ
リケーションのためのウェアラブルシステムを開発した．市販のデバイスを組み合わせることで，情景画像中文字認識に耐えうるカメラと，装着したままの作業や行動に支障がない
単眼の透過式ヘッドマウントディスプレイを備える．また，
外部 PC またはクラウド上のサーバと通信するための機能を持ち，そのための API も整備した．さらに，試作デバイス
はカメラ以外の入力デバイスを持たないため，そのような状況に適したユーザーインタフェースを開発した．
路線図の駅名を認識して駅に関する情報を表示するサンプ
ルアプリケーションを試作し，ユーザーインタフェース及びシステム全体の評価実験を行い，リトライが許されるタスク
では実用の範囲にあることを確認した．
サンプルアプリケーションの実装では，文字列検出は簡単な手法を採用している．今後の課題として，より高度な検出手法の採用と実装の改良が挙げられる．

謝

辞

本 研 究 の 一 部 は ，JSPS 科 研 費

JP18K19772 及 び

JP18K11546 の助成を受けたものである．

CAMCARD,

19) CREATIVE STRATEGIES, Voice Assistant Anyone? Yes
please, but not in public!, https://creativestrategies.com/
voice-assistant-anyone-yes-please-but-not-in-public/ (2018).
20) ブラザー工業, WD-200A(業務モデル), http://www.brother.co.
jp/product/hmd/wd200a/ (2018).
21) J. Shi, C. Tomasi: “Good Features to Track”, Proc. of IEEE
Conference on Computer Vision and Pattern Recognition, pp.
593–600 (1994).
22) B. D. Lucas, T. Kanade: “An Iterative Image Registration
Technique with an Application to Stereo Vision”, Proc. of International Joint Conference on Artiﬁcial Intelligence, pp. 674–
679 (1981).
23) A.
Matheus,Fingertip
Detectioninhttps://picoledelimao.github.io/blog/2015/11/15/
ﬁngertip-detection-on-opencv/ (2018).

OpenCV,

24) S. Tian, Y. Pan, C. Huang, S Lu, K. Yu, C.-L. Tan: “Text
Flow: A Uniﬁed Text Detection System in Natural Scene Images”, Proc. of the IEEE International Conference on Computer Vision, pp. 4651–4659 (2015).
25) Y. Feng, Y. Song, Y. Zhang: “Scene Text Detection Basedon Multi-Scale SWT and Edge Filtering”, Proc. of 2016 23rd
International Conference on Pattern Recognition (ICPR), pp.
645–650 (2016).
26) M. Liao, B. Shi, X. Bai: “TextBoxes++: A Single-Shot Oriented Scene Text Detector”, IEEE Trans. on Image Processing,Vol. 27, No. 8, pp. 3676–3690 (2018).

参考文献
1) IntsigInformationCorporation,
camcard.com/ (2018).

18) KDDI, 「文字入力による情報検索『面倒』」は半数 「人前での音声検索は『恥ずかしい』」7 割超、家電などの音声操作、4 割が「『自宅に人がいなければ』利用したい」, http://news.kddi.com/kddi/
corporate/newsrelease/2017/10/05/2726.html (2018).

http://www.

2) 大日本印刷, レシーピ！, http://receipi.jp/ (2018).
3) Microsoft Corporation, Oﬃce Lens, https://itunes.apple.com/
app/oﬃce-lens/id975925059 (2018).
4) Google Inc., Google Translate’, https://translate.google.com/
about/ (2018).
5) Oculus VR Inc., Oculus Rift, https://www.oculus.com/rift/(2018).
6) HTC, Valve Corporation, HTC Vive, http://www.htcvive.
com/ (2018).
7) Sony Interactive Entertainment, PlayStation VR, http://www.
jp.playstation.com/psvr/ (2018).

27) Z. Zhang, C. Zhang, W. Shen, C. Yao, W. Liu, X. Bai: “MultiOriented Text Detection with Fully Convolutional Networks”,
Proc. of the IEEE Conference on Computer Vision and Pattern
Recognition, pp. 4159–4167 (2016).
28) J. Canny: “A Computational Approach to Edge Detection”,
IEEE Trans. on Pattern Analysis and Machine Intelligence,Vol. PAMI-8, No. 6, pp. 679–698 (1986).
29) S. Suzuki, K. Abe: “Topological Structural Analysis of Digitized Binary Images by Border Following”, Computer Vision,
Graphics, and Image Processing, Vol. 30, No. 1, pp. 32–46(1985)

8) SAMSUNG, Galaxy Gear VR, http://www.galaxymobile.jp/
gear-vr/ (2018).

30) R. Smith: “An Overview of the Tesseract OCR Engine”, Proc.
of Ninth International Conference on Document Analysis andRecognition (ICDAR 2007), pp. 629–633 (2007).

9) Google Inc.,
Google+GoogleGlass (2018).

31) H. Goto, NHocr: 日本語文字認識プログラム, https://ja.osdn.
net/projects/nhocr/ (2018).

Glass,

https://plus.google.com/

10) Google X, Glass, https://x.company/glass/google (2018).

(2018 年 6 月 15 日 受付)

11) Microsoft Corporation, Microsoft HoloLens, https://www.
microsoft.com/microsoft-hololens/en-us (2018).

(2019 年 2 月 13 日 再受付)

12) NEC, 現 場 業 務 を 支 援 す る ウェア ラ ブ ル コ ン ピュー タ「Tele
Scouter(R)(テレスカウター) 」新製品を発売, http://www.nec.
co.jp/press/ja/1110/1701.html (2018).
13) EPSON, MOVERIO BT-200AV/BT-200, https://www.epson.
jp/products/moverio/bt200/ (2018).

菅 谷 至 寛1995 年 東北大学工学部通信工学科卒業．2002

14) EPSON,
MOVERIO
BT-300,products/moverio/bt300/ (2018).

年 同大大学院工学研究科電気・通信工学専攻博士後期課程修了．博士 (工学)．現在同大大学院
工学研究科准教授．画像処理，コンピュータビ
ジョン，並列・分散処理システム，パターン認識などの研究に従事．電子情報通信学，情報処理学会，IEEE 各会員．

https://www.epson.jp/

15) Vuzix, Vuzix M100 Smart Glasses, https://www.vuzix.com/
Products/m100-smart-glasses (2018).
16) Vuzix, Vuzix M300 Smart Glasses, https://www.vuzix.com/
Products/m300-smart-glasses (2018).
17) HTC, VIVE コントローラについて, https://www.vive.com/
jp/support/vive/category howto/about-the-controllers.html(2018).

256

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

坂 井 清士郎2016 年 東北大学工学部情報知能システム総合学科卒業．2018 年 同大学院工学研究科博士前期課
程修了．同年 三菱電機エンジニアリング (株) 入社．在学中，画像処理の研究に従事．

宮 崎智2006 年 山形大学工学部情報科学科卒業．2011
年 東北大学大学院工学研究科電気・通信工学専
攻博士後期課程修了．2011 年 (株) 日立製作所
ディフェンスシステム社に入社，2013 年 東北大学大学院工学研究科 産学官連携研究員として勤務．2015 年より東北大学大学院工学研究科 助教．博士 (工学)．パターン認識や画像処理などの研究に従事．電子情報通信学会会員．

257

大 町 真一郎 （正会員）
1988 年 東北大学工学部情報工学科卒業．1993
年 同大大学院工学研究科情報工学専攻博士後期課程修了．同年 同大情報処理教育センター助手．
1996 年 同大工学部助手．助教授，准教授を経て，現在同大大学院工学研究科教授．博士 (工学)．その間，2000 年〜2001 年 米国ブラウン大学客員准教授．パターン認識，コンピュータビジョン，画
像処理，画像符号化などの研究に従事．2007 年
画像の認識・理解シンポジウム MIRU 長尾賞及び IAPR/ICDAR Best Paper Award，2010 年
ICFHR Best Paper Award 及び 33rd Annual

Conference of the GfKl Best Paper MethodAward，2012 年 電子情報通信学会論文賞を受賞．IEEE，電子情報通信学会，情報処理学会など各会員．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）IIEEJ

ɀɰʁɑɣʁɚʁ

-- IoT 社会の進展を支える画像電子関連技術論文特集 --フォグスクリーンを利用したホログラフィ立体像投影法におけるフリッカの低減法
高 野 邦 彦†（正会員）
浅 井 紀久夫†††

俊太郎†

富 永

池 内 達

哉†

佐 藤 甲 癸††（正会員）† 東京都立産業技術高等専門学校 , †† 元湘南工科大学 , ††† 放送大学

A Flicker Noise Reduction Method of Holographic Projected Images
with the Use of the Fog Screen
Kunihiko TAKANO† (Member), Syuntaro TOMINAGA† , Tatsuya IKEUCHI† , Koki SATO†† (Member),
Kikuo ASAI†††† Tokyo Metropolitan College of Industrial Technology ,††† The Open University of Japan†† Former Shonan Institute of Technology ,〈あらまし〉 ホログラフィック空間投影法は，広い視域で立体像を表示できる特徴を有する．その手法として水中で発生させたマイクロバブルを空間スクリーンとして利用する方法が知られている．しかしながら，この方法では，表示像の安定性については向上が見られたが，フリッカについてはその軽減が困難であった． そこで，本稿では, 容器内にフォグのみを封入した空間スクリーン装置の構成法について述べ，ホログラム再生像への効果について検討する．提案手法を利用することにより，スクリーン上で得られる表示像のフリッカ軽減，解像力向上に有効となることを示す．
キーワード：動画ホログラフィ，空間投影, フォグスクリーン方式, DMD<Summary> As an eﬀective reconstructing technique to observe full-parallax holographic images in thewide viewing area, we have studied a projecting process of 3-D holographic images with the use of thespatial screen. As one technique to perform a suitable projection of the images, projection of holographic
3-D images onto the underwater micro-bubble screen is well known. Applying this technique, the stabilityof the images displayed in the screen seems to have been highly improved, however, as for the ﬂickerlingof the images, much more improvement seems to be not so easy. For this reason, we constructed a new
spatial screen system employed fog ﬁlled in the tank. In this report, we have discussed its eﬀects to thereconstructed images through the holograms. We have seen that eﬀective for suppressing the ﬂickering of
the images with higher resolution.
Keywords: electro holography, projection in to the space, fog screen, digital micro-mirror device

リーン上での散乱光強度の変動に伴うフリッカの軽減につい

1.

はじめに

ては未解決となっていた．一方，通常の平面像の表示法とし

将来の 3D テレビの要素技術として期待されるホログラて，空中に留まる性質をもつフォグをスクリーンとして利用

フィには，全方向視差で立体像を表示できる特徴がある．そする事例が複数報告されている6)〜11)．しかし，これらの方のためには光空間変調素子 (Spatial light modulator:SLM)

法では，フォグを容器内に閉じ込める対策が行われておらず，を用いることが一般的であるが，現在入手可能な SLM はホ

表示像の揺らぎの改善が必要となっている．それに対して，

1),2)

．この特性

本稿では，表示像のフリッカ低減を目的とし，フォグが空中を補う方法として，空間スクリーンを利用した空間投影法がに留まる性質に着目して，これを容器内を閉じ込める方法に

ログラム再生に必要な性能を満たしていない
3)〜5)．これまでに，水で満たした容器内で発生させたマより空間スクリーン装置を構成した．まず，フォグ利用によイクロバブルを空間投影用スクリーンに用いる方法が検討さるスクリーン生成装置の利点とその構成法について述べ，次ある

5)

れ，表示像の揺らぎの低減が図られている ．しかし，スク

258にスクリーンの光学特性と表示像の特性について検討する．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

向上が見られたが，フリッカの軽減については未解決であった5)．この方法では，容器内に水を満たしたうえで，
水中でバブルを発生させており，装置が水の重量分だけ重くなる構造であった．さらに水中のバブルの安定化には，別途，整流機構の増設が必要であり，装置の煩雑化の原因ともなっていた．それに対して，本稿では水槽内にフォグ (散乱体) のみを封入させる機構としたため，結果的に装置の単純化や軽量化につながった．
図 1 フォグ利用のホログラフィ立体像再生システム
Fig. 1 Holographic 3D image projecting system using
the fog screen system

2.1 フォグスクリーンの構成方法
スクリーン生成装置は，ホースを装着したフォグ生成器 (図

散乱体であるフォグのみを密閉した容器内に封入し，容器内でゆるやかに撹拌させる方法とすることにより，5〜10 分間
程度ではあるが，文献 5) の方法と比べて輝度とコントラス
トが共に高い投影像が，揺らぎやフリッカが少ない状態で得られることがわかった．

1 内の Fogger)，Fogger 制御用のリレーとコントローラー，蓋で密閉した横 60cm，縦 35cm，奥行き 30cm の透明ガラ
ス容器，バッテリー駆動のファンから構成される．本稿では次の手順で空間スクリーンを生成している．

• フォグ生成器 (Fogger) にフォグリキッドを装填して加
熱する．

2.

フォグ利用による空間像投影システム

図 1 に，本稿で構成した立体像表示システムの構成を示す．
本システムは，レーザ光源 (射出口位置にレンズを内蔵または装着)，PC 制御による DMD(Digital Micro-mirror Device)
パネル (TI 社, DMD Discovery Kit 11005))，提案するスクリーン装置から成り，スクリーン生成装置以外の部分は，文献 5) と同条件としている．本稿では濃縮された液体から気化した粒子をフォグとして扱う．フォグ生成器に装填したリ• リレーをワンチップ CPU(図 1 の Controller) で制御し，フォグ生成器で使用する液体の量を 0.1mL/分の一定割合に近づける．なお，微小信号で高速に開閉が可能であるという理由から，メカニカルリレーではなく半導体リレー13)を用いた．

• フォグ生成器からホースを経由して空の容器内に一定量のフォグを封入する．容器上部には蓋を取り付けており，
外部にフォグが漏れないように密閉する構造としている．

ぎを軽減させている．なお，フォグの微粒子は散乱体として• 容器内のフォグの濃度を長時間にわたって一定条件に近づけるため，同容器の底面に設置した 12cm 角の DCの性質をもつため，これにより再生光が散乱され，結果的にファンにより，緩やかに循環させた．なお，長時間にわ

ホログラフィ立体像投影用の空間スクリーンとして機能する．

たってファンを連続動作できるよう，ファンは大容量バッ

キッド (専用液) から生成したフォグを容器内に封入して揺らテリーにより駆動させている．

フォグスクリーンシステムには，次の利点がある．

• 持続時間が長い

3.

本稿で用いたフォグ生成用のリキッドは粘性のある水性のグリコール溶液であり，空気中への水滴の気化を防ぐ

結果及び検討3.1 空間スクリーンの光学特性の改善
3.1.1 スクリーン透過後の光の時間的安定性

性質を有する．これによりスクリーンとしての持続時間

スクリーンシステムの時間的な安定性を確認するために，が 5〜10 分程度となった．従来の水粒子によるミスト

文献 5) と同様の測定システムを構成した上で, スクリーン内

スクリーンの場合 (1 分間)12)に比べて，持続時間が長くへ通過したレーザ光の強度を 100ms 間隔でレーザパワーメーなった．さらに，上記のフォグを容器内に閉じ込める構タにより計測し，そのデータを AD 変換器により PC 内へ自造であるため，文献 5) の方法に比べ，フォグの持続時動取得する．得られた結果において，次の観点から傾向を確

間や揺らぎの課題を改善できていると考えられる．

認する．

• 生成したフォグ粒子のサイズ• 粒子生成量

本手法で生成したフォグの粒子径は 10〜30µm 程度で一般に粒子 (散乱体) で満たされた空間を透過する光は，あり，ミー散乱の条件に相当する．これは，再生波長に粒子による散乱と吸収により減衰し，容器内を通過する伴う表示像特性の大きな差異が生じないことを意味して光の強度も低下する．この度合いは粒子の密度が高いほおり，表示像をカラー化する際にも有効であると考えらど顕著になる14)〜16)．本稿では粒子による散乱により像れる．

再生を行っているため，その密度が高いほど，すなわち• システム構成の単純化および軽量化

透過光強度が低下するほど，像輝度が高くなると考えら

従来のマイクロバブル方式では，表示像の安定性には259れる．一方で，粒子密度が高すぎる場合には，入射光自The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 2 スクリーン透過後の光強度の時間変化
Fig. 2 The change of the light intensity on the screenwith respect to the elapsed time.

体による散乱によって表示面 (スクリーン全体) の輝度が高くなるため17)，像とともに背景の輝度が高まり (す図 3 スクリーン上の位置に対する光強度の変化
Fig. 3 Changes in the light intensity of each position on
the screen

なわち，背景ノイズが増加し)，結果的に像のコントラスト低下の原因になると考えられる．したがって，粒子図 3 より次の傾向が見て取れる．

濃度 (透過光強度) と背景ノイズ量はトレードオフの関• 従来のマイクロバブル方式の場合には，バブルの分布状係になり，本実験に適した粒子濃度が存在すると考えら況 (その濃度またはバブルの有無) により，顕著な輝度れる．ここでは，本実験システムに適した粒子密度の条変動が発生する．その一方で，フォグスクリーンの場合

件を，スクリーンの透過光強度から求めた．

には，輝度変動幅が小さい．

• 光源に近いスクリーン左側から，右側にかけて輝度が緩• 経過時間に対する輝度の変動量
時間経過に伴う透過光強度の変動量が少ないほど，スクやかに低下するが，その度合いはフォグスクリーンの方リーン上に表示された像の輝度変動，即ち，フリッカがが少ない．
以上の結果は，前項での結果と同様に，散乱体であるフォグ軽減されると考えられる．
このようにして得られたスクリーン透過後の光強度の時間がその場に長く留まる性質をもち，その流動性が少ないこと

変化を図 2 に示す．同図において，横軸はスクリーン起動後を意味しており，立体像の表示可能面積を拡大する上でも有に安定状態に達してからの時間経過を示しており，縦軸はス

効であると考えられる．データから求めた標準偏差からも，クリーン透過後の光の相対強度を示している．本手法で得ら本手法による光強度のばらつきの減少傾向が確認された．

れた結果は同図内の Fog screen の場合である．従来法との3.2 スクリーン上での投影像特性

比較のため，文献 5) をもとに再構成したマイクロバブルス

3.2.1 フォグ量の違いによる投影像特性

クリーン方式の一例 (Micro bubble screen) についても併記

前節では，空間スクリーンにフォグを用いた場合の光学的している．

特性の傾向について述べた．ここでは，実際にフォグスクリー

図 2 を見ると，次の傾向が確認できる．

ンにホログラム再生像を投影した結果について述べ，前項と• マイクロバブルスクリーンの場合に比べ，透過光強度が同様に散乱体の分布状況を確認した．ガラス容器内に封入す低くなっている．これは，フォグ粒子が容器内に多く存る散乱体の量は投影像特性に大きな影響を及ぼすことが知られている5)．この観点から，容器内へのフォグ流量を変化さ6)在すること を意味すると考えられる．

• 時間経過に対する透過光強度の値の変動幅が小さい．こせて投影像を比較した結果を図 4 に示す．同図において，(a)れは，散乱体であるフォグがその場に長く留まる性質をは比較用に文献 5) をもとに再構成したマイクロバブル方式

もつことを示唆し，表示像のフリッカ軽減に対しても， の場合を，(b)〜(f) はフォグ方式において，容器内へのフォ本手法が有効になると考えられる．さらに，連続した 1 グ量をその封入時間 t により変化させた場合を示している．
分間のデータを無作為に抽出して求めた標準偏差からなお，確認用の再生物体には従来法との比較のため，文献 5)

も，本手法の方が輝度のばらつきが減少する傾向が確認と同様の図形を用いている.
図 4 を見ると次の傾向が見て取れる．

できる．

• マイクロバブル方式の場合に比べ，再生像点が確認しや

3.1.2 スクリーン透過後の光の空間的安定性
スクリーン上の表示位置に対する光強度の変動量が多い場
合には，投影像の輝度むらを無視できなくなることが知られ
5)すくなり，像輝度も向上する．

• ガラス容器へのフォグの流入時間 t が長く, すなわち封ている ．ここでは文献 5) と同様の考え方から，スクリーン

入量が多くなると散乱光強度が大きくなる．これにより，に左側から緑色レーザ光を入射させて，スクリーン内を透過

像輝度が高くなる．一方で，背景輝度も高くなり，像コするレーザ光の軌跡を撮像した．これをもとに最大輝度を 1

ントラストは低下傾向となる．この点では本実験システに正規化して求めた輝度変動の結果を図 3 に示す．

ムにおいては，図 4 (b) の場合が最も良好な条件と考え260

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

4.

む す

び

本稿では，表示像のフリッカ低減を目的とし，フォグを利用した空間スクリーンの構成法ならびにその光学的特性，投影像特性について考察した．その結果，フォグの持つ時間的・空間的に安定する性質により，従来法に比べてフリッカが少なく良好な投影像を得ることが可能となった．なお，スクリーンとして，より適したフォグ物質の条件探索等，更なる画質改善に向けた検討が必要となるが，これは今後の検討課題と
図 4

したい．

フォグの流入時間を変化させた場合の投影像の比較( (a) マイクロバブルスクリーン, (b) フォグスクリー
ン (t=0.2sec.), (c) フォグスクリーン (t=0.4sec.), (d)フォグスクリーン (t=0.6sec.), (e) フォグスクリーン(t=0.8sec.), (f) フォグスクリーン (t=1.0sec.) )謝

辞この研究を遂行するにあたり，文部科学省科学研究費補助
金 (課題番号 17K00493) の補助をいただきました．

Fig. 4 Comparison of the projected images changing in
the inflow time of the fog into the tank; (a)Microbubble Screen, (b)Fog Screen (t=0.2sec.), (c)Fog
Screen (t=0.4sec.), (d)Fog Screen (t=0.6sec.),(e)Fog Screen (t=0.8sec.), and (f)Fog Screen(t=1.0sec.)

参考文献
1) N.Fukaya，K.Maeno，K.Sato，T.Honda: “Improved Electroholographic Display Using Liquid Crystal Devices to Shorten
the Viewing Distance with Both-Eye Observation , OpticalEngineering, Vol.35, No.6, pp.1545–1549 (1996).
2) 西川修, 岡田孝常, 松本健志, 吉川浩, 佐藤甲癸, 本田捷夫: “液晶パネルの画素欠陥がホログラム再生像に与える影響 , テレビジョン
学会技術報告, Vol.19, No.8, pp.7–11 (1995).
3) 妹尾孝憲, 大友明, 山本健詞, 大井隆太郎, 粟田泰一郎: “電子ホログ
ラフィ映像の拡大投影の検討−像サイズと視域の拡大に向けて− ,映像情報メディア学会技術報告, Vol.36, No.12, pp29–32 (2012).

図54) 川島徹也, 鈴木啓介, 角江崇, 下馬場朋禄, 伊藤智義: “計算機合成イ
メージホログラムによる 3 次元映像の凹面鏡による空中投影 , 情報
科学技術フォーラム講演論文集, Vol.13, No.3, pp.179–182 (2014).

フォグ流入時間に対する像コントラスト比の変化

Fig. 5 Changes of the contrast ratio of the image in inflow time of the fog into the tank5) 高野邦彦, 須賀凛太郎, 今野哲史, 佐藤甲癸, 浅井紀久夫: “キャビテーションバブル方式を利用した投影型ホログラフィ装置”, 画像
電子学会誌, Vol.47, No.3, pp.228–233 (2018).

られる．

• フォグ封入量が多くなるにつれ，表示されてはいけない
輝線が目立つようになる．本実験の場合には流入時間 tが 0.2s の場合に，輝線に対する所望の像の相対強度，すなわちコントラスト比が最も良好な条件で得られることがわかった．なお，マイクロバブル方式の場合には，輝線に対する所望の像の相対強度が低い結果となった．
以上の結果から，本手法で構成したフォグスクリーンにおいて，最も良好な投影結果を与える条件は，容器へのフォグ
流入時間 t が 0.2s の場合であると考えられる．さらに背景に対する像のコントラスト比を，デジタルカメラの感度補正か
ら相対的に求めた結果を図 5 に示す．同図において横軸は容器へのフォグの流入時間 t を，縦軸は投影像の相対的なコン
トラスト比を示している．この結果から，t が 0.2s の場合に最も高いコントラスト比が得られ，t が 0.4〜0.6s に変化中
はコントラスト比が大幅に低下，その後は横ばいの傾向となることが確認できる．これより，本稿で構築したフォグスク
リーンにおいて，良好な像を得る条件は t が 0.2s の場合であることがわかった．

261

6) 草深宇翔, 永徳真一郎: “空間中任意点へ生成したフォグスクリーンによる生活空間への適用を志向した空中映像提示方法の基礎検討”,
情報処理学会インタラクション 2018, 2P09, pp.833–836 (2018).
7) 山口恭平, 森裕司, 板井志郎, 三輪敬之, 西洋子: “共創表現メディアに関する研究‐霧の空間性を活用した表現場創出支援‐”, 計測自動制御学会 (SI2015),pp.1878–1882 (2015).
8) 三寄一樹, 池田竜也, 森裕司, 大塚達也, 三輪達也, 三輪敬: “円筒状霧ディスプレイの開発とそ共同描画へ適用”, 計測自動制御学会(SI2016), pp.1038–1042 (2016).
9) 清水直文, 内田英建, 松山賢: “低コヒーレンスサブテラヘルツ波による煙越しのイメージング”, 第 62 回応用物理学会春季学術講演会, 13p-A14-3 (2015).
10) 白山晋, 尾亦範泰, 安達健二: “実環境下での３次元流れ方向の計測方法”, 可視化情報学会論文集,Vol.35, No.8, pp.17-27 (2015).
11) 小野木茂, 萩野谷成徳, 堀晃浩, 八木俊政, 毛利英明, “汎用デジタルカメラを使用した野外 PIV 撮影技術〜安全面と環境面に配慮した
野外 PIV”, 日本風工学会論文集, Vol.39, No.3, pp.63-66 (2014).
12) 高野邦彦, 宮埼真宏, 八重樫研介, 山口真, 大木眞琴, 佐藤甲癸, 浅井紀久夫: “薄膜封入型ミストスクリーンの構成手法とそのホログ
ラフィ立体像への効果”, 画像電子学会誌, Vol.45, No.1, pp.20–26(2016).
13) 吉原和明, 藤森貴子, 渡辺健次,“家電製品の制御を利用したユビキ
タス植生ハウスの開発”, 教育システム情報学会, 第 42 回全国大会,
G3-2, pp.231–232 (2017)14) 加藤俊之, 井越昌紀: “煙環境下における赤外線画像のシミュレーション”, 精密工学会誌, Vol.65, No.7, pp.1056–1061 (1999).

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）15) 淵田研, 小倉徳郎, 原島治: “ノクトビジョン等による近赤外線の大気透過に関する実験”, 照明学会誌, Vol.43, No.1, pp.21–28 (1959).
16) 中根芳一, 山口晴久: “煙中の見通し距離の計算法”, 大阪市立大学
生活科学部紀要, Vol.36, pp.105–111 (1988).
17) 岩井俊昭, 相津佳永, 朝倉利光: “レーザー計測の基礎 II 散乱計測”,
レーザー研究, Vol.27, No.9, pp.642–651 (1999).

(2018 年 9 月 24 日 受付)(2019 年 2 月 14 日 再受付)

高 野 邦 彦 （正会員）
2002 年 湘南工科大学大学院工学研究科電気工学
専攻博士後期課程修了．同年，東京都立航空工業高等専門学校 (2006 年に東京都立産業技術高等専門学校に組織変更) 助手，講師を経て，2008
年 同校准教授．動画ホログラフィ，画像処理，衛星通信，遠隔医療等の研究に従事．博士 (工学)．

富 永 俊太郎2018 年 東京都立産業技術高等専門学校ものづく
り工学科情報通信工学コース卒業．本校在学時
はホログラフィ立体 TV に関する研究に従事．

池 内 達 哉2018 年 東京都立産業技術高等専門学校ものづく
り工学科情報通信工学コース卒業．本校在学時
はホログラフィ立体 TV に関する研究に従事．

262

佐 藤 甲 癸 （フェロー）
1975 年 早稲田大学大学院理工学研究科電気工学専攻博士後期課程修了. 1975 年〜1977 年 同大学理工学研究所研究員．1977 年 相模工業大学(現在校名変更により湘南工科大学) 勤務．1995
年 同教授．2012 年定年退職．その後湘南工科大学研究員，早稲田大学理工学研究所招聘研究員，
東海大学非常勤講師．2016 年同大学非常勤講師
定年退職．その間に応用物理学会編集委員，電子情報通信学会動画ホログラフィ時限研究専門委員会委員長，映像情報メディア学会映像表現研究会
主査，画像電子学会庶務理事，技術専門委員長，編集委員，企画委員，通信放送機構 (TAO) 高度
立体動画像通信プロジェクトサブリーダーなどを歴任．専門分野はホログラフィなどの立体映像技術，光エレクトロニクス全般．電子情報通信学会，映像情報メディア学会 (フェロー)，画像
電子学会 (フェロー)，SPIE 各会員．工学博士．

浅 井 紀久夫
1998 年 名古屋大学大学院工学研究科博士後期課程退学．1996 年 大学共同利用機関放送教育開発センター助手，放送大学准教授を経て，現在，同大学教授．この間，2000 年にイリノイ大学シカゴ校 (アメリカ)，2002–2003 年にアルバータ
大学 (カナダ)，2009–2010 年にカンタベリー大
学 (ニュージーランド) 客員研究員．ヒューマン
インタフェース，高臨場感を提示する仮想環境
システムなどの研究に従事．博士 (工学)．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）「画像電子の世界と現実世界を相互につなぐ技術」
論文特集に寄せて編集委員会
画像伝送や画像信号処理は現実世界を視覚情報としてコンピュータに取り込み，様々な処理をするための技術として，発展してきました．現在は現実世界からコンピュータに情報を取り込むだけでなく，処理後の情報をさらに現実世界にフィードバックすることで，相互の情報のやりとりが可能となっています．
このような画像電子の世界と現実世界を相互につなぐ技術は，人々の健康や安全を守り，生活をより豊かなものにしてくれる技術として，今後ますます発展していくものと考え，本特集を企画しました．
本特集には多くの皆様より関心をいただき，論文を投稿いただいた結果，本号には 2 件の論文が採録されました．1 件はなめらかな運動視差を再現できる裸眼 3D ディスプレイを提案したフルペーパーで，もう1 件は車載カメラによる人物検出において他車両からの情報を用いた人物再検出という考え方を新たに提案したショートペーパーです．それぞれ，現実のものを如何に高品質に見せるか，現実世界からの情報をどう抽出し適切に処理するのかという観点に立ったもので特集内容の趣旨にあった興味深い論文であると考えます．今回，採録された論文をはじめとして，画像電子の世界と現実世界をつなぐための技術は欠かせないものであり，多くの研究がなされています．そのような分野の研究成果を本特集だけでなく一般論文としても今後是非ご投稿いただければと思います．
最後になりますが，本特集論文に関し貴重なご意見をいただいた査読者の皆様，並びに，ご協力・ご支援をいただいた編集委員，事務局の皆様に感謝を申し上げます．
＊特集号編集理事
藤澤 誠（筑波大学）（藤澤 誠 記）263

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）-- 画像電子の世界と現実世界を相互につなぐ技術論文特集 --視覚的に等価なライトフィールドフラットパネル 3D ディスプレイ
伊 達 宗 和† 越 智 大 介† 木 全 英 明†（正会員）†日本電信電話株式会社 NTT メディアインテリジェンス研究所

Flat Panel Visually-equivalent Light Field 3D Display
Munekazu DATE†, Daisuke Ochi†, Hideaki KIMATA† (Member)†NTT Media Intelligence Laboratories, Nippon Telegraph and Telephone Corporation〈あらまし〉少数の指向性画像を演算処理せずにそのまま表示するだけで，なめらかな運動視差を再現可能な，フラットパネル裸眼 3D ディスプレイを提案する．これまで，人間の視覚の二重像知覚の特性に着目し，指向性画像
をディスプレイ内部で光学的にリニアブレンディングを行うことにより角度方向に補間する方法を提案してきた．
しかし，投射型表示によるプロトタイプは，装置サイズが大きく，画像の歪の除去が困難であった．今回，RGB
横ストライプの液晶パネルと，開口幅が画素の幅とほぼ等しいストライプ状のバリアを用いることだけで，水平方向のなめらかな運動視差を歪みなく表示できたので報告する．レンズのない構成は原理的に歪みやぼけを生じる要因がないので高画質となる．さらに，リニアブレンディングによる表示を空間周波数の観点から整理し，補間画像が知覚される原理を視覚システムのカットオフを想定するだけで光学的に説明できることを示した．
キーワード：裸眼 3D ディスプレイ, なめらかな運動視差, リニアブレンディング<Summary> A novel autostereoscopic flat-panel 3D-display, which can display viewpoint images directly, that can reproducesmooth horizontal motion parallax using small number of directional images is introduced. Using the human perception
characteristics of doubled images, we interpolate directional images and generate visually-equivalent rays using optical linear
blending in the display. Our previous proposal required a huge apparatus and had low image quality. Since this new display
requires only that a barrier, whose spacing is almost same as pixel width, be added to a regular horizontal RGB stripe type 2D
LCD, it yields thin flat panel displays. The lens-less optical configuration enables high image quality, because it is intrinsically
free from distortion and blur. Moreover we sorted out phenomena from a standpoint of spacial frequency and showed that only
assuming cutoff frequency of visual system, perception can be explained optically.
Keywords: autostereoscopic 3D display, smooth motion parallax, linear blending

1.

スプレイである 2)．観察者の瞳の位置に対応した両眼への画はじめに像を表示する．もう一つの構成は大画面のスクリーンで構成

臨場感の高い 3D 表示技術は，自然な映像コミュニケーシ

された箱にプロジェクションする形態である 3)．観察者は 3D

ョンや拡張／仮想現実（AR/VR）応用の観点から近年重要とメガネと位置検出用のマーカーを着用し，観察者の視点位置なっている．専用のメガネを着用する 2 眼式の 3D 表示は素に対応した映像が提供される．この方法は単純で優れている

晴らしい体験を提供するが，物体の映像は浮遊しており実在

が，映像表示の遅延が現実感を低下させてしまう．

する物体とは大きく異なる見え方になる．実在感を高くする

裸眼 3D ディスプレイ 4)～5)は一般の 2D ディスプレイとパラには両眼視差と輻輳による二眼式の立体視だけでなく，観察

ラックスバリアやレンチキュラーレンズの組み合わせで構成者の視点位置の変化による見えの変化による運動視差も満たされ，方向によって異なる映像を光学的に常時表示している

す必要がある．

ので，ヘッドトラッキングに起因するような遅延なしにユー

VR1)に使用されるほとんどの表示は，2 眼式の 3D ディスプザーの視点に合った映像を提供することができる．また，遅レイとヘッドトラッキングの組み合わせである．典型的な構延という観点では，複数カメラで撮影した映像やレンダリン

成の一つは，頭部位置のセンサをつけたヘッドマウントディ

グした CG を追加の計算処理なくそのまま表示デバイスに送264The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

できないので本論文の直接の目的からは外れるが，情報量のるだけで表示できることも重要である．
実物により近い自然な 3D 表示には微細な視点位置の変化削減という観点で方向性は類似しており，数学的な概念の導も考慮する必要がある．ヒトの視点位置は頭部の運動や姿勢

入により飛躍的な進歩が期待される方式である．パネル間のの揺れや眼球の随意的な運動や固視微動のような不随意的な演算特性により乗算型（積層パネルの画素の透過率の積が観運動など様々な要因で揺らいでいる．また，ヒトの視覚は網測されるもの，Attenuation 型 12),14)）と加算型（積層パネルの膜上で静止した像に対する感度が低く，このような視点位置

画素の透過率の和が観測されるもの，Addition 型 13),15)）の２の空間的な変化に誘起された網膜上の各点における輝度の変種類に大別される．乗算型は積演算を行う画素の組み合わせ化，すなわち輝度の微分を手がかりとして見ている．そのたにより観察される輝度が急峻に変化するので高い角度分解能

め，方向によって異なる画像を提示するだけでなく，視点位で表示可能な反面，光線の方向を補間するような性質はない．

置の微小な変化に対する輝度の変化である微分まで正しく表

また，1 層の表示層に遮光パターンを表示することでハード示する「なめらかな運動視差」が実物に近い自然な表示に重ウェア的には本論文の構成を含むパララックスバリア方式を要であると考えている．このようななめらかな運動視差は多包含するが，遮光パターン越しの画像は最適化演算の際の輝数のプロジェクタと指向性スクリーンの組み合わせで構成さ度差が大きくなるので，パララックスバリアを表示画像とし

れ 6)，実写映像の表示も大規模なカメラアレイとの組み合わて選択することはほぼなく，完全に別な方式として考えるべ

せで行われているが 7)，表示データの量は膨大である．また，き性質のものである．さらに，同一のパネルを積層する現状

デジタルヒューマンという人物を実物大でリアルに表示するの構成は，無限遠からの観察に適している．有限距離での観手法が提案され 8)．このシステムではカメラの台数を実時間

察では表示パネルの画素構造の干渉によるモアレが発生しての補間処理により削減したが，表示に必要なプロジェクタのしまい，原理どおり性能を発揮するには課題がある．一方，台数は依然として多いままである．

加算型は画素値の加算演算のみなので交換法則が成り立つこ

なめらかな運動視差を表現可能な他の表示方式として，奥とから視点移動に対し線形補間が機能する．また，透明スク行き融合型 3 次元(DFD: Depth Fused 3D)ディスプレイ 9-10)がリーンを積層し投射する構成 15)ではモアレは発生しない．たある．
この表示方式は 2 層以上の画面を積層して表示を行う．

だし，方向によって大きく異なるような映像の表示には適し異なる奥行きの層に表示した運動視差が合わさることにより， ておらず，パララックスバリア方式のように視点により異な
ヒトの視覚に対し正しくかつなめらかな運動視差を知覚させる画像を表示することは得意ではない．

ることができる．この方式は体積的な 3D 情報を離散的な積

本研究の目的は，複数カメラの映像をそのまま表示するこ

層画面に圧縮し表示することができる．DFD 方式では２眼式とが可能で高画質かつ自然な裸眼 3D ディスプレイを実現すの 3D 表示と異なり左右眼の視力が大きく異なる不同視でもることである．多眼方式のような裸眼 3D ディスプレイの表

立体知覚が可能 11)であるなど実物に近い自然な 3D 表示を提示の情報量を圧縮することで，方向成分の表示へ使用する画

供することができる．しかし，表示奥行きや視域が狭くその素を減らし１方向あたりの画素数を増加させると共になめら解消には層数を増やす必要がある．さらに，複数カメラの画

かな運動視差を再現することで，高画質かつ自然な 3D 表示

像を表示するには，演算処理で得られた奥行き情報をもとにを実現する．圧縮により表示側の情報量の要求が減少するこ

各層に表示する映像を生成する必要があるなどディスプレイ

とは，撮影側の情報量すなわちカメラ数や，レンダリングの演算量を減らすことにつながる．最終的には 3D 映像システ

としては制約がかなり大きく，汎用的とは言い難かった．

ム全体の効率化を目指している．

また，DFD 表示の画像の知覚は，ヒトの視覚の低周波チャネルで行われると考えられ 9)，ガウシアン型ローパスフィル

情報量の圧縮のアプローチとして，我々は表示に必要な画ターで定量的に説明可能なことが示されている 10)．幾何光学

像の指向性数を削減することによる表示情報の削減が有効で的に考えれば，視点位置が変化すると各層の画像の位置関係あると考え，人間の視覚特性を利用して画像を角度方向に補が変化するので輝度変化は不連続となるが，ヒトが知覚可能

間することを提案している．ディスプレイの内部で補間を行な空間周波数には上限があるので，そのローパスフィルター

うためには，その演算は単純である必要がある．そこで，補の効果により知覚される輝度の変化は連続的となると考える

間方法としてリニアブレンディングを採用している 16）．このと現象を定性的に理解できるが，その知覚機構に踏み込んだ方法の効果は積層画面の画像のリニアブレンディングを使用

整理や正確な計算は行われていなかった．

する DFD ディスプレイの研究で知られており，水平方向の近年，積層表示デバイスと最適化演算により圧縮表示を行

カメラ視点の補間についてもヘッドトラッキングを併用した

うディスプレイが報告されている 12)～15)．これらの表示方式

メガネ式 3D 表示により確認されている 17)．カメラアレイのでは，観察方向により光線が通る積層画面上の画素の組み合

直線上の中間視点の映像と等価な映像を生成できれば，カメ

わせが異なることを利用し，複数の視点で正解画像との輝度

ラアレイの直線上への光線の全てをヒトの視覚に対して等価の差が最小になるようにパネルに表示する画像を計算して表になるように計算できる．そのため，カメラアレイの直線上示する．視点画像を演算処理なしにそのまま表示することがだけでなく，視点が前後に移動したときの視点の映像を生成

265

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

することができる 17)．このライトフィールドの計算方法は極い 2 つのカメラ映像を視点とカメラ間の距離で決まる重みでめて単純なのでソフトウェアで画像処理を行う場合でも処理加重平均することにより，視点位置の映像を生成する．加重遅延がほとんど発生しない．そこで我々は，視点が前後に移平均された映像は視差がある部分は二重像になるが，隣接す動したときの視点映像の生成方法を遠隔映像コミュニケーシ

る2視点の映像の視差が視角にして3～5分以下程度と充分にョンのデモンストレーションシステム 16)に適用し，前後方向小さい場合，観察者にはリニアブレンディングにより生成さの視点移動に対するリアリティーを向上させた 17)．

れた映像が中間視点の映像として知覚される．

しかし，このシステムでは視点映像生成の演算量を削減す

図 2 は 4D ライトフィールドとリニアブレンディングの関ることによる低遅延化や離散的な複数カメラによる実写映像

係を示す．図に示したように第 1 の平面を画面に対応する空からの中間視点映像生成を実現できたが，ヘッドトラッキン

間内の平面とし平面上の位置を座標 𝑥, 𝑦 で表し，第 2 の平面

グの制約である遅延や複数人使用の問題は解決できていない． をカメラアレイが並ぶ平面とし平面上の位置を座標 𝑢, 𝑣 で
そこで，光学的にリニアブレンディングを行うことにより裸表した．光線の輝度は 2 平面上の 2 点の座標をパラメータと眼 3D 表示を行う装置を，プロジェクタ光学系を用いて実現して𝐼した 18),19)．しかし，装置が巨大化してしまうだけでなく，収この光線は位置 𝑢, 𝑣 にあるカメラが捉えた点 𝑥, 𝑦 の方向か

差や画像の位置合わせの問題から画像の品質は低く，リニア

らの光線と考えることができる．

𝑥, 𝑦, 𝑢, 𝑣 の形で記述できる．また，見方を変えると

位置 A と B から見た画像が既知で画面上の視差が充分小さ

ブレンディングも正確ではなかった．
本論文では，これまで経験則であった DFD 表示やリニア

い場合，A と B の間の視点はリニアブレンディングにより良ブレンディングされた画像の知覚を初めて空間周波数ごとに好に補間できる．A と B の間にある視点𝑢 𝑢, 𝑣 への光線の分解して整理し，視覚システムのカットオフさえ仮定できれ輝度は式(1)のように記述することができる．ここでブレンド

ば補間画像が知覚される原理を光学的な現象として説明でき比に対応する𝛽は，カメラ位置 A,B と想定する視点との距離ることを示した．さらに，投射光学系では困難であった正確により決まり，式(2)で表される．
𝐼 𝑥, 𝑦な光学的なリニアブレンディングを，液晶ディスプレイパネ
スプレイで，サブピクセルが横長となる RGB 横ストライプ

𝑥, 𝑦, 𝑢, 𝑣
𝛽 𝐼 𝑥, 𝑦𝛽の液晶パネルと，開口幅が画素の幅とほぼ等しいストライプ状のバリアを用いることで実現することを提案しその効果を𝑢𝑢

𝛽𝐼 𝑥, 𝑦

𝑢
𝑢

(1)
(2)

このように中間視点の光線を計算できるということは，す

検証した．

2.

𝐼
1

ルと光学バリアという単純なパララックスバリア型 3D ディ

なわち，ヒトの視覚には正しく見えるライトフィールドをリ
ニアブレンディングにより計算できることを意味する．そこ

視覚的に等価なライトフィールドでこのように生成したライトフィールドを視覚的に等価なラ使用者が仮想世界に没入した際に仮想世界が自分の行動に

イトフィールドと呼ぶことにした．

対して自己矛盾なく知覚できる映像を提供できるので，ライ

ここまでは水平視差についてのみ議論したが，長方形の頂

トフィールドは VR アプリケーションに重要である．映像の点にカメラを配置した 2 次元カメラアレイを用いて 2 次元の方向依存性を再現可能なディスプレイは 4D ライトフィール

リニアブレンディングを行えば，水平・垂直両方向に対応しド 20)の概念を用いるとうまく記述することができる．この概念は 2 つの平面上の 2 点を通る光線の集合体としてライトフィールドを取り扱う．
今回我々はこの光線をリニアブレンディングにより補間生成する．図 1 はマルチカメラ撮影した映像をリニアブレンデ
ィングにより補間する方法を示している．視点位置に最も近

図 1 リニアブレンディングによる中間視点の映像生成

図 2 4D ライトフィールドとリニアブレンディングの関係

Fig.1 Intermediate viewpoint image synthesis using linear blending

Fig.2 Relationship between 4D light field and linear blending

266

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 4 リニアブレンドされた正弦波の振幅𝑐
Fig.4 Amplitude of linearly blended sinusoidal waves 𝑐

図 3 表示画像のある特定の周波数成分と視差の関係
Fig.3 Frequency component of displayed images and disparity

1/4の範囲で表示を行えばり正しい振幅に近づくので，αたフルパララックスの完全な 4D ライトフィールドにそのまよい．このディスプレイでは，視差量δは空間周波数によらま拡張することができる．

ない値であり，式(6)の関係にある．

3.

2πα

ブレンド画像の知覚

δk(6)

低周波になると α は小さくなるので，最も高い空間周波数で

表示画像は空間周波数の観点で考えると多数の正弦波状α輝度分布を持つ縞模様の和として扱うことができる．図 3 は1/4であれば他の周波数でもこの条件を満たす．表示画

像の最大の視差量が𝛿であるとき，式(6)で求めた位相差が

視点 A から見たときの表示画像と視点 B から見たときのディα

スプレイの画面に表示される画像のある特定の周波数成分を因で存在しなければ，全ての空間周波数成分を充分な振幅で上下に並べて示したものである．図 3(a)は被写体の奥行き位表示できる．

置が画面上の場合 𝑧

0 ，
図 3(b)は画面以外の場合 𝑧1/4を満たすには式(7)を満たす高周波成分が何らかの要0 を𝑘示す．被写体が画面上にある場合には両者は完全に一致する

π
2𝛿

(7)

が，画面上にない場合は図 2，3 に示したようにスクリーンに

図 5 はリニアブレンドされた正弦波の規格化された位相Δ

対して垂直方向の距離で決まる 2 視点の視差に相当する距離を示す．図 5 (a)は規格化された位相，図 5(b)は規格化された

δのずれが生じる．

位相の非線形成分を拡大したグラフである．2 つの正弦波の2 つの正弦波のリニアブレンディングは，角空間周波数を𝑘， 位相差αが小さいときは，ブレンド比が 0 から 1 まで変化す位相差をα，ブレンド比を𝛽とすると式(3)のように表すことがると，Δはそれに合わせておおむね比例して変化する．線形できる．

であればΔ＝βなので，位相の変化幅に対するΔのβからのずれ
1

𝛽 sin 𝑘𝑥

𝛽 sin 𝑘𝑥

𝑐 sin 𝑘𝑥

2𝜋𝛼

2𝜋𝛼Δ

Δ

(3)

βを非線形と定義した．α1/4のときの非線形は 5％未満である．

ここで，ブレンド後の振幅𝑐は，式(4)のとおりとなる．

実際には複数の周波数成分の重ね合わせで輪郭が再現さ(4)𝑐
1 4𝛽 1 𝛽 sin 𝜋𝛼
ブレンド後の2𝜋𝛼で規格化された位相Δは，式(5)で表わされれる．実空間で運動視差による輪郭の位置の変化は視点位置

る．

数成分において，位相のブレンド比に対する変化が線形であ
tan
Δ

1

𝛽 sin 2𝜋𝛼𝛽 cos 2𝜋𝛼
2𝜋𝛼

1

mod 𝜋

の変化に比例するので，ブレンド比に比例する．全ての周波れば輪郭の位置は正しく再現され，非線形成分がある場合に(5)は輪郭位置がぼやけたりずれたりすることになる．
そのため，運動視差に不自然なうねりが生じたり，極端な場合には運動

図 4 はリニアブレンド後の正弦波の振幅を示す．視差が大

視差が不連続になったりする．最高の周波数成分でαきくなると振幅は小さくなる傾向があるが，変化の割合はブ

ならば，この周波数以下であればα1/41/4なので，全ての周レンド比に依存し β=0.5 付近で最大となる．振幅の最小値が波数成分で 5％未満の非線形性で位相変化が再現されること

1/√2になるのは α=1/4 かつ β=1/2 の条件である．このパワになる．

ーが 1/2 になる条件をブレンディングに使用する位相差が最そこで 5％未満の程度について考察する．画像のブレンデ大の条件とする．α が小さくなると振幅の減少量も小さくな

ィングによる映像生成の例として Hidden Stereo がある 21)．

267

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

間周波数特性を含めた視覚のシステムのカットオフ周波数𝑘 以下で位相差がπ/2 を超えない（α1/4）ように視差を収めれば，振幅と位相の両方を違和感なく再現でき自然な 3D
映像を表示できることになる．このときの𝑘 と最大視差量の𝛿関係は式(6)より
2π
4

𝛿

𝑘

(8)

となる．
また，カットオフ周波数の存在を仮定するだけで物理現象である光学的な輝度の重ね合わせの計算で補間画像が知覚される原理を説明できている．知覚の寄与が少ないので，個人差が発生しにくいと考えられる．さらに，視力等が低いなど
視覚に問題がある場合でも，カットオフが実効的に下がるだ(a) Phase variation

けだと考えられるのでので，その人が見る実物と同じように見えると考えられる．
視差δは，図 2 に示した画面と被写体の間の距離 z，画面と視点の間の距離𝐿と視点間の距離𝐷を用いて式(9)のように表すことができる．
𝛿
式(9)に式(8)の𝛿

𝑧𝐷
𝐿 𝑧

(9)

を𝛿として代入して，正負の𝛿について計算すると，奥行の前後の最大値である𝑧 ，𝑧 は式(10)となる．
𝑧𝜋𝐿
2𝐷𝑘 ∓ 𝜋(10)(b) Non-linearity of phase variation

カットオフ周波数を決める主要因は２種類想定される．第図 5 リニアブレンドされた正弦波の位相 Δ

1 はディスプレイの解像度によるカットオフ，第 2 はヒトのFig.5 Amplitude of linearly blended sinusoidal waves Δ

視覚システムのカットオフである．一般的にはディスプレイ
の空間周波数は充分に高いので，視覚システムによるカット

この方法では 2D 画像とπ/2 位相が異なる画像のブレンディ

オフが二重エッジの知覚では支配的である．視覚システムのングにより左右眼の画像を生成しており実用的な画質を得てカットオフはガウシアンフィルターでよく近似でき，その定1/4に対数σは DFD ディスプレイの研究では概ね視角にして 3~5 分程応したブレンディングを行っていることに対応する．本表示度である．このときのσとカットオフ角空間周波数の関係はいる．本章の議論において全ての空間周波数でα1/4となり，それより低い周波

視距離𝐿数でαは周波数に比例して 0 に近づくので，全ての周波数でできる．

方式では上限の周波数でαHidden Stereo と同じか好条件になるので同等の実用的な画質（図 2 参照）を使用して式(11)のように表すことが𝑘を得られると期待できる．

2𝐿

𝜋
tan 𝜎

(11)

次に，視覚の観点から考える．2 視点の映像のずれを視角

4.

で 5 分とした場合 5%の非線形は 0.25 分に対応する．ランド
ルト環による視力 4.0 の分解能に相当するずれなので二次元

4.1

画像としてこの歪みが知覚されることはほとんどないと考え

実験と結果

ディスプレイの構造

図 6 は 3 カ所の視点映像を使用する場合の表示装置の構成られる．しかし，立体視の感度は視角にして 0.05 分程度であ1/8を示したものである．バックライトの前面に光学バリアを配の場合非線形は約 1％（視角にして 0.05 分相当）なので，立置し，空隙を空けて液晶パネルが設置されている．バリアはるので，奥行き歪みとして知覚される可能性がある．α

体視でも歪みなく知覚されると考えられる．上限周波数の半縦方向の縞とし，図のように 3 指向性の場合には画素数の 3

1/8を満たす．一般的な画像で倍より若干広い周期とし開口率は 1/3 とする．画面に縦方向あれば高周波成分はそれほど多くはないので，式(6)の条件ののライン・バイ・ラインで 3 視点の画像を表示する．バリア

高周波成分がなければ，立体視を含め違和感のない表示をすの隙間を通った光が液晶パネルを照明することにより表示画ることができると考えられる．すなわち，表示デバイスの空像を表示する．画面上の照明される場所は視点位置により変分以下の低周波成分ではα268The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）(a)液晶パネル
図 6 視覚的に等価なライトフィールド 3D フラットパネルディスプ
レイの構造
Fig.6 Structure of flat panel visually-equivalent light field 3D display(b)光学バリア
図 8 液晶パネル及び光学バリアの写真
Fig.8 Photographs of liquid crystal display panel and optical barrier

図の右側のように提案方式では横ストライプを使用するので，
正確なリニアブレンディングによるなめらかな運動視差を再図 7 画素配置とブレンディング特性

現することができる．

Fig.7 Pixel orientation and blending characteristics

4.2

化するので，それぞれの視点画像をつくることができる．従プロトタイプ来のパララックスバリア型の 3D ディスプレイでは縦長の画対角サイズ 8.4 インチ解像度 SVGA（800ｘ600 画素）の TN

素と幅の狭いバリアを使用し，隣接する視点の画像が混ざる

モードの液晶パネルを使用してプロトタイプ機を製作した．

クロストークを抑制する．しかし，我々の方法は開口と画素

パネルの配置は RGB のサブピクセルのストライプが横方向

ピッチを概ね一致させることで積極的にクロストークを発生になるように通常の使用方向から 90 度回転し縦長
（ポートレ

させる．

ート）とした．光学バリア（パララックスバリア）は透明フ

視点位置が水平方向に移動すると，隣接する視域の画像がィルム上にインクジェットプリンターで印刷して製作した．

バリアの空隙を出た光により同時に照明されるようになる．

液晶ディスプレイの画素ピッチは 213.0 m，バリアの透明領

このときのブレンド比は視点の移動量に比例するので，図の域の幅は画素ピッチより 0.2%広い 213.5 m とした．バリア

右側のグラフに示すように隣接する視域がリニアにブレンドの幅を若干広くすることにより，画面と視点の間の距離を設されることになる．この方式では，視点位置で観察される表定している．視点までの距離は図 6 の Viewpoint B への光線

示画像は画素による回折や画素の間隙を除けば原理的に正確のように隣接する 2 つのスリットからの光線の交点として計なリニアブレンディングとなる．さらにレンズ等を介さず算でき，バリアとパネルの液晶層との間隔をスリットの間隔

LCD の整然とした画素配置を直接見ることになるので，収差を広げた割合で除した値となる．液晶層とバリアの間隔が約は発生しない．表示画像はもちろんのこと視点画像間で歪み

1 mm，広げた割合が 0.2%なので，視点までの距離は約 0.5 m

によるずれが生ずる可能性もない．すなわち，投写型で生じになる．視点間の距離は約 100 mm となる．図 8 に液晶パネる問題のすべてを解消することができる．

ルとバリアの拡大写真を示す．バリアの透明領域と遮光領域

図 7 にブレンディング特性と画素配置の関係を示す．三原の幅の比が 1:2 のときは 3 視点の表示となり，1:4 のときは 5

色の画素配置が一般の 2D 液晶ディスプレイのように縦スト

視点の表示装置になる．

ライプの場合，図の左側のようにブレンディングは視点移動

4.3の 1/3 の領域でしか発生しない．そのため，運動視差は不均一となってしまい自然な表示を得ることができない．
しかし，

269

表示結果

図 9 は 5 視点の表示装置に被写体として使用したサルのぬThe Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）left

centercenterright(a)

図 9 表示装置と被写体を異なる角度から撮影した写真
Fig.9 Photographs of display apparatus and real object taken from different
observation angles
.

3m
Left

5m

7 m.

(b)

Center

図 11 視距離により観察される画像の違い
Fig.11 Observed image variation for at different viewing distances

ィングされる．RGB の三原色の写真が視点位置付近からの写
Center

真，それ以外は中間視点の写真である．写真からもわかるよRight
図 10 視点面から観察された表示画像

うに，色が混ざる割合は画面全体でほぼ均一に変化しており，

Fig.10 Displayed image observed from viewpoint plane

提案どおり光学的リニアブレンディングが行われていることが確認できる．

いぐるみを並べ異なる角度方向から撮影した写真である．縦図 11 は中央の 3 視点に三原色を表示したときの異なる視方向の 5 ラインを 1 組とし，5 視点の画像を 1 ラインずつイ

距離により見える画像の違いを示している．(a)に示したようンターリーブ表示した．今回の実験は静止画で行なったが，に視点面では画面全体にわたり均一だが，それ以外の視距離

表示方法は単純なので動画表示にも容易に対応することがででは隣接する視点への光線が視距離に応じて見える．視点面

きる．

を通る光線を考えれば，その視点でどのような光線を見るこ

視位置による変化が小さいのでわかりにくいが，サルの頬とになるかは容易に計算できる．(b)は実際に距離を変えて撮や足に注目すると実物体のサルと表示された画像の運動視差影した写真である．距離が離れるにしたがって周囲の視点のが同様であることがわかる．立体写真のようにフリーフュー

画像が混ざる割合が増大することが確認できる．

ズで見ると微小な差を確認しやすい．写真は視点面よりも離5.

れた距離で撮影したので，画面内でブレンド比率が変化して考察

液晶パネルとバリアの角空間周波数は𝑘いる条件である．写真だけでなく，実機では運動視差がなめ

14.7 mmであるが，水平方向についてはバリアの間引きを考慮すべき

らかに変化することやブレンド比の違いによる違和感がないなので 𝑘ことを確認した．
TN モードの液晶は視野角が狭く非対称なので，右方向からσ

観察した表示画像が暗くなってしまっているが，この問題は𝑘

2.9 mm5 arcmin の と き ， 𝑘である．視距離𝐿
0.54 mm

2m で

である．𝑘

𝑘 なので，カットオフは視覚システムに由来する

𝑘 が支配的となる．このときの奥行きの表現範囲は𝑧広視野角の液晶パネルを使用することで解消できる．

14.0 mm と𝑧

図 10 は画面から約 50cm 手前にある視点面から観察した画13.2 mm である．図 9 のサルのぬいぐる像を示す．5 視点の両端を黒色とし，中央の 3 視点に三原色

みの足の長さは 25mm なので，2m の距離から見ると良好にを表示した．この視距離では，各視点画像が水平方向の視点

見えることと矛盾しない．
DFD 表示方式はその制約の範囲内であれば自然な 3D 表示

位置により画面全体で均一な割合で光学的にリニアブレンデ

270

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

参考文献が可能であり，表示特性を変化させるパラメータも多くない
ので比較の基準とした．提案手法はなめらかな運動視差を少1) I. E. Sutherland: “The Ultimate Display”, Proc. of IFIP 65, pp.506–508

数の視点映像だけから得ることができる．この運度視差は同(1965).

様な視覚効果を利用している DFD 表示から得られるものと

2) I. E. Sutherland: “A Head-Mounted Three Dimensional Display”, Proc.

類似している．DFD 表示はその自然さから人に優しいと呼ばof AFIPS 68, pp.757–764 (1968).

れることがあるが，本方式も同様に自然な表示になると考え

3) C. Cruz-Neira, D. J. Sandin, T. A. DeFanti: “Surround-Screen

られる．

Projection-Based Virtual Reality: The Design and Implementation of the

バリアを使用しているため，表示輝度はバリアの開口率にCAVE”, Proc. of SIGGRAPH '93 Computer Graphics Conference,

比例する．5 視点の視点映像を使用した場合に輝度は 20%にpp.135–142 (1993).

低下する．この損失は一見すると大きいが，一般の液晶パネ

4) F. E. Ives: “A Novel Stereogram”, Journal of the Franklin Institute, Vol.

ルの透過率は 5%未満なので，カラーフィルターを使用した
LCD を 2 層の積層した DFD 表示装置よりは充分に明るい 22)．
さらに，
5 層積層で同等の奥行き範囲を積層 LCD による DFD

153, No. 1, pp.51–52 (1902).
5) M. G. Lippmann: “Epreuves Reversibles. Photographies Integrals.",
Comptes Rendus de l'Academie des Sciences, Vol. 146, No. 9, pp.446–

表示で実現する場合に比べれば 3.2 万倍明るい．また，バリ451 (1908).

アにより水平方向の解像度も低下するが昨今のパネル製造技

6) M. Kawakita, S. Iwasawa, M. Sakai, Y. Haino, M. Sato, N. Inoue: “3D術を考えると，積層構造を 1 パネル内の解像度で代替できる

Image Quality of 200-inch Glasses-Free 3D Display System”, Proc. ofのは充分なメリットである．

SPIE, 8288, 82880B (2012).

2 層の DFD 表示の視域の範囲は，本方式で 2 視点の画像の7) M. Kawakita, S. Gurbuz, S. Iwasawa, R. Lopez-Gulliver, S. Yano, H.

視域に対応する．したがって，5 視点の画像を使用する場合

Ando, N. Inoue: “3D Video Capturing for Multiprojection Type 3Dには同じ奥行き範囲であれば水平方向に限るが左右に視域がDisplay”, Proc. of SPIE, 8043, 804311 (2011).

4 倍に広がることを意味し，2 層の間に層を追加した DFD 表

8) A. Jones, J. Unger, K. Nagano, J. Busch, X. Yu, H.-Y. Peng, O.

示の５層構成に相当する．

Alexander, M. Bolas, P. Debevec: “An Automultiscopic Projector Array

DFD 表示では前後 2 画面に映像を分配するために奥行き情for Interactive Digital Humans”, SIGGRAPH 2015 Emerging

報が必要となり，実写には大きな制約となっていたが，本方Technologies, Article No. 6 (2015).

式は一般のカメラで撮影した少数の視点画像だけで同様の見

9) S. Suyama, S. Ohtsuka, H. Takada, K. Uehira, S. Sakai: “Apparent 3-D

えを提供できる点が優れている．

Image Perceived from Luminance-Modulated Two 2-D Images

この表示方式は上下視差に対応していないというデメリ

Displayed at Different Depths”, Vision Research, Vol. 44, No. 8, pp.785–

ットはあるが，DFD ディスプレイの長所を継承しつつ，実用

793(2004).

性のあるディスプレイまで使い勝手が向上した方式と考える

10) M. Date, Y. Andoh, H. Takada, Y. Ohtani, N. Matsuura: “Depth

ことができる．

Reproducibility of Multiview Depth-Fused 3-D Display”, Journal of the

6.

まとめ

Society for Information Display, Vol 18, No. 7, pp.470–475 (2010)11) N. Sekimoto, M. Mizuno, K. Okai, A. Akaike, Y. Takami, S. Asonuma, J.

空間周波数のカットオフを想定することだけでリニアブ

Hosohata, S. Suyama, H. Takada, S. Sakai, T. Fujikado: “Aレンディングによる視点の補間効果を光学的な要素だけで説Development of Stereotest Using Luminance Modulation”, Proc. of

明できることを周波数解析により示し，実機の特性と矛盾しProgress in Strabismus, Ninth Meeting of International Strabismological

ないことを確認した．

Association, pp.117–119 (2003).

横長のサブピクセル配置とストライプ状のバリアの組み

12) G. Wetzstein, D. Lanman, W. Heidrich, R. Raskar: “Layered 3D:

合わせにより，隣接する視域がリニアブレンディングされるTomographic Image Synthesis for Attenuation-Based Light Field andフラットパネルディスプレイを実現した．一般的な 2D の液High Dynamic Range Displays”, ACM Trans. on Graphics, Vol. 30, No.

晶ディスプレイを90 度回転しバリアを1枚追加するだけの構

4, pp.95:1–11 (2011).

成である．本方式は従来よりも少ない視点画像数でも連続的

13) D. Lanman, G. Wetzstein, M. Hirsch, W. Heidrich, R. Raskar:

な水平方向の運動視差を表現できる．方向成分に使用する画“Polarization Fields: Dynamic Light Field Display Using Multi-Layer

素数が減少することから 1 方向あたりの解像度が向上し，高LCDs”, ACM Trans. on Graphics, Vol. 30, No. 6, pp.186:1–9 (2011).

精細な 3D 表示をおこなうことができる．また，DFD 表示方

14) G. Wetzstein, D. Lanman, M. Hirsch, R. Raskar: “Tensor Displays:

式との比較においてもその長所を生かしたまま，実用性を獲Compressive Light Field Synthesis Using Multilayer Displays with

得する表示方式である．必要な視点映像の数が少ないので実Directional Backlighting”, ACM Trans. on Graphics, Vol. 31, No. 4,

写表示への適用可能性も期待できる．

pp.80:1–11 (2012).

271

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

木 全 英 明15) S. Lee, C. Jang, S. Moon, J. Cho, B. Lee: “Additive Light Field（正会員）
1993 年 名古屋大学工学部応用物理学卒業．
1995 年 同大学院修士課程修了．同年，NTT
入社．主に画像符号化及び画像通信，機械学習の研究開発及び事業化に従事．現在，
NTT メディアインテリジェンス研究所 高
臨場映像通信技術グループリーダ，主幹研究員．情報処理学会オーディオビジュアル
複合情報処理研究会 主査．

Displays: Realization of Augmented Reality with Holographic Optical
Elements”, ACM Trans. on Graphics, Vol. 35, No. 4, pp.60:1–13 (2016).
16) M. Date, H. Takada, Y. Honda, S. Ozawa, S. Mieda, A. Kojima: “Highly
Realistic

3D

Display

Systemfor

Space

Composition

Telecommunication”, Journal of Display Technology, Vol. 11, No. 2,
pp.121–128 (2015).
17) M. Date, H. Takada, A. Kojima: “Real-Time Viewpoint Image Synthesis
Using Strips of Multi-Camera Images”, Proc. of SPIE, 9391, 939109(2015).
18) T. Kawakami, M. Date, M. Sasai, H. Takada: “Optical Linear Blendingof Viewing Zones Using Convolution of Iris for Smooth Motion Parallax
Autostereoscopic 3D Display”, Journal of Display Technology, Vol. 12,
No. 2, pp. 143–152 (2016).
19) M. Date, T. Kawakami, M. Sasai, H. Takada: “Luminance profile control
Method Using Gradation Iris for Autostereoscopic 3D Displays”, The
11th Conference on Lasers and Electro-Optics Pacific Rim, 26B3_6(2015).
20) M. Levoy, P. Hanrahan, “Light Field Rendering”, Proc. of the 23rd
Annual Conference on Computer Graphics and Interactive Techniques(SIGGRAPH '96), pp.31–42 (1996).
21) T. Fukiage, T. Kawabe, S. Nishida: “Hiding of Phase-Based Stereo
Disparity for Ghost-Free Viewing Without Glasses”, ACM Trans. on
Graphics, Vol. 36, No. 4, pp. 147:1–17 (2017).
22) M. Date, T. Hisaki, H. Takada, S. Suyama, K. Nakazawa: “Reduction ofPower Consumption in Compact DFD Display by Using FS Color
Technology”, IEEE Trans. on Electron Devices, Vol. 52, No. 2, pp.190–
193 (2005).

（2018 年 10 月 31 日 受付）（2019 年 2 月 21 日 再受付）
伊 達 宗 和1990 年 学習院大学理学部物理学科を卒業．
1992 年 東京工業大学総合理工学研究科電子システム専攻修士課程を修了．1992 年 日
本電信電話株式会社に入社，高分子分散液
晶ホログラムによる反射型表示素子，3D ディスプレイ等の研究に従事 2003 年 東京理科大学理学研究科化学専攻にて博士（理学）取得．2010 年から NTT コムウェア株式会社
にて 3D コンテンツ生成技術，近接通信技術の開発に従事．2012 年から現在まで日本電信電話株式会社にて，高臨場感映像の研究に従事．

越 智 大 介2001 年 九州大学工学部卒業．2003 年 九州大学大学院システム情報科学府修士課程修了．同年日本電信電話（株）入社．現在，同社 NTT メディアインテリジェンス研究所
画像メディアプロジェクト主任研究員．主に映像インタラクション，マルチメディア，
バーチャルリアリティに関する研究に従事．

272

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）IIEEJ

ɀɰʁɑɣʁɚʁ

-- 画像電子の世界と現実世界を相互につなぐ技術論文特集 --他車両からの観測結果を事前知識とした車載カメラ映像中の人物再検出
川 西 康 友†（正会員）

出 口 大 輔††

井

手

一

郎†

村

瀬

洋†

† 名古屋大学 大学院情報学研究科 , †† 名古屋大学 情報連携統括本部

Person Re-Detection from an In-Vehicle Camera Video
Referring to Observations from Other Vehicles
Yasutomo KAWANISHI† (Member), Daisuke DEGUCHI†† , Ichiro IDE† , Hiroshi MURASE†† Graduate School of Informatics, Nagoya University , †† Information Strategy Oﬃce, Nagoya University〈あらまし〉 本稿では，過去に別途検出されたことがある人物について，検出した時に得た知識を事前知識として利用することで，その人物を再び検出する際に精度よく検出する「人物再検出」という概念を提案する．また，この概念を車載カメラ映像中の人物検出に適用する方法を示す．本研究では自車がある地点で人物の検出をする際，自車より前にその人物の近くを通過した他車が，先にその場所の近くでその人物を検出している可能性が高いことに着目し，他車による観測を事前知識として人物再検出を行なう．実験により，独自に収集したデータセットを用いた評価において，事前知識を用いることで大きく検出性能が向上することを示す．
キーワード：人物再検出，歩行者検出，車載カメラ<Summary> In this paper, we propose the concept of “Person Re-detection”, which is a person detection
method based on prior knowledge of each detection target. We also introduce an implementation of theconcept for the task of distant person detection from in-vehicle camera video. We focus on the fact thatsome other vehicles around the own vehicle can observe and detect people before the own vehicle observes
them. By sharing images of the detected people among the vehicles, the own vehicle can use them as priorknowledge for detecting them. Results of applying the proposed method to a dataset obtained by an invehicle camera demonstrate that the accuracy of person detection can be signiﬁcantly improved based onprior knowledge of the people to be detected.
Keywords: person re-detection, person detection, in-vehicle camera

用した人物検出を考える．

1. は じ め に

一般に，検出対象に関して何も事前知識がない場合に対し，歩行者が巻き込まれる交通事故を防ぐためには，自動車は事前知識が与えられている場合は，事前知識の分だけ情報ができるだけ早く歩行者を発見し，衝突を避ける行動を取らな多いため，認識は容易になる．もし検出すべき歩行者に対すければならない．しかし，遠方にいる歩行者は小さく観測さる事前知識が与えられれば，検出が困難な遠方にいる歩行者れるため，見落としやすい．このような見落としを防ぐため， についても，検出が容易になると考えられる．従来の人物検車載カメラを用いた人物検出の研究が盛んに行なわれている． 出は，観測時に得られる情報のみをもとに検出を行なってい一方，近年，自動車に通信装置の搭載も進んでいる．これたのに対し，本稿では，この「対象に関する事前知識を手がかを利用してインターネットに接続することで，人物検出結果りとした検出」の概念を提案する．以降「人物再検出 (Person

1)を共有して歩行者の位置を他車に伝えることができる ．しRe-detection)」と呼ぶ．

かし，自動車や歩行者は移動するため，ある歩行者がどの自本研究では，この人物再検出を，車車間通信機能を備えた動車にも観測されなくなった場合，改めて各車でその人物を自動車における車載カメラ映像中の人物検出に応用する．こ検出する必要がある．本研究では，近傍の車両同士の通信 (車こでは，自車がある地点を走行する数秒〜数分前に，その付車間通信) 機能を備えた自動車を対象とし，車車間通信を利近を通過した他車が，その周辺にいる人物を先に検出してい273

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

る状況を考える．一般に，自車がその地点の手前でその人物を観測するまでの間に，その人物は移動するが，短時間であれば，その場所周辺にいる可能性が高い．このことに着目し，他車による観測を事前知識として人物再検出を行なう．例えば，前方車両による検出により，その場所に制服を着た学生がいることがわかれば，それを事前知識として制服を着た学図 1 他車による検出
Fig. 1 Detections by other vehicles

生に人物検出器を一時的に特化させることで，その周辺では制服を着た学生を見落としにくい検出が行なえる．
以降では，まず，2 章で，事前知識を手がかりとした検出




手法である，人物再検出の概念について述べる．次に，3 章




では，車車間通信を利用した車載カメラ映像中の人物検出へ
この概念を応用する方法について述べる．そして，4 章では，

 



独自に撮影したデータセット上で，提案する人物再検出の有



 









効性を評価した結果を報告する．最後に，5 章で本論文をま



 

とめる．








2. 人物再検出

図 2 提案手法の処理手順
Fig. 2 Process ﬂow of the proposed method

通常の人物検出は，与えられた画像 I 中に，どのような人

一般に，遠方にいる人物は小さく観測されるため検出が難物が写っているか全くわからない状況で，そこに写っている

しいのに対し，近辺からその人物を高解像度で観測できる場

人物を検出する問題であり，式 (1) のように定式化できる．

合，人物検出は比較的容易であるため，前述の自動車は，そ2.1 定義D = d(I)の場所にどのような人物がいるか知ることができる．一般に，(1)

他車が人物を検出してから，自車がその人物を観測するまで

ただし，d は検出処理，D は検出した人物を囲む矩形の集合の時間に応じて，人物は移動するが，短時間であれば，そのを表す．

周辺にいる可能性が高い．本研究では，このようにして他車もしこのとき，観測画像中にいる人物は誰か，どのようなによって人物検出して得られた高解像度の人物画像を，自車

服を着ているか，見た目はどうかといった，検出対象の人物

における人物検出の事前知識として用いることを考える．

に対する事前知識が与えられていれば，人物検出は容易にな

本研究では，車車間通信により，自車の周辺の他車が観測ると考えられる．本論文では，過去に別途検出されたことがした人物の観測画像を受け取ることができる状況を想定する．

ある人物について，検出した時に得た知識を事前知識として

この状況では，ある地点において，事前 (数秒〜数分前) に他利用する検出のことを「人物再検出」と定義し，式 (2) のよ車が検出した人物の高解像度画像を受信し，自車の人物検出

うに定式化する．

器をその人物に特化させることができれば，その人物に関して精度よく検出ができるようになると期待される．

∗∗

D = d (I; K)(2)

このような検出器を，通常の人物検出器と組み合わせ，検ただし，K は検出対象に関する事前知識，d∗ は事前知識が与えられたときの検出処理，D∗ は検出処理 d∗ によって検出された人物を囲む矩形の集合を表す．

出結果の和集合をとることで，前方車両によって過去に別途検出されたことがある人物を精度よく検出しつつ，それ以外の，前方車両によって検出されなかった人物も通常の精度で検出することができる．提案手法の処理手順を図 2 に示す．

2.2 車載カメラ映像中の人物再検出

次章では，この実装方法について詳述する．

本節では，人物再検出の概念を，車載カメラ映像中の人物

3.

検出へ適用する方法について述べる．
自車がある地点で人物検出をする際，少し前にその人物の3.1

人物再検出の実装

概要

近くを通過した自動車は，その人物を近くから観測している

ここでは，提案手法の核心 (図 2 の実線太枠で囲まれた部

可能性が高い (図 1)．例えば，自車の前方を走行している自分) について詳しく説明する．本稿で提案する，他車から受動車 (図 1 (i)) は，自車よりも先に前方の人物に接近する． 信した事前知識を用いた人物検出手法は，(i) 事前知識となる
その他にも，対向車 (図 1 (ii)) や，交差点の他の道路から走人物画像の取得，(ii) 自車による人物検出候補の検出，(iii)

行して来る自動車 (図 1 (iii)) など，自車よりも先に自車の事前知識に基づくフィルタリング，の 3 つの処理からなる．

前方にいる人物に接近し得る自動車がある．

詳細な処理手順を図 3 に示す．

274

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）は，事前知識として得た人物画像と異なる可能性が高い．そ

)#&
)#

こで，各人物候補と，事前知識として得た人物画像との見えの違いを調べ，大きく異なる人物候補を除去する．

'+,$"(

具体的には，各人物候補と，他車から受信した各人物画像

 "!
% $"との類似度を計算し，しきい値が τ 未満のものを除去する．


Dt = r|f (r, Kl ) ≥ τ, ∀r ∈ Dct

ここで，f (r, Kl ) は，検出された人物候補と，他車から受信'+  *"

した人物集合との類似度を表す関数であり，

$"(f (r, Kl ) = min g(r, ril )(6)

ril ∈K lと定義する．ただし，g(r, ril ) は人物検出候補の画像 r と，他

図 3 事前知識に基づくフィルタリングによる人物再検出

Fig. 3 Person re-detection based on a ﬁltering by priorknowledgel(5)

車から受信した各人物の画像 ril との類似度を返す関数である．
他車から受信した高解像度な人物画像と，自車で検出しl

次節では，地点 l における人物集合 P に対し，K を地点

た低解像度な人物画像とを比較するため，解像度の違いに

l において他車から受信した高解像度の人物画像集合，Dct を頑健な特徴を利用する必要がある．人物照合の分野では，人時刻 t において自車で観測した画像 It から検出した人物候物を詳細に分類するため，色特徴を含む様々な特徴量が提案補の集合，Dt を時刻 t における最終的な検出結果の集合とされている2)．
本研究も，これらの特徴量を利用する．具体的する．

には，Major Color Spectrum Histogram Representation(MCSHR)3)を用いて人物候補から誤検出を削減する．背景

3.2 事前知識となる人物画像の取得
自動車が人物に接近し，近くから観測することができれば，その人物を検出・追跡することは容易であると考えられる．
ある地点 l において，そこにいる各人物 i ∈ Pl を追跡するの影響を抑制するため，人物画像の左右 1/3 を捨て，中央部分のみを利用し，MCSHR 特徴を計算する．そのようにして得られる MCSHR 間の類似度を g(r, ril ) とする．

4. 実

ことにより，人物を切り出した画像系列 Ri を得ることがで

4.1

きる．

験

データセット

一般に，解像度が高い画像は解像度が低い画像よりも多く提案手法を評価するためには，ある人物を複数台の自動車の情報を含むと考えられるため，各画像列 Ri から最も解像で観測したデータセットが必要であるが，そのような公開デー

度が高い人物画像を選択する．その結果，解像度が高い人物

タセットは今のところ存在しない．そこで，独自に画像を収

画像集合が得られ，これを他車と共有する．

集し，評価用データセットを作成した．現実的な画像を得る


Kl = ril |ril is the largest image in Ri , ∀i ∈ Pl (3)ため，模擬市街地内に数名の人物を配置し，それを車載カメ

3.3 自車による人物候補検出
人物検出器により，時刻 t における観測画像 It に対し，検出候補の集合 Dct を得る．

車載カメラを搭載した 1 台の自動車で同一の短いコース (1Dct = {r1 , . . . , rnt }ラで撮影した．複数台の自動車による撮影を模擬するため，
周 1 分弱) を 4 回走行し，それぞれの周回で得られた映像を，異なる自動車によって撮影したものとみなした．
収集した映像は，1, 920 × 1, 080 画素，10 fps であり，合計(4)

約 2,000 フレームからなる．4 回走行の各画像系列は約 500

ただし，nt は，観測画像 It から検出された検出候補の個数

フレームからなり，目視で分析したところ，全ての映像中に人物検出の正解が約 4,000 個含まれていた．データセット内

である．

の画像の例を図 4 に示す．ただし，図 4 の青い矩形は正解枠

この処理では，最終的な検出漏れを防ぐため，誤検出を許容して多数の候補を出力することが重要である．そのため， を表す．
検出する人物の大きさの最小値を小さめに設定し，かつ緩めの検出しきい値を用いる．

4.2

評価方法

評価を単純にするため，他車による検出は 100%の精度で3.4 事前知識に基づくフィルタリング

できるものと仮定し，人手で与えた正解検出枠を利用した．

自車から検出した人物候補は，小さな検出窓を用い，緩め

そして，各人物に対し，人手で与えた正解の検出枠の中で，のしきい値で検出するため，多くの誤検出を含む．図 3 に示

大きさが最大のものを，他車による検出結果として用いた．

すように，誤検出の多くは，電柱や木など，人物検出器が扱本研究で提案する事前知識に基づく人物検出手法は，人物う特徴の観点では人物と類似しているが，色特徴などの見え検出器として用いる検出手法を選ばない．本稿では，高速で275

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

ことがあると仮定したが，これは必ずしも成立しないことに加え，他車が検出した人物を自車が必ず観測するとは限らな
いし，他車が検出したことがない人物を自車が観測する可能

性もある．他車が検出したことがない人物がいる場合，その人物に対する事前知識がないため，提案手法は検出候補から除去してしまう可能性があるが，図 2 に示すように，提案手

図 4 データセット中の画像例

法に通常の人物検出を組み合わせることにより，検出できる

Fig. 4 Example of an image in the datasetと考えられる．

5. お わ り に
本稿では，過去に別途検出された人物画像を事前知識として用いて再びその歩行者を検出する「人物再検出」という概念を提案した．また，自動車から遠方にいる人物の検出に，
人物再検出の概念を適用する方法を示した．具体的には，他車による人物の検出結果を，車車間通信を用いて受信することにより，その画像を事前知識として人物を検出する．さらに，事前知識の利用例として，自車から検出した人物候補に対し，事前知識を用いて誤検出をフィルタリングする方法を提案した．これにより，事前知識がない場合に比べ，精度よく人物を検出できることを実験的に確認した．
本稿における実験は，ある試験コースにおいて 1 台の車両
図 5 人物検出結果の FROC 曲線のみで模擬したが，今後複数の車両・異なる環境等でも評価

Fig. 5 FROC curve of the person detection resultsを行なう必要がある．この際，他車による遮蔽により人物検学習も容易な検出器として知られている，Dalal ら4)の人物

出が失敗することが考えられるが，これに対しても事前知識検出器を用いた．

を利用した検出の応用を検討したい．

提案手法の有効性を示すため，事前知識を用いない通常の提案手法では，検出した人物候補の中から誤検出を除去す

人物検出手法と比較した．比較した手法は次のとおりである． る手順であったため，そもそも人物候補として検出できない
場合には最終的に検出できないという問題がある．また，事• Method A：通常の HOG による検出
前知識として与えられる人物数が増加すると，計算量が増加(最小の検出窓の大きさ 64 × 128 画素)
する問題もある．これに対し，今後は事前知識を用いて検出• Method B：小さい検出窓の HOG による検出器自体を修正し，検出性能を高めつつ計算量を抑制する方法(最小の検出窓の大きさ 48 × 96 画素)への拡張を検討したい．

• Proposed Method：Method B + MCSHR 特徴によるフィルタリング
各人物検出器は，Daimler Pedestrian Detection Bench-謝

辞本研究の一部は国立研究開発法人科学技術振興機構 (JST)mark Dataset5)の学習データを用いて学習を行なった．また， の研究成果展開事業「センター・オブ・イノベーションプロ
各検出結果は，人手で与えた検出枠との重なりが 50%以上の グラム (名古屋 COI：高齢者が元気になるモビリティ社会)」の支援及び，科学研究費補助金の援助によって行われた．

場合正解と判定した．

4.3 結果参考文献

検出結果の Free-responce Receiver Operating Char-

acteristic (FROC) 曲 線 を図 5 に 示 す．こ れ を 見 る と ，Method B は Method A よりも高い検出率を示しており，
解像度が低い人物まで検出できていることを示している．
一方，提案手法は Method A よりも高い検出率を示しているのに加えて，誤検出を Method B の半分程度にまで抑制することができている．
本実験では，全ての人物は他車によって過去に検出された

276

1) F. Li, R. Zhang, F. You: “Fast Pedestrian Detection and
Dynamic Tracking for Intelligent Vehicles within V2V Cooperative Environment”, IET Image Processing, Vol.11, No.10,
pp.833–840 (2017).
2) S. Gong, M. Cristani, S. Yan, C.C. Loy, Person ReIdentiﬁcation, Springer (2014).
3) C. Madden, E.D. Cheng, M. Piccardi: “Tracking People Across
Disjoint Camera Views by an Illumination-Tolerant Appearance Representation”, Proc. of 2007 IAPR Conference on Machine Vision and Applications, pp.233–247 (2007).

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）4) N. Dalal, B. Triggs: “Histograms of Oriented Gradients for Human Detection”, Proc. of 2005 IEEE Conference on Computer
Vision and Pattern Recognition, Vol.1, pp.886–893 (2005).
5) M. Enzweiler, D.M. Gavrila: “Monocular Pedestrian Detection: Survey and Experiments”, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.31, No.12, pp.2179–2195(2009).

(2018 年 11 月 29 日 受付)(2019 年 3 月 4 日 再受付)

川 西 康 友 （正会員）
2006 年 京都大学工学部情報学科卒業．2012 年
同大大学院情報学研究科博士後期課程修了．博士 (情報学)．2012 年 同大学術情報メディアセン
ター特定研究員．2014 年 名古屋大学未来社会創造機構特任助教．2015 年 同大情報科学研究科助教．2017 年 同大情報学研究科助教．現在に至る．
防犯カメラ・車載カメラ映像を対象とした，人物追跡・属性認識・行動認識などの人物画像処理に関する研究に従事．2011 年度 PRMU 研究奨
励賞受賞．IEEE ITS Society Nagoya Chapter
Young Researcher Award 受賞．IEEE，電子情報通信学会各会員．

出 口 大 輔2001 年 名古屋大学工学部情報工学科卒業．2006
年 同大大学院情報科学研究科博士後期課程修了．
博士 (情報科学)．2004 年〜2006 年まで日本学術振興会特別研究員．2006 年 名古屋大学大学院情報科学研究科研究員，2006 年 同大大学院工学研究科研究員，2008 年〜2012 年まで同大大学院情報科学研究科助教，2012 年より同大情報連携統括
本部情報戦略室准教授．現在に至る．主に画像処理・パターン認識技術の開発とその ITS および医用応用に関する研究に従事．CARS2004 Poster
Award，CADM2004 大会賞，2006 年 日本医用画像工学会奨励賞，2006 年 日本コンピュータ外科学会講演論文賞．電子情報通信学会，情報処
理学会，IEEE 各会員

277

井 手 一 郎1994 年 東京大学工学部電子工学科卒業．1996 年
同大大学院工学系研究科情報工学専攻修士課程了．
2000 年 同研究科電気工学専攻博士課程了．博士(工学)．同年国立情報学研究所助手．2004 年 名
古屋大学大学院情報科学研究科助教授，2007 年
より准教授．この間，2002 年〜2004 年 総合研
究大学院大学数物科学研究科助手併任，2004 年〜2010 年 情報・システム研究機構国立情報学研究所客員助教授・准教授兼任，2005 年〜2007 年
フランス情報学・統計システム研究所 (IRISA)招聘教授．2010 年〜2011 年 オランダアムステ
ルダム大学情報学研究所上級訪問研究員．パター
ン認識技術の実応用や映像メディア処理全般に興味を持っている．電子情報通信学会，情報処理学会各シニア会員，映像情報メディア学会，人工知能学会，IEEE，ACM 各会員．

村 瀬洋
1978 年 名古屋大学工学部電気電子工学科卒業．
1980 年 同大大学院修士課程了．同年日本電信電話公社 (現 NTT) 入社．1992 年から１年間米国
コロンビア大客員研究員．2003 年から名古屋大学大学院情報科学研究科教授．現在に至る．文
字・図形認識，コンピュータビジョン，マルチメ
ディア認識の研究に従事．工博．1985 年 電子情報通信学会学術奨励賞，1994 年 IEEE-CVPR
最優秀論文賞，1995 年 情報処理学会山下記念研究賞，1996 年 IEEE-ICRA 最優秀ビデオ賞，2001 年 高柳記念奨励賞，2001 年 電子情報通信学会ソサエティ論文賞，2002 年 電子情報通信学会業績賞，2003 年 文部科学大臣賞，2004 年
IEEE Trans． MM 論文賞，2010 年 前島密賞，2012 年 紫綬褒章，他受賞．IEEE，電子情報通信学会，情報処理学会 各フェロー．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）カレンダー考小野 文孝（名誉会員）

Calendar a la carte
Fumitaka ONO (Honorary Member)
かの年で閏年を省くというのが将来的にはより正確かもしれ

はじめに
カレンダーといえば大の月と小の月が必ずしも交代ではない．

来ないことや，閏年の調整をする 2 月が，平年は 28 日という

また，閏年と似たものに閏秒がある．地球の自転周期は 23

設定など気になることも多い．ただこのような経緯は歴史的

時間 56 分 4 秒(=23.93444 時間)である．これは 24 時間より少なものなのでその解説は歴史書に譲り，ここではカレンダー

し短いが，地球は自転と共に公転をしているのでそのにまつわる平閏（平年／閏年），七曜（日にちと曜日の対応），（365.2422+1）/365.2422 倍が丁度 24 時間になればよいこと

干支などを話題にしていこうと思う．

になる．この精度は，もともとそれで時間を定義したこともあり，極めて高い．とはいえ自転の時間も変化するのでその補正を行うために閏秒が必要になるといえる．ただ閏秒の挿グレゴリオ暦
1 太陽年は 365.2422 日（365 日 5 時間 48 分 45 秒強）として小さい頃から記憶している．1 年を 365 日とするとほぼ 4

入については色々な議論があり，将来的になくなる可能性もあるとのことである．

年で 1 日を追加する必要が出てくるので 4 で割り切れる年を366 日（閏年）としたのがユリウス暦であり，1 年を 365.25

曜日の規則（=365+1/4）日で近似することになる．現在広く使われてい平年の 365 日は 52 週＋1 日である．したがって大晦日はそるグレゴリオ暦ではさらに精度をあげるために 400 年に 3 度の年の元日と同じ曜日であり，次の年の元日は曜日が 1 日進

閏年を省く（100 の倍数の年は平年とするが 400 の倍数は閏

むことになる．閏年を leap year と呼ぶのは,普通の年なら同じ年）ことで 365.2425（=365+1/4-3/400）日での近似を実現して日の曜日は 1 年で 1 日進むだけなのに閏年では 2 日進むこといる．

に由来しているらしい．

これではまだ閏年が多すぎるのであるが，もし閏年を 500

グレゴリオ暦では 400 年を周期として同じ平閏パターンが年に 4 度省く（100 の倍数は平年とするが 500 の倍数は閏年）繰り返すことになるが 400 年は 365×400＋97 日でこれは丁とすると 365.2420 (=365+1/4-4/500)日となり，今度は省き過ぎ

度 7 の倍数(20871 週)である．つまり曜日も 400 年周期で同じになる．400 年に 3 度と 500 年に 4 度の中間として両者を組パターンが繰り返すことになる．その結果よく知られているみ合わせた 900 年に 7 度省く（100 の倍数は平年とするが 900

ように，13 日については縁起の悪いとされる金曜日がほかので割った余りが 200 か 600 である年は例外的に閏年）のが「修

どの曜日より確率が高いという現象が生じる．

正ユリウス暦」で 1 年が 365.24222 =365+1/4-7/900）日という同様によく知られているのがどんな年でも三月三日のひな祭り，五月五日の端午の節句，七月七日の七夕が必ず同じ近似になる．
実は以前に 100 の倍数にこだわらず 4 の倍数の年から規則曜日になることである．これはこの間の連続する 2 ヵ月の日

的に閏年を省くとするならどうなるかを調べたことがある．
1

数が 61 日でそれに 2 日を加えると丁度 7 の倍数になるためで

太陽年はより正確には 365.24219 日であるので(365+1/4－

ある．ただ七月・八月では大の月が続くため，九月九日の重1/128)= 365.2421875 日が最もよい近似になる．つまり 4 で割陽の節句では曜日がずれてしまう．

り切れる年は閏年だが 128 で割り切れる年は平年にするといちなみに何の節句でもないのだが，月日が偶数のゾロ目とう規則になる，もしこれに従うとぴったり 2 のべき乗となるなる日は二月二日を除き四月四日から十二月十二日まですべ

2048 年が次に例外的に平年になる年である．そう考えてひとてが同じ曜日になる．
（実は筆者の誕生日が偶数のゾロ目にあり悦に入っていたのだが，念のために今回ネットで調べてみたっている．
）

ると同じようなことを考えている人がありその方は「バイナ

さて，4 半期（3 ヵ月）は 90～92 日でほぼ 13 週となり，リ暦」という名前をつけておられた．ただ 1 太陽年は少しず

TV 番組等では 1 クールと呼ばれる。鉄道の回数券も有効期つ短くなっているそうなので，ずれを調べて 4 の倍数のどこ

間 3 ヵ月が多い．週に 1 度どこかに通う場合，往復で同じル278

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

ートを使うなら当然だが，往復の一方でのみ使用する場合でて巡ってくる 84 歳の方が，現代人の寿命を考えても，より“還も 11 枚綴りの回数券の消化は十分可能である．また，使用開暦”にふさわしいのかもしれないのでこれを新還暦と呼んで始が 3, 5, 6, 7, 8, 10, 11 月であれば有効日数は 92 日となるのではどうだろうか．ただ，2100 年は平年なので，1900 年 3 月 1

使用開始日に購入すれば最終有効日も同じ曜日になり，私鉄

日から 2016 年 2 月 28 日生まれは 84 歳で新還暦を迎えるが，で発行している土休回数券（14 枚綴り）の片道使用でさえ， 2016 年 2 月 29 日生まれから 2088 年 2 月 29 日生まれまではぎりぎり消化が可能である．ちなみに，阪急電車などでは回新還暦を 96 歳で迎えることになる．つまり新還暦が 84 歳で数券の有効期間が 3 ヵ月を超えた月末までとなっている．購ない世代が既に生まれていることになる．さらにその先の入日の選択に余計な神経を使わなくて良いのは有難いので関2088 年 3 月 1 日生まれから 2100 年 2 月 28 日生まれまでは 12東の私鉄も見習って欲しいものだ．

歳で新還暦が来てしまう．なお，ここでは年齢計算は法律上のものを意味していない．

干支
十干十二支の組み合わせである干支は「えと」とも読む． 振替休日とハッピーマンデー
しかし､日本では十干を「木（き）・金・火（ひ）・土（つち）

1973 年から設けられた振替休日と 2000 年に設けられ 2003

（か）・水（みず）」の後ろに「のえ」か「のと」をつけて呼年に適用が拡大されたハッピーマンデー法の適用により，月ぶので「えと」とは十干だけのことという気もするし，人に曜日が祝日もしくは休日になる機会が増えることになった．

「えと」を聞かれれば十二支だけを答えるのが一般的なので

実はアメリカでは以前から祝日を第 3 月曜や，最終月曜な昔から紛らわしい言葉だと思っている．以前は年賀状や書きどで規定する例が多いので，ハッピーマンデー法を聞いたと初めに新しい年号を干支で書く方もおられたが今では新聞なきは，これにならったのだろうと思った程度であったが，学どでさえ新年の話題に取り上げられることも少なくなってし

校関係，特に大学では月曜授業の実施回数が減少するため，まった．干支を記載すればかなり後からでも正しい年号がま

どこもその対策に苦慮している．せめていくつかはハッピー

ず特定できるので残念といえる．

フライデーにしていただければ有難いと思う次第である．

甲子園球場ができた 1924 年（大正十三年）が干支の周期の始まり（甲子）にあたることを覚えておけば西暦から干支が導ける．また十干は年号の下一桁と対応しているので，甲数値表現
英語を最初に習った頃，欧米人には月の順序を数値で表すが 4 であることを基に西暦の下一桁だけからも十干がわかる． 日本語の表記は通じないと教わったことがある，つまり，June
それと自分の生まれ年の十二支などを基にその年の十二支をを 6th month といっても伝わらないということである．しか導ければ両者を組み合わせて干支を知るのも比較的速い．なし入管の書類などに生まれ月の表示を数値で記入することも

お，漢字として紛らわしいのが十干の「戊」と十二支の「戌」，

一般的なので，少なくとも現在では彼らにも月の数値表示が十干の「己」と十二支の「巳」である．いずれの組み合わせ

頭に入っていると思ってよいだろう．

も 60 通りある干支に存在しており，最近では「戊戌」が 2018

一方，曜日表示は日本でも欧米と同様に数値表現は行われていないが中国ではご承知のように月曜：星期一，火曜：星年，「己巳」が 30 年前の 1989 年であった．

期二，水曜：星期三，木曜：星期四，金曜：星期五，土曜：
星期六となって日曜（星期日／星期天）を除き数値表現がと84 歳の新還暦
西暦 2000 年は 100 の倍数の年であったが 400 の倍数でもられている．星期一が月曜と知っていれば数値の換算に多少あったため 100 の倍数年としては例外的に閏年であった．こ

時間がかかるとしても日本人にも中国語の曜日表記の理解はのため，1901 年から 2099 年までの 199 年間では 4 の倍数の容易であるといえる．

年はすべて閏年である．この間で考えると七曜と平閏の組み

これを最初に知ったとき，筆者が中学生の頃，腕時計のイ合わせは 28 年を周期として繰り返すことになる．
したがってンデックス（時刻表示の数字）を月とみなし，それぞれに対

春分・秋分の祝日や新たに追加された祝日を除き 28 年分のカ

応する 12 個の数値（0～6）を円状に並べた紙を年の始めに時レンダーがあればそれを同順序で繰り返し使うことができる． 計のカバー（風防）の上に貼り付けカレンダー早見表として勿論，七曜と平閏の組み合わせを考えるだけなら 14 通りを用意しておけば良い．

いたことを思い出した．曜日を調べたい日付をその月の対応
数値に足して 7 で割り，余りから曜日を計算していたのであ

また，生まれた年と同じ十二支でかつ同じ七曜を迎えるのる．例えば 2019 年 4 月の数値はゼロであり，4 月 1 日の曜日

は，
1901 年から 2015 年までの生まれなら誰も 84 年後である， は月曜と知ることができる．つまり日曜は星期七として，毎
これは 12 年間の日数が modulo 7 で考えればこの間では常に

月 1 日の曜日の（星期表現－1）
を書き込んでいたことになる．

12+3=15⇒1 なので次の同じ十二支での誕生日では曜日が必

その紙に気づいた周りの大人によく数字の意味を聞かれ，説ず一つ進むことで説明できる．生まれた年と同じ干支が巡っ

明が面倒になりいつのまにかやめてしまったと思う．

てくる 60 歳の還暦より，十二支と曜日とが同じ誕生日が初め

279

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

むすびカレンダーについて思いつくままに話題を書き連ねた．
2019 年は 5 月にいよいよ改元である．元号と西暦の区別については昭和と西暦の下 2 桁は 25 年ずれており，混同されることはほぼなかった．
しかし，
平成では西暦 2000 年を過ぎると，そのずれが逆方向に 12 年となって時には誤解が生じ，
西暦表
示優先に傾いた一因にもなった．新しい元号と西暦下 2 桁とは昭和と同じ方向に 18 年のずれなので混同の可能性は，
平成の時代よりは，若干減るといえよう．
年齢計算などでは元号間でも古い元号での換算が必要になり，たとえば平成の年を昭和での年に換算するときはプラス 63 を行う．
昭和生まれの方が平成において昭和の生年と同じ年号での誕生日（「元号年誕生日」）を迎えるのはどなたも63 歳であるが，その年齢がこのプラス 63 に対応する．平成生まれの方は（平成元年の4月30 日以前の生まれの方を除き）
新元号での元号年誕生日を 30 歳で迎えることになる．
譲位制が今後どうなるかにもよるが，さらに 2 度目の元号年誕生日を迎えることも十分可能であろう．
また，昭和生まれの方の新元号での元号年誕生日は 93 歳
で巡ってくる．平成で元号年誕生日を迎えることが叶わなかった，昭和 31 年 5 月以降の昭和生まれの方も，新元号での元号年誕生日は，もし迎えられるとすれば，やはり同じ 93 歳となる．是非ご自愛いただきたい．

小野文孝（名誉会員）
1971 年 東京大学工学部電子工学科 卒
業．1973 年 同大学院 修士課程修了．
同年 三菱電機（株）入社．画像符号化・処理の研究に従事．2000 年 東京工芸大
学教授．2014 年 同名誉教授．1982 年イ
リノイ大客員研究員．工博．電子通信学
会学術奨励賞，本学会研究奨励賞，同技術賞，同業績賞，同最優秀論文賞，情報規格調査会標準化功績賞，同貢献賞，文部科学大臣賞科学技術功労者表彰，経済産業大臣表彰工業標準化事業功労者など を 受 賞 ． ISO/IEC JTC 1/ SC29/
WG1/JBIG ラポータ．IEEE Fellow，電子情報通信学会フェロー．本学会フェロー・元会長・元編集長・元企画委員長．
現在，東京大学 客員研究員 等．

280

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
IIEEJ

☠ᄚ
Multi-Focused Plenoptic Camera からの高品質な多視点画像生成
秀†

藤 田

翔†

美 川

高 橋 桂 太†（正会員）

藤 井 俊 彰†（正会員）† 名古屋大学 大学院工学研究科

Extracting Multi-View Images from Multi-Focused Plenoptic Camera
Shu FUJITA† , Sho MIKAWA† , Keita TAKAHASHI† (Member), Toshiaki FUJII† (Member)† Graduate School of Engineering, Naogya University, Japan〈あらまし〉 密な多視点画像として一般に解釈される光線空間を取得するためのデバイスに，multi-focused plenoptic

camera(MFPC) がある．MFPC で取得可能な多視点画像は，高い空間及び視点解像度をもつことに加え，深い被写界深度をもつ．そのため，コンピュータビジョンなどの分野において，MFPC に注目が集まっている．しかしながら，MFPC の光学系は複雑であることから，高品質な多視点画像を生成するために複雑な処理が求められる一方で，その多視点画像の生成手法を検討した研究はほとんどない．更に，MFPC から多視点画像を生成する点で我々の知る限り唯一であるソフトウェアは，カメラの構成によっては高品質に多視点画像を抽出できないことがある．した
がって我々は，高品質な多視点画像を生成するための手法を提案し，提案手法を実装したソフトウェアを公開することとした．我々のソフトウェアは従来公開されていたソフトウェアと比べて，より高品質な多視点画像を生成可能であり，様々なカメラ構成でも動作が可能である．
キーワード：光線空間, 多視点画像生成, plenoptic camera, multi-focused plenoptic camera<Summary> The multi-focused plenoptic camera is a powerful device that captures an light field (LF),
which is interpreted as a set of dense multi-view images. The camera has potential ability such that we
can obtain LFs having high spatial/view resolution and deep depth-of-field. Due to its eﬀectiveness, thiscamera design attracted attention in vision and graphics fields. To extract multi-view images, we need asophisticated rendering process due to its complicated optical system. However, there are few studies on
this. Furthermore, the only available rendering software to the best of our knowledge has not worked wellin several camera configurations. We therefore introduce an improved rendering method and will release thesoftware that uses the method. Our software can produce better LFs than the previous one and robustly
work in various camera configurations. We thus believe that our work can contribute to the computer visionand graphics community.
Keywords: light field, multi-view image rendering, plenoptic camera, multi-focused plenoptic camera

光線空間を取得するための代表的な方法の一つは，Lytro10)

1. は じ め にを代表として既に商品化がなされている，plenoptic camera

1),2)

光線空間法

は，3-D 空間の視覚的な情報を，3-D 空間中を用いて撮影する方法であり，これは近年の研究12)〜15)

8),11)を伝播する光線を単位として記述する手法である．光線空間でも盛んに用いられている．plenoptic camera の光学系はの信号は，空間位置 (u, v) と視点 (s, t) の 4 次元情報からな

従来のカメラとは異なり，主レンズとマイクロレンズアレイ

る密な多視点画像として一般に解釈され (図 1)，コンピューから構成されている．そしてそのマイクロレンズアレイの働

タビジョンやグラフィックスの分野における多くのアプリケー

きにより，マイクロレンズへ入射する光線の方向に応じて，ションに応用がなされてきた．例えば，カメラからの距離を

光線の輝度を記録することが可能となる．ここで，その光線

3)〜5)

測定するデプス推定

6),7)

，撮影後に

の入射方向は，空間位置 (u, v) における視点情報 (s, t) に対，そして裸眼立体視ディス応する．結果として，特定の方向情報をもつ全ての画素を統，物体の検出や認識8),9)

焦点を変更するリフォーカス

合することで，密な多視点画像を取得できる．具体的には，プレイなどである．

281

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

Artifacts(a) 3D scene(b) Corresponding 4D LF and its parameterization

図 1 3-D 空間と対応する 4-D 光線空間
Fig. 1 3D scene and corresponding 4D light field(a) Rendering with fixed patch size

マイクロレンズに対応する小画像から，方向情報に対応する(b) Rendering with suitable patch size

図 2 発生するアーティファクトの例
Fig. 2 Example of rendering artifacts

位置の画素を抽出していけばよい．しかしこれは，各マイク
ロレンズがたった一つの空間位置 (u, v) の情報しか保有できないことを意味しており，多視点画像の空間解像度がマイク

MFPC が提案されてから長い間，MFPC から多視点画像を生成する点で我々が知る限り唯一である Wanner ら22)のソフ

ロレンズの数に制限される．そのため，イメージセンサの大トウェアは，カメラの構成によっては高品質な多視点画像を

きさに限りがあることから，空間と視点の解像度の間にはト

頑健に出力ができないという問題があった．したがって，多レードオフが生じる．

視点画像を生成するための手法はこれまで十分に検討されてこの問題を解決するために，focused plenoptic cam-

おらず，その結果，ほとんどのユーザが MFPC を気軽に扱

era (FPC)16),17)が新たに提案された．FPC と従来の plenoptic camera の決定的な違いはマイクロレンズアレイの位置でえずにいた．

あり，この違いにより，光線のサンプリングに大きな影響がら22)の手法の改善を行った．具体的には，パッチサイズの推生じる．plenoptic camera の場合，各マイクロレンズの背後定手法の改善と，異なる焦点距離をもつ各マイクロレンズタにできる小画像は，たった一つの空間位置 (u, v) に関する情

イプから生成される多視点画像の新たな統合処理を導入した．

報のみを保有していた．その一方で，FPC の場合，各マイ

実験により，Wanner ら22)の手法に比べ，提案手法は高品質

クロレンズの背後にできる小画像は，複数の空間位置に関すな多視点画像を生成できることを確認できた．また，新たにる情報を保有することができる．この特性を活用することに実装されたソフトウェア24)は Wanner ら22)が公開している

この問題の解決するために，我々は文献 23) にて，Wanner

よって，高い空間解像度を達成することが可能となる．更に， ソフトウェアに比べ，様々なカメラ構成でも高品質に多視点
FPC を発展させたカメラとして，multi-focused plenoptic 画像を生成できた．本論文では，文献 23) で提案した手法とcamera(MFPC)18),19)が提案された．MFPC の特徴は，異なそれ以前の従来手法を総括し，その詳細について記述する．

る焦点距離をもつマイクロレンズが交互に配置されたマイク

加えて，それらの手法で生成される多視点画像の品質につい

ロレンズアレイを用いることである．異なる焦点距離の情報て詳細に評価する．我々は，本論文での成果により，MFPCを活用することで，より深い被写界深度の多視点画像の生成の活用機会の増加や光線空間のアプリケーションの適用範囲が可能となる．こうした有効性をもつことから，Raytrix20)のさらなる拡大につながることを期待している．

を例とした MFPC の商品化がなされた．
しかし，それだけの有効性をもつにもかかわらず，従来の2. 多視点画像生成

plenoptic camera と比べると MFPC はあまり普及していな
い．その主な理由としては，MFPC の光学系は非常に複雑

本章では，文献 16),17) の記述に沿って，FPC から多視であることから，扱いが難しいためであると考えられる．具体的には，高品質な多視点画像を生成するためには，複雑な処理が必要となるためである．多視点画像を生成するための最も単純な方法は，マイクロレンズに対応する各小画像から，単一画素ではなくある固定サイズのパッチを抽出することである．これは前述のように，各マイクロレンズの背後にでき点画像を生成する方法を説明する．しかし，図 2 に示したよ
うに，最も基本的な生成手法ではアーティファクトが発生する．そのため，高品質な多視点画像を生成するために Wannerら22)によって導入された，パッチサイズ推定と焦点距離の異なる各マイクロレンズタイプ画像の統合処理の二つの技術についても紹介する．

る小画像は，複数の空間位置に関する情報を保有するためで

2.1 基礎的な手法16),17)ある．しかしながら，パッチサイズとして単一のサイズのみ

図 3 の上部に示すように，FPC は主レンズやマイクロレを用いると，生成された画像にはアーティファクトが発生す

ンズアレイ，イメージセンサから構成される．この FPC でる (図 2 参照)．この問題を回避するためには，我々はパッチ

は，各マイクロレンズは仮想的な平面上で結像する仮想物体

サイズを適応的に調整する必要がある．一方で，この問題にを観測する．これは，各マイクロレンズがマイクロカメラの21),22)

取り組んでいる従来研究はほとんどなかった．加えて， ような役割を果たすということを示しており，図 3 の上部の282

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
Virtualimaging surface

Image sensor

Main lens

Microlens array

The (𝑖, 𝑗)-thmicro image

ObjectRaw image

図4(𝑖, 𝑗)-th micro image

マイクロ画像におけるパラメータ

Fig. 4 Parameters in a micro image

Micro image

Raw image

Rendered image

Raw image

図 3 FPC の光学系と対応する raw 画像

図 5 FPC の raw 画像からの画像生成処理の概念図

Fig. 3 Optical system of the focused plenoptic camera
and its raw image

Fig. 5 Diagram of rendering an image from a raw image
captured by the focused plenoptic camera

ような環境で撮影される raw 画像は，図 3 の下部の画像と2.2 パッチサイズ推定

して表される．ここで，raw 画像における各マイクロレンズ

前述のように，全てのマイクロ画像から抽出されたパッチ(s,t)

群 Pi,j,k を連結していくことで多視点画像を生成できる．しに対応する小画像は，マイクロ画像として呼称される．
多視点画像を生成する上で重要となる要素は，図 4 に示

かし，パッチサイズを固定して画像を生成すると，図 2 に示されているような，マイクロ画像における k × k サイズのすようにアーティファクトが生じる．これは，適切なパッチ(s,t)
パッチ Pi,j,k である．ここで，raw 画像 R が (x, y) 座標

サイズがカメラから被写体までの距離，つまりデプスに依存系をもつとして，(i, j) 番目のマイクロ画像の中心の座標をしており，デプスに応じてパッチサイズが適応的に調節され(cx (i, j), cy (i, j)) として記述する．そして，(i, j) 番目のマイ(s,t)
クロ画像において，パッチ Pi,j,k は次のように定義される．

るべきだからである．
パッチサイズを適切に調節するためには，明示的にデプス推定をするかしないかで，主に二つの手法が存在する．明示的にデプス推定を行う手法21)は，隣接するマイクロ画像間で(s,t)

Pi,j,k = {R(x, y) | x, y ∈ Z, xmin ≤ x ≤ xmax ,ymin ≤ y ≤ ymax }デプス推定を行い，各マイクロ画像について適切なパッチサ(1)

イズを求める．しかし，この手法では，デプス推定における課題 (例えば，non-Lambertian なシーンおけるデプス推定)

ここで，xmin = cx (i, j)+s−⌊ k2 ⌋，xmax = cx (i, j)+s+⌊ k2 ⌋， と同じ課題が共有されている．対照的に，明示的にデプス推

ymin = cy (i, j) + t − ⌊ k2 ⌋，ymax = cy (i, j) + t + ⌊ k2 ⌋ である.
(s,t)
ある画像 Ikを生成するためには，(i, j) 番目のパッチ
(s,t)
(s,t)
Pi,j,k を抽出し，その抽出したパッチを画像 Ik における(i, j) 番目のタイルに書き込めばよい．この生成処理の概念を図的に説明したものが図 5 に示されており，抽出されたパッ定をしない手法22)は，生成される画像にアーティファクトがチが画像を形成していくということが確認できる．このようデプス推定を明示的に行わない代表的な手法として，Wan-に FPC から生成される画像は，収集された “パッチ” 群で構成されることから，k = 1 の場合，すなわち “画素” 群の集

ner ら22)の手法がある．彼らは，もし正しいパッチサイズが用いられていれば，(i, j) 番目のタイル周辺のパッチ境界

まりに相当する従来の plenoptic camera から生成される画が滑らかになることに着目した．ここで，パッチサイズを像に比べ，高い空間解像度をもつ．この段階では，単視点のk(k ∈ {kmin , . . . , kmax }，kmin と kmax はそれぞれ最小と最大パッチサイズ) として表記する．このとき，パッチ境界のラプラシアン Ek を計算することでパッチ境界の滑らかさを評価し，次の式を最小化することで (i, j) 番目のマイクロレ

画像を取得できるだけだが，(s, t) を変更することで異なる視点の画像を取得できる．

283

発生しないようにパッチサイズを直接推定する．結果として，
アーティファクトがほとんどない画像を生成できる．本論文
では，この明示的にデプス推定を行わない手法に焦点をあてて議論を進めていく．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
Up-sampling

…

…

𝑘=9

𝑘 = 13

Raw image

Rendered image

図 7 適切なパッチサイズを用いた画像生成の概念図
Fig. 7 Rendering an image using suitable patch sizes

異なる焦点距離が用いられているため，MFPC からは焦点
𝑘 = 17が異なる多視点画像を三通り生成できる．これらの多視点画
像を適切に統合することで，より深い被写界深度をもった多(a) Rendered image(b) Laplacian ofrendering image

視点画像を取得できる．レンズタイプ n(n ∈ {0, 1, 2}) から(c) Laplacian ofpatch border(s,t)

生成された視点 (s, t) の画像を I¯n

図 6 生成された画像とパッチ境界部分のラプラシアンら

Fig. 6 Laplacian of rendered images and the border between patches

21∑
Iˆ(s,t) =Hn (I¯n(s,t) )
3 n=0

(2)

(0,0)

(5)

ここで Hn (·) は，レンズタイプが異なることで生じる視差を(3)補整するためのシフト関数である．そのシフト量は，レンズ(u,v)∈b(i,j)

なお，Ik

は，それら三通りの多視点画像を次のように平均して統合した．

ンズの適切なパッチサイズ K(i, j) を推定した．
K(i, j) = arg min Ek (i, j)
k
∑
(0,0)
Ek (i, j) =|∇2 Ik (u, v)|と表記すると，Wanner

22)

はパッチサイズ k を用いて生成された中心視点の画像であり，b(i, j) は (i, j) 番目のマイクロ画像におけるタイプの異なる画像間で，シフト量に対応する差分絶対値の和が最小となるように算出される．

パッチ境界の位置座標の集合，∇2 はラプラシアン演算子である．ここで，局所的に生成された画像とその画像に対してラプラシアンを適用した画像，そしてラプラシアン画像のパッチ境界のみを表した画像の例を図 6 に示す．なお，可視性向上のため，図 6 (a) の実際に生成された画像については色調

3. 提 案 手 法
我々の手法は，Wanner ら22)のラプラシアンに基づく手法
を基にしており，パッチサイズ推定と異なるレンズタイプ画
像の統合処理を改善したものである．

間境界が滑らかになっており，E13 が最小値をとると考えら

3.1 パッチサイズ推定の改善(0,0)
Wanner らは，中心視点の画像 Ik
のみからパッチサイ
ズを推定していた．一方で，我々は全ての視点 (s, t) を考慮れる．こうしてパッチマップ K を推定した後，視点 (s, t) のしてパッチサイズを推定する．これは，視点が異なっても適補正を行い，図 6 (b) と (c) のラプラシアン画像に対しては画素値を 5 倍にした．この例では，k = 13 のときにパッチ

画像 I

(s,t)

切なパッチサイズはほとんどの場合で変わらないと考えられ，が次のように生成できる．
(s,t)

I (s,t) (u, v) = IK(P (u,v)) (u, v)

全ての視点を考慮することで，より頑健にパッチサイズを推(4)定できると考えられるためである．全ての視点を考慮して得

ここで，P (u, v) は (u, v) 座標系から (i, j) 座標系への写像られるパッチマップ K ′ は，式 (2) を書き直すことで次のよを表す関数である．この多視点画像生成処理において，パッ

うに求められる．

(s,t)

チサイズが K(i, j) < kmax である各パッチは，画像 IK(i,j)の解像度を一定に保つために，図 7 に示すように kmax のサイズへとアップサンプリングされる．

K ′ (i, j) = arg min Ek′ (i, j)
k
∑∑
∑
(s,t)
′
Ek (i, j) =|∇2 Ik (u, v)|

(6)
(7)

s∈S t∈T (u,v)∈b(i,j)

2.3 異なるレンズタイプ画像の統合
最後に，Raytrix を代表とする MFPC18),19)のための追加

ここで，S と T は視点座標の集合である．

したマイクロレンズアレイが用いられ，MFPC では異なる

3.2 異なるレンズタイプ画像の統合処理の改善
MFPC では，レンズタイプに応じた三通りの多視点画像が生成されるため，それらの統合処理が必要となる．式 (5) で三つの焦点距離のマイクロレンズを交互に配置したマイクロ示された平均化による統合処理は，アーティファクトを効果

レンズアレイが用いられている，という点で異なる．三つの的に減らすことができる反面，テクスチャがぼける傾向にあ処理について説明する．FPC と MFPC の構造はほとんど同じであるが，FPC では単一焦点距離のマイクロレンズを配置

284

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

る．テクスチャのぼけを回避するために，我々は重み付け和による手法を導入する．三通りの多視点画像の焦点はそれぞれ異なるため，各多視点画像は焦点距離に応じた特定のデプスに対して焦点が合っている．そして，パッチマップの情報はデプス情報として解釈することもできるため，パッチマッ
プを用いることでレンズタイプに応じた重み付けが可能となる．この重み付けを用いる統合手法を Wanner ら22)は議論し

1 ∑ min(Hn (αn (u, v)), τ )
3 n=0
τ
√
1 ∑ ′2αn (u, v) =Ek,n (P (u, v)) − Ēn′2κ2α(u, v) =kĒn′ =

1∑ ′Ek,n (P (u, v))
κ

(13)
(14)
(15)

k

ここで，τ は定数であり，κ = kmax − kmin + 1 である．

ていたが，具体的な手法については言及していなかった．そのため，我々はまず，次のようなガウス分布に基づく重み付けを検討する．

4. 実 験 結 果
本章では，提案した改善手法が出力の画質にどれくらい寄∑2¯(s,t) (u, v))
n=0 wn (u, v)Hn (In∑2
n=0 wn (u, v)(K ′ (P (u, v)) − µn )2wn (u, v) = exp(− n
)
2σ 2

(s,t)
Iˆw
(u, v) =与するかを検証し，Wanner ら22)の公開ソフトウェアと我々(8)のソフトウェアの出力を比較した．この際，我々は MFPC で撮影された raw 画像に対してこれらの手法を適用した．入力(9)に用いた raw 画像のデータセットとしては，Wanner ら22)や

ここで，wn はレンズタイプ n に対応する重み，µn はレPalamieri ら25)が提供しているものと，我々が Raytrix R5 カ

ンズタイプ n のフォーカスに対応する参照パッチサイズでメラを用いて実際に撮影したものを用いた．なお，我々は，多あり，σ は定数である．なお本論文では，(µ0 , µ1 , µ2 ) =視点画像生成の手法を Visual Studio 2015 を用いて C/C++

min(kmin , kmax +k, kmax )，σ2=

kmax −kmin4として設定した． で実装し，そのソフトウェアを我々の Web ページ24)で公開

また，各レンズタイプに対応するパッチマップ Kn′ は，次のしている．また，MFPC の光学系は複雑であることから，コように計算される．

ンピュータグラフィックスによるシミュレーションで正解と′Kn′ (i, j) = arg min Ek,n(i, j)
k
∑
∑
∑
(s,t)
′
Ek,n
(i, j) =|∇2 Ik,n (u, v)|

なる多視点画像を生成することが難しく，画質を客観的に評(10)価することが困難である．そのため，本論文の実験では，出(11)

力画像の画質を主観的に評価した．

s∈S t∈T (u,v)∈bn (i,j)

図 8 では，従来のデプス推定に基づく手法21)，従来のラ(s,t)

ここで，Ik,n はレンズタイプ n についてパッチサイズ k を

プラシアンに基づく手法22)( 式 (2) )，提案手法 ( 式 (6) ) の用いて生成された画像であり，bn (i, j) はレンズタイプ n に

三つのパッチサイズ推定手法を用いて得られた，中心視点のついての (i, j) 番目のマイクロ画像におけるパッチ境界の位

結果画像とレンズタイプ 1 に関するパッチマップを示して置座標の集合である．

いる．ここでは，公平な比較を行うため，各手法の結果には(s,t)
式 (8) で計算される多視点画像 Iˆw は，重み付け和で統我々が実装したものを示しており，異なるレンズタイプ画像

合されたことで鮮明なテクスチャ情報を保持している．しかの統合には全ての手法に対して平均統合処理 ( 式 (5) ) を用

し，もし低周波領域で推定されたパッチサイズのような信頼いた．また，図 8 (d)〜(f) のパッチマップは，可視性向上

度の低いパッチサイズを用いて重み付けを行った場合，アーのために，(i, j) 座標系から (u, v) 座標系へと変換して表示

ティファクトを引き起こすことがある．我々はこの問題を， している．変換後のパッチマップを IK として表記すると，平均統合と重み付け和による統合の二つの結果を混ぜ合わせ

IK (u, v) = K(P (u, v)) として得られる．パッチマップはデ(s,t)
ることで緩和する．具体的には，次のように Iˆw と Iˆ(s,t)

プスマップと本質的に等価であり，図 8 (d)〜(f) では，輝度とで重み付け和をとる．

値が大きいほどパッチサイズが小さく，物体が手前にあるこ

(s,t)
(s,t)
Iˆb
= α ◦ Iˆw
+ (1 − α) ◦ Iˆ(s,t)とを意味している．なお，ノイズとなっている領域は，Ek(12)及び Ek′ の k に対する最小値が不明確で計算が不安定な領域

ここで，◦ は要素積を表す演算子であり，α(u, v) は各パッチである．図 8 (a) から，デプス推定に基づく手法は，テクス

サイズの信頼度を表している．我々はこの信頼度を，推定さチャの豊富な平坦な領域 (赤矢印) においては比較的鮮明なテ′れたパッチサイズ K (i, j) が信頼できないときほど小さい値

クスチャを保持しているが，オクルージョン領域 (青矢印) にをとるように設計する．パッチサイズ推定において，例えば

おいては境界のぼけやアーティファクトが生じる．また，従低周波領域やオクルージョン領域における推定結果は，その来のラプラシアンを基づく手法は，図 8 (b) に示すようにオ

信頼度が低くなると考えられる．加えて，そうした領域におクルージョン領域におけるアーティファクト (青矢印) は比較′
けるパッチサイズ推定では，k の変動に対して Ek,n
は緩や的抑えられている一方で，ぼけが生じる領域 (赤矢印) も多かなピークをとり得るとも考えられる．これらの考えに基づい．対照的に，式 (6) に基づく我々の手法は，アーティファ′
き，我々はパッチサイズの信頼度マップを，Ek,nの標準偏差

クトとぼけの両方を軽減することができている．パッチマッとして次のように求める．

プを観察すると，デプス推定に基づく手法のパッチマップは

285

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）(a) 従来のデプス推定に基づく手法21)(b) 従来のラプラシアンに基づく手法 ( 式 (2) )(c) 提案手法 ( 式 (6) )(d) (a) に対応するパッチマップ21)(e) (b) に対応するパッチマップ ( 式 (2) )(f) (c) に対応するパッチマップ ( 式 (6) )図 8 異なるパッチサイズ推定手法を用いて生成した結果
Fig. 8 Rendering using diﬀerent patch size estimation(a) 平均化 ( 式 (5) )(b) ガウス分布に基づく重み付け和 ( 式 (8) )(c) (a) と (b) の重み付け和 ( 式 (12) )図 9 三つのレンズタイプ画像を異なる手法で統合したときの結果
Fig. 9 Rendering using diﬀerent integration method of three microlens types

ラプラシアンに基づくものよりも一見よくみえるが，そうし成することに成功した．一方で，図 9 の背景などの極端にぼたデプスの良さは必ずしも画質の良さに寄与しないことがわ

けた低周波領域 (青矢印) では，重み付け和による統合処理はかる．

アーティファクトを引き起こすが，平均処理ではそれが軽減

図 9 では，三つのレンズタイプ画像を平均 (式 (5))，ガウ

されている．そして，それら二つの結果を統合する手法 (式ス分布による重み付け和 (式 (8))，それら両者の重み付け和(12)) は図 9 (c) に示すように，アーティファクトを軽減しつをとる手法 (式 (12)) で統合したときの結果を示している．こつ，鮮明なエッジをもった画像を生成することに成功した．

こで，三つの手法におけるパッチサイズ推定手法は式 (6) の最後に，我々が実装した MFPC からの多視点画像生成ソ提案手法で固定している．そのためパッチマップは，図 8 (c)フトウェアの出力と，Wanner らが公開しているソフトウェを生成するために使用したときと同じものが使用されている． ア26)の出力とを比較する．図 10 はその結果を示している．第式 (8) で記述される重み付け和による統合処理は，平均統合処理よりも鮮明な物体境界やテクスチャ(赤矢印) で画像を生

286

1 行は，Wanner らによって提供されたデータセットから得られた結果であり，第 2，3 行は Palamieri らによって提供されThe Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

N/A(a) Raw画像(b) Wannerらによる実装26)(c) 我々の実装

図 10 我々のソフトウェアと Wanner らのソフトウェアとの出力結果の比較
Fig. 10 Comparison between outputs of our software and Wanner et al.’s softwareているデータセットから得られた結果，第 4 行は我々が撮影はグレースケール画像として出力された結果を示している．

したデータセットから得られた結果である．また，第 1 列はソ

図 10 の第 1 行に示すように，Wanner らのソフトウェアは

フトウェアへ入力した raw 画像であり，第 2 列は Wanner ら

彼らのデータセットを入力とすると高品質な画像を生成できが公開しているソフトウェアの出力結果，第 3 列は我々のソるが，我々のソフトウェアの結果の方が鮮明にテクスチャをフトウェアの出力結果を表す．なお，カラー画像は Wanner

保持できている．Palamieri らのデータセットを入力に用いらのソフトウェアではサポートされていないため，ここでると，我々と Wanner らとのソフトウェアの出力の差は明ら

287

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

かである．この違いは，Wanner らのソフトウェアで，パッ
チサイズとして想定する最大値から最小値までの範囲が狭いことに起因すると考えられる．彼らのデータセットに対しては，想定された範囲が適切だったが，Palamieri らのデータセットに対しては，想定された範囲が不十分だったため，合成画像でアーティファクトが極端に目立ってしまっていると考えられる．また，我々が撮影したデータセットでは，我々のソフトウェアに与えたのと全く同じ入力情報を与えたにもかかわらず，Wanner らのソフトウェアでは正常な画像を得ることはできなかった．これは，カメラ内のマイクロレンズ
アレイの向きが影響していると考えられる．マイクロレンズ
は六角格子状に並んでいるため，90 度回転させると，隣接するマイクロレンズ間の位置関係に違いが生じる (例えば，図 3
下部の raw 画像と、図 7 左部の raw 画像を比較)．Raytrix
では，カメラのモデルによってマイクロレンズアレイの向きが異なる．この向きは，カメラから得られるパラメータに含まれており，我々のソフトウェアではその向きに応じて適切に処理を行うようになっている．一方，Wanner らのソフト
ウェアは，両方の向きに対応するような実装がされていないと考えられ，我々が撮影に用いた Raytrix R5 カメラの画像を扱うことができなかった．以上のことから，Wanner らのソフトウェアはカメラの構成に対して頑健ではなく，一方で我々が実装したソフトウェアは頑健に動作が可能な上，高品
質な多視点画像を生成できる．

5. お わ り に
本論文では，三つの異なる焦点距離をもつマイクロレン
ズが交互に配置されたマイクロレンズアレイをもつ multi-

focused plenoptic cameras(MFPC) から，高品質な多視点画像を生成するためのより洗練された手法を提案した．具体的には，我々は，多視点画像を生成する際に必要な適応的なパッチサイズの推定手法を改善し，三つの異なるレンズタイプの画像を統合する新たな手法を提案した．結果として，画像を生成するときに生じるアーティファクトを軽減しつつ，鮮明なテクスチャを保持した多視点画像を生成することに成功した．更に，我々が提案した手法を実装したソフトウェアと，MFPC から多視点画像を生成する点で我々が知る限り唯一である Wanner らのソフトウェアとの出力結果を比較した．実験では，Wanner らのソフトウェアと比べ，我々のソフトウェアは様々なカメラ構成で頑健に動作が可能な上，高品質な多視点画像を生成できることを示した．我々は，このソフトウェアを我々の Web ページ24)にて公開している．こ2) S. J. Gortler, R. Grzeszczuk, R. Szeliski, M. F. Cohen: “TheLumigraph,” Proc. of ACM SIGGRAPH, pp. 43–54 (1996).
3) M. W. Tao, S. Hadap, J. Malik, R. Ramamoorthi: “Depthfrom Combining Defocus and Correspondence Using LightField Cameras,” Proc. of IEEE International Conference on
Computer Vision, pp. 673–680 (2013).
4) S. Wanner, B. Goldluecke: “Variational Light Field Analysis
for Disparity Estimation and Super-Resolution”, IEEE Trans.
on Pattern Analysis and Machine Intelligence, Vol. 36, No. 3,
pp. 606–619 (2014).
5) H.-G. Jeon, J. Park, G. Choe, J. Park, Y. Bok, Y.-W. Tai, I.
S. Kweon: “Accurate Depth Map Estimation from a Lenslet
Light Field Camera”, Proc. of IEEE Conference on Computer
Vision and Pattern Recognition, pp. 1547–1555 (2015).
6) T.-C. Wang, J.-Y. Zhu, H. Ebi, M. K. Chandraker, A. A. Efros,
R. Ramamoorthi: “A 4D Light-Field Dataset and CNN Architectures for Material Recognition”, Proc. of European Conference Computer Vision, pp. 121–138 (2016).
7) N. Li, J. Ye, Y. Ji, H. Ling, J. Yu: “Saliency Detection on
Light Field”, IEEE Trans. on Pattern Analysis and MachineIntelligence, Vol. 39, No. 8, pp. 1605–1616 (2017).
8) R. Ng, M. Levoy, M. Bredif, G. Duval, M. Horowitz, P. Hanrahan: “Light Field Photography with a Handheld Plenoptic
Camera”, Proc. of Stanford University Computer Science Tech
Report CSTR (2005).
9) R. Ng: “Fourier Slice Photography”, ACM Trans. on Graphics,
Vol. 24, No. 3, pp. 735–744 (2005).
10) Lytro, https://www.lytro.jp/ (2017).
11) E. H. Adelson, J. Y. A. Wang: “Single Lens Stereo with a
Plenoptic Camera”, IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, pp. 99–106 (1992).
12) T. C. Wang, A. A. Efros, R. Ramamoorthi: “Occlusion-Aware
Depth Estimation Using Light-Field Cameras”, Proc. of IEEE
International Conference on Computer Vision, pp. 3487–3495(2015).
13) N. K. Kalantari, T.-C. Wang, R. Ramamoorthi: “LearningBased View Synthesis for Light Field Cameras”, ACM Trans.
on Graphics, Vol. 35, No. 6, pp. 193:1–193:10 (2016).
14) F. L. Zhang, J. Wang, E. Shechtman, Z. Y. Zhou, J. X. Shi, S.
M. Hu: “PlenoPatch: Patch-Based Plenoptic Image Manipulation”, IEEE Trans. on Visualization and Computer Graphics,
Vol. 23, No. 5, pp. 1561–1573 (2017).
15) T.-C. Wang, J.-Y. Zhu, N. K. Kalantari, A. A. Efros, R. Ramamoorthi: “Light Field Video Capture Using a LearningBased Hybrid Imaging System”, ACM Trans. on Graphics,
Vol. 36, No. 4, pp. 133:1–133:13 (2017).
16) A. Lumsdaine, T. Georgiev: “The Focused Plenoptic Camera”, Proc. of IEEE International Conference on Computational Photography, pp. 1–8 (2009).
17) T. G. Georgiev, A. Lumsdaine: “Focused Plenoptic Camera
and Rendering”, Journal of Electronic Imaging, Vol. 19, No. 2,
pp. 021106:1–021106:11 (2010).
18) T. Georgiev, A. Lumsdaine: “The Multi-Focus Plenoptic Camera”, Proc. of SPIE, The International Society for Optical Engineering, pp. 8299:7–8299:17 (2012).

空間のアプリケーション適用範囲のさらなる拡大につながる

19) C. Perwaß, L. Wietzke: “Single Lens 3D-Camera with Extended Depth-of-Field”, Proc. of SPIE, Human Vision andElectronic Imaging XVII, pp. 8291:1–8291:15 (2012).

ことを期待している．

20) Raytrix, https://www.raytrix.de/ (2018).

れを利用いただくことで，MFPC の活用機会の増加や光線

参考文献
1) M. Levoy, P. Hanrahan: “Light Field Rendering”, Proc. of
ACM SIGGRAPH, pp. 31–42 (1996).

28821) T. G. Georgiev, A. Lumsdaine: “Reducing Plenoptic Camera Artifacts”, Computer Graphics Forum, Vol. 29, No. 6,
pp. 1955–1968 (2010).
22) S. Wanner, J. Fehr, B. Jàhne: “Generating EPI Representa-

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
tions of 4D Light Fields with a Single Lens Focused Plenoptic
Camera”, Proc. of International Conference on Advances in
Visual Computing, pp. 90–101 (2011).
23) S. Fujita, S. Mikawa, K. Takahashi, M. Panahpourtehrani,
T. Fujii: “Extracting Multi-View Images from Multi-Focused
Plenoptic Camera”, to appear in Proc. of International Workshop on Advanced Image Technology/International Forum on
Medical Imaging in Asia (2019).
24) Our Implementation, http://www.fujii.nuee.nagoya-u.ac.jp/%7Es.fujita/projects/RenderingMV/ (2018).
25) L. Palmieri, R. O. H. Veld, R. Koch: “The Plenoptic Toolbox
2.0 Aims to Help Promote Research Using Focused Plenoptic
Cameras”, Proc. of IEEE International Conference on Image
Processing (2018).
26) Implementation of S. Wanner, J. Fehr, B. Jàhne, https://launchpad.net/lightfield (2018).

(2018 年 11 月 18 日 受付)(2019 年 1 月 3 日 再受付)
藤 田
秀 （正会員）2014 年 名古屋工業大学工学部情報工学科卒業，2016 年 名古屋工業大学工学研究科博士前期課程修了．現在，名古屋大学工学研究科博士後期課
程在学中．画像処理，特に光線空間処理に関する研究に従事．

289

美 川翔2018 年 名古屋大学工学研究科博士前期課程修了．同年，株式会社キーエンス入社．在学中，光線空間，立体ディスプレイに関する研究に従事

高 橋 桂 太 （正会員）
2001 年 東京大学工学部電子情報工学科卒業，
2006 年 同大学大学院情報理工学研究科博士課程修了．東京大学 IRT 研究機構特任助教，電気通信大学大学院情報理工学研究科助教などを経て，2013 年 名古屋大学大学院工学研究科准教授，現在に至る．3 次元映像を中心に，画像取得，コン
ピュータビジョン，映像符号化，及び映像ディスプレイに関する研究に従事．博士 (情報理工学)．
映像メディア学会，情報処理学会，IEEE 各会員．

藤 井 俊 彰 （正会員）
1990 年 東京大学工学部電子工学科卒業，1995
年 同大学大学院工学研究科博士課程修了．名古屋大学大学院工学研究科助手，助教授，東京工業大学大学院理工学研究科准教授を経て， 2012 年
名古屋大学大学院工学研究科教授，現在に至る．
画像処理，映像符号化，特に 3 次元映像通信，3次元映像システム，その ITS への応用に関する研究，及び映像符号化の国際標準化活動に従事．
博士 (工学)．1996 年度本会学術奨励賞受賞．映像メディア学会，情報処理学会，IEEE 各会員．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

グリーンノイズ拡散法による印刷耐性のある電子透かし
河村 尚登（フェロー）
カワムラ・テクノラボ

Robust Digital Watermarks Embedded into Printing Images by Green-Noise
Diffusion Method
Naoto KAWAMURA (Fellow)
Kawamura Techno Lab.
〈あらまし〉印刷耐性のある不可視型で可逆の高耐性電子透かし法を提案する．付加するグリーンノイズパターンは，そのスペクトルが特定の帯域𝑓𝑓max ~𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 に閉じ込められ，プリンタでは MTF 応答性が高いが，人の視覚系では明視の距離では低い応答性を示すため視認されにくい．このため，埋め込み強度を強くした印刷物でも高画質性が保たれたまま透かし情報が保持される．埋め込みは，実空間（画素空間）にて埋め込みビットの 0,1 に対応した 2 種類の異なるパターンでブロック単位に埋め込
む． グリーンノイズパターンと画像のスペクトルとは重なりが少ないため，画質に与える影響は少ない．抽出は周波数空間でスペクトルパターンを識別して行う．埋め込みパターンは専用の“鍵”でのみ除去できる．この鍵は乱数の SEED 値を変えればほぼ無限に発行できるため，画像ごとに鍵を変えれば，盗まれても他の画像の透かしを除去できない．秘密性はこの鍵に集約されるため，アルゴリズムの公開は第三者からの攻撃の助長とはならない．また，ブロック型の課題であるブロック同期の方法として，グリーンノイズスペクトルと重ならないマーカパターンを埋め込み，実空間で抽出することにより，高精度に同期をとることが可能となる．本論文では，著作権保護および Annotation の 2 つの運用形態について検討した．Annotation では
信頼度を見ながら，埋め込み強度(𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔)を自動調整することにより，抽出の信頼度を向上することが可能である．
キーワード：電子透かし，グリーンノイズ，著作権保護<Summary> We propose robust digital watermarking technology based on green-noise diffusion method, which represents highresilience to printing. As the spectrum of green-noise pattern is confined between 𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 and 𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 , the MTF response is high in theprinter, but low in the human visual system at the distance of distinct vision. For this reason, the watermark information is retained

while keeping high image quality. Watermark embedding is performed using two different patterns, which corresponding to bit 0 or
1, by adjusting the embedding strength (𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔) while looking at the reliability. Since the spectrum of green-noise pattern and theimage are less overlapped, the watermark information can be extracted in the spectrum domain. Also, since the embedded pattern isdiffused by random dots, it cannot be easily removed, but only removed with a dedicated "key". Since this key can be issued indefinitely,even if it is stolen it cannot remove watermarks of other images. Therefore, this system is highly secure. Since confidentiality isaggregated into this key, it does not promote attacks from third parties even if the algorithm is disclosed. In addition, as a method ofblock synchronization which is a significant problem in block type, it is possible to synchronize with high accuracy by extracting“marker” in which a pattern not overlapping the Green-Noise spectrum is embedded. In this paper, two applications of copyrightprotection and annotation were investigated.
Keywords: digital watermark, green-noise, copyright protection

1. はじめにになり，著作権を侵害した違反コピーだけでなく，紙幣や有

現在のデジタル情報社会において，情報の複製により多くの人が情報を共有することが可能となり，社会が大きく発展

価証券等の偽造行為という悪質な犯罪行為を助長させる結果となっている．

してきた．しかし，その利便性が，個人の著作物を違法に複画像用の電子透かし（Digital Watermark）は，画像情報の中製し流通させることになり，著作権侵害などの問題が起こるに別の情報，例えば，著作者情報等を埋め込み，著作権を保護ようになった．印刷画像においては，近年の画像機器の高画する技術である．画像品質を保持するため，一般に不可視型の質化により，原画と寸分も違わぬ複製が容易に得られるよう透かし技術が用いられる．運用上，画像データの編集・加工や290

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

外部からの攻撃に対して強い耐性が要求される．

一方，Wavelet変換による透かしの埋め込みは，種々の方法

この電子透かしを印刷画像まで維持するためには強い耐が提案されているが，印刷耐性を満たすものはあまりない．こ性が必要となる（以降、印刷耐性と呼ぶ．
）．画像の編集加工後， の方式ではDWT（Discrete Wavelet Transformation）による高域プリンタに出力する段階で，印刷色材への色空間変換や2値化

Hおよび低域Lへ分解後のサブバンドLLに埋め込む方法11,12,13)，

処理をはじめ，様々な画像処理が施され，かつ，プリンタエン

HHに埋め込む方法14)，LH, HLに埋め込む方法15,16)などが提案

ジンの非線形特性なども加わり，埋め込まれた透かし情報がされている．しかしWavelet変換が画像の空間位置を保存した

保持されにくいからである．

周波数変換であるため，印刷耐性を得るために透かしを強くまた，埋め込み状態が視認されないためには視覚応答特性

埋め込んだ場合，実空間で画像全体に分散されずアーティフ（VTF: Visual Transfer Function）の高周波域に埋め込むことがァクトが埋め込み位置に顕著に表れて目立ちやすく，位置が理想的であるが，プリンタエンジンの空間周波数応答特性

同定されるため攻撃を受けやすいなどの問題がある．

（MTF: Modulation Transfer Function）は，一般に，高空間周波

一方，埋め込み情報量を画像サイズに合わせて柔軟に対域で低下する。これはプリンタエンジンの種類や印字方式に処するためには，画像をブロック分割し，ブロック単位で周より異なるが，インクジェットプリンタでは印字ドット径の波数空間に埋め込む方法がとられる．かかる方法でスペクト

広がりや，飛び散り，吐出方向の揺動による着弾位置ずれ，レル拡散による埋め込む方法が提案されている17)．しかしながーザビームプリンタではレーザスポットの広がりやトナーのら，印刷耐性を得るためには強く埋め込む必要があり，ブロ

飛び散り，転写や定着時のドットのつぶれなどにより顕著にックの境界が目立つようになり，画質上の問題が生じる．

なる．このため、電子透かしとして安定して埋め込むためには，

本論文は，上記問題点を解決したグリーンノイズ拡散法に埋め込みを画像の高周波域を避ける必要がある．しかしながよる印刷耐性のある不可視型の電子透かし手法を提案するもらあまり低域に埋め込むと視覚的に認識されやすくなる．そのである．

こで，埋め込み空間周波数は，プリンタエンジンの安定出力が第 2 章で電子透かしに対する要件，第 3 章で本手法のアル可能で，視覚認識され難い中間周波数帯域に埋め込むことがゴリズム，第 4 章で評価実験，第 5 章で埋め込み画質と耐性必要である．

評価，第 6 章で画像の補正とブロック同期について，第 7 章

従来より，印刷耐性のある電子透かし法として様々な方法

で 2 値画像に対する評価，第 8 章でまとめを行う．

が提案されている．印刷時に埋め込む手法として，疑似中間調

2. 電子透かしに対する要件への二値化時の埋め込みがある．ディザ法や濃度パターン法1)，誤差拡散による埋め込み2,3)，グリーンノイによる埋め込み

ズディザ法による埋め込み4)，などが提案されている．これらの方法は，埋め込みビットの0,1に対応した異方性を示す二値

2.1 印刷耐性のある透かしに対する要件
前述のように，印刷耐性の実現には電子透かしを中間周パターンで埋め込む．印刷画像にメッセージを埋め込む用途

波数帯に埋め込む必要がある．また，輝度情報に埋め込む必に用いられ，電子データでの埋め込みは対象としない．

要がある．画像信号のブルー信号や色差信号，色空間変換後

電子データと印刷データの両者を対象とした透かし手法のイエロー信号に埋め込んだ場合は視覚的にはほとんど認識として，周波数空間に埋め込こむ方法が提案されている

されずに高画質が保持されるが，色材の分光特性，スキャナ

離散コサイン変換（DCT）やFourier変換を行い，ある特定の周やデジタルカメラのカラーフィルタの分光特性にスペクトル波数に埋め込む．埋め込まれた情報は実空間では画像全体にの重なりがあるため，色分離が完全ではなく抽出精度が低下

分散するため視覚的に目立ち難いという特徴がある．このするためである．

5-13)．

DCTを用いた方法で周波数空間の中間周波数帯に埋め込むこ

さらに，スキャナやカメラで読み取る時，照明むらが発とにより印刷耐性を得ている．文献5)～8)では DCTの原点

生じ，抽出信頼度の低下が生じるため，輝度変化に強い手法（DC成分）の位置から45°に引いた直線状の位置にあるブロッが望まれる．

クに透かし情報を埋め込むことにより，画像の回転に対する

このように，印刷耐性を満たすためには，電子データの耐性を保持している．文献8)では45°以外のブロックにも埋めみでの使用の電子透かしに，これらの要件をさらに追加したることを可能としている．しかしながら，これらの方法は埋め電子透かしの手法が必要となる．

込まれた画像に直線状のアーティファクトが生じ，かつ，埋め込む周波数の位置により変化するため，視覚的に目立ちやす

2.2 運用形態と透かしに対する要件い問題がある．また，文献10)では,DCTの原点を中心に円弧上

印刷耐性のある不可視型の電子透かしの運用形態としてに埋め込むため，画像ではバブル状のアーティファクトが重

図 1 に示す 2 つの形態が考えられる．一つは著作権保護の運畳されたパターンとなり，直線状のものよりは目立ちにくい用形態で，不正使用の監視や防止を目的とするものである．

が，実空間でのパターン輪郭が不明瞭のため抽出精度が低下

画像自体が商品で，著作権者は自己の著作権情報を画像に埋する．また，画像の回転時の識別が困難となる．

め込んで公開する．購入者は鍵と画像データを受け取り，必291

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

波数域のみにスペクトルが存在するブルーノイズのように，
スペクトル色にたとえてこう呼ばれる．スペクトルが中間周

公開
購入希望
鍵配信

波数域に局在するため，プリンタでは MTF 応答性が高く，人著作権者の視覚系では低い応答性を示す帯域となるように設定でき

購入者

る．クラスター化したランダムなパターンを埋め込むため，ブ(a)著作権保護

ロックの境界が目立ち難い特徴がある．
本電子透かしに用いるグリーンノイズパターンは以下のStep で生成される 4)．

電子透かし埋め込み

読み取り(b)Annotation

今，ドット群を R×R 画素（ R は 2 のべき乗）の中に分散させものとする．ドット 0（黒ドット）の面積率を𝑔𝑔（0≦𝑔𝑔≦

文字列抽出
URL→他へリンク

1），点(𝑥𝑥, 𝑦𝑦)におけるドット配列を 𝑝𝑝(𝑥𝑥, 𝑦𝑦) ∈ {0,1}とする．電子

透かしの埋め込み用として，中間面積率（𝑔𝑔=1/2）のドットパ
図 1 電子透かしの運用形態

ターンを求める．

Fig.1 Applied system for digital watermark

要に応じて透かしを除去し，二次著作権者として自己の著作権情報を埋め込むことができる．

Step1: まず，R2/2 個のランダムドットを𝑝𝑝(𝑥𝑥, 𝑦𝑦)とする．初期値は乱数発生により発生させホワイトノイズのスペ
クトルを呈す．

この形態での要件は，以下の 3 件である．

Step2: 次に，ドットパターンの二次元フーリエ変換を行い，

1. 画質の劣化は極力少なくし，電子データと印刷データのどちらからも埋め込み情報が読める．

𝑃𝑃�𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �を得る．

Step3: 𝑃𝑃�𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �に対して，周波数𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 が，

2. 透かしは専用鍵でのみ電子データから除去ができる．
3. 透かし抽出は鍵を必要としない．
要件 2 は，鍵の盗難時も安全性が保障されなければならない．
要件 3 では，著作権保護のための電子透かしは，ステガノグ
ラフィなどのような秘密情報を扱うわけではないので，抽出時のセキュリティは低くなければならない．

𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚 ≤ 𝑓𝑓𝑥𝑥 ≤ 𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚 ，𝑓𝑓𝑦𝑦,𝑚𝑚𝑚𝑚𝑚𝑚 ≤ 𝑓𝑓𝑦𝑦 ≤ 𝑓𝑓𝑦𝑦,𝑚𝑚𝑚𝑚𝑚𝑚(1)の帯域に一定の値（=1）を持つフィルタ𝐷𝐷(𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 )を乗じてフィルタリングを行い，新たな𝑃𝑃′(𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 )を得る．

Step4: 𝑃𝑃′(𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 )に逆フーリエ変換を行い，多値のドットパタ
ーン𝑝𝑝′(𝑥𝑥, 𝑦𝑦)を得る．

Step5: 誤差関数：

もうひとつの形態は Annotation（画像の注釈あるいはメタ情報）を目的とするもので，画像そのものは商品ではなく，情報の誘導材として用いられる．透かしの埋め込まれた画像
をディスプレイやカタログからスマートフォンなどで読み取り情報を引き出す．

𝑒𝑒(𝑥𝑥, 𝑦𝑦) = 𝑝𝑝′(𝑥𝑥, 𝑦𝑦) − 𝑝𝑝(𝑥𝑥, 𝑦𝑦)(2)を求め，白、黒ドットの誤差の大きい順に、同数白，
黒反転する．

Step6: Step2~5 の操作を繰り返し𝑔𝑔=1/2 のドットパターンを得る．

この場合の要件として，以下などがあげられる．
1. 埋め込み強度を強くし，カメラで確実に読める（このため，ある程度の画質の劣化は許容される）．

透かし埋め込み用のパターンにはビット“0, 1”に対応するた
め 2 種類のパターンが必要である．上記フィルタ𝐷𝐷(𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 )を

2. 埋め込み量は多いほうがよい．

以下に示す楕円リング内でのみ値（=1）を持つ分布とする．

3. 透かし抽出には鍵などを必要としない．
4. 回転や拡大・縮小，照明光のむらに強い．
二次元バーコードと同じような使われ方をするが，関連する画像に埋め込まれるため，ユーザーの興味を誘導する．二次元バーコードほどの埋め込み容量は必要ない．より多くの

𝑓𝑓𝑥𝑥2

2
𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚

𝑓𝑓 2+ 2 𝑦𝑦𝑓𝑓𝑦𝑦,𝑚𝑚𝑚𝑚𝑚𝑚

≤ 1,

𝑓𝑓𝑥𝑥2

2
𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚

𝑓𝑓 2+ 2 𝑦𝑦𝑓𝑓𝑦𝑦,𝑚𝑚𝑚𝑚𝑚𝑚

≥1

(3)

こうして得られたドットパターンを𝑝𝑝0 (𝑥𝑥, 𝑦𝑦)とし，90°回転したものを𝑝𝑝1 (𝑥𝑥, 𝑦𝑦)とする．

情報が必要な場合は関連するホームページなどへリンクする． 3.2 透かしデータの埋め込み

3. グリーンノイズ拡散法のアルゴリズム

透かしデータの埋め込みは実空間(画像空間)にて行われ

3.1 グリーンノイズパターンの生成
グリーンノイズパターンは，スペクトル特性が高周波数域

る．得られたグリーンノイズドットパターン𝑝𝑝0 (𝑥𝑥, 𝑦𝑦)および
𝑝𝑝1 (𝑥𝑥, 𝑦𝑦)を用いて，以下のようにして画像に埋め込まれる．

今，画像データを𝑖𝑖(𝑥𝑥, 𝑦𝑦) (0 ≤ 𝑖𝑖(𝑥𝑥, 𝑦𝑦) < 1)とし，R 画素×と低周波数域が低下し，中間周波数域のみ存在するパターン

R 画素のブロックに分割する．埋め込みの文字列をビット列である．全帯域にスペクトルが存在するホワイトノイズ，高周に変換したものを𝑤𝑤𝑤𝑤 ∈ {0,1} とし，画像ブロック毎に埋め込

292

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

みを行う．埋め込まれた画像を𝑤𝑤(𝑥𝑥, 𝑦𝑦)とすると，𝑤𝑤(𝑥𝑥, 𝑦𝑦) = 𝑖𝑖(𝑥𝑥, 𝑦𝑦) + 𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 ∙ 𝑝𝑝𝑖𝑖 (𝑥𝑥, 𝑦𝑦)
𝑝𝑝 (𝑥𝑥, 𝑦𝑦) − 1/2
𝑝𝑝𝑖𝑖 (𝑥𝑥, 𝑦𝑦) = � 0
𝑝𝑝1 (𝑥𝑥, 𝑦𝑦) − 1/2

𝑤𝑤ℎ𝑒𝑒𝑒𝑒 𝑤𝑤𝑤𝑤 = 0
𝑤𝑤ℎ𝑒𝑒𝑒𝑒 𝑤𝑤𝑤𝑤 = 1

埋め込みパターン𝑝𝑝𝑖𝑖 (𝑥𝑥, 𝑦𝑦)，および𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔を“鍵”として原画像に戻すことができる．

(4)
(5)

となる．ここで，𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔は埋め込み強度を表し，不可視の電子透かしを得るためには，𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 ≪ 1 が要請される．

𝑖𝑖(𝑥𝑥, 𝑦𝑦) = 𝑤𝑤(𝑥𝑥, 𝑦𝑦) − 𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 ∙ 𝑝𝑝𝑖𝑖 (𝑥𝑥, 𝑦𝑦)(11)

完全に復元するには，埋め込み画像のオーバー/アンダーフ
ローを避けるため，ダイナミックレンジを𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔に応じて，式(12)による圧縮変換をして埋め込み，除去後に逆変換を行えばよい．

3.3 透かしパターンの抽出

透かしデータの抽出はスペクトル空間にて行われる．印刷
画像は，スキャナやカメラで読み取った後，画像サイズや傾𝑖𝑖 ′ (𝑥𝑥, 𝑦𝑦) = (1 − 𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔) ∙ 𝑖𝑖(𝑥𝑥, 𝑦𝑦) + 𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔/2(12)

4. 評価実験

きを補正する．続いて，ブロック分割し，ブロック単位でフ
4.1 著作権保護用電子透かしの評価実験

ーリエ変換を行う．
ℱ{𝑤𝑤(𝑥𝑥, 𝑦𝑦)} = ℱ{𝑖𝑖(𝑥𝑥, 𝑦𝑦) + 𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 ∙ 𝑝𝑝𝑖𝑖 (𝑥𝑥, 𝑦𝑦)}

∴ 𝑊𝑊�𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 � = 𝐼𝐼�𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 � + 𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 ∙ 𝑃𝑃𝑖𝑖 �𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �

著作権保護用の電子透かしとして，W × Hのサイズの画像(6)に対して埋め込みビット“0”および“1”に対応した 2 つのここでℱ{∙}はフーリエ変換を表し，𝑖𝑖 = 0,1である．スペク

64×64（R=64）のグリーンノイズパターンを埋め込む評価実

トル空間において画像のスペクトル𝐼𝐼�𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �は，一般に，低験を行った．埋め込み最大量は⌊W/64⌋ ∙ ⌊H/64⌋ ビットとなる

周波領域に局在し，グリーンノイズパターンのスペクトル（⌊∙⌋は少数以下切り捨てを示す）．評価実験は 256×256 の画像

𝑃𝑃𝑖𝑖 �𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �はそれを取り囲むリング状に分布する．このため，に 16 ビットの埋め込みを行った．カラー画像データを

グリーンノイズパターンのスペクトルは識別が可能である．

Y, Cb, Crに線形変換し，輝度Yに透かし情報を埋め込んだ．

3.4 透かしパターンの識別(1) 埋め込みパターンの作成

グリーンノイズ特性を示すドットパターンは，スペクトル得られたスペクトル画像𝑊𝑊�𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �から，それが𝑃𝑃0 (𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 )か𝑃𝑃1 (𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 )かを識別する必要がある．識別方法として，ドッ主周波数が，プリンタの応答特性が高く，人の視覚特性で（明スクとした識別器による輝度値の差分情報から求める．すな

グリーンノイズパターンのバンド帯域を，黒化率𝑔𝑔，ブロック

わち，ブロックℛにおいて，式(7)から Q0 ，Q1 を求め，埋めサイズ𝑅𝑅を用いて 4)，

トパターン生成時の𝐷𝐷0 (𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 )と，90°回転した𝐷𝐷1 (𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 )をマ込まれたビット(𝑤𝑤𝑤𝑤)は以下のように抽出される．
1
𝑄𝑄0 =� 𝐷𝐷0 �𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 � ∙ 𝑊𝑊�𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �𝑍𝑍0
𝑓𝑓𝑥𝑥 ,𝑓𝑓𝑦𝑦 ∈ℛ1
� 𝐷𝐷1 �𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 � ∙ 𝑊𝑊�𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �
𝑍𝑍1

𝑄𝑄1 =

𝑓𝑓𝑥𝑥 ,𝑓𝑓𝑦𝑦 ∈ℛ0𝑤𝑤𝑤𝑤＝ � 1
不定

ここで，𝑖𝑖𝑖𝑖 𝑄𝑄0 − 𝑄𝑄1 > 𝑇𝑇ℎ𝑖𝑖𝑖𝑖 𝑄𝑄1 − 𝑄𝑄0 > 𝑇𝑇ℎ𝑜𝑜𝑜𝑜ℎ𝑒𝑒𝑒𝑒wise

𝑍𝑍𝑖𝑖 = � 𝐷𝐷𝑖𝑖 �𝑓𝑓𝑥𝑥 , 𝑓𝑓𝑦𝑦 �
𝑓𝑓𝑥𝑥 ,𝑓𝑓𝑦𝑦 ∈ℛ

視の距離において）応答特性が低くなるように設定する.今，𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚 = 𝑓𝑓0 ＋𝑎𝑎, 𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚 = 𝑓𝑓0 ＋𝑏𝑏

ただし，𝑓𝑓0 = �𝑔𝑔 ∙ 𝑅𝑅/2 = 22.62, 𝑔𝑔 = 0.5
𝑓𝑓𝑦𝑦,𝑚𝑚𝑚𝑚𝑚𝑚 = 𝛽𝛽𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚 ， 𝑓𝑓𝑦𝑦,𝑚𝑚𝑚𝑚𝑚𝑚 = 𝛽𝛽𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚(7)として 𝑎𝑎, 𝑏𝑏を変化させたときの 𝑝𝑝0 (𝑥𝑥, 𝑦𝑦)のパターンを図 2(a)に示す．
𝛽𝛽については 5.1 で述べるが𝛽𝛽=1.3～1.5 が最適である．
図からわかるようにグリーンノイズスペクトルの主周波数が低いほど（𝑎𝑎, 𝑏𝑏が小さいほど）クラスターサイズが大きくなり(8)

目立つようになる．逆に主周波数が高いほどクラスターサイズは小さくなるが，プリンタやスキャナで解像でき難くなる．
また，読み取り精度は印刷された画像サイズにも依存する．
(9)

そこで印刷画像サイズは 175～200ppi（pixel per inch）で出力するものとした．実験は𝛽𝛽 = 1.3, (𝑎𝑎, 𝑏𝑏)=(-2,-10)のパターンでである(𝑖𝑖 = 0,1)．ここで信頼度𝑅𝑅𝑅𝑅𝑅𝑅を式(10)で定義する．

行った．同図(b)に評価実験に用いたドットパターンとそのス

αは規格化係数であるが，ここではα = 1とする．𝑇𝑇ℎは識別のである．ヘッダーパターンは矩形スペクトルパターンで，ビ𝑅𝑅𝑒𝑒𝑒𝑒 = α|𝑄𝑄0 − 𝑄𝑄1 |(10)

閾値で，大きな𝑇𝑇ℎほど高い信頼度のデータを得る．以上のようにして得られたビット列𝑤𝑤𝑤𝑤より，文字列に変換し埋め込み
文字情報を復元する．

ペクトル分布を示す．𝑝𝑝1 (𝑥𝑥, 𝑦𝑦)は，𝑝𝑝0 (𝑥𝑥, 𝑦𝑦)を 90°回転したもの

ット列の先頭に用いられ，区切りパターンや，後述の同期用のパターンとしても用いられる．
(2) 透かしデータの埋め込みと印刷

3.5 透かしデータの除去

画像データを R×R のブロックで分割し，透かし情報の本手法は可逆型であるので完全に元の画像に戻すことがビット列𝑤𝑤𝑤𝑤に応じて𝑝𝑝0 (𝑥𝑥, 𝑦𝑦)あるいは𝑝𝑝1 (𝑥𝑥, 𝑦𝑦)パターンを埋めていく．図 3 に𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 = 0.0625， 0.125および0.25で埋めできる．すなわち，式(4)より，式(11)が導かれ，

293

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）(2,-4)(-2,-10)(-6,-12)

𝑓𝑓𝑚𝑚

𝑓𝑓𝑚𝑚

(a) パラメータ(𝑔𝑔, 𝑏𝑏)によるクラスターサイズの変化
𝑝𝑝0 (𝑥𝑥, 𝑦𝑦)

𝑝𝑝1 (𝑥𝑥, 𝑦𝑦)

𝑓𝑓𝑦𝑦

𝑓𝑓𝑦𝑦

図 4 透かし抽出処理
Fig.4 Image processing for watermark extraction(𝛽𝛽 = 1.3)

ヘッダー用

マスクパターン
D0

D1

識別器

ドットパターン
𝑝𝑝𝑚𝑚 (𝑥𝑥, 𝑦𝑦)
スペクトル

𝑓𝑓𝑚𝑚

𝑃𝑃𝑚𝑚 (𝑥𝑥, 𝑦𝑦)
(b)

透かし抽出

𝑓𝑓𝑚𝑚

𝑃𝑃0 (𝑥𝑥, 𝑦𝑦)

文字変換

スペクトル

𝑓𝑓𝑦𝑦

パターン識別

𝑓𝑓𝑦𝑦

𝑓𝑓𝑦𝑦

F
F
T

イコライゼーション

𝑝𝑝0 (𝑥𝑥, 𝑦𝑦)

画像補正

画像読み取りドットパターン

エッジ強調(𝑔𝑔, 𝑏𝑏)

𝑓𝑓𝑦𝑦
𝑓𝑓𝑚𝑚

図 5 マスクパターン

𝑓𝑓𝑚𝑚

Fig.5 Mask patterns

実験に用いた埋め込みパターン: 𝛽𝛽 = 1.3, (𝑔𝑔, 𝑏𝑏)=(-2,-10)

図 2 埋め込み用グリーンノイズパターンとスペクトル
Fig.2 Embedded green-noise patterns and those spectrum(2) Airplane(3) Balloon(4) Girl(5) Lenna(6)LightHouse (7) Mandrill(8) Parrots(9) Pepper(10) Sailboat(1) Aerial(a) gain=0.0625(b) gain=0.125(c) gain=0.25

埋め込み画像図 6 印刷後スキャナで読み取った画像（gain=0.125）256x256

一部拡大画像

PSNR

30.1

24.08

Fig.6 Scanned Image after printing (gain=0.125)

18.06

ジ強調を行うことが効果的である．その後，ヒストグラム・イ
コライゼーションによりコントラストの正規化を図る．パターンの識別は，図5に示される2つのマスク（識別器）による輝図3

度値の差分から識別を行い，同時に信頼度も得る．読み取りは𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 を変えて埋め込んだ画像と拡大図

プリンタ内蔵スキャナにて600dpiで読み取った．

Fig.3 Embedded images with different gain and those enlarged views

評価実験は10種類の標準画像（256×256）に対して，埋め込まれた印刷前の画像データとその一部拡大を示す．𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔を込み𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 を0.0625, 0.125 ，0.25 の3種類で行った．図6に上げていくに従って埋め込みパターンが目立つようになる．

𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 = 0.125で埋め込んだプリント画像をスキャナで読み取

印刷は，キヤノンのインクジェットプリンタ TS5030 をった画像を示す．188ppi（34mm×34mm）で印刷後，スキャナ

使用し，188ppi（512 画素×512 画素の画像で 69mm×69mm）

で読み取り抽出を行った．表1に抽出結果を示す．𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔=0.0625

でフォトペーパに出力した．

では16ビット中，1～3ビットの誤りが生じた．画像6および7では電子データの段階からすでに不正答であり，gain=0.0625は(3)画像の読み取りと透かし抽出
印刷画像をスキャナで読み取り，読み取ったデータに図4に示す処理を行い透かしの抽出を行った．画像の補正に関しては第6章にて説明する．次に，ブロック単位でFFTを行う．FFTの前処理としてクラスタードットを明瞭にするため強いエッ

294

事実上使えないことがわかる．𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔=0.125では100％正答を得たが，最低信頼度が低く，かろうじて正答になった画像（画像6および7）もある．図7に正答した画像3（Balloon）と,不正答
画像7（Mandrill）の埋め込み画像とスペクトル分布を示す．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

Mandrillの画像では，画像の空間周波数が高く，グリーンノイ

Step1: 全ブロックに透かしデータを埋め込む．

ズパターンのスペクトルと重なり，識別が困難となるためで

Step2: 各ブロックの透かし情報と信頼度を抽出．重複して埋ある．図8に印刷前の電子データと印刷画像に対して画像ごとめ込んだ場合は信頼度の大きい方を選択の平均信頼度と最低信頼度を示す．印刷画像では信頼度が約3

Step3: 正しく抽出され，信頼度が閾値以上かチェックする．

～4低下していることがわかる．また，印刷で安定して正答が閾値以下であれば𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 を増加させ Step2 から再び埋得られるためには，最低信頼度が2以上必要である．

め込む．

以上の実験結果から，電子データでの最低信頼度が5以上であれば印刷耐性のある透かし埋め込みが安定してできることが分かった．したがって，図8から𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔=0.1875以上で使用すStep4: 𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 が最大値𝑔𝑔𝑚𝑚𝑚𝑚𝑚𝑚 を超えた場合は平滑化を行い，

Step1 に戻り𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 の最小値𝑔𝑔𝑚𝑚𝑚𝑚𝑚𝑚 から埋め込みを開始
する．

れば，フォトペーパ等の印刷画像からの透かし情報の抽出はほぼ可能である．普通紙等に印字する場合は,さらに大きな印刷画像（gain=0.0625）
画像3

gainが必要となる．
4.2 Annotation 用電子透かしの評価実験“0 0 1 1”“0 0 0 1”(a)

Annotation用途では埋め込み情報のエラーを少なくするため，埋め込み強度を大きくし信頼度を高くする必要がある“0 0 1 1”が，画質の劣化はある程度許容できる．その手順は次の5step“0 0 1 0”

からなる.

画像7
“0 0 0 1”

表 1 埋め込み評価実験結果 赤字は信頼度が 2 以下
Table 1 Embedment evaluation experiment results:Red number indicatesthe cases of which reliability degree is less than 2.0
画像No１
Aerial2
Airplane

3
Baloon

4
Girl

5
Lenna
6
Light
House

7
Mandrill

8
Parrots9Pepper10
SailBoat

信頼度

抽出データ

gain=0.0625

0.125“0 0 0 0”(b)“0 0 1 1”

0.25“0 1 1 0”

電子データ プリント 電子データ プリント 電子データ プリント

正答率

100%

100%

100%

平均信頼度

5.60

3.81

9.35

6.45

12.22

8.80

最低信頼度

3.40

1.38

7.47

4.60

10.76

7.83

正答率

100%

平均信頼度

7.61

最低信頼度

3.24

正答率

100%

7.13

10.64

4.13

7.14

100%

12.75

5.00

10.82

100%

7.02
100%

11.54

7.83

13.29

10.25

13.95

10.77

9.37

6.39

12.15

8.80

13.49

9.28

100%

9.66

5.59

12.21

7.59

13.37

10.04

最低信頼度

3.41

0.84

7.70

2.06

10.91

7.60

94%

100%

100%

平均信頼度

8.09

4.32

11.29

7.49

13.29

8.99

最低信頼度

1.14

0.61

6.16

2.25

10.39

4.89

正答率

87.5%

87.5%

平均信頼度

5.10

3.80

8.20
2.70

100%

平均信頼度(プリント)

平均信頼度(電子データ)

100%

平均信頼度
正答率

Fig.7 Embedded images and their spectrum :incorrect bits are shown in red

9.14

平均信頼度

100%

（赤字が不正答データ）

100%

7.34

最低信頼度
正答率

図 7 埋め込み画像及びそのスペクトル

16.00

16.00

14.00

14.00

12.00

12.00

10.00

10.00

8.00

8.00

6.00

6.00

4.00

4.00

2.00
0.00

2.00
1

2

3

4

gain (x0.0625)

0.00

1

2

3

100%

5.98

11.29

0.62

7.22

最低信頼度

0.23

0.56

正答率

87.5%

81.3%

平均信頼度

4.31

3.38

7.64

5.00

11.03

8.24

最低信頼度

0.44

0.08

2.71

0.33

8.47

7.22

正答率

100%

100%

平均信頼度

9.78

5.94

11.99

8.36

13.31

9.71

最低信頼度

5.25

2.70

8.24

2.91

10.86

7.89

100%

最低信頼度(電子データ)

7.81
5.96

14.00

100%

100%

12.00
10.00
8.00
6.00

100%

正答率

100%

93.8%

平均信頼度

7.57

3.79

11.06

100%
7.13

13.16

9.40

最低信頼度

4.93

0.66

9.33

2.69

12.22

7.80

最低信頼度(プリント)

16.00

4.00
2.00
0.00

1

2

3

4

100%

正答率

100%

93.8%

平均信頼度

7.03

3.30

11.05

100%
7.14

13.23

100%
9.54

図 8 gain に対する信頼度の変化

最低信頼度

3.86

0.16

8.91

5.73

12.44

7.25

Fig.8 Change in reliability for gain

295

4The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

5. 埋め込み画質と耐性評価

Step5: 全てのブロックが信頼度を満たした段階で終了する．
以上の操作で信頼度の高い透かし埋め込み画像が得られる．
図9に画像への埋め込みの操作手順を示す．𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 を少しず

5.1 視覚系と知覚画質つ増大させStep1からStep4を繰り返し，最大許容𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 を超え

今、画像サイズの一辺を W，印刷を H[ppi]で出力すると印た段階で2画素平滑化を行い，再びStep1からStep4を繰り返し

刷画像サイズは 25.4×W/H [mm]，印刷紙面上の 1 画素のサイて，目標の信頼度となった段階で終了する．図10はモニタ画像

ズ d は，d=25.4/H[mm]となる．一方，画像のナイキスト周波をデジタルカメラで撮影して透かし抽出を行ったものである． 数𝑓𝑓𝑁𝑁 は，𝑓𝑓𝑁𝑁 = 1/2𝑑𝑑,グリーンノイズパターンの主周波数𝑓𝑓𝑝𝑝 は，Annotation用途ではディスプレイ画像をカメラで撮ることが多いからである．埋め込み情報を多くするため，32×32のブロックにて512×512のMandrill画像に32文字（256ビット）で埋め込みを行い，𝑇𝑇ℎ = 5で𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 = 0.3125となった．これをモニタ上に82mm×82mm（157ppi）で表示し，キヤノンIXY640（2110万

画素：3648×2048（16:9））を用いて撮影した．撮影された画像を後述の画像補正を施し，透かし情報の抽出を行った結果，埋𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 と𝑓𝑓𝑚𝑚𝑚𝑚𝑚𝑚 の中間として，𝑓𝑓𝑝𝑝 ≈ 𝑓𝑓0 + (𝑎𝑎 + 𝑏𝑏)/2 となる．𝑓𝑓𝑁𝑁 との比で表すと，𝑓𝑓𝑝𝑝 /𝑓𝑓𝑁𝑁 ≈ �𝑔𝑔 + (𝑎𝑎 + 𝑏𝑏)/𝑅𝑅 となる．画像サイズ
を 512×512, 印刷画像を 188ppi で出力するものとし，R=64,(a,b)=(-2,-10)とすると，印刷画像サイズは 69.2[mm]，𝑓𝑓𝑁𝑁 =3.70[cycle/mm]，𝑓𝑓𝑝𝑝 = 1.92[cycle/mm]となり，グリーンノイズのドットパターンの平均線数は約 100 線相当となる．

図 11 に視覚系の応答特性（VTF: Visual Transfer Function）

め込み文字が正しく抽出できた．表2に実験結果の信頼度を示を示す．低周波成分に感度が高く，高周波になるにつれて感す．

度が低下したローパス特性を示す．この VTF は，Dooley の式

gain: 0.1875

0.25で近似できる 18)．

平滑化
0.125

VTF = 5.05𝑒𝑒 −0.138𝑥𝑥 (1 − 𝑒𝑒 −0.1𝑥𝑥 )0.25[𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐/𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑] (13)これから，距離 L[mm]におかれた P 画素の画像を W[mm]で印刷したものは以下のように表される．
𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿VTF = 5.05𝑒𝑒 −0.138∙180∙𝑃𝑃𝑥𝑥 �1 − 𝑒𝑒 −0.1∙180∙𝑃𝑃𝑥𝑥 � [𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐/𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝𝑝]

埋め込みパターンは，VTF を考慮に入れた場合，高周波域が低減されるため知覚粒状性は低下する．図 12 は，𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔=0.25
で透かしの埋め込まれた画像を，VTF を通して L=300mm で不正答
信頼度＜Th正答
信頼度＜Th正答
信頼度＜Th

みた輝度画像をシミュレーションしたものである．大きな正答
信頼度＞Th

図 9 信頼度に基づく gain と平滑化の自動調整

𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔にもかかわらず VTF により高周波成分が減衰しドット

Fig.9 Automatic adjustment of gain and smoothing based on reliability

表 2 埋め込み評価実験結果（gain=0.3125）

パターンが目立たなくなる．

Table 2 Embedment evaluation experiment results:
画像
Mandrill
512×512

信頼度

電子データ

カメラ画像

正答率

100%

100%

平均信頼度

18.28

11.88

最低信頼度

5.69

3.71

(a)カメラ読み取り画像（3648x2048）

MTF

1.0

0.5

(b) 読み取り後切り出された画像（512×512）(c)抽出結果

0
0

2

4

6

8

10

12

14 （Cycles/mm）

0

10

20

30

40

50

60

70 （Cycles/degree）

図 10 カメラで読み取った画像と抽出データ

図 11 視覚系の MTF 応答特性

Fig.10 Scanned image and extracted data

Fig.11 MTF response characteristics of human eye

296

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

印刷においてはプリンタ独自のハーフトーニング手法との干渉に気を付ける必要がある

19) ．プリンタの解像度を

𝑅𝑅𝑝𝑝 dpi（dot per inch）とすると，そのナイキスト周波数（𝑓𝑓𝑁𝑁𝑁𝑁 ）では前述のようにドットゲインや不安定性から十分解像されない．十分解像されて印刷されるためにはナイキスト周波数の 1/2 以下の周波数のパターンで印刷する必要がある．すな

わち, 主周波数が 𝑓𝑓𝑝𝑝 ≤ 𝑓𝑓𝑁𝑁𝑁𝑁 /2 を満たす必要がある。プリン

タ 解 像 度 が 600dpi と す る と ， 𝑓𝑓𝑁𝑁𝑁𝑁 /2＝5.9 で あ る の で 、

𝑓𝑓𝑝𝑝 ≤ 𝑓𝑓𝑁𝑁𝑁𝑁 /2 を十分満たしているといえる．

グリーンノイズパターンの平均線数を高くした場合はプ

リンタのハーフトーニングとの干渉が生じやすくなるが，誤差拡散法や FM スクリーンでの 2 値化ではこの影響は少ない．
埋め込んだパターンのブロック境界は分散性ランダムパ

ターンのため目立ち難いが，楕円率（𝑓𝑓𝑦𝑦,𝑚𝑚𝑚𝑚𝑚𝑚 /𝑓𝑓𝑥𝑥,𝑚𝑚𝑚𝑚𝑚𝑚 ）を大きくしていくと目立つようになる．図 13 は楕円率を変えたドット

パターンを示す．楕円率=1.1 は，ほぼ，等方的なパターンでありブロック境界は目立たないが，そのスペクトルは識別・分離が難しい．一方，楕円率が 1.7 の場合は非等方性によりブロック境界が目立つようになる．1.3～1.5 の範囲が最適範囲

5.2 従来法との比較
一般に，電子透かし法の評価は，非視認性（Imperceptibility），
耐性（Robustness），埋め込み容量（Capacity），安全性（Security），
誤検出性（False Positive：透かしがないのにあると認識してしまう）などから総合的に評価する必要がある20)．そのほか, 可逆性能，パフォーマンス性能，抽出の難易性（機密情報を埋め込むステガノグラフィでは抽出を困難とし，著作権保護用途
では抽出を容易とする），改ざん位置検出の可否と性能，さらにはアルゴリズムの公開への適応性などがあり，それぞれ利用形態により重視する性能が異なる．また，それらの機能がト
レードオフの関係となるため，一概に性能を比較し優劣を定量評価することは困難である21),22)．しかし，画像の著作権保護をターゲットとした透かし手法では，埋め込み品質が最も重要となる．そこで，従来の電子透かし手法で，周波数空間に埋め込むDCT変換およびWavelet変換を用いた電子透かし法を，その手法に基づく埋め込み品質について定性的な比較を行う．
図14上部は，DCT空間で埋め込んだ文献5)～9)によるもの
で，DCT変換後，原点（DC成分）の位置から45°に引いた直線である．
スペクトル空間での書き込み
放射上の埋め込み

VTFあり (L=300mm)

VTFなし

円弧上の埋め込み

埋め込み画像256x256

書き込まれた画像

一部拡大画像Tmin
Tm𝑚𝑚𝑚𝑚R

一部拡大画像図 14 DCT 変換での周波数空間での埋め込み画像
Fig.14 Digital watermarked image based on DCT
図 12 視覚応答特性（VTF）による知覚心理画像
Fig.12 Images based on visual transfer function (VTF)

1.3

1.5

書き込まれた画像

一部拡大画像

HHへの埋め込み

ドットパターン

楕円率＝1.1

スペクトル空間での
書き込み

1.7

LLへの埋め込みスペクトル

図 13 楕円率に対するブロック歪み：ドットパターンとスペクトル

図 15 Wavelet 変換での埋め込み画像

Fig.13 Block noise by patterns for various ellipticity and its spectrum

Fig.15 Digital watermarked image based on wavelet transformation

297

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

状の𝑇𝑇𝑚𝑚𝑚𝑚𝑚𝑚 ~𝑇𝑇𝑚𝑚𝑚𝑚𝑚𝑚 位置にあるブロックに埋め込んだものである． 5.3 画像編集に対する耐性逆変換した画像では斜め線の筋となってアーティファクトが生じ，長い筋のため低周波となり目につきやすい．図14下部は

文献10)によるもので，DCT原点よりRの位置に円弧上に埋め込んだもので，逆変換した画像はバブル状のアーティファクトが生じる．このアーティファクトは埋め込む位置により変化し，プリンタやスキャナでの印刷・読み取りの不安定性が増す．また，画像の回転時の識別が困難となる問題がある．
図15上部は，Wavelet変換後のHH成分に透かしの埋め込みを行ったもので，逆変換した画像では，埋め込まれたパターン
がアーティファクトとして現れる．下部はLL成分に込んだもので逆変換画像ではさらに顕著になる．多階層では上位階層に埋め込むほどアーティファクトは強くなる．Wavelet変換は画像の空間位置を保存したスペクトル強度変換であるため，実空間で画像全体に分散されず埋め込み位置に表れる．このためエッジ部に埋め込み分散させるなどの方法がとられるが画像依存性が強い．電子データでのみ使う場合は，埋め込み強度を弱くし画質上は問題とならないが，印刷耐性を必要とす

電子透かしに対する攻撃としては，例えば信号の強調（シャープネス調整），フィルタリング（線形，非線形），非可逆圧縮（JPEG，MPEG），変形（回転，拡大縮小）などがある．
攻撃の中でも，透かしパターンを消失させやすい輝度データへの攻撃に対する耐性を図16に示す．実験は512×512の画像に，32×32のグリーンノイズパターンを用いてgain=0.125で32文字（256ビット）を埋め込み，攻撃を加えた後，電子データの状
態で埋め込み情報の抽出を試みた．全文字が正しく抽出された場合，抽出結果を“○”で示す．また，（4.1章で述べた）
印刷耐性が難しい最小信頼度5以下のものを“△”で示す．平
滑化処理において, 2画素，3画素およびGaussianフィルタ（サイズ：5×5, σ＝2）による平滑化処理を施しても，全埋め込
み文字が正しく抽出されたが，3画素平滑化とGaussianフィル
攻撃と強度

攻撃後の画像 抽出結果 平均信頼度 最小信頼度

埋め込み画像

○

20.26

12.54

Q=70

○

17.26

9.49

Q=30

○

14.32

7.61

Q=20

△

7.96

0.66

8.97

る場合は重要な問題となる．
本グリーンノイズ拡散法による手法は，強く埋め込んでも画質に大きな崩れがなく，埋め込み周波数が一定であり，プリJPEG

ンタやスキャナなどの画像入出力装置で安定した記録・読み取りが可能となる．

攻撃後の
画像

一部拡大
画像

スペクトル
画像

一部拡大
画像

抽出 平均信頼度
結果 最小信頼度

20.26

埋め込み画像（攻撃なし）

○

12.54

2画素

○

14.91
8.08

Gaussian Noise

Shading

平
滑
化

3画素

△

11.64
2.86

Gaussian
5ｘ5, σ=2

△

10.98
1.48

振幅=
32/255

○

20.25
12.41

振幅=
64/255

○

21.21
12.34

σ=10

○

拡大

×1.5

○

攻撃と
強度

18.42

縮小

×0.75

○

13.61

6.25

×0.5

×

3.46

0.04

10°

○

16.96

5.48

45°

○

15.90

6.69

回転

図 17 各種攻撃に対する透かし情報の抽出結果
Fig.17 Watermark extraction results after various attacks

埋め込み画像（512x512)

一部拡大画像拡大
スペクトル画像

抽出 平均信頼度
結果 最小信頼度

Q=20
gain=
0.125

△

△

0.66

15.07
8.90
Q=20

σ=30

7.96

5.20

gain=
0.18751.15

図 16 輝度変動を与える各種攻撃に対する透かし情報の抽出結果

○

14.02
9.71

図 18 JPEG(Q=20)の時の gain による透かし情報の抽出結果

Fig.16 Watermark extraction results after the attack on luminanceFig.18 Watermark extraction results due to gain value for JPEG (Q=20)

298

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

タでは△となった．シェーディングは，大局的な輝度変動をえて異なったクラスタードットパターンを生成したものであ

与える攻撃であるが，画像データの255のレンジに対して64のる．4つのパターンともにスペクトル分布の形状は同一である

変動を与えても信頼度は殆ど低下しなかった．

が，ドットパターンは異なる．一般に，R×R（ R = 2𝑚𝑚 ）のパ

ガウスノイズを付与した画像に関しては，σ=10では埋め込み情報は抽出できたが，σ=30では最小信頼度は1.15でかろ
うじて抽出できている．ミクロな輝度変化が，グリーンノイズのクラスターパターンを妨害するためであると考えられる．

ターン数Nは，式(14)で与えられる．

𝑁𝑁 = 𝑅𝑅2𝐶𝐶𝑅𝑅2/2(14)

ここで，Cはcombinationを表わす．R=64の場合，異なるパタ

図17に各種画像処理の攻撃に対する透かし情報の抽出結ーン数は，4096C2048 だけ生成可能であり，同じパターンとな果を示す．JPEG圧縮ではQ=70 および30では正しく抽出される確率は極めて低い．このため画像ごとにSEED値を変えたパ

たが，最小信頼度は,Q値が小さくなるにつれて低下し，ターンで埋め込むことにより，鍵を盗まれてもその鍵で他の画像の透かしを除去することはできない．さらに，𝑝𝑝1 (𝑥𝑥, 𝑦𝑦)のQ=20では最小信頼度は0.66でかろうじて抽出できている．しかし，gain=0.1875と上げた画像では図18に示すように最小信パターンも独立に生成したり，複数のパターンを混合するこ

頼度は9.71と向上する．

とにより安全性を一層強化することもできる．

拡大，回転に関しては，ブロック埋め込みのため，そのま

通常，電子透かしの埋め込みアルゴリズムを公開した場合，までは抽出は困難であり，後述の画像補正を行ってから抽出

第三者からの攻撃を受けやすく安全性が担保されない．しかを行ったところ埋め込み情報は問題なく抽出できた．しかし，し，本手法の機密性が高いのはドットパターンが含まれる鍵1/2 の縮小画像では抽出が困難であった．これはグリーンノイのためであり，アルゴリズムには関係しない．このため，アズパターンが縮小処理により消失するためである．

ルゴリズムを公開しても第三者からの攻撃を助長することに以上，gain=0.125での電子データにおける耐性について評 はならない．また，抽出のソフトウェアは異なる鍵にも共通価したが，gainを大きくすることにより耐性はさらに向上する． に使えるため一つでよいし，機密性はないため広く配布して印刷画像に対しては，スキャナやカメラで読み取る必要があもよい．

るが，本手法は輝度変動を与える攻撃に強いため，濃度ムラや6．画像の補正とブロック同期

照明ムラの影響を受け難いといえる．

6.1 画像四端からの補正

5.4 第三者からの攻撃に対する耐性
一般に，非対称型の電子透かしは，透かしの抽出方法を公開したとしても，透かしを消去あるいは改ざんすることが難しい方式である23),24)．本アルゴリズムは埋め込みは実空間で，抽出はスペクトル空間で行われる非対称型で，かつ，グリー
ンノイズパターンはランダムドットが拡散したパターンのためスペクトラム拡散と同じ様に完全に除去することは一般に難しい．しかしながら，原画像や平坦部のパターン，複数の画像などから透かしパターンを特定する結託攻撃（collusion
attack）によりパターンを抽出することは可能である．

この問題は画像ごとに埋め込みパターンを変えることにより回避できる．図19は，乱数発生の初期値（SEED値）を変ブロック型の電子透かし法では，抽出時のブロックとマスクの位置合わせの同期(synchronization）が課題である．このため，読み取られた画像の回転や歪を補正し，埋め込み時のブロックと抽出時のマスクの高精度な位置合わせが要求される．
これはブロックサイズが小さい程厳しい．しかし，FFT でス
ペクトル検出する際，ブロックサイズの 70％程度にマスクが重なっていればスペクトルは検知可能である．隣接ブロックとの重なりを回避するため，マスクの外周を覆う（padding）
ことが有効である．
画像サイズ W,H が決まっている場合は，出力画像を射影変換にて補正する．画像の四端の座標から所定の画像サイズ
へ Homography 変換（平面射影変換）で補正する．図 11 での(a) パターン１(c) パターン３(b)パターン２

カメラからの画像の補正は，そのようにして補正画像を得た．

(d)パターン４

pattern

射影変換は Destination 側から Source 側を探索し，Bi-Linear 補間を用いた．その結果，ブロック同期が取れ，高い信頼度で透かし抽出ができた．

spectrum(64x64)
v
u

v

v
u

しかしながら，画像サイズが与えられず，拡大や縮小，クvu

ロッピングやトリミングが施された画像から高精度なブロッuク同期を得るため，次節の方法を用いた．
6.2 マーカパターンの埋め込み
まず，所定のブロック数だけ離れた位置に複数の同期用マ

図 19 各種攻撃による透かし情報の抽出結果

ーカを埋め込む．読み取った画像からこのマーカを検出し，Fig.19 Watermark extraction results after various attacks

299

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

その位置情報から元の画像サイズを割り出し補正画像を得る
ことでブロック同期を得る．埋め込む文字情報を ASCII コー
ドに限れば，文字の先頭ビット（MSB）に相当するブロックにマーカを埋め込むことができる．
図 20(a)にマーカパターンを示す．これは，同図(b)に示す

𝑀𝑀𝑜𝑜𝑜𝑜𝑜𝑜 を得る．差分をとるのは，1画素ごとに出力が反転するためである．式(16)の結果，𝑀𝑀𝑜𝑜𝑜𝑜𝑜𝑜 (𝑥𝑥, 𝑦𝑦)は市松パターンの領域で強い応答を示す．

𝑀𝑀𝑜𝑜𝑜𝑜𝑜𝑜 (𝑥𝑥, 𝑦𝑦) = �

1 𝑖𝑖𝑖𝑖 𝛼𝛼|𝑈𝑈0 − 𝑈𝑈1 | > 𝑇𝑇ℎ1

0

(16)

𝑜𝑜𝑜𝑜ℎ𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒𝑒

矩形スペクトルを有する主パターン（図 2 に示したヘッダー

図 22 は，8 ブロック間隔でマーカパターンを入れた透かパターン）と市松状の副パターンを合成したものである．市

し画像からスペクトルとマーカ情報を抽出したものである．

松パターンのスペクトルはブロック解像度から決まるナイキ(a)は変倍のない画像で，スペクトル画像とマーカ情報が正し

スト周波数となり(b)に示すようにスペクトル空間で四隅に輝く抽出されている．(b)は(a)の画像を 1.25 倍に拡大したもの

点として出現し，主パターンおよび画像のスペクトルと重なで，スペクトル画像はブロックと非同期のため情報が正しくらない．マーカパターンは，印刷において 188ppi で出力すれ抽出できていないが，マーカは抽出できている．さらに 10 度

ば，600dpi のプリンタでは再現可能であるが，プリンタのハの回転を加えた(c)の画像では，マーカも不明瞭となり抽出のーフトーニングによっては再現が困難な場合がある．その場
合は 2 画素幅の市松のマーカパターンを用いることにより回埋め込み画像

避できる．
6.3 マーカパターンの抽出と補正画像の作成

スペクトル画像

マーカ情報

(a)
原画

マーカ

マーカの抽出においては実空間で副パターン抽出マスク
𝑀𝑀0 , 𝑀𝑀1（図21参照）を用い画像全体を走査して出力𝑈𝑈0 , 𝑈𝑈1 を得る．式(15)に示すように市松状の2つのマスクと埋め込み画像のconvolution （*で表記）が行われる．

（512×512）

(b)
拡大
画像

マーカ

(1.25)

𝑈𝑈0 = 𝑤𝑤(𝑥𝑥, 𝑦𝑦) ∗ 𝑀𝑀0(15)

𝑈𝑈1 = 𝑤𝑤(𝑥𝑥, 𝑦𝑦) ∗ 𝑀𝑀1（640×640）

続いて，係数αを用いて2値化の閾値𝑇𝑇ℎ1により式(16)の出力
(c)
拡大
回転

patternpatternspectrum

spectrum

輝点スペクトル

マーカ

(10度)

副パターン

主パターン

マーカパターン

図 22 マーカパターンを入れた透かし画像と抽出
Fig. 22 Images with embedded marker pattern
輝点スペクトル

𝑓𝑓𝑦𝑦

A
𝑓𝑓𝑚𝑚

マーカ

(b)合成前の2つのパターン(a)合成されたパターン

マーカ

図 20 主パターンと副パターンの合成マーカパターン(a)埋め込み画像

846x1024 gain=0.1875

Fig. 20 Marker pattern combined with main pattern andsub-pattern(b)スペクトル

Aの拡大

副パターン抽出用マスク
Ｍ0(c)マーカー

Ｍ1

識別器(d)補正画像 1024x1024

図 21 副パターン検出用マスクパターン𝑀𝑀0 , 𝑀𝑀1(e)抽出されたデータ

図 23 副パターン抽出用マスク

Fig. 21 Mask pattern 𝑀𝑀0 , 𝑀𝑀1 for detecting subpatternFig. 23 Watermark extraction results after various attacks

300

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

スペクトル

回転画像

(a)原画

(a) 回転画像とスペクトル画像
𝑝𝑝1

𝑝𝑝0

𝜃𝜃

(352x320)𝜃𝜃

Fig.26 Watermark for bi-level images:(a)original image, (b)watermark embedded image(gain=0.1875),(c)extracted spectrum (14 embedded characters are correctly extracted)(b)抽出 スペクトルから回転角のラフな計測

図 24 文字の埋め込み順とマーカ

この方法はパターンが小さく精度が悪いため，大雑把な回転角の補正を行い，マーカが検出できる範囲に補正した後，マFig.24 Character embedded structure and Markers

ーカを検出して高精度な補正画像を得ることができる．

マーカ(0)① ② ③ ④③④ ① ②マーカ(2)

マーカ(1)① ② ③④③ ④ ① ②

マーカの位置は画像に対して常に固定した位置に置く必

256画素
1文字目
2
３
４
５
６
７
８

要がある．図 25 にその一例を示す．1K×1K の画像に対して
32×32 のブロックで 32 文字を重複して埋め込む．クロッピン

256

256

256

1024

(c)

図 26 2 値画像への埋め込み：(a)原画、(b)埋め込み画像(gain=0.1875),(c)抽出スペクトル画像（埋め込まれた 14 文字を正答）

ヘッダー/マーカ𝜃𝜃(b)

グに対応するため①②③④の順に文字を埋め込み，周囲がクロッピングされた場合でも 32 文字が読み取れるように構成8文字する．図 23 はそのようにして埋め込んだものである．

マーカ(3)

誤りが生じるのは画像の空間周波数が高い領域で，局所的1024にまとまった個所に起こる．したがって，誤り訂正符号を入れてもバースト誤りのため修復は難しい．また，訂正符号自図 25 文字の埋め込み順とマーカの位置

身がエラーになることもある．そのため，重複して埋め込み，
Fig.25 Character embedded structure and markers

信頼度の高い情報を用いることにより抽出データの信頼度を

正確度が低下する．実験の結果，マーカの抽出は回転がない
場合，0.8 倍から 1.5 倍の変倍に対して可能であり，回転に対しては±10°以内で可能である．

向上できる．

7．2 値画像に対する評価
以上は多値画像における埋め込みであったが，線画やイラ

図 23 は，画像拡大，回転，クロッピングされた埋め込み
画像(a)からの抽出を行ったものである．(b)はそのスペクトル
画像で，ブロック同期が取れず埋め込み情報を正しく抽出でストのような白黒 2 値画像での評価実験も行った。2 値画像のコントラストが透かし画像のコントラストに比べ大きすぎるため，抽出時にヒストグラム・イコライゼーションを行う

きていない．(c）はマーカ抽出を行ったもので，位置が検出でことが効果的で，図 26 に示すように，多値画像と同じようにきている．この 2 つのマーカの位置情報から，回転/変倍/クロ抽出が可能であった．しかしながら，背景の白領域にかぶりッピング前の四端位置を簡単に求めることができる．その結果，6.1 で述べたように射影変換にて補正画像を求めることができる．(d)は補正画像で，元の画像の四端が検出され，(e)にが生じること，埋め込まれた画像を再 2 値化することにより透かし情報は完全に消失してしまうなどの問題がある．このため，さらに改善が必要で今後の課題とする．

示すようにブロック同期した抽出ができ，埋め込んだ 32 文字

8．まとめが正しく抽出できた．
回転角の大きな画像に対しては，スペクトル形状からの概以上，グリーンノイズ拡散法による印刷耐性を有す不可視

略の回転角を検出することが可能である．図 24 は回転画像ので可逆の電子透かし法を提案した．通常，印刷耐性を得るため

スペクトルからの回転角の計測を示す．𝜃𝜃回転した画像のには透かし強度を大きくして埋める必要があり，画質劣化が生

Fourier スペクトルは，同様に𝜃𝜃回転する．変倍・回転画像からじる．グリーンノイズパターンは分散性がよく，視覚系では低のスペクトルは，どこかのブロックで同期が合う個所があり，い応答性を示すため，強く埋め込んでも視覚的には高画質が保同図(b)のようにして，回転角𝜃𝜃を計測できる．しかしながら，たれる．著作権保護として利用する場合，𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 ≧0.1875以上で301

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

印刷物から透かし情報が安定して抽出できた．また，鍵により透かしの除去と再埋め込みが可能である．この鍵は画像ごとに変更することにより，盗難時も安全性は保たれる．

琉球大学工学部紀要, 2008.
15) 辻正博，長谷川まどか，加藤茂夫：“ウェーブレット変換を利用した可逆電子透かし方式の一提案”，画像電子学会誌，Vol.36, No.6,

Annotationでの利用形態では，埋め込み時の信頼度を高くし，𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔と平滑化の自動調整により強靭な透かしを埋め込むこと

pp.876–882 (2007).
16) Y. AL-Nabhani, H. A. Jalab, A. Wahid, R. M. Noor; “Robust

により，抽出時の信頼度を向上できる．デジタルカメラによる

Watermarking Algorithm for Digital Images Using Discrete Wavelet and透かし抽出では，𝑔𝑔𝑔𝑔𝑔𝑔𝑔𝑔 ≧0.25で照明むら等に影響されずに透かProbabilistic Neural Network, Journal of King Saud University -し抽出ができた．

また，本手法は実空間での埋め込みのため，高速で動画のリアルタイム埋め込みも可能であり，応用範囲はさらに広がるものと思われる．

Computer and Information Sciences, Volume 27, Issue 4, pp.393–401(2015).
17) I. J. Cox, J. Kilian, T. Leighton and T. Shamoon: “Secure Spread
Spectrum Watermarking for Multimedia”, IEEE Trans. on Image
Processing, Vol.6, No.12, pp.1673–1687 (1997).

参考文献

18) R. P. Dooley; “Prediction Brightness Appearance at Edges Using Linear
1) 中村康弘,松井甲子雄：“濃度パターンを用いた濃淡画像とテキス
トデータの合成符号化法”，
電子情報通信学会論文誌 B, J70-B, 12,
pp.1475–1481 (1987).

and Non-Linear Visual Describing Functions”, SPSE Annual Meeting(1975).
19) 河村尚登：“デジタルカラープリンタの階調再現”，画像電子学会

2) 北村拓雄，中静真：“ブロック誤差拡散法による 2 値画像へのデータ埋め込み”，画像電子学会誌, Vol.31, No.4, pp.584–593 (2002).

誌，Vol.43, No.1, pp.91–107 (2014).
20) H. Tao, L. Chongmin, J.M. Zain, A. N. Abdalla: “Robust Image

3) 特開 2016-63263

Watermarking Theories and Techniques: A Review”, Journal of Applied

4) N. Kawamura：“Digital Halftoning by Stochastic Dither Screen Mask

Research and Technology, Vol. 12, pp. 122–138 (2014).

Representing Green to Blue Noise Characteristics”, IIEEJ Trans. on IEVC,
Vol.5, No.1, pp.34–41 (2017).

21) 栗林稔：“電子透かし”，映像情報メディア学会誌，Vol.70, No.1,
pp.135–141 (2016).

5) 水本匡，松井甲子雄；“DCT を用いた電子透かしの印刷取り込み耐

22) K. Iwamura, M.Kawamura, M. Kuribayashi, M. Iwata, H. Kang, S.

性の検討”, 電子情報通信学会誌 A, Vol. J85-A, No.4, pp.451–459

Gohshi, A. Nishimura: “Information(2002).

Evaluation”, IEICE Trans. on Inf. & Syst., Vol.E100-D, No.1, pp.2–12

6) 伏屋誠人，和田直哉，村上仁己，小池淳：“DCT を用いた電子透かし手法の電力分布と埋め込み位置の関係性”，2013 年映像情報メディア学会年次大会，17-6 (2013).

Hiding and Its Criteria for(2017).
23) 小松尚久，田中賢一監修 画像電子学会編：電子透かし技術 デ
ジタルコンテンツのセキュリティ，東京電機大学出版局 (2014).

7) 原田裕貴，折居英章，河野英昭，前田博，生駒哲一：“印刷物にお24) 山口和彦，岩村恵一，今井秀樹：“誤り訂正符号を用いたアルゴリ

けるパターン検出を用いた多重情報埋め込み”，27th Fuzzy System

ズム公開型電子透かし”，暗号と情報セキュリティシンポジウム

Symposium WE1-1 (2011).

講演論文集，pp.713–718, January (1999).

8) 柴田且崇，沢田克敏，中村栄治：“DCT および VQ を用いた画像
電子透かし”，愛知工業大学研究報告 第 47 号 平成 24 年 (2012).

（2018 年 9 月 30 日受付）

9) 小甲啓隆，宮岡伸一郎：“電子透かしの印刷取り込みにおけるビッ（2019 年 1 月 18 日再受付）

ト検出閾値の自動決定手法”，電子情報通信学会技術研究報告 :SIS2011-55（2012）.

河村 尚登

10) 小野 束，江川雄毅；“印刷耐性のある電子透かし方式の検討”,情報処理学会論文誌，Vol.45, No.3, pp.880–890 (2004).
11) 渡邉淳，長谷川まどか，加藤茂夫：“著作権保護と改ざん検知を同時に実現する電子透かし方式”, 画像電子学会誌, Vol.33, No.5,
pp.756–764 (2004).
12) A. P. Singh, A. Mishra : “Wavelet Based Watermarking on Digital Image”,
Indian Journal of Computer Science and Engineering, Vol.1, No. 2,
pp.86z–91 (2011).
13) P. Sharma, S. Swami: “Digital Image Watermarking Using 3 level Discrete
Wavelet Transform”, Conference on Advances in Communication andControl Systems 2013(CAC2S2013) (2013).
14) 屋良朝心，山城毅：“Wavelet変換を用いたカラー画像電子透かし”，

302（フェロー）

1971 年九州大学理学部物理学科大学院修士課
程修了．同年，キヤノン(株)入社．光学設計，
カラーレーザ複写機，カラープリンタの開発，
画像処理，画像符号化などの研究開発に従事．
1990-1996 年，キヤノン豪州研究会社（CISRA）
取締役．現在カワムラ・テクノラボ．工学博士．
映像情報メディア学会，日本画像学会各会員．
本学会フェロー，編集委員．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
IIEEJ

☠ᄚ
歌声と楽曲構造を入力とした歌唱時の表情アニメーション自動生成手法
加 藤 卓 哉†深 山
森 島 繁 生†（正会員）覚††中 野 倫 靖††後 藤 真 孝††† 早稲田大学 , †† 産業技術総合研究所

Singing Facial Animation Synthesis Using Singing Voice andMusical Information
Takuya KATO† , Satoru FUKAYAMA†† , Tomoyasu NAKANO†† , Masataka GOTO†† ,Shigeo MORISHIMA† (Member)† Waseda University , †† National Institute of Advanced Industrial Science and Technology (AIST)〈あらまし〉 3DCG スピーチアニメーションにおいて，口形と同程度に口形以外の表情や顔の回転はキャラクタの印象を大きく左右する．特に歌唱アニメーションでは，口形の動きや顔の回転が心理学的にも重要であることが知られており，その制作には多大な労力がかけられている．そのため簡易な入力から歌唱時の表情や頭部回転情報を推定する技術が求められている．本論文では，歌声から歌唱時の口形情報を推定し，歌声情報と楽曲情報と共に入力とすることで，目周辺の動作や頭部回転情報を自動生成する手法を提案する．歌声の音響特徴，歌唱者の口形などの表情
特徴，ビートやメロディーなどの楽曲が持つ楽曲の特徴を入力として用いて，時系列データの学習に適した機械学習手法による表情パラメータの生成モデルを構築した．本論文の有効性を示すために，正解データとの精度評価に加えて，学習する歌唱者の違いや，学習する楽曲の違いなどに応じて生成された異なる表情アニメーションについて主観評価実験を行った．
キーワード：表情アニメーション, 歌唱アニメーション, スピーチアニメーション, 深層学習

<Summary> In three-dimensional computer-graphics speech animation, head rotations and facial features other than mouth motions are considered to be equally important as mouth motions. Such motions
especially in singing animation is known to aﬀect the impression of the viewers and requires a huge amountof work by hand when creating them. Therefore, there is high demands in creating such animation withavailable inputs. In this work, we present singing animation synthesis method with the information associated with the song. Using singing voice, musical information and the mouth motion estimated from thesinging voice as input, the proposed method can automatically create realistic head motion and expressions
around eyes. We have conducted the numerical evaluation as well as subjective evaluation on the naturalness
and the synchronization to the singing voice and song to show the eﬀectiveness of our method.
Keywords: facial animation, singing animation, speech animation, deep learning

1.

メーションを作成する．その後，その口形に適した表情や頭はじめに

部回転情報を付与することによって表情アニメーションを作

3DCG キャラクタアニメーションの制作過程において，キャ成する．音声と合ったリップシンクアニメーションはもちろ

ラクタの表情作成はキャラクタの印象を大きく左右するためん，口形や印象に適した口以外の表情の作成や頭部回転の様非常に重要である．発話動作を含む表情アニメーションであ子の作成は，キャラクタにより豊かな表現を加えることがでるスピーチアニメーションでは，一般的に二段階の制作過程

きるため，アニメーターは多大な労力を費やす．こうした背を踏んで作成される．まず発話内容に適した口形をキーフ

景から，音声情報のみからリップシンクアニメーションを作

レーム単位で作成し，その後キーフレームにおいて設定さ成する技術に代表されるような，簡易な入力によるスピーチ

れた表情アニメーションを補間することでリップシンクアニ

アニメーション制作技術が求められている1)．

303

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

スピーチアニメーションの中でも特殊な例として，歌唱時の表情アニメーションがある．歌唱アニメーションは，ミュー
ジカル映画やアニメなどで非常に多く用いられるなど高い需たデータ圧縮を行うことで，より効率的な学習結果を実現した．

要がある．こうした歌唱時の表情アニメーションは，スピー• ビート情報や音高情報など，楽曲に依存性が高いパラ

チ時の動作と大きく異なり特徴的な動きを持つ．例えば，スメータを音声などの個人性に依存するパラメータと組み

ピーチアニメーションでは，口形はスピーチ内容に対応する

合わせることにより，より精度の高い歌唱アニメーショ

が，口以外のアニメーションについては感情などに応じて若ンの生成に成功した．

干変化する程度で，大きくは変化しない．そのため，音声のみ

2.

の入力からスピーチアニメーションを作成する手法では，新たな映像を作成する場合でも，同一キャラクタのアイドリン
グ時の表情や他のスピーチ時の表情アニメーションを再利用することができる．一方，歌唱時においては，口形はスピー
チ同様に歌詞に応じて変化するが，口以外の部位も，歌い方，歌声の音量，リズムなど様々な要素の組み合わせに応じて変化する．さらに，こうした変化は個人に大きく依存するため，音量などの一般的なパラメータで汎化することは難しく，個人に特化した歌唱時の特徴を付与する必要がある．こうした場合，他の楽曲の歌唱時のアニメーションをそのまま再利用することは適切ではない．そのため，個人に特化した歌唱時

関連研究

表情アニメーション作成技術の裾野は広く，顔形状モデリング2)，表情アニメーション生成3)，テクスチャ生成4)，スピー
チアニメーション生成5)など様々な研究がなされている．近年では，モバイル端末などからも取得可能な簡易なデータを入力として，顔に関する様々な要素を自動生成する研究が提案されている6)．こうした背景には，深層学習を用いた研究の発展がある．顔のモデリングや顔のテクスチャ生成技術7)，
顔画像生成技術8)などには，畳み込みニューラルネットと呼ばれる学習モデルがその性能の高さから多用されている．

の表情アニメーションを作成するためには他のスピーチアニ

2.1 深層学習を用いた表情アニメーション

メーション生成手法とは異なる方法を取る必要がある．

表情アニメーション生成のために，再帰型ニューラルネッ

こうした背景から本論文では，歌声情報と楽曲情報，及びトワーク (以降，RNN) と呼ばれる時系列データの学習が可能

それに基づき推定される情報から歌唱時の表情アニメーショな深層学習手法の有効性が示されてきた9)．RNN:Recurrent

ンを自動生成する手法を提案する．本手法では，歌唱時に特Neural Network は自然言語処理などに用いられる連続的な化した表情アニメーションを作成するために，スピーチアニ

情報を入力とできる深層学習モデルで，時系列に対して連続的メーション生成手法で用いられている歌声情報に加え，楽曲なデータの学習等に多く用いられてる．中でも LSTM(Long-

情報と歌声情報から推定された口形情報を加えることで，歌

Short Term Memory)10)と呼ばれる深層学習モデルは多くの唱時の表情パラメータや頭部回転情報を推定する．歌唱時の研究において高い学習精度が得られており，様々な分野に用動作が楽曲への依存性が高いことに着目し，歌唱時の頭部回いられている．

転情報と相関が高い歌唱時の音量，音響特徴量に加えて，楽時系列に対して連続的なデータを学習できる点は，表情や曲から推定されたリズムやメロディーの情報を採用する．更口形を推定する研究において非常に親和性が高い．そのために，歌詞に応じて変化する口形情報を歌声から推定し，入力

近年提案されている 3DCG1)，動画とそれぞれのスピーチア

データに加える．これらのデータを時系列として取り扱えるニメーション自動生成技術の研究11)において，LSTM を用い

深層学習モデルに学習させることで，歌声情報のみでは困難る手法が多数提案されている．音声から 3DCG キャラクタのであった歌唱時の表情アニメーションの生成を可能とした． 口形を推定するスピーチアニメーション生成手法1)では，音提案手法で用いた歌声情報と楽曲情報はどちらも容易に入手

声情報を音量特徴量として入力し，口形や舌の動きを推定す

可能な情報であることから，提案手法は汎用性が高い．本論る研究が提案されている．この研究では，スピーチアニメー

文では，提案手法を用いて得られた結果を測定データとの定ションの口形のみを推定することに特化しており，口以外の量評価を行うほか，生成結果の自然さ，歌唱者ごとに固有のアニメーションを生成する方法は検討されていない．音声かアニメーションが学習できているかを主観評価実験によってらスピーチ動画を作成する手法12)では，同様に音量や音楽特検証する．これにより，入力パラメータの妥当性や生成結果

徴量を LSTM の入力として利用して口形を推定し，その口形の安定性などについて議論を行う．

に合った表情の画像を生成することで，スピーチ動画を自動

本論文の成果を次に述べる．

生成することができる．この手法では，高精細な動画を作成• 歌声と楽曲のみから得られる情報を入力データとし，従することができる一方，口以外の表情については膨大なデー来は困難だった，歌唱時に特化した表情アニメーション

タセットから適切な表情を選択し再利用している．そのため，学習には大量のデータセットが必要であると同時に，歌声やの生成を可能にした．

楽曲特徴などに相関が強くあると考えられる歌唱時のこの手• 歌唱時の表情アニメーションを頻出するパターンに適し304

法を表情アニメーションに使用することはできない．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

2.2 音楽に合わせたアニメーション生成が考えられる．

音楽に合わせたキャラクタの動きに注目した研究も提案さそこで本論文では，楽曲に依存する動きの推定に有用であれている．特に，音楽と相関が強いダンスのモーション生成

ると考えられる楽曲特徴，そして詳細な表情推定の推定に有技術においては，音楽特徴と動きの相関に着目して，様々な用であると考えられる口形情報を入力として加えることを考手法が提案されている13),14)． 音楽特徴量やリズム，音高，楽える．楽曲情報には，ビートや譜面の音高情報など，歌唱しな曲構造など楽曲固有の特徴を用いることで，より正確にキャい部分にも存在する特徴がある．このような楽曲特徴は，歌15)

ラクタの動作生成を可能とする研究が提案されている．こ

声が存在しない箇所でビートに合わせてリズムを取る動きや，うした手法から着想を得て，本論文では楽曲特有の特徴に着歌唱者が本来の譜面からどのくらいずれているかなど，動作目し，推定時の入力パラメータとして採用した．

推定につながるような特徴を表現することができると考えら

3.

歌唱時の表情・頭の動きと歌声・楽曲との関係性れる．また，歌声のみからでは表情の推定が困難と考えられるが，表情は複数の表情筋の相互作用により作り出されるこ

歌唱時における表情や頭の動きについては，様々な研究がとが知られているため，歌声情報から部分的にでも表情筋のなされており，強い相関があることが知られている16)． 本

動きを推定できればその部位と相関の強い表情パラメータを章では，次章以降の手法の裏付けとなる，歌唱時における表

推定することができると考えられる．表情合成の研究の多く

情や頭の動きと歌声・音楽との関係性について述べる．

ではこの特徴に着目して，表情の次元圧縮を行う手法19)が提歌唱時における表情と頭部の動きについては，音高と頭部

案されるなど，その有効性が示されている．そこで，スピーの動きに相関があることが知られている．心理学の分野におチアニメーションなどで成功を収めている音声から推定されいて，歌唱時の表情や頭の動きの様子から音高を言い当てる

る口形情報に着目した．口形も重要な表情の一部であり，口17)実験などが報告されている． 顔にモーションキャプチャ

形の変化強度や開け方などの特徴から他の表情筋がどのようマーカを貼り付け，その動きを見て評価者が感じた歌声の音に作用しているかを推定することができると考えられる．こ

高を調査した結果，表情の動きから近しい音高を推定できたのように，口形情報を加えることにより，歌声のみでは欠損ことが報告されている．また，同様の動画に対して，顔の領するような箇所を楽曲情報で補間したり，より高次の情報を

域を黒塗りにした顔動画から声の音高を言い当てる実験にお付与することができるという仮説を立てた．本論文では，こいても，言い当てた歌声の音高と頭の動きに相関があることの仮説を実証するために，これらの情報を同じ深層学習ネッ

18)が報告されている．こうした実験から，歌唱時の頭部の動トワークに学習させた結果を比較することで，使用した情報

きは，歌声の特徴と強い関連性があることがわかる．さらにが推定結果にどのような影響を与えるかを検証し，歌唱時の歌唱者を鑑賞する側の視点を考えると，歌唱と動作を関連付

動作と相関が高い特徴が何なのかを議論していく．

けて観察していることがわかる．こうした事実から，歌声の4.

特徴に合った表情や頭部の動きを再現することの重要性が確認できると共に，歌声の特徴から表情や頭部の動きを推定することには十分な妥当性があると考えられる．
一方で，Thompson らの研究18)から，歌声のみからの表情
及び頭部回転情報の推定にはいくつかの懸念事項があることがわかる．歌声からのみの歌唱アニメーションの推定を考えるとき，歌声が存在するフレームでは動作を推定できると考えられるが，楽曲中で歌唱者が発声しない箇所も存在する．
発声しない箇所では，多くの歌唱者はリズムに合わせて動いたり，発声の前後の準備動作など，発声こそしないものの歌

提案手法

本章では，歌唱時の口以外の表情と頭部回転情報を生成す
る手法について詳細に述べる．前章での仮説を踏まえて，入力として用いる歌声情報，楽曲情報，口形情報について述べる．次に，出力対象である頭部回転情報や口以外の表情などの取得方法について述べる．最後に，これらを用いた表情推定手法として，フレーム単位の時系列データに適した機械学
習アルゴリズムである LSTM を用いた表情及び頭部回転情報に関する推定手法について述べる．提案手法の概要図を図 1に示す．

唱時特有の動きを行う場合がある．しかし歌声のみが入力である場合，その箇所にはほとんど情報がないため，適切な動18)4.1 データセットの構築作の推定が困難となると考えられる．また，Thompson ら

近年の表情推定技術の向上により，動画などからの表情やの実験より，歌声と相関が強いのは頭部回転情報であること

頭部回転情報の推定は比較的容易になってきた．本論文では，がわかっている．一方で，それは表情が見えなくても頭部の歌唱時の表情を動画から推定したものを学習データとして，

回転情報から音高を推定できるということでもあり，本論文

機械学習を用いた表情生成手法を提案する．ここで，機械学の目的の一つである歌唱時の表情の推定において歌声だけで習による生成手法を用いる際に重要となる，データセットのは情報として十分ではない可能性があると考えられる．この構築について検討する．機械学習の学習効率を高めるためにように，歌声のみの入力では，無声時などの楽曲情報のみに

は，入力データを出力データと相関の高いデータに変換する

依存するような動きの推定や，表情の推定に課題があること必要がある．本節では，入力データとなる歌声情報，楽曲情305

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 1 提案手法の概要図
Fig. 1 Overview of our proposed methods

報，口形情報をより意味のある特徴量に変換する方法につい

本論文では，容易に取得可能な楽曲情報として，Goto ら20)て述べる．また出力となる表情データと頭部回転情報のデーの能動的音楽鑑賞サービス「Songle」の解析結果を用いた．

タセット構築について述べる．

解析結果には様々な情報が含まれるが，その中で本手法では，

4.1.1 歌声情報

ユーザによって訂正済みのメロディー，拍情報を用いる．メ

まず歌声単独の音響信号から得られる入力情報について述

ロディーは，歌唱する元となるメロディーの音高情報である．

べる．本手法では，楽曲を含まない歌声のみの音響信号を予同様の特徴は歌声情報からも推定可能であると考えられるが，め用意し，入力として使用する．歌声には，歌詞のほかに， 歌唱者に応じて本来の拍から少し外したタイミングで発声す
歌唱者の歌唱特徴の違いが内包されている．具体的には，音る『タメ』等の表現を用いていることがあり，それらの情報

量や発声の音響的特徴などが含まれている．前章の心理実験

は時系列的に観察すると少しずつ異なる．そこで本論文では，をもとに考えると，こうした情報は頭部回転情報を推定する

歌声の音響特徴とは別に，メロディーの基本周波数の実数値ために有用な情報であると考えられる．そこで，本論文では， を各フレームにおける 1 次元の特徴量として加え，時系列

Zhou ら1)のスピーチアニメーション生成手法などで使用さデータとした．拍情報は，一定間隔で周期的に各小節ごとにれている特徴量を用いる．スピーチアニメーションの口形推刻まれるリズムの情報である．拍情報を用いることで，拍に定時に関する研究では音量と音響特徴量の 2 つが広く用いら応じた歌唱動作の変化を考慮することができると考えられる．

れる．音量は，波形振幅の二乗平均を 1 次元の特徴量として

また，拍は発声していない箇所においても特徴が存在するた

用いた．音響特徴量は，音声言語情報処理分野において音声

め，発声していない歌唱区間での動作の推定に対しても有用

認識や音色の解析などに広く用いられるメル周波数ケプストであると考えられる．拍情報は，小節内の拍番号の整数値を

ラム係数 (以降，MFCC) を，13 次元の特徴量として用いた． 各フレームにおける 1 次元の特徴量として加え，時系列デー

MFCC は声道特性を表す音響特徴量であり，同様の特徴をタとした．小節内の拍番号とは，小節の先頭を 0 として拍ご持つケプストラムとは異なり，人間の音声知覚を考慮していとに 1 増える整数値であり，例えば 4/4 小節の楽曲の場合にる特徴量である．さらに音量と MFCC のそれぞれの特徴のは，0, 1, 2, 3 のいずれかの値になる．1 拍が 2 フレームに相時間的変化の情報を持たせるために，これらを 1 階微分，2当する場合には，0, 0, 1, 1, 2, 2, 3, 3, 0, 0, 1, 1, . . . のよう階微分した結果も特徴量として用いられることが多い．そこな時系列データとなる．

で本論文においても，音量 (1 次元) と MFCC(13 次元) に，

4.1.3 口形情報の取得

それぞれの時間方向への 1 階微分，2 階微分した結果も歌声

本論文では歌声情報と楽曲情報のみを入力として用いる．

の特徴量として加え合計 42(=(1+13) × 3) 次元の特徴量をそこで，音声のみから推定可能な口形情報として Zhou らの使用する．これらの特徴量を各フレームにおいて取得するこ

手法1)によって推定された口形情報を用いる．この手法では，とで，時系列データとした．

口形素 (Viseme) と呼ばれる単語を読み上げる際の顔や口の4.1.2 楽曲情報

位置を表す音声の基本的な視覚的な特徴を推定する．口形素

楽曲情報は，歌声情報からは解析が困難な楽曲についてのの特徴は，音としては異なるが視覚的には同一の音素を同じ情報を持つ．歌唱者が発声しない箇所での特徴や，歌唱者のものとして扱うことである．これにより，音声そのものに存違いに依存しない特徴など，楽曲が持つ楽曲固有の情報など在しないような，口の動かし方の特徴を表現することができを含むため，より楽曲そのものの特徴を表現することができる．口形素は口の動かし方が似ている場合は使用する表情筋

る．こうした特徴は，発声タイミングや拍に合わせた動きなも同様であることから，本手法の入力として用いることで，ど様々な情報の推定に有用であると考えれられる．

歌声情報が持たない表情変化の特徴を捉えることができる．

306

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

Zhou らの手法1)では，口形素の特徴を表す 22 次元の特徴量

転情報を推定する．前述の通り，入力データと出力データはを推定する．この特徴量には，口形素の強度特徴，口形素のそれぞれ時系列的に変化し，それぞれが時系列方向に相関が間のつながりに関する特徴，顎と唇の使い方に関する特徴が強いデータである．こうした時系列データの入出力に対して含まれており，視覚的な類似度が計算される．本論文ではこ高い推定性能を持つ深層学習手法として，LSTM が提案されの 22 次元の特徴量をフレーム単位で計測し，入力情報としている．本章では，LSTM の概要について述べ，その後本論て採用した．

文で用いたネットワークや学習時に行った前処理について述
べる．

4.1.4 表情・頭部回転情報の取得
本論文の目的は，歌唱時の口以外の表情や頭部回転情報の4.2.1 LSTM

表情アニメーションを生成することである．表情アニメーショ

LSTM とは，時系列データの学習として多く用いられるンの作成方法にはリグベース，ボーンベース，マッスルベー

RNN の一種である．RNN とは，ニューラルネットワークのスなど様々なものが存在する．中でも，表情モデルの操作で中間層の出力値を次のデータを学習する際の入力とすることはブレンドシェイプアニメーションと呼ばれる手法を採用しで，時系列データを学習させるモデルである．一方，一般的なた．ブレンドシェイプアニメーションとは，同じトポロジーを

RNN では，勾配消失や勾配爆発といった問題が発生すること持つ複数の異なる基底表情を重み付き線形和によって対応すから，学習が難しいという問題があった． こうした問題を解る各頂点位置を決定することで，表情を変形させるアニメー

決するために開発されたのが LSTM10)である．LSTM は，こ21)

ション制作手法である．近年でも多くの研究やアプリケー

うした問題を人間の短期記憶と長期記憶を模倣した機構で解ションにおいて広く用いられており，一般的かつ汎用的な表決したモデルである．入力ゲート，出力ゲート，忘却ゲートと情モデル制作手法として用いられている．

いう内部の機構を採用することで，入力情報から必要な情報

本研究では，51 個の基底表情モデルで表現されたブレンドを取捨選択しながら学習することで，時系列データにおいてモデルを使用し，各フレームでの基底表情の重み係数を表情も勾配消失が起きにくく，高い精度の学習を可能としている．

データとした．学習データにおける基底表情の重み係数の推近年，多くの時系列データの学習において採用されており，高定には，2 次元顔特徴点と 3 次元顔形状推定を併用した表情

い学習性能を上げている．本論文では，Suwajanakorn12)ら

22)

推定手法

を用いた．人物が歌唱する動画に対して，この手が用いた LSTM のネットワークを参考に LSTM ネットワー

法を適用することで得られた基底表情のフレーム毎の 51 個クを構築した．本論文では彼らの手法と比較すると入出力のの重み係数の中から，口以外の部位を動かす基底表情である

次元数が大きいことから，本論文で用いたネットワークは 3

19 種類の基底表情の重み係数を出力データとして用いる．ま層の一方向 LSTM (Undirectional LSTM) を用いた．最適

た，基底表情の重み係数推定時に同時に計測可能である，3化には Adam を用い，最終層の活性化層には 双曲線関数で軸の頭部回転情報も出力データとして用いる．

あるハイパボリックタンジェントを用い，損失関数として正4.1.5 入力データと出力データの作成

解データとの L2 ノルムを用いた．

以上のように作成された歌声情報，楽曲情報，口形情報，
口形以外の表情の重み係数，頭部回転情報は，フレームレー
トや値域がそれぞれ異なる．そこで，フレームレートや値域を正規化した上で，入力と出力とする．歌声情報，楽曲情報，
口形情報については，それぞれ特徴のサンプリングレートを表情データと同じサンプリングレートに統一することで，同じ長さの時系列データとした．また，それぞれのデータは，個々のデータの最大値，最小値によって 0 から 1 までの数値に正規化を行った．入力データは前述の通り，フレーム毎に音響情報の合計 39 次元，音量情報の合計 3 次元，楽曲情報の合計 3 次元，口形情報は合計 22 次元の特徴を用いた．出
力データは，口以外の表情の重み係数は合計 19 次元，頭部回転情報は合計 3 次元のデータとした．以上のデータ，つまり，入力が合計 67 次元，出力が合計 22 次元のデータを各フレーム毎に計測時間分取得し，時系列データとして用いる．

4.2.2 歌唱特徴に着目した次元圧縮を用いた学習法
本論文では，出力として表情パラメータと頭部回転情報を用いる．こうしたデータをそのまま出力とすることは可能であるが学習効率が非常に低い結果が得られた．これは出力する表情パラメータの次元数が大きく，効率的な学習にならないことが大きな要因であると考えられる．この問題を解決するため，本論文では表情の歌唱と表情に着目した次元圧縮法を用いることで，効率的な学習を行う．歌唱時の表情に着目
すると，音の高さ，楽曲構造など様々な要素で表情が変化す
るが，類似性の高い歌唱区間では類似性の高い表情や頭部回転を行うことが知られている23)．また，多くの楽曲は繰り返
し構造を持っており，繰り返し類似する表現が現れることも同様に知られている．また表情には左右対称性が多く存在す
ることが知られており24)，左右の同様の部位 (目や頬など) が同じタイミングで動くという特徴が多くみられる．このよう

4.2 LSTM による歌唱アニメーション推定手法に，歌唱区間の類似傾向に応じて出力パラメータの類似性が本論文では，深層学習を用いることで，入力となる歌声やみられることから，より効率的な学習のため次元圧縮法の適楽曲の情報から，歌唱時における表情パラメータ及び頭部回307用を検討した．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

そこで本論文では，個人に応じて基底表情や基底動作は異なり，楽曲が変化しても，基底動作は変わらずその重み係数の時系列データのみが変化すると仮定した．前述の通り，歌唱時における表情変化は音の高さや音量などに起因することから，その際の基底表情は楽曲には依存せず，その出現頻度のみが変化するものと考えられる．そこで，学習前に個人における基底表情を推定し，それらの表情のフレーム毎の重み係数を時系列データとして表現し，これを学習時の出力として扱うことを考える．
このような表現が可能な次元圧縮法として知られているのが非負値行列因子分解 (以下，NMF) である．NMF は非負値のデータを加法的な構成成分に分解することができる多量解析手法である25)．NMF では，加法性が成り立つような量に対して，観測ベクトルが複数の基底ベクトルの重み付き和として表現されると考え，観測されるベクトルを最も良く説明するような基底ベクトルと重み係数として推定することを目的としている．NMF は，音声データや画像データなどの非負値の時系列データの分析法・次元圧縮法として様々な研究に用いられている．
本論文では，出力となる表情パラメータの時系列データを

2 次元行列とみなし，NMF を適用して基底ベクトルと重み係数として行列分解する．前述の通り，表情パラメータは，

図2基底となる表情データの重み付き線形和として表現すること

Fig. 2 The ﬂow of the expression parameter and headrotation estimation using LSTMができ，またその表情データは全て非負値であることから，

LSTM を用いた表情パラメータ及び頭部回転情報の推定の概要図

NMF との親和性が高い．NMF を用いることで，頻出する表情からなる基底と，その重み係数の時系列データとして表によって次元圧縮を施した時系列分の重み係数を出力として，現することができる．いま，表情パラメータからなる M 次

LSTM の学習を行う．楽曲情報が解析済みであった場合，テM元ベクトルの n 番目の時間フレームにおける値を xn ∈ R+

ストでは歌声のデータから歌声情報と口形情報を推定し，そと表す．また，このベクトルを計測時間分 (n = 1, . . . , N )れらを学習済みの LSTM モデルに入れることによって，新集めて得られるデータ行列を X = [x1 , . . . , xN ] とする．こたな歌唱時の表情アニメーションを作成する．提案手法で用のときデータ行列 X に対して，

いた，LSTM を用いた動作推定手法の概要図を図 2 に示す．

X = HWT

(1)

5.

結

果

×K
となるような 2 つの非負値行列 H = [h1 , . . . , hK ] ∈ RM+

本章では，提案手法によって作成された表情アニメーショ

×Kと W = [w1 , . . . , wK ] ∈ RNの積によって低ランク近似+

ンについて述べる．初めに結果を作成するために使用した環N(K < M ) を行う．ここで，hk ∈ RM
+ と wk ∈ R+ はそれぞ

境等について述べ，その後生成されたアニメーションを示す．

れ，基底を表すベクトルと重み係数を表すベクトルである．

本実験では，音楽スタジオで録音・録画した 3 名の日本人

このときの W を今回の出力の時系列データとして採用する． 女性の歌唱者が日本語で歌った音声・表情を，歌声データとなお，本論文では NMF を行う際の誤差評価尺度として KL

表情データとして用いた．それぞれの歌唱者がポピュラー音

ダイバージェンスを用い，K = 7 とした．

楽の楽曲を 2 曲歌唱した際の歌声と表情が，音響信号および本学習により出力されるのは，NMF の重み係数の時系列

映像 (動画) として記録されている．その後，撮影した動画にデータである．そのため，実際にアニメーションとして出力

対して，表情と頭部回転情報を推定した．歌声情報についてするためには，元の表情パラメータに再変換する必要がある． は，歌声のみを録音し，4.1.1 項で述べた音響特徴量を抽出
これは NMF によって生成された基底を表す行列と出力されした．また，それぞれの楽曲について，手動で作成されたメた重み係数の時系列データを掛け合わせることによって，表ロディー情報，拍情報を用意し，入力の楽曲情報として用い

情パラメータに再変換することで可能となる．その結果得らた．同一の歌唱者から取得された 1 曲分の歌唱データを学習

れた表情パラメータは，元の 22 次元の表情パラメータとなる． データ，もう片方の曲の歌唱データをテストデータとして結このように，歌声情報，楽曲情報，口形情報を入力，NMF

308

果を生成した．別の曲の歌唱情報から歌唱時の動作特徴を学The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

図 3 正解画像と，提案手法，歌声・音楽情報のみの手法，歌声情報のみの手法から作成された画像
Fig. 3 Comparison between the video from dataset, proposed method, proposed method without mouth shapefeature, and proposed method without mouth shape feature and music feature

習し，ある楽曲によって観測された歌唱者の歌唱時の動作特算には，NVIDIA 製の GPU である GeForce 1080 Ti を用徴をモデル化する．この学習済みモデルを用いて，同一の歌

い，1 曲分の学習時間は平均 13 分 21 秒であった．

唱者が別の曲を歌った際の表情アニメーションをテストデー

図 3 に，生成された歌唱動作を顔モデルに適用したもの

タの歌唱情報と楽曲情報と口形情報を用いて生成する．実際と，計測された表情データとの比較結果を示す．また，同様に計測されたテストデータと出力されたそれぞれの表情の重の LSTM のモデルに対して，歌声情報のみを入力としたもみ係数と頭部回転情報を比較することで，学習された歌唱者の，歌声情報と楽曲情報を入力したものについても結果を作の動作特徴がどれほど良くモデル化できているかを検証する． 成し，同じフレームでの表情を並べて示す．表情に着目する
出力データは NMF を用いて 7 次元の出力データに変換と，計測時の表情で目を閉じたり，眉付近に力をいれたりしされたものを使用し，バッチサイズを 200，LSTM のルックている箇所において，歌声情報，歌声情報と楽曲情報を用い

バックフレーム数を 20 フレーム，LSTM の隠れ層の数を 64， て生成されたものを比較すると，口形情報を加えた提案手法
学習エポック数を 200 エポックと設定して学習を行った．計309が最も近い表情をとっていた．また，頭部回転情報に着目すThe Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

表 1 計測データとの二乗誤差平均の数値評価結果
Table 1 Quantitative evaluation using diﬀerent input
入力パラメータ
全データ
A
B
歌声情報＋楽曲情報＋口形情報 (NMF)
81.93
83.24
80.71
歌声情報＋楽曲情報＋口形情報 (次元圧縮なし)
102.54 105.62 102.43
歌声情報＋楽曲情報
88.88
90.42
89.11
歌声情報
90.77
94.15
88.23

C
80.84
99.57
87.11
89.93

ると，計測時の画像では顔を大きく動かして歌唱していたが，歌声情報のみと歌声情報と楽曲情報を入力にして生成された
結果では動きが小さい．口形情報を加えた提案手法では，計測時の画像と同様に大きく顔が回転している様子が生成でき
ていた．

6.

評

価

本章では，提案手法によって作成された表情アニメーショ
ンについての考察を述べる．提案手法の有効性を示すために，
数値的な精度評価として，計測された表情データとの数値評価を行う．また，自然さや個性的な動きのモデル化の精度などについては，異なる入力データを用いて生成された結果について主観評価実験を行うことで，生成結果の印象についての評価を行った．

6.1 定量的評価
まず，提案手法によって生成された表情アニメーションについて，数値評価を行う．本実験では，5 章で述べた 3 名の歌
手のデータから計測した 2 曲分のデータを用いる．それぞれの歌唱データに対して，同じ歌唱者から計測された一方の曲のデータで学習を行い，もう一方の曲のデータによって結果を作成した．定量的評価に際しては，それぞれに対し，異な

図4

主観評価実験時に使用したインタフェース

Fig. 4 Subjective experiment interface

る入力パラメータによってアニメーションを作成する．提案
手法では，歌声情報，楽曲情報，口形情報を入力として用いて生成したが，入力情報を変更して生成した結果と比較することで，提案手法で用いた入力情報や学習方法の妥当性を示す．具体的には，提案手法から入力データに対して NMF による次元圧縮を行わなかったもの，歌声情報と楽曲情報を入力データとしたもの，歌声情報のみを入力としたものと比較を行う．なお，学習モデル，学習時のパラメータ，計算機については全て同条件でアニメーションの学習・生成を行った．
定量的評価として，出力された口以外の表情パラメータ及び頭部回転情報と，計測された口以外の表情パラメータ及び頭部回転情報との比較を行う．生成されたそれぞれのアニメーションについて，その際の表情パラメータ及び頭部回転
情報を，実際に計測した際に取得された表情パラメータ及び頭部回転情報と二乗誤差平均により比較する．それぞれ歌唱
者ごとの二乗誤差平均と，作成した全データの二乗誤差平均とそれぞれの計測データとの二乗誤差平均を比較すると，歌
声情報，楽曲情報，口形情報を用いて出力に次元圧縮を行った提案手法が，他の入力による結果と比較して高い精度で正解データを再現できていることがわかる．特に，同じ入力情報で NMF による次元圧縮を行わなかった際の結果と比較しても精度が大幅に向上していることがわかる．これは次元圧
縮を行うことにより，寄与の高いパラメータの学習に成功したと考えられる．歌声のみを入力とした結果や，歌声情報と楽曲情報を入力とした結果に対し，歌声情報と楽曲情報に口
形情報を加えたことで結果が概ね向上していることがわかる．
歌声情報や楽曲情報などの音のみ情報と比較して，表情の情報を含めることで高い精度を得ることができたものと考えら
れる．

6.2 主観評価結果を計算し，比較検討を行った．結果を，表 1 に記載する．A，生成データの自然さと，歌唱者固有の動作特徴をモデル化
B，C はそれぞれ異なる歌唱者を表し，全データの平均値を できているかを評価するため，主観評価実験を行った．主観示す．表 1 において，NMF を用いた結果と各入力パラメータ310

評価実験に用いた画面を図 4 に示す. 各設問では，被験者は

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）表2

計測データとの自然さと類似性についての主観評価実験の平均値

Table 2 Subjective evaluation on the naturalness and the dissimilarity with the dataset
学習データ
異なる歌唱者＋異なる楽曲
同一の歌唱者＋異なる楽曲
異なる歌唱者＋同一楽曲

計測データとの自然さの比較

計測データとの非類似性

2.78
3.52
4.63

N/A
3.19
4.32

計測された表情データと様々な条件での生成結果とを並べて，類似の度合いを 7 段階で評価した．被験者は 20 代〜40 代までの男性 34 名，女性 11 名の合計 45 名で，このうち 6 名がプロとして活動する CG アーティストである．この主観評価
実験では，以下に示す，3 種類の学習データを提示する実験
条件で評価を行い，それぞれ 2 曲ずつ，合計 6 つの動画を作成した．3 種類の実験条件 (以下「パターン」と呼ぶ) では，入力の学習データの性質が異なり，それぞれ期待される結果が異なる．まず，１番目のパターンは，異なる歌唱者と異なる楽曲で学習した結果と計測データとの比較である．このパターンでは，学習時とテスト時の環境が大きく異なる．こうした歌声情報が入力として与えられた際にも自然な動作を学習することができるかを評価することで，学習モデルの安定性を検証する．次に，2 番目のパターンは，同一の歌唱者の異なる楽曲で学習を行う．異なる楽曲ではあるものの同一の歌唱者から学習されるため，計測データと類似した生成デー
タが得られることが予想される．この結果から，歌唱者の歌
声情報の特徴から歌唱者固有の歌唱動作をどれほどよく学習できているかを検証する．そして，3 番目のパターンは，異なる歌唱者による同一の楽曲で学習を行う．同一の楽曲であるが異なる歌唱者のデータから学習された結果であるため，計測されたデータとは類似していない結果が得られることが予想される．この結果から，同一の楽曲間でも異なる歌唱者の固有な動作特徴を学習できているかを検証する．なお，本
実験では，生成データ，計測データの区分を事前に明かさず
各データの呈示位置や順序をランダムに変化させて被験者に呈示した．

6.2.1 生成結果の自然さの評価
１番目のパターンについて，計測されたデータと生成されたデータとで，どちらのほうが人間の動作として自然に見えるかを 7 段階で評価した．ここで，計測データの方が自然であると判断した場合は 1 を，生成データの方が自然であると判断した場合は 7 を選択する．回答結果の平均値を表 2 に示す．回答結果の平均値は 2.78 となり，わずかではあるが計測データのほうがより自然に見えるという結果を得た．一方，
図 5 a. に示す回答結果の得票数についてのヒストグラムを見てみると，22.2%の被験者が「どちらともいえない」(評価

図 5 主観評価実験における各設問の投票結果
Fig. 5 Voting result of subjective experiment

値 4) もしくは，生成データの方がより自然であるという回
答 (評価値 5〜7) を選んでいることがわかる．学習時とテス

然であると回答した被験者が一定数いたことは，安定的に自ト時の環境が大きく異なる場合の生成結果においても，計測然な動きを生成できていると考えられる．

データよりも生成データの方が，程度はどうであれ，より自311

2 番目のパターン及び 3 番目のパターンについても，計測The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

表 3 計測データとの自然さと類似性についてのプロの CG アーティストによる主観評価実験の平均値
Table 3 Subjective evaluation on the naturalness and the dissimilarity by professional computer-graphics
artists
学習データ
異なる歌唱者＋異なる楽曲
同一の歌唱者＋異なる楽曲
異なる歌唱者＋同一楽曲

計測データとの自然さの比較

計測データとの非類似性

2.57
2.87
3.57

N/A
2.79
4.93

されたデータと生成されたデータで，どちらのほうが人間のたときの結果の平均値を表 2 に示す．2 番目のパターンは，動作として自然に見えるかを 7 段階で評価した．回答結果の同じ歌唱者の異なる曲で学習を行った結果であるため，生成平均値を表 2 に示す．2 番目のパターン及び 3 番目のパター

データと計測データとの類似度が高ければ，提案手法が歌唱

ンについて，回答結果を被験者数を用いて得られた加算平均

者に依存した動作を正確にモデル化することに成功している

値はそれぞれ 3.52，4.63 となった．図 5 b. に 2 番目のパターと言える．本実験の結果は平均値が 3.19 となり，「どちらとン及び 3 番目のパターンの回答結果の合計得票数のヒストグもいえない」(評価値 4) よりも似ているという結果を得るこ

ラムを示す．この結果から，より自然なものを計測データのとができた．図 5 c. に示す回答結果の得票数ヒストグラムを方とする (評価値 5 〜7) 割合と生成データの方とする (評価

見ると，「とてもよく似ている」(評価値 1) に続くレベル (評

値 1〜4) 割合がほとんど同じであることがわかり，生成デー

価値 2) と評価している被験者が多いことがわかる．

タは計測データと遜色のない自然なデータを生成できている
またそれぞれ，プロの CG アーティストの評価結果のみを

3 番目のパターンについても，計測されたデータと生成されたデータについて，7 段階で類似性を評価した．1 を計測
データと非常に似ている，7 を計測データと全く似ていない

抜き出して求めた平均値を表 3 に示す．１番目のパターンのとしたときの結果の平均値を表 2 に示す．3 番目のパターン

平均値が 2.57，2 番目のパターン及び 3 番目のパターンの平では，同一曲の異なる歌唱者による学習を行う実験であるた

均値がそれぞれ 2.87，3.57 という結果であった．CG アー

め，生成データが計測データと比較して異なって見えたとし

ティストのみの評価においても，被験者全体の評価と同様にても，提案手法が歌唱者に依存した動作を正確にモデル化す

歌唱者と楽曲のどちらもが異なる場合は計測データの方をよることに成功しているためと考えられる．本実験の結果は平と考えられる．

り自然であると評価している．歌唱者と楽曲のいずれか一方

均値が 4.32 となり，「どちらともいえない」(評価値 4) よりが同一である場合は被験者全体ではより自然なものとして生わずかに似ていないという結果を得ることができた．図 5 d.

成データと計測データを選ぶ割合がほぼ同じであったのに対に示す回答結果の得票数ヒストグラムを見ると，「全く違う」

し，CG アーティストのみの評価では計測データの方がより自然であるとする評価結果が得られた．1 番目のパターン，2 番(評価値 7) やそれに続くレベル (評価値 6) と評価している被験者が，「とてもよく似ている」(評価値 1) やそれに続くレベ目のパターン，及び 3 番目のパターンについて，プロのアール」(評価値 2) と評価した人数を上回っている．これらの結ティストとそれ以外の被験者での結果を用いて，スチューデ

果の有意差を判定するため，2 番目のパターンの結果と 3 番

ントの t 検定 (両側検定) を実施した．その結果，１番目のパ目のパターンの結果を用いてスチューデントの t 検定 (以下，ターンは，有意差が認められなかった (t=1.985, p=0.286)． 両側検定) を実施した．その結果，本主観評価実験には有意
同様に，2 番目のパターン及び 3 番目のパターンについても有意差は認められなかった．(t=1.975, p=0.340)

差が認められた (t=4.43, p=0.0000191)．
またそれぞれ同様の実験における，プロの CG アーティス

以上の結果から，歌唱者や曲のいずれかが学習とテストとトのみの評価結果を表 3 に示す．結果を見ると，2 番目のパで同一である場合においては，提案手法は計測データと同程ターンの平均値が 2.79，3 番目のパターンの平均値が 4.93 と度の自然な結果を生成できていることがわかった．また，歌いう結果であった．プロの CG アーティストの視点では，そ唱者も曲も学習とテストとで異なるという条件下においても， れぞれ 2 番目のパターンは「どちらでもない」(評価値 4) よ自然さの評価は若干下がるが，自然であると評価できること

りも 1 レベル似ているという評価，3 番目のパターンは「どがわかった，さらにプロの CG アーティストの評価においてちらでもない」(評価値 4) よりも 1 レベル似ていないというは被験者全体より作成データの計測データに対する自然さは評価をしたことがわかり，CG アーティストでない被験者と劣るが，両者の結果に有意差は認められなかった．

の間に差がみられた．これは，CG アーティストではない被6.2.2 計測データと生成データの類似性の評価

験者は，キャラクタの個性的な表現を比較したり観察する機会が，CG アーティストと比べると非常に少ないため，似て2 番目のパターンについて，計測されたデータと生成されたデータについて，7 段階で類似性を評価した．1 を計測デー

いるか似ていないかという絶対評価が難しかった，ためではタと非常に似ている，7 を計測データと全く似ていないとしないかと考察する．得られた結果の有意差を判定するため，

312

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

今後の課題として，テンポの異なる楽曲に対する学習モデ
ルの考案が考えられる．現時点では，学習データとテストデー
タのテンポが類似する場合のみの実験にとどまっており，大きくテンポの異なる楽曲では実験を行っていない．しかし，テンポや曲調が異なる場合では，同じ歌唱者でも歌唱特徴が大きく変化することから，学習が困難であると推察される．
他の深層学習を用いた研究においては，こうした問題を学習
データを増やすことで学習モデルの汎化性能を高め，様々な種類の入力に対応している例がある．そこで，様々な曲調での歌唱時の表情データセットを構築することで，より広いバ
リエーションの楽曲に対応できるような手法の考案を検討する．また，より多くの歌唱者のデータを集めることで，通常
図6

超高精細モデルへの提案手法適用結果

会話時の表情特徴から歌唱時の表情特徴を推定することや，

Fig. 6 The result of applying proposed method to a photorealistic facial model

多数の歌唱者の表情特徴から歌唱における表情を一般化する試みなどを行うことを検討する．

プロの CG アーティスト以外と同様に，2 番目のパターンの謝

結果と 3 番目のパターンの結果を用いて両側検定を実施した．
その結果，本主観評価実験には有意差が認められた (t=3.88,

p=0.00219)．図 5 d. において，3 から 5 と評価した被験者が全体の 64.4%となった．

辞本論文の一部は JST ACCEL (JPMJAC1602) の支援を受けた．

これらの結果より，異なる楽曲でも同じ歌唱者の動作をモ

参考文献

デル化することで，計測データと近いアニメーションを生成

1) Y. Zhou, Z. Xu, C. Landreth, E. Kalogerakis: “VisemeNet:
Audio-Driven Animator-Centric Speech Animation”, ACM
Trans. on Graphics (ToG) Vol.37, No.4, pp.161:1–161:10(2018).

することに成功したといえる．同一の楽曲の異なる歌唱者の動作を学習した場合，大きく異なる生成結果にはならないものの，同じ歌唱者で学習した結果とは有意差のある結果を得ることができることがわかった．一方，プロの CG アーティ
ストの評価では，結果に大きな差があることがわかり，プロの CG アーティストの方が提案手法が有効であると判断する意見が多いことがわかった．

Yamaguchi らの手法6)によって作成した表情モデルを使用して，高精細なモデルに対して手法を適用した結果を図 6 に示す．Yamaguchi らの手法で一枚の顔画像から推定された表情モデルに対して，学習で用いた 51 個のブレンドシェイ
プを用意し，提案手法で推定された表情パラメータと頭部回転情報を適用することで結果を得た．このような高精細な顔モデルにおいても，同様の手法で表情豊かなアニメーションを作成でき，本手法で生成されるアニメーションの有効性がむ す

3) L. Huynh, W. Chen, S. Saito, J. Xing, K. Nagano, A. Jones, P.
Debevec, H. Li: “Mesoscopic Facial Geometry Inference Using Deep Neural Networks”, Proc. of the IEEE Conference
on Computer Vision and Pattern Recognition, pp.8407–8416(2018).
4) S. Saito, L. Wei, L. Hu, K. Nagano, H. Li: “Photorealistic Facial Texture Inference Using Deep Neural Networks”, Proc. ofIEEE Conference on Computer Vision and Pattern Recognition(CVPR), Vol. 3, pp.5144–5153 (2017).
5) S.-L. Taylor, T. Kim, Y. Yue, M. Mahler, J. Krahe, A.-G.
Rodriguez, J.-K. Hodgins, I.-A. Matthews: “A Deep Learning
Approach For Generalized Speech Animation”, ACM Trans.
on Graphics (ToG), Vol.36, pp.93:1–93:11 (2017).
6) S. Yamaguchi, S. Saito, K. Nagano, Y. Zhao, W. Chen, K.
Olszewski S. Morishima, H. Li: “High-Fidelity Facial Reﬂectance and Geometry Inference from an Unconstrained Image”, ACM Trans. on Graphics (ToG), Vol.37, No.4, PP.162:1–
162:14 (2018).

確認できた．

7.

2) X. Cao, Z. Chen, A. Chen, X. Chen, C. Wang, J. Yu: “Sparse
Photometric 3D Face Reconstruction Guided by Morphable
Models”, Proc. of the IEEE Conference on Computer Vision
and Pattern Recognition, pp.4635–4644 (2017).

び

本論文では，楽曲構造や歌唱時の歌声特徴に着目した表情
アニメーション自動生成手法を提案した．口形以外の表情パラメータと顔の回転成分を推定するために，歌声から得られた音響情報，楽曲から得られた楽曲情報，歌声から推定された口形情報を取得した．こうしたデータを時系列を考慮した
深層学習モデルに学習させることで，歌声や楽曲のみから得られる要素から高精細な歌唱時の表情アニメーションの生成を行うことに成功した．

313

7) K. Olszewski, Z. Li, C. Yang, Y. Zhou, R. Yu, Z. Huang, S.
Xiang, S. Saito, P. Kohli, H. Li: “Realistic Dynamic Facial
Textures from a Single Image Using GANs”, Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 5429–
5438 (2017).
8) Z. Lu, Z. Li, J. Cao, R. He, Z. Sun: “Recent Progress of Face
Image Synthesis”, Proc. of IAPR Asian Conference on Pattern
Recognition (ACPR), pp.7–12 (2017).
9) T. Mikolov, M. Karaﬁát, L. Burget, J. Černocký, S. Khudanpur :“Recurrent Neural Network Based Language Model”,

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）
INTERSPEECH-2010, pp.1045–1048 (2010).
10) S. Hochreiter, J. Schmidhuber: “Long Short-term Memory”,
Neural Computation 9.8, pp.1735–1780 (1997).
11) H. Kim, P. Garrido, A. Tewari, W. Xu, J. Thies, M. Niessner,
P. Pérez, C. Richardt, M. Zollhöfer, C. Theobalt: “Deep Video
Portraits”, ACM Trans. on Graphics (ToG), Vol.37, No..4,
pp.163:1–163:14 (2018).
12) S. Suwajanakorn, S. Seitz, I. Kemelmacher-Shlizerman: “Synthesizing Obama: Learning Lip Sync from Audio”, ACM
Trans. on Graphics (ToG), Vol.36, No.4, pp.95:1–95:13 (2017).
13) R. Kakitsuka, K. Tsukuda, S. Fukayama, N. Iwamoto, M.
Goto, S. Morishima: “Authoring System for Choreography Using Dance Motion Retrieval and Synthesis”, Proc. of The 30th
International Conference on Computer Animation and Social
Agents (CASA 2017) (2017).
14) R. Fan, S. Xu, W. Geng: “Example-Based Automatic MusicDriven Conventional Dance Motion Synthesis”, IEEE Trans.
on Visualization and Computer Graphics, Vol. 18, No.3,
pp.501–515 (2012).
15) S. Fukayama, M. Goto: “Automated Choreography Synthesis Using a Gaussian Process Leveraging Consumer-Generated
Dance Motions”, Proc. of the 11th Conference on Advances in
Computer Entertainment Technology (2014).
16) W.-F. Thompson , P. Graham, F. Russo: “Seeing Music Performance: Visual Inﬂuences on Perception and Experience”,
Semiotica, Vol.156, pp.203–227 (2005).
17) L. Quinto, W-F. Thompson, C. Kroos, C. Palmer: “Singing
Emotionally: a Study of Pre-production, Production, andPost-production Facial Expressions”, Frontiers in Psychology,
Vol. 5, Article.262 (2014).
18) W.-F. Thompson, F. Russo, S. Livingstone: “Facial Expressions of Singers Inﬂuence Perceived Pitch Relations”, Psychonomic Bulletin & Review, Vol. 17, No.3, pp.317–322 (2010).
19) T. Weise, S. Bouaziz, H. Li, M. Pauly: “Realtime PerformanceBased Facial Animation”, ACM Trans. on Graphics (ToG),
Vol.30, pp.77:1–77:10 (2011).
20) M. Goto, K. Yoshii, H. Fujihara, M. Mauch, T. Nakano:“Songle: A Web Service for Active Music Listening Improved
by User Contributions”, The Trans. of the International Society for Music Information Retrieval (ISMIR2011) (2011).
21) P. Joshi, W. Tien, M. Desbrun, F. Pighin: “Learning Controls
for Blend Shape Based Realistic Facial Animation”, ACM SIGGRAPH 2006 Courses (2006).
22) H. Li, J. Yu, Y. Ye, C. Bregler: “Realtime Facial Animation
with on-the-ﬂy Correctives”, ACM Trans. on Graphics (ToG),
Vol.32, pp.42:1–42:10 (2013).
23) S.R. Livingstone, W.F. Thompson, F. Russo: “Facial Expressions and Emotional Singing: A Study of Perception and Production with Motion Capture and Electromyography”, Music Perception: An Interdisciplinary Journal, Vol. 26, No.5
pp.475–488 (2009).
24) T. Kanade, Y. Tian, J. Cohn: “Comprehensive Database for
Facial Expression Analysis”, Proc. of Fourth IEEE International Conference on Automatic Face and Gesture Recognition,
pp.46–53 (Cat. No. PR00580) (2000).
25) D. Lee, H. Seung: “Algorithms for Non-Negative Matrix Factorization”, Advances in Neural Information Processing Systems (2001).

(2018 年 11 月 30 日 受付)314

加 藤 卓 哉
2016 年 早稲田大学大学院 先進理工学研究科 物
理学及応用物理学専攻 修士課程卒業．現在，同専
攻博士課程 (実体情報学博士プログラムコース) に
在学中．日本学術振興会特別研究員 (DC1)．2017
年より駒澤大学非常勤講師，2017 年 UC Berkeley BAIR 客員研究員．専門は CG アニメーショ
ン，画像処理．2017 年 Advances in ComputerEntertainment Conference(ACE) Best Paper
Award(Gold Award) 等受賞．

深 山
覚2013 年 東京大学大学院 情報理工学系研究科 シ
ステム情報学専攻 博士課程修了．博士 ( 情報理工学)．日本学術振興会特別研究員 (DC2)，産業
技術総合研究所研究員を経て，現在同研究所主任研究員．2018 年 中央研究院 (台北) 訪問學人．
専門は音楽情報処理．2009 年度情報処理学会山下記念研究賞受賞．情報処理学会音楽情報科学
研究会計算論的生成音楽学ワーキンググループ
二代目代表．

中 野 倫 靖2008 年 筑波大学大学院 図書館情報メディア研究科 博士後期課程修了．博士 (情報学)．現在，産業技術総合研究所主任研究員．情報処理学会，日本音響学会各会員．2009 年 情報処理学会 山下記念研究賞 (音楽情報科学研究会)，
2013 年 Sound and Music Computing Con-

ference (SMC 2013) The Best Paper Award,
2018 年 IEEE Paciﬁc Visualization Symposium (PaciﬁcVis 2018) Honorable Mention
Poster Award 等各受賞．

後 藤 真 孝1998 年早稲田大学大学院 理工学研究科 博士後期課程修了．博士 (工学)．現在，産業技術総合研究所 情報技術研究部門 首席研究員 兼 メディ
アコンテンツ生態系プロジェクトユニット代表．
JST ACT-I「情報と未来」研究総括，統計数理研究所 客員教授，筑波大学大学院 教授 (連携大学院) 等を兼任．日本学士院学術奨励賞，日本学術振興会賞，ドコモ・モバイル・サイエンス賞 基礎科学部門 優秀賞，科学技術分野の文部科学大臣表彰 若手科学者賞，星雲賞等，47 件受賞．

森 島 繁 生 （正会員）
1987 年 東京大学大学院 電子工学 博士課程修了．
工学博士．同年 成蹊大学工学部専任講師，1988
年 同助教授，2001 年 同教授を経て 2004 年 早稲田大学理工学部応用物理学科教授．現在に至る．
この間 1994 年から 1995 年トロント大学客員教
授，1999 年より 2010 年 ATR 客員研究員，2010
年より 2014 年 NICT 招聘研究員．1991 年 電子
情報通信学会業績賞．2010 年 電子通信財団テレコムシステム賞．日本顔学会理事．2016 年より本会 VC 研究会委員長．ACM VRST 2018 ジェネ
ラルチェア, SIGGRAPH ASIA 2018 VR/AR
Advisor, CG, CV, HCI 等の研究に従事．正会員．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

画像電子技術の医療分野における応用 (6)ディジタル画像を用いた病理診断への展望小林 直樹
埼玉医科大学 保健医療学部 臨床工学科

Trend on Pathological Diagnosis Using Digital Image
Naoki KOBAYASHI
School of Biomedical Engineering, Faculty of Health and Medical Care, Saitama Medical University1.

病理画像とは

病理診断は，患部から得られた検体を細胞レベルも含めて観察することにより診断するものである．特にがんの診断では，がんであるか否か，あるいはがんの悪性度や進行度に関しての最終的な判断＝確定診断を行うものであり．その診断結果は，その後の治療方針，予後の処置を決めるうえで重要な役割を果たす．
病理診断は，大きく分けて，細胞診断と組織診断とがある．細
胞診断は体表面や粘液などに存在する細胞を取り出し，複数の細胞単体を観察することでがんの有無などを診断するものである，
一方，組織診断は手術で得られた検体や検査で摂取した検体（バイオプシーなど）の一部を顕微鏡で観察し，その中の細胞や形態などから診断するものである．
病理診断（組織診断）における工程の概要を，図 1 に示す．病
理診断を行うためには，まず，検体をホルマリンなどにつけて固定化をする．これは，検体の状態を長時間保つことを可能とするとともに感染予防の意味もある．次に，手術検体等の場合には，固定化された検体の全体について，病態部分の部位，範囲（広がり）を病理医は観察・診断する．これはマクロ診断と呼ばれ，その結果から必要な部位を特定し，顕微鏡で観察する場所を切り出すことから，重要な診断項目となる．特に，手術での術中迅速診断では，切除範囲でがんがすべて摘出されたか否かを確認す

図１ 病理診断の基本フローる必要があり，癌の広がりおよび顕微鏡観察部位の特定は重要な診断項目となる．

応じて多数の染色方法があり，免疫染色としては，細胞分裂の活

マクロ診断で特定された部位に対しては，病理医が指定した性状態を示すＫｉ-67 などが代表的な例である．

範囲を切除し，パラフィン固定，薄切，脱パラフィン，染色という工病理診断は，この染色された組織を顕微鏡で目視観察し，確程を経て観察用プレパラートが作成される．
通常の診断においては，ヘマトキシリンエオジンによる HE 染定診断が行われる．この診断は，病理医の経験に基づいて行わ

色（通常染色）が行われる．HE 染色は，ヘマトキシリンで主に核れてきているため，診断医に豊富な知識と経験が求められる部

を青く染め，エオジンで細胞質などをピンクに染める．病理診断

分が多い．実際，ある特定の臓器の早期がんを含む境界病変のはこの形態の観測・診断が基本となり．形態による診断によって，診断に関しては，専門性の高い病理医でなければ正確な判定が疑わしい場合には，特殊染色あるいは免疫染色を行い，より精度難しい場合もあり，その診断結果が病理によってばらつくことも報の高い診断が行われる．特殊染色としては，線維部分を染色す

告されている．このため，スキャナ等によりディジタル化された病るマッソントライクローム染色，類洞を染色する銀染色など用途に

理画像データを用いて，一般的な病理医でも，普遍的に再現性

315

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

よく判定ができるような定量的診断指標が得られれば，病理診断に大いに役立つことが期待される．

2.

病理画像を用いた病理診断の現状（ディジタル）画像を用いて行われる病理診断として最も普及しているのは，術中迅速診断である．これは手術の施術範囲確認などを目的に行われる即時病理診断であり，施術施設に専門の病理医がいない場合，顕微鏡画像を病理医のいる施設に送ることで，画像による遠隔病理診断が行われる．
また，近年では，顕微鏡画像の読取技術が進歩し，プレパラートにある検体全体を，顕微鏡精度のスキャナで読み取る，WSI（Whole Slide Imaging）の装置が開発され，顕微鏡レベルの画像の高精度なディジタル表示ができるようになってきた．このような装置は，バーチャルスライドとも呼ばれている．現在，米国において手術件数の多い大病院では，既に， WSI による画像を用いた病理診断が導入されている．

図 2 脂肪化（肝臓）の定量的解析例

一方，日本においては，画像を用いた遠隔画像診断のガイド
ラインが制定され，保険適用もなされているが，現在でも多くの病
理診断は，病理医による顕微鏡を用いた目視観察が基本となっており，バーチャルスライドは教育，研修用あるいはデータの保存用として用いられている状況である．このため，上に述べた術中迅速診断における WSI の画像による診断を別として，一般的な病理診断で（ディジタル）画像を用いている施設は非常に限られている．
とはいえ，病理画像を用いた診断に対する期待は根強く，
徐々に病理画像のみによる診断も広がりを見せている．特に，画像を用いた場合は，従来，病理診断において，目視のみで行われた場合と異なり，計算機処理によって，従来では行えなかった支援も可能となってきた．

図 3 細胞核複雑度の特徴量によるがん・非がんの分別

本稿では，病理画像を用いた診断支援として，現在，検討が進められている以下の 4 つの支援方法について，実際の検討例

変性の程度を表す脂肪化定量を示すことができれば有意義であをもとに述べることとする．
1)

定量的病理診断：2)

3D による病態メカニズムの可視化

3)

画像診断と病理診断の橋渡し

4)

マルチスペクトルによる病理診断支援

3.

るといわれている．脂肪化変性をした細胞を含む画像において，
単純に脂肪の候補領域を抽出した者が図 2（a）となる．白く抜けて形態が近い細胞としては，淡明化したもの，血管などがあるが，機械学習によって区別し，脂肪化細胞の抽出精度を上げたものが図2（b）である，また図2（c），（d）は，上記の抽出技術に基づい定量的病理診断て，ROI 単位で脂肪化の程度を定量化して示したものである 1)．
また，比較的困難とされている肝臓がんの組織診断における病理診断は，通常，目視により診断が行われ，その際，組織の定量的診断支援に向けての取組みが検討され，細胞核の特徴

形態，色などから総合的に判断している．このため，病理医の経に加えて，肝臓の索構造の特徴を加えることで，定量的診断精験が重要な要素となっている．また，病理医は，それぞれ専門領度の向上を図ることができるなどの成果が得られている 2)．

域を有するものの，実際には専門領域以外の診断をしなくてはいけない場面もあり，その際には，経験の有無が大きく影響する．
一方，これらの主観的診断の精度を上げるために，病理画像に

一方，細胞診断においても，定量的な診断への要求は高い．
子宮がんの診断等においては細胞診が行われているが，画像処理による定量的診断の精度は高いものとはいえない．図 3 は，

対し計算機処理を用いて定量的評価を行うという支援策が検討

細胞核の複雑度に着目した特徴（凸方比変化）を定量的に示しされている．

たものである．これらの複数の特徴を用いた機械学習により，が

図 2 は，肝臓の脂肪化を定量的に扱うことを目指したものであん・非がんの区別だけでなく，異形細胞の分別にも利用可能である．肝細胞は，時に細胞質内に脂肪滴を有し，脂肪化は肝臓がるとの結果が得られている 3)．

んや他の病気と関係が議論されているところである．この肝脂肪316

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）4.

3D による病態メカニズム可視化て，がんが発見される場合が多く，その確定診断は，その部位の一部を取り出す生検や手術後の病変の検査による病理診断によ

従来，病理診断（組織診断）は，プレパラートに薄切された切って行われる，しかしながら，MRI，CT などの画像診断において片を観察している．病理医は，組織診断において，がんの領域得られる画像の病変部の構造と病理診断における診断箇所とは，の広がり方，正常な細胞の構造に対して，変性細胞の位置につ必ずしも 1 対 1 に対応しているわけではない．このため，MRI，

いては，解剖学的知見のもとに，薄切切片の上下構造を病理医

CT における画像診断の精度を向上させるために，これらの 3 次が補完して診断を行っている．一方，病片の広がりの機序は診断

元構造の画像と病変の連続切片から再構成された 3 次元病理画には重要な要素となっているが，それら 3 次元の構造を見ること

像との対応をつけることで，病片のどの部分が MRI，CT の画像は困難である．このため，病片の 3 次元構造を可視化し，実際のではどのように撮像されるかを得ようとする試みがなされている．

病変の広がり具合や，正常な細胞の構造の中で，病片がどのよう

図 5 は,すい臓がんを発症させた KPC マウスの膵臓を取り出し，に広がってゆくかを知ることは，大変有効である．

連続切片から作成した病理画像を用いて，膵管，線維部分を抽これらの課題を解決するため，病理検体の連続薄切切片を作出し，その構造を 3D 再構成したものである．病変膵臓は，事前成し，このバーチャルスライドによって得られた連続画像から，3にマイクロ CT によって撮影されており，その CT 画像と 3D 病理次元画像を再構成して，可視化する試みが行われている．

画像の対応をとることにより，画像診断で表示される部分と病理

例えば，がんにおいて，従来離れている場所に出現すると見的所見を結び付けることの検討がされている 6)．

られたがんが，病理画像を 3D 化して示すことにより，もとはつな

また，米国ではマイクロ CT 自身で，核レベルの画像が得られがっていることを明らかにした例が示されている 4)．

ることが示され，得られた CT 画像を疑似的に染色し、あたかも病一方，図 4 は，摘出されたグリオーマとマクロファージの広がり

理画像のように 3 次元で再現することも行われている 7)．

の位置関係を立体的に示したものである．（a）は連続切片として6.

得られた病理標本の原画（一部）と，画像処理によって得られたグリオーマ（緑）とマクロファージﾞ（黄）を表示したものである．さら

マルチスペクトルによる診断支援

病理画像の解析において，CT，MRI などの医用画像と最も異に図 4（b）ではこれを 3D 再構成して表示しており，グリオーマのなる点は，病理画像では，染色によって得られた切片の色情報

周辺およびさらに離れた点にもマクロファージが集まっていることがよくわかる 5).

5.

画像診断と病理診断の橋渡し

現在，がんの診断では，MRI，CT などの画像診断によっ

図 5 KPC マウスの膵臓における組織構造の 3D 表示

図 4 グリオーマにおけるマクロファージ分布の 3D 表示

317

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

fat droplets in liver images for quantitative evaluation”, Proc. SPIE
Medical Imaging 2015, Vol. 9420 (2015).
2) M. Ishikawa, Y. Murakam, S. T. Ahi, M. Yamaguchi, N. Kobayashi, T.
Kiyuna, Y. Yamashita, A. Saito, T. Abe, A. Hashiguchi, M. Sakamoto,“Automatic quantification of morphological features for hepatic
trabeculae analysis in stained liver specimens”, Journal of Medical
Imaging, Vol. 3, No.2: 027502 (2016).
3) H. Komagata, T. Ichimura, Y. Ohnuki, M. Ishikawa, K. Shinoda, N.
Kobayashi, A. Sasaki, “Feature analysis of cell nuclear chromatin
distribution in support of cervical cytology”, Journal of Medical Imaging,
Vol. 4, No. 4: 047501 (2017)..
4) N. Farahani, A. Braun, D. Jutt, T. Huffman, N. Reder, Z. Liu, Y. Yagi, L.

図6

Pantanowitz, “Three-dimensional imaging and scanning: Current andマルチスペクトルを用いた組織構造の認識

future applications for pathology”, Journal of pathology Informatics,
Vol.8 No.1:36 (2017).

が診断に密接に関連している点である．このため，病理画像から

5) A. Sasaki, "Microglia and brain

得られる色情報を用いて解析する手法は非常に有効に働く可能

macrophages: An update",

Neuropathology Vol.37, pp452-464 (2016)

性がある．
その中でも，最近の取り組みとして，単に RGB 三原色の色情

6) H. Komagata, M. Ishikawa, K. Shinoda, N. Kobayashi, C. Iwamoto, K.

報にとどまらず，マルチスペクトル，あるいはハイパースペクトルとOhuchida, M. Hashizume, “3D reconstruction of pancreatic ducts and呼ばれる，複数の色情報を用いることで，より精度高く構造の解

collagen fibers from pathological images of pancreas serial sections”,

析をしたり，病片の特徴を得ようとする試みがされている．

Proc. of 5th International Workshop on Image Electronics and Visual

図 6 は，肝臓の病理画像を 6 バンドマルチスペクトルで撮影し，Computing: IEVC 2017, 3A-5 (2017).

そのスペクトル特徴および周囲画素のスペクトル分布を用いた

7) M. Senter-Zapata, K. Patel, P. A. Bautista, M. Griffin, J. Michaelson, Y.

BoF を用いて機械学習を行い，組織構造をクラス分けしたもので

Yagi, “The Role of Micro-CT in 3D Histology”, Pathobiology 2016, Vol.

ある 8）．まだ精度は十分でないが，特徴量としては，単純な RGB

83, pp. 140–147 (2016).

よりも精度よく判定し，利用できることを示している．

8) E. Hashimoto, M. Ishikawa, K. Shinoda, M. Hasegawa, H. Komagata, N.

さらに，バンド数を数十バンドに増やしたハイパースペクトルカ

Kobayashi, N. Mochidome, Y. Oda, C. Iwamoto, K. Ohuchida, M.

メラを用いることで，より精度を高めて組織の特徴を捉える試みもHashizume, “Tissue classification of liver pathological tissue specimens

行われている．

image using spectral features”, SPIE Proc. of Medical Imaging 2017 Vol.

7.

10140–36 (2017).

おわりに9) A. Janowczyk, A. Madabhushi1, “Deep learning for digital pathology

本稿では，病理診断において，ディジタル画像を処理すること

image analysis: A comprehensive tutorial with selected use cases”,

により，診断を支援する試みを紹介した．現状は，病理診断におJournal of Pathology Informatics, Vol.7, No.29 (2016)．

いて画像を用いて診断することに対するコンセンサスが得られて

10) H. R. Tizhoosh, L. Pantanowitz, “Artificial intelligence and digital

いない状況であり，X 線，CT，MRI などの画像診断と異なり，コン

pathology: Challenges and opportunities”, Journal of Pathology

ピュータを用いた病理診断はまだ十分普及していない．X 線のInformatics, Vol.9, No.36 (2018)．

画像診断においても，フィルムからディジタル画像に移行するま11) 日本デジタルパソロジー研究会デジタルパソロジー技術基準検討で 10 年以上要したことから，病理診断は，現在その転換の途上会, “ 病理診断のためのデジタルパソロジーシステム技術基準第にあると考えられる．現在，AI を用いた計算機支援システムの研3 版” (2018).

究開発およびデータベース化の競争がまさに行われており 9), 10),
加えて病理画像の品質の向上，標準の確立が急がれているとい小林 直樹

える 11)．今回述べた画像処理はその一端を紹介したにすぎないが，今後大いに発展する分野であるのは間違いなく，研究開発に取組む方が増えることを期待したい．

参考文献
1) M. Ishikawa, N. Kobayashi, H. Komagata, K. Shinoda, M. Yamaguchi, T.
Abe, A. Hashiguchi, M. Sakamoto, “An accurate method of extracting

318

1981 年 東京工業大学大学院総合理工学研究科修士課程修了 2000 年 新潟大学自然科学研
究科博士後期課程修了,博士（工学）
1981年 日本電信電話公社（現ＮＴＴ）入社，ＮＴＴ研究所を経て 2008 年 埼玉医科大学保健医療学部教授 現在に至る 専門分野：生体信号処理，医用画像処理，画像通信・符号化 所属
学会：画像電子学会(フェロー),日本生体医工学会，電子情報通信学会，

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

連載技術解説「画像電子技術の医療分野における応用」の完結にあたって
画像電子学会 編集委員会
現在，各種医療診断において画像の利用は当然のこととなり，画像診断が開始された当初とは比較できないほどの技術的進歩がその底辺を支えています．本連載技術解説は，このような状況の中，研究開発に直接関わっている研究者にしかみえていない医療と画像の関わりを一般の画像電子技術者に広く知ってもらうべく企画し，本号を含め 6 回にわたり医療分野における画像利用の最新状況を紹介してきました．各専門の先生方には，お忙しい中，解説記事を執筆していただいたことに，あらためて感謝の言葉をのべたいと思います．おかげをもちまして，各号において，その技術的基盤となる理論も含めた形で，実際の事例を交えた解説をしていただき，読者の皆様の理解は非常に進んだものと確信しています．全 6 回のタイトルと著者は以下の通りです．
第 1 回 “陽電子断層画像を用いた生体機能画像撮像の動向”
木村裕一先生（近畿大学） 画像電子学会誌 2017 年 10 月号（Vol.46, No,4 pp. 591-594）
第 2 回 “医用画像工学の新たな展開 ～計算解剖学と多元計算解剖学～”
清水昭伸先生（東京農工大学）画像電子学会誌 2018 年 1 月号（Vol.47, No,1 pp. 97-100）
第 3 回 “拡散 MRI の発展と近年の動向”
増谷佳孝先生（広島市立大学）画像電子学会誌 2018 年 4 月号（Vol.47, No,2, pp. 177-180）
第 4 回 “眼底画像診断における最新動向 ～眼底病変の自動検出と自動眼疾患判定～”
畑中裕司先生（滋賀県立大学）画像電子学会誌 2018 年 7 月号（Vol.47, No,3 pp. 268-273）
第 5 回 “医用画像における機械学習の適用”
庄野逸先生（電気通信大学）画像電子学会誌 2018 年 10 月号（Vol.47, No,4 pp. 479-484）
第 6 回 “ディジタル画像を用いた病理診断の展望”
小林直樹先生（埼玉医科大学）画像電子学会誌 2019 年 4 月号（Vol.48, No,2 pp. 312-315）
本連載は医療分野から見た適用技術紹介であると同時に各種画像技術から見た適用分野紹介となることも意図して企画したものです．最新の適用状況をこのように多岐にわたって解説できたことは，今後，皆様が研究の様々な展開方向を模索されるうえでも大いに役に立ってくれ
ることと期待しております．
現在，医療分野でも人工知能（AI）を避けて通れない時代となってきており，この潮流の中，画像技術の医用応用についてより多くの皆様に関心をもっていただき，医療と工学の相互理解と技術交流がさらに進むことを祈って連載の締めくくりのご挨拶とさせていただきます．
（文責：小林直樹）

319

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）大阪工業大学情報科学部 情報メディア学科
三次元画像処理研究室（西尾研究室）
西尾 孝治（正会員）
大阪工業大学Three-dimensional Image Processing Laboratory,
Department of Media Science, Faculty of Information Science and Technology, Osaka Institute of Technology

Koji NISHIO（member）
Osaka Institute of Technology

1.

安価なデバイスが普及していることから，それらを用いたア

はじめに

プリケーションの開発にも取り組んでいる．ゼミ活動として

大阪工業大学情報科学部は 1996 年に情報処理学科（2006は，3 年生の情報ゼミナール，4 年生の卒業研究，大学院生の年度に改組によりコンピュータ科学科と名称変更）と情報シ

修士研究，文献調査の輪講を，それぞれ週 1 回のペースで実

ステム学科の 2 学科からなる学部として開設された．
その後，施している．情報ゼミナールでは 3 年次生を対象にプログラ

情報メディア学科と情報ネットワーク学科の 2 学科を加え 4

ミングの演習を実施している．この演習では，立体図形の入学科からなる学部として，情報通信に関わる様々な分野で貢力・編集，描画などの機能を Visual C++を用いて実装する．

献できる人材育成体制や教育環境の整備を進めてきた．現在

具体的には，図形同士の交差判定や，メッシュ分割，シェー

は，情報知能学科，ネットワークデザイン学科，情報メディ

ディングを施した立体の表示などである．これにより，卒業

ア学科，情報システム学科の 4 学科で構成されている．

研究で必要なプログラミングの基本的な知識を身につけるこ

2005 年度には，情報コア技術に関する教育プログラムであとができる．4 年次生と大学院生については，研究の進捗状

るコンピュータ・サイエンスコース（CS コース）が，情報分

況を週に 1 度のペースで発表している．さらに大学院生につ野で私立大学初の JABEE（日本技術者教育認定機構）の認定

いては文献調査の輪講を週 1 度実施している．

を受けている．

3.

また，2009 年度には，「SE 能力開発のためのスパイラル型

研究内容

情報教育」が、大学教育・学生支援推進事業（文部科学省公

ここでは，最近の研究内容から 2 つの研究テーマを紹介す募事業）に，採択率 15%という厳しい審査を経て採択されてる．いずれの研究もセンサから得られる立体情報を取り扱う

いる．

ものである．

情報メディア学科には本稿執筆時点で 11 の研究室があり，大きく人間とコンピュータの自然な対話を目的とする研究室，
映像や図形の処理に関する研究室，バーチャルリアリティや深度画像の高解像度化と高精度化

近年，センサから物体までの距離を画像として表現した深度画像を扱う研究が盛んに行われている．しかし，高精細な拡張現実に関する研究室，それらを総合的に用いたアプリケ

深度画像を取得するには高額な装置を用いる必要がある．逆ーションを開発する研究室に分けることができる．情報メデに安価な装置では解像度，
精度ともに低いという問題がある．

ィア学科の研究室には，例年 8 名程度の 3 年次生が新たに配そこで低解像度の深度画像に超解像処理を施すことにより高属される．各研究室には，これに 4 年次生と大学院生が加わ解像度の深度画像を生成する手法を提案している．あわせてることになる．詳細については本学，および本学部のホーム

HDR 処理を加えることでより多くの階調を得ることを可能

ページを参照されたい．

2.

3.1

としている．この手法では，深度センサを上下．左右，前後

研究室概要に移動させて対象物体の深度画像を複数枚取得する．これら

本研究室では，画像処理，コンピュータグラフィックス，を合成することにより高解像度かつ高精度な深度画像を生成

AR，および VR などに関する研究テーマを設定し，研究に取する．入力に用いた低解像度の深度画像と提案手法による処り組んでいる．近年では，深度画像を取得することができる

理結果を図 1 に示す．同図(a)，(b)の拡大画像を比較すると階320

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）(a) 正面(b) 上面図 2 入力点群(a)対象物体(a) 正面(b) 入力(c) 結果(b) 上面図 3 細線化結果

図 1 高解像度化処理
表 1 高精度化に関する評価
PSNR(dB)
入力画像

26.994

結果画像

32.439(a) 芯線候補

調数，解像度がともに向上していることがわかる．また，解像度が縦横各 2 倍，階調数が 2 倍の深度画像を真値として，(b) 抽出芯線

図 4 芯線抽出処理

提案手法の評価を行った．その結果を表 1 に示す．入力画像に対する処理画像の画質改善効果が確認できる．

3.2て久しい．近年では，センサデバイスの高性能化，低価格化に伴い，設計や検査で深度画像や点群データが利用される場

深度画像をもとにした鉄筋の芯線抽出

面も増えつつある．それゆえ，今後はそれらのデータを効率

鉄筋コンクリートは，コンクリートの内部に鉄筋を埋め込

よく扱うことや，用途に応じて別の情報へ変換することが求むことで高い強度を実現する建築材料である．しかし，内部

められるようになると考えられる．本稿では深度画像の高解に埋め込む鉄筋の数や配置が正しくない場合，強度が大きく

像度化・高精度化や，芯線抽出の方法を例として取り上げた低下するという問題がある．そのため，鉄筋コンクリートをが，処理の実用化には，さらなる改良が必要であると考えて用いる建築では，鉄筋が正しく配筋されているかどうかを確いる．また，Microsoft 社の HoloLens などにも見られるよう認する作業が必要不可欠である．

に，3 次元の画像処理は VR や MR にも応用されていくもの

そこで，レンジスキャナで取得した鉄筋の点群から，芯線と考えられる．

を自動で抽出する手法を提案している．この手法では，まずレンジスキャナを用いて図 2 のような鉄筋の点群データを取西尾 浩司 （正会員）得する．

2000 年 大阪工業大学大学院博士後期課程修了．同年 豊橋技術科学大学 助手．2002 年 大阪工業大学情報科学部情報メディア学科 講師，現在に至る．博士（工学）．画像処理，コンピュータグラフィックスなどの研究に従事．
本学会地方理事．情報処理学会，電子情報通信学会，画像電子学会，日本設計工学会，芸術科
学界 映像情報メディア学会 各会員．

次に濃度分布関数を導入することで各点を中心とする濃度場を生成し，点群の細線化を行う．これにより図 3 のような細線化結果を得ることができる．さらに図 4 のように，芯線の候補を生成し，その後芯線と非芯線に分類することで芯線を抽出する．

4.

おわりにコンピュータによる立体的な図形処理や 3 次元の画像処理が，設計やシミュレーションの分野で利用されるようになっ

321

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

MPEG 初期の記憶と学んだこと
浅井 光太郎（三菱電機株式会社）

What I Remember and What I Have Learnt from Early MPEG
Kohtaro Asai
（Mitsubishi Electric Corporation）

1. まえがき

甚だ心許ないが，初めて MPEG 標準化に参加した頃を中心にMPEG について書きませんかとのお誘いをいただいた．動

いくつかの記憶をたどってみたい．以下，組織名や所属はすべて当時のものである．

画符号化の標準化グループとして MPEG が設立されたのは1988 年，それに先立つ 1986 年に静止画符号化の JPEG が設立されている．さらに遡れば，MPEG 標準の基本でもある動2. MPEG-1 標準化の時代環境

き補償予測付き DCT を採用して広く実用化された標準 H.261，

MPEG-1 標準化の初期は H.261 標準化の終盤と重なってい

その H.261 を策定した専門家グループが活動を開始したのはる．ISDN 上のテレビ会議，テレビ電話を想定して標準化さ1984 年である．筆者が国際標準化活動に参加する機会を得た

れた H.261（p×64kbps:p=1～30）に対し，MPEG-1 は CD-ROMのは H.261 標準化の終盤近くであり，MPEG 標準化に初めて上の動画（～1.5Mbps:音声含む）が想定の対象であった．文

参加したのは 1988 年 9 月のトリノ会合だった．
これらの標準献 1)などにおいて，MPEG-1 は JPEG における DCT の採用決化について，既に活動を主導された方々自身によって紹介記

定から DCT の展開を意識したものとされている．これはい事が書かれている 1)～3)．

ずれも ISO 主導の標準化という共通点が背景になっているも標準化に参加した当時（まだ）20 代の後半であった筆者はのと思われる．しかし当時の筆者はむしろ MPEG-1 の前に活文献 1)～3)の著者よりほぼ一回り年少のジュニア世代であっ動に参加していた H.261 からの展開という印象を強く持ってた．H.261 標準化を率いておられた頃の大久保議長が国際会いた．

議の三重苦（時差で眠い，英語がわからない，技術が難しく

当時，CD に収納した動画を PC でインタラクティブに再生てわからない）と言われるのを聞き，自分も同じだなどと口することに大きな期待があった．David Sarnoff 研究所が開発にして，当時の上司から，「レベルがはるかに違う，同じとはした DVI（Digital Video Interactive）
が話題になっており，
Philips

心得違い」と一喝されたことがあった．実際は三重苦どころが推進する CD-i，後に MPEG-1 も収納することになるでなく四重苦（自分がわかっていないことすらわかっていな

CD-ROM XA 規格があった．また CD-ROM ドライブ搭載をい）だった．以来 30 余年，少しは「苦」が和らいだと思う．

前面に出した PC も発売され始めていた．
「マルチメディア」

JPEG，MPEG は今も標準を作り続けており，筆者の関与は薄の 言 葉 が 随 所 で 使 わ れ ，「 マ ル チ メ デ ィ ア と は 何 か ？

くなったものの，その創成期に関わった者として今でも活動

CD-ROM で動画を見られることである」というジョークすらの状況から目が離せない．

耳にした．

上に書いた一喝の主は会社の上司であった村上篤道氏でMPEG 標準化の生みの親の一人で現在も議長であるイタリ

ある．村上氏もまた H.261 や MPEG の標準化に長期にわたり

ア CSELT の Leonardo Chiariglione 氏が，MPEG が始まる以前

大きな貢献をされた御一人であり 4)，筆者の標準化活動は氏に来日して夜のスナックに案内されたとき，LD カラオケやのご指導があればこそ可能になったものである．残念ながら

CD graphics を見て「自分はこれを標準化する」と宣言した，

村上氏は 2015 年 10 月に亡くなられた．筆者はジュネーブでという逸話を聞いたことがある．氏がその場で思いついたの何度か耳にしたので，多少の脚色があっ
MPEG 会合の最終プレナリ途中にそのことをメールで知った． かどうかは別として，たとしてもそれらしい事実があったのでないかと思っている．

筆者の最も悲しい記憶の一つである．
MPEG にまつわる記憶としては嬉しかったことも数多く，

それほど CD が注目されていた頃である．

学んだことはそれ以上に多かった．本欄は個人的感想を許容した技術史を書く場所であるが，筆者に書けるのは個人的感

3. MPEG-1 標準化への参加

想ばかりになりそうである．
どれだけ読者のお役に立てるか，

1988 年 5 月のオタワ会合で MPEG が設立され，ターゲッ

322

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

トは前述の CD-ROM（～1.5Mbps）であるとの情報が伝わっliaise～」のはずだと主張した．Szabo 氏は譲らず，「そもそもてきた．当時は 64kbps 程度で符号化する動画品質の改善に注

liaise なんて英単語はない，自分は知らない」と言う．押し問

力していたので，1.5Mbps はかなりの高ビットレートに感じ

答の挙句，BSI の英語辞書を調べることになった．巨大な辞られた．MPEG 以前の H.261 標準化に参加するより前，筆者

書を繰ると，liaise は見つからなかった！つくづくメモはらは独自方式によるテレビ会議システムを村上氏主導の下で

evidence にならないと思い知った．
（後に調べると，liaise は

開発し，それらは製品として既に販売・活用されていた．独

名詞の liaison から派生した比較的新しい動詞で元は military

自方式とは VQ（Vector Quantization）を用いる符号化方式でslang であったらしい）ある．VQ の復号処理はインデックスに従って出力ベクトル

WG 8 のプレナリでは，安田議長から寄書の source を個人を読み出すことが基本であり，復号器が簡単になる，だから名にしようとの呼びかけがあった．
H.261 標準化の頃の source

CD-ROM に蓄積するための符号化として有利である，と社内は Japan または組織名だったので，これは違うなと思った．

で話していた．この利点を訴求したいという思いがあった．

文献 1)に拠れば「日本の企業力誇示…を廃し，各自が世界人

1988 年 9 月，トリノで 2 日，週をまたいでロンドンで 2 日として活動することにより」日本提案を受け入れ易くする意の会合が開催され，これに参加した．当時の会合は SC 2/WG

図が呼びかけの背景にあったのだろう．当時の筆者にそこま8 会合であり，JPEG も MPEG も WG 8 のサブグループといで理解できるわけもなく，ただ新鮮さを感じた．後に振り返う位置付けである．そのため MPEG のメンバーが JPEG の一れば，このことは参加者のモチベーション向上にも大きな効

部のセッションにも参加して一緒に報告を聴くこともあり勉果があった．MPEG の寄書は Chiariglione 議長に送ることに強になった．トリノでは簡単な状況報告とロンドンを含めたなっていたので，筆者はさっそく VQ に関する寄書の source

セッションの予定確認があったと思う．当社では VQ によるを村上氏の個人名にして送った．このことを事後に連絡して符号化の利点を紹介する寄書を用意していたがトリノでは提大いに叱られ，寄書に組織名を追加して送り直したり，出していなかった．本番はロンドンと思っていた．トリノでChiariglione 議長が所属する CSELT に電話をかけて話が通じは村上氏と一緒だったが，ロンドンに移動する途中で分かれずに苦労したり（Chiariglione 議長の名前がうまく発音できな

た．
（村上氏は同時期にパリで開催された H.261 会合に参加）

かった），といったドタバタがあった．MPEG 標準化のほん

ロンドンの会合会場は BSI（British Standards Institution）だっの初期の記憶の一つである．

た．MPEG には Intel の Allen Simon 氏も参加しており（当時

4. MPEG-1 標準化の本格化

Intel が DVI を買収）
，筆者は我慢しきれずに質問した．
「DVI の符号化方式は何ですか？」

MPEG-1 標準化における最大のクライマックスは 1989 年

PC のソフトによる動画再生なら簡単な VQ を使っている

10 月の久里浜での会合だった．同会合では 14 の方式提案がのでないか，という期待があった．質問への回答は行われて評価試験が行われた．このころになると MPEG 会合「proprietary」だった．あっさり教えてくれるわけもないと思の参加者は 100 人をはるかに超えていた．また会合で画質評

いつつ，proprietary という単語はこんな風に使えるというこ

価を行うにはそれなりの人数の被験者と時間が必要であった．

とを初めて知り，頭に刻み込んだ．
（後にわかったことだが，会場には CCIR 勧告 500 を参照した主観画質評価環境が整え

DVI は実際に VQ を使用していたようである）

られており，同勧告に沿った素材の編集もなされていた．こロンドンでの初日，MPEG では技術的な内容よりも，もっの評価環境がしっかり整備されていたこととその規模には驚

ぱら標準化の進め方について議論した．BSI の一室で出席者いた．環境を整えたのは会場を提供した JVC であった．

は 10 人強程度だったと記憶している．
議論をリードしたのは久里浜で提案された方式はほとんどが DCT を用いていた．

Bellcore の Didier Le Gall 氏であった．翌日の最終日は WG 8

筆者らは VQ を用いた方式を提案した．方式を評価するためのプレナリで，各サブグループの勧告を出席者みんなで確認の基準は事前の会合で議論されており，評価項目の一つにする手順であった．ところが報告を期待された Le Gall 氏は「H.261 との互換性」があったが，互換性の定義は明確でな

既に会場を去ったとのことだった．そこで他の参加者のメモかった．もとよりこの項目で筆者らが評点を獲得する可能性を基に MPEG の勧告を確認することになった．

はありえず，総合的評点の高さより独自の特長をアピールす勧告の一つに H.261 の標準化グループと情報交換するといる提案であった．しかし，いざ評価という時に，同評価項目

う項目があった．ここで DEC の Bernard Szabo 氏が「Toが実質的に「DCT を使っていれば○」の扱いになったことにcollaborate～」という言葉を使った（と思う）．筆者のメモでは少々脱力を感じた．

は「To liaise～」のはずであった．英語の厳密な差異はともか

さらに書くと，実際のところ DCT と VQ の違いは本質的なく，当時の筆者には，collaborate にしてしまうと MPEG が違いではなかった．H.261 標準化の時も議論されたが，これH.261 とほぼ同じ方式になることが決定する感覚があった．

らの違いは動画符号化アルゴリズムの中のほんの一部にすぎ

そうなれば VQ 紹介の出番もない．筆者は，合意したのは「Toない．たとえばブロック単位の動き補償予測と相対的に小さ

323

The Journal of the Institute of Image Electronics Engineers of Japan Vol.48 No.2 （2019）

なサイズを持つブロック単位の符号化，予測によって補充さ香港出張で大量のビデオ CD ソフトを見かけたこともあった．

れるブロックとされないブロックの配列パターンの符号化，

ビデオ CD プレイヤ向けの LSI を製造する半導体メーカーの変動する符号量を平滑化するためのバッファの制御要件，さ方から聞いた話がある．某地域で流通しているビデオ CD にらにループフィルタの制御などはいずれも共通の要素で，国は規格に準拠せず，シンタックスエラーや不適切なパラメー内の標準化参加者とも議論し，提案を行っていた．さらに

タを含むビットストリームが蓄積されているものが存在し，MPEG 標準化以前に，筆者らはこれらの要素を持つ複数の方

そのため，LSI はそのようなビットストリームでも視聴可能

式について設計開発を経験しており，特許の出願も行っていにする再生機能が要求されるのだという．システム構築の観たので，孤立しているという不安はなかった．

点ではとんでもないが，「何でも復号できる復号器がよい復号器」という原則は意外に広い範囲で真理である．

5. MPEG-1 標準の技術と特徴
MPEG-1 によって H.261 の動き補償予測付き DCT に付け加

6. あとがき（にならないむすび）

えられた大きな要素は双方向予測と半画素精度動き補償であMPEG や関連する標準化の初期について書かれた先行文献

る．いずれも MPEG 以前にアイデアとしては存在したが，実を再読し，既に多くが書かれていると認識した．自分自身の現コストの高さにより採用されていなかった．MPEG-1 にお記憶をたどり，まだ書かれていないことと自分の視点とを意いてもコストを意識した範囲で規定されている．たとえば双識して書き進めた結果，極端に取りとめのない話となってし

方向予測の典型的な使用例では，連続する 3 つのピクチャのまったことをお詫びしたい．H.261 標準化に参加して，大久

周期で双方向予測を「用いない」ピクチャを 1 つ挿入する．

保議長の采配による議論と作業の合理的な進め方に驚き，多残り 2 つのピクチャの符号化に過去と未来のピクチャからのくのことを学んだが，続く MPEG-1 標準化に参加して新鮮に予測を用いる．このとき過去と未来のピクチャからの時間距感じたこと，学んだことも多かった．次の MPEG-2 標準化で離の比は 1:2 だが，補間予測として 1:2 の重み付け平均を計は適用対象が拡大し，さらに新鮮で広い経験と学びがあった算するには 3 の割り算が必要となる．規格ではこれを避けてが，それらについては別の機会に紹介できればと思っている．

単純平均を使っている．また半画素精度動き補償に必要な半最後になりましたが，本稿に記した国際標準化の活動につい

画素位置の画素は 2 画素ないし 4 画素の単純平均によって生てご指導下さった方々，また同時期に活動された方々（有形成する．
このことで低域通過のフィルタリング効果が得られ，無形にご指導をいただきました）に深く御礼申し上げます．

H.261 には存在したループフィルタが除かれた．双方向予測，半画素精度動き補償とも，後年の標準化が採用した高度な手参考文献

法に比べて実現コストを抑えたシンプルな仕様である．
筆者が MPEG-1 標準化に参加して H.261 とは違うと感じた

1)

安田浩：
“JPEG・MPEG 標準化苦労話”, 映像情報メディア学会
誌 Vol. 53, No. 4, pp. 515-519 (1999).

ことに，復号方法と復号されるべきビットストリームのシン
2)

タックス条件のみが標準の規定範囲である点が挙げられる．

大久保榮：“H.261 標準化の数景”, 映像情報メディア学会誌 Vol.
53, No. 5, pp. 673-676 (1999).

基本的に符号化側は規定しない．特に目的が蓄積メディアへ3)の記録である場合，符号化側に実時間性は必要なく，やり直小野文孝：“草創期の JPEG と JBIG”, 画像電子学会誌, Vol.47,
No.3, pp.277-282 (2018).

しも可能である．規格に定義された符号化モードのすべてを4)備える必要もない．これらは出力するビットストリームの生産効率や符号量と画質のトレードオフに影響するだけである． 5)
つまり効率よく符号化する最適化の方法論は標準化の議論ではなく，標準化後の競争要素なのだった．

村上篤道：“激しいパラダイムの変遷の中で”, 電子情報通信学
会 通信ソサイエティ誌, No. 30, pp. 144-150 (2014).
渡辺裕：“ディジタルコンテンツ時代を切り開いた日本発のMPEG 標準化”, 電子情報通信学会誌 Vol. 90, No. 5, pp. 412-419(2007).

復号器が標準に準拠していることは標準に定義された-ビットストリームを正しく復号できることによって判定され，
H.261 標準化の際に行った Flexible Hardware による接続試験

浅井 光太郎 （正会員）
1981 年東京大学 工学部 電気工学科 卒業．同
年 三菱電機（株）入社．映像符号化技術の研究開発などに従事． 1992 年コロンビア大学客員研究員．博士（経営情報科学）．電子情報通信学
会学術奨励賞，同業績賞，映像情報メディア学会論文賞，情報規格調査会標準化功績賞，経済産業大臣表彰工業標準化事業表彰などを受賞．
2006-2017 年 ISO/IEC JTC 1/SC 29 議長．IEEE
Fellow, 電子情報通信学会フェロー．現在，三菱電機（株）通信システム事業本部 技術顧問，情報処理学会副会長 等．

は必要なかった．ソフトウェアが主になることを感じた．
MPEG-1 標準化後のアプリケーションは，本来の CD-ROMについてビデオ CD カラオケなどで普及したが一般の動画コンテンツ向けには大きく普及しなかった．
PC における MPEG
活用のフォーラム活動が行われ，PC の能力が高まるにつれて「.mpg」ファイルを PC で再生することが一般的になった．
世界市場として大きかったのは中国でのビデオ CD であり，

324

第 299 回 理事会
１． 日 時：日時：2019 年 1 月 25 日（金）18:30-20:15
２．場 所：早稲田大学西早稲田 51 号館 3 階 第四会議室
３．出席者：理事 15 名（定足数 14、理事会成立）【会長】斎藤【副会長】柿本、田中、金井【編集】児玉、荒井（Skype）【企画】深見、和泉【財務】長尾【総務】平川、尾関、伊藤(Skype)【技術専門】田中（NTT）、高橋、古木【地方】【監事】大野＜事務局＞ 関沢事務局長
４．議題・資料
議 題担当（１） 前回議事録確認＜司会者 柿本副会長＞
報告及び検討事項（２） 理事改選候補の調整と選出スケジュール＜斎藤会長/事務局＞（３） 2019 年度 年次大会準備状況＜柿本実行委員長＞（４） 2020 年年次大会について＜金井副会長＞（５） IEVC2019 準備状況
＜小林 IEVC 実行委員長＞（６） AIS2019 検討状況
＜田中 AIS 実行委員長＞（７） 編集委員会関係＜児玉編集委員長＞（８） 企画委員会関係＜柿本企画委員長＞（９） セミナー委員会関係＜深見セミナー委員長＞（１０）秋季大会
連合会秋季大会実行委員会（2/1)に向けて＜久保実行委員長/事務局＞（１１）学会の広報体制の整備＜斎藤会長＞（１２）その他 ・次期事務局長候補について＜事務局＞（１３）理事会開催年間予定表＜事務局＞
５．
議事（司会：柿本副会長、議事録：平川総務理事）

付番頁
299-01 1
299-02299-03299-04299-05299-06299-07299-08299-09

4
9
15
16
18
19
23
27

299-10299-11
299-12299-13

28
29
31
32

第 300 回 理事会
１. 日 時：2019 年 3 月 8 日（金）18:30-21:00
２．場 所：早稲⽥⼤学⻄早稲⽥ 51 号館 3 階 第五会議室
３．出席者：理事 18 名（定足数 14、理事会成立）【会⻑】斎藤【副会⻑】柿本、松浦、⽥中、⾦井【編集】児玉（Skpe）、藤澤、木村、佐藤【企画】（柿本）、深見、和泉、田坂【財務】⻑尾【総務】尾関、伊藤、春日【技術専門】田中（NTT）、高橋、【地方】【監事】中根＜オブザーバー＞小林 IEVC 実⾏委員⻑
＜事務局＞ 関沢事務局⻑ 浮ケ⾕次期事務局⻑候補
４．議題・資料
議 題（１） 前回議事録確認

担当
＜司会者
325

⽥中副会⻑＞

付番頁
300-01 1

承認事項（２） 2019 年度暫定予算案について＜財務理事/事務局＞（３） 3 月期特別賞与について＜財務理事/斎藤会⻑＞
報告及び検討事項（４）理事改選候補の調整＜斎藤会⻑/事務局＞（５） 2019 年度 年次大会準備状況＜柿本実⾏委員⻑＞（６） 2020 年年次大会について＜⾦井副会⻑＞（７） AIS2019 準備状況
＜田中 AIS 実⾏委員⻑＞（８） 編集委員会関係＜児⽟編集委員⻑＞（９） 企画委員会関係＜柿本企画委員⻑＞（１０）セミナー委員会関係＜深⾒セミナー委員⻑＞
連合会から（１１）秋季大会、2019、2020 年行事＜斎藤会⻑/事務局＞（１２）その他＜斎藤会⻑/事務局＞
・次期事務局⻑候補について
・２０１９年度理事会開催予定
・ベイン賞/フェロー/技術賞の推薦（１３）IEVC2019 準備状況
＜小林 IEVC 実⾏委員⻑＞（１４）理事会開催年間予定表＜事務局＞
５．議事（司会：⽥中副会⻑、議事録：春⽇総務理事）

300-02 4300-03 6
300-04300-05300-06300-07300-08300-09300-10

7
8
14
15
18
20
21

300-11 23
300-12 28

300-13300-14 31

協賛案内<協賛のお知らせ>
会合名

開催日時

SSII2019

2019/6/12～14

主 催

開催場所

連絡先

参加費/その他

画像センシング技術研究会

パシフィコ横浜アネック 画像センシング 事務局
スホール
技術研究会
ssii-jimu@adcom-media.co.jp

GITI Forum 2019
新たな時代を迎える 2019/6/14
映像ビジネス

早稲田大学国 早稲田大学国際情報通信研
早稲田大学小野記念講
際情報通信研 究センター
堂
giti-staff@list.waseda.jp
究センター

図解・光散乱とその2019/6/19
計測への応用

機械振興会館4階

日本オプトメカトロニクス協 一般：51,840円
日本オプトメカト会
協賛：44,064円
ロニクス協会
info@joem.or.jp
正会員：25,920円

3次元画像コンファレ
2019/7/5～6
ンス2019湘南工科大学

3次元画像コン
アドコム・メディア 増井
ファレンス2019 j.masui@adocom-media.co.jp
実行委員会

これからの技術者のための画像技術の 2019/7/18～19
基礎と最新動向

日本画像学会
東京工業大学 すずか
日本画像学会 info@isj-imaging.org
け台キャンパス

第38回日本医用画
2019/7/24～26
像工学大会

奈良文化会館

光機能性材料の新機軸 その研究手法
2019/8/29
から新しい応用展開
まで

富士フイルム TMT本社
性材料セミナー係
日本写真学会 spstj@pht.t-kougei.ac.jp;
２階

早期割引(6/28まで）
協賛会員 14,000円
学生
6,000円
会員25,000円、非会員
38,000円、学生3,000円

ＪＡＭＩＴ 日本医用画像工学会

日本医用画像事務局
工学会
jamit@may-pro.net

日本写真学会事務局 光機能協賛会員 5,000円
非会員 10,000円
学生非会員 2,000円

アブストラクト申込
IEEE Consumer 小川 貴弘（北海道大学)
大阪千里ライフサイエン
Electronics
ogawa@lmd.ist.hokudai.ac.j 2019.2.28
スセンター
論文締切2019.5.7
Societyp

GCCE 20192019/10/15～18

ISOM'192019/10/20～23 朱鷺メッセ

IS0M事務局
IS0M'19組織委
secretary@isom.jp
員会326

2019年度画像電子学会研究会等予定
研究会等名

開催日

場所

テーマ

Advanced Image Seminar2019

6月12日(水)早稲田大学・西早稲田キャンパス

世の中を変革するAIの最新技術，役に立つAI の最新動向

p.332

Media Computing
Conference 2019第47回年次大会

6月27日(木)-29日 早稲田大学 国際会議場(土)社会インフラ・生活 発表申込：締切済
インフラとして浸透 原稿締切：5/20(月)した画像技術ｐ.328

3次元画像コンファレン
ス2019

7月4日(木)-5日(金)

IEVC2019

8月21日(水)-24日 Bintang Bali Resort/ Kuta
(土)Bali, Indonesia

第290回研究会

9月予定

湘南工科大学締切

記事発表申込：締切済
申込締切：6/18(火)ｐ.330※Late Breaking Papers

地方開催予定共催

第19回 ビジュアル情報処 9月21日(土)-23日 埼玉県県民活動総合センター
理研究合宿2019(学生会） (月・祝)第47回VMA研究会

10月予定

首都圏予定

第40回秋期セミナー

11月予定

首都圏予定

見学会

11月予定

首都圏予定

共催

2019年画像関連学会連合 10月31日(木)-11
月1日(金)
会―合同秋季大会―

京都工芸繊維大学

第10回VMAワークショッ 11月予定
プ

首都圏予定

第291回研究会-高臨場感 11月予定
ディスプレイフォーラム2019
ビジュアルコンピュー
12月予定
ティングワークショップ
2019
第23回国際標準化の活用 1月予定と教育研究会

首都圏予定

第48回VMA研究会

3月予定

首都圏予定

第292回研究会

3月予定

地方開催予定第293回研究会-映像表現/ 3月予定
芸術科学フォーラム

共催

共催

地方開催予定
首都圏予定

首都圏予定

*研究会の場合，いずれも「画像一般」を含む

共催*空欄部は未定*上記の予定は変更になる場合があります

問合わせ先 〒116-0002 東京都荒川区荒川3-35-4-101
一般社団法人 画像電子学会
TEL：03-5615-2893

FAX：03-5615-2894

E-mail：kikaku@iieej.org
http://www.iieej.org/
http://www.facebook.com/IIEEJ

327

Visual/Media Computing Conference 20192019 年度 画像電子学会 第 47 回年次大会開催案内
Visual/Media Computing Conference 20192019 年度 画像電子学会 第 47 回年次大会
・テーマ：社会インフラ・生活インフラとして浸透した画像技術
・開催期日：2019 年 6 月 27 日(木)，28 日(金)，29 日(土)・場
所：早稲田大学 国際会議場〒169-0051 東京都新宿区西早稲田 1 丁目 20-14 電話： 03-5286-1755
https://www.waseda.jp/top/access/waseda-campus
・共催：早稲田大学先進理工学部
情報処理学会コンピュータグラフィックスとビジュアル情報学研究会，
映像情報メディア学会映像表現＆コンピュータグラフィックス研究会
・特別後援：公益財団法人 画像情報教育振興協会（CG-ARTS）
・協
賛：日本画像学会，日本写真学会，日本印刷学会

・名称：・聴講参加費（予稿集付）：正会員・共催・協賛会員 10,000 円，
非会員 15,000 円(注 1)，学生 3,000 円(注 1) 入会希望者については入会金・初年度会費が無料になる特典があります．
・画像関連連合会の日本印刷学会・日本画像学会・日本写真学会は，7 月 2 日(火)～4 日(木)に年次大会を千葉大学 西千葉キャンパスで開催されます．上記３学会の参加票で聴講できます。また、当学会での参加票で上記３学会の年次大会も聴講できます．
・懇親会費：参加費：一般 5,000 円 ，学生：3,000 円（受賞者は無料）【プログラム】詳細につきましては学会のホームページもしくは下記 URL をご覧ください．
https://www.iieej.org/annualconf/nenji2019-top/
特別講演
１ 6 月 28 日（金）午後(予定) 会場：井深大記念ホール(1F)・「脳と AI と絵画-北斎の「大波」と脳の記憶構造-」
講演者：塚田 稔 氏

6 月 29 日（土）午後(予定) 会場：井深大記念ホール(1F)
・「『チコちゃんに叱られる！』を支える技術とは（仮）」講演者：林 伸彦 氏
３ 6 月 27 日（木）午後(予定) 会場：井深大記念ホール(1F)・「アニメーション映画制作における深層学習の応用 〜『あした世界が終わるとしても』〜」
講演者：米辻 泰山氏，松岡 徹氏● 一般/学生セッション，ポスターセッション
画像符号化，多次元画像，画像処理・理解，画像システム，VR，画像計測，画像生成，など●
企画セッション・オーガナイズドセッション・企画 「ユニバーサルデザイン関連の最新情報」他
・OS 「XR(VR/AR/MR)の世界と画像符号化」
・「スマートシティにおける世代を超えた健康長寿社会をサポートする情報分析技術の活用」
・「マルチスペクトル画像技術の展開」
等●
VC2019 併催
http://cgvi.jp/vc2019/
情報処理学会コンピュータグラフィックスとビジュアル情報学研究会，
映像情報メディア学会 映像表現＆コンピュータグラフィックス研究会 との合同開催
２● 画像電子技術賞展示，CG-ARTS 協会展示 その他企業展示

予定● 総会および新旧合同理事会 6 月 28 日（金）10:30~ (予定) 会場：第三会議室(3F)● 表彰式 6 月 28 日（金）18:00~ (予定)
会場：井深大記念ホール(1F)● 懇親会 6 月 28 日（金）19:00～20:30
会場：大隈ガーデンハウス(25 号館 2F)● お問合せ先：画像電子学会 事務局〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二TEL 03-5615-2893
FAX 03-5615-2894
E-mail: kikaku＠iieej.org
328

101 号

2019年度 画像電子学会 第47回年次大会
参加申込・参加費振込のご案内
画像電子学会第47回年次大会(発表論文（一般・学生），企画セッション、オーガナイズドセッション,
特別講演)が開催されます．詳細は、開催案内又は学会ホームページをご覧ください．
本大会にご参加される方は、学会ホームページまたは下記URLからお申し込みください．
https://www.iieej.org/nenji/sanka/nenjisanka_form.html
なお、上記ホームページもしくはURLから申し込みが困難な場合には、下記聴講参加申込書に必要事項を記入しFaxあるいはE-mailで事務局までお送りください．
参加費の支払はすべて口座振込でお願いします。当日、会場での参加申込（後日振込）も可能ですが、なるべく事前の申込と事前振込をお願いします．
年次大会及び懇親会の参加費は下記口座に振り込みください．なお、恐れ入りますが振込手数料を申込者でご負担願います．（郵便振替の場合、条件により振込手数料が無料（ATM扱い）になる場合が御座います．詳しくは郵便局窓口等でお聞きください．）
・郵便振替：(口座番号)00180-3-166232
加 入 者：一般社団法人画像電子学会
・銀行振込：みずほ銀行 浜松町支店 (口座番号) 普通 1961408 (口座名) 画像電子学会
きりとり
画像電子学会事務局 行（上記ホームページからの申込が困難な場合のみFaxまたはE-Mailでお送り下さい）
Fax：03-5615-2894
E-Mail：kikaku@iieej.org

聴講参加申込書
年
氏

名

所

属

月

日

連 絡 先
E-mailTEL：

Fax:

主要聴講分野

□年次大会□VC2019

聴講参加内訳 （該当欄にレをご記入ください。）
会 員

学 生

非会員

年次大会
＜予稿集付＞□10,000円

懇親会

□参加する

□ 3,000円□参加しない参加費：一般5,000円
請求書送付の必要性□15,000円(注)□有り

学生：3,000円（受賞者は無料）□無し

請求書送り先（上記連絡先以外の場合）(注) 入会希望者については入会金・初年度会費が無料になる特典があります．

329

ᵧᵣᵴᵡᵐᵎᵏᵗ
ᵲᶆᶃᴾᵔᶒᶆ ᵧᵧᵣᵣᵨᴾᵧᶌᶒᶃᶐᶌᵿᶒᶇᶍᶌᵿᶊ ᵡᶍᶌᶄᶃᶐᶃᶌᶁᶃᴾᶍᶌ ᵧᶋᵿᶅᶃᴾ
ᵣᶊᶃᶁᶒᶐᶍᶌᶇᶁᶑᴾᵿᶌᶂᴾᵴᶇᶑᶓᵿᶊᴾᵡᶍᶋᶎᶓᶒᶇᶌᶅᴾᵆᵧᵣᵴᵡᵐᵎᵏᵗᵇ
Bintang Bali Resort, Kuta Bali,
Indonesia
Aug. 21-24, 2019
2UJDQL]HGE\
7KH,QVWLWXWHRI,PDJH(OHFWURQLFV(QJLQHHULQJRI-DSDQ ,,((https://www.iieej.org/en/ievc2019/ᵧᶌᴾᶁᶍᶍᶎᶃᶐᵿᶒᶇᶍᶌᴾᶕᶇᶒᶆᴾᾉ ᵲᶆᶃᴾᵧᶋᵿᶅᶇᶌᶅᴾᵱᶍᶁᶇᶃᶒᶗᴾᶍᶄᴾᵨᵿᶎᵿᶌᴾᵆᵧᵱᵨᵇᵲᶆᶃᴾᵨᵿᶎᵿᶌᶃᶑᶃᴾᵱᶍᶁᶇᶃᶒᶗᴾᶍᶄᴾᵮᶐᶇᶌᶒᶇᶌᶅᴾᵱᶁᶇᶃᶌᶁᶃᴾᵿᶌᶂᴾᵲᶃᶁᶆᶌᶍᶊᶍᶅᶗᴾᵆᵨᵱᵮᵱᵲᵇ
ᵲᶆᶃᴾᵱᶍᶁᶇᶃᶒᶗᴾᶍᶄᴾᵮᶆᶍᶒᶍᶅᶐᵿᶎᶆᶗᴾᵿᶌᶂᴾᵧᶋᵿᶅᶇᶌᶅᴾᶍᶄᴾᵨᵿᶎᵿᶌᴾᵆᵱᵮᵧᵨᵇ
ᵲᶆᶃᴾᵧᶌᶑᶒᶇᶒᶓᶒᶃᴾᶍᶄᴾᵧᶋᵿᶅᶃᴾᵧᶌᶄᶍᶐᶋᵿᶒᶇᶍᶌᴾᵿᶌᶂᴾᵲᶃᶊᶃᶔᶇᶑᶇᶍᶌᴾᵣᶌᶅᶇᶌᶃᶃᶐᶑᵆᵧᵲᵣᵇᵧᶌᶄᶍᶐᶋᵿᶒᶇᶍᶌᴾᵮᶐᶍᶁᶃᶑᶑᶇᶌᶅᴾᵱᶍᶁᶇᶃᶒᶗᴾᶍᶄᴾᵨᵿᶎᵿᶌᵘᴾᵱᵧᵥᵋᵡᵥ

KEYNOTE SPEACH
6SHDNHU,'U /DNVDQD 7UL+DQGRNR&KDLUPDQRIWKH,QGRQHVLD,QVWLWXWHRI6FLHQFH /,3,6,*6*³6WUDWHJ\RIWKH,QGRQHVLD,QVWLWXWHRI6FLHQFH´
6SHDNHU,,3URI 5ROO\,QWDQ
3HWUD&KULVWLDQ8QLYHUVLW\³6RIW&RPSXWLQJ7HFKQLTXHVIRU&RQVWUXFWLQJ,QWHOOLJHQW,QIRUPDWLRQ6\VWHP´TOPICS

Image & video coding; Image & video processing; Image restoration; Computer vision; Computer graphics; Virtual/Augmented reality; Datahiding; Image database; Bioinformatics & authentication; Image & video retrieval; Digital museum; Digital archiving; Content delivery; Image
assessment; Printing & display technologies; Visual/Image communication; Content Production; AI & Image processing; Hardware & software
implementation;

Important Dates
General Papers : Journal
Track / Conference Track/DWH%UHDNLQJ3DSHUVVXEPLVVLRQLVVWLOORSHQ 3UH(QWU\6XEPLVVLRQ$SULO)ULGD\
'RQ¶WPLVVWKHFKDQFHWRDWWHQG,(9&
 3DSHU6XEPLVVLRQ
$SULO)ULGD\
 1RWLILFDWLRQRI$FFHSWDQFH
-XQH)ULGD\
 &DPHUD5HDG\3DSHUV-XO\)ULGD\

Late Breaking Papers:
 3UH(QWU\6XEPLVVLRQ-XQH)ULGD\
 $EVWUDFW6XEPLVVLRQ-XQH)ULGD\
 1RWLILFDWLRQRI$FFHSWDQFH
-XQH)ULGD\
 &DPHUD5HDG\3DSHUV-XO\)ULGD\
ᵡᶍᶌᶒᵿᶁᶒᵘᴾᵑᵋᵑᵓᵋᵒᵋᵏᵎᵏᴾᵟᶐᵿᶉᵿᶕᵿᵊᴾᵟᶐᵿᶉᵿᶕᵿᵋᶉᶓᵊᴾᵏᵏᵔᵋᵎᵎᵎᵐᴾᵲᶍᶉᶗᶍᵊᴾᵨᵿᶎᵿᶌ
ᵮᶆᶍᶌᶃᴾᵉᵖᵏᵋᵑᵋᵓᵔᵏᵓᵋᵐᵖᵗᵑᵊᴾᵤᵟᵶᴾᵉᵖᵏᵋᵑᵋᵓᵔᵏᵓᵋᵐᵖᵗᵒᴾᵣᵋᶋᵿᶇᶊᵘ ᶇᶃᶔᶁᵐᵎᵏᵗᾏᶇᶇᶃᶃᶈᵌᶍᶐᶅ

330

Call for PapersdŚĞϲƚŚ//:/ŶƚĞƌŶĂƚŝŽŶĂůŽŶĨĞƌĞŶĐĞŽŶ/ŵĂŐĞůĞĐƚƌŽŶŝĐƐĂŶĚsŝƐƵĂůŽŵƉƵƚŝŶŐϮϬϭϵ;/sϮϬϭϵͿ
ŝŶƚĂŶŐ ĂůŝZĞƐŽƌƚͬ<ƵƚĂ Ăůŝ͕/ŶĚŽŶĞƐŝĂͬƵŐ͘ϮϭͲϮϰ͕ϮϬϭϵŚƚƚƉƐ͗ͬͬǁǁǁ͘ŝŝĞĞũ͘ŽƌŐͬĞŶͬŝĞǀĐϮϬϭϵͬWƵƌƉŽƐĞ͗dŚĞ /ŶƚĞƌŶĂƚŝŽŶĂů ŽŶĨĞƌĞŶĐĞ ŽŶ /ŵĂŐĞ ůĞĐƚƌŽŶŝĐƐ ĂŶĚ sŝƐƵĂů ŽŵƉƵƚŝŶŐ ϮϬϭϵ ;/sϮϬϭϵͿ ǁŝůů ďĞ ŚĞůĚ ŝŶ Ăůŝ͕/ŶĚŽŶĞƐŝĂ͕ ŽŶ ƵŐƵƐƚ ϮϭͲϮϰ͕ ϮϬϭϵ ĂƐ ƚŚĞ ϲƚŚ ŝŶƚĞƌŶĂƚŝŽŶĂů ĂĐĂĚĞŵŝĐ ĞǀĞŶƚ ŽĨ /ŵĂŐĞ ůĞĐƚƌŽŶŝĐƐ ŶŐŝŶĞĞƌƐ ŽĨ:ĂƉĂŶ ;//:Ϳ ďĂƐĞĚ ŽŶ ƚŚĞ ŐƌĞĂƚ ƐƵĐĐĞƐƐ ŽĨ /sϮϬϬϳ ŚĞůĚ ŝŶ ĂŝƌŶƐ͕ ƵƐƚƌĂůŝĂ͕ /sϮϬϭϬ ŚĞůĚ ŝŶ EŝĐĞ͕ &ƌĂŶĐĞ͕/sϮϬϭϮ ŚĞůĚ ŝŶ <ƵĐŚŝŶŐ͕ DĂůĂǇƐŝĂ͕ /sϮϬϭϰ ŚĞůĚ ŝŶ <ŽŚ ^ĂŵƵŝ͕ dŚĂŝůĂŶĚ ĂŶĚ /sϮϬϭϳ ŝŶ ĂŶĂŶŐ͕ sŝĞƚŶƵŵ͘dŚĞ Ăŝŵ ŽĨ ƚŚĞ ĐŽŶĨĞƌĞŶĐĞ ŝƐ ƚŽ ďƌŝŶŐ ƚŽŐĞƚŚĞƌ ƌĞƐĞĂƌĐŚĞƌƐ͕ ĞŶŐŝŶĞĞƌƐ͕ ĚĞǀĞůŽƉĞƌƐ͕ ĂŶĚ ƐƚƵĚĞŶƚƐ ĨƌŽŵ ǀĂƌŝŽƵƐ
ĨŝĞůĚƐ ŝŶ ďŽƚŚ ĂĐĂĚĞŵŝĂ ĂŶĚ ŝŶĚƵƐƚƌǇ ĨŽƌ ĚŝƐĐƵƐƐŝŶŐ ƚŚĞ ůĂƚĞƐƚ ƌĞƐĞĂƌĐŚĞƐ͕ ƐƚĂŶĚĂƌĚƐ͕ ĚĞǀĞůŽƉŵĞŶƚƐ͕ŝŵƉůĞŵĞŶƚĂƚŝŽŶƐ ĂŶĚ ĂƉƉůŝĐĂƚŝŽŶ ƐǇƐƚĞŵƐ ŝŶ Ăůů ĂƌĞĂƐ ŽĨ ŝŵĂŐĞ ĞůĞĐƚƌŽŶŝĐƐ ĂŶĚ ǀŝƐƵĂů ĐŽŵƉƵƚŝŶŐ͘dŽƉŝĐƐĐŽǀĞƌĞĚŝŶĐůƵĚĞďƵƚĂƌĞŶŽƚůŝŵŝƚĞĚƚŽ͗Ͳ /ŵĂŐĞ ĂŶĚ ǀŝĚĞŽ ĐŽĚŝŶŐ͖ dƌĂŶƐĐŽĚŝŶŐ͕ ĐŽĚŝŶŐ ƐƚĂŶĚĂƌĚƐ ĂŶĚ ƌĞůĂƚĞĚ ŝƐƐƵĞƐ
Ͳ /ŵĂŐĞ ĂŶĚ ǀŝĚĞŽ ƉƌŽĐĞƐƐŝŶŐ͖ /ŵĂŐĞ ĂŶĂůǇƐŝƐ͕ ƐĞŐŵĞŶƚĂƚŝŽŶ ĂŶĚ ĐůĂƐƐŝĨŝĐĂƚŝŽŶ͕ ŝŵĂŐĞ ƌĞĐŽŐŶŝƚŝŽŶ
Ͳ /ŵĂŐĞ ƌĞƐƚŽƌĂƚŝŽŶ͖ ^ƵƉĞƌͲƌĞƐŽůƵƚŝŽŶ͕ ĐŽůŽƌ ƌĞƐƚŽƌĂƚŝŽŶ ĂŶĚ ŵĂŶĂŐĞŵĞŶƚͲ ŽŵƉƵƚĞƌ ǀŝƐŝŽŶ͖ DŽƚŝŽŶ ĂŶĂůǇƐŝƐͲ ŽŵƉƵƚĞƌ ŐƌĂƉŚŝĐƐ͖ DŽĚĞůŝŶŐ͕ ƌĞŶĚĞƌŝŶŐ͕ ǀŝƐƵĂůŝǌĂƚŝŽŶ͖ ĂŶŝŵĂƚŝŽŶ͕ /ŶƚĞƌĂĐƚŝŽŶ͕ EWZ
Ͳ sŝƌƚƵĂů ƌĞĂůŝƚǇ ;ZͿ͕ ϯ ŝŵĂŐŝŶŐ ĂŶĚ ĚƌŽŶĞ ĂƉƉůŝĐĂƚŝŽŶͲ ĂƚĂ ŚŝĚŝŶŐ͖ tĂƚĞƌŵĂƌŬŝŶŐ ĂŶĚ ƐƚĞŐĂŶŽŐƌĂƉŚǇ͕ ĐŽŶƚĞŶƚ ƉƌŽƚĞĐƚŝŽŶͲ ŝŽŝŶĨŽƌŵĂƚŝĐƐ ĂŶĚ ĂƵƚŚĞŶƚŝĐĂƚŝŽŶ͖ ŽŵƉƵƚĞƌ ĨŽƌĞŶƐŝĐƐ
Ͳ /ŵĂŐĞ ĚĂƚĂďĂƐĞ͖ /ŵĂŐĞ ĂŶĚ ǀŝĚĞŽ ƌĞƚƌŝĞǀĂů͕ ĚŝŐŝƚĂů ŵƵƐĞƵŵ͕ ĚŝŐŝƚĂů ĂƌĐŚŝǀŝŶŐ͕ ĐŽŶƚĞŶƚ ĚĞůŝǀĞƌǇ͖Ͳ /ŵĂŐĞ ĂƐƐĞƐƐŵĞŶƚ͖ /ŵĂŐĞ ƋƵĂůŝƚǇͲ WƌŝŶƚŝŶŐ ĂŶĚ ĚŝƐƉůĂǇ ƚĞĐŚŶŽůŽŐŝĞƐ͖ /ŵĂŐŝŶŐ ĚĞǀŝĐĞƐ͕ ĚŝŐŝƚĂů ƐŝŐŶĂŐĞ͕ ĞůĞĐƚƌŽŶŝĐ ƉĂƉĞƌͲ sŝƐƵĂů ĐŽŵŵƵŶŝĐĂƚŝŽŶ͖ ,ƵŵĂŶ ŝŶƚĞƌĨĂĐĞƐ ĂŶĚ ŝŶƚĞƌĂĐƚŝŽŶƐͲ DŽďŝůĞ ŝŵĂŐĞ ĐŽŵŵƵŶŝĐĂƚŝŽŶ͕ ŶĞƚǁŽƌŬŝŶŐ ĂŶĚ ƉƌŽƚŽĐŽůƐ͕ ŽƉƚŝĐĂů ĐŽŵŵƵŶŝĐĂƚŝŽŶ
Ͳ ,ĂƌĚǁĂƌĞ ĂŶĚ ƐŽĨƚǁĂƌĞ ŝŵƉůĞŵĞŶƚĂƚŝŽŶ͖ /ŵĂŐĞ ƌĞůĂƚĞĚ ĂƉƉůŝĐĂƚŝŽŶƐ͕ >^/Ͳ ŽŶƚĞŶƚ WƌŽĚƵĐƚŝŽŶ͖ ŽŵƉƵƚĞƌ ŐƌĂƉŚŝĐƐ͕ ĂŶŝŵĂƚŝŽŶ͕ ŐĂŵĞ͕ ŵĞĚŝĂ Ăƌƚ͕ ŝŶƚĞƌĂĐƚŝǀĞ ŵĞĚŝĂͲ ƌƚŝĨŝĐŝĂů /ŶƚĞůůŝŐĞŶĐĞ ;/Ϳ ĂŶĚ ŝŵĂŐĞ ƉƌŽĐĞƐƐŝŶŐ

WĂƉĞƌƐƵďŵŝƐƐŝŽŶ͗dŚĞƌĞ ĂƌĞ ƚǁŽ ƉĂƉĞƌ ĐĂƚĞŐŽƌŝĞƐ͗ 'ĞŶĞƌĂů ƉĂƉĞƌƐ ĂŶĚ >ĂƚĞ ƌĞĂŬŝŶŐ WĂƉĞƌƐ͘ dǁŽ dƌĂĐŬƐ ĂƌĞ ƉƌŽǀŝĚĞĚ ŝŶ 'ĞŶĞƌĂů
WĂƉĞƌƐ͗ :ŽƵƌŶĂů dƌĂĐŬ ĂŶĚ ŽŶĨĞƌĞŶĐĞ dƌĂĐŬ͘ EŽƚĞ ƚŚĂƚ ŝŵƉŽƌƚĂŶƚ ĚĂƚĞƐ ĂƌĞ ĚŝĨĨĞƌĞŶƚ ĚĞƉĞŶĚŝŶŐ ŽŶ ƚŚĞĐĂƚĞŐŽƌŝĞƐ͘dŚĞ :ŽƵƌŶĂů dƌĂĐŬ ǁŝůů ďĞ ĐŽŶǀĞŶŝĞŶƚ ƚŽ ƚŚŽƐĞ ǁŚŽ ǁŝƐŚ ƚŽ ƉƵďůŝƐŚ ĨƵůů ũŽƵƌŶĂů ƉĂƉĞƌƐ ƐŚŽƌƚůǇ ĂĨƚĞƌ ƚŚĞĐŽŶĨĞƌĞŶĐĞ ĂŶĚ ĂůƐŽ ƉƵďůŝƐŚ ĐŽŶĨĞƌĞŶĐĞ ƉĂƉĞƌƐ ;ĂďďƌĞǀŝĂƚĞĚ ǀĞƌƐŝŽŶͿ ŝŶ /sϮϬϭϵ͘WƌŽƐƉĞĐƚŝǀĞ ĂƵƚŚŽƌƐ ĂƌĞ ŝŶǀŝƚĞĚ ƚŽ ƐƵďŵŝƚ Ă ƉĂƉĞƌ ŝŶĐůƵĚŝŶŐ ƌĞƐƵůƚƐ͕ ĨŝŐƵƌĞƐ ĂŶĚ ƌĞĨĞƌĞŶĐĞƐ͘ dŚĞ ĨŝƌƐƚ ƉĂŐĞ ŽĨ ƚŚĞƉĂƉĞƌ ƐŚŽƵůĚ ŝŶĐůƵĚĞ ĂƵƚŚŽƌ ŶĂŵĞ;ƐͿ͕ ĂĨĨŝůŝĂƚŝŽŶ͕ ĂŶĚ Ă ƐŚŽƌƚ ĂďƐƚƌĂĐƚ͘ dŚĞ ŽĨĨŝĐŝĂů ůĂŶŐƵĂŐĞ ŝƐ ŶŐůŝƐŚ ĂŶĚĂƵƚŚŽƌƐ ƐŚŽƵůĚ ƐƵďŵŝƚ ƚŚĞŝƌ ƉĂƉĞƌƐ ĂƐ W& ƚŚƌŽƵŐŚ ƚŚĞ ŽŶůŝŶĞ ƐƵďŵŝƐƐŝŽŶ ƐǇƐƚĞŵ͕ ǁŚŝĐŚ ǁŝůů ďĞ ĂǀĂŝůĂďůĞ
ĂƌŽƵŶĚ :ĂŶƵĂƌǇ͕ ϮϬϭϵ Ăƚ ŚƚƚƉƐ͗ͬͬǁǁǁ͘ŝŝĞĞũ͘ŽƌŐͬĞŶͬŝĞǀĐϮϬϭϵͬ ͘dŚĞ ƉĂƉĞƌ ƐƵďŵŝƐƐŝŽŶ ŐƵŝĚĞ ĂŶĚ /s ĨŽƌŵĂƚƐ ;dĞy ĨŽƌŵĂƚͬD^ tŽƌĚ ĨŽƌŵĂƚͿ ǁŝůů ďĞ ĂůƐŽ ƉƌŽǀŝĚĞĚ Ăƚ ƚŚŝƐ ƐŝƚĞ͘dŚĞ ŽƌŐĂŶŝǌŝŶŐ ĐŽŵŵŝƚƚĞĞ ƉĂƌƚŝĐƵůĂƌůǇ ĞŶĐŽƵƌĂŐĞƐ ŐƌĂĚƵĂƚĞ ƐƚƵĚĞŶƚƐ ƚŽ ƉƌĞƐĞŶƚ ƚŚĞŝƌ ǁŽƌŬƐ ŝŶ ƚŚĞ ƐƉĞĐŝĂů
ƐĞƐƐŝŽŶƐ ƚŚĂƚ ĂƌĞ ŶŽǁ ƉůĂŶŶĞĚ ďǇ ƚŚĞ ĐŽŵŵŝƚƚĞĞ ŽĨ ƚŚĞ ĐŽŶĨĞƌĞŶĐĞ͘&ƵƌƚŚĞƌŝŶĨŽƌŵĂƚŝŽŶ͗dŚĞ dƌĂŶƐ͘ ŽŶ /s ŽĨ //: ŝƐ ƉůĂŶŶŝŶŐ Ă ĨŽƌƚŚĐŽŵŝŶŐ ƐƉĞĐŝĂů ŝƐƐƵĞ ŽŶ ͞:ŽƵƌŶĂů dƌĂĐŬ WĂƉĞƌƐ ŝŶ /sϮϬϭϵ͟ ŝŶ sŽů͘ϳ͕ EŽ͘ Ϯ ;ĞĐĞŵďĞƌ͕ ϮϬϭϵͿ ǁŚŝĐŚ ǁŝůů ŝŶĐůƵĚĞ ƚŚĞ ƉĂƉĞƌƐ ƐƵďŵŝƚƚĞĚ ƚŽ :ŽƵƌŶĂů dƌĂĐŬ͘ dŚĞ dƌĂŶƐ͘ ŽŶ /s ŽĨ //:ŝƐ ĂůƐŽ ƉůĂŶŶŝŶŐ Ă ĨŽƌƚŚĐŽŵŝŶŐ ƐƉĞĐŝĂů ŝƐƐƵĞ ŽŶ ͞ǆƚĞŶĚĞĚ WĂƉĞƌƐ WƌĞƐĞŶƚĞĚ ŝŶ /sϮϬϭϵ͕͟ ŝŶ sŽů͘ϴ͕ EŽ͘ϭ ;:ƵŶĞ͕ϮϬϮϬͿ͘ ŶǇ ĂƌƚŝĐůĞƐ ƉƌĞƐĞŶƚĞĚ ŝŶ /sϮϬϭϵ ĂŶĚ ŶŽƚ ƉƵďůŝƐŚĞĚ ŝŶ Ă ƐƉĞĐŝĂů ŝƐƐƵĞ ŽŶ n:ŽƵƌŶĂů dƌĂĐŬ WĂƉĞƌƐ ŝŶ/sϮϬϭϵ| ĐĂŶ ďĞ ƐƵďŵŝƚƚĞĚ͘ DŽƌĞ ĚĞƚĂŝůĞĚ ŝŶĨŽƌŵĂƚŝŽŶ ǁŝůů ďĞ ŶŽƚŝĨŝĞĚ ŝŶ ƚŚĞ /sϮϬϭϵ ǁĞďͲƐŝƚĞ ĂŶĚ :ŽƵƌŶĂů
ŽĨ //:͘331

画像電子学会セミナー
Advanced Image Seminar 2019 (AIS2019)「世の中を変革する AI の最新技術，役に立つ AI の最新動向」
昨今の第 3 次 AI ブームはこれまでの AI ブームと異なり，生活の中に AI が溶け込む世の中の訪れを感じられます．特に計算機パワーの増大と技術の進歩により，これまでにない学習と推論を軸に身近なサービスが AI によって提供されるなど，もはや AI を無視できない世の中になってきたのではないでしょうか．
本セミナーでは，特に産官の AI に関する取組みについて第一線で活躍されている講師の皆様からご紹介頂き，
今後の AI サービスの展開，AI 技術の研究開発の方向性について，議論したいと考えております．
主催：画像電子学会
協賛：映像情報メディア学会，情報処理学会，電子情報通信学会，
日本印刷学会，日本画像学会，日本写真学会
開催日：2019 年 6 月 12 日（水） 10:30 より
場所：早稲田大学 西早稲田キャンパス 55N 号館 1 階 大会議室 A 分割
東京メトロ 副都心線 西早稲田駅に直結
住所：〒169-8555 新宿区大久保 3-4-1
https://www.waseda.jp/top/access/nishiwaseda-campus
参加費：一般会員（協賛学会会員を含む）15,000 円 / シニア会員（減免制度ご利用の方）3,000 円 / 学生 3,000
円 / 非会員 20,000 円● 振込手数料はご負担願います．
● 参加者には予稿集とともに，講演カラー資料の電子ファイル（CD-R）を配布予定です．
※お申し込み頂いた非会員の方で，入会希望の方は，入会金・初年度会費が免除になります．
※賛助会員には特典があります．詳細はお申し込みの際，下記の学会事務局までお問い合わせください．
振込先： みずほ銀行 浜松町支店
口座番号：(普)1961408 口座名：画像電子学会
申込先： 画像電子学会 事務局〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号
TEL: 03-5615-2893， FAX：03-5615-2894, e-mail: kikaku@iieej.org
下記事項をご記入の上，学会事務局へメール，またはホームページ(https://www.iieej.org/attend_registration/)よりお申込みください．
セミナー名「AIS2019」，参加者氏名，所属，連絡先，資格（会員，シニア会員，非会員，学生，協賛
学会名等），技術交流会参加希望有無※ 通信欄に請求書の有無を記載ください．

332

【プログラム】
司会：田中 清（NTT サービスエボリューション研究所）
10:30- 10:40

開会挨拶

10:40-11:40 「新技術の放送利用 ～AI キャスター

ヨミ子～」

講師：NHK 放送技術局 メディア技術センター クロスメディア部 副部長

有安 香子 氏

研究成果を広く視聴者の皆さまに還元するため，新技術を番組で利用するまでの奮闘記を，音声合成研
究の成果を利用した新人キャスター”ヨミ子”や，高精細な CG 描画で多様なデータを可視化する
NMAPS を例にご紹介します．
11:40-12:40 「画像認識 AI を活用した訪日外国人向けチャットボットの開発と実証実験」
講師：NTT サービスエボリューション研究所 主任研究員 中村 泰治 氏
訪日外国人の増加で公共交通機関等の案内サービスの効率化が求められていることから，テキスト形式の質問に加えて画像形式の質問にも回答するチャットボットを開発し，実際の鉄道駅において実証実験を行いました．今回はその開発内容と実験結果について，ご紹介します．
12:40-13:30

昼食休憩

13:30-14:30 「AI ネットワーク化と倫理原則の検討」（仮題）
講師：総務省 情報通信政策研究所 調査研究部 主任研究官 高木 幸一 氏
AI に関する技術開発と利活用，及び相互連携（AI ネットワーク化）の急速な進展を踏まえ，総務省では，マルチステークホルダによる「AI ネットワーク社会推進会議」を開催しています．その内容，及び展開の状況等について，ご紹介します．
14:30-15:15 「テジタルトランスフォーメーションで実現する新たな産業改革」
講師：日本電気 データサイエンス研究所 所長 広明 敏彦 氏

15:15-16:00 「画像系ＡＩの実ビジネスへの応用」
講師：リコー イノベーション本部 AI 応用研究センター 所長

16:15-16:45

戸塚 卓志 氏

パネル・ディスカッション登壇された講師の皆様を交えて，AI サービスの展望や将来の AI 技術の研究開発の方向性などについてご議論頂きます．会場の皆様からのご質問にもお答えします．
16:45-16:50

閉会挨拶

17:00-18:00

技術交流会○本セミナー終了後，講師の方，聴講者の方を含めた技術交流会（参加無料）を予定しています．ぜひご参加ください．
○講演内容は変更になる場合があります．予めご了承ください．
333

2020 年 1 月号 論文特集号 論文募集
－暮らしと社会を支える画像・パターン認識関連技術－
画像電子学会 編集委員会

ディジタル画像・映像が暮らしや社会の隅々まで普及しつつある中，画像認識技術にも大きな期待が寄せられています．身近な例ではカメラの顔検出やスマイル検知が当たり前になっており，自動化検診も長い歴史を持っています．中でも自動運転は政府の成長戦略の中でも大きくとりあげられており，加減速・操舵のいずれかの自動操作を可能とするレベル 1（単独型）や，両方を可能とするレベル 2（システムの複合化）は既に実用化され，より高度な自動走行（レベル 3）や完全自動走行（レベル 4）の実現を目標に自動車関連メーカや IT 関連企業などで，実用化研究が急速に進められています．具体的課題としては走行レーンの白線，
前後左右の走行車両，駐車車両，歩行者などの障害物，信号や交通標識などの認識があり，夜間や雨天時も含む多種多様な環境下で安全に自動走行や走行アシストを行うには高精度の環境認識性能が要求されます．
このため，機械学習技術のほか，従来のパターン認識技術の適用，さらに Deep Learning など最新の技術の援用が進められており，認識技術も飛躍的に進んでいます．
このような高度な画像認識技術は自動運転にとどまらず，工場でのライン監視，空港での荷物検査、犯罪捜査のための人物同定などセキュリティを中心に様々な分野に広がりを見せており，省力化と人間よりも高性能な視覚代替機能としての役割が大いに期待されています．
そこで，本特集号では，各種画像認識，パターン認識技術に関連する論文，またそれらを応用した有益で新規性のあるシステム開発論文を広く募集します．奮ってご投稿下さい．
1. 対象分野（キーワード）：
画像処理，画像認識，パターン認識，コンピュータビジョン，AI，ディープラーニング，機械学習，物体検出，画像解析，動作解析，IoT，ビッグデータ，データベース，クラウドソーシング，画像・映像検索，
ユーザビリティ，インタフェース，インタラクション，自動運転，走行環境認識，GIS，ナビゲーション，
ドライブレコーダ，その他 関連する基礎・応用・システム化技術
2. 論文の取り扱い
投稿様式，査読プロセスとも通常の投稿論文と同様です．採録決定が特集号に間に合わなかった場合には，通常の投稿論文として取り扱います．英文での投稿も受け付けます（IIEEJ Transactions on Image Electronics
and Visual Computing への掲載となります）．英文 CFP は次のページをご参照ください．
3. 特集号発行
画像電子学会誌（電子版） 2020 年 1 月号
（英文：IIEEJ Transactions on Image Electronics and Visual Computing Vol.7, No.2 2019 年 12 月発行）
4. 論文投稿締切日
2019 年 5 月 31 日(金)5. 投稿方法および問い合わせ先
詳細は右記 URL をご確認ください．http://www.iieej.org/ronbun.html
画像電子学会 http://www.iieej.org/〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号室
TEL： 03-5615-2893， FAX： 03-5615-2894， E-mail：hensyu@iieej.org

334

Call for Papers
Special Issue on Image Processing / Pattern Recognition Technologies
Supporting Human Living and Society
IIEEJ Editorial Committee
Digital images have been spreading to every corner of human living and society. Together with thismovement, there is great expectation for image recognition technology. Familiar examples will be face/smile
detection of digital cameras. Automated medical examination has also a long history. Automatic driving ofvehicles has been taken up as one of the Japanese government's growth strategies. Level 1 that enables
automatic operation of one of acceleration / deceleration / steering and level 2 (complex of level 1) arealready in practical use. To achieve monitored automatic driving (level 3) and fully automatic driving (level4), practical research is progressing by the recognition of white lines of running lanes, obstacles such as
running vehicles, parking vehicles, walkers, objects such as signals, traffic signs and so on, under accurate
environmental recognition performance including nighttime and rainy weather.
For various targets of image recognition, in addition to machine learning techniques, applications ofconventional pattern recognition technology, and applications of the latest technology such as Deep Learning
are under study. Such advanced image recognition technology spreads not only in automatic driving ofvehicles but also in various fields mainly focusing on security issues such as factory line monitoring, airport
baggage inspection, person identification for criminal investigation. With the help of such technologies, laborsaving is highly expected by the high-performance visual substitution of human beings.
Based on this background, we look forward to receiving your papers, system development papers, andmaterial papers in this special issue.
1.

Topics covered include but not limited to
Image processing, Image recognition, Pattern recognition, Computer vision, AI, Deep learning, Machinelearning, Object detection, Image analysis, Motion analysis, IoT, Big data, Database, Crowdsourcing,
Image/Video retrieval, Usability, Interface, Interaction, Automatic driving, Recognition of driving
environment, GIS, Navigation, Drive recorder, Other related fundamental / application / systemized
technologies

2.

Treatment of papers
Submission paper style format and double-blind peer review process are the same as an ordinary
contributed paper. If the number of accepted papers is less than the minimum number for the special
issue, the accepted paper will be published as an ordinary contributed paper.

3.

Publication of Special Issue:
IEEJ Transactions on Image Electronics and Visual Computing Vol.7, No.2 (December, 2019)4.

Submission Deadline:

Friday, May 31, 20195.

Contact details for Inquires:
IIEEJ Office E-mail: hensyu@iieej.org

6.

Online Submission URL: http://www.editorialmanager.com/iieej/

335

2020 年 4 月号 論文特集号 論文募集
－画像・映像の作成・加工のための CG・画像処理関連技術－
画像電子学会 編集委員会
ここ数年のハードウェアの発展に伴い，コンピュータグラフィックス（CG）の技術によって静止画像のみならず動画像もリアルにかつ安価に作成できるようになってきました．また，各種動画像編集ソフトや統合開発環境を有したゲームエンジン等により，映像の各種処理・加工が極めて簡単に行えるようになってきています．さらに，モーションキャプチャのためのスタジオを有する企業も増えつつあり，自然な人間や動物の動きを CG に反映することも容易になっています．
とはいえ， CG による画像・映像の作成・編集にかかる手間や時間は依然膨大で，その容易化や高速化のために世界的に様々な方法が研究されています．特に近年注目度が非常に高い AI 関連技術を利用する手法としては，
画像補完，白黒画像への色付け，線画デッサンの作成などの画像作成分野にとどまらず，物理ベースのレンダリン
グやシミュレーションの高速化に至るまで幅広く活用されています．また，クラウドソーシングの技術を応用してより簡単にユーザの求める画像・映像を作成する方法が提案されています．このように画像・映像の作成・編集の容易化・高速化・高品質化には様々な技術の適用が進んでおり，今後大いに発展が期待されます．
そこで，本特集号では画像・映像の作成・加工のための CG・画像処理技術に関連する論文，システム開発論文を広く募集します．奮ってご投稿下さい．
1. 対象分野（キーワード）：
コンピュータグラフィックス，モデリング，レンダリング，シミュレーション，立体視，可視化，
AR/MR/VR，ゲーム，アニメ，マンガ，エンターテインメント，モーションキャプチャ，ウェアラブルセ
ンサ，画像処理，画像解析，物体検出，画像認識，動作解析，画像符号化，3 次元形状復元，コンピュー
タビジョン，ビッグデータ，データベース，クラウドソーシング，画像・映像検索，ユーザビリティ，インタフェース，インタラクション，AI，ディープラーニング，機械学習，その他 関連する基礎・応用・システム化技術2. 論文の取り扱い
投稿様式，査読プロセスとも通常の投稿論文と同様です．採録決定が特集号に間に合わなかった場合には，通常の投稿論文として取り扱います．英文での投稿も受け付けます（IIEEJ Transactions on Image Electronics
and Visual Computing への掲載となります）．英文 CFP は次のページをご参照ください．
3. 特集号発行
画像電子学会誌（電子版） 2020 年 4 月号
（英文：IIEEJ Transactions on Image Electronics and Visual Computing Vol.8, No.1 2020 年 6 月発行）
4. 論文投稿締切日
2019 年 10 月 31 日(木)5. 投稿方法および問い合わせ先
詳細は右記 URL をご確認ください．http://www.iieej.org/ronbun.html
画像電子学会 http://www.iieej.org/〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号室
TEL： 03-5615-2893， FAX： 03-5615-2894， E-mail：hensyu@iieej.org

336

Call for Papers
Special Issue on CG & Image Processing Technologies
for Generation and Post-Processing of Image/Animation
IIEEJ Editorial Committee
In computer graphics (CG), not only realistic images but also animations can be generated in short time
and with low cost, thanks to the improvement of hardware performance in recent years. In addition,
creation/post-processing of animations can easily be achieved using image/video editing software and gameengine under integrated environments for its development. Furthermore, production companies equippedwith studios for motion capture have been increasing, so natural motion of human and animal can easily bereflected to 3D characters.
Yet, time and task for generation and editing of images/animations are still quite large and expensive. To
speed-up and facilitate these processes, various methods have been proposed in worldwide. Especially,learning-based techniques (e.g. AI and deep learning, etc) have been often used just like other research areas.
In the image processing field, image completion and colorization, pencil drawing generation are achieved
using these learning-based techniques. The techniques are also used for accelerating physics-based renderingand simulation, in computer graphics. On the other hand, several methods using crowdsourcing are proposed,
which can easily create the user-desired image/animation. As above, various techniques are being applied tofacilitate/accelerate generation and editing of images and animations, and further development is expected.
Based on this background, we look forward to receiving your papers, system development papers, andmaterial papers in this special issue.
1.

Topics covered include but not limited toComputer graphics, Modeling, Rendering, Simulation, Stereoscopic, Visualization, AR/MR/VR, Game,
Anime, Manga, Entertainment, Motion capture, Wearable sensor, Image processing, Image analysis,
Object detection, Image recognition, Motion analysis, Image encoding, 3D shape reconstruction,
Computer vision, Big data, Database, Crowdsourcing, Image/video retrieval, Usability, Interface,
Interaction, AI, Deep learning, Machine learning, Other related fundamental / application / systemized
technologies

2.

Treatment of papers
Submission paper style format and double-blind peer review process are the same as an ordinary
contributed paper. If the number of accepted papers is less than the minimum number for the special
issue, the acceptance paper will be published as an ordinary contributed paper. We ask for yourunderstanding and cooperation.

3.

Publication of Special Issue:
IEEJ Transactions on Image Electronics and Visual Computing Vo.8, No.1 (June, 2020)

4.

Submission Deadline:

Friday, November 29, 20195.

Contact details for Inquires:
IIEEJ Office E-mail: hensyu@iieej.org

6.

Online Submission URL: http://www.editorialmanager.com/iieej/

337

Call for Papers

VC 2019 論文特集 論文募集
ゲスト編集委員長（VC 2019 プログラム委員長）
岩崎 慶(和歌山大学)
VC 2019（2019 年 6 月 27-29 日開催 於：早稲田大学）は未来のコンピュータ・グラフィックス(CG)技術の発表の場であると同時に，産学の垣根を超えて技術者，研究者，クリエイターが交流する会議です．世界的にもハイレベルな CG 技術の研究開発から，現場への技術還元まで，幅広く議論します．VC 2019 では，CG，及び，CG の周辺分野における革新的な技術の発表を募集しています．創造的，独創的な学術的成果をはじめ，CG 技術の新しい使い方や，ゲーム開発や映像制作を含む現場での実用例などの応用的成果まで，未来の CG 業界を刺激する幅広い投稿をお待ちしております．
さて，画像電子学会誌では，VC 2019 の技術論文，及び，応用論文として採択された研究成果を対象とする論文特集を企画しています．VC 2019，並びに，本論文特集へのご投稿を，是非ともご検討いただきますようお願いいたします．
1.

VC2019 投稿論文対象分野(キーワード)
例年投稿の多いテーマについては，以下のキーワードならびに昨年の VC 2018 のプログラムを参考にしてください．
この他，テーマに関するご質問は VC 2019 プログラム委員会までご相談ください．
2.

グラフィックスの基礎（レンダリング，モデリング，形状モデル，シミュレーション）

グラフィックスシステム（入出力デバイス，GPU，Web／モバイルシステム）

グラフィックスの応用（マルチメディア，アニメーション，可視化，医療応用，地理情報処理）

デジタルファブリケーション（3D プリンタ，建築応用，デジタルエンジニアリング）

エンタテインメント（ゲーム，エージェント・人工知能応用，インタラクション応用)

VR 基礎・応用（複合／拡張現実，五感インタフェース，視覚心理・認知モデル）

画像処理（画像の表示・計測・認識等，ビジョンとグラフィックスの融合技術）



コンテンツ処理（形状・素材データの検索／編集，異種媒体での表示）

画像電子学会誌論文特集の取り扱い
学会誌論文特集への投稿内容は VC 2019 に採択された研究成果である必要があります．査読基準は画像電子学会論文規定に沿いますが，VC2019 での査読委員が査読を担当する予定です．査読基準や論文掲載料については画像電子学会ホームページを参照ください（https://www.iieej.org/trans/toukou/toukou-tebiki.html）．なお，採録決定が特集号掲載スケジュールに間に合わない場合には，通常の学会誌投稿論文として取り扱います．

3.

特集号発行時期
画像電子学会誌(電子版) 2019 年 10 月号

4.

論文投稿締切日VC 2019：申込 2019 年 3 月 29 日（原稿提出〆切

4 月 5 日，採録通知

5 月下旬）

VC2019 論文特集：2019 年 7 月 20 日
5.

投稿方法および問い合わせ先
投稿の詳細は下記 URL をご確認ください．
http://www.iieej.org/ronbun.html (電子投稿)
問い合わせ先：画像電子学会〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号室
TEL: 03-5615-2893

E-mail: hensyu@iieej.org

FAX: 03-5615-2894

http://www.iieej.org/

338

2019 年 4 月 5 日「短期特別論文査読制度」のご案内
編集委員会
当学会会員の皆様から，投稿論文に対し通常論文よりも更に査読期間を短く対応して欲しいとの要望がありました．これまで，当学会に投稿いただいた論文では，第１次査読判定までの時間として，通常の論文査読の場合 7~10 週程度を要します．その内訳として，査読幹事選定（投稿受付後，最初の編集委員会で決定するため，1~4 週必要）
，査読者選定（1~2 週）と第 1 次査読（ショートペーパー: 3 週，通常
論文: 4 週）に要する時間に基づいています．しかし，特に博士論文審査など，短期に査読を実施して欲しいという要望を踏まえて，各過程の時間を短縮し，投稿から最初の判定までを短縮化する「短期特別論文査読制度」を，募集期間を設定して新たに試験実施することに致しました．
この査読方式の場合，投稿から第 1 次査読判定までの時間は，ほぼ半分になります．仮に条件付き採録判定となった場合でも，修正投稿後の通常査読期間に対し半分の期間で評価を実施いたしますので，
著者が修正投稿までの期間を短く対応できれば，採録までの判定期間を短くすることが可能です．この制度を利用したい方は，できれば投稿の 2 週間以上前に，投稿予定日，投稿から第 1 次評価までの希望
期間，論文種別，論文タイトル，論文概要，キーワード，英和の区分，頁数見込み，投稿論文の専門分
野，問い合わせ対応著者などの情報を添えてメールで事務局に依頼ください．ご依頼を頂いてから 1~1.5
週で特別査読の対応（各専門分野の査読者の都合を踏まえて）の可否と投稿から第 1 次査読判定までの想定期間をご返事します．皆様のご協力とご理解のほど，よろしくお願い申し上げます．

339

平成 31 年 4 月 5 日「短期特別論文査読制度」の概要
画像電子学会編集委員会
通常論文査読とは別に，通常査読よりも約半分の期間で査読判定する「短期特別論文査読制度」を試験実施する．
次に示す項目を熟読の上，お申込ください．申込時点で，記載内容を承諾しているとします．
1.

募集期間
期間を限定して，募集いたします．詳細は HP をご確認ください．

2.

査読期間
査読期間の目安を表 1 に示す．表 1 の査読期間を前提に第 1 次判定結果報告予定日を設定します．
表 1 通常査読と短期特別査読における第 1 次査読判定時間の比較（目安）
査読種別

3.

通常査読

短期特別
論文査読

ショート

① 査読幹事選定

1~4 週

0.5 週

ペーパー

② 査読者選定

1~2 週

0.5~1 週

③ 第１次判定結果報告

3~4 週

1.5 週

通常論文・

① 査読幹事選定

1~4 週

0.5 週

システム開

② 査読者選定

1~2 週

0.5~1 週発論文など

③ 第１次判定結果報告

4~5 週

2.5 週

評価方法
査読方法（投稿論文の評価方法）については，「論文投稿の手引き」及び「論文査読の手引き」に規定されている評価基準と同一基準で評価する．ただし，特集論文時に新たに定めた評価基準を設ける場合はそれに従う．

4.

費用
判定結果に分けて頁当たり投稿料（‫（ݔ‬円））と投稿料（ｙ（円））を定める．なお，掲載時には別途掲載料を申し受ける．ここで，ショートペーパー，論文・システム開発論文の総ページ数を‫（݌‬枚），
査読回数を݊とする．また，‫= ݔ‬2,500～10,000（円）と定める．金額は，募集時に案内する予定です．
(a) 即「採録」
投稿料: y = ‫（݌ × ݔ‬円）
本費用を，掲載料と合わせて請求する．
（投稿料＋掲載料）(b) 「条件付き採録」判定後，「採録」
投稿料: y = (1 + 0.5(݊ − 1))(‫（ )݌ × ݔ‬円）
本費用を，掲載料と合わせて請求する．
（投稿料＋掲載料）(c) 「条件付き採録」判定後，
「返戻」
（割引）

340

投稿料: y = 0.8‫（݌ × ݔ‬円）
本費用を，「返戻」判定通知時に請求する．
（投稿料）(d) 即「返戻」（割引）
投稿料: y = 0.5‫（݌ × ݔ‬円）
本費用を，「返戻」判定通知時に請求する．
（投稿料）(e) 取り下げの場合取り下げの時期を考慮して，(d)または(c)で対応する．
5.

申込方法
次に示す手順に従って，申込ください．


論文投稿前（2 週間前までに所定の情報を著者は事務局へ送付）


投稿予定日，投稿から第 1 次評価までの希望期間，論文概要，英和の区分，頁数見込みなどを事務局にメールで送付（担当: 福島，メールアドレス: hensyu@iieej.org）【書誌情報記載例】
本制度を利用した下記の投稿論文を予定しています．書誌情報は以下のとおりです．
(1) 論文番号: 201x-xxxx（後で，事務局が記載するので投稿予定者は記入しないこと．
）(2) 投稿予定日: （本メール送付日より，最低 2 週間後を設定してください．また，予定日より 2 週間以上遅れた場合は，受理通知は無効とし，再度，申込してください．
）(3) 第 1 次評価までの希望期間: 特になし あるいは xx 日まで（学位審査予定日・判定限度日等がある場合は，それらの日を具体的にご記入してください．
）(4) 論文種別: 通常論文 システム開発論文 ショートペーパー ショートペーパー（システム開発）(5) 論文タイトル（副題も含む）:(6) 使用言語: 日本語

あるいは英語（どちらか一方を残してください．
）(7) キーワード: （5 つ程度を記入）(8) 論文概要: （投稿予定の論文の概要を 300 字以上（日本語），或いは，200 ワード（英語）で記述ください．
(9) 頁数見込み: xxx 頁(10) 論文専門分野:（別紙を参照し該当番号を記入ください．複数記入可．
）(11) 担当者（第一著者，或いは，論文責任者等）氏名及び連絡先: （氏名・所属・メールア
ドレス・電話番号・FAX 番号）

本制度受理の可否の通知
本査読の事前申込（メール送付）から，7 営業日以内（休日期間を除く）に，短期特別査読論文としての受理の可否を著者へ通知する．ただし，当該論文に対する査読者が本制度対応可能であるかを踏まえて，受理を判断する．必ず受理できるとは限らないことをご了承
ください．

341



受理の回答後

事務局から本制度における論文査読受理の回答を著者へ送付



回答後，投稿予定日までに投稿を完了すること．投稿予定日から 2 週間以上経過した場合は，再度本制度申込を行うこととする．



本制度を利用した論文投稿
通常査読と区別して短期特別論文査読制度を使用し論文を投稿する．
（システム内の短期特別論文査読の項目を選び，投稿すること．
）



本制度を利用した査読過程とその結果通知


査読期間 2～3 週間が目安であり，査読判定後，一回目は投稿日より 4 週間以内，二回目以降は 18 日以内に事務局より査読結果が送付される．



判定後の対応

採録判定の場合
事務局より，正式な採録通知が送付される．最終原稿提出の依頼と投稿料及び論文掲載料等を含めた請求書を送付する．



条件付き判定の場合
事務局より，採録条件が送付されるので，基本的に 2 週間以内に修正論文を提出すること．
修正論文提出が遅延した場合，最終判定が遅れても，一切学会は責任を負わないものとす
る．



返戻の場合
残念ながら返戻となった場合，返戻通知が送付されるとともに，事務局から投稿料の支払
い請求を行う．



採録時


事務局の指示に従い，当該論文に関し，通常論文と同様に最終原稿提出，校正作業等を経て，学会誌，或いは，英文論文誌に掲載する．

6.

留意事項


「短期特別論文査読制度」希望として申込した時点で，本制度の内容を十分理解していることとする．
（受理の可否，査読期間，費用等）



短期特別査読投稿論文に関して，著者照会がある場合（条件付き採録判定の場合），基本的に通知日から 2 週間以内に修正原稿を提出するとする．ただし，修正原稿の提出が遅延した場合，当初予定していた日程までに判定通知ができなくても，予め提示している本査読期間目安を満たしている場合，学会は一切責任を負わないとする．ただし，投稿料は発生することに注意．

以上．

342

短期特別査読制度に係る論文募集のご案内
編集委員会
短期に査読を実施して欲しいという要望を踏まえて，投稿から最初の判定までを通常の投稿よりも短縮化する「短期特別論文査読制度」を試験的に実施いたします．本制度に係る論文を，次に示す期間で専門分野を限定して募集いたします．是非，皆様のご投稿をお待ちしております．


募集専門分野「画像符号化」「画像処理（画像認識・特徴抽出）
」



募集期間
2019 年度 1 次募集期間: 2019 年 5 月 20 日（月）～2019 年 6 月 24 日（月）

受付件数
数件程度（申込順）．想定を超えた数の論文申込がある場合は，ご希望に沿えない場合があります．
ご理解のほどよろしくお願いします．



費用
本制度を利用して論文投稿される場合，通常投稿とは別に投稿料（別紙資料内‫）ݕ‬を定めています．
今回は試験実施期間として，頁当たりの費用（別紙資料内‫）ݔ‬を 2,500 円（特別価格）といたします．



手続き方法
本制度を利用するには，投稿予定日 2 週間前までに事務局へ書誌情報を電子メールにて送付する必要があります．
【書誌情報記載例】(1) 論文番号: 20xx-xxxx（後で，事務局が記載するので投稿予定者は記入しないこと．
）(2) 投稿予定日: （本メール送付日より，最低 2 週間後を設定してください．また，予定日より 2
週間以上遅れた場合は，受理通知は無効とし，再度，申込してください．
）(3) 第 1 次評価までの希望期間: 特になし あるいは xx 日まで（学位審査予定日・判定限度日等がある場合は，それらの日を具体的にご記入してください．
）(4) 論文種別: 通常論文，システム開発論文，ショートペーパー，ショートペーパー（システム開発）(5) 論文タイトル（副題も含む）:(6) 使用言語: 日本語 あるいは 英語（どちらか一方を残してください．
）(7) キーワード: （5 つ程度を記入）(8) 論文概要:（投稿予定の論文の概要を 300 字以上（日本語），或いは，200 ワード（英語）で記述ください．
）(9) 頁数見込み: xxx 頁(10) 論文専門分野: （別紙を参照し該当番号を記入ください．複数記入可．
）(11) 担当者（第一著者，或いは，論文責任者等）氏名及び連絡先: （氏名・所属・メールアドレス・
電話番号・FAX 番号）(12) その他 要望事項
※ 本制度の詳細および具体的な手続きにつきましては，別紙資料を参照ください．



問い合わせ先一般社団法人 画像電子学会 担当: 福島 （E-mail: hensyu@iieej.org）343

2017 年 1 月 6 日改訂
2018 年 7 月 6 日改訂

論文投稿の手引き1.

論文投稿(1) 投稿前・ 著者は「論文投稿の手引き」，「スタイルフォーマット」を学会ホームページの「学会誌」，「英文論文誌」欄からダウンロードして，投稿論文の準備をする。
・ 「スタイルフォーマット」は TeX 版，Word 版の 2 種類が準備されており，出版コストおよび出版に至る労力削減のために，TeX 版の利用を推奨している。
・ 原稿には以下の 4 種類がある。
 論文：画像電子技術に関する独創的な研究成果，開発結果，検討結果を学術論文（フルペーパー）としてまとめたもの。新しいアイディアの提案を目的とする通常論文であり，新規性，有用性，信頼性，了解性に基づいて評価する。原則として刷り上がり 8 ページ以内とする。
 ショートペーパー：研究速報的な性格を持ち，部分的にある程度良好な結果，新しい知見が得られたことを研究報告としてまとめたもの。原則として刷り上がり 4 ページ以内とする。
 システム開発論文：通常論文の新規性，有用性とは別に，既存技術の組み合わせ，或いはそれ自身に新規性があり，開発結果が従来法より優れているか，或いは他システムへ応用可能であり，新しい知見が示されているもの。原則として刷り上がり 8 ページ以内とする。
 資料論文：試験，運用，製造などの新しい成果をまとめたもの。あるいは現場の新技術紹介
や提案などで，
必ずしも独創的でなくてもよい。
原則として刷り上がり 8 ページ以内とする．
・ 原稿の投稿資格は，論文，ショートペーパー，資料論文のいずれも，著者のうち必ず 1 名以上は本学会の正会員または学生会員であることとする。
・ 原稿の二重投稿を禁止する。論文，ショートペーパー，システム開発論文，資料論文のいずれも，その採録決定以前に投稿原稿と同一内容のものが，投稿原稿と同一の著者もしくは少なくともその中の 1 名を含む著者によって他の公開出版物に掲載または投稿中の場合には，原則として採録としない。公開出版物とは，内外の書籍，雑誌および官公庁，学校，会社等の機関誌，紀要などをいう。ただし，本学会または他学会（国外の学会を含む）等の年次大会，研究会，シンポジウ
ム，コンファレンス，講演会などの予稿，特許公開公報，当学会編集委員会で認めたものなどについてはこの限りではない。また，本会誌にショートペーパーとして採録になったものについて，検討を重ねて内容を充実させ，論文として再び投稿したものについては二重投稿とみなさない。
(2) 投稿
・ 投稿原稿は，全ての著者情報を削除すること。ただし，参考文献はこの限りではない。
・ 著者は以下の論文投稿のページよりユーザ登録を行った上で，ログインして必要事項の記入と「スタイルフォーマット」を使用し作成した論文原稿のアップロードを行う。論文原稿のファイ
ルは pdf 形式（TeX の dvi を変換したもの）または Word 形式とする。「スタイルフォーマット」
を使用するため，原則として図表等は論文原稿内に組み込む。（査読の参考となる別のファイルを同時にアップロードすることは可能）
http://www.editorialmanager.com/iieej/
・ 投稿に関して質問がある場合には，学会事務局編集担当者に相談のこと。（連絡先：〒116-0002
東京都荒川区荒川 3-35-4 ライオンズマンション三河島第二 101 号

TEL: 03-5615-2893

03-5615-2894 E-mail: hensyu@iieej.org 画像電子学会事務局編集担当 ）

344

FAX:

2.

論文査読と対応(1) 査読・ 論文原稿は該当専門分野に詳しい査読者によって審査され，「採録」，「条件付採録」または「返戻」のいずれかに判定される。査読結果は，学会事務局より連絡著者宛にメールで通知される。
・ 評価方法
通常論文は，次の基準で評価する。
 新規性：投稿内容に著者の新規性があること。
 有用性：投稿内容が学術や産業の発展に役立つものであること。
 信頼性：投稿内容が読者から見て信用できるものであること。
 了解性：投稿内容が明確に記述されており，読者が誤解なく理解できるものであること。
ショートペーパーは，通常論文の新規性，有用性とは別に，研究内容に速報性があり，部分的或いは斬新的な尺度からある程度良好な結果，部分的にでも新しい知見が得られたことを評価する。
システム開発論文は，通常論文の新規性，有用性とは別に次の基準で評価する。
 システム開発の新規性：既存技術の統合であっても，組み合わせの新しさ，システムの新しさ，開発したシステムで得られた知見の新しさなどをシステムの新規性として認める。
 システム開発の有用性：類似システムと比較し，総合的或いは部分的に優れていること。シ
ステムとして先駆的な新しい応用コンセプトが示されていること。組み合わせが実用化のために合目的最適性を有すること。性能限界や実利用システムの性能事例が示されていること。
資料論文は，通常論文の新規性，有用性とは別に，試験，運用，製造などの新しい成果，現場の新技術紹介や提案など，必ずしも独創的でなくても優先性があれば新規性として認める。また，新しい成果が既存技術と比較し優れており，学術や産業の発展に役立つものであればそれを評価する。
(2) 査読結果受領後の対応
・ 「採録」の場合，著者は最終原稿の準備（３．に記載）に進む。
・ 「採録（参考意見有り）」の場合，著者は査読者からの参考意見を考慮して論文を修正し，最終原稿の準備（３．に記載）に進む。
・ 「条件付採録」の場合，著者は査読者から示された「採録の条件」に基づき，指定された期日まで（60 日以内）に論文を修正し，照会内容への対応を明記した回答書とともに再提出し，再度審査を受ける。修正論文には，修正箇所がわかるように，色を付けるか，下線を引くなどすること。
また，回答書は必ず添付し，採録条件全てに対し，修正点，主張点，今後の課題などを丁寧に説明すること。
・ 「返戻」の場合，著者は以降のプロセスに進むことができない。査読者から示された「返戻の理由」を吟味して論文内容を再検討し，あらためて投稿することができる。
(3) 修正原稿査読
・ 「条件付採録」で再提出する場合は，回答書・修正清書原稿・修正箇所マーク原稿の修正原稿一式を投稿ページより再提出する。但し，「条件付採録」で指定された期日を過ぎて提出された場
合は，新規の初回投稿論文として取り扱われるので注意すること。
・ 再提出された修正原稿は原則として同一の査読者によって再審査され，「採録（参考意見付記を含む）」または｢返戻｣のいずれかに判定される。
・ 以降の対応は（2）と同様である。

345

3.

最終原稿提出から出版まで(1) 最終原稿提出
・ 「採録」通知受理後は，事務局から最終原稿作成に関するメールが送付されるので，著者はその指⽰に従い最終原稿一式（電子データ）を準備し，指定の期日までに，事務局へ送付する。
・ 最終原稿一式とは，「スタイルフォーマット」を使用して作成した論文原稿のソースファイル（TeX
版または Word 版），
その pdf ファイル，
すべての図表の eps ファイル(bmp, jpg, png なども含む)，
著者紹介用写真（縦横比 3:2，胸より上，300dpi 以上の eps ファイル，或いは，jpg ファイル）
であり，これらを zip 等の圧縮ファイルに格納して提出する。
・ 最終論文原稿には，著者名・組織名，著者紹介，必要により謝辞を記入する。（スタイルファイ
ル内のマクロのフラグを解除する）
・ 採録が決定した著者は，当該論文の掲載料を支払わなければならない。なお，別刷りの購入は任意。
（別紙１「別刷価格表」参照）(2) ゲラ刷りの校正
・ 論文掲載号の発行のおよそ１ヶ月前に論文原稿のゲラ刷り（ハードコピー）の確認が依頼される。
著者は指定の期日まで（約１週間）に校正を行い，修正した原稿をスキャンした pdf ファイルを作成し，事務局へメールにて送付する。この際，「別刷り購入票」および「コピーライトフォー
ム」を記入し，同様にスキャンした pdf ファイルをアップロードする。
・ 本会誌に掲載されるすべての記事については，電子的形態による利用も含め，著作権は原則として本会に帰属する。
・ 「別刷申込書」および「コピーライトフォーム」は学会ホームページの「学会誌」欄からダウンロードする。
（別紙２「別刷申込書」，別紙３「コピーライトフォーム」参照）(3) 出版
・ 最終校正された論文原稿は学会誌，或いは，英文論文誌（電子ファイル形態）としてオンライン出版されるとともに，学会ホームページに掲載される。
以上

346

日本画像学会誌

第 58 巻第2号

目次(通巻 238 号)

2019 年

日本画像学会誌のオープンアクセス化と論文掲載料の改定について
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀184( 2 )日本画像学会ビジョン 2030
Introduction ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀中山信行…185( 3 )日本画像学会ビジョン 2030―Action Before 2020―
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
中山信行，面谷 信，日本画像学会ビジョン委員会…186( 4 )論文
新規白色顔料の開発㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
平出智大，後藤 寛…200( 18 )紙基板上に作製した分散型 EL の発光特性に及ぼす誘電損失の影響
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
竹田直樹，常安翔太，佐藤利文…205( 23 )Imaging Today「最新の画像処理・画像再現技術―見せる画像/見せない画像―」
Introduction ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
秋山勇治，黒沢俊晴，木村正利，岩田 基…211( 29 )物体表面の質感強調アルゴリズム PuRet㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
堀内隆彦，田中 緑…212( 30 )
粒状感評価モデルに基づくデバイスに依存しない質感マネジメント㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
津村徳道，吉井淳貴…219( 37 )
高付加価値印刷を生み出すインクジェットプリント技術の変遷と最新動向 ㌀㌀㌀㌀
荒井 航，金子賢史…226( 44 )印刷画像への情報埋め込み技術㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
棟安実治…233( 51 )見えないコード スクリーンコード の実績と可能性㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
岸上郁子…242( 60 )Imaging Highlight
有機半導体関連界面㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀金井

要…246( 64 )教育講座
表面分析の基礎から応用（Ⅳ）㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
宮沢靖幸…257( 75 )研究室訪問
慶應義塾大学SFC 研究所

ソーシャル・ファブリケーション・ラボ ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
261( 79 )

㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀265( 83 )
会報㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀267( 85 )
会告㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀268( 86 )投稿案内 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀269( 87 )日本写真学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀270( 88 )日本印刷学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
271( 89 )Journal of Imaging Science and Technology の目次㌀
画像閑話

平成 31 年編集委員
編集委員長
中 村 一 希（千 葉 大 学)
編集副委員長 水 野 知 章（富 士 フ イ ル ム)
梅 津 信二郎（早 稲 田 大 学)
編集委員
秋 山
新 井
池 田
石 田
岩 田
梅 津
北 野
木 村

勇
啓
光
稔

治 ( キ ヤ ノ ン )之 (日本工業大学)
弘 ( 三 菱 製 紙 )尚 ( シ ャ ー プ )基 (大阪府立大学)
信二郎 ( 早 稲 田 大 学 )
賀 久 (富士ゼロックス)
正 利 (元富士ゼロックス)

黒
高
竹
冨

沢
橋
内
家

編集幹事
編集副幹事

俊
正
達
則

晴 ( 千 葉 大 学 )樹 (東芝テック)夫 (元キヤノン)
夫 (京セラドキュメント
ソリューションズ)朝 武敦 (コニカミノルタ)
内 藤 裕 義 (大阪府立大学)
中 村 一 希 ( 千 葉 大 学 )

347

秋 山
岩 田

勇

治（キ ヤ ノ ン)
基（大 阪 府 立 大 学)

中 山 信 行 (富士ゼロックス)
長 山 智 男 ( リ コ ー )美才治
隆 ( リ コ ー )前 田 秀 一 ( 東 海 大 学 )水 野 知 章 (富士フイルム)
山 﨑
弘 (元コニカミノルタ)

日本写真学会誌

82 Ⅰ
巻号（2019 年/平成 31 年）

口絵・口絵解説
1「画像からくり」
第 44 回 お皿を用いた凹凸反転錯視
桑山哲郎

写真のある美術館・博物館・資料館
3

ソニーイメージングギャラリーのご紹介 / 永井敏雄

第 6 回アンビエント技術セミナー特集

5

産業化が近づいたプリンテッドエレクトロニクス用材料技術の進展−特集にあたって−半那純一・稲垣由夫・宮本公明・加藤隆志・飯野裕明

6

解説

液晶性有機トランジスタ材料の特質と材料設計
飯野裕明・半那純一

10

強誘電性高分子を用いた圧力センサのヘルスケア応用

解説関根智仁・熊木大介・時任静士

13

プリンテッドエレクトロニクスのための 2- ニトロベンジル基を含む光応答性表面修飾剤の開発

解説

山口和夫・猪狩拓真

画像保存

特集

19

−特集にあたって− / 久下謙一

20

解説

写大ギャラリーにおける写真の保存と利用の取り組み
吉田

31

解説

37

解説

成・深瀬

文化庁国立近現代建築資料館における資料デジタル化の取り組みと Archivematica によるデジタル・データ保存について
藤本貴子・橋本陽

明治期の博物館における写真の撮影と利用
田良島

41

宰

哲

ディジタルアーカイブのためのカラーマネジメントの基礎

解説

水口

淳

解説
49

カリウムドープ有機金属ハライドペロブスカイト太陽電池による低材料コスト化と低ヒステリシス光電変換特性

解説

別所毅隆

54

解説

写真産業の技術革新史 そのⅤ− X 線画像診断法の確立とそのデジタル化−
高田俊二

書評
63

「今は昔

民具など」 江戸から昭和の懐かしい道具

高田俊二・山岸

今は消えつつある民具を精緻で美しい画像に留めた写真集

治

追悼
64

田中俊夫先生を偲ぶ / 岩崎 仁65

大石恭史氏を偲ぶ / 谷 忠昭

66

会 報

理事会抄録，投稿規定等，執筆の手引き，著作権の取扱い，入会のおすすめ

76

会 告

日 本 印 刷 学 会 誌・ 日 本 画 像 学 会 誌・IIEEJ Transactions on Image Electronics and Visual Computing・
BULLETIN OF THE SOCIETY OF PHOTOGRAPHY AND IMAGING OF JAPAN

編集委員：久下謙一，稲垣由夫，岩崎仁，桑山哲郎，青木泰造，水口348

淳，西垣仁美，宮本成悟，山田勝実

日 本 印 刷 学 会 誌

目次

第 56 巻

第 1 号（2019 年 2 月）

巻頭言研究開発に携わる方へ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 船橋勇雄
総説 1 特集「標準化の最新動向」
ナノテクノロジーの国際標準化 . . . . . . . . . . . . . . . . . . . . . . . . .古田一吉・加藤 豊
文字コードの標準化動向 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 袴田博之
ジャパンカラー認証制度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 大久保寿男
総説 2 特集「アジアシンポジウム」
The Digital Printing Technologies and Survival of
The Commercial Printers in Malaysia Printing Industry. . . . . . . . . . . . . . . Noor Azly MOHAMMED ALI, Mustaffa Halabi AZAHARI,
Shalida MOHD ROSNAN and Norzuwana SUMARJAN
Current Status of Philippine Printing Industry . . . . . . . . . . . .Rolando F. Rocha
Building Innovation Technology Concept in Creative Industry into Vocational
Education Study Case in Indonesia, Malaysia and Thailand Industries. . . . . . . . . . . . . . . . . . . . . . . . . . . Purnomo Ananto and Adi Susanto et al.
印象記
グラビア研究会 第 12 回ミニシンポジウムに参加して . . . . . . . . . . . . . . . . 松田 明
平成 30 年度プリプレス研究会研究例会印象記 . . . . . . . . . . . . . . . . . . . . . . 平岡勝行
2018 年度 E&S 研究会セミナー印象記 . . . . . . . . . . . . . . . . . . . . . . . . . . . 高田直人
平成 30 年 12 月 西部支部見学会─印刷の原点へ誘い，活版印刷見学会─ . . . . . 藤本信一
2018 年度 P&I 研究会シンポジウム印象記 . . . . . . . . . . . . . . . . . . . . . . . 喜 直信
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
文献紹介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
学会だより . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
日本印刷学会賛助会員名簿 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

日本印刷学会誌編集委員
編集委員長
委
員

東 吉彦（東京工芸大学）
編集副委員長 矢口博之（東京電機大学）
江前敏晴（筑波大学）
秋山宏介（特種東海製紙（株））
杉山 徹（大日本印刷（株））
高橋 敦（共同印刷（株））
澤田宏和（富士フイルム（株））
尾﨑 靖（（独）国立印刷局）（東レ（株））（東洋インキ（株）
）
井上武治郎
川田育孝
宇山晴夫（凸版印刷（株））
幹事
小関健一（千葉大学グランドフェロー）
表紙デザイン 益田宏樹

349

1
2
8
14

18
24

27
37
38
40
42
44
46
48
50
57

日 本 印 刷 学 会 誌

目次

第 56 巻

第 2 号（2019 年 4 月）

巻頭言Smart Factory 化から考える印刷物 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 木下広行
総説 特集「機能性フィルムの生産技術」
静電気の農業・食品分野での利用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 高木浩一
「GZO 透明導電膜」と「縦型 Roll to Roll 成膜装置」の開発 . . . . . . . . . . . . . 平木 哲
ウェットコーティング方式の特徴について（単層及び多層）. . . . . . . . . . . . . . 千野直義
ウェット塗布膜乾燥過程の評価技術 . . . . . . . . . . . . . . . . . . . . . .山村方人・吉原宏和
論文
光束分割書込方式の理論解析とその実現 . . . . . . . . . . . .仲村忠司・今井重明・林 善紀
印象記2019 年冬期セミナー印象記 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 久津輪幸二
平成 31 年第 15 回「紙メディア」シンポジウム印象記
─激変する周辺状況に紙メディアは如何に対峙してゆくのか？─ . . . . . . . . . 水本秀一
Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
文献紹介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
学会だより . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

日本印刷学会誌編集委員
編集委員長
委
員

幹
事
表紙デザイン

東 吉彦（東京工芸大学）
江前敏晴（筑波大学）
高橋 敦（共同印刷（株））
井上武治郎（東レ（株））
小関健一
益田宏樹

編集副委員長 矢口博之（東京電機大学）
秋山宏介（特種東海製紙（株））
杉山 徹（大日本印刷（株））
澤田宏和（富士フイルム（株））
尾﨑 靖（（独）国立印刷局）（東洋インキ（株））
川田育孝
宇山晴夫（凸版印刷（株））

350

69
70
76
80
85
89
96
98
100
102
104

11TH ITU ACADEMIC CONFERENCE

ITUKALEIDOSCOPEATLANTA 2019
ICT for Health:Networks, standards and innovation
4-6 December
Atlanta, USA

CALL FOR PAPERS

Hosted by

Organized by351

ITUKALEIDOSCOPEATLANTA 2019
ICT for Health:Networks, standards and innovation
CALL FOR PAPERS
Kaleidoscope 2019 - ICT for Health: Networks, standards and innovation is the eleventh in a seriesof peer-reviewed academic conferences organized by ITU to bring together a wide range of views fromuniversities, industry, and research institutions. The aim of the Kaleidoscope conferences is to identify
emerging advancements in information and communication technologies (ICTs) and, in particular,
areas in need of international standards to aid the healthy development of the Information Society.
This year’s conference will be hosted by the Georgia Institute of Technology.

Theme

Objective

The World Health Organization warns that at least half of theworld’s population is still not fully covered by essential healthservices. In countries with sufficient coverage, caring for anageing population requires significant expenditures fromgovernments, as well as public and for-profit entities. Moreover,emergency response teams working in distress and disastersituations depend on interoperable and survivable networks
and systems to effectively and efficiently rescue individuals andcommunities at risk.

Kaleidoscope 2019 calls for original academic papers addressing
ICTs’ contribution to innovation in healthcare delivery andmedicine. In particular, the conference encourages submissions
highlighting the role to be played by communication networks
and international standards in achieving affordable access tohealthcare for everyone, everywhere. This objective is fully inline with the United Nations Sustainable Development Goals.

New applications of information and communication technology(ICT) show great potential to assist in overcoming socioeconomic challenges in what is being called “digital health”.

Kaleidoscope 2019 targets specialists in the fields of ICT,
digital health and socio-economic development, including
researchers, academics, students, engineers, computer scientists,
policymakers, regulators, innovators, futurists, clinicians andhealth practitioners.

Digital health is part of the “Fourth Industrial Revolution” where
innovative ICT applications are mobilized to revolutionize thehealth sector – from the manufacturing of medical devices andsystems to medical research, drug discovery and healthcaredelivery – leading to increased life expectancy and a greatly
enhanced quality of life.
There are many innovations in ICT that will be integrated
into digital health such as 5G, machine-to-machine (M2M)
communications, cloud computing, the Internet of Things (IOT),
big data, artificial intelligence and machine learning, precision
medicine, telemedicine and biotelemetry, etc. All these streamsof technologies lead to new frontiers in health services, towards
the goal of universal health coverage that is efficient and costeffective while ensuring quality care. Digital health will place
rigorous requirements on communication networks in terms ofavailability, reliability, survivability, and security, including stricter
requirements on service quality, tighter legal protections, and amore active role on the part of public authorities.

Audience

Date and venue
4-6 December 2019, Georgia Institute of Technology, Atlanta,
Georgia, United States.

Submission of papers
Prospective authors are invited to submit full, original papers.
The submission should be within eight pages, including asummary and references, using the template available on theconference’s website. All papers will go through a double-blind
peer-review process. Submission must be made electronically;
see http://itu.int/go/K-2019 for more details on online
submission (EDAS). Paper proposals will be evaluated based oncontent, originality, clarity, relevance to the conference’s theme
and, in particular, significance to future standards.

352

Deadlines

AwardsSubmission of full paper proposals: 17 June 2019

A prize fund totalling CHF 6 000.- will be shared among theauthors of the three best papers, as judged by the Steering andTechnical Programme Committees. In addition, young authors of
up to 30 years of age presenting accepted papers will receive
Young Author Recognition certificates.

Notification of paper acceptance: 23 September 2019
Submission of camera-ready accepted papers: 14 October 2019

Publication and presentation
Accepted and presented papers will be published in the Conference
Proceedings. In addition, extended versions of selected papers
will be considered for publication in the International Journal ofTechnology Marketing, the International Journal of Standardization
Research, or the Journal of ICT Standardization.

Keywords
Digital health; healthcare architectures, technologies andservices; policies and ethics for digital health; health data storage
and protection; information and communication technologies(ICTs); standards for networks; and digital health applications.

Suggested (non-exclusive) list of topics
Track 1:
Technology, network
infrastructure
and architecture
evolution

Track 2:
ICT applications andservices for health

Track 3:Social, economic,
legal, ethical andpolicy aspects of ICT
for health• Network availability, survivability, security, and management of privacy• Architecture for remote medical interventions using M2M, IoT, sensor networks• Wireless sensor and actuator networks for health applications• Networking technologies and cloud computing for digital health• Performance aspects, such as reliability, quality of service, and quality of experience• Interoperability of systems and applications• Data as a service (DaaS) for digital health, e.g. electronic health records (EHR)• Requirements for data storage and protection• Telemedicine, telehealth and biotelemetry• Emergency medical care
• Medical interventions in disaster areas• Health informatics• Big data modelling, machine learning, artificial intelligence enabled solutions• Cloud computing services for digital health• Data science and analytics for smart hospitals• Health information exchange, interoperability and data integration• Technology, standardization and innovation for accessibility and digital health applications• Medical decision-making• Interventions in public health• Precision and personalized medicine• Management for electronic and virtual health cards• Public health policies, such as inclusiveness, affordability and accessibility• Security, privacy and trust issues• Digital rights and identity management• Financing digital health• Legislative and regulatory frameworks• Ethical issues• Training for digital healthGeneral Chairman

Host Committee

Chaouki Abdallah, Executive Vice President for Research,
Georgia Institute of Technology, United States

Co-chairs: Michael Best and Elizabeth Mynatt, Georgia Instituteof Technology, United States

Steering Committee

Technical Programme Committee

Michael Best, Georgia Institute of Technology, United States

Chairman: Mostafa Hashem Sherif, Consultant, United States

Christoph Dosch, ITU-R Study Group 6 Vice-Chairman; IRT
GmbH, Germany

The Technical Programme Committee is composed of over
60 subject-matter experts. Details will be available shortly at:
http://itu.int/en/ITU-T/academia/kaleidoscope/2019/Pages/
progcom.aspx

Kai Jakobs, RWTH Aachen University, Germany
Mitsuji Matsumoto, Waseda University Emeritus Professor, Japan
Mostafa Hashem Sherif, Consultant, United States
Daidi Zhong, Chongqing University, China

Additional information
For additional information, please visit the conference website:
http://itu.int/go/K-2019. Inquiries should be addressed to Alessia
Magliarditi at kaleidoscope@itu.int353

○新入会員紹介（2019 年 3 月 31 日）

平成最後の画像電子学会誌，2019 年第 2 号（4 月号）をお届けします．本号には，「IoT 社会の進展を支える画像電子関学生会員

連技術」特集として採録された論文 1 編，システム開発論文

藤田 秀(名古屋大学)
小川 勝久(立命館大学)

2 編，ショートペーパー1 編，並びに「画像電子の世界と現実○会員現況

ートペーパーが各 1 編，さらに一般論文 3 編が掲載されてい

名誉会員
正会員
学生会員
賛助会員
特殊会員

世界を相互につなぐ技術」特集として採録された論文，ショ
ます．

18 名
631 名
64 名
28 社 39 口
36 件

この学会誌を皆様が読まれているのは，平成でしょうか？
令和でしょうか？学生の皆さんにとっては初めての改元，多くの読者の方には 2 度目の改元になるかと思います．昭和最後の日，すなわち，平成が定められた日は 1989 年 1 月 7 日土
曜日でした．その日の朝，昭和天皇が御崩御され，午後には新しい元号「平成」が発表されました．当時，高校生だった
私は冬期講習に通っており，講師の先生から新しい元号を聞いたことを今でも覚えています．今回は，生前退位ということで事前に新元号発表の予定が決まっていたため，インター
ネットで発表会見をリアルタイムで見ることができました．
どのような元号になるのか予想しておられた方も多いのではないでしょうか？
国の内外にも天地にも平和が達成されるようにという意
味がこめられた「平成」の30 年と4 ヵ月を振り返ってみると，その倍以上続いた「昭和」ほど劇的な変動はなかったといえますが，日常の生活環境は大きく変化したと感じています．
特に，情報関連技術が凄まじく発展したことは言うまでもありません．コンピュータの高速化，インターネットの浸透，
携帯電話・スマートフォンの普及など枚挙に暇がありません．
そのような中で，画像関連の技術も大きく進歩しており， その利用分野も多岐にわたるようになって来ました．また，「昭和」とは違い戦争がない平和な 30 年でありましたが，近年は多くの天災に見舞われるなど必ずしも平穏とは言い切れない時代でした．しかし，それらの天災に関しても，災害時の情報発信・収集，さらに復旧のためのシミュレーションなど様々な領域で，情報関連技術が利用されています．
人々が美しく心を寄せ合う中で文化が生まれ育つという意味がこめられた「令和」ではどのように世界が変わっていくのか楽しみです．
冒頭にも書きましたが，本誌が平成最後の論文誌になります．令和になりましても，引き続き，数多くの論文が投稿され，本学会誌から新たな画像関連技術や情報を発信されます
ことを心から祈念いたします．
（編集幹事 竹島 由里子）

354

第 48 巻 第 2 号 （通巻 248 号）
発行所 一般社団法人 画像電子学会
2019( 平成 31) 年 4 月 30 日発行 （年 4 回発行） 〒116-0002 東京都荒川区荒川 3-35-4 ライオンズマンション三河島第二 101 号©2019 画像電子学会
E-mail ： hensyu@iieej.org
http://www.iieej.org/

TEL （03） 5615-2893 FAX （03） 5615-2894 （振替 00180-3-166232）
編集 ・ 発行者 児玉 明

Journal of the IIEEJ 248
2019 Vol.48 No.2

画 像 電 子 学 会 誌

社会の進展を支える画像電子関連技術 ・画像電子の世界と現実世界を相互につなぐ技術 論文特集

I
o
T

48

2