Print ISSN 0285-9831
Online ISSN 1348-0316
CD-ROM ISSN 2186-716X

254【ビジュアルコンピューティング論文特集号】◆【特集論文】燃焼過程を考慮した炎のリアルタイムシミュレーション◆【特集論文】深層学習による 8K 内視鏡映像の高精細化◆【特集論文】文字構造特徴を用いたひらがなアンビグラムの生成◆【特集論文】木目込み細工デザイン支援システム◆【特集ショートペーパー】深層学習を用いた点入力と特徴補間による植物の動画像生成◆【講 座】Photogrammetry を楽しむ
一般社団法人Vol.49 No.42020

画像電子学会賛助会員
池 上 通 信 機 株 式 会 社
オ リ ン パ ス 株 式 会 社
科 学 技 術 振 興 機 構
公益財団法人画像情報教育振興協会
桂 川 電 機 株 式 会 社
株式会社 K D D I 研究所
株式会社ゲネシスコンマース
コニカミノルタ株式会社（2020 年 9 月 30 日現在）

サ ク サ 株 式 会 社
シリコンスタジオ株式会社
株 式 会 社 テ レ ビ 朝 日
D I C
株 式 会 社
大 日 本 印 刷 株 式 会 社
ディライトワークス株式会社
東 芝 テ ッ ク 株 式 会 社
凸 版 印 刷 株 式 会 社

編集委員会（委 員 長）（副委員長）（編集顧問）

入会のご案内児玉 明
内田 理，小林直樹，竹島由里子
安田靖彦，富永英義，小宮一三，小野文孝,
羽鳥好律，松本充司，田中 清．
石川知一，関野雅則，上倉一人, 北岡伸也．
加藤茂夫（編集理事）（名誉編集幹事）（編集幹事） 河村尚登, 津田大介，森谷友昭，山田雄一郎．
（編集・
荒井良徳，石川雅浩，上平員丈，大木眞琴，
査読委員） 木村俊一, 久下哲郎，倉掛正治，櫻井快勢，
佐藤甲癸，佐藤周平，篠田一馬，白川真一,
新谷幹夫，田中賢一，N.P.チャンドラシリ，
プレーマチャンドラ・チンタカ，豊浦正広，
長谷川まどか，濱本和彦，藤澤 誠，藤代一成，
牧田孝嗣，吉田典正，若原俊彦，Chee Seng CHAN,
Paramesran RAVEENDRAN, KokSheik WONG．
（査読委員）

荒川賢一，荒木昭一，有川智彦，伊藤貴之，
五十嵐悠紀，岩切宗利，岩橋政宏，大澤秀史，
尾上孝雄，金井 崇，金子俊一，金森由博，金子 格，
金田和文,北郷正輝，勝間ひでとし， 栗原恒弥，
黒沢俊晴, 洪 博哲，小館亮之，駒形英樹，
小町祐史, 今間俊博，斎藤隆文，齋藤 豪,
斉藤文彦，佐藤真知子，篠原克幸，島村 潤，
下馬場 朋禄，白井啓一郎，杉崎栄嗣，瀬崎 薫，
瀬政孝義，高島洋一，高野邦彦，田中芳樹，
高橋時市郎，谷口行信，田村 徹，辻 宏行，
鉄谷信二 ， 中村康弘 ，納 富一宏， 包 躍，
林 正樹，福江潔也, 堀田裕弘，本宮隆広，
茅 暁陽，松木 眞，松田浩一，三田雄志，
三ツ峰秀樹，六浦光一，森島繁生，柳原政弘，
藪下浩子，山口隆二，山崎龍次,Hernan AGUIRRE，
Yoong Choon CHANG，Robin Bing-Yu CHEN，
Mochamad HARIADI，Pizzanu KANONGCHAIYOS，
Teck Chaw LING，Keat Keong PHANG，
Nordin BIN RAMLI．

（事務担当）

日本テレビ放送網株式会社
日 本 電 信 電 話 株 式 会 社
日
本
放
送
協
会
株 式 会 社 日 立 製 作 所
富士ゼロックス株式会社
古 野 電 気 株 式 会 社
三 菱 電 機 株 式 会 社
株 式 会 社 リ コ ー

浮ヶ谷 修，福島 理恵子，本田京子.

入会ご希望の方は下記ご参照の上，学会ホームページよりお申込頂くか，事務局にその旨ご連絡ください。
○会員の種別正会員：本会の目的に賛同する個人
学生会員：本会の目的に賛同する学生賛助会員：本学会を援助する個人または法人
特殊会員：本学会の目的に賛同する個人以外の図書室，研究室など○入会金および年会費
入会金：正 会 員 1,000 円
学生会員 500 円
年会費：正 会 員 10,000 円（口座振替 9,000 円）
学生会員 3,000 円
賛助会員 50,000 円（1 口）特殊会員 12,500 円○ご連絡先〒116-0002 東京都荒川区荒川 3-35-4
ライオンズマンション三河島第二 101 号
TEL (03)5615-2893
FAX（03）5615-2894
E-mail: hensyu@iieej.org（編集）kikaku@iieej.org（研究会・会員情報）
hyoujun@iieej.org（テストチャート）
http://www.iieej.org/
http://www.facebook.com/IIEEJ

画 像 電 子 学 会 誌
第49巻 第4号

通巻254号 （2020年10月）

目
随
281

次

想

学会の楽しみ方

竹島由里子

追悼文
282

青木正喜 名誉会員を偲んで ― 多才・博識の研究者 ―瓜生 芳久ビジュアルコンピューティング論文特集283

ビジュアルコンピューティング論文特集号に寄せて

284

燃焼過程を考慮した炎のリアルタイムシミュレーション

藤澤 誠，佐々木浩幸， 三河正彦

293

深層学習による8K内視鏡映像の高精細化

和田 歩，大和淳司，合志清一

301

文字構造特徴を用いたひらがなアンビグラムの生成

井上和輝，高橋裕樹

315

木目込み細工デザイン支援システム

伊藤謙祐，五十嵐悠紀

論

森島繁生

文

ショートペーパー326

深層学習を用いた点入力と特徴補間による植物の動画像生成

332

9月入学制への移行方法

334

Photogrammetryを楽しむ

340

東洋大学 情報連携学部 情報連携学科 石川知一研究室

342

新しい生活様式と映像符号化

345

キャラクタアニメーションの数理とシステム― 3次元ゲームにおける身体運動生成と人工知能 ―

346
348
349
350

理事会だより・協賛案内
画像電子学会研究会等予定「実践論文」新規論文カテゴリの開設について
オンライン化・リモート化に係る画像利活用事例特集～2021年7月号 実践論文
特集号論文募集～
短期特別査読制度に係る論文募集
2021年10月号 ビジュアルコンピューティング論文特集論文募集
2022年1月号イマーシブメディア実現のための画像関連技術論文募集
2022年4月号クリエイティビティを支援・拡大する画像関連技術論文募集
論文投稿の手引き山下祐貴，森本有紀

コーヒーブレイク
講

小野文孝

座
近藤邦雄

グループ紹介石川知一

スキャニング
大西隆之

図書紹介

会

351
352
353
354
355

牧田孝嗣

告・ニュース
359
360
362
364
366
368
369
372
372

2020年度第49回画像電子学会年次大会/VC2020参加募集
CFP : IEVC2021 Shiretoko (Shari), Hokkaido / Sept. 8-11, 2021
アレキサンダー・ベイン賞候補推薦募集
画像電子技術賞候補の推薦のお願い
フェロー候補推薦募集
代議員候補推薦のお願い
日本画像学会誌・日本写真学会誌・日本印刷学会誌目次
会 報
編集後記

The Journal of
the Institute of Image Electronics Engineers of Japan
Vo1.49 No.4 October 2020

CONTENTS

Foreword
281

How to Enjoy a Conference282

Masayoshi AOKI

Yuriko TAKESHIMAIn Memoriam
Yoshihisa URIU

Special Issue on Visual Computing
283

Introduction to the Special Issue on Visual Computing

Shigeo MORISHIMA

284

Realtime Flame Simulation Considering Combustion Process

Makoto FUJISAWA, Hiroyuki SASAKI, Masahiko MIKAWA

293

Image Enhancement for 8K Endoscope Videos Based on Deep Learning

Ayumu WADA, Junji YAMATO, Seiichi GOHSHI

301

Generation of Hiragana Ambigram Based on Character Structure
Characteristics

Kazuki INOUE, Hiroki TAKAHASHI

315

A Design Support System for Kimekomi Work

Kensuke ITO, Yuki IGARASHI

Contributed Papers

Short Paper
326

PoPGAN : Points to Plant Translation with Generative Adversarial
Network

332

The Way to Change the School-Year Starting Fall

334

Enjoying Photogrammetry

Yuki YAMASHITA, Yuki MORIMOTO

Coffee Break
Fumitaka ONO

Tutorial
Kunio KONDO

Research Group Introduction
340

Faculty of Information Networking for Innovation and Design, Toyo
University

Tomokazu ISHIKAWA

Scanning
342

Video Coding with New Ways of Life

345

Mathematical Models and Systems for Character Animation― Motion Synthesis and Artificial Intelligence in 3D Videogames ―Takayuki ONISHI

Book Review
Koji MAKITA

Published four times a year by the Institute of Image Electronics Engineers of Japan（Gazo Denshi Gakkai）
101，3-35-4，Arakawa，Arakawa-ku，Tokyo 116-0002，Japan
Tel：+81-5615-2893 Fax：+81-5615-2894 E-mail：hensyu@iieej.org http://www.iieej.org/

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

学会の楽しみ方竹島 由里子（副会長，東京工科大学）

How to Enjoy a Conference
Yuriko TAKESHIMA（Vice President of IIEEJ, Tokyo University of Technology）

2020 年度もはや半ばを過ぎ，
コロナ禍での生活も半年を経過しています．
昨年の今頃は，来年は東京オリンピック 2020が楽しみとワクワクしており，まさかこんな年になるとは誰も予想していなかったと思います．現在も様々なことを自粛せざるを得ない状況で，これまでが如何に自由であったか考えさせられます．本来であれば，10 月，11 月は学会シー
ズンでもあり，国内外を問わず，様々な地域で学会が開かれています．しかし，今年はオンライン開催のものがほとん
どであり，学会の 1 つの楽しみである「開催地を楽しむ」ということができません．
おそらく私は，研究者の中でも国際会議をかなり楽しみにしている部類に分類されると思います．実は，国内外を問わず，大抵の学会で参加者から「ここでおいしいものは何？」とか、「どこかおもしろいところあった？」ということをよく聞かれます．自慢ではないのですが，それぐらい，学会に行く際には念入りに下調べをして参加しています．当然のことながら出張の主目的は学会参加なので，プライベート旅行のように自由に時間が使えるわけではありません．そのため，自由になる時間にやりたいことをすべてやるには，入念な下調べが必要不可欠なのです．
これまで，様々な学会で色々な国を訪れました．訪問回数では断トツでアメリカ合衆国が第 1 位ですが，私のまた行
きたい国の第 1 位はフランスです．景観や名所，グルメなどその魅力は枚挙に暇がありません．フランスに初めて訪れたのは学部の卒業旅行でしたが，その後，IEVC2010 のニースをはじめ，リヨン，イエール，パリの国際会議などに参加しました．私が毎年参加している IEEE VIS (Visualization Conference) は，例年 10 月にアメリカ国内で開催されているのですが，2014 年は 25 周年ということで，初めてヨーロッパ（パリ）で開催されました．2012 年の開催期間中にその発表がされた時の会場の盛り上がりは IEEE VIS 史上最高だったように思います．多くの学会は開催地がある程度決まっているのですが，記念の大会では，普段とは違う開催地が選ばれることもあるので，多くの参加者がその機会をいつかいつかと待ち受けていたのでしょう．パリ大好きの私は，学会とはいえ，「パリを楽しみたい！」ということで，VIS2014
ではホテルではなく何とアパルトマンを借り，スーパーで食材を購入し，自炊することにしました．しかし，ここで問題に突き当たります．フランス語が全く分かりません．しかも，お店のシステム自体が見ていてもよくわからないのです．とりあえず，お肉を買おうと並んではみたものの，希望をどう伝えればいいのか，まずもって肉の種類がわかりません．しかも，利用している単位もグラムではなくポンドです．仕方がないので，最終手段である「あの人と同じものを」作戦を駆使することにしました．また，時には，後ろに並んでいたおばさんが察して代わりに伝えてくれ，危機を脱したりもしました．このように，開催国の人たちとの触れ合いという，学会で現地を訪れる際の副産物でありながら，時にはその醍醐味ともいえる体験を味わって，無事出張が終了しました．
ウィズ・コロナの時代に入り，様々な国際会議がオンライン開催されています．IEEE VIS では講演のストリーム配信
と共に，Discord によるテキストベースでの情報交換が行われました．これまでの大人数の前で質問をしなければならないという状態はかなりハードルが高く感じられましたが，テキストベースであれば，割と気軽に質問することができます．これは，オンライン会議ならではの利点かもしれません．海外出張の副産物であった現地の人々との交流は当分望めそうもありませんが，本来の目的である学会参加者との交流はウイズ・コロナの時代であっても違う形で深めることができそうです．
さて，画像電子学会でも，国際会議 IEVC を 2 年から 2 年半おきに開催しています．次回の IEVC は，新型コロナウ
ィルス感染の影響を考え，2021 年の夏に北海道での開催を予定しています．海外での開催は叶いませんが，研究者同士の交流だけでなく，その地域の文化や風習に触れることができるよい機会になります．是非，来年度のご予定に入れておいていただければと思います．
最後になりましたが，本年度より本学会の副会長を仰せつかりました．これまで，編集委員として本学会にかかわらせていただいておりましたが，これをきっかけにより様々な面から本学会の発展に微力ながら務めさせていただきたいと考えております．積極的に参加したくなるような研究会・国際会議，是非投稿したいと思わせるような特集号の企画など，本学会に所属する皆さまが会員でよかったと思えるような企画をご提案できるよう精進したいと思っています．

281

追 悼

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

青木 正喜 名誉会員を偲んで－多才・博識の研究者－

本学会名誉会員・フェロー（元会長）の青木 正喜先生は，2019 年 3 月 10 日にご逝去されました．享年 75 歳でした．
私が青木先生に初めてお目にかかったのは昭和 47 年，成蹊大学工学部電気工学科（当時）の 4 年生の時でした．卒業研究説明会で，新任の教員として紹介され，研究室の説明を行われました．当時，卒業研究の方向を既に決めていた私は分野がかなり異なる先生の研究室を配属先としては考えず，にこやかで雄弁な先生としてとらえていました．
青木先生は画像処理，私は電力系統と研究分野が離れている事もあり，学部・大学院生時代に青木先生の授業を直接受ける機会はありませんでしたが，論文輪講などの合同授業では青木先生のご意見を聞く機会が何度か有りました．
その時には，
青木先生の教育方針は“叱って伸ばす”タイプという印象を持っていました．
青木先生との本格的なお付き合いは，私が昭和 56 年に専任講師として母校に着任した時からで，特に昭和 63 年頃より，回路理論の授業を青木先生と分担して受け持つようになり，学生の理解度を上げるための意見交換をしばしば行う機会に恵まれました．また，論文輪講や学位論文審査で教員として同席し，審査を行うこともありましたが，その頃になると先生の印象もだいぶ変わり，研究分野を問わず優秀で熱心な学生に対しよく褒めておられたことを思い出します．私事になりますが，平成 5 年に私が教授に昇任した時，青木先生が主任教授を務めておられ，審査の過程で大変お世話になりました．また，
平成 13 年より私が学科主任を務めた時にも，多くのアドバイスをいただくなど，親身になってご指導いただきました．
青木先生とは私的な面でもお付き合いをさせて頂きました．青木先生の人物としての印象はまさしく多才な方で，存じ上げている範囲では，語学が堪能で，スポーツではテニスとスキーがお得意でした．また，音楽ではピアノを嗜まれ，美食家であると同時にご自身で料理もされていました．科学に限らず博識の持ち主でもおられました．
語学に関しては，成蹊大学で青木先生が委員をされていた ISO の分科会が開かれた後，学科の会議室で懇親会が開かれ，青木先生のご厚意で私も懇談の輪に加わらせて頂いた時，経産省から参加されていた委員の方との会話で，青木先生が他国の委員と英語でケンカの出来る数少ない研究者だと評価されていたのが印象的でした．
スポーツでは青木先生が年末に万座温泉のスキー場で開かれる東京大学出身の方々を中心としたスキースクールに参加されていて，私と家内も招かれて十年以上参加させて頂きました．あまり運動神経の良くない私とは雲泥の差の華麗なスキーを楽しんでおられました．スキー場のホテルでピアノを弾かれることも何度かありましたが，並の音大生よりお上手なのではと思うほどの腕前でした．
先生と吉祥寺の街でお昼をご一緒することもよくあり，新しくできたお店にご一緒しては，喜んだり，失望したりの思い
出があります．学科の皆様と数人で都内のレストランまで出かけることもしばしば有り，思い出はつきません．
青木先生は平成 21 年に御定年で退職されましたが，その半年後に転倒されたことから，その後入院生活を送られることとなりました．ご退職後は趣味の世界でも思う存分ご活躍されることと存じておりましたのでこの度のご逝去は本当に残念でなりません．謹んでご冥福をお祈りします．
成蹊大学 名誉教授 瓜生 芳久＜青木正喜名誉会員のご略歴＞
1966 年 3 月

東京大学 工学部電気工学科 卒業

1972 年 3 月

東京大学大学院 工学系研究科電気工学専門課程博士課程 修了(工学博士)

1972 年 4 月

成蹊大学 工学部電気電子工学科 助教授

1976 年

カナダ McGill 大学 客員研究員

1984 年

カナダ Alberta 大学 客員教授

1986 年 4 月

成蹊大学 工学部電気工学科 教授

2004 年 4 月

成蹊大学 理工学部情報科学科 教授

2006 年

画像電子学会 会長

2009 年 3 月

成蹊大学 定年退職

282

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

ビジュアルコンピューティング論文特集号に寄せてゲスト編集委員長
Visual Computing 研究会委員長 森島 繁生
2020 年度のビジュアルコンピューティング（VC）論文特集号をお届けします．VC 特集号は，本学会
VC 研究会のメンバーが中心となり，コンピュータグラフィックスやビジョン，画像処理領域を核とする
視覚計算融合領域に広く関わる論文の募集・査読・編集を行うもので，本号で 26 回目を迎えます．
今年度の VC 特集号への投稿件数は 8 件でした．厳正な審査の結果，この中から 4 件をフルペーパーとして，1 件をショートペーパーとして採択しました．採録論文のうち 2 件は深層学習に関するもので，それぞれ，医療分野の内視鏡映像の高精細化，CG アニメーションのための植物生長動画作成に応用されております．他には文字を上下反転すると別の文字として読むことができるアンビグラムの自動生成方法の提案，酸素や燃料などによる燃焼過程までを含めた炎の CG シミュレーション，木目込み細工という江戸時代から続く伝統工芸を初心者でも簡単にデザインできるようサポートするシステムに関する論文など幅広い分野の論文が掲載されておりますので，是非，ご一読いただきたいと存じます．一方，今回残念ながら返戻と判定された論文にも優れた要素が少なからず含まれておりました．査読コメントを参考に鋭意研究を継続され，今後再投稿されますようお待ち申し上げております．
ご存知のように，VC 研究会では研究の進展に対応させる形で，VC ワークショップ（12 月開催）
，VisualComputing（6 月開催）
，学会誌特集号（10 月発行）を，その活動の三本柱としています．
まず，VC ワークショップは，発表の完成度そのものよりもむしろ議論を重視し，粗削りもしくは未完
成の研究を種にして皆でアイデアを膨らませることを目指しており，ディスカッションの時間を充分確保しているのが特徴です．ただ，以下にも記載のように今年は新型コロナの影響を受けて年次大会・VC2020
が 12 月（オンライン開催）に延期されたことから，本年度は，VC ワークショップの開催を見送ることになりました．来年度以降開催の際には是非ご参加ください．
2 番目の Visual Computing は，ある程度まとまった段階での投稿を想定しており査読クオリティの高さが特徴で，この分野の先端研究者から有益なコメントを得ることができます．研究発表での活発な議論を通して，ACM SIGGRAPH をはじめとする有力国際会議にも通用するような，より高いレベルに仕立てていくことが目的です．Visual Computing2020 は應義塾大学日吉キャンパスで開催の予定でしたがコロナ禍のもと，12 月に延期され，さらにオンライン開催が決まっています．なお，Visual Computing での発表内容を短期間で学会誌論文に仕上げ投稿いただく論文特集企画を一昨年度より実施しており，今年度も計画中です．
そして，3 番目の学会誌特集号は完成された研究を出版し，結実させる機会として位置づけられます．
これらの機会を研究の段階に応じて有効活用すべく、当該分野に携わっておられる研究者の皆様には，これまで以上に積極的にご投稿いただきますようお願い申し上げます．
最後に本論文特集号の編集にあたり，ゲスト編集幹事の先生方には特に校正作業等で献身的にご尽力いただきました．また，ゲスト編集委員，査読委員，学会事務局の皆様にも，論文の募集，査読，編集の過程でたいへんお世話になりました．この場を借りて心から御礼申し上げます．
ゲスト編集委員長：森島繁生（早稲田大学）
ゲスト編集幹事：藤澤 誠（筑波大学），久保尋之（東海大学），五十嵐悠紀（明治大学）

283

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）
IIEEJ

☠ᄚ

-- ビジュアルコンピューティング特集 --燃焼過程を考慮した炎のリアルタイムシミュレーション
藤 澤

誠†（正会員）

佐々木

浩

幸†

三

河

正

彦†

† 筑波大学

Realtime Flame Simulation Considering Combustion Process
Makoto FUJISAWA† (Member), Hiroyuki SASAKI† , Masahiko MIKAWA†† University of Tsukuba〈あらまし〉 炎はコンピュータグラフィックス (CG) 分野においてエフェクトとして多用される自然現象の 1 つである．しかし，その複雑性から燃焼過程を考慮しない単純なモデルが用いられることが多い．中でもこの現象を扱うた
めに重要な “酸素との反応” はこれまでの研究ではほとんど考慮されていない．そのため，酸素供給で燃焼が激しくなる挙動や，不完全燃焼による温度のゆらぎなど炎が持つ独特な挙動を扱うことができない．そこで本論文では “酸素との反応” の概念とその過程に生じる化学的な現象をモデル化し, それらを用いた新しい炎のシミュレーション手法を提案する．提案手法では，炎を粒子法，酸素を格子法で独立にシミュレーションし, 2 つのシミュレーション間で物理量をやりとりすることで, 化学反応を考慮した燃焼を扱う．また，高速に並列計算ができる GPU で実装を行い，提案手法の有効性を検証した結果，空気中の酸素を含む燃焼過程を考慮した炎のシミュレーションを 10 ∼ 20fps で実行できることを確認した．
キーワード：炎シミュレーション，燃焼過程，粒子法, 格子法<Summary> Flame is one of the most frequently used natural phenomena in the ﬁeld of computer
graphics (CG). However, due to its complexity, a simple model without considering combustion process has
been frequently used. A reaction with oxygen, which is one of important phenomenon for ﬂame, has notbeen considered in the previous researches, while a ﬂame in real-world would be intensed by supplying a
oxygen. Also, the unique ﬂuctuation of the ﬂame such as the temperature ﬂuctuation due to the incomplete
combustion has not realized. In this research, we model the concept of reaction with oxygen and the chemical
phenomena that occur in the combustion process, and propose a new ﬂame simulation method using it. The
ﬂame and oxygen are simulated independently by both the particle method and the lattice method, andthe physical quantity is exchanged between the two simulations to handle the combustion considering thechemical reaction. We realized the fast simulation by using a GPU parallel computation. As a result, we
conﬁrmed that the simulation of a ﬂame with combustion process including the oxygen can be performed
at 10 ∼ 20 fps.
Keywords: ﬂame simulation, combustion process, particle method, lattice method炎とは一般に物質が酸素によって急激に酸化することによっ

1. は じ め にて光と熱を放出する現象として考えられている．化学反応やコンピュータグラフィックス (CG) の分野において，物理

状態変化，流体の挙動を伴う非線形な現象のため, シミュレー

シミュレーションを用いることでより現実に則した自然現象

ションを行う対象としては非常に複雑で計算時間が莫大なものアニメーションを扱おうとする試みがなされており, それのとなる．そのため，化学的現象まで考慮した炎のシミュレー

らは災害予測などの学術的な用途のものから映画やゲームなションはほとんど研究されていない．特に，炎という現象をどのエンターテイメントな用途まで幅広く利用される．その扱うにあたって一番重要な “酸素との反応” はこれまでの研中でも，炎は我々にとって非常に身近な自然現象であり，そ究では考慮されず, 多くの研究では境界条件として高温の流の魅力から演出などに多用されることが多い現象である．

体を噴出することにより炎を表現する．しかしながら，この

284

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

方式では “酸素との反応” によってもたらされる現象, 例え

Nguyen ら4)は CG の炎のシミュレーションに対して流体

ば，風による酸素供給で燃焼が激しくなる挙動や不完全燃焼の概念を導入した．彼らは炎を高温の流体と見なし，格子法

による温度のゆらぎを扱うことができない．これらの挙動はを適用することによって炎が持つ流体の動きを再現した．ま視覚的な影響に留まらず，着火や延焼，消火といったインタ

た，炎の可視化に黒体放射の概念が導入されたことによって,ラクティブな要素にも大きく影響を与えるため, より現実的温度に応じた炎の色構造が再現され，より写実的な可視化がな炎を再現するにはこの現象を考慮することが非常に重要で行えるようになった．Ishikawa ら5)は Nguyen らの手法を拡ある．

張し, 固体物質上で燃え広がる炎を扱う手法を提案した．彼

本論文では，粒子法ベースの炎シミュレーションと格子法

らは物質形状をボクセルで近似することで固体を表現した．

ベースの空気シミュレーションを組み合わせ, 2 つのシミュ

各固体ボクセルは燃料を持ち，発火温度に達すると燃料を消レータ間で相互にやりとりを行うことで，従来手法には存在費しながら熱を発し，周囲格子に炎を放出する．燃料の反応しなかった “酸素との反応” という概念を炎シミュレーショ

速度として新たにアレニウスの式を導入することで高温になンに組み込む手法を提案する．また，周囲空気への熱の逃散るほど反応が激しくなる現象を表現している．この方法では，や燃焼速度など燃焼過程に生ずる現象も導入する．さらに提燃料や反応速度といった化学的現象が導入されるが，酸素は案手法を GPU を用いて並列計算することで，10〜20 fps と考慮されない．格子法による手法はどちらも写実性に優れていうリアルタイムに近い速度で炎のシミュレーションが可能

いるが，物理計算から可視化処理までにかかる計算コストはになることを示す．

大きい．
稲垣ら6)は，従来の格子法で行われていたものを粒子法の2. 関 連 研 究

一種である SPH(Smoothed Particle Hydrodynamics) 法にCG において，炎をシミュレーションするための様々な方置き換えることで高速にシミュレーションを行う手法を提案

法が開発されてきた．炎を表現するために，経験的によく利した．60fps という非常に高速で写実性とインタラクティブ

用される手法としてパーティクルシステムがある．この方法性を併せ持つ手法ではあるが，シミュレーションには簡易的はパーティクルを炎の形になるように手作業で配置し，速度なモデルが用いられており, Ishikawa ら5)が扱ったような化やライフタイムを設定するといった，とても単純な方法であ学反応の概念は扱っていない．間淵ら7)はこの手法に対してる．単純な仕組みゆえに，アーティストの力量によって炎の物理的一貫性を持たせ, 簡易的な化学反応モデルを適用した．

見た目や挙動が大きく異なることが特徴である．Stam ら1)

これにより，火炎の形成及び固体からの作用による影響まで

はパーティクルシステムに対して, 火炎モデルに基づいた拡を粒子法で扱うことが可能となった．しかしながら，この方散の概念を導入することで炎の表現をより扱いやすい形にし法は気体の燃焼のみを対象としたものであるため，固体のたが, この方法では乱流が炎の見た目に与える影響を考慮で燃焼は扱うことができない．さらに，酸素に関しても他の手きない．この欠点を補うために, Fuller ら2)は炎を扱うための法と同様に考慮されてはいない．Melek ら8)は固体を陰関数

プロシージャルな手法として，あらかじめテクスチャとして場で表現し，203 程度の粗いグリッドによる流体シミュレー

定義された炎の形状を，スプライン曲線に沿って変形させる

ションと組み合わせることで固体の燃焼をインタラクティブ

ことによって，炎を表現する方法を提案した．変形したテクな速度で再現した．彼らはグリッドセル内に酸素量や燃料量

スチャに対してノイズを付加することで，炎が持つ乱流を擬を格納することで燃焼過程も考慮している．しかし，酸素や似的に表現することも可能である．しかしながら，プロシー

燃料の消費量，燃焼による熱の発生などは直接パラメータとジャルな手法であるため，アニメーションの中で動いたり変して設定する必要があり，化学的な法則に基づいて決定され形したりする動的な固体などとのインタラクションは難しい． るものではない．本研究では，燃焼による酸素や燃料の消費，
Zhang ら3)は有向グラフを用いることで，プロシージャルな 発生する熱を燃焼による化学反応のモデル化して計算する．
手法による炎に対して，物理的一貫性を持たせた手法を提Mukai ら9)は SPH 法による炎のシミュレーションに対して，案した．この方法はあらかじめ炎を流体として正確にシミュ

燃焼状態に応じた浮力や圧力を計算することで，燃料はろうレーションしておき，その結果を用いて流体の流れや物理量

そくに限定されているが不完全燃焼，完全燃焼などの燃焼過を記録した有向グラフを作成する．さらに，生成した有向グ

程の相違を再現した．本研究では，化学反応を一般化するこ

ラフを記録された物理量に合わせて変形することで炎が表現とで気体燃料と固体燃料の両方に対応し，かつ，グリッド法

される．計算コストは非常に低く, 風などによる炎の変形がを併用することで周囲の空気に含まれる酸素の影響もシミュ発生しても物理的に良く近似された炎を可視化することがでレーションする．

きる．ただし, あらかじめシミュレーションをして得られた結果から有向グラフを生成しているため, 前計算したシミュ
レーションに含まれない流体や固体との相互作用を扱うことはできない．

3.

提案手法の構成

図 1 にレンダリングに関する処理を除いた提案手法全体の処理の流れを示す．以下の節で空気・炎・相互作用の計算に285

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）ンに対して，燃焼過程を考慮した燃焼モデルを導入する．本空気のシミュレーション ( 格子法 ) 炎のシミュレーション ( 粒子法 )外力の計算 ( 重力・浮力 )密度の計算

密度と熱の移流

熱拡散の計算粘性拡散・熱拡散の計算

粘性拡散・圧力研究で扱う燃焼過程は次のとおりである．

1. 拡散火炎
燃料ガスや酸素が濃度差に起因して拡散することによって，燃え広がっていく燃焼過程．

2. 燻焼外力 ( 重力・浮力 ) の計算

空気中の酸素と固形燃料の間で起こり，比較的ゆっくりと反応していく，炎を生じない燃焼過程．

粒子の移流

圧力ポアソン方程式を解く

3. 予混合火炎処理の同期粒子への速度投影
速度
熱

粒子との熱交換

燃焼が起こる前に燃料ガスと空気 (酸素) があらかじめ格子への速度投影

混合されているときに発生する燃焼過程．
上記の燃焼過程を考慮しつつ，燃焼として，燃料が酸素と格子との熱交換

処理の同期結びつく化学反応を取り扱う．化学反応で用いる酸素は空気
燃料と酸素の反応量を計算のシミュレーションで扱われるものを用いるものとし，炎の酸素の取得

シミュレーションとの間で酸素のやりとり (図 1 中央の緑矢
反応熱を計算印) を行う．燃料として，気体燃料と固体燃料の 2 つを扱い，

酸素の消費

図1

それぞれに対して酸素との化学反応による燃焼モデルを導入

燃焼による物理量の更新

燃焼による物理量の更新

する (5 章)．
全体の処理の流れ

Fig. 1 Overview of our method

4.

手法間の相互作用

本章では格子法と SPH 法間の相互作用について述べる．

用いる具体的な手法について概要を述べる．

3.1 流体シミュレーション

4.1

本論文では，燃料と酸素の化学反応を扱うため，空気と炎格子法による空気と SPH 法による炎は独立してシミュレーの 2 種類の流体に対して流体力学計算を行い，それぞれの挙ションされているため，互いの流れに影響を及ぼさない．こ動をシミュレーションする．空気のシミュレーション (図 1 左れらの相互作用を実現するためには，両手法の流体速度を互列) には，計算領域内に均一に存在する空気を扱うため，領いの状態をもとに更新する必要がある．本論文では，Harlow

速度投影

域全体に計算点が均一に分布し，計算点周囲の情報を高速にらが提案した PIC(Particle In Cell) 法14)と同様に, 速度を取得できる格子法を用いる, 一方で，炎のシミュレーション

投影する形で相互作用を扱う．以降，格子上で定義される変(図 1 右列) には固体の燃焼など，炎と固体間の相互作用を扱

量には添え字 i, j, k もしくは c を用い，粒子には添え字 p, q

いたいが, 格子法ではレベルセット法などによる界面追跡をを用いる．

行う必要があり，複数の相を扱うためには処理が複雑になり10)粒子から格子への速度の投影は，格子の物理量が格納され．加えて，変化の激しい炎では符号付距離場が乱れている代表点を中心に近傍粒子を探索し，その点での粒子法やすいため，頻繁にレベルセット法の再初期化処理を行うの流体が持つ速度を用いて行う．本研究での設定では炎に用いで計算コストが大きい．粒子法を用いた場合，異なる物質がる粒子の方が格子よりも詳細にその動きを計算しているた

混在しても，それぞれの物質を表す粒子を使うことで相互作

め，粒子近傍の格子速度を以下の式により粒子の速度で上書用を容易に扱える．これらの理由から，炎のシミュレーショ

きする．

やすい

ンには粒子法を適用して流体力学計算を行う．なお，本研究p∈N up W (xp − xi+ 12 ,j,k )では空気と炎を異なる手法を用いて扱うため，2 つ手法間でui+ 12 ,j,k = の相互作用が必要となる (図 1 中央の青矢印)．そのため，速

度をやりとりする速度投影 (4.1 節) と熱をやりとりする熱交

vi,j+ 12 ,k = 

換 (4.2 節) の 2 つの相互作用を新たに導入する．
本論文では，格子法の流体ソルバには Stam ら11)と同様の方法を用いる．粒子法には SPH 法を採用し, その流体ソルバには Müller ら12)の方法を用いる．さらに，SPH 法で固体を扱うために，Akinci ら13)の境界粒子計算方法を用いる．

p∈N W (xp − xi+ 12 ,j,k )p∈N vp W (xp − xi,j+ 12 ,k )p∈N W (xp − xi,j+ 12 ,k )p∈N wp W (xp − xi,j,k+ 12 )

wi,j,k+ 12 = p∈N W (xp − xi,j,k+ 12 )

(1)

(2)

(3)

ここで，N は近傍粒子の集合，u, v, w はそれぞれ x, y, z方向の速度, x は粒子及び格子点座標, W はカーネル関数

3.2 燃焼シミュレーションである．スタガード格子を用いているので，速度の投影式は燃焼シミュレーションでは，空気と炎の流体シミュレーショ

x, y, z 方向で異なる．

286

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

格子から粒子への速度の投影は粒子から格子への速度の投M 1 X + M 2 O2 → Y + Q

影と同様に近傍格子を用いて行うが, 速度の上書きではなく，
この化学反応における質量変化は次の式のようになる．

速度の合成を用いる．

c∈M uc W (xp − xc )Δtup = up + c∈M W (xp − xc )mx + mo2 = my(4)

M は近傍格子の集合，up は速度を合成する前の粒子速度n=mx
M1 M (X)=M2 M (O2 )
mo2

(7)
(8)

である．近傍格子とは粒子が重なる格子とその格子の 26 近傍格子を指す．式 (1) - (4) におけるカーネル関数には 3 次

ここで，M1 ，M2 は反応物質の mol 量, mx , mo2 , my は各物の線形重み関数を用いる15)．

質の総質量, M (χ) は分子 χ のモル質量である．反応前後で質量保存制約 (式 (7)) は必ず満たされる．式 (8) は反応の制4.2 熱交換

約式でもあり，この比を満たさない反応は発生しない．以降

両手法間で熱のやり取りを行う手法には Hochstetter らの手法15)と同様の熱拡散を用いる．以下にその式を示す．

の節では，これらの制約を満たすように気体，固体燃料の燃焼をモデル化していく．また，燃料は気体・液体両方とも粒 4kp kcdTp
1=
Ap(Tp − Tc )W (xp − xc ) (5)dtρp C pkp + kc子で表現し，各粒子で発生する反応熱を求めることで，燃焼の影響を計算する．

c∈M

dTc
1  4kp kc=(Tc −Tp )Ap W (xp −xc ) (6)dt
ρc0 Cckp + k c

5.2

気体燃料の燃焼モデル

気体燃料の燃焼をモデル化する．気体燃料の燃焼で適用すp∈Nる燃焼過程は拡散火炎と予混合火炎である．この 2 つの燃焼式 (5) が格子から粒子への，式 (6) が粒子から格子への熱過程の違いは酸素があらかじめ十分に混合されているか否か拡散である．ここで，ρ は密度，T は温度, k は熱伝導率, Cの違いであり，燃焼モデルとしてはどちらも同一に扱える．

は熱容量であり, M は粒子の近傍格子の集合，N は格子の以下に気体燃料の燃焼を扱う手順について順番に説明する．

近傍粒子の集合, A は接触面積である．接触面積には粒子の表面積 4πr 2 を用いる．カーネル関数には速度投影と同様に

3 次の線形重み関数を用いる．

5.

5.2.1 反応質量の導出
化学反応での反応質量が既知であれば，反応質量を第 2 番
目の化学反応式に与えることで, その化学反応の前後での質量の変化量と熱量の変化量を求めることができる．気体燃料

燃焼のモデル化と酸素，それぞれの反応質量 mf , mo2 は反応比 n を用いる

本研究では，燃焼過程として，拡散火炎と燻焼, 予混合火
炎を扱う．ただし，予混合火炎のうち，圧力が急激に高まる
ことにより爆轟現象が発生するような燃焼は扱わない．これは本研究では炎を非圧縮流体としてシミュレーションするため，極端に圧力差が大きくなる流体のシミュレーションは不ことで, 式 (9) で与えられる．



mf = min (fp , nρc Vc )mo2 = min (ρc Vc , n1 fp )(9)

fp は粒子燃料質量，ρc は酸素格子密度で粒子に重なる酸素安定になるためである．本章では燃焼における化学反応を気格子の値を用いる．Vc は酸素格子体積である．式 (9) は反応体の燃焼と固体の燃焼をそれぞれモデル化する方法を述べる． 比制約 (式 (8)) を満たし，各粒子ごとに計算される．燃料質

5.1 燃焼における化学反応式の一般化

量 fp は各粒子が持つ値であり，純粋な気体燃料の粒子であ

燃焼は可燃物質が発火温度に達することで，酸素と結びつるならば, その初期値として粒子の初期質量を与える．

き化合物と反応熱 Q を発生させる化学反応である．例えば，
メタン CH4 の燃焼であれば，次の化学反応式のようになる．
CH4 + 2O2 → CO2 + 2H2 O + Q

5.2.2 反応熱の導出
反応熱 Q は反応質量を用いると式 (10) で与えられる．
Q = ΔHc mf(10)

この反応のように，多くの燃焼では 1 種類の可燃物質が酸素

ここで，ΔHc は有効燃焼熱である．有効燃焼熱とは反応したと結びつくことによって, 二酸化炭素や水といった化合物と燃料質量辺りに放出する熱量を表した値で, 化学実験によっ

反応熱 Q を発生させる．燃焼を扱う際は，このような化学反て求められる値である．本論文では，文献 16) を参考にして応式を導入していくことになるが, 物質ごとに生成される化

有効燃焼熱 ΔHc を設定する．

合物を正しく扱おうとすると，組み合わせが膨大になり, 数

5.2.3 物理量の更新

値計算としては導入しづらい．そこで，可燃物質 X の化合物

ここまでに得られた値を用いて粒子と格子の物理量を更新

は混合気 Y であると仮定し, 次のように化学反応式を単純化する．反応によって気体燃料粒子は生成された化合物 Y を含する．

む混合気粒子に変化したと考えると, 粒子質量 mp に反応し287

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

た酸素質量 mo2 を加えるだけで, 質量保存制約 (式 (7)) を満たすことができる．質量変化に関する物理量の更新式は次のとおりとなる．

⎧n+1= fpn − mf
⎪
⎨ fp
n+1
ρc = ρnc − mo2 /Vc⎪⎩ n+1
mp = mnp + mo2(11)

また，粒子の温度は式 (10) で得られた反応熱 Q を次の式

(12) に代入して更新する．
Tpn+1 = Tpn +図 2 固体表面積の近似
Fig. 2 Approximate surface area

Q
ρp Cp

(12)

5.3 固体燃料の燃焼モデル
固体燃料の燃焼をモデル化する．固体燃料の燃焼で扱う燃焼過程は拡散火炎と燻焼である．燃焼をモデル化する手順としては，前節で扱った気体燃料の燃焼モデルと同様に反応質
量，反応熱を求め, 粒子と格子の物理量を更新していく形で行う．ただし，固体燃料の燃焼は固体表面で発生する点と, 熱
分解と燃料の気化を含めた反応速度を考慮する必要がある．

図 3 酸素格子位置
Fig. 3 Position of oxygen cell

そのため，気体燃料の燃焼とは異なり，固体表面追跡と反応化熱による熱収支などの影響を考える必要がある．これらの速度の概念を新たに導入する．以下に固体燃料の燃焼を扱う

現象は複雑ですべてを考慮するのは難しいため, 火災の研究

手順を示す．

分野で燃料の放出速度を推定するのによく使用される最大燃5.3.1 固体の表面追跡

焼速度16)を用いる．最大燃焼速度とは微小時間あたりに単位

固体燃料の燃焼は固体表面でのみ発生するので，最初に燃 面積上で反応する質量を表したものであり，化学実験で測定焼点となる固体表面粒子を求める必要がある．提案法では， することによって得られる．反応比 n と最大燃焼速度を用い固体を粒子の集合で近似しているため，ある粒子 p とその近 て，固体燃料を構成する各表面粒子で反応質量 m と酸素の傍粒子 q との距離ベクトルの総和 r pq から固体表面粒子と法線ベクトルを求める．単位法線ベクトル n̂ は式 (13) で求め,f

反応質量 mo2 を次の式で求める．



求めた法線ベクトルがある一定値以上の大きさをもつ粒子を
固体表面粒子と判定する．ただし，粒子が一列に並んでいる

mf = min (fp , ṁf AΔt, nρc Vc )mo2 = min (ρc Vc , n1 fp , n1 ṁf AΔt)

(14)

場合や他の粒子から孤立している場合に距離ベクトルの総和

ここで ṁf は固体燃料の最大燃焼速度であり，本論文では,が 0 となり，それらの粒子が内部粒子と判定されるため，近文献 16) を参考に設定した．A は反応面の面積である．半径

傍粒子の個数が一定数以下の場合も表面粒子とする．この場

r の固体粒子が格子状に配置されていると仮定し，この面積合の法線方向は，法線が炎粒子の放出方向の決定に用いられには，粒子をボクセルに近似して得られる 1 つの面を反応面ることを考慮して，鉛直上向き (−ĝ) に設定する．

として, その面積 4r 2 を設定する (図 2)．固体燃料の燃焼で

⎧ 
r
⎪
q pq
⎪
⎪
| q r pq |
⎪
⎪
⎨
−ĝ
n̂ =
⎪
⎪
⎪
⎪
⎪
⎩ 0

(|

用いる酸素密度 ρc は，法線方向 n̂ に粒子直径 2r だけ移動q r pq | ≥ κ)

( 0 ≤ np ≤ κn
& | q r pq | < κ )(otherwise)

した点を含む格子点 xc の値を用いる (図 3)．

5.3.3 反応熱の導出(13)

反応熱は気体燃料の場合と同様に，反応質量 mf と有効燃
焼熱 ΔHc を用いることで算出できる．ただし，固体燃料の

ここで，np は近傍粒子数であり，κ, κn は内部判定用のしきい値である．しきい値 κ には粒子半径 r と等しい値を設定し，場合，炎を伴う発熱 Qf ire と固体表面が炭化することで発生する炎を伴わない発熱 Qsolid の 2 種類があるため, それぞれに熱量を分配する．

κn は設定した有効半径内の粒子数に基づいて設定する．
5.3.2 反応質量の導出
固体燃料の燃焼は多くの場合，固体燃料そのものが燃焼す

Qf ire = (1 − β)ΔHc mf
Qsolid = βΔHc mf(15)

るのではなく, 熱分解によって放出された気体燃料や固体燃

ここで，β ∈ [0, 1] は熱分配係数である．β が 1 に近づくほ料が気化して気体燃料となったものが燃焼している．そのたど, 燃焼の挙動は燻焼の形になる．β = 1 にした場合は，木め，厳密に固体燃料の燃焼を扱うには，熱分解や相変化, 気

炭などの炎を放出しない表面燃焼となる．

288

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

5.3.4 炎粒子の放出
固体燃料の燃焼が拡散火炎ならば，固体燃料から炎が放出される．ゆえに，固体燃料の燃焼に合わせて, 新たに炎粒子
を計算領域に追加する必要がある．炎粒子を追加する位置 xfは固体燃料粒子の位置 xp から法線ベクトル n̂ を γ 倍した分だけ移動した位置とする．

xf = xp + γ n̂(16)

本論文の実験では，固体燃料粒子からの圧力によって炎が吹

表 1 空気及び粒子の物性値
Table 1 Parameters for air and ﬁre/solid particles
物質種類
初期密度 [kg/m3 ]初期燃料 [kg]
熱容量 [J/(kg·K)]
熱伝導率 [J/(s·m·K)]
動粘性係数
浮力係数
反応比
発火温度 [K]有向燃焼熱 [K/kg]
最大燃焼速度 [kg/(m2 ·s)]
熱分配係数

空気

気体燃料

0.281
1.005
5.243
10−3
0.65
-

0.717
6.007 × 10−2
2.206
5.301
40
2 × 10−2
0.251
773.1550 × 107-

固体燃料

38 × 104
0.1
10−4
10.29
0.1667673.1533 × 106
11
0.3

固体火炎

1.205
1.005
5.243
10
0.1
-

き飛ばされないように, 倍率 γ は有効半径 h と等しい値を用や靄のようなアーティファクトが生ずる．炎の場合，描画すいている．
炎粒子に持たせる物性に関して，炎粒子そのものは, 固体べき領域は燃焼が発生している密度が高い領域であるため，燃料から放出された気体であり，放出過程で周囲空気と混ざ密度の低い領域のピクセルは破棄するようにする．ただし，り合った混合気である．反応質量の導出のところで述べたよ

単純に破棄するとエイリアスやブロックノイズが生ずるため，うに，固体燃料の気化を正確に考慮することは難しいため， 密度が低い領域の影響を抑え，炎の形状とアーティファクト
の境目を滑らかに繋ぐように透過値 α を補正した上で，ピク炎粒子の組成はほぼ空気であると仮定し，炎粒子には空気とセルを破棄するようにする．透過値 α の補正には，ステップ

同じ物性を与える．

関数のような性質を持ち，さらにその間を滑らかに繋ぐこと

初期温度は次の式により求める．

Tf ire =ができる特徴を持ったシグモイド関数を用いた (式 (20))．

Qf ireρf ire0 Cf ire

(17)

tanh

ここで，ρf ire0 は炎粒子の初期密度, Cf ire は炎粒子の熱容量である．最後に，質量保存制約 (式 (7)) を満たす必要があるので, 前項で求めた反応質量 mf , mo2 を初期値として与えられている粒子質量に対して加える．

α =a(α + b)
2
2

+1
(20)

α は補正後の透過値であり，a，b は制御変数であり, a が大
きいほど変化が極端になり, b が小さいほど小さな密度の影
響を抑えられる．この制御変数は対象とする炎の気体密度に6.

よって適宜設定する．本論文では a = 15.5, b = −0.3 と設

物理量の更新燃焼によって消費された燃料や酸素の値を気体燃料の燃焼と同様に更新する．同時に，固体燃料の燃焼の場合は, 気体
として固体燃料の質量を放出していくので, 消費した燃料のした．ピクセル破棄によるエイリアスは完全に除去されないため, 最後に 3 × 3 のガウシアンフィルタを適用することでエイリアスを取り除いた．

分だけ固体粒子質量 mp を小さくする (式 (18))．

mn+1= mnp − mfp

定した．また，α < 0.025 となるピクセルを破棄するように

8. 結果と考察

(18)

8.1

境界粒子温度の更新に関しても，気体燃料と同様で, 反応
熱 Qsolid を式 (12) に代入して粒子温度を更新する．

実験設定

提案手法の有効性を確認するために，2 つのシーンを作成し,実験を行なった．実験を行うにあたって CPU に Intel Core i7-

7. レンダリング

6700K 4.00GHz を，GPU に NVIDIA GeForce GTX 1070

炎粒子の密度場と温度場を格納した 3D テクスチャをまず生

境温度 20◦ C に設定し，気体の圧力定数は 9.8 × 10−4 ，固体成し，その情報をもとに炎の色と透過値 α を求めていく．炎の圧力定数は 8.0 とした．本研究で利用するガスバーナシーを用いた．実行結果はすべて NVIDIA CUDA を用いて GPU
粒子法でシミュレーションされた炎を可視化するために， 上で並列計算されたものである．実験で設定した空気及び粒レイキャスティングによるボリュームレンダリングを行う． 子の物性値を表 1 に示す．空気格子及び粒子の初期温度は環の色は Nguyen ら4)の方法と同様にして求める．透過値 α はン及び固体燃料シーンについて説明する．

炎粒子の密度の値をもとに決定する．密度値から透過値への• ガスバーナシーン (シーン A)

変換式には坂本ら17)が提案した式を用いた．
1

α = 1 − e−ρ Rz

気体燃料による燃焼として，ガスバーナによる燃焼をシ
ミュレーションする．ガスバーナが供給する気体燃料と(19)

酸素の混合気は，気体燃料粒子を 5 × 3 × 5 の格子状に供

ここで，Rz は 3D テクスチャの奥行き解像度である．この式

給し, 供給された気体燃料粒子に重なる空気格子に対してで得られた透過値をそのまま用いると，炎の先端で粒子形状

酸素を供給することで表現する．さらに，供給する粒子289

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(a) t = 0.06[s](b) t = 1.00[s](c) t = 1.38[s]図 4 ガスバーナシーン (シーン A) の結果

Fig. 4 Results of gas barner simulation(a) ρo2 = 0.5620[kg/m3 ](b) ρo2 = 0.3934[kg/m3 ](c) ρo2 = 0.1124[kg/m3 ]

図 5 供給酸素量を変えた結果
Fig. 5 Results with oxygen supply changing
表 2 各シーンの 1 フレームあたりの計算時間
Table 2 Perfomance results for all examples
シーン

ガスバーナ

Δt (格子法) [s]Δt (SPH 法) [s]3D テクスチャ解像度
格子法解像度
最大 [個]
粒子数
平均 [個]
最小 [s]
計算時間
最大 [s]
平均 [s]

固体燃焼

0.02
0.002
256 × 256 × 128
64 × 64 × 64
2001
9617
1436.74149.4
0.047
0.023
0.121
0.078
0.082
0.054

(a) 風速 16m/s

図6(b) 風速 64m/s

風による影響Fig. 6 Results with diﬀerent wind velocity

及び酸素には鉛直上向きに 10m/s の速度を与える．気体
燃料への着火には 106 K の熱を供給された粒子に対して連鎖的に反応することで炎が大きくなり (図 4(b))，ある程度の大きさまで炎が成長するとその大きさを保ちながら燃料与えることで行う．

供給を止めるまで燃焼し続ける (図 4(c))．図 4 の結果から，• 固体燃焼シーン (シーン B)
固体の発火，延焼, 鎮火までの流れをシミュレーションする．固体は境界粒子を密に並べて表現する．固体形状には，水平及び垂直方向の炎の延焼を確認するために T 字形状を採用した．固体燃料への着火には固体端にガスバー
ナによる炎を当てることによって行う．

提案法を用いることで，供給される気体燃料に対して熱を加えることで，気体燃料が空気中の酸素と反応・燃焼し，炎を形成するという燃焼による炎の変化を再現できていることが確認できる．
燃料粒子の量はそのままに，供給される酸素の量を変化させたときの炎が図 5 (a)〜(c) である．化学反応モデルによっ

8.2 結果と考察て，酸素量が少ないほど，燃料の反応量が少なくなり, 反応

本節では各シーンのシミュレーション結果と考察について熱が小さくなっていることが確認できる．図 6 は図 5(b) に述べる．各シーンの計算時間については表 2 に示す．

示される炎に対し，左から右へと風を加えたときの結果であ8.2.1 ガスバーナシーン (シーン A)

る．風そのものは全ての空気格子に右方向の速度を設定する

シーン A の結果を図 4 に示す．図 4(a) が着火直後の状態ことで扱った．図 6 より, 手法間の速度投影によって炎が風であり，着火された燃料が熱を周囲の燃料に対して放出し， の影響を受けていることがわかる．

290

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(a) t = 0.98(b) t = 3.80(c) t = 16.22(d) t = 34.26(e) t = 54.76

図 7 固体燃焼シーン (シーン B) の結果
Fig. 7 Results of solid combustion simulation(a) t = 0.98(b) t = 3.80(c) t = 16.22(d) t = 34.26(e) t = 42.8

図 8 風を伴った場合の固体燃焼シーンの結果

Fig. 8 Results of solid combustion simulation with wind

シーン A における 1 フレームあたりの計算時間は平均で約囲の酸素濃度を風などで増減させることで炎の激しさが変わ

0.082 秒 (約 12 fps) であり，CG アニメーションでのフレームレートである 20〜30 fps には達していないが，気体燃料のることも確認でき, 燃焼の原理に基づいて炎の形状と色を高燃焼をリアルタイムに近い速度で扱うことができている．

提案手法では，相変化を考慮していないため, ロウソクな速に制御することができた．

8.2.2 固体燃焼シーン (シーン B)

どの熱で変化する固体燃料やガソリンなどの液体燃料は扱う

シーン B の実行結果を図 7 に示す．図 7 では，T 字形状のことができない．そのため，相変化の概念を導入し, 燃焼モデ

固体燃料にパーナーで着火し (図 7(a),(b)), その炎が伝播しルをさらに拡張することが今後の課題である．また，乱流がていき (図 7(c),(d), 最終的に燃料が燃え尽きることによる炎

正確には考慮されておらず, ほとんどの炎は層流火炎になっの鎮火 (図 7(e))，といった固体燃焼の一連の流れを扱うことているため, 乱流を考慮する必要もある．さらに，提案手法ができている．シーン B に対して，左から右へと流れる風をの結果の評価はすべて定性的なものであり，現実の炎での計付与した結果が図 8 である．風は空気格子左端の境界格子に測結果の比較などの定量的な評価も今後の課題である．

3

16m/s の右向き速度と 0.4215kg/m の酸素密度を設定して扱った．風を伴わないもの (図 7) よりも延焼速度も速くなっており, 炎色の変化から反応熱が増加することも確認できる．
以上より，提案モデルは風による影響が考慮されており, 燃
焼速度及び延焼速度を風による酸素の供給によって制御可能であるとわかる．
シーン B における 1 フレームあたりの計算時間は平均で約 0.054 秒 (約 18.5 fps) であり，粒子が広い空間に渡って分布しているため，粒子が特定の分割空間に集中せず，並列化の恩恵を十分に受けられるので, 粒子数が増加しているにも関わらず，シーン A より高速に動作している．

参考文献
1) J. Stam, E. Fiume: “Depicting Fire and Other Gaseous Phenomena Using Diﬀusion Processes”, Proc. of the 22nd Annual
Conference on Computer Graphics and Interactive Techniques,pp.129–136 (1995).
2) A. R. Fuller, H. Krishnan, K. Mahrous, B. Hamann, K. I. Joy:
“Real-Time Procedural Volumetric Fire”, Proc. of the 2007
Symposium on Interactive 3D Graphics and Games, pp.175–
180 (2007).
3) Y. Zhang, C. D. Correa, K.-L. Ma: “Graph-Based Fire Synthesis”, Proc. of the 2011 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pp.187–194 (2011).
4) D. Q. Nguyen, R. Fedkiw, H. W. Jensen : “Physically Based
Modeling and Animation of Fire”, ACM Trans. on Graphics,
Vol.21, pp.721–728 (2002).

9. む す び
本論文では，酸素や燃焼過程を考慮した燃焼の化学反応モデルを提案し, そのモデルで用いる空気と炎，2 つの性質が異なる流体を高速に扱うために, 格子法と粒子法の両方を同

5) T. Ishikawa, R. Miyazaki, Y. Dobashi, T. Nishita : “Visual
Simulation of Spreading Fire”, Proc. of NICOGRAPH International’ 05, pp.43–48 (2005).

では，気体燃料と固体燃料で着火から延焼, 鎮火までの燃焼

6) 板垣智, 井村誠孝, 池田聖, 眞鍋佳嗣, 千原國宏：“粒子ベース流体シ
ミュレーションを用いた炎のリアルタイムレンダリング”, 情報処理学会研究報告, グラフィクスと CAD(CG) 研究会報告, Vol.2010CG-138, No.14, pp.1–6 (2010).

の流れを再現可能であることが確認できた．また，燃焼点周

7) 間淵聡, 藤代一成, 大野義夫: “SPH ベースリアルタイム火炎シミュ時に用いた新たな炎シミュレーション手法も提案した．実験

291

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）
レーション”, 情報処理学会論文誌, Vol.52, pp.2965–2972 (2011).

8) Z. Melek, J. Keyser: “Interactive Simulation of Burning Objects”, Proc. of the 11th Paciﬁc Conference on Computer
Graphics and Applications, pp.462–466 (2003).
9) N. Mukai, S. Akasaka, Y. Chang: “Candle Flame Simulation
Considering Combustion States”, Proc. of the 6th IIEEJ International Conference on Image Electronics and Visual Computing, pp.3A-3:1-4 (2019).
10) F. Losasso, T. Shinar, A. Selle, R. Fedkiw: “Multiple Interacting Liquids”, ACM Trans. on Graphics, Vol.25, pp.812–819(2006).
11) J. Stam: “Stable Fluids”, Proc. of the 26th Annual Conference
on Computer Graphics and Interactive Techniques, pp.121–128(1999).
12) M. Müller, D. Charypar, M. Gross: “Particle-Based Fluid Simulation for Interactive Applications”, Proc. of the 2003 ACM
SIGGRAPH/Eurographics Symposium on Computer Animation, pp.154–159 (2003).
13) G. Akinci, M. Ihmsen, N. Akinci, M. Teschner: “Parallel
Surface Reconstruction for Particle-Based Fluids”, Computer
Graphics Forum, Vol.31, pp.1797–1809 (2012).

藤 澤
誠 （正会員）2005 年 静岡大学大学院理工学研究科修士課程修了．2008 年 同博士課程修了．同年奈良先端科
学技術大学院大学情報科学研究科助教．2011 年
筑波大学大学院図書館情報メディア研究科助教，
現在に至る．博士 (工学)．CG，物理シミュレー
ションなどの研究に従事．情報処理学会，画像
電子学会，日本 VR 学会，ACM, IEEE CS 各
会員．

佐々木 浩 幸2018 年 筑波大学情報学群情報メディア創成学類卒業．学士 (情報メディア科学)．在学中，物理
シミュレーションに関する研究に従事．現在，任天堂株式会社に勤務．

14) F. H. Harlow: “The Particle-In-Cell Method for Numerical Solution of Problems in Fluid Dynamics”, Meth. Comput. Phys.,Vol.3, pp.319–343 (1962).

三 河 正 彦1994 年 大阪大学大学院機械工学分野修士課程修了．同年 NTT アクセス網研究所入所．2003 年
筑波大学図書館情報学系講師．2006 年 同大学院

15) H. Hochstetter, A. Kolb: “Evaporation and Condensation of
SPH-Based Fluids”, Proc. of the ACM SIGGRAPH / Eurographics Symposium on Computer Animation, pp.3:1–9 (2017).

図書館情報メディア研究科准教授，現在に至る．
博士 (工学)．日本ロボット学会，計測自動制御学会，日本知能情報ファジィ学会，IEEE 各会員．

16) James G.Quintiere, 大宮喜文, 若月薫, 基礎 火災現象原論, 共立出
版 (株) (2009).
17) 坂本尚久, 小山田耕二: “粒子ベースボリュームレンダリング”，可視化情報学会論文集, Vol.27, No.2, pp.7–14 (2007).

(2020 年 3 月 23 日 受付)

292

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）-- ビジュアルコンピューティング特集 --深層学習による 8K 内視鏡映像の高精細化
和田 歩†（正会員） 大和 淳司† 合志 清一†（正会員）†工学院大学情報学部

Image Enhancement for 8K Endoscope Videos Based on Deep Learning
Ayumu WADA† (Member), Junji YAMATO†, Seiichi GOHSHI† (Member)†Department of Information Science, Kogakuin University〈あらまし〉 内視鏡手術は切開創が小さく術後の回復が早いため手術件数は年々増加傾向にある．開腹手術よりも患者への負担が少なく高齢者に対しても有用な内視鏡手術であるが，手術難易度が高く執刀可能な医師の数が不足している．近年，内視鏡手術の技術水準を向上させるため 8K 解像度の内視鏡カメラが開発された．8K 内視鏡カ
メラは患部の質感や奥行き感など多くの情報を取得するため，患部をより詳細に観察可能であり手術難易度を下げることに貢献し得ると期待されている．しかし，8K 内視鏡カメラは従来よりも被写界深度が浅く，血管や縫合糸など複数の対象にフォーカスを同時に合わせることが困難である．そこで本研究では 8K 内視鏡映像に対し信号処
理を施すことで，フォーカス合わせが不十分であっても精細感を得られるよう映像を改善する手法を提案する．また，提案手法の性能を定量化するため主観評価実験により手術で使用される縫合糸の視認性とノイズによる画質劣化について評価した．実験の結果，ノイズの増幅による画質劣化が避けられ，縫合糸をより短時間で視認できることを確認した．
キーワード：8K 内視鏡カメラ，深層学習，高精細化，ノイズ低減<Summary> Number of endoscopic surgery trends upward because the postoperative recovery is fast and the patient can bedischarged immediately. Although endoscopic surgery is less burden on patients than open surgery, its difficulty is high forunskilled doctors. Recently, an 8K resolution endoscope camera has been developed to improve the technical level ofendoscopic surgery. An 8K endoscope camera is expected to reduce the difficulty of surgery because it can obtain a lot of
information about texture and depth of the organ. However, an 8K endoscope camera has a shallower depth of field than
traditional cameras, and it is difficult to simultaneously focus on multiple objects such as blood vessels and sutures. In thispaper, the method which makes 8K endoscopic videos with insufficient focusing sharp is proposed. And then, in order toquantify the performance of the proposed method, the visibility of sutures used in surgery and the image quality degradation
due to noise were evaluated by subjective assessments. As a result of the experiments, it is shown that image quality
degradation was avoided, and that sutures could be found in a shorter time.
Keywords: 8K endoscope cameras, deep learning, image enhancement, noise reduction

1.

能な医師の数が不足している 2) ．

はじめに

近年，内視鏡手術の技術水準を向上させるため 8K 内視鏡

患者への負担が少ない外科治療として内視鏡手術が普及しカメラが開発された 3) ．8K 内視鏡カメラは血管や臓器を従ている．内視鏡手術では腹部に開けた 1cm の穴から内視鏡や来よりも高い解像度で撮影することで，患部の質感や奥行き鉗子を挿入し，モニターに映し出された患部を観察しながら感などの情報を執刀医に提供する．臨場感が高い映像は手術治療を行う．開腹手術よりも切開創が小さく術後の回復が早の根治性を向上させるため，より安全な手術として 8K 内視

いため，患者は早期に退院が可能である．高齢化が進む日本

鏡手術が期待されている．また，従来の HD/4K 内視鏡カメラ

では体力が少ない高齢者に対して内視鏡手術の有用性が期待

は患部を観察するため対象に近づく必要があった．これは内されている 1) ．しかし，内視鏡手術ではモニターに映し出さ視鏡とその他の医療器具とが接触する恐れがあり，臓器を損れた映像を基に治療を進めるため，手術難易度が高く執刀可傷させるリスクがある．しかし，8K へと解像度が向上したこ

293

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）とで電子ズームによって患部を精細に映し出せるため，内視鏡カメラを動かす必要が無く，臓器損傷のリスクが減少すると期待されている．従来よりも優位性がある 8K 内視鏡カメラであるが，実用化とともにフォーカス合わせが新たな課題
として表面化した．8K 内視鏡カメラの撮像素子は従来のHD/4K 解像度よりも画素あたりの面積が小さく，各素子に入射する光量が少ない．より多くの光を撮像素子に集めるため(a) Sample of 8K endoscopic videos

8K 内視鏡カメラでは絞りを開くが，その結果として被写界深(b) An occurred noise

図 1 8K 内視鏡映像で発生したノイズの一例

度が浅くなる．このためフォーカスを臓器に合わせた場合，Fig.1 The noise occurred in 8K endoscopic videos

内視鏡手術で用いる直径 0.02mm 以下の縫合糸は 8K 本来の解像感が得られず視認性が悪い．そこで本研究では 8K 内視鏡映像の微弱な高周波成分を強調することで，フォーカス合
わせが不十分であっても縫合糸を高精細化する手法を提案す
る．

2.

従来手法

画像や映像を高精細化する手法として超解像技術が存在す
る．超解像は原画像のナイキスト周波数を超える高周波数成

図 2 ガウシアンノイズ

図 3 パーリンノイズ分を生成する技術であり画像の輪郭を鮮明にする．いくつか

Fig.2 Gaussian noiseFig.3 Perlin noiseの超解像技術が提案されている 4), 5) が，いずれもリアルタイ
ムで処理することが困難であった．一方，テレビでのアップ

3.1

コンバートを目的とした再構成型超解像 6) や非線形超解像 7)

8K 内視鏡映像のノイズはリアルタイムで計算可能である．再構成型超解像は複数の映像に発生するノイズは一般にガウシアンノイズとしてフレームから被写体が映る画素をサンプリングすることで高モデル化されることが多い 11) ．しかし，8K 内視鏡映像には精細化を行う．被写体を鮮明に撮影したフレームが存在すれガウシアンノイズとは特徴が異なるノイズが発生している．

ば高精細な映像を得られるが，縫合糸にフォーカスが合って

図 1(a)に示す 8K 内視鏡映像から緑枠の範囲を切り取り，輝いない 8K 内視鏡映像への適用は困難である．一方で，非線度成分の抽出した結果を図 1(b)に示す．抽出した画像に注目

形超解像は 1 枚のフレームに対して処理可能であり，8K 内視

すると，
8K 内視鏡映像には隣り合う画素と連続するようなノ鏡映像の高精細化手法としても検討された 8) ．しかし，非線イズが発生していることがわかる．一方で，図 2 に示すガウ形超解像には高周波成分であるノイズの増幅が伴うため，縫シアンノイズは画像内で粒状となって現れており，図 1(b)の合糸を鮮明にしたが同時に画質が劣化してしまった．そこでノイズと特徴が異なることがわかる．本研究では 8K 内視鏡

窪田らはノイズ低減手法の一つである Total variation 法を 8K

映像に発生するノイズと同じ特徴を学習させるため，図 3 に内視鏡映像に適用した 9) ．Total variation 法は入力画像のエッ

示すパーリンノイズ 12) を使用する．パーリンノイズはコンピ

ジ成分を保持しつつ画像の劣化過程を推定するため，鮮明なュータグラフィックスにおいてテクスチャ生成などに使用さノイズ低減画像が期待できる．しかし，先行研究において処れる手法であり，図 1(b)のノイズと特徴が似て不規則に連続

理後の画像を評価した結果，臓器表面上ではノイズ低減効果している．予備実験においてパーリンノイズを学習に用いたが見られたが，処理に伴い発生したアーティファクトが縫合結果，8K 内視鏡映像に対するノイズ低減効果が確認できた．

糸を一部欠落させていた．

画像に対するパーリンノイズの付加は式(1)で表される．

3.

,  = ,  + (, )

提案手法
ே

縫合糸や血管は執刀医が手術中に注視する重要な要素であり，欠落させずに映像をノイズ低減及び高精細化する必要ே
௜ × ( ௜ ) ∗ ௜ (, ),  =
௜ୀଵ

(1)

. .

௜ =1

(2)

௜ୀଵ

がある．そこで提案手法ではノイズ低減や超解像技術で高い精度を持つニューラルネットワーク 10) に，ノイズの特徴を学

式中の(, )はノイズ混入画像，(, )は原画像を表す．

習させることを試みた．これによりノイズとその他の高周波

(, )は式(2)に従い生成されたパーリンノイズである．パー成分が区別され，従来手法 9) よりもアーティファクトが少ない状態で，8K 内視鏡映像の高周波成分を強調することができ

リンノイズの生成では複数のノイズを合成する．式中の ௜ (, )は標準正規分布に従ったノイズであり，原画像とサた．

イズが同じとなるように生成されている．パーリンノイズは

294

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

N 個のノイズを合計 1 である௜ によって加重平均することで生成される．平均化される各ノイズにはガウシアンフィルタ( ௜ )が畳み込まれ，ノイズ模様のスケールを変化させている．
提案手法では以下のパラメータଵ = 0.9，ଶ = 0.1， ௜ = 0.7，
ଶ = 0.2により，パーリンノイズを生成する．

3.2

学習方法

図 4 提案手法の概要

フォーカス合わせが不十分な 8K 内視鏡映像には不鮮明なFig.4 Outline of the proposed method

臓器や縫合糸が映し出されている．提案手法では 8K 内視鏡
映像の各フレーム画像（8K 内視鏡画像）に対し，ノイズ低減
処理及び高精細化処理を施すことで，ノイズを増幅せずに縫合糸や血管などを鮮明にする．
提案手法の概要を図 4 に示す．
ここで入力はノイズを含んだ画像௜௡ ，中間出力はノイズ低減
後の画像௠௜ௗௗ௟௘ ，出力は縫合糸が強調された画像௢௨௧ である．
提案手法は 2 つのニューラルネットワークによって構成され，(a) An extracted patch image from 8K endoscopic videos

入力画像に対しノイズ低減処理を行った後，高精細化処理を施す．これらネットワークは除去するノイズの特徴や強調する画像の高周波成分を事前に画像データセットから学習する必要がある．しかしながら，8K 内視鏡画像の高精細化を目的とした画像データセットは存在しない．そこで，新たに画像
データセットを作成し，2 つのニューラルネットワークを学(b) Training data 1

習させる方法について説明する．

(c) Training data 2(d) Training data 3

図 5 中間画像の一例

提案手法では 2 つのニューラルネットワークを学習させる

Fig.5 Sample of ࡵ௠௜ௗௗ௟௘ images

ため，図 4 の入力画像௜௡ ，中間画像௠௜ௗௗ௟௘ ，出力画像௢௨௧ に対応する 3 つの画像を用意する必要がある．これら学習用デする．最後に，出力画像に対応する学習データを生成するたータセットを新たに作成するため，本研究では画像に対しノ

め，画像の高周波成分を増幅する．この増幅処理では，まず

イズ付加と高周波成分の増幅を行う．学習用データセットのノイズ付加前の中間画像に対しガウシアンフィルタ（ = 5）

作成には DIV2K データセット 13) を用いる．DIV2K データセを畳み込むことで低周波成分のみを抽出する．その後，抽出

ットは 800 枚の自然画像から構成されている．初めにデータした低周波成分を元の中間画像から差し引くことで画像の高セット内の画像からサイズ 144×144 のパッチ画像をランダ

周波成分を抽出する．この高周波成分を中間画像に加算する

ムに抽出する．次に，パッチ画像から輝度成分を抽出するたことで出力画像に対応した学習データを得る．

め，国際的な規格である ITU-R BT709 14) が定める式(3)に従2 つのニューラルネットワークにノイズ低減と高精細化処

い赤（R）緑（G）青（B）成分から輝度成分（Y）へと変換

理を学習させるため，提案手法では中間画像及び出力画像にする．ここで抽出した輝度成分をノイズの無い画像と見なしおいて推論結果の誤差を計算する．それぞれの誤差は次の式

中間画像に対応する学習データとする．

に従って求める．

ࢅ = 0.2126ࡾ + 0.7152ࡳ + 0.0722࡮

(3)

生成した中間画像の一例を図 5 に示す．図 5(a)は 8K 内視鏡
映像から抽出したパッチ画像の輝度成分であり，(b)~(d)は学ଵ = ‖Δ௠௜ௗௗ௟௘ ‖ଶ(4)ଶ = ‖Δ௢௨௧ ‖ଵ(5)

ここで式中のデルタ記号は推論結果と生成した学習用画像デ

習データの中間画像である．それぞれの中間画像は(b)像の皮ータとの差を意味する．中間画像における誤差は式(4)に従い，

膚，(c)山肌，(d)石畳の道路から抽出されており，(a)の臓器表

差分値に対してଶ ノルムを求める．これは 8K 内視鏡画像の面上の凹凸と特徴が類似している．このような自然画像を用

ノイズ低減に関する先行研究 9) において，ଵ ノルムよりもଶいることで，
8K 内視鏡画像内の血管や臓器を強調させる高周

ノルムの方が効果的であることが示されたためである．
一方，

波成分を学習可能にする．

出力画像における誤差は式(5)に従い，差分値に対してଵ ノル

次に，入力画像に対応する学習データを生成するため，上ムを求める．ここでは高周波成分が失われにくいଵ ノルムを述した中間画像に対しノイズを付加する．この処理ではニュ用いることで，ଶ ノルムよりも解像感を向上させる 15) ．提案

ーラルネットワークに 8K 内視鏡画像に発生するノイズの特手法では式(6)に従いこれら誤差を足し合わせた損失値が小徴を学習させるため，前節で説明したパーリンノイズを使用

さくなるようニューラルネットワークを繰り返し学習させる．

295

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

minimize{ଵ + ଶ }
3.3

(6)

ネットワーク構造

8K 内視鏡画像の高周波成分にはノイズや血管などの輪郭成分が含まれる．ノイズは不規則に発生するため一定の形状を持たない．一方，血管や神経は網目状に広がりノイズとは異なる形状を持つ．ノイズ低減や高精細化処理は画像の高周波成分を対象とするため，ノイズと輪郭成分を区別することが重要である．提案手法では畳み込みニューラルネットワー
クを構築することで，高周波成分から大局的な特徴を抽出し，その形状を識別していく．ノイズ低減及び高精細化を行う 2

図 6 提案するニューラルネットワークの構造（ノイズ低減）

つのニューラルネットワークの構造を図 6，図 7 に示す．両Fig.6 The architecture of proposed method for noise reduction

者ともに入力は左上，出力は左下であり，下段の加減算記号
以外は同じ構成である．図中の画像は各層によって抽出された 8K 内視鏡画像の特徴マップを表す．
畳み込み処理を繰り返すと物体の形状を表す大局的な特徴マップが得られる．しかし，ノイズ低減や高精細化を行うには，ノイズや縫合糸の位置を表す局所的な特徴マップも必要である．2 種類の特徴マップを並行して抽出するため，提案手法ではマルチスケールで特徴マップを抽出可能な
Residual dense block (RDB) 16) を用いる．最初に，8K 内視鏡画，
“Convଶ,ଵ ”では像の高周波成分を抽出するため，“Convଵ,ଵ ”
サイズ 3×3 の 2 次元形状のカーネルが 64 個畳み込まれる．
この畳み込みは学習の結果ハイパスフィルタとして機能し，

図 7 提案するニューラルネットワークの構造（高精細化）

血管や臓器表面の凹凸から高周波成分を多角的に抽出する．

Fig.7 The architecture of proposed method for image enhancement

次に，8K 内視鏡画像の高周波成分を RDB に入力することでマルチスケールな特徴マップを抽出する．
これは“RDBଵ,ଶ~ସ ”，“RDBଶ,ଶ~ସ ”で処理され，3 回処理を重ねることで縫合糸や臓器表面の凹凸の形状などの大局的な特徴マップを段階的に抽出していく．各 RDB で抽出された計 192 枚の特徴マップは取りうる値の範囲にバラつきがある．この不均一性はニューラルネットワークの学習を困難にするため，値を均一化する必要がある 16) ．そこで“Convଵ,ହ ”，“Convଶ,ହ ”ではサイズ
1×1×192 の 3 次元形状のカーネルを 64 個畳み込むことで，192 枚の特徴マップを画素単位で均一化する．次に，64 枚の特徴マップを基にノイズの位置や強調する縫合糸の形状を識別する．これは“Convଵ,଺ ”，“Convଶ,଺ ”で処理され，サイズ 3

図 8 提案手法で使用した Residual dense block×3×64 の 3 次元形状のカーネルを 64 個畳み込むことで，特Fig.8 Residual dense block used in proposed method

徴マップから多様な形状を識別していく．
以上の処理により，ノイズの位置や縫合糸の輪郭を表す特徴マップが抽出される． マルチスケールな抽出を行うため，Skip connection 17) を用い
これらを入力画像の高周波成分に対し，図 6 では加算，図 7

る．Skip connection とは入力された特徴マップを出力前に畳では減算することで，ノイズ低減及び高精細化した特徴マッ

み込みの処理結果に付加する処理手順のことである．これにプを得る．最後の畳み込み処理“Convଵ,଻ ”，“Convଶ,଻ ”ではより畳み込み処理によって失われるノイズの位置情報を保持

サイズ 3×3×64 の 3 次元形状のカーネルを畳み込むことで，しつつ，縫合糸の形状などの大局的な特徴マップを同時に抽

高周波成分から物体の形状やテクスチャを再構成している．

出することが可能になる．RDB ではサイズ 3×3×64 の 3 次提案手法で使用した RDB のネットワーク構造を図 8 に示

元形状のカーネルによる畳み込み処理“Convଷ.ଵ~ଷ.ଷ ”が行わ

す．RDB は畳み込み処理を階層的に構築したニューラルネッ

れる．この時，畳み込み前後で特徴マップの数を減らし，非トワークである．入力は左上，出力は左下である．RDB では

線形処理である Rectified Linear Units (ReLU) 18) を用いること296

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

で，複数の特徴マップに現れる入力画像の主成分を抽出する．
これにより臓器表面の凹凸などの複雑な形状を抽出されるが，各畳み込み処理によって得られる計 160 枚の特徴マップは取りうる値の範囲にバラつきがある．そこで“Convଷ,ସ ”ではサ
イズ 1×1×160 のカーネルを 64 個畳み込むことで，160 枚の特徴マップを画素単位で均一化する．
3.4(a) ࡵ௠௜ௗௗ௟௘ image

高精細化の性能(b) Conventional method(c) Proposed method

図 9 高精細化処理の結果

提案手法はノイズ低減及び高精細化処理の 2 段階に分かれ

Fig.9 The results of image enhancementている．このためノイズ低減後の中間画像に対し従来の鮮鋭化フィルタを施すことも可能である．そこで提案手法と従来手法による高精細化の違いについて説明する．まず，両手法により 8K 内視鏡映像の中間画像を高精細化した結果を図 9に示す．(a)はノイズ低減後の中間画像，(b)は従来手法，(c)は提案手法による処理結果である．ここでは従来手法として
学習用データセット作成時と同じ鮮鋭化フィルタを適用している．両者を比較すると縫合糸は同程度に強調されているこ(a1) Original video 1(a2) Processed video 1(b1) Original video 2(b2) Processed video 2(c1) Original video 3(c2) Processed video 3(d1) Original video 4(d2) Processed video 4(e1) Original video 5(e2) Processed video 5とが分かる．しかし，臓器の表面に注目すると，従来手法の方が提案手法よりもアーティファクトが多く見られる．この違いは提案手法がノイズ低減と高精細化を同時に学習しているためである．2 つのタスクを独立させず同時に学習させることで，提案手法は従来手法よりもノイズ増幅が少ない高精細化処理を実現している．

4.

評価実験

提案手法の性能を定量化するため，ノイズ低減および高精細化の効果を評価する必要がある．しかし，評価基準となる
縫合糸にフォーカスが合ったノイズの無い 8K 内視鏡映像が存在しないため，画質を PSNR などの数値で単純に評価することは困難である．そこで本研究では主観評価実験により縫合糸の視認性とノイズによる画質劣化について評価を行った．
4.1

設定

提案したニューラルネットワークを学習させるため，本実験では最適化手法 Adam 19) を用い，学習率1 × 10ିସ ，バッチ
サイズ 16 で式(6)の損失値が小さくなるよう 1000 回繰り返し計算した．また，少量データによる過学習を防ぐため，学習データに対し Data augmentation を行った．まず，1 回の学習ごとにデータセット内の画像からサイズ 144×144 のパッチ
画像をランダムに抽出する．次に，抽出したパッチ画像を水平/垂直方向にそれぞれ 50%の確率で反転させる．これにより学習を繰り返す度に 1 枚のパッチ画像から 4 パターンの画像が確率的に生成される．水増ししたパッチ画像を用いて学習したニューラルネットワークに 8K 内視鏡映像を入力し，高精細化した出力映像を主観評価実験に用いた．この 8K 内視鏡映像は焦点距離35mm，対角視野 52°の 8K カメラ 20) を使

図 10 8K 内視鏡映像および処理結果

用し，約 1m の距離から手術中のブタの内臓を撮影した映像

Fig.10 8K endoscopic videos and processed videos

である．使用した 5 つの実験映像を図 10 に示す．ただし，

297

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 10(a1)～(e1)は 8K 内視鏡映像から縫合糸が映る領域を 5 秒

表 1 Video 1 の視認時間間切り抜いた結果である．図 10(a2)～(e2)は処理映像から同領

Table 1 Recognition time of video 1

域を切りぬいた結果である．
4.2
4.2.1

被験者

視認時間計測実験

A
B
C
D
E
F
G
H
I
J

実験条件

手術中は出血を避けるため血管が存在する臓器表面に 8K
内視鏡カメラのフォーカスを合わせることが多い．このため
フォーカスがずれた縫合糸は視認性が悪化する．提案手法による縫合糸の視認性向上を検証するため，処理前後の映像に対して縫合糸を発見するまでの時間を計測した．
実験は非専門家である 10 人の被験者に対して行われ，55

時間[s]

時間[s]

時間[s]

～原映像～

～処理映像～

～差分～

3.27
2.17
4.12
3.53
6.55
6.83
2.00
1.88
3.72
6.25

1.90
1.47
2.30
2.63
3.33
3.30
1.25
1.78
2.68
3.07

1.37
0.70
1.82
0.90
3.22
3.53
0.75
0.10
1.04
3.18

インチの 4K ディスプレイに表示された映像から縫合糸を見

表 2 Video 2 の視認時間つける作業を行う．被験者とディスプレイとの距離はディス

Table 2 Recognition time of video 2

プレイの高さの 1.5 倍離れた位置（約 1m）となるように調整した 21) ．使用した実験映像の冒頭には 5 秒のカウントダウン

被験者

映像が挿入され，その後5秒の手術映像が2回繰り返される．

A
B
C
D
E
F
G
H
I
J

実験では被験者ごとに映像をランダムに提示することで処理
前後での偏りを無くした．また，非専門家である被験者間の個人差が小さくなるよう，事前にサンプル映像を使用して縫合糸に関する説明を行った．加えて，被験者には縫合糸全体の形状が把握できるまで作業を行うよう指示することで，計測結果から縫合糸の動きによる反射的な視認を除いた．
4.2.2

実験結果

時間[s]

時間[s]

時間[s]

～原映像～

～処理映像～

～差分～

4.72
3.35
3.88
4.87
10.00
9.27
6.12
5.60
4.55
9.77

2.07
1.63
3.53
4.60
4.78
4.55
1.95
1.58
4.73
5.25

2.65
1.72
0.35
0.27
5.22
4.72
4.17
4.02
0.18
4.52

5 つの実験映像について縫合糸を視認するまでの時間を計

表 3 Video 3 の視認時間測した結果を表 1～表 5 に示す．表の各行は被験者ごとの計

Table 3 Recognition time of video 3

測結果を表し 2,3 列目は原映像及び処理映像において縫合糸被験者を視認するまでに要した秒数を表す．
4 列目は 2,3 列目の差分値を表し，値が負であると処理映像の方が縫合糸を視認するまでの時間が短いことを意味する．実験の結果，Video 2 では
1 人の被験者が原映像の方が処理映像よりも早く縫合糸を発見したが，10 人中 9 人の被験者は処理映像の方が視認するまでに要した時間が短くなった．上記以外の実験映像では全被験者 10 人において処理映像の方が原映像よりも早く縫合糸を発見していた．全実験映像について平均した結果，処理映像の方が原映像よりも約 1.51 秒早く縫合糸を視認していた．
4.3

画質評価実験

4.3.1

実験条件

A
B
C
D
E
F
G
H
I
J

時間[s]

時間[s]

時間[s]

～原映像～

～処理映像～

～差分～

3.78
3.38
4.07
3.98
4.42
4.12
2.62
2.42
4.20
4.65

2.78
3.00
3.22
2.22
3.45
3.75
1.78
1.30
2.35
3.17

1.00
0.38
0.85
1.76
0.97
0.37
0.84
1.12
1.85
1.48

の個人差が小さくなるよう，事前にサンプル映像を使用して映像のノイズに関する説明を行った．

高精細化処理にはノイズの増幅が伴う．提案手法ではノイ4.3.2

ズ低減を高精細化処理の直前で行うことで画質の劣化を抑制

実験結果

5 つの実験映像におけるノイズについて比較した結果を表する．提案手法が画質にどの程度影響するか検証するため，

6 に示す．表の各行は実験映像ごとの評価結果を表し，2～6映像の画質を 5 段階で評価した．実験は非専門家である 10

列目の数値はノイズによる画質劣化を 5 段階で評価した時の人の被験者に対して行われ，55 インチの 4K ディスプレイに被験者数である．これは右の列ほど処理映像の方が原映像よ

交互に表示される処理前後の映像のノイズを比較する．このりもノイズが少ないと評価したことを意味する．
実験の結果，

とき被験者は前節の実験と同様に，非専門家である被験者間

298

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

Video 3，5 では 2 人の被験者が原映像の画質の方が良いと評

表 4 Video 4 の視認時間価したが，8 名以上の被験者は同等かそれ以上にノイズが少Table 4 Recognition time of video 4

ないと処理映像を評価した．上記以外の実験映像では全被験者 10 人が処理映像に画質劣化を感じないと評価した．また，50 試行中 47 回と 94%の割合で処理映像に画質劣化を感じないと評価した．

5.

考察

評価実験では5秒の手術映像を2 回繰り返し表示している．
これは被験者によって縫合糸を視認するまでの時間に個人差があり，1 回の提示では縫合糸を発見出来なかったためである．
本研究では縫合糸の視認性に個人差があることを考慮し，

被験者

A
B
C
D
E
F
G
H
I
J

時間[s]

時間[s]

時間[s]

～原映像～

～処理映像～

～差分～

3.12
2.95
3.90
3.82
4.42
4.53
2.62
2.50
3.68
4.28

2.27
2.48
2.70
3.43
2.92
3.15
1.90
1.33
2.83
3.20

0.85
0.47
1.20
0.39
1.50
1.38
0.72
1.17
0.85
1.08

計測結果に対してノンパラメトリックな手法であるウィルコ
表5

クソンの符号順位検定 22) を行った．その結果，1%の有意水

Table 5

準で処理映像の方が原映像よりも縫合糸を視認しやすいことが示された．

被験者

一方で，提案手法の処理前後の 8K 内視鏡映像について画

A
B
C
D
E
F
G
H
I
J

質を評価した結果，76%の被験者はノイズが少なくなったと評価した．さらに，画質が変わらなかったと評価した被験者を含めた場合，比率は 94%となる．この比率はノイズによる画質劣化を感じていなかった被験者の割合を意味し，提案
手法による高精細化にはノイズを増幅しないといって良い．
以上から，提案手法はノイズを低減することで画質劣化を抑制しつつ，フォーカス合わせが不十分な 8K 内視鏡映像を高精細化可能であると考えられる．

Video 5 の視認時間
Recognition time of video 5

時間[s]

時間[s]

時間[s]

～原映像～

～処理映像～

～差分～

3.40
2.22
4.37
4.65
5.38
5.63
2.17
3.23
4.77
5.88

2.18
1.40
2.37
3.10
4.88
5.18
1.62
1.08
3.35
5.22

1.22
0.82
2.00
1.55
0.50
0.45
0.55
2.15
1.42
0.66

提案手法は執刀医が手術中に注視する 4K 解像度の拡大映

表6

像を処理対象としている．GPU に Nvidia Titan Xp を使用した

Table 6

場合，提案手法は 1 フレームあたり約 18 ミリ秒の処理時間を映像要した．これは 56 fps で処理可能なことを意味する．一方，Video 1
Video 2
Video 3
Video 4
Video 5

カイロス株式会社によって開発された 8K 内視鏡カメラは 60
fps で映像を出力する性能を持つ 23) ．提案手法の処理能力では 60 fps でのリアルタイム処理を行うには僅かに不足だが，ハードウェアレベルでの最適化を行うことでリアルタイム処

Bad
0
0
0
0
0

画質評価の結果

The result of image quality evaluation

Poor
0
0
1
0
2

Fair
1
2
2
3
1

6.

結論

Good
5
3
4
3
2

Excellent
4
5
3
4
5

理が十分に期待できる．今後は処理速度の向上を目指し，レ
イテンシの低い Field Programmable Gate Array (FPGA)により提案手法を実装する必要があると考える．

本研究は深層学習を基にフォーカスが不十分な 8K 内視鏡

8K 内視鏡映像にはガウシアンノイズとは特徴が異なるノ

映像を高精細化する手法を提案した．高精細化に伴い増幅さイズが発生していた．これには撮像素子そのものが発生させれるノイズを抑制するため，提案手法にはノイズ低減処理とる熱が原因の一つとして考えられる．8K 内視鏡カメラの撮像

高精細化処理を組み合わせた．実験の結果，処理前の 8K 内素子は従来の HD/4K カメラに比べサイズが小さい．このため

視鏡映像では視認困難であった直径 0.02 mm 以下の縫合糸が熱による影響を強く受け，暗電流が多く発生してしまった可鮮明となり，1%の有意水準で発見するまでの時間が 33%程度能性がある．暗電流は斑点模様の固定パターンノイズを発生短縮したことが示された．さらに，処理後の映像はノイズにさせる要因であり，8K 内視鏡映像に発生していたノイズの特よる画質劣化がほとんど感じられないことが示された．今後

徴と一致する．また他の要因として，解像度が向上したことはリアルタイム処理を目指し，提案手法をハードウェア実装

で従来では撮影不可能であった臓器表面上の微細な凹凸を捉することが課題である．

えた可能性がある．今後はノイズの発生原因を明らかにし，

謝辞

実用化に向けて 8K 内視鏡の特性を調査する必要がある．

本研究で使用した 8K 内視鏡映像をご提供いただいたカイ

299

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

ロス株式会社の山下紘正様，映像出力機器をご提供いただい16) Y. Zhang, Y. Tian, Y. Kong, B. Zhong, Y. Fu: “Residual Dense Network

た計測技研株式会社の田端宏至様に感謝申し上げます．

for Image Super-Resolution”, Proc. of Conference on Computer Vision
and Pattern Recognition (2018).

参考文献

17) J. Long, E. Shelhamer, T. Darrell: “Fully Convolutional Networks for
Semantic Segmentation”, Proc. of Conference on Computer Vision and1) 須藤 剛, 佐藤 敏彦: “高齢者大腸疾患者における腹腔鏡補助下手

Pattern Recognition, pp. 3431‒3440 (2015).

術の検討”, 老年医学会雑誌, Vol. 48, No. 6, pp. 665—671 (2011).
2) 近藤 大祐, 飯塚 博幸, 安藤 英由樹, 小濱 和貴, 坂井 義治, 前18) V. Nair, G.E. Hinton: “Rectified Linear Units Improve Restricted

田 太郎: “腹腔鏡手術トレーニングにおける視野共有手法による

Boltzmann Machines”, Proc. of 27th International Conference on

学習効果とその実証”, 日本バーチャルリアリティ学会論文誌, Vol.

Optimization”, Proc. of International Conference on Learning3) H. Yamashita, H. Aoki, K. Tanioka, T. Mori, T. Chiba: “Ultra-High

Representations (2015).

Definition (8K UHD) Endoscope: Our First Clinical Success”,

20) 船津 良平, 山下 誉行, 添野 拓司, 柳 忠明, 高橋 雄大, 吉田 哲

SpringerPlus, Vol. 5 (2016).

男: “スーパーハイビジョン用小型カメラヘッドの開発”, 映像情4) J. Gu, H. Lu, W. Zuo, C. Dong: “Blind Super-Resolution With Iterative

報メディア学会誌, Vol. 68, No. 3, pp. J117—J124 (2014).

Kernel Correction”, Proc. of Conference on Computer Vision and21) 川嶋 喜美子, 岡本 淳: “4K 映像の品質評価技術”, NTT 技術ジャ

Pattern Recognition (2019).
5) V.

Bannore:Machine Learning (2010).
19) Diederik P. Kingma, Jimmy L. Ba: “Adam: A Method for Stochastic

18, No. 4, pp. 487—496 (2013).

“Iterative-Interpolation

Super-Resolution

ーナル, Vol. 26, No. 1, pp. 68—71 (2014).

Image22) Wilcoxon

Reconstruction: A Computationally Efficient Technique”, Studies in

Signed-Ranks

Test

Real

Statistics

Using

Excel,

http://www.real-statistics.com/non-parametric-tests/wilcoxon-signed-ran

Computational Intelligence Springer (2009).

ks-test/ (2020).

6) T. Ida, N. Matsumoto, K. Isogawa: “画像の自己合同性を利用した再

23) カ イ ロ ス 株 式 会 社 , http://kairos-8k.co.jp/product/scopeeight.html

構成型超解像”, 情報処理学会研究報告, Vol. 107, No. 380, pp. 135—(2020).

140 (2007).
7) S. Gohshi, S. Nakamura, H. Tabata: “Development of Real-time（2020 年 2 月 27 日 受付）

HDTV-to-8K TV Upconverter”, Proc. of Conference on Computer（2020 年 7 月 3 日 再受付）

Vision, Imaging and Computer Graphics Theory and Applications
（正会員）
和 田 歩
2018 年 工学院大学情報学部情報デザイン学科卒業．2018 年より，同大大学院工学研
究科情報学専攻 修士課程に在籍．主として超解像技術の研究に従事．現在，(株)日立製作所所属．

(2017).
8) S. Gohshi, C. Mori, K. Tanioka, H. Yamashita: “Real-time Nonlinear
Signal Processing Super Resolution of 8K Endoscope Cameras”, Proc.
of Conference on Signal Processing and Multimedia Applications(2019).
9) A. Kubota, S. Gohshi: “Noise Reduction for 8K Endoscope Images”,
Proc. of International Workshop on Advanced Image Technology (2019).
10) Y. Lecun, L. Bottou, Y. Bengio, P. Haffner: “Gradient-Based Learning

大 和 淳 司Applied to Document Recognition”, IEEE, Vol. 86, pp. 2278—2324

1988 年東京大学工学部精密機械工学科卒
業．1990 年同大学院工学系研究科精密機械
工学専攻修士課程修了．同年日本電信電話（株）入社．1998 年 MIT 電気工学及びコン
ピュータ科学科修士課程修了．NTT ヒュー
マンインタフェース研究所，NTT コミュニケーション科学基礎研究所等を経て，2016
年工学院大学情報学部教授．博士（工学）．

(1998).
11) 高松 淳: “画像化プロセスと画像ノイズ”, 情報処理学会研究報告,
Vol. 2010CVIM174, No. 17, pp. 1—8 (2010).
12) K. Perlin: “An Image Synthesizer”, Proc. of ACM SIGGRAPH
Computer Graphics, Vol. 19, No. 3, pp. 287—296 (1985).
13) E. Agustsson R. Timofte: “NTIRE 2017 Challenge on Single Image（正会員）
合 志 清 一1981 年 早稲田大学 博士前期課程（修士）修了．同年 日本放送協会（NHK）入局．主として NHK 放送技術研究所において，映像の伝送，符号化，映像処理，番組応用，セキュリティの研究に従事．2008 年 シャープ（株）ディスプレイシステム研究所．2011
年より，工学院大学情報学部教授．工学博士．主として映像処理及びセキュリティの研究に従事．2019 年 9 月逝去．

Super-Resolution: Dataset and Study”, Proc. of Conference on
Computer Vision and Pattern Recognition (2017).
14) ITU-R: “BT.709: Parameter Values for the HDTV Standards for
Production

andInternational

Programme

Exchange”,

https://www.itu.int/rec/R-REC-BT.709-6-201506-I/en (2015).
15) B. Lim, S. Son, H. Kim, S. Nah, K. M. Lee: “Enhanced Deep Residual
Networks for Single Image Super-Resolution”, Proc. of Conference on
Computer Vision and Pattern Recognition (2017).

300

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）-- ビジュアルコンピューティング特集 --文字構造特徴を用いたひらがなアンビグラムの生成
井 上 和 輝†高 橋 裕 樹††, ‡（正会員）†電気通信大学 情報理工学域， ††電気通信大学 大学院 情報理工学研究科，‡電気通信大学 人工知能先端研究センター

Generation of Hiragana Ambigram Based on Character Structure
Characteristics
Kazuki INOUE†, Hiroki TAKAHASHI††, ‡ (Member)† School of Informatics and Engineering, The University of Electro-Communications,††Graduate School of Informatics and Engineering, The University of Electro-Communications,‡Artificial Intelligence eXploration Research Center, The University of Electro-Communications〈あらまし〉 アンビグラムとは文字を異なる方向から見ても読み取れるようにした文字である．しかし，アンビ
グラムの制作には手間や可読性を維持するためのデザイン的技量が必要である．そこで，ひらがなアンビグラムを
文字構造特徴から生成する手法を検討する．まず，文字を細線化してストロークの抽出を行い，ストロークを単純化することで文字の特徴点を得る．次に，特徴点をノードとしたグラフから部分グラフを抽出し，部分グラフの同型性を調べることで対象文字間の共通部分を検出する．さらに，共通部分の対応関係を基にアフィン変換すること
で，アンビグラムの文字構造を生成した．最後に，可読性向上のためにストロークの太さに変化を加えて筆文字化することで，ひらがな 46 文字を一対一で対応付けた 1,081 組のアンビグラムを生成した．また，可読性の評価を行った．その結果，単一文字に対しては，作成可能であることが示唆されているアンビグラム 724 文字中 325 文字，作成できるかが不明なアンビグラム 357 文字中 93 文字が可読であった．さらに，可読率の低いアンビグラム 1 文
字を含めたひらがな 4 文字で構成される単語の可読性の評価を行った結果，246 文字中 216 文字が可読であった．
キーワード：アンビグラム, 文字構造特徴, アフィン変換, 部分グラフ, グラフ同型<Summary> An ambigram is a word which can be also read from a different direction. Generation of ambigrams, however,requires not only enormous work but also design skills for maintaining their readability. This paper, therefore, aims at
ambigram generation for a pair of Hiragana. First, characters are thinned, and strokes are extracted and simplified to obtainfeature points of the characters. Next, subgraphs are identified from the graphs with the feature points as nodes, common
structures between the characters are extracted by verifying isomorphism of the subgraphs, and ambigram structure is generated
by affine transformation based on the correspondence between common structures. Finally, stroke thicknesses are exchanged
with brush style strokes to improve their readability and 1,081 ambigrams were generated from pairs of 46 hiragana characters.
Furthermore, readability of ambigrams was evaluated. In case of a single ambigram, 325 out of 724 ambigrams which can begiven by hand crafted were readable. Moreover, 93 out of 357 ambigrams which are not pointed out to be generated werereadable. Words composed of 4 hiragana characters including one ambigram with a low readability also revealed that 216 outof 246 words were readable.
Keywords: ambigram, character structure characteristics, affine transformation, subgraph, graph isomorphism

1.

に伝えることができる文字のデザインに「アンビグラム」がはじめにある．図 1 はアンビグラムの例を示しており，図 1(a)で「あ文字のデザインは言葉の印象を左右する重要な要素である． りがとう」と読める文字を反転させると，図 1(b)のように「ま例えば，文字に丸みを帯びさせて印象を柔らかくしたり，筆たあおう」と別の文字で読むことができる．このように，ア文字にすることで凛々しさを表現したりできる．このようなンビグラムは文字を別の角度から見ることで言葉の意味を変文字のフォントだけでなく，文字の形を変えて言葉を印象的えることができるため，文字に意味の多重性を持たせること

301

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(a) 通常画像(b) 反転画像(a) Normal image(b) Inverted image

図 1 アンビグラムの例 1)
Fig.1 An example of Ambigram1)ができるデザインとなっている． 近年，アンビグラムは注目

図 2 提案手法

され始め，最近ではサッカー日本代表のユニフォームにまで

Fig.2 Proposed approach

アンビグラムが採用されるようになった 2)．しかし，アンビ
グラムを生成するには 2 文字間の中間となる形を生成するた

し，本手法の欠点として画像を折り返すような変形が生成さめの文字変形や，アンビグラムが可能な文字対を選択する手

れることが挙げられており，文字画像に適応するとストロー間が必要であり，また可読性を維持するためのデザイン的技

クが折り曲げられてしまう可能性がある．

量も求められる．さらに，アンビグラムの自動生成アプリケ

ストロークごとに変形を行う手法としては，Campbell ら 8)ーションが提供されているアルファベット 3)に比べて，日本

や Fujita ら 9)による manifold を用いたフォント変換が挙げらで用いられるひらがなや漢字は，画数が多く，字体も複雑なれる．フォントごとに manifold を作成することで，形状の類ため，アンビグラムはデザイナによる人の手で作成されてい似したフォントへ連続的に遷移することができ，同時にストる 4)．そこで，本論文では可読性を維持しながら文字を適切

ロークごとに変形も行われる．しかし，本手法は形状の大きに変形し，見栄え良い文字生成に主眼を置き，ひらがなのア

く異なるフォントへの変換が困難であるため，アンビグラム

ンビグラムを生成することを目的とする．ただし，文字を 90°のように形状が大きく異なる 2 文字の中間形状の生成に適用

回転させて読むなど，様々なタイプのアンビグラムが存在すすることは難しい．

るが，本論文では文字の上下を反転させて読むアンビグラム

成沢ら 10)は画像のコンテンツを維持しつつ別の画像のスタを対象とする．ひらがなの構造特徴から文字間の共通部分を

イルを転写することのできる Neural Style Transfer11)を用いて，検出し，共通部分の対応関係を基にアフィン変換することで文字のフォントを変換する手法を提案した．英字をアンビグラムの文字構造を生成する．可読性向上のためにス

Convolutional Neural Network で学習させることで，英字のフトロークの太さに変化を加えて筆文字化することでアンビグ

ォントをひらがなや漢字にも適用することが可能になった．

ラムを生成する手法を提案する．

文字フォントの転写は他にも，異なるドメイン間で画像対を2.

マッピング可能な CycleGAN(Generative Adversarial Networks)

従来研究

12)

を用いて細線化した文字画像を毛筆文字へ変換する手法 13)

細谷ら 5)は文字画像を正方形メッシュで変形することで変や，Recurrent Neural Network を用いて筆順を考慮して毛筆文形文字を生成する研究を行った．変形演算を組み合わせるこ

字へ変換する手法 14)がある．このように，ディープラーニンとで文字の形状を多様に変化させることが実現できたが，格グによってフォントを多様に変換させることができるように

子線を変形し，メッシュ頂点の移動をするという限られた変なってきた．しかし，アンビグラムは二つの文字が合成され形しかできない．アンビグラムを生成するために文字を変形て一つの文字をなしているため，共通ストロークは目立つよ

する際は，対応する 2 文字間の中間構造に変化させる必要がうに，非共通ストロークは片方の文字の可読性に干渉しないあり，ストロークごとに変形するような詳細な変形をするこ

ように呈示する必要がある．そのため，各ストロークの太さとが求められる．

まで考慮したフォント生成を行う必要があり，前述した文字

Igarashi ら 6)や Schaefer ら 7)は，変形演算を付与することなのフォントを一様に変換する手法は用いることが困難である．

く，画像をメッシュで変形する手法を提案した．Igarashi らは

そこで本論文では，ドロネー三角形と文字の特徴点を基に画像内の閉多角形中に三角形のメッシュを作成し，各三角形

三角形メッシュを作成し，三角形間のアフィン変換行列を用の歪みが最小になるように移動させることで変形が伝搬していて文字変形を行い，2 文字間の中間構造を生成する．そしいく手法を提案した．しかし，文字は曲線から構成されるたて，ストロークの太さを自在に制御しながら筆文字化するこめメッシュを作成できず，本手法をそのまま適用させることとのできる手法を用いてフォント生成を行う．

は困難である．また，Schaefer らは，画像全体を四角形メッ3.

シュで分割し，アフィン変換，相似変換，剛体変換に最小二乗法を用いて，ユーザにとって自然な変形を実現した．しか文字構造の取得

提案手法の概要を図 2 に示す．入力文字の構造を得るため

302

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）に，文字を構成するストロークの端点，ストロークが交わる
交点，ストロークの形状を近似する角点を特徴点として抽出する．なお，本論文では入力画像のサイズを 300×300 ピク
セルで統一している．
まず，Zhang-Suen の細線化アルゴリズム 15)を用いて文字の細線化を行う．ただし，文字のフォントはうろこと呼ばれる文字の飾りがなく，文字の太さが均一である游ゴシック体を(a) 入力画像(b) 細線化後採用する．細線化では多数の点の集合として文字が表現され(a) Input image(b) Thinningている．文字の形状を適切に表現可能な最低限の画素群で表現するために，まず，細線化した画素を追跡することで文字に含まれるストロークを全て抽出する．しかし，細線化文字
では，ストローク交点の周辺に交点候補となる分岐点が複数生じ適切に文字構造を取得することが困難になる．また，ひらがなにおいて同一の場所で 3 本以上ストロークが交わるこ(c) ストローク抽出後(d) 単純化後とはないことから，ストローク交点における次数は最小 3，(c) Stroke extraction(d) Stroke simplification

最大 4 の 2 種類に限られる．そこで，まず細線化文字を追跡

図 3 文字の解析過程

し，交点候補となる分岐点を検出する．次に分岐点を包含す

Fig.3 Process of character analysis

る矩形領域に含まれる線分を除去し，矩形領域に接する線分の画素位置を保持する．これによって交点の次数が 3，ある

合わせることで，文字間の共通部分を抽出し，対応点を決定

いは，4 であるかを判別する．交点の次数が 4 の場合，分断する手法を提案する．グラフ ,  のノードの集合をそれぞされたストロークが交差するように接続し，追跡を続ける．

れ ,  ，エッジの集合をそれぞれ ,  としたときに， ⊆また，次数が 3 の場合，ストロークの曲率に基づき，2 本の かつ ⊆  を満たす が の部分グラフである．したがストロークに分割する．まず，分断されたストロークの端点って，文字構造をグラフで表現したとき部分グラフを求めるを A, B, C とする．次に，3 点から 1 点，例えば点 A を選択ことで，文字の部分的な構造を取り出すことができる．
また，する．点 A から 3 画素離れたストローク上の画素を点 D とし

全単射:  →  があり，任意のノード ,たとき，∠BAD と∠CAD を比較して角度が大きい端点と点∈  に対して次式が成り立つとき， と はグラフ同型であるという．

A が接続しているとする．ただし，選ばなかった点を新たな ,  ∈  ⇔  ,   ∈ 

端点とし，その点から追跡を行う．

(1)

したがって，部分グラフを通常画像の文字と反転画像の文字

次 に 抽 出 し た 各 ス ト ロ ー ク の 単 純 化 を RamerDouglas-Peucker のアルゴリズム 16)を用いて行う．ただし，点からそれぞれ取り出し，取り出したグラフの同型性を調べるを間引くための点と直線の距離のしきい値は 20 画素とし，ことで，ノードの接続関係が等しいグラフを抽出することが「はね」や「はらい」による構造の変化が単純化により失わできる．しかし，同型性を満たしていても，グラフの幾何的れないように設定した．その後，交点の決定を行う．まず，な形状が類似しているとは限らず，1 文字中のノード間の位交点の次数が 4 の場合，単純化したストロークを構成する線

置関係を維持するようなノードの対応関係を求める必要があ

分を 2 本選択する．
そして，
選択した線分が交差していれば，る．そこで，同型性を満たしたグラフのランク付けを行い，2 線分の交点をストロークの交点とし，全ての線分の組み合

文字間の共通部分を抽出する．本章で述べるグラフのランク

わせを調べることで交点を求める．交点の次数が 3 の場合，付けに用いたパラメータは，基礎実験に基づき定めた値を用接続したストロークと追跡時に得た端点を延長した直線とのいている．また，ノードの座標は得られた特徴点の座標の 100

交点をストロークの交点とする．文字構造の解析過程の例を

分の１スケールとしている．
まず，大局的な部分グラフの探索をし，エッジ濃度が 3 以

図 3 に示す．

4.
4.1

上の連結グラフで表される文字構造及び幾何学的形状が類似

アンビグラムの基本構造生成した最大の共通部分を検出する．そして，得られた対応点を基に 4.2 節で述べるアフィン変換を施し，共通部分が重なる

特徴点の対応付け

ように特徴点を移動する．この処理で，残りの未対応ノード

アンビグラム生成において最も重要な処理は，文字構造のの対応付けを行うための文字の位置や回転の影響を軽減する．

共通部分の抽出である．そこで，本論文では得られた特徴点

局所的な部分グラフの探索ではノード間の距離に注目するこをノード，接続関係をエッジで表すことで文字構造をグラフとで，対応付けられなかった特徴点の対応付けを行う．最後で表現する．そして，部分グラフとグラフ同型の概念を組みに，新しい対応点を基に再度アフィン変換を行うことでアン

303

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

ビグラムの構造を得る．
以降，式(1)を満たすノード ,  やノード ,  を対応点，エッジ , ， ,  を対応エッジ，対応エッジの集合
を共通部分とする．また，同じ部分グラフ対であってもノードの対応関係の異なる部分グラフ対は異なる部分グラフ対とし，別々に計算する．そして，対象の文字グラフが非連結グラフであっても，求める部分グラフは連結グラフとする．
4.1.1

大局的な部分グラフによる対応付け

本項の手法の概略を図 4 に示し，文字をグラフで表現した例を図 5 に示す．
最大の共通部分を検出するために，まず，グラフ間で最大数のエッジを持つ部分グラフを求め，同型性を満たす組を取り出す．得られた部分グラフの組に対し，式(2)で示すランク ,  を求める．
 ,      ,      ,      ,  (2)

図 4 大局的な部分グラフの対応付けの概略

  ,  は式(3)で示す対応点間のユークリッド距離の和

Fig.4 Outline of correspond with global subgraphを正規化したものである．正規化は，得られた部分グラフの組間で平均 0，分散 1 になるように行う．以降の正規化も同様に行う．
 ,   ‖  " ‖(3)భ

したがって，部分グラフ間で距離が遠くなるほど，値が大きくなる．
  ,  は部分グラフ間の対応エッジの角度差の標準偏差を正規化したものであり，部分グラフの回転不変な幾何構(a) 通常画像「も」(b) 反転画像「お」(a) Normal image “Mo”(b) Inverted image “O”

図 5 文字のグラフ化

造の類似度を表す．ただし，以降エッジの角度差は，0°以上

Fig.5 Graphed character

180°以下になるように求めている．文字の共通部分は対応エッジの角度差が一般に小さい値となる．また，回転を伴ってグラフの幾何構造が類似している場合， は小さい値になる．

一致する場合は回転角度に近い値となる．したがって，角度また，類似した幾何構造の部分グラフが回転している場合，その回転角は ̅に近い値になる．したがって，式(5)では， ̅を差の標準偏差が小さければ部分グラフが共通部分となる可能性が高く，大きければ角度差がばらついており，共通部分と引くことで，
回転に影響されないペナルティを計算している．

なる可能性が低くなる．

各部分グラフの組でランクを計算した後，ランクが最小  ,  はあるノードが対応点に置き換わったとき，他の部分グラフの組を選択する．そして，その部分グラフ対にのノードとの位置関係が崩れる場合のペナルティ値である．

おいて，対応点間のユークリッド距離がどれも1.2 未満かつ，

隣接ノードではないノード同士を結んだ線分とノードの対応

 が 15 未満であればその部分グラフによる対応点を特徴点

点同士を結んだ線分間の角度差の集合を，許容する角度差の対応点とする．もし条件を満たしていなければ，抽出したのしきい値を，部分グラフ間の対応エッジの角度差の平均を ̅とすると正規化する前の値は次式のように計算される．
 ,   #$ℎ'$ "  ̅ " (,ℎ$ " ,0,1,

ℎ1  2

1)0130の文字グラフから求め，同様の操作を条件が満たされるまで
繰り返し行う．ただし，調べる部分グラフのエッジの最小値

(4)

∈

#$  %

部分グラフのエッジ濃度より 1 少ない同型な部分グラフを元 ̅ ) 90° かつ  ) 10
,ℎ-./0-

は 3 とし，条件を満たす部分グラフが見つからなかった場合
は特徴点を対応付けずに次項で述べる処理を行い，見つかっ(5)た場合は次節で述べるアフィン変換をした後に処理を行う．
大局的な部分グラフの探索によって図 5 の文字グラフから抽(6)出した部分グラフを図 6 に示す．ただし，同色のノードが対応関係にある．

本論文のすべての結果で   70°として計算を行った．部分

304

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(a) 通常画像「も」(b) 反転画像「お」(a) Normal image “Mo” (b) Inverted image “O”
図 6 部分グラフ抽出結果
Fig.6 Result of subgraph extraction

4.1.2

局所的な部分グラフによる対応付け

図 7 局所的な部分グラフの対応付けの概略

大局的な部分グラフの対応付けでは対応点を求めること

Fig.7 Outline of correspond with local subgraphができない，あるいは，不完全である場合が 3 通りある．一
つ目は文字グラフの連結グラフのエッジ濃度が元々2 以下である文字を対象とした場合である．二つ目は得られた部分グラフがどれも定めた幾何条件を満たせなかった場合である．
三つ目は複数の連結グラフでグラフが構成されているため，一つの連結グラフでしか対応付けが行われない，大局的な部
分グラフの対応付けだけでは不完全な場合である．
これらの三つの場合でも対応付けを行うために，局所的な(a) 通常画像「か」部分グラフによる対応付けを行う．ただし，ノードの少ない(a) Normal image “Ka”

部分グラフと部分グラフ対は膨大に存在し，幾何情報だけでFig.8 An example of not being able to correspond with a global

つの場合を解決することに限定するために，対応付けられてsubgraph

いるノードが存在していない連結グラフを必ず含む対応付けを対象とする．
本項の手法の概略を図 7 に示し，本項で対象とする文字グ
ラフ対を図 8 に例示する．通常画像のグラフを   ,  ，
反転画像のグラフを   ,  とする．また，大域的な部

ただし，̅  ,  は対応点間のユークリッド距離の平均̅ を正規化したものであり，̅  ,  は部分グラフ間の対応エッジの角度差の平均̅ を正規化したものである．

すべての組に対してランクを求めた後，ランクが最小の組を選択する．そして，̅ が 0.75 未満かつ，̅ が 45°未満であ分グラフで対応付けられたグラフ のノード集合を ，∈  の隣接エッジの集合を とする．そして， 

れば，部分グラフのノードを対応点候補とする．この時点で5 6 3 2の場合，連結グラフ4
対応点に決定しない理由は，6

 "  ,  "  となるグラフを定義する．つまり， は のうち対応付けられていないノードのみで構成されたグ間で，求めた対応点が重複する可能性があるからである．

ラフである．さらに， を構成する連結グラフの中で，対応5 とす付けられたノードを含まない連結グラフ4 の集合を得られた部分グラフの組が 2 組のとき，式(7)を用いると，正規化が適切に行えないため，次式で示すように正規化を施る．例えば，図 8(b)では，反転「に」のグラフは 1, 2, 3, 4 番，

さない距離と角度差の平均を用いてランクを求める．

5, 6 番，7, 8, 9 番のノードからなる連結グラフから構成されて ,    ̅  ,   おり，どれも対応付けられていないため，三つのグラフが4
5 6=3 である．このとき， から得らとなる．したがって，6̅  ,  
180

(8)

対応部分グラフを求める場合には幾何特徴を優先するために，
̅ はそのまま用いた．また，0 : ̅ : 180であるため，180 で5 から得られるエッれるエッジ濃度 2 の部分グラフと4 ∈ 
ジ濃度 2 の部分グラフの全ての組み合わせに対し，4 ごとに割ることでスケールを 1 以下にし，角度差による影響を小さくした．同様にランクが最小の部分グラフの組を選択し，̅

ランク付けを行う．つまり， と4 を用いることで，本項の目的である連結グラフごとに適切な部分グラフを選択するこが 0.75 未満かつ，̅ が 45°未満であれば，部分グラフのノードとができる．一つの4 につき，得られた組み合わせが 3 組以を対応点候補とする．

上の場合は次式を用いる．
 ,    ̅  ,    0.7̅  ,  (b) Inverted image “Ni”

図 8 大局的な部分グラフによる対応付けができなかった例

は適切な対応付けができない．そこで，本来の目的である三(b) 反転画像「に」対応点候補が見つからなかった場合，エッジ濃度 2 の部分(7)

グラフで行った操作をエッジ濃度 1 の部分グラフでも同様に

305

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(a) アンビグラム通常画像(a) 通常画像「か」(b) 反転画像「に」(b) アンビグラ反転画像(a) Normal Ambigram “Mo” (b) Inverted Ambigram “O”(a) Normal image “Ka” (b) Inverted image “Ni”

図 12 アンビグラム構造生成結果

図 9 部分グラフ抽出結果

Fig.12 Result of Ambigram structure generation

Fig.9 Result of subgraph extraction

式(7)と式(8)で求めた対応点候補の拘束条件から0 : ̅ )0.75かつ0∘ : ̅ ) 45∘ であり，ともに等しく評価するために̅
は 0.75 で，̅ は 45 で割ることで，スケールを等しくした．
ランクを各部分グラフの組で求めた後，ランクが最小の部分グラフの組を選択し，対応点を決定する．同様に，エッジ濃度 1 の部分グラフを調べたときに対応点候補としたノードに対しても対応点の決定を行う．ただし，エッジ濃度 2 の部分グラフから得た対応点と重複しない対応点候補のみを探(a) 「も」(a) “Mo”(b) 反転「お」(b) Inverted “O”

索対象とする．局所的な部分グラフの探索によって図 8 の文(c) 新たな点群

字グラフから抽出された部分グラフを図 9 に示す．ただし，(c) New point group

同色の楕円で囲まれている特徴点が対応する部分グラフであ

図 10 新たな点群の作成

り，同色のノードが対応している．

Fig.10 Generation of new point group

なお，対応付けは全探索処理であるが，ひらがなは特徴点
数が少ないため，大多数のひらがな対における探索時間は 10
秒未満であった．しかし，「あ」は特徴点が 20 個あり，かつ，同じ文字のため同型グラフが膨大に存在する「あ」と「あ」の対応付けには約 4 時間を要した． ただし，本実験では後述のとおり Intel Core i7-8650U @ 1.90GHz を用いており，並列計算は行っていない．
4.2(a) 通常画像「も」 (b) 反転画像「お」特徴点のアフィン変換(a) Normal image “Mo” (b) Inverted image “O”

特徴点の対応付けを行った後，共通部分を重ね合わせるた

図 11 文字画像分割結果

めに特徴点をアフィン変換する．また，対応点の移動に合わ

Fig.11 Result of character image division

せて対応付けされていない特徴点も追随して移動させるために，ドロネー三角形分割を用いたアフィン変換を行う．
まず，対応付けた点の中点を計算する．また，文字画像全行う．さらに，反転画像の文字グラフ の既に対応付けされ体を領域分割するために，画像の周囲 8 か所に新たな点群をているノードを含まないグラフ と通常画像の文字グラフ

作成する．
これらの点群を用いてドロネー三角形で分割する．

 の対応付けられたノードを含まない連結グラフ4 に対し

図 6 の対応付け結果から点群を生成し，分割を行った結果をても同様の操作を行い，対応点候補を探索する．

図 10 に示す．ただし，同色のノードが対応関係にある．そ最後に，対応点の決定を行う．まず，エッジ濃度 2 の部分

して，得られたドロネー三角形に対応するように通常文字画

グラフを調べたときに対応点候補としたノードに重複がある

像及び反転文字画像も分割する．これにより，対応する三角か調べ，ない場合は対応点とし，ある場合は対応点候補から形の頂点が必ず対応関係のある特徴点で構成されるようにななる部分グラフの組に対し，次式で示すランク ,   をる．図 10 に示す分割により文字画像を分割した結果を図 11

与える．
̅  ,   ̅  ,   ,   
0.75
45に示す．分割が終わった後に通常の文字画像と反転した文字
画像の対応するドロネー三角形へのアフィン変換行列を計算

(9)

306

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

する．そして，文字画像の三角形内に含まれる特徴点に対し

式(10)では対応点どうしで結ばれるストロークが，筆圧値てアフィン変換を行う．以上の手順で特徴点をすべてアフィ= を維持したまま描画されることになる．しかし，図 13 (a)ン変換することでアンビグラムの基本構造を生成する．

に示す 1 番と 2 番の特徴点間にストロークは存在せず，図図 11 に示す分割にしたがってアフィン変換をし，アンビグ

13(b)に示す 1 番と 2 番の特徴点間にはストロークが存在してラムを生成した結果を図 12 に示す．アフィン変換で対応点いるように，対応点間であってもストロークが共通しているを重ね合わせ，対応点以外の特徴点も適切に移動させることとは限らない．したがって，式(10)で対応点間の筆圧値を計によって，対応エッジも重ね合わせることができる．本節の算する際はエッジが共通しているか，つまり対応点間にとも処理によって文字ストローク間の対応付けをし，共通部分とにストロークが存在しているかを調べ，存在していない場合

非共通部分を分離することができたので，次章でストロークは次式(11)で筆圧値を計算する．式(11)を用いることで，対応の太線化を行う．

点から遠ざかるにつれ筆圧値を小さくしてストロークの太さ

5.

を徐々に細くするようにし，太いストロークから細いストロストロークの太線化

ークへの遷移に一定の距離を設けることで，突然ストローク

アンビグラムの可読性及び見栄えの向上のため，ストローの太さが変化するような見た目の違和感を軽減した．

クの太線化をする．生成したアンビグラムはストロークの単純化をしているためにストロークが角張っており，どのストロークも太さが共通である．可読性及び見栄えの向上のため

0 にはストロークを滑らかに表現し，2 文字間で共通部分は強調し，共通しない部分は目立たせなくすることが望ましい．
そこで，この二つの問題を解決するために，文字を毛筆文字⎧ = "⎪⎪?'= " = (
,
>

= ,
⎨
⎪
?'= " = (
⎪
,
⎩= "
>

>"1
4
>"1
3> " 1:?:4
4
3> " 1
)?)>
4
1:?)

(11)

筆先の次の角度 は現在の筆先の角度 ，筆の現在の進化して太線化をすることを検討する．はじめに，ストローク

行方向$ ，筆の次の進行方向$ を用いて次式で定義する．

を滑らかにするためにアフィン変換後の特徴点をスプライン

本論文ではE  10 を用い,  の初期値を 135°とした．

曲線で補間する．図 10(a)，(b)に示す単純化後の文字における特徴点の補間結果を図 13 に示す．石亀ら 17)は三角形と円を   " E$ " $ 組み合わせた図形を毛筆モデルとして定義し，この毛筆モデ

筆圧値及び筆先の角度を考慮して図 13(a), (b)の文字を太線

ルを用いることで毛筆文字の生成を実現した．本論文ではこ化して重ね合わせた結果を図 14 に示す．スプライン曲線で(12)のモデルを用いて，スプライン補間した点をなぞることで毛ストロークに丸みを付け筆圧値の変化によってストロークの筆文字の生成を行う．その際，筆圧値と筆先の角度を定義す

共通部分を太く，
非共通部分を目立たなくすることができた．

る必要がある．

6.

筆圧値はストロークの太さを決定する値である．対応点，可読性評価

非対応点をなぞるときの筆圧値をそれぞれ= , = とし，ある特

ひらがな 46 文字を一対一で対応付けた 1,081 組のアンビグ

徴点 とそれに隣接する特徴点 が>分割されているとき，画ラムの可読性を，単一文字及び単語の観点から評価する．た素 から?番目の画素の筆圧値0 を式(10)で定義する．ただし， だし，アンビグラムの生成において，本論文では Intel Core あるいは が対応点の場合，=, , = は= ，非対応点の場合は

i7-8650U @ 1.90GHz を用いている．

= とする．
?'= " = (0  = ">6.1
1 : ? ) >(10)

単一文字の可読性の評価

6.1.1

実施方法

被験者は図 14 に示したようなアンビグラムの通常画像と(a) 「も」(b) 反転「お」(c) アンビグラム通常画像(d) アンビグラム反転画像(a) “Mo”(b) Inverted “O”(c) Normal Ambigram “Mo”

(d) Inverted Ambigram “O”

図 13 スプライン補間結果

図 14 太線化結果

Fig.13 Result of spline interpolation

Fig.14 Result of fatten stroke

307

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

反転画像を並べた画像を見て，それぞれの読みを記述式で回にアンビグラムを作成できるか不明であるため，作成不明な

答する．また，不可読な場合は「-」を記入する．ただし，不アンビグラムと称する．

可読の理由については集計していない．また，後述する作成

本論文では，アンビグラムGの可読率を，［可読と判断した

可能なアンビグラムは 1 組につき 5 名，作成不明なアンビグ

人数］/［評価者数］で定義し，HGで表す．したがって，ア

ラムは 1 組につき 3 名回答が得られるように，
被験者 18 名をンビグラムGを 5 名中 2 名が可読とした場合，HG  0.4と割り振って Google フォーム上で回答を行う．そして，通常画なる．そして，1 文字当りの評価者が 3 人または 5 人である像と反転画像の読みが両方正しかった場合のみ，可読とした．

ため，過半数の 3/5，2/3 が可読であればアンビグラムは可読

例えば，図 14 の場合は図 14(a)を「も」と答え，かつ図 14(b)性があるとした．

を「お」と答えたときのみを可読とし，それ以外の誤答や読6.1.2

めなかった場合は，すべて不可読とした．なお，被験者には評価結果作成可能なアンビグラムの評価結果を表 1 に示す．表 1 か「アンビグラムは反転しても読み取れるようにした文字であら，作成可能なアンビグラムのうち 1 文字単体では半数未満

る」とだけ伝えており，作成経験はない．

の文字にしか可読性がないという結果が得られた．一方で，また，本論文では，文献 1)に記載されていた 724 組のアン

表 2 から，作成不明なアンビグラムのうち 26.1%で可読性がビグラムを作成可能なアンビグラムとし，このアンビグラムあったことから，著者が一つも作成できなかった組み合わせの集合をF で表す．そして，記載のない残りの 357 組のアン

からも可読性のあるアンビグラムの生成ができたことが明ら

ビグラムに関して，著者がアンビグラムの作成可能性を検討かになった．
評価したアンビグラムの一例として，可読率が 1.0 であっしたが，全て作成が困難であると判断した．したがって，真(a-1) 「あ」
・「ま」(a-2) 「い」・「け」(a-3) 「え」
・「る」(a-4) 「き」
・「わ」

(a-5) 「さ」・「や」(a-1) “A” and “Ma”(a-2) “I” and “Ke”(a-3) “E” and “Ru”(a-4) “Ki” and “Wa”(a-5) “Sa” and “Ya”(a-6) 「を」・「を」(a-7) 「せ」
・「み」(a-8) 「た」
・「む」

(a-9) 「は」・「れ」(a-10) 「も」・「よ」(a-6) “Wo” and “Wo”(a-7) “Se” and “Mi”(a-8) “Ta” and “Mu”(a-9) “Ha” and “Re”

(a-10) “Mo” and “Yo”(a) 可読率 1.0 の作成可能なアンビグラム(a) Ambigrams with readability 1.0 which can be given by hand crafted(b-1) 「せ」
・「ぬ」(b-2) 「さ」・「を」(b-3) 「つ」
・「む」(b-4) 「う」
・「ぬ」(b-5) 「あ」
・「そ」(b-1) “Se” and “Nu”(b-2) “Sa” and “Wo”(b-3) “Tsu” and “Mu”(b-4) “U” and “Nu”(b-5) “A” and “So”(b) 可読率 1.0 の作成不明なアンビグラム(b)Ambigrams with readability 1.0 which are not pointed out to be generated(c-1) 「い」・「ね」(c-2) 「う」
・「お」(c-3) 「く」・「と」(c-4) 「し」・「や」(c-5) 「せ」
・「ち」(c-1) “I” and “Ne”(c-2) “U” and “O”(c-3) “Ku” and “To”(c-4) “Shi” and “Ya”(c-5) “Se” and “Chi”(c-6) 「ね」
・「へ」(c-7) 「と」・「の」(c-8) 「て」・「へ」(c-9) 「ぬ」
・「ぬ」

(c-10) 「ん」
・「ん」(c-6) “Ne” and “He”(c-7) “To” and “No”(c-8) “Te” and “He”(c-9) “Nu” and “Nu”

(c-10) “N” and “N”(c) 可読率 0.0 の作成可能なアンビグラム(c) Ambigrams with readability 0.0 which can be given by hand crafted
図 15 提案手法で生成したアンビグラム及びデザイナによるアンビグラム 1)の比較
Fig.15 Comparison of Ambigrams generated by proposed method and by the designer1)

308

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

表 1 作成可能なアンビグラムの評価結果
Table 1 Evaluation result of Ambigrams can be given by hand crafted
可読性

文字数

あり

325

なし

399

(a) 「え」・「を」 ܴ = 0.0(b) 「さ」
・「ん」 ܴ = 0.4(a) “E” and “Wo” ܴ = 0.0(b) “Sa” and “N” ܴ = 0.4

表 2 作成不明なアンビグラムの評価結果
Table 2 Evaluation result of Ambigrams not pointed out to be generated
可読性

文字数

あり

93

(c) 「あ」・「か」 ܴ = 0.6(d) 「ま」・「れ」 ܴ = 1.0

なし

264

(c) “A” and “Ka” ܴ = 0.6(d) “Ma” and “Re” ܴ = 1.0

図 16 認識器が可読としたアンビグラム
表 3 ひらがな認識器による認識結果

Fig.16 Ambigram which can be read by Hiragana Recognizer

Table 3 Evaluation result of Ambigrams by Hiragana Recognizer
認識結果

文字数

可読

78

たことから，共通部分をより太くしたり，非共通部分を変形

不可読

1003

させて目立たなくしたりするようなストロークの太線化の工ンビグラムは 5 人中 5 人が「く」の文字を「て」と読んでい夫が必要である．
た提案手法で生成したアンビグラムを図 15(a)に，作成不明で6.2

可読率が 1.0 であったアンビグラムを図 15(b)に，すべての被

前節では，アンビグラムの可読性を人の目で主観的に評価験者が不可読であったアンビグラムを図 15(c)に例示する．また，図 15 において，四角で囲われた文字は本研究で生成し，評価実験をした文字であり，囲われていない文字は文献 1)にしたが，文字の識別には少なからず個人差がある．そこで，
ひらがな識別器を用い，定量的な可読性の評価を行う．
電子技術総合研究所が収集した手書き文字データベース

記載されていたデザイナが作成した文字であり，評価実験はETL818) か ら 160 人 分 の 手 書 き ひ ら が な を 用 い て ，

行っていない．
6.1.3

ひらがな識別器による単一文字の可読性の評価

CNN(Convolutional Neural Network)で学習することで，識別器デザイナの作成したアンビグラムとの比較を生成した．なお，学習データに対する識別精度は 0.96，誤まず，図 15(a)に示した，可読率が 1.0 であった提案手法で差関数の値は 0.12 であり，テストデータに対する識別精度は生成したアンビグラムに着目する．これらは，対応関係付け

0.99，誤差関数の値は 0.01 であった．ただし，誤差関数は交られているストロークも一致しており，ストロークの太さも差エントロピーを用いている．この識別器を用いてアンビグ

強調すべき共通部分は太く，目立たなくすべき非共通部分はラムの識別を行い，前節と同じく通常状態と反転状態の両方

細くなっている．したがって，デザイナが作成したアンビグの文字を正しく読めた場合を可読とした．

ラムと遜色ない文字が生成できているといえる．

識別結果を表 3 に示し，可読であったアンビグラムを前節

次に，図 15(b)に示した，作成不明で可読率が 1.0 であった

で述べた人による可読率とともに図 16 に例示する．手書き

アンビグラムに着目する．これらは，図 15(a)に比べて非共通

文字と生成したアンビグラムは形状が大きく異なるため，可部分が多く見られるが，文字構造の変形が少なく，共通部分

読と判断される文字は表 1 及び表 2 に示す人の評価に比べてがアンビグラムの半分を占めている．例えば図 15(b-4)は，「う」 非常に少ない結果となった．また，識別器で可読と判断されの文字全体が強調されており，かつ「う」と「ぬ」の形状はた 78 文字中，人の評価で可読性があった文字は 42 文字しかあまり変形されていないため，可読率が高くなったといえる．
最後に，図 15(c)に示した，全ての被験者が不可読であった

なかったことから，人と識別器の可読の判断に関係性はなかったといえる．

アンビグラムに着目する．これらは，デザイナのアンビグラ

なお，デザイナの作成したアンビグラム 724 文字 1)を識別

ムとはストロークの対応付けが異なっている．例えば図した結果，1 文字しか可読でなかった．

15(c-1)は，「い」の 2 画目が対応付けられておらず，非共通部

6.3

分が多いため，不可読であった可能性が高い．さらに，図15(c-3)の対応付けはデザイナと同じであるが，非共通部分の単語の可読性の評価

可読率の低いアンビグラムを単語で用いた場合，その可読影響によって「く」が「て」のように見える．実際，このア性が変化するかを調査した．

309

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

6.3.1

が低い文字が含まれていたとしても，単語にすることで可読実施方法性が向上することが確認できた．

まず，ひらがな 4 文字で構成される単語を日本語教育語彙表 19)から抽出し，濁点，半濁点，小文字を除き，同音異義語

また，単語を構成する文字の可読性が単語の可読に影響をを一つにした 4 文字の単語の集合をIとする．このとき，及ぼしているかについて考察する．評価を行った 246 単語に|I|  2,536であった．そして，L  M ∣ M ∈ F , 0 ) HM )ついて，単語を構成する文字の可読率の組み合わせごとに評

0.6, O  P ∣ P ∈ F , 0.6 : HMとし，次式からアンビグラ

価単語数及び可読性がある単語数を集計し，「可読性がある単ムの単語集合Q∈ を得る．ただし，M はMを反転させた文字語の割合」を［可読性がある単語数］/［評価単語数］で定義を表し，正規表現に従い文字列を記述した．

する．文字の可読率の組み合わせごとに集計した結果を表 5Q∈  P MP P , P P M P ⊂ I ∣ P , P , P ∈ O
∪ P P MP , P M P P ⊂ I ∣ P , P , P ∈ O

(13)語数］を表す．表 5 において，可読性がない 1 文字の可読率
が「0.2」，可読性がある 3 文字の可読率の組み合わせが「0.8

そして，Q∈ の要素 15,474 組から，調査対象とする単語と 1.0」の場合，単語を構成する 4 文字の可読率が(0.2, 0.8, 0.8,

対をTの要素ごとに一つ選択した．その結果，集合Lに含まれ1.0)のように構成されていることを示している．以下，デーるアンビグラム 252 文字中 246 文字をそれぞれ 1 文字ずつ使

タ数が一つしかない「0.6 と 0.8」の列を除いて考察をする．

用した通常状態と反転状態の 2 単語 246 組を得た．

まず，表 5 の「0.2」と「0.4」の行を比較すると，残りの 3

通常状態及び反転状態のアンビグラムの単語に対し，それ文字の可読率によらず「0.4」を含む単語の方が，可読性があ

ぞれどのように読めるかは記述式の回答とした．また，各単る単語の割合が高いことがわかる．したがって，4 文字の単語につき 5 名の回答が得られるように，
被験者 15 名を割り振語の場合，1 文字の非可読性が単語の可読に悪影響を及ぼす

り，Google フォーム上での回答とした．そして，通常画像とことが推察される．次に，表 5 の列に着目すると，3 文字の反転画像の読みの両方が正しかった場合のみ可読とした．
6.3.2に示す．ただし，括弧内は［可読性がある単語数］/［評価単可読率が上がるほど可読性がある単語の割合が高くなってい

評価結果

ることがわかる．したがって，1 文字では読みにくい文字が本論文では，単一文字の評価と同様にアンビグラムの単語単語に含まれていたとしても，他に読める文字が多いほど単.が可読であった可読率H.が 0.6 以上である場合を可読性語が読める可能性が上がることが推察される．

があるとした．評価結果を表 4 に示し，評価単語を可読率と7.

ともに図 17 に例示する．ただし，通常状態と反転状態の単語二組を 1 単語として表している．
表 4 から評価を行った 246

7.1

単語のうち 87.8%もの単語が可読であったことから，可読性

可読性との相関関係

共通部分との相関

6.1.3 においてデザイナの作成したアンビグラムと比較することで，共通部分が多いアンビグラムは可読率が高く，非表 4 アンビグラムの単語の評価結果

共通部分が多いアンビグラムは可読率が低くなる傾向にある

Table 4 Evaluation result of Ambigram word

ことを定性的に示した．本節では，共通部分と可読性の関係

可読性

単語数

を定量的に検証する．

あり

216

なし

30

特徴点をアフィン変換した結果，重なり合うエッジの長さの総和をU ，各文字グラフの全エッジの長さの総和をそれぞれU , U とすると，共通部分の割合 は次式で与えられる．

表 5 可読率の組み合わせごとの可読性がある単語の割合
Table 5 Proportion of readable words for each combination ofreadability
可読性がある 3 文字の可読率の(a) 可読な単語 H  1.0(b) 不可読な単語 H  0.0（「あきれる」と「おおゆき」）（「かみきれ」と「たようか」）(a) Readable word H  1.0(a) Unreadable word H  0.0(“Akireru” and “Ohyuki”)(“Kamikire” and “Tayoka”)

0.2
可読性がない1 文字の可読率

図 17 評価単語例
Fig.17 Example of evaluated word

310

0.4

組み合わせ
0.6 と
0.8
0.8
のみ

0.8 と
1.0

1.0
のみ

1.00

0.57

0.80

0.92

(1/1)

(4/7)

(78/97)(22/24)

(0/0)

0.85

0.96

0.95

(11/13)(79/82)(21/22)

1

63/1260.8

99/241
140/387
60/215
8/43

0.6
0.4
0.2
0

14/16

2/2 1/1 1/1

可読性がある文字の割合

可読性がある文字の割合

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

30/49[0.0, [0.1, [0.2, [0.3, [0.4, [0.5, [0.6, [0.7, [0.8, [0.9,0.1) 0.2) 0.3) 0.4) 0.5) 0.6) 0.7) 0.8) 0.9) 1.0]

0.6

109/227
157/382
94/2500.4 13/37
0.5
0.3

12/43

28/114

0.2

2/7
3/19

0.1
0

0/1 0/1[0.0, [0.1, [0.2, [0.3, [0.4, [0.5, [0.6, [0.7, [0.8, [0.9,0.1) 0.2) 0.3) 0.4) 0.5) 0.6) 0.7) 0.8) 0.9) 1.0]
エッジの平均角度差

共通部分の割合
図 21

図 18 共通部分の割合と可読性がある文字の割合との関係

エッジの平均角度差と可読性のある文字の割合との関係

Fig.18 Relationship between proportion of common strokes andreadable words

Fig.21

Relationship between average angular difference in edges
and proportion of readable words

察するために，図 19 に共通部分が少ないアンビグラムを，
図 20 に共通部分が多いアンビグラムを例示する．なお，共通部分の割合をVで表している．
図 19 を見ると，非共通部分が多く混在していることから，細いストロークが通常状態の文字と反転状態の文字のどちらH  0.2, V  0.09

H  0.2, V  0.14

(a)

「お」
・
「ろ」

(b) 「ひ」・「も」造を区別できなくなったため可読性が低くなった推察する．

(a) “O” and “Ro”(b) “Hi” and “Mo”

一方で図 20 を見ると，太いストロークが多いことから，共通に属するか判別できなくなり，結果的にそれぞれの文字の構

図 19 共通部分が少ないアンビグラム部分だけで何の文字かを判断することができ，結果的に非共Fig.19 Ambigram with few common parts

通部分の可読に対する悪影響が小さくなり可読性が高くなったと推察する．
7.2

形状変化との相関

次に，形状変化と可読性に相関があるか検証する．形状変化に関する要素をしては，エッジの傾きの変化が挙げられる．
そこで，本節ではアフィン変換前後の文字グラフのエッジのH  1.0, V  0.63

平均角度差が可読性と相関があるか調べる．

H  1.0, V  0.60(a) 「か」・「け」(b) 「り」
・「ん」(a) “Ka” and “Ke”(b) “Ri” and “N”

まず，エッジの平均角度差を［エッジの角度差の和］/［エッジ数］とする．ただし，平均角度差は 1 文字ごとに求めており，エッジの角度差は 0°以上 180°以下になるように求めて

図 20 共通部分が多いアンビグラム

いる．そして，エッジの平均角度差を最小値 0，最大値 1 にFig.20 Ambigram with many common parts

なるように正規化し，各範囲で可読性がある文字の割合を求 UU  U " U

めた結果を図 21 に示す．ただし，図 21 の上部の数値は［可(11)読性がある文字数］/［評価文字数］を表す．
図 21 から，エッジの平均角度差，すなわち形状変化と可読式(11)を用いて共通部分の割合を計算し，割合ごとに可読性性に明確な相関は見られなかった．したがって，前節の共通がある文字の割合を求めた結果を図 18 に示す．ただし，棒部分の割合と可読性の顕著な相関を踏まえると，形状変化がグラフの上部の数値は，［可読性がある文字数］/［評価文字大きくても共通部分の割合が多ければ，可読となることが期数］を表す．

待できる．一方で，図 15(c-1)のように，形状変化が小さくてグラフが示すように，共通部分の割合が増加するほど，可も共通部分の割合が少なければ，不可読となる可能性が高い

読性がある文字の割合も上昇することが明らかになった．したがって，共通部分の割合と可読性には相関があるといえる．
では，なぜそのような相関が得られるのかを視覚的にも考311と推察する．
では，なぜエッジの平均角度差と可読性に相関が得られな

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

H  0.2, M  0.16, V  0.21

H  1.0, M  0.14, V  0.40(a) 「ま」・「む」(b) 「お」・「わ」(a) “Ma” and “Mu”(b) “O” and “Wa”

図 22 平均角度差が小さいアンビグラム
Fig.22 Ambigram with small average angular difference(a) 提案手法(a) Proposed method

H  0.2, M  0.70, V  0.48

H  1.0, M  0.57, V  0.56(a) 「き」・「み」(b) 「ち」・「ひ」(a) “Ki” and “Mi”(b) “Ti” and “Hi”

(b) Riesen らの手法

図 23 平均角度差が大きいアンビグラム(b) Method by Riesen

Fig.23 Ambigram with large average angular difference

図 24 「す」と「ま」の対応付け
Fig.24 Correspondence between “Su” and “Ma”

かったのかを視覚的にも考察するために，図 22 に平均角度差が小さいアンビグラムを，図 23 に平均角度差が大きいア
ンビグラムを例示する．なお，平均角度差を前述のとおり正グにグラフ同型と文字の構造特徴を用いているが，グラフマ

規化した値をMで表している．

ッチングの手法は多岐にわたっている 20)~24)．そこで，グラフ共通部分の割合は元々の文字構造の違いに依存するため，同型や文字構造特徴を用いない，Riesen らのグラフマッチン

図 22 に示すように平均角度差が等しく小さい場合でも共通

グ手法 24)によりアンビグラムを生成し，提案手法の有効性を部分の割合は異なる． したがって，平均角度差と共通部分の検証する．

割合には相関がないため，可読性とも相関がないと推察する．

Riesen らは，全ノードに対して，グラフ編集における置換

さらに，文字が可読であるためには文字を決定付けるようコスト，削除コスト，挿入コストをノードのラベルや隣接エな重要な構造がエッジの角度変化により失われていないこと

ッジ数を基に与え，割り当て問題を解くことで最小のグラフが求められる．例えば，図 23(b)を見ると，文字は共に大きく

編集コストを計算し，ノードのマッチングを行っている．し変形しているが，それぞれのストロークが干渉し合っていな

たがって，例えばノードのラベルがノードの座標であれば，いため，文字の変形が可読に影響を及ぼさなかったと推測す

ノード間の距離が近く，隣接エッジの数が等しいノードが優る．一方，図 23(a)の矢印が指す部分は「き」と判別するか「さ」先的に対応付けされる．本節の比較実験では，Riesen らの文と判別するかを決定する重要な部分であるが，エッジの角度字グラフを用いた実験と同様にノードのラベルをノードの座変化によりストロークがくっついてしまい，「き」の構造が失標として置換コストを計算する．また，削除コスト及び挿入

われてしまっている．このような可読性に大きな影響を与えコストは定められた値がないため，基本的な対応付けである，る一部のエッジの角度変化は平均角度差の大小にかかわらず「い」と「い」のアンビグラムが生成できるようなパラメー発生するため，文字全体の変形量の指標である平均角度差でタを設定した．

は考慮できないことも，可読性との相関が現れなかった要因

Riesen らの手法を用いて対応付けをした結果と提案手法をであると推察する．

8.
8.1

用いて対応付けをした結果を図 24 に示し，その対応付けを用いてアンビグラムを生成した結果を図 25 に示す．
ただし，提案手法の検証

同色のノードが対応関係にあり，赤丸の白色ノードは対応付

有効性の検証

けされていないノードである．
対応点全体を見ると，提案手法は式(2)の により対応点の本論文では，ノードの対応付け，すなわちグラフマッチン

312

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(a) 提案手法(b) Riesen らの手法(a) 「a」
・「e」(b) 「A」
・「A」(a) Proposed Method(b) Method by Riesen(a) “a”・”e”(b) “A”・”A”(c) 「セ」
・「ヤ」(d) 「カ」
・「ネ」(c) “Se”・”Ya”(d) “Ka”・”Ne”(e) 「み」・「れ」(f) 「は」・「ね」(e) “Mi”・”Re”(f) “Ha”・”Ne”

図 25 「す」と「ま」のアンビグラム
Fig.25 Ambigram from “Su” and “Ma”

位置関係が「す」と「ま」で等しくなっている．さらに，同型性を満たしているため，対応点とエッジに注目すると共通部分が抽出できている．一方，Riesen らの手法は「す」の 2番ノードと 9 番ノードに着目すると，対応する「ま」の 4 番
ノードと 7 番ノードとの位置関係が崩れている．
また，
図24(a)
ではノード間の対応する隣接エッジの傾きは，式(2)の にし
きい値を定めているため，類似している．一方，図 24(b)の「す」の 4, 5 番間のエッジと対応する「ま」の 2, 10 番間のエッジに

図 26 複数の文字種及び鏡映反転のひらがなアンビグラム

注目すると，傾きが約 90°も異なっている．

Fig.26 Ambigrams with multiple characters and mirrored Hiragana

したがって，文字としての形状を崩さないような対応点を求めるには，文字の構造特徴を加味した対応付けが必要であ

したがって，この問題を解決するためには，大局的な部分

る．
8.2

グラフの対応付けにおいて，複数の連結グラフから同型なグ

適用範囲の検証

ラフを抽出し，適切な対応付けを計算する必要がある．

提案手法は，ストロークの交点の次数が 4 以下の文字とい10. むすびう制限があるが，この条件以外でひらがなに依存した処理は行っていない．また，グラフを反転させるだけでなく，鏡映

文字構造の共通部分の抽出，特徴点の適切な対応付け， 太

反転させてもアンビグラムの生成には影響がない．そこで，線化を行うアンビグラム生成手法を提案した．アンビグラム
作家が制作した 724 文字をすべて含み，新たな 357 文字を加提案手法の適用範囲を実験的に検証した．

えた 1,081 文字のアンビグラムを生成した．

実験対象を，アルファベット小文字，アルファベット大文

被験者による可読性の評価により，作成可能なアンビグラ

字，カタカナの 180°回転のアンビグラムと，鏡映反転させる

ムのうち半数以上で可読性がないという結果となったが，単

ひらがなアンビグラムとする．
図 26 に生成結果を例示する．提案手法ではひらがな以外

一文字のときは可読性がなかった 1 文字を含む単語に対するの文字でもアンビグラムを生成することができ，180°回転の可読性の評価を行った結果，87.8%の単語に可読性があった
ことから，単語にすることによる可読性の向上がみられた．

アンビグラムだけでなく，鏡映反転のアンビグラムも生成す

さらに，著者が作成困難と判断した 357 の文字対からも適切ることが可能である．

9.

に文字の共通部分を検出し，可読性があるアンビグラムを 93

適用限界

文字生成できた．

本手法では，ひらがなの反転アンビグラムだけでなく，他可読性と共通部分及び形状変化に相関があるか検証したの文字種や鏡映反転などのアンビグラムにも応用できること

結果，ストロークが重なり合う部分の割合が大きいほど可読が前章で明らかとなった．しかし，本手法の大局的な部分グ性が向上することが確認でき，形状変化の大小は可読性に影ラフの対応付けは連結グラフどうしでしか対応付けすること

響しないと推察した．
そして，別のグラフマッチング手法との比較により，提案ができない．したがって，2 文字のアンビグラムを反転させると 3 文字として読めるような，1 対複数文字の対応付けの手法の有効性を検証し，ひらがな以外のアンビグラムを本手

アンビグラムを生成できない．さらに，多くの漢字は複数の法により生成することで，適用範囲の検証を行った．
しかし，可読性の観点から文字表現の向上が必要である．

連結グラフから構成されているため，大局的な部分グラフの「く」や「へ」といった特徴点の少ない文字や，特徴点が多対応付けが大局的ではなくなる．

313

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

くても対応点が少ない場合は変形が足りないため，非共通部

17) 石亀昌明，三浦 望，保坂 暁子，福島 隆行: “毛筆のモデル化に分をより目立たなくする変形方法と太線化を検討する．

よる毛筆文字の生成”，情報処理 学会研究報告. HI，ヒューマン
インタフェース研究会報告，Vol.97，No.71，pp.45–51 (1997).

参考文献

18) 独立行政法人産業技術総合研究所，手書教育漢字データベース
ETL8，http://etlcdb.db.aist.go.jp/specification-of-etl-8?lang=ja (2020).

1) 野村一晟，つくろうよ！アンビグラム，飛鳥新社 (2018).
2) 日刊スポーツ，日本代表ユニ「日本晴れ」文字反対にすると「侍19) 日本語教育語彙表 ver1.0: http://jhlee.sakura.ne.jp/JEV.html (2020).

魂」，https://www.nikkansports.com/soccer/japan/news/2019110600006

20) A. Zanfir, C. Sminchisescu: “Deep Learning of Graph Matching”,
Proc. of IEEE/CVF Conference on Computer Vision and Pattern

42.html (2020).

Recognition(CVPR), pp.2684–2693 (2018).

3) FlipScript, Inc., FlipScript, https://flipscript.com/en/flip (2019).
4) マイナビ，文字には、人の心を動かす“チカラ”がある - アンビ

21) P. Morrison, J.J. Zou: “Inexact Graph Matching Using a Hierarchy

グラム作家・野村一晟，https://news.mynavi.jp/article/20191128-929

of Matching Processes”, Computational Visual Media, pp.291–307

543/ (2020).

(2015).

5) 細谷律子，是枝浩行，井上喜勇，山内司，松田泰昌: “非線形変換

22) X. Bai, L. J. Latecki: “Path Similarity Skeleton Graph Matching”,

を組み合わせた変形文字の生成”，情報処理学会全国大会講演論文

IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.30,

集，Vol.48，No.3，pp.301–302 (1994).

No.7, pp.1282–1292 (2008).

6) T. Igarashi, T. Moscovich, J. F. Hughes: “As-Rigid-as-Possible Shape

23) M. Cho, J. Lee, K. M. Lee: “Reweighted Random Walks for Graph

Manipulation”, ACM Trans. on Computer Graphics, Vol.24, No.3,

Matching”, Proc. of European Conference on Computer Vision (ECCV),
Vol.6315, pp.492–505 (2010).

pp.1134–1141 (2005).

24) K. Riesen, H. Bunke: “Approximate Graph Edit Distance Computation

7) S. Schaefer, T. McPhail, J. Warren: “Image Deformation Using Moving

by Means of Bipartite Graph Matching”, Image and Vision Computing,

Least Squares”, ACM Trans. Graph, Vol.25, No.3, pp.533–540 (2006).

Vol.27, pp.950–959 (2009).

8) N. D. F. Campbell, J. Kautz: “Learning a Manifold of Fonts”, ACM（2020 年 2 月 29 日受付）

Trans. on Graphics, Vol.33, No.4, pp.91:1–91:11 (2014).

（2020 年 7 月 19 日再受付）

9) Y. Fujita, H. Xie, K. Miyata: “Perceptual Font Manifold from Generative
Model”, Nicograph International (NicoInt), pp. 41–48 (2019).

井 上 和 輝10) 成沢淳史，柳井啓司: “Neural Style Transfer と Cycle GAN を利2020 年 電気通信大学Ⅰ類卒業．在学時，画像処理の研究に従事．

用したフォント変換”，画像の認識・理解シンポジウム(MIRU), pp.
PS2–26 (2017).
11) L. A. Gatys, A. S. Ecker, M. Bethge: “Image Style Transfer Using
Convolutional Neural Networks”, Proc. of IEEE Conference on
Computer Vision and Pattern Recognition (CVPR), pp.2414–2423(2016).

（正会員）
高 橋 裕 樹1990 年 東京工業大学 工学部 制御工学科
卒業．1992 年 同 大学院博士前期課程(物理
情報工学専攻) 修了．1994 年 同 大学院博士後期課程中退．1994 年 同大工学部情報工学科助手．同大大学院情報理工学研究科助手を経て，現在，電気通信大学大学院情報理工学研究科 准教授．博士(工学)．視覚情報処理の研究に従事．

12) J.-Y. Zhu, T. Park, P. Isola, A. A. Efros: “Unpaired Image-to-Image
Translation using Cycle-Consistent Adversarial Networks”, Proc. ofIEEE Conference on Computer Vision and Pattern Recognition (CVPR),
pp.2414–2423 (2016).
13) 島崎早智，多田信洋，藤岡寛之，日高章理: “ニューラル画像対画
像変換による毛筆体文字の生成”，第 81 回全国大会講演論文集，Vol.2019，No.1，pp.189–190 (2019).
14) S. Tang, Z. Xia, Z. Lian, Y. Tang, J. Xiao, “FontRNN: Generating
Large-scale Chinese Fonts via Recurrent Neural Network”, Computer
Graphics Forum, Vol.38, No.7, pp.567–577 (2019).
15) T. -Y. Zhang, C. -Y. Suen: “A Fast Parallel Algorithms For Thinning
Digital Patterns”, Communication of the ACM”, Vol.27, No.3, pp.236–
239 (1984).
16) U. Ramer, “An Iterative Procedure for The Polygonal Approximation ofPlane Curves”, Communication of the ACM, Vol.1, No.3, pp.244–256,(1972).

314

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）-- ビジュアルコンピューティング特集 --木目込み細工デザイン支援システム
伊 藤 謙 祐†五十嵐 悠紀†（正会員）†明治大学

A Design Support System for Kimekomi Work
Kensuke ITO†, Yuki IGARASHI† (Member)†Meiji University〈あらまし〉 木目込み細工とは，溝が彫られた木製の型に布を貼り付けて制作する伝統工芸品である．手芸用品店などで販売されている制作キットを使用すれば，初心者でも簡単に制作することができる．しかし，オリジナル
デザインの木目込み細工を制作することは，初心者にとって困難である．本論文では，木目込み細工のためのデザイン支援システムの提案を行う．対象とする木目込み細工は平面及び平面を組み合わせた立体的な形状とした．ユーザがイラストを描くようにデザインを行い，そのデザインをもとにシステムが自動で木目込み細工の型を生成す
る．デザイン制作の途中で，システムが木目込みを行った後の再現画像を提示することで，ユーザは完成形をイメージしながらデザイン制作ができる．ユーザのデザインをもとに，システムが制作時間を推定し提示することによって，ユーザのレベルにあわせたデザインを制作することを目指した．
キーワード：木目込み細工, 設計支援, 制作時間推定, 3 次元プリンタ<Summary> Kimekomi is a traditional craft produced by attaching cloth to a wooden support structure with engraved grooves.
Using the production kit sold in handicraft shops, even beginners can easily create one. However, it is difficult for beginners todesign an original one. In this paper, we propose a design support system for Kimekomi for beginners. We set plane and cube
as our target. A user designs a Kimekomi appearance using our system, and the system automatically generates the support
structure of the Kimekomi product based on the design. The system also visualizes the final result. The system estimates
production time and present it to the user. The user can design an original Kimekomi product appropriate for the user’s skill
level.
Keywords: Kimekomi, design support, estimation of production time, 3D printer1

うそ：粘土の一種）で型を制作したりする必要があり，ハーはじめにドルが高く始めにくい．発泡スチロールを使用する方法 2)は，

木目込み細工とは，あらかじめ溝を彫っておいた木製の型に小さな布の切れ端を押し込んで貼り付けた工芸品である 1)．
木目込み細工は，手芸洋品店などで販売されている制作キットを利用すれば初心者でも簡単に作ることができるが，多くのキットがあるとはいえ自分の思い通りのデザインがあるとは限らない．従来，木目込み細工は作家が経験をもとにデザインして型を彫り作成するものであり，初心者が出来上がりを想像しながら一からデザインし制作することは難しい．
木目込み細工は木材で制作するという伝統工芸としての(a)

良さがある．一方で，初心者が木目込み細工を一から作ろう

図1

したときに，木材を利用する方法では木を削ったり桐塑（と提案システムを使った木目込み細工のデザイン例

Fig.1

315

(b)

Design examples using the proposed system

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(a) デザインの制作(b) 再現画像の確認(c)マップ画像生成(d) 3D モデルを生成しプリント(e)木目込みを行い完成

図 2 提案システムでのデザインの流れ
Fig.2 Designing an original Kimekomi product using our system

き取る．
⑤ 領域よりも少し大きめの布を用意して溝に木目込んでいく．⑥ 領域一周木目込むと必要な布の外形がわかる．
⑦ ⑤で木目込んだ溝よりも少し外側の部分をハサミで切り落とす．⑧ 溝に⑦で残った布を木目込む．⑨ できあがり．
この工程の③以降を制作時間の推定として提示することで，ユーザの設計・制作を支援することを行った．

2

関連研究

手芸や工作を対象としてコンピュータグラフィックス(CG)で設計を支援するシステムは様々なものが提案されている．Plushie3) はユーザがぬいぐるみの外形を線で描くと，システムが自動的に対応する型紙とそれを使って縫い合わせ
図3
Fig.3

た 3 次元形状をシミュレーションしてユーザに提示する．

木目込み細工を制作する過程

Beady4)はユーザがスケッチインタフェースを用いてビーズ

The process of making Kimekomi

構造をデザインしていくことで手軽にオリジナルなビーズ細工をデザインすることができるシステムである．Beady では

カッターで制作できるため木材よりはハードルが低い．しか設計だけでなく制作過程も CG を用いて 1 ステップずつユー

し，自分が制作したいと考えている形の発泡スチロールを用

ザに立体的に提示することで支援している．

意する必要があり，ぽろぽろとくずれやすいので，デザイン

手芸の中でも木目込み細工に近い手芸としてパッチワー

したカーブを再現することは初心者にとって簡単とはいえな

クデザイン支援システム 5), 6)がある．Coahran ら 5)は，ユーザい．また，どちらの方法も彫る箇所を間違えた場合やり直しのスケッチ入力データをもとに Bargello パターンのためのデータに変換するシステムを提案している．Igarashi らのがきかない．本論文では，初心者でも簡単に木目込み細工のPatchy6)は，ユーザのスケッチ入力をそのままパッチワークデ型をデザインし制作するための型を生成するデザインシステ

ザインに使用して，2.5 次元情報としてパッチワーク後の形ムを提案する(図 1)．対象とする形状は平面及び平面を組み状のリアルタイム描画を実現した．

合わせた立体的な形状の例として立方体とした．ユーザは提Miguel らは既存 3 次元モデルを入力として特徴ある線をワ

案システムを用いて絵を描くようにデザインを行い，システイヤーとして表現するアルゴリズムを考案し，実世界でワイムがそのデザインをもとに木目込み細工の型の 3 次元モデル

ヤーをまげてワイヤーアート作品を制作している 7)．Zehnderを自動生成し，生成した 3 次元モデルを 3 次元プリンタ(3D

らは 3 次元モデルから滑らかな曲線で覆われたオーナメントプリンタ)で出力する(図 2)．これにより，コンピュータの知に変換するアルゴリズムを提案し，
3D プリンタで出力している 8)．Chen らは 3D プリンタで出力したタイルパーツを使っ識がないユーザでも図 1 のような木目込み細工の制作が可能て自由曲面にタイルを敷き詰めるアルゴリズムを提案していとなる．

る 9)．WrapIt10)ではワイヤーア―トを制作するために 3D プリ

木目込み細工を制作する過程は図 3 に示すように以下の工ンタで型を出力して制作のためのガイドとして使用している．

程からなる；① 木目込み細工の型を用意する．② 寒梅粉を本論文では木目込み細工を対象としてデザイン過程を支

水で溶いて糊を作る．③ 溝に糊を塗る．④ 木目込みナイフ

援するシステムを提案する．本システムではユーザに木目込の糊をふき取る．溝以外（領域面）についてしまった糊もふ

み後の可視化画像を提示する他，3 次元プリンタで出力可能

316

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

な 3 次元モデルを出力する．3 次元プリンタを導入すること

域や穴の開いた箇所については自動修正モードをオンにしてでこれまで専門家でしかできなかった木目込み細工がより手おくことで，自動で穴埋めを行う機能も備えた．
また，木目込みを行った再現画像と同時に，ユーザが作成

軽に，より身近になる可能性を示す．

3

したデザインをもとに木目込み制作にかかる時間をシステム

提案システムが推定し，ユーザに提示する．ユーザが納得のいくデザイン

本章では，木目込み細工デザインシステムの概要を述べる． が完成したら，Save ボタンを押し 3 次元モデルの自動生成処理に移る．
図 2 にシステムでのデザインの流れを示す．システムはユー
ザがデザインを作成するためのペイントエディタ(図 2(a),3.2(b))と，作成したデザインをもとにした木目込み細工制作のたアルゴリズムシステムの内部での処理について，木目込み困難な形状のめの 3 次元モデル自動生成の 2 つの工程(図 2(c), (d))から構成

検出機能，木目込みデザインの再現機能，木目込み細工制作

される．本システムは Processing を用いて実装した．MacBookのための 3 次元モデル生成の 3 つについてそれぞれ述べる．

Pro(CPU:2.6GHz Intel Core i5，RAM:8GB 1600MHz DDR3)上でリアルタイムに稼働する．以下それぞれを述べる．
3.1

ペイントエディタのインタフェース

ユーザはまずペイントエディタの左側のキャンバスに絵を描き木目込みデザインを作成する（図 2(a), 図 4）
．木目込
み細工の大きさは縦×横が 5cm×5cm，10cm×10cm の 2 つから選択できる．使用する色は基本色を 12 色用意した．黒はユーザが縁取りをしてしまい木目込みが困難になるようなデザインを制作してしまう可能性が高くなるため使用しないこととした．描くストロークの太さも変更できるが，太さは

図 4 ペイントエディタでのデザイン例

10px 以上に設定した．細すぎるとユーザが細かいデザインを

Fig.4

A design example using a paint editor

制作してしまい，木目込みが困難となったり，3 次元モデル
がうまく生成できなくなったりしてしまうからである．
また，平面を組み合わせた立体的な形状として立方体木目
込み細工デザイン機能を利用することで，6 面それぞれにデザインを行うことができる（図 5(a)）．キャンバスの上下左右にはそれぞれ隣接した面を，向きを合わせて表示している．
ユーザは右上の展開図から編集したい面を選択しキャンバスに表示する面を切り替える．この機能の使用時には 3 次元表示ウィンドウ(図 5(b))に立体デザインが表示されているため，ユーザはこの画面で制作しているデザインが立体になったときの様子を確認しながらデザインを進めることができる．
デザイン絵を描き終えたら，Render ボタンを押して木目込
み後の形状を再現した画像を表示する(図 2(b))．この際，図 6(a) デザイン画面のように 3 次元モデルの生成が困難になるような小さい領域や木目込みが困難になる中央に穴が空いているような領域が存在した場合，アラートを表示しユーザに修正を促す．ユーザは表示された画像を確認し，納得いかない場合はペイン
トツールに戻り修正を行うことができる．図 6 上段の赤い領域のような穴があいた領域に対して木目込みをするためには布の中央に穴をあけ，木目込んでいくことになるが布が足りずにしわが寄ってしまい綺麗に木目込むことができないので
木目込み細工としてはこのようなデザインは避けるのが通例(b) 3 次元表示ウィンドウである．基本的には提示したアラートをもとにユーザがデザ

図 5 立方体木目込み細工デザイン機能

インを再考することを支援するシステムであるが，小さい領

Fig.5 Cube design function for Kimekomi

317

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

3.2.1 木目込み困難な形状の検出機能
システム内部の処理は，ユーザのデザインをビットマップ
データで保存している．Render ボタンが押されたら，まず境界線検出を行う．境界線検出は，図 7(a)のようにデザインしたイラストのビットマップデータから色と色の境界となるピ
クセルを検出し，図 7(b)のようにその境界となるピクセルを
黒，その他のピクセルを白とした画像データを作成する．その後，それぞれの領域 R に対して境界線を検出することで領域の境界線となるループの数を求める（図 7(c)）．図 7(a)右図のようなイラストをデザインした場合には，境界線検出の結図 6 穴が開いている領域

果は図 7(b)右図のようになり，図 7(c)右図の領域 R6 （赤い領Fig.6 Holed area域）に対して境界線をトレースすると外側の境界線の他に 5個の境界線のループが求まり，この領域 R6 には穴があることが検出できる．図 7(d)のようにエラーとして画面に提示し，どの領域が木目込み困難であるかをユーザに示す．図 7 右図の例では領域 R6 に穴があって木目込めない他，領域 R7～R11
は小さくて木目込みが困難であることも提示されている．
木目込みや 3 次元モデルの生成が困難である領域が小さい・領域が細い・領域内に穴が開いているといった形を検出してユーザに提示する．
小さい領域・細長い領域の検出には，
図 8 に提示したアルゴリズムで処理を行った．まず，領域 Rのバウンディングボックスを利用して，バウンディングボッ
クスの縦または横のどちらかの長さがしきい値 tlength より短い場合は，小さいもしくは細長い領域のため木目込みが困難な領域と判定した．
次に領域 R における面積 A (R)と周囲の長さ L(R)を用いて，面積 A(R)がしきい値 tarea より小さいときは
細長い領域であり木目込み困難とみなし，A(R)/L(R)がしきい
値 t より小さい場合には細かい領域であるため木目込み困難と判定した．また，領域 R の周囲を構成する頂点列に対して
2 点間の距離を利用して，図 9 のように，測地線距離が十分にあるにも関わらずユークリッド距離が tlength よりも近い場
合には領域 S に狭い箇所が存在するとして木目込み困難と判定した．これらのしきい値には，実際の木目込みを行った実
験の経験をもとに tlength=5[mm]，tarea=25[㎟]，t=0.6 と設定したが，ユーザが自分の力量に合わせて設定を変更することができる．
また，自動修正モードがオンの場合は，木目込み困難と検出した領域のうち，図 8 の②で面積の小さい領域は接する領
域のピクセルの色のうち最多の色で埋める．また図 8 の③で距離を用いて細いと判定された箇所は外側（細いと判定された 2 頂点間を反発する向き）に太らせることで木目込み可能
な距離を確保する．その結果，別の箇所に穴が発生した場合には再度このアルゴリズムを適用する．これにより木目込み
困難な箇所の一部は自動修正可能となる．ただし，小さな穴図 7 境界線抽出は大きくして残したいのか，周囲の色で埋めてしまいたいの

Fig.7 Boundary line extraction

かが自明ではないため，ユーザの求めているデザインになるとは限らない．

318

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 11 マップ画像と溝の断面図
Fig.11 Map image and cross section of groove

図8

木目込み困難な領域の検出アルゴリズム

Algorithm of detecting difficult areas for Kimekomi work

Fig.8

図9
Fig.9

(a) 正方形 6 面

距離を用いた木目込み困難な領域の検出(b) 本体ボディとほか 4 パーツ

図 12 立方体木目込み細工機能での型の出力

Detection of difficult areas for Kimekomi work using
the distanceFig.12

Output of support structures using cube Kimekomi function

3.2.3 3 次元モデルの自動生成
Save ボタンが押されたら，システムは 3 次元モデル作成に用いるグレースケールのマップ画像を生成する(図 2(c))．2
値画像の状態のマップ画像を使って 3 次元モデルを生成すると尖った角ができてしまい，木目込みを行う際に布が破けてしまうといった問題が発生する．これを防ぐため，マップ
画像にスムージング処理を行い，3 次元モデルを生成した際に角がなめらかになるようにした (図 11)．
生成されたマップ画像を用いて 3 次元モデルを自動生成するとき，マップ画像の色情報から対応する座標のピクセルが

図 10 木目込み後の画像再現機能と推定制作時間の提示

暗いほど彫りが深くなるように表面の座標を決定する．彫りFig.10 Visualization of the resulting Kimekomi products andの深さはマップ画像の値が黒(0)の場合に 5mm とし，白(255)estimated production timeの場合に 0mm(彫りなし)になるよう，その間の値を線形に設定した．また，ちりめん布を使って木目込みを行う想定であ3.2.2 木目込みデザインの再現機能

るため，溝の幅は約 0.8mm に設定した．3 次元モデルは OBJ

木目込みデザインの再現機能では，境界線の情報と事前にファイル形式で出力する．

用意した布テクスチャ画像をもとに，図 10 のような木目込

立方体木目込み細工デザイン機能では生成された 6 枚のマみを行った後の再現画像の生成を行う．陰影は Patchy 6)の手ップ画像を用いて，立方体木目込み細工型の 3 次元モデル法を用いて付加した．この手法では，境界線をもとに各ピク(6cm×6cm×6cm)の生成を自動で行う．まず，マップ画像をセルと境界線の最短距離から疑似的な法線方向を設定した疑立方体のそれぞれの面に適応し溝を作る．この場合，型をそ

似法線マップを生成した後に，その法線を利用して陰影を付のまま 3D プリンタで出力すると，3D プリンタの特性上， 側加することで 3 次元的な陰影を 3 次元モデルなしで再現する

面の溝がうまく造形されず木目込みができない．そのため，ことができる．

319

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

正方形の 6 面（図 12(a)）と本体ボディ・ほか 4 パーツ（図直線のデザインよりも曲線のデザインの方が，制作時間が12(b)）に分けて 3D プリントを行い，造形後に組み立てる方

長くなると予想をしていたが，実際にはヘラで押し込むよう法を採用した．
提案システムでは，
正方形の 6 面を生成する．

に制作していくため，直線か曲線かということでの違いは見44.1

られなかった．同様に角度に関しても尖った点に対して左右

制作時間の推定から押し込むことができるため，尖り具合についてはほとん

制作時間推定のための実験

ど影響しないようであった．1 つの領域を持つ，丸１・花・
四角１・三角の 4 つに着目すると周囲の長さがほぼ一定であ提案システムでは，ユーザへの支援の一つとして，3.2.1 項

り，異なる要素は曲線か直線か，角の有無であるがこれらにのアルゴリズムで求めたデザインの境界線の長さを基に制作

関してはサンプル数が少なく相関は読み取れなかった．式(1)

時間の推定を行う．ペーパークラフトの制作時間推定 11) やにおける定数項（155 秒程度）については，ヘラなどの道具

ぬいぐるみデザインにおける制作時間推定 12) から，木目込を持ったり置いたりする作業に加え，生地を選んで領域にかみ細工の制作時間推定もおよそ領域周囲の木目込みの長さにぶせたり，生地をざっくりと領域の大きさに切る時間と考え比例すると考えた．現実には，推定制作時間と実際の制作時られる．また，ヘラで溝に糊を塗ったあと，同じヘラで布の間には個人差が発生するため，初心者・中級者・上級者の 3

上から木目込みを行っていくため，ヘラについた糊をふき取段階の能力別で提示できるようにすることにした．

る作業が発生する．さらに型の溝以外の領域の面にも糊がつ

木目込みにかかる時間を推定するために，実験参加者は図13 に示す 8 種類の型(丸 1，丸 2，丸 3，花，四角 1，四角 2，
四角 3，三角)に木目込みを行い，かかった時間を計測した．
8 種類の型は全て木目込みの距離(溝の長さの合計)がほぼ一が変わってしまうため，それを防ぐためである．この作業の時間も定数項に含まれていると考えられる．

定(100mm)になるよう設定した．型の詳細を表 1 に示す．領
域数は木目込みを行う領域の数を表している．
実験参加者は，
4 名(20～29 歳)であった．
4.2

いた場合には，その糊をふきとる作業が必要である．これは面についてしまった糊がちりめん布に染みると固くなって色

4.3

実際の制作時間との比較と考察

制作時間推定の精度を調べるために，実際に作成したデザ

実験結果

インから制作時間を推定し，そのデザインの型に著者が木目込みを行って時間を計測した．制作したデザインを図 15 に4 人の実験参加者による実験の結果を表 2 に示す．表 2 の示す．推定された制作時間は 31 分 15 秒であったが，実際に各セルの下段に計測時間を領域数 r で割った値を示した．複かかった時間は 38 分 12 秒だった．推定と実際の制作時間に数の領域がある図形に関しては領域数で割った長さ及び計測

約 7 分の誤差があった．この誤差は手先の器用さのような個時間を利用して，領域ごとに制作時間と木目込みの長さの関人の力量の差から生まれているのではないかと考えた．推定係をみたところ，図 14 のように強い正の相関関係（相関係には実験参加者 4 人の制作時間の平均を利用しているが，4数 0.967）があることがわかった．この結果から，式(1)を用人それぞれのデータを見ると, 制作が速い人と遅い人に分か

いて木目込みの長さから推定制作時間を算出し，それらの合れているのがわかる(図 14)．

計でデザイン全体の制作時間を算出して提示した．
௥

制作時間 s  2.094 ௞  155.62

(1)

表 1 型の詳細

௞ୀଵ௞ :領域 k における木目込みの長さ(mm)Table 1r:領域数

図 13 型のパーツ
Fig.13 Parts of support structures

320

Support structure details

木目込みの

領域数

丸1

1

99.1

0

99.1

丸2

2

98.4

0

49.2

丸3

3

97.9

0

32.6

花

1

98.3

4

98.3

四角 1

1

97.9

4

97.9

四角 2

2

96.2

8

48.1

四角 3

3

94.5

12

31.5

三角

1

97.4

3

97.4

長さ[mm]

角の個数

領域ごとの木目型名込みの長さ[mm]The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

表 2 実験結果 (秒)Table 2The experiment results (seconds)

実験参加者

丸1

丸2

丸3

花

四角 1

四角 2

四角 3

三角

実験参加者 A

276.0

394.0

502.0

347.0

316.0

354.0

469.0

267.0

(時間／領域数)(276.0)(197.0)(167.3)(347.0)(316.0)(177.0)(156.3)(267.0)

実験参加者 B

397.0

642.0

871.0

405.0

432.0

698.0

917.0

498.0

(時間／領域数)(397.0)(321.0)(290.3)(405.0)(432.0)(349.0)(305.7)(498.0)

実験参加者 C

328.0

446.0

659.0

418.0

290.0

486.0

542.0

356.0

(時間／領域数)(328.0)(223.0)(219.7)(418.0)(290.0)(243.0)(180.7)(356.0)

実験参加者 D

407.0

589.0

744.0

376.0

396.0

523.0

630.0

268.0

(時間／領域数)(407.0)(294.5)(248.0)(376.0)(396.0)(261.5)(210.0)(268.0)4 人の平均

352.0

517.8

694.0

386.5

358.5

510.3

639.5

347.3

(時間／領域数)(352.0)(258.9)(231.3)(386.5)(358.5)(255.2)(213.2)(347.3)

参加者A
参加者C
4人の平均

参加者B
参加者D
線形 (4人の平均)

600

制作時間（秒）

500
400
300

(a)デザイン(b)制作した木目込み細工

推定 31 分 15 秒

実測 38 分 12 秒

図 15 制作したデザイン
200

Fig.15y = 2.094x + 155.62
R² = 0.9672

100

An original Kimekomi design using our system

0
0

20

40

60

80

100

120

領域ごとの⽊目込みの⻑さ(㎜)
図 14 制作時間と領域ごとの木目込みの長さの関係
Fig.14 Relationship between production time and length per region

制作時間の誤差が生じる問題を解決して制作時間推定の精度を上げるために，初心者・中級者・上級者と 3 段階の能力
別に時間を提示することとした．初心者は実験に参加したユーザの中で最も時間がかかっていたユーザの制作時間，中級者は実験に参加した 4 人のユーザの制作時間の平均，上級者
は最も時間が短かったユーザの制作時間を参考にし，提示する時間を決定した．また，個人差により誤差が生じることか
ら秒までは提示せず，分までの提示とすることにした．

5.
5.1

図 16

ユーザスタディの結果と考察

Fig.16

デザインのユーザスタディ

提案システムで制作された平面デザイン

Planar Kimekomi designs using our system

平面デザインで作成したものを図 16 に，立方体木目込み

提案システムを利用して 5 人のユーザが木目込み細工のデ細工機能で作成したデザインを図 17 に示す．

ザインを作成した．
5 人のユーザは，
23～25 歳の学生である．

321

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

表 3 ユーザスタディの質問一覧（平面，立方体共通）
Table 3 List of user study questions (common to planar and cube)
Q1

デザインにかかった時間を教えてください．

Q2

システムは使いやすかったですか．

Q3

再現画像を見た後にデザインの手直しを行いましたか．

Q4

完成形を想像しながら制作することができましたか．

(自由記述)(1．使いにくかった ‒ 5．使いやすかった)(した，してない)(1．できなかった ‒ 5．できた)Q5

推定制作時間を見た後にデザインの手直しを行いましたか． (した，してない)Q6

制作時間を考慮しながら制作しましたか．

Q7

思い通りのデザインを制作することができましたか．

Q8

このツールをまた使いたいと思いましたか．

(1．考慮しなかった ‒ 5．考慮した)(1．できなかった ‒ 5．できた)(1．思わない ‒ 5．思う)

5.1.2 立方体デザインの結果と考察
立方体デザインのアンケート結果を表 5 に示す．こちらは平面デザインと比べると全体的に評価が低くなっている．システムが使いやすかったかという質問に対し，平面では全員が「どちらかといえば使いやすかった」と答えていたが，立体では変わらずに「どちらかといえば使いやすかった」と答

図 17 提案システムで制作された立方体デザイン

えているユーザは 1 人のみで，他は「どちらともいえない」

Fig.17 Cube Kimekomi designs using our systemと答えたユーザが 3 人，「使いにくかった」と答えたユーザが1 人という結果になった．制作時間に関しても，全員が制作

ユーザスタディでは，初めに平面デザインを試したあとに時間をほとんど考慮していないという結果になった．制作時

立方体木目込み細工機能を利用した．事前にシステムの扱い

間を見た後にデザインを変更したユーザはおらず，制作時間方を説明し，作業中にわからないことがあった場合は適宜質問に応じた．
デザインを描く際はペンタブレットを使用した．
システムを利用しデザインを制作した後に，アンケート記入を考慮したかという質問に対しても「考慮しなかった」と答えたユーザが 3 人，
「どちらかといえば考慮しなかった」と答を依頼した．アンケートの質問項目を表 3 に示す．

えたユーザが 2 人であった．

5.1.1 平面デザインの結果と考察

ムが生成する再現画像が 6 面分あるため，平面デザインに比立方体デザイン機能は，ユーザが行うデザインや，システ
べて再現画像を表示するまでに時間がかかる．図 1 のデザイ

平面デザインのアンケート結果を表 4 に示す．システムがンの場合，再現画像の生成にかかる時間は図 1(a)が約 8 秒，

使いやすかったかという質問に対し全員が「どちらかといえ

図 1(b)が約 97 秒である．また，デザインに問題がありアラー

ば使いやすかった」と答えていた．また，完成形を想像しやトが出る場合も 6 面すべてを同時にチェックし表示するため，すかったかという質問に対しても「どちらかといえば想像で直すのにかなり手間がかかってしまう．そのため，一度デザきた」と答えたのが 3 人で，他 2 人は「想像できた」「どちらともいえない」と答えた．木目込み後の再現画像に関して，「綺麗に見えて満足した」などの肯定的な意見があった．

インができあがった時点で満足しているユーザがほとんどだった．リアルタイム性を向上することでより試行錯誤を促す

一方で制作時間に関しては，ほとんどのユーザが制作時間

ようなシステムになる可能性がある．

をあまり考慮していなかったという結果となった．これは，

5.2 デザイン及び制作のユーザスタディ

比較対象が存在しなかったため，作成したデザインの制作時初心者として子どもを対象に，デザイン及び制作まで含め間が長いのか短いのかについてわかりづらかったことや，今たユーザスタディを行った．参加した子どもは 5 歳，9 歳，

回はデザインした木目込み細工を実際に制作する過程まで行

11 歳で，平面デザインを使用し，複数のデザインを行った．

わなかったため制作時間を気にしなかったユーザが多かったからと考えられる．

322

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

デザインへと修正を行っていた．その結果，図 18 のデザイン

表 4 平面デザインのアンケート結果

2 のような予想時間 40 分のデザインを作ることにした様子でTable 4 Questionnaire results of planar design
Q1

あった．

ユーザ A

ユーザ B

ユーザ C

ユーザ D

ユーザ E

14 分

8分

11 分

6分

31 分

制作の様子は予想時間を知っていることからどの子ども

Q2

4

4

4

4

4

もタイムアタックのような様子も見られたが，あらかじめ提

Q3

した

した

した

した

してない

示してある予想時間よりも早く完成したときには喜び，過ぎ

Q4

3

4

4

5

4

てしまったときの制作時間は 1.2 倍程度ですんでいた．個人

Q5

してない

してない

した

してない

してない

差はあるものの，一人に着目したときの複数デザインに対す

Q6

2

1

5

2

1

Q7

3

4

4

4

5

Q8

4

4

4

2

5

る相対的な指標としては十分使えることが示せた．
また，実際に使いたい柄のちりめんを持っていた場合には布をスキャナで取り込むことで再現画像を提示することもできる．図 20 にユーザ G が使いたい布（図 20 a）をスキャンして再現画像を描画させて検討した例を示す．木目込み細工

表 5 立方体デザインのアンケート結果の型が 5cm 四方では図 20(b)のようになってしまい，これはTable 5 Questionnaire results of cube design
ユーザ A

ユーザ B

ユーザ C

ユーザ D

ユーザ E

Q1

50 分

55 分

44 分

50 分

1 時間 20 分

Q2

3

3

3

1

4

Q3

してない

した

してない

した

してない

Q4

4

3

3

5

2

Q5

してない

してない

してない

してない

してない

Q6

2

1

2

1

1

Q7

3

4

2

4

4

Q8

4

2

2

2

2

布を見ながら思い描いていたものと違ったようであった．
10cm 四方にしたところ図 20(c)のような再現画像になったが，今度は制作時間が長くなってしまった．悩んだ結果，5cm 四方で作る方針に決め，図 20(d)のように手持ちの他の布をスキャンさせて再現画像をいろいろとテストし，図 20 (e)の布を選択して制作することとした．制作した結果が図 20(f)である．
柄付きの布を使用する際にも試行錯誤をシステム内でできることで，布を見たり，型にあてたりするだけではイメージしづらかった設計段階のデザイン支援を行うことができた．

6.

まとめと今後の課題

この結果を図 18 に示す．制作予想時間については特に指本論文では，初心者でも簡単にオリジナルデザインの平面

示はしなかったがすべて初心者の欄を見ていたようである．

や立方体の木目込み細工を制作できるデザイン支援システム

システムは通常のペイントソフトのように使えるため，使の提案を行った．3 次元モデルの生成をシステムが自動で行用方法のレクチャーはほとんど必要なく，自由に絵を描いて

い，3D プリンタを利用することで，コンピュータに詳しくいた．マウスで絵を描く子どももいればペンタブレットを用ないユーザや，木目込み細工の制作経験がないユーザでも簡いて描く方を好む子どももいた．制作は 3 次元プリンタでの

単にオリジナルの木目込み細工の型を制作することが可能に

出力時間（およそ 1 つあたり 1 時間半～2 時間）が必要であなり，実際に木目込み細工を簡単に作ることが可能になるこるため，一人につき 1 日 1 つの制作として全体で数日間にわとを示した．従来であれば木目込み細工制作では木目込みしけてデザイン及び制作を行った．デザイン１の制作まで終わた後の様子は設計段階では想像するしかなかったが，本シスったあとに，次のデザインを行うといった手順で行った．

テムを利用することで制作前に可視化することができ，デザ

デザイン過程では小さな領域や穴のあいたデザインは木

インの試行錯誤が可能になる．

目込みが困難だというシステムの提示を見て，自然と避ける

現状のシステムでは，自動修正モードを利用した際に検出ようになっていった．例えば，ユーザ F はデザイン 1 のひよされた小さな穴に対して，大きくして他の領域に分割線を入

この背景を分割するときにはどのようにしたらよいのかわかれることで残したいのか，周囲の色で穴を埋めてしまいたい

らずユーザ H のデザイン 1 の背景分割を参考に分割していのかなどデザイン修正の方法は自明ではない．例えば，図 21

たが，翌日以降のデザイン 2 及びデザイン 3 では自然とキャのような場合には背景を分割することで解決が可能である．

ンバスの端に雲や傘をくっつけるようにして穴が空かない分

従来であれば木目込み細工制作では木目込みした後の様子は割になるようなデザインを行っていた．ユーザは提示される

設計段階では想像するしかなかったが，本システムを利用す

制作時間をかなり参考にしながらデザインの検討を進めていることで制作前に可視化することができ，デザインの試行錯た．図 19 に，図 18 のユーザ G（デザイン 2）のデザイン過誤が可能になる．

程の様子を示す．20 分程度の予想時間が表示されると簡単すより便利なシステムになる方向性として，いくつかの修ぎると判断しもう少し複雑なデザインに変更していたが，50

正例をシステムが自動で生成して修正候補として複数の画像分を超えると時間がかかりすぎると判断してもっと簡易的なをユーザに提示することはできるだろう．一方で，デザイン

323

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 18

本システムを用いてデザイン及び制作したオリジナルな木目込みデザイン
Fig.18

Original Kimekomi designed and produced using our system

図 20
図 19

制作予想時間を見ながらデザインの試行錯誤をする例

Fig.19

Examples of trial and error design considering estimation

Fig.20

画像を取り込み再現画像を確認し制作した例

Example of design by scanning a cloth and checking theresulting imagetime
支援システムとしてはユーザ自身の試行錯誤を妨げるような，“支援をしすぎること”も避けるべきである．よって，これうため，その部分の布をはさみでさらにひと手間切るなど処理が必要な時間が発生していた．今後，ストロークの特徴点
抽出などを用いて，布の処理にひと手間加えないといけない

らの機能を検討する場合にはどこまで支援すべきかを検討し箇所を算出することでより正確な制作時間を提示できる可能ていく必要がある．

性がある．その他，木目込みデザイン及び対応する制作時間

また，制作時間推定についてはユーザ G のデザイン 3 やユが大量にデータとして取得できるとすればその結果を用いてーザ H のデザイン 1 などのように，デザインの中で角や曲線機械学習などを用いて時間の予測が可能になると考える．

のカーブが急な部分があると，その周囲の布があまってしま

324

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(2017).
10) E. Iarussi, W. Li, A. Bousseau: “WrapIt: Computer-Assisted Crafting ofWire Wrapped Jewelry”, ACM Trans. on Graphics, Vol. 34, No. 6, pp.
221:1–8 (2015).
11) 三谷純: “計算機による立体紙模型の設計支援に関する研究”, 東京大学大学院工学系研究科 精密機械工学専攻 博士論文 (2003).
図 21
Fig.21穴として検出された後の修正が自明でない例

12) Y. Igarashi, T. Igarashi: “Pillow: Interactive Flattening of a 3D Model for

An example requiring redesign after being detected as a

Plush Toy Design”, Smart Graphics, Vol. 5166, pp. 1–7 (2008).

hole（2020 年 3 月 27 日 受付）（2020 年 6 月 11 日 再受付）

さらに，現状のアルゴリズムでは，同じ色の領域同士が隣り合っている場合，一つの領域と認識するため溝が生成され伊 藤 謙 祐ないが，木目込み細工の特徴の一つとして，溝の形を変える

2018 年 明治大学総合数理学部先端メディ
アサイエンス学科卒業．2020 年 同大学先端理工学系研究科先端メディアサイエンス専
攻修了．在学中，インタラクティブコンピ
ュータグラフィックスに関する研究に従事．

ことで様々な表現ができるという点が挙げられる．今後はこういった木目込み細工ならではの多様な表現を，コンピュー
タグラフィックスを利用して支援していきたい．また任意の立体形状を対象として立体木目込み細工を支援できる手法を考案したい．

謝 辞

五十嵐 悠紀ユーザ実験に協力してくださった皆様，助言をいただいた中島萌子氏に感謝する．
本研究は，JST さきがけ（JPMJPR16D1）の支援を受けたものである．

参考文献
1) 二世金林真多呂，初めての木目込み人形，成美堂出版 (1994)．
2) 弓岡勝美，弓岡勝美の手芸図鑑Ⅷ ちりめんで作るお細工物，日本ヴォーグ社 (2012)．
3) Y. Mori, T. Igarashi: “Plushie: An Interactive Design System for PlushToys”, ACM Trans. on Graphics, Vol. 26, No. 3, pp. 45:1–8 (2007).
4) Y. Igarashi, T. Igarashi, J. Mitani: “Beady: Interactive Beadwork Design
and Construction”, ACM Trans. on Graphics, Vol. 31, No. 4, pp. 49:1–9(2012).
5) M. Coahran, E. Fiume: “Sketch-Based Design for Bargello Quilts”, Proc.
of Eurographics Workshop on Sketch-Based Interfaces and Modeling2005，pp.165–174 (2005).
6) Y. Igarashi, J. Mitani: “Patchy: An Interactive Patchwork Design
System”, Proc. of ACM SIGGRAPH 2015 Posters, Article No.10(2015).
7) E. Miguel, M. Lepoutre, B. Bickel: “Computational Design of Stable
Planar-Rod Structures”, ACM Trans. on Graphics, Vol. 35, No. 4, pp.
86:1–11 (2016).
8) J. Zehnder, S. Coros, B. Thomaszewski: “Designing Structurally-Sound
Ornamental Curve Networks”, ACM Trans. on Graphics, Vol. 35, No. 4,
pp. 99:1–10 (2016).
9) W. Chen, Y. Ma, S. Lefebvre, S. Xin, J. Martinez, W. Wang: “Fabricable
Tile Decors”, ACM Trans. on Graphics, Vol. 36, No. 6, pp. 175:1-15

325

（正会員）
2010 年 東京大学大学院工学系研究科博士課程修了．博士（工学）．日本学術振興会特別研究員 DC2, PD, RPD を経て 2015 年より
明治大学総合数理学部先端メディアサイエ
ンス学科専任講師，2018 年より同准教授．
コンピュータグラフィックス及びユーザイ
ンタフェースに関する研究に従事．著書に『AI 世代のデジタル教育 6 歳までにきたえておきたい能力 55』(河出書房新社)，『スマ
ホに振り回される子 スマホを使いこなす子』（ジアース教育新社）など．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）-- ビジュアルコンピューティング特集 --深層学習を用いた点入力と特徴補間による植物の動画像生成
山 下 祐 貴† 森 本 有 紀†（正会員）†九州大学

PoPGAN : Points to Plant Translation with Generative Adversarial Network
Yuki YAMASHITA†, Yuki MORIMOTO† (Member)†Kyushu University〈あらまし〉 本研究では，画像の内容を指定する簡単な点入力から写実的な植物の画像やアニメーションを生成する深層学習モデルの構築を行う．従来の深層学習による画像生成では，生成のための入力データと出力される画像とが画素単位で 1 対 1 に対応する必要があったため，ラフな入力が難しいほか，アニメーションを生成するために大量の入力データが必要であった．また，画像の特徴量を抽出・操作して画像を連続的に変化させる手法では，植物の画像生成において細部まで鮮明に表現された高品質なアニメーションを得ることが難しい．本研究では，点ラベル画像を入力とし，2 つの段階からなる深層学習モデルを用いる．これによって，少ない学習データからの質の高い画像生成や，植物が滑らかに変化するアニメーションを生成できる．本手法で生成した画像の定量的評価では，既存手法に比べて鮮明で，葉の配置や植物全体の大きさなど外見的特徴に偏りの少ない，高品質の画像およびアニメーションが得られることがわかった．
キーワード：画像生成, アニメーション生成, 深層学習, 点入力, 特徴補間
<Summary> In this study, we construct a deep learning model that generates realistic images and animations of plants from
simple point inputs that specify the contents of images. In conventional image generation by deep learning, a rough input may
be difficult because the input and output images need to correspond one-to-one for each pixel. In addition, a large amount of
input data is required to generate an animation. On the other hand, by extracting and manipulating attributes of the image forcontinuously changing an image, it is difficult to obtain a high-quality plant animation in which details are clearly expressed. In
this study, we construct a two-stage deep learning model using point labels as input. As a result, high-quality images andanimations that plants smoothly change can be generated from a small amount of learning data. Our quantitative evaluation
showed that high-quality images were obtained that were clearer and less biased in appearance attributes such as leaf
arrangement and the size of the plant.
Keywords: image generation, animation generation, deep learning, point input, feature interpolation

1.

るアニメーションを生成するには，内容が少しずつ異なる複はじめに数のラベルを作成し，入力する必要がある．また，そのように生成した画像が自然な連続性を持つには，入力するラベル

近年，深層学習を用いた画像生成に関する手法が盛んに提画像が連続的に変化するよう考慮する必要がある．

案されている．一部の手法では画像を無作為に生成するので他の従来手法では複数のラベル画像からそれぞれの特徴をはなく，ユーザによる数値やラベル画像の入力によって生成表す潜在変数を計算し，それらを補間することで，動画像生する画像の内容物の数や配置などの指定が可能である．例え成が可能である．しかし，このような手法では高解像度の画ば，画像中の人など特定の対象物の数をユーザが数値で入力したり，各対象物に対応する色や形を指定したラベル画像を像を得ることが困難であり，表面の模様など細部が鮮明に表を生成する．一方で，同様のラベル画像から内容に変化のあ

要な例として植物に着目し，簡単な点入力によって，植物の入力することで生成する画像内容の詳細な指定が可能である． 現された動画像の生成には向かない．
本研究では，細部まで鮮明な動画像の生成が求められる主これらの手法の殆どはラベル画像に対応する 1 つの静止画像

326

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

位置や葉の配置などの内容を指定する．また，画像の輪郭情生成する画像の内容を入力のカラーラベルで指定し鮮明な画報と細部の詳細情報とを分けて生成する 2 段階の深層学習モ

像を生成する．高品質の画像を得るためには，ラベルは生成デルを提案する．本手法では，1 枚の点ラベルからの画像生対象と近い形状であることが望ましく，しばしば入力が煩雑

成だけでなく，2 枚の点ラベルから補間による植物の動画像になる．また，アニメーションの生成には配置が少しずつ異生成を行う．これによって，植物の生長アニメーションなどなる多数のラベルの用意が必要で，大きな手間がかかる．

の生成が可能である．また，比較的少数の学習データから植本研究では点入力によりラベルを簡単に作成でき，2 つの物の茎や葉の模様などの詳細部分を再現できると同時に，植ラベルを用いることで滑らかなアニメーションを生成できる物の大きさや葉の配置，模様などの外見における多様性のあようにした．

る動画像生成を実現する．

2.

2.4 本研究が目指す新規性

関連研究

本研究が目指す主な新規性として，従来の VAE では困難で

本 研 究 の 前 提 と し て ， Generative Adversarial Networks

あった画像細部の鮮明な表現能力，cGANs では行えなかった(GANs)及び Variational Auto Encoder (VAE)の構造をベースと簡単な点ラベル画像の入力による連続的に変化する植物アニ

して組み合わせた 2 段階からなる深層学習モデルを構築する． メーションの生成能力とが挙げられる．

3.

2.1 Generative Adversarial Networks (GANs)
GANs 1) は ， 学 習 デ ー タ に 類 似 す る 画 像 を 生 成 す る

本手法

目的とする植物の画像を得るために，複数個の点によりラGenerator と，学習データの画像と生成画像を見分ける

ベルを与える，点ラベル画像(3.1 節)を作成する．次に，Discriminator により画像を生成するもので，データに応じた

Encoder (3.4 節)によって点ラベル画像から特徴量を抽出し，幅広い対象に適用できる．

これを用いて Decoder (3.5 節)によって位置や形状など，植物

GANs では通常，学習データに基づく新しい画像を乱数なの輪郭情報を持った中間画像を得る．最後に，Generator (3.6

どから無作為に生成するが，conditional GANs (cGANs) 2)と呼節)によって中間画像から葉の模様や細部の色など，詳細情報

ばれる一部のモデルでは，数値 3)または，カラーラベルによを含む出力画像を得る．なお，本手法で扱う学習データ及びり画像に含まれる物体の数や配置を具体的に設定できる 4) ~ 6)． 入力の点ラベル画像，出力の植物画像はいずれも RGB の 3
その 1 つである AriGAN 3)は数値入力で指定した数の葉を持チャンネルを持つ 256×256 の画像である．
つ植物の画像を生成できる．これに対し，本研究では葉の数以外にも葉の位置や大きさなどの様々な内容を，入力で指定

3.1 点ラベル画像

できるようにした．

深層学習モデルへの入力として，黒背景に白で点と線を表した 1 枚の画像を点ラベル画像として使用する（図 1 左部）．

2.2 Variational Auto Encoder (VAE)

点ラベル画像では，植物の葉及び根元の位置を白い 9×9 ピ

VAE 7)では Encoder, Decoder の 2 つの深層学習モデルを用い

クセルの円で表し，葉と根元は白線で繋ぐ．また，入力の点て画像を特徴量パラメータに変換する．Encoder では画像を

ラベル画像と出力の植物画像のデータ次元数を合わせる目的

特徴量に変換し Decoder は特徴量から元の画像を復元する．

で，点ラベル画像を 3 チャネルに設定している．各チャネル

特徴量は Encoder と Decoder の間の層で複数の数値からなるの値は，1 チャネルの白黒画像における画素値を複製する．

潜在変数として表され，潜在変数の操作により，画像内容をアニメーションのように連続的に変化させることができる．

3.2 ネットワーク概要

VAE では解像度の高い画像を鮮明に生成することは困難で本手法では VAE の構成をベースとする Encoder，Decoder

あったが，IntroVAE 8)では Encoder と Decoder を GANs と同様と，GANs をベースとする Generator を組み合わせた，2 段階に敵対的に学習させ，ある程度改善している．従来の VAEの深層学習モデルによるネットワークを構築する（図 1）．

では入力と同じ画像を生成するが，一部の手法 9)では入力と植物の動画像を生成する際には，まず Encoder により点ラ

出力とで異なる画像を扱う．本研究では，点入力により作成

ベル画像を潜在変数に変換する．潜在変数はラベルで示したした点ラベル画像から，写実的な植物の画像を生成すること目的の植物画像における潜在変数と一致するよう学習する．

を目指した．

次に Decoder により潜在変数から植物の輪郭情報を表現した
中間画像を生成し，Generator により中間画像から細部の詳細

2.3 Image to image translationが表現された画像へと変換し，目的の植物の画像を得る．

Image to image translation は画像を入力として異なる内容の

なお，Encoder と Decoder からなる部分（図 1 左部）と，

画像へと変換を行う手法である．pix2pix 4)や CycleGAN 5)をはGenerator の部分（図 1 右部）とは，別々に学習を行う．

じめとする，これを行う代表的な cGANs の手法 4) ~ 6)では，

327

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 1 2 つの段階からなる深層学習モデル
Fig. 1 Two-stage deep learning model(a) Encoder 及び Decoder の構成図（図中の数字は各層における次元数）(b) 学習用データセット

図 2 ネットワーク構成及び学習用データセット
Fig. 2 Configuration of network and learning dataset

3.3 学習データセットの作成

アニメーションの生成を行う際には，そのアニメーション

本手法の学習データを，783 枚のシロイヌナズナの画像かにおける変化前と変化後の植物を示す 2 つの点ラベル画像をらなる公開データセットである CVPPP LCC 2017 plant

与え，それぞれから得た潜在変数を Decoder へ入力する．
次に Encoder の学習について述べる．Encoder は自作デー

Dataset (CVPPP データセット) 10)をもとに作成した．
背景付きのシロイヌナズナの画像，その植物部分を白色とタセットの点ラベル画像と対応する植物画像を入力及び正解したマスク画像，その一つ一つの葉の中心位置情報を含む．

画像として学習する．学習は Decoder (3.5 節)と一緒に行う．

点ラベル画像の学習データセットは，CVPPP データセット

入力画像 x，x から取り出される特徴量と潜在変数の関係は，次の式(1)で示される．

の点の位置情報の位置に点を，各点と根本の位置に線を描画し，作成する(図 2(b)上部)．対応する目標画像は，マスク画

   

像を用いて背景を削除した植物画像とする (図 2(b)中部)．中



(1)

間画像は，植物部分の輪郭情報のみを持つ画像であるため，

ここで及び は Encoder が入力画像 x に応じて出力す

前述のマスク画像を用いる(図 2(b)下部)．このように作成しる値であり，それぞれに対応する潜在変数の分布におけるた全 783 枚の自作データセットをモデルの学習に使用した．

平均及び分散を意味している． は正規分布 0,1から取り出される，の分散を再現する係数である．

3.4 Encoder

入力となる点ラベル画像及び植物の中間画像のそれぞれ

Encoder（図 2(a)上部）では点ラベル画像から特徴量を抽出から抽出される潜在変数の分布を近づけるように，次の式(2)し潜在変数に変換する．
本手法では潜在変数は 32 次元に設定に示すような目的関数を設定し，これを最小化するような入し，点ラベル画像の配置に関する特徴量を表す潜在変数が，力画像から潜在変数への変換を求める．

その点ラベル画像に対応する植物画像の外見的特徴に関する
特徴量を表す潜在変数と一致するよう学習する．

328

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 3 Generator 及び Discriminator の構成図（図中の数字は各層における次元数）
Fig. 3 Configuration of Generator and Discriminator (the numbers in the figure are the number of dimensions in each layer)ℒ௘௡௖ 
௫   ௬   ௘   ௥   ௘ ‖  ௥ ‖ଶ

持った中間画像を入力として，色の濃淡や葉の模様の詳細情(2)報を含む目的の植物画像を得る．GANs の構造をベースし，本物の画像と生成画像を識別して Generator にフィードバッ

このとき，௫ は点ラベル画像，௬ は対応する植物の中間画

クする Discriminator（図 3 右部）を用いた敵対的学習を行う．

像から式(1)によりそれぞれ抽出した潜在変数，௥ は接続されアニメーション生成を行う際には，Decoder に，Encoder にた Decoder によって௫ から生成した中間画像，௥ は௥ から再入力した 2 つの点ラベル画像に対応する画像を補間する潜在び抽出した潜在変数である．は௬ の抽出に用いた植物の中

変数を入力して，各フレームの植物画像を生成する．この連

また，
間画像，
α௘ ，௘ ，は学習時の設定パラメータである．

続画像により，植物のアニメーションを作成する．

は Kullback Leibler distance と呼ばれ，2 つの確率分布間

次に Generator，Discriminator の学習について述べる．自作における差異の大きさを求める指標を用いて，の分布と標

データセットの中間画像を入力画像，植物画像を正解画像と準正規分布 0,1との距離を算出するものである．

し，Generator の学習を行う．Generator, Discriminator はそれぞれ，以下の式(4)及び式(5)に示す目的関数を最小化するような，

3.5 Decoder

中間画像から植物画像への変換を求める．

Decoder（図 2(a)下部）では Encoder によって点ラベル画像
から抽出した潜在変数を入力として，目的とする植物の輪郭ℒ௚௘௡  ௚  ௙   ௚ !!"௧ ，௙ ℒௗ௜௦   ௧   1  ௙ 

形状のみを表現する中間画像を出力する．

(4)
(5)

アニメーションの生成を行う際には，2 つの点ラベル画像
から Encoder によって得たそれぞれの潜在変数を線形補間し， ௧ は自作データセットの正解画像，௙ は Generator によって生アニメーションにおける各フレームの植物画像に対応する潜成した画像，௚ ，௚ は学習時の設定パラメータである． #

在変数を得る．次に，補間により得られた潜在変数からは Discriminator により画像#を識別した結果であり，0 から 1

Decoder により中間画像を生成し，Generator に入力する．

の間で本物に近いほど大きい値となる．!!"#，$は，画像

次に Decoder の学習について述べる．Decoder の学習は，
Encoder(3.4 節)と接続した状態で同時に行われる．学習時にの評価指標の 1 つである structural similarity (SSIM) 11)によって算出した#，$の画像における類似度である．

は，Encoder によって抽出した潜在変数 と，標準正規分布

4.

N(0,1)から取り出した点ラベル画像と同じ次元の潜在変数を結果

3.3 節に示した自作データセットを使用し，本手法の深層それぞれ入力として中間画像の生成を行う ．このとき，どちらの生成画像も目標の植物画像の特徴量分布に近づくように， 学習モデルによる動画像生成の検証を行った．なお，自作データセットに含まれるデータのうち 9 割をモデルの学習デー
式(3)に示す目的関数を最小化するような潜在変数から中間
タとし，残りをテストデータとして検証に使用した．実装は

画像への変換を求める．

PyTorch で行い，学習に NVidia Tesla P100 GPU を使用した．
ℒௗ௘௖  ௘ ௥   ௣   ௘ ‖  ௥ ‖ଶ

学習のパラメータ設定は௘  1.0, ௘  10.0,   120, ௚ 

(3)

1.0, ௚  10.0とし，学習率は 0.0002，学習回数は 100,000epochに設定した．また，点ラベル画像を用いた生成では structural

௣ は標準正規分布 0,1から取り出した潜在変数と同じ 32
次元のパラメータから Decoder によって生成した中間画像か

similarity (SSIM) 11)及び Fréchet Inception Distance (FID) 12)によら，Encoder により再度抽出した潜在変数である．この目的る定量的評価を行い， pix2pix との比較を行った．

関数によりあらゆる潜在変数の値を何らかの植物画像の特徴

4.1 点ラベル画像を用いた生成に結びつけ，生成画像の連続的な補間を可能にする．

点ラベル画像を用いた本手法による生成画像の再現性を検証する．本手法及び pix2pix にテストデータの点ラベル画

3.6 Generator

像を与えた結果を図 4(a)に示す．なお，pix2pix の場合においGenerator（図 3 左部）では Decoder で生成した輪郭情報を

329

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）(a) 点入力による生成(b) 補間による生成
図 4 生成結果
Fig. 4 Generation resultsても自作データセットを用いて学習を行い，同様に点ラベル

5.

画像を入力として与えることで結果画像の生成を行った．

まとめ

定量評価の結果，本手法では SSIM=0.907, FID=142.595，

本研究では，学習データに基づいて，簡単な点入力から写pix2pix では SSIM=0.855, FID=162.565 となった．このように実的な植物の動画像を生成する深層学習モデルを提案した．

定量評価で SSIM におけるより高い類似度と FID におけるよ

生成画像とその定量的評価から，従来手法に比べより本物にり小さい距離を達成したことにより，本手法では pix2pix よ

近い鮮明さを持ち外見的特徴に偏りの少ない多様性のある画

り鮮明で多様性のある画像生成を行えるといえる．

像の生成ができることを示した．また， 2 つの点ラベル画像

pix2pix より良い結果が得られた理由として，本手法では 2間の補間による動画像生成を行えることを示した．本手法の段階のモデルを用いて，点ラベル画像から写実的な植物画像

特徴補間は植物種などを指定した画像生成により，画像数のを生成する問題を，輪郭など高レベルの特徴生成と模様など少ない植物データセットの効果的なデータ拡張に応用可能で細部の特徴生成という 2 つの個別の問題に分割していることあると考えられる．

が考えられる．これにより各モデルが学習する特徴の種類を将来課題として，生成したアニメーションの時間方向に関絞ることができ，特に 2 段階目のモデルにおいて植物の詳細する変化の自然さについての評価を行うことが挙げられる．

部分の再現に最適化した学習ができていると考えられる．

また，学習データセット及び点ラベル画像を改良し異なる品

また，本手法では Generator の損失関数に SSIM を導入する

種の植物を生成したり花の配置などの植物の葉以外の内容をことで単純な画素値における差分の大きさではなく人間の主指定できるようにすることで，より多様な植物の画像生成を観により近い類似度を考慮することができ，細部までより自行うことなどが挙げられる．

然な画像を再現できたといえる．
また，入力の点ラベル画像に関しては，茎にあたる部分に参考文献

線を入れることで画素値における情報量が大きくなり，目標

1) I. Goodfellow, J. P. Abadie, M. Mirza, B. Xu, D. W. Farley, S. Ozair, A.

の植物画像における画素値に近づくために学習が安定する．

Courville, Y. Bengio: “Generative Adversarial Nets’’, Proc. of Neural

また，潜在的に葉と根元の識別やそれらの連結関係の学習がInformation Processing Systems, pp.2672–2680 (2014).

行われたことが，精度の向上につながっていると考えられる．

2) M. Mirza, S. Osindero: “Conditional Generative Adversarial Nets’’,arXiv preprint arXiv:1411.1784 (2014).

4.2 補間による生成

3) M. V. Giuffrida, H. Scharr, S. A. Tsaftaris: “ARIGAN: Synthetic

本手法によって，2 つの点ラベル画像の入力より，植物がArabidopsis Plants using Generative Adversarial Network’’，ICCV

次第に変化していく連続画像を生成した．入力した 2 つの点

CVPPP Workshop, Proc. of the IEEE International Conference on

ラベル画像と，補間により生成された複数の植物の画像を図Computer Vision Workshops, pp. 2064–2071 (2017).

4(b)に示す．このように，成長段階が異なる 2 つの植物画像

4) P. Isola, J. Y. Zhu, T. Zhou, A. A. Efros: “pix2pix: Image-to-Imageから，成長を模したアニメーションを生成することができる．

Translation with Conditional Adversarial Networks’’, Proc. of the IEEE

結果のどのフレームでも高品質の画像を生成できることは評

Conference on Computer Vision and Pattern Recognition, pp.1125–1134

価指標によって確認している．しかし，時間方向における植(2017).

物の変化の連続性に関する評価は今後の課題である．

5) J. Y. Zhu, T. Park, P. Isola, A. A. Efros: “Unpaired Image-to-Image

330

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

Translation using Cycle-Consistent Adversarial Networks’’, Proc. of theIEEE International Conference on Computer Vision, pp.2223–2232(2017).
6) X. Liu, G. Yin, J. Shao, X. Wang, H. Li: “Learning to Predict
Layout-to-image Conditional Convolutions for Semantic Image
Synthesis’’, Proc. of Neural Information Processing Systems, pp.570–
580 (2019).
7) D. P. Kingma, M. Welling: “Auto-Encoding Variational Bayes’’, arXiv
preprint arXiv:1312.6114 (2014).
8) H. Huang, R. He, Z. Sun, T. Tan: “IntroVAE: Introspective Variational
Autoencoders for Photographic Image Synthesis’’, Proc. of Neural
Information Processing Systems, pp.52–63 (2018).
9) T. Park, M. Y. Liu, T. C. Wang, J. Y. Zhu: “Semantic Image Synthesis
with Spatially-Adaptive Normalization’’, Proc. of the IEEE Conference
on Computer Vision and Pattern Recognition, pp.2337–2346 (2019).
10) H. Scharr, M. Minervini, A. Fischbach, S. A. Tsaftaris: “Annotated
Image Datasets of Rosette Plants’’, Proc. of European Conference on
Computer Vision, pp.6–12 (2014).
11) Z. Wang, A. C. Bovik, H. R. Sheikh, E. P. Simoncelli: “Image Quality
Assessment: From Error Visibility to Structural Similarity’’, IEEE Trans.
on Image Processing, Vol.13, No.4, pp.600–612 (2004).
12) M. Heusel, H. Ramsauer, T. Unterthiner, B. Nessler, S. Hochreiter:“GANs Trained by a Two Time-Scale Update Rule Converge to a Local
Nash Equilibrium’’, Proc. of Neural Information Processing Systems,
pp.6626–6637 (2017).

（2020 年 2 月 28 日 受付）（2020 年 6 月 26 日 再受付）
山 下 祐 貴2020 年 九州大学芸術工学部画像設計学科
卒業．

（正会員）
森 本 有 紀2008 年 九州大学芸術工学府修了，同年 東京大学にて日本学術振興会特別研究員，2009 年より独立行政法人理化学研究所研究員，2012 年より東京電機大学未来科学科
講師，芝浦工業大学 助教などを経て，2016
年より九州大学 助教．コンピュータグラフ
ィクスに関する研究に従事．情報処理学会，
ACM SIGGRAPH 各会員．博士(芸術工学)．

331

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

9 月入学制への移行方法
小野 文孝（名誉会員）

The Way to Change the School-Year Starting Fall
Fumitaka ONO (Honorary Member)は幼稚園から，順に行われていく．したがって 9 月入学へのはじめに
9 月入学制は日本の大学の入学時期を欧米の大学の 9 月（8変更を仮に今決定したとしても，小学校入学から本来の目的

月後半）に合わせるべきということで以前から提唱されてきである大学入学まで波及するのは 12 年後ということになる．

た．日本の高校生が 3 月に卒業し 9 月入学制の海外の大学に今回コロナ騒動に関連して学校を 5 ヵ月休校にすればそのま進学する場合は入学まで 5 ヵ月間待つ必要がある．この 5 ヵ

ま恒久的 9 月入学制に移行できるという議論がマスコミで取月は準備に必要と考えることもできるが，海外からの留学生り上げられていた．
確かにそうすれば 12 年という制度の波及を受け入れる日本の大学からすると，海外の高校を 6 月に卒を待つ必要はないものの，在学中の生徒については想定され業した学生の受け入れが翌年の 4 月になるのでは待機期間がていた卒業時期が今後 12 年間にわたって 5 ヵ月遅れること，長すぎる．現実には大学院では日本でも後期入学（9-10 月入その後も就学年齢の早期化の潮流に逆らい 6 歳 5 ヵ月になる学）を認めているところが殆どである．また，大学学部でもことを考えると多くの人が賛同する改革とはいえないだろう．

学長の判断で後期入学が既に実施可能となっている．したが9 月入学制への正統的移行って海外からの受け入れについても現実にはそれほど問題はないと考えることもできる．とはいえ，日本の大学の入学時
期を国際標準に合わせ 9 月にしたいというのも理解できるので，もし 9 月入学制に移行するならどんな形態になるか，どんな問題があるかを考察することは無駄ではないだろう．
今回コロナ騒動の影響で，文科省が 9 月入学制への変更形
態についてどう考えているかを垣間見ることもできたので以下では 9 月入学制について考察したい．なお，9 月入学では夏休みを考慮すれば恐らく 7 月卒業となるが，入学が 5 ヵ月遅れるので卒業も 5 ヵ月遅れるという前提で記述する．

次に，コロナ騒動とは無関係に 2021 年以降に恒久的 9 月
入学制に移行する場合，移行時に何が起こるかを考えてみよう．就学年齢を 6 歳のままとすると，まず，従来通り 4 月に新入生を迎えた後，その 5 ヵ月後の同年 9 月に，その間に 6歳になった児童が新たに小学校 1 年生に入学する．この入学生の年齢はその時点で 6 歳以上 6 歳 5 ヵ月未満である．現在
各月の出生数はほぼフラットであるので，その生徒数は通常の約 4 割（5/12）になる．また，その翌年の 9 月入学生は入学間隔が 1 年になるので通常通りの生徒数になる．この形式
を 9 月入学への正統的移行方法と呼ぶことにする．卒業生の輩出数に関しても同様に最後の 3 月卒業生（通常通りの数）

就学年齢と誕生日区分
日本の就学年齢は，ほぼ世界標準の 6 歳（6 歳以上 7 歳未のあと同年 8 月に通常の約 4 割の数の卒業生が輩出され，翌満）であり，9 月入学制においてもこれを維持するものとす

年以降は毎年 8 月に通常通りの数の卒業生が輩出される．

ると年齢計算は 9 月が基準になるであろう．つまり現在は 4

この方式では，最後の 4 月入学生と最初の 9 月入学生の入月 2 日から翌年の 4 月 1 日生まれまでが同学年になるが，9学時期の差は 5 ヵ月なので同一学校に両者が共存する限り，
9

月入学の下では 9 月 2 日生まれから翌年の 9 月 1 日生まれま

月から翌年の 3 月までの 7 ヵ月間は学年の呼び方が同一にな

でが同学年になるのが基本である．ただ，現在の誕生日区分る．このため 2 通り存在する同学年を区別して運営する必要のまま入学時期を 9 月に変更することも不可能ではない．そがある．これは過渡期のみの現象であるが最後の 4 月入学生の場合就学年齢を従来より遅くするなら 6 歳 5 ヵ月以上 7 歳が卒業に到るまで，中学・高校も含めると 12 年続くことにな

5 ヵ月未満となり，早めると就学年齢は 5 歳 5 ヵ月以上 6 歳 5る．また，収容生徒数の観点からはこの両学年が共存する期

ヵ月未満となる．世界の就学年齢で 6 歳の次に多いのは 5 歳間，最大で 0.4 学年分の生徒が増えることになるので各学校なので早める方は検討に値するともいえる．その場合は移行

では教員や教室の増加などの処置が必要となる．

時に幼稚園の年長生が年度途中の 8 月で卒園し小学校に入学

最終 4 月入学生と初年度 9 月入学生の併合することになるので，誕生日による学年の組み換えが起こらない点で児童にとっては抵抗が少ないといえる．
さて，入学時期の 9 月への変更は，小学校の入学，あるい

332

さて，上記の正統的移行方式を採用すると生じる，複数の同一学年生の共存を避けるために移行年の 4 月入学生を移行
年の 9 月入学生と併合し，9 月に同時に入学させることが考The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

えられる．そうすると，この間では入学間隔が 1 年 5 ヵ月空制では誕生期間で 5 ヵ月分の生徒が遅れて入学するのに対し，

くので同一学年問題は起きない．しかし，入学間隔が 1 年 5

早期入学制では 1 年前の最後の 4 月入学生の時点で逆に 5 ヵ

ヵ月空くことは，高校や大学などの卒業生の輩出間隔も 1 年月分の生徒を先行して吸収していることになる．先に述べた

5 ヵ月空くことになるので，併合方式は就職者の供給などの併合制における段階的移行処置は，早期入学制についても同点で問題が生じる可能性がある．

様に考えられるが，さらに時間的に先行した対応が必要とな

文科省も 2020 年 4 月入学生の後，2020 年 9 月からの 9 月

るので，早期入学制での段階処理の実施は考えにくい．

入学は時期的に対応できず，2021 年 9 月が次の入学生になる

なお，最初に述べたように 9 月入学制が小学校入学から大という前提で同様の検討をしている．この場合，併合学年の学入学まで波及するのに 12 年間を要する．
これを短縮する手入学生の年齢は 6 歳以上 7 歳 5 ヵ月未満である．つまり，こ段として考えられるのは 4 月入学の高校生を 2 年 5 ヵ月で卒の併合学年の生徒数が，誕生日の期間として通常年より 5 ヵ

業させることであるが，教育課程の変更を伴わざるを得ない

月分多いため，文科省では，この超過分を 1 年に集中させず

うえ，9 月入学生が高校に進学してくれば元に戻すことにな

後続の学年に分散させる段階的移行方式を提案している．そるであろうから現実的ではないといえよう．

れは 5 ヵ月分を 5 年にわたり毎年それぞれ 1 ヵ月分振り分け

むすびるもので，その 5 年間は就学児童の誕生日区分が毎年異なるという極めて複雑な制度になる．つまり就学年齢は最初の 9月入学生では 6 歳 4 ヵ月以上 7 歳 5 ヵ月未満，
2 年目は 6 歳 3
ヵ月以上 7 歳 4 ヵ月未満，以下同様になり，5 年目で 6 歳以
上 7 歳 1 ヵ月未満，6 年目以降は 6 歳以上 7 歳未満で定常化される．いずれにせよこの期間は各学校の収容生徒数が一時的に増えることを考えると，そこまで制度を複雑にして学年ごとの生徒数をフラット化するメリットが個人的には理解しがたい．また併合制により以下で述べる年齢問題はそれ以降の複数学年に波及する．1 年では集中し過ぎるとしても，段階的移行の期間は精々2~3 年でよいのではないだろうか．

コロナウイルスの影響で緊急事態宣言が発出され，大半の学校が 4 月の進級後の休校を余儀なくされた中で，これを機会に休校を夏休み終了まで延長し，今年度は全国一斉に 9 月
から新学期という提案が出てきた．何よりコロナ問題の終息が前提だがコロナへの対応を可能な限り全国の学校で共通にすることにはそれなりのメリットもあろう．しかし，そのための臨時措置を欧米に合わせた恒久的 9 月入学制にするよい機会だと考える人まで登場した．コロナ問題で教育現場が混乱しているときに，さらに混乱に輪をかける 9 月入学への制
度改定は少なくとも直近では行わないことを，その後，政府が発表して 9 月入学制の議論が下火になった．とはいえ，9月入学制が国際標準であることは確かなので正確な材料提供

併合制の年齢問題回避
さて，併合制におけるもう一つの大きな問題は，就学が従に基いた冷静な議論が行われることを望んでやまない．この来の 4 月から 9 月に遅延することによって卒業時の年齢が本

駄文が少なくとも問題の所在を意識していただくきっかけに

来より遅れる生徒が出てくることである．高校卒業は現在でなれば幸いである．目的達成（大学入学への波及）に 12 年もは 18 歳以上 19 歳未満であるが上記の併合制をとると 19 歳以かかるような制度が果たして導入されることになるかどうか上で卒業する生徒が，一括移行ではその学年の約 3 割(=5/17)

は興味深いともいえる．

に達する．
この生徒らは留年していないのに 12 ヵ月以上年下

なお，巷では 9 月入学になれば卒業・入学式に桜が見られの学友がいる学年に編入されたようなものである．彼らがリなくなることや夏の高校野球がどうなるかなどの方が話題とタイアする頃に企業の定年制がどうなっているかは全く予測なっていた．もし 9 月入学に移行すればプロ野球で高校卒業がつかないが，年齢制限や卒業時期制限のある就職において後間もない選手がプロの選手と対決するシーンも見られなくも，制度による就学時期の遅れに伴い，卒業時年齢が従来よなるであろうことを最後に付け加えて筆をおきたい．

り高齢化してしまう層から不満が出てくるのは確かであろう．
これを回避し，4 月入学生と 9 月入学生を併合しても（入学間隔が 1 年 5 ヵ月開いても）卒業時年齢が従来を上回らないようにするには，併合制への移行前年の 4 月入学の時点で就学年齢に達しない生徒の入学を認める「早期入学制度」を導入するのが有効である．つまり一部の生徒に一種の飛び級を認めるといえば理解しやすいであろう．
具体的には移行年の 9 月入学生の入学年齢を本来の 6 歳以
上 7 歳未満とし，その 2 年 5 ヵ月前の 4 月入学における入学対象者も，やはり本来の 6 歳以上 7 歳未満とすると，移行前
年の 4 月に入学させておかないといけないのはその時点で 5
歳 7 ヵ月以上 7 歳未満の児童となる．つまり上で述べた併合

333

小野文孝
（名誉会員）
1971 年 東京大学工学部電子工学科 卒
業．1973 年 同大学院 修士課程修了．
同年 三菱電機（株）入社．画像符号化・処理の研究に従事．2000 年 東京工芸大
学教授．2014 年 同名誉教授．1982 年イ
リノイ大客員研究員．工博．電子通信学
会学術奨励賞，本学会研究奨励賞，同技術賞，同業績賞，同最優秀論文賞，情報規格調査会標準化功績賞，同貢献賞，文部科学大臣賞科学技術功労者表彰，経済産業大臣表彰工業標準化事業功労者など を 受 賞 ． ISO/IEC JTC 1/ SC29/
WG1/JBIG ラポータ．IEEE Fellow，電子情報通信学会フェロー．本学会フェロー・元会長・元編集長・元企画委員長．
現在，東京大学 客員研究員 等．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

Photogrammetry を楽しむ
近藤 邦雄（名誉会員）
東京工科大学

Enjoying Photogrammetry
Kunio KONDO (Honorary Member)Tokyo University of Technology

1.

次元モデルの生成を行っている．詳細な部分は CT スキャン

はじめにが有効であり、現段階では、Photogrammetry のみでこのよう

本稿は，Photogrammetry を用いたモデリングを楽しんで行な成果を得ることは難しい．さらに，伊藤ら 8）は八戸博物館

うようになった経緯の紹介とそこから明らかになってきた課と共同で地域の石碑の Photogrammetry を用いた 3 次元モデ

題の整理を目的としている．Photogrammetry とは一言で言えルを生成し，博物館において，それらの 3 次元モデルを観察ば写真から 3D モデルを制作する技術である．筆者は 4 月以できるようにしている．出水ら 9）は軍艦島のデジタルアーカ

降，
コロナ感染を避けるため自宅にこもることが多くなった．

イブを, みんなの首里城デジタル復元プロジェクト 10）では，そこで，健康維持のため毎日のように散歩をしている．その消失した首里城のデジタル復元を行っている．東京芸術大学

散歩のときに，さまざまな撮影対象を見つけては，

11,12）では、
スーパークローン文化財の制作に取り組んでおり、

Photogrammetry によるモデリングを目的とした写真撮影を行

今後の活用が期待されている。

っている．毎日のように撮影してはモデルを制作しているお林と近藤 13）は，バーチャルミュージアムの制作にあたっ

かげで，簡易的なモデリングに対する知識がついてきた．

て，photogrammetry を活用して制作したモデルを展示する演

本文ではまず，Photogrammetry を用いた映像制作,デジタル習を行っている．

コンテンツ制作の現状を簡単にまとめ，次に，筆者の以上のような事例から，photogrammetry を活用するうえで

Photogrammetry によるモデル制作手順と 200 近い制作結果のは，撮影対象の選定，撮影方法と機材の適切な選択が重要でうちいくつかについてその実例を紹介する．最後に，これらあることがわかる．

の制作結果をもとに，今後の課題について考察する．

2.

3.

Photogrammetry 活用の現状

Photogrammetry による 3D モデル制作

Photogrammetry を用いて 3 次元モデルを制作する手順を図

Photogrammetry に関係する研究は Furukawa らが 2015 年に1 に示す．撮影対象を決定したら，全方向から撮影できそう

まとめたMulti-view Stereo 1）が詳しい．
Open problems として，かどうかをイメージし，撮影ポイントをある程度決める．図

Aerial and ground fusion, Inverse CAD, Semantic modeling,

1 のモデルは Goddess of Health のレプリカで，高さはおよそ

Dynamic scene modeling などの 研究課題も提案している．

20cm である．テーブルの上に台を置き，その上にレプリカをアニメーションやゲーム制作分野における活用は，国内の置いた．
カメラはコンパクトデジタルカメラ LX100Ⅱであり，

プロダクションで進んでいることが文献 2）～4）などから分

図 2 に位置とその撮影方向を示す．おおよその位置で撮影しかる．3D スキャンと photogrammetry の長所を取り込んだ製ていることがわかる．この例では，65 枚の写真を用いている．

作工程が提案されていたり，人物や犬など多数の写真を撮影使用したソフトウエアは Autodesk ReCap Photo である．撮影することが困難な対象においては，撮影システムの利用によした写真を Cloud にアップする作業だけで，モデルデータをり，多数の写真が同時に撮影されている．また，ゲームエン得ることができる．

ジン Unity で利用できるデータを生成している例 5）もあり，写実性の高いゲームの制作に大きな役割を果たしている．

ただ，Photogrammetry の処理時間は 1 時間程度から 3 時間にもなることがある．これには写真の枚数やデータ量などさ

デジタルアーカイブを目標とする研究においては近藤ら 6）

まざまな要因があると考えられる．処理後は，モデルの確認が2001年に3 次元計測器を利用して埼玉県立博物館の埴輪のをして保存すれば，
他の 3DCG システムなどでも利用できる．

計測を行い，3 次元モデルの制作を行っている．この研究をまた，撮影方法や撮影対象の良し悪しについては，多くの資発展させて，町田 7）は CT スキャンを利用した花や昆虫の 3

料 5,14）が公開されているので，ここでは省略する．

334

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 1 Photogrammetry による 3D モデル制作のプロセス
図3

Goddess of Health のレプリカ

図 2 カメラ位置と撮影方向 (Metashape)
図4

4.

ゴジラのフィギュア

Photogrammetry による 3D モデル制作例

ここでは， 12 種のモデリング例を取り上げ，撮影条件や対象物の特徴による生成モデルの結果（図 3～図 14）について述べる．使用カメラは，LX100Ⅱと iPhone6s である.
図 3，4 は，室内の撮影である．いずれも天井のライトと横からの間接照明を一つ利用した．図 3 は石膏に近い表面に着色していて，ハイライトは生じにくい．図 4 は背中のひれが光っているがそれ以外の強いハイライト部分は少ない．ただし，背中のひれなどの凹凸が多くあり，形状が正確に再現

図 5 陶器できていないことがわかる．

図 5 は屋外で太陽が直接当たらない薄曇りの時に撮影した． あたっており，影ができている．形状の特徴もとらえている
シンプルな形状ではあるが外側にはテクスチャがあり，内側が，写真画像をテクスチャとして利用する場合は，影を取りは白い色だけで塗られている．上段の例では，再現モデルは除く必要がある．図 9 は新しい狛犬であり，薄曇りの時に撮

ひび割れのようになっている．これは，画角を一定にせず，影した．渦などの形状もよく生成できている．この狛犬は少さまざまな大きさに対象を映してしまったためと考えられる． し大きめで，上の方からの撮影がしにくく，写真の組み合わ
下段は画角を一定にして撮影したが，内側が全く再現されず， せによっては頭部の形状がうまく再生できないことがあった．
口がふさがってしまったように形状が生成された．

神社やお寺は，木造が多く，彫刻が多くみられる．図 10，

図 6 はブロンズ製で，図 7，8，9 は，石でできている．こ図 11 は門の上にある亀のレリーフと柱が組み合わさった先

れらは表面の反射が少なく，薄曇りのもとで撮れば，写真画の木鼻の獅子である．この 2 つはともに，少し高いところに像をテクスチャとして使いやすい．図 7 は，太陽が出ていたあるため，下方からの撮影になった．このため，上の部分がため，日傘を使用し，太陽光を遮って撮影した．顔の形状の撮影できず，形状再現はできていないが，撮影した位置から特徴がよく出ていることがわかる．図 8 は太陽光がそのままのモデルの見え方は十分再現できているといえる．

335

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 10 亀のレリーフ
図 6 稲荷神社のきつね

図 11 木鼻の獅子図 7 掃除小僧

図 12 公園の石段
図 8 不動明王

図 13 神社の本殿屋根などは撮影地点から見えない部分も多く，形状は再現で
図 9 狛犬きていない．図 14 は樹木の入り組んだ根である．このような

図 12，図 13，図 14 は撮影対象が今までの例に比べて大き複雑な形状をモデリングする作業時間に比べると，写真の撮い．図 12 は公園の一部である．図 13 は神社の本殿であり，影時間と写真データのアップ程度の時間でモデルデータを得

336

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 14 樹木の根図 15 Photogrammetry の技術的課題と応用（その 1）ることができる photogrammetry は有効なツールといえる．

5.

Photogrammetry の課題

Photogrammetry のさまざまな研究を進めるうえで，文献 1）で示された Aerial and ground fusion，Inverse CAD，Semantic
modeling，Dynamic scene modeling などの技術的課題がある。
これらの課題や技術などを撮影技術と制作モデルに注目して分類した結果を図 15, 16 に示す.
図 15 は撮影対象の大きさと撮影方法によってマッピング
した技術的課題や応用分野を示す．
縦軸のマクロとミクロは，撮影範囲であり，都市などの広範囲な対象から顕微鏡で見えるような小さな範囲までを示す．横軸は撮影方法の違いであ図 16 Photogrammetry の技術的課題と応用（その 2）

り，モデル制作の効率化と利用目的によって撮影方法も変わってくる．筆者の例では，コンパクトデジタルカメラで一つなお，本講座は画像電子学会研究会での招待講演内容 15)にの対象に対し 50～100 枚程度の写真撮影をするとして，
5～15

基づき，依頼を受けて学会誌に寄稿したものである．

分くらいである．
図 16 は 3D モデルのデータ量と正確さ，応用分野の違いによる技術的課題やモデルの活用を示す．縦軸は，生成モデル

謝 辞の解像度の違いを示し，横軸は，エンタテインメントコンテ

Photogrammetry によるモデリングを楽しむ中で，東京大学
教養学部 金井崇准教授には Photogrammetry の文献を紹介いンツと工学系など実物を扱うような分野を示す．

6.

ただいた．
また東京工科大学メディア学部 川島基展特任講師

むすびには Photogrammetry に関する撮影法などをご指導いただいた．

本稿では，Photogrammetry を用いたモデルの制作方法，短記して深く感謝します．

時間の撮影で制作した実例と課題について述べた．

参考文献

デジタルカメラが普及した現在，多数の写真を短時間で撮1)

影することができるため，Photogrammetry という技術を利用したモデリングは，産業応用から趣味まで幅広く活用できる．
ただし，利用目的に合わせて撮影方法やモデルの品質などを2)選択する必要がある．
また，撮影対象が現状の Photogrammetry 技術で意図したモ

3)

デルを生成できない場合もあるので，それを解決できるような新しい手法の提案が望まれるほか，撮影条件に制限がある

4)

場合であっても，適切なモデルを生成できる手法が望まれる．
さらに，Photogrammetry の技術的な課題に対し 3D スキャ
ンシステムを併用して解決しようとした例もあるように，利5)6)用目的に合わせ，さまざまな手法を開発するとともに，手法の利点を組み合わせたモデルの生成が望まれる．

337

Stereo: A Tutorial, Foundations and Trends in Computer
Graphics and Vision, Vol. 9, No. 1-2 (2013) 1–148 ( 2015).
東映ツークン研究所：デジタルセット制作ワークフロー
を変革，Leica Geosystems，
https://leica-geosystems.com/ja-jp/case-studies/reality-capture/jp-toei-zukun-blk360 （2020.8.15 ).
VFX Anatomy, CGWORLD, 6 月号,ボーンデジタル,
pp.88–93,(2020).
Bullet Render Farm で「芝犬まる」を再現, CGWORLD, 6
月号, pp.66-71, ボーンデジタル, (2020).
写実的なゲームアセットの作成，Unity Technologies,
https://unity.com/ja/solutions/photogrammetry (2020.8.15)
近藤邦雄,佐藤尚,町田芳明,増田伸二,星野伸行：デジタルモデリングによる 3 次元立体の復元と複製,日本図学会,
図学研究,Vol.35,No.2, pp.7-11(2001).

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

7)
8)
9)
10)
11)

12)

13)
14)

15)

町田芳明： 3D データ作成のための形状測定装置の利用,「日本3D プリンティング産業技術協会」講習会 (2018).
伊藤 智也 他：八戸の石碑 3D データ「ぐるぐる」,八戸工業大学工学部共同研究展示, 63, 夏季特別展「飢渇の郷
土史－八戸ケガジ録－」 (2020).
出水享：3D 技術を用いた軍艦島のデジタルアーカイブ
過去，現在そして未来へ,日本建設機械施工協会,建設機械施工, 69(8), pp.66-70 (2017).
みんなの首里城デジタル復元プロジェクト,
https://www.our-shurijo.org/ (2020).
東京芸術大学 スーパークローン文化財展
https://geidai-clone2020.sogomuseum.jp/pdf/chapt10_5_10.p
df (2020).
富山発 高岡銅器職人集団×東京藝大×IT で再現した「国宝・釈迦三尊像」とは？
https://wisdom.nec.com/ja/collaboration/2018022701/(2020).
林正樹，近藤邦雄：メディアサイエンス専攻特別講義，http://hayashimasaki.net/TUT/ , (2020).
Discont： フォトグラメトリ入門 撮影方法～3D モデル
作成,https://styly.cc/ja/tips/photogrammetry_
discont_photogrammetry/ (2019).
近藤邦雄：“Photogrammetry を楽しむ”画像電子学会第294 回研究会 No.9 (2020).

付図 4 歩道の支柱のマスコット, 浦和レッズ

付録：Photogrammetry によるモデル生成例

付図 5 金剛力士像, 医王寺

付図 1 野菜を売る農婦のブロンズ像

付図 6 きのこ
付図 2 金剛力士像, 長徳寺

付図 3 山門の模様,長徳寺
付図 7 浦和，調神社

338

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）近藤 邦雄 （名誉会員）
1998 年工学博士（東京大学）．現在，東京工科大学名誉教授，Management andScience University，東邦大学などの客員教授．芸術科学会会長，画像電子学会
会長，情報処理学会グラフィクスとCAD 研究会主査，日本図学会副会長，
ISGG 理事などを歴任．現在，ADADA会長，情報処理学会フェロー，画像電子学会フェロー．情報処理学会 25 周年記念論文賞，日本図学会賞，関東工学教育賞などを受賞．コンピュータグラ
フィックス，映像コンテンツ制作に関する研究に従事．

339

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）東洋大学 情報連携学部 情報連携学科 石川知一研究室
石川 知一（正会員）
東洋大学

Faculty of Information Networking for Innovation and Design, Toyo University
Tomokazu ISHIKAWA（Member）
Toyo University

1.

研究範囲としては CG を利用した映像制作の手法の開発だ

はじめにけでなく，CG の応用分野であるバーチャル・リアリティや東洋大学情報連携学部は，文・芸・理融合の新学問領域を拡張現実（以下，VR/AR），画像処理，映像に付随する音情

創造することをコンセプトとし，情報連携学科の 1 学科内に報などを幅広く扱う．当研究室を希望し，配属された学生にエンジニアリングコース，
デザインコース，
ビジネスコース，はコンシューマゲームや映画のような映像コンテンツ制作，

シビルシステムコースの 4 コース体制で 2017 年に設置され，VR/AR に興味を持つ学生が多く，興味がある分野の既存研究

現在 4 年目を迎えた新しい学部である．本学部では，それぞをサーベイして，自身に適するテーマを設定するところかられのコースで学ぶ専門分野の連携と融合により，新しいイノ

研究をスタートさせている．研究室の現メンバーの研究は開ベーションを起こせる人材を創出することを学びの特色とし始して 5 ヶ月に満たないため，本稿では主に著者が取り組んている．本学部は学部新設時から東京都北区赤羽台にキャンでいる研究内容について紹介する．

パスがあり，大学としては他の既存学部のいくつかを赤羽台2.

に移設する計画もあることから，今後ますます発展するキャ
ンパスとなることが期待されている．

2.1

本学部の学習カリキュラムを紹介する．1 年次は，すべて研究内容

電磁流体のビジュアルシミュレーション

CG の分野において，磁場との相互作用を考慮した流体のの学生がプログラミング（主な使用言語は Python）と言語コ

研究はほとんど行われていない．
磁場の影響を受ける流体は，

ミュニケーションを集中的に学び，情報連携の素地を身につ

電磁流体と呼ばれ，自由境界面が定義されないプラズマと，ける．2 年次からは学生が希望するコースに分かれ，コース

自由境界面を有する磁性流体に二分される．プラズマは電荷ごとに 2 つの研究分野に関する専門的な知識を身につける．

を帯びている流体であり，磁場の影響を強く受ける．プラズ

著者の属するデザインコースには「デジタル・デザイン」，「ユマによる自然現象には太陽表面のプロミネンス（紅炎）現象

ーザ・エクスペリエンス・デザイン」の研究分野があり，Webや，地球上で観測されるオーロラ現象がある．磁性流体は磁デザイン，インダストリアルデザイン，ラピッドプロトタイ

場との相互作用によりスパイクが伸びる現象が生じ，その特ピングなど未来の情報サービスや製品の具体化ができる人材徴を利用してアート作品に利用される．これらの 3 現象は視の育成を目標としている．実践的な演習を通じて情報連携の覚的に興味深いため，CG で再現し映像化することは重要でためのスキルを身につけたうえで，3 年次にはチーム実習とあると考えられる．しかし，電磁流体による物理現象では，してコース横断のチームでスタートアップ型の実習を行う．

それぞれに物理的に説明が困難な部分が含まれていたり，専これはコースの仲間との協働を通じて，社会での働き方を身門分野における既存モデルでは，現象を再現するために現実につける狙いがある．4 年次から大学院では，研究室に所属的とはいえないほど計算時間が長くかかったり，視覚的な効

し，各コースの専門性をより深めていく．

果を再現できなかったりと多くの問題が残存しており，CG当研究室では，主に「ユーザ・エクスペリエンス・デザイによる再現は容易ではない．

ン」の研究分野において，コンピュータグラフィックス（以当研究室では電磁流体力学(MHD: MagnetoHydroDynamics)

下，CG）を利用した映像制作のように，視覚を代表とする人の基礎方程式で記述される，太陽表面の活動とオーロラとい間の感覚に訴える手法について研究を進めており，2020 年 4

う 2 つの自然現象と，磁性流体の物理現象の CG 表現を提案

月から研究室を立ち上げ，4 年生になった学部生を受け入れしている（図 1）．既存モデルの計算時間がボトルネックにたところである．当研究室には，本年度，学部生 6 名が所属なっている場合については，効率的なモデルを提案し，物理

している．

340

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 1 電磁流体のビジュアルシミュレーション

図 3 メディアの相互変換の関係
作品・小説・音楽作品の多岐にわたる商品展開をクロスメデ
ィア展開と呼んでおり，ワンソース・マルチユースを実現するためにメディアを有機的に結びつけることは非常に有用であると言える．メディアの間には指向性を持った変換関係が

図 2 髪のなびきアニメーション生成 GUI

あり，これを当研究室ではメディアの相互変換と呼称してい的に不明確な点においては，主に視覚的な効果を重要視したる（図 3）．2.2 節の静止画像からアニメーションを作成する

CG としてのアプローチを採用することにより，電磁流体の手法も画像から動画への変換ととらえることができる．

振舞いによって生じる現象の CG による再現を実現している．
2.2

当研究室で行っているメディアの相互変換の例を以下に挙げる．雨音から降雨強度を判定して CG 映像を制作する手アニメの自動生成手法の開発法の提案では，降雨強度が異なるいくつかの音波の解析によアニメキャラクタが描かれた静止画を入力とし，キャラクり，映像制作に必要な降雨のパラメータを推測している．まタにモーションを付与する研究や製品が存在する．しかし，た，煙が映っている画像に Navier-Stokes 方程式を適用し，流既存手法により作成されたアニメーションは，手描きのアニ

体の動画を得るための実験を行っている．アニメ業界におけメーションと比較すると違和感を覚えることが多い．これはるフィルムコミック制作時のクリエータの負担を軽減する研既存手法ではアニメータの手法を考慮していないためで，手究として，アニメ中の各フレームの特徴量を計算し，マンガ

描きアニメーションに近づけるには，多大な作業時間や製品形式に自動でレイアウトを整えるという映像要約手法の研究を扱うための高い技量が必要になる場合が多い．当研究室で開発も行っている．

はアニメータが描くときに用いる手法をプログラム上で再現

3.

し，既存手法に比べセルルックアニメーションとして，よりおわりに違和感のないアニメーションを生成する方法を検討している．

当研究室は CG 技術を基盤として，その応用分野であるセアニメータがアニメキャラクタの髪がなびく様子を描く

ルルックアニメーションや VR/AR のようなデジタルコンテ

手法については，基本的な制作技法が確立しており，まず，ンツ制作，マルチメディア処理の研究を行っている．当研究これをデジタルで再現することから始めた．髪のゆらぐ幅や室では，学生本人が習熟を希望する要素技術を尊重し，研究

揺れる周期など，ユーザの介入を認めたアニメーションを作活動の遂行を通して，産業界に貢献できる人材の育成を行う

成するための専用ツールを開発し（図 2），このツールを使用という方針をとっている．現在は特に VR/AR における視覚する中から得られた必要パラメータを解析し，最終的に自動と聴覚のクロスモーダルに研究の重点をおいている．新設のでアニメーションを生成することを目指している．

研究室として，VR/AR の機材を準備し，研究に着手し始めた

2.3

ばかりであり，今後の研究活動にご注目頂きたい．

マルチメディア処理

石川 知一 （正会員）

当研究室では CG による映像制作の研究だけでなく，音・
文章・静止画像・動画のようなメディアを相互に変換する研究を行ってきた．
メディアはその一つ一つが研究分野といえ，それぞれ研究とともに成熟してきている．コンシューマゲー
ムや VR/AR などのデジタルコンテンツは，メディアを統合して制作されているため，マルチメディアコンテンツと呼ばれる．また，日本のビデオゲームやアニメにおいては，映像

341

2005 年 東京大学大学院新領域創成科学研究
科複雑理工学専攻修士課程 修了．その後，日本アイ・ビー・エム株式会社でシステムエンジ
ニアとして勤務．2012 年 博士（科学，東京大学）．東京工科大学 助教，東京理科大学 助教
を経て，2018 年より現職である東洋大学情報連携学部 准教授．主にコンピュータグラフィ
ックス，マルチメディア処理の研究に従事．情報処理学会，画像電子学会，ACM 会員．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

新しい生活様式と映像符号化
大西 隆之（正会員）
日本電信電話株式会社

Video Coding with New Ways of Life
Takayuki ONISHI (member)
Nippon Telegraph and Telephone Corporation
れ，これに準拠したエンコーダやデコーダの開発が待たれて

1. まえがきいるところである．

COVID-19 禍が否応なくもたらした「新しい生活様式」へ

技術の進展によって符号量の半減が繰り返されてきたこの対応は，これまで永らく市民権を得ることがなかった Webとは事実であるが，反面，映像符号化における基本的な処理

会議アプリケーションによる遠隔コミュニケーションを当た構造はほぼ共通である．すなわち，過去に符号化済みの画像

り前の文化にしてしまった．ビジネスであれ教育であれ，今や画素から，動きベクトル予測や周辺画素値のコピーによっ

回の未曽有の事態への対応に大変なご苦労をされた方も多数て画素値を「予測」し，実際の画素値との差分を「周波数変おられる中，画像電子技術に造詣が深い本学会諸賢には，突換」したうえで人間の視覚にとらえにくい高周波成分を粗く如花開いた Web 会議アプリケーションの活躍ぶりに我が意

間引くよう「量子化」する．予測パラメータや量子化値は，を得たりと感じる方も多いのではないだろうか．筆者自身，

発生確率に応じた「エントロピー符号化」を施したうえで，

かつて（2010 年頃）Web 会議サービスの販売拡大に苦労した

符号化ビットストリームとして出力される（図 2）．技術進歩

頃を思い返すに，いまや社内外のミーティングから授業や講の過程で，周波数変換は DCT から整数変換に，エントロピー

義，はては懇親会や飲み会までオンラインでやってしまう社

符号化はハフマン符号化から算術符号化に変更され，視覚的会の到来に隔世の感を抱いている．
Web 会議がここまで急速に社会に浸透できた理由として，
スマホや PC の性能の飛躍的進化（すぐれた CPU とカメラ，
エコーキャンセラ付きマイクを備えた端末が一人一台手元にに目立つ符号化歪みを軽減する「画像フィルタ」が挿入されるといった変更はあるが，処理構造そのものはここ数十年，驚くほど変化していない．
では，世代ごとに符号量半減を実現できた理由は何だろう

あった），インターネット接続環境の広帯域化（自宅には光回か．何といっても，「予測」方式として選択できるモードの種

線，スマホは 4G）という幸運な環境があったことは間違いな類を飛躍的に増大させてきたことが大きい．図 3 は，符号化い．しかしながら，映像によるコミュニケーションを縁の下対象となる矩形ブロックの画素値を，周囲の画素値をもとにで支えているのは，映像符号化技術の絶え間ない進歩である

予測する画面内予測（インター予測）のモードを示している．

ことも忘れてはならないだろう．多人数の参加者の顔を，限MPEG-2 では 8×8 ブロックの DC 予測（隣接ブロック画素のりある通信容量でストレスなく表示し続けるためには，高効平均値で塗りつぶし）のみであったものが，率な映像圧縮技術が不可欠である．

では，世代ごとに符号量半減を実現できた理由は何だろう

そこで本稿ではこれまでの映像符号化技術の進展を簡単に振り返り，現状の到達点，そして同技術が今後どのように

2. 映像符号化技術の進展
図 1 に H.261 から H.265 までの大まかな傾向を示すように，

Bitrate (log)貢献できるかを考察してみたい．

H.261 (ISDN videophone)
MPEG-2 （Digital TV, DVD）
MPEG-4 (Cellular videophone)
H.264 (Blu-ray, camcorder)

これまでの映像符号化技術は「1 世代ごとに，同一レベルの4K/8K Broadcast &Distribution

画質（≒同一の PSNR）で符号量を半減」することを目標として研究開発と標準化が進められてきた．現在，広く普及し1990ている最新の符号化標準は，4K/8K 衛星放送で使用されてい

1996

1999

H.265/HEVC
2003

図 1 映像符号化標準

る H.265/HEVC1)である．さらに 2020 年 8 月には，さらに符号量半減をうたう次世代の符号化標準 H.266/VVC2)が発行さ

342

2013

Year

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

図 2 映像符号化処理の基本構造
数が 2 乗のオーダで増え続けている．
さらに 4K・8K はフレー
ムレートも倍増している．ムーアの法則が頭打ち傾向となって久しい昨今，複雑化し続ける符号化標準と映像の高解像度化は技術者にとってはチャレンジングだが，頭の痛い問題でもある．
エンコーダ LSI 開発に 20 年間従事してきた筆者の実感としては，新たな符号化標準が発表されるごとに数を増やしていく予測方式の複雑さに毎度天を仰ぎ，その効果を必死に理解するとともに，現行の LSI プロセス技術で許される回路規模とバスバンド幅のなかでいかに予想候補を絞り込み良好な符号化結果を得るか，迫りくる開発期限に顔を青くしながら頭を振り絞る日々を繰り返してきた，というのが偽らざる心境である．

3. 今後の映像符号化技術
新しい生活様式は，Web 会議のみならずオンラインのコン

図 3 フレーム内予測符号化の予測モード

テンツ配信などを含め，さらに多くの映像トラフィックを生か．何といっても，「予測」方式として選択できるモードの種

み出し，依存しているともいえる．今後はさらに，人が見る類を飛躍的に増大させてきたことが大きい．図 3 は，符号化ための映像という枠を超えて，AI が見る，AI が収集する映対象となる矩形ブロックの画素値を，周囲の画素値をもとに像の流通が爆発的に増大してゆくことだろう．限られた通信予測する画面内予測（インター予測）のモードを示している．

資源を有効に活用するための映像符号化技術は，ますます高MPEG-2 では 8×8 ブロックの DC 予測（隣接ブロック画素の性能化が求められる時代となっている．

平均値で塗りつぶし）のみであったものが，H.264/AVC では

また，ディープラーニング技術の進展は，図 2 に示す枠組

8 方向の方向性予測（指定した角度で周囲の画素値をコピー）

みにとらわれない新たな映像符号化方式の道を拓きつつある．

が導入され，ブロックサイズも 3 種類から選択できるように

復号画像の信号的な再現性，すなわち PSNR のよさにとらわなった．H.265/HEVC では 33 方向・4 種類ブロックサイズ，

れず，人間が見てきれいと感じればよいのであれば，H.265/VVC では 65 方向・6 種類ブロックサイズに加えて長方Autoencoder が創り出した絵を見ていれば低ビットレートで形ブロックサイズまで導入された．
実際の符号化においては，あっても視聴者の満足度は高まるだろう 3)．Web 会議であっこれらの組み合わせから符号化効率がもっともよいと考えらても，うっかり乱雑な背景や家人が映ってしまうよりは，AIれる 1 種類を，ブロック単位で選択することになる．

が創り出した相手の顔を見ていれば満足なのかもしれない 4)．
さらに AI が見るための映像であれば，現信号の忠実な再生

当然ながらデコーダはこれらすべての予測方式に対応した処理を実装しなければならず，エンコーダは入力映像に対は不要であり，収集目的に特化した符号化方式が採用されてしてどの予測方式を選択すれば良好な符号化性能が得られる

いくことになるだろう．

かを高速に判定しなければならない．さらには，符号化対象

さまざまな社会活動をリモートで，映像を活用して実施しとなる画像も SDTV から HDTV，さらには 4K・8K と，画素てゆくことに対する心理的ハードルが大きく下がった今後の343

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）
大西 隆之 （正会員）

社会において，映像符号化技術の活躍の幅がさらにひろがる

1997 年東大・工・電子情報卒，1999 年同大大学
院工学系研究科電子情報工学専攻修士課程了，
2019 年同大大学院工学系研究科先端学際工学専
攻博士課程了．1999 年 NTT 入社．以来，ディジタル映像符号化 LSI，MPEG 関連システム，
映像伝送システムの研究開発に従事．現在，日本電信電話（株）研究企画部門 R&D ビジョン
担当 担当部長．博士（工学）．2018 年通信文化協会 前島密賞，2020 年文部科学大臣表彰 科学
技術賞受賞．

ことを期待しつつ筆をおきたい．

参考文献
1)

ITU-T and ISO/IEC, "ITU-T Recommendation H.265 and ISO/IEC
23008-2 MPEG-H part 2: High efficiency video coding," Apr. 2013.

2)

ITU-T and ISO/IEC, "ITU-T Recommendation H.266 and ISO/IEC
23090-3 MPEG-I Versatile video coding," Aug. 2020.

3)「次世代 AI が画像符号化の限界打破、圧縮率が数千分の 1 に」,
日経 xTECH／日経エレクトロニクス, https://xtech.nikkei.com/
atcl/nxt/mag/ne/18/00043/00004/, Jun. 2019.

4)

NVIDIA

MaxineCloud-AI

Video-Streaming

Platform,

https://developer.nvidia.com/maxine

344

The Journal of the Institute of Image Electronics Engineers of Japan Vol.49 No.4 （2020）

キャラクタアニメーションの数理とシステム– 3 次元ゲームにおける身体運動生成と人工知能 –著者：向井 智彦：都立大准教授 ，川地 克明：（株）スクウェア・エニックス
三宅 陽一郎 ：（株）スクウェア・エニックス
発行：コロナ社
判型：A5

発行年月日：2020 年 8 月 6 日

ページ数：240 ページ

ISBN：978-4-339-02909-3

定価：3,200 円（税抜）

私が学生時代，研究室で実施する AR（Augmented Reality：拡張現実感）のデモを制作していたときのことである．最初は，CG で看板を表示し，入口から研究室までのナビゲーションを行うという形態で実施していたのだが，いまいち面白さに欠けると感じていた．その時，CG キャラクタによるナビゲーションの実装が閃いたのである．折角作るのであれば，キャラクタも一般的なものでは面白くない．そこで，（こっそり）研究室の教授を模した 2 頭身のキャラクタの 3 次元モデルを自作した．実際に AR アプリで表示してみたところ，ずいぶんとデモの印象が良くなった．さらに，何度かデモしているうちに，今度はキャラクタを動かしてみたくなった．アニメーションの知識が殆どなかった筆者が当時考えたのは，3次元モデルを 2 パターン作成し，交互に描画しながら移動させることで歩いているように見せるという，極めてイージーな方法であった．とはいえ，実装は大変楽しく，見た目の面白さは格段に向上した．
本書に目を通して，そんな懐かしい記憶が蘇って来た．本書は，ゲームのインタラクティブな 3 次元 CG の映像における，キャラクタの動きを生成する技術を体系的に説明している．具体的には，プレイヤの操作入力やゲーム AI の状況判断に応じてキャラクタの運動を高速かつ堅牢に即時生成するための基盤技術を取り扱っている．現実世界のヒューマノイド
ロボットの運動生成とは違い，ゲーム等の CG アプリケーションでは，物理法則に加えて創作者の演出意図という要素がある．この点に着目していることが，本書がこれまでの運動生成に関する書籍と一線を画す要素となっている．
本書の章立ては以下の通りである．
1 章：概論2 章：形状変形アニメーション
3 章：スケルトンアニメーション
4 章：アニメーションシステム
5 章：環境への適応
6 章：連携と疎通
7 章：キャラクタアニメーションと人工知能
1 章では，リアルタイムアニメーション生成における制約や技術に関する概論が述べられている．2 章～4 章では，キャラクタを構成するためのデータ構造から，具体的なアニメーション生成に関する技術までが網羅的に説明されている．5
章では，地面の傾きや凹凸などの，キャラクタの置かれた環境の物体を考慮した処理方法が述べられている．6 章では，アニメーションに付与する足音などのように，アニメーションシステムが外部のシステムと連携するための技術が紹介されている．最後に 7 章では，アニメーションと人工知能の連携について，いくつかの事例を用いて説明されている．以上の章立てにより，アニメーションを生成するための技術が非常に丁寧に説明されており，ゲーム開発や CG 開発に携わる方々，これからゲームプログラマーやデザイナーを指向する方々に，間違いなくお薦めできる 1 冊といえる．特に，プログラマーを指向する方々には，本書の知識を活用してアニメーションの各技術を実装し，その効果を体感して頂きたい．
冒頭に記したように，私の経験上，アニメーションの実装はとにかく面白い．知識を取り込みつつ実装することで，技術の面白さをより実感できるはずである．
本書を読み進める中で，技術的な理解が難しい部分があるかもしれないが，本書には，必要な数学の基礎知識（行列計算，オイラー角の計算など）が，付録として読みやすくまとめられているので必要に応じて参照できる．また，本書の理解を助けるために，概要を説明する動画（※）も筆者らにより，用意されている．キーワードの具体的説明等も含まれて
おり，動画により本書の雰囲気もわかるため，合わせて視聴することを是非お勧めしたい．
最後に，本書籍及び動画の内容について丁寧な感想を頂くとともに，議論に参加頂き，本紹介文の作成にご協力頂いた
弊社 岡野 裕氏，林 将之氏に感謝の意を表する．
（編集委員 牧田孝嗣 記）※ https://www.coronasha.co.jp/np/isbn/9784339029093/

345

理事会だより
第 308 回理事会

１． 日時：2020 年 6 月 26 日（金）14:00-15:00
２． 場所：Zoom によるオンライン開催
３． 出席者：新旧理事 24 名 監事 2 名
出席者：29 名【会長】
斎藤(旧)、田中【副会長】 吉田、土橋、児玉、竹島【編集】
佐藤(旧)、上倉、関野 【企画】和泉(旧)、田坂(旧)、谷口、深見、柿本、北
【財務】
田中
【総務】
春日(旧)、竹村、安藤、宮崎【技術専門】大西、石原、盛岡、櫻井【地方】【監事】中根(旧)、伊藤＜事務局＞浮ヶ谷事務局長、関沢アドバイザー<オブザーバ>井上４． 議題・資料
議 題
報告事項（１）総会の報告（２）自己紹介(退任・留任・新理事)担当

付番＜斎藤会長＞

総会資料(表２) 表紙裏
総会資料
P20・21・22<全員>頁（３）画像電子学会会長就任にあたって<田中会長>（４）法人登記書類提出(住民票等)のお願い <事務局>
５． 議事（司会：吉田副会長、議事録：竹村総務理事）

第 309 回理事会

１．日時：2020年7月17日（金）18:30-20:10
２．場所：Zoomによるオンライン開催
３．出席者：理事20名
総出席者：22名【会長】田中【副会長】吉田，土橋，児玉，竹島【編集】関野，上倉，北岡【企画】柿本，深見，上条，谷口，北【財務】田村，田中【総務】宮崎【技術専門】大西，盛岡，櫻井【地方】久保
＜事務局＞浮ケ谷事務局長，関沢アドバイザー
４．議題・資料担当
付番（１）前々回および前回議事録確認＜司会者土橋副会長＞ 309-001-1
309-001-2
承認事項担当付番頁（２）議題１：2020年度活動方針＜田中会長＞
309-002-1（３）議題２：2020年度活動目標とスケジュール ＜田中会長＞
309-003-1（４）議題３：次年度年次大会開催構想、実行委員長決定＜田中会長＞
資料無し（５）議題４：次期IEVC(IEVC2021)開催構想、実行委員長決定＜田中会長＞
309-005-1
報告事項（６）報告１：企画委員会報告＜谷口企画委員長＞
309-007-1（７）報告２：編集委員会報告＜児玉副会長＞309-008-1（８）報告３：年次大会準備状況報告＜吉田副会長＞309-009-1
346

頁
1
5
7
10

11
13
15
17

（９）報告４：技術賞の再募集について＜事務局・技術専門理事＞（10）報告５：VC賞の学会誌掲載について＜事務局＞（11）報告６：今年度理事会日程について＜事務局＞
５．議事（司会：土橋副会長、議事録：宮崎総務理事）

第 310 回

309-010-1 20
309-011-1 22
309-012-1 24

理事会

１．日時：2020 年9 月18 日（金）18:30-20:00
２．場所：Zoom によるオンライン開催
３．出席者：理事24 名
総出席者：28 名【会長】 田中 【副会長】 吉田，土橋，児玉，竹島【編集】 石川、関野、上倉 【企画】 柿本，深見，上条，谷口，北【財務】 田村、長谷川，田中 【総務】 竹村、宮崎、安藤【技術専門】大西、石原、盛岡 【地方】 久保【監事】 伊藤＜事務局＞浮ケ谷事務局長，関沢アドバイザー＜IEVC2021＞内田実行委員長、金田副実行委員長
４．議題・資料担当
付番（１）前回議事録確認＜司会者 竹島副会長＞
310-001-1
承認事項 担当 付番 頁
（２）議題１：2020 年次大会準備状況確認、インターンセッションの進捗＜吉田副会長・土橋副会長＞
310-002-1（３）議題２：IEVC2021 実行委員会、開催場所等決定＜内田IEVC 2021 委員長＞
310-003-1（４）議題３：上半期決算素案作成＜事務局＞
310-004-1（５）議題４：2021 年次大会準備状況確認 ＜児玉副会長＞
資料無し（６）議題5：セミナー委員会から
１．第2 種研究会にドローン（DRC）研究会を新たに設置する提案
２．「第2 種研究会の活動状況と今後の対応」について＜深見セミナー委員長＞
310-005-1
報告事項（７）報告１：編集委員会報告＜児玉副会長＞310-006-1（８）報告２：企画委員会報告＜谷口企画委員長＞
310-007-1
５．議事（司会：竹島副会長、議事録：安藤総務理事）

頁
1

5
14
19

21
24
26

協賛案内
<協賛のお知らせ>
会合名

開催日時

開催場所

主 催

連絡先

参加費/その他

ISOM’19(光メモリ・画像・計測国際シンポジウ
2020/11/29-12/02
ム)

サンポート高松一般社団法人日本光学会

TEL 03-5925-2840
光メモリ・画像・計測国際シンhttps://www.isom.jp/
ポジウム（ＩＳＯＭ）事務局（株）
アドスリー内

第27回ディスプレイ国際ワークショップ（IDW ’
2020/12/9-1120）

福岡国際会議場

映像情報メディア学会（ITE）＆ Society for Information
Display（SID）共催

TEL 03-3263-1345
一般社団法人 ディスプレイ国 https://www.idw.or.jp/IDW2
際ワークショップ事務局
01stAnnounce.pdf
IDW ’20 事務局

日本学術会議 公開シンポジウム
科学的知見の創出に資する可視化 (5)：ICT ／ビッグデータ時代の文理融合研究を支援する可視化

2020/12/12

オンライン開催
配信拠点：立命館大学びわこ・くさつキャンパス

可視化情報学会，日本シミュ 立命館大学情報理工学部 田https://www.jsst.jp/even
レーション学会，画像電子学 中覚会，芸術科学会，画像情報教 （stanaka@is.ritsumei.ac.jp） t/2020/2020_sympo05_p
育振興協会（CG-ARTS），共 慶應義塾大学理工学部 藤 oster_ver1.1.pdf
催
代一成（ifujishiro@keio.jp）

ACM CHI 2021

2021/ 5 /8 ～13

パシフィコ横浜
North 他

Association of Computing
Machinery (略称 : ACM)347

北村喜文(東北大学教授） 東
北大学電気通信研究所
http://chi2021.acm.org/〒9 80 8577 仙台市青葉区片平211

2020年度画像電子学会研究会等予定

研究会等名

開催日

場所

テーマ

Media Computing
Conference 2020第48回年
次大会/VC2020

12月2日(水)-4日
(金）

オンライン

今日も画像電子技 申込締切済
術の一日なり
原稿締切済

第11回VMAワークショップ 1月予定

第295回研究会

2月予定

首都圏予定

共催
（6/25-27より延期）
共催：DSG

松山大学

首都圏予定

3月予定

首都圏予定

*研究会の場合，いずれも「画像一般」を含む

記事(「今日も生涯の一日なり」
福沢諭吉）

第296回研究会-映像表現/ 3月予定
芸術科学フォーラム
第49回VMA研究会

締切

画像一般

共催

*空欄部は未定*上記の予定は変更になる場合があります

問合わせ先：〒116-0002 東京都荒川区荒川3-35-4-101
一般社団法人 画像電子学会
TEL：03-5615-2893 FAX：03-5615-2894
E-mail：kikaku@iieej.org
http://www.iieej.org/
http://www.facebook.com/IIEEJ

348

「実践論文」新規論文カテゴリの開設について
画像電子学会 編集委員会
技術的視点に基づく学術論文に加え，近年，事例研究やフィールドワーク等の実践的な視点からの研究が拡大しており，その研究の成果を本学会会員だけでなく，他の画像電子関連技術開発者や画像アプリケーション開発者等に広く周知していくことが求められている．特に，本学会の係わる画像電子関連分野は，製品開発だけでなく，人間の日常生活向上に係わるアプリケーションとしての利活用範囲が急速に拡大している．
以上の背景に鑑み，本学会において，新たな論文のカテゴリとして，「実践論文」を設けることとした．本
論文の定義，および評価方法について概要を示す．なお，本論文は画像電子学会誌に掲載することとする．
1. 定義
画像電子技術分野及びその応用分野において，技術的な解決法を与える，所謂，技術論文（本学会では単に論文）とは別に，事例やフィールドワークに関する発見，工夫，既存技術の新たな組み合わせ等で，読者に有益な情報を与えるものを，実践論文として位置付ける．特に，事例設計の客観性を基礎づける相互主観性を有するものであり，特別な事例（フィールドワークも含む）から，他の事例（一般事例も含む）へ発展
できるもの（一般法則化，利活用，応用など）を記した論文である．なお，画像関連技術・開発・利活用に関する事例研究（フィールドワーク，システム開発，システム導入例，ソフトウェア実装，アプリケーショ
ン開発例，表示・提示方法，入出力インターフェース開発事例，試験・評価方法，サービス，データベース
作成等の実例）（以下，事例と呼ぶ）を対象とし，技術分野の範囲は一般論文と同様とする．
本論文は，導入（試験，提案を含む）事例が合目的性を有し（明確な目的に沿い），導入事例の適用範囲に独自性があり，他のシステム（サービス）への拡張性を有し，現状の画像電子技術に係るサービスを改善し，独自の知見が具体的な事例として示されている論文で，原則として刷り上がり 6 頁以内とする．
2. 評価方法
実践論文は，通常論文の新規性，有用性，信頼性とは異なる次の基準で評価する．ただし，信頼性，了解性（構成と読み易さ），及び文献調査においては，基本的に通常論文と共通評価とする．また，査読評価は一
般論文と同様に査読者 2 名以上で査読し，編集委員会において最終判定する．
〇基準の定義 合目的性：投稿内容に合目的性があること．
 独自性：投稿内容に著者の独自性や拡張性があること．
 適応性：投稿内容が先行事例より優れていること．また，本事例の合目的性に対する要求条件及び適用範囲において，本事例が同一条件下で先行事例と比べ，複数の視点で高い適応性を有し，サービスの向上に貢献するものであること．
〇基準の具体例
 合目的性：事例の導入が一定の目的にかなった方法であることが示されていること．また，導入分析
事例の適用範囲において高い合目的性を有すること．
 独自性：事例のもつ先駆的な独自応用コンセプトが示されていること．先行事例の組み合わせであっても組み合わせの独自性，導入事例の適用範囲の独自性，事例構成の独自性，他の事例（システム，サービス）への拡張性，現状の画像電子技術に係るサービスの有効性，得られた知見の独自性などを事例の独自性として認める．
 適応性：事例のもつ適応性を判断するために充分な導入分析結果及び考察が示されていること．提案
事例と先行事例との適応性に関する比較結果が，共通条件下で示されていること．提案事例が先行事
例と比較し，総合的あるいは複数の部分で性能が優れていること，あるいは課題，合目的性に対する要求条件及び適用範囲において，より高い適応性を有していること．
なお，詳細については，学会ホームページ掲載の「論文執筆の手引き」をご確認ください．
3. 投稿方法および問い合わせ先
投稿の詳細は左記 URL をご確認ください．
問い合わせ先http://www.iieej.org/ronbun.html （電子投稿）〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号室 画像電子学会 宛
TEL: 03-5615-2893

FAX: 03-5615-2894

E-mail: hensyu@iieej.org URL: http://www.iieej.org/

349

Call for Papers
オンライン化・リモート化に係る画像利活用事例特集～2021 年 7 月号 実践論文特集号 論文募集～
画像電子学会 編集委員会
今年は，新型コロナウイルス感染症（COVID-19）の感染拡大が，我々の社会生活に大きな影響を与えました．特に，出入国の制限に始まり，国内移動や人と人との接触機会も最大限減らすという，かつて経験したことのない外出自粛生活を強いられることとなりました．この対策として，様々な場面で対面がオンラインへとシフトし，勤務形態のテレワーク化，教育・医療などのオンライン授業化，リモート診療化が飛躍的に進みました．このようなデジタル技術の利活用ネックとなっていた各種規制も，医療分野
や行政手続きなどで急速に緩和が進んでいます．加えて，コロナ禍で旅行・飲食・対面販売などの経済活動が停滞する中，ネット視聴サービスの加入者やネット通販の利用世帯が急増したり，ゲームソフトが爆発的に売れたり，デリバリー産業が急伸するなど，予期せぬ領域での需要の興隆があり，この半年で社会構造が大きく変化しました．
このような状況に鑑み，デジタル化・リモート化が進むテレワークや遠隔教育，オンライン診療など様々な場面における画像関連技術を利活用した事例・フィールドワークに焦点をあて，「オンライン化・リモート化に係る画像利活用事例」をテーマとした実践論文特集号を企画しました．なお本特集は，新しい論文カテゴリの「実践論文」として，募集いたします．下記の幅広い分野に関連した論文を対象としますので，是非，ご投稿下さいますようお願いいたします．
1.

対象分野（キーワード）
テレワーク，遠隔教育，遠隔医療，ロボット工学，執務・認証の効率化，医療・農業・建設業などとの境界領域，産業インフラ／社会インフラ／生活インフラ，AI，IoT，ビックデータ，クラウド，セキュリティ，通信・ネットワーク，画像認識，画像処理・画像符号化・画像入出力・色・画質評価，バーチャルリアリティ・CG・コンピュータビジョン，画像アプリケーション，自動運転，アクセシ
ビリティ，画像一般，など画像基礎・応用技術を活用した事例研究（フィールドワーク，システム開発，システム導入例，ソフトウェア実装，アプリケーション開発例，表示・提示方法，入出力インタ
フェース開発事例，試験・評価方法，サービス，データベース作成等の実例）

2.

論文の取り扱い
投稿様式は，通常の論文投稿と同様です．論文カテゴリとして，実践論文を選択してください．なお，
査読プロセスは投稿の手引きにおいて新しく定めた実践論文の審査基準に則り評価いたします．採録決定が特集号に間に合わない場合には，通常号（学会誌）に掲載いたします．

3.

特集号発行
画像電子学会誌(電子版) 2021 年 7 月号

4.

論文投稿締切日
2021 年 3 月 1 日（月）5.

投稿方法および問い合わせ先
投稿の詳細は下記 URL をご確認ください．
http://www.iieej.org/ronbun.html （電子投稿）
問い合わせ先〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号室
画像電子学会 宛
TEL: 03-5615-2893 FAX: 03-5615-2894
URL: http://www.iieej.org/

350

E-mail: hensyu@iieej.org

Call for Papers
短期特別査読制度に係る論文募集
画像電子学会 編集委員会
短期に査読を実施して欲しいという要望を踏まえて，投稿から最初の判定までを通常の投稿よりも短縮化する「短期特別論文査読制度」（画像電子学会誌, Vol.48, No.2, pp.340-343（2019）参照）に係る論文を，次に示す期間で専門分野を限定して募集いたします．是非，皆様のご投稿をお待ちしております．


募集専門分野「画像符号化」「画像処理（画像認識・特徴抽出）」，「コンピュータグラフィックス」「ビジュアライゼーション」及び「画像処理一般」



募集期間2020 年度 2 次募集期間: 2020 年 11 月 4 日（水）～2020 年 12 月 4 日（金）

受付件数
数件程度（申込順）．想定を超えた数の論文申込がある場合は，ご希望に沿えない場合があります．
ご理解のほどよろしくお願いします．



費用
本制度を利用して論文投稿される場合，通常投稿とは別に投稿料（画像電子学会学会誌 2019 年 4 月
号資料内𝑦）を定めています．今回は，頁当たりの費用（別紙資料内𝑥）を 7,500 円（特別割引価格）
といたします．



手続き方法
本制度を利用するには，投稿予定日 2 週間前までに事務局へ書誌情報を電子メールにて送付する必要があります．
【書誌情報記載例】(1) 論文番号: 20xx-xxxx（後で，事務局が記載するので投稿予定者は記入しないこと．
）(2) 投稿予定日: （本メール送付日より，最低 2 週間後を設定してください．また，予定日より 2
週間以上遅れた場合は，受理通知は無効とし，再度，申込してください．）(3) 第 1 次評価までの希望期間: 特になし あるいは xx 日まで（学位審査予定日・判定限度日等がある場合は，それらの日を具体的にご記入してください．）(4) 論文種別: 通常論文，システム開発論文，ショートペーパー，ショートペーパー（システム開発）(5) 論文タイトル（副題も含む）:(6) 使用言語: 日本語 あるいは 英語（どちらか一方を残してください．
）(7) キーワード: （5 つ程度を記入）(8) 論文概要:（投稿予定の論文の概要を 300 字以上（日本語），或いは，200 ワード（英語）で記述ください．）(9) 頁数見込み: xxx 頁(10) 論文専門分野: （別紙を参照し該当番号を記入ください．複数記入可．）(11) 担当者（第一著者，或いは，論文責任者等）氏名及び連絡先: （氏名・所属・メールアドレス・
電話番号・FAX 番号）(12) その他 要望事項
※ 本制度の詳細および具体的な手続きにつきましては，下記 Web ページを参照ください．
https://www.iieej.org/call-for-papers/tankisadoku/問い合わせ先一般社団法人 画像電子学会 担当: 福島 （E-mail: hensyu@iieej.org）

351

ビジュアルコンピューティング論文特集号

論文募集
画像電子学会編集委員会

ビジョンとグラフィックスの統合を目指したビジュアルコンピューティング研究委員会は 1993 年に発足し、シンポジウムおよびワークショップを通して活発な活動を行ってきております。そこで本年度も、表記の論文
特集号を下記の要領により企画いたしました。採録論文は本学会論文賞の対象にもなりますので、奮って御応募下さい。

1. キーワード グラフィックスの基礎（レンダリング，モデリング，形状モデル，シミュレーション）
 グラフィックスシステム（入出力デバイス，GPU，Web／モバイルシステム） グラフィックスの応用（マルチメディア，アニメーション，可視化，医療応用，地理情報処理） デジタルファブリケーション（3D プリンタ，建築応用，デジタルエンジニアリング）
 エンタテインメント（ゲーム，エージェント・人工知能応用，インタラクション応用)
 VR 基礎・応用（複合／拡張現実，五感インタフェース，視覚心理・認知モデル）
 画像処理（画像の表示・計測・認識等，ビジョンとグラフィックスの融合技術）
 コンテンツ処理（形状・素材データの検索／編集，異種媒体での表示）
これらに少しでも関連をもつ、より新しいまたより広い分野からの研究成果の投稿を期待しています。
2. 論文の種類と取扱い「論文」だけでなく、「ショートペーパー」も受け付けます。取り扱いは通常の論文投稿と同一です。なお採録決定が特集号に間に合わなかった場合には、通常の投稿として扱います。
3. 特集号発行

画像電子学会誌 2021 年 10 月号予定（電子版）

4.

2021 年 2 月 26 日(金) 必着

論文投稿締切日

5. 論文の投稿方法
論文投稿システムよりご投稿ください。
http://www.editorialmanager.com/iieej/
論文投稿にあたっては、下記の論文投稿の手引きをご一読ください。
https://www.iieej.org/call-for-papers/guide-paper-submission/
６．問い合わせ先
画像電子学会事務局〒116-0002 東京都荒川区荒川 3-35-6 ライオンズマンション三河島第二 101 号
TEL: 03-5615-2893
FAX: 03-615-2894
事務局 福島 hensyu@iieej.org
http://www.iieej.org/（電子投稿）
ゲスト編集委員長
ゲスト編集幹事

金井 崇（東大）
五十嵐 悠紀（明大） 井尻 敬（芝浦工大） 佐藤 周平（富山大）

352

Call for Papers
2022 年 1 月号 論文特集号 論文募集
－イマーシブメディア実現のための画像関連技術－
画像電子学会 編集委員会

全天周映像（360 度映像）
，VR，AR，MR などの発展系であるイマーシブメディア（没入型高臨場感メディア）に関する研究が活発に行われています．更に，イマーシブメディアの魅力を余すところなく発揮するためのヘッド
マウントディスプレイ（HMD）の開発やユーザーインタフェースの検討なども並行して進められています．また，
ISO/IEC ではマルチメディア関連の標準化を行っている MPEG において，イマーシブメディアを実現するための技術の標準化（MPEG－I）が進められており，その規格化が完了しつつあります．ITU-T SG16 でも超高臨場ライブ
体験（ILE：Immersive Live Experience）の勧告化が進められ，システム化の機運も高まっています．
本特集では，このようにイマーシブメディアを実現する要素技術に関する論文や，それらの技術を応用して没入型高臨場感システムを実現するための研究に関するシステム開発論文を広く募集いたします．
1. 対象分野（キーワード）
・全天周映像（360 度映像），自由視点画像
・ポイントクラウド，ライトフィールド，ホログラフィ
・ヘッドマウントディスプレイ（HMD）
・ユーザーインタフェース，ユーザーエクスペリエンス・ユーザビリティ，インタラクション
・イマーシブコンテンツ，VR，AR，MR，SR，xR
・CG，画像処理，画像圧縮符号化
・MPEG-I，ILE，・その他関連する 画像基礎技術・画像システム技術

2. 論文の取り扱い
投稿様式，査読プロセスとも通常の投稿論文と同様です．採録決定が特集号に間に合わなかった場合には，通常の投稿論文として取り扱います．英文での投稿も受け付けます（IIEEJ Transactions on Image Electronics
and Visual Computing への掲載となります）．
3. 特集号発行
画像電子学会誌（電子版） 2022 年 1 月号
（英文：IIEEJ Transactions on Image Electronics and Visual Computing Vol.9, No.2 2021 年 12 月発行）
4. 論文投稿締切日
2021 年 5 月 31 日（月）5. 投稿方法および問い合わせ先
詳細は右記 URL をご確認ください．http://www.iieej.org/ronbun.html
画像電子学会 http://www.iieej.org/〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二TEL： 03-5615-2893，

FAX： 03-5615-2894，

353

E-mail：hensyu@iieej.org

101 号室Call for Papers
2022 年 4 月号 論文特集号 論文募集
― クリエイティビティを支援・拡大する画像関連技術 ―画像電子学会 編集委員会
AI 技術は，少子高齢化，人手不足，過疎化 等，成熟型社会が直面する社会課題を解決し，SDGs（Sustainable
Development Goals）の掲げる目標達成の鍵となる技術としても期待が大きく，画像関連分野における適用範囲
も，単なる画像生成，オブジェクト認識の枠を超え，属性指定画像生成，超解像度処理，グレースケール画像のカラー化，線画の色塗りなど，クリエイティビティに関わる分野へと広がりを見せている．
その一方で，クリエイティビティ処理で必要とされる解釈性や結果の予想しやすさについては深層学習技術
が必ずしも得意としていないことや，単純な適用では効果が上がらないとされているヒューマンインタフェー
ス分野への適用などに関して AI 技術の課題が残されているとも考えられる．
本論文特集はクリエイティビティをサポートならびに拡大する各種の画像関連技術を対象とし，深層学習の適用は勿論，それにとらわれない技術も含めた論文およびシステム開発論文を広く募集します．
1. 対象分野(キーワード)
・コンピュータグラフィックス，画像処理，画像認識，画像解析，可視化技術，立体視・コンピュータビジョン，パターン認識，画像データベース・ビッグデータ
・機械学習，深層学習，解釈性，説明性
・ユーザーインタフェース，ユーザーエクスペリエンス，ユーザビリティ，インタラクション
・クリエイティビティ，各種画像システム・画像アプリケーション・画像基礎技術 一般
2. 論文の取り扱い
投稿様式，査読プロセスとも通常の投稿論文と同様です．採録決定が特集号に間に合わなかった場合には，通常の投稿論文として取り扱います．英文での投稿も受け付けます（IIEEJ Transactions on Image
Electronics and Visual Computing への掲載となります）．
3. 特集号発行
画像電子学会誌（電子版） 2022 年 4 月号
（英文：IIEEJ Transactions on Image Electronics and Visual Computing Vol.10, No.1

2022 年 6 月発行）

4. 論文投稿締切日
2021 年 10 月 31 日（日）（英文は 2021 年 11 月 30 日（火））5. 投稿方法および問い合わせ先
詳細は下記 URL をご確認ください．
http://www.iieej.org/ronbun.html（電子投稿）
画像電子学会〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二TEL： 03-5615-2893
FAX： 03-5615-2894
E-mail：hensyu@iieej.org
http://www.iieej.org/

101 号室以上

354

2017 年 1 月 6 日改訂
2018 年 7 月 6 日改訂
2020 年 10 月 2 日改訂

論文投稿の手引き1.

論文投稿(1) 投稿前・ 著者は「論文投稿の手引き」、「スタイルフォーマット」を学会ホームページの「学会誌」、「英文論文誌」欄からダウンロードして、投稿論文の準備をする。
・ 「スタイルフォーマット」は TeX 版、Word 版の 2 種類が準備されており、出版コストおよび出版に至る労力削減のために、TeX 版の利用を推奨している。
・ 原稿には以下の 5 種類がある。
○ 論文：画像電子技術に関する独創的な研究成果、開発結果、検討結果を学術論文（フルペーパー）としてまとめたもの。新しいアイディアの提案を目的とする通常論文であり、新規性、有用性、信頼性、了解性に基づいて評価する。原則として刷り上がり 8 ページ以内とする。
○ ショートペーパー：研究速報的な性格を持ち、部分的にある程度良好な結果、新しい知見が得られたことを研究報告としてまとめたもの。原則として刷り上がり 4 ページ以内とする。
○ システム開発論文：通常論文の新規性、有用性とは別に、既存技術の組み合わせ、或いはそれ自身に新規性があり、開発結果が従来法より優れているか、或いは他システムへ応用可能であり、新しい知見が示されているもの。原則として刷り上がり 8 ページ以内とする。
○ 資料論文：試験、運用、製造などの新しい成果をまとめたもの。あるいは現場の新技術紹介
や提案などで、必ずしも独創的でなくてもよい。
原則として刷り上がり 8 ページ以内とする。
 実践論文：事例やフィールドワークに関する発見、工夫、既存技術の新たな組み合わせ等で、事例設計の客観性を基礎づける、相互主観性を有するものであり、特別な事例（フィールド
ワークも含む）から、他の事例（一般事例も含む）へ発展できるもの（一般法則化、利活用、応用など）としてまとめたもの。原則として刷り上がり 6 ページ以内とする。
※なお事例とは、画像関連技術・開発・利活用に関する、事例、フィールドワーク、システ
ム開発、システム導入例、ソフトウェア実装、アプリケーション開発例、表示・提示方法、
入出力インターフェース開発事例、試験・評価方法、サービス、データベース作成等の実例を示す。
・ 原稿の投稿資格は、論文、ショートペーパー、資料論文、実践論文のいずれも、著者のうち必ず1 名以上は本学会の正会員または学生会員であることとする。
・ 原稿の二重投稿を禁止する。論文、ショートペーパー、システム開発論文、資料論文のいずれも、その採録決定以前に投稿原稿と同一内容のものが、投稿原稿と同一の著者もしくは少なくともその中の 1 名を含む著者によって他の公開出版物に掲載または投稿中の場合には、原則として採録としない。公開出版物とは、内外の書籍、雑誌および官公庁、学校、会社等の機関誌、紀要などをいう。ただし、本学会または他学会（国外の学会を含む）等の年次大会、研究会、シンポジウ
ム、コンファレンス、講演会などの予稿、特許公開公報、当学会編集委員会で認めたものなどについてはこの限りではない。また、本会誌にショートペーパーとして採録になったものについて、検討を重ねて内容を充実させ、論文として再び投稿したものについては二重投稿とみなさない。
(2) 投稿
・ 投稿原稿は、全ての著者情報を削除すること。ただし、参考文献はこの限りではない。
・ 著者は以下の論文投稿のページよりユーザ登録を行った上で、ログインして必要事項の記入と355

「スタイルフォーマット」を使用し作成した論文原稿のアップロードを行う。論文原稿のファイ
ルは pdf 形式（TeX の dvi を変換したもの）または Word 形式とする。 「スタイルフォーマッ
ト」を使用するため、原則として図表等は論文原稿内に組み込む。
（査読の参考となる別のファイルを同時にアップロードすることは可能）
http://www。editorialmanager。com/iieej/
・ 投稿に関して質問がある場合には、学会事務局編集担当者に相談のこと。（連絡先：〒116-0002
東京都荒川区荒川 3-35-4 ライオンズマンション三河島第二 101 号

TEL: 03-5615-2893

FAX:

03-5615-2894 E-mail: hensyu@iieej。org 画像電子学会事務局編集担当 ）2.

論文査読と対応(1) 査読・ 論文原稿は該当専門分野に詳しい査読者によって審査され、「採録」、「条件付採録」または「返戻」のいずれかに判定される。査読結果は、学会事務局より連絡著者宛にメールで通知される。
なお、最終的な採録判定についてはショートペーパーを除き、いずれのカテゴリーの論文であっても 2 名以上の査読者の採録を必要とする。
・ 評価方法○ 通常論文は、次の基準で評価する。
 新規性：投稿内容に著者の新規性があること。
 有用性：投稿内容が学術や産業の発展に役立つものであること。
 信頼性：投稿内容が読者から見て信用できるものであること。
 了解性：投稿内容が明確に記述されており、読者が誤解なく理解できるものであること。
○ ショートペーパーは、通常論文の新規性、有用性とは別に、研究内容に速報性があり、部分
的或いは斬新的な尺度からある程度良好な結果、部分的にでも新しい知見が得られたことを評価する。
○ システム開発論文は、通常論文の新規性、有用性とは別に次の基準で評価する。
 システム開発の新規性：既存技術の統合であっても、組み合わせの新しさ、システムの新しさ、開発したシステムで得られた知見の新しさなどをシステムの新規性として認める。
 システム開発の有用性：類似システムと比較し、総合的或いは部分的に優れていること。シ
ステムとして先駆的な新しい応用コンセプトが示されていること。組み合わせが実用化のために合目的最適性を有すること。性能限界や実利用システムの性能事例が示されていること。
○ 資料論文は、通常論文の新規性、有用性とは別に、試験、運用、製造などの新しい成果、現場の新技術紹介や提案など、必ずしも独創的でなくても優先性があれば新規性として認める。
また、新しい成果が既存技術と比較し優れており、学術や産業の発展に役立つものであればそれを評価する。
○ 実践論文は、通常論文の新規性、有用性、信頼性とは異なる、合目的性、独自性、適応性の基準で評価する。ただし、信頼性、了解性、及び文献調査においては、基本的に通常論文と共通評価とする。
 合目的性：投稿内容に合目的性があること。
 独自性：投稿内容に著者の独自性や拡張性があること。
 適応性：投稿内容が先行事例より優れていること。また、本事例の合目的性に対する要求条件及び適用範囲において、本事例が同一条件下で先行事例と比べ、複数の視点で高い適応性を有し、サービスの向上に貢献するものであること。
具体的な例を示す。

356



合目的性：事例の導入が一定の目的にかなった方法であることが示されていること。また、導入分析事例の適用範囲において高い合目的性を有すること。



独自性：事例のもつ先駆的な独自応用コンセプトが示されていること。先行事例の組み合わせであっても組み合わせの独自性、導入事例の適用範囲の独自性、事例構成の独自性、他の事例（システム、サービス）への拡張性、現状の画像電子技術に係るサービスの有効性、得られた知見の独自性などを事例の独自性として認める。



適応性：事例のもつ適応性を判断するために充分な導入分析結果及び考察が示されていること。提案事例と先行事例との適応性に関する比較結果が、共通条件下で示されていること。
提案事例が先行事例と比較し、総合的或いは複数の部分で性能が優れていること、或いは課
題、合目的性に対する要求条件及び適用範囲において、より高い適応性を有していること。

(2) 査読結果受領後の対応
・ 「採録」の場合、著者は最終原稿の準備（３。に記載）に進む。
・ 「採録（参考意見有り）」の場合、著者は査読者からの参考意見を考慮して論文を修正し、最終原稿の準備（３。に記載）に進む。
・ 「条件付採録」の場合、著者は査読者から示された「採録の条件」に基づき、指定された期日まで（60 日以内）に論文を修正し、照会内容への対応を明記した回答書とともに再提出し、再度審査を受ける。修正論文には、修正箇所がわかるように、色を付けるか、下線を引くなどすること。
また、回答書は必ず添付し、採録条件全てに対し、修正点、主張点、今後の課題などを丁寧に説明すること。
・ 「返戻」の場合、著者は以降のプロセスに進むことができない。査読者から示された「返戻の理由」を吟味して論文内容を再検討し、あらためて投稿することができる。
(3) 修正原稿査読
・ 「条件付採録」で再提出する場合は、回答書・修正清書原稿・修正箇所マーク原稿の修正原稿一式を投稿ページより再提出する。但し、「条件付採録」で指定された期日を過ぎて提出された場合は、新規の初回投稿論文として取り扱われるので注意すること。
・ 再提出された修正原稿は原則として同一の査読者によって再審査され、「採録（参考意見付記を含む）」または｢返戻｣のいずれかに判定される。
・ 以降の対応は（2）と同様である。

3.

最終原稿提出から出版まで(1) 最終原稿提出
・ 「採録」通知受理後は、事務局から最終原稿作成に関するメールが送付されるので、著者はその指⽰に従い最終原稿一式（電子データ）を準備し、指定の期日までに、事務局へ送付する。
・ 最終原稿一式とは、「スタイルフォーマット」を使用して作成した論文原稿のソースファイル（TeX
版または Word 版）、その pdf ファイル、すべての図表の eps ファイル(bmp、 jpg、 png なども含む)、著者紹介用写真（縦横比 3:2、胸より上、300dpi 以上の eps ファイル、或いは、jpg ファイル）であり、これらを zip 等の圧縮ファイルに格納して提出する。
・ 最終論文原稿には、著者名・組織名、著者紹介、必要により謝辞を記入する。
（スタイルファイル内のマクロのフラグを解除する）
・ 採録が決定した著者は、当該論文の掲載料を支払わなければならない。なお、別刷りの購入は任意。（別紙１「別刷価格表」参照）

357

(2) ゲラ刷りの校正
・ 論文掲載号の発行のおよそ１ヶ月前に論文原稿のゲラ刷り（ハードコピー）の確認が依頼される。
著者は指定の期日まで（約１週間）に校正を行い、修正した原稿をスキャンした pdf ファイルを作成し、事務局へメールにて送付する。この際、「別刷り購入票」および「コピーライトフォーム」を記入し、同様にスキャンした pdf ファイルをアップロードする。
・ 本会誌に掲載されるすべての記事については、電子的形態による利用も含め、著作権は原則として本会に帰属する。
・ 「別刷申込書」および「コピーライトフォーム」は学会ホームページの「学会誌」欄からダウンロードする。
（別紙２「別刷申込書」、別紙３「コピーライトフォーム」参照）(3) 出版
・ 最終校正された論文原稿は学会誌、或いは、英文論文誌（電子ファイル形態）としてオンライン出版されるとともに、学会ホームページに掲載される。
以上

358

Visual/Media Computing Conference 2020

2020 年度 画像電子学会 第 48 回年次大会開催案内
Visual/Media Computing Conference 2020
2020 年度 画像電子学会 第 48 回年次大会
・テ ー マ：「今日も画像電子技術の一日なり」（「今日も生涯の一日なり」福沢諭吉）
・開催期日：2020 年 12 月 2 日(水), 3 日(木), 4 日(金)・場
所：オンライン開催
・共
催：情報処理学会コンピュータグラフィックスとビジュアル情報学研究会，
映像情報メディア学会映像表現＆コンピュータグラフィックス研究会
・特別後援：公益財団法人 画像情報教育振興協会（CG-ARTS）
・協
賛：日本画像学会，日本写真学会，日本印刷学会

・名称：・聴講参加費（予稿集付）：正会員・共催・協賛会員 10,000 円，
非会員 15,000 円(注 1)，学生 3,000 円(注 1) 入会希望者については入会金・初年度会費が無料になる特典があります．

【プログラム】詳細につきましては学会のホームページもしくは下記 URL をご覧ください．
https://www.iieej.org/annualconf/nenji2020-top/● 特別講演・ブラックホール画像化－EHT プロジェクトによる史上初の成果－
田崎文得（国立天文台 水沢 VLBI 観測所 特別客員研究員）
・VC2020 より 1 件予定● 中前先生 追悼セッション●

一般／学生セッション・ポスターセッション ・インターンセッション
画像符号化，多次元画像，画像処理・理解，画像システム，VR，画像計測，画像生成，など● 企画セッション・オーガナイズドセッション(OS)・企画 「図書館の現状と将来－図書館のかかえる課題と連携－」「画像ミュージアムとデジタル人文学」「サステナブル・スマートシティ」
・OS 「画像符号化の新たな潮流」「マルチスペクトル画像技術」● VC2020 併催
http://cgvi.jp/vc2020/
情報処理学会コンピュータグラフィックスとビジュアル情報学研究会，
映像情報メディア学会 映像表現＆コンピュータグラフィックス研究会 との合同開催● 表彰式● お問合せ先：画像電子学会 事務局〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二TEL 03-5615-2893
FAX 03-5615-2894
E-mail: kikaku＠iieej.org＊参加申込方法は準備でき次第、ホームページにてご案内いたします。

359

101 号

Preliminary Call for Papers

The 7th IIEEJ International Conference on
Image Electronics and Visual Computing 2021 (IEVC2021)

Shiretoko (Shari), Hokkaido, Japan / Sept. 8-11, 2021

Purpose:The International Conference on Image Electronics and Visual Computing 2021 (IEVC2021) will be held in Shiretoko(Shari), Hokkaido, Japan, on Sept. 8-11, 2021 as the 7th international academic event of the Institute of Image
Electronics Engineers of Japan (IIEEJ) based on the great success of IEVC2007 held in Cairns, Australia, IEVC2010
held in Nice, France, IEVC2012 held in Kuching, Malaysia, IEVC2014 held in Koh Samui, Thailand and IEVC2017 in
Danang, Vietnam, and IEVC2019 held in Bali, Indonesia. The conference aims to bring together researchers, engineers,developers, and students from various fields in both academia and industry for discussing the latest researches,standards, developments, implementations and application systems in all areas of image electronics and visualcomputing.



Paper submission:
The official language is English, and authors should submit their papers as PDF through the online submission system,
which will be available around Jan. 2021 at the following IEVC2021 official website:
http://www.iieej.org/en/IEVC2021/
The paper submission guide and IEVC formats (TeX format / MS Word format) will also be provided at this site. The
organizing committee particularly encourages graduate students to present their works in the special sessions that are
now planned by the committee of the conference. The paper submission schedule will be announced soon.
 General Papers:
The general papers category is divided into two types: journal track and conference track.
 Journal Track: Journal track aims to publish the papers on the journal, with a quick review process whensubmitted to IEVC2021. This type of paper will appear in a special issue on “Journal Track Papers in
IEVC2021” in the IIEEJ Transactions on Image Electronics and Visual Computing, Vol. 9, No. 2 (December2021), if accepted through the journal review process. The submitted papers will be also judged asconference papers and accepted papers will be published both in the online proceedings of IEVC2021(indexed by J-stage) and in the USB proceedings.
 Conference Track: Conference track aims to present the papers about recent results and preliminary work at
IEVC2021. Accepted papers will be published both in the online proceedings of IEVC2021 (indexed by
J-stage) and in the USB proceedings.
 Late Breaking Papers:
All suitably submitted papers for this category will be accepted for the conference. The authors must submit an
abstract of which length is 1 page, and select one from the following two types: 1) Technical papers or 2)
Art/Demo papers. All the registered papers as late breaking papers will be published only in the USB proceedingsof IEVC2021.



Topics:
The conference will cover a broad set of research topics including, but not limited to, the following:
Image and video coding
Image analysis
Segmentation and classification
Image recognition
Image restoration
Object detection
Motion analysis
Data hiding
Bioinformatics and authentication
Image and video retrieval
Digital museum, digital archiving
Content delivery
Image assessment
Printing and display technologies
360

Visual communication
Mobile image communication
Hardware and software implementation
Modeling
Rendering
Visualization
Animation
Interaction
Non-photorealistic rendering
Content production
Virtual reality, augmented reality, and mixed reality
Artificial intelligence and image processing
Security and privacy
International standards

Further information:
After the conference, the Trans. on IEVC of IIEEJ is planning a forthcoming special issue on “Extended Papers
Presented in IEVC2021”, which will be published in June 2022. More detailed information will be notified on the
IEVC2021 website and the Journal of IIEEJ.

Organizing Committee:


















Honorary Chair
Kiyoshi Tanaka (Shinshu Univ.)
Conference Chair
Osamu Uchida (Tokai Univ.)
Conference Vice-Chairs
Naoki Kobayashi (Saitama Medical Univ.)
Kitahiro Kaneda (NAGASE & CO., LTD.)
General Chair
Yukinobu Taniguchi (Tokyo Univ. of Science)
General Vice-Chairs
Yoshinori Dobashi (Hokkaido Univ.)
Hideki Komagata (Saitama Medical Univ.)
Tomokazu Ishikawa (Toyo Univ.)
Kenji Mizutani (Tokai Univ.)
Technical Program Committee Chair
Mei Kodama (Hiroshima Univ.)
Technical Program Committee Vice-Chairs
Yuriko Takeshima (Tokyo Univ. of Tech.)
Masahiro Ishikawa (Saitama Medical Univ.)
Syuhei Sato (Toyama Univ.)
Finance Chairs
Kiyoshi Tanaka (Otsuma Women’s Univ.)
Osamu Ukigaya (IIEEJ)
Publication Chairs
Kentaro Takemura (Tokai Univ.)
Tomoaki Moriya (Tokyo Denki Univ.)
Executive Advisors
Fumitaka Ono (Tokyo Polytechnic Univ.)
Takafumi Saito (Tokyo Univ. of Agriculture and Tech.)
Masanori Kakimoto (Tokyo Univ. of Tech.)Secretary-generals
Rieko Fukushima (IIEEJ)
Kyoko Honda (IIEEJ)
361

アレキサンダー・ベイン賞候補推薦募集
2020 年 10 月 30 日
一般社団法人画像電子学会会 長 田中 清
本学会では，画像工学の学術の進展に対して卓越した業績のあった会員，または産業界の発展に特別の功労がありその功績が顕著であった会員へのアレキサンダ
ー・ベイン賞推薦候補を募集します．
別紙の候補者推薦書にご記入の上，2021 年 2 月 16 日（金）必着で学会事務局までにメール添付で送付ください（推薦書の電子ファイルは上記学会ホームページ（http://www.iieej.org/）からダウンロードできます）．
アレキサンダー・ベイン賞規程（抜粋）第１条 本会定款第４条に基づく画像工学に関する学術に関し卓越した業績のあった者，または産業界や本学会関連事業に関し特別の功績があった者に対し，本規程による表彰を行う．
第７条 本賞は，10 年を超えて本学会会員である者を受賞対象とし，過去に本賞を受賞していない者のうちから，原則として毎年若干名以内を選定し贈呈する．
第８条 各年度に適切な該当者がいない場合は，該当者なしとする．
第９条 本賞として，賞状および記念メダルを贈呈する．
アレキサンダー・ベイン賞選定手続き規程（抜粋）第２章 選定委員会選定細則
第５条 アレキサンダー・ベイン賞の一般推薦の推薦状フォーム並びに推薦締め切
り期日については期日前にフェロー会員に周知する．
２．推薦状にはフェロー会員 2 名の推薦を必要とする．
３．推薦状フォームは本規程別紙に掲げるものを使用する［贈呈式］
2021年の総会で行う予定です．
上記，アレキサンダー・ベイン賞規程等の詳細は当学会ホームページ（https://www.iieej.org/admission/arexande/）を参照してください．
以上

362

別紙
アレキサンダー・ベイン賞受賞候補者名

氏名
会員番号， 在籍年数
所属， 住所，
電話番号，
メールアドレス

受賞候補者経歴

学歴，職歴：

候補者推薦書本学会での活動歴：

学術的業績，産業的貢献，社会的貢献：

推薦理由（サイテーション）
主たる功績（いずれか，または複数に○印）（１）学術的業績（２）産業的貢献（３）社会的貢献（４）学会活動

推薦理由

受賞候補者の推薦者（１）
氏名（フェロー認定年） （２）

(
(

363

)
)

画 像 電子 技 術賞 候 補の 推 薦の お 願い
画像電子学会では，画像電子に関する極めて優れた製品，システム，デバイスを開発した個人またはグループを毎年若干件選出して画像電子技術賞として表彰します．つきましては，本技術賞に相応しいと思われる候補（個人もしくはグループ）を下記要領に従って，推薦下さるようお願い致します．なお，選定は画像電子技術賞選定委員会で行います．
記・推薦者の資格：本学会正会員であること（一人１件に限る）．
・候補者の資格：表彰時において，本学会会員であること．
・推 薦 方 法 ：次頁の推薦用紙またはこれをコピーしたものに，（１）推薦する個人もしくはグループ全員の氏名，所属（連絡先）（２）推薦する製品名，システム名，デバイス名（３）推薦理由（４）推薦者の氏名，所属，住所，電話／ＦＡＸ番号，e-mailを記入の上，学会あてＦＡＸ，郵便またはe-mailでお送り下さい．
尚，推薦理由を裏付ける資料があれば，その案内（論文の場合であれば，題目，発表機関，ＶＯＬ．ＮＯなど）を推薦理由欄に付記して下さい．
・推薦の締切：2021年2月16日 (金）
・送 付 先：〒116-0002 東京都荒川区荒川三丁目35番4 ライオンズマンション三河島第二 101号
画像電子学会〈TEL〉03-5615-2893〈FAX〉03-5615-2894〈E-mail〉hyoujun@iieej.org
・表彰内容：楯及び表彰状を贈呈します．
・表彰方法：通常総会の席で表彰するとともに，学会誌に解説を掲載します．
・技術展示：受賞技術は，2021年の年次大会にて技術展示をお願いします。
・画像電子技術賞授賞リスト（最近の例）
受賞年度 受賞技術名もしくは製品・システム名＜受賞者所属先＞
2018年：羽虫の群れの動き生成システム＜北海道大学大学院情報科学研究科＞（2件） 展示会見学体験向上を目的とするユニバーサルオブジェクト認識技術を用いたMICEアプリの提供＜NTTサービスエボリューション研究所＞
2017年：アクティブ照明と多視点カメラ入力による実時間インテグラル立体表示（2件）＜名古屋大学大学院工学研究科/日本放送協会＞
視覚の知覚メカニズムを活用した視点移動対応裸眼3D映像スクリーン技術＜日本電信電話株式会社/東北大学＞
2016年：24時間連続稼動全天球ライブストリーミングカメラ RICOH R Development Kit＜㈱リコー 技術経営センター＞
2015年：メガネなしテーブル型3Dディスプレイ技術 fVisiOn＜ﾕﾆﾊﾞｰｻﾙｺﾐｭﾆｹｰｼｮﾝ研究所/NICT＞
2014年；ﾃﾞｼﾞﾀﾙｻｲﾈｰｼﾞ広告効果測定のための群衆画像解析技術 ＜NTTﾒﾃﾞｨｱｲﾝﾃﾘｼﾞｪﾝｽ研究所・他＞
2013年；映像同期型AR技術 Visual SyncAR＜NTTメディアインテリジェンス研究所＞
2012年；前庭動眼反射を考慮したバーチャル眼鏡レンズシステム＜東京工科大学，他＞
2011年；ＣＧによる手話アニメーションの自動生成システム＜ＮＨＫ放送技術研究所＞
2010年；光透かしを用いた符号情報埋め込み技術＜(有)YITコンサルティング，神奈川工科大学）
画像電子技術賞表彰規定

2015年9月4日改訂

第1条（目的）
画像電子技術賞は，画像電子に関する極めて顕著な新しい技術，製品，システムを開発した個人またはグル－プを毎年若干件選出して表彰するものである．
第2条（選定）画像電子技術賞は，別途定める「画像電子技術賞候補選定手続規定」に従って候補を選出し，理事会で決定するものとする．但し，過去に受賞した個人または
グル－プは候補から除く．
第3条（表彰）
画像電子技術賞は，楯および表彰状とし，毎年通常総会で表彰するとともに，学会誌上で紹介する．なお，年次大会にて技術展示を依頼する．
364

画像電子技術賞候補推薦用紙＜技術・製品または，システム名＞＜受賞候補者＞（複数の場合は全員ご記入ください）

氏

名

所

属

TEL／ FAX／
e-mail＜推薦理由または参考資料＞

＜推薦者＞
氏名：
所属：
TEL：
FAX：
e-mail：365

2020年度フェロー候補推薦募集
2020年10月30日
一般社団法人画像学会
会

長

田中

清

本学会では，学術上の業績，学会活動の活性化，教育・社会活動への取り組み，標準化活動などにおいて，特に貢献のあった会員に対しフェローの称号を授与する制度を設けています．フェロー
称号認定につきましては以下の通り実施致しますので，フェロー候補の推薦をお願いします．なお，
本情報は学会ホームページからも参照できます．
［推薦募集要領］
別紙のフェロー候補推薦書にご記入の上，2021年2月16日（金）必着で学会事務局までにメール添付で送付ください（推薦書の電子ファイルは学会ホームページからダウンロードできます）．選
定委員会で審査の上，理事会で決定されます．
なお，条件，資格等はフェロー制度規程[pdf] 学会ホームページもしくは画像電子学会誌 Vol.39
No.3 pp339(2010)に記載されていますので参照して下さい．また，候補者１名に対し推薦者は 2名必要ですが，その内少なくとも一人は候補者と同一の機関に属されない方といたします．
［称号授与］
フェロー称号授与式は2021年の総会で行う予定です．
以上366

画像電子学会フェロー候補推薦書
フェロー候補者

氏名
会員番号， 在籍年数
所属， 住所，
電話番号，
メールアドレス

候補者略歴

学歴，職歴：

本学会での活動歴：

業績；（特に，本学会分野での業績）

功績内容（サイテーション）（２２文字以内）
主たる功績（いずれか，または複数に○印）（１）工学的・科学的先駆者 （２）学会活動推進者 （３）技術開発指導者 （４）教育者（５）標準化・社会活動

推薦理由

フェロー候補の推薦者
氏名（会員番号）
（注）

（１）
（２）

(
(

)
)

記入スペースが不足する場合はそのまま行数を増やして書いてください．複数ページでも結構です．

367

代議員候補推薦のお願い
一般社団法人 画像電子学会
代議員選挙管理委員長

画像電子学会では，2021年度の代議員改選を行います．
下記の要領で代議員のご推薦をお願いします．
1)代議員とは
毎年１回6月に開催される総会に出席し，予算，決算，役員，事業計画など学会の重要事項につき審議する役割の人です．以前の総会には正会員なら誰でも出席し審議に参加出来たのですが，代議員制では正会員及び名誉会員を代表する形で代議員が総会に出席することになります．
総会は，学会の最高議決機関ですのでそれに正会員及び名誉会員を代表して出席する重要な役割を担うことになります．
2)代議員の人数と任期は30人ぐらいで，任期は2年で（2021年選出の方は，2021.6.総会日～2023.6.総会前日），
2期程度とします．
3)選出する方法は立候補及び学会の正会員，名誉会員などからの推薦により候補を定め，正会員，名誉会員の選挙によって選出します．
4)どのような人が代議員になれるのか
代議員は正会員，名誉会員から選出されます．但し役員（理事，監事）に就いている人は代議員になれません．
5）推薦決定及び選挙方法はご推薦頂いた方を代議員選挙管理委員会にて資格審査し信任方法で選挙を行います．
学会の発展のためにお尽力頂ける意欲的な方をご推薦下さい．
勿論自薦でもかまいません．よろしくお願いします．
・推薦及び送付方法：添付の推薦書に必要事項を記入しメール又はFAXで事務局 浮ヶ谷宛にお送り下さい．
・送り先：FAX；03-5615-2894 E-mail；hyoujun@iieej.org
・締め切り日：2021.2.19(金)・推薦の場合は，被推薦者の了解を得ておいてください．（非会員の場合は推薦後正会員に入会頂きます）

氏 名
所属・役職
住所
TEL・FAXe-mail

推薦者＜参考＞ 代議員選挙規程（必要な方は，事務局へお申し込み下さい．メールでお送りします）

368

日本画像学会誌

第 59 巻第4号

目次(通巻 246 号)

2020 年

巻頭言
会長への就任にあたって㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
佐藤利文…358( 2 )論文
液滴の乾燥，浸透シミュレーション技術の構築とインクジェット画質課題への適用㌀㌀㌀㌀
高橋良輔…359( 3 )Imaging Today「カプセル化技術」
Introduction ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
石田稔尚，宮本栄一，山﨑 弘，竹内達夫…366( 10 )マイクロカプセルの現状と応用展開㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
田中眞人…367( 11 )森下仁丹におけるカプセル技術とその展望㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
西川雄大，橋本 拓…376( 20 )感熱・感圧記録材料におけるマイクロカプセル技術㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
島田浩一…387( 31 )ポリマーを用いた自己修復材料の動向とそのアプローチ
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
朴 峻秀，大﨑基史，髙島義徳，原田 明…395( 39 )マイクロカプセルを用いたネジ用接着剤㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
曽我哲徳…404( 48 )電子写真におけるカプセル化技術㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
山﨑 弘…409( 53 )Imaging Highlight
紙でできることは紙で ―プラスチック代替素材としての紙製食品包装資材の開発―
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀内村元一…419( 63 )教育講座
視覚工学（Ⅰ）―視覚の基礎：眼球光学系と網膜―㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
内川惠二…423( 67 )研究室訪問
飯野裕明 研究室 東京工業大学 科学技術創成研究院 未来産業技術研究所
情報イノベーション研究コア㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀430( 74 )
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀433( 77 )2019 年度日本画像学会表彰 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
446( 90 )一般社団法人 日本画像学会第 63 回定時総会資料 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀456(100)
会告㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀457(101)
投稿案内 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀458(102)
日本写真学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀459(103)
日本印刷学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀460(104)
画像電子学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
461(105)
Journal of Imaging Science and Technology の目次㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
462(106)
中国学会誌（影像科学与光化学）の目次 ㌀
画像閑話

令和二年編集委員
編集委員長
中 村 一 希（千 葉 大 学)
編集副委員長 水 野 知 章（富 士 フ イ ル ム)
秋 山 勇 治（キ ヤ ノ ン)
編集委員
秋 山
新 井
池 田
石 田
石 塚
岩 田
梅 津
北 野

勇
啓
光
稔
一

治 ( キ ヤ ノ ン )之 (日本工業大学)
弘 ( 三 菱 製 紙 )尚 ( シ ャ ー プ )輝 (コニカミノルタ)
基 (大阪府立大学)
信二郎 ( 早 稲 田 大 学 )
賀 久 (富士ゼロックス)

編集幹事
編集副幹事

秋 山 勇 治（キ ヤ ノ ン)
石 塚 一 輝（コニカミノルタ)

木 村 正 利 (元富士ゼロックス)
黒 沢 俊 晴 ( 千 葉 大 学 )高 橋 正 樹 (東芝テック)
竹 内 達 夫 (元キヤノン)
朝 武敦 (コニカミノルタ)
内 藤 裕 義 (大阪府立大学)
中 村 一 希 ( 千 葉 大 学 )中 山 信 行 (富士ゼロックス)

美才治
隆 ( リ コ ー )前 田 秀 一 ( 東 海 大 学 )水 野 知 章 (富士フイルム)
宮 本 栄 一 (京セラドキュメント
ソリューションズ)山 口 大 地 ( リ コ ー )山 﨑
弘 (元コニカミノルタ)

369

日本写真学会誌

83 Ⅲ
巻号（2020 年/令和 2 年）

口絵・口絵解説「画像からくり」
第 50 回 発色・消色の原理に基づく商品
桑山哲郎

写真のある美術館・博物館・資料館


写真ギャラリーやプライベートラボも併設！「エプソンスクエア丸の内」のご紹介
エプソン販売（株）エプソンスクエア丸の内

吉田

泰

私の写真史


私の写真史 / 小林裕幸



会 告



特集

2019 年の写真の進歩

特集2019 年のカメラ

日本印刷学会誌・日本画像学会誌・画像電子学会誌・IIEEJ Transactions on Image Electronics and VisualComputing・掲載論文一覧／イベント案内

LUMIX S1H の開発

解説

玉置亮輔



FUJIFILM GFX100 の開発

解説

重歳基雄・河合智行・堀井洋史・粟津亘平



SIGMA fp の放熱機構

解説

川端顕吾



キヤノン RF レンズ用 F2.8 L IS ズームレンズシリーズの開発

解説

田村昌久・川波昭博・畠田隆弘・市瀬晴信

西部支部

特集



西部支部特別講演会
岩崎

―特集にあたって―仁

壁画撮影を深化する〜高精細はあたりまえ

解説

壁画記録撮影の進歩と利活用〜

中村一郎



大判印画の詳細読解による鉄道開業時の史実解明

解説

西城浩志



八幡製鐵所の古銀塩ガラス乾板の画像復元プロジェクトの報告

解説

岩本康平

解説

解説

ベアト写真とシュリーマン旅行記で辿る 1865 年の江戸
高田俊二



一般社団法人日本写真学会



会 報

第 9 回 定時社員総会

理事会抄録，入会のおすすめ

編集委員：久下謙一，稲垣由夫，岩崎仁，桑山哲郎，幸野朋来，水口370淳，西垣仁美，宮本成悟，山田勝実

日 本 印 刷 学 会 誌

目次

第 57 巻

第 4 号（2020 年 8 月）

巻頭言印刷ビジネスは進化し続ける. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 髙木 豊
総説 特集「食品の安全と印刷」
食品のトレーサビリティシステム . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 岡 友哉
印刷用基材「透明バリアフィルム」の最新動向. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 山本俊巳
食品包装と印刷インキ . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 太田伸彦
食品包装用印刷インキを巡る国内外の法規制動向 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 西 秀樹
軟包材用接着剤と食品安全 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 上村太一
器具・容器包装の安全性確認試験について. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 金子貴義
論文
紙とペン活用力尺度の開発：紙とペンの 7 つの価値. .  .  .  .  .  .  .  .  .  .  . 大村賢悟・柴田博仁
Abstract . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
文献紹介. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
学会だより . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
日本印刷学会賛助会員名簿 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .

日本印刷学会誌編集委員
編集委員長
委
員

幹
事
表紙デザイン

東 吉彦（東京工芸大学）				 編集副委員長 矢口博之（東京電機大学）
江前敏晴（筑波大学）					 秋山宏介（特種東海製紙（株））			 杉山 徹（大日本印刷（株））
高橋 敦（共同印刷（株））			 因埜紀文（富士フイルム（株））			 寺本 悟（（独）国立印刷局）
井上武治郎（東レ（株））				 細井 功（東洋インキ（株））				 茂木雅男（凸版印刷（株））
前田秀一（東海大学）
小関健一
益田宏樹

371

163
164
168
173
178
184
189
195
209
211
213
221

最初に，この夏九州・沖縄地方で相次ぎ猛威を振るった
台風 9 号・10 号の被害にあわれた方々に，心よりお見舞い申し上げますともに，一日も早い復興をお祈り申し上げます．
本号ではビジュアルコンピューティング特集号として 5 件の論文を掲載しています．本特集は，コンピュータビジョン（CV）・コンピュータグラフィックス（CG）及び関連の画像処理に関する幅広い分野を対象として，1995 年から毎年実施
されており，今年は 26 回目にあたります．今回は 8 件と例年より投稿件数は少なかったものの，掲載された論文数は昨年と同数であり，質の高い論文が集まったのではないかと思います．
採録された論文のうち 2 件は深層学習に関するもので，それぞれ，医療分野の内視鏡映像の高精細化，CG アニメー
ションのための植物生長動画作成に応用されており，深層学
習の適用分野の広がりが感じられます．その他には文字を上下反転すると別の文字として読むことができるアンビグラムの自動生成方法の提案，酸素や燃料などによる燃焼過程までを含めた炎の CG シミュレーション，木目込み細工という江戸時代から続く伝統工芸を初心者でも簡単にデザインできる
ようサポートするシステムに関する論文が掲載されており，VC 技術そのものの適用分野も，また大きく広がっていると思います．
論文以外では新副会長の竹島先生による随想，青木正喜名
誉会員を偲んでの追悼文，9 月入学制への移行という大学関係者にとって極めて興味深い内容を考察された小野名誉会員
によるコーヒーブレーク，Photogrammetory に関する講座，東洋大石川研究室の紹介，動画符号化の進化に関するスキャニ
ングなど様々な読み物が掲載されています．更に牧田編集委
員による図書紹介記事として，キャラクタアニメーションの数理とシステムという書籍を紹介しています．キャラクタア
ニメーションは CG においては欠かせない要素の一つであり，CG 分野の研究者の方は勿論，他分野の方も是非ご一読いただければと思います．
新型コロナウィルス(COVID-19)の影響によって国内での生活様式や仕事のやり方が一変して約半年となります．オン
ラインによる会議や講義なども初期の手探りの状態から問題点を改善していく段階となり，画像電子学会会員の皆様の所属組織でも様々な議論と実践がなされていると思います．本学会でも 9 月開催の第 294 回研究会を Zoom によるオンライ
ン開催で実施し，また，12 月に延期された年次大会もオンライン開催とすることが決まりました．年次大会については実行委員長の吉田先生をはじめとする担当委員の皆様により，オンサイトでの開催と遜色のない形態とするべく，どのような実施形式をとれば良いのかを発表者，聴講者，企業スポンサーそれぞれの視点から検討しています．皆様の積極的なご参加をよろしくお願いいたします．また， 編集委員会ではCOVID-19 の影響で外に出られない分をじっくりと研究成果を論文にまとめる機会としていただくよう，期待しており，
新たな論文カテゴリも設け，記念の特集号を企画しました．
皆様の積極的な論文投稿をお待ちしております．
（ゲスト編集幹事 藤澤 誠）○新入会員紹介（2020 年 9 月 30 日）
正会員
今渕 貴志(岩手県立大学)
学生会員
井上 大成(日本大学)
○会員現況
名誉会員
正会員
学生会員
賛助会員
特殊会員

17 名
571 名
62 名
23 社 34 口
34 件

372

画 像 電 子 学 会 誌
第 49 巻 第 4 号 （通巻 254 号）
発行所 一般社団法人 画像電子学会
2020( 令和２) 年 10 月 30 日発行 （年 4 回発行） 〒116-0002 東京都荒川区荒川 3-35-4 ライオンズマンション三河島第二 101 号©2020 画像電子学会

E-mail ： hensyu@iieej.org
http://www.iieej.org/

TEL （03） 5615-2893 FAX （03） 5615-2894 （振替 00180-3-166232）
編集 ・ 発行者 児玉 明

494