Print ISSN 0285-9831
Online ISSN 1348-0316
CD-ROM ISSN 2186-716X

264【デジタルファブリケーションのための画像電子関連技術論文特集】◆【特集論文】ディップフラワーの制作初心者に向けたデザイン支援システム及び制作支援手法の提案◆【特集ショートペーパー】MRI 画像から抽出した頭部と脳の単色3D プリンタを用いた2 色印刷法◆
【システム開発論文】画像処理を用いたミツバチへギイタダニの計数 Android アプリの実装と評価◆【システム開発論文】空撮画像を対象としたInformed-Filters に基づく人検出のC++ AMPを用いた
リアルタイム実装◆【システム開発論文】多数決処理とRS符号を併用したランダム誤り耐性を持つ円形カラー2次元シンボル◆【ショートペーパー】加速度データと座標データを用いたマルチモーダル情報による手話動作認識◆【ショートペーパー】スペクトログラム画像を用いた転移学習の適用による室内音識別一般社団法人Vol.52 No.22023

画像電子学会賛助会員
池 上 通 信 機 株 式 会 社
株 式 会 社A B . d o
科 学 技 術 振 興 機 構
公益財団法人画像情報教育振興協会
桂 川 電 機 株 式 会 社
株式会社 K D D I 総合研究所
株式会社ゲネシスコンマース（2023 年 3 月 31 日現在）

コニカミノルタ株式会社
シリコンスタジオ株式会社
大 日 本 印 刷 株 式 会 社
東 芝 テ ッ ク 株 式 会 社
凸 版 印 刷 株 式 会 社
日本テレビ放送網株式会社
日 本 電 信 電 話 株 式 会 社

日
本
放
送
協
会
株 式 会 社 日 立 製 作 所
富士フイルムビジネスイノベーション株式会社
古 野 電 気 株 式 会 社
三 菱 電 機 株 式 会 社
株 式 会 社 リ コ ー

編集委員会

入会のご案内（委 員 長） 内田 理
（副委員長） 小林直樹，竹島由里子．
（編集顧問） 安田靖彦，富永英義，小宮一三，小野文孝,
羽鳥好律，松本充司，田中 清，児玉 明．
（編集理事） 五十嵐悠紀，池田充郎，井尻 敬，吉川 浩．
（名誉編集
加藤茂夫
幹事）
（編集幹事） 河村尚登, 津田大介，森谷友昭，山田雄一郎．
（編集・
荒井良徳，石川知一，石川雅浩，上平員丈，
査読委員） 大木眞琴，木村俊一, 久下哲郎，倉掛正治，
櫻井快勢，佐藤甲癸，佐藤周平，白川真一,
新谷幹夫，関野雅則，田中賢一，田中 清，
N.P.チャンドラシリ，プレーマチャンドラ・チンタカ ，
豊浦正広，長谷川まどか，濱本和彦，藤澤 誠，
藤代一成，牧田孝嗣，吉田典正，若原俊彦，
Chee Seng CHAN,Paramesran RAVEENDRAN,
KokSheik WONG．

入会ご希望の方は下記ご参照の上，学会ホームページよりお申込頂くか，事務局にその旨ご連絡ください。

（査読委員）

荒川賢一，荒木昭一，有川智彦，伊藤貴之，
五十嵐悠紀，岩切宗利，岩橋政宏，大澤秀史，
尾上孝雄，金井 崇，金子俊一，金森由博，金子 格，
金田和文,北郷正輝，勝間ひでとし， 栗原恒弥，
黒沢俊晴, 洪 博哲，小館亮之，駒形英樹，
小町祐史,今間俊博，斎藤隆文，齋藤 豪,
斉藤文彦，佐藤真知子，篠原克幸，島村 潤，
下馬場 朋禄，白井啓一郎，杉崎栄嗣，瀬崎 薫，
瀬政孝義，高島洋一，高野邦彦，田中芳樹，
高橋時市郎，谷口行信，田村 徹，辻 宏行，
鉄 谷 信 二 ， 中 村 康 弘 ， 納 富 一 宏 ， 包 躍，
林 正樹，福江潔也, 堀田裕弘，本宮隆広，
茅 暁陽，松木 眞，松田浩一，三田雄志，
三ツ峰秀樹，六浦光一，森島繁生，柳原政弘，
藪下浩子，山口隆二，山崎龍次,Hernan AGUIRRE，
Yoong Choon CHANG，Robin Bing-Yu CHEN，
Mochamad HARIADI，Pizzanu KANONGCHAIYOS，
Teck Chaw LING，Keat Keong PHANG，
Nordin BIN RAMLI．

（事務担当）

浮ヶ谷 修，福島 理恵子，本田京子.

○会員の種別正会員：本会の目的に賛同する個人
学生会員：本会の目的に賛同する学生賛助会員：本学会を援助する個人または法人
特殊会員：本学会の目的に賛同する個人以外の図書室，研究室など○入会金および年会費
入会金：正 会 員 1,000 円
学生会員 500 円
年会費：正 会 員 10,000 円（口座振替 9,000 円）
学生会員 3,000 円
賛助会員 50,000 円（1 口）特殊会員 12,500 円○ご連絡先〒116-0002 東京都荒川区荒川 3-35-4
ライオンズマンション三河島第二 101 号
TEL (03)5615-2893
FAX（03）5615-2894
E-mail: hensyu@iieej.org（編集）kikaku@iieej.org（研究会・会員情報）
hyoujun@iieej.org（テストチャート）
http://www.iieej.org/
http://www.facebook.com/IIEEJ

画 像 電 子 学 会 誌
第52巻 第2号

通巻264号 （2023年4月）

目
随
295

次

想

画像電子学会誌における編集裏話

田中賢一

デジタルファブリケーションのための画像電子関連技術論文特集296

デジタルファブリケーションのための画像電子関連技術論文特集
に寄せて

297

ディップフラワーの制作初心者に向けたデザイン支援システム及び制作支援手法の提案

315

MRI 画像から抽出した頭部と脳の単色3D プリンタを用いた2 色印
刷法

論

編集委員会

文
中島萌子，五十嵐悠紀

ショートペーパー
杉田純一，清沢尭礼

一般論文
システム開発論文
319

画像処理を用いたミツバチへギイタダニの計数 Android アプリの実装と評価

髙山 翼，長谷川まどか

329

空撮画像を対象としたInformed-Filters に基づく人検出のC++ AMPを用いたリアルタイム実装

津山雅彦， 薛 俊峰，森岡隼也，大木琢郎，宮本龍介

339

多数決処理とRS符号を併用したランダム誤り耐性を持つ円形カラー2次元シンボル

寺浦信之，越前 功，岩村惠市

348

加速度データと座標データを用いたマルチモーダル情報による手話動作認識

若尾 吏， 川喜田佑介，西村広光， 田中 博，
三次 仁

357

スペクトログラム画像を用いた転移学習の適用による室内音識別

佐野将太，川喜田佑介，宮崎 剛，田中 博

ショートペーパー

グループ紹介364

北陸先端科学技術大学院大学・創造社会デザイン領域 謝研究室

謝 浩然

スキャニング368

オブジェクト指向雑記（その1）—データ構造とアルゴリズムからモノと感性によるプログラミングへ—

大野邦夫

図書紹介
373

はじめてのパターン認識ディープラーニング編

会
374
375
376
378
380
382

田中賢一

告・ニュース

理事会だより
画像電子学会研究会等予定
IEVC2024 in 台湾 台南 Call for Papers
2023年度 第51回 画像電子学会 年次大会2nd Call for Papers
画像電子学会 第305回研究会開催案内 in東京 開催案内
Advanced Image Seminar 2023（AIS2023）「メタバースの最前線」開催案内

384
385
389
394
394

2024 年4月号（英文誌6月号） 論文特集号 論文募集－高臨場感映像の
通信・配信を支える設計・実現技術
論文投稿の手引き
日本画像学会誌・日本写真学会誌・日本印刷学会誌目次
会 報
編集後記

The Journal of
the Institute of Image Electronics Engineers of Japan
Vo1.52 No.2 April 2023

CONTENTS
Foreword
295

An Inside Story in the Editing of Journal of the IIEEJ

Ken-ichi TANAKA

Special Issue on Image-Related Technology for Digital Fabrication
296

Upon the Special Issue on Image-Related Technology for Digital
Fabrication

297

A Design and Production Support System for Dipped Flowers

315

Two-color Printing Method Using a Single-color Type 3D Printer for the
Head and Brain Extracted from MRI Images

Editorial Committee

Contributed Paper
Moeko NAKAJIMA, Yuki IGARASHI

Short Paper
Junichi SUGITA, Takara KIYOSAWA

Regular Section
System Development Papers
319

Implementation and Evaluation of Android Application for Counting Varroa
Mites Based on Image Processing

Tsubasa TAKAYAMA, Madoka HASEGAWA

329

Real-time Implementation of Human Detection Based on Informed-Filters
Using C++ AMP for Aerial Images

Masahiko TSUYAMA, Junfeng XUE, Junya MORIOKA,Takuro OKI,
Ryusuke MIYAMOTO

339

Round Color 2D Symbol with Random Error Resilience Using Majority
Processing and RS Codes

Nobuyuki TERAURA, Isao E CHIZEN, Keiichi I WAMURA

348

Sign Language Motion Recognition by Multimodal Information Using
Acceleration Data and Coordinate Data

Tsukasa WAKAO, Yuusuke KAWAKITA, Hiromitsu NISHIMURA,
Hiroshi TANAKA, Jin MITSUGI

357

Classification of Sounds in Room by Applying to Transfer Learning Using
Spectrogram Images

Shota SANO, Yuusuke KAWAKITA, Tsuyoshi MIYAZAKI,
Hiroshi TANAKA

Short Papers

Research Group Introduction
364

xUI Laboratory, Creative Society Design Area, Japan Advanced Institute of
Science and Technology

Haoran XIE

Scanning
368

Various Memories of Object-Oriented Technologies (Part 1) : From Algorithms
with Data Structures to Programming with Objects and Senses

Kunio OHNOBook Review
373

Pattern Recognition for Beginners : Deep Learning Part

Ken-ichi TANAKA

Published four times a year by the Institute of Image Electronics Engineers of Japan（Gazo Denshi Gakkai）
101，3-35-4，Arakawa，Arakawa-ku，Tokyo 116-0002，Japan
Tel：+81-5615-2893 Fax：+81-5615-2894 E-mail：hensyu@iieej.org http://www.iieej.org/

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

画像電子学会誌における編集裏話
田中賢一（長崎総合科学大学）

An Inside Story in the Editing of Journal of the IIEEJ
Ken-ichi TANAKA（Nagasaki Institute of Applied Science）
この記事欄の執筆は，私のような編集委員会の末席に居続けてきた者には本来無縁と思っていた．ところが，今年は編集委員長（1 月号担当）が副会長（4 月号担当）兼務ということで 4 月号の随想執筆を遠慮され，編集委員歴が長いということで私にご指名を賜った．そこでその委員歴の中から裏話とでも呼べる思い出を以下で記してみたい．
私が編集委員会に参画するようになったのは平成 13 年（2001 年）からであったと記憶している．それから，20 年以上経つが，欠席がちな期間もあり，必ずしもずっと真面目な委員ではなかった．実は，7 年前に本拠地を東京から九州に戻したので，そのときは編集委員会を卒業できるよい口実が出来たと思っていた．ところが，そのまま編集委員を継続していると 3 年前に新型コロナウイルスが世界中を襲い，お蔭で Web 会議が一般化し，私のように東京から遙か
1,000km 以上離れた長崎にいても，インターネット回線を経由して編集委員会に参加できるようになった．この結果，
会議時間の競合以外に編集委員会を欠席する理由が見当たらなくなり，それ以来私の出席率は非常に改善されてきている．この状況が，いつまで続くかは別として，編集委員会に参画するための条件の中から関東在住という要素が消えてしまったおかげで，私の編集委員会「卒業」要望に対して見事に留年という指令が突き付けられたわけである．
私が東京に本拠地を置いていた頃の画像電子学会との関わりというと，編集委員会（当時は主に工学院大学で開催されていた）に顔を出し，その帰りに新宿近辺で食べ歩きをし，小田急ロマンスカーに乗って帰宅したことが真っ先に思い出されるのであるが，この 20 年以上の間には，順不同ではあるが，画像電子学会誌のオンライン出版へのシフト，
画像電子学会から教科書シリーズの書籍出版，そして，編集委員会の在り方に関わる真剣で本質的な議論など様々なことがあった．その中で最も印象深い教科書シリーズの書籍出版にまつわる秘話を紹介させていただこう．
さて，今でこそ，幾つかの著書を上梓している私であるが，最初に著書の執筆をしていた頃は，なかなか筆が進まず，対応出版社の編集担当さんに「・・・うーん，不慣れなためか，なかなか進んでおりませんで・・・」を繰り返してばかりいた．丁度その頃，画像電子学会誌では連載技術解説なる企画を組んでおり，「電子透かし」については，当時の小松尚久編集委員長（故人）に企画への参画を依頼され，安請け合いすることになった．その連載が無事終わろうとする頃，小松編集委員長より「学会誌の方は一段落したのでこれを単行本にまとめられるとよいのですが・・・」という趣旨の発言があった．これを聞いて遅々として進んでいなかった自分の著書の代替にもなるのではと考えついた私
は「よし！ここだ！」と思い，依頼を受けていた前記の編集担当さんに，私の原稿の代わりに学会誌の解説記事を教科書として発行する案を相談させていただいたのだ．すると，思いのほかトントン拍子で話が運び，おかげで私は依頼された書籍の執筆が遅れているという負い目から解放され，画像電子学会としては東京電機大学出版局から学会編集の単行本として「電子透かし技術－ディジタルコンテンツのセキュリティ－」を 2003 年に初版発行できることとなった．
その特集編纂にあたって，執筆を引き受けていただいていた田中清前会長（信州大学工学部）をはじめ多くの執筆者には書籍化に於いてもお世話になり，そのご縁で末永いつながりが出来たことは，今でも大きな財産となっている．そう思うと，連載技術解説さらには学会発行単行本の幹事役としての経験を積ませていただいた小松先生に，どう感謝を伝えたらよいのか，分からないほどである．
その後，連載技術解説を基に画像電子学会編として発行された教科書シリーズの単行本は，「カラー画像処理とデバ
イス－ディジタル・データ循環の実現－」（2004 年），
「ディジタル情報流通システム －コンテンツ・著作権・ビジネスモデル－」(2005 年)，「指紋認証技術－バイオメトリクス・セキュリティ－」（2005 年），
「ビジュアルコンピューティン
グ－3 次元 CG による画像生成－」（2006 年），「カラーマネージメント技術－拡張色空間とカラーアピアランス－」（2008 年）と続き，さらには学会創設 35 周年記念の「画像電子情報ハンドブック」（2008 年）にまでつながったといえる．こうして考えてみると，私自身による単行本執筆の進捗が芳しくなかったことの代替案として進めた苦肉の策が，奇しくも学会から累計 6 冊に及ぶ教科書シリーズの発行に役立ったのは何とも幸運であったといえる．
さて，画像電子学会誌は時代の波もあり，2012 年には紙媒体から電子版へと移行した．連続した美しいグラデーシ
ョンからなる背表紙の画像電子学会誌は A4 サイズになったものの，私の本棚には新刊が架かることもないまま，11 年が経過し，現在に至っている．このように大きな変化を感じる期間にわたり，編集委員会に身を置いてこられたことは，
振り返ると感無量でもある．今後も画像電子学会の弛まざる発展に向け尽力したいが，とりあえず出来ることを淡々と実行し続けることが，当面の私の責務であると考えている．
これからの画像電子学会は，そして画像電子学会誌は，どのような進化を遂げてゆくのであろうか．現時点では予測が難しいというのが正直なところであるが，その分，将来を創りあげてゆく楽しみも大きい筈であろうと信じている．

295

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

デジタルファブリケーションのための画像電子関連技術論文特集に寄せて
編集委員会
デジタルデータをもとに創造物を制作するデジタルファブリケーションに関する研究が活発に行
われています．3 次元プリンタやレーザーカッター，3 次元スキャナ，CNC ミリングマシンなど，
様々なファブリケーションツールが一般ユーザにとっても身近になり，個人レベルで新しいものづ
くりが可能となってきました．また，素材に関しても，樹脂を用いた造形の外に金属や木材も可能
であり，電子回路の印刷をはじめとして，様々な素材を組み合わせるような使い方も提案され，MEMSの開発や応用も期待されています．このように，デジタルファブリケーションは単なる製品のラピッドプロトタイピングとしてだけでなく，食品，衣服，建築，医療，教育，エンターテイメントなど幅広い分野で取り入れられる技術となっています．
本特集では，デジタルファブリケーションを実現するための基礎的研究に関する論文や応用した成果に関する論文，及びシステム開発論文や実践論文について広く募集いたしました．4 件の論文投稿をいただいた結果，フルペーパー1 件，ショートペーパー1 件が採録となり，特集号の発行スケジュールに間に合わなかった論文 1 件が現在引き続き審査中です．
採録になった 1 件目はディップフラワー制作というワイヤーを使ったアート作品をデザインするための支援システムおよび制作支援での 3D プリンタ活用の研究です．2 件目は，単色 3D プリンタを用いて複数の臓器を色分けした模型を作製するための手法の提案で，MRI で取得したボリューム
データから頭部と脳の領域を画像処理と深層学習を用いて抽出し，2 色で表現した立体模型を作製する手法の提案です．是非両論文をご一読ください．
様々なファブリケーションツール，プロトタイピングツールが一般ユーザにとって身近に，そして手軽に利用できるようになり，これまで以上に広い分野で研究・開発がされております．今後も本誌では一般論文として当分野の通常論文，システム論文，実践論文等を受け付けておりますので，最新の成果をご投稿いただければ幸いです．
末筆ながら，ご多忙の中，論文の査読をして頂いた方々，編集・出版にご協力いただいた皆様に，心よりお礼申し上げます．
＊特集号編集理事
五十嵐 悠紀（お茶の水女子大学）（五十嵐 悠紀

296記）

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）-- デジタルファブリケーションのための画像電子関連技術論文特集 --ディップフラワーの制作初心者に向けたデザイン支援システム
及び制作支援手法の提案
中 島 萌 子† 五 十 嵐 悠 紀‡(正会員)†明治大学大学院先端数理科学研究科，‡お茶の水女子大学理学部

A Design and Production Support System for Dipped Flowers
Moeko NAKAJIMA†, Yuki IGARASHI‡ (Member)†Graduate School of Advanced Mathematical Sciences, Meiji University, ‡Department of Information Science, Ochanomizu University〈あらまし〉 ディップフラワーとは，ワイヤーで作った輪にディップ液という液体で膜を張って作るガラス細工のような立体的なハンドメイド作品のことである．ワイヤー・ディップ液・ゲージパイプ・ペンチなどの工具があれば誰でも気軽に取り組めるため，初心者でも挑戦しやすい．初心者が抱える主な問題点として「オリジナルデザインの作品制作が困難であること」と「デザインどおりにワイヤーを綺麗に曲げる作業が難しいこと」の 2 つが挙げられる．
また，上手くできないことで，ディップフラワーに興味を持った初心者が自分には難しいと，作ることを諦めてしまう可能性もある．そこで本研究では，ディップフラワーのオリジナルデザイン制作を支援するシステムの開発と，システムで作ったデザインを基に 3D プリンタで出力した花びら型のパイプにワイヤーを沿わせるだけで花びらの形に成形できるようにする支援手法を提案する．提案システムと花びら型パイプによって初心者でもオリジナルデザインの作品制作を簡単にできるようにすることで，オリジナルの作品を手で作る楽しさを知ってもらい，ディップフラワ
ーの制作へのモチベーション向上を目指す．
キーワード：ワイヤーアート, ディップフラワー, デザイン, 制作支援, 治具<Summary> Dipped flowers are three-dimensional handmade glasswork-like artworks made by coating a wire loop with a liquiddip. Anyone can quickly try to make dipped flowers if they have materials and tools, such as wire, dipping liquid, gauge pipes,
pliers, and others. Thus it is easy for even beginners to try their hand at making dipped flowers. On the other hand, many novices
often need help handling dipped flowers. One is that it is difficult for beginners to make a new idea or an original design. The otheris that it is technically challenging to bend wires beautifully, even if they have an artistic plan. In addition, Repeated production
failures may cause them to lose interest in making dipped flowers. As a result, they will give up producing dipped flowers, thinking
that creating dipped flowers is too tricky for them. We conducted this research with the following two goals. First, we develop asystem to assist in producing originally designed dipped flowers. Second, we propose a method to support the production of dipped
flowers by using a petal-shaped pipe printed by a 3D printer as an alternative to a gauge pipe. We encourage the use of the proposedsystem to devise designs and to use petal-shaped pipes as aids in their production. With this proposal, we aim to let people know
the joy of making original works by hand and to increase motivate them.
Keywords: wire art, dipped flowers, design, fabrication, jig

1.

ゲージパイプ・ペンチなどの工具があれば誰でも気軽に取りはじめに組めるため，初心者でも挑戦しやすい．最近では趣味で制作

ディップフラワーとは，ワイヤーで作った輪にディップ液という液体で膜を張って作るガラス細工のような立体的なハしたディップフラワーをフリマアプリなどで販売する人も多い．

ンドメイド作品のことである（図 1）．リースなどのインテリ

制作方法の一つである「複数回巻き」の手順を図 3 に示す．

アや，ネックレス・イヤリング・ヘアピンといったアクセサ

ゲージパイプという専用の治具に花びらの枚数分ワイヤーをリーに使用されている．図 2 に示すワイヤー・ディップ液・巻き付ける（①～②）．巻き付けていない部分のワイヤーの片297

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）．
方を溝に通し，もう一方とねじって輪をまとめる（③～⑤）
ワイヤーをパイプから外し，⑤でねじった部分をペンチで潰して輪がずれないように固定する（⑥～⑦）．その後，手やペンチで形を整えながら花に見えるように輪を開く（⑧～⑫）．
最後にディップ液にワイヤーをくぐらせて膜を張り，乾かしたら完成する．複数回巻きの他には，ワイヤーをゲージパイ
プに 1 回巻き付けて根元を数回ねじってから次の輪を作っていく「ねじり巻き」，輪を 1 つずつ作り最後に組み合わせる「1枚巻き」，ゲージパイプを使わない「クロスねじり」という制作方法がある．基本的に，この 4 種類の方法を用いてベースの形を作り，輪の状態から手やペンチなどの工具で作りたい
花びらの形に変形させて制作していく．ディップ液の色やワ
図 1 ディップフラワー

イヤーの種類は豊富にあるため，適切なものを選択して使用

Fig. 1 Dipped flowers

する．
専門書やインターネットでの調査と，専門家へのインタビ
ュー（インタビュー内容は 7 章，付録 A に記述）より，初心者が抱える主な問題点が 2 つあることがわかった．問題点の1 つ目は，オリジナルデザインの作品制作が困難であることである．初心者は本やネットから気に入ったデザインを選んで記載してある手順どおりに制作し，専門家が作った型紙や完成品などを見ながら作品作りを行うことがほとんどである．
「ディップフラワーの教科書」1)では、実寸型紙付きで制作手順を丁寧に説明してあり，型紙にあわせてワイヤーを曲げていくことができる．しかし，この方法では作り方が載っていないデザインは作れず，すでに誰かが作った作品の模倣しかできない．また，気に入るデザインがあるとは限らない．問題点 2 つ目は，デザインどおりにワイヤーを綺麗に曲げるのが難しいことである．ベースの作り方が先述した 4 種類を主

図 2 ディップフラワーの制作に最低限必要な材料としていて数が少なく，元となる形があまり変わらないため，Fig. 2 Materials needed for production

図 3 の⑧や⑨の手やペンチでベースの輪を変形させる作業で違いを出していくことが必要となる．しかし，ペンチを使い慣れていない人にとって小さな輪を理想の形に変形させていくことは容易ではない．複雑なデザインになればなるほど思いどおりに曲げられなかったり，経験不足からどのように曲げたら良いのかがわからなかったりする．上手くできないことで，せっかくディップフラワーに興味を持った初心者が自分には難しいと，作ることを諦めてしまう可能性も出てくる．
そこで本研究では，オリジナルデザインの作成支援システ
ムと，システムで作ったデザインを基に 3 次元(3D)プリンタで出力した花びら型のパイプを使った支援手法を提案する．
支援対象者は，ゲージパイプを使った従来の制作にまだ慣れていない，単純な形状の制作に取り組む程度の初心者とする．
また，初心者がゲージパイプとペンチで制作できるようになるまでの支援を想定している．
ハンドメイドの楽しさは「自分が作りたい・欲しいと思っ

図 3 ディップフラワーの制作手順の一例（複数回巻き）たものを，必要な過程を踏んで，自分の手で一から作り上げ

Fig. 3 An example of the production procedure (Multiple loops)ていくところ」であると考えている．そのため，必要な情報を入力しただけで完成した作品が出てきたり，全工程を支援

298

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

してほぼ自動化してしまったりといった支援の仕方は，適切ーゼリーを透明なベースゼリーに注入する機構を持つフードではないと判断した．そこで，具体的には次の方法で支援を

3D プリンタと，フラワーゼリーの形状や構造をデザインでき行う．まず，デザイン支援システムで自分が作りたい・欲しるパラメトリックな設計支援ツールを提案している．画面左

いと思った好きなデザインを作成できるようにすることで，側に花びらと 3D の花のデザインが描画されており，ユーザ

オリジナルデザインでの作品制作を可能にする．さらに，花は各パラメータを変更しながらデザインできる．このツール

びら型パイプに沿わせるだけでワイヤーを成形できるようにはフラワーゼリーを対象としているため，花びらの形状以外することで，初心者が苦手なペンチを使って花びらの形に成に花の構造（花弁の傾き，花の層の数など）もデザインでき形する工程を支援する．こうすることで，ワイヤーを思いどるようになっている．本稿で提案するディップフラワーのデ

おりに曲げられず作るモチベーションを無くしてしまう人をザイン支援システムでは，単純な形状の作品制作に取り組む

減らし，今後も作っていきたいと思ってもらえるような支援

初心者を対象としていることから，花の層が一層のデザインを行う．いずれは花びら型パイプを使わずに制作できるよう（二色使う場合は組み合わせて制作するため実際の作品は二にするために，花びらの形に成形する工程以外（図 3 ①～⑦・層構造となっている）に限定するなど，構造に関して制約をディップ液に付ける・ワイヤーを反らせる）については既存設けている．その代わりに，花びらの形状についてのパラメの制作手法と同様にした．ペンチを使用する工程も残すことータを Flower Jelly Printer で提案されている設計支援ツールよで既存手法での作り方の感覚を掴んでもらえる支援手法となりも細かく変更できるようにした．

っている．提案手法により，オリジナルの作品を手で作る楽しさを知ってもらうことと，ディップフラワーの制作へのモ
チベーション向上を目指す．

2.2

ワイヤーのデザイン・制作に関する研究

本稿では，支援ができているかについて「デザインを忠実

立体的なワイヤーデザインの制作を支援する研究として，に再現できているか」で判断しない．人それぞれ，上手くでワイヤーアートを複数の異なる視点(3 カ所)から撮影して立きた・できなかった の感じ方や評価の基準は異なると考えて体形状の推定を行い，それをもとにワイヤーアートを復元す

おり，他人から見たら下手だと思っても，本人は上手くでき

る研究 6)や，ビデオカメラの動きを推定し，その映像から複雑たと思っていて満足しているという場合があり，その逆も起な 3D 構造をした形状のワイヤーアートを再構築する研究 7)こり得るためである．我々は，作った本人が満足できる作品が行われている．2 次元（2D）のワイヤーアクセサリーを制作りの支援ができているか・楽しさを感じてもらえているか・

作 すると きの問 題点に 対処す る計算 設計ツ ールと してディップフラワーへの制作のモチベーション向上につながっ

WrapIt8)が提案されている．入力した図面を少数のワイヤーにているか について重視して考察を行う．

自動的に分解するアルゴリズムを提案し，ワイヤーの分解を制約付きグラフのラベル付け問題として定式化した．分解後，関連研究システムが 3D プリンタでワイヤーの曲げを支援するための花のデザインに関する研究，ワイヤーのデザイン・制作に補助器具（治具）を生成して適切な形状に曲げることを支援

関する研究，ハンドメイドを題材とした初心者支援に関するしている．この治具を用いた初心者ユーザは 30 分未満で様々研究について順に述べる．

な形状のアクセサリーを制作できている．

2.

ディップフラワーにおいてもワイヤーを花びらの形に曲げ2.1る作業があり，初心者が最も苦手とする工程のため，WrapIt の花のデザインに関する研究

ような補助器具によって制作を支援する方法が適している．

花のデザイン支援として，井尻らは植物学における花形図

本稿では 1 本のワイヤーからゲージパイプを用いた既存の制と花序を用いることで，植物学的に正しい構造を保った花を作手法をベースに作れるようにするために，パイプの形状を初心者でも容易に 3 次元モデリングできるツールを提案した

維持しつつ，円形ではなくデザイン支援システムでデザイン

2)．横窪らは，いけばなの初心者を対象としてユーザの手元にした花びらの形にすることで，ワイヤーをパイプに沿わせるある花材をタブレット端末のカメラで撮影し，花材に合わせだけで成形できるようにする手法を提案している．

ていけばなのレイアウトルールを反映することで，その花材に最適ないけばなを提案するシステム CADo を提案した 3)．
また，いけばな経験者を対象として，トラックパッドを剣山，
タッチペンを花材に見立てて，3DCG 空間内でいけばな練習

2.3 ハンドメイドを題材とした初心者支援に関する研究
五十嵐らはぬいぐるみを題材として，ペンタブレットを用いて 3 次元形状をデザインするとシステムが自動的に型紙をを行うシステム TracKenzan4)も提案されている．
Flower Jelly Printer5)では，透明なゼリーの中に花の形をした作成する Plushie9)を提案した．伊藤らは木目込み細工を題材

カラフルなゼリーが浮かんでいるように見えるフラワーゼリ

として，初心者ユーザがスケッチインタフェースを用いておーを対象として，ゼリーの自動造形を可能にするためにカラ絵描きをする要領でデザインを描き，作成したデザインから

299

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

システムが自動的に生成した木目込み細工の型を 3D プリン
タで出力する支援手法を提案している 10)．木目込みを行った
後のイメージ画像を提示する機能によって，完成形をイメー
ジさせながら制作することを可能とした．野崎らは羊毛フェルトを対象に，フェルティングニードルという針で繰り返し刺す作業を代わりに行う 3D プリンタ Felting Deposition
Modeling11)を提案した．ニードルプランニングマシンという機械を既存の 3D プリンタに接続することで実現している．
本研究の題材であるディップフラワーも立体形状であり，平面でデザインを提示するだけでは完成形をイメージしにく
いと考え，木目込み細工のデザイン支援システムのように完（a）2D デザイン画面成形に近い形状で描画した 3D デザインを提示する機能を付与した．ディップフラワーのデザイン支援でも，Plushie や木
目込み細工のデザイン支援システムで採用している自由度の高いお絵描きツールのようにペンでデザインしていく手法を取ることも考えた．しかし，デザインを花に限定しているため「花を描いてみてください」と言われても，典型的なデザ
インの花しか描けないなど，多種多様なデザインを一から創造できる人は多くない．そこで，ある程度の制約を設けてその中から選択するだけで花のデザインができること，パラメ
ータ調整のみでも思いがけないデザインを作れることなどか（b）3D デザイン画面（c）パイプ画面

ら，パラメータを組み合わせてデザインしていく手法 5)をデ

図 4 提案システムの実行画面

ィップフラワーのデザイン制作支援にも採用した．Felting

Fig. 4 Execution screen of the proposed system

Deposition Modeling では，フェルティングニードルを羊毛フ
ェルトに刺して成形する工程を自動化しているが，本稿では自分の手で一から作り上げていくところがハンドメイドの楽しさであると考えているため，自動化して制作支援する方法

デザインを描画した．以降で各パラメータについて述べる．
3.1.1 Parameters：花びらの形状のデザイン

は提案しなかった．ハンドメイドの楽しさを無くさないため専門家へのインタビュー（付録 A）で初心者におすすめすにも，既存手法をベースに制作でき，初心者が苦手とするワるデザインとして「一回巻きや複数回巻きだけでできるようイヤーの成形も補助してくれる花びら型パイプによって，手な単純な形状の花」「ブリッジがないもの」を挙げていた．そで作る作業を残した制作支援を行う．

こで本システムでは，ブリッジ無しで，複数回巻き・ねじり巻きで制作できる範囲内でデザインできるようにした．さら3.

オリジナルデザイン作成支援システムの UIに，花の層は全て一層で固定するなど，花の構造に関しても提案するデザイン支援システムの実行画面を図 4 に示す．

制約を設けることにした．

同図の（a）2D デザイン画面で花びらの形状や色を変更し，花びらの基本形状・枚数・幅・描画に用いた極方程式の項

2D デザイン画面左下のボタンをクリックすると同図の（b）に乗算している 4 種類のパラメータ A～D を変更しながら花3D デザイン画面と（c）パイプ画面が開く．これらを確認しびらのデザインを作成する．花びらの基本形状は 6 種類（図ながらデザインを作成していく．以降，それぞれの画面につ5），枚数は 3～6 枚の 4 種類（図 6），幅は 6 段階（図 7）で変いて順に述べる．

更できる．パラメータ A～D については 4.1 節で述べる．パラメータの組み合わせによって，桜のような実在する花に似3.1

せたデザインから，実在しない形だが数式を用いているから

2D デザイン画面：花びらのデザイン制作

こそ作れる幾何学模様のような左右対称の美しいデザインのユーザは 2D デザイン画面にリアルタイムに描画される 2D

花まで幅広く作成できる（図 8）．クリックやスライダーといのデザインを見ながら，用意されている各パラメータを変更

った直感的な操作で各パラメータを選択していくだけでデザしてデザインを作成していく．初心者でもわかりやすいようインできるようにしたため，描画に使用している極方程式ににクリックを基本として直感的な操作で花びらのパラメータ

ついてユーザが理解している必要はない．

や色などを変更できるようにした．ユーザが納得するデザイ
ンになるまで試行錯誤してもらえるように，リアルタイムに300

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

3.1.2

Wire：ワイヤーの色（種類）と太さの変更

ワイヤーの色と太さを変更できる．ワイヤーの色はよく使用されている金（Gold），銀（Silver），白（White・地巻き）の3 色を用意した（図 9）．白色は，ワイヤーに紙が巻いてある（a）形状 1（b）形状 2

地巻きワイヤーの使用を想定している．ワイヤーに巻いてあ（c）形状 3

る紙に液が染み込んでディップ液の色になる現象をシステムでも再現するため，白を選択した場合は，花びらと同じ色でワイヤーを描画した．太さは#24，#26，#28，#30 の 4 種類から選択できる（図 10）．ワイヤーは「#〇〇」という番手表記
で切断面の直径φを表す．見慣れない表記であることと，数（d）形状 4（e）形状 5

字が大きい方が細くなる点に注意が必要なため，2D デザイン（f）形状 6

画面上で番手番号と描画されるワイヤーの太さを提示した．

図 5 花びらの基本形状
Fig. 5 Petal shape

3.1.3

Colors：花びらの色（ディップ液）の変更

花びらの色を 24 種類の中から変更できる（図 11）．市販されているディップ液から花の色として使いやすい色を選定した．ディップ液は混ぜて使うことができるが，本システムは（a）3 枚（b）4 枚（c）5 枚

初心者を対象としているため，単色からの選択のみにした．

（d）6 枚その代わりに，ディップ液の色で楽しんでもらえるように，

図 6 花びらの枚数

使用する色数を 1 色か 2 色かを選択できるようにした．2 色Fig. 6 Number of petals

使う場合は交互に色が変わるようになっている．
2 色使用するデザインは，複数回巻きとねじり巻きで分けて制作したものそれぞれに異なる色のディップ液を張り，最後に 2 つを組み合わせることで制作できる．この重ねる枚数を増やすことでバラや牡丹のような花も制作できるようにな(a)幅 0(b)幅 1(c)幅 2(d)幅 3(e)幅 4(f)幅 5

るが，枚数が増えるほどまとめる作業が難しくなっていく．

図 7 花びらの幅
Fig. 7

単純な形状の花をモチーフに制作に取り組む程度の初心者をPetal width

対象としていることを考慮し，2 つを組み合わせて制作できる範囲に留めることにした．

（a）Gold（b）Silver（c）White

図 9 ワイヤーの色
Fig. 9 Wire colors（a）#24=0.55mm

図 8 デザイン例
Fig. 8 Design examples（b）#26=0.45mm（c）#28=0.34mm

図 10 ワイヤーの太さ
Fig. 10 Wire thickness

301（d）#30=0.29mm

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

スノーホワイトDX パール

ホットピンク チェリーレッド（a）2D デザイン（b）3D デザイン（c）作品

図 12 2D デザインと 3D デザインと作品の比較
Fig. 12 Comparison of 2D design, 3D design and works
レッド

アンバー

オレンジ

ゴールデンイエロー

ライトグリーングリーン

バイオレット

スカイブルー（a）SS サイズ（b）S サイズ

ディプシーブルー フレヤーピンク ファーストイエロー パールイエロー

パールバイオレット

ライトピンクライトブルー

ライトバイオレット（c）M サイズ

ゴールド

リーフグリーン サフランイエロー ガーネットレッド
図 11 花びらの色
Fig. 11 Petal colors

3.2

3D デザイン画面：3 次元空間でのデザイン確認

提案システムではデザイン 3 次元空間に描画したものを確認できる（図 4（b））
．デザインを考えるときには平面の方が見やすいため 2D デザイン画面では 2D で描画している．しか（d）L サイズ

図 13 花びら型パイプの 3D モデル（図 5（c）のデザインの場合）
Fig. 13 3D model of a petal-shaped pipe (for the design in Fig. 5(c))

し，ディップフラワーは立体的な作品であることから 2D でデザインを表示するだけでは完成形をイメージしにくい（図12）．そこで，3D 空間に実物に近い形状でデザインを描画し，確認できる機能を付与した．

（e）LL サイズイプ）のサイズを選択する．サイズは SS，S，M，L，LL の
5 種類から選択できる（図 13）．画面下部中央にある OK ボ
タンを押すと，画面に表示されている花びら型パイプの OBJ
ファイルが自動的に出力される．

3.3 パイプ画面：花びら型パイプの表示と 3D モデルの出力

4.

2D デザイン画面でデザインした花びらの形をしたパイプオリジナルデザイン作成支援システムの実装）．パイプ画面では，の 3D モデルの確認もできる（図 4（c）

提案システムは Processing3.3.7 を用いて実装した．実験に出力不可能な形状になっていないかを確認した後，作品（パ

用いたノート PC は Windows 10 Pro, Intel(R) Core(TM) i7-

302

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

表 1 数式で指定している変数

10510U CPU, RAM 16.00 GB であり，リアルタイムで稼働す

0

4

3

0

1

2

1

1

2

5

2

2

3

7

2

3

4

4

1

4

5

6

1

5

る．複数ウィンドウによるプログラムを実現するために提案システムにおいてサーバ・クライアント通信を行っている．
2D デザイン画面のプログラム（サーバ）から，3D デザイン
画面とパイプ画面のプログラム（クライアント）へ，花の描画に必要なパラメータや使用する色といった情報を送信する．
以降，それぞれの実装方法について順に述べる．

B(基本形 1～ B(基本形 5～
4)
6)

@

Variables specified in a formula

幅?

Table 1

A

花びらの描画にはバラ曲線などの極方程式を用いている）．基本形状 1～4 を選択したときは （式（2）
）
，基
（式（1）
本形状 5 は （式（3）），基本形状 6 は （式（4））を式（1）の に代入し， 座標と 座標を求めて描画している．各式で使用している変数は選択した花びらの幅と基本形状によって変わる（表 1）
．パラメータは A・B・C・D の 4 つあり，それぞれ 0.00～1.00 まで 0.01 刻みで変更できるようにした．パラメータの変更可能範囲は使用した数式のパラメータ範囲をそのまま利用した．パラメータ A～D は選択した基本形状によって変更できるものとできないものがある（表 2）．変更不可（✕）となっているパラメータ A～C は全て 0.00 とし，その

3:
4

0～

2:
8+2

0～

2:
5

0～

2:
8+2

0～

:
4

0～

極方程式を用いた花びらの描画

4.1

0～

0～

:
2

0～

2:
7

0～

0～
0～

:
6

0～

2:
8+2
2:
8+2
2:
8+2
2:
8+2

表 2 変更可能なパラメータ（〇：変更可，✕：変更不可，－：未使用のため変更不可）
Table 2 Modifiable parameters(〇: Changeable, ✕: Not changeable, －: Not changeable)

パラメータが乗算されている項の影響を無くすることで，のみで基本形を 4 種類に増やすことができた．パラメータ A～D を変化させたときの様子を図 14 に示す．どれも花びらの先端部分の凹凸をどの程度付けるかの調整ができるパラメー
タである．花びらの枚数は，一層の花のデザインに留めることを考慮して，枚数が多くなりすぎると重なりが多く発生してしまい，ディップ液が綺麗に張ることができない．また，花びらも細くなりすぎると 3D プリンタでの出力が難しくな

パラメータ

A

B

C

D

基本形 1

✕

✕

✕

－

基本形 2

〇

✕

✕

－

基本形 3

〇

〇

✕

－

基本形 4

〇

〇

〇

－

基本形 5

－

－

－

－

基本形 6

－

－

－

〇

る．各パラメータの変更可能な範囲については，これらを考慮して著者らの実験の結果，表 1 のように設定した．
,

=

∗ ∗

∗

基本形状 1～4

=

,

∗

(1)

基本形状 5
基本形状 6= sin $ ∗ & + ( ∗ sin $3 ∗%+ * ∗ sin $5 ∗

= −1

.

/0 ∗1
3456
2

8+2 ∗
∗7
:

∗ &
%

∗ & + + ∗ sin $7 ∗
%

8+2 ∗
−;
<=
:
+;

∗ &
%

8+2 ∗
< > %2:(2)(3)

A=0.10B=0.06

C=0.03

D=0.70A=0.25

B=0.12

C=0.07

D=0.80A=0.40B=0.18C=0.17

D=0.90A

B

C

D（B=0.00,C=0.00）（A=0.25,C=0.00）（A=0.25,B=0.12）

図 14 パラメータ A～D を変更したときの様子
Fig. 14 What happens when parameters A to D are changed

303

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

0+2∗D D =E
G−

=

FG
HG

(4)

3D デザインの描画

4.2

サーバから送られてきた花の描画に必要な花びらの形状・
枚数・パラメータ A～D の数値・色，ワイヤーの色や太さといった情報を基に 3D 空間に描画する．見た目を実際の作品に近付けるために，花びらを上向きに反らせることとした．

図 15 花びら型パイプ（図 5（c）のデザインの場合）

yi)との距離% J = K J + J を各点で計算し，花びらの輪郭を構成する頂点列 P = {p0, …, pn}の最大距離% 4LM を求める．

Fig. 15 Petal shaped pipe (For the design in Fig. 5(c))

具体的には，花の中心座標I 0,0 と花びらの輪郭の頂点 pi (xi,OPQRSTR

その後， J = N QRSTUVW として，点J , J , J を描画した．実験のた OBJ データを使用して，3D プリンタで花びら型パイプを出力し，既存手法で使われているゲージパイプの代わりに使結果，N = 1.022, Y = 80 と設定した．選択したパラメータ A

用する．出力した図 5（c）のデザインの花びら型パイプを図

きく変化するため，距離の割合を利用することで，どのデザンタでの出力時間はどのサイズも 10 分～15 分程度だった．

～D の数値の組み合わせによって最大距離%

4LM の値が大インでも同一の式での描画を可能にした．

15 に示す．左から SS，S，M，L，LL サイズとなっている．
3D プリンタは Zortrax M200 (FDM 方式)を使用した．3D プリ
ペンチを使ってワイヤーを成形したことがない 4 名が，デザインを見ながら，図 3 の手順でゲージパイプ（直径 20mm）と花びら型パイプ，それぞれで成形したワイヤーを図 16 に示

花びら型パイプの 3D モデルの描画

4.3

2D デザインを描画するために使用した , 座標を利用し，その各点 ,

から内側にパイプの厚み だけオフセットしす．デザインは花びら型パイプを制作するため提案システムで作成したものとし，花びらの先端の山が最も多くペンチでた形状を底辺として，高さ 方向に [ だけスイープさせるこ作りにくい基本形 4 と，実在する花である桜の花びらに近いとで，花びら型パイプの 3D モデルを描画した．持ちやすさとびらの形に成形する作業の難易度について 5 段階で評価して3D プリンタでの印刷時間を考慮して，パイプの内側は空洞にもらい，評価の理由や感想を聞いた．5 段階評価の結果を表 3

基本形 6 を選択した．成形してもらった後に，出来映えと花している．3D プリンタの Zortrax M200 （FDM 方式）を使用に示す．評価項目は，No.1：出来映え（1-悪い・5-良い）と No.2：

1>>，[ = 16>>となるように設定することにした．

花びらの形に成形する作業の難易度（1-難しい・5-簡単）とししてプロトタイプをいくつか作成し，プリントした際に =パイプのサイズは SS，S，M，L，LL の 5 種類を用意した．

た．5 段階評価の平均値の差が統計的に有意かを確かめるた
めに，有意水準 5%で両側検定の t 検定を行った．

小さすぎるとワイヤーの太さもあるため形を再現するのが難

その結果，作品の出来映え（t (3) = - 4.70, p < 05）と花びらしくなり，大きすぎるとワイヤーにディップ液を張ることがの形に変形させる作業（t (3) = -6.79, p < .05）
，どちらも 5 段階

困難になるため，作りやすい大きさを調査してサイズを決定

評価の平均値の差に有意な差が見られた．出来映えに関して，した．図 5（c）のデザインの場合，直径（花の中心となる位

置からの最大の距離）がおよそSS = 0.90 >，S = 1.35 >，ゲージパイプでは左右対称にできず歪みが出たことから見本

M = 1.80 >，L = 2.25 >，LL = 2.70 >となるように調整すと離れていると感じたとのことだったが，花びら型パイプでることにした．花びらのデザインによって出来上がりのサイ

全員ゲージパイプよりも高い評価を付けていた．成形に関しズが大きく異なるため，パイプの出力前に確認できるように，ては，「ゲージパイプだと輪っかの状態からどこをどうすれば基本形状の作品を基準にシステムが自動的に割り出した作品

デザインのように曲げられるか見当を付けづらかったが，花の花径を画面上部に表示した．作品の花径はパイプの直径のおよそ 2 倍となるため，図 5（c）のデザインの場合は，SS =びら型パイプでは沿わせるだけで良かったため簡単だった」

1.80 >，S = 2.70 >，M = 3.60 >，L = 4.50 >，LL = 5.40 >「凹凸が多いものや，細かい部分があっても成形するのが簡と表示される．

も高く評価を付けていた．実際に未経験者に成形してみても5.

は時間をかけず綺麗に作れることや見本に近付いたとして，単だった」として，こちらについても全員ゲージパイプよりらったことで，問題点として挙げていたとおり，ペンチを使

花びら型パイプを用いた制作支援手法の提案

い慣れていない人にとって理想の形にワイヤーを変形させて制作支援として，ワイヤーを沿わせるだけで花びらの形にいくことは容易ではないことと，経験不足だとどのように曲成形できる花びら型パイプを提案する．パイプ画面で作成しげたら良いのかがわからないことがあることを確認できた．

304

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

表 4 評価指標 IoU の計算結果
提 示デザインデザイン A

デザイン B

Table 4 Calculation results for the evaluation index IoU

デザイン

A

B

ゲージ

花びら型

ゲージ

花びら型

パイプ

パイプ

パイプ

パイプ

ユーザ A

0.88

0.91

0.83

0.90

ユーザ B

0.84

0.96

0.81

0.92

ユーザ C

0.86

0.88

0.87

0.88

ユーザ D

0.73

0.95

0.77

0.90

パイプ

使用パイプ
ユーザ

である．比較する 2 つの領域が完全に重なるときは IoU=1（最Aる．IoU が 1 に近ければ 2 つの領域の重なりが大きいという大値），重なる領域が全くないときには IoU=0（最小値）とな評価となり，デザインに近いワイヤー成形ができていると評ユーザ価できる．ワイヤー形状は平行移動・拡大縮小・回転を許し

B

B-1 に IoU が最大値となるときのそれぞれの領域画像を示す．
）て最大値をとるような値をそれぞれ算出した．
（付録 B の図デザイン A，B に対してそれぞれのユーザが作成したゲージ

ユーザ

パイプ及び花びら型パイプでのワイヤーの形状の評価指標

C

数第 2 位までとした．デザインやユーザに関わらず，ゲージ

IoU を表 4 に示す．計算結果は小数第 3 位を四捨五入して小パイプよりも花びら型パイプの方が，IoU の値が大きくなっユーザていることがわかった．制作したユーザの「ゲージパイプよ

D

一致する．

り花びら型パイプの方が見本に近付いた」というコメントと6.

図 16 ゲージパイプと花びら型パイプで成形したワイヤーの比較
Fig. 16 A comparison of wires formed from gauge pipes and petal-shaped
pipes

ディップフラワーの制作経験がない初心者の大学生 4 名・大学院生 2 名・社会人 1 名・小学生 2 名の計 9 名に対してユーザスタディを実施した（図 17）．デザイン支援システムで

表 3 5 段階評価の結果
Table 3 User rated results

No.

1
2

デザインを作成してもらい，実際に花びら型パイプを出力して制作までを行ってもらった．ユーザスタディは次の（i）～

ユーザ

使用パイプ

初心者へのユーザスタディ

評価の平均値（vii）の順に進めた．

A

B

C

D

ゲージパイプ

2

3

2

2

2.25

(i)

本研究・デザイン支援システムの使い方の説明

花びら型パイプ

5

4

4

5

4.50

(ii)

デザイン支援システムでオリジナルデザインを作成

ゲージパイプ

1

2

1

2

1.50

(iii) 3D プリンタ（Zortrax M200）で花びら型パイプを出力

花びら型パイプ

5

4

5

5

4.75

(iv) ゲージパイプで制作体験と練習(v)

ユーザがデザインした形状と成形したワイヤーの形状がどの程度近いかを定量的に比較するための評価を行った．ワイ
ヤーの形状とその内側のディップ液を貼った領域の比較を行うために，重なり具合を示す評価指標である，IoU（Intersection
over Union）を採用した．評価式は，
` a=

b

b

c`

ca

用意した基本形の花びら型パイプで制作練習(vi) オリジナルデザインのディップフラワーを（iii）で出力した花びら型パイプで制作(vii) 提案手法についてのコメントや体験してみた感想をア
ンケートフォームに記入
本研究の対象者は「ゲージパイプを使った従来の制作にまだ慣れていない，単純な形状の制作に取り組む程度の初心者」（共通部分）であるため，（iv）でゲージパイプでの制作を体験してもらう（和集合）ことにした．従来の作り方について知ってもらうことも目的

305

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

表 5 ユーザスタディで行ったアンケートの内容
Table 5 The contents of the questionnaire conducted in the user study

No.

質問項目

1-1 直感的な操作でデザインできることについて① 1-2 3D デザイン画面について
デ
1-3 パイプ画面について
ザ
1-4 デザイン支援システムの良かった点と理由イ
図 17 ユーザスタディの様子

ン 1-5 デザイン支援システムで改善したら良い点と理由

Fig.17 A scene of the user study

1-6 その他デザイン支援システムにあったら良い機能としている．その後，用意した基本形の花びら型パイプで練2-1

習してもらいながら作り方の説明を行い，手順について理解してもらってから本番の制作に取り組んでもらった．制作に必要なワイヤー・ディップ液・ペンチなどの工具は用意したものを使用してもらった．ディップ液については 24 色全て用意することが難しかったため，パイプを出力するデザインをデザインしたときのイメージと近い作品を作れたか（1：思わない‐5：思う）とその理由② 2-2 完成品とイメージでサイズ感に差はあったか
制
2-3 花びら型パイプの良かった点と理由
作
2-4 花びら型パイプで改善したら良い点と理由作成するときは用意できた「スノーホワイト」「ゴールデンイ

2-5 他に欲しいと思ったオリジナルの補助器具

エロー」「バイオレット」「スカイブルー」「ディプシーブルー」③ 3-1 ディップフラワーを初めてやってみた感想「ライトピンク」「ガーネットレッド」の 7 色から選んでもらうことにした．制作終了後，提案手法についてのコメントや体験してみた感想をアンケートフォームに記入してもらった．

全 3-2 他に支援して欲しいと思ったこと
体 3-3
質問項目以外で何か気付いたことや感じたこと

以降で参加者のコメントをまとめ，考察していく．
説明が欲しいという意見があった．パイプ画面について「デ6.1

参加者からのコメントまとめ

ザインが確認できていたのでパイプを確認する必要性は感じ

アンケートの質問項目を表 5 に示す．6.1.1 項に大学生・大学院生・社会人，6.1.2 項に小学生からもらったコメントについて，複数人が同様の内容について述べていたものを中心に取り上げる．

られなかった」とパイプ画面が出力不可能になっていないかを確認するための機能であることや，「パイプの大きさを想像するのが難しかった」とサイズ感を現在の UI では伝えきれていない人がいたことがわかるコメントがあった．
② 制作

6.1.1

デザインしたときのイメージと近い作品を作れたかという大学生・大学院生・社会人からのコメント

質問（質問 2-1）の回答が，5：思う が 4 名，4：どちらかと大学生・大学院生・社会人が制作したデザインやディップ

言えば思う が 4 名，3：どちらでもない が 1 名であった（小フラワーを図 18 に示す．以降，①デザイン・②制作・③全体

学生の回答含む）．質問 2-1 で 4：どちらかと言えば思う といを通しての 3 つのカテゴリに分けてコメントを紹介する．

う評価にした人の理由には「ディップ液を張る作業が難しく，① デザイン

分厚く液が付いてしまった」，「ワイヤーを型から外して広げデザイン支援システムの全ての画面において直感的な操作のみにした点を「難しいことを考えずにデザインできてわかりやすい」と評価している人が多かった．
「色や花びらの形がすぐ反映されるためイメージしやすい」「3D デザイン画面で事前に完成形を確認できるため，実際に作るときにイメージしやすい」と，デザインのイメージのしやすさを良い点として挙げているコメントも多かった．
一方，改善点として，2D デザイン画面の花びらのパラメー
タ A～D を変更したときに，花びらのどの部分が変化するかがわからず，手探りでパラメータを変更していたため詳しい

306

るときに形が崩れてしまった」といった，花びら型パイプで支援していない部分で難しさを感じ，その部分で少しデザイン通りにならなかったためという記述があった．
花びら型パイプの良かった点として「難しい形でも短時間でワイヤーを成型できた」，「手で作成するよりも形が安定した」「綺麗な花びらを同じ形で何個も作れる」と，ゲージパイ
プと比較して出来上がりの綺麗さや安定さを挙げる人が多かった．改善点には，花びら型パイプに溝があるとよかったという意見があった．花びら型パイプ以外に欲しい治具には「花びらに自然なカーブを付けられる補助器具」が挙がっていた．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）③ 全体を通してステムのおかげで簡単に楽しくできた」,「初めてだけど満足のいく完成度のものができた」,「支援してもらったワイヤー

ディップフラワーを初めてやってみた感想として，「提案シ
2D デザイン

3D デザインパイプの 3D モデル

花びら型パイプ

作品

参
加
者
E

参
加
者
F

参
加
者
G

参
加
者
H

参
加
者
I

参
加
者
J

参
加
者
K

図 18 ユーザスタディで大学生・大学院生・社会人が制作したデザイン・ディップフラワー
Fig. 18 Flower designs and dipped flowers created by university students, graduate students, and working people in user studies

307

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）の成形以外にも自分で工夫できるところがあって楽しめた」,「1 時間もかからずに作れて楽しい」などと満足した・楽しかった という感想が多くあった．また，「もっとたくさん色々な作品を作ってみたいと思った」など，今後もぜひ続けてみ
たいといった内容の感想も多く得ることができた．

6.1.2

小学生からのコメント

小学生が作成したデザインを図 19，ディップフラワーを図20 に示す．2 名とも「面白かった」「楽しかった」「パラメー
タを細かく変えられて自分なりのデザインが作れた」「他の形やディップ液の色を変えてまた作ってみたい」と感想を述べていた．花びら型パイプを使って制作することに関して，「全

図 19 ユーザスタディで小学生が作成したデザイン
Fig. 19 Designs created by elementary school students in a user studyて左右対称に花びらを作れた」「全て同じ形にできたため綺麗にできた」「簡単で楽しかった」「小学生だとペンチなどを使いこなせないため手でやれるのがよかった」と，小学生でも作れる簡単さや，手だけで左右対称に綺麗に作れる点を 2 名とも評価していた．しかし，6.1.1 項と同様に花びら型パイプで支援している部分は簡単にできたとのことだったが「花のように広げるときに花びらの形が崩れそうになった」「3D デ
ザイン画面のように花びらを反らせたかったが，やり方がわからなかったためそのまま制作した」などの成形以外での難しさを感じたというコメントがあった．花びら型パイプ以外に欲しい治具には，指先が入らないぐらいの深い溝ができる
デザイン（図 19 左）のときに，外側から押し込めるような補

図 20 ユーザスタディで小学生が制作したディップフラワー
Fig. 20 Dipped flowers made by an elementary school students

助器具が挙げられていた．
を果たしていることがわかった．デザイン作成中の様子を観察していて，自分の推しの誕生花に似せた花や色にしてみた

6.2

考察

り，パラメータを色々と変更して 1 枚の花びらを 2 枚の花び

6.1 節で取り上げた参加者のコメントに加え，ユーザスタデ

らのようにしてみたり，同じデザインでも色を変えてみたり

ィ中の様子を基に，提案手法の目的が達成できているか・作と，提案システムで楽しんでいる様子も多く見られた．図 18

った本人が満足できる作品作りの支援ができているかについと図 19 を見ても様々な形状のデザインを作成することがでての考察や，改善点の把握などを行う．

きていることがわかる．提案システムを使うことよって，初心者がディップフラワーのオリジナルデザインを幅広く作成
するための支援ができていると考える．

6.2.1

デザイン面の考察

改善点としては，2D デザイン画面のパラメータ A～D の説

デザイン支援システムの良かった点として複数人が挙げて明追加と，パイプ画面の UI であると考えている．パラメータ

いた点が 2 つあった．1 つ目は，初心者でもわかりやすく簡

A～D に関して，デザインする上で描画に用いた数式の詳細は

単にデザインできるように直感的な操作のみにしたことであ必要ないと考えて画面内での説明を省略していた．しかし，る．特別な知識が無くても操作ができるようにクリックやス

具体的でなくても，イラストなどで変化する部分を提示してライダーを動かす操作のみにしたため，戸惑ったり使えなか

あげることで今よりも使いやすいシステムにできるため，今ったりする人はいなかった．2 つ目は，デザインのイメージの後，説明の追加を検討している．パイプ画面については，出しやすさがあった．2D デザイン画面で選択した色や花びらの力不可能になっていないかを確認するため，及び，作品のサ形が表示されているデザインにすぐ反映されたり，3D デザイ

イズ感をユーザがデザイン中に理解しやすくするための機能

ン画面で実物に近い形状でデザインを描画したりといった支としてシステムに実装したが，現在の UI では伝えきれなかっ援をしたことが，イメージのしやすさにつながったと考える．

たことがわかった．今回はどのデザインも問題なく出力でき

アンケートの質問 2-1 の結果も踏まえて，デザイン中のイる形状だったため，パイプ画面が不要と思う人もいたと考えメージと相違なく制作できることと，3D デザイン表示の目的ている．ユーザがデザインした花びら型パイプに対してシス

308

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

テムが自動的に出力可能かどうかを判断し，問題があれば画で，モチベーションを低下させずに継続してディップフラワ

面上にエラーメッセージを表示するようにすることで，パイーの制作に取り組んでもらえるような支援をしたいと考えてプ画面機能がより有用になると思うため，今後改良していきいる．今回のユーザスタディのみでは，どのような状態になたい．

れば花びら型パイプを使わなくても制作面での問題点が無く作品のサイズに関しては，質問 2-2 で 2 名が少し小さかっ

なるかや，花びら型パイプでどの程度まで既存手法での制作

た，6 名がイメージどおりだった，1 名が大きかったと回答し技術のレベルを上げることができるかは調べることができなていたことから，数値のみでは作品の大きさをイメージしにかったため，継続して花びら型パイプでの制作をしてもらう

くい人がいることがわかった．2D デザイン画面にサイズ選択実験も行っていきたい．

機能を移行し，2D デザインの大きさもサイズに合わせて変わ改善点には，「ゲージパイプのような溝がほしい」という意

るように改良したり，メモリや参考サイズなどを同画面に表見があった．花びら型パイプは出力時間や持ちやすさを考慮

示することで視覚的にわかりやすくする．

し，限界まで厚みを薄くして中心には空洞を作っているため，溝を作るのが難しい．一部分のみ壁を作らない U 字型の形状

6.2.2

もプロトタイプで作成してみたが，力を加えるとパイプが変制作面の考察形してしまったため，溝を入れられるような形状についてプ

良かった点として，ゲージパイプと比較したときの出来上

ロトタイプを作成しながら調査していく．しかし，複数回巻

がりの綺麗さや安定さを挙げる人が多かった．特に左右対称

き以外の溝を使わないねじり巻きなどでは問題なく制作できに作れること，同じ形状のものをたくさん作れること，ペンるため，溝がないことによる障害は少ないと考えている．

チを使わないで作れることが良かったと評価してもらった．

花びら型パイプ以外に欲しい治具が 2 つ挙げられていた．

図 20 の小学生が制作したディップフラワーを見ても，図 18

1 つ目は「ワイヤーに自然なカーブをつけられる治具」であの大学生・大学院生・社会人が作ったものと遜色ない作品がる．花びら型パイプは花びらの形にワイヤーを成形する部分できていて，小さな子どもでもデザインを再現できる簡単さを支援する治具のため，カーブを付けることに関しては支援が花びら型パイプにはあることがわかった．別の形でも作っ対象外である．また，カーブ付与は必ず行わなければならなてみたい，ディップ液の色を変えて作ってみたいという，今い作業ではない．しかし，制作時の様子を見ていて指でワイ後も制作したいという感想を多くもらうことができたため，ヤーを撫でてカーブを付けようとする人がいたことや，小学「制作のモチベーション向上につなげること」ができている生の「3D デザイン画面のように花びらを反らせたかったが，と考えている．また，作品の写真を撮って SNS にアップする

やり方がわからなかったためそのまま制作した」というコメといった様子が見れたり，楽しかった・面白かった というコ

ント，そして専門家からも同様の意見があった（付録 A に記

メントを多くもらうことができたりしたことから「手で作る載）ことから，需要があることがわかった．ワイヤーを反ら楽しさを知ってもらうこと」ができていたと考えている．

せることを支援することで，ディップフラワーを作る楽しさ

アンケートの結果から，花びら型パイプで支援している花を損なうことはないと考えており，むしろ治具を使うことでびらの形にワイヤーを成形することについては全員理想の形

作品への満足度が現在よりも上がると期待され，モチベーシ状にできて満足したと評価していたため，花びら型パイプにョンの向上にもつながると考えた．

よってしっかり支援できていると考えている．しかし，既存

そこで，カーブを付けられる治具として，作品の花径に合手法を用いている工程（図 3 ①～⑦・ディップ液を付ける・

わせたハット帽のような形をした半球の治具を追加で提案すワイヤーを反らせるなど）で難しさを感じ，その部分が影響ることにした．カーブ治具については 8 章にて述べる．2 つして少しデザインどおりにならなかったことで，評価を低め

目は，「指やペンチで押し込めない深い溝ができたときに外側に付けている人がいた．1 章で述べたが，ハンドメイド作品

から押し込める治具」があった．ユーザスタディで作成しての支援として全ての工程を支援するような手法では，作る楽

もらったデザインにも深い溝ができているものがあった．こしさを奪ってしまうため適切ではない．また，花びら型パイのデザインを作った人は，制作するときに爪楊枝を使って押プは初心者がゲージパイプとペンチで制作できるようになる

し込んでみていたが，ワイヤーの剛性もあり限界があるようまでの使用を想定しているため，はじめは既存手法を用いてだった．ワイヤーを押し込む補助器具も一つの案ではあるが，いる工程で難しさを感じていても，花びら型パイプで制作回

3D プリンタで出力するとなると一定の厚みが必要なため，し数を重ねて既存手法の練習をしてもらいたいと考えている．

っかり奥まで押し込めない問題が出てくる．このような箇所

実際に本ユーザスタディにおいて，花びら型パイプでの制ができてしまった場合は，初心者が不慣れな工具の扱いに慣

作回数を重ねるうちに，ワイヤーの巻き方やねじり方，ペンれてもらうためにも，押し込みが足りなかったところをペン

チを使うことに慣れていく様子を見ることができた．初心者

チなどで修正する方法が良いと考えている．初心者がゲージが苦手とする花びらの形に成形する工程を花びら型パイプでパイプとペンチで制作できるようになるまでの使用を想定し支援しながら既存手法の練習をできるようにしてあげることているため，花びら型パイプのみで完全にデザインを再現す

309

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

ることよりも，ある程度近い形状にするまでを花びら型パイ

でユーザがデザイン（もしくは選択）できるようにし，そのプで補助し，その後は初心者が自分の手でさらにデザインにカーブを利用して治具を作成することで支援できると考える．

近い形状に直せるようになることを目指す．

3D デザイン画面で内側（上向き）に反らせて描画していたため，プロトタイプでも同様に内巻きになるように半球型の

7.

専門家へのインタビュー

ディップフラワーの専門家 2 名にビデオ会議システムを用いてオンラインインタビューを行った．事前に研究に関する資料を送付し，当日はインタビュー開始前に研究概要の動画を見せながら提案手法について説明を行った．その後，口頭で「ディップフラワーの制作」「初心者」「提案手法」に関する質問をして専門家から回答を得た．
詳細は付録 A に述べる．
インタビューの結果，初心者が躓きがちな工程として主にワイヤーの成形を挙げていた．初心者におすすめのデザイン（a）Fusion 360 でのモデリン
グ結果

として，一回巻きや複数回巻きだけでできるような単純な形（b）3D プリンタで出力した
治具

図 21 ワイヤーに自然なカーブを付けられる治具
Fig. 21 Curve jig

状の花や，ブリッジがないものを挙げていた．
提案システムのデザイン支援については「できあがったデザインを立体であらかじめ見れるのも特徴的」「立体で見られるのがとてもいい」と，2D デザインに加えて，3D での表示があることへの好感度が高かった．また，花びら型パイプに関しては「そもそもゲージパイプを作るという発想がなかった」「可能性にびっくりしている」「すばらしい研究だと思っている」などと新規性や可能性を評価してもらえた．
「左右対称のデザインのものや綺麗さが必要な今流行りのアクセサリ
ーにとても向いている」「短時間で同じ形を量産できるため，毎回同じサイズで作りたい人，ディップフラワーを販売している人にも使ってもらえそう」というコメントをもらった．

図 22 治具にワイヤーを沿わせている様子

8.

Fig. 22 How to use the curve jig

カーブ付与のための治具の提案

6 章で行ったアンケートと 7 章の専門家からの意見を踏まれていた「ワイヤーに自然なカーブをつけられる治具」を提案する．Fusion 360 でモデリングを行い，Zortrax M200 (FDM方式)で 3D プリントした（図 21）．図 5（c）のデザインの L
サイズの作品を対象として，底面の直径を 4.6cm に設定し，ハット帽のような半球型の治具をプロトタイプとして制作しカーブなし（そのまま）カーブあり（治具使用）

真横 から見た場合

えて，花びら型パイプ以外にあったら良い治具として挙げらた．出力時間は約 50 分だった．花びら型パイプで成形したあなカーブを付けることができる（図 22）．花びら型パイプで成形してカーブを付けずそのままにした状態のワイヤーと，提案するカーブを付けられる治具を使ってカーブを付けた状
態のワイヤーを図 23 に示す．カーブを付けたものの方が，3D
デザイン画面で描画している形状に近い形になっていること

斜 め上から見た場合とに，提案する半球の治具にワイヤーを沿わせることで自然がわかる．ワイヤーを反らせることを支援することで作る楽しさを損なうことはなく，むしろ作品の完成度が上がって満足度が現在よりも高くなると考えられるため，モチベーショ
ン向上につながると期待される．今後，反らせ方もシステム

310

図 23 カーブの有無の見た目の比較
Fig. 23 Appearance comparison with and without curves

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

治具を制作した．しかし，実在する花を調査すると，外側にめ，8 章にて，カーブを付けられる治具として，作品の花径に反っている花やトルコキキョウのようなフリルが付いた花も合わせたハット帽のような形をした半球の治具を追加で提案あった．そこで，花をどのように反らせるかも選択できるよ

した．カーブ治具を使うことで，3D デザイン画面で描画してうにし，それに合わせた 3D デザインの描画や花びら型パイいる形状に近い形に成形できることがわかった．

プと同様に治具の 3D モデルと OBJ データの自動作成ができるシステムに改良することで，デザインの幅も広がると考えている．今後，初心者にカーブ治具を実際に使ってみてもら

9.2

今後の展望

うことで，今よりも適切な形状に変更し，治具の有無で作品

デザイン支援システムの改善点の 1 つ目は，2D デザイン画への満足度の違いが生まれるかなどを比較して提案手法で楽面のパラメータ A～D の説明追加である．イラストなどで変しさを無くさずに支援できるかについて調査していきたい．

化する部分も提示してあげることで，今よりも使いやすいシステムにできると考えている．2 つ目はパイプ画面の UI であ

9.

る．パイプ画面は，現在のシステムでは出力不可能かどうか

まとめと今後の展望については目視で確認しなければならないことと，サイズは9.1

数値のみで表示しているためイメージのしにくさが課題としまとめてある．システムが自動的に出力可能かどうかを判断する機
本研究ではディップフラワーの初心者を対象に，数式を用能や，2D デザイン画面でサイズを選択できるようにして 2D

いたオリジナルの花のデザインが作成できるデザイン支援シ

デザインの大きさをも変わるようにすることで改善できると

ステムと，初心者が苦手とするワイヤーを花びらの形に成形考えている．専門家へのインタビューで使い方や目的次第でする工程を支援するための花びら型パイプを提案した．ゲー

初心者以外にも使ってもらえることや，ディップ液の混ぜ合

ジパイプとペンチで制作できるようになるまでの使用を想定

わせに関して楽しんでいる人も多くいることがわかった．現

して，既存手法をベースにペンチを使用する工程も残すこと

在のパラメータのみでも幅広いデザインの作成は可能であるで既存手法での作り方の感覚を掴んでもらえるようにした．

が，バラや牡丹のように何層にも重ねて制作する花のデザイ

提案手法によって，オリジナルの作品を手で作る楽しさを知ンの作成やディップ液の混ぜ合わせのシミュレーションがでってもらうことと，ディップフラワーの制作へのモチベーシ

きるようにすることで，制作に少し慣れてきた人にも使ってョン向上を目指した．

もらえるシステムにできると期待している．

初心者 9 名に行ったユーザスタディから，提案手法の目的

花びらパイプの改善点として「ゲージパイプのような溝がが達成できているか・作った本人が満足できる作品作りの支ほしい」という意見が多くあった．出力時間を延ばさず持ち援ができているか についての考察や，改善点の把握などを行やすさも損なわないまま溝を入れられるような別の形状につった．デザイン支援システムは「直感的な操作でデザインでいては，プロトタイプを作成しながら調査していきたい．花

きること」「デザインのイメージのしやすさ」が高評価だった．

びら型パイプ以外に欲しい治具として「指やペンチで押し込

提案システムで楽しんでいる様子が多く見られ，様々な形状

めない深い溝ができたときに外側から押し込める治具」が挙のデザインを作成することができていたため，初心者がディげられていたが，初心者が不慣れな工具の扱いに慣れてもら

ップフラワーのオリジナルデザインを幅広く作成するためのうために押し込みが足りなかったところをペンチなどで修正支援ができていた．花びら型パイプは「ゲージパイプと比較するようにしてもらうことに加え，先ほど述べたようにシスしたときの出来上がりの綺麗さや安定さ」が良い点であり，テムが自動的に出力可能かどうかを判断する機能を付けるこ

具体的には，左右対称に作れること・同じ形状のものをたくとで改善できると考えている．

さん作れること・ペンチを使わないで作れることが良かった

その他に考えなければならない点として，既存手法を用いと評価する人が多かった．楽しかった・面白かった・今後もている工程が難しく少しデザインどおりにならずに評価を低制作したいという感想を多くもらうことができたため，「手でめに付けている人がいたことがある．初心者がゲージパイプ

作る楽しさを知ってもらうこと」「制作のモチベーション向上とペンチで制作できるようになるまでの使用を想定しているにつなげること」ができる支援手法であると考えている．

ことから，既存手法の工程で難しさを感じても，花びら型パ

本稿では初心者を対象としていたが，専門家の意見から，イプで制作回数を重ねて既存手法の練習をしてもらいたいと

ディップフラワーを同形状・同品質で売買したい人も支援対考えている．今回のユーザスタディでは，花びら型パイプで象にできる可能性があることがわかった（付録 A に記載）
．花の制作回数を重ねるうちに，ワイヤーの巻き方やねじり方やびら型パイプは使い方・目的次第で幅広い層の支援ができる

ペンチを使うことに慣れていく様子を見ることができた．しと考えられる．

かし，花びら型パイプを使わなくても制作面の問題点が無くユーザスタディや専門家からの意見より「ワイヤーに自然なるレベルがどこなのかや，花びら型パイプでどの程度までなカーブをつけられる治具」の需要があることがわかったた

既存手法の制作技術のレベルを上げることができるのかにつ311

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

いては分からなかった．そこで，今後，花びら型パイプでの制作を継続して行ってもらう実験もしていきたい．

像電子学会論文誌, Vol. 49, No. 4, pp. 315–325 (2020).
11) 野崎玲那, 高橋治輝, 宮下芳明:“Felting Deposition Modeling フェル

8 章でカーブを付けられる治具を提案したが，プロトタイ

ティングニードルを用いた羊毛フェルト 3D プリンタ”, 第 26 回

プを作成しただけでユーザスタディを行うことができていな

インタラクティブシステムとソフトウェアに関するワークショッ

いため，今後初心者に使ってみてもらい意見をもらいたいと

プ (WISS2018) 論文集 (2018).

考えている．ユーザスタディで，今よりも適切な形状がない（2022 年 11 月 28 日 受付）

かの調査や，治具の有無で作品への満足度の違いが生まれる（2023 年 2 月 27 日 再受付）

かなどを比較する調査をしていきたい．

中 島 萌 子謝辞
ユーザスタディに協力してくださったみなさま，インタビ
ューにご協力いただいたトウペディップアート協会 理事長
山形誠さま，事務局長 坪田茂也さま，講師の小川まなみさま，

2021 年 明治大学総合数理学部先端メディ
アサイエンス学科卒業．2023 年 明治大学大学院先端数理科学研究科先端メディアサイ
エンス専攻博士前期課程修了．修士（工学）．
在学中，初心者を対象としたハンドメイド
作品のデザイン及び制作支援に関する研究に従事．

亀田千鶴子さま，研究についてご助言をいただいた塚田浩二
教授，阿原一志教授に感謝する．本研究の一部は，JST 未来社
会創造事業 JPMJMI21J6 の支援を受けたものである．

参考文献
1) m.a.c., ディップフラワーの教科書 実寸型紙付き!! ワイヤーをディップ液にくぐらせて作る, 講談社 (2018).
2) T. Ijiri, S. Owada, M. Okabe, T. Igarashi: ``Floral Diagrams andInflorescences: Interactive Flower Modeling using Botanical Structural

五 十 嵐 悠 紀

（正会員）
2010 年 東京大学大学院工学系研究科博士課程修了．博士（工学）．日本学術振興会特別研究員 DC2, PD, RPD を経て 2015 年より
明治大学総合数理学部先端メディアサイエ
ンス学科専任講師，2018 年より同准教授，
2022 年よりお茶の水女子大学理学部情報科学科准教授．コンピュータグラフィックス
及びヒューマンコンピュータインタラクシ
ョンに関する研究に従事．情報処理学会会
誌編集長，日本ソフトウェア科学会理事，画像電子学会理事．

Constraints’’, ACM Trans. on Graphics (Proc. of SIGGRAPH 2005), Vol.
24, Issue 3, pp. 720–726 (2005).
3) 横窪安奈, 椎尾一郎:“CADo：身近な花材を利用した生け花支援シ

付録 A：専門家へのインタビュー

ステム”, 情報処理学会論文誌, Vol. 55, No. 4, pp. 1246–1255 (2014).

トウペディップアート協会に協力を依頼し，ディップフラ

4) 横窪安奈, 加藤祐二, 薬師神玲子, 椎尾一郎: “TracKenzan：トラッ

ワーの専門家 2 名にビデオ会議システムを用いてオンライン

クパッドとタッチペンを用いたいけばな練習システムの提案と評

インタビューを行った．事前に研究に関する資料を送付し，価”, 情報処理学会論文誌, Vol. 60, No. 11, pp. 2006–2018 (2019).

当日はインタビュー開始前に研究概要の動画を見せながら提5) M. Miyatake, K. Narumi, Y. Sekiya, Y. Kawahara: ``Flower Jelly Printer:

案手法について説明を行った．その後，口頭で「ディップフ

Slit Injection Printing for Parametrically Designed Flower Jelly’’, Proc. of

ラワーの制作」，「初心者」，「提案手法」に関する質問をして

the 2021 CHI Conference on Human Factors in Computing Systems,

専門家から回答を得た．質問は事前に用意しておいたものを

Article No. 425, pp. 1–10 (2021).

順に行っていき，インタビュー中に気になったことはその場

6) L. Liu, D. Ceylan, L. Cheng, W. Wang, N. J. Mitra: ``Image-based

で質問を考え，その都度聞いていった（表 A-1）
．本インタビReconstruction of Wire Art’’, ACM Trans. on Graphics (Proc. of

ューの目的は，専門書やネットだけではわからなかったこと

SIGGRAPH 2017), Vol. 36, No. 4, pp. 1–11 (2017).

について具体的なエピソードを聞いたり，素人では気付けな

7) P. Wang, L. Liu, N. Chen, H. -K. Chu, C. Theobalt, W. Wang:

かった視点からアドバイスをもらったりすることであり，提``Vid2Curve: Simultaneous Camera Motion Estimation and Thin

案手法を見直すための参考にしたり新たな機能の提案につな

Structure Reconstruction from an RGB Video’’, ACM Trans. on Graphics

げたりすることとしている．以降で提案手法と特に関係する(Proceedings of SIGGRAPH 2020), Vol. 39, No. 4, pp. 132:1–132:12

質問を中心に取り上げ，専門家のコメントを紹介する．

(2020).

付録 A.1 ディップフラワーの制作に関するコメント

8) E. Iarussi, W. Li, A. Bousseau: ``WrapIt: Computer-Assisted Crafting ofWire Wrapped Jewelry’’, ACM Trans. on Graphics (Proc. of SIGGRAPH

質問 1-3：楽しさ・面白さは「1 本のワイヤーから自分の手で形を好きなように作れるところ」，「本物らしく再現するこ

Asia 2015), Vol. 34, No. 6, pp. 1–8 (2015).
9) Y. Mori, T. Igarashi: ``Plushie: An Interactive Design System for Plushと」，「素材の組み合わせを考えること」という回答をもらっ

Toys’’, ACM Trans. on Graphics (Proc. of SIGGRAPH 2007), Vol. 23, No.

た．ディップ液の色やワイヤーの素材などの組み合わせを考3, Article 45, pp. 1–8 (2007).

えながら，自分の手で一から作っていくという部分に楽しさ

10) 伊藤謙祐, 五十嵐悠紀:“木目込み細工デザイン支援システム”, 画

312を感じているとのことであった．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

らった．展示会用の作品で大きな葉っぱなどを作るときは，
表 A-1 専門家へのインタビューでの質問内容

ブリッジという輪の中でワイヤーを橋渡しする手法でディッ

Table A-1 Questions asked in interviews with experts

プ液を張る面積を小さくすることで，どれだけ作品が大きくなってもディップ液を張ることができるそうだ．普段作るア

質問項目① デ ィ ップ フ ラ ワ ー の 制 作 に つ い てNo.

クセサリーなどのサイズは大体決まっていてあまり大きなも

1-1 ディップフラワーを始めたきっかけ
1-2 どのような作品をよく作るかのを作る必要はないという．
質問 1-9：制作方法の使い分けに関して「作る人の好みや考

1-3 ディップフラワーの楽しい・面白いと思うところ

え方によって作り方は違い，同じ花を作る場合でも違う手法

1-4 ディップフラワーの難しい・大変だと思うところ

で作れて出来上がりが変わってくるため，それが楽しいとこ1-5 ディップフラワーを上手く作れたと思う基準

ろでもある」と言っていた．質問 1-10：ワイヤーの種類に関

1-6 花のデザインはどのように考えているか

しては，紙が巻いてある地巻きワイヤーはしっかりと付き，

1-7 作りにくい形の花びらはあるか

アクセサリーで使うような細い金属製のものは薄付きで綺麗

1-8 ディップ液を張りやすい大きさなどになるため，作りたい作品のイメージを考えながら選択して

1-9 制作方法の使い分けはどうしているかいるそうだ．質問 1-3 の回答にあった「素材の組み合わせを

1-10 ワイヤーの種類や色使い分けはどうしているか考える」というのがこれに該当する．質問 1-11 について，ワ

1-11 イメージと違う作品ができてしまった経験はある

イヤーの成形に関しては「年数を重ねる毎に失敗はあまりな

1-12 よく使用するディップ液の色は何かくなっているが，ディップ液同士を混ぜて色を作るときに思② 初 心者 に ついて

1-13 ディップ液以外にマニキュアや布を使う手法

った通りの色にならないことは今でもよくある」「自分で新し2-1 どのような目的で教室に通っている人が多いかい色を無限に作っていけるところがディップフラワーを作る

2-2 初心者が躓きがち・難しそうにしている工程

上で楽しいことの一つでもある」と言っていた．教室に通っ

2-3 初心者が躓いているときしていることはあるかてきている生徒の人も，色の混ぜ合わせを楽しんでいること

2-4 初心者におすすめする花を教えてもらった．

2-5 初心者がオリジナルデザインで制作するか
③
提
案
手
法
に

3-1
3-2
3-3

初心者でもオリジナルデザインで制作できるよう

付録 A.2 初心者に関するコメントにする支援システムについて

質問 2-1：生徒の特長として，以前はプレゼント用の大きな提案システムのリアルタイムにパラメータを変更
しながらデザインを考えられることについて花を作る同世代のママ友のような年代の人が多かったが，近作成したオリジナルデザインを基に花びら型パイ

年はアクセサリーを作りたい，さらに作ったものを売りたい

プを出力して作品制作までできることについてという若い人も多いという．質問 2-2：初心者が躓きがちな工

つ 3-4 デジタルで支援してほしい工程はあるか

程として主にワイヤーの成形を挙げていた．初心者はどこをい 3-5 提案手法について改善点などはあるか

曲げていけば良いかを考えることが難しく，ペンチを使ったて 3-6 その他感想や意見作業に慣れていないため，ペンチなどの器具でワイヤーを成形するという作業に対して難しさを感じやすく一度は躓く人

一方で，質問 1-4：難しさ・大変さについては「モチーフにが多いという．質問 2-4：初心者におすすめのデザインとして，

よって指でもペンチでも再現できないような細かな作業」が一回巻きや複数回巻きだけでできるような単純な形状の花あった．付録 A.2 節で述べるが，初心者が躓きがちな工程と（ex.マーガレット），ブリッジがないものを挙げていた．

してもワイヤーの成形をあげていて，初心者でも専門家でも同じところで難しさを感じていることがわかった．

付録 A.3 提案手法に関するコメント

質問 1-7：作りにくい形状として，まず「規則正しいもの・
左右対称なもの」を挙げていた．ワイヤーを輪の状態から手提案手法に関して「そもそもゲージパイプを作るという発作業で花びらの形にする必要があるため，同じ辺の長さで作想がなかった」，「可能性にびっくりしている」，「すばらしいったり，角張ったデザインのものだったりすると難しいとい研究だと思っている」などと新規性や可能性を評価してもらう．他には「サイズが小さすぎるもの・大きすぎるもの」がえた（質問 3-6）．

あった．面積が小さいとディップ液が盛ったり付いてしまい，

提案手法ではオリジナルデザインの花で制作できるが，調面積が大きいと中心部分のディップ液が薄くなってしまうた査を進める中で実在する花をモチーフに作ることが多そうだ

めとのことであった．そこで質問 1-8 を追加したところ，デと感じたため，質問 3-1 で問題はないかを聞いた．
「モチーフ

ィップ液を張りやすい輪の大きさは 1～2cm 程度と教えてもにした実在する花があった方が生徒などに理解してもらいや
すいから題材にすることが多いだけ」，「ディップフラワーは

313

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

創作花であるから必ずしも実在する花でなくてもよい」といデザイン A

う回答を得た．また質問 2-5 で「初心者でも基礎ができたあとの応用としてオリジナルデザインで作る人はいる」と述べていた．

デザイン B

ゲージ

花びら型

ゲージ

花びら型

パイプ

パイプ

パイプ

パイプ

共
通

あがったデザインを立体であらかじめ見られるのも特徴的」，部「立体で見られるのがとてもいい」と，2D デザインに加えて，3D での表示があることへの好感度が高かった．質問 3-3：花ユーザ Å

質問 3-2：提案システムでのデザイン支援については「でき分

びら型パイプについて「型が同じでもディップ液の色を変え和て楽しめたり、ベースを作ってから自分で一手間加えられた集

りして使い道がたくさんある」，「初心者にはまずこれでやっ合てみてもらい、花びらを作る楽しさが伝わってほしい」とい共綺麗さが必要な今流行りのアクセサリーにとても向いてい通る」，「短時間で同じ形を量産できるため、毎回同じサイズで部作りたい人、ディップフラワーを販売している人にも使ってもらえそう」というコメントをもらった．
最後に，今後に向けて提案手法について改善点や追加して

ユーザ Ｂ

うコメントをもらった．また，「左右対称のデザインのものや分
和

ほしい機能についてコメントをもらった（質問 3-4，3-5）．花

集

びら型パイプについて，初心者からも声が上がっていたが，合「複数回巻きをするときにゲージパイプのような溝があると使いやすいため入れてみてはどうか」という意見に加えて，

共「パイプの上部にブリッジを通せる切れ込みがあると位置を通固定できて綺麗にできそう」という意見をもらった．さらに，るような治具があると，指でやるよりも綺麗に反らすことができるのではないか」というアドバイスをもらった．

ユーザ Ｃ

6 章のユーザスタディでもあった「自然なカーブをつけられ

部
分
和
集

付録 B：ワイヤー形状の評価の補足

合ユーザがデザインした形状と成形したワイヤーの形状がど
共側のディップ液を貼った領域の比較を行うために，重なり具通合を示す評価指標である，IoU（Intersection over Union）を採部用した．システムでデザインしたワイヤー形状 Wd を固定とし，実世界で作成したワイヤー形状 Wr を真上から点列で取得

ユーザ Ｄの程度近いかを定量的に比較した．ワイヤーの形状とその内分したのち，Wr に対して平行移動・拡大縮小・回転を許して IoU

和値を算出しその値が最大値をとるような重なり位置を利用し集て Wd と Wr の IoU 値とした．デザイン A，B におけるユーザ

合A，B，C，D が制作したゲージパイプでのワイヤー及び花びら型パイプでのワイヤーの IoU 値が最大値になる位置関係について図 B-1 に示す．

図 B-1

IoU が最大値となるワイヤー形状の位置関係

Fig. B-1

314

Position of wire shape with maximum IoU

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）-- デジタルファブリケーションのための画像電子関連技術論文特集 --MRI 画像から抽出した頭部と脳の単色 3D プリンタを用いた 2 色印刷法
杉 田 純 一†（正会員） 清 沢 尭 礼†
†東京医療保健大学

Two-color Printing Method Using a Single-color Type 3D Printer for the Head and Brain
Extracted from MRI Images
Junichi SUGITA† (Member), Takara KIYOSAWA††Tokyo Healthcare University〈あらまし〉3D プリンタの普及により，CT・MRI から得られる断層画像群 (ボリュームデータ) から抽出した臓器モデルの印刷が身近になりつつある．臓器を観察する際には，肝臓と肝臓内の血管や腫瘍など，複数の臓器の相対的な位置関係を把握することが重要とされている．しかしながら，低価格帯の 3D プリンタの主流は，単色の熱溶解積層 （FDM） 方式であり，2 色以上で印刷することができない．本研究では，単色 3D プリンタを用いて，複数の臓器を色分けした模型を作製するための基礎検討として，MRI で取得したボリュームデータから画像処理と深層学習を用いて頭部と脳の領域を抽出し，頭部と脳を 2 色で表現可能な立体模型を作製する手法を提案する．
キーワード：3D プリンタ, デジタルファブリケーション, CT・MRI 画像, 画像処理, 深層学習
<Summary> The widespread use of 3D printers has made printing organ models extracted from volume data obtained fromCT and MRI more approachable. When observing organs, it is essential to understand the relative positions of several organs,such as the liver and the blood vessels and tumors within the liver. However, the mainstream of low-cost 3D printers is the
single-color fused deposition modeling (FDM) type, which cannot print in two or more colors. In this study, as a basic study for
producing two-color models of several organs using a single-color 3D printer, we propose a method to extract the head andbrain regions from MRI images using image processing and deep learning and to produce a 3D model that can represent thehead and brain in two colors.
Keywords: 3D printer, digital fabrication, CT・MRI images, image processing, deep learning

1.

二つの臓器の領域を抽出し，単色の FDM 方式 3D プリンタをまえがき

用いて 2 色の臓器模型を作製することを目的とする．その基

近 年 ， 3D プ リ ン タ の 普 及 に よ り ， CT (Computed

礎検討として，頭部と脳の模型を作製した．まず，MRI から

Tomography)・MRI (Magnetic Resonance Imaging) から得られ取得したボリュームデータから頭部と脳の領域を画像処理とる断層画像群 (ボリュームデータ) から抽出した臓器モデル

深層学習を用いて抽出する．次に，抽出した頭部のモデルかの印刷が身近になりつつある 1)~3)．患者の CT・MRI 画像からら型を作成し，3D プリンタで型と脳を印刷する．最後に，頭臓器立体模型を作製することで，手術のシミュレーション，部の型に脳をテグスで固定し，型に透明なシリコン樹脂を流計画立案，手技の練習，医学教育，インフォームドコンセン

し込むことで，頭部を透明，脳をフィラメントの色の 2 色でトなどに利用することができる．3D プリンタで臓器模型を作表現された模型を作製したので報告する．

製する際に，臓器ごとの相対的な位置関係を把握するために

2.

は，臓器ごとに色分けして印刷することが望ましいが，現在

関連研究の低価格帯の 3D プリンタの主流は，単色のフィラメントを臓器の 3D データから臓器模型を作製するサービス 4)が存用いた熱溶解積層 (FDM: Fused Deposition Modeling) 方式で在するが，数万から数十万の費用がかかる．医療現場や医学ある．

教育で 3D プリンタを用いた臓器模型の利用促進を加速させ

本研究では，CT・MRI から取得したボリュームデータからるためには，製作コストの削減が必要不可欠である．

315

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 1 提案手法の概要
Fig.1 Overview of the proposed method

図 3 ブーリアン演算を用いた頭部の型の生成
Fig.3 Generating head mold using boolean operations

領域の抽出を行う．医用画像のセグメンテーションソフト

図 2 領域成長法を用いた頭部領域の抽出

ウェアは多数存在するが 3)，本研究では，オープンソース

Fig.2 Segmentation of head region using growth from seeds

で公開されている，3D Slicer6)を用いた．図 2 に示すように，画像の背景と頭部の領域にそれぞれストロークを描画し，宮本ら 5)は臓器の表面を複数のフレームで構成すること

領域成長法 (Growth from seeds) を適用することで，頭部領により，単色の 3D プリンタでも内部構造が観察できる簡域の抽出を行った．さらに，抽出した頭部領域に，メディ

易臓器モデル生成システムを提案している．宮本らの手法

アンフィルタを適用しノイズを除去した．

は，単色 3D プリンタで複数の臓器を観察する場合に有効であるが，臓器の表面を数本のフレームで表現するため，

3.2

見る方向によっては臓器の表面をイメージしづらい傾向が

3D Slicer から STL (Stereolithography) 形式で出力した頭ある．

部の 3D モデルをソリッドモデルに変換し，ブーリアン演

本研究では，低価格の FDM 方式 3D プリンタ，オープン

算を用いて頭部の型のモデルを生成した(図 3)．立方体のソースソフトウェア，市販の透明シリコン樹脂を用いて，2

3D モデルを MC，頭部の 3D モデルを Mh としたとき，式(1)

色で表現された臓器模型を作製した．

3.

により MC と Mh の差を取ることで頭部の型の 3D モデル

提案手法

Mm を得る．
Mm = MC － Mh

提案手法の流れを図 1 に示す．

3.1

頭部の型の生成(1)

このとき，図 3 の赤枠で示したように，型にシリコン樹

MRI 画像からの頭部領域の抽出

脂を流し込む用の穴を空けておく．頭部の型は，頭部の右MRI から取得したボリュームデータ(図 1(a))から頭部

半分と左半分の二つ作成する．これらの処理は，オープン

316

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 6 テグスで脳を型に固定
Fig.6 Fixing the brain to the mold with tegus
図 4 HighRes3DNet を用いた脳領域の抽出
Fig.4 Segmentation of brain regions using HighRes3DNet

図 7 左右の型を合わせる
図 5 脳モデルに穴を空けた様子

Fig.7 Match the left and right molds

Fig.5 A hole in the brain model

号サイズ (太さ 0.17mm) を使用した．脳を型に固定した後，ソースソフトウェアの Autodesk

Meshmixer7)を用いて行っ

図 7 に示すように，二つの型を合わせて，養生テープで仮

た．

3.3

固定する．左右の型の隙間からシリコン樹脂が漏れないよ
うに，シーリング材を用いて隙間を埋めた．なお，あらかMRI 画像からの脳領域の抽出

じめ型に離型剤を塗布しておくことで，型から模型を外し

3D Slicer を用いてボリュームデータから脳の領域を抽出やすくなる．

する．脳の形状は複雑で，3D Slicer の画像処理機能や手作シーリング材が固まったら，図 1(f)に示すように，あら業では脳領域の抽出が難しかったため，深層学習を用いた．

かじめ型に空けておいた隙間から，透明なシリコン樹脂を

具体的には，Perez-Garcia が 3D Slicer のアドオンとして実流しこむ．ここでは，SaikaLife 2 液性シリコン樹脂液を使

8)を使用した．Brain

用した．2 液を混ぜて樹脂を硬化させるタイプのものであParcellation モ ジ ュ ー ル で は ， Li ら が 提 案 し たる．シリコン樹脂が硬化したら，型から中身を取り出すこ

HighRes3DNet9)を使用して，脳領域を抽出する．MRI ボリとで，2 色頭部模型を作製することができる．

装した Brain Parcellation モジュールュームデータから抽出した脳領域を図 4 に示す．

4.

3D Slicer から STL 形式で脳モデルを出力し，Meshmixer

実験結果

を使用して，図 5 の赤枠で囲った 2 カ所に，脳を貫通する提案手法により作製した頭部と脳の模型を図 8 に示す．

ように穴を空けておく．この穴は，印刷時に透明なテグス

頭部を透明なシリコン樹脂，脳をフィラメントの赤色で表を通し，脳を型に固定するために使用する．

現できていることがわかる．これにより，単色印刷では不3.4可能であった，
頭部内の脳を観察することが可能となった．

3D プリンタによる頭部と脳の模型の作製

今回の実験では，ある程度柔軟性のあるシリコン樹脂を

3.2 節で作成した頭部の型の 3D モデルと 3.3 節で作成し使用した．硬さの異なるシリコン樹脂やレジンを使用してた脳の 3D モデルを 3D プリンタで印刷する．本研究では，実験したところ，硬化後の樹脂に柔軟性が無いと，型から3D プリンタは，ANYCUBIC の i3 Mega S を使用した 10)．i3

模型を外すことが難しいことがわかった．

Mega S は 3～4 万円程度で購入できる単色 FDM 方式 3D プ

3D プリンタがあれば，主に，フィラメントとシリコン樹

リンタである．フィラメントは PLA (Poly-Lactic Acid) 樹脂

脂の価格のみで模型を作製することができる．今回使用しのものを使用した．図 6 に示すように脳の 3D モデルに空たフィラメントとシリコン樹脂は 1kg でそれぞれ 2,000 円

けておいた穴に透明なテグス(赤い破線部)を通し，セロハと 3,000 円程度であり，一つの模型を数百円程度で作製すンテープで頭部の型に固定する．テグスはナイロン製の 1ることができる．

317

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 8 提案手法により作成した頭部と脳の 2 色模型
Fig.8 Two-color model of the head and brain created by the proposed method

5.

6) 3D Slicer Image Computing Platform, 3D Slicer,

むすび

https://www.slicer.org/ (2022).

単色の FDM 方式 3D プリンタを用いて，MRI ボリュー

7) Autodesk, Meshmixer, https://www.meshmixer.com/ (2022).

ムデータから抽出した頭部と脳の 3D モデルを 2 色で印刷

8) F. P. Garcia, Brain Parcellation Modules,

する手法を提案した．MRI ボリュームデータから画像処理

https://github.com/fepegar/SlicerParcellation (2022).

と深層学習を用いて，頭部と脳の領域抽出を行った．抽出

9) W. Li, G. Wang, L. Fidon, S. Ourselin, M. J. Cardoso, T. Vercauteren:

した頭部モデルから型を作成し，3D プリンタで型と脳を印“On the Compactness, Efficiency, and Representation of 3D

刷した．型に脳を固定し，透明なシリコン樹脂を流し込む

Convolutional Networks: Brain Parcellation as a Pretext Task”, Proc.

ことで，頭部を透明なシリコン樹脂，脳を 3D プリンタのof Information Processing in Medical Imaging, pp.348–360 (2017).

フィラメントの色の 2 色で表現することが可能となった．

10) ANYCUBIC, Mega Series, https://www.anycubic.com/ (2022).

オープンソースソフトウェアと市販の材料を使用すること（2022 年 10 月 29 日 受付）

により，2 色臓器模型の作製コストを抑えられ，コスト削減により，医療・教育現場での臓器模型使用のハードルが杉 田 純 一（正会員）
2008 年 東京電機大学大学院工学研究科修士課
程修了．同年 凸版印刷株式会社入社．2012 年
より東京医療保健大学医療保健学部医療情報学科助手，助教を経て，2019 年より同大講師，現在に至る．博士（工学）．コンピュータグラフィックスに関する研究に従事．

下がることが期待できる．
今後の課題として，肝臓と血管などの他の臓器でも試してみること，使用する透明シリコン樹脂の変更による透明度の向上，臓器を型へ固定する際に正しい位置に簡単に固定可能な方法の検討などが挙げられる．

参考文献

清 沢 尭 礼2023 年 東京医療保健大学医療保健学部医療情報学科卒業．

1) C. L Ventola: “Medical Applications for 3D Printing: Current andProjected Uses”, P and T, Vol.39, No.10, pp.704–711 (2014).
2) 森健策: “臓器実体モデル作製のための基礎知識”, インナー
ビジョン, Vol.30, No.7, pp.64–71 (2015).
3) N. Wijnen, L. Brouwers, E. G. Jebbink, J. M. M. Heyligers, M.
Bemelman: “Comparison of Segmentation Software Packages forin-Hospital 3D Print Workflow”, Journal of Medical Imaging, Vol.8,
No.3, pp.034004:1-034004:18 (2021).
4) 丸紅情報システムズ, 3D プリントサービス for メディカル,
https://www.kezlex.com/ (2022).
5) 宮本惠未, 三谷純, 大城幸雄, 大河内信弘: “手術支援を目的とした 3D プリント用簡易臓器モデル生成システム”, 情報処理学会第 78 回全国大会講演論文集, pp.139–140 (2016).

318

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

画像処理を用いたミツバチへギイタダニの計数 Android アプリの実装と評価
髙 山 翼†

長 谷 川 ま ど か ‡（フェロー）†宇都宮大学大学院地域創生科学研究科，‡宇都宮大学工学部

Implementation and Evaluation of Android Application for Counting Varroa Mites
Based on Image Processing
Tsubasa TAKAYAMA†, Madoka HASEGAWA‡ (Fellow)†Graduate School of Regional Development and Creativity, Utsunomiya University, ‡School of Engineering, Utsunomiya University〈あらまし〉 ミツバチ不足の原因の 1 つであるミツバチへギイタダニの寄生は，養蜂家を日々悩ませている．このダニは体長 1-2 ㎜と非常に小さく，目視での計測は容易ではないため，寄生ダニの計測にかかるコストの軽減が求められている．本研究では，駆除剤の投入によって巣箱の底の紙上に落下したダニを画像処理で自動計数することを目的とし，テンプレートマッチングによる動的なダニ面積閾値決定と，閾値処理を用いた計数法の提案とシステム開発を行った．提案法を実装した Android アプリを使用することで，屋外の養蜂場においても，カメラ内蔵のスマートフ
ォンやタブレット端末で手軽に寄生ダニの計数が可能となった．また，精度も平均 F 値 85％以上と良好な結果が得られたので報告する．
キーワード：ミツバチ, ヘギイタダニ, 画像処理, アプリケーション開発, 害虫検出
<Summary> The infestation of varroa mites, which is one of the causes of honeybee shortage, is a daily problem for beekeepers.
Human visual inspection is not easy because varroa mites are tiny bugs (1-2 mm in length). For this reason, there is a need to reducethe cost of measuring varroa mite infestation. To solve this problem, we developed an automatic counting method using image
processing to count the number of mites dropped on the paper laid on the bottom of the beehive box after using antiseptics. In thispaper, we report on the implementation of the proposed method as an Android application, which enables us to measure theinfestation rate of mites with a single smartphone or tablet. Experimental results show that the average F1 score of our system ishigher than 0.85.
Keywords: honeybee, varroa mite, image processing, application development, mite detection

1.

状である．

はじめに

ミツバチへギイタダニの寄生率検査には雄蜂児法や自然落

2006 年に米国で蜂群崩壊症候群による不可解な蜂群消失現

下ダニ検査などが存在する．筆者らはこれまでに雄蜂児法の象が報告され 1)，以後，世界中でミツバチの不足が深刻な問題支援を目的としたダニの計数手法を提案した 7)．雄蜂児法でとなっている 2)．この原因の 1 つにミツバチへギイタダニのは，雄の蜂児を育成する巣板を用い，そこにできた蜂児の育寄生が挙げられる 3)．通常，ダニの寄生検査は目視により行わ

房の蓋を切り，全ての育房から中身を取り出したのち，さなれるが，このダニは体長 1-2 mm 程度と小さいため，作業に長ぎに寄生するダニを計数する．この手法では，取り出したさい時間を必要とし，また，作業者の疲労や防護服着用によるなぎを静止画撮影して計数していたが，ダニの背後にあるさ

視界不良のため正確さにばらつきが生じる問題がある．このなぎの眼や体の一部がダニと誤判定され易いという問題があため，定量的かつ高速な評価が可能な，自動ダニ計数法が求った．また，カメラ撮影後に，画像をパソコンに移して計数

められている．

を行っており，利便性に改良の余地が残されていた．

画像処理をベースとした病害虫検出においては，対象とな

一方，自然落下ダニ検査 8)では，巣箱の底に落下した巣屑内る病害虫の種類や落下・付着後の粘着シートの色・柄に応じに含まれるダニの死骸数を計測する．この検査法は，雄蜂児て，様々な手法の検討が行われている 4)～6)．しかし，微小な法と比べ，ダニの背景が平坦になる可能性が高く，画像処理

ミツバチヘギイタダニを対象とした手法は存在しないのが現と親和性があると考えられる．

319

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 1 蜂巣の内検作業
図 2 巣箱底の様子

Fig.1 Inspection of beehive box

Fig.2 An example of bottom of beehive box

そこで本研究では，自然落下ダニ検査を支援する画像処理
手法の検討とアプリケーション開発を行った．養蜂場は山林内にあり，電源の確保が困難である．また，養蜂家自身による検査作業の支援を前提としており，蜂巣の内検時に使用するため，煩雑で特殊な装置の使用は好ましくない．蜂巣の内検作業の様子を図 1 に示す．このことから，スマートフォン
あるいはタブレットを利用するものとした．本論文では，Android OS 対応のアプリケーション開発を行い，その性能評

図 3 撮影環境価も行った．本アプリケーションにより，スマートフォンもFig.3 Camera settings

しくはタブレット 1 つで寄生ダニの計数を行うことが可能と
なった．

2.

ヘギイタダニ検出処理の概要

自然落下ダニ検査における巣箱の底の様子を図 2 に示す．
また，撮影環境を図 3 に示す．なお，撮影時には，巣箱の底に 44×27cm 程度の白い厚紙を敷くことを前提としており，厚紙には，マーカーとして，あらかじめ直径 2cm の基準円が中央に黒で描いてある．紙には，ダニだけでなく，蜜，花粉，

図 4 提案手法の流れ

巣屑，ハチの死骸や排泄物なども落下するため，1 回の検査ご

Fig.4 Flow diagram of the proposed methodとに汚損された厚紙を廃棄することになる．色校正用カラー
チャートでは汚損で変色する可能性があり好ましくない．一本システムにおけるダニ検出処理のブロック図を図 4 に方，黒色の基準円であれば汚れに頑健で，養蜂家が容易に自示す．図中の前処理はサイズの正規化処理である．色変換か作することもできる．このため黒色基準円を採用した．

らラベリングまではダニ候補領域を求め，個々の面積を算出

ヘギイタダニの色は，成長ステージ，個体差，照明変動なする処理である．テンプレートマッチングと面積の閾値決定

どによって変化するが，成虫の色は薄い赤褐色～濃褐色であでは，ダニ領域の面積の閾値を求めている．色情報を用いたることが多い．ノイズの要因となるダニ以外の落下物のうち，単純な閾値処理を用いないのは，ノイズの要因の一つである

特に巣屑は薄茶～濃褐色で色がダニに似ている．

巣屑がダニの色に似ており判別が困難であるためである．

撮影には携帯端末内蔵カメラ(4,160×3,120 画素)を使用し，巣箱底から約 20cm の距離で撮影する．このとき，ダニは約32×32 画素になる．CCTV 人物監視カメラの Detection,

以下，ブロック図内の各処理の詳細を順に説明する．

2.1

前処理

Observation, Recognition and Identification (DORI)基準 9)では，物

筆者らは文献 13) にて，自然落下ダニ検査の支援のための体検出に画像の高さ(full HD カメラの場合 1,080 画素)の 10%

スマートフォンアプリケーションのプロトタイプを提案した．

以上，認識に 20%以上の画素数が必要であるといわれている

しかし，この段階では，事前に撮影した画像を PC 上でトリミ

10)．ダニはこの基準よりもかなり小さい．また，ダニの画像はングし，スマートフォンにインポートして実験を行っており，

以上の理由から，YOLO11) や収集途上で枚数が限られている．
SSD12)などの既存の物体検出システムを適用できない．

スマートフォンアプリケーション 1 つで操作が完結していな
かった．そこで，本研究では，処理フローに前処理を追加し，320

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 5 前処理部の処理の流れ
Fig.5 Flow diagram of the preprocessing(a)

L*成分画像 (入力)(c)p-tile 法による 2 値化

撮影からダニ検出・計数までの処理の一元化を行った．前処(b)

大津の 2 値化

理部の流れを図 5 に示す．前処理の目的は，撮影距離の変動によるダニのサイズのばらつきの正規化である．撮影は，手持ちのスマートフォンで巣箱上部から行うことを想定している．撮影者は面布と呼ばれる防護服を着用した視界不良の状態であり，周囲にミツバチも飛び交っていることから，所定の撮影距離を毎回正確に保つことは難しいため，この処理を(d)

凹凸係数+大津の 2 値化行っている．前処理では，SIFT 特徴量の算出，輪郭検出，Ratio

図 6 2 値化の実行結果の比較 (左上の黒丸は基準円)算出の順に処理して撮影距離を推定後，画像のリサイズを行

Fig.6 Comparison of the results of binarization

う．以下，順に説明する．
2.1.1

SIFT 特徴量の算出

Scale-Invariant Feature Transform(SIFT)14)は照明変化や回転，拡大縮小に頑強な特徴量を用い，特徴が一致する候補点を見つける手法である．提案手法では，撮影して得られた画像の中から，基準円のみの画像と一致する候補点を探索し，マッ(a)

L*成分画像 (入力)(c)p-tile 法による 2 値化(b)

大津の 2 値化

チング度が最大となる 1 点を採用する．
2.1.2

輪郭検出

輪郭検出部では，Canny フィルタによるエッジ検出後，基準円とのマッチング度が最大の 1 点を含む円形領域の外接矩形を検出する．Canny フィルタの閾値 T1，T2 は 100, 150 とし
た．
2.1.3

(d)

凹凸係数+大津の 2 値化

図 7 一部拡大画像の比較

Ratio 算出

Fig.7 Comparison of partially enlarged images

Ratio 算出では，前節で得られた外接矩形の面積 S1 をもとに，撮影画像のリサイズ比率 R を式(1)で求める．

2.2

色変換

次に，前処理後の画像に対し，色変換を行う．RGB 色空間(1)から L*a*b*色空間に変換される．このうち，L*成分と a*成分

ここで，S は事前に設定するパラメータであり，カメラ，おおよその撮影距離，および 2.5 節で後述するダニのテンプレのみを以後の処理に用いる．
2.3

2 値化手法

ート画像のサイズから決定される．今回の検討では S を提案手法では 2 値化処理によりダニと非ダニ領域を分離す

125,000 とした．この値は，今回の撮影環境では，撮影距離がるが，大津の 2 値化 15) のような単純な 2 値化ではうまく分離

20cm 前後であり，前処理後のダニの面積がテンプレート画像

できない場合がある．特に，屋外の養蜂場で白紙の上に落ちの内のダニのサイズ±100 画素の範囲に収まるように調整したダニを撮影した画像は，シェーディングが生じ分離が難した結果決定した．S1 は，前述の外接矩形の面積である．

い．そこで，本節では，3 つの 2 値化手法の比較を行う．入力

2.1.4

画像と 3 手法による 2 値化の実行結果を図 6 に，それぞれの画像のリサイズ得られた R を用いて，撮影画像をリサイズする．例えば，

一部拡大画像を図 7 に示す．図 7 の中央にある楕円形の物体

R=0.58 の場合，アスペクト比固定で画像のサイズを 58%に縮がダニ，周囲のものが巣屑である．

小することを意味する．これにより，撮影距離の変化による

2.3.1

画像中のダニのサイズのばらつきをなくすことができる．なお，2.5 節で説明するテンプレート側をリサイズしないのは，

p-tile 法

p-tile 法 16)は，画像中に占める検出対象領域の画素の割合が，画像の大きさと撮影条件からあらかじめ予測できる場合に，
この予測された画素数に応じて閾値を決める手法である．p-

ダニが微小で，縮小すると特徴が失われるためである．

321

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

tile 法では輝度値の低い画素から順に出現頻度を積算し，累積画素数が予測値を超えたときの輝度値を閾値とする．図 6(c)から分かるように，p-tile 法では，一見，ダニと非ダニ領域を分離できているように見える．しかし，拡大して見ると，p-tile
法による 2 値化では図 7(c)のようにダニとダニ自身の影がともに黒画素になっていることがわかる．また，p-tile 法はあらかじめ閾値を設定する必要があるため，画像中の巣屑の量や

図 8 着目画素と凹凸係数算出に使用される領域
Fig.8 Current pixel and area for calculating the roughness coefficient

ダニの数の変動への対応が難しい．その結果，後段の面積の閾値処理においてダニではないと判定される可能性が生じる．
また，提案システムでは前処理において画像のリサイズを行
うが，リサイズによる誤差も生じるため，p-tile 法のような固定閾値は適さない．
2.3.2

凹凸係数へ変換後に大津の 2 値化を行う手法(a) 処理前

凹凸係数とは，係数を算出する対象となる画素を中心に据(b) 処理後

図 9 ラベリング処理の例
Fig.9 Example of labeling process

え，その画素を含むその上下左右の画素ブロックの平均輝度値を算出し，その値で着目画素の輝度値を除算した値である
17)．この係数は，着目画素近傍における濃度変化の割合を表

し，照明の明るさが変わり，画面上の照度が変化しても，局所的な濃度変化がない部分の凹凸係数は常に同じ値を示す．
図 8 にブロックサイズとしては最も小さい 3×3 画素の場
合の平滑化凹凸係数の算出に使用する画素を示す．図の中心
位置 i, j に存在する画素が平滑化凹凸係数を算出する着目画, で表すものとする．まず，素である．この画素の輝度値を着目画素の周囲の上下・左右数画素平方の範囲でブロックを構成し，ブロック内の画素の平均輝度値
なお，3×3 画素の場合，m = 1 である．
,

2

1

, を式(2)で求める．

,

紙に落下したダニや巣屑の面積を算出することができる．ラベリング処理の例を図 9 に示す．図中の文字は，上段がラベ
ル ID，下段が連結成分の面積(画素数)である．

2.5

テンプレートマッチングとダニ面積の閾値決定

屋外で手持ちのスマートフォンで撮影する場合，画像上での 1 匹のダニの領域面積は一定ではなく，撮影距離や角度のすべての揺らぎには対応できない．そこで，本研究では，テ,ンプレートマッチングによりダニ領域の候補群を検出すると同時に，それらの候補の中からダニテンプレートとの類似度

1.0にクリッピングする．

以降の閾値処理で使用する．これにより，画像ごとに適応的だしこのままでは， , が 1 より大きくなる可能性があるため，,,

1.0 &'

,

,

) 1.0

に収める．

,

* 255

が最大のものを一つ選択し，その領域におけるダニの面積をに閾値を決定でき，揺らぎに頑健になる．

(3)

テンプレートマッチングにおける類似度の評価指標には，ダニ検出の予備実験で高精度を示した NCC (Normalized(4)

次に式(5)で， , に 255 を乗算し，画素値を 0~255 の範囲内,

り振り，連結成分ごとに面積の算出を行う．これにより，白た, で除算することで求められる．

をブロックの平均輝度値,

本処理では，2 値画像中の黒画素の連結成分にラベルを割前処理により，撮影距離の揺らぎにはある程度対応できるが，

位置 i, j における凹凸係数 , は，式(3)のように，輝度値その場合は，式(4)で ,ラベリング処理

揺らぎ，ダニの向きの違いや個体差による揺らぎが生じる．

(2)

1

2.4

Cross-Correlation)16)を用いた．NCC は正規化相互相関で類似度を評価する手法であり，式(6)で表せる．
,-- #$ , #%(5)

この凹凸係数は，ブロックのウィンドウ位置を 1 画素単位でずらしながら画像中の全画素位置で算出する．したがって，
平均輝度値を算出する画素領域が周辺のすべての方向の領域

2∑$1 0 ∑%/ 03

ここで，と重複するため，この処理でブロックひずみは発生しない．
最後に，得られた凹凸係数 , に対して，大津の 2 値化を行う．図 7(d)に示す通り，凹凸係数+大津の 2 値化では，影を含めずにダニを 2 値化できている．このため，次節のラベリン/∑1$ 0 ∑% 0

，

#$

#$

, #%

, #%
4

,

2∑$1 0 ∑%/ 05

,

6

(6)

は対象画像の座標 , における画素値，， はテンプレート画像の画素値，!と"はテンプレート
画像の幅と高さ，#$ ，#% は対象画像上の走査位置，x, y はテンプレート画像内の位置である．

テンプレートマッチングによるダニ面積の閾値決定の流れ

グで正しいダニの面積を得ることが期待できる．

322

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 10 閾値決定処理の流れ(M =500 の場合)

白領域

Fig.10 Flow for deciding threshold (for M =500)(a) ダニ領域の例を図 10 に示す．図 10 の①～③では，以下の処理を行う．
①(b) 非ダニ領域

あらかじめ 1 匹のダニを撮影したテンプレートを用意

図 11 矩形内の白領域(2 値画像)

し，回転角度(0°, 90°, 180°, 270°)ごとに対象画像上

Fig.11 White area inside of a bounding box (binary image)

でテンプレートマッチングを行い，テンプレートとの類
似度の最大値をスコアとして記録するとともに，当該矩形領域の左上の座標を記録する．
②

記録された 4 つの類似度のうち，スコアが最大の領域をダニである確率が最も高いと判断し，2 値画像内の対応する矩形領域におけるダニ領域(黒画素)の面積 M を算出する．

③

得られた面積 M±100 をダニ領域の面積の範囲とする．

これらの処理の後，2.4 節のラベリング処理で得られた個々
図 12 アプリの起動画面
Fig.12 Startup screen of the applicationのダニ候補領域の連結成分面積に対して，この面積範囲で閾
値処理を行い，範囲外の候補領域を除外する．

ダニ領域の割合による閾値処理

2.6

前節までの処理により，ダニが存在する可能性が高い領域の外接矩形とその左上座標の集合が得られるが，その中には面積が近い巣屑領域なども含まれている場合があるため，これを除外する必要がある．そこで本手法では，巣屑などの非ダニ領域は，ダニが存在する領域と比べ，外接矩形内に背景の白画素領域が多い点に着目する．ダニ領域と非ダニ領域の2 値画像を図 11 に示す．同図より，非ダニ領域は外接矩形内に白画素が多いことが分かる．
そこで，外接矩形の面積に対するダニ候補領域の面積の割

図 13 プログレスバー画面

合 P を判別に使用する．矩形内におけるダニ候補領域の画素

Fig.13 Progress bar screen

数の割合 P は式(7)で算出する．
7

矩形内のダニ候補領域の画素数
外接矩形の総画素数(7)

あらかじめ閾値 TP を設定し，ダニ候補領域の画素数の割合 P
が閾値 TP を超えればダニ領域，それ以外を非ダニ領域とする．
なお，今回の実験では閾値 TP＝0.55 を使用した．

3.

Android アプリケーションの設計と実装

本節では，上述の手法に基づく Android アプリの設計と実図 14 結果画面

装について述べる．図 12 にアプリの起動時の表示画面を示

Fig.14 Result screen

す．上段の「カメラ起動」ボタンをタップすると，撮影画面へ遷移する．下段の「ダニ検出」ボタンでは，撮影画像に対4.

して提案手法によるダニ検出が行われ，結果画像が表示・保存される．表示される結果画像の左上には，ダニの検出数も表示される．なお，ダニ検出処理の進行中はプログレスバーを表示している．図 13 にプログレスバー画面，図 14 に結果
画面の例を示す．

323

4.1

ダニの計数実験と考察

実験条件構築したアプリケーションを用いて，ダニの計数実験を行った．実験環境は表 1 のとおりである．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

表 1 実験環境
Table 1 Experimental environment

実験端末
ディスプレイサイズ

メモリ
ストレージ
SoC
OS
カメラ
プログラム開発環境

Lenovo Tab P11 Pro
11.5 インチ
6GB
128GB
Qualcom Snapdragon 730G
Android10
Lenovo Tab P11 Pro アウトカメラ(4160×3120 画素)
Androidstudio:4.1 OpenCV:4.5.0

図 15 ヘギイタダニのテンプレート画像
Fig.15 Template image of a varroa mite
表 2 凹凸係数算出で使用する輝度成分の実験条件
Table 2 Conditions of the luminance component for roughness
coefficient calculation

実験では，巣箱にダニ駆除剤を投与し 30~60 分程度経過後，

条件

輝度成分

底に落ちたダニをタブレットで撮影した．撮影期間は 2021 年

A1

L*a*b*表色系の L*成分

8 月～11 月であり，得られた実験用画像は 4,160×3,120 画素

A2

HSV 表色系の V 成分の画像 14 枚である．SIFT で使用した基準円画像のサイズは400×400 画素，テンプレートマッチングで使用したダニのテ

表 3 テンプレートマッチングで使用する色成分の実験条件

ンプレート画像のサイズは 32×32 画素である．これらのサイ

Table 3 Conditions of the color component for template matching

ズは，今回使用したカメラの解像度，撮影距離，基準円とダ

条件

色成分

ニの実際の大きさの関係から決定したものである．なお，カ

B1
B2
B3
B4
B5
B6
B7
B8
B9

R 成分
G 成分
B 成分
H 成分
S 成分
V 成分
L*成分
a*成分
b*成分

メラの解像度が異なる場合，本アプリケーションでは，2.1 節の前処理を通じて画像中の基準円のサイズが 400×400 画素になるようリサイズされる．

4.2
4.2.1

使用する色成分の妥当性の評価実験
実験条件

まず，凹凸係数の算出処理に入力する画像の輝度成分およびテンプレートマッチング処理に入力する画像の色成分の妥当性を評価する実験を行った．実験条件を表 2 と表 3 に示

表 4 凹凸係数算出時の各条件における全検出結果

す．凹凸係数算出では輝度成分を用いるため，L*成分と V 成
分の比較を行った．テンプレートマッチング処理では，RGB，

Table 4 Total detection results for roughness coefficient
検出数

誤検出

検出
漏れ

適合率

再現率

F値

HSV，L*a*b*の各色成分を比較対象とした．ダニのテンプレ

輝度成分

ート画像(32×32 画素)を図 15 に示す．

L*

709

63

186

0.918

0.792

0.851

V

717

66

178

0.916

0.801

0.855

4.2.2

凹凸係数算出に使用する輝度成分の比較

凹凸係数の各条件における全検出結果と撮影日ごとの検出結果を表 4，表 5 に示す．検出数は画像内のダニを正しく検表 5 凹凸係数算出時の各条件における撮影日ごとの検出結果

出した数，検出漏れは画像内のダニのうち検出できなかった

Table 5 Detection results for each shooting date

ものの数，誤検出数はダニではない領域をダニとして検出し

撮影日

輝度成分

適合率

再現率

F値

た数を示す．適合率は，判定結果がダニとなった領域のうち，2021/08/24

L*

0.825

0.786

0.805

実際に正解であるものの割合を表し，再現率は全正解のうち，2021/08/24

V

0.744

0.690

0.716

ダニとして判定結果が出力された領域の割合である．F 値は2021/10/05

L*

0.959

0.864

0.909

適合率と再現率の調和平均を示す．なお，表 4 における検出2021/10/05

V

0.945

0.918

0.931

数，誤検出，検出漏れは，画像全 14 枚での結果の和を示して2021/11/10

L*

0.915

0.762

0.832

いる．

2021/11/10

V

0.930

0.768

0.841

表 4 より，全体的に見ると，凹凸係数の算出に L*成分，V成分のどちらを使用しても F 値に差がほとんどないことがわ

囲が 0.716～0.931 であり，その差が 0.215 と大きい．V 成分

かる．次に，表 5 の撮影日ごとの結果に着目する．L*成分をでは，撮影日，すなわち，撮影時の天候等の条件変化による用いた場合，
撮影日ごとの F 値の範囲が 0.805～0.909 であり，精度変動が大きいといえる．このことから，凹凸係数算出にその差が 0.104 である．一方，V 成分を用いた場合，F 値の範は L*成分を採用した．

324

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

4.2.3 テンプレートマッチングに使用する色成分の比較表 6 テンプレートマッチングの各条件における全検出結果

テンプレートマッチングに使用する色成分の各条件におけTable 6 Total detection results for each condition of template matching

る全検出結果を表 6 に示す．前節と同様に，検出数，誤検出，検出漏れは，画像全 14 枚の結果の和である．
表 6 より，a*成分を用いた条件 B8 は，F 値が 0.851 と最も精度が高く，次いで G 成分を用いた条件 B2 の精度が高いことが分かる．a*成分は+a*が赤方向，－a*が緑方向であり，ダニ画像のテンプレートマッチングの際には，何らかの形で緑方向の成分も考慮することが有効であると考えられる．ダニ自体は赤褐色であるが，R 成分を用いた条件 B1 は精度があまり良くない．この原因として，巣屑も薄茶～赤褐色のものが多いため，R 成分だけを使用すると，巣屑を最大類似度の矩形として検出してしまうことが挙げられる．

色成分

検出

誤検
出

検出
漏れ

適合
率

再現
率

F値

条件 B1

624

条件 B2

706

533

271

0.539

0.697

0.608

74

189

0.905

0.789

0.843

条件 B3
条件 B4

318

430

577

0.425

0.355

0.387

53

16940

842

0.003

0.059

0.006

条件 B5

193

14069

702

0.014

0.216

0.025

条件 B6

477

1488

418

0.243

0.533

0.334

条件 B7

659

197

236

0.770

0.736

0.753

条件 B8

709

63

186

0.918

0.792

0.851

条件 B9

172

21532

723

0.008

0.192

0.015

また，H 成分を用いた条件 B4，S 成分を用いた条件 B5，b*成分を用いた条件 B9 では，適合率が低く，F 値が非常に低い結果となった．これらの条件での結果画像の一部を図 16 に示す．H 成分，S 成分，b*成分では，巣屑を多く誤検出し，ダニがほとんど検出できていないことがわかる．これらの色成
分では，テンプレートマッチング部において，ダニではなく，よりサイズの小さい巣屑を最大類似度領域として検出してお(a) 条件 B4(b) 条件 B5(c) 条件 B9

り，次段の面積の閾値決定処理で，面積範囲が小さくなり，

図 16 条件 B4，条件 B5，条件 B9 の結果画像の一部

ダニが検出されない．以上のことから，条件 B8 で用いた a*Fig.16 Part of the resulting image for conditions B4, B5 and B9成分を提案手法で採用することの妥当性が確認できた．
なお，他の色成分と複数組み合わせる方法も考えられるが，

表 7 画像ごとの検出結果

表 6 に示すように，条件 B2 の G 成分と条件 B7 の L*成分以

外は誤検出が非常に多く，F 値も 7 割未満と低いこと，および，組合せることで処理が増え，結果表示までの所要時間がTable 7 Detection result of each image
対象
画像

画像内
ダニ数

No.1
No.2
No.3
No.4
No.5
No.6
No.7
No.8
No.9
No.10
No.11
No.12
No.13
No.14
全体

6
18
12
24
24
23
40
39
48
41
26
26
389
179
895

提案手法
検出 誤検出増大することから，a*成分のみを使用することが妥当であると考えられる．

4.3

画像ごとの検出結果の比較

凹凸係数算出に L*，テンプレートマッチングに a*を使用する提案手法を用いた場合の，画像ごとのダニの検出数，誤検
出数，検出漏れ数，適合率，再現率，F 値を表 7 に示す．
表 7 より，画像 14 枚の適合率の平均値は 0.918，再現率の平均値は 0.792，F 値の平均値は 0.851 と良好であることがわかった．ダニ全 895 匹のうち，未検出は 186 匹，誤検出は 63匹であった．しかし，駆除剤投与によってすべての寄生ダニが落下するわけではない．また，有蓋蜂児が存在する季節には，落下した数の倍以上のダニが育房内に隠れて巣箱内に残存する場合もあるといわれている．本システムは，現状，1~2

5
16
9
18
18
20
34
35
38
37
23
23
298
135
709

0
3
0
5
6
0
1
2
3
2
1
0
35
5
63

検出
漏れ

適合率 再現率

F値

1
2
3
6
6
3
6
4
10
4
3
3
91
44
186

1.000
0.842
1.000
0.783
0.750
1.000
0.971
0.946
0.927
0.949
0.958
1.000
0.895
0.964
0.918

0.909
0.865
0.857
0.766
0.750
0.930
0.907
0.921
0.854
0.925
0.920
0.920
0.825
0.846
0.851

0.833
0.889
0.750
0.750
0.750
0.870
0.850
0.897
0.792
0.902
0.885
0.885
0.766
0.754
0.792

割の未検出や誤検出があるが，巣箱内の全ダニの多寡を推測
本実験では，撮影を 3 日に分けたため，異なる撮影条件のする指標として十分有用である．
また，今回は撮影距離を固定せずに実験を行ったが，距離画像が得られた．明るい画像，暗い画像，どちらに対しても，が 20±10cm 程度の範囲内にあれば，精度が極端に低下する

提案手法の検出精度が極端に低下することはなく，照明変化などの問題は生じなかった．以上のことから，ダニの面積範にも頑健であることが実証された．撮影日が異なる実験画像

囲の閾値を適応的に決定する本手法の有効性が確認できた．

の例を図 17 に示す．

325

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

また，提案手法で検出漏れとなったダニの例を図 18 に示
す．検出漏れ 1 では，2 匹のダニが接しているため，2 値化後の連結成分が 2 匹分の面積となっていた．図 17 の画像 No.13のように，ダニの落下数が多い画像では図 18 の検出漏れ 1 のような複数匹のダニが接した検出漏れが多く存在した．検出漏れ 2 では，ダニに白い巣屑が付着しているため，2 値化後の面積が小さくなったと考えられる．巣屑は白色だけでなく，赤色や茶色など様々な色が存在するため，逆に面積が大きくなり，検出漏れとなるケースもあった．また，検出漏れ 3 では，ダニが横向きとなっていて正面から見たダニと比較して(a) No.1 (2021/08/24)

面積が小さい．本手法では，このように標準より面積の小さ
いダニは検出できず，検出漏れとなった．
次に誤検出例を図 19 に示す．落下した巣屑の中にはダニと色，形，大きさが酷似しているものが存在する．閾値の変
更だけでこのような巣屑を検出から除外することは，ダニも同様に除外される場合があるため，非常に難しい．このような問題点を解消するには，ダニと巣屑で異なる特徴を見つけ出す必要がある．なお，将来的にスマートフォン等でも超高解像度のカメラが使用できるようになった場合，基準円およ(b) No.6 (2021/10/05)

びダニテンプレートの解像度を増大させてマッチングできるため，現状では 1 ピクセル程度しかないダニの前脚などの微細な特徴を表現できるようになり，巣屑と区別できる可能性がある．ただし，処理速度やメモリコストとのトレードオフを考慮する必要がある．

4.4

処理時間

実験用画像を事前にメモリロードし，カメラ撮影完了時点と同じ状態にした後，ダニ検出ボタンをタップしてから計数
結果が表示されるまでの処理時間を計測した．計測は各画像(c) No.13 (2021/11/10)

10 回ずつ実行し，平均を求めた．

図 17 撮影日が異なる実験画像
Fig.17 Experimental images with different shooting dates

表 8 に，各画像の平均処理時間とアプリケーション実行時にプログラム内部で動的に算出して使用されたリサイズ比率
R を示す．また，図 20 に R と処理時間の関係を示す．R が大きいほど，処理時間が長くなる傾向がある．R > 1 は，カメラ–被写体間の距離が 20cm よりも大きいことを意味している．
距離が大きいと被写体が小さく写るため，2.1 節の前処理で画像が拡大され，テンプレートマッチングなどの処理対象領域(a) 検出漏れ 1(b) 検出漏れ 2(c) 検出漏れ 3が増大し，処理時間が長くなる．なお，画像 No.11 は，リサイズ比率が 0.98 で処理時間が 8.48 秒であった．このことか

図 18 検出漏れとなったダニの例
Fig.18 Examples of varroa mites that were not detected

ら，リサイズ比率が 1.0 のときの処理時間は，画像中の物体の多寡にも依存するが，8～9 秒程度と推測される．この程度であれば，目視でカウントするよりも高速であり，許容される．
なお計数中は，図 13 に示したようなプログレスバーを表示
し，待ち時間に対するユーザのストレスの軽減を図っている．

5.
図 19 誤検出例
Fig.19 Example of false positive

おわりに本研究では，白い厚紙に落下したミツバチへギイタダニを画像処理により検出し，計数することを目的とし，手法の開326

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

続的にダニを撮影し，テスト用データセットの充実を図り，

表 8 各画像の平均処理時間

機械学習を用いたダニ検出法の検討へと発展させていく予定

Table 8 Average processing time of each image
対象画像

時間(sec.)

リサイズ比率
R

No.1
No.2
No.3
No.4
No.5
No.6
No.7
No.8
No.9
No.10
No.11
No.12
No.13
No.14

8.12
8.43
7.34
8.34
10.90
9.04
11.20
10.30
12.90
11.50
8.48
9.48
10.40
7.97

0.86
0.85
0.74
0.86
1.13
1.05
1.25
1.17
1.44
1.26
0.98
1.07
1.10
0.87

である．

謝辞
本研究の進行にあたり，実験用画像の撮影にご協力いただ
きました株式会社アグリクリニック代表取締役社長 村井 保
先生，八方ヶ原西洋蜜蜂倶楽部協議会会長 柏 雅美 氏に深く感謝いたします．なお，本研究は JSPS 科研費(18K11346，
21K11931)の助成を受けたものである．

参考文献
1) 芳山 三喜雄: “世界におけるミツバチ減少の現状と欧米における要因” , ミツバチ科学, Vol.28, No.2, pp.65–72 (2010).
2) 木村 澄, 松山 茂, 中村 純, 浅田 研一: “養蜂技術指導手引書 V
養蜂における衛生管理 ダニ防除技術”, 一般社団法人日本養蜂協会 (2018).
3) Peter Rosenkranza, Pia Aumeierb, Bettina Ziegelmanna: “Biology andControl of Varroa Destructor” , Journal of Invertebrate Pathology, Vol.103,
Supplement, pp.96–119 (2010).
4) 曲山 幸生, 今村 太郎, 古井 聡, 宮ノ下 明大: “フェロモントラッ
プに捕獲されたコクゾウムシの ImageJ を用いた半自動計数法の開発”, 農研機構研究報告 食品研究部門, No.1, pp.9-17 (2017).
5) 下田 直樹, 片岡 祟, 岡本 博史, 寺脇 正樹, 端 俊一: “画像処理を用いた害虫の自動計数システム”, 農業機械学会誌, Vol.68, No.3,
pp.59–64 (2006).

図 20 リサイズ比率 R と処理時間の関係
Fig.20 Relationship between resize ratio and processing time6) 濱口 直輝, 寺田 賢治, 中野 昭雄: “圃場モニタリングのための微小害虫の識別と計数”, 電気学会研究会資料, pp.7–12 (2019).

発ならびに Android アプリケーションの設計と実装を行った．

7) 髙山 翼, 長谷川 まどか: “テンプレートマッチングを利用した雄Android アプリケーションの実装により，屋外で手軽にダニ検

蜂さなぎ画像におけるダニ検出”, 画像電子学会第 48 回年次大出・計数を行うことが可能となった．

(2020).

今回実装した Android アプリケーションを使用して，屋外の養蜂場で撮影した画像 14 枚の評価を行った結果，平均適合率 0.918，平均再現率 0.792，平均 F 値 0.851 と良好な結果が8) 中村 純, 吉田 忠晴: “ミツバチヘギイタダニの新学名と最近の防除技術”, ミツバチ科学, Vol.24, No.3, pp.137–142 (2003).
9) E. C. for Electro-technical Standardization, “Alarm Systems - CCTV得られた．これは，前処理におけるサイズの正規化と，テンSurveillance Systems for Use in Security Applications”, Aug.2012 (2012).

プレートマッチングによる動的なダニ面積閾値決定により，

10) F. C. Akyon, S. Onur Altinuc and A. Temizel, “Slicing Aided Hyper

撮影距離や天候変動に頑健な検出が可能となったこと，およInference and Fine-Tuning for Small Object Detection”, 2022 IEEEび，ダニ候補となる連結成分のラベリング処理や，ラベリン

International Conference on Image Processing (ICIP), pp.966–970, Oct.

グされた外接矩形内におけるダニ領域の割合による閾値処理

2022 (2022).

を実装することで誤検出数を低減できたためと考えられる．

11) J. Redmon, S. Divvala, R. Girshick, A. Farhadi, “You Only Look Once:

今後の課題として，機械学習を用いた検出手法の検討が挙

Unified, Real-Time Object Detection”, 2016 IEEE Conference on

げられる．養蜂では，採蜜を行う春から初夏にかけてはダニComputer Vision and Pattern Recognition (CVPR), pp.779–788, Dec.

の駆除剤を投与できない．また，冬はミツバチの越冬期に入2016 (2016).

るため，巣箱を開けて撮影することができない．撮影可能な

12) W. Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott

時期であっても，駆除剤耐性のあるダニが出現するのを避け

Reed, Cheng-Yang Fu, Alexander C. Berg, “SSD: Single Shot MultiBox

るため，薬剤の投与間隔を十分に空ける必要がある．これら

Detector”, Computer Vision – European Conference on Computer Visionの理由から，ダニの撮影可能時期が限定され，画像の集積に(ECCV) 2016, Lecture Notes in Computer Science, Vol.9905, pp.21–37,

月日を要している．今後，本アプリケーションを使用して継Sept.2016 (2016).

327

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

13) 髙山 翼, 長谷川 まどか: “画像処理を用いたミツバチへギイタダ
ニ検出スマートフォンアプリケーションの実装と評価”, 画像電子学会第 49 回年次大会 (2021).
14) D. Lowe: “Distinctive Image Features from Scale-invariant Keypoints”,
International Journal of Computer Vision, Vol.60, No.2, pp.211–214(2007).
15) N. Otsu: “A Threshold Selection Method from Gray-level Histograms”,
IEEE Trans. on Systems, Man, and Cybernetics, Vol.9, No.1, pp.62–66(1979).
16) 松阪 喜幸, ディジタル画像処理[改訂第 2 版], 公益財団法人 画像処理情報教育振興協会, pp.195-196, 235–236 (2022).
17) 佐藤 弘起, 佐藤 和弘: “シェーディング画像に良好なしきい値を設定できる変動しきい値式2値化処理法”, 画像電子学会誌, Vol.36,
No.3, pp.204–209 (2007).

（2022 年 3 月 31 日 受付）（2023 年 2 月 1 日 再受付）
髙 山 翼2020 年 宇都宮大学工学部情報工学科卒業．
2022 年 宇都宮大学大学院修士課程地域創生科学研究科修了．在学中，画像解析に関する研究に従事．

長 谷 川 ま ど か （フェロー）
1999 年 宇都宮大学大学院工学研究科博士後期課程修了．同年 宇都宮大学工学部助手．現
在 同大学工学部教授．画像符号化，画像信号処理，電子透かし，画像のセキュリティシステ
ムへの応用に関する研究などに従事．博士(工学)．電子情報通信学会，映像情報メディア学会，情報処理学会，IEEE 各会員．

328

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）
IIEEJ

ɀɂɏɩ⫴᫙☠ᄚ
空撮画像を対象とした Informed-Filters に基づく人検出の C++ AMP を用いたリアルタイム実装
津 山 雅 彦††大 木 琢 郎†薛俊 峰††
森 岡 隼 也††宮 本 龍 介†（正会員）† 明治大学 理工学部 情報科学科 , †† 明治大学大学院 理工学研究科 情報科学専攻

Real-time Implementation of Human Detection Based on
Informed-Filters Using C++ AMP for Aerial Images
Masahiko TSUYAMA†† , Junfeng XUE†† , Junya MORIOKA†† ,Takuro OKI† , Ryusuke MIYAMOTO† (Member)† Department of Computer Science, School of Science and Technology, Meiji University ,†† Department of Computer Science, Graduate School of Science and Technology, Meiji University〈あらまし〉 リアルタイムバイタルセンシングシステムに Image-Assisted Routing を採用するには，空撮画像から人物の位置情報をリアルタイムに推定するシステムが不可欠である．それには Informed-Filters とその並列実装が有望であるという研究がある．空撮画像を撮影するための UAV として，DJI Phantom 4 Pro V2.0 を用いるためには，
ユニバーサル Windows プラットフォーム (UWP) 上で動作するプログラムのみを対象としている DJI Windows

SDK を用いる必要がある．しかし，UWP 上のアプリケーションからは，広く並列プログラミングに用いられている NVIDIA CUDA 環境が利用できないという制約がある．この問題を解決するために，本稿では UWP において
外部 GPU を用いて並列処理を行う手段である C++ AMP を用いて Informed-Filters を並列化し，DJI Phantom
4 Pro V2.0 とリアルタイムに連携して動作できる人検出システムの実装を行った．本稿で実装したシステムの精度と速度を Unmanned Aerial Vehicle(UAV) から撮影した 1920×1080 ピクセルの解像度の空撮画像を用いて評価した．その結果，テスト画像全体の平均フレームレートで 41.8 fps の処理速度と高い検出精度が得られ，本実装がImage-Assisted Routing を実時間で行うのに十分な精度と速度で動作することが確認された．
キーワード：C++ AMP, Informed-Filters, Image-Assisted Routing, 人検出, 並列実装

<Summary> To adopt Image-Assisted Routing to construct sensor network dynamically for real-timevital sensing, a real-time system for human detection using aerial images is indispensable. When DJI
Phantom 4 Pro V2.0 is used to obtain visual information, the system must be implemented using DJI
Windows SDK that is designed to develop a software based on Universal Windows Platform (UWP). The
most signiﬁcant problem of UWP-based development is limitation about usage of CUDA that is popular forparallel programming using NVIDIA GPUs. To solve this problem, we have implemented Informed-Filterswith C++ AMP that is available for parallel implementation using GPUs on UWP. Experimental results
using 1920 × 1080 pixels images showed that the detection accuracy by the proposed implementation was
better than detectors based on deep neural networks and the detection speed reached to 41.8 fps.
Keywords: C++ AMP, Informed-Filters, Image-Assisted Routing, human detection, parallel implementation

である Image-Assisted Routing について述べる．

1. は じ め に

1.1 リアルタイムバイタルセンシングシステム

本章では本研究の目的を述べるが，それに先立ち運動中の

現在，運動中のスポーツ選手のバイタルデータをリアルタ

人物を対象として開発されているリアルタイムバイタルセン

イムに取得し体調管理やトレーニング効率の向上に役立てる

シングシステムとその実現に不可欠な動的ルーティング手法

ことを目指した研究が行われている1)．この目的を達成する

329

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

ためには，運動中に着用可能なセンサノード，センサノード

検出処理を行うことを目標とする．この目的には Informed-

から情報を適切に集めるための無線ネットワーキング方式及びリアルタイムにデータ収集を行うことができるシステムのFilters とその並列実装が有望であるという研究があり7),8)，
先行研究では NVIDIA CUDA9)を用いて Informed-Filters

開発が不可欠である．このように複合的な要素が要求されるを並列実装している．

研究において，著者らは主としてネットワーキング方式の開発及びシステム実装に取り組んでいる．

1.3 本研究の目的

人に装着された無線センサノードを用いてリアルタイムバ

Phantom 4 Pro V2.0 から画像を取得するためには，ユニイタルセンシングを行う手法として様々なアプローチが考えバーサル Windows プラットフォーム (UWP)10)を対象としられるが，我々は最終的なユーザビリティの向上を考慮してた DJI Windows SDK を用いる必要がある．しかし，UWP

無線局免許を必要としない無線通信方式を採用することとし上のアプリケーションはサンドボックス環境で実行されるた

た．この制約によって送信電力が制限され，センサノードのめ，CUDA 環境が利用できないという問題がある11)．この

通信可能な距離が短くなるため，センサノードの位置に応じ問題を解決するためのプログラム実装方法として，UAV かて動的にネットワーク構成を変更しデータをバケツリレーのように転送するマルチホップネットワークを利用する必要性

ら画像を受け取るプログラムと人検出システムを分割しそれらの間でソケット通信を用いて画像の送受信を行う実装が考が生じる．この方式には無線通信に必要となる電力を少なくえられる．本稿での実装に先立ち Unix 上でソケット通信をすることで，センサノードの小型化にも貢献できるという大用いて Android アプリを経由してデータの受け渡しを行うシステムの実装を行ったが，通信速度が安定しないという問きな利点もある．
一般にマルチホップネットワークの動的ルーティングを行うためには，受信信号強度 (Received Signal Strength In-

dicator; RSSI) がネットワーク構成を変更するための手掛りとして用いられることが多い．しかし，スポーツ選手や運動中の人物に装着されたセンサノードによって構成されるネッ

題があった．そこで，本研究では UAV からの画像の受け取りから人検出システムまでを 1 つのプログラムで行うことにした．

UWP 上でリアルタイムに人検出を行うためには，CUDAの代替となる並列計算手法が必要となる．そこで，本稿ではUWP において外部 GPU に代表される並列計算デバイス上で処理を行う枠組みである，C++ AMP12)を用いることと高いという RSSI の利用には不適切な条件があるため，これした．これを用いることで CUDA を用いることのできないを手掛かりとする動的ルーティングは困難である．そのため，
UWP 環境においても NVIDIA GPU を用いた並列計算が可
動的ルーティングに利用可能な RSSI に代わる手掛りが不可能となる．このライブラリを用いて Informed-Filters13)を並欠となる．
列化することによって，DJI Phantom 4 Pro V2.0 とリアルトワークを対象とする場合にはノードの密度及び移動速度がタイムに連携して動作する人検出ソフトウェアの実時間実装

1.2 Image-Assisted Routing
RSSI に代わる手掛りとして，映像情報から得られる人物の位置情報を用いる Image-Assisted Routing2),3)が提案されている．この手法は，地上に設置されたカメラやドローンに搭載されたカメラから得られる映像からセンサノードを装着した人物の位置を推定し，その位置情報に基づき動的ルーティ
ングを行おうというものである．本研究でもこのアプローチを目指す．
本稿では DJI Phantom 4 Pro V2.0 を用いた Image-Assisted Routing による無線ネットワーキングシステムの実現を目指し，C++ AMP を用いて Informed-Filters による人検出の並列実装を行う．また本実装では人の検出のみを考え，ネットワーキング及び追跡処理の実装は対象としない．

を採用することとした．Image-Assisted Routing による位

2. 関 連 研 究

置推定に基づく動的ネットワーキングを実現するためには，
空撮画像から得られる人物の位置情報を用いることが有効で2.1 Informed-Filters

ある．そこで，空撮画像を撮影するための Unmanned Aerial

Informed-Filters13)は Haar-Like 特徴14)と類似の矩形特徴

4)Vehicle(UAV) として DJI Phantom 4 Pro V2.0 を用いる

を用いて検出対象の訓練サンプルの形状に適するように設計ことにした．

された特徴量の計算を行い，算出されたスコアに基づいて検リアルタイムバイタルセンシングのために提案されている

出対象が含まれるか否かの 2 値分類を行う手法である．このプロトコルではスーパーフレームの長さが 1 秒である5)ことか

手法を検出器に用いる際は一般に，図 1 に示すようなスラら，動的なネットワーク構成の変更の時間的制約は厳しくな

イディングウィンドウにより入力画像からサブウィンドウと6)

い．しかし，追跡処理 と組み合わせてターゲットごとの位置呼ばれる単位でサンプル画像を取得し，それらを入力したと情報を得ることを考えると，検出処理は極力高速であることがきの Informed-Filters の識別器の出力によって 2 値分類を望ましい．そのため，DJI Phantom 4 Pro V2.0 のストリー行う．

ミングにおけるフレームレートの上限である 30fps の速度で330

入力サンプルのスコアを計算する識別器は図 2 に示すよう

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）
f eature value ≥ thresh ⇒ Rightf eature value < thresh ⇒ Lef tlabels-1+10Feature Template

Cell(4 × 4 pixels)

S0

SubWindows

Fig. 1 Sliding window
S2 = s 2 + S1

S2S3

図 3 深さ 2 の弱識別器
Fig. 3 Weak classiﬁer whose depth is 2

図 1 スライディング ウィンドウS1 = s 1

S1

Sn = sn + Sn−1

ブロック

共有メモリ

レジスタ

ローカルメモリ

Sn < f in thrd

グリッド
S1 < th1S2 < th2

Sn < thnスレッド

ブロックブロックブロックブロック
ブロックブロックブロックブロック
ブロックブロックブロックブロック

Positive

SubWindows

グローバルメモリ
Negative

コンスタントメモリ

図 2 ソフトカスケード構造

Fig. 2 Softcascade structure
図4

なソフトカスケード構造をとっている．先行研究7)では 200

CUDA ライブラリにおける並列プログラミングモデル
Fig. 4 The parallel programming model of the CUDA
library

個の深さ 1 の弱識別器でソフトカスケードを構成することにより，実用的な精度と速度を実現している．弱識別器は一般

2.2 先行研究における Informed-Filters の並列化に図 3 に示すような決定木の構造をもち，ルートノードから弱識別器の分岐ノードには特徴テンプレートが割り当てら

C++ AMP を用いた並列実装の参考とした InformedFilters の並列実装7)では CUDA を用いて特徴量の計算の並列化を行っている．CUDA を用いて処理の並列化を行うにあたり，GPU 内部のプロセッサ数や実行時に発生するワープダ

れている．特徴テンプレートはセルと呼ばれる 4 × 4 ピクセ

イバージェンスと呼ばれるオーバーヘッドについて考慮する

ルの単位で構成される矩形であり，これらは 1 × 2 セルから必要がある．GPU 内部のスレッドは図 4 のようにグリッド

4 × 3 セルまでの大きさであらかじめ人手で設計されている．
テンプレート内のセルには +1，0，−1 の 3 種類のラベルが付けられている．この特徴テンプレートを図 3 のようにサン
プル内に配置し， 式 (1) 及び式 (2) のように計算することでの中にブロックがあり，さらにその中にスレッドが存在する

サンプルの特徴量を計算している．

ドごとにワープという単位で実行され，ワープ内のスレッド入ったサンプルは弱識別器の深さの数だけ分岐を通り最終的に葉ノードに到達する．

f eature value=n∑という構造となっている15),16)．最適なブロックの分割数は計算に用いる GPU のプロセッサの個数に依存し，それに伴って適切なグリッドの分割数も変化する．スレッドは 32 スレッ間で分岐処理の方向に相違があるとワープダイバージェンス

labeli × celliが発生する．

(1)

Informed-Filters の並列化においては，図 5 及び図 6 に

i=1示すようなスレッドごとにサブウィンドウを割り当てるサブ
ウィンドウごとの並列化と，スレッドごとに弱識別器を割り
celli =

16∑

pixelj当てサブウィンドウごとに特徴量計算を並列化する弱識別器(2)ごとの並列化の 2 種類が考えられる．

j=1

図 7 は，Informed-Filters による検出を行った場合に各弱ここで，labeli はセルに与えられたラベル，celli はセル内の識別器が棄却するサンプル数を示している．この結果から，画素値の合計，pixelj はセル内のあるピクセルの画素値をそ

多くのサンプルが早い段階で棄却されることがわかる．前

れぞれ表す．

者の実装を行う場合，それぞれの入力サンプルすなわちサブ

弱識別器の葉ノードには識別器の学習で得られた，弱識別ウィンドウが棄却されるまでに通過する弱識別器の段数が同器が出力する値の候補値がそれぞれ割り当てられている．弱一であるかどうかは分からず，もし同一でない場合はワープ

識別器の分岐ノードは特徴テンプレートの他に閾値を保持しダイバージェンスが発生する．しかし，図 7 の結果から，カており，割り当てられた特徴テンプレートを用いて算出されスケードの後段まで処理が進むことは稀であり，ワープダイ

た特徴量と閾値の大小関係により決定木の分岐方向が決定さ

バージェンスによる影響を考慮しても早期棄却の効果が期待れる．そして，最終的に辿り着いた葉ノードに割り当てられできると言える．一方，弱識別器ごとの並列化を行うと，そている値が入力サンプルに対する弱識別器の出力値となる．

れぞれの識別器が演算に用いる特徴の違いに起因するワープ

331

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）
120000Thread(k)100000Weak(0)T

Weak(1)

Weak(n)

T

T
80000

F

F

F
60000

Thread(k+1)
Weak(0)T

Weak(1)

Weak(n)

T

T
40000

F

Sliding Window Search

F

F
20000

Sequential

図 5 サブウィンドウごとの並列化
Fig. 5 Parallelization per sub-windows

0
0

20

40

60

80

100

120

140

160

180

200

図 7 各弱識別器における棄却サンプル数

Fig. 7 The number of discarded samples at each weak classiﬁer

ス レッド 間 の 同 期 方 法 に も 違 い が あ る ．CUDA で は

Block(k)Thread(0)AcceptDiscarded

Thread(1)AcceptThread(n)Discarded

Accept

NVIDIA GPU のハードウェア仕様によりスレッド内部から実行中の全部のスレッドに対する同期をとることができず，

Discarded

Block(k+1)
Thread(0)F

Sliding Window Search

AcceptThread(1)AcceptThread(n)F

ホスト側から cudaDeviceSynchronize を呼ぶことでこれをAccept

実現している．一方，C++ AMP ではスレッド内でのメモ

Fリの参照を行うための識別子である array view に対してホSequential

図 6 弱識別器ごとの並列化

スト側から synchronize を呼ぶことで，全スレッドの同期をFig. 6 Parallelization per weak classiﬁers

とることができる．

ダイバージェンスの発生に加えて，早期棄却を行う際に無駄な計算を行う可能性が高くなる．そのため先行研究7)ではサ
ブウィンドウごとの並列化を行っている．以上のことから，

3. C++ AMP を用いた Informed-Filters の並列実装
本章では，計算装置やその上のメモリの扱いの違いや制本実装でもサブウィンドウごとの並列化を採用する．
図 8 に CUDA を用いた並列実装のコードを示す．CUDA

限事項を考慮した，C++ AMP を用いた Informed-Filtersを用いた並列処理においては各スレッドにブロックとスレッの並列実装について CUDA 版の実装と比較しつつ述べる．

ドのインデックスがそれぞれ blockIdx，threadIdx として割Informed-Filters を実装する上での違いを述べる前に C++
AMP における並列実装の様子を図 9 に，CUDA と C++
AMP におけるメモリ確保から並列処理，スレッドの同期までの流れをそれぞれ図 10 及び図 11 に示す．

7)

り当てられる．CUDA を用いた並列実装 では図 8 の右上のように，スレッド内で特徴量計算を行うサブウィンドウの座標がこれらのインデックスを用いて計算されている．

 ソースコード 1 ﬁlter info amp.hpp

2.3 C++ AMP
12)

C++ AMPは Microsoft が中心となって開発していた並列プログラミングを行うための C++を対象とした拡張ライ
ブラリである．Informed-Filters の並列実装7)では CUDA が用いられているが，CUDA が NVIDIA GPU 専用に設計されているのに対し，C++ AMP はそれに加えて AMD GPU
や Intel CPU 内蔵の GPU を用いて並列計算を行うことができる．また，GPU のアーキテクチャを考慮せずに逐次処理のループに近い形式で記述できることも大きな特徴である．

1 concurrency::array<ﬂoat, 1>∗ d thrd;
2
3 void load params(...) {4
std::vector<ﬂoat> h thrd;
5...
6
while(...) {7
h thrd.push back(value);
8
}
9
...
10
d thrd = new concurrency::array<ﬂoat, 1>(h thrd.
size(), std::begin(h thrd));11 }

3.1 検出器の実装

NVIDIA GPU では図 4 のように，グリッド内にブロックが，ブロック内にスレッドが生成されるため，CUDA を用い

CUDA を用いた並列実装7)においては，全てのブロックかて最適な粒度でプログラムの並列化を行うためにはプログラ

ら高速にアクセスすることのできるコンスタントメモリにマが GPU の構造を考慮してブロック数とグリッド数を決定

特徴量計算のフィルタや，弱識別器の葉ノードのスコア，二し，ホスト-GPU 間のデータのやりとりや GPU メモリの確

分木やカスケードの閾値を配置することによって，高速な処

保のタイミングを適切に指定する必要がある．それに対し， 理を実現していた．一方で C++ AMP は様々なアーキテクC++ AMP ではループの繰り返し回数を独自の表記を用いて parallel for each 関数に渡すことで処理を並列化すること

チャの並列演算器に用いることができるように，CUDA にができ，スレッドの生成数やデータの受け渡しのタイミング

はソースコード 1 に示すような Concurrency Array と呼ばはライブラリが自動で決定する．

れる C++ AMP において並列計算に用いられるメモリ領域332

みられるようなメモリ階層の概念はない．そこで，本実装でThe Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

スレッド

スレッド

スレッド

スレッド

図 8 CUDA による並列化
Fig. 8 Parallelization with CUDAにホスト側で読み込んだ値に対する参照を作り，必要に応じconcurrency::array<unsigned int, 2> img array(...);

20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

て GPU に転送するようにしている．

3.2 デバイスの初期化 · メモリ割り当て
2.3 節で述べたように，C++ AMP では一般に並列計算に用いられる外部 GPU から CPU の内蔵グラフィックまで，さまざまな計算装置を用いて並列計算を行うことができる．そのため，C++ AMP の初期化においてはライブラリが検出した計算装置のリストを取得し，その中から使いたいものを選択する必要がある．本実装では CUDA 版の実装との比較を行うため，ソースコード 2 先頭の amp initialize に示すよ// img array for accelerator
array view<unsigned int, 2> data view = img array;// the dimension of kernel
extent<2> img extent(rows , cols );...
// kernel
parallel for each(...img extent,[=](index<2> idx) restrict(amp) {int u = idx[1] ∗ p step p ;int v = idx[0] ∗ p step p ;const int id = (cols p − w size p ) ∗ idx[0] /p step p + idx[1];index<1> idx id(id);...
result view[idx id] = sumall;

36
37
38
39
});
40
result view.synchronize();41 }うに NVIDIA の GPU を用いるように実装した．
また，CUDA にはデバイスの初期化はないものの，ソー
1 〜○
3 にあるようスコード 3 の 15 行目や 29 行目，図 10 の○

なメモリの確保 · 解放やメモリのコピーといった処理が必要となる．C++ AMP ではメモリの確保 · 解放，コピーを行

3.3 前処理1
うかわりに，ソースコード 2 の 16〜17 行目や図 11 中の○2 に示すように，デバイスからホストのメモリへの参照
から○

先行研究7)では，検出処理を行うための前処理として以下の処理を行っている．

を作成しており，メモリの確保 · 解放及びデータのコピーは• cv::cuda::cvtColor を用いた色空間の変更

ライブラリが行う．

• cv::cuda::integral を用いた積分画像の作成

ソースコード 2 amp kernel.cpp

1 void amp initialize() {2// set accelarator
3
std::vector<accelerator> m acs lst = accelerator::
get all();4for (int i = 0; i < m acs lst.size(); i++)5{
6
if (m acs lst[i].get description().ﬁnd(L"GeForce")){
7
m acs = m acs lst[i];
8
}
9
}
10 }
11
12
13 void AMPDetector::AMPFeatureCalculation(const cv::
Mat& img, ﬂoat∗ result) {14// make array view of the detection parameters
15
array view<ﬂoat, 1> val view = ∗val a;16
array view<ﬂoat, 1> thrd view = ∗thrd a;
17
...
18
// clear current content to prepare for feature calculation
19
extent<2> img ﬂat extent(img.rows, img.cols); これらの処理は OpenCV17)の CUDA 向けの API をそれぞれ用いて行われるが，UWP で動作するプログラム
からは CUDA が利用できないという制限がある11)．そこ
で，本稿では OpenCV の CPU 向けの SIMD18)実装である
cv::cvtColor，cv::integral をそれぞれ用いてこれらの処理を

333

実現する．

3.4 特徴量計算の実装
画像に対する前処理が終わると，特徴量計算が行われる．

CUDA 版では前処理を GPU 側で行っているため，画像デー
タの転送は前処理の時点で完了している．一方 C++ AMP
版は前処理をホスト側で行うため，ソースコード 2 に示すよ
うに前処理が終わったデータに対して参照を作成し並列処理を呼ぶことで，ライブラリが並列処理を行う際に自動的にホThe Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

スレッド

スレッド

スレッド

スレッド

図 9 C++ AMP による並列化
Fig. 9 Parallelization with C++ AMP
ホスト

ホスト

GPU

①ホスト側のメモリ確保②GPU側からホスト側のメモリへの参照を作成②GPU側のメモリ確保
メモリ確保③並列処理の呼び出し③メモリのコピー④参照に対してSynchronizeをcall

値のコピー

値のコピー

④並列処理の呼び出し⑤cudaDeviceSynchronize

並列処理の実行

並列処理の実行

図 10 CUDA における並列処理の様子
Fig. 10 Parallel processing with CUDA

図 11 C++ AMP における並列処理の様子
Fig. 11 Parallel processing with C++ AMP

スト側から GPU にデータのコピーを行う．

算しているサブウィンドウの座標が必要である．2.3 節で述

13
14
15
16
17
18

べたように，C++ AMP では extent を用いて処理の繰り返

19

Informed-Filters の特徴量計算はサブウィンドウ単位で処理の並列化されているため，スレッド 内の処理には現在計

cv::cuda::GpuMat d img(img);
static cv::cuda::GpuMat d aux;
static cv::cuda::GpuMat d luv[3];

し回数を宣言することにより，ライブラリが自動的にスレッ
20
21
22

ドを生成し，各スレッドにインデックスを割り当てる．これにより，CUDA 版ではスレッドやブロックの ID とブロックの大きさからサブウィンドウの座標を計算する必要があるの23に対し，本実装では図 9 のように extent として画像の解像2425

度をセルの大きさで割った値を，サブウィンドウの座標とし

26
27てインデックスにセルの大きさを掛けた値を用いることにより，CUDA 版よりも簡単な計算でサブウィンドウの座標を求めることができる．

GPU①ホスト側のメモリ確保

ソースコード 3 cuda kernel.c

1 // 計算カーネル2
global void kernel (...) {3
const int x = blockDim.x ∗ blockIdx.x + threadIdx.x;4
const int y = blockDim.y ∗ blockIdx.y + threadIdx.y;5
int id = (cols−w size)∗y/step+x;
6...
7
result[id] = allsum;
8 }910 // 呼び出し部
11 void detect gpu(...) {12// data transfer



28
29
30
31
32 }

...
// preprocess
cv::cuda::cvtColor(d img, d aux, cv::
COLOR BGR2Luv);
cv::cuda::GpuMat d luv cat( cv::Mat(cv::Size(d aux.cols∗3, d aux.rows), CV 8UC1, cv::Scalar(0)) );...
// synchronize threads
CV CUDEV SAFE CALL(cudaDeviceSynchronize());
kernel<<<grid,block>>>(pImg, d result, d ﬂt,
d img.cols, d img.rows, step, w size, h size);// synchronize threads
CV CUDEV SAFE CALL(cudaDeviceSynchronize());// copy to hostcudaMemcpy(&h result[0], d result, range result∗
sizeof(ﬂoat), cudaMemcpyDeviceToHost);...

cudaFree(&d result);
return;

3.5 後処理
サブウィンドウ毎のスコア計算が終わるとホスト側でその集計を行う．そのためには GPU における結果の書き込みが終わっている必要がある．ソースコード 3 の 27 行目や図5 のように，CUDA 版ではスコア計算処理の同期をと10 の○るために，GPU 上の全スレッドが停止するまで待機する，

334

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

cudaDeviceSynchronize を用いていたが，C++ AMP 版の4 にあるよう
実装ではソースコード 2 の 41 行目や図 11 の○に，スレッド内でスコアを書き込む領域である result viewに対して synchronize を呼ぶことによって同期を取っている．

4. 評を用いた手法との比較を行う．今回のタスクで検出する対象は人物ではあるが，その大きさはおよそ 20 × 37 ピクセルと非常に小さい．このようなタスクは小物体検出と呼ばれており，特別な深層学習モデルの利用が不可欠である．
そこで本研究では，先行研究19),20)を参考に，EﬃcientDet-

価

本章では Informed-Filters の C++ AMP 版実装の検出精
度と実行時間について述べる．

4.1 評価環境
表 1 及び表 2 に本検出器の評価環境と検出器のパラメータを示す．データセットに用いた画像は DJI Phantom 4 Pro
V2.0 から無線で取得できるフレームの解像度に合わせて，
1920×1080 ピクセルとした．また，図 12 に識別器の訓練及び評価に用いた画像の一例を，図 13 にその画像に対する検出結果を示す．これらの画像は，サッカーのミニゲームの様
子を，上空から UAV を飛行させて実際に撮影した動画から抽出されたフレームである．この一連の画像には常に 8 人の検出対象が写っており，フィールドをやや斜め上から撮影している関係で UAV から見て手前の対象は大きく，奥側の対象は小さく写っている．

Informed-Filters を用いるにあたって強識別器を構成する
弱識別器の個数や深さ，分岐ノードの特徴テンプレートが必要となる．本実装の識別器の学習に使用した特徴テンプレー
トは 819 種類で，強識別器は 200 個の深さ 1 の木構造の弱識別器から構成されている．特徴テンプレートは先行研究7)と同様の方法で設計されている．

D021)と RetinaNet22)を比較対象とし，どちらも小物体用の特別な対策を行う．EﬃcientDet-D0 に対しては，モデルの学習時に ForceMatch という手法を適用する．これはモデルの学習時に正解矩形との IoU が十分に高いアンカーボックス
が存在しない場合には，推論された中で最も IoU が高いアン
カーボックスを強制的に正解矩形にマッチさせることである．
これにより，モデルが出力したアンカーボックスの全てが負例として扱われることを防いでいる．また，RetinaNet では層の浅い ResNet9 をバックボーンとして用い，さらに入力に近い P3 層の特徴量を使用することにより，ネットワークの通過による小物体の特徴量の消失を防止している．
ここで，2 つの深層学習をベースとした検出器は Informed-

Filters とは異なり，サブウィンドウを抽出する手法ではなく画像全体を入力としてそれに対して検出窓の位置と大きさを推定する手法である．そのため精度評価においてはテスト画
像全体を入力し，これらの手法の性能が適切に発揮されるようにした．さらに，Informed-Filters が C++ AMP に正し
く移植されていることを示すため，CUDA 版の実装と精度を比較した．
精度比較の結果，EﬃcientDet-D0 はどの閾値でもほとん
どの対象を検出することができず，画像一枚あたりの誤検出数も多くなった．Retinanet を用いた場合は，閾値が低い条

4.2 検出精度

件では今回比較した手法の中で最も多くの対象を検出するこ

本稿で実装した検出器の検出精度の評価指標として，De-とができているが，誤検出を削減するために閾値を高くして

tection Error Trade-oﬀ(DET) 曲線を用いる．これは図 14のように，縦軸が見逃し率を示す Miss Rate(MR) を，横軸がテスト画像一枚あたりの誤検出数を表す False Positive Per
Image(FPPI) を表すグラフで，検出器が出力した矩形を切いったところ，見逃し率が高くなった．
また，Informed-Filters を用いた検出器の CUDA 版とC++ AMP 版では同じパラメータを用いて実験を行ったのにも関わらず 2 つのグラフには若干の差異が見られる．このり捨てるための閾値を変化させてプロットしたものである． 原因として，前処理に用いる計算装置の違いが考えられる．
DET 曲線がグラフの原点に近づくほど高精度な検出器であ CUDA 版では GPU を用いて前処理を行っていたのに対し，ることを示している．また，MR と FPPI は以下のような式で表される．

F alse P ositive
N umber of Images
F alse N egative
M R=
F alse N egative + T rue P ositiveF P P I=C++ AMP 版では CPU を用いてそれを行っている．これに関して，OpenCV 4.5.0 の CPU 版と CUDA 版の色空間の変換をそれぞれ同じ画像に対して適用し処理結果を比較し(3)たところ，結果画像の画素値に一部差異が見られた．この差異はライブラリの実装に起因するため，本評価ではそのまま(4)用いることとした．

ここで，F alse P ositive は検出器が対象の存在しない場
所に出力した矩形の個数，F alse N egative は画像内に存在

4.3 実行時間

する対象のうち見逃したものの個数，T rue P ositive は正し

本稿で実装した検出器はソフトカスケード構造をとっておく見つけられた対象の個数を表している．検出器が出力した

り，検出対象が含まれていないサブウィンドウに対しては早推定矩形と正解矩形の IOU が 0.6 以上の場合を検出成功と期に検出を打ち切るため，検出対象や分類が困難な領域の少し，T rue P ositive としてカウントしている． また本実装

ない画像に対しては高速に検出を行えるが，そうでない画像の有効性を確かめるため，近年精度の向上が著しい深層学習に対しては多少検出速度が低下する．また，並列化に GPU

335

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）
100

rate (MR)

10-

10-

10- 10

図 12 入力画像

cuda
EfficientDet-D0
Retinanet

10-

10-

Fig. 12 Input image

100

101

102

Image (FPPI)

図 14 検出精度
Fig. 14 Detection accuracy

表 2 データセット · パラメータ

Table 2 The dataset and parameters of the classiﬁer

表 1 評価環境

サブウィンドウのサイズ
弱識別器の個数
弱識別器の深さ
枚数 (訓練用)
枚数 (評価用)フレームの解像度
特徴テンプレート

Table 1 Evaluation environment
OS
Windows 10
CPU
AMD Ryzen 7 3700X
GPU
NVIDIA GeForce RTX 3090
MemoryDDR4 64GB

26 × 37 ピクセル200
11000 枚1000 枚1920 × 1080 ピクセル
819 種類時間測定と処理全体の時間測定とで異なるため，前処理の計測とは独立に行った．
デバイスの初期化が入る最初のフレームを除けば時間を要した検出サンプルでも 40 ms 以下となっている．また，最初のフレームを除いたテスト画像全体では 41.8 fps の処理速度となっている．この結果は，本研究において目的としている

図 13

Image-Assisted Routing を実時間で行うのに十分な速度である．Windows 用にビルドした CUDA 版の実装と比較すると，C++ AMP 版は 15 から 20ms 程度遅い傾向にあるが，これは C++ AMP がメモリ管理やスレッドの生成を自動で検出結果

Fig. 13 Detection result

行っていることや，検出器のパラメータが高速にアクセスでを用いている関係でその初期化やメモリ確保 · 解放などが検きるコンスタントメモリにないことが原因と考えられる．

出速度に影響することも考えられ，単純に算出された平均速

CUDA 版，C++ AMP 版ともに，フレームがある程度進度を指標とすることは適切ではない．そこで，一連のテスト

むと処理時間が少し延びる傾向にある．それぞれの実装をデ

画像をランダムに並び替えたリストを 50 通り作成し，それバッグ実行し計算リソースの消費量の確認を行ったが，原因ぞれに対して連続処理したときの実行時間の平均を図 15 及の特定には至らなかった．また，本稿の実装に際して，メモリ

び図 16 のようにプロットすることにした．

の解放を手動で行う実装，ライブラリに任せる実装の 2 通り

まず，検出処理の前処理に対する評価を行う．図 15 に試したが前者では実行時間が安定せず，フレームレートも低

CUDA 版及び C++ AMP 版の検出器の前処理における実行時間をそれぞれ示す．CUDA 版の前処理の実行時間は後半になるにつれて変動している．一方で C++ AMP 版の前処理は全フレームを通してほぼ一定である．CUDA 版で処くなってしまった．そこで，どちらの実装においてもメモリ

理時間が変動してしまった原因として，前処理と特徴量計算ていると考えられる．

上のメモリ解放をライブラリに任せている．後半のフレーム
では計算リソースの消費に伴い，特徴量計算と同時にメモリの自動解放が発生することによりこのような処理時間になっが共に GPU 上で行われていることが考えられる．つぎに，最後に，4.2 節で比較した深層学習を用いた手法の検出速度

前処理と強識別器による特徴量計算を合わせた実行時間を図の平均を表 3 に示す．この結果は，Informed-Filters が対象

16 に示す．ただし，プログラムの処理時間は一般に部分的なをほとんど検出できなかった EﬃcientDet-D0 や，Informed-

336

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）
30

160

average amp
average cuda

average amp
average cuda

140

25

Time (ms)Time (ms)

120
20

100

15
10

80
60
40

5
0

20
50

100

150

200

250

300

350

0

400

Image Index

0

50

100

150

200

250

300

350

400

Image Index

図 15 前処理の実行時間
Fig. 15 Execution time of the preprocessing

図 16 検出処理全体の実行時間
Fig. 16 Execution time of the whole processing

Filters と近い精度を示した RetinaNet よりも高速に動作す

レームあたり 15 から 20ms 程遅い傾向にあるものの，最もることを示している．

時間のかかったフレームでも 40ms 以下であった．テスト画
像全体の平均フレームレートでは 41.8 fps となっており実時

表 3 各検出手法の平均検出速度

間処理が可能であることが確認でき，深層学習を用いた小物

Table 3 Average detection speed of each method
手法

検出速度 [ms]Informed-Filters on C++ AMP
EﬃcientDet-D0
RetinaNet

23.92
27.21
160.43体検出手法と比較しても高速に動作することが確認できた．
以上より，Image-Assisted Routing に不可欠な空撮画像からのセンサノードの位置推定を UWP 上で C++ AMP を用
いて Informed-Filters を実装することにより，DJI Phantom

4 Pro V2.0 から得られる画像を入力としてリアルタイムに動作する高精度な人検出システムが実現できることを確認した．

5. お わ り に

本稿で実装した検出器の実行時間の測定において，フレー
運動中の人物の生体情報をリアルタイムに収集可能なセン
サネットワークの実現を目指した研究が行われているが，センサノードの密度がある程度高く，その移動速度もある程度高速であるため，一般にマルチホップネットワークの動的な構成変更の手掛かりとして用いられる RSSI が利用できないという問題がある．この問題を解決するために，センサノードを装着した人物の位置に基づきネットワークを構築する

Image-Assisted Routing が提案されているが，その実現には，ドローンから送信される画像を入力としてリアルタイム

ムが進むと処理時間が少し延びる傾向が確認されたが，その原因のさらなる究明は今後の課題の 1 つである．また，本実装で用いている C++ AMP は開発停止となっているが，今後 Informed-Filters を他のフレームワークに移植する必要が出てきたとしても，本実装や CUDA 版の実装から得られた知見の活用が期待できる．
今後は，ネットワーキング処理及び追跡処理との統合を行
い，Image-Assisted Routing に基づくリアルタイムバイタ
ルセンシングシステムの有効性を示したい．

に人の位置を検出するシステムの構築が不可欠である．本稿
では，空撮画像を用いたリアルタイム人検出を実現するために，DJI Phantom 4 Pro V2.0 を撮影デバイスとし NVIDIA

謝辞

本研究成果の一部は，国立研究開発法人情報通信研究機構

GPU を計算デバイスとするシステムを対象とし，Informed（NICT）の委託研究「未来を創る新たなネットワーク基盤技
Filters に基づく手法によりリアルタイム人検出を実現するシ術に関する研究開発」により得られたものです.
ステムの構築を行った．

DJI Phantom 4 Pro V2.0 から画像を取得するためには，
ユニバーサル Windows プラットフォーム (UWP) を対象とした DJI Windows SDK を用いる必要があるが，UWPには並列実装において広く利用されている NVIDIA CUDA
環境が利用できないという大きな制約があるため，本稿ではUWP から利用可能な並列プログラミング環境である C++
AMP を用いて Informed-Filters の並列化を行った．
1920×1080 ピクセルの解像度の空撮画像を用いて速度と精度の評価を行った結果，Informed-Filters は小物体の検出に特化した RetinaNet と同等かそれ以上の精度精度を達成した．検出速度については，CUDA 版の実装と比較してフ

337

参考文献
1) S. Hara, H. Yomo, R. Miyamoto, Y. Kawamoto, H. Okuhata,
T. Kawabata, H. Nakamura: “Challenges in Real-Time Vital
Signs Monitoring for Persons During Exercises”, International
Journal of Wireless Information Networks, Vol. 24, pp. 91–108(2017).
2) R. Miyamoto, H. Yokokawa, T. Oki, H. Yomo, S. Hara: “Human detection in top-view images using only color features”,
Journal of the Institute of Image Electronics Engineers ofJapan, Vol. 46, No. 4, pp. 559–567 (2017).
3) S. Hanashiro, J. Xue, J. Morioka, R. Miyamoto, T. Hamagami, K. Yanagihara, Y. Kawamoto, H. Okuhata, H. Yomo,
T. Takubo: “Testing Environment for Developing a Wireless Networking System Based on Image-Assisted RoutingThe Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）
for Sports Applications”, Proc. International Conference on
Sports Sciences Research and Technology Support, pp. 138–143(2021).
4) DJI, Phantom 4 - DJI, https://www.dji.com/jp/phantom-4(2016).
5) T. Hamagami, Y. Kawamoto, S. Hara, H. Yomo, R. Miyamoto,T. Shimazaki, H. Okuhata, F. Ono, K. Takizawa: “Accuwise:
Accurate Wireless Vital Sensing System for a Group of Exercisers - System Performance”, In 2018 IEEE/ACM International
Conference on Connected Health: Applications, Systems andEngineering Technologies, pp. 11–12 (2018).
6) R. Aoki, T. Oki, R. Miyamoto: “Accuracy Improvement of Human Tracking in Aerial Images Using Error Correction Basedon Color Information”, In Proceedings of the 2020 9th International Conference on Software and Computer Applications,pp. 124–128, New York, NY, USA (2020). Association for Computing Machinery.
7) T. Oki, R. Miyamoto: “Eﬃcient GPU Implementation ofInformed-Filters for Fast Computation”, In Image and Video
Technology, pp. 302–313 (2017).
8) M. Tsuyama, T. Oki, S. Kobayashi, R. Aoki, R. Miyamoto,
H. Yomo, S. Hara: “Embedded Implementation of Human
Detection Using Only Color Features on The Nvidia Xavier”,
In Proc. IEEE International Symposium on Intelligent Signal
Processing and Communication Systems, pp. 1–2 (2019).

for Dense Object Detection”, In Proc. IEEE International
Conference Computer Vision, pp. 2980–2988 (2017).

(2022 年 5 月 7 日 受付)(2022 年 12 月 13 日 再受付)
津 山 雅 彦2018 年 明治大学理工学部情報科学科卒業．2020
年 同大学大学院理工学研究科情報科学専攻博士前期課程．2020 年 同大学理工学研究科助手．2023
年 同大学理工学研究科情報科学専攻博士後期課
程修了．システム最適化及び組込みシステムの実装に関する研究に従事．

薛
俊 峰
2021 年 明治大学理工学部情報科学科卒業．2023
年 同大学大学院理工学研究科情報科学専攻博士前期課程修了．ビジュアルオドメトリに基づくロボットの自律移動に関する研究に従事．

9) NVIDIA Corporation, nVidia CUDA Programming Guide.
http://docs.nvidia.com/cuda/.

森 岡 隼 也2021 年 明治大学理工学部情報科学科卒業．2023

10) Microsoft,
What’s a Universal Windows Platform(UWP) app?
- UWP applications | Microsoft Docs,
https://docs.microsoft.com/en-us/windows/uwp/get-started/
universal-application-platform-guide (2022).

年 同大学大学院理工学研究科情報科学専攻博士前期課程修了．2023 年 同大学理工学研究科助
手．小物体検出及び深層学習のモデル最適化に関する研究に従事．

11) Microsoft,
Win32 and COM APIs for UWP apps
- Windows UWP applications | Microsoft Docs,
https://docs.microsoft.com/en-us/uwp/win32-and-com/
win32-and-com-for-uwp-apps (2022).
12) Microsoft, Reference (C++ AMP), https://docs.microsoft.
com/ja-jp/cpp/parallel/amp/cpp-amp-overview (2022).
13) S. Zhang, C. Bauckhage, A.B. Cremers: “Informed Haar-Like
Features Improve Pedestrian Detection”, In Proc. IEEE Conference Computer Vision Pattern Recognition, pp. 947–954(2014).
14) P. Viola, M. Jones: “Robust Real-Time Face Detection”,
In Proc. IEEE International Conference Computer Vision,Vol. 2, pp. 747–747 (2001).
15) NVIDIA Corporation,
Programming Guide :: CUDA
Toolkit Documentation,
https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html (2022)
16) 伊藤智義, GPU プログラミング入門. 講談社 (2013).
17) OpenCV team,(2022).

The OpenCV Library,https://opencv.org

18) Intel, Intel® Instrinsics Guide, https://www.intel.com/
content/www/us/en/docs/intrinsics-guide/index.html (2022).
19) J. Morioka, R. Miyamoto: “A Study on Accuracy Improvementof Small Object Detection Using Deep Neural Networks”, In
Proc. IEEE Asia Paciﬁc Conference on Circuits and Systems,
pp. 73–76 (2021).
20) 森岡隼也, 宮本龍介: “深層学習に基づく小物体検出の精度向上に関する一検討”, スマートインフォメディアシステム研究会, 電子情報通信学会, Vol. 122, No. 293, pp. 32–37 (2022).
21) M. Tan, R. Pang, Quoc V. Le: “Eﬃcientdet: Scalable and Eﬃcient Object Detection”, In Proc. IEEE Conference Computer
Vision Pattern Recognition, pp. 10781–10790 (2020).
22) T. Lin, P. Goyal, R. Girshick, K. He, P. Dollar: “Focal Loss338

大 木 琢 郎2015 年 明治大学理工学部情報科学科卒業．2017
年 同大学大学院理工学研究科基礎理工専攻博士
前期課程修了．2017 年 同大学理工学研究科助手．2020 年 同大学理工学研究科基礎理工専攻博士後期課程修了．2022 年 同大学理工学部非常勤講師．

宮 本 龍 介 （正会員）
1998 年 京都大学工学部工業化学科卒業．2007
年 同大学大学院情報学研究科博士後期課程修了．
同年 奈良先端科学技術大学院大学助教．2012 年
大阪大学特任研究員．2013 年 明治大学理工学部
情報科学科専任講師．2022 年 明治大学理工学部
情報科学科准教授．博士 (情報学)．メディア処理，画像認識，組込み実装に関する研究に従事．
IEEE，電子情報通信学会，情報処理学会，計測
自動制御学会各会員．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

多数決処理と RS 符号を併用したランダム誤り耐性を持つ
円形カラー2 次元シンボル
寺浦 信之†（正会員） 越前 功†† 岩村 惠市††††テララコード研究所，††国立情報学研究所，†††東京理科大学

Round Color 2D Symbol with Random Error Resilience
Using Majority Processing and RS Codes
Nobuyuki TERAURA†(Member), Isao ECHIZEN††, Keiichi IWAMURA††††Terrara Code Research Institute, ††National Institute of Informatics, ††† Tokyo University of Science〈あらまし〉 QR コードは当初産業用のデータキャリア（B2B 用途）として開発されたが，現在では WEB 参照用途などの B2C 用途でも用いられている．B2C 用途での読取り環境では，ランダム誤りの発生も想定される．QR コードで誤り訂正に用いられている RS 符号はブロック誤りに対しては高い訂正能力を有していが，ランダム誤りに対しては脆弱である．そこで，ランダム誤りに対応できるデータ三重化多数決方式を検討した．シミュレーション
によって，RS 符号ではランダム誤り率が 3.3%程度までの訂正可能範囲に止まるのに対して，カラー2 次元シンボ
ルでは多数決を併用すると 14.3%まで訂正可能となる結果を得た．この訂正手法を実装したランダム誤り耐性を有する円形カラー2 次元シンボルを開発した．
キーワード：円形カラー2 次元シンボル，データの三重化，RS 符号，多数決，ランダム誤り，誤り訂正<Summary> The QR code was originally developed as an industrial data carrier (B2B application), but is now also used for
B2C applications such as WEB reference applications. Random errors are expected to occur in the read environment for B2C
applications. The RS code used for error correction in QR codes has high correction capability for block errors, but isvulnerable to random errors. Therefore, we examined a data triple majority voting method that can handle random errors. By
simulation, we obtained a result that the random error rate of the RS code is within the correctable range up to about 3.3%,
while that of the color 2D symbol can be corrected up to 14.3% when the majority vote is used together. We developed a roundcolor 2D symbol with random error resilience that implements this correction technique.
Keywords: round color 2D symbol, triplet of data, RS code, majority voting, random error, error correction

1.

ブロック誤りに限らず，ランダム誤りの発生も想定される．

はじめに

RS 符号では，訂正データコード語数の 1/2 のデータコード語

1.1 誤り訂正能力の向上の誤り訂正が可能であるので，最大訂正能力は，データコー

現在広く用いられている QR コード 1) やデータマトリック

ド語の 2 倍の訂正データコード語数の場合である．したがっス 2]は，RS 符号を用いた誤り訂正機能を具備している．RSて，全体では 3 分の１のデータコードの誤りを訂正すること

符号はブロック符号であり，ブロック誤りに対しては高い訂が可能である．
これは，
全データコード語の約 33%であるが，正能力を有している．一方，ランダム誤りに対しては，そのこれらの誤りのあるデータコード語は 1 ビットでも誤りがあ

訂正能力は脆弱である．

れば，データコード語としての誤りとなる．そこで，ランダ

QR コードは当初産業用のデータキャリア（B2B 用途）とム誤りが発生し，コード語に 1 ビットの誤りを発生させる場

して開発されており，セキュリティ性が無く，美観に欠ける

合には，データ量全体の比率から言えば約 4%のビットレベ

側面がある．そこで，消費者が自らのスマホで読取る B2C 用

ルの誤りを訂正するに過ぎない．

次元シンボルが提案されている 3)．B2C

このランダム誤り訂正能力を向上させ，ランダム誤りとブ

用途での読取り環境は必ずしもよくなく，その場合の誤りはロック誤りの両方に対応する機能が望まれる．ただし，デー

途用に円形カラー2

339

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

タ収容効率は，ランダム誤り訂正を行わない場合と比較して，低減する．訂正率と収容データ量はトレイドオフの関係となっている．
本論文では最大訂正能力の実現を目的としている．

1.2 既存の研究
QR コードの誤り訂正能力の向上では，埋め草領域にデータ
コード語を追加して埋め込む方法が提案されている 4)~5) ．この方式では，
RS 符号の訂正方式の範囲内での訂正能力の拡大であり，ブロック訂正の訂正能力の拡大に留まる．また，2次元シンボルのランダム誤り訂正向上の検討及びそのための

図 1 円形カラー2 次元シンボルの形状多数決手法を用いた誤り訂正手法の検討はなされていない．

Fig.1 Round color 2D symbol shape

1.3 本提案の誤り訂正の効果
従来，QR コードを用いることができなかった環境のよく

表 1 既存の 2 次元シンボルとの比較ない場所での読取りが行えるようになり，2 次元シンボルのTable 1 Comparison with existing 2D symbols

適用範囲を拡大し，可用性を高めることができる．
また，ランダム誤りに対応するために，データを 3 重化し，多数決処理を行うので，収容データ量は 1/3 倍となる．一方，
ここで提案する 8 色カラー2 次元シンボルでは，
1 セル当たり
3 ビットのデータを収容するので，その結果同じセル数，すなわち同じサイズの 2 次元シンボルとなり，面積当たりのデータ収容効率も QR コードなどの白黒 2 次元シンボルと同程度となる．

1.4 適用対象
本論文での提案手法は，カラー2 次元シンボルに適用可能である．著者らは円形カラー2 次元シンボルを用いたシステ②符号化領域の形状と構成

ム開発を進めており，その適用範囲拡大のために本提案内容

現在用いられている 2 次元シンボルの多くは，表 1 に示すの実装を検討している．そこで，本手法の説明に円形カラー2

ように，QR コードに代表されるマトリックス型である．マ次元シンボルを例に説明する．

トリックス型は，正方形の白または黒のセルを正方形状に配2.

置したものである．また，空港のチケットなどで用いられる

円形カラー2 次元シンボルの概要

PDF4176)は，スタック型であり，バーコードを積み重ねた形

著者らは，B2C 用の 2 次元シンボルとして，円形カラー2状である．

次元シンボルを提案している 3)．多数決誤り訂正を行う前提

これらに対して，円形カラーシンボルはその中心から拡がとして，円形カラー2 次元シンボル（以後円形カラーシンボる同心円で構成される円環を，中心から放射状に伸びる直線

ルと呼ぶ）の形状及びカラー化方式について概要を述べる．

で等分割した扇形セルで構成される 2 次元シンボルである．

なお，従来の 2 次元シンボルは，白黒のセルから構成され

QR コードや PDF417 は，白黒のセルやバーなどで符号化ており，そのセル色を識別することで，2 次元シンボル全体されているのに対して，円形カラー2 次元シンボルでは，カを復号する．そこで，事業用に用いる読取り装置は，専用装置として白黒のイメージセンサーを用いた装置になっている．
また，昨今，消費者がカラーの撮像センサーを実装するスマラー8 色でセルが符号化されており，データ密度が３倍であり，同じ大きさの 2 次元シンボルでは 3 倍のデータを収容可能である．また，QR コードや PDF417 は，事業者間の確実なホで用いる用途も広く普及してきている．円形 2 次元シンボ
ルは，消費者が自らのスマホで読取る使用法を想定している．

データの受渡しを主眼しており，誤り訂正の機能が充実しているが，セキュリティ機能はない．それに対して，円形カラ

2.1 シンボル形状

ー2 次元シンボルでは，消費者が自らのスマホでの読取りを①全体形状行い，WEB 参照などを行う用途を想定しており，後述するように，暗号化された秘密領域や電子署名領域を設定し，セキ

シンボル形状は，図 1 に示すように内部に表示領域を有す

ュリティ機能を実装している．

る円形シンボルである．外周に切り欠き部がある円形のファ

円形カラーシンボルの 1/6 の部分を図 2 に示す．この扇形

インダーパターンを有する．

の部分形状において，中心部から順に第 1 層から順に層番号340

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

表 3 色の選択と色符号化テーブル
Table 3 Color selection and color coding table

図 2 扇形セルの構成
Fig.2 Sector cell configuration

表 2 扇形セルの形状
Table 2 Sector cell shape

容データ量の場合にはより小さなシンボルになる．使用する色は，識別が容易となる表 3 に示す色である．識別は，
RGB 色
空間のユークリッド距離を尺度として用いる．識別対象の色が RGB 空間上で近い位置にある場合，識別が困難となる．
そこで，識別対象のセル色相互の RGB 空間上の距離が一番大きくなる位置の色を選定している．
② 相対方式色の識別方式には，絶対方式と相対方式がある．サンプリ
ングしたセルの画素データは RGB 値によって表現される．
を附番する．第 n 層に n 個の扇形セルを配置する．そこで，絶対方式は，その RGB 値から 8 色の中のどれかを判別する

第 n 層の円環には，6n 個の扇形セルが配置される．

方式である．この方式では経年劣化に対応することは困難である．それに対して，相対方式は色見本を符号化領域の一部③符号化セル形状
円形カラーシンボルのセルの形状は，表 2 に示すように，配置された円環の層によって，それぞれ若干異なる．
しかし，に設定しておき，その RGB 値とのユークリッド距離が最小の色を当該セルの色と判定する方式である．この方式では，色見本の色も同時に経年劣化していくため，比較的経年劣化

高さはすべて円環の高さであり，すべて同一である．ここでに耐えることが可能である．また，インクの発色の差異の問

円環の高さとは，円環の外周円と内周円の半径の差である．

題にも対応できる．

また，円環の中間点を結ぶ円弧長（中周長）及び面積も層番

円形カラーシンボルでは，色見本の汚損に対応するために，

号に関わらず同一である．表 2 に示す値は，円環の高さを１

色見本を 3 セット配置している．

とした場合の相対値を示している．

③データ構成④表示領域

円形カラーシンボルでは，セキュリティ機能を標準実装す円形カラーシンボルでは，内部に表示領域を設定する．表る．セキュリティ機能は，暗号化と電子署名を用いることで示部は中心から第 4 層程度を表示領域とするが，その層数は実現されている．また，有効期限を設定することで，コピー設定可能である．表示部は 2 次元シンボルの内容や目的をロ

品を使用不可としている．

ゴなどのイメージで消費者に示す．

円形カラーシンボルのデータ構成を図 3 に示す．収容デー

2.2 8 色符号化

タは，データ部とその訂正データ部から構成される．また，

円形カラーシンボルのカラー対応では，色の選択とインク

データ部はユーザ部と管理部の 2 つの領域から構成される．

の発色差異や経年劣化の課題がある．

ユーザ部はアプリケーションに引き渡されるデータを収容し，①色の選定

管理部は管理用のデータを収容する．そして，ユーザ部は誰でもが読み取れる公開部と設定されたパスワードを知る者の円形カラーシンボルでは．識別を確実に行える 8 色を用いみが読み取れる秘匿部から成る．

る 7)．カラー8 色では情報密度が白黒の 3 倍であり，同じ収341

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図3

円形カラー2 次元シンボルのデータ構成

Fig.3 Data structure of round color symbol
図 5 仮想白黒シンボルの重層
Fig.5 Layering virtual black and white symbols

図 4 符号化処理手順
Fig.4 Coding process procedure
図 6 多数決による誤り訂正④符号化処理Fig.6 Error correction by majority vote

符号化処理について説明する．ここで説明する処理の手順
は，通常の符号化処理であり，別途説明する多数決のために

表 4 誤り訂正処理の手順

データの三重化を行わない．処理の手順を図 4 に示す．
2 次元シンボルに記憶するデータを準備し，データ種別ごTable 4 Three steps of the error correction procedureとにデータ圧縮を行う．圧縮データに対して RS 符号の誤りステップ

訂正データを作成し，圧縮データと併せてデータコード語とする．次に，これらのデータコード語を 3 分割し，分割したデータを収容する 3 個の仮想の白黒円形シンボルを作成する．
仮想白黒シンボルを，
図 5 に示すように積み重ね，
第 1 層，

処理内容

第 1 ステップ

第 1 のデータ語 訂正処理

第 2 ステップ

多数決処理

第 3 ステップ

多数決後のデータ語 訂正処理

第 2 層，第 3 層とする．そして，符号化領域のセルについて，を推定する．

各 3 層の値を検査する．第 1 層，第 2 層，第 3 層のセルの値
は，0 または 1 の値を取るので，3 層を合わせた値は，000 か

誤り率が大きくなると，多数決に用いる 3 ビットに 2 ビッら 111 までの 8 個の値を取る．この値を用いて，表 3 に示す

ト誤りが発生する確率が高まる．そこで，その誤りを訂正す

色符号化テーブルにしたがって当該セルの色を決定する．

るために，多数決処理により作成したデータコード語につい3.

て，さらに RS 符号による誤り訂正処理を行う．読取り時のランダム誤り訂正能力の向上

誤り訂正処理の手順を表 4 に示す．

RS 符号はブロック訂正であり，ランダム誤りに対しては脆

最初に，
3 式の RS 符号のデータコード語のその 1 式につい弱である．そこで，ビットレベルの誤り訂正を併用することて誤り訂正を試みる．誤り訂正が失敗した場合には，多数決が望ましい．ビットレベルの誤り訂正方式として，データをによるビット訂正処理を行う．その後多数決処理後のデータ多重に収容し，多数決で推定する方式を検討する．

コード語について，さらに誤り訂正処理を行う．

図 6 に示すように，収容されているデータコード語につい

ここで，第 1 ステップを設けたのは，誤り率が低い場合にて，追加に 2 式を収容する．収容するデータコード語には訂は．第 1 ステップで誤り訂正が成功する可能性が高く，多数

正データコード語を含む．読取り時に多数決で正しいビット

決処理が不要となるからである．

342

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

4.

多数決判定による誤り訂正能力

それぞれ訂正可能コード語は 5 語，8 語，11 語，14 語である．

ここでは，多数決判定による誤り訂正能力について述べる．
具体的にランダム誤り率を仮定し，セル誤り率，コード語誤るので，誤りのあるデータコード語数が 0 語から 15 語までの符号訂正を併用した場合の定式化を行う．

誤り確率の総計がシンボルとしての訂正確率となる．

4.1 データコード語の誤り確率

誤りコード語数が i の場合のコード語としての訂正確率を①RS 符号単独の場合

αi，総コード語数を N とすると，データコード語の誤り率 β は，
セル誤り率が γ であるとき，
β = 1 -に約 11.3％，約 18.2％，25％，約 31.8％である．
表 5 から，検討シンボルの最大誤り訂正能力は 15 語であり率及びコード語の訂正能力について，多数決単独及び RS(1 - γ) 8

全コード語数は 44 語であるので，誤り訂正率は，それぞれ順

αi = (1-β)N-i・βi・NCi

(1)

(4)

である．そこで，訂正可能コード語数を j,コード語としての訂正確率を α とすると，αは以下となる．

となる．
ここで，(1 - γ)はセル正答率である．データコード語は 8α=i

ビットから構成されているので，(1 - γ) 8 はデータコード語のβ)N-1・βi・NCi=

正答率となる．全確率 1 から正答率を差し引いた値が誤り率
となる．

5.

②3 重化多数決を併用する場合(5)

白黒シンボルのシミュレーション

本論文の本来の検討対象はカラー2 次元シンボルである．

3 重化多数決の結果得られた実効ビット誤り率 γe 及びデ

しかし，QR コードシンボルを用いて実施することが可能でータコード語の誤り確率 βe は，あるので，カラー2 次元シンボルの場合と比較して構成が簡γe =3 (1 - γ) γ2 + γ3

(2)

βe =

1 - (1 - γe) 8(3)

単な QR コードシンボルを用いる場合について最初に説明し，シミュレーションを行う．

5.1 シンボル構成となる．γe の第 2 項が多数決に用いる 3 つのデータコード語

白黒シンボルの場合の多数決を行うシンボル構成についての特定ビットがすべて誤る場合であり，第 1 項は 3 つのデーは，次の 2 つの場合を想定することができる．

タコード語の特定ビットの内 2 つが誤る確率である．

①3 式並立方式

4.2 シンボルの訂正確率

第 1 の方式は，同一シンボル 3 式並立方式である．この方

ここでは，QR コードのバージョン 2 に近いデータコード

式は，図 7 に示すように同一のシンボルを 3 つ表示（印刷）

語数が 45 語の場合について検討する．
データ部のデータコー

しておいて，読取り時には 3 つのシンボルを全て読取り，対ド語が 15 語の場合，19 英数字を収容可能であり，WEB 参照

応する位置のセルについて多数決を行う．

用途では十分なデータ量である．バージョン 2 の QR コード②3 式内蔵方式

は，WEB 参照用途に多く用いられている．ここでは誤り訂正

第 2 の方式は，3 式内蔵方式である．この方式は一つの 2能力を QR コードと同じ能力の 4 つのレベル 1)を設定し，検次元シンボルの中に，3 式の RS 符号のデータコード語を図 8

討する．各レベルの訂正コード語数を表 5 に示す，に示すように内蔵する方式である．この 1 式のデータコード

RS 符号では，訂正データコード語数の半数のコード語の誤語は，同一シンボル並立方式の 1 つの 2 次元シンボルに収容

り訂正機能を有する．表 5 に示すように，訂正レベル L,M,Q,H

される RS 符号のデータコード語と同一である．

では訂正コード語が 10 語，16 語，22 語，28 語であるので，

上記の両方式において，多数決の結果は同一である．ここでは，次節のカラー化の場合と同じデータ構成である 3 式内蔵方式を前提として説明を行う．

表 5 データコード語数の構成
Table 5 Structure of the number of data code words

図 7 3 式並立方式
Fig.7 3 symbols parallel method

343

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 8 3 式内蔵方式
Fig.8 3 symbols built-in method

表6

QR コードのコード語数と残余ビット
図 10 多数決によるデータコード語の誤り率（白黒）

Table 6 Number of code words and residual bits of QR code
バージョン

コード語数

残余ビット

V2

44

7

V5

134

7

Fig.10 Error rate of data code words by majority vote (black and white)

図 11 RS 符号単独の誤り訂正率（白黒）Fig.11 Error correction rate for RS code alone (black and white)
図 9 多数決による実効ビット誤り率

多数決処理では，ビット誤り率を低減させることができるの

Fig.9 Effective bit error rate by majority vote

で，コード語単位でみると，図 10 に示すようにビット誤り率

5.2 QR コードシンボルの使用が 10%でも，コード語誤り率が 30%程度に留まっている．そQR コードのバージョン 2 と 5 の場合について，収容するコ

こで，RS 符号誤り訂正を併用した場合には，訂正可能な領域

ード語数と残余ビット数を表 6 に示す．ここで，残余ビットとなる．併用した場合のシミュレーション結果は別途示す．

数は，全ての符号化対象セルを RS 符号のデータコード語を逆に，図 10 に示すようにセル誤り率が 1％の場合には，コ収容する 8 個のセルから成る集合体に配置した残りのセル数

ード語誤り率は 0.24%存在する．これは，多数決誤り訂正単のことである．そこで，両バージョン共に固定色セルの 1 ビ

独では，実用が不可であることを示している．目標訂正誤り

ットを補填すればコード語数を 45 語にできる．
この場合の固率以下のセル誤り率の環境下では，100%訂正できる必要があ

定色のセルはタイミングパターンセルが適当である．

るからである．

5.3 実効ビット誤り率とデータコード語誤り率

5.4 RS 符号単独の場合

白黒シンボルの多数決による実効ビット誤り率 γe について，

白黒シンボルの多数決を行わない RS 符号のみによる場合

式(2)に基づいて計算した結果を図 9 に示し，式(3)に基づいての各訂正レベルの誤り訂正率について，式 5)に基づいて計算計算したデータコード語の誤り率を図 10 に示す．図 9 からした結果を図 11 に示す．

セル誤り率が 50%以下では多数決の効果によって実効ビット

RS 符号単独の場合には，セル誤り率 γ が 0.02 程度からコー

誤り率が低減しており，逆に 50%以上では増加することが判

ド語訂正率 α が低下し，γ が 0.08 程度で α はほぼ 0 となる．

る．また，誤り訂正率が 20%以下での効果が大きい．

5.5 多数決と RS 符号を併用した場合
白黒シンボルの多数決と RS 符号を併用した場合の，各訂344

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 12 多数決と RS 符号併用時の誤り訂正率（白黒）
図 13 実効ビット誤り率

Fig.12 Error correction rate (black and white) when majority decision and
RS code are used together

Fig.13 Effective bit error rate

正レベルの誤り訂正率について，式(2)，式(3)，式(5)に基づいて計算した結果を図 12 に示す．

ついて，4/7 となる．この誤り伝搬効率は，全ての色のセル

多数決と RS 符号を併用した場合には，
セル誤り率 γ が 10%について，誤りが全て黒など 1 色に誤ると仮定した場合も同程度まではコード語訂正率はほぼ 100%である．

じ値となる．

多数決を用いない RS 符号単独の場合のセル誤り率は 2%程

誤り伝達効率δを考慮したビット誤り率をγc，多数決を度であるので，訂正能力を 5 倍程度拡大しており，3 重化多行った実効ビット誤り率をγe とすると，

数決は，RS 符号単独の場合と比較して，訂正能力が大きく向γc上していることがわかる．

6.

γe

カラーシンボルでの誤り訂正能力とシミュレーション=γδ = 4γ/7=

3 (1 - γc) γc2

(6)
+ γc3

(7)

となる．

6.3 多数決単独の場合

この章では，円形カラーシンボルについて誤り訂正能力を

カラーシンボルの多数決による実効セル誤り率 γe について，検討し，数値計算を行い，シミュレーションを行う．

式(6)及び式(7)に基づいて計算した結果を図 13 に示す．

6.1 データの 3 重化

セル誤り率が低い領域では，白黒シンボルの場合と同様に，

カラーシンボルでは， 3 つ仮想白黒シンボルに同じデータ

多数決後の誤り率は大きく低下し，効果が大きいことが判る．

を配置し，それらを図 5 に示したように重層して，当該セル

また，誤り伝達効率の寄与で，その効果は白黒シンボルの場の色符号化を行う方式について，シミュレーションを行う．

合よりも顕著である．すなわち，多数決を行わない場合にお同じデータを配置した仮想白黒 2 次元シンボルの重層化をいても，実効セル誤り率は誤り伝達係数の寄与で，白黒シ行った場合には，重層化後のセルは重層化前のセル色と同じとなり，事実上データの 3 重化を行う事ができない．
そこで，ンボルのとなり，カラーシンボルは白黒シンボルと比較して記憶するデータをそれぞれ 1 ビットずつずらして仮想白黒シ

ランダム誤り 4/7 に耐性を有していることが判る．多数決をンボルの生成を行う．多数決処理は，元の位置に戻す処理後行う場合には，実効セル誤り率が低減されるため，多数決訂に行う．

正の効果がより明確に表れている．
また，式(1)と式(7)に基づいて，多数決を行った場合と多数

6.2 誤り伝達効率

決を行わなかった場合について，データコード語の誤り率をセルのカラー符号化では，3 ビットのデータを，表 3 の色シミュレーションした結果を図 14 に示す．

符号化テーブルによって色符号化を行う．

6.4 RS 符号単独の場合

カラーセルの識別を誤る場合，
8 色での符号化の場合には，正解色以外の 7 色に誤る．誤った色によって，符号化した 3

カラーシンボルの多数決を行わない，RS 符号のみによる場

ビットへの誤りの伝搬の状況が異なる．例えば，正解色が白

合の，各訂正レベルの誤り訂正率について，式(1)，式(5)，式のとき，黄に誤った場合には，第 1，第 2 層は正しく，第 3(6)に基づいて計算した結果を図 15 に示す．

層は誤りとなる．また，黒に誤った場合には，第 1，第 2，第誤り伝達効率の寄与で，白黒シンボルの場合と比較して，3 層の 3 ビット全てが誤りとなる．そこで，誤り確率は全て誤り訂正率が向上している．すなわち，図 10 に示す白黒シン

同じと仮定すると，誤り伝搬効率δは，それぞれのビットにボルにおけるコード語誤り率と比較してなだらかに増加して345

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 16 多数決と RS 符号併用時の誤り訂正率（カラー）Fig.16 Error correction rate when majority decision and RS code are used
together (color)

図 14 多数決によるデータコード語の誤り率（カラー）Fig.14 Error rate of data code words by majority vote (color)

表 7 最大訂正率のまとめ
Table 7 Summary of maximum correction rate
白黒
訂正方式

カラー

H レベル

H レベル

Q レベル

M レベル

L レベル

RS 符号単独

1.9%

3.3%

2.2%

1.3%

0.3%

多数決併用

8.7%

14.3%

11.7%

8.9%

4.7%

大することができる．この場合，データ収容効率は，多数決を行わない場合と比較して，1/3 となる．訂正率と収容デー
タ量はトレイドオフの関係となっている．本検討では，最大訂正能力の実現を目的としている．
また，Q レベルから L レベルにおいても，多数決を併用し
図 15

RS 符号単独の誤り訂正率（カラー）た場合は RS 符号単独の場合と比べて最大訂正率が順に約 5.3

Fig.15 Error correction rate for RS code alone (color)倍，約 6.8 倍，約 15.7 倍と拡大している．また，拡大率は RS
符号の訂正レベルが低いほど大きい．
これは図 13 に示すよういる．これは，式 5 において，β が誤り伝達係数の寄与で白に，多数決手法を用いた場合には，実効セル誤り率が低減す

黒シンボルの 4/7 となっているためである．

る．その結果，図 14 に示すようにセル誤り率が低い領域では6.5 多数決と RS 符号を併用した場合

コード語誤り率が低く維持されるため，セル誤り率が低いほど相対的にコード語誤り訂正の効率が大きくなるためである．

カラーシンボルの多数決と RS 符号を併用した場合の，各カ7.2 必要な訂正能力

ラーシンボルの多数決と RS 符号を併用した場合の，各訂正訂正能力が 9%程度でよい場合には，M レベルで対応可能

レベルの誤り訂正率について，式(1)，式(5)，式(7)に基づいてである．この場合，H レベルの場合の約 2 倍のデータを収容計算した結果を図 16 に示す．

7.

可能である．

考察と適用性7.3 他の 2 次元シンボルへの適用

7.1 最大訂正能力

本論文で提案した多数決と RS 符号の併用手法は，図 17 に誤り訂正レベルを H レベルから L レベルに設定した場合の示すカラーQR シンボル 8)など，8 色のカラーシンボルにも適最大訂正率を表 7 に示す．この値は，訂正確率 α が 99.9%を用可能である．

超える場合の誤り訂正率である．
この結果，H レベルの場合，また，QR コードシンボルなどの白黒シンボルにおいても，

セル誤り率が約 14.3%程度まで実用可能となる．

既に示したように図 8 の 3 式内蔵方式で効果があり，適用可多数決手法を用いない場合には，3%の誤り訂正率に止まる能である．

ので，訂正可能誤り率の範囲が広がり，適用条件を大きく拡

346

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

学会技術報告, Vol. 122(26), EMM2022-7, pp.35–40 (2022).
4) 渡辺 優平, 遠藤 祐介, 森井 昌克: “埋め草コード語を 利用した QR コードの誤り訂正能力向上について”, 情報科学技術フォーラム 2011 (FIT2011) 論文集, pp.511–516 (2011).
5) 青山直樹, 渡辺優平, 森井昌克: “埋め草コードを利用した QR コ
ードの高誤り訂正”, 情報科学技術フォーラム 2013 (FIT2013) 論
文集, pp.509–514 (2013).
6) ISO/IEC 15438:2015 Information technology -- Automatic identificationand data capture techniques – PDF417 bar code symbology
specification.
7) 寺浦信之，櫻井幸一: “多値セル型二次元コードでの多分割領域へ

図 17 カラーQR シンボルの複数ユーザのアクセス制御”，情報処理学会論文誌，Vol.57, No.9,

Fig.17 Color QR symbol

pp.1965–1973 (2015).
8) 寺浦信之，櫻井幸一: “秘匿領域を有する多値セル構造の二次元コ

7.4 読取りアプロケーションソフトの共用

ードの互換性と識別性のスマートフォン実装による評価”, コン

円形カラーシンボルでは，最外層にシンボル管理領域を有

ピュータセキュリティシンポジウム 2014 (CSS2014)論文集,

しており，全層数や符号化層数を記録している．このシンボ

pp.1276–1283 (2014).

ル管理領域に，3 重化の有無を設定することにより，同一の（2022 年 9 月 9 日 受付）

読取りアプリケーションソフトで，通常のシンボルと 3 重化

（2023 年 1 月 13 日 再受付）

シンボルの両方に対応可能とできる．
寺 浦 信 之（正会員）
1976 年 名古屋大学工学部原子核工学科卒業．
1979 年 同大学大学院工学研究科修士課程修了．同年日本電装（株）入社．2000 年から 2009年まで日本自動認識システム協会（JAISA）
RFID 部会部会長．2006 年より 2013 年まで日中韓 RFID ラウンドテーブル日本代表．2008
年 電子取引推進センター（ECOM）RF タグ技
術課題検討委員会委員長．現在，（株）テララ
コード研究所にて二次元シンボルの研究に従事．博士（工学）（九州大学）．

8. おわりにB2C 用に開発した円形カラーシンボルについて，ランダム誤り訂正能力を拡大する為に多数決方式と RS 符号と併用す
る誤り訂正方式を検討した．数値計算によるシミュレーショ
ンの結果，多数決方式を用いない場合は 3%程度であった訂正能力が多数決方式を用いることにより 14.3%と大幅に拡大できることを明らかにした．
本論文で検討した多数決方式と RS 符号を併用した符号化

越 前 功
1997 年 東京工業大学大学院理工学研究科修士課程修了（応用物理学）．日立製作所システ
ム開発研究所を経て，現在，国立情報学研究
情報社会相関研究系 研究主幹・教授，同研究
所 シンセティックメディア国際研究センター長．東京大学 大学院情報理工学系研究科電子情報学専攻 教授，総合研究大学院大学教授を併任．マルチメディアセキュリティ，プラ
イバシー保護技術の教育研究に従事．博士（工学）（東京工業大学）.

方式を実装する円形カラー2 次元シンボルの画像生成ソフト
ウェアを作成すること，及びその画像を撮像し，復号処理を行うスマホのソフトを作成し実用性を確認すること，が今後の課題である．

謝辞
RS 符号の誤り訂正理論について，元広島修道大学教授井岩 村 惠 市上徹先生にご指導いただきました．ここに記して改めて感謝1980 年 九州大学工学部情報工学科卒業．1982
年 同大学大学院情報工学研究科修士課程修了．同年 キヤノン(株) 入社．現在，東京理科大学工学部電気工学科教授．主に符号理論，
並列処理，情報セキュリティ，電子透かしの研究に従事．IEEE，電子情報通信学会，情報処理学会，電気学会各会員，情報処理学会フェロー，電子情報通信学会フェロー．博士(工学) (東京大学)．

いたします．

参考文献
1) ISO/IEC 18004:2015 Information technology -- Automatic identificationand data capture techniques -- QR Code bar code symbology
specification.
2) ISO/IEC 16022:2006 Information technology -- Automatic identificationand data capture techniques – Data Matrix bar code symbology
specification.
3) 寺浦 信之, 越前 功, 岩村 惠市: “表示領域と秘匿データ領域を持
つ B2C 向け円形カラー2 次元シンボルの検討”, 電子情報通信

347

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

加速度データと座標データを用いたマルチモーダル情報による手話動作認識
若 尾 吏† 川 喜 田 佑 介† 西 村 広 光†（正会員） 田 中 博† 三 次 仁‡
† 神奈川工科大学大学院 工学研究科 情報工学専攻‡ 慶応義塾大学 SFC 研究所

Sign Language Motion Recognition by Multimodal Information Using
Acceleration Data and Coordinate Data
Tsukasa WAKAO†, Yuusuke KAWAKITA†, Hiromitsu NISHIMURA† (Member), Hiroshi TANAKA†, Jin MITSUGI‡† Course of Information and Computer Sciences, Graduate School of Kanagawa Institute of Technology‡Keio Research Institute at SFC, Keio University〈あらまし〉 本検討では，加速度データ，座標データ両者を使用したマルチモーダル情報による手話動作の認識を行った．まず，マルチモーダル情報の個々の取得情報を利用した手話動作の認識効果を確認するため，各取得データを別々に扱った場合の手話動作の識別性能比較実験を行った．性能比較の結果，各データ群のみで構築した識別器において，誤識別の傾向に違いがあることを確認した．そのため，マルチモーダル情報を利用した各識別器を相補的に統合することができれば高い手話認識性能が実現できると考えた．本論文では，マルチモーダル情報とした際の統合手法を 3 つ提案し，比較検討を行った．手法 1 は，各取得データを別々に学習した識別器の識別結果に，相対的に低い尤度の誤った識別結果候補が混入した場合を想定し，尤度を利用した識別結果候補の絞り込みを行った後に識別結果統合を行った．手法 2 は，低い尤度であっても順位付けされた情報には，識別結果が正解である確率が高いとみなし，各識別器の順位合計で棄却条件を付与して識別結果統合を行った．手法 3 は，手法 1 と手法 2 を組み合わせた統合手法である．識別結果に，正解である確率が低い結果があるときはそれぞれ棄却を行ったうえで，有意な識別結果として出力した順位の値で識別器の統合を行う統合モデルである．正解率，誤り率，棄却率から評価する評価指標 γを提案し，それに基づき上記の提案した 3 つの手法による認識性能を評価した．
キーワード：手話動作, 認識, 加速度, 座標, マルチモーダル情報<Summary> This study utilized multimodal information using both acceleration data and coordinate data to recognize sign
language motion. First, to confirm the effectiveness of recognizing sign language motion using individual acquisition information,
the authors conducted an experiment to compare motion classification performance when each acquisition of data was treatedindependently. The performance comparison results showed differences in the tendency for false classifications in the classifiers
constructed using only each data group. Therefore, high sign language recognition performance seemed more likely to be achieved
if each classifier using multimodal information were to be integrated in a complementary manner. In this paper, three integration
methods for multimodal information are proposed and compared against each other. Method 1 assumes that the classification resultsof classifiers trained individually on the acquired data are mixed with incorrect candidate classifiers with relatively low likelihood,and the classifiers are integrated after narrowing down the candidate classifiers using that likelihood. Method 2 considers that ranked
information, even with a low likelihood, give a high probability of producing a correct classification result, and the authors carriedout classification result integration by assigning a rejection condition using the rank sum of each classifier. Method 3 combines
Method 1 and Method 2. It is an integration model that rejects each result with a low probability of being correct and then integrates
the classifiers by value of the rank that is output as a significant classification result integration. An evaluation index γ was proposed
for assessing recognition performance based on the correct rate, error rate, and rejection rate, and the above three proposed methods
were evaluated based on that index.
Keywords: sign language motion, recognition, acceleration, coordinate, multimodal information

348

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）1.

の多センサが身近で容易に利用できる環境を前提に，カメラはじめに

画像からの情報と組み合わせたマルチモーダルセンサ情報を既に人工知能の技術により音声認識や自動翻訳などが広く利用して手話認識を高度に実装し，手話利用者と非利用者間普及しつつある．しかし，聴覚障がい者の方に広く利用されのコミュニケーションの支援に利用することを想定している．

ている手話を翻訳する技術は，研究報告されているものの 1)

本論文ではカメラ画像と加速度センサをマルチモーダル情実用化には至っていない．バリアフリーな社会の実現，聴覚報として手話動作認識に適用する．複数のセンサ情報を用いに障がいを持つ方と聴者間のコミュニケーションの障壁を小るマルチモーダル認識が提案されているがこれには 2 つの観

さくする意味でも手話翻訳を実現する意味は大きいと考えら点からの取り組みがある 7)．1 つは複数のセンサからの情報をれる．手話の自動翻訳を実現するためには，複雑かつ多様な個別に用いて，センサごとに識別器を生成し，各識別器から腕や指などの物理的な動きの識別にとどまらず，手話特有のの情報を用いてアンサンブル学習とし総合的に認識結果とし言語モデルを利用した言語理解が必要となる．十分な数の手て判定する手法 A，他方は複数のセンサからの情報を用いて話動作を収録したデータベースが存在しないことだけでなく， 識別器を生成し，その識別器から認識結果として判定する手
手話特有の言語モデルの体系化した分析が進んでいないこと

法 B である．この場合，複数の識別器からの情報を総合的にが実用化に向けた大きな課題である．

判断する手法が 1 つの課題になる．本論文では膨大な数の学
本論文は物理的な手話動作の識別の課題について検討する． 習データ収集が困難な手話認識を対象としているため，最小“マルチモーダル”センサ，“マルチモーダル”認識として複限のデータ規模でモデル学習を実現することを考慮し，手法

数のセンサからの情報を用いて相補的に認識精度を向上させ

A に基づく認識システム構築法を提案し，その効果を検証する取り組みが報告されている 2), 3)．手話動作の識別においてる．さらに，各センサ情報から作成した学習済みモデルから

は，カメラ画像から骨格情報を推定し骨格の節点座標の動き

得られる尤度情報などを用いて認識性能向上の方法を明らかを算出し，深層学習などを活用して識別する手法が複数報告にするとともに誤り率や棄却率など認識システムを実装するされている 4)．いずれも単一センサによる認識結果とマルチ上で重要な指標を考慮した評価手法を提案，その結果を示す．

モーダル情報による結果の比較であり，単一センサによる識

なお，識別器に関しては SVM などの従来からの機械学習

別器からの情報を用いた精度向上のための手法（後処理）の技術と LSTM などの深層学習 8)による手法がある．一般に深検討や誤り率や棄却率など認識システムを実装する上で重要

層学習では多数のデータが必要とされ，本来の性能を発揮さな要素となる評価項目を考慮した検討は行われていない．

せるためにはデータ数を変えてその結果を評価し，必要なデカメラ映像上での骨格座標推定を行う手法では，カメラ奥ータ数を明らかにする課題がある．また，最適なモデルの構

行方向に移動する動作に対して 3 次元の骨格座標を推定する造を検討する必要がある．したがって本論文では，マルチモことは原理的に困難である．その観点から加速度センサを用

ーダルによる効果の検証という観点に対象を絞るために，既い，マルチモーダル情報を用いた認識問題への適用として、存技術として実績が多く，かつパラメータ調整による最適化

手話認識への適用を試みる．手話動作認識への適用は、筆者が容易な識別器である SVM を選択した．

らの知る限りでは見当たらず、マルチモーダル手法の適用性の検証という観点でその有用性を示す．

本論文の構成として，第 2 章ではデータ取得の構成と本検討で用いるデータセットの作成手法，第 3 章では各データか

3 次元の動きを高精度に測定する手法としては，加速度セら作成した識別モデルによる識別結果，第 4 章では各識別モ

ンサを利用した手法が有力である．両手首に装着しその動き

デルからの情報に基づいて，最終的な認識結果として判定すを測定し，機械学習を適用してその動作や作業を推定する研るための認識手法とその評価，選択手法を提示する．そして，究が報告されている 5)．しかし，センサデバイスのバッテリを第 5 章で本論文を総括するとともに今後の課題を示す．

含む寸法等の制約から多数の装着は現実的ではなく，複雑か

2.

つ多様な動きの測定は難しかった．センサ信号の高速かつ多チャネル受信をバッテリレスかつワイヤレスで可能とするバックスキャッタ通信の研究開発が進められ 6)，加速度センサのモーションキャプチャへの適用が現実的になりつつある．
従来からのカメラ画像に加えてこのような装置を利用することにより，手話のような複雑で多種の動きに対して，情報の欠落のない測定が可能になってきている．
加速度センサは現段階ではまだ専用装置が多く必要であるが，今後より小型高精度化が進み Bluetooth を含めた近距離のワイヤレス通信を活用することで，現在よりも非常に利用が容易なデバイスになると考えられる．本研究はそうした将来

349

2.1

手話動作データの取得と作成

対象手話動作

本検討で対象とした手話動作は，両手が交差せず，初心者でも習得しやすい単純な両手を動かす手話に限定し，単語ごとに独立した動作でデータ取得することとした．これは，カメラ画像から座標データを抽出する際のオクルージョンの問
題を本検討から除外し，指導者監修で取得した手話動作の揺らぎを最低限に抑え，本提案手法の有効性を実証するためである．手話学習者向けの動画教材 SmartDeaf9)に収録されている全 3,581 単語の手話動作のうち，本検討では，参照数が多い

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

表 1 対象手話動作

健康・医療カテゴリの手話動作 128 単語から，上記条件を満たす手話 20 単語を無作為に表 1 に示す通り選出した．

2.2

Table 1 Target sign language motion

手話動作データ取得の構成

現在，手話動作のカメラ画像から OpenPose10)などの骨格情

1．汗2．汗だく 3．イライラ 4．眼鏡

5．近視

6．車椅子 7．骨折

8．骨

9．心臓

10．腎臓

11．健康

12．たくましい15．裸

16．発達障害

19．長生き20．パニック

報を推定し骨格の節点座標の動きを算出できるツールを使用

13．ダイエット 14．涙し，座標データによる手話動作の識別が多く行われている 11)． 17．肥満
18．顔色
しかし，上記ツールで取得できる座標データは 2 次元データ
であり 3 次元の動きである手話動作を検知することは難しい．
そこで，本論文では加速度データを追加利用して手話認識システムとして統合することで動作認識性能の向上を目指した．
データ取得時の模様を図 1 に示す．本構成では，手話動作の測定という多数の計測箇所を同一タイミングで取得する要求に対応するため，著者らが研究開発中の同期ストリーミン
グシステム 6）を使用した．本システムは，リーダライタとバックスキャッタセンサから構成される．リーダライタは，手話者の後方に設置したリーダライタアンテナから送出した電波でバックスキャッタセンサに給電する．この同期バックス
キャッタセンサは，センサデータで変調した電波（サブキャ

図 1 データ取得時の模様 13)

リア）を反射し無電源でセンシングと情報送信を行う．また，Fig. 1 Data acquisition setting

複数のバックスキャッタセンサで異なるサブキャリアを用い，リーダライタが同期受信を行うことで多点同期ストリーミン
グを実現する．本検討で用いた試作バックスキャッタセンサ
は，加速度センサ（型名：Analog Devices、ADXL362）を具備しておりバックスキャッタセンサのアンテナは手話者の後方に固定した．加速度センサのレンジ設定は，過去の検討 12）で確認した手話動作時の最大の加速度を考慮して±8G とした．
また，サンプリングレートは 10ms とした．加速度データは，
リーダライタに接続した加速度データ取得 PC で取得した．
動画像の取得のために使用したカメラは，フレームレート
30fps での安定した動画取得のため，Web カメラ（Logicool：
図 2 各センサの取得データの座標系

HD プロウェブカム C920）を選択した．
各センサの取得データの座標系の定義を図 2 に示す．手話

Fig. 2 Coordinate system of acquired data of each sensor

動作において，動作の変化が最も顕著に表れると思われる両手首，両肘に加速度センサを装着し，加速度センサの固定にて負荷がかかる．そこで，1 単語の動作を 12 サンプル連続動は軽量で装着が容易であるゴム製のバンドを使用した．Web

作させてデータを取得した．上記を 2 日間行い，1 単語の動

カメラと手話者の距離は，一般的な対面の会話距離を想定し，作を 24 サンプル取得した．1 サンプルへの分割を容易にする
ためサンプル間に約 1 秒の手をおろした状態での静止状態を

手話者の胸から 1m の位置に設定した．
手話動作データの取得は，株式会社ケイ・シー・シーの日
常的に手話を使用している方の指導のもと行った．手話者はまず，SmartDeaf 表示モニタで手話動作を確認し数回練習した

設定した．
加速度，座標データの 12 サンプルのデータを図 3，図 4 に示す．12 サンプルのデータから 1 サンプルへの分割は，加速

のち指導者から手話動作に問題がないと判断されたとき，取度データは右手首の y 軸の加速度の値 7.0，座標データは右手得を開始した．この手法で，手話動作データとしての信頼性

首の y 座標の値 660 を基準値に設定し行った．設定した基準を確保した．

値以上で値が 1 秒間以上継続している箇所を静止状態とみなし，基準値以下から基準値以上になるまでの間を 1 サンプル

2.3

手話動作データの作成として分割を行った．

1 単語の 1 手話動作データを 1 サンプルとして定義する．
手話動作データを 1 サンプルずつ取得するのは手話者に対し350

上記手法で 1 サンプルとして分割，切り出したデータを図5，図 6 に示す．3 次元の検出とサンプリング時間が小さいた

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 3 加速度データ，“たくましい”，右手首，12 サンプル

図 5 加速度データ，“たくましい”，右手首，1 サンプル

Fig. 3 Acceleration data, "indefatigable", right wrist, 12 samples

Fig. 5 Acceleration data, "indefatigable", right wrist, 1 sample

図 4 座標データ，“たくましい”，右手首，12 サンプル

図 6 座標データ，“たくましい”，右手首，1 サンプル

Fig. 4 Coordinate data, "indefatigable", right wrist, 12 samples

Fig. 6 Coordinate data, "indefatigable", right wrist, 1 sample

め，加速度データの方がより詳細に動きを検出していると思われる．なお，上記基準で 1 サンプルとして切り出したデー

表 2 取得データセット

タの時間長を比較すると，加速度データは 2.25 秒，座標デー

Table 2 Acquisition data set

タは 2.00 秒でありデータ長の相違があった．厳密には 2 つの測定手法の同期を確保して，両者の時間長が一致していることが望ましいが，1 サンプルの時間長の平均が約 2.00 秒であ

データ

手話者

単語

加速度
座標

4

20

ること，今回の手法は 2.2 節の 1 段落目で前述しているよう

サンプル数(単語/手話者)

合計
サンプル数
1,600
20
(4×20×20)に各データによる識別モデル作成後の識別結果の統合による効果の検証であるため，データ長及び同期の差異は微小であることから，無視できると判断した．

3.

各センサデータによる識別と性能

本論文ではマルチモーダル情報による効果を確認すること

本検討では取得した 24 サンプルのうち 20 サンプルを使用が目的であるため，識別器として実績も多く，一定のデータデータとした．サンプルの総数は 1,600（＝4 人×20 単語×20数で安定した識別性能が期待できる SVM を使用することに試行）サンプルである．加速度データは（x，y，z）の 3 次元，

した．そのため，学習モデル作成のための特徴ベクトルの要

座標データは（x，y）の 2 次元データである．取得したデー素数をそろえる必要がある．従来の検討 13)では，1 つの手話

タセットを表 2 に示す．ここでの加速度データにおける x，

動作時間を 10 等分して特徴抽出した入力で SVM を利用した

y，z の 3 軸はセンサ座標系の値であり水平垂直方向に値を変場合で高い識別性能が実現できた．本検討でも 1 つの手話動換したものではない．そのため，水平方向に設置したカメラ

作時間を 10 等分にして特徴ベクトルを算出し，SVM の入力から取得した x，y 座標系と軸を揃えた値にはなっていない．

とすることとした．

351

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

表 3 識別結果
Table 3 Classification results

データ

正解率

誤り率

加速度

89.5

10.5

座標

87.5

12.5 [%]

特徴ベクトルとして，今回は平均のみでは動作変化の大きさを表すことはできないため，10 等分した各区間の標準偏差を追加した．手話動作データは時系列データであり，動作変化の大きさも非常に重要な情報である．加速度データの次元数は 240 次元 (=(3([x/y/z]平均)+3([x/y/z]標準偏差))×4(両手首，両 肘 ) × 10( 区 間 )) ， 座 標 デー タ は 160 次 元 (=(2([x/y] 平均)+2([x/y]標準偏差))×4(両手首，両肘)×10(区間))とした．
SVM のパラメータは，カーネル：RBF（Radial Basis Function），
linear，C（正規化パラメータ）：10-²，10-¹，100，10¹，10²の組
み合わせで確認した．結果として，加速度データを使用した

図 7 混合行列（加速度データ）

識別，座標データを使用した識別，両者ともにカーネル：RBF，Fig. 7 Confusion matrix (acceleration data)

C：10¹のパラメータで最良の識別精度が得られた．そのため，以降の識別実験では上記のパラメータで行った．
本論文では，学習データに手話者 3 名，評価データに手話者 1 名のデータを使用する交差検証を行った．加速度データを使用した識別，座標データを使用した識別を行った結果を表 3 に示す．なお本論文では，第 4 章で示す結果との混同をさけるため，単独の識別結果による判定を「識別」，複数の識
別結果を用いた判定を「認識」と記す．
加速度データを使用した識別では，正解率（平均）：89.5%，
座標データを使用した識別では，正解率（平均）：87.5%の識別精度であり，加速度データを使用した方が識別精度が 2.0%
高い結果が得られた．これは，座標データが 2 次元データであり，検出が不可能な動きがあることが一因と思われる．評
価データで用いた 4 通りの手話者のサンプルを合算した混合行列を図 7，図 8 に示す．手話動作 1 単語のサンプル合計が80 サンプルのため，その 1 割である 8 サンプル以上の誤りがある箇所に赤枠を記載した．

図 8 混合行列（座標データ）

本結果より，赤枠を記載した箇所から，加速度データを用

Fig. 8 Confusion matrix (coordinate data)

いた識別での誤りの箇所は座標データを用いた識別でほとん
ど誤っておらず，同様に座標データを用いた誤りの箇所は加別器を統合する場合，識別器の中に識別結果が正解である確

速度データではほとんど誤っていないことを確認した．マル

率が低い結果が混入することで最終的な認識性能を低下させ

チモーダル情報として扱う場合，各データを用いた識別結果る可能性がある．そこで，前章で述べた加速度データ，座標の性質が異なるほど性能補間による認識精度の向上が期待でデータでそれぞれ作成した学習済みモデルを使用し，以降にきる．そのため，加速度，座標データを組み合わせることで，述べる 3 つの手法で識別結果が正解である確率が低い結果が認識精度を高めることが期待できると考えられる．

混入している場合に，棄却判定を適用した識別結果統合によ4.

る認識手法の検討を行った．

認識手法

マルチモーダルの考え方として，本検討では第 1 章で述べたように複数のセンサからのデータそれぞれを別々に管理し，

4.1

手法 1：尤度の差による棄却と識別結果の選択

尤度とは識別の際に出力される識別結果の確度と解釈でき
通常，尤度が最大のものを識別結果として選択する．手法 1

識別結果を統合する手法を提案した．

はそれぞれのセンサから得られたデータを別々に学習した識それぞれのセンサから得られたデータを別々に学習した識352

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

別器の識別結果に相対的に低い尤度の誤った識別結果候補がされた情報には，識別結果が正解である確率が高いとみなし，混入した場合を想定し，尤度を利用した識別結果候補の絞り

各識別器の順位合計で棄却条件を付与して識別結果統合を行込みを行った後に識別結果統合を行う手法である．加速度，う手法である．加速度データ，座標データを用いた識別の際

座標データによる識別の際に得られる識別対象に対する尤度に得られる識別対象の単語に対する尤度が大きいものから昇を用い，1 位の尤度と 2 位の尤度の差を求めた．そして，その順に順位付けを行った．その後，順位の値を同一単語で足し差が大きい場合は識別結果が正解の確率が高い，小さい場合

合わせ，min 関数を用いて順位の和が最小のものに対し，あは低いと判断し，尤度の差がある一定値以下の場合に棄却をる一定の値以上の場合には両者の結果の相違が大きく，誤り行った．ここで，その一定値を棄却パラメータ α とした．α との可能性が高いと判断し，棄却を行った．ここで，ある一定

して，0.0～0.6 で 0.1 刻みの 7 通りの値を設定した．識別器のの値を棄却パラメータ β とした．β として，3～6 の 1 刻みの統合の際，加速度データの識別結果のみ棄却，座標データの4 通りの値を設定した．順位の和の算出式を式（2）に，認識

識別結果のみ棄却，両者とも棄却されていない場合の 3 通り

手法 2 を図 10 に示す．

考えられる．加速度データの識別結果のみ棄却されている場
合は座標データの識別結果を使用し，同様に座標データの場

srrank Likelihood_arank Likelihood_c

合は加速度データの識別結果を使用した．両者が棄却されてここで，いない場合は尤度の差の比較により識別結果の選択を行った．

sri：順位の和尤度の差の算出式を式（1）に，認識手法 1 を図 9 に示す．

i：識別対象の単語（1．汗，2．汗だく，…，dl ,Likelihood_1

Likelihood_2

20．パニック）（1）rank：昇順による順位付け

ここで，Likelihood_ai：単語 i の加速度データを用いた

dlm, i：尤度の差

識別の尤度
Likelihood_ci：単語 i の座標データを用いた

m：手話動作データ（a：加速度，c：座標）

識別の尤度

i：識別対象の単語（1．汗，2．汗だく，…，とした．

20．パニック）
Likelihood_1i：単語 i の 1 位の尤度

4.3

Likelihood_2i：単語 i の 2 位の尤度
とした．

4.2

（2）

手法 3：手法 1 と手法 2 の組み合わせ

手法 3 は，
手法 1 と手法 2 を組み合わせた統合手法である．
それぞれのセンサから得られたデータを別々に学習した識別

手法 2：識別結果の順位の和による棄却

器の識別結果に相対的に低い尤度の誤った識別結果候補が混手法 2 は，それぞれのセンサから得られたデータを別々に入した場合を想定し，尤度を利用した識別結果候補の絞り込学習した識別器の識別結果は，低い尤度であっても順位付けみを行ったうえで，有意な識別結果として出力した順位の値
で識別器の統合を行う統合モデルである．手法 1 の尤度の差を用いて差が大きい場合は識別結果が正解の確率が高い，小さい場合は低いと判断し，尤度の差がある一定値以下の場合に棄却する手法と手法 2 の尤度が大きいものから昇順に順位

図 9 認識手法 1

図 10 認識手法 2

Fig. 9 Recognition method 1

Fig. 10 Recognition method 2353

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 12 手法 1 の棄却パラメータ α 変動時の評価指標 γ の変化
Fig. 12 Change in the evaluation index γ when the rejection parameter αchanges for Method 1

図 11 認識手法 3
Fig. 11 Recognition method 3付けを行い，順位の値を同一単語で足し合わせた値から判断する手法を組み合わせた．認識手法 3 を図 11 に示す．

認識手法の評価と考察

4.4

識別性能は正解率，誤り率，棄却率から評価されるが，適用対象のシステム要求によって，誤り率と棄却率の最適割合の決定条件が異なる．そのため，本提案としては，式（3）で示す評価指標 γ を利用して性能評価を示すこととした．ここで，重みづけ係数 k1，k2 を γ への影響度を考慮して 0～10 の

図 13 重みづけ係数 k2 による認識結果の変化
Fig. 13 Change in recognition results with weighting factor k2

範囲に設定し，γ の変化を確認した．k1 を 0～10 に変更する場
合，k2 を 1 に固定して同様に k2 を 0～10 に変更する場合，k1大きくすることにより少し低下したが，それ以外の手法の γ

を 1 に固定して誤り率，棄却率によるそれぞれの γ の変化をはほとんど変化がない結果となった．そのため，本検討の範比較した．

囲では，棄却率の k2 による γ に対する影響が少ないと判断し

γ

c

k e

k r

（3）

し各手法における γ の変化を調べた結果を図 14 に示す．

ここで，c：正解率 [%]
k1，k2：重みづけ係数た．そこで，各手法における誤り率の重みづけ係数 k1 を変更
誤り率の重みづけ係数 k1 を考慮した場合，3 つの提案手法

正しい識別サンプル数
合計サンプル数k ,k100を用いることで加速度データと座標データを別々に使用し識別するよりもマルチモーダル情報として扱う場合の方が評価

0, 1, … , 10

指標 γ が高く，認識結果の信頼性が高まることを確認した．

e：誤り率 [%]

k1 が 0～4 までの範囲では，認識手法 2 の γ が一番高く，5～r：棄却率 [%]

10 までの範囲では，認識手法 3 が一番高い結果が得られた．

とした．
図 12 は棄却パラメータ α を変動させたときに，手法 1 における重みづけ係数 k2 に対する評価指標 γ を示したものである．ここで，γ は α により大きく変化することを確認した．このときの各 α の中で、各 k2 における最大となる γ を求め，図13 の手法 1 の各 k2 による γ とした．同様の処理を手法 2，手法 3 に適用し，図 13 にまとめた．

一般的に，誤りと棄却が最終認識結果に与える影響は，運用する認識システムの要求により異なる．文脈から識別単語を推測できる場合，誤り率の低下が棄却率の低下よりも大きく
システム性能に影響を与えるため，認識手法 3 が最適である．
再入力など許容できないような運用においては，棄却率をできるだけ低く抑える必要がある．このような場合においては，認識手法 2 が最適として提案できる．

図 13 において，手法 1 の評価指標 γ が重みづけ係数 k2 を

354

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

参考文献
1) R. Rastgoo, K. Kiani, S. Escalera: “Sign Language Recognition: A Deep
Survey”, Expert Systems with Applications, Vol. 164, 113794 (2021).
2) 松山 仁, 浦野 健太, 廣井 慧, 梶 克彦, 米澤 拓郎, 河口 信夫:“社交ダンスの動作特性を考慮したマルチモーダルセンサによるダンスフィガー認識”, 情報処理学会論文誌, Vol. 61, No. 10,
pp.1591–1604 (2020).
3) Q. Miao, Y. Li, W. Ouyang, Z. Ma, X. Xu, W. Shi, X. Cao: “Multimodal
Gesture Recognition Based on the ResC3D Network”, Proc. of the IEEE
International Conference on Computer Vision, pp.3047–3055 (2017).
4) C.-I. Park, C.-B. Sohn: “Data Augmentation for Human Keypoint
Estimation Deep Learning based Sign Language Translation”, Electronics,

図 14 重みづけ係数 k1 による認識結果の変化

Vol. 9, No. 8, p.1257 (2020).

Fig. 14 Change in recognition results with weighting factor k15) 市川 峻大, 劉 明輝, 五百蔵 重典, 田中 博: “判別分析手法を用いた研究室内の行動推定法の提案と評価実験”, HCG シンポジウム,

5.

まとめ

B4-2, pp.181–186 (2010).

本稿では加速度データと座標データを用いたマルチモーダ
ル情報による手話動作認識手法の提案と実験による評価を行った．まず，加速度データ，座標データそれぞれのみを使用
し学習済みモデルを作成し，手話動作に対する識別精度を比較した．識別時の尤度情報，順位情報を用いて棄却，統合を行う 3 つの手法を提案した．そして，手法の実装時の要求を踏まえるために正解率，誤り率，棄却率から評価する評価指標γを提案し，それに基づき提案した 3 つの手法を評価した．
加速度データ，座標データそれぞれを使用した識別では，89.5%，87.5%の正解率が得られた．加速度データを用いた結果の方が，誤識別が僅かではあるが少なかった．提案した 3つの手法と提案した評価指標 γ を比較すると，3 つの提案手法を用いることで加速度データと座標データを別々に使用し識別するよりもマルチモーダル情報として扱う場合の方が γの値が高い結果が得られた．重みづけ係数 k1 が 0～5 までの範囲では，認識手法 2 の γ が一番高く，5～10 までの範囲では，認識手法 3 が一番高い結果が得られた．誤りと棄却が最終認識結果に与える影響に応じて手法を選択する手法として提案した．
本研究結果を踏まえ，今後は本論文の第 1 章であげた手法
B のマルチモーダルの考え方である相補的に複数のセンサデータを統合する識別モデルの構築法の研究を進め，本研究結果と比較し，マルチモーダル情報の追加及びさらなる活用に

6) J. Mitsugi, Y. Kawakita, K. Egawa, H. Ichikawa: “Perfectly SynchronizedStreaming from Multiple Digitally Modulated Backscatter Sensor Tags”,
IEEE J. RFID, Vol. 3, No. 3, pp.149–156 (2019).
7) V. Radu, C. Tong, S. Bhattacharya, N.-D. Lane, C. Mascolo, M.-K. Marina,
F. Kawsar: “Multimodal Deep Learning for Activity and Context
Recognition”, Proc. of ACM Interact. Mob. Wearable Ubiquitous, Vol. 1,
No. 157, pp.1–27 (2017).
8) N. Adaloglou, T. Chatzis, I. Papastratis, A. Stergioulas, G.-T.
Papadopoulos, V. Zacharopoulou, G.-J. Xydopoulos, K. Atzakas, D.
Papazachariou, P. Daras: “A Comprehensive Study on Deep LearningBased Methods for Sign Language Recognition”, IEEE Trans. on
Multimedia, Vol. 24, pp.1750–1762 (2022).
9) 株式会社ケイ・シー・シー，手話学習者向けスマートデバイス動画辞典，SmartDeaf，http://www.smartdeaf.com/, (2020)．
10) Z. Cao, T. Simon, S.-E. Wei, Y. Sheikh: “Realtime Multi-Person 2D Pose
Estimation using Part Affinity Fields”, https://arxiv.org/abs/1812.08008,(2020).
11) 柳沢 利紀, 石川 孝明, 渡辺 裕: “単眼 RGB カメラを用いた手話の動作解析”, 電子情報通信学会総合大会 (2019).
12) 小田切 航, 佐藤 辰也, 若尾 吏, 川喜田 佑介, 西村 広光, 三次
仁, 田中 博: “ウェアラブル加速度センサを用いた手話動作の識別実験結果”, 電子情報通信学会通信ソサイエティ大会, p.332 (2021).
13) T. Wakao, T. Sato, W. Odagiri, Y. Kawakita, H. Nishimura, H. Tanaka, J.
Mitsugi: “Application of Synchronized Backscatter Sensors to Sign

ついて検討を進めていく．

Language Motion Classification”, Journal of Signal Processing, Vol.26,

謝辞

No.4, pp.119–122 (2022).

手話動作をご指導いただいた株式会社ケイ・シー・シー関
係各位に感謝いたします．本研究開発は総務省の「電波資源（2022 年 12 月 27 日 受付）拡大のための研究開発（JSJ000254）」によって実施した成果を（2023 年 2 月 24 日 再受付）

含みます．

355

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

若 尾 吏
2021 年 神奈川工科大学情報工学科卒業．
2023 年 同大学大学院工学研究科修士課程修了．在学中，手話認識手法に関する研究に従事．現在，株式会社ソフテムに勤務．

川 喜 田 佑 介
2000 年 慶応大学環境情報学部卒業．2002
年 同大学院政策・メディア研究科修士課程修了．2008 年同大学院博士課程修了，博士（政策・メディア）．2008 年 電気通信大学
電気通信学部人間コミュニケーション学科
特任助教，2010 年 同大ユビキタスネット
ワーク研究センター特任助教，2012 年 同大大学院情報理工学研究科総合情報学専攻
助教，改組により同大大学院情報理工学研
究科情報学専攻助教などを経て 2016 年
神奈川工科大学情報学部情報工学科准教
授．現在 RFID を拡張したセンシングシス
テムをはじめとする IoT の研究に従事．
電子
情報通信学会，情報処理学会，計測自動制御
学会，IEEE 各会員.

西 村 広 光（正会員）
1995 年 信州大学工学部情報工学科卒業．
1997 年 同大学大学院工学系研究科修士課
程修了．2000 年 同大学大学院工学系研究科博士課程修了．神奈川工科大学情報工学科助手，同大学情報メディア学科専任講師・准教授を経て現在 神奈川工科大学情報学
部情報メディア学科教授．博士（工学）．現在 画像処理・認識の研究に従事．電子情報通信学会，情報処理学会，ヒューマンインタ
フェース学会，画像電子学会，学生相談学会
各会員．

田 中 博
1983 年 北海道大学工学部精密学科卒業．
1985 年 同大学大学院工学研究科修士課程修了．1994 年 同大学院博士（工学）．1985
年 日本電信電話（株）入社．1994～1997 年
宇宙開発事業団（現宇宙航空研究開発機構）
出向．2006 年 神奈川工科大学情報工学科教授（現職）．現在 IoT と AI の協調技術・システムとその検証に関する研究に従事．
電子情報通信学会，情報処理学会，ヒューマ
ンインタフェース学会 各会員，AIAA Senior
Member，第 36 回電波技術協会賞受賞．

三 次 仁
1985 年 名古屋大学工学部航空学科卒業．
1987 年 東京大学大学院航空学科修士課程修了．1996 年 同大学院博士（工学）．1987
年 日本電信電話（株）入社．2004 年 慶応大学大学院政策・メディア研究科准教授．
2008 年 慶応大学環境情報学部准教授 ．
2016 年 同 教授（現職）．無線通信，信号処理，計算工学の研究に従事．電子情報通信学会，日本機械学会，日本航空宇宙学会，IEEE
各会員．

356

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

スペクトログラム画像を用いた転移学習の適用による室内音識別
佐 野 将 太† 川 喜 田 佑 介† 宮 崎 剛†（正会員） 田 中 博†
†神奈川工科大学大学院 工学研究科 情報工学専攻

Classification of Sounds in Room by Applying to Transfer Learning
Using Spectrogram Images
Shota SANO†, Yuusuke KAWAKITA†, Tsuyoshi MIYAZAKI† (Member), Hiroshi TANAKA††Course of Information and Computer Sciences, Graduate School of Kanagawa Institute of Technology〈あらまし〉 室内には様々な音源が存在しており，それらの音の識別を行うことで生活状況の見守りなど多様な応用が期待できる．本論文では室内で複数の音源が同時に動作している状況において，単音に加え混合音(複数の単音が混合された音)も対象とした識別を行うための技術を提案，検証する．識別モデルの作成方法として，取得した音データを短時間フーリエ変換によってスペクトログラム画像に変換し，その画像を用いて GoogLeNet に転移学習を適用する．それにより，データ収集の負荷を軽減しながら良好な識別結果を実現する．PC 上での実験として室内音環
境に近い条件での音データを作成するために，音源位置の相違や距離変化を想定して取得した単音の音圧を調整した．
そして，作成した混合音をスペクトログラム画像に変換して転移学習の入力とすることで識別モデルを作成した．その結果，単音，混合音の計 14 種の音に対して 92%の識別精度を実現した．さらに，識別対象となる音源の距離変化
によって学習時と異なる音圧となった場合を考慮した識別性能を明らかにし，そのロバスト性の検証結果も示した．
キーワード：音源識別, スペクトログラム, 転移学習, 室内音, ロバスト性<Summary> There are various sound sources in a room, and various applications such as monitoring a living situation can be
expected by classifying those sounds. In this paper, we propose and validate a technique for classification not only single sound but
also mixed sound in a room where multiple sound sources are operating at the same time. As a method for creating a classification
model, the acquired sound data is transformed into a spectrogram image by short-time Fourier transform, and a transfer leaning
method is applied to the GoogLeNet. In order to create sound data under conditions similar to those in real environments, we
adjusted the acquired sound data on a PC, assuming differences in sound source locations and changes in distance. The mixture ofsounds was converted into a spectrogram image, which was used as input for transfer learning to create a classification model. As
a result, the classification accuracy was achieved to 92% for a total of 14 types of sounds, including single sounds and mixed sounds.
Furthermore, the robustness of the model was verified by considering the case where the sound pressure is different from that inlearning due to the change in the distance of the sound source.
Keywords: sound classification, spectrogram, transfer learning, indoor sounds, robustness

1.

2),3)などが提案されてきた．

はじめに各音の識別方法としては，画像識別から端を発した深層学

室内音環境に存在する音には多様な情報が含まれ，日常生

習技術を適用する検討も活発化している 4),5)．そのうち，音の活行動の予測，独居者の見守り，異常検知などへの応用が検時系列データを短時間フーリエ変換（STFT（Short Time Fourier

討されている 1)．それらを実現するために，各音を識別する方Transformation））
によってスペクトログラム画像に変換して環法は，一つの有力な手段であると考えられる．従来はフーリ

境音を識別することを提案している研究がある 6)．この中でエ変換によって得られる周波数や MFCC（メル周波数ケプス

は，既に一般に公開されている環境音のデータベースを使用

トラム係数）などの特徴量を音から抽出し，SVM（サポート

し，提案手法の可能性を述べている．また，音のスペクトロ

ベクターマシン）やニューラルネットワークで識別する方法

グラム画像に関しては，上記の識別問題のみならず，特定の357

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

音に加わった雑音の除去へも適用されつつあり 7)，その利用が広がっている．
一般に深層学習の適用に当たってはデータの収集が大きな

2.
2.1

音の画像変換とデータセット作成
音データの取得と画像への変換障壁となるが，スペクトログラム画像に対して学習済モデル

日常生活における室内の各音，およびそれらが同時に鳴動として実績のあるネットワークモデルを再利用する転移学習

している場合の混合音の識別を本研究の目的としていること

によってその障壁を軽減する手法が既に提案され各種の取りを考慮し，代表的な音源として 4 種を設定した．特に生活状組みが散見されつつある 8)．その中で心電音のスペクトログ

況を予測しやすいもの，日常的に必ず使用するもの，音圧とラム画像からの異常の有無の 2 値の判定 9)，音の識別に関連

して高低両方のものが混在できるように配慮した．空調機器した研究としては，楽器音 10)やアラーム音の識別 11)，森林中

は稼働音が小さく人間の耳では判別しづらいが，生活状態のに存在するフクロウの鳴き声からのその種類の識別 12）がある． 把握に有用である．例えば，稼働状態の判断から高齢者の熱
これらは日常において鳴動の頻度は少なく，各音が混じりあ中症の予防が期待できると考えられる．その他に，生活状況

ることもほとんどないと思われるため，この観点からの検討を把握する上で有用なもの，位置の移動などによる音の変化がなされていない．一方で，生活家電などはその頻度が高く，があるものとして掃除機，ドライヤー，髭剃りを選定した．

そのため各音が交じり合う場合が多いと思われる．日常生活

収音機器と収録条件を表 1 に示す．

における環境音識別へ適用している研究 13）はあるものの，音単体の音（以降，単音）の音圧の高低は PC 内で設定する．

源の距離の相違による音の強度（音圧レベル）の変化や日常

後述する混合音の作成では距離を基準に調整を行うことから，で発生する音が交じり合う場合の検討がなされておらず，現調整基準のために音源である家電から 1m の距離にマイクを実を考慮した課題として，各音源の距離変化や混合した場合設置し，表 1 に示す収音条件で取得を行った．取得した音デの識別方法が必要となると考えられる．

ータの例として髭剃りとドライヤーの時系列データを図 1 に

本論文では日常生活に存在する音を取り上げる．これは，日常生活における行動予測や一人暮らしの高齢者の見守りへ

示す．ドライヤーの方が音圧が高く，実際の耳で聞いた感覚と一致していることが確認できる．

の応用という観点から，その応用領域が広いと考えられるた

時系列データを画像データに変換し，識別モデルの作成にめである．複数の音が存在する場合は，複数のマイクを使用

は転移学習の手法を適用することで，必要なデータ数を抑えした音源分離技術 14)の適用が有力な手法であるが，各マイクながら高精度な識別結果を目指す．今回，画像変換時のパラの設置位置などの制約が生じる．本論文の貢献はマイクが一

メータは事前に複数の結果を比較し，画像全体の特徴が明瞭

つという単純な構成で・各音が同時に鳴動している場合を考慮した識別問題

表1

・音源と音を検知するマイクの距離の変化を考慮した識別問題を取り上げ，識別のための学習モデルの作成とそれによる識収音機器

Table 1 Recording equipment
マイク

別精度を明らかにし，提案手法を評価した結果を示したこと

株式会社アコー
TYPE 4152N2

空調機器

東芝

AIU-AP1604Hにある．ここで，本研究においては識別のための学習モデル

掃除機

SHARP

EC-ST20

ドライヤー

小泉成器株式会社
KHD-9200

使用デバイス

音源家電の作成にあたって，スペクトログラム画像を用いることにした．音のデータを画像データに変換することにより，進展が著しい画像系の技術を適用することが可能になる．特にデー

取得時

髭剃り

SIS CB-777

サンプリング周波数

16kHz

チャンネル数モノラル

タ収集の負荷の観点から，データ数の制約がある条件下での転移学習技術の発展性や，画像ベースのデータ拡張のバリエーションを勘案してスペクトログラム画像を用いた検討を行った．
本論文の構成として，第 2 章で音の時系列データを転移学
習の入力とするための混合音を含めたスペクトログラム画像からなるデータセットの作成方法を，第 3 章でデータセットを用いた転移学習による音の識別モデルの作成方法とその評価結果を述べる．そして第 4 章では，実利用を考慮して距離変化による音圧レベルを変化させたときの識別精度を検証した結果を述べ，提案手法がロバスト性を確保しており，現実的な手法であることを示す．最後に，第 5 章において全体のまとめと今後の課題を述べる．

図 1 ドライヤー，髭剃りの時系列データ
Fig. 1 Time series data of dryer and electric shaver

358

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

表 2 STFT のパラメータ
Table 2 Parameters of STFT

窓関数

hann

窓関数幅

256

オーバーラップ数

128

ポイント数

256

周波数範囲

0～8kHz図 3 ドライヤーと髭剃りの混合音の例
Fig. 3 Example of created mixed sounds of dryer and electric shave

ヤー，髭剃り）の取得データである音圧ベクトルをそれぞれ，，， としたとき，空調機器，掃除機，ドライヤーを加算する 3 種混合音

を式(1)より算出する．
(1)

図 2 ドライヤー，髭剃りのスペクトログラム画像
Fig. 2 Spectrogram images of dryer and electric shaver

混合する各音の音圧ベクトル（音圧レベルから構成される
時系列データを以降，音圧ベクトルと言う）を音源距離（音に表示され，良好な識別結果が出やすいと考えられる表 2 に源とマイク間の距離） [m]に基づいて変化させる．この距離示すものとした．

は一般的な家庭のリビングや，独居者のワンルームの広さを音の時系列データを画像データに変換した例として，髭剃考慮して ={0.5,1,2,4}を設定した．音源ごとに異なる音源距離

りとドライヤーのスペクトログラム画像を図 2 に示す．ここをそれぞれで，画素は STFT によるパワーレベルを 0～255 の輝度で表現

ル ( )は =1 の音圧ベクトル (1)を基準として，式(2)で与えらしており，高いパワーの周波数成分ほど白色が強くなる．し

れる．

， ，

，

としたとき，変化後の音圧ベクト

たがって，取り上げた 2 つの音を比較すると，図１と同様，
ドライヤーの方が全体的に音圧が高いことがわかる．

2.2

(2)

1

混合音データの作成

本論文では室内における単音の音圧の変化は音源とマイク間の距離によるものとした．すなわち，音源を点音源と仮定

したがって，距離がそれぞれ，， の場合の 3 種混合

音では式(1)は式(3)となる．

したとき（今回の音源は比較的小さいものであり，大きな面全体の振動のような状況はないと判断した），音圧(Pa)は距離

1

1

1

に反比例することから，1m の距離で取得した音を基準に，設(3)定した距離に基づいて各音源データの音圧レベルを変化させた．
そして音源とマイク間の距離(以降，音源距離とする)を 1m
から遠近に移動させた場合を想定して下記に示すように今回

なお，エネルギーの値としては音圧が1/ となった場合に1/

変化することとなる．

の検討に用いる混合音を作成した．今回は提案手法の可能性

混合音作成の例として髭剃りとドライヤーの一方の音圧をを確認することを目的とし，2 種混合音と 3 種混合音を作成変化させた時系列データを図 3 に示す．図 3 の上部は等倍の
=1，

した．

=1 で混合し，図 3 の下部は =1，=4 で混合した

なお，今回のデータ作成においては，実際の環境におけるものである．等倍で混合した場合は時系列データで見たとき壁や床からの反射による反響・残響や，取得時に含まれる対はほとんど変化が見られないが，ドライヤーの音源距離を

象音以外の環境音である暗騒音の影響は考慮していない．本

4[m]にして混合した際の振幅は，図 1 の髭剃り単体と同程度

実験は極力静音状態で収音を行ったうえで，これらの影響はになっていることが確認できる．また，図 3 の右部のスペク

無視するものとしている．

トログラム画像を比較すると， =4 での混合では図の中央部が横方向に白く表れる髭剃りの特徴が強く表れており，距離本実験で対象とする 4 つの音（空調機器，掃除機，ドライ

359

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 5 音源距離 を変化させた 3 種混合音のスペクトログラム画像
Fig. 5 Spectrogram images of three sources mixed sound with varying
each sound source distance1）による混合音のスペクトログラム画像

図 4 基準音圧（

Fig. 4 Spectrogram images of mixed sound by reference soundpressure (1)

による音圧の変化がスペクトログラム画像に大きく影響することが確認できる．
各音圧ベクトルの比較のため，音源距離 1m で混合した音のスペクトログラム画像を図 4 に示す．1 段目は単音，2 段目
は 2 種混合音，3 段目は 3 種混合音のスペクトログラム画像である．図中の(1)+(1)は空調と髭剃りの混合音を表し

図 6 データセット用のスペクトログラム画像作成手順ている（他も同様）．単音では空調のみ極端に音圧レベルが小Fig. 6 Procedures of clipping spectrogram images for a dataset

さいため，それぞれのスペクトログラム画像は異なる特徴を持つことが見て取れる．一方で 2，3 段目において空調の音が混合された際のスペクトログラム画像の変化は非常に小さく，
目視ではほとんど判別できないことが確認できる．
次に，音源距離 の違いによる 3 種混合音の例としてのスペクトログラム画像を図 5 に示す．図中のカッコの数値はそれぞれ

,

,

を表してい

る．図の 1 段目に注目すると，音源距離 の減少に伴う音圧レ
ベルの上昇により輝度が増加し，画像全体が白く強調されている．また，2 段目に注目すると，強弱を変更する音によって強く表れる特徴が異なり，同じ音源でも距離の相違によって複数の異なるパターンの画像が生成されることが確認できる．

2.3に各スペクトログラム画像に分割し，転移学習への入力とした．この際，1 枚の画像に十分な音の特徴が含まれるように 1
スペクトログラムの切り出し時間長は 3 秒とした．
データ数に関しては，音源距離の組み合わせパターンが最も多くなる 3 種混合音において，全てのパターンで十分な識別精度が得られる条件の下で，極力枚数を抑えられるように検討した結果，1 クラスの枚数を 400 枚とした．クラス数は
単音 4，2 種混合音が 6(=)，3 種混合音が 4(=)で計 14 クラスである．そのため，データセット全体としてはスペクト
ログラム画像 5,600 枚（400 枚×14 クラス）とそれに対応するラベルから構成した．ここで，本論文ではそのうち 7 割を学習用データ，3 割を評価用データとして検討を行った．

データセットの作成

深層学習の学習モデル（本検討の主旨を考慮して以降，識別モデルと記載）作成に比して，転移学習では必要となるデータ数を大きく減らせるメリットがある．データセット用の

3.
3.1

転移学習による室内音環境の識別識別モデルの作成

スペクトログラム画像の作成手順を図 6 に示す．ここで，デ本研究での識別モデルの作成のための構造を図 7 に示す．

ータセットとは，学習用データと評価用データからなるデー

転移学習として事前学習済みのネットワークに対し，全結合タである．その際，各混合音から学習用のスペクトログラム層と分類層を置き変えて再学習を行った．従来の物体の識別

画像に必要な時間長分ごとに音のデータを取得して個々に画に代えてスペクトログラム画像による模様を識別する．ここ

像化することが理想と考えられる．しかし，この方法では作で全結合層を出力クラス数のデータセットに合わせて変更を業量が膨大になってしまうことから，5 分間連続で取得した

行うとともに，分類層としてネットワークの出力クラスを指音データをスペクトログラム画像に変換した後，学習に必要定した．これにより，従来識別対象として 1,000 クラスの分類

なデータ数を確保するようにスペクトログラム画像の切り出を行うネットワークを，本研究で使用する単音，混合音の種しを行う方法でデータを作成した．今回は，図 6 に示すよう類である 14 クラスの識別問題に対応させた．

360

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 7 識別モデル作成のための構造
Fig. 7 Structure for classification model creation
表 3 各転移学習モデルによる実行結果
Table 3 Results comparison by each transfer learning model
精度

学習時間

AlexNet
VGG1693.90%
93.39%

24時間40分
75時間2分GoogleNet

89.58%

3時間20分denseNet

93.10%

28時間57分

図 8 評価用データに対する識別結果
Fig. 8 Classification results for each evaluation dataset
表 4 混同行列の混合音の略字
Table 4 Abbreviations of mixed sound in confusion matrix

識別モデル作成における実行環境は，OS：Windows10，メ
モリ 24GB，GPU：NVIDIA GeForce GTX 1070 Ti ，GPU メモ
リ 8GB，CPU：Intel(R) Core i7-8700K CPU 3.70GHz である．

単音

学習時のパラメータの epoch 数は 50 から識別モデルを作成し，その数を増加させて最適な値を調べた．バッチサイズ，
学習率も変更し，最終的には十分な精度と学習状況の収束が2種混合音確認できたため，バッチサイズ 20，epoch 数 200，学習率 1e4 に設定した．
ここで，本研究では識別モデルのベースとなる事前学習済

3種混合音モデルの候補として，複数の層からの入出力がある特徴を持混合音の略字

混合音源

air

空調機器

vac

掃除機

dry

ドライヤー

sha

髭剃り

air_dry

空調機器＋ドライヤー

air_vac

空調機器＋掃除機

air_sha

空調機器＋髭剃り

vac_dry

掃除機＋ドライヤー

vac_sha

掃除機＋髭剃り

dry_sha

ドライヤー＋髭剃り

air_vac_dry

空調機器＋掃除機＋ドライヤー

dry_sha_air

空調機器＋髭剃り＋ドライヤー

sha_air_vac

空調機器＋髭剃り＋掃除機

vac_dry_sha

掃除機＋ドライヤー＋髭剃り

つ DAGNetwork と単一の層が連なってできている特徴をもつ
SeriesNetwork が代表的なものと考えられる．今回は前者の例
として「GoogleNet」と「DenseNet」，後者の例として「AlexNet」と「VGG16」を選択した．4 つの転移学習モデルを第 2 章で作成したデータセットを用いて結果の比較を行った．比較結果を表 3 に示す．識別精度では GoogLeNet 以外が 93%台であり，GoogLeNet による結果は 3%程劣る結果となった．明確な理由の解明には至ってはいないが，この事前検証の結果からモデルの学習に要する時間において GoogLeNet が非常に有利であること，精度の評価による手法の可能性の検証という観点ではより厳しい評価になると考え GoogLeNet を使用するこ
ととした．

3.2

ムによる識別が極めて高い精度で可能であることが確認できた．
誤識別が最も多いクラスは「空調機器＋髭剃り＋ドライヤー」であり（識別精度 75.8%（=91/120）），空調機器音が含まれていない「髭剃り＋ドライヤー」に誤識別されている．他に識別精度が 85%程度となった「空調機器＋掃除機＋ドライ
ヤー」（85.8％（=101/120）），「空調機器＋掃除機」（88.3%（=
106/120））等のクラスは，一部では 3 種の混合音が別の 3 種
混合音に誤識別されている場合もあるが，ほとんどが空調機
器音の有無による誤識別であることが確認できる．
図 4 のスペクトログラム画像を確認すると，「空調機器＋髭

音源距離が一致する混合音に対する識別結果

データセット作成時に評価用データとした 1,680 枚（各ク
ラス 120 枚）のスペクトログラム画像による識別結果の混同
行列を図 8 に示す．また単音，混合音の表示名の対応を表 4に示す．全体として 92.4%（=1552/1680）と高い識別精度であり，音源距離が学習時と同じであれば音のデータの取得時間
区間が異なっていても複数の単音，混合音のスペクトログラ

361

剃り＋ドライヤー」
（

1

ライヤー」
（

1 ）をはじめ，空調機器音の混合の有111 ）と「髭剃り＋ド無にかかわらず画像が酷似しているクラスが多くあり，空調機器のように音圧が低い音を含む混合音は誤識別が発生しやすいと考えられる．しかし，全体的に一定の識別精度を確保していると評価できる．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

4.
4.1

ロバスト性の評価

ロバスト性評価用データセットの作成

室内音では，音源の利用場所の変化，すなわち距離変化に
よって，入力される混合音が学習していない音圧となる．そのため，識別モデルを室内音へ適用するには距離変化に伴う音圧の高低変化に対するロバスト性を十分に保持する必要がある．そこで，識別モデルのロバスト性を評価するために学図 9 ロバスト性評価用データ

習に使用していない音源距離での混合音のスペクトログラム

Fig. 9 Data for robustness evaluation

画像の識別を行う．距離変化に対する一定のロバスト性を有していれば，音源距離を細かく設定して大量のデータを学習する必要がなく，一定間隔の距離設定のデータで学習するだ
けでその範囲の識別が十分に可能であるといえる．
評価用に作成したスペクトログラム画像の一例を図 9 に示
す．評価用データは，学習時とは異なる音源距離である={0.75，1.5，3，5}と設定して作成した．

4.2

ロバスト性評価結果

ロバスト性評価用データに対する識別結果の混同行列を図10 に示す．全体の識別率は 90.2％（=1516/1680）であり，図8 で示した学習データセットの音源距離の条件が同一の評価用データでの評価結果とほぼ同等の識別率を維持している．
また，単音の識別結果は 94.8%（=455/480）と非常に高く，混

図 10 ロバスト性評価用データに対する識別結果

合音においても 2 種混合音における識別精度が 88.1%

Fig. 10 Classification results for data of robustness validation（=634/720），
3 種混合音における識別精度は 89.0%（=427/480）

知覚が難しいような小さい音に対する識別の可能性が示せたであり，音源距離が一致している場合と同程度の精度を確保と考えられる．実際に筆者らの聴覚では空調機器音の混合のしていることが確認できた．

有無の判定は困難であった．

全ての単音のクラスに加え，ドライヤーを含む 2 種混合音，

5.

「掃除機＋ドライヤー＋髭剃り」は 90%以上の識別精度が得まとめられている．一方で「空調機器＋掃除機」，「髭剃り＋掃除機」，

本稿では室内に複数の音源が同時に存在する状況において「空調機器＋掃除機＋ドライヤー」，「空調機器＋髭剃り＋ド単音と，各単音が混合された混合音を対象とした音の識別をライヤー」，「空調機器＋髭剃り＋掃除機」は 80%近くまで低行うために，それらの音をスペクトログラム画像に変換し転下している．音源距離が一致している場合と同じく，音源同移学習を適用する識別手法を提案した．

士の組み合わせによる識別精度の低下が確認された．また，複数の音源距離による音の変化を想定して作成した画像デ識別精度が低下しているクラスにおいて，「空調機器＋髭剃り

ータで学習した識別モデルでは学習用データセットから分離＋ドライヤー」が「髭剃り＋ドライヤー」に，「髭剃り＋掃除した評価用データの 14 クラスからなる単音と混合音の画像

機」が「空調機器＋髭剃り＋掃除機」に誤識別されるなど，に対し 92.4%の高い識別精度が確認できたため，識別モデル「空調機器」が誤識別の原因となる場合が多いことも確認での作成時と音源距離が同じ場合の識別精度は十分得られるこきる．なお，混合音の識別ではないが，特徴量として MFCC，とを確認した．

識別器としてニューラルネットワークを用いて 5 種類の各ア

さらに，実環境への適用に向けたロバスト性の検証として，

ラーム音にホワイトノイズを重畳させて識別を行った実験結

識別モデル作成で用いた学習データとは異なる音源距離で作果がある 15）．この実験では，SN 比が 10dB, 0dB の場合で識別成した評価データで識別を行った結果においても，全体の識精度はそれぞれ 88%，
20％であり，
今回の識別モデルは MFCC

別率は 90.2%を確保するロバスト性を有する結果が確認でき，とニューラルネットワークを用いた方法に比べてはるかに高実環境への適用に対する可能性を示した．空調音への検討手

い識別性能を有していると言えると思われる．

法の適用に関して，全てのクラスにおいて最低でも 80%以上

目的の一つとしていた音圧の低い空調機器音の識別に関しの識別精度が得られたことから，ユーザ側からの要求に依存ては，誤識別増加の要因にはなるものの，いずれの場合でもすることにはなるが，提案手法による生活状況の推定や遠隔80%以上の識別精度が確認できた．そのため，人間の聴覚ではからの見守りなどへの適用の可能性は示せたと考えられる．

362

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

本研究では基準とした音は実収録したものの，距離変化にTransfer Learning for Environmental Sound Classification”, International

よる音圧の変化や混合音は PC 内で理想的な状態を仮定してConference on Computer, Control and Robotics, pp.242–245 (2021).

作成した．現実には今回識別対象とした各音や混合音は部屋

14) S. Seki, H. Kameoka, L. Li, T. Toda K. Takeda: “Generalizedの構造，壁面や床面からの反射の影響を受けると考えられる．

Multichannel Variational Autoencoder for Underdetermined Source

実際の室内で各種音のデータを取得し，今回作成した識別モ

Separation”, 27th European Signal Processing Conference (EUSIPCO),

デルの評価や，さらにその環境下で精度を確保する方法の検討が今後の課題となる．

pp.1–5 (2019).
15) Y. Hashizume, T. Kadokura, Y. Kawakita, H.Tanaka: “Study andevaluation of noise reduction method for alarm sound classification”, RISP

参考文献

International Workshop on Nonlinear Circuits, Communications and1) 西 宏之, 金 金, 木村 義政, 柿木 稔男: “音情報を用いたお年寄

Signal Processing, pp.271–274 (2020).

り見守りシステムの検討”, 電子情報通信学会技術研究報告, LOI（2023 年 1 月 10 日 受付）

S2013-53, Vol.113, No.380, pp.81–84 (2014)．

（2023 年 3 月 9 日 再受付）

2) 荒川 正規, 大石 優彦, 撫中 達司: “生活音を用いた行動認識のための特徴量抽出についての一考察”, 情報処理学会研究報告,

佐 野 将太Vol.2019-CDS-24, No.30, pp.1–8 (2019)．

2021 年 神奈川工科大学情報工学科卒業．
2023 年 同大学大学院工学研究科修士課程修了．在学中，転移学習と深層学習を利用した室内音識別に関する研究に従事．現在，株式会社スカイウィルに勤務．

3) K. J. Piczak: “Environmental Sound Classification with Convolutional
Neural Networks”, 25th International Workshop on Machine Learning for
Signal Processing (MLSP), pp.1–6 (2015).
4) 松井 孝典: “研究事例：深層学習技術による環境音識別”, 日本音響学会誌, Vol.74, No.7, pp.407–408 (2018)．
5) J. Salamon, J. Bello: “Deep Convolutional Neural Networks and Data
Augmentation for Environmental Sound Classification”, IEEE Signal
Processing Letters, Vol.24, pp.279–283 (2017).
6) A. Guzhov, F. Raue, J. Hees, A. Dengel: “Esresnet: Environmental Sound
Classification Based on Visual Domain Models”, 25th International
Conference on Pattern Recognition (ICPR), pp.4933–4940 (2020).
7) 高橋 潤, 村瀬 健太郎: “ノイズ環境下における音声認識向上のための DNN プレフィルタリング”, 電子情報通信学会技術研究報告,
SP2017-153, Vol.117, No.517, pp.373–378 (2018)．
8) 吉村 直也, 前川 卓也, 原 隆浩: “行動認識ニューラルネットワー
クによる特徴抽出の可視化と転移学習への応用”, 情報処理学会論文誌, Vol.62, No.5, pp.1307–1316 (2021)．

川 喜 田 佑 介
2000 年 慶応大学環境情報学部卒業．2002
年 同大学院政策・メディア研究科修士課程修了．2008 年 同大学院博士課程修了，博士（政策・メディア）．2008 年 電気通信大学
電気通信学部人間コミュニケーション学科
特任助教，2010 年 同大ユビキタスネット
ワーク研究センター特任助教，2012 年 同大大学院情報理工学研究科総合情報学専攻
助教，改組により同大大学院情報理工学研
究科情報学専攻助教などを経て 2016 年 神奈川工科大学情報学部情報工学科准教授．
現在，RFID を拡張したセンシングシステム
をはじめとする IoT の研究に従事．
電子情報通信学会，情報処理学会，計測自動制御学
会，IEEE 各会員．

宮 崎 剛

た転移学習による楽器の識別”, 電子情報通信学会ソサイエティ大（正会員）
1995 年 名古屋工業大学工学部知能情報シ
ステム学科卒業．同年 日本電気(株)入社．
2000 年 椙山女学園大学文化情報学部助手．
2002 年 神奈川工科大学工学部情報工学科
助手．2016 年より神奈川工科大学情報学部
情報工学科教授．現在に至る．主に，画像情報処理，コンピュータビジョンに関わる研究に従事．博士(工学)．画像電子学会，情報処理学会，電子情報通信学会 各会員．

会講演論文集, A-5-3, p.48 (2020)．

田 中 博

9) K. N. Khan, F. A. Khan, A. Abid, T. Olmez, Z. Dokur, A. Khandakar, M.
E. H. Chowdhury, M. S. Khan: “Deep Learning Based Classification of
Unsegmented Phonocardiogram Spectrograms Leveraging Transfer
Learning”, Physiological Measurement, Vol.42, No.9, 22 pages (2021).
10) 加藤 匠平, 坪井 邦明, 松島 俊明: “スペクトログラム画像を用い

11) 門倉 丈, 渡辺 滉平, 柳谷 吉風, 須藤 康裕, 田中 博: “ニューラルネットワークを用いた室内アラーム音の識別とその報知システ
ムの基本検討”, 電気学会 第 77 回情報システム研究会, IS-19-018,
pp.91–96 (2019).
12) K. W. Gunawan, A. A. Hidayat, T. W. Cenggoro and B. Pardamean: “A
transfer learning strategy for owl sound classification by using image
classification model with audio spectrogram”, International Journal on
Electrical Engineering and Informatics, Vol.13, No.3, pp.546–553 (2021).
13) J. Lu, R. Ma, G. Liu, Z. Qin: “Deep Convolutional Neural Network with363

1983 年 北海道大学工学部精密工学科卒業．
1985 年 同大学大学院工学研究科修士課程修了．1994 年 同大学院博士（工学）．1985
年 日本電信電話（株）入社．1994～1997 年
宇宙開発事業団（現宇宙航空研究開発機構）
出向．2006 年 神奈川工科大学情報工学科教授（現職）．現在，IoT と AI の協調技術・シ
ステムとその検証に関する研究に従事．電子情報通信学会，情報処理学会，ヒューマン
インタフェース学会 各会員，AIAA Senior
Member，第 36 回電波技術協会賞受賞．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

北陸先端科学技術大学院大学・創造社会デザイン領域 謝研究室
謝 浩 然（正会員）
北陸先端科学技術大学院大学

xUI Laboratory, Creative Society Design Area,
Japan Advanced Institute of Science and Technology
Haoran XIE (Member)
Japan Advanced Institute of Science and Technology

1.

はじめに

北陸先端科学技術大学院大学は，1990 年に創立された最初の国立大学院大学であり，世界水準の教育と研究を目指している．場所は石川県能美市旭台にあり，北国の豊かな自然環境に最先端研究環境を提供している（図 1）．教育面
では，トップレベルの研究でしなやかな強さと共創力を備えたグローバルリーダーの育成という未来ビジョンに取り組んでいる．知識科学，情報科学，マテリアルサイエンス，
図 1 北陸先端科学技術大学院大学の四季（本学広報係より）融合科学の学位教育を行い，昨年より研究分野の枠を超え

Fig.1 Four seasons of JAIST (from JAIST PR group)

た 10 研究領域に再編した．
筆者の所属する創造社会デザイン研究領域 1)は，人間と機械の要素を融合し，誰もが創造

アラブルデバイス，人間拡張，ソフトロボティクス等の研的に活躍できる想像社会の実現のため研究教育活動を推進

究分野に幅広く取り組んでいる．過去の研究室学生の出身している．現状では，教授 6 名，准教授・講師 7 名の構成

学部は，デザイン，情報科学，建築学，電子工学，応用物

であり，主にメディア情報学，創造活動支援，メディアイ

理学等に及び，様々なバックグラウンド知識を有している．

ンタラクション等の学際的な研究分野の研究テーマを実施

X=拡張的(Extended). 創造社会 Society 5.0 における人間

している．

2.

と AI が拡張し合うインタフェースである「オーグメンテ

X インタフェース研究室概要

ッドインタフェース」(xUI)の研究を実施している．これま

謝研究室は，2020 年 10 月に新しくできた研究室で，現で専門家しか理解できなかった人工知能やロボット技術等

時点では研究員 1 名，博士前期課程 4 名(M1 と M2 各 2 名)を初心者でも簡単に扱えるようにするヒューマンインタフの構成となる（2023 年 3 月）
．これまでは，同研究領域宮ェースを提案し，利用者が自身の創造力，身体能力や認知田一乘教授の研究室との共同運営をしており，博士前期課

能力を拡張することで，誰でも自分の夢を追求できる社会

程及び博士後期課程の学生は最大 30 名まで在籍していた．

の実現を目指す．

当研究室は，X インタフェース研究室（英語表記は xUI）

X= 未知(Variable). 当研究室は多種多様のユーザインタと名付け，主にユーザインタフェースという研究分野におフェースを研究対象にしている．インタフェースとは，機ける分野融合の研究活動を行う 2)．
「X」には多様な意味が

械と人間，仮想と現実，情報と物質の間の境界面となり，あり当研究室の特徴は次節のように表現される．

人工知能やロボット技術等の発展により，常に進化しているものとなる．これまでは，深層学習技術を用いたスケッ

2.1 研究室の特徴

チインタフェース，拡張現実を利用した活動支援のインタ

X インタフェース研究室の特徴は以下となる．

フェース，ヒューマンインザループ（Human-in-the-Loop）

X=クロス(Cross)．当研究室は分野融合の研究テーマを実の知的インタフェース，人間の身体を拡張するヒューマン施しており，コンピュータグラフィックス，ヒューマンコ

インタフェースの研究プロジェクトを行ってきた．

ンピュータインタラクション，機械学習・深層学習，ウェ

364

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 2 研究室のビジョン
Fig.2 Research vision of xUI Lab

2.2 研究ビジョン
当研究室の長期的研究ビジョンは，新しいインタフェー
スを生み出し，人間とテクノロジーを融合することで，能力を拡張し，誰でも自分の夢を追求できる創造社会の実現に貢献することである．具体的な研究対象を図 2 に示す．
当研究室は，人間のあらゆる能力を拡張することを念頭に置き，創造力の拡張 xDesign，空間技能の拡張 xSpace，

図 3 スケッチインタフェースの研究

人間身体の拡張 xHuman，知的能力の拡張 xIntelli という研Fig.3 Sketch-based use interfaces

究テーマを想定している．また，有形・無形の技術，物理・知能の区別という 2 つの軸で X インタフェースという新たな学問分野を開拓することを目指す．本記事では，当研究また，コンテンツ制作用ソフトウェアでは多くのデザイン

室の最新研究成果の紹介を行い，未来社会に貢献できるイ

ツールを提供しているものの，一般のユーザには敷居の高ンタフェース技術分野を俯瞰する．

いものとなりがちである．当研究室は，二段階学習ネット

3.

ワークを駆使したアニメ髪型の編集インタフェースを開発

研究内容した（Skecth2HairStyle）3)．本提案手法により，使用者が以下では，人間と情報を融合するインタフェース技術を容易に書けるスケッチ入力から，深層学習を利用して実時開発する観点から，スケッチインタフェース（xDesign）と間でアニメキャラの髪型が編集可能になった．また，写実

人間拡張（xHuman）の両側面に関わる研究内容を紹介する．

的な人物画を描くには，大域的な特徴（パーツのバランス）

3.1と局所的な情報（各パーツの形状詳細）を常に意識しなけ

スケッチインタフェースの研究ればならず，専門知識を持たない使用者にとって非常に困

手書きスケッチは，年齢，人種，言語や国境を超えて，難な作業となる．そこで，当グループでは大域特徴と局所

自由な発想で誰でも描くことができる．それは，文字や言特徴のガイダンスを行うことで，使用者が思い描いた人物

葉では全く伝えにくい感情や概念を上手く伝えることがで画の制作を支援するスケッチインタフェースを研究開発しきる．近年，ディープラーニングを代表とする人工知能技

た（DualFace）4)．その結果，敵対的生成ネットワーク（GAN）

術の発展により，人間知能と機械知能を融合させるインタ

を用いることで，使用者が描いた顔パーツの位置関係を基

フェース研究が注目されている．ここでは，当研究室によにパーツの形状詳細を自動生成し，画面に表示することがるこれまでの手書きスケッチ研究を紹介する．特に，深層できた．これらの提案手法を通して，誰でも手軽にコンテ

学習技術を用いたコンテンツ制作支援の提案手法に絞ってンツ制作ができる創造社会の実現を目指す．

紹介する．

スケッチ×モデリング
深層学習ベースの画像処理技術を用いて画像の生成・編

スケッチ×画像生成
初心者にとって高品質のスケッチを描くことは容易では集が盛んに研究されているが，3 次元情報の推測はまだ挑ない．アニメ制作では，長年にわたり描画スキルを磨く必戦的な研究課題である．その中で，法線マップは 3 次元デ要があり，物体形状や色度合い等の絵心は不可欠である．

ザインにおいて重要な役割を果たし，特にデザインの初期

365

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

段階において役立つ．そこで，本研究グループはスケッチ
から法線マップを自動生成することを目指した(Sketch2NormalMap) 5) ．具体的には条件付き生成ネットワーク構造(cGAN)を用いることで，手書きスケッチからの法線マップ生成のネットワーク構造を提案した．提案手法では，入力データとして曲率分布の特徴点を用い，生成される画像の曖昧性を排除し，生成誤差を低減することが可能となった．また，手書きスケッチから 3D モデルが得られる手法を提案した(Sketch2Model) 6)．この手法はスパース点群に着目し，冗長性が高くて明示的な構造がないデータから 3D モデルの構築を目指している．提案手法では，ユーザの認知能力を活用した人間参加型スケッチインタフェースを開発した．ユーザのスケッチを用いて点群データから
3D モデルを作成し，モデルの輪郭線を用いて入力データの
図 4 人間拡張の研究編集ができる．これらの提案手法を通じて，スケッチによるモデリングの効率化・高精度化を目指している．

Fig.4 Human augmentation research projects

スケッチ×シミュレーション
近年，映画やアニメーションなどの CG 映像中に物理シ

3.2

人間拡張の研究

ミュレーションが用いられる例が増えている．その中で，当研究室は人間の身体能力及び知的能力を拡張するイン流体表現は特に複雑で難しい作業である．流体シミュレー

タフェース技術の研究開発も行っている．以下でウェアラ

ションでは従来の物理学分野から格子法と粒子法を参考に

ブルデバイス，
拡張現実等の研究トピックスから紹介する．

し，市販の物理エンジンに多用されている手法よりも高品

人間拡張×ウェアラブル

質な映像を生成することができる．しかし，これらの物理

人間の身体能力を増幅するウェアラブルデバイスの研究

シミュレーションには調整パラメータが多く，
拘束条件（速開発に取り組んできた．本研究グループは，身体拡張と感度場や圧力など）を設定する手間が発生する．すなわち，情拡張を備えた尻尾型デバイス xTail9)，双方向映像投影可

初心者である一般ユーザには使いにくいのが現状である．

能の帽子型投影デバイス EgoSpace10) ，衣服型デバイス

また，
物理シミュレーションの計算には時間がかかるため，

xClothes11)，風船で作れる低コスト簡易型ソフトアクチュエ

パラメータを調整する過程で出力結果をインタラクティブ．これらの研究成ータ BPActutator を開発している（図 4）に確認できないという課題がある．本研究グループは，初果を踏まえて，装着者に優しい収納型ウェアラブルロボッ

心者でも使える流体の設計システムを開発した

トアーム xLimb12)及び改良版の AugLimb13)の研究開発を実（Sketch2Flow）7) ．ユーザは簡単なスケッチを描きながら，施した．xLimb/AugLimb は上腕に装着し，装着者の腕にか

条件付き敵対生成ネットワークを用いて複雑なシミュレー

かる負担を最小限に抑え，装着状態で快適な作業を可能と

ション結果を実時間で確認できるというユーザインタフェする．更に，従来デバイスと異なり，新たにウェアラブル

ースを実現した．とはいえ，この手法は流体詳細の編集がロボットアームの伸縮性と収納性を備えることで，長時間困難であるため，二段階の深層生成モデルを提案し，ラグの快適な使用に耐え，装着者の日常活動にも支障がないとランジュコヒーレント構造を通して実時間の流体編集インいう利点をもつ．これらの研究成果は，日常活動から医療

タフェースを開発した（Sketch2Smoke）8) ．これらの提案

産業まで幅広い応用が期待できる．高齢者や障害者の生活手法を通して，自然現象の複雑なダイナミックス表現を容を支援することで生き生きと人生を楽しめる社会の実現に易に創作できる知能社会の実現を目指す．

貢献できる．

当研究室は，スケッチインタフェースに着目し，コンテ

人間拡張×XR

ンツ制作支援の研究を進めてきた．また，2 次元の画像か
ら 3 次元モデリング，そしてシミュレーションのための制

当研究室のプロジェクションマッピングによるゲーム支作インタフェースを提案してきた．特に，近年敵対的生成

援技術の研究プロジェクトは，宮田研究室の協力を得て取ネットワーク GAN や拡散モデル Stable Diffusion 等の生成り組んできた．特に，手描きスケッチ入力によりユーザの系人工知能技術（ジェネレーティブ AI）が急速に発展して設計意図に沿った活動目標を達成し，人間の作業能力を拡いるため，人間中心のインタフェース技術の研究開発は不張することを目標にした．作業スキルがない初心者でも提可欠となっている．

案システムを利用し楽しく活動を行うことができる（図 5）．

366The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

参考文献
1) 創 造 社 会 デ ザ イ ン 研 究 領 域 , https://www.jaist.ac.jp/areas/csd/(2023).
2) 謝研究室, http://x-interface.com/ (2023).
3) Luo et al.: “Sketch-based Anime Hairstyle Editing with Generative
Inpainting”, NICOGRAPH International 2021, full paper (2022).
4) Huang et al.: “DualFace: Two-Stage Drawing Guidance for Freehand
Portrait Sketching”, Computational Visual Media, Vol 8, pp.63–77(2022).
5) He et al.: “Sketch-based Normal Map Generation with Geometric
図 5 拡張現実技術による能力拡張インタフェース

Sampling”, IWAIT 2021 (2021).

Fig.5 Augmented interfaces with augmented reality6) Du et al.: “Sketch-based 3D Shape Modeling from Sparse Point
Clouds”, IWAIT 2022, full paper (2022).

一連の研究プロジェクトではプロジェクタカメラシステム

7) Hu et al.: “Sketch2VF: Sketch-Based Flow Design with Conditionalを利用し，作業状態をリアルタイムに確認することができ

Generative Adversarial Network”, Computer Animation and Virtual

た．Sketch2Domino はユーザが描いた絵からリアルタイム

Worlds (CAVW),Vol.30, Issue 3-4, pp. 1–11 (2019).

でドミノの配置図を自動生成し，プロジェクションマッピ

8) Xie et al.: “DualSmoke: Sketch-Based Smoke Illustration Design

ングを用いて実際のドミノ作成を支援するシステムを提案

with Two-Stage Generative Model”, Computational Visual Media”

した

14)

．提案システムは簡単な線画入力に対してドミノの(2023).

配置場所を決定するが，色情報等は考慮していない．その

9) Xie et al.: “Augmenting Human With a Tail”, Augmented Human

後，Sketch2Bento でユーザの描いた絵と色情報を入力とし，具材の配置を支援するガイダンスシステムを提案した

International Conference (AH2019), full paper, Paris (2019).

15)．

10) Adachi et al.: “EgoSpace: Augmenting Egocentric Space by Wearable

提案システムでは，空間拡張現実技術を用いて，弁当箱に

Projector”, AHs2020, Demo track, Germany (2020).

ユーザの作業状況に応じた配置ガイダンスをインタラクテ

11) Xie et al.: “xClothes: Augmenting Human Thermoregulation Using

ィブに提示することができた．これまでは簡単な作業の支

Shape Changing Clothes”. Augmented Human 2020, full paper,

援が多かったが，より複雑なプロセスを含む活動にも挑戦

Canada (2020).

してみた．そのため，Sketch2Makizushi という飾り巻き寿司の調理支援システムを提案した

12) Ding et al.: “xLimb: Wearable Robot Arm with Storable and16)．提案システムはスケ

Extendable Mechanisms”, AH2021 (2021).
13) Xie et al.: “Augmenting Human with Compact Supernumerary

ッチ入力による調理に必要な海苔の数やサイズ，酢飯の量

Robotic Limbs”. AH 2022, short paper (2022).

などの指定に加え，具材の配置も提示することで初心者でもうまく調理ができた．これらの研究は実世界インタフェ

14) Peng et al.: “Sketch2Domino: Interactive Chain Reaction Design andースを用いて人間の能力拡張を図ることであるといえる．

Guidance”. NICOGRAPH International 2020, full paper, Tokyo(2020).

4.

まとめ15) Xie et al.: “SketchMeHow: Interactive Projection Guided Task
Instruction with User Sketches”, HCII2021, full, (2021).

謝研究室の歴史はまだ浅いが，「人とテクノロジーを融合する未来を創る」研究ビジョンに取り組み，最新のインタ

16) Funahashi et al.: “Sketch2Makizushi: Interactive Guidance System

フェース技術の研究開発に挑戦し，多種多様な研究テーマ

for Decorative Sushi Rolls with User Sketches”, NICOGRAPHを実施してきた．これまでに共同研究を行って来た多くのInternational 2022, short paper (2022).

先生方や学生の皆様のご支援，ご協力に深く感謝する．ま謝 浩 然

た，今後も国内外の研究機関と共同研究を行い，学生たち（正会員）

2015 年北陸先端科学技術大学院大学博士後期課程修了．博士（知識科学）．2014 年より日本学術振興会特別研究員．2015 年より東京大学大学院情報理工系研究科研究員・特任助教．2018 年より北陸先端科学技術大学院大学
先端科学研究科勤務．助教を経て 2020 年より同講師．コンピュータグラフィックス，ユーザインタフェース及び人間拡張の研究に従事．本学会 企画理事．芸術科学会 理事．情報処理学会，電子情報通信学会，日本バーチャルリアリティ学会，ACM，IEEE 各会員．

と共に世界トップレベルの研究成果を目指していく．2022
年度の卒業生 2 名のうち 1 名が博士後期課程に進学する予定であり，4 月以降は博士後期課程と前期課程の学生数が倍増すると予想される．今後も拡張インタフェース研究分
野の開拓を進め，さらに発展させていきたいと考える．

367

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

オブジェクト指向雑記（その 1）—データ構造とアルゴリズムからモノと感性によるプログラミングへ—
大野 邦夫（フェロー）
株式会社モナビ IT コンサルティング

Various Memories of Object-Oriented Technologies (Part 1): From Algorithms with Data Structures to Programming with Objects and Senses
Kunio OHNO (Fellow)
Monavis IT Consulting Co. Ltd.
用い，沖電気をメーカーとして開発を進めたのに対し，複合

1. はじめに通信研究部は日本電気をメーカーとして NEC のμCOM1600

昨年の 11 月に喜寿を迎えたが，残り少ない人生におけるチを使用する開発を進めていた．両者の調整が難しく，本社技ャレンジとしてフェイスブックに日々の出来事や思い出を投術局とデータ通信本部を巻き込むテリトリー争いに発展した．

稿している．友人の執筆内容との比較を通じて，自分自身を結局，技術局の判断で，NEC のμCOM1600 に軍配が上が相対的に認識するのは興味深い．これまでの情報通信関係のり，私の属する宅内部での開発は取りやめになった．その後，仕事人生を振り返ると，オブジェクト指向技術に興味を持ち，宅内部では現行の通信端末ではなく，10 年後の実用化を想定

それを追求してきた歴史であったと改めて感じる．オブジェ

した高機能なインテリジェント端末の研究企画を担当するこクト指向というのは現在では当たり前であるが，1980 年代初とになった．この端末は，ロボット秘書端末と呼称され，当頭に，当時の主流であった手続き型プログラミングに代わり時発展が見込まれていた高級言語マシンを CPU とし，進展し開発効率の向上と使いやすさを旗印に提唱された概念でつつあったエキスパートシステム技術としてアドレス帳，スSmalltalk がその先鞭を切ったといえる．偶々私のフェイスブ

ケジュール管理，文書作成編集，文書管理，文書通信をコア

ック投稿を目にされた小野編集顧問から，スキャニング欄にとする秘書機能を実現するという研究企画であった．

オブジェクト指向技術に関して寄稿することを勧められた．
そこで，自分が興味を抱いたオブジェクト技術に関する仕事

3. Smalltalk のウインドウシステム

人生を語るのも，若いプログラマ諸兄の役に立つかもしれな

ロボット秘書の発想の発端は，Smalltalk にあった．バイト

いと思い，「オブジェクト指向雑記」というタイトルで，計 3マガジンの 1981 年 8 月号が Smalltalk 特集で，その技術に興回の連載記事を執筆させていただくことにした．なお，次回，味を抱いたのだが，将来の通信端末は秘書機能以前に優れた次々回の内容は，「分散オブジェクトと複合文書」，「分析・ユーザインタフェースを具備することも基本的要件と考えた設計と意味概念」というサブタイトルにしたいと考えている．

のである. さらに翌 9 月号にはゼロックス PARC で開発された ALTO パーソナルコンピュータの記事 1） が掲載され，高2. ロボット秘書端末の研究企画

級言語マシンの可能性を認識した.

私は機械工学専攻の修士として電電公社の電気通信研究所

8 月号ではオブジェクト指向の解説記事 2）を辞書と首っ引に 1970 年に就職した．入社当初は交換機部品のスイッチや継きで読んでみたが，全く歯が立たなかった. かろうじて理解

電器関係の仕事を担当したが，1980 年代から通信端末の仕事できたのは，ラリー・テスラーの Smaltalk 環境の記事 3）であをするようになった．当時パーソナルコンピュータが商品化った（図 1）．ウインドウシステムのメリットは，モードレス

され，アップル II，コモドール PET といった米国の 8bit パソ

であることを説く示唆的な内容で，考えさせられた. この記

コンが発売され，それに対抗して国産の NEC PC8000 が売り事によりウインドウシステムの本質を理解することができた

出されていた．他方，マイクロプロセッサの 16bit 化が進展し，と思う.このように Smalltalk はオブジェクト指向言語としてNTT の通信端末は 16bit のチップを使用する方針で開発方針単独に出現したわけではなく，GUI や実行環境もセットにしが立てられていた．

たシステムとして登場したのである．同時に図 1 の最初の頁

ところが，通信端末の開発が複数の部署で企画され，混乱が生じた．私が所属する宅内機器研究部はインテルの 8086 を

368の「DON'T MODE ME IN」と書かれた T シャツの写真が印象的で卓越したレトリックを感じされられた.

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 2 N88 Basic による疑似 Window システム

図 1 バイトマガジンにおけるラリー・テスラーの記事
その後，Smalltalk 言語のバイブルともいうべきブルーブック 4）を入手し，関係者で輪講した. その結果，データと手続きを一体化した概念がオブジェクトであり,型としてのクラ

図 3 Five-key マウスの外観

スとその具体的なオブジェクトとしてのインスタンスが存在
し，インスタンスのデータとしてインスタンス変数，手続き

ユーザインタフェースの標準環境を試作していた. その発想としてメソッドがあることを理解した．

は，自動車の運転は世界中のどこでも一定の訓練を経て可能

さらにその後，ウインドウシステムによる GUI を解説した
オレンジブック 5）を入手して輪講したが，実際に使ってみなければ実態が分からないので，次年度に SIP と呼ばれていたであるが，コンピュータはそうではないことから自動車の運転のような GUI を模索していたのであった．
当時ロボット秘書検討グループでは，マウスとウインドウ
システムによるモードレス操作に興味を持ち，人間の 5 本のゼロックスの高級言語マシンを購入する方針を立てた．
Smalltalk の仕様はともかくとして，自分なりにウインドウ

指に対応するボタンで日本語入力を支援する方式などを検討

システムを理解したいと思い，16 ビットパソコンとして普及していた．ニーバゲルト教授から，ユーザインタフェース標

しつつあった NEC の PC9800 の N88BASIC で疑似ウインドウ

準化の一環として人間の 5 本の指に標準的な操作コマンドをシステムを作成してみた．最初にグラフィックモードで試み割付けてユーザインタフェースを試みることが提案されたのたが，描画速度が遅く使い物にならなかった．そこで，キャで，実際にマウスを試作して評価することにした 6）．作成さラクタモードによる簡略版を作成したところ，何とか使えるれたマウスを図 3 に示す．この Five-key マウスは，RS232C イシステムが出来た（図 2）．この試みで，ウインドウシステム

ンタフェースで作成され，PC9800 上に作成した N88BASIC 上の原理を理解することができた．

の疑似ウインドウシステムに実装して 2 つボタンレベルとしての操作を確認すると共にそのコンセプトを電子通信学会誌

4. Five -key マウスの作成に紹介した 7）．

1982 年に，スイス連邦工科大学のユルグ・ニーバゲルト教
授が NTT 横須賀通研に滞在し，私共のロボット秘書検討グル

5. LISP マシン Symbolics3600

ープと議論する機会を得た. 当時スイス連邦工科大学では，ロボット秘書システムに基づく研究開発環境の高級言語マ

Lilith という Modula2 言語による高級言語マシンを開発し，シンとして，先に述べたとおり Smalltalk マシンのゼロックス

369

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）に文化を持つものであるが，Zetalisp には MIT の地下にある
売店のアイスクリームの文化が感じられる．Smalltalk によってオブジェクト指向に関し，その概念を一応把握していたが，
LISP マシンマニュアル 9）を学んで，多重継承のオブジェクト指向を知り，さらにその認識を新たにした．
既に述べたようにフレーバは，Smalltalk のクラスに相当す
るが，それが構造体の延長として定義されることも説明されていた．Smalltalk においては天啓の如くクラスが登場し，そのインスタンスにメッセージを送ることがプログラムであるという発想で，既存の Fortran，Basic，Pascal 等のプログラミ
ング言語の概念との差異が不可解であったが，フレーバと構造体の関係を通じてそのミッシング・リンクを解消すること

図 4 Five-key マウスを接続した Symbolics3600ができた．
の SIP を検討していたが，ICOT の第五世代コンピュータが話

Smalltalk に関しては，ブルーブック 4），オレンジブック 5）

題になり，Prolog による推論と Lisp によるエキスパートシス

を通じてそのプログラミング手法を学んでいたので，そのアテムに世の中の注目が集まる情況となった．

ナロジーでフレーバプログラミングに挑戦した．材料は Basic

このような動きを受けて，ロボット秘書端末の環境は言語で PC9800 上に構築していた接点消耗予測システムであSmalltalk の高級言語マシンで良いのかという議論になり，エった．接点，電源，負荷，配線ケーブル，火花消去器などの回

キスパートシステムについて学習すると共に，ウィンストン

路素子をフレーバで定義し，インスタンスとして生成するとの Lisp の教科書 8）も学んだ結果，ロボット秘書端末の環境にきにそのパラメータ値を代入する．誘導負荷回路，抵抗負荷

ついては，エキスパートシステムを実装する方針とし，日本

回路，ケーブル負荷回路などに応じて回路方程式をメソッドでの発売がアナウンスされた Symbolics の LISP マシンに切りで定義し，火花消去器を付加する回路はその下位フレーバと替えることとした．

して定義する．そのような手法を用いて，Basic 言語で記述し1983 年の夏に Symbolics3600 という MIT で開発された最先たプログラムを，Zetalisp に書き換えた．

端の LISP マシンを入手でき，マニュアルを参照しながら学び

さらに Symbolics3600 に Five-key マウスを接続し，ニーバ始めた．まずウィンストンの Lisp の教科書 8）を復習し，次にゲルト教授が提案した標準コマンドをテキストエディタに実

本来はオブジェクト指向ではなかった Lisp 言語にオブジェク

装して操作性の評価を試みた 10）．Zetalisp 環境では，マウス

トプログラミング機能を付与したフレーバ(Flavor)についてのインタフェースを RS232C に切り替えたり，Zmacs（Zetalisp

LISP マシンマニュアル 9）により学習した．Smalltalk のクラス

上の Emacs）のコマンドをマウスのボタン操作に対応付けたは単純継承で一つのクラスしか継承できずプログラミングのりするのは容易であった．図 4 に Five-key マウスを接続した

自由度が限られる．一方，フレーバは Smalltalk のクラスに相Symbolics3600 を示す．

当するものの，複数のクラスを継承しサブクラスを定義する
多重継承が可能であり，オブジェクト指向に新たな展開をも

7. 接点消耗予測システム
フレーバを用いて開発したシステムは，接点消耗予測シス

たらすものであった．

テムという一種のエキスパートシステムであった．NTT に入

6. フレーバによるプログラミング

社して最初の 10 年間は，クロスバ交換機で用いられるワイヤ

Symbolics がサポートする Lisp 方言は Zetalisp と呼ばれ，先スプリング継電器接点の消耗量や，封入リードスイッチの接に述べた通りクラス機能をフレーバと呼んだ．フレーバとい点移転量の予測を担当していた．接点放電による接点金属のう名称は，Lisp ハッカーたちが MIT の地下の売店でアイスク

消耗や放電移転は，放電エネルギーの算出を行うことによりリームを買うときに，バニラアイスクリームに種々の香料

予測することが可能である．そこで回路の負荷条件，ケーブ（Flavor）をミックスさせて自分の味にする習慣があり，そのル条件，火花消去器，接点の開閉速度，接点の雰囲気条件，エピソードに由来するらしい．何も継承しない原始的なフレ接点の表面情況などを要因として，動作当たりの放電エネル

ーバは，バニラと呼ばれ，複数のクラスを継承し，自らインギーを算出し，接点金属厚さや体積に基づき動作寿命を予測

スタンス変数を定義しないフレーバは，ミクシン（mix-in）と可能とした．なお，放電現象は，高速のシンクロスコープや，呼ばれる．このように多重継承の概念を分かりやすくイメー

当時開発されつつあった高速 AD 変換装置をミニコンに接続ジさせるための比喩としてクラス概念にフレーバという名称

して放電波形を観測して，算出される放電エネルギーの妥当を付与したことは知的なユーモアが感じさせる．言語は背後性を確認していた 11）．

370

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

図 5 NTT-IT が販売した ELIS8150 と ELIS8130

図 6 Van der Pol 方程式の位相面図（μ=1.0）

放電エネルギーの算出は，回路方程式を解くことにより得とを伝え，ロボット秘書端末のプラットフォームとしては絶られるが，最初は FORTRAN を用いており，ミニコンを使う

好の機会であると進言した．

ようになってからは BASIC 言語で行った．その後ミニコンのその後，1984 年末に基礎研究部のキーパーソンと宅内機器

BASIC のプログラムを PC9800 上に移植し，手作りの疑似ウ

研究部のメンバーで ELIS の開発プロジェクトが組織され，私

インドウシステムにより，使い勝手を改善した．BASIC によもそのメンバーに加わった．ハードウエアの開発は，日比野

る接点消耗予測システムを Symbolics3600 の Zetalisp に移植しさんと沖電気の研究所での LSI 開発の担当となり，宅内機器たのである．

研究部メンバーは，TAO とその GUI，日本語化の開発を担当

最初にデータを変数の値として移植し，計算手法に関してした．ELIS の外観を図 5 に示す．

は，Lisp の関数を用いて計算させ，結果の妥当性を確認した.

TAO は，道教の「道可道非常道（道の道とす可きは常の道

その後様々な回路条件や放電形式をカテゴリ分けしてフレーに非ず）」における道に由来する．無から有を生じさせる道

バを定義し，計算手法に関しては各々のフレーバにおけるメ教の思想が，Lisp のリスト処理に通じることから竹内郁雄さ

ソッドとして定義した．BASIC で記述した時に比べると，モんが命名したのであった．Zetalisp におけるフレーバと同様に，ノを単位にオブジェクトとして定義できるので，モジュール

Lisper らしい命名である．TAO の Lisp 部分とオブジェクト部化を推進すると共に，物理的，経験的な直感を働かせてプロ

分は，Symbolics のフレーバを包含する Zetalisp とほぼ同様で

グラム開発することが可能になり，オブジェクト指向プログ

ある．Zetalisp との相違は，TAO が Prolog 機能を包含するこ

ラミングのメリットを認識することができた．

とであった．クラス配下のインスタンス変数を論理変数とし，その後，エキスパートシステム的な構成とするべく，回路それを用いる論理メソッドを定義可能とした．技術的には高条件，接点放電特性，放電現象の分類にプロダクションルー

機能な仕様を実現したが，人間の思考がその言語仕様に追いルによる後ろ向き推論を用いる形式に変更し，接点消耗予測

つけなかった．Zetalisp には，グローバル変数，スペシャル変

エキスパートシステムとして完成させた 12）．

数，インスタンス変数，ローカル変数が存在したが，TAO は，それに論理インスタンス変数を追加した．だが，Lisp，Smalltalk，

8. ELIS 上の TAO

Prolog の言語仕様をマスターし，多様な変数の使い分けを習Symbolics3600 で，プログラミングスキルを磨いていた最中に，武蔵野通研基礎研究部の日比野靖氏と竹内郁雄氏が，独自アーキテクチャの LISP マシン ELIS と，その上で動作する

得するのはプログラマにとって超難関であった．

9. 非線形振動シミュレーションモデル

Lisp 方言の TAO を完成させ，それが Symbolics を遥に上回る

ELIS の営業を担当していた際に，ある大学から Smalltalk で性能を発揮した．その直後に当時の上司であった宅内機器研開発した振動現象のシミュレーションシステムを TAO に移究部長の松田亮一さんから，Symbolics を使っていた私に，植できないかという問い合わせがあった．接点消耗予測シス

ELIS の商品化を宅内機器研究部で担当可能かどうかの相談

テムで，磁気飽和特性を有する継電器巻線を負荷とし，負性があった．優れた教科書 8）のお陰で，Lisp 言語の習得は一年

抵抗の接点アークを非線形モデルで解析していたので，余りで十分に可能であったことから，宅内機器研究部の若手

Smalltalk による非線形振動モデルを ELIS のウインドウシス

を訓練すれば，Lisp プログラマとしての育成は可能であるこテムに移植するのは容易であり，そのプログラムを提供する

371

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

会誌，Vol.67，No.4 (1984.4).

ことにより ELIS を販売することができた．
そのシステムをリファインし，ファン・デル・ポール方程8）

P.H.ウィンストン（白井訳），LISP，培風館（1982）．

式，レイリー方程式，摩擦振動方程式などを例にしてデモシ

9）Daniel Weinreb，David Moon:“Lisp Machine Manual - 4th

ステム 13）として展示したところ（図 6），非線形振動や非線

Edition”，MIT Artificial Intelligence Laboratory (1981.7).

形制御に関心を持つ人から興味を持たれ，このような位相平10） 大野邦夫,杉山広幸：“ユニバーサルコマンドを有する面や位相空間におけるシミュレーション 14)にオブジェクト指

マウスの研究（その 2）”，電子通信学会技術報告，

向プログラミングは効果的であることを実感した．

IE85-74（1985.9）．
11） Kunio Ohno, Gen Suzuki, Shunkichi Tada: “A Study of

10. モノと感性によるプログラミング

Contact Transfer Using an On-Line Computer”, Proc. of

以上，Smalltalk から Zetalisp を経て TAO に至るオブジェク
ト指向プログラミングの経緯を紹介したが，それ以前のHolm Conference on Electrical Contacts, pp.183–189(1977).

Fortran や BASIC による手続き型プログラミングと比べると，

12） Kunio Ohno;“An Expert System for Predicting the Relay

オブジェクト指向プログラミングは感覚的に分かりやすかっContact Arc Erosion”, Proc. of International Conference onたといえる．それは電子回路のように要素部品が互いに関係

Electrical Contact Phenomena in Nagoya ， pp.483–490

を持って回路を構成し，システムを構成するような場合に最(1986).

も適合する．個々の部品のモノとしての属性と値をオブジェ

13） 大野邦夫：“オブジェクト指向による非線形振動のモクトとして定義し，属性間の関係をメソッドとして記述する．

デル化”，電子情報通信学会論文誌 D-II，Vol.J77-D-

手続き型言語のように，アルゴリズムとしての手続きを決め

II，No.9 (1994.9).

て，それにデータの値を当てはめるより，頭の整理が容易である．現実に存在する対象としてのモノをクラス定義し，一14） J.E.Gibson（堀井武夫訳），非線形自動制御，コロナ社（1968）．

連のモノで構成されるサブシステムを多重継承によるサブク

15） P.H.ウィンストン編，白井・杉原訳，コンピュータビ

ラスとして定義し，モノやサブシステムの関係をメソッド定

ジョンの心理，産業図書，pp.237–332（1979）．

義することにより，大規模なシステムでも複雑に考えることなく単純に感覚的にプログラミング可能なのである．
私は接点消耗予測システムを BASIC 言語から Zetalisp に移行させるときにその威力を感じ，それ以降はオブジェクト指
向プログラミングがプログラム作成の基本になった．さらに
属性と値のペアをクラスとして定義し，それを継承させるオ
ブジェクト指向プログラミングのメカニズムが，ミンスキーのフレーム 15）による人間の知識のモデル化に対応することに強い興味と可能性を感じたのであったが，その詳細は次回以降に紹介する．

参考文献
1）

T.A.Wadlow: “The Xerox Alto Computer”，Byte，Vol.6，
No.9，pp.58–68 (1981.9).

2）

D. Robson: “Object-Oriented Software System”，Byte，

3）

Larry Tesler:“Smalltalk Enviroment”，Byte，Vol.6，No.8，

Vol.6，No.8，pp.36–48 (1981.8).
pp.90–146 (1981.8).
4）Adel Goldberg ， David Robson: “ Smalltalk-80 : The

5）

Adel

Language and its Implementation”，Addison Wesley (1983)．
Goldberg: “ Smalltalk-80:

The

Interactive

Programming Environment”，Addison Wesley (1984).
6）

Kunio Ohno, Ken-ichi Fukaya, Jurg Nievergelt:“A Fivekey Mouse with Built-in Dialog Control”，IEEE SIGCHI
Bulletin，Vol.17，No.1 (1985.7).

7）

大野邦夫:“情報の入出力方法と操作性”，電子通信学372

大野 邦夫 （フェロー）
1970 年 NTT 入社. 以後交換機部品，通信端末，リスプマシン，エキスパートシ
ステムの開発に従事. その後は新規事業開発を担当．1995 年に INS エンジニアリ
ングに転籍後ドコモ・システムズ，ジャストシステムを経て，2007 年に職業能力開発総合大学校教授. 2011 年退職後は（株）安土取締役. 2015 年に（株）モナ
ビ IT コンサルティング執行役員研究部
門長. 博士（工学）．デジタルミュージア
ム・人文学研究会副委員長．

The Journal of the Institute of Image Electronics Engineers of Japan Vol.52 No.2 （2023）

はじめてのパターン認識
ディープラーニング編
著者：平井

有三

発行：森北出版株式会社
判型：A5

発行年月日：2022 年 12 月 16 日

ページ数：266 ページ

ISBN：978-4-627850-71-2

定価：3,600 円（税抜）

本書は，パターン認識に軸足をおいて長年研究をされてきた平井有三先生（筑波大学名誉教授）が，その分野の現状を教科書としてまとめ上げたもので，比較的最近の動きであるパターン認識とディープラーニングとの融合を力点にサーベイされてきた集大成であると認識できる．もともと，パターン認識においては，特徴抽出器と学習可能な識別器との構成により研究が進められてきていたが，学習可能な識別器の構成においては高々1 層の隠れ層によるニューラルネットワー
ク（パーセプトロン）やサポートベクターマシン（SVM）によるところが精々であった．ところが，2012 年に Hinton らの論文でディープラーニングの応用可能性が見出され，急速にディープラーニングとしての進化を遂げるようになった．
平井先生の前著「はじめてのパターン認識」は 2012 年 7 月に発行されており，その後約 10 年の研究成果をたどりながら，多数の隠れ層で構成されたディープニューラルネットワークが可能になったという変遷の理由を明らかにし，その理解を深めさせしめるのが本書なのである．
本書では手書き文字の認識を例題にしてその結果について概説されているため，パターン認識と言っても特に認識率の向上においてさらに期待されるテーマに着目されているように感じられる．その変遷は第 1 章のディープラーニング，第2 章から第 3 章にかけてのパターン認識に必要である数学的な知識を基に概説されていて，ここでは理工学系の数学的な素養を前提としてディープラーニングを導入するための準備をしていると考えてよいだろう．
第 4 章でディープラーニングの最適化の解説がなされ，各種パラメータの同定に関わる詳細な議論が第 5 章から第 7 章
にかけて順を追って示されている．もちろん，ディープラーニングにおいては CNN（セルラーニューラルネットワーク）が基本的なベースでもあろうが，その応用例は第 8 章で示されている．第 9 章以降は応用として，VAE，GAN，RNN が順に記述され，
そこで問題とされてきた学習困難を解決する Self-Attention と Transformer に関わる議論を 12 章に示すことで，
ディープラーニングのパターン認識への応用，いや，パターン認識の性能向上のためにディープラーニングを如何にして組み込んでゆくかの道筋を示している．人工知能やパターン認識をこれから導入したいという読者向けに，多くの文献を探しまわらなくても，概略をしっかり理解するのに十分な内容となっているといえる．
本書の構成の一覧を次に示す．
1 章:
2 章:
3 章:
4 章:

はじめに
復習・誤差逆伝搬法
自動微分
ディープラーニングの最適
化技法

5 章:
6 章:
7 章:
8 章:

活性化関数
パラメータの初期化と正則化
ディープ化の技法
CNN

9 章: VAE
10 章: GAN
11 章: RNN
12 章: Self-Attention と Transformer

前述したように，本書を読みこなすには，理工学系学部で講述されるレベルの数学的知識（微分積分や線形代数など）が必要であり，その知識なしに，自ら実践や追試を行うことは難しいであろう．しかしながら，このようにコンパクトにまとめられた専門書の存在は，たとえば理工学系における卒業研究や修士課程において，文献調査を行う前の知識習得にも非常に有効なものであると考えられる．つまり，パターン認識の基礎から最近のトレンドである AI 応用へのつながりまでを幅広く理解するのに恰好の図書であり，是非，座右に置いて参考として頂きたい本の一冊と考える．
（編集委員

373

田中賢一 記）理事会だより
第 332 回理事会

１．⽇時：2022 年 12 ⽉ 16 ⽇(⾦)18:30-20:20
２．場所：会場（オフィス東京）およびオンライン(ZOOM)で併催
３．出席者：理事 20 名
総出席者 28 名
【会⻑】

⼩林

【副会⻑】

斎藤、⾼村、内⽥

【編集】

池⽥、吉川

【企画】

⾼⽥、藤澤、井ノ上、謝【財務】

辻、中村、⽥中【総務】

志⽔【技術専⾨】坂東、⻑⾕川、前川、丸⼭ 【地⽅】
【監事】

甲斐、横⼭

寺⽥

＜IEVC2023＞ ⽵島＜年次⼤会・IEVC2023＞ ⾦⽥＜ドローン研究会＞⻑⾕川
＜オブザーバ＞ ⼩野元会⻑、松本元会⻑、⽥中前会⻑、＜事務局＞ 浮ケ⾕事務局⻑
４．議題・資料担当(1)前回議事録確認付番＜齋藤副会⻑＞

議題

担当(2)議題 1: AIS2023 の準備状況について(素案)(3)議題 2:ドローン教室開設について＜⻑⾕川技術専⾨理事＞＜ドローン研究会 ⻑⾕川委員⻑＞(4)議題 3:次年度年次⼤会の進捗について(5)議題 4: IEVC2024 について

＜⼩林会⻑・⽥中前会⻑＞＜⽵島実⾏委員⻑＞

⾴

332-001-01 1
付番⾴

332-002-01

8

資料無

-

332-003-01

9332-004-01 12

報告事項(6) 報告１：編集委員会報告＜内⽥副会⻑＞

332-005-01 13(7) 報告２：企画委員会報告＜⾼⽥企画委員⻑＞

332-006-01 15・2022 年年間予定表 ・第 303 回研究会 in 広島 募集案内
(8) 報告３：セミナー委員会報告＜平⼭セミナー委員⻑＞

332-007-01 19＜事務局＞

332-008-01 22

募集依頼 ＜事務局＞

332-009-01 23＜事務局＞

332-010-01 30

・第 4 回 DMH 研究会開催案内(9) 報告 4：改選理事・監事の推薦依頼(10) 報告 5：フェロー、ベイン賞、技術賞(11) 報告 6：理事会開催年間予定
５．議事 (司会：齋藤副会⻑, 議事録：志⽔総務理事)374

2023年度画像電子学会研究会等予定
研究会等名

開催日

場所

第305回研究会

6月3日（土）～4日（日）

東京都市大学世田谷キャンパ 画像一般ス

第51回年次大会Media
Computing Conference 2023

締切

記事

締切済み

共催

メタバースの最前線 申込締切：6/21（水）～気鋭の講師陣による最新技術・活用事
例・将来展望の徹底解説～
7月13日（木）～14日 京都国際交流会館(ハイブリッ 3次元画像処理全般 締切済み
（金）
ド開催）

Advanced Image Seminar 2023 6月23日（金）3次元画像ｺﾝﾌｧﾚﾝｽ2023

テーマ

オンライン開催

8月28日（月）-31日（木）

自然・文化を守り、未 Conference Track：
来に繋ぐための画像 発表申込（要旨提出）期限：6/19（月）
大会予稿集用原稿提出期限：7/26
技術（水）

富山県民会館

Journal Track：
学会誌用原稿提出期限：5/29（月）発表申込（要旨提出）期限：6/19（月）
大会予稿集用原稿提出期限：7/26（水）

Visual Computing2023

9月下旬予定首都圏開催（予定）

第306回研究会-高臨場感ディ 11月予定
スプレイフォーラム

未定

第3回ドローンセミナー

未定

未定

共催

第6回デジタルミュージアム・人 開催予定
文学（DMH）研究会

未定

画像関連学会連合会第9回秋 開催予定
季大会

未定

VCワークショップ2023

開催予定

未定

IEVC2024

3月11日（月）～14日 台湾 台南 成功大学（木）

第307回研究会

2～3月予定地方開催予定第308回研究会-映像表現・芸 3月予定
術科学フォーラム

未定

第52回VMA研究会/第18回 視 開催予定
覚・聴覚支援システム研究会

未定

第7回デジタルミュージアム・人 開催予定
文学（DMH）研究会

未定*研究会の場合，いずれも「画像一般」を含む*空欄部は未定

画像一般
共催*上記の予定は変更になる場合があります

問合わせ先 〒116-0002 東京都荒川区荒川3-35-4-101
一般社団法人 画像電子学会
TEL：03-5615-2893 FAX：03-5615-2894
E-mail：kikaku@iieej.org
http://www.iieej.org/
http://www.facebook.com/IIEEJ

375

Call for Papers
The 8th IIEEJ International Conference on
Image Electronics and Visual Computing 2024
(IEVC2024)
National Cheng Kung University, Tainan City, Taiwan / Mar. 11‐14, 2024
https://www.iieej.org/en/ievc2024/

Purpose:The International Conference on Image Electronics and Visual Computing 2024 (IEVC2024) is scheduled in Tainan
City, Taiwan, on March 11‐14, 2024, as the 8th international academic event of Image Electronics Engineers ofJapan (IIEEJ). Past IEVC conferences were held in Cairns, Australia (2007); Nice, France (2010); Kuching, Malaysia(2012); Koh Samui, Thailand (2014); Danang, Vietnam (2017); Bali, Indonesia (2019); and online (2021). The
conference aims to bring together researchers, engineers, developers, and students from various fields inacademia and industry to discuss the latest research, standards, developments, implementations, and application
systems in all image electronics and visual computing areas.

Topics:
The conference will cover a broad set of research topics including, but not limited to, the following: 3D image processing
 Modeling Bioinformatics and authentication
 Non‐photorealistic rendering Computer vision
 Rendering Data hiding
 Visual computing
 Image analysis and recognition
 Visualization
 Image and video coding Architectural industry mondiale Image and video retrieval Artificial intelligence and deep learning Image assessment
 Big data and cloud computing
 Image restoration
 Content delivery network
 Mobile image communication
 Digital museum, digital archiving
 Motion analysis
 Generative AI
 Object detection
 Hardware and software implementation
 Printing and display technologies
 Interaction
 Segmentation and classification
 International standards
 Smart display
 Security and privacy
 Versatile media appliance Social secured cybertechnology
 Animation
 Unmanned Aerial Vehicle
 Content production
 Visual and hearing impaired support
 Extended Reality
 Visual communication
 Metaverse

376

Paper submission:
The official language is English and authors should submit their papers as PDF through the online submission
system, which will be available around Jun. 2023 at the following IEVC2024 official website:
https://www.iieej.org/en/ievc2024/ .
The paper submission guide and IEVC formats (TeX format/MS Word format) will be also provided at this site. The
organizing committee particularly encourages graduate students to present their works in the special sessions thatare now planned by the committee of the conference.

General Papers:
The general papers category is divided into two types: Journal track and Conference track.

Journal Track:
Journal track aims to publish the papers on the journal in addition to the publishing in the conference, with aquick review process. This type of papers will appear in a special issue on “Journal Track Papers in
IEVC2024“ in the IIEEJ Transactions on Image Electronics and Visual Computing, Vol. 12, No. 2 (June, 2024), if
accepted through journal review process. The authors have to prepare two types of papers different in theamount, the paper for the conference and the paper for the journal. The latter one is the extended version of
the former one. Note that paper for the journal should follow the “guidance for paper submission”
available from the web‐site of IIEEJ, to be finally published in the IIEEJ Transactions.
Important Dates‐ Pre‐Entry Submission (title, authors, 100 words abstract):
Sep. 15, Friday, 2023
‐ Paper Submission (2‐4 pages for the conference)
Sep. 29, Friday, 2023
Oct. 27, Friday, 2023
‐ Paper Submission (8 pages for the journal):‐ Notification of Conference Acceptance:
Nov. 17, Friday, 2023
‐ Camera‐Ready Paper (2‐4 pages for the conference):
Dec. 15, Friday, 2023

Conference Track:
Conference track aims to present the papers about recent results and preliminary work at IEVC2024. The
authors are required to submit a paper of which length is 2‐4 pages. Accepted papers will be published in
online proceedings of IEVC2024 (indexed by J‐stage) and in the USB proceedings. Rejected papers in theconference track can be resubmitted as late breaking papers according to the authors’ requests in advance.
Important Dates‐ Pre‐Entry Submission (title, authors, 100 words abstract):
Sep. 15, Friday, 2023
‐ Paper Submission (2‐4 pages):
Sep. 29, Friday, 2023
‐ Notification of Acceptance:
Nov. 17, Friday, 2023
Dec. 15, Friday, 2023
‐ Camera‐Ready Paper (2‐4 pages):

Late Breaking Papers:
All suitably submitted papers for this category will be accepted for the conference. The authors are required
to submit an abstract of which length is 1‐2 pages, and select one from the following two types: 1) Technicalpapers or 2) Art/Demo papers. All the registered papers as late breaking papers will be published only in theUSB proceedings of IEVC2024.
Important Dates‐ Pre‐Entry Submission (title, authors):
Nov. 17, Friday, 2023
‐ Abstract Submission (1‐2 pages):
Nov. 24, Friday, 2023
‐ Notification of Acceptance:
Dec. 8, Friday, 2023
‐ Camera‐Ready Paper (1‐2 pages):
Dec. 15, Friday, 2023

Further information:
After the conference, the Trans. on IEVC of IIEEJ is planning a forthcoming special issue on “Extended Papers
Presented in IEVC2024”, which will be published in December 2024. More detailed information will be notified on
the IEVC2024 web‐site and the Journal of IIEEJ.

377

2nd Call for Papers

2023 年度 第 51 回 画像電子学会 年次大会
Media Computing Conference 2023
富山県富山市https://www.iieej.org/annualconf/2023nenji-top/2023 年度 画像電子学会 年次大会（Media Computing
Conference 2023）を，2023 年 8 月 28 日～30 日に，
富山県 富山市 富山県民会館にて開催いたします．
開催地富山市は東京から北陸新幹線で約 2 時間半と交通の便も良く，四季折々の美しい自然，歴史と文化，新鮮な海の幸など多彩な魅力があります．会員の皆様，奮ってご参加ください．
1. 開催日程・場所
開催日程： 2023 年 8 月 28 日（月）～8 月 30 日（水）場所： 富山県民会館（富山市新総曲輪 4-18）
富山駅から徒歩約 15 分
【現地での発表を基本とし，現地参加できない方がオンライン参加できるようにハイブリッド環境を準備します】

富山県民会館

2. 講演募集形態
Conference Track と Journal Track の二形態で募集します．
会場に隣接する隣接する富山城跡公園
発表形式はオーラル発表とポスター発表（現地のみ）とします．
オーラル発表・ポスター発表の区分は，発表者の希望を考慮した上でプログラム委員会が決定します．
Conference Track： 従来の年次大会の講演募集と同様で，「一般セッション」「学生セッション」「企画セッション」で募集します．
 一般セッション： 画像電子学会の会員が一堂に会し，画像電子工学全般に関する研究の発表と意見の交換を行うことを目的とします．学生会員の発表も歓迎します．
 学生セッション： 画像電子工学に関する研究を行っている学生が一堂に会し，研究の発表と意見の交換を行うことを目的とします．課題提案を含め，卒論，修論などで検討された内容も歓迎します．
様々な知見を持った専門家との議論によって研究を発展させる良い機会ととらえて積極的な応募をお願いします．なお，博士課程における研究成果はなるべく一般セッションでの発表をお願いします．
 企画セッション： 最近のメディアコンピューティング技術のトピックスを本学会研究委員会等が企画し，発表を通して，意見交換を行うことを目的としています．
 博物館と人文学のデジタルトランスフォーメーション（DMH 研究会企画）
博物館・美術館，人文学の分野において，デジタル技術の進展によって，研究方法，公開方法，その他様々なことが，伝統的な手法から変わってきて，成果を上げています．このことに関連する研究，実践，論説などの発表を募集します．
 ドローン空撮映像の社会応用とその技術（AIM/DRC 研究会企画）
ドローンの活用が進展し，法律整備も徐々に進み，様々な用途のビジネスにも利用されるようになってきています．ドローン空撮映像の社会応用とその技術の発表を募集します．
 将来のメタバース利活用に向けた基礎技術から新たな社会の未来創造（企画委員会企画）
近い将来，メタバースをはじめとする仮想空間を利活用した新たな社会活動が急速に進展すると予想されます．このような社会の基盤となる画像や映像・音響・インタフェースなどの基礎技術から，人と人とのインタラクション・コミュニケーション，それらを用いた応用技術，応用事例など，基礎技術からメタバース等の利活用がもたらす社会の未来創造まで，様々な角度からの幅広い投稿を広く一般から募集します．
 高校生セッション
高校生の研究発表を募集します．

378



Journal Track（査読付き発表）： 画像電子学会誌への投稿論文を併せて提出してもらう形態です．
対象セッションは Conference Track と同様「一般セッション」「学生セッション」「企画セッション」とします（各セッションの概要は Conference Track 欄をご覧ください）．

掲載号： 2024 年 1 月号（「第 51 回年次大会ジャーナルトラック特集号」）

投稿種別： 通常の画像電子学会誌の投稿種別と同様，以下の 5 種類とします「論文」「ショートペーパー」「システム開発論文」「資料論文」「実践論文」

原則として採否は年次大会までに決定し，ご連絡いたします（条件付採録の場合もあります）．採録が決定した論文は，査読付発表として取り扱います．

3. 論文提出方法・提出期限
 論文提出方法
 Conference Track： EasyChair（後日公開予定）を利用して要旨，及び大会予稿集掲載用原稿を提出してください．原稿は，A4 サイズ 2～4 ページ程度で執筆ください．
 Journal Track： 学会誌への投稿論文は学会誌の投稿システム（Editorial Manager）を利用して提出してください．要旨，及び大会予稿集用原稿を Conference Track と同様，別途提出いただきます．
 論文提出期限 Conference Track 発表申込（要旨提出）期限： 2023 年 6 月 19 日（月） 大会予稿集用原稿提出期限： 2023 年 7 月 26 日（水） Journal Track 学会誌用原稿提出期限：2023 年 5 月 29 日（月） 発表申込（要旨提出）期限： 2023 年 6 月 19 日（月） 大会予稿集用原稿提出期限： 2023 年 7 月 26 日（水）4. 参加申込み方法，参加費
年次大会 Web サイト (https://www.iieej.org/annualconf/2023nenji-top/) に掲載します．
5. 講演分野[1] 画像符号化（静止画像符号化，動画像符号化，可逆符号化，変換符号化，動き補償，エントロピー符号化，符号化ハードウェ
ア，符号化ソフトウェア，国際標準化 等）[2] セキュリティ（ステガノグラフィ，データハイディング，著作権保護，不正コピー防止，改ざん防止，フィンガープリンティング，攻撃技術，透かし解析技術，ブロックチェーン，コバートチャネル，サブリミナルチャネル，画像暗号化，画像認証，バイオメトリクス，イメージフォレンジックス 等）[3] 通信・ネットワーク（画像通信，光ネットワーク，符号化制御技術，画質制御技術，画像検索技術，通信プロトコル，マルチメデ
ィア通信，クラウド，標準化方式 等）[4] 画像処理・認識（画像復元，画像強調，フィルタ技術，特徴抽出・追跡，オブジェクト抽出・検出，動き解析，領域分割，画像認
識，文書画像，顔画像解析，動画像解析，文字認識，高解像化処理，コンテンツ制作 等）[5] 画像入出力・色・画質評価（カラー画像処理，ディスプレイ技術，プリンタ技術，色評価，心理評価 等）[6] バーチャルリアリティ・CG・コンピュータビジョン（ステレオ・多視点画像解析，3 次元画像技術，仮想現実感・拡張現実感，
映像生成，コンピュータグラフィックス，モデリング，レンダリング，ビジュアライゼーション，アニメーション，画像再構成・復元，
照明・反射解析，マルチメディア処理，メディア統合，ホログラフィ，ポイントクラウド，ライトフィールド 等）[7] 画像基礎・画像アプリケーション，その他画像一般（人工知能，ニューラルネットワーク，リモートセンシング，機械学習，
深層学習，進化計算，遺伝的アルゴリズム，DNA 記憶，画像データベース，教育支援システム，Web 関連技術，ヒューマンイ
ンタフェース，ユーザビリティ，アクセシビリティ，医用画像，IoT，ビックデータ，クラウドコンピューティング，デジタルサイネージ，
標準化教育，災害応用，スマートシティ，ドローン，産業応用，テレワーク，遠隔教育，ロボット工学，医療・農業・建設業などとの境界領域 等）

6. 問合せ先
画像電子学会事務局〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号
TEL: 03-5615-2893 E-mail: mcc2023＠iieej.org （なるべく電子メールでお問合せください）379

画像電子学会 第 305 回研究会 in 東京
開催案内
標記研究会を下記のとおり開催いたします．奮ってご参加下さい．








⽇
場

時：2023 年 6 ⽉ 3 ⽇(⼟) 11:00〜16:00，6 ⽉ 4 ⽇(⽇) 10:00〜11:30
所：東京都市⼤学世⽥⾕キャンパス＋オンラインのハイブリッド開催（〒158-8557 東京都世⽥⾕区⽟堤 1-28-1）
テーマ：画像⼀般
参加費（予稿集付）：2,000 円
学⽣は予稿集のダウンロードが不要の場合は参加費が無料となります。
共 催：映像情報メディア学会(映像表現＆コンピュータグラフィックス研究会)
参加申込フォーム：準備中＊資料は研究会開催日の 1 週間前からダウンロードできます。詳しくは参加申し込みいただいた方にメールでお知らせいたします。

プログラム
6 月 3 日(土)11:00-11:10

開会の挨拶

**

11:10-11:50【招待講演】
1.
【招待講演】〇鳴海拓志（東大）

座⻑：**

13:00-14:20
セッション 1（映像表現）座⻑：**2.
水面変化を考慮した水中爆発のビジュアルシミュレーション○永石昂大・藤澤 誠・三河正彦（筑波大）
3.
地形を考慮した滝のシミュレーション○戸崎隆一・西野悠馬・張 英夏・向井信彦（東京都市大）4.
テクスチャによる奥行知覚への影響○夏井伸隆・名手久貴・石川和夫（東京工芸大）5.
デジタルホログラフィにおける多重像分離と画像処理による改善効果○戸塚真隆（元湘工大）・高野邦彦（都立産技高専）・佐藤甲癸（元湘工大）
14:30-15:50
セッション 2（画像応⽤）
座⻑：**
6.
前フレームの復号画像を学習したオートエンコーダによる動画像符号化方式○井上航貴・小池 淳（成蹊大）
7.
動体視力向上に向けた目押し練習システムの開発
中村嘉希・○平林知也・小玉周平・森谷友昭・高橋時市郎（東京電機大）8.
あおり運転に起因する事故軽減のためのドライビングシミュレータの開発○岡野 尊・小玉周平・森谷友昭・高橋時市郎（東京電機大）9.
デジタルミュージアムの学習・教育・研究に果たす役割に関する検討○大野邦夫（モナビ IT）
15:50-16:00

1 ⽇⽬閉会の挨拶 **380

6 月 4 日(日)10:00-11:20
セッション 3（画像認識・特徴抽出）
座⻑：**
10.
鏡面反射光成分の除去による画像認識の精度向上について○阿部莉子・檀 裕也（松山大）
11.
MediaPipePose を用いた上半身衣服の柄認識に関する研究○前田晃希・張 英夏・向井信彦（東京都市大）12.
差分画像と領域拡張法を併用した人物検出による通過人数計測手法○天羽未来・張 英夏・向井信彦（東京都市大）・田中保三（瀧口製作所）
13.
Deep metric learning を用いた画像分類におけるクラスタ特徴抽出法の検討～ クラスタ共通の因子情報を用いた特徴の可視化 ～○田中陽也・瀬尾燦振・大谷 淳（早大）・小方博之（成蹊大）
11:20-11:30
閉会挨拶**【全般お問合せ先】画像電⼦学会事務局〒116-0002 東京都荒川区荒川 3-35-4 ライオンズマンション三河島第⼆TEL：03-5615-2893 FAX：03-5615-2894 e-mail：kikaku@iieej.org
詳細については学会ホームページで順次掲載いたします。
画像電⼦学会ホームページ http://www.iieej.org/

101 号室

以上

381

会告
画像電子学会セミナー
Advanced Image Seminar 2023 (AIS2023)「メタバースの最前線 ～気鋭の講師陣による最新技術・活用事例・将来展望の徹底解説～」

メタバースとはインターネット上に存在する「3 次元仮想空間」であり、オンラインの新たなコミュニケーショ
ンツールです。技術の飛躍的な進歩と、コロナ過による我々の生活様式の変化により、近年非常に注目を集めています。ゲームやファッション、教育やビジネス、様々な分野で盛り上がりつつある一方で、まだまだ黎明期といえる段階です。本セミナーでは、メタバースとは何かという基本的な話題から、最新技術や活用事例、将来の展望など、第一線で活躍されている講師をお招きし、幅広い話題を含めて解説していただきます。
主催：画像電子学会
協賛(予定)：映像情報メディア学会、情報処理学会、電子情報通信学会、日本印刷学会、日本画像学会、日本写真学会
開催日：2023 年 6 月 23 日（金）10:00-12:30 13:20-15:00
場所：オンライン開催
参加費：一般会員（賛助会員／協賛学会会員を含む）12,000 円 / 参与（減免制度ご利用の方）3,000 円 / 学生
3,000 円/ 非会員 18,000 円● 振込手数料はご負担願います。
● 参加者には講演後に、講演資料をダウンロード可能とする予定です。
※お申し込み頂いた非会員の方で、入会希望の方は、入会金・初年度会費が免除となります。
振込先： みずほ銀行 浜松町支店
口座番号：(普)1961408 口座名：画像電子学会
申込先：https://forms.gle/ytSNQ7hy4Uy2fHJq9 よりお申し込みください。
申込締切：2023 年 6 月 21 日（水）全般お問合せ先：画像電子学会 事務局〒116-0002 東京都荒川区荒川三丁目 35 番 4 ライオンズマンション三河島第二 101 号
TEL: 03-5615-2893， FAX：03-5615-2894, e-mail: kikaku@iieej.org

382

【プログラム】
司会：長谷川 誠（東京電機大学）
開会挨拶（10:00-10:50）今そこにあるメタバース：研究開発の歴史からみる画像と電子の最先端
講師： REALITY 株式会社 GREE VR Studio Laboratory 白井 暁彦 氏
前回のセミナーから大きく成長したスマートフォンを起点としたメタバース「REALITY」の基本や VTuber 産業、メタバースソリューション「REALITY XR cloud」事業の成果・事例紹介、世界の最新研究や、人材育成など、R と D の両面をおさえつつ、気づきの共有を行います。
（10:50-11:40）都市連動型メタバースの実現に向けた KDDI の取り組み
講師： KDDI 事業創造本部 川本 大功 氏
バーチャル渋谷やバーチャルシティガイドラインなど、都市連動型メタバースの実現に向けた KDDI の取り組みを紹介します。
（11:40-12:30）cluster を支えるバックエンド技術～開発現場から見たメタバースの未来
講師： クラスター株式会社 田中 宏樹 氏
10 万人の同時接続を実現し、イベント動員数累計 2000 万人を記録した日本最大級のメ
タバースサービスを支えるバックエンド技術について、具体的な事例を用いてご紹介します。また、活用事例やメタバースの未来についてお話します。
（13:20-14:10）建設業におけるメタバース活用事例
講師： 株式会社リコー 前鼻 毅 氏
リコーバーチャルワークプレイスは BIM、CIM などの 3D モデル、点群データ、360 ラ
イブ、各種資料などの多様なデータを組み合わせ「現実よりも伝わる場」を構築し、建設業における合意形成を高度化します。本講演ではサービスの概要と活用事例について、デモを交えてご紹介致します。
（14:10-15:00）Web3 時代のメタバースの発展
講師： PwC コンサルティング合同会社／メタバースジャパン 馬淵 邦美 氏
日本のみならず、世界において Web3 時代のメタバースの未来と、ユースケースを巡る議論が勃興しています。2023 年に向けて、VR デバイスの進化やエンターテイメント分野においては既に大きな胎動が始まっており、その先には、テクノロジーの進化とともに、リアル×バーチャルを融合した産業用マルチバースやコミニューションバースと呼ばれる、教育、医療 、SDG’s、観光 、スポーツなどの分野の社会実装が予想されています。この講演では、Web3 時代のメタバースの現在と未来を語ります。

383

2024 年4月号・英文誌6月号 論文特集号 論文募集
―高臨場感映像の通信・配信を支える設計・実現技術－
画像電子学会 編集委員会
近年，映像サービスの高精細化や映像画像処理の高度化が半導体技術の進展や情報通信技術の進歩を背景に，急速に進んできています．具体的には画面解像度，フレームレート，ダイナミッ
クレンジ，色域などの高鮮明化・高品質化に加え，360 度映像やイマーシブメディア，VR/AR/MRなどの多様化や高度化も増しており，それに関連した映像圧縮や通信・配信技術の研究も盛んに行われています．また，それら映像の通信・配信に不可欠なデバイス技術においては，今後のさらなる微細化とともに高集積化・低電力化によるメリットを最大限に活かして，サービスや製品の国際的な競争力を高めるため，どのような機能をいかに設計し，実装するかといったハード/
ソフト設計技術・実現技術のさらなる進展が期待されています．
本特集では，高臨場感・高精細な映像の通信・配信処理を支えるハード/ソフト設計技術・実現技術に関する論文，システム開発論文や実践論文について広く募集いたします．皆様からのご投稿をぜひお待ちしております．

1. 対象分野(キーワード)
映像通信，映像配信，ハード/ソフト設計技術，LSI とシステム，画像圧縮，高精細映像，高臨場感映像，イマーシブメディア，360 度映像, VR/AR/MR，3D 画像関連設計技術
2. 投稿論文種別（著者に学会員を含む等の掲載条件は適用されます）
フルペーパー，ショートペーパー，システム開発論文，実践論文
3. 論文の取り扱い
投稿様式，査読プロセスとも通常の投稿論文と同様です．採録決定が特集号に間に合わなかった場合には，通常の投稿論文として取り扱います．英文での投稿も受け付けます（IIEEJTransactions on Image Electronics and Visual Computing への掲載となります）．
4. 特集号発行
画像電子学会誌（電子版） 2024 年4月号，英文論文誌 2024 年 6月号
5. 論文投稿締切日
2023 年10月31日（火）6. 投稿方法および問い合わせ先
画像電子学会 http://www.iieej.org/〒116-0002 東京都荒川区荒川三丁目35 番4 ライオンズマンション三河島第二 101 号室
TEL： 03-5615-2893， FAX： 03-5615-2894， E-mail：hensyu@iieej.org

3842017 年 1 月 6 日改訂
2018 年 7 月 6 日改訂
2020 年 10 月 2 日改訂
2021 年 9 月 3 日改正

論文投稿の手引き1.

論文投稿(1) 投稿前・ 著者は「論文投稿の手引き」，「スタイルフォーマット」を学会ホームページの「学会誌」，「英文
論文誌」欄からダウンロードして，投稿論文の準備をする。
・ 「スタイルフォーマット」は TeX 版，Word 版の 2 種類が準備されており，出版コストおよび出版に至る労力削減のために，TeX 版の利用を推奨している。
・ 原稿には以下の 5 種類がある。
○ 論文：画像電子技術に関する独創的な研究成果，開発結果，検討結果を学術論文（フルペーパー）としてまとめたもの。新しいアイディアの提案を目的とする通常論文であり，新規性，有用性，信頼性，了解性に基づいて評価する。原則として刷り上がり 8 ページ以内とする。
○ ショートペーパー：研究速報的な性格を持ち，部分的にある程度良好な結果，新しい知見が得られたことを研究報告としてまとめたもの。原則として刷り上がり 4 ページ以内とする。
（論文・システム開発論文のいずれとも組み合わせが可能とする）○ システム開発論文：通常論文の新規性，有用性とは別に，既存技術の組み合わせ，或いはそれ自身に新規性があり，開発結果が従来法より優れているか，或いは他システムへ応用可能であり，新しい知見が示されているもの。原則として刷り上がり 8 ページ以内とする。
○ 資料論文：試験，運用，製造などの新しい成果をまとめたもの。あるいは現場の新技術紹介
や提案などで，必ずしも独創的でなくてもよい。
原則として刷り上がり 8 ページ以内とする。
※○ 実践論文：事例 やフィールドワークに関する発見，工夫，既存技術の新たな組み合わせ等
で，事例設計の客観性・相互主観性を有し，個別の事例（フィールドワークも含む）から，他の事例（より一般的な事例も含む）への発展可能性（一般法則化），利活用・応用可能性などを示せるもの。原則として刷り上がり 6 ページ以内とする。
※事例とは，画像関連技術の開発・利活用に関する，フィールドワーク，システム開発，システム導入，ソフトウェア実装，アプリケーション開発，表示・提示方法，入出力インタフ
ェース開発，試験・評価方法，サービス，データベース作成等の実例を示す。
・ 原稿の投稿および掲載の条件として，論文，ショートペーパー，資料論文，実践論文のいずれも，著者のうち必ず 1 名以上は本学会の正会員または学生会員であることを必要とする。
・ 原稿の二重投稿を禁止する。論文，ショートペーパー，システム開発論文，資料論文，実践論文のいずれも，その採録決定以前に投稿原稿と同一内容のものが，投稿原稿と同一の著者もしくは少なくともその中の 1 名を含む著者によって他の公開出版物に掲載または投稿中の場合には，原則として採録としない。公開出版物とは，内外の書籍，雑誌および官公庁，学校，会社等の機関
誌，紀要などをいう。ただし，本学会または他学会（国外の学会を含む）等の年次大会，研究会，
シンポジウム，コンファレンス，講演会などの予稿，特許公開公報，当学会編集委員会で認めたものなどについてはこの限りではない。また，本会誌にショートペーパーとして採録になったものについて，成果を追加し内容を充実させ，論文として再び投稿したものについては二重投稿とみなさない。

385

(2) 投稿・ 投稿原稿では，全ての著者情報を削除すること。ただし，参考文献はこの限りではない。
・ 著者は以下の論文投稿のページよりユーザ登録を行った上で，ログインして必要事項の記入と「スタイルフォーマット」を使用し作成した論文原稿のアップロードを行う。論文原稿のファイ
ルは pdf 形式（TeX の dvi を変換したもの）または Word 形式とする。 「スタイルフォーマット」
を使用するため，原則として図表等は論文原稿内に組み込む。（査読の参考となる別のファイルを同時にアップロードすることは可能）
http://www.editorialmanager.com/iieej/
・ 投稿に関して質問がある場合には，学会事務局編集担当者に相談のこと。（連絡先：〒116-0002
東京都荒川区荒川 3-35-4 ライオンズマンション三河島第二 101 号

TEL: 03-5615-2893

FAX:

03-5615-2894 E-mail: hensyu@iieej.org 画像電子学会事務局編集担当 ）2.

論文査読と対応(1) 査読・ 論文原稿は該当専門分野に詳しい査読者によって審査され，「採録」，「条件付採録」または「返戻」のいずれかに判定される。査読結果は，学会事務局より連絡著者宛にメールで通知される。
なお，最終的な採録判定についてはショートペーパーを除き，いずれのカテゴリーの論文であっても 2 名以上の査読者の採録を必要とする。
・ 評価方法○ 通常論文は，次の基準で評価する。
 新規性：投稿内容に著者の新規性があること。
 有用性：投稿内容が学術や産業の発展に役立つものであること。
 信頼性：投稿内容が読者から見て信用できるものであること。
 了解性：投稿内容が明確に記述されており，読者が誤解なく理解できるものであること。
 文献調査：投稿内容に関連する文献調査が行われており，必要な比較が行われていること。
○ ショートペーパーは，通常論文の新規性，有用性とは別に，研究内容に速報性があり，斬新性の尺度からある程度良好な結果，部分的にでも新しい知見が得られたことを評価する。
○ システム開発論文は，通常論文の新規性，有用性の代わりに次の基準で評価する。
 システム開発の新規性：既存技術の統合であっても，組み合わせの新しさ，システムの新しさ，開発したシステムで得られた知見の新しさなどをシステムの新規性として認める。
 システム開発の有用性：類似システムと比較し，総合的或いは部分的に優れていること。シ
ステムとして先駆的な新しい応用コンセプトが示されていること。組み合わせが実用化のために合目的最適性を有すること。性能限界や実利用システムの性能事例が示されていること。
○ 資料論文は，通常論文における新規性要件については，試験，運用，製造などの新しい成果，
現場の新技術紹介や提案など，必ずしも独創的でなくても優先性があれば新規性として認める。また，有用性要件については新しい成果が既存技術と比較し優れており，学術や産業の発展に役立つものであればそれを評価する。
○ 実践論文は，通常論文の新規性，有用性に代えて合目的性，独自性，適応性の基準で評価する。また，信頼性，了解性，及び文献調査においては，基本的に通常論文と共通の観点により評価する。
（なお，5 段階評価において通常論文の評価項目を流用する場合は通常論文の新規性を「合目的性」に，有用性を「独自性」に，信頼性を「適応性及び信頼性の総合」に読み替えて記入するものとする。）
 合目的性：投稿内容に合目的性があること。

386



独自性：投稿内容に著者の独自性や拡張性があること。



適応性：投稿内容が先行事例より優れていること。また，当該事例の合目的性に対する要求
条件及び適用範囲において，当該事例が同一条件下で先行事例と比べ，複数の視点で高い客観性・相互主観性を有し，サービスの向上に貢献するものであること。

これらの具体的な例を以下に示す。


合目的性：当該事例への提案内容の導入が一定の目的にかなった方法であることが示されていること。また，分析結果の適用範囲において高い合目的性を有すること。



独自性：当該事例において先駆的な独自応用コンセプトが示されていること。先行事例の組
み合わせであっても組み合わせの独自性，導入事例の適用範囲の独自性，事例構成の独自性，他の事例（システム，サービス）への拡張性，現状の画像電子技術に係るサービスの有効性，得られた知見の独自性などを事例の独自性として認める。



適応性：提案事例のもつ適応性を判断するために充分な導入分析結果及び考察が示されていること。提案事例と先行事例との適応性に関する比較結果が，共通条件下で示されていること。提案事例が先行事例と比較し，総合的或いは複数の部分で性能が優れていること，或いは課題，合目的性に対する要求条件及び適用範囲において，より高い客観性・相互主観性を有していること。

(2) 査読結果受領後の対応
・ 「採録」の場合，著者は最終原稿の準備（3．に記載）に進む。
・ 「採録（参考意見有り）」の場合，著者は査読者からの参考意見を考慮して論文を修正し，最終原稿の準備（3．に記載）に進む。
・ 「条件付採録」の場合，著者は査読者から示された「採録の条件」に基づき，指定された期日まで（60 日以内）に論文を修正し，照会内容への対応を明記した回答書とともに再提出し，再度審査を受ける。修正論文には，修正箇所がわかるように，色を付けるか，下線を引くなどすること。
また，回答書は必ず添付し，採録条件全てに対し，修正点，主張点，今後の課題などを丁寧に説明すること。
・ 「返戻」の場合，著者は以降のプロセスに進むことができない。査読者から示された「返戻の理由」を吟味して論文内容を再検討し，あらためて投稿することができる。
(3) 修正原稿査読
・ 「条件付採録」で再提出する場合は，回答書・修正清書原稿・修正箇所マーク原稿の修正原稿一式を投稿ページより再提出する。但し，「条件付採録」で指定された期日を過ぎて提出された場
合は，新規の初回投稿論文として取り扱われるので注意すること。
・ 再提出された修正原稿は原則として同一の査読者によって再審査され，「採録（参考意見付記を含む）」または｢返戻｣のいずれかに判定される。
・ 以降の対応は（2）と同様である。

3.

最終原稿提出から出版まで(1) 最終原稿提出
・ 「採録」通知受理後は，事務局から最終原稿作成に関するメールが送付されるので，著者はその指⽰に従い最終原稿一式（電子データ）を準備し，指定の期日までに，事務局へ送付する。
・ 最終原稿一式とは，「スタイルフォーマット」を使用して作成した論文原稿のソースファイル（TeX
版または Word 版），その pdf ファイル，すべての図表の eps ファイル(bmp， jpg， png なども含

387む)，著者紹介用写真（縦横比 3:2，胸より上，300dpi 以上の eps ファイル，或いは，jpg ファイル）
であり，これらを zip 等の圧縮ファイルに格納して提出する。
・ 最終論文原稿には，著者名・組織名，著者紹介，必要により謝辞を記入する。（スタイルファイ
ル内のマクロのフラグを解除する）
・ 採録が決定した著者は，当該論文の掲載料を支払わなければならない。なお，別刷りの購入は任意。（別紙１「別刷価格表」参照）(2) ゲラ刷りの校正
・ 論文掲載号の発行のおよそ１ヶ月前に論文原稿のゲラ刷り（ハードコピー）の確認が依頼される。
著者は指定の期日まで（約１週間）に校正を行い，修正した原稿をスキャンした pdf ファイルを作成し，事務局へメールにて送付する。この際，「別刷り購入票」および「コピーライトフォー
ム」を記入し，同様にスキャンした pdf ファイルをアップロードする。
・ 本会誌に掲載されるすべての記事については，電子的形態による利用も含め，著作権は原則として本会に帰属する。
・ 「別刷申込書」および「コピーライトフォーム」は学会ホームページの「学会誌」欄からダウンロードする。
（別紙２「別刷申込書」，別紙３「コピーライトフォーム」参照）(3) 出版
・ 最終校正された論文原稿は学会誌，或いは，英文論文誌（電子ファイル形態）としてオンライン出版されるとともに，学会ホームページに掲載される。

4. その他(1) 異議申し立て・ 判定結果に不服がある場合は，通知日より 60 日以内に，返戻理由に対し具体的な根拠を基に異議申立書を学会事務局に提出することができる．なお，同一投稿論文に対する異議申し立ては一回のみとする．
・ 掲載論文に対して異議がある場合は，具体的な根拠を基に異議申立書を学会事務局に提出することができる．
以上

388

日本画像学会誌

第 62 巻第1号

目次(通巻 261 号)

2023 年

巻頭言
新たな年を迎えて㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀佐藤利文… 2( 2 )論文
インピーダンススペクトルの高速測定と高速解析による有機デバイスの電子物性評価
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀岡田淳之，内藤裕義… 3( 3 )Imaging Today「進化するデジタルアーカイブ技術と実践」
Introduction ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
横山優樹，中山信行，中村一希，石田稔尚…12(12)
映像のアーカイビング㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
大関勝久…13(13)
景観写真のデジタルアーカイブと活用方法
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
高橋 彰，北本朝展，矢野桂司，佐藤弘隆，河角直美…23(23)
先端技術を用いた画像入力・分析・表示から配信への展開
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀井手亜里，赤坂輝実，Jay Arre TOQUE，角 美枝…35(35)
文化資源の三次元デジタルアーカイブデータの記録と活用㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
宮前知佐子…47(47)
微小オブジェクト（昆虫）を対象としたデジタル写真処理㌀
㌀
㌀
㌀
㌀
㌀
㌀
小檜山賢二，西田拓央，井尻 敬…59(59)デジタルアーカイブス時代の文化財 3 次元計測㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
野口 淳…68(68)

教育講座
学会発表と論文投稿の意義と手法（Ⅴ）―博士号取得の勧めとその方法―㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
面谷

信…73(73)

研究室訪問
合田研究室 東京大学 大学院理学系研究科化学専攻㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
78(78)
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
82(82)
会報㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
92(92)
会告㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
93(93)
投稿案内 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
95(95)
日本写真学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
96(96)
日本印刷学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
97(97)
画像電子学会誌の目次 ㌀
画像閑話

令和五年編集委員
編集委員長
宮 本 栄 一（京セラドキュメントソリューションズ)
編集副委員長 名 越 応 昇（三 菱 製 紙)
北 野 賀 久（富士フイルムビジネスイノベーション)
編集委員
新
池
石
石
岩
梅
加

井 啓 之 (日本工業大学)
田 光 弘 ( 三 菱 製 紙 )田 稔 尚 ( シ ャ ー プ )塚 一 輝 (コニカミノルタ)
田基 (大阪府立大学)
津 信二郎 ( 早 稲 田 大 学 )藤 知 之 (東芝テック)

編集幹事
編集副幹事

岸
由美子 ( リ コ ー )北 野 賀 久 (富士フイルムビジネスイノベーション)
木 村 正 利 (元富士ゼロックス)
黒 沢 俊 晴 ( 千 葉 大 学 )竹 内 達 夫 (元キヤノン)
朝 武敦 (コニカミノルタ)
中 村 一 希 ( 千 葉 大 学 )

389

石
中

塚
村

一
一

輝（コニカミノルタ)
希（千 葉 大 学)

中 山 信 行 (東京工芸大学)
名 越 応 昇 ( 三 菱 製 紙 )前 田 秀 一 ( 東 海 大 学 )宮 本 栄 一 (京セラドキュメントソリューションズ)
山 口 大 地 ( リ コ ー )山 﨑
弘 (元コニカミノルタ)
横 山 優 樹 (富士フイルムビジネスイノベーション)

日本画像学会誌

論

第 62 巻第2号

目次(通巻 262 号)

2023 年

文
用紙表面凹凸に依存する転写性に関する予測モデルの開発
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
中山信行，長尾剛次，小早川周平，三橋利彦…100( 2 )放電モードを考慮した電界解析モデル㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
長尾剛次，鈴木 渡，大森雅夫，中山信行…108( 10 )Imaging Today「食とマルチメディア技術」
Introduction ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
岩田 基，新井啓之，梅津信二郎，名越応昇…114( 16 )
付加価値を生み出すフードプリンター㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
小沢啓祐…115( 17 )Food DX Through Unobtrusive Edible Tags using Food 3D Printing
㌀
㌀
㌀
㌀
㌀
㌀
㌀Parinya PUNPONGSANON, Yamato MIYATAKE, Daisuke IWAI, and Kosuke SATO…121( 23 )食事画像をもとにしたストレス予測とデータセット構築
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
中本 圭，熊澤洸平，天野宗佑，唐澤弘明，山肩洋子，相澤清晴…128( 30 )ゼロショット食事画像領域分割㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
本部勇真，柳井啓司…139( 41 )
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
王 元元，河合由起子，角谷和俊…146( 48 )料理レシピデータの特性分析とその推薦への応用㌀
敵対的学習により食材変化を捉える詳細調理行動認識手法㌀
㌀
㌀
㌀
㌀
㌀
㌀
岡本淳志，井上勝文，吉岡理文…159( 61 )Imaging Highlight
お菓子には世界を平和にする力がある㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
河本英雄…165( 67 )教育講座
マイクロカプセル調製の基礎と応用展開（Ⅰ）㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
田中眞人…169( 71 )

研究室訪問
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
182( 84 )内田研究室 東京工芸大学 工学部 工学科 電気電子コース㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
187( 89 )
会報㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
189( 91 )
会告㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
190( 92 )投稿案内 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
191( 93 )日本写真学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
192( 94 )日本印刷学会誌の目次 ㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
193( 95 )画像電子学会誌の目次
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
㌀
195( 97 )Journal of Imaging Science and Technology の目次㌀
画像閑話

令和五年編集委員
編集委員長
宮 本 栄 一（京セラドキュメントソリューションズ)
編集副委員長 名 越 応 昇（三 菱 製 紙)
北 野 賀 久（富士フイルムビジネスイノベーション)
編集委員
新
池
石
石
岩
梅
加

井
田
田
塚
田
津
藤

啓
光
稔
一

之 (日本工業大学)
弘 ( 三 菱 製 紙 )尚 ( シ ャ ー プ )輝 (コニカミノルタ)
基 (大阪府立大学)
信二郎 ( 早 稲 田 大 学 )
知 之 (東芝テック)

岸
北
木
黒
竹
朝
中

編集幹事
編集副幹事

石 塚 一 輝（コニカミノルタ)
中 村 一 希（千 葉 大 学)

由美子 ( リ コ ー )野 賀 久 (富士フイルムビジネスイノベーション)
村 正 利 (元富士ゼロックス)
沢 俊 晴 ( 千 葉 大 学 )内 達 夫 (元キヤノン)
武敦 (コニカミノルタ)
村 一 希 ( 千 葉 大 学 )中 山 信 行 (東京工芸大学)
名 越 応 昇 ( 三 菱 製 紙 )前 田 秀 一 ( 東 海 大 学 )宮 本 栄 一 (京セラドキュメントソリューションズ)
山 口 大 地 ( リ コ ー )山 﨑
弘 (元コニカミノルタ)
横 山 優 樹 (富士フイルムビジネスイノベーション)390

日 本 印 刷 学 会 誌

目次

第 60 巻

第 1 号（2023 年 2 月）

巻頭言プリメディア研究会と今後について. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 松永英丈
総説 1 特集「after/with コロナ社会における印刷技術の挑戦」
コロナ環境下を生き残る！ IT ツールで実現する印刷業の非対面営業と.
業務効率化. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 寺崎 薫
植物繊維材料への光触媒殺菌・抗ウイルス効果の付与 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 本田光裕
超精密透かし画像彫刻によるセキュリティ技術. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 岡部哲夫
新素材 LIMEX が印刷物に与えるメッセージ性. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 深澤 献
総説 2 特集「IGAS2022 印刷関連技術の最新動向」
日本における G7 認証について. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 吉川武志
IGAS2022 展示会トレンドに見る印刷関連技術の最新動向. .  .  .  .  .  .  .  .  .  .  .  .  . 宮本泰夫
印象記
グラビア研究会 令和 4 年度 第 13 回研究例会に参加して . .  .  .  .  .  .  .  .  .  .  .  . 鷲見達也
2022 年度スクリーン印刷技術研究会セミナー印象記. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 佐竹保彦
2022 年度プリメディア研究会印象記 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 田中 貞
令和 4 年第 18 回「紙メディア」シンポジウム印象記.
転換期にある紙メディアの技術・造形・デザイン. .  .  .  .  .  .  .  .  .  . 林 裕一郎・松本 圭
Abstract . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
文献紹介. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
学会だより . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
日本印刷学会賛助会員名簿 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .

日本印刷学会誌編集委員
編集委員長
委
員

幹
事
表紙デザイン

矢口博之（東京電機大学）			
東 吉彦（東京工芸大学）			 秋山宏介（特種東海製紙（株））			 杉山 徹（大日本印刷（株））
高橋 敦（共同印刷（株））		 光本知由（富士フイルム（株））			 宇佐美貴志（（独）国立印刷局）
久世康典（東レ（株））				 細井 功（東洋インキ（株））				 茂木雅男（凸版印刷（株））
前田秀一（東海大学）
小関健一
益田宏樹

391

1

2
5
9
13
19
25
31
34
36
38
40
42
44
49

日 本 印 刷 学 会 誌

目次

第 60 巻

第 2 号（2023 年 4 月）

巻頭言学会“知の泉”へのいざない. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 木内正人
総説 1 特集「教育 ICT と印刷」
学習者本位の教育 ICT.
─対面とオンライン，フィジカルとサイバーの融合へ─. .  .  .  .  .  .  . 井上雅裕・丸山智子
教室 AV 環境と電子教科書. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 土肥紳一
教室でのデジタル機器の使用と健康への配慮 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 柴田隆史
電子教科書・教材配信プラットフォーム「EDX UniText」. .  .  .  .  .  .  .  .  .  .  .  .  . 五十嵐麻衣
研究室紹介：群馬大学情報学部 HCI 研究室. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 柴田博仁
総説 2 特集「印刷の歴史から学ぶ」
古来より現代までの「文字」をめぐる印刷技術変遷. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 髙橋恭介
オフセット印刷技術と印刷機の歴史. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 吉川武志
オフセット印刷版の技術変遷. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 因埜紀文
製版・印刷工程における製版用スキャナの変遷. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 成川康則
美人画ポスターに見る戦前期日本の製版印刷技術史. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 田島奈都子
近現代史の新たな枠組みである「歴史総合」から見た印刷技術の将来展望. .  .  .  . 尾鍋史彦
印象記
2023 年冬期セミナー印象記 . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  . 川上和也
2023 年第 1 回 P&I 研究会シンポジウム「印刷と食・健康」印象記 . .  .  .  .  .  .  . 中村隆一
Abstract . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
文献紹介. .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .
学会だより . .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .  .

日本印刷学会誌編集委員
編集委員長
委
員

幹
事
表紙デザイン

矢口博之（東京電機大学）			
東 吉彦（東京工芸大学）			 秋山宏介（特種東海製紙（株））			 杉山 徹（大日本印刷（株））
高橋 敦（共同印刷（株））		 光本知由（富士フイルム（株））			 宇佐美貴志（（独）国立印刷局）
久世康典（東レ（株））				 細井 功（東洋インキ（株））				 伊藤 学（凸版印刷（株））
前田秀一（東海大学）
小関健一
益田宏樹

392

57

58
66
72
78
82
87
94
100
111
122
133
139
141
142
145
147

日本写真学会誌

86 Ⅰ
巻号（2023 年/令和 5 年）

巻頭言
1

写真を超える；SHASHIN
中野寧

口絵・口絵解説
2「画像からくり」
第 60 回 フォトフレーム その 2
桑山哲郎

私の写真史
4

私は写真史が好き（前編）/ 桑山哲郎

12

会 告

日本印刷学会誌・日本画像学会誌・IIEEJ Transactions on Image Electronics and Visual Computing・画像
電子学会誌

特集

15

解説

SHASHIN の本質と未来
SHASHIN 研究会（飯野裕明，森島邦博，白石幸英，山岸治，宮本公明，久下謙一，加藤隆志，山田勝実，半那純一，中野寧）

特集

注目の写真技術史

20

学会創立 100 周年記念特集「注目の写真技術史」/ 山田

21

解説

勝実

中崎昌雄論叢と辿る写真技術史のパイオニアたち

その 1―1839 年，秘術から科学技術への転換点−

高田俊二

32

特集
解説

スマートフォンと写真
スマートフォン用カメラアクチュエータの動向と評価方法
本屋啓一

40

特集
解説

フォトグラメトリー
ドローン空撮マルチスペクトル画像の解析でマラリア媒介蚊発生源地図を作る
益田

46

解説

岳

ドローン搭載型 1 億画素カメラを用いた仁和寺の三次元モデルの作成
渡辺一生，上原佳敏

一般論文50

マルチスペクトルカメラを搭載したドローンによるインデックスマッピングとフルカラー 3D 造形
内田孝幸，小嶋優輝，行谷時男，小林信一，安田洋司，越地福朗，高橋章浩

56

銀塩写真感光材料の放射線感度測定のための放射線均一線源の作製
久下謙一，鈴木弘行，岩本康平

642022 年度 画像関連学会連合会 合同秋季大会 講演要旨

103

会 報

理事会抄録，投稿規定等，執筆の手引き，著作権の取扱い，入会のおすすめ

編集委員：山田 勝実，久下 謙一，稲垣 由夫，岩崎仁，桑山 哲郎，藤波 研次，水口393

淳，西垣 仁美，宮本 成悟，白石 幸英

○新入会員紹介（2023 年 3 月 31 日）

おかげさまで画像電子学会誌，2023 年第 2 号（4 月号）をお届けする運びとなりました．本号には，デジタルファブリ

正会員
寺浦 信之（テララコード研究所）
武田 利明（日本電信電話㈱）ケーションのための画像電子関連技術論文特集として特集論
文 1 編と特集ショートペーパー1 編，通常論文としてシステ
ム開発論文 2 編とショートペーパー2 編が掲載されています．

学生会員
山内 大輝（大阪工業大学）
鈴木 俊豪（東洋大学）
佐藤 優志（大阪大学）

他にも，グループ紹介「北陸先端科学技術大学大学院 謝 研
究室」，スキャニング「オブジェクト指向雑記(1)」等，バラエ
ティに富んだ記事を掲載しておりますので，こちらも是非ご

○会員現況
名誉会員
正会員
学生会員
賛助会員
特殊会員

覧ください．
編集後記ではもはや定番となった新型コロナウイルス感染症（COVID-19）については，ご承知のように 5 月 8 日に季節性インフルエンザと同じ「5 類」に移行する予定です．マスク
着用についてはすでに個人の判断とされており，私自身は周囲の状況にも配慮しつつなるべく着用しないようにできればと考えています．私の所属する日本大学では昨年 8 月より海外出張が可能となり，その直後に英国でのホログラフィ分野の学会と，カナダでの SIGGRAPH にオンサイトで参加してまいりました．どちらもハイブリッド開催でしたが，対面の持つ重要性に改めて気づかされました．とはいえ，オンライン
ならではの利便性もありますので，今後コロナが終息したとしても，すべての学会がコロナ以前の対面のみになってしまうことには，戸惑いを禁じ得ません．
この 3 月には応用物理学会のシンポジウムで「AR/VR グラスの光学系」について講演する機会がありました．ハイブリッドの開催で，会場には 100 名以上の実参加者が集い，オンラインの参加者も 100 名を超える規模でしたので，会場の聴衆の直接的な反応を見て講演できるうえ，何らかの事情で現地に来られなかった多くの方にも聴講していただけ，まさに講演者冥利に尽きると感じました．このように，参加者と主催者，そして講演者にとってもプラスとなる形でハイブリッ
ド形式も存続していくことが望ましいと考えています．
さて，今年の年次大会は昨年に続き大学の夏休み期間である 8 月 28 日〜30 日に富山市での開催がアナウンスされており，オンライン参加も可能なハイブリッド環境を準備する予定です．また，査読付きのジャーナル論文と講演論文を一体化したJournal Track での募集も昨年度に引き続き実施します．
昨年度は 50 周年記念ということもあり，久しぶりに参加いた
だいた方，初めて参加いただいた方も多かったと思いますが，今年度も是非継続してご参加を賜りたく存じております．また，IEVC については 2024 年の春に二年半ぶりの開催を行う
べく準備を進めております．
前号でもお知らせしたとおり，画像電子学会では，今年度
もそのほかに研究会，AIS セミナーをはじめとする様々なイ
ベントの開催を予定しており，その状況や規模などに応じ，
ハイブリッド・オンライン・オンサイトの中からそれぞれに適した開催形式を用意してまいります．引き続き発表・聴講へのご参加のほど，何卒よろしくお願い申し上げます．
（編集理事 日本大学 吉川 浩）

17 名
502 名
47 名
20 社 30 口
32 件

394

画 像 電 子 学 会 誌
発行所 一般社団法人 画像電子学会
第 52巻 第 2 号 （通巻 264号）
2023（ 令 和 5 ） 年 4月 30 日発行 （年 4 回発行） 〒116-0002 東京都荒川区荒川 3-35-4 ライオンズマンション三河島第二 101 号
TEL （03） 5615-2893 FAX （03） 5615-2894 （振替 00180-3-166232）©2023 画像電子学会
E-mail ： hensyu@iieej.org
編集 ・ 発行者 内田 理
http://www.iieej.org/

522