産学共創プラットフォーム
共同研究推進プログラム

OPERA

Program on Open Inovation Platform with Enterprises,
Research Institute and Academia

マルチモーダルセンシング共創コンソーシアム
物理・化学情報をミクロンレベルで可視化するマルチモーダルセンシング技術の創出

豊橋技術科学大学
OPERA Project Management Office
opera@office.tut.ac.jp

領域統括挨拶
日本再興戦略の「新たな有望成長市場の創出」では、ロボットやセンサが基盤技術として取り上げられています。IoT/AI 時代における主役は、私たちの安全・安心を見守る「センサ」と言っても過言ではありません。

環境変化、自然災害、病気などの事象の変化は、様々な因果関係によって引き起こされています。多様な情報を入手するためには、様々なセンサが必要であり、半導体技術を用いて集積化できれば、ありとあらゆる場所に設置可能なセンサが実現できます。
例えば、私たちの体内の細胞活動を解明するためには、単一の現象（細胞イオンチャネルの活動）だけでなく、同時に発現する他の物理・化学現象（細胞から放出されるガス、力学的変化、活動電位など）を、微視的な位置情報と時間情報をリアルタイムに可視化し、相関関係を分析することが有効です。
センサ技術とビッグデータ解析技術を協調させることで、様々な事象の因果関係を捕らえることが可能です。そのためには、複数の種類の情報を検出可能なセンサを集積化する「マルチモーダルセンサ技術」を確立します。マルチモーダルセンサにより、未だ相関関係が明らかになっていない様々な信号の変化を、高い時空間分解能で可視化し、IoT/AI 時代を支えるデータの価値を飛躍的に高めることを目指します。

我々の研究グループが開発した、化学現象を可視化できる「イオンイメージセンサ技術」を発展させ、参画企業とともに４つのキーテクノロジーを実現するため、技術開発と社会実装を推進し、超スマート社会を支える半導体産業の活性化と、医療・バイオ・化学分野等の高度情報化に向けた基幹産業の創出を推進してまいります。

マルチモーダルセンサの概念図

革新的シナリオ
サイバー空間■新技術創出

AI/IoT
ビッグデータ、解析アルゴリズム

Society5.0 社会において、マルチモーダルセンサを中核技術として、AI/IOT、ロボット技術等との融合や農業、環境、医療などの分野において、未来価値を創造し、社会実装の実現を目指します。

センシング（中核技術）
マルチモーダルセンサ
プラットフォーム

繋いでロボット
アクチュエーター
光を当てる■オープンイノベーション
プラットフォームの構築
応用研究、実用化、実装化研究で世界に開かれたトップクラスの工学系研究大学というポテンシャルを活かし、全国トップクラスの地域産官学金プラットフォー
ムの構築を展開してまいります。

集めてフィジカル空間（社会実装を目指す領域）

環境

農業

ヘルス
ケア

医療
創薬

人間
機械
調和

豊橋技術科学大学の裾野の広い基礎研究・実証研究
他大学、各分野のトップ企業、地元企業との積極的な共同研究2大樹型オープンイノベーション（豊橋モデル）

病理用検査装置
創薬用解析装置
生育管理用装置
簡易型健康管理機器

医療

農作物センシング用カメラ

環境センシング計測装置

ヘルスケア

農業

フィジカルケアロボット

環境用検査装置
ロボット

環境○装置・実装技術○センシングデータ処理
プラットフォーム技術○ソフトウェア

キーテクノロジー１：マルチモーダルイメージセンサ構造
キーテクノロジー２：マルチガス成分センシング
基盤技術

キーテクノロジー３：マルチフィジカル・ケミカルセンシング
キーテクノロジー４：マルチケミカル・バイオセンシング

オープンイノベーションでは様々な機関が得意とする技術、ノウハウ、特許を集結させ新しいマーケットを生み出すことを目指す

結集型

で通常進められています。本プロジェクトでは豊橋技術科学大学のコアコンピタンスである、イオンイメージセンサを基にしたマルチモーダルセンシング技術を大樹の幹とし、環境、農業、医療創薬、ヘルスケア、ロボット分野が直面する問題に対して、各レイヤーの企業と縦型の連携研究をおこない、幅広い分野で新たな価値の創造や新産業の創出を目指す

大樹型のオープンイノベーションを進めます。

3

参画機関

キーテクノロジー
本プログラムでは社会実装を目指す新たな価値の創出に向け、4 つのキーテクノロジーにより研究開発を進めます
未だ相関関係が明らかになっていない様々な種類の情報を、ミクロンサイズの空間分解能で可視化する技術を確立し、 データ の価値を飛躍的に高めるマルチモーダルセンサを実現します。これにより、超スマート社会を支える半導体産業を活性化し、医療・バイオ・化学分野等の高度情報化に向けた基幹産業の創出を目指します。
具体的には、豊橋技術科学大学が世界で初めて開発した、化学現象を可視化することができる「イオンイメージセンサ」の技術を基盤として、センサの空間分解能（どれだけ微小な領域を独立に観測できるか）と時間分解能（どれだけ短い時間でデータを更新できるか）を高めるための基盤技術を確立するとともに、これらの基盤技術を融合した 3 種類のマルチモーダルセンサ（マルチモーダルガス成分センサ、マルチモーダルフィジカル・ケミカルセンサ、マルチモーダルケミカル・バイオセンサ）を開発します。

キーテクノロジー

1

キーテクノロジー

マルチモーダルイメージセンサ構造

2

センサ基本素子の高性能化【基盤技術】

マルチガス感応膜の形成とセンシング技術

環境分野

医療創薬分野ロボット分野マルチモーダルセンシング技術
による環境分野への展開

マルチモーダルセンシング技術
による医療創薬分野への展開

マルチモーダルセンシング技術
による人間機械調和への展開

農業分野
マルチモーダルセンシング技術
による農業分野への展開

キーテクノロジー

3

4

マルチガス成分センシング

マルチフィジカル・ケミカルセンシング
水素イオン感応膜上への圧電膜形成とセンシング技術

ヘルスケア分野
マルチモーダルセンシング技術
による健康見守り

キーテクノロジー

4 マルチケミカル・バイオセンシング

研究開発課題

1

センサ基本素子の時空間分解能の高精度化技術研究代表者：澤田和明（豊橋技術科学大学）
Society5.0 社会を実現するためには様々な情報が取得できる莫大な数のセンサノードをフィジカル空間に設置する必要があります。しかしながら、現状ではコストがネックとなり少数のセンサに留まってしまうため製造コストや設置コストを考えた新たなプラットフォームを生み出す必要があります。マルチモーダルセンサは、イオンイメージセンサを基本構造としています。イオンイメージセンサは水素イオン濃度（pH）分布のイメージングが可能です。水素イオン濃度は様々なセンサ情報の中でも最も重要な情報の一つであり、医療・環境・食品・生化学等あらゆる分野で重要視されています。本研究課題では、イオンイメージセンサをミクロンレベルの空間分解能とミリ秒以下の時間分解能を実現するためのセンサデバイスを開発します。

マルチガス感応膜の形成とセンシング技術研究代表者：澤田和明（豊橋技術科学大学）
マルチモーダルセンサのプラットフォームであるイオンイメージセンサが持つ 65,536（256 ピクセル× 256 ピクセル）のマス目が、個別に微小な電位の変化を感知することができます。そのマス目上に、ガス分子が吸着すると電気信号が変化する検出膜を配置することで、複数のガス種を同時に検出することが可能となります。
においは複数のガス種が複雑に絡み合って作り出されることから、1 種類のみを検出するガス検出器とは異なり、複数のガス種の組2み合わせを同時にパターンとして認識する必要があります。上述の複数の検出膜を配置したセンサは におい を目で見て直感的にイメージングするツールとなります。さらに、
ディープラーニング等の技術を組み合わせることで様々なにおいの認識を可能にします。

においに対して応答が異なりパターンによる識別が可能になる5

研究開発課題3

水素イオン感応膜上への圧電膜形成とセンシング技術研究代表者：澤田和明（豊橋技術科学大学）
圧電材料は、物理的な力が加わることで、内部で分極が生じ、電圧が発生します。この原理を利用して圧電薄膜をマルチモーダルセンサ上に形成することで、圧力を検出することができます。分極を発生させるためには事前に圧電薄膜に高電圧印加処理を行う必要がありま
すが、センサアレイ上に圧電膜を形成した後で処理を行うとセンサは破損すると考えられる
ため特殊な製作工程が必要になります。これまで製造プロセスを工夫し、10 マイクロニュートン以下の微小圧力分布を可視化することに成功しています。
微小圧力検出可能なセンサの開発とそれを用いたセンシング技術の開発を行っています。

ピペットの先でセンサに触れた際の圧力変化のイメージング

マルチモーダルセンシング技術による環境分野への展開
研究代表者：野田俊彦（豊橋技術科学大学）
マルチモーダルセンシングは多数のセンサを互いに補完しあうように動作させて計測を実現します。 1 チップで多数のセンサと同じ働きをする多機能センサの開発や、AI を活用したデータ解析を進めます。また、応用展開として、デジタル化したにおい情報と画像計測の融合という新しい価値の創出や、高温、高湿といった過酷環境でのにおい計測の実現を検討します。ガス・におい以外のセンサ（温度、湿度、光など）とも組み合わせて、環境状態を総合的に把握する技術の開発を行います。

4においのマルチモーダルセンシング
超多項目計測による環境センシング

画像情報とにおい情報の融合

工場内管理

素形材製造管理など

高温・高湿環境でのにおいセンシング

ガス、温度、湿度、空気の流れなど工場や職場における環境計測6

研究開発課題

マルチモーダルセンシング技術による農業分野への展開
研究代表者：髙山弘太郎（豊橋技術科学大学／愛媛大学）
持続可能で高効率の農作物生産・流通システムの構築は、人口減少社会にあって非常に重要なトピックになっています。本研究課題は、先端的なセンサシステムを活用して、作物の状態を高精度にモニタリングし、作物の健全生育や収穫後の鮮度保持を支える仕組みを提案します。

5

具体的には、これまでに開発した画像計測ロボットや光合成計測チャンバーなどの植物診断技術と新たに開発されるにおいセンサやイオンイメージンセンサとを融合させ、農作物生産における新しい計測技術の確立を目指します。

6

マルチモーダルセンシング技術による医療創薬分野への展開
研究代表者：小泉修一（山梨大学）
細胞内 Ca2+ は、筋肉の収縮、神経伝達物質放出等、非常に多くの応答を制御する重要なイオンです。したがって多くの生物学者は細胞内 Ca2+ の時空間解析に集中して来ました。
近年 Ca2+ を含めた細胞外微小環境の変化が脳や各臓器機能に重要であることが明らかになっています。
これまで細胞外 Ca2+ 変化の時空間ダイナミックスを知ることができませんでした。本研
究開発課題では、イオンイメージセンサ基本素子上に特定のイオンを透過させる物質や特定の蛋白質と反応する酵素を含有する感応膜を設けることで、細胞外微小環境で変化するNa、K、Ca2+ や ATP（アデノ 3 リン酸）等の挙動を観察することができます。これらの細胞の活動状態を観測するシステムを構築することで、疾病治療、医薬品など医療創薬に役立つ研究開発ツールの実現を目指します。

◎ NMDA 刺 激 で も 細 胞 外 Ca2+濃度が変化することを確認◎ 刺激の種類により細胞外 Ca2+濃度変化の起こる範囲が異なることを確認◎ 記憶・学習、脳虚血後の神経細胞死を制御する NMDA 型グルタミン酸受容体が関与

7

研究開発課題

7

マルチモーダルセンシング技術による健康見守り研究代表者：坂田利弥（東京大学）
ヒトの健康状態や病気の診断に、血液だけでなく、涙・汗・唾液などの様々な生体液中の成分を半導体バイオセンサにより計測する手法を研究開発してきました。このような生体液中のイオンや生体分子は電荷という電気特性を持つため、その電荷変化を直接計測する方法として半導体バイオセンサは非常に有効な手段の一つです。また、小型でウエアラブルな電子デバイスとして体に装着し、日常生活の中から健康状態を簡便にモニタリングが可能になります。この半導体バイオセンサで最も重要になるのがイオンや生体分子を個々に選択的に検出することです。
これまで、我々は半導体素子の上に生体分子を識別する高分子材料などを用いた分子認識膜の研究開発を行ってきました。この我々の技術をマルチモーダルセンサに展開すれば、集積化の利点である多項目での計測、すなわち、生体液中の様々な成分を 1 チップで同時に計測することが可能となり、様々な病気の早期発見や予防医療に大きく貢献するものと考えています。

マルチモーダルセンシング技術による人間機械調和分野への展開
研究代表者：北崎充晃（豊橋技術科学大学）
本研究開発課題では、現代人の健康への高い意識と要求に応える先進的ロボティクス研究を行います。第一段階として、人の脈拍や鼓動をモニターすることで、その人の心や身体の状態を判断し、適切な作業をロボットに実現させるフィジカルケアロボットを開発します。現代は、人と人が助け合い、そこにロボットが加わり協調して生きていく時代です。さらにこれからは、物理空間に加えてバーチャル空間でも、8人と人、そして人以外のエージェントとの協調が大切になります。私たちはそのような未来社会を設計し広く展開を図るとともに、マルチモーダルセンシング技術により人の感情をきめ細かに判断し、作業する、人に優しい人間機械調和技術の実現を目指します。

多指ハンドと多関節アームとの協調動作制御系の確立
ヒト心身状態の計測のための指腹センシング技術の創成
ロボットが人に「触れる」ことの心理的効果の解明

8

人材育成
人材育成プログラム
豊橋技術科学大学の OPERA では、博士後期課程の学生をRA（リサーチ・アシスタント）として雇用し、企業との共同研究に参加していただきます。学生にとっては雇用という一種の契約関係の中で、主体的に研究を進め成果を出す
究者

プロの研体験をできると同時に、将来のキャリアパス開拓の一助になります。企業にとっては実践的研究開発を経験した優秀な人材をリクルートできる機会を得ることができます。

RAリサーチアシスタント

大学は、このシステムの中で育成された博士人材を世の中に輩出し社会に貢献します。このために、本プロジェクト
では基礎と応用の側面から講義を用意しています。センシングを必ずしも専門としていない学生のための実習をともなうセンシング基礎講義と、センシングを実際に社会で使うための応用に関する講義です。この応用編は産業技術総合研
究所の若手講師陣によって展開されます。

【学生】

主体性

社会的に活躍できる博士後期課程
学生の育成

RA

共同研究費を学費及び生活支援のために充当

共同研究契約・OPERA 参画
共同研究、技術移転、知財創出

進 供
推 提
究 術
研 技
同 、共 出創財【大学】

企業と共に学生を育成するための制度

知を持 R
学 っ A
術 て 雇論 研 用
文 究の 開発 発
表 に参画

大学から企業へのスムーズなキャリアパス

【企業】
優秀な学生を獲得できる機会

9OPERA とは● OPERA（オペラ）とは、JST（科学技術振興機構）が実施するオープンイノベーション加速のための支援事業です。
●組織対組織の産学連携において、非競争領域※ 1 の研究開発を、民間資金※ 2 と国費のマッチングファンドにより推進するものです。
●大学と民間企業で構成する共創コンソーシアムが、自ら作成した技術・システム革新シナリオに基づいて、産学共同研究や人材育成を実施することが求められます。
●本事業に採択されれば、共創コンソーシアム全体で集めた民間資金と同等レベルの補助金が上乗せされます（上限あり）。
※１※２

非 競 争 領 域：競合関係にある複数の大学等や企業間であっても、研究成果の共有・公開を可能とする基礎領域
民間資金の定義：「民間資金とは」民間企業が競争コンソーシアムに拠出し、マッチングファンドとして計上する以下の共同研究費等（間接経費を含む）（例）共同研究費、受託研究費、寄附金、コンソーシアム会費等

OPERA 共創プラットフォーム育成型
OPERA 共創プラットフォーム育成型の支援期間は６年間で、FS（フィジビリティ・スタディ）２年間＋本格実施４年間です。
H30 年度（FY2018）

H31/R1 年度（FY2019）

R2 年度（FY2020）

FS フェーズ

R3 年度（FY2021）

R4 年度（FY2022）

R5 年度（FY2023）

本格実施フェーズ

▲本格実施フェーズ移行評価
FS フェーズ（〜 2 年度目）
基本計画
（シナリオ）

新たな基幹産業の育成を目指す「技術・システム革新シナリオ」を作成。シナリオの妥当性・実現可能性等を検 「技術・システム革新シナリオ」に基づく産学共同研究を討し、最適化を図る。人文・社会科学に係わる研究者が 本格的に実施参画することが必須

研究領域

研究開発課題参画機関

幹事機関及び民間企業３社以上※異業種は含まなくても可

民間企業

本格実施フェーズ（3 〜 6 年度目）

３課題以上を設定

コンソーシアム全体で民間企業から 25 百万円程度を集める
1 社あたり５百万円拠出が基本

研究開発課題５課題以上を設定

幹事機関を含み３大学及び民間企業（異業種含む）10 社以上
コンソーシアム全体で民間企業から 100 百万円以上を集める
１社あたり 10 百万円拠出が基本

博士学生の雇用 民間資金を用いて RA（リサーチアシスタント）を３名雇用 民間資金を用いて RA を 10 名雇用
体制等

10共創コンソーシアムを形成「産学官連携による共同研究強化のためのガイドライ 同左ン」に基づく産学連携マネジメント改革に取り組む

領域統括

研 究 開 発 課 題 4 研究代表者

澤田 和明

野田 俊彦

研究開発課題 1 〜 3 研究代表者

豊橋技術科学大学

豊橋技術科学大学

センサ科学研究所 准教授

電気・電子情次世代半導体・報工学系教授／次世代半導体・センサ科学研究所長

研究開発課題 5 研究代表者

研 究 開 発 課 題 6 研究代表者

豊橋技術科学大学

山梨大学

髙山 弘太郎機械工学系教授／次世代半導体・センサ科学研
究所

小泉 修一
学域

大学院総合研究部

教授／医学部

医

医学部長

教授

研究開発課題 7 研究代表者

研 究 開 発 課 題 8 研 究代表者

東京大学

豊橋技術科学大学

坂田 利弥

マテリアル工学専攻准教授

石井北崎 充晃学系

仁

情報・知能工教授

村上 健介

OPERA 人材育成委員長／豊橋技OPERA 研究戦略委員長／豊橋技術科学大学 非常勤講師

術科学大学 電気・電子情報工学系
研究員

冨田充

川合 悦藏

OPERA 知財戦略委員長／一般社

OPERA プロジェクトマネージャー

団法人豊橋センサ協議会／豊橋技術科学大学

理事

研究推進ア

ドミニストレーションセンター特任教授

馬場 清一
OPERA

Project

Management Oﬃce URA ／豊橋技術科学大学

研究推進アドミニストレーションセンター URA

11

豊橋技術科学大学
OPERA Project Management Office
opera@ofﬁce.tut.ac.jp

2023年7月版

国立大学法人豊橋技術科学大学

OPERA Project Management Office〒441-8580 愛知県豊橋市天伯町雲雀ヶ丘1-1

https://opera.tut.ac.jp/

opera＠office.tut.ac.jp