News Release
令和 5 年 9 月 20 日
各報道機関文教担当記者

殿

10 億分の 1 秒を捉える超高速マシンビジョン：
光 AI を用いたイメージ処理技術を開発
金沢大学理工研究域機械工学系の砂田哲教授，新山友暁准教授，自然科学研究科機械科学専攻博士前期課程の山口智也，修士修了生の荒井航平，埼玉大学大学院理工学研究科数理電子情報部門の内田淳史教授の共同研究グループは，リザバー計算（※1）と呼ばれる小脳を模したニューラルネットワーク（※2）を実装した光集積回路などに基づいて，サブナノ秒（10 億分の 1 秒以下）の時間スケールで起こる超高速現象をリアルタイムに認識・検出できる新しいマシンビジョン（※3)技術の原理実証に成功しました。
近年の人工知能（AI）・機械学習の急速な進展により，コンピューティングの需要が爆発的に増加しています。それに対処する新しいコンピューティング技術として，「光」を利用したニューラルネットワーク（NN）処理および光回路技術が注目され，世界的に開発が進められています。しかし，光の持つ物理的な性質から，既存の電子型 NN 回路に匹敵する大規模な NN 回路の開発は難しく，画像のような膨大な視覚情報を高速に処理することは困難と考えられてきました。また，これまで開発されてきた光 NN 集積回路の多くは，カメラのようなイメージセンサで取得した画像を処理することを前提にしていたため，通常のカメラでは捉えられない高速な現象の認識や突発的な現象に対する瞬時の情報処理による判断・認識は困難と考えられてきました。
本研究では，ゴーストイメージング（※4）と呼ばれるイメージング手法に基づき，カメラを用いずに観測対象の画像情報を取得し，それをリザバー計算と呼ばれる光 NN 回路で処理する光のマシンビジョン技術を開発しました。これにより，視覚情報の取得から AI での判断プロセスまでを全て光のまま実行できるため，人間では決して捉えることのできない 10 億分の 1 秒以下（サブナノ秒）のタイムスケールで起こる現象をリアルタイムに認識したり，そこで発生する未知の異常を検出したり，さらにはそのような高速現象の録画・再生が可能になります。
今後さらに開発を進めることで，これまでにないオンチップ型の超高速イメージプロセッサへの発展が可能となり，基礎科学分野だけでなく，光通信分野や自動運転の事故防止などリアルタイムでの認識・判断・制御が必要となるさまざまな場面での活躍が期待できます。
本研究成果は，2023 年 9 月 14 日に Nature Publishing Group の『Communications Physics』誌に掲載されました。
1 /9

【研究背景】
人工知能（AI）・機械学習技術の急速な進展により，コンピューティング技術を革新する新しいハードウェアへの需要が急増しています。その中で，光を情報キャリアとするコンピューティング（光コンピューティング）は，従来の電子型コンピューティングにおける主要な制約を克服し，AI で必要となるさまざまな演算を超高速・低遅延かつ超低消費エネルギーで実現する可能性を秘めており，次世代のコンピューティング技術として大きな期待を集めています。
光コンピューティング研究では，最近のシリコンフォトニクス技術（※5）や光通信技術の進展とも呼応して，脳内の働きを模したニューラルネットワーク（NN）を光集積回路上に実装する研究が多く行われており，現在では，光 NN は欧米を中心に急激に発展しています。光 NN に演算の一部を委託することで，演算の低遅延化や省電力化を図ることが可能となり，外界からの光を直接的に処理できるメリットからセンサと合わせた AI アクセラレータ（※6）やエッジコンピューティング（※7）としての応用が期待できます。
しかし，現在の光 NN 回路研究の多くは，コンピューターの一部に組み込むことを前提としており，センシングデータを直接的に，光のまま処理することを前提に開発されてきませんでした。そのため，光 NN の処理速度がいくら優れていても，センサにおけるデータ取得と処理速度によって，全体の処理速度が制限されていました。特に，イメージセンサ（カメラ）を使用する場合，カメラによって収集された大量の視覚情報を取得し処理することが必要ですが，通常のカメラのフレームレートは一秒間にせいぜい 60 枚程度であるため，数十ミリ秒以下の時間スケールで起こる高速な現象を捉えたり，突発的な現象への対処（例えば，飛び出しが生じた場合の瞬時的な認識・判断）したりすることは困難でした。
また，現在の光集積回路技術では，光の波長（数百 nm）で光コンポーネントのサイズは制限されるので，数十 nm 以下の微細スケールにも対応可能な電子回路と比較して，大規模な回路製作は困難です。よって，外界から取得される大量の視覚情報を，NN 回路に入力するためのニューロンの数（入力チャンネル数）を増やすことは容易ではなく，低遅延かつ高速に処理する技術の発達が妨げられていました。
【研究成果の概要】
本研究では，上述の 2 つの課題を克服する新しいイメージ処理技術を開発しました。本技術の特徴の 1 つは，カメラを用いずに外界からの視覚情報を取得して光 NN での処理を可能にする点です（図 1）。カメラは，多数の光検出器からなるセンサであるため，大量のイメージデータが一度に取得されるので，入力チャンネルの数が少ない
小規模な光 NN 回路単体では，データを処理しきれずに演算の高速化が困難という問題がありました。しかし，本技術では，観測したい物体の視覚情報を，一旦，音声データのように時間的に変動する 1 次元の信号（時系列信号）に変換することで，1 つのチャンネルだけで光 NN 回路に視覚情報を入力させて処理させることが可能となります（図 1）。この情報変換の方法は，ゴーストイメージングと呼ばれる，単一画素でイメ2 /9ージングを可能にする技術からヒントを得ています。単一画素で視覚情報を取得する
新しいイメージング手法として注目を集めているゴーストイメージングでは，空間光変調器（※8）を使って複数枚のランダムパターンをつくり，それらを切り替えつつ観測したい物体に投影する必要があるため，高速なイメージ取得は困難と考えられてきました。本研究ではこの問題を克服するために，高速処理を得意とする光通信技術をベースにして，光スペックルパターン（※9）と呼ばれるランダムパターンを生成する
新しい空間光変調方法を開発しました。これにより，従来の 1000 倍に近い 25 ギガヘルツ（一秒間に 250 億回の切り替えの速度）でランダムパターンの高速生成が可能になりました。このスペックルパターンを用いることで，カメラのフレームレートを遥かに超えるような高速な現象の視覚情報を光のまま取り込み，直接的に光 NN 回路に入力することが可能となりました。
また，上述の手法にて時系列信号として取得された視覚情報は，時系列信号の処理を得意とする光リザバー計算回路を用いて処理できます。本研究で開発された光リザバー計算回路では，微小共振器（※10）の構造を採用することで仮想的に多くの光ニューロンが高密度に内包されます。そのため，小規模の回路でありながら大量の情報を低遅延で処理でき，さらに少数個の学習データから精度の高い認識処理を実行できました。
以上の技術に基づき開発されたシステム上で，高速現象の認識・判断に関する簡単なデモを行った結果を図 2 に示します。外部ディスプレイに映した手書き文字のイメージを 1％程度まで圧縮し，1 ナノ秒（＝10 億分の 1 秒）以下の時間でイメージのデータを取得・処理することが可能です。また，本システムは高速な異常検知にも有効です。異常検知はリアルタイム性が重要となりますが，通常の手法では，大量のデータ処理が必要とされるため時間がかかり，リアルタイム性を損なうことがあります。一方で，本開発手法では，0.4 ナノ秒での超低遅延で異常検知可能なことが示されています。
さらに，本研究で開発したマシンビジョンシステムはイメージの認識・検知だけではなく，イメージの高速録画を可能とするポテンシャルも備えています。本技術では，観測したい対象からの視覚情報を時系列データに変換するため，光通信分野で開発された単一画素の高速光検出器でデータを記録することが可能となり，記録した時系列データを復元用の NN によりイメージへと変換できます。本手法は，従来の高速イメージング手法と異なり，パルスレーザーやストリークカメラのような大型機器を用いずに，汎用的な光通信コンポーネントのみで構成できます。また，時間分解能を自由に変えることや連続撮影も可能です。そのため，ナノ秒以下の時間スケールで発生する現象の録画・再生が可能となり，認識・判断だけでなく，その現象のイメージ分析も可能になると考えています。図 3 に高速イメージングの一例を示します。デジタ
ルマイクロミラーデバイスという特殊なディスプレイに，手書き文字を表示してスイッチングさせたときのイメージング結果です。このように，マイクロ秒にわたる長い現象もナノ秒程度の分解能で捉え，そこで生じた現象を分析することにつながります。
3 /9

【今後の展望】
本研究で開発された高速マシンビジョン技術は，汎用的な光コンポーネントのみで構成されており，将来的にはオンチップ型のイメージプロセッサへの発展も可能です。
そのため，実験室の中だけでなくさまざまな場所や場面で活躍できる新しい高速イメージ処理技術として発展できます。例えば，自動運転車に搭載して，突発事故の防止やこれまで見過ごされてきた現象の検知や認識，または高速かつ低遅延での処理を必要とする光通信分野での情報処理，さらに顕微鏡と組み合わせてミクロな世界の高速イメージングや高速制御など幅広い分野への展開が期待できます。

本研究は，科学技術振興機構（JST）戦略的創造研究推進事業さきがけ「革新的コンピューティング技術の開拓」（研究総括：井上弘士 九州大学大学院システム情報科学研究院教授）研究領域における「光波動コンピューティングの展開」（研究者：砂田哲）（JPMJPR19M4），学術変革領域 A 計画研究「光多重化によるフォトニックコンピューティングデバイスの変革」（22H05198）, 日本学術振興会科学研究費助成事業（基盤研究A 19H00868，基盤研究 B 20H04255），公益財団法人 JKA 補助事業の支援を受けて実施されました。

従来研究
認識・分析
プロセッサ

カメラ（イメージセンサ）
メモリ・データ変換

表示

データ伝送

光電変換やメモリ伝送など→低遅延化困難

本研究

イメージ情報を音声のような時系列信号に圧縮・変換

イメージ変換光ニューラルネット
プロセッサ

認識・分析

イメージ再構成
単一の入力チャンネルしかなくても、光のまま処理

イメージ取得からNNまで全て光信号として光速・低遅延処理例）光リザバー計算回路

図 1．従来研究と本研究の違い。
カメラで捉えたイメージデータはさまざまな変換や伝送プロセスを伴うため，低遅延処理が困難であるが，本研究はイメージデータを光のまま低遅延で処理可能。イメージを
光 の 時 系 列 デ ー タ に 変 換 す る た め ， 単 一 入 力 の 光 NN で も 高 速 な 処 理 が 可 能 。

4 /9

(a)
測定対象
高速ランダムパターン生成器

Outputs
Input
レンズ

50 µm

イメージ変換部光リザバー計算回路

イメージ認識 正答率 (%)

(b)

分類結果
“0”
“1”
“2”
“3”

イメージ圧縮率 (%)

イメージを約1%に圧縮して0.56ns
短時間でのイメージ取得・処理

イメージ１枚の取得時間 (ns)

図 2．(a)本研究の高速マシンビジョンシステム。ランダムパターンを高速にスイッチングするプロジェクタを開発し，ランダムパターンを測定対象に照射して，その反射光を光リザバー計算回路へ入力。挿図は，本研究で開発した光リザバー計算回路の写真。シ
リコンチップ上に作製。回路サイズは 50μm×150μm。(b)あるディスプレイに写した手書き文字を，本手法で認識させた結果。

5 /9表示イメージのスイッチング

Time: 500 ns

1000 ns

3000 ns

4000 ns

5000 ns

6380 ns

7180 ns

7360 ns

8300 ns

10000 ns

15000 ns

19000 ns

図 3．高速イメージングの例。DMD ディスプレイに写した手書き文字の時間変化を本開発のシステムで捉えて，復元用 NN によりイメージ再構成した結果。数マイクロ秒で発生するスイッチングを時間分解能 20 ナノ秒でイメージング。連続的なイメージ取得が可能であり，時間分解能はサブナノ秒以下まで任意に調整可能。

【掲載論文】
雑誌名：Communications Physics
論文名： Time-domain photonic image processor based on speckle projection and reservoircomputing（スペックルプロジェクションとリザバーコンピューティングに基づく時間領域光イメージプロセッサ）
著者名：Tomoya Yamaguchi, Kohei Arai, Tomoaki Niiyama, Atsushi Uchida, and Satoshi Sunada（山口智也，荒井航平，新山友暁，内田淳史，砂田哲）
掲載日：2023 年 9 月 14 日にオンライン版に掲載
DOI：10.1038/s42005-023-01368-w
URL: https://doi.org/10.1038/s42005-023-01368-w

6 /9

【用語解説】※1 リザバー計算（Reservoir Computing）
時系列データの処理を得意とする再帰型ニューラルネットワークの一種であり，最近
では，小脳での情報処理モデルとの類似性が指摘されている。リザバー計算は入出力層に加えて，リザバー層に巨大なランダムネットワークを用いる。再帰型ニューラルネッ
トワークと異なり，ランダムネットワークでの学習は行わないので，簡単な最適化法で学習が可能である。本研究では，リザバー層として利用するランダムネットワークを光集積回路上に実装している。なお，リザバー計算は，文献によってはリザーバーコンピューティング，レザバーコンピューティング，レザボア計算などとも呼ばれている。
※2 ニューラルネットワーク（Neural Network, NN）
脳内にある神経回路網の一部を模した数理モデルであり，近年の人工知能の中核的機能を担っている。特に，記憶機能として働くフィードバックループを有するニューラルネトワーク（NN）は再帰型 NN と呼ばれ，時間変化する情報（時系列データ）の処理に用いられている。
※3 マシンビジョン（Machine Vision）
人間を介することなく，自動的にイメージデータを取得・処理・解析する技術や方法のことであり，ロボットや産業機器に人間の視覚を持たせる技術ともいえる。
※4 ゴーストイメージング（Ghost Imaging）
カメラのように視覚的な 2 次元情報を取得するデバイスを用いることなく，光の強さしか測定できない単一の検出器だけでイメージを取得する手法である。この手法では，ランダムなパターンを観測したい対象に投影し，そこから反射した光の強さを単一の検出器で検出する。独立したランダムパターンを何回も投影して，反射光の強さを記録しておき，そこから観測対象のイメージを再構成する。高性能なカメラが開発されていない波長帯や微弱な光しかない状況でも，イメージングが可能となる。ただし，通常のゴーストイメージングでは，ランダムパターンは空間光変調器を用いて生成しているため，イメージ取得のフレームレートを高くすることは困難であった。同等の手法として，シングルピクセルイメージングと呼ばれる手法もある。
※5 シリコンフォトニクス（Silicon Photonics）技術
半導体電子デバイスの製造技術をベースにして，シリコン基板上にさまざまな光コンポーネントを集積化させるための技術。小型であり，電子回路との親和性も高い光回路を作製することができる。
※6AI アクセラレータ （AI Accelerator）
ニューラルネットワークの演算を高速化（アクセラレーション）させることに特化して開発されるハードウェア。
7 /9

※7 エッジコンピューティング（Edge Computing）
ユーザーや端末の近くでデータを処理すること。端末の近くで処理することで，通信遅延や上位システムへの負荷を低減できる。
※8 空間光変調器（Spatial Light Modulator, SLM）
光の空間分布（振幅，位相，偏光）などを変化させるための装置。液晶を用いた空間光変調器や多数の微小な鏡を使った空間変調器などがある。ゴーストイメージングだけでなく，レーザー加工，光ピンセット，ホログラフィーなどに用いられる。
※9 スペックルパターン（Speckle Pattern）
レーザー光をすりガラスのような散乱体やコア径の大きい光ファイバ（マルチモードファイバ）に照射して，光の強さを測定したときに見られる光の斑点模様。乱反射や多様な光伝搬，そして複雑な干渉の結果として生じる。
※10 微小共振器（Optical Microcavity）
微小な空間領域に光を高効率に閉じ込めるためのデバイス。楽器（音の共振器）と同じように，共振器の形で光の制御が可能となる。本研究では，共振器の形を工夫することによって，リザバー計算で用いるランダムネットワークを形成させた。

8 /9

-------------------------------------【本件に関するお問い合わせ先】■研究に関すること
金沢大学理工研究域機械工学系 教授
砂田 哲（すなだ さとし）
E-mail：sunada@se.kanazawa-u.ac.jp
埼玉大学大学院理工学研究科数理電子情報部門
内田 淳史（うちだ あつし）
TEL: 048-858-3490
Email: auchida@mail.saitama-u.ac.jp■広報担当
金沢大学理工系事務部総務部総務課総務係
小橋 直（こばし なお）
TEL：076-234-6826
E-mail：s-somu@adm.kanazawa-u.ac.jp
埼玉大学総務部広報渉外課広報係
TEL：048-858-3932
E-mail：koho@gr.saitama-u.ac.jp

9 /9教授