立石科学技術振興財団

助成研究成果集(第27号) 2018

立石賞特別賞の受賞記念講演概要

超高速ビジョンの開発と高速知能システムへの応用
東京大学大学院 情報理工学研究科 教授

従来の画像処理が主に空間分解能の向上に主り，高次の判断を経て眼があり，時間軸としてはビデオレート，すな運動系の制御信号が運

わち 30 fps を用いていたのに対して，画像の動系に送られるという時間分解能にこだわり，機械システムのダイナアーキテクチャであるミクスをカバーする高速領域の画像処理システ

が，この場合，時間がムを様々な形で実現し，今まで画像の遅さに起かかるモジュールが感因して高速性が実現で来ていなかった応用分野

覚系と運動系の間に存を開拓し，高速ビジョンの世界を構築してきた。

在するため，高速性を石 川 正 俊この際，画像処理だけを高速化しても，その実現できない。これに対して，低次のセンサ高速性を利用するシステムに低速の要素が混フィードバックループを並列に動作させる並列じっているとその性能に起因して全体の性能に分解は，高速性を実現できるモデルであり，さ限界を生じるため，システム全体を高速化するらに数学的に厳密な直交分解が理想的なタスクことが求められる。このため，高速画像処理を分解方法ととして提案されている。

基盤として，処理系や運動系等とともに新しいさらに，筆者らは，システムの設計思想とし機能を生み出すシステムを総称して高速ビジョて，「ダイナミクス整合」を提案している。こンと呼んでいる。

れは，感覚系としてのセンサ，処理系としての従って高速ビジョンは，システムのダイナミコンピュータ，運動系・表示系としてのアククスを把握・制御し，新たな知能システムを生チュエータやディスプレイのすべてのダイナミみ出すことを意味している。歴史的には，1993

クスを対象や環境のダイナミクスをカバーする年に筆者らが発表した SPE-4k が高速画像処理帯域で設計することを意味している。ある意味の第一歩であったが，その後，種々の高速画像で自明の考え方であるが，従来のシステムでは，処理ハードウェアを開発するとともに，様々な実際に実現できるデバイスを優先して，対象の応用展開の中で高速ビジョンが生み出す新しいダイナミクスをカバーできない要素を用いたシ世界を作り上げてきた。

ステムで高速性を実現しようとしている点に無理がある。
このようなシステムでは，対象や環境の情報高速ビジョンの基本構造
高速ビジョンを実現するためには，そのシスに欠落を生じ，それを補うために，学習，推測，テムアーキテクチャも高速性を実現するもので補間等，情報の欠落を補う複雑なアルゴリズムなくてはならない。一般に知能システムは階層が必要であった。これに対して，ダイナミクス的並列分散構造を取ることになるが，その際，整合のもとでは情報の欠落はなく，簡単なアル与えられたミッションに対してタスク分解の構ゴリズムで大きな効果が実現できる。

造が重要となる。筆者が直列分解と名付けてい従来の知能ロボットは，繰り返し精度を評価る方法は，センサの情報を認識モジュールに送指標としたプレイバック制御が主流であったが，― 10 ―

Tateisi Science and Technology Foundation

非プレイバック制御時には，ダイナミクスの不バーする時間密度でのサンプリングを前提とす

確定性やギアのバックラッシュによって，極端ることにより，従来の画像処理とは違ったアルな精度の低下を生じるが，従来のロボットの手ゴリズムが効果を発揮する。特にトラッキング

先に高速ビジュアルフィードバック装置を付加

では，フレーム間で，対象の変化がほとんどなすることにより，ロボットのダイナミクスや不いことから，極めてシンプルなアルゴリズムで確定性等も含めて高精度な制御を実現することも優れた性能を実現できる。筆者らの研究室でが可能となる，筆者らはこのような制御方法をは，この考え方に基づき，様々な高速画像処理

ダイナミック補償と呼び，高速高精度な産業用用のアルゴリズムを開発している。
また，知能化されたイメージャという観点かロボットの実現のための構成方法・制御方法とら，高速ビジョンネットワークへの展開が期待して提案している。
また，カメラの光軸を高速のアクチュエータされている。その際，高速化でカメラ間の同期で駆動・制御することにより，固定視野のカメの問題が顕著となるため，ネットワークカメララでは得られない画角や位置精度を得る方法をの時間管理方法の開発が必要となる。

アクティブビジョンと呼び，高速画像処理による対象の認識と位置の計測から得られる時間密

高速ビジョンの応用展開

度の高い情報を用いて，カメラの光軸を対象物

これらの設計思想に沿って，ハードウェアをに合わせたトラッキング撮像を可能とする方法開発し，様々な形で高速ビジョン並びにその応として，新しい応用が開拓されている。

用システムが開発されている。
ヒューマンインターフェイスの分野では，速度が 100 km/h を超える人間の動作を計測し，高速画像処理のハードウェア高速画像処理の実現に，通常の CPU や GPU

遅延なく人間に提示する高速低遅延ジェスを用いると，走査回路に速度限界が存在するこチャー認識システムが開発されている。このシとから，十分な速度を得ることは難しい。そこ

ステムでは，高速画像処理と高速提示デバイスで，撮像素子とボトルネックのないアーキテクにより，人間が入力と提示のずれを感じることチャが必要となる。筆者らは，イメージャと並のない快適なインターフェイスが実現されてお列処理を結合する方法として，画素ごとにフォり，パソコンのタッチ操作をエミュレートする

トディテクタとプロセッシングエレメントを直ものや没入感の高いゲームインターフェイス等結した完全並列タイプ，行側の走査回路を残しが実現されている。

た列並列タイプ，さらには小数のスタンダード

これを利用して，無拘束空中像や 3 次元像のな転送回路を用いたタイプ等を開発してきた。

ジェスチューでの操作や自動車のヘッドアップ

昨 年 の ISSCC で，わ れ わ れ の 研 究 室 と ソディスプレイ (HUD) の 3 次元化 (コニカミニーが共同で，積層型のビジョンセンサーを発ノルタとの共同研究) が実現されている。

表した。これは，1 層目が高速高感度の CMOS

また，ターゲットトラッキングを用いたトイメージャで，2 層目が列並列の A/D 変換とラッキング撮像装置では，卓球のボールのトそれに繋がる並列 PE を実装したものとなってラッキング撮像等のスポーツサイエンスへの応いる。現在，商品版が開発・市販され，(株)エ用や高速飛翔体の周りの衝撃波の観測 (科学警

クスビジョンから SDK が開発・市販されてい察研究所との共同研究) 等の科学計測で活用さる。

れるとともに，トラッキングされている光軸を高速画像処理のアルゴリズムは，一般の画像利用することにより，運動する対象物にプロ処理の高速化ではない。処理対象の帯域をカ

ジェクションマッピングを実現するダイナミッ― 11 ―

立石科学技術振興財団

クプロジェクションマッピングやレーザードッ

一般的なロボットは，プレイバックあるいはプラー装置を用いて運動する対象の振動計測等ビデオレートのビジュアルフィードバックを用も実現されている。

いているので，高速であれば対象の変化に対応

ダイナミックプロジェクションマッピングとできず，ビジュアルフィードバックで適応性をしては，対象が布や紙のように変化する物体で出そうとすれば速度が落ちてしまうという問題ある場合には，新たに東京エレクトロンデバイを抱えている。そこで，手先に高速ビジュアルスと共同研究により開発した 1,000 fps の高速フィードバックを導入することにより，人間がプロジェクターを用いることにより，変形する投げたボールを 100% 打ち返すバッティングロ

T シ ャ ツ や 紙，さ ら に は 人 間 の 顔 等 に プ ロ

ボットや逆に動作範囲内に入ってきた人間等のジェクションマッピングを実現するシステムが対象物を回避するロボットシステムが開発され開発されており，メディアアートとしても作品ている。

が発表されている。

また，通常の産業用ロボットをラフな教示，ミラーによるトラッキング撮像を用いると，例えば簡易型のビジョンによる教示に基づく動動いているカメラからブラーのない撮像を実現

作に対して，ダイナミクスを含めて手先に取りすることも可能である。Nexco 中日本との共付けた高速ビジュアルフィードバックシステム

同研究により，トンネル壁面の 0.2 mm のクでエラーを補償することにより，高精度・高速ラックを時速 100 km の車両から観測するシスな動作を実現するロボットシステムも提案されテムも開発されており，既に実証実験が行われている。このような方法をダイナミック補償とている。このシステムは工場で長尺ものを扱う呼んでいる。
産業用ロボットの代わりに，人間の動作に対際の検査装置にも適用可能であり，様々な展開しても，この方法を適用することが可能で，人が期待されている。
高速マルチターゲットトラッキングでは，間の動作の高速化・高精度化を実現することが1,600 個程度までの複数対象物の高速同時ト可能となる。このようなシステムをアクティブラッキングが可能であり，例えば 32×32 のスアシスタントと呼び，次世代の人間機械協調シポットのパターン照明を用いることにより，ステムの一つのソリューションを提供するもの

1,024 点の 3 次元情報を 1 ms ごと得るシステと考えている。
また，高速のロボットハンドを開発し，高速ムが開発されている。これもエクスビジョンにビジョンと組み合わせることにより，落下するより，実用化されている。
この高速 3 次元形状計測機能を用いて，本の生卵をキャッチするハンド，ツールの持ち替え電子スキャンシステムも開発されている。1 分を投げ上げで実現するリグラスピング，さらに間に 250 ページの電子化が可能である。

は高速指ドリブル，ピンセットキャッチ，柔軟

回転対象の検査では回転光学系を用いて回転方向のトラッキング撮像を実現し，顕微鏡像に体ハンドリング，人間に 100% 勝利するじゃんけんロボット等が実現されている。

対しては，XY ステージに高速トラッキング情さらに，このハンドで開発された高速アク報をフィードバックして，運動する対象物の安チュエータを用いて，ビジュアルフィードバッ定かつ長時間の観察を可能にしている。

クにより，不安定な姿勢でも，多少の悪路でもZ 方向に対しては，高速可変焦点レンズを用いてトラッキングが可能であり，また複数の奥走行可能な高速二足走行ロボットも開発されている。
この他，高速ビジョンは，自動車や飛行体の行き方向高速スキャン像を用いた全焦点画像の取得も 1,000 fps で可能となる。

ビジョンによる制御やビジョンチップの演算機― 12 ―

Tateisi Science and Technology Foundation

図1

高速ビジョンの開発

能をネットワークにアップする情報の高機能化

これを解決するには，知能システム全体の時や情報圧縮に使おうという試みも行われており，間密度と空間密度をセンシング，プロセシング，数多くのビジョンチップを用いたビジョンネッ

アクチュエーションあるいはディスプレイの各トワークによるセキュリティシステムが考えら要素並びにシステム全体の観点から，ダイナミれている。

クス整合のデザインコンセプトに基づき，並列これらの研究成果は，研究室の成果集 とし分解に基づくタスク分解を設計する必要がある。てまとめられ，動画は動画サイト にアップさ

このことは，リアルタイム実世界に対応するれている。それらの普及のため，WINDS ネッ

知能が，非リアルタイムの世界で動作する知能

トワークが 2 年前に設立され，様々な分野に対とは一線を画すものであることを意味し，工場して応用展開が検討されている 。の製造ラインの設計や自動車の制御系の設計に1)2)3)通じるものである。つまり，欠落のある情報に対する非リアルタイムの知能を起点とすること知能システムの未来知能システムあるいは AI に関しては，現在，ではなく，時間密度と空間密度が十分で欠落の様々なコンセプトやプロジェクトが提案・実施ない情報を用いたリアルタイム系の知能に起点されている。それらの多くは，既存の膨大なを置き，そこに高次の知能を埋め込む方向性がデータに対して，学習により，高度な機能を実重要となる。

現したものが多く，その高機能性はデータの大きさに起因するものであり，その要因以外については言及されることが少ない。そもそものデータの構造をその取得から考えることが少なく，センシングの構造を目的の機能の実現のために議論することは少ない。特に，サンプリングが不十分な時間密度と不十分な空間密度で得られたデータに対しては，限界が存在する。

文献1 ) 石川妹尾研究室 研究成果集http : //www. k2. t. u-tokyo. ac. jp/Booklet/index-j.
html2)

YouTube Ishikawa Senoo Laboratory Channel
https : //www.youtube.com/user/IshikawaLab3 ) WINDS ネットワーク
http : //www.winds-network.org/― 13 ―