CONTENTS

高速画像処理の基本思想と事業化

毎秒 1000 コマで動く知能システム ……………………………………………… 4

高速画像処理が開く未来東京大学 情報基盤センター データ科学研究部門

石川正俊 特任教授

視覚表現の常識が変わるディスプレー

エンタメやファッションを視覚から変える ……………………………… 6

ダイナミックプロジェクションマッピングを実現する高速プロジェクター
東京工業大学 工学院

渡辺義浩 准教授

身の回りの紙面を瞬時にタブレット端末に変える ………………… 8
運動追従投影機能を内蔵するインテリジェント高速プロジェクター
東北大学 大学院情報科学研究科

鏡慎吾 准教授

新型コロナ禍でタッチレス空中
インターフェースの注目度が急上昇 ………………………………………… 10

シースルー構造を有する全周型インターフェースの開発
宇都宮大学 工学部

山本裕紹 教授

高度化が進む高速 3 次元形状計測

動く物体を高速スキャニング ……………………………………………………… 12
超高速携帯型 3 次元スキャナーの開発
東京大学 情報基盤センター データ科学研究部門

田畑智志 特任助教

物体の「質感」を取得して操る…………………………………………………… 14
人の知覚を超えた高速情報システムの構築
東京大学 情報基盤センター データ科学研究部門

宮下令央 特任講師

応用分野が広がる高速画像処理

高速画像処理に基づく運動と画像の関係の解明 ･ 制御 …………………………………………………… 16

インフラ点検システムの開発と映像遅延の影響の解明
東京大学 情報基盤センター データ科学研究部門

早川智彦 特任准教授

焦点が異なる複数の画像を同時に撮影 …………………………………… 18
露光タイミング制御による任意フォーカス技術
群馬大学 情報学部2

奥寛雅 教授自動運転に貢献する高速画像処理

高精度な自動運転をサポート ……………………………………………………… 20
高速ビジョンを用いた車載画像処理システム
平野正浩 助教

東京大学 生産技術研究所

ヒューマンインターフェースの新展開

画像処理技術を核に機械と人とのインタラクションを高速化…………………………………… 22
高速ビジョンを使ったユーザーインターフェース
埼玉大学 理工学研究科

小室孝 教授高速広域計測投影システムにより
スポーツ支援や生物の健康管理が可能に ………………………………… 24
光学系を駆使した広域かつ高速に動くモノの画像計測
東京大学 情報基盤センター データ科学研究部門

末石智大 特任講師

人の能力をはるかに超える超高速ロボット「視覚」と「運動」を統合し、人を超える高速・高機能ロボットを実現…………………………………… 26
高速ビジョンを活用した知能ロボットシステム
千葉大学 大学院工学研究院

並木明夫 准教授

ロボットのダイナミックな動きを実現… …………………………………… 28
高速ビジョンと衝突・衝撃の完全制御による高速ロボティクス
広島大学 大学院先進理工系科学研究科

妹尾拓 准教授

柔軟物操作と人間ロボット協調を実現… …………………………………… 30
高速ビジョンシステムと高速ロボットを駆使した高速柔軟ロボティクス
東京大学 大学院情報学環・学際情報学府

山川雄司 准教授

人間と機械が協調して高精度・高効率作業を実現 ……………… 32
人間の知能と機械の高速・高精度を一体化する
東京大学 情報基盤センター データ科学研究部門

黄守仁 特任講師

新機能が生まれるセキュリティーシステム

人の正面顔を正確に認識する
セキュリティーシステムを構築……………………………………………………… 34
分散型高速カメラネットワークと顔ポーズトラッキング東京大学 情報基盤センター データ科学研究部門

金賢梧 特任助教

カメラ 1 台で複数台の役割を果たす監視システム ……………… 36
高速ビジョン技術によるトラッキング型広域監視システム
広島大学 大学院先進理工系科学研究科

石井抱 教授3

高速画像処理の基本思想と事業化

毎秒 1000 コマで動く知能システム
高速画像処理が開く未来東京大学 情報基盤センター データ科学研究部門

石川正俊 特任教授

う。動画共有サイト「ユーチューブ」に投稿した動画は海外からのアクセスも多い。

く “ 機械の時間 ” で動かす必要がある

初 め て 毎 秒 1000 コ マ の 速 度 で 動かすことに成功したのが、93 年にス「人間の目」がかつての基準

未来の知能システムは、人間ではなのことだ。

ケールアップモデルとして開発した
並列ビジョンシステムだ。99 年には毎秒 1000 コマ（1000fps）のスピー

LSI としてワンチップ化したが、当時ドで画像処理する技術が石川グループの分解能は 64 画素 64 画素だった。

研究室のコアテクノロジーになっていその後ソニーと共同で開発し、「半導るが、これは従来の発想ではあり得な体のオリンピック」と呼ばれる 2017

かったことだった。かつて画像処理と年の国際会議（米 ISSCC） で発表し言えば、人間の目の認識速度と同じ毎た CMOS イ メ ー ジ ャ は 1296 画 素

秒 30 コマ程度の速さがその基準だっ976 画素の分解能を達成。高速で画像た。人間の目がこれ以上の速さには反処理できる積層型の小型チップは大き応できないからだが、機械の軸で見るな話題を集めた（毎秒 1000 コマではとこれでは遅すぎる。

31 万画素）。

――。高速画像処理の研究で世界の画像の認識は、そもそも時間がかか

もっとも画像処理の高速化だけではトップを走る東京大学特任教授の石川るものと多くの研究者が諦めていた。

知能システムは実現できない。高速演

正俊さんは、「高速性」を武器に数々これに対し、石川さんは「ロボット算が可能な並列コンピューターを整備のシステムを世に送り出してきた。

を的確に制御しようとしたら、毎秒し、続いてモーターを改良してアク

勝率 100％の「じゃんけんロボット」

1000 コマ、すなわち 1 ミリ秒間隔でチュエーター全体の高速化に取り組ん

や、毎分 250 ページという高速で本画像処理しないと間に合わない」と、だ。さらに表示用ディスプレーの処理をスキャニングできる装置などは有名

当時は無謀だと思われていた画像処理速度も向上し、「周辺技術も併せて高でメディアで目にした人もいるだろの大幅な高速化を目指した。1988 年

速化を達成することで、30 年前に思絶対に負けない――勝率 100％の「じゃんけんロボット」

実用化されたソニーのチップを使った高速ビジョンカメ
ラ。並列処理回路を内蔵し、高速画像処理を実行できる4

ヒューマン
インターフェース
各種入力装置
無拘束動作入力
ユーザーにまったくストレスを感じさせない知能システム
映像・メディア

遅延1ms、3Dで人の動きを時空間完全把握

撮像・視線制御
対象トラッキング
新たな撮像手法・
映像表現を生み出
す知能システム

高速アーカイブ
高速３Ｄ入力
質感計測
高速・高品質な実世界アーカイ
ブ知能システム

従来比１桁以上アー
カイブ化の効率向上

バイオ・医療手術の補助
細胞検査
動的対象の検診・検査を実施する知能システム
細胞検査の高機能高速化、医療ロボットの高機能化

自動車・交通障害物検出・回避
自動運転制御移動を完全把握する知能システム

時空間完全把握の性能で時速100km
で衝突回避
FA・高速検査

急速に拡大する応用分野

動的対象のトラッキ
ング撮像、高速時分
割映像表現、対話型
メディア

基盤技術

ビジョンチップ、並列化高速画像処理、
階層的並列分散システム、タスクの並列分解、
高速画像処理アーキテクチャー、
ダイナミクス整合、視覚フィードバック、能動ビジョン、高速トラッキング、
高速３次元形状計測、高速ディスプレー
センサーフュージョン
世界をリードする高速画像処理技術

人間の眼を超える高速・低遅延の実世界知能、認識機能と行動機能の融合

製造ラインの高速化
高速移動対象の制御・検査を 位置制御・検査実現する知能システム
検査の高機能高速高精度化、無停止検
高速ロボット
査の実現、社会インフラの高速検査

自動化率の向上
ロボットの高機能化
人間を超える認識行動機能を有す
る高速知能ロボット
産業用ロボットのブレークスルーの実現

時空間的欠落のない完全監視の知能システム
大人数が集まる場の時空間的監視

セキュリティー

人物トラッキング
個人識別

高速ビジョンが目指す応用展開

い描いた世界がようやく実現した」とめるのが夢」と語る石川さん。高速化担うのが、2016年に石川さんらが設立

石川さんは感慨深げだ。

の導入によって、日本は工場の生産ラした、ソニーや日産自動車など210組

インやロボット、自動車などの得意分

織で構成する「WINDSネットワーク」

野で世界を凌駕することができると確だ。基礎研究から始めて開発した技術

現在の人工知能（AI）は、ディー信する。今後は高機能化や低コスト化を応用して事業化するという、従来の古プラーニング（深層学習）など新しいを進め、社会で活用するステージへと典的な「リニア（直線型）モデル」でアルゴリズムを使った高機能化の研究移る。

はもう世の中の変化には追いつけない。

高機能化ではなく高速化が鍵がその潮流になっている。一方、まず将来、工場のラインなどが高速化

石川さんは「ニーズがわかるという高速化にめどをつけた石川さんは「こを実現し、自動化率が 100％に近づけのは妄想で、未踏の領域ほど潜在化しのアプローチが当たった」とみる。高

ば、社会は一変する。人間による労働たニーズはわからない」と考えてお速に動けば機能は後からでも高められが不要になり、工場は過疎地に作られり、それゆえに新しい技術はその都度るが、「高機能なものを高速化するのる。グローバルに見れば、労賃に左右社会の意見を問い、反応があれば事業は極めて困難」だからだ。

されなくなることから、製造拠点の日化へと一直線に進める。そこには「価石川さんは人間の知能や動作をまね

本回帰が進むだろう。その結果、技術値を決めるのは社会」との認識があるのが AI や知能ロボットではないとの流出やサプライチェーン（供給網）る。複数の研究を走らせつつ、同時に考え、人間の能力をはるかに超えた、の寸断といった多くの問題が解消さ事業化を模索するこの新しい研究開発

機械の時間軸で開発を進めるべきだとれ、日本の製造業の競争力を向上できの手法を、石川さんは「並列スパイラ指摘する。「虎に遭遇したら、私たちると石川さんは期待している。

ル（らせん型）モデル」と呼び、日本のロボットはそれを認識する前にサッと逃げる。一方、普通のロボットは、

社会受容性の追求に定着させたいと意気込んでいる。
高速画像処理を基盤にして、企業とそれが何であるかをのんびりと認識し石川グループ研究室では、高速画像

歩調を合わせながら新たな知能システている間に食われてしまう」。そんな処理を使ったさまざまな知能システム

ムを創造する。それによってもう一比喩で語られることもある。

を開発し、それをPOCとして社会に提度、日本が世界をリードしたい。それ「機械にとっての限界の速さで動示して事業化が可能かどうかの「社会が石川さんの願いであり、後に続く者

く、日本発の知能ロボットを世界に広受容性」を判断している。その役割をに課せられた責務でもある。

ひ

ゆ

5

視覚表現の常識が変わる
ディスプレー

エンタメやファッションを
視覚から変える
ダイナミックプロジェクションマッピングを実現する高速プロジェクター
東京工業大学 工学院

渡辺義浩 准教授
書物の高速データ化を実現
渡辺さんは、東京大学の石川グルー

失われる可能性が高くなるにもかかわらず、ここにも「スピードは必要ない」という固定観念が残っている。

プ研究室時代から高速で物体を撮影「イタリアの知人は、『ローマ時代かし、それを即座に情報として処理し、らの書物が数十〜数百キロメートルもさらに瞬時にそれを活用する研究に取ある』と表現する。何冊ではなくて、り組んできた。2018 年に東大から東積み上げるとそれくらいの高さになる

工大へ移ってからも、さらなる高度化ということらしい（笑）」

を進めている。

これまでのように一般的なフラット「私たちが取り組んでいるのは、セヘッドスキャナーで作業していたら、ンシングやコンピュータービジョンを膨大な時間と労力が必要になる。そこ利用した、機械の目となるカメラの技で渡辺さんは、東大石川グループ研究

術開発です。身近なものでは、スポー室時代に風を使って書物のページをめ

ステージ上で踊っているアイドルのツ中継のスローモーション映像。ただくり、瞬間の画像をスキャニングし、衣装の色や模様がパッと変わったり、し、それと大きく異なるのは、撮影しページのゆがみも自動的に補正して記

舞台上で演じている麗しい天女の表情たものを瞬時に処理するということ。

録する技術を開発した。これにより 1が一瞬のうちに鬼のような形相に変化

これをイメージできない人からは『撮分間に 250 ページという速度でデーしたり――。東京工業大学准教授の渡影してからゆっくり処理すればいいん

タ化することが可能になった。一般的

辺義浩さんは、新たにさまざまな物体

じゃない』と言われてしまう」と渡辺な文庫本であれば 1 冊を 1 分間程度でへの「ダイナミックプロジェクション

さん。

データ化できる計算になる。将来は、うるわマッピング」に成功するとともに、さ確かに人間の視覚認知能力は毎秒

らに高速カラープロジェクターの実現

30 コマ（30fps）程度。動体視力が優によってカラー投影にも成功した。

れている人でも毎秒 60 コマと言われている。それを超えると、例えばパラカラー化した高速プロジェクター

6

生物そのもののアーカイブ化も視野に入れているという。

3D 映像の質感まで再現

パラ漫画がアニメーションに変わる。

こうした高速画像処理の技術を、プ

ところが人間の目では捉えられないもロジェクションマッピングに生かし、のを機械の目で捉えて活用できれば、

拡張現実（AR）の世界を提供しよう

人間にとってリアルタイムと感じる経というのが渡辺さんのもう一つの取験や現象につなげることが可能となり組みだ。例えば白い T シャツに画像る。

（模様）を投影。T シャツには人間の渡辺さんは、これまで人類が残して目には識別できない赤外線のマーカー

きた文化遺産のアーカイブ化も手がけが印刷されていて、それを追うことてきた。例えば書物のデータ化だ。しで常に T シャツの正面に模様が投影さ

かし、アーカイブ化が遅れれば遅れる

れ、さらに生地の伸び縮みに合わせてほど、火災などの不慮の事故により、投影された模様も伸び縮みする。

顔に投影した映像は、目、鼻、口を追って顔の向きや傾き、表情に合わせた映像になる

T シャツには目に見えないマーカーがあって、それを追うことで人の動きに追随して画像を投影。生地の伸び縮みに合わせて、投影した画像も伸び縮みする

また、人間の脳は物体の反射特性を記憶していて、物体を識別している。
ピカピカ、テカテカ、ザラザラ、ツル
ツル…。光の強さとそれがどのようにポケモンがいるように見える。

カラー化でエンタメ業界から注目に動いても常に焦点が合った画像を投影できる。
今後の改良点について、渡辺さんは「一定の成果は出ているが、より高輝反射しているかによって、「金属みた

また、渡辺さんは東京大学と共同で度化を進める必要があるし、小型化しいだ」とか、「プラスチックかも」と高速プロジェクターのカラー化に成て手軽にモバイルツールとして使えるか、「布だな」といったことを触らなく功している。カラー化のためには、ようにしていきたい。また、物体を照ても予測することができるのだ。これ

赤（R）、緑（G）、青（B）の 3 色を挟らした時に、その向こうには影ができを逆手に取り、3 次元（3D）物体に重み込まなければならないが、光源をてしまう。プロジェクターが作り出し畳投影する映像にツルツルした光の反RGB に変えただけでは駄目で、光のた仮想の影と区別して、私たちは『リ射具合まで再現すれば、あたかもそこ

更新をモノクロの 3 倍の速度で行わなアル影』と呼んでいるが、プロジェクにプラスチックの物体があるように見ければならない。3 倍の速度向上を実ターの台数を増やし、角度を変えて照え、さらに、物体が動いた時に変化す現するために、光源の変調を高速化す

らすことでリアル影を消すことにも取る光沢の様子も動的に再現が可能だ。

るとともに、機械的な制御との同期をり組んでいきたい」と話す。

数年前に「ポケモン GO」というス

高精度化した。さらに、強力な光源を渡辺さんの技術は、すでにエンター

マートフォン用アプリケーションが話導入するとともに、高速投影に最適化

テインメント界やアート界から注目を題になった。これはスマホの中にポケされた光学系を新たに設計することで集めている。アミューズメント施設のモンを出現させただけだが、渡辺さん

高輝度化も達成した。また、レンズをアトラクションにも活用できそうだ。

の技術を使えば、ポケモンの見た目を機械的に動かして焦点を合わせるのですでにファッションや化粧、インテリ

実際の 3D の物体に投影して、サラサ

は、スピードの限界がある。そこで液アの業界からの問い合わせもあるとい

ラとした毛並みや肉感まで再現するこ

体可変焦点レンズを採用し高速で焦点う。今後、遊びやおしゃれの形が大きとができる。あたかも目の前に実物のを制御することで、対象物が奥行方向く変わるかもしれない。

7

視覚表現の常識が変わる
ディスプレー

身の回りの紙面を瞬時にタブレット端末に変える
運動追従投影機能を内蔵する
インテリジェント高速プロジェクター
東北大学 大学院情報科学研究科

鏡慎吾 准教授

誰でも持っているスマートフォンがプロジェクターの役割を果たすようになるかもしれない。スマホを動かしても、映像はブレない。反対に投影してリーンが高速で動いたとしても、映っ

当初はプロジェクターの高速化は必要ている映像は遅れずにピタリと追従しないものと考えられていた。なぜならていくような夢のプロジェクターだ。

人の目はそれほど速い映像についていこれまではプロジェクターとスクけないからだ。鏡さんは「人の目ではリーンの設置には、距離や角度を計算必要なくても、高速処理ができるカメ

して、さらにしっかりと固定しなけれラと組み合わせれば、何か面白いことばならず、手間も時間もかかっていができるかもしれない」と考えたといた。この技術を使えば、誰でも手軽にう。それがプロジェクションマッピン

プロジェクターを利用できるようにな

グシステムのベースになっている。

る。東北大学准教授の鏡慎吾さんは、鏡さんが最近実現したのは、投影「運動追従投影機能を内蔵するインテされた画像が、その対象（スクリー

リジェント高速プロジェクター」の基ン）の動きとインタラクション（相互礎技術となるハードウエアとソフトウ作用）するプロジェクションマッピン

エアの実装を実現した。

グシステムの構築だ。イメージしや
すいように、具体的な例をあげてみプロジェクションマッピング
システムの構築る。画用紙に迷路を手書きしてプロ
ジェクターに面を向けて持つ。そこにいるスクリーンを動かしたとしても、鏡さんは、高速に切り替わる画像をプロジェクターで迷路内を動き回るコ

その映像は形も大きさも変えずスク投影するプロジェクターの研究に長年マを投影する。画用紙を傾けると、コリーンを追いかけていく。しかもスク携わってきた。しかし、研究を始めた

マは迷路に沿って高い所から低い所へ

FPGA

パラメーターレジスタ

USB2.0 入力
座標変換
パラメーター〜2470 fps

2 値画像
シーケンサー
座標変換

SDRAM

選択

HDMI 入力
60 fps

ビデオ入力
バッファ

LED
制御
ロード済み
パターン

2 値画像
2470 fps
カラー LEDDMD チップセット

赤、緑、青の画像を高速で切り替えて投影すると 3 色が混ざってカラーになる。その 1 枚 1 枚を対象物体の動きに合わせて変形することで遅延のないプロジェクションマッピングが可能になる

運動追従投影機能を内蔵するインテリジェント高速プロジェクターの内部構成

8t ＝0.0［s］

t ＝0.0［s］

t ＝0.1［s］
t ＝0.2［s］
紙面が動いてもカメラが動いても動画が定位置に貼り付いている

t ＝0.2［s］

t ＝0.4［s］

紙面の模様と動きによって投影コンテンツとインタラクトすることも可能

t ＝0.3［s］

t ＝0.6［s］

高速プロジェクションマッピングの動作

向かって転がり、迷路のラインが切れ（2400fps）で動作するが、遅延のなを精密に位置合わせしておいたり、対たところまで来ると、穴に落ちるようい追従を実現するため、その 1 コマ 1

象にマーカーを設置しておく必要がな動きをする。画用紙を勢いよく振れ

コマをスクリーンの動きに合わせて変あった。それが今回はプロジェクショ

ば、コマが迷路内を弾むように動く。

形させる機能を内蔵した。これによンマッピング制御によって、自動的に動きの検出から投影までに時間がかり、アプリケーションは通常のビデオ行えるようになった。

かると、対象の動きについていけず、ゲームなどと同様に毎秒 60 コマの映

コマが迷路のラインや画用紙からはみ像を生成するだけでよくなり、映像処出すような動きになってしまう。アプ

理の負担の解消につながった。一方、今後は、実用化への夢も膨らむ。プ

リケーションが行う映像生成を高速化

スクリーンに合わせた映像の変形制御

ロジェクターと投影する対象の位置合し、高速映像を受け付けるプロジェク

は、映像自体の生成とは独立に高速にわせや、対象物に事前にマーキングしターを使うことにすれば、これは解消行えるので、その制御さえ遅延なく正ておく必要がないのが強みだ。

されるが、今度はアプリケーション側確に行えれば、動き回るコマが迷路のの負担が大きくなる。そこで、鏡さんラインをはみ出すことはない。

いつでも、どこでも使える

例えば工場で映像を使って作業指示を出す場合などに、これまでなら映像

は、今回、ハードウエアとソフトウエ

その変形制御のためのソフトウエアを映し出す対象の機械などとプロジェ

アの両面からシステムを再構築した。

面の工夫として、高速で投影している

クターの距離や角度を合わせておかな

画像の中に、周期的にチェス盤のようければならなかったが、その必要はな

な白と黒の市松模様を挟み込んだ。周くなる。スマホのような小型の端末にまずハードウエア面からのアプロー

期は 2400fps で繰り返す中の 6 フレー

このプロジェクター機能を搭載すれチを説明していこう。鏡さんのシステ

ムに 1 回の割合。市松模様は速すぎてば、いつでも、どこでも手軽に使える

ムは、世間の大半のプロジェクターと人間の目では認識できないが、高速カようになる。

同様にデジタルマイクロミラーデバイ

メラはしっかりと捉えている。これをまた、書籍の文章を補足するためにス（DMD） を 採 用 し て い る。DMD

平面に直角に投影すれば、模様は正方

ページ上に映像を投影したり、地図上は 2 値画像が高速に切り替わることに形。傾けると台形やひし形になる。まにピンを投影して目印にしたりするとよって、観察者の目にはカラー映像にた平面が上下左右に動くと、平面上にいった使い方も考えられる。現状は、見えるというもの。単純に言えば、描かれた迷路のラインと投影された模書籍を印刷物で読むか、タブレット端

赤（R）
、緑（G）
、青（B）3 色のパラ様の位置関係にズレが生じる。これら

末を使ってデジタルデータで読むかのパラ漫画。それぞれ単色で描かれた絵を瞬時に解析し、投影する映像を修正

どちらかだが、この技術を使えば、紙柄を、毎秒数千から数万コマで繰り返するため、人の目には遅れているようの上に直接デジタル映像が投影されるすことによって、色が混ざり合ってカには見えない。映像がピタリと貼り付ようになる。これは紙とデジタルの融ラーに見えるのだ。

いて見えるのだ。

合という、次世代の読書体験を私たち

ハードとソフト両面から改良

鏡さんのシステムは毎秒 2400 コマ

これまではプロジェクターとカメラにもたらしてくれるはずだ。

9

新型コロナ禍でタッチレス空中
インターフェースの注目度が急上昇

視覚表現の常識が変わる
ディスプレー

シースルー構造を有する
全周型インターフェースの開発
宇都宮大学 工学部

山本裕紹 教授
何もない空中に映し出された映像を開発は一定の役割を果たした」と考え手で操作する――SF映画に描かれたた山本さんは、その後、人の目に対しそんなシーンが身近なものとなりそうて違和感なく超高速で映像を書き換えだ。宇都宮大学教授の山本裕紹さん

られるLEDディスプレーを開発した。

は、3次元空間を媒介として情報をやりそして、次の課題は「操作感」だっ取りできる環境を構築するという、光た。例えば 映 像を指でタッチしてか

応用技術の研究を進めてきた。そしてら、その映像が反応するまでにタイム

今回、空中ディスプレーのシースルー

ラグがあると、人は操作感が悪いと感化、それを応用したインターフェースのじる。自分自身で直接操作している“感タッチレス化などの高度化を実現した。

じ”が得られないのだ。そこで表示を早映像をダイレクトに操作する

く切り替えるだけではなく、人の操作がダイレクトに反映されるディスプレー

山本さんは、およそ10年前まで特殊の開発へと軸足を移した。東京大学のなメガネなしで使えるフルカラーの3次

石川グループ研究室と連携して、高速来のディスプレーを光源とし、そこか

元（3D）LEDディスプレーの開発に携カメラを使って人の動きを撮影して分ら広い範囲に発散した光を結像素子わっていた。3D映像が急速に進化した析。それに対応させてディスプレーを（再帰反射素子）で集束させて空中に時期である。ちょうどこのころに、3D

高速で切り替えることによって、あたか

浮遊する映像を形成するというもの。

映像で話題を集め世界興行収入で歴代も人がダイレクトに映像を操作してい特殊なメガネなしで、どの視点からも2 位を記録している映画『アバター』がるかのようにすることに成功した。

同じ位置に映像を観察できる。光源が公開され、3D映像が見られるテレビが次にターゲットとしたのが、映画に3D であれば、空中に 3D の映像が浮一般にも販売されるようになった。
「私

出てくるような空中ディスプレーだっ

かび上がる。東大石川グループ研究室

たちが手がけてきた3Dディスプレーのた。空中ディスプレーの仕組みは、従の高速ビジョン技術を組み合わせれ

観察者

空中に浮遊する映像

ビームスプリッター（半透明鏡）

再帰反射素子光源ディスプレー

空中ディスプレーの結像の原理（左）と空中に浮かび上がった映像例（右）10再帰反射素子

撮影することが容易になり、高速ビジョン技術や赤外線センサーなどとの組み

空中ディスプレー
観察者

操作者

合わせが容易となった」と山本さん。
画像を操作するタッチレス空中インター
フェースへの実用化に大きく前進した。
またいくら有用なものと認められても、コストや生産性などが見合わなけ

ビームスプリッター
光源ディスプレー

れば普及しにくい。ここにギャップがあると実用化のハードルは高くなるのだ。だが山本さんが採用した再帰反射
素子は、リフレクターとして道路標識などに使われているもので、その要件を満たしていた。

新型コロナ禍でタッチレス化に注目が集まる
シースルー化がもたらす恩恵は大きい。山本さんが元々イメージしていた活用法は、屋外広告はもちろん、自動車への実装だった。自動車の操作機器
シースルー化した空中ディスプレーの装置構成（上）と操作者、観察者それぞれから見た映像（下）。遮るものがなく、お互いと映像が見えるは中央にまとまっていて、運転者からやや遠い。かといって近づけようとす
れば、視野を遮ったり、ハンドル操作

ば、手や指の位置を検出して、その映化」だ。四方を空中映像で取り囲むこの邪魔になったりする。目の前に浮か像を素手で直接触れて操作しているかとができ、かつビームスプリッター（半び上がるシースルーのインターフェーのようにもできる。

透明鏡）に歪みが生じないように、八スなら、二つを同時に解決できる。

杉公基さん（宇都宮大学工学部産学官

また交通標識もより安全なものにな

連携研究員）とともにトライ＆エラーをる。高速道路の出口から進入し、逆走繰り返して、全周型のインターフェース

した結果の追突事故がたびたび起こ

空中ディスプレーは、例えば、目のを実現した。一方、シースルー化に際る。これは出口の進入禁止の標識を見前に映像があり右へ一歩移動しても、しては、光源（ディスプレー）と再帰反逃したことが原因の一つだ。見逃すの同じ 3 次元位置に映像が見える。視点

射素子、集束する映像の位置関係を再は、標識を道路の脇にしか設置できな

位置が動いても、誰が見ても映像の位構築。下部の光源から出た光がビームいためで、道路の真ん中に進入禁止の置は変わらない。単眼式やステレオ式

スプリッターを透過して、上部に配置し標識が出てくるようにすれば、気づか

3D ディスプレーなどとは異なり、違た再帰反射素子に反射し、その反射光ずに侵入するということはなくなるは

和感のない感覚で映像を見ることがでがビームスプリッターで反射して空中ず。トンネル内では、空気の循環の妨きる。しかし、当時の装置は構造上、で映像として集束する。この配置によっ

げにならない交通標識としても活用で

3D カメラの補助照明に工夫を要するて補助照明を用いる3Dカメラをそのまきる。また、空中に出現する映像は、ことと映像を見下ろすようにして観察

ま用いることができるようになり、多様

エンターテインメントの分野でもさまする必要があることから、使用環境がな形態での実用化が可能となった。

ざまに活用できるだろう。

より没入感のある
空中ディスプレーへ進化

限られるという制約もあった。

装置を挟んで向き合った2人はお互

そして、現在、新型コロナウイルス感

そこで、この 空中ディスプレーをいが見えるし、空中ディスプレーに表示染症の世界的な拡大で、不特定多数が進化させ、より没入感のあるインター

された映像も、2人は裏表が異なる映像

触れる駅の券売機、銀行のATM（現金

フェース空間にすることが新たなミッとして見える。このシースルー化により自動預払機）、エレベーターのボタンなションだった。取り組んだのがインター「空中ディスプレーを操作する人の前にどをタッチレス化できるインターフェー

フェースの「全周型」と「シースルー

障害物がなくなったことで、その挙動をスとしても大きな注目が集まっている。

11

高度化が進む
高速 3 次元
形状計測

動く物体を高速スキャニング
超高速携帯型 3 次元スキャナーの開発
東京大学 情報基盤センター データ科学研究部門

田畑智志 特任助教

ロジェクターで構成する、「3 視点幾

そうすることによって形状間の対応

何拘束」に基づく独自の投影パターン

点を効率的に求めることができ、その認識が要となる。加えて画像間の対応

結果、運動を高速に取得できる。従来点を検出する際に、階層構造にして段は対応点を探す処理時間が長く、高速階的に処理する工夫などによって、高化に限界があったが、この手法によっ

速かつ高精度に 3 次元の点群を取得でて 毎 秒 1000 コ マ（1000fps） の ス

きるようになった。

ピードで細かく運動を計測できるよう

さらに、物体の動きを測る 3 次元運になった。1 ミリ秒以下の速さで物体動計測を組み合わせることで、物体のをトラッキングできることになる。

トラッキング（追跡）が可能になる。
高速に計測すると、計測点と計測点の毎秒 1000コマの計測が可能

間の移動量は小さくなる。このことに

形状計測と運動計測はそれぞれ机上着目すると、連続的に計測した場合、のシステムは完成していたが、新たに物体の 3 次元形状の情報を取り込む

プロジェクターの射影面上の同じ場所

高速ビジョンチップと小型パターンプ「3 次元スキャナー」。従来の装置は大で計測された点は、物体表面の同一平

ロジェクターの採用によって小型化が型のものが多く、情報の取得にも時間面上にあると仮定できる。

実現した。人間には見えない赤外光でがかかっていたが、この装置の小型化と高速化の両立に成功したのが東京大学特任助教の田畑智志さんだ。携帯可
能な高速 3 次元スキャナーの実現は、
物体の3 次元形状の高速な復元や手軽なデジタルアーカイブなどに道を開く。
田 畑さん が 開 発した 小 型3次 元 ス
キャナーは手のひらに収まるサイズ感
で、将来は腕時計型として装着することも想定する。東京大学の石川グループ研究室で開発された高速ビジョン
チップを搭載した高速カメラを2台、小型パターンプロジェクターを1台組み込
んで試作システムとして完成させた。

「形状」と「運動」を測る
ベースとなったのが、高速の 3 次元
形状計測と運動計測の二つの技術だ。
形状計測は、2 台のカメラと 1 台のプ

12

2 台のカメラと 1 台のプロジェクターで構成された超高速携帯型 3 次元スキャナー

補正技術を組み合わせたシステムだ。
従来は奥行方向にいくと投影像がボケてしまう課題があったが、このシステ
ムは奥行方向にダイナミックに動く物
体でも、焦点の合った像を追従しながら投影できる。

高速化と小型化で応用が花開く「高速化」は、これまでとはまったく異なる応用を生み出す。例えば自動車やロボット関連で言えば、毎秒 30
コマのビデオレートの処理だと取得しパターンを投影し物体の形状を計測たデータのフィードバックが間に合わないだけでなく、そもそも計測自体が難しい。工場などでも、その速さなら検査のたびにラインを止めなくてはな
らないが、高速で動く物体を計測できるようになれば、こうした問題は一気に解決する。
さらにそこに「小型化」が加われ
ば、使い勝手が格段に良くなることは言うまでもないだろう。ロボットの“ 目 ” として搭載すれば、外界のあらゆるものを人間の知覚以上の精度で計

高速カメラの撮像画像

プロジェクターから投影しているパターン

3 視点幾何拘束に基づく高速 3 次元計測

測でき、ロボットの認識能力が飛躍的に高まる。また、仮想現実（VR）や拡張現実（AR）で作った 3 次元のイメージ像や、遠隔地にある物体を瞬時パターンを投影し、高速カメラで撮像による 3 次元形状計測にも取り組んでに取り込んだデータなどを別の場所にする。形状計測だけでなく、運動計測

いる。動く物体の形状をリアルタイム

投影するといった使い方も可能かもしによる形状データを統合させることかつ精度良く、高解像度に計測する既れない。「ロボットと人間が協調するで、大型の物体でもスキャニングでき存の「位相シフト法」に、正弦波の周動作などに応用していきたい」と田畑るようになったことも大きな進展だ。

期ごとに投影パターンを並べ替える順

さんは今後を見据える。

従来の 3 次元スキャナーの動作速度

序構造を導入した新たな計測手法を考また、医療への応用も期待できそう

は速くても毎秒 60 コマ程度。それを案した。これによって、従来よりも少だ。医療分野では 3 次元計測はまだあ

精度は落とさずに毎秒 1000 コマまでない枚数のパターンで計測ができるよまり使われていない。臓器の働きを非高速化し、さらに小型にもできた。

うになり、高速プロジェクターと組み接触で計測したり、身体の表面に映像「ここまで速くなれば、物体の動きを合わせることで、実環境で想定されるを投影して遠隔手術に活用したりとリアルタイムに計測できると言っていような高速な動きでも高い精度で計測いったシーンが考えられそうだ。

いだろう。人間が装置を手に持ち、計できるようになった。

将来、現在のカメラのように普及さ測対象の物体の周囲に沿って自然に動

このほか、物体を高速にトラッキンせることができたら、写真撮影と同じ

かすだけで、物体の全形を簡単にスグしながら投影するシステムの開発なように 3 次元プリントがいつでもどこキャニングできる」と田畑さんはア

どにも携わっている。高速ビジョンとでも可能になるのだろうか。3 次元ス

ピールする。

高速プロジェクターに、高速の応答性

キャナーは、そんな私たちの日常をがを持つ液体レンズを使った焦点距離のらりと変える可能性を秘めている。

加えて、田畑さんは別のアプローチ13高度化が進む
高速 3 次元
形状計測

物体の「質感」を取得して操る人の知覚を超えた高速情報システムの構築
東京大学 情報基盤センター データ科学研究部門

宮下令央 特任講師

れらの要素を分解して取得する研究に面の細かな凹凸形状だけでなく、新た取り組んだ。最終的に質感を高速に計に開発した法線の特徴量を使って物体測するために、最初に試みたのが物体の回転などの 3 次元的な運動情報までの形状の把握である。

得ることができる。

東京大学の石川グループ研究室でこの距離の計測と法線の計測結果を開発した高速の小型 3 次元スキャナを組み合わせれば、物体の形状を詳細に使って、まず、カメラから物体上の各復元できる上、その運動の軌跡も正確

点までの距離を計測する。この距離のに記録できる。実験では、ウサギの置計測結果から物体の大まかな形状を計物の彫り模様まで緻密に計測できてい

測することが可能だが、それだけでは

る。

ふくしゃ

表面の様子まではわからない。そこでこれに加えて、分光反射率と輻射熱考案したのが、物体表面の傾きを示すの時間変化から質感を推定する技術も「法線」を計測して利用する手法だ。

開発した。これまでは大型のシステム

人間の目に映るものはすべて真実な

宮下さんは 3 種類の近赤外光を使で長時間かけて計測していたが、光にのだろうか―。動くモノに瞬時に映い、従来は静止画として計測するこ

よって物体に熱を与え、物体表面の温像を投映することで、そのモノの材質と が 多 か っ た 法 線 を 毎 秒 750 コ マ

度変化から質感を素早く推定できるよがあたかも変化したかのように見せる（750fps）の速さで計測することに成うにした。わかりやすく単純化して言ことができる。東京大学特任講師の宮功した。法線を取得できると、物体表

えば、表面の温度がすぐに下がれば表下令央さんは、こうしたモノの色や素材、光沢感といった「質感」を自在に操る技術を開発した。
「コンピューターを使って、人間が気づかない速さでモノの見た目を制御すれば、人間にとってはそれが “ 真実 ”になる。視覚情報を制御することで、物体

環境

そんな新しい世界を構築したい」と宮下さんは語る。人間の知覚を超えた高速の情報システムがあれば、世界を一瞬で塗り替えることもできるのだ。

視覚情報を分解して取得
人間が視覚から得る情報は、物体の「形状」と「質感」、それに「照明」な

形状

質感

変形／運動

高速光線制御どの環境条件が混ざり合ったものだ。
宮下さんは、通常は統合されているこ14

照明

視覚情報を構成する要素

べ物、またモデル化が難しい水や粘土、魚の群れといった動く対象にもピタリと映像を投映できる」（宮下さん）という。
実際に製作した、動いている手に銅像のような光沢感をつけたり、流れる
液体に色をつけたりするシステムのデ
モンストレーションは、国際学会で大きな反響を呼んだ。写真は “ 触れたモノをすべて黄金に変える ” ギリシャ神
話のミダス王の逸話を再現したものだ。高速の法線計測と、法線から高速に映像を生成する高度なアルゴリズム
によって具現化している。
距離と法線の同時計測システム。計測結果を組み合わせて物体の形状を詳細に復元し、その運動の軌跡も正確に記録する

プロジェクターの前に配置しさえす
れば、どんなモノでも瞬時に姿を変えられる。ファッションショーや、サーカスなどのエンターテインメント
分野、映像メディア、試作品のプレビューなど、その応用の可能性は尽きない。

CG で忠実に再現も宮下さんは CGクリエイターの顔も併せ持ち、これまで過去の遺跡をCGで再現するといった案件を手がけてきた。実世界に映し出すだけでなく、現実の対象を CG としてまるごと画面上に取り込むことで表現の幅も広がるだろう。
高速情報システムで再現したミダス王の逸話

産業応用としては、工場などでの製品検査に使える。製品 1 個 1 個に対して、傷やムラがないか、表面の質感は面積が大きい、すなわち表面がザラザできたら、次はいよいよ統合し編集す

設計通りか―。現在は簡易的に行っラした状態。逆に下がりにくい場合

ることで実世界に映し出す。宮下さんているこうしたチェックをより高速か

は、表面がツルツルしているといったは、運動や変形を伴う物体にプロジェ

つ厳密にできるようになる。完成した具合だ。

クターでコンピューターグラフィック

製品検査だけでなく、設計工程におけ

さらに物体に固有の分光反射率かス（CG）映像を投映する「ダイナミッ

る試作にも応用できる。

ら、その材質がプラスチックであるか、

クプロジェクションマッピング」によっ「人間の目に映る情報を完全掌握し木であるかといった特定が可能になて、色や光沢感などの質感を自在に変たい」というのが宮下さんの目指すスる。物体表面に光を当てるだけでよい

えられる投影システムを開発した。

テージ。ひとたび情報を取得できれため、システムの小型化かつ高速な計測が実現した。

統合して実世界へ投映
このようにして要素を分割して計測

このシステムは、従来のように投映

ば、形や質感を変えたり、照明を変え先の対象に事前にマーカーを貼付したたりして世界をいかようにもデザイン

り、形状のモデルを仮定したりといっできる。視覚を操作することで、人間た準備が不要となる。

がかつて見たことのない景色も味わえ「マーカーの貼付が難しい動物や食るかもしれない。

15

応用分野が広がる
高速画像処理高速画像処理に基づく運動と画像の関係の解明・制御
インフラ点検システムの開発と映像遅延の影響の解明
東京大学 情報基盤センター データ科学研究部門

早川智彦 特任准教授

た小型のシステムで、通常の巡回車両

走りながら、トンネル覆工面にできたに搭載して使えるのが特徴だ。

幅 0.2 ミリメートルまでの細かいひび

カメラのレンズの正面に置いたミ割れを撮影できることを確認した。

ラーをモーターによって時計回りおよ撮像部を回転させることで、トンネ

び反時計回りで交互に回転運動をさせル内なら 50 回程度往復すれば天井部る。このミラーを車両の移動速度に合をくまなく撮像できる。一枚ずつ静止

わせて反対方向に動かすことで車両の画を撮影する場合に比べても精度は遜

走行速度を相殺し、走行しながら同じ色ないという。通常の巡回のついでに場所を連続的に撮影できる。実際にト点検できるため低コストで人手も要ら

ンネル内を時速 100 キロメートルでない。従来も走行しながら撮影する手トンネル覆工表面

日本の高速道路の老朽化が指摘されて 久 し い。 高 速 道 路 の 総 延 長 は 約

サーモカメラ
車両の移動前9000 キロメートルと地球 1 周の約 4

ガルバノミラー分の 1 の長さで、そのうち約 40％は供用後 40 年以上が経過しておりメン
テナンスが急務だ。現状は 5 年に 1 回、道路を規制して主に人が目視や打音などによる詳細な点検を行っているが、平時から継続的にモニタリング（監視）することでメンテナンスをより効率化できる。

ひび割れや浮き、
剝離を検出

車両の移動後走行しながら静止時と遜色ない画像を撮影できるモーションブラー補償の原理
コンクリート片の熱画像

模擬トンネルを
時速 40Km で走行中に撮影
撮影対象のコンクリート片東京大学特任准教授の早川智彦さん
は、高速道路を走行しながらひび割れなどの劣化箇所を検出する、高速画像処理を用いた道路点検システムを開発撮像装置した。中日本高速道路（NEXCO 中日
本）との共同研究で実用化を急ぐ。東京大学の石川グループ研究室で開発した高速カメラとガルバノミラーを使っ

16

浮きや剥離を可視化

高速サーモカメラを使った浮きや剝離の検出システム

高速プロジェクター
遅延制御システム
最小遅延 4.3ms 〜
高速カメラ

1000fps
プロジェクター
映像
入力タスク
手

手振り

映像遅延の制御システム。手の動作が映像出力されるまで最短 4.3 ミリ秒を達成し、以降任意の遅延時間を加えることができる法はあったが、専用車両が必要だった

把握し、能動的なインタラクションを動作のタスクでは 64.3 ミリ秒が遅延り、精度をカバーするために強い照明誘発する適切なインターフェースを設の許容限界だった。今後、モノをつかを当てることでほかの走行車両の邪魔計する必要がある。こうした技術を「アむといった人間の自然な動きである 3になったりする問題があった。

クティブ・パーセプション（活動的な次元のタスクでも実験する。早川さん

さらに可視光カメラを高速サーモカ

知覚）」と呼んでおり、早川さんは東は「人間の作業パフォーマンスを高くメラに置き換えることで、「可視画像

大石川グループ研究室で研究リーダー

保つ VR デバイスの設計指針などにつでは発見が難しいコンクリート構造物を担い、その研究にも取り組んでいる。

ながる」とその意義を語る。

の浮きや剝離も同時に検出できるよう

例えば、
ヘッドマウントディスプレー

にした」（早川さん）。そのほか、精度（HMD）などの仮想現実（VR）映像向上のために撮影画角を 2 倍に広げ

提示デバイスの利用時の影響などを調

このほか、人間が見る方向や移動速る技術なども開発している。引き続き査している。こうしたデバイスは入出度によって異なるコンテンツを表示す

実証実験を行うとともに、今後は実用力時の処理によって映像の提示にあるるディスプレーなども開発した。そこ化に向けてひび割れなどを自動で検出程度の遅れが生じるが、それによってではある速度で特定の画像が見えるよするソフトウエアの開発も目指す。早

視覚情報と身体感覚に時間的な不整合

うに、1 ミリ秒ごとに映像を切り替え

川さんは「高速道路だけでなく、鉄道が起こる。その結果、めまいや吐き気ている。

や飛行機、工場など動きを伴う点検のといった “ VR 酔い ” と呼ばれる症状

例えば、道路脇に置いたディスプ

現場にも応用できる」と考えている。

だけではなく、操作性やユーザーのパ

レーに、進行方向の左側から見た場合

フォーマンスの低下を引き起こす。

は「加速注意」、右側から見た場合は映像遅延の許容限界を明らかにする

新しい交通標識の可能性

早川さんはこの映像遅延の影響につ「逆走中！」といった異なる情報を提いて、従来は十分に研究されてこな

示することが可能だ。複数のユーザー

早川さんは認知科学にも興味を持かった没入感の高い環境を構築して調に同時にコンテンツを提供できるた

ち、人の特性を測ることで「人間とは査した。高速カメラと高速プロジェク

め、エンターテインメント分野や広告、何か」を明らかにしようとしてきた。

ター、ミラーを使ったシステムを構築

スポーツなどのほか、こうした車のス

産業応用に向けては機械の性能指標をし、心理物理学実験を行った結果、撮ピード違反通知や、渋滞を避けるため押さえた上で、最終的に「人間と機械像から投影までの遅延時間が 24.3 ミのスピード加速指示といった「新しいの性能を融合し相互作用を生み出す」

リ秒を超えると、ユーザーのパフォー

交通標識」としての利用が見込めるとことを狙いとする。人間の知覚には限マンスが徐々に低下し始めることが判いう。

界があるが、それを超えた知覚情報を明している。

適切に与えれば、人間の行動能力をさらに高められるという。
そのためには人間の認識行動様式を

機械とのインタラクションによってこれは規定された経路をたどる 1

人間の知覚の先にある可能性を見いだ

次元の動作をタスクとしており、階段す―。早川さんは、そうして新たな状の経路に沿って指を動かす 2 次元

応用を模索している。

17

焦点が異なる複数の画像を同時に撮影

応用分野が広がる高速画像処理露光タイミング制御による任意フォーカス技術
群馬大学 情報学部

奥寛雅 教授一般の人が高速で動く対象を通常のや映像・メディアをはじめ、スポーツ

カメラを使って撮影すると、画が流れ

支援、FA（ファクトリーオートメーてぼやけたり、画角から外れてしまション）、ヒューマンインターフェーう。かといって遠目から撮影すれば、スなどと幅広い。

え

豆粒のような小さくてわかりづらい画

例えば、サッカードミラー（高速となってしまう。その大きな要因は、

視線制御ユニット）と毎秒 1000 コマ

対象の動く速度がその大きさに比べて（1000fps）の高速画像処理により、卓高速であるためだ。

球のラリー中の球を追従してあたかも

群馬大学情報学部教授の奥寛雅さ

画面中央に止まっているかのように見んは、そのような通常では捉えることせたり、動き回る球にプロジェクショが難しい対象や現象を、光学系や照明

ンマッピングにより映像を投影し、よ系、処理系などをうまくコントロール

り効果的な演出をするといったことがすることで人間にわかりやすい形で提可能になる。奥さんは、「将来的には示する「ダイナミックイメージコント

回転数などをリアルタイムで詳細に観化ライトフィールドプロジェクター」

ロール（DIC）」の研究を進めている。

察し、アスリートのトレーニングをサも手がけている。従来は、対象物までポートする応用も期待できる」と話す。

の距離を測るには三角測量の原理を用

また、従来の手法では限界があった

いた測定法などが中心であったが、こ

3 次元計測の高速化を実現する「構造れだと計算量が多くなってしまい高速

映像利用の新たな展開
DIC の活用分野は、 医療・バイオ

高速光学素子／ユニット

VR/AR/MR

食べられる再帰性反射材と料理へのプロジェクションマッピング

高速液体レンズ（ダイナモルフレンズ）

ライフサイエンス・バイオ

高速視線制御ユニット（サッカードミラー）

高速 3 次元計測

マイクロビジュアルフィードバック

構造化ライトフィールド

動的プロジェクションマッピング（るみぺん）

映像撮影・計測応用

1ms オートパンチルトとスポーツ支援への応用

ダイナミックイメージコントロール（DIC）とその応用

18

4-tap Lock-in
Pixel Image
Sensor

ピント位置

TAG
レンズ
ピンぼけ

ピント OK

撮影対象：細胞異なるピント位置を同時に撮影
ピント OK

ピンぼけ

奥行方向に広い範囲を同時に撮影→どの奥行に何があるのか（3 次元情報）を瞬時に計測可能

奥行方向に広範囲の画像を同時に計測可能な高速 3 次元化モジュールでの算出には限界があった。開発したで「TAG レンズ」と呼ばれる約 70 キる。さらに多重露光より取り込む光を技術は、プロジェクターから対象物にロヘルツ（1 秒に 7 万回）という高速増やして、より明るい画像を取得できパターンを投影し、距離が変わると映で焦点を変更できる共振型の液体可変る。奥さんは「オートフォーカス機構

し出されるパターンの形が変化するこ

焦点レンズを採用。この TAG レンズと異なり待ち時間がないため高速で、とを利用して、対象物までの距離を高は、内部の液体中に超音波を発生させかつ機械的な駆動部がないためカメラ速かつ高精度に推定する。

ると粗密波ができて密度差が分布し、の長寿命化が期待できる」と利点を強バイオ・医療分野では食べられる再焦点距離が変化し続ける。この TAG調する。

帰性反射材を開発。再帰性反射材は、レンズに同期して多重露光ができる特道路標識や自転車の反射板として採用

殊なカメラを組み合わせて、数マイされている光学素子で、画像処理用のクロ秒（マイクロは 100 万分の 1）でSimulfocus Imaging は、幅 広い 用

マーカーとしても利用されている。食

焦点位置を変更できる高速 3 次元カメ途が見込まれる。まず、工場などのFA品（寒天や飴など）から再帰性反射材

ラモジュールが完成。遊泳する細胞分野における画像検査への適応だ。

を作れば、ホットケーキなどの料理に（クラミドモナス）の位置を 1 秒間に

例えば、コンベヤーラインを流れる複映像を投影してアニメーションを楽し1000 回、3 次元的に計測することに数の高さの異なる部品を検査する場合

めるなど新たな演出が可能になる。ま

成功した。

でも、この技術を使えば 1台のカメラ

幅広い分野で応用が期待た、人の消化管内壁に設置して高精度

さらに、奥さんは静岡大学の研究グで同時に複数部品の高速な 3 次元計測

な検査や診断を無害で安全に実現でき

ループと共同で焦点が異なる複数の画が可能になり、検査の効率化につながる技術としても期待される。

像を同時に撮影できる技術の開発も手る。従来であれば複数のピントが異なが け た。「Simulfocus Imaging」 とるカメラか、オートフォーカス機能が名付けられたこの技術は、TAG レン

付いたカメラを用意する必要があった。

ズ と、4 つ の 画 像 格 納 領 域 を 持 ち そこのほか、バイオ・医療分野への応

今回は、DIC の技術をベースにしれぞれにナノ秒（ナノは 10 億分の 1）用も期待できる。顕微鏡下にある対象て動き回る微小対象の 3 次元情報を高の精度で独立して多重露光ができる撮に対する高速な焦点調節や高速な 3 次

速に計測できる光学顕微鏡用カメラモ

像素子を組み合わせることで、1 台の元計測が可能だ。内視鏡手術や腹腔鏡ジュールを考案した。「浮遊する細胞

カメラで同時に 4 カ所の異なる場所に手術と組み合わせれば、拍動しているや心臓の拍動のような高速な現象を観

ピントが合った画像を撮影できる。高患部を拘束することなく、複数の箇所察する場合は、動きが止まって見える

速に振動する焦点位置が撮影したい場に焦点が合った画像を観察しながら手くらい短時間で焦点位置を変更して高所にきた時に、100 ナノ秒程度の非常術を行えるため、手術の時間短縮や成速に撮影する必要があるが、一般に利に短い時間だけシャッターを開く。こ

功率の向上に寄与できる。また、術者用されている光学顕微鏡では、このの操作を画像を格納する領域ごとに異が遠隔地の患者をリアルタイムに直接ような高速な焦点位置制御を実現すなる焦点の場所で行うことで、焦点の手術する遠隔手術をサポートできる技

る原理がなかった」と奥さん。そこ

異なる画像を実質的に同時に取り込め術としても注目されていきそうである。

高速焦点位置制御と複数焦点画像の同時計測

19

自動運転に貢献する
高速画像処理高精度な自動運転をサポート
高速ビジョンを用いた車載画像処理システム
東京大学 生産技術研究所

平野正浩 助教「カメラで認識した物体の形状や動車両がどこをどのように走ってきた

きといった幾何学的情報を、いかに高のか」「その結果、現在どこを走って速かつ高精度に処理するかが私の研究いるのか」を正確に認識することであフィールドです」と話すのは東京大学る。これができなければ、自動運転で助教の平野正浩さん。幾何学的フロー道路に沿って走行したり、車線をはみを用いた高速形状補間といった基盤技

出すことなく走行することはできな術から、高速ビジョンを用いた自己・い。当然だが、目的地へもたどり着け

環境認識といった応用技術まで幅広いない。

研究を手がけてきた。

そこで高速ビジョンカメラで道路表

その平野さんが、広島大学准教授の面を撮影し、それを解析することで走妹尾拓さんと取り組んだのは、高速ビ

行軌跡の推定を行うシステムを構築しジョンを自動車の運転サポートや自動た。道路のアスファルトには、小さな運転へ活用し、その環境認識技術を革

凹凸（路面テクスチャー）がある。そ

新する研究である。

れを毎秒 500 コマ（500fps） というまう。今回の高速ビジョンを使用した

自動車の自動運転における環境認

高速で撮影し、その画像を分析するこシステムは、GPS より正確に移動の識には、クリアすべき 3 つの課題があとで、「凹凸がどれだけ、どの方向へ軌跡がわかるが、一方で蓄積誤差が生る。①自己認識、②信号機認識、③他

動いたか」を認識する。車両が時速じる問題がある。画像 1 枚ごとの誤差

車両認識である。順を追って説明して100 キロメートルで走行していても、は小さくても、長距離を走行すると蓄いこう。

500fps で撮影すれば 0.0554 メートル

積されて大きな誤差になってしまうの移動するごとに画像を得ることがでだ。そこで平野さんは、「両方を組み

き、車両が動いた距離と方向が詳細に合わせることで長所を高め、短所を消わかる。

し合う運用をイメージしている」と話

路面テクスチャから走行軌跡を推定
まず自己認識。言い換えれば、「自凹凸が前方から後方へ真っすぐに動いていれば、車両は直進していることになるし、右前方から左後方へ動いていれば、右折していることになる。

車載画像処理システム

20

す。

信号機の認識と重畳車の分離識別

シャッタースピードと時間から、走行

人 の 目 や 通 常 の CCD カ メ ラ（30した距離も計算できる。また、車両はヘルツ）では認識できないが、実は走行中に左右に揺れるが、それに補正

LED 信号機は高速で点滅している。

をかけて、より正確に軌跡と距離を割

この点滅パターンを高速ビジョンカメ

り出せるようになっている。

ラで捉えて信号機を検出するととも位置情報を知る技術としては GPSに、機械学習による色識別器を用いて（全地球測位システム）が普及してい信号機の赤、青、黄を認識する。しかる。しかし、GPS だけではどうしてし街中には、信号機以外にも、電光掲

も 1 〜 2 メートル程度の誤差が出てし示板タイプの案内標識や街灯などのLED 信号機の高周波点滅を高速ビジョンで検出

信号機認識

重畳車分離識別
走行軌跡推定重畳領域の学習抑制によるトラッキング

路面テクスチャーを利用したフレーム間移動量計算

走行軌跡推定：直進していること、曲がったことを正確に認識する。走行した距離も計算できる
信号機認識：夜間はもちろん、逆光でも完全に重ならない限り認識できる
重畳車分離識別：前方車と前々方車が重なっても別車両として認識し続ける

自動車の自動運転における 3 つの環境認識

点滅している LED 光源がある。そことで信頼性を高めることができるだろで、例えば「道路上に設置されているう」と話す。

安全で快適な自動車社会へもので、高さは何メートル以上」とまた、自動運転において自車両と前

一般乗用車における条件付き運転自

いったフィルターをかけて、信号機以方を走る車両との位置関係を把握する動化（レベル 3）や特定サービスにお外を除去するというアルゴリズムを組ことは欠かせない機能の一つ。平野さける高度運転自動化（レベル 4）が実

み合わせて認識精度を高めている。

んは前方の車両だけでなく、その前を用化を迎えようとしている。今回の成信号機検出の従来技術としては、色

走行する車両（重畳車）まで認識する果によって、高速ビジョンも自動車運や形状、光源の強さといったもので検システムを開発した。人工知能（AI）

転にとって有用なシステムであること出する方法がある。しかし、カメラのが前方を走行する車両をバウンディンが証明された。

画素数には限度があるので遠くの信号

グボックス（矩形）として認識し、車平野さんは、「自動車の自動運転は機は検知しづらくなる。しかし高速ビ

両が重なって一部しか見えなくなって万が一にも事故につながってはいけな

ジョンカメラで捉える方式ならば、認も、混乱することなくトラッキングしいもので、それだけ求められるものは識しているのは点滅だけなので距離は続けることができる。最近では、重畳厳しくなる。しかも技術コストも考え問わない。このため「目の前の信号機

車の輪郭をリアルタイムに抽出する手なければならない。いくら性能が高くは青だが、その次の信号機は赤だから法も開発している。

ても、コストがかかれば普及は難し

アクセルを緩めながらゆっくり減速す

ミリ波レーダーという従来技術ではい。そのためには他の技術と組み合わる」といった自動運転が可能になる。

車両の挙動を大まかには把握できる

せて、良いところを出し合い、欠点をこうした運転は、乗り心地に直結するが、認識精度に課題があった。今回の補いながら実用化を目指すのが現実的重要な要素だ。ただし、強い逆光のと

高速ビジョンを使用したシステムは安なアプローチになる」と話す。

きは点滅を見逃すという弱点がある。

定したトラッキングが可能で、渋滞時より安全で快適な自動車社会の実現

しかし平野さんは、「信号機などのイ

や前方車両が車線変更する際に、スへ――高速ビジョンを利用したシステ

ンフラは、そんなに頻繁に変わるもの

ムーズな発進や減速、停止をサポート

ムは、従来技術と連動し、その一翼をではないので、地図情報と連動するこできる技術として期待される。

担う技術になる。

21

ヒューマン
インターフェースの新展開

画像処理技術を核に機械と人とのインタラクションを高速化
高速ビジョンを使ったユーザーインターフェース
埼玉大学 理工学研究科

小室孝 教授埼玉大学教授の小室孝さんの研究
室は、実世界のさまざまな情報を画像

VR のほか、人工知能（AI）技術の一的生成ネットワーク）」と呼ぶ手法をつである機械学習やディープラーニン

活用し、仮想上の物体に影を自動生成

グ（深層学習）、コンピューターグラ

する技術を確立した。

フィック（CG）といった多様な技術

GAN は生成モデルの一種であり、を活用し、これまでにないアプリを生データから特徴を学習して実在しない

み出そうとしている。

データを生成したり、存在するデータ

小室さんは、「画像関連の諸技術はの特徴に沿って変換したりできる。一UI の高度化に不可欠な要素技術とな般的な研究は、新しいアイドルやアニる」と話す。高速ビジョンの研究もそ

メのキャラクター、有名画家の作品をうで、人の動きによる意思伝達を高学んで “ 新たな ” 作品を作る、といっ

速ビジョンで捉えることで、より正たものが多いが、小室研究室は影の生確に、より多くの意思を UI が受け取成に使った点がユニークだ。

り、機械とのインタラクションを円滑

仮想空間に光源を置くと、AI が照にできると考えている。多くの研究は明の位置や光の方向、反射などを計算

UI 高度化に結び付いてくる。

して物体に影を作る。数万枚の正解を介して取得する画像センシングと、最近の研究成果としては、深層学習

データを学ばせることで実現した。正

画像を処理・解析して高度な意味抽の一種で研究が盛んな「GAN（敵対

確に光源を推定して影を作るのではな

出を行うコンピュータービジョンをコ
ア技術と位置付ける。それらの技術を応用し、情報端末を使いやすくするための新しいユーザーインターフェース（UI）や現実空間と仮想現実（VR）を融合する拡張現実（AR）感などを研究している。人と機械をつなぐ UIは、
遅延や使いにくさがあると円滑な操作に支障が出る。高速ビジョン技術を活用してディレイ（遅れ）を解消し、使い勝手の向上にも取り組んでいる。

ユーザーインターフェースを高度化
小室研究室の研究分野は幅広い。最
近は画像センシングや画像処理技術を使ったアプリケーション（応用ソフディスプレー前面のカメラで撮った人物の画像に、「GAN（敵対的生成ネットワーク）」でト）の研究が大きなテーマで、AR、推定した周辺画像を組み合わせて、金属物体への周辺シーン全体の映り込みを再現する

22

空中タイピングインターフェース。スマート

3 次元テーブルトップインターフェース。裸眼立体ディスプレー上に表示されたフォンの画面に表示されたソフトウエアキー

仮想物体を直接手で触れて動かすことができる

ボードをタイピングできる

く、GAN を使うことで「それっぽい」される。カメラで指の動きを撮影し、触れず、高速ビジョンが仮想的に浮き影を作って簡単に済ませられることも最も動きが大きい指をキーをたたいた

上がったボタンに指が触れたかどうか

ポイントとなる。計算能力も大きなも指と判定して入力する。

を判定し、操作する。専用のメガネなのは必要なく、市販のカメラで捉え、スマホなどの小型端末では、表示さどが不要で、かつ画面に直接触れない生成した VR の画像にリアリティーをれるアイコンより人間の指先の方が大ため、衛生上の安全性も高い。指がボ与えることができるようになる。「例きくなる。新開発のインターフェース

タンに触れたかどうかの見極めを早め

えば、スマートフォンのアプリのようでは、視覚的な情報などを追加する

るため、120fps の高速カメラを使っにいろいろと制限された環境でも画像

AR 技術を応用し、スマホの画面ではた。副次的な成果として、浮いたボタに説得力が出せる」（小室さん）。新型

手を半分のサイズほどに小さく表示す

ンに触った時、人はあたかも実際のボコロナウイルス感染症の影響で VR をる。これにより、アイコンが 2 倍に大タンを押したような感覚になることが使った人と人、人と機械のインタラク

きくなったように見えるため入力しやわかった。非接触型インターフェース

ションへのニーズが増している。こうすくなる。

として実現を急いでいる。

操作性を高めるため、1 秒で 120 コ

また、「3 次元テーブルトップイン

マ（120fps）を撮影できる高速カメ

ターフェース」は、画面にある仮想物

ラを使った。高速ビジョンは画像処理

体を横や上から押したり、つかんで持に電力を多く使うので、スマホで実現

ち上げて動かしたりできる。これにはするには、まずは純正の内蔵カメラで200fps で撮影できる高速ビジョンにインターフェースの高度化に高速ビ実現した方が良いと考えている。小室よって円滑な動きにしている。公共のジョンを活用する研究にも継続的にさんは、「スマホの可能性が広がり一案内端末などへの実装を見込み、実用取り組んでいる。AR と高速ビジョン

層の進化に貢献できる」と期待を寄せ化を進めている。

を使った「空中タイピングインターる。

したニーズの変化を追い風にし、実用化を急ぐという。

スマホを進化させる空中タ
イピングインターフェース

フェース」はその成果の一つ。カメラが付いたスマートフォンの下に手をか新型コロナ禍で注目小室さんは、「デジタル技術が普及して世の中が便利になっても、UI には大きな制約がある」と訴える。UI

ざし、空中で指を動かすと文字入力で高速ビジョンを使った研究成果での主流であるタッチパネルは、実際にきる。スマホに装備したカメラで指のは、「3 次元タッチパネル」も新型コ触れた感覚がなく、大きさにも限界が動きを検出する。高速ビジョンを使っ

ロナ禍で一層注目される。

あるなど改善点は多い。小室研究室

た画像処理技術により優れた操作性を

このディスプレーは、タッチパネルの研究成果は、UI をより便利にするに表示されたボタンが浮いて見える。

だけではなく、リアルと VR を融合しスマホの下に手をかざすと、スマホ

そのボタンに“触れる”と操作できて、それらの違いを感じることなく操の画面のキーボードに自身の手が表示る。だが、実際にはタッチパネルには作できる UI の実現を目指していく。

実現している。

23

ヒューマン
インターフェースの新展開

高速広域計測投影システムにより
スポーツ支援や生物の健康管理が可能に
光学系を駆使した
広域かつ高速に動くモノの画像計測
東京大学 情報基盤センター データ科学研究部門

末石智大 特任講師てきた。

同様に、従来は難しかった自動車やその鍵となるのが光学装置の高速な飛行機などの高速移動体や、鳥、昆虫制御だ。回転軸にミラーを取り付けたといった飛翔する生物の動きも記録でガルバノミラー（駆動鏡面）でカメラきる。例えば、科学警察研究所と共同の向きを高速に切り替え、動く対象をで、科学捜査への応用を目指し、音速即座に追いかける。これに東京大学ので飛ぶ飛翔体の周囲に生じる衝撃波を石川グループ研究室が開発した高速画

画像で計測することに成功している。

像処理技術を組み合わせて画像計測を

水中を泳ぎ回る魚の画像計測も可能

行う。特に、屋外を含めて、広い範囲だ。末石さんはミラーを高速に制御を動き回るモノを計測するのが末石さし、メダカを追従しながら高解像度のんの研究の特徴といえる。

カメラで撮影する手法を考案した。濃メダカを個体認識し追跡する

淡のある画像を白と黒の 2 値に変換す
だ えん

る「2 値化」処理などを楕円形の領域

動く球体へのプロジェクションマッ

東大石川グループ研究室は、これまで行い、この領域の認識を更新し続け

ピングや泳ぐメダカの追従撮影―。

でにガルバノミラーを用いた高速の視ることで、メダカの頭部付近を継続的

東京大学特任講師の末石智大さんは、

線・光軸制御デバイス（サッカードミに観測する。「魚群の中でも特定の個光学的な装置を駆使し、動いているモラー）を開発し、卓球のピンポン球の体を認識して追跡できるほか、心拍のノを画像によって計測する研究を手がように高速かつランダムに動く対象の計測など、個体ごとの健康管理を拘束けている。光学系などを工夫したビ

画像計測に成功している。画面の中央せずに行うことが期待できる」（同）

ジョン（視覚）を用いてダイナミックに球がくるように自動的にカメラが動といった大きなメリットがある。技術な対象を計測する「ダイナミックビ

くため、「人間のカメラマンでは難し

的には人にも応用できそうだ。

ジョンシステム」の研究リーダーとしい、スポーツなどの決定的瞬間をスて、映像メディアやスポーツ支援、検ロー映像で捉えられる」（末石さん）

査などさまざまな応用分野を切り開いという。

サッカー、ゴルフスイングなど
多様な投影システムを開発
また末石さんは、プロジェクターを使った拡張現実感である「プロジェク
ションマッピング 」による、複数の投影システムを開発している。まず手がけたのが、人が手で持って動いているうち
わに花火の映像などを投影するシステ
ムだ。これ以前に、跳躍するボールに地球の映像を投影する試みも行ったが、高速飛翔体の衝撃波

泳ぐメダカを追従して撮影

サッカードミラーを用いて高速でランダムに動く対象を画像計測

24

そこでは映像の変形ができなかった。
サッカードミラーを用いた広範囲に動く物体の追従投影方式と、形状の変人の手で持って動いているうちわへ花火の映像を投影動き回るボールへのプロジェクションマッピング

ゴルフのクラブヘッドが描く軌道を計測してリアルタイムで床面に投影

注視点を模した部分に高解像度の映像を投影する「追従的投影モザイキング」

プロジェクションマッピングによる投影システム化に対応した高速プロジェクターによ取り付けたゴルフクラブを 1 台の高速る投影方式を組み合わせ、広い領域をカメラだけで追従撮影し、その 3 次元

回転・変形しながら動く動的な対象に的な姿勢情報からヘッドが描く軌道を投影できるようにした。既存のプロジェ

リアルタイムに計測する。そこに乗れクションマッピングは建物など静止しば安定したショットが打てる「スイン

光学系の制御と画像処理の“二刀た対象に向けたものが多い。末石さん

グ平面」を計算し、高速プロジェク

流 ” で 研 究 を 進 め る 末 石 さ ん。 そ こ

は「ダンスや大道芸など、ダイナミッ

ターで床面に投影する。既存の映像にに、最近スポーツという新たな軸が加クな動きを伴うステージ上のパフォー

よるトレーニングは後から自身のスイわった。「多様な専門が交わるところ

マンスなどに使える」と期待する。

ングを確認する方法だが、高速に投影に面白みがあると感じており、分野横スポーツ支援も末石さんのキーワー

フィードバックが可能なこの手法を使断的な研究によってイノベーションのドだ。サッカーやバレーボールなどのえば、その場でスイング軌道の善し悪創出に貢献できたら」と末石さんは今

球技スポーツを想定し、回転するボー

しを判断できる。ゴルフに限らず、効後を語る。

ルにピタリと貼り付くように投影可能

果的なリアルタイムトレーニングシス

なシステムを開発した。奥行方向に広テムとしての可能性を開く。

す装置を試作した。

分野を横断する研究でイノベーションを創出

画像計測の応用シーンは、映像関連
から工場などの検査用途、FA（ファく計測できる「円周マーカー」を球体

このほか、プロジェクションマッピ

クトリーオートメーション）機器、ロ

上に配置し、毎秒 500 コマ（500fps）

ングの映像を広域に映す上で、人間がボットまで幅広く、実際の研究はあるの速さでボールを追従しながらずれる

注視した部分には高解像度の映像を投課題に対して技術で解決策を提示することなく投影できる。手や足でボール影する、没入感のある「追従的投影モ

コンサルティングのようだ。「画像計に触れても球体の位置や姿勢をうまくザイキング」システムなども開発して測技術をベースにしてニーズを掘り起認識できるという。

いる。画素数の制限があるプロジェク

こし、各方面の要求に応える中でさら続いて、東京大学情報基盤センター

ターの投影像の欠点をカバーする技術に技術を磨いていきたい」と、末石さ特任研究員の宮地力さんと取り組んだだ。日本地図を投影し、注視点を模しんは社会の難題にこれからも挑戦してのがゴルフ。ヘッド付近にマーカーをた位置に合わせて一部を詳細に映し出

いく。

25

人の能力をはるかに超える超高速ロボット「視覚」と「運動」を統合し、人を超える高速・高機能ロボットを実現
高速ビジョンを活用した知能ロボットシステム
千葉大学 大学院工学研究院

並木明夫 准教授
千葉大学准教授の並木明夫さんの研使って、1 分間に 500 回転するテーブ

究室は、ロボットの目となる高速ビル上に置かれた物体の位置や姿勢を 3

ジョンと、頭脳となる高速ロボット制

次元的にリアルタイムで捉えることに御の技術を核とし、2 本の腕でボール成功した。

ジャグリングをするロボットアーム

並木さんは、「一般的な研究では 3や、人に負けないエアホッケーロボッ

次元の位置姿勢計測には時間がかかる

ト、折り紙を行うロボットハンドなどケースが多い。高速に 3 次元の位置姿を例として、高速ロボットを実用化し勢を把握することで、ロボットがつかようと日々研究を続けている。目指す

みやすい位置を探ったり、ハンドをうのは、より安全に、より高速で働くロ

まく制御することにつなげたりするこ

ボットの実現だ。人と同等、もしくはとができ、把持の実行速度が高まる」

それ以上のスピードでかつ安全にロと話す。

ボットを動かすには、認識と作業を同

また、高速で動く対象物を 3 次元的時に行う必要があり、高速ビジョンとに認識するため、1000fps の高速カメ

適なハードウエアの構成や、計測した

高速ロボット制御の統合は不可欠な技

ラとプロジェクター、複数のモーター

3 次元形状から対象認識を行う技術の術となる。

駆動装置を組み合わせ、対象物に追随

研究開発を進めている。

最近では、複数の高速カメラを最適して撮影できる「アクティブ 3 次元ビ

並行して、超小型高速カメラを使っに配置してロボットの目の死角をなく

ジョンシステム」の試作品を 2019 年てロボットの認識精度を高める研究もし、より認識の精度を上げようというに開発した。高速移動する対象物にプ進む。一つは「ロボットハンドの指や研究に力を入れている。

ロジェクターからパターン光を当て、掌に8つのカメラを取り付け、腕に取り反射されたパターンの情報を受け取付けたカメラも含めてカメラの死角をり、3 次元的に対象物を認識する。最なくす」というもの。人間の手は触覚

ロボットの目を工夫して認識能力を向上
ロボットの認識に利用されるセン
サーは、カメラのほかに力センサー、
触覚センサーなど多種多様にある。並木研究室はカメラ、とりわけ高速の動きを把握できる高速ビジョンを使って、ロボットの認識能力を高めようとしている。
「なぜ、高速ビジョンがロボットの認識能力向上に役立つか」の一例が、3 次元物体の高速形状計測・把持の研究だ。並木研究室は 1 秒間に 500 コマ（500fps） を 撮 影 す る 高 速 カ メ ラ を

26

ジャグリングロボット。
2本のロボットアームで3個のボールをつかみ、上に投げてお手玉ができる

の能力が高く、触れてからずれを補正しているが、このロボットハンドでは触れる前に多数のカメラで認識して正確につかむことができ、ロボットアー
ムの動きによる死角をカバーできる。
並木さんは、「通常のロボットの目の機能はまだ低く、動作の危険性のために作業時間が遅くなりがちである。
一方、危険を回避するために開発され視覚フィードバックによる折り紙の折り制御（折り実験（左）と紙の形状認識（右））ているロボットでは重量物を持つことが難しい。人と同じように働くロボットの実現には高速な目の研究は重要な役割を持つ」としている。

高速ロボット制御で対象物の動きに瞬時に対応
一般的に普及するロボットは、多くがあらかじめ教えられた動きを繰り返すことで作業できるものだ。人のように、対象物の形や姿勢、位置が毎回異なるケースでも的確に対応し、作業できるようにするには、瞬時に動きを変化して対象物の動きに対応する技術が不可欠になる。

エアホッケーロボット。高速ビジョンと画像処理機能を使い、4 自由度の腕型ロボット
で器用にパックを打ち返す

並木研究室は、2 本のロボットアー
ムで 3 個のボールをつかみ、カスケーを使い、パックの動きを追う。パック識するのが難しい。そこで、紙の形状

ドジャグリングができるロボットのシの動きを予測するプログラムで補正しをモデルとして表し、モデルと取得しステムを構築した。1000 分の 1 秒ごながら、4自由度を持つ腕型ロボットでた画像を比較して、その違いから形状とにボールの動きを予測し、動きを修器用に打ち返す。腕が届かない場所や変化を把握するモデルマッチングの研正する。これに、ロボットアームがつ打ち返す必要がないときは反応しない。

究が進んでいる。折り紙ロボットシス

かんだボールを的確に投げられるよ

このロボットアームに手首のスナッ

テムで検証しており、折り紙が折れた

う、ボールを離すタイミングを補正す

プの動きを組み入れ、パックの加減速線を推定する技術も盛り込み、より的る技術「モデル予測に基づく動的補ができるようにしている。これによ

確に折り紙ができるロボットシステム

償」を加える。ボールを的確にリリー

り、より相手がパックを追いにくい軌を実現しようとしている。

スするには、投げたボールが目標の軌道に打ち込むことや、パックに回転をこれらのほかに、遠隔操作ロボット

道と一致するように補正すればよい。

加えて打ち返しにくくすることができのロボット側に操作者の動きを予測す

一般に、動作補正の計算には時間がかるという。

る機能を加え、伝達される動きの遅れ

かることが多いが 1 ステップ当たりの軌道の変化量は少ないので、計算量自体は少なくて済む。将来はボールを当

形状変化を読み取る
モデルマッチング技術を補正し円滑に動くようにする研究や、ドローンと高速ビジョンを組み合わせて、より円滑に航行させる技術の布や折り紙のような柔軟物を扱うに研究にも取り組んでいる。並木さんはは、常に変化する対象物の形状を把握「ロボットは高価になりがちなので、

エアホッケーで 対戦するロボット

しつつ、動きを補正する技術が求めら

少なくとも人より作業実行速度が遅い

アームのシステムもリニューアルにれる。かつ、上部にカメラを置くとロと普及しない。目と制御を高速化し着手した。これまで のシステムは、

ボットハンドや紙の裏側など死角が生て、この課題を解決したい」と意気込

500fpsの高速ビジョンと画像処理機能

まれ、的確に対象物の形状や位置を認んでいる。

てて的を抜くゲーム「ストラックアウト」にも挑戦してみたいという。

27

人の能力をはるかに超える超高速ロボット

ロボットのダイナミックな動きを実現
高速ビジョンと衝突・衝撃の完全制御による高速ロボティクス
広島大学 大学院先進理工系科学研究科

妹尾拓 准教授
広島大学准教授の妹尾拓さんが手がツロボット」「検査・組立ロボット」

ける研究テーマは「高速ロボティク「衝突・衝撃の完全制御」の 3 つに大ス」。ロボットを高速に動作させる

きく分類できる。

技術と、高速化によって従来にない新スポーツロボットでは、野球の “ 走たな技能をロボットに付加する技術の攻守投 ” を取り上げ、躍動的で高速な開発などに取り組んでいる。ロボット

動きを実行するロボットを開発した。

の高速化に向けて、感覚・処理・運動“ 攻 ” にあたるバッティングロボット

を司る高速ビジョンや高速アクチュ

は、人がランダムな位置やタイミング

エーション、リアルタイムのフィードで投げたボールでも打ち返す。高速ビ

バック制御を適切に連携させるとともジョンで 1000 分の 1 秒ごとにボールに、ロボットを高速に動作させる際にを認識し、 その 3 次元位置を計算す問題となる衝突や衝撃を抑えるためのる。バットの軌道も 1000 分の 1 秒ご技術の開発を並行して進めている。

とに調整するので、ストライクゾーン

妹尾さんは「人を超える器用でダイを通過するボールであれば変化球でもる。3 本 指 と 手 首 か ら 構 成 さ れ た 計

ナミックな運動能力を持ったロボット

打ち返すことができる。実際のピッ10 自由度の「高速多指ハンド」を開を実現し、その過程で得られた要素技

チャーマウンドとホームベースの距離

発し、バレットアームに搭載した。3術を製造業などに展開していくことがに換算すると、理論上は時速 300 キ

本指でボールを把持しながら手首をス

目標」と語る。

ロメートルのボールを打つこともできナップさせ、 リリース時は 1 本指をるという。

ボールから離して、 残りの 2 本指で“ 走攻守投 ” を実現する
野球ロボットシステム
妹尾さんの研究テーマは、「スポー“ 投 ” のスローイングロボットは、

ボールを押し出して正確に投げる。

高速ビジョンで認識した的に向かっバッティングとスローイングロボットて、人と同様に腕と指を使って投球すを組み合わせて、投打の連続動作をさせることも可能だ。
“ 守 ” を担うキャッチングロボット
は、飛んで来るボールの軌道を高速ビジョンで認識し、捕球位置を計算して高速多指ハンドで弾かずにつかむことができる。
“ 走 ” の 2 足ロボットには、高速多指ハンドと同じ技術をベースとした小型メカニズムを搭載した。同ハンドには瞬間的に大きな力を出力するモーバッティングロボットとスローイングロボットの対戦動作。バッティングは、高速ビターを搭載している。足が接地した時ジョンで 1000 分の 1 秒ごとにボールを認識、その 3 次元位置を計算し、バットの軌道に力を加えて地面を蹴って前に進む、を調整してボールを打ち返す

あるいは空中に浮いている足を素早く28

ロボットの片手によるルービックキューブの操作。高速ビジョ

衝突・衝撃の完全制御の例。速度を落とさずぶつけにいくような格好で物をンでキューブの状態を認識しながら、ロボットが3本の指と、つかむ「突き指グラスピング」

必要に応じて机の表面（拘束条件）
を利用して操作する

前に踏み出して着地の姿勢に備えるとたりする。回転させた瞬間に面のずれ

ど、対象物と接触する際の力は大きくいった動作を行える。高速ビジョンをが発生した場合には、いったん机になる。接触の瞬間は速度を遅くした

用いて、ロボットの状態・姿勢を瞬時

キューブを押し当ててずれをなくす。

り、部品に柔らかな素材を採用したりに認識することで、走行姿勢を安定に

すなわち机という拘束条件を利用してして対処するのが一般的だが、妹尾さ保つように制御している。

片手での操作を可能にした。

んが研究しているのは、剛体を用いな野球ロボットの研究成果について、

また、ターミナル端子を回して外す

がらも速度を保ち続けて動作させるた

妹尾さんは「競技ロボットとしての応作業の例では、高速ビジョンを用いてめに、衝撃力を緩和する技術。高速ロ用も考えられるが、まずはロボットで「探索動作」によるキャリブレーショ

ボティクスを実現するための基盤と位もダイナミックな動きができることを

ン補正を実現している。ロボットハン

置付ける。

周知したい」と話す。

ドの指や対象物の大きさ・材質によっ一例をあげると、ロボットの関節部て、端子との接触状態が変わってく

分に物理的な接触がない、すなわち接る。そこで、まず「どのくらい指を近触による摩擦が発生しない磁石歯車をづければ端子に接触するか」「どのく使うことで、外力が加わった時にその工場内の各種の検査・組立作業を専

らい指を動かすと回転するか」を観察

力を吸収し、滑らかに動作できるように用機でなく、ロボットを用いて自動化（探索動作）する。その把握した状態にするといったハードウエア技術や制御する。高速ビジョンを利用して、より応じた方法を採用して、高速ビジョン

手法がある。グリッパーで物をつかむ

複雑な動作を素早く行わせる技術開発

で回転状況を確認しながら外していく。

時に、物の前でいったん停止する必要

さらに、ロボットハンドでつかんだ物がないため、運搬作業をスムーズに行

ロボットハンドの自由度が少ない機

体を回転させ、高速ビジョンで計測。

える。この技術は、大阪大学基礎工学

構では、可動する工具を片手で扱うの物 体 の 輪 郭 から幾 何 情 報（3次 元 形研究科助教の小山佳祐さんとともに開は難しい。そこで、妹尾さんは机の上状）、物体に与えている力と回転速度か発している。

に置かれたルービックキューブの操作

ら重さや慣性モーメントなどの力学情

妹尾さんは今後の研究について、を例に、「環境拘束」を利用した補正報を得る。組立工程に入る前に、ロボッ「高速化技術の追求に的を絞って基礎動作を行えるシステムを開発した。高トが部品の種類や扱い方を把握できる。

研究と応用研究をバランスよく実施し工場内作業を自動化する
検査・組立ロボットを手がけている。

速ビジョンでキューブの状態を認識しながら、ロボットが 3 本の指を使って全体を回したり、一面だけを回転させ衝突・衝撃の完全制御
ロボットの動作が速くなればなるほていく。実用化に向けて課題を一つずつクリアしていきたい」と意気込みを
見せる。

29

人の能力をはるかに超える超高速ロボット

柔軟物操作と人間ロボット協調を実現
高速ビジョンシステムと高速ロボットを駆使した
高速柔軟ロボティクス
東京大学 大学院情報学環・学際情報学府

山川雄司 准教授

術を駆使することで、遅延なく多様な行う必要があり、適用が困難だった。

動作をさせることを可能にしている。

ロボットによる柔軟物操作

このような課題に対して、山川さん
は高速ビジョンシステムと高速ロボットを用いることで、柔軟物でもロボッ「高速柔軟ロボティクスの『柔軟』

トが扱えるシステムを研究している。

には二つの意味を持たせている。一つ毎秒 1000 コマ（1000fps）の高速撮は柔軟な素材でできた物でもロボット像が可能な高速カメラによって、ロが扱える操作技術。もう一つは人の動

ボットが柔軟物を把持する時などに発きに対してロボットが柔軟に対応でき

生する物体の変形を逐次正確に捉え、る協調技術」だと山川さんは語る。

高速に画像処理してリアルタイムでロ

まずは柔軟物の操作技術。従来、ロボットにフィードバックすることで、

ボットハンドで握っても変形しないよ

ロボットが柔軟物の変形に対して瞬時

うな比較的硬い物（剛体）を扱う技術に適切な動作を行う仕組みが基本だ。

東京大学准教授の山川雄司さんは、は存在し、多様な場面で活用されてき高速ビジョンシステムと高速ロボット

た。しかし、私たちの身の回りには力をを基本デバイスに用いた「高速柔軟ロ

加えると形状が大きく変化してしまう、

これまでに開発した柔軟物操作のア

ボティクス」と呼ぶロボットマニピュ

ひもや布、紙、食品など柔らかい素材

プリケーションとして「柔軟紐の片手

レーションや人間ロボットインタラクでできた物も数多く存在する。工場の結び操作」や「布の動的折りたたみ操ションなどの研究を手がけてきた。高生産ラインを例にすると、剛体を扱う作」があげられる。前者は人が行う結速カメラで撮像した莫大な画像データ

場合は、視覚認識と操作を分けて順にび方を参考に、1 台の高速多指ハンドをコンピューター処理し、高速・高精行えばよいが、柔軟物では変形を考慮

が①輪の作製、②紐の入れ替え、③紐

度にロボットにフィードバックする技

しながらそれらの操作を同時並列的にの引き抜きの一連の動作を器用に行

人間ロボット協調

人が行う器用な動作を再現
ひも

柔軟物の高速動的操り

ITS 応用動的マニピュレーション

高速柔軟ロボティクス
高速センサーネットワーク

高速視覚フィードバック

基盤技術
高速ビジョンシステム

高速ロボット

基本デバイス

高速柔軟ロボティクスの主な研究領域。基本デバイスは高速ビジョンシステムと高速ロボット

30

い、数秒で片手結びが完了する。その都度異なる紐の振る舞いや変形を高速カメラでリアルタイムに計測し、ハンドにフィードバックすることで、素早くかつ正確に片手結びを行える制御を可能にした。高速ロボットアームに応用し、腕を振るだけで結び目が出来上がるシステムへと発展させた。

人間の遠隔作業を支援。
人の手の位置や動きを異なる場所にあるロボットハンドが再現する

後者は、人の折りたたみ動作を解析し必要な動作を抽出。2 台の高速多指
ハンドとスライダを用いて、わずか 0.5
秒ほどで布を折りたたむ。布の形状を高速カメラでリアルタイムに計測するとともに、ハンドの動作も高速化することで形状操作を瞬時に行う。布は弾性が小さいので、端部を高速に動かす

人のマイクロ操作を支援。70マイクロメートル（μm）の凹部に50μmの凸部を挿入する超精密操作を実現する

ことにより全体の形状制御が行える。
また、大阪大学助教の小山佳祐さんが開発した高速・高精度の非接触セン
サをロボットハンドに組み込むこと
で、高速ビジョンと合わせて視覚、近接覚、触覚シームレスな高速センシン
グを実現している。マシュマロや紙風船の把持も可能となり、より変形量が大きい柔軟物の操作に向けた応用が期待されている。

人の手先位置の動作を支援。粗動作を人間に任せ、微動作をロ
ボットが行うことで、落下する微小ボールをキャッチできる

人間ロボット協調の実現例「今後もさまざまな柔軟物を対象として、ロボットの高速性を利用することにより、従来よりも簡易的な手法でにフィードバックして同じ動作を再現

が凹部の位置を制御することで作業を器用な操作を目指していく」と山川ささせる。ロボットハンド側では、操作サポートする。

んは意気込みを見せる。

対象である物体の変形状態を高速カメ

三つ目は人とロボットの協同作業。

ラで捉えてデータ処理することで物体人の動きに対して瞬時にロボットが反の硬軟情報も認識できる。人が容易に応できるようにする。例えば、人とロ

立ち入ることができない現場での活躍

ボットが一つのボードの両端を持ってが期待される。

運ぶ作業の際に、高速カメラでボード

人間とロボットの協調システム高速ビジョンと高速ロボットを用いて人の運動をミリ秒オーダーで認識

二つ目はロボットによる作業支援の位置と姿勢を計測してロボットにし、その認識結果に基づくロボット制

で、柔軟性は高いが速度と精度に限界

フィードバックすることで、人が自由御を実現するのが、高速柔軟ロボティがある人の動作をロボットで補完すな高さや向きにボードを動かしてもロクスのもう一方の分野「人間ロボット

る。応用例としては、マイクロメート

ボットが追従し、ボードを水平に保ち協調」だ。山川さんは「人の動作に完

ル単位の凹凸がある物体同士を結合す続ける。

全対応可能なシステムの開発を目指る繊細な作業があげられる。凹部のあ山川さんは「従来のシステムは機械しており、大きく分けて 3 種類のアプる物体をアクチュエーターに固定し、学習や予測を用いて対応しているのに

ローチ方法がある」と話す。

凸部のある物体は人が把持する。この対して、リアルタイムに反応している

一つ目はロボットの遠隔操作。人の時に高速カメラが凹部と凸部を検出す点が革新的であり、今後も新しい人間

手の位置や動きを高速カメラで計測

ると同時に、位置の誤差を計測し、誤ロボット協調に関する研究開発を行っし、異なる場所にあるロボットハンド

差がなくなるようにアクチュエーター

ていきたい」と展望する。

31

人の能力をはるかに超える超高速ロボット

人間と機械が協調して高精度・高効率作業を実現
人間の知能と機械の高速・高精度を一体化する
東京大学 情報基盤センター データ科学研究部門

黄守仁 特任講師

ないという欠点がある。一方、人間は拡張にもつながる」と黄さんは考えて作業に対して柔軟に対応できるが、高いる。

精度かつ高速な動作が難しい。こうした長所の異なるロボットと人間が協調

動的補償モジュールを搭載し、人間の動作をロボットがうまく黄さんの研究テーマの一つが、この補助できるようになれば、課題に対しような産業用ロボットの知能化だ。黄て柔軟かつ高速、高精度な作業が可能

さんはまず、ロボットの知能実現を運になるだろう。

動制御レベル（低級）、運動計画レベ東京大学特任講師の黄守仁さんは同ル（中級）、タスク計画レベル（高級）大学准教授の山川雄司さんとともに、の 3 段階に構造的に分離した。その上東京大学の石川グループ研究室で開発

で動的補償などの手法を適宜導入し、した高速ビジョンシステムを使って高

柔軟かつ高速、高精度な作業が可能な速性と高い精度を両立した動的補償手

知能ロボットを開発している。

工場で組み立て作業などを行う産業法を考案し、産業用ロボットに適用し従来の産業用ロボットは基本的にモ用ロボットは、人間では難しい精緻なた。これにより「人間とロボットの運

デルベースで制御されているが、高速動きが可能だ。その反面、人間がプロ動を統合してより細かい作業ができる性や位置決めの精度はモデルの正確さ

グラミングした決まった動作しか行えようになり、将来は人間の運動能力のに依存する。ロボットモデルや環境モ
デルを厳密に作り込むのは事実上不可能なため、結果的に動作時のブレや位

産業用ロボットの知能アーキテクチャー
補償サブシステム

低級（運動制御）

中級（運動計画）

高級（タスク計画）

メインサブシステム（C）ローカル誤差吸収（高い帯域）（A）産業用ロボット+
動作知能
高速センシング
位置決め（高周波） ロボット
モジュール
誤差σ
−
高速
^
σ
フィードバック制御

・不確定要素+ （例え：バッククラッシュ、
モデル誤差など）（B）人間動作・精度良くない（細かい振動など）（B）＋（C）：人間機械協調への応用展開
ロボット動作（運動制御）

人間知覚動作（運動計画・タスク計画）

人間機械協調システムの知能アーキテクチャー

動的補償に基づく知能システムの実現

32

膨大だったり、事前準備に時間がかかったりするなどいずれも現実的な方

グローバル粗動作（低い帯域）（例え：作業対象の事前知識なし、
外乱、キャリブレーション誤差など）

れらを解消するために、これまで多くの手法が提案されてきたが、計算量が（A）＋（C）：産業用ロボットの知能化への応用展開
外部環境への不確定要素

置決めの誤差などが生じてしまう。そ法ではなかった。
計画知能
（低周波）

動的補償モジュールを産業用ロボットの手先に搭載すると、ロボットある
いは外部環境に不確定要素があっても、高速の視覚フィードバックによって不確定要素による誤差を補償するため、精度の高い位置決めが可能になる。この動的補償モジュールを使って黄さんが開発したのが、ペグ・アン
ド・ホールアラインメントのような位置合わせを全自動で行うロボットだ。

機械

非接触の触覚提示視覚提示

高速センシング系
高速動作系
作業支援装置アシスタントロボット
力覚提示
高速 （誤差吸収）デバイス センシング
人間動作
情報（粗い精度）
力覚提示

視覚提示
環境・対象

作業補償
フィードバック

環境・対象

高速センシング系
高速動作系
作業支援装置

両腕同期動作左腕

作業補償
フィードバック

右腕

人間

これまでに開発した人間機械協調システム

汎用の産業用ロボットと動的補償モンを実現するために人間の視覚や触同時に、アシスタントロボットが高速ジュールを組み合わせ、前者がカメラ覚など感覚を統合したフィードバッ

で誤差を補正し、位置決めを行ってくで検出した穴の位置を簡単なキャリブ

クインターフェースを構築し、幅 1 ミれるという仕組みだ。

レーションによる座標変換をして大まリメートルの細い溝に沿って 0.1 ミリ

かな精度で位置決めを行う。さらに、メートルほどの精度で検査や塗布作業

後者がロボット自身や外部環境からもなどを模擬したタスクを行う人間機械

たらされる細かい誤差に対して 1 ミリ協調システムを開発した。人間の視覚

今後は人間が考えてロボットを動か

秒ごとの視覚フィードバック制御によの反応速度はそれほど速くないため、すのではなく、電気刺激などによってり補償する。この 2 部構成により、既手にシュッと空気圧を与える触覚提示

腕など身体の一部を外から制御すると存のロボットを活用しながら、作業速を加えることで安全かつより速い動的

いった手法も検討する。身体の不自由度と精度の向上を実現した。このほか

対象に対する高精度作業を可能とするな人のリハビリテーション用途のほ溶接や塗布作業など向けに、曲線に

人間機械協調システムを実現していか、ロボットが補助することで、こう沿って精度良くなぞるといった、任意る。人間は状況に応じてロボットの手した人でも手先をうまく操れるようなの平面軌道に対する高速かつ高精度の先を大まかに動かすだけでよく、ロ方法が見いだせるかもしれない。

追跡（トレーシング）ロボットも開発

ボットが誤差を補正しながら高速に位している。

置を微調整してくれる。

ロボットが人を助け、能力を高める

その先には、誰もがこうした協調シ
ステムを使いこなし、人間の能力を拡これに加えて、人間の両手は自然に張する未来がやってくるだろう。「人同じ動きをする傾向があるという「両間と高性能な機械が一体化した次世代

このように産業用ロボットの知能化

腕同期運動」を利用した、力覚提示をのサイボーグシステムを創造する。今は進み、実用段階にきているものの、使った新しい人間機械協調システムも後はそうした方向でも研究を進めた

やはりすべてをロボットに任せるのに開発した。高速ビジョンと高速アクい」と黄さんは意欲を燃やしている。

は限界がある。そこで黄さんは二つ目

チュエーターを搭載したアシスタント

人とロボットは同じ作業をする必要のテーマとして、人間と機械による協ロボットを人間が右手で握り、高速はない。「人間は人間の得意なところ

調システムの開発を掲げている。先ほフィードバック情報などから、力覚提だけをやり、繰り返し高精度作業など

どと同様に、広範囲だが精度は粗くて示デバイスを通じて左手に動作する方人間にとってストレスとなる作業や困もよい知的なタスクを人が担い、高い向や度合いなどを指示する。すると、難な仕事はロボットに任せる。そうす

精度が必要な部分はロボットが担うと人間が左腕を動かしながら、右腕も自れば人間の負担は減り、全体の作業効

いう 2 部構成でシステムを構築する。

然な同期動作をさせることで、作業対率も高まる」と黄さん。人とロボット

今回、黄さんと山川さんは、高速ロ

象を常にアシスタントロボットの限らは互いに補い合う関係になりつつあ

ボットモジュールとのインタラクショ

れた動作範囲内に限定させる。それとる。

視覚や触覚、力覚も駆使

33

新機能が生まれる
セキュリティー
システム

人の正面顔を正確に検出する
セキュリティーシステムを構築
分散型高速カメラネットワークと顔ポーズトラッキング東京大学 情報基盤センター データ科学研究部門

金賢梧 特任助教が高まっている。「より高速・高精度

メラは画像フレーム間の時間間隔が非に、かつ広範囲・広角度から対象物を常に短いため、注意深く撮像タイミン

計測するためには多数の高速カメラをグを制御する必要がある。さらに、同組み合わせたネットワークが必要であ

時撮像後の画像データをもとに処理さり、同期撮像・画像処理を行うためのれた情報が同じタイミングで統合・共技術が肝となる」と金さんは語る。

有される必要もある。

複数のカメラビューにわたる対象物

金さんはそれら課題の解決に向体の位置検出や高速移動体の 3 次元形

けて、スーパーコンピューターのよ状の復元などにおいて、画像データのうな大型システムで用いられる規格

時刻同期精度は計測精度に大きく影響「Message Passing Interface（MPI）」

する。一般的な撮像速度である 30fpsを採用してネットワークを構築した。

のカメラを用いる時と比べて、高速カ

MPI は 並 列 コ ン ピ ュ ー テ ィ ン グ を東京大学特任助教の金賢梧さんは、
マ（1000fps）の高速撮像および画像
きる「分散型高速カメラネットワー
ク」と、そのネットワーク技術を基盤として、人の移動によって時々刻々変わる顔位置や姿勢を反映しながら常に正面顔がトラッキングできる「適応型ビジョン切り替えを用いた顔ポーズト

High-speed Vision Modules

データ処理を同期して行うことがで共同で「人の正面顔を正確に認識する

Server PCて、東京大学准教授の山川雄司さんと

2（μpp σp ）

Time

Node 1

Node i

ts

tr

tc

tp

te

Node N

ラッキング」の研究を手がけている。
この研究の実システムへの応用とし

2（μcc σc ）

2（μr
r σr ）

Events

複数の高速カメラによる毎秒 1000 コ

Reference
Broadcast

Node 0

ts

MPI

Data
GatheringteSynchoronized operation in -th cycle

セキュリティーシステム」を構築した。

高速撮像・画像データ処理と正面顔トラッキング
分散処理型のカメラネットワークを用いた画像処理アプリケーションは、撮像開始時刻の分散
撮像終了時刻の分散
データ処理終了時刻の分散

撮像＆画像取得

同期制御開始と終了
および同期制御周期

画像処理＆データ処理

セキュリティー分野のモニタリングを

Reference Broadcast と Message Passing Interface（MPI）を用いた

はじめとしたさまざまな用途で需要

高速ビジョンネットワークの同期構造

34

ネットワーク対応型
高速ビジョンモジュール

ビジョンネットワークアーキテクチャー
Node1

Node i

Node N

FPGA

FPGA

FPGA

Camera API

Camera API

Camera API

Application

Application

Application

PTPd

MPI PTPd

USB3.0Client PC

MPI

PTPd

MPI

1 Gbps Ethernet Switch

Sever PC

MPI PTPd

MPI Cluster

RTC

MPI：Message Passing Interface
PTP：Precision Time Protocol
RTC：Real Time Clock

セキュリティー応用

High-Speed
Camera

正面顔トラッキング

AVS OFFAVS ON
Facial Pose Tracking
A
B
C

AVS：Adaptive Vision Switching

セキュリティーシステムの概要。独自の高速ビジョンネットワークが中核技術利用するために標準化された通信規

面顔を正確に検出できる独自のセキュ（AVS）。さらに、顔映像から顔の姿勢を格 で、Reference Broadcast お よ び

リティーシステムへと展開した。シス

直接求めることができる機械学習方法

Precision Time Protocol（PTP） をテムのネットワークは複数の階層からを導入し、システムの高速化を図った。

利用することで撮像制御と同期データ

なる。第1階層が端末となるビジョン

このシステムの特徴は高度な分散並列転送を高速な撮像速度に合わせて実現

モジュール、その上位の階層はローカ処理を行うネットワーク技術だけではできる。

ルサーバーPCだ。ビジョンモジュー

なく、小型・軽量や接続の容易さ、低また、高速カメラに画像処理やデー

ルは高速カメラとシングルボードコン

コストなど、汎用性も持たせている。

タ転送機能までを持たせ、データ量のピューターで構成され、1ユニット当た

小さい、必要な情報だけをネットワー

り8台のモジュールが用いられる。第2クに転送するようにしたことで、高速階層のサーバーPCは直接、ユニット内

カメラ 8 台規模のネットワークシステ

モジュールの同期制御を担当し、さら

金さんは、「システムの規模を少しムにおける撮像同期の偏差が最大数十に上位側のサーバーPCへとつなげられずつ大きくし、大勢の中から複数の人

マイクロ秒（マイクロは 100 万分の 1）

る。目的や規模に応じてユニットや階物の追跡や特定の人物の認識をできると高速撮像・画像データ処理に向けて層は増やすことができ、さらなる高機ようにしたい。さらにはさまざまな十分な同期精度を達成できた。

能化が可能な構造を提案した。8台のビ情報と統合できるまで発展させたい」

一方、人の顔ポーズトラッキングでジョンモジュールは同期しながら、そと、今後の目標を掲げる。セキュリ

は、各カメラにおける高速な顔検出とれぞれの設置場所で人の顔を撮像する。

ティー以外の分野への展開も期待され認識に加え、カメラ情報の高速な切り撮像した多量の画像データはシング

る。複数台のカメラを使ってあらゆる替え制御が鍵となる。分散型高速カメ

ルボードコンピューターで処理され角度から対象物の形状を撮像し、それラネットワークを活用して、各カメラる。人の顔を検知した上で、正面顔のらのデータを統合して 3 次元形状を作における高速な顔認識結果に基づき、トラッキングに最低限必要なデータのり出すシステムなどが候補だ。

正面顔を一番よく表現するカメラを特みを抽出することでデータ量を小さく

また、山川さんは、今回構築した高定してポーズデータを更新しながら顔し、2 階層以上の上位階層における処速ビジョンネットワークを機能的にも映像を取得する。高度な計算を使わな

理時間の削減や効率を高める工夫がな

性能的にも拡張していくとともにロ

い簡単なアルゴリズムで期待通りの結されている。各ビジョンモジュールでボット制御の分野に応用していく考え果が得られたという。

処理したデータは、それぞれが同じだ。「これまでは 1 〜 2 台の高速カメ

タイミングでサーバー PC へと転送さラによる小規模システムを用いていた

れ、統合・共有される。

が、今後は今回の新たなビジョンネッ

セキュリティーシステムへの応用

新たなアプリケーションへの展開もここでの処理データに基づき、正トワークシステムが基盤となる。どの金さんと山川さんは「分散型高速

面顔を一番よく表現するビジョンモ

ような価値やアプリケーションを生み

カメラネットワーク」と「適応型ビジュールを特定し、そのモジュール出せるのか。それを検討し、実際にロジョン切り替えを用いた顔ポーズト

から顔映像を取得する。処理データ

ボットで実現するのが次のステップに

ラッキング」を組み合わせて、人の正に応じて随時モジュールが切り替わるなる」と意気込みを見せる。

35

新機能が生まれる
セキュリティー
システム

カメラ 1 台で複数台の役割を果たす
監視システム高速ビジョン技術によるトラッキング型広域監視システム
広島大学 大学院先進理工系科学研究科

石井抱 教授視）を可能にした監視システムを開発

から、プロペラの振動を反射する光した。すでに顔認証が可能な監視シス（明るさの変化）として捉えて処理す

テムはあるが、狭い範囲しかカバーがる。つまりプロペラがあるところはオできないという弱点があり、広い範囲

ン、なければオフと認識し、このオンをカバーしようとすればカメラが複数とオフを追いかけるようにカメラをプ台必要で、その解析に負荷がかかってログラミングしているのだ。数百メーいた。

トル先では、形状や色はあいまいな画像となるが、光のオンとオフを捉える

振動で物体を識別することで高精度にトラッキングできる。

振動スペクトルカメラは、数百メーミツバチも同様に追従できる。ミツトル先を飛ぶドローンや、数百匹のミバチは1秒間に150〜250回羽ばたい

ツバチをトラッキングするというもて飛翔する。この範囲の光の明滅を捉の。この時に対象を識別するのは、一えるようにプログラミングしておけば、

広島大学教授の石井抱さんは、高速

般に人が認識する形状や色といったもカメラはミツバチを自動で追従する。

ビジョン技術を活用した高速トラッキのではなく、「振動」である。ドロー

この技術は、画像の解像度は問わな

ングカメラや、“ 振動の見える化 ” をンはプロペラが回転することで飛行すいことが強み。形状や色を認識しよう

実現する振動スペクトルカメラなどのる。回転するプロペラは人間の目ではとすると、ある程度ズームした画像がアプリケーションやアルゴリズム開発

捉えることはできないが、毎秒 1000必要になり、画像の処理に時間もかかを主な研究テーマとして取り組んできコマ（1000fps）で撮影できる高速カる。しかし光の明滅を識別するだけな

た。その技術をセキュリティー分野にメラなら、回転しているプロペラまでら、広角で撮影して、必要なところだ

適応し、広域サーベイランス（調査監

しっかりと捉えられる。撮影した画像

け処理すればいいので負担はずっと軽深層学習を内包した高速人物追跡アルゴリズム

local tracking
フレーム間対応付け
マッチング追跡＠500fps

refreshed by deep learning
フレーム単位での認識
CNN＠30fps
遅延のない高速トラッキングの実現

姿勢変化に頑強な 500fps 人物追跡

高速人物追跡アルゴリズム。対象の追跡は 500fps、画像の認識は 30fps で行うことで遅延がなくなる

36

マルチスレッドアクティブビジョン

同時顔ズームアップシステム

数十台の仮想パン
チルトカメラ動作

数百視点 / 秒の切り替えが可能な
超高速アクティブビジョン
高速ビジョンが複数のパンチルトカメラに分身マルチスレッドアクティブビジョン。全体を高速で撮影し、対象部分だけを切り取ることで、複数台のカメラを使ってズームで撮影しているのと同じ認識が可能になる減できる。

持っているのか」までは詳細にはわかとして機能して、これらの視点を状況

振動スペクトルカメラは、産業現場らない。ズームをすればこれらは解決に応じて自動的に切り替えることを実への実装が期待されている。例えば、

できるが、撮影できる範囲は狭くなっ現している。

工場の機械が故障して異音が発生したてしまう。多数の人が行き交う雑踏なまた全方位赤外レーザーセンサーととする。音をマイクで拾う方法だと指どの環境では限界があった。そこで石連動することで暗闇での運用もでき、向性が低いため、さまざまな音が飛び

井さんがとったのが、高速カメラを使

撮影範囲内に映ったものを追跡し、人交う工場内で異音だけを頼りに原因とい AI による画像処理を行った上で、や車とわかった時点で白色光源に切りなっている箇所を特定するのは難し

常に対象の人物をズームトラッキング

替えるというシステムも可能だ。これい。しかし高速カメラで機械を撮影すするというアプローチだ。

を使えば、防犯だけでなく、刑務所内

れば、正常な時との振動を比較して、しかし、今度は AI 画像処理に時間

異音の発生している位置を簡単に特定遅れが生じてしまうという壁が出てきできる。任意の周波数を設定すれば、た。そこで、この時間遅れを取り戻す

それから外れた周波数をリアルタイム

ため、1 フレームの間に数十フレームで表示できる。

の画像を一気にプレイバック追跡する

石井さんはフリーゲートシステムへというアルゴリズムを開発。これにの活用も視野に入れる。空港の出入国

よって高速な撮影に遅れることなく、管理をスムーズに行うために QR コー

追跡、認識が可能になった。

ド が 活 用 さ れ て い る が、 現 在 は QR

広域型監視システムの構築
石井さんは、高速ビジョン技術と人などの監視にも役立てることができる。

フリーゲートシステムも工知能（AI）を組み合わせてセキュ

また高速カメラは例えば毎秒 500

コードを読み取り機にかざさなければリティー分野への展開を目指した。

コ マ の 画 像 が 撮 影 で き る た め、1 台ならない。しかし、広域をカバーで「高速カメラを使ったトラッキング技のカメラでいくつもの視点を実質的きるこの画像処理技術を使えば、QR術を使えば、広域型の監視システムがに “ 同時に ” 認識することも可能にな

コードが表示されたスマートフォンな構築できるのではないかと考えたのがる。それは次のような仕組みだ。1 視どを手に持っているだけで読み取りがスタートだった」と石井さんは話す。

点の追跡、認識に必要なのは毎秒 10完了する。なおかつ顔認証と組み合わ

1 台のカメラと 1 台のコンピューター〜 25 コマ。つまり 500/（10 〜 25）でせた二重のチェック体制も可能になで、数十台分のカメラと同じ範囲をカ20 〜 50 視点程度の同時認識が可能とる。今後、精度が上がれば遠隔からのバーするのが狙いだ。

いうことになる。すでに「実験では指紋認証システムへの応用もでき、コ

これまでのような固定型カメラで500 視点まで増やすことに成功していンビニエンスストアの無人化に対応し広範囲を撮影すると、対象の人物がる」と石井さん。視点を切り替えられた決済システムなど、幅広い活用法が「どのような表情をしているか」「何をる高速カメラが 60 台以上の AI カメラありそうだ。

37

高速画像処理を用いた知能システムの応用展開
発行日：2021 年 6 月 1 日
発
製

行：東京大学 情報基盤センター 石川グループ研究室
作：日刊工業新聞社

取材・執筆：藤木信穂、木村孝生、石橋弘彰、高橋沙世子、大久保亘
編
協

集：奥村功

力：谷真由美、小林健人

表紙デザイン：多田直矢

レイアウトデザイン・組版：志岐デザイン事務所、新日本印刷