デジタル動画像処理
Digital Image Sequence Processing－理論と実践－三池秀敏・古賀和利
編著
橋本基・山田健仁・百田正広・長篤志・野村厚志・中島一樹
共著

目

次

はしがき (pp.1-3)

第１章 はじめに（三池）(pp.5-24)
１．１ 序
１．２

動画像処理の背景（１）コンピュータビジョン（２）画像物理計測
１．３ 動画像処理の基礎（１）デジタル動画像の入力（標本化、量子化）（２） デジタル画像処理の基礎(a) デジタルフィルタリング（線形・非線形）(b) 画像の変換（濃淡値の変換）(c) 画像の変換（座標軸の変換）

第２章 空間フィルタ法による粒子速度解析・粒径解析（百田、長）(pp.25-64)
２．１ 粒子速度解析（１） 空間フィルタ速度計測法の基本原理（２） 動画像信号処理による空間フィルタ速度計測法
２．２

粒径解析

2.2.1 動画像処理による空間フィルタ法を用いた粒径計測（１） 動的光散乱法（２） 空間フィルタ速度計測法を用いた粒径評価法（３） 動画像データの処理方法（４） システム例（５） 解析例
2.2.2 静的光散乱法を画像処理に応用した粒径計測（１） 光散乱の逆散乱手法による粒径計測（２） 画像処理による逆散乱理論（３） シミュレーション画像解析例（４） 実画像の解析例（粒径と粒子数評価）
付録 2-1 フィルタ移動速度と波長の比
付録 2-2 橋本の式の導出と実際の計算法

第３章 勾配法によるオプティカルフローの推定（野村）(pp.65-93)
３．１ はじめに３．２ 勾配法の基礎

（１） 勾配法の基礎式の導出（２） 大域的最適化手法（３） 局所的最適化手法（４） エッジに基づく手法（５） その他の手法と問題点
３．３ 一般化勾配法（１） 研究の背景（２） 場の理論に基づく基礎式の導出（３） 推定手法
３．４ 動画像からの勾配法によるオプティカルフロー推定例（１） 粒子によって可視化された流れ場を捉えた動画像（２） 伝播する化学反応波の動画像（３） 逆ボケ過程の動画像
３．５ おわりに

第４章 相関法・マッチングによる速度計測（古賀）（pp. 95-117）
４．１ テンプレートマッチング
４．２ 時系列相関法（１）基本の原理（２）時系列相関法の拡張（３）計算機シミュレーション画像および実画像による実験
４．３ 時間空間マッチング法（１） 基本原理（２） 空間分布の曲画近似（３） 時間空間マッチング（４） 速度場の連続性による拘束条件の導入（５） 勾配法との比較（６） 時空間マッチングを用いたシミュレーション実験

第５章 生体情報計測への応用（中島）（pp. 119-135）
５．１ はじめに（１） 生体情報計測（２） 動画像計測処理による生体情報計測
５．２ 体表面からの生体情報計測（１） 体表面動きの検出（２） 動画像測定法（３） 時間差分法（４） グラディエント法によるオプティカルフローの検出（５） オプティカルフローの解析（６） オプティカルフローの検出結果（７） 心拍波形の比較

５．３ ベッドでの生体情報計測（１） 差画像法（２） 差画像法による急性心筋梗塞患者の体動頻度評価（３） 差画像法による呼吸数評価（４） オプティカルフロー法による呼吸数・体動頻度評価
５．４ その他の生体情報計測（１） 入浴中の水面ゆらぎ評価による心拍・呼吸検出（２） 足形による男女識別や個人識別
５．５ おわりに（１） まとめ（２） 動画像による生体情報計測の今後の可能性

第６章 新しい展開（三池）（pp.137-163）
６．１ 画素時系列フィルタリング（１）動画像の強調（２）オプティカルフロー検出への応用
６．２ 三次元立体形状計測（レンジファインダ）（１）空間コード化法（２）位相シフト法（３）鏡面・光沢の強い表面の形状計測
６．３ CV と CG の接点（バーチャルキャラクタを介したインタラクティブシステム）
６．４ 認知科学と映像デザイン（知覚像を捉えるデジタル印象カメラ）
６．５ 非線形科学と画像処理（１）化学反応による画像処理（２）反応拡散モデルによる輪郭抽出・領域分割

附録章（実践編）附章 A パソコンによる連続画像入力システム（橋本、山田）（pp.165-206）
A．１ はじめに
A．２ ビデオ信号とデジタル画像（１） 画像とビデオ信号（２） ビデオ信号のデジタル化（３） デジタル動画像（４） カラー画像
コラム 1：ビデオ信号の方式
コラム２：プログレッシブ（プログレス）スキャン CCD カメラ
A．３ 画像入出力ボード（１） 画像入出力ボードの概要（２） 画像入出力ボードの制御
A．４ 連続画像入力システム

（１） システム構成（２） ビデオ信号と取り込み開始のタイミング（３） 基本的な取り込み手順（４） フレームメモリへの取り込みと主メモリへの転送タイミング
A．５ システムの機能と操作（１） メインメニュー（２） ボード設定（３） 画像の取り込み（４） 表示（５） 保存と読み出し（６） ボード制御（７） 情報A．６ データファイルと初期化ファイル（１） データファイルのフォーマット
（２） 初期化ファイル（３） システムの性能および仕様（４） データ転送速度（５） システムの仕様
コラム３：私の開発環境
A．７ Linux による動画像記録システム（１） はじめに（２） システム構成（３） 画像取り込みのハードウェアタイミング（４） PCI バス制御の概要（５） メモリマッピング（６） ファイルへの保存と画像表示（７） 画像取り込みプログラム（８） 画像データ処理プログラム

附章 B オプティカルフロー推定法のプログラミング（野村）（pp. 207-217）
Ｂ．１ 基礎式の微係数の計算
Ｂ．２ Horn と Schunck の大域的最適化法
Ｂ．３ Cornellius と Kanade の手法
Ｂ．４ 局所的最適化法
Ｂ．５ 照明条件を考慮した局所的最適化法
Ｂ．６ ボケ仮定を考慮した局所的最適化法
Ｂ．７ 積分形式を用いた手法

むすび （pp. 219-221）

デジタル動画像処理

1

はしがき
本書は、12 年前の秋に出版を予定しお蔵入り寸前となっていた「デジタル動画像処理」
を復活させ、現代の科学技術の視点でコメントを付加した内容となっています。理論的・技術的内容は、12 年の歳月を経て多少陳腐な面もあるものの、当時の学問と技術の普及への各著者の情熱は伝わるのではないかと期待しています。
AI（Artificial Intelligence：人工知能）の技術が各分野を席巻しようとしている現代において、多くの注目を引く著書とは言えないまでも、動画像処理の新たな可能性について、また脳の視覚情報処理の視点からも、次世代の技術者の参考になる内容を含んでいると信じています。新たな技術開発のヒントの一つになることを願って、復活版を世に送ります。
20 世紀に生まれた科学技術の中で、今なお新たな輝きを放ち続けている研究分野の一つに、コンピュータ・サイエンス（計算機科学）あるいは情報化技術（IT）をあげる事が出来る。前世紀最大の発明ともされる計算機の能力は、1950 年代までに完成していた量子力学の応用としての電子工学（エレクトロニックス）の誕生と伴に、飛躍的な発達を遂げてきた。世界初の計算機とも言われる真空管式の ENIAC（1946年）は、サイズ 1m×3m×30m で 30t を越え、150KW を消費するにもかかわらず、
5KIPS（1 秒間に 5,000 個の命令を実行）程度の演算能力にすぎなかった。最新のモ
バイル式ノートパソコンは、１Kg に満たない重量と 40Ｗ程度の消費電力で、1000MIPS （ 1 秒 間 に 1,000,000,000 命 令 ） 以 上 の 計 算 能 力 と 50Gbyte（50,000,000,000byte：1byte=8bit, 1bit は情報量の単位）以上の記憶装置を有している。まさに驚異的と言える。最近では、ウエアラブル（Wearable）コンピュータ
はもちろん、そのためのファッション・デザインまでも提案されるに至っている。この背景には、シリコン半導体をベースとする大規模集積回路技術（LSI）に代表されるマイクロ・エレクトロニックス技術の驚異的な進歩が有り、メモリや CPU（中央演算装置）など計算機の主役達を進化させて来た。また、その進化は留まるところを知らず、新たな量子コンピュータの実現に向けてナノテクノロジーは着実な一歩を刻み始めている。
一方、計算機の能力の飛躍的な進歩と伴に、科学技術研究のスタイルも大きく変容している。最も基本的なサイエンスである物理学においては、理論物理学と実験物理学が両輪としてその進歩を支えてきた。しかし、研究者一人一人がかつてのスーパーコンピュータの性能を自由に駆使できる現代においては、計算機による数値解析ある
いは数値実験が重要な位置を占めるようになっている。特に、1970 年代以降に出現

2

デジタル動画像処理

した新しい数理物理理論である、カオス、フラクタル、複雑系、さらにはファジイ、
ニューラルネットワークそしてウエーブレットなどは、コンピュータ抜きでは生まれえない学問領域である。また、こうしたサイエンスの各分野での新たな知見がフィードバックし、人工生命を始めとする 20 世紀の情報科学を育てて来た。21 世紀はコン
ピュータ・サイエンスをベースに、脳や心の理解、生命の理解、そして宇宙や素粒子の理解がさらに深まる事が期待される。
従来、専用のハードウエアと特殊な開発環境を必要とした動画像処理も、パソコンレベルで手軽に活用できるようになっている。しかし、科学計測のための動画像処理となると、市販のシステムでは満足できないことが多い。連続画像の標本化における厳密な等時性、画像データの非圧縮性、さらには計測したい画像窓領域や計測時間の自由な設定等が要求されるからである。ただ単に眺めて楽しむことが目的では無く、連続する画像データから運動する物体の速度ベクトルや３次元形状を定量的に計測したいからである。
本書では、大学や企業の研究室レベルでの活用を念頭に、動画像処理の基礎理論を紹介するとともに、科学計測に必要な高精度の計測と解析を可能にするアルゴリズムの実例を紹介する。前身の「パソコンによる動画像処理（1993 年出版）
」から 12 年を経たこの「デジタル動画像処理：理論と実践」では、装いを新たに
１） 空間フィルタ法を用いたブラウン運動の動画像処理による粒径計測手法の紹介、
２） 空間的不均一や時間変化する照明の下での、オプティカルフロー検出理論、
３） 動画像計測処理の生体計測への応用、
４） 画素時系列フィルタリングによる動画像強調とその応用、
５） コンピュータグラフィックス（CG）や映像デザインとの係わり、
６） Windows OS、Linux OS、ISA＆PCI バスによる連続画像入力システム、などの新しい知見を盛り込んでいる。いずれも、最近の我々の研究グループで開発してきたオリジナルな理論や、1993 年に発足した「動画像計測処理研究会」で話題となってきた内容を中心に紹介している。すなわち、本書は動画像処理の基礎理論とその応用に焦点を絞り、画像処理が専門でない研究者にも利用可能なソフトウエア（Windows や Linux 上）を提供し実用性を持たせるとともに、先端の研究の現状を紹介することで、読者が動画像処理の問題点・可能性・発展性について理解を深められることを目的とする。
なお、本書の構成は、第 1 章でデジタル動画像データの処理に関する話題や、先端研究の背景を紹介するとともに、画像処理の基礎知識について概説する。２章では、動画像データに格子状のフィルタを重畳して、画像全体の平均速度や速度分布の情報

デジタル動画像処理を得る理論を紹介する。３章・４章は、動画像データから速度ベクトル場の情報を高精度で検出する手法（勾配法や相関法）を議論する。５章・６章は、動画像解析理論の応用として、生体情報の計測例や最先端の研究への応用例について紹介する。７章（付章）は、パソコンを用いた動画像の連続入力システムの構成例や、勾配法によるオプティカルフロー解析のプログラム例を紹介する。

2005 年 10 月、著者を代表して（12 年前のある日）
イラスト：Haruka Yoshikawa

3

4

デジタル動画像処理

第１章

第

1

章

はじめに

5

はじめに

デジタル動画像処理に関連する最近の話題
や、先端研究の背景を紹介するとともに、デジタル動画像処理につながる静止画像処理の基礎知識について概説する。

１．１

序

本書の前進の「パソコンによる動画像処理」1)が出版されたのは 1993 年であった。12 年、動画像処理の環境は一新した。
の歳月が流れ（現時点では、既に 24 年を経過している）
計算機のハードウエアとソフトウエアの急速な進歩は、画像処理や動画像処理を非常に身近なものとしている。出版をきっかけに、動画像の計測処理とその応用に関する調査研究を行い、動画像計測処理研究会を発足させた（1993 年 4 月）。研究会は、当初コンピュー
タビジョン系の研究者と科学計測への応用を念頭に置く研究者から構成され、両分野の交流の場ともなってきたが、最近では動画像処理という性格上、コンピュータグラフィック
ス（以下 CG と略す）や映像デザイン分野とのかかわりを持つようになっている。
この節では、本書がカバーする範囲を明確にするとともに、人間の脳（視覚系を含む）の自然認識・理解の機能における、動画像処理の役割を議論する。図1.1は、人間が外界の３次元シーン（画像・映像）を理解する過程のモデルと脳の視覚系を模式的に示している。
現実世界の映像（Real Image）をもとに、視覚はその形状の特徴や運動を多様な手がかりから抽出する。この情報処理過程は、いわゆるビジョン（Vision）の研究分野である。抽出
された情報をもとに三次元世界のモデルが作られる。この際、脳はそれまで蓄積してきた

Recognition

Real
Image (2D)

VisionFeatureShape
MotionVirtualImage (3D)

Model

Modeling
DesignData Base

図１.１

画像・映像理解システムのモデル（a）と、脳の視覚処理系（b）

6

第１章

はじめに

知識データベースを駆使するものと考えられる。モデルが出来れば、映像が生成できる。
脳は、自分で作成したモデルに基づき脳内に仮想的な映像を組み上げる。この仮想映像は、
現実の映像と比較され、モデルの良否が判定されるものと思われる。この過程はいわゆる認識（Recognition）であろう。こうして、現実の世界から得られる情報を絶えずフィード
バックしながら、モデルとデータベースを更新するシステムを脳は自己組織化していると考えられる。物理や化学の世界では、モデルは微分方程式で表現され、計算機の力を借りて画像として可視化される。この場合も、モデルの良否は現象の観測結果と比較され、現実と合わないモデルは棄却・更新される。
個体の誕生以来、脳は視覚、聴覚を中心とする体全体の受容器（五感）から外界の情報を獲得し続ける。この際、現実の世界との接触を介した情報のフィードバックにより評価を受け、個別の事象のモデルを構築するとともに、モデルの改善・整理・統合を通して独
自のデータベースシステムを自己組織化しながら成長していく。視覚情報の場合、現実の映像から特徴や運動を抽出し、３次元映像のモデルを形成するとともに、独自のデータベースとの相互作用を経て仮想の３Ｄ映像を脳内に生成する。この意味でまさに脳は高度なグラフィックス・マシンである。図1.2は、人間が外界の映像情報を知覚する過程のイメー
ジを模式的に示している。レンズの役割をする水晶体を通して網膜上に結像された映像は、
網膜最深部の視細胞外節にある錐体や棹体（センサ部分）で光の信号が電気信号（受容細胞内外の電位差変化）へと変換される。その後、水平細胞、双極細胞及びアマクリン細胞
でアナログレベルの前処理がなされた後、神経節細胞でアナログ信号からデジタル信号（神経インパルスと言う特殊なデジタル信号）への変換（A/D変換）が行われ、中枢（脳）に信号が伝達される。

(a)(b)

図１.２ 人間が外界の映像情報を知覚する過程のイメージ：(a)眼球の構造と、(b)網膜の構造

第１章

はじめに

7

引き続き外側膝状体、大脳視覚領野などで、輪郭・形状復元（２Ｄから３Ｄへ：初期視覚）、情報統合（領域分割、図地分離：中間視覚）、連想記憶のＲＤモデル（高次視覚）等。こうした一連の機能と構造の関連に関が実現されていく2-5)（図1.1(b)及び文献2）等参照）
する生理学的な知見は、年々積み重ねられているが、機能を実現しているアルゴリズムは容易に理解できない。両眼を通して得られる２枚の２次元映像からの３次元映像のリアル
タイムでの再構成や、３次元中を運動する物体からの速度情報の検出や、背後に潜む運動
法則の認識などが本書のテーマとする問題である。情報科学としては、生物（特に人間）が実現している視覚情報処理に学び、そのアルゴリズムを理解することは最も重要な課題の一つであり、新技術開発につながる事が期待される。こうした視点からのアプローチは、6章（6.5 非線形科学の画像処理への応用）で紹介している。
一方、動画像処理というとき、一般の方はＣＧやアニメーションを連想される場合も多い。本書の前身となる「パソコンによる動画像処理」では、こうした問題には一切触れず
画像の計測と処理に的を絞った。特に、１）連続画像の入力システム、２）空間フィルタ法による動画像処理、３）オプティカルフローの検出、及び４）時空間相関法を中心に議論し、画像中を運動する物体の速度計測を共通のテーマとした。本書では、新たに、空間フィルタ法の応用としてのブラウン運動の動画像解析による粒径計測（2.2.1 動画像処理による空間フィルタ法を用いた粒径計測）、照明の不均一や時間変化のある環境でのオプティ
カルフロー検出（3.3 一般化勾配法）、ＣＧ技術との関わり（6.3 CVとCGとの接点）、そして錯視や視覚印象の問題など認知科学との関わり（6.4 認知科学と映像デザイン）についても言及し、動画像計測処理技術の幅の広がりと応用の可能性についてまとめている。

１．２

動画像処理の背景

画像処理は、一枚の静止画像処理においても扱うデータサイズが大きいことやデータ入出力の高速性の要求などから、従来大掛かりな計算機システムを必要としてきた。特に、人間の視覚と同程度の解像度を持つ超高精細画像（約10000×10000画素以上）を対象とするとき、飛躍的に発達した現在の計算機でも取り扱いに苦労する。デジタルアーカイブは、
こうした超高精細の大画面情報を手軽にハンドリング出来る技術の開発を基本とする6)。また、それほど解像度が高いとは言えないNTSC（National Television System Committee）のビデオ信号7)を対象とする動画像処理においても、リアルタイム（30Hz）での処理は比較的
単純な前処理に限定される。人間の視覚が、両眼からのステレオ動画像情報をもとにリア
ルタイムでの複雑な認知処理までを実現しているのに比較すると、いまだに大きな隔たりがあると認めざるを得ない。特に人間の視覚では、外界の情報をもとに脳が３次元世界の映像を創生し、その中にリアルタイム処理された情報を逐次組み込んでいき、外界環境の変化の様子を生き生きと映像化する高度のグラフィックス・マシンとして機能している事は驚異的でも有る。人工の視覚の実現を目標とする次世代のコンピュータビジョン（CV）
は、映像化技術（コンピュータグラフィックス：CG）と画像処理技術（コンピュータビジ

8

第１章

はじめに

ョン：CV）との高次元での融合技術の開発を必要とする事が容易に想像できる。
（１）コンピュータビジョン
動画像処理の研究は、1980年代に入って次第に本格化し、1990年代にオプティカルフロ
ーの研究を中心に多くのアルゴリズムが提案されてきた1,8-10）。1980年代は、人間の視覚機能の実現を目標とする「コンピュータビジョン」の研究が中心であったと言える。テレビ
カメラで捉えた２次元画像から３次元世界に関する情報（奥行きや物体形状）を取り出すのを一つの目的としていた。当初、３次元世界に対する知識やモデルの設定を前提とする“トップダウン”的な解析法が注目されたが、1980年代以降は知識や経験に関係なく画像中の物理・光学・幾何情報を用いて脳内で情報処理の計算が実行されることで認識が生ずると考える“ボトムアップ”的な解析法が好まれるようになった。この流れは心理学者のGibson11）に始まり、Ulman12）やMarr8）により視覚の計算理論として確立する。動画像処理に関連した代表的な“計算”問題は、オプティカルフロー検出が挙げられる。オプティカ
ルフロー（Optical Flow, Optic Flow）は、動画像中の見かけの速度ベクトル場であり（図1.3参照）、カメラと運動物体の相対運動に伴って出現する画面内の運動から検出する。オプティカルフローは、既知の速度で運動するカメラが捉えた静止世界の奥行き情報の検出（運動立体視）や、連像画像の画像圧縮の基礎技術として重要である。1981年に発表されたHornとSchunckの勾配法（Gradient-based Method）の理論8)は、動画像の任意の画素における画像輝度（濃淡値：Gray Value）の時間勾配・空間勾配とオプティカルフローの速度ベクトルとを関係付ける基礎式と、標準正則化手法に基づく大域最適化手法を基本とし、その後のオプティカルフローの研究に大きな影響を与えている。また、オプティカルフローの情報から三次元世界を再構築するKanataniの画像幾何学理論13-16)は世界の研究者の注目を集めてきた。最近のオプティカルフロー研究の流れとその詳細は３章に譲る。
（２）画像物理計測
画像情報を用いた物理計測の分野は近年急速に進展をみせた研究領域の一つと言える。
物理情報を画像化する可視化技術の進展を背景として、二次元あるいは三次元流れ場の速度計測技術の確立は大きな目標の一つとなっている。画像中の粒子の対応付けを基本とす

(a)

(b)

図１.３ オプティカルフローのイメージ(a)と勾配法による解析結果(b)（第3章参照）

第１章

はじめに

9

る粒子追跡法（PIV：Particle Image Velocimetry）17)、適当なサイズの空間パターン（テンプレート）の異なる画像間での相互相関解析を基本とするマッチング法（あるいは時空間相関法）18,19)、そして勾配法を拡張した手法20)など多くのアルゴリズムが提案されてきた。
動画像のサンプリング周波数が十分でない場合、画像中に速度（pixels/frame）の大きなオプティカルフローが含まれる。この場合、PIVや時空間相関法が好んで用いられる。ただ、照明の時間・空間的不均一がある場合には、対応付けの誤りを生み易く過誤のオプティカ
ルフローが検出される。こうした画像に対応するためには、照明の不均一をモデル化した。ただし、一般に勾配法は検出可能なオプティカ
一般化勾配法が有効である20)（3章参照）
ルフローの速度が大きい場合には不向きである。階層化処理や前処理としての動画像の平滑化処理が不可欠となる。こうした手法の発達を基礎として、科学計測に耐えうる動画像
計測処理手法の確立が可能と考えている。科学計測では計測精度の確保が不可欠である。
一定の条件が満たされた場合に、一定の精度が保証されないと科学計測法として利用するには不十分である。この意味では、動画像からの速度検出には、十分なサンプリング周波数が確保されることが前提となる。気象数値予測の初期条件となる、気象衛星雲画像からの風ベクトルの推定問題などではこの点がネックとなっていた。気象衛星「ひまわり６号」
からは、サンプリング周期が30分毎となり改善されているが、台風時などの気象予測には
最低10分毎のデータ提供が必要になる（コメント：2015年8月からは、ひまわり8号が提供する2分30秒ごとの高頻度観測画像が気象庁のHP（http://www.jma.go.jp/jp/gms/）に掲載されるようになり、改めてオプティカルフロー解析手法の応用が期待される）。
本書では、科学計測のための「動画像処理理論」として
１）動画像処理による空間フィルタ法を用いた、ブラウン運動粒子の粒径計測（2章）、
２）照明の時間・空間的不均一のある動画像からのオプティカルフロー検出（3章）、
３）画像中の動きの情報を強調する画素時系列フィルタリング（6章）、
４）相関法・マッチング法による速度計測（4章）、
５）動画像処理の生体計測への応用例（5章）などを新たに取り上げている。

１．３

動画像処理の基礎

本節では、動画像処理の基本となる事項について簡単にまとめておくことにする。すな
わち、（１）デジタル動画像の入力に必要な標本化・量子化、及び（２）デジタル画像処理の基礎（フィルタリング、画像変換）について概説する。
（１）デジタル動画像の入力（標本化、量子化）
動画像を数学的に扱う前に、少し頭の中を整理しておこう。信号処理では、時間変化する情報（例えば株価や通貨の変動、気温・気圧の変化など）を対象とする。一定時間毎の物理量の変化をデータとして観測し、その変化の特徴から未来の値を予測する事は頻繁に行われている事である。連続的に変化する時系列信号 g (t ) から、一定時間 ∆t ごとにデータ

10

第１章

はじめに

g (t )g (x )t (時間)x （空間）
図１.４

時間信号 g (t ) と一次元画像信号 g (x ) 。画像信号 g (x) は濃淡値の変化なので負値をとらないことに注意。

を標本化（sampling）して、離散的で有限なデータ系列 g (i∆t ) を得ることで計算機でのデータ処理が可能となる。このとき、どの位の間隔でデータを標本化するかがポイントとなる。
「標本化定理」21)の教えるところでは、信号中に含まれる最大の時間周波数成分 f max がその標本化間隔 ∆t を決定する。すなわち、標本化周波数 f S ( =1) は、 f S ≥ 2 f max を満た∆t

す事が求められる。この状況は空間的に変化する信号を標本化する場合でも事情は同じである。いま、 x 方向に濃淡値が変化する一次元の画像信号 g (x ) を考えてみよう。この場合は横軸が空間の x 軸で、縦軸は濃淡値（あるいは輝度値） g (x) である（図 1.4 参照：時間。このときは、空間的な標本化の間隔 ∆x
信号 g (t ) では横軸時間 t 、縦軸変化量 g (t ) となる）の選択に注意を要する。すなわち、標本化定理（附録 A１参照）は

f Sx ≥ 2 f xmax

（1.1）

1
は空間的標本化周波数であり、 f xmax (= ω Cx / 2π) は画像信号中∆xに含まれる最高空間周波数である。こうして得られたサンプル値系列 g (i∆x ) は、次式により連続的な一次元画像 g (x ) に再構成できる。なお、以下では空間周波数 f x の代わりに空間を要求する。ここに f Sx =各周波数 ω x = 2π f x を用いている。
∞

g (x ) = ∑ g (i∆x)
i = −∞sin ω Cx ( x − i∆x)
ω Cx ( x − i∆x)

（1.2）

一方、動画像は、空間２次元の画像データを一定時間間隔で集積して構成される３次元
データと言える。３次元コンピュータグラフィックス（３ＤＣＧ）は、３次元空間の映像
データを２次元平面に透視投影して得られる画像の時間変化（映像）であり、代表的な動画像の一つとなっている。コンピュータで扱える動画像は、空間的・時間的に一定間隔で標本化され、その離散的な各点での濃淡値や色も有限階調に量子化されている。アナログ
動画像を表現する関数を g ( x, y , t ) と表現すると、デジタル動画像 g (i∆x, j∆y , k∆t ) との関係は、時空間の標本化定理により 22,23)

第１章

∞

∞

∞

g ( x, y , t ) = ∑ ∑ ∑ g (i∆x, j∆y, k∆t )i − ∞ j = −∞ k = −∞

11

はじめに

sin ω Cx ( x − i∆x) sin ω Cy ( y − j∆y ) sin ω C (t − k∆t )（1.3）
ω C (t − k∆t )ω Cx ( x − i∆x)ω Cy ( y − j∆y )で表現される。この場合、空間的に離散化された有限領域 ∆s = ∆x × ∆y は画素（Picture cell:
pixel（ピクセル））あるいは絵素（Picture element: pel）と呼ばれる。ここで、空間座標はピクセル位置番号（ i, j ）で表現され、∆x, ∆y は空間的な標本化周期（波長）、ω Cx = 2π f x

max

及び ω Cy = 2π f ymax はそれぞれx方向及びy方向の信号の最大空間波数（空間各周波数）をあらわす。また、時間座標はフレーム（frame）番号 k で表現され、∆t は時間的な標本化周期、
ωC = 2π f t max は時間方向の信号の最大角周波数をあらわす。なお、NTSCビデオ信号の場合、一つのフレームは奇数フィールド（Odd field）と偶数フィールド（Even field）の二つのフ
ィールドからなる。二つのフィールド間の時間的なずれ（約16.6ms）を考慮し、この本では動画像の最大画素サイズを256×256（pixels）、最大標本化周波数を30（Hz）とする。
式（1.1）により、連続な画像関数 g ( x, y , t ) が離散的なデジタル動画像 g (i∆x, j∆y , k∆t ) から復元できる為には、元の動画像が標本化定理のいくつかの条件を満たしている必要がある。それらは、
１）動画像中に含まれる時間・空間信号の最大周波数（ f xmax , f ymax , f t max ）が設定されていること、
２）時間・空間信号の標本化が標本化定理に従って行われていること、などである。ここで、２）の条件は次式のように表せる。

ω Sx / 2π ≥ 2 f xmax , ω Sy / 2π ≥ 2 f ymax , ω S / 2π ≥ 2 f t max（1.4）

式（1.4）の条件が満たされない場合、いわゆるアンダーサンプリングとなりエリアシング
誤差（折り返し誤差）を生む。これを防ぐ為、一次元時間信号の標本化の場合にはアンチ
エイリアス・フィルター（一種のローパスフィルタ）がサンプリング回路の前に挿入される。しかし、ビデオ信号の場合は時間軸だけの標本化ではなく空間軸（x-y2次元）の標本化を併せて実行する必要がある。こうした映像信号の標本化の場合、厳密な意味でのアンチ
エイリアス・フィルターの挿入は困難に思える。この対策として、ＴＶカメラ撮影時にソフト的に対処出来る事として
１）シャッター速度の適切な選択（時間軸の標本化に関係）、
２）レンズピントのアウトフォーカスの調整（空間軸の標本化に関係）、などがあげられよう。また実際には、画像の１画素の濃淡レベルを決定するテレビカメラのCCD（Charge Coupled Devices）センサは、ある一点の濃淡値を観測するのではない事にも注意すべきであろう。センサは有限の大きさを持ち、その領域の濃淡値の総和（あるいは平均値）を出力している。この意味では、空間的なローパスフィルタの役割を果たし

12

第１章

はじめに

ているとも言えよう。進化した最近のCCDでは、センサ形状・配列のハニカム構造が採用され、２種類のサイズの異なる光センサの採用により濃淡のダイナミックレンジの広がり（14ビット）や空間分解能の改善（1230万画素以上）が進んでいる。
動画像データのコンピュータへの入力は、時間・空間的な離散化（標本化）と同時に濃淡値の軸の量子化も必要とする。通常、モノクロ画像では濃淡値の段階を256段階（８ビット）で表現する場合が多いが、科学計測用では10～14ビットで表現される。また、カラー
画像では光の三原色に対応して、Ｒ（赤色）、Ｇ（緑色）、Ｂ（青色）の各々を８ビット256
階調で表現する（全体で24ビット、約1678万色）。量子化は濃淡値の軸（いわば縦軸）の離散化であり、近似的に実現される。アナログ値で表現される真値を、８ビットであれば256段階のいずれかに当てはめ、最終的に計算機で取り扱える２進数での表現（デジタル値）に還元する。この意味で必ず真値とデジタル値には誤差（まるめ誤差）があり、量子化誤差と呼ばれる。以上のように、連続する画像や映像を計算機で取り扱うには、時間軸と空間軸上において一定間隔で切り出して（標本化）、その点での濃淡値を量子化する必要がある。この意味で、動画像処理技術は大量のデジタルデータの取り扱いを基本とし、計算機の能力が急速に高まってきた今世紀の情報科学技術を背景に、今後発展する可能性を秘めた分野であると言えよう。
（２）デジタル画像処理の基礎(a) デジタルフィルタリング（線形・非線形）
ここでは、デジタル静止画像 g (i∆x, j∆y ) を対象に、画像の空間フィルタリング処理を行なう場合について述べることにする。デジタル演算でのフィルタリング処理は、実空間での処理とフーリエ空間での処理に分類できるが、ここではまず実空間での線形フィルタリ
ングを中心に解説する。線形フィルタは次のように定義される24, 25)。

m +1
n +1
1
g~ (i∆x, j∆y ) = ∑∑ ak ,l × g ((i + k −)∆x, ( j + l −)∆y )δ l =1 k =1
2
2
n

m

（1.5）

ここで、
｛ ai , j ｝はフィルタの重み係数であり、係数行列（図1.5参照）の形で与えられる。

~(i∆x, j∆y ) は、原画像
空間フィルタ（ m × n 矩形領域）を作用させて得られる変換画像 gg (i∆x, j∆y ) のデジタル処理画像となる。例えば、 m = n = 3 として、図1.6に示すようなローパスフィルタ（図中(a)）
、空間微分フィルタ（図中(b),(b’)）
、２次微分フィルタ（図中(c)）
、エッジ強調フィルタ（図中(d)）などの機能を持つ線形フィルタを近似的に実現する事が出来る。このとき注意したいのは、実空間でのフィルタリングはあくまで近似的なものであるという事である。図1.6(a)の空間領域の平滑フィルタは、フーリエ領域のローパスフィル
タとは厳密には異なる。また、微分フィルタも、デジタル演算ではあくまで差分であり、近似的な実現である事を意識すべきである。
また、線形フィルタを通すことによって、出力画像の平均の明るさレベルが変化する。

第１章

はじめに

13

このときの、フィルタのゲインδは次のように与えられる。
nm

δ = ∑ ∑ ai, j（1.6）

j =1 i =1

式（５）中の1/δは変換画像と原画像の明るさのレベルを調整するファクターである。なお、
a 11 a21 a31 ・ am1
 − 1 − 2 −1 
− 1 0 1
 1 1 1a 12 a22 a32 ・ am2
 0 0 0
a 13 a23 a33 ・ am3
 1 1 1
 − 2 0 2

・ ・
・
・ ・
− 1 0 1
 1 1 1
 1 2 1 
a 1n a2n a3n ・ amn(a)平滑化(b)水平微分(b’)垂直微分
図１.５

係数マトリックス

0
1 
0

1
0
1 − 4

 0
1

(c)∇2
図１.６

0
0

 0

0
1
0

0
0 
0

－

{ai , j }

0 1
1 − 4 0 1

0
1 
0

＝

 0 −1
 −1 5 0 − 1{bi , j }

0
1 
0

1
0
1 − 5 01(d)エッジ強調
各種線形フィルタ

0
− 1
0 

{ci , j }図１.７ 線形フィルタの加算（減算）： {ai , j } － {bi , j } ＝ {ci , j }微分フィルターのゲインはゼロであり、微分フィルタを通して得られる変換画像は一般に負値を含むことを、画像表示の際に考慮する必要がある。ただし微分演算のときは、式（1.5）
中でδ＝１として演算するものとする。ところで、エッジ強調フィルタは図1.7のような二つの別々のフィルタを通した画像の加算（減算）として理解出来る。すなわち、フィルタ
演算の線形性（式（1.5）参照）により、
ci , j = ai , j ± bi , j（1.7）

が成り立つ（フィルタの加算・減算）。図1.7は、原画像のまま何の変換もしない素通しフィルタ {ai , j } から２次微分演算フィルタ {bi , j } を差し引くことで、エッジ強調フィルタ {ci , j } が実現できることを示している。
一方、種類の異なる（あるいは同種の）空間フィルタ（ {ai , j } と {bi , j } ）を続けて通す事によって得られる画像 h(i∆x, j∆y ) は、次のような一つのフィルタ {ci , j } を通して得られる画像と等価である（フィルタの積）。すなわち、nmc i , j = ∑ ∑ b p ,q × a i − p +1, j − q +1

（1.8）

q =1 p =1

元のフィルタ {ai , j } 、{bi , j } のサイズを m × n と p × q とすると、フィルタの積によって出来る
新しいフィルタ {ci , j } のサイズは {m + p − 1} × (n + q − 1} となり、ゲインは元の二つのフィルタ

14

第１章

はじめに

0 1 0  0 0 0  0 1 0 − 1 0 0 − 1 − 1 1   0 0 
 

 
∇ =
 × 0 1 +  0 0 × − 1 1  = 0 − 2 0 + 1 − 2 1  ＝ 1 − 4 1 
1
0

 
 
 
 0 1 0  0 0 0  0 1 0 

 

 
2

(a)Laplacianフィルタ

0 1 0 1∇ G = 1 − 4 1  × 2
0 1 0 1

0 1 2 1
1 1 0 − 2 0
2 = 2 − 2 − 8 − 2
1 1 0 − 2 0
2 1
0 1

2

2

4
2

0
1 
2

1
0 

(b) ∇ 2 G フィルタ
図１.８

フィルタの積：Laplacianフィルタ(a)と ∇ 2 G フィルタ(b)の例

元画像： g (x )g (x )x
G フィルタリング

平滑化画像： h(x) ＝G＊ g (x )

h(x)

空間微分
一次微分画像： j (x) ＝ ∇ × h(x)j (x )

空間微分
二次微分画像： j (x) ＝ ∇ 2 × h( x) ＝ ∇ 2 × G ∗ g ( x)

ゼロ交差点＝エッジ
図１.９∇ 2 G フィルタの動作概念図

第１章

はじめに

15

のゲインの積（ δ c = δ a × δ b ）となる。具体例を図1.8に示している。図中(a)はx方向及びy方向の一次微分フィルタを、２回ずつ通すことで、２次微分フィルタ（ ∇ ：Laplacian）が2得られることを示している。また、図中(b)は、近似的なガウスフィルタと２次微分フィル
G ( x, y ) = exp{−( x 2 + y 2 ) / 2πσ 2 }（1.9）

を続けて通すことで、 ∇ G フィルタ（Laplacian Gaussian operator）を近似的に実現して2いる例である。ガウスフィルタは重みつき平滑化フィルタの一種であり、次式のように定義される（ガウス分布の式）。ここで、 σ 2 は分散である。また、２次元の空間２次微分演算子 ∇ は以下のように定義される。
2∂2∂2∇ =( 2 + 2)∂x∂y2

（1.10）∇ 2 G フィルタにより雑音を強調し過ぎることなく、輪郭を抽出できる8)。このフィルタを通した後、ゼロ交差点（zero crossing point）をエッジの位置として検出する。図1.9はこの様子を、一次元画像の場合について、模式的に表している。なお、 ∇ G フィルタはDOG
2（Difference of Gaussian）フィルタとほぼ等価なフィルタとしても知られている24）。詳細
は６章（6.5）に譲る。図1.10は、元画像（1.10a：３物体）に代表的なデジタルフィルタ（式(1.5)参照）を通した後の処理結果例を示している。各処理画像は、単純な平滑化（1.10b）、
水平方向の微分（1.10c）、２次空間微分（1.10d）、輪郭強調（1.10e）そして ∇ G フィルタ2(a)元画像(b)平滑化画像(c)水平微分画像(d)２次微分画像(e)輪郭強調画像(f) ∇ G 画像2

図１.10 画像の線形デジタルフィルタリングの効果。各画像は、各々(b)が図1.5(a)、(c)が図1.5(b)、(d)が図1.5(c)、及び(f)が図1.8(b)のフィルタに対応する。(e)は (∂ / ∂x)
ィルタを通して輪郭を強調した結果である。

2+ (∂ / ∂y ) 2 のフ

16

第１章

はじめに

を通したものとなっている。線形のデジタルフィルタリングが画像にどのような変換を与えるかを直感的に理解することが出来る。
非線形のデジタルフィルタとしては、雑音対策を施したエッジ検出が可能なパーセンタ
イルフィルタや、エッジのボケを防ぎながら画像の平滑化が可能な中央値（median）フィルタなどが良く知られている2)。中央値フィルタは、フィルタのサイズを m × n としたとき、画素の濃淡値を大きい順（あるいは小さい順）に並べて、中央の順位のデータを採用する。
例えば、 m = n = 3 の中央値フィルタであれば、９個のデータ中５番目の値を採用し、マスクの位置を変えて各画素を中心とする近接画素９個の濃淡情報により変換を順次繰返して行く。この結果、画像中のゴマ塩ノイズなどが効果的に除去できる。

(b)画像の変換（濃淡値の変換）
画像の変換は、大別して濃淡値（強度軸・縦軸）の情報を変換する処理と、空間座標軸（横軸）の情報を変換する処理に分類される23)。前者の処理としては、１）γ補正、２）対数変換、３）AGC（Automatic gain control）、４）ヒストグラム・イコライゼーション（Histogram equalization ）、などが知られている（文献）。γ補正は、テレビカメラ等の撮像装置に入力される光量 I ( x, y ) と出力される画像濃淡値 g ( x, y ) との間にg ( x, y ) = {I ( x, y )}γ（1.11）の特性がある場合を想定する。冪指数γはγ値と呼ばれ、撮像装置等の特性でハード的に決められている事が多いが、選択できる場合もある。特に、物理計測では線形性（γ＝１）
が重視され、監視カメラなどの用途（ロボットビジョン含む）ではダイナミックレンジの確保からγ＝0.6などが選ばれる。対数変換は、透過像の画像計測において不可欠な手法である。物質の密度や濃度の情報が、log（入射光強度／透過光強度）に比例することを考慮
して、カメラの出力をログアンプを介してコンピュータに接続し、変換された画像を処理することを前提とする23)。AGCやヒストグラム・イコラーゼーションは、画像濃淡値のヒ
ストグラムに基づき、量子化された濃淡値情報の偏りを防ぐ手法であるが、この詳細も章末の文献（22）に譲る。

(c)画像の変換（座標軸の変換）
一方、座標軸の変換としては、アフィン変換やフーリエ変換が知られている。アフィン
変換は画像の回転、拡大、縮小、平行移動を可能にする線形変換である。元画像を g ( X , Y ) 、変換して得られる画像を f ( x, y ) とするとその座標変換は2)、 x  cos θ − sin θ  α 0  X   x0 +
 y  = sin θ
cos θ 0 β  Y   y 0   

（1.12）

で与えられる。右辺の第一項は角度θの回転、第二項は拡大縮小（ｘ方向α倍、ｙ方向β倍）を示し、最後の項は並進移動成分を表す。この変換を利用して線形幾何歪の解消や、

第１章

はじめに

17

静止画像一枚からの擬似的なシミュレーション動画像の生成が可能である。この詳細も、画像処理の標準的な図書の詳細な記述に譲る（章末の文献(1)など）。
また、画像の２次元フーリエ変換は、スペクトル領域でのフィルタリング、画像圧縮技
術への応用、画像パターンの特徴抽出など多様な処理アルゴリズムの基礎となっている2)。
２次元アナログ画像 g ( x, y ) のフーリエ変換（複素）スペクトル G (ω x , ω y ) は、G (ω x , ω y ) = ∫

∞

∫

∞

−∞ −∞

g ( x, y ) exp(− j (ω x x + ω y y ) dxdy

（1.13）

で与えられる。 G (ω x , ω y ) は一般に複素関数であり、実関数 A(ω x , ω y ) ､ B(ω x , ω y ) を用い
G (ω x , ω y ) = A(ω x , ω y ) + jB (ω x , ω y ) = G (ω x , ω y ) × exp( jθ(ω x , ω y ))（1.14）と表現できる。ここで、 G (ω x , ω y ) はスペクトルの絶対値、 θ(ω x , ω y ) は位相を示す。一枚の画像 g ( x, y ) はフーリエ変換後、実部 A(ω x , ω y ) と虚部 B(ω x , ω y ) からなる二枚のスペクトル画像となる。一見情報が増えているように見えるが、実部は偶関数（原点に関し対称）、虚部は奇関数（原点に対し反対称）であるから独立な情報量は変化していない。この２枚の画像は正値だけでなく負値もとるので、画像表示の時に中間の濃淡階調を０値とするな
どの工夫を要する。また、画像のローパス・フィルタリングなど、情報量をスペクトル空間で加工したいときは、実部と虚部のスペクトルに帯域制限等をかけるフィルタリング演~~
算（矩形フィルタなどの掛け算）を施して新たなスペクトルを A(ω x , ω y ) 、 B (ω x , ω y ) を得る。すなわち、~~A (ω x , ω y ) = A (ω x , ω y ) × h (ω x , ω y )（1.15）~B (ω x , ω y ) = B (ω x , ω y ) × h (ω x , ω y )（1.16）

であり、 h(ω x , ω y ) はフィルタの特性をあらわす。この二つのスペクトルを用いて、フィル
タリング処理した新たな画像 g~ ( x, y ) を得るには、以下のフーリエ逆変換を実行する。
1 ∞ ∞ ~~g~ ( x, y ) =( A + jB ) exp(+ j (ω x x + ω y y ) dω x d ω y
2π − ∞ − ∞∫ ∫（1.17）

ここでの表現は、全て画像データが無限に存在するフーリエ変換を用いているが、実際に計算機で取り扱う場合には全て離散フーリエ変換（DFT：Discrete Fourier Transform）となる。すなわち、離散フーリエ変換（DFT）と離散フーリエ逆変換（IDFT：inverse DFT）は、G (k∆ω x , l∆ω y ) =M −1 N −1∑ ∑ g (m∆x, n∆y) exp[− j (mk∆x∆ω x + nl∆y∆ω y )m =0 n =0（1.18）

18

第１章

はじめに

g (m∆x, n∆y ) =1 M −1 N −1
G (k∆ω x , l∆ω y ) exp[+ j (mk∆x∆ω x + nl∆y∆ω y )2πMN k =0 l =0∑∑（1.19）

で与えられる。ただし、M,Nは画像のサイズを表し k = 0, 1, 2,･･･, M − 1, l = 0, 1, 2,･･･, N − 1 ,m = 0, 1, 2,･･･, M − 1, n = 0, 1, 2,･･･, N − 1 である。ここで、∆ω x =

2π
2π
は空間角周
, ∆ω y =M∆xN∆y波数の標本間隔である。
以上述べてきたように、画像情報のフィルタリング処理は、実空間でのデジタルフィル
タ処理とスペクトル空間でのフィルタリングに分けられる。実空間でのデジタルフィルタ
処理は、演算負荷が小さいという特徴があるが、近似的な処理である。一方、フーリエ変換を利用したフィルタリングは、より厳密なフィルタの設計を可能にするが、その反面、演算負荷が大きくなってくる。この二つのアプローチの関係を図示すると、図1. 11のように表すことが出来よう。実空間での処理は、画像関数とフィルタ関数の畳み込み積分で表現される。また、スペクトル領域では、元画像をフーリエ変換して求めた複素スペクトルにフィルタ特性を掛け算することで変換スペクトルが得られる。ただし、実空間の画像に戻すには、逆フーリエ変換が再度必要である。
一方、元画像のパワスペクトル画像 P(ω x , ω y ) は、P(ω x , ω y ) ＝ A(ω x , ω y ) 2 + B(ω x , ω y ) 2（1.20）

で与えられる。パワスペクトルは、（1.13）式で表される複素スペクトルの絶対値の２乗、偶関数である。このため、元の複素スペクトル G (ω x , ω y )（ P = G ）であり（全て正値）
2と比較した時、情報量は半減しており、残りの情報はスペクトルの位相 θ(ω x , ω y ) に含まれFT
スペクトル画像： G (ω x , ω y )原画像： g ( x , y )DIRECT ROOTFILTERING
IN FOURIER SPACE

1 n m
g~(i∆x, j∆y ) = ∑ ∑ a k ,l × g (i + k − 1, j + l − 1)

δ l =1 k =1

IFT
フィルタ画像： g~ ( x, y )図１.11フィルタ・スペクトル~G (ω x , ω y ) = G (ω x , ω y ) × h(ω x ,ω y )画像情報のフィルタリング（実空間とフーリエ空間での処理の関係）

第１章

はじめに

a

ｄ

A

Ｄ

b

e

B

Ｅ

ｃ

f

C

F

19

図1．12 ２次元画像のフーリエ変換画像例（元画像とそのパワスペクトル画像）
左側の二列の図が元画像、右側の二列の図がフーリエ変換して求めたパワスペクトル画像を示す（中心が波数0の直流成分）。対応は（a-E, b-F, c-D, d-B, e-C, f-A）である。
ている。フーリエ変換したスペクトル空間で画像情報の特徴を可視化するのは有用であり、いつも正値をとるパワスペクトルを用いて表現する事が多い。図1．12は、元画像とそのパワスペクトル画像の例を示している。実空間での縦縞（ｘ方向の周期性）は、スペクトル
空間では横軸（ｘ軸）上に並んだパワスペクトルの周期的なピークとなって表れている。
また、実空間で緩やかに変化するパターンは、スペクトル空間では空間角周波数が小さな
スペクトル画像の中心付近に集中していることが確認できる。画像圧縮技術では、こうしたスペクトル空間での画像情報の集中性を利用して効率的な圧縮が可能なように設計されているものもある。なお、図ではわざと原画像 g ( x, y ) と、２次元フーリエ変換した後のパワスペクトル画像 P(ω x , ω y ) の対応がずらしてある。解答は図中に示してあるので、各自確認されたい。
（d）実践的な画像処理（レタッチ＆加工）
実践的な画像処理では、自分でプログラムを組んで画像変換や加工をする例は、研究目
的以外ではむしろ稀であろう。ここではフリーのソフトウエアを利用した画像処理の例を示すことで、読者が簡単な画像の加工やレタッチに触れられることを推奨する。携帯やデ

20

第１章

はじめに

ジカメで撮影したオリジナルなデジタル画像から多様な効果を容易に付加することが出来、デジタルコンテンツの制作が話題となっている今日の社会ニーズや自分のホームページデ
ザインに利用できる。インターネットが普及した21世紀の現在では、ネット上にある知的財産を共有し、文化の発信に役立てることが容易になりつつある。
図1.13（a.-c.）は元画像とこれをフリーのソフト（JTrim26））で加工したものである。ソフトの解説書を読まなくても簡単な操作で必要な加工や画像ファイルのフォーマット変換が出来る。また、ペイント系ソフト（Windowsのペイントや窓の杜のフリーソフト26））とアニメーション支援ソフト（AVIMakerなど27））を組み合わせれば、自作のアニメーション（動画像）を楽しむことも出来る。

a.元画像

b.加工画像

c.レタッチ画像25)

図１.13 フリーの画像処理ソフトJTrim を用いて加工した画像の例。

第１章

はじめに

21

Coffee Break Ⅰ：花鳥諷詠からカオスへ「山を越え流れゆく雲、風にそよぐ草花、生きとし生けるもの、そして身近な

自然界の森羅万象の多くは、従来、物理学の対象では無かった。“みそ汁の対流パターン”もしかりである。従来の物理学は、・・・」と書いて、パリティ８月号（1998 年）に著者の拙文を掲載頂いたのは、既に 19 年前です。当時、カオス・フラクタル・複雑系などの新しい「生きたシステムの科学（非線形科学）」は隆盛期にあり、自然界の森羅万象の謎を解く新たな科学の進展に期待が寄せられていました。
映画「ジェラシック・パーク」の中でも、カオスを専門とする数学者が重要な脇役となって登場しています。自由度３はカオスを創るや、バタフライ効果（蝶が羽ばたく程度の小さな擾乱でも、遠くの場所の気象に影響を及ぼす）など、新たな知見が次第に知られるようになっていました。しかし、新しいサイエンスの常識は、約 20 年後の現在でも、あまり一般の人の常識とはなっていないようです。それは、新しい科学（非線形科学）の理論の理解が困難を極めるため？では無いように思えます。

Nen-Doll （6 章参照）

22

第１章

はじめに

【演習問題】[1.1] 人の可聴範囲は通常20Hzから20KHzとされる。標本化定理に従えば、音声信号の標本化に必要な周波数は何Hz以上か？
また、通常の音楽CDの標本化周波数はいくらか？
[1.2] 標本化定理は、信号中に含まれる最高周波数の正弦波を復元するのに必要な最低の標
本化（サンプリング）周波数を規定しているが、この時のサンプリングのタイミングは理想的な場合を想定している。理想的なサンプリングのタイミング位置（位相）とそうでない場合を示し、それぞれ復元される波形がどのようになるかを図示せよ。
[1.3] 標本化定理を満たさない低周波数でのサンプリングはアンダーサンプリングと呼ばれる。アンダーサンプリング時の信号のスペクトルはどのように変化するかを説明せよ。
[1.4] 画像信号を取得するデジタルカメラ等のセンサはCCD（Charge Coupled Devise）である。CCDの基本構造と動作原理を調査し、画像の標本化が具体的にどのように行われるかを考察せよ。
[1.5] デジタル画像データは空間的（2次元）に標本化（離散化）されると同時に、各画素の画像強度（明度・輝度）も離散化（量子化）されている。通常モノクロの画像では256階調の濃淡値を8ビット（１バイト）の情報で表現する。カラーのデジタル画像の場合、各赤（R）、緑（G）、青（B）を1ビットで表現したときの色を全て示せ。また
各R,G,Bを10ビットで表現した場合、表現できる色の種類は何色となるか？
[1.6] 以下の線形フィルタ {ai , j } をデジタル画像 A(i, j ) （５＊５画素）にかけた場合（実際は畳み込み積分：式(1.5)参照）、変換される新しい画像データ B (i, j ) を求めよ。ただし、変換されるのは中心の３＊３の９画素のみで周辺の16画素は変換されないものと
する。

2
3

A(i, j ) = 4

3
5

4
5
6
9
5

5
6
6
4
4

5
7
3
7
8

7
9 
8

9
9 

0 1 0 {ai , j } = 1 2 1
0 1 0

第１章

はじめに

23

[1.7] 次の二つの線形フィルタ {ai , j } と {bi , j } （３＊３画素サイズ）を続けて通した効果は、
５＊５画素サイズの線形フィルタ {ci , j } を一回通した時と同じとなる。{ci , j } を求めよ。

1 2 1 − 1 0 1 {ai , j } = 2 4 2 ， {bi , j } = − 2 0 2
1 2 1 − 1 0 1 
[1.8] 次の一次元画像 g (x) のフーリエ変換を求め、その複素スペクトル G (k ) 及びパワスペ
クトル P (k ) を図示せよ（式(1.13), (1.20)参照）。ただし、 a, b は正の定数である。

0g ( x) = b:x > a, x < − a:−a≤ x≤a【文献】
1) 下田陽久編：画像処理標準テキストブック、（財）画像情報教育振興協会（1997）．
2) 三池秀敏・古賀和利編著（橋本基、百田正広、野村厚志共著）：パソコンによる動画像処理、森北出版（1993）．
3) 乾敏郎：Q & A でわかる脳と視覚、サイエンス社（1993）．
4) 川人光男、行場次朗、藤田一郎、乾敏郎、力丸裕：視覚と聴覚、岩波書店（1994）．
5) 船久保登：視覚パターンの処理と認識、啓学出版（1990）．
6) 例えば、http://www.jdaa.gr.jp/, http://www.daj.ne.jp/
7) 例えば、http://www17.cds.ne.jp/~stray/8) D. Marr: Vision: A Computational Investigation into the Human Representation
and Processing of Visual Information, W.H. Freeman, New York(1982) （乾、安藤訳：ビジョン-視覚の計算理論と脳内表現-、産業図書（1987））．
9) B.P.K. Horn and B.G. Schunck: Determining Optical Flow, Artificial Intell.,17(1981), pp.185-203.
10) J.L. Baron, D.J. Fleet, S.S. Beauchemin: Systems and Experiment Performance of
Optical Flow Techniques, Intern. J. Comput. Vision, Vol.12 (1994), pp.43-77.
11) J.J. Gibson: The Senses Considered as Perceptual Systems, Boston, Houghton
Mifflin (1979) （古崎、辻、村瀬訳：生態学的視覚論、サイエンス社（1985））．
12) S. Ulman: The Interpretation of Visual Motion, Cambridge, Mass., MIT Press(1979)．
13) 金谷健一：画像理解－３次元認識の数理－、森北出版（1990）．
14) K. Kanatani: Geometric Computation for Machine Vision, Clarendon Press (1993)．

24

第１章

はじめに

15) 金谷健一：空間データの数理‐３次元コンピューティングに向けて‐、朝倉書店（1995）．
16)

K. Kanatani, Y. Sugaya, and Y. Kanazawa, Guide to 3D Vision Computation:
Geometric Analysis and Implementation, Springer International, Switzerland(2016)、他多数（http://www.iim.cs.tut.ac.jp/~kanatani/）。

17) 例えば、http://www.nobby-tech.co.jp/measure/software/piv.html
18) 例 え ば、 J.M. Prager, M.A. Arbib: Computing The Optic Flow: The MATCH
Algorithm and Prediction, Computer Vision Graphics and Image Processing,Vol.24 (1984), pp.213-237.
19) 木村一郎、河野吉春、高森年：時空間相関法に基づく流れ場の3次元速度ベクトル計
測、計測自動制御学会論文集、Vol.27（1991）, pp. 497-502.
20) A. Nomura, H. Miike, K. Koga: Determining Motion Fields under Non-uniform
Illumination, Pattern Recog. Letters, Vol.16 (1995) pp.285-296.
21) 南茂夫著：科学計測のための波形データ処理、CQ出版（1986）．
22) 城戸健一：ディジタル信号処理、丸善（1985）．
23) 河田聡、南茂夫編著：科学計測のための画像データ処理、CQ出版（1994）．
24) 江尻正員：工業用画像処理、昭晃堂（1988）．
25) 平井有三：視覚と記憶の情報処理、培風館（1995）．
26) http://forest.watch.impress.co.jp/library/software/jtrim/27) http://www.vector.co.jp/soft/win95/art/se121264.html

第２章

第

２

章

空間フィルタ法による粒子速度・粒径解析

25

空間フィルタ法による粒子速度･粒径解析

格子戸を通して移動する物体を観測すると、物体の姿が周期的に見え隠れする。光透過率に一定の変調を加える「空間フィルタ」を用いると、通過する粒子の速度や粒径が計測できる。
本章では、空間フィルタを用いた速度計測法の基本原理を述べ、動画像処理による空間フィルタ法の有用性を紹介する。

２．１

粒子速度解析

（１）空間フィルタ速度計測法の基本原理
格子状スリット列を用いて、物体の運動速度に比例した周波数を持つ信号を得て、それを解析することで速度計測が可能なことが知られている。すなわち、光の透過率（Transmission Factor）に特定の空間分布を与える空間フィルタ（Spatial Filter :空間的荷重関数）を通して測定対象物体を観測し、得られた総光量の時間変化から速度の検出を試みるのが空間フィルタ速度計測法の基本的な考え方であり、いくつかの応用例が報告されている 1-3)。図 2.1 は、空間フィルタ速度計測法の基本構成を示す。

h( x, y ) を空間フィルタ、 f ( x, y ) を観測対象の空間パターンとする。空間パターンが、()一定速度 v x , v y で運動しているとき、光検出器(Photo Detector)で得られる出力信号の時
間変化 g (t ) は次式のような畳み込み積分で表すことができる。

光検出器
出力 g (t )空間フィルタh ( x, y )
集光レンズ
倍率：M

空間パターンf ( x, y )
（ａ）

（ｂ）

図 2.1 空間フィルタ速度計測法の基本構成。
(a) 側面から見た図、(b) 上部から見た図。

26

第２章

空間フィルタ法による粒子速度・粒径解析

g (t ) = ∫ ∫ f (x − v x t , y − v y t ) h( x , y ) dxdy
XY

.

(2.1)

0 0

式(2.1)中の X , Y は、空間フィルタの x, y 方向の幅を表す。ここで、空間フィルタ h( x, y )を図 2.2 のようなスリット列構造とすると、測定対象の速度計測が可能となる。また、ス
リット列構造を差動型（Differential Type）構成にすると、より正確な速度計測が可能となる 1)。
次に、光検出器で得られる信号について説明する。先述のように、空間フィルタを通して、一定速度 v 0 で運動している対象物を観測すると、変調された透過光が得られる。変調
された透過光は、集光レンズ（図 2.1 参照）により光検出器に入力される。実際には、振幅と位相がゆっくりと変動する正弦波状信号が観測される。この信号には、対象物の並進

速度 v 0 に関連した周波数 f 0 が含まれている。この速度計測法では、直接、対象物の速度 v 0を得るのではなく、その周波数 f 0 を測定することで、速度 v 0 の情報が次式から求まる。

f0 =M v0 cos θ

．

D

(2.2)

ここで、Ｄ は空間フィルタのスリット間隔、Ｍ は光学系の倍率、θは投影された像の移

動方向とスリットの x 軸との角度を表す（図 2.2(a)参照）。式（2.2）は、速度 v 0 で運動す

図 2．2

空間フィルタ速度計測法による計測例。 (a) 空間フィルタと粒子の移動方向、(b) 時系列信号例、(c) 解析結果例。

第２章

空間フィルタ法による粒子速度・粒径解析

27

る粒子のスリット軸に直交する方向への速度成分 v 0 x が測定されたことになる。この場合、

光学系の倍率Ｍにより空間フィルタ面上を移動するパターンの速度は M v 0 となる。この

Ｍによる効果は、倍率効果(Scale Changing)と呼ばれている。
空間フィルタ速度計測法の特徴としては、①光学系の構成が簡単である、②インコヒー
レント光（レーザ光のような可干渉性の無い普通の光）が利用できるため光源の自由度が大きい、などがあげられる。しかし、空間フィルタがハード的に実現されていると、信号処理を行う際、空間フィルタの形状（通常は矩形）から生じる直流成分（ペデスタル成分(Pedestal Component)）や高周波成分が雑音として含まれ、解析精度に影響を与えることが知られている。この様子を図 2.2(b)(c)に示す。
ハード的に構成された空間フィルタのほかに、液晶（Liquid Crystal）と電子回路で構成されたシステムを用いて、リアルタイム処理可能で柔軟性を持つ空間フィルタ法も提案されている 4,5)。これらでは、測定対象に応じてスリット間隔を自動的に変化させ、計測対象に最適のスリット間隔を得る手法や、ペデスタル成分を取り除くために正負値をとる空間フィルタを用いるなど信頼性の高い速度計測法が提案されている。
一方、著者らはビデオテープに記録された動画像データからの速度の自動計測を目標として、空間フィルタ法を基礎とする動画像処理(Sequential Image Processing)による速度計測法を提案した 6)。この手法の特徴は、従来ハードウェアによりアナログ的に実現されていた空間フィルタ速度計測法を、ソフトウェア処理に置き置き換えることで、柔軟性と高信頼性に富む速度計測法を確立している点である。利点としては、
１）ハードウェアでは作成困難である、正負値をとる理想的な正弦波状の空間フィルタの実現とこれによるペデスタル成分や高調波成分の除去、
２）空間フィルタリングや信号の積算など全ての処理のディジタル化、
３）スペクトル解析への最大エントロピー法(Maximum Entropy Method : 以下、MEMと略す)の導入による速度の解析精度の向上、
４）空間フィルタの波長や移動速度の選択の自由度が大きいことから、運動方向の正負の判別が可能性、計測のダイナミックレンジ（Dynamic Rang）の大幅な改良、などが挙げられる。
（２）動画像信号処理による空間フィルタ速度計測法(a) 動画像処理への拡張
ここでは、ソフトウェアで構成した空間フィルタを利用し、動画像処理による速度計測の基本原理について述べ、その後長時間データを取り込むための工夫について紹介する。
対象とする動画像は、取り込み時間間隔は正確であり、画像データは圧縮されていないとする。図 2.3(a)に示すような複数個の粒子が運動している動画像（ M × M[pixels]、

N [frames]）の粒子速度を計測することを考える。このとき、粒子速度（あるいは速度

28

第２章

空間フィルタ法による粒子速度・粒径解析分布）は、以下の手順により求められる。
１）動画像の各フレームに正弦波状の空間フィルタを通す（図 2.3(b)または(c)）
。このとき、元の画像輝度信号を S ( x , y , t ) 、空間フィルタにより変換された画像信号を I ( x , y , t )
とすると、

{

}

  
I (x , y , t ) = S (x , y , t ) sin k・(r − v s・t )

.



(2.3)



ここで、 k は空間フィルタの波数ベクトル（Wave Vector）で、その大きさ k はＤを空間フィルタの波長とした場合、 k = 2π D で与えられ、その方向は空間フィルタのスリット

と直角と考える。また r は原点(0、0)から測った観測画素 ( x , y ) の位置ベクトルを表し、

v s は空間フィルタの並進速度ベクトルである。ここで、空間フィルタの移動方向は、その波面に垂直な方向とする。空間フィルタが速さ v s で移動する場合、画面中に静止した粒子があれば粒子と空間フィルタの相対運動により偏移周波数

fs =

vs
D

,

(2.4)

のスペクトル成分が次式(2.5)で示す信号 A(t ) 中に含まれるようになる。ここで、空間フィルタを移動させる利点としては、画面中の粒子が移動している場合に、粒子の移動方向を知ることが可能となる点と、解析精度の向上が可能となる点が挙げられる。
２）各フレームにおいて輝度信号の総和を計算すると、次式で表される N 点の時系列信号

図２.３
(b)

x, y 方向への空間フィルタリング。(a) 原画像、

x 成分検出フィルタ、(c) y 成分検出フィルタ。

第２章

空間フィルタ法による粒子速度・粒径解析

29(Time Series Signal) A(t ) が得られる。

A(t ) = ∑∑ I ( x , y , t )
x

．

(2.5)

y

３）時系列信号 A(t ) をスペクトル解析することで、式(2.2)に示した運動速度を反映する

周波数成分 f 0 が得られ、それをもとに粒子の速度情報が検出できる。このとき信号 A(t ) は、
図 2.2(b)に示す信号とは異なり直流(ペデスタル)成分の無い正弦波状となることに注意

したい。波数ベクトル k の正弦波場の中を粒子が一定速度 v 0 で動いていれば、


(
k・v )
f =


0

，

2π

0

(2.6)



の周波数を持つスペクトル成分が A(t ) 中に含まれる。一定速度 v s で移動する空間フィルタを用いた場合（周波数偏移法）、粒子速度に対応するスペクトル成分は、



 
(
k・v ) (k・v ) k・(v ± v )±=f == f ± f






s

2π

0

2π

s

2π

0

s

0

,

(2.7)

のスペクトルとして観測されることになる。ソフトウェア的に正弦波状空間フィルタを一



定速度 v s で並進移動させる操作を行うことで、粒子の運動方向を知ることが可能となる。
すなわち、＋、－はそれぞれ物体の移動方向と空間フィルタの移動方向が逆方向あるいは同方向かのいずれかの場合に相当する。
上記１）～３）の手順を、直行する二つの空間フィルタを用いて個別に実行すれば、速度の２成分（ x , y 成分）が解析できることになる。なお、実際の速度に対応する周波数を求めるには、画像フレーム間の取り込み時間間隔⊿t を考慮し、換算する必要がある。
一方、長時間のビデオデータを解析対象とすると、パソコンをベースとする小さな計算システムでは、図 2.3 に示す方法で２次元の画像を取り込んでいたのでは、メモリの制約から連続的に取り込める画像枚数が限定され、長時間の連続自動解析は困難である。そこ
で、画像を取り込む際に以下のような工夫を行う。図 2.3 より、 y 方向の速度を検出した

図２.４

投影画像を用いる解析手法。(a) 原動画像、 (b) 投影画像、 (c) 正弦波状の空間フィルタ(1 次元)、 (d) 空間フィルタを積算した投影画像、 (e) 1 次元データ。

30

第２章

空間フィルタ法による粒子速度・粒径解析

い場合には、先に 2 次元画像データ S ( x , y , t ) を x 方向に積算して投影分布（Projection

Distribution）を求め、１次元画像信号 Bx ( y , t ) とし、その後１次元の空間フィルタを通しても（図 2.4）その結果に変わりはないことがわかる。画像の入力時に、この投影分布を x方向および y 方向に対して並列的に求める演算をリアルタイムで実行すれば、記録すべき
データは２本の１次元信号となり、 M × M の画像ではデータ数は M

2→ 2 M とできデー

タ数の大幅な削減が可能となり、リアルタイムの速度計測も可能となる。
以下に、具体的な解析手順を説明する。
１）図 2.4(a)の M × M [pixels]、 N [frames]の画像データすべてをパソコンに取り込むのではなく、画面上の一つの方向（ x あるいは y ）への輝度の和（投影分布）を、速度解析用の基本データとして連続的に取り込む（図 2.4(b)）。この１次元動画像データをB x ( x , t ) あるいは B y ( y , t ) とすると、次式が得られる。
B x (x , t ) = ∑ {S ( x , y , t ) − BG}，

B y ( y , t ) = ∑ {S ( x , y , t ) − BG}

．

y

（2.8）

x

ここで、 S ( x , y , t ) は２次元動画像の輝度信号を、 BG は背景（Background）の輝度レベルを表わす。輝度レベルＢＧは、あらかじめ解析対象となる動画像中の代表的画像を用いて輝度分布ヒストグラムを作成して決定する（図 2.6 参照）。
２）得られた投影分布（ B x ( x , t ) あるいは B y ( y , t ) ）を１次元の正弦波状の空間フィルタに通し、その積和を計算する処理を行う。繰り返しこの操作を時系列方向 N [frames]について行い、時系列信号 Ax (t ), Ay (t ) を得る（図 2.4(c)～(e)）
。すなわち、}{) sin { k ・(y − v ・t )}A (t ) = ∑ B ( y , t ・) sin k x・(x − vsx・t )Ax (t ) = ∑ B x ( x , t ・

，

x

y

y

y

sy

（2.9）

．

y





ここで、 v sx は空間フィルタの x 方向の移動速度、 v sy は空間フィルタの y 方向の移動速度であり k x = (2π D , 0 ) , k y = (0 , 2π D ) である。
３） Ax (t ), Ay (t ) の、スペクトル解析（DFT）を行い、パワスペクトル P (k ) を得る。
N −1

A(k ) = ∑ A(n )ek =0−

j 2πknN= a ( k ) + j b( k ) ,（2.10）

第２章

空間フィルタ法による粒子速度・粒径解析

P ( k ) = a ( k ) 2 + b( k ) 2 .

31（2.11）

以上のように、２次元の速度成分を求めたい場合には、 x 方向と y 方向の投影分布（ B x ( x , t ) 、 B y ( y , t ) ）さえあれば良いことになる。この操作を行うと、もとの画像の復元は不可能となるが、解析に必要なデ－タ量を減らすことができ、連続的に解析可能な計
測時間を拡大させることができる。
スペクトル解析の方法としては、主にフーリエ変換（Fourier Transform）や最大エントロピー法（MEM）が知られている 7,8)。特に、フーリエ変換はスペクトル解析において広く利用されており、高速フーリエ変換(Fast Fourier Transform :以下、FFT と略す)のアルゴリズムにより高速計算が可能である。
ビデオ画像（NTSC 方式）を解析対象とした場合、その最大サンプリング周波数は 30[Hz]であり、サンプリング定理（第 1 章 1.3 節参照）より解析可能な高速現象の最大周波数は15[Hz]までとなる。1 秒毎に速度を求めたい場合、得られる独立なパワースペクトル(Power Spectrum)の点数は直流も含めて 16 点に限られる。このため、FFT を用いる限りスペクトルの分解能が不十分であり、速度の情報を表すスペクトルもシャ－プさがなく、解析精度の低下を招くことになる。これに対して、MEM はパワースペクトルの非線形推定法の一つであり、パワ－スペクトル P(ω ) は、P(ω ) =

Pm・∆ tm

1 + ∑ ami e − jω i ∆t

2，

(2.12)i =1で得られることが知られている 7)。ここで、m は自己回帰モデル（Autoregressive Model）の次数、 a mi は次数 m における自己回帰係数(Autoregressive Coefficient)、 Pm は定常白色雑音の分散である。この場合、ω はサンプリング定理の範囲で任意に設定することができ、30 個のデータから 1000 個のスペクトルを得ることも可能である。短いデータよりスペクトルが解析できることは、時間分解能の向上が計れ、変化が著しい速度の解析にも適応可能となる。更に、スペクトルの分解能が高くピークが先鋭であることから、FFT と比較して解析精度の向上が計れる。スペクトルの高さ成分を利用する必要がなく、主ピーク
がどの周波数位置に現れるかを推定する目的に限れば、分解能の高い MEM は最適なスペク
トル推定法の一つであると考えられる。
しかし、MEM にもいくつかの問題点が指摘されている。その一つは、自己回帰モデルの次数 m の決定法である。モデル次数の決定法としては今までに FPE 基準（Final
Prediction-Error Criterion）、AIC 基準(Akaike's Information Criterion)、CAT 基準(Autoregressive Transfer Function Criterion)などが提案されているが 8)、これらの決定法はどのような時系列データに対しても適用可能とは限らない。今回動画像処理に実際に用いたモデル次数は、データ点数に応じて経験的に最適であると思われる次数（データ数

32

第２章

空間フィルタ法による粒子速度・粒径解析の１／３～１／４）を与えている。モデル次数を選ぶ一つの指針としては、データ数が多い場合には FFT スペクトルと一致するようなモデル次数を選択することも指針の 1 つと考
えられる。
（b）高精度化と高ダイナミックレンジ化
速度解析では、最適な空間フィルタの波長と移動速度の決定が測定精度やダイナミック
レンジに大きく影響する。そこで、これらを決定する際の工夫を紹介する。
（ア）空間フィルタの決定
運動粒子の速度と粒径が、空間フィルタの波長と移動速度を決定する主な要因である。
まず、空間フィルタの波長と粒径の関係について考える。１個の粒子が正弦波状の空間フ
ィルタ中を通過したとする。背景の輝度をゼロとすると画面輝度の総和の時間変化は、図2.5(a)のように直流分を含んだ正弦波状バースト波形として表れる。この時、移動速度に対応する周波数の振幅の指標となる可視度(Visibility) η は、

η=

I max − I min
I max + I min,（2.13）と定義される。一般に半径 ρ 2 の粒子全体の輝度が均一な粒子像の可視度には波数(k s = 2π D ) 依存性があり、それをη (k s ) とすると、
η (k s ) ∝ 2 J 1 {k s (ρ 2)} k s (ρ 2),(2.14)と表されることが知られている 1)。ここで、J 1 は第１種円柱ベッセル関数を示す。これは、
半径 ρ 2 の１個の粒子が一定速度で運動する画像を、波数 k s の正弦波状空間フィルタに通し、積算して得られる時系列データのパワースペクトル最大値の波数依存性と等価である。
図 2.5(ｂ)より、空間フィルタの波長 D が粒径 ρ より小さくなるとスペクトルも小さくなることが分かる。特に、波長の定数倍が概ね粒径と一致するとき（最初に極小となるのは、

D = 1.23 のときである）はパワースペクトルが極小となる。このことから、得られる信号

図２.５

Visibility の定義(a)と Visibility の波数依存性(b)。

第２章

空間フィルタ法による粒子速度・粒径解析

33

成分を大きくし、雑音に強くするためには、粒径より小さい波長の空間フィルタを用いることはできるだけ避けた方がよいことがわかる。すなわち、

D>ρ

[pixels],(2.15)

を満足する波長の空間フィルタを選択する必要がある。しかし、波長を大きくすると解析精度は低下する。従って、上式は空間フィルタの波長 D の下限を与えている。このような方法により、画像データから得られた粒径をもとに使用可能な空間フィルタの波長の範囲
が、おおよそ決定される。次にその範囲内で粒子の速度に適した空間フィルタを決定し、速度解析を行うこととなる。解析方法は、以下に示す二通りの方法が考えられる。
Ⅰ） 空間フィルタの波長に対する移動速度の比を固定し、粒子の速度に応じて空間フィルタの波長を変えていく方法。この方法は、従来のハード的な空間フィルタ速度計測法では実現が困難な方法である。
Ⅱ） 空間フィルタの波長を固定し、粒子の速度に応じて空間フィルタの移動速度を変えていく方法。
両方法とも時刻 t = 0 を起点として逐次、解析を行う。時刻 t i の速度の計算を行う場合は、一つ前の時刻 (t i − 1) の速度解析結果を基に、空間フィルタを決定し解析を行う。 t = 0 の場合は、粒子の速度が 0 と仮定して計算を行う。
空間フィルタの波長 D および移動速度 v s の決定条件について、具体的に述べる。
Ⅰ）の解析法の場合の条件
以下の①、②、③を満たすように D , v s を決定する。

① 空間フィルタの波長 D の整数倍 n が、 x 方向（または y 方向）画像サイズ M になるように設定する（背景の平均輝度レベルのスペクトルへの影響を少なくするため）。

n×D = M

[pixels](n = 1,2,3,)，(2.16)② 解析速度の正負のダイナミックレンジを等しく（最大に）取るために、空間フィルタの移動速度成分 v s と波長 D の比を次式の様に設定する。これは、後に(3)ＢＺ反応の解析
例で示すように、速度が正負値を取るような場合を考慮しているためである（この式の導出の詳細については、この章の付録 1 参照）。

vs 1[1/frame]，=D 4③ v s は対象となる粒子の速度 v 0 に応じて次のように設定する。

vs =


D
≥ γ v04[pixels/frame]，(2.17)(2.18)

ただし、 γ は速度の急変に対応できるための安全係数で、通常 1.2～2.0 に選ぶ。
Ⅱ）の解析法の場合の条件①（2.15）式を満たす、適当な波長 D を持つ空間フィルタを選択する（この解析においては、空間フィルタの波長は常に一定である。）。
② 粒子の速度 v 0 が解析可能であるように、空間フィルタの移動速度 − v s （粒子の移動

34

第２章

空間フィルタ法による粒子速度・粒径解析方向と逆方向）を設定する。すなわち、時刻 t i − 1 の解析結果を v 0 とすると次式を満足す
るように設定する。

v0 − v s =D
4[pixels/frame]．

(2.19)

両解析法を比較すると、Ⅰ)の手法では常に空間フィルタの波長 D と移動速度 v s の比率が一定であるため（（2.17）式参照）、空間フィルタの波長の増加に伴いダイナミックレンジは広くなっていくが、同時に解析精度は低下していく。これに対し、Ⅱ）の手法は空間フィルタの波長が一定であるため、ダイナミックレンジは常に一定であり、解析精度の変化はなく、波長を短くとれば高精度の解析が可能となる。しかしながら、Ⅱ）の手法では、解析精度を高めるためにダイナミックレンジはあまり広く取らないことが一般的には多く、ノイズによりある時点の解析結果が誤ったものとなると、次の時点以降、真の速度がダイ
ナミックレンジより外れる可能性が大きい。つまり、Ⅱ）の手法は、解析精度は常に高くできるが、ノイズに弱い解析法であり、観測時間内での速度の変動が大きな現象に対してはあまり適していないと言える。一方、Ⅰ）の手法では、正負のダイナミックレンジが常に等しく、波長の増加に伴いダイナミックレンジが広くなるため、真の速度がダイナミッ
クレンジより外れることはないと考えられる。以下の解析例（ｄ）で示す画像は振動現象であるため、正負のダイナミックレンジがほぼ等しく、波長の増加にともないダイナミッ
クレンジが広くなり、真の速度がダイナミックレンジよりはずれることの無いⅠ）の方法
が適していると考えられる。更に精度の良い解析結果を得たいときには、Ⅰ）の解析を行った後、その結果を利用してⅡ）の方法により再度解析を行えば良いと考えられる。
（イ）背景輝度レベルの影響
図 2.6(b)に、現実の動画像中のある時刻における画像の輝度分布をヒストグラムで示している。このヒストグラムで、画像中の背景の輝度レベル（ピークとなっている輝度レベ

図 2.6 解析した動画像からのスナップショット(a)と、その輝度分布ヒストグラム

第２章

空間フィルタ法による粒子速度・粒径解析35ル付近）が、かなり高くなっていることが判る。このように現実の画像では、背景は必ずしも零という値になるとは限らず、あるレベルの値となる。従って、このままの画像を用いて解析を行った場合、特に周波数偏移法の考えに従い空間フィルタを一定速度で移動させる場合、得られる時系列データのパワースペクトルにはこの静止している背景の信号成分が多量に含まれてしまう。すなわち、得られたパワースペクトルでは、空間フィルタの移動速度 v s に相当する偏移周波数 f s のピークのみが大幅に強調されることになり、速度の解析精度に影響を与えることが考えられる。そこで、一定の輝度レベル（背景の輝度レ
ベルはヒストグラムのピーク値付近と考えられるのでピ－ク値より少し高い値に設定：↓の位置）を各画素より差し引くという処理（ただし、差し引いた値が負であれば零とする。）
を行った。このことで、解析精度の向上が図れる。
（c） 解析例（BZ 反応に伴う振動流）
解析対象としたのは、Belousov-Zhabotinsky (BZ)反応 9)に伴う振動的流体現象である。
BZ 反応とは、非平衡状態において振動的化学反応を示す系として有名であり、酸性溶液
中において酸化・還元反応が周期的に繰り返すことが知られている。非撹拌のバッチ・リ
アクターにおいて、触媒としてフェロインを用いて反応を可視化させると、還元状態の赤色溶液中を酸化状態の青色の化学反応波が伝播していくのが観測される。また、この化学反応波（図 2.7 参照：(a)円形波、(b)ラセン波）の伝播に伴い、伝播する対流や振動的流れが発生する 10)。図 2.8 は、ラセン波に伴う振動的流体現象を、ポリスチレン・ラテックス（ φ = 0.48 μm）をレーザ光照明で可視化してとらえた動画像を解析した結果（ y 方向
速度成分の時間変化）である。速度の時間変化の解析には最大エントロピー法を用いた。

（ｂ）

（ａ）
1cm

図２.７ 化学反応波の例：(a) 円形波、 (b) ラセン波

36

第２章

空間フィルタ法による粒子速度・粒径解析

図２.８ 解析例：BZ 反応に伴う流体現象の速度計測。(a) 正弦波状空間フィルタを一定値に固定した場合の解析例（ D = 10 pixels， v s = 2.5 pixels/frame）、(b) 正弦波状空間フィルタの動的最適化による解析例。

観測粒子の速度に応じて、空間フィルタの波長と移動速度を変えること（動的最適化(Dynamic Optimization)）による解析精度の向上を明らかにするため、比較として、空間フィルタを一定値に固定した場合の解析結果も共に示している。図 2.8(a)は、波長D = 10 [pixels]、速度 v s = 2.5 [pixels/frame]に固定した空間フィルタを使用したときの結果である(ダイナミックレンジは、±2.5[pixels/frame])である。)。図 2.8(b)は、空間フィルタを粒子の速度に応じて最適化しながら解析した結果である。実線が１秒毎の計算
結果で、・印がマニュアルによる５秒毎の計測結果である（ビデオの画面上での実際の粒子の運動を目でトレースして得た。
）。図 2.8(a)では、速度の遅い領域ではあまり問題が無い
ものの、速度の速い領域ではダイナミックレンジが追いつかず、正しく解析されていないことが判る。一方、図 2.8(b)では、マニュアルによる測定結果と解析結果がどの速度領域においてもほぼ一致しており、良好な結果を得ていることが判る。動画像処理による空間

第２章

空間フィルタ法による粒子速度・粒径解析

37

フィルタ速度計測法により、振動的な流体現象の自動解析が可能であることが判る。この解析法では、10 [pixels/frame]程度までの速度解析が可能なことが確認されている。

２．２

粒径解析

粒子径を非接触で計測する手法は、ディジタル画像処理による方法 11)とレ－ザ光のコヒーレンスを利用した光学的な方法 12)の二つに大きく分類することができる。ディジタル画
像処理による方法についての詳細は、文献 11) を始めとする多くの他書に譲る。本節では、
光散乱法を画像処理に応用した方法について解説する。光散乱法には、微粒子からの散乱
光の時間的な変動を計測する動的光散乱法(Dynamic Light Scattering)13-15)や空間的な分布を計測する静的光散乱法(Static Light Scattering)16)があり、同時に多数の粒子が測定対象領域に存在する場合を取り扱うことが可能である。これらの手法では、信頼性の高い結果を得るために、信号の統計平均処理をおこなう必要がある。動的光散乱法では、例えば流体中に浮遊している粒子が存在している場合、粒子間距離のランダムな変動がブラウン運動によって生じ、統計的平均操作に重要な寄与を行っている。静的光散乱法では、平均
散乱パタ－ン * から直接粒径を求める方法、すなわち逆散乱手法(Inversion Scattering
Technique)を解く方法が知られている。
以下の小節では、まず動的光散乱法を動画像処理に応用した粒径計測法を紹介し、次に動画像処理いうメインタイトルから少し外れるが、静的光散乱法を静止画像処理に応用した粒径計測法を紹介する。これらの方法は、前節で紹介した空間フィルタ法の応用例と考えることができる。
２．２．１ 動画像処理による空間フィルタ法を用いた粒径計測（１）動的光散乱法
動画像処理による空間フィルタ法を用いたブラウン粒子の粒径計測法を説明する前に、まずその理論的基礎となるレーザ光による動的光散乱法について簡単に原理を説明する。
動的光散乱法は、1960 年代に開発されたブラウン粒子計測法である。溶媒中に分散している微粒子は、溶媒中に対流等がなく溶媒温度が均一の場合にはブラウン運動をしていると考えられ、その運動は粒子の大きさに依存する。大きな粒子では遅く、小さな粒子では速い。したがって、微粒子によって局所的な誘電率変化を持つ媒質にレーザ光が入射したときに生じる散乱光は、微粒子の運動、すなわち粒径に依存したゆらぎを持つ。このゆらぎを持った散乱光を検出し粒径を算出するのが動的光散乱法である。
ブラウン運動をする球形粒子のダイナミクスは、ランジェバン方程式 17‐19)によって記述される。速度に比例する抵抗力を考慮し、ブラウン粒子の質量 m、粒子の速度 v(t)、粒*散乱光強度の散乱角(θ)依存性を示す．円形開口の場合，その中心対称性より散乱ベクト
ルの方向によらずその大きさ k s で決定される．

38

第２章

空間フィルタ法による粒子速度・粒径解析

子の半径 a、流体の粘性係数η、ランダム力 R(t)とすると、ランジェバン方程式はm

dv(t )= −6πηav(t ) + R(t ) ，dt(2.20)と書くことができる。この方程式から速度の相関関数は次式のように導かれる 18)。

v(0)v(t ) = v 2 φ (t ) t
= v 2 exp −  τ．

(2.21)

ここで、 v 2 = k BT / m であり、φ(t)は正規化された速度相関関数、そして kB はボルツマン
定数、T は絶対温度を表す。また、τは相関関数の相関時間である。Green-Kubo の式 20)によると、その拡散係数 D は次式で与えられる。
∞

D = ∫ dt v(0)v(t ) =
0

k BT
6πηa

．

(2.22)

これは、Einstein-Stokes の関係式としてよく知られている。一方で、拡散係数 D は移動
量 x の相関としても表記される。

D = limt →∞x(t ) 22t

(2.23)

，

ここで

図２.９

誘電率の時間・空間変動による光散乱の検出

第２章

x(t ) 2 = 2 v 2 ∫ dt ' (t − t ')φ (t ' )39

空間フィルタ法による粒子速度・粒径解析t0= 2 ∫ dt ' v(0)v(t ' ) (t − t ')t

(2.24)

，

0

である。



散乱体への入射レーザ光はコヒーレントで、電界強度 E0、入射波の波数ベクトル k 0 、

角周波数ωであるとすると、位置 r 、時刻 t での電磁波の入射電界 E が次式で書ける。

[(

 

E s = E 0 exp i ωt − k 0 ⋅ r)] ．

(2.25)

磁性、電気伝導性、熱吸収性のない j 番目の球形ブラウン粒子は、この平面波によって分極する。
そして時間変動する双極子が輻射場を作り光が散乱される。この双極子輻射では、



散乱光は入射光と同じ角周波数ωで、大きさは k 0 と同じだが方向が散乱を観測する方向(R − r )を向いた波数ベクトル k を持つ（図 2.9）。散乱体から十分離れた位置 R の点にお




j



s

 

{[



(





いて、時刻 t’に観測される散乱電界は、γ E ( r j (t ), t ) exp i ω (t − t ') − k s ⋅ R − r j (t ))]} となる 19)。γは散乱や検出の効率等を考慮した因子である。光検出器では散乱に寄与するすべての粒子による電界の重ね合わせが検出されるから、ある時刻 t でのブラウン粒子の数を

図２.10 動的光散乱法による散乱光と検出器の幾何学的関係

40

第２章

空間フィルタ法による粒子速度・粒径解析N(t)とし、t と t’の時間差は小さいので t=t’とすると、観測される散乱電界 E R は()

  N (t ) 
E R = γE 0 exp ik s ⋅ R ∑ exp i (ωt − q ⋅ r j (t ) )


[

] ，

(2.26)

j =1となる。 q は散乱波数ベクトルと呼ばれ、図 3.10 中の各ベクトルの幾何学的関係より

  q = k0 − k s(2.27)，

 4πn  θ 
q= q =sin  λi
2(2.28)，と表される 13)。ここで、 k 0 = k s = 2πn λi であり、 λi は入射レーザ光の波長、散乱角θ、
そして媒質の屈折率 n である。(2.26)式より、時刻 t に観測される散乱強度 IR(t)は、N (t ) N (t )

2
 

2
2
I R (t ) = E s (t ) = γ E 0 ∑ ∑ exp iq ⋅ (rk (t ) − r j (t ) )[] ，(2.29)

j =1 k =1となる。
動的光散乱法の中でも、図 2.11 のような散乱光と参照光を混合して検出するヘテロダイ
ン検波法の場合、散乱強度の自己相関関数 g(q, t)は次式のように表される。

 q 2 x(t ) 2 g (q, t ) = exp −


2



．

図 2.11 ヘテロダイン検波法の構成図(2.30)

第２章

空間フィルタ法による粒子速度・粒径解析

41

マルコフ過程においては、この相関関数は次式で得られる。

(

g (q, t ) = exp − q 2 D t) (= exp(− t τ )) ．

(2.31)

すなわち、ヘテロダイン検波法によりブラウン運動をしている粒子を観測した場合、観測信号は相関時間τで指数関数的に減少する相関関数を持つ。ブラウン粒子の粒径を算出する
ためには、散乱光より得られた変動する輝度信号の自己相関関数を求め、相関時間τを算出
すれば、

τ =

1
Dq 2

(2.32)，となり、ブラウン粒子の粒径 a（半径）は、(2.22)式より

k B Tq 2τ
a=
6πη

，

(2.33)の式で評価できる（図 2.12）。

図２.12 動的光散乱法による散乱光ゆらぎの自己相関関数の模式図（２）動画像処理による空間フィルタ法を用いた粒径評価法
粒径計測法の一つに静止画の粒子顕微鏡画像を対象とした画像解析法がある 21)。この
方法は、光学顕微鏡、ビデオカメラなどで測定対象となる粒子画像をとらえ、平滑化、エッジ抽出などの静止画像処理をおこない、粒子の形状パラメータを直接評価している。し

42

第２章

空間フィルタ法による粒子速度・粒径解析

かし、画像には粒子の実像が撮像されている必要があるため、サブミクロンサイズの粒子
を光学顕微鏡で可視化した画像から、直接的に静止画像処理によって粒径を評価することは意味をなさない。なぜなら、光学顕微鏡で撮像される各粒子の散乱像は、照明となっているレーザ光の散乱強度に依存し、実際の粒子の大きさよりも大きく映し出されるからである。しかも照明が視野内で不均一であり、また顕微鏡の焦点からずれる粒子の影響ため
画面内の位置によっても粒子散乱像の大きさは異なっている。サブミクロンサイズの粒子の実像をとらえるには、電子顕微鏡が必要となる。ところが、サブミクロンサイズの粒子であってもブラウン運動は粒径に依存した動きをしており、その運動は光学顕微鏡画像における見かけの粒径には無関係である。ここではサブミクロンサイズの微粒子を撮影した顕微鏡動画像を対象に、前節で述べた動的光散乱法の理論を動画像処理に応用した粒径評価法について説明する。
動的光散乱法におけるヘテロダイン検波法は、散乱体の運動により変調を受けた散乱光と、参照光を混合し光強度のゆらぎを観測している（図 2.11）。これは、差動型レーザ･ドップラー計測法に見られるように、散乱光と参照光を散乱角θで交差させたときにできる







干渉縞（ q = k 0 − k s ）中での散乱光のゆらぎを観測していることと等価である 22)。この干渉縞は、2.1 節で述べた動画像処理による空間フィルタ法を用いることによってソフトウ
ェア的に等価なものが作成できる。ブラウン粒子にレーザ光を当てた散乱光を光学顕微鏡で可視化した動画像データ（図 2.15）に、ソフトウェア的に正負の特性を持つ空間フィル
タを重畳し、フィルタ内での散乱粒子像のブラウン運動に伴う濃淡情報のゆらぎを得ることによって、動的光散乱法と等価な信号を得ることができるのである 23)。
まず、差動型レーザ・ドップラー法における干渉縞の空間波数 K

K=

4πn

θ 
sin  λ2，(2.34)と(2.27)式の散乱波数 q が対応すると考え、散乱波数 q を

K=

2π
d

(2.35)，のように置き換える。d はレーザ・ドップラー法における干渉縞の波長である。この干渉縞の波長 d が、動画像処理による空間フィルタの波長 W に相当すると考えることにより、

K=

2π
W

(2.36)，のように置き換える。したがって、波長W =λsin (θ 2 )，(2.37)をもつ空間フィルタを、ブラウン粒子の散乱光を顕微鏡撮影した動画像データに対しソフ
トウェア的に重畳すれば、ブラウン粒子の運動に伴う相関関数 G(K, t)は、(2.31)式より

第２章

(

G ( K , t ) = exp − K 2 D ⋅ t

空間フィルタ法による粒子速度・粒径解析

43

)

 t
= exp −  τ

(2.38)，

が得られる。ここで相関時間τは(2.32)式で示したとおり

τ =

1
6πηa
=
2
DK
k BTK 2(2.39)，である。このように、ブラウン粒子のレーザ散乱光を撮影した動画像データを処理することにより、動的光散乱法と同等な信号の自己相関関数を得ることができる。そして、この自己相関関数から、動的光散乱法と同様にブラウン運動する粒子の粒径を算出することが可能である。
（３）動画像データの処理方法
ここでは、得られた動画像データから、ブラウン粒子の散乱光変動信号と、そのパワースペクトルおよび自己相関関数を得る具体的な処理法について説明する。N×N[pixels]、

L [frames]の動画像 s(x, y, t)を考える。この動画像データに、3.1 節で述べた動画像処理による空間フィルタ法に基づき、波数ベクトル W の空間フィルタを重畳すると次の変動信号
A(t)が得られる。

{

 
A(t ) = ∑∑ s ( x, y, t ) ⋅ sin K ⋅ r + ϕy} ．

(2.40)x

ここで、 r は原点から測った画素(x, y)の位置ベクトルを表す。ϕは空間フィルタの位相である。次に変動信号 A(t)のパワースペクトルを求め、Wiener-Khinchin の定理によりこのパワースペクトルをフーリエ変換して自己相関関数 G(K, t)を得る。自己相関関数より相関、(2.33)式より粒径を算出する。
時間τを算出し（図 2.12）
ブラウン運動のようなランダム過程を取り扱う場合、正しいパワースペクトルや自己相関関数を得るためには、統計平均が十分におこなわれている必要がある。ブラウン運動は定常的確率過程とみなせることから、次の三つの処理により見かけ上の観測時系列信号
A(t)を長くし、統計的な平均回数の多いパワースペクトルを得ることが有効である。
１．空間フィルタの方向：同一の動画像データに対して X 方向、Y 方向それぞれの空間フ
ィルタをかけて変動信号 A(t)を算出する。
２．フィルタの位相：同一の動画像データに対して異なる位相の空間フィルタ（例えば 5つ：ϕ =0, 2π 5 , 4π 5 , 6π 5 , 8π 5 ）を重畳した変動信号 A(t)を算出する。
３．時間のオーバーラップ：観測時間内の P 点の変動信号 A(t)に対し、オーバーラップを許しながら 1 系列 Q 点の U 個の時系列に分割して、各々離散フーリエ変換し平均パワー
スペクトルを求める（図 2.13）
。

44

第２章

空間フィルタ法による粒子速度・粒径解析

図２.13 パワースペクトルの時間的平均を求める手順。P は変動信号のデータ点数、Q は 1 回のフーリエ変換に使用するデータ点数、U は時間的平均回数を表す。

図 2.14顕微鏡と動画像処理システム

第２章

空間フィルタ法による粒子速度・粒径解析

45（４）システム例
図 2.14 にシステム例を示す。我々が使用したシステムは、Ar レーザ（488nm, 25mW）
もしくは He-Ne レーザ（632.8nm, 5mW）と、倒立顕微鏡（Nikkon, TMD）
、CCD カメラ（National, WV-1850）、S-VHS ビデオデッキ（Victor, HR-X5）、そして、パーソナル
コンピュータ（NEC, PC-9801Xa16）と画像入力インターフェースボード（Micro-technica,
MT98FMM）から構成されている。 NEC の PC-9801 シリーズを用いたシステムを使用したが、現在入手しやすい PC や画像入力インターフェースを使用してよい。ただし連続
画像入力時のサンプリングの等時性が保障されていることを前提とする。蒸留水を濾過器（日本ミリポア、Mille-Q Jr.）に通した純水に、微小なポリスチレン粒子（直径 0.5μm
程度：Duke）を加えたものをシャーレに入れ、それを測定対象とした。レーザ光は、シャーレ中の微小領域（約 0.2mm）のポリスチレン粒子を照明するようにレンズによって焦点をあわせた。
使用するレーザの波長λによって、動画像処理によって計測できる粒径（半径 a）の理論的最小限界は次式によって決定される 23)。

υ=

πa
λ

．

(2.41)

ここで、υ < 0.4 の範囲が粒径評価可能な粒径 a である。υ < 0.4 の範囲はレイリー散乱の領域とされており(2.25)式が成立するが、υ > 0.4 では 1 個の粒子を 1 つの双極子とみなせなくなる。
本システムの Ar レーザを使用すると粒径 0.031µm が解析の理論的限界となる。
ブラウン運動をしている微粒子の顕微鏡画像例を図 2.15 に示す。図 2.16 に直径が1.09µm と 0.20µm のポリスチレン粒子を本システムで計測し、解析した変動信号 A(t)の例を示す。図 2.16 を見ると明らかなように、粒径が小さな粒子（0.20µm）の方が大きな粒子よりもより頻繁にゆらいでいる様子がわかる。この変動信号 A(t)よりその自己相関関数を推定すれば、(2.32)式より粒径の定量的な評価が可能となる。
（５）解析例
上記のシステムを使用して粒径評価をおこなった例を述べる。あらかじめ粒径が明らかにされている 3 種類（1.09µm、0.46µm、0.20µm）のポリスチレン粒子を対象にした。測定をおこなったときの室温は 24.0±0.5℃であり、水の粘性係数ηを 0.0091poise と想定した。顕微鏡画像中の画像中の 64×64[pixel]の領域を解析対象（例：図 2.15(a)）として、32768 [frames]（1092 秒間）をサンプリング周波数 30 ヘルツでパーソナルコンピュータ
へ動画像を取り込んだ。空間フィルタの波長 W として 4、6、8、12、16[pixels]の 5 種類をそれぞれ用いた。
図 2.17、図 2.18 に空間フィルタの波長 W を 6[pixels]と 8[pixels]とした場合の各実験対象に対する自己相関係数のグラフを示す。図中の水平な点線が 1/e の値を示し、各曲線がこの点線と交わる時間が相関時間τとなる。このτより(2.32)式を用いて粒径が推定される。

46

第２章

空間フィルタ法による粒子速度・粒径解析

表 1 に各々の実験対象に推定された粒径をまとめている。基本的に、あらかじめ与えられた粒径に近い粒径を、本手法により推定することが可能であった。

図２.15 レーザ光によって照明されたブラウン粒子（直径 0.20µm）の顕微鏡画像例。
粒径評価のための解析対象とした範囲を(a)の白い枠で表している

第２章

空間フィルタ法による粒子速度・粒径解析

図２.16 実験により測定された変動信号 A(t)の例。
(a) 0.20µm のポリスチレン粒子、(b) 1.09µm のポリスチレン粒子。

47

48

第２章

空間フィルタ法による粒子速度・粒径解析

図２.17 本システムを使用して得られた自己相関関数 G(K, t)。
(空間フィルタの波長 W として 6[pixels]を使用)

図２.18 本システムを使用して得られた自己相関関数 G(K, t)。
(空間フィルタの波長 W として 8[pixels]を使用)

第２章

空間フィルタ法による粒子速度・粒径解析

49

表１ 評価されたブラウン粒子の直径
空間フィルタの波長
W [pixels]
4
6
8
12
16

計測したポリスチレン粒子の直径（μm）
0.20
0.46
1.09
評価された直径（μm）
0.24
0.40
1.32
0.22
0.47
1.16
0.23
0.45
1.24
0.24
0.43
1.12
0.21
0.41
1.04

２．２．２ 静的光散乱法を画像処理に応用した粒径計測
逆散乱手法による粒径分布計測の解析原理を説明し、次に、２次元フ－リエ変換像に逆散乱手法を用いたディジタル画像処理よる粒子半径分布計測手法について紹介する 6,25)。
（１） 光散乱の逆散乱手法による粒径計測
図 2.19(a)に示すように微粒子（散乱体）をレーザ光で照射し、検出器の角度を変化させると、各角度方向の散乱光強度が測定できる。縦軸に散乱光強度、横軸に角度をプロッ

図２.19 散乱パターンを測定する方法。(a) 光散乱系、(b) 粒径による散乱パターンの違い。

50

第２章

空間フィルタ法による粒子速度・粒径解析

トすると、図 2.19(b)に示す平均散乱パタ－ン I (k s ) が得られる。この平均散乱パタ－ン

I (k s ) は、微粒子の粒径によって変化する 26)。この平均散乱パタ－ンから、清水らは 25)フ－リエ・ベッセル逆変換(Fourier-Bessel Inversion Transform)を用いて粒子半径分布n( ρ 2 ) を評価する式を提案している。
2
ρ 1 ∂n  ∝
B −1 [I (k s )] ρ > 02
 2  ρ ∂ρ．

(2.42)

ここで、 ρ は円形開口の直径を示し、 B −1 は０次の円柱ベッセル逆変換を示す。橋本 16)
は、平均散乱パタ－ンにハニング窓(Hanning Window Function)をかけるなどの補正を行うとともに、(2.42) 式のより厳密な解として次式を提案し粒径評価を行っている。
∞

1 ∂ 2 −11ρB [I (k s )] = n  + ∫n(a ) da2ρ ∂ρ
 2  ρ + 0 2 a 1 − ( ρ 2 a )2．

(2.43)

2

ここで、 n(a ) は粒径分布、 a は２次元散乱体（円形開口）の半径であり、 0 ≤ ρ ≤ 2a とする（この式の導出については、２章付録２を参照）。

図２.20 1 次元散乱体の粒径評価手順。(a) 入力信号、(b) 自己相関関数、(c) 粒子分布。

第２章

空間フィルタ法による粒子速度・粒径解析

51

この逆散乱手法の基本原理を分かりやすく説明するために、１次元散乱体の場合について手順を示すと図 2.20 のようになる。大きさ１の矩形波が入力波形として与えられたとする(a)。この波形をフ－リエ変換し、パワ－スペクトルを求めると散乱パタ－ンに相当する信号が得られる。
このパワ－スペクトルを逆フ－リエ変換すると自己相関関数が得られ（ウィナ－・ヒンチンの定理(Wiener-Khinchin Theorem)）(b)、この自己相関関数に対し２次微分操作を行うことにより粒径を表す位置にデルタ関数(δ-function)を得ることができる(c)。これを２次元に拡張すると、逆フ－リエ変換の部分が逆円柱ベッセル変換となり粒径分布の評価が可能になる。

図２.21 円形粒子像（粒径 11[pixels]）の 2 次元フーリエスペクトルと円形開口の散乱パターン。 (a) 円形粒子のフーリエスペクトル像（図中粒子像は略図）、(b) 円形開口の散乱パターンと円形粒子のフーリエスペクトル画像の比較。

（２） 画像処理による逆散乱理論
画面上に円形粒子が１個存在するディジタル画像（256×256[pixels]の画像中に直径
11[pixels]の粒子）を２次元離散フ－リエ変換すると、図 2.21(a)に示すようなパワ－スペクトル像が得られる。この像の中心(波数 k x = k y = 0 [radian/pixel])を通る任意の断面で切り、片側のみを描くと図 2.21(b)の○印で示す曲線となる（図では実際に得られたデ－タを一つ置きにプロットしている。）。また、理論曲線 I (k s ) を、図 2.21(b)中に実線で示している。この曲線は、光散乱理論では２次元円形開口の平均散乱パタ－ンに相当し、その理論曲線 I (k s ) は、次式で与えられる 27)。

52

第２章

空間フィルタ法による粒子速度・粒径解析

I (k s ) ∝ 2 J 1 {k s ( ρ 2 )} k s ( ρ 2 )2．

(2.44)

ただし、 ρ 2 は円形開口の半径、 J 1 は第１種円柱ベッセル関数である。また、入射光の波

数ベクトル k i と散乱光の波数ベクトル k f の差のベクトルとして定義される散乱ベクトル

)

(


 
k s = ki − k f の大きさ k s は、レ－ザ光の波長を λ 、散乱角を θ とすると、２次元散乱体ではk s = 2 × k i sin

θ

=

4π

sin

θ

，

(2.45)2λ。図 2.21(b)から、ディジタル画像のパワで与えられる 14)（ k i = k f = 2π λ の条件下で）2ースペクトルは散乱パターンの理論曲線にほぼ一致している。理論曲線との誤差は、作成した粒子像がディジタル画像であり、完全な円ではないことによる。
一方、半径 ρ 2 の粒子の可視度は(2.13)式で表せる。散乱理論における２次元円形開口の散乱パターンを表す(2.44)式と、空間フィルタ速度計測法における可視度を表す(2.13)式を比較してみると、形式的には一致している。画像に正弦波状の空間フィルタをかける
ことは、画像のサイン変換とも考えられる。このことから、画像の２次元空間フーリエ変換によって得られるパワースペクトルの波数 k s のパワーも(2.44)式で表現できることになる。ただし、この時の空間フィルタの波数 k s は

ks =

2π
D

，

(2.46)

で与えられる。この式で、 D は空間フィルタの波長を表す。画像中に粒子が１個存在する
場合は、(2.44) 式の右辺の第１極小点が k s ρ 2 = 3.83 で与えられることより、第１極小を与える空間フィルタの波数 k s を測定することで粒径 ρ の評価が可能である。
以下では、逆散乱手法の考え方を基に、ディジタル画像処理手法による粒子半径分布計
測について説明する。解析手順を図 2.22 に示す。まず１枚の M × M [pixels]の２次元原画像を考える。この画像を２次元フ－リエ変換しパワ－スペクトルを求めることで、散乱
パタ－ンに対応するスペクトルパターンが求められる。しかし、画像中に粒子が複数存在
すると、単に原画像の空間パワ－スペクトルを求めただけでは図 2.23(a)（直径５[pixels]の粒子が２個の場合）に示すように粒子間距離（約 40[pixels]）の影響により、パワ－ス
ペクトルが大きく乱れることになる。そこで、この乱れを除くために以下に示す画像の回転操作により画像生成を行う方法Ⅰ）、と粒子のランダム移動により画像生成を行う方法
Ⅰ’）を紹介し、その後Ⅱ）以下の処理を順次実行する。

第２章

原画像

空間フィルタ法による粒子速度・粒径解析

53

S ( x, y )画像生成（回転，擬似乱数）

N 枚の変換画像 g ( x, y, N )2 次元フーリエ変換
パワースペクトル PN ( k x , k y )最大値の選択およびスムージング

平滑化パワースペクトル V ( k s )逆散乱手法
自己相関関数B −1 [V (k s )]微分操作

粒子半径分布図２.22n( ρ 2)逆散乱手法に基づく画像処理による粒子半径分布計測手順。

Ⅰ） 原画像を一定間隔 θ 0 ずつ回転させた N 枚の変換画像を作る。すなわち、原画像の画像関数を f ( x, y ) とすると nθ 0 回転した画像の画像関数 g ( x, y, N ) は()

g (x, y, N ) = f Λ−n1 ( x, y )，(2.47)

で与えられる。ここに cos nθ 0
Λn = 
− sin nθ 0

sin nθ 0 
cos nθ 0 

（ただし、 n = 1,2,  , N ） ，(2.48)である。ただし回転後の計算したい画素での輝度値は、原画像の近傍４点を基にバイリニ
ア法でリサンプリングして求めている（図 2.24(a)参照）
。

54

第２章

空間フィルタ法による粒子速度・粒径解析

図２.23 円形多粒子の２次元フーリエスペクトル像。 (a)原画像のフーリエスペク
トル像（図中粒子像は略図）、(b) 回転処理による平滑化スペクトル像。

Ⅰ’） 回転により画像を複数枚作成する場合、元来の粒子間距離は変化せず、x 成分、y
成分の割合が変化するのみであり、与えられる原画像によっては統計的平均操作が不十分な場合がある。そこで、粒子位置を互いに重ならないようランダム移動させることで多数枚の画像を生成し、これに対する空間パワースペクトルの平均をとることで粒子間距離の影響を取り除く。まず原画像中の粒子の輪郭線追跡処理を行い 11)、原画像の粒子位置を調べる。その際、重なりがある粒子像も一つのクラスタとして取り扱う。得られた情報をもとに、原画像の粒子位置をランダム移動させ N 枚の動画像を生成する。ここでは、処理時間を考慮し、１枚ごとの輪郭線追跡処理は行わず原画像データをもとに時刻をから得られた擬似乱数を用いて粒子位置を決定し N 枚の画像生成を行う（図 2.24(b)参照）。
Ⅱ） N 枚の画像各々をフ－リエ変換し、パワ－スペクトルを求めることで N 枚のスペ()

クトルパターン Pn k x , k y が得られる。すなわち、

第２章

空間フィルタ法による粒子速度・粒径解析

G ( x, y, N ) = F {g ( x, y, N )} = An (k x , k y ) + jBn (k x , k y )Pn (k x , k y ) = An (k x , k y ) + Bn (k x , k y )
2

2

．

55

(2.49)．

(2.50)Ⅲ） Ⅱ）で得られたＮ枚の変換像から各画素において最大値を求めることで、一つの代表変換像が得られる。

Pˆ (k x , k y ) = max Pn (k x , k y ) （ただし、 n = 1,2,  , N ）．

(2.51)nⅣ） さらに、円形粒子の対称性を考慮し、等しい波数ベクトルの絶対値 k s (=k x2 + k y2 )に対する最大のパワ－スペクトル値 V (k s ) を選ぶ。すなわち、

V (k s ) = max Pˆ (k s )．

(2.52)

ks

アナログ画像では、フ－リエスペクトルは画像の回転に影響されないが、ディジタル画
像では計算できる点が離散的であり、スペクトル像もサンプリングした形となっている。
従って、少しずつ角度を変えて近傍の値を調べ、この中から最大値を選ぶことで粒子間距離の影響を少なくすることが可能と考えられる。繰り返しになるが、一連の手順を述べると、 N 枚の離散フ－リエ変換像の各画素における最大値を選び、１枚のパワ－スペクトル像を求め、さらにそのパワ－スペクトル像の中心から等距離の部分での最大値を選ぶこと
で、
散乱パタ－ンに相当する１次元スペクトルを得る。平均値でなく最大値を選ぶ理由は、粒子間距離（一般には粒径より大きい）の影響により、１粒子のみの場合のパワ－スペク
トルの包絡線に対して余分の周期性が発生し、規格化されたパワ－スペクトルで考えた場
合、常に包絡線より小さな値をとるように作用するためである。この処理を実行すると、
図 2.23(b)に示すように、より滑らかなパワ－スペクトル像を得ることができる。しかし、まだかなりの変動を含んでおり、フーリエ変換を用いたディジタルフィルタリング処理に
より高調波を除き、平滑化、再規格化することで平滑化パワースペクトル V (k s ) が得られる。このようにして得られたスペクトル V (k s ) （平均散乱パタ－ン I (k s ) に対応）をもとに、(2.45)式に示した逆散乱理論に基づくディジタル画像処理による粒子半径分布解析を
試みる。

56

第２章

空間フィルタ法による粒子速度・粒径解析

･･･

θn

θi

θ1

原画像

･･･

（ａ）

･･･

･･･

原画像

ti

t1

tn

（ｂ）
図２.24 粒子画像生成。(a) 回転操作、(b) ランダム移動操作。

（３）シミュレ－ション画像解析例 25)
2 値化された円形粒子画像を対象に解析した。解析対象とした粒子画像例を図 2.24 に示す。図 2.24(a)は原画像を一定間隔 θ n ずつ回転することで得られる N 枚の画像生成を示す。
図 2.24(b)は原画像の粒子の輪郭線追跡処理後、各クラスタが重ならないように、また画像範囲から出入りがないように、乱数を用いランダム移動させることで得られる N 枚の画像生成を示す。
Ⅰ）多粒子、同一粒径の場合
まず、フレームサイズ 256×256[pixels]の画像中に粒子半径 11[pixels]の粒子 15 個を、ランダムな位置に配置したシミュレーション画像を作成し、画像の回転処理を用いた方法と画像内の粒子をランダム移動させた方法で画像生成を行い、解析を試みた。その際、個々の粒子の重なりを認めたシミュレーション画像（図 2.25 中写真）で解析を試みた。回転処理を用いた方法では、図 2.16（破線）に示すように粒子半径より小さい位置に偽のピークが得られる場合がある。そのような画像例を対象に、粒子をランダム移動させた方法で解析を試みたところ、粒子半径より小さい位置での偽のピークが消失し、良好な結果を得る
ことができた（図 2.26（実線））。また、図に示すような重なりがある粒子像においても解析が可能なことを示した。この場合ランダム移動させる方法でも、重なりがある粒子像に

第２章

空間フィルタ法による粒子速度・粒径解析

57

含まれる粒子間距離の情報は取り除くことができないが、離れている粒子間の距離情報は、ランダムに変化しており、より効果的な統計的平均操作が行われたと考えられる。
Ⅱ）粒子半径がガウス状に分布する場合
次に 256×256 [pixels] の画像中に平均粒子半径 9[pixels]、粒子個数 25 個、標準偏差1.8 で粒径が分布する場合について検討した。図 2.26 において、○が実際に与えた粒子半径分布であり、実線が粒子をランダム移動させた場合の解析結果、破線が回転処理を用いた場合の解析結果である。回転処理を用いた方法において、粒径より小さい位置で偽のピークがみられ、与えた分布と異なる結果が得られる場合でも、粒子をランダム移動させる
方法では与えた分布と解析結果には殆ど差はなく良好な結果が得られている。

図２.25 多粒子画像の粒径分布解析例

図２.26 粒子半径が分布している場合の解析例（４）実画像の解析例（粒径と粒子数評価）
提案したランダム移動手法を用いて実際の画像の解析を試みた。解析に使用したシステ
ム は、 画像 入力イ ンター フェ ース ボード （Microtechnica:MT98FMM ）、 TV カメ ラ（National:WV-1850）、パーソナルコンピュータ（NEC:PC-9801EX）で画像を取り込み、ワークステーション（IBM:POWER station 520）で解析を行った。解析した画像はガラス板の上に任意に飛散させたスギ花粉粒子を用いた。粒子平均直径は、実際に取り込んだ画像から、23[pixels]程度であることを視察により確認している。図 2.27 に解析に使用した画像（256×256[pixels]）および、解析結果を示す。粒子半径 11[pixels]の位置（↓印）にするどいピークが得られ、視察の結果ともほぼ一致しており、提案する手法の有効性を確認した。また、原画像の 2 次元フーリエ変換を行った際の直流分と提案する手法により

58

第２章

空間フィルタ法による粒子速度・粒径解析

得られた粒子径をもとに粒子数の評価を行った。原画像から得られたパワースペクトル直流分と、提案手法により得られた粒子直径をもとに、画像中に 1 粒子存在するシミュレー
ション画像を作成し得られた直流分との比は、7.02 : 0.60 であった。実際の粒径にばらつきがあるため正確な粒子数を計測するのは困難であるが、原画像には約 12 個の粒子が存在することが判り、目視による結果とほぼ同じ値が得られた。このことから、花粉粒子の自動計数の可能性も示せた。

図２.28 スギ花粉粒子の解析結果

以上のように粒径分布について、通常のディジタル画像処理 11)とは全く異なる、逆散乱手法を用いるという画像処理により粒子像解析の新しいアプロ－チが可能なことが確かめられた。従来法と比較して計算時間も長くかかるなど改良すべき点は多くあるが、アルゴ
リズムの単純さのほか、逆散乱問題では楕円体の長軸、短軸各々の分布が計測可能である
ことが知られていること、粒子数の自動計測の可能性もあり従来法にないメリットも期待できる。なお、計測できる粒子の大きさ、数及び密度については、取り扱う画像の大きさによるが、128×128[pixels]の画像中に粒径 15[pixels]の粒子が 20 個存在する場合までは計測可能なことを確認している。近年の画像処理技術の発達を考えると、将来幅広い分野に適用可能な解析法として期待できる 28)。

第２章

空間フィルタ法による粒子速度・粒径解析

Coffee Break Ⅱ：花鳥諷詠からカオスへ
しかし、新しいサイエンスの常識は、約 20 年後の現在でも、あまり一般の人の常識とはなっていないようです。それは、新しい非線形科学の理論の理解が困難を極めるためでは無いように思えます。確かに、非線形科学の中心的なテーマとなったカオスや複雑系の現象記述には、非線形微分方程式が用いられ、難解な数学の力が必要にも見えます。ただ、コンピュータの進歩による計算結果の可視化や新たな計算ツールの開発により、非線形の世界はより身近なものになっています。一般人の常識となり得なかった最大の要因は、「生きたシステ
ムの科学」が大学や高等学校の教養教育あるいは基礎教育としては取り上げられて来なかったという事のように思えます。おそらく、わかり易い線形の現象ではないという理由で。そこで、20 世紀後半に生まれた「サイバネティックス（Cybernetics）、カタストローフ（Catastrophe）、カオス（Chaos）、複雑系（Complex System）」という一連の「C」で始まるトッピクス理論が教える「常識」を、21 世紀に生きる人類の「教養」として、身近なものにしたいと考え、
このサイエンス・エッセイ（コラム）の執筆に挑戦してみることにしました。
実は、森羅万象のこの世界で見受けられる殆どの自然現象が非線形現象なのです。線形な現象は、殆ど理想化された、ごく限定された状況でしか観測されないのです。振り子の様な単純な運動も、振幅のごく小さな範囲で線形現象として等時性が成り立ちますが、振幅が少しでも大きくなると等時性は崩れ非線形システムの様相を呈してくるのです。面白いのは、この非線形状態なのです。
振幅がさらに大きくなれば、振り子は大車輪（回転運動）に変わります。こうした非戦形性が、生命のリズムや台風・竜巻・地震など、身の回りで観測される自然現象を支配しているのです。AED で刺激しても、安定なリズムに戻る、
心臓の鼓動も非線形の振動子のなせる業なのです。

59

60

第２章

空間フィルタ法による粒子速度・粒径解析【付録２-１ フィルタ移動速度と波長の比】
測定対象の波形デ－タのサンプリング周波数を f 0′ [Hz]と仮定する。サンプリング定理
より、 f 0′ 2 [Hz]の周波数までの波形デ－タを再生することができる。ところで、BZ 反応のような振動波の場合、正負のダイナミックレンジを最大にとるためには、 f 0′ 2 [Hz]での真ん中、すなわち、 f 0′ 4 [Hz]を偏移周波数(式(2.4))とすればよい。すなわち、空間フィルタの波長を D ′ [m]、偏移速度を v ′s [m/sec]とすれば、

v ′s
f′
= 0
D′ 4

[Hz]

．

(A2.1)

よってv ′s =

D ′ f 0′4

[m/sec]．

(A2.2)

これを画像上で考えなおしてみる。画像のサンプリンブは f 0 [frames/sec]で行われる。
空間フィルタの波長を D [pixels]、移動速度を v s [pixels/frame]とすると、空間フィルタが D [pixels]だけ移動するのにかかる時間 T [sec]は、

T=

D 1
×
vs f 0[sec]．

(A2.3)

よって、この逆数が偏移周波数に等しくなるように選べばよい。

vsf′× f0 = 0
D
4

[Hz]

．

(A2.4)

よって、

vsf′[1/frame]．
= 0
D 4 f0
ここで、 f 0′ と f 0 の間には次のような関係があり、
f 0′
=1
f0

[1/frame]

関係式(2.17) が得られる。

．

(A2.5)（A2.6）

第２章

空間フィルタ法による粒子速度・粒径解析

61【付録２-２ 橋本の式の導出と実際の計算法】
半径 a の円形開口を考えると、散乱体位置での電界の規格化した自己相関関数は次式で与えられる。

2a cos −1 ( ρ 2 a ) − ( ρ 2a ) 1 − ( ρ 2a )2 R( ρ , a ) =  0(0 ≤ ρ ≤ 2a )(2a < ρ )(A2.7)．

円形開口が粒径分布 n(a ) を持つとき、光散乱パタ－ン I (k s ) と自己相関関数 Rc ( ρ , a ) は次式で結ばれる。

B −1 [I (k s )] = ∫ Rc ( ρ , a ) n(a ) da∞．

(A2.8)0式(A2.8)に微分演算子を作用させ、これに式(A.7)の二次微分したものを代入すると、次式
すなわち式(2.42)が得られる。
∞

1 ∂ 2 −11ρB [I (k s )] = n  + ∫n(a ) da2ρ ∂ρ
 2  ρ + 0 2 a 1 − ( ρ 2 a )2．

(A2.9)

2式(A2.9)では、第 2 項中にも求めたい粒径分布関数 n(a ) が入っているが、この積分方程式は数値的に解くことが可能である。

ρ  として離散 2

実際に計算機で解析する場合離散値で扱うので、式(A2.9)の左辺を n0 
式で書き換えると式(A2.10)となる。

1ρ ρ  ∞
n0  i  = n i  + ∑n(a j )
 2
 2  j =i +1 2a j 1 − (ρ i 2a j )2．

(A2.10)

ただし、式(A2.9)と式(A2.10)の間では

ρ
2

=

ρi
2

a = aj(i = 1,2,3, )．

(A2.11)( j = 1,2,3, )．

(A2.12)

この式は、粒径分布が有限範囲であるとすると、粒径分布関数が 0 となる十分大きいか
ら出発し、順次粒径の小さい方へ計算すると正しい粒径分布が得られる。しかし、式(A.10)
で粒径分布解析を行うと、第 2 項の分母の影響から j が i に近い所でディジタル誤差が大きくなる。そこで、実際には式(A2.7)により自己相関関数を先に計算し、これに微分演算子を作用させ、式(A2.10) に代入することにより粒径解析を行っている。

62

第２章

空間フィルタ法による粒子速度・粒径解析【演習問題】[2.1] 自己相関関数 c(τ ) のフーリエ変換が元の信号 g (t ) のパワースペクトル p ( f ) となる（ウイナー・ヒンチンの定理）ことを証明せよ。ただし、+∞c(τ ) = ∫ g (t ) g (t + τ )dt ，
−∞

+∞

+∞

−∞

−∞

p( f ) = ∫ g (t ) e − j 2π ft dt × ∫ g (t )* e + j 2π ft dt

であり、 g (t )* = g (t ) は複素共役である。
[2.2] 自己相関関数 c(τ ) が次式のように指数関数型で与えられるとき、パワースペクトルp ( f ) を求め図示せよ。
c(τ ) = exp(− τ / τ 0 )[2.3] 指数関数型の自己相関関数を持つ信号（ブラウン運動の揺らぎ信号など）のパワー
スペクトルが、高周波数領域で f −2 特性を持つことを示せ。
2.4] 格子状の空間フィルタを通過する粒子からの時系列信号 g (t ) は図2.2のようにペデス
タル成分を含む。動画像処理で空間フィルタを実現する場合は、正負の値を持つ正弦波状の空間フィルタが元の信号に重畳される。このときの時系列信号波形 g (t ) を図示し、ペデスタル成分が出ないことを説明せよ。
[2.5] 差動型のレーザドップラ流速計は、シート状のレーザ光をビームスプリッタで二つに分け、観測したい領域で交差させ正弦波状の干渉縞を構成させる。この意味で、
干渉縞は光学的に実現した空間フィルタと言える。この時の干渉縞の波長 D は二つ











の交差するレーザ光の波数ベクトル k1 ， k 2 の差のベクトル K = k2 − k1 を用いて
D = 2π / K と与えられる（図2.29参照）。二つのレーザ光のなす角を θ 、波長を λ と

したとき、 K =4π sin(θ / 2)となることを示せ。

λ第２章

空間フィルタ法による粒子速度・粒径解析

63

【文献】
1) Y. Aizu and T. Asakura : Principles and Development of Spatial

Filtering

Velocimetry, Appl. Phys. B , 43(1987), pp.209-224.
2) 例えば、「車載型速度計測システム」、http://www.onosokki.co.jp
3) M. S. Uddin, H. Inaba, Y. Itakura, Y.Yoshida and M. Kasahara : Adaptive
computer-based spatial-filtering method for more accurate estimation of thesurface velocity of debris low, Applied Optics, 38, No.32(1999), pp.6714-6721.
4) 岡和彦、三橋渉、山崎弘郎： 電子的に実現した柔軟性を有する空間フィルタ、計測
自動制御学会、25(1989), pp.271-277.
5) 岡田英史、南谷晴之：液晶空間光変調器を用いたスペックル変位・速度計測、光学、
21(1992), pp.161-162.
6) 三池秀敏・古賀和利編著（橋本基、百田正広、野村厚志共著）：パソコンによる動画像処理、森北出版(1993)．
7) 南茂夫： 科学計測のための波形デ－タ処理、ＣＱ出版社 (1988).
8) 有本卓： 信号・画像のディジタル処理、産業図書 (1980).
9) A. N. Zaikin and A. M. Zhabotinsky : Concentration Wave Propagation in
Two-dimensional

Liquid-phase

Self-oscillating System, Nature, 225(1970),

pp.535-537.
10) H.Miike, T.Sakurai, Complexity of Hydrodynamic Phenomena Induced by Spiral
Waves in the Belousov-Zhabotinsky Reaction, Forma, 18(2003), pp.197-219.
11) FEST Project 編集委員会：実践画像処理、シュプリンガー・フェアラーク東京(2000)．
12) F. Durst, A. Melling and J. H. Whitelaw ：Principles and Practice ofLaser-Doppler Anemometry, Academic Press (1981).
13) H. Z. Cummins, N. Knable and Y. Yeh: Phys. Rev. Lett. 12 (1964), p.150.
14) B. J. Berne and R. Pecora: Dynamic light scattering (Wiley, New York, 1976)
15) W.Y.M. Brown ed.: Dynamic light scattering –The method and some application,
Clarendon Press, Oxford (1993)
16) 橋本基： 光散乱を利用した生体微粒子の粒径分布計測に関する研究、 学位論文（ 北海道大学） (1986).
17) K. Ohbayashi, T. Kohno and H. Uchiyama: Phys. Rev. A 27 (1983), p.2632.
18) 久保亮五: 統計物理学 (岩波出版, 東京, 1985) 第 5 章,第 6 章.
19) 大林康二: ブラウン運動の非マルコフ性と非線形緩和, 月刊フィジックス, 6, 8 (1985),
pp.440-444.
20) R. Zwanzig: Annu. Rev. Phys. Chem. 61 (1965), p.670
21) 粉体工学会編: 粒子計測技術 (日刊工業新聞, 1994).
22) 木村毅、三池秀敏、山本英明、百田正広: 動的光散乱理論に基づく動画像処理による

64

第２章

空間フィルタ法による粒子速度・粒径解析

ブラウン粒子の粒径評価, 信学論(D-II), J76-D-II, 9 (1994), pp.1987-1993.
23) H. Miike, T. Sakurai, A. Osa and E. Yokoyama: Observation of Two-Dimensional
Brownian Motion by Microscope Image Sequence Processing, J. Phys. Soc. Jp., 66,
6 (1997), pp.1647-1655.
24) レーザ計測ハンドブック編集委員会: レーザ計測ハンドブック (丸善株式会社,東京,
1994)．
25) 百田正広、三浦一幸、三池秀敏、山田健仁、杉村敦彦: 擬似ブラウン運動による画像生成と光散乱手法を用いた画像解析による粒子半径分布計測、電子情報通信学会論文
誌、J81-D-II(1998), pp.2341-2346.
26) 清水、石丸： フ－リエ変換による逆散乱問題の一解法 （ 低濃度散乱体粒径分布の決定）、応用物理、 52(1983), pp.354-360.
27) M. Born and E. Wolf (草川、横田訳) ： 光学の原理Ⅱ－干渉および回折－（東海大学出版会，1975).
28) 三浦一幸、冶部成記、長篤志、三池秀敏、空間フィルタ法による動作の特徴抽出・認識、電子情報通信学会論文誌、D J90-D(2007), pp.2573-2582.

第３章

第

３

章

勾配法によるオプティカルフローの推定65

勾配法によるオプティカルフローの推定

動画像中の濃淡パターンの見かけの動き（２次元平面内）をオプティカルフローと呼ぶ。オプティカルフロー推定の計算機アルゴリズムとして“勾配法”が知られている。本章では、勾配法の基礎とこれを発展させた「一般化勾配法」について紹介する。

３．１

はじめに計算機とカメラを用いて視覚システムを構築しようとするコンピュータビジョンの研究において、オプティカルフロー検出のアルゴリズムが研究されてきた 1,2)。コンピュータビ
ジョン研究の目的の一つとして、人間の視覚システムの理解が挙げられる。人間の視覚シ
ステムでは、網膜上に投影された明るさ分布の情報から、明るさパターンの動き（オプティカルフロー）を検出する機能が備わっている 3)。そのオプティカルフローの情報から、三次元構造や物体運動、自己運動が知覚される。従って、認知科学的な側面からも、オプ
ティカルフロー検出メカニズムの解明やその計算機アルゴリズムの研究が行われている。
科学現象を捉えた動画像から移動現象を検出する目的に、オプティカルフロー検出法が利用されている。代表的な例が、流体の流れ場計測のための粒子画像速度計測法（Particle
Image Velocimetry: PIV）や粒子追跡速度計測法（Particle Tracking Velocimetry: PTV）
である 4,5)。粒子によって可視化された流体を捉えた動画像中においては、粒子が流体の流れ場に従って運動している。粒子の動き速度ベクトルを検出することは、流体の流れの速度ベクトル場を推定することになる。流れ場から、流体の渦度分布や発散場、圧力分布などを推定することが可能であり、撮影対象の現象に関わる解析に有用な情報を与える。同様の試みが気象衛星画像からの雲の動き検出にも利用されている。
オプティカルフロー検出法の一つである勾配法（Gradient-based Method）は、動画像の濃淡分布の時間変化・空間勾配とオプティカルフローとの関係式に基づく手法である。
Horn と Schunck はこの関係式（基礎式）を導き、さらに、オプティカルフロー場に対する付加的な拘束条件式を組み合わせることで、正則化の枠組みによってオプティカルフロ
ー場検出のアルゴリズムを提案した 6)。現在、勾配法と呼ばれる手法は、Horn と Schunckの提案した基礎式とオプティカルフロー場の性質を仮定する付加拘束条件式とを組み合わせ、変分法や最小二乗法などの最適化手法によって解を推定するものをいう。"(時空間)勾配法(微分法)"あるいは"グラディエント(gradient)法"とも呼ばれる。相関法に対する勾配法の特徴は、濃淡分布の時間･空間勾配があればオプティカルフローを推定することができ、得られるオプティカルフロー場の密度が高いことが挙げられる。また、1(pixel/frame)以下のサブピクセルのフロー推定精度が優れていることも挙げられる。勾配法によるオプティ
カルフロー推定は、コンピュータビジョンやロボットビジョン 7)の研究のみならず、動画

66

第３章

勾配法によるオプティカルフローの推定

像計測法・科学計測法としても研究されている。
本章では、勾配法において良く利用される基礎式と付加拘束条件式、さらに変分法と最小二乗法による推定手法を紹介する。さらに、勾配法の基礎式を一般化する試みである、
一般化勾配法についても紹介する。

３．２

勾配法の基礎(1) 勾配法の基礎式の導出
ここでは、Horn と Shunck が発表した論文に沿った基礎式の導出法を紹介する 6)。いま、
濃淡パターンが画像上をその形状・濃淡値を一定に保ちながら、微小時間δt の間に位置(x,y)
から(x+δx,y+δy)まで移動したとする(図 3.1)。時刻 t、座標(x,y)における動画像の濃淡分布を
f(x,y,t)で表すと、移動の前後における濃淡パターンの対応付けの式が成り立つ。

f ( x, y, t ) = f ( x + δx, y + δy, t + δt )(3.1)

δx,δy,δt は微小であるとし、右辺を座標(x,y,t)の周りでテーラー展開する。

f ( x, y , t ) = f ( x, y , t ) +

∂f
∂f
∂f
δx + δy + δt + 
∂x
∂y
∂t

(3.2)

さらにδx,δy,δt の 2 次以上の項を無視して整理し、δt→0 の極限をとる。

∂f
∂f ∂f
+ u+ v=0
∂y
∂t ∂x

(3.3)

オプティカルフローの 2 成分を(u,v)とした。オプティカルフローのベクトル： v=(u,v)を用いて書き換えると次式となる。

∂f+ ∇f ⋅ v = 0
∂t

(3.4)

式(3.3)又は式(3.4)が一般に勾配法で用いられる基礎式である。式(3.3)を u-v を軸とするグラフに表すと図 3.2 となる。なお、式(3.2)の２次以上の高次の項を考慮した基礎式を用いた方法も提案されている。
勾配法の基礎式は、動画像の各時刻・各画素において導かれるが、オプティカルフロー
に関する２つの未知数 v=(u,v)を含むので、これらを推定するためには、 付加的な拘束条件が必要となる。オプティカルフローの推定を、人間の視覚機能を実現するためのコンピュータビジョンの課題の一つとして捕らえたとき、解析対象のシーンとして様々な現象が想定され(屋外の自然なシーンや、屋内の人工的なシーンも対象となる)、どのようなシーンに対しても適用可能な、汎用性のある手法が望まれている。従って、コンピュータビジ
ョンの分野において研究されてきた勾配法の多くは、広範な現象に適用可能な付加拘束条

第３章

勾配法によるオプティカルフローの推定

67

t + δt( x + δx, y + δy )ft
( x, y )濃淡パターン

図３.１ 濃淡パターンの対応付けに基づく勾配法基礎式の導出のための説明図。
時刻 t に点(x,y)にあった濃淡パターン f(x,y)が、その濃淡分布を保ったま
ま時刻 t+ t に点(x+ x,y+ y)まで移動する(式(3.1)を参照)。

v−∂f / ∂t∂f / ∂y

∂f
∂f
∂f
u+
v+
=0
∂x
∂y
∂t

0

−

u

∂f / ∂t∂f / ∂x

図３.２ 勾配法の基礎式(3.3)のオプティカルフローの２成分(u,v)を軸とした u-v
平面へのプロット。

件式を提案することが研究の中心的な課題であった。以下にこれまで提案されているいく
つかの付加拘束条件式を紹介する。また、オプティカルフロー推定の問題で相関法・勾配法に関わらずよく利用される計算技法や、よく現れる問題についても紹介する。
(2) 大域的最適化法 6)
推定すべきオプティカルフロー場が空間的に一様であるとき、オプティカルフローの空間勾配がゼロと仮定する以下の付加拘束条件式を課す。
22 ∂u   ∂u  ∂v   ∂v 
  +   = 0 なおかつ   +   = 0
 ∂x   ∂y  ∂x   ∂y 
2

2

(3.5)

あるいは、オプティカルフロー場の２次微分がゼロと仮定する次式のような付加拘束条件も考えられる。

68

第３章

勾配法によるオプティカルフローの推定∂ 2u ∂ 2u∂ 2v ∂ 2v
2∇ u = 2 + 2 = 0 なおかつ ∇ v = 2 + 2 = 0
∂x
∂y
∂x
∂y
2

(3.6)

式(3.5)や式(3.6)の拘束条件式が満足される場合を考える。例えば、３次元静止空間中に平面が存在し、それに対してカメラが相対運動している場合を考える。カメラの焦点を原点とした 3 次元座標(X,Y,Z)を考え、焦点距離を f、3 次元空間中の平面の方程式を Z=pX+qY+r、カメラの並進速度を(a,b,c)、(X,Y,Z)軸周りのカメラの回転角速度を(ω1,ω2,ω3)とする。この運動によってカメラの画像平面上に生じるオプティカルフローは次式となる 8)。

1( Ex + Fy ) xf
1
v = fV + Cx + Dy + (Ex + Fy ) yf

u = fU + Ax + By +(3.7)

但し、U, V, A, B, C, D, E, F は次式で表される定数である。

a− ω2 ,rb
V = − + ω1 ，rA=

pa + c,rB=qa+ ω3 ，rC=pb− ω3 ,rD=

qb + c，rpc− ω2 ,
r

F =−

U =−

E=−

qc
+ ω1 ．
r(3.8)

従って、式(3.5)の拘束条件が完全に満足されるのは A=B=C=D=E=F=0 の場合であり、カメラは回転運動せずに、平面との距離を保ったまま並進運動する場合に限られる。一方、式(3.6)の条件はより適用範囲が広く、E=F=0 の場合に満足される。例えば、ω1 = ω2 = 0, c=0となるような、カメラの X,Y 軸周りの回転がなく、カメラの光軸方向の運動もない場合に満足される。
式(3.5)の拘束条件を用いた推定法を紹介する。まず、式(3.5)の拘束条件がオプティカル
フロー場全体: S で満足されるように次式を最小とする拘束条件を課す。

()

Ea = ∫∫ u x + u y + vx + v y dxdy → min .
2

2

2

2

(3.9)

S

ここで、 u x = ∂u / ∂x , u y = ∂u / ∂y , vx = ∂v / ∂x , v y = ∂v / ∂y として表す。さらに、基礎式(3.3)がオプティカルフロー場全体で満足されるよう、次式を最小とする拘束条件を課す。

第３章

勾配法によるオプティカルフローの推定

Eb = ∫∫ ( f xu + f y v + ft ) dxdy → min .

69(3.10)

2

S

ここで、 f x = ∂f / ∂x , f y = ∂f / ∂y , f t = ∂f / ∂t として表す。式(3.9)と式(3.10)の２つの拘束条件を用いてこれらの和を最小とするような解(u,v)を求める。
(3.11)

E = α 2 Ea + Eb → min .

パラメータαは、基礎式による拘束条件と付加的な拘束条件の相対的な重みを決めるパラメータである。オプティカルフロー場が均一であるとあらかじめわかっている場合や、動画像にノイズが多く含まれ、動画像の濃淡に関する時空間勾配が信頼できない場合、αを大きく設定する。これまでのところ、パラメータαは、解析対象の動画像に応じて試行錯
誤的に人間が決定するのが普通である。
式(3.11)のように、解が一意には決まらない方程式に付加的な条件式で拘束を加え、解を推定しようとする方法を正則化(regularization)という 9-11)。正則化はコンピュータビジ
ョンや画像処理の問題において広く利用されている計算の枠組みである。式(3.11)を満足するようなオプティカルフローの場を推定することは、画像平面全体に渡る広い領域において拘束条件に当てはまる最適な解を推定することであり、この手法を大域的最適化法(global optimization)と呼ぶ。
式(3.11)から、オプティカルフロー場を推定する式を導く。式(3.11)を最小とするオプティカルフローベクトルの 2 成分を (u0 , v0 ) とし、これに微小摂動を与える。

u ( x, y ) = u0 ( x, y ) + εξ ( x, y )(3.12)v( x, y ) = v0 ( x, y ) + εη ( x, y )ここで、0 < ε << 1 , ξ ( x, y ),η ( x, y ) は領域 S の縁 C においてゼロとなる任意の関数である。
式(3.12)を式(3.11)に代入し次式を得る。

[ {E = ∫∫ α 2 (u0 x + εξ x ) + (u0 y + εξ y ) + (v0 x + εη x ) + (v0 y + εη y )
S

2

2

2

]

+ {f x (u0 + εξ ) + f y (v0 + εη ) + ft } dxdy → min .
2

2}(3.13)

ε = 0 において、 E → min . となるので(停留条件)、∂E=0∂ε ε = 0
これを計算するため、まず ∂E / ∂ε を計算すると次式を得る。

(3.14)

70

第３章

勾配法によるオプティカルフローの推定[∂E= 2 ∫∫ α 2 {(u0 x + εξ x )ξ x + (u0 y + εξ y )ξ y + (v0 x + εη x )η x + (v0 y + εη y )η y }∂εS]+ {f x (u0 + εξ ) + f y (v0 + εη ) + ft }( f xξ + f yη ) dxdy

(3.15)
式(3.15)にε=0 を代入すると、∂E= 2 ∫∫ α 2 (u0 xξ x + u0 yξ y + v0 xη x + v0 yη y )∂ε ε = 0S{(3.16)+ ( f xu0 + f y v0 + ft )( f xξ + f yη )}dxdy = 0

式(3.16)の右辺の非積分関数の第 1 項の u に関する項は、次式のように変形できる。

∫∫ (u ξ + u ξ )dxdy =∫ (u ξdy + u ξdx ) − ∫∫ (u
0x x

0y y

0x

S

0y

C

0 xx

+ u0 yy )ξdxdy(3.17)

S

関数ξは C に沿ってゼロとしているので、式(3.17)の右辺第 1 項の積分はゼロとなる。

∫∫ (u ξ + u ξ )dxdy = − ∫∫ (u
0x x

0y y

S

0 xx

+ u0 yy )ξdxdy(3.18)

S

従って、式(3.16)は次式となる。

[{∂E= ∫∫ ξ f x ( f xu0 + f y v0 + ft ) − α 2 (u0 xx + u0 yy )∂ε ε = 0 S

}

{

}]

+ η f y ( f xu0 + f y v0 + ft ) − α (v0 xx + v0 yy ) dxdy = 02(3.19)

任意の関数 ξ ,η に対して、式(3.19)を満たす u0,v0 が存在するためには、

f x ( f xu0 + f y v0 + f t ) − α 2 (u0 xx + u0 yy ) = 0
f y ( f xu0 + f y v0 + ft ) − α 2 (v0 xx + v0 yy ) = 0

(

)

(

)

(3.20)

あるいは、 u xx + u yy = ∇ u , vxx + v yy = ∇ v を用いると、
2

f x ( f x u + f y v + f t ) − α 2∇ 2u = 0
f y ( f x u + f y v + f t ) − α 2∇ 2 v = 02(3.21)

第３章

勾配法によるオプティカルフローの推定71

評価関数において、推定したい変数の解のまわりで微小摂動を与え、評価関数が最小となるように解を推定しようとする手法を変分法という。これによって得られた方程式(3.21)をオイラー・ラグランジェ方程式という。式(3.21)を用いたオプティカルフロー推定の実際のプログラムは、附章 B で紹介する。
(3) 局所的最適化手法 12-14)
前述の一様性の拘束条件を局所領域に限定し、最適化の手法を用いてオプティカルフロ
ーを推定する手法が提案されている。これを、大域的最適化法に対して局所的最適化法(local optimization)と呼ぶ 12)。いま、時間・空間にまたがる局所領域δV において、オプティカルフローが一様と仮定する。すると、δV 内で得られる勾配法の基礎式(3.3)は、すべて共通の解(u,v)を持つこととなる。式(3.3)を、最小二乗法を用いて次式を最小化するような解(u,v)を求める。

E=

t 0 + Lty0 + L yx0 + L x∑ ( f u + f v + f ) → min .

∑ ∑t = t 0 − Lt y = y 0 − L y x = x 0 − L x

2

x

y

t

(3.22)

ここで、δV として点 ( x0 , y0 , t0 ) を囲む時空間領域(2Lx+1)×(2Ly+1)×(2Lt+1)を局所領域として用いた。また、fx, fy, ft は離散的な座標(x,y,t)における微係数を表す。式(3.22)を解くと次式となる。

 ∑ f x2
∑ f f
x y

但し、Σは

∑

t 0 + Ltt = t 0 − Lt

∑ f f  u  = − ∑ f f 
∑ f  v   ∑ f f 
x

x t

y
2

∑

y0 + L yy = y0 − L y(3.23)y t

y∑x0 + L x
x = x0 − L xを表す。付加拘束条件として、時刻を固定して（Lt=0）

空間領域においてオプティカルフローが一様と仮定する瞬時オプティカルフローを求める
手法や、オプティカルフロー場の定常性を仮定し、空間の画素を固定し時間方向にオプティカルフローの一様性を仮定する手法も提案されている。いずれにしても、一組の解を推定するために、多点で得られる基礎式を用いるので、多重格子点法(multi-grid(point)
method)とも呼ばれる。なお、局所的最適化法では、オプティカルフロー一様の仮定が満足される領域を解析対象の動画像シーンに応じて選ぶことが必要となる。一様と仮定できる領域が大きいほど、多くの画像データを解の推定に利用でき、解析精度の点で有利となる。一方、領域を大きく取りすぎ、一様性の仮定が破綻すると、推定誤差の原因となる。
しかしながら、領域の大きさをどのようにとれば最も精度良く推定されるかは困難な問題
である。

72

第３章

勾配法によるオプティカルフローの推定(4) エッジに基づく手法
大域的最適化法ではオプティカルフローを画像平面上の至るところで推定する。ところ
で、濃淡パターンにおいて、テクスチャの細かい特徴のある領域と、ほとんどテクスチャのない特徴のない領域とでは、推定されるオプティカルフローの精度（信頼性）が異なると思われる。これに対して、動画像中の特徴点（トークン）やエッジ上でしか信頼できるオプティカルフローは推定できないとし、これらの周りの情報のみを用いてオプティカル
フローを推定する方法が提案されている。画像平面全体でオプティカルフローを求める手法を"輝度に基づく手法"と呼ぶのに対して、特徴のある領域のみで求める手法を"トークンに基づく手法"と呼ぶ。現在では、画像平面全体でオプティカルフローを推定する場合でも、各画素におけるオプティカルフローの信頼性の指標を与えることが提案されている 15)。トークンに基づく手法は相関法に多いが（流体計測における PTV はトークンに基づく手法の代表例である）、一方、勾配法の多くは輝度に基づく手法が中心であるが、中にはトークン（濃淡パターンのエッジ）に基づく手法も提案されている。Davis らは、コーナー付近のエッジに沿った局所線分においてオプティカルフローが一様であるとする拘束条件を提案している 16)。
Marr らは、人間の初期視覚におけるエッジ検出機能のモデルを既に提案していた 1)。
Hildreth は、人間の視覚システムへの興味から、オプティカルフロー推定の問題に対してもまずエッジ検出を行い、エッジに沿ったオプティカルフローの滑らかさ拘束条件を適用
し、正則化の枠組みで解を推定する手法を提案した 17,18)。ところで、直線状のエッジパタ
ーンにおいてエッジの接線方向に濃淡分布の変化が無い場合、エッジ上で得られる複数の基礎式は独立とならずオプティカルフローを推定することは困難となる(図 3.3)。エッジに基づく手法のみの問題ではなく、輝度に基づく手法においてもこの問題は生じる。極端な例では、まったくテクスチャのない物体が移動するシーンを捕らえた動画像からは濃淡の勾配に関する情報が得られないので、局所的な情報のみからではオプティカルフローを推定することが困難であり、これを開口問題(aperture problem)あるいは窓枠問題という。
開口問題を解決するため、まず特徴のあるコーナーにおいてオプティカルフローを推定し、エッジに沿ってその情報を伝播させるという手法が提案されている 19)。また、Hildrethによるエッジに沿った滑らかさ拘束条件を用いた正則化手法も開口問題に対する一つのアプローチである。

第３章

勾配法によるオプティカルフローの推定

73

?
?
?
?
?

図 ３.３ 開口（アパチャー）問題。濃淡パターンのエッジの接線方向に濃淡分布がない場合、オプティカルフローの直交方向成分は推定できるが、接線方向成分は推定できない。

(5) その他の手法と問題点
階層法 20)
オプティカルフローを求めたい動画像において、数段階の解像度の異なる動画像を生成する。最も解像度の低い動画像において、大まかなオプティカルフローを推定する。１段
高い解像度の動画像におけるオプティカルフローを推定する際に、先の解像度の低い動画像において推定された大まかなオプティカルフローを参照することで、大きな誤りのない
オプティカルフローが求められると期待される。この計算を最も解像度の高い動画像に対するオプティカルフロー推定まで繰り返すことで、高精度で信頼性の高い大きな誤りの無い推定法が期待される。このような手法は階層法(hierachical method)、あるいは多重格子緩和法(multi-grid relaxation method)と呼ばれ、勾配法、相関法の両手法で利用されている。また、階層法は、オプティカルフロー推定の問題のみならず、広く画像処理・コン
ピュータビジョンの問題に適用されている。
多重オプティカルフロー、オクルージョン 21)
図 3.4 は、局所領域で得られる基礎式のグラフを図示したものである。オプティカルフ
ロー場が一様であると仮定できるような領域を局所領域にとれば、図 3.4 (a)のようにほとんどの方程式はほぼ一点で交わる。従って、最小二乗法や Hough 変換を用いることによって、解を推定することができる。ところで、２つの濃淡パターンの一方が他方をその動きによって隠す場合、あるいは、隠れていた濃淡パターンが時間とともに現れる場合(図3.5 (a))、その運動境界を囲む局所領域では図 3.4 (b)のように基礎式が２点で交わる。従って、解が唯一と仮定している手法を適用すると正しいオプティカルフローが得られない。
これを隠れ問題(occlusion problem)という。一般に、局所領域内で複数の運動が観測されるような場合(図 3.5)のオプティカルフローを多重オプティカルフロー(multiple opticalflow)という。半透明の模様のあるガラス越しのシーンを捕らえた動画像についても、ガラ

74

第３章

勾配法によるオプティカルフローの推定

ス面によるオプティカルフローとその背後のシーンのオプティカルフローの２つがあり、多重オプティカルフローとなっている。
オクルージョンの場合についてその解決法を考える。他の手法を用いることによって運動境界を検出することが可能であるならば、境界で局所領域を分割し、それぞれの領域に対して従来のオプティカルフロー推定法を適用することで問題を解決することができる。
例えば、濃淡パターンの境界（エッジ）と運動境界が一致することがある。この場合、まず画像処理の手法を用いて濃淡パターンのエッジ検出及び領域分割の処理を行い、その領域内でオプティカルフローが一様と仮定して局所最適化法を適用し、オクルージョンの問題を避けることができる。同様に、大域的最適化法の式(3.21)において、重み付けパラメータαを濃淡パターンの勾配方向と直交する方向で変化させる方法も提案されている 22)。
運動境界をまたぐ方向では、オプティカルフロー一定の仮定が成り立たないので、濃淡パターンのエッジが運動境界と一致する場合を仮定し、勾配方向には重み付けを小さくし、それに直交する方向には重みを大きくするためである。しかしながら、一般には、濃淡パターンの境界と運動境界とは一致しない。運動境界を正しく求めるためには、正しいオプ
ティカルフロー場を推定することが必要である。従って、オプティカルフロー推定におけるオクルージョンの問題を解決するには、運動境界の情報が必要であり、さらに、運動境界を求めるためには、オプティカルフロー場を知る必要があるという"鶏と卵"の問題となる。

Outlierv
Estimated

u
(a)

v

u
(b)

図３.４ 局所領域における複数の勾配法基礎式(3.3)の u-v 平面へのプロット。(a)一様なオプティカルフロー場からなる局所領域において得られる勾配法の基礎式。記号 ＋○は解を示す。解から大きく外れた式はアウトライアーとよぶ。(b)運動境界をまたぐ領域や多重
オプティカルフロー場を含む領域を局所領域としたときの勾配法の基礎式。記号 ＋○で示された複数の解が存在する。

第３章

勾配法によるオプティカルフローの推定

75

v2
物体 2
局所領域

物体 1

v1
運動境界
(a)

v2

v1
局所領域
(b)

図 ３.５ オクルージョンと多重オプティカルフロー。(a)２つの物体：物体 1 と物体 2 が異なる
速度：v1,v2 で移動する場合。物体 1 が物体 2 に隠れるため、２つの物体が重なり合う運動境界で隠れ問題が生じる。(b)前景と背景がそれぞれ異なる速度 v1,v2 で移動する
とき、局所領域内で、２つの速度が定義される多重オプティカルフローとなる。

３．３

一般化勾配法(1) 研究の背景
オプティカルフローという言葉は、もともと視覚心理学における用語であり、本来の意
味は、人間の眼球の網膜上に投影された明るさパターンの見かけの動きのことである。網膜上(カメラでは画像平面上)における濃淡パターンの見かけの動きの速度ベクトル場は、3次元空間中における物体と眼球(カメラ)との相対運動の速度ベクトル場の画像平面上への射影とは必ずしも一致しない。極端な例ではあるが、3 次元空間中でテクスチャ（濃淡パ
ターンの模様）を持たない物体が（例えば真っ白な壁が）運動するシーンをカメラで撮影しても、動画像中では、カメラに対する物体の相対的な運動を表すような濃淡パターンの動きは観測されない。人間の視覚システムでは、３次元世界に関する不確かな情報を含んだオプティカルフローに基づき、三次元構造の復元や、それに基づく姿勢制御や物体追跡のような高度な視覚機能・運動制御を実現している。一方で、オプティカルフローの情報を補うために人間の視覚システムで仮定されている前提条件や生物的な仕組みによって運動錯視のような現象も生じる。すなわち、人間の視覚システムが如何にしてオプティカル
フローを推定し、その不確かな情報を含んだオプティカルフロー場を処理して如何に３次元情報を抽出するか、また、どのような仮定・仕組みのために錯視現象が生じるのかといった観点から、オプティカルフロー推定の研究が行われている。このとき研究対象とするのは、まさに画面上での濃淡パターンの対応関係に基づく見かけの速度ベクトル場の推定メカニズムである。

76

第３章

勾配法によるオプティカルフローの推定

一方で、工学的な応用や計測法としての応用を目指した研究では、３次元速度ベクトル
場を画像平面上へ射影した２次元の速度ベクトル場を推定するための手法が必要となる。
この意味で２次元平面に射影された速度ベクトル場をオプティカルフロー場と区別するため、 単に動き場(motion field)ということがある。ロボットビジョンのような応用を考えたとき、オプティカルフローと動き場のどちらを推定すべきかは難しい問題である。人間の視覚システムとまったく同じメカニズムを持つシステムを構築することを目的とする場
合、オプティカルフローのアプローチが考えられる。工学的な分野におけるこれまでの３次元情報の獲得に関する研究の多くは、動き場を暗に仮定しているものと思われる。
前節で紹介した勾配法によるオプティカルフロー推定法では、濃淡パターンがその濃淡値分布を保ったまま運動すると仮定していた。それに対して、現実のシーンにおいては濃淡パターンの変形を伴う場合がある。例えば次の２つの例が考えられる。１つめの例は、
運動物体そのものの変形や物体そのものの明るさの変化によって濃淡パターンの変形が生じる場合である。例えば、気象衛星画像において観察される雲は時間と伴にそれ自身が変形を伴いながら移動する。また、特殊なカメラで生体の温度分布を捕らえた動画像に対しては、やはり生体そのものの活動にともなって温度変化を生じ、これによって濃淡パターンの変形が生じる。もう一つの例は、画像が 3 次元空間中の物体の 2 次元平面への投影であることにより、３次元空間中を運動する物体が剛体で物体そのもののが変形しなくとも、照明変化や鏡面反射のような光学的な影響によって、あるいは物体の 3 次元的な奥行き方
向への運動によって画像平面上で濃淡パターンの変形が生じる場合である。
これらの場合、まさにオプティカルフロー場≠動き場である。
以下では、3 次元空間中では剛体であるけれども、照明の影響やピンぼけ過程の影響によって、
濃淡パターンの変形が観測される場合に対して、動き場の推定法について述べる。
なお、本書では、特にオプティカルフロー場と動き場の２つの言葉の意味の違いを意識せずに、すべてオプティカルフローという言葉を用いている。
(2) 場の理論に基づく基礎式の導出 23)
移動現象のモデリングにおいて、オイラーの立場による観測の方法を紹介する。図 3.6のように、ある固定された観測領域δS を考える。そのδS 内での物質の時間変化は、その領域を囲むδC を通じてδS 内に流入する物質の量と、δS 内で単位時間あたりに生成・消滅す
る物質の量との和に等しい（保存則）。この考え方は、移動ベクトル場が存在し、その場に従って物質は移動するとする"場"の考え方に基づいている。動画像のオプティカルフロー推定の問題にこのオイラー的な場の考え方を導入することによって、これまであまり検討されていなかった濃淡パターンの変化のいくつかの問題に対する解決法を導くことが可能となる。
場の理論に基づき基礎式を導出する。まず、動きベクトル場を仮定し、それによって濃淡パターンの運動が観測されると考える。いま、画像平面上にある固定した空間の局所領第３章

勾配法によるオプティカルフローの推定

77

域δS を考える。ここでの濃淡値の総和の時間変化は、濃淡パターンの動きベクトル v と、濃淡の生成・消滅φ(x,y,t)によるとする。例えば、濃淡パターンは照明の時間・空間的な変化によってその濃淡値の増減を伴うため、運動による濃淡の時間変化と、照明条件の影響
による時間変化とを分けてφとしている。

∂
fds = − ∫ fv ⋅ ndc + ∫ φds∂t δ∫S
δCδS(3.24)

ここで、n はδC に対する外向き単位法線ベクトルである。さらに、ガウスの定理(2 次元)により右辺第 1 項の線積分を面積分に変換すると、∂
fds = − ∫ ∇ ⋅ ( fv )ds + ∫ φds∂t δ∫S
δS
δS(3.25)

非積分項のみを取り出し、微分形式で表すと次式となる。

∂f= −∇ ⋅ ( fv ) + φ∂t(3.26)

式(3.24)では、移動現象を動きベクトルのみによると仮定したが、より一般的に、何らかの原因で濃淡パターンの変化が生じたとし、これを J で表すと次式のように書ける。

∂
fds = − ∫ J ⋅ ndc + ∫ φds∂t δ∫S
δC
δS(3.27)

すなわち、式(3.24)は J=fv の場合である。
カメラの焦点距離の変動によって、動画像中の濃淡パターンにボケ過程が観測されることがある。このボケ過程は、拡散方程式、すなわち式(3.27)において J = − D∇f で近似的に表すことができる 24)。

∂f
= ∇ ⋅ (D∇f )∂t(3.28)

但し、D は拡散係数で、焦点距離が時間と伴に徐々にずれていくボケ過程では D>0、一方、焦点が徐々に合っていく逆ボケ過程では D<0 となる。もともと拡散方程式は熱伝導方程式とも呼ばれ、熱の伝導をモデル化した方程式である。従って、２次元的な熱の分布を撮影した動画像に対して拡散方程式を適用し、その拡散係数を推定しようとする手法も提案されている 25)。以上より、濃淡パターンの運動、照明条件の変化による濃淡値の生成・消滅、
ピンぼけ過程を考慮したより一般化された勾配法の基礎式（微分形）は、J = fv − D∇f を用いて次式となる。

78

第３章

勾配法によるオプティカルフローの推定∂f= −∇ ⋅ ( fv ) + ∇ ⋅ (D∇f ) + φ∂t(3.29)

例えば、 ∇ ⋅ v = ∇D = 0 , φ=0 のとき、基礎式は次式となる。

∂f+ v ⋅ ∇f − D∇ 2 f = 0∂t(3.30)

式(3.29)がこれまで提案されてきた基礎式の一般化となっていることを示す。まず、最もよく利用されている Horn と Schunck によって提案された基礎式(3.4)は、一般化勾配法の式(3.29)において、 ∇ ⋅ v =0, D=0, φ=0 とすると導かれる。さらに、何人かの研究者が提案している式は、Horn と Schunck らの基礎式に加えて、 ∇ ⋅ v の項が含まれており、式(3.29)において D=0, φ=0 とした次式と同じである 26-29)。

∂f= −∇ ⋅ ( fv )∂t

(3.31)

特に、Schunck は、式(3.31)によって定義された速度ベクトルを画像流(image flow)と呼んでいる 26)。さらに Bimbo らは、式(3.31)に基づく具体的な手法を提案した 28,29)。すなわち、
式(3.31)は次式のように書き換えられる。

∂f
∂f
∂f
= − u − v − f∇ ⋅ v
∂t
∂x
∂y

(3.32)

ここで、式(3.32)の右辺 ∇ ⋅ v を１つの未知数と考えて、(u,v, ∇ ⋅ v )の３つの未知数を最小二乗法によって推定する手法を提案した。
また、
Cornelius と Kanade は次式を提案した 30)。

df ∂f
∂f
∂f
= u+ v+
≠0
∂t
dt ∂x
∂y

(3.33)

ここで、df/dt は全微分を表す。濃淡パターンがその分布を保ったまま運動する場合、全微分はゼロとなるが、これがゼロとならない場合も許している。すなわち、一般化勾配法の基礎式(3.29)において ∇ ⋅ v =0,D=0 の条件の下で df/dt=φとした式と同じである。武川は、式(3.33)と光学モデルを用いて照明の変化が生じた場合にも対応可能なオプティカルフロー、
光源方向及び３次元形状の推定法を提案している 31,32)。
なお、全く異なるアプローチで、Negahdaripour は、濃淡パターンの動きに伴う濃淡分
布の変化について次式のようにモデル化している 33)。

f ( x + δx, y + δy, t + δt ) = m ⋅ f ( x, y, t ) + c
ここで m,c は未知パラメータである。

(3.34)

第３章

勾配法によるオプティカルフローの推定

79

Φ
J=fv

δS

濃淡パターンnδC

図３.６ 一般化勾配法の基礎式の導出のための説明図。

(3) 推定手法
φに対する滑らかさ拘束条件を用いる方法 30)
Cornelius and Kanade は、式(3.33)を用いて、オプティカルフローのパラメータの他に
df/dt=φの項も同時に推定する手法を提案した。用いた手法としては、Horn and Schunk の
滑らかさ拘束条件をオプティカルフローのパラメータとφの項に適用し、以下の汎関数を最小化するような解を推定した。

E = Ea + α 2 Eb + β 2 Ec → min .

(3.35)

Ea = ∫ ( f xu + f y v + ft − φ ) ds

(3.36)

2

S

(

2

(

2

)

Eb = ∫ u x + u y + vx + v y ds

(3.37))(3.38)2

2

2

S

Ec = ∫ φx + φ y ds2S

変分法より以下の方程式が得られる。

f x ( f xu0 + f y v0 + ft − φ ) + α 2∇ 2u = 0
f y ( f xu0 + f y v0 + ft − φ ) + α 2∇ 2v = 0− ( f xu0 + f y v0 + ft − φ ) + β 2∇ 2φ = 0(3.39)

照明条件を場合分けした方法 34)
ここでは、照明条件の時間的・空間的な変化を考慮した手法を紹介する。式(3.29)では照明条件の変化に伴う濃淡値の生成・消滅量を仮にφで表している。これを動画像情報のみから推定する方法を考える。簡単のため、ピンぼけ過程は無く：D=0、動きベクトルの

80

第３章

勾配法によるオプティカルフローの推定

発散の無い場合：∇ ⋅ v = 0 を仮定する。さらに、簡単な光学モデルを導入する。すなわち、カメラを通じて観測される動画像の濃淡分布 f(x,y,t)は、照明が均一で時間変化のない環境のもとで観測される動画像の濃淡分布 g(x,y,t)と照明の影響を表す r(x,y,t)を用いて、次式で表されると仮定する。

f ( x, y , t ) = r ( x, y , t ) × g ( x, y , t )(3.40)

ここで、照明の影響を表す関数 r(x,y,t)は画像平面上で観測されるであろう照明強度の分布である。この仮定の下で、式(3.40)を基礎式(3.29)に代入すると次式となる。

 ∂r  ∂gg  + v ⋅ ∇r  + r + v ⋅ ∇g  = φ ∂t  ∂t(3.41)

均一な照明条件の下で観測される動画像 g(x,y,t)に対して、勾配法の基礎式が成り立つ場合には、次式が成り立つ。

∂g+ v ⋅ ∇g = 0∂t(3.42)

よって、式(3.40)は次式となる。

 ∂rg  + v ⋅ ∇r  = φ ∂t(3.43)

但し、照明条件の影響を表す項 r(x,y,t)が時間・空間と伴に変化する場合、r(x,y,t)における
濃淡パターンの動きベクトルが動画像 g(x,y,t)における推定すべき動きベクトルと一致する
とき、照明条件の影響はなくφ=0 となる。例えば、静止した環境下で、不均一な照明条件の下で、カメラを移動させて観測される動画像に対して、不均一照明の影響を考慮する必要はない。また、照明が不均一で、なおかつ動きベクトルと照明の影響を表す項の勾配方
向が直交する場合、
やはり照明の影響を考慮する必要がない。
（従って、科学計測において、照明条件をある程度制御できる場合、両者が直交するように実験条件を設定すれば、照明条件を考慮することなく速度ベクトル場を計測することができる。）これら以外の場合、照明条件を考慮する必要がある。3 次元空間に照明条件を観測する機器などを設置して別途これを推定する手法や、濃淡値の平均の時間変化から照明条件の時間変化を近似的に推定する方法、生成・消滅項φを多項式関数で近似して推定する手法などが考えられる。ここでは、動画像情報のみから、できる限り精度良く動きベクトル場を推定可能な手法を考える。照明条件の影響を表す項 r(x,y,t)は、時間と空間に依存する関数であるが、ここで以下の２つの場合に分ける。
(a)

不均一照明条件：照明条件が空間的に不均一で、時間的には変化しない。すなわち、r = r ( x, y ) 。

第３章

(b)

勾配法によるオプティカルフローの推定

81

非定常照明条件：照明条件は空間的には均一で、時間と伴に変化する。すなわち、r = r (t ) 。
まず(a)の不均一照明条件の場合について考える。このとき、生成・消滅項は次式となる。

φ = g (v ⋅ ∇r ) = fv ⋅ ∇r= fq u 2 + v 2
r(3.44)

ここで、q は動きベクトルと ∇r のなす角θを用いて、q = ∇r / r cos θ で表される。式(3.44)を用いて、基礎式は次式のように整理できる。

∂f+ v ⋅ ∇f − fq u 2 + v 2 = 0∂t(3.45)

照明条件の効果を表すパラメータ q は時間と伴に変化しない空間のみに依存するパラメー
タである。従って基礎式(3.45)に対して、時間と伴に変化しない定常な動きベクトル場を仮定することができる場合、非線形最小二乗法のような最適化手法で解：v=(u,v),q を推定する。
t 0 + Lt2 ∂fE = ∑  + v ⋅ ∇f − fq u 2 + v 2  → min .
t = t 0 − Lt  ∂t

(3.46)

ここで、動画像の濃淡分布の時空間勾配 ∂f / ∂t , ∇f は、座標(x,y,t)において計算する。また、時刻については t=t0 を中心として、(2Lt+1)(frame)の範囲で動きベクトルが一様であると仮定している。なお、非線形の最小二乗法を解くことは、線形のそれに比べて、一般に複雑22
な計算手順を必要とする。その場合、 q u + v を一まとめにして q'と置き換えて線形化して解いてもよい。
次に(b)の非定常照明の場合について考える。このとき、生成・消滅項は次式となる。

φ=g

∂r
= fw
∂t

(3.47)

ここで、 w = (∂r / ∂t ) / r とした。よって基礎式は次式となる。

∂f+ v ⋅ ∇f − fw = 0∂t(3.48)

パラメータ w は時間の関数であり、時間を固定したとき、画面上で一定値となる。非定常

82

第３章

勾配法によるオプティカルフローの推定

照明条件の下では、空間で動きベクトル場が一様である場合、空間局所最適化法の付加拘束条件を組み合わせることにより、次式を最小化する解：v=(u,v),w を推定する。
y0 + L yx0 + L x

2

 ∂f

E= ∑
 + v ⋅ ∇f − fw  → min .
∑y = y 0 − L y x = x 0 − L x  ∂t

(3.49)

ここで、動画像の濃淡分布 f の時空間勾配 ∂f / ∂t , ∇f は、座標(x,y,t)において計算する。また、座標(x0,y0)を中心として、空間のみからなる局所領域(2Lx+1)×(2Ly+1)(pixel)の範囲で動きベクトルが一様であると仮定している。より実際的には、パラメータ w が十分短い時間
内であれば一定と考えても問題ない。従って、最小二乗法において時空間の局所領域を用いることでより多くの画像情報を用いることができる。また、これまで２つの場合に分けたが、現実には、照明条件をこれほど厳密に場合分けすることは困難である。照明条件の影響に応じて動きベクトル場に空間局所領域で一様あるいは時間とともに定常とする条件を課すことにも困難がある。これらの制限をより緩やかなものにし、現実的な立場からより近似的に解を推定しようとする手法がある 35,36)。すなわち、いずれの場合においても基礎式は、∂f+ v ⋅ ∇f − fw' = 0∂t(3.50)のように書け（但し、パラメータ w'は時間と空間の照明条件の影響を含んだものとなっている)、不均一照明による効果が非定常照明による効果よりも大きい場合には、局所領域を
時間方向に大きく、逆に、非定常照明による効果が不均一照明による効果よりも大きい場
合には、局所領域を空間方向に大きくとればよい。

３．４

動画像からの勾配法によるオプティカルフロー推定例

これまで、数多くのオプティカルフロー推定法が提案されてきた。それぞれの手法が提案された背景が異なるため、解析対象となる動画像の種類の違いによって、それに適した解析手法は異なる。従って、オプティカルフロー推定法を利用しようとする場合、利用者
は解析対象の現象に応じた推定法の選択が必要となる。既に、代表的な手法の解析精度の定量的な評価を通じて、各手法の分類と有効性の確認が試みられた 37)。よって、ここでは不均一・非定常照明条件の下で撮影された動画像と、逆ボケ過程を捉えた動画像に対して本書で紹介したオプティカルフロー推定法（勾配法のみ）を適用した結果を示す。なお、解析に用いた手法の本書での省略名とその概要等を表 1 に示す。

第３章

勾配法によるオプティカルフローの推定

83

表１ 解析に用いるオプティカルフロー推定法

省略名

概要

代表的文献

基礎式

設定パラメータ

HS

大域的最適化法

6)

(3.3)

LOM

局所最適化法12)(3.3)

滑らかさ：αv=(u,v)
反復回数：N
時空間局所領域：v= (u,v), df/dt=φ
Lx,Ly,Lt

NUI

不均一照明条件を考慮した手法非定常照明条件を考慮した手法
ボケ過程を考慮した手法(3.45)

時間局所領域：Lt(3.48)

空間局所領域：v= (u,v), w
Lx,Ly
時空間局所領域：v= (u,v), D
Lx,Ly,Lt

NSI
DIF

34)
24)

(3.30)

推定パラメータv= (u,v), q(1) 粒子によって可視化された流れ場を捕らえた動画像
図 3.7 のような実験系において、粒子によって可視化された流れ場をカメラで撮影し、円柱障害物の周りの流れ場を動画像として捕らえた。障害物後方を除くと流れ場は定常であるので、時空間局所最適化法において、オプティカルフローが定常であると仮定する手法を用いることができる。但し、障害物の下方に照明の空間的な不均一性があるため、その影響を考慮した手法を用いることが必要である。動画像を図 3.8 に、HS、LOM、NUI
によって解析して得られたオプティカルフロー場、及び照明の不均一性を示すパラメータ値の分布を図 3.9 に示す。従来の照明の影響を考慮していない HS 及び LOM による推定
結果は、障害物の下方にオプティカルフロー場の乱れが生じているが、NUI ではほぼ一様なオプティカルフロー場が得られている。また、照明の不均一性を表すパラメータも、障害物下方において分布を示している。さらに、人間の目ではわかりにくかったが、障害物の上方においても若干の照明の不均一性があることがわかる。

スリットライト照明

可視化粒子
流れ場

円柱

カメラ

図３.７ 円柱周りの流れ場の観測実験システム。一様な流れ場中に、円柱をその軸が流れの速度に直交するように置いた。このときの流れ場を微小粒子によって可視化、カメラで動画像として撮影した。カメラの光軸と円柱の軸が平行になるようにカメラが設置されている。また、可視化のためのスリットライト照明が実験システムの上方に、スリット光の面が円柱の軸と直交するように設置されている。照明と円柱との位置関係から、円柱の下方において照明の不均一性が生じる。

84

第３章

勾配法によるオプティカルフローの推定

(b)

(a)

図 ３.８

粒子によって可視化された流れ場(実験システム図 3.7 を参照)を捉えた動画像。動
画像のサイズ：128×128(pixel), 128(frame), 8(bit)。サンプリング周波数：30(Hz)。
(a)t=0, (b)t=64(frame)めの画像。

1[pixel/frame]

(a)

(b)
q
0.1

0

-0.1
(c)

(d)

図 ３.９ 粒子によって可視化された流れ場を捉えた動画像(図 3.8)の解析結果。(a)HS, =1.0,
N=256。t=0～127 (frame)のそれぞれにおいて得られたオプティカルフロー場を平均した結果。(b)LOM, Lx=Ly=0, (2Lt+1)=128。(c)NUI, (2Lt+1)=128。(d)NUI によって推定された照明の不均一性を表すパラメータ q の空間分布。

第３章

勾配法によるオプティカルフローの推定

85(2) 伝播する化学反応波の動画像伝播する化学反応波の様子を捉えた動画像を解析し、その伝播速度を計測した。このとき、全体の明るさが時間と伴に随時変化する。解析対象となる動画像を図 3.10 に示す。ここで、ノイズの影響を軽減するため、メディアンフィルターを適用した。動画像中の白く映っている部分が化学反応波の先端であり、波は画面の右下から左上方向にほぼ一定速度で伝播している。メディアンフィルターを適用して得られた動画像に対して、LOM と NSIを適用し、オプティカルフロー場を得た（図 3.11）。従来の照明の影響を考慮していない
基礎式を用いた LOM では、大きく誤ったオプティカルフロー場がほぼ全体に渡って得られたが、一方、照明の時間変化を考慮した NSI では、波の先端において方向・大きさともに一様な左上方向のオプティカルフローが得られた。照明の時間変化が小さくても、濃淡分布の空間勾配が小さい動画像においては照明の時間変化の影響が大きく、照明の影響を考慮していない手法では、大きな誤りを得ることがわかる。

(a)

(b)

(c)

(d)

(e)

(f)

(g)

(h)

図３.10 Belousov-Zhabotinsky(BZ)反応波の伝播の様子を捕らえた動画像。動画像のサイズ：
200 ×200(pixel), 330(frame), 8(bit)。サンプリング周波数：15(Hz)。元動画像の(a)t=0,(b)t=100, (c)t=200, (d)t=300(frame) に お け る 画 像 。 元 動 画 像 に 対 し て 7 × 7(pixel),
3(frame)の時空間領域からなるメディアンフィルターを適用して得られた動画像の(e)t=0, (f)t=100, (g)t=200, (h)t=300 (frame)めの画像。

86

第３章

勾配法によるオプティカルフローの推定

1[pixel/frame]

図３.11

(a)

(b)

(c)

(d)

BZ 反応波の伝播の様子を捉えた動画像(図 3.10 図３.1)の解析結果。
LOM(Lx=Ly=5,Lt=0) に よ る (a)t=100, (b)t=200(frame) で の 結 果 。
NSI(Lx=Ly=5)による(c)t=100, (d)t=200(frame)での結果。

(3) 逆ボケ過程の動画像 24)
カメラの光軸に直交する面内で水平方向に一定速度で移動させたときのシーンを動画像として撮影した。3 次元空間中には、1 冊の本がカメラの画像平面とほぼ平行になるように立てて置いてある。カメラが移動する際に、その焦点を連続的に変化させたため、画像がボケた状態から焦点の合ったクリアーな状態に変化した。この逆ボケ過程を捉えた動画
像を図 3.12 に示す。画面中を本の表紙が右から左へ水平横方向に一定速度で移動する。人間の目により特徴点を 1 点選択して追跡し、そのオプティカルフローの大きさを求めたと
ころ、1.26(pixel/frame)であった。この動画像に対して、LOM と DIF を適用した。得られた結果のオプティカルフロー場と、その大きさのヒストグラム、及び推定された拡散係
数 D の分布を図 3.13 に示す。オプティカルフロー場からは両者の結果にほぼ違いは見られないが、ヒストグラムでは、
２つのピーク位置とその最大値に違いがあることがわかる。
すなわち、DIF によるピーク位置は LOM によるそれと比べて大きくなっており、また、
DIF によるピークの方が、LOM によるそれよりも高くなっている。DIF によって得られた拡散係数の分布は、ほぼ全体にわたって負の値を示しているが、場所によってその大きさにばらつきがある。画面右上の領域ではその他の領域に比べて絶対値が小さくなっている。解析対象の動画像をみればわかるように画面右上ではテクスチャが少なく、解析の困難な領域であるためと考えられる。

第３章

(a)
図３.12

勾配法によるオプティカルフローの推定

( b)

(c)

３次元空間中を移動するカメラが捉えた逆ボケ過程の動画像。カメラは、その光軸に直交する方向(画面上では横方向)に一定速度で移動する。その際、カメラの焦点距離が時間と伴に変化し、t=0 のボケた状態から徐々に焦点距離の一致した状態へと変化する。画像サイズ：128×100(pixel), 8(bit)、サンプリン
グ周波数：30(Hz)。(a)t=0, (b)t=24, (c)t=49(frame)めの画像。

1[pixel/frame]

(a)

(

b)

Frequency(%)
20
15
LOM

DIF

10
5
0
0.8

図３.13

1.0
1.2
1.4
1.6
Speed(pixel/frame)
(c)

-0.10

0.05

0

(d)

逆ボケ過程の動画像(図３.12)からの解析結果。(a)LOM(Lx=Ly=2, (2Lt+1)=50),(b)DIF(Lx=Ly=2, (2Lt+1)=50)によって推定されたオプティカルフロー場。(c)
推定されたオプティカルフローの水平方向成分の絶対値|u|のヒストグラ
ム図。(d)DIF によって推定された拡散係数 D の空間分布。

87

88

第３章

３．５

勾配法によるオプティカルフローの推定

むすび

本章では、勾配法とそれを拡張した一般化勾配法による動画像からのオプティカルフロ
ー推定法について概説した。一般化勾配法では、動画像に含まれる現象・性質に合うような基礎式をモデル方程式として選択・採用する点に特徴がある。しかしながら、最も適当な基礎式をどのように選択・採用するかが問題である。科学計測の分野では、計測対象に関する事前の知識があることが多いと思われるので、この知識を用いて基礎式を人間が選択することが可能である 39,40)。一般化勾配法の今後の重要な研究課題としては、基礎式をより一般化・拡張していくとともに、基礎式の自動選択の方法を考えていくことが挙げら
れる。

第３章

勾配法によるオプティカルフローの推定

Coffee Break Ⅲ：花鳥諷詠からカオスへ
ちなみに、カオスは単に「混沌」という意味ではなく、正確には「決定論的カオス」と呼ばれるべきものです。大学の教養教育で学ぶニュートン力学は、線形の微分方程式で表現され、初期値（ある時刻の位置と速度）が与えられれ
ば、その運動は未来永劫予測可能となります。すなわち、未来が決定されている決定論的方程式です。ニュートンが偉大なのは、この未来予測可能な式を導いたことだと言えます。お陰で、20 世紀後半になるまで、運命論的な世界観が人類の上に覆いかぶさってしまいますが、基本的な天体の動きは理解できるよ
うになりました。すなわち、微分方程式で記述できる現象は、未来予測可能であり、決定論的規則に従うと理解されることが多いのです。しかし、「決定論的カオス」では、現象は決定論的な微分方程式に従うにも関わらず、その非線形特性のために、小さな擾乱が大きく増幅され（初期値敏感性）、未来予測が実質的に不可能なカオス状態となります。その典型例は、天気予報に関連する
大気変動を記述する方程式で、これも非線形の微分方程式（3 変数）であり、初期値敏感性を持つ「ローレンツカオス」として知られています。この初期値
敏感性は、バタフライ効果としても知られ、蝶が羽ばたく程度の小さな擾乱であっても、遠くの場所の気象に影響を与えかねないという、ローレンツの寓話として有名です。一週間後の天気は、殆ど予測不可能なのです。

89

90

第３章

勾配法によるオプティカルフローの推定【演習問題】[3.1] 運動物体上の同一場所の濃淡値が、移動後も変化しないという次式の条件を用い、

f ( x, y, t ) = f ( x + δx, y + δy, t + δt )勾配法の基礎式を導け（ヒント：定式の右辺をテーラー展開し２次以上の項を無視）。
（注：勾配法の基礎式は

∂f ∂f
∂f
+ u + v = 0 で与えられる。
∂y
∂t ∂x

[3.2] 運動する物体上の濃淡値を表す関数 f ( x, y, t ) の２次元ベクトル勾配は次式のように∂f∂f  ∂f i+j 。この定義式を用いて、勾配法の基礎式が + ∇f ⋅ v = 0
∂t
∂x
∂y
 
と表現できることを示せ。ただし、二つの２次元ベクトル（ A, B ）の内積は定義される：∇f =

 
 

A • B = Ax Bx + Ay By で定義される。ここで、 v = (u , v) = ui + vj である。

[3.3] 局所最適化手法によるオプティカルフローの推定では、オプティカルフローが一定（あるいは一様）と見なせる小さな空間領域（場合によっては時間・空間領域）を考える。その局所の各点 (x1,y1), (x2,y2）, (x3,y3), ・・・, (xn,yn)では、推定しようとするオプティカルフロー v が一定であるため、各点で以下のｎ個の拘束式が成立する。

∂f ( x1, y1, t ) ∂f ( x1, y1, t )∂f ( x1, y1, t )+u+v = 0,∂t∂x1∂y1∂f ( x 2, y 2, t )∂f ( x 2, y 2, t ) ∂f ( x 2, y 2, t )+u+v = 0,∂t∂x 2∂y 2∂f ( x3, y3, t )∂f ( x3, y3, t ) ∂f ( x3, y3, t )
+
u+
v =0,
∂t
∂x3
∂y3
・・・・・

∂f ( xn, yn, t ) ∂f ( xn, yn, t )∂f ( xn, yn, t )+u+v = 0．
∂t∂xn∂yn
この ｎ 個の拘束式の誤差の二乗和が最小となるように、オプティカルフロー

v = (u , v) を推定する（最小二乗法）。この結果が式（3.23）と一致することを示せ。

第３章

勾配法によるオプティカルフローの推定

91【参考文献】

1) D. Marr: Vision, W.H.Freeman and Company (1982). (デビット・マー著, 乾敏郎,
安藤広志 訳:ビジョン, 産業図書, 1987)．
2) 松山, 久野, 井宮: コンピュータビジョン：技術評論と将来展望, 新技術コミュニケーションズ (1998)．
3) K. Nakayama: Biological Image Motion Processing: A Review, Vision Research,
25 (1985), pp.625-660.
4) M. Raffel, C. E. Willert, J. Kompenhans: Particle Image Velocimetry,
Springer-Verlag, Berlin (1998). (M. ラッフェル, C. E. ヴィラート, J. コンペンハ
ンス 著, 小林監修, 岡本, 川橋, 西尾 訳: PIV の基礎と応用 － 粒子画像流速測定
法, シュプリンガー・フェアラーク東京, 2000)．
5) 木村, 植村, 奥野: 可視化情報計測, 近代科学社 (2001).
6) B. K. P. Horn and B. G. Schunck: Determining Optical Flow, AI, 17 (1981),
pp.185-203.
7) B. K. P. Horn: Robot Vision, The MIT Press (1986) (NTT ヒューマンインターフェース研究所プロジェクト RVT 訳: ロボットビジョン －機械は世界をどう視るか－,
朝倉書店, 1993)．
8) 金谷: 画像理解 －3 次元認識の数理－, 森北出版 (1990).
9) T. Poggio, V. Torre and C. Koch: Computational Vision and Regularization Theory,

Nature, 317 (1985), pp.314-319.
10) J. Marroquin, S. Mitter and T. Poggio: Probabilistic Solution of Ill-posed
Problems in Computational Vision, Journal of the Americal Statistical

Association, Theory and Methods, 82 (1987), pp.76-89.
11) K. Sakaue, A. Amano and N. Yokoya: Optimization Approaches in Computer
Vision and Image Processing, Trans. IEICE Information Systems, E82-D(1999),pp. 534-547.
12) J. K. Kearney, W. B. Thompson and D. L. Boley: Optical Flow Estimation: An
Error Analysis of Gradient-based Methods with Local Optimization, IEEE-PAMI,
9 (1987), pp.229-244.
13) K. Nakajima, A. Osa, S. Kasaoka, K. Nakashima, T. Maekawa, T. Tamura and H.
Miike: Detection of Physiological Parameters without Any Physical Constraints

92

第３章

勾配法によるオプティカルフローの推定

in Bed Using Sequential Image Processing, JJAP, 35 (1996), pp.L269-L272.
14) K. Nakajima, A. Osa, T. Maekawa and H. Miike: Evaluation of Body Motion by
Optical Flow Analysis, JJAP, 36(1997), pp.2929-2937.
15) N. Ohta, Image Movement Detection with Reliability Indices, IEICE Trans., E74(1991), pp.3379-3388.
16) L. S. Davis, Z. Wu and H. Sun: Contour-based Motion Estimation, CVGIP, 23(1983), pp.313-326.
17) E. C. Hildreth: Computations Underlying the Measurement of Visual Motion, AI,
23 (1984), pp.309-354.
18) E. C. Hildreth: The Computation of the Velocity Field, Proc. Royal Society of

London, Series B, 221 (1984), pp.189-220.
19) M. Yachida: Determining velocity maps by spatio-temporal neighborhoods frommage sequences, CVGIP, 21 (1983), pp.262-279.
20) D. Terzopoulos: Image Analysis Using Multigrid Relaxation Methods,

IEEE-PAMI, 8 (1986), pp.129-139.
21) 志沢, 間瀬: 多重オプティカルフロー－基本拘束方程式と運動透明視・運動境界検出の統一計算理論－, 信学論, J76-D-II (1993) pp.987-1005.
22) H.-H. Nagel and W. Enkelmann: An Investigation of Smoothness Constraints for
the Estimation of Displacement Vector Fields from Image Sequences,

IEEE-PAMI, 8 (1986), pp.565-593.
23) A. Nomura, H. Miike and K. Koga: Field Theory Approach for Determining
Optical Flow, PRL, 12 (1991), pp.183-190.
24) 野村, 三池, 横山: 動画像からの運動・拡散現象の検出, 電学論Ｃ, 115 (1995),
pp.403-409.
25) H. W. Haussecker and D. J. Fleet: Computing Optical Flow with Physical Modelsof Brightness Variation, IEEE-PAMI, 23 (2001), pp.661-673.
26) B. G. Schunck: The Image Flow Constraint Equation, CVGIP, 35 (1986),
pp.20-46.
27) H.-H. Nagel: On a Constraint Equation for the Estimation of Displacement Rates
in Image Sequences, IEEE-PAMI, 11 (1989), pp.13-30.
28) A. D. Bimbo, P. Nesi and J. L. C. Sanz: Analysis of Optical Flow Constraints,

IEEE-IP, 4 (1995), pp.460-469.

第３章

勾配法によるオプティカルフローの推定9329) A. Del Bimbo, P. Nesi and J. L. C. Sanz: Optical Flow Computation Using
Extended Constratints, IEEE-IP, 5 (1996), pp.720-739.
30) N. Cornelius and T. Kanade: Adapting Optical-flow to Measure Object Motion in
Reflectance and X-ray Image Sequence, Proc. ACM SIGGRAPH/SIGART
Interdisciplinary Workshop Motion: Representation and Perception (1983),
pp.145-153, Toronto, Canada, April 4-6.
31) 武川直樹: 動画像からの光源情報復元, 信学論, J74-D-II (1991), pp.1236-1242.
32) N. Mukawa: Optical-model-based Analysis of Consecutive Images, CVIU, 66(1997), pp.25-32.
33) S. Negahdaripour: Revised Definition of Optical Flow: Integration of Radiometricand Geometric Cues for Dynamic Scene Analysis, IEEE-PAMI, 20 (1998),
pp.961-979.
34) A. Nomura, H. Miike and K. Koga: Determining Motion Fields under
Non-uniform Illumination, PRL, 16 (1995), pp.285-296.
35) L. Zhang, H. Miike and K. Kuriyama: The Spatio-temporal Optimization to
Determine Optical Flow with Combination of Local and Global Approach,

FORMA, 13 (1998), pp.299-320.
36) L. Zhang, T. Sakurai and H. Miike: Detection of Motion Fields under
Spatio-temporal Non-uniform Illumination, IVC, 17 (1999), pp.309-320.
37) J. L. Barron, D. J. Fleet and S. S. Beauchemin: Systems and Experiment:
Performance of Optical Flow Techniques, IJCV, 12 (1994), pp.43-77.
38) N. Gupta and L. Kanal: Gradient Based Image Motion Estimation without
Computing Gradients, IJCV, 22 (1997), pp.81-101.
39) A.Osa, H.Miike:「An Accurate Determination of Motion Field and Illumination
Conditions」；IEICE TRANCE.INF.&SYST.,Vol.E87-D (2004), pp.2221-2228.
40) 三池秀敏、長篤志、三浦幸一、杉村敦彦、一般化勾配法によるオプティカルフローの検出：不均一照明下での物体運動の計測、情報処理学会論文誌：コンピュータビ
ジョンとイメージメディア、49(2008), pp.1-12.

第３章

勾配法によるオプティカルフローの推定

94
61

第４章

第

４

章

勾配法によるオプティカルフローの推定

95

相関法・マッチング法による速度計測

脳は左右の両眼に入る視覚情報（2 枚の平面画像）
から奥行きのある 3 次元世界を推定している。十分な情報が与えられてない状況で、この不良設定問題を脳は巧みに解いている。人工的にこれを実現するポピュ
ラーな手法として、左右の画像の濃淡情報による相関解析を基本とするマッチング法が知られている。ここでは、この手法による速度計測手法を紹介する。

４．１

テンプレートマッチング

画像中の動き(オプティカルフロー)を解析するための方法は、大別して勾配法とマッチ
ング法が知られている。勾配法は、5 章でも紹介するように画像中の任意の点における輝度の時間変化と空間変化との関係を理論的にモデル化したものである。マッチング法では、連続した画像中の特徴点を追跡して速度を求めるもので、直感的で最も考えやすい方法であるが、問題点もいくつか指摘されている。ここでは、テンプレートマッチング法について処理の流れを追いながら考えていくことにする。
一般に、特徴点は、画像中の 1 点ではなく、空間的な広がりを持って考えられる。1 点を特徴点にすると、モノクロ画像では、輝度のみが、カラー画像では RGB の３色の輝度のみが特徴となり、次の画像中の類似点が多すぎる。つまり、対応点の探査が難しくなる。
従って、特徴点を３×3 画素や５×５画素に選び、次の画像での類似点を減らす方法が取られる。こうした３×3 画素や５×５画素の領域を一般にテンプレートと呼ぶ。また、単純にその領域の輝度を特徴とする代わりに、各種の空間フィルタを用いて輝度の変化量や曲率に換算して対応点を探索するなどの方法もとられる。これらは全て、次の画像での類似点を極力減らすための方策と考えることができる。
動画像中の２枚の画像を用いるマッチング法では、１枚目の画像で選んだ、特徴点ある
いはテンプレートと類似の点(あるいは領域)を次の画像で探すことになる。そこでは、空間的相関や類似度を用いたマッチングが主な手段となる。テンプレートマッチングでは、
図 4-1 のように３×3 画素ないし５×５画素の領域を次の画像で定め画素ごとの差の２乗和や絶対値和を誤差として求め（式 4.1 参照）、次画像全体で最小となる位置を対応点と考えることになる。つまり次画像での探査範囲は、画像全体となる。この次画像での探索範

2

2

E =ΣΣ{Gn(x+i,y+j)－Gn+1(x’+i,y’+j)}2
i=0 j=022E’=ΣΣ|Gn(x+i,y+j)－Gn+1(x’+i,y’+j)|
i=0 j=0

(4.1)

96

第４章

相関法・マッチング法による速度計測

(x,y)

探索
(x’,y’)

テンプレート

次の画像 Gn+1

対象画像 Gn
図 4-1 テンプレートと探査範囲

囲は、特徴点の数を前の画像で減らしたとしても変わらない。ことになる。
そこで、１枚目の画像で空間フィルタなどを用いて特徴点を算出し、ある基準を用いてその数を減らした場合などは、２枚目の画像で同様の処理を行い対応点の数を絞り、その候補の中から対応点を決定するなどの方法がとられることもある。この方法では、探索範
囲や誤対応の確率は確かに減少するが、得られる結果は本章で意図する、画像全体の速度場ではなく、まばらな速度ベクトルあるいは変移ベクトルの集合となる。
対応点探査の範囲を絞る方法としては、移動速度あるいは変移量を限定する方法もある。
これまでの説明で探査範囲が次画像全体になる理由は、移動速度を限定しないことから発生する。従って、移動速度の範囲を小さくすればするほど、探索範囲は縮小し、マッチン
グの計算量も少なくなる。一方で、新たな問題点も現われる。これまで説明したテンプレ
ートマッチングでは、次画像で対応点を正しく見つけたとして、その移動量は縦横の画素
間隔の整数精度である。移動量を縦横±数画素に限定すると、求められる移動量(速度)も１桁精度となることは避けられない。このことについては、次節で再度言及する。
P

エピポーラ線C1

図 4-2 ステレオ画像とエピポーラ線

C2

第４章

勾配法によるオプティカルフローの推定

97

探査範囲の絞るもうひとつの代表的な方法としてステレオ画像の解析などに見られるエ
ピポーラ拘束を利用した 1 次元探索がある。これは状況が特殊で、移動方向が限定(エピポーラ線上)される場合である。エピポーラ線とは、図 4-2 に示すように水平に置かれた二つのカメラの位置 C1,C2 と対象物体表面上の１点 P が作る平面がスクリーンと交わるの直線(図中の二点鎖線)のことで、２つのカメラを水平に置き、それぞれのカメラの光軸とカメラを結ぶ直線と垂直に設定すれば、画像上では、水平走査線方向となる。このエピポーラ
拘束は、左右二つのカメラの間を移動して複数の連続画像から距離を求める移動ステレオ法でも成立する。
その他の探査範囲の縮小法として、階層処理の利用がある。この方法は、縮小した画像
で大まかな移動量を決め、これを初期値とすることで探査範囲をその初期値近傍に限定しようとするものである。階層を増やせば、移動量は減り、近傍のみの探索となり処理量も格段に減少する。
前述した通り、いずれの方法でもテンプレートマッチングで得られる移動量は画素単位で、それ以上の計測精度の向上は見込めない。また、移動量が大きくなると、移動した物
体によって隠される部分も増え、このオクルージョン問題が大きくなってくる。奥富ら 1)
は、こうした移動ステレオ法によりカメラ間距離が異なる複数のステレオ画像から求まる
任意の画素点の奥行き（実際にはその逆数）は不変という性質を利用した複数基線長ステ
レオマッチングの提案を行ない、精度と偽対応のトレードオフの問題を解決している。
4.2 時系列相関法（1）基本の原理
以下の節では、われわれが開発した時系列相関法 2,3)について述べる。この方法は、これまで述べてきた方法とは大きく異なり、主に時系列信号解析の原理によるもので、用いる
画像枚数もかなり大きく、大量のデータが必要となる。
時系列相関法の基本は、速度を求めたい画素(中心画素)の輝度変化の時系列と、その周辺の近傍画素の時系列との間に相互相関解析を適用し、中心画素と近傍画素間の輝度時系
列の相関の強さと遅れ時間から、中心画素の速度ベクトルを得ることである。例えば、図4-3(a)のように画像中の任意の画素(中心画素)とその周りの近傍 8 画素を考える。各々の画素を区別するため、以降は、中心画素を０とし、近傍画素をそれぞれ図 4-3(a)のように反時計回りに順に１から８までの番号を付し、これを添え字ｋで表すことにする。例えば、画素ｋの時系列を fk(t)などのように表す。各画素で観測される輝度変化の時系列の模式図を図 4-3(b)に示す。この図の場合、中心画素の時系列 f0(t)と類似した波形は、f2(t) と f6(tに現れてる。また、時間的には、f6(t)、f0(t)、f2(t)の順に現れているのがわかる。つまり、この場面では、画素６の方向から画素０を通り画素２の方向への動きが推測される。ここで述べる時系列相関法では、このような関係を相互相関解析により求めることで速度ベクトルを決定する。

98

第４章

相関法・マッチング法による速度計測

4

3

2
hy

0

5

f4(t)

f2(t)

1
hx
8

7

6

f3(t)

(a)近傍画素の配置

t
f5(t)

f0(t)

f1(t)

f6(t)

f7(t)

f8(t)

(b)各画素の輝度時系列

図 4-3 近傍領域の配置と画素の輝度時系列
以下、計算の過程を順を追って示す。まず最初に速度を求める画素(中心画素)と近傍画
素の相互相関関数を以下の式で計算する。

Ck(τ) ＝

１
Snk

∫

T

0

f 0 (t ) f k (t + τ ) dt

(4.2)

ここで T は時系列の観測時間、Snk は、中心画素と近傍画素ｋの自己相関関数

S02=
Sk2=

∫

T

0

∫

T

0

f 0 (t ) f 0 (t + τ ) dt
(4.3)

f k (t ) f k (t + τ ) dtのうち、大きい方、すなわち

Snk＝max(S02, Sk2)

(4.4)

を選択する。通常の相互相関法の場合、正規化法としては

S nk = S 02 S k(4.5)

がとられるが、こうすると、中心画素の時系列 f0(t)と近傍画素ｋの時系列 fk(t)が相似波形でも相関値の最大が１となり、波形の類似度的視点が失われてしまうことになる。そこで、

第４章

勾配法によるオプティカルフローの推定

99

式（4.8）の表現を用いることにより、輝度時系列波形の振幅の違いをも考慮にいれた波形の類似度の尺度として相互相関関数を利用することができる。以下、ここで定義した Ck(τ)
を便宜的にｋ方向の相互相関関数と呼ぶことにする。また、τ＝0 に最も近い位置にある

Ck(τ)の極大値を相関値、そのときのτを遅れ時間と呼び、それぞれ γ k 、τ k のように表す。
従って両者の関係は、次式のように与えられる。

γ k = Ck (τ k )(4.6)

こうして、時系列相関法では、中心画素とその近傍 8 画素の時系列間の相互相関計算を行えば、相関値と遅れ時間が 8 組得られることになる。今、得られた 8 個の相関値のうち、値の最も大きな方向の画素をｋ、中心画素 0 と近傍画素ｋとの X,Y 方向の間隔を hxk、hykとすると、速度の絶対値 V は

V = (hx k 2 + hy k 2 ) / τ k(4.7)

として求めることができる。このとき、速度ベクトルの方向は相関値が最大であるｋ方向と決める。これが時系列相関法の基本原理である。
図 4-3(b)の例からも分かるように、近傍画素領域内で速度ベクトルの方向が一定の方向を向いている場合には、画像の流れは中心画素をはさんで対称の位置にある画素の一方から入り中心画素を通過し、もう一方の画素へと向かうことになる。つまり、中心画素の時系列と大きな相関を示す近傍画素は、中心画素に対称な位置にペアで現われる。また、このときの両者の相関関数は、ほぼ時間軸を反転した形となる。この性質を利用して、相関
値 γ k と遅れ時間 τ k の信頼性を増すことができる。すなわち、実際の γ k 、 τ k の算出には、
式(4.2)の Ck(τ)を直接用いず、代わりに

１
Mk(τ)＝

２{ Ck(τ)＋Ck’(-τ) }(4.8)

により求める。ここで、添え字の k’は画素ｋと中心画素をはさんだペアの位置の画素を表わしている。相関値 γ k と遅れ時間 τ k の関係は式(4.2)に代えて

γ k ＝Mk ( τ k )

(4.9)

とする。
（2）時系列相関法の拡張（1）で述べた時系列相関法の考え方は、きわめて単純で、中心画素を通った物体は、相関が最も大きい方向に進んでいったと考えるのであった。従って、得られる速度ベクトルの方向は、8 方向に限定される。また、式（4.7）で与えた速度の絶対値も、物体が中心
画素から真にｋ画素方向に向かったときは、原理的に正確な値がえられるが、それ以外はあくまでも近似値にすぎない。
ここでは、式（4.2）で定義した相互相関関数の意味をあらためて考えてみることにする。
図 4-4 は中心画素と近傍画素の時系列と画像の空間分布の関係を示した図である。下部の

100

第４章

相関法・マッチング法による速度計測

9 個の黒い点が画素位置、L0、L1 はそれぞれ、中心画素 0 および近傍画素 1 を通る速度ベクトルの方向の直線で、G(x,y) が輝度の空間分布である。そして太い曲線 S0，S1 がそれ
ぞれ、直線 L0、L1 で画像の輝度分布 G(x,y) を切り出した断面の輪郭線である。つまり、
この曲線 S0，S1 がこれまで考えてきた中心画素および近傍画素１の輝度時系列関数 f0(t)、f1(t) である。一般に、中心画素および画素ｋの輝度の時系列 f0(t)、fk(t)とその付近の画像の輝度分布 G(x,y) の関係は
G(x,y)
f0(t)
f1(t)
S0
S1

0
k=1

L0

移動方向

L1
図 4-4 時系列と画像の空間分布の関係

f0(t)＝G(x+vxt,y+vyt)(4.10)

fk(t)＝G(x+hxk+vxt,y+hyk+vyt)
で表すことができる。ここで、既に述べたように hxk、hyk は中心画素 0 と近傍画素ｋのX,Y 方向の間隔、また、vx、vy は中心画素での X、Y 各方向の速度成分である。
図 4-4 で、近傍画素の時系列は f1(t) しか示していないが、この f0(t)、f1(t) の相互相関で得られる相関値 γ 1 と τ 1 は何を示しているのだろうか。われわれの先の論文 2,3)では、このことで 2 つの解釈モデルを示したが、ここでは、以下のようにもう少し単純に考えみることにする。
いま、曲線 S0，S1 で、S1 上の白丸で示した点を曲線 S0 の原点(白の四角で示す)と重ねた場合が最も波形の類似度が大きかったとする。このとき、相互相関関数 C1(τ) の遅れ時
間 τ 1 は、曲線 S1 の白丸の点が近傍画素１(白三角)の位置へ移動するまでの時間を表わすことになる。従って、他の 7 個の相互相関関数の遅れ時間も、各近傍画素位置で、輝度の空間分布を速度方向に切り出した曲線を曲線 S0 に重ねたとき最も類似度が大きい点が各画素に到達する時間を表わすことになる。もちろん、ここで述べる時系列相関法は、比較的長い時系列を想定しているので、曲線 S0，S1、つまり時系列 f0(t)、f1(t) は、単峰性では

第４章

勾配法によるオプティカルフローの推定101なくなる。しかし、中心画素の曲線 S0 の原点と重ねたとき、最も重なる点が近傍画素に到達する時間を表わすことに変わりはない。
では、全ての近傍画素との相互相関を考えた場合、各近傍画素時系列のそうした点は、どのように配置されるのであろうか。その様子を図 4-5に示す。図 4-5 は図 4-4 を真上から見たもので、中心画素(白四角)と近傍画素(黒丸)および近傍画素を通る
時系列(速度方向の直線で示す)上で、中心画素の白四角の点と重ねたとき最も類似度が高くなる点(白丸)の位置を示している。このとき、中心画素に対して対称な位置にある画素時系列の相互相関関数は、実際には式(4.12)で再定義しているので白丸の位置は中心画素に対して点対称となっている。これらの白丸で示した
位置は、画像の輝度分布 g(x,y) の空間的連続性を仮定すると、実際は薄い灰色で示した曲線状につながっているものと考えることができる。この曲線の形状は、対象とする動画像により異なり、正確に記述することは不可能であるが、第 1 次近似として、図中太い実線で示した直線状に位置すると考えても大きな間違いはない。
いま、図 4-5 中の白丸で示した点 pk の座標を(pxk、

移動方向
図 4-5 類似点の配置pyk )とすると
pxk＝hxk－vxτk(4.11)

pyk＝hyk－vyτk
また、この点 pk が位置する直線の式を
ax+by=0(4.12)

とおく。この様子を図 4-6 に示す。この式(4.12)の x,yに式(4.11)の pxk, pyk を代入し

E＝Σ{a(hxk－vxτk )+b(hyk－vyτk)}2(4.13)k
を最小とする速度ベクトル V = (v x , v y ) 求めれば良い。

そのためには、 ∂E = 0 , ∂E = 0 の連立方程式を解く必∂a∂b要がある。最終的には４次方程式を解くことになるが、移動方
図 4-6 遅れ時間と速度ベクトル

102

第４章

相関法・マッチング法による速度計測

その解（４次方程式の一般解）は、良く知られているように 4)、あまりにも複雑で長く、この紙面には収めるのは不可能であり、ここでは省略する。ただ、解くべき連立方程式は、
以下のような形となっており、計算機を用いた解法では工夫の余地がある。
Avx2 + Bvx + C − Dv y + Evx v y = 0(4.14)

A'v y2 + B 'v y + C ' − D 'vx + E 'vx v y = 0

ただし、各定数は以下のように与えられる。
A = a ∑τ k2 , B = −2a ∑ hxkτ k − b∑ hykτ k , C = a ∑ hxk2 + b∑ hyk hxk , D = −b∑τ k hxk , E = b∑τ k2
k

k

k

k

k

k

k

A' = b∑τ k2 , B ' = −2b∑ hxkτ k − a ∑ hykτ k , C ' = b∑ hyk2 + a ∑ hyk hxk , D ' = −a ∑τ k hyk , E ' = a ∑τ k2
k

k

k

k

k

k

k

先の論文 2)では、式(4.12)が常に速度ベクトルに直交すると考えたもので、論文 5,6)では、別の観点からの幾何学モデルで同様の速度ベクトルの算出法を示している。
(3)計算機シミュレーション画像および実画像による実験
ここでは(2)で述べた時系列相関法による速度ベクトル解析の有効性を計算機シミュレーションにより生成した動画像を用いて検討する。
用いる動画像としては、2 種類を用意した。一つは粒子運動の計測やトレーサーで可視化された流体場の解析を想定したものである。もう一つは、表面の輝度が空間的に広い範囲にわたって連続的に滑らかに変化する物体が画像中を移動していく場面を想定したものである。生成された動画像は、256×256 画素を 1 フレームとし、256 フレームからなる。
各画素の輝度は 256 階調の整数値で与えられる。
最初に粒子が同心円状に回転運動を行う場合の例を示す。回転場としたのは、全ての方向を含んだ大きさの異なる種々の速度ベクトルが含まれ、解析結果を見るのに最適であると考えたからである。図 4-7 にシミュレートした動画像の第 1 フレームの例を示す。この動
画像は、画面中央を中心として反時計回りに回転する。得られた速度ベクトル場を図 4-8に示す。画像の中央を中心とした円運動の様子がよく分かる。
もう一つの例として、表面輝度が空間的に広い範囲にわたって連続的に滑らかに変化す
4-7 粒子運動の画像

る物体が画像中で回転運動を行う場面を想定

第４章

勾配法によるオプティカルフローの推定

103

図 4-8 回転する粒子像から得られた速度ベクトル場
した。このときの画像例を図 4-9 に示す。このシミュレーション画像では回転運動を時計回りとなるように作成した。速度場の解析結果を図 4-10 に示す。
粒子場と同様に得られた速度ベクトル
場は回転の様子をよく表わしている。
以上示した回転場の様子を別の角度か
ら整理してみる。ここに示したシミュ
レーション画像では、粒子の回転運動
では中心から 100 画素離れた画素の速度を 1.0 p/f に設定し滑らかな輝度分布を想定した物体の回転運動では、同じ距離で 0.8 p/f に設定している。従って両画像とも回転の中心から離れるに従画図 4-9 連続した輝度分布の画像って真の速度の大きさは、直線的に大きくなっていく。図 4-8 および図 4-10 の

104

第４章

相関法・マッチング法による速度計測

図 4-10 連続した輝度分布を持つ物体の回転運動から得られた速度ベクトル場
個々の速度ベクトルに対し、中心からその画素までの距離ｒを横軸に、得られた速度ベクトルの大きさを縦軸にとってプロットしたグラフを図 4-11 に示す。横軸が中心からの距離 r、縦軸が得られた速度ベクトルの大きさを表わしている。このグラフで見る通り、動画像に設定した中心から100 画 素の位で速度ベクトルが1.0p/f、0.8 p/f という直線の周りにきれいに分布しており、すくな
くとも 1.0p/f の速さまでは、精度よく計測可能なことがわかる。

図 4-11 シミュレーション画像より得られた速度場の距離と速度の関係

第４章

勾配法によるオプティカルフローの推定

105

最後に、実験した時代が少し古く、画像サイズが 64×64 画素と粗いデータであるが実画像による実験の解析結果を2 例ほど示す。
1 例目は、回転する円盤の上に直径約３mm の発砲スチロール片を無作為にばらまいた 256 フレームからなる動画像の解析結果である。図 4-12 にそのときの状況を写した写真を示した。得られた速度ベクトル場から図 4-11 と同様に回転の中心からの距離と速さの関係で表わしたグラフを図 4-13 に示す。実験
では、回転速度を 3 段階に変えて行っ

図 4-12 回転円盤による実験の様子た。図中の黒丸は回転数と円盤の半径から算出した点であり、結果はこの点と原点を結ぶ破線で示した直線の周りに回転速度応じて分布していて、中心からの距離と速さの比例関係がよく示されている。

図 4-13 回転円盤実験の解析結果

106

第４章

相関法・マッチング法による速度計測

もう一つの実例は、
動画像による流体場の 2
次元的な計測例として渦流の解析例を示す。
渦流を作る装置は、直径 29cm の水槽底面の中心に直径 5mm の穴をあけ、水を満たして渦流を起した。流れ出た水は、ポンプでくみ上げ、水槽面の水位は約４cm に保った。水槽の中には、もう一つ、底の無い直径 18cm の隔壁枠を置き、くみ上げた水は隔壁と水槽の底の隙間から静かに供給されるようにして、くみ上げた水で渦が乱されないようにした。
撮影された動画像は、この 18cm の隔壁内の画像である。渦流を可視化するためのトレー
サーには、方眼紙を約 2cm 角に切り取った紙

図 4-14 渦の画像例

片を用いた。解析に用いた動画像の第 1、第 2、第 4、第 8 フレームの画像を図 4-14 に示す。得られた速度ベクトル場を図 4-15(a)に示す。この速度ベクトル場から図 4-11 と同様に回転の中心からの距離と速さの関係を表わしたグラフを図 4-15(b)に示す。渦の中心から離れた領域で、次式で与えられる流体物理学の知見と矛盾のない結果が示されている。

 1
V ∝
r

(a)渦の速度ベクトル場(4.15)(b)渦の中心からの距離と速さの関係

図 4-15 渦流の中心からの距離と速さの関係（文献 11）図 5.17 参照）

第４章

勾配法によるオプティカルフローの推定

107

4.3 時間空間マッチング法(1) 基本原理
ここで示す解析手法は、4.2 の時系列相関法の図 4-4 示した考え方と本質的に同じである。しかし、時系列相関法のように大量の動画像を用いず、比較的少ない画像フレーム(5 から 11 枚程度)で速度を求めようとするものである。一連の動画像の中央フレームでの輝度分布を利用するため、画像の枚数は必ず奇数枚が必要となる。
いま，対象となる連続画像には、次の仮定が成り立つものとする。
仮定１ 画像の輝度分布は滑らかである
仮定２ この輝度分布は時間的に変化しない
仮定３ 物体の速度は 1.0p/f 以下で一定である
g4
このとき、ある画像フレーム中の任意の画素

G(x,y)

およびその近傍の空間分布と、その画素の前後
g5の画像フレームに現われる濃淡値の時系列の間g2g0には、図 4-16 のような関係がある。すなわち、注目する画素に連続して現われる濃淡値の時系
列は、その画素の近傍の空間的な濃淡分布

g6

g7

g1
g8

G(x,y)を速度方向（図中では第１象限方向）に切断したとき得られる太線で示した曲線を、一定の間隔で標本化した値（図中□および■印）

図 4-16 時間空間マッチングの原理である。この標本化間隔は、速度の絶対値Ｖと連続画像間の時間間隔ｔの積Ｖｔで表わされる。従って、この空間分布の曲面 G と前後の画像フレームに現われる濃淡値の時系列を、未知の速度ベクトル V = (v x , v y ) をパラメータとしてマッチングを行ない、そのときのマッチング誤差を極小とする解として速

度 V を求めることができる。以上が提案する速度推定の概略である。
(2)空間分布の曲面近似(1)で述べた原理では、任意の画素での空間分布が既値でなければならない。そこで実際には、仮定１を満たす空間分布を、任意の画素を原点 O とした３×３画素の範囲で

G(x,y)＝Ax2+Bxy+Cy2+Dx+Ey+F(4.16)なる曲面で近似する。この関数Ｇで与えられる曲面は、原点を通り XY 平面に垂直な任意の方向の平面で切断したとき得られる曲線の殆どが放物線（稀に直線）となる性質を持つ。
式(4-16)の関数Ｇの係数 A,B,･･･,F は、図 4-16 中に黒丸で示した中央画像フレームのもともと曲面 G は、各画素の輝度値 g0,g1,g2,･････,g8 の９個の濃淡値データから決定する。
９個の濃淡値データの任意の６個のデータのみでは決定不能となる場合もあり、９個のデ

108

第４章

相関法・マッチング法による速度計測

ータ全てを用いて次式の残差の総和 S が最小となるように求める。
2

8

S = ∑ { Axk2 + Bxk yk + Cyk2 + Dxk + Eyk + F − g k }(4.17)

k =0

ここで、xk,yk は各画素点の座標である。各係数は、具体的には

A = ( g1 + g 2 + g 4 + g 6 + g 8 − 2 g 0 − 2 g 3 − 2 g 7 ) / 6
B = (g 2 + g6 − g 4 − g8 ) / 4
C = ( g 2 + g 3 + g 4 + g 6 + g 7 + g 8 − 2 g 0 − 2 g1 − 2 g 5 ) / 6(4.18)

D = ( g1 + g 2 + g 3 − g 4 − g 5 − g 6 ) / 6
E = (g 2 + g3 + g 4 − g6 − g7 − g8 ) / 6
F = (5 g 0 + 2 g1 + 2 g 3 + 2 g 5 + 2 g 7 − g 2 − g 4 − g 6 − g 8 ) / 9で与えられる。式(4.18)の係数を３×３画素の空間フィルタと考えた場合、図 4-17 のように係数Ａ～Ｃは２次微分、Ｄ,Ｅは１次微分、そして、Ｆはラプラシアン・ガウシアンフィ
ルタとなっている点が興味深い。
こうして、各画素の空間的輝度分布 G ( x, y ) を近似２次曲面として求め、その前後の画
像の同じ画素での時系列を、速度をパラメータとしてマッチングさせる。

1/6

1

-2

1

1

-2

1

1

-2

1

1/4

-1

0

1

0

0

0

1

0

-1

A

1/6

1

1

-2

-2

-2

1

1

1

B

-1

0

1

-1

0

1

-1

0

1

D

1/6

1

1/6

C

1

1

1

0

0

0

-1

-1

-1

1/9

E

図 4-17 各係数の重み係数

-1

2

-1

1

5

2

-1

2

-1

F

第４章

勾配法によるオプティカルフローの推定

109(3) 時間空間マッチング
中心画素の時系列データを f0(t)とすると、式(4.17)で係数を求めた式(4.16)で与えられる空間分布 G ( x, y ) とこの時系列 f0(t)の間には

f0(t)＝ G (−v x t ,−v y t )(4.19)なる関係が成立する。ここで v x , v y およびｔは、それぞれ速度の x 方向成分、ｙ方向成分
および離散時間を表わす。従って、式(4.19)の両辺の差の二乗和ｍE＝Σ{G(-vxt,-vyt)－f0(t)}2(4.20)

t=-mを最小化することにより速度成分 v x , v y を求める。ここでｍは、時系列データが空間分布を仮定した３×３画素の範囲の中に含まれる最大の時間を表わす。この値は、求めた速度の大きさに依存するため、ｍ＝１から順次大きくして速度を求め、求められた速度とｍの積が近似領域を超えたところで計算を打ち切るようにする。
式(4.20)と同様の関係は、周辺の８画素でも成立する。この場合の誤差式は、近傍画素の xｙ座標を xk,yk、その時系列を fk(t)とすると
ｍ

Ek=Σ{G(xk±vxt,yk±vyt)－fk(±t)}2(4.21)

t=1となる。ただし、時系列データは、速度の方向に依存し、空間分布を求めた画像より前のフレームか後のフレームのいずれか一方のみとなる。式(4.21)の分布関数 G の中の符号±は前のフレームデータのみを使うときには＋符号、後のフレームのみを使うときには－符号となる。ここでは、煩雑さを避けるために、この誤差式を加味した場合は先の報告 4)にゆずり考慮しないことにする。
よって、式(4.21)で与えられる誤差Ｅを最小とする速度(vx,vy )を

∂E
=0
∂v x

∂E
=0
∂v y

(4.22)

から求める。
式(4.20)は速度 v x , v y の４次式であるから、式(4.21)は２元連立３次方程式となり、ニュートン法 6)などを用い数値的に解を求める。このときのニュートン法の漸化式は、

110

第４章

相関法・マッチング法による速度計測

E yy E x − E xy E yv xn +1 = v xn −E xx E yy − E xy E yx
E xx E y − E xy E xv yn +1 = v yn −E xx E yy − E xy E yx

(4.23)

で与えられる。ここで、Ex,Ey,Exx,Exy,Eyx,Eyy は、 式(4.20)の誤差 E の速度成分 v x , v y に関する１次および２次の偏導関数である。
(4) 速度場の連続性による拘束条件の導入
式(4.25)によれば、各画素点での速度が３×３の近傍でそれぞれ独立して求めることができる。しかし、現実の画像に対しては、ノイズなどにより推定値に大きい誤差を含み、良い結果は得られない。従って、文献 7)以来の方法に習い、速度場の連続性による拘束条
件を用いて画面全体での誤差の極小化策を導入する。離散化されたディジタル画像では、
速度場の連続性Ｅs は、

Es =(vx-vx-1)2+(vx-vx+1)2+(vy-vy-1)2+(vy-vy+1)2で表わされる(4.24)。ここで、vx-1、vx+1、vy-1、vy+1 は隣接する上下左右の画素の速度成分であ8)る。この式(4.24)を先の式(4.20)と結合して新しく誤差式Ｗとして

Ｗ＝Ｅ0＋cＥs(4.25)

を用いる。ここで、ｃは輝度分布と時系列とのマッチング項と速度場の連続性とを制御するパラメータである。この式(4.25)を用い速度(vx,vy )で最小化を行なうと、漸化式は

v

n +1
x

=v −
n
x

( E yy + c)( E x + ∆v xn ) − ( E xy − c)( E y + c∆v yn )( E xx + c)( E yy + c) − ( E xy + c)( E yx + c)
(4.26)

v

n +1
y

=v −
n
y

( E xx + c)( E y + ∆v yn ) − ( E xy + c)( E x + c∆v xn )( E xx + c)( E yy + c) − ( E xy + c)( E yx + c)となる。この漸化式(4.26)を繰り返し計算することにより画面全体での誤差の最適化をはかりながら、全画素での速度ベクトルを求めることができる。
(5)勾配法との比較
５章で述べる勾配法 7)は、2 枚の画像フレームを使い、一枚目の任意の画素点での空間勾配と速度との内積が輝度の時間変化と等しいという関係を用いて速度場を決定する。その関係式を式(4.20)のような誤差式の形で表すと、

第４章

111

勾配法によるオプティカルフローの推定

E=(Ixvx+Iyvy+It)2(4.27)である。ここで画像の時空間関数 I(x,y,t)の空間 x、y および時間 t に関する偏微分を

It,Ix,Iy で表している。この式について少し考えてみよう。式(4.26)の第１項と第 2 項は大まかに言えば、輝度勾配 Ix，Iy の傾きを持つ平面(中心画素での輝度は０となることに注意)の中心から(vx,vy)だけ離れた場所(図 4-17(a)の A 点)の輝度、すなわち輝度の変化分に相当する。また第 3 項は、B 点が中心に移動したときの輝度の変化分を算出することで求められる。この場合輝度の空間分布は平面を仮定しているので速度方向の２つの変化分は同一で、B 点の輝度データをフィットさせることに相当する。
また、横矢の提案した弛緩法 9)は、ステレオ画像の x 方向視差の検出の手法として提案されているが、２次元に拡張するとE=∬{IL(x+vx,y+vy)-IR(x,y)}2dxdy(4.28)

なる誤差式となる。実際には、vx,vy が実数であるため、他方の IL(x,y)を 4 近傍の輝度値
で３次スプライン曲面で補完して、その曲面の中心(図 4-17(b)の C 点)から(vx,vy)だけ離れた場所と右画像 IR の原点の輝度データを 1 点だけフィットさせることより移動量を求めていることになる。
平面 傾き Ix
傾きスプライン近似曲面
C

A

Iy

B

(a)勾配法 7)(b) 横矢 9)の手法

図 4-17 時間空間マッチングの観点からみた勾配法と横矢の手法
しかし、このままでは、両者とも条件式 1 つに未知数 v x , v y の二つで速度を決定できな
い。また 2 枚の画像しか利用しないのでノイズなどには特に敏感で、精度良く速度場を求めることができない。従って、式(4.24)の速度場の連続性という拘束条件を加えて速度場を求めている。こうした観点からみると(4)までに述べた時間空間マッチング法は、輝度の空間分布面として二次曲面を利用し、前後のフレームの複数個輝度をマッチングさせていることを除けば、勾配法や弛緩法と同様の手法ということになる。ただし、勾

112

第４章

相関法・マッチング法による速度計測

配法 7)や横矢の手法 9)は、2 枚の連続画像のみを利用するため、任意の点での速度変化の時間分解能が高く、3～11 枚の画像を利用する時間空間マッチング法は、精度を上げるために時間分解能を犠牲にしていることになる。
いずれの手法でも、式(4.20)や 式(4.27)、式 (4.28)のような速度に関する条件式と式(4.24)の速度場の連続性を結合する際用いた、重み係数 c をいくらにするかは、大きな問題である。種々の観点から研究は進められているが 10-12)、決定的なものは知られていない。一般的にいって、c が大きければ、滑らかな速度場はえられるが、繰り返し計
算の収束速度は遅い。また、現実の画像で速度場が不連続な場所があれば、その部分での正確な速度場は得ることができない。その逆の場合は、収束速度は速く、不連続な部
分速度場の誤差も小さくなるが、速度場全体の精度は悪くなる。経験的には、計測しようとする速度場の連続性が保障されれば c の値はあまり問題とはならず、ある程度大きければ、まずまずの速度場が得られる。具体的には 4.4 節で示す。いずれの場合も、計測という立場からいえば、速度場の連続性を導入して求めた速度場は、正しい速度場かという疑問は残る。
ここで述べた速度場の解析手法は、繰り返し計算となるため、前節で述べた階層画像を利用する方法は、ここでも非常に有効である。
(6)

時空間マッチング法を用いたシミュレーション実験

ここで提案した速度推定のアルゴリズムを検討するた
めに、計算機内で作成したシミュレーション動画像による
速度場の推定実験を行なった。
まず、図 4-18 に示す画像を左上隅を中心に回転する動画像を作成し、速度場の解析を行なった。画像のフレーム数は最大 11 枚でサイズは 128×128 画素で、各画素の濃淡
値は８ビットの値を持っている。式(4.15)により求められた速度場を図 4-19(a)に示す。制御パラメータの値は

図 4-18 シミュレーション画像(b)距離と速さの関係(a)速度場
図 4-19 計測された速度場

第４章

(a)

勾配法によるオプティカルフローの推定

(b)

113

(c)

図 4-20 移動ステレオ法のシミュレーション
c=2000 とした。各画素点から伸びた線が速度ベクトルの大きさと方向を示している。左上
隅を中心とした反時計周りの速度場がよく求められている。
図 4-19(b)は、
図 4-19(a)の速度場をより詳しく検討するため左上隅から各画素までの距
離を横軸に、その画素でのベクトルの絶対値を縦軸にして示している。回転中心からの距離に比例して速度がほぼ直線的に増加している様子が明瞭に示されている。速度のバラツ
キは、式(4.26)の繰り返し回数を増やすほど小さくなる。
次に、射影幾何学の原理に基づき作成した移動ステレオ法のシミュレーション画像を用いて、奥行き復元のシミュレーション実験を行なった。生成した場面は、カメラの光軸に垂直な平面の手前に、左上隅が最も遠く、右下隅が最も近くなるよう配置された模様のある長方形を光軸と直角に水平にカメラを移動した時のものである。この場合は画像のフレーム数最大 11 枚、サイズ 160×128 画素で濃淡値は８ビットである。11 枚の画像の最初と最後のフレームを図 4-20(a),(b)に示す。この場合、制御パラメータの値は c=200 とした。
また、速度ベクトルは水平方向成分しか持たないことが明らかであるため、式(4.26)の垂直方向成分 vy は常に０として繰り返し計算を行なった。求められた水平方向の速度に比例して、水平方向への画素点の移動量を与え、その画素の濃淡値をプロットして擬似的な立体表示を行なった結果を図 4-20(c)に示す。シミュレートした三次元の空間形状がよく復元されているのがわかる。
連続した画像列を利用し、任意の画素点での空間的な輝度分布に、その画素の輝度時系
列をフィットさせる時間空間マッチングの手法を解説した。この手法は、4.3 節で紹介した時系列相関法と、速度推定法として代表的なマッチング法で利用される濃淡値の空間相関法の両方の特徴を併せ持った、両者の中間的な位置に属する手法といえる。また、速度場（あるいは変位場）が画素間距離以内という制約からいえば、グラディエント法のように微小差ステレオ法であり、マッチング法など大きな変位を必要とする場合に問題となる物体の境界でのオクルージョンの範囲が境界の付近の数画素と軽減できる利点を持つものである。
実際の応用では、二次元の任意方向の速度場を持つ場合と、移動ステレオ法などのよう

114

第４章

相関法・マッチング法による速度計測に速度が水平方向へ限定されている場合(常に vy =0 とする)でそれぞれの速度場の決定方法を示し、その有効性を確かめた。計算式が漸化式で与えられるため、計算時間を縮小するため階層性の導入や、マッチングと速度場の連続性制約項との間の、制御パラメータの決定法などの大きな問題点も残されている。しかし、この手法は、カメラを搭載した自立機械が前後左右あるいは斜めに移動する場合にも応用が可能であり、こうした技術も実験を通して確立して行きたいと考えている。また、最近では、全く新しい発想でのステレオ対応問題を解こうとする流れもあり 13,14)、特に高速アルゴリズムの開発に関しては進展が著しい。こうした展開にも注目していく必要がある。

第４章

勾配法によるオプティカルフローの推定

Coffee Break Ⅳ：大学の先生（大学紛争から大学改革へ）
大学教授と言えば、私たち団塊の世代には憧れの職業でした。湯川秀樹博士（当時、京都大学教授）が、1949 年に日本人として最初のノーベル賞を受賞され、戦後混乱期にあった日本人、とりわけ当時の子供たちに、大きな感動と希望を与えています。昨年度、日本人 25 人目のノーベル賞を受賞された大隅良典博士も、その影響を受けた一人だったに違いありません。実は大隅博士は、
九州（福岡県）で最初にノーベル賞を受賞された方であり、筆者自身の高等学校の先輩でもあり、他人事では無い喜びを感じたものです。2016 年は記憶に残る年となりました。戦後 70 年が過ぎて初めて、日米の両首脳が広島と真珠湾を相継いで訪問し、戦後のわだかまりが大きく一歩解消に向かい、日米同盟が新たな段階に入った年としても 2016 年は記録されることと考えます。その一方で、2017 年新たにスタートした新大統領は、行く先不透明の世界を予感させています。
40 年以上「大学の先生」を生業としている筆者も、「いずれは・・・」と野望を持って研究に取り組んだ時期が有ったのを思い出します。当時は珍しかった博士課程への進学も、周りからは“まだ大学に残るの！”と言われながらも、育英会の奨学金のお陰で何とか生計を立て、多感な青春時代に色んな体験をさせて頂きました。

115

116

第４章

相関法・マッチング法による速度計測【参考文献】
1)奥富正敏、金出武雄：複数の基線長を利用したステレオマッチング、信学論、J75-D-Ⅱ、No.8, pp.1317-1327 (1992).
2)古賀和利、三池秀敏：動画像からのオプティカルフローの検出、信学論 D, J72-D,
No8,4,pp. 1508-1515(1987).
3) 中田道孝、永尾豊明：二元二次連立方程式の研究について、高知大学学術研究報告、
47,pp.93-127(1998), 及び http://math.akamon-kai.co.jp/yomimono/kai/kai.html （数学のサイト-赤門会-）を参照.
4)古賀和利,三池秀敏：動画像の時空間相関に基づくオプティカルフローの検出、信学論
D, J72-D, 4, pp.1-10(1989).
5)古賀和利,中野卓也、田中良幸：時間空間マッチングを用いた速度計測、第 26 回画像コ
ンファレンス論文集、pp.83-86(1995,10).
6)例えば、柳田英二，中木達幸，三村昌泰：理工系の数理 数値計算、裳華房（2014）
7)B.K.Horn,

B.G.Schunck ： Determining

Optic

Flow,

ArtifitialIntell.,17,

pp.185-208(1981).
8)浅田稔：ダイナミックシーンの理解、電子情報通信学会、pp.19-20 (1994).
9)横矢直和:多重スケールでの正則化によるステレオ画像からの不連続を保存した曲面再構成、信学論 J76-D-Ⅱ,8, pp.1667-1675(1993).
10)S.T.Banard, W.B.Thompson ： Disparity Analysis of Image, IEEE Trans., PAMI-2,
pp.333-340 (1980).
11）N.Nasrabadi,C.Choo：Hopfield Network for Stereo Vision Correspondence, IEEE
Trans. Neural Networks, 3, 2, pp.332-342 (1992).
12）三池秀敏,古賀和利,橋本基,百田正広,野村厚志：パソコンによる動 画像処理、第２章、森北出版(1993)．
13） A. Nomura, M. Ichikawa, and H. Miike, Reaction-diffusion algorithm for stereo
disparity detection：Machine Vision and Applications, 20 (2009), pp.175-187.
14） Atsushi Nomura, Koichi Okada, Hidetoshi Miike, Yoshiki Mizukami, Makoto Ichikawa,
Tatsunari Sakurai : Stereo Algorithm with Anisotropic Reaction Diffusion Systems,
Chapter 4, pp.61~92, Current Advancements in Stereo Vision, (2012).

第５章

第

５

章

生体情報計測への応用

119

生体情報計測への応用

身体各部での、見かけの動きを動画像として計測・解析することで、バイタル信号である脈拍数、呼吸数などを計測することが可能となる。ここでは、生体計測の背景を概説し、前章までに紹介して来た動画像計測・解析法
による生体情報計測手法の基本と、その応用について述べる。

５．１

はじめに

(1) 生体計測の背景
これまでに数多くの生体情報を計測するためのモニタが考案・製品化されてきた．また，電子機器の発展によりモニタの計測精度や安定性，利便性などが向上してきた．生体情報
モニタの分類は種々考えられるが，患者用モニタ，生体内計測機器，無侵襲計測機器および無拘束計測機器などに大別される 1)．患者用モニタでも手術室用，集中治療室(ICU)用や冠動脈疾患集中治療室(CCU)用，および一般病室用など，使用目的や使用場所に応じた専用のモニタが開発されている 2)．
生体情報を計測するためには，生体の内圧や温度，生体表面の電位など何らかの物理量を計測する必要がある 3,4)．これらの物理量を計測するためには，センサやトランスデュー
サを身体に取り付けなければならない．センサやトランスデューサからは，時間的に変化する生体情報が 1 次元データとして得られる． これらに対して，2,3 次元の画像として X
線や放射線，磁気など生体透過性の波を利用して生体情報を取得する機器も次々と実用化されている 5-7)．MEG(Magnetoencephalogram, 脳磁図)，MRI(Magnetic resonance imaging, 磁気共鳴画像)，X 線 CT(Computed tomography by x-ray, X 線断層写真)，PET(Positron emission
tomography, 陽電子放射断層写真)などを用いた総合的画像診断法によるアルツハイマー病，
パーキンソン病，脳疾患の早期診断・病態変化，老化による脳機能変化の解明など，脳機能の解明を目指した研究 8)を始め生体各部を対象とした研究 9,10)も行われている．しかし，
X 線や放射線は被曝の問題があることや，これらの装置が大がかりであることなど，実用上の問題点も多く残されている．
一方，非侵襲的に生体の情報を取得する方法として，超音波や光が用いられている．超音波では体表から非侵襲的に体内の情報が可視化できる医用超音波診断装置が臨床で広く用いられている．これらの装置では，細いビーム状のパルス超音波を形成して方向同定しながら，全計測空間を順次走査する手法を用いている．超音波の伝播速度の制限から，全計測対象からの情報を取得するための時間が必要となる．例えば計測対象を 2 次元断層面内に限定しても，計測は毎秒 30 フレーム程度である．そのため高速に運動している心臓や心臓房室弁などの空間的な動きを正確に把握することは不可能であった．近年，2 次元超

119

120

第５章

生体情報計測への応用

音波アレイを用いて全計測対象空間に伝播する非ビーム状の超音波を送波し，対象空間からの反射波を受波することにより像再生する手法が開発され，高速に 3 次元画像情報を計測できるようになった 11-14)．
光学的な手法として，反射光法やホログラフィ，スペックルなどを用いて体表面の動き
から生体情報を取得する手法が開発されている 15,16)．最も簡便な手法として，生体表面の反射光強度の変化を測定する手法がある 17)．この手法では，生体表面の反射状態によって検出感度が大きく影響を受ける．また，ホログラフィやスペックル計測法により，身体からの反射光の干渉状態変化を測定する手法も開発されている 18,19)．そこでは体表面の変位を 2 次元的に計測可能で，光の波長精度の分解能を有する．しかし，リアルタイム計測には不向きで，測定には干渉系の調整に熟練を要する．連続的に体表面の位置を計測する手法としては，レーザー光を三角測量法に応用した手法がある 15,20)．レーザー光の取り扱いには注意が必要で，さらに身体全面を連続計測するのは困難である．

(2)動画像計測処理による生体情報計測
これまでに開発されてきた生体情報モニタは「病気を診断する」ために開発されてきた．
特に胸部 X 線像や同 CT 像，そして MR 像などの静止画像から病巣部の特定や，複数枚のスライス画像からの 3 次元像の再構築などの分野での画像処理は，すでに実用レベルとして計算機支援診断(Computer Aided Diagnosis, CAD)が行われている 21)．
高齢社会においては「健康に年をとる」または「病気にかからない」など，健康寿命を延伸するための生体情報モニタが必要であるとの考え方がある 22)．日常生活の中で疾病の予防や早期発見，作業や運動の安全性を高めるためには，毎日の生体情報を自己管理する必要がある．健康状態の自己管理を目的としてこれまでに開発されたモニタを長期間使用する場合，日常生活の行動を制限したり，センサやトランスデューサまたはワイヤなどが被験者に不快感を与える．理想的には，身体にセンサやトランスデューサなどを一切取り付けず，いつものように椅子に腰を掛けたり，家事を行ったり，ベッドに入るなどの日常生活を行う中で，本人の気づかないうちに種々の生体情報が自動的に計測されることが望
ましい．つまり非侵襲・無拘束，できれば本人が計測されていることを意識しないようなシステムが要求される．
これを病院や専門の施設だけでなく家庭内でも簡便に実現するための計測機器として各種の計測方法が開発されてきているが，ドアの開閉や電化製品の使用状態，また人から放出される赤外線を部屋に設置したセンサで検出し行動を把握する方法などが試みられている 23)．さらに画像を利用したセンサとしては CCD カメラやサーモカメラが考えられる．
これらでは，対象を撮影するだけで生体からの情報を連続的に画像として取得することが可能となる．

第５章

５．２

生体情報計測への応用

121

動画像計測・解析法による生体計測（１）手首表面からの心拍数検出
首，手首や足首部では総頚動脈，橈骨動脈や後脛骨動脈が体表から触知可能として知られており，触診により心拍の確認が行える．また，これらの部位では動脈の振動による微少な皮膚表面の動きを目視確認できる．そこで，手首部における橈骨動脈の振動による皮膚表面の動きを検出し，そして動画像計測処理法により解析することを試みた 24)．
次節 6.3(3)でも述べるように，拡散反射は光が入射角に関係なく，いずれの方向にもほぼ同じ強さで反射する．これは，紙等のように表面がざらざらしたものにみられる．鏡面反射は，入射と反射角が等しい方向に光が反射される．具体的には，拡散反射法では主に皮膚表面の上下運動に伴うパターンの並進運動が反映され，鏡面反射法では主に皮膚表面の傾き変化が反映される 25, 26)．このため，鏡面反射法を用いることで，皮膚表面の微妙な動きを拡散反射法より高感度に検出できる．図 5.1 に拡散反射と鏡面反射の概念図を示す．
鏡面反射像を得るためには，スキンケア用のゲル(オロナイン®H 軟膏, 大塚製薬)を皮膚
表面に薄く塗布した．拡散反射法の光源には天井の蛍光灯，鏡面反射法のそれには机上型
蛍光灯スタンドを各々用いた．ビデオカメラによる計測とオプティカルフローの検出および解析を行った．ズームレンズで皮膚表面の動いている部位が 100 pixels 以上の面積を持つように調節し，測定周波数 30Hz で動きを取り込んだ．画像取り込みと同時にテレメー
タ心電計(Dyna Scope DS-3100, フクダ電子)で CM5 誘導による心電図を測定した．
皮膚表面の動きを解析するために，3 章 3.2 節の局所的（時間・空間）最適化手法を用い，各速度ベクトルを局所領域 3×3pixels で 3frames の画像から算出した．すなわち，ある点
P(x,y,t)のオプティカルフローの検出において P 点を囲むδx･δy･δt=3×3pixels×3frames の領
域で v=constant と仮定し，27 個の連立方程式を立てる．この連立方程式から v=(u,v)を決定した．また，差分法に基づき，比較的計算量の少ない輝度変化評価関数 D(t)を以下の式で定義した．

D(t ) = ∑∑ { f ( x, y, t ) − f ( x, y, t − δt )}2
x

(6.1)

y

ここで f(x,y,t)は点(x,y)の時刻 t における輝度(濃淡値)を表す画像関数である．この評価関数
D(t)は画像間における変化の有無を評価する場合，感度が高く有効であるが，運動の速度や加速度などの定量的情報の検出は原理的に不可能である．ここではδt =1 とした．この手法は計算量が少ないので，画像処理専用のハードウェアを用いずともリアルタイム処理が可能である．得られたオプティカルフローは，対象の 2 次元的な見かけの速度ベクトル場を表す．オプティカルフローの時間変化から皮膚の動きを表現するパラメータを得るために，以下の 2 種の評価関数を定義した．

121

122

第５章

生体情報計測への応用

拡散反射モード
拡散照明

皮膚動き
オプティカルフロー

皮膚表面

鏡面反射モード
非均一照明（27W，白色蛍光灯）

皮膚動き
オプティカルフロー

皮膚表面

図 5.1 皮膚動きによる鏡面反射と拡散反射 24)を改変．

1)速度の絶対値の空間平均（関心領域(region of interesting)の面積 Sroi）< v >=

1
u2 + v 2
∫
Sroi
Sroi

(6.2)

2)局所的な速度場の発散

LAD ≡ ∫ divvdS = ∫ v • ndC
Sroi

（6.3）

Croi

ここで Croi は Sroi を取り囲む閉曲線である．関心領域 Sroi は w×w pixels の矩形（正方形）とした．
1)の定義および意味については明らかである．2)の評価関数導入の必要理由に関連し，以下に簡単な議論を行う．橈骨動脈部の皮膚表面動きは心拍動により皮膚表面の一部が湧き出すように見える．そこで脈波によるオプティカルフローの湧き出しや吸い込みが見られる部分，つまり，速度ベクトルの空間的変化が大きな領域を関心領域 Sroi とし， Sroi における速度場の発散を(LAD; Local Area Divergence)と定義した．また，関心領域のサイズは次のように決定した．まず速度場の重心を算出し，ある大きな速度ベクトルを持つオプティカルフローの 1frame を選択する．関心領域の重心を中心とする正方形を 3×3pixels から
23×23pixels で 2×2pixels ごとに変化させる．これらの正方形でそれぞれ LAD を算出し，最も大きな LAD を最適なサイズとした．そして，最適サイズの関心領域で重心の LAD と第５章

生体情報計測への応用

123

図 5.2 健康男性の左手首 24)．右上側が手の平で，左下が肘方向．透明な図は画像を取得した部位(64 × 64 pixels)を示す．右側には下から順に皮膚表面で検出したオプティカルフローを重ねて示す．

LAD (Local Area Divergence, δS =
図 5.3 動画像処理によって得られた心拍波計 24)．
17 × 17 pixels)，<v>，D(t)の波形は，拡散反射モードを利用して得られた画像から得られた．LAD 波形の点線は，ゼロレベルを示す．LAD と<v>は図 6.2 のベクトル場から，D(t)は生画像から計算された．心電図(ECG)は，画像と同時記録された．

123

124

第５章

生体情報計測への応用

その周囲 8 方向にそれぞれ 1pixel 毎にずらした LAD を含めた合計 9 ヶ所の平均を< LAD>とした．
33 歳男性の左手首の拡散反射像と皮膚表面動きのオプティカルフロー時間変化の合成
像を図 5.2 に示す．心拍による動脈の拡張・収縮運動は周辺組織に機械的な変形を起こさせる．そして，機械的な変形は皮膚表面にまで達し，皮膚表面を変形させる脈波を反映した皮膚表面の動きが 2 次元的によくとらえられている．
図 5.3 に，オプティカルフローの時系列の解析から得られた<LAD>, <v>および D(t)波形(式(5.1)参照)と同時記録した心電図を示す．全ての波形とも心電図 R 波に約 0.2s 遅れた
鋭いピークを持ち，そのピーク間隔は心電図の R-R 間隔に一致した．心電図 R 波からの遅れは，脈波が心臓から手首部までに達する時間に相当する 36)と考えられる．<LAD>は，皮膚表面の拡張と収縮に一致する正負のピークを示した．関心領域 Sroi を 13×13pixels から
21×21pixels まで変化させても<LAD>からは安定した脈波形が得られた．この被験者では，最大の<LAD>は Sroi=17×17pixels であった．<LAD>波形では，皮膚表面の上下運動を定性的に表すことができた．一方，<v>はベクトルのノルムなので常に正値を示し，方向成分の情報は持っていない．D(t)は多くのノイズ成分を含んだ波形となった．
(2) ベッドでの生体情報計測
ベッドは健常人で 1 日の 1/3 程度，患者ではもっと長時間を過ごす場所であり，基本的に誰が利用するかが決まっている．そのため，無拘束な状態で生体情報を取得するには適した場所と考えられる．ベッドやマット，枕などにセンサを装着する各種の方法が提案されている 27-29)．さらに，枕型呼吸モニタを用いた睡眠時無呼吸症候群の臨床評価も行われている 30)．CCD ビデオカメラをセンサとする方法では，ベッド上での呼吸，体動などをモ
ニタリングするので，完全な無拘束・非接触計測が実現できる 31-36)．これらは視覚情報を利用するので，この手法を石原らはビジュアルセンシングと呼んでいる 34)．現在，動画像から生体情報を取得する手法として大別すると，差画像法とオプティカルフロー法の 2 つの手法が用いられている．また、3 次元的な動き解析は、レーザーグレーティング法により多数の光点を同時に評価することで呼吸による見かけの体積変化のモデリングも試みられている 37)．
(i)心筋梗塞患者のベッド上での動き頻度評価
心筋梗塞患者の心臓はダメージを受けているため，軽微な身体活動も心臓に負担を与える．心筋梗塞患者に対しては発症直後には絶対安静を必要とするが，現在では比較的早期からリハビリテーションを行う傾向にある．例えば急性心筋梗塞発症後の患者に対して第3 日目より心電図を評価しながらトレッドミル検査を行った報告もある 38)．しかし，体動強度を定量的に評価している報告は無く，現在は医師や看護婦の主観によって判断されている．そこで，リアルタイムに差画像から式(6.1)を計算し，ある閾値を越えた場合に体動と判断し，1 分毎に体動数をカウントするシステムを試作した．図 5.4 にシステムの外観

第５章

生体情報計測への応用

125

を示す。
ここでは冠動脈疾患集中治療室(CCU)に入院中の急性心筋梗塞患者(39 歳，男性)の解析
結果を図 6.5 に示す．これは心筋梗塞発症翌日から 3 日間の午後 8 時から午後 11 時までの連続した体動頻度である．計測中には，医師や看護婦などの介護者が関心画像領域内に入ることで大きな輝度変化が起こり，これが式(6.1)の雑音となった．これらは同時記録した
ビデオテープを確認することにより，介護者によるものと患者の体動に分離した．1 日目
は全部で 36 回のカウントであったが，患者の体動は 9 回であった．翌日は全部で 87 回中，患者の体動は 28 回であり，3 日目は 83 回中，患者の体動は 39 回であった．1 日目に比べて 2 日目と 3 日目には体動頻度が増加した．アーチファクトは防げないが，これまで定量評価できなかった患者の体動頻度を無拘束・無意識下で行える可能性があると考えられる．

図 5.4 体動頻度評価装置

図 5.5 連続 3 日間の体動頻度評価の例

125

126

第５章

生体情報計測への応用(ii) オプティカルフロー法による呼吸数・体動頻度評価
ベッド上の被検者の呼吸による身体の動きや寝具の動きから体動数や呼吸数を計測する手法も開発されている．図 5.6 に寝具を介した呼吸によるオプティカルフロー検出の例を示す．吸気時には上向きのベクトルが，呼気時には下向きのベクトルが多く検出されている．このベクトル場から，周期的なリズムを持つ呼吸波形と大きなピークを持つ体動時の波形を得ることができる．オプティカルフロー法では多くの計算を要するが，パソコン用の並列画像処理プロセッサ（最大処理性能 10GOPS, Giga Operation Per Second）を使用すれば，オプティカルフローをリアルタイムに検出・解析できる 35, 36)．図 5.7 にリアルタイム
システムの計測時の画面例を示す 39)．また，このリアルタイムシステムを用いた山口県の老人保健施設でのフィールドテストでも，予め診断されていなかった睡眠時の異常な呼吸状態を発見するに至っている 35, 36)

図 5.6 オプティカルフローの検出例 39)

図 5.7 リアルタイムオプティカルフロー検出による呼吸・体動評価モニタの画面 39)

第５章

５．３

生体情報計測への応用

127

入浴中の水面ゆらぎ評価による心拍数・呼吸数検出

ここでは，２章 2.1 節で述べた空間フィルタ法による速度計測法の応用として，水面ゆ
らぎによる入浴中の心拍数と呼吸数の検出に関して紹介する．
入浴は身体を清潔にするだけでなく精神的なリラックス効果も期待される習慣である．
日本人ではシャワーよりも浴槽に身体を浸けることが好まれる．浴槽と洗い場，また，脱衣所などとの気温差，さらに起立時の血圧変化などが主たる原因と考えられる事故が少な
くない．これを防止するために浴槽や浴室にセンサ類を取り付け，いつものように浴槽に身体を浸けるだけで，心拍数や呼吸数を計測する手法として水面のゆらぎ評価法が開発されてきた 40)．
身体を胸部までを水面下に浸けた状態で水面を観察すると，心拍や呼吸に同期するゆらぎを確認することができる．これは胸部や頚部の動脈による脈波および呼吸による胸部の体積変化が原因であると考えられる．しかし，水面でのゆらぎは微小であるため，フローターにより直接計測することは容易でないだろう．そこで，理論的には 0.1µm まで評価が可能である鏡面反射法 26)を用いる光学的な基本的な手法を開発した．計測中の被検者を図5.8 に示す．鏡面反射のための光源にはレーザーダイオード(LD, 波長 635nm, 出力 2mW)を，鏡面反射光の軌跡を撮影するために CCD ビデオカメラを用いた．LD からの光の一部
は，水面で反射し浴槽壁面に達する．浴槽壁面では，水面の凹凸に従って光点が動き回る．
この動きから心拍や呼吸に同期するゆらぎ成分を抽出する．具体的には，まず浴槽壁面の光点の動きを連続画像として PC に取り込む．次に，正弦波状の空間分布を与えたディジ
タル処理による空間フィルタ速度計測法で，心拍数と呼吸数を評価した．第 2 章では粒子の動きに関して空間フィルタを適用したが，ここでは LD の壁面光点の動きに適用することになる．
健常成人男性 10 名（年齢 21～24 歳）を対象として，一人 1 回の測定を行った．その結果，被検者が水面下で安静にしている場合，心拍数と呼吸数は安定して評価できた．図 5.9に結果の一例を示す．心拍数および呼吸数に一致するスペクトルピークが得られた．水面下でマッサージやストレッチ運動を行った場合，心拍数と呼吸数を評価できなかった．しかしこの場合には，水面が非定常にゆらぐことを示す結果が得られた．つまり，何らかの事故により水面下でもがくような動作を検出し，通報できる可能性が示唆される 40)．さらに本手法では，壁面の光点位置が水位そのものを反映するので，水面下に身体が浸かっているかどうか，また，どの程度の体積が浸かっているかを定量的に評価することも可能で
ある．

127

128

第５章

生体情報計測への応用

パワー

図 5.8 心拍や呼吸による水面揺らぎ評価 40)

5 10

4

4 10

4

3 10

4

2 10

4

1 10

4

0

HR
RR

0

0.5

1

1.5

2

2.5

3

周波数(Hz)
図 5.9

水面揺らぎから得られた周波数解析．呼吸数(RR)と心拍数(HR)に一致する周波数にピークを有する．

第５章

５．４

生体情報計測への応用

129

足形による男女識別や個人識別

動画像ではないが，これまでにないニーズによって開発された，画像計測に基づく個人識別法について述べる．一つの住居で複数人が生活する場合，前述のように風呂やベッドから得られた誰の生体情報かを識別したいというニーズがある．従来，個人識別や本人認証のためには，指紋，顔，虹彩，網膜，話者の声を利用したバイオメトリクス（身体的特徴）を用いた手法が開発されている 41, 42)．これらは，法律を執行するための補助証拠，社会福祉，銀行業務や各種のセキュリティなどを目的としている．バイオメトリクスを取得する場合には，対象者にある程度の協力を求める．顔をバイオメトリクスとする場合には，対象者の協力を求めなくても実現できるが，髪型や化粧の影響を受けやすい．バイオメト
リクスとして素足の足形を利用することにより，個人識別を実現できる可能性が 1996 年に示唆された 43)。セキュリティを目的としない研究としては，足圧や足音などを利用してマーケティング関連の分野で強いニーズがある入店客の男女識別の自動化の試みがある 44,45)．
これに対して家庭内，特に浴室入り口のマットにセンサを設置することで足形をバイオメ
トリクスとして利用できる可能性がある 46,47)．
足形による個人識別の基礎的な研究として，圧力センサシートを利用した例を述べる．
図 5.10 に示すように，取得した足形は両足重心間の距離，両足の成す角，圧力分布などが個人間で異なる．また，個人内でも圧力センサシートのどの位置に乗るかが，計測ごとに異なる．そこで，安定した自動識別のために計測された足形画像に対して，図 5.11 に示すように左右足の位置と方向の正規化を行った．10 人の被験者から 110 枚の足形を取得し自動識別実験を行った結果，識別率は正規化なしで 30.45%，正規化した場合では 86.55%となった．セキュリティを目的とした場合には，十分な識別率とは言い難いが，生体情報取得時の個人識別としては利用できる手法ではないかと考えられる．なお，本手法は足形に注目した世界初の個人認証であると紹介された 48)．

５．５

おわりに

(1)まとめ
本章では「病気を診断する」ためのモニタでなく，動画像情報を利用した新しい計測シ
ステムや，日常生活内で計測されていることを意識しないうちに生体情報が取得されるシステムについて述べた．そして，体表面から得られる生体情報，ベッドでの生体情報計測，
そして入浴中の心拍や呼吸情報などを紹介した．これら以外にも，生体を対象とした動画
像計測としては，モーションキャプチャーや動作解析が行われているが，完全な自動化は困難であり，当該分野のますますの発展が期待される．
(2)動画像による生体情報計測の今後の可能性
ここで紹介したような検査される側を意識させない状態での生体計測や行動計測が発達するほかにも，広く動画像計測・処理技術を利用した生体情報の利用が普及するだろう．

129

130

第５章

生体情報計測への応用

これ以外にも臨床では，手術時の応用が期待される．手術を行う場合に，患者の負担を軽減するために身体を大きく切らない内視鏡下手術が普及してきている．内視鏡下手術は皮膚に開けた小さな穴から小型カメラや器具を入れて行うが，手術野で医師の意志通りに器具を操作する場合に制約を伴うことが少なくない．そこで小型ロボット工学技術を導入した master-slave manipulator 方式の内視鏡下手術機器が開発され，国内でもこの機器の運用が開始された 49)．内視鏡下の手術ではいくつかの問題点を持っているが，その一つは直視下でなくモニタの映像を見ながら手術を行わなければならないことである．これらを解決するためには，視野を広角にすることおよび高画質な 3 次元画像が医師に提供されることが必要であろう．さらに，リアルタイムに 3 次元形状を計測し，そして機器に情報をフィードバックすることにより，目的以外の臓器や血管などを傷つけないような安全機構が必要となると考えられる．今後，ほとんどの外科手術が master-slave manipulator を用い
る内視鏡下手術が行われる可能性もあるので，リアルタイムに高精度な 3 次元形状の計測，
高精細な 3 次元画像の提示技術の発展が求められる．

図 5.10 取得した足型画像（現画像）47)

第５章

生体情報計測への応用

131

図 5.11 正規化手順

131

132

第５章

生体情報計測への応用

Coffee Break Ⅴ：大学の先生（大学紛争から大学改革へ）
当時は珍しかった博士課程への進学も、周りからは“まだ大学に残るの！？”と言われながらも、育英会の奨学金のお陰で何とか生計を立て、多感な青春時
代に色んな体験をさせて頂きました。世界遺産となった、屋久島の宮之浦岳（1936m）への研究室仲間との登山は、その中でも最もインパクトある経験でした。20Kg 以上の荷物を担いで、海抜０メートルの海岸端から出発し、山中２泊して、３日目に小杉谷の山小屋にたどり着き、そこから宮之浦岳の山頂を目指しました。
一日・二日目と屋久島特有の豪雨にたたられ、ようやく小杉谷の山小屋（約1200m）に着いた我々は、ほっとすると同時に三日目からの登山計画の見直しを強いられました。最初の縦走計画にこだわるメンバーの一人（Ｋ君）と、縦走計画を変更し目標を宮之浦岳だけに絞るというリーダー（Ｈ君）の主張は、平行線をたどります。結局はリーダーの安全策に落ち着くのですが、若かった
私自身は強行策に賛成した記憶があります。
「心の中」では安全策を願いながらも。このときのメンバー６名のうち４人が、その後、大学の先生を生業としますが、強硬策を主張したＫ君は研究面で世界的な業績を次々と積み上げて行きます。偶然にも、その山小屋には 2016 年７月に永眠された永六輔氏が宿泊されていました。４０年以上の歳月が流れていますが、山小屋の主人と穏やかに談笑されていた永六輔氏の横顔は、昨日の事のように鮮明に思い起こされます。

第５章

生体情報計測への応用

133

参考文献
1) 戸川: 理工学者のための生体計測入門, 沖野, 島村編, コロナ社 (1981).
2) 小野: モニタシステム・最近の傾向, 臨床 ME 機器なんでも 110 番, 日本プランニングセンター (1990).
3) T. Togawa, T. Tamura, P. Å. Öberg: Biomedical Transducers and Instruments, CRC
Press, FL (1997).
4) 山越，戸川: 生体用センサと計測装置, コロナ社 (2002).
5) 高木: 下田 監修, 画像解析ハンドブック, 東京大学出版会 (1991).
6) 英保: システム制御情報ライブラリー5 医用画像処理, システム制御情報学会編, 朝
倉書店 (1992).
7) K.M. Mudy: Chapter VII Imaging, In The Biomedical Engineering Handbook, Ed.
J.D. Bronzino: CRC Press, FL, IEEE Press（1995）, pp. 949-1179.
8) 特集 脳機能の比侵襲的計測, BME, 8 (1994), pp.2-54.
9) 竹中, 平松: 最新 MRI 診断, メジカルビュー (1990).
10) 小塚: MRI の臨床, 中山書店 (1993).
11) 眞渓，藤本，南部，近藤，大城，千原，浅生：超音波マイクロリングアレイプローブを用いた 3 次元可視化，電気学会論文誌 E，117-E (1997), pp.359-363.
12) M. Nambu, M. Doi, A. Matani, O. Oshiro, K. Chihara: A high-speed image
acquisition using ultrasonic ring array probe, Computers in cardiology: pp. 355-358(1999).
13) 南部，大城，土居，千原：凸形表面送波子を用いたリングアレイプローブ，電気学会
論文誌 E，l121-E (2001), pp. 107-112.
14) 特集 超音波の非線形現象とその医療への応用, BME, 13(1999), pp. 1-62.
15) 清水: 光による体表面変位計測, BME, 4 (1990), pp.33-43.
16) 清水: 光による生体情報テレメトリ技術, BME, 9 (1995), 35-50.
17) 中村, 田中, 谷島, 古川: 光トランスデューサを用いた胸壁面振動検出システムの開発,
医用電子と生体工学, 20 (1982), pp. 73-77.
18) B. Hök and H. Bjelkhagen: Imaging of chest motion due to heart action by means ofholographic interferometry, Med. Biol. Eng. Comp., 16 (1978), pp. 363-368.
19) G. Ramachandran and M. Singh: Three-dimensional reconstruction of cardiac
displacement patterns on the chest wall during the P, QRS and T-segments of the
ECG by laser speckle interferometry, Med. Biol. Eng. Comp., 27 (1989), pp.
525-530.
20) K. Shimizu: K. Kobayashi, G. Matsumoto, Respiratory and cardiac monitoring of

133

134

第５章

生体情報計測への応用

neonate by non-contact optical technique, Biotelemetry, 10 (1989), pp. 626-632.
21) 鳥脇: X 線像のコンピュータ支援診断－研究動向と課題，
電子情報通信学会論文誌 D-II,
J38-D-II (2000), pp.3-26.
22) 特集 ホームケアテクノロジー ―健康長寿社会をめざして―，日本機械学会誌，101(1998), pp. 3-39.
23) 特集号 e-house, ehealthcare, ライフサポート，13 (2001), pp. 1-39.
24) K. Nakajima, T. Maekawa and H. Miike: Detection of Apparent Skin Motion Using Optical
Flow Analysis: Blood Pulsation Signal Obtained from Optical Flow Sequence, Review of
Scientific Instruments, 68 (1997), pp. 1-6.
25) R. Vas, C. Joyner, D. Pittman and T. Guy: The displacement cardiograph, IEEE Trans. Biomed.
Eng., BME-23 (1976), pp. 49-54.
26) H. Miike, K. Koga, T. Yamada, T. Kawamura, M. Kitou and N. Takikawa: Measuring surface
shape from specular reflection image sequence -Quantitative evaluation of surface defects ofplastic moldings-, Jap. J. Appl. Phys. 34 (1995), pp.L1625-L1628.
27) 渡辺，渡辺: 睡眠中の心拍，呼吸，イビキ，体動および咳の無侵襲計測，計測自動制御
学会論文集，35 (1999), pp. 1012-1019.
28) 田中: 歪ゲージを用いた呼吸及び心拍の無拘束無侵襲自動計測，計測自動制御学会論文集，36 (2000), pp. 227-233.
29) 原田，坂田，飯田，森，佐藤: 圧力センサ枕による睡眠時呼吸・体動計測システムの実
現，計測自動制御学会論文集，37 (2001), pp. 593-601.
30) 中島，山小，樋口，佐橋，神谷，塩見，田村: 枕型呼吸モニタを用いた睡眠時無呼吸症
候群評価の検討，ライフサポート,14 (2002), pp. 14-19.
31) K. Nakajima, A. Osa and H. Miike: Evaluation of Body Motion by Optical Flow Analysis,
Japanese Journal of Applied Physics, 36 (1997), pp. 2929-2937.
32) K. Nakajima, A. Osa, S. Kasaoka, K. Nakashima, T. Maekawa, T. Tamura and H. Miike:
Detection of Physiological Parameters without Any Physical Constraints in Bed Using
Sequential Image Processing, Japanese Journal of Applied Physics, .35 (1996), pp. L269-L272.
33) 西田，森，溝口，佐藤: 視覚情報による睡眠時無呼吸症候群診断法，日本ロボット学会
誌，16 (1998), pp. 274-281.
34) 中井，渡邊，三宅，高田，山下，新盛，石原: 動画像処理による呼吸モニタリングシス
テム，電子情報通信学会論文誌 D-II，J83-D-II (2000), pp. 280-288.
35) 松本，中島，田村，田中，田中: 動画像処理を用いた非接触呼吸・体動モニタリング，システム制御情報学会論文誌，14 (2001), pp. 173-179.
36) K. Nakajima, Y. Matsumoto, T. Tamura: Development of real-time image sequence analysis forevaluating posture change and respiratory rate of the subject in bed, Physiological
Measurement, 22 (2001), pp. N21-N28.

第５章

生体情報計測への応用

13537) 青木，竹村，味村，中島: FG 視覚センサを用いた就寝者監視システムの開発 第 16 回
生体・生理工学シンポジウム論文集: pp. 187-190 (2001).
38) E. J. Topol, K. Burek, W. W. O'Neill, D. G. Kewman, N. H. Kander, M. J. Shea, M. A. Schork,
J. Kirscht, J. E. Juni and B. Pitt: A randomized controlled trial of hospitaldischarge threedays after myocardial infarction in the era of reperfusion, New Engl. J. Med. 318 (1988), pp.
1083-1088.
39) 中島，田村: 看護・介護モニタの現状と今後， BME, 14 (2000), pp. 30-35.
40) 中島，吉村，南部，田村: 生活の質(QOL)向上のための無拘束生体情報モニタの利用，
電子情報通信学会論文誌 A, J85-A (2002), pp. 1373-1379.
41) Special issue on automated biometrics, Proc. IEEE, 85 (1997), pp.1348-1491.
42) 瀬戸: バイオメトリクスを用いた本人認証技術, 計測と制御, 37 (1998), pp. 395-401.
43) R. B. Kennedy: Uniquneness of bare feet and its use as a possible means of identification,
Forensic Science International, 82 (1996), pp. 81-87.
44) 数藤, 大和, 伴野: モルフォロジー処理によるパターンスペクトルを特徴量に用いた男
女識別法, 信学論(D-II), J80-D-II (1997), pp. 1037-1045.
45) 数藤, 大和, 伴野, 石井: 入店客計数のためのシルエット・足音・足圧による男女識別法, 信学論(D-I), J83-D-I (2000), pp. 882-890.
46) K. Nakajima, Y. Mizukami, K. Tanaka, and T. Tamura: Footprint-Based Personal Recognition,
IEEE Transactions on Biomedical Engineering, 47 (2000), pp. 1534-1537.
47) 中島，水上，田中，田村: 足形を利用した個人識別，電気学会論文誌 D, 121-D (2001), pp.
770-776.
48) U. Andreas, P. Wild: Foorprint-based biometric verification, J. Elec. Imaging, 11 (2008), pp.
011016-1-011016-10.
49) 古川，小澤，北島: 胃食道逆流性疾患・食道アカラシアに対する腹腔鏡下手術，臨床外科，55 (2000), pp. 1213-1218.

謝辞研究協力者：
山口大学工学部卒業論文生：岡野和彦，花田幸紀，南茂雄，山田晴樹．
研究補助金：
本研究の一部は山口大学ベンチャービジネスラボラトリ，山口ウェルフェアテクノハウス研究会，中小企業創造基盤技術研究事業(10-12)，厚生科学研究費補助金長寿科学総合研究事業(H11-長寿-042)，長寿医療研究委託事業(11-公-05)の助成によってなされた。

135

136

第５章

生体情報計測への応用

第６章

第

６

章

新しい展開

137

新しい展開

ここでは、動画像の計測と処理に関わる関連分
野の広がりについて、最近の研究からいくつかの新しい試みを紹介する。すなわち、動画像の強調、
三次元立体形状計測、さらには認知科学や脳科学、そしてデザイン分野との接点を探る。

A Novel Range Finder

６．１

画素時系列フィルタリング（１）動画像の強調
動画像は、静止画像と違って時系列方向にも情報を持っている。カメラが固定されている場合、各画素（各座標）で観測した濃淡値の時間変化は音声と同じ一次元信号とみなせる。音声信号処理の技術は非常に成熟しており、音声認識やカクテルパーティ効果（雑踏の中で特定話者の声を聞き分ける）などのような困難なテーマへのアプローチが盛んに行なわれている 1)。ここでは、各画素で観測される濃淡情報の時間変化を一種のハイパスフィ
ルタを通すことで、１）動きの強調や、２）照明の時間・空間的不均一に左右されないオ
プティカルフロー推定が可能になることを示す 2)。処理手法自身は、それ程独創的とは言い難いが、結構実用的に使える手法と言える。
まず、与えられた動画像 f ( x, y , t ) に対し、次式のような局所時間平均濃淡値からの偏差を増幅する処理を実行し新たな（偏差）動画像 f de ( x, y , t ) を得る。
f de ( x, y , t ) = α [ f ( x, y , t ) − f av ( x, y , t )] + C ．

（a）
図６.１

（b）

（6.1）

（c）

動画像の強調処理例：(a)は元動画像、(b)は AGC 処理、(c)は偏差動画像

138

第６章

図６.２

新しい展開

元の動画像から、動きを強調する偏差動画像を計算するイメージ図。動画像の各フ
レームの各画素における濃淡値の時系列に注目し、局所的な時間平均値からの偏差を増幅して表示する。

ここに、 α は増幅率、 f av ( x, y , t ) は以下のように与えられる。
f av ( x, y, t ) =δT / 2
1∑ f ( x, y , t + j ) ，
δT + 1 j = − δT / 2（6.2）

ここで、 δT は現象の速さに合わせて適切に設定するパラメータ（局所平均時間）であり、観測したい現象に比べて濃淡値の時間変化が緩やかであることを想定している。この処理は、フーリエ変換を用いた一種のハイパスフィルタリング（高域濾過）処理と等価である
ことが証明できる 2)。
提案した処理を、自己組織的なパターン形成を伴う化学反応 Belousov-Zhabotinsky（BZ）
反応 3)に適応した例を図 6.1 に示している。また、処理アルゴリズムのイメージ図を図 6.2に示している。図 6.1(a)は元動画像 f ( x, y , t ) 、6.1(b)は画像一枚に通常の AGC（Automatic
Gain Control）処理を施したもの、そして 6.1(c)は提案した偏差動画像 f de ( x, y , t ) である。
元動画像や AGC 処理した画像では、照明の不均一や反応容器の形状に依存するパターン（化学反応波）の濃淡値の空間的不均一が存在するが、偏差動画像ではその影響がかなり軽減

第６章

新しい展開

139

されている。ここでは動画像を呈示できないので残念であるが、偏差動画像では反応に伴い出現する振動的な流体現象が明瞭に可視化される 2)。すなわち、単にパターンのコントラストを改善するのではなく、照明の空間的不均一の影響を抑えて動的な現象の本質部分をより明瞭に可視化できる手法である。注目し可視化したい現象の時間変化の速さに合わせて、適切な局所平均時間 δT を選択する必要がある。
（２）オプティカルフロー検出への応用
画素時系列のフィルタリング処理は、３章で詳述したオプティカルフローの検出においても威力を発揮する。特に照明の空間的変動があるような環境の中で物体が運動する場合に有効である。科学計測では、レーザ光のような特殊な照明装置を用いて流れの可視化が行なわれる。こうした場合、流れ場の均一な照明は至難の技である。その中での粒子の運動は必ず照明の不均一な空間中での運動となり、単純なマッチング処理や勾配法では非常に大きな過誤の速度ベクトルを推定してしまう。理論的には、３章で述べたような厳密なモデル化を行なうことで、不均一な照明の場 φ ( x, y ) 自身も推定できる可能性がある 4,5)。しかし、実際に必要なのは照明に左右されない流れのベクトル場である。以下、偏差動画像を用いて、モデルの簡単な局所時空間最適化処理（STLO 法：３章参照）による勾配法を適用した例を紹介する。
図 6.3 は、解析対象とした元の Yosemite sequence（図中 a1, a2）と、画素時系列フィル

図６.３

a1

a2

b1

b2

Yosemite sequence（a1, a2）と時系列フィルタリング処理画像（b1, b2）

140

第６章

新しい展開

(a)

(b)
図６.４

STLO 法（勾配法）を用いて解析した速度ベクトル場：(a)元画像から、(b)画素時
系列フィルタリング処理した動画像から得られたオプティカルフロー。

第６章

新しい展開

141

タリング処理を行った偏差動画像（Modified Yosemite sequence：図中 b1, b2）とを、比較して示している。元の動画像では、背景の雲の後ろに隠れている太陽の影響で上部左端の雲の明るさが大きく変化している。照明の時間空間的変化が顕著である。この条件下で、雲は一定速度（2 pixels/frame）で右方向に移動している（図 6.3a1, a2 参照）。一方、提案した偏差動画像では照明の変動がほぼ取り除かれ、雲の移動の情報のみが取り出された形となっている。この二つの動画像に対して、３章で紹介した STLO 法を用いてオプティカ
ルフロー（速度ベクトル場）を求めた。図 6.4(a)は、元の動画像から処理した結果、図 6.4(b)は前述のフィルタリング処理を行った動画像から処理した結果である。背景の雲部分の、解析結果の改良が顕著である。元画像からの処理では、照明の時間空間変化がある領域（左上の楕円で囲まれた背景部分）の速度場の発散（ div (V ) ）が大きくなっている。式（６．１）
による画素時系列フィルタリングの有用性が確認できる 2)。

６．２

三次元立体形状計測（レンジファインダ）（１）空間コード化法
三次元形状計測は、工業製品の品質検査、貴重な資料のデータベース化（デジタルア
ーカイブなど）、コンピュータグラフィックス（ＣＧ）モデリング、エンターテイメントで6-8)。測定対象は、主に拡散面である事がの利用など、多様な分野での用途が広がっている(b)
想定される場合が多い。拡散面の計上計測法は大別すると、能動法と受動法に分かれる。

受動法は単眼や多眼（両眼立体視を含む）のカメラを用いて、物体表面でのテクスチャー

図６.５

空間コード化法の原理図：コード化された二値明暗パターンを投影

142

第６章

新しい展開

の変形や影の落ち方、あるいは多眼カメラの視差情報を基に三次元形状を復元する。いわ
ゆるコンピュータビジョンの、shape from ～の問題設定となる 9-12)。この手法は、動きのある対象に対しても計測が可能であるが、一般に高精度の計測困難である。
一方、工業用の高精度な計測を前提とする場合は、能動法が多く用いられる。能動法として知られているのは、照度差ステレオ法、光レーダ法、等高線計測法（干渉法、モアレ法）、そしてパターン光投影法などである。普及しているパターン光投影法には、スリット
光投影法、傾斜光投影法、虹色回折光投影法、空間コード化法などが知られている 13-15)。
この中でも、コード化された二値の明暗パターン（バイナリ－パターン）を対象物体に投影する空間コード化法は、計測時間と精度ともに実用的な手法として知られる（図 6.5 参照）
16-17)。しかし、測定空間を有限個のスリットで離散化するため、原理的に空間量子化誤差を生じる。この誤差を低減するため、空間コードの Bi-linear 内挿法（文献）が提案されている。この方法は、空間量子化ビット数が画像解像度に対して低い場合に滑らかな計測結果が得られるという点で有効だが、元々の測定空間の分割度が少ないため得られる奥行分布の空間分解能も低い。逆に空間量子化ビット数が画像解像度とほぼ同程度に高い場合、画像上の隣接画素間で空間コード値が異なることが多くなるためにこの内挿法は適用できず、得られる奥行分布が滑らかでないという問題がある。
（２）位相シフト法
そこで塚本らは，基本的に 1 周期の正弦波で構成した空間パターンを移動させながら対象に投影し，画像上の各画素で算出する初期位相からパターン面の位置を求め，三角測量の原理によって対象の奥行を得る手法を提案した 18,19)．この方法は原理的には正弦波格子シ
投影パターンが空間的に滑らかな 1 周期で構成されているため、
フト法 20)と等価であるが、空間量子化誤差が原理的に生じず、また位相接続を必要とすることなく高信頼な奥行情報が得られる。更に投影パターン光の空間周波数を段階的に切替え、逐次位相計測精度を向上させる階層的方法を導入することで、空間コード化法と比較してより高精度の奥行分布が得られる 19)。図 6.6 は提案されているパターン光投影法の原理図を示している。投影するパターンは、横方向（x 軸方向）に関して輝度変化させた 1 周期の正弦波で構成する（図 6.6a参照。但し L [pixel]はプロジェクタの x 方向画素数）。このパターンを、T [frame]かけて一定
速度で左方向へ 1 周期だけ移動させつつ、画像を取得する（図 6.6b 参照）。このとき、画像上の任意の画素(x,y)において、次式によって位相が算出できる 18,19)。
 2πt ∑ I (x, y , t )cos T .
φ (x, y ) = tan −1 Tt =−01
 2πt ∑ I (x, y , t )sin

t =0
 T 
T −1

（6.3）

ここで、φ(x,y)は投影パターンの初期位相を表しており，時刻 t=0 における投影パターンの空間的位相と一致する。これより、次式によってパターン面の位置が求まる。

x′( x, y ) =φ (x, y )L
2π

.

第６章

(a)

新しい展開

143

(b)

図６.６パターン光投影法の原理(a)時間的に移動する正弦波パターン光、(b)計測システム

ここで、x’はパターン面上の座標（パターン面中央を原点）である。パターン面に歪みがな
い場合、投影パターンは縦方向に関して同一の位相となる。従って対象の奥行 Z(x,y) [mm]は、パターン面の x' (x, y) におけるこの同一位相直線とプロジェクタの光学中心とで構成される平面、そしてカメラの光学中心と注目画素(x,y)を結ぶ直線の交点として得られる。
上記の方法では、投影パターンの空間周波数が 1 周期と低いために位相分解能が低く、得られる奥行の分解能も悪い。そこで、投影するパターンの空間周波数を階層的に順次高いものへと切替え、位相情報を逐次修正する方法が考えられる 19)．ここでは階層を m で表現し、第 m 階層において投影されるパターンの波長を Lm，得られる位相をφm とする。但、位相の初期値はφ0 (x, y)=0 とする。
し初期階層を m =1，L1=L（プロジェクタ x 方向画素数）
式(6.3)で観測される位相が Eφ[rad]未満の誤差を含むと仮定する．このとき m>1 なる階層で投影するパターンの波長 Lm がm

 Eφ  ,= L ⋅ Lm = Lm −1 ⋅
2π
 2π 
Eφ（6.5）

であれば、その波長 Lm のパターンを投影したときに得られる相対的な位相を用いて、初期階層で算出した 1 周期パターンの空間位相を修正できる。このように投影パターンの波長は階層を増すごとに短くするが、パターンはプロジェクタパターン面全面にわたり複数周

図６.７

高周波数の投影パターン例（Eφ=π）

図６.８

計測に用いた石膏ビーナス像

144

第６章

新しい展開

期投影する。図 6.7 に、Eφ=πとしたとき各階層で投影するパターンの例を示す。パターン
は全ての階層において T [frame]かけて 1 周期動かす必要があるため、使用画像枚数は T×。このとき、位相Mmax 枚となる（実質的なパターン移動速度は階層を増すごとに遅くなる）
修正式は次式のように表せられる（但しφm は常に初期階層において投影した 1 周期パターンの空間位相を表すことに注意）。

φ m (x, y ) = φ m −1 (x, y ) +

L1
⋅
Lm

 2πt L
∑ I (x, y, t ) cos T + L φ (x, y )
T −1

m

tan

m

m −1

1

.
T −1
 2πt Lm
I m (x, y, t ) sin 
φ m −1 (x, y )
+
∑
L1
t =0
 T


−1 t = 0(6.6）

式(6.6)は m=1 のとき式(6.3)と等価で、1 階層前に得られた位相から現在得られる位相を予測し、そのズレを求めている。この階層処理を、プロジェクタで正弦波が表現可能な範囲で、
m がある大きな値 Mmax になるまで繰り返す。この手法は、観測される位相に含まれる誤差
Eφを予め予測することを必要とする。誤差 Eφは使用する機器、実験環境、そして画像サン
プリング枚数 T や画像の明るさによって決定される。より小さな Eφを用いることは使用画像枚数の削減につながるが、不適切に小さな値に見積もると正確な形状が得られない。これは、低い階層での誤った位相推定が上位の階層で修正しきれないことによる。Eφは実験
環境および測定対象に応じて経験的に定める必要があるが、余裕をもった値は計測の安定性および測定精度を向上させる。
カメラキャリブレーション等の詳細は文献 19)に譲るが、実際の計測例を従来法との比較
で図 6.8、図 6.9 に示している。図 6.8 は対象となった石膏ビーナス像、図 6.9(a)は従来法（空間コード化法）を用いて計測された３次元形状、そして図 6.9(b)は、ここで紹介した階層化
位相シフト法による結果である。図 6.9 で解析に用いられた画像枚数は、空間コード化法(a)

(a)
図６.９

(b)

(c)

石膏ビーナス像の三次元計測：(a)空間コード化法による結果、(b)階層化位相シフト法
による結果、(c)は解析に用いる画像枚数を増やして高精度化したときの結果であり、(b) とは異なる視点で表現している。

第６章

新しい展開

145

が 20 枚、階層化位相シフト法(b)が 12 枚、そして(c)が 90 枚である。計算コストは CPU 等に Celeron 500MHz, Linux7.1OS, C 言語（gcc2.96）を用いた場合、空間コード化法(a)で 7.5秒、階層化位相シフト法(b)で 9.9 秒であり、ほぼ同程度の計算コストで計測精度の大幅な改善が出来ていると言えよう。レンジファインダとして実用化するには、高速化や対象物体
表面のテクスチャーの影響軽減など、いくつかの課題が残されているが有用な手法である。
（３）鏡面・光沢の強い表面の形状計測
測定対象の表面が拡散性と鏡面性を合わせ持つ場合は、一般に計測が困難となる。鏡や光沢の強いプラスチック表面など完全鏡面に近い場合は、パターン光源の情報をその鏡面に映し込み、そのパターン変形の定量的計測からサブミクロン精度での形状計測が可能となる 21,22)。図 6.10 は、コンピュータで作成した空間パターンを、液晶プロジェクタを用いて試料（例えば光沢のあるプラスチック）表面に投影し、その鏡面反射像を CCD カメラで計測し形状解析するシステムのブロック図を示している。また図 6.11 は、スリット状のパターン光をプラスチック表面に投影し移動させているときの動画像を示している。光学精度（λ/10）でフラットな鏡面を背景におき、その時の投影パターンからの変形（変位）を計測し、表面の局所的な傾斜角の変化を捉える。あらかじめ、鏡面の傾斜角とパターンの変位との関係を計測しておくことで試料表面の局所傾斜角が定まり、周囲の傾斜角の情報を用いて積分演算を実行することで、表面形状が復元できる。すなわち、図 6.10 において、ＣＣＤカメラのレンズ面をＲ，試料表面がフラットであるときの光線の反射点をＰ、表面が角度β傾いているときの反射点をＱとすると、画面上のｙ方向の変位 δ y は ∠ ＱＲＰ＝γを用いて

δ y = f tan(γ ),γ = tan −1 (H −Dtan β ) + β ,H +D

図６.10 鏡面を持つ物体表面の形状計測システム（6.7）

図６.11 パターン光投影例

146

第６章

図６.12

新しい展開

(a)

(b)

(c)

(d)

光沢のあるプラスチックの表面形状計測結果：(a)表面の傾斜角分布 β y ( x, y ) 、(b)表面の凹凸分布 d ( x, y ) 、(c)傾斜角分布の擬似カラー表示、(d)凹凸分布の擬似カラー表示。

と表せる。ここに、Ｈは点Ｐとスクリーン上の光線の投影位置（点Ｏ）との距離、Ｄは点Ｐと点Ｒとの距離、 f はレンズの焦点距離である。Ｈ＝Ｄと選べば、 δ y ≈ f tan β となり、画面上でのパターンの変位量 δ y から試料表面のｙ方向局所傾斜角ベータ β y ( x, y ) が検出できる。また、投影パターン光に横方向スリットを用いて上下方向（ｙ方向）にスキャンすることで、ｘ方向の局所傾斜角 β x ( x, y ) が求まる。この二つの局所傾斜角の情報から三次元形状が復元できる。図 6.12 は、図 6.11 に示したプラスチックの形状計測結果を示す。(a),(c)は表面傾斜角の分布 β y ( x, y ) を、(c),(d)は表面の凹凸分布 d ( x, y ) を示す。(a),(b)の図中、矢印部分は直径約 10mm、深さ約 1.2μm の小さな「ひけ」を示している。サブミクロン精度
で形状の検出が可能なことがわかる。また、(c),(d)では試料の長軸方向に最大 300μm の歪（そり）が存在している事が確認できる。約 150×60mm の試料を、300×120 画素程度の分可能（約 0.5mm）でサンプリングした動画像から、ミクロンレベルの形状欠陥（ひけやそり）が定量的に計測できる 21,22)。

６．３

ＣＶとＣＧとの接点（バーチャルキャラクタを介したインタラクティ
ブシステム）

ここでは、高齢者の看護・介護支援機器研究の一環として開発した、バーチャルリアリ
ティ技術を用いたインタラクティブシステムを紹介する 23,24)。バーチャルリアリティの技術を応用する高齢者の看護・介護支援機器としては多くの提案がある。しかし、３次元コンピュータグラフィックス技術を用いて創作したバーチャルキャラクタ（ここでは２歳前

第６章

新しい展開

147

後の孫のイメージ・キャラクタ）を利用するインタラクティブシステムの提案は殆ど無い。
システム構成は、図 6.13 に示すように、ディスプレイ上に表示したバーチャルキャラクタの働きかけ（アニメーションと吹出し＆効果音）に対して応答する、ユーザ（一人暮しの図６.13

バーチャルキャラクタによるマン・マシン・インタラクティブシステム

高齢者を想定）の声と動きをマイクとカメラでモニタする。これらの情報から、キャラク
タの働きかけに応じて反応するユーザの意志を判断し、キャラクタの次の動作に反映させていく。このフィードバックのプロセスを介して、キャラクタとユーザとのインタラクシ
ョンが仮想的に成立する事を想定する。さらに、情報弱者に位置付けられている高齢者等
がマウスやキーボードを使うことなく、ネットワーク環境を利用し家族や病院等とのコミュニケーションを促進させるシステムの構築を目指している。画像処理や音声情報処理の技術はさておき、ここではバーチャルキャラクタのデザインプロセスとキャラクタアニメ
ーションの評価について紹介することとする。
商品化を前提とする場合、こうしたキャラクタのデザインは、通常プロのデザイナーの手により行なわれ、そのプロセスが明らかにされることは少ない。図 6.13 中のキャラクタ
は、プロフェショナル・デザイナーの指導を受けながら、学生（山口大学大学院感性デザ
イン工学専攻）が制作した 24)。そのデザインプロセスの一端を紹介しながら、キャラクタ
デザインのあり方を考察してみよう。まず、キャラクタのデザインコンセプトとして、
１）コンセプト：老人にとって、親しみやすい、感情移入しやすいキャラクタ、
２）実現方法：孫（幼児、２歳前後）、２頭身、丸みを帯びた体型、性別を特定しない髪型・服装、精神状態を特定しない目のみでの顔表現、があげられている。具体的な制作手順は、以下の通りである。
１）イメージスケッチ（図 6.14a）、
２）油土（クレイ）によるモデリング（図 6.14b）
、

148

第６章

新しい展開

３）３次元デジタイザによるデータ入力（図 6.14c）、４）３次元ＣＧソフトによる整形（図 6.14d）
。

(d)

(b)

(c)
(a)
図６.14

バーチャルキャラクタの制作手順：(a)イメージスケッチ、(b)油土によるモデリング、(c)３次元デジタイザによるデータ入力、(d)３次元ＣＧソフトによる整形。

(a)
図６.15

(b)

モデリングされたキャラクタ：(a)３次元 CG ソフトでの直接のモデリング結果、(b)
油土（クレイ）を用いた造形（現実空間）を通して３次元曲面をモデリングした結果。

この手順では、イメージスケッチの後、わざわざ実空間でクレイモデルを造形し、時間をかけてイメージスケッチに近い微妙な曲面に仕上げている。手順２）、３）を省略し、３次
元ＣＧソフトで直接モデリングすることも可能であるが、３次元の微妙な曲面の再現はなかなか困難である。図 6.15 はクレイを用いるモデリング(b)と、３次元ＣＧソフトによる直接のモデリング(a)の結果を比較している。ＣＧソフトによるモデリングではモニタ上での作業であるため、三次元形状の把握がなかなか困難であり、イメージスケッチが求める３次元曲面を再現出来ていない。実際にモデリングされた二つのキャラクタ（静止画）の与える印象を被験者 13 名に対して心理評価実験を行い、現実空間において油土を用いてモデ

第６章

新しい展開

149

リングした場合のほうが好印象であることを確認している。ただ、実物でのモデリングは時間を要することや、製作コストが高くなるなどの問題点もある。
最近、車などのプロダクトデザイン分野では開発コスト削減・期間短縮の観点から、最初のイメージスケッチの段階からコンピュータ上での作業が行われる。ただ、全てコンピュータ上でのデザイン作業に終始することは無く、計算機で大まかなデザイン作業を済ませた後、数値制御切削機器を用いて産業用クレイから粗形状を削り出し、実空間で細かな(a)うなずく(b)首を横に振る(e)聞き返す(f)首傾け手あげる

図６.16(c)首をかしげる

(g)驚く

(d)悩む

(h)微動＆まばたき

バーチャルキャラクタの 8 つの基本動作

曲面等の仕上げのデザインプロセスが進められる。その後、3 次元形状計測機により再び計算機上でのデジタルデザインデータとして微調整される。最終的には、計算機上に完成したデザインフォルムを切削機が削り出し、製品形状となる。このように、完成度の高いデザインを短期間に開発するには、計算機上での作業と実空間での作業を効果的に組み合わせ、一歩一歩詰めて行く行程が実践されている 25)。
一方、インタラクティブシステムとしてキャラクタの特徴を活かすためには、キャラクタのアニメーションのデザインがキーとなる。ユーザの感情移入を高めるための動きのデザインは、まさにプロのデザイナーの独壇場であるが、サイエンスとして動きのデザインを追求するには動きの大きさ、速さなどのタイミングの変化が与える印象の違いを定量的に評価する必要がある。ここではこれ以上立ち入らないが、従来のデザイン分野では秘伝や奥義としてベールに包まれていた部分である。今後、サイエンスやテクノロジーからの分析的なアプローチによる検証が必要になると考える。図 6.16 は、高齢者とのインタラク
ションを想定しモデリングされた基本的な 8 つの動作を示してしている。この基本動作を組み合わせ、より高度な感情・意思表現を試み、基本動作の大きさや速さの検討を加える
ことで、バーチャルキャラクタへの感情移入を高める工夫をしている。

150

第６章

６．４

新しい展開

認知科学と映像デザイン（知覚像を捉えるデジタル印象カメラ）

ここでは、最近の研究の中でも認知科学（特に視覚心理学）や映像デザインと関連する研究の一端を紹介し、動画像の計測と処理の関連分野の広がり・可能性を議論する。人間の視覚の特性が、カメラで捉えた画像情報と大きく異なっていることを体験することは多い。特に、山登りに行った時に出会う素晴らしい風景や景観は、写真に撮った時にあまりにも印象が異なるのに驚かされる。目の前に迫る高い山の印象は、写真ではなぜかあまりにも低く写されている（図 6.15 参照）。カメラで捉えた写真は透視投影を基本としており、
いわゆる「網膜像」に相当する。人間の視覚は、網膜に投影された像（倒立像）情報をより高次の視覚処理系（外側膝状体、一次視覚野、頭頂連合野、側頭葉下部等）に送り、視覚パターンの認識や空間視を実現している 26)。視覚系が捉えるイメージは「知覚像」と呼ばれ、「網膜像」とはかなり異なる事が認識されている 27)。宮崎駿監督のアニメが、なぜあれほど魅力的で人を引き付けて止まないのか？この説明も「知覚像」と「網膜像」の違いで議論されている。すなわち、写真（網膜像）を見て描くのでは無く、三次元世界に存在する対象を直接捉える人間の「知覚像」の印象を表現する事がアニメータに要求される。
そこで、人間の視覚が捉える物体の見かけの大きさに関する心理物理実験を行い、人間の見た目の印象を捉えるデジタルカメラの開発を目指す研究を紹介する。図 6.16 に示すよ
うに、対象の見かけの大きさの定量的比較を行なうため、同じ位置（場所と目の高さを合わせて）からカメラ（28＆35mm レンズ）による撮影とスケッチ（デザイナー等に依頼）とを比較した。図(b)では、拘束条件として、スケッチする画用紙には Standard line が初めから記入されている。大きさは、写真で撮影して同じ大きさに現像した時のサイズが一致するように描かれている。一見しても分かるが、遠方の対象ほど見かけの大きさ（拡大

(a)

(b)

図６.15 カメラで捉えた久住山(a)と、写真を撮った位置・高さからのスケッチ図(b)

第６章

新しい展開

151

Standard line
Standard line
(a)

(b)

図６.16 カメラで撮影した写真（a）と、人間の知覚イメージ（スケッチ：(b)）との比較

(a)
図６.17

(b)

写真とスケッチの違い。(a)透視投影と考えたときの平行線の交差角が写真とスケッチ
では大きく異なる。(b)物理的な視角と見かけの視角が異なり、距離依存性を持つ。

率）が増加している。デザイナーも含めて５人の観察者の平均を取ると、手前にあるコーンの高さは 0.94 倍、その位置での道路幅が 0.63 倍であるのに対して、遠方にある建物の窓の大きさが 3.0 倍、その位置での道幅が 2.93 倍となっている。このとき、Standard lineの長さは 1.0 倍としている。従って Standard line より手前では縮小、遠方では拡大と、奥行きに応じた拡大・縮小が視覚系で行なわれ、かなりの変形を受けた映像が知覚像となっている。縦と横の拡大率も違う事が推測され、いわゆる縦横錯視 28)との関連も考えられる。
また、透視投影と考えたときの平行線の交差角も大きく異なっている（図 6.17(a)参照）。こ
れらの事実より、人間の視覚が対象物体の奥行きに応じた視角拡大機能を有している事が仮定できる（図 6.17(b)）
。
そこで、拡大率の定量的測定を行なうため、図 6.18 に示すような実験を行なった 29)。す
なわち、二つのＣＲＴモニタに図形を表示し、観察者から右手前方の距離 x の位置に置かれ

152

第６章

新しい展開

た「標準刺激」の見かけの大きさと、左手前方 1m の位置に表示した「比較刺激」の大きさとが一致するようにマウスを用いて「比較刺激」のサイズを変更する。この作業を、
「標

（a）
図６.18

（b）

見かけの拡大率の奥行き距離依存性を計測する実験システム(a)と、その設定(b)準刺激」の位置を変えて繰り返し、見かけの視角が観察距離 x にどのように依存するかを調べた（文献）。いま、観察距離 x での物理的視角（Physical Viewing Angle）を Pp (x ) 、見かけの視角を Pa (x ) 、拡大率を f (x ) とすると、次式のような関係になる。
Pa ( x ) = f ( x ) × Pp ( x ) ．

（6.8）

ところで、観測できるのは「比較刺激」をある位置 xC に置いたとき、距離 x に置かれた「標準刺激」との見かけの視角を合わせることであるので、PaC ( xC ) = PaS ( x ) ．

（6.9）

ここで、
PaC ( xC ) = f ( xC ) × PpC ( xC ) ，（6.10）PaS ( x ) = f ( x ) × PpS ( x ) ．

（6.11）

そこで、 f ( xC ) × PpC ( xC ) = f ( x ) × PpS ( x ) より、比較刺激を位置 xC に置いたときの拡大率
FxC ( x, xC ) は次のように定義できる。
FxC ( x, xC ) =PpC ( xC )f ( x)=f ( xC )PpS ( x )（6.12）

図 6.19 は、実験結果をまとめたものである。この結果は、実験のときの教示（Instruction）にかなり影響される。
「二つの刺激を交互に見て、見かけの視角が同じになるように調整する」よう指示している。図 6.19(a)は、 xC = 1 m での 11 人の観察者の拡大率 FxC ( x, xC = 1) データをまとめたものである。観察者間の拡大率のばらつきは大きいが、標準刺激までの距離が増加すると対数関数的に拡大率が増加することを示している。図 6.19(b)にフィットさせた実験式は、比較刺激の位置 1m、2m、3m に対して各々、

第６章

新しい展開

153

F1 ( x ) = 0.86 + 2.8 log( x ) ，
F2 ( x ) = 0.46 + 2.0 log( x ) ，
F3 ( x ) = 0.24 + 1.2 log( x ) ，（6.13）（a）
図６.19

観察者 11 人の拡大率の刺激距離依存性(a)と、平均拡大率を説明する実験式(b)（a）
図 6.20

（b）

（b）

(c)

シミュレーションＣＧを用いた網膜像から知覚像への変換例その１。(a)ＣＧによる室内画像、(b)その奥行き分布、(c)変換して得られた知覚像 29)。と表せる。これらの実験式を用い、比較刺激の位置を適切に仮定することで、写真（網膜像）から人間の捉える知覚像への変換が可能になる 30-31)。ただし、3 次元空間中での対象物
体の奥行き情報が必要である。知覚像を撮影するデジタル印象カメラを実現するには、三次元世界の奥行き情報の計測精度が要求される。高性能なレンジファインダ機能との組み合わせが必要になる。ここでは、奥行き情報が与えられたＣＧからの知覚像の創成例を以
下に示す。

154

第６章

新しい展開

図 6.20(a)はＣＧによる室内画像で、同図(b)がその奥行き分布（Depth Map）を表す。(b)の濃淡値の明るい部分がその物体面までの距離が近い事を示し、暗い部分は奥行き距離が大きい事を示す。この二つの情報と、式（6.12）中の変換式を用いることで知覚像が計算できる。ここでは、比較刺激の位置を 2m と仮定して F2 ( x ) = 0.46 + 2.0 log( x ) を用いた。この例では、手前にある物体が画面の外に飛び出しているので、実際の人間の知覚感覚とは違う印象がある。図 6.21 は他のシミュレーション例を示している。この場合は、元の画像中に現れている物体の全てを表現している為に全体としてかなり拡大されている。

（a）
図６.21

（b）

シミュレーションＣＧ（網膜像：(a)）からの知覚像(b)の創成例その２．

また、物体の遮蔽など、一枚の画像からだけでは情報が不足する領域が目立つ。この変換
画像が人間の印象に近いかどうかは結論が出せる段階ではない。単純な変換ではなく、物の見え方に関する知識を始めとする脳の非線形な再合成過程が潜んでいると考えられる 31)。
奥行き情報が正確に与えられているという条件の下でも、精密な再合成にはいくつもの発見的な技術の開発が求められている。人間の視覚心理や生理学の基礎的な知見に戻っての論理的な思考が試される挑戦的なテーマであり、今後の研究の進展が期待される。

６．５

非線形科学の画像処理への応用（１）化学反応による画像処理
この最後の章では、最新の非線形科学の知見を生かした新しい画像処理のアプローチを紹介する。非線形科学の分野は 1970 年代のカオス研究に始まり、ソリトン、フラクタル、
反応拡散系、熱対流の逐次転移、確率共鳴など、身近な自然現象や生命の理解につながる新しい概念をもたらしてきた 3,32,33)。特に、チューリングマシンで有名な A. Turing が提案した「ヒドラ」の形態形成モデルとしての、反応拡散系におけるチューリング不安定性 34)
による自己組織化現象は、非線形画像処理という新しい分野を形成する有力な武器になると考えられる。カオスやフラクタルの概念を用いた信号処理やＣＧの研究例も数多く提案

第６章

(a)
図 6.22

（b）

新しい展開

155

（c）

光触媒を用いた振動化学反応における画像情報処理（輪郭強調）
H. Kuhnert et al., Nature, 337(1989) 244 35)

されているが、ここでは反応拡散系の自己組織化機能を生かした画像処理の例を紹介し、非線形科学の情報処理応用の可能性を議論する。
図 6.22 は、光感受性ＢＺ反応で観測された、一定時間（約 20 秒）毎の化学反応パター
ンの時間変化を示している 35)。この化学反応は振動的で、一定時間毎に酸化と還元のプロセスを繰り返す。光が当たる事によって、その場所での反応の進行が抑制され酸化領域（明るい部分）と還元領域（暗い部分）との不均一（位相差）が現れる。その過程で、図 6.22(b),(c)に見られるように像の輪郭が強調される。この現象は、振動性媒質における位相拡散過程で生じると説明されている。詳細は文献 35)に譲るが、通常の画像処理で知られている ∇ 2 G
フィルタとは全く異なるメカニズムで出現しており、かつ振動系である事から静止したパターンともならない。この意味では画像処理とは言い難いが、反応拡散系の自己組織的なパターン形成は情報処理機能を持つとは言える。この他にも興奮性媒質での白黒反転像の出現なども観測されているが、やはり静止パターンではない。ところで、反応拡散モデルとチューリング不安定性の条件を用いて、 ∇ 2 G フィルタと同等あるいはそれ以上の機能を持たせる事が出来る。以下、最近の関連研究の一端を紹介する。
（２）反応拡散モデルによる輪郭抽出・領域分割
ここで取り上げている反応拡散モデルは、神経軸策での興奮の伝播を記述する FitzHugh& Nagumo（FHN）モデルである 36)。神経の興奮（インパルス）の伝播は、導体中を電流が流れるのとは異なり、閾値を持つ興奮性素子が電気化学的なプロセスを介して次々と興奮し、空間的に伝播するという形で理解されている。ここでは、FHN モデルを少し拡張し、活性因子 u の拡散 D u だけでなく抑制因子 v の拡散 D v も同時に仮定している。すなわち、次式のような時間発展方程式で記述されるモデルを考える 37,38)。
∂u1= Du ∇ 2 u + {u(1 − u )(u − a ) − v}ε∂t∂v
= Dv ∇ 2 v + u − bv
(b > 0).
∂t(0 < a < 0.5, 0 < ε < 1),（6.14）

ここで、ここで a, b, ε は定数パラメータである。各因子の右辺の二項はそれぞれ、ある局所
領域での拡散による流出入量と、反応による生成量を表す。左辺の符号は右辺に代入され

156

第６章

新しい展開

る u, v の値によって決定することから、ある状態( u, v )の素子について単位時間後に各因子濃度の増減がどちらに向かうのかを知ることができる。これを単位時間毎に追うことで素子の状態変化の様子を把握することができる。そこで、ある一つの素子の濃度変化が定常状態( ∂u / ∂t = 0, ∂v / ∂t = 0 )に落ち着くまでの様子を定性的に把握するため、拡散の影響を無。
視し式（6.14）を次のように変形する（ ∂u / ∂t = 0, ∂v / ∂t = 0 , Du = Dv = 0 を仮定）
0 = u (1 − u )(u − a) − v
0 =u/b −v（6.15）

図 6.23 は、式（6.15）をグラフに表したもので、ヌルクライン(null crane)と呼ばれる。図6.23(b)中の交点 A( u A , u A )、B( u B , u B )、C( u C , u C )は式（6.15）の連立方程式の解であり、u, vの両因子の濃度変化が共に 0 となって安定する定常状態を示す点である。この点は一般に定常点と呼ばれる。ただし、点 C は微小な刺激によって定常状態を脱する不安定定常点である。定常点が安定か否かは、その点の近傍における u, v の増減傾向（ ∂u / ∂t , ∂v / ∂t の符号）を調べることで判定できる。この定常点の数（式(6.15)の 3 次曲線と直線の交点）はパラメ
ータ a, b によって決定される。定常点が一つだけ存在する系を単安定系、二つの安定な定常点を持つ系を双安定系という。それぞれのヌルクラインを図 6.23 の(a)、(b)に示している。
u, v 空間の任意の場所における u, v の増減傾向は、式（6.15）が示す 3 次曲線と直線によって領域分けされる。その増減に沿った、おおまかな時間発展の様子を図中に矢印で示している。この図から、微小な初期値の差によってその後の時間発展が大きく異なることがわかる。この初期値依存性は非線形システムが持つ大きな特徴でもある。例えば、図 6.23(a) の単安定系において、定常状態Ａ（ u = 0, v = 0 ）に小さな摂動（ δu < a, δv = 0 ）を加えてもその領域では ∂u / ∂t < 0 であることから元の定常状態へと戻る。しかし、ある閾値を超える摂動（ δu > a, δv = 0 ）が与えられると、 ∂u / ∂t > 0 となり u は一旦１まで増大した後、減少に転ずるが同時に v は増加し（ ∂u / ∂t < 0, ∂v / ∂t > 0 ）、システムは u, v 空間でおおきなループを描
いて、やがて定常点Ａへと戻る（図 6.23(a)）。この現象は興奮（あるいは発火）と呼ばれ

(a)
図６.23

(b)

FHN モデルのヌルクライン：単安定系（a）、双安定系（b）。各領域の色分けは、黒から白の領域まで順に、∂u / ∂t < 0, ∂v / ∂t > 0（黒）、∂u / ∂t > 0, ∂v / ∂t < 0（黒灰）、∂u / ∂t > 0, ∂v / ∂t > 0 （白灰）、 ∂u / ∂t < 0, ∂v / ∂t < 0 （白）に対応する。

第６章

新しい展開

157

る。このように、閾値を越える刺激が加えられることで一過的な興奮を起こし、その後再び定常点へ戻るような非線形素子群からなる系を興奮系と呼ぶ。なお、単安定形は基本的には全ての素子が定常状態 A へと遷移し、双安定系は二つの定常点を持つため、定常状態
Ａで閾値以上の摂動が加えられると定常状態 B へ遷移し、定常状態Ｂで閾値以上の摂動が加わった場合は定常状態 A へと遷移することがわかる。
図 6.24 は、(a)のようなランダムドットパターンに対して、（6.14）式の反応拡散系で自己組織的に得られる変数 u の静止パターンを(b)に、また従来法（Marr のエッジ検出手法：∇ 2 G フィルタ）で得られるパターンを(c)に示す。ここでは、（6.14）式中のパラメータを
a = 0.1, b = 1.0, ε = 1.0 × 10 −3 , Dv / Du = 8.0 と選び、単安定系でチューリング不安定条件に設定している。初期条件は、 u ( x, y, t = 0) として図 6.21(a)のパターンの輝度値（0 or 1.0）を与え、 v( x, y, t = 0) = 0 とした。従来法では、三角形内部領域の構造を消すことが容易ではな
い。また、ガウスフィルタの平滑化を強くすると三角形のエッジの形状がシャープではなくなる。反応拡散系を用いた場合は、エッジのシャープさを保ちながら内部構造が消えて
いる。

(a)
図６.24

(b)

(c)

ランダムドットパターン（a）からのエッジ抽出：(b)反応拡散モデルによる自己組織化的エッジ抽出：a = 0.1, b = 1.0, ε = 1.0 × 10 −3 , Dv / Du = 8.0 、(c) ∇ 2 G
フィルタの結果 38)。

(a)
図６.25

(b)

(c)

ランダムドットパターン(a)からの領域分割：（b）反応拡散モデルによる自己組織化的領域分割（ a = 0.1, b = 5.92, ε = 1.0 × 10 −3 , Dv / Du = 8.0 ）、（c）従来法（平滑化＋二値化）の結果 38)。

158

第６章

新しい展開

図 6.25 は、(a)のようなランダムドットパターンに対して、（6.14）式の反応拡散系で自己組織的に得られる変数 u の静止パターンを(b)に、また従来法（平滑化と二値化）で得られる結果を(c)に示す。
（6.14）式中のパラメータを a = 0.1, b = 5.92, ε = 1.0 × 10 −3 , Dv / Du = 8.0と選び、双安定系でチューリング不安定条件に設定している。従来法では、平滑化の過程を経ることからどうしても三角形の角の部分が丸くなってしまう。平滑化が足りないと三角形の内部構造が残ってしまう。反応拡散系を用いた場合は、エッジのシャープさを保ちながら内部構造が消えている。また、詳しくに見ると境界部分で u の変化が強調されてマッ
ハバンド的になっており、内部は境界部分より u の値が小さくなっている。この特性は、人間の視覚機能に類似しており、反応拡散系によるアプローチが生物の情報処理に通じると考えることもできよう。
ところで、ここで紹介した反応拡散モデルによるエッジ検出や領域分割は、数値計算における空間刻み、時間刻みの設定や拡散定数の選び方でその挙動が大きく異なってくる 37)。
図 6.26(a), (b)は、式（6.14）の各パラメータ a, b, Du , Dv , ε が同一の条件下（単安定系）で、数値計算の空間刻み ∆x だけを変えてシミュレーション実験を行った結果である。図は、初期条件（t=0）として与えた、 u ( x, y ) の空間パターンの時間発展を示している。空間刻みが（a） t=0（b） t=0

t=t2

t=t4

t=t16

t=t2

t=t4

t=t16

図６.26 反応拡散モデルによるエッジ検出（自己組織的パターン形成）。
パラメータ a,b,

Du , Dv , ε が同一の条件下（単安定系）で、数値計算の空間刻み∆x だけを変えシミュレーション実験を行った結果：(a) ∆x ＝1.0、画像サイズ 128
×128 画素（静止したエッジ領域が検出）、(b) ∆x ＝0.25、画像サイズ 512×512 画
39)
素（パターンはエッジでは静止しない） 。

第６章

新しい展開

159

粗い（ ∆x = 1.0 ：画像サイズ 128×128 画素）場合（図 6.26(a)）、パターンは時刻 t3 以降も殆ど変化せず定常に保たれている。一方、空間刻みを細かくした（ ∆x = 0.25 ：画像サイズ
512×512 画素）場合には（図 6.26(b)）
、パターンは時間とともに広がる傾向を見せ、時刻
t3 以降も止まる傾向は見られない。こうした振る舞いは、空間刻みを一定にして、二つの拡散係数の比を一定に保ちながら（ Du < Dv のチューリング不安定条件下）拡散係数の大きさを変化させた場合でも同様の傾向が見られる。拡散係数の絶対値が大きすぎず、零でもない適当な範囲でパターンの静止領域が観測される。境界領域が静止パターンとなって観測される正確な理由は現時点では明確ではない。定性的には、足の速い抑制因子の拡散が先回りして、興奮を伝播しようとする活性因子を抑え込むためと理解する事も出来る。
以上紹介したのは、非線形科学の知見を利用した画像処理の一例である。最近の研究では、反応拡散系（一変数モデル）を用いた自己組織的な図地分離・エッジ検出の試みや 40-42) 、運動錯視へのアプローチ 43)や、閾値を持つ非線形システムに特有の現象として知られる確率共鳴が人の視覚情報処理系においても確認 44)されるようになり、この分野の活性化が始まっている。我々も、チューリング不安定条件を満たす 2 変数反応拡散系を用いて、（１）（２）ノイズを含むコントラストの低い画像からの情報復元とランダムドットステレオ 37)、
確率共鳴などの研究を進めている 39)。従来、デジタルフィルタリング、フーリエ変換、アフィン変換など線形処理を中心としてきた画像情報処理の技術は、非線形科学の力を得て新たな分野を形成する可能性を秘めている。視覚の非線形特性を活かした動画像強調技術の開発もその一例である 45)。今後、多くの研究者の参戦を期待してこの稿を終える。

160

第６章

新しい展開

Coffee Break Ⅵ：大学の先生（大学紛争から大学改革へ）
その４，５年前の 1968 年 6 月 2 日 22 時 48 分、九州大学の箱崎キャンパスにアメリカ空軍所属の偵察機（RF-4C ファントム）が墜落します。事もあろうに、丁度建設中の大型計算機センターの屋上に墜落し、当時大学 2 年生（電子工学科）であった我々の情報処理演習は卒業まで行われずじまいでした。墜落事故
は学生運動を活発化させ、クラス討議で夏休み前には授業ボイコットのストに突入してしまいます。スト自身は夏休み明けに自然中止になってしまいました
が、墜落事件の影響は、その年の卒業式の中止、翌年 5 月からの各学部自治体の無期限スト、建物のバリケード封鎖、4000 人規模の機動隊によるバリケー
ド封鎖解除（1969 年 10 月）と、エスカレートします。
・・・
もともと、箱崎キャンパスは、板付基地（現福岡空港）の滑走路の延長線上にあり、騒音・高さ制限問題、航空機墜落の再発懸念等が引き金となり、わが青春の大学キャンパスは現在の伊都キャンパスに移転することとなってしまいます。耳を劈く轟音の防音教室での講義と、ファントム墜落は、若い学生達に軍事基地の実態を体験させ、反戦への誓いを確信させる貴重な体験でした。
ただ、学生運動の負の遺産（？）は、1969 年 9 月に制定された「大学の運営に関する臨時措置法（大学立法）」の制定に始まる、聖域（野放し状態？）にあった大学の管理体制が年々強化される時代の幕開けとなったことです。

第６章

新しい展開

161

【参考文献】
1) 例えば、音声情報処理：現状と将来技術論文特集、電子情報通信学会論文誌 DⅡ, 83-D
Ⅱ (2000), pp.2057-2506.
2) H. Miike, L. Zhang, T. Sakurai, and H. Yamada, Motion enhancement for
preprocessing of optical flow detection and scientific visualization, Pattern
Recognition Letters, 20 (1999), pp.451-461.
3) 三池秀敏、森義仁、山口智彦、非平衡系の科学Ⅲ（反応拡散系のダイナミックス）、
講談社サイエンティフィック（1997）．
4) A. Nomura, H. Miike and K. Koga, Determining motion fields under nonuniform
illumination, Pattern Recognition Letters, 16 (1995), pp.285-296
5) L. Zhang, T. Sakurai, and H. Miike, Detection of motion fields under
spatio-temporal non-uniform illumination, Image and Vision Computing, 17(1999),
pp.309-320.
6) 井口征司、佐藤宏介、三次元画像処理、昭晃堂（1990）．
7) 長谷川一英、佐藤幸男、内視鏡型高速 3 次元形状計測システム、信学論、J83-DⅡ,(2000), pp.271-279.
8) 木下武志、河本幸生、バーチャルキャラクタ作成－デザインプロセスとインタラクテ
ィブ・アニメーションの検討－、日本映像学会報、No.116(2001), p. 11.
9) K. Ikeuchi, Shape from regular patterns, Artificial Intelligence, 22(1984), pp.49-75
10) 垂水秀行、伊東敏夫、金田悠紀夫、照度差ステレオ法を用いた光源位置未知画像からの多面体の面認識、信学論、J83-DⅡ (2000), pp.1895-1904.
11) S. K. Nayar and Y. Nakagawa, Shape from Focus, IEEE Transactions on PatternAnalysis and Machine Intelligence, 16 (1994), pp.824-831.
12) 徐剛、画像による 3 次元復元と 3 次元ＣＧ：現状と展望、システム／制御／情報、43,(1999), pp.345-352.
13) 吉澤徹、田代発造、中川慎也、位相検出によるモアレ法の高感度化、精密機械、51,(1985), pp.556-561.
14) 小関修、中野倫明、山本新、光切断法を用いた実時間距離検出装置、信学論、J68-D,(1985), pp.1141-1148.
15) 吾妻健夫、登一生、魚森謙也、森村淳、マルチスリット方式レンジファインダの開発、
信学論、J84-DⅡ (2001), pp.1020-1032.
16) 田島謙二、岩川正人、Rainbow Range Finder による距離画像取得、信学論、J73-DⅡ (1990), pp.374-382.
17) 佐藤宏介、井口征司、空間コード化による距離画像入力、信学論、J68-D (1985),
pp.369-375.

162

第６章

新しい展開

18) 塚本壮輔、呉本尭、古賀和利、三池秀敏、階層化位相シフト法による高精度な奥行き計測、信学論、J83-DⅡ (2000), pp.1962-1965.
19) 塚本壮輔、古賀和利、三池秀敏、階層化位相シフト法による高性能レンジファインダの実現、画像電子学会論文誌、30 (2001), pp.388-396.
20) 大橋健、傳田壮志、高田雄二、江島俊郎、正弦波格子で対応付けるステレオ法、映像の認識・理解シンポジウム MIRU2000, pp.I-51-56.
21) H. Miike, K. Koga, T. Yamada, T. Kawamura, M. Kitou and N. Takikawa,
Measuring surface shape from specular reflection image sequence, Jpn. J. Appl.
Phys., 34 (1995), pp.1625-1628.
22) H. Miike, S. Tsukamoto, K. Nishihara, T. Kuroda, Simultaneous evaluation of
microscopic defects and macroscopic 3-D shape of planer object derived fromsecular reflection image sequence, IEICE Trans. Inf. & Syst., E-84-D (2001),
pp.1435-1442.
23) 三池秀敏，木下武志，長篤志，河本幸生，山根淳平：バーチャルキャラクタを用いた
インタラクティブシステム；厚生科学研究・研究成果発表会抄録集（2001.12）,
pp.20-21.
24) 河本幸生，山根淳平，長篤志，木下武志，三池秀敏：高齢者向け情報端末のためのイ
ンタラクティブ・アニメーション；映像情報メディア学会冬季大会講演予稿集（2001.12）, p.68.
25) 林浩一, 人々と造り手を結ぶ、コミュニケーションメディアとしてのデザイン,ハイ
テクシンポジウム山口 2002「創成デザイン教育研究シンポジウム：商品価値のあるものづくりのための工学とデザイン」（2002.11.宇部）講演資料集.
26) 例えば、乾敏郎、Ｑ＆Ａでわかる脳と視覚、サイエンス社（1993）．
27) 例えば、黒田正巳、空間を描く遠近法、彰国社（1992）．
28) K. Nagata, A. Osa, S. Tsukamoto, T.Kinoshita, and H.Miike, Relationship between
apparent visual angle and distance, Proceedings of the Second Asian Conference
on Vision (Gyeongju, Korea, 2002.7) p.23.
29) A. Osa, K. Nagata, S. Tsukamoto, T. Kinoshita, M. Ichikawa, and H. Miike, A
human-oriented rendering based on perception of visual angle and viewing
distance, Proceedings of the second IASTED International Conference on
Visualization, Imaging, and Image Processing, (Maraga, Spain, 2002.9)
pp.545-550.
30) 長田和美、三輪智也、長篤志、一川誠、水上嘉樹、多田村克己、三池秀敏、知覚される大きさと観察距離の関係を示す拡大率関数：実空間で得られる視覚印象を表現する
画像生成に向けて、認知科学、15 (2008), pp.100-109.

第６章

新しい展開

163

31)K. Nagata, A. Osa, M. Ichikawa, H. Miike, Magnification rate of objects in aperspective image to fit to our perception, Japanese Psychological Research,
50(2008), pp.117-127.
32)

例えば、沢田康次、自己組織化の科学、オーム社（1996）、吉川研一、非線形科学、
学会出版センター（1992）.

33) 三池秀敏、化学反応のつくる時間・空間リズム、数理科学 No.418（自然がうみだす
多様な散逸構造）(1998) pp.41-47.
34) 32)A.M. Turing, The chemical basis of morphogenesis, Philos. Trans. Roy. Soc.
Lond. B, 237 (1952) pp.37-72 .
35) 33)H. Kuhnert et al., Nature, Vol.337(1989) pp.244
36) 34)R. FitzHugh, Impulses and physiological states in theoretical models of nerve
membrane, Biophys. J., 1 (1961) pp.445-446.
37) A. Nomura, M. Ichikawa, H. Miike, Solving random-dot stereograms with areaction- diffusion model under the Turing instability, Proceedings of the 10thinternational DAAAM Symposium, Vienna, Austria 1999.10, pp.385-386 .
38) A. Nomura, M. Ichikawa and H. Miike, Edge Detection and Segmentation with a
Reaction-Diffusion Mechanism, Proceedings of ACIVS2002, Ghent, Belgium,(2002.9) pp.300-306.
39) 海老原麻由美、真原仁、櫻井建成、野村厚志、長篤志、三池秀敏、反応拡散モデルによるノイズを含む画像・低コントラスト画像からの領域分割とエッジ検出、画像電子学会誌、32(4)(2003), pp.378-385.

40) 上山英三、湯浅秀男、細江繁幸、伊藤正美、反応拡散方程式を用いた動きによる図地
分離－形成されたパターンの界面と主観的輪郭－、電子情報通信学会論文誌 J81-DⅡ(1998), pp.2767-2778.
41) A. Nomura, M. Ichikawa, R.H. Sianipar, H. Miike, Edge detection withreaction-diffusion equation having a local average threshold, Pattern
Recognition and Image Analysis, 18(2008), pp.289-299
42) K. Miura, A. Osa and H. Miike, Self-Organized Feature Extraction in a ThreeDimensional Discrete Reaction-Diffusion System, Forma, 23(2008), pp.19-23 .
43) A Simulation of the Footsteps Illusion Using a Reaction Diffusion Model, K.
Miura, A. Osa, and H. Miike, IEEJ Trans. EIS. 129 (2009), No.6, pp.1156-1161.
44) E. Simonotto et al., Visual perception of stochastic resonance, Physical Review
Letters, 78(1997) No.6, pp.1186-1189 .
45) 映像情報メディア学会誌 71(4), pp.J144-J150 (2017)、視覚の時間応答特性を基にした画像強調手法 ～抑制性応答と興奮性応答の時間差がもたらす効果～、大高 洸輝,
長篤志, 長峯祐子, 三池秀敏.

164

第６章

新しい展開

附章 A パソコンによる動画像連続入力システム

附章

Ａ

165

パソコンによる動画像連続入力システム

本章では、科学計測用の動画データを得ることを目的として独自開発した、カラー動画入力システムについて紹介する。Windows OS と Linux OS での開発例を示すことで、読者がパソコンによる連続画像入力の基本を理解し、科学的計測・解析を行う感覚を身に付けることを期待する。

Ａ．１

はじめに

最近では、パソコンに動画を取り込むことのできる比較的安価なシステムがいくつか市販されているが，これらのシステムは基本的にパソコンで動画を楽しむことを目的に作られたものである。つまり，再生したときに人間の目に動画として見えれば良いのである。
したがって，後で定量的な解析することを前提とした科学計測用にはいくつかの問題があり，そのままでは使えないことが多い。
科学計測用の動画データ取り込みシステムとしては，以下の機能が必要と考えられる。
１）画面内の取り込み位置，サイズが任意に指定できる（空間サンプリングの自由度）。
２）取り込みの時間間隔が正確で，任意に指定できる（時間サンプリングの正確さと自由度）。
３）画像データはそのまま（非圧縮の Raw Image Format で）保存できること。
１）は，解析したい対象が画面の一部分に映っている場合に必要な機能である。必要な部分だけ切り出すことにより，データサイズを縮小できる。２）は，速度の解析など，時間が関係する場合に重要である。また，植物の成長のように変化が遅い場合は取り込み間隔を長くするなど，取り込み間隔の可変性が要求される。３）は，画像に含まれる情報を失わないために必要な機能である。市販されている安価な動画取り込みシステムのほとんどは，取り込
み時にデータ圧縮が行われている。ハードディスクなどに保存する際，限られた容量でできるだけ多くの画像を記憶するためである。通常できるだけ圧縮率を上げるために非可逆圧縮が行われている。非可逆圧縮を行うと，完全に元のデータへ戻すことはできない。つまり，圧縮すると画像に含まれる情報の一部が失われてしまう。市販されている安価なシステム
では，上に述べたような機能を持つものはない。
我々は，上記の機能を有する独自の動画取り込みシステムを開発した。比較的安価な静止画用の画像入出力ボードとパソコンを組み合わせたものである。当初はＭＳ－ＤＯＳ上で動作するものを開発したが，時代の流れとともに改良を重ね，現在は Windows(9X, Me, 2000,
Xp)環境で動作する。また最近は，PC-UNIX も普及しつつある。PC-UNIX の１つである Linux上で動作するシステムの開発も進めており，本章の最後で紹介する。

166

附章Ａ

Ａ．２

パソコンによる連続画像入力システム

ビデオ信号とディジタル画像（１）画像とビデオ信号
画像は全て，２次元的な広がりをもった濃淡（あるいは色）の分布である。これを１本の信号線で送受信するために，ある約束事に従って１次元の時間的な信号に変換する。以下，
話を簡単にするために白黒画像で考える。
図 A.1(a)のように，画面を水平の細い帯（水平走査線）に分割する。そしてこの１本１本の走査線上の明るさ（輝度）を描くと，図 A.1(b)のようになる。これを矢印のように左から右へと電圧に変換し，さらに画面の１番上の走査線から順番に接続することにより，１次元の電圧波形に変換できる。こうして得られた１次元の時間波形を映像信号（video
signal）と呼ぶ。実際の走査は，図 A.2(a)に実線と点線で区別して示したように１本おきに行われる。最初は走査線（scan line）の奇数番目（実線）だけを走査し，次に偶数番目（点線）だけを走査する。こうした走査方法を飛び越し走査（interlaced raster scanning）と呼ぶ。そして，奇数番目の走査線だけからなる画面を奇数フィールド（odd field,図A.2(b)），偶数番目の走査線だけからなる画面を偶数フィールド（even field,図 A.2(c)）という。１枚の完全な画面はフレーム(frame)といい，２つのフィールドを合わせたものである。このように１つのフレームを２つのフィールドに分割するのは，テレビのブラウン管(a)画面の走査
輝度(電圧)(b)走査線上の輝度の変化
図Ａ．１ 画面走査と映像信号

附章 A パソコンによる動画像連続入力システム

167(b)奇数フィールド(a)１フレーム(c)偶数フィールド
図Ａ．２ 飛び越し走査と画面の構成
上に動きのある画像を表示する際のチラツキを抑えたり，動きを滑らかに見せるためである。
こうして画像から変換された映像信号をブラウン管上に再現するためには，走査線上の輝度の変化だけでなく，個々の水平走査線やフィールド，フレームなどの始点と終点の位置が明確でなければならない。これらの情報を表示側に与える信号として，各水平走査線の間には水平同期信号（horizontal sync）が，各フィールド間には垂直同期信号（vertical sync）
が輝度信号（映像信号）と逆極性のパルスとして加えられている。このような輝度信号と水平・垂直同期信号を合成した信号を複合映像信号（composite video signal，カラーの場合
は色信号も含まれる）と呼ぶが，以下本書では単にビデオ信号という。ビデオ信号にはいく
つかの方式があり，日本では NTSC 方式が用いられている（コラム 1 参照）。
図 A.3 はビデオ信号の概略を示したものである。図 A.3(a)は１水平走査間のビデオ信号を取り出したもので，横の１点鎖線によって上部の映像信号部分と下部の同期信号部分に分けられる。この電圧レベルをペデスタルレベル（pedestal level）と呼ぶ。画像の黒レベ
ルは，図に示すように，これよりわずかに上に設定されている。１水平同期区間は約 63.5μs（=１H）で，4.7μs 幅の負方向の水平同期信号で区切られている。図 A.3(b),(c)はそれぞれ奇数フィールド，偶数フィールド区間の信号波形である。それぞれ切り込みパルスのある３Ｈ幅の部分が垂直同期信号である。垂直同期信号およびその前後の切り込みパルスや等価パルスについての詳細はここでは省略する。詳しくは巻末に示したテレビジョンや、ビデオ信号関連の参考書 1),2)を参照されたい。図 A.3(b),(c)の両端の点線部分は，

168

附章Ａ

パソコンによる連続画像入力システム

コラム１：ビデオ信号の方式１，２）
日本で用いられているビデオ信号は，NTSC(National Television System Committee)
方式と呼ばれるカラー・テレビジョン信号方式である。アメリカもこの方式である。
NTSC 方式以外では，イギリスやドイツで用いられている PAL(Phase Alternating byLine)方式，フランスやロシアなどで用いられている SECAM(Sequential Color andMemory)方式がある。各方式と主な規格を表 A-１に示す。NTSC 方式はほぼ統一されているが，PAL 方式と SECAM 方式は細かい点で少し異なる規格がいくつか存在する。
１つの画面を水平の細い帯状に分けて考える。この水平の帯状のものを走査線といい，走査線の数は多いほど画面は稠密（緻密）になる。NTSC 方式は他の方式と比べると走査線数が少ない。
走査線を左上から右下に順にたどることを走査という。このような走査をノン・イン
ターレス方式という。走査の方法としてはもう１つある。１つの画面を２回に分けて走査する。つまり，１回目の走査では走査線１本飛ばしに行い，２回目の走査で１回目に飛び越した部分を行う。このような走査を２：１インターレス（飛び越し）方式という。
１秒当たりの画面数が同じとすると，ノン・インターレス走査に比べインターレス走査の方が動きが滑らかに見えるという特徴がある。しかし，インターレス走査方式では，走査線の幅程度の細い線や小さな点でそれが動かない場合，チラツキが発生するという問題もある。これは，２回の走査のうち一方では走査線上にあって映るが，他方の走査
ではその部分が飛び越されて映らないという場合に発生する。一般に，ＴＶ放送では伝送帯域の制限から１秒間に送れる画面数は多くできないので，少ない画面数でも動きが滑らかに見えるインターレス走査方式が用いられている。これに対してパソコン画面では，細かい線や点を表示するのでチラツキの少ないノン・インターレス走査方式が用いられている。
インターレス走査方式では，２回の走査で１つの画面が構成される。これをフレームという。そして１回の走査をフィールドという。すなわち，２フィールドで１フレームとなる。フィールド周波数は，１秒間のフィールド数に等しい。つまり，フィールド周
波数が高いほど１秒間に表示される画面数は多くなるので動きが滑らかに見えチラツキ
も少なくなる。NTSC 方式は他の方式よりフィールド周波数が高い。
カラーで色の情報を送る場合，光の３原色である R（赤），G（緑）
，B（青）の強さを信号として送ればいいが，実際は輝度（白黒信号）と色差信号（R,G,B から輝度を差し引いた信号）で送られる。これはカラー放送が開始される前に白黒放送が普及していたためで，両立性（白黒放送をカラー受像機で見ることができる，またカラー放送を白黒受像機で見ることができる）を考慮して採用された。色差信号の変調方式については複雑なので省略する。
表Ａ－１ ビデオ信号の方式

表C－1 ビデオ信号の方式
走査線数（本）
走査方式
フィールド周波数(Hz)映像帯域幅(MHz)
色信号変調方式

NTSC
525
2:1インターレス
60
4.2
搬送波抑圧
直角２相変調PAL
625
2:1インターレス
50
5～6
搬送波抑圧
直角２相変調SECAM
625
2:1インターレス
50
5～6
FM変調

附章 A パソコンによる動画像連続入力システム

169

映像信号
(a)水平同期区間
黒レベル

１Ｈ＝63.5μｓ
ペデスタル
水平同期信号

レベル(b)奇数フィールド垂直同期信号
３Ｈ

１Ｈ(c)偶数フィールド垂直同期信号
３Ｈ

切り込みパルス
等価パルス

図Ａ．３ ビデオ信号（複合映像信号）

それぞれ逆のフィールド部分である。２つのフィールドの実線部分を接続したものが１フ
レームのビデオ信号となる。１フレームに相当する時間は 1/30 秒である。従って１秒間に30 枚（フレーム）の画面が，フィールドで考えると 60 枚の画面が送受信される。
（２）ビデオ信号のディジタル化
一般に，時間的に連続な電圧波形（アナログ値）を計算機で処理する場合，一定時間間隔

170

附章Ａ

パソコンによる連続画像入力システム

ディジタル値

量子化誤差

標本化電圧
図Ａ．４ 量子化誤差

映像信号

黒レベル
水平同期信号
図Ａ．５ ビデオ信号のディジタル化

ごとの電圧値を２進の数値（ディジタル値）に変換する。時間的に連続な波形を一定時間間隔ごとの値で代表させることを時間的標本化（sampling）といい，その値を２進数値に置き換えることを量子化（quantization）と呼んでいる。標本化と量子化を合わせて単にディジタル化（digitization）と呼ぶ。ディジタル化は，実際の電子回路では A/D 変換器(analog
to digital converter)を用いて行われる。量子化は連続的な値を持つ標本化電圧値を離散的な２進数（ディジタル値）に変換するものであり，図 A.4 に示すようにその変換は階段状になる。従って円内の拡大部分の点線で示したような誤差が本質的に生じる。これを量子化
誤差（quantization error）という。量子化誤差は，A/D 変換器のビット数が多いほど小さくなる。一般的なアナログ電圧を扱う場合は 8～16 ビットの A/D 変換器が用いられるが，ビデオ信号を扱う場合は 8 ビット（256 階調）のものが一般的である。
ビデオ信号を，面単位で計算機で取り扱える数値データに変換するには，水平同期信号や

附章 A パソコンによる動画像連続入力システム

171

垂直同期信号を検出し，これらに同期する必要がある。１枚の画面（フレーム）は，左上から右下に向かって走査されているので，まず垂直同期信号を検出し，そこからフレーム区間の変換を開始する。また１本の水平走査線区間では，図 A.5 に示すように水平同期信号に同期させる。そして映像信号部分を黒丸で表した一定時間間隔ごとの電圧値で代表させ，この電圧値に比例した２進数値を得るようにする。
数値（ディジタル値）に変換したデータを元の画面のように２次元的に配置すると図2.6(a)のようになり，これをディジタル画像と呼ぶ。丸印は標本化した点を表すが，ディジタル画像では２次元の画面を縦横一定間隔ごとに空間的標本化を行い，各標本点（以下画素という）の輝度を量子化したものと見る事ができる。画素の空間的な間隔 dx（横）と dy（縦）の比（アスペクト比）は，ビデオ信号を標本化するときの時間間隔と１水平走査線区間の時間的長さに関係する。ディジタル画像ではこの比は１：１であることが望ましく，ほとんどの画像入出力装置では１：１になるように設計されている。
ビデオ信号から変換したディジタル画像では，注意しなければならないことがある。画面全体を走査するのに時間がかかることから，画面全体が同時刻の画像ではないということである。すなわち，厳密には時間的同時性が成り立たない。最初に走査された画素と最後に走査された画素では 33.3ms（1/30 秒，１フレームの時間的長さ）の時間差がある。細かく見ると，隣り合う横方向の画素間での時間差は映像信号の標本化間隔（A/D 変換器の変換間隔）に依存するが，一般的な画像入出力装置ではこれは 0.1μs 程度である。一方，隣り合う縦方向の画素間では，飛び越し走査を行うため異なるフィールドとなり，16.7ms（1/60 秒，１フィールドの時間的長さ）の時間差がある。ところが，縦方向に１画素飛ばした画素間では，同じフィールドなので 63.5μs（１水平走査区間の時間的長さ）となり，

dx
x
dy
⊿

⊿t=63.5μs(a)ディジタル画像(b)画素間隔と時間差

図Ａ．６飛越し操作とディジタル画像

172

附章Ａ

パソコンによる連続画像入力システム

縦方向で隣り合う画素間の時間差より小さい。画面としてみると，２つのフィールド間には全体的に 1/60 秒の時間差があり，動きのある部分は２つのフィールドで異なった画像になっている。フレームは 1/60 秒時間の異なる２つのフィールドを合成して１つにしたものであるから，動く部分は２重に見える（コラム２参照）。
（３）ディジタル動画像
ビデオ信号を一定時間間隔でディジタル画像に変換すれば，動きのある画像データが得られる。これをディジタル動画像と呼ぶ。上に述べた，動きのある部分は２重に見えるという問題は，ディジタル動画像をパソコン等で単に再生して楽しむ上では問題ないが，画像処理や画像解析を行う場合は考慮しなければならない。
ビデオ信号から動きのあるディジタル動画像を得る場合，基本的にフィールド単位でディジタル画像に変換することが望ましい。フィールド単位では１秒間に最大 60 画面取れそうであるが，そうはいかず 30 画面までである。つまり，厳密に見ると，奇数フィールドと偶数フィールドでは走査線１本分空間的な位置のずれがあり，画像の処理や解析で問題となることがある。そこでどちらか一方のフィールド（本システムでは奇数フィールド）だけ取るようにする。また，フィールド画面では，縦方向の空間的な画素間隔が２倍になる。画素間隔のアスペクト比（縦横比）を１：１に保つために，横方向の画素を間引く必要がある。
（４）カラー画像
光には R（赤），G(緑)，B（青）の３原色がある。この３原色の光を適当な強さで混合することにより，様々な色を表現できる。カラー画像は，RGB３色に対応する３枚の画像を合成したものと考えればよい。従ってカラー画像の取り込みは，色を RGB に分解し，それぞれ

コラム２：プログレッシブ（プログレス）スキャン CCD カメラ
プログレッシブスキャンとは、１画面（フレーム）の全画素読み出し方式を意味する。プログレッシブスキャン CCD カメラは、全画素読み出し方式の CCD カメラということになる。さらにこのようなカメラは高速な電子シャッター機能を合わせ持っており、１画面（フレーム）を 1/60～1/10000 秒で取り込むことができる（フレームシャッター機能）。高速シャッターを用いることにより、速い動きの対象もブレなく鮮明に取り込むことができる。プログレッシブスキャン CCD カメラの出力信号は、
ノンインターレススキャン（順次走査）またはインターレススキャン（飛越走査）で出力される。このような機能を持ったカメラでは、フレーム（またはフィールド）画
面内での同時性が確保できる。
このような機能を持ったカメラの例として、SONY の DXC-9000３）がある。このカメラは、フレームシャッター機能により撮影したフレーム画面を、NTSC 方式で２つのフィールド（偶数／奇数）画面として出力することもできる。この方式で撮影すると、ビデオ信号が NTSC 方式（インターレススキャン）であっても、動きのある部分が２重に見えることはない。

附章 A パソコンによる動画像連続入力システム

173の色の強さ（白黒の場合の輝度に相当）をディジタル値に変換すればよいことになる。カラー画像では白黒と比べデータ量は３倍になるが，多くの色を表現できる。例えば RGB 各 8 ビ
ット（256 階調）で量子化する場合，256×256×256＝1,677,216 色が表現できる。

Ａ．３

画像入出力ボード（１）画像入出力ボードの概要
本システムでは，画像入出力ボードとしてマイクロテクニカ社４）のボードを使用している。いくつかのタイプがあるが，本システムで対応しているものの主な仕様を表 A-2 にまとめる。ISA(Industry Standard Architecture)バス（IBM PCAT およびその互換機）用と PC98 バス（NEC PC98 シリーズ）用，および PCI(Peripheral Component Interconnect)バス用がある。
表にあげた全てのボードは，横 1024 画素×縦 512 画素を単位としたフレームメモリを１面または２面持っている。実際に取り込むときの画面の横の画素数は，640 または 512 である。横 640 画素のときは１つのフレームメモリに１画面分しか記憶できないが，横 512 画
素の場合は２画面分記憶できる。本システムでは横の画素数は 512 とする。
メモリアクセスには表に示すように３つの方式がある。I/O マップ方式では，フレームメ
モリのアクセスは１つの I/O ポートを通して行う。フレームメモリのアドレスは，画面のＸ
座標，Ｙ座標を別の I/O ポートを通して指定することで行う。この方式では，フレームメモ
リのアクセスを行うと，フレームメモリのアドレス（Ｘ座標）が自動的に＋１される機能が用意されており，通常この機能を使う。他の方式と比較すると，この方式はフレームメモリのアクセスに最も時間がかかる。I/O バンク方式では，フレームメモリの１ライン分が，１Ｍ以下の主メモリのアドレスに割り当てられる。割り当てられたライン内ならＣＰＵから直接アクセス可能である。割り当てるライン（画面のＹ座標）は別の I/O ポートを通して行う。プロテクトメモリ方式は，１Ｍ以上のアドレスにフレームメモリを割り当てるものである。フレームメモリへのアクセスは３つの方式の中では最も高速である。この方式ではフレームメモリの全アドレスは直接ＣＰＵからアクセス可能であるが，Windows 環境では特殊なデバイスドライバ等を必要とする。本システムでは，ISA バスおよび PC-98 バスのボードは

表２．１ 画像入出力ボードの主な仕様
表Ａ－２
画像入出力ボードの主な仕様
ボードタイプＭＴ９８－ＭＮ

ＭＴ９８－ＣＬ

ＭＴＡＴ－ＣＬ

ＭＴＡＴ－ＭＣMTPCI-MN

MTPCI-CL対応バス ＰＣ－９８

ＰＣ－９８

ＩＳＡ

ＩＳＡ

PCI

PCI

カラー

カラー（1677万色）

カラー（1677万色）

カラー（1677万色）

白黒（256階調）

カラー（1677万色）

白黒（256階調）

1024×512×8ビット 1024×512×24ビット 1024×512×24ビット 1024×512×24ビット 1024×512×8ビット 2面 1024×512×24ビット 2面
フレームメモリ 640×480 １画面

640×480 １画面

640×480 １画面

640×480 １画面

640×480 2画面

640×480 2画面

512×512 ２画面

512×512 ２画面

512×512 ２画面

512×512 ２画面

512×512 4画面

512×512 4画面

I/Oマップ方式

I/Oマップ方式

I/Oバンク方式

I/Oバンク方式

I/OポートI/Oポート

メモリアクセス

I/Oバンク方式
プロテクトメモリ方式

コントロール I/Oポート

I/Oバンク方式

プロテクトメモリ方式 プロテクトメモリ方式

プロテクトメモリ方式

I/OポートI/OポートI/Oポート174

附章Ａ

パソコンによる連続画像入力システム

特殊なデバイスドライバは使用せず，I/O マップ方式または I/O バンク方式でアクセスする。PCI バスのボードは，メーカ提供の DLL（Dynamic Link Library：ダイナミックリンク
ライブラリ）および VxD(Virtual X Driver 仮想ドライバ)を使用し，プロテクトメモリ方式
でアクセスする。
（２）画像入出力ボードの制御
画像入出力ボードの制御は，I/O ポートを通して行う。I/O ポートのアドレスは，PCI バ
ス以外のボードではボード上の DIP スイッチで設定する。PCI バスのボードでは，Windowsの機能（Plug&Play）によって自動的に設定される。自動設定された I/O ポートのアドレス
は，メーカ提供の画像入出力ボード用ライブラリを使って知ることができる。
MTPCI-CL について，I/O ポートの割り当てを表 A-3 に示す。ポート０（コマンド OUT/ス
テイタス IN）は，画像の取り込みや表示を制御するためのコマンド出力と，ビデオ信号やボードの状態を調べるためのステイタス入力として使われる。ポート２（モード OUT）は，ボードの動作モードの設定やフレームメモリの切り替えなどを行う。ポート４（Ｙアドレス
セット）は，ＣＰＵからフレームメモリへアクセスするときの画面上のＹ座標を指定する。
このポートは I/O バンク方式でフレームメモリをアクセスするときのみ意味があり，プロ
テクトメモリ方式では使われない。それぞれのポートの機能は図 A.7 に示すようになっている。
MT98-MN,MTAT-MC,MTPCI-MN の制御ポートはほとんど MTPCI-CL と同じである。MTAT-CL，

表２．２ MT PCI－ CL の制御ポート
ポート番号
ポート０
ポート２
ポート４

機

能

コマンド OUT（出力）ステイタス IN（入力）
モード OUT(出力)Ｙアドレスセット（出力）ｱｸｾｽ単位
バイト
バイト
ワード

表２．３ MTAT-CL/MT９８-CL の制御ポート
ポート番号

機

ポート０

データアクセス（入出力）

バイト

ポート２

Ｘアドレスセット（出力）

ワード

ポート４

Ｙアドレスセット（出力）

ワード

ポート６
ポート７

能

コマンド OUT（出力）ステイタス IN（入力）
モード OUT(出力)ｱｸｾｽ単位バイト
バイト

附章 A パソコンによる動画像連続入力システム

175

MT98-CL はフレームメモリへのアクセスが I/O マップ方式であるため，他と少し異なる。I/O
ポートの割り当てを表 A-4 に示す。ポート０，２，４は，フレームメモリのアクセス用で

表Ａ－３ MTPCI-CL の制御ボード

表 A－４ MTAT-CL／MT98-CL の制御ボード

176

附章Ａ

パソコンによる連続画像入力システム

附章 A パソコンによる動画像連続入力システム

モ ド（ポ ト７）
INP1
CL/MN

INP0

ESMD

RGMSK

RIMSK

FMSEL

177

512/640

水平画素数
0:512
1:640
フレームメモリ面
0:＃０
1:＃１
アドレスの自動インクリメント
省略（通常どちらも０とする）
同期信号モード
0:ノーマル
1:強制内部同期モード
入力信号選択0 0:ピンジャック
0 1:Ｓ端子
1 -:Ｄ－ＳＵＢ
カラーモード
0:カラー
1:白黒
図２．８
図 A．８ MTAT-CL/MT98-CL の制御ポートと機能ある。アクセスするアドレスをポート２（Ｘアドレスセット），ポート４（Ｙアドレスセット）で画面上の座標として指定し，ポート０（データアクセス）を通して読み書きする。ポート６，７はボードの制御用で，機能は MTPCI-CL のポート０，２とほとんど同じであるが，モード OUT ポートの機能が少し異なる。モード OUT ポートの機能を図 A.8 に示す。ビット
２，３でアドレスの自動インクリメントを指定できる。これを指定しておくと，横１ラインのデータを連続してアクセスする場合はいちいちアドレス（座標）を設定する必要はない。

Ａ．４

連続画像入力システム（１）システム構成
システムの構成を図 A.9 に示す。画像入出力ボードは，パソコンの拡張用バス（ISA バス，
PC-98 バスまたは PCI バス）に取り付けられている。ＴＶカメラからのビデオ信号は，画像入出力ボードの A/D 変換器でディジタル値に変換され，ボード上のフレームメモリに取り込まれる。１画面取り込んだ後，画像データはフレームメモリから主メモリへ転送される。
以下，適当な時間間隔でフレームメモリへの取り込みと主メモリへの転送を繰り返すこと
により，連続画像（動画像）の取り込みができる。一連の取り込みが終わったあと，主メモ

178

附章Ａ

パソコンによる連続画像入力システム

A/D
ＴＶカメラ

D/A

フレーム
メモリ

画像入出力ボード

主
メ
モ

ディスク

リ

ＴＶモニタ
パソコン
図２．９
図Ａ．９ システム構成

リの画像データはファイルとしてディスク等の外部記憶装置に保存する。画像データをフレームメモリから直接ディスクへ転送することも可能であるが，ディスクアクセスには時間がかかり，取り込み速度が遅くなる。少しでも高速化するために，主メモリをデータバッ
ファとして使う。従って，本システムでは主メモリ容量以上の動画データは取り込めない。
逆の手順により，保存した画像データをＴＶモニタで動画として再生することもできる。
すなわち，ディスクから画像データを主メモリに読み込み，適当な時間間隔で画像ボード上のフレームメモリに画面単位で転送する。フレームメモリのディジタルデータはボード上の D/A 変換器でアナログ値に変換され，同期信号と合成されてビデオ信号として出力される。これをＴＶモニタで映像として見る。
（２）ビデオ信号と取り込み開始のタイミング
画像ボードのステイタス入力から得られる情報のうち，V.SYNC（垂直同期信号：ステイタ
スの VD ビット），FIELD(フィールド信号：ステイタスの FI ビット），GET（取り込み中：
ステイタスの GET ビット）のタイミングチャートを図 A.10 に示す。１フレーム（1/30 秒）分である。V.SYNC は約 0.6ms 幅のパルスで，1/60 秒間隔で出ている。FIELD 信号は，奇数
フィールドでＬ，偶数フィールドでＨとなる。
画像の取り込みは，フィールドモードでは奇数フィールドを，フレームモードでは奇数フィールドから始まる１フレームを取ることにする。動画を対象とする場合，フィールドモー
ドで取り込むべきであると前に述べた。一方，動きがない静止画の場合はフレームモードでもよい。フレームモードの方が空間的な分解能を高くできる。そこで，本システムではフィールドモード／フレームモードどちらでも取り込めるようにした。奇数フィールドから取り込みを開始するために，本システムでは画像ボードの FIELD 信号をモニタし，FIELD 信号の立下りエッジで取り込みコマンド（コマンドの GET ビットに１を書きこむ）をボードに送ることにする。すなわち，タイミングチャートの START に上向き矢印で示すタイミングで取り込みコマンドを送るようにする。画像ボードは，取り込み命令を受け取ると，次の V.SYNCの立下りエッジから取り込みを開始するようになっている。取り込みを開附章 A パソコンによる動画像連続入力システム

同期取り込みフレーム(1/30 秒)

奇数フィールド(1/60 秒)V.SYNC179

偶数フィールド(1/60 秒)0.6m
現在の時刻＞

Ｙｅｓ

予定時刻-2ms

FIELD

GET

0.2m

0.2m

Ｎｏ

現在の時刻＜0.03m
予定時刻-2ms

エラー

Ｙｅｓ

0.03m

Ｎｏ

START

同期信号検出
図Ａ．１０ ビデオの同期信号と取り込み開始のタイミング
現在の時刻を記憶

同期信号検出ルーチン
取り込み開始現在の時刻＞
Ｎｏ
FILED=
予定時刻＋5ms
Ｎｏ
FIELD=LＮｏ

取り込み開始ルーチン

取り込みコマンド
Ｙｅｓ

エラー
GET=H

Ｎｏ

終了
Ｙｅｓ

FIELD
図２．１２
基本的な画像取り込みルーチン
図Ａ．１２
終了
Ｎｏ

終了
図２．１１
図Ａ．１１

同期信号検出と取り込み開始ルーチン

GET を戻す

180

附章Ａ

パソコンによる連続画像入力システム

始すると，図に示すようにステイタスの GET 信号がＨになる。GET 信号は，フレームモード
では１フレーム取り込むと自動的にＬに戻る。フィールドモードでは自動的にＬに戻らな
いので，GET 信号をモニタし取り込みを開始したら GET 信号をＬに戻すコマンド（コマンドの GET ビットに０を書き込む）を送る。なお，図の GET 信号は，フレームモードの場合である。以上のことを考慮した同期信号検出ルーチンおよび取り込み開始ルーチンのフローチ
ャートは,図 A.11 に示すようになる。
（３）基本的な取り込み手順
取り込みの時間間隔は，フレーム間隔（1/30 秒=33.3ms）単位で任意に設定でき，正確でなければならない。そのためにはシステムに高精度な時計が必要である。幸い Windows は
1ms 精度のクロックを提供しているので，これを用いることにする５）。ビデオ信号とシステムの同期を取りながら，一定時間間隔で画像を取り込む基本的な手順を図 A.12 のフローチ
ャートに示す。
同期取り込みルーチンでは，前回の取り込み時に同期信号を検出した時刻を記憶している。最初に，記憶されている時刻に指定された取り込み間隔を加え，次の取り込み時刻を計算する。そしてすでに予定時刻を過ぎていたらエラーとする。これは画面サイズが大きくて，フレームメモリから主メモリへのデータ転送に時間がかかり過ぎる場合に発生する。エラーでなければまだ予定時刻が来ていないことになる。そこで予定時刻の少し前（約 2ms 前）まで待ち，同期信号検出ルーチン値に入る。同期信号を検出すると，その時の時刻を記憶しておく。これが次回の取り込みにおける前回の取り込み時に同期信号を検出した時刻になる。そして取り込み開始ルーチンに入る。ここで取り込みを開始した時刻が予定時刻より大きく遅れていたら（5ms 以上としている）エラーとする。これはビデオ信号の質が悪い（ノイズが多くて同期信号が乱れている）場合に発生する。
計測を目的とした動画像取り込みシステムでは，指定した時間間隔で正確に取り込めることが重要である。そこで本システムでは取り込みを開始する前と後で時刻をチェックし，
一定時間間隔で取り込めないときは取り込みエラーとするようにした。
（４）フレームメモリへの取り込みと主メモリへの転送タイミング

附章 A パソコンによる動画像連続入力システム

181

画像入出力ボード上のフレームメモリはマルチポート DRAM を使用しており，画像の取り込みと関係なくＣＰＵ側からアクセスすることが可能である。また，フレームメモリは２画面分（以上）の画像データを記憶できる容量がある。そこで，取り込みを高速化するために，
画像データのフレームメモリへの取り込みと，フレームメモリから主メモリへの転送を並行して行うようにする。すなわち,図 A.13 のタイミングチャートに示すように,フレームメ
モリの＃０と＃１に交互に画像を取り込む。取り込み動作と並行して，画像を取り込んでい1 フレーム(1/30 秒)

V.SYNC

FILED
取り込み

MEM#0

転送

MEM#1

転送
取り込み

図２．１３
図Ａ．
１３ 画像の取り込みと転送のタイミング

ない方のフレームメモリの画像データを主メモリへ転送するようにする。

Ａ．５

システムの機能と操作（１）メインメニュー
本システムの全メニュー構成は図 A.14 のようになっており、システムを起動すると，図A.15 のようなメニュー画面が表示される。Windows 環境での利点は，グラフィカルなユーザ
インターフィースで分かりやすく，操作方法が統一されていることである。また，ほとんどの操作はマウスでできるようになっている。従って，Windows 上で動作するソフトを使ったことがあれば，初めて使うソフトでも比較的簡単に使える。本システムでも，このようなWindows 環境の利点を生かしたものになっている。以下，それぞれの機能について述べる。
（２）ボード設定
システムの設定として，最初に使用する画像入出力ボードを選択しなければならない。これを行うのがボード設定である。メインメニューでボード設定をクリックすると，図 A.16のようなダイアログボックスが表示される。ここで実際に使用する画像入出力ボードに合わせて，ボードタイプを選択する。また，画像取り込み時の画面のモード（フィールド／フ

182

附章Ａ

パソコンによる連続画像入力システムレーム），色（白黒／カラー）の設定もここでできるようになっている。システムや状況に合わせて各項目を設定し，ＯＫボタンをクリックすると完了する。ここで設定した内容はシステムに記憶されるようになっているので起動のたびに設定する必要はないが，最初に起動したときはボードタイプを実際のハードウエアと合わせておかなければならない。
（３）画像の取り込み
画像を取り込むことが本システムの中心的な機能である。メインメニューで取り込みをクリックすると，図 A.17 のダイアログボックスが表示される。
位置（サイズ）は，切り出す画面範囲を指定する。切り出す画面は四角形とし，その範囲の左上座標（位置）と縦横の長さ（サイズ）で指定する。上と左のスライドバーで位置を，右と下のスライドバーでサイズを調節する。それぞれのスライドバーの中にある四角のボ
タンをドラッグすると値を大きく変更できる。またそれぞれのスライドバーの両端に付いている▲のボタンをクリックすると細かく調節できる。このときＴＶモニタにはＴＶカメラからの映像が表示され，それに重ねて切り出す範囲が枠として表示されるようになっている。画面全体は，フレームモードでは 512×512 画素，フィールドモードでは 256×256 画
素なので，切り出す画面範囲の数値はこの範囲内である。
間隔（速度）は，画面単位での取り込み間隔である。ビデオ信号の１フレームの時間（1/30
秒=33.3ms）を１として指定する。テキストボックス内に直接数値を書き込むか，横に付いた小さな▲のボタンをクリックして値を増減する。テキストボックスの下に，ms 単位で取り込みの時間間隔が表示される。
枚数は取り込み画面数である。間隔（速度）と同じように，テキストボックス内に直接数値を書き込むか，横に付いた小さな▲のボタンをクリックして値を増減する。
フレームモードは，画面モードをフィールドにするかフレームにするか切り換える。また，
カラーモードは，白黒かカラーかを切り換えるが，当然カラーはカラー対応の画像入出力ボードのみ有効である。これら２つの項目は，メインメニューのボード設定でも行える。
ここまでの 5 項目のうち必要な項目の設定を変更し，これを有効にするには設定確定ボ
タンをクリックする。このとき主メモリに必要なサイズのバッファメモリを確保する。本シ
ステムは主メモリをバッファメモリとして使用し，一時的に取り込んだ全画像データをバッファメモリに置く。従って，画像データより大きな主メモリの容量が必要である。主メモ
リをチェックして，十分な大きさのバッファメモリが確保できないときは警告メッセージが表示される。
設定保存のボタンは，現在の設定をシステムに記憶する。設定読込ボタンは，前回システ
ムに記憶した設定値を読み出す。ある目的では，取り込む画像の設定値はいつも同じこともあるであろう。このようなときこの機能を使うと，毎回設定する必要がない。なお，ここで記憶した設定値は，システムの起動時に自動的に読み込まれる。変更取消ボタンは，全ての設定値を取り込みダイアログボックスが表示されたときの値に戻す。

附章 A パソコンによる動画像連続入力システム

183

画像の取り込み開始は，連続取込と手動取込の２つのボタンがある。連続取込では，上で設定した値で自動的に全画像データを取り込む。通常の取り込みではこちらを使用する。ここで，取り込む画面のサイズと間隔の値によっては，エラーメッセージが表示されることがある。ほとんどの場合，取り込む画像のサイズが多すぎて，フレームメモリからバッファメ
モリへの転送が追いつかないときに発生する。これはハード的な性能からくる制限で，後で詳しく述べる。このような場合，取り込む画面サイズを小さくするか，間隔を大きくする。
手動取込では，間隔（速度）の設定値は無視され，このボタンをクリックするごとに１画面取り込まれる。映像を見ながら，ある特定の場面を取り込む時に使用する。なお，取り込み
中，ESC キーで中止することができる。
終了ボタンで取り込みを終わり，メインメニューに戻る。
（４） 表示バッファメモリにある画像データを，画像入出力ボードを通してＴＶモニタに表示する機能である。メインメニューの表示をクリックすると，図 A.18 のようなダイアログボック
スが表示される。上部の画像パラメータ欄に取り込んだときの設定値が表示されているが，この設定値を一部変更して表示する機能がある。取り込んだときと異なる速度にしたり，画像データの全フレームでなくある範囲だけ表示することができる。
設定欄の間隔（速度）は，画面の表示間隔を指定する。初期値は画像を取り込んだときの値である。初期値より小さくすると早送りのようになり，大きくするとゆっくりになる。範
囲は，表示する範囲を画面の番号（フレーム）で指定する。初期値は全体を表示するような範囲指定になっている。スタートの値を大きくすると途中から表示を開始し，エンドを小さくすると途中で終わる。
開始ボタンをクリックすると表示を開始し，動く映像としてＴＶモニタに表示される。また，開始ボタンを使わずに，ステップの小さな▲をクリックすると，１画面ずつ進めたり戻したりできる。なお，動画表示は ESC キーで中止できる。
標準設定ボタンは，設定欄の各項目の値を初期値（画像を取り込んだときの値）に戻す。
終了ボタンは，表示を終わりメインメニューに戻る。
当然であるが，バッファメモリに画像データが入っていないと表示されない。 (2)の取り込みを行うか，(5)の読み出しを行うかで，バッファメモリに画像データを入れる。
（５）保存と読み出し
バッファメモリに取り込んだ画像データをディスクに保存したり，逆にディスクに保存した画像データをバッファメモリに読み出す機能である。メインメニューのファイルをクリックすると，図 A.19 のようなプルダウンメニューが現れる。
画像データをディスクに保存する場合，プルダウンメニューの保存を選択する。すると図A.20 のようなダイアログボックスが表示される。上部の画像パラメータ欄には，画像を取

184

附章Ａ

パソコンによる連続画像入力システム

り込んだときの設定値が表示されている。中央部の範囲（フレーム）欄は，保存する範囲を画面番号で指定する。初期値は全範囲になっている。これは，いつ起こるかわからない現象を取り込むような場合に便利な機能である。このような場合，早めに取り込みを開始して長めに取り込んでおく。そして取り込んだあと表示して必要な範囲を選び，ディスクに保存す
るようにする。標準設定ボタンは，範囲を初期値（画像を取り込んだときの値）に戻す。キャンセルボタンは，保存を中止する。ＯＫボタンをクリックすると，さらに図 A.21 のようなダイアログボックスが表示される。これはファイル名を付けて保存する時の Windows 標
準のダイアログボックスである。ファイル名の欄に適当な名前を打ち込み，OK ボタンをクリックする。なお，本システムではファイル名の拡張子は prm（Parameters：パラメータ）と決められているので，それ以外を指定しても無効である。また他の Windows プログラムと同様，すでにあるファイルに上書きすることもできる。
画像データをディスクから読み出す場合，プルダウンメニューの読み出しを選択する。すると図 A.22 のようなダイアログボックスが表示される。
これはファイルを開く時の Windows
標準の形式で，拡張子 prm のファイルだけ表示されるようになっている。他の Windows プ
ログラムと同じ要領で，読み込むファイルを選択する。画像データは，主メモリに確保したバッファメモリに全て読み込む。メモリ容量をチェックし，十分なバッファメモリが確保できないときはエラーメッセージを表示し読み込みを中止する。
プルダウンメニュー（図 A.19）にはもう１つ保存(BMP)がある。これは，そのときにＴＶ
モニタに表示されている画面（フレームメモリにある画像データ）を Windows 標準の画像フ
ァイル形式である BMP 形式で保存するものである。従ってこれは動画ではなく１枚の静止画である。BMP 形式で保存すれば，Windows 上の色々な画像ツールで処理することができる。
プルダウンメニューの終了はメインメニューの終了と同じで，画像取り込みシステムを終了する。
（６）ボード制御
画像入出力ボードにコマンドを送り，直接制御する機能である。ボードの動作チェックを行うためのもので，基本的なものしかない。
メインメニューのボード制御をクリックすると図 A.23 のようなダイアログボックスが表示される。スルーは，ＴＶカメラからのビデオ信号をそのままＴＶモニタに表示する。ホールドは，その瞬間のビデオ信号をフレームメモリに取り込み，それをＴＶモニタに表示する。
クリアは，フレームメモリをクリアする（０を書きこむ）。ＴＶモニタは真っ黒になる。ボ
ード設定は，メインメニューのボード設定と同じである。終了でメインメニューに戻る。
（７）情報
当初はシステム開発時のデバッグ用として作成したものでいくつかの情報を表示するが，通常の使用時にも有用なものもあるのでそのままにしてある。情報の表示場所は，起動時の附章 A パソコンによる動画像連続入力システム

185

メインメニューのウィンドウである。ウインドウサイズを縦に大きくすると見えるようになる。不要であればまた小さくしておけばよい。
情報メニューをクリックすると図 A.24 のようなプルダウンメニューが現れる。最初の画
像パラメータは，現在設定されている画像の設定値に加えて，全画像データサイズ，全取り込み時間が表示される。起動時はこの情報が表示されるようになっている。図 A.24 はウイ
ンドウサイズを縦に大きくし，画像パラメータが表示されている状態である。
メモリ情報は，バッファメモリとして現在確保している容量また，確保可能な最大容量等を調べて表示する。データ転送速度は，現在設定されている取り込み画面サイズで，フレー
ムメモリからバッファメモリへの転送時間を表示する。取り込み時にエラーメッセージが出 る 場 合 ， こ こ て チ ェ ッ ク し て み る と よ い 。 NEC PC-98 シ リ ー ズ 用 の 初 期 のWindowns95(4.00.950a)はタイマー機能にバグがあり，正確でなかった。タイマーチェック
はこれを調べるものである。バージョンは，本システムのバージョンを表示する。

186

附章Ａ

パソコンによる連続画像入力システム

ファイル
保

存

範囲（フレーム）

読み出し
保存(BMP)
ボード制御
スルー
ホールド
クリア
ボード設定
取り込み
設

定

連続取込

表

位置（サイズ）間隔（速度）
枚数

手動取込

フレームモード設

定間隔（速度）

開

始

示

ボード設定

範囲（フレーム）

ボードタイプ
モード
カラー

情

報

終

了

各種情報

図２．１４ メニューの構成
図Ａ．１４

附章 A パソコンによる動画像連続入力システム

図２．１４ システム起動画面（メニュー画面）
図Ａ．１５

図２．１６
図Ａ．１６ ボード設定ダイアログボックス

図２．１７ 取り込みのダイアログボックス
図Ａ．１７

187

188

附章Ａ

パソコンによる連続画像入力システム

図２．１８ 表示のダイアログボックス
図Ａ．１８

図Ａ．１９ ファイルのプルダウンメニュー
図２．１９

図２．２０
図Ａ．２０ データ保存のダイアログボックス

附章 A パソコンによる動画像連続入力システム

図Ａ．２１ ファイル名を付けて保存のダイアログボックス
図２．２１

図２．２２
図Ａ．２２ ファイルを開くのダイアログボックス

189

190

附章Ａ

Ａ．６

パソコンによる連続画像入力システム

データファイルと初期化ファイル（１）データファイルのフォーマット
取り込んだ画像のデータは，２つのファイルで保存される。１つはパラメータファイルで，拡張子が“prm”である。もう１つはイメージファイルで，拡張子が“img”である。
パラメータファイルはテキスト形式で，以下のような書式で取り込み時の画像のパラメ

図２．２３ ボード制御のダイアログボックス

図２．２４ 情報のプルダウンメニューと情報表示画面

ータ（設定値）が書き込まれている。
［パラメータファイル（*.prm）の書式］
イメージデータファイルの名前

附章 A パソコンによる動画像連続入力システム

191

左上のＸ座標，左上のＹ座標，Ｘ方向の画素数，Ｙ方向の画素数
枚数
取り込み間隔イメージデータはバイナリ形式で，画像データだけが書き込まれている。画面の左上から右下に向かって，１バイト／１画素で輝度情報が格納されている。カラーの場合は，画面単位でＲ，Ｇ，Ｂの順に並んでいる。これが取り込んだ画面数続く。
［イメージファイル(*.img)の書式］
I(x0,y0,t0), I(x1,y0,t0), I(x2,y0,t0),．．．

１ライン

I(x0,y1,t0), I(x1,y1,t0), I(x2,y1,t0),．．．
.

１画面

.
.
I(x0,y0,t1), I(x1,y0,t1), I(x2,y0,t1),．．．
.
.
.
（２）初期化ファイル
本システムでは，各種の設定値を初期化ファイル（iswin32.ini）に保存し，システムの起動時または必要なときに読み込むようになっている。初期化ファイルの内容をリスト１に示す。
画像ボードの I/O ポートアドレスやフレームメモリのアドレスは任意に設定できるようになっている。ボードに設定したこれらの値と本システムを合わせなければシステムは動作しない。これらの情報を記述しているのが初期化ファイルの中ほどにある“；*** 各ボードの情報 ***”より下に記述されており，システム起動時に読み込まれる。ここには現在本システムで対応している６種類のボードのセクションがある。
それぞれのボードのセクションで，I/O ポートの開始アドレスを IO_BASE に，メモリの開始アドレスを MEM_BASE に 16 進数で記述する。ここで，MT98-CL，MTAT-CL ではフレームメ
モリを I/O マップ方式でアクセスするのでメモリアドレスは必要ない。これらのボードでは MEM_BASE の項目は不要であるが，他のボードと書式を合わせるために残してある。また，
PCI バス用の MTPCI-MN/CL では，I/O ポートアドレスとメモリアドレスはパソコン起動時にWindows の機能（Plug＆Play）によって他のハードウエアとアドレスが重ならないように自

192

附章Ａ

パソコンによる連続画像入力システム

リスト１ 初期化ファイルの内容[Window]
Size_X=461
Size_Y=46; 起動時のウィンドウサイズ[Image Prms]
X0=0
Y0=0
XL=256
YL=256
SI=1
NF=100; 起動時の画像パラメータ[Board]TYPE=5 MTPCI-CL
FRAME=0
COLOR=0; 起動時の画像ボードと設定;*** 各ボードの情報 ***[MT98-MN]
TYPE=0COLOR=0
IO_BASE=0x7d0
MEM_BASE=0xdfc0
WAIT_MODE=0[MT98-CL]
TYPE=1COLOR=1
IO_BASE=0x7d0
MEM_BASE=0
WAIT_MODE=0[MTAT-MC]
TYPE=2COLOR=1
IO_BASE=0x320
MEM_BASE=0xdf00
WAIT_MODE=0[MTAT-CL]
TYPE=3
COLOR=1
IO_BASE=0x320
MEM_BASE=0xdf00
WAIT_MODE=0[MTPCI-MN]
TYPE=4COLOR=0
IO_BASE=0
MEM_BASE=0
WAIT_MODE=0[MTPCI-CL]
TYPE=5COLOR=1
IO_BASE=0
MEM_BASE=0
WAIT MODE=0

附章 A パソコンによる動画像連続入力システム

193

動的に設定される。ボードの設定値は，メーカ提供のボード制御用ライブラリを通して得るようになっている。
従って PCI バス用ボードでは IO_BASE と MEM_BASE の項目は必要ないが，やはり他のボードと書式を合わせるために残してある。
WAIT_MODE は，取り込み時にボード上のフレームメモリを２画面分使って取り込みと転送を並行して行うか，フレームメモリを１画面分しか使わず，取り込みと転送を直列に行うかを指定するフラグである。ボードによって取り込みと転送を並行して行うとデータに雑音が入ることがある。ボードメーカに相談したが，原因はよくわからない。このようなとき，
取り込みと転送を直列に行うと雑音が入らなくなる。通常は”０“で並行動作とするが，雑音が入るとき”１“にしてみる。
TYPE はシステムで識別するためのボードタイプの番号である。COLOR の項目は，ボードが白黒用（0）かカラー用（1）かを示す。TYPE と COLOR の項目は変更してはいけない。
その他のセクションはシステムが自動的に書き込むので手動で書き込んだり変更する必要はない。[Window]セクションは，メインのメニューウィンドウのサイズが保存されている。
[Image Prms]セクションは取り込む画像のパラメータである。取り込みのダイアログボッ
クスで，設定保存のボタンを押されたときの値が書き込まれている。[Board]セクションは，
ボード設定ダイアログボックスで選択したボードタイプが書き込まれている。

Ａ．７

システムの性能および仕様（１）データ転送速度
本システムでは，取り込み可能な画面サイズや時間間隔に制限がある。画像取り込み時に行っている処理は，フレームメモリから主メモリへのデータ転送がほとんどである。しかしながらデータ転送速度が十分でなく，全てのボードで全画面をリアルタイム（フレーム間隔＝1/30 秒）で取り込むことはできない。
図 A.25 は，フレームメモリから主メモリへのデータ転送時間を計測した結果である。ここでは取り込み範囲を画面の中央付近の正方形とし，その１辺の画素数を横軸にとった。そして縦軸に転送時間をとった。図(a)に MT98-CL を，図(b)に MTAT-MC を，図(c)に MTPCI-CLの結果を示す。フィールドモードのみ示す。それぞれ２本のグラフは，カラーと白黒である。
また，横軸に平行な点線は 1/30 秒のラインであり，グラフがこの線より下であればリアル
タイムで取り込み可能であることを示す。
ボードによって転送速度に差があることがわかる。転送速度の違いは，フレームメモリのアクセス方法の違いからくると考えられる。
PCI バスのプロテクトメモリ方式である MTPCICL が最も高速である。その次が I/O バンク方式の MTAT-MC である。最も遅いのは I/O マッ
プ方式である MT98-CL/MTAT-CL である。一般に，I/O ポートのアクセスはメモリアクセスに比べて時間がかかる。このため I/O マップ方式は遅くなる。次に I/O バンク方式とプロテ
クトメモリ方式を比べてみると，I/O バンク方式ではバス（ISA バスまたは PC‐98 バ

パソコンによる連続画像入力システム(a)MT98-CL
500

カラー
白黒

転送時間(ms)

400
300
200
100
0
0

64

128

192

256

画面サイズ（画素）(b)MTAT-MC
250

カラー
白黒
200
転送時間(ms)

附章Ａ

150

100

50

0
0

64

128

192

256

192

256

画面サイズ（画素）(c)MTPCI-CL
100

カラー
白黒

80
転送時間(ms)

194

60
40
20
0
0

64

128
画面サイズ（画素）

図 A．２５ 画面サイズとデータ転送時間

附章 A パソコンによる動画像連続入力システム

195ス）の仕様から，8 または 16 ビットアクセスとなる。これに対してプロテクトメモリ方式
では 32 ビットアクセスが可能である。一度にまとめてアクセスできる分，プロテクトメモ
リ方式の方が高速となる。
それぞれのボードでカラーと白黒を比較してみると，同じ画面サイズで転送時間はおよ
そ３倍になっている。カラーではＲＧＢの３色あるのに対して白黒では明暗だけであり，白黒に比べてカラーでは画像データが３倍になるためである。
MTPCI-CL の白黒では，どの画面サイズでも転送時間は点線より下にあり，全画面がリアルタイムで取り込めることを示している。しかしカラーでは，リアルタイムで取り込めるのは 160×160 画素までである。リアルタイムを優先する場合は画面サイズを小さくし，画面サイズを優先する場合は取り込み間隔を長くしなければならない。
データ転送速度は，ＣＰＵ性能に直接比例しない。MTPCI-CL の場合で，いくつかの機種で計測した結果を表 A-5 に示す。フレームモードの白黒で，画面サイズを 256×256 画素とした場合の転送時間である。ＣＰＵクロック周波数が高いほど転送時間が短いとは言えないことが分かる。これはマザーボードの違い，特に CPU バスと PCI バスを橋渡しするチッ

プセットの性能の違いが影響していると思われる。

表２．４
表Ａ－５ 機種によるデータ転送速度の違い

マザーボードＣＰＵ（クロック）

チップセット ベースクロック 転送時間

ASUS P5A

K6-2(350MHz)

ALi Alladin V

100MHz25.2msASUS P2L97

PentiumⅡ(233MHz) i440LX AGP

66MHz

31.5msASUS P3B-F

PentiumⅡ(400MHz) i440BX AGP

100MHz33.2msASUS P2B

PentiumⅡ(350MHz) i440BX AGP

100MHz33.5ms

BIOSTAR M7TBD PentiumⅣ(1.9ＧHz) i845
400MHz 40.0ms
PCIクロック：33MHz
OS：Windows98,Me
画像ボード：MTPCI-CL
フィールドモード,256×256画素,白黒（２）システムの仕様
本システムの主な仕様を表 A-6 にまとめる。動作環境（ＯＳ）としては，Windows(9X, Me,
2000, Xp)の載った NEC PC98 シリーズまたは IBM PCAT およびその互換機パソコンである。
画像取り込みボードはマイクロテクニカ社のもので，現在５つのタイプに対応している。
画像取り込み時のモードとして，カラー／白黒，フレーム／フィールドが切り替えられる。
また取り込み画像のパラメータとして，画面の位置，サイズ，時間間隔，枚数が任意に指定できる。ただし，全画面範囲を取り込むときの最小時間間隔，またはリアルタイム（1/30 秒）
で取り込むことのできる最大画面サイズは，ボードのタイプおよびマシン性能に依存する

196

附章Ａ

パソコンによる連続画像入力システム※２。

本システムはパソコンの物理メモリをバッファとして用いているので，物理メモリ容量からＯＳが最低必要とするメモリ容量を引いた容量以上の画像データは取り込めない。Ｏ
Ｓが最低必要とするメモリ容量は，経験的なものとして Windows9X, Me では 30MB 程度，
Windows2000, Xp では 50MB 程度である。

表２．５
表Ａ－６ システムの主な仕様

Ｗｉｎｄｏｗｓ（9X,Me,2000,Xp）
ＭＴＡＴ－ＭＣ（カラー）
ISAバス
ＭＴＡＴ－ＣＬ（カラー）対応画像ボード
ＭＴ９８－ＭＮ（白黒）ＰＣ９８バスＭＴ９８－ＣＬ（カラー）
PCIバス
ＭＴ９８－ＣＬ（カラー）モード
フレーム／フィールド色
カラー／白黒＊１
画像取り込み時に設＊２定可能なパラメータ 位置，サイズ 画素単位で任意
間隔
フレーム間隔（1/30秒）で任意＊３
画面数
任意＊４
動作環境（ＯＳ）＊１：カラーはカラー対応画像ボードの場合だけ＊２：フレームモードでは512×512まで，フィールドモードでは256×256まで＊３：最小値は画面サイズ，ボードの種類，ＣＰＵ性能による＊４：最大値は物理メモリ容量とＯＳによる（経験的な値として，物理メモリ－30～50MB程度）

コラム３：私の開発環境
マシン：フロンティア神代オリジナル
マザーボード：ASUS P5A（チップセット：Ali Alladin V，ベースクロック 100MHz，PCI クロック：33MHz）
ＣＰＵ：K6-2 350MHz
メモリ：128MB

本書執筆時以降、フォトロン社６）の画像取り込みボード FDM-PCI を使用した新たな取り込みシステムの開発した。このボードを使用したシステムでは、カラー／白黒とも全画
面範囲（320×240 画素）でビデオレート（30 フレーム／秒）での取り込みが可能である。
※２

附章 A パソコンによる動画像連続入力システム

Ａ．８

197

Ｌｉｎｕｘによる動画像記録システム（１）はじめに
本節では，最近話題となっているフリーソフトウェアの一つである Linux オペレーティ
ングシステム（ＯＳ）の下で動作するパーソナルコンピュータ（PC）を使用した動画像記録システムを紹介する。Linux は POSIX(Portable Operating System Interface Based On
Unix)準拠のＯＳであり，UNIX の下で開発されてきた多くの画像処理用ツールが使用できる。
前節では，MS-Windows の下でデバイスドライバ（DLL）を工夫することで，主記憶上にカラー動画像をリアルタイムで記録するシステムに関して紹介したが，ここでは，記録媒体としてハードディスク装置（HDD）を使用することで，長時間の動画像記録を可能とするシス
テムの基本概念について説明し，その構成及びプログラムを紹介する。実施例では，ＯＳとして標準的な Linux カーネル７）を使用し，1 フレーム 512×512［pixel］の画像を記録することを想定し，その基本的な手法を示す。標準的な Linux カーネルの下でシステムを実現することは，基本機能を理解するのには適当であるが，Linux は基本的にノンプリエンプティブなＯＳであるため，ここで紹介するプログラムだけでは完全なリアルタイム，すなわち定サンプリングレートでの動画像記録はできない。定サンプリングレートでの動画記録を行
うには，本システムを Linux カーネルを拡張してリアルタイムカーネル化した，RT-Linux８）
や ART-Linux９）に移植することやスケジューラの最適化が必要になる。Linux のリアルタイ
ムカーネル化の手法は，現在，完全に確立したものとは言えず，また，機種による依存性もあるため本書ではその具体的な事例は示さない。しかし，ここで紹介するシステムの移植は比較的容易だと考えられるので，試みられたい。
Linux を使用して動画像記録システムを構築する利点として次の点が挙げられる。
１） UNIX に準拠した環境で画像処理プログラムが開発できる
２） マルチプログラミング動作が比較的安定している
３） ネットワーク環境が充実しており，ネットワークを介した操作などが容易に実現できる
４） 多くの商用ソフトやフリーソフトウェアを使用することができる
５） デバイスドライバを作成するための情報が十分に公開されている
また，欠点としては，リアルタイムで動画像を取り込むにはリアルタイムカーネルの構築とそれに伴う機種依存の問題を解決しなければならない，ユーザインタフェースが統一されていない（柔軟とも言えるが）などがある。
ところで，一般的に動画像ボードを装着したマシンはそのデバイスを優先して使用することから，基本的にルート権限（スーパーユーザ権限）で画像取り込みプログラムの実行を行うことになる。さらに，コンピュータのリソース，特に動画像データを記録するファイル
システム（HDD）のリソースの多くを占有するため，画像処理プログラムはネットワーク上の他のコンピュータで実行する構成を取ることが望ましい。この観点からネットワーク環境に優れた Linux は動画像記録・処理に適したＯＳの一つになり得ると考える。

198

附章Ａ

パソコンによる連続画像入力システム（２）システム構成
図 A.26 に本システムの構成図を示す。システムは１台のＡＴ互換ＰＣ（以下 Linux マシン）を中心として構成されており，マイクロテクニカ社製の画像入出力ボード MTPCI-MN（表A-2 参照）を介して，カメラ及びモニタを Linux マシンと接続している。動画像をアクセス
速度の遅い HDD に記録することから，このシステムでは白黒画像を対象とした。カメラなどの画像センサから取り込まれる入力信号は，標準的な NTSC コンポジットビデオ信号を対象としており，８ビット A/D コンバータによりディジタル量に変換されてボード上のフレー
ムメモリに記録される。カメラ，モニタは各々BNC 接栓による同軸ケーブルで画像入出力ボードに接続されている。Linux マシンではデバイスメモリ（PCI バス上の画像入出力ボード
上のフレームメモリ）をユーザアドレス空間の特定領域にマッピングすることにより，画像データを直接扱えるようにする。今回使用した Linux マシンのソフトウェア開発環境を表
A-7 に示す。

画像入力ボード（MTPCI-MN）

モニタ

D/A
フレーム
A/D

メモリ

PCI バスカメラ

8bit 階調
Linux システム

メモリ

（A/T 互換機）
512[pixel]
N枚

HDD
512[pixel]

図２．２６ 画像取り込みシステムの構成
図Ａ．２６

附章 A パソコンによる動画像連続入力システム

199

表２．６ システム開発環境
表Ａ－７
項 目

仕 様

PC

AT 互換機CPU

Pentium

主記憶容量

80MB

HDD 容量ＯＳ
開発言語

３GB（Ultra Wide SCSI）
Red Hat Linux 5.2（kernel－2.0.36）
gcc－2.7.2 ，Tcl/Tk8.0

画像出力では，カメラからの入力画像（但し，A/D，D/A 変換を通る），または，D/A コン
バータを介してのフレームメモリの内容が常時 NTSC 信号として出力される。従って，フレームメモリに PCI バス側から画像データを書き込むことにより，記録保存しておいたディ
ジタル画像をモニタ上に再生して画像データを確認することが容易にできる。
（３）画像取り込みのハードウェアタイミングMTPCI-MN は２つの I/O ポートを有するが，このうちポート０が画像入出力制御用に，コ
マンド OUT（9bit データ），ステイタス IN（6bit データ）として使用される。各ポートの機能の説明を図 A.27 に示す。フレームメモリへの画像取り込みは，このポート０を操作することにより行われる。画像取り込みのタイミングチャートの概略を図 A.28 に示す。
ここでは，フレームモードで 512×512［pixel］の画像を取り込む場合について，その手順を説明する。まず，MTPCI-MN の I/O ポートを FFF4h～FFF5h の２バイトに割り当てる。この時ポート０は，
ポート０ （FFF4h～FFF5h）

コマンドポート

9bit

OUT ポート

スティタスポート

6bit

IN ポートとなる。この割り当ては PCI バスのコンフィギュレーション空間への操作で行えるが，これについては後述する。
図 A.27 のポートの機能に従って考えると，画像をフレーム毎に取り込む場合のコマンド
列の概略は次のようになる。
１）OUT ポートFFF4h に 0098h を出力する。

２）IN ポートFFF4h のビット４（D4）をチェックし，0 になるまで待つ。

３）OUT ポートFFF4h に 0010h を出力する。

１）で OUT ポートのビット３（D3），ビット７（D7）を１にすることで，そのビットが１になった直後の垂直同期信号からフレームメモリへの画像取り込みが開始される。また，

200

附章Ａ

パソコンによる連続画像入力システム

コマンド OUT
D8
D7
D6
D5
D4
D3
D2
D1
D0
FM/FL
FSEL
OSEL
GMD
ESMD
FMSEL0512/640FMSEL1 GET
・ D8：FMSEL1，D1：FMSEL0 --- 入力画像を取り込むフレームメモリの面選択．
・ D7：GET --- GET=1 で次の垂直同期信号からフレームメモリに画像入力開始．
・ D6：FM/FL --- フレームメモリ入出力モード選択． ０：フレーム，１：フィールド・ D5：FSEL --- フィールドモード時 フレームメモリの面を切換えるビット
フレームモード時 フィールド信号の極性変換ビット
・ D4：OSEL --- モニタ出力の切換え． ０：入力画像，１：フレームメモリ
・ D3：GMD --- 連続画像取り込みの選択． ０：連続 GET，１：自動終了
・ D2：ESMD --- 同期信号の選択． ０：カメラ同期信号，１：本基板内の同期信号・ D0：512/640 --- 水平 1 ラインのドット数の設定． ０：５１２，１：６４０
ステイタス IN
D7
D6
D5
D4
D3
D2
D1
D0
GET
VD
FI
GETS
FLINE
SYDET
未使用
未使用
・ D7：GET，D4：GETS --- GET 中を示す． ０：GET 中でない，１：GET 中GET は垂直同期信号に同期しセット，リセット．
GETS は GET コマンドでセット，終了は GET ビットと同じ
・ D6：VD --- 垂直同期信号タイミング．
・ D5：FI --- インタレースのフィールドを示すタイミング信号．垂直同期信号毎に反転．
０：奇数フィールド，１：偶数フィールド・ D3：FLINE --- 各フィールドの有効画像の最初の１ライン時のみ「１」．
・ D2：SYDET --- カメラなどが接続されている時，「１」．
図Ａ．２７ ポート０の機能
図２．２７
ポート０の機能1 フレーム（1/30[sec]）

垂直同期信

奇数ﾌｨｰﾙﾄﾞ

偶数ﾌｨｰﾙﾄﾞコマンド OUT（D7）
ステイタス IN
（D7）
ステイタス IN
（D4）
図Ａ．２８ 画像取り込みのタイミングチャート
図２．２８

附章 A パソコンによる動画像連続入力システム

201

D7 が１になると同時に IN ポートのビット４（D4）が１となり，垂直同期信号に同期して，画像取り込みが終了すると D4 が 0 となる。２）ではこの IN ポートの D4 をチェックすることにより画像取り込みの終了を確認している。３）では OUT ポートの D３，D7 を０として画像取り込みを終了している。この操作を繰り返すことで，フレームメモリ上に，コマンドを送った時点の画像が取り込まれる。MTPCI-MN のフレームメモリはデュアルポートメモリ構成となっており，任意の時点で PCI バスを介してメモリ内容を読み取ることが可能となっている。従って，１フレーム画像を取り込んだ時点で，そのフレームメモリ上のディジタル
画像データを HDD に転送すれば連続した画像を記録・保存できる。この際，HDD へのデータ転送時間を考慮して，すなわち，データ転送が終了した時点で次の画像を取り込むようにす
れば，定サンプリングレートでの連続画像記録が可能となる。但し，この実現には前述のリ
アルタイムカーネルが必要となる。
（４）PCI バス制御の概要
MTPCI-MN は PCI バス上のデバイスである。この PCI バスは，パーソナルコンピュータからワークステーションに亙る標準的なインタフェース規格となっている。この PCI バスを
Linux マシンからアクセスするための基本技術を説明する。先に説明した MT-PCIMN 上のデュアルポート構成のフレームメモリは，この PCI バス上の物理アドレス空間に割り当てられている。
Linux では I/O ポートに割り当てられたハードウエアにアプリケーションレベルで自由にアクセスすることを許可するための関数 iopl()が用意されている。iopl()は引数で指定した I/O 特権レベルに現在のプロセスを変更する。iopl()を用いて I/O 特権レベルを変更することにより，PCI バス上のコンフィギュレーション・レジスタ，I/O ポート，フレーム
メモリに Linux マシン側からアクセスできるようになる。また，inl()，outl()などの I/O関数を使用したポートへのアクセスが可能となる。
PCI バスには，接続するデバイスの特性・種類・動作方式などを設定するためのコンフィ
ギュレーション・レジスタがある。このレジスタにアクセスするためのアドレス空間がコン
フィギュレーション・アドレス空間であり，この空間にアクセスするための PCI バスサイク
ルをコンフィギュレーション・サイクルという。PCI デバイスは，それぞれ一式のコンフィ
ギュレーション・レジスタを持っている。図 A.29 にコンフィギュレーション空間ヘッダを示す。
MTPCI-MN における PCI コンフィギュレーション・レジスタの設定に関して以下に説明する。全ての PCI デバイスは，コンフィグレーション・レジスタの 00h～03h にデバイス固有の値を格納している。従って，この固有な値を持つ PCI デバイスを PCI バスに接続された全ての拡張ボードの中から探すことにより，MTPCI-MN のコンフィグレーション・レジスタ，
すなわち MTPCI-MN ボードを特定できる。MTPCI-MN の場合はこの固有な値，すなわちベンダ
ＩＤ，及びデバイスＩＤは，

202

附章Ａ

PCI
ｺﾝﾌｨｷﾞｭﾚｰｼｮﾝ
ﾚｼﾞｽﾀｱﾄﾞﾚｽ

パソコンによる連続画像入力システム

31

24 23

16 15

００H

Device ID（9050H）

０４H

Status０８HClass Code

０CH

BIST

87

0

Vendor ID (10B5H)

No

CommandYes
Revision ID

Header TypePCI
Writable

Latency Timer

Cache Line SizeNo
Yes(7:0)

１０H

PCI Base Address 0 for Memory Mapped Configuration Register

Yes

１４H

PCI Base Address 1 for I/O Mapped Configuration Register

Yes

１８H

PCI Base Address 2 for Local Address Space0 (ﾌﾟﾛﾃｸﾄﾒﾓﾘｱﾄﾞﾚｽｾｯﾄ)

Yes

１CH

PCI Base Address 3 for Local Address Space1 (ﾘｱﾙﾒﾓﾘｱﾄﾞﾚｽｾｯﾄ)

Yes

２０H

PCI Base Address 4 for Local Address Space2 (I/O ﾎﾟｰﾄｱﾄﾞﾚｽ)D0=1

Yes

２４H

PCI Base Address 5 for Local Address Space3

Yes

２８H

Cardbus CIS Pointer ( Not Supported)

Yes

２CH

Subsystem ID

Subsystem Vendor ID

３０H

PCI Base Address for Local Expansion ROM

Yes

３４H

Reserved

No

３８H

Reserved

No

３CH

Max Lat

Min Gnt

Interrupt Pin

Interrupt LineNo

Yes(7:0)

図Ａ．２９
図２．２９ コンフィギュレーション空間ヘッダ
・ベンダＩＤ（10B5h）

・デバイスＩＤ （9050h）となっている。従って，コンフィグレーション・レジスタ・アドレス 00h～03h のデータが905010B5h になるボードを探せば良い。
コンフィグレーション・レジスタの 18h～1Bh は，Local Address Space 0 のための PCI
Base Address２で，この 18h～1Bh にはプロテクトモード（リニアアドレス）で使用する場
合の PCI バス上のメモリのスタートアドレスを書き込む。ここでは，スタートアドレスとして Linux システムの物理メモリ（主記憶メモリ）が存在しない 90000000h 以上のアドレスにセットする。このアドレスがフレームメモリの PCI バス側（Linux システム側）でのスター

附章 A パソコンによる動画像連続入力システム

203

トアドレスとなる。
（５）メモリマッピング
カメラから取り込まれた画像は，MTPCI-MN 上のフレームメモリに格納されるが，このままでは Linux システムからフレームメモリへは直接アクセスできない。アクセスできるよ
うにするには，このフレームメモリ空間を Linux の仮想アドレス空間に割り当ててやる必要がある。更に，Linux システムからフレームメモリにアクセスできるようにし，フレーム
メモリの内容をファイルとして Linux システムの HDD に保存する必要がある。
Linux システムではメモリマッピングを行うことにより，ユーザプログラムからデバイス
メモリへ直接アクセスすることが可能になる。キャラクタ型デバイスファイル（character
device file）の一つである/dev/mem は，Linux システムのメインメモリイメージのキャラ
クターデバイスファイルであり，このデバイスファイルのバイトアドレス(byte address)
は物理メモリアドレスとして解釈される。従って，このデバイスファイルを使用することによりフレームメモリのアドレス空間にアクセスすることができる。
画像を連続して取り込むユーザプログラムでは，画像フレームメモリに頻繁にアクセスするため，mmap()関数を使用し，/dev/mem を仮想アドレス空間へマッピングする。mmap()
関数の書式は，以下のようになっており，
void *mmap(void *start, size_t length, int prot , int flags, int fd,
off_t offset);
fd で指定されたファイル（この場合は/dev/mem）のオフセット（offset）から length バイ
トの長さをメモリにマップする。このとき，メモリ上の start アドレスからはじめるようにマップし，実際にオブジェクトがマップされたアドレスは mmap()関数が返すようになっている。また，引数 prot には，メモリ保護をどのように行うか，そのメモリがどのように使われるかを指定する。
（６）ファイルへの保存と画像表示
mmap()関数によりマッピングされたアドレス空間のデータ（ディジタル画像）を HDD へファイルとして保存するには，fwrite()関数を使用する。fwrite()関数の書式は，以下のようになっており，
fwrite(const void *ptr, size_t size, size_t nmemb,FILE *stream);
ptr に mmap()関数によりオブジェクトがマップされたアドレスを設定する。また，size は
個々のデータのサイズ（ここでは，１byte），nmemb にはデータの個数（ここでは，512×512），stream にはオープンされたファイルストリームのポインタを設定する。これにより，
HDD へ１フレーム分の画像データを記録保存できる。
MTPCI-MN ボードではフレームメモリの内容を D/A 変換し，NTSC 信号として出力するようになっている。従って，ファイルに保存した画像データをフレームメモリに書き込むことにより，画像再生が可能となる。この場合も mmap()関数により，画像フレームメモリを Linux

204

附章Ａ

パソコンによる連続画像入力システム

システムの仮想アドレス空間にマップし，そこに HDD 上のファイルの画像データを書き込めば良い。
（７）画像取り込みプログラム
これまでの説明に従い，画像の取り込みから HDD への保存，モニタへの再生画像表示という一連の動作をさせるユーザプログラムを作成した。プログラム言語にはカーネルとの親和性やデバイスドライバの作成に適していることから，C 言語（gcc）を使用した。
（８）画像データ処理プログラム
次に，ファイルに保存した画像データをもとに画像処理を行うことになるが，最も簡単な
アプリケーションとして，画像データを X－Window システム上で表示する例を紹介する。ここでは，X－Window システム上などで簡単に GUI プログラムが作成できる Tcl/Tk10）を使用
し，画像フレームを表示するプログラムを作成した。但しこのプログラムを実行する際，PGM
形式の画像データ表示関数を使用できるように，画像データの先頭に予め PGM ヘッダ情報を付加しておく必要がある。表示例を図 A.30 に示す。
Tcl/Tk は C 言語とのインタフェースを有しているため，C 言語で画像処理プログラムを開発
し，Tcl/Tk で画像表示関係のユーザインタフェースを実装すれば，比較的容易に画像処理シス
テムが構築できる。また，HALCON11） のようなLinux システム上で使用できる高度な画像処理専用ソフトウェアを使用すれば，ユーザインタ
フェース部分も含め専用ソフトウェアで実現できるため，画像処理システム全体を簡便に構築したい場合はこのような専用ソフトウェアとここで説明した画像記録システムとを組み合わせて使用するのが良いだろう。
以上，ここでは Linux システム上で動画像データを記録・解析するための基本技術に関して解説した。PC 上で簡便で安価な画像処理システ
ムを構築する上で，これらの技術が参考になれ

図 A.30 Tcl/Tk による画像表示例

ば幸いである。

本節で説明した動画取り込み用システムプログラム（Windows 用, Linux 用）、サン
プルプログラム、およびユーティリティは、以下の URL からダウンロードできます。
http://hkpc1.elec.ube-k.ac.jp/pub/
図Ａ．３０

附章 A パソコンによる動画像連続入力システム

Coffee Break Ⅶ：大学の先生（大学紛争から大学改革へ）
それでも、その後の 1970 年代、そして 1980 年代を通して、大学のキャンパスは比較的平穏で自由闊達な時代を迎えます。団塊の世代の子供たちが 18 歳となり、大学への進学率の急速な上昇と伴に、大学の学生定員や教職員の定員は大幅に増大します。この時代、新たな学部・学科の新設は勿論、新たな大学の設置も次々に認可され、右肩上がりの時代が続きます。幸い筆者自身も、1991 年には大学教授の肩書きを得ています。大学院修了
後（単位取得退学）に、国立大学の助手、講師、助教授と昇任し、当時は西ドイツの MaxPlanck 研究所への留学（1987 年度）を経験させて頂き教授職を得たのですが、それからの 25 年は大学改革と教育・研究の両立に走り続ける人生となってしまいました。
この 25 年の間に、憧れの大学教授のイメージは大きく変化し、学長のガバナンスの下に管理運営の行き届く環境での「大学の先生」のミッションには、教育・研究に社会貢献が加わりました。地方の大学には、地域創生への貢献や地域社会との連携が最大ミッションの一つとなり、象牙塔の住人であり仙人に近い存在でもあった大学教授のイメージは大きく変化します。学生により身近で、サービス精神に徹した教育職員像が、今の大学の先生ではないかと実感しています。特に近年は、発達障害やうつ病の学生の割合が増え、国立大学と言っても、先生の時間の多くは学生指導（生活、進路・就職、そして教育研究）に充てられています。また、研究室も、多くの学部で小講座制から大講座制に移行し、従来の教授の下での助教授、講師・助手、教務員といった階層性（階級制？）が崩れ、各教員が独立した研究テーマで、少人数の学生を個別に指導する体制が取られています。今は、教授、准教授、助教、そして助手へと職位が変化し、教授から助教までが講義を担当
し、研究室を主宰する独立した研究者としての教育研究活動が保証されています。それだ
けに、助け合う風土は衰退し、孤立する教員も増えています。例外は医学部で、いまだに象牙塔のイメージは拭えないようです。一方、殆どの理系・文系学部の教授たちは、小講座というお山の大将の地位を追われ、家内制手工業の孤独な経営者という役を演じさせられているようです。この傾向は 21 世紀になって一段と深化し、日本の大学の生産性（特に研究論文）の大幅な低下に拍車がかかっています。25 人のノーベル賞受賞者を出してきた日本の頭脳は、1970 年代から 1990 年代にかけての、伸び伸びとした大学キャンパスの環境によって育てられ花開いたという事実を再認識する必要が有るようです。

205

206

附章Ａ

パソコンによる連続画像入力システム【参考文献】
１）特集

基礎からのビデオ信号処理技術，トランジスタ技術 SPECIAL No.31, CQ 出版

社,(1992)．
２）特集 ビデオ信号処理の徹底研究，トランジスタ技術 SPECIAL No.52, CQ 出版社，(1995)．
３）DXC-9000 http://www.sony.jp/products/Professional/SENSORCAMERA/
４）株式会社マイクロ・テクニカ http://www.microtechnica.co.jp/
５）Windows95 API バイブル 1，2，3，翔泳社，(1996).
６）株式会社フォトロン http://www.photron.co.jp/photron/index.htm
７）M. Bech, H. Bohme, M. Dziadka, U. Kunitz, R. Magnus, D. Verworner：LINUX KERNELINTERNALS，ADDISON-WESLEY（1997）．
８）Victor Yodaiken，http://rtlinux.cs.nmt.edu/~rtlinux/.
９）汎用ＯＳとデバイスドライバを共有できる実時間オペレーティングシステム，石綿，松井，信学技法，CPSY97－119，pp.41－48，Feb.（1998）.
10）入門 Tcl/Tk，須栗，秀和システム（1998）.
11）ＨＡＬＣＯＮ ユーザーズマニュアル，リンクス社（http://www.linxworld.com）.

附章Ｂ

附章

Ｂ

オプティカルフロー推定プログラム

207

オプティカルフロー推定プログラム

本章では、第３章で紹介した勾配法によるオプティカルフロー推定法を実現するアルゴリズム、及びプログラムの実例を示す。すなわち、勾配法の基礎
式の各微係数の計算の実際から、大域的最適化や局
所最適化手法の実現例を示すことで、読者が独自システムに組み込むことを可能にする。

ここは、C 言語を用いたオプティカルフロー推定法のプログラム例を紹介する。動画像データは、配列：***data に格納されており、そのデータ型は符号なし 8bit の unsigned char型である。また、動画像の x,y,t 方向のサイズは整数型の変数：SX, SY, ST で表している。
解析の結果得られるオプティカルフローベクトルの x,y 方向の２成分は、浮動小数点型の配列：**u,**v に格納する。

B.1

基礎式の微係数の計算

微分形式の基礎式を用いる手法では、動画像の濃淡分布の時空間勾配を計算する必要がある。動画像中の離散的な座標 P=(x, y, t)において、 ∂f / ∂x は例えば前進差分を用いて以下のように求める。

∂f= f ( x + 1, y, t ) − f ( x, y, t )
∂x P

(B.1)

従って、動画像の x 方向の微係数を求める C 言語の関数：pdx()は、以下の通りである。
リスト B.1
double pdx( unsigned char ***data, int x, int y, int t ){return ( data[t][y][x+1]-data[t][y][x] ) ;}他の y,t 方向の微係数も同様に計算できる。実際には一点のみの微係数を用いるのではなく、ある局所領域で得られる微係数の平均を用いることが普通である。これ以降のプログラム
では、関数 pdx(),pdy(),pdt()は x,y,t 方向の微係数を計算するものとする。

B.2

Horn と Schunck の大域的最適化法

最も基本的な微分形式の基礎式を用いたときの、Horn と Schunck の大域的最適化法の実現方法を紹介する。まず、式(3.21)における ∇ 2u , ∇ 2v を以下のように離散化する。

208

附章Ｂ

オプティカルフロー推定プログラム∇ 2 u ( x, y , t ) = u ( x, y , t ) − u ( x, y , t )∇ 2 v ( x, y , t ) = v ( x, y , t ) − v ( x, y , t )1{u ( x − 1, y, t ) + u ( x, y + 1, t ) + u ( x + 1, y, t ) + u ( x, y − 1, t )}6
1
+ {u ( x − 1, y − 1, t ) + u ( x − 1, y + 1, t ) + u ( x + 1, y + 1, t ) + u ( x + 1, y − 1, t )}12
1v( x, y, t ) = {v( x − 1, y, t ) + v( x, y + 1, t ) + v( x + 1, y, t ) + v( x, y − 1, t )}61
+ {v( x − 1, y − 1, t ) + v( x − 1, y + 1, t ) + v( x + 1, y + 1, t ) + v( x + 1, y − 1, t )}12
(B.2)
ここで、u, v は座標(x,y,t)周りのその点を除いた局所空間領域でのオプティカルフロー場の平u ( x, y , t ) =均を意味している。 ∇ 2u , ∇ 2v を式(B.2)によって近似すると、式(3.21)は次式のように書き換えることができる。

(α + f + f )(u − u ) = − f ( f u + f v + f )(α + f + f )(v − v ) = − f ( f u + f v + f )
2

2

x

2

y

2

2

x

x

x

y

t

y

x

y

t

2

y

(B.3)

Horn と Schunck の手法は各時刻において、オプティカルフロー場を推定する手法である。
時刻 t において、推定すべきオプティカルフローベクトルの未知変数は(u(x,y),v(x,y))なので、
画像平面上のすべての画素点において得られる式(B.3)を連立させて解を推定することになる。従って連立方程式は、(画像サイズ×２)元となる。例えば、画像のサイズが 128×128画素の場合、未知変数およそ 3 万の大規模な連立方程式となる。連立方程式の解を求める
方法として Gauss の消去法が知られているが、この方法は計算時間の点から大規模な連立方程式の解法としては適用が困難である。例えば、Horn と Schunck は Gauss-Seidel 法を用いて、反復計算によって解を推定した。n 回めの推定で得られたオプティカルフローのベクトルを(un,vn)で表すことにすると、n+1 回めの解は次式で推定する。
n

u

n +1

n

=u −

α 2 + fx2 + f y2nnv n +1 = v −nf x ( f x u + f y v + ft )
n

(B.4)

f y ( f x u + f y v + ft )α 2 + fx2 + f y2

但し、(u,v)の初期値は適当な値(通常ゼロ)を与えておく。また、反復計算における解の収束判定は行わず、あらかじめ与えた回数だけ反復する方法を採用する。Horn と Schunck によると、反復回数は画像のサイズ程度で十分であるとされている。以下に Horn と Schunckの方法を実現する関数を関数名 hs()として示す。この関数に与えるパラメータは反復回数
N と重みαであるので、プログラムではそれぞれ N, alpha として関数 hs()に与えること
にする。

附章Ｂ

オプティカルフロー推定プログラム

209

なお Horn と Schunck のアルゴリズムは OpenCV や MATLAB で実現されている。また、”IPOL Journal: Image Processing On Line”（http://www.ipol.im/）では、Web システ
ム上で実現されている。

リスト B.2
int hs( unsigned char ***data, int SX, int SY, int N, double alpha,double **u, double **v ){int x, y, n ;double fx, fy, ft ;double lu, lv ;double a, tt ;double local_average() ;for ( n=0; n<N; ++n )for ( y=1; y<SY; ++y ) for ( x=1; x<SX; ++x ) {lu = local_average( x, y, u ) ;lv = local_average( x, y, v ) ;fx = pdx( data, x, y, 0 ) ;fy = pdy( data, x, y, 0 ) ;ft = pdt( data, x, y, 0 ) ;a = fx*lu + fy*lv + ft ;tt = alpha*alpha + fx*fx+fy*fy ;u[y][x] = lu - fx*a/tt ;v[y][x] = lv - fy*a/tt ;}return 0 ;}double local_average( int x, int y, double **d ){return ( ( d[y-1][x] + d[y][x+1] + d[y+1][x] + d[y][x-1] ) / 6.0+ ( d[y-1][x-1] + d[y-1][x+1] + d[y+1][x+1] + d[y+1][x-1] ) / 12.0 ) ;
}

210

B.3

附章Ｂ

オプティカルフロー推定プログラム

Cornelius と Kanade の手法

Horn と Schunck の方法と同様に、式(3.39)を整理して、Gauss-Seidel 法を適用する。n回めの推定で得られたオプティカルフローのベクトルとφを(un,vn,φn)で表すことにすると、
n+1 回めの解は次式で推定する。

u

v

n +1

n +1

φ

n

n

n

n

n

β 2 f ( f u + f y v + ft − φ )= v − 2 y 4x 2
α + 2α β + α 2 β 2 ( f x 2 + f y 2 )
n

n

n +1

n

β 2 f x ( f x u + f y v + ft − φ )=u − 2
α + 2α 4 β 2 + α 2 β 2 ( f x 2 + f y 2 )
n

=φ +

n

f x u + f y v + ft − φ

n

(B.5)

n

α 2 + 2α 4 β 2 + α 2 β 2 ( f x 2 + f y 2 )式(B.5)を用いて解を推定する関数：ck()を以下に示す。ここで、反復回数 N と重み付けパラメータ：α,βをそれぞれ N, alpha, beeta で表し、関数に渡すこととする。また、φの推定結果は浮動小数点型の配列：**p に格納する。
リスト B.3
int ck( unsigned char ***data, int SX, int SY, int N, double alpha, double, beeta,
double **u, double **v, double **p ){int x, y, t, d ;double lu, lv, lp ;double a, tt ;double local_average() ;for ( n=0; n<N ; ++n )for ( y=0; y<SY; ++y ) for ( x=0; x<SX; ++x ) {lu = local_average( x, y, u ) ;lv = local_average( x, y, v ) ;lp = local_average( x, y, p ) ;fx = pdx( data, x, y, 0 ) ;fy = pdy( data, x, y, 0 ) ;ft = pdt( data, x, y, 0 ) ;a = fx*lu + fy*lv + ft - lp ;tt = alpha*alpha + 2.*pow(alpa,4.)*beeta*beeta+ alpha*alpha*beeta*beeta*(fx*fx+fy*fy) ;u[y][x] = lu - beeta*beeta * fx * a/tt ;v[y][x] = lv - beeta*beeta * fy * a/tt ;d[y][x] = lp + a/tt ;}return 0 ;
}

附章Ｂ

B.4

オプティカルフロー推定プログラム

211

局所的最適化法

式(3.23)に基づいた、時間・空間の局所領域においてオプティカルフローの一様性を仮定
する局所的最適化法の関数：lom()は以下のとおりである。与えるパラメータは、オプティカルフローが一様と仮定する矩形領域の大きさを決める Lx, Ly, Lt である。
リスト B4int lom( unsigned char ***data, int SX, int SY, int ST,
int Lx, int Ly, int Lt, double **u, double **v ){int x, y, t, x0, y0, t0 ;double fxx, fxy, fyy, fxt, fyt ;double delta ;t0 = Lt ;for ( y0=0; y0<SY; ++y0 )for ( x0=0; x0<SX; ++x0 ) {fxx = fxy = fyy = ftx = fyt = .0 ;for ( t=t0-Lt; t<=t0+Lt; ++t )for ( y=y0-Ly; y<=y0+Ly; ++y )for ( x=x0-Lx; x<=x0+Lx; ++x ) {fx = pdx( data, x, y, t ) ;fy = pdy( data, x, y, t ) ;ft = pdt( data, x, y, t ) ;fxx += fx*fx ;fxy += fx*fy ;fyy += fy*fy ;ftx += ft*fx ;fyt += fy*ft ;}delta=fxx*fyy-fxy*fxy ;u[y0][x0] = ( fxy*fyt-fyy*ftx ) / delta ;v[y0][x0] = ( fxy*ftx-fxx*fyt ) / delta ;}return 0 ;}B.5

照明条件を考慮した局所的最適化法

照明の強度が時間的に変化する非定常照明条件の場合に対応可能なプログラムを示す。
基礎となるのは、式(3.49)である。与えるパラメータは、オプティカルフローの一様性を仮定する空間局所領域の大きさを決めるパラメータ：Lx, Ly である。プログラムではそれぞれ
Lx, Ly で表す。解析の結果得られる照明の時間変化の効果を表すパラメータ w は、浮動小数点型の配列：**w に格納される。なお、関数 gauss()は連立方程式を解くための関数
で、連立方程式の係数を**dim にセットして gauss()を呼ぶと、dim[][3]に解が格納さ
れる。

212

附章Ｂ

オプティカルフロー推定プログラム

リスト B.5
int nsi( unsigned char ***data, int SX, int SY, int ST,
int Lx, int Ly, double **u, double **v, double **w ){int i, j ;int x, y, t, x0, y0 ;double delta, d[3][4], s[4] ;for ( y0=0 ; y0<SY ; ++y0 )for ( x0=0 ; x0<SX ; ++x0 ) {for ( i=0 ; i<3 ; ++i )for ( j=0 ; j<4 ; ++j )d[i][j] = .0 ;for ( y=y0-Ly ; y<=y0+Ly ; ++y )for ( x=x0-Lx ; x<=x0+Lx ; ++x ) {s[0] = pdx( data, x, y, 0 ) ;s[1] = pdy( data, x, y, 0 ) ;s[2] = -data[0][y][x] ;s[3] = -pdt( data, x, y, 0 ) ;for ( i=0 ; i<3 ; ++i )for ( j=i ; j<4 ; ++j )dim[i][j] += s[i] * s[j] ;}for ( i=0 ; i<3 ; ++i )for ( j=0 ; j<i ; ++j )dim[i][j] = dim[j][i] ;gauss( dim ) ;u[y0][x0] = dim[0][3] ;v[y0][x0] = dim[1][3] ;w[y0][x0] = dim[2][3] ;}return 0 ;}int gauss( double matrix[3][4] ){int i, j, k ;double tmp, tmpm ;for ( k=0 ; k<3 ; ++k ) {if ( matrix[k][k]==.0 && swap(matrix,k)==-1 )return -1 ;for ( j=k+1 ; j<3 ; ++j ) {tmp = matrix[j][k]/matrix[k][k] ;for ( i=k+1 ; i<4 ; ++i )matrix[j][i] -= tmp*matrix[k][i] ;
}
}

附章Ｂ

オプティカルフロー推定プログラム

213

for ( k=2 ; k>=0 ; --k ) {for ( tmp=.0, j=k+1 ; j<3 ; ++j )tmp += matrix[j][3] * matrix[k][j] ;matrix[k][3] = ( matrix[k][3] - tmp ) / matrix[k][k] ;}return 0 ;}int swap( double matrix[3][4], int n ){int i, j, mi ;double max, tmp ;for ( max=.0, mi=n, i=n+1 ; i<3 ; ++i )if ( (tmp=fabs(matrix[i][n]))>max )max=tmp, mi=i ;
if ( mi==n ) return -1 ;for ( i=n ; i<4 ; ++i ) {tmp = matrix[mi][i] ;matrix[mi][i] = matrix[n][i] ;matrix[n][i] = tmp ;}return 0 ;}照明が不均一な場合に対応可能なプログラムは、基礎式(3.46)を用いるが、ここでは簡単のため、 q u 2 + v 2 = q' とおき、線形の最小二乗法により解を推定することとする。そうすると、非定常照明条件の場合のプログラム(リスト B.5)において、y,x のループを時間方向のみにすればその他は全く同じとなる。

B.6

ボケ過程を考慮した局所最適化法

基礎式(3.29)において、簡単のため ∇ ⋅ v = 0, ∇D = 0, φ = 0 と仮定する。すると基礎式は次式のように簡単化される。

∂f+ v ⋅ ∇f − D∇ 2 f = 0
∂t

(B.6)

式(B.6)は、照明の時間変化を考慮した基礎式(3.48)の fw の項を D∇ 2 f に置き換えたものである。従って、リスト B.5 のプログラムにおいて s[2]=laplacian(data,x,y,0);と変更すればよい。但し、laplacian()は、 ∇ 2 f を計算する以下のような関数である。
リスト B.6
double laplacian(unsigned char data, int x, int y, int t ){double lap ;

214

附章Ｂ

オプティカルフロー推定プログラムlap =( (double)data[t][y][x+1]/6.
+ (double)data[t][y][x-1]/6.
+ (double)data[t][y+1][x]/6.
+ (double)data[t][y-1][x]/6.
+ (double)data[t][y+1][x+1]/12.
+ (double)data[t][y+1][x-1]/12.
+ (double)data[t][y-1][x+1]/12.
+ (double)data[t][y-1][x-1]/12.
- (double)data[t][y][x] ) ;return lap ;}B.7

積分形式を用いた手法

積分形式の基礎式(3.24)においてφ=0 の場合、次式を得る。

∂
f ds = − ∫ f v ⋅ n dc
∂t δ∫S
δC(B.7)

ここで積分領域として、簡単のため図 B.1 のようなδS = (2Hx+1)×(2Hy+1)からなる矩形状の領域を考える。t=0,1(frame)の 2 枚の画像 f(x,y,0), f(x,y,1)を用いたとき、δS における濃淡値の積分の時間変化 St は次式となる。
y +H

St =

y +H

y
y
0
0
∂
=
f
s
d
∑ ∑ { f ( x, y,1) − f ( x, y,0)}∂t δ∫Sy = y0 − H y y = y 0 − H y(B.8)

また、t=0 における線積分は、∫ fv ⋅ ndc = uS + vS
x

y

δC

Sx =

y0 + H y∑ { f ( x + H , y,0) + f ( x + H + 1, y,0)0

y = y0 − H y

0

x

x

− f ( x0 − H x , y,0) − f ( x0 − H x − 1, y,0)}/ 2(B.9)

x0 + H x∑ {f ( x, y + H + 1,0) + f ( x, y + H ,0)− f ( x, y − H ,0) − f ( x, y − H − 1,0)}/ 2

Sy =

0

x = x0 − H x

0

y

0

y

0

y

y

積分領域の大きさを示すパラメータ Hx,Hy を整数型の変数：Hx,Hy で表すとすると、式(B.9)の Sx, Sy、及び式(B.8)の St を求めるための関数：sx(),sy(),st()は以下のようになる。
リスト B.7
double sx( unsigned char ***data, int x, int y, int t, int hb ){double s ;附章Ｂオプティカルフロー推定プログラム

215

int i, j ;for ( s=.0, j=-hb ; j<=hb ; ++j )s += data[t][y+j][x+hb] + data[t][y+j][x+hb+1]- data[t][y+j][x-hb] - data[t][y+j][x-hb-1] ;return ( s/2. ) ;}double sy( unsigned char ***data, int x, int y, int t, int hb ){double s ;int i, j ;for ( s=.0, i=-hb ; i<=hb ; ++i )s += data[t][y+hb][x+i] + data[t][y+hb+1][x+i]- data[t][y-hb][x+i] - data[t][y-hb-1][x+i] ;return ( s/2. ) ;}double st( unsigned char ***data, int x, int y, int t, int hb ){double s ;int i, j ;for ( s=.0, j=-hb ; j<=hb ; ++j )for ( i=-hb ; i<=hb ; ++i )s += data[t+1][y+j][x+i] - data[t][y+j][x+i] ;return s ;}従って、積分形式を用いた手法において、局所最適化法の拘束条件を採用するならば、局所最適化法のプログラム(リストB4) の 関 数 pdx(),pdy(),pdt() を 関 数

sx(),sy(),st()で置き換えればよい。なお、Gupta は式(3.25)をさらに時間について積分した方法を提案しているエラー! 参照元が見つかりません。)。積分形式では、平滑化の操作が含まれているので、基礎式そのものがノイズの影響を受けにくくなっている。また、積分形式を
動画像に適用することは、より解像度の低い動画像に対して適用することに対応する。

216

附章Ｂ

オプティカルフロー推定プログラム

2Hx+1
2Hy+1

n

( x, y )δSδC

図 B.1 積分法における積分領域の取り方。積分領域 S として座標(x,y)
を中心として(2Hx+1) ×(2Hy+1)画素からなる矩形領域をとる。
太枠線は S を囲む閉曲線を、n は閉曲線 C に対する外向き
単位法線ベクトルを表す

附章Ｂ

オプティカルフロー推定プログラム

217

Coffee Break Ⅷ：大学の先生（大学紛争から大学改革へ）
国立大学の法人化（2004 年）、それに伴う複数の第三者機関による大学の外
部評価は、大学の教育研究体制を大きく弱体化させているようにも見えます。
学長のガバナンス強化をとおして、大学の運営体制の改革やグローバル化への対応という大義名分はあるものの、結果としての教育研究費の削減や自己点検評価に伴う事務作業量の増大が負担となっています。特に国立大学では、毎年の効率化係数による運営費交付金の削減がボデーブローの様に効き、校費による研究費の配分はほぼ零査定となり、科学研究費などの外部資金の獲得に頼る事となっています。その結果、教育研究現場における教育職員の自由時間が奪われ、調査・研究・論文投稿の時間確保が困難な事態を招いています。
中国の台頭による研究論文の爆発的な増大も有りますが、研究大学 20 数機関を選出した文部科学省のエリート大学戦略とも相まって、日本全体としての研究論文数は伸び悩んでいます。また、研究自体も結果の出やすい短期的テーマが選ばれ、敢えて長期的で挑戦的なテーマの選択は少ないように思われます。こうした現状をどのように打開・改善するかの提案は、大学の教育研究者
自身から発せられるべきで、決して産業界や政界から出されるべきものでは無いと感じて居ます。大学の先生方のプライドと自信を取り戻し、21 世紀人類の課題に挑戦する真のリーダーたる人材として活躍して欲しいものです。この為にも、現状のシステム改革が大学内部の議論の中から生まれるのが正常な姿ではないかとも考えます。

218

附章Ｂ

オプティカルフロー推定プログラム

むすび

219

むすび（光陰矢の如し）
本書は、12 年前に出版予定で準備していたものですが、高等教育機関の改革の波（国立
大学や高等専門学校の法人化等）に巻き込まれ、編著者の多くが教育研究から大学運営・経営に軸足を移さざるを得なくなり、十分な時間が取れないまま「お蔵入り」寸前となっていました。私自身も定年退職の時期を過ぎ、新たな出会いと縁により 12 年ぶりに見直す
機会を得て、復活版を出すこととしました。ブランクの期間が長過ぎ、文献のフォローが十分ではなく、内容も多少陳腐になりつつあるものも含まれますが、AI 時代の現代においても、次世代の技術者や若い研究者の参考になるのではとも考えました。
最近、私自身は動画像計測処理の研究から一歩進んで、脳の視覚情報処理の理解に興味を持っています。特に、動的な錯視現象の理解が“非線形科学”の視点で追及可能なのではないかと考え、視覚心理現象の運動鮮鋭化（Motion Sharpening）機能やフットステップ（Foot Steps）錯視の再現に取り組んでいます。脳科学への非線形科学的なアプローチは、“意識”の理解にも通じると考え、残された貴重な自由な思索の時間を楽しんでいます。
この 12 年間は、まさに“光陰矢の如し”でしたが、21 世紀の世界が抱える多様な課題（気候変動、グローバル化、パンデミック等々）に対応できる科学技術も大きく変容しようとしています。情報科学の分野でも、従来の解析的なアプローチとは異なる新たな技術開発（ビッグデータやディープラーニング等を活用した AI 技術等）が進められています。これからの 12 年間にどのような発展があるか楽しみですが、本書の出版が契機となって新たな展開があることを期待して、筆をおきます。
本書の研究を博士・修士論文テーマとして取り組んで頂いた、当時の学生諸君（敬称略：山本英明、木村毅、三浦一幸、治部成記、L. Zhang、櫻井建成、水上嘉樹、岡田耕一、塚
本荘輔、大高洸輝、山根淳平、河本幸生、長田和美、海老原麻由美）及び博士研究員の諸氏（真原仁氏、長峰祐子氏、鈴木将氏）、更に研究室歴代の秘書の方々（河村さん、岡野さ
ん、角井さん、平山さん、平石さん、岸本さん、中島さん、河野さん、林さん、悠さん、
國分さん、望さん、泉さん）に改めて謝意を表します。また、この本の復活の機会を与えて頂いた、山口学芸大学及び山口芸術短期大学の教職員の皆様に感謝します。

著者を代表して 2017 年 8 月 盛夏
H. Miike

220

むすび

著者紹介
三池秀敏（みいけひでとし）：太宰府市出身、九州大学大学院博士課程単位取得退学（1976
年 4 月）後、山口大学勤務（1976 年 5 月～2016 年 3 月）
。この間、Max-Planck 研究所（西ドイツ）博士研究員（1987 年度）、及び山口大学理事・副学長（2012 年度～2015 年度）を経験。2016 年 4 月より、山口学芸大学及び山口芸術短期大学副学長。非線形科学とその応用研究（動画像処理）に従事。最近は、錯視研究を介した視覚機能の理解や、基礎デザイン教育手法の確立に努力している。工学博士。
古賀和利（こがかずとし）：佐賀市出身、山口大学大学院修士課程修了（1976 年 3 月）後、山口大学勤務（1976 年 4 月～現在）。この間、工学部・工業短期大学部、及び教育学部（1999年 10 月～2013 年 10 月）に勤務。また、東北大学工学部客員研究員（1978 年度）、及び教育学部長（2009 年度～2012 年度）を経験し、現在、国立大学法人山口大学理事・副学長。
工学博士。
橋本 基（はしもとはじめ）：周南市（旧徳山市）出身、山口大学大学院工学研究科・修士課程修了（1979 年 3 月）後、山口大学工学部勤務（1979 年度～1987 年度）、国立大島商船
高等専門学校勤務（1988 年度～1994 年度）を経て、現在、国立宇部工業高等専門学校・教授。この間、北海道大学応用電気研究所客員研究員（1984 年度）、及び Max-Planck 研究所（西ドイツ）博士研究員（1989 年度）を経験。工学博士。
百田正広（ももたまさひろ）：福岡県糟屋郡出身、山口大学工学部電気工学科卒業（1979 年
3 月）後、徳山工業高等専門学校情報電子工学科勤務（1979 年 4 月～現在）。この間、山口大学工学部電気電子工学科客員研究員（1991 年 5 月～1992 年 2 月）
。1998 年 4 月より徳山工業高等専門学校情報電子工学科・教授。博士（工学）。
山田健仁（やまだたけひと）：山陽小野田市（旧小野田市）出身、山口大学大学院工学研究科電気工学専攻修士課程修了（1981 年 3 月）後、東京芝浦電気株式会社 総合研究所（現：、その間、磁気ディス株式会社東芝 研究開発センター）に勤務（1981 年度～1994 年度）
ク装置の開発に従事。現在、徳山工業高等専門学校情報電子工学科・教授。博士（工学）。
中島一樹（なかじまかずき）：京都市出身、京都大学大学院理学研究科化学専攻博士後期課
程・中途退学（1988 年 5 月）後、山口大学工学部勤務（1988 年度～1998 年度）、国立療養所中部病院長寿医療研究センター老人支援機器開発部勤務（1999 年度～2002 年度）を経て、現在、富山大学大学院工学研究部（工学）・教授。博士（工学）。

むすび

221

野村厚志（のむらあつし）：山口市出身、山口大学大学院工学研究科博士後期課程システム
工学専攻修了（1994 年 3 月）後、山口女子大学（現：山口県立大学）国際文化学部勤務（1994年度～2000 年度）を経て、現在、山口大学教育学部・教授。博士（工学）。
長

篤志（おさあつし）：滋賀県蒲生郡出身、山口大学大学院理工学研究科・博士前期課程修了（1997 年 3 月）後、山口大学勤務（1997 年度～現在）。この間、山口大学工学部感性
デザイン工学科勤務を経て、現在、山口大学大学院創成科学研究科・電気電子情報系専攻准教授。博士（工学）。

編著者・著者：所属
編著者：
三池秀敏：山口学芸大学 学長
古賀和利：国立大学法人山口大学 理事・副学長
著者：
橋本 基：宇部高等工業専門学校電気工学科 教授
山田健仁：徳山高等工業専門学校情報電子工学科 教授
百田正広：徳山高等工業専門学校情報電子工学科 教授
長 篤志：山口大学大学院創成科学研究科 准教授
野村厚志：山口大学教育学部 教授
中島一樹：富山大学工学部 教授

イラスト：
吉河 悠：絵本作家（大阪府箕面市）

デジタル動画像処理 －理論と実践－

Digital Image Sequence Processing
2017 年 8 月 10 日 発行
Ｃ 山口学芸大学・教育学部 2017