ステレオ魚眼カメラを用いた立体映像作成システムの開発
德永 修一＊Development of the 3D Vision Making System
Using the Stereo Fisheye Camera
Shuichi TOKUNAGA

Abstract
The purpose of this study is to develop a system making a stereogram video as athree-dimensional vision from the action record video using the stereo fisheye camera. The
stereogram video is made in three following procedures. At first sight during an action isrecorded using two fisheye cameras attached parallel to the head. Second the three-dimensional
vision converted in any viewpoint by a stereo fisheye video is made. Here, any viewpoint iscenter point of a made three-dimensional vision. As for the method to set a viewpoint, thecenter point in a three-dimensional vision for the right eye is set with a mouse using an image
for the right eye displayed on a PC. The image of the sub-region where this viewpoint is center
point assumes it a template to set the viewpoint of an image for the left eye. The viewpoint ofthe left eye image is set at the position that a similar degree is the highest in by the patternmatching using this template. Finally the stereogram video as the plane image of right and left
is output continually from the action record animation using the stereo fisheye camera. A
stereogram video was made from a photographed stereo fisheye picture by the development of
this system.

Key Words: 3D Vision, Stereo Fisheye Camera, Action Record Video, Stereoscopic Vision

1. 緒 言動パターンなど，本人も気づかない新たな知見を得る

コンピュータの性能が飛躍的に向上し，日常生活の可能性もある。そして，各自の業務が可視化され，蓄あらゆる場面にコンピュータを導入し，情報支援をは積されていくことで，各自の仕事への支援 3)が期待でじめとすると様々な用途への利用が試みられている。

きる。また，熟練者の作業に行動の記録を取り入れる

その１つに頭部装着カメラをはじめとする各種センサことができれば，技能伝承の必要な場面で熟練者の見や表示装置とともにコンピュータを身に付け，人の行聞きした経験の共有 4)や必要に応じた技能の再現がで動を記録する研究が行われている 1)2）。この行動の記録きるなど，円滑な技能伝承への利用が考えられる。伝は，例えば企業において，全ての社員の業務を記録に統工芸品の制作において，特有のノウハウが存在する残し，その膨大なデータを分析することで，今後の仕場合には，熟練者から後継者への技能の継承に多大な事の効率向上に活かすことがである。特に，そのデー労力と多くの時間とが必要となるが，熟練者の行動記タを企業全体で共有することができれば，他の社員の録を利用することにより，技能継承のための時間短縮業務事の高度化につながる。また，個人の考え方や行や効率的な技能習得が可能になると考えられる。
本研究の目標は，技能の継承に行動記録を利用する＊

香川高等専門学校詫間キャンパス 情報工学科

ために，熟練者の視点に魚眼レンズを装着したカメラ

147

香川高等専門学校研究紀要 5(2014)

標(x，y)だけで求められる。

を取り付け，得られた広範囲の映像から必要部分を立体映像として再現できる立体映像作成システムを開発

z  R2  (x2  y 2 )することである。本稿では，本システムを実現するた(1)

めに，作業者の目の位置でステレオ魚眼映像を保存し，原点 O の UVW 直交座標系での座標値を(0，0，w)，長任意の視点における立体映像を連続的に作成する方法

さ OP'=R'，平面画像への倍率を m とするとき w=ｍRについて提案する。

より，R'は直角三角形の関係より式(2)で求められる。

R'  u 2  v 2  w2  u 2  v 2  m2 R 2

2. ステレオ魚眼カメラを用いた立体映像の作成方法
2.1. システムの構成(2)Y軸方向から見たXZ平面図（図３）よりOP'/OP= R'/R

本研究で使用する立体映像を作成するシステムの構であるので点 P' (x'，y'，z')は，点 P (x，y，z)より式(3)成を図１に示す。本システムは 2 台のパソコン， 左右で求められる。

2 台の魚眼カメラ，映像入力ケーブルで構成する。 左x' y' z '1  R' x y z 1

右の魚眼カメラを眼鏡上部に並行に固定し，魚眼カメRラからの映像は映像入力ケーブルを介してパソコンへ(3)ステレオ魚眼映像として取り込む。入力映像のサイズ

UV 平面が XYZ 直交座標において回転角α，天頂角は縦 480 画素，横 640 画素，１画素の色成分は赤，緑，β，平面の回転角φで与えられるとすると UV 平面上青，それぞれ 8 ビットの情報である。
本システムでは，の点 P'(u，v)に対応する魚眼平面上の座標(x，y)は式(4)ステレオ魚眼映像から 1/30 秒単位で切り出した画像で求められる。

上で任意の視点により，立体視画像の作成を行う。本x x'  u  R  R  y    y '    Rx  Ry  Rz  v 
 z  R'  z '  R'
 mR    

システムは，この処理を連続的に繰り返すことで立体映像を作成する。

(4)

ただし，Rx、Ry、Rz は以下の通りである。

 cos  sin  0 
Rx   - sin  cos 0 
 001 

00 
 1


Ry   0 cos  sin   0 - sin  cos 

図１ システム構成図

 cos  sin Rz   - sin  cos 00
2.2. 魚眼画像から平面画像への変換
魚眼カメラを用いて撮影した画像を歪みのない平面画像へ変換する方法は，図２に示すように２次元魚眼0 
0 1 

画像を仮想球面とするとき，３次元空間で仮想球面に接する平面上の画像へ変換 5）することある。使用する魚眼カメラのレンズは正射影方式であるので，視点の位置を原点 O とし，魚眼レンズの中心軸を Z 軸とし，光線が進む方向を正とする XYZ 直交座標系を設定す
ると魚眼画像は XY 平面となる。仮想球面と点 Q で接する平面をUV平面，UV 平面の法線方向をW軸とし，原点 O 方向を正とする UVW 直交座標系を設定する。
入射光線とUV平面との交点を点Pの座標値を(x，y，z)，
仮想球面との交点を点 P'の座標値を(x'，y'，z')，仮想球面の半径 OP =R とするとき，点 P の z 座標は式(1)で求められることから，点 P(x，y，z)は，魚眼画像の座

図２ 魚眼画像（XY 平面）と平面画像（UV 平面）148德永修一 : ステレオ魚眼カメラを用いた立体映像作成システムの開発

図３ XZ 平面図
図４ 変換前の魚眼画像
魚眼画像の(x，y)座標の赤，緑，青の色成分をそれぞれ FR(x，y)，FG(x，y)，FB(x，y)とするとき， 変換後の平面画像の P'(u，v) 座標の赤色成分 P''R (u，v)，緑色成分 P' G (u，v)，青色成分 P' B (u，v)は，それぞれ，仮想球面上の点 P(x，y)より式(5)を用いて，0≤u ≤639，0≤v≤479 の範囲内で与えられる。ただし，対応する位置が魚眼画像の範囲にない場合は３つの色成分を全て0 とする。

P' R u, v   FG x, y 
P' G u, v   FG x, y 
P' B u, v   FG x, y 

図５ 変換後の平面画像(5)

ただし，S(x,y)，<T>，<I(X,Y)> は以下の通りである。

変換前の魚眼画像を図４に，任意の Q 点における変換後の平面画像 P'(u，v)を図５に示す。
2.3. ステレオ魚眼画像の視点の位置設定
ステレオ魚眼映像を立体映像として作成する場合において，視点の位置は，図６に示すように右目画像に

L 1 L 1L 1 L 1y 0 x 0y 0 x 0

S( x , y )  (T( x, y ) )2  ( I ( X  x,Y  y ) )2 T 

1 L 1 L 1
T(i, j )L2 j  0 i  0

1 L 1 L 1
 I ( X ,Y )  2  I ( X i ,Y  j )L j 0 i 0

対してマウスを用いて，視点位置の RC( x , y )座標として設定する。これより右目画像の視点座標の前後左右L/２の縦横 L×L のサイズの画像領域（図６正方形枠内）をテンプレートT(i,j)として用いる。左目画像の視点位置 LC( x , y )座標は，この右目画像のテンプレートを用いて，左目画像とのテンプレートマッチング 6）を行
い，図 7 の正方形枠内に示す最も類似度の高い画像領域の中心位置とする。テンプレートマッチングよる類
似度の値 R(x,y)は式(6)により求められる。

R( x , y ) 1

L 1 L 1

{(TS ( x , y ) y 0 x 0

( x, y )  T )( I ( X  x,Y  y )   I ( X ,Y ) )}(6)

図６ 右目画像のテンプレート位置149

香川高等専門学校研究紀要 5(2014)

図１０ 右目平面画像

図７ 左目画像のテンプレートマッチング
以上より，魚眼ステレオ画像から立体画像を作成するための基準点を左右の画像の視点座標が与えられる。
３．適用例
本システムを用いて，図８，９に示す撮影されたステレオ魚眼映像から切り出した魚眼画像より，ステレオグラムビデオを作成した結果を図１０，１１に示した。マウスにより設定した右目魚眼画像の視点の位置

図１１ 左目平面画像
RC( x , y ) =(306,401)，テンプレートマッチングの結果から左目魚眼画像の視点の位置 LC( x , y ) =(437,394)，
テンプレートのサイズは L=65、倍率 m=1 を用いた。
ステレオ魚眼映像から切り出した魚眼画像をマウスで指定した視点で平面画像に変換後，連続的にステレオグラムに配置した立体映像を作成することができた。
しかし，視点の指示は最初にマウスで 1 回行っているだけで，頭部の位置変化に対して途中で視点の変更に対応できない。また，取り込んだステレオ魚眼映像の
図８ 右目魚眼画像

解像度が低いため平面への変換後に，平面画像の周辺部は外に向かって広がっているような状態であり，周辺部は画像が荒く画質が低下していた。
４．まとめ
本研究では，ステレオ魚眼カメラを用いた立体映像の作成システムを開発するために，作業者の視点で作業映像を保存し，任意の視点における連続的な画像変換を用いて立体映像の作成を行った。その結果，ステレオ魚眼映像から切り出した魚眼画像を任意の視点で平面画像に変換後，連続的にステレオグラムに配置した立体映像を作成することができた。しかし，頭部の位置変化に対して途中で視点の変更ができない。
また，周辺部は画像が荒く，画質の低下などの問題点がある。

図９ 左目魚眼画像150

德永修一 : ステレオ魚眼カメラを用いた立体映像作成システムの開発

今後の課題は，視点変更の新たな方法を検討し，高解像度の録画機器を用いて立体映像の画質を改善することである。
参考文献
1) 久保田敏司，中村裕一，大田友一，個人行動記録シ
ステムにおける注目シーンの検出－注目シーン検
出の高精度化と環境カメラの利用－，電子情報通信学会進学技法，PRMU2002-64，pp.47-52 ，2002
2) 小泉敬寛，中村裕一，亀田能成，大田友一，RelevanceFeedback を 用 い た 個 人 行 動 記 録 の 検 索 ，
http://www.kameda-lab.org/research/publication/2004/20
0409_FIT/FIT2004_koizumi.pdf
3) 山根隼人，行動履歴を用いた個人行動支援に関する研究，名古屋大学大学院工学研究科，
http://www.nagao.nuie.nagoya-u.ac.jp/paper/11229.html
20044) 小酒井一稔，長尾確，個人用知的移動体における追体 験支援 シス テム， 名古屋 大学長 尾研 究室
http://www.nagao.nuie.nagoya-u.ac.jp/paper/11031.html
5) 外村元伸，クルマに搭載され始めた魚眼レンズの研究Part２，
Design Wave Magazine 12月号，
pp.113-114，
20086) 永田雅人，実践OpenCV 映像処理＆解析，カットシ
ステム，pp.140-146，2009

151