るみぺん２
Lumipen 2

近年メディアアートなどで盛んなプロジェクションマッピングは，主に壁や床など静止したものを対象としています．しかし動くものを対象としたものは，システムの遅延から生じる対象と投影像の不整合により大きな違和感が生じるため，あまり行われていません．
Projection mapping, which has recently generated much attention, typically targets static objects
such as walls and floors. Projection mapping for dynamic objects are not dealt with because large delayin the system causes a misalignment between the target and projection content, and great discomfort.
本研究室では高速ビジョンと高速ミラーを用いた高速光軸制御技術（1ms オートパン・チルト，るみぺん）を開発しています．特に「るみぺん」は動く対象への不整合を解決可能であり，ダイナミックプロジェクションマッピングを実現する性能をもつシステムですが，投影内容を含め照明条件に左右されやすく，安定した追従投影において技術的な課題がありました．

Lumipen 2 Demobouncing the earth

We developed high-speed optical axis control technique "1 ms Auto Pan-Tilt" and "Lumipen" with high-speed vision and mirrors. Especially, Lumipen has an ability to solve themisalignment of dynamic objects, and toachieve Dynamic Projection Mapping. However, tracking stability is sensitive to lighting
conditions including projection content.

Visual feedback

PCHigh-speed camerafor image processing
Pupilshiftlenses

本技術るみぺん２では，安定した追従のため対象の背景に再帰性反射材という特殊なシートを導入します．対象周辺への投影光が直接高速ビジョンに戻ってくるため，対象のシルエットを鮮明に捉えることができ，安定した画像認識が可能となります．この認識方法が照明条件への頑健性を生み，多彩な投影内容や暗い環境でも追従投影が実現可能となります．ピッチャーの投球を火球に見せかけるなど，スポーツを含めたダイナミックな実環境において，演出や作業支援などの応用が期待されます．

Projector
Galvanometer
mirrors
Dynamicobject

Saccade Mirror

Lumipen 2

Dynamic Projection Mapping
Retroreflective
background

提案技術
Our proposal"Lumipen 2" introduces retroreflective background for stable tracking. Projection light to thetarget around comes back directly to the highspeed vision, which provides a clear silhouetteand enables stable image recognition. This
tracking method generates robustness against
illumination changes, and enables projection
tracking with colorful projection content and indark environment. Lumipen 2 is expected to be
applied to various performance and visual work
support in dynamic scenes including sports,such as visualizing a pitched ball as a fire ball.

詳細は以下を参照してください． Please refer to the followings for further information.
Website日本語 : http://www.k2.t.u-tokyo.ac.jp/mvf/LumipenRetroReflection/index-j.html
English: http://www.k2.t.u-tokyo.ac.jp/mvf/LumipenRetroReflection/index-e.html

YouTube Ver. 1: http://www.youtube.com/watch?v=p7IL0Gvux7U
Ver. 2: http://www.youtube.com/watch?v=chFchB14pE0

1ms オートパン・チルト／るみぺん
1 ms Auto Pan-Tilt ／ Lumipen

一般的なデジタルカメラの機能であるオートフォーカスに倣い，自動でカメラの視線方向を物体に向けることをオートパン・チルトと呼ぶとします．従来の重い電動雲台（カメラ用回転ステージ）の代わりに，軽量なミラーを駆動する特殊な光学装置（サッカードミラー）を高速ビジョンと組み合わせると，超高速な 1ms オートパン・チルトが可能となります．
By taking a term "auto focus", which is a function of general digital cameras, now we call some technology of directing a camera gaze toward a specific target as "auto pan-tilt." We developed a novel andhigh-speed optical device "Saccade Mirror", which actuates light mirrors in front of the camera insteadof a conventional heavy electric rotational stage. Using the optical device with a high-speed vision enables high-speed "1 ms Auto Pan-Tilt."
卓球ボールのトラッキング
Tracking on a ping-pong ball

本技術 1ms オートパン・チルトでは，たとえ撮影対象がスポーツのボールなど激しく動き回るものであっても，あたかも画像中心に固定されたかのように撮影することができ，運動中の物体の詳細な観察が可能となります．

Demo: LIVIN' PINGPONG
Face expression
is projected

1 ms Auto Pan-Tilt enables image acquisition of even a dynamic object such as a sportball almost at the center of the image, and detailed observation of objects in large motion.

Visual feedback

PCHigh-speed camera
for image processing
Pupil
shiftlenses

Galvanometer
mirrors

FullHD camera
orProjector

Saccade Mirror

Dynamic object

1 ms Auto Pan-Tilt
Lumipen
提案技術
Our proposal

また，サッカードミラーにおいてプロジェクタを高速ビジョンと同軸に取り付けた「るみぺん」システムは，動的物体へのプロジェクションマッピングも可能にします．投影光軸を対象に向けて高速制御することで，これまで困難であったシステムの遅延から生じる対象と投影像間の不整合を解消し，動的物体にあたかも貼り付いたかのような投影が可能となります．
A novel "Lumipen" system, in which a projector and the high-speed vision are coaxiallyaligned with the Saccade Mirror, enables projection mapping aimed at moving targets. Highspeed optical axis control to the target solves aproblem of a misalignment between the target
and projection content which was considered tobe difficult, and provides projected images thatare fixed on dynamic targets.

詳細は以下を参照してください． Please refer to the followings for further information.
Website1ms オートパンチルト ( 日本語 http://www.k2.t.u-tokyo.ac.jp/mvf/SaccadeMirrorFullHD/index-j.html)
1 ms Auto Pan-Tilt (English)
http://www.k2.t.u-tokyo.ac.jp/mvf/SaccadeMirrorFullHD/index-e.html
るみぺん ( 日本語 )http://www.k2.t.u-tokyo.ac.jp/mvf/Lumipen/index-j.html
Lumipen (English)
http://www.k2.t.u-tokyo.ac.jp/mvf/Lumipen/index-e.html

YouTube1ms オートパンチルト/1 ms Auto Pan-Tilt
るみぺん /Lumipen

http://www.youtube.com/watch?v=9Q_lcFZOgVo
http://www.youtube.com/watch?v=ZuSUHuSceYc