(57)【要約】【課題】高価な高速イメージセンサを用いることなく、イメージセンサの時間分解能を高める。【解決手段】物体撮像システム１は、イメージセンサ２ａと、イメージセンサ駆動部２ｂと、ミラー３と、ミラー駆動部４とを有し、動く物体を連続的に撮像する。イメージセンサ２ａは、ｍ本の走査線を備える。イメージセンサ駆動部２ｂは、ｎ（ｎ＜ｍ）本の走査線を部分的に用いて、ｍ本の走査線を用いた走査時よりも高いフレームレートでイメージセンサ２ａを駆動させる。ミラー３は、イメージセンサ２ａの視線Ｌ上に設けられ、イメージセンサ２ａにおける走査線の選択方向に対応した方向に回動自在である。ミラー駆動部４は、ミラー３を駆動させる。【選択図】図１
2020188350.tif 000002
【特許請求の範囲】
【請求項１】
動く物体を連続的に撮像する物体撮像システムにおいて、
ｍ本の走査線を備えており、ｎ（ｎ＜ｍ）本の走査線を用いて、ｍ本の走査線を用いた走査時よりも高いフレームレートで部分走査を行うカメラと、
前記カメラの視線上に設けられ、前記カメラにおける走査線の選択方向に対応した方向に回動自在なミラーと、
前記ミラーを駆動させるミラー駆動部と
を有することを特徴とする物体撮像システム。
【請求項２】
前記ｎ本の走査線によって規定される走査領域は、少なくとも、物体全体が写し出されるサイズを有することを特徴とする請求項１に記載された物体撮像システム。
【請求項３】
前記カメラは、それぞれの走査線上に存在する全画素のデータを出力することを特徴とする請求項２に記載された物体撮像システム。
【請求項４】
前記ミラーの回動方向は、動きに規則性を有する物体の動き方向に対応していることを特徴とする請求項１から３のいずれかに記載された物体撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動く物体を連続的に撮像する物体撮像システムに関する。
【背景技術】
【０００２】
従来、ミラーによってカメラの視線方向を制御することによって、物体を撮像する物体撮像システムが知られている。例えば、特許文献１には、第１のチルトミラー、第２のチルトミラー、および、パンミラーといった３つの可動式ミラーを用いて、カメラの視線を３自由度で制御する視線変更制御装置が開示されている。第１チルトミラーは、第１回転軸を中心として正逆方向に回動し、第２チルトミラーは、第１の回転軸と垂直な第２回転軸を中心として正逆方向に回動する。また、パンミラーは、自己に向かうカメラの視線方向と略平行な方向に延在する第３の回転軸を中心として正逆可能に回転する。かかる構成によれば、パン方向における視線変更可能範囲を広めることができ、高い視線変更速度が得られる。
【０００３】
また、特許文献２には、重力方向可動ミラー、および、左右方向可動ミラーといった２つの可動式ミラーを用いて、カメラの視線を２自由度で制御する移動体撮像装置が開示されている。重力方向可動ミラーは、カメラによって撮像された画像の重力方向を走査方向とし、左右方向可動ミラーは、この画像の左右方向を走査方向とする。重力方向可動ミラーの慣性モーメントは、左右方向可動ミラーのそれよりも大きい。かかる構成によれば、画質向上のために大きな可動ミラーを用いても、ミラー駆動用のモータの発熱量を抑えることができるため、画質の向上と追尾性能の維持との両立が図れる。
【０００４】
さらに、特許文献３には、ミラー本体といった１つの可動ミラーを用いて、カメラの視線を１自由度で制御するブラーレス画像撮像システムが開示されている。このシステムは、自動車などの移動体に搭載され、トンネル内のボルトといった対象物の画像を取得する用途で用いられる。ミラー本体の角度は、移動体の移動に応じて逐次変更され、所定時間の間、対象物にカメラの視線を向ける。また、カメラの視線は、ミラー本体の駆動によって別の対象領域に向けられる。かかる構成によれば、カメラが移動する環境下であっても、モーションブラー（すなわち、動いている対象をカメラで撮像した時に生じるブレ）の少ない画像を連続的に取得できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１５−１４７３１号公報
【特許文献２】特許第６４４８７３４号公報
【特許文献３】特開２０１５−８２７１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、人間の目には見えない速度で動作する知能ロボットの「目」などの用途において、動く物体を高い時間分解能で追跡する高速ビジョンと呼ばれる技術が注目されている。一般に、高速ビジョンでは、１秒間に数百フレーム以上の画像データを取得する高速イメージセンサが用いられる。しかしながら、このようなイメージセンサは高価であり、この点が本技術の普及を妨げる一つのネックとなっている。
【０００７】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、高価な高速イメージセンサを用いることなく、イメージセンサの時間分解能を高めることである。
【課題を解決するための手段】
【０００８】
かかる課題を解決すべく、本発明は、カメラと、ミラーと、ミラー駆動部とを有し、動く物体を連続的に撮像する物体撮像システムを提供する。カメラは、ｍ本の走査線を備えており、ｎ（ｎ＜ｍ）本の走査線を用いて、ｍ本の走査線を用いた走査時よりも高いフレームレートで部分走査を行う。ミラーは、カメラの視線上に設けられ、カメラにおける走査線の選択方向に対応した方向に回動自在である。ミラー駆動部は、ミラーを駆動させる。
【０００９】
ここで、本発明において、ｎ本の走査線によって規定される走査領域は、少なくとも、物体全体が収まるサイズを有することが好ましい。また、カメラは、それぞれの走査線上に存在する全画素のデータを出力してもよい。さらに、ミラーの回動方向は、動きに規則性を有する物体の動き方向に対応していることが好ましい。
【発明の効果】
【００１０】
本発明によれば、カメラが備えるｍ本の走査線のうちのｎ本を用い、ｍ本の走査線を用いた走査時よりも高いフレームレートで部分走査を行うことで、時間分解能を高める。部分走査によってカメラの視界が狭くなった分は、ミラーの回動によって補償される。これにより、高速用途の高価なカメラを用いなくても、動く物体をロストすることなく、高い時間分解能で物体を連続的に撮像することができる。
【図面の簡単な説明】
【００１１】
【図１】物体撮像システムの構成図
【図２】イメージセンサの走査の説明図
【図３】物体の動きに応じたミラーの回動の説明図
【図４】卓球における球の動きを示す図
【図５】イメージセンサの時間分解能の概念図
【発明を実施するための形態】
【００１２】
図１は、本実施形態に係る物体撮像システムの構成図である。この物体撮像システム１は、動く物体Ｍに追従して物体を連続的に撮像し、物体Ｍの撮像画像を時系列的に出力する。時系列的な一連の撮像画像は、例えば、人間の目には見えない速度で動作する知能ロボットの「目」といった高速ビジョンの用途で用いることができる（ただし、本用途には限定されない。）。物体撮像システム１は、カメラ２と、ミラー３と、ミラー駆動部４と、制御部５とを主体に構成されている。
【００１３】
カメラ２は、イメージセンサ２ａと、イメージセンサ駆動部２ｂと、光学系２ｃとを備えている。イメージセンサ２ａは、自己の視界に写し出された景色を撮像し、輝度値の二次元的な集合である撮像画像を出力する。イメージセンサ２ａとしては、後述する部分走査が可能なＣＭＯＳセンサなどが用いられる。イメージセンサ駆動部２ｂは、イメージセンサ２ａを駆動させる。光学系２ｃは、レンズなどによって構成されており、イメージセンサ２ａの視線Ｌ上に配置されている。
【００１４】
ミラー３は、カメラ２（イメージセンサ２ａ）の視界Ｌ上において、光学系２ｃの後段側に配置されている。ミラー３は、１つの回転軸３ａに回動自在に取り付けられており、１自由度で可動する。ミラー駆動部４は、サーボモータやガルバのモータなどの応答性に優れた駆動機器で構成されており、回転軸３ａを介して、ミラー３を回動方向に駆動させる。
【００１５】
制御部５は、例えば、テンプレートマッチングや、深層学習を用いた物体検出手法（ＹＯＬＯやＳＳＤなど）といった既知の画像処理技術を用いて、イメージセンサ２ａから出力された撮像画像中に写し出された物体Ｍを認識する。そして、制御部５は、撮像画像上における物体Ｍの位置に基づいて、物体Ｍの動きにミラー３が追従するように、ミラー駆動部４をフィードバック制御する。
【００１６】
図２は、カメラ２が備えるイメージセンサ２ａの走査の説明図である。一般に、イメージセンサ２ａは、ｉ本の出力線Ｘと、ｍ本の走査線Ｙとを備えており、これらの線Ｘ，Ｙの交点が画素に相当する。イメージセンサ２ａは、それぞれの走査線Ｙを所定の方向に順番に選択していくと共に、それぞれの走査線Ｙ上に並んだ全画素の画素データを一括で出力線Ｘ1〜Ｘiに出力する（線順次走査）。ｍ本の走査線Ｙの全てを用いた走査時におけるフレームレートをｆｐｓ１とする。
【００１７】
市場で入手可能なカメラの中には、センサ領域の一部だけを部分的に走査する機能（部分走査）を備えているものがあり、本実施形態では、この部分走査の機能を備え、かつ、比較的安価なものが用いられる。このようなカメラとしては、例えば、ＢＡＳＬＥＲ社製のＵＳＢ３．０カメラ（ａｃＡ１９２０−１５５ｕｍ−Ｂａｓｌｅｒ  ａｃｅ）を用いることができる。
【００１８】
イメージセンサ駆動部２ｂは、ｍ本のうちのｎ（ｎ＜ｍ）本の走査線Ｙ、すなわち、走査線Ｙ1〜Ｙnのみを部分的に用いた走査を行うように、イメージセンサ２ａを駆動させる（部分走査）。このような部分走査におけるフレームレートをｆｐｓ２とすると、ｆｐｓ２＞ｆｐｓ１の関係となる。すなわち、ｎ本の走査線Ｙを用いた部分的な走査は、ｍ本の走査線Ｙを用いた走査時よりも高いフレームレートで行われる。また、ｎ本の走査線Ｙによって規定されるイメージセンサ２ａの走査領域Ｄは、画像処理技術によって物体Ｍを認識する関係上、少なくとも、物体Ｍの全体が写し出されるサイズ（Ｙ方向長）を有する。
【００１９】
上述したＢＡＳＬＥＲ社製のＵＳＢ３．０カメラは、全走査時には、１９２０ｘ１２００ピクセルの解像度、１６４ｆｐｓで動作する。本実施形態では、このカメラの部分走査によって、一例として、１９２０ｘ１６０ピクセルの解像度、１０００ｆｐｓで動作させる。
【００２０】
図３は、物体Ｍの動きに応じたミラー３の回動の説明図である。ミラー３の回動方向ａは、イメージセンサ２ａにおける走査線の選択方向（Ｙ方向）に対応している。これにより、部分的な走査によってイメージセンサ２ａの視界が狭くなっても、ミラー３の回動によって対応できるため、物体Ｍをロストすることなく追跡し続けることができる。
【００２１】
また、ミラー３の回動方向ａは、物体Ｍの動き方向ｂに対応している。これにより、物体Ｍが方向ｂに動いた場合、この動きに追従してミラー３が回動方向ａに変位することで、走査領域Ｄを固定したままでも、イメージセンサ２ａによる物体Ｍの撮像を保証できる。
【００２２】
物体撮像システム１を設置する際には、上述した方向ａ，ｂの対応関係が成立するように、設置場所や視線の向きが決定される。例えば、図４に示すような卓球における球の動きを例に説明すると、球は卓球台の手前と奥との間を往復する。このような球の方向的な規則性に鑑み、ミラー３の回動方向が球の往復方向と対応するように、物体撮像システム１が設置される。これにより、ミラー３による視線制御のみで、横短冊状の撮像画像内に動く球を収め続けることができる。一方、卓球台の幅方向における球の変化については、撮像画像が十分に横長であることから、ミラー３による視線制御は特段必要ない。
【００２３】
図５は、イメージセンサ２ａの時間分解能の概念図である。ｍ本の走査線を用いた全走査時には、フレームレートｆｐｓ１で走査が行われる。この場合、前のフレームの撮像タイミングから次のフレームの撮像タイミングまでの時間差に相当するフレーム間隔ΔＴにおいて、物体Ｍが大きく移動してしまう。すなわち、フレームレートｆｐｓ１では、物体Ｍの動きに対して時間分解能が不足しており、撮像画像上の探索範囲内に物体Ｍが存在せず、物体Ｍをロストしてしまう可能性が懸念される。
【００２４】
一方、ｎ本の走査線を用いた部分走査時には、フレームレートｆｐｓ１よりも高速なフレームレートｆｐｓ２で走査が行われる。この場合、上述したフレーム間隔ΔＴにおいて、複数枚のフレームが介在するため、前後のフレーム間における物体Ｍの移動量が小さくなる。すなわち、フレームレートｆｐｓ２では、物体Ｍの動きに対して十分な時間分解能を確保することが可能になるため、物体Ｍをロストしてしまう可能性を有効に抑制できる。
【００２５】
このように、本実施形態によれば、イメージセンサ２ａが備えるｍ本の走査線のうちのｎ本を部分的に用い、ｍ本の走査線を用いた走査時よりも高いフレームレートで走査を行うことで、イメージセンサ２ａの時間分解能を高める。部分的な走査によってイメージセンサ２ａの視界が狭くなった分は、ミラー３の回動によって補償される。これにより、高価な高速イメージセンサを用いなくても、動く物体をロストすることなく、高い時間分解能で物体を連続的に撮像することができる。
【００２６】
なお、本発明は、高速で動く物体を十分な時間分解能で連続的に撮像する用途、例えば、球技における球の追跡、工場のライン上を高速で搬送されるボトルや缶などの追跡や全周検査などに対して、広く適用可能である。ただし、本発明は、高速ビジョンの用途に限定されるものではなく、例えば、８ｋビジョンを３０ｆｐｓのカメラで実現するシステムなどにも適用することができる。
【符号の説明】
【００２７】
１  物体撮像システム
２  カメラ
２ａ  イメージセンサ
２ｂ  イメージセンサ駆動部
２ｃ  光学系
３  ミラー
３ａ  回転軸
４  ミラー駆動部
７  制御部
【図１】
2020188350.tif 000003
【図２】
2020188350.tif 000004
【図３】
2020188350.tif 000005
【図４】
2020188350.tif 000006
【図５】
2020188350.tif 000007