(57)【要約】【課題】３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成して、豊富な情報を含む合成画像を得ることのできる撮影システム等を提供する。【解決手段】撮影システム１は、３Ｄカメラ２０と、ラインカメラ３０と、画像合成装置１０と、を含み、画像合成装置１０は、３Ｄカメラ２０とマーカーが相対的に一定速度で移動する状況で、３Ｄカメラ２０によってマーカーを撮影した第１画像を取得する第１取得部と、ラインカメラ３０とマーカーが相対的に一定速度で移動する状況で、ラインカメラ３０によってマーカーを撮影した第２画像を取得する第２取得部と、第１画像及び第２画像に基づいて、３Ｄカメラ２０に付随する座標系とラインカメラ３０に付随する座標系との間の第１座標変換を求める変換部と、第１座標変換を用いて、３Ｄカメラ２０で撮影された画像とラインカメラ３０で撮影された画像を合成する合成部と、を備える。【選択図】図１
2018195967.tif 000002
【特許請求の範囲】
【請求項１】
面状の範囲に収まる対象の３次元形状を撮影する３Ｄカメラと、
線状の範囲を走査して前記対象を撮影するラインカメラと、
前記３Ｄカメラで撮影された画像と前記ラインカメラで撮影された画像とを合成する画像合成装置と、を含み、
前記画像合成装置は、
前記３Ｄカメラとマーカーとが相対的に一定速度で移動する状況で、前記３Ｄカメラによって前記マーカーを撮影した第１画像を取得する第１取得部と、
前記ラインカメラと前記マーカーとが相対的に前記一定速度で移動する状況で、前記ラインカメラによって前記マーカーを撮影した第２画像を取得する第２取得部と、
前記第１画像及び前記第２画像に基づいて、前記３Ｄカメラに付随する座標系と前記ラインカメラに付随する座標系との間の第１座標変換を求める変換部と、
前記第１座標変換を用いて、前記３Ｄカメラで撮影された画像と前記ラインカメラで撮影された画像を合成する合成部と、
を備える撮影システム。
【請求項２】
前記３Ｄカメラは、前記対象によって反射された光を撮影し、
前記ラインカメラは、前記対象を透過した光を撮影する、
請求項１に記載の撮影システム。
【請求項３】
前記３Ｄカメラは、可視光を撮影し、
前記ラインカメラは、Ｘ線を撮影する、
請求項１又は２に記載の撮影システム。
【請求項４】
前記対象及び前記マーカーを前記一定速度で移送するコンベアをさらに含み、
前記変換部は、前記３Ｄカメラに付随する座標系と前記コンベアに付随する座標系との間の第２座標変換と、前記コンベアに付随する座標系と前記ラインカメラに付随する座標系との間の第３座標変換とを組み合わせることで、前記第１座標変換を求める、
請求項１から３のいずれか１項に記載の撮影システム。
【請求項５】
前記変換部は、前記コンベアに付随する座標系と、前記コンベアに付随する座標系で定義される平面と前記ラインカメラの撮影範囲との交線に付随する座標系との間の第４座標変換と、前記交線に付随する座標系と前記ラインカメラに付随する座標系との間の第５座標変換とを組み合わせることで、前記第３座標変換を求める、
請求項４に記載の撮影システム。
【請求項６】
面状の範囲に収まる対象の３次元形状を撮影する３Ｄカメラとマーカーとが相対的に一定速度で移動する状況で、前記３Ｄカメラによって前記マーカーを撮影した第１画像を取得する第１取得部と、
線状の範囲に収まる前記対象の一部を撮影するラインカメラと前記マーカーとが相対的に前記一定速度で移動する状況で、前記ラインカメラによって前記マーカーを撮影した第２画像を取得する第２取得部と、
前記第１画像及び前記第２画像に基づいて、前記３Ｄカメラに付随する座標系と前記ラインカメラに付随する座標系との間の第１座標変換を求める変換部と、
前記第１座標変換を用いて、前記３Ｄカメラで撮影された画像と前記ラインカメラで撮影された画像を合成する合成部と、
を備える画像合成装置。
【請求項７】
面状の範囲に収まる対象の３次元形状を撮影する３Ｄカメラとマーカーとが相対的に一定速度で移動する状況で、前記３Ｄカメラによって前記マーカーを撮影した第１画像を取得するステップと、
線状の範囲に収まる前記対象の一部を撮影するラインカメラと前記マーカーとが相対的に前記一定速度で移動する状況で、前記ラインカメラによって前記マーカーを撮影した第２画像を取得するステップと、
前記第１画像及び前記第２画像に基づいて、前記３Ｄカメラに付随する座標系と前記ラインカメラに付随する座標系との間の第１座標変換を求めるステップと、
前記第１座標変換を用いて、前記３Ｄカメラで撮影された画像と前記ラインカメラで撮影された画像を合成するステップと、
を含む画像合成方法。
【請求項８】
画像合成装置に備えられたコンピュータを、
面状の範囲に収まる対象の３次元形状を撮影する３Ｄカメラとマーカーとが相対的に一定速度で移動する状況で、前記３Ｄカメラによって前記マーカーを撮影した第１画像を取得する第１取得部、
線状の範囲に収まる前記対象の一部を撮影するラインカメラと前記マーカーとが相対的に前記一定速度で移動する状況で、前記ラインカメラによって前記マーカーを撮影した第２画像を取得する第２取得部、
前記第１画像及び前記第２画像に基づいて、前記３Ｄカメラに付随する座標系と前記ラインカメラに付随する座標系との間の第１座標変換を求める変換部、及び
前記第１座標変換を用いて、前記３Ｄカメラで撮影された画像と前記ラインカメラで撮影された画像を合成する合成部、
として機能させる画像合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影システム、画像合成装置、画像合成方法及び画像合成プログラムに関する。
【背景技術】
【０００２】
従来、受光素子がマトリクス状に配置されたエリアカメラのみならず、受光素子が線状に配置されたラインカメラや、２つのエリアカメラが並置されたステレオカメラ等の３Ｄカメラが用いられている。
【０００３】
下記特許文献１には、移動体を移動しながら、少なくとも２回異なる方向又は位置から計測点を撮影するように、移動体に搭載したラインカメラで撮影する工程と、少なくとも２組の映像内の計測点の像の位置と、計測点を撮影した時点におけるラインカメラの位置および方向から、直交座標系における計測点の位置を演算する工程を備えている計測方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２５８４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
３Ｄカメラとラインカメラはそれぞれ異なる特性を有し、３Ｄカメラとラインカメラで同じ対象を撮影して、３Ｄカメラにより撮影された画像と、ラインカメラにより撮影された画像とを合成して、より豊富な情報を含む合成画像を得ることが考えられる。
【０００６】
ここで、３Ｄカメラにより撮影された画像と、ラインカメラにより撮影された画像とを合成するためには、３Ｄカメラの投影面とラインカメラの投影面とを関係付ける座標変換を求める必要がある。ラインカメラの場合、任意に定義された直交座標系を投影面に関係付けるパラメータは、ラインカメラの位置及び姿勢を表す６自由度と、ラインカメラのレンズ及び受光素子の特性を表す２自由度と、ラインカメラと撮影対象の相対的な移動方向及び速度を表す３自由度との合計１１自由度を有する。
【０００７】
しかしながら、ラインカメラの投影式を展開して得られる独立変数は９個しかなく、１１自由度のパラメータを決定するためには制約が不足するため、３Ｄカメラにより撮影された画像と、ラインカメラにより撮影された画像とを合成することが困難な場合があった。
【０００８】
そこで、本発明は、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成して、豊富な情報を含む合成画像を得ることのできる撮影システム、画像合成装置、画像合成方法及び画像合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る撮影システムは、面状の範囲に収まる対象の３次元形状を撮影する３Ｄカメラと、線状の範囲を走査して対象を撮影するラインカメラと、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成する画像合成装置と、を含み、画像合成装置は、３Ｄカメラとマーカーが相対的に一定速度で移動する状況で、３Ｄカメラによってマーカーを撮影した第１画像を取得する第１取得部と、ラインカメラとマーカーが相対的に一定速度で移動する状況で、ラインカメラによってマーカーを撮影した第２画像を取得する第２取得部と、第１画像及び第２画像に基づいて、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を求める変換部と、第１座標変換を用いて、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成する合成部と、を備える。
【００１０】
この態様によれば、３Ｄカメラとラインカメラそれぞれによって移動するマーカーを撮影することで、ラインカメラと対象の相対速度を明らかにすることができ、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を一意に求めることができる。これにより、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成して、豊富な情報を含む合成画像を得ることができる。
【００１１】
上記態様において、３Ｄカメラは、対象によって反射された光を撮影し、ラインカメラは、対象を透過した光を撮影してもよい。
【００１２】
この態様によれば、３Ｄカメラによって対象の立体的な外形を撮影し、ラインカメラによって対象の内部形状を撮影することができ、対象の立体的な形状と内部形状を同時に把握することができる合成画像を得ることができる。
【００１３】
上記態様において、３Ｄカメラは、可視光を撮影し、ラインカメラは、Ｘ線を撮影してもよい。
【００１４】
上記態様において、対象及びマーカーを一定速度で移送するコンベアをさらに含み、変換部は、３Ｄカメラに付随する座標系とコンベアに付随する座標系との間の第２座標変換と、コンベアに付随する座標系とラインカメラに付随する座標系との間の第３座標変換とを組み合わせることで、第１座標変換を求めてもよい、
【００１５】
この態様によれば、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を、コンベアに付随する座標系を経由するように求めることで、対象の移動方向を単純に表すことのできる座標系を用いることができ、第１座標変換を比較的単純な座標変換の積によって求めることができる。
【００１６】
上記態様において、変換部は、コンベアに付随する座標系と、コンベアに付随する座標系で定義される平面とラインカメラの撮影範囲との交線に付随する座標系との間の第４座標変換と、交線に付随する座標系とラインカメラに付随する座標系との間の第５座標変換とを組み合わせることで、第３座標変換を求めてもよい。
【００１７】
この態様によれば、コンベアに付随する座標系とラインカメラに付随する座標系との間の第３座標変換を、コンベアに付随する座標系で定義される平面とラインカメラの撮影範囲との交線に付随する座標系を経由するように求めることで、コンベアとラインカメラが任意の位置関係にある場合であっても、第３座標変換を比較的単純な座標変換の積によって求めることができる。
【００１８】
他の態様に係る画像合成装置は、面状の範囲に収まる対象の３次元形状を撮影する３Ｄカメラとマーカーが相対的に一定速度で移動する状況で、３Ｄカメラによってマーカーを撮影した第１画像を取得する第１取得部と、線状の範囲に収まる対象の一部を撮影するラインカメラとマーカーが相対的に一定速度で移動する状況で、ラインカメラによってマーカーを撮影した第２画像を取得する第２取得部と、第１画像及び第２画像に基づいて、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を求める変換部と、第１座標変換を用いて、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成する合成部と、を備える。
【００１９】
この態様によれば、３Ｄカメラとラインカメラそれぞれによって移動するマーカーを撮影することで、ラインカメラと対象の相対速度を明らかにすることができ、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を一意に求めることができる。これにより、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成して、豊富な情報を含む合成画像を得ることができる。
【００２０】
他の態様に係る画像合成方法は、面状の範囲に収まる対象の３次元形状を撮影する３Ｄカメラとマーカーが相対的に一定速度で移動する状況で、３Ｄカメラによってマーカーを撮影した第１画像を取得するステップと、線状の範囲に収まる対象の一部を撮影するラインカメラとマーカーが相対的に一定速度で移動する状況で、ラインカメラによってマーカーを撮影した第２画像を取得するステップと、第１画像及び第２画像に基づいて、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を求めるステップと、第１座標変換を用いて、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成するステップと、を含む。
【００２１】
この態様によれば、３Ｄカメラとラインカメラそれぞれによって移動するマーカーを撮影することで、ラインカメラと対象の相対速度を明らかにすることができ、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を一意に求めることができる。これにより、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成して、豊富な情報を含む合成画像を得ることができる。
【００２２】
他の態様に係る画像合成プログラムは、画像合成装置に備えられたコンピュータを、面状の範囲に収まる対象の３次元形状を撮影する３Ｄカメラとマーカーが相対的に一定速度で移動する状況で、３Ｄカメラによってマーカーを撮影した第１画像を取得する第１取得部、線状の範囲に収まる対象の一部を撮影するラインカメラとマーカーが相対的に一定速度で移動する状況で、ラインカメラによってマーカーを撮影した第２画像を取得する第２取得部、第１画像及び第２画像に基づいて、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を求める変換部、及び第１座標変換を用いて、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成する合成部、として機能させる。
【００２３】
この態様によれば、３Ｄカメラとラインカメラそれぞれによって移動するマーカーを撮影することで、ラインカメラと対象の相対速度を明らかにすることができ、３Ｄカメラに付随する座標系とラインカメラに付随する座標系との間の第１座標変換を一意に求めることができる。これにより、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成して、豊富な情報を含む合成画像を得ることができる。
【発明の効果】
【００２４】
本発明によれば、３Ｄカメラで撮影された画像とラインカメラで撮影された画像を合成して、豊富な情報を含む合成画像を得ることのできる撮影システム、画像合成装置、画像合成方法及び画像合成プログラムを提供することができる。
【図面の簡単な説明】
【００２５】
【図１】本発明の実施形態に係る撮影システムの概要を示す図である。
【図２】本発明の実施形態に係る画像合成装置の物理的な構成を示す図である。
【図３】本発明の実施形態に係る画像合成装置の機能ブロック図である。
【図４】本発明の実施形態に係る撮影システムにおいて用いられる座標系を示す図である。
【図５】本発明の実施形態に係る撮影システムによって実行される第１処理のフローチャートである。
【図６】本発明の実施形態に係る撮影システムによって実行される第２処理のフローチャートである。
【図７】本発明の実施形態に係る撮影システムによって実行される第３処理のフローチャートである。
【発明を実施するための形態】
【００２６】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００２７】
図１は、本発明の実施形態に係る撮影システム１の概要を示す図である。撮影システム１は、３Ｄカメラ２０と、ラインカメラ３０と、３Ｄカメラ２０で撮影された画像とラインカメラ３０で撮影された画像を合成する画像合成装置１０と、コンベア４０と、を含む。
【００２８】
３Ｄカメラ２０は、面状の範囲に収まる対象１００の３次元形状を撮影する。３Ｄカメラ２０は、例えばステレオカメラであってよい。本実施形態に係る撮影システム１の場合、３Ｄカメラ２０は、対象１００によって反射された可視光を撮影する。もっとも、３Ｄカメラ２０は、対象１００を透過した光を撮影してもよいし、可視光以外の光、例えば赤外線や紫外線、Ｘ線等を撮影するものであってもよい。
【００２９】
ラインカメラ３０は、線状の範囲を走査して対象１００を撮影する。ラインカメラ３０は、画素センサが一列に並んだラインセンサであってよい。本実施形態に係る撮影システム１の場合、ラインカメラ３０は、対象を透過したＸ線を撮影する。もっとも、ラインカメラ３０は、対象１００で反射された光を撮影してもよいし、Ｘ線以外の光、例えば赤外線や紫外線、可視光等を撮影するものであってもよい。
【００３０】
画像合成装置１０は、３Ｄカメラ２０で撮影された第１画像１００ａとラインカメラ３０で撮影された第２画像１００ｂを合成して、合成画像１００ｃを出力する。本例において、対象１００は、立体的な外形状と内部形状を有する。対象１００の立体的な外形状は、３Ｄカメラ２０によって撮影され、第１画像１００ａに表される。また、対象１００の内部形状は、ラインカメラ３０によって撮影され、第２画像１００ｂに表される。画像合成装置１０は、第１画像１００ａ及び第２画像１００ｂを合成して、立体的な外形状と内部形状を一目で把握することのできる合成画像１００ｃを生成する。
【００３１】
コンベア４０は、対象１００とマーカーを一定速度Ｍ´で移送する。コンベア４０は、ベルトコンベアやローラコンベアであってよい。ここで、マーカーは、画像合成装置１０によって、３Ｄカメラ２０に付随する座標系とラインカメラ３０に付随する座標系との間の第１座標変換を求めるために用いられるものである。マーカーは、例えば平面に３点のマークを有するものであってよく、任意のものを用いてよいが、３Ｄカメラ２０で可視光を撮影し、ラインカメラ３０でＸ線を撮影する場合、可視光及びＸ線のいずれであっても撮影可能な材質でマークが形成されているものであるとよい。例えば、所定の形状の金属で形成されたマークを有するものであるとよい。なお、本実施形態に係る撮影システム１は、コンベア４０によって対象１００を一定速度Ｍ´で移送するが、撮影システム１は、コンベア４０を含まなくてもよい。その場合、ラインカメラ３０が、所定の方向に一定速度Ｍ´で移動する構成としてよい。
【００３２】
図２は、本発明の実施形態に係る画像合成装置１０の物理的な構成を示す図である。画像合成装置１０は、ハードウェアプロセッサに相当するＣＰＵ（Central Processing Unit）１０ａと、メモリに相当するＲＡＭ（Random Access Memory）１０ｂと、メモリに相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続される。
【００３３】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、画像の合成を行うためのアプリケーションを実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００３４】
ＲＡＭ１０ｂは、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するアプリケーション等のプログラムやデータを記憶する。
【００３５】
ＲＯＭ１０ｃは、データの読み出しのみが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＯＭ１０ｃは、例えばファームウェア等のプログラムやデータを記憶する。
【００３６】
通信部１０ｄは、画像合成装置１０を通信ネットワークに接続するインターフェースであり、例えば、有線又は無線回線のデータ伝送路により構成されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通信ネットワークに接続される。
【００３７】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボードやマウス、タッチパネルで構成される。
【００３８】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成される。
【００３９】
画像合成装置１０は、一般のパーソナルコンピュータのＣＰＵ１０ａによって本実施形態に係る画像合成プログラムを実行することで構成されてよい。画像合成プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、画像合成装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えてもよい。
【００４０】
図３は、本発明の実施形態に係る画像合成装置１０の機能ブロック図である。画像合成装置１０は、第１取得部１１、第２取得部１２、変換部１３、記憶部１４及び合成部１５を備える。
【００４１】
第１取得部１１は、３Ｄカメラ２０とマーカーが相対的に一定速度Ｍ´で移動する状況で、３Ｄカメラ２０によってマーカーを撮影した第１画像を取得する。第１取得部１１は、３Ｄカメラ２０とマーカーが相対的に一定速度で移動する状況で、３Ｄカメラ２０によってマーカーを少なくとも２回撮影した、少なくとも２枚の第１画像を取得する。
【００４２】
第２取得部１２は、ラインカメラ３０とマーカーが相対的に一定速度Ｍ´で移動する状況で、ラインカメラ３０によってマーカーを撮影した第２画像を取得する。第２取得部１２は、ラインカメラ３０とマーカーが相対的に一定速度Ｍ´で移動する状況で、ラインカメラ３０によってマーカーを複数回撮影した、複数の第２画像を取得する。
【００４３】
変換部１３は、第１画像及び第２画像に基づいて、３Ｄカメラ２０に付随する座標系Ｃ１とラインカメラ３０に付随する座標系Ｃ４との間の第１座標変換Ｒを求める。変換部１３は、第１変換部１３ａ、第２変換部１３ｂ、第３変換部１３ｃ、第４変換部１３ｄ及び第５変換部１３ｅを含む。第２変換部１３ｂは、３Ｄカメラ２０に付随する座標系Ｃ１とコンベア４０に付随する座標系Ｃ２との間の第２座標変換Ａを求める。第３変換部１３ｃは、コンベア４０に付随する座標系Ｃ２とラインカメラ３０に付随する座標系Ｃ４との間の第３座標変換Ｂを求める。第１変換部１３ａは、第２座標変換Ａと第３座標変換Ｂを組み合わせることで、第１座標変換Ｒを求める。
【００４４】
また、第４変換部１３ｄは、コンベア４０に付随する座標系Ｃ２と、コンベア４０に付随する座標系で定義される平面とラインカメラ３０の撮影範囲との交線に付随する座標系Ｃ３との間の第４座標変換Ｑを求める。第５変換部１３ｅは、交線に付随する座標系Ｃ３とラインカメラ３０に付随する座標系Ｃ４との間の第５座標変換Ｐを求める。第３変換部１３ｃは、第４座標変換Ｑと第５座標変換Ｐを組み合わせることで、第３座標変換Ｂを求める。
【００４５】
記憶部１４は、変換部１３によって求められた種々の座標変換を記憶する。合成部１５は、第１座標変換Ｒを用いて、３Ｄカメラ２０で撮影された画像とラインカメラ３０で撮影された画像を合成する。
【００４６】
図４は、本発明の実施形態に係る撮影システム１において用いられる座標系を示す図である。同図には、３Ｄカメラ２０に付随する座標系Ｃ１（Ｘ，Ｙ，Ｚ）を実線で示し、コンベア４０に付随する座標系Ｃ２（Ｘ´，Ｙ´，Ｚ´）を破線で示し、コンベア４０に付随する座標系で定義される平面とラインカメラ３０の撮影範囲との交線に付随する座標系Ｃ３（ψ，ｙ，ω）を二点鎖線で示し、ラインカメラ３０に付随する座標系Ｃ４（ｘ、ｙ、ｚ）を一点鎖線で示している。また、３Ｄカメラ２０に付随する座標系Ｃ１とラインカメラ３０に付随する座標系Ｃ４との間の第１座標変換Ｒ、３Ｄカメラ２０に付随する座標系Ｃ１とコンベア４０に付随する座標系Ｃ２との間の第２座標変換Ａ、コンベア４０に付随する座標系Ｃ２とラインカメラ３０に付随する座標系Ｃ４との間の第３座標変換Ｂ、コンベア４０に付随する座標系Ｃ２と、コンベア４０に付随する座標系で定義される平面とラインカメラ３０の撮影範囲との交線に付随する座標系Ｃ３との間の第４座標変換Ｑ、及び交線に付随する座標系Ｃ３とラインカメラ３０に付随する座標系Ｃ４との間の第５座標変換Ｐを示している。
【００４７】
３Ｄカメラ２０に付随する座標系Ｃ１は、例えば原点が３Ｄカメラ２０の重心に位置して、Ｚ軸方向が光軸方向を向く座標系であってよい。もっとも、３Ｄカメラ２０に付随する座標系Ｃ１は、ワールド座標系であってよく、他の座標系の基準となるものであればどのような座標系であってもよい。
【００４８】
コンベア４０に付随する座標系Ｃ２は、Ｙ´軸がコンベア４０の移送方向を向き、Ｚ´軸がコンベアの移送平面と直交する座標系であってよい。Ｘ´軸は、Ｙ´軸及びＺ´軸に直交する軸として定義される。なお、図４では、コンベア４０は、紙面奥から手前に向かって、速度Ｍ´で対象１００やマーカーを移送するものとして図示されている。
【００４９】
コンベア４０に付随する座標系で定義される平面とラインカメラ３０の撮影範囲との交線に付随する座標系Ｃ３は、コンベア４０に付随する座標系Ｃ２で定義されるＸ´−Ｙ´平面と、ラインカメラ３０の撮影範囲との交線がψ軸を有し、ラインカメラ３０の撮影平面に直交する方向にｙ軸を有する座標系である。ω軸は、ψ軸及びｙ軸に直交する軸として定義される。
【００５０】
ラインカメラ３０に付随する座標系Ｃ４は、ラインカメラ３０の光軸方向にｚ軸を有し、ラインカメラ３０の撮影平面に直交する方向にｙ軸を有する座標系である。ｘ軸は、ｙ軸及びｚ軸に直交する軸として定義される。なお、ラインカメラ３０に付随する座標系Ｃ４のｙ軸は、交線に付随する座標系Ｃ３のｙ軸と平行である。
【００５１】
図５は、本発明の実施形態に係る撮影システム１によって実行される第１処理のフローチャートである。第１処理は、第１変換部１３ａによって、３Ｄカメラ２０に付随する座標系Ｃ１とラインカメラ３０に付随する座標系Ｃ４との間の第１座標変換Ｒを求める処理である。
【００５２】
撮影システム１は、３Ｄカメラ２０によって、移動するマーカーを少なくとも２回撮影する（Ｓ１０）。また、撮影システム１は、ラインカメラ３０によって、移動するマーカーを複数回撮影する（Ｓ１１）。画像合成装置１０は、３Ｄカメラ２０によって撮影された画像及びラインカメラ３０によって撮影された画像に基づいて、３Ｄカメラ２０に付随する座標系Ｃ１とラインカメラ３０に付随する座標系Ｃ４との間の第１座標変換Ｒを求める（Ｓ１２）。第１座標変換Ｒを求める処理の詳細については、図６及び７を用いて詳細に説明する。
【００５３】
本実施形態に係る撮影システム１によれば、３Ｄカメラ２０とラインカメラ３０それぞれによって移動するマーカーを撮影することで、ラインカメラ３０と対象１００の相対速度を明らかにすることができ、３Ｄカメラ２０に付随する座標系Ｃ１とラインカメラ３０に付随する座標系Ｃ４との間の第１座標変換Ｒを一意に求めることができる。これにより、３Ｄカメラ２０で撮影された画像とラインカメラ３０で撮影された画像を合成して、豊富な情報を含む合成画像を得ることができる。
【００５４】
また、３Ｄカメラ２０によって対象１００によって反射された可視光を撮影し、ラインカメラ３０によって対象１００を透過したＸ線を撮影することで、３Ｄカメラ２０によって対象１００の立体的な外形を撮影し、ラインカメラ３０によって対象１００の内部形状を撮影することができ、対象１００の立体的な形状と内部形状を同時に把握することができる合成画像を得ることができる。
【００５５】
図６は、本発明の実施形態に係る撮影システム１によって実行される第２処理のフローチャートである。第２処理は、第１変換部１３ａによって、第２変換部１３ｂにより求められた第２座標変換Ａと、第３変換部１３ｃにより求められた第３座標変換Ｂとを組み合わせて、第１座標変換Ｒを求める処理である。第２処理は、図５において示した処理Ｓ１２を詳細に説明するものである。
【００５６】
第２変換部１３ｂは、３Ｄカメラ２０とマーカーが相対的に一定速度Ｍ´で移動する状況で、３Ｄカメラ２０によってマーカーを少なくとも２回撮影した、少なくとも２枚の第１画像に基づいて、移動方向を表す単位ベクトル（ａ10，ａ11，ａ12）を算出する。また、少なくとも２枚の第１画像に基づいて、単位ベクトル（ａ10，ａ11，ａ12）に直交する他の単位ベクトル（ａ20，ａ21，ａ22）を算出する。そして、第２変換部１３ｂは、以下の数式（１）によって、３Ｄカメラ２０に付随する座標系Ｃ１とコンベア４０に付随する座標系Ｃ２との間の第２座標変換Ａを求める（Ｓ１３）。
【００５７】
【数１】
2018195967.tif 000003
【００５８】
ここで、３Ｄカメラ２０に付随する座標系Ｃ１及びコンベア４０に付随する座標系Ｃ２を、それぞれ斉次座標（射影座標）で表している。行列Ａの１行目の１〜３列は、単位ベクトル（ａ10，ａ11，ａ12）と単位ベクトル（ａ20，ａ21，ａ22）の外積であり、両ベクトルに直交する方向を示す単位ベクトルである。行列Ａの４列目は、座標系の原点を合わせるための平行移動成分である。
【００５９】
第３変換部１３ｃは、コンベア４０に付随する座標系Ｃ２とラインカメラ３０に付随する座標系Ｃ４との間の第３座標変換Ｂを算出する（Ｓ１４）。当該処理の詳細は、次図を用いて説明する。第１変換部１３ａは、第２座標変換Ａと第３座標変換Ｂを組み合わせて、第１座標変換Ｒを算出する（Ｓ１５）。具体的には、Ｒ＝ＢＡによって、第１座標変換Ｒを求める。
【００６０】
本実施形態に係る撮影システム１によれば、３Ｄカメラ２０に付随する座標系Ｃ１とラインカメラ３０に付随する座標系Ｃ４との間の第１座標変換Ｒを、コンベア４０に付随する座標系Ｃ２を経由するように求めることで、対象１００の移動方向を単純に表すことのできる座標系を用いることができ、第１座標変換Ｒを比較的単純な座標変換の積によって求めることができる。
【００６１】
図７は、本発明の実施形態に係る撮影システム１によって実行される第３処理のフローチャートである。第３処理は、第３変換部１３ｃによって、第４変換部１３ｄにより求められた第４座標変換Ｑと、第５変換部１３ｅにより求められた第５座標変換Ｐとを組み合わせて、第３座標変換Ｂを求める処理である。第３処理は、図６において示した処理Ｓ１４を詳細に説明するものである。
【００６２】
はじめに、ラインカメラ３０によって撮影された画像の画素の位置を示す２次元座標（ｓ，τ）と、ラインカメラ３０に付随する座標系Ｃ４（ｘ、ｙ、ｚ）との関係について説明する。ラインカメラ３０によって撮影された画像は、ラインカメラ３０の画素センサが並ぶ方向を表す座標値ｓと、撮影対象がラインカメラ３０に付随する座標系Ｃ４において移動ベクトル（ｌ，ｍ，ｎ）で移動している場合における時間方向の座標値τと、によって画素の位置が表される。ラインカメラ３０によって撮影された画像の画素の位置を示す２次元座標（ｓ，τ）と、ラインカメラ３０に付随する座標系Ｃ４（ｘ、ｙ、ｚ）との関係は、以下の数式（２）で表される。
【００６３】
【数２】
2018195967.tif 000004
【００６４】
ここで、ｆは、ラインカメラ３０の画素数換算での焦点距離であり、ｓ0は、水平中心である。第４変換部１３ｄは、コンベア４０に付随する座標系Ｃ２と、コンベア４０に付随する座標系で定義される平面とラインカメラ３０の撮影範囲との交線に付随する座標系Ｃ３との間の第４座標変換Ｑを以下の手順で算出する（Ｓ２０）。はじめに、ラインカメラ３０の撮影平面（被写界平面、ラインカメラ３０の視野範囲）は、ｙ軸に直交する平面であり、以下の数式（３）のｑ10，ｑ11，ｑ12及びｑ13によって指定される。
【００６５】
【数３】
2018195967.tif 000005
【００６６】
これらの値を用いると、コンベア４０の移動ベクトルは、（ｌ，ｍ，ｎ）＝（ｑ10Ｍ´，ｑ11Ｍ´，ｑ12Ｍ´）と表される。また、ラインカメラ３０で撮影された画像の時間方向の座標値τは、以下の数式（４）で表される。
【００６７】
【数４】
2018195967.tif 000006
【００６８】
数式（４）をＹ´について解くと、以下の数式（５）が得られる。
【００６９】
【数５】
2018195967.tif 000007
【００７０】
ここで、Ｘ´，Ｙ´，Ｚ´及びτは、ラインカメラ３０によってマーカーを複数回撮影する毎に実測可能な値である。第４変換部１３ｄは、実測されたＸ´，Ｙ´，Ｚ´及びτの値に基づいて、ｑ10，ｑ11，ｑ12及びｑ13を算出する。第４変換部１３ｄは、実測されたＸ´，Ｙ´，Ｚ´及びτの値に基づいて、最小二乗法でｑ10，ｑ11，ｑ12及びｑ13を算出してよい。
【００７１】
ｑ10，ｑ11，ｑ12及びｑ13を算出した後、第４変換部１３ｄは、以下の数式（６）によって、コンベア４０に付随する座標系Ｃ２で定義されるＸ´−Ｙ´平面とラインカメラ３０の撮影範囲との交線ψを求める。
【００７２】
【数６】
2018195967.tif 000008
【００７３】
ここで、ηは、媒介変数である。これにより、ψ軸が定められる。第４変換部１３ｄは、以下の数式（７）によって、第４座標変換Ｑを求める。
【００７４】
【数７】
2018195967.tif 000009
【００７５】
次に、第５変換部１３ｅは、交線に付随する座標系Ｃ３とラインカメラ３０に付随する座標系Ｃ４との間の第５座標変換Ｐを算出する（Ｓ２１）。第５変換部１３ｅは、以下の数式（８）のｐ00，ｐ01，ｐ02及びｐ12を求めることで、第５座標変換Ｐを算出する。
【００７６】
【数８】
2018195967.tif 000010
【００７７】
ラインカメラ３０の画素センサが並ぶ方向を表す座標値ｓは、ラインカメラ３０に付随する座標系Ｃ４（ｘ，ｙ，ｚ）と、交線に付随する座標系Ｃ３（ψ，ｙ，ω）と、を用いてそれぞれ以下の数式（９）のように表される。
【００７８】
【数９】
2018195967.tif 000011
【００７９】
数式（９）の最右辺を、以下の数式（１１）で定義されるｈ0，ｈ1，ｈ2，ｈ3及びｈ4で表すと、以下の数式（１０）となる。
【００８０】
【数１０】
2018195967.tif 000012
【００８１】
【数１１】
2018195967.tif 000013
【００８２】
第５変換部１３ｅは、実測されたｓ，ψ及びωの値に基づいて、ｈ0，ｈ1，ｈ2，ｈ3及びｈ4を算出する。第５変換部１３ｅは、実測されたｓ，ψ及びωの値に基づいて、最小二乗法でｈ0，ｈ1，ｈ2，ｈ3及びｈ4を算出してよい。
【００８３】
第３変換部１３ｃは、第４座標変換Ｑと第５座標変換Ｐを組み合わせて、第３座標変換Ｂを算出する（Ｓ２２）。具体的には、Ｂ＝ＰＱによって、第３座標変換Ｂを求める。
【００８４】
本実施形態に係る撮影システム１によれば、コンベア４０に付随する座標系Ｃ２とラインカメラ３０に付随する座標系Ｃ４との間の第３座標変換Ｂを、コンベア４０に付随する座標系Ｃ２で定義される平面とラインカメラ３０の撮影範囲との交線に付随する座標系Ｃ３を経由するように求めることで、コンベア４０とラインカメラ３０が任意の位置関係にある場合であっても、第３座標変換Ｂを比較的単純な座標変換の積によって求めることができる。
【００８５】
第１変換部１３ａは、第２座標変換Ａ、第４座標変換Ｑ及び第５座標変換Ｐを組み合わせて、第１座標変換Ｒを求める。具体的には、Ｒ＝ＰＱＡによって、第１座標変換Ｒを求める。行列Ｒの成分を明示すると、以下の数式（１２）のようになる。
【００８６】
【数１２】
2018195967.tif 000014
【００８７】
なお、数式（１２）では、３Ｄカメラ２０に付随する座標系Ｃ１の座標値を、３Ｄカメラ２０に付随する座標系Ｃ１におけるコンベア４０の移動ベクトル（Ｌ，Ｍ，Ｎ）だけずらして表している。
【００８８】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【００８９】
１…撮影システム、１０…画像合成装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…第１取得部、１２…第２取得部、１３…変換部、１３ａ…第１変換部、１３ｂ…第２変換部、１３ｃ…第３変換部、１３ｄ…第４変換部、１３ｅ…第５変換部、１４…記憶部、１５…合成部、２０…３Ｄカメラ、３０…ラインカメラ、４０…コンベア、１００…対象、１００ａ…第１画像、１００ｂ…第２画像、１００ｃ…合成画像。
【図１】
2018195967.tif 000015
【図２】
2018195967.tif 000016
【図３】
2018195967.tif 000017
【図４】
2018195967.tif 000018
【図５】
2018195967.tif 000019
【図６】
2018195967.tif 000020
【図７】
2018195967.tif 000021