(57)【特許請求の範囲】
【請求項１】
１以上の発光装置を撮像する撮像装置から供給される画像を処理する画像処理装置において、
通常の撮像と流し撮像とが交互にされるように前記撮像装置の撮像を制御する撮像制御手段と、
前記撮像装置が通常の撮像で撮像した画像を基に、前記発光装置の位置を算出する第１の算出手段と、
前記撮像装置が流し撮像で撮像した画像を基に、前記発光装置の位置および前記発光装置の点滅パターンを算出する第２の算出手段と、
前記第２の算出手段により算出された前記点滅パターンを、対応する前記発光装置の位置とともに記憶する記憶手段と、
前記第１の算出手段が算出した前記発光装置の位置を基に、前記記憶手段に記憶した前記発光装置の位置を修正し、修正された前記発光装置の位置を前記記憶手段に記憶させる第１の修正手段と、
前記第２の算出手段が算出した前記発光装置の位置および前記点滅パターンを基に、前記記憶手段に記憶した前記発光装置の位置を修正し、修正された前記発光装置の位置を前記記憶手段に記憶させる第２の修正手段と
を含むことを特徴とする画像処理装置。
【請求項２】
前記撮像制御手段は、通常に撮像した画像と流し撮像した画像の少なくともいずれか一方の所定のラインに、通常に撮像した画像と流し撮像した画像とを識別するための識別信号を挿入する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記撮像制御手段は、流し撮像させる期間における流し撮像する前の所定期間、前記撮像装置に、通常の撮像をさせるように撮像を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記撮像制御手段は、流し撮像させる期間における流し撮像した後の所定期間、前記撮像装置に、通常の撮像をさせるように撮像を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記撮像制御手段は、前記発光装置からの光以外の光が入射されるのを抑制する光学フィルタを通した画像を撮像するCCD撮像回路が前記撮像装置に設けられている場合、流し撮像した画像を出力する期間の始まりから前記CCD撮像回路が実際に垂直方向に電荷を転送するまでの期間、前記CCD撮像回路のフォトディテクタに電荷を蓄積させ、垂直方向の転送を開始する前に、前記CCD撮像回路のフォトディテクタからＶレジスタに電荷を読み出すように、流し撮像した画像を出力する期間における前記撮像装置の撮像を制御する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第２の算出手段は、前記流し撮像された画像のエッジの位置を基に、前記発光装置の前記点滅パターンを算出する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
１以上の発光装置を撮像する撮像装置から供給される画像を処理する画像処理装置の画像処理方法において、
通常の撮像と流し撮像とが交互にされるように前記撮像装置の撮像を制御する撮像制御ステップと、
前記撮像装置が通常の撮像で撮像した画像を基に、前記発光装置の位置を算出する第１の算出ステップと、
前記撮像装置が流し撮像で撮像した画像を基に、前記発光装置の位置および前記発光装置の点滅パターンを算出する第２の算出ステップと、
前記第２の算出ステップの処理で算出された前記点滅パターンを、対応する前記発光装置の位置とともに記憶する記憶ステップと、
前記第１の算出ステップの処理で算出した前記発光装置の位置を基に、記憶した前記発光装置の位置を修正し、修正された前記発光装置の位置を記憶させる第１の修正ステップと、
前記第２の算出ステップの処理で算出した前記発光装置の位置および前記点滅パターンを基に、記憶した前記発光装置の位置を修正し、修正された前記発光装置の位置を記憶させる第２の修正ステップと
を含むことを特徴とする画像処理方法。
【請求項８】
１以上の発光装置を撮像する撮像装置から供給される画像を処理する画像処理用のプログラムであって、
通常の撮像と流し撮像とが交互にされるように前記撮像装置の撮像を制御する撮像制御ステップと、
前記撮像装置が通常の撮像で撮像した画像を基に、前記発光装置の位置を算出する第１の算出ステップと、
前記撮像装置が流し撮像で撮像した画像を基に、前記発光装置の位置および前記発光装置の点滅パターンを算出する第２の算出ステップと、
前記第２の算出ステップの処理で算出された前記点滅パターンを、対応する前記発光装置の位置とともに記憶する記憶ステップと、
前記第１の算出ステップの処理で算出した前記発光装置の位置を基に、記憶した前記発光装置の位置を修正し、修正された前記発光装置の位置を記憶させる第１の修正ステップと、
前記第２の算出ステップの処理で算出した前記発光装置の位置および前記点滅パターンを基に、記憶した前記発光装置の位置を修正し、修正された前記発光装置の位置を記憶させる第２の修正ステップと
を含むことを特徴とする処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、並びに記録媒体に関し、特に、１以上の発光装置の位置および点滅パターンを常に出力する画像処理装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
図１は、従来の流し撮像を利用した画像処理システムを示している。発光装置１１は、ロボットなど、その位置や状態（例えば、前進状態、後進状態）が検出される対象物に取り付けられており、対象物固有の、または対象物の状態に対応する所定のパターンで、光点の輝度を時間経過とともに変化させる発光装置である。
【０００３】
ビデオカメラ２１は、流し撮り駆動装置２２により駆動され、いわゆる、流し撮像で、発光装置１１から発光される光点を撮像する。ビデオカメラ２１は、流し撮像により得られた発光装置１１の光点の輝度の時間経過とともに発生する変化（以下、このことを、単に、点滅パターンと称する）の画像データを画像処理装置２３に出力する。フィルタ２１Ａは、発光装置１１から発光される光点以外の光がビデオカメラ２１に入射されるのを抑制する光学フィルタで、ビデオカメラ２１のレンズ部（図示せず）の前段に設けられている。
【０００４】
画像処理装置２３は、ビデオカメラ２１から供給された画像データに所定の処理を施し、発光装置１１の位置および点滅パターンを検出し、検出結果を表示装置２４に出力する。表示装置２４は、画像処理装置２３から供給されるデータを表示する。
【０００５】
図２は、発光装置１１の内部の構成を示している。発光ダイオード点滅制御回路３１は、発光ダイオード３２の点滅パターンを制御する。発光ダイオード３２は、一端が発光ダイオード点滅制御回路３１に接続されているとともに、他端が接地され、発光ダイオード点滅制御回路３１により印加される電圧により、発光する。
【０００６】
図３は、図１の画像処理装置２３の内部の構成を示している。画像処理装置２３は、画像キャプチャ部４１および画像処理部４２から構成されている。画像キャプチャ部４１は、ビデオカメラ２１から供給される、点滅パターンの画像データに所定の処理を施し、画像処理部４２が所定の画像処理を実行できるような画像データを生成し、画像処理部４２に出力する。
【０００７】
画像処理部４２は、画像キャプチャ部４１から供給された時間経過に対応する輝度の変化として表されている点滅パターンの画像データを、２次元空間、すなわち、Ｘ軸およびＹ軸の各座標で表される空間的パターンの画像データに変換し（フレームメモリに書き込み）、その画像データから、発光装置１１の位置および点滅パターンを検出する。
【０００８】
ここで、ビデオカメラ２１が行う流し撮像について、図４乃至図６を参照して説明する。流し撮像とは、ビデオカメラ２１に内蔵されるCCD(charge‐coupled device)撮像素子において、各画素を構成するホトダイオードの出力を、同一フィールドの期間中に、複数回、垂直転送CCDに転送する撮像方法である。
【０００９】
発光装置１１の発光ダイオード３２が、図４（Ａ）に示すように、１フィールドの期間中に、１２HD（Horizontal Drive:水平走査周期）の期間、消灯し、次の１２HDの期間、点灯する点滅パターン１を、２回繰り返すような場合、これを、ビデオカメラ２１が流し撮像し、図４（Ｂ）に示すように、２HDに１回の割合で、各画素を構成する発光ダイオードの出力を、垂直転送CCDに転送するようにすると、その結果得られる画像には、図４（Ｃ）に示すように、発光ダイオード３２の出力（点灯または消灯）が、複数現れるようになる。発光ダイオード３２は、撮像画面上で、３ライン分の大きさを有するものとする。
【００１０】
ビデオカメラ２１から出力された、図４（Ｃ）に示すような画像が画像処理装置２３の画像キャプチャ部４１に供給されると、画像キャプチャ部４１は、その画像にキャプチャ処理を施し、図５に示すような画像を生成する。上述したように、発光装置１１の発光ダイオード３２が３ラインで表されることから、各出力の像が前後の出力の像と一部重なるようになり、キャプチャされた画像の画素の輝度が段階的に変化している。
【００１１】
ラインＬ８では発光ダイオード３２の点灯している状態の画像が３回重畳されるので、最も明るい輝度Ｄとなり、ラインＬ７では、点灯している状態の画像が２回と、消灯している状態の画像が１回表示されるので、輝度Ｄより暗い輝度Ｃとなり、ラインＬ６では、点灯している状態の画像が１回と、消灯している状態の画像が２回表示されるので、輝度Ｃより暗い輝度Ｂとなり、ラインＬ５では消灯している状態の画像が３回表示されているので、輝度Ｂより暗い輝度Ａとなる。
【００１２】
さらに、画像キャプチャ部４１から出力された、図５に示したような画像が画像処理部４２に供給されると、画像処理部４２は、その画像に２値化処理を施し、図６に示すような画像を生成する。この場合、図５に示す画像の輝度Ａおよび輝度Ｂで表される輝度は、輝度Ｌ、そして輝度Ｃおよび輝度Ｄで表される輝度は、輝度Ｈとされる。また、輝度Ｈの画素の画素値は、”１”に、輝度Ｌの画素の画素値は”０”に符号化される。
【００１３】
このように、流し撮像することより、１フィールド期間中の２回の輝度の時間的変化が、２個の空間的変化に変換される。
【００１４】
次に、以上のようにして求められた空間的パターンに変換された画像データから、輝点の位置を検出する場合の画像処理装置２３の画像処理部４２の処理手順を説明する。
【００１５】
図７（Ａ）は、図８に示すように配置された発光装置１１−１の発光ダイオード３２に対応する輝点Ｌi１、発光装置１１−２の発光ダイオード３２に対応する輝点Ｌi２、および発光装置１１−３の発光ダイオード３２に対応する輝点Ｌi３の点滅パターンの画像データが、空間的パターンに変換された例を示している。輝点Ｌi１，Ｌi２，Ｌi３の位置を求める場合、画像処理装置２３の画像処理部４２は、走査線上に配置された輝点の画素値”１”を、図７（Ｂ）に示すように、流し撮像された方向（この例の場合、ｙ軸方向）に加算し、その加算の中からピークを求め、そのピークの位置するｘ軸上の座標を表示画像上の輝点のＸ座標とする。この表示例の場合、輝点Ｌi１，Ｌi２，Ｌi３の表示画像上のＸ座標は、それぞれＸ１，Ｘ２，Ｘ３となる。
【００１６】
一方、ｙ座標は、最初に発光した輝点のｙ軸上の座標が輝点の表示画像上のＹ座標となる。この表示例の場合、流し撮像方向が負方向であることから、輝点１、輝点２、輝点３が最初に光始めた点であり、このことにより、輝点１、輝点２、輝点３のｙ軸上の座標である、Ｙ１，Ｙ２，Ｙ３が、輝点Ｌi１，Ｌi２，Ｌi３のＹ座標となる。
【００１７】
このようにして、画像処理部４２は、図８に示すように、輝点Ｌi１，Ｌi２，Ｌi３の表示画像上のＸ座標およびＹ座標、すなわち（Ｘ１，Ｙ１），（Ｘ２，Ｙ２），（Ｘ３，Ｙ３）を求める。
【００１８】
次に、輝点の点滅パターンを検知する場合の画像処理装置２３の画像処理部４２の処理を、図９を参照して説明する。
【００１９】
図９（Ａ）は、図７の輝点Ｌi１の空間的パターンを取りだして表示している。輝点Ｌi１の状態を検出する場合、画像処理装置２３の画像処理部４２は、ｘ座標Ｘ１に対する、予め定められたばらつき範囲内（Ｘ１-ΔＸ＜Ｘ＜Ｘ１＋ΔＸ）の輝点を選択し、Ｘ軸方向に加算し、図９（Ｂ）に示すように、そのピークを求める。次に、画像処理部４２は、求められたピークを所定の閾値で２値化処理し、図９（Ｃ）に示すようなビットパターンの情報を生成する。このようにして求められたビットパターン（１０１０１０１０）から輝点Ｌi１の状態が検出される。この場合、輝点Ｌi１は、８ビット情報が抽出されるような点滅パターンで、輝点が点滅されている。
【００２０】
このように、発光装置１１が、所定のパターンで輝点を発光し、それを流し撮像して処理することにより、発光装置１１の位置および発光パターンが同時に検出される。
【００２１】
【発明が解決しようとする課題】
しかしながら、図１０に示すように、発光装置１１−１の発光ダイオード３２に対応する輝点Ｌi１、および発光装置１１−２の発光ダイオード３２に対応する輝点Ｌi２が、ビデオカメラ２１の流し撮像の方向と一致する所定の直線上に位置する場合、ビデオカメラ２１が流し撮像した画像上で点滅パターンが重なり合ったとき、画像処理システムは、それぞれの点滅パターンを検出できず、発光装置１１−１および発光装置１１−２を特定できないという問題があった。
【００２２】
本発明はこのような状況に鑑みてなされたものであり、複数の発光装置１１を常に特定でき、それらの発光装置１１の位置を常に知ることができるようにすることを目的とする。
【００２３】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、通常の撮像と流し撮像とが交互にされるように撮像装置の撮像を制御する撮像制御手段と、撮像装置が通常の撮像で撮像した画像を基に、発光装置の位置を算出する第１の算出手段と、撮像装置が流し撮像で撮像した画像を基に、発光装置の位置および発光装置の点滅パターンを算出する第２の算出手段と、第２の算出手段により算出された点滅パターンを、対応する発光装置の位置とともに記憶する記憶手段と、第１の算出手段が算出した発光装置の位置を基に、記憶手段に記憶した発光装置の位置を修正し、修正された発光装置の位置を記憶手段に記憶させる第１の修正手段と、第２の算出手段が算出した発光装置の位置および点滅パターンを基に、記憶手段に記憶した発光装置の位置を修正し、修正された発光装置の位置を記憶手段に記憶させる第２の修正手段とを含むことを特徴とする。
【００２４】
撮像制御手段は、通常に撮像した画像と流し撮像した画像の少なくともいずれか一方の所定のラインに、通常に撮像した画像と流し撮像した画像とを識別するための識別信号を挿入するようにすることができる。
【００２５】
撮像制御手段は、流し撮像させる期間における流し撮像する前の所定期間、撮像装置に、通常の撮像をさせるように撮像を制御するようにすることができる。
【００２６】
撮像制御手段は、流し撮像させる期間における流し撮像した後の所定期間、撮像装置に、通常の撮像をさせるように撮像を制御するようにすることができる。
【００２７】
撮像制御手段は、発光装置からの光以外の光が入射されるのを抑制する光学フィルタを通した画像を撮像するCCD撮像回路が撮像装置に設けられている場合、流し撮像した画像を出力する期間の始まりからCCD撮像回路が実際に垂直方向に電荷を転送するまでの期間、CCD撮像回路のフォトディテクタに電荷を蓄積させ、垂直方向の転送を開始する前に、CCD撮像回路のフォトディテクタからＶレジスタに電荷を読み出すように、流し撮像した画像を出力する期間における撮像装置の撮像を制御するようにすることができる。
【００２８】
第２の算出手段は、流し撮像された画像のエッジの位置を基に、発光装置の点滅パターンを算出するようにすることができる。
【００２９】
請求項７に記載の画像処理方法は、通常の撮像と流し撮像とが交互にされるように撮像装置の撮像を制御する撮像制御ステップと、撮像装置が通常の撮像で撮像した画像を基に、発光装置の位置を算出する第１の算出ステップと、撮像装置が流し撮像で撮像した画像を基に、発光装置の位置および発光装置の点滅パターンを算出する第２の算出ステップと、第２の算出ステップの処理で算出された点滅パターンを、対応する発光装置の位置とともに記憶する記憶ステップと、第１の算出ステップの処理で算出した発光装置の位置を基に、記憶した発光装置の位置を修正し、修正された発光装置の位置を記憶させる第１の修正ステップと、第２の算出ステップの処理で算出した発光装置の位置および点滅パターンを基に、記憶した発光装置の位置を修正し、修正された発光装置の位置を記憶させる第２の修正ステップとを含むことを特徴とする。
【００３０】
請求項８に記載の記録媒体のプログラムは、通常の撮像と流し撮像とが交互にされるように撮像装置の撮像を制御する撮像制御ステップと、撮像装置が通常の撮像で撮像した画像を基に、発光装置の位置を算出する第１の算出ステップと、撮像装置が流し撮像で撮像した画像を基に、発光装置の位置および発光装置の点滅パターンを算出する第２の算出ステップと、第２の算出ステップの処理で算出された点滅パターンを、対応する発光装置の位置とともに記憶する記憶ステップと、第１の算出ステップの処理で算出した発光装置の位置を基に、記憶した発光装置の位置を修正し、修正された発光装置の位置を記憶させる第１の修正ステップと、第２の算出ステップの処理で算出した発光装置の位置および点滅パターンを基に、記憶した発光装置の位置を修正し、修正された発光装置の位置を記憶させる第２の修正ステップとを含むことを特徴とする。
【００３１】
請求項１に記載の画像処理装置、請求項７に記載の画像処理方法、および請求項８に記載の記録媒体においては、通常の撮像と流し撮像とが交互にされるように撮像装置の撮像が制御され、撮像装置が通常の撮像で撮像した画像を基に、発光装置の位置が算出され、撮像装置が流し撮像で撮像した画像を基に、発光装置の位置および発光装置の点滅パターンが算出され、流し撮像した画像から算出された点滅パターンが、対応する発光装置の位置とともに記憶され、通常の撮像で撮像した画像から算出した発光装置の位置を基に、記憶した発光装置の位置が修正されて、修正された発光装置の位置が記憶され、流し撮像した画像から算出した発光装置の位置および点滅パターンを基に、記憶した発光装置の位置が修正されて、修正された発光装置の位置が記憶される。
【００３２】
【発明の実施の形態】
図１１は、本発明に係る画像処理システムの一実施の形態を示す図である。発光装置１１は、ロボットなどの対象物に取り付けられており、対象物固有の、または対象物の状態に対応する所定のパターンで、光点の輝度を時間経過とともに変化させる発光装置である。
【００３３】
ビデオカメラ１０１は、流し撮像および通常の撮像で、発光装置１１から発光される光点を撮像する。ビデオカメラ１０１は、流し撮像により得られた発光装置１１の光点の点滅パターンの画像データ、および通常の撮像により得られた発光装置１１の光点の画像データを画像処理装置２３に出力する。フィルタ１０１Ａは、発光装置１１から発光される光点以外の光がビデオカメラ１０１に入射されるのを抑制する光学フィルタで、ビデオカメラ１０１のレンズ部（図示せず）の前段に設けられている。
【００３４】
画像処理装置１０２は、画像キャプチャ部１１１および画像処理部１１２から構成され、ビデオカメラ１０１から供給された画像データに所定の処理を施し、発光装置１１の位置および点滅パターンを検出し、発光装置１１の位置および発光装置１１を特定するデータを表示装置２４に出力する。
【００３５】
画像キャプチャ部１１１は、ビデオカメラ１０１から供給される、点滅パターンの画像データおよび通常の撮像により得られた画像データに所定の処理を施し、画像処理部１１２が所定の画像処理を実行できるような画像データを生成し、画像処理部１１２に出力する。
【００３６】
画像処理部１１２は、画像キャプチャ部１１１から供給された時間経過に対応する輝度の変化として表されている点滅パターンの画像データ（流し撮像された画像の画像データ）を、２次元空間、すなわち、Ｘ軸およびＹ軸の各座標で表される空間的パターンの画像データに変換し（フレームメモリに書き込み）、その画像データから、発光装置１１の位置および点滅パターンを検出するとともに、通常の撮像により得られた画像データから、発光装置１１の位置を検出する。画像処理部１１２は、発光装置１１の位置および点滅パターンを、表示装置に出力する。
【００３７】
表示装置２４は、画像処理装置１０２から供給されるデータを表示する。
【００３８】
図１２は、ビデオカメラ１０１の構成を示す図である。同期信号生成回路１３１は、ビデオカメラ１０１が通常の撮像するとき、ＣＣＤ撮像回路１３６に供給される通常撮像フィールド信号を生成し、スイッチ１３５に出力するとともに、通常撮像フィールド信号に同期した水平同期信号および垂直同期信号を生成し、流し撮像フィールド駆動信号生成回路１３２、インデックス生成回路１３３、および駆動信号切り替えパルス生成回路１３４に出力する。
【００３９】
なお、同期信号生成回路１３１が出力する通常撮像フィールド信号は、図１５を参照して後述する流し撮像画像出力期間に、流し撮像出力フィールド信号として使用される。
【００４０】
流し撮像フィールド駆動信号生成回路１３２は、同期信号生成回路１３１から入力された水平同期信号および垂直同期信号を基に、水平同期信号および垂直同期信号に同期した流し撮像生成フィールド信号（ビデオカメラ１０１が流し撮像するとき、ＣＣＤ撮像回路１３６に供給される）を生成し、スイッチ１３５に出力する。
【００４１】
インデックス生成回路１３３は、同期信号生成回路１３１から入力された水平同期信号および垂直同期信号、並びに駆動信号切り替えパルス生成回路１３４から入力された通常撮像フィールドパルス（ＣＣＤ撮像回路１３６が通常の撮像をするときＯＮになる）を基に、カメラ信号処理回路１３７がインデックス（画像処理装置１０２が通常の撮像がされた画像か否かを判定するための信号）を通常の撮像がされた画像に設定するためのインデックス信号を生成し、カメラ信号処理回路１３７に供給する。
【００４２】
図１３は、インデックス生成回路１３３の構成を示す図である。８ビットカウンタ１５１は、同期信号生成回路１３１から入力された水平同期信号をクロックとして入力し、８ビットのカウント値を比較回路１５２に出力する。８ビットカウンタ１５１が出力する８ビットのカウント値は、ＣＣＤ撮像回路１３６が、現在、所定の画像の上から何番目のラインの画像データを出力しているかを示す。例えば、ＣＣＤ撮像回路１３６が出力する画像データが、２４０ラインで構成されているとき、８ビットカウンタ１５１が出力するカウント値は、例えば、０乃至２３９のいずれかの値を有する。
【００４３】
８ビットカウンタ１５１は、同期信号生成回路１３１から入力された垂直同期信号をリセット信号として入力し、垂直同期信号が所定の値を取ったとき（画像が切り替わるとき）、８ビットのカウント値をリセットする。
【００４４】
比較回路１５２は、８ビットカウンタ１５１から供給されたカウント値と、固定値”２３８”とを比較し、比較した結果を示す信号をＪＫフリップフロップ１５３に出力する。すなわち、８ビットカウンタ１５１からのカウント値が固定値”２３８”と等しいとき、比較回路１５２は、”１”をＪＫフリップフロップ１５３のセット入力に出力する。
【００４５】
ＪＫフリップフロップ１５３は、セット入力に”１”が入力されたとき、”１”を論理積回路１５４に出力する。ＪＫフリップフロップ１５３は、リセット入力に、垂直同期信号を入力する。従って、例えば、ＣＣＤ撮像回路１３６が出力する画像データが、２４０ラインで構成されているとき、ＪＫフリップフロップ１５３は、８ビットカウンタ１５１が出力するカウント値が２３８または２３９のいずれかの値のとき、”１”を出力する。
【００４６】
論理積回路１５４は、ＪＫフリップフロップ１５３の出力信号および通常撮像フィールドパルスの論理積を求め、インデックス信号として、カメラ信号処理回路１３７に供給する。
【００４７】
すなわち、例えば、ＣＣＤ撮像回路１３６が、通常の撮像の画像の２３８ラインまたは２３９ライン（画像の下から２つのライン）の画像データを出力するとき、インデックス生成回路１３３は、”１”であるインデックス信号をカメラ信号処理回路１３７に供給する。
【００４８】
駆動信号切り替えパルス生成回路１３４は、ＣＣＤ撮像回路１３６が、後述する通常の撮像をする動作、流し撮像をする動作、または流し撮像された画像を出力する動作のそれぞれを切り替える為の信号を生成する。駆動信号切り替えパルス生成回路１３４は、ＣＣＤ撮像回路１３６に供給されるフィールド信号を切り替えるスイッチ１３５を制御するための切り替えパルス（ＣＣＤ撮像回路１３６が、通常の撮像をする動作、流し撮像をする動作、または流し撮像された画像を出力する動作のそれぞれを切り替える為の信号の内の１つ）を、スイッチ１３５に供給するとともに、ＣＣＤ撮像回路１３６が通常の撮像をしているときＯＮになる通常撮像フィールドパルスをインデックス生成回路１３３に供給する。
【００４９】
図１４は、駆動信号切り替えパルス生成回路１３４の構成を説明する図である。２ビットカウンタ１７１は、同期信号生成回路１３１から駆動信号切り替えパルス生成回路１３４に入力された垂直同期信号をクロック入力として入力し、２ビットでカウントし、カウント値の上位１ビット（図中のＣ１で表される信号）および下位１ビット（図中のＣ０で表される信号）をそれぞれ、論理積回路１７２、論理積回路１７３、および論理積回路１７５に供給する。
【００５０】
カウント値の上位１ビットは、２ビットカウンタ１７１にリセット入力として戻される。すなわち、２ビットカウンタ１７１は、垂直同期信号の入力に対応して、”００”、”０１”、および”１０”の値を循環的に出力する。
【００５１】
論理積回路１７２は、２ビットカウンタ１７１から入力されたカウント値の上位１ビットおよび下位１ビットのそれぞれを共に、反転し（否定値を求め）、反転された値の論理積を求めて、通常撮像フィールドパルスとして出力する。通常撮像フィールドパルスは、駆動信号切り替えパルス生成回路１３４の出力として、インデックス生成回路１３３に出力される。
【００５２】
論理積回路１７３は、２ビットカウンタ１７１から入力されたカウント値の上位１ビットを反転し、反転されたカウント値の上位１ビットおよびカウント値の下位１ビットの論理積を求めて、流し撮像生成フィールドパルスとして反転回路１７４に出力する。反転回路１７４は、流し撮像生成フィールドパルスを反転して、切り替えパルスとして出力する。切り替えパルスは、駆動信号切り替えパルス生成回路１３４の出力として、スイッチ１３５に供給される。
【００５３】
論理積回路１７５は、２ビットカウンタ１７１から入力されたカウント値の下位１ビットを反転し、反転されたカウント値の下位１ビットおよびカウント値の上位１ビットの論理積を求めて、流し撮像出力フィールドパルスとして出力する。
【００５４】
このように、通常撮像フィールドパルス、流し撮像生成フィールドパルス、および流し撮像出力フィールドパルスは、いずれか１つの信号がＯＮのとき、他の信号がＯＦＦとなる排他的な信号となる。
【００５５】
図１２に戻り、スイッチ１３５は、駆動信号切り替えパルス生成回路１３４から供給された切り替えパルスを基に、切り替えパルスがＯＮしているとき、同期信号生成回路１３１から供給された通常撮像フィールド信号をCCD駆動信号として、CCD撮像回路１３６に供給し、切り替えパルスがＯＦＦしているとき、流し撮像フィールド駆動信号生成回路１３２から供給された流し撮像生成フィールド信号をCCD駆動信号として、CCD撮像回路１３６に供給する。
【００５６】
CCD撮像回路１３６は、スイッチ１３５から供給された通常撮像フィールド信号、または流し撮像生成フィールド信号を基に、実際に発光装置１１の画像を、通常の撮像し、または流し撮像で撮像し（所定の順序で交互に撮像し）、通常に撮像された画像および流し撮像された画像を所定の順序でカメラ信号処理回路１３７に供給する。
【００５７】
図１５は、CCD撮像回路１３６の撮像のタイミングを説明するタイミングチャートである。図１５（Ａ）は、インターレース画像のフィールドを識別するためのフィールドインデックスを示す信号である。図１５（Ｂ）は、CCD駆動信号を示す図である。図１５（Ｃ）に示すように、駆動信号切り替えパルス生成回路１３４は、通常撮像フィールドパルスをＯＮしているとき、流し撮像生成フィールドパルスをＯＦＦにする。流し撮像生成フィールドパルスが反転して生成される切り替えパルスが、図１５（Ｆ）に示すように、ＯＮするので、スイッチ１３５は、同期信号生成回路１３１から供給される通常撮像フィールド信号をCCD撮像回路１３６に出力する。以下、通常撮像フィールド信号がCCD撮像回路１３６に供給される期間を、通常撮像期間と称する。従って、通常撮像期間において、CCD駆動信号として通常撮像フィールド信号がCCD撮像回路１３６に供給されるので、CCD撮像回路１３６は、通常の撮像で発光装置１１の画像を撮像する。
【００５８】
通常撮像フィールド信号がCCD撮像回路１３６に供給された所定のフィールドの次のフィールドでは、図１５（Ｄ）に示すように、駆動信号切り替えパルス生成回路１３４が、流し撮像生成フィールドパルスをＯＮさせるので、切り替えパルスは、ＯＦＦされる。スイッチ１３５は、流し撮像フィールド駆動信号生成回路１３２から供給される流し撮像生成フィールド信号を出力する。以下、流し撮像生成フィールド信号がCCD撮像回路１３６に供給される期間を、流し撮像期間と称する。従って、流し撮像期間において、CCD撮像回路１３６に流し撮像生成フィールド信号が供給されるので、CCD撮像回路１３６は、流し撮像により、発光装置１１の画像を撮像する。
【００５９】
流し撮像生成フィールド信号がCCD撮像回路１３６に供給された所定のフィールドの次のフィールドでは、図１５（Ｅ）に示すように、駆動信号切り替えパルス生成回路１３４が、流し撮像出力フィールドパルスをＯＮさせるので、流し撮像生成フィールドパルスはＯＦＦとなる。このため、スイッチ１３５は、同期信号生成回路１３１から供給される通常撮像フィールド信号をCCD撮像回路１３６に出力する。以下、流し撮像期間通の後に、常撮像フィールド信号がCCD撮像回路１３６に供給される期間を、流し撮像画像出力期間と称する。従って、流し撮像画像出力期間において、CCD撮像回路１３６に流し撮像出力フィールド信号（通常撮像フィールド信号と同じ信号）が供給されるので、CCD撮像回路１３６は、流し撮像期間に流し撮像された画像を出力する。
【００６０】
このように、スイッチ１３５は、駆動信号切り替えパルス生成回路１３４から供給される切り替えパルスに従って、CCD撮像回路１３６に供給する信号を、通常撮像フィールド信号、流し撮像生成フィールド信号、および流し撮像出力フィールド信号（通常撮像フィールド信号と同じ信号）に順次切り替えるので、図１６に示すように、CCD撮像回路１３６は、通常の撮像して通常の画像を出力する動作、流し撮像して流し撮像の画像を生成する動作（このとき、CCD撮像回路１３６から出力される画像は、利用しないので捨てられる）、流し撮像した画像を出力する動作を順次切り替え、それを繰り返す。
【００６１】
流し撮像した画像で発光装置１１−１の発光ダイオード３２に対応する輝点Ｌi１と発光装置１１−２の発光ダイオード３２に対応する輝点Ｌi２とが重なり合っても、通常の撮像をして得られた通常の画像においては、図１７に示すように、輝点Ｌi１と輝点Ｌi２とは、重なり合わない。
【００６２】
カメラ信号処理回路１３７は、インデックス生成回路１３３から供給されるインデックス信号がＯＮとき、画像信号として予め定めた所定の画素値（例えば、Ｒ信号、Ｇ信号、およびＢ信号ともに”２５５”である画素値）を出力する。従って、カメラ信号処理回路１３７から出力される通常の撮像がされた画像のライン２３８および２３９の画素値には、図１８に示すように、所定の画素値が設定されている。なお、カメラ信号処理回路１３７は、通常の撮像がされた画像のライン０乃至２３７の画像、および流し撮像された画像をそのまま出力する。
【００６３】
従って、画像処理装置１０２の画像処理部１１２は、供給された画像のライン２３８および２３９に設定されている画素の画素値を確認することで、その画像が通常の撮像がされた画像であるか否かを容易に判定することができる。
【００６４】
図１５を参照して説明したように、CCD撮像回路１３６には、通常撮像フィールド信号、流し撮像生成フィールド信号、および流し撮像出力フィールド信号が順次供給され、その信号に従って、CCD撮像回路１３６が出力する画像は、通常撮像された画像および流し撮像された画像に順次切り替わる（流し撮像期間にCCD撮像回路１３６が出力する画像は、利用されないので捨てられる）。
【００６５】
従って、画像処理部１１２が、通常撮像の画像と判定された画像に対応するフィールド番号ｆnormalとして、３を設定し、フィールドインデックスの値の切り替えに従って、順次入力されたる画像に対応するフィールド番号を１ずつインクリメントして設定すれば、画像処理部１１２は、判断しようとする画像のフィールド番号ｆを３で割った余りの値で、画像の種類を判定することができる。
【００６６】
すなわち、画像処理部１１２は、フィールド番号ｆを３で割った余りの値が、０であれば通常の撮像がされた画像であると判定し、フィールドの番号ｆを３で割った余りの値が、１であれば流し撮像期間に出力される画像であると判定し、フィールドの番号ｆを３で割った余りの値が、２であれば流し撮像された画像であると判定する。
【００６７】
また、通常撮像された画像のインデックスを利用しなくとも、画像処理部１１２は、流し撮像された画像を識別することができる。流し撮像された画像は、流し撮像された方向に並ぶ画素の画素値が相互に高い相関を有しているので、例えば、画像処理部１１２は、画像キャプチャ部１１１から供給された画像を基に、流し撮像の方向に画素値の相関値を求め、予め定めた閾値以上の相関値が得られた場合、その画像が流し撮像された画像であると判定するようにしてもよい。
【００６８】
画像処理部１１２が、流し撮像された画像と判定された画像に対応するフィールド番号ｆflowshootとして、３を設定し、フィールドインデックスの切り替えに従って、順次入力されたる画像に対応するフィールド番号を１ずつインクリメントして設定すれば、画像処理部１１２は、判断しようとする画像のフィールド番号ｆを３で割った余りの値で、画像の種類を判定することができる。
【００６９】
また、画像キャプチャ部１１１がフィールド番号ｆを生成し、フィールド番号ｆに対応する画像の種類を予め決めてキャプチャすれば、画像処理部１１２は、インデックスの設定および検出、または相関値の算出を実行しなくとも、画像の種類を知ることができる。すなわち、例えば画像キャプチャ部１１１は、通常撮像された画像をキャプチャしたとき、フィールド番号をそれぞれ０，３，６，９，・・・に設定し、流し撮像期間に出力される画像をキャプチャしたとき（出力せずに捨てても良い）、フィールド番号をそれぞれ１，４，７，１０，・・・に設定し、流し撮像された画像をキャプチャしたとき、フィールド番号をそれぞれ２，５，８，１１，・・・に設定するようにすればよい。
【００７０】
流し撮像フィールド駆動信号生成回路１３２は、より詳細には、図１９に示すように、リセットパルス（CCD撮像回路１３６が蓄積する光電変換された電荷をリセットする信号）が入力された後の所定のＡ期間に、流し撮像生成フィールド信号としてCCD撮像回路１３６に通常の撮像をさせるフィールド信号を出力して、その後、流し撮像させるフィールド信号を出力する（図中の流し撮像期間）。
【００７１】
すると、CCD撮像回路１３６は、図２０に示すように、流し撮像期間に撮像された輝点Ｌiの画像に先立って（水平方向は同一で、点滅パターンの上に位置するライン上に）、Ａ期間に通常撮像した輝点Ｌiの画像を出力する。
【００７２】
Ａ期間に通常撮像した輝点Ｌiの画像は、流し撮像期間に撮像された輝点Ｌiの画像に比較し画像の信号レベルが高いので、画像処理装置１０２は、処理の対象となる輝点Ｌiに対応する画像を特定しやすくなり、点滅パターンの画像を特定する処理の負荷を低減することができる。また、流し画像における輝点Ｌiの座標を確実に求めることができるようになる。
【００７３】
逆に、流し撮像フィールド駆動信号生成回路１３２は、図２１に示すように、リセットパルスが入力された後に、流し撮像させるフィールド信号を出力し、その後のＡ期間に、流し撮像生成フィールド信号としてCCD撮像回路１３６に通常の撮像をさせるフィールド信号を出力してもよい。
【００７４】
この場合、CCD撮像回路１３６は、図２２に示すように、流し撮像期間に撮像された輝点Ｌiの画像に後に、Ａ期間に通常撮像した輝点Ｌiの画像を出力する。
【００７５】
また、流し撮像画像出力期間に、CCD撮像回路１３６に輝点Ｌiの通常撮像した画像を撮像させることもできる。図２３に示すように、流し撮像画像出力期間のフィールドの始まりから、CCD撮像回路１３６が実際に垂直方向に電荷を転送するまでの期間、CCD撮像回路１３６のフォトディテクタに、輝点Ｌiに対応する電荷を蓄積させ、CCD撮像回路１３６が垂直方向に転送を開始する前に、フォトディテクタの輝点Ｌiに対応する電荷をＶレジスタ（垂直ＣＣＤ）に読み出す。その後、CCD撮像回路１３６にＶレジスタ上の電荷を垂直方向に転送させ、画像を出力させる。
【００７６】
以上の動作により、CCD撮像回路１３６は、図２４に示すように、流し撮像期間に撮像された輝点Ｌiの画像に後に、Ａ期間に通常撮像した輝点Ｌiの画像を出力することができる。
【００７７】
図２５および図２６は、通常の撮像がされた画像上の輝点Ｌiの座標と流し撮像された画像上の輝点Ｌi（同一の発光装置１１に対応する）の座標との差異を説明する図である。図２５に示すように、通常の撮像がされた画像上の輝点Ｌiの座標を（ｘ，ｙ）とすれば、図２６に示すように、流し撮像においては、流し撮像の方向に流し量Δｙ（流し撮像されるフィールドの期間中に、ホトダイオードの出力を垂直転送CCDに転送する回数と同じラインの数に対応する）だけずれが発生するので、流し撮像された画像上の輝点Ｌiの座標は、（ｘ，ｙ＋Δｙ）となる。
【００７８】
次に画像処理部１１２が実行する輝点Ｌiの座標および点滅パターンの算出の処理について、図２７および図２８を参照して説明する。始めに、画像処理部１１２は、ｘ座標Ｘ１に対する、予め定められたばらつき範囲内（Ｘ１-ΔＸ＜Ｘ＜Ｘ１＋ΔＸ）の輝点を選択し、Ｘ軸方向に加算して、図２７（Ａ）に示すように、流し撮像の方向（例えば、画像の縦軸方向）に対応する画素値の積算値Ｉを求める。
【００７９】
次に、画像処理部１１２は、図２７（Ｂ）に示すように、画素値の積算値Ｉに対して、流し撮像の方向のエッジを検出するエッジ検出フィルタをかける。エッジ検出フィルタは、例えば、（１，−１）、すなわち、流し撮像の方向（図のグラフの横軸に対応する）の座標値ｎに対して、Ｅ（ｎ）＝Ｉ（ｎ）−Ｉ（ｎ−１）を出力するフィルタである。
【００８０】
そして、画像処理部１１２は、図２７（Ｃ）に示すように、エッジ検出フィルタの出力値Ｅの絶対値を求め、予め定めた閾値未満のエッジ検出フィルタの出力値Ｅを切り捨てる。
【００８１】
画像処理部１１２は、残ったエッジ検出フィルタの出力値Ｅを基に、立ち上がりエッジ（図２８（Ａ）において正の値を持つ出力値Ｅ）から、立ち下がりエッジ（図２８（Ａ）において負の値を持つ出力値Ｅ）までの区間をビット１に設定し、立ち下がりエッジから、立ち上がりエッジまでの区間をビット０に設定する。
【００８２】
以上のように、画像処理部１１２は、輝点Ｌiの画像のエッジを基に、点滅パターンを算出することで、発光装置１１以外の画像などによる点滅パターンの誤りを少なくすることができる。
【００８３】
図２９は、画像処理部１１２が過去に算出した輝点Ｌiに対応する位置、およびＩＤ(Idetification)データ（輝点Ｌiの点滅パターンに対応するデータ）を記憶するリストＡを説明する図である。リストＡは、撮像される発光装置１１−１乃至１１−ｎにそれぞれ対応する、要素ａ（１）乃至要素ａ（ｎ）から構成されている。それぞれの要素ａ（ｉ）は、輝点Ｌi（ｉ）のＩＤ、輝点Ｌi（ｉ）の座標（画像上の位置）、および通常撮像での画像における輝点Ｌi（ｉ）の座標と流し撮像された画像における輝点Ｌi（ｉ）の座標との距離から構成される。
【００８４】
画像処理部１１２は、通常撮像での画像が入力されたとき、輝点Ｌi（１）乃至輝点Ｌi（ｎ）に対応する座標を算出して、リストＡの要素ａ（１）乃至要素ａ（ｎ）の座標に設定する。
【００８５】
画像処理部１１２は、流し撮像での画像が入力されたとき、輝点Ｌi（１）乃至輝点Ｌi（ｎ）に対応する座標およびＩＤ（点滅パターンに対応するデータ）を算出して、リストＡの要素ａ（１）乃至要素ａ（ｎ）の座標およびＩＤに設定する。流し撮像での画像において、輝点Ｌiの画像が重なり合っている場合（点滅パターンを算出できない場合）、画像処理部１１２は、点滅パターンを算出することができる輝点Ｌiに対してのみ、点滅パターンを算出し、リストＡの要素ａ（１）乃至要素ａ（ｎ）のＩＤに設定する。
【００８６】
このように、画像処理部１１２は、流し撮像された画像において輝点Ｌiの画像が重なり合っていても、常に、発光装置１１−１乃至１１−ｎにそれぞれ対応する輝点Ｌi（１）乃至輝点Ｌi（ｎ）の正確な座標およびＩＤを出力することができる。
【００８７】
画像処理部１１２が輝点Ｌiに対応する位置、およびＩＤデータを算出する処理で一時的に利用するリストａ、リストｂ、およびリストＡ’も同様の構成を有する。
【００８８】
次に、図３０のフローチャートを参照して、画像処理装置１０２の発光装置１１に対応する輝点Ｌiの位置およびＩＤを算出する処理を説明する。ステップＳ１１において、画像処理部１１２は、リストＡを初期化する。
【００８９】
ステップＳ１２において、画像キャプチャ部１１１は、ビデオカメラ１０１から供給された画像をキャプチャする。ステップＳ１３において、画像処理部１１２は、画像に埋め込まれたインデックスおよびフィールド番号を基にした処理により、画像キャプチャ部１１１から供給された画像が通常撮像された画像である否かを判定し、画像キャプチャ部１１１から供給された画像が通常撮像された画像であると判定された場合、ステップＳ１４に進み、画像処理部１１２は、通常撮像の画像の処理を実行し、ステップＳ１７に進む。ステップＳ１４の通常撮像の画像の処理の詳細は、図３１のフローチャートを参照して後述する。
【００９０】
ステップＳ１３において、画像キャプチャ部１１１から供給された画像が通常撮像された画像でないと判定された場合、ステップＳ１５に進み、画像処理部１１２は、画像に埋め込まれたインデックスおよびフィールド番号などを基にした処理により、画像キャプチャ部１１１から供給された画像が流し撮像された画像である否かを判定する。ステップＳ１５において、画像キャプチャ部１１１から供給された画像が流し撮像された画像であると判定された場合、ステップＳ１６に進み、画像処理部１１２は、流し撮像の画像の処理を実行し、ステップＳ１７に進む。ステップＳ１６の流し撮像の画像の処理の詳細は、図３３および図３４のフローチャートを参照して後述する。
【００９１】
ステップＳ１５において、画像キャプチャ部１１１から供給された画像が流し撮像された画像でないと判定された場合、その画像は流し撮像生成フィールド信号がCCD撮像回路１３６に供給されたとき、CCD撮像回路１３６が出力する画像（流し撮像期間に出力される画像）なので、ステップＳ１６はスキップされ、ステップＳ１７に進む。
【００９２】
ステップＳ１７において、画像処理部１１２は、処理を終了するか否かを判定し、処理を終了しないと判定された場合、ステップＳ１２に戻り、画像のキャプチャから処理を繰り返す。
【００９３】
ステップＳ１７において、処理を終了すると判定された場合、手続きは、終了する。
【００９４】
以上のように、画像処理装置１０２は、入力される画像の種類によって、所定の処理を実行する。
【００９５】
次に、図３０のステップＳ１４に対応する通常撮像された画像の処理について、図３１のフローチャートを参照して説明する。ステップＳ３１において、画像処理部１１２は、処理のために一時的に利用されるリストであるリストａおよびリストＡ’をクリアする。ステップＳ３２において、画像処理部１１２は、通常撮像された画像上の輝点Ｌiの位置算出の処理を実行する。輝点Ｌiの位置算出の処理の詳細については、図３２のフローチャートを参照して後述する。
【００９６】
ステップＳ３３において、画像処理部１１２は、ステップＳ３２で算出された輝点Ｌiの位置をリストａに格納する。このステップでは、リストａの各要素には、位置の情報だけが格納し、リストａの各要素のＩＤおよび距離には、不定を示す”−１”が格納される。
【００９７】
例えば、ａ（１）に、図１６に示された通常の撮像がされた画像２のＬＥＤ１ｃの情報がリストａの要素ａ（１）に格納され、ＬＥＤ２ｃの情報がリストａの要素ａ（２）に格納され、ＬＥＤ３ｃの情報がリストａの要素ａ（３）に格納される。より詳細には、リストａの要素ａ（１）のＩＤには、不定を示す”−１”が格納され、リストａの要素ａ（１）の座標には、ＬＥＤ１ｃの座標である（ｘ１ｃ，ｙ１ｃ）が格納され、リストａの要素ａ（１）の距離には、不定を示す”−１”が格納される。同様に、リストａの要素ａ（２）のＩＤには、”−１”が格納され、リストａの要素ａ（２）の座標には、ＬＥＤ１ｃの座標である（ｘ２ｃ，ｙ２ｃ）が格納され、リストａの要素ａ（２）の距離には、”−１”が格納される。リストａの要素ａ（３）のＩＤには、”−１”が格納され、リストａの要素ａ（３）の座標には、ＬＥＤ１ｃの座標である（ｘ３ｃ，ｙ３ｃ）が格納され、リストａの要素ａ（３）の距離には、”−１”が格納される。
【００９８】
ステップＳ３４において、画像処理部１１２は、リストａの要素それぞれに対して、距離が最も近いリストＡの要素を求めて、そのＩＤおよび距離をリストａの要素の距離に書き込む。
【００９９】
例えば、図１６に示した通常の撮像がされた画像２のＬＥＤ１ｃは、流し撮像された画像１のＬＥＤ１ｂに最も近く、通常撮像された画像２のＬＥＤ２ｃは、流し撮像された画像１のＬＥＤ２ｂに最も近く、通常撮像された画像２のＬＥＤ３ｃは、流し撮像された画像１のＬＥＤ３ｂに最も近い。要素ａ（１）の距離は、式（１）で算出され、要素ａ（２）の距離は、式（２）で算出され、要素ａ（３）の距離は、式（３）で算出される。要素ａ（１）のＩＤは、１に設定され、要素ａ（２）のＩＤは、２に設定され、要素ａ（３）のＩＤは、３に設定される。
【０１００】
【数１】
0004348576.tif 000002
【数２】
0004348576.tif 000003
【数３】
0004348576.tif 000004
ステップＳ３５において、画像処理部１１２は、リストａの要素ａ（１）の距離が予め定めた閾値より小さいか否かを判定し、リストａの要素ａ（１）の距離が予め定めた閾値より小さいと判定された場合、ステップＳ３６に進み、発光装置１１の移動またはビデオカメラ１０１の移動により、リストＡのある１つの要素に対して、リストａの複数の要素が対応してしまうときがあるので、リストａの中に、要素ａ（１）のＩＤと同じＩＤの他の要素があるか否かを判定する。
【０１０１】
ステップＳ３６において、リストａの中に、要素ａ（１）のＩＤと同じＩＤの他の要素があると判定された場合、ステップＳ３７に進み、画像処理部１１２は、要素ａ（１）および要素ａ（１）のＩＤと同じＩＤを有する他の要素の内から、距離が最小の要素ａ（ｊ）を選択する。ステップＳ３８において、画像処理部１１２は、ステップＳ３８で選択された要素ａ（ｊ）をリストＡ’に追加する。
【０１０２】
ステップＳ３９において、画像処理部１１２は、要素ａ（ｊ）のＩＤと同じＩＤを有する要素をリストＡから消去する。ステップＳ４０において、画像処理部１１２は、要素ａ（ｊ）をリストａから消去し、ステップＳ４４に進む。
【０１０３】
ステップＳ３６において、リストａの中に、要素ａ（１）のＩＤと同じＩＤを含む他の要素がないと判定された場合、ステップＳ４１に進み、画像処理部１１２は、要素ａ（１）をリストＡ’に追加する。
【０１０４】
ステップＳ４２において、画像処理部１１２は、要素ａ（１）のＩＤと同じＩＤを有する要素をリストＡから消去する。ステップＳ４０において、画像処理部１１２は、要素ａ（１）をリストａから消去し、ステップＳ４４に進む。
【０１０５】
ステップＳ３５において、リストａの要素ａ（１）の距離が予め定めた閾値より大きいと判定された場合、要素ａ（１）は誤りとみなして、手続きは、ステップＳ４３に進む。
【０１０６】
ステップＳ４４において、画像処理部１１２は、リストａが空になったか否かを判定し、リストａが空になっていないと判定された場合、輝点Ｌiに対するＩＤが全て算出されていないので、ステップＳ３４に戻り、処理を繰り返す。
【０１０７】
ステップＳ４４において、リストａが空になったと判定された場合、ステップＳ４５に進み、画像処理部１１２は、リストＡ’の内容をリストＡに書き込み、処理は終了する。
【０１０８】
このように、画像処理装置１０２は、通常撮像された画像からも、発光装置１１の輝点Ｌiに対するＩＤを特定することができる。
【０１０９】
次に、図３１のステップＳ３２に対応する画像処理部１１２の輝点の位置の算出の処理について、図３２のフローチャートを参照して説明する。
【０１１０】
ステップＳ６１において、画像処理部１１２は、通常撮像された画像の各画素が予め定めた閾値以上であるか否かを判定し、閾値以上であると判定された場合、その画素に１を設定し、閾値未満であると判定された場合、その画素に０を設定し、通常撮像された画像を２値化する。
【０１１１】
ステップＳ６２において、画像処理部１１２は、２次元のSobelオペレータをｘ方向、およびｙ方向に各画素に施し、Sobelオペレータのｘ方向の出力およびSobelオペレータのｙ方向の出力の絶対値の和が所定の閾値以上であるか否かを判定し、Sobelオペレータのｘ方向の出力およびSobelオペレータのｙ方向の出力の絶対値の和が所定の閾値以上であると判定された場合、画素の画素値を１に設定し、Sobelオペレータのｘ方向の出力およびSobelオペレータのｙ方向の出力の絶対値の和が所定の閾値未満であると判定された場合、画素の画素値を０に設定して、エッジを抽出する。
【０１１２】
ステップＳ６３において、画像処理部１１２は、連結している画素値１の画素に同じ番号をつけ、ラベリングする。
【０１１３】
ステップＳ６４において、画像処理部１１２は、ラベリングされた各領域に対して、Houth変換を用いて円の中心の座標および半径を求める。または、画像処理部１１２は、各領域に含まれる画素の座標の平均値を中心の座標とし、求められた中心から各画素までの距離の平均値を半径としてもよい。
【０１１４】
このように、画像処理部１１２は、通常撮像された画像から、発光装置１１に対応する輝点Ｌiの位置を求めることができる。
【０１１５】
次に、図３０のステップＳ１６に対応する流し撮像の画像の処理について、図３３および図３４のフローチャートを参照して説明する。ステップＳ８１において、画像処理部１１２は、テンポラリリストであるリストａ、リストｂ、およびリストＡ’をクリアする。ステップＳ８２において、画像処理部１１２は、流し撮像された画像上の発光装置１１に対応する輝点Ｌiの位置を求める。
【０１１６】
ステップＳ８３において、画像処理部１１２は、画像処理部１１２は、流し撮像された画像上の輝点ＬiのＩＤ、すなわち点滅パターンに対応するデータを求める。
【０１１７】
ステップＳ８４において、画像処理部１１２は、位置およびＩＤの双方を求めることができた輝点Ｌiのデータをリストａに格納する。このステップでは、リストａの各要素の距離には、不定を示す”−１”が格納される。ステップＳ８５において、画像処理部１１２は、位置のみが求められた輝点Ｌiのデータをリストｂに格納する。このステップでは、リストｂの各要素の距離およびＩＤには、不定を示す”−１”が格納される。
【０１１８】
ステップＳ８６において、画像処理部１１２は、リストａの先頭の要素ａ（１）をリストＡ’に追加する。ステップＳ８７において、画像処理部１１２は、リストＡの要素のなかで、要素ａ（１）とＩＤが同じである要素をリストＡから消去する。ステップＳ８８において、画像処理部１１２は、要素ａ（１）をリストａから消去す。
【０１１９】
ステップＳ８９において、画像処理部１１２は、リストａから空になったか否かを判定し、リストａから空になっていないと判定された場合、ステップＳ８６に戻り、処理を繰り返す。
【０１２０】
ステップＳ８９において、リストａから空になったと判定された場合、リストＡから位置およびＩＤの双方を求めることができた輝点Ｌiのデータを消去したので、位置のみを求める事ができた輝点Ｌiに対する処理を実行するので、ステップＳ９０に進み、画像処理部１１２は、リストｂの要素それぞれに対して、距離が最も近いリストＡの要素を求めて、そのＩＤおよび距離をリストｂの要素の距離に書き込む。
【０１２１】
ステップＳ９１において、画像処理部１１２は、リストｂの要素ｂ（１）の距離が予め定めた閾値より小さいか否かを判定し、リストｂの要素ｂ（１）の距離が予め定めた閾値より小さいと判定された場合、ステップＳ９２に進み、発光装置１１の移動またはビデオカメラ１０１の移動により、リストＡのある１つの要素に対して、リストｂの複数の要素が対応してしまうときがあるので、リストｂの中に、要素ｂ（１）のＩＤと同じＩＤの他の要素があるか否かを判定する。
【０１２２】
ステップＳ９２において、リストｂの中に、要素ｂ（１）のＩＤと同じＩＤの他の要素があると判定された場合、ステップＳ９３に進み、画像処理部１１２は、要素ｂ（１）および要素ｂ（１）のＩＤと同じＩＤを有する他の要素の内から、距離が最小の要素ｂ（ｊ）を選択する。ステップＳ９４において、画像処理部１１２は、ステップＳ９３で選択された要素ｂ（ｊ）をリストＡ’に追加する。
【０１２３】
ステップＳ９５において、画像処理部１１２は、要素ｂ（ｊ）のＩＤと同じＩＤを有する要素をリストＡから消去する。ステップＳ９６において、画像処理部１１２は、要素ｂ（ｊ）をリストｂから消去し、ステップＳ１００に進む。
【０１２４】
ステップＳ９２において、リストｂの中に、要素ｂ（１）のＩＤと同じＩＤを含む他の要素がないと判定された場合、ステップＳ９７に進み、画像処理部１１２は、要素ｂ（１）をリストＡ’に追加する。
【０１２５】
ステップＳ９８において、画像処理部１１２は、要素ｂ（１）のＩＤと同じＩＤを有する要素をリストＡから消去する。ステップＳ９９において、画像処理部１１２は、要素ｂ（１）をリストｂから消去し、ステップＳ１００に進む。
【０１２６】
ステップＳ９１において、リストｂの要素ｂ（１）の距離が予め定めた閾値より大きいと判定された場合、要素ｂ（１）は誤りとみなして、手続きは、ステップＳ９９に進む。
【０１２７】
ステップＳ１００において、画像処理部１１２は、リストｂが空になったか否かを判定し、リストｂが空になったと判定された場合、ステップＳ１０１に進み、この段階でリストＡに残っているのは、流し撮像された画像が重なってしまいＩＤおよび位置双方とも求めることができなかった輝点Ｌiに対応するデータのみであるので、リストＡ’の内容をリストＡに追加し、処理は終了する。
【０１２８】
ステップＳ１００において、リストｂが空になっていないと判定された場合、ステップＳ１０２に進み、画像処理部１１２は、リストＡが空になった否かを判定し、リストＡが空になっていないと判定された場合、対応付けが終了していないので、ステップＳ９０に戻り、処理を繰り返す。
【０１２９】
ステップＳ１０２において、リストＡが空になったと判定された場合、これ以上対応付けすることはできないので処理は終了する。
【０１３０】
以上のように、画像処理装置１０２は、流し撮像された画像において輝点ＬiのＩＤを示す点滅パターンが重なり合っていても、発光装置１１に対応する輝点Ｌiの位置およびＩＤを求めることができる。従って、画像処理装置１０２は、常に、輝点Ｌiに対応する発光装置１１の位置を知ることができる。
【０１３１】
なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものとする。
【０１３２】
また、上記したような処理を行うコンピュータプログラムをユーザに提供する提供媒体としては、磁気ディスク、CD-ROM、固体メモリなどの記録媒体の他、ネットワーク、衛星などの通信媒体を利用することができる。
【０１３３】
【発明の効果】
請求項１に記載の画像処理装置、請求項７に記載の画像処理方法、および請求項８に記載の記録媒体によれば、通常の撮像と流し撮像とが交互にされるように撮像装置の撮像が制御され、撮像装置が通常の撮像で撮像した画像を基に、発光装置の位置が算出され、撮像装置が流し撮像で撮像した画像を基に、発光装置の位置および発光装置の点滅パターンが算出され、流し撮像した画像から算出された点滅パターンが、対応する発光装置の位置とともに記憶され、通常の撮像で撮像した画像から算出した発光装置の位置を基に、記憶した発光装置の位置が修正されて、修正された発光装置の位置が記憶され、流し撮像した画像から算出した発光装置の位置および点滅パターンを基に、記憶した発光装置の位置が修正されて、修正された発光装置の位置が記憶されるようにしたので、複数の発光装置を常に特定でき、それらの発光装置の位置を常に知ることができるようになる。
【図面の簡単な説明】
【図１】従来の流し撮像を利用した画像処理システムを示す図である。
【図２】発光装置１１の内部の構成を示す図である。
【図３】画像処理装置２３の内部の構成を示す図である。
【図４】流し撮像を説明する図である。
【図５】流し撮像を説明する図である。
【図６】流し撮像を説明する図である。
【図７】流し撮像された画像に対する画像処理部４２の処理を説明する図である。
【図８】輝点Ｌi１，Ｌi２，Ｌi３の表示画像上のＸ座標およびＹ座標を説明する図である。
【図９】流し撮像された画像に対する画像処理部４２の処理を説明する図である。
【図１０】発光パターンが重なりあった画像を説明する図である。
【図１１】本発明に係る画像処理システムの一実施の形態を示す図である。
【図１２】ビデオカメラ１０１の構成を示す図である。
【図１３】インデックス生成回路１３３の構成を示す図である。
【図１４】駆動信号切り替えパルス生成回路１３４の構成を説明する図である。
【図１５】  CCD撮像回路１３６の撮像のタイミングを説明するタイミングチャートである。
【図１６】ビデオカメラ１０１が出力する画像の順序を説明する図である。
【図１７】流し撮像された画像で発光パターンが重なり合うとき、通常撮像された画像を説明する図である。
【図１８】インデックスを説明する図である。
【図１９】流し撮像期間に設けられた通常撮像の期間を説明する図である。
【図２０】流し撮像された画像を説明する図である。
【図２１】流し撮像期間に設けられた通常撮像の期間を説明する図である。
【図２２】流し撮像された画像を説明する図である。
【図２３】流し撮像画像出力期間に設けられた通常撮像の期間を説明する図である。
【図２４】流し撮像された画像を説明する図である。
【図２５】通常撮像した画像上の輝点Ｌiの座標と流し撮像した画像上の輝点Ｌiの座標との差異を説明する図である。
【図２６】通常撮像した画像上の輝点Ｌiの座標と流し撮像した画像上の輝点Ｌiの座標との差異を説明する図である。
【図２７】輝点Ｌiの座標および点滅パターンの算出の処理を説明する図である。
【図２８】輝点Ｌiの座標および点滅パターンの算出の処理を説明する図である。
【図２９】リストを説明する図である。
【図３０】画像処理装置１０２の輝点Ｌiの位置およびＩＤを算出する処理を説明するフローチャートである。
【図３１】通常撮像された画像の処理を説明するフローチャートである。
【図３２】画像処理部１１２の輝点の位置の算出の処理を説明するフローチャートである。
【図３３】流し撮像の画像の処理を説明するフローチャートである。
【図３４】流し撮像の画像の処理を説明するフローチャートである。
【符号の説明】
１０１  ビデオカメラ，  １０２  画像処理装置，  １１１  画像キャプチャ部，  １１２  画像処理部，  １３１  同期信号生成回路，  １３２  流し撮像フィールド駆動信号生成回路，  １３３  インデックス生成回路，  １３４  駆動信号切り替えパルス生成回路，  １３５  スイッチ，  １３６  CCD撮像回路，  １３７  カメラ信号処理回路，  １５１  ８ビットカウンタ，  １５２  比較回路，  １５３  ＪＦフリップフロップ，  １５４  論理積回路，  １７１  ２ビットカウンタ，  １７２  論理積回路，  １７３  論理積回路，  １７５  反転回路，  １７５  論理積回路
【図１】
0004348576.tif 000005
【図２】
0004348576.tif 000006
【図３】
0004348576.tif 000007
【図４】
0004348576.tif 000008
【図５】
0004348576.tif 000009
【図６】
0004348576.tif 000010
【図７】
0004348576.tif 000011
【図８】
0004348576.tif 000012
【図９】
0004348576.tif 000013
【図１０】
0004348576.tif 000014
【図１１】
0004348576.tif 000015
【図１２】
0004348576.tif 000016
【図１３】
0004348576.tif 000017
【図１４】
0004348576.tif 000018
【図１５】
0004348576.tif 000019
【図１６】
0004348576.tif 000020
【図１７】
0004348576.tif 000021
【図１８】
0004348576.tif 000022
【図１９】
0004348576.tif 000023
【図２０】
0004348576.tif 000024
【図２１】
0004348576.tif 000025
【図２２】
0004348576.tif 000026
【図２３】
0004348576.tif 000027
【図２４】
0004348576.tif 000028
【図２５】
0004348576.tif 000029
【図２６】
0004348576.tif 000030
【図２７】
0004348576.tif 000031
【図２８】
0004348576.tif 000032
【図２９】
0004348576.tif 000033
【図３０】
0004348576.tif 000034
【図３１】
0004348576.tif 000035
【図３２】
0004348576.tif 000036
【図３３】
0004348576.tif 000037
【図３４】
0004348576.tif 000038