(57)【要約】【課題】リアルタイム対応のハードウェア式にフレキシブルに構成可能なスマートカメラを構成するため、カメラ中枢部１５が設けられている。【解決手段】前記カメラ中枢部１５が、ハードウェア演算装置として構成されていて、リアルタイムデータバス１１に接続するためのリアルタイムデータバスインターフェース７と、カメラ制御装置３とが、前記カメラ中枢部１５内にさらに設けられていて、前記カメラ制御装置３が、前記リアルタイムデータバスインターフェース１１と前記画像センサインターフェース４とに接続されていること、及び  前記カメラ制御装置３が、撮像を開始するために前記リアルタイムデータバスインターフェース１１を介して制御されていて、このカメラ制御装置３が、前記画像センサインターフェース４を制御する。【選択図】図１
2019161644.tif 000002
【特許請求の範囲】
【請求項１】
産業用画像処理のためのスマートカメラの、画像を撮影するために画像センサ（５）に接続するための画像センサインターフェース（４）を有するカメラ中枢部において、
前記カメラ中枢部（１５）が、ハードウェア演算装置として構成されていて、リアルタイムデータバス（１１）に接続するためのリアルタイムデータバスインターフェース（７）と、カメラ制御装置（３）とが、前記カメラ中枢部（１５）内にさらに設けられていて、前記カメラ制御装置（３）が、前記リアルタイムデータバスインターフェース（１１）と前記画像センサインターフェース（４）とに接続されていること、及び
前記カメラ制御装置（３）が、撮像を開始するために前記リアルタイムデータバスインターフェース（１１）を介して制御されていて、このカメラ制御装置（３）が、前記画像センサインターフェース（４）を制御することを特徴とするカメラ中枢部。
【請求項２】
データインターフェース（９）が、ソフトウェア演算装置（１０）に接続するためにハードウェア演算装置内に設けられていて、このデータインターフェース（９）が、前記カメラ制御装置（３）に接続されていて、このカメラ制御装置（３）が、このデータインターフェース（９）を制御することを特徴とする請求項１に記載のカメラ中枢部。
【請求項３】
データバスインターフェース（１７）が、リアルタイム対応でないデータバス（１４）に接続するために前記ハードウェア演算装置内に設けられていて、このデータバスインターフェース（１７）が、前記カメラ制御装置（３）に接続されていて、このカメラ制御装置（３）が、このデータバスインターフェース（１７）を制御することを特徴とする請求項１に記載のカメラ中枢部。
【請求項４】
照明インターフェース（２３）が、照明装置（２４）に接続するために前記ハードウェア演算装置内に設けられていて、前記カメラ制御装置（３）が、この照明インターフェース（２３）を制御することを特徴とする請求項１に記載のカメラ中枢部。
【請求項５】
Ｉ／Ｏインターフェース（２２）が、前記ハードウェア演算装置内に設けられていて、前記カメラ制御装置（３）が、このＩ／Ｏインターフェース（２２）を制御することを特徴とする請求項１に記載のカメラ中枢部。
【請求項６】
画像処理装置（２０）が、前記ハードウェア演算装置内に設けられていて、前記カメラ制御装置（３）が、この画像処理装置（２０）を制御することを特徴とする請求項１に記載のカメラ中枢部。
【請求項７】
前記カメラ制御装置（３）は、画像データを処理するために設けられていることを特徴とする請求項１又は６に記載のカメラ中枢部。
【請求項８】
画像センサ（５）が、画像センサインターフェース（４）に接続されていて、カメラ制御装置（３）が、リアルタイムデータバスインターフェース（７）に接続されているリアルタイムデータバス（１１）を通じて同期データパケットを受信するときに、このカメラ制御装置（３）が、この画像センサ（５）による撮像を開始するためにこの画像センサインターフェース（４）を制御することを特徴とする請求項１〜７のいずれか１項に記載のカメラ中枢部（１５）を有するスマートカメラ。
【請求項９】
照明装置（２４）が、照明インターフェース（２３）に接続されていることを特徴とする請求項８に記載のスマートカメラ。
【請求項１０】
前記カメラ制御装置（３）が、Ｉ／Ｏインターフェース（２２）に接続されているトリガー入力部を通じてトリガー信号を受信するときに、前記カメラ制御装置（３）が、前記撮像を開始し、及び／又は照明装置（２４）を起動させることを特徴とする請求項８又は９に記載のスマートカメラ。
【請求項１１】
画像データを前記カメラ中枢部（１５）から受信し処理するソフトウェア演算装置（１０）が、データインターフェース（９）に接続されていることを特徴とする請求項８〜１０のいずれか１項に記載のスマートカメラ。
【請求項１２】
スマートカメラ（１）の画像センサ（５）によって撮影される画像データを産業用に画像処理するための方法において、
前記画像センサ（５）が、前記スマートカメラ（１）のカメラ中枢部（１５）の画像センサインターフェース（４）を介して前記カメラ中枢部（１５）のカメラ制御装置（３）に接続され、このカメラ制御装置（３）が、前記カメラ中枢部（１５）のリアルタイムデータバスインターフェース（７）に接続され、
同期データパケットが、このリアルタイムデータバスインターフェース（７）に接続されているリアルタイムデータバス（１１）を通じて受信されるときに、前記カメラ制御装置（３）が、前記画像センサ（５）による撮像の開始を制御することを特徴とする方法。
【請求項１３】
画像データが、前記カメラ制御装置（３）内で処理されることを特徴とする請求項１２に記載の方法。
【請求項１４】
画像データが、前記カメラ中枢部（１５）の、前記カメラ制御装置（３）に接続されている画像処理装置（２０）内で処理されることを特徴とする請求項１２又は１３に記載の方法。
【請求項１５】
ソフトウェア演算装置（１０）が、前記カメラ中枢部（１５）のデータインターフェース（９）に接続され、画像データが、前記カメラ中枢部（１５）からこのソフトウェア演算装置（１０）に送信され、このソフトウェア演算装置（１０）内で処理されることを特徴とする請求項１２〜１４のいずれか１項に記載の方法。
【請求項１６】
前記カメラ中枢部（１５）内のリアルタイムデータバスインターフェース（７）又はデータバスインターフェース（１７）を通じて出力される出力信号が、前記処理によって生成されることを特徴とする請求項１３〜１５のいずれか１項に記載の方法。
【請求項１７】
前記出力信号の出力が、前記カメラ制御装置（３）によって制御される請求項１６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、産業用画像処理のためのスマートカメラの、画像を撮影するために画像センサに接続するための画像センサインターフェースを有するカメラ中枢部に関する。さらに、本発明は、このようなカメラ中枢部を有するスマートカメラに関し、スマートカメラの画像センサによって撮影される画像データを産業用に画像処理するための方法に関する。
【背景技術】
【０００２】
産業用画像処理では、いわゆるスマートカメラが使用される。このスマートカメラは、画像が、撮影されるだけではなくて、さらに処理もされることを特徴とする。当該さらなる処理は、撮影される画像の前処理、例えば像欠陥を補正するための、例えば画像データのフィルタリング又は編集又は補正を含み得、及び／又は例えば測定値を取得し、物体の姿勢／位置／方向を算出する等のための（場合によっては前処理された）画像データの評価を含み得る。したがって、スマートカメラは、インターフェースに生の画像データを送信するのではなくて、出力信号に処理された画像データ又は編集された画像データを所定の方法で送信する。しかし、当然に、生の画像データが、スマートカメラによってさらに伝送されてもよい。
【０００３】
このような画像処理は、一般にＣＰＵに負担をかけ、及び／又は多くの場合に高い撮像速度が望ましいか又は必要であるので、ハードウェア演算装置（ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、ＡＳＩＣ（特定用途向け集積回路）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）等）及びソフトウェア演算装置をスマートカメラ内で画像データを処理するために使用することが既に知られている。これに対する例は、独国特許第１０２００９００９５３３号明細書又は米国特許第８，７９４，５２１号明細書から読み取られ得る。撮影される画像データが、ハードウェア演算装置内で前処理される。次いで、当該前処理された画像データが、ソフトウェア演算装置内で出力変数にさらに処理される。当該出力変数は、スマートカメラの出力信号として当該ソフトウェア演算装置から出力される。当該出力変数は、例えば、産業用画像処理が使用される機械又は設備１３を制御するために使用される。この独国特許第１０２００９００９５３３号明細書又はこの米国特許第８，７９４，５２１号明細書では、ソフトウェア演算装置が、スマートカメラ、特に撮像装置とハードウェア演算装置との全ての構成要素の制御を請け負う。データインターフェースを外部に提供する通信コントローラも、このソフトウェア演算装置に結合されていて、このソフトウェア演算装置によって制御される。
【０００４】
しかし、多くの用途では、スマートカメラをリアルタイムシステム内に組み込むことが必要である。これは、特に、スマートカメラによる撮像が、予め設定されているリアルタイムステップ内で同期して、決定論的に且つ一般にμｓ未満の可能な限り小さいジッタで実行される必要がることを意味する。リアルタイムシステム内のスマートカメラが、このリアルタイム要求を守らない場合、エラーメッセージが発せられ、場合によっては、スマートカメラが組み込まれている設備全体が停止する。例えば高ダイナミックな機械又は設備の場合に、例えばプログラマブルロジックコントローラ（ＰＬＣ）と当該機械又は設備の駆動構成要素とスマートカメラとの間で必要であり得るような、当該同期は、複数のリアルタイム構成要素間のデータ交換に対する前提条件でもある。
【０００５】
複数のリアルタイム構成要素間のデータ交換に対する前提条件は、リアルタイム対応のデータバス（フィールドバス）又はタイムセンシティブネットワーク（ＴＳＮ）である。データが、このタイムセンシティブネットワーク（ＴＳＮ）によって交換され、このタイムセンシティブネットワーク（ＴＳＮ）が、例えばＩＥＥＥ１５８８で規定された時刻同期プロトコル（ＰＴＰ）によって、又は通信プロトコルによって同期を可能にする。さらに、複数のリアルタイム構成要素の完全な統合が、一元的なデータベースを可能にする。それぞれの個々のリアルタイム構成要素が、当該データベースによって別のリアルタイム構成要素のデータ及びイベントを同時に制御し管理し得る。
【０００６】
ソフトウェア演算装置は、通常は接続されている構成要素によって割り込み制御される。これは、当該ソフトウェア演算装置に接続されている構成要素が、割り込み線上で割り込みを指示することを意味する。この割り込みは、当該ソフトウェア演算装置内で所定のプログラム部分の実行を開始する。例えば、当該独国特許第１０２００９００９５３３号明細書に記載されている通信コントローラが、ソフトウェア演算装置に直接に接続されているので、又は、画像の撮影が、ソフトウェア演算装置によって起動されるので、存在する割り込み時間遅れと、ソフトウェアの実行の必要な優先順位付けとに起因して、当該独国特許第１０２００９００９５３３号明細書によるスマートカメラによって、厳しいリアルタイム要求を満たすことは困難であり得る。
【０００７】
独国特許第１０２０１６１２１０８８号明細書では、撮像の開始が、ネットワーク内で移動制御装置によって通信される物体の移動データに基づいて撮影制御装置によって制御される。このため、ソフトウェア演算装置内の仮想軸が、当該撮影制御装置内で使用される。物体の移動が、当該仮想軸の使用によって撮像の開始に変換される。したがって、当該撮像は、ネットワークを通じて移動制御装置と通信する撮影制御装置によって開始される。このため、追加の演算リソースも、当該仮想軸の使用に起因して必要になる。この場合、例えば当該独国特許第１０２０１６１２１０８８号明細書におけるＰＯＷＥＲＬＩＮＫのような決定論的なネットワーク及び／又はＩＥＥＥ−１５８８による制御装置の同期タイマーを使用すると、カスケード制御に起因した通信の発生する時間遅れだけによって、厳しいリアルタイム要求を守ることは困難であることが、当業者に推論される。このため、同様にリアルタイム対応に作用する追加の演算リソースがさらに必要になる。
【０００８】
スマートカメラのこの公知のハードウェア思想の場合、当該ソフトウェア演算装置が、スマートカメラにとって重要であり、このソフトウェア演算装置が、介在しているハードウェア演算装置を介して画像センサの画像解像度を制御するので、ハードウェア構成も簡単に変更され得ない。したがって、スマートカメラのこれらの構成要素は、相互に且つその用途に適合される必要があり、したがって簡単に交換され得ない。したがって、従来の技術によるスマートカメラの構成は不変に予め設定されている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】独国特許第１０２００９００９５３３号明細書
【特許文献２】米国特許第８，７９４，５２１号明細書
【特許文献３】独国特許第１０２０１６１２１０８８号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明の課題は、ハードウェア式にフレキシブルに構成可能なリアルタイム対応のスマートカメラと、当該スマートカメラを用いて実行される産業用に画像処理する方法とを提供することにある。
【課題を解決するための手段】
【００１１】
本発明によれば、この課題は、当該カメラ中枢部が、ハードウェア演算装置として構成されていて、リアルタイムデータバスに接続するためのリアルタイムデータバスインターフェースと、カメラ制御装置とが、当該カメラ中枢部内にさらに設けられていて、当該カメラ制御装置が、当該リアルタイムデータバスインターフェースと当該画像センサインターフェースとに接続されていること、及び、当該カメラ制御装置が、撮像を開始するために当該リアルタイムデータバスインターフェースを介して制御されていて、このカメラ制御装置が、当該画像センサインターフェースを制御することによって解決される。当該本発明の方法は、当該画像センサが、当該スマートカメラのカメラ中枢部の画像センサインターフェースを介して当該カメラ中枢部のカメラ制御装置に接続され、このカメラ制御装置が、当該カメラ中枢部のリアルタイムデータバスインターフェースに接続され、同期データパケットが、このリアルタイムデータバスインターフェースに接続されているリアルタイムデータバスを通じて受信されるときに、当該カメラ制御装置が、当該画像センサによる撮像の開始を制御することを特徴とする。
【００１２】
この構成は、当該画像センサインターフェースが、カメラ制御装置を介してリアルタイムデータバスインターフェースとこれに接続されているリアルタイムデータバスとに近接して接続されているので、当該画像センサによる撮像のリアルタイム対応の開始を可能にする。さらに、スマートカメラの要求に合わせるため、当該カメラ中枢部が、様々な画像センサに接続され得る。
【００１３】
特に、データインターフェースが、ソフトウェア演算装置に接続するためにハードウェア演算装置内に設けられていて、このデータインターフェースが、当該カメラ制御装置に接続されていて、このカメラ制御装置が、このデータインターフェースを制御する。様々なソフトウェア演算装置が、当該データインターフェースを介して接続され得る。これにより、スマートカメラの要求に合わせるため、当該カメラ中枢部が、フレキシブルに拡張され調整され得る。
【００１４】
好適な構成では、データバスインターフェースが、リアルタイム対応でないデータバスに接続するために当該ハードウェア演算装置内に設けられていて、このデータバスインターフェースが、当該カメラ制御装置に接続されていて、このカメラ制御装置が、このデータバスインターフェースを制御する。当該リアルタイム対応でないデータバスインターフェースを介することで、撮影される画像データの処理の結果が、例えば出力信号として送信され得るか、又は、画像データ自体も送信され得る。さらに、リアルタイムデータバスに負荷をかけることなしに、当該データバスインターフェースは、当該カメラ中枢部若しくはこのカメラ中枢部の構成要素を設定するためにも使用され得、又はプログラムを場合によっては接続されているソフトウェア演算装置にロードするために使用され得る。
【００１５】
特に、照明インターフェースが、当該カメラ制御装置によって制御される照明装置に接続するために当該ハードウェア演算装置内に設けられている。これは、照明を撮像のリアルタイム対応の開始に同期させることを可能にする。
【００１６】
カメラ制御装置によって制御されるＩ／Ｏインターフェースが、当該ハードウェア演算装置内に設けられている場合、スマートカメラの外部の複数の構成要素が、簡単に同期され得る。
【００１７】
当該カメラ中枢部内での読み込まれる画像データの速い前処理を可能にするため、画像処理装置が、画像データを処理するために当該ハードウェア演算装置内に設けられ得る、及び／又は、当該カメラ制御装置自体が、画像データを処理するために設けられ得る。
特に、カメラ制御装置が、リアルタイムデータバスインターフェースに接続されているリアルタイムデータバスを通じて同期データパケットを受信するときに、又は、当該カメラ制御装置が、Ｉ／Ｏインターフェースに接続されているトリガー入力部を通じてトリガー信号を受信するときに、スマートカメラの撮像が開始され、及び／又は、照明装置が起動する。
【００１８】
当該画像データの処理の可能性を拡張するため、画像データを当該カメラ中枢部から受信し処理するソフトウェア演算装置が、データインターフェースに接続され得る。
【００１９】
以下に、本発明を、例示的に、概略的に、限定しないで本発明の好適な構成を示す図１〜４を参照して詳しく説明する。
【図面の簡単な説明】
【００２０】
【図１】本発明のカメラ中枢部を有するスマートカメラを示す。
【図２】本発明のカメラ中枢部を有するスマートカメラの別の構成を示す。
【図３】スマートカメラを産業用画像処理に結び付けた制御システムを示す。
【図４】スマートカメラを産業用画像処理に結び付けた制御システムを示す。
【発明を実施するための形態】
【００２１】
本発明のスマートカメラ１の重要な構成要素を図１によって示す。ハードウェア演算装置２として構成された本発明のカメラ中枢部１５が、スマートカメラ１の中央に存在する。ハードウェア演算装置２は、例えばＦＰＧＡ、ＡＳＩＣ又はＣＰＬＤチップであり、すなわち必要な機能がハードウェアで実現されている集積電子回路である。「ハードウェアで実現」は、必要な機能がデジタル回路によって実現されていることを意味する。図示された実施の形態では、ハードウェア演算装置２は、画像センサインターフェース４、リアルタイムデータバスインターフェース７、データインターフェース９及びカメラ制御装置３を含む。
【００２２】
画像をデジタル撮影するための画像センサ５が、画像センサ線６を介して画像センサインターフェース４に接続され得る。画像センサ線６は、画像センサ５を構成し撮像を開始するために画像センサデータ線と画像センサ制御線とを含み得る。画像データが、画像センサ線６を通じて画像センサ５からカメラ中枢部１５の画像センサインターフェース４に伝送される。例えば、画像センサ５の光学素子の（自動焦点としての）焦点及び絞りが、必要に応じて調整又は調節されるように、画像センサ線６中の追加のコンフィグレーション用配線が、撮像のために重要であり、場合によっては存在し得る別の構成要素を調整し得る。画像データを伝送するため、当然に、特に十分に速い画像センサ線６、例えば広帯域のデータインターフェースが設けられている。
【００２３】
リアルタイム対応データバス１１が、リアルタイムデータバスインターフェース７に接続され得る。したがって、カメラ中枢部１５又はスマートカメラ１が、リアルタイムシステム内に組み込まれ得る。したがって、例えば、スマートカメラ１が、このスマートカメラ１を機械又は設備のリアルタイム制御部に組み込む外部制御装置８に接続され得る。様々なリアルタイム対応データバス、特にイーサネットに基づいた、ここで使用され得る例えばＰＯＷＥＲＬＩＮＫ、ＥｔｈｅｒＮｅｔ／ＩＰ、Ｐｒｏｆｉｎｅｔ、ＳＥＲＣＯＳ  ＩＩＩ等のようなフィールドバスが存在する。また、例えばＣＡＮｏｐｅｎ、ＯＰＣ  ＵＡ、ｏｐｅｎＳＡＦＥＴＹ等のような様々な既知の通信プロトコル用のリアルタイムデータバスインターフェース７が実装され得る。産業上の用途に対しては、１ｍｓ未満のこれらのバスサイクルを保証する場合、リアルタイム対応データバスが頻繁に取り上げられる。この場合、それぞれのバスサイクルごとに、データが、実装された通信プロトコルにしたがって伝送され得る。例えば、１μｍ未満のジッタの場合に、１００μｓの範囲内のバスサイクルが、ＰＯＷＥＲＬＩＮＫによって保証され得る。
【００２４】
ソフトウェア演算装置１０が、データバス１２を介してデータインターフェース９に接続され得る。しかし、ソフトウェア演算装置１０が、スマートカメラ１内に必ず設けられる必要はない。ソフトウェア演算装置１０は、例えばマイクロプロセッサ、ＤＳＰ（デジタルシグナルプロセッサ）、コンピュータ等である。ソフトウェア演算装置１０は、このソフトウェア演算装置１０がその機能をこのソフトウェア演算装置１０にロードされるプログラムによって取得することを特徴とする。当該必要なプログラムは、このソフトウェア演算装置１０で実行される。この場合、データインターフェース９は、スマートカメラ１のリアルタイムの稼働に関係なく要求される。何故なら、リアルタイムを主眼とする撮像は、このデータインターフェース９を介して開始される必要がないからである。画像データが、ソフトウェア演算装置１０で処理される場合、データインターフェース９の帯域幅が、スマートカメラ１の総合性能だけに対して決まる。このため、様々な世代（実際には、ＰＣＩｅ  Ｖ４．０）のＰＣＩｅ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ  Ｅｘｐｒｅｓｓ）のようなＬＶＤＳ（低電圧差動信号）インターフェース又はＭＩＰＩ（Ｍｏｂｉｌｅ  Ｉｎｄｕｓｔｒｙ  Ｐｒｏｃｅｓｓｏｒ  Ｉｎｔｅｒｆａｃｅ  Ａｌｌｉａｎｃｅ）カメラシリアルインターフェース又はあらゆるその他の適切な高性能のデータインターフェースが、データインターフェース９として使用され得る。
【００２５】
さらに、カメラ制御装置３が、画像センサインターフェース４、リアルタイムデータバスインターフェース７及びデータインターフェース９を制御するカメラ中枢部１５内に実装されている。この関係では、カメラ制御装置３が、画像センサ５による画像の撮影と、画像センサインターフェース４を介した画像データの読み込みとを開始し、リアルタイムデータバス１１とリアルタイムデータバスインターフェース７とを介したリアルタイムデータ通信を制御し、場合によってはデータインターフェース１２を介したソフトウェア演算装置１０とのデータ通信も制御することを、当該制御は意味する。ハードウェア演算装置２としてのカメラ中枢部１５の構成に起因して、リアルタイムに要求される個々の構成要素、特に画像センサインターフェース４とリアルタイムデータバスインターフェース７とが、パラレルに且つ基本的に互いに依存しないでそれらの機能を実行し得る。データインターフェース９のように、必ずしもリアルタイムに要求されないで済む別の構成要素も、パラレルに実行され得る。したがって、例えば割り込み時間遅れ、ソフトウェアの優先順位付け等のような時間遅延が発生し得ない。それ故に、時間を主眼とするこれらの機能は、ハードウェア演算装置２自体によって直接に制御され、したがって非常に速く実行され得る。特に、当該撮像の開始を同期するために必要な全ての構成要素が、リアルタイムデータバスインターフェース７を介して別のリアルタイム構成要素にも接続され得るので、結果としてカメラ中枢部１５が、基本的にリアルタイム対応にされる。したがって、特に画像センサ５による撮像の開始が、当該リアルタイムシステムにおいて拘束されていて、リアルタイムで実行され得る。
【００２６】
画像センサ５によって読み込まれる画像データが、記憶される前に、又はスマートカメラ１の別の処理部、例えばソフトウェア演算装置１０に供給される前に、当該画像データは、カメラ制御装置３内で前処理されてもよい。簡単な用途では、読み込まれる画像データが、カメラ制御装置３内で完全に処理されてもよい。これにより、場合によってはソフトウェア演算装置１０も、当該さらなる処理に対して省略され得る。したがって、カメラ中枢部１５の簡単な実装では、データインターフェース９も省略され得る。
【００２７】
さらに、図８に破線で示されたように、カメラ中枢部１５又はスマートカメラ１をリアルタイム対応でないデータバス１４に接続するため、データバスインターフェース１７が、カメラ中枢部１５内に実装されてもよい。このデータインターフェース１７も、特にカメラ制御装置３によって制御される。データバス１４は、例えばＴＣＰ／ＩＰを通信プロトコルとして有するイーサネットバスでもよい。したがって、カメラ中枢部１５又はスマートカメラ１は、リアルタイムに要求されないで済む別の構成要素１８、例えば機械又は設備に接続されてもよい。当然に、制御装置８又は別のネットワーク構成要素が、リアルタイム対応でないデータバス１４用のインターフェースとリアルタイム対応のデータバス１１用のインターフェースとに接続されてもよい。このとき、（例えば、図３に示されているように）当該制御装置８又は別のネットワーク構成要素は、データバスインターフェース１７とリアルタイムデータバスインターフェース７との双方に接続され得る。例えば、スマートカメラ１内での画像処理の結果が、リアルタイム対応でないデータバス１４を通じて出力されてもよい。
【００２８】
しかし、スマートカメラ１のこの基本的なアーキテクチャには、様々な構成要素が、カメラ中枢部１５のインターフェース（画像センサインターフェース４、リアルタイムデータバスインターフェース７、場合によってはデータインターフェース９及び場合によってはデータバスインターフェース１７）を介してこのカメラ中枢部１５に接続され得るという利点がさらにある。その結果、スマートカメラ１の非常にフレキシブルな構成が可能になる。例えば、図１のように、画像センサ５が、カメラ中枢部１５と一緒にカメラハウジング１６内に配置され得る。しかし、同様に外部の画像センサ５も、画像センサインターフェース４を介してカメラハウジング１６内のカメラ中枢部１５に接続されてもよい。したがって、同じカメラ中枢部１５を有する異なる複数の画像センサ５又は異なる複数の光学素子を有する１つの画像センサ５が使用され得る。同様に、図１に破線で示されているように、ソフトウェア演算装置１０が、カメラハウジング１６内に配置されてもよい。しかし、外部のソフトウェア演算装置リアルタイムデータバスインターフェース７１０が、データバスインターフェース１２を介してカメラ中枢部１５に接続されてもよい。こうして、例えば、高性能プロセッサが使用され得るか、又は、カメラ中枢部１５が、ソフトウェア演算装置１０としての（産業用の）ＰＣに接続されてもよい。その結果、リアルタイムデータバス１１に対する可能性に加えて、リルタイム対応のスマートカメラ１の構成に対する幾つかの可能性が提供される。
【００２９】
ソフトウェア演算装置１０として（産業用の）ＰＣ又は高性能ＤＳＰを使用する場合、複数のカメラ中枢部１５が、ただ１つのソフトウェア演算装置１０に接続されてもよい。
【００３０】
リアルタイム対応のカメラ中枢部１５とリアルタイムに要求されないソフトウェア演算装置２とのこの分離によって、撮像の開始に関してリアルタイム対応性の点で違いがなく、ソフトウェア演算装置２がどの程度高性能であるかに左右されない複数のモジュール式カメラシステムが構成され得る。
【００３１】
さらに、図２に基づいて説明されるように、スマートカメラ１の別の機能が、カメラ中枢部１５内にハードウェア式に、すなわちデジタル回路としてさらに実装されてもよい。以下で説明されている追加の機能は、当然に別の追加の機能に依存せず、任意の組み合わせで実現され得る。また、カメラ中枢部１５内の当該ハードウェア式の実装には、これらの追加の機能がパラレルに実行され得るという利点がある。
【００３２】
例えば、外部の照明装置２４が、適切な照明制御線２５を通じて照明インターフェース２３を介してリアルタイム対応のカメラ中枢部１５に接続され得る。その結果、照明装置２４が、例えば撮像に同期したフラッシュライトとしてカメラ制御装置３によって制御可能になる。
【００３３】
代わりに、照明装置２４自体が、リアルタイムデータバス１１に直接に接続され得、例えばこのリアルタイムデータバス１１に対する制御装置３によって制御されるリアルタイム構成要素であってもよい。
【００３４】
任意の別の複数の外部機器又は複数の機能が、共通のＩ／Ｏインターフェース２２を介して接続又は同期され得る。スマートカメラ１を、例えばリアルタイムデータバスインターフェース７を介して実現されない外部の機能に同期するため、例えば、外部のトリガー入力Ｓｙｎが、Ｉ／Ｏインターフェース２２を介して入力され得る。同様に、外部の構成要素が、Ｉ／Ｏインターフェース２２を介してスマートカメラ１によって同期されてもよい。しかし、この場合、リアルタイムデータバスインターフェース７を介さないで統合される外部の構成要素は、一般に完全に補正できないジッタを含んでいるので、当該全システムの性能は、完全にリアルタイムデータバスインターフェース７を介して統合された（したがって有益である）手段の場合よりも劣る。
【００３５】
画像処理装置２０が、画像センサ５による画像データの所定の（前）処理が実行され得るカメラ中枢部１５内に設けられてもよい。当然に、画像処理装置２０は、カメラ制御装置３又は画像センサインターフェース４内で実現されてもよい。当該（前）処理された画像データは、画像処理装置２０からカメラ制御装置３とデータインターフェース９とを介して又は図２に破線で示されているようにデータインターフェース９を直接に介してソフトウェア演算装置１０に伝送され得る。当該画像データ又は当該（前）処理された画像データは、ソフトウェア演算装置１０内でさらに処理され得る。ソフトウェア演算装置１０内での当該画像データの当該さらなる処理後に、当該画像データは、例えばカメラ中枢部１５内に記憶されるため又はデータバスインターフェース１７を介して出力されるためにカメラ中枢部１５内に再び戻り伝送されてもよい。
【００３６】
画像センサ５からの画像データ、（前）処理された画像データ及び／又はソフトウェア演算装置１０内でさらに処理された画像データを記憶するため、又は、リアルタイムデータバスインターフェース７を介して出力するため、記憶装置２１が、カメラ中枢部１５内に構成されてもよい。この記憶装置２１は、記憶モジュールとして、例えばＳＤ−ＲＡＭ又はＤＤＲ３としてカメラ中枢部１５に接続されてもよい。このため、記憶制御装置が、カメラ中枢部１５内に実装されてもよい。当該記憶モジュールが、この記憶制御装置に接続される。このとき、この記憶制御装置は、カメラ制御装置３に接続され、このカメラ制御装置３によって制御される。また、当然に、ソフトウェア演算装置１０が、公知の方法で記憶装置を有してもよい。
【００３７】
スマートカメラ１内の画像センサ５によって撮像された画像データの処理の結果が出力信号として、同様にリアルタイムデータバスインターフェース７を介して、スマートカメラ１にリアルタイムデータバス１１を介して接続されている、例えば調整システム又は制御システムの別の構成要素に送信されてもよい。しかし、代わりに、例えばリアルタイム対応のデータバス１１の帯域幅に負荷をかけないため、当該結果が、データバスインターフェース１７を介して送信されてもよい。しかし、ソフトウェア演算装置１０が、ただ１つのデータバスインターフェースを有することも考えられる。このソフトウェア演算装置１０内で算出された結果が、このデータバスインターフェースを介して、例えば接続されているリアルタイム対応でないデータバス１４を通じて送信される。当該処理の結果は、通常はリアルタイムでなく提供される。それ故に、この結果をリアルタイムデータバス１１によらないで送信することは、問題でない。しかし、当該結果が、カメラ中枢部１５によって予め設定されているリアルタイムステップで、すなわちリアルタイムに提供され得る場合は、当該結果も、リアルタイムデータバス１１を通じてリアルタイムに送信され得る。したがって、撮像の開始が、リアルタイムで可能であるだけではなくて、読み込まれる画像データの処理の結果の提供もリアルタイムで可能である。例えば、当該結果は、撮像される物体の方向の情報でもよく、物体の種類でもよく、誤差を含む被加工品を示す等してもよい。ここでは、当然に、当該画像データの処理の可能性は限定されない。画像データが、リアルタイムデータバス１１又はリアルタイム対応のデータバス１４を通じて伝送されてもよい。しかし、当該伝送は、通常は必要でないか又は望ましくない。
【００３８】
撮像の開始後の画像の取得（画像センサ５からの画像データの読み込み）の正確な推移、場合によっては提供される照明の期間、ＨＤＲ（高ダイナミックレンジ）又は多重撮影等は、スマートカメラ１の、通常はスマートカメラ１を使用する前に実行される構成の要素である。このため、例えば、設定パラメータが、記憶装置２１内に設定され得るか、又は、ソフトウェア演算装置１０がプログラミングされ得る。このため、例えばデータバスインターフェース１７が使用され得る。当該設定は、ハードウェア演算装置２、例えば画像処理装置２０のデジタル回路の作製時に実行されてもよい。このとき、スマートカメラ１の当該さらに提供される画像処理は、カメラ中枢部１５によって時間同期される。
【００３９】
カメラ中枢部１５は、撮像のリアルタイム対応性、すなわち撮像及び場合によっては照明の開始を保証する。画像センサ５からの画像の読み出し、（例えば画像処理装置２０内での）前処理及び／又は当該読み出される画像データの（例えばソフトウェア演算装置１０内での）さらなる処理のような全てのその他の事項が、当該画像データのデータ量と多くの場合に複雑な処理とに起因して通常はリアルタイム対応（すなわち、リアルタイムサイクルで実行可能）でない。多くの用途では、読み出される画像データの処理の結果は、カメラ中枢部１５内で専ら可能な限り又は十分に入手可能である必要がある。これは、性能、ソフトウェア演算装置１０、データインターフェース９、画像処理装置２０等によって確定される。読み出される画像データの処理の処理が、スマートカメラ１内で、例えばソフトウェア演算装置１０、画像処理装置２０及び／又はカメラ制御装置３内で十分に短期間内に（所定のリアルタイムサイクル内に）完了される場合、リアルタイム対応が、スマートカメラ１による出力信号の出力に対しても保証され得る。それ故に、本発明のリアルタイム対応のカメラ中枢部１５は、様々なソフトウェア演算装置１０を結合することによって、又は画像処理装置２０を構成することによってスマートカメラ１を要求と用途とに応じて簡単に調整することも可能にする。
【００４０】
本発明のスマートカメラ１は、図３に基づいて例示的に説明されるように、産業上の画像処理の用途（マシンビジョンの用途）で使用され得る。機械若しくは設備１３（又は機械若しくは設備１３、例えば駆動軸の所定の機能）が、制御装置８（例えば駆動軸のサーボ増幅器）によってリアルタイムに制御される。このため、機械又は設備１３と制御装置８とが、リアルタイムデータバス１１、例えばＰＯＷＥＲＬＩＮＫを通じて互いに接続されている。制御装置８は、当該制御のためにスマートカメラ１を介して機械又は設備１３からの応答を受信する。例えば、機械１３は、印刷機でもよく、印刷された印刷マークが、スマートカメラ１によって評価され得る。当該評価は、印刷機内の印刷物を制御するために制御装置８内で使用される。スマートカメラ１は、リアルタイムデータバス１１を通じて制御装置８に接続されている。この制御装置８は、スマートカメラ１による撮像をリアルタイムデータバス１１を通じてリアルタイムに制御する。この場合、当然に、図３に示されているように、複数のスマートカメラ１が使用されてもよい。この場合、別の１つのスマートカメラ１の撮像が、その他の１つのスマートカメラ１によって（例えば、リアルタイムデータバス１１を通じて送信された同期データパケットによって）起動されてもよい。カメラ中枢部１５内のカメラ制御装置３が、リアルタイムデータバス１１を通じてスマートカメラ１に接続されている外部の構成要素（例えば、制御装置３又はその他のリアルタイム対応のスマートカメラ）の、リアルタイムデータバスインターフェース７を介して受信される同期データパケットに基づいて、画像センサ５による撮像の起動を、画像センサインターフェース４を介して開始する。当該撮像の開始は、外部から（例えばトリガーＳｙｎｃによって）実行されてもよい。しかし、この場合、リアルタイムが、もはや確実に保証され得ない。それ故に、特に、当該撮像は、リアルタイムデータバス１１を通じて、例えばリアルタイムデータバス１１を通じて受信されるリアルタイムデータ通信によって開始される。当該撮像を開始することで、画像データが、カメラ中枢部１５によって読み込まれ処理される。
【００４１】
しかし、図４に示されているように、リアルタイムデータバス１１を通じてカメラ中枢部１５に接続されている１つ（又は複数の）スマートカメラ１をリアルタイムに起動するため、１つのカメラ中枢部１５が、画像センサ５なしに単独でリアルタイムデータバス１１で使用されてもよい。この場合、このカメラ中枢部１５は、例えば制御装置８によって撮像のための命令を受信し、外部の画像センサとして機能する当該接続されているスマートカメラ１を介してこの命令を当該複数のカメラ中枢部１５に転送する。
【００４２】
画像センサ５からの読み込まれる画像データが、その前処理のために、例えばカメラ制御装置３を介して又は画像センサインターフェース４から直接に画像処理装置２０に伝送され得るか又は記憶装置２１内に中間記憶され得る。複数の画像データが、画像の取得時にパラレルに且つ追加の遅延なしにカメラ制御装置３及び／又は画像処理装置２０内で直接に処理され得る。当該処理は、光学系の像欠陥を補正するための、例えば記憶された補正データに基づく画像データの補正でもよい。しかし、当該読み込まれる画像データは、フィルタリングされてもよく、そのコントラストを変更されてもよく、所定の物体の姿勢／方向／位置が算出されてもよく、所定の物体又は物体の特徴が認識されてもよく、撮像される物体に対する測定等が実行されてもよい。ここでは、当然に、読み込まれる画像データを処理するための様々な可能性が考えられる。当該読み込まれる画像データ及び／又は処理された画像データは、記憶装置２１内に記憶されてもよい。この前処理の結果は、もはや画像データである必要はなく、結果として、望ましい出力信号でもよく、又は画像データと望ましい出力信号との組み合わせでもよい。画像データの場合によっては必要なさらなる処理を実行するため、前処理された画像データ又は読み込まれる画像データが、カメラ制御装置３からソフトウェア演算装置１０に伝送され得る。したがって、このさらなる処理は、ハードウェア演算装置２によって開始される。同様に、このさらなる処理の結果は、もはや画像データである必要はなく、結果として、望ましい出力信号でもよく、又は画像データと望ましい出力信号との組み合わせでもよい。当該出力信号及び／又は処理された画像データは、ソフトウェア演算装置１０からカメラ制御装置３及び／又は記憶装置２１に戻り送信される。このカメラ制御装置３は、実行された画像処理の終了時に当該出力信号及び／又は処理された画像データの送信を開始する。この場合、当該出力信号及び／又は画像データは、データバスインターフェース１７とリアルタイム対応でないデータバス１４とを介して又はリアルタイムデータバスインターフェース７とリアルタイムデータバス１１とを介して出力され得る。当該出力信号は、例えば、機械又は設備１３の機能を当該出力信号に基づいて制御し得る外部の制御装置８に送信され得る。画像データ又は処理された画像データが、リアルタイム対応でないデータバス１４又はリアルタイムデータバス１１を通じて送信されることが、用途に対して必要になる場合は、当然に、当該画像データ又は処理された画像データが、リアルタイム対応でないデータバス１４又はリアルタイムデータバス１１を通じて送信されてもよい。
【符号の説明】
【００４３】
１    スマートカメラ
２    ハードウェア演算装置
３    カメラ制御装置
４    画像センサインターフェース
５    画像センサ
６    画像センサ線
７    リアルタイムデータバスインターフェース
８    外部制御装置
９    データインターフェース
１０  ソフトウェア演算装置
１１  リアルタイムデータバスインターフェース
１２  データインターフェース
１３  機械
１４  リアルタイム対応データバス
１５  カメラ中枢部
１６  カメラハウジング
１７  データバスインターフェース
１８  別の構成要素
２０  画像処理装置
２１  記憶装置
２２  Ｉ／Ｏインターフェース
２３  照明インターフェース
２４  照明装置
２５  照明制御線
【図１】
2019161644.tif 000003
【図２】
2019161644.tif 000004
【図３】
2019161644.tif 000005
【図４】
2019161644.tif 000006
【外国語明細書】
2019161644000001.pdf