(57)【要約】      （修正有）【課題】検査、計測などのために撮像した画像の一部または全部について、画像の合焦の精度を提示することができ、ユーザーの手動による調整によって合焦の精度を高めることができる画像処理装置、ロボット及びロボットシステムを提供する。【解決手段】画像処理装置は、撮像装置が有するレンズの位置を変化させた後、前記撮像装置が撮像した画像の一部または全部について、合焦しているか否かを判定するための第１の情報と、前記レンズの位置における合焦の第２の情報を表示する。【選択図】図１
2017092753.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が有するレンズの位置を変化させた後、前記撮像装置が撮像した画像の一部ま
たは全部について、合焦しているか否かを判定するための第１の情報と、前記レンズの位
置における合焦の第２の情報を表示する、
画像処理装置。
【請求項２】
前記画像の一部を指定する指定部を備える、
請求項１に記載の画像処理装置。
【請求項３】
前記画像の一部は、関心領域の単位、または、ピクセルの単位である、
請求項２に記載の画像処理装置。
【請求項４】
前記第１の情報および前記第２の情報は指標値である、
請求項１から請求項３のいずれか１項に記載の画像処理装置。
【請求項５】
前記第１の情報は、最も焦点が合っている前記指標値である、
請求項４に記載の画像処理装置。
【請求項６】
前記画像の一部について前記指標値に基づいて合焦の有無の一方または両方を表示する
合焦表示部を備える、
請求項４または請求項５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像の一部は複数あり、
前記複数の前記画像の一部のすべてについて合焦している場合に、前記複数の前記画像
の一部により特定される対象物に関して傾きがないと判定する一方、前記複数の前記画像
の一部の１以上について合焦していない場合に、前記対象物に関して傾きがあると判定す
る傾き判定部を備える、
請求項４から請求項６のいずれか１項に記載の画像処理装置。
【請求項８】
前記画像を用いて、物の輪郭を抽出し、前記指標値を算出する指標値算出部を備える、
請求項４から請求項７のいずれか１項に記載の画像処理装置。
【請求項９】
前記指標値は、前記輪郭の輝度の勾配方向の長さに基づく値である、
請求項８に記載の画像処理装置。
【請求項１０】
前記指標値は、前記輪郭の輝度のエッジの幅に基づく値である、
請求項８に記載の画像処理装置。
【請求項１１】
前記指標値は、前記輪郭の複数の微小な輝度勾配をつないだエッジ幅に基づく値である
、
請求項８に記載の画像処理装置。
【請求項１２】
請求項１から請求項１１のいずれか１項に記載の画像処理装置を備える、
ロボット。
【請求項１３】
請求項１から請求項１１のいずれか１項に記載の画像処理装置と、
前記画像を撮像する前記撮像装置と、
ロボットと、
を備えるロボットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、ロボットおよびロボットシステムに関する。
【背景技術】
【０００２】
撮像装置（カメラ）は、対象物に焦点を合わせる（合焦する）ための１枚以上のレンズ
を備える。ユーザー（人）の手動により合焦の調整を行うことが可能な部位（フォーカス
リング）を備える撮像装置がある。例えば、ユーザーは、撮像装置により現在撮像されて
いる映像（ライブ映像）を見ながら、当該撮像装置のフォーカスリングを手動で調整する
。
しかし、このようなユーザーの視覚による調整では、正確に調整することが困難である
場合があり、例えば、画像の細部を見ながら調整する作業は困難である場合があった。さ
らに、奥行のある対象物に対して焦点を合わせるときには、ユーザーは、フォーカスリン
グと併せて、レンズの絞りも調整する必要があった。
このようなユーザーの手動による調整を補助するために、合焦の程度を表す指標値（フ
ォーカス指標値）を表示する画像処理装置がある。フォーカス指標値として、例えば、輝
度差の統計値が用いられる。
【０００３】
一例として、特許文献１に記載された画像処理装置では、入力画像に含まれる画素の色
の濃度値の平均値、および入力画像に含まれる画素の色の濃度値の二乗平均値を用いて、
フォーカス値を算出し、算出したフォーカス値を出力することが行われる（特許文献１の
段落０１０９〜０１１０参照）。
【０００４】
しかしながら、従来使用されていたフォーカス値は相対的な指標であり、合焦の精度が
不十分な場合があった。例えば、輝度分布は画像の内容によって変化することから、画像
ごとに、対象物の反射が比較的明るいあるいは暗いといった焦点合わせとは関係のない要
素が影響して、合焦の精度が不十分な場合があった。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−４９９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述のように、画像処理装置において、画像の合焦の精度が不十分な場合があった。ま
た、画像処理の対象物体の関心領域だけを合焦させる場合（撮像した画像の一部に合焦さ
せる場合）、精度が不十分な場合があった。また、画像処理装置を備えるロボットあるい
はロボットシステムにおいても、同様な場合があった。
【課題を解決するための手段】
【０００７】
上記課題の少なくとも一つを解決するために本発明の一態様は、撮像装置が有するレン
ズの位置を変化させた後、前記撮像装置が撮像した画像の一部または全部について、合焦
しているか否かを判定するための第１の情報と、前記レンズの位置における合焦の第２の
情報を表示する、画像処理装置である。
この構成により、画像処理装置では、撮像した画像の一部または全部について、合焦し
ているか否かを判定するための第１の情報と、レンズの位置における合焦の第２の情報を
表示する。これにより、画像処理装置では、例えば、検査、計測などのために撮像した画
像の一部または全部について、画像の合焦の精度を提示することができ、例えば、自動で
は微妙な調整は難しいが、ユーザーの手動による調整によって合焦の精度を高めることが
できる。
【０００８】
また、本発明の一態様は、画像処理装置において、前記画像の一部を指定する指定部を
備える。
この構成により、画像処理装置では、画像の一部を指定する。これにより、画像処理装
置では、例えば、検査、計測などの対象としたい場合に指定された画像の一部について、
画像の合焦の精度を提示することができる。
【０００９】
また、本発明の一態様は、画像処理装置において、前記画像の一部は、関心領域の単位
、または、ピクセルの単位である。
この構成により、画像処理装置では、関心領域の単位、または、ピクセルの単位で、第
１の指標値に関する情報および第２の指標値に関する情報を表示する。これにより、画像
処理装置では、関心領域の単位、または、ピクセルの単位で、例えば、検査、計測などの
対象としたい関心領域またはピクセルだけの画像（画像部分）の合焦の精度を提示するこ
とができる。
【００１０】
また、本発明の一態様は、画像処理装置において、前記第１の情報および前記第２の情
報は指標値である。
この構成により、画像処理装置では、第１の情報および第２の情報は指標値である。こ
れにより、画像処理装置では、指標値を用いて、画像の合焦の精度を提示することができ
る。
【００１１】
また、本発明の一態様は、画像処理装置において、前記第１の情報は、最も焦点が合っ
ている前記指標値である。
この構成により、画像処理装置では、最も焦点が合っている指標値である第１の情報と
、第２の情報を表示する。これにより、画像処理装置では、最も焦点が合っている指標値
を提示することができる。
【００１２】
また、本発明の一態様は、画像処理装置において、前記画像の一部について前記指標値
に基づいて合焦の有無の一方または両方を表示する合焦表示部を備える。
この構成により、画像処理装置では、画像の一部について、合焦の有無の一方または両
方を表示する。これにより、画像処理装置では、画像の一部について、合焦の有無（合焦
していること、および、合焦していないこと）の一方または両方を提示することができる
。
【００１３】
また、本発明の一態様は、画像処理装置において、前記画像の一部は複数あり、前記複
数の前記画像の一部のすべてについて合焦している場合に、前記複数の前記画像の一部に
より特定される対象物に関して傾きがないと判定する一方、前記複数の前記画像の一部の
１以上について合焦していない場合に、前記対象物に関して傾きがあると判定する傾き判
定部を備える。
この構成により、画像処理装置では、複数の画像の一部のすべてについて合焦している
場合に、当該複数の画像の一部により特定される対象物に関して傾きがないと判定する一
方、当該複数の画像の一部の１以上について合焦していない場合に、当該対象物に関して
傾きがあると判定する。これにより、画像処理装置では、対象物に関して傾きの有無を提
示することができ、例えば、ユーザーの手動による調整によって当該傾きを調整すること
ができる。
【００１４】
また、本発明の一態様は、画像処理装置において、前記画像を用いて、物の輪郭を抽出
し、前記指標値を算出する指標値算出部を備える。
この構成により、画像処理装置では、物の輪郭を抽出し、指標値を算出する。これによ
り、画像処理装置では、物の輪郭に関する指標値を用いて、画像の合焦の精度を提示する
ことができる。
【００１５】
また、本発明の一態様は、画像処理装置において、前記指標値は、前記輪郭の輝度の勾
配方向の長さに基づく値である。
この構成により、画像処理装置では、指標値は、輪郭の輝度の勾配方向の長さに基づく
値である。これにより、画像処理装置では、輪郭の輝度の勾配方向の長さに基づく指標値
を用いて、画像の合焦の精度を提示することができる。
【００１６】
また、本発明の一態様は、画像処理装置において、前記指標値は、前記輪郭の輝度のエ
ッジの幅に基づく値である。
この構成により、画像処理装置では、指標値は、輪郭の輝度のエッジの幅に基づく値で
ある。これにより、画像処理装置では、輪郭の輝度のエッジの幅に基づく指標値を用いて
、画像の合焦の精度を提示することができる。
【００１７】
また、本発明の一態様は、画像処理装置において、前記指標値は、前記輪郭の複数の微
小な輝度勾配をつないだエッジ幅に基づく値である。
この構成により、画像処理装置では、指標値は、輪郭の複数の微小な輝度勾配をつない
だエッジ幅に基づく値である。これにより、画像処理装置では、輪郭の複数の微小な輝度
勾配をつないだエッジ幅に基づく指標値を用いて、画像の合焦の精度を提示することがで
きる。
【００１８】
上記課題の少なくとも一つを解決するために本発明の一態様は、上記の画像処理装置を
備える、ロボットである。
この構成により、ロボットでは、画像処理装置において、撮像した画像の一部または全
部について、合焦しているか否かを単独で判定可能な指標値として、第１の指標値に関す
る情報および第２の指標値に関する情報を表示する。これにより、ロボットでは、画像の
合焦の精度を提示することができ、例えば、ユーザーの手動による調整によって合焦の精
度を高めることができる。
【００１９】
上記課題の少なくとも一つを解決するために本発明の一態様は、上記の画像処理装置と
、前記画像を撮像する前記撮像装置と、ロボットと、を備えるロボットシステムである。
この構成により、ロボットシステムでは、画像処理装置において、撮像した画像の一部
または全部について、合焦しているか否かを単独で判定可能な指標値として、第１の指標
値に関する情報および第２の指標値に関する情報を表示する。これにより、ロボットシス
テムでは、画像の合焦の精度を提示することができ、例えば、ユーザーの手動による調整
によって合焦の精度を高めることができる。
【００２０】
以上のように、本発明に係る画像処理装置、ロボットおよびロボットシステムによれば
、撮像した画像の一部または全部について、合焦しているか否かを判定するための第１の
情報と、前記レンズの位置における合焦の第２の情報を表示する。これにより、本発明に
係る画像処理装置、ロボットおよびロボットシステムでは、例えば、検査、計測などのた
めに撮像した画像の一部または全部について、画像の合焦の精度を提示することができ、
例えば、ユーザーの手動による調整によって合焦の精度を高めることができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態（第１実施形態）に係る画像処理装置の概略的な構成例を示す図である。
【図２】撮像装置により撮像された画像の一例を示す図である。
【図３】勾配方向の距離と輝度との関係の一例を示す図である。
【図４】エッジマップの一例を示す図である。
【図５】画像のサイズの一例を示す図である。
【図６】エッジ幅についてコントラストと数との関係の一例を示す図である。
【図７】エッジマップにおいて抽出された部分の一例を示す図である。
【図８】ぼやけ幅を算出する処理の手順の一例を示すフローチャートである。
【図９】撮像の配置の一例を示す図である。
【図１０】合焦の有無の表示の一例を示す図である。
【図１１】合焦の有無を表示する処理および傾きを判定する処理の手順の一例を示すフローチャートである。
【図１２】撮像の配置の他の一例を示す図である。
【図１３】撮像装置により撮像される画像における対象物の画像の配置の一例を示す図である。
【図１４】ピクセルごとの合焦の有無の表示の一例を示す図である。
【図１５】ピクセルごとの合焦の有無の表示の他の一例を示す図である。
【図１６】ピクセルごとの合焦の有無の表示の他の一例を示す図である。
【図１７】最も合焦が合っている指標値の表示を含む画面表示の一例を示す図である。
【図１８】ユーザーの手動で撮像の配置を調整する場合に画像処理装置により行われる処理の手順の一例を示す図である。
【図１９】本発明の一実施形態（第２実施形態）に係るロボットの概略的な構成例を示す図である。
【図２０】本発明の一実施形態（第２実施形態）に係る制御装置の概略的な構成例を示す図である。
【図２１】本発明の一実施形態（第３実施形態）に係るロボットシステムの概略的な構成例を示す図である。
【発明を実施するための形態】
【００２２】
本発明の実施形態について図面を参照して詳細に説明する。
【００２３】
（第１実施形態）
＜画像処理装置の概要＞
図１は、本発明の一実施形態（第１実施形態）に係る画像処理装置１１の概略的な構成
例を示す図である。また、図１には、画像処理装置１１と接続される撮像装置１２も示さ
れている。
画像処理装置１１は、入力部２１と、出力部２２と、記憶部２３と、画像処理制御部２
４を備える。
入力部２１は、指定部４１を備える。
出力部２２は、表示部５１を備える。
画像処理制御部２４は、指標値算出部６１と、合焦表示部６２と、傾き判定部６３と、
最良指標値表示部６４を備える。
【００２４】
入力部２１は、情報を入力する。一例として、入力部２１は、操作部を有し、当該操作
部に対してユーザーにより行われる操作に応じた情報を入力してもよい。他の例として、
入力部２１は、外部の装置から送信された情報を受信することにより入力してもよい。本
実施形態では、入力部２１は、撮像装置１２により撮像された画像のデータを入力する。
指定部４１は、ユーザーにより行われる指定に応じた情報を入力し、画像の部分（画像
の一部）を指定する。指定部４１の機能は、前記した操作部により情報を入力する機能に
含まれてもよい。
【００２５】
出力部２２は、情報を出力する。一例として、出力部２２は、ユーザーに対して情報を
出力してもよい。他の例として、出力部２２は、外部の装置へ情報を送信することにより
出力してもよい。
表示部５１は、画面（表示画面）を有し、当該画面に情報を表示出力することで、ユー
ザーに対して当該情報を出力する。
なお、出力部２２は、情報を音声出力するスピーカーを有し、当該スピーカーにより情
報を出力してもよい。
【００２６】
記憶部２３は、情報を記憶する。
記憶部２３は、画像処理制御部２４により使用される制御プログラムおよびパラメータ
ーなどを記憶する。
また、記憶部２３は、複数の画像の情報（画像データ）、および画像処理に関する情報
を記憶する。
なお、記憶部２３は、他の任意の情報を記憶してもよい。
【００２７】
画像処理制御部２４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）
を有し、当該ＣＰＵにより記憶部２３に記憶された制御プログラムを実行することにより
、各種の処理を行う。この場合に、当該ＣＰＵは、記憶部２３に記憶されたパラメーター
などを使用してもよい。
【００２８】
指標値算出部６１は、画像の情報に関し、指標値を算出する。
合焦表示部６２は、前記した画像の部分について、算出された指標値に基づいて、合焦
の有無の情報を表示する。
傾き判定部６３は、画像の複数の部分における合焦の有無に基づいて、傾きの有無を判
定する。
最良指標値表示部６４は、ユーザーの手動により撮像装置１２のフォーカスリングなど
が調整される場合に、最も合焦が合っていた指標値（本実施形態では、最も合焦が合って
いることを最良と呼ぶ）を表示部５１に表示する。
【００２９】
ここで、本実施形態では、画像を撮像する撮像装置１２と、撮像装置１２により撮像さ
れた画像の情報を処理する画像処理装置１１とを別体として構成したが、他の構成例とし
て、画像処理装置１１の機能が撮像装置１２に一体に組み込まれてもよい。
【００３０】
＜指標値＞
図２〜図８を参照して、本実施形態で用いられる指標値について説明する。本実施形態
では、指標値算出部６１が指標値を算出する。
本実施形態では、合焦しているか否かを単独で判定することが可能な指標値が用いられ
る。このような指標値は、相対的でなく、絶対的な指標値である。絶対的な指標値は、例
えば、画像ごとの明るさの変化によらず、異なる画像に対しても有効である。
【００３１】
本実施形態では、指標値として、ぼやけ幅と呼ぶ値を用いる。ぼやけ幅は、画像の対象
領域の中において、輪郭線の幅（エッジ幅）をコントラストが高い方から一定の数だけ抽
出したものの平均値であり、ピクセル（画素）単位の値である。
ここで、本実施形態では、エッジ幅として、コントラストの２０％〜８０％に相当する
幅を用いるが、他の構成例として、他のパーセント（％）の幅が用いられてもよい。例え
ば、エッジ幅として、コントラストの１０％〜９０％に相当する幅が用いられてもよく、
あるいは、コントラストの３０％〜７０％に相当する幅が用いられてもよく、あるいは、
他の幅が用いられてもよい。
【００３２】
本実施形態では、１個のピクセルの指標値として、当該ピクセルにおける局所的なぼや
け幅（エッジ幅）が用いられる。
また、本実施形態では、所定領域の指標値として、当該所定領域における複数の局所的
なぼやけ幅（エッジ幅）を用いて統計的に算出されるぼやけ幅（統計的なぼやけ幅）が用
いられる。
【００３３】
まず、図２〜図４を参照して、画像における局所的なぼやけ幅（本実施形態における１
個のピクセルの指標値）について説明する。
指標値算出部６１は、処理対象の画像の全体をスキャンし、輝度の勾配を検出したとき
に、そこから勾配方向にたどって局所的なぼやけ幅（エッジ幅）を検出して抽出する。な
お、この際に、輪郭が抽出される。
【００３４】
図２は、撮像装置１２により撮像された画像１１１の一例を示す図である。
また、図２には、画像１１１の一部が拡大された画像（拡大画像１１２）を示してある
。拡大画像１１２に、指標値算出部６１が探索を開始する位置（探索開始位置１３１）と
、輝度の勾配方向１３２を示してある。本実施形態では、輝度が高い（明るい）方から低
い（暗い）方への方向を勾配方向とするが、他の構成例として、輝度が低い（暗い）方か
ら高い（明るい）方への方向を勾配方向としてもよい。
【００３５】
図３は、勾配方向の距離と輝度との関係の一例を示す図である。
勾配方向の距離は、例えば、輝度の最大値あるいは最小値などを基準に決定される。
図３に示されるグラフにおいて、横軸は輝度の勾配方向の距離（長さ）を表わしており
、縦軸は輝度を表わしている。処理対象の画像における一つの勾配方向（図２における勾
配方向１３２の一例）について、探索開始位置２１１（図２における探索開始位置１３１
の一例）と、輝度の特性２１２を示してある。
【００３６】
本実施形態では、指標値算出部６１は、輝度の特性２１２において、輝度の最大値と最
小値とのコントラストを基準として、コントラストの２０％〜８０％を決定する。
図３には、輝度が最大値である距離Ａ１と、輝度が最小値である距離Ａ４と、輝度がコ
ントラストの８０％である距離Ａ２と、輝度がコントラストの２０％である距離Ａ３を示
してある。距離Ａ１と距離Ａ４との間の長さが輝度の両端の幅（輝度両端幅）に相当する
。距離Ａ２と距離Ａ３との間の長さが本実施形態のエッジ幅に相当する。距離Ａ２と距離
Ａ３との間の中点の位置が、当該エッジ幅の中点の位置（エッジ中点位置）となる。
【００３７】
ここで、本実施形態では、指標値算出部６１は、輝度が所定の閾値以上である位置を探
索開始位置２１１として用いる。当該閾値は、例えば、あらかじめ設定されて、記憶部２
３に記憶されてもよい。そして、指標値算出部６１は、探索開始位置２１１から、輝度の
勾配の両側について、輝度平坦または勾配逆転になるまで探索する。なお、探索開始位置
２１１は、多少ずれてもよく、両側をたどることができれば、同様な探索結果が得られる
。
【００３８】
図４は、エッジマップ３１１の一例を示す図である。
指標値算出部６１は、探索結果に基づいて、エッジマップ３１１を生成する。
エッジマップ３１１は、例えば、処理対象の画像におけるすべてのピクセルの位置につ
いて、所定の情報を格納（記憶）することが可能なテーブルである。
本実施形態では、指標値算出部６１は、エッジ幅に関する情報を、当該エッジ幅の中点
の位置（エッジ中点位置３３１）に対応させて、エッジマップ３１１に格納する。本実施
形態では、エッジ幅に関する情報として、エッジ幅（自体）の情報と、そのコントラスト
の情報が、エッジマップ３１１に格納される。
指標値算出部６１は、処理対象の画像の全体において、輝度の勾配のすべてについて、
探索して、その情報をエッジマップ３１１に格納する。これにより、エッジマップ３１１
には、処理対象の画像の全体について、エッジ幅に関する情報が集計される。本実施形態
では、この処理において、同じ情報の重複が排除される。
【００３９】
次に、図５〜図８を参照して、画像における統計的なぼやけ幅（本実施形態における所
定領域の指標値）について説明する。
図５は、画像４１１のサイズの一例を示す図である。
本実施形態では、画像４１１のサイズと同じサイズの画像を処理対象とする。画像４１
１は長方形（または、正方形）であり、そのサイズとして、横の長さ（幅）がＷであり、
縦の長さ（高さ）がＨであり、対角線の長さがＬである。ここで、Ｗ、Ｈ、Ｌは、それぞ
れ、ピクセルの数で表される。
【００４０】
図６は、エッジ幅についてコントラストと数との関係の一例を示す図である。
図６に示されるグラフは、処理対象の画像の全体において探索されたエッジ幅に関する
ものである。
図６に示されるグラフにおいて、横軸はエッジ幅のコントラストを表わしており、縦軸
はエッジ幅の数を表わしている。エッジ幅についてコントラストと数との関係の特性５１
１を示してある。本実施形態では、輝度の値が０〜２５５であるとしており、コントラス
トが０〜２５５である。
【００４１】
指標値算出部６１は、得られたエッジ幅のなかから、コントラストが高い方から所定数
のエッジ幅の情報を抽出する。本実施形態では、当該所定数として、処理対象の画像の対
角線の長さ（Ｌピクセル）が用いられる。他の構成例として、当該所定数として、例えば
、処理対象の画像の横の長さ（Ｗピクセル）が用いられてもよく、あるいは、処理対象の
画像の縦の長さ（Ｈピクセル）が用いられてもよく、あるいは、これらの和（（Ｗ＋Ｈ）
ピクセル）が用いられてもよく、あるいは、他の長さが用いられてもよい。
図６では、特性５１１において、抽出される部分に斜線を付してある。
【００４２】
図７は、エッジマップ６１１（図４に示されるエッジマップ３１１に相当するもの）に
おいて抽出された部分（抽出部分６３１）の一例を示す図である。
図７では、抽出部分６３１に斜線を付してある。
指標値算出部６１は、抽出されたすべてのエッジ幅（エッジマップ６１１におけるエッ
ジ中点位置に格納されたエッジ幅）の平均値を算出する。そして、指標値算出部６１は、
この算出結果（当該平均値）をぼやけ幅（統計的なぼやけ幅）とし、本実施形態における
合焦の指標値（所定領域の指標値）として用いる。
【００４３】
図８は、ぼやけ幅を算出する処理の手順の一例を示すフローチャートである。
なお、以上では、指標値算出部６１が、処理対象の画像の全体の領域についてぼやけ幅
を算出する場合を示したが、処理対象の画像のうちの一部の領域についてぼやけ幅を算出
してもよい。これらは、領域が異なるだけであり、同様な処理でぼやけ幅を算出すること
ができる。本実施形態では、処理対象の画像のうちの一部の領域の一例として、関心領域
（ＲＯＩ：Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）が用いられる。指定部４１は、ユー
ザーの指示などに応じて、ＲＯＩを指定してもよい。
【００４４】
（ステップＳ１）
指標値算出部６１は、処理対象の画像（または、ＲＯＩ）の対角線の長さ（対角長）を
算出する。本実施形態では、当該対角長は、Ｌピクセルである。
（ステップＳ２）
指標値算出部６１は、エッジ幅の探索結果に基づいて、コントラストが高い方からＬピ
クセル分のエッジ幅を抽出する。
（ステップＳ３）
指標値算出部６１は、抽出したエッジ幅の平均値を算出する。当該平均値が、処理対象
の画像（または、ＲＯＩ）のぼやけ幅として用いられ、本実施形態では、合焦の指標値（
所定領域の指標値）として用いられる。
【００４５】
ここで、本実施形態では、コントラストが高い方から所定数のエッジ幅の情報を抽出す
るが、他の構成例として、ぼやけ幅（ここでは、エッジ幅のこと）が小さい方から所定数
のエッジ幅の情報を抽出する構成が用いられてもよい。
また、本実施形態では、輝度の輪郭線について、輝度の勾配が一直線（傾きが一つ）で
あるとしてエッジ幅を算出したが、他の構成例として、輝度の輪郭線において、微小な輝
度の勾配を複数つなげることでエッジ幅を算出してもよく、この場合、エッジ幅は微小な
輝度の勾配の長さを、エッジの一端から当該エッジの他端まで総和した値（積分値）とな
る。当該値は、輝度の勾配において、エッジの一端から当該エッジの他端まで、それぞれ
の位置における輝度勾配方向のギザギザをたどって、その長さを総和した値となる。本実
施形態では、エッジの一端はコントラストが２０％である位置となり、当該エッジの他端
はコントラストが８０％である位置となる。
【００４６】
なお、ぼやけ幅について、以下のような評価実験の結果が本出願人により得られており
、ぼやけ幅は合焦の指標値として適していると考えられる。
（評価実験の結果１）焦点が大きくずれているところから合焦付近までのぼやけ幅が単
調減少する。
（評価実験の結果２）合焦付近では、高周波のコントラストの再現とぼやけ幅に一定の
相関がある。
（評価実験の結果３）ぼやけ幅はノイズにほとんど影響されない。
（評価実験の結果４）中間調においては、コントラストが違っても、ぼやけ幅はほとん
ど変わらない。
（評価実験の結果５）対象が変わっても、ぼやけ幅を絶対指標として使用することが可
能である。なお、ぼやけ幅も、一定の誤差を含み得るが、実用上では問題ないと考えられ
る程度である。
【００４７】
＜画像処理装置の動作の詳細＞
図９〜図１８を参照して、画像処理装置１１の動作の詳細を説明する。
図９〜図１１を参照して、合焦の有無の判定および傾きの有無の判定に関する処理につ
いて説明する。
図９は、撮像の配置の一例を示す図である。
図９には、撮像装置７１１（図１に示される撮像装置１２の一例）と、撮像装置７１１
の撮像面に対して平行な面（平行面７２１）と、対象物７２２を示してある。ここで、平
行面７２１は、説明のための仮想的な面であり、実際の空間に存在する物ではない。
図９の例では、平面状の対象物７２２が平行面７２１に対して平行でない配置（非平行
な配置）となっている。
【００４８】
図１０は、合焦の有無の表示の一例を示す図である。
図１０には、表示部５１の画面に表示される画像８１１の一例を示してある。当該画像
８１１は、図９の例の配置で撮像された画像に、合焦表示部６２が合焦の有無を表示した
ものである。
当該画像８１１に含まれる対象物の画像８１２は、図９に示される対象物７２２の画像
であり、図１０の例において右側の方が合焦しており左側の方が合焦していない。
【００４９】
図１０の例では、合焦表示部６２は、４個の枠の領域（枠領域８３１〜８３４）のそれ
ぞれについて、合焦の有無（合焦しているか否か）を判定し、その判定の結果を示す情報
を表示する。これらの枠領域８３１〜８３４は、例えば、検査、計測などの対象としたい
関心領域（ＲＯＩ）である。
図１０の例では、合焦表示部６２は、合焦している枠領域８３１〜８３３の枠の線種（
例えば、実線）と、合焦していない枠領域８３４の枠の線種（例えば、点線）とを異なら
せて表示することで、合焦の有無を区別して表示する。
なお、合焦の有無を区別して表示する構成としては、他の構成が用いられてもよい。一
例として、合焦表示部６２は、合焦している枠領域８３１〜８３３の枠または内部の色（
例えば、緑）と、合焦していない枠領域８３４の枠または内部の色（例えば、赤）とを異
ならせて表示することで、合焦の有無を区別して表示してもよい。他の例として、合焦表
示部６２は、合焦している枠領域８３１〜８３３の枠または内部の模様と、合焦していな
い枠領域８３４の枠または内部の模様とを異ならせて表示することで、合焦の有無を区別
して表示してもよい。他の例として、合焦表示部６２は、文字、数字、記号などを用いて
、各枠領域８３１〜８３４について合焦の有無を区別して表示してもよい。
【００５０】
ここで、合焦表示部６２は、各枠領域８３１〜８３４について指標値算出部６１により
算出された指標値が所定の閾値と比べて良好である場合には合焦している（合焦有り）と
判定し、当該指標値が当該閾値と比べて良好ではない場合には合焦していない（合焦無し
）と判定する。この場合、指標値算出部６１は、各枠領域８３１〜８３４をＲＯＩとして
、各枠領域８３１〜８３４ごとに指標値を算出する。当該閾値は、例えば、あらかじめ設
定されて、記憶部２３に記憶されてもよい。
本実施形態では、ぼやけ幅を指標値として用いており、指標値が小さい方が合焦の点で
良好であり、指標値が大きい方が合焦の点で良好ではない。
【００５１】
図１０の例では、対象物の画像８１２に対して、上側であって左右の中央付近に枠領域
８３１が設定されており、右側であって上下の中央付近に枠領域８３２が設定されており
、下側であって左右の中央付近に枠領域８３３が設定されており、左側であって上下の中
央付近に枠領域８３４が設定されている。各枠領域８３１〜８３４は、それぞれ、対象物
の画像８１２の各辺を挟んで内部と外部を含む位置に配置されている。
なお、各枠領域８３１〜８３４は、一例として、あらかじめ設定されて、記憶部２３に
記憶されてもよい。他の例として、指定部４１は、ユーザーの指示などに応じて、各枠領
域８３１〜８３４を指定してもよい。
また、図１０の例では、一つの画像８１１に４個の枠領域８３１〜８３４を示す場合を
示したが、一つの画像に示される枠領域の数は１以上の任意の数であってもよい。例えば
、指定部４１は、ユーザーの指示などに応じて、枠領域の数を指定してもよい。
【００５２】
傾き判定部６３は、合焦表示部６２により合焦の有無が判定された結果に基づいて、傾
きの有無を判定する。本実施形態では、傾き判定部６３は、処理対象の画像８１１に含ま
れる対象物の画像８１２に関して、当該対象物の傾きの有無（当該対象物が傾いているか
否か）を判定する。本実施形態では、傾き判定部６３は、対象物に対して設定された２個
以上の領域（図１０の例では、枠領域８３１〜８３４）のすべてについて合焦している場
合には当該対象物は傾いていないと判定する一方、１個以上の領域について合焦していな
い場合には当該対象物は傾いていると判定する。なお、本実施形態では、すべての領域に
ついて合焦していない場合には対象物が傾いていると判定する構成としてあるが、他の構
成が用いられてもよい。
図１０の例では、対象物に対して、上側の枠領域８３１と右側の枠領域８３２と下側の
枠領域８３３について合焦しており、左側の枠領域８３４について合焦していない。これ
に基づいて、傾き判定部６３は、当該対象物が傾いていると判定する。
【００５３】
傾き判定部６３は、傾きの有無の判定結果を示す情報を表示部５１の画面に表示する。
例えば、傾き判定部６３は、傾きが有る対象物の枠（輪郭）の線種（例えば、実線）と
、傾きが無い対象物の枠（輪郭）の線種（例えば、点線）とを異ならせて表示することで
、傾きの有無を区別して表示してもよい。
なお、傾きの有無を区別して表示する構成としては、他の構成が用いられてもよい。一
例として、傾き判定部６３は、傾きが有る対象物の枠（輪郭）または内部の色（例えば、
黄）と、傾きが無い対象物の枠（輪郭）または内部の色（例えば、青）とを異ならせて表
示することで、傾きの有無を区別して表示してもよい。他の例として、傾き判定部６３は
、傾きが有る対象物の枠（輪郭）または内部の模様と、傾きが無い対象物の枠（輪郭）ま
たは内部の模様とを異ならせて表示することで、傾きの有無を区別して表示してもよい。
他の例として、傾き判定部６３は、傾きが無い場合にすべての領域を包含する枠（図１０
の例では、４個の枠領域８３１〜８３４を囲む枠であり、図示せず）を表示する一方、傾
きが有る場合に当該枠を表示しないことで、傾きの有無を区別して表示してもよい。他の
例として、傾き判定部６３は、文字、数字、記号などを用いて、対象物の傾きの有無を区
別して表示してもよい。
【００５４】
図１１は、合焦の有無を表示する処理および傾きを判定する処理の手順の一例を示すフ
ローチャートである。
画像処理装置１１において、（ステップＳ２１）〜（ステップＳ２９）の処理を行う。
（ステップＳ２１）
入力部２１は、撮像装置１２により撮像された画像の情報を入力する。
（ステップＳ２２）
指標値算出部６１および合焦表示部６２は、入力された画像の情報に関し、最初に指標
値を算出する対象となる領域（図１０の例では、枠領域８３１〜８３４のうちのいずれか
１つ）の情報を抽出して取得する。なお、当該領域は、例えば、あらかじめ設定されても
よく、または、指定部４１により指定されてもよい。
【００５５】
（ステップＳ２３）
指標値算出部６１は、指標値を算出する対象の領域（本例では、現時点で対象となって
いる１つ）について、指標値を算出する。
（ステップＳ２４）
合焦表示部６２は、指標値算出部６１により算出された指標値に基づいて、合焦の有無
を判定する。
（ステップＳ２５）
合焦表示部６２は、対象の領域について、合焦の有無の判定の結果（図１０の例では、
対象の枠領域に関する情報）を表示部５１の画面に表示する。
【００５６】
（ステップＳ２６）
ここで、本例では、画像処理制御部２４（例えば、合焦表示部６２など）は、ユーザー
により行われた操作に応じた終了の指示が入力部２１により入力されたか否かを判定する
。
この判定の結果、画像処理制御部２４（例えば、合焦表示部６２など）は、終了の指示
が入力されたと判定した場合には、本処理を終了する（ステップＳ２６：ＹＥＳ）。一方
、この判定の結果、画像処理制御部２４（例えば、合焦表示部６２など）は、終了の指示
が入力されていないと判定した場合には、（ステップＳ２７）の処理へ移行する（ステッ
プＳ２６：ＮＯ）。
なお、（ステップＳ２６）の処理は、本フローのなかの他の箇所に設けられてもよい。
【００５７】
（ステップＳ２７）
合焦表示部６２は、次に指標値を算出する対象となる領域が存在するか否かを判定する
。
この判定の結果、合焦表示部６２は、次に指標値を算出する対象となる領域が存在する
と判定した場合には、（ステップＳ２８）の処理へ移行する（ステップＳ２７：ＹＥＳ）
。一方、この判定の結果、合焦表示部６２は、次に指標値を算出する対象となる領域が存
在しないと判定した場合には、（ステップＳ２９）の処理へ移行する（ステップＳ２７：
ＮＯ）。
【００５８】
ここで、本実施形態では、指標値を算出する対象となる領域の数（図１０の例では、枠
領域８３１〜８３４の数である４個）が設定されている場合には、合焦表示部６２は、当
該数の領域について指標値が算出された時点で、次に指標値を算出する対象となる領域が
存在しないと判定する。当該数は、例えば、あらかじめ設定されてもよく、または、指定
部４１により指定されて設定されてもよい。
また、他の構成例として、合焦表示部６２は、ユーザーにより行われた操作に応じた指
示（入力部２１により入力されたユーザーの指示）に応じて、次に指標値を算出する対象
となる領域が存在するか否かを判定してもよい。
【００５９】
（ステップＳ２８）
指標値算出部６１および合焦表示部６２は、入力された画像の情報に関し、次に指標値
を算出する対象となる領域の情報を抽出して取得する。そして、画像処理装置１１におい
て、当該領域を対象として、（ステップＳ２３）の処理へ移行する。
（ステップＳ２９）
傾き判定部６３は、総合判定として、合焦表示部６２により合焦の有無が判定された結
果に基づいて、傾きの有無を判定する。また、傾き判定部６３は、この判定の結果を示す
情報を表示部５１の画面に表示する。そして、画像処理装置１１において、（ステップＳ
２１）の処理へ移行する。ここで、本実施形態では、傾き判定部６３は、入力された画像
の情報に応じた画像に含まれる対象物について、傾きの有無（当該対象物が傾いているか
否か）を判定する。
【００６０】
本実施形態では、傾き判定部６３により傾きが有ると判定された場合には、傾きが無い
と判定されるまで、撮像の配置（図９の例では、撮像装置７１１と対象物７２２との傾き
などの配置）を変更する処理が行われる。当該変更の処理は、例えば、画像処理装置１１
または他の装置により実行されるあらかじめ設定された制御によって行われてもよく、あ
るいは、ユーザーの手動によって行われてもよい。ここで、撮像の配置の変更は、例えば
、撮像装置７１１自体または対象物７２２自体の位置または姿勢が変更されてもよく、あ
るいは、撮像装置７１１の内部の光学系素子（レンズなど）の位置または姿勢が変更され
てもよい。
【００６１】
本実施形態では、傾き判定部６３により傾きが有ると判定された場合には、撮像の配置
が不可（ＮＧ）であるとみなしており、傾き判定部６３により傾きが無いと判定された場
合には、撮像の配置を許可（ＯＫ）する。
【００６２】
なお、例えば、合焦の有無が判定された領域が１つだけである場合などのように、傾き
を判定することが困難または不可能である場合の条件があらかじめ設定されて、当該条件
が満たされるときには傾き判定部６３は傾きの判定を行わない、構成が用いられてもよい
。
【００６３】
図１０の例では、画像処理装置１１において、１枚の画像８１１を取得して、当該画像
８１１に含まれる対象物の画像８１２に対して４個の枠領域８３１〜８３４を設定し、各
枠領域８３１〜８３４について合焦の有無を判定して表示し、その結果に基づいて当該対
象物の傾きの有無を判定して表示する処理を行い、その後、次の画像を取得して同様な処
理を行う、ことを繰り返す。
【００６４】
図１２〜図１６を参照して、撮像の配置に応じて合焦の有無が変化する様子について説
明する。
図１２は、撮像の配置の他の一例を示す図である。
図１２には、撮像装置９１１（図１に示される撮像装置１２の一例）と、３個の異なる
対象物９３１〜９３３を示してある。
図１２の例では、撮像装置９１１の撮像面に対して、各対象物９３１〜９３３の距離（
図１２の例では、対象物９３１が置かれた台からの高さ）がそれぞれ異なっている。
【００６５】
図１３は、撮像装置９１１により撮像される画像１０１１における対象物の画像１０３
１〜１０３３の配置の一例を示す図である。
図１３の例では、各対象物の画像１０３１〜１０３３の配置を示しており、合焦の有無
については示していない。対象物の画像１０３１、対象物の画像１０３２、対象物の画像
１０３３は、それぞれ、図１２に示される対象物９３１、対象物９３２、対象物９３３に
対応する画像である。
本例では、撮像装置９１１の撮像面に対する各対象物９３１〜９３３の距離が異なるこ
とから、各対象物の画像１０３１〜１０３３について合焦の有無が異なり得る。
【００６６】
図１４〜図１６において、第１の配置と第２の配置と第３の配置とでは、それぞれ、撮
像装置９１１と対象物９３１〜９３３との配置（撮像の配置）が異なる。
撮像の配置の変更により、第１の配置、第２の配置、第３の配置、および他の配置が切
り替えられる。当該変更の処理は、例えば、画像処理装置１１または他の装置により実行
されるあらかじめ設定された制御によって行われてもよく、あるいは、ユーザーの手動に
よって行われてもよい。ここで、撮像の配置の変更は、例えば、撮像装置９１１自体また
は対象物９３１〜９３３自体の位置または姿勢が変更されてもよく、あるいは、撮像装置
９１１の内部の光学系素子（レンズなど）の位置または姿勢が変更されてもよい。
【００６７】
図１４は、ピクセルごとの合焦の有無の表示の一例を示す図である。
図１４には、第１の配置で撮像装置９１１により撮像された画像１１１１の一例を示し
てある。当該画像１１１１に、図１２に示される対象物９３１、対象物９３２、対象物９
３３のそれぞれに対応する対象物の画像１１３１、対象物の画像１１３２、対象物の画像
１１３３が含まれる。
図１４の例では、指標値算出部６１および合焦表示部６２は、画像１１１１の全体の領
域を、指標値を算出する対象となる領域として設定する。指標値算出部６１は、ピクセル
ごとにエッジ幅（本例では、１個のピクセルの指標値とする）を算出する。合焦表示部６
２は、エッジ幅が算出されたピクセルごとに、合焦の有無を判定して、その判定の結果を
表示する。一例として、合焦表示部６２は、合焦しているピクセルを所定の色（例えば、
黒など）あるいは点滅などで表示することで、合焦しているピクセルと合焦していないピ
クセルとを区別して表示する。なお、合焦しているピクセルと合焦していないピクセルと
を色（前記した所定の色）で区別する場合には、撮像される物の色によっては両者の色が
一致する場合が生じ得るが、視覚的に区別が可能であれば、許容されてもよい。
【００６８】
概略的には、図１４の例では、１個の対象物の画像１１３３については合焦しており、
他の２個の対象物の画像１１３１、１１３２については合焦していない。図１４の例では
、合焦している対象物の輪郭に対応するピクセルから構成される枠領域１１５３と、合焦
していない対象物の輪郭から構成される枠領域１１５１、１１５２とを、枠の線種（例え
ば、実線と点線）を異ならせて区別して示してある。
【００６９】
ここで、本実施形態では、図４に示されるエッジマップ３１１におけるエッジ中点位置
３３１がピクセルの位置として用いられ、当該エッジ中点位置３３１に対応して格納され
たエッジ幅が当該ピクセルのエッジ幅（１個のピクセルの指標値）として用いられる。
本実施形態では、合焦表示部６２は、画像１１１１の全体の領域においてエッジ幅が算
出されたすべてのピクセルのなかで、コントラストが上位の所定数以内となるピクセルに
ついては合焦している（合焦有り）と判定し、他のピクセル（上位の所定数以外となるピ
クセル）については合焦していない（合焦無し）と判定する。ここで、上位の所定数とし
ては、例えば、図５〜図７を参照して説明したＬなどが用いられてもよい。
なお、各ピクセルの合焦の有無を判定する方法としては、他の方法が用いられてもよい
。一例として、合焦表示部６２は、各ピクセルについて、指標値算出部６１により算出さ
れたエッジ幅を指標値として、当該指標値が所定の閾値と比べて良好である場合には合焦
している（合焦有り）と判定し、当該指標値が当該閾値と比べて良好ではない場合には合
焦していない（合焦無し）と判定してもよい。
【００７０】
図１５は、ピクセルごとの合焦の有無の表示の他の一例を示す図である。
図１５には、第２の配置で撮像装置９１１により撮像された画像１２１１の一例を示し
てある。当該画像１２１１に、図１２に示される対象物９３１、対象物９３２、対象物９
３３のそれぞれに対応する対象物の画像１２３１、対象物の画像１２３２、対象物の画像
１２３３が含まれる。
概略的には、図１５の例では、１個の対象物の画像１２３１については合焦しており、
他の２個の対象物の画像１２３２、１２３３については合焦していない。
各対象物の枠領域１２５１〜１２５３については、図１４の例の場合と同様である。
【００７１】
図１６は、ピクセルごとの合焦の有無の表示の他の一例を示す図である。
図１６には、第３の配置で撮像装置９１１により撮像された画像１３１１の一例を示し
てある。当該画像１３１１に、図１２に示される対象物９３１、対象物９３２、対象物９
３３のそれぞれに対応する対象物の画像１３３１、対象物の画像１３３２、対象物の画像
１３３３が含まれる。
概略的には、図１６の例では、１個の対象物の画像１３３２については合焦しており、
他の２個の対象物の画像１３３１、１３３３については合焦していない。
各対象物の枠領域１３５１〜１３５３については、図１４の例の場合と同様である。
【００７２】
なお、図１３〜図１６では、撮像装置９１１により撮像された画像１０１１、１１１１
、１２１１、１３１１の全体を処理対象の画像として用いたが、他の構成例として、撮像
装置９１１により撮像された画像の一部が処理対象の画像として用いられてもよい。当該
一部は、例えば、指定部４１により指定されてもよい。
【００７３】
図１７は、最良最も合焦が合っている指標値の表示を含む画面表示の一例を示す図であ
る。
図１７には、表示部５１の画面１４１１の表示の一例を示してある。
画面１４１１には、画像を表示する領域（画像表示部１４７１）が上段に設けられてお
り、枠領域の情報を表示する領域（枠領域情報表示部１４８１）が中段に設けられており
、最も合焦が合っている指標値（本実施形態では、最良の指標値と呼ぶ）を表示する領域
（最良指標値表示部１４９１）が下段に設けられている。なお、これらの複数の表示部の
配置は、他の配置であってもよい。
【００７４】
画像表示部１４７１には、撮像装置（例えば、図１２に示される撮像装置９１１）によ
り撮像された画像と、当該画像に設定された枠領域１４５１が、重ねられて表示される。
図１７の例では、当該画像には、３個の異なる対象物（例えば、図１２に示される対象物
９３１〜９３３）の画像１４３１〜１４３３が含まれている。ここで、枠領域１４５１は
、ユーザーの指示などに応じて、当該画像のなかで位置が変化（移動）させられることが
可能である。
【００７５】
枠領域情報表示部１４８１には、例えば、検査、計測などの対象である枠領域１４５１
の情報が表示される。図１７の例では、枠領域１４５１としてＲＯＩが用いられている。
図１７の例では、枠領域１４５１の情報として、当該枠領域１４５１の中心の位置（中心
位置）の情報と、当該枠領域１４５１の横の長さ（幅）の情報と、当該枠領域１４５１の
縦の長さ（高さ）の情報が用いられている。中心位置は、（横方向の位置、縦方向の位置
）の座標値で表されている。各長さは、ピクセル単位の長さである。
なお、枠領域１４５１として、画像の全体の領域が用いられてもよい。
【００７６】
最良指標値表示部１４９１には、合焦の指標値として、現在の指標値と、過去の所定の
開始時点から現在までに得られた指標値のなかで最良の指標値が表示される。図１７の例
では、それぞれの指標値が数値で表されている。図１７の例では、（現在の指標値／最良
の指標値）という形式で表示されている。本実施形態では、指標値が良好であるほど、当
該指標値は小さくなる。図１７の例では、現在の指標値が１．５であり、最良の指標値が
１．２であることから、現在の撮像の配置と比べて、より良好な撮像の配置があったこと
が示される。
【００７７】
本実施形態では、最良指標値表示部６４は、所定の開始時点から所定の終了時点までの
間において指標値算出部６１により算出された指標値のうちで、最良の指標値を判定する
。そして、最良指標値表示部６４は、現在の指標値と、最良の指標値を、表示部５１の画
面（図１７の例では、画面１４１１の最良指標値表示部１４９１）に表示する。この場合
、指標値算出部６１あるいは最良指標値表示部６４は、指標値算出部６１により算出され
た指標値を記憶部２３に記憶する。
【００７８】
例えば、ユーザーは手動で、撮像の配置を連続的に変更することにより、複数の撮像の
配置における指標値を表示させて参考にする、そして、ユーザーは、現在の指標値が良好
な指標値となるように、撮像の配置を調整する。一例として、ユーザーは、撮像装置９１
１が備えるフォーカスリングを回すことで、現在の指標値が大きい値（合焦していない値
）から次第に小さくなり、その後、最小値（合焦している値）を超えて次第に大きくなっ
た後に、現在の指標値が当該最小値になるように、調整を行う。ここで、撮像の配置の変
更は、例えば、撮像装置９１１自体または対象物９３１〜９３３自体の位置または姿勢が
変更されてもよく、あるいは、撮像装置９１１の内部の光学系素子（レンズなど）の位置
または姿勢が変更されてもよい。
【００７９】
ここで、最良の指標値を判定する期間は、所定の開始時点から所定の終了時点までの期
間である。
所定の開始時点および所定の終了時点は、それぞれ、例えば、画像処理装置１１または
他の装置により実行されるあらかじめ設定された制御によって設定されてもよく、あるい
は、ユーザーの指示に応じて設定されてもよい。一例として、枠領域１４５１が新規に設
定された時点が所定の開始時点として設定されてもよく、また、枠領域１４５１が他の枠
領域へ変更された時点が所定の終了時点として設定されてもよい。他の例として、ユーザ
ーにより指定された時点が所定の開始時点あるいは所定の終了時点として設定されてもよ
い。他の例として、上記のいずれかにより所定の開始時点が設定される場合に、所定の開
始時点と所定の終了時点との間の期間の長さが、あらかじめ設定されてもよく、または、
ユーザーの指示に応じて設定されてもよい。
【００８０】
図１８は、ユーザーの手動で撮像の配置を調整する場合に画像処理装置１１により行わ
れる処理の手順の一例を示す図である。
ここで、本フローの処理は、例えば、所定の開始時点から所定の終了時点までの期間に
行われる。
当該期間では、任意のタイミングで、撮像装置１２において、ユーザーの操作を受け付
ける。これにより、撮像の配置が変更する。本実施形態では、ユーザーの操作として、撮
像装置１２が備えるフォーカスリングの操作が用いられる。
【００８１】
（ステップＳ４１）
画像処理装置１１において、入力部２１は、撮像装置１２により撮像された画像の情報
を入力する。
（ステップＳ４２）
画像処理装置１１において、指標値算出部６１は、枠領域１４５１の指標値を算出する
。また、指標値算出部６１などは、当該指標値を記憶部２３に記憶する。また、合焦表示
部６２は、枠領域１４５１について合焦の有無を判定して表示する。
（ステップＳ４３）
画像処理装置１１において、最良指標値表示部６４は、現在の指標値を表示するととも
に、最良の指標値を判定して表示する。なお、最良指標値表示部６４は、当該最良の指標
値を記憶部２３に記憶してもよい。
【００８２】
（ステップＳ４４）
画像処理装置１１において、画像処理制御部２４は、本フローの処理を終了するか否か
を判定する。
この判定の結果、画像処理制御部２４は、本フローの処理を終了すると判定した場合に
は、本フローの処理を終了する（ステップＳ４４：ＹＥＳ）。
一方、この判定の結果、画像処理制御部２４は、本フローの処理を終了しないと判定し
た場合には、ステップＳ４１の処理へ移行する（ステップＳ４４：ＮＯ）。
ここで、画像処理制御部２４は、例えば、所定の終了時点になった場合、あるいは、ユ
ーザーなどの指示に応じて本フローの処理を中断する場合などに、本フローの処理を終了
すると判定する。
【００８３】
以上のように、本実施形態に係る画像処理装置１１では、撮像された対象物あるいは撮
像された画像の内容に影響されにくいエッジ幅に基づく値を合焦の指標値として用いる。
これにより、本実施形態に係る画像処理装置１１では、光学系が持つ能力を最大限に活用
して、合焦の調整を行うことが可能である。
【００８４】
また、本実施形態に係る画像処理装置１１では、撮像された画像上に、１個以上の枠領
域について、合焦の有無を判定して表示する。これにより、本実施形態に係る画像処理装
置１１では、枠領域を単位として、合焦の有無をユーザーに提示することができる。した
がって、ユーザーは、合焦の調整を精度よく行うことが可能である。
具体例として、本実施形態に係る画像処理装置１１では、合焦させたい箇所に枠領域を
設定することが可能である。例えば、画像処理の対象物体の関心領域だけを合焦させる場
合（撮像した画像の一部に合焦させる場合）に、合焦の精度を高めることができる。
【００８５】
また、本実施形態に係る画像処理装置１１では、複数の枠領域について、合焦の有無を
判定して表示する。これにより、本実施形態に係る画像処理装置１１では、対象物の傾き
の有無を判定することが可能である。
例えば、従来では、奥行のある対象物が撮像面に対して傾いている場合、当該対象物に
関して、段差がある異なる２箇所の部分（例えば、手前と奥の２箇所）の焦点が同時に合
うように、アイリスリングとフォーカスリングをユーザーの手動で調整することが困難な
場合があった。これに対して、本実施形態に係る画像処理装置１１では、奥行のある（凹
凸のある）対象物について、必要な部分のすべてが合焦しているか否かをユーザーに提示
することが可能である。
【００８６】
また、本実施形態に係る画像処理装置１１では、撮像された画像上に、１個以上のピク
セルについて、合焦の有無を判定して表示する。これにより、本実施形態に係る画像処理
装置１１では、ピクセルを単位として、合焦の有無をユーザーに提示することができる。
したがって、ユーザーは、合焦の調整を精度よく行うことが可能である。
【００８７】
また、本実施形態に係る画像処理装置１１では、合焦の調整が行われる際に、現在の指
標値と過去の最良の指標値との両方を表示してユーザーにガイダンスする。これにより、
本実施形態に係る画像処理装置１１では、ユーザーは、現在の指標値と最良の指標値の両
方を見ながら、合焦の調整を行うことが可能である。
一例として、ユーザーは手動で撮像装置１２のフォーカスリングを回しながら、画像処
理装置１１に指標値を算出させて表示させ、画像処理装置１１に良好な指標値（例えば、
最も良好な指標値）を記憶させる。そして、ユーザーは手動で撮像装置１２のフォーカス
リングを回しながら、当該良好な指標値となるように、フォーカスリングを回し合わせこ
む。
【００８８】
また、本実施形態に係る画像処理装置１１では、例えば、ラインでの作業環境などで輝
度差が生じた場合であっても、指標値に基づいて、対象物の全部または一部について、合
焦の調整を精度よく行うことが可能である。これにより、本実施形態に係る画像処理装置
１１では、安定した高精度な合焦の調整が可能である。
また、本実施形態に係る画像処理装置１１では、例えば、対象物の検査あるいは計測な
どが行われる際に、処理の対象となる画像における所望の部分（一部）を合焦させること
ができ、これにより、検査あるいは計測などの対象に対して合焦することができるように
なり、検査あるいは計測などの精度を向上させることが可能である。
【００８９】
具体例として、本実施形態に係る画像処理装置１１では、対象物の所定の領域（ＲＯＩ
）だけについて検査あるいは計測などを行う場合に、当該領域に合焦させることができ、
例えば、対象物に凹凸がある場合においても、合焦の精度を高めることが可能である。こ
れにより、対象物の部分的な領域（ＲＯＩ）に焦点を合わせることができ、検査あるいは
計測などの精度を向上させることが可能である。なお、必要に応じて、対象物を撮像する
際の傾斜（傾き）を補正することが行われてもよい。
【００９０】
以上のように、本実施形態に係る画像処理装置１１によると、画像の合焦の精度を高め
ることが可能である。
【００９１】
（第２実施形態）
本実施形態では、第１実施形態に係る画像処理装置１１の機能を双腕のロボットに適用
した場合を示す。
【００９２】
＜ロボット＞
図１９は、本発明の一実施形態（第２実施形態）に係るロボット２００１の概略的な構
成例を示す図である。
ロボット２００１は、上部にある頭部と、中央部にある胴体部と、下部にある台部（台
の部分）と、胴体部に設けられた腕部を備える。
ロボット２００１は、腕部として２本の腕（アーム）を有する双碗のロボットである。
【００９３】
ロボット２００１は、一方の腕側の構成として、第１のマニピュレーターＭＮＰ１と、
第１の力センサー２０３１−１と、第１のエンドエフェクターＥＮＤ１を備える。これら
は一体化され、本実施形態では、第１のマニピュレーターＭＮＰ１と第１のエンドエフェ
クターＥＮＤ１との間に第１の力センサー２０３１−１を備える。
ロボット２００１は、他方の腕側の構成として、第２のマニピュレーターＭＮＰ２と、
第２の力センサー２０３１−２と、第２のエンドエフェクターＥＮＤ２を備える。これら
は一体化され、本実施形態では、第２のマニピュレーターＭＮＰ２と第２のエンドエフェ
クターＥＮＤ２との間に第２の力センサー２０３１−２を備える。
【００９４】
本実施形態では、一方の腕側の構成（エンドエフェクターＥＮＤ１が取り付けられたマ
ニピュレーターＭＮＰ１）により７軸の自由度の動作を行うことが可能であり、他方の腕
側の構成（エンドエフェクターＥＮＤ２が取り付けられたマニピュレーターＭＮＰ２）に
より７軸の自由度の動作を行うことが可能であるが、他の構成例として、６軸以下または
８軸以上の自由度の動作を行う構成が用いられてもよい。
ここで、アームは、７軸の自由度で動作する場合、６軸以下の自由度で動作する場合と
比較して取り得る姿勢が増えることによって、例えば、動作が滑らかになり、当該アーム
の周辺に存在する物体との干渉を容易に回避することができる。また、アームが７軸の自
由度で動作する場合、当該アームの制御は、アームが８軸以上の自由度で動作する場合と
比較して計算量が少なく容易である。このような理由から、本実施形態では、好ましい一
例として、７軸の自由度で動作するアームが用いられている。
また、本実施形態では、胴体部は、腰の部分で、１軸の自由度で回転することが可能な
構成である。
【００９５】
また、ロボット２００１は、頭部の左右のそれぞれに設けられた２個の撮像部（第１の
撮像部２０１１−１、第２の撮像部２０１１−２）と、第１のマニピュレーターＭＮＰ１
の所定部位に設けられた撮像部（第３の撮像部２０２１−１）と、第２のマニピュレータ
ーＭＮＰ２の所定部位に設けられた撮像部（第４の撮像部２０２１−２）を備える。
それぞれの撮像部（第１の撮像部２０１１−１、第２の撮像部２０１１−２、第３の撮
像部２０２１−１、第４の撮像部２０２１−２）は、例えば、ＣＣＤ（Ｃｈａｒｇｅ  Ｃ
ｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔ
ａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等を用いたカメラである。
第１の撮像部２０１１−１および第２の撮像部２０１１−２は、それぞれ、頭部の動き
に応じて動かされる。
第３の撮像部２０２１−１および第４の撮像部２０２１−２は、それぞれ、第１のマニ
ピュレーターＭＮＰ１および第２のマニピュレーターＭＮＰ２のそれぞれの動きに応じて
動かされる。
【００９６】
また、ロボット２００１は、制御装置２０５１を備える。本実施形態では、ロボット２
００１は、台部の内部に制御装置２０５１を備える。
制御装置２０５１は、ロボット２００１の動作を制御する。制御装置２０５１は、例え
ば、第１のマニピュレーターＭＮＰ１および第２のマニピュレーターＭＮＰ２の動作を制
御する。さらに、ロボット２００１の腰などの部分の動作が可能な構成では、制御装置２
０５１は当該腰などの部分の動作を制御する。
本実施形態では、第１の撮像部２０１１−１、第２の撮像部２０１１−２、第３の撮像
部２０２１−１および第４の撮像部２０２１−２のそれぞれは、画像を撮像して、撮像さ
れた画像の情報を制御装置２０５１に送信（出力）する。また、第１の力センサー２０３
１−１および第２の力センサー２０３１−２のそれぞれは、第１のエンドエフェクターＥ
ＮＤ１および第２のエンドエフェクターＥＮＤ２のそれぞれに作用する力およびモーメン
トを検出して、検出結果の情報を制御装置２０５１に送信（出力）する。制御装置２０５
１は、これらの情報を受信（入力）し、受信された情報を、ロボット２００１の動作を制
御する際に、使用することが可能である。
ここで、第１の撮像部２０１１−１、第２の撮像部２０１１−２、第３の撮像部２０２
１−１、第４の撮像部２０２１−２、第１の力センサー２０３１−１および第２の力セン
サー２０３１−２のそれぞれと制御装置２０５１とは回線を介して接続されており、当該
回線を介して情報を通信することが可能である。
【００９７】
本実施形態では、第１のマニピュレーターＭＮＰ１の位置および姿勢、第２のマニピュ
レーターＭＮＰ２の位置および姿勢、および各撮像部（第１の撮像部２０１１−１、第２
の撮像部２０１１−２、第３の撮像部２０２１−１、第４の撮像部２０２１−２）により
撮像される画像について、座標系のキャリブレーションが行われている。
【００９８】
本実施形態では、制御装置２０５１は、あらかじめ設定された動作制御プログラムにし
たがって、ロボット２００１の動作を制御する。制御装置２０５１は、ロボット２００１
の動作を実現するために必要な各種の情報を、ロボット２００１（本体）に対して教示す
る。
具体例として、制御装置２０５１は、各マニピュレーター（第１のマニピュレーターＭ
ＮＰ１および第２のマニピュレーターＭＮＰ２）の動作を制御することで、各エンドエフ
ェクター（第１のエンドエフェクターＥＮＤ１および第２のエンドエフェクターＥＮＤ２
）により物体を把持すること、各エンドエフェクターにより把持された物体を移動させる
こと、各エンドエフェクターにより把持された物体を所定位置に載置して離す（把持を解
除する）こと、各エンドエフェクターにより把持された物体を加工（例えば、穴開けなど
）すること、などが可能である。
【００９９】
なお、ロボットとしては、２本のアーム（腕）を備える双腕ロボットに代えて、１本の
アーム（腕）を備える単腕ロボットであってもよく、パラレルリンクロボットであっても
よく、直交軸ロボットであってもよく、単軸ロボットであってもよく、スカラロボットで
あってもよい。
【０１００】
＜制御装置＞
図２０は、本発明の一実施形態（第２実施形態）に係る制御装置２０５１の概略的な構
成例を示す図である。
制御装置２０５１は、入力部２１１１と、出力部２１１２と、記憶部２１１３と、制御
部２１１４を備える。入力部２１１１は、指定部２１３１を備える。出力部２１１２は、
表示部２１４１を備える。制御部２１１４は、ロボット制御部２１５１と、画像処理制御
部２１５２を備える。
【０１０１】
入力部２１１１は、外部から情報を入力する。例えば、入力部２１１１は、ユーザーに
より操作される操作部を有し、操作部の操作に応じた情報を入力してもよく、また、外部
の装置から出力された情報を入力してもよい。指定部２１３１は、指定を受け付ける機能
を有する。
出力部２１１２は、外部へ情報を出力する。例えば、出力部２１１２は、画面（表示画
面）を有し、当該画面に情報を出力してもよく、また、外部の装置へ情報を出力してもよ
い。表示部２１４１は、当該画面に情報を表示する機能を有する。
記憶部２１１３は、情報を記憶する。例えば、記憶部２１１３は、動作制御プログラム
、および各種のパラメーターなどを記憶する。
【０１０２】
制御部２１１４は、ロボット２００１に関する各種の制御を行う。例えば、制御部２１
１４は、ＣＰＵなどのプロセッサーを備え、記憶部２１１３に記憶された動作制御プログ
ラムを実行することにより、各種の制御を行う。
ロボット制御部２１５１は、ロボット２００１のマニピュレーターＭＮＰ１、ＭＮＰ２
あるいはエンドエフェクターＥＮＤ１、ＥＮＤ２などに関する制御を行う。
画像処理制御部２１５２は、画像処理に関する制御を行う。
【０１０３】
ここで、本実施形態では、入力部２１１１および指定部２１３１、出力部２１１２およ
び表示部２１４１、記憶部２１１３、画像処理制御部２１５２は、それぞれ、画像処理に
関して、例えば、第１実施形態に係る図１に示される入力部２１および指定部４１、出力
部２２および表示部５１、記憶部２３、画像処理制御部２４と同様な機能を有する。また
、本実施形態では、４個の撮像装置２０１１−１、２０１１−２、２０２１−１、２０２
１−２のうちの１個（または、２個以上でもよい）が、第１実施形態に係る図１に示され
る撮像装置１２に対応する。なお、本実施形態では、撮像装置（撮像装置２０１１−１、
２０１１−２、２０２１−１、２０２１−２のうちの１個以上）のフォーカスリングの機
能が入力部２１などに備えられてもよい。
ロボット制御部２１５１は、画像処理制御部２１５２により得られた画像処理の結果に
基づいて、ロボット２００１に関する制御を行ってもよい。
【０１０４】
以上のように、本実施形態に係るロボット２００１では、画像処理制御部２１５２を含
む画像処理装置の機能を備え、第１実施形態の場合と同様な効果を得ることができる。
【０１０５】
（第３実施形態）
図２１は、本発明の一実施形態（第３実施形態）に係るロボットシステム２２０１の概
略的な構成例を示す図である。
ロボットシステム２２０１は、ロボット２２１１と、制御装置２２１２と、撮像装置２
２１３を備える。制御装置２２１２は、画像処理装置２２３１を備える。
ロボット２２１１と制御装置２２１２とは、通信可能に接続されている。制御装置２２
１２と撮像装置２２１３とは、通信可能に接続されている。
【０１０６】
ここで、本実施形態では、画像処理装置２２３１は、例えば、第１実施形態に係る図１
に示される画像処理装置１１と同様な機能を有する。また、本実施形態では、撮像装置２
２１３が、第１実施形態に係る図１に示される撮像装置１２に対応する。
また、制御装置２２１２は、ロボット２２１１に関する制御を行う機能を有する。制御
装置２２１２は、画像処理装置２２３１により得られた画像処理の結果に基づいて、ロボ
ット２２１１に関する制御を行ってもよい。
【０１０７】
なお、本実施形態では、ロボット２２１１と撮像装置２２１３とは、別体で備えられて
いる。
また、ロボット２２１１としては、様々なロボットが用いられてもよい。
【０１０８】
以上のように、本実施形態に係るロボットシステム２２０１では、画像処理装置２２３
１を備え、第１実施形態の場合および第２実施形態の場合と同様な効果を得ることができ
る。
【０１０９】
（以上の実施形態のまとめ）
一構成例として、撮像装置（図１の例では、撮像装置１２）が有するレンズの位置を変
化させた後、撮像装置が撮像した画像の一部または全部について、合焦しているか否かを
判定するための第１の情報（図１７の例では、最良の指標値の情報）と、レンズの位置に
おける合焦の第２の情報（図１７の例では、現在の指標値の情報）を表示する、画像処理
装置（図１の例では、画像処理装置１１）である。
一構成例として、画像処理装置において、画像の一部を指定する指定部（図１の例では
、指定部４１）を備える。
一構成例として、画像処理装置において、画像の一部は、関心領域（ＲＯＩ）の単位（
例えば、図１０の例）、または、ピクセルの単位（例えば、図１４〜図１６の例）である
。
一構成例として、画像処理装置において、第１の情報および第２の情報は指標値である
。
一構成例として、画像処理装置において、第１の情報は、最も焦点が合っている指標値
である（図１７の例）。
一構成例として、画像処理装置において、画像の一部について指標値に基づいて合焦の
有無の一方または両方を表示する合焦表示部（図１の例では、合焦表示部６２）を備える
。
一構成例として、画像処理装置において、画像の一部は複数あり、複数の画像の一部の
すべてについて合焦している場合に、当該複数の画像の一部により特定される対象物に関
して傾きがないと判定する一方、当該複数の画像の一部の１以上について合焦していない
場合に、当該対象物に関して傾きがあると判定する傾き判定部（図１の例では、傾き判定
部６３）を備える（図１０の例）。
一構成例として、画像処理装置において、画像を用いて、物の輪郭を抽出し、指標値を
算出する指標値算出部（図１の例では、指標値算出部６１）を備える（図２〜図８の例）
。
一構成例として、画像処理装置において、指標値は、輪郭の輝度の勾配方向の長さに基
づく値である（図２〜図８の例）。
一構成例として、画像処理装置において、指標値は、輪郭の輝度のエッジの幅に基づく
値である（図２〜図８の例）。
一構成例として、画像処理装置において、指標値は、輪郭の複数の微小な輝度勾配をつ
ないだエッジ幅に基づく値である（図２〜図８に関する他の例）。
一構成例として、上記のような画像処理装置（図１９〜図２０の例では、画像処理制御
部２１５２の機能部分の装置）を備える、ロボット（図１９〜図２０の例では、ロボット
２００１）である。
一構成例として、上記のような画像処理装置（図２１の例では、画像処理装置２２３１
）と、画像を撮像する撮像装置（図２１の例では、撮像装置２２１３）と、ロボット（図
２１の例では、ロボット２２１１）と、を備えるロボットシステム（図２１の例では、ロ
ボットシステム２２０１）である。
【０１１０】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこ
の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれ
る。
【０１１１】
なお、以上に説明した装置（例えば、画像処理装置１１、２２３１、制御装置２０５１
、２２１２など）における任意の構成部の機能を実現するためのプログラムを、コンピュ
ーター読み取り可能な記録媒体（記憶媒体）に記録（記憶）し、そのプログラムをコンピ
ューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピ
ューターシステム」とは、オペレーティングシステム（ＯＳ：Ｏｐｅｒａｔｉｎｇ  Ｓｙ
ｓｔｅｍ）あるいは周辺機器等のハードウェアを含むものとする。また、「コンピュータ
ー読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒ
ｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ等の可
搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう
。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワ
ークあるいは電話回線等の通信回線を介してプログラムが送信された場合のサーバーやク
ライアントとなるコンピューターシステム内部の揮発性メモリー（ＲＡＭ：Ｒａｎｄｏｍ
Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含
むものとする。
また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシ
ステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータ
ーシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インタ
ーネット等のネットワーク（通信網）あるいは電話回線等の通信回線（通信線）のように
情報を伝送する機能を有する媒体のことをいう。
また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい
。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録さ
れているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プロ
グラム）であってもよい。
【符号の説明】
【０１１２】
１１、２２３１…画像処理装置、１２、２０１１−１〜２０１１−２、２０２１−１〜２
０２１−２、２２１３…撮像装置、２１、２１１１…入力部、２２、２１１２…出力部、
２３、２１１３…記憶部、２４、２１５２…画像処理制御部、４１、２１３１…指定部、
５１、２１４１…表示部、６１…指標値算出部、６２…合焦表示部、６３…傾き判定部、
６４…最良指標値表示部、１１１、４１１、８１１、１０１１、１１１１、１２１１、１
３１１…画像、１１２…拡大画像、１３１、２１１…探索開始位置、１３２…輝度の勾配
方向、２１２、５１１…特性、３１１、６１１…エッジマップ、３３１…エッジ中点位置
、６３１…抽出部分、７１１、９１１…撮像装置、７２１…平行面、７２２、９３１〜９
３３…対象物、８１２、１０３１〜１０３３、１１３１〜１１３３、１２３１〜１２３３
、１３３１〜１３３３、１４３１〜１４３３…対象物の画像、８３１〜８３４、１１５１
〜１１５３、１２５１〜１２５３、１３５１〜１３５３、１４５１…枠領域、１４１１…
画面、１４７１…画像表示部、１４８１…枠領域情報表示部、１４９１…最良指標値表示
部、２００１、２２１１…ロボット、２０３１−１〜２０３１−２…力センサー、２０５
１、２２１２…制御装置、ＭＮＰ１〜ＭＮＰ２…マニピュレーター、ＥＮＤ１〜ＥＮＤ２
…エンドエフェクター、２１１４…制御部、２１５１…ロボット制御部、２２０１…ロボ
ットシステム
【図１】
2017092753.tif 000003
【図２】
2017092753.tif 000004
【図３】
2017092753.tif 000005
【図４】
2017092753.tif 000006
【図５】
2017092753.tif 000007
【図６】
2017092753.tif 000008
【図７】
2017092753.tif 000009
【図８】
2017092753.tif 000010
【図９】
2017092753.tif 000011
【図１０】
2017092753.tif 000012
【図１１】
2017092753.tif 000013
【図１２】
2017092753.tif 000014
【図１３】
2017092753.tif 000015
【図１４】
2017092753.tif 000016
【図１５】
2017092753.tif 000017
【図１６】
2017092753.tif 000018
【図１７】
2017092753.tif 000019
【図１８】
2017092753.tif 000020
【図１９】
2017092753.tif 000021
【図２０】
2017092753.tif 000022
【図２１】
2017092753.tif 000023