(57)【要約】【課題】被写体の形状を分析するため、より簡易な方法が求められている。その一つとして被写体を撮影し、その画像から被写体の形状等を特定する画像処理装置、あるいは画像処理方法を実現する。【解決手段】本開示における可搬式の画像処理装置は、被写体の画像を撮影するカメラと、被写体に反射させる特定の模様を備えるパターンボードと、被写体に特定の模様が反射した状態でカメラが撮影した画像と特定の模様とに基づいて被写体の表面の形状を特定する演算部と、を備える。【選択図】図３
2019133539.tif 000002
【特許請求の範囲】
【請求項１】
利用者が持ち運びできる可搬式の画像処理装置であって、
被写体の画像を撮影するカメラと、
前記被写体に反射させる特定の模様を備えるパターンボードと、
前記被写体に前記特定の模様が反射した状態で前記カメラが撮影した画像と、前記特定の模様と、に基づいて前記被写体の表面の形状を特定する演算部と、
を備える可搬式の画像処理装置。
【請求項２】
前記カメラが被写体を撮影する際にカメラが撮影する画像を表示するとともに、前記演算部が特定した前記被写体の表面の形状に関する情報を表示するディスプレイと、
を更に備える請求項１に記載の可搬式の画像処理装置。
【請求項３】
前記パターンボードは、前記カメラが設けられている当該画像処理装置の同じ側面に取り付けされている、請求項１乃至２のいずれかに記載の可搬式の画像処理装置。
【請求項４】
前記パターンボードの４隅の内の少なくとも３つには、前記模様とは異なるマーカーが設けられている、請求項１乃至３のいずれかに記載の可搬式の画像処理装置。
【請求項５】
特定の模様を備えたパターンボードで被写体に当該特定の模様を反射させるステップと、
前記被写体に前記特定の模様が反射した状態の画像を撮影する撮影ステップと、
前記被写体に前記特定の模様が反射した状態で撮影された画像と、前記特定の模様と、に基づいて前記被写体の表面の形状を特定する演算ステップ、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影された被写体の画像を処理することで被写体の形状等を分析する画像処理装置、及び画像処理方法に関する。
【背景技術】
【０００２】
画像を分析することで、その被写体の形状等を特定する画像処理装置については、従前から幾つかの提案がされてきた。
【０００３】
特許文献１では、自動車の車体表面にある凹凸などの三次元的欠陥を検出する技術が開示されている。特許文献１では、車体全体を覆うフィルタ膜などを利用しており、当該装置の規模が大きい。
【０００４】
特許文献２では、自動車ガラス等の鏡面状の表面の形状を分析する技術が開示されている。特許文献２では、複数のカメラを使用する点、被写体を設置する位置をサンプリング点が既知情報として扱えるように所定の位置に設置する必要がある点、など複雑な調整が事前に必要である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−９２４６５号公報
【特許文献２】特開２００６−２１４９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の点を鑑み、本開示では従来と比較してより簡易に被写体を撮影し、その画像から被写体の形状等を分析する画像処理装置、及びその画像処理方法を提供する。
【課題を解決するための手段】
【０００７】
本開示における可搬式の画像処理装置は、被写体の画像を撮影するカメラと、被写体に反射させる特定の模様を備えるパターンボードと、被写体に特定の模様が反射した状態でカメラが撮影した画像と特定の模様とに基づいて被写体の表面の形状を特定する演算部と、を備える。
【発明の効果】
【０００８】
本開示における画像処理装置あるいは、画像処理方法であれば、従来と比較してより簡易に被写体を撮影し、その画像から被写体の形状等を分析できる。
【図面の簡単な説明】
【０００９】
【図１】実施の形態１で説明する画像処理装置の前面側外観図
【図２】実施の形態１で説明する画像処理装置の背面側外観図
【図３】実施の形態１で説明するパターンボードを画像処理装置に取り付けた場合の図
【図４】実施の形態１で説明するパターンボードに施される模様の例を示す図
【図５】パターンボードを装着した画像処理装置で被写体を撮影する際の状態を示す図
【図６】実施の形態１で説明する画像処理装置で被写体を撮影した際の画像を示す図
【図７】ディスプレイ部にパターンを表示して画像処理装置で被写体を撮影する際の状態を示す図
【図８】別方式のパターンボードを装着した画像処理装置で被写体を撮影する際の状態を示す図
【図９】パターンボードあるいはディスプレイに表示することができる他の模様について説明する図
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
（実施の形態１）
図１は、本実施の形態で説明する画像処理装置の前面側外観図である。図１の画像処理装置はタブレット形状の情報処理装置を例として示している。以下の説明では画像処理装置としてタブレットを例示して説明を進める。しかし、本出願の内容はこれに限定するものではない。利用者が容易に持ち運びできる可搬式の画像処理装置であれば、スマートフォンをベース等の他の情報処理装置をベースとした画像処理装置であってもよい。
【００１３】
タブレット１００は、その前面側にディスプレイ１０１と、前面カメラ１０２と、前面照度センサ１０３と、を備える。
【００１４】
ディスプレイ１０１は、タブレット１００の利用者へ様々な情報を表示するだけでなく、後述するように被写体へ投影する特定パターン等の表示も行う。ディスプレイ１０１は、また、内部にバックライトを備えている。ディスプレイ１０１は、このバックライトの光量を調整することで特定パターンを被写体に投影する際の光の強さを調整する。
【００１５】
前面カメラ１０２は、タブレット１００の筐体において、ディスプレイ１０１側と同じ側面に設けられている。これにより、ディスプレイ１０１側の被写体を前面カメラ１０２は撮影することができる。
【００１６】
前面照度センサ１０３は、タブレット１００の周囲の光量、特に前面側の照度を計測するセンサである。タブレット１００は、この前面照度センサ１０３により取得した周辺光量に応じて、ディスプレイ１０１のバックライトを調整する。
【００１７】
図２は、本実施の形態で説明する画像処理装置の背面側外観図である。
【００１８】
タブレット１００は、その背面側に、バックパネル１１１と、背面カメラ１１２と、背面照度センサ１１３と、発光素子１１４と、を備える。
【００１９】
バックパネル１１１は、タブレット１００の背面側の筐体の一部を構成するものであり、タブレット１００の電気回路や各種デバイス等を保護する。
【００２０】
背面カメラ１１２は、タブレット１００の背面側にもうけられている。これにより、タブレット１００は、背面側の被写体を撮影することができる。なお、タブレット１００の利用者は背面カメラ１１２を利用して被写体を撮影する場合、背面カメラ１１２で撮影する画角等の構成をディスプレイ１０１で確認しながら利用者は撮影をすることができる。
【００２１】
背面照度センサ１１３は、タブレット１００の周囲の光量、特に背面側の照度を計測するセンサである。タブレット１００は、この背面照度センサ１１３により取得した周辺光量に応じて、背面カメラ１１２の露出調整、発光素子１１４を利用するあるいは利用しない、等各種デバイスを制御する。
【００２２】
発光素子１１４は、背面カメラ１１２で画像撮影時に光量が少ない場合に、光量を補うために発光素子を点灯させる。
【００２３】
図３は本実施の形態で説明するパターンボードを画像処理装置に取り付けた場合の図である。パターンボード３０１は、その表面に特定の模様が施されたものである。なお、図３においては模様を図示していない。
【００２４】
図４にパターンボード３０１に施される模様の例を示す。図４で例示する模様は、横方向に一定の間隔で黒い帯状の模様を入れたものである。パターンボード３０１に形成された模様は後述するように、被写体へ写りこませるために利用される。
【００２５】
図５は、パターンボードを装着したタブレットで被写体を撮影する際の状態を示した図である。
【００２６】
図５の例では、パターンボード３０１をタブレット１００の背面側バックパネル１１１の上に取り付け、背面カメラ１１２により被写体を撮影している。この場合、タブレット１００の利用者は、実際に背面カメラ１１２が撮影する画像をディスプレイ１０１で確認しながら撮影することができる。
【００２７】
図５の例では、パターンボード３０１をバックパネル１１１に取り付けることで、パターンボード３０１に施された模様が被写体側を向く。背面カメラ１１２が被写体を撮影すると、被写体の表面にパターンボード３０１に施された模様が映りこむ。言い換えると、被写体表面でパターンボードの模様が反射して、背面カメラ１１２は反射した模様を画像として撮影する。
【００２８】
タブレット１００は、この撮影された画像を分析する。具体的には、被写体の表面が滑らかな形状をしていれば、模様は全体として歪を有することはあっても、局所的に模様が潰れるようなことはない。反対に、被写体の表面に局所的に凹凸が存在すると、図６で示すように、局所的に縞と縞の間の部分が潰れていたり、あるいは模様の一部が閉空間を形成していたりと、元の縞模様が維持されていない状態となる。
【００２９】
これは、縞模様が映し出される(反射される)被写体の表面に凹凸や歪みがあるため、その影響を受けて撮影される画像の模様が本来の縞模様と異なる状態となっているためである。タブレット１００は、パターンボード３０１に施された模様と、背面カメラ１１２で撮影した画像に映し出される模様と、の両者に基づいて被写体の表面の形状を分析する。
【００３０】
タブレット１００は、特に図６で示されるように局所的に変形する模様の大きさ、模様の形、等から被写体の表面にある凹凸や歪の具体的な大きさや深さ、形状等について分析をする。なお、この具体的な分析方法や算出方法については本出願で説明する技術内容の範囲外であるので説明を省略する。これらの分析は既知なアルゴリズム等を利用することで実現できる。
【００３１】
なお、上記で説明した画像の分析はＣＰＵ、ＤＳＰ，ＦＰＧＡ，ＡＳＩＣ等で実現される演算部が行う。演算部は上記の画像の分析だけでなく、タブレット１００の全体的な制御も行う。
【００３２】
演算部は、上記の画像の分析が終了すると、被写体の表面の形状に関する情報をディスプレイ１０１に表示する。ここで被写体の表面の形状に関する情報とは、例えば被写体の表面に凹凸等がある場合には、その面積やその凹の場合は凹みの深さ、凸の場合は凸の大きさなどである。また、これらの凹凸の面積、凹みの深さ、凸の大きさから二次的に決定される情報がある場合にはこれらの情報を表示するものであっても良い。ここで二次的に決定される情報とは、例えばこれら凹凸を修正するとした場合の修正費用、修正工数等の情報などである。
【００３３】
画像から、被写体の表面の形状を特定するだけでなく、その形状に基づいて算出される二次的な情報もタブレット１００が表示することで、被写体の状態の把握から費用、工数見積までの処理を利用者はより簡便に進めることができる。
【００３４】
図７も同様に被写体に移りこむ模様を撮影する状態を示す図である。図７と図５との違いは、図５では背面カメラ１１２により被写体を撮影した一方で、図７では前面カメラ１０２により被写体を撮影する点が異なる。
【００３５】
図７では、タブレット１００は、ディスプレイ１０１にパターンボード３０１に施したような模様を電気的に表示する。そして、その模様をディスプレイ１０１に表示した状態で前面カメラ１０２によりタブレット１００は画像を表示する。
【００３６】
タブレット１００は、前面カメラ１０２で被写体を撮影する際、前面照度センサ１０３により被写体の明るさ(露出)等を計測し、被写体が暗い場合にはディスプレイ１０１の光量を増加させる。これによりディスプレイ１０１に表示する模様が被写体の表面でより反射し、判別しやすい画像をタブレット１００は撮影することができる。
【００３７】
また、ディスプレイ１０１に模様を電気的に表示するので、図４で説明したような模様に限定せず他の模様に容易に変更することができる。被写体の表面の形状に応じて適宜その形状の判別がしやすい模様に変更することでタブレット１００は、より分析しやすい画像を撮影することができる。
【００３８】
図８は、図５とは異なる方式のパターンボードをタブレットに取り付けて撮影をする際の状態を示す図である。
【００３９】
タブレット１００には、タブレット１００と所定の角度を有してパターンボード８０１が取り付けられる。パターンボード８０１は、取付け部８０２を介してタブレット１００と取り付けられている。取付け方法については、例えばネジでタブレット１００と共締めで固定する方法がある。それ以外にも、タブレット１００に設けられている凹部に合う凸部をパターンボード８０１側が備え、この両者を嵌合させることで取り付ける方法などがある。
【００４０】
パターンボード８０１は、取付け部８０２においてタブレット１００と接続が固定されている。しかし、パターンボード８０１は、タブレット１００とはその取付け角度が自由に変更できるような構成となっている。
【００４１】
この取付け方法等については本出願で特に限定するものではない。タブレット１００とパターンボード８０１とが相対的に角度調整できて固定できるものであればいずれの方法であってもよい。
【００４２】
パターンボード８０１には、パターンボード３０１と同様に模様が施されている。この模様はパターンボード８０１の被写体側にある。
【００４３】
また、パターンボード８０１は、その内部にＬＥＤや蛍光管等の発光素子を備えることができる。この場合、点灯された発光素子からの光はパターンボード８０１の模様が施されている面から出射して被写体を照らす。これによりパターンボード８０１に施された模様がより被写体の表面で反射しやすくなる。タブレット１００は、より鮮明に反射した模様を撮影することができる。
【００４４】
なお、このパターンボード８０１が備えるＬＥＤについては、ＯＮ／ＯＦＦの機能だけでなく、明るさを消灯から全灯までを複数のレベルで段階的に調整できるものであってもよい。これによりパターンボード８０１は撮影時の条件に応じて適切な光量で発光することができる。
【００４５】
なお、この場合パターンボード８０１は電気的にタブレット１００に接続することでその電力を確保する、及びタブレット１００からの制御を受けることが可能となる。例えば、パターンボード８０１に備えられているＵＳＢケーブルをタブレット１００のＵＳＢコネクタに接続することで、パターンボード８０１はタブレット１００と電気的に接続することができる。
【００４６】
タブレット１００は、背面照度センサ１１３により被写体の明るさ（露出）を測定し、必要があれば発光素子１１４を有効にする、あるいはパターンボード８０１のＬＥＤを利用して画像を撮影する。また、撮影する際に背面カメラ１１２が撮影する画像をディスプレイ１０１に表示することで、画像の画角を利用者は調整しながら撮影することができる。
【００４７】
パターンボード８０１は、タブレット１００と所定の角度を有した状態で撮影することができるため、被写体へパターンボード８０１の模様をより効率よく写りこませることができるので、撮影される画像もパターンボードの模様が分かりやすい画像とすることができる。
【００４８】
なお、パターンボード８０１は、図３で示したパターンボード３０１のように固定の模様を利用するものであっても良いし、図７で示した液晶ディスプレイ等を利用したデバイスにより模様を適宜変更できるもののいずれであっても良い。
【００４９】
図９は、パターンボード３０１、８０１あるいはディスプレイ１０１に表示することができる他の模様について説明した図である。
【００５０】
図９（Ａ）は、図４で説明した縞模様の四隅にマーカーを設けた模様を示した図である。タブレット１００は、マーカーについて事前にその大きさや、事前の配置を情報として保持している。そのためタブレット１００は撮影された画像に映し出されるマーカーの大きさや、位置を利用することで、被写体の表面の凹凸等によって生じる模様の変化やその大きさをより分析しやすくなる。これにより、より精度高く凹凸の特定が可能となる。
【００５１】
なお、図９（Ａ）ではマーカーをパターンボード（縞模様）の四隅すべてに配置した場合を例として示したが、本出願に記載の内容はこれに限定されない。四隅のうちのすくなくとも３つにマーカーが配置されているものであっても良い。
【００５２】
また、マーカーはパターンボードの模様と識別できるものであればよく、特に図９（Ａ）に記載の四角形状に限定するものではない。他の形状、三角、円形等でもよい。さらに、パターンボード上のマーカーはすべてが同じものである必要はない。例えば、ＱＲコード（登録商標）のようにそれぞれの位置に対応して異なる情報や、あるいは位置によってその形状が異なるものであってもよい。
【００５３】
図９（Ｂ）は、図４で示した横方向の縞模様に、さらに縦方向の縞模様を追加したものである。縦方向の縞模様を追加することで横方向、縦方向の両方向について同じように歪等の分析をしやすくなる。また、横方向の縞の幅と比較して、縦方向の縞の幅を細くしている。これは撮影される画像においていずでの縞模様が横方向、縦方向かを判別しやすくするためである。
【００５４】
図９において、被写体に反射させる他の模様について説明した。しかし、本出願で説明する模様は上記のものに限定するものではない。他の模様を利用するものであってもよい。
【００５５】
本出願で説明する画像処理装置は、タブレットのように利用者が手に保持して撮影、分析することができる機器で実現される。機器のカメラ側に被写体に反射させる模様が施されたパターンボードあるいは、模様が映し出されるディスプレイ等を備える。パターンボードの模様、あるいはディスプレイが表示する模様は被写体の表面で反射される。画像処理装置はそれを撮影し、撮影された画像と、パターンボードの模様あるいはディスプレイが表示した模様と、に基づいて被写体の表面の形状、を分析・特定する。
【００５６】
これにより、利用者はタブレット等の画像処理装置で、従来よりも簡易に被写体の形状を特定することができる。また、タブレットのような装置を利用することで利用者は画像処理装置を簡単に持ち運びすることができる。
【００５７】
なお、上記の説明では画像処理装置として実施する場合を例として説明したが、本出願の技術内容はこれに限定するものではない。例えば、上記説明の内容に基づいて画像処理方法としても本出願で説明する技術内容は実施可能である。具体的には、特定の模様を備えたパターンボードで被写体に当該模様を反射させるステップと、被写体に特定の模様が反射した状態の画像を撮影する撮影ステップと、被写体に特定の模様が反射した状態で撮影された画像と前記特定の模様とに基づいて前記被写体の表面の形状を特定する演算ステップとを備える画像処理方法、として構成可能である。
【００５８】
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【産業上の利用可能性】
【００５９】
本出願で説明した技術内容は、形状等の分析や特定について産業上利用可能である。例えば、自動車、航空機、船舶等において部分的にその形状に異常、例えば凹凸など、の有無やその程度を調べる際に本出願で説明した技術内容を利用することができる。
【符号の説明】
【００６０】
１００  タブレット
１０１  ディスプレイ
１０２  前面カメラ
１０３  前面照度センサ
１１１  バックパネル
１１２  背面カメラ
１１３  背面照度センサ
１１４  発光素子
３０１  パターンボード
８０１  パターンボード
８０２  取付け部
【図１】
2019133539.tif 000003
【図２】
2019133539.tif 000004
【図３】
2019133539.tif 000005
【図４】
2019133539.tif 000006
【図５】
2019133539.tif 000007
【図６】
2019133539.tif 000008
【図７】
2019133539.tif 000009
【図８】
2019133539.tif 000010
【図９】
2019133539.tif 000011