(57)【要約】      （修正有）【課題】物体表面の亀裂検出において、亀裂を可視化する画像処理方法を提供する。【解決手段】画像処理方法１００は、入力画像を取得しＳ１０１、入力画像をグレースケール画像に変換しＳ１０２、グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定し１０３、画素点に基づいて、回帰分析を用いて目標対象を可視化するＳ１０４。【選択図】図１
2020194541.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を取得することと、
前記入力画像をグレースケール画像に変換することと、
前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することと、
前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化することと、
を含む、画像処理方法。
【請求項２】
前記画素点に基づいて、主成分分析を用いて前記目標対象の幅を決定することをさらに含む、請求項１記載の画像処理方法。
【請求項３】
回帰分析を用いて前記目標対象を可視化する前に、
他の画素点との距離が所定の閾値を超える点をノイズ点として決定し、前記ノイズ点を除去することをさらに含む、請求項１又は２記載の画像処理方法。
【請求項４】
前記他の画素点との距離が所定の閾値を超える点をノイズ点として決定することは、
前記目標対象の色区間に属する画素点の重心点及び対応する進行方向を決定することと、
前記進行方向に直交する方向において前記重心点との距離が前記所定の閾値を超える点をノイズ点として決定することと、
を含む、請求項３記載の画像処理方法。
【請求項５】
前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、
その数が目標数となりかつそのグレースケールレベルが規定のグレースケールレベル範囲内にある画素点を前記目標対象の色区間の画素点として決定することを含む、請求項１〜４のいずれかに記載の画像処理方法。
【請求項６】
前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、
第１のグレースケール閾値区間内にある第１の画素の数を決定することと、
前記第１のグレースケール閾値区間を第２のグレースケール閾値区間に拡大して、第２のグレースケール閾値区間内にある第２の画素の数を決定することと、
前記第１の画素の数に対する前記第２の画素の数の増加率を算出することと、
前記増加率が増加率閾値よりも小さい場合、前記第２のグレースケール閾値区間の画素点を前記目標対象の色区間に属する画素点として決定することと、
前記増加率が前記増加率閾値よりも大きい場合、画素の数の増加率が前記増加率閾値よりも小さくなるまで、前記第２のグレースケール閾値区間を拡大し続けることと、
を含む、請求項１〜４のいずれかに記載の画像処理方法。
【請求項７】
前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、
前記入力画像の画素点をグレースケールレベルに従って整列することと、
最も低いグレースケールレベルの目標数の画素点を前記目標対象の色区間の画素点として決定することとを含む、請求項１〜４のいずれかに記載の画像処理方法。
【請求項８】
入力画像を取得する取得部と、
前記入力画像をグレースケール画像に変換する変換部と、
前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定する画素点決定部と、
前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化する可視化部と、
を含む、画像処理装置。
【請求項９】
前記画素点に基づいて、主成分分析を用いて前記目標対象の幅を決定する幅決定部をさらに含む、請求項８記載の画像処理装置。
【請求項１０】
前記可視化部は、回帰分析を用いて前記目標対象を可視化する前に、他の画素点との距離が所定の閾値を超える点をノイズ点として決定して、前記ノイズ点を除去する、請求項８又は９記載の画像処理装置。
【請求項１１】
前記可視化部は、
前記目標対象の色区間に属する画素点の重心点及び対応する進行方向を決定し、
前記進行方向に直交する方向において前記重心点との距離が前記所定の閾値を超える点をノイズ点として決定する、請求項１０記載の画像処理装置。
【請求項１２】
前記画素点決定部は、その数が目標数となりかつそのグレースケールレベルが規定のグレースケールレベル範囲内にある画素点を前記目標対象の色区間の画素点として決定する、請求項８〜１１のいずれかに記載の画像処理装置。
【請求項１３】
前記画素点決定部は、
第１のグレースケール閾値区間内にある第１の画素の数を決定し、
前記第１のグレースケール閾値区間を第２のグレースケール閾値区間に拡大して、第２のグレースケール閾値区間内にある第２の画素の数を決定し、
前記第１の画素の数に対する前記第２の画素の数の増加率を算出し、
前記増加率が増加率閾値よりも小さい場合、前記第２のグレースケール閾値区間の画素点を前記目標対象の色区間に属する画素点として決定し、
前記増加率が前記増加率閾値よりも大きい場合、画素の数の増加率が前記増加率閾値よりも小さくなるまで、前記第２のグレースケール閾値区間を拡大し続ける、請求項８〜１１のいずれかに記載の画像処理装置。
【請求項１４】
前記画素点決定部は、
前記入力画像の画素点をグレースケールレベルに従って整列し、
最も低いグレースケールレベルの目標数の画素点を前記目標対象の色区間の画素点として決定する、請求項８〜１１のいずれかに記載の画像処理装置。
【請求項１５】
コンピュータ読み取り可能な命令を記憶するメモリと、
前記メモリに記憶されている前記コンピュータ読み取り可能な命令を実行するプロセッサと、を含み、
前記プロセッサが前記コンピュータ読み取り可能な命令を実行する際に、
入力画像を取得するステップと、
前記入力画像をグレースケール画像に変換するステップと、
前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定するステップと、
前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化するステップと、
を実行する、画像処理機器。
【請求項１６】
コンピュータ読み取り可能な命令を記憶するコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な命令をコンピュータにより実行する際に、
入力画像を取得するステップと、
前記入力画像をグレースケール画像に変換するステップと、
前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定するステップと、
前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化するステップと、
をコンピュータに実行させる、コンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、画像処理分野に関し、具体的には、画像処理方法、画像処理装置、画像処理機器、及びコンピュータ読み取り可能な記憶媒体に関する。
【背景技術】
【０００２】
ディープニューラルネットワークは、大規模、マルチパラメーター最適化のためのツールである。ディープニューラルネットワークは、大量の訓練データに基づいて、学習を通じてデータにおけるまとめにくい隠れた特徴を特定することにより、顔検出、画像セマンティックセグメンテーション、物体検出、モーショントラッキング、自然言語翻訳などのような複数の複雑な任務を完了することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
現在、ディープニューラルネットワークは、物体表面の亀裂検出のような複雑な任務に使用されており、人間の目による検出よりも高い検出精度を達成できることが期待されている。しかしながら、ニューラルネットワークを用いて亀裂の位置を検出した後、亀裂を持つ画像をそのまま保存することが多く、亀裂を可視化する目的は達成できない。一方、亀裂の可視化は、非常に複雑な問題である。従来技術では、検出された亀裂の開始点と終了点との間に直線を引くことにより該亀裂を可視化するか、或いは、画素点を予測し、亀裂であると、目標色に置き換えることにより該亀裂を可視化する。しかしながら、上記の方法で描かれた亀裂の輪郭は、十分に正確でない可能性がある。
【０００４】
本開示は、上記の問題に鑑みてなされたものである。本開示は、画像処理方法、画像処理装置、画像処理機器、及びコンピュータ読み取り可能な記憶媒体を提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様によれば、入力画像を取得することと、前記入力画像をグレースケール画像に変換することと、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することと、前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化することと、を含む、画像処理方法を提供する。
【０００６】
本開示の一態様によれば、画像処理方法は、前記画素点に基づいて、主成分分析を用いて前記目標対象の幅を決定することをさらに含む。
【０００７】
本開示の一態様によれば、回帰分析を用いて前記目標対象を可視化する前に、他の画素点との距離が所定の閾値を超える点をノイズ点として決定し、前記ノイズ点を除去することをさらに含む。
【０００８】
本開示の一態様によれば、前記他の画素点との距離が所定の閾値を超える点をノイズ点として決定することは、前記目標対象の色区間に属する画素点の重心点及び対応する進行方向を決定することと、前記進行方向に直交する方向において前記重心点との距離が前記所定の閾値を超える点をノイズ点として決定することと、を含む。
【０００９】
本開示の一態様によれば、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、その数が目標数となりかつそのグレースケールレベルが規定のグレースケールレベル範囲内にある画素点を前記目標対象の色区間の画素点として決定することを含む。
【００１０】
本開示の一態様によれば、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、第１のグレースケール閾値区間内にある第１の画素の数を決定することと、前記第１のグレースケール閾値区間を第２のグレースケール閾値区間に拡大して、第２のグレースケール閾値区間内にある第２の画素の数を決定することと、前記第１の画素の数に対する前記第２の画素の数の増加率を算出することと、前記増加率が増加率閾値よりも小さい場合、前記第２のグレースケール閾値区間の画素点を前記目標対象の色区間に属する画素点として決定することと、前記増加率が前記増加率閾値よりも大きい場合、画素の数の増加率が前記増加率閾値よりも小さくなるまで、前記第２のグレースケール閾値区間を拡大し続けることと、を含む。
【００１１】
本発明の一態様によれば、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、前記入力画像の画素点をグレースケールレベルに従って整列することと、最も低いグレースケールレベルの目標数の画素点を前記目標対象の色区間の画素点として決定することと、を含む。
【００１２】
本開示の別の態様によれば、入力画像を取得する取得部と、前記入力画像をグレースケール画像に変換する変換部と、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定する画素点決定部と、前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化する可視化部とを含む、画像処理装置を提供する。
【００１３】
本開示の別の態様によれば、コンピュータ読み取り可能な命令を記憶するメモリと、前記メモリに記憶されている前記コンピュータ読み取り可能な命令を実行するプロセッサとを含み、前記プロセッサが前記コンピュータ読み取り可能な命令を実行する際に、入力画像を取得するステップと、前記入力画像をグレースケール画像に変換するステップと、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定するステップと、前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化するステップとを実行する、画像処理機器を提供する。
【００１４】
本開示の更なる別の態様によれば、コンピュータ読み取り可能な命令を記憶するコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な命令をコンピュータにより実行する際に、入力画像を取得するステップと、前記入力画像をグレースケール画像に変換するステップと、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定するステップと、前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化するステップと、をコンピュータに実行させる、コンピュータ読み取り可能な記憶媒体を提供する。
【００１５】
本開示の以上の態様では、回帰分析及び主成分分析により目標対象をより明確的に可視化することができる。また、可視化する前に入力画像に対してノイズ除去を行うことにより、ノイズ点による最終的な可視化画像への影響を低減させ、最終的に出力される可視化画像をより明確化することができる。
【図面の簡単な説明】
【００１６】
添付図面を参照して本開示の実施形態をより詳細に説明することにより、本開示の上記及び他の目的、特徴、及び利点がより明らかになる。図面は、本開示の実施形態に対するさらなる理解を提供し、明細書の一部を構成し、本開示の実施形態と共に本開示を説明するために用いられ、本開示を限定するものではない。図面において、同じ符号は一般に同じ要素又はステップを表す。
【図１】本開示の実施形態に係る画像処理方法を実現するためのフローチャートである。
【図２】本開示の実施形態に係る目標対象の色区間に属する画素点を決定する方法のフローチャートである。
【図３】本開示の実施形態に係る目標対象の色区間に属する画素点を決定する別の方法のフローチャートである。
【図４】本開示の実施形態に係る画像処理方法の模式図である。
【図５】本開示の実施形態に係る画像処理装置の模式図である。
【図６】本開示の実施形態に係る画像処理機器の模式図である。
【図７】本開示の実施形態に係るコンピュータ読み取り可能な記憶媒体の模式図である。
【発明を実施するための形態】
【００１７】
以下、本開示の実施形態における図面を参照しながら、本開示の実施形態における技術的解決策を明確かつ完全に記載する。ここで記載される実施形態は、本開示の一部の実施形態に過ぎず、全ての実施形態ではないことが明らかである。本開示の実施形態に基づいて、創造的労働なしに当業者により得られる他の全ての実施形態は、本開示の保護範囲内に入るものとする。
【００１８】
本開示は、亀裂を含む画像を分析することにより、亀裂を可視化することができる。また、主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ、ＰＣＡ）により亀裂の幅を決定することにより、描かれた亀裂がより正確的になるようにすることができる。
【００１９】
まず、図１を参照しながら、本開示の実施形態を実現する画像処理方法１００を説明する。図１に示すように、ステップＳ１０１で、入力画像を取得する。
【００２０】
当該入力画像は、亀裂を含む画像である。当該入力画像に基づいて、本開示の方法により、画像における亀裂を可視化することができる。当該入力画像は、手動採取により生成されてもよく、ニューラルネットワークベースに基づく画像処理方法による学習により生成されてもよい。なお、上記の入力画像を取得する方法はこれに限定されず、他の適切な方法を用いて入力画像を取得してもよいことと認識すべきである。
【００２１】
ステップＳ１０２で、前記入力画像をグレースケール画像に変換する。
【００２２】
よく知られているように、グレースケール画像において、白と黒との間を対数関係に応じていくつかのレベル（「グレースケールレベル」と呼ばれる）に分けることができ、その範囲が一般的に０〜２５５であり、白が２５５となり、黒が０となる。入力画像をグレースケール画像に変換することにより、グレースケールレベルを用いて画像における亀裂の輪郭を簡単に発見することができる。
【００２３】
次に、ステップＳ１０３で、前記グレースケール画像に基づいて、目標対象（例えば、亀裂）の色区間に属する画素点を決定する。以下の３つの例により目標対象の色区間の画素点を取得することができる。なお、目標対象の色区間の画素点を取得する方法は例示に過ぎに、他の適切な方法を用いて目標対象の色区間の画素点を取得してもよいことと認識すべきである。
【００２４】
例１
例えば、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、その数が目標数となりかつそのグレースケールレベルが所定のグレースケールレベル範囲内にある画素点を前記目標対象の色区間の画素点として決定することを含む。
【００２５】
例えば、９６＊９６の入力画像について、当該画像における亀裂には２００〜３００の目標数となる画素点があると仮定してもよい。亀裂が一般的に黒に近づいているため、グレースケールレベル０から画素点を探し始めることができる。９６＊９６の入力画像において、まずグレースケールレベル０〜２５の画素点の数を決定し、例えば２５であるとする。画素点の数である２５が目標数である２００〜３００の間にないため、グレースケールレベルを拡大する必要がある。次に、決定されたグレースケールレベル０〜５０の画素点の数が１００であるとする。画素点の数である１００が目標数である２００〜３００の間にないため、グレースケールレベルをさらに拡大する必要がある。次に、決定されたグレースケールレベル０〜７５の画素点の数が２２０であるとする。画素点の数である２２０が目標数である２００〜３００の間にあるため、グレースケールレベル０〜７５の画素点を目標対象の色区間の画素点として決定することができる。
【００２６】
例２
或いは、規定のグレースケール閾値区間内の画素の数の増加率に基づいて、目標対象の色区間に属する画素点を決定してもよい。
【００２７】
図２に、本開示の実施形態に係る目標対象の色区間に属する画素点を決定する方法のフローチャートを示す。図２に示すように、まず、第１のグレースケール閾値区間内にある第１の画素の数を決定する（Ｓ２０１）；前記第１のグレースケール閾値区間を第２のグレースケール閾値区間に拡大して、第２のグレースケール閾値区間内にある第２の画素の数を決定する（Ｓ２０２）；前記第１の画素の数に対する前記第２の画素の数の増加率を算出する（Ｓ２０３）；前記増加率が増加率閾値よりも小さい場合、前記第２のグレースケール閾値区間の画素点を前記目標対象の色区間に属する画素点として決定する（Ｓ２０４）；前記増加率が前記増加率閾値よりも大きい場合、画素の数の増加率が前記増加率閾値よりも小さくなるまで、前記第２のグレースケール閾値区間を拡大し続ける（Ｓ２０５）。
【００２８】
例えば、９６＊９６の入力画像の場合、まずグレースケールレベル０〜２５（例えば、第１のグレースケール閾値区間とする）の画素点の数を決定し、例えば２５（例えば、第１の画素の数とする）である。そして、グレースケールレベル０〜５０（例えば、第２のグレースケール閾値区間とする）の画素点の数を決定し、例えば７０（例えば、第２の画素の数とする）である。すると、第１の画素の数に対する第２の画素の数の増加率を（７０−２５）／２５＝１８０％として算出する。仮に、予め設定された増加率閾値が１００％である場合、１８０％が１００％より大きいため、グレースケール閾値区間を拡大し続ける。例えば、拡大された閾値区間はグレースケールレベル０〜７５（例えば、第３のグレースケール閾値区間とする）であり、それに対応する画素点の数が８０であると、第２の画素の数に対する第３の画素の数の増加率を（８０−７０）／７０＝１４％として算出する。１４％が予め設定された増加率閾値である１００％よりも小さいため、グレースケール閾値区間をさらに拡大せず、第３のグレースケール閾値区間である０〜７５を目標対象の色区間として決定し、第３のグレースケール閾値区間である０〜７５の画素点を目標対象の画素点として決定する。
【００２９】
なお、算出された増加率がまだ予め設定された増加率閾値よりも少ない場合、算出された増加率が予め設定された増加率閾値以上になるまで、グレースケール閾値区間を拡大し続けて、この際に当該グレースケール閾値区間を目標対象の色区間として決定する。
【００３０】
例３
図３は、本開示の実施形態に係る目標対象の色区間に属する画素点を決定する別の方法のフローチャートである。図３に示すように、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、前記入力画像の画素点をグレースケールレベルに従って整列する（Ｓ３０１）ことと、最も低いグレースケールレベルの目標数の画素点を前記目標対象の色区間の画素点として決定する（Ｓ３０２）ことと、をさらに含むことができる。
【００３１】
例えば、９６＊９６の入力画像の場合、当該画像内の目標対象に２００の目標数となる画素点があると仮定してもよい。亀裂が一般的に黒に近づいているため、グレースケールレベル０から２５５の順に従って、入力画像の画素点を整列してから、最初からの２００つの画素点をそのまま目標対象の色区間の画素点として決定することができる。
【００３２】
なお、上記目標数は、統計演算により取得するか、又はニューラルネットワークに基づく画像処理方法により取得するか、または任意の他の適切な方法により取得することができる。
【００３３】
目標対象の色区間の画素点を決定した後、図１に戻って、ステップＳ１０４で、前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化する。
【００３４】
例えば、線形回帰アルゴリズムを用いて、前記目標対象の軌跡曲線を取得することができる。
【００３５】
ステップＳ１０４において取得された画素点の座標値が（ｘ１，ｙ１）、（ｘ２，ｙ２）、…、（ｘｎ，ｙｎ）であると仮定した場合、（ｘ１，ｘ２…ｘｎ）をベクトルｘとして表し、（ｙ１，ｙ２…ｙｎ）をベクトルｙとして表し、目標対象の画素点のｙ座標を所与のｘ座標に基づいて線形回帰を行うと、以下の式により線形回帰のパラメータを決定することができる。
【数１】
2020194541.tif 000003
ここで、ｗは線形回帰の重み係数を表し、ｂは線形回帰のバイアス係数を表す。
【００３６】
或いは、非線形回帰アルゴリズムを用いて、前記目標対象の軌跡曲線を取得することもできる。
【００３７】
ステップＳ１０４において取得された画素点の座標値が（ｘ１，ｙ１）、（ｘ２，ｙ２）、…、（ｘｎ，ｙｎ）であると仮定した場合、（ｘ１，ｘ２…ｘｎ）をベクトルｘとして表し、（ｙ１，ｙ２…ｙｎ）をベクトルｙとして表し、目標対象の画素点のｙ座標を所定のｘ座標に基づいて非線形回帰を行うと、以下の式により非線形回帰のパラメータを決定することができる。
【数２】
2020194541.tif 000004
ここで、ｗは線形回帰の重み係数を表し、ｂは線形回帰のバイアス係数を表し、σ（・）は非線形関数を表し、例えばｓｉｇｍｏｉｄ関数である。
【００３８】
なお、線形回帰により目標対象を可視化する方法は、これに限定されず、他の適切な方法により目標対象を可視化することもできる。
【００３９】
さらに、前記画素点に基づいて、主成分分析を用いて前記目標対象の幅を決定してもよい。
【００４０】
例えば、取得された画素点座標（９６＊９６の行列であってもよい）について、特異値分解を施して最大ｋ個の特異値に対応する右特異値ベクトルを取得し、元の行列と、これらの右特異値ベクトルを掛け算することで、元の行列のｋ個の最大主成分に対応する次元減少行列が得られる。特に、ｋ＝１である場合、一次元のベクトルが得られ、ここで、元の行列における列空間から当該一次元のベクトルまでの平均距離が最も小さい。すると、当該一次元のベクトルを目標対象画素の中心線として決定し、取得された画素点と当該中心線との垂直距離の最大値の二倍を当該目標対象の幅とすることができる。
【００４１】
また、回帰分析を用いて前記目標対象を可視化する前に、他の画素点との距離が所定の閾値を超える点をノイズ点として決定し、前記ノイズ点を除去することをさらに含む。
【００４２】
ここで、他の画素点との距離が所定の閾値を超える点をノイズ点として決定することは、前記目標対象の色区間に属する画素点の重心点及び対応する進行方向を決定することと、前記進行方向に直交する方向において前記重心点との距離が前記所定の閾値を超える点をノイズ点として決定することと、を含む。
【００４３】
例えば、計算により取得された全ての画素点の座標の平均値を全ての画素点の重心点とすることができる。その後、全ての画素点を用いて、目標対象の進行方向を決定する。次に、前記進行方向に直交する方向において前記重心点との距離が所定の閾値を超える点をノイズ点として決定する。ここで、所定の閾値は、統計的分析により決定されてもよく、必要に応じて予め設定されてもよい。
【００４４】
或いは、異常値（ｏｕｔｌｉｅｒ）アルゴリズム、Ｋ近傍（ＫＮＮ）アルゴリズムなどを用いて、ノイズ点を除去してもよい。なお、以上のノイズ点の除去方法はこれに限定されず、任意の適切な方法によりノイズ点を除去することができる。
【００４５】
以下、図４を参照しながら、本開示の実施形態に係る画像処理方法を説明する。図４に示すように、まず、亀裂を含む画像である入力画像４１を取得する。そして、入力画像４１をグレースケール画像４２に変換する。その後、グレースケール画像に基づいて、亀裂に属する画素点４３を決定する。次に、他の画素点との距離が所定の閾値を超える点をノイズ点として決定し、当該ノイズ点４４を除去する。そして、当該画素点に基づいて、回帰分析を用いて亀裂４５を可視化する。また、前記画素点に基づいて、ＰＣＡを用いて亀裂の幅４６を決定することもできる。最後、回帰分析によって可視化された亀裂４５と、ＰＣＡにより決定された亀裂の幅４６に基づいて、明確な亀裂４７を取得する。
【００４６】
以上から分かるように、本開示の以上の態様では、回帰分析及び主成分分析によって目標対象をより明確的に可視化することができる。また、可視化する前に入力画像に対してノイズ除去を実行することにより、ノイズ点による最終的な可視化画像への影響を低減させ、最終的に出力される可視化画像をより明確化することができる。
【００４７】
以下、図５を参照しながら、本開示の実施形態に係る画像処理装置について説明する。図５は、本開示の実施形態に係る画像処理装置の模式図である。本実施形態に係る画像処理装置の機能は、以上の図１を参照しながら説明した方法の詳細と同じであるため、簡便の目的でここでは同じ内容の詳細な説明を省略する。
【００４８】
図５に示すように、画像処理装置１０００は、取得部１００１と、変換部１００２と、画素点決定部１００３と、可視化部１００４と、を含む。なお、図５では、画像処理装置１０００が４つの部のみを含むように示されているが、これは概略に過ぎず、画像処理装置１０００は、１つ又は複数の他の部を含むこともできるが、これらの部が本発明の思想に関係がないため、ここでは省略する。
【００４９】
まず、取得部１００１は、入力画像を取得する。
【００５０】
当該入力画像は、亀裂を含む画像である。当該入力画像に基づき、本開示の方法により、画像における亀裂を可視化することができる。当該入力画像は、手動採取により生成されてもよく、ニューラルネットワークに基づく画像処理方法による学習により生成されてもよい。なお、以上の入力画像を取得する方法はこれに限定されず、他の適切な方法を用いて入力画像を取得してもよいことと認識すべきである。
【００５１】
変換部１００２は、前記入力画像をグレースケール画像に変換する。
【００５２】
よく知られているように、グレースケール画像において、白と黒との間を対数関係に応じていくつかのレベル（「グレースケールレベル」と呼ばれる）に分けることができ、その範囲が一般的に０〜２５５であり、白が２５５となり、黒が０となる。入力画像をグレースケール画像に変換することにより、グレースケールレベルを用いて画像における亀裂の輪郭を簡単に発見することができる。
【００５３】
次に、画素点決定部１００３は、前記グレースケール画像に基づいて、目標対象（例えば、亀裂）の色区間に属する画素点を決定する。画素点決定部１００３は以下の３つの例により目標対象の色区間の画素点を取得することができる。なお、目標対象の色区間の画素点を取得する方法は例示に過ぎず、他の適切な方法を用いて目標対象の色区間の画素点を取得してもよいことと認識すべきである。
【００５４】
例１
例えば、画素点決定部１００３は、その数が目標数となりかつそのグレースケールレベルが所定のグレースケールレベル範囲内にある画素点を前記目標対象の色区間の画素点として決定する。
【００５５】
例えば、９６＊９６の入力画像について、当該画像における亀裂には２００〜３００の目標数となる画素点があると仮定してもよい。亀裂が一般的に黒に近づいているため、グレースケールレベル０から画素点を探し始めることができる。９６＊９６の入力画像において、まずグレースケールレベル０〜２５の画素点の数を決定し、例えば２５であるとする。画素点の数である２５が目標数である２００〜３００の間にないため、グレースケールレベルの範囲を拡大する必要がある。次に、決定されたグレースケールレベル０〜５０の画素点の数が１００であるとする。画素点の数である１００が目標数である２００〜３００の間にないため、グレースケールレベルの範囲をさらに拡大する必要がある。次に、決定されたグレースケールレベル０〜７５の画素点の数が２２０であるとする。画素点の数である２２０が目標数である２００〜３００の間にあるため、グレースケールレベル０〜７５の画素点を目標対象の色区間の画素点として決定することができる。
【００５６】
例２
或いは、画素点決定部１００３は、規定のグレースケール閾値区間内の画素の数の増加率に基づいて、目標対象の色区間に属する画素点を決定してもよい。
【００５７】
図２に、本開示の実施形態に係る目標対象の色区間に属する画素点を決定する方法のフローチャートを示す。図２に示すように、まず、画素点決定部１００３は、第１のグレースケール閾値区間内にある第１の画素の数を決定する（Ｓ２０１）；前記第１のグレースケール閾値区間を第２のグレースケール閾値区間に拡大して、第２のグレースケール閾値区間内にある第２の画素の数を決定する（Ｓ２０２）；前記第１の画素の数に対する前記第２の画素の数の増加率を算出する（Ｓ２０３）；前記増加率が増加率閾値よりも小さい場合、前記第２のグレースケール閾値区間の画素点を前記目標対象の色区間に属する画素点として決定する（Ｓ２０４）；前記増加率が前記増加率閾値よりも大きい場合、画素の数の増加率が前記増加率閾値よりも小さくなるまで、前記第２のグレースケール閾値区間を拡大し続ける（Ｓ２０５）。
【００５８】
例えば、９６＊９６の入力画像の場合、まずグレースケールレベル０〜２５（例えば、第１のグレースケール閾値区間とする）の画素点の数を決定し、例えば２５（例えば、第１の画素の数とする）である。そして、グレースケールレベル０〜５０（例えば、第２のグレースケール閾値区間とする）の画素点の数を決定し、例えば７０（例えば、第２の画素の数とする）である。すると、第１の画素の数に対する第２の画素の数の増加率を（７０−２５）／２５＝１８０％として算出する。仮に、予め設定された増加率閾値が１００％である場合、１８０％が１００％より大きいため、グレースケール閾値区間を拡大し続ける。例えば、拡大された閾値区間はグレースケールレベル０〜７５（例えば、第３のグレースケール閾値区間とする）であり、それに対応する画素点の数が８０であると、第２の画素の数に対する第３の画素の数の増加率を（８０−７０）／７０＝１４％として算出する。１４％が予め設定された増加率閾値である１００％よりも小さいため、グレースケール閾値区間をさらに拡大せず、第３のグレースケール閾値区間である０〜７５を目標対象の色区間として決定し、第３のグレースケール閾値区間である０〜７５の画素点を目標対象の画素点として決定する。
【００５９】
なお、算出された増加率がまだ予め設定された増加率閾値よりも小さい場合、算出された増加率が予め設定された増加率閾値以上になるまで、グレースケール閾値区間を拡大し続けて、この際に当該グレースケール閾値区間を目標対象の色区間として決定する。
【００６０】
例３
図３は、本開示の実施形態に係る目標対象の色区間に属する画素点を決定する別の方法のフローチャートである。図３に示すように、画素点決定部１００３は、前記入力画像の画素点をグレースケールレベルに従って整列し（Ｓ３０１）、最も低いグレースケールレベルの目標数の画素点を前記目標対象の色区間の画素点として決定する（Ｓ３０２）ことができる。
【００６１】
例えば、９６＊９６の入力画像の場合、当該画像内の目標対象に２００の目標数となる画素点があると仮定してもよい。亀裂が一般的に黒に近づいているため、グレースケールレベル０から２５５の順に従って、入力画像の画素点を整列してから、最初からの２００つの画素点をそのまま目標対象の色区間の画素点として決定することができる。
【００６２】
なお、上記目標数は、統計演算により取得するか、又はニューラルネットワークに基づく画像処理方法により取得するか、または任意の他の適切な方法により取得することができる。
【００６３】
目標対象の色区間の画素点を決定した後、次に、可視化部１００４は、前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化する。
【００６４】
例えば、可視化部１００４は、線形回帰アルゴリズムを用いて、前記目標対象の軌跡曲線を取得することができる。
【００６５】
ステップＳ１０４において取得された画素点の座標値が（ｘ１，ｙ１）、（ｘ２，ｙ２）、…、（ｘｎ，ｙｎ）であると仮定した場合、（ｘ１，ｘ２…ｘｎ）をベクトルｘとして表し、（ｙ１，ｙ２…ｙｎ）をベクトルｙとして表し、目標対象の画素点のｙ座標を所与のｘ座標に基づいて線形回帰を行うと、以下の式により線形回帰のパラメータを決定することができる。
【数３】
2020194541.tif 000005
ここで、ｗは線形回帰の重み係数を表し、ｂは線形回帰のバイアス係数を表す。
【００６６】
或いは、非線形回帰アルゴリズムを用いて、前記目標対象の軌跡曲線を取得することもできる。
【００６７】
ステップＳ１０４において取得された画素点の座標値が（ｘ１，ｙ１）、（ｘ２，ｙ２）、…、（ｘｎ，ｙｎ）であると仮定した場合、（ｘ１，ｘ２…ｘｎ）をベクトルｘとして表し、（ｙ１，ｙ２…ｙｎ）をベクトルｙとして表し、目標対象の画素点のｙ座標を所与のｘ座標に基づいて非線形回帰を行うと、以下の式により非線形回帰のパラメータを決定することができる。
【数４】
2020194541.tif 000006
ここで、ｗは線形回帰の重み係数を表し、ｂは線形回帰のバイアス係数を表し、σ（・）は非線形関数を表し、例えばｓｉｇｍｏｉｄ関数である。
【００６８】
なお、可視化部１００４が線形回帰により目標対象を可視化する方法は、これに限定されず、他の適切な方法により目標対象を可視化することもできる。
【００６９】
さらに、本開示に係る装置は、前記画素点に基づいて、主成分分析を用いて前記目標対象の幅を決定する幅決定部をさらに含むことができる。
【００７０】
例えば、取得された画素点座標（９６＊９６の行列であってもよい）について、特異値分解を施して最大ｋ個の特異値に対応する右特異値ベクトルを取得し、元の行列と、これらの右特異値ベクトルを掛け算することで、元の行列のｋ個の最大主成分に対応する次元減少行列が得られる。特に、ｋ＝１である場合、一次元のベクトルが得られ、ここで、元の行列における列空間から当該一次元のベクトルまでの平均距離が最も小さい。すると、当該一次元のベクトルを目標対象画素の中心線として決定し、取得された画素点と当該中心線との垂直距離の最大値の二倍を当該目標対象の幅とすることができる。
【００７１】
また、回帰分析を用いて前記目標対象を可視化する前に、他の画素点との距離が所定の閾値を超える点をノイズ点として決定し、前記ノイズ点を除去することをさらに含む。ここで、前記他の画素点との距離が所定の閾値を超える点をノイズ点として決定することは、前記目標対象の色区間に属する画素点の重心点及び対応する進行方向を決定することと、前記進行方向に直交する方向において前記重心点との距離が前記所定の閾値を超える点をノイズ点として決定することと、を含む。
【００７２】
例えば、計算により取得された全ての画素点の座標の平均値を全ての画素点の重心点とすることができる。その後、全ての画素点を用いて、目標対象の進行方向を決定する。次に、前記進行方向に直交する方向において重心点との距離が所定の閾値を超える点をノイズ点として決定する。ここで、所定の閾値は、統計的分析により決定されてもよく、必要に応じて予め設定されてもよい。
【００７３】
或いは、異常値（ｏｕｔｌｉｅｒ）アルゴリズム、Ｋ近傍（ＫＮＮ）アルゴリズムなどを用いて、ノイズ点を除去してもよい。なお、以上のノイズ点の除去方法はこれに限定されず、任意の適切な方法によりノイズ点を除去することができる。
【００７４】
図４に示すように、まず、亀裂を含む画像である入力画像４１を取得する。そして、入力画像４１をグレースケール画像４２に変換する。その後、グレースケール画像に基づいて、亀裂に属する画素点４３を決定する。次に、他の画素点との距離が所定の閾値を超える点をノイズ点として決定し、当該ノイズ点４４を除去する。そして、当該画素点に基づいて、回帰分析を用いて亀裂４５を可視化する。また、前記画素点に基づいて、ＰＣＡを用いて亀裂の幅４６を決定することもできる。最後に、回帰分析によって可視化された亀裂４５と、ＰＣＡにより決定された亀裂の幅４６に基づいて、明確な亀裂４７を取得する。
【００７５】
以下、図６を参照しながら、本開示の実施形態に係る画像処理機器について説明する。図６は、本開示の実施形態に係る画像処理装置の模式図である。本実施形態に係る画像処理機器の機能は、以上の図１を参照しながら説明した方法の詳細と同じであるため、簡便の目的でここでは同じ内容の詳細な説明を省略する。
【００７６】
図６に示すように、画像処理機器１１００は、メモリ１１０１とプロセッサ１１０２を含む。なお、図６では、画像処理機器１１００は２つの装置のみを含むように示されているが、これは概略に過ぎず、画像処理機器１１００は、１つ又は複数の他の装置を含むこともできるが、これらの装置が本発明の思想に関係がないため、ここでは省略する。
【００７７】
本開示に係る画像処理機器１１００は、プロセッサ１１０２と、コンピュータ読み取り可能な命令を記憶するメモリ１１０１と、を含み、前記プロセッサが前記コンピュータ読み取り可能な命令を実行する際にニューラルネットワークに基づく画像処理方法を実行し、前記方法は、入力画像を取得することと、前記入力画像をグレースケール画像に変換することと、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することと、前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化することと、を含む。
【００７８】
ここで、前記画素点に基づいて、主成分分析を用いて前記目標対象の幅を決定することをさらに含むことができる。
【００７９】
ここで、回帰分析を用いて前記目標対象を可視化する前に、他の画素点との距離が所定の閾値を超える点をノイズ点として決定し、前記ノイズ点を除去することをさらに含む。
【００８０】
ここで、他の画素点との距離が所定の閾値を超える点をノイズ点として決定することは、前記目標対象の色区間に属する画素点の重心点及び対応する進行方向を決定することと、前記進行方向に直交する方向において前記重心点との距離が所定の閾値を超える点をノイズ点として決定することと、を含む。
【００８１】
ここで、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、その数が目標数となりかつそのグレースケールレベルが所定のグレースケールレベル範囲内にある画素点を前記目標対象の色区間の画素点として決定することを含む。
【００８２】
ここで、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、第１のグレースケール閾値区間内にある第１の画素の数を決定することと、前記第１のグレースケール閾値区間を第２のグレースケール閾値区間に拡大して、第２のグレースケール閾値区間内にある第２の画素の数を決定することと、前記第１の画素の数に対する前記第２の画素の数の増加率を算出することと、前記増加率が増加率閾値よりも小さい場合、前記第２のグレースケール閾値区間の画素点を前記目標対象の色区間の画素点として決定することと、前記増加率が前記増加率閾値よりも大きい場合、画素の数の増加率が前記増加率閾値よりも小さくなるまで、前記第２のグレースケール閾値区間を拡大し続けることと、を含む。
【００８３】
ここで、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することは、前記入力画像の画素点をグレースケールレベルに従って整列することと、最も低いグレースケールレベルの目標数の画素点を前記目標対象の色区間の画素点として決定することと、を含む。
【００８４】
図７は、本開示の実施形態によるコンピュータ読み取り可能な記憶媒体の模式図である。
【００８５】
図７に示すように、本開示に係るコンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な命令を記憶するコンピュータ読み取り可能な記憶媒体であって、コンピュータにより前記コンピュータ読み取り可能な命令を実行する際にニューラルネットワークに基づく画像処理方法を実行し、前記方法は、入力画像を取得することと、前記入力画像をグレースケール画像に変換することと、前記グレースケール画像に基づいて、目標対象の色区間に属する画素点を決定することと、前記画素点に基づいて、回帰分析を用いて前記目標対象を可視化することと、を含む。
【００８６】
＜ハードウェア構成＞
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。
【００８７】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。例えば、プロセッサは１つだけ図示されているが、複数のプロセッサがあってもよい。また、処理は、１のプロセッサによって実行されてもよいし、処理が同時に、逐次に、又はその他の手法を用いて、１以上のプロセッサによって実行されてもよい。なお、プロセッサは、１以上のチップによって実装されてもよい。
【００８８】
プロセッサは、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサは、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で構成されてもよい。
【００８９】
また、プロセッサは、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ及び／又は通信装置からメモリに読み出し、これらに従って各種の処理を実行する。プログラムとしては、上記の実施形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、制御部は、メモリに格納され、プロセッサで動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。メモリは、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  ＥＰＲＯＭ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、その他の適切な記憶媒体の少なくとも１つで構成されてもよい。メモリは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリは、本開示の一実施形態による方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【００９０】
ストレージは、コンピュータ読み取り可能な記録媒体であり、例えば、フレキシブルディスク、フロッピー（登録商標）ディスク、光磁気ディスク（例えば、コンパクトディスク（ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  ＲＯＭ）など）、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク）、リムーバブルディスク、ハードディスクドライブ、スマートカード、フラッシュメモリデバイス（例えば、カード、スティック、キードライブ）、磁気ストライプ、データベース、サーバ、その他の適切な記憶媒体の少なくとも１つで構成されてもよい。ストレージは、補助記憶装置と呼ばれてもよい。
【００９１】
入力装置は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）ランプなど）である。なお、入力装置及び出力装置は、一体となった構成（例えば、タッチパネル）であってもよい。
【００９２】
また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースは、所定のインデックスで指示されるものであってもよい。さらに、これらのパラメータを使用する数式などは、本明細書で明示的に開示したものと異なってもよい。
【００９３】
本明細書においてパラメータなどに使用する名称は、いかなる点においても限定的なものではない。
【００９４】
入出力された情報、信号などは、特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報、信号などは、上書き、更新又は追記をされ得る。出力された情報、信号などは、削除されてもよい。入力された情報、信号などは、他の装置へ送信されてもよい。
【００９５】
情報の通知は、本明細書で説明した態様／実施形態に限られず、他の方法で行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、下り制御情報（ＤＣＩ：Ｄｏｗｎｌｉｎｋ  Ｃｏｎｔｒｏｌ  Ｉｎｆｏｒｍａｔｉｏｎ）、上り制御情報（ＵＣＩ：Ｕｐｌｉｎｋ  Ｃｏｎｔｒｏｌ  Ｉｎｆｏｒｍａｔｉｏｎ））、上位レイヤシグナリング（例えば、ＲＲＣ（Ｒａｄｉｏ  Ｒｅｓｏｕｒｃｅ  Ｃｏｎｔｒｏｌ）シグナリング、ブロードキャスト情報（マスタ情報ブロック（ＭＩＢ：Ｍａｓｔｅｒ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｂｌｏｃｋ）、システム情報ブロック（ＳＩＢ：Ｓｙｓｔｅｍ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｂｌｏｃｋ）など）、ＭＡＣ（Ｍｅｄｉｕｍ  Ａｃｃｅｓｓ  Ｃｏｎｔｒｏｌ）シグナリング）、その他の信号又はこれらの組み合わせによって実施されてもよい。
【００９６】
また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗示的に（例えば、当該所定の情報の通知を行わないことによって又は別の情報の通知によって）行われてもよい。
【００９７】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真（ｔｒｕｅ）又は偽（ｆａｌｓｅ）で表される真偽値（ｂｏｏｌｅａｎ）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【００９８】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【００９９】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）など）及び／又は無線技術（赤外線、マイクロ波など）を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【０１００】
本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
【０１０１】
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【０１０２】
本明細書で説明した各態様／実施形態は、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ−Ａ（ＬＴＥ−Ａｄｖａｎｃｅｄ）、ＬＴＥ−Ｂ（ＬＴＥ−Ｂｅｙｏｎｄ）、ＳＵＰＥＲ  ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ（４ｔｈ  ｇｅｎｅｒａｔｉｏｎ  ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｓｙｓｔｅｍ）、５Ｇ（５ｔｈ  ｇｅｎｅｒａｔｉｏｎ  ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｓｙｓｔｅｍ）、ＦＲＡ（Ｆｕｔｕｒｅ  Ｒａｄｉｏ  Ａｃｃｅｓｓ）、Ｎｅｗ−ＲＡＴ（Ｒａｄｉｏ  Ａｃｃｅｓｓ  Ｔｅｃｈｎｏｌｏｇｙ）、ＮＲ（Ｎｅｗ  Ｒａｄｉｏ）、ＮＸ（Ｎｅｗ  ｒａｄｉｏ  ａｃｃｅｓｓ）、ＦＸ（Ｆｕｔｕｒｅ  ｇｅｎｅｒａｔｉｏｎ  ｒａｄｉｏ  ａｃｃｅｓｓ）、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＣＤＭＡ２０００、ＵＭＢ（Ｕｌｔｒａ  Ｍｏｂｉｌｅ  Ｂｒｏａｄｂａｎｄ）、ＩＥＥＥ  ８０２．１１（Ｗｉ−Ｆｉ（登録商標））、ＩＥＥＥ  ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ  ８０２．２０、ＵＷＢ（Ｕｌｔｒａ−ＷｉｄｅＢａｎｄ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切な無線通信方法を利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
【０１０３】
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【０１０４】
本明細書で使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素の参照は、２つの要素のみが採用され得ること又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【０１０５】
本明細書で使用する「判断（決定）（ｄｅｔｅｒｍｉｎｉｎｇ）」という用語は、多種多様な動作を包含する場合がある。例えば、「判断（決定）」は、計算（ｃａｌｃｕｌａｔｉｎｇ）、算出（ｃｏｍｐｕｔｉｎｇ）、処理（ｐｒｏｃｅｓｓｉｎｇ）、導出（ｄｅｒｉｖｉｎｇ）、調査（ｉｎｖｅｓｔｉｇａｔｉｎｇ）、探索（ｌｏｏｋｉｎｇ  ｕｐ）（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認（ａｓｃｅｒｔａｉｎｉｎｇ）などを「判断（決定）」することであるとみなされてもよい。また、「判断（決定）」は、受信（ｒｅｃｅｉｖｉｎｇ）（例えば、情報を受信すること）、送信（ｔｒａｎｓｍｉｔｔｉｎｇ）（例えば、情報を送信すること）、入力（ｉｎｐｕｔ）、出力（ｏｕｔｐｕｔ）、アクセス（ａｃｃｅｓｓｉｎｇ）（例えば、メモリ中のデータにアクセスすること）などを「判断（決定）」することであるとみなされてもよい。また、「判断（決定）」は、解決（ｒｅｓｏｌｖｉｎｇ）、選択（ｓｅｌｅｃｔｉｎｇ）、選定（ｃｈｏｏｓｉｎｇ）、確立（ｅｓｔａｂｌｉｓｈｉｎｇ）、比較（ｃｏｍｐａｒｉｎｇ）などを「判断（決定）」することであるとみなされてもよい。つまり、「判断（決定）」は、何らかの動作を「判断（決定）」することであるとみなされてもよい。
【０１０６】
本明細書で使用する「接続された（ｃｏｎｎｅｃｔｅｄ）」、「結合された（ｃｏｕｐｌｅｄ）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」と読み替えられてもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを使用することにより、互いに「接続」又は「結合」されると考えることができる。
【０１０７】
本明細書又は特許請求の範囲で「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が使用されている場合、これらの用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。
【０１０８】
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
【図１】
2020194541.tif 000007
【図２】
2020194541.tif 000008
【図３】
2020194541.tif 000009
【図４】
2020194541.tif 000010
【図５】
2020194541.tif 000011
【図６】
2020194541.tif 000012
【図７】
2020194541.tif 000013