【手続補正書】
【提出日】平成31年3月8日(2019.3.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
３次元モデリング方法であって：
物体の第１の方向の第１の画像及び第２の方向の第２の画像をそれぞれ取り込むステップ（Ｓ１１）と；
前記第１の画像の複数の特徴点を取得するステップ（Ｓ１２）と；
前記複数の特徴点に対応する前記第２の画像の対応特徴点を判定するステップ（Ｓ１３）と；
前記複数の特徴点とこれに対応する対応特徴点との間の類似度と、前記複数の特徴点の奥行き値とを計算するステップ（Ｓ１４）と；
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って、前記複数の特徴点の前記奥行き値に重み付け計算を行うステップ（Ｓ１５）と；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて、前記物体の３次元モデリングを実行するステップ（Ｓ１６）と；を備えることを特徴とする、
３次元モデリング方法。
【請求項２】
前記第１の画像の前記複数の特徴点を取得するステップは、具体的に：
前記第１の画像のいくつかの初期特徴点を取得するステップ（Ｓ１２１）と；
前記第１の画像を予め設定した第１の格子とマッチングするステップ（Ｓ１２２）と；
前記第１の格子の格子セル内に保持された前記初期特徴点の数が等しくなるまで、前記いくつかの初期特徴点をスクリーニングし、これらを前記特徴点として判定するステップ（Ｓ１２３）と；を備えることを特徴とする、
請求項１に記載の方法。
【請求項３】
前記第１の格子の格子セル内に保持された前記初期特徴点の数が等しくなるまで、前記いくつかの初期特徴点をスクリーニングし、これらを前記特徴点として判定するステップは、具体的に：
前記いくつかの初期特徴点からこれらの初期特徴点が位置する前記第１の格子の前記格子セルの中心までの距離を計算するステップと；
前記第１の格子の前記格子セル内において、所属する前記格子セルの中心に最も近い初期特徴点を前記特徴点として判定するステップと；を備えることを特徴とする、
請求項２に記載の方法。
【請求項４】
前記方法は：
前記第１の格子の格子セルに前記初期特徴点がない場合には、前記格子セルの中心を前記格子セル内の特徴点と判定するステップ；をさらに備えることを特徴とする、
請求項２又は３に記載の方法。
【請求項５】
前記複数の特徴点に対応する前記第２の画像の前記対応特徴点を判定するステップは、具体的に：
前記第１の画像及び前記第２の画像に関する方向情報に従って、前記複数の特徴点に対応する前記第２の画像のプレ対応特徴点を判定するステップ（Ｓ１３１）と；
前記第２の画像を予め設定した第２の格子とマッチングするステップ（Ｓ１３２）と；
前記プレ対応特徴点が位置する前記第２の格子の格子セルの中心を、これに対応する対応特徴点として判定するステップ（Ｓ１３３）と；を備えることを特徴とする、
請求項３に記載の方法。
【請求項６】
前記複数の特徴点と前記対応する対応特徴点との間の類似度を計算するステップは、具体的に：
前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての画素の色値を取得するステップ（Ｓ１４１）と；
複数の対応特徴点が位置する前記第２の格子の前記格子セル内の全ての画素の色値を取得するステップ（Ｓ１４２）と；
前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての前記画素と、前記対応する対応特徴点が位置する前記第２の格子の前記格子セル内の全ての前記画素との間の平均色値誤差をそれぞれ計算し、前記平均色値誤差に従って、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度を判定するステップ（Ｓ１４３）と；を備えることを特徴とする、
請求項５に記載の方法。
【請求項７】
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点の前記奥行き値に重み付け計算を行う式は、
加重した奥行き値＝奥行き値×（重み付け計算対象の特徴点を除く全ての前記特徴点の前記平均色値誤差の和／全ての前記特徴点の前記平均色値誤差の和）であることを特徴とする、
請求項６に記載の方法。
【請求項８】
前記第２の格子の前記格子セルの面積は、前記第１の格子の前記格子セルの面積よりも小さいことを特徴とする、
請求項５乃至７のいずれか１項に記載の方法。
【請求項９】
前記方法は：
前記複数の特徴点の前記奥行き値に前記重み付け計算を行う前に、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点をスクリーニングするステップ；をさらに備えることを特徴とする、
請求項１に記載の方法。
【請求項１０】
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点をスクリーニングするステップは、具体的に：
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って廃棄閾値を判定するステップと；
前記対応する対応特徴点との類似度が前記廃棄閾値よりも低い特徴点を前記複数の特徴点から排除するステップと；をさらに備えることを特徴とする、
請求項９に記載の方法。
【請求項１１】
前記物体の３次元モデリングを実行するステップが、三角格子を採用することを特徴とする、
請求項１に記載の方法。
【請求項１２】
前記方法は、携帯電話のようなモバイルデバイス上で実施される、
請求項１に記載の方法。
【請求項１３】
装置が、請求項１乃至請求項１２のいずれか１項に記載の方法を実行するように構成された複数のモジュールを備えることを特徴とする、
３次元モデリング装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
上述は単に本出願の実施の形態であり、本出願を限定するものではない。当業者にとっては、本出願に様々な変更及び変形を加えることが可能である。本出願の精神及び原理から逸脱せずに為されるあらゆる修正、均等物の置き換え、改良は、本出願の特許請求の範囲内に含まれる。
［第１の局面］
３次元モデリング方法であって：
物体の第１の方向の第１の画像及び第２の方向の第２の画像を取り込むステップと；
前記第１の画像の複数の特徴点を取得するステップと；
前記複数の特徴点に対応する前記第２の画像の対応特徴点を判定するステップと；
前記複数の特徴点とこれに対応する対応特徴点との間の類似度と、前記複数の特徴点の奥行き値とを計算するステップと；
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って、前記複数の特徴点の前記奥行き値に重み付け計算を行うステップと；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて、前記物体の３次元モデリングを実行するステップと；を備えることを特徴とする、
３次元モデリング方法。
［第２の局面］
前記第１の画像の前記複数の特徴点を取得するステップは、具体的に：
前記第１の画像のいくつかの初期特徴点を取得するステップと；
前記第１の画像を予め設定した第１の格子とマッチングするステップと；
前記第１の格子の格子セル内に保持された前記初期特徴点の数が等しくなるまで、前記いくつかの初期特徴点をスクリーニングし、これらを前記特徴点として判定するステップと；を備えることを特徴とする、
第１の局面に記載の方法。
［第３の局面］
前記第１の格子の格子セル内に保持された前記初期特徴点の数が等しくなるまで、前記いくつかの初期特徴点をスクリーニングし、これらを前記特徴点として判定するステップは、具体的に：
前記いくつかの初期特徴点からこれらの初期特徴点が位置する前記第１の格子の前記格子セルの中心までの距離を計算するステップと；
前記第１の格子の前記格子セル内において、所属する前記格子セルの中心に最も近い初期特徴点を前記特徴点として判定するステップと；を備えることを特徴とする、
第２の局面に記載の方法。
［第４の局面］
前記方法は：
前記第１の格子の格子セルに前記初期特徴点がない場合には、前記格子セルの中心を前記格子セル内の特徴点と判定するステップ；をさらに備えることを特徴とする、
第２の局面又は第３の局面に記載の方法。
［第５の局面］
前記複数の特徴点に対応する前記第２の画像の前記対応特徴点を判定するステップは、具体的に：
前記第１の画像及び前記第２の画像に関する方向情報に従って、前記複数の特徴点に対応する前記第２の画像のプレ対応特徴点を判定するステップと；
前記第２の画像を予め設定した第２の格子とマッチングするステップと；
前記プレ対応特徴点が位置する前記第２の格子の格子セルの中心を、これに対応する対応特徴点として判定するステップと；を備えることを特徴とする、
第３の局面に記載の方法。
［第６の局面］
前記複数の特徴点と前記対応する対応特徴点との間の類似度を計算するステップは、具体的に：
前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての画素の色値を取得するステップと；
前記複数の対応特徴点が位置する前記第２の格子の前記格子セル内の全ての画素の色値を取得するステップと；
前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての前記画素と、前記対応する対応特徴点が位置する前記第２の格子の前記格子セル内の全ての前記画素との間の平均色値誤差をそれぞれ計算し、前記平均色値誤差に従って、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度を判定するステップと；を備えることを特徴とする、
第５の局面に記載の方法。
［第７の局面］
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点の前記奥行き値に重み付け計算を行う式は、
加重した奥行き値＝奥行き値×（重み付け計算対象の特徴点を除く全ての前記特徴点の前記平均色値誤差の和／全ての前記特徴点の前記平均色値誤差の和）であることを特徴とする、
第６の局面に記載の方法。
［第８の局面］
前記第２の格子の前記格子セルの前記面積は、前記第１の格子の前記格子セルの前記面積よりも小さいことを特徴とする、
第５の局面乃至第７の局面のいずれかに記載の方法。
［第９の局面］
前記方法は：
前記複数の特徴点の前記奥行き値に前記重み付け計算を行う前に、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点をスクリーニングするステップ；をさらに備えることを特徴とする、
第１の局面に記載の方法。
［第１０の局面］
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点をスクリーニングするステップは、具体的に：
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って廃棄閾値を判定するステップと；
前記対応する対応特徴点との類似度が前記廃棄閾値よりも低い特徴点を前記複数の特徴点から排除するステップと；をさらに備えることを特徴とする、
第９の局面に記載の方法。
［第１１の局面］
前記物体の３次元モデリングを実行するステップが、三角格子を採用することを特徴とする、
第１の局面に記載の方法。
［第１２の局面］
３次元モデリング方法であって：
物体の複数方向の画像を取り込むステップと；
前記複数の画像のうち一つの画像の複数の特徴点を取得するステップと；
前記複数の特徴点に対応する対応特徴点を残りの画像にてそれぞれ判定するステップと；
前記複数の特徴点と前記残りの画像の前記対応する対応特徴点との間の類似度と、前記対応特徴点の奥行き値をそれぞれ計算するステップと；
前記複数の画像に関する方向情報と前記対応特徴点の前記奥行き値とに従って前記複数の特徴点の奥行き値を計算するステップと；
前記複数の特徴点と前記残りの画像の前記対応する対応特徴点との間の前記類似度に従って、前記複数の特徴点の前記奥行き値に重み付け計算を行うステップと；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて、前記物体の３次元モデリングを実行するステップと；を備えることを特徴とする、
３次元モデリング方法。
［第１３の局面］
前記物体の複数方向の画像を取り込むステップは、具体的に：
前記物体の基準方向の第１の画像と、前記基準方向から逸脱した３方向における第２の画像、第３の画像、及び第４の画像を取り込むステップ；を備えることを特徴とする、
第１２の局面に記載の方法。
［第１４の局面］
前記物体は、人物顔；を備えることを特徴とする、
第１３の局面に記載の方法。
［第１５の局面］
前記第１の画像、第２の画像、第３の画像、及び第４の画像は、それぞれ、前記人物顔の正面顔画像、上向きの正面顔画像、左に傾けた正面顔画像、及び右に傾けた正面顔画像であることを特徴とする、
第１４の局面に記載の方法。
［第１６の局面］
３次元モデリング装置であって：
物体の第１の方向の第１の画像及び第２の方向の第２の画像をそれぞれ取り込む画像取り込みモジュールと；
前記第１の画像の複数の特徴点を取得する特徴検出モジュールと；
前記複数の特徴点に対応する、前記第２の画像の対応特徴点を判定するマッチングモジュールと；
前記複数の特徴点と前記対応する対応特徴点との間の類似度と、前記複数の特徴点の奥行き値とを計算し、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点の前記奥行き値に重み付け計算を行う計算モジュールと；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて前記物体の３次元モデリングを実行するモデル生成モジュールと；を備えることを特徴とする、
３次元モデリング装置。
［第１７の局面］
前記特徴検出モジュールは、具体的に、前記第１の画像のいくつかの初期特徴点を取得するために、前記第１の画像を予め設定した第１の格子とマッチングするために、前記第１の格子の格子セル内にある前記初期特徴点の数が等しくなるまで前記いくつかの初期特徴点をスクリーニングするために、及びこれらを前記特徴点として判定するために用いられることを特徴とする、
第１６の局面に記載の装置。
［第１８の局面］
前記特徴検出モジュールは、具体的に、前記いくつかの初期特徴点からこれらの初期特徴点が位置する前記第１の格子の前記格子セルの中心までの距離を計算するために使用される計算ユニット；を備え、
前記特徴検出モジュールは、具体的に、前記第１の格子の前記格子セル内において、所属する前記格子セルの中心に最も近い初期特徴点を前記特徴点として判定するために用いられることを特徴とする、
第１７の局面に記載の装置。
［第１９の局面］
前記特徴検出モジュールは、前記第１の格子の格子セルに前記初期特徴点がない場合には、前記格子セルの中心を前記格子セル内の特徴点として判定するためにさらに用いられることを特徴とする、
第１７の局面又は第１８の局面に記載の装置。
［第２０の局面］
前記マッチングモジュールは、具体的に、前記第１の画像及び前記第２の画像に関する方向情報に従って、前記複数の特徴点に対応する前記第２の画像のプレ対応特徴点を判定するために、前記第２の画像を予め設定した第２の格子とマッチングするために、及び、前記プレ対応特徴点が位置する前記第２の格子の格子セルの中心を、これに対応する対応特徴点として判定するために用いられることを特徴とする、
第１８の局面に記載の装置。
［第２１の局面］
前記計算モジュールは、具体的に、前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての画素の色値を取得するために、前記複数の対応特徴点が位置する前記第２の格子の前記格子セル内の全ての画素の色値を取得するために、前記複数の特徴点が位置する前記第１の格子の前記格子セル内の全ての前記画素と、前記対応する対応特徴点が位置する前記第２の格子の前記格子セル内の全ての前記画素との間の平均色値誤差をそれぞれ計算するために、及び、前記平均色値誤差に従って、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度を判定するために用いられることを特徴とする、
第２０の局面に記載の装置。
［第２２の局面］
前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点の前記奥行き値に重み付け計算を行う式は、
加重した奥行き値＝奥行き値×（前記重み付け計算の対象の前記特徴点を除く全ての前記特徴点の前記平均色値誤差の和／全ての前記特徴点の前記平均色値誤差の和）であることを特徴とする、
第２１の局面に記載の装置。
［第２３の局面］
前記第２の格子の前記格子セルの前記面積は、前記第１の格子の前記格子セルの前記面積よりも小さいことを特徴とする、
第２０の局面乃至第２２の局面のいずれかに記載の装置。
［第２４の局面］
前記装置は、前記複数の特徴点の前記奥行き値に前記重み付け計算を行う前に、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って前記複数の特徴点をスクリーニングするスクリーニングモジュール；をさらに備えることを特徴とする、
第１６の局面に記載の装置。
［第２５の局面］
前記スクリーニングモジュールは、具体的に、前記複数の特徴点と前記対応する対応特徴点との間の前記類似度に従って廃棄閾値を判定するために、及び、前記対応する対応特徴点との類似度が前記廃棄閾値よりも高い特徴点を前記複数の特徴点から排除するために用いられることを特徴とする、
第２４の局面に記載の装置。
［第２６の局面］
前記モデル生成モジュールは、三角格子を採用することにより、前記物体の３次元モデリングを実行することを特徴とする、
第１６の局面に記載の装置。
［第２７の局面］
３次元モデリング装置であって：
物体の複数方向の画像を取り込む画像取り込みモジュールと；
前記複数の画像のうちの一つの画像の複数の特徴点を取得する特徴検出モジュールと；
前記複数の特徴点に対応する対応特徴点を残りの画像にてそれぞれ判定するマッチングモジュールと；
前記複数の特徴点と前記残りの画像の前記対応する対応特徴点との間の類似度と、前記対応特徴点の奥行き値とをそれぞれ計算し、前記複数の画像に関する方向情報と、前記対応特徴点の前記奥行き値とに従って、前記複数の特徴点の奥行き値を計算し、前記複数の特徴点と前記残りの画像の前記対応する対応特徴点との間の前記類似度に従って、前記複数の特徴点の前記奥行き値に重み付け計算を行う計算モジュールと；
前記重み付け計算を行った前記複数の特徴点の前記奥行き値に基づいて前記物体の３次元モデリングを実行するモデル生成モジュールと；を備えることを特徴とする、
３次元モデリング装置。
［第２８の局面］
前記画像取り込みモジュールは、具体的に、前記物体の基準方向の第１の画像と、前記基準方向から逸脱した３方向における第２の画像、第３の画像、及び第４の画像とを取り込むために用いられることを特徴とする、
第２７の局面に記載の装置。
［第２９の局面］
前記物体は、人物顔；を備えることを特徴とする、
第２８の局面に記載の装置。
［第３０の局面］
前記第１の画像、第２の画像、第３の画像、及び第４の画像はそれぞれ、前記人物顔の正面顔画像、上向きの正面顔画像、左に傾けた正面顔画像、及び右に傾けた正面顔画像であることを特徴とする、
第２９の局面に記載の装置。