(57)【要約】本開示の実施例は画像処理方法、装置、デバイス及び記憶媒体を開示する。前記画像処理方法は、画像内の対象の基準領域のキーポイントを取得するステップと、前記基準領域のキーポイントによって前記基準領域の向きを決定するステップと、前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うステップと、を含む。
2021518023.tif 000002
【特許請求の範囲】
【請求項１】
画像内の対象の基準領域のキーポイントを取得するステップと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するステップと、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うステップと、を含むことを特徴とする画像処理方法。
【請求項２】
前記基準領域のキーポイントによって前記基準領域の向きを決定する前記ステップは、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定する前記ステップは、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定する前記ステップは、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、を含むことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記基準領域の向きに基づいて被調整領域の向きを決定する前記ステップは、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うステップを含み、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対であることを特徴とする請求項２〜４のいずれか一項に記載の方法。
【請求項８】
前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するステップを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整する前記ステップは、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定する前記ステップは、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１夾角が前記第２夾角に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するステップを更に含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
画像内の対象の基準領域のキーポイントを取得するための取得ユニットと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するための決定ユニットと、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うための処理ユニットと、を含むことを特徴とする画像処理装置。
【請求項１３】
前記決定ユニットは、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、に用いられることを特徴とする請求項１２に記載の装置。
【請求項１４】
前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記決定ユニットは、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、に用いられることを特徴とする請求項１３に記載の装置。
【請求項１５】
前記決定ユニットは、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るために用いられることを特徴とする請求項１４に記載の装置。
【請求項１６】
前記処理ユニットは、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、に用いられることを特徴とする請求項１２〜１５のいずれか一項に記載の装置。
【請求項１７】
前記処理ユニットは、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、に用いられることを特徴とする請求項１６に記載の装置。
【請求項１８】
前記処理ユニットは、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うために用いられ、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対であることを特徴とする請求項１３〜１５のいずれか一項に記載の装置。
【請求項１９】
前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記処理ユニットは、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するために用いられることを特徴とする請求項１８に記載の装置。
【請求項２０】
前記処理ユニットは、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、に用いられることを特徴とする請求項１８に記載の装置。
【請求項２１】
前記処理ユニットは、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、に用いられることを特徴とする請求項２０に記載の装置。
【請求項２２】
前記処理ユニットは、更に、
前記第１夾角が前記第２夾角に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するために用いられることを特徴とする請求項２１に記載の装置。
【請求項２３】
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することで請求項１〜１１のいずれか一項で提供された画像処理方法を実現可能であるプロセッサと、を含むことを特徴とする画像処理装置。
【請求項２４】
コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが請求項１〜１１のいずれか一項で提供された画像処理方法を実現可能であるコンピュータ記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１９年３月１４日に中国特許局に提出された、出願番号２０１９１０１９１９１８．１の中国出願の優先権及び２０１９年３月１４日に中国特許局に提出された、出願番号２０１９１０１９３６４９．２の中国出願の優先権を主張する。
【０００２】
本開示は、情報技術に関し、特に、画像処理方法、装置、デバイス及び記憶媒体に関する。
【背景技術】
【０００３】
画像中の対象で覆われた領域を変形させる時に、ユーザの手動操作に基づいて変形することが一般であり、例えば、ｐｈｏｔｏｓｈｏｐ等の画像処理ソフトウェアを利用して処理し、この場合にユーザの操作スキルへの依存性が非常に高く、一般のユーザにとって操作しにくい。関連技術において、ユーザのワンクリック操作でこの画像を全面的に処理する別の画像処理ソフトウェアがあったが、この画像処理ソフトウェアが電子機器によって実行され操作され、機器処理の機械性（即ち、知能化程度が足りない）に制限されるので、処理された画像効果がおかしく見え、所期の画像処理効果を達成できない。
【発明の概要】
【０００４】
以上に鑑みて、本開示の実施例は、画像処理方法、装置、デバイス及び記憶媒体を提供することを目的とする。
【０００５】
第１態様において、
画像内の対象の基準領域のキーポイントを取得するステップと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するステップと、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うステップと、を含む画像処理方法を提供する。
【０００６】
本願のいずれか１つの実施形態によれば、前記基準領域のキーポイントによって前記基準領域の向きを決定する前記ステップは、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、を含む。
【０００７】
本願のいずれか１つの実施形態によれば、前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント及び第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定する前記ステップは、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、を含む。
【０００８】
本願のいずれか１つの実施形態によれば、前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定する前記ステップは、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るステップを含む。
【０００９】
本願のいずれか１つの実施形態によれば、前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、を含む。
【００１０】
本願のいずれか１つの実施形態によれば、前記基準領域の向きに基づいて被調整領域の向きを決定する前記ステップは、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、を含む。
【００１１】
本願のいずれか１つの実施形態によれば、前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うステップを含み、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対である。
【００１２】
本願のいずれか１つの実施形態によれば、前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するステップを含む。
【００１３】
本願のいずれか１つの実施形態によれば、前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整する前記ステップは、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、を含む。
【００１４】
本願のいずれか１つの実施形態によれば、前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定する前記ステップは、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、を含む。
【００１５】
本願のいずれか１つの実施形態によれば、前記方法は、
前記第１夾角が前記第２夾角に等しく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するステップを更に含む。
【００１６】
第２態様において、
画像内の対象の基準領域のキーポイントを取得するための取得ユニットと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するための決定ユニットと、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うための処理ユニットと、を含む画像処理装置を提供する。
【００１７】
本願のいずれか１つの実施形態によれば、前記決定ユニットは、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、に用いられる。
【００１８】
本願のいずれか１つの実施形態によれば、前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記決定ユニットは、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、に用いられる。
【００１９】
本願のいずれか１つの実施形態によれば、前記決定ユニットは、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るために用いられる。
【００２０】
本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、に用いられる。
【００２１】
本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、に用いられる。
【００２２】
本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うために用いられ、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対である。
【００２３】
本願のいずれか１つの実施形態によれば、前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記処理ユニットは、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するために用いられる。
【００２４】
本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、に用いられる。
【００２５】
本願のいずれか１つの実施形態によれば、前記処理ユニットは、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、に用いられる。
【００２６】
本願のいずれか１つの実施形態によれば、前記処理ユニットは、更に、
前記第１夾角が前記第２夾角に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するために用いられる。
【００２７】
第３態様において、
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することで上記のいずれか１種の技術的解決手段で提供された画像処理方法を実現可能であるプロセッサと、を含む画像処理装置を提供する。
【００２８】
第４態様において、コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが上記のいずれか１種の技術的解決手段で提供された画像処理方法を実現可能であるコンピュータ記憶媒体を提供する。
【００２９】
本開示の実施例で提供される技術的解決手段は、被調整領域を変形させる前に、基準領域の向きを取得し、基準領域の向きによって前記被調整領域を変形させることになり、そのようにして、前記基準領域の向きを無視して直接変形させることで発生する視覚的におかしく見える変形効果を減少し、それによって違和感のある変形の発生を減少し、変形後の画像効果を改善する。
【図面の簡単な説明】
【００３０】
本願の実施例又は背景技術における技術的手段をより明瞭に説明するために、以下、本願の実施例又は背景技術に用いられる図面について説明する。
【００３１】
ここの図面は明細書に組み込まれて本明細書の一部を構成し、これらの図面は本開示に合致する実施例を示し、明細書と共に本開示の技術的手段を説明するために用いられる。
【図１】本開示の実施例で提供される画素座標系の模式図である。
【図２】本開示の実施例で提供される画像処理方法のフローチャートである。
【図３】本開示の実施例で提供されるキーポイントの模式図である。
【図４】本開示の実施例で提供される別の画像処理方法のフローチャートである。
【図５】本開示の実施例で提供されるキーポイントで形成されたベクトルに基づいて向きを決定する模式図である。
【図６】本開示の実施例で提供される中心線の模式図である。
【図７】本開示の実施例で提供される変形処理の効果模式図である。
【図８】本開示の実施例で提供される別の変形処理の効果模式図である。
【図９】本開示の実施例で提供される更に別の変形処理の効果模式図である。
【図１０】本開示の実施例で提供される画像処理装置の構造模式図である。
【図１１】本開示の実施例で提供される画像デバイスの構造模式図である。
【発明を実施するための形態】
【００３２】
以下、明細書の図面及び具体的な実施例を参照しながら、本開示の技術的解決手段を更に詳細に説明する。
【００３３】
以下の説明を開始する前に、まず本開示の実施例における画素座標系を定義する。図１に示すように、人体画像Ａの左下角を画素座標系の原点ｏとし、人体画像Ａの行と平行である方向をｘ軸の方向とし、人体画像Ａの列と平行である方向をｙ軸の方向として、画素座標系ｘｏｙを構築する。画素座標系で、横座標は人体画像Ａにおける画素の人体画像Ａでの列数を表すために用いられ、縦座標は人体画像Ａにおける画素の顔画像Ａでの行数を表すために用いられ、横座標と縦座標の単位がいずれも画素であってもよい。例えば、図１における画素ａの座標を（１０，３０）とすれば、即ち画素ａの横座標が３０画素であり、画素ａの縦座標が２０画素であれば、画素ａが顔画像Ａにおける３０列目２０行目の画素である。
【００３４】
図２に示すように、本実施例は、
画像内の対象の基準領域のキーポイントを取得するステップＳ２１０と、
前記基準領域のキーポイントによって前記基準領域の向きを決定するステップＳ２２０と、
前記向きに基づいて前記対象の被調整領域に対して変形処理を行うステップＳ２３０と、を含む画像処理方法を提供する。
【００３５】
本実施例で提供される画像処理方法は、例えば、ユーザデバイスとする携帯電話、タブレット型コンピュータ又はウェアラブルデバイス等の画像を処理可能な様々の電子機器に利用可能である。
【００３６】
画像の基準領域のキーポイントを取得するステップＳ２１０には、
ニューラルネットワーク等の深層学習モデルを用いて前記基準領域のキーポイントを検出するステップを含んでよい。例えば、前記基準領域が生体であることを例とすると、前記キーポイントは前記基準領域の骨格のキーポイントであってよい。
【００３７】
前記キーポイントが検出された後、これらのキーポイントを連結すれば前記基準領域の骨格を形成できる。
【００３８】
前記画像が２Ｄ画像であれば、前記キーポイントは２Ｄキーポイントであってよい。
【００３９】
前記画像が３Ｄ画像であれば、前記キーポイントは３Ｄキーポイントであってよい。
【００４０】
前記３Ｄ画像は、ＲＧＢ画像とＲＧＢ画像に対応する深度マップで構成されてもよく、ＹＵＶ画像と前記ＹＵＶ画像に対応する深度マップで構成されてもよい。
【００４１】
前記深度マップの画素値は前記ＲＧＢ画像又はＹＵＶ画像を取得するカメラと画像取得対象との間の距離値となってよく、このような距離を表す画素値は深度値と呼んでもよい。例えば、深度カメラによって前記３Ｄ画像を取得でき、前記深度カメラはＲＧＢ画像又はＹＵＶ画像を取得する一般の２Ｄカメラに加えて、飛行時間（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ：ＴＯＦ）等の深度マップを取得する深度カメラを更に含む。
【００４２】
前記２Ｄキーポイントが（ｘ，ｙ）であり、前記３Ｄキーポイントが（ｘ，ｙ，ｚ）であってよい。前記２Ｄキーポイントの座標が平面座標系の座標であり、前記３Ｄキーポイントの座標が３Ｄ座標系中の座標である。
【００４３】
図３は人体の骨格を示す模式図である。図３に人体骨格における１７個の骨格キーポイントの模式図を示し、それぞれに０−１６のように番号が付けられ、ここで、番号が０となる骨格キーポイントが０番のキーポイント又は根ノードとも呼ばれる。キーポイント１１と１４はそれぞれ人体骨格の２つの肩部キーポイントに対応し、キーポイント１と４はそれぞれ股間部の２つのキーポイントに対応する。キーポイント７は胴体中心キーポイントに対応する。キーポイント８と９はそれぞれ頸部の２つの端点に対応し、キーポイント１０は頭部キーポイントである。
【００４４】
本実施例では、画像内の対象で覆われた領域はキーポイント領域を含み、ここで、対象は人物、動物を含み、キーポイント領域はいずれもキーポイントを含み、キーポイント領域は顔部領域、肩部領域、股間部領域を含む。基準領域は被調整領域に最も近いキーポイント領域である。
【００４５】
可能な一実施形態では、被調整領域の中心点（以下、第１中心点という）の座標とキーポイント領域の中心点（以下、第２中心点という）の座標によって、第１中心点と第２中心点との間の距離を決定して被調整領域とキーポイント領域との間の距離とする。
【００４６】
別の可能な実施形態では、被調整領域とキーポイント領域との間の最も短い距離を被調整領域とキーポイント領域との間の距離とする。
【００４７】
人体を例とすると、前記基準領域の向きは、
顔部領域の向き、
肩部領域の向き、
股間部領域の向き等の中の少なくとも一項を含む。
【００４８】
選択可能に、股間部領域は腰腹部領域を含んでよい。
【００４９】
被調整領域を変形させることは、視覚的変形効果を生じるために、前記被調整領域を含む画像領域に対して画素変換を行うことを含んでよい。
【００５０】
いくつかの実施例では、前記画素変換は、
変形格子を用いて前記被調整領域の変形処理を補助するという方法で実行されてよい。前記変形格子における格子点が変形処理の制御点となり、この制御点の座標変化はこの制御点の所在する格子内の画素の画素座標の変換を直接決定する。
【００５１】
本実施例では、ある制御点に対応する画素変換は変形補間アルゴリズムに基づいて決定されてよい。この変形補間アルゴリズムはスプライン曲線アルゴリズムであってよい。
【００５２】
前記変形格子は縦横に交錯している格子であってよく、縦横に交錯している変形線の交差点は変形格子の制御点となり、制御点の座標写像によって、この制御点の所在する格子に含まれる画素の画素座標の写像を制御できる。前記制御点を調整する時に、少なくとも２つの方向の座標調整を行ってよく、そのようにして少なくとも前記被調整領域の拡大又は縮小を実現でき、被調整領域の拡大は視覚的な拡大効果を達成でき、被調整領域の縮小は被調整領域の視覚的な縮小効果を達成できる。本実施例では、基準領域の向きによって被調整領域の変形処理を行うので、基準領域の向きによって被調整領域の精確な変形処理を行うことができ、基準領域の向きを無視して直接変形処理する場合に比べて、基準領域の向きの無視によるおかしい変形処理を減少し、更に変形処理後の画像の品質を高める。
【００５３】
本実施例では、変形処理後の画像の品質を高めるために、被調整領域の向きによって被調整領域を変形処理する。被調整領域にキーポイントを含まない可能性があるので、被調整領域によって被調整領域の向きを決定できないことがある。基準領域はいずれもキーポイントを含むので、基準領域の向きによって被調整領域の向きを決定することができる。
【００５４】
可能な一実施形態では、基準領域の向きの反対方向を被調整領域の向きとしてよい。例えば、前記被調整領域が臀部領域であり、基準領域が股間部領域であるので、股間部領域の向きの反対方向を被調整領域の向きとしてよい。
【００５５】
別の可能な実施形態では、基準領域の向きを被調整領域の向きとしてよい。例えば、前記被調整領域が胸部であり、基準領域が肩部領域であるので、肩部領域の向きを被調整領域の向きとしてよい。
【００５６】
要するに、本実施例では、キーポイントによって前記基準領域の画像での向きを決定し、被調整領域を変形処理する時に、被調整領域の各部位に対して同じ変形処理を行うことでなく、向きによって被調整領域を異なる方向に変形処理する。
【００５７】
いくつかの実施例では、図４に示すように、前記ステップＳ２２０は、
前記基準領域内の少なくとも３つのキーポイントを取得するステップＳ２２１と、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップＳ２２２と、を含んでよく、
上記の少なくとも３つのキーポイントが同一直線に存在しない。少なくとも３つのキーポイントに基づいて目標ベクトルを決定可能であり、目標ベクトルの方向を基準領域の向きとする。
【００５８】
本開示では、向きによって被調整領域を第１種の領域と第２種の領域の少なくとも２種に分けてよく、ここで、第１種の領域の向きが顔部領域の向きと反対であり、第２種の領域の向きが顔部領域の向きと同様である。選択可能に、第１種の領域は臀部領域を含む。第２種の領域は顔部領域、肩部領域、股間部領域を含む。
【００５９】
基準領域の向きがいずれも顔部領域の向きと同様であるので、基準領域の向きによって被調整領域の向きを決定するステップは、被調整領域が第１種の領域である場合に、基準領域の向きの反対方向を被調整領域の向きとするステップと、被調整領域が第２種の領域である場合に、基準領域の向きを被調整領域の向きとするステップと、を含んでよい。
【００６０】
例えば、被調整領域が臀部領域であり、基準領域が股間部領域である。被調整領域が第１種の領域であるので、基準領域の向きの反対方向を被調整領域の方向としてよい。更に例えば、被調整領域が胸部領域であり、基準領域が肩部領域である場合に、被調整領域が第２種の領域であるので、基準領域の向きを被調整領域の方向としてよい。
【００６１】
基準領域と被調整領域は同じであってもよく、異なっていてもよいことを理解すべきである。例えば、被調整領域が肩部領域であり、基準領域が肩部領域であってもよく、肩部領域における少なくとも３つのキーポイントに基づいて目標ベクトルを決定可能であり、更に目標ベクトルの向きによって被調整領域の向きを決定してよい。更に例えば、被調整領域が脚部領域であり、基準領域が股間部領域であってもよく、股間部領域における少なくとも３つのキーポイントに基づいて目標ベクトルを決定可能であり、目標ベクトルの方向を股間部領域の向きとし、股間部領域の向きによって脚部領域の向きを決定する。
【００６２】
別の実施例では、前記ステップＳ２２０は、更に、
前記目標ベクトルの向きによって前記被調整領域の向きを決定するステップＳ２２３を含んでよい。この時に、前記ステップＳ２３０は、目標ベクトルの向きに基づいて前記被調整領域を変形処理するステップを含んでよい。
【００６３】
本実施例では、被調整領域が第１種の領域である場合に、目標ベクトルの反対方向を被調整領域の向きとする。被調整領域が第２種の領域である場合に、目標ベクトルの方向を被調整領域の向きとする。
【００６４】
本実施例では、被調整領域の向きを決定しにくい時に、基準領域の向きによって被調整領域の向きを決定して処理効率を高くすることができる。
【００６５】
勿論、いくつかの実施例では、基準領域の向きを被調整領域の向きに写像せず、直接基準領域の向きによって被調整領域を変形処理してもよい。本実施例では、処理のステップを減少するために、基準領域の向きを用いて被調整領域を変形処理してよい。
【００６６】
いくつかの実施例では、上記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、ここで、第１キーポイントと第３キーポイントが第２キーポイントに対して対称である。前記ステップＳ２２０には、
前記基準領域における第１キーポイントと第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記基準領域における第３キーポイントと第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、を含んでよい。
【００６７】
前記第１キーポイント、第２キーポイント及び第３キーポイントは少なくとも２つのベクトルを構成可能であり、これらの少なくとも２つのベクトルが同一の直線に存在しないため、平面を形成できる。
【００６８】
例えば、基準領域が人体の股間部領域であることを例とすると、前記第１キーポイント、第２キーポイント及び第３キーポイントについては、図３に示す左股間部のキーポイント１を第１キーポイントとし、図３に示す根ノード０又は胴体中心のキーポイント７を第２キーポイントとし、図３に示す右股間部のキーポイント４を第３キーポイントとするようにしてよい。図５に示すように、股間部の向きを決定する時に、前記第１ベクトル（キーポイント４からキーポイント７に向かうベクトル）と第２ベクトル（キーポイント１からキーポイント７に向かうベクトル）に基づいて前記目標ベクトルを取得する。
【００６９】
図５に示すように、基準領域において前記第３キーポイントと第１キーポイントが前記第２キーポイントの両側に位置し、且つ前記第２キーポイントが前記第３キーポイントと第１キーポイントの中心対称の対称中心となる。例えば、人体を例とすると、左股間部と右股間部が腰部中心点に対して対称分布されており、そのため、対応する左股間部のキーポイントと右股間部のキーポイントが腰部中心点に対して対称分布されている。
【００７０】
いくつかの実施例では、図５に示すように、基準領域が股間部であれば、前記第１ベクトルはキーポイント４からキーポイント７に向かうベクトルであってよく、第２ベクトルはキーポイント１からキーポイント７に向かうベクトルであってよく、第３ベクトルはキーポイント７がキーポイント１、キーポイント４及びキーポイント７の形成した平面に垂直であるベクトルであってよい。
【００７１】
いくつかの実施例では、基準領域が股間部であれば、前記第１ベクトルはキーポイント４からキーポイント０に向かうベクトルであってよく、第２ベクトルはキーポイント１からキーポイント０に向かうベクトルであってよい。
【００７２】
更に別の実施例では、前記基準領域が肩部であれば、前記第１ベクトルはキーポイント１１からキーポイント７に向かうベクトルであってよく、第２ベクトルはキーポイント１４からキーポイント７に向かうベクトルであってよい。
【００７３】
本実施例では、生体の対称部位が例とされるため、基準領域のキーポイントを選択する時に、選択される第１キーポイントと前記第３キーポイントは基準領域において第２キーポイントに対して対称である。
【００７４】
別の実施例では、前記第１ベクトルと前記第２ベクトルに基づいて平面を構築し、この平面の法線ベクトルは基準領域の向きとなってよい。
【００７５】
例えば、前記第１ベクトルと前記第２ベクトルに基づいて前記基準領域の向きを決定する前記ステップは、
前記第１ベクトルと前記第２ベクトルの外積を計算して目標ベクトルを得るステップを含む。
【００７６】
本実施例では、前記第１ベクトルと前記第２ベクトルの外積を計算して、前記第１ベクトルと第２ベクトルの構成した平面の法線ベクトルを得て目標ベクトルとしてよく、更に目標ベクトルの方向によって前記基準領域の向きを決定してよい。
【００７７】
別の実施例では、前記ステップＳ２３０には、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うステップを含んでよく、ここで、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対である。
【００７８】
上記撮影方向が上記画像を撮影する撮影デバイス（カメラ、監視カメラ、ビデオカメラを含む）の光軸の方向ベクトルの方向であってよい。
【００７９】
本実施例では、被調整領域を変形処理することによって、被調整領域の形状を調整できる。ここで、被調整領域の形状の調整は、被調整領域の面積の拡大、被調整領域の面積の縮小、被調整領域の輪郭の調整の中の少なくとも一項を含む。
【００８０】
例えば、体が痩せているユーザにとって、臀部を大きくする等を要求することがあり、そのようにこのユーザを含む画像を変形処理して画像における臀部領域を拡大してよい。更に例を挙げると、体がふくよかなユーザにとって、臀部を痩せさせる等を要求することがあり、そのようにこのユーザを含む画像を変形処理して画像における臀部領域を縮小してよい。
【００８１】
例えば、体が痩せているユーザにとって、胸を大きくする等を要求することがあり、そのようにこのユーザを含む画像を変形処理して画像における胸部領域を拡大してよい。更に例を挙げると、体がふくよかなユーザにとって、胸を痩せさせる等を要求することがあり、そのようにこのユーザを含む画像を変形処理して画像における胸部領域を縮小してよい。
【００８２】
被調整領域が対称領域であるので、被調整領域を第１サブ領域と第２サブ領域に分けてよい。図６に示すように、人体における被調整領域はいずれも中心線に対して対称であり、即ち、被調整領域は中心線に対して対称である。
【００８３】
例えば、前記被調整領域が臀部であることを例とすると、前記第１サブ領域が左臀部であれば、第２サブ領域が右臀部であり、第１サブ領域が右臀部であれば、第２サブ領域が左臀部である。更に例を挙げると、前記被調整領域が胸部であることを例とすると、第１サブ領域が人体の右胸であれば、第２サブ領域が人体の左胸であり、第１サブ領域が人体の左胸であれば、第２サブ領域が人体の右胸である。ここの人体の左臀部、右臀部、左胸及び右胸がいずれも人体の左右部分として区別されることを注意すべきである。
【００８４】
被調整領域の向きが撮影方向と同様であるか、被調整領域の向きが撮影方向と反対である場合に、第１サブ領域と第２サブ領域が同じであり、この時に第１サブ領域と第２サブ領域に対して同じ変形処理を行ってよい。被調整領域の向きが撮影方向と異なるか、被調整領域の向きが撮影方向の反対方向と異なる場合に、第１サブ領域と第２サブ領域が異なり（面積が異なる場合、輪郭が異なる場合を含む）、第１サブ領域と第２サブ領域に対して同じ変形処理を行えば、変形処理後の被調整領域が奇形的になる（例えば、変形処理後の被調整領域の割合に違和感がある）。従って、第１サブ領域の面積と第２サブ領域の面積に応じて第１サブ領域への変形処理と第２サブ領域への変形処理を決定してよく、それによって変形処理後の被調整領域が奇形的になる確率を低減する。
【００８５】
可能な一実施形態では、目標ベクトルと第１基準ベクトルとの間の夾角（以下、第１夾角という）、目標ベクトルと第２基準ベクトルとの間の夾角（以下、第２夾角という）によって第１サブ領域の面積と第２サブ領域の面積との大小関係（以下、面積関係という）を決定可能であり、更に面積関係によって第１サブ領域の変形処理と第２サブ領域の変形処理を決定可能である。
【００８６】
本開示の実施例では、変形処理は被調整領域の面積の調整を含み、即ち、第１サブ領域の面積の調整と第２サブ領域の面積の調整を含む。第１サブ領域の面積と第２サブ領域の面積との間の割合（以下、第１面積割合という）によって第１サブ領域の面積調整量と第２サブ領域の面積調整量の割合（以下、第２面積割合という）を決定する。第２面積割合と第１面積割合を正の相関関係にすることによって、変形処理後の第１サブ領域と変形処理後の第２サブ領域の割合（変形処理後の第１サブ領域の面積と変形処理後の第２サブ領域の面積の割合を含む）を一層違和感のないようにし、更に変形処理後の被調整領域が奇形的になる確率を低減し、変形処理の効果をより自然にすることができる。
【００８７】
可能な一実施形態では、第１夾角と第２夾角によって第１サブ領域の面積調整量（以下、第１面積調整量という）と第２サブ領域の面積調整量（以下、第２面積調整量という）を決定可能である。第１面積調整量に応じて第１サブ領域の面積を調整し、第２面積調整量に応じて前記第２サブ領域の面積を調整して、被調整領域の変形処理を達成する。
【００８８】
第１夾角と第２夾角が同じである場合に、目標ベクトルが第１基準ベクトルに垂直であり且つ目標ベクトルが第２基準ベクトルに垂直であることを示し、即ち第１サブ領域の面積と第２サブ領域の面積が同じである。従って、第１面積調整量と第２面積調整量を同じにしてよい。例えば、股間部領域の向きが撮影方向と同じであれば、第１夾角と第２夾角が同じであり、その時に第１面積調整量と第２面積調整量が同じであり、そのようにして、左臀部領域を外へ拡大すれば、右臀部領域をも外へ拡大し、左臀部領域を内へ縮小すれば、右臀部領域をも内へ縮小する。
【００８９】
目標ベクトルの方向が第１基準ベクトルの方向と同様であるか、目標ベクトルの方向が第２基準ベクトルの方向と同様である場合に、画像に第１サブ領域と第２サブ領域の一方しかを含まないことを示し、この時に、第１サブ領域又は第２サブ領域を調整すればよい。例えば、臀部を例とすると、画像に右臀部領域しかを含まない場合に、右臀部領域（即ち、第１サブ領域と第２サブ領域の一方）のみを調整すればよく、画像に左臀部領域しかを含まない場合に、左臀部領域のみを調整すればよい。
【００９０】
第１夾角と第２夾角が同じでなく、目標ベクトルの方向が第１基準ベクトルの方向と異なり、且つ目標ベクトルの方向が第２基準ベクトルの方向と異なる場合に、第１サブ領域の面積と第２サブ領域の面積が同じでないことを示す。第１夾角と第２夾角との間の差が大きいほど、第１サブ領域の面積と第２サブ領域の面積との間の差が大きい。変形処理後の被調整領域の割合を一層違和感のないようにするために、第１夾角と第２夾角との間の差（以下、夾角差という）によって第１面積調整量と第２面積調整量を決定してよい。可能な一実施形態では、第１夾角と第２夾角の割合を第２割合とし、そのように第２割合が夾角差に対して正の相関関係にあるので、第２割合によって第１面積調整量と第２面積調整量を決定できる。第１面積調整量と第２面積調整量の割合を第１割合とする。第２割合に基づいて、第１割合と第２割合を正の相関関係にするように、第１面積調整量と第２面積調整量を決定できる。例えば、第１割合＝第２割合×ｃであり、ただし、ｃが正数である。別の可能な実施形態では、第１サブ領域と第２サブ領域のうち、面積が大きいサブ領域を大きいサブ領域とし、第１サブ領域と第２サブ領域のうち、面積が小さいサブ領域を小さいサブ領域とし、そのように夾角差の絶対値が大きいサブ領域の面積に対して正の相関関係にあり、夾角差の絶対値が小さいサブ領域の面積に対して負の相関関係にある。従って、夾角差の絶対値に基づいて、大きいサブ領域の面積調整量が夾角差の絶対値に対して正の相関関係にあり、且つ小さいサブ領域の面積調整量が夾角差の絶対値に対して負の相関関係にあるように、大きいサブ領域の面積調整量と小さいサブ領域の面積調整量（即ち、第１面積調整量と第２面積調整量）を決定できる。例えば、大きい領域の面積調整量＝夾角差の絶対値×ｄであり、ただし、ｄが正数であり、小さい領域の面積調整量＝１／夾角差の絶対値である。
【００９１】
被調整領域が胸部領域であることを例とし、左胸領域を第１サブ領域とし、右胸領域を第２サブ領域とする。左胸領域の面積が右胸領域の面積より大きい場合に、第１面積調整量が第２面積調整量より大きく、左胸領域の面積が右胸領域の面積より小さい場合に、第１面積調整量が第２面積調整量より小さい。
【００９２】
被調整領域が臀部領域であることを例とし、左臀部領域を第１サブ領域とし、右臀部領域を第２サブ領域とする。左臀部領域の面積が右臀部領域の面積より大きい場合に、第１面積調整量が第２面積調整量より大きく、左臀部領域の面積が右臀部領域の面積より小さい場合に、第１面積調整量が第２面積調整量より小さい。
【００９３】
以上、被調整領域が胸部又は臀部であることを例として説明したが、具体的に実施する時に、前記被調整領域は臀部と胸部に限定されなく、例えば、更に、肩部領域、脚部領域又は背中領域等を含んでもよい。
【００９４】
本実施例では、被調整領域の面積を調整する実施形態は、被調整領域の輪郭の形状を変化させず、被調整領域の面積を調整するもの、被調整領域の輪郭を調整することによって被調整領域の面積を調整するものの中の少なくとも１種を含むことを理解すべきである。
【００９５】
要するに、前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、第１面積調整量を前記第２面積調整量より大きくし、前記第１サブ領域の面積が前記第２サブ領域の面積より小さい場合に、前記第１面積調整量を前記第２面積調整量より小さくすることで、変形処理後の被調整領域の割合をより調和することができる。
【００９６】
本開示の図７〜図９は臀部を大きくする変形の効果模式図である。
【００９７】
図７において人体の股間部領域が左に向かっており、より左の臀部領域が画像において隠れているので、人体のより右の臀部領域のみに対して臀部を大きくする処理を行えばよく、図７に示すように、臀部を大きくする処理（即ち、上記変形処理）を行った後、図７の右図において右臀部領域が明らかにより高く盛り上がっている。
【００９８】
図８において人体の股間部領域が右に向かっており、人体のより右の臀部領域が画像において隠れているので、人体のより左の臀部領域のみに対して臀部を大きくする処理を行えばよく、図８に示すように、臀部を大きくする処理を行った後、図８の右図において左臀部領域が明らかにより高く盛り上がっている。
【００９９】
図９に示す基準領域（即ち、臀部領域）の向きが第１基準ベクトルと異なり、且つ基準領域の向きが第２基準ベクトルの方向と異なり、臀部領域が臀部を大きくする処理によって奇形的になることを回避するために、第１夾角（基準領域の向きと第１基準ベクトルとの間の夾角）と第２夾角（基準領域と第２基準ベクトルとの間の夾角）によって左臀部領域の面積と右臀部領域の面積との間の大小関係を決定して、臀部を大きくする処理を実現するようにしてよい。図９において、左臀部領域の面積が右臀部領域の面積より小さいので、左臀部領域の面積調整量が右臀部領域の面積調整量より小さい。
【０１００】
図１０に示すように、本実施例は、
画像内の対象の基準領域のキーポイントを取得するための取得ユニット１１と、
前記基準領域のキーポイントによって前記基準領域の向きを決定するための決定ユニット１２と、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うための処理ユニット１３と、を含む画像処理装置を提供する。
【０１０１】
本願のいずれか１つの実施形態によれば、前記決定ユニット１２は、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、に用いられる。
【０１０２】
本願のいずれか１つの実施形態によれば、前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記決定ユニット１２は、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、に用いられる。
【０１０３】
本願のいずれか１つの実施形態によれば、前記決定ユニット１２は、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るために用いられる。
【０１０４】
本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、に用いられる。
【０１０５】
本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、に用いられる。
【０１０６】
本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うために用いられ、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対である。
【０１０７】
本願のいずれか１つの実施形態によれば、前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記処理ユニット１３は、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するために用いられる。
【０１０８】
本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、に用いられる。
【０１０９】
本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、に用いられる。
【０１１０】
本願のいずれか１つの実施形態によれば、前記処理ユニット１３は、更に、
前記第１夾角が前記第２夾角に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するために用いられる。
【０１１１】
図１１に示すように、本実施例は、
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することで前記１つ又は複数の実施例で提供された画像処理方法、例えば、図２、及び図４に示す画像処理方法の中の１種又は複数種の方法を実現できるプロセッサと、を含む画像デバイスを提供する。
【０１１２】
このメモリは、ランダムアクセスメモリ、読み出し専用メモリ、フラッシュメモリ等のような様々なメモリであってよい。前記メモリは、例えば、コンピュータ実行可能コマンド等の情報を記憶するために用いてよい。前記コンピュータ実行可能コマンドは、例えば、目標プログラムコマンド及び／又はソースプログラムコマンド等のような様々なプログラムコマンドであってよい。
【０１１３】
前記プロセッサは、例えば、中央処理装置、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルアレイ、デジタル信号プロセッサ、特定用途向け集積回路又は画像プロセッサ等の様々なプロセッサであってよい。
【０１１４】
前記プロセッサはバスを介して前記メモリに接続されてよい。前記バスは、集積回路バス等であってよい。
【０１１５】
ある実施例では、前記画像デバイスは、更に、ネットワークインターフェイス、例えば、ローカルネットワークインターフェース、送受信アンテナ等を含む通信インターフェイスを含んでよい。前記通信インターフェイスは同様に前記プロセッサに接続され、情報送受信を実行可能である。
【０１１６】
ある実施例では、前記電子機器は、例えば、キーボード、タッチパネル等の各種の入出力装置を含んでよいマンマシンインターフェイスを更に含む。
【０１１７】
本実施例は、コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが実行されると、前記１つ又は複数の実施例で提供された画像処理方法、例えば、図２及び図４に示す画像処理方法の中の１種又は複数種の方法を実現可能であるコンピュータ記憶媒体を提供する。
【０１１８】
前記コンピュータ記憶媒体は、例えば、ＣＤ、フロッピーディスク、ハードディスク、磁気テープ、光ディスク、ＵＳＢメモリ又はモバイルハードディスク等のような記録機能を有する各種記録媒体であってよい。前記コンピュータ記憶媒体は非一時的記憶媒体であってもよく、プロセッサがそれを読み取ることができ、それによってコンピュータ記憶媒体に記憶されているコンピュータ実行可能コマンドがプロセッサにより取得され実行されると、前述したいずれか１つの技術的解決手段で提供された情報処理方法を実現可能であり、例えば、端末装置に用いられる情報処理方法又はサーバに用いられる情報処理方法を実行可能である。
【０１１９】
本実施例は、コンピュータ実行可能コマンドを含むコンピュータプログラム製品であって、前記コンピュータ実行可能コマンドが実行されると、前記１つ又は複数の実施例で提供された画像処理方法、例えば、図２及び図４に示す画像処理方法の中の１種又は複数種の方法を実現可能であるコンピュータプログラム製品を更に提供する。
【０１２０】
前記コンピュータプログラム製品は、コンピュータ記憶媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよい。
【０１２１】
なお、本願が提供するいくつかの実施例では、開示した機器および方法は、他の形態で実現することができることを理解すべきである。以上に記載の機器の実施例は例示的なものに過ぎず、例えば、前記ユニットの分割は、論理機能の分割に過ぎず、実際に実現する場合に別の形態で分割してもよく、例えば、複数のユニットまたはコンポーネントは組み合わせてもよく、または別のシステムに統合してもよく、または一部の特徴を省略もしくは実行しなくてもよい。また、図示または説明した各構成要素の結合、または直接結合、または通信接続は、いくつかのインターフェイス、機器またはユニットを介した間接結合または通信接続であり得、電気的、機械的または他の形態であり得る。
【０１２２】
別々の部材として前述したユニットは物理的に分離されてもされなくてもよく、ユニットとして示された部材は物理的ユニットであってもなくてもよく、一箇所にあっても複数のネットワークユニットに分散してもよく、本実施例の解決手段の目的を達成するには、実際の必要に応じて一部または全てのユニットを選択することができる。
【０１２３】
また、本開示の各実施例における各機能ユニットは全て一つの処理モジュールに統合されてもよく、一つのユニットとして別々に使用されてもよく、二つ以上で一つのユニットに統合されてもよく、上記統合されたユニットはハードウェアの形で、またはハードウェアとソフトウェアを組み合わせた機能ユニットの形で実現され得る。
【０１２４】
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完了できることを理解でき、前記プログラムは、携帯型記憶装置、読み取り専用メモリ（ＲＯＭ：Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記各方法の実施例を含むステップを実行する。
【０１２５】
以上で説明したのは本開示の具体的な実施形態に過ぎず、本開示の保護範囲がそれに限定されるものでなく、本開示に記載された技術範囲内に当業者に容易に想到される変化又は取り替えは、全て本開示の保護範囲に含まれる。従って、本開示の保護範囲は請求項の保護範囲に準ずるべきである。
【図１】
2021518023.tif 000003
【図２】
2021518023.tif 000004
【図３】
2021518023.tif 000005
【図４】
2021518023.tif 000006
【図５】
2021518023.tif 000007
【図６】
2021518023.tif 000008
【図７】
2021518023.tif 000009
【図８】
2021518023.tif 000010
【図９】
2021518023.tif 000011
【図１０】
2021518023.tif 000012
【図１１】
2021518023.tif 000013
【手続補正書】
【提出日】令和2年10月20日(2020.10.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画像内の対象の基準領域のキーポイントを取得するステップと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するステップと、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うステップと、を含むことを特徴とする画像処理方法。
【請求項２】
前記基準領域のキーポイントによって前記基準領域の向きを決定する前記ステップは、
同一直線に存在しない前記基準領域内の少なくとも３つのキーポイントを取得するステップと、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定するステップと、
前記目標ベクトルの方向を前記基準領域の向きとするステップと、を含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも３つのキーポイントは第１キーポイント、第２キーポイント、第３キーポイントを含み、前記第１キーポイントと前記第３キーポイントが前記第２キーポイントに対して対称であり、
前記少なくとも３つのキーポイントに基づいて目標ベクトルを決定する前記ステップは、
前記第１キーポイントと前記第２キーポイントに基づいて第１ベクトルを構築するステップと、
前記第３キーポイントと前記第２キーポイントに基づいて第２ベクトルを構築するステップと、
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定するステップと、を含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記第１ベクトルと前記第２ベクトルに基づいて前記目標ベクトルを決定する前記ステップは、
前記第１ベクトルと前記第２ベクトルの外積を計算して前記目標ベクトルを得るステップを含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記基準領域の向きに基づいて被調整領域の向きを決定するステップと、
前記被調整領域の向きに基づいて前記対象の被調整領域に対して変形処理を行うステップと、を含むことを特徴とする請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記基準領域の向きに基づいて被調整領域の向きを決定する前記ステップは、
前記被調整領域が臀部領域を含む第１種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと反対であると決定するステップと、
前記被調整領域が顔部領域、肩部領域、股間部領域を含む第２種の領域に属する場合に、前記基準領域の向きが前記被調整領域の向きと同じであると決定するステップと、を含むことを特徴とする請求項５に記載の方法。
【請求項７】
前記基準領域の向きに基づいて前記対象の被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行うステップを含み、前記第１基準ベクトルの方向は前記画像の撮影方向に垂直であり、且つ前記第２基準ベクトルの方向と反対であることを特徴とする請求項２〜４のいずれか一項に記載の方法。
【請求項８】
前記被調整領域は前記被調整領域の中心線に対して対称である第１サブ領域と第２サブ領域を含み、
前記目標ベクトル、第１基準ベクトル及び第２基準ベクトルによって前記被調整領域に対して変形処理を行う前記ステップは、
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整するステップを含むことを特徴とする請求項７に記載の方法。
【請求項９】
前記目標ベクトルの方向が前記第１基準ベクトルの方向と異なり、且つ前記第２基準ベクトルの方向と異なる場合に、前記目標ベクトルと前記第１基準ベクトルとの間の第１夾角、及び前記目標ベクトルと前記第２基準ベクトルとの間の第２夾角によって前記第１サブ領域の面積と前記第２サブ領域の面積を調整する前記ステップは、
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定するステップと、
前記第１面積調整量に応じて前記第１サブ領域の面積を調整し、前記第２面積調整量に応じて前記第２サブ領域の面積を調整するステップと、を含むことを特徴とする請求項８に記載の方法。
【請求項１０】
前記第１夾角と前記第２夾角によって前記第１サブ領域の第１面積調整量と前記第２サブ領域の第２面積調整量を決定する前記ステップは、
前記第１夾角が前記第２夾角より大きく、且つ前記第１サブ領域の面積が前記第２サブ領域の面積より大きい場合に、前記第１面積調整量と前記第２面積調整量の割合を第１割合とし、前記第１夾角と前記第２夾角の割合を第２割合とするステップと、
前記第１割合と前記第２割合が正の相関するように、前記第２割合によって前記第１面積調整量と前記第２面積調整量を決定するステップと、を含むことを特徴とする請求項９に記載の方法。
【請求項１１】
前記第１夾角が前記第２夾角に等しい場合に、前記第１面積調整量が前記第２面積調整量と等しいと決定するステップを更に含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
画像内の対象の基準領域のキーポイントを取得するための取得ユニットと、
前記基準領域のキーポイントによって前記基準領域の向きを決定するための決定ユニットと、
前記基準領域の向きに基づいて前記基準領域と同じか異なる前記対象の被調整領域に対して変形処理を行うための処理ユニットと、を含むことを特徴とする画像処理装置。
【請求項１３】
メモリと、
前記メモリに接続され、前記メモリに記憶されているコンピュータ実行可能コマンドを実行することで請求項１〜１１のいずれか一項で提供された画像処理方法を実現可能であるプロセッサと、を含むことを特徴とする画像処理装置。
【請求項１４】
コンピュータ実行可能コマンドが記憶されているコンピュータ記憶媒体であって、前記コンピュータ実行可能コマンドが請求項１〜１１のいずれか一項で提供された画像処理方法を実現可能であるコンピュータ記憶媒体。
【請求項１５】
コンピュータに、請求項１〜１１のいずれか一項に記載の画像処理方法を実行させるように構成されるコンピュータプログラム。
【国際調査報告】
2021518023.tif 000014
2021518023.tif 000015
2021518023.tif 000016
2021518023.tif 000017
2021518023.tif 000018