(57)【要約】      （修正有）【課題】ユーザによって描かれた画像について客観的な評価及び安定した評価結果を得ることができ、コスト上昇を抑える、画像評価装置、画像評価方法及びコンピュータプログラムを提供する。【解決手段】画像評価装置１は、骨格構造を有するオブジェクトの画像を取得する取得部と、取得部により取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定する推定部と、推定部により推定した各部位と予め記憶された教師データとを比較することにより、前記画像の前記教師データからの差分を評価する評価部とを備える。【選択図】図１
2019175321.tif 000002
【特許請求の範囲】
【請求項１】
骨格構造を有するオブジェクトの画像を取得する取得部と、
該取得部により取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定する推定部と、
該推定部により推定した各部位と予め記憶された教師データとを比較することにより、前記画像の前記教師データからの差分を評価する評価部と
を備える画像評価装置。
【請求項２】
前記評価部による評価を出力する出力部
を備える請求項１に記載の画像評価装置。
【請求項３】
前記評価部による評価に基づき、前記画像に対する助言を含むメッセージを生成し、生成したメッセージを出力するメッセージ出力部
を備える請求項１に記載の画像評価装置。
【請求項４】
複数種の教師データを記憶する記憶部と、
前記推定部による推定結果に基づき、前記記憶部に記憶された複数種の教師データの中から、前記画像に対する教師データを選択する選択部と
を備える請求項１から請求項３の何れか１つに記載の画像評価装置。
【請求項５】
前記推定部による推定結果を用いて、前記画像に描画されているオブジェクトの属性を判別する判別部
を備え、
前記評価部は、前記判別部により判別された属性に応じて、前記画像を評価する
請求項１から請求項４の何れか１つに記載の画像評価装置。
【請求項６】
前記評価部は、推定した部位の描画面積、又は推定した部位における骨格の長さを比較することにより、前記画像の前記教師データからの差分を評価する
請求項１から請求項５の何れか１つに記載の画像評価装置。
【請求項７】
前記教師データは、骨格構造を有するオブジェクトの教師画像に係る画像データであり、
前記評価部は、前記取得部が取得した画像について推定した各部位と、前記教師画像について推定した各部位とを比較することにより、前記画像の前記教師画像からの差分を評価する
請求項１から請求項６の何れか１つに記載の画像評価装置。
【請求項８】
前記オブジェクトは、人物を含む生物である
請求項１から請求項７の何れか１つに記載の画像評価装置。
【請求項９】
骨格構造を有するオブジェクトの画像を取得し、
取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定し、
推定した各部位と予め記憶された教師データとを比較することにより、前記画像の前記教師データからの差分を評価する
処理をコンピュータにより実行する画像評価方法。
【請求項１０】
コンピュータに、
骨格構造を有するオブジェクトの画像を取得し、
取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定し、
推定した各部位と予め記憶された教師データとを比較することにより、前記画像の前記教師データからの差分を評価する
処理を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像評価装置、画像評価方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、デジタルカメラなどにより撮像された撮像画像について、画像補正の要否判断、若しくは画像の取捨選択のために、撮像画像を自動的に評価する画像評価装置が存在する。
【０００３】
例えば、特許文献１には、撮像画像の視覚特性（明度、彩度、色の偏り、明度の分散、彩度の分散、画像の粗さ、画像のぼけなど）に基づいて、撮像画像を評価する画像評価装置が記載されている。
【０００４】
また、特許文献２には、撮像時のブレや露出不良などが発生している箇所を画像解析により検出し、検出結果に応じて撮像画像を評価する画像評価装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２７９４２１号公報
【特許文献２】特開２００５−３９５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１及び２に開示されている評価手法は、デジタルカメラなどにより撮像された撮像画像について適用される手法であり、当該手法を、ユーザの手により描かれたデッサンやイラストに適用することは不可能である。
【０００７】
ユーザの手により描かれた画像に対する評価は、一般的には、人の主観的な判断により行われており、客観的な評価や安定した評価結果を得ることは困難であるという問題点を有している。また、人的作業を伴うため、コストを押し上げる要因となっていた。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、ユーザにより描かれた画像について客観的な評価及び安定した評価結果を得ることができ、コストの上昇を抑えることができる画像評価装置、画像評価方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
一態様に係る画像評価装置は、骨格構造を有するオブジェクトの画像を取得する取得部と、該取得部により取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定する推定部と、該推定部により推定した各部位と予め記憶された教師データとを比較することにより、前記画像の前記教師データからの差分を評価する評価部とを備える。
【００１０】
一態様に係る画像評価方法は、骨格構造を有するオブジェクトの画像を取得し、取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定し、推定した各部位と予め記憶された教師データとを比較することにより、前記画像の前記教師データからの差分を評価する処理をコンピュータにより実行する。
【００１１】
一態様に係るコンピュータプログラムは、コンピュータに、骨格構造を有するオブジェクトの画像を取得し、取得した画像の前記オブジェクトの骨格により区分される複数の部位を推定器を用いて推定し、推定した各部位と予め記憶された教師データとを比較することにより、前記画像の前記教師データからの差分を評価する処理を実行させるためのコンピュータプログラムである。
【発明の効果】
【００１２】
本願によれば、ユーザにより描かれた画像について客観的な評価及び安定した評価結果を得ることができ、コストの上昇を抑えることができる。
【図面の簡単な説明】
【００１３】
【図１】本実施の形態に係る画像評価装置の内部構成を示すブロック図である。
【図２】評価手法の概要を説明する説明図である。
【図３】評価結果の出力例を示す模式図である。
【図４】実施の形態１に係る画像評価装置が実行する処理の手順を説明するフローチャートである。
【図５】実施の形態２に係る画像評価装置が実行する処理の手順を説明するフローチャートである。
【図６】実施の形態３に係る画像評価装置が実行する処理の手順を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
（実施の形態１）
図１は本実施の形態に係る画像評価装置１の内部構成を示すブロック図である。本実施の形態に係る画像評価装置１は、パーソナルコンピュータ、タブレット端末等の情報処理装置であり、制御部１１、記憶部１２、入力部１３、通信部１４、操作部１５、表示部１６、及び推定器１７を備える。
【００１５】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備える。制御部１１が備えるＲＯＭには、上記ハードウェア各部の動作を制御するための制御プログラム等が記憶される。制御部１１内のＣＰＵは、ＲＯＭに記憶された制御プログラム及び後述する記憶部１２に記憶された各種プログラムを実行し、上記ハードウェア各部の動作を制御することにより、装置全体を本願の画像評価装置として機能させる。制御部１１が備えるＲＡＭには、各種プログラムの実行中に一時的に利用されるデータが記憶される。
【００１６】
なお、制御部１１は上記の構成に限定されるものではなく、シングルコアＣＰＵ、マルチコアＣＰＵ、ＧＰＵ（Graphics Processing Unit）、マイコン、揮発性又は不揮発性のメモリ等を含む１又は複数の処理回路であればよい。また、制御部１１は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。
【００１７】
記憶部１２は、ＳＲＡＭ（Static Random Access Memory）、フラッシュメモリ、ハードディスクなどを用いた記憶装置を備える。記憶部１２には、制御部１１に実行させる各種プログラム、及び各種プログラムの実行に必要なデータ等が記憶される。記憶部１２に記憶されるプログラムには、ユーザにより描かれた画像を評価するために必要な処理を画像評価装置１に実行させるためのコンピュータプログラムが含まれていてもよい。また、記憶部１２に記憶されるデータには、ユーザが画像を描く際の手本となる手本画像（以下、教師画像ともいう）に係る画像データが含まれていてもよい。
【００１８】
なお、記憶部１２に記憶されるプログラムは、当該プログラムを読み取り可能に記録した記録媒体Ｍにより提供されてもよい。記録媒体Ｍは、例えば、ＳＤ（Secure Digital）カード、マイクロＳＤカード、コンパクトフラッシュ（登録商標）などの可搬型のメモリである。この場合、制御部１１は、不図示の読取装置を用いて記録媒体Ｍからプログラムを読み取り、読み取ったプログラムを記憶部１２にインストールする。また、記憶部１２に記憶されるプログラムは、通信部１４を介した通信により提供されてもよい。この場合、制御部１１は、通信部１４を通じてプログラムを取得し、取得したプログラムを記憶部１２にインストールする。
【００１９】
入力部１３は、スキャナ装置、ペンタブレット装置などの画像入力デバイスを接続するインタフェースを備える。本実施の形態に係る画像評価装置１は、入力部１３に接続されたスキャナ装置、ペンタブレット装置などの画像入力デバイスを通じて、ユーザにより描かれた画像を取得する。
【００２０】
通信部１４は、インターネット網などの通信網（不図示）に接続するための通信インタフェースを備え、外部へ通知すべき各種情報を送信すると共に、外部から送信される各種情報を受信する。
【００２１】
操作部１５は、キーボード、タッチパネルなどの入力インタフェースを備えており、各種の操作情報や設定情報を受付ける。制御部１１は、操作部１５から入力される操作情報に基づき適宜の制御を行い、必要に応じて設定情報を記憶部１２に記憶させる。
【００２２】
表示部１６は、液晶表示パネル、有機ＥＬ（Electro Luminescence）表示パネル等の表示デバイスを備えており、制御部１１から出力される制御信号に基づいて、ユーザに通知すべき情報を表示する。
【００２３】
推定器１７は、後述する姿勢推定処理及び領域推定処理を実行する処理回路を備える。姿勢推定処理及び領域推定処理の具体的な処理内容については後に詳述することとするが、推定器１７では、入力部１３を通じて取得した画像に含まれる部位の推定を行い、推定結果を制御部１１に出力する。
【００２４】
なお、本実施の形態では、画像評価装置１の内部に推定器１７を備える構成としたが、画像評価装置１の外部に推定器１７を備える構成としてもよい。例えば、画像評価装置１の制御部１１は、通信部１４を介して推定器１７にアクセス可能であってもよい。また、本実施の形態では、制御部１１とは別に推定器１７を備える構成としたが、推定器１７で実行する姿勢推定処理及び領域推定処理を制御部１１の内部にて実行する構成であってもよい。この場合、画像評価装置１は、ハードウェアとしての推定器１７を備えていなくてもよい。
【００２５】
また、本実施の形態では、推定器１７が姿勢推定処理及び領域推定処理の双方を実行する構成としたが、姿勢推定処理を実行する推定器と、領域推定処理を実行する推定器とを個別に設ける構成であってもよい。
【００２６】
本実施の形態に係る画像評価装置１は、例えば表示部１６に手本画像を表示させることにより、ユーザに手本画像を提示する。画像評価装置１は、手本画像を元に描かれたユーザによる画像を入力部１３を通じて取得し、取得した画像についての評価を行う。
【００２７】
以下、手本画像として人物を含む画像をユーザに提示し、ユーザによって描かれた画像（人物画像）について評価を行う構成について説明を行う。
【００２８】
図２は評価手法の概要を説明する説明図である。画像評価装置１は、（１）人物画像の取得処理、（２）姿勢推定処理、（３）領域推定処理、及び（４）人物画像の評価処理を順次実行することにより、ユーザによって描かれた人物画像の評価を行う。
【００２９】
（１）人物画像の取得処理
画像評価装置１は、入力部１３に接続された画像入力デバイスを通じて、ユーザにより描かれた人物画像を取得することが可能である。例えば、入力部１３に接続されたスキャナ装置を用いる場合、画像評価装置１は、記録紙に描かれた人物画像を光学的に読み取ることにより、各画素が階調値（ＲＧＢ）により記述されたデジタル形式の画像データとして人物画像を取得することができる。画像評価装置１は、取得した人物画像をＪＰＥＧ（Joint Photographic Experts Group）等の適宜のフォーマットで記憶部１２に記憶させる。
【００３０】
なお、本実施の形態では、入力部１３に接続された画像入力デバイスを通じてユーザにより描かれた画像を取得する構成としたが、通信部１４を介した通信により、ユーザにより描かれた画像を取得する構成であってもよい。また、画像評価装置１は、ユーザにより描かれた画像に係る画像データを記録した記録媒体（不図示）から画像データを読み取ることにより、画像を取得する構成であってもよい。更に、画像評価装置１が取得する画像は、グラフィックソフト等を用いて装置内で生成される画像であってもよい。
【００３１】
（２）姿勢推定処理
推定器１７は、取得した人物画像に基づいて人物姿勢の推定処理を行う。人物姿勢の推定処理では、例えば「Zhe Cao, 他３名, Realtime Multi-Person 2D Pose Estimation using Part Affinity Fiealds, arXiv : 1611.08050 (2017)」に開示されている手法を含む既存の姿勢推定技術を用いることができる。
【００３２】
上記文献に開示されている人物姿勢推定技術では、まず、入力画像（本実施の形態では人物画像）を例えばＶＧＧ１９（VGG: Visual Geometry Group）と同じ構造を有する畳み込みニューラルネットワーク（CNN : Convolutional Neural Network）に通して、解像度を８分の１に圧縮した特徴マップを抽出する。次いで、人体の各キーポイントをヒートマップ形式で推定するブランチと、各キーポイントが繋がり得る可能性をベクトルマップにより推定するブランチとを併用して、人体の各キーポイント及びキーポイント間の繋がりを推定する。そして、２つのブランチにより推定した各キーポイント及びキーポイント間の繋がり、並びにＶＧＧ１９により抽出した特徴マップを連結し、再度２つのブランチに入力する。このような２つのブランチへの入力を繰り返し実行することにより、推定精度を高めることができる。また、推定したキーポイント間の繋がりを基に、隣接するキーポイント同士を連結することにより、人体の骨格モデルを構築する。
【００３３】
図２に示した例は、入力された人物画像から頭部、首、肩、肘、手首、手、胸部、骨盤、股関節、膝、足首、足の部分をキーポイントとして推定し、隣接するキーポイント間を連結することにより構築された骨格モデルを示している。推定器１７は、人物姿勢の推定結果として、各キーポイントの座標Ｐi ＝（ｘi ，ｙi ）及び方向ベクトルＳｋｅｌｔｏｎk ＝Ｐi −Ｐj を取得する。ここで、ｉは１からＮ（Ｎはキーポイントの個数）までの整数値をとり、ｋは１からＫ（Ｋはスケルトンの個数）までの整数値をとる。
【００３４】
（３）領域推定処理
推定器１７は、取得した人物画像に基づいて人物領域の推定処理を行う。人物領域の推定処理では、例えば「Jonathan Long, 他２名, Fully Convolutional Networks for Semantic Segmentation, arXiv : 1411.4038 (2014)」に開示されている手法を含む既存の領域推定技術を用いることができる。
【００３５】
上記文献に開示されている領域推定技術では、ＶＧＧ又はＡｌｅｘＮｅｔの全結合層を畳み込み層に置き換えたＦＣＮ（Fully Convolutional Networks）に入力画像を入力することにより、入力画像を構成する各画素についてそれぞれが属する領域（セグメント）を推定する。
【００３６】
図２に示した例は、入力された人物画像から頭部、上腕、前腕、手、胴体、腰部、大腿部、脛部、足に該当する複数の領域に分類した例を示している。推定器１７は、人物領域の推定結果として、人物画像を構成する全画素について各画素が属する領域のラベルＳl を取得する。ここで、ｌは１からＬ（Ｌは分類されたセグメントの個数）までの整数値をとる。
【００３７】
（４）人物画像の評価処理
制御部１１は、推定器１７による人物姿勢及び人物領域の推定結果を利用して、ユーザによって描かれた人物画像に対する評価を行う。具体的には、人物画像に描かれている人物の上腕、前腕、手、胴体、腰部、大腿部、脛部、足など、骨格により区分される各部位の推定結果と、教師データと比較することにより、スコア（評価値）を求める。以下に示すスコアＡ〜スコアＥは、取得した画像（すなわちユーザによって描かれた人物画像）の教師データからの差分を評価した値を表している。ここで、教師データは、推定器１７を用いた教師画像の推定結果であってもよい。また、教師データは、教師画像に係る画像データであってもよい。この場合、制御部１１は、教師画像に係る画像データについて、推定器１７による推定結果を取得する。
【００３８】
例えば、制御部１１は、人物画像に描かれている人物の全体のバランスを評価するために、次式により、ユーザによって描かれた人物画像から得られる方向ベクトルと、教師画像から得られる方向ベクトルとの間のコサイン類似度をスコア（スコアＡ）として算出してもよい。コサイン類似度は、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近い値を出力し、類似していない場合に０に近い値を出力する。
【００３９】
【数１】
2019175321.tif 000003
【００４０】
ここで、Ｓｋｅｌｔｏｎk はユーザによって描かれた人物画像から得られる方向ベクトル、Ｓｋｅｌｔｏｎ’kは教師画像から得られる方向ベクトル、Ｋはスケルトンの個数を表している。教師画像の方向ベクトルＳｋｅｌｔｏｎ’kは、ユーザによる人物画像と同様に、姿勢推定処理により教師画像から得られるベクトルである。制御部１１は、人物画像を評価する際に、手本となった教師画像について姿勢推定処理を行い、得られた教師画像の方向ベクトルＳｋｅｌｔｏｎ’k を用いてスコアを算出してもよい。また、制御部１１は、事前に教師画像から方向ベクトルＳｋｅｌｔｏｎ’k を求めて記憶部１２に記憶させておき、人物画像を評価する際に、手本となった教師画像の方向ベクトルＳｋｅｌｔｏｎ’k を記憶部１２から読み出してスコアを算出してもよい。
【００４１】
また、制御部１１は、人物画像に描かれている人物の顔と胴体とのバランスを評価するために、次式により、顔面積と胴体面積との比率に基づくスコア（スコアＢ）として算出してもよい。このスコアは、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近く、類似していない場合に１より大きな（又は小さな）値を示す。
【００４２】
【数２】
2019175321.tif 000004
【００４３】
ここで、Ｓｉｚｅ（Ｓface）及びＳｉｚｅ（Ｓbody）は、それぞれユーザによって描かれた人物画像から推定される顔領域及び胴体領域の描画面積を表し、Ｓｉｚｅ（Ｓ’face）及びＳｉｚｅ（Ｓ’body）は、それぞれ教師画像から推定される顔領域及び胴体領域の描画面積を表している。なお、顔領域及び胴体領域の描画面積に代えて、領域推定処理により顔領域及び胴体領域に属すると推定された画素の個数をそれぞれ計数した値を用いてもよい。また、教師画像から推定される顔領域及び胴体領域の描画面積については、前述と同様に、人物画像を評価する際に教師画像から求めた値を用いてもよく、事前に求めておいた値を用いてもよい。
【００４４】
また、制御部１１は、人物画像に描かれている人物の腕の長さと太さとのバランスを評価するために、次式により、腕の長さと腕の描画面積との比率に基づくスコア（スコアＣ）を算出してもよい。このスコアは、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近く、類似していない場合に１より大きな（又は小さな）値を示す。
【００４５】
【数３】
2019175321.tif 000005
【００４６】
ここで、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎarm ）は、ユーザによって描かれた人物画像から得られる腕部分（上腕及び前腕）の方向ベクトルの長さを表し、Ｓｉｚｅ（Ｓarm ）は、ユーザによって描かれた人物画像から推定される腕領域の描画面積を表している。また、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’arm ）は、教師画像から得られる腕部分（上腕及び前腕）の方向ベクトルの長さを表し、Ｓｉｚｅ（Ｓ’arm ）は、教師画像から推定される腕領域の描画面積を表している。なお、腕領域の描画面積に代えて、領域推定処理により腕領域に属すると推定された画素の個数を計数した値を用いてもよい。また、教師画像から得られる腕部分の方向ベクトルの長さ及び腕領域の描画面積については、前述と同様に、人物画像を評価する際に教師画像から求めた値を用いてもよく、事前に求めておいた値を用いてもよい。
【００４７】
また、制御部１１は、人物画像に描かれている人物の脚の長さと太さとのバランスを評価するために、次式により、脚の長さと脚の描画面積との比率に基づくスコア（スコアＤ）を算出してもよい。このスコアは、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近く、類似していない場合に１より大きな（又は小さな）値を示す。
【００４８】
【数４】
2019175321.tif 000006
【００４９】
ここで、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎleg ）は、ユーザによって描かれた人物画像から得られる脚部分（大腿部及び脛部）の方向ベクトルの長さを表し、Ｓｉｚｅ（Ｓleg ）は、ユーザによって描かれた人物画像から推定される脚領域の描画面積を表している。また、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’leg ）は、教師画像から得られる脚部分（大腿部及び脛部）の方向ベクトルの長さを表し、Ｓｉｚｅ（Ｓ’leg ）は、教師画像から推定される脚領域の描画面積を表している。なお、脚領域の描画面積に代えて、領域推定処理により脚領域に属すると推定された画素の個数を計数した値を用いてもよい。また、教師画像から得られる脚部分の方向ベクトルの長さ及び脚領域の描画面積については、前述と同様に、人物画像を評価する際に教師画像から求めた値を用いてもよく、事前に求めておいた値を用いてもよい。
【００５０】
また、制御部１１は、人物画像に描かれている人物の身長に対する頭の大きさのバランスを評価するために、次式により、身長に対する頭の長さの比に基づくスコア（スコアＥ）を算出してもよい。このスコアは、ユーザによって描かれた人物画像が教師画像に類似している場合に１に近く、類似していない場合に１より大きな（又は小さな）値を示す。
【００５１】
【数５】
2019175321.tif 000007
【００５２】
ここで、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎhead）は、ユーザによって描かれた人物画像から得られる頭部に対応する方向ベクトルの長さを表し、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎheight）は、ユーザによって描かれた人物画像から得られる頭部、胴体部、脚部の方向ベクトルの長さ和を表している。また、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’head）は、ユーザによって描かれた教師画像から得られる頭部に対応する方向ベクトルの長さを表し、Ｌｅｎｇｔｈ（Ｓｋｅｌｔｏｎ’height）は、教師画像から得られる頭部、胴体部、脚部の方向ベクトルの長さ和を表している。また、教師画像から得られる各方向ベクトルの長さについては、前述と同様に、人物画像を評価する際に教師画像から求めた値を用いてもよく、事前に求めておいた値を用いてもよい。
【００５３】
以上のように、本実施の形態では、上述した評価項目に基づきスコアＡ〜スコアＥを算出する構成について説明したが、評価項目は上記に限定されるものではない。例えば、人物画像に描かれている人物の腕の曲がり具合、脚の曲がり具合、左右の腕の長さのバランス、左右の脚の長さのバランス等の適宜の評価項目を設定し、当該評価項目に基づいて人物画像を評価するために記述される演算式を用いてスコアを算出する構成としてもよい。
【００５４】
制御部１１は、上述した評価項目に基づき算出したスコアＡ〜スコアＥを含む評価結果を出力する。図３は評価結果の出力例を示す模式図である。制御部１１は、算出したスコアＡ〜スコアＥに基づきレーダーチャートを生成すると共に、ユーザにより描かれた人物画像に対する助言を含むメッセージを生成し、生成したレーダーチャート及びメッセージを表示部１６に表示することにより、評価結果を出力する。なお、制御部１１は、生成したレーダーチャート及びメッセージを表示部１６に表示する構成に代えて、通信部１４を通じてユーザが使用している端末装置へ送信する構成であってもよい。
【００５５】
また、評価結果の表示形態は、図３の例に限定されるものではなく、スコアの値自体を表示してもよく、棒グラフ、折れ線グラフ、円グラフ等のグラフ表示により評価結果を表示してもよい。
【００５６】
図４は実施の形態１に係る画像評価装置１が実行する処理の手順を説明するフローチャートである。画像評価装置１の制御部１１は、ユーザによって描かれた人物画像を例えば入力部１３を通じて取得する（ステップＳ１０１）。制御部１１は、入力部１３を通じて取得した人物画像を記憶部１２に記憶させる。
【００５７】
次いで、制御部１１は、取得した人物画像について、推定器１７を用いて姿勢推定処理及び領域推定処理を実行することにより、骨格により区分される複数の部位を人物画像上で推定する（ステップＳ１０２）。姿勢推定処理では、キーポイントの位置座標及び方向ベクトルにより各部位を推定し、領域推定処理では、人物画像を構成する各画素に割り当てるラベルにより各部位を推定する。なお、後述するステップＳ１０３において、姿勢推定処理で得られるキーポイントの位置座標及び方向ベクトルのみを用いて人物画像の評価を行う場合（例えばスコアＡ及びスコアＥのみを用いる場合）、制御部１１は、ステップＳ１０２で姿勢推定処理のみを実行してもよい。また、後述するステップＳ１０３において、領域推定処理で得られる領域の情報のみを用いて人物画像の評価を行う場合（例えばスコアＢのみを用いる場合）、制御部１１は、ステップＳ１０２で領域推定処理のみを実行してもよい。
【００５８】
次いで、制御部１１は、ステップＳ１０２の推定結果と教師データとを比較することにより、人物画像の評価を行う（ステップＳ１０３）。教師データは、記憶部１２に予め記憶された推定結果であってもよい。この場合、制御部１１は、教師画像の推定結果を記憶部１２から読み出し、ステップＳ１０２の推定結果と比較することにより、人物画像の評価を行う。また、教師データは、記憶部１２に予め記憶された教師画像の画像データであってもよい。この場合、制御部１１は、教師画像の画像データを記憶部１２から読み出し、ユーザによる人物画像と同様に、教師画像について、推定器１７を用いて姿勢推定処理及び領域推定処理を実行し、推定結果を取得する。そして、制御部１１は、ステップＳ１０２の推定結果と教師画像の推定結果とを比較することにより、人物画像の評価を行う。
【００５９】
制御部１１は、ステップＳ１０３において、例えば数１〜数５の演算式に従ってスコアを算出することにより、ユーザによって描かれた人物画像に対する評価を行う。また、制御部１１は、算出したスコアに基づき、図３に示すようなレーダーチャートを生成してもよく、人物画像に対する助言を含むメッセージを生成してもよい。
【００６０】
次いで、制御部１１は、人物画像の評価結果を出力する（ステップＳ１０４）。例えば、制御部１１は、生成したレーダーチャート及びメッセージを表示部１６に表示させることにより、評価結果の出力を行う。また、制御部１１は、生成したレーダーチャート及びメッセージをユーザが使用している端末装置へ送信することによって、評価結果の出力を行ってもよい。
【００６１】
以上のように、本実施の形態では、ユーザによって描かれた人物画像を客観的な指標に基づいて評価することができ、絵を描くことに不慣れな者や初学者等に適切なアドバイスを行うことが可能となる。
【００６２】
（実施の形態２）
実施の形態１では、定められた教師画像を手本としてユーザが描いた画像を取得し、取得した画像について評価を行う構成としたが、複数の教師画像を用意しておき、ユーザが描いた画像を基に手本となった教師画像を選択する構成であってもよい。
なお、画像評価装置１の内部構成については実施の形態１と同様であるため、その説明を省略することとする。
【００６３】
図５は実施の形態２に係る画像評価装置１が実行する処理の手順を説明するフローチャートである。画像評価装置１の制御部１１は、ユーザによって描かれた人物画像を例えば入力部１３を通じて取得する（ステップＳ２０１）。制御部１１は、入力部１３を通じて取得した人物画像を記憶部１２に記憶させる。
【００６４】
次いで、制御部１１は、取得した人物画像について姿勢推定処理及び領域推定処理を実行することにより、骨格により区分される複数の部位を人物画像上で推定する（ステップＳ２０２）。
【００６５】
次いで、制御部１１は、ステップＳ２０２の推定結果を用いて、ユーザが人物画像を描いた際に手本としたと推察される教師画像を選択する（ステップＳ２０３）。本実施の形態では、複数種の教師画像（若しくは複数種の教師画像の推定結果）を記憶部１２に予め記憶させておき、ステップＳ２０２で得られた推定結果と、各教師画像から得られる推定結果とを比較し、ユーザによって描かれた人物画像の推定結果と最も近い推定結果を有する教師画像を選択する。
【００６６】
次いで、制御部１１は、ユーザによって描かれた人物画像の推定結果と、ステップＳ２０３で選択した教師画像の推定結果とを比較することにより、人物画像の評価を行う（ステップＳ２０４）。例えば、制御部１１は、数１〜数５の演算式に従ってスコアを算出することにより、ユーザによって描かれた人物画像に対する評価を行う。また、制御部１１は、算出したスコアに基づき、図３に示すようなレーダーチャートを生成してもよく、人物画像に対する助言を含むメッセージを生成してもよい。
【００６７】
次いで、制御部１１は、人物画像の評価結果を出力する（ステップＳ２０５）。例えば、制御部１１は、生成したレーダーチャート及びメッセージを表示部１６に表示させることにより、評価結果の出力を行う。また、制御部１１は、生成したレーダーチャート及びメッセージをユーザが使用している端末装置へ送信することによって、評価結果の出力を行ってもよい。
【００６８】
以上のように、本実施の形態では、ユーザによって描かれた人物画像を客観的な指標に基づいて評価することができ、絵を描くことに不慣れな者や初学者等に適切なアドバイスを行うことが可能となる。また、教師画像が多数存在する場合であっても、適切な教師画像との比較が可能となる。
【００６９】
（実施の形態３）
実施の形態１では、定められた教師画像を手本としてユーザが描いた画像を取得し、取得した画像について評価を行う構成としたが、ユーザが描いた画像の属性を判別し、判別した属性に応じてユーザの画像を評価する構成であってもよい。
なお、画像評価装置１の内部構成については実施の形態１と同様であるため、その説明を省略することとする。
【００７０】
図６は実施の形態３に係る画像評価装置１が実行する処理の手順を説明するフローチャートである。画像評価装置１の制御部１１は、ユーザによって描かれた人物画像を例えば入力部１３を通じて取得する（ステップＳ３０１）。制御部１１は、入力部１３を通じて取得した人物画像を記憶部１２に記憶させる。ステップＳ３０１で取得する人物画像は、教師画像を手本として描かれた人物画像である必要はなく、「立ち姿の男性」といった適宜の題目に沿って描かれた人物画像であってもよい。
【００７１】
次いで、制御部１１は、取得した人物画像について姿勢推定処理及び領域推定処理を実行することにより、骨格により区分される複数の部位を人物画像上で推定する（ステップＳ３０２）。
【００７２】
次いで、制御部１１は、ステップＳ３０２の推定結果を利用して、ユーザが描いた人物画像の属性を判別する（ステップＳ３０３）。ここでは、例えば姿勢推定処理の推定結果を用いて、人物画像に描かれている人物が年少者であるのか、青年であるのか、老人であるのかを判別してもよい。また、人物画像に描かれている人物がどのような姿勢をとっているのかを判別してもよい。
【００７３】
次いで、制御部１１は、ユーザによって描かれた人物画像の推定結果と、ステップＳ３０３で判別した属性を有する理想的な人物画像（教師画像）から得られる推定結果とを比較することにより、ユーザによって描かれた人物画像の評価を行う（ステップＳ３０４）。ステップＳ３０４では、理想的な人物画像（教師画像）を用意しておき、姿勢推定処理及び領域推定処理を実行することにより得られる理想的な人物画像の推定結果と、ユーザによって描かれた人物画像の推定結果とを比較すればよい。このとき、制御部１１は、数１〜数５の演算式に従ってスコアを算出することにより、ユーザによって描かれた人物画像に対する評価を行うことができる。また、制御部１１は、算出したスコアに基づき、図３に示すようなレーダーチャートを生成してもよく、人物画像に対する助言を含むメッセージを生成してもよい。
【００７４】
次いで、制御部１１は、人物画像の評価結果を出力する（ステップＳ３０５）。例えば、制御部１１は、生成したレーダーチャート及びメッセージを表示部１６に表示させることにより、評価結果の出力を行う。また、制御部１１は、生成したレーダーチャート及びメッセージをユーザが使用している端末装置へ送信することによって、評価結果の出力を行ってもよい。
【００７５】
以上のように、本実施の形態では、ユーザによって描かれた人物画像を客観的な指標に基づいて評価することができ、絵を描くことに不慣れな者や初学者等に適切なアドバイスを行うことが可能となる。また、ユーザに教師画像を提示することなく、ユーザが描くべき人物の属性（年齢、姿勢等）のみを提示し、その属性に基づいてユーザが描いた人物画像を評価することにより、ユーザの技能発展に役立ててもよい。
【００７６】
今回開示された実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
【００７７】
例えば、実施の形態１〜３では、ユーザによって描かれた人物画像を画像評価装置１を用いて評価する構成について説明したが、画像評価装置１による評価対象は人物画像に限定されるものではない。本実施の形態に係る画像評価装置１は、骨格構造を有する任意のオブジェクトが描かれた画像について、上述した手法を用いて評価することが可能である。すなわち、画像評価装置１は、犬や猫などの人物以外の生物が描かれた画像を評価する構成であってもよく、生物以外の構造物が描かれた画像を評価する構成であってもよい。更に、画像評価装置１は、ユーザによって書かれた文字画像を評価する構成であってもよい。
【符号の説明】
【００７８】
１  画像評価装置
１１  制御部
１２  記憶部
１３  入力部
１４  通信部
１５  操作部
１６  表示部
１７  推定器
Ｍ  記録媒体
【図１】
2019175321.tif 000008
【図２】
2019175321.tif 000009
【図３】
2019175321.tif 000010
【図４】
2019175321.tif 000011
【図５】
2019175321.tif 000012
【図６】
2019175321.tif 000013