(57)【要約】【課題】サンプル画像に所定の位置情報を入力する処理において、位置情報の入力者に正しい位置への位置情報の入力を促すことができるようにようにする。【解決手段】対象物が写ったサンプル画像を入力する画像入力工程と、前記画像入力工程において入力されたサンプル画像中の対象物の所定の位置の座標を位置情報として入力する位置情報入力工程と、前記位置情報入力工程において入力された複数の位置情報から対象物の属性を分類するサンプル分類基準を読み込むサンプル分類工程と、前記位置情報と前記サンプル分類基準を基に、属性の分類に関する表示情報を決定する表示情報決定工程と、前記表示情報決定工程において決定された表示情報を表示する表示工程とを備え、入力中のサンプル画像がどのように分類され、学習に利用されるかを確認しながら入力作業を行うことができるようにする。【選択図】図１
2014041436.tif 000002
【特許請求の範囲】
【請求項１】
対象物が写ったサンプル画像を入力する画像入力工程と、
前記画像入力工程において入力されたサンプル画像中の対象物の所定の位置の座標を位置情報として入力する位置情報入力工程と、
前記位置情報入力工程において入力された複数の位置情報から対象物の属性を分類するサンプル分類基準を読み込むサンプル分類工程と、
前記位置情報と前記サンプル分類基準を基に、属性の分類に関する表示情報を決定する表示情報決定工程と、
前記表示情報決定工程において決定された表示情報を表示する表示工程とを備えることを特徴とする情報提示方法。
【請求項２】
前記位置情報入力工程においては、
前記サンプル画像に所定の第１の位置情報を入力する第１の位置情報入力工程と、
前記サンプル画像に前記第１の位置情報と異なる所定の第２の位置情報を入力する第２の位置情報入力工程とを有し、
前記表示情報決定工程は、少なくとも前記第１の位置情報と前記サンプル分類基準とから、前記サンプル画像の属性の分類に関する表示情報を決定することを特徴とする請求項１に記載の情報提示方法。
【請求項３】
前記サンプル分類工程においては、前記複数の位置情報と前記サンプル分類基準とから、前記サンプル画像の属性を分類し、分類した属性それぞれで画像中の対象物を検出する検出器を学習することを特徴とする請求項１に記載の情報提示方法。
【請求項４】
前記属性は、前記対象物の向き、または姿勢であることを特徴とする請求項１に記載の情報提示方法。
【請求項５】
少なくとも前記第１の位置情報と前記サンプル分類基準とから、サンプル画像が分類される属性を決定し、分類される属性を示す情報を前記表示情報とすることを特徴とする請求項２に記載の情報提示方法。
【請求項６】
前記サンプル画像中の座標を指定可能なポインティングデバイスの座標を取得する座標取得工程を有し、
前記座標取得工程において取得したポインティングデバイスの座標と、前記第１の位置情報と、前記サンプル分類基準とから、前記サンプル画像が分類される属性を決定し、
前記分類される属性に関する情報を前記表示情報とすることを特徴とする請求項２に記載の情報提示方法。
【請求項７】
前記第１の位置情報と前記サンプル分類基準から、サンプル画像が異なる属性に分類される画像上の境界を決定し、境界の情報を前記表示情報とすることを特徴とする請求項２に記載の情報提示方法。
【請求項８】
前記入力したサンプル画像と異なるサンプル画像に入力された入力済み位置情報を読み込む工程と、
少なくとも前記第１の位置情報と前記サンプル分類基準から、サンプル画像が分類される属性を決定し、分類される属性と同じ属性の前記入力済み位置情報を取得する工程とを有し、
前記入力済み位置情報の内、第２の位置情報に関する情報を前記表示情報とすることを特徴とする請求項２に記載の情報提示方法。
【請求項９】
前記第２の位置情報に関する情報は、前記入力済みの位置情報、前記入力済みの位置情報の分布、前記入力済みの位置情報の中心座標、前記入力済みの位置情報の密度のいずれかであることを特徴とする請求項８に記載の情報提示方法。
【請求項１０】
サンプル画像中の対象物の複数の属性を分類する方法において、
サンプル画像中の対象物の所定の位置の座標を位置情報として入力する位置情報入力工程と、
前記位置情報から中間情報を作成する作成工程と、
前記中間情報を基にサンプル画像を複数の属性に分類する分類工程とを有することを特徴とする情報提示方法。
【請求項１１】
前記対象物が人体であって、
前記位置情報に喉位置の位置情報と、胴体中心の位置情報とを含み、
前記喉位置の位置情報と前記胴体中心の位置情報とから前記中間情報として体軸角度を算出する体軸角度算出工程と、
前記体軸角度算出工程で算出した体軸角度を所定の刻み幅で分類することで、人体姿勢を分類する分類工程とを有することを特徴とする請求項１０に記載の情報提示方法。
【請求項１２】
前記対象物が人体であって、
前記位置情報に頭部の位置情報と、左右の肩の位置情報とを含み、
前記頭部の位置情報と前記肩の位置情報から前記中間情報として頭部と左右の肩それぞれの位置関係を求める工程と、
前記位置関係の組み合わせによって、頭部向きを分類する分類工程とを有することを特徴とする請求項１０に記載の情報提示方法。
【請求項１３】
対象物が写ったサンプル画像を入力する画像入力手段と、
前記画像入力手段により入力されたサンプル画像中の対象物の所定の位置の座標を位置情報として入力する位置情報入力手段と、
前記位置情報入力手段により入力された複数の位置情報から対象物の属性を分類するサンプル分類基準を保存するサンプル分類基準保存手段と、
前記位置情報と前記サンプル分類基準を基に、属性の分類に関する表示情報を決定する表示情報決定手段と、
前記表示情報決定手段により決定された表示情報を表示装置に表示する表示手段とを備えることを特徴とする情報提示装置。
【請求項１４】
対象物が写ったサンプル画像を入力する画像入力工程と、
前記画像入力工程において入力されたサンプル画像中の対象物の所定の位置の座標を位置情報として入力する位置情報入力工程と、
前記位置情報入力工程において入力された複数の位置情報から対象物の属性を分類するサンプル分類基準を読み込むサンプル分類工程と、
前記位置情報と前記サンプル分類基準を基に、属性の分類に関する表示情報を決定する表示情報決定工程と、
前記表示情報決定工程において決定された表示情報を表示する表示工程とをコンピュータに実行させることを特徴とするプログラム。
【請求項１５】
請求項１４に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報提示方法及び情報提示装置に関し、特に、画像中の対象物を検出する画像処理において、対象物のサンプル画像を作成する際に用いて好適な技術に関する。
【背景技術】
【０００２】
画像中の対象物を検出する手法として、対象物のサンプル画像を機械学習により学習することにより対象物の識別器・検出器を作成し、対象物を検出する方法がある。このような機械学習で、向き・姿勢が変化する対象物を検出する場合には、それぞれの向き・姿勢のサンプル画像を準備し、それぞれの向き・姿勢を学習した複数の検出器を準備する。
【０００３】
検出対象画像に対して検出処理を実行する場合には、検出対象画像から位置・サイズを変えながら順次切り出した部分画像に対して、これらの複数の検出器を適用することで、向き・姿勢が変化する対象物を検出することができる。
【０００４】
しかし、向き・姿勢ごとに検出器の学習を行うためには、向き・姿勢ごとに分類された学習サンプル画像が必要になる。さらに、良好な学習結果を得るためには、対象物の向き・姿勢が可能な限りそろった学習サンプル画像を準備することが重要である。向き・姿勢ごとの学習サンプル画像を準備する方法としては、サンプル画像の撮影時に、向き・姿勢別に撮影を行う方法、向き・姿勢が混在した学習サンプルに対して人間が目視で向き・姿勢のタグ付け（あるいは画像分類）を行う方法がある（例えば、特許文献１）。
【０００５】
しかし、撮影時にそれぞれの向き・姿勢ごとのサンプル画像を撮影する方法は、特別な撮影環境が必要などの理由により撮影時の負荷が大きいという問題があった。また、人間が目視で向き・姿勢をタグ付けする方法では、分類する人間の基準に依存したサンプル画像分類となり、分類する人間が異なると分類結果も変わりやすいという問題があった。また、これらの方法では、一度分類したサンプル画像を別の分類基準で再分類することが難しく、サンプル画像の再利用性に問題があった。
【０００６】
これらの問題を解決するためには、サンプル画像中の対象物の所定位置に位置情報を入力し、位置情報を基にサンプル画像の向き・姿勢を分類する方法を用いるとよい。所定の位置情報を基にサンプル画像を分類する手法としては、非特許文献１に記載された方法がある。非特許文献１では、サンプル画像中の人体の所定位置（例えば、鼻、肩、肘、腰など）に、位置情報（非特許文献１中ではｋｅｙ ｐｏｉｎｔと呼ばれている）を入力する。
【０００７】
所定位置は予め定義されており、入力者は定義に従って人物の所定位置に位置情報を入力する。複数のサンプル画像に入力された位置情報から、同じような位置に入力された位置情報を収集し、向き・姿勢がそろったサンプル画像群を作成して、各サンプル画像群の学習を行っている。また、非特許文献１での位置情報入力ツールでは、位置情報入力対象のサンプル画像をＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）上に表示し、マウス操作によって位置情報を入力している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−３５０７０４号公報
【非特許文献】
【０００９】
【非特許文献１】Lubomir Bourdev, Jitendra Malik,Poselets, 'Body Part Detectors Trained Using 3D Human Pose Annotations', International Conference on Computer Vision. 2009
【非特許文献２】Dalal, N., & Triggs, B. “Histograms of oriented gradients for human detection.” , IEEE Conference on Computer Vision and Pattern Recognition 2005
【発明の概要】
【発明が解決しようとする課題】
【００１０】
非特許文献１に開示されている位置情報入力ツールは、位置情報入力対象の画像をＧＵＩ上に表示し、マウス操作により、所定の位置情報をサンプル画像中の人物の各部位に入力していく。この入力ツールでは、入力済みの位置情報や、その位置情報を繋いで作成される３Ｄの人体姿勢などが表示されており、入力者は入力の結果を確認しながら位置情報を入力することができる。
【００１１】
しかし、入力中または入力後のサンプル画像が、どのような属性（向き・姿勢）の学習サンプルに分類されるかに関しては特に表示されていない。従って、入力者が入力中のサンプル画像がどのような分類になり、どのように学習に利用されるのかを知る術がない。
一方、人体への位置情報入力時には、遮蔽、服装、体格などの影響により、位置情報の入力位置の判断が難しい場合がある。
【００１２】
非特許文献１に開示されている位置情報入力ツールでは、入力位置についての情報が不足しており、位置情報の入力位置の判断が難しい場合に誤った画像位置に位置情報を入力してしまう可能性があった。誤った画像位置に位置情報が入力されてしまうと、サンプル画像の分類が正しく行われず、分類したサンプル画像を利用した学習にも悪影響を及ぼすことがあった。
【００１３】
本発明は前述の問題点に鑑み、位置情報の入力者に正しい位置への位置情報の入力を促すことができるようにすることを目的とする。
【課題を解決するための手段】
【００１４】
本発明の情報提示方法は、対象物が写ったサンプル画像を入力する画像入力工程と、前記画像入力工程において入力されたサンプル画像中の対象物の所定の位置の座標を位置情報として入力する位置情報入力工程と、前記位置情報入力工程において入力された複数の位置情報から対象物の属性を分類するサンプル分類基準を読み込むサンプル分類工程と、前記位置情報と前記サンプル分類基準を基に、属性の分類に関する表示情報を決定する表示情報決定工程と、前記表示情報決定工程において決定された表示情報を表示する表示工程とを備えることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、位置情報の入力者に正しい位置への位置情報の入力を促すことができるようになり、向き・姿勢などの属性が整ったサンプル画像を準備することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態を示し、情報提示装置の構成例を示すブロック図である。
【図２】入力する位置情報の例を示す図である。
【図３】表示部に表示される画面の表示例を示す図である。
【図４】体軸角度によってサンプル画像を分類する処理について説明する図である。
【図５】第１の実施形態に係るフローチャートである。
【図６】第１の実施形態において表示部に表示する情報の例を示す図である。
【図７】頭部向きによってサンプル画像を分類する処理について説明する図である。
【図８】第２の実施形態に係るフローチャートである。
【図９】第２の実施形態において、表示部に表示する情報の例を示す図である。
【図１０】第３の実施形態に係るフローチャートである。
【図１１】第３の実施形態において表示部に表示する情報の例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を利用して、本発明の実施形態について説明を行う。
（第１の実施形態）
本実施形態の情報提示装置は、対象物が写ったサンプル画像を向き・姿勢などの属性ごとに分類するために、人間（以下、入力者）がサンプル画像に対して所定の位置情報を入力する時に、入力者に対して位置情報の入力操作を支援する情報を提供するものである。
【００１８】
以下の実施形態では、対象物を人体とした場合について説明を行うが、本発明の適用範囲は対象物を人体とした場合に限らず、他の対象物とした場合にも適用可能である。また、実施形態では、分類したサンプル画像の属性ごとに検出器を学習する例について説明するが、分類したサンプル画像の属性は学習以外にも、属性ごとの検出性能評価などにも利用することができる。
【００１９】
図１は、本発明の実施形態の情報提示装置１００の構成例を説明するブロック図である。本発明の実施形態の情報提示装置１００は、ネットワークまたは各種記録媒体を介して取得したソフトウェア（プログラム）を、ＣＰＵ、メモリ、ストレージデバイス、入出力装置、バス、表示装置などにより構成される計算機にて実行することで実現できる。また、不図示の計算機については、汎用の計算機を用いてもよいし、本発明のソフトウェアに最適に設計されたハードウェアを用いてもよい。また、表示装置に表示された画像中の座標を指定可能な、マウス（図示せず）等のポインティングデバイスを備えるものとする。
【００２０】
図１に示すように、本発明の実施形態の情報提示装置１００は、画像入力部１０１、位置情報入力部１０２、表示情報決定部１０３、表示部１０４、サンプル分類部１０５、サンプル分類基準保存部１０６、サンプル保存部１０７によって構成される。以下、本実施形態の構成要素での処理内容について順に説明を行う。
【００２１】
画像入力部１０１は、対象物である人体が写った画像を入力する部分である。画像入力部１０１では、ハードディスクなどのストレージデバイスに保存された複数の人体サンプル画像を命令に従って順次読み込む。
表示部１０４は、画像入力部１０１に入力されたサンプル画像を始め、後述する位置情報、表示情報などの各種情報を表示画面に表示する。以下の説明では、画像入力部１０１で読み込んだ１枚のサンプル画像に対する処理について説明する。
【００２２】
位置情報入力部１０２は、サンプル画像に対して所定の位置情報を入力する。ここで、まず、所定の位置情報について説明する。人体に対して入力する所定の位置情報の例を図２に示す。
図２は、サンプル画像中の人体２０１に、１１個の所定の位置情報を入力した例を示す図である。図２中の黒点が位置情報であり、それぞれ、人体外接矩形の左上座標Ｐ１、右下座標Ｐ２、頭部上端Ｐ３、頭部右端Ｐ４、頭部左端Ｐ５、頭部下端Ｐ６、鼻Ｐ７、右肩Ｐ８、左肩Ｐ９、喉位置の位置情報Ｐ１０、胴体中心の位置情報Ｐ１１を示す。なお、矩形２０２は人体外接矩形である。
【００２３】
それぞれの位置情報は、所定の入力ルールが定義されているものとする。例えば、肩の位置情報は、人体関節の中心に対して入力することが入力者に対して教示されている。以下、実施形態の説明に必要な位置情報の入力ルールは必要に応じて説明を行う。
【００２４】
図３には、位置情報入力中の表示部の表示画面３０１を示す。表示画面３０１には、人体２０１が写ったサンプル画像３０３が表示されている。位置情報入力部１０２で入力する各位置情報は、マウス等のポインティングデバイスによって、表示されたサンプル画像中の所定位置を指示することで入力する。
【００２５】
図３には、マウスカーソル３０２が示されており、マウスカーソル３０２を所定の位置に配置してクリックを行うことで、その画像中の座標を取得し位置情報として保存する。即ち、位置情報はｘ、ｙの２つの座標値を情報として持つ。また、位置情報には、座標値だけでなく、入力対象位置が周囲物体や人体自身によって遮蔽されているか否かの遮蔽情報など、付帯的な情報を持たせてもよい。
【００２６】
例えば、マウスの左クリックで位置情報を入力した場合には、入力対象位置が遮蔽されていないという情報を座標情報と共に位置情報に格納する。また、右クリックで位置情報を入力した場合には、入力対象位置が遮蔽されているという情報を座標情報と共に位置情報に格納する。なお、本実施形態において、各位置情報は予め決められた所定の入力順序で入力するものとする。図３では、右肩の位置情報Ｐ８までを入力した状態を示しており、次は左肩Ｐ９の位置情報を入力する段階である。この時、表示画面３０１の情報表示領域３０４に、次に入力する位置情報についての説明や、現在のマウス座標等の情報を表示することが望ましい。
【００２７】
次に、サンプル分類部１０５とサンプル分類基準保存部１０６の動作を説明する。
サンプル分類基準保存部１０６には、入力された位置情報に基づいて、複数の属性（例えば、向きや姿勢）にサンプル画像を分類する所定の分類ルールが保存されている。複数の属性は、それぞれ異なる人体の（あるいは人体パーツの）向きの分類や、見え方の近いパターンを持つ姿勢の分類である。各属性に分類されたサンプル画像群を用いて、各属性に対応した検出器を学習するため、各属性に分類するサンプル画像は、その見え方が似ていることが好ましい。
【００２８】
以下、サンプル分類部１０５とサンプル分類基準保存部１０６の処理を説明するために、入力済みの位置情報からサンプル画像の属性分類の実施方法について、人体の体軸姿勢を分類する場合の例を説明する。
姿勢が変化する人体を画像中から検出する場合には、それぞれ異なる姿勢を検出する複数の検出器を用いて検出するとよい。ここでの人体の姿勢分類方法では、大きな姿勢変化を生じる要因として人体の体軸の傾きに着目し、体軸の傾き角度に従って姿勢の分類を行う。
【００２９】
図４は、体軸角度によってサンプル画像を分類する方法について説明する図である。
図４では、既に全ての位置情報が入力されていることを想定しているが、図示を簡便にするため、説明に不要な位置情報は省略して図を描画している。この体軸角度による姿勢分類では、喉位置の位置情報Ｐ１０と胴体中心の位置情報Ｐ１１を用いる。これらの位置情報Ｐ１０、Ｐ１１から人体の体軸角度を算出するため、喉位置の位置情報Ｐ１０と、胴体中心の位置情報Ｐ１１の入力位置は、人体表面ではなく、人体の中心位置に入力する。
【００３０】
より具体的には、人体が正面向きでも横向きでも、人体の喉の中心位置、胴体の中心位置に入力する。これらの位置情報の入力ルールは予め入力者に教示されているとする。なお、各位置情報を入力するタイミングで、位置情報の入力に関する注意事項を表示部１０４に表示するようにしてもよい。
【００３１】
体軸姿勢の分類の具体的な処理としては、まず図４（Ａ）に示すように、喉位置の位置情報Ｐ１０と胴体中心の位置情報Ｐ１１から体軸角度４０２を算出する。体軸角度４０２は、画像水平面４０１となす角度を算出すればよい。算出した体軸角度４０２を予め定義した分割角度に従って分類することで、サンプル画像の属性決定を行う。
図４（Ｂ）の体軸角度分類基準テーブル４０３に従うと、体軸角度４０２によってＰｏｓｅＡ〜Ｆの６種類の体軸姿勢に分類される。図４（Ｃ）には、以上の体軸姿勢の分類処理をフローチャートで示している。
【００３２】
図４（Ｃ）に示すように、Ｓ４０１では、喉１０の位置情報を取得する。
Ｓ４０２では、胴体中心の位置情報Ｐ１１を取得する。
Ｓ４０３では、Ｓ４０１及びＳ４０２で取得した情報に基いて中間情報として体軸角度４０２を算出する体軸角度算出処理を行う。
Ｓ４０４では、体軸角度分類基準テーブル４０３に示した体軸角度分類基準に従って、体軸姿勢を分類する。
【００３３】
サンプル分類基準保存部１０６には、以上説明したような複数の位置情報に基づくサンプル画像の分類基準を予め保存しておく。前述の体軸姿勢を分類する例の場合は、図４（Ｃ）の分類処理フローと、図４（Ｂ）の体軸角度分類基準テーブル４０３がサンプル分類基準保存部１０６に保存する情報となる。サンプル分類部１０５では、サンプル分類基準保存部１０６から分類基準を呼び出し、入力された位置情報に応じて、サンプルの属性（前述の例では体軸姿勢の分類結果）を算出する。なお、角度分類基準外の体軸角度４０２が得られた場合は、体軸角度４０２による姿勢分類の対象外として、その他の分類とする。
【００３４】
次に、表示情報決定部１０３の処理と、表示情報決定部１０３で決定した表示情報を表示部１０４に表示する処理について、前述の体軸角度４０２による姿勢分類を例にして説明する。なお、位置情報の入力は、喉位置の位置情報Ｐ１０、胴体中心の位置情報Ｐ１１の順に入力するものとする。
【００３５】
属性分類を行うに当たって、位置情報は第１の位置情報と第２の位置情報に分類される。第１の位置情報は、分類の基準となる位置情報である。体軸角度４０２による姿勢分類では、喉位置の位置情報Ｐ１０が第１の位置情報である。入力済みの第１の位置情報（喉位置の位置情報Ｐ１０）を基準としたときに、入力後に属性分類が決定する位置情報が第２の位置情報となり、体軸角度４０２による姿勢分類では、胴体中心の位置情報Ｐ１１が第２の位置情報である。
【００３６】
図５は、第１の実施形態の処理に係るフローチャートである。本実施形態では、第１の位置情報の入力後に、第２の位置情報を入力する時に、マウスカーソル（ポインティングデバイス）の位置に従って、属性分類の結果を予測し、その予測結果を表示部１０４に表示する。
Ｓ５０１では、位置情報入力部１０２が第１の位置情報入力を受け付ける。
Ｓ５０２では、サンプル分類基準保存部１０６から、サンプル分類基準を読み込む。
Ｓ５０３では、位置情報入力部１０２から現在のマウスカーソル座標を取得する座標取得を行う。
【００３７】
Ｓ５０４は、表示情報決定部１０３で実施する処理で、マウスカーソルの現在座標を第２の位置情報の入力と仮定し、第１の位置情報とサンプル分類基準と合わせて属性の分類予測結果を算出する。算出した予測結果は、入力者に対して表示する表示情報として決定し、以下の処理工程に渡す。
【００３８】
Ｓ５０５では、Ｓ５０４の表示情報決定処理で決定した表示情報を表示部１０４に表示する表示処理を行う。
Ｓ５０６では、位置情報入力部１０２が第２の位置情報入力を受け付けたか否かを判断する。第２の位置情報入力が行われない場合には、Ｓ５０３に戻り、現在のマウスカーソル座標を再び取得する。
Ｓ５０６で、第２の位置情報入力が行われると、Ｓ５０７に進み、第１の位置情報と第２の位置情報とからサンプル画像の属性を決定する。
【００３９】
以上の処理フローを、体軸角度４０２による姿勢分類を例に、より具体的に説明すると以下のようになる。
まず、Ｓ５０１では、喉位置の位置情報Ｐ１０を第１の位置情報として取得する。
Ｓ５０２では、図４（Ｃ）の分類処理と、図４（Ｂ）の角度分類基準で表されるサンプル分類基準とを読み込む処理を行う。
Ｓ５０３では、操作中のマウスカーソルの座標を取得する。
【００４０】
Ｓ５０４では、喉位置の位置情報Ｐ１０と、Ｓ５０３で取得したマウスカーソルの座標と、Ｓ５０２で読み込んだ体軸角度による姿勢分類方法に従って、体軸姿勢の分類を行う。具体的には、Ｓ５０３で取得したマウスカーソル座標を胴体中心の位置情報Ｐ１１と見なし、喉位置の位置情報Ｐ１０とマウスカーソル３０２の座標の角度を算出する。次に、算出した角度を角度分類基準に照らし合わせ、体軸角度による姿勢分類の結果を求める。そして、体軸角度による姿勢分類の結果を表示情報として決定する。
Ｓ５０５では、体軸角度による姿勢分類の結果を表示部１０４に表示する。
【００４１】
図６は、第１の実施形態における表示部１０４での表示例を、フローチャートの説明と同様に体軸角度４０２による姿勢分類を例にして示している。
図６（Ａ）は、喉位置の位置情報Ｐ１０（第１の位置情報）を入力後の表示画面３０１、図６（Ｂ）は、胴体中心の位置情報Ｐ１１（第２の位置情報）を入力する時点での表示画面３０１を表している。実際には、他の入力済みの位置情報も表示されていることが望ましいが、説明のため図６では、関連する情報のみを表示している。
【００４２】
図６（Ａ）では、喉位置の位置情報Ｐ１０とマウスカーソル６０１の位置に基づいて、分類先がＰｏｓｅ Ｄと予測されており、その結果が情報表示領域３０４に表示されている。図６（Ａ）の例では、分類先の情報がテキスト表示されるとともに、Ｐｏｓｅ Ｄに相当する体軸姿勢を表した模式図６ａが表示されている。
【００４３】
図６（Ａ）の模式図６ａにおいては、頭部と胴体で、人体の傾きを表した図として表示されている。分類予測の表示情報を表示するときの表示方法は、この表示形式に限定されず、他の方法でもよい。例えば、模式図以外にも代表的な実写画像でもよいし、入力済みの位置情報から同じ体軸姿勢に分類された複数の実写サンプル画像を並べて表示してもよいし、その平均画像を表示してもよい。また、模式図６ａの表示位置は情報表示領域３０４以外にも、入力中のサンプル画像に重畳して表示してもよい。この場合、喉の位置情報とマウスカーソル座標に合わせて、所定の体軸姿勢の模式図を重畳表示する表示方法などがある。
【００４４】
図６（Ｂ）は、図６（Ａ）の状態から、胴体中心の位置情報Ｐ１１を入力せずに、マウスカーソル６０１から６０３に移動させた時の表示画面３０１の様子を示した図である。図６（Ｂ）では、マウスカーソル６０３の位置の変化に合わせて、情報表示領域３０４に表示する表示情報が変化しており、模式図６ｂが現在のマウスカーソル６０３の位置で胴体中心の位置情報Ｐ１１を入力した場合の分類結果を表している。
【００４５】
以上のように情報を表示することで、位置情報の入力者は、現在のマウスカーソル位置で第２の位置情報（胴体中心の位置情報Ｐ１１）を入力することにより、サンプル画像がどの分類先に分類されるのかを確認しながら、位置情報の入力を行えるようになる。このため、入力者に正しい位置に入力を行うように促すことができるようになる。特に、位置情報の入力位置の判断が難しい場合に、入力者の判断を支援することができるようになる。
【００４６】
例えば、服装や体格によっては、胴体の中心位置を判断することが難しい場合がある。そこで、位置情報の入力位置によって予想される分類結果を表示することで、分類先の予測と現在入力中のサンプル画像の姿勢が一致しているかという点も考慮して、位置情報を入力することができるようになる。
【００４７】
なお、以上の説明では、喉位置の位置情報Ｐ１０を第１の位置情報とし、胴体中心の位置情報Ｐ１１を第２の位置情報としたが、前述の体軸角度による人体姿勢決定方法においては、入力の順序によって第１の位置情報と第２の位置情報を入れ替えてもよい。即ち、喉位置の位置情報Ｐ１０よりも先に胴体中心の位置情報Ｐ１１が入力されている場合には、胴体中心の位置情報Ｐ１１が第１の位置情報となり、喉位置の位置情報Ｐ１０が第２の位置情報となる。入力者が位置情報を任意の順に入力可能な場合には、基準となる位置情報が確定した時点で、その位置情報を第１の位置情報として設定し、次に分類を決定する位置情報を入力する時点で、表示内容を決定するようにする。
【００４８】
以上の実施形態では、体軸角度に基づく人体姿勢の分類を例に実施形態を説明した。本実施形態で分類を行う属性はこれに限らず、他の属性を分類するときにも適用できる。他のサンプル分類基準に本発明を適用した例として、以下では人体頭部の向きに応じてサンプル画像を分類する例を示す。
【００４９】
人体の頭部は、体部分の姿勢変動の影響を受けにくく、周囲物体から遮蔽される可能性も比較的低いので、検出対象として有効な人体パーツである。特に、人体に特徴的な形状である頭から肩にかけての輪郭を検出対象とすることにより、精度の高い検出が期待できる。しかし、頭部の向きによって、頭から肩にかけての輪郭の見え方は大きく変化する。従って、頭から肩の輪郭の見え方が似たサンプル画像を収集し、それぞれを個別に学習して検出器を作成することが望ましい。
【００５０】
図７は、サンプル画像の人体頭部向きを分類する処理について説明する図である。
図７の頭部向き分類方法では、検出に重要な手がかりである頭部の輪郭が類似した学習サンプルを分類・収集するために、頭と肩の位置関係によってサンプル画像の分類を行う。
【００５１】
図７（Ａ）には、頭部向きの分類を行うために必要な位置情報を示している。頭部周りの位置情報である頭部上端Ｐ３、頭部右端Ｐ４、頭部左端Ｐ５、頭部下端Ｐ６は、それぞれ頭部の円形状の範囲を囲む位置に入力を行う。これらの位置情報は、頭部の位置を決定するために入力するので、頭部の向き姿勢によらずに、頭部の外接位置が入力対象位置となる。
【００５２】
他に分類に用いる位置情報としては、鼻位置Ｐ７、右肩Ｐ８、左肩Ｐ９がある。右肩Ｐ８、左肩Ｐ９は、後述するように頭部との位置関係を判断するために利用し、横向きの場合などに対応するため、肩の関節の中心位置を目標に位置情報を入力する。また、鼻の位置情報Ｐ７は、後ろ向きなどで鼻位置が画像上で確認できない場合にも、その位置を推定して位置情報を入力する。具体的には、後ろ向きの顔の向きを、耳の見え方などから推定し、顔の中心位置に鼻の位置情報Ｐ７を入力する。これらの位置情報の入力ルールは、予め入力者に教示されているものとする。
【００５３】
次に、これらの位置情報から頭部向きを分類する処理について説明を行う。この頭部向き分類方法では、頭部と肩の位置関係に基づいてサンプル画像の分類を行う。頭部と肩の位置関係により頭部向きサンプル画像を分類することで、頭から肩にかけての輪郭が揃ったサンプル画像を収集することができる。まず、頭部の周囲の領域を頭部の周囲４点の位置情報により分割する。
【００５４】
図７（Ａ）の線７０１ａ〜７０１ｄは、頭部位置から決まる肩位置を分類するための分割境界である。４本の直線はそれぞれ、頭部の周囲４点から決まる座標を元に、水平垂直に引かれている。この境界線７０１ａ〜７０１ｄを基準に右肩の位置情報、左肩の位置情報を分類することで、頭部と肩の位置関係を決定する。
【００５５】
図７（Ｂ）は、境界線７０１により分割される９個の境界領域に番号をつけている様子を示している。この方法では、右肩の位置情報と左肩の位置情報の位置が境界領域のどの番号に属するかを判断して、頭部向きを分類する。肩位置による分類は図７（Ｃ）のように、左右の肩位置番号による頭部向きの分類先をテーブルとして予め用意する（図７（Ｃ）では、図示の都合で、テーブルの一部のみを表示している）。例えば、図７（Ａ）の右肩は７番の領域に存在し、左肩は９番の領域に存在する。この場合、図７（Ｃ）のテーブルに従うと、頭部向きはＰｏｓｅ１の分類となる。
【００５６】
前述の様に、頭部位置と肩位置の位置関係により頭部向きを分類することで、頭部から肩の位置が揃ったサンプル分類を行うことができる。また、肩位置に応じた分類に加え、他の位置情報やさらなる条件を追加することで、より詳細な向き分類を行うことができる。例えば、右肩、左肩の両方が領域８に存在する場合には、真横を向いている状態（図７（Ｃ）のＰｏｓｅ３）であるが、この情報だけでは人体が右向きなのか左向きなのかという分類ができない。
【００５７】
そこで、鼻位置の位置情報Ｐ７が頭部に対してどの位置に存在するかによって、頭部の左右向きを分類することができる。判断基準として例えば、頭部左右端Ｐ４、Ｐ５のｘ軸の中心座標を算出し、その中心座標の左右どちら側に鼻位置の位置情報Ｐ７が入力されているかによって、左右の頭部向きを決定することができる。
【００５８】
図７（Ｄ）のフローチャートは、頭部向き分類方法の手順を示している。
図７（Ｄ）のフローチャートに示すように、処理が開始されると、Ｓ７０１において、頭部周囲の４点と鼻の位置情報を取得する。この処理により、頭部上端Ｐ３、頭部右端Ｐ４、頭部左端Ｐ５、頭部下端Ｐ６、鼻Ｐ７を取得することができる。
【００５９】
Ｓ７０２では、頭部範囲を決定し、肩の位置情報の分類境界を設定する。
Ｓ７０３では、左右の肩の位置情報を取得する。この処理により、右肩Ｐ８、左肩Ｐ９の位置情報を取得することができる。
Ｓ７０４では、両肩の位置を分類する。この処理は、Ｓ７０３で所得した右肩Ｐ８、左肩Ｐ９が、図７（Ｂ）で説明した境界線７０１ａ〜７０１ｄにより分割される９個の境界領域の何れに存在するのかに基づいて行う。
【００６０】
Ｓ７０５では、Ｓ７０４で行なわれた分類結果と、図７（Ｃ）の変換テーブルに従って頭部の向きを分類する。これにより、Ｐｏｓｅ１、Ｐｏｓｅ２、Ｐｏｓｅ３・・・・に分類することができる。
Ｓ７０６では、鼻の位置情報Ｐ７を用いて、頭部の向きをより詳細に分類する処理を行う。
【００６１】
体軸による傾き分類の場合と同様に、サンプル分類基準保存部１０６には、図７の領域分割作成方法（Ｂ）、左右の肩位置による頭部向きの参照テーブル（Ｃ）、図７（Ｄ）のようなサンプル分類処理を行うのに必要な情報を格納しておく。
【００６２】
以上説明した頭部向きの分類方法についても、本実施形態のサンプル画像作成方法によって、位置情報入力者に分類先の情報を提示することができる。
まず、体軸傾き分類の場合と同様に、分類に関係する最後の位置情報を入力する時点で、マウスカーソル位置に応じて、分類先の予測を表示することができる。
【００６３】
位置情報の入力順序を、頭部周囲の４点（Ｐ３〜Ｐ６）、鼻Ｐ７、右肩Ｐ８、左肩Ｐ９とした場合、図５のフローチャートでの第１の位置情報は、頭部周囲の４点、鼻、右肩の位置情報となる。そして、最後に入力する左肩の位置情報が第２の位置情報となる。第２の位置情報を入力する時のマウスカーソル位置から予測される頭部の向きを表示部１０４に表示することで、位置情報の入力位置を正しく表示することが可能となり、入力者の入力操作を支援する情報を提供することができる。
【００６４】
また、前述の入力順序で、頭部周囲の４点を第１の位置情報とし、右肩、左肩の位置情報を第２の位置情報とすることもできる。この場合には、頭部周囲の４点の位置情報により、肩位置の分割基準が決定する。その後、右肩の入力時点のマウスカーソル位置で、分類先を幾つかに限定することができる。
【００６５】
そこで、複数の分類先予測を同時に表示してもよい。表示情報決定部１０３で決定する表示情報は、一つの分類予測である必要はなく、複数の可能性がある場合には、複数の分類予測を表示情報として出力してもよい。表示部１０４には、これらの複数の予測分類に関する情報を表示する。また、複数の予測分類結果が得られる場合であって、分類結果の可能性に順位付けができる場合には、可能性が高い上位の予測結果のみを表示部１０４に表示するようにしてもよい。
【００６６】
以上、サンプル分類のための位置情報入力について説明した。以下では、入力した位置情報及び属性の分類結果の利用方法について説明する。
サンプル保存部１０７では、画像入力部１０１に入力されたサンプル画像と、位置情報入力部１０２で入力された位置情報と、サンプル分類部１０５で分類された属性情報を紐づけて保存する。例えば、入力した位置情報と分類された属性情報をテキストデータとして、サンプル画像とともに保存する。
【００６７】
また、サンプル画像の利用方法によっては（学習のアルゴリズムによっては）、サンプル画像の対象物部分を切り出したり、画像サイズを正規化したりする必要がある。対象物部分の切り出し、画像サイズ正規化は学習時に実施してもよいが、サンプル保存部１０７で、それらの処理を実施してから保存するようにしてもよい。
【００６８】
また、１枚のサンプル画像に複数の対象物が写っている場合には、１枚の画像から複数の切り出し画像を作成するようにしてもよい。サンプル画像の切り出しについては、例えば以下のような方法がある。
【００６９】
まず、体軸角度４０２によって人体姿勢を分類した場合には、人体が写っている範囲を切り出し領域とすればよい。例えば、人体範囲の左上座標Ｐ１と右下座標Ｐ２で囲まれる領域（図２の矩形２０２）を切り出し領域とする。また、サイズの正規化は、領域の縦軸長さが同じになるように画像サイズを変換する、などとすればよい。
【００７０】
一方、頭部向きのサンプル画像を切り出す場合には、切り出し領域を頭部から肩の輪郭を含む領域の範囲にする。この場合には、頭部上端Ｐ３の位置を基準に、縦横方向に所定の範囲を切り出し領域として設定する。所定の範囲は、頭部周囲４点から頭部サイズを推定し、頭部から肩の輪郭範囲が切り出し領域内に入るような範囲を設定するとよい。
【００７１】
なお、位置情報の説明において、各位置情報に遮蔽に関する情報を付与してもよいとしたが、位置情報に付随した遮蔽情報によっては、そのサンプル画像を学習サンプルから除外するようにしてもよい。対象物（あるいは学習範囲）の一部あるいは全てが遮蔽されている場合には、学習サンプルとしては不適当な場合がある。従って、遮蔽情報を含むサンプル画像を学習から外すことで良好な学習を行うことができるようになる。
【００７２】
検出器の学習では、以上のようにして作成したサンプル画像を用いて、向き・姿勢などの属性ごとに学習する。学習の方法については、従来の技術を用いればよいので、詳細な説明は割愛するが、例えば、人体を検出対象とした場合には、非特許文献２のような技術を用いることができる。非特許文献２では、１種類の検出器を学習しているが、本実施形態においては、複数の位置情報とサンプル分類基準とから、サンプル画像の属性を分類し、分類した属性それぞれで画像中の対象物を検出する検出器を学習する検出器学習処理を行う。
【００７３】
以上の説明では、サンプル画像の属性情報を、位置情報入力時にサンプル分類部１０５で決定し、サンプル保存部１０７で保存していた。しかし、位置情報入力時にはサンプル分類部１０５の処理を省略し、入力した位置情報のみをサンプル保存部１０７で保存するようにしてもよい。この場合、属性の分類は学習時に行う。学習時の分類はサンプル分類基準保存部１０６に保存された分類基準を用いてもよいし、位置情報入力時のサンプル分類基準とは異なる基準で分類してもよい。この方法によると、入力した位置情報を流用して、必要に応じて分類基準を変更することができる。
【００７４】
以上の実施形態では、サンプル分類基準保存部１０６に保存されるサンプル分類基準及びサンプル分類部１０５での分類処理は、体軸角度による姿勢分類と頭部向き分類を例にして、予め人為的に決めた所定の分類ルールにより分類する方法で説明した。サンプル分類基準には、これらの人間が設計したルール以外の方法を用いることもできる。
【００７５】
例えば、ある属性の代表的な位置情報を属性のクラスタ中心として与え、その代表位置情報と入力した位置情報の距離を求め、所定の距離値以内をその属性とするようにしてもよい。あるいは、累積されていくデータに応じて、似た位置情報をクラスタリングし、自動的に複数の属性を作成するようにしてもよい。いずれの分類方法でも、入力中の位置情報のうち、属性を決定する位置情報入力を行う時点で、ポインティングデバイスが示す位置によって予測される分類先の情報を表示することができる。
【００７６】
また、以上の実施形態では、１人の人体（１つの対象物）を位置情報入力対象とした場合について説明したが、画像に複数の人体を含む場合には、前述の処理をサンプル画像中の入力対象人物の数だけループさせる。また、複数のサンプル画像に対して、位置情報を入力する場合には、サンプル画像の枚数だけ前述の処理をループさせる。
【００７７】
以上、第１の実施形態では、対象物に所定の位置情報を入力する場合に、入力中のサンプル分類が決定する位置情報を入力する時点で、ポインティングデバイス（実施形態ではマウスカーソル）の位置に応じて、サンプル画像の分類先を表示する例を説明した。この方法によると、入力位置の判断が困難な場合に表示内容を参考とすることで、正しい位置への位置情報の入力を促すことができる。この結果、各分類のサンプル画像が揃いやすくなり、対象物の学習が良好に行えることが期待できる。
【００７８】
（第２の実施形態）
前述した第１の実施形態では、ポインティングデバイスの位置に応じて、予測される属性の分類先を表示した。第２の実施形態では、分類の境界をサンプル画像に重畳表示することで、位置情報入力を支援する。なお、構成上、第１の実施形態と共通な部分についての説明は省略し、説明で取り扱う入力位置情報やサンプル分類基準についても第１の実施形態で説明した例を流用する。
【００７９】
図８は、第２の実施形態に係るフローチャートである。
Ｓ８０１では、第１の位置情報の入力を受け付ける。第２の実施形態における第１の位置情報は、サンプル分類基準の境界が決定する位置情報である。例えば、体軸角度４０２による姿勢分類では、喉の位置情報、または胴体中心の位置情報が入力されると、角度分割の境界が決定するので、これらのいずれかが第１の位置情報となる。また、頭部向き分類では、頭部周囲４点が入力されると、肩位置の分割境界が決定するので、この４点が第１の位置情報となる。
【００８０】
次に、Ｓ８０２では、サンプル分類基準保存部１０６からサンプル分類基準を読み込む。Ｓ８０３では、表示情報決定部１０３において、第１の位置情報とサンプル分類基準から、表示する分類境界を決定して表示部１０４に表示する。Ｓ８０４では、第２の位置情報の入力を受け付ける。Ｓ８０５では、サンプル画像の属性を分類して決定する。
【００８１】
図９には、第２の実施形態における表示部での表示例を示す。なお、図９では図示の都合上、説明に関係のない位置情報は図に示していないが、入力済みの位置情報の位置はサンプル画像３０３上に重畳表示されていることが望ましい。
【００８２】
図９（Ａ）は、体軸角度による姿勢分類に関して、喉位置の位置情報Ｐ１０を入力した後に、胴体中心の位置情報Ｐ１１を入力する時点での第２の実施形態の情報表示の例を表した図である。喉位置の位置情報Ｐ１０の位置が決定すると、サンプル分類基準に従って、体軸角度の分割境界が決定する。
【００８３】
図９（Ａ）では、図４（Ｂ）の体軸角度分類基準テーブル４０３に従って、３０°間隔で体軸角度の分割境界線９０１を点線で表示している。位置情報の入力者は、胴体中心の位置情報の入力位置について、分割境界線９０１を跨ぐと姿勢の分類が異なる結果となることを把握しながら位置情報を入力することができるようになる。この結果、第１の実施形態と同様に、入力位置の判断が困難な場合に表示内容を参考とすることで、正しい位置へ位置情報を入力することができるようになる。
【００８４】
なお、図９（Ａ）では、第２の実施形態の情報表示（分割境界線９０１）と共に、第１の実施形態の情報表示（マウスポインタ位置による属性分類の予測結果として模式図６ａ）も表示画面３０１に表示している。このように、第１の実施形態と第２の実施形態の表示は併用して表示してもよい。
【００８５】
図９（Ｂ）には、頭部向きによるサンプル分類に関して、頭部周囲４点の位置情報を入力した後に、肩位置の位置情報（右肩位置情報Ｐ８）を入力する時点での第２の実施形態の情報表示の例を示した図である。頭部周囲４点の位置情報が決定すると、図７（Ａ）の肩位置の分割境界が決定する。図９（Ｂ）では、この肩の分割境界線９０２を点線でサンプル画像３０３上に重畳表示している。なお、頭部周囲４点から想定される頭部サイズによって、肩位置が存在する領域はある程度限定できるので、図９（Ｂ）のように表示する分割境界線９０２は頭部周辺に所定の長さで表示するようにしてもよい。
【００８６】
以上、第２の実施形態では、属性分類に関しての境界線をサンプル画像上に重畳表示することで、入力者に対して位置情報の入力を支援する情報を提示する方法について説明した。この方法によると、第１の実施形態と同様に、入力位置の判断が困難な場合に表示内容を参考とすることで、正しい位置への位置情報の入力を促すことができる。
【００８７】
また、入力位置が属性の分割境界付近である場合に、入力者に注意を促す効果もある。この結果、各分類のサンプル画像が揃いやすくなり、対象物の学習が良好に行われるようになることが期待できる。
【００８８】
また、第１の実施形態の情報表示領域３０４に分類予測を表示する方法では、分類予測が分かり易く表示されるが、位置情報の入力中にサンプル画像３０３から情報表示領域３０４に視点を移動させる必要がある。大量のサンプル画像３０３に位置情報を入力する場合には、各位置情報を素早く入力していく必要があるので、小さな視点移動も入力作業を遅らせる要因となってしまう。
【００８９】
それに対して、第２の実施形態の情報提示方法により、分割境界線を表示した場合には、サンプル画像３０３上に線を表示するだけなので、視点移動を必要とせず、サンプル画像に重畳する情報も最低限の情報で済むので、サンプル画像３０３の表示を妨げない。しかし、各分割境界がどのような分類の境界線を示すのかを、ある程度把握しておく必要がある。
【００９０】
従って、第１の実施形態の分類予測を明示的に表示する情報提示方法は、比較的初心者向け（位置情報入力を初めて行う入力者向け）である。また、第２の実施形態の分類に関する境界を表示する方法は、比較的上級者向け（位置情報入力に慣れた入力者向け）であると言える。図９（Ａ）のように、両方の情報を表示することにより、入力者が好ましい方の情報を利用できるようにすることが望ましい実施形態である。
【００９１】
（第３の実施形態）
位置情報入力中に入力者に対して表示する表示情報について、第１の実施形態ではポインティングデバイスの位置から予測される分類予測を表示し、第２の実施形態では、属性分類の境界線を表示することについて説明した。これらは、現在入力中の位置情報とサンプル分類基準から決定する情報である。第３の実施形態では、過去に入力した位置情報を表示することで、位置情報入力を支援する実施形態について説明する。
【００９２】
サンプル画像への位置情報入力は、学習などの統計処理に用いるため、多数のサンプル画像への入力が必要となる。そのため、位置情報が入力済みの多数のサンプル画像が存在することが期待できる。入力済みの位置情報は、入力者本人が入力したデータや、他の人物（例えば、位置情報入力の熟練者）が入力したデータなどがあると考えられる。
【００９３】
第３の実施形態では、これらの入力済みの位置情報をサンプル画像上に重畳表示することで、個人の入力データのばらつきや、入力者の違いによるデータのばらつきを確認しながら位置情報を入力できるようになる。その結果、入力者がばらつきに注意を払いながら位置情報を入力することができるようになり、ばらつきを低減した位置情報の入力を行うことができるようになる。
【００９４】
図１０は、第３の実施形態に係るフローチャートである。以下、図１０のフローチャートについて説明するが、第１の実施形態のフローチャート（図５）と同じ処理については説明を省略する。
【００９５】
図１０において、Ｓ１００１〜Ｓ１００３は、図５のフローチャートにおけるＳ５０１〜Ｓ５０３と同じ処理である。
Ｓ１００４は、現在のマウスカーソル位置から分類予測を行う工程で、図５のＳ５０４とほぼ同じ処理である。図５と異なる点としては、図５では分類予測を表示情報として表示部１０４に表示したが、図１０の処理での分類予測は、次のＳ１００５で、入力済みの位置情報取得のために利用する。
【００９６】
Ｓ１００５では、サンプル保存部１０７に保存されている入力済みの位置情報から、分類予測と同じ属性に分類された位置情報を読み込む。
Ｓ１００６では、取得した入力済みの位置情報から、第２の位置情報と同じ位置情報を収集して、各データの座標、平均座標、分布状態のいずれか、またはその組み合わせを表示情報とする表示情報決定処理を行う。Ｓ１００７以下は図５と同様の処理で、Ｓ１００６で決定した表示情報を表示部に表示し、第２の位置情報の入力を受け付ける。
【００９７】
図１１は、第３の実施形態で表示部に表示される情報の具体例を、体軸角度による人体姿勢分類を例にして示す。図１１は、図６（Ｂ）や図９（Ａ）と同様に、喉位置の位置情報Ｐ１０（第１の位置情報）を入力した後に、胴体中心の位置情報Ｐ１１（第２の位置情報）を入力する時点の表示部の様子を示す図である。
【００９８】
喉位置の位置情報Ｐ１０とマウスカーソル６０３の位置により、マウスカーソル６０３の位置に胴体中心の位置情報Ｐ１１を入力すると、体軸角度による姿勢分類ではＰｏｓｅ Ｂに分類されることが予想されている。
【００９９】
図１１では、第１の実施形態と第２の実施形態による表示情報も表示されている。情報表示領域３０４には分類の予測結果として、模式図６ａが表示されており、サンプル画像３０３の上には、体軸角度の分割境界線９０１が重畳表示されている。
【０１００】
第３の実施形態では、さらに過去に入力したサンプル画像の位置情報を重畳表示する。図１１において、複数図示されている丸１１０１は、入力済みの胴体中心の位置情報Ｐ１１の座標である。また、四角１１０２は、これらの胴体中心の位置情報Ｐ１１の中心座標（平均座標や中央値座標など）である。この情報を表示するためには、図１０のフローチャートに従って、以下の処理を行う。
【０１０１】
まず、マウスカーソル６０３の位置により、分類予測がＰｏｓｅ Ｂと定まる。そして、位置情報入力部に保存された位置情報の内、Ｐｏｓｅ Ｂに分類される位置情報セットを全て、あるいは適度にサンプリングして読み込む。読み込んだ位置情報セットから胴体中心の位置情報Ｐ１１を取得し、各々の座標または中心座標を表示情報とする。
【０１０２】
なお、サンプル画像中の人体サイズが不定の場合には、位置情報入力中のサンプル画像の人体サイズに合わせて、入力済み位置情報の座標変換を行うことが望ましい。例えば、過去の位置情報セットと現在入力中の位置情報のそれぞれで、頭部周囲４点の座標から頭部サイズ（人体サイズ）を推定する。そして、推定した頭部サイズの比に応じて係数を算出し、喉位置の位置情報Ｐ１０を基準として算出した係数に応じた位置に胴体中心の座標を表示する。
【０１０３】
図１１では、入力済み位置情報の座標全てと中心座標を両方表示した例を示したが、この表示は全ての座標と中心座標のいずれかでもよい。また、他の表示方法としては、入力済み位置情報の座標の分布や密度を表示するようにしてもよい。座標の分布を表示する場合には、例えば正規分布に近似してから表示すればよい。
また、分布や密度の表示方法は、同じ確率や密度を等高線により表示したり、確率や密度に応じたグラデーションを背面のサンプル画像が確認できるように透過性を持たせて表示したりすればよい。
【０１０４】
以上、第３の実施形態では、入力済みの位置情報に関する情報を表示情報として設定し、表示部１０４に表示する実施形態について説明した。
第３の実施形態によると、個人の入力データのばらつきや、入力者の違いによるデータのばらつきを確認しながら位置情報を入力できるようになる。その結果、入力者がばらつきに注意を払いながら位置情報を入力することができるようになり、ばらつきを低減した位置情報の入力を行うことができるようになる。
【０１０５】
また、入力済みの位置情報の内、入力者自身が入力した位置情報と、他者が入力した位置情報を分類して表示することにより、入力者の入力位置情報に偏りが生じていないかを確認することもできる。この場合は、例えば、入力者自身が入力した位置情報と、他者が入力した位置情報の色を変えて入力位置座標を表示するようにすればよい。
【０１０６】
（第４の実施形態）
これまで説明した第１の実施形態〜第３の実施形態では、位置情報の入力中に、各種の表示情報を表示する処理について説明した。これらの表示情報は、全ての位置情報を入力した後にも表示するようにしてもよい。入力後にも属性分類に関する情報を表示することで、位置情報の入力ミスの発見や、入力位置の修正を効率的に行うことができるようになる。
【０１０７】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【０１０８】
１００  情報提示装置
１０１  画像入力部
１０２  位置情報入力部
１０３  表示情報決定部
１０４  表示部
１０５  サンプル分類部
１０６  サンプル分類基準保存部
１０７  サンプル保存部
【図１】
2014041436.tif 000003
【図２】
2014041436.tif 000004
【図３】
2014041436.tif 000005
【図４】
2014041436.tif 000006
【図５】
2014041436.tif 000007
【図６】
2014041436.tif 000008
【図７】
2014041436.tif 000009
【図８】
2014041436.tif 000010
【図９】
2014041436.tif 000011
【図１０】
2014041436.tif 000012
【図１１】
2014041436.tif 000013