(57)【要約】【課題】  検出物体のラベル付けの抜け漏れがないかを効率的に確認すること【解決手段】  画像に含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を受け付け情報処理装置であって、前記画像の表示倍率の変更を受け付け、変更された表示倍率により前記画像を表示する。そして、前記画像における拡大表示された領域と、拡大表示されていない領域とを識別可能に表示する。【選択図】  図１
2019082927.tif 000002
【特許請求の範囲】
【請求項１】
画像に含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を受け付ける受付手段と、
前記画像の表示倍率の変更を受け付ける表示倍率変更受付手段と、
前記表示倍率変更受付手段により変更された表示倍率により前記画像を表示する表示手段と、
を備え
前記表示手段は、前記画像における拡大表示された領域と、拡大表示されていない領域とを識別可能に表示することを特徴とする情報処理装置。
【請求項２】
前記表示手段は、さらに、前記拡大表示された領域について、所定の条件を満たす倍率で拡大表示された領域と、所定の条件を満たさない倍率で拡大表示された領域とを識別可能に表示することを特徴とする請求項1に記載の情報処理装置。
【請求項３】
前記所定の条件を満たす倍率か否かは、前記受付手段により指定を受け付けた検出対象物体の領域に基づき決定されることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記画像に拡大表示されていない領域または所定の条件を満たさない倍率で拡大表示された領域が存在する場合、その旨を通知する通知手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
画像の切り替え指示を受け付ける切替指示受付手段をさらに備え、
前記通知手段は、前記画像の切り替え指示を受け付けた場合に、前記画像に拡大表示されていない領域または所定の条件を満たさない倍率で拡大表示された領域が存在する場合、その旨を通知することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
情報処理装置の受付手段が、画像に含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を受け付ける受付工程と、
前記情報処理装置の表示倍率変更受付手段が、前記画像の表示倍率の変更を受け付ける表示倍率変更受付工程と、
前記情報処理装置の表示手段が、前記表示倍率変更受付工程により変更された表示倍率により前記画像を表示する表示工程と、
を備え、
前記表示工程は、前記画像における拡大表示された領域と、拡大表示されていない領域とを識別可能に表示することを特徴とする情報処理方法。
【請求項７】
情報処理装置を、
画像に含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を受け付ける受付手段と、
前記画像の表示倍率の変更を受け付ける表示倍率変更受付手段と、
前記表示倍率変更受付手段により変更された表示倍率により前記画像を表示する表示手段として機能させ、
前記表示手段を、前記画像における拡大表示された領域と、拡大表示されていない領域とを識別可能に表示する手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法、プログラムに関する。
【背景技術】
【０００２】
近年、ディープラーニングと呼ばれる機械学習技術を応用した画像認識技術が発展しており、画像に写っている物体(カテゴリ)が何か、またその位置(画像中座標)はどこにあるのか、を検出する手法が数多く提案されている。
【０００３】
ディープラーニング技術を用いた物体検出器を構築するためには、大量の画像と教師データ（画像中のどこに、何のカテゴリの物体があるかを示すアノテーションデータ）が必要となる。
【０００４】
また、当該教師データの品質も担保される必要があり、教師データの質が低いと、正しく学習が行われず、検出精度の低い物体検出器が構築されてしまう。
【０００５】
したがって、１枚の画像に写っている検出対象の物体を抜け漏れなくラベル付け（検出対象の物体が写っている領域の指定と、その物体が何であるかの指定）することが、非常に重要となっている。
【０００６】
また、写っている検出対象物体の大きさが画像解像度に比べて小さい場合には、画像のそれぞれの領域を拡大表示しながらラベル付け操作を実施することが必要となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−１９７０５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
特許文献１には、拡大画像と共に全体画像を確認しながら電子ズームできる機能について記載されている。
【０００９】
特許文献１に記載された機能のように、全体画像と拡大画像を表示するだけでは、拡大したことがある領域と１度も拡大していない領域とを識別することができず、ラベル付けの抜け漏れの可能性を判断することができない。
【００１０】
そこで、本発明は、検出物体のラベル付けの抜け漏れがないかを効率的に確認するための仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の情報処理装置は、画像に含まれる検出対象物体の領域の指定および当該検出対象物体に対するラベルの指定を受け付ける受付手段と、前記画像の表示倍率の変更を受け付ける表示倍率変更受付手段と、前記表示倍率変更受付手段により変更された表示倍率により前記画像を表示する表示手段と、を備え前記表示手段は、前記画像における拡大表示された領域と、拡大表示されていない領域とを識別可能に表示することを特徴とする。
【発明の効果】
【００１２】
本発明によれば、検出物体のラベル付けの抜け漏れがないかを効率的に確認することが可能となる。
【図面の簡単な説明】
【００１３】
【図１】本発明における情報処理システムの構成の一例を示す図
【図２】本発明の情報処理装置（クライアント端末１０１、サーバ装置１０２）のハードウェア構成の一例を示すブロック図
【図３】表示矩形の作成・更新処理を示すフローチャート
【図４】俯瞰画像にマスクを施す処理を示すフローチャート
【図５】俯瞰画像にマスクを施す処理を示すフローチャート
【図６】俯瞰画像にマスクを施す処理を示すフローチャート
【図７】対象画像の切替指示がなされた場合のメッセージ表示処理を示すフローチャート
【図８】各種のデータが登録されたデータテーブルの一例を示す図
【図９】ラベル付け作業をする画面の一例を示す図
【図１０】画像を拡大表示した画面の一例を示す図
【図１１】マスク処理された画像が表示された画面の一例を示す図
【図１２】メッセージが表示された画面の一例を示す図
【発明を実施するための形態】
【００１４】
以下、図面を参照して、本発明の実施形態を詳細に説明する。
【００１５】
図１は、本発明における情報処理システムの構成の一例を示す図である。
【００１６】
図１に示すように、本発明における情報処理システムは、クライアント端末１０１とサーバ装置１０２が通信可能に接続された構成となっている。
【００１７】
クライアント端末１０１は、検出物体に対してラベル付け作業をするユーザが利用する端末であり、俯瞰画像や拡大画像等を表示し、ラベル付けの指示を受け付ける。ラベル付け作業は、表示された画像において、検出物体が写っている領域の指定と、当該検出物体が何であるかの指定を受け付ける作業である。例えば、図９に示す画面では、画像に写っている人物の顔が男性であるか女性であるかのラベル付けをした例を示している。人間の顔に相当する領域を矩形で囲み、その矩形内の顔が男性であるか女性であるかのラベル付けを行う。この際、小さく写っている顔は、そのままのサイズだと判別できないため、拡大表示してラベル付けを行う（図１０）。
【００１８】
サーバ装置１０２は、後述する確認ＯＫ・確認ＮＧ・未確認の領域を判定し、それぞれの領域を識別するためのマスク画像を生成する処理を行う。
【００１９】
クライアント端末１０１、サーバ装置１０２が実行する処理の詳細は、図３以降の図面を用いて後述する。
【００２０】
図２は、本発明の情報処理装置（クライアント端末１０１、サーバ装置１０２）のハードウェア構成の一例を示すブロック図である。
【００２１】
図２に示すように、情報処理装置は、システムバス２０４を介してＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２０３、入力コントローラ２０５、ビデオコントローラ２０６、メモリコントローラ２０７、よび通信Ｉ／Ｆコントローラ２０８が接続される。
【００２２】
ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。
【００２３】
ＲＯＭ２０２あるいは外部メモリ２１１は、ＣＰＵ２０１が実行する制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ  Ｉｎｐｕｔ／Ｏｕｔｐｕｔ  Ｓｙｓｔｅｍ）やＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や、本情報処理方法を実現するためのコンピュータ読み取り実行可能なプログラムおよび必要な各種データ（データテーブルを含む）を保持している。
【００２４】
ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＯＭ２０２あるいは外部メモリ２１１からＲＡＭ２０３にロードし、ロードしたプログラムを実行することで各種動作を実現する。
【００２５】
入力コントローラ２０５は、キーボード２０９や不図示のマウス等のポインティングデバイス等の入力装置からの入力を制御する。入力装置がタッチパネルの場合、ユーザがタッチパネルに表示されたアイコンやカーソルやボタンに合わせて押下（指等でタッチ）することにより、各種の指示を行うことができることとする。
【００２６】
また、タッチパネルは、マルチタッチスクリーンなどの、複数の指でタッチされた位置を検出することが可能なタッチパネルであってもよい。
【００２７】
ビデオコントローラ２０６は、ディスプレイ２１０などの外部出力装置への表示を制御する。ディスプレイは本体と一体になったノート型パソコンのディスプレイも含まれるものとする。なお、外部出力装置はディスプレイに限ったものははく、例えばプロジェクタであってもよい。また、前述のタッチ操作を受け付け可能な装置については、入力装置も提供する。
【００２８】
なおビデオコントローラ２０６は、表示制御を行うためのビデオメモリ（ＶＲＡＭ）を制御することが可能で、ビデオメモリ領域としてＲＡＭ２０３の一部を利用することもできるし、別途専用のビデオメモリを設けることも可能である。
【００２９】
メモリコントローラ２０７は、外部メモリ２１１へのアクセスを制御する。外部メモリとしては、ブートプログラム、各種アプリケーション、フォントデータ、ユーザファイル、編集ファイル、および各種データ等を記憶する外部記憶装置（ハードディスク）、フレキシブルディスク（ＦＤ）、或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるコンパクトフラッシュ（登録商標）メモリ等を利用可能である。
【００３０】
通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いた通信やＩＳＤＮなどの電話回線、および携帯電話の３Ｇ回線を用いた通信が可能である。
【００３１】
尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、ディスプレイ２１０上での表示を可能としている。また、ＣＰＵ２０１は、ディスプレイ２１０上の不図示のマウスカーソル等でのユーザ指示を可能とする。
【００３２】
次に、図３のフローチャートを用いて、表示矩形の作成・更新処理について説明する。
【００３３】
ステップＳ３０１では、クライアント端末１０１のＣＰＵ２０１は、図９に示す画面において、ユーザから拡大倍率（表示倍率）の変更指示を受け付けたかを判定し、変更指示を受け付けた場合は、処理をステップＳ３０２に移行する。拡大倍率の変更は、図９に表示するスライダーに対する操作により受け付け可能である。図１０は、拡大表示された場合の画面の一例を示す図である。
【００３４】
ステップＳ３０２では、サーバ装置１０２のＣＰＵ２０１は、新たに表示矩形の作成をする。なお、表示矩形とは、図８の「表示矩形」のデータテーブルで示す通り、どの画像（画像パス）のどの領域（座標）をどの程度の倍率（拡大倍率）で表示したかを管理する情報である。また、表示矩形は、拡大倍率が変更されると新たに作成され（ステップＳ３０１〜Ｓ３０４で説明する処理）、同じ倍率で表示領域が変更された場合は、座標情報が更新される（ステップＳ３０５〜Ｓ３０８で説明する処理）。
【００３５】
ステップＳ３０３では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０２で作成された表示矩形をクライアント端末１０１に送信する。
【００３６】
ステップＳ３０４では、クライアント端末１０１のＣＰＵ２０１は、ステップＳ３０３で送信された表示矩形を受信する。
【００３７】
次に、表示矩形の更新処理について説明する。
【００３８】
ステップＳ３０５では、クライアント端末１０１のＣＰＵ２０１は、図９に示す画面において、表示座標の変更がなされたかを判定し、変更がなされた場合は、処理をステップＳ３０６に移行する。表示座標の変更は、マウスやキーボードによる操作等により受け付け可能である。
【００３９】
ステップＳ３０６では、サーバ装置１０２のＣＰＵ２０１は、表示矩形の座標情報を更新する。
【００４０】
ステップＳ３０７では、サーバ装置１０２のＣＰＵ２０１は、ステップＳ３０７で更新された表示矩形をクライアント端末１０１に送信する。
【００４１】
ステップＳ３０７では、クライアント端末１０１のＣＰＵ２０１は、ステップＳ３０７で送信された表示矩形を受信する。
【００４２】
次に、図４〜図６のフローチャートを用いて、俯瞰画像において確認済みと判定される領域と未確認と判定される領域とを識別可能に表示する処理について説明する。
【００４３】
図４のステップＳ４０１、Ｓ４０４〜Ｓ４０６は、クライアント端末１０１のＣＰＵ２０１が実行する処理であり、Ｓ４０２（図５、図６）、Ｓ４０３は、サーバ装置１０２のＣＰＵ２０１が実行する処理である。
【００４４】
ステップＳ４０１では、図９に示す俯瞰画像表示ボタンが押下されたかを判定し、押下された場合は、処理をステップＳ４０２に移行する。
【００４５】
ステップＳ４０２では、俯瞰画像表示用のマスク画像を作成する。本ステップの処理の詳細は、図５、図６を用いて説明する。
【００４６】
図５のステップＳ５０１では、対象画像に該当する表示矩形群を取得する。例えば、対象画像が「1.jpg」の場合、図８に示す表示矩形のうち、画像パスが「/image/1.jpg」となっているＩＤが１〜３の３つの表示矩形が取得される。
【００４７】
ステップＳ５０２では、対象画像に該当する検出物体矩形群を取得する。図８に示す検出物体矩形のうち、画像パスが「/image/1.jpg」となっているＩＤが１〜３の３つが取得される。
【００４８】
ステップＳ５０３では、ステップＳ５０２の処理の結果、検出物体矩形が取得できたかを判定する。
【００４９】
取得できた場合（ステップＳ５０３：ＹＥＳ）は、処理をステップＳ５０４に移行し、取得できなかった場合（ステップＳ５０３：ＮＯ）は、処理をステップＳ５１８に移行する。
【００５０】
なお、取得できない場合とは、対象画像において、ラベル付け作業が行われていない場合や検出物体が対象画像に含まれていなかった場合が考えられる。
【００５１】
以降、ステップＳ５０５〜Ｓ５１７の処理を表示矩形ごとに繰り返し実行し（Ｓ５０４）、ステップＳ５０６〜Ｓ５０９の処理を検出物体矩形ごとに繰り返し実行する（Ｓ５０５）。
【００５２】
ステップＳ５０６では、表示矩形と検出物体矩形のＩｏＵ（Intersection-over-Union）を計算する。
【００５３】
ステップＳ５０７では、予め設定されたＩｏＵ設定値を取得する。本実施例においては、図８に示す通り、「０．５」が設定されているものとする。
【００５４】
ステップＳ５０８では、ステップＳ５０６で計算されたＩｏＵ値と、ステップＳ５０７で取得したＩｏＵ設定値を比較し、ステップＳ５０６で計算されたＩｏＵ値の方が大きい場合（すなわち、表示矩形と検出物体矩形との重なりが、予め設定された値よりも大きい場合）（ステップＳ５０８：ＹＥＳ）は、処理をステップＳ５０９に移行する。ＩｏＵ設定値の方が大きい場合は、次の検出物体矩形に処理を移行する。
【００５５】
ステップＳ５０９では、処理対象の検出物体矩形を代表サイズ計算矩形に採用する。
【００５６】
ステップＳ５０２で取得したすべての検出物体矩形に対してＳ５０６〜Ｓ５０９の処理が実行されると、処理をステップＳ５１０に進める。
【００５７】
ステップＳ５１０では、Ｓ５０９で代表サイズ計算矩形に採用された検出物体矩形があるかを判定する。すなわち、ＩｏＵ設定値以上に表示矩形と重なっている検出物体矩形が存在したかを判定する。
【００５８】
ある場合（ステップＳ５１０：ＹＥＳ）は、処理をステップＳ５１１に移行する。
【００５９】
無い場合（ステップＳ５１０：ＮＯ）は処理をステップＳ５１７に移行し、処理対象の表示矩形を確認保留表示矩形として管理する。
【００６０】
ステップＳ５１１では、予め設定された代表サイズ計算方法を取得する。本実施例においては、図８に示す通り、平均を用いるものとする。平均以外にも、最小、最大、中央値等を用いる方法が考えられる。
【００６１】
ステップＳ５１２では、代表サイズ計算矩形群から代表サイズを計算する。本実施例においては、Ｓ５０９で採用された検出物体矩形のサイズ（面積）の平均値を計算する。具体的には、代表サイズ計算矩形の平均サイズ（画像上の本当の大きさ）に表示矩形の拡大倍率を掛けることで、画面上での見かけの大きさを算出する。
【００６２】
ステップＳ５１３では、予め設定された基準判定サイズを取得する。本実施例においては、図８に示す通り、10000（ピクセル）とする。
【００６３】
ステップＳ５１４では、ステップＳ５１２で計算された代表サイズ（画面上での見かけの大きさ）と、ステップ５１３で取得した基準判定サイズを比較する。
【００６４】
そして、ステップＳ５１２で計算された代表サイズの方が大きい場合（Ｓ５１４：ＹＥＳ）は、処理をステップＳ５１５に移行し、処理対象の表示矩形を確認ＯＫ表示領域として採用する。
【００６５】
基準判定サイズの方が大きい場合（Ｓ５１４：ＮＯ）は、処理をステップＳ５１６に移行し、処理対象の表示矩形を確認ＮＧ表示領域として採用する。
【００６６】
そして、処理をステップＳ５０４に戻し、次の表示矩形に対する処理を実行する。すべての表示矩形に対する処理を終了すると、図６のステップＳ６０１に処理を移行する。
【００６７】
次に、Ｓ５０３で検出物体矩形がないと判定された場合の処理について説明する。
【００６８】
ステップＳ５１８では、予め設定された基準倍率設定値を取得する。本実施例においては、図８に示す通り２倍とする。
【００６９】
そして、Ｓ５２０〜Ｓ５２２の処理を表示矩形ごとに繰り返し実行する。
【００７０】
ステップＳ５２０では、ステップＳ５１８で取得した基準倍率設定値と、処理対象の表示矩形の拡大倍率とを比較する。
【００７１】
そして、表示矩形の拡大倍率の方が大きい場合（Ｓ５２０：ＹＥＳ）は、処理をステップＳ５２１に移行し、処理対象の表示矩形を確認ＯＫ表示領域として採用する。
【００７２】
基準倍率設定値の方が大きい場合（Ｓ５２０：ＮＯ）は、処理をステップＳ５２２に移行し、処理対象の表示矩形を確認ＮＧ表示領域として採用する。
【００７３】
すべての表示矩形に対する処理を終了すると、図６のステップＳ６０１に処理を移行する。
【００７４】
図６のステップＳ６０１では、ステップＳ５１７で確認保留表示矩形とされた表示矩形ごとに、Ｓ６０２〜Ｓ６０７の処理を実行する。
【００７５】
ステップＳ６０２では、ステップＳ５１５の処理で確認ＯＫ表示領域として採用された表示矩形が存在するかを判定する。
【００７６】
存在する場合（Ｓ６０２：ＹＥＳ）は、処理をステップＳ６０３に移行し、存在しない場合（Ｓ６０２：ＮＯ）は、処理をステップＳ６０７に移行する。
【００７７】
そして、ステップＳ５１５で確認ＯＫ表示領域として採用されたすべての表示矩形について、確認保留表示矩形の中心座標と確認ＯＫ表示矩形の中心座標の距離を計算する（Ｓ６０３、Ｓ６０４）。
【００７８】
ステップＳ６０５では、ステップＳ６０４で計算された距離が最も近い確認ＯＫ表示矩形の拡大倍率と、確認保留表示矩形の拡大倍率とを比較する。
【００７９】
比較の結果、確認保留表示矩形の拡大倍率が最近傍の確認ＯＫ表示矩形の拡大倍率と等しいか大きい（より拡大された）場合（Ｓ６０５：ＹＥＳ）は、処理をステップＳ６０６に移行し、確認保留表示矩形の拡大倍率の方が最近傍の確認ＯＫ表示矩形の拡大倍率より小さい場合（Ｓ６０５：ＮＯ）は、処理をステップＳ６０７に移行する。
【００８０】
ステップＳ６０６では、処理対象の確認保留表示矩形を確認ＯＫ表示領域として採用し、Ｓ６０７では、処理対象の確認保留表示矩形を確認ＮＧ表示領域として採用する。つまり、確認保留表示矩形の最も近くにある確認OK表示矩形と同等以上の倍率で見ていたら確認ＯＫ表示領域とする。
【００８１】
すべての確認保留表示矩形に対してＳ６０２〜Ｓ６０７の処理が終了すると、処理をステップＳ６０８に移行する。
【００８２】
ステップＳ６０８では、対象画像を取得する。
【００８３】
ステップＳ６０９では、対象画像と同じ解像度で画素値が（０，０，０）のマスク画像を作成する。
【００８４】
ステップＳ６１０、Ｓ６１１では、マスク画像のうち、すべての確認ＮＧ表示矩形に対応する部分の画素値を（２５５，０，０）に設定する。すなわち、すべての確認ＮＧ表示矩形に対応する部分について、赤色で識別できるように設定する。
【００８５】
ステップＳ６１２、Ｓ６１３では、マスク画像のうち、すべての確認ＯＫ表示矩形に対応する部分の画素値を（０，０，２５５）に設定する。すなわち、すべての確認ＯＫ表示矩形に対応する部分について、青色で識別できるように設定する。
【００８６】
Ｓ６０９〜Ｓ６１３の処理により、対象画像のうち、拡大表示がされなかった領域については無色のマスクをし、確認ＮＧ表示領域については赤色でマスクをし、確認ＯＫ表示領域については青色でマスクをするためのマスク画像が作成される。なお、拡大表示がされなかった領域、確認ＮＧ表示領域、確認ＯＫ表示領域がそれぞれ識別可能になれば良いため、色の付け方は自由に設定できるものとする。また、色を変えるのではなく、濃淡で識別したり、模様で識別したり、枠線の表示形式により識別しても良い。
【００８７】
そして、処理を図４のステップＳ４０３に移行する。
【００８８】
ステップＳ４０３では、ステップＳ４０２で作成されたマスク画像をクライアント端末１０１に送信する。
【００８９】
ステップＳ４０４では、ステップＳ４０３で送信されたマスク画像を受信する。
【００９０】
ステップＳ４０５では、ステップＳ４０４で受信したマスク画像と、対象画像を顔も見付き重ね合わせた画像を作成し、重ね合わせ画像を俯瞰画像として表示する（ステップＳ４０６）。
【００９１】
以上の処理により、対象画像のうち、拡大表示がされなかった領域については元の画像そのままで表示し、確認ＮＧ表示領域については赤色でマスクされ、確認ＯＫ表示領域については青色でマスクされた画像を表示することが可能となる。
【００９２】
これにより、拡大表示された領域と、拡大表示されていない領域と、を識別可能に表示することが可能となり、さらに拡大表示された領域の中でも、所定の倍率以上に拡大された領域（または動的に算出された倍率以上に拡大された領域）とそれ以外の領域とを識別可能に表示することが可能となる。
【００９３】
なお、本実施例では、検出物体矩形がある場合には、検出物体矩形のサイズを基準に、確認ＯＫ領域であるか否かを判定したが、検出物体矩形の有無にかかわらず所定の基準倍率を満たすか否かにより判断しても良い（検出物体矩形がある場合でも、Ｓ５１８〜Ｓ５２２の処理と同様の処理により判断しても良い）。
【００９４】
次に、図７のフローチャートを用いて、対象画像の切替指示がなされた場合のメッセージ表示処理について説明する。
【００９５】
図７のステップＳ７０１、Ｓ７０４〜Ｓ７０８、Ｓ７０９の処理は、クライアント端末１０１のＣＰＵ２０１が実行する処理であり、Ｓ７０２、Ｓ７０３、Ｓ７０７、Ｓ７０８の処理は、サーバ装置１０２のＣＰＵ２０１が実行する処理である。
【００９６】
ステップＳ７０１では、図９に示す画面において、ユーザから次の画像を表示する指示または前の画像を表示する指示がなされたかを判定し、指示がなされた場合（Ｓ７０１：ＹＥＳ）は、処理をステップＳ７０２に移行する。
【００９７】
ステップＳ７０２では、俯瞰画像表示用のマスク画像を作成する。本ステップの処理は図５、図６のフローチャートに示す処理である。
【００９８】
ステップＳ７０３では、ステップＳ７０２で作成されたマスク画像をクライアント端末１０１に送信する。
【００９９】
ステップＳ７０４では、ステップＳ７０３で送信されたマスク画像を受信する。
【０１００】
ステップＳ７０５では、画素値（２５５，０，０）または画素値（０，０，０）が存在するかを判定する。すなわち、拡大表示されなかった領域または確認ＮＧ表示領域が存在するかを判定する。
【０１０１】
存在する場合（Ｓ７０５：ＹＥＳ）は、処理をステップＳ７０６に移行し、拡大表示確認が不十分な領域や未表示領域が存在する旨のメッセージを表示する。メッセージを表示した画面の一例を図１２に示す。
【０１０２】
なお、図１２におけるＯＫボタンが押下された場合は、処理をステップＳ７０７に移行する。
【０１０３】
存在しない場合（Ｓ７０５：ＮＯ）は、処理をステップＳ７０７に移行する。
【０１０４】
ステップＳ７０７では、編集対象画像（前の画像または次の画像）を取得し、クライアント端末１０１に送信する（Ｓ７０８）。そして、クライアント端末１０１は送信された画像を受信し（Ｓ７０９）、当該画像を表示する。
【０１０５】
以上のように、現在の画像で確認が不十分な領域等が残っている場合にメッセージを通知することで、検出物体のラベル付けの抜け漏れを防ぐことが可能となる。
【０１０６】
図８は、各種データテーブルの一例を示す図である。
【０１０７】
カテゴリラベルは、検出物体のカテゴリ（何であるかを示す情報）が登録されたテーブルである。登録するカテゴリ名は、何を検出する物体検出器を構築するかにより異なるものである。本実施例のように画像に含まれる人物の性別を検出する検出器を構築する場合には、図８の例のように、男性・女性といったカテゴリを登録する。
【０１０８】
画像テーブルは、ラベル付けを行う元画像が登録されたテーブルである。
【０１０９】
検出物体矩形は、どの画像のどの領域にどのカテゴリの物体が存在するのかを示す情報が登録されるテーブルである。例えば、ＩＤ：１で特定される検出物体矩形は、画像：1.jpgの（１４，２０，３０，５０）で特定される領域に男性の顔が存在することを示している。
【０１１０】
設定テーブルは、本発明の処理に必要な設定値が登録されたテーブルである。これらの設定値についても、どのような物体検出器を構築するか、どのような画像データから物体を検出するか等により、その都度登録されるものである。
【０１１１】
表示矩形テーブルは、どの画像のどの領域をどの程度の倍率で表示したかを示す情報を管理するテーブルである。
【０１１２】
図１１は、ステップＳ４０６で表示される画面の一例である。図１１の例では色分けではなく、模様により識別表示している。
【０１１３】
図１１に示す通り、縦縞のマスクがなされた領域（１１０１）は、確認ＯＫ表示領域であり、薄墨色でマスクされた領域（１１０２）は確認ＮＧ表示領域である。それ以外の領域は、拡大表示されていない領域である。
【０１１４】
以上、情報処理システムとしての実施形態について示したが、本発明は、例えば、装置、方法、プログラムもしくは記録媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１５】
また、本発明におけるプログラムは、図３〜図７に示すフローチャートの処理方法をコンピュータが実行可能なプログラムであり、本発明の記憶媒体は図３〜図７の処理方法をコンピュータが実行可能なプログラムが記憶されている。なお、本発明におけるプログラムは図３〜図７の各装置の処理方法ごとのプログラムであってもよい。
【０１１６】
以上のように、前述した実施形態の機能を実現するプログラムを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムを読み出し、実行することによっても本発明の目的が達成されることは言うまでもない。
【０１１７】
この場合、記録媒体から読み出されたプログラム自体が本発明の新規な機能を実現することになり、そのプログラムを記録した記録媒体は本発明を構成することになる。
【０１１８】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＥＥＰＲＯＭ、シリコンディスク等を用いることが出来る。
【０１１９】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２０】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２１】
また、本発明は、複数の機器から構成されるシステムに適用しても、ひとつの機器から成る装置に適用しても良い。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。
【０１２２】
さらに、本発明を達成するためのプログラムをネットワーク上のサーバ、データベース等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。
【符号の説明】
【０１２３】
１０１  クライアント端末
１０２  サーバ装置
【図１】
2019082927.tif 000003
【図２】
2019082927.tif 000004
【図３】
2019082927.tif 000005
【図４】
2019082927.tif 000006
【図５】
2019082927.tif 000007
【図６】
2019082927.tif 000008
【図７】
2019082927.tif 000009
【図８】
2019082927.tif 000010
【図９】
2019082927.tif 000011
【図１０】
2019082927.tif 000012
【図１１】
2019082927.tif 000013
【図１２】
2019082927.tif 000014
【手続補正書】
【提出日】平成30年3月27日(2018.3.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザから、画像における属性情報を付与する領域の指定を受け付ける情報処理装置であって、
前記画像の表示倍率の設定を受け付ける表示倍率設定受付手段と、
前記表示倍率設定受付手段により設定された表示倍率により前記画像を表示する表示制御手段と、
を備え
前記表示制御手段は、前記画像における拡大表示されたことのある領域と、拡大表示されたことのない領域とを識別可能に表示することを特徴とする情報処理装置。
【請求項２】
前記表示制御手段は、前記拡大表示された領域について、所定の条件を満たす倍率で拡大表示された領域と、所定の条件を満たさない倍率で拡大表示された領域とを識別可能に表示することを特徴とする請求項1に記載の情報処理装置。
【請求項３】
前記所定の条件を満たす倍率か否かは、前記指定を受け付けた属性情報を付与する領域に基づき決定されることを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記画像に拡大表示されていない領域または所定の条件を満たさない倍率で拡大表示された領域が存在する場合、その旨を通知する通知手段をさらに備えることを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
【請求項５】
画像の切り替え指示を受け付ける切替指示受付手段をさらに備え、
前記通知手段は、前記画像の切り替え指示を受け付けた場合に、前記画像に拡大表示されていない領域または所定の条件を満たさない倍率で拡大表示された領域が存在する場合、その旨を通知することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
ユーザから、画像における属性情報を付与する領域の指定を受け付ける情報処理装置における情報処理方法であって、
前記情報処理装置の表示倍率設定手段が、前記画像の表示倍率の設定を受け付ける表示倍率設定受付工程と、
前記情報処理装置の表示制御手段が、前記表示倍率設定受付工程において設定された表示倍率により前記画像を表示する表示制御工程と、
を備え
前記表示制御工程は、前記画像における拡大表示されたことのある領域と、拡大表示されたことのない領域とを識別可能に表示することを特徴とする情報処理方法。
【請求項７】
ユーザから、画像における属性情報を付与する領域の指定を受け付ける情報処理装置のコンピュータを、
前記画像の表示倍率の設定を受け付ける表示倍率設定受付手段と、
前記表示倍率設定受付手段により設定された表示倍率により前記画像を表示する表示制御手段として機能させ、
前記表示制御手段を、前記画像における拡大表示されたことのある領域と、拡大表示されたことのない領域とを識別可能に表示する手段として機能させるためのプログラム。