(57)【要約】【課題】効率良く目的の画像（静止画）を取得することができる情報処理装置を提供すること。【解決手段】実施形態に係る情報処理装置は、評価部、制御部、入力受付部、及び登録部を備える。前記評価部は、動画データに含まれる複数のフレームを評価する。前記制御部は、前記複数のフレームの評価結果に基づき、評価基準を満たす１以上のフレームに対応する画像を表示するように制御する。前記入力受付部は、表示画像から登録画像の指定を受付ける。前記登録部は、前記登録画像を登録する。【選択図】      図３
2020016956.tif 000002
【特許請求の範囲】
【請求項１】
動画データに含まれる複数のフレームを評価する評価部と、
前記複数のフレームの評価結果に基づき、評価基準を満たす１以上のフレームに対応する画像を表示するように制御する制御部と、
表示画像から登録画像の指定を受付ける入力受付部と、
前記登録画像を登録する登録部と、
を備える情報処理装置。
【請求項２】
前記制御部は、前記評価基準を満たすフレーム数が規定数を超えた場合に、前記評価基準を満たす１以上のフレームに対応する画像を表示するように制御する請求項１の情報処理装置。
【請求項３】
前記制御部は、前記評価基準を満たすフレーム数が規定数未満の場合に、追加の動画データを要求する請求項１又は２の情報処理装置。
【請求項４】
前記入力受付部は、複数の閾値の入力を受付け、
前記評価部は、各フレームの複数の特徴量と、これら複数の特徴量に対応する前記複数の閾値とを比較し、比較結果に基づき各フレームの評価結果を生成し、前記評価基準を満たす１以上のフレームを出力する請求項１乃至３の何れか一つの情報処理装置。
【請求項５】
前記制御部は、前記評価結果に基づき、前記評価基準を満たす１以上のフレームに対応する画像の表示順を制御する請求項４の情報処理装置。
【請求項６】
前記入力受付部は、前記複数の閾値のうちの少なくとも一つの閾値の変更入力を受付け、
前記評価部は、少なくとも一つの閾値の変更入力に応じて前記複数の閾値のうちの少なくとも一つの閾値を変更し、前記複数の閾値のうちの少なくとも一つの閾値の変更に応じて前記評価結果を変更する、請求項５の情報処理装置。
【請求項７】
前記制御部は、変更評価結果に基づき、前記評価基準を満たす１以上のフレームに対応する画像の表示順を制御する請求項６の情報処理装置。
【請求項８】
前記登録画像に含まれるオブジェクトから識別情報を認識する認識部と、
前記識別情報に基づき前記オブジェクトを判定する判定部と、
前記オブジェクトの判定結果を出力する出力部と、
を備える請求項１乃至７の何れか一つの情報処理装置。
【請求項９】
前記制御部は、前記オブジェクトの判定エラーに基づき、前記複数の閾値のうちの少なくとも一つの閾値の変更を要求する請求項８の情報処理装置。
【請求項１０】
前記制御部は、前記オブジェクトの判定エラーに基づき、追加の動画データを要求する請求項８の情報処理装置。
【請求項１１】
動画データに含まれる複数のフレームを評価し、
前記複数のフレームの評価結果に基づき、評価基準を満たす１以上のフレームに対応する画像を表示するように制御し、
表示画像から登録画像の指定を受付け、
前記登録画像を登録する情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
スマートフォンやタブレットなどのモバイル端末は、カメラを搭載し、対象の静止画を撮影することができる。
【０００３】
一般的にモバイル端末のカメラで対象の静止画を撮影する場合、以下の様ないくつかの理由のうちの少なくとも一つの理由から目的の静止画像が得られない場合がある。
・ピントずれや手振れによる画像ボケが生じること
・撮影環境やカメラ露光の不良により画像が暗くなること
・カメラ視野内に光を強く反射する存在があり、反射光により撮影対象物が判別できなくなること
少なくとも一つの理由が発生している場合に、画像処理を適用して画像を補正し目的の静止画を得ることが考えられる。画像処理によって画像を補正する公知の技術は多数存在する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−０５８８７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、目的の静止画の精度（品質）は、カメラの性能や撮影環境に左右されやすく、補正により目的の静止画が得られない場合には撮影のやり直しという手間が発生する。
【０００６】
本発明の目的は、効率良く目的の画像（静止画）を取得することができる情報処理装置及び情報処理方法を提供することにある。
【課題を解決するための手段】
【０００７】
実施形態に係る情報処理装置は、評価部、制御部、入力受付部、及び登録部を備える。前記評価部は、動画データに含まれる複数のフレームを評価する。前記制御部は、前記複数のフレームの評価結果に基づき、評価基準を満たす１以上のフレームに対応する画像を表示するように制御する。前記入力受付部は、表示画像から登録画像の指定を受付ける。前記登録部は、前記登録画像を登録する。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る情報処理装置の一例を示すブロック図である。
【図２】実施形態に係る情報処理装置による全体処理（画像登録処理及び物品判定処理）の一例を示すフローチャートである。
【図３】実施形態に係る情報処理装置による画像登録処理の一例を示すフローチャートである。
【図４】実施形態に係る物品判定処理の一例を示すフローチャートである。
【図５】画像表示処理部により表示される評価結果の一例を示す図である。
【図６】サムネイル画像のリスト表示の一例を示す図である。
【発明を実施するための形態】
【０００９】
図１は、実施形態に係る情報処理装置の一例を示すブロック図である。  
例えば、情報処理装置１は、スマートフォンやタブレットなどのモバイル端末である。本実施形態では、情報処理装置１により様々なオブジェクトを撮影し、オブジェクトを特定するケースを想定する。例えば、オブジェクトとして、乱雑に置かれた廃棄対象となる物品（以下、「製品」と称する）を想定する。例えば、製品には、文字、数字、及び記号等が組み合わせられた物品識別情報（以下、「製造番号」と称する）が貼り付けられており、この製造番号から物品情報（以下、「製品情報」と称する）を特定することができる。製品情報は、製造番号、製品名、及び製品を構成する原材料に関する情報等を含み、原材料に関する情報から製品の廃棄方法等を特定することができる。
【００１０】
図１に示すように、モバイル端末等の情報処理装置１は、プロセッサー１１、記憶部１２、通信部１３、入力部１４、表示部１５、及び撮影部１６を備える。
【００１１】
プロセッサー１１は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）、又はＡＳＩＣ（Application Specific Integrated Circuit）などである。あるいは、プロセッサー１１は、これらの組み合わせである。プロセッサー１１は、記憶部１２に記憶されるプログラムに基づき動作し、情報処理装置１における各種処理及び各種動作を制御する。
【００１２】
例えば、コンピュータ読み取り可能な記憶媒体を通じて上記プログラムを情報処理装置１へインストールして実行するだけで、本実施形態で説明する各種処理及び動作を容易に実現することができる。例えば、情報処理装置１は、上記プログラムをネットワーク経由でダウンロードし、ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができる。或いは、情報処理装置１は、上記プログラムを情報記憶媒体から読み取り、読み取ったプログラムを記憶し、プログラムのインストールを完了することができる。
【００１３】
プロセッサー１１は、閾値設定処理部１１１、フレーム評価処理部１１２、画像表示処理部１１３、画像登録処理部１１４、物品識別情報認識処理部１１５、物品判定処理部１１６、及び判定結果出力処理部１１７等を備える。これら各処理部の処理をプロセッサー処理と称する。プロセッサー１１は、記憶部１２に記憶されるプログラムに基づき動作し、プロセッサー処理を実行する。或いは、これら各処理部のそれぞれが、１以上のプロセッサーを有し、それぞれのプロセッサーで処理を担うようにしてもよい。
【００１４】
閾値設定処理部１１１は、動画データに含まれる複数のフレームを評価するための１以上の閾値を設定する。本実施形態では、３つの指標に対応する３つの閾値を設定するケースについて説明する。例えば、３つの指標として、画像のボケの度合い、光の反射の度合い、及び暗さ（明暗）の度合いが挙げられる。
【００１５】
フレーム評価処理部１１２は、動画データに含まれる複数のフレームの特徴量と、この特徴量に対応する閾値とを比較し、比較結果に基づき各フレームを評価する。例えば、フレーム評価処理部１１２は、各フレームから指標の異なる複数の特徴量を検出し、各フレームの特徴量とこれら複数の特徴量に対応する複数の閾値とを比較し、比較結果に基づき各フレームを総合的に評価し評価結果を生成し、評価基準を満たす１以上のフレームを出力する。
【００１６】
画像表示処理部１１３は、表示部１５に表示するための画像を生成し表示部１５へ出力する表示制御を担う。例えば、画像表示処理部１１３は、各フレームの評価結果に基づき、評価基準を満たす１以上のフレームに対応する画像を表示するように制御する。表示部１５は、画像表示処理部１１３の表示制御に基づき、評価基準を満たす１以上のフレームに対応する画像を表示する。
【００１７】
画像登録処理部１１４は、評価基準を満たす１以上のフレームに対応する画像、つまり画像表示処理部１１３の表示制御に基づき表示される画像から、ユーザに指定された登録画像の登録を制御する。記憶部１２は、画像登録処理部１１４の制御に基づき登録画像を登録（記憶）する。
【００１８】
物品識別情報認識処理部１１５は、評価基準を満たし登録された登録画像に含まれる製品の画像領域を検出し、検出された製品の画像領域から製造番号の画像領域を検出し、検出された画像領域の製造番号を認識する。例えば、物品識別情報認識処理部１１５は、文字等の辞書データを参照し、パターンマッチング等により製造番号を認識する。
【００１９】
物品判定処理部１１６は、認識された製造番号に基づき製品を判定する。例えば、物品判定処理部１１６は、物品データベースを参照して製品を判定する。物品データベースは、各製品に対応する製品情報を含み、製品情報は、製造番号、製品名、及び原材料に関する情報等を含む。
【００２０】
判定結果出力処理部１１７は、製品の判定結果を出力する。例えば、判定結果出力処理部１１７は、検出された製品に対応する製品名及び原材料に関する情報等を出力する。さらに、判定結果出力処理部１１７は、廃棄方法データベースと原材料に関する情報に基づき、検出された製品の廃棄方法等のガイド情報を出力するようにしてもよい。廃棄方法データベースは、原材料に対応する廃棄方法を含む。
【００２１】
記憶部１２は、プログラムメモリ、ワークメモリ、及びデータストレージを含む。プログラムメモリは、プログラムを記憶する。ワークメモリは、プログラムメモリ等に格納されたプログラムを実行する際にプログラムを一時的に記憶したり、プログラムが扱うデータを一時的に記憶したりする。データストレージは、動画データ、及び動画データに含まれる複数のフレームのうちの評価基準を満たすフレーム等を記憶する。なお、動画データを記憶し、動画データに含まれる複数のフレームのうちの評価基準を満たすフレームにフラグを付与するようにしてもよい。これにより、記憶資源の有効活用を図ることができる。
【００２２】
例えば、データストレージは、閾値保存部１２１、フレーム保存部１２２、サムネイル保存部１２３、登録画像保存部１２４、辞書データ保存部１２５、物品データベース保存部１２６、及び廃棄方法データベース保存部１２７を備える。閾値保存部１２１は、動画データに含まれる複数のフレームを評価するための閾値を記憶する。例えば、各フレームの複数の特徴量に基づき各フレームの評価結果を生成する場合、閾値保存部１２１は、これら複数の特徴量に対応する複数の閾値を記憶する。フレーム保存部１２２は、複数のフレームを含む動画データを保存する。サムネイル保存部１２３は、動画データに含まれる複数のフレームのうち、評価基準を満たすフレームに対応するサムネイル画像を保存する。登録画像保存部１２４は、評価基準を満たすフレームのうち、ユーザに指定された登録画像を登録する。辞書データ保存部１２５は、製造番号等の認識の際に参照される辞書データを保存する。物品データベース保存部１２６は、製品判定の際に参照される物品データベースを保存する。廃棄方法データベース保存部１２７は、製品の廃棄方法等のガイド情報を提供するための廃棄方法データベースを保存する。
【００２３】
通信部１３は、無線通信によりサーバ２と通信し、サーバ２に対して各種情報を送信したり、サーバ２から各種情報を受信したりする。例えば、通信部１３は、無線通信によりサーバ２と通信し、辞書データ、物品データベース、及び廃棄方法データベースを受信する。
【００２４】
入力部１４は、ユーザからの入力を受付ける入力受付部である。また、表示部１５は、ユーザに対して各種情報を表示する。例えば、入力部１４はタッチされた位置を検知するタッチパネルで、表示部１５は液晶表示パネルであり、液晶表示パネルに対応してタッチパネルが設けられ、液晶表示パネルとタッチパネルにより入力受付部を構成するようにしてもよい。例えば、液晶表示パネルの所定位置に所定項目が表示され、タッチパネルの所定位置がタッチされると、所定項目の指定又は選択が完了する。
【００２５】
表示部１５は、取得された動画データに基づく画像を表示したり、動画データに含まれる複数のフレームの評価結果を表示したり、評価基準を満たすフレームに対応するサムネイル画像を表示したりする。
【００２６】
撮影部１６は、動画及び静止画を撮影するカメラである。動画モードの実行に対応して、撮影部１６は、複数のフレームを含む動画データを出力する。また、静止画モードの実行に対応して静止画データを出力する。本実施形態では、動画モードを利用した効率的な目的画像の登録について説明する。
【００２７】
図２は、実施形態に係る情報処理装置による全体処理（画像登録処理及び物品判定処理）の一例を示すフローチャートである。  
情報処理装置１の撮影部１６は、入力部１４で受付けられるユーザの動画撮影操作（開始）に応じて動画の撮影を開始し、動画撮影操作（終了）に応じて動画の撮影を終了し、撮影期間中の動画データを出力する。情報処理装置１のプロセッサー１１は、動画データに基づき目的画像を登録するための画像登録処理を実行する（ステップＳＴ１）。なお、画像登録処理（ステップＳＴ１）の詳細については、図３のフローチャートを参照して詳細に説明する。
【００２８】
続いて、情報処理装置１のプロセッサー１１は、登録画像に含まれる物品を判定する物品判定処理を実行する（ステップＳＴ２）。例えば、プロセッサー１１は、画像登録処理の完了に応じて、物品判定処理を実行する。物品判定処理（ステップＳＴ２）の詳細については、図４のフローチャートを参照して詳細に説明する。
【００２９】
図３は、実施形態に係る情報処理装置による画像登録処理の一例を示すフローチャートである。
【００３０】
ユーザは、入力部１４を介して、動画データに含まれる複数のフレームを評価するための閾値を入力する。例えば、入力部１４は、ユーザからの閾値の入力を受付け、プロセッサー１１の閾値設定処理部１１１は、受付けた閾値の設定を指示し（ステップＳＴ１０１）、記憶部１２の閾値保存部１２１は、閾値を保存する。
【００３１】
例えば、プロセッサー１１のフレーム評価処理部１１２は、各フレームから指標の異なる複数の特徴量を検出し、これら複数の特徴量に基づき各フレームを評価する場合、入力部１４は、これら複数の特徴量に対応する複数の閾値の入力を受付け、閾値設定処理部１１１は、これら複数の閾値を設定する（ステップＳＴ１０１）。例えば、閾値設定処理部１１１は、画像のボケの度合い、光の反射の度合い、及び暗さ（明暗）の度合いに関する特徴量に対応する複数の閾値を設定する。
【００３２】
続いての処理は、所定条件を満たすサムネイル画像が規定数を超えるまで繰り返される処理である。ユーザの撮影操作に応じて、情報処理装置１の撮影部１６は、撮影対象を撮影する。表示部１５は、撮影部１６により撮影される動画を表示するので、ユーザは、この動画を確認しながら、撮影対象の撮影を継続することができる（ステップＳＴ１０２）。
【００３３】
撮影部１６は、撮影対象の撮影に対応して動画データを取得し（ステップＳＴ１０３）、動画データを出力する。記憶部１２のフレーム保存部１２２は、複数のフレームを含む動画データを保存する（ステップＳＴ１０４）。
【００３４】
プロセッサー１１のフレーム評価処理部１１２は、フレーム保存部１２２に保存された動画データに含まれる複数のフレームのそれぞれを評価する（ステップＳＴ１０５）。例えば、フレーム評価処理部１１２は、各フレームから指標の異なる複数の特徴量を検出し、これら複数の特徴量とこれら複数の特徴量に対応する複数の閾値とを比較し、比較結果に基づき各フレームを総合的に評価し評価結果を生成する。例えば、フレーム評価処理部１１２は、各特徴量に応じた評価点を含む評価結果を生成する。
【００３５】
例えば、フレーム評価処理部１１２は、各フレームから３つの指標に応じた特徴量を検出し、これら３つの指標に応じた特徴量とこれら特徴量に対応する３つの閾値とを比較し、比較結果に基づき各フレームを総合的に評価し評価結果を生成する。３つの指標として、画像のボケの度合い、光の反射の度合い、及び暗さ（明暗）の度合いが挙げられる。フレーム評価処理部１１２は、ボケの度合いについて、フレームに対してフーリエ変換を実行し、得られる周波数成分に基づき評価する。フレーム評価処理部１１２は、低周波領域の成分が強い場合には点数が低くなるように、高周波数領域の成分が強い場合には点数が高くなるように評価点を算出する。また、フレーム評価処理部１１２は、光の反射の度合いについて、フレームの輝度が一定以上の部分（255以上等）に対してラべリングを実行し、面積が一定以上のラベルが見つかった場合に点数が低くなるように評価点を算出する。また、フレーム評価処理部１１２は、暗さの度合いについて、フレームの輝度ヒストグラムを取得し、輝度の分布が低い方に偏っている場合には点数が低く、高い方に偏っている場合には点数が高くなるように評価点を算出する。
【００３６】
プロセッサー１１の画像表示処理部１１３は、評価結果を示す画像表示を指示し、表示部１５は、評価結果に対応する画像を表示する（ステップＳＴ１０６）。評価結果は、評価対象のフレーム、評価に適用された閾値、及び評価点等を含む。
【００３７】
図５は、画像表示処理部により表示される評価結果の一例を示す図である。図５に示すように、評価対象のフレームと共に、各特徴量に応じた閾値と評価点が表示される。例えば、ボケの特徴量に応じた閾値５０と評価点８０、反射の特徴量に応じた閾値６０と評価点８０、暗さの特徴量に応じた閾値５０と評価点５０が表示される。
【００３８】
フレーム評価処理部１１２は、各フレームの評価結果と評価基準とを比較し、評価基準を満たすフレームを検出する（ステップＳＴ１０７）。例えば、フレーム評価処理部１１２は、一つのフレームの各指標の評価点が閾値を上回る場合にそのフレームは評価基準を満たすと判定し、また、一つのフレームの各指標の評価点の合計を評価結果（合計評価点）とする。フレーム評価処理部１１２は、評価基準を満たすフレームに対応するサムネイル画像の保存を指示する。これに応じて、サムネイル保存部１２３は、評価基準を満たすフレームに対応するサムネイル画像を保存する（ステップＳＴ１０８）。
【００３９】
なお、ユーザは、表示される評価対象のフレーム、閾値、及び評価点を見ながら、複数の閾値のうちの少なくとも一つの閾値の変更を検討することができる（ステップＳＴ１０９）。例えば、ユーザは、入力部１４を介して、表示される評価対象のフレームに対応する画像（画質）を見ながら、ボケの閾値を高く設定したり（ボケの評価を厳しくしたり）、逆に、ボケの閾値を低く設定したりすることができる（ボケの評価を緩くしたりすることができる）。同様に、反射及び暗さの閾値の変更を検討することができる。ユーザが、入力部１４を介して、閾値の変更を入力すると（ステップＳＴ１０９、ＹＥＳ）、入力部１４は、ユーザからの変更閾値の入力を受付け、閾値設定処理部１１１は、変更閾値の設定を指示し、閾値保存部１２１は、変更閾値を保存する。フレーム評価処理部１１２は、変更閾値に基づき、各フレームを再評価し、再評価結果に基づき評価基準を満たすフレームに対応するサムネイル画像をサムネイル保存部１２３へ保存する。
【００４０】
フレーム評価処理部１１２等は、評価基準を満たすフレーム数が規定数を超えるまで、ステップＳＴ１０２〜ステップＳＴ１０９を繰り返し、評価基準を満たすフレームに対応するサムネイル画像を蓄積する。例えば、プロセッサー１１は、評価基準を満たすフレーム数が規定数未満の場合には動画データを追加要求し、画像表示処理部１１３は、この要求に基づき撮影継続又は撮影再開を示す案内情報の画像表示を指示し、表示部１５は、撮影継続又は撮影再開を示す案内情報の画像を表示する。
【００４１】
画像表示処理部１１３は、評価基準を満たすフレーム数が規定数を超えた場合には、評価基準を満たすフレームに対応するサムネイル画像のリスト表示を指示し、表示部１５は、評価基準を満たすフレームに対応するサムネイル画像のリストを表示する（ステップＳＴ１１０）。ここで、画像表示処理部１１３は、各フレームの評価結果（合計評価点）に基づき、評価基準を満たすフレームに対応するサムネイル画像の表示順を制御するようにしてもよい。例えば、プロセッサー１１は、評価結果（合計評価点）が高いフレームを優先して表示するように制御する。表示部１５は、プロセッサー１１により制御される表示順で、評価基準を満たすフレームに対応するサムネイル画像のリストを表示する（ステップＳＴ１１０）。図６は、サムネイル画像のリスト表示の一例を示す図である。図６に示すように、合計評価点の順にサムネイル画像が表示され、各サムネイル画像に対応付けられた合計評価点も表示される。また、合計評価点に加えて、各指標の評価点を表示するようにしてもよい。これにより、ユーザは、サムネイル画像（画質）と各指標の評価点から閾値の変更を再考することができる。
【００４２】
また、ユーザは、サムネイル画像のリストを見ながら、複数の閾値のうちの少なくとも一つの閾値の変更を検討することができる。例えば、ユーザは、入力部１４を介して、表示されるサムネイル画像を見ながら、ボケの閾値を高く設定したり（ボケの評価を厳しくしたり）、逆に、ボケの閾値を低く設定したりすることができる（ボケの評価を緩くしたりすることができる）。同様に、反射及び暗さの閾値の変更を検討することができる。ユーザが、入力部１４を介して、閾値の変更を入力すると、入力部１４は、ユーザからの変更閾値の入力を受付け、閾値設定処理部１１１は、変更閾値の設定を指示し、閾値保存部１２１は、変更閾値を保存する。フレーム評価処理部１１２は、変更閾値に基づき各フレームの評価結果を変更し、変更評価結果に基づき、評価基準を満たすフレームに対応するサムネイル画像をサムネイル保存部１２３へ保存する。続けて、画像表示処理部１１３は、サムネイル保存部１２３に保存されたサムネイル画像に基づき、サムネイル画像のリストを更新する。つまり、画像表示処理部１１３は、変更評価結果に基づき、評価基準を満たすフレームに対応するサムネイル画像の表示順を制御し、表示部１５は、変更評価結果に基づき、評価基準を満たすフレームに対応するサムネイル画像を指定された表示順でリスト表示する。
【００４３】
ユーザは、表示部１５に表示されるサムネイル画像のリスト又は更新されたサムネイル画像のリストを見ながら、登録したいサムネイル画像（以下、「登録画像」と称する）を指定する（ステップＳＴ１１１）。入力部１４は、サムネイル画像のリスト表示の中から登録画像の指定を受付け（ステップＳＴ１１２）、プロセッサー１１の画像登録処理部１１４は、登録画像の登録を指示し、記憶部１２の登録画像保存部１２４は、登録画像を登録（保存）する（ステップＳＴ１１３）。
【００４４】
上記説明したように、情報処理装置１は、動画撮影により取得される動画データに含まれる複数のフレームを１以上の指標で評価し、評価基準を満たすフレームが規定数を超えるまで、動作撮影の継続又は再開を要求する。また、情報処理装置１は、評価基準を満たすフレームが規定数を超えた場合に、評価基準を満たすフレームに対応するサムネイル画像をリスト表示する。また、情報処理装置１は、サムネイル画像のリスト表示から、ユーザが指定したサムネイル画像に対応するフレーム（登録画像）を登録する。以上により、情報処理装置１は、効率良く目的の画像（ユーザが認めた品質の静止画）を取得することができる。情報処理装置１によれば、ユーザが使用環境にマッチした閾値を指定することにより、撮影環境又は目的の違いに対して頑健性を持たせることができる。また、情報処理装置１の撮影部１６の静止画モードを実行せずに（シャッターを切らずに）、動画モードを実行し取得される動画データに含まれる複数のフレームを評価し、評価基準を満たすフレームを登録することで、再撮影が必要になるケースを減らし、効率よく目的の画像を得ることができる。
【００４５】
図４は、実施形態に係る物品判定処理の一例を示すフローチャートである。
【００４６】
プロセッサー１１の物品識別情報認識処理部１１５は、エッジ検出等に基づき、登録画像に含まれる製品の画像領域を検出し、検出された製品の画像領域から製造番号の画像領域を検出し（ステップＳＴ２０１）、検出された画像領域の製造番号を認識する（ステップＳＴ２０２）。例えば、物品識別情報認識処理部１１５は、辞書データ保存部１２５に保存された文字等の辞書データを参照し、パターンマッチング等により製造番号を認識し、物品認識結果を出力する（ステップＳＴ２０３）。例えば、表示部１５は、物品認識結果として、認識された製造番号を表示する。
【００４７】
続いて、プロセッサー１１の物品判定処理部１１６は、認識された製造番号に基づき製品を判定する（ステップＳＴ２０４）。例えば、物品判定処理部１１６は、物品データベース保存部１２６に保存された物品データベースを参照して製品を判定する。物品データベースは、各製品に対応する製品情報を含み、製品情報は、製造番号、製品名、及び原材料に関する情報等を含む。
【００４８】
続いて、プロセッサー１１の判定結果出力処理部１１７は、製品の判定結果を出力し、表示部１５は、物品判定結果を表示する（ステップＳＴ２０５）。例えば、判定結果出力処理部１１７は、検出された製品に対応する製品名及び原材料に関する情報等を出力する。さらに、判定結果出力処理部１１７は、廃棄方法データベースと原材料に関する情報に基づき、検出された製品の廃棄方法等のガイド情報を出力するようにしてもよい。
【００４９】
なお、物品識別情報認識処理部１１５が、製造番号を認識できず認識エラーとなった場合に、複数の閾値のうちの少なくとも一つの閾値の変更、又は追加の動画データを要求してもよい。又は、物品判定処理部１１６が、製品を判定できず判定エラーとなった場合にも、複数の閾値のうちの少なくとも一つの閾値の変更、又は追加の動画データを要求してもよい。画像表示処理部１１３は、複数の閾値のうちの少なくとも一つの閾値の変更に関するガイド情報、又は撮影継続或いは撮影再開のガイド情報の表示を指示し、表示部１５は、ガイド情報を表示する。
【００５０】
ユーザは、ガイド情報を見て、複数の閾値のうちの少なくとも一つの閾値の変更を検討することができる。例えば、ユーザは、入力部１４を介して、複数の閾値のうちの少なくとも一つの閾値の変更を入力すると、入力部１４は、ユーザからの変更閾値の入力を受付け、閾値設定処理部１１１は、変更閾値の設定を指示し、閾値保存部１２１は、変更閾値を保存する。この後、フレーム評価処理部１１２によるフレーム評価処理、及びサムネイル画像の保存処理、画像表示処理部１１３によるサムネイル画像の表示制御、表示部１５によるサムネイル画像の表示、画像登録処理部１１４による登録画像の登録を得て、物品識別情報認識処理部１１５による製造番号の認識、及び物品判定処理部１１６による製品判定が実行される。これにより、認識エラー又は判定エラーとなった場合でも、スムーズに再度の認識又は判定を実行させることができる。
【００５１】
或いは、ユーザは、ガイド情報を見て、撮影を継続したり、撮影を再開したりすることができる。さらに、ユーザは、入力部１４を介して、撮影の継続又は撮影の再開により取得される追加の動画データに基づく追加の画像登録処理及び追加の物品判定処理を要求し、プロセッサー１１は、追加の画像登録処理により登録画像を追加し、追加の物品判定処理により製品番号を認識し製品を判定する。これにより、認識エラー又は判定エラーとなった場合でも、スムーズに再度の認識又は判定を実行させることができる。
【００５２】
上記説明したように、情報処理装置１は、効率良く目的の画像（ユーザが認めた品質の静止画）を取得することができ、加えて、目的の画像に含まれる製品の廃棄方法等のガイド情報を出力することもできる。例えば、各製品には、製造番号等が貼り付けられており、この製造番号から、製品の原材料を調べることができ、原材料に応じた廃棄方法を調べることができる。廃棄対象となる製品は、整頓されることなく、乱雑に保管されていることが多く、このような製品から製造番号の静止画を目的品質で撮影する作業は面倒な作業である。本実施形態によれば、大雑把に、保管されている複数の製品をまとめて動画撮影するだけで、各製品に対応する一定品質以上の静止画を取得することができ、各製品に関する情報を特定することができる。
【００５３】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００５４】
１…情報処理装置
２…サーバ
１１…プロセッサー
１２…記憶部
１３…通信部
１４…入力部
１５…表示部
１６…撮影部
１１１…閾値設定処理部
１１２…フレーム評価処理部
１１３…画像表示処理部
１１４…画像登録処理部
１１５…物品識別情報認識処理部
１１６…物品判定処理部
１１７…判定結果出力処理部
１２１…閾値保存部
１２２…フレーム保存部
１２３…サムネイル保存部
１２４…登録画像保存部
１２５…辞書データ保存部
１２６…物品データベース保存部
１２７…廃棄方法データベース保存部
【図１】
2020016956.tif 000003
【図２】
2020016956.tif 000004
【図３】
2020016956.tif 000005
【図４】
2020016956.tif 000006
【図５】
2020016956.tif 000007
【図６】
2020016956.tif 000008