(57)【要約】      （修正有）【課題】人物と物との対応付けを容易にする情報処理装置及びプログラムを提供する。【解決手段】情報処理装置において、撮像部１０９は、人物と紙の配布物を撮影し、人物と配布物が写る画像データを生成する。制御部１０１は、検出部１００１において画像データが表す画像内にある顔と配布物を検出し、生成部１００２において配布物の画像を表す画像データを生成する。さらに制御部１０１は、特定部１００３において検出した顔に対応する氏名を特定し、特定した氏名と、配布物の画像を表す画像データとを対応付けて記憶部１０２に記憶させる。【選択図】図２
2018028716.tif 000002
【特許請求の範囲】
【請求項１】
第１画像内にある顔及び整理対象を検出する検出部と、
前記検出部が検出した前記整理対象の画像である第２画像を生成する生成部と、
前記検出部が検出した顔に対応した人物を特定する特定部と、
前記特定部が特定した人物と前記生成部が生成した第２画像とを対応付けて記憶部に記憶させる記憶制御部と
を備える情報処理装置。
【請求項２】
前記検出部は、前記第１画像内において手で持たれている物又は着用されている物を前記整理対象として検出する
請求項１に記載の情報処理装置。
【請求項３】
前記人物毎に前記整理対象が設定することで、
前記検出部は、前記特定部が特定した人物に設定されている前記整理対象を検出する
請求項１又は請求項２に記載の情報処理装置。
【請求項４】
前記整理対象をユーザの操作に応じて設定する
請求項１から請求項３のいずれか一項に記載の情報処理装置。
【請求項５】
前記特定部は、前記検出部が前記第１画像から複数の顔を検出した場合、前記検出部が検出した顔毎に対応する人物を特定し、
前記記憶制御部は、前記特定部が特定した一又は複数の人物と前記第２画像とを対応付けて前記記憶部に記憶させる
請求項１から請求項４のいずれか一項に記載の情報処理装置。
【請求項６】
前記生成部は、前記検出部が前記第１画像から複数の整理対象を検出した場合、前記検出部が検出した前記複数の整理対象毎に前記第２画像を生成し、
前記記憶制御部は、前記生成部が特定した一又は複数の前記第２画像と前記特定部が特定した人物とを対応付けて前記記憶部に記憶させる
請求項１から請求項４のいずれか一項に記載の情報処理装置。
【請求項７】
前記特定部は、前記第１画像内において前記検出部が検出した顔の位置と、前記第１画像内において前記検出部が検出した前記整理対象との位置関係に応じて前記人物を特定する
請求項１から請求項６のいずれか一項に記載の情報処理装置。
【請求項８】
前記検出部が検出した顔に対応する人物をユーザの操作に応じて設定する
請求項１から請求項７のいずれか一項に記載の情報処理装置。
【請求項９】
前記検出部は、前記第２画像から文字列を検出し、
前記記憶制御部は、前記特定部が特定した人物と前記検出部が検出した文字列とを対応付けて前記記憶部へ記憶させる
請求項１から請求項８のいずれか一項に記載の情報処理装置。
【請求項１０】
コンピュータを、
第１画像内にある顔及び整理対象を検出する検出部と、
前記検出部が検出した前記整理対象の画像である第２画像を生成する生成部と、
前記検出部が検出した顔に対応した人物を特定する特定部と、
前記特定部が特定した人物と前記生成部が生成した第２画像とを対応付けて記憶部に記憶させる記憶制御部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
特許文献１には、人物と入れ物を関連付ける情報処理装置が開示されている。この情報処理装置は、カメラで撮影した画像から人、入れ物及び商品を抽出する。情報処理装置は、入れ物に商品を入れる動き又は入れ物から商品を出す動きを特定すると、商品が入れられた又は出された入れ物と予め定められた関係にある人物を入れ物と関連付ける。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−８１１７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の情報処理装置では、人物を入れ物にしか関連付けることができず、また、関連付ける場合には特定の動作が必要となる。
【０００５】
本発明は、上述した背景の下になされたものであり、人物と物との対応付けを容易にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、第１画像内にある顔及び整理対象を検出する検出部と、前記検出部が検出した前記整理対象の画像である第２画像を生成する生成部と、前記検出部が検出した顔に対応した人物を特定する特定部と、前記特定部が特定した人物と前記生成部が生成した第２画像とを対応付けて記憶部に記憶させる記憶制御部とを備える情報処理装置を提供する。
【０００７】
本発明においては、前記検出部は、前記第１画像内において手で持たれている物又は着用されている物を前記整理対象として検出する構成としてもよい。
【０００８】
また、本発明においては、前記人物毎に前記整理対象が設定することで、前記検出部は、前記特定部が特定した人物に設定されている前記整理対象を検出する構成としてもよい。
【０００９】
また、本発明においては、前記整理対象をユーザの操作に応じて設定する構成としてもよい。
【００１０】
また、本発明においては、前記特定部は、前記検出部が前記第１画像から複数の顔を検出した場合、前記検出部が検出した顔毎に対応する人物を特定し、前記記憶制御部は、前記特定部が特定した一又は複数の人物と前記第２画像とを対応付けて前記記憶部に記憶させる構成としてもよい。
【００１１】
また、本発明においては、前記生成部は、前記検出部が前記第１画像から複数の整理対象を検出した場合、前記検出部が検出した前記複数の整理対象毎に前記第２画像を生成し、前記記憶制御部は、前記生成部が特定した一又は複数の前記第２画像と前記特定部が特定した人物とを対応付けて前記記憶部に記憶させる構成としてもよい。
【００１２】
また、本発明においては、前記特定部は、前記第１画像内において前記検出部が検出した顔の位置と、前記第１画像内において前記検出部が検出した前記整理対象との位置関係に応じて前記人物を特定する構成としてもよい。
【００１３】
また、本発明においては、前記検出部が検出した顔に対応する人物をユーザの操作に応じて設定する構成としてもよい。
【００１４】
また、本発明においては、前記検出部は、前記第２画像から文字列を検出し、前記記憶制御部は、前記特定部が特定した人物と前記検出部が検出した文字列とを対応付けて前記記憶部へ記憶させる構成としてもよい。
また、本発明においては、前記検出部は、前記整理対象の属性を検出し、前記記憶制御部は、検出した属性も対応付ける構成としてもよい。
【００１５】
また、本発明は、コンピュータを、第１画像内にある顔及び整理対象を検出する検出部と、前記検出部が検出した前記整理対象の画像である第２画像を生成する生成部と、前記検出部が検出した顔に対応した人物を特定する特定部と、前記特定部が特定した人物と前記生成部が生成した第２画像とを対応付けて記憶部に記憶させる記憶制御部として機能させるためのプログラムを提供する。
【発明の効果】
【００１６】
本発明によれば、人物と物との対応付けを容易にすることができる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る情報処理装置１０のハードウェア構成を示したブロック図。
【図２】情報処理装置１０の機能の構成を示した機能ブロック図。
【図３】撮像部１０９が生成した画像の一例を示した図。
【図４】制御部１０１が行う処理の流れを示したフローチャート。
【発明を実施するための形態】
【００１８】
［実施形態］
（実施形態の構成）
図１は、本発明の一実施形態に係る情報処理装置１０のハードウェア構成の一例を示したブロック図である。本実施形態に係る情報処理装置１０は、撮影機能を備えたスマートフォンである。なお、情報処理装置１０は、スマートフォンに限定されるものではなく、デジタルカメラ、撮影機能を備えたタブレット端末、フィーチャーフォン又は腕時計型のウェアラブルデバイスなどあってもよい。
【００１９】
通信部１０５は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【００２０】
音声処理部１０７は、マイクロフォンとスピーカを有している。音声処理部１０７は、情報処理装置同士が音声通話を行う場合、通話相手の音声に係るデジタル信号が通信部１０５から供給されると、供給されたデジタル信号をアナログ信号に変換する。このアナログ信号は、スピーカへ供給され、スピーカからは、通話相手の音声が放音される。また、音声処理部１０７は、マイクロフォンが音声を収音すると、収音した音声をデジタル信号に変換する。音声処理部１０７は、情報処理装置で音声通話を行う場合、ユーザの音声を変換したデジタル信号を通信部１０５へ供給する。このデジタル信号は、通信部１０５から通信網２へ送信され、通話相手の情報処理装置へ送信される。
【００２１】
撮像部１０９は、撮像素子（ＣＭＯＳ又はＣＣＤなど）と、撮像素子に像を結像する光学系を備えている。撮像部１０９は、撮像素子で得られた画像を表す画像データを生成し、生成した画像データを出力する。
【００２２】
タッチパネル１０３は、表示装置（例えば液晶ディスプレイ）と、表示装置の表示面において指の接触を検出するセンサとを組み合わせた装置であり、ユーザにより操作される操作部の一例である。タッチパネル１０３は、文字、ＧＵＩ（Graphical User Interface）、撮像部１０９が生成する画像、情報処理装置１０を操作するためのメニュー画面などを表示装置で表示する。また、タッチパネル１０３は、ユーザが指で触れた位置をセンサで検出する。制御部１０１は、タッチパネル１０３が検出した位置と、タッチパネルに表示されている画面に応じてユーザの操作を特定し、特定した操作に応じて各部の制御を行い、各種処理を実行する。
【００２３】
記憶部１０２は、不揮発性メモリを有しており、オペレーティングシステムのプログラム、アプリケーションプログラム、画像データから抽出した画像、人間の顔の特徴点を表す特徴点データなどを記憶する。本実施形態においては、記憶部１０２はアプリケーションプログラムとして、画像データが表す画像にある予め定められた整理対象物と顔を検出し、検出した顔に対応した人物と、検出した整理対象物の画像とを対応付けて記憶する機能を実現するアプリケーションプログラムを記憶している。また、記憶部１０２は、本実施形態においては、特徴点データとして、情報処理装置１０のユーザの子供の顔の特徴点データを記憶しており、兄弟の兄の顔の特徴点データと兄の名前を対応付けて記憶し、弟の顔の特徴点データと弟の名前を対応付けて記憶している。
【００２４】
制御部１０１は、ＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）を有する。本発明に係る機能は、ＣＰＵ、ＲＡＭなどのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、ＣＰＵが演算を行い、各部の制御や、ＲＡＭ及び記憶部１０２におけるデータの読み出し及び／又は書き込みを制御することで実現される。ＣＰＵは、記憶部１０２に記憶されているオペレーティングシステムのプログラムを実行し、情報処理装置１０の全体を制御する。ＣＰＵがオペレーティングシステムのプログラムを実行すると、アプリケーションプログラムを実行することが可能となる。
【００２５】
図２は、情報処理装置１０において実現する機能のうち、本発明に係る機能の構成を示したブロック図である。検出部１００１は、撮像部１０９が出力した画像データが表す画像にある顔と整理対象物を検出する。生成部１００２は、検出部１００１が検出した整理対象物を表す画像データを生成する。特定部１００３は、検出部１００１が検出した顔に対応した人物を特定する。記憶制御部１００４は、特定部１００３が特定した人物と生成部１００２が生成した画像データを対応付けて記憶部１０２に記憶させる。
【００２６】
（実施形態の動作例）
次に本実施形態の動作例について説明する。なお、以下の説明においては、情報処理装置１０が上述のアプリケーションプログラムを実行しており、整理対象物は、文章が記載された紙の配布物である場合を想定して動作例の説明を行う。
【００２７】
情報処理装置１０が上述のアプリケーションプログラムを実行していると、撮像部１０９の撮像素子が生成する画像がタッチパネル１０３に表示される。例えば、情報処理装置１０のユーザである母親は、学校から兄に対して配布された紙の配布物を兄と対応付けて記録する場合、図３に例示したように兄に配布物を持たせる。そして母親は、兄と配布物がタッチパネル１０３に表示されるように情報処理装置１０を構え、タッチパネル１０３において、兄と配布物を撮影する操作を行う。
【００２８】
制御部１０１は、撮影の操作が行われると図４に示した処理を行う。まず制御部１０１は、ユーザの操作に応じて撮像部１０９を制御し、兄と配布物を撮影する（ステップＳＡ１）。制御部１０１は、撮影した兄と配布物を含む画像の画像データ（第１画像）を取得する（ステップＳＡ２）。制御部１０１は、撮像部１０９が生成した画像データを記憶部１０２に記憶させる（ステップＳＡ３）。
【００２９】
制御部１０１（検出部１００１）は、記憶部１０２に記憶された画像データを解析し、画像データが表す画像中にある顔の部分を検出する（ステップＳＡ４）。次に制御部１０１（特定部１００３）は、検出した部分にある顔の特徴点のデータと、記憶部１０２に記憶されている特徴点データを照合し、周知又は公知の顔照合の技術を用い、検出した部分にある顔に対応する人物を特定する（ステップＳＡ５）。ここで制御部１０１は、検出した部分にある顔の特徴点の特徴点データと、記憶部１０２に記憶されている兄の顔の特徴点データとが類似していると判断した場合、兄の顔の特徴点データに対応付けて記憶されている名前、即ち兄の名前を取得する。
【００３０】
次に制御部１０１（検出部１００１）は、記憶部１０２に記憶された画像データを解析し、画像データが表す画像中にある整理対象物である配布物の部分を検出する（ステップＳＡ６）。制御部１０１（生成部１００２）は、検出した配布物の部分の画像の画像データ、即ち、整理対象物を表す画像の画像データ（第２画像）を生成する（ステップＳＡ７）。
【００３１】
制御部１０１（記憶制御部１００４）は、取得した兄の名前、生成した整理対象物の画像データ及び撮像部１０９が生成した画像データの生成日時を対応付けて記憶部１０２に記憶させる（ステップＳＡ８）。
【００３２】
次に情報処理装置１０のユーザである母親は、弟に対して学校から配布された紙の配布物を弟と対応付けて記録する場合、弟に配布物を持たせる。そして母親は、弟と配布物がタッチパネル１０３に表示されるように情報処理装置１０を構え、タッチパネル１０３において、弟と配布物を撮影する操作を行う。制御部１０１は、ユーザの操作に応じて撮像部１０９を制御し、弟と配布物を撮影する（ステップＳＡ１）。制御部１０１は、撮影した弟と配布物を含む画像の画像データ（第１画像）を取得する（ステップＳＡ２）。制御部１０１は、撮像部１０９が生成した画像データを記憶部１０２に記憶させる（ステップＳＡ３）。
【００３３】
制御部１０１（検出部１００１）は、記憶部１０２に記憶された画像データを解析し、画像データが表す画像中にある顔の部分を検出する（ステップＳＡ４）。次に制御部１０１（特定部１００３）は、検出した部分にある顔の特徴点のデータと、記憶部１０２に記憶されている特徴点データを照合し、検出した部分にある顔に対応する人物を特定する（ステップＳＡ５）。ここで制御部１０１は、特定した部分にある顔の特徴点の特徴点データと、記憶部１０２に記憶されている弟の顔の特徴点データとが類似していると判断した場合、弟の顔の特徴点データに対応付けて記憶されている名前、即ち弟の名前を取得する。
【００３４】
次に制御部１０１（検出部１００１）は、記憶部１０２に記憶された画像データを解析し、画像データが表す画像中にある整理対象物である配布物の部分を検出する（ステップＳＡ６）。制御部１０１は、検出した配布物の部分の画像の画像データ、即ち、整理対象物を表す画像の画像データ（第２画像）を生成する（ステップＳＡ７）。
【００３５】
制御部１０１（記憶制御部１００４）は、取得した弟の名前、生成した整理対象物の画像データ及び撮像部１０９が生成した画像データの生成日時とを対応付けて記憶部１０２に記憶させる（ステップＳＡ８）。
【００３６】
母親は、兄に対して配布された配布物を検索する場合、タッチパネル１０３において兄の名前を入力し、兄の名前に対応付けて記憶された画像データの検索を指示する操作を行う。制御部１０１は、ユーザの操作に応じて、入力された兄の名前に対応付けて記憶されている画像データを記憶部１０２において検索し、検索でヒットした画像データのサムネイル画像が表示されるようにタッチパネル１０３を制御する。母親が、表示されたサムネイル画像のうちの一つをタップする操作をタッチパネル１０３において行うと、制御部１０１は、タップされた位置にあるサムネイル画像が全画面表示されるようにタッチパネル１０３を制御する。
【００３７】
これにより、母親は、兄に対して配布された学校からの配布物を容易に探し出して見ることができる。なお、弟に対して配布された配布物を見る場合、タッチパネル１０３において弟の名前を入力し、弟の名前に対応付けて記憶された画像データの検索を指示する操作を行えば、兄の場合と同様に、弟に対して配布された学校からの配布物を容易に探し出して見ることができる。
【００３８】
［変形例］
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されることなく、他の様々な形態で実施可能である。例えば、上述の実施形態を以下のように変形して本発明を実施してもよい。なお、上述した実施形態及び以下の変形例は、各々を組み合わせてもよい。
【００３９】
上述した実施形態においては、整理対象物は文章が記載された紙の配布物となっているが、整理対象物は紙の配布物以外の物であってもよく、例えば、整理対象物は衣類であってもよい。この構成によれば、人物の名前と衣類の画像とが対応付けて記憶部１０２に記憶される。これにより、例えば、兄の名前と兄が着用する衣類の画像とを対応付けて記憶し、兄が着用する衣類を容易に知ることができる。
【００４０】
本発明においては、制御部１０１は、画像データが表す画像において手で持たれている物体を整理対象物として検出してもよい。この構成によれば、人物の名前と、撮影された人物が手で持っている物の画像とが対応付けて記憶部１０２に記憶される。これにより、例えば、兄の名前と兄が所有する本の画像とを対応付けて記憶し、兄の所有する本を容易に知ることができる。
【００４１】
本発明においては、制御部１０１は、画像データが表す画像において撮影された人物が着用している衣類を整理対象物として検出してもよい。この構成によれば、人物の名前と、撮影された人物が着用している衣類の画像とが対応付けて記憶部１０２に記憶される。これにより、例えば、兄の名前と兄が着用する衣類の画像とを対応付けて記憶し、兄が着用する衣類を容易に知ることができる。
【００４２】
上述した実施形態においては、整理対象物が予め設定されている構成となっているが、整理対象物を情報処理装置１０のユーザが設定する構成としてもよい。例えば、情報処理装置１０のユーザは、人物及び整理対象物がタッチパネル１０３に表示されるように情報処理装置１０を構え、撮影の操作を行う前に、整理対象物が表示されている領域を指で指定する操作を行う。この後、ユーザが撮影を指示する操作を行うと、撮像部１０９は、撮影した人物と整理対象物を含む画像データ（第１画像）を生成する。制御部１０１は、撮像部１０９が生成した画像データを記憶部１０２に記憶させる。制御部１０１は、撮影された顔に対応する名前を特定した後、ユーザが指定した領域内の部分の画像の画像データを、整理対象物の画像を表す画像データ（第２画像）として生成する。この構成によれば、例えば、テーブルに置かれた物体が写る領域をユーザが指定すると、テーブルに置かれた物体の画像データが整理対象物の画像を表す画像データとして記憶され、撮影される人物が整理対象物を手に持たなくとも、撮影された人物の名前と整理対象物の画像とを対応付けて記憶することができる。
【００４３】
上述した実施形態においては、整理対象物は文章が記載された紙の配布物となっているが、撮影される人物毎に整理対象物が異なる構成としてもよい。例えば、上述した兄を撮影した場合、制御部１０１は、紙の配布物を整理対象物として設定し、上述した弟を撮影した場合、衣類を整理対象物として設定してもよい。
【００４４】
本発明においては、情報処理装置１０は、一つの画像データから複数の顔の部分と複数の整理対象物の部分を検出し、検出した顔に対応する人物の名前と、検出した整理対象部の画像とを対応付けて記憶するようにしてもよい。例えば、制御部１０１は、学校からの配布物を持った兄と学校からの配布物を持った弟が並んでいる状態を撮像部１０９が撮影した場合、撮像部１０９が生成した画像データから、兄の顔の部分と弟の顔の部分を検出する。また、制御部１０１は、撮像部１０９が生成した画像データから、兄が持っている配布物を表す画像の画像データと、弟が持っている配布物を表す画像の画像データを生成する。制御部１０１は、兄の名前と、兄の顔に近い整理対象物の画像の画像データとを対応付けて記憶部１０２に記憶させ、弟の名前と、弟の顔に近い整理対象物の画像の画像データとを対応付けて記憶部１０２に記憶させる。この構成によれば、一つの画像から、人物毎に整理対象物を対応付けることができる。
【００４５】
本発明においては、情報処理装置１０は、一つの画像データから複数の整理対象物の部分を検出し、検出した顔に対応する人物の名前と、検出した複数の整理対象物の画像とを対応付けて記憶するようにしてもよい。例えば、制御部１０１は、学校からの２つの配布物を持った兄を撮像部１０９で撮影した場合、撮像部１０９が生成した画像データから、兄の顔の部分を検出する。また、制御部１０１は、撮像部１０９が生成した画像データから、兄が右手に持っている配布物を表す画像の画像データと、左手に持っているもう一つの配布物を表す画像の画像データを生成する。制御部１０１は、兄の名前と、兄が右手に持っていた整理対象物の画像の画像データとを対応付けて記憶部１０２に記憶させ、さらに兄の名前と、兄が左手に持っていた整理対象物の画像の画像データとを対応付けて記憶部１０２に記憶させる。この構成によれば、一つの画像から、一人の人物に複数の整理対象物を対応付けることができる。
【００４６】
本発明においては、情報処理装置１０は、一つの画像データから複数の顔と一つの整理対象物の部分を検出し、検出した顔に対応する人物の名前と、検出した整理対象物の画像とを対応付けて記憶するようにしてもよい。例えば、制御部１０１は、賞状、兄及び弟を撮像部１０９で撮影した場合、撮像部１０９が生成した画像データから、兄の顔の部分と弟の顔の部分を検出する。また、制御部１０１は、撮像部１０９が生成した画像データから、整理対象物である賞状を表す画像の画像データを生成する。制御部１０１は、兄の名前と、賞状の画像の画像データとを対応付けて記憶部１０２に記憶させ、さらに弟の名前と、賞状の画像の画像データとを対応付けて記憶部１０２に記憶させる。この構成によれば、一つの画像から、複数の人物のそれぞれに整理対象物を対応付けることができる。
【００４７】
本発明においては、情報処理装置１０は、顔と整理対象物の位置関係に応じて、整理対象物に対応付けられる人物を決定するようにしてもよい。例えば、情報処理装置１０は、父親の顔の特徴点データと兄の名前を対応付けて記憶し、さらに父親の顔の特徴点データに弟の名前を対応付けて記憶する。制御部１０１は、配布物と父親を撮像部１０９が撮影した場合、撮像部１０９が生成した画像データから、父親の顔の部分を検出する。また、制御部１０１は、撮像部１０９が生成した画像データから、整理対象物である配布物を表す画像の画像データを生成する。制御部１０１は、顔の部分に対する整理対象物の位置を特定する。制御部１０１は、検出した部分にある顔の特徴点の特徴点データと、記憶部１０２に記憶されている父親の顔の特徴点データとが類似していると判断した場合、父親の顔の特徴点データに対応付けて記憶されている名前、即ち兄の名前と弟の名前を取得する。制御部１０１は、整理対象物である配布物が父親の顔より右側にある場合、兄の名前と整理対象物の画像データを対応付けて記憶部１０２に記憶させ、整理対象物である配布物が父親の顔より左側にある場合、弟の名前と整理対象物の画像データを対応付けて記憶部１０２に記憶させる。この構成によれば、整理対象物の位置に応じて、整理対象物に対応付けられる人物を変えることができる。
【００４８】
本発明においては、記憶部１０２は、父親の顔の特徴点データに対して兄の名前を記憶し、母親の顔の特徴点データに対して弟の名前を記憶してもよい。この構成の場合、情報処理装置１０は、配布物を持った父親を撮影すると、兄の名前と配布物の画像の画像データとを対応付けて記憶し、配布物を持った母親を撮影すると、弟の名前と配布物の画像の画像データとを対応付けて記憶する。この構成によれば、兄及び／又は弟がいなくても、兄及び／又は弟に配布された配布物の画像を兄又は弟に対応付けて記憶させることができる。
【００４９】
本発明においては、制御部１０１は、ステップＳＡ４で検出した部分にある顔の特徴点データに類似する特徴点データが記憶部１０２に記憶されていない場合、ステップＳＡ４で検出した部分にある顔の特徴点データに対応する人物の名前の入力をユーザに促し、入力された名前と、ステップＳＡ４で特定した部分にある顔の特徴点データとを対応付けて記憶するようにしてもよい。
【００５０】
本発明においては、サムネイル画像をタップした後で表示された整理対象物の画像に対し、ユーザが指又はスタイラスペンでタッチパネル１０３に対して書き込みの動作を行うと、整理対処物の画像に対して指又はスタイラスペンの移動軌跡に応じた画像を追記するようにしてもよい。
【００５１】
本発明においては、制御部１０１は、文章が記載されている印刷物が整理対象物である場合、整理対象物の画像に対して文字認識を行い、整理対象物に記載されている文字列を検出して記憶してもよい。また、制御部１０１は、整理対象物の画像に対して文字認識を行う場合、予め定められた文字列を検出し、検出した文字列に応じてユーザに通知を行う構成としてもよい。例えば、制御部１０１（検出部１００１）は、学校からの配布物を整理対象物とした場合、配布物に記載されている運動会、遠足、健康診断、授業参観などの学校行事に係る文字列、学校行事に係る日時及び場所に係る文字列などを検出する。制御部１０１は、例えば、「○月×日」という文字列と、「運動会」という文字列を抽出した場合、運動会があることを○月×日の前日にユーザに通知する。
【００５２】
なお、制御部１０１は、通知を情報処理装置１０のユーザ以外に行うようにしてもよい。例えば、記憶部１０２は、兄の顔の特徴点データに対して兄の電子メールアドレスを記憶する。制御部１０１は、兄の名前と対応付けて記憶した整理対象物の画像データが表す画像から、「○月×日」という文字列と、「運動会」という文字列を抽出した場合、兄の名前に対応付けられている電子メールアドレスを宛先として、本文に「○月×日」という文字列と、「運動会」という文字列を記載した電子メールを送信する。
【００５３】
また、電子メールを送信する場合、予め定められた文字列毎に、電子メールの送信先を設定する構成であってもよい。例えば、「運動会」という文字列に対して、兄弟の祖父母、父、母、兄弟の電子メールアドレスを設定し、「授業参観」という文字列に対して、兄弟の父と母の電子メールアドレスを設定するようにしてもよい。この構成の場合、情報処理装置１０が運動会の案内の配布物を撮影すると、運動会についての通知が兄弟の祖父母、父、母、兄弟へ電子メールで送られ、授業参観の案内の配布物撮影すると、授業参観についての通知を兄弟の父母へ電子メール送ることができ、配布物の内容によって通知先を異ならせることができる。なお、制御部１０１は、抽出した文字列に基づいて、スケジュールを管理するアプリケーションプログラムにスケジュールを登録する構成としてもよい。
【００５４】
本発明においては、整理対象物の画像から文字列を検出する構成においては、整理対象物の画像から数値を検出し、検出した数値に基づいてグラフを作成してもよい。例えば、制御部１０１は、整理対象物をテスト用紙とし、テストの採点結果である点数の文字列を整理対象物の画像から検出し、検出した点数を整理対象物の画像データと対応付けて記憶する。制御部１０１は、整理対象物の画像データ及び点数を記憶した日時を横軸、点数を縦軸としたグラフを作成し、整理対象物の画像データに対応付けて記憶した点数をグラフ上にプロットしてタッチパネル１０３に表示する。この構成によれば、テストの採点結果を自動的にグラフにして表示することができる。
【００５５】
また、本発明においては、整理対象物をテスト用紙とし、整理対象物から文字列を検出する場合、検出した文字列に属性を付加する構成としてもよい。例えば、制御部１０１は、テスト用紙の画像から文字列を検出し、検出した文字列が手書きの黒の文字列である場合には、文字列に対して黒という属性と手書きという属性を付与する。また、制御部１０１は、テスト用紙の画像から検出した文字列が、フォントの黒の文字列である場合、文字列に対して黒という属性とフォントという属性を付与し、抽出した文字列が手書きの赤の文字列である場合には、文字列に対して赤という属性と手書きという属性を付与する。制御部１０１は、抽出した文字列及び属性を記憶部１０２に記憶させる。制御部１０１は、ユーザの操作に応じて、例えば、黒という属性とフォントという属性が付与されている文字列を記憶部１０２に記憶されている文字列から抽出し、抽出した文字列をタッチパネル１０３に表示させる。テスト用紙においては、問題文は黒のフォントの文字列であるため、この構成によれば、テストの問題だけを抽出して表示することが可能であり、テストの復習を行うことができる。
なお、本変形例においては、情報処理装置１０は、テストの問題文の文字列を表示する際に問題文毎にチェックボックスを共に表示し、チェックボックスがマークされた問題文については、記憶部１０２から消去するか又はタッチパネル１０３に表示しないようにしてもよい。
【００５６】
本発明においては、整理対象物が学校からの配布物である場合、整理対象物の画像として生成部１００２が生成した画像に対し、予め定められた文字列を追記する構成としてもよい。例えば、記憶部１０２は、兄弟の保護者の氏名と住所を予め記憶し、学校からの配布物において、保護者の記入欄、住所の記入欄などがある場合、記憶されている保護者の氏名を配布物の画像の保護者の記入欄に追記し、記憶されている住所を住所の記入欄に追記してもよい。この構成によれば、保護者の氏名及び住所が記載された画像をプリンタへ出力して印刷すれば、手書きで保護者の氏名と住所を記載することがなく、自動的に記載を行うことができる。
また、この変形例においては、制御部１０１は、配布物の画像をタッチパネル１０３に表示したときに、記入欄に追記する文字列の候補を表示し、表示した文字列の中からユーザが選択した文字列を記入欄に追記するようにしてもよい。また、制御部１０１は、整理対象物の画像をプリンタへ出力して印刷する場合、整理対象物の画像、記入欄に記載する氏名の文字列、記入欄に記載する住所の文字列をプリンタへ出力し、差し込み印刷の技術により、記入欄に指名と住所を印刷して出力するようにしてもよい。
【００５７】
本発明においては、制御部１０１は、記憶部１０２に記憶された画像データ又は整理対象物の画像データを解析して整理対象物の属性を検出し、検出した属性も名前及び整理対象物の画像データに対応付けて記憶部１０２に記憶させるようにしてもよい。例えば、制御部１０１は、整理対象物が衣類である場合、スーツ、コート、セーターなどの衣類の種類を属性として検出する。この場合、人物に対応付けられた整理対象物を検索する際に、属性を指定するようにすれば、情報処理装置１０は、例えば、コートの画像だけを選択して表示するというように、特定の種類の衣類のみを表示することができる。
【００５８】
情報処理装置１０がスマートフォン、タブレット端末又はフィーチャーフォンであり、撮像部１０９がインカメラとアウトカメラを備える構成である場合、インカメラでユーザの顔を撮影し、アウトカメラで整理対象物を撮影する構成としてもよい。この構成の場合、制御部１０１は、インカメラが生成した画像データから顔の部分を検出し、検出した部分にある顔に対応する名前を取得する。また、制御部１０１は、アウトカメラが生成した画像データから整理対象物の部分を検出し、検出した部分にある整理対象物の画像データを生成する。そして制御部１０１は、取得した名前と生成された整理対象物の画像データを対応付けて記憶部１０２に記憶させる。この構成によれば、整理対象物を手に持たなくても、人物と整理対象物とを対応付けることができる。
【００５９】
本発明においては、情報処理装置１０は、他のコンピュータ装置から通信で取得した画像データ又は外付けの記録媒体から取得した画像データに対してステップＳＡ３〜ステップＳＡ８以降の処理を行うようにしてもよい。また、撮像部１０９を有していないコンピュータ装置が、他のコンピュータ装置から通信で取得した画像データ又は外付けの記録媒体から取得した画像データに対してステップＳＡ３〜ステップＳＡ８以降の処理を行うようにしてもよい。この構成によれば、撮像部１０９を備えていないコンピュータ装置においても、人物と物との対応付けを容易に行うことができる。
【００６０】
上述した機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。例えば、本発明の一実施形態における情報処理装置は、本発明の処理を行うコンピュータとして機能してもよい。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。情報処理装置１０のハードウェア構成は、各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００６１】
また、制御部１０１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、記憶部１０２及び／又は通信部１０５からＲＡＭに読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、情報処理装置１０の制御部１０１は、ＲＡＭに格納され、ＣＰＵで動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのＣＰＵで実行される旨を説明してきたが、２以上のプロセッサＣＰＵにより同時又は逐次に実行されてもよい。制御部１０１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【００６２】
ＲＡＭは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。ＲＡＭは、本発明の一実施形態に係る機能を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【００６３】
また、情報処理装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＰＬＤ（Programmable  Logic  Device）、ＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、制御部１０１は、これらのハードウェアの少なくとも１つで実装されてもよい。
【００６４】
本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【００６５】
入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【００６６】
本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【００６７】
プログラムは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【００６８】
また、プログラム、命令などは、伝送媒体を介して送受信されてもよい。例えば、プログラムが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
【００６９】
本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。
【００７０】
情報処理装置１０は、当業者によって、加入者局、モバイルユニット、加入者ユニット、ワイヤレスユニット、リモートユニット、モバイルデバイス、ワイヤレスデバイス、ワイヤレス通信デバイス、リモートデバイス、モバイル加入者局、アクセス端末、モバイル端末、ワイヤレス端末、リモート端末、ハンドセット、ユーザエージェント、モバイルクライアント、クライアント、又はいくつかの他の適切な用語で呼ばれる場合もある。
【００７１】
本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。
【００７２】
「接続された（connected）」、「結合された（coupled）」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、あるいはこれらの組み合わせであってもよい。本明細書で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及び／又はプリント電気接続を使用することにより、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどの電磁エネルギーを使用することにより、互いに「接続」又は「結合」されると考えることができる。
【００７３】
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【００７４】
本明細書で使用する「第１」、「第２」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみがそこで採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【００７５】
「含む(ｉｎｃｌｕｄｉｎｇ)」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、及びそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【００７６】
以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
【符号の説明】
【００７７】
１０…情報処理装置、１０１…制御部、１０２…記憶部、１０５…通信部、１０７…音声処理部、１０９…撮像部、１００１…検出部、１００２…生成部、１００３…特定部、１００４…記憶制御部。
【図１】
2018028716.tif 000003
【図２】
2018028716.tif 000004
【図３】
2018028716.tif 000005
【図４】
2018028716.tif 000006