(57)【要約】【課題】従来の方法では、撮影データを撮影日時、撮影位置をキーに検索することしかできなかった。特に、ＳＮＳ等に投稿するために、写真やビデオをライフログとして大量に撮影するユーザが近年増加しており、経験、被写体等に関連する言葉を検索キーにして撮影データの検索をすることが求められている。【解決手段】写真又はビデオを含む撮影データを撮影する撮影部４００と、情報処理端末１００の周辺の音を録音した録音データを生成する録音部４１０と、撮影データを撮影した時から前後所定の期間に生成された録音データに含まれる音声を文字列に変換する変換部７２０と、情報処理端末１００の位置を取得する位置取得部４２０と、撮影した撮影データと、撮影データを撮影した位置と、文字列とを関連付けて記憶する記憶部４４０と、を有する。【選択図】図１
2016170654.tif 000002
【特許請求の範囲】
【請求項１】
写真又はビデオを含む撮影データを生成する撮影部と、
情報処理端末の周辺の音を録音した録音データを生成する録音部と、
前記撮影データを生成した時から前後所定の期間に生成された前記録音データに含まれる音声を文字列に変換する変換部と、
前記情報処理端末の位置を取得する位置取得部と、
前記撮影データと、前記撮影データを生成した位置と、前記文字列とを関連付けて記憶する記憶部と、を有する情報処理端末。
【請求項２】
前記変換部は、前記写真又は前記ビデオを撮影した位置の近傍の位置で録音した前記録音データを文字列に変換する請求項１に記載の情報処理端末。
【請求項３】
名詞と、前記名詞と関連付けられた関連語とを対応付けて管理する辞書部を有し、
前記変換部は、前記文字列から名詞を抽出し、
前記記憶部は、抽出された前記名詞と対応付けられている前記関連語とを前記辞書部から取得し、前記撮影データと、前記名詞と、前記関連語とを関連付けて記憶する請求項１又は２に記載の情報処理端末。
【請求項４】
前記変換部は、前記文字列の所定の文字数の範囲で抽出された複数の名詞を前記辞書部に通知し、
前記辞書部は、前記複数の名詞を互いに関連付けて辞書部に追加する請求項３に記載の情報処理端末。
【請求項５】
前記変換部は、代名詞、指示代名詞を除く名詞を前記辞書部に通知する請求項４に記載の情報処理端末。
【請求項６】
所定のエリアに含まれる地名を管理する地図情報データベースを参照して、所定の期間における前記情報処理端末の位置を取得し、前記位置から前記情報処理端末が存在した位置の地名を、特定し、特定された複数の前記地名を前記辞書部に通知する通知部を有し、
前記辞書部は、特定された複数の前記地名を互いに関連付けて辞書部に追加する請求項４又は５に記載の情報処理端末。
【請求項７】
位置と地名を管理する地図情報データベースを参照して、所定の期間における前記情報処理端末の位置を取得し、前記位置から前記情報処理端末が存在した位置の地名を特定する地名特定部と、
特定された一の前記地名内の任意の位置を起点とし、該起点と特定された他の前記地名内の任意の位置との距離に基づいて所定のエリアを設定するエリア設定部と、
前記特定された地名のうち、前記所定のエリアに含まれる前記地名を互いに関連付けて辞書部に追加する請求項４又は５に記載の情報処理端末。
【請求項８】
情報処理端末の位置を取得するステップと、
写真又はビデオを含む撮影データを生成するステップと、
前記情報処理端末の周辺の音を録音し録音データを生成するステップと、
前記撮影データを生成した時から前後所定の期間に生成された前記録音データに含まれる音声を文字列に変換するステップと、
前記撮影データと、前記撮影データを生成した位置と、前記文字列とを関連付けて記憶するステップとを有する情報処理方法。
【請求項９】
前記変換するステップにおいて、前記変換部が、前記写真又は前記ビデオを撮影した位置の近傍の位置で録音した前記録音データを文字列に変換する請求項８に記載の情報処理方法。
【請求項１０】
請求項８及び９に記載の情報処理方法を情報処理端末に実行させるプログラム。
【請求項１１】
情報処理端末から写真又はビデオを含む撮影データと、前記撮影データを撮影した位置と、前記撮影データを生成した時から前後所定期間に生成された録音データを取得する取得部と、
取得した前記録音データを文字列に変換する変換部と、
前記撮影データと、前記撮影データを撮影した位置と、前記文字列と関連付けて記憶する記憶部と、を有する情報処理装置。
【請求項１２】
前記取得部は、前記写真又は前記ビデオが撮影された位置の近傍の位置で録音した前記録音データを取得する請求項１１に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理端末、情報処理方法、プログラム、及び、情報処理装置に関する。
【背景技術】
【０００２】
スマートフォン、デジタルカメラ等の普及により、写真、及びビデオを撮影する機会が増えている。ユーザが、撮影した写真やビデオを効率よく検索できるように、スマートフォン等の情報処理端末が、撮影日時、撮影位置等の情報を撮影データに付加して保存することが行われている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の方法では、撮影データを撮影日時、撮影位置をキーに検索することしかできなかった。特に、ＳＮＳ（Ｓｏｃｉａｌ  Ｎｅｔｗｏｒｋ  Ｓｅｒｖｉｃｅ）等に投稿するために、写真やビデオをライフログとして大量に撮影するユーザが近年増加しており、経験、被写体等に関連する言葉を検索キーにして撮影データの検索をすることが求められている。
【課題を解決するための手段】
【０００４】
本実施形態に係る情報処理端末は、写真又はビデオを含む撮影データを撮影する撮影部と、情報処理端末の周辺の音を録音し録音データを生成する録音部と、前記撮影データを撮影した時から前後所定の期間に生成された前記録音データに含まれる音声を文字列に変換する変換部と、前記情報処理端末の位置を取得する位置取得部と、撮影した前記撮影データと、前記撮影データを撮影した位置と、前記文字列とを関連付けて記憶する記憶部と、を有する。
【発明の効果】
【０００５】
本実施形態に係る情報処理端末によれば、経験、被写体等に関連する言葉をキーに撮影データ検索することが可能となる。
【図面の簡単な説明】
【０００６】
【図１】本実施形態に係るシステム全体構成の一例を示す図である。
【図２】本実施形態に係る情報処理端末と検索端末のハードウェア構成の一例を示す図である。
【図３】本実施形態に係る情報処理装置のハードウェア構成の一例を示す図である。
【図４】本実施形態に係る情報処理端末と検索端末の機能構成の一例を示す図である。
【図５】本実施形態に係る情報処理端末の録音データの記憶方法の一例を説明するための図である。
【図６】本実施形態に係る情報処理端末の第２記憶部で記憶する撮影データと、撮影データに関連するデータを示す。
【図７】本実施形態に係る情報処理装置の機能構成の一例を示す図である。
【図８】本実施形態に係る情報処理装置の記憶部に記憶される情報の一例を示す図である。
【図９】本実施形態に係る、撮影データの保存及び検索手順の一例を説明するための図である。
【図１０】本実施形態に係る録音データの生成手順の一例を示す図である。
【図１１】本実施形態に係る撮影データの生成手順の一例を示す図である。
【図１２】本実施形態に係る録音データの解析手順の一例を示す図である。
【図１３】本実施形態に係る辞書データの生成手順の概要を示す図である。
【図１４】本実施形態に係る辞書データの生成手順の一例を示す図である。
【図１５】本実施形態に係る辞書データの生成手順の具体例を示す図である。
【図１６】本実施形態に係る辞書データの生成手順の一例を示す図である。
【図１７】本実施形態に係る撮影データの検索手順の一例を示す図である。
【図１８】本実施形態に係る撮影データの検索手順の一例を示す図である。
【発明を実施するための形態】
【０００７】
以下、本発明の実施の形態について説明する。
【０００８】
＜第１実施形態＞
以下、実施形態について図面を参照しながら説明する。
【０００９】
＜システム全体構成＞
図１は、本実施形態に係るシステム全体構成の一例を示す図である。本実施形態に係る情報処理システム１は、情報処理端末１００と、情報処理装置２００と、及び検索端末３００とを有する。
【００１０】
情報処理端末１００は、写真又はビデオを撮影し撮影データを生成する。撮影データを生成する時に、情報処理端末１００は、撮影位置の情報を取得する。また、情報処理端末１００は、少なくとも撮影する前後の音を録音し、録音データを生成する。情報処理端末１００は、撮影データ、録音データ、撮影した位置、及び撮影日時に関するデータを情報処理装置２００に送信してもよい。
【００１１】
情報処理装置２００は、撮影データ、録音データ、撮影した位置、及び撮影日時に関する情報を受信する。情報処理装置２００は、録音データを解析し、人の声から文字列を抽出する。情報処理装置２００は、撮影データ、撮影した位置、抽出した文字列、及び撮影日時を関連付けて記憶する。
【００１２】
検索端末３００は、情報処理装置２００に撮影データの検索を指示する。検索端末３００のユーザは、撮影データの検索のキーとして撮影日時、撮影した位置、及び録音データから抽出される文字列を設定してもよい。
【００１３】
ここで、情報処理端末１００と検索端末３００は、別の端末として記載しているが同じ端末であってもよい。また、情報処理端末１００が、情報処理装置２００の機能を有してもよい。
【００１４】
＜ハードウェア構成＞
（１）情報処理端末と検索端末のハードウェア構成
図２を用いて本実施形態に係る情報処理端末１００と検索端末３００のハードウェア構成を説明する。図２（ａ）は本実施形態に係る情報処理端末１００のハードウェア構成の一例を示す図である。
【００１５】
情報処理端末１００は、マイク１１０と、ディスプレイ１２０と、カメラ１３０と、ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１４０と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１５０と、無線通信インタフェース１６０と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１７０と、有線通信インタフェース１８０と、入力装置１９０と、位置取得装置１９５とを有する。
【００１６】
マイク１１０は、情報処理端末１００の周辺の音を録音し、ＲＡＭ１４０、又はＲＯＭ１７０に録音データを渡す。
【００１７】
ディスプレイ１２０は、情報処理端末１００の各種情報を表示する。例えば、ディスプレイ１２０は、情報処理端末１００が撮影した撮影データ（写真、ビデオ）、撮影データの撮影日時、撮影位置、及び撮影前後に録音した録音データに関する情報を表示する。
【００１８】
カメラ１３０は、写真、又はビデオを撮影し撮影データを生成し、ＲＡＭ１４０、ＲＯＭ１７０に撮影データを渡す。また、カメラ１３０は、撮影日時に関する情報を記録し、ＲＡＭ１４０、又はＲＯＭ１７０に渡す。
【００１９】
ＲＡＭ１４０は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、又はＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の記憶装置である。ＲＡＭ２０３は、各種プログラムがＣＰＵ１５０によって実行される際に展開される、作業領域にも利用される。また、ＲＡＭ１４０に、撮影した写真、ビデオ、及び録音した録音データが一時的に記憶される。
【００２０】
ＲＯＭ１７０は、各種情報を記録するのに用いられる。情報処理装置２００はＲＯＭ１７０に加えて、ＮＡＮＤ  Ｆｌａｓｈ（Ｎｏｔ  ＡＮＤ  Ｆｌａｓｈ）、又はＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等を有してもよい。
【００２１】
ＣＰＵ１５０は、ユーザからの指示等に基づいて、各種プログラムを実行する。ＣＰＵ１５０は、各種プログラムの実行時に、情報処理端末１００のハードウェアの制御をする。
【００２２】
無線インタフェース１６０は、ＣＰＵ１５０の指示を受けて、無線ＬＡＮ、又はセルラー等の無線を用いて外部装置と接続する。
【００２３】
有線インタフェース１８０は、ＣＰＵ１５０の指示を受けて、有線ＬＡＮ、又はＵＳＢケーブル等を用いて外部装置と接続する。
【００２４】
入力装置１９０は、ユーザから情報処理端末１００への各種指示を受け付ける。
【００２５】
位置取得装置１９５は、情報処理端末１００の位置を取得する。位置の取得には、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）、無線ＬＡＮ及びセルラーの位置取得機能が用いられてもよい。
【００２６】
図２（ｂ）は本実施形態に係る検索端末３００のハードウェア構成の一例を示す図である。検索端末３００は、ディスプレイ３１０と、無線通信インタフェース３２０と、有線通信インタフェース３３０と、入力装置３４０と、ＲＯＭ３５０と、ＲＡＭ３６０と、ＣＰＵとを有する。各装置の機能は、情報処理端末１００と同じであるため、説明を省略する。
【００２７】
（２）情報処理装置のハードウェア構成
図３は、本実施形態に係る情報処理装置２００のハードウェア構成の一例を示す図である。情報処理装置２００は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、記憶部２０４とを備える。更に、情報処理装置２００は、入力部２０５と、表示部２０６と、及び通信部２０７とを有する。なお、情報処理装置２００の各部は、バス２０８を介して相互に接続されている。
【００２８】
ＣＰＵ２０１は、記憶部２０４に格納された各種プログラムを実行するコンピュータである。
【００２９】
ＲＯＭ２０２には、記憶部２０４に格納された各種プログラムを、ＣＰＵ２０１が実行するために必要な各種プログラム、データ等が格納される。
【００３０】
ＲＡＭ２０３は、ＤＲＡＭ、又はＳＲＡＭ等の記憶装置である。ＲＡＭ２０３は、例えば、記憶部２０４に格納された各種プログラムがＣＰＵ２０１によって実行される際に用いられる、作業領域として用いられる。
【００３１】
記憶部２０４は、ＣＰＵ２０１により実行される各種プログラム及び各種プログラムがＣＰＵ２０１により実行される時に利用される各種データを格納する。なお、各種データは、例えば、情報処理端末１００から取得した撮影データ、録音データ、撮影日時、及び撮影位置に関する情報を含む。
【００３２】
入力部２０５は、管理者が情報処理装置２００に各種指示を入力するためのインタフェースである。表示部２０６は、情報処理装置２００が有する各種情報を表示する。
【００３３】
通信部２０７は、ネットワークを介して、情報処理端末１００及び検索端末３００と通信を行う。
【００３４】
＜機能構成＞
（１）情報処理端末及び検索端末の機能構成
図４は、本実施形態に係る情報処理端末１００と検索端末３００の機能構成の一例を示す図である。図４（ａ）を用いて、情報処理端末１００の機能構成を説明する。
【００３５】
情報処理端末１００は、撮影部４００と、録音部４１０と、位置取得部４２０と、制御部４３０と、記憶部４４０と、送受信部４５０と、入出力部４６０とを有する。
【００３６】
撮影部４００は、制御部４３０からの指示に応じて、写真とビデオの撮影を行う。撮影部４００は、写真とビデオの撮影により生成された撮影データを記憶部４４０に送信する。撮影部４００は、記憶部４４０に撮影データを送信する時に、撮影日時に関する情報を合わせて送信する。
【００３７】
録音部４１０は、周辺の音を録音する。録音部４１０は、撮影部４００の起動に合わせて録音を開始し、撮影部４００の停止に合わせて録音を終了してもよい。また、録音部４１０は、情報処理端末１００が起動中は、常に録音をしてもよい。録音部４１０は、録音により生成された録音データを記憶部４４０に渡す。録音部４１０は、記憶部４４０に録音データを渡す時に、録音日時に関する情報を合わせて送信する。録音部４１０は、撮影部４００から、撮影をした日時に関する情報、例えば写真を撮った日時を取得してもよい。
【００３８】
位置取得部４２０は、情報処理端末１００の位置情報を取得する。位置取得部４２０は、情報処理端末１００の移動を検出し、その都度位置情報を取得してもよい。位置情報を取得する時には、位置取得部４２０は、ＧＰＳ、無線ＬＡＮ及びセルラーの位置取得機能を用いてもよい。
【００３９】
制御部４３０は、入出力部４６０に入力されたユーザからの指示、送受信部４５０が外部機器から受信したデータの内容に基づいて、情報処理端末１００内の各機能に対する制御を実行する。
【００４０】
記憶部４４０は、第１記憶部４４１と、第２記憶部４４２とを有する。第１記憶部４４１は、一時的な記憶領域であり、例えばＲＡＭ１４０により実現される。第２記憶部４４２は、情報処理端末１００が保持し続ける情報を記憶する記憶領域であり、例えば、ＲＯＭ、ＮＡＮＤ  Ｆｌａｓｈ、又はＨＤＤ等により実現される。
【００４１】
情報処理端末１００が取得した録音データ及び、位置情報は、第１記憶部４４１に記憶される。制御部４３０により、録音データ及び位置情報に対して必要な加工処理が行われた後に、第２記憶部４４２に記憶される。また、撮影データは、第２記憶部４４２に記憶される。
【００４２】
ここで、図５は、本実施形態に係る情報処理端末１００の録音データの記憶方法の一例を説明するための図である。
【００４３】
図５（ａ）は、録音データを第１記憶部４４１と第２記憶部４４２に記憶する方法を示す図である。本実施形態に係る動作では、録音部４１０が、情報処理端末１００の動作中は常に録音する場合及び、撮影部４００の起動に合わせて録音を開始し、撮影部４００の停止に合わせて録音を終了する場合がある。常に録音を行う場合、録音データの量が大きくなり過ぎ記憶部４４０の容量を圧迫する懸念、撮影と関係が薄い録音データまで取得する可能性がある。
【００４４】
図５（ａ）で示す例では、録音部４１０は、常時、若しくは撮影部４００が起動中に録音を行い、録音データを第１記憶部４４１に記憶する。撮影部４００により撮影が行われると、第２記憶部４４２は、撮影タイミングから＃Ａ時間前の録音データを第１記憶部４４１からコピーし、記憶してもよい。加えて、第２記憶部４４２は、撮影タイミングから＃Ｂ時間経過後の録音データを第１記憶部４４１から、コピーし、記憶してもよい。ここで、ユーザは、＃Ａ時間と＃Ｂ時間を設定可能であり、例えば、５分、１分、３０秒といった設定がされる。また、＃Ａ時間と＃Ｂ時間は、ビデオを撮影する場合には、０秒に設定されてもよい。この場合には、ビデオを撮影中の録音データが用いられる。
【００４５】
図５（ｂ）に示すように、情報処理端末１００の位置を考慮して録音データを保存する期間が設定されてもよい。
【００４６】
図５（ｂ）に示すように、情報処理端末１００が、Ａ地点、Ｂ地点、Ｃ地点と移動し、Ｃ地点で撮影した場合、第２記憶部４４２は、撮影が行われたＣ地点の録音データを第１記憶部４４１からコピーし、記憶してもよい。ここで、Ｃ地点に位置している時間が上述した一定時間（＃Ａ時間前〜＃Ｂ時間後）を上回る場合、第２記憶部４４２は、Ｃ地点で録音した録音データのうち、上記一定期間に含まれる録音データを第１記憶部４４１からコピーし、記憶してもよい。
【００４７】
なお、撮影が行われた位置と録音データを抽出する位置は、厳密に同じ位置でなく、撮影が行われた位置の近傍でもよい。例えば、撮影が行われた位置から数十メートル以内でもよい。
【００４８】
図５（ｃ）に示すように、第１記憶部４４１は、録音データの量が大きくなりすぎて容量を圧迫するのを避けてもよい。図５（ｃ）に示す記憶方法では、第１記憶部４４１は、所定領域の先頭から録音データの書込みを開始し、所定領域の終端まで録音データを書き込む。第１記憶部４４１は、所定領域の終端まで録音データを書き込むと、所定領域の先頭から録音データを上書きする。
【００４９】
図６に、第２記憶部４４２で記憶する撮影データと、撮影データに関連するデータとを示す。
【００５０】
第２記憶部４４２は、写真とビデオの撮影データを関連するデータと共に記憶する。関連するデータとは撮影日時、撮影位置、録音データ等である。第２記憶部４４２は、撮影日時の前後の一定の時間に含まれる録音データのみを記憶する。
【００５１】
送受信部４５０は、外部機器とのデータの送受信を行う。データの送受信は、有線ＬＡＮ、ＵＳＢケーブル、無線ＬＡＮ、セルラー等を用いて行われる。
【００５２】
送受信部４５０は、第２記憶部４４２に記憶されている撮影データと撮影データに関連するデータとを、情報処理装置２００に送信する。
【００５３】
入出力部４６０は、ユーザからの指示の受付けと、各種情報の表示を行う。
【００５４】
次に、図４（ｂ）を用いて、検索端末３００の機能構成を説明する。
【００５５】
検索端末３００は、送受信部４７０と、入出力部４７１と、制御部４７２と、記憶部４７３とを有する。
【００５６】
送受信部４７０は、外部機器とのデータの送受信を行う。データの送受信は、有線ＬＡＮ、ＵＳＢケーブル、無線ＬＡＮ、セルラー等を用いて行われる。送受信部４７０は、情報処理装置２００に撮影データ検索要求を送信し、情報処理装置２００からの検索結果を受信する。
【００５７】
入出力部４７１は、ユーザからの指示の受付けと、各種情報の表示とを行う。本実施形態では、入出力部４７１は、ユーザから検索指示を受け付ける。
【００５８】
制御部は４７２、入出力部４６０に入力されたユーザからの指示、及び送受信部４５０が外部機器から受信したデータの内容に基づいて、検索端末３００内の各機能に対する制御を実行する。
【００５９】
記憶部４７３は、各種データを記憶する。例えば、記憶部４７３が、情報処理装置２００から撮影データを取得した場合、撮影データは記憶部４７３に記憶される。
【００６０】
（２）情報処理装置の機能構成
図７は、本実施形態に係る情報処理装置２００の機能構成の一例を示す図である。情報処理装置２００は、送受信部７００と、制御部７１０と、録音データ解析部７２０と、辞書部７３０と、記憶部７４０とを有する。
【００６１】
送受信部７００は、ネットワークを介して外部機器とのデータの送受信を行う。送受信部７００は、情報処理端末１００から、撮影データと撮影データに関連するデータとを受信する。また、送受信部７００は、検索端末３００から、検索要求を受信し、検索結果を送信する。
【００６２】
制御部７１０は、情報処理装置２００内の各機能部に対する制御を行う。
【００６３】
録音データ解析部７２０は、情報処理端末１００から受信した録音データを解析する。具体的には、録音データ解析部７２０は、一文毎、又は、所定の文字数毎に録音データに含まれる名詞を抽出する。例えば、録音データが「渋谷でイタリアン食べるの初めてだね」の場合、録音データ解析部７２０は、「渋谷」と「イタリアン」とを抽出する。
【００６４】
辞書部７３０は、単語と関連語の関係を管理する。例えば、辞書部７３０は、単語「イタリアン」に関連する関連語として「パスタ」、「ピザ」、及び「リゾット」を管理する。
【００６５】
辞書部７３０は、制御部７１０から単語に関連する関連語の問い合わせを受けて、関連語を回答する。加えて、辞書部７３０は、録音データ解析部７２０により解析された一文に含まれる名詞をそれぞれの関連語として登録し、保持する辞書データを更新する。
【００６６】
記憶部７４０は、情報処理端末１００から受信した撮影データと、撮影日時と、撮影位置と、録音データ解析部７２０により抽出された名詞と、抽出された名詞に関連する関連語とを記憶する。
【００６７】
図８は、本実施形態に係る記憶部７４０に記憶される情報の一例を示す図である。
【００６８】
記憶部７４０は、撮影データと、撮影日時と、撮影位置と、抽出された名詞と、関連語とを記憶する。抽出された名詞の欄には、録音データ解析部７２０による解析の結果抽出された名詞が記憶される。関連語の欄には、名詞に対して辞書部７３０で抽出された関連語として管理されている名詞が記憶される。
【００６９】
例えば、上述したように録音データが「渋谷でイタリアン食べるの初めてだね」の場合、録音データ解析部７２０は、「渋谷」と「イタリアン」とを抽出する。記憶部７４０は、抽出された「渋谷」と「イタリアン」とを抽出された名詞の欄に記憶する。そして、辞書部７３０は、「渋谷」の関連語として「道玄坂」、「宇田川町」、及び「宮益坂」を管理しているため、記憶部７４０は、「渋谷」の関連語として「道玄坂」、「宇田川町」、及び「宮益坂」を記憶する。
【００７０】
なお、撮影位置の欄には、撮影位置が緯度経度情報を設定されてもよいし、緯度経度情報から特定される住所、若しくは、付近のランドマーク（例えば、駅、公共施設）の名称が設定されてもよい。
【００７１】
記憶部７４０が、撮影日時及び撮影位置に加えて、録音データから抽出された名詞と、その関連語とを管理しているため、検索端末３００は、撮影日時と撮影位置に加えて、抽出された名詞とその関連語を検索キーとして用いることが可能となる。
【００７２】
＜動作手順＞
（１）撮影データの保存及び検索手順
図９は、本実施形態に係る、撮影データの保存及び検索手順の一例を説明するための図である。
【００７３】
ステップＳ９０１で、情報処理端末１００は、写真又はビデオの撮影を行い、撮影データを生成する。
【００７４】
ここで、情報処理端末１００は、動作中は常に録音を行い、録音データを生成しているため、情報処理端末１００は、撮影データに関連する録音データを特定する。情報処理端末１００は、撮影データを生成したタイミングの前後一定期間の撮影データを特定し、関連する録音データとする。情報処理端末１００は、撮影位置の位置情報を取得する。
【００７５】
ステップＳ９０２で、情報処理端末１００は、撮影データと、撮影日時と、関連する録音データと、撮影位置の位置情報とを情報処理装置２００に送信する。
【００７６】
ステップＳ９０３で、情報処理装置２００は、関連する録音データを解析し、まず人の声を抽出し、次に人の声に含まれる名詞を抽出する。ここで、情報処理装置２００は、人の声を抽出する時には、一文ずつ名詞を抽出してもよい。
【００７７】
ステップＳ９０４で、情報処理装置２００は、抽出された名詞の関連語として辞書部７３０で管理されている言葉を特定する。
【００７８】
ステップＳ９０５で、情報処理装置２００は、情報処理端末１００から取得した撮影データと、撮影位置の位置情報と、抽出された名詞と、その関連語とを記憶する。
【００７９】
ステップＳ９０６で、検索端末３００は、撮影データの検索要求を情報処理装置２００に送信する。ここで、検索端末３００は、撮影日時及び撮影位置に関する情報に加えて、名詞とその関連語を指定して撮影データを検索してもよい。
【００８０】
ここで、情報処理装置２００は、抽出された名詞、及びその関連語をタグとして設定し、検索時に抽出されやすくしてもよい。
【００８１】
（２）録音データの生成手順
図１０は、本実施形態に係る録音データの生成手順の一例を示す図である。
【００８２】
本実施形態では、情報処理端末１００の動作中は、常に録音データが生成され、第１記憶部４４１に記憶される。
【００８３】
ステップＳ１００１で、情報処理端末１００は、動作を開始すると共に、周辺の音を録音し、録音データを生成する。生成された録音データは、第１記憶部４４１に記憶される。
【００８４】
ステップＳ１００２で、情報処理端末１００は、動作終了指示が入力されたか確認する。動作終了指示が入力された場合（Ｙｅｓ）、録音を終了する。動作終了指示が入力されていない場合（Ｎｏ）、ステップＳ１００１に戻る。
【００８５】
なお、図１０のフローチャートでは、情報処理装置２００の動作中は録音を行う手順を示しているが、撮影部４００の起動と終了に合わせて、情報処理装置２００は、録音の開始と終了をしてもよい。
【００８６】
（３）撮影データの生成手順
図１１は、本実施形態に係る撮影データの生成手順の一例を示す図である。
【００８７】
ステップＳ１１０１で、情報処理端末１００は、撮影を行い、撮影データを生成する。
【００８８】
ステップＳ１１０２で、情報処理端末１００は、撮影データを記憶する。
【００８９】
ステップＳ１１０３で、情報処理端末１００は、撮影したタイミングより一定時間前の録音データを特定して、撮影データと関連付けて記憶する。
【００９０】
ステップＳ１１０４で、情報処理端末１００は、撮影したタイミングから一定時間経過するまで待機する。
【００９１】
ステップＳ１１０５で、情報処理端末１００は、撮影したタイミングから一定時間後の録音データを特定して、撮影データと関連付けて記憶する。
【００９２】
ステップＳ１１０６で、情報処理端末１００は、撮影データと特定された録音データとを情報処理装置２００に送信する。この際に、情報処理端末１００は、撮影時の情報処理端末１００の位置情報と、撮影データを生成した時刻とを情報処理装置２００に送信する。
【００９３】
なお、情報処理端末１００は、撮影を行った位置と同じ若しくは近傍の位置で録音された録音データのみを情報処理装置２００に送信してもよい。
【００９４】
（４）録音データの解析手順
図１２は、本実施形態に係る録音データの解析手順の一例を示す図である。
【００９５】
ステップＳ１２０１で、情報処理装置２００は、情報処理端末１００から撮影データと録音データとを受信する。
【００９６】
ステップＳ１２０２で、情報処理装置２００は、受信した録音データを解析して文字列を抽出する。ここで、文字列として抽出されるのは人間の声に係る録音データである。
【００９７】
ステップＳ１２０３で、情報処理装置２００は、抽出された文字列を解析する。情報処理装置２００は、一文ずつ解析を行う。
【００９８】
ステップＳ１２０４で、情報処理装置２００は、文字列を解析して抽出した名詞を、撮影データと関連付けて保存する。
【００９９】
（５）辞書データの生成手順（その１）
図１３は、本実施形態に係る辞書データの生成手順の概要を示す図である。
【０１００】
情報処理装置２００は、情報処理端末１００から録音データを受信すると、録音データを文字列に変換する。その後、情報処理装置２００は、変換された文字列を形態素解析し、語句を抽出する。情報処理装置２００は、抽出された語句から一般的な名詞と、名詞とを含まない語句を削除し、残った語句は相互に関連する名詞として辞書部７３０に登録する。
【０１０１】
図１４は、本実施形態に係る辞書データの生成手順の一例を示す図である。
【０１０２】
ステップＳ１４０１で、情報処理装置２００は、録音データから文字列を抽出する。
【０１０３】
ステップＳ１４０２で、情報処理装置２００は、抽出した文字列について形態素解析を行う。
【０１０４】
ステップＳ１４０３で、情報処理装置２００は、抽出した文字列を１文ずつに分け、以降の処理を一文ずつ行う。
【０１０５】
ステップＳ１４０４で、情報処理装置２００は、一般的な名詞を含む語句を削除する。
【０１０６】
ステップＳ１４０５で、情報処理装置２００は、名詞を含まない語句を削除する。
【０１０７】
ステップＳ１４０６で、情報処理装置２００は、語句に含まれる名詞以外の文字を削除する。
【０１０８】
ステップＳ１４０７で、情報処理装置２００は、残った全ての名詞を相互に関連付けて辞書データに保存する。
【０１０９】
ステップＳ１４０８で、情報処理装置２００は、全ての文を処理したか確認する。全ての文の処理を完了した場合（Ｙｅｓ）、処理を終了する。全ての処理を完了していない場合、ステップＳ１４０４に戻り処理を継続する。
【０１１０】
図１５は、本実施形態に係る辞書データの生成手順の具体例を示す図である。
【０１１１】
ここでは、図１５（ａ）に示す「私は作成した文書をプリンタで印刷する」という文章から相互に関連する名詞を特定し、辞書データに保存する手順を説明する。
【０１１２】
情報処理装置２００は、「私は作成した文書をプリンタで印刷する」という文章を形態素分析により処理する。情報処理装置２００が処理した結果を、図１５（ｂ）に示す。文章は、語句毎に分割され、さらに文章に含まれる語句が、係り受けの関係に従ってつなげられている。
【０１１３】
情報処理装置２００は、一般的な名詞を含む語句を削除する。情報処理装置２００が処理した結果を図１５（ｃ）に示す。「私」という一般的な名詞を含む語句「私は」は削除される。これにより、「私は」と「印刷する」との間にある意味のない関連を削除することができる。一般的な名詞を削除しないと、「私」と「印刷」が相互に関係のある言葉として辞書データに保存されてしまい、検索時に意味のない撮影データを出力することになってしまう。
【０１１４】
一般的な名詞を削除するために、辞書部７３０は、一般的な名詞辞書を保持していることが好ましい。一般的な名詞辞書を保持することにより、情報処理装置２００は、意味のない言葉同士が関連ある言葉として辞書データに保存されるのを防ぐことができる。図１５（ｄ）に一般的な辞書の具体例を示す。
【０１１５】
情報処理装置２００は、名詞を含まない語句を削除する。情報処理装置２００が処理した結果を図１５（ｅ）に示す。名詞を含まない語句である「作成した」と「印刷する」が削除される。
【０１１６】
情報処理装置２００は、残った名詞を含む語句間に関連があると判断する。図１５（ｆ）に、情報処理装置２００が処理した結果を示す。情報処理装置２００は、「文書を」と「プリンタで」の２つの語句が相互に関連すると判断する。
【０１１７】
情報処理装置２００は、語句に含まれる名詞以外の文字を削除する。図１５（ｇ）に、情報処理装置２００が処理した結果を示す。「文書」と「プリンタ」とが相互に関連する名詞と判断され、辞書データに登録される。
【０１１８】
録音データから辞書データを生成することにより、関連語の精度を向上させることができる。なお、情報処理装置２００は、情報処理端末１００毎又はユーザ毎に辞書データを生成してもよいし、情報処理端末１００間で辞書データを共有してもよい。一人のユーザが複数の情報処理端末を利用している場合には、複数の端末が、ネットワークを介して一つの辞書データを用いてもよい。また、情報処理装置２００は、予め辞書データを保持し、録音データを取得する度に、名詞と関連語の関係を更新してもよい。
【０１１９】
（５）辞書データの生成手順（その２）
図１６を用いて、辞書データの生成手順について説明する。図１６は、本実施形態に係る辞書データの生成手順の一例を示す図である。本生成手順では、情報処理装置２００は、情報処理端末１００の位置に関連する地名を抽出し、辞書に反映することを特徴とする。
【０１２０】
情報処理装置２００は、情報処理端末１００が過去に存在した位置のデータを、情報処理端末１００から取得する。ここで、情報処理端末１００は、存在している位置のデータをＧＰＳ等により取得し、蓄積しているものとする。
【０１２１】
情報処理装置２００は、地図情報データベースを参照して、所定のエリアに含まれる位置の地名を特定し、情報処理端末１００が過去に存在した位置の地名をリスト化する。
【０１２２】
情報処理端末１００が過去に存在した位置に関する具体例を、図面を参照して説明する。図１６は、本実施形態に係る情報処理端末１００が過去に存在した位置を示すデータの一例である。
【０１２３】
図１６において、太線で示す線が、情報処理端末１００が過去に存在した位置である。情報処理装置２００は、地図情報データベースを参照して過去に存在した位置の地名を特定する。ここで、地図情報データベースは、都道府県、市町村と、そこに含まれる地名や、駅、公共施設、ランドマーク等とその周辺の地名の関係を保持している。
【０１２４】
図１６の例では、情報処理端末１００は、過去に存在した渋谷駅周辺の地名として宮益坂、宮下公園、神南、宇田川町、及び道玄坂を特定する。この場合、情報処理装置２００は、渋谷駅と、宮益坂と、宮下公園と、神南と、宇田川町と、道玄坂とを辞書データに相互に関連する名詞として登録してもよい。
【０１２５】
また、情報処理装置２００は、任意のエリアを設定して、そのエリア内で情報処理端末１００が存在した位置の地名を相互に関連する名詞として登録してもよい。
【０１２６】
情報処理装置２００は、地図情報データベースを参照して、情報処理端末１００が、過去に存在した位置の地名を取得する。情報処理装置２００は、特定された地名のうち一つを選択し、地名内の任意の位置を起点とし、起点と特定された他の地名内の任意の位置との距離に基づいて所定のエリアを設定し、特定された地名のうち、所定のエリアに含まれる地名を互いに関連付けて辞書部に追加してもよい。
【０１２７】
例えば、情報処理端末１００が、過去に存在した位置の地名、すなわち、宮益坂、宮下公園、神南、恵比須、及び中目黒を情報処理装置２００が取得し、「宮益坂」内の位置（例えば、一丁目一番地）を起点に選択した場合について説明する。情報処理装置２００は、起点から他の地名内の任意の位置との距離、この場合は、宮益坂、宮下公園、神南、恵比須、及び中目黒内の任意の位置との距離を算出する。算出結果を基に、起点からの距離を設定する。取得した地名の半分程度が、所定のエリアに含まれるように距離を設定してもよい。
【０１２８】
例えば、情報処理装置２００が、「宮益坂」内の位置を起点から「神南」内の任意の位置までのおおよその距離である７００ｍを設定した場合、所定のエリアには、宮益坂、宮下公園、及び神南が入り、恵比須と中目黒は所定のエリア外となる。
【０１２９】
なお、距離が短すぎると、関連する地名が十分に抽出されない場合もあるため、最短の地名間の距離の２〜３倍程度の距離が設定されてもよい。あるいは、算出された複数の距離を加算して起点からの距離としてもよい。例えば、宮益坂〜道玄坂の距離と宮益坂と神南の距離を加算して起点である宮益坂からの距離としてもよいなお、起点は、駅、公共施設、及びランドマーク等が設定されることが想定される。
【０１３０】
（６）撮影データの検索手順
図１７を用いて、検索端末３００による撮影データの検索方法を説明する。図１７は、本実施形態に係る撮影データの検索手順の一例を示す図である。
【０１３１】
図１７に示すように、撮影データを検索する場合、検索端末３００は、情報処理装置２００に撮影データ検索要求を送信する。撮影データ検索要求は、検索キーを含む。本実施形態では、検索キーは、撮影日時、撮影位置、又はタグである。検索端末３００は、撮影日時を期間で指定してもよいし、撮影位置をエリア（例えば、東京都）で指定してもよいし、タグに複数の言葉を指定してもよい。
【０１３２】
撮影データ検索要求を受信すると、情報処理装置２００は、例えば、検索キーに一致する項目が多い撮影データを抽出する。なお、情報処理装置２００は、「タグ」で指定された言葉の有無を、「抽出された名詞」と「関連語」の欄を検索することによって確認する。
【０１３３】
図１７の例では、検索キーは、「日時＝２０１４／１２／２７」、「位置＝渋谷」、及び「タグ＝パスタ」である。情報処理装置２００は、例えば全ての検索キーに一致する写真＃Ｃを抽出し、検索端末３００に提示する。
【０１３４】
図１８を用いて、情報処理装置２００が、撮影データを抽出する手順について説明する。図１８は、本実施形態に係る撮影データの検索手順の一例を示す図である。
【０１３５】
ステップＳ１８０１で、情報処理装置２００は、撮影データ検索要求に含まれる検索キーを項目毎に分ける。具体的には、情報処理装置２００は、検索キーを日時と、位置と、タグとに分ける。
【０１３６】
ステップＳ１８０２で、情報処理装置２００は、各検索キーが含まれる撮影データを検索する。
【０１３７】
ステップＳ１８０３で、情報処理装置２００は、検索キーに一致する項目が多い撮影データを検索結果として出力する。
【０１３８】
＜その他＞
上述した実施形態では、情報処理端末１００と、情報処理装置２００と、検索端末３００とを別の装置として記載したが、情報処理端末１００が情報処理装置２００の機能を具備してもよいし、検索端末３００の機能を具備してもよい。
【０１３９】
また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、情報処理端末１００または／及び情報処理装置２００に供給してもよい。そして、その情報処理端末１００または情報処理装置２００のコンピュータ（またはＣＰＵまたはＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、上述の実施形態が達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は、いずれかの実施の形態を構成することになる。ここで、記憶媒体は、記録媒体または非一時的な記憶媒体でもよい。
【０１４０】
また、コンピュータ装置が読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムコードの指示に従って、コンピュータ装置上で起動しているオペレーティングシステム（ＯＳ）等が実際の処理の一部または全部を行ってもよい。さらに、その処理によって前述した実施形態の機能が実現されてもよいことは言うまでもない。
【０１４１】
以上、本発明の好ましい実施形態について説明したが、本発明はこうした実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【０１４２】
１００    情報処理端末
２００    情報処理装置
３００    検索端末
４００    撮影部
４１０    録音部
４２０    位置取得部
４４０    記憶部（情報処理端末内）
７２０    録音データ解析部
７３０    辞書部
７４０    記憶部
【先行技術文献】
【特許文献】
【０１４３】
【特許文献１】特開２０１３−１０６０７０号公報
【図１】
2016170654.tif 000003
【図２】
2016170654.tif 000004
【図３】
2016170654.tif 000005
【図４】
2016170654.tif 000006
【図５】
2016170654.tif 000007
【図６】
2016170654.tif 000008
【図７】
2016170654.tif 000009
【図８】
2016170654.tif 000010
【図９】
2016170654.tif 000011
【図１０】
2016170654.tif 000012
【図１１】
2016170654.tif 000013
【図１２】
2016170654.tif 000014
【図１３】
2016170654.tif 000015
【図１４】
2016170654.tif 000016
【図１５】
2016170654.tif 000017
【図１６】
2016170654.tif 000018
【図１７】
2016170654.tif 000019
【図１８】
2016170654.tif 000020