(57)【要約】      （修正有）【課題】撮影した画像や取得した音声のアルバム化を図る際に、ユーザに対する負担を軽減することができる記録システム等を提供する。【解決手段】記録システム１において、カメラ１０、複数の携帯端末２０及び人物が撮影されている画像と、この画像に関連した音声と、を取得し、記憶する記憶部４２と、記憶部４２に記憶された音声から、予め定められた言葉を判別する判別部４３と、予め定められた言葉に対応する画像を選別し、選別した画像を出力する選別部４４と、を有する管理サーバ４０を備える。【選択図】図３
2020166602.tif 000002
【特許請求の範囲】
【請求項１】
人物が撮影されている画像と、当該画像に関連した音声と、を取得し、記憶する記憶手段と、
前記記憶手段に記憶された音声から、予め定められた言葉を判別する判別手段と、
前記予め定められた言葉に対応する画像を選別し、選別した画像を出力する出力手段と、
を有する記録システム。
【請求項２】
前記判別手段は、前記予め定められた言葉として複数種の言葉を判別し、
前記出力手段は、複数種の言葉に対し設定されたグループ毎に画像を選別および出力することを特徴とする請求項１に記載の記録システム。
【請求項３】
前記出力手段は、判別された言葉を発したときの画像を含む予め定められた期間の画像を選別することを特徴とする請求項１に記載の記録システム。
【請求項４】
前記出力手段は、判別された言葉を発した人物を特定し、前記期間として、特定した人物が撮影されている期間の画像を選別することを特徴とする請求項３に記載の記録システム。
【請求項５】
前記出力手段は、前記期間として、判別された言葉を発したときの画像が撮影された時間を基準として予め定められた時間範囲の画像を選別することを特徴とする請求項３に記載の記録システム。
【請求項６】
前記予め定められた言葉を、撮影する対象の状態に応じて選択する選択手段をさらに備えることを特徴とする請求項１に記載の記録システム。
【請求項７】
前記選択手段は、ユーザが選んだ撮影シーンに応じて言葉を選択することを特徴とする請求項６に記載の記録システム。
【請求項８】
前記選択手段は、自装置の周辺の状況を認識し、認識した状況に応じて言葉を選択することを特徴とする請求項６に記載の記録システム。
【請求項９】
前記出力手段は、前記選別した画像および当該選別した画像に対応する音声を時系列順に並べ、アルバム化することを特徴とする請求項１に記載の記録システム。
【請求項１０】
コンピュータに、
人物が撮影されている画像と、当該画像に関連した音声と、を取得し、記憶する記憶機能と、
前記記憶機能に記憶された音声から、予め定められた言葉を判別する判別機能と、
前記予め定められた言葉に対応する画像を選別し、選別した画像を出力する出力機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録システム、プログラムに関する。
【背景技術】
【０００２】
撮影した画像の選別を行い、それを例えば、時系列的に並べることで、画像を編集し、アルバム化を図ることがある。
【０００３】
特許文献１に記載の電子アルバム編集装置は、画像データおよび該画像データに対応する音声データを取り込む画像／音声データＩ／Ｆ手段と、画像データおよび前記音声データを管理保存する記録手段と、音声データをテキストデータに変換するための音声データ変換手段と、テキストデータに基づいて画像データの検索、ソートを行うための検索・ソート手段と、ソート結果に基づいて画像を配置してアルバムを作成するアルバム作成手段と、を備える。
【０００４】
また、特許文献２に記載のアルバム作成装置は、蓄積された複数の画像データから、画像データが作成された日時の範囲、画像データが撮影された場所の範囲、画像データに画像が含まれる人物若しくは画像データが伴う音声に含まれる話し声を出す人物又はこれらの組合せを検索条件として１又は複数の画像データを抽出する抽出手段と、該抽出された画像データを表示する表示手段と、を備える。また、これらの検索条件を自動生成する手段や、検索条件をユーザから入力するための対話をする手段を備えることが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−１１１００９
【特許文献２】特開２００５−１０７８６７
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、撮影した画像の中から、ユーザが適切な画像を選択し、これを並べることで画像や音声のアルバム化を行う場合がある。ところが、このような作業は、一般に多くの時間と労力を必要とし、ユーザに対する負担が過大になりやすい。
本発明の目的は、撮影した画像や取得した音声のアルバム化を図る際に、ユーザに対する負担を軽減することができる記録システム等を提供することを目的とする。
【課題を解決するための手段】
【０００７】
かくして本発明によれば、人物が撮影されている画像と、画像に関連した音声と、を取得し、記憶する記憶手段と、記憶手段に記憶された音声から、予め定められた言葉を判別する判別手段と、予め定められた言葉に対応する画像を選別し、選別した画像を出力する出力手段と、を有する記録システムが提供される。
【０００８】
ここで、判別手段は、予め定められた言葉として複数種の言葉を判別し、出力手段は、複数種の言葉に対し設定されたグループ毎に画像を選別および出力することができる。この場合、目的により合致したアルバムを作成することができる。
また、出力手段は、判別された言葉を発したときの画像を含む予め定められた期間の画像を選別するようにすることができる。この場合、アルバムを作成するのに適した期間の画像をいわば自動で抽出することができ、ユーザの負担がより軽減される。
さらに、出力手段は、判別された言葉を発した人物を特定し、期間として、特定した人物が撮影されている期間の画像を選別することができる。この場合、アルバムを作成するのに適した期間として、より適した期間が設定できる。
またさらに、出力手段は、期間として、判別された言葉を発したときの画像が撮影された時間を基準として予め定められた時間範囲の画像を選別することができる。この場合、期間の設定がより容易になる。
また、予め定められた言葉を、撮影する対象の状態に応じて選択する選択手段をさらに備えることができる。この場合、ユーザの負担がより軽減される。
さらに、選択手段は、ユーザが選んだ撮影シーンに応じて言葉を選択することができる。この場合、ユーザが言葉を入力しなくても、撮影シーンを入力すれば、言葉が選択される。
またさらに、選択手段は、自装置の周辺の状況を認識し、認識した状況に応じて言葉を選択することができる。この場合、いわば自動的に言葉が選択される。
そして、出力手段は、選別した画像および選別した画像に対応する音声を時系列順に並べ、アルバム化することができる。この場合、関連性がより高い画像および音声を１つにまとめることができる。
【０００９】
さらに、本発明によれば、コンピュータに、人物が撮影されている画像と、画像に関連した音声と、を取得し、記憶する記憶機能と、記憶機能に記憶された音声から、予め定められた言葉を判別する判別機能と、予め定められた言葉に対応する画像を選別し、選別した画像を出力する出力機能と、を実現させるためのプログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、撮影した画像や取得した音声のアルバム化を図る際に、ユーザに対する負担を軽減することができる記録システム等を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施の形態における記録システムの構成例を示す図である。
【図２】記録システムの概略動作の例について示した図である。
【図３】第１の実施形態における記録システムの機能構成例を示したブロック図である。
【図４】第１の実施形態における記録システムの動作について説明したフローチャートである。
【図５】携帯端末において、ユーザが言葉の登録を行う画面の例を示した図である。
【図６】（ａ）〜（ｂ）は、選別部が、画像を選択する期間について示した図である。
【図７】第２の実施形態における記録システムの動作について説明したフローチャートである。
【図８】（ａ）〜（ｂ）は、図７のステップ２０５において、記憶部で保存するデータのデータ構造について示した図である。
【図９】第３の実施形態における記録システムの機能構成例を示したブロック図である。
【図１０】第３の実施形態における記録システムの動作について説明したフローチャートである。
【図１１】携帯端末において、撮影シーンの登録を行う画面の例を示した図である。
【図１２】図１０のステップ３０６において、記憶部で保存するデータのデータ構造について示した図である。
【図１３】第３の実施形態で使用するロボットについて示した図である。
【図１４】ロボットを用いた場合の記録システムの機能構成例を示したブロック図である。
【図１５】第４の実施形態における記録システムの動作について説明したフローチャートである。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
【００１３】
＜記録システム１全体の説明＞
図１は、本実施の形態における記録システム１の構成例を示す図である。
図示するように本実施の形態の記録システム１は、カメラ１０と、携帯端末２０ａ、２０ｂと、管理サーバ４０とが、ネットワーク７０、ネットワーク８０、アクセスポイント９０を介して接続されることにより構成されている。なお、カメラ１０は、図１では、１つのみ示したが、個数はいくつでもよい。また以後、携帯端末２０ａと携帯端末２０ｂとを区別しない場合には、単に「携帯端末２０」と言うことがある。
【００１４】
カメラ１０は、撮影装置であり、動画または静止画を撮影する。カメラ１０は、対象物からの光を収束する光学系と、光学系により収束された光を検出するイメージセンサとを備える。光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。例えば、２つの半球レンズを使用し、その球面側を向かい合わせに組み合わせたツインレンズが用いられる。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を配列して構成される。
また、カメラ１０は、撮影を行うのみならず、カメラ１０の周囲の音を取得する。よって、カメラ１０は、例えば、マイクロフォンを備え、マイクロフォンにより取得した音を、電気信号（音声信号）に変換する。またこのとき、電気信号（音声信号）を増幅するようにしてもよい。マイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものが使用できる。なお、カメラ１０の周囲の音をくまなく取得するという観点から、無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンであることが好ましい。
また、カメラ１０は、無線通信にて、アクセスポイント９０に接続するネットワークカメラとなっており、撮影した画像の情報および取得した音の情報を、アクセスポイント９０、ネットワーク７０、ネットワーク８０を介して管理サーバ４０に送信することができる。なお、有線通信回線を利用して、ネットワーク７０に接続してもよい。
【００１５】
携帯端末２０は、例えば、モバイルコンピュータ、携帯電話、スマートフォン、タブレット等のモバイル端末である。携帯端末２０ａ、２０ｂは、無線通信を行うためにアクセスポイント９０に接続する。そして、携帯端末２０ａ、２０ｂは、アクセスポイント９０を介して、ネットワーク７０に接続する。
【００１６】
管理サーバ４０は、記録システム１の全体の管理をするサーバコンピュータである。詳しくは後述するが、管理サーバ４０は、カメラ１０により撮影された画像および取得された音声を基に、予め定められた言葉を判別し、この言葉に対応する画像や音声のアルバムを作成する。
【００１７】
携帯端末２０および管理サーバ４０は、演算手段であるＣＰＵ（Central Processing Unit）と、記憶手段であるメインメモリと、ＨＤＤ（Hard Disk Drive）等のストレージとを備える。ここで、ＣＰＵは、ＯＳ（基本ソフトウェア）やアプリケーションプログラム（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、携帯端末２０および管理サーバ４０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、ビデオメモリやディスプレイ等からなる表示機構と、入力ボタン、タッチパネル、キーボード等の入力機構とを備える。
【００１８】
ネットワーク７０は、カメラ１０、携帯端末２０および管理サーバ４０の情報通信に用いられる通信手段であり、例えば、インターネットである。
ネットワーク８０も、ネットワーク７０と同様に、カメラ１０、携帯端末２０および管理サーバ４０の間の情報通信に用いられる通信手段であり、例えば、ＬＡＮ（Local Area Network）である。
【００１９】
アクセスポイント９０は、無線通信回線を利用して無線通信を行う機器である。アクセスポイント９０は、カメラ１０、携帯端末２０および管理サーバ４０の間のネットワーク７０やネットワーク８０との間の情報の送受信を媒介する。
無線通信回線の種類としては、携帯電話回線、ＰＨＳ（Personal Handy-phone System）回線、Ｗｉ−Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の各回線が使用可能である。
【００２０】
＜記録システム１の動作の概略説明＞
図２は、記録システム１の概略動作の例について示した図である。
まず、ユーザＡが、携帯端末２０ａにより、予め定められた言葉の登録を行う。これは、ユーザＡが、言葉の情報を入力し、これを携帯端末２０ａから、アクセスポイント９０、ネットワーク７０、ネットワーク８０を介し、管理サーバ４０に送ることで行う（１Ａ）。
また、管理サーバ４０は、この言葉をＨＤＤ等のストレージに記憶し、登録が完了する（１Ｂ）。
【００２１】
次に、カメラ１０が、画像の撮影および音の取得を行い、撮影した画像および取得した音を、送信情報として管理サーバ４０に送信する（１Ｃ）。送信情報は、アクセスポイント９０、ネットワーク７０、ネットワーク８０を介し、管理サーバ４０に送られる。
管理サーバ４０では、撮影した画像および取得した音をＨＤＤ等のストレージに記憶する（１Ｄ）。
【００２２】
そして、管理サーバ４０は、登録された言葉をストレージから読み出す（１Ｅ）。そして、取得した音の分析を行い、登録された言葉が音声として含まれているか否かを判別する（１Ｆ）。
さらに、管理サーバ４０は、登録された言葉が音声として含まれている場合、この言葉に対応する画像を選別し、音声とともにアルバム化する（１Ｇ）。このアルバムは、特定の言葉が含まれる画像が、音声とともに抽出されてまとめられたものである。アルバムに含まれる画像や音声の順序は、特に限られるものではなく、時系列順、時間の長さ順など種々の形態を取ることができる。
アルバム化された画像および音声は、ＨＤＤ等のストレージに記憶する（１Ｈ）。
アルバム化された画像および音声は、ユーザＢが携帯端末２０ｂを操作することにより、ストレージから読み出され（１Ｉ）、管理サーバ４０から携帯端末２０ｂに送られる（１Ｊ）。その結果、ユーザＢは、このアルバムを閲覧することができる。
なお、ユーザＡとユーザＢとは、例えば、所定の交友関係があり、親子の関係であったり、友人同士の関係である。なお、ユーザＡとユーザＢとが同一の人物であってもよい。つまり、言葉を登録した人物が、アルバムを閲覧する場合も考えられる。
【００２３】
＜記録システム１の詳細説明＞
［第１の実施形態］
次に、本実施の形態の記録システム１の詳細な機能構成および動作について説明する。
ここでは、まず、記録システム１の第１の実施形態について説明する。第１の実施形態では、ユーザが、言葉として１つの言葉を管理サーバ４０に登録し、管理サーバ４０は、この言葉に基づきアルバムを作成する。
【００２４】
図３は、第１の実施形態における記録システム１の機能構成例を示したブロック図である。
なおここでは、記録システム１が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
カメラ１０は、人物の撮影を行う撮影部１１と、音を取得する音取得部１２と、撮影した画像の情報を送信する送信部１３とを備える。
撮影部１１は、人物の撮影を行う機能部であり、上述した光学系とイメージセンサとから構成される。
音取得部１２は、人物の音声を含むカメラ１０の周囲の音を取得する機能部であり、上述したマイクロフォンに対応する。
送信部１３は、撮影した画像および取得した音の情報を送信情報として、管理サーバ４０に対し送信する。送信部１３は、例えば、通信Ｉ／Ｆであり、アクセスポイント９０、ネットワーク７０およびネットワーク８０を介し、管理サーバ４０に送信情報を送信する。
【００２５】
本実施の形態の記録システム１において、携帯端末２０ａと携帯端末２０ｂとは、同様の機能構成を有し、送信情報の送受信を行う送受信部２１と、画像の表示を行う表示部２２と、情報を入力する入力部２３と、発話音声を取得する音声取得部２４とを備える。
【００２６】
送受信部２１は、画像の情報や言葉の登録の際に、これに対応する情報の送受信を行う。送受信部２１は、例えば、通信Ｉ／Ｆであり、アクセスポイント９０、ネットワーク７０およびネットワーク８０を介し、管理サーバ４０と情報の送受信を行う。
【００２７】
表示部２２は、画像の表示を行う。表示部２２は、例えば、タッチパネルである。この場合、表示部２２は、各種情報が表示されるディスプレイと、指やスタイラスペン等で接触された位置を検出する位置検出シートとを備える。接触された位置を検出する手段としては、接触による圧力をもとに検出する抵抗膜方式や、接触した物の静電気をもとに検出する静電容量方式など、どのようなものが用いられてもよい。
【００２８】
入力部２３は、携帯端末２０のユーザが、所定の操作を行うための入力機構である。
例えば、上述したタッチパネルである。この場合、タッチパネルは、表示部２２および入力部２３の双方の機能を有する。つまり、所定の画像を表示するとともに、表示された画面に対し、タッチを行うことで、携帯端末２０で動作するアプリの起動・終了やアプリに対する操作を行うことができる。なお、これに限られるものではなく、入力部２３は、キーボードやマウス等で構成されていてもよい。
【００２９】
音声取得部２４は、ユーザの発話音声を取得する。音声取得部２４は、例えば、マイクロフォンである。音声取得部２４として使用するマイクロフォンについては、特に限られることはなく、既存の種々のものが使用できる。
【００３０】
管理サーバ４０は、外部と通信を行う送受信部４１と、画像および音の情報を記憶する記憶部４２と、音の中から登録された言葉を判別する判別部４３と、画像を選別する選別部４４とを備える。
【００３１】
送受信部４１は、カメラ１０や携帯端末２０との間で通信を行い、所定の情報のやりとりを行う。送受信部４１は、カメラ１０が撮影した画像および取得した音の情報を受信する。また、送受信部４１は、携帯端末２０ａから言葉の登録を受け付け、携帯端末２０ｂに対し、アルバムの情報を出力する。
記憶部４２は、記憶手段の一例であり、カメラ１０により撮影された画像として、人物が撮影されている画像と、画像に関連した音声と、を取得し、記憶する。また、ユーザが登録した言葉や後述するアルバムの情報について記憶する。
【００３２】
判別部４３は、判別手段の一例であり、記憶部４２に記憶された音声から、予め定められた言葉を判別する。詳しくは、後述するが、判別部４３は、例えば、ユーザにより予め登録された言葉が音の中に存在するか否かを判別する。
【００３３】
選別部４４は、出力手段の一例であり、予め定められた言葉に対応する画像を選別し、選別した画像を出力する。出力された画像は、アルバムとして、記憶部４２に記憶される。そして、ユーザの操作により携帯端末２０にて閲覧することができる。
【００３４】
送受信部４１は、例えば、通信Ｉ／Ｆである。また、記憶部４２は、例えば、ストレージである。さらに、判別部４３、選別部４４の各機能は、例えば、ＣＰＵにより実現することができる。
【００３５】
次に、第１の実施形態における記録システム１の動作について、より詳細に説明を行う。
図４は、第１の実施形態における記録システム１の動作について説明したフローチャートである。
まず、携帯端末２０ａを所有するユーザが、アルバムを作成するためのキーワードとして、言葉の登録を行う。この場合、ユーザは、例えば、専用アプリを起動し、携帯端末２０ａの表示部２２を見ながら、入力部２３を使用して、言葉の入力を行う（ステップ１０１）。なお、音声取得部２４を使用して、音声入力を行ってもよい。このユーザは、図２に示した場合では、携帯端末２０ａを所有するユーザＡである。
入力された言葉の情報は、携帯端末２０ａの送受信部２１から、管理サーバ４０に送信される。そして、管理サーバ４０の送受信部４１は、言葉の情報を受信し、記憶部４２に記憶する（ステップ１０２）。
【００３６】
図５は、携帯端末２０ａにおいて、ユーザが言葉の登録を行う画面の例を示した図である。
この場合、表示部２２の上側には、「電子アルバムを作成するために必要なキーワードを入力してください。」のメッセージ２２１が表示されている。これは、ユーザに、言葉としてキーワードの入力を求めるメッセージである。
【００３７】
そして、このメッセージ２２１の下側に、キーワード入力欄２２２が表示され、さらにその下側にアルバム名入力欄２２３が表示される。キーワード入力欄２２２は、アルバムを作成するための言葉を入力する欄である。この場合、キーワード入力欄２２２には、「おめでとう」が入力されている。さらに、アルバム名入力欄２２３は、作成されるアルバムの名称を入力する欄である。つまり、「おめでとう」の言葉により作成されるアルバムの名称を入力することができる。この場合、アルバム名入力欄２２３には、「誕生会」が入力されている。
そして、この画面から表示部２２の最下段に表示されるＯＫボタン２２４を押下すると、入力した内容が、管理サーバ４０に送信される。また、キャンセルボタン２２５を押下すると、例えば、この画面より前に表示されていた画面に戻る。
【００３８】
図４に戻り、カメラ１０の撮影部１１が、所定の撮影範囲について、画像の撮影を行うとともに、音取得部１２が、カメラ１０の周囲の音の取得を行う（ステップ１０３）。そして、送信部１３が、撮影した画像および取得した音を、送信情報として管理サーバ４０に送信する（ステップ１０４）。この送信情報には、画像や音を取得した時刻の情報やユーザＡのユーザＩＤ等を含んでもよい。
管理サーバ４０の送受信部４１は、送信情報を受け取り、記憶部４２に記憶する（ステップ１０５）。
次に、判別部４３が、取得した送信情報のうち音の情報を分析し、ステップ１０２で登録した言葉に対応する音声が含まれているか否かを判別する（ステップ１０６）。
その結果、含まれていない場合（ステップ１０６でＮｏ）、ステップ１０３に戻る。
対して、含まれている場合（ステップ１０６でＹｅｓ）、選別部４４は、言葉に対応する音声とともに、画像の抽出を行う（ステップ１０７）。そして、抽出された画像を並べ、アルバム化を行い、記憶部４２に出力する（ステップ１０８）。なお、この音声は、何れの人物の音声であってもよい。さらに、人物に限らず、ロボットの音声やペットの音声であってもよい。
記憶部４２では、出力されアルバム化された画像および音声を記憶する（ステップ１０９）。
【００３９】
このとき、選別部４４は、判別された言葉を発したときの画像を含む予め定められた期間の画像を選別する。
図６（ａ）〜（ｂ）は、選別部４４が、画像を選択する期間について示した図である。
このうち、図６（ａ）は、選別部４４が、画像を選別する期間の第１の例を示した図である。
ここでは、選別部４４は、判別された言葉を発した人物を特定し、期間として、特定した人物が撮影されている期間の画像を選別する。つまり、選別部４４は、上記音声を発した人物を画像から特定し、この人物が撮影されている期間にて画像および音声を抽出する。図６（ａ）では、音声を発した時間を時間ｔ０で表し、選別部４４が、時間ｔ０を挟み、この期間として、期間ｔａを決定したことを示している。
また、図６（ｂ）は、選別部４４が、画像を選別する期間の第２の例を示した図である。
ここでは、選別部４４は、期間として、判別された言葉を発したときの画像が撮影された時間を基準として予め定められた時間範囲の画像を選別する。つまり、選別部４４は、上記音声を発した時間を時間ｔ０とすると、この時間ｔ０を挟み、この期間として、期間ｔｂを決定したことを示している。期間ｔｂは、時間ｔ０より以前の期間ｔ１と、以後の期間ｔ２とからなる。この期間ｔ１、ｔ２は、予め定められている。なお、期間ｔ１、ｔ２は、管理サーバ４０側で決めてもよく、携帯端末２０ａを所有するユーザが入力し、管理サーバ４０に送信することで決めてもよい。
なお、図６（ａ）〜（ｂ）の場合は、選別部４４は、時間ｔ０を挟み期間の決定を行ったが、時間ｔ０を挟まず、時間ｔ０が起点または終点となる期間を設定してもよい。
【００４０】
また、抽出した画像および音声は、他の期間において抽出した画像および音声と結合し、１つのアルバムとする。これは、選別部４４により行うことができる。この場合、選別部４４は、選別した画像および選別した画像に対応する音声を、例えば、時系列順に並べ、アルバム化する。これにより関連性がより高い画像および音声を１つにまとめることができる。ただし、別のアルバムとすることを妨げるものではない。例えば、送信情報が取得された日付が異なる場合は、関連性がより低いと考えられるため、別のアルバムとするようにしてもよい。
【００４１】
再び図４に戻り、次に、送受信部４１は、ユーザからアルバムの閲覧の要求があったか否かを判断する（ステップ１１０）。このユーザは、図２に示した場合では、携帯端末２０ｂを所有するユーザＢである。この場合、ユーザＢは、例えば、携帯端末２０ｂにて専用アプリを起動する。そして、専用アプリにて、携帯端末２０ｂの表示部２２を見ながら、入力部２３を使用して、アルバムの閲覧の要求を行う。
その結果、アルバムの閲覧の要求がなかった場合（ステップ１１０でＮｏ）、ステップ１０３に戻る。
対して、アルバムの閲覧の要求があった場合（ステップ１１０でＹｅｓ）、送受信部４１は、記憶部４２から対応するアルバムの情報を読み出し、携帯端末２０ｂに送信する（ステップ１１１）。
【００４２】
アルバムの情報は、携帯端末２０ｂの送受信部２１が受け取り、アルバムの内容が、表示部２２に表示される（ステップ１１２）。これにより、ユーザＢは、アルバムを閲覧することができる。
【００４３】
［第２の実施形態］
次に、記録システム１の第２の実施形態について説明する。第２の実施形態では、ユーザが、言葉として複数の言葉を管理サーバ４０に登録し、管理サーバ４０は、複数の言葉に基づきアルバムを作成する。
【００４４】
第２の実施形態における記録システム１の機能構成例は、図３に示した第１の実施形態と同様である。よって、図３に示した機能構成例を使用して、第２の実施形態における記録システム１の動作について説明を行う。
図７は、第２の実施形態における記録システム１の動作について説明したフローチャートである。
ステップ２０１〜ステップ２０５は、図４に示したステップ１０１〜ステップ１０５と同様である。ただし、第２の実施形態では、ユーザは、図５に例示した画面から複数回言葉の登録を行う。
【００４５】
図８（ａ）〜（ｂ）は、図７のステップ２０５において、記憶部４２で保存するデータのデータ構造について示した図である。
図８（ａ）に図示するように、本データ構造は、「言葉」、「アルバム名」、「グループ」の各データを含む。このうち、「言葉」および「アルバム名」は、図５の例において、ユーザが入力したキーワードおよびアルバム名である。そして、本実施の形態では、ユーザは、複数の言葉を登録するため、言葉およびアルバム名は、複数個となっている。ここでは、「言葉」として、「おめでとう」、「誕生日」、「●●ちゃん」、「あけまして」、および「新年」が、登録され、それぞれの言葉について、「誕生会」および「新年会」それぞれのアルバム名が対応する場合を示している。なお、「●●ちゃん」は、例えば、子供の名前である。
【００４６】
また、「グループ」は、アルバム名に対し、設定される。図８（ａ）の例では、それぞれのアルバム名毎に、グループが１つずつ設定される。ここでは、「誕生会」のアルバム名にグループとして、「１」が設定されている。また、「新年会」のアルバム名にグループとして、「２」が設定されている。グループは、複数の言葉をグループ化したときに付けられる名称であり、このグループが同じであれば、言葉が異なっても同じグループとなる。その結果、言葉が異なっても同じアルバムとなる。図８（ａ）の例では、アルバムは、グループが１の場合と、グループが２の場合とで、２種類作成される。
【００４７】
図８（ａ）の例では、それぞれのアルバム名毎に、グループが１つずつ設定されたがこれに限られるものではない。図８（ｂ）の例では、「誕生会」のアルバム名にグループとして、「１」または「２」が設定されている。また、「新年会」のアルバム名にグループとして、「３」が設定されている。この場合、言葉として、「おめでとう」および「誕生日」に対応するグループは、「１」であり、これらの言葉を基に作成されるアルバムは、同じとなる。ただし、言葉として、「●●ちゃん」に対応するグループは、「２」であり、この言葉を基に作成されるアルバムは、別となる。そして、言葉として、「あけまして」および「新年」に対応するグループは、「３」であり、この言葉を基に作成されるアルバムは、さらに別となる。図８（ｂ）の例では、アルバムは、グループが１、２、３のそれぞれの場合について、アルバムが３種類作成される。
グループについては、図５に示したような入力画面において、キーワードおよびアルバム名とともに、ユーザに入力させることで設定することができる。
【００４８】
図７に戻り、判別部４３は、予め定められた言葉として複数種の言葉を判別する。つまり、登録した複数種の言葉のうち何れかの言葉に対応する音声が含まれているか否かを判別する（ステップ２０６）。
その結果、何れの言葉も含まれていない場合（ステップ２０６でＮｏ）、ステップ２０３に戻る。
対して、複数種の言葉のいずれかが含まれている場合（ステップ２０６でＹｅｓ）、選別部４４は、言葉に対応する音声とともに、画像の抽出を行う（ステップ２０７）。
さらに、選別部４４は、記憶部４２を参照し、含まれる言葉に対応するグループを取得する（ステップ２０８）。
そして、グループ毎にアルバム化を行い、記憶部４２に出力する（ステップ２０９）。即ち、第２の実施形態では、選別部４４は、複数種の言葉に対し設定されたグループ毎に画像を選別および出力する。
以後のステップ２１０〜ステップ２１３は、図４のステップ１０９〜ステップ１１２と同じである。
【００４９】
［第３の実施形態］
次に、記録システム１の第３の実施形態について説明する。第３の実施形態では、ユーザではなく、管理サーバ４０が言葉を選択し、この言葉に基づきアルバムを作成する。
【００５０】
図９は、第３の実施形態における記録システム１の機能構成例を示したブロック図である。
図示する記録システム１の機能構成例は、図３に示した記録システム１の機能構成例と比較して、管理サーバ４０に選択部４５が加わる点で異なり、他は同様である。よって、以下、第１の実施形態と異なる点を中心に説明を行う。
【００５１】
選択部４５は、選択手段の一例であり、予め定められた言葉を、撮影する対象の状態に応じて選択する。撮影する対象の状態とは、カメラ１０で撮影する対象となる撮影シーンとして、どのような状態であるかを意味する。例えば、撮影シーンとしては、誕生会、新年会、クリスマス会、結婚式等のパーティや、会議、集会等のイベントなどが挙げられる。そして、管理サーバ４０の記憶部４２に、この撮影シーンに対応する言葉を予め登録しておき、選択部４５は、撮影シーンに応じ、記憶部４２に記憶されている言葉を読み出し、判別部４３で判別を行う言葉とする。
【００５２】
次に、第３の実施形態における記録システム１の動作について説明を行う。
図１０は、第３の実施形態における記録システム１の動作について説明したフローチャートである。
まず、携帯端末２０ａを所有するユーザが、アルバムを作成するための撮影シーンの入力を行う（ステップ３０１）。この場合、ユーザは、例えば、専用アプリを使用することで撮影シーンの入力を行う。
入力された撮影シーンの情報は、送信情報として、携帯端末２０ａの送受信部２１から、管理サーバ４０に送信される。そして、管理サーバ４０の送受信部４１が、送信情報を受信し、選択部４５が、撮影シーンに対応する言葉を選択する（ステップ３０２）。さらに、記憶部４２は、選択された言葉の情報を記憶する（ステップ３０３）。
【００５３】
図１１は、携帯端末２０ａにおいて、撮影シーンの登録を行う画面の例を示した図である。
この場合、表示部２２の上側には、「電子アルバムを作成するときの撮影シーンを選択してください。」のメッセージ２２１が表示されている。これは、ユーザに、撮影シーンの入力を求めるメッセージである。
【００５４】
そして、このメッセージ２２１の下側に、撮影シーン入力欄２２６が表示され、さらにその下側にアルバム名入力欄２２３が表示される。撮影シーン入力欄２２６は、例えば、プルダウンメニューになっており、表示される種々の撮影シーンの中から、選択できるようになっている。この場合、撮影シーン入力欄２２６では、「パーティ」が選択されたことを示している。さらに、アルバム名入力欄２２３は、作成されるアルバムの名称を入力する欄である。この場合、アルバム名入力欄２２３には、「誕生会」が入力されている。
そして、この画面から表示部２２の最下段に表示されるＯＫボタン２２４を押下すると、入力した内容が、管理サーバ４０に送信される。また、キャンセルボタン２２５を押下すると、例えば、この画面より前に表示されていた画面に戻る。
【００５５】
図１０に戻り、ステップ３０４〜ステップ３１３は、図４に示したステップ１０３〜ステップ１１２と同様である。
【００５６】
図１２は、図１０のステップ３０６において、記憶部４２で保存するデータのデータ構造について示した図である。
図１２に図示するように、本データ構造は、「撮影シーン」、「アルバム名」、「言葉」、「グループ」の各データを含む。このうち、「撮影シーン」および「アルバム名」は、図１１において、ユーザが入力した撮影シーンおよびアルバム名である。そして、本実施の形態では、撮影シーンに応じて選択部４５が選択した言葉が登録される。ここでは、撮影シーンが、「パーティ」の場合、「言葉」として、「おめでとう」、「誕生日」、「結婚」が、登録されたことを示している。また、撮影シーンが、「新年会」の場合、「言葉」として、「あけまして」、「新年」が、登録されたことを示している。
【００５７】
また、「グループ」は、第２の実施形態の場合と同様である。この例では、それぞれのアルバム名毎に、グループが１つずつ設定される。ここでは、「誕生会」のアルバム名にグループとして、「１」が設定されている。また、「新年会」のアルバム名にグループとして、「２」が設定されている。
【００５８】
なお、上述した例では、選択部４５は、ユーザが選んだ撮影シーンに応じて言葉を選択する処理を行ったが、選択部４５は、自装置の周辺の状況を認識し、認識した状況に応じて言葉を選択する処理を行ってもよい。つまり、カメラ１０にて撮影した画像や取得した音声から、撮影する対象の状態を推測し、パーティが行われている、会議が行われているなどの状況を認識する。そして、この状況に応じた言葉を選択し、この言葉を基にしてアルバムを作成する。
【００５９】
［第４の実施形態］
次に、記録システム１の第４の実施形態について説明する。第４の実施形態では、カメラ１０および管理サーバ４０の双方の機能を、住居等に置かれたロボットを使用することで行う。
【００６０】
図１３は、第３の実施形態で使用するロボット１００について示した図である。また、図１４は、ロボット１００を用いた場合の記録システム１の機能構成例を示したブロック図である。
図１３に示したロボット１００は、歩行等を行うことで移動する機能を有する移動式としてもよいが、移動しない非移動式としてもよい。
ロボット１００は、図３に示したカメラ１０と同様の機能を有する。つまり、撮影部１１に対応する撮影部１１０と、音取得部１２に対応するマイクロフォン１２０とを備える。なお、送信部１３は、送受信部４１と統合している。
さらに、ロボット１００は、送受信部４１に対応する通信アンテナ１３０と、記憶部４２、判別部４３および選別部４４に対応する制御部１４０とを有する。
このロボット１００により、第１の実施形態と同様のことを行うことができる。
【００６１】
図１５は、第４の実施形態における記録システム１の動作について説明したフローチャートである。
ステップ４０１〜ステップ４０３は、図４のステップ１０１〜ステップ１０３と同様である。
以後、第４の実施形態では、画像や音の情報を管理サーバ４０に送信する必要がないため、ステップ４０３において取得した画像および音を記憶部４２に記憶する（ステップ４０４）。
そして、ステップ４０５〜ステップ４１１は、図４のステップ１０６〜ステップ１１２と同様である。
【００６２】
以上詳述した形態によれば、カメラ１０により取得した音の中から予め登録された言葉を判別し、この言葉が存在するときの画像および音声を抽出して、アルバムを作成する。よって、カメラ１０が取得した画像および音声を基にしてアルバムを作成することが、いわば自動的にできる。よって、ユーザが多くの時間と労力を必要とせずに、ユーザに対する負担を軽減して、カメラ１０が撮影した画像や取得した音声のアルバム化を図ることができる。
【００６３】
また、以上詳述した第１の実施形態〜第３の実施形態では、記録システム１は、カメラ１０と、携帯端末２０ａ、２０ｂと、管理サーバ４０とが、ネットワーク７０、ネットワーク８０、アクセスポイント９０を介して接続されることにより構成されていたが、管理サーバ４０だけでも記録システムであるとして扱うことができる。
また、第４の実施形態では、記録システム１は、ロボット１００と、携帯端末２０ａ、２０ｂとが、ネットワーク７０、ネットワーク８０、アクセスポイント９０を介して接続されることにより構成されていたが、ロボット１００だけでも記録システムであるとして扱うことができる。
【００６４】
また、以上詳述した例において、カメラ１０を複数台用いる場合は、何れのカメラ１０の画像や音声を選択するかを決定するようにしてもよい。選択を行う方法としては、例えば、音声を発した人物の顔が撮影されている画像を選択する、音声が最も大きく取得されている画像を選択する、などが考えられる。
さらに、以上詳述した例では、アルバム化を図る画像は、動画である場合について説明したが、静止画であってもよい。なお、静止画の場合、アルバムの中に音声は入れなくてもよい。
【００６５】
＜プログラムの説明＞
ここで、以上説明を行った本実施の形態における管理サーバ４０やロボット１００が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。そして、この処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、管理サーバ４０やロボット１００に設けられたコンピュータ内部の図示しないＣＰＵが、上述した各機能を実現するプログラムを実行し、これらの各機能を実現させる。
【００６６】
よって、本実施の形態で、管理サーバ４０やロボット１００が行う処理は、コンピュータに、人物が撮影されている画像と、画像に関連した音声と、を取得し、記憶する記憶機能と、記憶機能に記憶された音声から、予め定められた言葉を判別する判別機能と、予め定められた言葉に対応する画像を選別し、選別した画像を出力する出力機能と、を実現させるためのプログラムとして捉えることもできる。
【００６７】
なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろんＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。
【００６８】
以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
【符号の説明】
【００６９】
１…記録システム、１０…カメラ、２０、２０ａ、２０ｂ…携帯端末、４０…管理サーバ、４１…送受信部、４２…記憶部、４３…判別部、４４…選別部、４５…選択部
【図１】
2020166602.tif 000003
【図２】
2020166602.tif 000004
【図３】
2020166602.tif 000005
【図４】
2020166602.tif 000006
【図５】
2020166602.tif 000007
【図６】
2020166602.tif 000008
【図７】
2020166602.tif 000009
【図８】
2020166602.tif 000010
【図９】
2020166602.tif 000011
【図１０】
2020166602.tif 000012
【図１１】
2020166602.tif 000013
【図１２】
2020166602.tif 000014
【図１３】
2020166602.tif 000015
【図１４】
2020166602.tif 000016
【図１５】
2020166602.tif 000017