(57)【要約】【課題】多種場面の条件を提示することにより、その日の出来事を表し、装着者にとって好ましい代表画像の選出を可能とする撮像装置を提供すること。【解決手段】撮影された画像に対し顔を検出する顔データ検出部１０６と、入力された音声パターンからキーワードを検出するキーワード検出部１０７と、顔データとキーワードが登録されているデータベース１１０と、顔データをデータベースに登録したりデータベースから顔データを読み出したりする顔データ管理部１０８と、キーワードをデータベースに登録したりデータベースからキーワードを読み出したりするキーワード管理部１０９と、検出された顔データとデータベースに登録されている顔データが一致するかどうか認証する顔データ認証部１１１と、検出されたキーワードとデータベースに登録されているキーワードが一致するかどうか認証するキーワード認証部１１２を有し、装着者の特徴的な行動を判断し選出した場面を代表画像として決定することを特徴とする。【選択図】図１
2016122949.tif 000002
【特許請求の範囲】
【請求項１】
撮影された画像に対し顔を検出する顔データ検出部と、
入力された音声パターンからキーワードを検出するキーワード検出部と、
顔データとキーワードが登録されているデータベースと、
検出された顔データとデータベースに登録されている顔データが一致するかどうか認証する顔データ認証部と、
検出されたキーワードとデータベースに登録されているキーワードが一致するかどうか認証するキーワード認証部を有し、
前記顔データ認証部と前記キーワード認証部の認証結果より特徴的な行動を判断し、選出した場面を代表画像とすることを特徴とする撮像装置。
【請求項２】
さらに他の撮像装置から撮影データを受け取る撮影データ送受信部を有し、
前記顔データ認証部または前記キーワード認証部の認証結果より特徴的な行動を判断した際に他の撮像装置から撮影データを受け取り、
その撮影データを代表画像とすることを特徴とする請求項１に記載の撮影装置。
【請求項３】
さらにＧＰＳから位置情報を受け取り位置を判断する位置判断部を有し、
前記顔データ認証部または前記キーワード認証部と位置判断部により特徴的な行動を判断し、選出した場面を代表画像とすることを特徴とする請求項１に記載の撮像装置。
【請求項４】
さらに代表画像候補を登録する代表画像データベースと、
代表画像を決定する代表画像管理部を有し、
代表画像データベースの代表画像候補から代表画像を決定する機能を有することを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ウエアラブルカメラのような長時間身につけて撮り続けるカメラにおいて、多くの撮影画像データの中から代表画像を選出する手段を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、カメラやビデオカメラなどの撮像装置に関し、身につけて撮影することのできるウエアラブルカメラが開発されている。
【０００３】
ウエアラブルカメラのような長時間身につけて撮り続けるカメラにおいては、撮影画像データが膨大なサイズとなり、その撮影画像の中から、所望の撮影画像データを探し出すことが難しい。
【０００４】
長時間記録された動画データから人の行動を分析する作業負担を軽減するため、動画データから特定の挙動を示す人が録画された位置を容易に検索しその位置から素早い再生を可能とする技術が知られている（特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−７５８０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながらこの先行技術は、監視カメラのような定点撮影における計測領域内での人物の特定行動を判断するものであり、ウエアラブルカメラのような身につけて撮影するカメラにおいて、代表画像を選出するためには行動を判断する条件が不十分である。そのため、その日の出来事を表す代表画像を選出する効率的な手法がないという課題がある。
【０００７】
本発明は、上述した課題を解決するものであり、特徴的な行動を判断するための条件として、新たに多種場面の条件を提示することにより、その日の出来事を表し、装着者にとって好ましい代表画像の選出を可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明の撮像装置は、撮影された画像に対し顔を検出する顔データ検出部と、入力された音声パターンからキーワードを検出するキーワード検出部と、顔データとキーワードが登録されているデータベースと、顔データをデータベースに登録したりデータベースから顔データを読み出したりする顔データ管理部と、キーワードをデータベースに登録したりデータベースからキーワードを読み出したりするキーワード管理部と、検出された顔データとデータベースに登録されている顔データが一致するかどうか認証する顔データ認証部と、検出されたキーワードとデータベースに登録されているキーワードが一致するかどうか認証するキーワード認証部を有し、装着者の特徴的な行動を判断し選出した場面を代表画像として決定することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、多種場面の条件を提示し装着者の特徴的な行動を判断することにより、その日の出来事を表し、装着者にとって好ましい代表画像を選出することが可能となる撮像装置の提供を実現できる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置１００のハードウエアブロック図
【図２】本発明の実施形態に係る顔データを登録するフローチャート
【図３】本発明の実施形態に係るキーワードを登録するフローチャート
【図４】特定の人物と会った場面を代表画像として選出するフローチャート
【図５】食事の場面を代表画像として選出するフローチャート
【図６】不特定の第三者に会い言葉を交わした場面を代表画像として選出するフローチャート
【図７】装着者の一番状態の良い顔を代表画像として選出するフローチャート
【図８】ステップＳ７０６により外出前か帰宅後か判断する際のフローチャート
【図９】代表画像選出場面の選出順位を設定することにより代表画像を決定するフローチャート
【図１０】過去の代表画像選出場面履歴から、代表画像を決定するフローチャート
【発明を実施するための形態】
【００１１】
以下に本発明を実施するための形態について詳細に説明する。以下に説明する実施形態は、本発明を実施するための一例であり、本発明は以下の実施形態に限定されるものではない。
【００１２】
［実施例１］
実施例１は、特定の人物と会った場面を代表画像とすることを特徴とする。図１は第一の実施形態に係る撮像装置１００の構成を示すハードウエアブロック図である。１０１は、被写体を撮影するためのレンズユニットである。１０２は、レンズユニットからの光を電気信号に変換する機能を有する、例えばＣＣＤ（Ｃｈａｎｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサのような撮像素子である。
【００１３】
１０３は、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｂｄａｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）
であり、撮影データを一時保持することが可能なメモリである。１０４は、ＤＲＡＭ１０３へ保持された撮影データに対し、現像処理などの各種画像処理を行う機能を有する画像処理エンジンである。１０５は、音声を録音するためのマイクである。１０６は、画像処理エンジン１０４によって生成された撮影データから顔データを検出する顔データ検出部である。１０７は、マイクより入力された音声パターンからキーワードを検出するキーワード検出部である。
【００１４】
１０８は、顔データ検出部１０６によって検出された顔データをデータベース１１０に登録したり、データベース１１０から顔データを読み出したりする顔データ管理部である。１０９は、キーワード検出部１０７によって検出されたキーワードをデータベース１１０に登録したり、データベース１１０からキーワードを読み出したりするキーワード管理部である。１１０は、データベースであり、顔データ管理部１０８とキーワード管理部１０９により管理されている。
【００１５】
１１１は、顔データ検出部１０６により検出された顔データと顔データ管理部１０８によりデータベース１１０から読み出された顔データが一致するかどうか認証する顔データ認証部である。１１２は、キーワード検出部１０７により検出されたキーワードとキーワード管理部１０９によりデータベース１１０から読み出されたキーワードが一致するかどうか認証するキーワード認証部である。１１３は、撮影データを他の撮像装置へ送信したり、撮影データを他の撮影装置から受信したりする撮影データ送受信部である。
【００１６】
１１４は、撮影データを代表画像として代表画像データベース１１５へ登録したり、代表画像データベース１１５から代表画像を読み出したりする代表画像管理部である。１１５は、代表画像データベースであり、代表画像管理部１１４により管理されている。１１６は、位置情報を検出するＧＰＳである。１１７は、ＧＰＳ１１６から位置情報を受け取り、位置を判断する位置判断部である。１１８は、撮影時刻を管理する時刻管理部である。１１９は、撮像装置全体の制御を担うＣＰＵである。１２０は、ＣＰＵ１１９で動作させるためのプログラムが格納されているフラッシュメモリである。
【００１７】
１２１は、ユーザにより撮像装置の動作を指示するための操作ボタン部である。１２２は、制御バスであり、ＣＰＵ１１９が各ブロックを制御する機能を有する。１２３は、メモリカード制御部であり、ＤＲＡＭ１０３に保持されている撮影データを読み込みメモリカードなどの記録媒体へ記録したり、記録媒体からの撮像データなどを読み出したりする機能を有する。２００は、撮像装置から取り外し可能な、メモリカードなどの記録媒体である。
【００１８】
本実施例のカメラ撮影時のフローについて説明する。レンズユニット１０１から取り込まれた撮影画像は、撮像素子１０２と画像処理エンジン１０４により撮影データに変換され、ＤＲＡＭ１０３へ一時保持される。その撮影データから顔データ検出部１０６により顔データが検出される。顔データ認証部１１１が、その顔データと顔データ管理部１０８によりデータベース１１０から読み出された顔データを使って認証を行う。
【００１９】
一方、マイク１０５より入力された音声パターンからキーワード検出部１０７によりキーワードが検出される。キーワード認証部１１２が、そのキーワードとキーワード管理部１０９によりデータベース１１０から読み出されたキーワードを使って認証を行う。
【００２０】
上記２種類の認証機能と、ＧＰＳ１１６から受け取った情報により位置判断部１１７が判断した位置情報と、時刻管理部１１８が判断した時刻を使い、代表画像管理部１１４が代表画像とする場面を決定する。その後代表画像管理部１１４は、ＤＲＡＭ１０３または撮影データ送受信部１１３から代表画像を受け取り代表画像データベース１１５に登録する。認証機能に関する説明および、代表画像の登録に関する説明は後述する。ユーザにより操作ボタン部１１２により撮影要求が出されると、メモリカード制御部１２３により記録媒体２００へ記録される。
【００２１】
上記動作は、フラッシュメモリ１２０に格納されているプログラムによりＣＰＵ１１９が制御する。
【００２２】
図２は本発明の実施形態に係る顔データを登録するフローチャート、図３は本発明の実施形態に係るキーワードを登録するフローチャートを示す。撮像装置のレンズ１０１を登録したい対象者に向けて撮影し、顔データ検出部１０６が顔データを検出する（ステップＳ２０１）。顔データ管理部１０８は、Ｓ２０１で検出した顔データを受け取りデータベース１１０に登録する（ステップＳ２０２）。
【００２３】
撮像装置のマイク１０５に向かい登録したキーワードを発し、キーワード検出部１０７が音声パターンからキーワードを検出する（ステップＳ３０１）。このときキーワード検出部１０７は、ボタン操作部１２１のキー入力機能を使い入力されたキーワードを検出してもよい。キーワード管理部１０９は、シーケンスＳ３０１で検出したキーワードを受け取りデータベース１１０に登録する（シーケンスＳ３０２）。
【００２４】
図４は実施例１の撮像装置を装着し撮影する際、特定の人物と会った場面を代表画像として選出するフローチャートを示す。顔データ検出部１０６により顔データ検出処理を行う（ステップＳ４０１）。顔データ管理部１０８はデータベース１１０から顔データを読み出し（ステップＳ４０２）、顔データ認証部１１１に顔データを送り、顔データ認証部１１１が顔データを使って認証を行う（ステップＳ４０３）。顔データ認証に成功すれば登録されている特定の人物と会った場面と判断し、その場面の撮影データをＤＲＡＭ１０３から代表画像管理部１１４が受け取り、代表画像管理部１１４が代表画像データベース１１５に代表画像として登録する（ステップＳ４０４）。このとき、特定の人物の撮像装置で撮影された撮影データを撮影データ送受信部１１３が受け取り、代表画像管理部１１４が代表画像データベース１１５に登録してもよい。
【００２５】
ステップＳ４０３の顔データ認証に失敗した場合、キーワード検出部１０７によりキーワード検出処理を行う（ステップＳ４０５）。キーワード管理部１０９はデータベース１１０からキーワードを読み出し（ステップＳ４０６）、キーワード認証部１１２にキーワードを送り、キーワード認証部１１２がキーワードを使って認証を行う（ステップＳ４０７）。キーワードとして名前など人物を特定するキーワードを登録しておくことによりキーワード認証に成功すれば、登録されている特定の人物と会った場面と判断し、前記顔データ認証成功時と同様に、撮影データを代表画像として代表画像管理部１１４が代表画像データベース１１５に登録する（ステップＳ４０４）。キーワード認証に失敗した場合は、代表画像とする場面ではないと判断し終了する。
【００２６】
［実施例２］
実施例２は、食事の場面を代表画像とすることを特徴とする。撮像装置構成は第一の実施形態に示した図１ハードウエアブロック図と、キーワードを登録するフローチャートは図３と同様であるため、ここではその説明を省略する。
【００２７】
図５は食事の場面を代表画像として選出するフローチャートを示す。キーワード検出部１０７によりキーワード検出処理を行う（ステップＳ５０１）。キーワード管理部１０９はデータベース１１０からキーワードを読み出し（ステップＳ５０２）、キーワード認証部１１２にキーワードを送り、キーワード認証部１１２がキーワードを使って認証を行う（ステップＳ５０３）。キーワードとして、おいしいなどのキーワードを登録しておくことによりキーワード認証に成功すれば、食事の場面であると判断し、その場面の撮影データを代表画像管理部１１４が受け取り、代表画像管理部１１４が代表画像データベース１１５に代表画像として登録する（ステップＳ５０４）。
【００２８】
このとき、ＧＰＳ１１６により位置判断部１１７が位置情報を取得し外出先であると判断した場合に、その場面の撮影データを代表画像管理部１１４が受け取り、代表画像管理部１１４が代表画像データベース１１５に代表画像として登録してもよい。キーワード認証に失敗した場合は、代表画像とする場面ではないと判断し終了する。
【００２９】
［実施例３］
実施例３は、不特定の第三者に会い言葉を交わした場面を代表画像とすることを特徴とする。撮像装置構成は第一の実施形態に示した図１ハードウエアブロック図と、キーワードを登録するフローチャートは図３と同様であるため、ここではその説明を省略する。
【００３０】
図６は不特定の第三者に会い言葉を交わした場面を代表画像として選出するフローチャートを示す。キーワード検出部１０７によりキーワード検出処理を行う（ステップＳ６０１）。キーワード管理部１０９はデータベース１１０からキーワードを読み出し（ステップＳ６０２）、キーワード認証部１１２にキーワードを送り、キーワード認証部１１２がキーワードを使って認証を行う（ステップＳ６０３）。キーワードとして、おはよう、こんにちはなどのキーワードを登録しておくことによりキーワード認証に成功すれば、不特定の第三者と会い言葉を交わしている場面であると判断する。その時不特定の第三者の撮像装置で撮影したその場面の撮影データを撮影データ送受信部１１３が受け取り（ステップＳ６０４）、その撮影データを代表画像管理部１１４に送り、代表画像管理部１１４が代表画像データベース１１５に代表画像として登録する（ステップＳ６０５）。キーワード認証に失敗した場合は、代表画像とする場面ではないと判断し終了する。
【００３１】
［実施例４］
実施例４は、何も特別な出来事がない日に装着者の一番状態の良い顔を代表画像とすることを特徴とする。撮像装置構成は第一の実施形態に示した図１ハードウエアブロック図と、顔データを登録するフローチャートは図２と同様であるため、ここではその説明を省略する。
【００３２】
図７は何も特別な出来事がない日に装着者の一番状態の良い顔を代表画像として選出するフローチャートを示す。なお実施例４では、髪型や化粧など身支度を整えた外出前を装着者の一番状態の良い顔だと判断するが、この例に限らない。
【００３３】
顔データ検出部１０６により顔データ検出処理を行う（ステップＳ７０１）。顔データ管理部１０８はデータベース１１０から顔データを読み出し（ステップＳ７０２）、顔データ認証部１１１に顔データを送り、顔データ認証部１１１が顔データを使って認証を行う（ステップＳ７０３）。顔データ認証に失敗した場合は、代表画像とする場面ではないと判断し終了する。
【００３４】
顔データ認証に成功した場合、位置判断部１１７がＧＰＳ１１６から位置情報を受け取り（ステップＳ７０４）、自宅にいるかどうかと判断する（ステップＳ７０５）。自宅にいないと判断した場合は、代表画像とする場面ではないと判断し終了する。
【００３５】
自宅にいると判断した場合、外出前か帰宅後か判断する（ステップＳ７０６）。外出前であると判断した場合、その場面の撮影データを代表画像管理部１１４が受け取り、代表画像管理部１１４が代表画像データベース１１５に代表画像として登録する（ステップＳ７０７）。帰宅後と判断した場合は、代表画像とする場面ではないと判断し終了する。
【００３６】
図８はステップＳ７０６により外出前か帰宅後か判断する際のフローチャートを示す。位置判断部１１７は、ＧＰＳ１１６から位置情報の履歴を受け取り（ステップＳ８０１）、位置情報の履歴から外出前か帰宅後かを判断する（ステップＳ８０２）。現在の位置情報が自宅でありかつ位置情報の履歴も自宅であれば、外出前であると判断する（ステップＳ８０３）。一方、現在の位置情報が自宅でありかつ位置情報の履歴が自宅以外であれば、帰宅時であると判断する（ステップＳ８０４）。また時刻管理部１１８に外出、帰宅時刻を事前に登録しておき、ステップＳ７０６において時刻管理部１１８が現在の時刻から外出前か帰宅後か判断してもよい。
【００３７】
［実施例５］
前記実施例１から実施例４を一例とする実施形態において代表画像を選出した際、代表画像が複数選出されることもあり得る。複数の代表画像（以下、代表画像候補と呼ぶ）から代表画像を決定する手段について述べる。なお、代表画像を選出する実施形態は前記実施例１から実施例４に限定されるものではない。実施例５の撮像装置構成図は、図１のハードウエアブロック図と同様である。ただし、代表画像管理部１１４に代表画像候補から代表画像を決定する機能を追加する。
【００３８】
１つめの手段として、図９に装着者が代表画像としたい場面（以下、代表画像選出場面と呼ぶ）の選出順位を設定することにより代表画像を決定するフローチャートを示す。装着者は操作ボタン部１２１により、代表画像選出場面の選出順位を代表画像管理部１１４に設定する（ステップＳ９０１）。前記実施例１から実施例４を一例とする手段により代表画像候補を選出する（ステップＳ９０２）。ステップＳ９０１により設定した場面の選出順位を確認し（ステップＳ９０３）、ステップＳ９０２により選出した代表画像候補の選出場面順位より高い代表画像が既に登録されているかどうか確認する（ステップＳ９０４）。既に登録されている場合は、代表画像を変更しない（ステップＳ９０５）。
【００３９】
登録されていない場合は、ステップＳ９０２により選出した代表画像候補を代表画像として登録する（ステップＳ９０６）。代表画像候補を選出するたびに図９に示すフローチャートをステップＳ９０２から実行することにより、代表画像を決定する。
【００４０】
２つめの手段として、装着者が操作ボタン部１２１により、代表画像データベース１１５内の代表画像候補の中から代表画像決定してもよい。
【００４１】
３つ目の手段として、図１０に代表画像選出場面の選出順位を過去の代表画像選出場面の決定履歴から判断することにより、代表画像を決定するフローチャートを示す。
【００４２】
前記２つの手段を一例とする手段において代表画像を決定した際、その代表画像選出場面を代表画像選出場面履歴として代表画像管理部１１４が記録し、次回以降の代表画像選出場面の選出順位を決定する（ステップＳ１００１）。前記実施例１から実施例４を一例とする手段により代表画像候補を選出する（ステップＳ１００２）。ステップＳ１００１により設定した場面の選出順位を確認し（ステップＳ１００３）、ステップＳ１００２により選出した代表画像候補の選出場面順位より高い代表画像が既に登録されているかどうか確認する（ステップＳ１００４）。
【００４３】
既に登録されている場合は、代表画像を変更しない（ステップＳ１００５）。登録されていない場合は、ステップＳ１００２により選出した代表画像候補を代表画像として登録する（ステップＳ１００６）。代表画像候補を選出するたびに図１０に示すフローチャートをステップＳ１００２から実行することにより、代表画像を決定する。なお、前記３つの手段を備える撮像装置において、装着者が操作ボタン部１２１により代表画像決定手段を選択してもよい。
【符号の説明】
【００４４】
１００  撮像装置、１０１  レンズユニット、１０２  撮像素子、１０３  ＤＲＡＭ、
１０４  画像処理エンジン、１０５  マイク、１０６  顔データ検出部、
１０７  キーワード検出部、１０８  顔データ管理部、１０９  キーワード管理部、
１１０  データベース、１１１  顔データ認証部、１１２  キーワード認証部、
１１３  撮影データ送受信部、１１４  代表画像管理部、
１１５  代表画像データベース、１１６  ＧＰＳ、１１７  位置判断部、
１１８  時刻管理部、１１９  ＣＰＵ、１２０  フラッシュメモリ、
１２１  操作ボタン部、１２２  制御バス、１２３  メモリカード制御部、
２００  記録媒体
【図１】
2016122949.tif 000003
【図２】
2016122949.tif 000004
【図３】
2016122949.tif 000005
【図４】
2016122949.tif 000006
【図５】
2016122949.tif 000007
【図６】
2016122949.tif 000008
【図７】
2016122949.tif 000009
【図８】
2016122949.tif 000010
【図９】
2016122949.tif 000011
【図１０】
2016122949.tif 000012