(57)【要約】  メディアを記録するための第１のセンサ（２）と、携帯電子機器のユーザの身体的状態を表すデータをキャプチャするための少なくとも１つの第２のセンサ（１８、１９、３０）と、を含み、少なくとも１つの第２のセンサ（１８、１９、３０）は、第１のセンサ（２）がメディアを記録することに応答してデータをキャプチャするように構成される。処理装置（４）は、少なくとも１つの第２のセンサ（１８、１９、３０）とインタフェース接続される。処理装置（４）は、少なくとも１つの第２のセンサ（１８、１９、３０）によってキャプチャされたデータを取得し、当該データに基づいて、記録されたメディアについてのメタデータを生成し、当該メタデータは、身体的状態を示し、メタデータを記録されたメディアと関連付けて格納させるように構成される。【選択図】図３
2015505430.tif 000002
【特許請求の範囲】
【請求項１】
メディア（４１−４４）を記録するための第１のセンサ（２）と、
携帯電子機器（１）のユーザの身体的状態を表すデータ（５１−５４、５５−５８）をキャプチャするための少なくとも１つの第２のセンサ（１８、１９、３０）であって、前記第１のセンサ（２）が前記メディア（４１−４４）を記録することに応答して前記データ（５１−５４、５５−５８）をキャプチャするように構成される前記少なくとも１つの第２のセンサ（１８、１９、３０）と、
前記少なくとも１つの第２のセンサ（１８、１９、３０）とインタフェース接続される処理装置（４）であって、
前記少なくとも１つの第２のセンサ（１８、１９、３０）によってキャプチャされた前記データ（５１−５４、５５−５８）を取得し、
前記データ（５１−５４、５５−５８）に基づいて、前記記録されたメディア（４１−４４）についてのメタデータ（７５）を生成し、前記メタデータ（７５）は、前記身体的状態を示し、
前記記録されたメディア（４１−４４）と関連付けて前記メタデータ（７５）を格納させるように構成される前記処理装置（４）と、
を含む、携帯電子機器（１）。
【請求項２】
前記少なくとも１つの第２のセンサ（１８、１９、３０）は、前記第１のセンサ（２）が前記メディア（４１−４４）を同時に記録する間に、前記データ（５１−５４、５５−５８）をキャプチャするように構成される、請求項１の携帯電子機器。
【請求項３】
前記処理装置（４）は、
前記キャプチャされたデータ（５１−５４、５５−５８）が予め定義された基準を満たすかどうかを照合し、
前記キャプチャされたデータ（５１−５４、５５−５８）が予め定義された基準を満たすかどうかに基づいて、前記メタデータ（７５）を選択的に格納させるように構成される、請求項１又は２の携帯電子機器。
【請求項４】
前記予め定義された基準は、少なくとも１つの閾値比較を含む、請求項３の携帯電子機器。
【請求項５】
前記少なくとも１つの第２のセンサ（１８、１９、３０）は、
第１の身体的状態を表す第１のデータ（５１−５４）、及び前記第１の身体的状態と異なる第２の身体的状態を表す第２のデータ（５５−５８）をキャプチャするように構成され、
前記処理装置（４）は、
前記第１のデータ（５１−５４）について第１の閾値比較を実行し、
前記第２のデータ（５５−５８）について第２の閾値比較を実行し、
前記第１の閾値比較及び前記第２の閾値比較両方の結果に基づいて、前記メタデータ（７５）を選択的に生成するように構成される、
請求項３または４の携帯電子機器。
【請求項６】
前記記録されたメディア（４１−４４）及び前記メディア（４１−４４）と関連付けられる前記メタデータ（７５）を格納するように構成される記憶装置（５）をさらに含み、
前記処理装置（４）は、前記メディア（４１−４４）に各々関連付けられる前記メタデータ（７５）に基づいて、前記記憶装置（５）に格納されたメディア（４１−４４）を処理するように構成される、先のクレームのいずれかの携帯電子機器。
【請求項７】
前記処理装置（４）は、前記メディア（４１−４４）と関連付けられる前記メタデータ（７５）に基づいて、前記記憶装置に格納された前記メディア（４１−４４）内の検索を実行するように構成される、請求項６の携帯電子機器。
【請求項８】
前記処理装置（４）は、前記メディア（４１−４４）と関連付けられる前記メタデータ（７５）に基づいて、前記記憶装置（５）に格納されたメディア（４１−４４）を複数のグループ（７１−７３）に整理するように構成される、請求項６又は７の携帯電子機器。
【請求項９】
前記メディア（４１−４４）と関連付けられる前記メタデータ（７５）は、第１の身体的状態を示す第１のメタデータと、前記第１の身体的状態と異なる第２の身体的状態を示す第２のメタデータと、を含み、
前記処理装置（４）は、前記メディア（４１−４４）と各々関連付けられる前記第１のメタデータ及び前記第２のメタデータの両方に基づいて、前記記憶装置に格納された前記メディア（４１−４４）を処理するように構成される、請求項６〜８のいずれかの携帯電子機器。
【請求項１０】
前記第１のセンサは、イメージセンサ（２）を含む、先のクレームのいずれかの携帯電子機器。
【請求項１１】
前記イメージセンサ（２）は、複数のイメージフレーム（４１−４４）を含むビデオを記録するように構成され、
前記少なくとも１つの第２のセンサ（１８、１９、３０）は、前記複数のイメージフレーム（４１−４４）が記録されている間、前記データ（５１−５４、５５−５８）をキャプチャするように構成される、請求項１０の携帯電子機器。
【請求項１２】
前記処理装置（４）は、前記複数のイメージフレーム（４１−４４）が記録されている間にキャプチャされた前記データ（５１−５４、５５−５８）に基づいて、前記ビデオの前記複数のイメージフレーム（４１−４４）のサブセットについて、選択的に前記メタデータ（７５）を格納させるように構成される、請求項１１の携帯電子機器。
【請求項１３】
前記処理装置（４）を前記少なくとも１つの第２のセンサ（１８、１９、３０）のうちの第２のセンサ（３０）とインタフェース接続する、無線通信回路（８、３８）をさらに含む、先の請求項のいずれかの携帯電子機器。
【請求項１４】
携帯電子機器（１）を使用してメディア（４１−４４）を記録する方法であって、
メディア（４１−４４）を記録することと、
前記携帯電子機器のユーザの身体的状態を表すデータ（５１−５４、５５−５８）をキャプチャすることと、前記データ（５１−５４、５５−５８）は前記メディア（４１−４４）が記録される間にキャプチャされ、
前記キャプチャされたデータ（５１−５４、５５−５８）に基づいて、前記記録されたメディア（４１−４４）についてのメタデータ（７５）を生成することと、前記メタデータ（７５）は、前記身体的状態を示し、
前記記録されたメディア（４１−４４）と関連付けて前記メタデータ（７５）を格納することと、
を含む、方法。
【請求項１５】
請求項１〜１３のいずれかの携帯電子機器（１）を使用して実行される、請求項１４の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、携帯電子機器及び携帯電子機器を使用してメディアを記録する方法に関する。本出願は、特に、そのような携帯電子機器、及び携帯通信装置のために使用され得る方法に関する。
【背景技術】
【０００２】
今日では様々な携帯電子機器が、イメージ、ビデオ又は他のメディアを記録するためのコンポーネントと共に提供されている。そのような電子機器の例として、カメラを含むことができる携帯通信装置が含まれる。説明のため、現代の携帯電話又はパーソナルデジタルアシスタントは、カメラを備えてもよい。データ伝送帯域幅の増加は、携帯通信装置を使用してメディアを記録し、その後別の装置に記録されたメディアを移動させることをますます魅力的にする。
【０００３】
携帯電子機器を使用してメディアを記録することのこれまでの人気の増加とともに、記録されたメディアを整理することは相当な仕事である。膨大な量のイメージやビデオは、携帯電子機器を使用してキャプチャすることができる。その後、記録されたメディアを整理し、編集するのに、かなりの時間がかかることがある。
【０００４】
記録されたメディアを整理するタスクにおいてユーザを支援するための１つのアプローチは、記録されたメディアをパーソナルコンピュータに移動し、記録されたメディアを半自動化された手順で整理することにある。半自動化された手順では、メディアアイテムがユーザに出力される間に、様々なメディアアイテムに対するユーザの応答が評価される。そのようなアプローチは、依然として時間がかかる可能性がある、専用の処理段階を必要とするであろう。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記欠点のいくつかに対処する携帯電子機器及び方法について当該技術分野における継続的な必要性が存在する。特に、複数の記録されたメディアをグループ化し、複数の記録されたメディア内を検索し、又はそうでなければ記録されたメディアを整理する際にユーザを支援するために続いて使用されることができる、記録されたメディアに関連する追加的な情報を生成する、携帯電子機器及び方法について当該技術分野における継続的な必要性が存在する。
【課題を解決するための手段】
【０００６】
実施形態によれば、携帯電子機器が提供される。当該携帯電子機器は、メディアを記録するための第１のセンサを含む。当該携帯電子機器は、当該携帯電子機器のユーザの身体的状態を表すデータをキャプチャするための少なくとも１つの第２のセンサを含み、当該少なくとも１つの第２のセンサは、第１のセンサがメディアを記録することに応答してデータをキャプチャするように構成される。当該携帯電子機器は、少なくとも１つの第２のセンサとインタフェース接続される処理装置を含む。当該処理装置は、少なくとも１つの第２のセンサによってキャプチャされたデータを取得し、当該データに基づいて、記録されたメディアについてのメタデータを生成し、当該メタデータは身体的状態を示し、記録されたメディアと関連付けて当該メタデータを格納させるように構成される。
【０００７】
少なくとも１つの第２のセンサは、第１のセンサがメディアを同時に記録する間に、データをキャプチャするように構成されることができる。
【０００８】
処理装置は、キャプチャされたデータが予め定義された基準を満たすかどうかを照合し、キャプチャされたデータが予め定義された基準を満たすかどうかに基づいて、メタデータを選択的に格納させるように構成されることができる。
【０００９】
当該予め定義された基準は、少なくとも１つの閾値比較を含むことができる。
【００１０】
少なくとも１つの第２のセンサは、第１の身体的状態を表す第１のデータ及び第１の身体的状態と異なる第２の身体的状態を表す第２のデータをキャプチャするように構成されることができる。処理装置は、第１のデータについて第１の閾値比較を実行し、第２のデータについて第２の閾値比較を実行し、第１の閾値比較及び第２の閾値比較の両方の結果に基づいて、メタデータを選択的に生成するように構成されることができる。
【００１１】
当該携帯電子機器は、記録されるメディア及び関連付けられるメタデータを格納するように構成される記憶装置をさらに含むことができる。処理装置は、メディアと各々関連付けられるメタデータに基づいて、記憶装置に格納されたメディアを処理するように構成されることができる。
【００１２】
処理装置は、メディアと関連付けられるメタデータに基づいて、記憶装置に格納されるメディア内の検索を実行するように構成されることができる。
【００１３】
処理装置は、メディアと関連付けられるメタデータに基づいて、記憶装置に格納されるメディアを複数のグループに整理するように構成されることができる。
【００１４】
処理装置は、関連付けられるメタデータに基づいて、記憶装置に格納されるメディアを複数のグループに整理するために基準を評価するように構成されることができる。基準は時間と共に変化することができる。基準は、自動的に調整されうる。処理装置は、基準を調整するために、ユーザ入力によって各々グループ化される複数のメディアアイテムと関連付けられるメタデータを関連付けるように構成されることができる。
【００１５】
メディアと関連付けられるメタデータは、第１の身体的状態を示す第１のメタデータと、第１の身体的状態と異なる第２の身体的状態を示す第２のメタデータと、を含むことができる。処理装置は、メディアと各々関連付けられる第１のメタデータ及び第２のメタデータの両方に基づいて、記憶装置に格納されるメディアを処理するように構成されることができる。
【００１６】
第１のセンサは、イメージセンサを含むことができる。
【００１７】
当該イメージセンサは、複数のイメージフレームを含むビデオを記録するように構成されることができる。少なくとも１つの第２のセンサは、複数のイメージフレームが記録される間、データをキャプチャするように構成されることができる。
【００１８】
処理装置は、複数のイメージフレームが記録される間にキャプチャされたデータに基づいて、複数のイメージフレームのサブセットについて、選択的にメタデータを格納させるように構成されることができる。
【００１９】
当該携帯電子機器は、処理装置と少なくとも１つの第２のセンサのうちの第２のセンサとをインタフェース接続する、無線通信回路を含むことができる。
【００２０】
少なくとも１つの第２のセンサは、ユーザのボディランゲージ、例えばユーザの顔の表情をキャプチャするように構成されるイメージセンサを含むことができる。処理装置は、ユーザのボディランゲージを解析するように構成されることができる。代替的に又は追加的に、少なくとも１つの第２のセンサは、電気皮膚反応を測定するための装置を含むことができる。代替的に又は追加的に、少なくとも１つの第２のセンサは、ユーザの脈拍数を測定するための心拍数モニタを含むことができる。代替的に又は追加的に、少なくとも１つの第２のセンサは、血中酸素飽和度を測定するための装置を含むことができる。酸素飽和度を測定するための装置は、パルスオキシメータであってもよい。代替的に又は追加的に、少なくとも１つの第２のセンサは、ユーザの脳活動を記録するための装置を含むことができる。このような第２のセンサの様々な組み合わせが使用されることができ、ユーザの身体的状態を表すデータをキャプチャするように構成される他の第２のセンサが、追加的に又は代替的に使用されることができる。
【００２１】
複数の第２のセンサが使用されることができる。
【００２２】
処理装置は、１又は複数の第２のセンサから取得される生データを、ユーザの身体的状態を示すメタデータとして格納させることにより、記録されたメディアについてのメタデータを生成するように構成されることができる。代替的に又は追加的に、処理装置は、メタデータを生成するために、１又は複数の第２のセンサから取得したデータに依存する１つの関数又は複数の関数を評価することができる。この場合、処理装置は、生データを処理することにより操作されたセンサデータを生成し、操作されたセンサデータを格納させる。代替的に又は追加的に、処理装置は、第２のセンサから取得した生のセンサデータと、生データを処理することにより得られる操作されたセンサデータとの組み合わせを、メタデータとして格納させることができる。
【００２３】
実施形態によれば、携帯電子機器を使用してメディアを記録する方法が提供される。当該方法は、メディアを記録することを含む。メディアが記録されているとき、携帯電子機器のユーザの身体的状態を表すデータがキャプチャされる。記録されたメディアについてのメタデータは、キャプチャされたデータに基づいて生成され、メタデータは、身体的状態を示す。メタデータは、記録されたメディアと関連付けて格納される。
【００２４】
メディアは、第１のセンサを使用して記録されることができ、データは、第１のセンサと異なる、少なくとも１つの第２のセンサを使用してキャプチャされることができる。
【００２５】
第１のセンサがメディアを同時に記録する間に、データがキャプチャされることができる。
【００２６】
少なくとも１つの第２のセンサは、第１のセンサがメディアを同時に記録する間に、データをキャプチャするように構成されることができる。
【００２７】
メタデータは、キャプチャされたデータが予め定義された基準を満たすかどうかに基づいて、選択的に格納されることができる。予め定義された基準は、少なくとも１つの閾値比較を含むことができる。第１の身体的状態を表す第１のデータ、及び第１の身体的状態とは異なる第２の身体的状態を表す第２のデータがキャプチャされることができる。第１の閾値比較は、第１のデータについて実行され、第２の閾値比較は、第２のデータについて実行され、メタデータは、第１の閾値比較及び第２の閾値比較の両方の結果に基づいて選択的に生成されることができる。メタデータが生成され、格納されるべきかどうかを判定するために、様々な論理演算が適用されうる。第１及び第２の閾値比較の結果に基づいてメタデータを選択的に生成するために、例えば、論理“ＡＮＤ”、論理“ＯＲ”、又は論理“ＸＯＲ”演算子が、第１及び第２の閾値比較の結果に適用されることができる。
【００２８】
携帯電子機器は、記録されるメディア及び関連するメタデータが格納される記憶装置を含むことができる。記憶装置に格納されるメディアは、メディアに各々関連付けられるメタデータに基づいて処理されることができる。
【００２９】
記憶装置に格納されたメディア内の検索は、メディアと関連付けられるメタデータに基づいて実行されることができる。代替的に又は追加的に、記憶装置内に格納されたメディアは、メディアと関連付けられるメタデータに基づいて、複数の異なるグループに割り当てられることができる。
【００３０】
メディアと関連付けられるメタデータは、第１の身体的状態を示す第１のメタデータと、第１の身体的状態とは異なる第２の身体的状態を示す第２のメタデータとを含むことができる。記憶装置に格納されたメディアは、メディアと各々関連付けられる第１のメタデータ及び第２のメタデータの両方に基づいて処理されることができる。メディアが、ある身体的状態の組み合わせに対応するメタデータと関連付けられているかどうかを判定するために、様々な論理演算子が適用されうる。例えば、論理“ＡＮＤ”、論理“ＯＲ”、又は論理“ＸＯＲ”演算子が、第１及び第２のメタデータについて各々実行された第１及び第２の閾値比較の結果に適用されうる。
【００３１】
記録されるメディアは、少なくとも１つのイメージを含むことができる。
【００３２】
記録されるメディアは、複数のイメージフレームを有するビデオを含むことができる。身体的状態を表すデータは、複数のイメージフレームが記録されている間にキャプチャされることができる。身体的状態を表すデータは、現在行われているビデオ記録中に、継続的又は半継続的に複数回記録されることができる。メタデータは、複数のイメージフレームが記録される間にキャプチャされるデータに基づいて、ビデオの複数のイメージフレームのサブセットについて選択的に格納されることができる。
【００３３】
ユーザの身体的状態を表すデータのうち少なくともいくつかは、無線インタフェースを介して送信されることができる。メタデータを生成する処理装置は、キャプチャされたデータを取得するために、無線接続を介して少なくとも１つの第２のセンサから読み出すことができる。
【００３４】
ユーザの身体的状態を表すデータは、ユーザのボディランゲージ、例えば、ユーザの顔の表情のイメージを含むことができる。代替的に又は追加的に、ユーザの身体的状態を表すデータは、電気皮膚反応を含むものであってもよい。代替的に又は追加的に、ユーザの身体的状態を表すデータは、ユーザの脈拍数を含むものであってもよい。代替的に又は追加的に、ユーザの身体的状態を表すデータは、血中酸素飽和度を含むものであってもよい。身体的状態を表すこのようなデータの様々な組み合わせが使用されることができ、身体的状態についての他の指標が、追加的又は代替的に使用されてもよい。
【００３５】
複数の第２のセンサが、身体的状態を表すデータをキャプチャするために使用されることができる。
【００３６】
方法は、任意の態様又は実施形態の携帯電子機器によって実行されることができる。
【００３７】
さらに他の実施形態によれば、携帯電子機器のプロセッサによって実行されるとき、任意の態様又は実施形態の方法を実行するように携帯電子機器に指示する命令コードを格納する、非一時的記憶媒体が提供される。
【００３８】
本発明の他の実施形態によれば、イメージを処理する方法が提供される。メタデータは、各イメージと関連付けられ、メタデータは、各イメージが記録された時のユーザの身体的状態を示す。当該方法は、イメージと関連付けられるメタデータを取得することと、各々関連付けられたメタデータに基づいてイメージを処理することと、を含む。処理することには、メタデータに基づいてイメージを検索することを含むことができる。処理することには、イメージと関連付けられるメタデータに基づいて、イメージを複数のグループのうちの１つに割り当てることを、代替的に又は追加的に含むことができる。
【００３９】
様々な実施形態の携帯電子機器及び方法は、各メディアが記録された時のユーザの身体的状態を示すメタデータが生成されることを可能とする。メディアは、自動的に個人センサ情報にタグ付けされることができる。個人センサ情報は、イメージ、ビデオシーケンス、又はイメージシーケンスの個々のイメージフレームに各々タグ付けされることができる。そのような自動生成されたタグは、メディアが整理されるとき、メディア内で検索が実行されるとき、又は他の後処理が実行されるときに使用されることができる。タグは、メディアが記録される間自動的に追加される。後の段階で、身体的状態についての指標を追加するための別個の後処理を実行する必要はない。
【００４０】
上述した特徴及び以下でさらに説明される特徴は、示されたそれぞれの組み合わせだけでなく、他の組み合わせ又は単独で、本発明の範囲から逸脱することなく、使用されることができることが理解されるべきである。上述の態様及び実施形態の特徴は、他の実施形態においても互いに組み合わせることができる。
【図面の簡単な説明】
【００４１】
上述の及びさらなる本発明の特徴及び利点は、類似の参照番号が類似の要素を参照する添付の図面と併せて読むときに、以下の詳細な説明から明らかになるであろう。
【図１】一実施形態に係る携帯電子機器の正面図である。
【図２】携帯電子機器の背面図である。
【図３】図１及び２の携帯電子機器の概略的なブロック図である。
【図４】一実施形態に係る携帯電子機器の動作を示す図である。
【図５】一実施形態に係る方法のフローチャートである。
【図６】一実施形態に係る方法のフローチャートである。
【図７】一実施形態に係る個人センサ情報に従って整理されたメディアの概略図である。
【図８】一実施形態に係る通信システムの概略図である。
【図９】一実施形態に係る方法のフローチャートである。
【発明を実施するための形態】
【００４２】
以下では、本発明の実施形態を、添付の図面を参照して詳細に説明する。なお、実施形態の以下の説明は、限定的な意味で解釈されるべきではないことを理解すべきである。本発明の範囲は、単なる例示であると解釈される、後述の実施形態又は図面によって限定されることを意図しない。
【００４３】
図面は模式的な表現であるとみなされるべきであり、図面に示される要素（element）は必ずしも縮尺通りに示されていない。むしろ、様々な要素は、それらの機能および一般的な目的が当業者に明らかとなるように表わされる。図面に示され、又はここで説明される機能ブロック、装置、コンポーネント又は他の物理的若しくは機能的ユニット間の任意の接続又は結合はまた、間接的な接続又は結合によって実装されてもよい。コンポーネント間の結合は、無線接続を介して確立されてもよい。機能ブロックは、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせにおいて実装されてもよい。
【００４４】
様々な実施形態の特徴は、特に言及されない限り、互いに組み合わせることができる。
【００４５】
携帯電子機器及び携帯電子機器を使用したメディアを記録する方法について説明する。携帯電子機器は、メディアを記録するように構成された第１のセンサを有する。第１のセンサは、イメージ又はビデオシーケンスを形成する一連のイメージフレームをキャプチャするように構成されたイメージセンサを含むことができる。イメージセンサが、光学的イメージをイメージデータに変換することによってイメージを記録するとき、ユーザの身体的状態を表すデータが判定される。ここで「個人センサ情報」とも呼ばれる、キャプチャされたデータは、イメージキャプチャが実行される時点におけるユーザの身体的状態に関連する。キャプチャされたデータ又はそこから生成される他のデータは、記録されたメディアと関連付けられるように格納される。
【００４６】
以下でより詳細に説明されるように、実施形態の携帯電子機器及び方法は、個人センサ情報をイメージ又は他のメディアに自動的に付加し、それによって後続の処理を容易にする。１人のユーザの身体的状態を監視するのには十分でありうるが、複数の異なる身体的状態を表す複数の異なるデータは、イメージ又は他のメディアの記録と同時にキャプチャされることができる。メディアについてのメタデータは、複数の異なる身体的状態を表すデータに基づいて生成されうる。説明のため、顔の表情、脈拍数、電気皮膚反応、又は血中酸素飽和度のうち少なくとも１つがキャプチャされうる。キャプチャされたデータは、メタデータを生成するために処理されうる。ユーザの顔の表情は、異なる笑顔の度合いを定量化する数値を判定するためにイメージ処理を受けることができ、当該数値は、記録されたメディアと関連付けられるメタデータとして格納され得る。脈拍数、電気皮膚反応、又は血中酸素飽和度などの他のセンサデータは、メタデータとして直接格納され得る。メディアが記録された時点における異なる身体的状態を示すデータは、並行してキャプチャされることができ、ユーザの身体的状態を示すメタデータを生成するために使用され得る。説明のため、メタデータは、脈拍数を示す値と、血中酸素飽和度を示すもう１つの値とを含むことができる。これらの２つの値の組み合わせは、例えば、身体の緊張状態を識別するのに使用され得る。他のデータは、メディアが記録されている間にキャプチャされ、例えばタグとしてこの個人情報をイメージファイルに付加するために処理され得る。ユーザの身体的状態を表すデータの少なくともほんの一部は、ボディランゲージのような目に見えるユーザの状態に関連しうる。ユーザの身体的状態を表すデータの少なくともほんの一部は、脳活動、電圧若しくは電流、又は電気抵抗などの、目に見えない状態に関連する。
【００４７】
図１は、携帯電子機器１の正面図であり、図２は、携帯電子機器１の背面図であり、図３は、携帯電子機器１を表す概略的なブロック図である。携帯電子機器１は、メインイメージセンサ２、ディスプレイ３、及び処理装置４を含む。処理装置４は、１つのプロセッサであってもよいし、又はメインプロセッサ１３及びグラフィック処理ユニット１４のような複数のプロセッサを含んでもよい。携帯電子機器１のメインイメージセンサ２は、デジタルカメラの様々なコンポーネントを含むことができる。メインイメージセンサ２は、焦点調節光学素子１１を含むことができる。メインイメージセンサ２は、光学的イメージをイメージデータに変換するために、イメージサンプリングを実行する光電子センサ１５を含む。メインイメージセンサ２は、フラッシュユニット１２、イルミネーションセンサ、又は類似の付加的なコンポーネントを含むことができる。メインイメージセンサ２は、イメージ又は一連のイメージフレームを記録するように構成された第１のセンサとしての役割をする。
【００４８】
携帯電子機器１は、携帯電子機器１のユーザの身体的状態を表すデータをキャプチャする、少なくとも１つの第２のセンサを有する。以下でさらに詳細に述べるように、少なくとも１つの第２のセンサは、様々な構成を有することができ、ユーザの身体的状態を表す様々な異なる種類のデータを感知することができる。少なくとも１つの第２のセンサは、メディアを記録するために使用される第１のセンサとは異なる。
【００４９】
処理装置４は、処理及び制御動作を実行することができる。メインイメージセンサ２を用いてイメージが記録されるものとされているとき、処理装置４は、少なくとも１つの第２のセンサによってキャプチャされたデータを取得する。処理装置４は、イメージと関連付けられるメタデータを生成することができ、メタデータは、少なくとも１つの第２のセンサによってキャプチャされたデータに基づいて生成される。メタデータは、処理装置４が第２のセンサから読み出す、キャプチャされたデータを含むように生成されてもよい。メタデータはまた、処理装置４が付加的な処理を実行するように生成されてもよい。説明のため、メインイメージセンサ２がイメージ又はビデオを記録する時点におけるユーザのボディランゲージの写真をキャプチャする第２のイメージセンサ１９を、少なくとも１つの第２のセンサが含む場合、処理装置４は、第２のイメージセンサ１９によってキャプチャされたユーザの身体の写真のイメージ処理を実行することができる。処理装置４は、第２のイメージセンサ１９によってキャプチャされたユーザの身体の写真を処理することにより、数値を導き出すことができる。ユーザの口の湾曲は、定量化されることができ、例えば、それによって笑顔の度合いについての指標としての役割をする。
【００５０】
処理装置４は、メディアが記録されたときに第２のセンサによってキャプチャされたデータを用いてメタデータを生成するように構成される。したがって、身体的状態を表すデータは、メディア記録時におけるユーザの身体的状態を表す。このことは、記録されたメディアの自動化された処理を容易にする。記録されたメディアは、メディア記録時におけるユーザの身体的状態に従って整理され、検索され、又はフィルタリングされ得る。ユーザの個人情報を示すタグがメディアファイルの生成時に付加されるため、そのような情報をメディアファイルに付加するための別個の後処理を実行する必要がない。より詳細に述べるように、身体的状態を示すデータは、様々なフォーマットのうちの任意の１つを有することができる。説明のため、データは、喜び、興奮、大変な仕事量、及び／又はその他の身体的状態のうちの少なくとも１つの状態が、第２のセンサによってキャプチャされたデータに基づいて識別され得るものでありうる。
【００５１】
処理装置４は、メディアの記録と協調して、第２のセンサによってキャプチャされたデータが取得されるように構成される。メディアの記録は、処理装置４が第２のセンサによってキャプチャされたデータを取得するためのトリガとなりうる。メディアの記録がまだ処理中であった間、処理装置４は、第２のセンサによってキャプチャされたデータを取得することができる。処理装置４は、ユーザの身体的状態を表すデータを取得するために、メインイメージセンサ２がイメージをキャプチャする時点において、少なくとも１つの第２のセンサに能動的に問い合わせを行うことができる。メインイメージセンサ２が複数のイメージフレームを有するビデオをキャプチャする場合、処理装置４は、記録中に複数回、少なくとも１つの第２のセンサに能動的に問い合わせを行うことができる。処理装置４が、ビデオ記録の間第２のセンサによってキャプチャされたデータを取得するタイミングは、ビデオシーケンスのイメージフレームが記録されたフレームレートに一致させることができる。身体的状態を示すデータが各イメージフレームについて取得される必要はない。処理装置４は、記録されたビデオのイメージフレームのサブセットについてのみ、例えばｎ番目のフレーム毎に、第２のセンサからデータを取得することができる。ｎは、１より大きい整数である。
【００５２】
メタデータがメディア記録時におけるユーザの身体的状態を示すことを保証するために、他の技術を使用してメタデータの生成をメディアの記録と協調させることができる。説明のため、第２のセンサは、ユーザの身体的状態を継続的又は半継続的に監視することができる。処理装置４は、メディアの記録が実行された時間に対応する、第２のセンサによってキャプチャされたそれらのデータを選択するように構成され得る。タイムスタンプは、メディアの記録が実行されたのと同時に、第２のセンサによってキャプチャされたデータを処理装置４が識別するのを支援する第２のセンサによって使用されうる。メディアの記録が実行されたときにキャプチャされたデータを識別することができる限り、処理装置４は、メディア記録が実行されているのと同時にユーザの身体的状態を表すデータを取得する必要はない。
【００５３】
処理装置４は、メタデータを生成するための様々な機能のうち任意の１つを実行しうる。処理装置４は、メディア記録時のセンサ読取値を表す、第２のセンサから取得された１又はいくつかの値をメタデータが含むように、記録されたメディアについてのメタデータを生成しうる。第２のセンサから取得した各値を特定の身体的状態と各々関連付けるために、識別子がメタデータ内に追加的に格納されることができる。説明のため、処理装置４は、その値が脈拍数であると識別する識別子と組み合わせて、心拍センサから取得した値を含むようにメタデータを生成することができる。処理装置４は、その値が血中酸素飽和度及び／又は脈拍数であると識別する識別子と組み合わせて、オキシメータから取得した値を含むようにメタデータを生成することができる。処理装置４は、その値が電気皮膚反応であると識別する識別子と組み合わせて、電気皮膚反応を測定するための装置から取得した値を含むようにメタデータを生成することができる。ユーザの身体的状態を表すデータをキャプチャするために利用可能な第２のセンサに応じて、他の識別子が使用されてもよい。
【００５４】
処理装置４は、１又は複数の第２のセンサから取得された生データをメタデータとして格納させることができるが、処理装置４は、メタデータを生成するときに、追加の処理を実行することができる。処理装置４は、１又は複数の第２のセンサから取得された生データに応じた関数を評価することによって、操作されたセンサデータを生成してもよい。処理装置４は、メタデータを生成するために、１又は複数の第２のセンサから取得された生データに応じた数学関数を評価してもよい。メタデータはまた、１又は複数の第２のセンサから取得された生データと、１又は複数の関数に生データを入力して得られる操作されたデータとの組み合わせを含むように生成されてもよい。
【００５５】
説明のため、処理装置４は、第２のイメージセンサ１９によってキャプチャされたユーザの顔のイメージ上でイメージ認識を実行することができる。処理装置４は、ユーザの身体的状態を示す数量を判定するために、第２のイメージセンサ１９によってキャプチャされたユーザの顔のイメージを解析することによって数値を計算することができる。説明のため、処理装置１９は、口の外縁を口の最下部につなぐ２本の線の間の角度を判定することができ、それによって、ユーザの顔の表情の笑顔の度合いを定量化する。ボディランゲージについての他の数量詞（quantifiers）が使用されてもよい。処理装置４によって実行される処理の結果は、メインイメージセンサ２によってキャプチャされたイメージ又はビデオと関連付けられてメタデータ内に格納されることができる。
【００５６】
処理装置４は、異なる第２のセンサによって提供されるデータにおいて論理演算を実行することができる。説明のため、身体的状態を表す第２のセンサのデータは、閾値と比較され得る。身体的状態を定義する１以上の特徴量が第２のセンサによってキャプチャされる場合、処理装置４は、論理演算を使用して第２のセンサの出力を組み合わせることができる。これは、メタデータの生成時、及び／又は記録されたメディアについて生成されたメタデータをその後評価するときに行われうる。説明のため、異なる第２のセンサによって提供される第１及び第２のデータが各々閾値と比較され、両方の閾値比較の結果に論理演算が適用され得る。処理装置４は、例えば、脈拍数が第１の閾値よりも上で、電気皮膚反応が第２の閾値よりも上で、血中酸素飽和度が第３の閾値より下であるという状況を識別するかもしれない。メディア記録中に複数の第２のセンサによってキャプチャされたデータを評価することによって識別されるこのような身体的状態は、高い緊張状態にあるユーザを示しうる。処理装置４はまた、例えば、脈拍数が第１の閾値よりも上で、電気皮膚反応が第２の閾値よりも上で、血中酸素飽和度が第４の閾値よりも上であるという状況を識別するかもしれない。メディア記録中に複数の第２のセンサによってキャプチャされるデータを評価することによって識別されるこのような身体的状態は、高い努力の状態にあるユーザを示しうる。処理装置４はまた、例えば、脈拍数が第１の閾値より上で、血中酸素濃度が第３の閾値より上であるという状況を識別するかもしれない。
【００５７】
処理装置４が、少なくとも１つの第２のセンサによってキャプチャされたデータについて論理演算又はその他の処理を実行する場合、論理演算又はその他の処理の結果に基づいて、メタデータが生成され得る。メタデータがメディアの記録時におけるユーザの身体的状態を表すように、処理装置４は、第２のセンサによって提供されるデータに基づいてメタデータを生成する。処理装置４は、記録されたメディアと関連付けてメタデータを格納させる。他の実装においては、メタデータは、メディアファイルと別個のファイル内に格納されてもよいし、メタデータとメディアファイル間に一対一対応が確立されることを可能にする方法で格納されてもよい。
【００５８】
処理装置４は、メタデータ及びメディアファイルを携帯電子機器内で局所的に、例えば、不揮発性メモリ５又は他の記憶装置内に格納することができる。ユーザが身体的状態を示すデータが共有されることを可能にするための設定をアクティブにするとき、処理装置４は、無線通信インタフェース９を介してメモリ５に格納されたメディアファイル及び関連するメタデータのうちいくつかを通信することができる。説明のため、ユーザがあるメディアファイルを送信したいと思ったとき、処理装置４は、関連するメタデータを取得し、ユーザが個人データの送信を許可する設定をアクティブにしている場合は、無線通信インタフェース９を介してサーバにこの情報を通信することができる。処理装置４は、検索、メディアファイルのグループ化、又はフィルタ基準に従ったメディアファイルのフィルタリングなどの他の目的のためにも、メモリ５からメタデータを取得することができる。
【００５９】
第２のセンサは、様々な構成を有することができる。説明のため、イメージキャプチャの間ユーザの方を向いている第２のイメージセンサ１９は、ユーザのボディランゲージを判定するのに使用されうる。第２のイメージセンサ１９は、処理装置４及びメインイメージセンサ２も含む携帯電子装置のハウジング１０に組み込まれる。携帯電子装置に組み込まれる他の第２のセンサがあってもよい。説明のため、個人データセンサ１８は、メディアが記録されているときに、電気皮膚反応又はユーザの身体的状態の特徴の他の量を測定するために提供され得る。個人データセンサ１８は、メディア記録時のユーザの身体的状態を表すデータをキャプチャする第２のセンサとして動作する。個人データセンサ１８は、個人電子装置内に組み込まれている。個人データセンサ１８は、ハウジング１０の外側に露出される部分を有してもよい。
【００６０】
他の個人データセンサ３０は、携帯電子機器から分離されて提供されてもよい。他の個人データセンサ３０は、メディア記録時のユーザの身体的状態を表すデータをキャプチャする第２のセンサとして動作する。他の個人データセンサ３０は、ユーザの身体に付着するためのマウント３１を有することができる。他の個人データセンサ３０は、耳、指、又はユーザの皮膚の他の部分に取り付けられることができる。他の個人データセンサ３０は、ユーザの脈拍数及び血中酸素濃度を測定するパルスオキシメータとして構成されてもよい。他の個人データセンサ３０は、ユーザの脈拍数を測定する心拍数モニタとして構成されてもよい。他の個人データセンサ３０は、ユーザの脳活動を監視するための装置として構成されてもよい。他の個人データセンサ３０は、無線接続を介して処理装置４とインタフェース接続されてもよい。他の個人データセンサ３０は、携帯電子装置の無線センサインタフェース８との通信のための、無線インタフェース３８を有してもよい。無線インタフェース３８及び無線センサインタフェース８は、近距離無線通信のために構成されてもよい。無線インタフェース３８及び無線センサインタフェース８は、ＩＥＥＥ８０２．１１プロトコルファミリーのプロトコルを使用する通信のために構成されてもよい。限定ではなく説明のため、無線インタフェース３８及び無線センサインタフェース８は、Bluetooth  Health  Device  Profile（ＨＤＰ）を使用する通信のために構成されてもよい。無線インタフェース３８及び無線センサインタフェース８の間の通信は、例えば、ＩＥＥＥ１１０７３の最適化交換プロトコル（optimized  exchange  protocol）、又は健康関連のセンサと他の装置との間の通信のためのその他のプロトコルにしたがって実行されてもよい。
【００６１】
携帯電子機器１は、例えば、携帯電話、携帯情報端末（personal  digital  assistant）又は類似の携帯通信装置として動作しうる。携帯電子機器１は、音声通信のためのコンポーネントを含むことができ、音声通信のためのコンポーネントは、マイクロフォン２１、スピーカ２２及び無線通信ネットワークとの通信のための無線通信インタフェース９を含むことができる。携帯電子機器１は、手動で操作可能なユーザインタフェースを有することができる。ユーザインタフェースは、携帯電子機器のハウジング１０上に提供されるファンクション及びコントロールキー７、及び／又はディスプレイ３の接触若しくは近接感知入力部１７を含むことができる。
【００６２】
図４から図９を参照して、携帯電子機器１の動作についてより詳細に説明する。
【００６３】
携帯電子装置１のメインイメージセンサ２によってキャプチャされるイメージ又は一連のイメージは、不揮発性メモリ５又はその他の記憶装置内に格納されうる。メディア記録中のユーザの身体的状態を示す関連するメタデータは、イメージのうちの少なくともいくつかについて格納されうる。ユーザの身体的状態を示すメタデータは、例えば属性としてイメージ又はビデオと同一のファイル内に格納されてもよく、別個のファイルに格納されてもよい。
【００６４】
複数のイメージフレームを含むビデオが記録されるとき、ユーザの身体的状態を示すデータは、数個のフレームについてキャプチャされることができ、メタデータは、ビデオシーケンスの個々のイメージフレームと関連付けられるように生成され、格納されうる。これは、検索基準としてユーザの身体的状態を使用して、あるイメージフレームを検索することを容易にする。
【００６５】
図４は、図１から３の携帯電子機器１の様々なセンサでキャプチャされたデータを図示する概略図である。図示された動作では、複数のイメージフレーム４１〜４４をキャプチャするためのメインイメージセンサ２を使用してビデオが記録されている。イメージは、フレーム間隔Ｔｒでキャプチャされている。
【００６６】
ユーザの方を向いている第２のイメージセンサ１９を使用して、ユーザのボディランゲージのイメージ５１〜５４がキャプチャされる。イメージ５１〜５４は、ボディランゲージを定量化する数値を判定するために評価されることができる。説明のため、ユーザの顔を検出し笑顔の度合いを定量化するために、イメージ解析が実行されうる。
【００６７】
パルスオキシメータや心拍数モニタのような他の第２のセンサを使用して、ビデオ記録中のユーザの脈拍数が監視されることができる。
【００６８】
イメージ５１〜５４は、ビデオのイメージフレームが各々記録されるときにキャプチャされうる。メインイメージセンサ２を使用してビデオ記録が同時に行われている間、第２のイメージセンサ１９は、ユーザの顔の表情を記録するためにビデオモードで動作させることができる。同様に、脈拍数の値５５〜５８は、ビデオのイメージフレームが各々記録されるときに読み出されることができる。第２のセンサによってキャプチャされたデータもまた、フレーム間隔Ｔｒでキャプチャされ、評価されうるが、ユーザの身体的状態を表すデータをキャプチャするための割合は、イメージフレーム４１〜４４がキャプチャされる割合とは異なるようにすることができる。説明のため、第２のイメージセンサを使用してキャプチャされたイメージ５１〜５４は、フレーム間隔Ｔｒよりも長い間隔ｋ・Ｔｒでキャプチャされることができる。ｋは、１より大きい整数である。脈拍数の値５５〜５８は、フレーム間隔Ｔｒよりも長い間隔ｍ・Ｔｒで読み出されることができる。ｍは１より大きい整数である。
【００６９】
メタデータは、ビデオシーケンスのイメージフレームのうち少なくともいくつかについて生成されることができる。メタデータは、ビデオシーケンスを形成するイメージフレームのサブセットについてのみ選択的に生成され、格納されうる。説明のため、メタデータは、ｎ番目のイメージフレーム毎についてのみ生成されうる。ｎは１より大きい整数である。
【００７０】
代替的に又は追加的に、メタデータは、キャプチャされたデータの評価に基づいてイメージフレームについて選択的に格納されうる。この目的のために、第２のセンサによって提供されるデータは、閾値５９と比較されうる。比較結果に基づいて、メタデータは選択的に格納されうる。これにより、ユーザの身体的状態がある反応を示しているそれらのメディアについて、メタデータが選択的に生成及び格納されることができる。当該ユーザの身体的状態は、キャプチャされたデータがある閾値を超えたか、又は別のある閾値を下回ることによって反映される。メタデータが選択的に格納されるとき、記憶領域の必要量を減少させることができる。１つより多くの第２のセンサがある場合、記録されたメディアについてメタデータを選択的に格納する処理は、複数の第２のセンサによってキャプチャされたデータ上で論理演算を使用して実行されることができる。異なる第２のセンサによって提供されるデータは、各々閾値比較の対象とされることができ、論理演算は閾値比較の結果に適用されうる。説明のため、論理ＡＮＤ、ＯＲ、又はＸＯＲ演算が、脈拍値について実行される第１の閾値比較、及び血中酸素レベルについて実行される第２の閾値比較の結果において実行されうる。ユーザの身体的状態を表す異なる値のうちの少なくとも１つがデフォルト値からの著しい逸脱を示すとき、メタデータが選択的に生成されることがこれにより可能となる。
【００７１】
閾値は、複数のメディアの記録処理中に第２のセンサによってキャプチャされるデータに基づいて調整されうる。したがって、ユーザの身体的状態の特性は、１人のユーザから別のユーザに変化し得るという事実を考慮することができる。例えば、安静時の脈拍数は、ユーザごとに異なる場合がある。メタデータの生成及び／又はメタデータに基づく記録されたメディアの処理に使用される閾値を調整することによって、自動的にそのユーザについて学習することが可能な携帯電子機器は、以前にキャプチャしたデータを使用して閾値を調整することを実現することができる。
【００７２】
図５は、方法６０のフローチャートである。方法６０は、図１から３の携帯電子機器１によって実行されうる。限定ではなく説明のため、方法６０は、イメージ記録との関連において説明される。
【００７３】
６１において、イメージがキャプチャされたかどうかが判定される。判定は、携帯電子機器の入力インタフェースを監視することを含むことができる。イメージが何もキャプチャされていない場合、６１において監視が継続される。
【００７４】
イメージがキャプチャされている場合、６２においてイメージ記録が実行され、６３においてユーザの身体的状態を表すデータがキャプチャされる。データのキャプチャは、イメージ記録に応答して、即ち、イメージ記録と協調して実行される。イメージ記録と身体的状態を表すデータのキャプチャは、時間的にオーバラップして実行されうる。イメージ記録が第１の期間中ずっと実行され、ユーザの身体的状態を表すデータのキャプチャが第２の期間中ずっと実行される場合、第２の期間は、第１の期間と少なくとも部分的にオーバラップすることがある。第２の期間は、第１の期間内に完全に含まれることができ、又は、第１の期間は、第２の期間内に完全に含まれることができる。
【００７５】
６４において、メタデータが、ユーザの身体的状態を表すデータに基づいて生成される。メタデータを生成するために、第２のセンサにより出力される数値がメタデータ内に書き込まれることができる。第２のセンサが脈拍数、血中酸素飽和度、又は電気皮膚反応を示す数値を含むデータを提供する場合、この値がメタデータ内に書き込まれることができる。メタデータを生成するために、追加の処理が実行されてもよい。図１から４を参照して既に説明したように、メタデータを生成するために、イメージ解析、閾値比較、及び／又は論理演算が、第２のセンサによってキャプチャされたデータに対して実行されてもよい。
【００７６】
６５において、イメージファイル及び関連するメタデータが格納される。メタデータはイメージファイル内に含まれてもよい。メタデータは、イメージファイルの属性フィールド内に含まれてもよく、又はイメージにタグ付けされてもよい。メタデータはまた、メタデータとイメージファイル間で一対一対応が確立されるようにして別のファイル内に格納されてもよい。方法は、６１の監視に戻る。
【００７７】
第２のセンサによってキャプチャされたデータが、予め定義された基準を満たすとき、メタデータの生成及び格納は、選択的に実行されることができる。閾値比較は、イメージキャプチャ中の身体的状態を表すデータをイメージファイルに関連するメタデータに変換すべきかどうかを判定するために実行されてもよい。
【００７８】
図６は、メタデータが選択的に格納される方法６７のフローチャートである。方法６７は、図１〜３の携帯電子機器１によって実行されることができる。限定ではなく説明のために、方法６７は、イメージ記録との関連で説明する。図５中と同一の参照符号で指定されるステップは、図５を参照して説明したのと同一の方法で実行されることができる。
【００７９】
６１において、イメージがキャプチャされるか否か判定される。イメージがキャプチャされるべきである場合、６２においてイメージ記録が実行される。さらに、６３において、ユーザの身体的状態を表すデータがキャプチャされる。
【００８０】
６７において、キャプチャされたデータが予め定義された基準を満たすかどうかを判定するために、キャプチャされたデータが評価される。キャプチャされたデータは、閾値比較の対象とされることができる。説明のため、脈拍数は、ユーザが興奮状態にあるかどうかを判定するために、脈拍値の閾値と比較されることができる。閾値は、以前のメディア記録中に携帯電子機器で測定した脈拍値に基づいて調整されうる。複数の異なる第２のセンサによってキャプチャされたデータは、それぞれ閾値と比較することができ、閾値比較の結果は“ＡＮＤ”又は“ＯＲ”論理演算を使用して互いに組み合わせることができる。キャプチャされたデータが予め定義された基準を満たさない場合、方法は６８へ進む。６８において、記録されたイメージが格納されるが、メタデータは格納されない。
【００８１】
キャプチャされたデータが予め定義された基準を満たす場合、方法は６４に進み、メタデータが生成される。６５において、メディアファイル及び関連するメタデータが格納される。その後、方法は、６１での監視に戻る。
【００８２】
メタデータは、イメージやビデオ等の記録されたメディアにタグ付けされる個人情報である。メタデータは、異なる時間に記録されたが、それらにタグ付けされた類似の個人情報を有する、異なるメディアアイテムをグループ化するために使用されることができる。関連するメタデータに従ってメディアを整理することは、携帯電子機器又はメディアファイルと関連するメタデータが送信されたデバイスにおいて局所的に実行されてもよい。メタデータに従ってメディアを各々整理するために、異なるルールが異なるデバイスによって使用されてもよい。携帯電子機器において局所的にメディアデータを整理するために、処理装置４は、記録されたメディアに関連するメタデータを取得することができ、メディアアイテムをグループ化するため、又は検索基準としてユーザの身体的状態を使用してメディア内の検索を実行するために、メタデータを使用することができる。
【００８３】
図７は、関連付けられたメタデータに従ってメディアアイテムが複数のグループ７１〜７３にグループ化された、記憶装置７０を概略的に示している。メディアアイテムは、記憶装置上で物理的にグループ化される必要はない。グループ化は、論理レベルで実装されうる。説明のため、それにタグ付けされた個人データに従ったメディアアイテムのグループ化は、携帯電子機器のディスプレイを介してユーザに出力するためのメディアの整理を実行することができる。
【００８４】
メディアアイテムのグループ７１は、笑っている顔の表情と関連付けられる。グループ７１は、２つのメディアファイル７４、７６を含む。グループ７１は、メディアファイル７４、７６と関連付けられたメタデータをさらに含むことができる。メディアファイル７４、７６は、第２のイメージセンサ１９を使用してキャプチャされたビデオ内で、笑顔が検知されるか否かに基づいて、グループ７１に割り当てられる。
【００８５】
メディアアイテムのグループ７２は、興奮と関連付けられる。脈拍数は、メディア記録時のユーザの興奮を示し得る。グループ７２は、２つのメディアファイル７４、７６を含む。グループ７２は、メディアファイル７７、７８と関連付けられたメタデータをさらに含むことができる。メディアファイル７７、７８は、脈拍数を含む基準に基づいてグループ７２に割り当てられる。説明のため、イメージ記録中にキャプチャされた脈拍数が閾値を超える場合、メディアファイル７７、７８は、グループ７２に割り当てられる。
【００８６】
メディアアイテムのグループ７３は、大変な仕事量に対応する状況と関連付けられる。脈拍数及び血中酸素飽和度が、組み合わせて評価される場合に、そのような状況を示し得る。グループ７３は、メディアファイル７９を含む。グループ７３は、メディアファイル７９と関連付けられるメタデータをさらに含むことができる。論理“ＡＮＤ”を使用して組み合わせた、キャプチャされた脈拍値についての第１の閾値比較とキャプチャされた血中酸素飽和度についての第２の閾値比較とを含む基準に基づいて、メディアファイル７９はグループ７３に割り当てられる。説明のため、イメージ記録中にキャプチャされた脈拍数が第１の閾値を超え、血中酸素飽和度が第２の閾値よりも下である場合に、メディアファイル７９はグループ７３に割り当てられることができる。
【００８７】
ビデオシーケンスのように、延長された時間ピリオドを超えて記録されるメディアファイルと関連付けられたメタデータは、メディアファイルの個々の部分に割り当てられてもよい。メタデータは、ビデオシーケンスの特定のイメージフレームと関連付けられてもよい。メタデータが、ビデオシーケンスの個々のイメージフレームと別々に関連付けられるとき、メタデータは、ビデオ記録時の特定の身体的状態をもたらすビデオのサブシーケンスを容易に識別するのに使用されることができる。
【００８８】
ユーザの身体的状態を表すデータをキャプチャするのに利用可能な第２のセンサに依存して、他のグループが定義されうる。関連するメタデータが、メディアアイテムを第１のグループ及び異なる第２のグループに割り当てるための基準に従う場合、１つのメディアアイテムが複数のグループに含まれることも可能である。
【００８９】
メディア記録時の身体的状態を示すメタデータは、メディア記録を実行する携帯電子機器１において局所的に使用されるだけでない。メタデータは、無線通信インタフェース９を介して携帯通信ネットワークに送信されうる。そのような送信は、ユーザが、記録されたメディアにタグ付けされた個人センサ情報を携帯通信ネットワークに送信する意思があることを能動的に確認したかどうかに条件付きで依存して、実行されうる。携帯通信ネットワークにおいて、サーバは、メディアファイルと関連付けられたメタデータに基づいて、メディアファイルを送信する処理を実行することができる。説明のため、ソーシャルネットワークにおいては、メディア記録中の各ユーザの身体的状態を示すメタデータは、メディアアイテムをグループに整理し、メディアアイテム内の検索をするなどのために使用されうる。他のデバイスは、関連するメタデータに従ってメディアをグループ化してもよい。説明のため、メディア及び関連するメタデータは、携帯電子機器から他の携帯電子に送信されることができ、他の携帯電子機器において関連するメタデータに従って整理されることができる。異なるデバイスが、メディアを複数のグループに整理するために異なる基準を使用することができる。
【００９０】
図８は、通信システム８０の概略図である。通信システム８０においては、携帯電子機器８１〜８３は、メディア及び、任意でメディア記録時の身体的状態を示すメタデータを共有するためにサーバ８５と通信する。携帯電子機器８１〜８３は、サーバ８５にメッセージを送信し、又はメッセージを受信するために、無線携帯通信ネットワーク８４と通信する。サーバ８５は、携帯通信ネットワーク８４のコアネットワーク内に含まれることができ、又はそうでなければ、携帯通信ネットワーク８４のノードとインタフェース接続されることができる。携帯電子機器８１〜８３のうちの１つが、イメージ及びメタデータ内に含まれる関連する個人センサ情報を共有する意思があるとき、それはサーバ８５にメディア及び関連するメタデータを含むメッセージを送信することができる。
【００９１】
サーバ８５は、イメージ及び関連する個人センサ情報を格納するデータベース８６を有することができる。データベース８６はまた、複数の携帯電子機器についての、イメージ及び関連する個人センサ情報を共有するための接点（contacts）の識別子を定義する情報を含むことができる。
【００９２】
サーバ８５上で実行されるメディアオーガナイザモジュール８７は、メディアと関連付けられたメタデータに基づく、メディアの処理を実行しうる。説明のために、携帯電子機器８１からイメージ及び関連する個人センサ情報を含むメッセージを受信することに応答して、サーバ８５は、イメージと関連付けられたメタデータに依存して、このイメージを複数のグループのうち少なくとも１つに割り当てることができる。グループは、メディア記録時のユーザの身体的状態に基づいて選択される。少なくともいくつかの他のユーザ、例えば携帯電子機器８２のユーザなどは、携帯電子機器８１のユーザが、彼又は彼女の身体的状態についての情報を携帯電子機器８２のユーザと共有することに同意する場合に、グループにアクセスできる。
【００９３】
図９は、記録されたメディアと関連付けられたメタデータが、メディアをグループに整理し又はメディア内の検索を実行するための使用される方法９０のフローチャートである。方法９０は、メディアを記録し、及びユーザの身体的状態を表すデータをキャプチャするために使用された、携帯電子機器１によって実行されうる。方法９０は、また、メディアを記録するために使用された携帯電子機器１と異なるデバイス、例えば、図８の通信システム８０のサーバ８５によって実行されてもよい。メディアアイテムを整理するために使用される、関連するメタデータを各々有する複数のメディアアイテムがある。
【００９４】
９１において、身体的状態を示すユーザ入力を受信する。ユーザ入力は、予め定義された身体的状態の限定されたセットのうち少なくとも１つであることができる。そのような身体的状態の例には、“笑顔”、“高脈拍値”、“高い緊張状態（high  tension）”、“高い努力（high  effort）”、“大変な仕事量（high  workload）”等が含まれる。
【００９５】
９２において、記憶装置内に格納されたメディアアイテムと関連付けられたメタデータが取得される。メタデータの取得は、メディアファイルの専用フィールド又はメディアファイルに一対一対応で関連付けられる別個のファイルからメタデータを取得することを含むことができる。
【００９６】
９３において、ユーザの身体的状態を示すメタデータが、予め定義された基準を満たすか否かが判断される。９３における照合は、少なくとも１つの閾値比較を伴うことができる。メタデータが、複数の身体的状態、例えば脈拍値、電気皮膚反応、又は血中酸素飽和度等を示すデータを含む場合、照合には論理演算を含むことができる。このために、複数の閾値比較の結果は、論理“ＡＮＤ”演算子又は論理“ＯＲ”演算子に供給されることができる。これは、身体的状態を識別するのに強化された汎用性を提供する。説明のために、メタデータ内に含まれる脈拍値及び血中酸素飽和度値は、メディアが記録されたときユーザが高い努力、高い緊張、又は大変な仕事量の状態にあったかどうかを判定するため互いに組み合わせることができる。
【００９７】
９３において照合のために使用される予め定義された基準は、９１において受信されるユーザ入力に依存しうる。説明のため、メディアアイテムが高い脈拍値に対応するかどうかを判定するために、メタデータ内の脈拍値が閾値と比較されうる。メタデータ内に含まれうる他の値、例えば、血中酸素レベル等は、この基準については無視されてもよい。メディアアイテムが高い努力状態に対応するかどうかを判定するために、脈拍値が第１の閾値より大きく、血中酸素飽和度が他の閾値より下であるかどうかが判定されることができる。
【００９８】
比較の結果に依存して、９４では、メディアアイテムが、メディアアイテムのサブセットに選択的に追加される。９１でのユーザ入力によって特定される、メディアアイテムが記録された時の身体的状態をユーザが有することを関連するメタデータが示す場合に、メディアアイテムはサブセットに追加される。
【００９９】
９５においては、記憶装置に格納された他のメディアアイテムがあるかどうかが判定される。他のメディアアイテムがある場合、方法は、９６に進む。９６において、他のメディアアイテムが選択される。方法は、９２に戻り、ステップ９２から９５が繰り返される。この処理において、メディアアイテムが記録された時に、９１におけるユーザ入力によって特定される身体的状態をユーザが有することを関連するメタデータが示す場合に、メディアアイテムはサブセットに追加される。
【０１００】
全ての利用可能なメディアアイテムについて９３の照合が実行されたと判定される場合、方法は９７に進む。９７において、サブセット内に含まれるメディアアイテムは、ユーザに出力されることができる。ユーザがある身体的状態を有するメディアアイテムを含むグループが、９１における問い合わせ入力に応答してユーザに返される。
【０１０１】
メタデータに基づくグループ化は、様々なデバイス、例えば、携帯電子機器や、携帯電子機器から遠く離れたデバイスにおいて実行されることができる。関連するメタデータにしたがってメディアを整理するために使用される基準は、時間と共に変化しうる。説明のため、基準は、例えば、専用のユーザアクションによってアクティブ化することができるユーザ設定に基づく等、ユーザの好みに基づいて調整されることができる。基準は、それぞれのユーザによって実行される手動のグループ化から機械学習に基づいて変更されてもよい。この目的のために、ユーザが手動でメディアファイルをグループ化する方法が監視されてもよく、身体的状態を示す関連するメタデータは、ユーザ定義グループとグループ内のメディアと関連付けられたメタデータ間の相関を自動的に識別するために関連付けられることができる。これにより、メディアファイルをグループ化するための規則は、ユーザによって手動で定義されたグループを監視することによって導き出される情報及び身体的状態を示す関連するメタデータに由来するか、または考慮して調整することができる。基準はまた、複数のユーザによって実行されたアクションからの機械学習に基づいて変更されてもよい。説明のため、複数の異なるユーザがそれぞれメディアアイテムをグループ化する方法は、監視されることができ、各ユーザの身体的状態を示す関連するメタデータは、ユーザによって定義されるグループと相関させることができる。グループ化に使用される基準は、複数のユーザからの機械学習に応じて調整されることができる。更新されたグループ化の基準アルゴリズムは、複数のユーザがそれぞれのメディアのグループ化を実行する方法に基づいて生成されることができる。更新されたグループ化の基準アルゴリズムは、携帯通信ネットワーク又は広域ネットワークのサーバにおいて生成されることができる。更新されたグループ化の基準アルゴリズムは、携帯通信ネットワーク又は広域ネットワーク内のサーバのような中央エンティティで使用されてもよく、及び／又は携帯電子装置における局所使用のために携帯電子機器に配備されてもよい。
【０１０２】
携帯電子機器及びメディア記録の方法は、図面を参照して説明してきたが、さらなる実施形態で修正及び変更が実装されてもよい。機器及び装置において、記録されたメディアは、イメージフレームであってもよい。記録されたメディアはまた、ビデオを形成する複数のイメージフレームを含んでもよい。実施形態は、イメージ記録の文脈において説明してきたが、機器及び方法は、ビデオ及び／又はオーディオ記録のような、他の種類のメディア記録にも適用されうる。
【０１０３】
さらに説明のために、第２のセンサの特定の実装について説明したが、代替的に又は追加的に他の第２のセンサが使用されることができる。説明のために、少なくとも１つの第２のセンサは、血圧計、温度計、または、心血管センサやフィットネスセンサ等の他のモニタを含んでもよい。
【０１０４】
本発明は、特定の好適な実施形態に関して図示及び説明されたが、本明細書を読み理解する当業者であれば均等物及び改変に想到するであろう。本発明は、そのような全ての均等物及び改変を含み、添付された特許請求の範囲によってのみ限定される。
【図１】
2015505430.tif 000003
【図２】
2015505430.tif 000004
【図３】
2015505430.tif 000005
【図４】
2015505430.tif 000006
【図５】
2015505430.tif 000007
【図６】
2015505430.tif 000008
【図７】
2015505430.tif 000009
【図８】
2015505430.tif 000010
【図９】
2015505430.tif 000011
【国際調査報告】
2015505430.tif 000012
2015505430.tif 000013