(57)【要約】      （修正有）【課題】ビヘイビアコントローラでカメラを高機能化する。【解決手段】自律カメラが提供され、カメラ（２）は、カメラからのビヘイビア出力及びカメラへのビヘイビア入力を制御するビヘイビアコントローラを備え、ビヘイビアをアップロード・ダウンロード又は保存するか、又はビヘイビアメモリを有するカメラに転送する。【選択図】図２
2005051753.tif 000002
【特許請求の範囲】
【請求項１】
カメラによる自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリと、前記ビヘイビアメモリからのビヘイビアの出力を制御するビヘイビアコントローラとを有することを特徴とするカメラ。
【請求項２】
ビヘイビアをビヘイビアライブラリにアップロードすることができることを特徴とする請求項１に記載のカメラ。
【請求項３】
前記ビヘイビアコントローラは、ビヘイビアメモリを有する別のカメラにビヘイビアをアップロードするように構成されていることを特徴とする請求項１に記載のカメラ。
【請求項４】
前記ビヘイビアコントローラは、前記ビヘイビアメモリへのビヘイビアの入力も制御することを特徴とする請求項１に記載のカメラ。
【請求項５】
前記ビヘイビアコントローラは、前記カメラの外部にあるソースからのビヘイビアの入力を制御するように構成されていることを特徴とする請求項４に記載のカメラ。
【請求項６】
前記ビヘイビアコントローラは、データを外部ソースから取得して、前記ビヘイビアメモリ内のビヘイビアを変更することにより、前記カメラの外部にあるソースからビヘイビアを入力するように構成されていることを特徴とする請求項５に記載のカメラ。
【請求項７】
前記ビヘイビアコントローラは、ビヘイビアメモリを有する別のカメラからビヘイビアを入力するように構成されていることを特徴とする請求項５に記載のカメラ。
【請求項８】
前記ビヘイビアコントローラは、ユーザが関わる学習プロセスにより前記ビヘイビアメモリ内のビヘイビアを変更するように構成されていることを特徴とする請求項１に記載のカメラ。
【請求項９】
前記ビヘイビアメモリは、取り外し可能であることを特徴とする請求項１に記載のカメラ。
【請求項１０】
前記ビヘイビアコントローラは、地理的位置の指示に応答することを特徴とする請求項１に記載のカメラ。
【請求項１１】
前記ビヘイビアコントローラは、前記カメラがイベントにあるか、又は特定の場所にあることを示すために、イベント又は場所に配置されたビーコンに応答することを特徴とする請求項１０に記載のカメラ。
【請求項１２】
前記ビヘイビアコントローラは、前記ビーコンからビヘイビアをダウンロードすることを特徴とする請求項１１に記載のカメラ。
【請求項１３】
前記ビヘイビアコントローラは、ビヘイビアを実施又はダウンロードする前に、前記ユーザ及びダウンロードルールベースのうちの一方をチェックすることを特徴とする請求項１２に記載のカメラ。
【請求項１４】
前記ビヘイビアコントローラは、ＧＰＳ測位システムに応答し、ビヘイビアは前記カメラの位置に応答して呼び出され得ることを特徴とする請求項１０に記載のカメラ。
【請求項１５】
ビヘイビアライブラリからビヘイビアをダウンロードすることができることを特徴とする請求項４に記載のカメラ。
【請求項１６】
前記ビヘイビアライブラリへの登録又は料金支払いが必要であり、前記カメラは、前記ライブラリからビヘイビアを取得することが可能になる前に、ライブラリアクセス制御権を確認しなければならないことを特徴とする請求項１５に記載のカメラ。
【請求項１７】
ビヘイビアインタプリタを備えることを特徴とする請求項１に記載のカメラ。
【請求項１８】
前記ビヘイビアコントローラは、ビヘイビアの未許可のエクスポートを阻止するセキュリティシステムを備えることを特徴とする請求項１に記載のカメラ。
【請求項１９】
前記セキュリティシステムは、ビヘイビアのエクスポートを開始するために、前記セキュリティシステムに対して共有シークレットを明らかにすることにより自己を明らかにするようユーザに求めることを特徴とする請求項１８に記載のカメラ。
【請求項２０】
前記ビヘイビアコントローラは、ビヘイビアの未許可の開始を阻止するセキュリティシステムを備えることを特徴とする請求項１に記載のカメラ。
【請求項２１】
前記セキュリティシステムは、ビヘイビアの使用を開始するために、前記セキュリティシステムに対して共有シークレットを明らかにすることにより自己を明らかにするようユーザに求めることを特徴とする請求項２０に記載のカメラ。
【請求項２２】
前記セキュリティシステムは、前記ユーザの生体認証データに応答することを特徴とする請求項１８に記載のカメラ。
【請求項２３】
前記セキュリティシステムは、前記ユーザの生体認証データに応答することを特徴とする請求項２０に記載のカメラ。
【請求項２４】
前記ビヘイビアに含まれる命令に従い、かつ、前記シーンを取り込むか否かを判断する解析に基づいて、前記カメラで見ているシーンを解析する画像プロセッサを更に備えることを特徴とする請求項１に記載のカメラ。
【請求項２５】
携帯可能であることを特徴とする請求項１に記載のカメラ。
【請求項２６】
着用可能であることを特徴とする請求項１に記載のカメラ。
【請求項２７】
ローカルビーコン及び遠隔地にある計算装置のうちの一方とデータを交換するための通信装置を更に備えることを特徴とする請求項１に記載のカメラ。
【請求項２８】
ビヘイビアを変更し、前記ビヘイビアに信頼値を関連付けることが可能であり、前記ビヘイビアとともに前記信頼値を出力することを特徴とする請求項１に記載のカメラ。
【請求項２９】
ビヘイビアの出力は、前記信頼値が所定のしきい値未満の場合に阻止されることを特徴とする請求項２８に記載のカメラ。
【請求項３０】
前記信頼値が所定のしきい値未満の場合に、ビヘイビアの出力にはユーザの介入が必要であることを特徴とする請求項２８に記載のカメラ。
【請求項３１】
カメラによる自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリと、前記ビヘイビアメモリとビヘイビアメモリを有する別のカメラとの間でのビヘイビアの入出力を制御するビヘイビアコントローラとを有することを特徴とするカメラ。
【請求項３２】
複数のカメラビヘイビアを格納するためのビヘイビアサーバであって、前記ビヘイビアサーバは、カメラとの通信チャネルを確立するように構成され、ユーザは、カメラビヘイビアを前記ビヘイビアサーバにアップロードすることができることを特徴とするビヘイビアサーバ。
【請求項３３】
カメラのユーザが前記カメラにダウンロードするカメラビヘイビアを選択できるようになされていることを特徴とする請求項３１に記載のビヘイビアサーバ。
【請求項３４】
ビヘイビアメモリを有するカメラの動作を変更する方法であって、前記カメラの位置を監視するステップと、所定の地理的位置に到達したことに応答して、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することから選択される少なくとも１つのアクションを実行するステップとを含むことを特徴とする方法。
【請求項３５】
カメラによる自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリを有するカメラであって、地理的位置に応答するとともに、所定の地理的位置に到達したことに応答し、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することのうちの少なくとも一方を実行することを特徴とするカメラ。
【請求項３６】
ビヘイビアメモリを有するカメラの動作を変更する方法であって、ビーコンの存在を監視するステップと、ビーコンが存在しているところにあることに応答して、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することのうちの少なくとも一方を実行するステップとを含むことを特徴とする方法。
【請求項３７】
前記新しいビヘイビアは、前記ビーコンからダウンロードすることができることを特徴とする請求項３６に記載の方法。
【請求項３８】
カメラによる自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリを有するカメラであって、ビーコンに応答するとともに、ビーコンが存在しているところにあることに応答し、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することのうちの一方を実行することを特徴とするカメラ。
【請求項３９】
前記新しいビヘイビアは、前記ビーコンからダウンロードすることができることを特徴とする請求項３８に記載のビヘイビアメモリを有するカメラ。
【請求項４０】
動作を変更させるために、適切に構成されたモバイル機器により受信されかつ解釈され得る信号を送信するように構成されていることを特徴とするビヘイビアビーコン。
【請求項４１】
前記適切に構成されたモバイル機器は、ビヘイビアメモリを有するカメラを含むことを特徴とする請求項４０に記載のビヘイビアビーコン。
【請求項４２】
モバイル機器による自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリと、前記ビヘイビアメモリからのビヘイビアの出力を含む、前記ビヘイビアメモリでのビヘイビアの交換を制御するビヘイビア交換コントローラとを有することを特徴とするモバイル機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラのビヘイビア（behaviour）をアップロード・ダウンロードする機構を有する自律カメラに関する。
【背景技術】
【０００２】
カメラの操作者という役割にあると、多くの場合、ユーザが取り込もうとしているまさにそのイベント（行事）とは無関係の状態のままであることがある。従って、結婚式，スポーツの試合への参加，又は休日を楽しむなど、家族のイベントに参加しているというよりも、人によっては、それぞれのカメラにこれらのイベントを取り込む工程に没頭し過ぎてしまい、厳密にはイベントに参加しておらず、単にカメラのビューファインダを通してイベントの殆どを観察するだけになる人もいる。
【０００３】
科学文献では、着用可能な（身に着けることができる）カメラを提供することが提案されている。例えば、Starner、Schiele、及びPentland 著「Visual Contextual Awareness in Wearable Computing」 2nd International Symposium on Wearable Computers October 1998を参照されたい。このような着用可能なカメラは、人物の周囲の環境を常に監視し、そこからシーンを取り込むことが可能である。勿論、このようなカメラはユーザにより操作することが可能であるが、画像が「関心のある(interesting)」ものであるか否かを判断するために、カメラが常にアクティブであり、取得したシーンを解析することが好ましい。この文脈の中で、「関心のある」とは、カメラの所有者にとって興味のあるものである場合があることを意味する。
【０００４】
着用可能なカメラは、周囲の環境を理解する性質を有していない。従って、ユーザが取り込みたい画像、或いは取り込みを好む画像を判断するために、カメラに提示された視覚的（及び他の）手掛かりを理解するようにトレーニングする必要がある。画像を格納すべきか否かを判断するためにカメラが適用することのできる「ルール」は、「ビヘイビア（behaviour）」と考えることができる。カメラが適用すべきビヘイビアは、カメラの位置及びカメラが向けられているアクティビティに応じて様々であり得る。従って、着用可能なカメラがスキーヤーに取り付けられている場合には、関心のある画像に、他の物体がスキーヤーの適度な近さのところにある画像が含まれる可能性がある。しかし、カメラが丘を歩いている人に取り付けられている場合には、景色のパノラマビューが好まれる傾向がある。更に、スキーに適したビヘイビアを有するカメラを、ショッピングモール又はスーパーマーケットの内部で使用する場合には、ほぼ全ての画像が、面白いとみなすのに十分近くに物体があるという条件を満たすことになる可能性があるため、カメラは十分なレベルの区別を示す可能性は低く、おそらく、着用者（装着者）がスーパーマーケット環境にいるほぼ全ての時間に関連する画像を取り込むことになるであろう。
【０００５】
学習能力のあるカメラが、Eastman Kodak Companyに譲渡された米国特許第５，２２７，８３５号に開示されている。学習能力のあるカメラは、フォーカスセンサ，露出センサ，動きセンサ，ストロボ制御センサ等の入力、及び、カメラマイクロプロセッサに応答し、カメラの特徴が撮影者が望む写真特徴に合うように、カメラストロボ，シャッタスピード，レンズフォーカス，及びアパーチャ等のカメラ機能のパフォーマンスを変更するテンプレートマッチングニューラルネットワークを備える。ニューラルネットワークテンプレートは、パーソナルコンピュータで実行される、ルールベースのエキスパートシステムにより変更することができる。
【０００６】
Clarkson及びPentland 著「Unsupervised Clustering of Ambulatory Audio and Video」proceedings of the International Conference of Acoustics, Speech and Signal Processing, Phoenix, Arizona, 1998等において、研究者らは、隠れマルコフモデルを使用してカメラを取り巻く環境の性質を判断する着用可能なカメラを開示している。従って、ビデオストアで見るような種類の画像についての知識を有するカメラが、別のビデオストアに入った場合にうまく機能することが実証されており、他のイベントからこの環境を区別することが可能である。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明の第１の態様によれば、カメラによる自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリと、前記ビヘイビアメモリからのビヘイビアの出力を制御するビヘイビアコントローラと、を有するカメラを提供する。
【０００８】
従って、既存のビヘイビアをそれ以降の使用のためにアップロード又は保存するか、又はビヘイビアメモリを有する同様のカメラに転送することができる自動カメラを提供することが可能である。
【０００９】
有利なことに、ビヘイビアコントローラは、ビヘイビアメモリにビヘイビアを提供するようになっている更なるカメラからビヘイビアをダウンロード又は受信することができるように、ビヘイビアメモリへのビヘイビアの入力も制御する。更なるカメラもまた、同様にビヘイビアを受信することが可能であり得る。
【００１０】
先に述べたように、カメラは、写真を自律的（自立的）に、或いは少なくとも半自律的に撮影するように構成することができる。しかし、カメラの動作を支配するルールは、カメラで観察しているイベントに応じて変更する必要がある場合がある。こういったルールは、カメラで見ているシーンに関する美的考慮事項のみならず、そのシーンを取り込んだときに考慮すべき技術的問題にも影響を及ぼし得る。例えば、携帯用自律カメラを着用（装着）している人がテニスコートに入ると想定する。着用者はスタンドにいるものと想定すると、カメラ内で実施される１つのルールにより、コートがカメラにより取り込まれる写真の中央領域にある枠の中にあるときに、写真は単に取り込まれる、又は更なるルール処理を受けるべきであることを示し得ることを理解することができる。これは、画像全体が芝生のテニスコートの草に対応して緑色の内容が多い、又はクレイコートのプレイ面に対応して赤色の内容が多くなるように求めることにより実現することができる。更に、カメラのビヘイビアは、周囲の照明レベルに関係なくテニスコートにあるときはストロボ写真が禁止されるようなものであってよい。
【００１１】
有利なことに、カメラコントローラは、カメラビヘイビアの変更を行わせるために、地理的位置の指示に応答する。ビヘイビアコントローラは、例えば、カメラ及び着用者によって観察又は「消費（consume）」され得るイベントの付近に配置されたビーコンに応答することができる。従って、テニスの試合の例に戻ると、テニスコート付近にあるという情報をカメラに提供するために、テニスコートの周辺にビーコンを配置することができる。ビーコンにより提供される情報としては、場所の詳細のみならず、任意のビヘイビア、更には強制的なビヘイビアを挙げることができる。例えば強制的ビヘイビアは、カメラがビーコンと通信したままである間、禁止命令が取り除かれる時間まで、又は所定の時間が経過するまで、カメラのストロボ写真機能を禁止することができる。従って、これら強制的な命令を使用して、イベントの主催者の要望に従ってカメラのビヘイビアを変更することができる。従って、カメラが結婚式、例えば著名人の結婚式にある場合には、新婦が身体の周囲にビーコンを隠しておくことができ、ビーコンが、新婦の個人的な好みに応じて、新婦が全ての画像から除外されるか、或いは全ての画像に含まれるように確実にすることができる。勿論、異なる強制的な命令を異なるカメラに送ることができるように、強制的な命令にカメラ又はユーザの識別情報を関連付けてもよい。従って、許可を受けた撮影者は、強制的な命令を無視するように各自のカメラをプログラムすることができるようにし、他の全てのユーザは強制的な命令に従うよう強制することが可能である。
【００１２】
任意のビヘイビアもカメラに提供することが可能である。カメラの所有者又はユーザは、カメラが任意のビヘイビアに従って動作するか否かについて選択を有することから、ビヘイビアは任意である。ユーザは、任意のビヘイビアを自動的に受け入れ、それに従ってパフォーマンスを変更するように各自のカメラを設定することができる。別法として、ユーザは、任意のビヘイビアが提供されたことをユーザに通知するようにカメラを設定してもよい。そして、カメラは、ディスプレイ又は他の通信装置を使用して、提供されたビヘイビアについての要約又はコメントを提供することができる。これにより、任意のビヘイビアをダウンロードするか否かの判断に十分な情報がユーザに与えられる。従って、ビーコンを有するスポーツイベントの場合には、ビーコンは、そのスポーツイベントに関連するわくわくする画像又は関連画像を取り込むようなカメラのパフォーマンスの強化を意図したビヘイビアのダウンロードを提供することができる。
【００１３】
追加及び／又は別法として、カメラは、カメラが自分の地理的位置を正確に決定できるようにするＧＰＳトランシーバ等のような他の測位システムに応答することが可能である。カメラが特定の領域内にあること、又はカメラが領域内にないことにより、１つ又は複数の所定のビヘイビアを呼び出すように構成することができる。従って、カメラは、その地理的位置から海にいると判断した場合、カメラが自分に押し寄せてくる波の終わりのない画像を取り込まず、その代わりに、船に乗っている画像又は海洋生物の画像を取り込むなど、他の特徴に感応するように保証する役割を果たすビヘイビアをダウンロードすることができる。更に、カメラの技術的ビヘイビアも変更することができるため、例えば、偏光フィルタ又は他の適したフィルタをカメラの光路内に自動的に含めて、海面からのグレアを低減することができる。
【００１４】
従って、異なるビヘイビアを異なる状況及び位置に対して考案することができる。カメラユーザがカメラをトレーニングすることは実現可能であり得るが、カメラビヘイビア制御プログラム又はプログラムを他のソースからダウンロード、或いは他の方法でインポートできるほうがユーザにとってはるかに都合がよい。従って、カメラビヘイビアのライブラリを作成することができ、ユーザが各自のカメラの応答を特定の状況にカスタマイズできるように、ユーザが無料で、或いは料金支払いベースで適切にこれらライブラリにアクセスできるようにすることが可能である。このようなライブラリのダウンロードは、カメラの外部にあってもよい移動通信装置を介してビヘイビアライブラリサーバと通信を確立することにより実現することができる。例示的な装置は、カメラの赤外線リンクを介して、又はＢｌｕｅｔｏｏｔｈ等の他のある通信媒体を介して、カメラと通信することができる赤外線リンクを有する携帯電話である。別法として、カメラは、一体化された通信装置を有してもよく、又は別法として、通信装置内にカメラが包含されてもよい。カメラ内蔵型の携帯電話が既に市販されている。更に、個人情報端末等、他のハンドヘルド計算装置も必要な機能を備えているものもあり、又は撮像要素及び通信要素を両方とも内蔵しているものがある。
【００１５】
ライブラリは、パスワード、又は更に生体認証データ等のような共有シークレットを明らかにすることにより、それぞれの身元を確認することをユーザ又はユーザのカメラに求めることができる。電子カメラは、高解像度撮像装置を既に備えているため、虹彩パターンに基づいたユーザ識別に特に適している。
【００１６】
有利なことに、ユーザは、各自のカメラのビヘイビアを作成することもでき、或いは、カメラのビヘイビアを変更して、これらをライブラリ内の、おそらくそれぞれ制限付きの空間に、又は他のビヘイビア記憶装置に保存することもできる。このように変更されたビヘイビア、又は実際にはビヘイビア全般は、ユーザがシークレット（秘密）にしておきたい場合があり、開示されることのないプライベートなサブ・ビヘイビア（sub-behaviour）を含むことができる。このようなプライベート又はシークレット（秘密）のビヘイビアは、特定の人々を画像の取り込みに包含又は除外しようとするものであることができる。有利なことに、Trusted Computing Platform Alliance（TCPA）アーキテクチャに従ったプラットフォーム等のような安全な計算プラットフォームを使用して、確実に、ビヘイビア内のシークレットが未許可のユーザに提供されないように、又は他の目的で改竄することができないようにすることが可能である。ＴＣＰＡ仕様はwww.trustedcomputing.orgにおいて見つけることができる。
【００１７】
カメラのビヘイビアを制御する命令は、有利なことに、製造業者又は内部計算装置に関係なく、同じビヘイビアをあらゆる適宜使用可能なカメラにも使用することができるような、機械から独立したフォーマットで提供される。従って、命令は、マークアップ言語、例えばＸＭＬで書くことができ、カメラ内で解釈することができる。
【００１８】
有利なことに、カメラは、取り込みに適していると考える画像を格納する長期画像格納部を備える。カメラは、最後の数分の画像が一時的に格納される短期画像格納部又はバッファも備えることができる。従って、バッファの使用は、ユーザが介入して格納する必要がある最近の画像を選択することができるようにするのに有利である。バッファは、また、これらのイベントの何れに興味を持つ傾向があるかを判断するために、イベントの進展に対する解析をカメラが実行できるようにする。従って、例えば、カメラがニュース収集又は「レポーター」ビヘイビアで動作しており、画像解析から、誰かが地面に横たわっており、おそらく他人が側にいるか、又は血が見えていると判断した場合には、カメラは、バッファメモリに問い合わせて、関連するイベントに繋がる一連の静止画像或いは動画クリップを取り込むことができる。
【００１９】
有利なことに、カメラは、環境の静止画像又は動画を生成するように動作可能である。
【００２０】
好ましくは、カメラは、追加のセンサを備える。カメラ着用者からの手掛かりを得るために、このようなセンサとしては、マイクロフォン，動きセンサ，更には心拍数センサ及び視方向センサ等の生体認証センサを挙げることができる。マイクロフォンは、オーディオトラックを動画像又は静止画像に関連付けるために使用することができる。しかし、マイクロフォンは、どんな画像が関心のあるものであり得るかをビヘイビアプロセッサが判断することができるように、ビヘイビアプロセッサに入力も供給する。従って、上に述べたニュース収集ビヘイビアには発砲音が重要である一方で、「テニスの試合」ビヘイビアでは、有意なイベントがテニスの試合内で発生した可能性があるときを判断するために、ラケットにボールが当たる音及び群衆の声援又はどよめきを使用することができる。
【００２１】
ユーザの手の動きもカメラへの入力に使用することができる。Langton、Watt、及びBruce 著「Do the Eyes have it? Cue to the Direction of Social Attention」Trends in Cognitive Neuroscience, 4(2):50-59, 2000等において、研究者らは、人間が用いる４つの観察モードを提案している。これらは、ペンに手を伸ばす、又はソファーに向かって移動するなどの自己推進による動きに関連する機構である「意図検出器」を備え、自己推進する物体と別の物体との間の２部分からなる関係（要望又は目標）に関して検出される。ユーザは、一般に自分が特に関心のあるものほどより長く見つめることから、視方向検出器又は注視方向検出器もまた重要な視覚的手掛かりである。こういったユーザアクション（ユーザ行動）は、「関心のある」画像が現在存在しているか否かを判断する際に使用することができるカメラ情報を与えることができる。心拍数の増大又は皮膚の導電性等、他の生体認証データも、例えば着用者が興奮しているかを見るための手掛かりとして使用することが可能である。
【００２２】
ビヘイビアは、カメラが絶対に何れの画像も撮影し格納すべきではないときも記述することができる。理由が何であれ、カメラを、一日中、着用（装着）していた人を考える。この時間中に、トイレに行く必要がある可能性は高い。トイレ内で画像を取り込むことは一般に望ましくないと考えられるため、特定のビヘイビアモデルを呼び出してカメラの画像センサを抑制するか、又はトイレビーコンをこのような設備に、又はこのような設備に隣接して提供することができる。トイレビヘイビア等、一般に使用されるビヘイビアでは、ビヘイビアは、いつでも呼び出すことができるように、ビヘイビアメモリの一部内に永久的に格納することができる。このようなビヘイビアには、要求されるビヘイビアを呼び出すために、トイレに、又はトイレに隣接して表示することのできるバーコード又はカラーパターンコード等のコードに関連付けることが可能である。従って、視覚的ビーコンもまたカメラビヘイビアを変更させるために使用し得ることは明らかである。
【００２３】
本発明の第２の態様によれば、カメラによる自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリと、前記ビヘイビアメモリとビヘイビアメモリを有する別のカメラとの間でのビヘイビアの入出力を制御するビヘイビアコントローラと、を有するカメラが提供される。
【００２４】
本発明の第３の態様によれば、複数のカメラビヘイビアを格納するビヘイビアサーバであって、前記サーバはカメラとの通信チャネルを確立するように構成され、ユーザはカメラビヘイビアを前記サーバにアップロードすることができる、複数のカメラビヘイビアを格納するビヘイビアサーバが提供される。
【００２５】
本発明の第４の態様によれば、カメラの動作を変更する方法であって、前記カメラの位置を監視するステップと、所定の地理的位置に到達したことに応答して、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することから選択される少なくとも１つのアクションを実行するステップと、を含むカメラの動作を変更する方法が提供される。
【００２６】
本発明の第５の態様によれば、ビヘイビアメモリを有するカメラの動作を変更する方法であって、ビーコンの存在を監視するステップと、ビーコンが存在しているところにあることに応答して、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することから選択される少なくとも１つの動作を実行するステップと、を含むビヘイビアメモリを有するカメラの動作を変更する方法が提供される。
【００２７】
本発明の第６の態様によれば、カメラによる自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリを有するカメラであって、地理的位置に応答するとともに、所定の地理的位置に到達したことに応答し、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することのうちの少なくとも一方を実行する、ビヘイビアメモリを有するカメラが提供される。
【００２８】
本発明の第７の態様によれば、ビヘイビアメモリを有するカメラの動作を変更する方法であって、ビーコンの存在を監視するステップと、ビーコンが存在しているところにあることに応答して、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することから選択される少なくとも１つの動作を実行するステップと、を含むビヘイビアメモリを有するカメラの動作を変更する方法が提供される。
【００２９】
本発明の第８の態様によれば、カメラによる自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリを有するカメラであって、ビーコンに応答するとともに、ビーコンが存在しているところにあることに応答し、新しいビヘイビアを実施すること及び新しいビヘイビアを実施するオプションについてユーザに通知することを含むリストから選択される１つの動作を実行する、ビヘイビアメモリを有するカメラが提供される。
【００３０】
本発明の第９の態様によれば、適切に構成されたモバイル機器（携帯装置）により受信し解釈することができる、動作を変更させる信号を送信するように構成されたビヘイビアビーコンが提供される。
【００３１】
本発明の第１０の態様によれば、モバイル機器による自動画像解析及び画像の取り込みを制御する少なくとも１つのビヘイビアを格納するビヘイビアメモリと、前記ビヘイビアメモリからのビヘイビアの出力を含む、前記ビヘイビアメモリとのビヘイビアの交換を制御するビヘイビア交換コントローラとを有するモバイル機器が提供される。
【発明を実施するための最良の形態】
【００３２】
本発明について、添付図面を参照して例として更に説明する。
【００３３】
全体を２で示すカメラを図１に示す。カメラ２は、光学系６と関係する電荷結合素子アレイ等のような画像取り込み要素４を備える。光学系６は、一般に、レンズフォーカス機構及びアパーチャ制御機構とともにレンズ８（複合レンズであってもよい）を備え、レンズフォーカス機構及びアパーチャ制御機構は両方とも一般にカメラに設けられているため、本明細書において更に説明する必要はない。電荷結合素子アレイ４上で取り込まれた画像は、データプロセッサ１０に供給される。データプロセッサ１０は、確実に輝度及びフォーカス制御が既知の写真撮影原理に従って行われるように、出力をアパーチャ及びフォーカスコントローラに供給する。データプロセッサ１０は、通常、ユーザが各自の要望及び選択をカメラに入力することができるようにするカーソル制御機構及び他のボタン又はスイッチとともに、画像及びメニューを表示する液晶表示画面を備えるユーザインタフェース１２との双方向通信手段も有する。ユーザインタフェース１２は、通常、ズーム制御ボタン及びシャッタボタンも備える。従って、ユーザインタフェース１２は、電子カメラに見られる典型的なものである。データプロセッサ１０は、ビヘイビアメモリ１４とも通信し、ビヘイビアメモリ１４は、カメラの制御、特に、ルールに指定された１つ又は複数のイベントがカメラのセンサ（画像取り込み構成要素も含む）により検出されたことに応答してのカメラによる自動画像取り込みの制御に使用されるルールを定義するデータを格納することができる。このようなイベントは、例えば、画像取り込み装置により観察される指定のスポーツアクティビティ、又はカメラを装着（着用）している人物の動きに起因するカメラの物理的な動きであることができる。各種イベントに対してカメラが行うアクション／応答を規定するルールを指定するデータは、「カメラビヘイビア」を規定するものとみなすことができる。データプロセッサ１０は、カメラビヘイビアのビヘイビアメモリ１４へのインポート又はビヘイビアメモリ１４からのエクスポートを制御するように構成されるとともに、カメラがビヘイビアメモリ内に収容されているカメラビヘイビアのルールに従って画像を自動的に取り込むことができるように、カメラビヘイビアも実行する。データプロセッサ１０は、位置決定装置１６とも通信し、位置決定装置１６は、通常、ＧＰＳモジュールを備える。データプロセッサ１０は、通信装置１８及び２０とも通信する。通信装置１８は、例えば、赤外線装置、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）装置、又はローカルビヘイビアビーコンの存在を検出し、ビーコンと通信してダウンロードを実行し、またオプションとしてビヘイビアのアップロードを実行することのできる他のローカル通信装置であることができる。通信装置２０は、通常、カメラが携帯電話インフラを介して遠隔地にあるライブラリにアクセスすることのできる移動電話構成要素である。データプロセッサ１０は、画像格納部２２とも通信し、画像格納部２２は、通常、長期画像格納部２４及び短期画像格納部２６に細分される。その後の抜き出しのために取り込まれている画像は、画像格納部２４に格納される一方で、一時的な短期画像格納部２６は、「関心のある」ものか否かを判断するために、イベントの進展を解析することができるような作業領域として機能する。データプロセッサ１０は、データ交換バス３０にも接続され、メモリ２４から格納画像をダウンロードして抜き出すため、又は計算装置（図示せず）から直接ビヘイビアを変更するため、物理的な接続をカメラと他のある計算装置との間に行うことができる。データプロセッサ１０は、ユーザの動きに応答するように、動きセンサ３４（慣性センサ又はジャイロスコープ等）にも接続することができる。本実施形態では、プロセッサ１０は、カメラビヘイビアをビヘイビアメモリにロードするために、無線（この例ではＢｌｕｅｔｏｏｔｈ）ポート１８、ＧＰＲＳ接続ポート２０、又はＵＳＢポート３０により提供される入出力機能を制御するようにもなっている。従って、プロセッサは、ビヘイビアメモリ１４へのビヘイビアの入力（起動は、通常、外部ソース（以下より詳細に説明する）からのダウンロードに従って入力される）及びビヘイビアメモリからのビヘイビアの出力を制御する。ビヘイビアの出力には、ビヘイビアのビヘイビア格納部への転送（すなわち、ビヘイビアのアップロード），ビヘイビアの削除，又はカメラ構成に応じて、カメラがビヘイビアに従って動作するようにルールがデータプロセッサにより解釈される更なるメモリへのビヘイビアの転送が含まれる。
【００３４】
好ましい一実施形態では、図２に示すように、カメラ２は、同様のカメラ３６と直接通信することができ、カメラ３６もまたデータプロセッサ，ビヘイビアメモリ３７，及び通信装置を備える。この通信装置は、赤外線装置，Ｂｌｕｅｔｏｏｔｈ装置，携帯電話構成要素，又はケーブル接続用のポートであってもよい。従って、カメラ２は、通信リンク３８を介して同様のカメラ３６のビヘイビアメモリ３７に、またそこからビヘイビアを転送することができる。同様に、同様のカメラ３６もカメラ２のビヘイビアメモリ１４に、またそこからビヘイビアを転送することができる。このようにして、２台のカメラ２，３６は、ビヘイビアを交換することが可能である。このような交換では、カメラ２，３６のうちの一方又は両方のユーザによる介入が必要な場合がある。
【００３５】
一実施形態では、ビヘイビアメモリ１４は、フラッシュメモリカード等の取り外し可能なメモリカードである。１つ又は複数のビヘイビアを含むメモリカードは、１台のカメラから取り外して更なるカメラに挿入することができ、更なるカメラは、メモリカードからビヘイビアを実施する。従って、ユーザは、２台のカメラ、例えば日常の撮影用のコンパクトなカメラ及び専門的写真撮影用の高品質であるが大型のカメラを有し得る。ユーザは、メモリカードを使用中のカメラに挿入することによって、同じビヘイビアをカメラ内で容易に実施することができる。
【００３６】
研究者らは、既に、着用可能なカメラがイベントを自動的に検出可能であることを実証していることに留意されたい。このようなイベントの検出は、通常、隠れマルコフモデル等のような時系列解析方法を使用して行われる。このモデルは、音声認識システムで使用するために開発されたものである。Lawrence R Rabiner 著「A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition」 Proceedings of the IEEE, 77(2):257-286, 1989を参照されたい。隠れマルコフモデルは首尾良く使用されてきている。例えば、Clarkson及びPentland著「Unsupervised Clustering of Ambulatory Audio and Video」（参照は上記）と、Yamato、Ohia、Ishii著「Recognising Human Action in Time Sequential Images using Hidden Markov Models」Proceedings of Computer Vision and Pattern Recognition conference, pp379-385, 1992とを参照されたい。隠れマルコフモデルは、入力変数の時間的構造の確率的空間モデルである。これらモデルは、通常、例パターンでトレーニングされる。従って、隠れマルコフモデルは、１つの特定の動作モードでは、テニスの試合中には特徴的な頭の動き及び音声強度を検出するようにトレーニングし、別の動作モードでは、群衆の典型的な声援及び比較的安定した頭の動きを特徴とする可能性が最も高い、点が入ったときの状況を検出するようにトレーニングすることが可能である。カメラがテニスの試合（場所又はイベントとして分類することができる）にあり、これら２つの隠れマルコフモデル（及び、おそらくその他）が、センサデータ、例えば、マイクロフォン３２からのデータ、ジャイロスコープ３４からのデータ、又は通信装置１８を介してカメラとインタフェースすることができる他のユーザセンサ（図示せず）からのデータのストリームと突き合わせられる場合には、カメラは、特定のイベントが発生したときを推測することができる。
【００３７】
各隠れマルコフモデルは、トレーニングされてきた特定の状況が発生している確率をもたらす分類器として使用することができる。いくつかのこのような分類器を並列に実行し、相対的確率を比較することにより、カメラは関心のある状況を検出することができる。従って、群衆のどよめきが検出される上に述べた状況では、第２のマルコフモデルは、点が最近入ったときに最高確率をもたし、そしてカメラがバッファ２６から最新の５秒又は１０秒のビデオを長期格納部２４に格納することができる。
【００３８】
本発明の一実施形態によれば、各種モデルは、それぞれ全体であるか、それともパラメータ化された形であるかに関わらず、ビヘイビアメモリ１４に、またそこから転送することができる。図３は、カメラ２を着用（装着）しているユーザ４０が矢印Ａで示される方向に移行している構成を概略的に示す。この移動中、ユーザは、内部にモデルを格納し、かつ、ビーコン４４がカメラ２と通信を確立することができるようなデータプロセッサ及び通信装置を有するモデルビーコン４４を通過する。ビーコン４４は、単純に、ビーコン４４の通信範囲内で使用されている時間期間中にモデル全体のダウンロードを容易に達成することができるように、高帯域インタフェースを使用してモデルの記述子及びモデル自体を繰り返し送信することができる。別法として、ビーコン４４は、更なる通信チャネル４８を介してモデルサーバ４６と通信してもよい。従って、ビーコン４４は、サーバ４６の局所存在箇所としての役割を果たす。このシナリオでは、カメラ２は、ビーコン４４を使用して、サーバ４６と通信を確立する。このようなシナリオは、サーバ所有者４６が、変更されたビヘイビアのカメラへのダウンロードを許可する前に、カメラユーザからの料金の支払いを求めることができるように、サーバ所有者４６がカメラ及びユーザの身元（カメラ２内の更なる記憶領域に格納することができる）を確認したい場合に有用である。
【００３９】
カメラ２が、セルラ電話インフラを介して、或いは局所存在箇所を介して遠隔地にあるサーバと確認するプロセスを図４に示す。このプロセスは、ステップ６０において開始され、カメラ及びサーバが互いに安全な通信を確立し、それから、例えば、サーバとの先行する登録プロセス中に規定されたシークレットを交換することにより、身元を認証（確認）する。この認証後に、制御はステップ６２に進み、選択肢のメニュー又は階層的メニューがユーザに対して表示される。このようなメニューは、カメラ内に組み込まれたＬＣＤ装置の使用により表示することができる。ステップ６４において、ユーザは、カメラに設けられたカーソルボタンを使用して、メニューから所望のビヘイビアを選択することができる。次に、制御はステップ６６に進み、適切なビヘイビアがサーバ（カメラビヘイビアのライブラリ又はリポジトリとして機能する）からカメラにダウンロードされる。ダウンロードは、データ保全性及びダウンロードの完了を検証することができるように、ハンドシェイクプロセスを含むことができる。ダウンロードが完了すると、オプションとして、制御はステップ６８に渡り、ユーザのアカウントがデビット（debit）され、それからステップ７０に進み、プロセスは、通信チャネルに対してハンドオフを実行し、チャネルを閉じることにより終了する。カメラのＬＣＤ装置のテキスト表示能力は限られているため、図５に示すタイプの単純なドロップダウンメモリを使用することができる。従って、図５では、スポーツビヘイビアが選択されており、オプションとして「テニス」，「ゴルフ」，及び「スキー」が提供されている。ユーザは、カメラの背面にあるカーソル制御ボタンを使用して、適切なオプションをハイライトし、更なるカメラボタンを操作してそれぞれの選択を確認する。勿論、カメラは、いくつかのビヘイビアを格納するに十分なサイズのビヘイビアメモリを有してもよい。このような場合、ユーザは、図５に示すタイプのメニューを使用して、例えば、ビヘイビアメモリに格納されているものからビヘイビアを選択することができる。
【００４０】
上に述べたように、ビヘイビアを選択／ダウンロードする代替の様式、或いは既に選択又はダウンロードされたビヘイビアを強化する方法の何れにおいても、カメラは、地理的位置に応答してビヘイビアを変更するように構成することができる。図６はこれを行うためのフローチャートを示す。制御は、ステップ８０において開始され、次に、ステップ８２にすぐに進み、ＧＰＳシステムに問い合わせてカメラの現在位置を発見する。次に、これは、ビヘイビアメモリ１４（メモリ１４に既に格納されているビヘイビアの変更であっても、或いは新しいビヘイビアのダウンロードであってもよい）に保持されているビヘイビアに関連する位置記述子と比較される。カメラがビヘイビア記述子により規定される指定エリア又は領域にある場合には、制御はステップ８４に進み、テストが行われ、ユーザが自動ビヘイビアアップデート（更新）を使用可能なようにカメラを設定していたか否かを調べる。ステップ８４において、自動アップデートが設定されていなかったと判断する場合には、制御はステップ８６に進み、ユーザに、新しいビヘイビアが適切であることが通知され、これより制御はステップ８８に進み、新しいビヘイビアを実施すべきか否かがユーザに訊ねられる。ユーザが実施すべきであることを示す場合には、制御はステップ９０に進み、新しいビヘイビアが適用され、その他の場合には、制御は手順の終了を表すステップ９２に進む。一方、ステップ８４において、ビヘイビアアップデートが自動的に行われるように設定されていた場合には、制御はステップ８４からステップ９０に直接進む。
【００４１】
ステップ８２において、使用すべきビヘイビアを予め規定した、指定の予め規定されたエリアにユーザがいない場合には、制御はステップ１００に進み、通信装置１８に問い合わせして、カメラがビーコンの付近にあるか否かを調べる。更に、視覚的ビーコンが検出されたか否かを判断するために、最近のビデオ画像も走査することができる。カメラがビーコンの付近にない場合には、制御はステップ９２に進んで終了し、その他の場合には、制御はステップ１０２に進み、アップデートについての情報が利用可能である場合には、このような情報がビーコンから得られる。ステップ１０２から、制御はステップ１０４に進み、テストが行われ、ユーザがカメラを自動アップデートに設定したか否かが調べられる。ユーザがカメラを自動アップデートに設定している場合には、制御はステップ１０６に進み、ビヘイビアアップデートがダウンロードされて適用され、ここから制御はステップ９２に進む。ステップ１０４に戻り、カメラがビヘイビアを自動的にアップデートするように設定されていなかった場合には、制御はステップ１０８に進み、プロンプトがユーザに発行され、ここからステップ１１０に進み、テストが行われ、ユーザがアップデートを許可したか否かを調べる。ユーザがアップデートを許可する場合、制御はステップ１０６に進み、その他の場合、制御はステップ９２に進む。
【００４２】
図６に示す手順は、カメラビヘイビアを変更すべきか否かをチェックするために周期的に繰り返すことができる。
【００４３】
単にビーコンに近接していることに頼るのではなく、ユーザはカメラインタフェースも使用して、携帯電話構成要素を介して適した使用可能サーバ４６への接続を強制して、図４に示す手順を呼び出すか、又は実際に現在のビヘイビアをそのユーザに確保された空間にアップロードするようにカメラに命令することができる。
【００４４】
カメラは、指導のないティーチング（Clarkson及びPentland参照）或いはユーザがカメラのトレーニングに参加する指導付き学習により、ビヘイビアモデルを変更するように構成することができる。従って、カメラは、カメラ内で実施されるビヘイビアに信頼値を関連付けることができる。カメラは、カメラ所有者がビヘイビアを格納したい場合、ビヘイビア及び信頼値の両方をアップロードすることができる。アップロードプロセスは、カメラビヘイビアの自動かつ周期的なアップロードが行われるように更に変更することができる。ビヘイビアのアップロードは、信頼値が所定のしきい値未満の場合に禁止することができ、又は、このようなアップロードに特定のユーザの介入を要求することができる。ビヘイビア及び画像解析は、画像取り込み構成要素から離れた処理ユニットで行うことができる。従って、十分な帯域幅が利用可能な場合には、遠隔地にあるカメラは、ビデオを計算装置に送信することができ、それから計算装置が本明細書に述べた解析を行うことができる。別法として、カメラは、ビデオを格納装置に格納することができるとともに、ビデオ格納部を後日において再び解析し、本明細書に述べたプロセスを使用して画像を自動的に選択することができる。
【００４５】
カメラは、カメラビヘイビアの交換（アップロード又はダウンロード）の実施の許可に先立って、例えば、パスワード又は生体認証データ（虹彩スキャンはカメラ内で実施することができる）を介して、ユーザにユーザ自身（自己）を明らかにするように要求することができる。このセキュリティ機構システムは、データプロセッサにより実施することができる。
【００４６】
このように、カメラビヘイビアを自律カメラと交換するための機構を提供することが可能である。
【図面の簡単な説明】
【００４７】
【図１】本発明の一実施形態をなす自律着用可能カメラ内の構成要素を概略的に示す図である。
【図２】２台のカメラ間の通信を概略的に示す図である。
【図３】カメラとイベントビーコンとの間の通信を概略的に示す図である。
【図４】ビヘイビアライブラリからビヘイビアをダウンロードするプロセスを示す図である。
【図５】ビヘイビア選択のためにユーザに提示されるメニューを示す図である。
【図６】カメラビヘイビアの地理的変更を制御するフローチャートである。
【図１】
2005051753.tif 000003
【図２】
2005051753.tif 000004
【図３】
2005051753.tif 000005
【図４】
2005051753.tif 000006
【図５】
2005051753.tif 000007
【図６】
2005051753.tif 000008
【外国語明細書】
2005051753.tif 000009
2005051753.tif 000010
2005051753.tif 000011
2005051753.tif 000012
2005051753.tif 000013
2005051753.tif 000014
2005051753.tif 000015
2005051753.tif 000016
2005051753.tif 000017
2005051753.tif 000018
2005051753.tif 000019
2005051753.tif 000020
2005051753.tif 000021
2005051753.tif 000022
2005051753.tif 000023
2005051753.tif 000024
2005051753.tif 000025
2005051753.tif 000026
2005051753.tif 000027
2005051753.tif 000028
2005051753.tif 000029
2005051753.tif 000030
2005051753.tif 000031
2005051753.tif 000032
2005051753.tif 000033
2005051753.tif 000034