(57)【要約】自動写真式カメラ装置または自動電子カメラ装置では、所定の人物からの音が優先的に受け取られる、または識別されて音声信号を提供し、それから該音声信号を使用して顕著性信号（１１）（人物の状況に対する反応を示す）を生成し、カメラ１またはカメラ１から生成される画像信号（２、６）を制御する。音声は、たとえば人物の頭部または喉にある音伝達マイクロフォン（４）により、または必ずしも人物が装着する必要のない、特定性の低いマイクロフォンと併せて使用される声識別回路によって検出することができる。人物はカメラを装着しても、またはしていなくてもよい。制御はリアルタイムであっても、または後で画像信号を制御する（７）ために、音信号もしくは顕著性信号を画像信号とともに記録（３）してもよい。音声信号は、たとえば、発話（言葉認識および／または韻律）または非発話の声音、および／または非声音等の音を認識するために、波形解析によって分類することができ、信号の振幅も考慮に入れることができる。
2005506003.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を提供する電子カメラと、所定の人物からの音声を優先的に受け取りまたは識別し、これに応答して音声信号を生成することが可能な音検出手段と、前記画像信号と共に前記音声信号を記録する記録手段とを備える自動撮像装置。
【請求項２】
前記音検出手段は、前記所定の人物の頭部領域または喉領域に装着されるように適合され、前記装着者の頭部から発せられる音声を優先的に検出し、これに応答して前記音声信号を生成する音伝達マイクロフォンを備える、請求項１に記載の自動撮像装置。
【請求項３】
前記音声信号および画像信号を再生する手段と、前記再生音声信号に応答して顕著性信号を提供する音声手段と、前記顕著性信号に応答して、前記再生画像信号を制御する制御手段とをさらに備える、請求項１に記載の自動撮像装置。
【請求項４】
カメラ、所定の人物からの音声を優先的に受け取り、または識別し、これに応答して音声信号を生成することが可能な音検出手段と、前記音声信号に応答して顕著性信号を提供する音声手段と、前記顕著性信号に応答して前記カメラを制御する制御手段とを備える自動撮像装置。
【請求項５】
前記カメラは画像信号を提供する電子カメラである、請求項４に記載の自動撮像装置。
【請求項６】
前記カメラは、画像を感光媒体に記録するように構成されている、請求項４に記載の自動撮像装置。
【請求項７】
画像信号を提供する電子カメラと、所定の人物からの音声を優先的に受け取り、または識別し、これに応答して音声信号を生成することが可能な音検出手段と、前記音声信号に応答して顕著性信号を提供する音声手段と、前記顕著性信号に応答して前記画像信号を制御する制御手段とを備える自動撮像装置。
【請求項８】
前記音検出手段は、前記所定の人物の頭部領域または喉領域に装着されるように適合され、前記装着者の頭部から発せられる音声を優先的に検出し、これに応答して前記音声信号を生成する音伝達マイクロフォンを備える、請求項３〜７のいずれかに記載の自動撮像装置。
【請求項９】
前記音声手段は、前記音声信号の波形を解析して、所定のカテゴリの集合の１つに入るものとして分類する音声解析手段を備える、請求項３〜８のいずれかに記載の自動撮像装置。
【請求項１０】
前記音声解析手段は声音を認識するように構成されている、請求項９に記載の自動撮像装置。
【請求項１１】
前記音声解析手段は発話に関連する音声を認識するように構成されている、請求項１０に記載の自動撮像装置。
【請求項１２】
前記音声解析手段は言葉を認識するように構成されている、請求項１１に記載の自動撮像装置。
【請求項１３】
前記音声解析手段は韻律に関連する特徴を認識するように構成されている、請求項１１または１２に記載の自動撮像装置。
【請求項１４】
前記音声解析手段は非発話声音を認識するように構成されている、請求項９〜１３のいずれかに記載の自動撮像装置。
【請求項１５】
前記音声解析手段は非声音を認識するように構成されている、請求項９〜１４のいずれかに記載の自動撮像装置。
【請求項１６】
前記音声解析は一連の参照波形を含み、該一連の参照波形と照らし合わせて前記分類が行われる、請求項９〜１５のいずれかに記載の自動撮像装置。
【請求項１７】
前記音声解析は、新しい音声を認識するようにトレーニング可能であるように構成されている、請求項９〜１６のいずれかに記載の自動撮像装置。
【請求項１８】
前記音声解析手段は、前記音声信号にカテゴリを割り当てるとき、全体の信号振幅またはエンベロープを考慮するように構成されている、請求項９〜１７のいずれかに記載の自動撮像装置。
【請求項１９】
空気を介して音声を受け取る従来のマイクロフォンをさらに備える、請求項９〜１８のいずれかに記載の自動撮像装置。
【請求項２０】
前記従来のマイクロフォンからの信号を記録する手段を備える、請求項１９に記載の自動撮像装置。
【請求項２１】
前記音声解析手段は、分類に際し、前記音声信号を所定のカテゴリの集合の１つに入るものとして分類分類するとき、前記従来のマイクロフォンからの前記信号を考慮に入れるように構成されている、請求項１９または請求項２０に記載の自動撮像装置。
【請求項２２】
前記音声解析手段は、前記音声信号に割り当てられた前記カテゴリによって少なくとも部分的に決定される値を有する顕著性信号を提供するように構成されている、請求項９〜２１のいずれかに記載の自動撮像装置。
【請求項２３】
前記音声解析手段は、前記音声信号に割り当てられた前記カテゴリに従って二値の前記顕著性信号を提供する、請求項２２に記載の自動撮像装置。
【請求項２４】
前記音声解析手段は、前記音声信号に割り当てられた前記カテゴリに従って複数の値のうちの１つを有する顕著性信号を提供する、請求項２３に記載の自動撮像装置。
【請求項２５】
前記音声解析手段は、前記割り当てられたカテゴリの関数としての離散変数であり、前記音声信号の前記全体の信号振幅またはエンベロープの関数としての連続変数である顕著性信号を提供するように構成されている、請求項２２に記載の自動撮像装置。
【請求項２６】
前記制御手段は、前記画像信号を選択的に伝送するゲートを備える、請求項３または請求項７に記載の、または請求項３または請求項７に直接もしくは間接的に従属する先行する請求項のいずれかに記載の自動撮像装置。
【請求項２７】
前記制御手段は、前記顕著性信号を他の制御信号と組み合わせて、前記ゲートを制御するゲート制御出力を生成する結合手段を備える、請求項２６に記載の自動撮像装置。
【請求項２８】
前記ゲートは、前記二値の顕著性信号によって直接制御されるように構成されている、請求項２６および請求項２３に記載の自動撮像装置。
【請求項２９】
前記カメラには、少なくとも該カメラを前記所定の人物に固定する固定手段が設けられる、先行する請求項のいずれかに記載の自動撮像装置。
【請求項３０】
前記カメラには、少なくとも前記撮像光学系を前記所定の人物の頭部に固定する固定手段が設けられる、請求項１〜２８のいずれかに記載の自動撮像装置。
【請求項３１】
前記被制御画像信号を記録する記録手段を備える、請求項７に記載の、または請求項７に直接もしくは間接的に従属する請求項８〜３０のいずれかに記載の自動撮像装置。
【請求項３２】
前記記録手段には、該記録手段を前記所定の人物に固定する固定手段が設けられる、請求項１に記載の、または請求項１に従属する請求項のいずれか１項、または請求項３１に記載の自動撮像装置。
【請求項３３】
前記記録手段は、音検出手段から離れたレコーダ位置に配置され、前記音声信号を前記音検出手段から前記レコーダ位置に無線伝送する手段を備える、請求項１に記載の、または請求項１に従属する請求項のいずれかに記載の自動撮像装置。
【請求項３４】
前記音声手段は、前記音検出手段から離れた音声手段位置に取り付けられ、前記音声信号を前記音声手段位置に無線伝送する手段を備える、請求項３〜７のいずれか１項、または請求項３〜７のいずれかに従属する請求項８〜３０のいずれかに記載の自動撮像装置。
【請求項３５】
前記制御手段は、前記音声手段から離れた制御位置に位置し、前記顕著性信号を前記音声手段から前記制御手段に無線伝送する手段を備える、請求項３〜７のいずれか１項、または請求項３〜７のいずれかに従属する請求項８〜３０のいずれかに記載の自動撮像装置。
【請求項３６】
前記カメラは、前記所定の人物上以外のカメラ位置に取り付けられる、請求項３３〜３５のいずれかに記載の自動撮像装置。
【請求項３７】
電子カメラを操作して画像信号を生成させる、操作するステップと、所定の人物からの音声を優先的に受け取り、または識別し、これに応答して音声信号を生成するステップと、前記音声信号を前記画像信号とともに記録するステップと、を含む撮像方法。
【請求項３８】
前記選択的に識別するステップは、前記所定の人物の頭部から発せられる音声を優先的に検出する、前記所定の人物の頭部領域または喉領域に合った音伝達マイクロフォンを使用して行われる、請求項３７に記載の撮像方法。
【請求項３９】
前記音声信号および前記画像信号を再生するステップと、前記再生音声信号に応答して顕著性信号を生成するステップと、前記顕著性信号に応答して前記再生画像信号を制御するステップと、をさらに含む、請求項３７に記載の撮像方法。
【請求項４０】
カメラを操作して画像信号を生成させる、操作するステップと、所定の人物からの音声を優先的に受け取り、または識別し、これに応答して音声信号を生成するステップと、前記音声信号に応答して顕著性信号を生成するステップと、前記顕著性信号に応答して前記カメラを制御するステップとを含む撮像方法。
【請求項４１】
前記カメラは画像信号を提供する電子カメラである、請求項４０に記載の撮像方法。
【請求項４２】
カメラを操作して画像信号を生成させる、操作するステップと、所定の人物からの音声を優先的に受け取り、または識別し、これに応答して音声信号を生成するステップと、前記音声信号に応答して顕著性信号を生成するステップと、前記顕著性信号に応答して前記画像信号を制御するステップと、を含む撮像方法。
【請求項４３】
前記優先的に受け取り、または識別するステップは、前記所定の人物の頭部から発せられる音声を優先的に検出する、前記所定の人物の頭部領域または喉領域に合った音伝達マイクロフォンを使用して行われる、請求項３９〜４２のいずれかに記載の撮像方法。
【請求項４４】
前記顕著性信号を生成するステップは、前記音声信号の波形を解析して、所定のカテゴリの集合の１つに入るものとして分類することを含む、請求項３９〜４３のいずれかに記載の撮像方法。
【請求項４５】
添付図面を参照して実質的に上に述べた自動撮像装置。
【請求項４６】
添付図面を参照して実質的に上に述べた撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
写真撮影の自動化は常に関心の対象であり、過去数十年にわたって高い関心を集めている。自動露出制御およびオートフォーカスは、今では大半のカメラで標準の機能であり、多くのカメラは他の電子的に制御される機能、または電気的機能を有している。１つ以上の感光アレイの形態の電子イメージセンサを備えたビデオカメラおよびスチルカメラは、ますます一般での入手が可能になりつつあり、画像を安価に記録する手段、編集を選択して、受け入れられると考えられる画像のみをプリントする手段、ＰＣおよび付属機器のみを使用して家でこれを行う手段、および電子メールを使用して画像を送受信する手段を含め、以前は利用できなかった機能を提供することから人気がある。
【０００２】
しかし、一般に、買ってきただけのカメラでは、写真のフレーミング（方向およびズーム）ならびにタイミングについての決定を含めて、操作者が撮影する実際の写真の構成を決定する必要がある。電子カメラの出現により、複数の写真を連続して、またはビデオクリップさえも記録し、そこからしかるべき画像を選択することができ、また、この後にある程度の編集を行うことができるが、操作者はやはり、カメラをおおよそ正しい方向に向けておおよそ正しいときに作動ボタンを押下する必要がある。
【０００３】
スチルまたはビデオ電子カメラは両方とも、一連の画像信号（「画像シーケンス」）を提供可能なセンサを有するため、本明細書では広く「電子カメラ」と呼ぶことにし、それぞれの出力を、得られるのが静止画像であるか、それとも画像シーケンスであるかに関わりなく、また画像信号がカメラに記録されるのか、それとも他のどこかに記録されるのかに関わりなく、「画像信号」と呼ぶことにする。写真または画像というときは、静止画像および画像シーケンスの両方を対象として含むものとして読むべきである。「カメラ」と限定することなく述べるときは、電子カメラあるいは感光記録媒体を使用するカメラ、たとえば、静止露出用のフィルム式カメラまたはシネカメラ（「写真」カメラ）に関連するものとして読むべきである。
【０００４】
オートフォーカスおよび露出等のカメラの制御は、写真撮影の技術的側面により関連する。これらは、フレーミングおよびタイミングを含む写真の構成にはほとんど関係ないか、またはまったく関係ないが、現在、この側面に関心が集まり、および意識のある操作者による入力がさらに低減されているか、または完全になくなった写真撮影機能または写真選択機能を有するインテリジェントなスチルカメラおよびビデオカメラの提供に対して関心が集まっている。
【０００５】
考えられるある方策は、連続して動作するカメラからの画像信号全体を格納する、またはシネカメラからのシーケンス、すなわち画像シーケンスの全体を格納し、そこから適した単一画像または少なくなった画像シーケンスを後の時間期間に選択するというものである。これにより、カメラ操作者に対する負担が軽減されるか、またはカメラ操作者に対する必要性が全く回避されるが、この手法では非常に大量の画像信号の記憶容量またはフィルム格納場所が必要であるだけではなく、操作する人が、後の選択プロセス中に、格納されている画像シーケンスを調べる必要があり、これもまた非常に時間がかかり、ひいては高価である。したがって、格納前に少なくともある程度の画像を選択させるか、あるいは画像シーケンス全体が格納される場合、画像シーケンスとともに、シーケンスの最も関心のある部分が見つけられる可能性が高いところを示すさらなる信号を記録することが非常に望ましい。
【０００６】
ある程度の写真の構成が行われる既知の種類の自動カメラ装置は、多様なものを包含している。一例としては、写真撮影状況が厳密に予め決定され、かなり限定された機器の形態であり、たとえば、本質的に固定位置にある席に着いた顧客が機械にお金を入れた後、カメラが固定されたタイミングで動作するパスポート写真撮影用のブースがある。
【０００７】
所定の条件または条件の集合に応答して、たとえば、１つ以上のセンサの出力に対して働くアルゴリズム的計算の結果に応答して、自動的に写真撮影が始まる装置では、より自由が許される。しかし、この種類の装置の１つの問題は、写真撮影を可能にするために必要な条件の集合を定義することにある。
【０００８】
ある特定の状況では、規定された条件が物理的に予め決定されている。警報の入力に応答して動作を開始するセキュリティカメラ、および運転の速すぎる車両に応答する交通速度カメラは、このカテゴリに入る。また、来訪者が乗っている車が、赤外線ビームを遮断することなどによってスイッチを作動させたときに起動される適宜に配置されている固定カメラを起動させて、テーマパークに車で来た来訪者の写真を撮影することも知られている。このようなシステムは、たとえば、国際特許出願番号ＷＯ９８／１０３５８号（Goldberg）、欧州特許出願第０９５３９３５号（Eastman Kodak）、米国特許第５，６５５，０５３号（Renie）、および米国特許第５，５７６，８３８号（Renie）に開示されている。
【０００９】
他のシステムによっては、撮像すべき特徴に関連する特徴の認識または検出によって幾分許容範囲が広いものもある。したがって、米国特許第５，８４４，５９９号（Hildin）には、会議テーブルの周囲の一群の人々と使用されるビデオカメラシステムが開示されており、各人がマイクロフォンを装着し、カメラは、そのときに話している人に向けられ、その人の動きをトラッキングするように構成される。これは、画像の記録よりも閲覧を意図したシステムである。欧州特許出願第０６６０１３１号（Osen）には、全地球測位システムを採用して、航空機等の特徴を、カメラを自動的にそこに向けることができるようにトラッキングするシステムが記載されている。
【００１０】
この点に関して、撮像中の特徴を識別し、かつ／またはカメラを起動するタグがますます利用されるようになっている。これは、上に述べた国際特許出願番号ＷＯ９８／１０３５８号（Goldberg）、および米国特許第５，６９４，５１４号（Evans）で行われ、異なる特徴の写真を容易に識別することが可能である。国際特許出願番号ＷＯ９８／１０３５８号（Goldberg）には、タグを使用してカメラを起動し、タグを装着している人に画像を関連付けるデータを提供することを含む複数のカメラシステムが記載されており、一変形では、顔認識を用いて特徴を識別し、最初にシステムに与えられる画像および他の関連データから作業を着手する。
【００１１】
しかし、いつでも、また関心があると考えられるあらゆるものの写真を撮影しようとするどんなところでもハンドヘルドカメラを用いることができる個人のカメラユーザと比較して、上に述べた従来技術のすべてでは、写真撮影の様式に関してかなりの制限が残っている。最もよく知られている自動カメラ装置は、固定カメラを採用するか、かつ／またはカメラが起動される状況に対して厳密な制約を有するか（たとえば制限された条件または条件の集合に関連するタグ、条件、またはアラーム入力への応答すること）のいずれかである。
【００１２】
テーマパーク等の商業的に設置されたものでは、カメラは本質的に固定され、特定の状況において画像を取り込むように配置される。この特定の状況とは、たとえば、格納される画像の少なくともいくつかが満足の行くように構成され、購入者になりうる人にとって興味のあるものとして心を引くことが証明されることになるものと期待される場合である。
【００１３】
可搬式であり、手動で操作されるカメラの場合のように、人物の位置に関わりなく、異なる画像を自動的に取り込むことができるカメラを提供可能なことが望ましい。
【００１４】
したがって、自動カメラ装置のさらに望ましい特徴は、見られている画像は所定の種類に関連しないかもしれないが、それでもある人物、たとえばカメラのユーザにとって興味のあるものでありうることを示す信号（「顕著性(saliency)」信号）の提供であると考えることができる。この信号は、選択的なカメラ操作の起動、または選択的なリアルタイムでの画像の格納に使用することができ、または、後の画像選択プロセスにおいて連続して格納される画像信号とともに使用することができ、もし信号が３つ以上の値（すなわち関心のある特徴に画像が関連するという相対的な尤度を示す）を有する場合には、これら技法を組み合わせたものが採用される。すなわち、関心のある可能性のあるすべての信号を格納し、他の信号を拒絶し、格納されている信号から後に選択し、初期の優先がより関心のあるものと示される信号の部分に与えられる。このような特徴は、本発明に関して意図される。
【００１５】
人物から発せられる音は、その人物がいる環境に対する人物の反応を示すことができるということが分かっている。このような反応は、特定の出来事に対するものであったり、または環境の全体的な雰囲気に対するものであったりする。反応は、たとえば、見ている、または可視のシーンまたは出来事、別の人物との対話、突然の音（バタン等）であるか、または連続した音（音楽等）であるかに関わらず音、および出来事に参加しているとき、または遊園地の乗物等の娯楽を楽しんでいるときに受ける刺激等の他の刺激に対してのものであることができる。反応がどうであれ生じると、人物が見ているシーンに、その反応の原因を表すか、または後日、少なくともその反応の原因を呼び起こすものであることができる。したがって、本発明の実施形態では、人物から発生された音が、顕著性信号の生成に採用される。本発明は、可搬性である、すなわち人物が携帯するカメラに対して特に有用であるがそれに限定されず、動くことのできる無生物物体に取り付けられるカメラ、または固定位置に取り付けられるカメラ、または固定軌道を辿るカメラと使用することが可能である。
【００１６】
第１の態様では、本発明は、画像信号を提供する電子カメラと、所定の人物からの音を優先的に受け取り、または識別し、これに応答して音声信号を生成することが可能な音検出手段と、画像信号とともに音声信号を記録する記録手段とを備える撮像装置を提供する。この第１の態様では、本発明は、音声信号および画像信号を再生する手段と、再生音声信号に応答して顕著性信号を提供する音声手段と、顕著性信号に応答して再生画像信号を制御する制御手段とをさらに備える。
【００１７】
第２の態様では、本発明は、カメラと、カメラと、所定の人物からの音を優先的に受け取り、または識別し、これに応答して音声信号を生成することが可能な音検出手段と、音声信号に応答して顕著性信号を提供する音声手段と、顕著性信号に応答してカメラを制御する制御手段とを備える撮像装置を提供する。
【００１８】
第２の態様では、好ましくは、カメラは画像信号を提供する電子カメラであるが、従来のスチルカメラまたはシネフィルムカメラであってもよい。カメラの制御は、写真撮影を起動することとすることができる。
【００１９】
第３の態様では、本発明は、画像信号を提供する電子カメラ、所定の人物からの音を優先的に受け取り、または識別し、これに応答して音声信号を生成することが可能な音検出手段、音声信号に応答して顕著性信号を提供する音声手段、および顕著性信号に応答して画像信号を制御する制御手段を提供する。
【００２０】
本発明は、第１〜第３の態様による装置を使用して撮像する方法に拡張される。
【００２１】
後に特に述べるように、好ましい音検出手段は、装着者（「所定の人物」）の頭部に合うように適合され、装着者の頭部および／または喉から発せられた音を優先的に検出し、これに応答して音声信号を生成する音伝達マイクロフォンである。しかし、所定の人物からの音を優先的に受け取る、または識別する他の技法も既知であり、音伝達マイクロフォンを使用する代わりにこれらを使用することも本発明の範囲内である。たとえば、これら技法は、２人以上の人物からの音を受け取ることができるマイクロフォンに対して動作する声認識ソフトウェアを使用することを含み、このようなソフトウェアは、特に特定のユーザからの、発話を認識するようにトレーニングすることができる。それにも関わらず、多くの場合、音伝達マイクロフォンを使用することで、意図する機能を実行する特に単純かつ効果的な方法を提供することができる。
【００２２】
本発明の３つの態様すべてに共通の装着式音伝達マイクロフォンは既知であり、通常、装着者の体、頭部および耳に装着されるマイクロフォンの場合は頭蓋骨を通して伝達される音の振動を検出する振動変換器を備える。これらマイクロフォンは、空気を通して伝達される音を拾うマイクロフォンと区別される。
【００２３】
耳装着式マイクロフォンの典型例は、国際特許出願番号ＷＯ８６／０７１５７(ACR Electronics)、米国特許第４，５８８，８６７号(Konomi)、および米国特許第５，６９２，０５９号(Kruger)に記載されている。他の頭蓋装着式マイクロフォンによっては、頭頂部に固定されるものがある。これらはすべて、通常は骨伝導を介して頭部を通して直接伝達される音を拾う振動変換器を備えている。別の典型的な形態の頭部装着式マイクロフォンは、喉に物理的に接して装着される。空気を通して伝達される音もまた、こういったマイクロフォンによって感知することができる。このようなマイクロフォンを動作させる回路は、たとえば、国際特許出願番号ＷＯ００／２１１９４（(Resound Corporation)）および欧州特許出願第０９８４６６０(Nippon Telephone and Telegraph Corporation)に開示されている。
【００２４】
音信号によって起動するカメラは既知である。米国特許第５，０１４，０７９号、および第５，１０７，２８８号（両方ともKonica Corporation）、ならびに米国特許第５，１６２，８３２号(Konishoroku Photo Ind.)に例が開示されているが、これらは概して、特定の１つの音特徴、たとえば、これら特定の場合の強度エンベロープ（すなわち音圧）にのみ応答するように構成されており、マイクロフォンはカメラに配置されており、音伝達マイクロフォンではない。
【００２５】
また、米国特許第５，８４４，５９９号(Lucent Technologies Inc.)から既知なのは、各参加者に、その人物が話しているときにタグとして働くマイクロフォンが提供される、会議で使用する自動カメラシステムであり、このシステムは、カメラが自動的に、話者または最も大きな声の話者の方を向くように構成される。このシステムは個人的なマイクロフォンを含むが、特に音伝達マイクロフォンではなく、利用される音パラメータは音の強さのみである。
【００２６】
この従来技術はいずれも、カメラの動作の制御またはカメラから生成される画像信号の制御に、頭部または喉に装着された音伝達マイクロフォンからの音声信号を使用することを対象としていない。
【００２７】
音を分類するシステムも存在し、上に述べた音声手段は、音声信号の波形を解析して、所定のカテゴリの集合の１つに入るものとして分類する音声解析手段を含むことができる。
【００２８】
米国特許第５，７１２，９５３号(Langs)は、音声信号を音楽または非音楽として分類するシステムを開示しており、他のこのような従来技術を参照している。おそらく、本発明により関係するものとして、米国特許第５，９１８，２２３号(Muscle Fish)は、所与の音信号と比較することによって音声信号をより詳細に分類するシステムを開示している。このシステムは、マルチメディアデータベースアプリケーション、および所与の音と同様に聞こえる音声データファイルを見つけるインターネットサーチエンジンで有用であると言われている。所与の一例は、サウンドトラック中の拍手および声援の識別である。ユーザが、「鳥の声」または「ロックミュージック」等の音の分類を作成することができる。
【００２９】
本発明の装置の基本的な形態では、音声解析手段は、所定の人物が発した、笑い声等の特定の１つのみの形態の音を認識するように適合することができ、このような場合、最も基本的なカテゴリの集合は「笑い声」および「他」からなるであろう。
【００３０】
しかし、他よりも困難なものもあるが、所定の人物が発した複数の音を分類し、そうして識別可能なカテゴリおよび／またはカテゴリが関連する出来事の範囲を広げることが可能である。所定の人物の頭部からの音を、別個に考える必要がある非発話および発話に分けることができる。
【００３１】
典型的な非発話音は、笑い声、鳴き声、鼻歌、咳、およびくしゃみ等の声音と、鼻で吸い込む音、引っ掻き音、食べているときの音、歯を摺り合わせる音（歯ぎしり）、およびげっぷ等の非声音を含む。
【００３２】
発話自体は、言葉と、言葉が話された様式（韻律）とに分けることができる。言葉認識技法は、多くの言葉を正確に認識するに十分に進歩している。韻律は、声の強度パターン（上がり調子の声か、それとも下がり調子の声か、または一続きの文章または詩の朗読、問い掛け、もしくは陳述に関連する変動パターン、ためらい、言葉が発せられた様式、すなわち、音節に関連する異なる強勢、声の周波数、話す速さ、発話の部分部分の持続時間のような特徴を含む。これは、離散した抽象的な発話単位を識別する音韻の側面と、このような単位に関連する連続変化する音響情報に関連する音声学的な側面とからなり、所定の人物の気分、たとえば、興奮、怒り、またはリラックスを反映することができる。
【００３３】
歌声等、音によっては、発話と非発話の両方の関連に入ると考えられるものもある。
【００３４】
本発明では、音声解析手段によって行われる分類はさらに、全体の信号（エンベロープ）の振幅の関数であることができるが、これは、発話が含まれるいずれの場合でも韻律の一部であると考えることができる。
【００３５】
したがって、音声解析手段は、声音を認識し、その音に発話が関連しているか、それとも非発話が関連しているかを認識するように構成することができる。発話が関わっている場合、音声解析手段は、言葉を認識し、かつ／または韻律に関連する特徴を認識するように構成することができる。しかし、代替または追加として、音声解析手段は、非発話声音を認識し、かつ／または非声音を認識するように構成してもよい。
【００３６】
加えて、音声解析手段は、カテゴリを音声信号に割り当てるときに全体の信号振幅またはエンベロープを考慮に入れるように構成することができる。たとえば、大きな笑い声と静かな笑い声とを区別するように構成することが可能である。
【００３７】
音声解析には、所定の一連の参照波形を提供することができ、この参照波形と照らし合わせて分類を行う。代替または追加として、また好ましくは、新しい音を認識して、所定の人物の特定の癖に適合することができるようにトレーニング可能なように構成することができる。
【００３８】
言葉認識は、自発的および非自発的なカメラまたは画像信号制御に有用であることができる。「こんにちは」、「さようなら」、「うわっ」、および「続けて」等の言葉および表現は、人々を相手にしているとき、またはイベントに参加しているときに写真撮影を自発的に開始する際に有用であることができ、一方で、「それを撮影」等のコマンドは、写真を撮影する故意のコマンドとして認識することができる。得意げに話される「はい」、または疑念がある場合などに話される「いいえ」等の言葉は、韻律と組み合わせられる言葉認識の例である。笑い声および鼻歌は、写真の撮影または選択を開始することができる非発話声音の２つの例として解釈することができる。大きな笑い声は、条件なしでこのような開始を行うことができるが、柔らかな笑い声は、これが行われるか否かを判断するために、さらなる条件信号と組み合わせる必要がありうる。
【００３９】
顕著性信号は、こうして行われる分類に従って生成することができる。最も単純かつ可能な限り最も実用的な形態では、顕著性信号は二値であり、したがって、マイクロフォンからの音に応答して、「はい」または「いいえ」信号が常に発行される。これは、単独で利用することもでき、または制御信号として使用される他の制御信号と論理的に組み合わせされて利用することもできる。たとえば、制御信号は、たとえばカメラに写真を撮影するように言うことによって、もしくは撮像シーケンスを開始するように言うことによって、または画像信号を伝送、表示、または記録するようにゲートを動作させることによって、カメラまたは画像信号を制御する際に使用することができる。
【００４０】
代替として、顕著性信号は、ある範囲の離散値または連続値を有することができる。これは、特定の値の顕著性信号に関連する特定の音を識別するために、あるいは異なる音に割り当てられた所定順序の値によって定められる最も関心のある音をサーチするために、完全な画像シーケンス全体を通してスキャンする人にとって有用でありうる。また、このような形態では、たとえば、所定のアルゴリズムに従って他の信号と数値的に組み合わせて、おそらく、結果得られる信号をしきい値処理した後、前の段落で述べた種類の制御信号を生成することができる。
【００４１】
数値的な顕著性信号を導出するには、認識された異なる音（またこれは、認識された異なる音であるものとして異なる強さを有する同様の音を含むことができる）に異なる値を割り当てることができる。これで十分であるか、または強さがまだ考慮に入れられていない場合、割り当てられた値を音の強さに従って連続して変更することができる。
【００４２】
本発明の好ましい形態では、カメラは所定の人物、好ましくは音伝達マイクロフォン装着者によって装着され、好ましくは、装着の方の前方に向けられるように装着される。カメラは胸部に、たとえばバッジとして装着してもよく、カメラ、または少なくともカメラの撮像光学系を人物の頭部、たとえば、１つの眼鏡のフレーム、また帽子等のかぶりものに設置する固定手段がカメラに設けられることが特に好ましい。このようにして、カメラの方向は、装着者の注視方向をより正確に辿る。適切であれば、カメラの視野を、おそらく目の動く全範囲をカバーするように、人である装着者の視野よりも大幅に広くすることができる。これは、たとえば固体状態カメラ中のセンサアレイの利用可能なピクセル数が、通常の人の視野を近似するビュー用に解像度を維持するように対応して増大する場合に得に有利である。
【００４３】
本発明の第１の態様における真に独立した可搬性のため、たとえば、再生画像信号を制御する顕著性信号を後に生成するために、または見ている人の関心がありうる再生画像信号の部分を示すために、所定の人物に、画像信号および音声信号を両方とも記録するレコーダも設けられる。
【００４４】
本発明の第２および第３の態様における真に独立した可搬性のため、所定の人物に、顕著性信号を提供する音声手段も設けることができる。次にこれは、先の段落で述べたように使用するために、ディスプレイまたはレコーダへゲーティングすることなどによって画像信号を制御するために、またはカメラを制御または起動するために、完全な画像信号とともに記録することができる。
【００４５】
しかし、音声信号、顕著性信号、および画像信号はいずれも、適切であれば離れた場所に伝送することができる。音声信号または顕著性信号の伝送が適切である一機会は、カメラが所定の人物に装着されていないときである。たとえば、装置は、カメラが所定のシーンを見るように固定されている設備の一部であることができ、それから人物が撮影者として働き、自発的に（言葉でのコマンド）または非自発的に（非発話音）カメラの動作、画像信号のゲーティングを制御するか、または少なくとも、記録された信号の顕著性を示す。これは、誕生日パーティ等の特別な場合に使用するものでありうる。カメラは、固定する必要はなく、たとえば、所定の人物をトラッキングしている遊園地にある乗物場内の所定のトラックを辿ることもできることに留意されたい。読み手には、本発明の他の適した構成および用法が思い浮かぶことを確信する。
【００４６】
本発明の好ましい実施形態の必須部分は音伝達マイクロフォンの使用であるが、１つまたは複数のさらなるマイクロフォンを設けることもでき、また、少なくとも１つのこのようなさらなるマイクロフォンは、空気を介して音を受け取る「従来の」マイクロフォンであってもよいことに留意されたい。
【００４７】
「従来の」マイクロフォンからの信号は、たとえば、後日再生するために、画像信号および／または音伝達マイクロフォン信号とともに記録することができる。この点において、聞く目的では「従来の」マイクロフォンからの信号を再生するほうがより普通であり、音伝達マイクロフォンからの信号は、この目的では現実のものではない音を生成することを念頭に置かれたい。
【００４８】
代替または追加として、この信号を、音伝達マイクロフォンからの信号と組み合わせてもよい。たとえば、音伝達マイクロフォンを装着している人物が生成する音の大半を、「従来の」マイクロフォンが生成する信号から差し引いて、音伝達マイクロフォン装着者周囲の音と考えられるものを残すことが可能でありうる。またこれにより、周囲音のパターンおよび伝達マイクロフォンによって検出されたパターンを解析する、または比較することなどによって、伝達マイクロフォンの装着者が別の集団との会話に関わっていたか否かについて推定することができる。これは、顕著性信号を決定する特徴であることができる。すなわち、マイクロフォンの組み合わせの出力を解析することによって顕著性信号を導出することができ、このような組み合わせに「従来の」マイクロフォンが含まれてもよい。
【００４９】
カメラは、静止写真および／または画像シーケンスを取り込むことが可能でありうる。先の段落で言及したように、「従来の」マイクロフォンを備えてもよい。
【００５０】
読み手は、大半の場合、それ自体が既知のフーリエ技法を利用することによって音声解析をより効果的かつ効率的に行うことができることを理解するであろう。
【００５１】
本発明のさらなる特徴および利点は、読み手が参照する添付の特許請求の範囲を考慮すること、および図１〜が本発明の第１〜第４の実施形態を概略的な形で示し、図５が音声解析を概要略図の形態で例示する添付図面を参照して行われる以下の本発明の好ましい実施形態のより詳細な説明を読むことにより、明確になるであろう。
【００５２】
しかるべき場合、同様の番号が各図面中の同様の要素を示す。
【００５３】
図１では、頭部に装着された電子カメラ１が画像信号２を生成し、マルチチャネルレコーダ３に格納される。耳装着式音伝達マイクロフォン４が音声信号５を生成し、画像信号と同期してレコーダ３に記録される。その後、再生中に、再生音声信号９が音分類回路１０に渡され、音分類回路１０が、音波形の形状が格納されている複数の波形の形状のいずれか１つに近似するか否かに従って二値（顕著性）信号１１を生成する。信号１１を使用して、再生画像信号６を選択的に伝送（８）するようにゲート７を動作させる。一変形では、特に注目されるべきことを示すため、信号１１を使用して、再生され表示される画像信号６の人である閲覧者に対して合図を送る。
【００５４】
図２では、頭部装着式音伝達マイクロフォン４からの信号５が、回路１０において分類され、一方向における二値（顕著性）出力１１の変化を利用して、単一の写真を撮影するように、または画像シーケンス（ビデオまたはシネクリップ）を開始するように、写真または電子カメラ１を動作させる。後者の場合、クリップは、信号１１の状態が他方の方向に変化するまで続けられる。また、電子カメラ１の場合、画像信号２が１２において記録または表示される。
【００５５】
図３では、喉装着式音伝達マイクロフォン４の出力５が、回路１０において分類されて、画像信号２をレコーダまたはディスプレイ１２に選択的に伝送するゲート７を制御する顕著性信号１３を生成する。信号１３は、二値信号であってもよく、また、ゲート７に直接接続してもよいが、図示のように、ゲート７を制御する二値信号１５を生成する回路１４内の１つまたは複数の他の信号１６と結合される。
【００５６】
この回路の第１の形態では、信号１３および信号（複数可）１６は二値信号であり、回路１４において論理的に結合される。たとえば、信号１３は信号１６と論理積演算され、写真構成（画像信号２の空間的な分割によって得られる）が許容できるものである事を示し、その結果を信号１６と論理和演算し、カメラにいずれの場合でも写真を撮影するように指示する。後者の信号は、実際には、「それを撮影（take that)」等のコマンドの検出による回路１０からの信号であることができるが、必ずしもそうである必要はない。
【００５７】
この回路の第２の形態では、回路１０は、検出された音の種類に従って音声信号５に値（顕著性信号）を割り当て、これらの値がアルゴリズム回路１４において、所定のアルゴリズムに従って他のソースからの数値信号１６と結合され、出力がしきい値処理されて、二値信号１５を提供する。この場合、信号１６の値に関わりなく信号１５の値を決定するように、「それを撮影」等のオーバーライドコマンドが極値に割り当てられることになる。
【００５８】
図４では、耳に装着された音伝達マイクロフォン４からの信号５が、無線接続１８、１９を介して、たとえば、ＲＦ、赤外線、または誘導を介してマルチチャネルレコーダ３に伝送され、マルチチャネルレコーダ３はまた、固定カメラ１７から画像信号出力２を、少なくとも１つの他のソースから制御信号（複数可）１６を受信する。その後、信号は画像信号６および制御信号２０として再生され、制御信号２０は回路１４によって処理され、図３のように画像信号ゲート７の制御に使用される。
【００５９】
図４の一変形では、カメラは遊園地乗物場での乗物に固定され、乗車間にマイクロフォン装着者を観察する。信号１６の１つは、乗車が進行しているときの時間期間およびその前後の短時間期間を含む時間期間に提供されるイネーブル信号である。
【００６０】
図５は、顕著性信号２７を提供する音声解析装置を概略的形態で示す。音声信号５は、波形形状解析回路２１およびエンベロープ振幅解析回路２５で受け取られる。
【００６１】
回路２１は、波形の種類を決定し、その種類が声−発話、声−非発話、非声、または決定不能のそれぞれであると決定されたことに従って４つの信号２９〜３２のセットのうちの１つを生成する。信号２９〜３１はそれぞれ、各回路２２〜２４を使用可能にして、格納されている各波形セットそれぞれと波形形状が一致する程度を決定するために使用される。次に、回路２２〜２４のうちの動作している回路は、十分な対応がある場合、入力波形が最も密接に対応する格納波形を一意に識別するラベル信号３３の生成に進み、その他の場合、対応がないことを示すラベル信号を提供し、これは、回路２１からの信号３２に等しい。
【００６２】
信号３３〜３５は、回路２５からのデジタル化された音量／振幅信号３６と結合され、これとともに使用されて、二次元ルックアップテーブルをアドレス指定する。テーブルからの二値出力２７の場合、テーブルコンテンツはすべて０と１のいずれかであるが、数値顕著性出力の場合、テーブルはある範囲の数値を含みうる。
【００６３】
全体波形の指示がまったくない状態で、エンベロープ振幅の決定が問題である場合、回路２１および２５が結合されて、破線２８で示すように、波形形状が決定された後にエンベロープ振幅を決定することに役立つ。代替または追加として、出力３３〜３５を回路２５に結合してもよい。
【００６４】
さらに、韻律が重要な場合、信号５とともに回路２２の出力３３を、テーブル２６に入力される代替の数値出力を提供する韻律決定回路に結合することができ、この場合の数値出力は、言葉および関連する韻律を示す。
【国際公開パンフレット】
2005506003.tif 000003
2005506003.tif 000004
2005506003.tif 000005
2005506003.tif 000006
2005506003.tif 000007
2005506003.tif 000008
2005506003.tif 000009
2005506003.tif 000010
2005506003.tif 000011
2005506003.tif 000012
2005506003.tif 000013
2005506003.tif 000014
2005506003.tif 000015
2005506003.tif 000016
2005506003.tif 000017
2005506003.tif 000018
2005506003.tif 000019
2005506003.tif 000020
2005506003.tif 000021
2005506003.tif 000022
2005506003.tif 000023
2005506003.tif 000024
2005506003.tif 000025
2005506003.tif 000026
【国際調査報告】
2005506003.tif 000027
2005506003.tif 000028
2005506003.tif 000029
2005506003.tif 000030
2005506003.tif 000031