(57)【要約】  カメラ装置は、画像信号を生成するための電子スチル、ビデオ、またはハイブリッドカメラ１と、ユーザからの入力を受け、画像信号が生成されている間、バイナリ、連続、またはマルチレベルの顕著性信号を生成するための物理的または機械的に操作可能なユーザ制御部とを備える。ユーザ制御部は、写真撮影制御部１４と共通であっても、また異なっていてもよい（示される図では、センサ８を介してカメラと通信するリモート制御部である）。リアルタイムでは、顕著性信号は、カメラ信号の処理を制御してもよく、または、例えば、静止写真撮影の頻度を制御することにより、もしくはメモリ内の画像の格納を最適にすることにより、カメラ自体を制御してもよい。顕著性信号はまた、編集などにおいて後に用いられるように、画像信号と共に格納されてもよい。ユーザ制御部は、カメラ上またはカメラとは離れて設けられ、移動または圧力センサを含み得る。【選択図】  図１
2004289785.tif 000002
【特許請求の範囲】
【請求項１】
画像信号を生成するための電子カメラと、該カメラに写真を撮影させるユーザにより操作可能な写真撮影制御部と、ユーザからの入力を受け、該画像信号が生成されている間、顕著性信号を生成するためのさらなる物理的または機械的に操作可能なユーザ制御部とを備えるカメラ装置であって、該カメラ装置の少なくともある部分の動作は、該顕著性信号に応答して制御されるように構成されているカメラ装置。
【請求項２】
前記顕著性信号はバイナリである請求項１に記載のカメラ装置。
【請求項３】
画像信号を生成するための電子カメラと、ユーザからの入力を受け、該画像信号が生成されている間、少なくとも３つの値を有するかまたは連続して可変である顕著性信号を生成するための物理的または機械的に操作可能なユーザ制御部とを備えるカメラ装置であって、該カメラ装置の少なくともある部分の動作は、該顕著性信号に応答して制御されるように構成されているカメラ装置。
【請求項４】
前記ユーザ制御部に加えて、前記カメラのユーザにより操作可能な写真撮影制御部を備える請求項３に記載のカメラ装置。
【請求項５】
前記ユーザ制御部はまた、前記カメラに対して通常の写真撮影制御を提供する請求項３に記載のカメラ装置。
【請求項６】
前記部分は、前記画像信号を受け、前記顕著性信号によって決定される程度に該画像信号を圧縮するための圧縮回路である請求項１〜５のいずれかに記載のカメラ装置。
【請求項７】
前記部分は、比較的低い顕著性レベルを有する画像に優先して、比較的高い顕著性レベルに関連する画像を選択的にメモリに保持するための管理回路を有するメモリを備える請求項１〜６のいずれかに記載のカメラ装置。
【請求項８】
前記メモリは、前記画像信号と共に前記顕著性信号を格納するように構成されている請求項７に記載のカメラ装置。
【請求項９】
前記画像信号と共に前記顕著性信号を格納するように構成されたメモリを備える請求項１〜６のいずれか１項に記載のカメラ装置。
【請求項１０】
前記部分は、前記顕著性および画像信号を受け、該画像信号のうちの該顕著性信号によって決定されるものを選択的に通過させるための画像選択回路を備える請求項１〜９のいずれかに記載のカメラ装置。
【請求項１１】
前記部分は、前記画像信号を受けるためのバッファを備え、該バッファの長さは、該カメラ装置の動作中に、前記顕著性信号によって制御される請求項１〜１０のいずれかに記載のカメラ装置。
【請求項１２】
対応する関連の顕著性信号を生成するための少なくとも１つのさらなる物理的または機械的に操作可能なユーザ制御部を備える請求項１〜１１のいずれかに記載のカメラ装置。
【請求項１３】
前記画像信号に応答して画像に関連する顕著性信号を生成するための顕著性回路を備える請求項１〜１２のいずれかに記載のカメラ装置。
【請求項１４】
少なくとも２つの前記顕著性信号を組み合わせて複合顕著性信号を提供するための顕著性回路を備える請求項１２または１３に記載のカメラ装置。
【請求項１５】
前記部分は、前記複合顕著性信号に応答して制御されるように構成されている請求項１４に記載のカメラ装置。
【請求項１６】
画像信号を生成するための電子カメラと、それぞれがユーザからの入力を受け、該画像信号が生成されている間、第１および第２の顕著性信号を生成するための少なくとも２つの物理的または機械的に操作可能なユーザ制御部と、前記第１および第２の顕著性信号を組み合わせて複合顕著性信号を提供するための顕著性回路とを備えるカメラ装置。
【請求項１７】
画像信号を生成するための電子カメラと、ユーザからの入力を受け、該画像信号が生成されている間、第１の顕著性信号を生成するための物理的または機械的に操作可能なユーザ制御部と、該画像信号に応答して画像に関連する第２の顕著性信号を生成するための顕著性回路と、２つの前記顕著性信号を組み合わせて複合顕著性信号を提供するための顕著性回路とを備える撮像システム。
【請求項１８】
前記カメラ装置の少なくともある部分の動作は、前記複合顕著性信号に応答して制御されるように構成されている請求項１６または１７に記載の撮像システム。
【請求項１９】
前記画像信号それぞれに前記顕著性信号を組み込むための回路を備える請求項の１〜１８のいずれかに記載のカメラ装置。
【請求項２０】
前記ユーザ制御部は、前記カメラ自体の本体の一部を形成するか、または該カメラ自体の本体に物理的に取り付けられている請求項１〜１９のいずれかに記載のカメラ装置。
【請求項２１】
前記ユーザ制御部は、前記カメラと通信することが可能なリモート制御部である請求項１〜１９のいずれか１項に記載のカメラ装置。
【請求項２２】
前記ユーザ制御部は、物理的に可動な制御部材と、該制御部材の移動を感知するための手段とを備える請求項１〜２１のいずれかに記載のカメラ装置。
【請求項２３】
前記ユーザ制御部は、圧力または力感知トランスデューサを備える請求項１〜２２のいずれかに記載のカメラ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
[発明の詳細な説明]
本発明は、見たシーンの画像信号を生成するための電子カメラと、見たシーンの顕著性（saliency）の指標を生成するための手段とを備える電子カメラ装置に関する。
【０００２】
電子カメラとしては、スチルまたはビデオの種類、またはハイブリッドバージョンであってよい。すなわち、電子カメラは、例えば、入力コマンドに応答して１つまたはそれ以上の時間的に間隔を置いた画像フレーム信号を提供する（スチルカメラ）、入力コマンドに応答してとぎれない画像フレーム信号の連続を提供する（ビデオカメラ）、または静止画像信号が散在するとぎれない画像フレーム信号のシーケンスを提供する（後者は、所望に応じて、解像度が大きくてもよい）（ハイブリッドカメラ）ように構成され得る。
【０００３】
従来、カメラユーザは、特に写真フィルムを伴う場合、最適な時間に写真を記録する前に、写真を構成するのに多大な注意を払うことが予想されるが、デジタル画像記録機能付きの電子カメラの出現、およびさらに最近では、利用できる実用的なメモリサイズが迅速に増加したことにより、多数の静止画像または長いビデオシーケンスを電子的に記録することがますます容易になってきた。これにより、カメラは、格納された画像を後になって選別し、興味のある画像またはシーケンスのみを選択して、さらに処理するつもりで、長期にわたって記録したままにされる状況を生む傾向がある。このようなさらなる処理としては、例えば、永久格納、コピー、複製、送信、および／またはプリントが挙げられる。さらに、格納された画像は、簡単に取り出せるように整理かつ／または索引を付ける必要がある。
【０００４】
それにもかかわらず、格納された画像データの量が増加するにつれ、このようなデータを分析するのに必要な時間は、結果として、ユーザの時間と忍耐を上回るようになってきた。このような場合、記録された画像は、その後全く用いられず、関心があったかもしれない画像は失われるか、またはすべてのデータを見なければならず、関心があったかもしれない画像は、関心のない素材とごちゃまぜになって失われることになる。いずれにせよ、格納容量が大きすぎるとかえって逆効果になることがある。
【０００５】
我々の同時係属中の英国特許出願第ＧＢ０１１８５９５．８号は、電子カメラを備える自動カメラ装置に関する。このカメラは、カメラが見た画像を表すビデオ信号を提供するための撮像光学部品に光学的に接続された光電子センサ、および軸を携帯者の通常の前向きの視線に対してほぼ平行になるように少なくとも撮像光学部品を携帯者の頭上に固定するための固定手段を備える。この装置は、シーンの特徴部に対して携帯者によって示される関心の程度を判断し、関連の顕著性信号を提供するための上記ビデオ信号を受信するように構成されたビデオ信号処理手段をさらに備える。ビデオ信号処理手段は、ビデオ信号のタイムウィンドウにおける一連のフレームのそれぞれにおけるフレーム内の特徴部の存在、および基準位置に対するその位置を識別するための画像分析手段、ならびに一連のフレーム上の少なくとも１つの特徴部の動きを分析し、上記顕著性信号を提供するための上記画像分析手段の出力に接続された移動分析手段を有する。
【０００６】
この装置は、顕著性指標を自動的に取り出し、次に、その指標は、カメラからの画像または画像信号を処理するためにその時点でまたは後になって用いられる。顕著性指標は、ユーザがカメラの凝視をどのように変更するかなど、外部からの合図によって取り出される。
【０００７】
装置の別の形態は、「LAFCam-Leveraging Affective Feed back Camcorder」、ACM CHI 2002 Conference on Human Factors in Computing Systems, Minneapolis, Minnesota、２００２年４月２０〜２５日において、Andrea Lockerdにより説明されている。ビデオカメラユーザは、顔の表情を見る用に形成された頭部装着型カメラ、皮膚の導電率を感知するための手袋、および笑い声を検出するための頭部装着型マイクを装着する。後者の２つは、得られた映像をレビューまたは編集する際の顕著性のインジケータとして用いられ、顔の表情は、同じ目的で、ビデオ画像内の写真として提示され得る。しかし、これらの指標のそれぞれは、原則として、ユーザの制御下にあるのではなく、無意識の行動によるものである。
【０００８】
顕著性または関連の指標が自動的に決定される他の特許開示としては、欧州特許出願第ＥＰ１  １０９  １３２号(Eastman Kodak)、米国特許第５，９５６，０２６号(Sharp)、および国際特許出願第ＷＯ００／７９８００号(Telefonaktiebolaget LM Ericsson)が挙げられる。この点における多数の文献もまた公開されており、その例としては、以下のものが挙げられる。
【０００９】
１．Shingo Uchihashi 等による「Summarizing Video Using a Shot Importance Measure and a Frame Packing Algorithm」、Proc ICASSP 1999、第６巻、３０４１〜３０４４頁。
【００１０】
２．「Context Triggered Visual Episodic Memory Prosthesis 2」、Jyrki Hoisko、in Proc ISWC2000、Atlanta GA。
【００１１】
３．「Structuring Personal Activity Records Based on Attention-Analyzing Videos from Head Mounted Camera」、Yuichi Nakamura等、Proc ICPR2000、Barcelona。
【００１２】
４．「Video Retrieval and Relevance Feedback in the Context of a Post-Integration Model」、Rucyu Roy Wang等、in Workshop on Multi-Media Signal Processing (MMSP2001)、２００１年１０月３日〜５日、Cannes、France。
【００１３】
しかし、多くの状況下で最も関連のある顕著性指標は、カメラユーザによって実際に感じられる興味の量、またはユーザが実際に写真に対して感じる重要さの量であり、外部の合図は、これらの要因に何らかの表示を与えることはできるが、これらは常に正確かつ自動的にアクセスできるとは限らない。
【００１４】
本発明は、画像信号を生成するための電子カメラ、およびユーザからの入力を受け、画像信号が生成されている間に顕著性信号を生成するための物理的または機械的に動作可能なユーザ制御部を備えるカメラ装置に関する。
【００１５】
欧州特許出願第ＥＰ０  ８６０  ９８０号は、ユーザにすでに格納された写真を吟味させ、後に使用するために格納される、所望のプリントの数量およびサイズなどの様々なパラメータを決定させる能力を有するデジタルカメラについて記載している。しかし、上記のように、これは、カメラユーザが、撮影した後に画像それぞれをレビューしなければならないことを意味する。
【００１６】
最も関連したものとしては、オーストラリア特許第７４３２１６号（Canon）は、記録された信号を編集する際に後に使用されるビデオフレームと共に記録されるＬＯＩ信号を生成するために、ユーザによって操作可能な関心レベル（Level of interest:ＬＯＩ）入力手段を備える、一連のビデオフレームを取り込むためのビデオ取り込み装置を開示している。
【００１７】
このＣａｎｏｎの出願におけるように、本発明は、写真が撮影されている間に顕著性を即座に帰属させること（attribution）を含み、顕著性は、次の編集プロセスの間に最も望ましい写真を得るためにユーザによって必要な時間および努力の量を低減させるように、写真と共に格納され得る。したがって、いくつかの点で、これは、必要な写真が目に入ると（すなわち、写真が十分な顕著性を有すると判断されると）、ユーザがボタンを操作する、従来のカメラ写真ボタンを発展させたものと見なされる。顕著性信号が格納されると、後に大量の画像から必要な写真を比較的簡単に選択することができる。さらに、写真撮影中に多値の顕著性信号を得るのに比較的ほとんどさらなる努力がいらないため、一旦、写真および顕著性信号が記録されると、さらなる作業をほとんどまたは全く必要とせずに、写真選択プロセス（例えば）が改善され得る。
【００１８】
しかし、後に説明するように、顕著性を直ちに付与しておくことは、メモリの管理および画像信号の送信および／または圧縮の制御などの他の方面で有用であり、このような特徴は、従来のカメラ装置では得られない。
【００１９】
多くのカメラは、写真撮影前にカメラの電子部品に電力を与えるためのオン／オフスイッチ、および写真撮影制御部も備える。例えば、デジタルビデオカメラは、ビデオクリップをとるために操作される別個の写真撮影トリガと共に、とりわけスクリーンを見ることを可能にするように作用するオン／オフスイッチを有し得る。他方、スチル写真フィルムカメラは、フォーカス、タイミング、および絞りなどのカメラの設定を含む電子部品に電力を与えるための第１の位置、およびシャッタをトリガさせる他の位置を有する単一のスイッチボタンを有し得る。しかし、これらの場合、初期の電力供給ステップと、写真撮影制御との間には明確な区別がある。
【００２０】
特に信号の格納が制限されている状況では、カメラボタン、トリガ、または写真撮影のための他の制御部を単に動作させるだけで顕著性が示されることも想定される。一般に、例えば、画像を撮影および格納するための電子スチルまたはビデオカメラの電子部品を動作させるため、またはそうでなければ純粋に機械的なカメラ上でフラッシュを操作するために、少なくとも部分的に電気的な信号が得られ、これは、従来、実質的にバイナリである。
【００２１】
しかし、上記のように、写真を「連続して」撮影するため、例えば、撮影している写真に関係なく、ビデオに対しては常に、またはスチルカメラに対しては一定の期間だけ、カメラをオンにし、格納された画像を後に調べるかまたは別に用いることができるようにすることが所望される。これらの状況下では、バイナリ信号を提供するように駆動されるカメラ写真撮影制御部を有することだけでは、格納された画像のいかなる顕著性の表示も提供されない。
【００２２】
したがって、第１の態様では、本発明の装置は、画像信号を生成するための電子カメラ、カメラに写真を撮影させるユーザにより操作可能な写真撮影制御部、およびユーザからの入力を受け、画像信号が生成されている間に顕著性信号を生成するためのさらなる物理的または機械的に操作可能なユーザ制御部を備えるカメラ装置を提供する。カメラ装置の少なくともある部分の動作は、（同時性）顕著性信号に応答して制御されるように構成されている。
【００２３】
このように、写真を撮影するようにカメラを操作する機能は、顕著性信号を提供する機能とは分離され得る。本発明の第１の態様では、顕著性信号は、バイナリ、多値、または連続であり得る。
【００２４】
第２の密接に関連した態様では、本発明は、画像信号を生成するための電子カメラ、ユーザからの入力を受け、少なくとも３つの値を有するか、または画像信号が生成されている連続して可変である顕著性信号を生成するための物理的または機械的に操作可能なユーザ制御部を備えるカメラ装置を提供する。カメラ装置の少なくともある部分の操作は、（同時性）顕著性信号に応答して制御されるように構成されている。
【００２５】
本発明の第２の態様では、同じく、ユーザ制御部は、カメラの写真撮影制御部から分離されていてもよい。しかし、この場合、他の可能性として、低閾値に到達すると写真撮影を開始するようにカメラを制御し、かつ顕著性の変化を示すものとしてより高い値を用いるために、多値信号を提供するための信号制御部が用いられる。
【００２６】
顕著性信号は、例えば、画像信号処理、選択、または格納を含むカメラ装置の操作を制御するためにリアルタイムで用いられる。この信号は、さらにまたはあるいは、画像信号処理において後に用いられるように格納されてもよい。制御されるカメラ装置の部分は、大抵の場合カメラ自体の部分であるが、必ずしもそうであるとは限らない（例えば、別個の格納または送信機能である）。
【００２７】
ユーザ制御部は、カメラ自体の部分（例えば、本体の一部または本体に物理的に連結、接続もしくは搭載された部分）、またはカメラもしくはカメラ装置の他の部分と通信できるリモートユーザ制御部のいずれかである。
【００２８】
ユーザ制御部は、ボタンの押下、トリガの操作、または自己戻り機構を有するもしくは有さないスライダもしくは回転ノブの移動におけるような、物理的に可動な制御部材を備えてもよい。あるいは、ユーザ制御部は、圧電センサなどの圧力または力を感知するトランスデューサを有する制御部材を備えていてもよい。
【００２９】
制御部材が写真撮影制御部と異なる場合には、制御部材は、カメラ本体に物理的に接続されるか、またはカメラ本体から離れていてもよい。本発明の第２の態様では、制御部材は、通常の駆動もしくは写真撮影制御部と置き換えるか、または組み合わせることができるため、写真撮影を開始するために、最小レベルの顕著性信号が必要である（上述）。
【００３０】
制御部材が本体に接続されている場合、制御部材は、例えば、摺動分圧器のスライダもしくは回転分圧器のノブのように、本体に直接搭載されていてもよい。あるいは、制御部材は、例えば、カメラ本体に搭載された物理的動きもしくは圧力／力センサなどのセンサに取り付けられたリモートの機械式レリーズケーブルとして、本体から変位される物理的に操作可能な部分を備えていてもよい。あるいは、制御部材は、例えば、本体内のカメラの電子部品にワイヤで物理的に接続された、移動または力／圧力によって操作可能な電子トリガ付属部品などの、本体から分離された付属部品を備えていてもよい。
【００３１】
制御部材がカメラ本体から離れている場合、制御部材は、移動センサまたは圧力／力センサを備えていてもよく、その出力は、無線、超音波、または赤外線送信などのよく知られている任意のメカニズムにより、送信機によってカメラまたはカメラ装置の他の部分における適切な受信機に接続される。
【００３２】
リモートユーザ制御部の使用は、特に、ユーザが単にカメラをオンにしそれをオンにしておくことができる場合に有利であり得る。このような場合、カメラがユーザの身体（例えば、ユーザの頭上に装着された眼鏡）、またはユーザから離れた位置のいずれかに適切に設けられている場合、ユーザの手は、大半の間自由である。リモートユーザ制御部（例えば、キーホルダーの形態の制御部）はユーザによって保持されるか、またはユーザの身体もしくは衣服に装着される。装着の例としては、リング、例えば、親指によってリングの周りを動きまわるスライダ、もしくは親指から圧力を受ける圧力センサを備えるスライダを操作する人差し指に装着されたリング、またはユーザのネクタイ、上着、ブラウス等に装着されるピン留め装着が挙げられる。
【００３３】
ユーザ制御部は、例えば、線形または回転分圧器（もしくは、ホール効果センサを含む構成等に匹敵するもの）、または力／圧力センサからの連続した範囲の値を有する電気出力をまず提供し得る。所望に応じて、これは、閾値処理などの従来の技術を用いて、バイナリまたは離散的な多値出力に変換することができる。あるいは、ユーザ制御部は、連続して可変の移動または圧力／力、例えば、従来のオン／オフスイッチ、もしくは複数の接触部を有するスイッチからであっても、バイナリまたは離散的な多値出力を直接提供するように構成され得る。
【００３４】
同様に、顕著性信号は、連続した範囲の値を有するか、バイナリであるか、または複数の離散的な値を有し得る。この信号は、ユーザ制御部の出力から直接、または閾値処理の後このような出力から得られ得る。しかし、他の方法で信号を得てもよい。例えば、ユーザ制御部がバイナリ出力を提供する場合、このような出力の周波数は、対応する連続したまたは離散的な多値顕の著性信号に変換されてもよい。
【００３５】
他のオプションとしては、離散的な多値顕著性信号を増減させるためにバイナリ出力を用いることが挙げられる。これには、増加させるかまたは減少させるかを命令するための他の制御素子が必要であるか、または例えば、スプリングのいずれかの側の位置が中心に付勢され、残りの位置が、連続してまたは段階的にそれぞれ増加および減少される、中心に付勢された３位置のスイッチが提供され得る。顕著性信号の優勢レベルが制御部の物理的設定からは明らかでない場合には、値の小さな表示が望ましい。
【００３６】
カメラ装置は、顕著性信号を生成するための少なくとも１つの他の手段を含み得る。これは、上記の本発明者らの同時係属中の英国特許出願第ＧＢ０１１８５９５．８号に記載されているような顕著性信号を生成するための手段、または笑い検出器もしくは皮膚の導電性を測定するための手袋であり得る。あるいはまたはさらに、これは、第１のユーザ制御部に関連する上記のものと類似した様式で動作する１つまたはそれ以上の別の物理的または機械的に操作可能なユーザ制御部であってもよく、ユーザ制御部のそれぞれは、例えば、人々、建物、またはイベントへの関心などの異なるタイプの表現された関心にそれぞれ関連し得る。
【００３７】
様々な個々の顕著性信号は、リアルタイムで組み合わせられるか、または別個に使用もしくは記録され得る。代数的または論理的に顕著性信号の組み合わせがなされ、複合顕著性信号を与える。効果的な組み合わせはまた、多次元の顕著性空間のどの部分に顕著性信号が共に見出されるかを（例えば、ルックアップテーブルによって）突き止め、複合顕著性信号を生成することによってなされ得る。
【００３８】
このように、本発明は、画像信号を生成するための電子カメラと、それぞれがユーザからの入力を受け、画像信号が生成されている間、第１および第２の顕著性信号を生成するための少なくとも２つの物理的または機械的に操作可能なユーザ制御部と、上記第１および第２の顕著性信号を組み合わせて複合顕著性信号を提供するための顕著性回路とを備える撮像システムをさらに提供する。同様に、本発明はまた、画像信号を生成するための電子カメラと、ユーザからの入力を受け、画像信号が生成されている間、第１の顕著性信号を生成するための物理的または機械的に操作可能なユーザ制御部と、画像信号に応答して画像に関連する第２の顕著性信号を生成するための顕著性回路と、２つの顕著性信号を組み合わせて複合顕著性信号を提供するための顕著性回路とを備える撮像システムを提供する。複合顕著性信号は、本発明の先の態様におけるように、撮像システムのある部分を制御するために用いてもよい。
【００３９】
使用においては、顕著性信号（複数可）は、カメラユーザによって制御され、カメラが画像信号を生成している間、見たシーンにおける関心の量を示し、かつ／または見たシーンの画像をどの時点で優先的に保持するのが望ましいかを示すことができる。ある意味では、ユーザの操作は、顕著性信号の意図された使用によって影響され得る。変形として、顕著性信号は、例えば、ユーザが写真の重要さの見込みまたは写真における関心について既に認識している場合、写真撮影直前にユーザによって予め設定されてもよい。
【００４０】
顕著性信号が画像信号と共に記録される場合、格納された画像の後の評価または他の処理は容易になる。記録された顕著性信号は、関連の画像信号へのリンクまたはポインタを含んでいてもよく、または関連の画像信号の一部（例えば、メタデータ）を形成してもよい。
【００４１】
したがって、例えば、格納された顕著性値は以下の場合に用いられ得る。
【００４２】
１．閾値レベルを上回る顕著性レベルを有する格納された画像信号の部分のみを見るように選択するために再生するとき（本明細書では、「画像信号の部分」とは、ビデオ信号、もしくは（選択された）静止画像、またはその両方からのクリップを含む）。
【００４３】
２．閾値レベルを下回る顕著性レベルを有する格納された画像信号の部分を加速的に見るように選択するために再生するとき。
【００４４】
３．閾値レベルを上回る顕著性レベルを有する格納された画像信号の部分のみを選択し、信号の残りの部分を破棄するように同じメモリもしくは他のメモリ内で再記録するとき。これは、不要な信号を含むメモリの部分を解放し、カメラが動作できる期間を延長するために、カメラの使用中に自動的に行われ得る。
【００４５】
４．顕著性レベルに従って画像信号を選択的に圧縮するために再記録するとき。これは、２つより多くの顕著性レベルが存在するとき、オプション３に関連して行われ得る。顕著性が高い信号は、全く圧縮されないか、または軽く圧縮されるだけであるのに対して、顕著性をほとんどまたは全く有さない信号は、破棄または高度に圧縮され得る。
【００４６】
実際には、特に、信号がビデオ信号である場合、オプション３および４は、考慮される現在の顕著性レベル、および関連の顕著性履歴（すなわち、その内容）を考慮する必要がある。例えば、間隔を置かずに配置された中間の顕著性期間のシーケンスは、アクションのシーケンスに関連する可能性があるため、このようなシーケンスを含むビデオの全体は、記録された同じ顕著性レベルを有する単一の単離された期間よりも顕著性しているものとして保持または取り扱われなければならない。これは、顕著性レベルを比較的ゆっくりとした減衰の何らかの積分の形態、または他の平滑化の形態によってなされる。顕著性シーケンス全体をカバーするために、閾値を上回る統合された顕著性レベルが観察されると、信号の前の部分を分析できるように遅延の形態を用いる必要がある。
【００４７】
格納されるかされないかに関係なく、リアルタイム顕著性信号は、カメラ自体を制御するために用いられる（これは、写真が撮影されるときの選択、前方への送信および／または格納に対する写真信号の選択、および写真信号の圧縮などのオプションを含む）。例えば、カメラが微速度静止写真を撮影するように設定される場合、写真撮影の頻度は、顕著性レベルによって制御され得る。他の例では、カメラがビデオおよびより高い解像度の静止写真を撮影することができる場合、ビデオに加えての静止写真の記録は、顕著性が閾値レベルを上回る場合にのみ引き起こされ得る。
【００４８】
顕著性信号はまた、記録または送信される画像信号の圧縮量を制御し、かつ／または画像信号のどの部分が記録または送信されるかを選択するためにリアルタイムでも用いられる。このタイプの動作では、前の画像信号のいくらかも、閾値を上回る顕著性レベルが検出されるときに選択され得る（すなわち、顕著性レベルの内容履歴を再び考慮する）ように、記録または送信前に画像信号に対してバッファを用いることが適切であり得る。バッファサイズは、現在の顕著性レベルに応じて適宜変更され得るため、比較的高い顕著性の期間では、画像信号のより大きな部分が、潜在的な記録または送信のためのバッファに格納される。
【００４９】
異なる動作に必要な顕著性レベルは様々であり得る。例えば、カメラが画像信号を送信および記録している場合、送信に必要な顕著性レベルは、カメラへの格納に必要なレベルよりも大きくてもよい。
【００５０】
本発明のさらなる特徴および利点は、読み手が参照する添付の特許請求の範囲を精読し、また、本発明の実施形態の以下のさらに詳細な説明を読むことにより明白となろう。
【００５１】
図１のビデオカメラ１は、メインボディ２を備え、その前部には、レンズ３が設けられ、後端部の近くには、手動で操作する（写真撮影用）ボタンまたはトリガ１４を有するグリップ４が取り付けられている。３位置の回転またはスライダスイッチ５は、本体２に設けられ、第１の位置５1は「オフ」であり、第２の位置５2は、手動の制御信号６を提供し、第３の位置５3は、連続した制御信号７を提供する。図３を参照のこと。カメラ本体２には、リモート信号センサ８も設けられている。ビューイングスクリーン７は、使用中に、カメラ本体から横方向に延びるように本体に配置されている。
【００５２】
図２は、スイッチ５が第３の位置にあるとき、図１のカメラと共に用いるのに適したリモートユーザ制御部９を示す。図示されるように、リモートユーザ制御部９は、ユーザの人差し指に装着されることを意図したリング１０を備える。破線で示される範囲内でリングの周縁で摺動可能なノブ１１を有する分圧器は、ユーザの親指によって操作されるようにリング上に設けられ、分圧器は、変換装置１２に接続され、変換装置１２は、分圧器の可変の設定を連続して読出し、それを所望の解像度でデジタル値に変換し、デジタル値を適切に符号化された信号１３として送信する。限定はされないが例として、分圧器の移動範囲内に４つのデジタル値があってもよく、送信は赤外線、超音波、または無線波による。分圧器は、４つのデジタル値のそれぞれに対応するノブ１１のゆるやかなクリック停止部を含むのが好ましい。
【００５３】
制御部９は、リング１０の代替形態、例えば、タイピン、バッジ、またはブローチの形態をとることができ、摺動可能な機構は、例えば、回転機構に置き換えてもよいことが認められよう。また、分圧器以外のトランスデューサ、例えば、多位置スイッチを用いてもよい。他の実施形態では、トランスデューサは、圧電圧力センサである。
【００５４】
カメラ内の回路は、一般に、図３に示されており、スイッチ５の第１の位置５1では、単にすべてがオフになる。信号６および７は、ＯＲゲート１５に接続され、カメラには信号１７が生成されるため、スイッチ５の第２または第３の位置のいずれかでは、画像センサは、レンズ３から光を受ける撮像センサ１６およびビューイングスクリーン７を含む、カメラの電子部品をオンにする。信号１７は、図３に示される他の構成要素のいくつかを含むカメラの他の回路に接続されているが、簡単のため、これらの接続は省略されていることが認められよう。スクリーン７は、ビューイングスクリーンが、その段階で、カメラが見ているのものを示すことができるように、画像センサ１６から画像信号１８を受信するように接続されている。
【００５５】
カメラ回路はまた、画像信号１８を受信するように接続されているが、画像制御回路２０によって命令される場合には、信号を格納するためにだけ配置されているメモリ１９を有する。
【００５６】
スイッチが第２の位置にあると、ユーザは、グリップ４においてトリガまたはボタン１４を押下して、手動制御信号６をメモリ制御回路２０に送信し、これにより、メモリは、通常通り、画像信号１８を格納するように起動される。図示されるように、スイッチ１４は、簡単な機械的単極スイッチであるが、あらゆる同等の機械的または電気的な装置を用いることもできる。さらに、最大顕著性生成器２１は、スイッチ２１からの出力の存在に応答するように構成され、比較器２３に与えられる最大顕著性信号２２を生成する。比較器２３は、第２の入力２４を受け、２つの入力２２、２４のうちの大きい方の値に等しい顕著性出力２５を提供し、出力２５はまた、メモリ１９に与えられ、格納されている画像信号に関連づけられる。例えば、信号１８および２５には、同じタイムスタンプが設けられてもよい。装置の他の形態では、信号２５は、メモリ１９内に格納する前に、既知の方法で、現存する画像信号１８に挿入され得る。
【００５７】
スイッチが第３の位置５3にあるとき、連続した制御信号７は、リモート制御部９からの信号を受けて復号化するためのリモート受信センサ８をイネーブルにし、マルチレベルデジタル顕著性信号２４を比較器２３に提供するために用いられる。信号７はまた、メモリ制御回路２０に接続され、メモリに、顕著性出力２５と共に画像信号１８を連続して記録するように命令する。
【００５８】
したがって、スイッチが第２の位置５2にあるとき、カメラは、ボタン１４が動作しているときのみ、画像信号１８および関連の最大顕著性出力２５を格納するように動作する。ボタンが動作されていないとき、画像または顕著性信号は格納されず、信号２２は、ゼロの顕著性値をとる。
【００５９】
スイッチ５が第３の位置５3にあるとき、カメラは、連続して動作し、画像センサ１６および受信機８からそれぞれ受信した画像および顕著性信号を格納する。この動作中、万一ボタン１４が押下されると、最大顕著性信号２２は、比較器内で優勢となり、画像信号と共にメモリ内に格納される。回路２１は、例えば、送信機９から受信される最大信号と等しいかまたはそれ以上の最大顕著性信号を提供するように構成されており、それは、高い顕著性のシーンをユーザが認識することにより、ボタン１４の操作が行われる傾向があるからであることを理解されたい。
【００６０】
メモリ制御回路はまた、用いられたメモリの量をチェックするために定期的に構成される。これが閾値に達すると、メモリ制御回路は、関連の低い顕著性レベル（所定の閾値レベル未満）を有する格納された画像を破棄し、残りの格納された画像信号を再構成することによりメモリの効用を最大にすることによって、メモリ１９と協働する。別の実施形態では、制御回路２０はまた、１つまたはそれ以上の画像コーダを有し、メモリが一杯になってくると、制御回路２０は、格納されている画像を、関連の顕著性レベルによって決定される再生度で符号化し始め、顕著性の低い画像は、最小のメモリで格納されおよびそれに対応する低解像度で再生された画像に格納される。これに対して、高い顕著性信号は、符号化され、より忠実に再生され得るように、より多くのメモリを占有して格納される。
【００６１】
図１から図３の実施形態の変形では、顕著性信号は、バイナリ信号のみである。このような場合、図２の分圧器は、ユーザの親指からの圧力によって起動される簡単な閉路スイッチと置き換えてもよく、スイッチの出力によって、送信機は信号を出力できる。カメラでは、比較器２３を簡単なＯＲ回路で置き換えてもよい。したがって、画像信号は、２レベル顕著性信号と共にメモリ１９に格納され、後の段階では、後者の信号のより高い値が、格納された画像をざっと調べて、その時点でより関心があると見なされるものを選び出すように、関連の画像を選択するために用いられ得る。
【００６２】
図４および図５は、画像取得および格納のレートが顕著性信号によって制御される電子スチルカメラに関する。顕著性信号は、画像信号と共に格納されてもされなくてもよい。これらの図では、図１から図３の実施形態に共通の電子構成要素には、同じ参照符号が用いられる。
【００６３】
図４は、本体３１を有する電子スチルカメラ３０の後面図を示し、電子スチルカメラの後面には、電子ビューファインダ７および３位置スイッチ５の垂直スライダが設けられている。本体の頂部には写真撮影ボタン１４が、本体の右側には、図２に示されるようなリモート送信機からの多値顕著性信号を受信するためのリモート受信トランスデューサ８が設けられている。
【００６４】
図５に示されるカメラ回路の大半は、図３の回路と同様である。しかし、可変圧縮回路は、画像センサ１６とメモリ１９との間に配置され、比較器２３の出力によって制御される。図示されるように、オプションの接続は破線で示されているが、比較器２３の出力は、メモリ１９には接続されていない。したがって、顕著性信号は、メモリ１９には必ずしも格納されていないが、格納された画像の圧縮を決定する。この信号はまた、画像格納レートを決定するためにも用いられる。
【００６５】
スイッチの第１の位置５1は、回路全体をオフにする。
【００６６】
第２の位置５2は、カメラ電子部品をオンにし、ビューワ７をイネーブルにする。ボタン１４は、メモリ制御回路２０’の第１の入力に接続され、ボタンが押下されたときに、制御回路は、単一の静止画像のメモリ１９への格納を可能にする。最大顕著性信号生成器は動作しているため、圧縮回路２６は、画像信号をほとんどまたは全く圧縮しないように制御される。
【００６７】
スイッチが第３の位置５3にあるとき、受信トランスデューサ８を有するカメラ回路にも電力が与えられ、受信された顕著性信号２４は、メモリ制御回路２０’の第２の入力に渡され、メモリ制御回路２０’は、信号２４の値に従って、画像をメモリ１９に格納することができる。特に、信号２４が存在しないとき、または信号２４が閾値未満であるとき、画像は格納されない（または画像は最も低いレートで格納される）が、閾値を上回る画像の格納は、信号２４の値とともに増加する頻度で開始される。
【００６８】
変形として、顕著性信号は２つのレベルのみを有し、それに応じて画像の格納レートは、より低い（ゼロまたは無限）レートと、より高いレートとの間で変化する。
【００６９】
スイッチが第３の位置５3にあるとき、カメラは、顕著性が最大であると想定されるときにはボタン１４を用いて、またはリモート送信機９を用いることによって、一回の写真撮影のために操作され得る。
【００７０】
いずれかの実施形態のリモート受信機８は、顕著性信号を直接カメラの電子部品に提供するカメラ自体のユーザ制御部と置き換えてもよく、または無線接続をハードワイヤー接続に置き換えてもよいことが認められよう。
【００７１】
さらに、本実施形態では、ビデオおよび顕著性信号の両方が、カメラ自体の中の処理回路および／またはメモリに向けられているが、これらの信号は、所望に応じて、リモート処理および／または格納のためにカメラによって送信されてもよい。事実、例えば、両信号をカメラタイムスタンプと照合することによって、遠隔位置に送信される必要がある信号間の同時性の表示を保持する手段がある場合には、処理回路および／またはメモリを、カメラとリモート位置との間で分配する（例えば、ビデオ信号をカメラに格納し、顕著性信号を遠隔に格納する）ことも可能である。
【図面の簡単な説明】
【００７２】
【図１】本発明の３つのすべての態様による装置の実施形態において用いられる電子ビデオカメラを概略的な形態で示す図である。
【図２】図１のカメラにおいて用いられる物理的に操作可能なリモート顕著性制御部を概略的な形態で示す図である。
【図３】図１のカメラの回路を概略的な形態で示す図である。
【図４】本発明の３つのすべての態様による装置の実施形態において用いられる電子スチルカメラの概略的な斜視図である。
【図５】図４のカメラの回路を概略的な形態で示す図である。
【図１】
2004289785.tif 000003
【図２】
2004289785.tif 000004
【図３】
2004289785.tif 000005
【図４】
2004289785.tif 000006
【図５】
2004289785.tif 000007
【外国語明細書】
2004289785.tif 000008
2004289785.tif 000009
2004289785.tif 000010
2004289785.tif 000011
2004289785.tif 000012
2004289785.tif 000013
2004289785.tif 000014
2004289785.tif 000015
2004289785.tif 000016
2004289785.tif 000017
2004289785.tif 000018
2004289785.tif 000019
2004289785.tif 000020
2004289785.tif 000021
2004289785.tif 000022
2004289785.tif 000023
2004289785.tif 000024
2004289785.tif 000025
2004289785.tif 000026
2004289785.tif 000027
2004289785.tif 000028
2004289785.tif 000029
2004289785.tif 000030
2004289785.tif 000031
2004289785.tif 000032
2004289785.tif 000033