(57)【要約】【課題】  カメラ画像のストリーミングを行う際、カメラ側処理と転送側処理でＣＰＵの負荷が増大する為、これを軽減する。【解決手段】  動画像を撮影可能であって、動画撮影にオートフォーカス・ズーム・アイリス・ホワイトバランス・防振のうち少なくとも一つのカメラ制御手段を具備し、前記撮影動画像の画像信号処理を行う手段と、前記画像信号処理を行った動画像をパソコンと接続して前記撮影動画像をフレームレートに応じて転送する手段と、転送時におけるマイコンの輻輳を判断する手段を具備し、マイコンの輻輳に応じて前記カメラ制御手段のうち少なくとも一つの制御を止める構成。【選択図】  図１
2006246025.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮影可能であって、動画撮影にオートフォーカス・ズーム・アイリス・ホワイトバランス・防振のうち少なくとも一つのカメラ制御手段を具備し、前記撮影動画像の画像信号処理を行う手段と、前記画像信号処理を行った動画像をパソコンと接続して前記撮影動画像をフレームレートに応じて転送する手段と、転送時におけるマイコンの輻輳を判断する手段を具備し、マイコンの輻輳に応じて前記カメラ制御手段のうち少なくとも一つの制御を止めることを特徴とする撮像装置。
【請求項２】
動画像を撮影可能であって、動画撮影にオートフォーカス・ズーム・アイリス・ホワイトバランス・防振のうち少なくとも一つのカメラ制御手段を具備し前記撮影動画像の画像信号処理を行う手段と、前記画像信号処理を行った動画像をパソコンと接続して前記撮影動画像をフレームレートに応じて転送する手段と、転送時におけるマイコンの輻輳を判断する手段を具備し、マイコンの輻輳に応じて前記カメラ制御手段のうち少なくとも一つの処理周期または処理手段を変更することを特徴とする撮像装置。
【請求項３】
請求項１〜２に記載の撮像装置であって、前記撮影動画像をパソコンに転送する際の転送レートを取得する手段を具備し、転送時におけるマイコンの輻輳の判断を、転送レートを元に行うことを特徴とする撮像装置。
【請求項４】
請求項１〜３に記載の撮像装置であって、パソコンとの接続手段がルートおよびスレーブの持つものであって、転送レートの設定はルートのみが決定権を持ち、パソコンが固定的にルート、その他のデバイスが固定的にスレーブの関係を持つ接続手段であることを特徴とする撮像装置。
【請求項５】
請求項１〜４に記載の撮像装置であって、パソコンとの接続手段がＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）であることを特徴とする撮像装置。
【請求項６】
請求項１〜５に記載の撮像装置であって、マイコンの輻輳に合わせて、処理周期または処理手段を変更、あるいは、処理を停止する前述のカメラ処理の優先順位を決定することを特徴とする撮像装置。
【請求項７】
請求項１〜５に記載の撮像装置であって、転送レートに合わせて、処理周期または処理手段を変更、あるいは、処理を停止する前述のカメラ処理の優先順位を決定することを特徴とする撮像装置。
【請求項８】
請求項１〜７に記載の撮像装置であって、少なくともオートフォーカス制御手段を具備し、オートフォーカス制御については、輻輳回避の為に処理周期あるいは処理手段の変更ではなく処理を止めることを特徴とする撮像装置。
【請求項９】
請求項１〜７に記載の撮像装置であって、少なくとも防振制御手段を具備し、防振制御については、輻輳回避の為に処理周期あるいは処理手段の変更ではなく処理を止めることを特徴とする撮像装置。
【請求項１０】
請求項１〜７に記載の撮像装置であって、少なくともズーム制御手段を具備し、ズーム制御については、輻輳回避の為に処理を止めず、処理周期あるいは処理手段の変更を行うことを特徴とする撮像装置。
【請求項１１】
請求項１〜７に記載の撮像装置であって、少なくともアイリス制御手段を具備し、アイリス制御については、輻輳回避のために処理を止めず、処理周期あるいは処理手段の変更を行うことを特徴とする撮像装置。
【請求項１２】
請求項１〜７に記載の撮像装置であって、少なくともホワイトバランス制御手段を具備し、ホワイトバランス制御については、輻輳回避のために処理を止めず、処理周期あるいは処理手段の変更を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像データ転送におけるマイコンの輻輳を回避する撮像装置に関する。詳細には、撮像装置をパソコン等に接続し、撮像装置からの入力動画像を転送してパソコン側でストリーミング再生を行う際、データ転送レートに応じてカメラ側の処理周期または処理手段を変更、あるいは、停止によるマイコンの輻輳回避方法に関する。
【背景技術】
【０００２】
近年、デジタルビデオカメラ、あるいは、デジタルスチルカメラ等の動画像を撮影する撮像装置をＵＳＢ等の接続手段を用いてパソコンへ接続し、カメラからの入力動画像をパソコン側でリアルタイムに再生することが行われている。このような場合、動画像のリアルタイムの転送再生を行うために、撮像装置とパソコンの間で全てのデータの転送終了を待ってから再生するのではなく、受け取った分から再生を始めるストリーミング技術が用いられるのが一般的である。
【０００３】
このような撮像装置をパソコンに接続しストリーミング再生を行うと、撮像装置は、通常のカメラ信号処理、カメラ制御処理に加え、転送処理を同時に行う必要があり、撮像装置側のマイコンの負荷は著しく増大する。
【０００４】
マイコンの負荷軽減については、装置送信元の動画像データの圧縮率を変更することにより、データ転送量を変更して輻輳回避を行う例が、特開２０００−８３０２９号公報、特開２００２−２０８９５４号公報に記載されている。
【特許文献１】特開２０００−８３０２９号公報
【特許文献２】特開２００２−２０８９５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮像装置において転送処理によるマイコンの負荷増大は、撮像装置の垂直方向同期信号（Ｖｅｒｔｉｃａｌ  ｓｙｎｃｈｒｏｎｏｕｓ  ｓｉｇｎａｌ：以下“Ｖ”と記述）に合わせた画像処理が行えなる等の問題を引き起こし、正常なストリーミング画像の取得が行えなくなる。
【０００６】
ＵＳＢ接続の場合、転送レートはホストであるパソコンにのみ決定権がある。パソコンが転送レートを決定すると、撮像装置はホストであるパソコンが１ｍｓｅｃ毎に発するＳＯＦ信号に合わせて転送レートに応じた転送を行う。また、転送のタイミングは転送する動画像のフレームレートに合わせるのが一般的である。動画像の各フレームのデータ量が小さい場合、各フレームの先頭となるタイミングから転送レートに合わせて前詰めで当該フレームのデータを転送し、データ転送が終了すると、次のフレームの先頭となるタイミングまで空パケットを転送する。
【０００７】
従って、ＵＳＢ等のホストにのみ転送レートの決定権がある接続形態では、前述した特開２０００−８３０２９および特開２００２−２０８９５４の手法では撮像デバイス側が自身のＣＰＵ負荷に応じた転送レートの変更を行うことができず、撮像装置のマイコン負荷に応じた輻輳回避を行うことができない。
【０００８】
そこで本発明はカメラ制御処理に着目し、この処理周期または処理手段を変更、または停止することで、転送レートを変更に拠らないマイコンの輻輳回避を目的としている。
【課題を解決するための手段】
【０００９】
従って、本発明の請求項１および２記載の撮像デバイスによれば、Ｖに同期したカメラ制御を用いて動画像の撮影および画像信号処理を行い、パソコンと接続してフレームレートに応じたアイソクロナス転送を行い、ストリーミング再生を行う場合、転送時における撮像装置のマイコンの輻輳を判断し、輻輳が一定水準以上であると判断された場合、カメラ制御手段のうち少なくとも一つのカメラ制御を止める、あるいは、処理周期または処理手段を変更することが可能であり、これによりカメラ処理に要するマイコン負荷が軽減され、輻輳を回避できる。
【００１０】
また、転送処理によるマイコンの輻輳は転送レートと比例関係になるため、請求項３の手法を用いることで輻輳の判断は容易に行うことが可能となる。
【００１１】
また、請求項４および請求項５に記載される、ＵＳＢに代表される、パソコンとの接続手段がルートおよびスレーブの持ち、転送レートの設定はルートのみが決定権を持ち、パソコンが固定的にルート、その他のデバイスが固定的にスレーブの関係を持つ接続手段に対しても、転送レートの変更を行わなくともマイコンの輻輳が回避可能である為、容易に輻輳回避が実現できる。
【００１２】
また、請求項６および請求項７に記載されるように、撮像装置のマイコンの輻輳状況あるいは転送レートに応じて、カメラ処理の処理周期あるいは処理手段の変更、あるいは処理の停止することで良好なストリーミング再生をえることができる。
【００１３】
また、請求項８および請求項９に記載されるように、オートフォーカスおよび防振は処理周期または処理手段を変更せずに優先的に停止させることで、間隔の空いたオートフォーカスおよび防振処理によるストリーミング再生画像のがたつきを抑え、良好な再生をえることができる。
【００１４】
また、請求項１０および請求項１１および請求項１２に記載されているように、ズームおよびアイリスおよびホワイトバランスは、処理を止めずに、処理周期または処理手段を変更することで、カメラ制御の機能を損なわないマイコンの輻輳を回避したストリーミング再生が可能となる。
【発明の効果】
【００１５】
以上、説明したように本発明による撮像装置によれば輻輳が発生する前に、カメラ処理の周期あるいは処理手段を変更、あるいは、停止し、マイコンの輻輳を回避できる。これにより撮像装置はＶに応じた処理を行うことができ、良好な画像データをストリーミング再生することができる。
【００１６】
前述の実施例においては、パソコンとの接続手段がルートおよびスレーブの持ち、転送レートの設定はルートのみが決定権を持ち、パソコンが固定的にルート、その他のデバイスが固定的にスレーブの関係を持つ接続手段であるＵＳＢについてのみ記載したが、撮像デバイス側で転送レートを制御できる接続手段あるいは、ルート、スレーブの関係がない接続手段であっても、同様の手法を用いることでストリーミング時の撮像装置のマイコンの輻輳回避が可能である。
【００１７】
また、前述の実施例においては、カメラ処理として、オートフォーカス、ズーム、アイリス、防振、ホワイトバランスを持つ撮像装置についてのみ記載したが、カメラ側の処理がこれ以下、あるいは、これに類する処理を加えたものであっても、同様の手法を用いることでストリーミング時の撮像装置のマイコンの輻輳回避が可能である。
【発明を実施するための最良の形態】
【００１８】
本発明における第一の実施形態を図面等を用いて説明する。
【実施例１】
【００１９】
図１は本発明における撮像デバイスの構成図である。撮像手段はレンズ系１０１およびＣＣＤ撮像素子１０３を含んで構成される。レンズ系１０１はマスタレンズ・焦度調整用レンズ・変倍レンズ等により構成されている。レンズ制御部１０２はレンズ系１０１の焦度調節用レンズ・変倍レンズ等を駆動する駆動部ならびにこれを制御する制御部、オートフォーカスを制御する制御部を含んで構成されている。ＣＰＵ１０６が図示しないＣＣＤドライバを起動し、ＣＣＤ撮像素子１０２を駆動すると、被写体像はカメラ信号処理部１０３へ取り込まれる。カメラ信号処理部１０３は規定の信号処理を行い、ｒａｗデータを画像メモリ１０４へ送る。画像メモリに蓄えられたｒａｗデータは次のＶでカメラ信号処理部に再度取り込まれ標準テレビ画像に加工された後、画像処理部１０５へ送られる。標準テレビ画像を送られた画像処理部１０５はパソコンがＭＪＰＥＧ（Ｍｏｔｉｏｎ−ＪＰＥＧ）でストリーミング再生可能とする為、ＪＰＥＧ変換処理を行い、変換後画像メモリに書き戻す。またＣＰＵ１０６はｒａｗデータから画像を元に評価値を取得し、これを元にレンズ制御部１０２を駆動してオートフォーカス・アイリス・ズーム・光学防振の処理を行う。またＣＰＵ１０６は同時に画像処理部を駆動してホワイトバランス・電子防振処理を行う。これらの作業をＶ毎に継続的に行うことで、ストリーミング用のＭＪＰＥＧ形式データを画像メモリ１０６に蓄積する。
【００２０】
また、撮像デバイスはパソコンが接続されると、ＣＰＵ１０６はＵＳＢコア１０７を駆使して所定のネゴシエーションを行う。パソコンのＵＳＢドライバはネゴシエーション時に撮像デバイスから受け取ったディスクリプタ情報を解析に、撮像デバイスが転送可能な転送レート値を少なくとも１つ取得する。ユーザからストリーミング再生要求が発生するとパソコンのＵＳＢドライバは前述した転送レートのうち一つを選択して設定し、撮像装置に対してストリーミング用の画像データ取得の為、アイソクロナス転送開始を告げる。
【００２１】
撮像装置はアイソクロナス転送が開始になると、パソコンが設定した転送レートのサイズ分のストリーミング用動画像データを画像メモリ１０４から取り出し、図示しないＵＳＢコア内のＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ−Ｆｉｒｓｔ−Ｏｕｔ）へ、必要があればヘッダ情報等を追加して書き込む。ＵＳＢコアはＦＩＦＯにデータが溜まるとＵＳＢケーブルへ吐き出す。この操作をホストであるパソコンが１ｍｓｅｃ毎に発行するＳＯＦ信号を契機に繰り返し行う。パソコンは、アイソクロナス転送から受け取った画像情報が１フレーム分溜まると画面上に表示し、これを繰り返し行うことでストリーミング動画像再生を行う。
【００２２】
動画像をスムーズな動画像として再生するには、動画像データであるＭＪＰＥＧのフレームレートに合わせた再生が必要である。パソコンに前述したフレームレートに合わせた再生能力がない場合、撮像装置がフレームレートに合わせた転送を行う必要がある。この場合、撮像装置はＳＯＦ信号と、ＭＪＰＥＧの各フレームのエンコードを行うＶ信号と比較を行う。Ｖ信号と同じタイミングのＳＯＦであれば、そのＳＯＦから当該フレームの画像データを送り始める。次のＶ信号までの間に当該フレームの画像データを送り終えた場合、残りのＳＯＦに対しては空パケットを送信する。これの操作により撮像装置側でパソコンにフレームレートに合わせた再生を行わせることができる。これをイメージ図としたのが図２である。
【００２３】
撮像装置のＣＰＵ１０６は、通常各Ｖ毎に防振・アイリス・オートフォーカス・ズーム・ホワイトバランス・等のカメラ処理を行っている。ストリーミングが開始されると、ＣＰＵ１０６はＣＰＵ負荷を計測し、負荷が各カメラ処理の閾値以上であると認識した場合、当該カメラ処理をそのＶに限り停止する。負荷が閾値以下になれば再び停止した処理を復帰させる。この処理手順をフローで示したものが図３であり、ＣＰＵ負荷に応じてＶ内のカメラ処理を順次停止させるイメージが図４である。
【００２４】
ＣＰＵの負荷を計測する方法は次の２つを例として挙げる。
【００２５】
第一の例は、前述したパソコンのドライバが設定した転送レートを用いる手法である。アイソクロナス転送では、毎ＳＯＦに対しパソコンから設定された転送レート分のデータを転送する必要がある。設定される転送レートが大きいと、ＳＯＦ毎にＦＩＦＯへ運ぶデータ量が増える為、その分負荷は増大する。パソコンが設定する転送レートは、前述のようにネゴシエーション時に撮像装置が発行した候補値のうちパソコン側が選んで設定したものである為、撮像装置は毎ＳＯＦ当たりに必要なＦＩＦＯへの書き込み作業量、すなわちアイソクロナス転送によるＣＰＵ負荷を得ることができる。撮像装置は図示しない、予め設定された閾値を超えた転送レートがパソコンから設定された場合、カメラ処理を停止させ、ＣＰＵ負荷を軽減する。
【００２６】
第二の例は、撮像装置内のタスクの処理負荷を計測する方法である。撮像装置の各タスクに、処理の開始時にフラグを立てさせ、処理の終了時にフラグを倒す処理を入れる。全タスクが動作中、つまり、全タスクの動作フラグが立っている場合、ＣＰＵ負荷を１００％と考え、逆に全タスクが休止中、つまり、全タスクフラグが倒れている時をＣＰＵ負荷０％とする。このＣＰＵ負荷計測イメージを図５に示す。撮像装置はＶの先頭で、前述したフラグの状況を確認し、立っているフラグの数に応じてＣＰＵ負荷を計算する。ＣＰＵ負荷が、図示しない予め設定された閾値を超えた場合、当該Ｖのカメラ処理を停止させＣＰＵ負荷を軽減する。
【００２７】
以上説明した手法を元にＣＰＵ負荷を計算し、負荷に応じてカメラ処理を停止し、ＣＰＵ負荷を軽減し、輻輳回避を行うことが可能となる。
【実施例２】
【００２８】
第二の実施形態について説明する。撮像装置の構成およびＣＰＵ負荷取得方法は第一の実施形態と同じである。
【００２９】
ストリーミングが開始されると、ＣＰＵ１０６はＣＰＵ負荷を計測し、負荷が各カメラ処理の閾値以上であると認識した場合、当該カメラ処理周期を変更する。撮像装置は内部に図示しない整数値のカウンタを持ち、Ｖ毎にそのカウンタ値に１を加える。Ｖ毎に行われる各カメラ処理は、前述のカウンタを各カメラ処理固有の処理周期値で割り、その余りが０であった場合、処理を行う。パソコンと接続されていない状態では、全てのカメラ処理の処理周期値を１に設定する。これにより、常に毎Ｖ処理を行う。アイソクロナス転送時は、第一の実施形態におけるＣＰＵ負荷取得方法等を用いてＣＰＵ負荷を計測する。ＣＰＵ負荷が規定値以上になれば、各カメラ処理の処理周期値を増加させる。処理周期値が増加すると当該カメラ処理は、処理周期値分Ｖが経過する毎に１度処理される。この処理手順をフローで示したものが図６であり、ＣＰＵ負荷に応じてＶ内のカメラ処理を順次停止させるイメージが図７である。
【００３０】
以上説明した手法により、負荷に応じてカメラ処理の処理周期を変化させ、ＣＰＵ負荷を軽減し、輻輳回避を行うことが可能となる。
【００３１】
また、第一の実施形態および第二の実施形態は接続手段としてＵＳＢを用いた例を示したが、転送レートを取得可能な通信方式であればＵＳＢに限るものではない。また、転送レートを取得不可能な通信方式であっても、ＣＰＵ負荷計測に第二の例を用いた場合は、これに限るものではない。また、ストリーミング画像のフォーマットとしてＭＪＰＥＧを用いた例であるが、動画像データをデジタル信号化したものであればＵＳＢに限るものではない。またＭＪＰＥＧのように画像データのみのものに音声データを同期させてアイソクロナス転送する場合においても、音声データの転送レートを無視するか、動画像データの転送レートに音声データの転送レートを加えたものを撮像装置の転送レートとすることで同様に実現が可能である。
【図面の簡単な説明】
【００３２】
【図１】撮像装置の構成図。
【図２】アイソクロナス転送イメージ図。
【図３】実施形態１における、カメラ処理停止のフロー図。
【図４】実施形態１における、カメラ処理停止のイメージ図。
【図５】フラグによるＣＰＵ負荷計測イメージ図。
【図６】実施形態２における、カメラ処理周期変更のフロー図。
【図７】実施形態２における、カメラ処理周期変更のイメージ図。
【図１】
2006246025.tif 000003
【図２】
2006246025.tif 000004
【図３】
2006246025.tif 000005
【図４】
2006246025.tif 000006
【図５】
2006246025.tif 000007
【図６】
2006246025.tif 000008
【図７】
2006246025.tif 000009