(57)【要約】【目的】複数台接続された映像入力装置の映像の切り替えを映像が途切れることなくスムーズに行うことができる映像入力装置を提供すること。【構成】撮像部と、信号処理部と、データバッファと、連続するフレーム開始パケットに挟まれた各フレーム期間内にネゴシエーションにより定められた個数のデータパケットを転送することが保証されるデータ転送手段とを有する映像入力装置において、前記データ転送手段は外部に接続された接続機器から撮像タイミングの同期を取るためのコマンドを受信し、該データ転送手段は該コマンドに指示されたタイミングの発生を検出する機能を有し、外部に接続された接続機器からコマンドで指示されたタイミングで該撮像部の垂直同期タイミングをリセットする。【選択図】      図１
2004253872.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して電気信号を生成する撮像部と、該撮像部により生成された電気信号を処理して映像信号を生成する信号処理部と、該信号処理部により作成され映像信号を保管するデータバッファと、該データバッファに保管された映像信号を所定の通信インタフェースを介して外部装置に転送するためのデータ転送手段であって、一定期間ごとに所定のフレーム開始パケットが送信され、連続するフレーム開始パケットに挟まれた各フレーム期間内にネゴシエーションにより定められた個数のデータパケットを転送することが保証されるデータ転送手段とを有する映像入力装置において、
前記データ転送手段は外部に接続された接続機器から撮像タイミングの同期を取るためのコマンドを受信し、該データ転送手段は該コマンドに指示されたタイミングの発生を検出する機能を有し、外部に接続された接続機器からコマンドで指示されたタイミングで該撮像部の垂直同期タイミングをリセットすることを特徴とする映像入力装置。
【請求項２】
前記データ転送手段は、ＵＳＢインタフェースを介してデータ転送を行うことを特徴とする請求項１記載の映像入力装置。
【請求項３】
同期を取るための前記コマンドはフレーム番号を情報として含み、該データ転送部はフレーム開始パケットを検出し、検出したフレーム開始パケットに含まれるフレーム番号とコマンドにより指示されたフレーム番号とを比較し、両者の番号が一致するときに該垂直同期リセット信号を送ることを特徴とする請求項２記載の映像入力装置。
【請求項４】
前記データ転送手段は、外部に接続された接続機器からの指示により画像を切り替えるための画像切り替えコマンドを受信し、該画像切り替えコマンドは画像の切り替えタイミングを正確に指定する情報を含み、新たに映像入力を選択されたときには、指定されたタイミングで映像の送信を開始し、選択を解除されたときには、指定されたタイミングで映像の送信を停止することを特徴とする請求項３記載の映像入力装置。
【請求項５】
前記切り替えコマンドは、フレーム番号を情報として含み、該データ転送部はフレーム開始パケットを検出し、検出したフレーム開始パケットに含まれるフレーム番号とコマンドにより指示されたフレーム番号とを比較し、両者の番号が一致するときに映像の送信を開始又は映像の送信を停止することを特徴とする請求項４記載の映像入力装置。
【請求項６】
被写体を撮像して電気信号を生成する撮像部と、該撮像部により生成された電気信号を処理して映像信号を生成する信号処理部と、該信号処理部により作成され映像信号を保管するデータバッファと、該データバッファに保管された映像信号を所定の通信インタフェースを介して外部装置に転送するためのデータ転送手段であって、一定期間ごとに所定のフレーム開始パケットが送信され、連続するフレーム開始パケットに挟まれた各フレーム期間内にネゴシエーションにより定められた個数のデータパケットを転送することが保証されるデータ転送手段とを有する映像入力装置と、該映像入力装置と所定の通信インタフェースで接続し、該映像入力装置を制御して映像を受信する外部接続機器とから構成され、該映像受信装置は撮像タイミングの同期を取るためのコマンドを送信し、該映像入力装置のデータ転送手段は映像受信装置から撮像タイミングの同期を取るためのコマンドを受信し、指示されたタイミングの発生を検出したときに該撮像部の垂直同期タイミングをリセットすることを特徴とする映像入力装置。
【請求項７】
前記データ転送手段は、該映像入力装置のＵＳＢデバイスコントローラと該映像受信装置のＵＳＢホストコントローラとの間でデータ転送を行うことを特徴とする請求項６記載の映像入力装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばパソコンに映像を入力するための映像入力装置に関する。更には、複数台の映像入力装置を１つの機器に接続して各映像入力装置間の映像を切り替える映像入力システムの同期方法に関する。
【０００２】
【従来の技術】
ＰＣの高速シリアルデータ通信手段として近年ＵＳＢインタフェースが広く一般に使用されている。ＵＳＢインタフェースでは、１本のＵＳＢケーブルに対して論理的に複数のチャネルを設定し、各チャネルごとに異なる速度で異なるデータを時分割で伝送することが可能である。伝送速度はＵＳＢ１．１規格で最大１２Ｍｂｐｓ、ＵＳＢ２．０規格では最大４８０Ｍｂｐｓの高速データ転送が可能である。
【０００３】
このようなデータ転送の高速性と複数の論理チャネルを設定できることから、単にＰＣと周辺機器との間の接続だけでなく、セットトップボックスとデバイス、プリンタとデジカメ等のデバイス同士の接続等、様々な用途で使用されている。
【０００４】
その中で、画像をＵＳＢインタフェースで送信するＵＳＢカメラがある。通常のカメラが同軸ケーブル上にアナログビデオ信号を流すのに対して、ＵＳＢカメラはＵＳＢケーブル上にデジタルの画像信号を流す。その信号形態は輝度信号と色差信号の組から成るデータをフレーム単位で送信する方法が一般に用いられ、ＵＳＢ１．１規格のデータ速度では、３５２×２４０画素サイズのデータを１０ｆｐｓ程度で伝送でき、ＵＳＢ２．０規格であればＮＴＳＣテレビサイズの画像を３０ｆｐｓでフルに伝送することが可能である。このようなＵＳＢインタフェースを使用した映像入力装置の例として、特開平１１−２５０２３５号の画像入力装置がある。
【０００５】
このようなＵＳＢカメラをテレビ会議の用途で使用する場合を考えると、テレビ会議では、例えば通信開始時には人物カメラを使用して互いの顔を映像で確認し、会議が進むに連れて、必要に応じて映像を書画カメラに切り替えてドキュメントを表示し、再び人物カメラの映像に戻すといった例や、複数人の出席者それぞれに用意された短焦点の人物カメラと会議室全体を写す雲台付きカメラを用意して会議の最初は会議室全体を表示し、議論が始まると発言者のカメラに切り替えるといった例のように、複数台のカメラを接続してそれらのカメラの映像を通信中に切り替えることが行われる。特開平１１−２５０２３５号では、複数台のＵＳＢカメラをＵＳＢのホスト機器から使用して映像を切り替える場合について考慮されていない。
【０００６】
又、多数のＵＳＢカメラを１つのテレビ会議システムで使用する場合には、ＵＳＢのホストコントローラ機能を持つ装置に映像コーデックや音声コーデックハードウェアを内蔵し、切り替えたＵＳＢカメラからの映像をホスト装置の映像コーデックで圧縮符号化し、遠隔地のテレビ会議端末に送信する使われ方が、映像コーデックが１つで済むためシステムをローコストで構成することができ、経済的である。
【０００７】
【発明が解決しようとする課題】
ＵＳＢカメラを複数台接続して映像を切り替える場合、従来のＵＳＢカメラはそれぞれ別々のフレームタイミングで動作しているため、切り替え時に映像の途切れが生じていた。このような映像の途切れは、単に映像を見にくいばかりでなく、入力された映像をＨ２６３等の動画コーデックで圧縮符号化する場合には、映像の途切れによりコーデック上でバッファアンダーランが生じ、コーデック動作がリセットされてしまうといった重大な問題が生じていた。
【０００８】
本発明は上記問題に鑑みてなされたもので、その目的とする処は、複数台接続された映像入力装置の映像の切り替えを映像が途切れることなくスムーズに行うことができる映像入力装置を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するため、本発明は、被写体を撮像して電気信号を生成する撮像部と、該撮像部により生成された電気信号を処理して映像信号を生成する信号処理部と、該信号処理部により作成され映像信号を保管するデータバッファと、該データバッファに保管された映像信号を所定の通信インタフェースを介して外部装置に転送するためのデータ転送手段であって、一定期間ごとに所定のフレーム開始パケットが送信され、連続するフレーム開始パケットに挟まれた各フレーム期間内にネゴシエーションにより定められた個数のデータパケットを転送することが保証されるデータ転送手段とを有する映像入力装置において、前記データ転送手段は外部に接続された接続機器から撮像タイミングの同期を取るためのコマンドを受信し、該データ転送手段は該コマンドに指示されたタイミングの発生を検出する機能を有し、外部に接続された接続機器からコマンドで指示されたタイミングで該撮像部の垂直同期タイミングをリセットすることを特徴とする。
【００１０】
【発明の実施の形態】
以下に本発明の実施の形態を添付図面に基づいて詳細に説明する．
本発明の一実施の形態であるＵＳＢカメラを映像入力装置として複数台使用したＬＡＮ接続型テレビ会議システムの機器接続図を図２に示す。
【００１１】
ここでは、本発明の一実施の形態である３台のＵＳＢカメラ２０１が、ＵＳＢ  ＨＵＢ２０２にＵＳＢケーブルで接続されている。このうち、１台は人物撮影用短焦点カメラ２０１ａ、１台はドキュメント撮影用ズーム付きカメラ２０１ｂ、１台は室内撮影用雲台付きズームカメラ２０１ｃである。
【００１２】
３台のＵＳＢカメラが接続されたＵＳＢ  ＨＵＢ２０２は更にＵＳＢのホストコントローラ機能を持つ、Ｈ１２３テレビ会議ＳＴＢ（セットトップボックス）２０３にＵＳＢケーブルで接続されている。ＳＴＢ２０３は、ＬＡＮ接続型テレビ会議システム用のプロトコルスタックであるＨ３２３プロトコル機能、Ｈ２６３ビデオコーデック機能、Ｇ７１１／Ｇ７２３．１オーディオコーデック機能を有する。
【００１３】
更に、ＳＴＢはビデオ出力ボードを内蔵し、その出力プラグとビデオモニタ２０４がビデオケーブルにより接続されている。更に、ＳＴＢ２０３はオーディオ入出力インタフェースを有し、マイク２０６及びスピーカー２０７を接続する。又、ＳＴＢ２０３は赤外線受光部を有し、赤外線リモコン２０５によりユーザ入力を受け付ける。又、ＳＴＢ２０３は１０／１００ｂａｓｅＴのＬＡＮインタフェースを有し、ＬＡＮ２０８に接続されている。
【００１４】
次に、図２を用いて動作の概略を説明する。
【００１５】
ユーザはリモコン２０５で映像ソースとして人物カメラ２０１ａを選択すると、ＳＴＢはその入力を受け付け、ＵＳＢホストコントローラを介して人物カメラ２０１ａのＵＳＢアドレスに宛てた画像送信開始コマンドを送信する。人物カメラは自アドレス宛てのＵＳＢコマンドを受信し、ＵＳＢケーブルを介して映像データの送信を開始する。
【００１６】
ＳＴＢは人物カメラから映像を受信し、受信データを内蔵するビデオ出力ボードに渡し、ビデオ出力ボードでデジタル映像データがＮＴＳＣビデオ信号に変換され、人物カメラの映像がモニタ２０４に映し出される。
【００１７】
ＳＴＢでリモコン操作により、ＬＡＮに接続された遠隔地のテレビ会議装置とのテレビ会議を指示すると、Ｈ３２３プロトコル機能により呼接続、能力交換、メディアチャネルの開設手順が実行され、テレビ会議が開始される。
【００１８】
カメラからの映像入力はビデオコーデックで圧縮符号化され、所定のヘッダと共にＲＴＰパケットにパケット化されてＬＡＮ２０８に送信する。マイク２０６からの音声入力は音声コーデックで圧縮符号化され、ＲＴＰパケットにパケット化してＬＡＮ２０８に送信する。
【００１９】
遠隔地の会議端末からのＲＴＰビデオパケットをＬＡＮ２０８から受信するとビデオコーデックで複合され、更にビデオ出力ボードでＮＴＳＣビデオ信号に変換されてビデオモニタ２０４に表示される。会議端末からのＲＴＰ音声パケットをＬＡＮ２０８から受信すると、音声コーデックにより伸張復号化され、更にＡ／Ｄ変換されてスピーカー２０７から出力される。
【００２０】
ここでユーザが次にリモコン２０５で書画カメラを選択すると、ＳＴＢはＵＳＢホストコントローラを介して人物カメラ２０１ａのＵＳＢアドレスに宛てて映像の切り替えコマンドを送信し、次に書画カメラ２０１ｂのＵＳＢアドレス宛てに映像切り替えコマンドを送信する。
【００２１】
人物カメラ２０１ａは、自アドレス宛ての映像切り替えコマンドを受信してコマンドに指定されたタイミングで映像データの送信を停止する。書画カメラ２０１ｂは、自アドレス宛ての映像切り替えコマンドを受信してコマンドに指定されたタイミングで映像データの送信を開始する。ＳＴＢは、書画カメラからの映像データを受信し、人物カメラからの映像と同様に圧縮符号化し、ＲＴＰビデオパケット化して、相手テレビ会議端末宛てにＬＡＮ２０８に送信する。
【００２２】
上記の説明の間、ＵＳＢ  ＨＵＢは、ＳＴＢから送信されるフレーム開始パケット及び映像切り替えコマンドをＵＳＢカメラが接続されている全てのポートに送出する。ＨＵＢに接続されているＵＳＢカメラでは、ＳＯＦの検出及び自アドレス宛てのコマンドの受信が行われ、他アドレス宛てのコマンドはＵＳＢデバイスコントローラで無視される。
【００２３】
以上本発明の実施例の使用例を概略説明した。その中で人物カメラからの映像を書画カメラからの映像に切り替え時に、映像が途切れることなく切り替えることができるのが本発明の特徴であるが、この特徴部分を以下に詳しく説明する。
図１に本発明の実施形態であるＵＳＢカメラのシステム構成図を示す。タイミング発生器（ＴＧ）１０３から供給されるＣＣＤ駆動信号に従ってＣＣＤ１０１は動作し、レンズユニット１１０からの入力光を光電変換し、ＣＣＤ信号を発生する。発生されたＣＣＤ信号は、ＣＤＳ／ＡＧＣ部１０２により二重相関サンプリングとゲイン調整がなされる。その後、Ａ／Ｄ変換器１０５でデジタルデータに変換される。
【００２４】
デジタルデータはＤＳＰ１０６に入力され、ＳＳＧ（同期信号発生器）１０４から供給されるクロック信号及びタイミング信号に従ってデジタル信号処理され、輝度成分と色差成分から成る映像データに変換されてデータバッファ１０７に蓄積される。蓄積されたデータは、ＵＳＢｉ／ｆ１０８を通してＵＳＢのホスト機器へ転送される。
【００２５】
ＵＳＢｉ／ｆ１０８は又ＵＳＢのフレームに指定されたタイミングで同期信号発生器に垂直同期リセット信号を送る。
【００２６】
タイミング発生器１０３は、内部で発生した映像クロック信号とＳＳＧから供給される同期信号より、ＣＣＤを駆動するためのタイミング信号を発生してＣＣＤ１０１を駆動する。又、ＣＤＳ／ＡＧＣ１０２部に対してサンプルホールドタイミング信号を供給し、Ａ／Ｄ変換器１０５に対してＡ／Ｄ変換タイミング信号を供給する。
【００２７】
同期信号発生器１０４は、ＵＳＢｉ／ｆ１０８から受信する垂直同期タイミングリセット信号と内部クロックから発生させる映像クロック信号から所定の水平、垂直同期信号を発生し、タイミング信号発生器（ＴＧ）１０３に供給する。
【００２８】
制御マイコン１０９は、ＤＳＰ１０６、ＵＳＢｉ／ｆ１０８及びレンズ部駆動回路１１１を制御する。レンズ部駆動回路１１１は、レンズ部１１０に駆動信号を供給して、レンズ部のズーム動作、フォーカス動作及びアイリス動作を制御する。
【００２９】
次に、本発明の特徴となる撮像タイミングをＵＳＢコマンドを用いて外部接続機器から同期させる方法について説明する。
【００３０】
ここで、先にＵＳＢフレームについて簡単に説明する。
【００３１】
ＵＳＢ１．１規格に従ったＵＳＢ  ＨＯＳＴ機器は１ミリ秒に１回の正確な周期でＳＯＦパケットを送出する。ＳＯＦパケットは図７に示すように、ＳＯＦパケットを表す８ｂｉｔのパケットＩＤ、１１ビットのフレーム番号、５ｂｉｔのエラー訂正符号（ＣＲＣ）から構成されている。ＳＯＦパケットのフレーム番号はフレームを識別するためのＩＤでＳＯＦパケットごとに１ずつ増加される。連続するＳＯＦパケットに挟まれた区間に、ホストからＵＳＢ機器へのコマンド送信やホストとＵＳＢ機器間でのデータの送受信ができる。本発明ではＵＳＢのＳＯＦフレームのフレームＩＤをＵＳＢのＨＯＳＴ機器（ＳＴＢ）からＵＳＢのベンダ独自リクエストを用いて指定することにより、ＳＳＧの垂直同期をリセットするタイミングを指定する。
【００３２】
図３のフローチャートを用いて映像の同期動作を説明する。
【００３３】
ＵＳＢ接続されたＳＴＢからＨＵＢを介してＵＳＢインタフェースがＶリセットタイミング指定コマンドを受信する（ステップＳ１０１）。制御部はＵＳＢインタフェースが受信したコマンドを解釈し、指定された番号のフレームを検出するようにＵＳＢｉ／ｆ１０８に指示する（ステップＳ１０２）。ＵＳＢインタフェースはフレーム開始パケットＳＯＦの検出を開始する（ステップＳ１０３）。
【００３４】
ＵＳＢｉ／ｆ１０８はＳＯＦパケットを検出すると、パケット内のフレーム番号を指定された値と比較する（ステップＳ１０４）。番号が異なればステップＳ１０３に戻り、引き続きＳＯＦの検出を続ける。指定された値と一致したら、ＳＯＦフレームの検出を終了し、Ｖリセット信号を同期信号発生器１０４に送る（ステップＳ１０５）。
【００３５】
同期信号発生器１０４はＶリセット信号により、垂直同期信号及び水平同期信号の内部ロジックをリセットし、新たなタイミングでＣＣＤ（信号、サンプルホールドタイミング信号、Ａ／Ｄ変換タイミング信号を発生する（ステップＳ１０６）。ＣＣＤはＴＧからの駆動信号により、センサに蓄積されていた電荷及びを掃き捨て、新たに撮像を開始する（ステップＳ１０７）。
【００３６】
以上の動作により、ＵＳＢカメラの垂直同期タイミングを指定のＵＳＢフレーム開始パケットにより同期させることができる。
【００３７】
次に、映像送信の切り替え動作を説明する。
【００３８】
図４にＳＴＢの処理フローを示す。ＳＴＢはカメラからの画像を、１画面を構成する切りの良いタイミングで切り替えるために、現在ホストコントローラが受信しているデータサイズから、一画面構成するために必要な残りデータサイズを計算し、その値を映像データパケットサイズで除算して映像の切れ目となるＵＳＢのフレーム番号を計算する（ステップＳ２０１）。そのフレーム番号を情報として含む、映像切り替えコマンドを人物カメラ、書画カメラ双方に送信する（ステップＳ２０２）。
【００３９】
映像切り替え指定フレームより１つ前のフレームまで人物カメラからの映像データが受信される（ステップＳ２０３）。映像切り替え指定フレームからは書画カメラからの映像データが受信される（ステップＳ２０４）。
【００４０】
図５に人物カメラの処理フローを示す。
【００４１】
人物カメラのＵＳＢインタフェースは自アドレス宛ての映像切り替えコマンドを受信する（ステップＳ３０１）。制御部はＵＳＢインタフェースが受信したコマンドを解釈し、指定された番号のフレームで映像送信を停止するようにＵＳＢｉ／ｆ１０８に指示する（ステップＳ３０２）。
【００４２】
ＵＳＢインタフェースはフレーム開始（ＳＯＦ）パケットを検出する（ステップＳ３０３）。ＵＳＢインタフェースはＳＯＦパケットを検出すると、パケット内のフレーム番号を指定された値と比較する（ステップＳ３０４）。番号が異なればデータバッファの映像データを１パケット分送信し（ステップＳ３０５）、ステップＳ３０３に戻って引き続きとＳＯＦの検出を続ける。指定された値と一致したら、ＳＯＦフレームの検出を終了し、制御部にフレーム検出を知らせると共に、映像データの送信を停止する（ステップＳ３０６）。
【００４３】
図６に書画カメラの処理フローを示す。
【００４４】
書画カメラのＵＳＢインタフェースは自アドレス宛ての映像切り替えコマンドを受信する（ステップＳ４０１）。制御部はＵＳＢインタフェースが受信したコマンドを解釈し、指定された番号のフレームから映像送信を送信するようにＵＳＢｉ／ｆ１０８に指示する（ステップＳ４０２）。
【００４５】
ＵＳＢインタフェースはフレーム開始パケットＳＯＦの検出を開始する（ステップＳ４０３）。ＵＳＢインタフェースはＳＯＦパケットを検出すると、パケット内のフレーム番号を指定された値と比較する（ステップＳ４０４）。番号が異なればステップＳ４０３に戻って引き続きとＳＯＦの検出を続ける。指定された値と一致したら、制御部にフレーム検出を知らせると共に、データバッファから一パケット分の映像データをＵＳＢに送信する。以後、ＳＯＦパケットを受信するたびに、データバッファから一パケット分の映像データをＵＳＢに送信する（ステップＳ４０５）。
【００４６】
上記の映像切り替えにおいて、全てのＵＳＢカメラが予め図３のフローチャートで説明した処理に従って映像の同期が取れているため、映像が途切れることなく、人物カメラの画像から書画カメラの画像へ切り替えることが可能となる。
【００４７】
【発明の効果】
以上の説明で明らかなように、本発明によれば、被写体を撮像して電気信号を生成する撮像部と、該撮像部により生成された電気信号を処理して映像信号を生成する信号処理部と、該信号処理部により作成され映像信号を保管するデータバッファと、該データバッファに保管された映像信号を所定の通信インタフェースを介して外部装置に転送するためのデータ転送手段であって、一定期間ごとに所定のフレーム開始パケットが送信され、連続するフレーム開始パケットに挟まれた各フレーム期間内にネゴシエーションにより定められた個数のデータパケットを転送することが保証されるデータ転送手段とを有する映像入力装置において、前記データ転送手段は外部に接続された接続機器から撮像タイミングの同期を取るためのコマンドを受信し、該データ転送手段は該コマンドに指示されたタイミングの発生を検出する機能を有し、外部に接続された接続機器からコマンドで指示されたタイミングで該撮像部の垂直同期タイミングをリセットするようにしたため、複数台接続された映像入力装置の映像の切り替えを映像が途切れることなくスムーズに行うことができるという効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る機器の接続図である。
【図２】本発明の実施形態に係る画像入力装置のシステム構成図である。
【図３】撮像同期処理の流れを示すフローチャートである。
【図４】ＳＴＢにおける映像送信切り替えの流れを示すフローチャートである。
【図５】ＵＳＢカメラの映像切り替え（送信停止）フローチャートである。
【図６】ＵＳＢカメラの映像切り替え（送信開始）フローチャートである。
【図７】ＵＳＢのＳＯＦパケットの構成図である。
【符号の説明】
１０１    撮像素子（ＣＣＤ）
１０２    ＣＤＳ／ＡＧＣ
１０３    タイミング発生器（ＴＧ）
１０４    同期信号発生器（ＳＳＧ）
１０５    Ａ／Ｄ変換器
１０６    映像信号処理ＤＳＰ
１０７    データバッファ
１０８    ＵＳＢデバイスコントローラ
１０９    制御マイコン
１１０    レンズユニット
１１１    レンズ部駆動回路
２０１    ＵＳＢカメラ
２０２    ＵＳＢハブ
２０３    セットトップボックス（ＳＴＢ）
２０４    ビデオモニタ
２０５    リモコン
２０６    マイク
２０７    スピーカー
２０８    ＬＡＮ／ＷＡＮ
【図１】
2004253872.tif 000003
【図２】
2004253872.tif 000004
【図３】
2004253872.tif 000005
【図４】
2004253872.tif 000006
【図５】
2004253872.tif 000007
【図６】
2004253872.tif 000008
【図７】
2004253872.tif 000009