(57)【要約】【課題】  ネットワークの通信状態が悪化しても動きが滑らかな動画像を送信すること。【解決手段】  カメラユニットは、被写体を撮像して画像データを出力するカメラと、画像データのデータ量を減少させるデータ削減部１５１と、カメラが出力する画像データおよびデータ量が減少された画像データのいずれかが入力され、入力された画像データを圧縮符号化した圧縮データを生成する圧縮部１５４と、圧縮部１５４が出力する圧縮データを順に記憶する送信用画像データリングバッファ１２５と、ネットワークに接続されたＬＡＮコントローラと、送信用画像データリングバッファ１２５から記憶された順にデータを読出してＬＡＮコントローラに出力する出力制御部１５６と、ネットワークの通信状態を検出する通信状態監視部１５２と、通信状態監視部１５２により検出された通信状態に応じて、圧縮部１５４に入力する画像データを切換える切換部１５３とを備える。【選択図】        図５
2006186552.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像データを出力する撮像手段と、
前記画像データのデータ量を減少させるデータ量減少手段と、
前記撮像手段が出力する画像データおよび前記データ量減少手段によりデータ量が減少された画像データのいずれかが入力され、入力された画像データを圧縮符号化した画像圧縮データを生成する画像圧縮手段と、
前記画像圧縮手段が出力する画像圧縮データを順に記憶する第１記憶手段と、
ネットワークに接続され、他のコンピュータと通信するための通信手段と、
前記第１記憶手段から記憶された順にデータを読出し、前記通信手段に出力するデータ出力手段と、
ネットワークの通信状態を検出する検出手段と、
前記検出手段により検出された通信状態に応じて、前記画像圧縮手段に入力する画像データを切換える切換手段とを備えた、撮像装置。
【請求項２】
前記検出手段は、前記第１記憶手段に記憶されている未だ送信されていないデータの量を検出する第１データ量検出手段と、
前記検出されたデータ量を所定の値と比較する比較手段とを含む、請求項１に記載の撮像装置。
【請求項３】
前記データ量減少手段は、前記画像データから顔を含む顔領域を抽出する顔領域抽出手段を含み、抽出した前記顔領域を出力する、請求項１に記載の撮像装置。
【請求項４】
前記データ量減少手段は、前記画像データから顔を含む顔領域を抽出する顔領域抽出手段と、
前記画像データの前記顔領域以外の領域を所定のパターンに置換する置換手段とを含む、請求項１に記載の撮像装置。
【請求項５】
前記データ量減少手段は、前記画像データの画素数を変更する変更手段を含む、請求項１に記載の撮像装置。
【請求項６】
前記通信手段は、分散型ネットワークに接続されており、
前記撮像装置は、他のコンピュータから送信されたデータを受信し、該データを別のコンピュータに送信する中継手段をさらに備え、
前記中継手段は、他のコンピュータから受信したデータを順に記憶する第２記憶手段を含んでおり、
前記データ出力手段は、さらに、前記第２記憶手段から記憶された順にデータを読出し、前記通信手段に出力する、請求項１に記載の撮像装置。
【請求項７】
前記検出手段は、前記第１記憶手段に記憶されている未だ送信されていないデータの量を検出する第１データ量検出手段と、前記第２記憶手段に記憶されている未だ送信されていないデータの量を検出する第２データ量検出手段と、
前記第１データ量検出手段および前記第２データ量検出手段により検出されたデータ量のいずれかを所定の値と比較する比較手段とを含む、請求項６に記載の撮像装置。
【請求項８】
音声信号が入力される音声入力手段と、
前記音声入力手段が出力する音声データを圧縮符号化して音声圧縮データを生成する音声圧縮手段と、
前記音声圧縮手段が出力する画像圧縮データを順に記憶する第３記憶手段と、
前記データ出力手段は、さらに、前記第３記憶手段から記憶された順にデータを読出し、前記通信手段に出力する、請求項６に記載の撮像装置。
【請求項９】
前記検出手段は、前記第１記憶手段に記憶されている未だ送信されていないデータの量を検出する第１データ量検出手段と、
前記第２記憶手段に記憶されている未だ送信されていないデータの量を検出する第２データ量検出手段と、
前記第３記憶手段に記憶されている未だ送信されていないデータの量を検出する第３データ量検出手段と、
前記第１データ量検出手段、前記第２データ量検出手段および前記第３データ量検出手段により検出されたデータ量のいずれかを所定の値と比較する比較手段とを含む、請求項８に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は撮像装置に関し、特に撮像して得られる画像を圧縮して送信する撮像装置に関する。
【背景技術】
【０００２】
テレビ電話に代表されるように、被写体を撮像して得られる画像データを、ネットワークを介して他のコンピュータに送信して、コンピュータでその画像データを表示する撮像システムが知られている。
【０００３】
特開２００４−８７２８４号公報（特許文献１）には、複数のネットワーク情報処理システム＃ｎ（ｎ＝１〜Ｎ）と、ネットワーク情報処理システム間を接続する通信手段とを備え、各々のネットワーク情報処理システムは、任意の情報を処理する一以上の情報処理装置と、少なくとも、情報処理装置から転送される情報を処理して表示情報を含む電子情報内容を提供する情報提供管理手段とを含み構成され、情報提供管理手段は各々の情報処理装置に対して処理状況情報を通知すると共に、当該情報処理装置では処理状況情報に対応した情報転送速度制御を実行するネットワーク情報処理システムが記載されている。
【０００４】
しかしながら、ネットワークを流れるデータ量が多くなると、画像データを送信するのに時間がかかり、送信側で撮像するタイミングと受信側で表示するタイミングとがずれてしまう。特開２００４−８７２８４号公報に記載のネットワーク情報処理システムは、情報転送速度を変更するため送信側で撮像するタイミングと受信側で表示するタイミングのずれを解消することはできない。
【０００５】
また、特開平１０−７９９３６号公報（特許文献２）には、映像信号を符号化し符号化データを出力する第１の符号化手段と、上記符号化データを蓄積する蓄積手段と、上記蓄積手段のデータ蓄積量が所定値を越えたことを検出し、この検出に基づいて上記蓄積された符号化データをフレーム単位で廃棄させる制御手段と、上記廃棄後の１フレームの上記映像信号をフレーム内符号化しその符号化データを上記蓄積手段に送る第２の符号化手段とを備えた映像符号化装置が記載されている。
【０００６】
しかしながら、特開平１０−７９９３６号公報に記載の映像符号化装置では、符号化データをフレーム単位で廃棄するので、コマ落ちが発生し、受信側で動画像を滑らかに再生することができない。
【特許文献１】特開２００４−８７２８４号公報
【特許文献２】特開平１０−７９９３６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の１つは、ネットワークの通信状態が悪化しても動きが滑らかな動画像を送信することが可能な撮像装置を提供することである。
【課題を解決するための手段】
【０００８】
上述した目的を達成するためにこの発明のある局面によれば、撮像装置は、被写体を撮像して画像データを出力する撮像手段と、画像データのデータ量を減少させるデータ量減少手段と、撮像手段が出力する画像データおよびデータ量減少手段によりデータ量が減少された画像データのいずれかが入力され、入力された画像データを圧縮符号化した画像圧縮データを生成する画像圧縮手段と、画像圧縮手段が出力する画像圧縮データを順に記憶する第１記憶手段と、ネットワークに接続され、他のコンピュータと通信するための通信手段と、第１記憶手段から記憶された順にデータを読出し、通信手段に出力するデータ出力手段と、ネットワークの通信状態を検出する検出手段と、検出手段により検出された通信状態に応じて、画像圧縮手段に入力する画像データを切換える切換手段とを備える。
【０００９】
この発明に従えば、撮像手段が出力する画像データを圧縮して送信するか、または撮像手段が出力する画像データのデータ量を減少した画像データを圧縮して送信するかが、通信状態に応じて切換えられる。このため、ネットワークの通信状態が悪化しても動きが滑らかな動画像を送信することが可能な撮像装置を提供することができる。
【００１０】
好ましくは、検出手段は、第１記憶手段に記憶されている未だ送信されていないデータの量を検出する第１データ量検出手段と、検出されたデータ量を所定の値と比較する比較手段とを含む。
【００１１】
この発明に従えば、ネットワークの状態を容易に検出することができる。
【００１２】
好ましくは、データ量減少手段は、画像データから顔を含む顔領域を抽出する顔領域抽出手段を含み、抽出した顔領域を出力する。
【００１３】
好ましくは、データ量減少手段は、画像データから顔を含む顔領域を抽出する顔領域抽出手段と、画像データの顔領域以外の領域を所定のパターンに置換する置換手段とを含む。
【００１４】
好ましくは、データ量減少手段は、画像データの画素数を変更する変更手段を含む。
【００１５】
好ましくは、通信手段は、分散型ネットワークに接続されており、撮像装置は、他のコンピュータから送信されたデータを受信し、該データを別のコンピュータに送信する中継手段をさらに備え、中継手段は、他のコンピュータから受信したデータを順に記憶する第２記憶手段を含んでおり、データ出力手段は、さらに、第２記憶手段から記憶された順にデータを読出し、通信手段に出力する。
【００１６】
この発明に従えば、分散ネットワークの転送が遅れるのを防止することができる。
【００１７】
好ましくは、第１記憶手段に記憶されている未だ送信されていないデータの量を検出する第１データ量検出手段と、第２記憶手段に記憶されている未だ送信されていないデータの量を検出する第２データ量検出手段と、第１データ量検出手段および第２データ量検出手段により検出されたデータ量のいずれかを所定の値と比較する比較手段とを含む。
【００１８】
好ましくは、音声信号が入力される音声入力手段と、音声入力手段が出力する音声データを圧縮符号化して音声圧縮データを生成する音声圧縮手段と、音声圧縮手段が出力する画像圧縮データを順に記憶する第３記憶手段と、データ出力手段は、さらに、第３記憶手段から記憶された順にデータを読出し、通信手段に出力する。
【００１９】
好ましくは、検出手段は、第１記憶手段に記憶されている未だ送信されていないデータの量を検出する第１データ量検出手段と、第２記憶手段に記憶されている未だ送信されていないデータの量を検出する第２データ量検出手段と、第３記憶手段に記憶されている未だ送信されていないデータの量を検出する第３データ量検出手段と、第１データ量検出手段、第２データ量検出手段および第３データ量検出手段により検出されたデータ量のいずれかを所定の値と比較する比較手段とを含む。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照しつつ本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。
【００２１】
＜第１の実施の形態＞
図１は、本発明の発明の第１の実施の形態におけるカメラシステムの全体概要を示す図である。図１を参照して、カメラシステム１は、カメラユニット１００，１００Ａ〜１００Ｇと、パーソナルコンピュータ（以下「ＰＣ」という）１０１，１０１Ａ〜１０１Ｃと、それらが接続されるネットワーク１０３とを含む。図では、８台のカメラユニット１００，１００Ａ〜１００Ｇと、４台のＰＣ１０１，１０１Ａ〜１０１Ｃとをネットワーク１０３に接続する例を示しているが、台数をそれらに限定するものではない。
【００２２】
カメラユニット１００，１００Ａ〜１００Ｇは、その構成は同様であるので、ここでは特に言及しない限りカメラユニット１００を例に説明する。
【００２３】
ネットワーク１０３は、分散型ネットワークを構成する。このため、ネットワーク１０３に接続される機器では、ネットワーク１０３を流れてくるパケットを中継するルータ機能を有する。このルータ機能について説明する。ここでは、説明のため、ネットワーク１０３にカメラユニット１００，１００Ａ〜１００Ｇが接続されている場合を例に説明する。
【００２４】
カメラユニット１００，１００Ａ〜１００Ｇは、ベクトルデータベースを作成して記憶している。カメラユニット１００は、自らが保有している経路情報をネットワーク１０３にブロードキャストで送信する。一方、他のカメラユニット１００Ａ〜１００Ｇも、それぞれが保有する経路情報を送信する。カメラユニット１００は、それらを受信すると、それらの経路の距離に１を加算して、自らの経路情報に加える。さらに、変更された経路情報をネットワーク１０３にブロードキャストで送信する。この処理を、全てのカメラユニット１００，１００Ａ〜１００Ｇが繰返すことで、ネットワーク１０３の経路情報が順に伝達されて、カメラユニット１００，１００Ａ〜１００Ｇそれぞれにベクトルデータベースが作成される。
【００２５】
ベクトルデータベースには、宛先のカメラユニットのネットワーク１０３上の位置情報（例えばＩＰ（Internet Protocol）アドレス）と、そのＩＰアドレスの方向で自装置に距離が近いカメラユニットのＩＰアドレス、さらに、その経路での宛先のカメラユニットまでの距離が含まれる。経路の距離は、中継するカメラユニットの数を示す。
【００２６】
カメラユニット１００，１００Ａ〜１００Ｇは、ネットワーク１０３から受信したパケットが自分宛てのＩＰアドレスでない場合には、ベクトルデータベースを参照して、宛先のＩＰアドレスの方向で距離が近いカメラユニットにそのパケットを送信する。この通信プロトコルは、周知のＲＩＰ（Routing Information Protocol）や他のルーティングプロトコルで実現可能である。
【００２７】
この分散型ネットワークの利点は、高価なサーバを用いる必要がないこと、さらに、分散型ネットワークの通信プロトコルに対応する機器であれば、容易に接続することができることである。特に、ネットワーク１０３の伝送媒体が無線の場合は、それに接続される機器の配置が容易であり、配置が変更された場合でも柔軟に対応することができる。
【００２８】
本実施の形態におけるカメラシステムは、たとえば、監視システムに適用することができる。カメラユニット１００，１００Ａ〜１００Ｇを、監視領域を撮影する位置に配置して、それらで撮影した画像および音声を、ネットワーク１０３を介してＰＣ１０１，１０１Ａ〜１０１Ｃに送信する。この場合、ネットワーク１０３を無線にすれば、カメラユニット１００，１００Ａ〜１００Ｇにネットワークケーブルを配線する必要がなく、設置が容易である。また、ネットワーク１０３は、分散型ネットワークなので、ネットワークの環境設定も容易である。さらに、無線で通信可能な距離が制限される場合でも、通信可能な範囲内にカメラユニット１００，１００Ａ〜１００Ｇを配置すれば、広い範囲で監視することができる。例えば、カメラユニット１００Ａとカメラユニット１００Ｇとが、互いに通信可能範囲にない場合に、２つのカメラユニット１００Ａ，１００Ｇそれぞれの通信可能範囲にカメラユニット１００を配置すれば、３つのカメラユニット１００，１００Ａ，１００Ｇで通信が可能となる。
【００２９】
また、本実施の形態におけるカメラシステムは、ＰＣ１０１，１０１Ａ〜１０１Ｃをカメラビューワとして用いれば、テレビ電話として使用することができる。
【００３０】
なお、ＰＣ１０１，１０１Ａ〜１０１Ｃのハード構成およびその機能は、この技術分野における技術者に周知であるので、ここではその詳細な説明は繰返さない。
【００３１】
図２は、カメラユニットの全体構成を示すブロック図である。図２を参照して、カメラユニット１００は、カメラユニット１００の全体を制御するための中央演算装置（ＣＰＵ）１１０と、ＣＰＵ１１０に接続された、ＲＯＭ（Read Only Memory）１１１と、ＲＡＭ（Random Access Memory）１１２と、カメラ１１３と、ＬＡＮ（Local Area Network）コントローラ１１６と、コーデック（ＣＯＤＥＣ）１１５と、ＣＯＤＥＣ１１５に接続されたマイク１１４とを含む。
【００３２】
ＲＯＭ１１１は、ＣＰＵ１１０で実行するプログラムやＣＰＵ１１０で実行されるプログラムが参照する定数などを記憶する。ＲＡＭ１１２は、ＣＰＵ１１０の作業エリアとして用いられるとともに、後述する画像データなどを記憶する。
【００３３】
ＬＡＮコントローラ１１６は、カメラユニット１００をネットワーク１０３に接続するためのネットワークインターフェースである。
【００３４】
カメラ１１３は、レンズと、レンズを透過した光を受光して画像データを出力するＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサとを含む。なお、ＣＭＯＳセンサに代えて、ＣＣＤ（Charge Coupled Devices）センサを用いてもよい。レンズにより集光された光は、ＣＭＯＳセンサ上に結像する。ＣＭＯＳセンサに含まれる受光画素は、入射光量に応じた電位のアナログ信号を出力する。アナログ信号は、ＣＭＯＳセンサに接続されたＡ／Ｄ（アナログ／デジタル）コンバータによりデジタル信号に変換され、デジタルの画像データとしてＣＰＵ１１０に出力される。
【００３５】
マイク１１４は、音を受付けて、アナログの音声データを出力する。ＣＯＤＥＣ１１５は、マイク１１４が出力する音声データが入力され、量子化および符号化してデジタルの音声データに変換する。
【００３６】
図３は、ＰＣをテレビ電話として使用する場合の構成の一例を示す図である。図３を参照して、ＰＣ１０１は、モニタ１１８と、カメラ１１３と、マイク１１４と、スピーカ１１９とが接続される。ＰＣ１０１には、ＣＤ−ＲＯＭ（Compact Disc - ＲＯＭ）１２１が装着される。このＣＤ−ＲＯＭ１２１に記憶された画像データ切換プログラムが、ＰＣ１０１が内蔵するＲＡＭに読出されて、ＣＰＵで実行される。なお、画像データ切換プログラムを、ＣＤ−ＲＯＭ１２１から読み出すのに代えて、ネットワーク１０３に接続された他のＰＣから画像データ切換プログラムをダウンロードするようにしてもよい。
【００３７】
なお、ＰＣ１０１で実行される画像データ切換プログラムはＣＤ−ＲＯＭ１２１に記憶されて流通される例を示すが、他の記録媒体、たとえば、フレキシブルディスク、カセットテープ、フラッシュＲＯＭ、ハードディスク、光ディスク（ＭＯ（Magnetic Optical Disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc））、ＩＣカード（メモリカードを含む）、光カード、マスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどの半導体メモリ等の固定的にプログラムを担持する媒体でもよい。
【００３８】
また、ここでいうプログラムは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソースプログラム形式のプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００３９】
ＰＣ１０１をテレビ電話として用いた場合、モニタ１１８には、対話者を撮影した画像が表示され、スピーカ１１９からは対話者の発した音声が出力される。また、ＰＣ１０１から対話者を撮影するカメラを遠隔操作するためのコマンドの入力が可能である。コマンドは、たとえば、対話者を撮影するカメラの撮影方向を指示するコマンド、ズーム倍率を指示するコマンド、およびＡＥ条件を設定するコマンドを含む。
【００４０】
図４は、カメラユニットのＣＰＵとＬＡＮコントローラとの間のデータの入出力を説明するための図である。図４を参照して、ＬＡＮコントローラ１１６は、ネットワーク１０３と物理的に接続されるＬＡＮインターフェース（Ｉ／Ｆ）１３３と、ＬＡＮＩ／Ｆ１３３によりネットワーク１０３から受信されたデータを記憶するための受信バッファ１３２と、ＣＰＵ１１０から受信されたネットワーク１０３に送出するためのデータを記憶するための送信バッファ１３１とを含む。
【００４１】
受信バッファ１３２は、ネットワーク１０３から受信されたパケットデータが順に記憶される。ＣＰＵ１１０は、受信バッファ１３２からそれに記憶された順にパケットデータを読出す。
【００４２】
送信バッファ１３１は、ＣＰＵ１１０から送信するためのパケットデータが順に記憶される。ＣＰＵ１１０は、送信バッファ１３１へのパケットデータの書き込みが終了すると、ＬＡＮコントローラ１１６に送信開始の指示を出力する。ＬＡＮコントローラ１１６は、送信開始の指示が入力されると、ネットワーク１０３にパケットデータが流れていないタイミングで、送信バッファ１３１に記憶されているパケットデータを送信する。そして、送信が終了すると、ＣＰＵ１１０に、送信が終了したことを通知する。この通知は、ＣＰＵ１１０への割り込み信号である送信終了割り込み信号が出力される。このため、ＣＰＵ１１０は、送信開始の指示を出力してから、送信が終了したことの通知が割り込みで入力されるまで、他の処理を実行することができる。ＣＰＵ１１０は、送信が終了したことが通知されると、次に送信するべきパケットデータを送信バッファ１３１に書込みする。
【００４３】
本実施の形態におけるカメラユニット１００は、カメラ１１３で撮影して出力される画像データ、マイク１１４で集音されてＣＯＤＥＣ１１５で符号化された音声データ、受信バッファ１３２で受信されたパケットデータを、ネットワーク１０３に送信する。一方、ＬＡＮコントローラ１１６は、１つの送信バッファ１３１を備えるので、ＣＰＵ１１０は、画像データ、音声データ、パケットデータからいずれかを選択して送信バッファ１３１に書込むようにしている。
【００４４】
また、カメラユニット１００は、動画像の画像データを送信するので、画像データのデータ量が多くなる。このため、ネットワーク１０３に多くのカメラユニットが接続された場合などに、ネットワーク１０３を流れるデータ量が増えて、通信状態が悪くなる。このため、送信するべきデータを送信するタイミングが遅延する。この遅延が発生すると次の弊害がある。
【００４５】
（１）送信する画像データの送信が遅延すると、受信側で再生する画像を更新するスピードが遅れる。遅延時間が長くなると送信用画像データリングバッファに格納されているが未送信の画像データが上書きにより消去されていまい、コマ落ちが発生する。
【００４６】
（２）送信する音声データの送信が遅延すると、受信側で再生する音声が途切れてします。
【００４７】
（３）中継データの送信が間に合わなくなり、受信側でデータが欠落する。この場合、受信されなかったデータは、再送することになり、さらに送信するデータ量が増加して悪循環となる。
【００４８】
このため、本実施の形態におけるカメラユニット１００では、ネットワーク１０３の通信状態を監視しており、通信状態が悪化した場合には、送信するデータ量を削減する。音声の途切れは、聞く者にとって聴覚的に不快感を与えるので、音声の途切れは防止するべきである。また、音声を符号化した音声データは、画像データに比較して少ないので、音声データの削減はすることなくそのまま送信する。さらに、中継するカメラユニット１００で、中継データを減少させることを判断することができない。中継データを減少または破棄すれば、再送しなければならないので、データ量を削減させる効果は得られない。そこで、本実施の形態におけるカメラユニット１００は、カメラ１１３で撮像して得られる画像データのデータ量を削減して送信する。
【００４９】
図５は、本実施の形態におけるカメラユニットの機能を示す機能ブロック図である。図５を参照して、ＲＡＭ１１２は、中継データを記憶するための中継データリングバッファ１２１と、音声データを記憶するための音声データリングバッファ１２２と、送信用画像データリングバッファ１２５と、削減データリングバッファ１２４と、画像データを記憶するための画像データリングバッファ１２３とを含む。
【００５０】
中継データリングバッファ１２１と、音声データリングバッファ１２２と、送信用画像データリングバッファ１２５と、削減データリングバッファ１２４と、画像データリングバッファ１２３とは、読み出されるデータが記憶された順となるリングバッファである。
【００５１】
ＣＰＵ１１０は、カメラ１１３のＣＭＯＳセンサから画像データを読み出す画像データ読出部１５０と、ネットワーク１０３の通信状態を監視する通信状態監視部１５２と、受信バッファ１３２からデータパケットを読み出して転送するデータパケットを中継データリングバッファ１２１に格納する中継データ処理部１５５と、画像データのデータ量を削減するデータ削減部１５１と、画像データそのものまたはデータ量の削減された削減データのいずれかを送信用画像データとして選択する切換部１５３と、切換部１５３が選択したデータを圧縮符号化する圧縮部１５４と、ＲＡＭ１１２に記憶された中継データ、音声データおよび送信用画像データのいずれか１つを選択して送信バッファ１３１に記憶する出力制御部１５６とを含む。
【００５２】
画像データ読出部１５０は、カメラ１１３のＣＭＯＳセンサから画像が配列された順にデジタルの画像データを読み出して、画像データリングバッファ１２３に格納する。画像データ読出部１５０は、この画像データの読出しと格納とを垂直同期信号ごとに開始し、１画面分の画像データの読出しおよび格納が終了すると、次の垂直同期信号まで待機する。垂直同期信号は、ＣＰＵ１１０が内蔵するタイマが発生するクロック信号から生成される。
【００５３】
画像データリングバッファ１２３は、画像データ読出部１５０がカメラ１１３から読み出して記憶するための領域と、後述する圧縮部１５４またはデータ削減部１５１が処理対象とする画像データを記憶するための領域とが必要となる。したがって、画像データリングバッファ１２３は、少なくとも２つの画像データを記憶可能な容量が必要とされる。
【００５４】
データ削減部１５１は、画像データリングバッファ１２３に記憶されている画像データを読出し、読み出した画像データのデータ量を削減する。そして、データ量を削減した画像データを削減データとして、ＲＡＭ１１２の削減データリングバッファ１２４に記憶する。
【００５５】
切換部１５３は、通信状態監視部１５２からの指示に応じて、圧縮部１５４に入力する画像データを切換える。切換部１５３は、画像データリングバッファ１２３および削減データリングバッファ１２４のいずれかからデータを読出す。切換部１５３は、通信状態監視部１５２からデータ量を削減することを指示する信号が入力された場合には、削減データリングバッファ１２４から画像データを読出し、そのような信号が入力されない場合は、画像データリングバッファ１２３から画像データを読み出す。
【００５６】
圧縮部１５４は、入力される画像データを所定の圧縮方式を用いて圧縮符号化する。圧縮方式は、例えば、ＪＰＥＧ圧縮符号化方式またはＭＰＥＧ圧縮符号化方式を用いることができる。圧縮部１５４は、圧縮符号化した画像データを送信用画像データリングバッファ１２５に格納する。
【００５７】
音声データリングバッファ１２２には、ＣＯＤＥＣ１１５で符号化された音声データが順に入力される。
【００５８】
中継データ処理部１５５は、受信バッファ１３２からパケットデータを読出し、ベクトルデータベースを参照して、読出したパケットデータが自分宛てのＩＰアドレスでない場合には、そのパケットデータを宛先のＩＰアドレスの方向で距離が近いカメラユニットのＩＰアドレスを送信先のＩＰアドレスに設定して、中継データリングバッファ１２１に格納する。
【００５９】
通信状態監視部１５２は、ネットワーク１０３の通信状態を監視する。ネットワーク１０３の通信状態は、ネットワーク１０３に流れているデータ量が多いことを検出する。ＬＡＮコントローラ１１６は、ネットワーク１０３にデータが流れていないタイミングで、送信バッファ１３１に書込まれたデータをネットワーク１０３に送出するので、ネットワーク１０３に流れているデータ量が多いと、データを送出するタイミングが遅れる。また、ＣＰＵ１１０の出力制御部１５６は、ＬＡＮコントローラが送信終了ごとに通知する割り込み信号が入力されるごとに、送信バッファ１３１へデータを書込みするので、ＬＡＮコントローラ１１６で送信が遅れると送信バッファ１３１へのデータの書き込みが遅れる。このため、ＲＡＭ１１２の中継データリングバッファ１２１、音声データリングバッファ１２２および送信用画像データリングバッファ１２５に蓄積されるデータ量が増加する。
【００６０】
通信状態監視部１５２は、中継データリングバッファ１２１、音声データリングバッファ１２２および送信用画像データリングバッファ１２５に蓄積されるデータ量を所定のしきい値と比較して、通信状態が悪化しているか否かを判断する。中継データリングバッファ１２１、音声データリングバッファ１２２および送信用画像データリングバッファ１２５のいずれか１つに蓄積されたデータ量をしきい値と比較するようにしてもよい。たとえば、送信用画像データリングバッファ１２５に蓄積されたデータ量がしきい値を超えた場合に、通信状態が悪化していると判定する。また、中継データリングバッファ１２１、音声データリングバッファ１２２および送信用画像データリングバッファ１２５のいずれか１つでも蓄積されたデータ量がしきい値を超えた場合に、通信状態が悪化していると判定するようにしても良い。さらに、それらに蓄積された総量が、しきい値を超えた場合に、通信状態が悪化していると判定するようにしてもよい。
【００６１】
ここでは、送信用画像データリングバッファ１２５に蓄積されたデータ量がしきい値を超えた場合に、通信状態が悪化していると判定する場合を例に説明する。通信状態監視部１５２は、通信状態が悪化していると判定した場合に、切換部１５３にデータ量を減らすことを指示する信号を出力する。
【００６２】
出力制御部１５６は、ＬＡＮコントローラが送信終了ごとに通知する割り込み信号が入力される。出力制御部１５６は、割り込み信号が入力されると、中継データリングバッファ１２１、音声データリングバッファ１２２、送信用画像データリングバッファ１２５のいずれかからデータを読み出して、送信バッファ１３１に読み出したデータを格納する。出力制御部１５６は、割り込み信号が入力されると、中継データリングバッファ１２１、音声データリングバッファ１２２、送信用画像データリングバッファ１２５から順にデータを読み出してもよいし、データ量の多いものから順に読み出しても良いし、記憶された時刻が古いものから順に読み出しても良い。
【００６３】
次に、データ削減部１５１で画像データのデータ量を削減する処理について説明する。図６は、データ量を削減する処理を説明するための図である。図６（Ａ）は、カメラ１１３のＣＭＯＳセンサから読み出された画像データを示す図である。画像データ２００は、被写体の顔の領域２０１とそれ以外の領域２０２とを含む。データ削減部１５１は、画像データ２００のうちから顔の領域２０１を抽出する。具体的には、画像データ２００のうちから肌色の画素値の画素を抽出する。画像データに含まれる画素値は、１画素がＲ（赤）の信号と、Ｇ（緑）の信号と、Ｂ（青）の信号で構成されている。このＲ，Ｇ、Ｂの信号の比率が予め定められた肌色の範囲にある画素値を有する画素が所定数集まった領域を画像データから抽出する。抽出した肌色の画素の集合から、周知の領域拡張処理を適用して顔の領域２０１を抽出する。
【００６４】
データ削減部１５１は、抽出した顔の領域２０１を削減データとしてＲＡＭ１１２の削減データリングバッファ１２４に格納する。図６（Ｂ）は、データ削減部１５１により抽出された削減データの一例を示す図である。削減データは、顔の領域２０１のみからなるため、画像データ２００と比較して画素数が少ない。また、顔の領域２０１は、そのほとんどが肌色なので、圧縮率が画像データ２００の圧縮率よりも高くなる。
【００６５】
また、顔の領域２０１だけでは、肌色の画素を抽出する段階で、肌色の領域に肌色と判断されない領域が含まれるいわゆる虫食いが発生する場合がある。これをさけるために、抽出された肌色の領域（顔の領域２０１）に外接する円形の領域、または矩形の領域を抽出し、その円形の領域または矩形の領域を削減データとしてもよい。図６（Ｃ）は、顔の領域２０１に外接する矩形の領域２０３の一例を示す図である。
【００６６】
さらに、画像データ２００から抽出された顔の領域２０１を除く領域をテクスチャのないベタ画像としてもよい。また、顔の領域２０１を除く領域で、衣服、前景、背景などを異なる色のベタ画像としてもよい。テクスチャのないベタ画像とするのは、圧縮率を向上させるためである。
【００６７】
図６（Ｄ）は、顔の領域２０１を除く領域をテクスチャのないベタ画像とした削減データの一例を示す図である。矩形領域２０３を除く領域２０４は、１色が付されている。
【００６８】
図７は、本実施の形態におけるカメラユニットで実行される画像データ切換処理の流れを示すフローチャートである。図７を参照して、まず、送信用画像データリングバッファ１２５に蓄積されているデータ量が所定値以上か否かが判断される（ステップＳ０１）。真の場合にはステップＳ０２へ進み、偽の場合にはステップＳ０４へ進む。ステップＳ０２では、画像データから顔領域を抽出する（ステップＳ０２）。そして、抽出した顔領域以外の領域を所定のテクスチャパターンに置き換える（ステップＳ０３）。所定のテクスチャパターンは、圧縮率が高くなるテクスチャパターンである。たとえば、単色のテクスチャが好ましい。
【００６９】
そして、ステップＳ０４では、画像データを所定の圧縮方式に従って圧縮符号化し、送信用画像データリングバッファ１２５に格納する。ここで圧縮処理の対象となる画像データは、ステップＳ０１で真と判定された場合には、ステップＳ０３で顔領域以外を低テクスチャパターンに置き換えた画像データであり、ステップＳ０１で偽と判定された場合には、画像データそのものである。
【００７０】
図８は、本実施の形態におけるカメラユニットで実行される画像データ切換処理の別の流れを示すフローチャートである。図８に示す画像データ切換処理は、図７に示した画像データ切換処理のステップＳ０３を、ステップＳ０３Ａに置き換えたものである。他の処理は、図７に示した画像データ切換処理と同様なので、ここでは説明を繰返さない。
【００７１】
ステップＳ０３Ａでは、画像データから顔の領域２０１を切り出して、削除データリングバッファ１２４に格納する。顔の領域２０１は、画像データ２００よりもサイズが小さいため、画像のサイズが変更される。また、顔の領域２０１は、画像データ２００よりも画像のサイズが小さいため、圧縮後のデータ量が少なくなる。
【００７２】
以上説明したように、第１の実施の形態におけるカメラユニット１００は、送信用画像データリングバッファ１２５に所定量以上のデータが蓄積されている場合、換言すれば、ネットワーク１０３の通信状態が悪化した場合には、画像データのデータ量を削減して送信する。このため、送信するデータ量が減少するので、ネットワーク１０３の通信状態が緩和され、画像データの送信が遅延されるのを防止することができる。また、データ量が削減された画像データは、被写体の顔の領域を含むので、被写体の表情をリアルにあらわした動画像を送信することができる。さらに、転送レートを減少させることがないので、動きが滑らかな動画像を送信することができる。
【００７３】
＜第２の実施の形態＞
以下、第２の実施の形態におけるカメラユニットについて、第１の実施の形態におけるカメラユニットと異なる点を主に説明する。図９は、第２の実施の形態におけるカメラユニットの機能を示す機能ブロック図である。図９を参照して、ＲＡＭ１１２Ａは、中継データを記憶するための中継データリングバッファ１２１と、音声データを記憶するための音声データリングバッファ１２２と、画像データを記憶するための画像データリングバッファ１２３と、送信用画像データリングバッファ１２５とを含む。
【００７４】
中継データリングバッファ１２１と、音声データを記憶するための音声データリングバッファ１２２と、画像データリングバッファ１２３と、送信用画像データリングバッファ１２５とは、読み出されるデータが記憶された順となるリングバッファである。
【００７５】
ＣＰＵ１１０Ａは、ネットワーク１０３の通信状態を監視する通信状態監視部１５２と、カメラ１１３のＣＭＯＳセンサから画像データを読み出す画像データ読出部１５０Ａと、画像データを圧縮符号化する圧縮部１５４と、ＲＡＭ１１２Ａに記憶された中継データ、音声データおよび送信用画像データのいずれか１つを選択して送信バッファ１３１に記憶する出力制御部１５６と、受信バッファ１３２からデータパケットを読み出して転送するデータパケットを中継データリングバッファ１２１に格納する中継データ処理部１５５とを含む。
【００７６】
画像データ読出部１５０Ａは、通信状態監視部１５２からの指示に応じて、垂直同期信号ごとにカメラ１１３のＣＭＯＳセンサから画像データを読出す。具体的には、通信状態監視部１５２からデータ量を減らすことを指示する信号が入力される場合には、ＣＭＯＳセンサから画素値を間引いて読み出す。これにより、ＣＭＯＳセンサから読み出される画像データの解像度が下がる。通信状態監視部１５２からデータ量を減らすことを指示する信号が入力されない場合には、ＣＭＯＳセンサから読み出す画素値を間引くことなく読み出す。これにより、ＣＭＯＳセンサから読み出される画像データの解像度が標準の解像度となる。
【００７７】
そして、画像データ読出部１５０Ａは、読み出した画像データを画像データリングバッファ１２３に記憶する。画像データリングバッファ１２３は、画像データ読出部１５０Ａがカメラ１１３から読み出して記憶するための領域と、後述する圧縮部１５４が処理対象とする画像データを記憶するための領域が必要となる。したがって、画像データリングバッファ１２３は、少なくとも２つの画像データを記憶することが可能な容量が必要とされる。
【００７８】
圧縮部１５４は、画像データリングバッファ１２３から画像データ読み出して、その画像データを所定の圧縮方式を用いて圧縮符号化する。圧縮方式は、例えば、ＪＰＥＧ符号化方式またはＭＰＥＧ符号化方式を用いることができる。圧縮部１５４は、圧縮符号化した画像データを送信用画像データリングバッファに格納する。
【００７９】
音声データリングバッファ１２２には、ＣＯＤＥＣ１１５で符号化された音声データが順に入力される。
【００８０】
通信状態監視部１５２は、ネットワーク１０３の通信状態を監視する。ネットワーク１０３の通信状態は、ネットワーク１０３に流れているデータ量が多いことを検出する。通信状態監視部１５２は、中継データリングバッファ１２１、音声データリングバッファ１２２および送信用画像データリングバッファ１２５に蓄積されるデータ量を所定のしきい値と比較して、通信状態が悪化しているか否かを判断する。ここでは、送信用画像データリングバッファ１２５に蓄積されたデータ量がしきい値を超えた場合に、通信状態が悪化していると判定する場合を例に説明する。通信状態監視部１５２は、通信状態が悪化していると判定した場合に、画像データ読出部１５０Ａにデータ量を減らすことを指示する信号を出力する。
【００８１】
出力制御部１５６は、ＬＡＮコントローラが送信終了ごとに通知する割り込み信号が入力される。出力制御部１５６は、割り込み信号が入力されると、中継データリングバッファ１２１、音声データリングバッファ１２２、送信用画像データリングバッファのいずれかからデータを読み出して、送信バッファ１３１に読み出したデータを格納する。出力制御部１５６は、割り込み信号が入力されると、中継データリングバッファ１２１、音声データリングバッファ１２２、送信用画像データリングバッファから順にデータを読み出してもよいし、データ量の多いものから順に読み出しても良いし、記憶された時刻が古いものから順に読み出しても良い。
【００８２】
図１０は、第２の実施の形態におけるカメラユニットで実行される画像データ切換処理の流れを示すフローチャートである。図１０を参照して、まず、送信用画像データリングバッファ１２５に蓄積されているデータ量が所定値以上か否かが判断される（ステップＳ１１）。真の場合にはステップＳ１２へ進み、偽の場合にはステップＳ１３へ進む。ステップＳ１２では、画像データ読出部１５０ＡでＣＭＯＳセンサから読み出す画素値の間引き率を上げる。これにより、ＣＭＯＳセンサから読み出される画像データの解像度が下がる。
【００８３】
一方、ステップＳ１３では、ＣＭＯＳセンサから読み出す画素値の間引き率を標準にする。これにより、ＣＭＯＳセンサから読み出される画像データの解像度が標準の解像度となる。
【００８４】
そして、ステップＳ１４では、画像データを所定の圧縮方式に従って圧縮符号化し、送信用画像データリングバッファ１２５に格納する。ここで圧縮処理の対象となる画像データは、ステップＳ１１で真と判定された場合には、ステップＳ１２により画像データ読出部１５０Ａで間引きされて読み出された画像データであり、ステップＳ０１で偽と判定された場合には、ステップＳ１３により画像データ読出部１５０Ａで間引きされることなく読み出された画像データである。
【００８５】
以上説明したように第２の実施の形態におけるカメラユニット１００は、送信用画像データリングバッファに所定量以上のデータが蓄積されている場合、換言すれば、ネットワーク１０３の通信状態が悪化した場合には、画像データの解像度を低くするので、データ量を削減して送信することになる。このため、送信するデータ量が減少するので、ネットワーク１０３の通信状態が緩和され、画像データの送信が遅延されるのを防止することができる。また、データ量が削減された画像データは、解像度が低下するが、転送レートは変わらないので、動きが滑らかな動画像を送信することができる。
【００８６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施の形態の１つにおけるカメラシステムの全体概要を示す図である。
【図２】カメラユニットの全体構成を示すブロック図である。
【図３】ＰＣをテレビ電話として使用する場合の構成の一例を示す図である。
【図４】カメラユニットのＣＰＵとＬＡＮコントローラとの間のデータの入出力を説明するための図である。
【図５】本実施の形態におけるカメラユニットの機能を示す機能ブロック図である。
【図６】データ量を削減する処理を説明するための図である。
【図７】本実施の形態におけるカメラユニットで実行される画像データ切換処理の流れを示すフローチャートである。
【図８】本実施の形態におけるカメラユニットで実行される画像データ切換処理の別の流れを示すフローチャートである。
【図９】第２の実施の形態におけるカメラユニットの機能を示す機能ブロック図である。
【図１０】第２の実施の形態におけるカメラユニットで実行される画像データ切換処理の流れを示すフローチャートである。
【符号の説明】
【００８８】
１  カメラシステム、１００，１００Ａ〜１００Ｇ  カメラユニット、１０１，１０１Ａ〜１０１Ｃ  ＰＣ、１０３  ネットワーク、１１２  ＲＡＭ、１１３  カメラ、１１４  マイク、１１５  ＣＯＤＥＣ、１１６  コントローラ、１２１  中継データリングバッファ、１２２  音声データリングバッファ、１２３  画像データリングバッファ、１２４  削減データリングバッファ、１２５  送信用画像データリングバッファ、１３１  送信バッファ、１３２  受信バッファ、１５０，１５０Ａ  画像データ読出部、１５１  データ削減部、１５２  通信状態監視部、１５３  切換部、１５４  圧縮部、１５５  中継データ処理部、１５６  出力制御部。
【図１】
2006186552.tif 000003
【図２】
2006186552.tif 000004
【図３】
2006186552.tif 000005
【図４】
2006186552.tif 000006
【図５】
2006186552.tif 000007
【図６】
2006186552.tif 000008
【図７】
2006186552.tif 000009
【図８】
2006186552.tif 000010
【図９】
2006186552.tif 000011
【図１０】
2006186552.tif 000012