(57)【要約】【課題】簡単な構成で画像データと音声データとの同期を擬似的に取り、擬似同期再生を可能とする低コストなネットワーク音声画像再生システムを提供することを目的とする。【解決手段】ネットワーク対応カメラ１にて取得した音声信号および画像信号をインターネット３を介して転送し、ＰＣ（音声画像再生装置）２で再生するネットワーク音声画像再生システムであって、ネットワーク対応カメラ１は、音声データと画像データを別々のセッションで送信するネットワーク送受信部１７を備え、ＰＣ２は、ネットワーク対応カメラ１からの音声データと画像データをネットワーク送受信部２１と、少なくとも音声データを蓄積する音声バッファ部と、前記音声バッファ内にある一定以上の音声データが蓄積された場合には、前記音声バッファ内の音声データの少なくとも一部を破棄するバッファ内音声データ監視手段２６を備えたことを特徴とする。【選択図】図１
2005045707.tif 000002
【特許請求の範囲】
【請求項１】
音声画像取得装置にて取得した音声信号および画像信号を音声データおよび画像データとして変換してネットワークを介して転送し、前記音声データと前記画像データとを音声画像再生装置で再生するネットワーク音声画像再生システムであって、
前記音声画像取得装置は、前記音声データと前記画像データを別々のセッションで送信する手段を備え、前記音声画像再生装置は、前記音声画像取得装置からの前記音声データと前記画像データを受信する手段と、音声データを蓄積する音声バッファ部と、前記音声バッファ内音声データが閾値以上蓄積された場合には、前記音声バッファ内の音声データの一部を破棄する手段を備えたことを特徴とするネットワーク音声画像再生システム。
【請求項２】
前記音声画像再生装置は、前記ネットワークの種別により、破棄する前記音声データの前記閾値を選択可能とすることを特徴とする請求項１記載のネットワーク音声画像再生システム。
【請求項３】
前記音声画像再生装置は、音声再生を行うかどうかを選択する手段を備えたことを特徴とする請求項１または２に記載のネットワーク音声画像再生システム。
【請求項４】
前記音声画像取得装置は、他の前記音声画像取得装置を識別する情報を登録する手段と、前記登録された前記音声画像取得装置から画像データおよび音声データを受信する手段と、受信した前記音声データおよび前記画像データを前記音声画像再生装置へ送信する手段とを備え、前記音声画像再生装置は、受信した複数の音声画像取得装置の前記画像データを同時に表示し前記音声データを選択して再生する手段を備えたことを特徴とする請求項１記載のネットワーク音声画像再生システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はインターネット等のネットワークを介して、音声付の画像データを転送するようなネットワーク音声画像再生システムに関するものである。
【背景技術】
【０００２】
現在、インターネットは広く普及し、種々の機器やアプリケーションプログラムが開発されている。特に最近は、ネットワークに対応したカメラで撮影した画像を、自宅のパーソナルコンピュータ（以下、ＰＣと称す。）や携帯電話で確認できるサービスや、インターネットを利用したブロードバンド放送等、音声や画像を利用したサービスが注目を集めている。
【０００３】
音声付きの画像を再生する際に重要なことは、インターネットでは転送するデータの遅延を保証していないということである。また再生する側のＰＣの負荷によってもデータ処理能力が変動する。そのため、現状ＰＣで音声付きの画像を再生する際には、画像と音声との同期を取って重畳した特別なデータを作成し、そのデータをウインドウズメディアプレー（商標）、リアルプレーヤー（商標）やクイックタイムプレーヤー（商標）といった作成したデータに対応した特別な再生ソフトで再生するという方法を取るとともに、再生側のアプリケーションでバッファを持つことで、再生途中にデータが途切れないような工夫をしている。
【０００４】
また、画像と音声との同期を取って重畳したデータを受信装置側で分離した後、音声用受信バッファあるいは映像用受信バッファの受信バッファ容量を確認してある条件下でバッファ内容を破棄することにより、受信時間と再生時間との時間差を少なくする工夫を行うものもある（例えば、特許文献１参照。）。
【特許文献１】特開平７−１７０５０２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のシステムでは送信側で特別な処理を行って転送するデータを生成する必要があり、ネットワーク対応のカメラで取得した音声信号および画像信号をＰＣで再生するようなコンシューマ向けの画像音声再生装置を低コストで構築できないという課題があった。
【０００６】
本発明は、上記課題を解決し、音声画像取得装置や音声画像再生装置を簡単な構成で構築し、音声付き画像データの擬似リアルタイム再生を低コストで可能にするネットワーク音声画像再生システムを提供することを目的としている。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像音声再生装置は、音声画像取得装置にて取得した音声信号および画像信号をネットワークを介して転送し、前記音声データと前記画像データとを音声画像再生装置で再生するネットワーク音声画像再生システムであって、前記音声画像取得装置は、前記音声データと前記画像データを別々のセッションで送信する手段を備え、前記音声画像再生装置は、前記音声画像取得装置からの前記音声データと前記画像データを受信する手段と、少なくとも音声データを蓄積する音声バッファ部と、前記音声バッファ内にある一定以上の音声データが蓄積された場合には、前記音声バッファ内の音声データの少なくとも一部を破棄する手段を備えたことを特徴とする。
【発明の効果】
【０００８】
以上のように本発明によれば、音声画像取得装置にて取得した音声信号および画像信号を、ネットワークを介して転送できる音声データおよび画像データに変換した後、音声データと画像データとを別々のセッションにて音声画像再生装置へ転送し再生する際に、音声データを蓄積する音声バッファ内にある一定以上の音声データが蓄積された場合には、前記音声バッファ内の音声データの少なくとも一部を破棄することにより、簡単な構成で画像データと音声データとの同期を擬似的に取り、擬似同期再生を可能とする低コストなネットワーク音声再生システムを提供することができる。
【０００９】
また、接続しているネットワークの通信速度により破棄する音声データ量を選択可能とすることにより、接続しているネットワークの種別にあうように音声途切れと同期再生との兼ね合いを最適化することができる。
【００１０】
また、１台以上の音声および画像取得装置と１台以上の複数の音声および画像再生装置を接続するようなネットワーク音声再生システムでは、音声データの再生を行うかどうかを選択可能とすることにより、柔軟なネットワーク音声再生システムを構築することができる。
【００１１】
また、音声画像取得装置に、他の音声画像取得部の識別情報を登録することで、１台の音声画像取得装置から音声データおよび画像データを受信するだけで、複数の音声画像取得装置の音声データおよび画像データを音声画像再生装置で再生することが可能となる。
【発明を実施するための最良の形態】
【００１２】
本発明の請求項１に記載の発明は、音声画像取得装置にて取得した音声信号および画像信号を音声データおよび画像データとして変換してネットワークを介して転送し、音声データと画像データとを音声画像再生装置で再生するネットワーク音声画像再生システムであって、音声画像取得装置は、音声データと画像データを別々のセッションで送信する手段を備え、音声画像再生装置は、音声画像取得装置からの音声データと画像データを受信する手段と、音声データを蓄積する音声バッファ部と、音声バッファ内音声データが閾値以上蓄積された場合には、音声バッファ内の音声データの一部を破棄する手段を備えたことを特徴とするネットワーク音声画像再生システムとしたものであり、音声付きの画像データの擬似同期再生を可能にするネットワーク音声再生システムを簡単な構成の音声および画像取得装置、音声および画像再生装置構成で構築することができる。
【００１３】
請求項２に記載の発明は、音声画像再生装置は、ネットワークの種別により、破棄する音声データの閾値を選択可能とすることを特徴とする請求項１記載のネットワーク音声画像再生システムとしたものであり、再生データの途切れと同期再生との最適化を図ることができる。
【００１４】
請求項３に記載の発明は、音声画像再生装置は、音声再生を行うかどうかを選択する手段を備えたことを特徴とする請求項１または２に記載のネットワーク音声画像再生システムとしたものであり、１台以上の音声および画像取得装置と１台以上の音声および画像再生装置からなるネットワーク音声再生システムを柔軟に構築することができる。
【００１５】
請求項４に記載の発明は、音声画像取得装置は、他の音声画像取得装置を識別する情報を登録する手段と、登録された音声画像取得装置から画像データおよび音声データを受信する手段と、受信した音声データおよび画像データを音声画像再生装置へ送信する手段とを備え、音声画像再生装置は、受信した複数の音声画像取得装置の画像データを同時に表示し音声データを選択して再生する手段を備えたことを特徴とする請求項１記載のネットワーク音声画像再生システムとしたものであり、１台の音声画像取得装置から音声データ
および画像データを受信するだけで、複数の音声画像取得装置の音声データおよび画像データを音声画像再生装置で再生することが可能である。
【００１６】
以下、本発明の実施例について図１から図８を用いて説明する。
【実施例１】
【００１７】
本発明の実施例１に係るネットワーク音声画像再生システムについて図１に基づいて説明する。
【００１８】
図１は、本発明の実施例１に係るネットワーク音声画像再生システムを説明する図である。
【００１９】
本実施例１では音声画像取得装置としてネットワーク対応カメラを音声および音声画像再生装置としてＰＣの例を示す。
【００２０】
図中、１は音声および画像取得装置の一例であるネットワーク対応カメラ、２は音声画像再生装置の一例であるＰＣ、３はインターネットを示している。ネットワーク対応カメラ１およびＰＣ２は有線ＬＡＮによりインターネット３に接続されている。
【００２１】
さらに、ネットワーク対応カメラ１において、１１はネットワーク対応カメラのＣＰＵ、１２はメモリ、１３はマイク、１４は音声信号変換部、１５はＣＣＤカメラ、１６は画像信号変換部、１７はネットワーク送受信部、１８はＷＥＢサーバー部から構成されている。
【００２２】
また、ＰＣ２において、２１はＰＣのネットワーク送受信、２２はネットワーク部バッファ、２３はアプレット部、２４はデコード処理部、２５は音声バッファ部、２６はバッファ内音声信号監視手段、２７はサウンドバッファ、２８はスピーカー、２９はＷＥＢブラウザ画面、３０は再生されている画像を示している。
【００２３】
次に、本発明の実施例１に係る音声画像再生システムの動作について、図１に基づいて説明する。
【００２４】
ネットワーク対応カメラ１のマイク１３で取得された音声信号は音声信号変換部１４によりアナログの音声信号からネットワークで転送できる音声データ、例えばＡＤＰＣＭデータに変換される。一方、カメラ１５で取得された画像信号は画像信号変換部１６によりネットワークで転送できる画像データ、例えばモーションＪＰＥＧやＭＰＥＧ４に変換される。
【００２５】
ネットワーク対応カメラ１にはＷＥＢサーバー１８が内蔵されており、接続したＰＣ２からこのＷＥＢサーバー１８へアクセスすることにより音声および画像を再生することができる。ＰＣ２からネットワーク対応カメラ１のＷＥＢサーバー１８へアクセスすると、ＰＣ２とＷＥＢサーバー１８との間では音声データ用および画像データ用に別々のＴＣＰ／ＩＰセッションを確立して通信を行う。
【００２６】
インターネット３を介して受信した音声データおよび画像データはＰＣ２のネットワーク送受信部２１からネットワーク部バッファ２２へ渡される。その後、画像データはＷＥＢブラウザ画面２９へ渡されモニタ画面上に画像３０として表示される。
【００２７】
一方、音声データはアプレット部２３の音声バッファ部２５に渡された後、デコード処理部２４にてデコードした後、サウンドバッファ２７に送られスピーカー２８により音声
が再生される。
【００２８】
本発明の実施例１で、重要なのは音声データと画像データとを別々のデータとして取り扱うことである。低コストにネットワーク音声再生システムを構築するために、音声および画像取得装置であるネットワーク対応カメラ１では、音声と画像との同期を取って合成したデータを作成するといったことを行わない。もちろん、ネットワーク対応カメラ１にて音声データの処理を画像データの処理に対して優先的に行うことは可能である。
【００２９】
音声画像再生装置であるＰＣ２では、転送されてきた音声データと画像データとを別々に処理しているが、音声データと画像データとがスムーズに再生されている場合は、音声データと画像データの同期が擬似的に取れ、擬似同期再生が行われる。
【００３０】
しかしながら、ＰＣ２上の他のアプリケーションによる負荷の増大等が発生し、音声データを処理するアプレット部２３の音声バッファ部２５内部に音声データが蓄積されてくると音声データの再生が画像データの再生に対して遅れを生じることになる。
【００３１】
例えば３２ｋＨｚサンプリングのＡＤＰＣＭ信号の場合、４０００バイトの音声データが蓄積された場合には、１秒間の遅れが生じることになる。
【００３２】
本発明の実施例１の音声画像再生装置では、アプレット部２３内にバッファ内音声信号監視手段２６を設け、バッファ内の音声データがある閾値を超えた場合に、その音声データの一部あるいは全てを破棄するようにしている。本実施例では、その閾値を２０００バイト、即ち０．５秒とした。
【００３３】
このような構成にすることにより、画像データの再生に対して音声データの再生を最悪でも０．５秒以内に抑えることができ、擬似的な音声と画像との同期再生を可能としている。
【実施例２】
【００３４】
本発明の実施例２に係るネットワーク音声画像再生システムについて図２および図３に基づいて説明する。
【００３５】
図２は本発明の実施例２に係るネットワーク音声画像再生システムを説明する図であり、図３は本発明の実施例２に係るブラウザ画面の拡大図である。
【００３６】
本実施例２では音声画像取得装置としてネットワーク対応カメラを、音声画像再生装置としてＰＣの例を示す。
【００３７】
本実施例２のネットワーク音声再生システムは、実施例１と構成的には同じであるため、同じ部分の説明は省略する。
【００３８】
実施例２の音声画像再生装置は、音声画像再生装置であるＰＣ２が接続されるネットワークの種別により、アプレット部３２内に破棄される音声データの閾値を調整する手段（閾値設定部）３１を設けたことに特徴を有する。
【００３９】
例えば、ＰＣ２がダイヤルアップ回線に接続されている場合、その通信速度は最大でも５６ｋｂｐｓであり、有線ＬＡＮ等に比較して非常に遅くなっている。音声バッファ部２５は、途切れなく音声信号を再生するという作用も持っており、接続する回線が遅くなればバッファ量を大きくすることが望ましい。
【００４０】
本実施例２では、図３に示すように閾値設定部３１により、ユーザーが接続しているネットワークの種別を選択して、選択されたネットワーク種別を基に閾値設定部３１はバッファ内音声データ監視手段２６に閾値を設定する。
【００４１】
上記構成により、接続しているネットワークの種別にあうように音声途切れと同期再生との兼ね合いを最適化することができる。
【００４２】
また、ユーザーがＷＥＢブラウザ上で直接閾値を設定できるようにすることもできる。
【実施例３】
【００４３】
本発明の実施例３に係るネットワーク音声画像再生システムについて図４から図６に基づいて説明する。
【００４４】
図４は本発明の実施例３および４に係るネットワーク音声画像再生システムを説明する図であり、図５は本発明の実施例３に係るネットワーク音声画像再生システムを説明する図、図６は本発明の実施例３に係るブラウザ画面の拡大図である。
【００４５】
本実施例３では音声画像取得装置としてネットワーク対応カメラを音声画像再生装置としてＰＣの例を示す。
【００４６】
本実施例３のネットワーク対応カメラおよびＰＣは実施例１と構成的には同じであるため、同じ部分の説明は省略する。
【００４７】
本実施例３のネットワーク音声再生システムは、複数のネットワーク対応カメラ１ａ，１ｂ，１ｃ，１ｄと複数のＰＣ２ａ，２ｂ，２ｃ，２ｄが接続されており、ＰＣ２ａ〜２ｄが、任意の音声を再生するネットワーク対応カメラ１ａ〜１ｄを選択するために、アプレット部３３内に音声再生選択部３４を備えた点に特徴を有する。
【００４８】
本発明の実施例３のネットワーク音声再生システムの動作を、図４および図５を用いて説明する。
【００４９】
複数のＰＣ２ａ，２ｂ，２ｃ，２ｄが１つのネットワーク対応カメラ１ａにアクセスする場合、それぞれのＰＣとネットワーク対応カメラ１ａとの間には、音声用のセッションと画像用のセッションとがそれぞれ確立されることになる。
【００５０】
本発明の実施例３のネットワーク音声画像システムの音声画像再生装置では音声再生選択部３４により、音声の再生を行うかどうかを選択可能とすることにより、例えば図６に示したようにＰＣ２ｂで、「音声再生：なし」を選択すると、ＰＣ２ｂとネットワーク対応カメラ１ａとの間では音声データ用のセッションを確立せずに画像データ用のセッションのみをネットワーク送受信部２１により確立する。
【００５１】
これはネットワーク対応カメラにおいて、音声データと画像データとを別々に処理し、別々のセッションにて転送することで実現している。
【００５２】
なお、ＰＣ２ｂにおいて、「音声再生：なし」として設定し、画像取得装置であるネットワーク対応カメラ１ａから画像データのみを受信しているが、画像データおよび音声データの両データを受信しＰＣ２ｂ側にて音声だけを再生しないという方法も考えられるが、不要なネットワークトラフィックを増加させるだけであり、本発明の構成にすることにより柔軟なネットワーク音声再生システムを構築することができる。
【実施例４】
【００５３】
本発明の実施例４に係るネットワーク音声画像再生システムについて図４、図７、図８を用いて説明する。
【００５４】
図７は本発明の実施例４に係るネットワーク音声画像再生システムを説明する図であり、図８は本発明の実施例４に係るブラウザ画面の拡大図である。
【００５５】
図４および図７において、１台のＰＣ１ａが４台のネットワーク対応カメラ１ａ，１ｂ，１ｃ，１ｄにアクセスする場合を考える。ネットワーク対応カメラはポータル機能を有し、例えば、ネットワーク対応カメラ１ａの識別情報登録部３６に他のネットワーク対応カメラ１ｂ，１ｃ，１ｄの識別情報を登録する。
【００５６】
ＰＣ２ａはネットワーク対応カメラ１ａへアクセスし、識別情報登録部３６へ登録してあるネットワーク対応カメラ１ｂ〜１ｄの画像または音声データを受信したネットワーク対応カメラ１ａのネットワーク送受信部１７により、ＰＣ２ａへ画像データおよび音声データを受信し、ＰＣ２ａへ送信することにより全てのネットワーク対応カメラ１ａ，１ｂ，１ｃ，１ｄの音声および画像を再生することができる。
【００５７】
図８に示すように、実施例４のネットワーク音声画像システムでは、ＰＣ２ａのＷＥＢブラウザ画面２９上で、音声を再生するネットワーク対応カメラを選択することが可能である（図６ではネットワーク対応カメラ１ａを選択している）。複数のネットワーク対応カメラからの音声データをＰＣ２ａで同時に再生することはできないため、このような構成にすることは非常に有効である。
【００５８】
本発明では、音声データと画像データとを別々に処理しているため、例えば全てのＰＣ２ａ，２ｂ，２ｃ，２ｄでネットワーク対応カメラ１ａ，１ｂ，１ｃ，１ｄの画像を再生し、ＰＣ２ａでネットワーク対応カメラ１ａの音声データを、ＰＣ２ｂでネットワーク対応カメラ１ｂの音声データを、ＰＣ２ｃでネットワーク対応カメラ１ｃの音声データを、ＰＣ２ｄでネットワーク対応カメラ１ｄの音声データを再生するといったことも可能である。
【００５９】
以上、本発明の実施例１から４について説明したが、本実施例では、音声画像取得装置としてネットワーク対応カメラとし、音声画像再生装置としてＰＣとして説明したが、特にこれらの構成について限定するものではなく、音声画像再生装置として携帯電話を用いる等も可能である。
【００６０】
また、音声データの閾値を設けるバッファとしてアプレット部の音声バッファ部について説明したが、閾値を設けるバッファの数や設ける箇所について限定を行うものではない。
【００６１】
また、ネットワーク部については有線ＬＡＮを用いて説明したが、無線ＬＡＮやブルートゥース（Ｂｌｕｅｔｏｏｔｈ（Ｒ））等、特にその構成を限定するものではない。
【００６２】
また、本実施例ではネットワークとして、インターネットを用いた説明を行ったが、イントラネット等を使用しても本発明の効果は明らかである。
【産業上の利用可能性】
【００６３】
本発明にかかるネットワーク音声画像再生システムは、簡単な構成で画像データと音声データとの同期を擬似的に取り、擬似同期再生を可能とする低コストなネットワーク音声再生システムを提供することができ、インターネットを利用したブロードバンド放送等、
音声や画像を利用したサービス等として有用である。
【図面の簡単な説明】
【００６４】
【図１】本発明の実施例１に係るネットワーク音声画像再生システムを説明する図
【図２】本発明の実施例２に係るネットワーク音声画像再生システムを説明する図
【図３】本発明の実施例２に係るブラウザ画面の拡大図
【図４】本発明の実施例３および４に係るネットワーク音声画像再生システムを説明する図
【図５】本発明の実施例３に係るネットワーク音声画像再生システムを説明する図
【図６】本発明の実施例３に係るブラウザ画面の拡大図
【図７】本発明の実施例４に係るネットワーク音声画像再生システムを説明する図
【図８】本発明の実施例４に係るブラウザ画面の拡大図
【符号の説明】
【００６５】
１    ネットワーク対応カメラ
２    ＰＣ
３    インターネット
１１    ＣＰＵ
１２    メモリ
１３    マイク
１４    音声信号変換部
１５    カメラ
１６    画像信号変換部
１７，２１    ネットワーク送受信部
１８    ＷＥＢサーバー
２２    ネットワークバッファ部
２３，３２，３３，３７    アプレット部
２４    デコード処理部
２５    音声バッファ部
２６    バッファ内音声データ監視手段
２７    サウンドバッファ
２８    スピーカー
２９    ＷＥＢブラウザ画面
３０    再生画像
３１    閾値設定部
３４    音声再生選択部
３５    ネットワーク対応カメラ
３６    識別情報登録部
【図１】
2005045707.tif 000003
【図２】
2005045707.tif 000004
【図３】
2005045707.tif 000005
【図４】
2005045707.tif 000006
【図５】
2005045707.tif 000007
【図６】
2005045707.tif 000008
【図７】
2005045707.tif 000009
【図８】
2005045707.tif 000010