(57)【要約】【課題】本発明は、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できるネットワークカメラシステムとネットワークカメラ、ネットワーク端末、音声再生方法を提供することを目的とする。【解決手段】本発明のネットワークカメラシステムは、１台以上のネットワークカメラ２，２ａ，２ｂ，２ｃと、受信したウェブページから映像と音声をウィンドウ表示することができるネットワーク端末１とから構成され、ネットワークカメラ２，２ａ，２ｂ，２ｃには、ネットワーク端末１において映像表示のためのウィンドウと音声とを関係付けて再生するためのアプレットを送信するアプレット／プラグイン送信部が設けられ、ネットワーク端末１ではこのアプレットで音声機能拡張部を構成することを特徴とする。【選択図】  図１
2004153373.tif 000002
【特許請求の範囲】
【請求項１】
カメラ部で撮影した映像データとマイクで集音した音声データを添付したウェブページをネットワークに送信する１台以上のネットワークカメラと、該ネットワークに接続され、受信したウェブページから映像と音声を再生することができるネットワーク端末とから構成されるネットワークカメラシステムであって、
前記ネットワークカメラには、前記ネットワーク端末において映像表示のためのウィンドウと音声とを関係付けて再生するアプレット若しくはプラグインを送信するアプレット／プラグイン送信部が設けられたことを特徴とするネットワークカメラシステム。
【請求項２】
前記アプレット若しくはプラグインが、前記ネットワーク端末に映像を表示する複数のウィンドウが表示されたときに最前面のウィンドウの音声のみを再生させることを特徴とする請求項１記載のネットワークカメラシステム。
【請求項３】
前記アプレット若しくはプラグインが、前記ネットワーク端末に表示される映像表示のためのウィンドウ画面にウィンドウ表示順を入力できる入力手段を表示し、これから入力されたウィンドウ表示順に従って音声を調整して再生することを特徴とする請求項１記載のネットワークカメラシステム。
【請求項４】
前記アプレット若しくはプラグインが、前記ネットワーク端末に表示される映像表示のためのウィンドウ画面に音声再生開始ボタンと音声再生停止ボタンとを表示し、これらの入力に従って音声の出力及び停止を選択することを特徴とする請求項１記載のネットワークカメラシステム。
【請求項５】
前記アプレット若しくはプラグインが、前記ネットワーク端末に表示される映像のためのウィンドウの中央位置とディスプレー中央位置との距離を計算し、複数のウィンドウが表示されるときには計算された距離に従って音声を調整して再生することを特徴とする請求項１記載のネットワークカメラシステム。
【請求項６】
映像を撮影するカメラ部と音声を集音するマイクとを備え、
ネットワーク端末において映像表示のためのウィンドウと音声とを関係付けて再生するためのアプレット若しくはプラグインを送信するアプレット／プラグイン送信部が設けられたことを特徴とするネットワークカメラ。
【請求項７】
ネットワーク端末から送信された音声データを再生するためのスピーカが設けられたことを特徴とする請求項６記載のネットワークカメラ。
【請求項８】
ネットワークと接続してネットワークカメラからウェブページを送信することができるブラウザ手段と、
映像をウィンドウ表示することができる表示制御手段と、
音声を再生する音声制御手段を備え、
前記ウェブページを受信したときに、前記ブラウザ手段の機能を拡張するとともに、映像のウィンドウ表示と音声とを関係付けて音声を再生する音声機能拡張部を備えたことを特徴とするネットワーク端末。
【請求項９】
ネットワークカメラが撮影した映像データと音声データを添付したウェブページをそれぞれネットワーク端末に送信し、ネットワーク端末では映像表示のためのウィンドウと音声とを関係付けて再生する音声再生方法であって、
前記ウェブページには、前記映像表示のためのウィンドウと音声とを関係付けて再生するアプレット若しくはプラグインを添付して送信することを特徴とする音声再生方法。
【請求項１０】
前記アプレット若しくはプラグインが、前記ネットワーク端末に映像を表示する複数のウィンドウが表示されたときに最前面のウィンドウの音声のみを再生させることを特徴とする請求項９記載の音声再生方法。
【請求項１１】
前記アプレット若しくはプラグインが、前記ネットワーク端末に表示される映像表示のためのウィンドウ画面にウィンドウ表示順を入力できる入力ボタンを表示し、これから入力されたウィンドウ表示順に従って音声の重み付けを行い、音声の調整を行って再生することを特徴とする請求項９記載の音声再生方法。
【請求項１２】
前記アプレット若しくはプラグインが、前記ネットワーク端末に表示される映像のためのウィンドウの中央位置とディスプレー中央位置との距離を計算し、複数のウィンドウが表示されたときには計算された距離に従って音声の重み付けを行い、音声の調整を行って再生することを特徴とする請求項９記載の音声再生方法。
【請求項１３】
前記アプレット若しくはプラグインが、前記ネットワーク端末に表示される映像表示のためのウィンドウ画面に音声再生開始ボタンと音声再生停止ボタンとを表示し、これらの入力に従って音声の出力及び停止を選択することを特徴とする請求項９記載の音声再生方法。
【請求項１４】
コンピュータを、ブラウザからの要求により複数の撮像サーバにアクセスでき、かつ該複数の撮像サーバから音声データを各々受信する機能を有するインターフェイス手段と、前記複数の撮像サーバから送信されるウェブページ各々の表示表示順情報を取得するネスティング取得手段と、前記ネスティング取得手段が取得した前記複数のウェブページの表示順情報に基づいて前記音声データを選択して再生させる音声選択手段として機能させるためのプログラム。
【請求項１５】
前記音声選択手段は、表示順情報が最前面であるウェブページの撮像サーバに対応する音声データのみを選択することを特徴とする請求項１４に記載のプログラム。
【請求項１６】
前記音声選択手段は、前記音声データを選択に代えて、前記複数の撮像サーバから受信した音声データを表示順情報に基づいて前記音声データを各々重み付けして再生することを特徴とする請求項１４に記載のプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ネットワーク端末において映像のウィンドウ表示と音声とを関係付けて再生するネットワークカメラシステムと、それを構成するネットワークカメラ、ネットワーク端末、及び映像のウィンドウ表示と音声とを関係付けて再生する音声再生方法に関する。
【０００２】
【従来の技術】
最近のデジタル技術とネットワーク技術の進歩は目覚しく、マルチメディア端末、例えばパソコン等をインターネットに接続して、各種サイトから画像や音声を受信して再生することが行われている。このとき、パソコン等はネットワーク端末としての機能とＡＶ機器としての機能を併せ持つことになる。
【０００３】
ところで、このような従来のマルチメディア端末が音声を出力するスピーカが１つしか備えていない場合には、複数のサイトの音声データと映像データを同時に受信すると、それぞれの音声データを混合して出力してしまうものであった。複数のコンテンツの音声が混合されて出力されたときには、内容が聞き取れないという問題があった。
【０００４】
そこで、複数種類のコンテンツを受信したとき、この複数のコンテンツの音声信号から１つを自動的に選択して出力するマルチメディア端末装置が提案されている（特許文献１参照）。図９は従来のマルチメディア端末装置の構成図である。
【０００５】
（特許文献１）のマルチメディア端末装置は、図９においてアンテナ１０２からデジタル放送信号を受信し、チューナ１０３で多重データを多重分離するか、ネットワーク１０４を介してホームページ等のコンテンツをネットワーク制御手段１０５で受信するものである。そして、このマルチメディア端末装置は、各コンテンツの番組ジャンルよりその音声信号の優先度を決定する番組ジャンル取得手段１１２と、音声信号の信号レベルより音声信号の無音部分の比率を検知してその比率が高いとき優先度を下げる音声性質分析手段１１３と、ユーザーが入力手段１１５で入力した出力形式を記憶するユーザー指示取得手段１４とを備えており、番組ジャンル取得手段１１２と音声性質分析手段１１３とから与えられる優先度と、ユーザー指示取得手段１１４から与えられる音声信号の出力形式とを用いて、復号手段１０６，１０７から与えられる音声信号の一方をスピーカ１１１で出力するとともに他方を文字列として表示装置１０８で表示するように、音声信号選択手段１０９で決定するものである。
【０００６】
しかしながら（特許文献１）のマルチメディア端末装置は、例えば放送番組のガイド画面のように複数の映像を同時に並べて並列表示し、各コンテンツの音声信号から１つを選んで出力するようなものであり、その選択は、番組ジャンル取得手段１１２と音声性質分析手段１１３によって優先度（例えば音楽番組、ドラマ、スポーツ、ニュースといった優先順序）を決定するものであった。従って、異なった複数の放送番組を案内するような場合には好適であるが、例えば複数の同質、対等なサーバと通信して、音声を選択する場合にはこの方式で自動的に音声を選択することは困難であった。
【０００７】
例えば、ネットワークに接続されたパソコン等のネットワーク端末を用い、このネットワーク端末に搭載されたブラウザによってネットワークを介して複数のカメラにアクセスし、このカメラによって映像と音声を獲得するネットワークカメラシステムのような場合、ブラウザによる表示は複数の各カメラの映像を表示するウィンドウが重畳されて表示され、音声は各カメラからの音声信号が混合されて出力されるものであった。
【０００８】
このとき（特許文献１）の技術を適用しようとしても、映像の表示方式が異なるし、すべて対等のカメラでは予め優先度の設定が行えるものでなく、従って番組ジャンル取得手段や音声性質分析手段といった手段によって優先度を決定するのは難しいものであった。
【０００９】
【特許文献１】
特開２００１−９４９６５号公報
【００１０】
【発明が解決しようとする課題】
以上説明したように、スピーカを１つしか備えていないマルチメディア端末機器の場合には、音声データと映像データを複数のサイトから同時に受信すると、音声に関してはそれぞれの音声データを混合して出力してしまうものであった。複数のコンテンツの音声が混合されて出力されたときには、表示画面との関係で優先して聞き取りたい部分があるのにも関わらず、内容が聞き取れないという問題があった。
【００１１】
また、複数種類のコンテンツを受信したとき、この複数のコンテンツの中から音声信号の１つを優先度で選択して出力するマルチメディア端末は、放送番組のガイド画面のように複数の映像を同時に並べて並列表示し、音声の選択は、予め設定した優先度（例えば音楽番組、ドラマ、スポーツ、ニュースといった観たい順）に従って決定されるものであった。
【００１２】
しかし、複数の同質、対等なネットワークカメラ等のサーバと同時に通信して、音声を出力する場合にはこの方式を用いるのは困難である。このような場合、映像はそれぞれが対等であるから複数のウィンドウとして重畳して表示され、音声信号は単純に混合されて出力される。そしてコンテンツはすべて対等で予め優先度を付けることができず、コンテンツに基づく優先度を利用するのは難しい。無理に音声出力を行うカメラを１台固定すればそのカメラの音声は伝えられるが、利便性に欠ける。このように従来のネットワークカメラシステムでは、どのネットワークカメラから音声が出力されているか判り難く、操作性が悪いという問題があった。そして、このような同質、対等のサーバの場合を最善に処理できれば、様々のサーバを含んだ場合にも最善の処理ができるはずである。
【００１３】
そこで本発明は、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できるネットワークカメラシステムを提供することを目的とする。
【００１４】
また本発明は、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できるネットワークカメラを提供することを目的とする。
【００１５】
さらに本発明は、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できるネットワーク端末を提供することを目的とする。
【００１６】
そして本発明は、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できる音声再生方法を提供することを目的とする。
【００１７】
また、本発明は、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できるプログラムを提供することを目的とする。
【００１８】
【課題を解決するための手段】
この課題を解決するために本発明のネットワークカメラシステムは、１台以上のネットワークカメラと、受信したウェブページから映像と音声を再生することができるネットワーク端末とから構成され、ネットワークカメラには、ネットワーク端末において映像表示のためのウィンドウと音声とを関係付けて再生するアプレットを送信するアプレット／プラグイン送信部が設けられたことを特徴とする。
【００１９】
これにより、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できる。
【００２０】
本発明のネットワークカメラは、ネットワーク端末において映像表示のためのウィンドウと音声とを関係付けて再生するためのアプレットを送信するアプレット／プラグイン送信部が設けられたことを特徴とする。
【００２１】
これにより、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できる。
【００２２】
本発明のネットワーク端末は、ブラウザ手段と、映像をウィンドウ表示することができる表示制御手段と、音声を再生する音声制御手段を備え、ウェブページを受信したときに、ブラウザ手段の機能を拡張するとともに、映像のウィンドウ表示と音声とを関係付けて音声を再生する音声機能拡張部を備えたことを特徴とする。
【００２３】
これにより、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できる。
【００２４】
本発明の音声再生方法は、ネットワークカメラが撮影した映像データと音声データを添付したウェブページをそれぞれネットワーク端末に送信し、ネットワーク端末では映像表示のためのウィンドウと音声とを関係付けて再生する音声再生方法であって、ウェブページには、映像表示のためのウィンドウと音声とを関係付けて再生するアプレットを添付して送信することを特徴とする。
【００２５】
これにより、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できる。
【００２６】
本発明のプログラムは、コンピュータを、ブラウザからの要求により複数の撮像サーバにアクセスでき、かつ該複数の撮像サーバから音声データを各々受信する機能を有するインターフェイス手段と、複数の撮像サーバから送信されるウェブページ各々の表示表示順情報を取得するネスティング取得手段と、ネスティング取得手段が取得した複数のウェブページの表示順情報に基づいて音声データを選択して再生させる音声選択手段として機能させることを特徴とする。
【００２７】
これにより、映像をウィンドウ表示したとき、特別の操作を必要とせず、映像と音声が関係付けられて出力できる。
【００２８】
【発明の実施の形態】
本発明の請求項１に記載された発明は、カメラ部で撮影した映像データとマイクで集音した音声データを添付したウェブページをネットワークに送信する１台以上のネットワークカメラと、該ネットワークに接続され、受信したウェブページから映像と音声を再生することができるネットワーク端末とから構成されるネットワークカメラシステムであって、ネットワークカメラには、ネットワーク端末において映像表示のためのウィンドウと音声とを関係付けて再生するアプレット若しくはプラグインを送信するアプレット／プラグイン送信部が設けられたことを特徴とするネットワークカメラシステムであり、ネットワークカメラで撮影した映像と音声をネットワーク端末で再生するとき、ネットワークカメラのアプレット／プラグイン送信部から送信するアプレット若しくはプラグインでネットワーク端末を制御するため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００２９】
本発明の請求項２に記載された発明は、アプレット若しくはプラグインが、ネットワーク端末に映像を表示する複数のウィンドウが表示されたときに最前面のウィンドウの音声のみを再生させることを特徴とする請求項１記載のネットワークカメラシステムであり、アプレット若しくはプラグインによりとくに操作を行うことなく、最前面のウィンドウの映像の音声のみを再生するので、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００３０】
本発明の請求項３に記載された発明は、アプレット若しくはプラグインが、ネットワーク端末に表示される映像表示のためのウィンドウ画面にウィンドウ表示順を入力できる入力手段を表示し、これから入力されたウィンドウ表示順に従って音声を調整して再生することを特徴とする請求項１記載のネットワークカメラシステムであり、簡単な操作を行うだけで、最前面のウィンドウの映像の音声を大きく、背後のウィンドウの映像は表示順に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【００３１】
本発明の請求項４に記載された発明は、アプレット若しくはプラグインが、ネットワーク端末に表示される映像表示のためのウィンドウ画面に音声再生開始ボタンと音声再生停止ボタンとを表示し、これらの入力に従って音声の出力及び停止を選択することを特徴とする請求項１記載のネットワークカメラシステムであり、アプレット若しくはプラグインにより、ボタンの押下という簡単な操作を行うだけで、聞きたい音声のみを再生することができる。一つのネットワークカメラのみの音声を聞き続けたいが、他の複数のネットワークカメラの画像を見たい場合に有効である。
【００３２】
本発明の請求項５に記載された発明は、アプレット若しくはプラグインが、ネットワーク端末に表示される映像のためのウィンドウの中央位置とディスプレー中央位置との距離を計算し、複数のウィンドウが表示されるときには計算された距離に従って音声を調整して再生することを特徴とする請求項１記載のネットワークカメラシステムであり、アプレット若しくはプラグインにより、簡単な操作を行うだけで、ディスプレー中央からの距離に従ってウィンドウの距離が小さいとき音声を大きく、背後のウィンドウの映像は距離に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【００３３】
本発明の請求項６に記載された発明は、映像を撮影するカメラ部と音声を集音するマイクとを備え、ネットワーク端末において映像表示のためのウィンドウと音声とを関係付けて再生するためのアプレット若しくはプラグインを送信するアプレット／プラグイン送信部が設けられたことを特徴とするネットワークカメラであり、アプレット／プラグイン送信部から送信したアプレット若しくはプラグインでネットワーク端末を制御するため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００３４】
本発明の請求項７に記載された発明は、ネットワーク端末から送信された音声データを再生するためのスピーカが設けられたことを特徴とする請求項６記載のネットワークカメラであり、ネットワーク端末から送った音声をネットワークカメラから再生することができる。
【００３５】
本発明の請求項８に記載された発明は、ネットワークと接続してネットワークカメラからウェブページを送受信することができるブラウザ手段と、映像をウィンドウ表示することができる表示制御手段と、音声を再生する音声制御手段を備え、ウェブページを受信したときに、ブラウザ手段の機能を拡張するとともに、映像のウィンドウ表示と音声とを関係付けて音声を再生する音声機能拡張部を備えたことを特徴とするネットワーク端末であり、ネットワークカメラで撮影した映像と音声をネットワーク端末で再生するとき、ネットワークカメラで送信したアプレットでブラウザ手段を拡張してネットワーク端末を制御するため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００３６】
本発明の請求項９に記載された発明は、ネットワークカメラが撮影した映像データと音声データを添付したウェブページをそれぞれネットワーク端末に送信し、ネットワーク端末では映像表示のためのウィンドウと音声とを関係付けて再生する音声再生方法であって、ウェブページには、映像表示のためのウィンドウと音声とを関係付けて再生するアプレット若しくはプラグインを添付して送信することを特徴とする音声再生方法であり、ネットワークカメラで撮影した映像と音声をネットワーク端末で再生するとき、ネットワークカメラから送信したアプレット若しくはプラグインでネットワーク端末を制御するため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００３７】
本発明の請求項１０に記載された発明は、アプレット若しくはプラグインが、ネットワーク端末に映像を表示する複数のウィンドウが表示されたときに最前面のウィンドウの音声のみを再生させることを特徴とする請求項９記載の音声再生方法であり、アプレット若しくはプラグインによりとくに操作を行うことなく、最前面のウィンドウの映像の音声のみを再生するので、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００３８】
本発明の請求項１１に記載された発明は、アプレット若しくはプラグインが、ネットワーク端末に表示される映像表示のためのウィンドウ画面にウィンドウ表示順を入力できる入力ボタンを表示し、これから入力されたウィンドウ表示順に従って音声の重み付けを行い、音声の調整を行って再生することを特徴とする請求項９記載の音声再生方法であり、簡単な操作を行うだけで、最前面のウィンドウの映像の音声を大きく、背後のウィンドウの映像は表示順に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【００３９】
本発明の請求項１２に記載された発明は、アプレット若しくはプラグインが、ネットワーク端末に表示される映像のためのウィンドウの中央位置とディスプレー中央位置との距離を計算し、複数のウィンドウが表示されたときには計算された距離に従って音声の重み付けを行い、音声の調整を行って再生することを特徴とする請求項９記載の音声再生方法であり、アプレット若しくはプラグインにより、簡単な操作を行うだけで、ディスプレー中央からの距離に従ってウィンドウの距離が小さいとき音声を大きく、背後のウィンドウの映像は距離に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【００４０】
本発明の請求項１３に記載された発明は、アプレット若しくはプラグインが、ネットワーク端末に表示される映像表示のためのウィンドウ画面に音声再生開始ボタンと音声再生停止ボタンとを表示し、これらの入力に従って音声の出力及び停止を選択することを特徴とする請求項９記載の音声再生方法であり、アプレット若しくはプラグインにより、ボタンの押下という簡単な操作を行うだけで、聞きたい音声のみを再生することができる。一つのネットワークカメラのみの音声を聞き続けたいが、他の複数のネットワークカメラの画像を見たい場合に有効である。
【００４１】
本発明の請求項１４に記載された発明は、コンピュータを、ブラウザからの要求により複数の撮像サーバにアクセスでき、かつ該複数の撮像サーバから音声データを各々受信する機能を有するインターフェイス手段と、複数の撮像サーバから送信されるウェブページ各々の表示表示順情報を取得するネスティング取得手段と、ネスティング取得手段が取得した複数のウェブページの表示順情報に基づいて音声データを選択して再生させる音声選択手段として機能させるためのプログラムであり、ネスティング取得手段が取得した複数のウェブページの表示順情報に基づいて音声データを選択して再生させるため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００４２】
本発明の請求項１５に記載された発明は、音声選択手段は、表示順情報が最前面であるウェブページの撮像サーバに対応する音声データのみを選択することを特徴とする請求項１４に記載のプログラムであり、とくに操作を行うことなく、最前面のウィンドウの映像の音声のみを再生するので、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００４３】
本発明の請求項１６に記載された発明は、音声選択手段は、音声データを選択に代えて、複数の撮像サーバから受信した音声データを表示順情報に基づいて音声データを各々重み付けして再生することを特徴とする請求項１４に記載のプログラムであり、簡単な操作を行うだけで、最前面のウィンドウの映像の音声を大きく、背後のウィンドウの映像は表示順情報に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【００４４】
（実施の形態１）
本発明の実施の形態１におけるネットワークカメラシステムとその音声出力方法、そのためのアプレットについて説明する。図１は本発明の実施の形態１におけるネットワーク端末とネットワークカメラのシステム構成図、図２は本発明の実施の形態１におけるアプレットの機能構成図、図３は本発明の実施の形態１におけるネットワークカメラの構成図である。
【００４５】
図１に示すネットワークカメラシステムの全体構成において、１はディスプレーに映像を表示するとともに音声も流せるパソコン等のネットワーク端末、２，２ａ，２ｂ，２ｃはネットワーク端末１からアクセスが可能であり、そのアクセスに応じて、後述のカメラ部２２で撮像した画像データを送信する撮像サーバとしての機能を有するネットワークカメラ、３はネットワークカメラ２，２ａ，２ｂ，２ｃを配下にしたルータ、４はインターネット等のネットワークである。５はネットワーク端末１をネットワーク４に接続する際、このネットワーク端末に対しグローバルＩＰアドレスを割り当てるためのＤＨＣＰサーバ、６はネットワーク端末１がグローバルＩＰアドレスを取得したときホスト名とポート番号等でアクセスすると、ホスト名をルータ３のグローバルＩＰアドレスに変換するＤＮＳサーバである。７はブラウザの機能を拡張して音声や動画を再生するためのプラグインソフトや、後述するように例外的にＪａｖａ（Ｒ）アプレット等（Ｊａｖａ（Ｒ）は登録商標、以下アプレット）をネットワーク端末１にダウンロードできるウェブサーバである。
【００４６】
このようなネットワークカメラシステムで、ネットワーク端末１からネットワークカメラ２，２ａ，２ｂ，２ｃにそのホスト名及びポート番号で映像を要求したときは、ネットワーク端末１はまずＤＮＳサーバ６からグローバルＩＰアドレスを入手し、リクエストをルータ３に送り、ルータ３で指定されたポート番号に従ってポートフォワーディングされ、ネットワークカメラ２，２ａ，２ｂ，２ｃに送信される。逆に、映像はルータ３に送られ、ルータ３のＮＡＴ機能によりルータ３を送信元にしてネットワーク４を経由してネットワーク端末１に転送されることになる。
【００４７】
そこで、以下このようなシステムを構成するネットワークカメラシステムの内部構成、ネットワーク端末１について説明する。図１において、１１はネットワーク端末１のネットワーク４との通信を制御するネットワーク制御部、１２は、ネットワーク制御部１１を介してインターネット等のネットワーク４に接続されたサーバにアクセスすると、テキストデータやＨＴＭＬによるレイアウト情報、文書中にリンク情報等により埋め込まれた画像や音声ファイル、動画ファイルなどから構成されるウェブページを受信し、ディスプレーやスピーカで再生するブラウザ手段である。
【００４８】
図１に示す１３は、受信した画像ファイルや動画等その他の画像ファイルをディスプレーに表示するための表示制御手段、１４は受信した音声ファイルやその他の音声データを再生するための音声制御手段である。音声制御手段１４と表示制御手段１３はブラウザ手段１２の機能を拡張するためにウェブサーバ７からプラグインしてもよい。ブラウザ手段１２はウェブページを受信すると、表示制御手段１３や音声制御手段１４を動作させて画像や音声を再生させる。なお、音声制御手段１４はＡ／Ｄ・Ｄ／Ａ変換器やアンプ等を備えており符号化された音声データを伸長し、Ｄ／Ａ変換してアンプで音量を調整して出力する。
【００４９】
次に、１５は各種制御プログラムや各種データをメモリする記憶部、１５ａはネットワーク端末１の使用者による操作により、複数のブラウザ画面が画面上にウィンドウ表示されているときに、各々のウィンドウ表示の表示順情報（例えば、ブラウザ画面が３つウィンドウ表示されている場合に、ブラウザ画面（１）が「最前面位置」、ブラウザ画面（２）が「最背面位置」、ブラウザ画面（３）が「中間位置」であるというように表示手段上、どのように画面を重畳させるかの情報）を格納したネスティングデータ部である。１６はネットワーク端末１の制御を行う制御部である。制御部１６は中央処理装置を用いて構成され、記憶部１５から各機能の制御プログラムが読み出されて実行されるもので、機能実現手段として構成される。１７はマウスで入力したりキーボードからの入力を行うための入力制御手段である。
【００５０】
また、実施の形態１のネットワーク端末１は、ウィンドウ表示されている画面の表示順情報に基づいて音声を選択する以下の構成を備えている。すなわち、図１において、１８は、ネットワーク４を経由してネットワークカメラ２から受信したアプレットによって構成される音声機能拡張部である。なお、音声機能拡張部１８はアプレットで構成するのでなく、プラグインのようにウェブサーバ若しくはネットワークカメラ２からダウンロードし予め組み込んでおくこともできる。
【００５１】
図２に示すように、音声機能拡張部１８において、１８ａはブラウザ手段１２とのインタフェース手段である。また、インターフェイス手段１８ａは、ブラウザ手段１２からの要求により、ネットワークカメラ２にネットワーク制御部１１を介してアクセスし、ネットワークカメラ２から音声データを受信する機能をも有する。なお、ブラウザ手段１２から音声機能拡張部１８への要求は、ブラウザ手段がネットワークカメラ２から受信するウェブページの記載に基づいて行われる。１８ｂはブラウザ手段１２によって複数のブラウザ画面がそれぞれウィンドウ表示されたとき、その中の一番上（最前面の表示順序）に配置されたブラウザ画面に対応した音声ファイルを選択して音声制御手段１４から再生させる音声選択手段であり、１８ｃは複数のブラウザ画面がウィンドウ表示されたとき、ネスティングデータ部１５ａからそのウィンドウ表示の各々表示順情報を示すネスティングデータを取得するネスティング取得手段である。音声選択手段１８ｂは一番上にウィンドウ表示されたブラウザ画面に対応するネットワークカメラ２から送信される音声データのみを選択して音声制御手段１４に送信する。
【００５２】
ブラウザ手段１２によって複数のブラウザ画面を立ち上げ、各々のブラウザ画面からネットワークカメラ２，２ａ，２ｂ，２ｃに次々とアクセスし、複数のウィンドウにネットワークカメラから送信されるウェブページが表示されたとき、実施の形態１のネットワーク端末１はウィンドウ表示の中で最前面に配置されたウィンドウ（ブラウザ画面）に対応するネットワークカメラ２からの音声をスピーカから再生する。音声選択手段１８ｂは、最前面に表示された画像に対応するネットワークカメラ２から送信される音声データの選択を行う。
【００５３】
続いて、ネットワークカメラシステムを構成するネットワークカメラ２について説明する。図３において、２１はネットワークカメラ２のネットワーク４との通信を制御するネットワーク制御部、２１ａはネットワーク端末２からの要求に応じてウェブページを送信するウェブサーバ部（本発明の撮像サーバ）、２２はカメラ部、２３はカメラ部２２で撮影した映像データを圧縮する映像制御部、２４はネットワークカメラ２から音声を集音するためのマイク、２４ａはネットワーク端末１で入力された音声を出力するためのスピーカ、２５はマイク２４からの音声アナログ信号をＡ／Ｄ変換によりデータ信号に変換し、圧縮符号化してネットワーク制御部２１に渡す音声制御部である。アンプも置かれる。２６はネットワークカメラ２のパン、チルト等の駆動制御を行う駆動制御部である。２７は制御プログラムや各種データをメモリする記憶部である。
【００５４】
なお、図３に示すネットワークカメラ２はアプレットダウンロード機能若しくはプラグインダウンロード機能を有しており、２７ａはネットワーク端末１において一番上のウィンドウの音声を流すアプレットプログラム若しくはプラグインプログラム（以下、総称して「アプレット」というものとする）を格納したプログラム格納部である。２８はアプレット／プラグイン送信部、２９はアプレットをネットワーク端末１へダウンロードするダウンロード手段である。ダウンロード手段２９はアプレットをＨＴＭＬファイルに添付して（アプレット格納場所のリンク先記載等により埋め込んで）ネットワーク４経由でネットワーク端末１へ送信する。アプレット／プラグイン送信部２８は、アプレットを送信するアプレット送信部及びまたはプラグインダウンロード機能を与える場合のプラグイン送信部から構成される。アプレットダウンロード機能を備えていない普通のネットワークカメラ２の場合には、ソースプログラム格納部、ダウンロード手段（これらは図示しない）を備えたダウンロード用のウェブサーバ７のプラグイン送信部から図２に示した上述のアプレットと同一機能を有するプラグインソフトをネットワーク端末１へダウンロードさせることもできる。
【００５５】
次に、図１においてネットワークカメラ２が撮影及び録音した映像と音声を送信してきたときのネットワーク端末１における再生処理の説明を行う。図４は本発明の実施の形態１におけるウィンドウ表示と音声を関係付ける処理のフローチャートである。ネットワーク端末１のブラウザ手段１２はネットワークカメラ２に対して映像と音声とを含むウェブページをリクエストし、このリクエストに対するレスポンス、すなわちウェブページのレイアウト情報（ＨＴＭＬファイル等）が送信されるのを待機する。ブラウザ手段１２はレスポンスが着信したか否かをチェックする。レスポンスが送信されない場合は再び待機状態に戻り、レスポンスの送信があったときは、受信したレイアウト情報に基づいて、映像データ及びアプレットの送信要求をネットワークカメラ２に行う（ｓｔｅｐ１）。ネットワーク端末１はアプレットを受信し（ｓｔｅｐ２）、このアプレットを動作させ、音声機能拡張部１８をネットワーク端末１に生成する。その後、ブラウザ手段１２は、受信したレイアウト情報に基づいて、ネットワークカメラ２から音声データを受信するように、音声機能拡張部１８に要求する。音声データの受信要求を受けた音声機能拡張部１８は、ネットワーク制御部１１を介して、ネットワークカメラ２に音声データを送信するように要求する（ｓｔｅｐ３）。その要求を受けたネットワークカメラ２は、ネットワーク端末１の音声機能拡張部１８に対し、マイク２４で集音したリアルタイムの音声データを逐次送信する。音声機能拡張部１８のインターフェイス手段１８ａは、この送信される音声データを受信する（ｓｔｅｐ４）。
【００５６】
一方、ネスティング取得手段１８ｃは、一定周期でネスティングデータ部１５ａからネスティングデータを受信して、音声データの送信元ネットワークカメラ２に対応するブラウザ画面の表示順情報を保持しており、ネスティング取得手段１８ｃが取得した情報に基づいて、音声選択手段１８ｂは音声データを送信したネットワークカメラ２が一番上にウィンドウ表示されるブラウザ画面にウェブページを送信したネットワークカメラであるかどうかを音声データの送信元ＩＰアドレス等に基づいて判断する（ｓｔｅｐ５）。一番上にウィンドウ表示されるウェブページの送信元ネットワークカメラである場合には、このネットワークカメラから送信される音声データを選択し、音声制御手段１４へ送信する（ｓｔｅｐ６）。一方、一番上にウィンドウ表示されるウェブページの送信元ネットワークカメラでない場合には、このネットワークカメラから送信される音声データは破棄（削除）する（ｓｔｅｐ７）。以下、ｓｔｅｐ４からｓｔｅｐ７までを繰り返す。なお、複数のネットワークカメラ２へ各々アクセスする際に、それぞれｓｔｅｐ１〜８の動作を行うことになり、音声機能拡張部１８はこの複数のネットワークカメラ２の音声データの選択制御を行う。
【００５７】
なお、ウィンドウ表示されている一つのブラウザ画面は、マウスで画面表示されている部分をマウスによりクリックする等により、最上位の表示順序となり最前面に表示されることになる。クリックする前に最前面にあった他のブラウザ画面は２番目の表示順序となり、２番目にあったものは３番目の表示順序というように、最上位の順序が入れ替わり、順次一つ下位の表示順へ変更される。そしてこれに伴い出力される音声データも新しく最上位の表示順序に入れ替わったネットワークカメラのものに変更される。
【００５８】
また、ネットワークカメラ２から送信されるウェブページに音声再生開始ボタン及び音声再生停止ボタンをＧＵＩとして表示させるようにすることも可能である。このようにすることで、ウィンドウ画面上に表示された音声再生停止ボタンをマウス等を用いて押下すると、その情報が音声機能拡張部１８に伝えられ、表示順情報によらず、音声再生停止ボタンが押下されたネットワークカメラ２からの音声信号を選択しないため、例えば、一つのネットワークカメラ２のみの音声を聞き続けたいが、他の複数のネットワークカメラの画像を見たい場合に特に有効である。なお、音声停止ボタンが押下された状態において、音声再生開始ボタンが押下されると通常の動作に戻るように構成される。
【００５９】
このように実施の形態１のネットワークカメラシステムとその音声出力方法、そのためのアプレットは、映像と音声を同時にウィンドウ表示するときに、とくに操作することなく、最前面のウィンドウに表示される映像に対応した音声を出力することができる。また簡単な操作で聞きたい音声のみを出力することもできる。
【００６０】
（実施の形態２）
本発明の実施の形態２におけるネットワークカメラシステムとその音声出力方法、そのためのアプレットについて説明する。図５（ａ）は本発明の実施の形態２におけるアプレットの構成図、図５（ｂ）は表示順入力ボタンを表示したウィンドウ表示画面の説明図、図６は本発明の実施の形態２におけるウィンドウ表示と音声を関係付ける処理のフローチャートである。実施の形態２のネットワークカメラシステムとその音声出力方法、そのためのアプレットは、実施の形態１のそれと基本的構成において同一であり、音声機能拡張部の内容が相違するだけであるため、図１，図３は実施の形態２においても参照する。
【００６１】
図５（ａ）に示す音声機能拡張部１８において、１８ａは実施の形態１と同様のインタフェース手段、１８ｃはネスティング取得手段である。１８ｄは、後述する表示順入力ボタン４２を表示制御手段１３に表示させる表示順選択手段である。各ウィンドウはディスプレー上に表示されるとともに、そのネスティングは制御部１５によってネスティングデータ部１５ａにメモリされる。
【００６２】
１８ｅは各ウィンドウのネスティングに基づきネットワーク端末１で再生する各ウィンドウの音声を作成する音声生成手段である。音声生成手段１８ｅは一番上に表示されるウィンドウの音声に１番大きい重みをつけ、２番目のウィンドウに２番目の重み、３番目のウィンドウに３番目の重み、・・を付けて受信した各音声データをミックスして音声を生成する。重み付けした音声データは音声制御手段１４に送られて音量をアンプで調整され、１２５μｓｅｃ単位で順にスピーカから再生される。調整は音量の他に周波数等の調整もできる。
【００６３】
図５（ｂ）は複数のウィンドウ表示されたブラウザ画面が重畳して表示された説明図であるが、４１は各ウィンドウ画面、４２は各ウィンドウに設けられた表示順入力ボタンである。
【００６４】
ブラウザ手段１２によってネットワークカメラ２，２ａ，２ｂ，２ｃに次々とアクセスし、複数のウィンドウ４１が表示されたとき、実施の形態２のネットワーク端末１は表示順入力ボタン４２をクリックした順で音が大きくなるミックスした音声をスピーカから再生する。
【００６５】
続いて、ネットワークカメラ２，２ａ，２ｂ，２ｃが撮影した複数の映像と音声を受信して、ネットワーク端末１から音声を再生する手順の説明を行う。図６に示すように、ネットワーク端末１のブラウザ手段１２はネットワークカメラ２に対して映像と音声とを含むウェブページをリクエストし、このリクエストに対するレスポンス、すなわちウェブページのレイアウト情報（ＨＴＭＬファイル等）が送信されるのを待機する。ブラウザ手段１２はレスポンスが着信したか否かをチェックする。レスポンスが送信されない場合は再び待機状態に戻り、レスポンスの送信があったときは、受信したレイアウト情報に基づいて、映像データ及びアプレットの送信要求をネットワークカメラ２に行う（ｓｔｅｐ８）。ネットワーク端末１はアプレットを受信し（ｓｔｅｐ９）、このアプレットを動作させ、音声機能拡張部１８をネットワーク端末１に生成する。その後、ブラウザ手段１２は、受信したレイアウト情報に基づいて、ネットワークカメラ２から音声データを受信するように、音声機能拡張部１８に要求する。音声データの受信要求を受けた音声機能拡張部１８は、ネットワーク制御部１１を介して、ネットワークカメラ２に音声データを送信するように要求する（ｓｔｅｐ１０）。その要求を受けたネットワークカメラ２は、ネットワーク端末１の音声機能拡張部１８に対し、マイク２４で集音したリアルタイムの音声データを逐次送信する。音声機能拡張部１８のインタフェース手段１８ａは、この送信される音声データを受信する（ｓｔｅｐ１１）。
【００６６】
一方、ネスティング取得手段１８ｃは、一定周期でネスティングデータ部からネスティングデータを受信し、音声データの送信元ネットワークカメラ２に対応するブラウザ画面の表示順序を保持しており、ネスティング取得手段１８ｃが取得した情報に基づいて、音声生成手段１８ｅは音声データを送信したネットワークカメラ２のネスティング情報に基づいて、音声データの音量調整量を判断し、音声データの音量を増減した後、他のネットワークカメラ２の音量調整後の音声データとミックスし、音声制御手段１４に送信する（ｓｔｅｐ１２）。以下、ｓｔｅｐ１１，１２の動作を繰り返す。
【００６７】
なお、表示順入力ボタン４２をクリックした場合、クリックされたウィンドウ表示に対応するネットワークカメラの音声データは、ネスティング情報よりも優先する構成をとっている。すなわち、ネスティング情報が最上位の表示順序（画面一番上）のものがあっても、表示順序入力ボタンが押下されたものから順に大きい重みをつける。また、表示順入力ボタン４２は、表示順選択手段１８ｄによって表示させるのではなく、ネットワークカメラ２から送信されるウェブページにＧＵＩ表示させておき、表示順入力ボタン４２をマウス等でクリックした場合に、ブラウザ手段１２を介して、音声機能拡張部１８にボタンが押下された情報を通知するようにし、音声機能拡張部１８で音声データの音声制御部１４への出力の優先順位を判断させるようにすることも当然可能である。
【００６８】
このように実施の形態２のネットワークカメラシステムとその音声出力方法、そのためのアプレットは、複数のネットワークカメラのようなウェブサーバにアクセスし、複数のウィンドウ表示をさせている場合に、最前面のウィンドウの映像に対応した音声が最も強く、背面に表示された残りのウィンドウの映像に対応する音声を背面の並びに応じて重み付けして小さく出力することができる。
【００６９】
また、ウィンドウの表示順入力ボタンをクリックすれば、優先的に音声の重み付けを大きくできるので、音声は聞きいておきたいが、他のウィンドウの映像を閲覧するために、他のウィンドウを最前面に移動させた場合でも、表示順入力ボタンをクリックしたウィンドウの音声を大きく聞くことが可能である。
【００７０】
（実施の形態３）
本発明の実施の形態３におけるネットワークカメラシステムとその音声出力方法、そのためのアプレットについて説明する。図７は本発明の実施の形態３におけるアプレットの構成図、図８は本発明の実施の形態３におけるウィンドウ表示と音声を関係付ける処理のフローチャートである。実施の形態３のネットワークカメラシステムとその音声出力方法、そのためにのアプレットは、実施の形態１，２のそれと基本的構成において同一であり、音声機能拡張部の内容が相違するだけであるため、図１，図３は実施の形態２においても参照する。
【００７１】
図７において、１５ｂは各ブラウザのウィンドウ画面が表示されている位置を格納するウィンドウ位置データ部、また、音声機能拡張部１８の中の１８ａはインタフェース手段、１８ｅは音声生成手段である。音声生成手段１８ｅは各ウィンドウの中央位置とディスプレーの中央位置との距離に応じて重みを付けて、受信した各音声データを伸長してミックスする。なお、距離としてはディスプレー横幅方向の距離を採用するのが好適である。ミックスされた音声データは音声制御手段１４に送られスピーカから再生される。
【００７２】
１８ｇは、ウィンドウ位置データ部１５ｂから各ウィンドウ画面の表示位置を取得するウィンドウ位置取得手段である。ウィンドウ位置取得手段１８ｇが検出した各ウィンドウ位置に基づいて、音声生成手段１８ｅは重み付けした音声データを音声制御部１４に送り、音量をアンプで調整して１２５μｓｅｃ単位で順に再生させる。
【００７３】
続いて、ネットワークカメラ２，２ａ，２ｂ，２ｃが撮影した複数の映像と音声を受信したとき、ネットワーク端末１のウィンドウの位置を変更して音声を再生する手順の説明を行う。図８に示すように、ネットワーク端末１はネットワークカメラ２に対して映像と音声をリクエストし、このリクエストに対するレスポンスが着信するのを待機する。ネットワーク端末１のブラウザ手段１２はネットワークカメラ２に対して映像と音声をリクエストし、このリクエストに対するレスポンス、すなわちウェブページのレイアウト情報（ＨＴＭＬファイル等）が送信されるのを待機する。ブラウザ手段１２はレスポンスが着信したか否かをチェックする。レスポンスが送信されない場合は再び待機状態に戻り、レスポンスの送信があったときは、受信したレイアウト情報に基づいて、映像データ及びアプレットの送信要求をネットワークカメラ２に行う（ｓｔｅｐ１３）。ネットワーク端末１はアプレットを受信し（ｓｔｅｐ１４）、このアプレットを動作させ、音声機能拡張部１８をネットワーク端末１に生成する。その後、ブラウザ手段１２は、受信したレイアウト情報に基づいて、ネットワークカメラ２から音声データを受信するように、音声機能拡張部１８に要求する。音声データの受信要求を受けた音声機能拡張部１８は、ネットワーク制御部１１を介して、ネットワークカメラ２に音声データを送信するように要求する（ｓｔｅｐ１５）。その要求を受けたネットワークカメラ２は、ネットワーク端末１の音声機能拡張部１８に対し、マイク２４で集音したリアルタイムの音声データを逐次送信する。音声機能拡張部１８のインターフェイス手段１８ａは、この送信される音声データを受信する（ｓｔｅｐ１６）。
【００７４】
一方、ウィンドウ位置取得手段１８ｇは、一定周期でウィンドウ位置データ部１５ｂから各ウィンドウ画面の位置データを受信し、このウィンドウ画面位置データに基づいて、各ネットワークカメラ２から受信した音声データに重み付け、すなわち音声データの音量の調整を各々行う。音量調整がされた音声データは、音声生成手段１８ｅで加算してミックスされ、音声制御手段１４に出力される（ｓｔｅｐ１７）。以下、ｓｔｅｐ１６からｓｔｅｐ１７までを繰り返す。
【００７５】
なお、ウィンドウ表示されている一つのブラウザ画面は、マウス等により表示されている画面位置が変更され、その情報は、逐次ウィンドウ位置データ部１５ｂに格納される。また、ネスティング情報とウィンドウ位置情報とを組み合わせて重み付けを行うようにしてもよい。さらに、音量の重み付けは、ライトスピーカとレフトスピーカとに分けて行うようにすれば、どのウィンドウ画面のネットワークカメラからの音声出力かがわかりやすくなるため好適である。
【００７６】
このように実施の形態３のネットワークカメラシステムとその音声出力方法、そのためのアプレットは、映像と音声を同時にウィンドウ表示するときに、レスポンスを受信すると、とくに操作することなく、画面中心からの距離の近いウィンドウの映像に対応した音声が最も強く、残りの遠いウィンドウの音声もそれぞれ距離に応じた大きさで出力することができる。
【００７７】
【発明の効果】
本発明のネットワークカメラシステムによれば、ネットワークカメラで撮影した映像と音声をネットワーク端末で再生するとき、ネットワークカメラのアプレット／プラグイン送信部から送信するアプレット若しくはプラグインでネットワーク端末を制御するため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００７８】
アプレット若しくはプラグインによりとくに操作を行うことなく、最前面のウィンドウの映像の音声のみを再生するので、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００７９】
簡単な操作を行うだけで、最前面のウィンドウの映像の音声を大きく、背後のウィンドウの映像は表示順に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【００８０】
アプレット若しくはプラグインが、ネットワーク端末に表示される映像表示のためのウィンドウ画面に音声再生開始ボタンと音声再生停止ボタンとを表示するから、アプレット若しくはプラグインによって、表示されたボタンの押下という簡単な操作を行うだけで、聞きたい音声のみを再生することができる。一つのネットワークカメラのみの音声を聞き続けたいが、他の複数のネットワークカメラの画像を見たい場合に有効である。
【００８１】
アプレット若しくはプラグインにより、簡単な操作を行うだけで、ディスプレー中央からの距離に従ってウィンドウの距離が小さいとき音声を大きく、背後のウィンドウの映像は距離に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【００８２】
本発明のネットワークカメラによれば、アプレット／プラグイン送信部から送信したアプレット若しくはプラグインでネットワーク端末を制御するため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。ネットワーク端末から送った音声をネットワークカメラから再生することができる。
【００８３】
本発明のネットワーク端末によれば、ネットワークカメラで撮影した映像と音声をネットワーク端末で再生するとき、ネットワークカメラで送信したアプレットでブラウザ手段を拡張してネットワーク端末を制御するため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。
【００８４】
本発明の音声再生方法によれば、ネットワークカメラで撮影した映像と音声をネットワーク端末で再生するとき、ネットワークカメラから送信したアプレット若しくはプラグインでネットワーク端末を制御するため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。とくに操作を行うことなく、最前面のウィンドウの映像の音声のみを再生するので、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。簡単な操作を行うだけで、最前面のウィンドウの映像の音声を大きく、背後のウィンドウの映像は表示順に従って小さく再生でき、音声の調整が図られ、バランスのとれた音声を再生することができる。ディスプレー中央からの距離に従ってウィンドウの距離が小さいとき音声を大きく、背後のウィンドウの映像は距離に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【００８５】
本発明のプログラムによれば、アプレット若しくはプラグインにより、ボタンの押下という簡単な操作を行うだけで、聞きたい音声のみを再生することができる。一つのネットワークカメラのみの音声を聞き続けたいが、他の複数のネットワークカメラの画像を見たい場合に有効である。ネスティング取得手段が取得した複数のウェブページの表示順情報に基づいて音声データを選択して再生させるため、端末側では特別の操作を必要とせず、映像と音声が関係付けられて出力でき、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。とくに操作を行うことなく、最前面のウィンドウの映像の音声のみを再生するので、音声が混合されて再生されるためどの映像の音声か分からない状態を回避することができる。簡単な操作を行うだけで、最前面のウィンドウの映像の音声を大きく、背後のウィンドウの映像は表示順情報に従って小さく再生するので、音声の調整が図られ、バランスのとれた音声を再生することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるネットワーク端末とネットワークカメラのシステム構成図
【図２】本発明の実施の形態１におけるアプレットの構成図
【図３】本発明の実施の形態１におけるネットワークカメラの構成図
【図４】本発明の実施の形態１におけるウィンドウ表示と音声を関係付ける処理のフローチャート
【図５】（ａ）本発明の実施の形態２におけるアプレットの構成図
（ｂ）表示順入力ボタンを表示したウィンドウ表示画面の説明図
【図６】本発明の実施の形態２におけるウィンドウ表示と音声を関係付ける処理のフローチャート
【図７】本発明の実施の形態３におけるアプレットの構成図
【図８】本発明の実施の形態３におけるウィンドウ表示と音声を関係付ける処理のフローチャート
【図９】従来のマルチメディア端末装置の構成図
【符号の説明】
１  ネットワーク端末
２，２ａ，２ｂ，２ｃ  ネットワークカメラ
３  ルータ
４  ネットワーク
５  ＤＨＣＰサーバ
６  ＤＮＳサーバ
７  ウェブサーバ
１１  ネットワーク制御部
１１ａ  ウェブサーバ部
１２  ブラウザ手段
１３  表示制御手段
１４  音声制御手段
１５  記憶部
１５ａ  ネスティングデータ部
１５ｂ  ウィンドウ位置データ部
１６  制御部
１７  入力制御手段
１８  音声機能拡張部
１８ａ  インタフェース手段
１８ｂ  音声選択手段
１８ｃ  ネスティング取得手段
１８ｄ  表示順選択手段
１８ｅ  音声生成手段
１８ｇ  ウィンドウ位置取得手段
２１  ネットワーク制御部
２１ａ  ウェブサーバ部
２２  カメラ部
２３  映像制御部
２４  マイク
２４ａ  スピーカ
２５  音声制御部
２６  駆動制御部
２７  記憶部
２７ａ  プログラム格納部
２８  アプレット／プラグイン送信部
２８ａ  アプレット生成手段
２９  ダウンロード手段
４１  ウィンドウ画面
４２  表示順入力ボタン
【図１】
2004153373.tif 000003
【図２】
2004153373.tif 000004
【図３】
2004153373.tif 000005
【図４】
2004153373.tif 000006
【図５】
2004153373.tif 000007
【図６】
2004153373.tif 000008
【図７】
2004153373.tif 000009
【図８】
2004153373.tif 000010
【図９】
2004153373.tif 000011