(57)【特許請求の範囲】
【請求項１】
画像データ及び前記画像データに対応する音声データを入力する入力手段と、
前記入力手段によって入力された画像データから所定の条件に合致する画像を検出する検出手段と、
前記検出手段により前記所定の条件に合致する画像が検出された期間に対応する期間の音声データのエラー耐性のレベルを、予め設定された面積の画面に対する前記検出された画像に応じた領域の占有率に基づいて決定して、前記決定したエラー耐性のレベルで前記所定の条件に合致する画像が検出された期間に対応する期間の音声データの符号化処理を行う符号化手段とを有することを特徴とする情報処理装置。
【請求項２】
前記検出手段は、前記所定の条件に合致する画像として人物の顔又は身体を検出することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記検出手段は、前記所定の条件に合致する画像として、人物の顔の構成要素である目、鼻及び口のうち、少なくとも１つを検出することを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記画像データはフレームを含み、
前記符号化手段は、前記検出手段により前記所定の条件に合致する画像が検出された期間に対応する期間の音声データのエラー耐性のレベルを、１フレームに対する前記検出された画像に応じた領域の占有率に基づいて決定することを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記符号化手段は、前記音声データをＦＥＣ符号化するための冗長度を決定することによりエラー耐性のレベルを決定することを特徴とする請求項１に記載の情報処理装置。
【請求項６】
画像データ及び前記画像データに対応する音声データを入力する入力ステップと、
前記入力ステップにおいて入力された画像データから所定の条件に合致する画像を検出する検出ステップと、
前記検出ステップにおいて前記所定の条件に合致する画像が検出された期間に対応する期間の音声データのエラー耐性のレベルを、予め設定された面積の画面に対する前記検出された画像に応じた領域の占有率に基づいて決定して、前記決定したエラー耐性のレベルで前記所定の条件に合致する画像が検出された期間に対応する期間の音声データの符号化処理を行う符号化ステップとを有することを特徴とする情報処理方法。
【請求項７】
前記検出ステップにおいて、前記所定の条件に合致する画像として人物の顔又は身体を検出することを特徴とする請求項６に記載の情報処理方法。
【請求項８】
前記検出ステップにおいて、前記所定の条件に合致する画像として、人物の顔の構成要素である目、鼻及び口のうち、少なくとも１つを検出することを特徴とする請求項６に記載の情報処理方法。
【請求項９】
前記画像データはフレームを含み、
前記符号化ステップにおいて、前記検出ステップにおいて前記所定の条件に合致する画像が検出された期間に対応する期間の音声データのエラー耐性のレベルを、１フレームに対する前記検出された画像に応じた領域の占有率に基づいて決定することを特徴とする請求項６に記載の情報処理方法。
【請求項１０】
前記符号化ステップにおいて、前記音声データをＦＥＣ符号化するための冗長度を決定することによりエラー耐性のレベルを決定することを特徴とする請求項６に記載の情報処理方法。
【請求項１１】
画像データ及び前記画像データに対応する音声データを入力する入力手順と、
前記入力手順において入力された画像データから所定の条件に合致する画像を検出する検出手順と、
前記検出手順において前記所定の条件に合致する画像が検出された期間に対応する期間の音声データのエラー耐性のレベルを、予め設定された面積の画面に対する前記検出された画像に応じた領域の占有率に基づいて決定して、前記決定したエラー耐性のレベルで前記所定の条件に合致する画像が検出された期間に対応する期間の前記音声データの符号化処理を行う符号化手順とをコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
前記検出手順において、前記所定の条件に合致する画像として人物の顔又は身体を検出することを特徴とする請求項１１に記載のプログラム。
【請求項１３】
前記検出手順において、前記所定の条件に合致する画像として、人物の顔の構成要素である目、鼻及び口のうち、少なくとも１つを検出することを特徴とする請求項１１に記載のプログラム。
【請求項１４】
前記画像データはフレームを含み、
前記符号化手順において、前記検出手順において前記所定の条件に合致する画像が検出された期間に対応する期間の音声データのエラー耐性のレベルを、１フレームに対する前記検出された画像に応じた領域の占有率に基づいて決定することを特徴とする請求項１１に記載のプログラム。
【請求項１５】
前記符号化手順において、前記音声データをＦＥＣ符号化するための冗長度を決定することによりエラー耐性のレベルを決定することを特徴とする請求項１１に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置、情報処理方法、及びプログラムに関し、特に、ＦＥＣ符号化処理を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、カメラ等によって撮影された画像データや、マイクロフォンから入力された音声データを他の装置に送信する際には、パケット単位に分割されてデータが送信される。ところが、ネットワークの環境によっては、送信したパケットにエラーが発生したり、パケットロスが発生したりすることがある。そこで、画像データや音声データに対して、ＦＥＣ（Forward Error Correction）符号化処理を行うことにより、エラーパケットやロストしたパケットを修復できるようにすることが一般的に行われている。
【０００３】
ところが、ＦＥＣ符号化処理を行うと、パケットの量が増大することになり、ネットワークの負荷が大きくなる。したがって、ＦＥＣ符号化の冗長度を最小限にして、特に必要とされる情報に対してエラー耐性を向上させることが望ましい。
【０００４】
最近では、画像、音声、ベクトル等のデータ毎に優先度又は重要度が付与されており、この優先度又は重要度に応じてＦＥＣの冗長度のエラー耐性が設定される。さらに、ネットワークのエラー率等により、ＦＥＣの冗長度を上下させ、パケットにおけるオーバーヘッドとエラー耐性とのバランスを取るという方法が用いられている。
【０００５】
ＦＥＣ符号化を行う技術としては、例えば、特許文献１に記載の技術では、エラーの発生が予想されるプロトコル層の最大パケットサイズにより伝送可能なデータ長でデータを分割し、分割された単位でＦＥＣ符号化処理を行っている。これにより、エラー耐性の向上とＦＥＣ符号化処理の効率化とを図っている。
【０００６】
また、特許文献２に記載のエンコード方法は、ストリームを任意の基準で重要領域と非重要領域とに分割し、重要領域に指定されたデータのみにＦＥＣ符号化処理を行う。そして、送信に際しては、重要領域及び非重要領域のデータを組み合わせて送信することにより、低遅延と低オーバーヘッドとを両立している。
【０００７】
さらに、特許文献３に記載のデータ送信方法は、まず、入力パケット、再送パケット、及びＦＥＣパケットの優先度を判定する。そして、前記３種類のパケットが送信される場合、追加送信される再送又はＦＥＣ又はその両方のパケットのサイズに相当する低優先度パケットを間引くことにより、送信レートの変動を抑制している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−２８９４３１号公報
【特許文献２】特開２０００−１３４６１９号公報
【特許文献３】特開２０００−２２８６７６号公報
【非特許文献】
【０００９】
【非特許文献１】御手洗祐輔, 森克彦, 真継優和, "選択的モジュール起動を用いたConvolutionalNeuralNetworksによる変動にロバストな 顔検出システム", FIT （情報科学技術フォーラム）, Ll-013, 2003
【発明の概要】
【発明が解決しようとする課題】
【００１０】
音声データの場合、効果音や音楽が流れているシーンで音飛び（途切れ）が発生してもその音楽の内容の意味が不明となることは少ない。ところが、会話や言葉を発しているシーンで音飛びが発生すると、その部分の内容が判らなくなることが多く、それ以降のシーンとの繋がりが分かりにくくなるなど弊害が多い。
【００１１】
前記特許文献１〜３に記載の方法は、画像データや音声データ等のデータの種類毎にエラー耐性を設定したり変更したりするものであり、音声データのみから会話シーンや言葉を発しているシーンを検出するのは非常に困難である。その結果、会話を含むような重要なシーンで音声データのエラー耐性を向上できないという問題があった。
【００１２】
本発明は前述の問題点に鑑み、音声データをパケット送信する際に、画像上の重要期間に該当する音声データのエラー耐性を向上させることを目的としている。
【課題を解決するための手段】
【００１３】
本発明の情報処理装置は、画像データ及び前記画像データに対応する音声データを入力する入力手段と、前記入力手段によって入力された画像データから所定の条件に合致する画像を検出する検出手段と、前記検出手段により前記所定の条件に合致する画像が検出された期間に対応する期間の音声データのエラー耐性のレベルを、予め設定された面積の画面に対する前記検出された画像に応じた領域の占有率に基づいて決定して、前記決定したエラー耐性のレベルで前記所定の条件に合致する画像が検出された期間に対応する期間の音声データの符号化処理を行う符号化手段とを有することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、例えば、会話シーンのような重要なシーンにおける音声データのエラー耐性を向上させることができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施形態における送受信システムの構成例を示す図である。
【図２】人物が含まれている画像の一例を示す図である。
【図３】人物が含まれていない画像の一例を示す図である。
【図４】第２のＦＥＣ符号化器の動作の概要の一例を示す図である。
【図５】ネットワークカメラの内部構成例を示すブロック図である。
【図６】画像検出器による顔の存在を判定する処理手順の一例を示すフローチャートである。
【図７】第２のＦＥＣ符号化器の動作の概要の一例を示す図である。
【図８】動体検出結果に応じたＦＥＣ符号化の処理手順の一例を示すフローチャートである。
【図９】第２のＦＥＣ符号化器の動作の概要の一例を示す図である。
【図１０】ネットワークカメラの内部構成例を示すブロック図である。
【発明を実施するための形態】
【００１６】
（第１の実施形態）
以下、本発明の第１の実施形態について、図１〜８を参照しながら説明する。図１は、本実施形態における送受信システムの構成例を示す図である。
図１において、本実施形態の送受信システムは、ネットワークカメラ１０１、サーバーＰＣ１０２、及びストレージ装置１０３を備えている。さらに、ディスプレイ１０４、ＡＶアンプ１０５、セットトップボックス（以下、ＳＴＢ）１０６、及びスピーカー１０７を備えており、ネットワーク１０８によって接続されている。なお、ネットワークカメラ１０１は、マイクロフォン１０９を備えている。
【００１７】
図５は、本実施形態におけるネットワークカメラ１０１の内部構成例を示すブロック図である。
図５において、ネットワークカメラ１０１は、カメラ部５１０及び信号処理部５１１を備えている。カメラ部５１０はさらに、動画像カメラ５０１、第１のＡ／Ｄ変換器５０２、第２のＡ／Ｄ変換器５０７、及びマイクロフォン５０６を備えている。また、信号処理部５１１はさらに、画像圧縮符号化器５０３、第１のＦＥＣ（Forward Error Correction）符号化器５０４、画像検出器５０５、音声圧縮符号化器５０８、及び第２のＦＥＣ符号化器５０９を備えている。
【００１８】
ネットワークカメラ１０１で撮影された画像データは、ネットワークカメラ１０１内部に実装された第１のＡ／Ｄ変換器５０２にてアナログ画像データからディジタル画像データに変換される。そして、画像圧縮符号化器５０３にて圧縮符号化処理が行われる。その後、サーバーＰＣ１０２を経由して、ストレージ装置１０３に蓄積されると同時に、圧縮されたディジタル画像データに対して任意に設定された冗長度にてＦＥＣ符号化処理が行われる。さらに、サーバーＰＣ１０２において任意のフォーマットでパケット化された後、ネットワーク１０８を介して、受信側のＳＴＢ１０６へパケットが送信される。
【００１９】
マイクロフォン１０９で集音された音声データも画像データと同様に、ネットワークカメラ１０１内部に実装された第２のＡ／Ｄ変換器５０７にてアナログ音声データからディジタル音声データに変換される。そして、音声圧縮符号化器５０８にて圧縮符号化処理が行われる。その後、サーバーＰＣ１０２を経由して、ストレージ装置１０３に蓄積されると同時に、圧縮されたディジタル音声データに対して任意に設定された冗長度にてＦＥＣ符号化処理が行われる。さらに、サーバーＰＣ１０２において任意のフォーマットでパケット化された後、ネットワーク１０８を介して、受信側のＳＴＢ１０６へパケットが送信される。
【００２０】
なお、本実施形態においては、ネットワークカメラ１０１において、ディジタル画像データ及びディジタル音声データに対してそれぞれ圧縮符号化処理及びＦＥＣ符号化処理を行っている。一方、まず、ネットワークカメラ１０１で撮影及び集音されたアナログ画像データ及びアナログ音声データをネットワークカメラ１０１においてＡ／Ｄ変換する。その後、サーバーＰＣ１０２へディジタル画像データ及びディジタル音声データを入力し、サーバーＰＣ１０２にインストールされた任意の符号化プログラムにより、それぞれの信号に対して圧縮符号化処理及びＦＥＣ符号化処理を行うように構成してもよい。また、符号化処理のみならず、信号処理部５１１の機能を、サーバーＰＣ１０２上にインストールした任意のハードウェア又は任意のプログラムにて実現してもよい。
【００２１】
次に、ネットワークカメラ１０１における詳細な処理について説明する。
入力手段として機能する動画像カメラ５０１で撮影された画像データは、第１のＡ／Ｄ変換器５０２にてアナログ画像データからディジタル画像データに変換される。そして、変換されたディジタル画像データは、画像圧縮符号化器５０３と画像検出器５０５とへ入力される。
【００２２】
画像圧縮符号化器５０３へ入力されたディジタル画像データは、任意の圧縮フォーマットに従って圧縮符号化処理された後、第１のＦＥＣ符号化器５０４へ入力される。第１のＦＥＣ符号化器５０４では、符号化された画像データに対して、予め設定された冗長度に従ってＦＥＣ符号化処理が行われ、サーバーＰＣ１０２に出力される。
【００２３】
一方、画像検出器５０５では、入力されたディジタル画像データの各フレームに対して、画像における任意に設定された特徴と合致する領域の有無が探索される。例えば、画像に人物が存在する場合には、会話や言葉が音声データとして含まれる可能性が高い。そこで、本実施形態では、顔が存在することは人物が存在するという仮定に基づいて、前述した特徴を顔に設定した場合について説明する。
【００２４】
任意のフレームが画像検出器５０５に入力されると、Flagが「０」に初期化される。次に、フレーム全体について顔の輪郭、眉＋目、鼻、口の順で探索が行われ、例えば、図２に示す画像のように、これらが検出された場合に、フレーム内に顔が存在すると判定し、Flagに「１」が代入される。一方、図３に示す画像のように、フレーム内に顔が存在しないと判定された場合は、Flagに「０」が代入される。そして、Flagの値は、第２のＦＥＣ符号化器５０９へ通知される。
【００２５】
図６は、本実施形態の画像検出器５０５による顔の存在を判定する処理手順の一例を示すフローチャートである。
まず、任意のフレームが入力されることにより処理を開始する。そして、ステップＳ６０１において、Flagを「０」に初期化する。次に、ステップＳ６０２において、フレーム全体において、顔の探索を行い、顔の輪郭を検出したか否かを判定する。この判定の結果、顔の輪郭を検出しなかった場合は、ステップＳ６０６に進む。
【００２６】
一方、ステップＳ６０２の判定の結果、顔の輪郭を検出した場合は、次のステップＳ６０３において、さらに顔の構成要素である眉及び目を検出したか否かを判定する。この判定の結果、眉及び目を検出した場合は、ステップＳ６０７に進む。一方、ステップＳ６０３の判定の結果、眉及び目を検出しなかった場合は、次のステップＳ６０４において、顔の構成要素である鼻を検出したか否かを判定する。この判定の結果、鼻を検出した場合は、ステップＳ６０７に進む。
【００２７】
一方、ステップＳ６０４の判定の結果、鼻を検出しなかった場合は、次のステップＳ６０５において、顔の構成要素である口を検出したか否かを判定する。この判定の結果、口を検出しなかった場合は、ステップＳ６０６において、そのフレームに関してFlagを「０」に設定する。一方、ステップＳ６０５の判定の結果、口を検出した場合は、ステップＳ６０７において、そのフレームに関してFlagを「１」に設定する。
【００２８】
次に、ステップＳ６０８において、全てのフレームの顔検出が終了したか否かを判定する。この判定の結果、顔検出が終了していない場合は、ステップＳ６０２に戻り、次のフレームについて顔検出を行う。一方、ステップＳ６０８の判定の結果、顔検出が終了した場合は、そのまま処理を終了する。
【００２９】
図６のフローチャートに示した例では、顔の輪郭に加えて眉＋目、鼻、及び口の３項目のうち、１つを検出すれば、顔と判定するような判定基準である。なお、図６に示した処理手順以外にも、各項目の検出の順序は任意であり、顔の輪郭の次に検出を行う項目は、鼻又は口が先でもよい。さらに、顔の輪郭、眉＋目、鼻、口それぞれの検出方法については、特に限定はしないが、例えば非特許文献１に記載の技術を用いて行うものとする。また、この顔検出においては、４項目全てを検出しないと顔と判定しないようにしてもよい。
【００３０】
一方、第１のＦＥＣ符号化器５０４へ入力された圧縮符号化処理済みの画像データは、予め設定された冗長度にてＦＥＣ符号化処理がなされ、サーバーＰＣ１０２によりネットワーク１０８上へ送出される。
【００３１】
また、入力手段として機能するマイクロフォン５０６で集音されたアナログ音声データは、第２のＡ／Ｄ変換器５０７にてディジタル音声データに変換される。そして、変換されたディジタル音声データは、音声圧縮符号化器５０８へ入力され、所定のフォーマットに従って、圧縮符号化処理され、第２のＦＥＣ符号化器５０９へ入力される。
【００３２】
第２のＦＥＣ符号化器５０９では、画像検出器５０５から通知されるFlagの値と、ＳＴＢ１０６から通知されるエラー率（エラーレート）、ロストパケット数、パケットロス率などの情報５１２とを入力する。そしてこれらの情報から、現在通信に使用されているネットワーク１０８の状態に適したＦＥＣ冗長度を算出する。そして、算出した冗長度にて、圧縮符号化された音声データに対して、ＦＥＣ符号化処理が行われる。
【００３３】
次に、図４を参照しながら、第２のＦＥＣ符号化器５０９の動作について説明する。図４は、第２のＦＥＣ符号化器５０９の動作の概要の一例を示す図である。
図４において、横軸は時間を表し、左から右へ経過していくものとする。また、本実施形態では、デフォルトのＦＥＣの冗長度を１／２（データパケットが２に対して、ＦＥＣパケットが１の割合）とする。
【００３４】
例えば、図４に示す区間（１）では、Flagが「０」であり、フレーム内に顔が検出されていない状態であるため、ＦＥＣの冗長度はデフォルト値である１／２に設定され、オーディオパケットが２に対して、ＦＥＣパケットが１となる。そして、図４に示す区間（２）では、画像フレーム内に顔が検出され、Flagの値が「０」から「１」に変化したため、エラー耐性のレベルを変更するために、ＦＥＣの冗長度を増大させる。
【００３５】
なお、区間（２）のＦＥＣの冗長度は、以下のようにして決定される。まず、第２のＦＥＣ符号化器５０９は、ＳＴＢ１０６から通知されるエラー率に対して、音声パケットを完全に修復するために必要かつ十分な冗長度を算出する。本実施形態では、算出するＦＥＣの冗長度は、４／５（音声パケットが５に対して、ＦＥＣパケットが４の割合）に設定されているが、この冗長度の値は任意に設定した値である。
【００３６】
次に、直前の冗長度（図４の区間（１）に対応する冗長度）と前記算出した冗長度とで音声データをＦＥＣ符号化した場合の送信ビットレートを算出し、ネットワーク１０８の有効容量と比較する。なお、ネットワーク１０８の有効容量は、サーバーＰＣ１０２又はネットワーク１０８上の任意のノードから取得できるものとする。
【００３７】
この比較の結果、算出したビットレートがネットワーク１０８の有効容量未満である場合は、算出した冗長度で音声データをＦＥＣ符号化し、サーバーＰＣ１０２へ出力する。一方、算出したビットレートが通信路の有効容量を超過する場合は、ビットレートがネットワーク１０８の有効容量未満となるようＦＥＣの冗長度を再度算出する。そして、再算出されたＦＥＣの冗長度にて、音声データのＦＥＣ符号化処理を行い、サーバーＰＣ１０２へ出力する。
【００３８】
また、図４に示す区間（３）では、区間（２）に引き続きFlagの値が「１」であり、画像フレーム内に顔が検出されていることを示している。したがって、同様に、ＳＴＢ１０６から通知されたエラー率に対して、音声パケットを完全に修復することが可能なＦＥＣの冗長度を算出する。なお、図４に示す区間（３）では、区間（２）に対して、ＳＴＢ１０６から通知されたエラー率が上昇しているため、算出されるＦＥＣの冗長度も増大する。
【００３９】
本実施形態では、区間（３）において算出する冗長度は、１（音声パケットが１に対して、ＦＥＣパケットが１の割合）に設定されているが、前述と同様、任意に設定した値である。
【００４０】
ネットワークカメラ１０１から出力された画像データ及び音声データは、ＦＥＣが付加されてサーバーＰＣ１０２へ入力される。そして、サーバーＰＣ１０２へ入力された画像データ及び音声データは、それぞれ独立に任意のフォーマットでパケット化され、ネットワーク１０８を経由してＳＴＢ１０６へ送信される。
【００４１】
ＳＴＢ１０６は、サーバーＰＣ１０２から送信された画像パケット及び音声パケットを受信する。そして、受信したパケットから画像データ及び音声データを取り出すとともに、エラー及びロストしたパケットの検出を行う。エラー及びロストしたパケットを検出する際には、一定期間毎にエラー率及びロストしたパケットの総数を算出して、その結果を送信側であるサーバーＰＣ１０２へ送信する。
【００４２】
各パケットから取り出された画像データ及び音声データは、それぞれ所定のＦＥＣデコーダに入力され、ＦＥＣデコード処理がなされる。なお、ＳＴＢ１０６に受信された時点で、エラーパケットやパケットロスが発生していない場合は、ＦＥＣパケット（冗長データ）は機能しないものである。ところが、パケットにエラー又はパケットロスが発生している場合は、ＦＥＣデコード処理により、ＦＥＣパケットを用いてエラーパケット及びロストしたパケットが修復される。ただし、エラーパケット及びロストしたパケットの数がＦＥＣの冗長度で修復可能な範囲を超えている場合はエラーパケットが残存することになる。
【００４３】
エラーを含むパケットは、デコーダ（復号化器）へ入力される前に廃棄され、正常に受信されたパケットだけがデコーダへ入力され、ディジタル画像データおよびディジタル音声データとして出力される。そして、デコード処理されたディジタル画像データはディスプレイ１０４へ画像として出力され、ディジタル音声データはＡＶアンプ１０５を経由してスピーカー１０７から音声として出力される。
【００４４】
以上のように本実施形態によれば、人物の顔のような特徴的な領域が検出されている期間を、高いエラー耐性を必要とする音声データの重要期間とし、その期間の音声データに対するエラー耐性を変更するようにした。これにより、例えば、会話シーンのような重要なシーンにおける音声データのエラー耐性を向上させることができる。
【００４５】
（第２の実施形態）
本発明の第２の実施形態について、図７〜図９を参照しながら説明する。なお、本実施形態におけるネットワークカメラの構成については第１の実施形態と同様であるため、説明は省略する。
図７は、本実施形態のネットワークカメラ１０１において撮影した画像の一例を示す図である。
動画像カメラ５０１で撮影された画像データは、第１のＡ／Ｄ変換器５０２にてアナログ画像データからディジタル画像データに変換される。そして、変換されたディジタル画像データが、画像圧縮符号化器５０３と画像検出器５０５とへ入力される。
【００４６】
画像圧縮符号化器５０３へ入力されたディジタル画像データは、任意の圧縮フォーマットにしたがって、圧縮符号化処理され、第１のＦＥＣ符号化器５０４へ入力される。第１のＦＥＣ符号化器５０４では、符号化された画像データに対して、予め設定された冗長度に従ってＦＥＣ符号化処理が行われ、サーバーＰＣ１０２に出力される。
【００４７】
一方、画像検出器５０５では、入力されたディジタル画像データの各フレームに対して、画像における任意に設定された特徴と合致する領域の有無が探索される。本実施形態では、図７に示すように、画像における任意に設定された特徴を人物として説明するが、例えば、特徴を、動物、自転車、自動車など、目的に応じて任意に設定できるものとする。
【００４８】
図８は、本実施形態において、動体検出結果に応じたＦＥＣ符号化の処理手順の一例を示すフローチャートである。
まず、ステップＳ８０１において、画像検出器５０５は、過去のフレームに対して、ある一定量以上の変化が発生したか否かを判定する。この判定の結果、例えば図７（ａ）に示すように、変化が発生していない場合は、ステップＳ８０３に進み、第２のＦＥＣ符号化器５０９は、デフォルトのＦＥＣの冗長度で音声データをＦＥＣ符号化する。
【００４９】
一方、ステップＳ８０１の判定の結果、例えば図７（ｂ）〜図７（ｅ）に示すようにある一定量以上の変化が発生した場合は、ステップＳ８０２に進み、画像検出器５０５は、画像フレーム内に監視対象が存在するか否かを判定する。ここで、監視対象については、前述したように人物、動物、移動物体等が一般的であり、検出条件、検出方法は何でもよい。
【００５０】
なお、例えば、図７に示すように定点カメラが左から右へ移動する人物の身体全体を捕らえた場合、条件設定で人物であるか否かを判定する場合と、移動物体であるか否かを判定する場合とが考えられる。本実施形態においては、図７に示した例の場合は、監視対象を検出する条件の一例として、監視対象の輪郭を検出して、形状が任意の条件に合致するか否かにより人物であるか否かを判定する。また、それ以外にも監視対象の輪郭を検出し、さらにその輪郭の変化（形状変化）又は輪郭の移動量を検出して移動物体であるか否かを判定する方法などがある。
【００５１】
この判定の結果、監視対象が存在する場合は、ステップＳ８０４に進む。そして、ステップＳ８０４において、第２のＦＥＣ符号化器５０９は、判定が有効である期間（監視対象が存在する期間）に対応する音声データのＦＥＣの冗長度を増大して音声データをＦＥＣ符号化する。そして、次のステップＳ８０５に進む。一方、ステップＳ８０２の判定の結果、監視対象が存在しない場合は、ステップＳ８０３に進み、デフォルトの冗長度で音声データをＦＥＣ符号化する。
【００５２】
次に、ステップＳ８０５において、画像検出器５０５は、監視対象が継続して存在するか否かを判定する。この判定の結果、監視対象が継続して存在する場合は、ステップＳ８０４に戻り、増大したＦＥＣの冗長度によるＦＥＣ符号化を継続する。
【００５３】
一方、ステップＳ８０５の判定の結果、監視対象が検出されなくなった場合は、ステップＳ８０６に進み、画像検出器５０５は、検出処理を終了するか否かを判定する。この判定の結果、検出処理を終了しない場合は、ステップＳ８０１に戻り、音声データに対するＦＥＣの冗長度をデフォルトに戻し、処理を繰り返す。一方、ステップＳ８０６の判定の結果、検出処理を終了する場合は、そのまま処理を終了する。
【００５４】
図７に示す例では、人物の検出の有無と、受信側であるＳＴＢ１０６からフィードバックされるエラー率との両方から、冗長度を算出する例を示している。図７（ａ）では、人物が検出されていないため、対応する音声データに対するＦＥＣの冗長度は、デフォルトの冗長度が維持される。
【００５５】
ところが、図７（ｂ）では、人物が検出されたため、その時点でＳＴＢ１０６からフィードバックされたエラー率に対して、全エラーを復元可能なＦＥＣの冗長度を算出する。なお、図７（ｂ）に示す例では、デフォルトに対して冗長度を３ステップ増大させている。そして、図７（ｂ）に示す画像に対応する音声データをＦＥＣ符号化する。
【００５６】
図７（ｃ）に示す次のフレームでも、図７（ｂ）に示す前フレームと同様に、ＳＴＢ１０６からフィードバックされたエラー率に対して、全エラーを復元可能な冗長度を算出して、対応する音声データをＦＥＣ符号化している。なお、図７（ｄ）及び図７（ｅ）に示すフレームでも同様であるが、ＳＴＢ１０６からフィードバックされたエラー率が変化していないので、算出されたＦＥＣの冗長度も変化してしない。そして、図７（ｆ）に示すフレームでは、人物が検出されていないため、対応する音声データに対するＦＥＣの冗長度をデフォルト値に設定している。
【００５７】
また、以後のロストパケット数がゼロならば、図７に示すように音声データに対するＦＥＣ冗長度を図７（ｄ）で設定した値に維持するか、１ステップずつ下げて、ロストパケットが発生しない下限値にＦＥＣ冗長度を設定するように構成してもよい。
【００５８】
また、図７（ｂ）〜図７（ｅ）に示すように監視対象が検出されたフレームに対応する音声データのＦＥＣの冗長度は、例えばネットワーク１０８のエラー率、有効通信路容量などのパラメータから算出するが、設定方法、算出方法は何でもよい。また、ＦＥＣの冗長度のステップ数及び１ステップの幅も何でもよい。以上のような処理を撮影終了まで繰り返す。
【００５９】
以上のように本実施形態によれば、一定の動きがある人物や物体が検出されている期間を、高いエラー耐性を必要とする音声データの重要期間とし、その期間の音声データに対するエラー耐性を変更するようにした。これにより、例えば、会話シーンのような重要なシーンにおける音声データのエラー耐性を向上させることができる。
【００６０】
（第３の実施形態）
本発明の第３の実施形態について、図９及び図１０を参照しながら説明する。
図１０は、本実施形態におけるネットワークカメラ１０００の内部構成例を示すブロック図である。なお、図１０において、１００１〜１０１２はそれぞれ、第１の実施形態で説明した図５の５０１〜５１２と同一の構成である。
【００６１】
占有率算出部１０１３は、画像検出器１００５にて、例えば人物の顔など任意に設定された検出対象画像が検出された場合に、各フレームにおいて、検出された検出対象画像、又は検出対象画像を囲む検出枠の面積の１画面に対する占有率を算出する。
【００６２】
動画像カメラ１００１で撮影された画像は、第１のＡ／Ｄ変換器１００２でディジタル画像データに変換される。そして、変換されたディジタル画像データが画像圧縮符号化器１００３と画像検出器１００５と占有率算出部１０１３とへ入力される。なお、画像圧縮符号化器１００３において行う処理は、第１の実施形態で説明した図５の画像圧縮符号化器５０３と同じである。
【００６３】
画像検出器１００５では、入力されたディジタル画像データのフレーム毎に設定された検出対象画像の検出を行い、検出対象画像が検出された場合は、占有率算出部１０１３へ通知する。さらに、検出された検出対象画像の輪郭に囲まれた面積、又は、図１０に示すような顔を囲む四角形の検出枠の面積を算出して、占有率算出部１０１３へ通知する。
【００６４】
占有率算出部１０１３では、入力されたディジタル画像データの１フレーム分の面積は、占有率算出部１０１３において予め算出しておくか、又は１画面の面積が予め設定されている。そこで、占有率算出部１０１３は、１フレーム分の面積に対する画像検出器１００５から通知された検出対象画像の面積の占有率を演算し、第２のＦＥＣ符号化器１００９へ通知する。
【００６５】
占有率算出部１０１３から検出対象画像の１フレームに対する占有率を通知された第２のＦＥＣ符号化器１００９は、通知された占有率からＦＥＣの冗長度を決定する。そして、決定したＦＥＣの冗長度にて、音声圧縮符号化器１００８から出力される音声データに対してＦＥＣ符号化処理を行う。
【００６６】
通知された占有率から音声データに対するＦＥＣ冗長度を決定する際は、図９に示すように、検出対象画像の占有率に対して、例えば、以下のように設定する。
占有率＜１０％→ＦＥＣ冗長度＝２５％、
占有率＜２０％→ＦＥＣ冗長度＝５０％、
占有率＜３０％→ＦＥＣ冗長度＝７５％、
占有率＜４０％→ＦＥＣ冗長度＝１００％
【００６７】
このように一意的に冗長度を定めると、処理負荷が小さくて済むが、占有率に対するＦＥＣ冗長度の設定方法については何でもよい。したがって、任意のプログラムをＣＰＵ上で動作させて算出したり、ＤＳＰに実装して算出したり、又は任意の計算式をハードウェアロジックとして実装して算出したりするように構成してもよい。
【００６８】
以上のように本実施形態によれば、人物の顔のような特徴的な領域が検出されている期間を、高いエラー耐性を必要とする音声データの重要期間とし、その期間の音声データに対するエラー耐性を検出した領域の占有率に応じて変更するようにした。これにより、例えば、会話シーンのような重要なシーンにおける音声データのエラー耐性を向上させることができる。
【００６９】
（その他の実施形態）
前述した本発明の実施形態における情報処理装置を構成する各手段、並びに情報処理方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。
【００７０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００７１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図６及び図８に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００７２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００７３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００７４】
プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００７５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００７６】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバーも、本発明に含まれるものである。
【００７７】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００７８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００７９】
さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【符号の説明】
【００８０】
５０４  第１のＦＥＣ符号化器、５０５  画像検出器、５０９  第２のＦＥＣ符号化器
【図１】
0005538762.tif 000002
【図２】
0005538762.tif 000003
【図３】
0005538762.tif 000004
【図４】
0005538762.tif 000005
【図５】
0005538762.tif 000006
【図６】
0005538762.tif 000007
【図７】
0005538762.tif 000008
【図８】
0005538762.tif 000009
【図９】
0005538762.tif 000010
【図１０】
0005538762.tif 000011