(57)【特許請求の範囲】
【請求項１】
別の端末へ圧縮された画像を伝送する動画伝送端末であって、圧縮前の画像から人の顔を検出する顔検出手段と、前記顔が検出された領域を基準として前記画像のフレームを複数の領域に分割する領域分割手段と、前記領域毎に基準映像符号化方式又は補償映像符号化方式で前記画像を圧縮する圧縮手段と、当該圧縮された画像を伝送する伝送手段と、前記圧縮後のフレームにおける前記顔が検出された領域の画質が許容レベルを下回っているか否かを判定する判定手段と、当該判定手段で前記顔が検出された領域の画質が許容レベルを下回っていると判定されたときに前記圧縮手段に基準映像符号化方式で前記顔が検出された領域を再度圧縮させるとともに当該顔が検出された領域を含むフレームを前記伝送手段に伝送させる制御手段とを備えることを特徴とする動画伝送端末。
【請求項２】
前記判定手段は、前記顔が検出された領域の色情報に基づいて画質が許容レベルを下回っているか否かを判定することを特徴とする請求項１記載の動画伝送端末。
【請求項３】
前記判定手段は、前記顔が検出された領域の輝度情報に基づいて画質が許容レベルを下回っているか否かを判定することを特徴とする請求項１記載の動画伝送端末。
【請求項４】
前記判定手段は、前記圧縮された画像のデータ容量に基づいて画質が許容レベルを下回っているか否かを判定することを特徴とする請求項１記載の動画伝送端末。
【請求項５】
請求項１〜４の何れかの動画伝送端末と、前記動画伝送端末から圧縮された画像が伝送される端末とを備えることを特徴とする動画伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディジタルの動画を伝送する動画伝送端末及び動画伝送システムに関する。
【背景技術】
【０００２】
従来の動画伝送システムとしては、例えば、特許文献１に記載されているようなものがある。特許文献１記載の従来例では、動画を構成する各フレームを複数の領域に分割するとともに個々の領域毎に、単独で伸長可能な基準映像符号化方式並びに基準映像符号からの差分を補償する補償映像符号化方式で圧縮処理を行い、１フレームに含まれる基準映像符号化方式で圧縮された動画データの割合を減らすとともに補償映像符号化方式で圧縮された動画データの割合を増やすことにより、ビットレートの最大値を減少させるようにしている。また、本従来例では、フレーム内で人物が映っている領域を基準映像符号化方式の圧縮画像(Ｉピクチャ)、人物が映っていない領域を補償映像符号化方式の圧縮画像(Ｐピクチャ又はＢピクチャ)とすることで、より重要な人物の顔が識別しやすいようになっている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−５５３５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラ付きインターホンシステムのように動きの少ない被写体(来訪者)が撮像される場合、Ｉピクチャの伝送周期が相対的に長くなっても動画の画質が低下し難いと考えられる。つまり、Ｉピクチャが伝送された後にＰピクチャ(又はＢピクチャ)のみが伝送される期間を長くすることで平均的なビットレートを下げることができる。
【０００５】
しかしながら、Ｐピクチャ(又はＢピクチャ)のみが伝送されている間に被写体が動いた場合、その時点以降に伝送されるＰピクチャ(又はＢピクチャ)から伸長される画像(動画)の画質が大きく低下(劣化)する虞がある。そして、一旦画質が低下してしまうと、次回のＩピクチャが伝送されるまでの間、画質の低下した動画が継続して表示されることになる。
【０００６】
また、人物の顔以外でも特定の撮像領域に着目して監視するような場合、例えば、監視カメラのように撮像範囲が固定されているカメラにおいて、画面の四隅や出入口のドアの鍵孔付近などの特定の撮像領域に着目して監視する場合にも同様の画質低下が生じる。すなわち、上述のような場合に、特定の撮像領域の画質が時間的に変化する外乱光の影響を受けて低下する虞がある。
【０００７】
本発明は、上記課題に鑑みて為されたものであり、平均的なビットレートを下げつつ画質の低下した動画が伝送される期間を短縮することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の動画伝送端末は、別の端末へ圧縮された画像を伝送する動画伝送端末であって、圧縮前の画像から人の顔を検出する顔検出手段と、前記顔が検出された領域を基準として前記画像のフレームを複数の領域に分割する領域分割手段と、前記領域毎に基準映像符号化方式又は補償映像符号化方式で前記画像を圧縮する圧縮手段と、当該圧縮された画像を伝送する伝送手段と、前記圧縮後のフレームにおける前記顔が検出された領域の画質が許容レベルを下回っているか否かを判定する判定手段と、当該判定手段で前記顔が検出された領域の画質が許容レベルを下回っていると判定されたときに前記圧縮手段に基準映像符号化方式で前記顔が検出された領域を再度圧縮させるとともに当該顔が検出された領域を含むフレームを前記伝送手段に伝送させる制御手段とを備えることを特徴とする。
【００１１】
この動画伝送端末において、前記判定手段は、前記顔が検出された領域の色情報に基づいて画質が許容レベルを下回っているか否かを判定することが好ましい。
【００１２】
この動画伝送端末において、前記判定手段は、前記顔が検出された領域の輝度情報に基づいて画質が許容レベルを下回っているか否かを判定することが好ましい。
【００１３】
この動画伝送端末において、前記判定手段は、前記圧縮された画像のデータ容量に基づいて画質が許容レベルを下回っているか否かを判定することが好ましい。
本発明の動画伝送システムは、前記何れかの動画伝送端末と、前記動画伝送端末から圧縮された画像が伝送される端末とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明の動画伝送端末及び動画伝送システムは、平均的なビットレートを下げつつ画質の低下した画像(動画)が伝送される期間を短縮することができるという効果がある。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態を示すブロック図である。
【図２】(ａ)は同上における顔検出処理の説明図、(ｂ)は同上における送信端末の動作説明図である。
【発明を実施するための形態】
【００１６】
以下、図面を参照して本発明の実施形態を詳細に説明する。本実施形態の動画伝送システムは、図１に示すように送信端末１と受信端末２を有し、送信端末１から受信端末２へ伝送路３を介して圧縮された動画(圧縮動画データ)を伝送するものである。つまり、送信端末２が動画伝送端末に相当する。例えば、カメラ付きインターホンシステムにおいては、住戸の外玄関に設置されるカメラ付きドアホン子器や集合住宅の共同玄関に設置されるロビーインターホンが送信端末１に相当し、住戸内に設置される住戸機(インターホン親機)が受信端末２に相当する。
【００１７】
送信端末１は、撮像部10、顔検出部11、領域分割部12、圧縮部13、判定部14、伝送部15、制御部16などを備える。撮像部10は、CCDイメージセンサやCMOSイメージセンサなどの固体撮像素子(図示せず)と、固体撮像素子の受光面に光を集光するレンズなどの光学系と、固体撮像素子から出力される映像信号を信号処理する映像信号処理回路などで構成される。この種の映像信号処理回路は周知であって、例えば、固体撮像素子の１画素に対応するデータが独立したままのRAWフォーマットから、例えば、色空間にYUVを選択したYUVフォーマットに変換する処理などを行う。なお、本実施形態においては、撮像部10で撮像される被写体として主に人物が想定されている。
【００１８】
顔検出部11は、図２(ａ)に示すように撮像部10から出力される１フレームのディジタル・ビデオ信号(画像データ)から人物Ｈの顔Ｆが映っている領域(顔領域)を検出する。顔検出部11が顔領域Riを検出する検出方法は従来周知であって、例えば、人の目、口、鼻などの特徴部分に対するパターンマッチングなどが採用される。
【００１９】
領域分割部12は、顔検出部11で検出された顔領域を基準として、１フレームを複数の領域Ri(i=1,2,…)に分割する。例えば、図２(ａ)に示すようにフレームの中央に顔Ｆが映っているとすれば、顔Ｆが映っている中央の領域(顔検出領域)R3の周辺が複数(図示例では４つ)の領域R1，R2，R4，R5に分割される。ここで、領域分割部12では、１フレームの画像から顔検出領域R3を除いた残りをほぼ均等に複数(図示例では４つ)の領域R1，R2，R4，R5に分割しており、顔検出領域R3を大きくするに従って、他の領域R1，R2，R4，R5を小さくしている。このように他の領域R1，R2，R4，R5がほぼ均等に分割されることにより、以下のような利点がある。例えば、壁面のように画像データの変化が乏しく且つ高周波成分が余り含まれていないものが人物の背景にある場合、後述するように補償映像符号化方式では圧縮画像が差分情報のみで構成されるため、分割領域R1，R2，R4，R5のデータ容量が均一になる。その結果、他の分割領域R1，R2，R4，R5が伝送される際の占有帯域の変動が抑制されるため、伝送におけるトラフィック量の制御が容易になるものである。
【００２０】
圧縮部13は、領域分割部12で分割された領域Ri(i=1,2,…,5)毎に、MPEG規格(例えば、MPEG-4)に準拠した圧縮方式(基準映像符号化方式及び補償映像符号化方式)で動画データを圧縮する。基準映像符号化方式はフレーム内予測符号化方式とも呼ばれ、同一フレーム内の周辺画素のみを用いて対象画素を予測する符号化方式である。また、補償映像符号化方式はフレーム間予測符号化方式とも呼ばれ、時間的に隣接するフレームの画素を用いて対象画素の差分を予測する符号化方式である。ここで、基準映像符号化方式で圧縮された圧縮動画データは単独で伸長可能であって通常Ｉ(Intra coded)ピクチャと呼ばれ、補償映像符号化方式で圧縮された圧縮動画データはＩピクチャとペアでのみ伸長可能なデータであって通常Ｐ(Predictive coded)ピクチャ又はＢ(Bi-directional predictive coded)ピクチャと呼ばれる。なお、Ｐピクチャは片方向フレーム間予測符号化方式で圧縮された圧縮動画データを指し、Ｂピクチャは双方向フレーム間予測符号化方式で圧縮された圧縮動画データを指している。さらに圧縮部13は、図２(ｂ)に示すように最初(１枚目)のフレームについては全ての領域RiをＩピクチャに圧縮し、次(２枚目)のフレームからは全ての領域RiをＰピクチャに圧縮する。これにより、伝送路３を介して伝送されるデータ容量を減らし、平均的なビットレートを下げることができる。
【００２１】
判定部14は、圧縮後のフレームにおける顔検出領域R3の画質が許容レベルを下回っているか否かを判定し、その判定結果を制御部16に通知する。ここで、画質の判定には圧縮動画データの色情報、輝度情報、データ容量の何れかが用いられる。すなわち、判定部14は、連続する複数フレームについて顔検出領域R3の圧縮動画データにおける色情報や輝度情報の変化量を所定のしきい値(判定レベル)と比較する。そして、しきい値を超えるような色又は輝度の変化があれば、判定部14は顔検出領域R3の画質が許容レベルを下回っていると判定する。あるいは、連続する複数フレームについて顔検出領域R3の圧縮動画データのデータ容量の変化量が所定のしきい値(判定レベル)を超えたときに、判定部14が顔検出領域R3の画質が許容レベルを下回っていると判定してもよい。なお、判定部14における判定レベルは、例えば、多数の被験者による官能試験の結果から設定されることが望ましい。
【００２２】
伝送部15は、圧縮部13で圧縮された圧縮動画データを伝送路３を介して伝送(例えば、パケット伝送)する。制御部16は各部10〜15の動作を制御するものであって、顔検出部11の検出結果を領域分割部12に通知したり、判定部14の判定結果に応じて圧縮部13に圧縮処理を行わせるといった処理を実行する。
【００２３】
一方、受信端末２は、伝送部20、伸長部21、合成部22、表示部23、制御部24などを備える。伝送部15は、送信端末１から送信される圧縮動画データを受信して伸長部21に渡す。伸長部21は、伝送部15から受け取った圧縮動画データを伸長し、伸長後の動画データを合成部22に出力する。合成部22は伸長部21で順次伸長される動画データを合成して１つのフレームを作成し、当該フレームを表示部23に出力する。表示部23は液晶ディスプレイなどの表示デバイスや当該表示デバイスを駆動する駆動回路、合成部22から受け取るフレームを記憶するフレームメモリなどを具備する。そして、合成部22で合成されてフレームメモリに順次記憶されるフレームを、駆動回路が所定のフレーム周期で表示デバイスに表示させることにより、送信端末１で撮像された動画が受信端末２の表示デバイスに表示される。制御部24は各部20〜23の動作を制御するものであって、例えば、伝送遅延などの影響で合成部22からフレームメモリに書き込まれるタイミングが送れた場合、既にフレームメモリに書き込まれているフレームを継続して表示部23に表示させるといった処理を実行する。
【００２４】
而して、判定部14により顔検出領域R3の画質が許容レベルを下回っていると判定されると、制御部16が圧縮部13に指示して顔検出領域R3を基準映像符号化方式で再度圧縮させる(図２(ｂ)の４フレーム目参照)。そして、圧縮部13で圧縮された顔検出領域R3の圧縮動画データ(Ｉピクチャ)が、その他の領域R1，R2，R4，R5の圧縮動画データ(Ｐピクチャ)とともに伝送部15から伝送路３を介して伝送される。故に、画質の低下した動画が送信端末１から受信端末２へ伝送される期間を短縮することができる。しかも、フレーム全体の画質を判定して再圧縮するのではなく、画質への影響が最も大きい領域(顔検出領域R3)のみの画質を判定し且つ再圧縮しているので、フレーム全体を再圧縮する場合と比較して再圧縮に要する時間が短縮できる。ただし、顔検出領域R3を再圧縮して伝送する際、他の領域R1，R2，R4，R5を顔検出領域R3よりも高い圧縮率の基準映像符号化方式で再圧縮して伝送しても構わない。なお、本実施形態では送信端末１が撮像部10を備えているが、別体の撮像装置(カメラ)から動画を受け取るようにしても構わない。同様に受信端末２が表示部23を備える代わりに、別体の表示装置(液晶ディスプレイ装置など)に動画を表示させるようにしても構わない。
【００２５】
上述のように人物の顔Ｆが映っている領域の画質を判定することは、インターホンシステムのように人物(来訪者)の特定に重点が置かれる動画伝送システムにとって、特に有効である。ただし、本発明に係る動画伝送システムはインターホンシステムに限定されるものではなく、例えば、監視カメラで撮像される画像(動画)を表示・記録する監視カメラシステムなど、動画データをリアルタイムで伝送するシステム全般に適用できる。
【００２６】
例えば、図２(ａ)に示した分割領域Riのうちで監視対象(隣家の玄関ドアの鍵孔など)が映っている領域の画質を判定し、当該領域の画質が許容レベルを下回らないようにすることに防犯上の意義がある。あるいは、火災に伴う煙によって上部の領域(R1やR2)の画質が低下する虞があるので、当該領域の画質低下を判定することで火災発生の感知に貢献することもでき、防災上の意義もある。何れの場合においても、周囲の外乱光(例えば、太陽光)が画質を低下させている虞もあり、画質低下を判定して、Ｐピクチャの代わりにＩピクチャを伝送すこることにより、受信端末２側で防犯・防災上の異常を知る助けとなる。
【符号の説明】
【００２７】
１  送信端末
２  受信端末
３  伝送路
11  顔検出部(顔検出手段)
12  領域分割部(領域分割手段)
13  圧縮部(圧縮手段)
14  判定部(判定手段)
15  伝送部(伝送手段)
16  制御部(制御手段)
【図１】
0005906430.tif 000002
【図２】
0005906430.tif 000003