(57)【要約】【課題】オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能な映像送信装置を提供する。【解決手段】映像送信装置は、映像データを取得する取得部と、映像受信装置から、映像データの画面内の着目領域を指定するための情報を受信する受信部と、受信部が受信した情報に基づいて、着目領域内の単位画素ブロック当たりの伝送レートが着目領域外の単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得部が取得した映像データに対して行う圧縮部と、圧縮部による圧縮処理済みの映像データを、映像受信装置に送信する送信部とを備える。【選択図】図２
2019029746.tif 000002
【特許請求の範囲】
【請求項１】
映像データを取得し、取得した前記映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、
前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、
前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、
前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う
映像伝送システム。
【請求項２】
前記映像送信装置は、前記着目領域内の圧縮率が前記着目領域外の圧縮率よりも低い前記圧縮処理を、取得した前記映像データに対して行う
請求項１に記載の映像伝送システム。
【請求項３】
前記映像送信装置は、前記映像データの画面を分割した複数のブロックのうち前記着目領域内のブロックに対するブロックごとの圧縮処理、前記着目領域内の映像データに対する可逆圧縮処理、前記着目領域内の映像データに対する非圧縮処理の少なくとも１つの処理を含む前記圧縮処理を、取得した前記映像データに対して行う
請求項２に記載の映像伝送システム。
【請求項４】
前記映像送信装置は、前記着目領域内のフレームレートが前記着目領域外のフレームレートよりも高い前記圧縮処理を、取得した前記映像データに対して行う
請求項１〜請求項３のいずれか１項に記載の映像伝送システム。
【請求項５】
前記映像受信装置は、ユーザ操作による前記着目領域を指定するための情報を、前記映像送信装置に送信する
請求項１〜請求項４のいずれか１項に記載の映像伝送システム。
【請求項６】
前記映像受信装置は、前記伸長処理済みの前記映像データから所定の対象を認識する画像認識処理を行い、認識された前記所定の対象を含む領域を前記着目領域として、当該着目領域を指定するための情報を、前記映像送信装置に送信する
請求項１〜請求項４のいずれか１項に記載の映像伝送システム。
【請求項７】
前記映像受信装置は、前記伸長処理済みの前記映像データから、前記着目領域の映像データを切り出す
請求項１〜請求項６のいずれか１項に記載の映像伝送システム。
【請求項８】
前記映像受信装置は、前記圧縮処理済みの前記映像データから、前記着目領域の映像データを切り出し、切り出した前記映像データに対して前記伸長処理を行う
請求項１〜請求項６のいずれか１項に記載の映像伝送システム。
【請求項９】
映像データを取得する取得部と、
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、
前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、
前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部と
を備える映像送信装置。
【請求項１０】
映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、
前記受信部が受信した前記映像データを伸長する伸長部と、
前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部と
を備える映像受信装置。
【請求項１１】
コンピュータを、映像送信装置として機能させるためのコンピュータプログラムであって、
前記コンピュータを、
映像データを取得する取得部と、
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、
前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、
前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部と
して機能させるコンピュータプログラム。
【請求項１２】
コンピュータを、映像受信装置として機能させるためのコンピュータプログラムであって、
前記コンピュータを、
映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、
前記受信部が受信した前記映像データを伸長する伸長部と、
前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部と
して機能させるコンピュータプログラム。
【請求項１３】
映像受信装置が、画面内の着目領域を指定するための情報を、映像送信装置に送信し、
前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、
前記映像送信装置が、映像データを取得し、
前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、
前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、
前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、
前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する
映像配信方法。
【請求項１４】
映像データを取得し、
映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、
受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、
前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する
映像送信方法。
【請求項１５】
映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信し、
受信した前記映像データを伸長し、
前記着目領域を指定するための情報を、前記映像送信装置に送信する
映像受信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法に関し、特に、映像データを処理する映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法に関する。
【背景技術】
【０００２】
放送等では、８Ｋ  ＵＨＤＴＶ（Ultra High Definition Television）のような超高精細の映像データを伝送するための技術が開発されている。
【０００３】
例えば、非特許文献１には、映像データを圧縮するためのＨ．２６５について記載されている。
【０００４】
Ｈ．２６５（ＩＳＯ／ＩＥＣ  ２３００８−２  ＨＥＶＣ）は、動画圧縮規格の一つであり、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣの後続フォーマットである。Ｈ．２６５では、ブロックサイズの適正化など圧縮効率が優れており、ＭＰＥＧ−２（Ｈ．２６２）比で約４倍、Ｈ．２６４／ＡＶＣとの比較でも約２倍の圧縮性能を有すると言われている。Ｈ．２６５は、スーパーハイビジョン（８Ｋ，４３２０ｐ）等の高解像度な映像だけでなく携帯端末向けの映像配信での利用も想定されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】”ウィキペディア”、［ｏｎｌｉｎｅ］、［平成２９年６月２１日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈ．２６５〉
【発明の概要】
【発明が解決しようとする課題】
【０００６】
例えば、８Ｋ  ＵＨＤＴＶのような超高精細の映像データは、伝送レートが数十Ｇｂｐｓ（gigabits per second）以上に達するため、伝送、蓄積および画像処理を行うためには、高速・大規模論理回路および大容量メモリ等の非常に大きな資源を必要とする。
【０００７】
この問題を解決するため、目的とする処理の前に映像信号を圧縮することが行われる。放送システムにおいて、伝送前に映像を圧縮し、ＴＶ受像機で提示する際に伸長することは、一つの典型的な例となっている。放送で用いられる非特許文献１に記載のＨ．２６５等の圧縮方式では、高い圧縮率を実現するため、空間周波数処理および高度な符号化等の複雑な演算に加えて、フレーム内およびフレーム間の相関を利用しており、圧縮および伸長の際に複数枚の画像の情報を使った一括処理が必要であるため、処理の負荷が非常に重い。その上、遅延時間も通常は３秒を越え、遅延時間が大きくなる事が避けられない。
【０００８】
一方、伝送された映像データは、例えば、不審者、人の流れ、または入場者等を監視する監視用途に用いられる。具体的には、映像データを画像認識処理することにより、不審者等の認識対象が抽出される。しかし、Ｈ．２６５等の圧縮方式では遅延時間が３秒を超える。このため、不審者に対する警報アラームの発報、入場ゲートでの入場者監視、認識対象の追跡処理などのリアルタイム性が要求される処理に、Ｈ．２６５等の圧縮方式で圧縮された映像データを用いることは困難である。つまり、認識処理に用いられる映像データは３秒程度遅延した映像であるため、認識対象の認識時刻と実際の時刻との間に遅延が生じてしまう。なお、本明細書中において、画像認識という用語は、動画（映像）から認識対象を抽出する処理と、静止画（画像）から認識対象を抽出する処理との両方の意味で用いる。
【０００９】
また、Ｈ．２６５等の圧縮方式は非可逆圧縮方式であるため、伸長処理された映像データとオリジナルの映像データとの同一性が保持されない。このため、画像認識された認識対象の細部を、伸長処理された映像データ上で確認するのが困難な場合がある。
【００１０】
本発明は、上記した事情に鑑みてなされたものであり、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能な映像伝送システム、映像送信装置、映像受信装置、コンピュータプログラム、映像配信方法、映像送信方法および映像受信方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明の一実施態様に係る映像伝送システムは、映像データを取得し、取得した前記映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う。
【００１２】
本発明の他の実施態様に係る映像送信装置は、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部とを備える。
【００１３】
本発明の他の実施態様に係る映像受信装置は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部とを備える。
【００１４】
本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、映像送信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部として機能させる。
【００１５】
本発明の他の実施態様に係るコンピュータプログラムは、コンピュータを、映像受信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部として機能させる。
【００１６】
本発明の他の実施態様に係る映像配信方法は、映像受信装置が、画面内の着目領域を指定するための情報を、映像送信装置に送信し、前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、前記映像送信装置が、映像データを取得し、前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する。
【００１７】
本発明の他の実施態様に係る映像送信方法は、映像データを取得し、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する。
【００１８】
本発明の他の実施態様に係る映像受信方法は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信し、受信した前記映像データを伸長し、前記着目領域を指定するための情報を、前記映像送信装置に送信する。
【００１９】
本発明は、映像送信装置または映像受信装置の一部又は全部を実現する半導体集積回路として実現することもできる。
【発明の効果】
【００２０】
本発明によると、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態１に係る映像伝送システムの構成を示す図である。
【図２】本発明の実施の形態１に係る映像送信装置の構成を示すブロック図である。
【図３】本発明の実施の形態１に係る映像受信装置の構成を示すブロック図である。
【図４】映像伝送システムが実行する処理のシーケンスを示す図である。
【図５】圧縮処理前の画像データと着目領域との一例を示す図である。
【図６】伸長処理後の画像データと着目領域との一例を示す図である。
【図７】表示装置に表示される画像データの一例を示す図である。
【図８】圧縮処理（図４のステップＳ３）の詳細を示すフローチャートである。
【図９】伸長処理（図４のステップＳ７）の詳細を示すフローチャートである。
【図１０】本発明の実施の形態２に係る高圧縮部および低圧縮部によるブロックデータの圧縮処理を説明するための図である。
【図１１】本発明の変形例に係る映像受信装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２２】
［本願発明の実施形態の概要］
最初に本発明の実施形態の概要を列記して説明する。
（１）本発明の一実施形態に係る映像伝送システムは、映像データを取得し、取得した前記映像データに対して圧縮処理を行い、前記圧縮処理済みの前記映像データを送信する映像送信装置と、前記映像送信装置から前記圧縮処理済みの前記映像データを受信し、受信した前記映像データの伸長処理を行う映像受信装置とを備え、前記映像受信装置は、前記映像データの画面内の着目領域を指定するための情報を、前記映像送信装置に送信し、前記映像送信装置は、前記映像受信装置から受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい前記圧縮処理を、取得した前記映像データに対して行う。
【００２３】
この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【００２４】
（２）好ましくは、前記映像送信装置は、前記着目領域内の圧縮率が前記着目領域外の圧縮率よりも低い前記圧縮処理を、取得した前記映像データに対して行う。
【００２５】
この構成によると、映像データの着目領域について圧縮率の低い低圧縮処理を施し、着目領域外の領域について圧縮率の高い高圧縮処理を施すことができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【００２６】
（３）さらに好ましくは、前記映像送信装置は、前記映像データの画面を分割した複数のブロックのうち前記着目領域内のブロックに対するブロックごとの圧縮処理、前記着目領域内の映像データに対する可逆圧縮処理、前記着目領域内の映像データに対する非圧縮処理の少なくとも１つの処理を含む前記圧縮処理を、取得した前記映像データに対して行う。
【００２７】
映像データの着目領域に対してブロックごとの圧縮処理を施す場合には、フレーム内およびフレーム間の相関を用いずに圧縮処理を行うことができる。このため、Ｈ．２６５等の圧縮方式と比べて、低圧縮率でオリジナル映像との同一性を保持することができる。また、映像データの着目領域に対して可逆圧縮処理を施す場合には、オリジナル映像との同一性を保持することができる。さらに、映像データの着目領域に対して非圧縮処理を施す、つまり、圧縮処理を行わない場合にも、オリジナル映像との同一性を保持することができる。
【００２８】
（４）また、前記映像送信装置は、前記着目領域内のフレームレートが前記着目領域外のフレームレートよりも高い前記圧縮処理を、取得した前記映像データに対して行ってもよい。
【００２９】
この構成によると、映像データの着目領域外の領域については、フレームレートを低くすることにより、着目領域外の単位画素ブロック当たりの伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【００３０】
（５）また、前記映像受信装置は、ユーザ操作による前記着目領域を指定するための情報を、前記映像送信装置に送信してもよい。
【００３１】
この構成によると、ユーザは、視覚的な同一性を保持したい着目領域を指定することにより、当該着目領域の高精細な映像を見ることができる。つまり、ユーザが、映像受信装置に対して高精細な映像データを見たい着目領域を指定すると、その指定情報が映像受信装置から映像送信装置に対して送信される。映像送信装置は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置に送信することができる。
【００３２】
（６）また、前記映像受信装置は、前記伸長処理済みの前記映像データから所定の対象を認識する画像認識処理を行い、認識された前記所定の対象を含む領域を前記着目領域として、当該着目領域を指定するための情報を、前記映像送信装置に送信してもよい。
【００３３】
この構成によると、画像認識処理により認識された対象を含む領域を着目領域とすることができる。当該着目領域を指定するための情報が映像受信装置から映像送信装置に対して送信される。映像送信装置は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置に送信することができる。このため、ユーザが着目領域に含まれる対象の高精細な映像を見たり、映像受信装置側で高精細な映像データに基づく処理を行うことができる。
【００３４】
（７）また、前記映像受信装置は、前記伸長処理済みの前記映像データから、前記着目領域の映像データを切り出してもよい。
【００３５】
この構成によると、映像受信装置において、着目領域の映像データを切り出して、切り出した映像データを処理することができる。これにより、例えば、着目領域の映像データのみを表示装置に表示させることができる。
【００３６】
（８）また、前記映像受信装置は、前記圧縮処理済みの前記映像データから、前記着目領域の映像データを切り出し、切り出した前記映像データに対して前記伸長処理を行ってもよい。
【００３７】
この構成によると、着目領域の映像データを切り出した後に、切り出した映像データのみについて伸長処理を行うことができる。つまり、切り出されなかった映像データに対しては伸長処理を行う必要がない。このため、映像受信装置に設けられる伸長処理のために必要なメモリの容量を削減することができる。
【００３８】
（９）本発明の他の実施形態に係る映像送信装置は、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部とを備える。
【００３９】
この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【００４０】
（１０）本発明の他の実施形態に係る映像受信装置は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部とを備える。
【００４１】
この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から受信することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【００４２】
（１１）本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、映像送信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像データを取得する取得部と、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信する受信部と、前記受信部が受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、前記取得部が取得した前記映像データに対して行う圧縮部と、前記圧縮部による前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する送信部として機能させる。
【００４３】
この構成によると、コンピュータを、上述した映像送信装置として機能させることができる。このため、上述した映像送信装置と同様の作用および効果を奏することができる。
【００４４】
（１２）本発明の他の実施形態に係るコンピュータプログラムは、コンピュータを、映像受信装置として機能させるためのコンピュータプログラムであって、前記コンピュータを、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信する受信部と、前記受信部が受信した前記映像データを伸長する伸長部と、前記着目領域を指定するための情報を、前記映像送信装置に送信する送信部として機能させる。
【００４５】
この構成によると、コンピュータを、上述した映像受信装置として機能させることができる。このため、上述した映像受信装置と同様の作用および効果を奏することができる。
【００４６】
（１３）本発明の他の実施形態に係る映像配信方法は、映像受信装置が、画面内の着目領域を指定するための情報を、映像送信装置に送信し、前記映像送信装置が、前記映像受信装置から、前記着目領域を指定するための情報を受信し、前記映像送信装置が、映像データを取得し、前記映像送信装置が、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記映像送信装置が、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信し、前記映像受信装置が、前記映像送信装置から、前記圧縮処理済みの前記映像データを受信し、前記映像受信装置が、前記圧縮処理済みの前記映像データを伸長する。
【００４７】
この構成によると、映像受信装置側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置から映像受信装置に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【００４８】
（１４）本発明の他の実施形態に係る映像送信方法は、映像データを取得し、映像受信装置から、前記映像データの画面内の着目領域を指定するための情報を受信し、受信した前記情報に基づいて、前記着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、取得した前記映像データに対して行い、前記圧縮処理済みの前記映像データを、前記映像受信装置に送信する。
【００４９】
この構成によると、上述の映像送信装置が備える処理部に対応する処理をステップとして含む。このため、上述の映像送信装置と同様の作用および効果を奏することができる。
【００５０】
（１５）本発明の他の実施形態に係る映像受信方法は、映像送信装置から、画面内の着目領域内の単位画素ブロック当たりの伝送レートが前記着目領域外の前記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された映像データを受信し、受信した前記映像データを伸長し、前記着目領域を指定するための情報を、前記映像送信装置に送信する。
【００５１】
この構成によると、上述の映像受信装置が備える処理部に対応する処理をステップとして含む。このため、上述の映像受信装置と同様の作用および効果を奏することができる。
【００５２】
［本願発明の実施形態の詳細］
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、特許請求の範囲によって特定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。
【００５３】
また、同一の構成要素には同一の符号を付す。それらの機能および名称も同様であるため、それらの説明は適宜省略する。
【００５４】
（実施の形態１）
＜映像伝送システムの全体構成＞
図１は、本発明の実施の形態１に係る映像伝送システムの構成を示す図である。
図１を参照して、映像伝送システム１は、映像送信装置１０と、映像受信装置２０と、表示装置４０とを備える。映像送信装置１０と映像受信装置２０とは、ネットワーク５０を介して相互に接続される。表示装置４０は、映像受信装置２０に接続される。
【００５５】
映像送信装置１０は、撮影対象を撮影した映像データを、ネットワーク５０を介して映像受信装置２０に送信する。
【００５６】
映像受信装置２０は、映像送信装置１０から映像データを受信し、受信した映像データを表示装置４０に表示する。
【００５７】
映像送信装置１０は、例えば、監視対象エリア２を撮影可能な位置に設置され、映像受信装置２０および表示装置４０は、例えば、管理事務所等に設置される。
【００５８】
＜映像送信装置１０の構成＞
図２は、本発明の実施の形態１に係る映像送信装置１０の構成を示すブロック図である。
【００５９】
図２を参照して、映像受信装置２０は、撮像部１１と、取得部１２と、ブロック分割部１３と、データ分配部１４と、圧縮部１５と、符号化部１６と、送信部１７と、受信部１８とを備える。
圧縮部１５は、高圧縮部１５Ａと、低圧縮部１５Ｂとを含む。
【００６０】
これらの処理部の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）等の集積回路等を含むハードウェアにより実現される。ただし、これらの構成のうち、撮像部１１を除く処理部の全部または一部は、コンピュータにより実現することができる。つまり、これらの処理部は、コンピュータが備えるＣＰＵ（Central Processing Unit）等の演算処理装置上で、コンピュータプログラムを実行することにより、機能的な処理部として実現される。
なお、撮像部１１は、映像送信装置１０とは別に設けられていてもよい。
【００６１】
撮像部１１は、撮影対象の高精細映像を撮影する。映像には複数の画面が含まれる。例えば、６０ｆｐｓ（frame per second）の映像データには、１秒当たり６０枚の画面が含まれる。
【００６２】
より詳細には、撮像部１１は、例えば、デュアルグリーン方式または４：２：２方式等に従って、８Ｋ  ＵＨＤＴＶの解像度を有する撮影対象物の映像データを生成する。この映像データには、画面ごとの画面データが含まれる。
【００６３】
デュアルグリーン方式に従って生成された６０ｆｐｓの映像データの伝送レートは、例えば２３．８９Ｇｂｐｓまたは１９．９１Ｇｂｐｓである。また、４：２：２方式に従って生成された映像データの伝送レートは、例えば４７．７８Ｇｂｐｓまたは３９．８１Ｇｂｐｓである。
【００６４】
取得部１２は、撮像部１１から、撮像部１１が撮影した撮影対象の映像データを取得し、ブロック分割部１３へ出力する。
【００６５】
ブロック分割部１３は、取得部１２から映像データを受けて１画面分の画像データを確保すると、確保した画面データの示す１画面を複数のブロックに分割する。
【００６６】
具体的には、ブロック分割部１３は、画面データの示す画面を、同じ形状および同じ大きさを有する複数のブロックに分割する。より具体的には、ブロック分割部１３は、画面を１または複数の行ごとにスライスしたブロックに分割したり、１または複数の列ごとにスライスしたブロックに分割したり、縦ｎ個×横ｍ個（ここで、ｎ，ｍは正の整数。）の画素を有するブロックに分割したりする。
【００６７】
なお、各ブロックの形状は任意の形状でよい。また、各ブロックの大きさは任意の大きさでよい。しかしながら、各ブロックの形状および大きさを統一すると、利便性が高まるので好ましい。また、ブロックのサイズが大きくなるほど圧縮率を高めることが可能となるが、処理負荷、処理回路、処理に要するメモリ容量および処理時間が増大するので、適正なサイズにすることが好ましい。
【００６８】
ブロック分割部１３は、ブロックにおける画像データ（以下、ブロックデータとも称する。）をブロックの画面における位置順にデータ分配部１４へ出力する。
【００６９】
データ分配部１４は、ブロック分割部１３から受けるブロックデータを分配する。より詳細には、データ分配部１４は、後述する着目領域を指定するための情報（以下、「着目領域指定情報」とも称する。）を参照して、各ブロックデータが属するブロックが、着目領域に含まれているか否かを判断する。着目領域は、映像受信装置２０または映像受信装置２０のユーザが着目している領域である。なお、画面全体を着目領域とすることも可能である。また、画面内に着目領域が存在しない場合もある。
【００７０】
データ分配部１４は、当該ブロックが着目領域に含まれていると判断した場合、つまり、当該ブロックが着目領域内に位置すると判断した場合には、当該ブロックのブロックデータを低圧縮部１５Ｂへ出力する。なお、画面全体が着目領域の場合には、データ分配部１４は、１画面に含まれる全てのブロックのブロックデータを、低圧縮部１５Ｂへ出力する。一方、画面内に着目領域が存在しない場合には、データ分配部１４は、当該画面については、何らのデータも低圧縮部１５Ｂへ出力しない。
【００７１】
また、データ分配部１４は、当該ブロックが着目領域に含まれていないと判断した場合、つまり、当該ブロックが着目領域外に位置すると判断した場合には、当該ブロックのブロックデータを高圧縮部１５Ａへ出力する。なお、画面全体が着目領域の場合には、データ分配部１４は、当該画面については、何らのデータも高圧縮部１５Ａへ出力しない。一方、画面内に着目領域が存在しない場合には、データ分配部１４は、１画面に含まれる全てのブロックのブロックデータを、高圧縮部１５Ａへ出力する。
【００７２】
なお、データ分配部１４は、ブロックの一部が着目領域に含まれていれば、当該ブロックは着目領域に含まれていると判断することができる。
【００７３】
高圧縮部１５Ａは、データ分配部１４からブロックデータを受け、低圧縮部１５Ｂに比べて高い圧縮率の圧縮方式に従い当該ブロックデータを圧縮する。例えば、高圧縮部１５Ａは、ＪＰＥＧ２０００と呼ばれる圧縮方式に従ってブロックデータを圧縮してもよい。なお、高圧縮部１５Ａの圧縮方式は、ＪＰＥＧ２０００に限定されるものではなく、低圧縮部１５Ｂに比べて圧縮率が高い方式であれば、それ以外の方法であってもよい。
【００７４】
低圧縮部１５Ｂは、データ分配部１４からブロックデータを受け、高圧縮部１５Ａに比べて低い圧縮率の圧縮方式に従い当該ブロックデータを圧縮する。低圧縮部１５Ｂは、例えば、圧縮後のサイズを設定することが可能な、Ｖｉｓｕａｌｌｙ  Ｌｏｓｓｌｅｓｓ  ＣｏｍｐｒｅｓｓｉｏｎまたはＶｉｓｕａｌｌｙ  Ｒｅｖｅｒｓｉｂｌｅ  Ｃｏｍｐｒｅｓｓｉｏｎと呼ばれるアルゴリズムを用いてブロックデータを非可逆的に圧縮する。低圧縮部１５Ｂにおいて用いられる非可逆圧縮のアルゴリズムは、例えば専用の半導体集積回路に実装される。ここで、非可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが不可能なように圧縮することである。映像データの着目領域に対してブロックデータごとの圧縮処理を施す場合には、フレーム内およびフレーム間の相関を用いずに圧縮処理を行うことができる。このため、Ｈ．２６５等の圧縮方式と比べて低圧縮率であり、オリジナル映像との視覚的な同一性を保持することができる。ここで、オリジナル映像との視覚的な同一性が保持されるとは、ユーザが圧縮前の映像と圧縮および伸長後の映像とを見比べた場合に、その差がほとんど分からないことを言う。
【００７５】
なお、低圧縮部１５Ｂは、可逆圧縮のアルゴリズムを用いてブロックデータを圧縮することも可能である。この場合には、オリジナル映像との同一性を保持することができる。
【００７６】
また、低圧縮部１５Ｂは、ブロックデータを圧縮しない非圧縮処理を行ってもよい。つまり、低圧縮部１５Ｂは、データ分配部１４から受けたブロックデータを圧縮せずに出力してもよい。この場合にも、オリジナル映像との同一性を保持することができる。
【００７７】
なお、高圧縮部１５Ａおよび低圧縮部１５Ｂにおいて用いられるアルゴリズムは、例えば、専用の半導体集積回路に実装されるのが望ましい。なお、これらのアルゴリズムに基づくコンピュータプログラムを、コンピュータのＣＰＵやＦＰＧＡのＣＰＵコア等の演算処理装置上で実行することにより、高圧縮部１５Ａおよび低圧縮部１５Ｂが実現されてもよい。
【００７８】
圧縮部１５は、圧縮方法および圧縮時のパラメータ（以下、「圧縮パラメータ」とも称する）を示す圧縮情報を、圧縮処理後のブロックデータに付加する。具体的には、圧縮部１５は、高圧縮部１５Ａによる圧縮処理後のブロックデータに圧縮情報Ｈを付加し、低圧縮部１５Ｂによる圧縮処理後のブロックデータに圧縮情報Ｌを付加する。ただし、映像受信装置２０が圧縮パラメータを事前に知っている場合には、圧縮パラメータを映像受信装置２０に通知する必要がない。このため、このような場合には、圧縮部１５は、圧縮情報Ｈまたは圧縮情報Ｌに、圧縮パラメータを含める必要はない。また、映像受信装置２０が、さらに圧縮方法も知っている場合には、圧縮情報の付加すら必要ない。
【００７９】
圧縮部１５は、圧縮情報が付加されたブロックデータを、符号化部１６へ出力する。以下、高圧縮部１５Ａまたは低圧縮部１５Ｂで圧縮されたブロックデータを、「圧縮ブロックデータ」とも称する。
【００８０】
符号化部１６は、圧縮部１５から、圧縮情報が付加された圧縮ブロックデータを受け、当該圧縮ブロックデータを符号化する。符号化部１６は、符号化された圧縮ブロックデータを送信部１７へ出力する。
【００８１】
送信部１７は、通信インタフェースを含んで構成され、符号化部１６から、符号化された圧縮ブロックデータを受け、当該圧縮ブロックデータを、ネットワーク５０を介して、映像受信装置２０に送信する。
【００８２】
受信部１８は、通信インタフェースを含んで構成され、着目領域指定情報を、ネットワーク５０を介して映像受信装置２０から受信する。受信部１８は、受信した着目領域指定情報をデータ分配部１４へ出力する。
【００８３】
＜映像受信装置２０の構成＞
図３は、本発明の実施の形態１に係る映像受信装置２０の構成を示すブロック図である。
【００８４】
映像受信装置２０は、受信部２１と、復号化部２２と、伸長部２３と、方式処理部２４と、ブロック合成部２５と、切出し部２６と、表示制御部２７と、画像認識部２８と、着目領域決定部２９と、位置情報取得部３０と、送信部３１とを備える。ただし、これらの処理部の一部または全部が、ＡＳＩＣまたはＦＰＧＡ等の半導体集積回路等を含むハードウェアにより実現されていてもよい。
【００８５】
なお、映像受信装置２０は、ＣＰＵ、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）等を備えるコンピュータにより実現することもできる。ＣＰＵ等の演算処理装置上でコンピュータプログラムを実行することにより、各処理部は機能的な構成要素として実現される。
【００８６】
受信部２１は、通信インタフェースを含んで構成される。受信部２１は、ネットワーク５０を介して映像送信装置１０から、１画面が複数のブロックに分割され、ブロックごとに画像データの圧縮処理が行われた映像データを受信する。より詳細には、受信部２１は、符号化された圧縮ブロックデータを位置順に受信する。
【００８７】
復号化部２２は、受信部２１が受信した圧縮ブロックデータを、受信部２１から受け、受けた圧縮ブロックデータを復号化する。
【００８８】
復号化部２２は、復号化した圧縮ブロックデータから圧縮情報Ｈまたは圧縮情報Ｌを取得し、圧縮情報Ｈまたは圧縮情報Ｌを取り除いた圧縮ブロックデータを位置順に伸長部２３へ出力するとともに、取得した圧縮情報Ｈまたは圧縮情報Ｌを位置順に方式処理部２４へ出力する。
【００８９】
方式処理部２４は、復号化部２２から圧縮情報Ｈを受ける場合、受けた圧縮情報Ｈから圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部２３へ通知する。なお、伸長部２３が事前に圧縮方法または圧縮パラメータを知っている場合には、方式処理部２４は、知っている情報を圧縮情報Ｈから取得したり、伸長部２３へ通知したりする必要はない。
【００９０】
一方、方式処理部２４は、復号化部２２から圧縮情報Ｌを受ける場合、受けた圧縮情報Ｌから圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部２３へ通知する。なお、伸長部２３が事前に圧縮方法または圧縮パラメータを知っている場合には、方式処理部２４は、知っている情報を圧縮情報Ｌから取得したり、伸長部２３へ通知したりする必要はない。
【００９１】
伸長部２３は、方式処理部２４から通知された圧縮方法に従って、方式処理部２４から通知された圧縮パラメータを用いて圧縮ブロックデータを伸長する。なお、伸長部２３において用いられるアルゴリズムは、例えば、ＦＰＧＡや専用の半導体集積回路に実装されるのが望ましい。
【００９２】
ブロック合成部２５は、伸長部２３から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部２３から受けた順番に並べることにより１画面を完成させる。ブロック合成部２５は、完成させた１画面を示す画像データを、切出し部２６、表示制御部２７および画像認識部２８へ出力する。
【００９３】
切出し部２６は、ブロック合成部２５から取得した１画面の画像データの中から、後述する着目領域決定部２９が決定した着目領域の画像データを切り出す。切出し部２６は、切り出した着目領域の画像データを、表示制御部２７および画像認識部２８へ出力する。なお、画面全体が着目領域とされる場合には、切り出し部２６は、上述の切り出し処理を行わずに、１画面の画像データを、表示制御部２７および画像認識部２８へ出力する。一方、画面内に着目領域が存在しない場合には、切り出し部２６は、上述の切り出し処理を行わずに、何らのデータも、表示制御部２７および画像認識部２８へ出力しない。
【００９４】
表示制御部２７は、ブロック合成部２５から画像データを受けると、受けた画像データの示す１画面を所定のフレーム周期で表示装置４０に表示させる制御を行う。また、表示制御部２７は、必要に応じて、切出し部２６が切り出した着目領域の画像データを、１画面に重畳して表示させる制御を行ってもよい。また、表示制御部２７は、着目領域の画像データのみを表示装置４０に表示させる制御を行ってもよい。
【００９５】
画像認識部２８は、ブロック合成部２５から取得した１画面の画像データまたは切出し部２６から受けた着目領域の画像データに基づいて、認識対象の抽出を行う。例えば、監視対象エリア２から不審者を認識対象として抽出する場合には、画像認識部２８は、背景差分法やフレーム間差分法を用いて認識対象を抽出する。なお、画像認識部２８は、認識対象が抽出された後のフレームの画像データにおいては、切出し部２６が切り出した着目領域の画像データまたは着目領域を含む着目領域の周囲の画像データに基づいて、認識対象の抽出を行ってもよい。これにより、抽出された認識対象の周囲を効率よく画像認識することができる。画像認識部２８は、抽出した認識対象の領域情報を着目領域決定部２９へ出力する。
【００９６】
着目領域決定部２９は、画像認識部２８から認識対象の領域情報を取得し、取得した領域情報に基づいて、着目領域を決定する。例えば、着目領域決定部２９は、取得した領域情報が示す認識対象を含む矩形領域を着目領域として決定する。矩形領域には、着目領域との間に設けられた一定幅のマージンが含まれていてもよい。なお、認識対象を含む矩形領域が画面全体と同じ場合には、着目領域決定部２９は、画面全体を着目領域として決定する。また、画像認識部２８による認識処理の結果、認識対象が抽出されなかった場合には、着目領域決定部２９は、着目領域を決定しない。これにより、画面内に着目領域が存在しないことになる。
【００９７】
なお、着目領域決定部２９は、ユーザが指定し、位置情報取得部３０が取得した着目領域の位置情報に基づいて、着目領域を決定してもよい。例えば、着目領域決定部２９は、位置情報として、着目領域の左上隅座標と右下隅座標の情報を取得した場合には、取得した左上隅座標および右下隅座標で規定される矩形領域を着目領域として決定する。なお、ユーザは、画面全体を着目領域として指定することも可能であるし、着目領域を指定しないことも可能である。
【００９８】
着目領域決定部２９は、決定した着目領域を指定するための着目領域指定情報を送信部３１へ出力する。例えば、着目領域決定部２９は、着目領域の左上隅座標と右下隅座標の情報を着目領域指定情報として送信部３１へ出力する。
【００９９】
位置情報取得部３０は、ユーザがマウスやキーボード等を操作して指定した着目領域の位置情報を取得し、取得した位置情報を着目領域決定部２９へ出力する。
【０１００】
送信部３１は、着目領域決定部２９から受けた着目領域指定情報を、ネットワーク５０を介して映像送信装置１０へ送信する。
【０１０１】
＜映像伝送システム１の処理シーケンス＞
図４は、映像伝送システム１が実行する処理のシーケンスを示す図である。
映像伝送システム１は、図４に示すシーケンス処理を繰り返し実行する。
映像受信装置２０は、映像送信装置１０に対して着目領域指定情報を送信し、映像送信装置１０は、映像受信装置２０から着目領域指定情報を受信する（Ｓ１）。なお、ユーザによる着目領域の指定が無い場合や、映像受信装置２０の画像認識部２８により認識対象が抽出されなかった場合などには、着目領域指定情報の送受信は行われなくてもよい。
【０１０２】
図５は、圧縮処理前の画像データと着目領域との一例を示す図である。
例えば、映像受信装置２０の受信部１８は、図５に示す１画面の画像データ６０中の着目領域７０を指定する着目領域指定情報を、受信したものとする。
【０１０３】
再度図４を参照して、映像送信装置１０の取得部１２は、撮像部１１が監視対象エリア２を撮影することにより得られた１画面分の画像データを取得する（Ｓ２）。
【０１０４】
映像送信装置１０のブロック分割部１３、データ分配部１４および圧縮部１５は、取得部１２が取得した１画面分の画像データについて、ブロックデータ毎に圧縮処理を実行する（Ｓ３）。圧縮処理の詳細については図８を参照して後述する。
【０１０５】
映像送信装置１０の符号化部１６は、１画面分の圧縮ブロックデータを符号化する（Ｓ４）。
【０１０６】
映像送信装置１０の送信部１７は、１画面分の符号化済みの圧縮ブロックデータを、映像受信装置２０に送信し、映像受信装置２０の受信部２１は、圧縮ブロックデータを受信する（Ｓ５）。
【０１０７】
映像受信装置２０の復号化部２２は、受信した１画面分の圧縮ブロックデータを、圧縮ブロックデータ毎に復号化する（Ｓ６）。
【０１０８】
映像受信装置２０の伸長部２３、方式処理部２４およびブロック合成部２５は、復号化された１画面分の圧縮ブロックデータを、圧縮ブロックデータ毎に伸長する（Ｓ７）。伸長処理の詳細については図９を参照して後述する。
【０１０９】
映像受信装置２０の切出し部２６は、伸長処理により得られた１画面の画像データから、着目領域の画像データを切り出す（Ｓ８）。
【０１１０】
図６は、伸長処理後の画像データと着目領域との一例を示す図である。
例えば、映像受信装置２０の切出し部２６は、図６に示す１画面の画像データ６１の中から、着目領域７１の画像データを切り出す。
【０１１１】
再度図４を参照して、表示制御部２７は、１画面の画像データ６１に、着目領域７１の画像データを重畳させた画像データを、表示装置４０に表示させる（Ｓ９）。
【０１１２】
図７は、表示装置４０に表示される画像データの一例を示す図である。
例えば、表示装置４０は、図７に示すような画像データ６２を、表示装置４０に表示させる。つまり、表示装置４０は、図６に示した画像データ６１に、着目領域７１の画像データを、画像データ６３として重畳させた画像データ６２を、表示装置４０に表示させる。画像データ６３は、着目領域７１の画像データを拡大したものである。ただし、画像データ６３は、着目領域７１の画像データそのものであってもよい。
【０１１３】
再度図４を参照して、映像受信装置２０の画像認識部２８は、切り出した着目領域７１の画像データに基づいて、認識対象の抽出を行う。（Ｓ１０）。
【０１１４】
認識対象が抽出された場合には（Ｓ１０でＹＥＳ）、映像受信装置２０の着目領域決定部２９は、認識対象の位置に応じて、着目領域を更新する（Ｓ１１）。
【０１１５】
また、ユーザにより着目領域が指定された場合には（Ｓ１２でＹＥＳ）、映像受信装置２０の着目領域決定部２９は、着目領域を、指定された着目領域に更新する（Ｓ１３）。
【０１１６】
ステップＳ１１またはＳ１３において更新された着目領域を指定するための着目領域指定情報は、ステップＳ１において、映像受信装置２０から映像送信装置１０に送信される。
【０１１７】
図８は、圧縮処理（図４のステップＳ３）の詳細を示すフローチャートである。
図２および図８を参照して、ブロック分割部１３は、取得部１２が取得した１画面分の画像データを、複数のブロックデータに分割する（Ｓ２１）。
【０１１８】
映像送信装置１０は、分割後の各ブロックデータに対して、以下に説明するステップＳ２２〜Ｓ２６の処理を実行する（ループＡ）。
【０１１９】
つまり、データ分配部１４は、着目領域指定情報取得処理（図４のステップＳ１）で取得された着目領域指定情報を参照して、処理対象のブロックデータが属するブロックが着目領域に含まれているか否かを判定する（Ｓ２２）。
【０１２０】
該ブロックが着目領域に含まれていると判定された場合には（Ｓ２２でＹＥＳ）、データ分配部１４は、処理対象のブロックデータを低圧縮部１５Ｂに出力し、低圧縮部１５Ｂは、該ブロックデータに対して圧縮処理を施す（Ｓ２３）。
【０１２１】
圧縮部１５は、低圧縮部１５Ｂによる圧縮処理済みのブロックデータである圧縮ブロックデータに対して、圧縮情報Ｌを付加する（Ｓ２４）。
【０１２２】
一方、該ブロックが着目領域に含まれていないと判定された場合には（Ｓ２２でＮＯ）、データ分配部１４は、処理対象のブロックデータを高圧縮部１５Ａに出力し、高圧縮部１５Ａは、該ブロックデータに対して圧縮処理を施す（Ｓ２５）。
【０１２３】
圧縮部１５は、高圧縮部１５Ａによる圧縮処理済みのブロックデータである圧縮ブロックデータに対して、圧縮情報Ｈを付加する（Ｓ２６）。
【０１２４】
以上説明した圧縮処理（図４のステップＳ３、図８）により、図５に示す画像データ６０中の着目領域７０に含まれるブロックデータが、着目領域７０に含まれないブロックデータよりも低圧縮率の圧縮方式で圧縮される。つまり、着目領域７０に含まれるブロックデータは、伸長した際に、圧縮前のブロックデータと視覚的な同一性が保持される方式で圧縮される。一方、着目領域７０に含まれないブロックデータは、伸長した際に、圧縮前のブロックデータと視覚的な同一性が保持されるか否かに拘わらず伝送レートを抑えるように圧縮される。
【０１２５】
図９は、伸長処理（図４のステップＳ７）の詳細を示すフローチャートである。
図３および図９を参照して、映像受信装置２０は、１画面を構成する各圧縮ブロックデータに対して、以下に説明するステップＳ３１〜Ｓ３４の処理を実行する（ループＢ）。
【０１２６】
つまり、方式処理部２４は、復号化部２２が復号化した圧縮ブロックデータに付加された圧縮情報を復号化部２２から受け、当該圧縮情報が圧縮情報Ｌであるか否かを判定する（Ｓ３１）。
【０１２７】
圧縮ブロックデータに付加された圧縮情報が圧縮情報Ｌであると判定された場合には（Ｓ３１でＹＥＳ）、方式処理部２４は、伸長部２３に対して圧縮情報Ｌが示す圧縮方法および圧縮パラメータを伸長部２３に通知し、伸長部２３は、方式処理部２４から受けた圧縮方法および圧縮パラメータに従い、圧縮ブロックデータを伸長する（Ｓ３２）。
【０１２８】
圧縮ブロックデータに付加された圧縮情報が圧縮情報Ｌではないと判定された場合には（Ｓ３１でＮＯ）、方式処理部２４は、圧縮ブロックデータに付加された圧縮情報が圧縮情報Ｈであるか否かを判定する（Ｓ３３）。
【０１２９】
圧縮ブロックデータに付加された圧縮情報が圧縮情報Ｈであると判定された場合には（Ｓ３３でＹＥＳ）、方式処理部２４は、伸長部２３に対して圧縮情報Ｈが示す圧縮方法および圧縮パラメータを伸長部２３に通知し、伸長部２３は、方式処理部２４から受けた圧縮方法および圧縮パラメータに従い、圧縮ブロックデータを伸長する（Ｓ３４）。
【０１３０】
ループＢの処理の後、ブロック合成部２５は、伸長部２３から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部２３から受けた順番に並べることにより１画面を完成させる（Ｓ３５）。
【０１３１】
以上説明した伸長処理（図４のステップＳ７、図９）により、図６に示すような画像データ６１が生成される。つまり、画像データ６１中の着目領域７１に含まれるブロックデータは、映像送信装置１０での圧縮前の画像データと視覚的な同一性が保持される。一方、画像データ６１中の着目領域７１に含まれないブロックデータは、映像送信装置１０での圧縮前のブロックデータと視覚的な同一性が保持されず、例えば、圧縮前のブロックデータをぼかして分解能を低下させた映像が得られる。
【０１３２】
＜実施の形態１の効果＞
以上説明したように、本発明の実施の形態１によると、着目領域に含まれるブロックデータが、着目領域に含まれないブロックデータよりも低い圧縮率で圧縮される。これにより、着目領域内の単位画素ブロック（ｍ×ｎ画素、ｍ、ｎは自然数）当たりのデータ量が、着目領域外の単位画素ブロック当たりのデータ量よりも大きくなるような圧縮処理が施される。つまり、映像受信装置２０側で指定された着目領域内の単位画素ブロック当たりの伝送レートが、着目領域外の単位画素ブロック当たりの伝送レートよりも大きくなるような圧縮処理が施された映像データを、映像送信装置１０から映像受信装置２０に伝送することができる。これにより、映像データの着目領域についてはオリジナル映像との視覚的な同一性を保持する圧縮処理を施しつつ、着目領域外の領域については、オリジナル映像との視覚的な同一性の保持に拘らずに伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【０１３３】
また、ユーザは、映像受信装置２０を操作して、視覚的な同一性を保持したい着目領域を指定することにより、当該着目領域の高精細な映像を見ることができる。つまり、ユーザが、映像受信装置２０に対して高精細な映像データを見たい着目領域を指定すると、その指定情報が映像受信装置２０から映像送信装置１０に対して送信される。映像送信装置１０は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置２０に送信することができる。
【０１３４】
また、映像受信装置２０は、画像認識処理により認識された対象を含む領域を着目領域とすることができる。当該着目領域を指定するための情報が映像受信装置２０から映像送信装置１０に対して送信される。映像送信装置１０は、映像データの着目領域について視覚的な同一性を保持した圧縮処理を施した上で、圧縮処理後の映像データを映像受信装置２０に送信することができる。このため、ユーザは、着目領域に含まれる対象の高精細な映像を見ることができる。また、映像受信装置２０または映像受信装置２０に接続された装置で、高精細な映像データに基づく処理を行うことができる。
【０１３５】
また、映像受信装置２０は、着目領域の映像データを切り出して、切り出した映像データを処理することができる。これにより、例えば、着目領域の映像データのみを表示装置４０に表示させることができる。
【０１３６】
（実施の形態２）
実施の形態１では、着目領域に含まれない画像データを、着目領域に含まれる画像データよりも高い圧縮率で圧縮することにより、伝送レートを抑えることとした。これに対し、実施の形態２では、着目領域に含まれない画像データのフレームレートを、着目領域に含まれる画像データのフレームレートよりも低くすることにより伝送レートを抑える。
【０１３７】
実施の形態２に係る映像伝送システム１、映像送信装置１０および映像受信装置２０の構成は、実施の形態１と同様である。
【０１３８】
ただし、映像送信装置１０および映像受信装置２０が実行する処理が、実施の形態１と一部異なる。
【０１３９】
つまり、映像送信装置１０の高圧縮部１５Ａは、データ分配部１４からブロックデータを受け、受けたブロックデータをフレーム間引きして、実施の形態１と同様の圧縮処理を行った後、出力する。例えば、高圧縮部１５Ａは、ｋフレーム（ｋは２以上の整数）につき、１フレームのブロックデータを圧縮処理し、残りの（ｋ−１）フレームのブロックデータについては廃棄する。
【０１４０】
一方、映像送信装置１０の低圧縮部１５Ｂは、実施の形態１と同様に、データ分配部１４から受けたブロックデータをフレーム間引きすることなく圧縮処理する。
【０１４１】
図１０は、本発明の実施の形態２に係る高圧縮部１５Ａおよび低圧縮部１５Ｂによるブロックデータの圧縮処理を説明するための図である。
【０１４２】
図１０を参照して、低圧縮部１５Ｂは、着目領域７２に含まれるブロックデータについて、フレーム間引きすることなく圧縮処理する。一方、高圧縮部１５Ａは、着目領域７２に含まれないブロックデータについては、フレーム間引きして圧縮処理する。例えば、高圧縮部１５Ａは、画像データ６４および６５の間のフレームについては間引き、画像データ６４および６５のそれぞれの着目領域７２に含まれないブロックデータについて圧縮処理を行う。
【０１４３】
映像受信装置２０のブロック合成部２５は、伸長部２３から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部２３から受けた順番に並べることにより１画面を完成させる。ただし、ブロック合成部２５は、フレーム間引きされることによりブロックデータが存在しないブロックについては、過去フレームの同じブロックのブロックデータを代わりに用いて１画面を完成させる。
【０１４４】
以上説明したように、実施の形態２によると、映像データの着目領域外の領域については、フレームレートを低くすることにより、着目領域外の単位画素ブロック当たりの伝送レートを低く抑えることができる。よって、映像データ全体として伝送レートを低く抑えることができるため、オリジナル映像との認識対象の視覚的な同一性を保持した映像データのリアルタイム配信が可能となる。
【０１４５】
（変形例）
実施の形態１および２で説明した映像受信装置２０は、圧縮ブロックデータを伸長し、１画面分のブロックデータを合成して画像データを作成した後に、着目領域の画像データを切り出した。しかし、着目領域の画像データのみを表示する場合のように、着目領域の画像データのみが必要で、着目領域外の画像データが不必要な場合には、必要な着目領域のブロックデータのみを伸長するようにしてもよい。
【０１４６】
図１１は、本発明の変形例に係る映像受信装置の構成を示すブロック図である。
映像受信装置２０Ａは、映像受信装置２０と同様に、コンピュータにより実現することができる。
【０１４７】
ただし、映像受信装置２０と異なり、復号化部２２と伸長部２３との間に切出し部２６が設けられている。
【０１４８】
つまり、切出し部２６は、復号化部２２が復号した１画面分の圧縮ブロックデータのうち、着目領域決定部２９が決定した着目領域に含まれる圧縮ブロックデータを切り出し、切り出した圧縮ブロックデータから圧縮情報Ｈまたは圧縮情報Ｌを取り除いた圧縮ブロックデータを位置順に伸長部２３に出力する。また、切出し部２６は、切り出した圧縮ブロックデータから取り除いた圧縮情報Ｈまたは圧縮情報Ｌを、位置順に方式処理部２４に出力する。
【０１４９】
方式処理部２４は、切出し部２６から受けた圧縮情報Ｈまたは圧縮情報Ｌから、圧縮方法および圧縮パラメータを取得し、取得した圧縮方法および圧縮パラメータを伸長部２３に通知する。
【０１５０】
伸長部２３は、方式処理部２４から通知された圧縮方法に従って、方式処理部２４から通知された圧縮パラメータを用いて圧縮ブロックデータを伸長する。これにより、伸長部２３は、切出し部２６が切り出した着目領域に含まれる圧縮ブロックデータのみを伸長することができる。
【０１５１】
ブロック合成部２５は、伸長部２３から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部２３から受けた順番に並べることにより着目領域の画面を完成させる。ブロック合成部２５は、完成させた着目領域の画面を示す画像データを、表示制御部２７および画像認識部２８に出力する。
【０１５２】
表示制御部２７は、ブロック合成部２５から画像データを受けると、受けた画像データの示す着目領域の画面を所定のフレーム周期で表示装置４０に表示させる制御を行う。
【０１５３】
画像認識部２８は、伸長部２３から取得した着目領域の画像データに基づいて、認識対象の抽出を行う。
【０１５４】
本変形例によると、着目領域の映像データを切り出した後に、切り出した映像データのみについて伸長処理を行うことができる。つまり、切り出されなかった映像データに対しては伸長処理を行う必要がない。このため、映像受信装置２０に設けられる伸長処理のために必要なメモリの容量を削減することができる。
【０１５５】
（付記）
以上、本発明の実施の形態に係る映像伝送システムについて説明したが、本発明は、この実施の形態に限定されるものではない。
【０１５６】
上述の実施の形態および変形例では、圧縮部１５は、高圧縮部１５Ａおよび低圧縮部１５Ｂからなる圧縮率の異なる２つの圧縮部を備えることとしたが、圧縮部１５は、圧縮率の異なる３つ以上の圧縮部を備えていてもよい。例えば、圧縮部１５は、高圧縮部１５Ａおよび低圧縮部１５Ｂに加えて、高圧縮部１５Ａよりも圧縮率が低く、かつ低圧縮部１５Ｂよりも圧縮率の高い中圧縮部を備えていてもよい。圧縮部１５は、中圧縮部による圧縮処理後のブロックデータに圧縮情報Ｍを付加する。これに伴い、映像受信装置２０（２０Ａ）の着目領域決定部２９が決定する着目領域が、低圧縮部１５Ｂによる圧縮対象とされる第１着目領域と、中圧縮部による圧縮対象とされる第２着目領域とに分かれていてもよい。例えば、例えば、人物領域のうち特に重要な顔部分を第１着目領域として指定することにより、顔部分の画像を低い圧縮率で圧縮し、顔部分に比べ重要度の低い胴体部分を第２着目領域として指定することにより、胴体部分の画像を中程度の圧縮率で圧縮することができる。これにより、配信される映像データのデータ量を減少させつつ、重要な部分については、オリジナル映像との視覚的な同一性を保持することができる。
【０１５７】
また、映像伝送システムに含まれる映像送信装置および映像受信装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ、ＡＳＩＣまたはＦＰＧＡなどの半導体装置から構成されているとしてもよい。ここで、システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。ＲＡＭには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。例えば、本開示は、付記１または付記２として実現することもできる。
【０１５８】
＜付記１＞
映像送信装置から受信した映像データであって、画面内の着目領域内の単位画素ブロック当たりの伝送レートが上記着目領域外の上記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理が施された上記映像データを伸長する伸長部と、
上記着目領域を指定するための情報を、上記映像送信装置に送信する送信部とを備える、半導体装置。
【０１５９】
＜付記２＞
映像データを取得する取得部と、
映像受信装置から受信した上記映像データの画面内の着目領域を指定するための情報に基づいて、上記着目領域内の単位画素ブロック当たりの伝送レートが上記着目領域外の上記単位画素ブロック当たりの伝送レートよりも大きい圧縮処理を、上記取得部が取得した上記映像データに対して行う圧縮部とを備える、半導体装置。
【０１６０】
また、本発明は、上記に示す方法であるとしてもよい。また、本発明は、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよい。
【０１６１】
さらに、本発明は、上記コンピュータプログラムをコンピュータ読取可能な非一時的な記録媒体、例えば、ＨＤＤ、ＣＤ−ＲＯＭ、半導体メモリなどに記録したものとしてもよい。
【０１６２】
また、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
また、上記各装置は、複数のコンピュータにより実現されてもよい。
【０１６３】
また、上記各装置の一部または全部の機能がクラウドコンピューティングによって提供されてもよい。つまり、各装置の一部または全部の機能がクラウドサーバにより実現されていてもよい。例えば、映像受信装置２０の画像認識部２８の機能がクラウドサーバにより実現され、映像受信装置２０は、クラウドサーバに対して切出し部２６が切り出した画像データを送信し、クラウドサーバから画像認識結果を取得する構成であってもよい。
さらに、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。
【０１６４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１６５】
１      映像伝送システム
２      監視対象エリア
１０    映像送信装置
１１    撮像部
１２    取得部
１３    ブロック分割部
１４    データ分配部
１５    圧縮部
１５Ａ  高圧縮部
１５Ｂ  低圧縮部
１６    符号化部
１７    送信部
１８    受信部
２０    映像受信装置
２０Ａ  映像受信装置
２１    受信部
２２    復号化部
２３    伸長部
２４    方式処理部
２５    ブロック合成部
２６    切出し部
２７    表示制御部
２８    画像認識部
２９    着目領域決定部
３０    位置情報取得部
３１    送信部
４０    表示装置
５０    ネットワーク
【図１】
2019029746.tif 000003
【図２】
2019029746.tif 000004
【図３】
2019029746.tif 000005
【図４】
2019029746.tif 000006
【図５】
2019029746.tif 000007
【図６】
2019029746.tif 000008
【図７】
2019029746.tif 000009
【図８】
2019029746.tif 000010
【図９】
2019029746.tif 000011
【図１０】
2019029746.tif 000012
【図１１】
2019029746.tif 000013