(57)【要約】【課題】オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することが可能な映像伝送システム、映像送信装置、映像受信装置および映像処理プログラムを提供する。【解決手段】映像伝送システムは、映像データを取得し、取得した前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行い、前記圧縮処理を行った前記映像データを送信する映像送信装置と、前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。【選択図】図１
2017225021.tif 000002
【特許請求の範囲】
【請求項１】
映像データを取得し、取得した前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行い、前記圧縮処理を行った前記映像データを送信する映像送信装置と、
前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、
前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、
前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である、映像伝送システム。
【請求項２】
前記映像送信装置は、前記ブロックの画像データの圧縮率が所定値または所定範囲となるように前記圧縮処理を行う、請求項１に記載の映像伝送システム。
【請求項３】
前記映像送信装置は、前記圧縮率が所定値または所定範囲となるように前記可逆圧縮のアルゴリズムおよび前記非可逆圧縮のアルゴリズムのいずれか一方を選択する、請求項２に記載の映像伝送システム。
【請求項４】
前記映像送信装置は、前記アルゴリズムの選択結果を示す選択情報を作成して送信し、
前記映像受信装置は、前記映像送信装置から受信した前記選択情報を用いて前記伸長処理を行う、請求項１から請求項３のいずれか１項に記載の映像伝送システム。
【請求項５】
前記映像受信装置は、前記映像送信装置から受信した前記選択情報を出力可能である、請求項４に記載の映像伝送システム。
【請求項６】
前記映像送信装置および前記映像受信装置の少なくともいずれか一方は、前記１画面において可逆圧縮または可逆伸長された前記ブロックの率を示す情報を出力可能である、請求項１から請求項５のいずれか１項に記載の映像伝送システム。
【請求項７】
前記映像送信装置および前記映像受信装置の少なくともいずれか一方は、前記１画面において可逆圧縮または可逆伸長された前記ブロックの位置を示す情報を出力可能である、請求項１から請求項６のいずれか１項に記載の映像伝送システム。
【請求項８】
映像データを取得する取得部と、
前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、
前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部とを備え、
前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である、映像送信装置。
【請求項９】
１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、
前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部とを備え、
前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である、映像受信装置。
【請求項１０】
映像送信装置において用いられる映像処理プログラムであって、
コンピュータを、
映像データを取得する取得部と、
前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、
前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部と、
として機能させるためのプログラムであり、
前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である、映像処理プログラム。
【請求項１１】
映像受信装置において用いられる映像処理プログラムであって、
コンピュータを、
１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、
前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部と、
として機能させるためのプログラムであり、
前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である、映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像伝送システム、映像送信装置、映像受信装置および映像処理プログラムに関し、特に、映像データを処理する映像伝送システム、映像送信装置、映像受信装置および映像処理プログラムに関する。
【背景技術】
【０００２】
放送等では、８Ｋ  ＵＨＤＴＶ（Ｕｌｔｒａ  Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｔｅｌｅｖｉｓｉｏｎ）のような超高精細のデジタル映像を伝送するための技術が開発されている。
【０００３】
たとえば、非特許文献１（”ウィキペディア”、［ｏｎｌｉｎｅ］、［平成２８年４月５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈ．２６５〉）には、映像データを圧縮するためのＨ．２６５について記載されている。
【０００４】
Ｈ．２６５（ＩＳＯ／ＩＥＣ  ２３００８−２  ＨＥＶＣ）は、動画圧縮規格の一つであり、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣの後続フォーマットである。Ｈ．２６５では、ブロックサイズの適正化など圧縮効率が優れており、ＭＰＥＧ−２（Ｈ．２６２）比で約４倍、Ｈ．２６４／ＡＶＣとの比較でも約２倍の圧縮性能を有すると言われている。Ｈ．２６５は、スーパーハイビジョン（８Ｋ，４３２０ｐ）等の高解像度な映像だけでなく携帯端末向けの映像配信での利用も想定されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】”ウィキペディア”、［ｏｎｌｉｎｅ］、［平成２８年４月５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｊａ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｈ．２６５〉
【発明の概要】
【発明が解決しようとする課題】
【０００６】
たとえば、８Ｋ  ＵＨＤＴＶのような超高精細のデジタル映像は、データレートが数十Ｇｂｐｓ（ｇｉｇａｂｉｔｓ  ｐｅｒ  ｓｅｃｏｎｄ）以上に達するため、伝送、蓄積および画像処理を行うためには、高速・大規模論理回路および大容量メモリ等の非常に大きな資源を必要とする。
【０００７】
この問題を解決するため、目的とする処理の前に映像信号を圧縮することが行われる。放送システムにおいて、伝送前に映像を圧縮し、ＴＶ受像機で提示する際に伸長することは、一つの典型的な例となっている。放送で用いられる非特許文献１に記載のＨ．２６５等の圧縮方式では、高い圧縮率を実現するため、空間周波数処理および高度な符号化等の複雑な演算に加えて、フレーム内およびフレーム間の相関を利用しており、圧縮および伸長の際に複数枚の画像の情報を使った一括処理が必要であるため、処理の負荷が非常に重い。その上、遅延時間も通常は３秒を越え、遅延時間が大きくなる事が避けられない。また、圧縮率についても変動が大きい。
【０００８】
また、実用的な圧縮率たとえば数分の一以下を確保するために、圧縮および伸長の過程は非可逆となる。非可逆の圧縮および伸長の過程では、モザイクノイズ、モスキートノイズおよびシマリングといったデジタルノイズが重畳される。デジタルノイズの種類、形状、大きさおよび発生場所については、圧縮アルゴリズムに固有な特性であり、画像および画像間の繋がり（連続関係）にも依存する為、予測をすることが困難である。
【０００９】
このような特性は画像解析および画像処理には不適合であるため、あらかじめ全画面を長方形のブロックまたは複数ラインのスライスに分割したうえで、小領域を圧縮する方法が考えられる。しかしながら、非可逆な特性および予測が困難なデジタルノイズの重畳等の解決が困難である。このため、厳格な処理結果が求められる応用分野では、オリジナル映像の処理が求められている。
【００１０】
この発明は、上述の課題を解決するためになされたもので、その目的は、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することが可能な映像伝送システム、映像送信装置、映像受信装置および映像処理プログラムを提供することである。
【課題を解決するための手段】
【００１１】
（１）上記課題を解決するために、この発明のある局面に係わる映像伝送システムは、映像データを取得し、取得した前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行い、前記圧縮処理を行った前記映像データを送信する映像送信装置と、前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。
【００１２】
（８）上記課題を解決するために、この発明のある局面に係わる映像送信装置は、映像データを取得する取得部と、前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部とを備え、前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である。
【００１３】
（９）上記課題を解決するために、この発明のある局面に係わる映像受信装置は、１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部とを備え、前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。
【００１４】
（１０）上記課題を解決するために、この発明のある局面に係わる映像処理プログラムは、映像送信装置において用いられる映像処理プログラムであって、コンピュータを、映像データを取得する取得部と、前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部と、として機能させるためのプログラムであり、前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である。
【００１５】
（１１）上記課題を解決するために、この発明の他の局面に係わる映像処理プログラムは、映像受信装置において用いられる映像処理プログラムであって、コンピュータを、１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部と、として機能させるためのプログラムであり、前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。
【００１６】
本発明は、このような特徴的な処理部を備える映像伝送システムとして実現することができるだけでなく、かかる特徴的な処理をステップとする方法として実現したり、映像伝送システムの一部または全部を実現する半導体集積回路として実現したりすることができる。
【００１７】
また、本発明は、このような特徴的な処理部を備える映像送信装置として実現することができるだけでなく、かかる特徴的な処理をステップとする方法として実現したり、映像送信装置の一部または全部を実現する半導体集積回路として実現したりすることができる。
【００１８】
また、本発明は、このような特徴的な処理部を備える映像受信装置として実現することができるだけでなく、かかる特徴的な処理をステップとする方法として実現したり、映像受信装置の一部または全部を実現する半導体集積回路として実現したりすることができる。
【発明の効果】
【００１９】
本発明によれば、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施の形態に係る映像伝送システムの構成を示す図である。
【図２】図２は、本発明の実施の形態に係る映像伝送システムにおける映像送信装置の構成を示す図である。
【図３】図３は、本発明の実施の形態に係る映像送信装置における圧縮処理部の構成を示す図である。
【図４】図４は、本発明の実施の形態に係る映像伝送システムにおける映像受信装置の構成を示す図である。
【図５】図５は、本発明の実施の形態に係る映像受信装置における伸長処理部の構成を示す図である。
【図６】図６は、本発明の実施の形態に係る映像送信装置が映像データにおける１画面の圧縮処理を行う際の動作手順を定めたフローチャートである。
【図７】図７は、本発明の実施の形態に係る映像受信装置が映像データにおける１画面の伸長処理を行う際の動作手順を定めたフローチャートである。
【発明を実施するための形態】
【００２１】
最初に、本発明の実施形態の内容を列記して説明する。
【００２２】
（１）本発明の実施の形態に係る映像伝送システムは、映像データを取得し、取得した前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行い、前記圧縮処理を行った前記映像データを送信する映像送信装置と、前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。
【００２３】
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを映像受信装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを映像受信装置において復元することができる。また、画面内の画像データを用いて圧縮処理を行うことで、画面間の画像データを用いて圧縮処理を行わないようにしてもよいので、処理負荷を軽減することができる。すなわち、映像送信装置および映像受信装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【００２４】
（２）好ましくは、前記映像送信装置は、前記ブロックの画像データの圧縮率が所定値または所定範囲となるように前記圧縮処理を行う。
【００２５】
このような構成により、各ブロックの圧縮後のデータサイズをある程度揃えることができるので、伝送レートの大きな変動および圧縮率の大きな変動を抑制することができる。これにより、オリジナル映像との同一性をより多く確保しながら、映像データを映像送信装置から映像受信装置へ効率よく伝送することができる。また、圧縮率を所定値にする場合、圧縮率の変動を吸収するためのバッファを不要とすることができる。また、遅延時間をほぼ一定にすることができるので、圧縮処理のアルゴリズムをハードウェアで容易に実現することができる。これにより、遅延時間を数ミリ秒程度に抑制することができるので、より多くのオリジナル映像をリアルタイムで伝送することができる。
【００２６】
（３）より好ましくは、前記映像送信装置は、前記圧縮率が所定値または所定範囲となるように前記可逆圧縮のアルゴリズムおよび前記非可逆圧縮のアルゴリズムのいずれか一方を選択する。
【００２７】
このような構成により、所定値または所定範囲を圧縮処理の目標として、圧縮効率が低いけれどもオリジナルのデータを再現可能な可逆圧縮、および可逆圧縮では目標に到達しない場合にオリジナルのデータに近くかつ目標に到達することが可能な非可逆圧縮のいずれかを適宜選択することができる。
【００２８】
（４）好ましくは、前記映像送信装置は、前記アルゴリズムの選択結果を示す選択情報を作成して送信し、前記映像受信装置は、前記映像送信装置から受信した前記選択情報を用いて前記伸長処理を行う。
【００２９】
このような構成により、映像受信装置では、ブロックに施された圧縮処理が可逆であるか非可逆であるかを選択情報から容易に認識することができるので、伸長処理を効率よく行うことができる。
【００３０】
（５）より好ましくは、前記映像受信装置は、前記映像送信装置から受信した前記選択情報を出力可能である。
【００３１】
このような構成により、オリジナル映像との同一性についての品質を適切に管理することができる。具体的には、伸長処理後の映像において、同一性を保った映像部分と同一性が損なわれた映像部分とを提示することができるので、伸長処理後の映像の正確性を評価することができる。これにより、伸長処理後の映像が、医療、高精度な産業またはミッションクリティカルな監視等の厳格な用途に適用可能か否かを判断することができる。
【００３２】
（６）好ましくは、前記映像送信装置および前記映像受信装置の少なくともいずれか一方は、前記１画面において可逆圧縮または可逆伸長された前記ブロックの率を示す情報を出力可能である。
【００３３】
このような構成により、伸長処理後の映像のオリジナル映像に対する忠実度を定量化することができるので、たとえば、オリジナル映像の撮影条件の調整をリアルタイムで行うことができる。
【００３４】
（７）好ましくは、前記映像送信装置および前記映像受信装置の少なくともいずれか一方は、前記１画面において可逆圧縮または可逆伸長された前記ブロックの位置を示す情報を出力可能である。
【００３５】
このような構成により、たとえば、可逆圧縮されたブロックをマップ化し、伸長処理後の映像と重ね合わせることで、オリジナル映像と伸長処理後の映像との比較処理を行うことなく同一性を保った映像部分を確定することができる。これにより、たとえば、伸長処理後の映像の提示または解析処理において、オリジナル映像を用いた場合と同一の結果を得ることが可能な映像部分を認識することができる。
【００３６】
（８）本発明の実施の形態に係る映像送信装置は、映像データを取得する取得部と、前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部とを備え、前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である。
【００３７】
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを送信先の装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを送信先の装置において復元することができる。また、画面間の画像データを用いて圧縮処理を行わないので、処理負荷を軽減することができる。すなわち、映像送信装置および送信先の装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【００３８】
（９）本発明の実施の形態に係る映像受信装置は、１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部とを備え、前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。
【００３９】
このような構成により、可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に対する同一性を保持した画像データを復元することができる。また、非可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に近い画像データを復元することができる。すなわち、映像データの送信元の装置および映像受信装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別がブロックごとに適宜選択され、ブロックごとの圧縮処理が当該送信元の装置において施された画像データを受信して復元することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【００４０】
（１０）本発明の実施の形態に係る映像処理プログラムは、映像送信装置において用いられる映像処理プログラムであって、コンピュータを、映像データを取得する取得部と、前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部と、として機能させるためのプログラムであり、前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能である。
【００４１】
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを送信先の装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを送信先の装置において復元することができる。また、画面間の画像データを用いて圧縮処理を行わないので、処理負荷を軽減することができる。すなわち、映像送信装置および送信先の装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【００４２】
（１１）本発明の実施の形態に係る映像処理プログラムは、映像受信装置において用いられる映像処理プログラムであって、コンピュータを、１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部と、として機能させるためのプログラムであり、前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能である。
【００４３】
このような構成により、可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に対する同一性を保持した画像データを復元することができる。また、非可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に近い画像データを復元することができる。すなわち、映像データの送信元の装置および映像受信装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別がブロックごとに適宜選択され、ブロックごとの圧縮処理が当該送信元の装置において施された画像データを受信して復元することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【００４４】
以下、本発明の実施の形態について図面を用いて説明する。なお、図中同一または相当部分には同一符号を付してその説明は繰り返さない。また、以下に記載する実施の形態の少なくとも一部を任意に組み合わせてもよい。
【００４５】
［構成および基本動作］
図１は、本発明の実施の形態に係る映像伝送システムの構成を示す図である。
【００４６】
図１を参照して、映像伝送システム３０１は、ビデオカメラ１２１と、映像受信装置１１１とを備える。ビデオカメラ１２１は、撮影部２１と、調整部２２と、表示部２３と、映像送信装置１０１とを備える。
【００４７】
ビデオカメラ１２１における撮影部２１は、たとえば、撮影対象物の高精細映像を撮影し、撮影した映像を示す映像データを映像送信装置１０１へ出力する。映像には、複数の画面が含まれる。たとえば、６０ｆｐｓ（ｆｒａｍｅ  ｐｅｒ  ｓｅｃｏｎｄ）の映像データには、１秒あたり６０枚の画面が含まれる。
【００４８】
より詳細には、撮影部２１は、たとえば、デュアルグリーン方式または４：２：２方式等に従って、８Ｋ  ＵＨＤＴＶの解像度を有する撮影対象物の映像データを生成する。この映像データには、画面ごとの画面データが含まれる。
【００４９】
デュアルグリーン方式に従って生成された６０ｆｐｓの映像データの伝送レートは、たとえば２３．８９Ｇｂｐｓまたは１９．９１Ｇｂｐｓである。また、４：２：２方式に従って生成された映像データの伝送レートは、たとえば４７．７８Ｇｂｐｓまたは３９．８１Ｇｂｐｓである。
【００５０】
図２は、本発明の実施の形態に係る映像伝送システムにおける映像送信装置の構成を示す図である。
【００５１】
図２を参照して、映像送信装置１０１は、取得部３１と、圧縮処理部３２と、送信部３３とを備える。
【００５２】
映像送信装置１０１は、撮影部２１から受ける数十Ｇｂｐｓの伝送レートの映像データを、たとえば１０Ｇｂｐｓ以下の伝送レートで送信できるように当該映像データを圧縮する。
【００５３】
詳細には、映像送信装置１０１における取得部３１は、映像データを取得する。より詳細には、取得部３１は、撮影部２１から映像データを受けると、受けた映像データを圧縮処理部３２へ出力する。
【００５４】
図３は、本発明の実施の形態に係る映像送信装置における圧縮処理部の構成を示す図である。
【００５５】
図３を参照して、圧縮処理部３２は、ブロック分割部４１と、データ分配部４２と、可逆圧縮部４３と、非可逆圧縮部４４と、方式選択部４５と、符号化部４６とを含む。
【００５６】
圧縮処理部３２は、撮影部２１によって取得された映像データにおいて、当該映像データを構成する画像の１つである１画面ごとに圧縮処理を行う。より詳細には、圧縮処理部３２は、当該映像データにおいて、１画面を複数のブロックに分割し、ブロックごとに画像データの圧縮処理を行う。また、圧縮処理部３２は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムをブロックごとに選択可能である。
【００５７】
たとえば、圧縮処理部３２は、ブロックの画像データの圧縮率が所定値Ａ１となるように圧縮処理を行う。詳細には、圧縮処理部３２は、たとえば、圧縮率が所定値Ａ１となるように可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムのいずれか一方を選択する。ここで、圧縮率は、圧縮後のデータサイズを圧縮前のデータサイズで除した値と定義する。また、所定値Ａ１は、ユーザまたは調整部２２により設定変更可能である。
【００５８】
より詳細には、圧縮処理部３２におけるブロック分割部４１は、取得部３１から映像データを受けて１画面分の画面データを確保すると、確保した画面データの示す１画面を複数のブロックに分割する。
【００５９】
具体的には、ブロック分割部４１は、画面データの示す画面を、同じ形状および同じ大きさを有する複数のブロックに分割する。より具体的には、ブロック分割部４１は、画面を１または複数の行ごとにスライスしたブロックに分割したり、１または複数の列ごとにスライスしたブロックに分割したり、縦ｎ個×横ｍ個（ここで、ｎ，ｍは正の整数。）の画素を有するブロックに分割したりする。
【００６０】
なお、各ブロックの形状は任意の形状でよい。また、各ブロックの大きさは任意の大きさでよい。しかしながら、各ブロックの形状および大きさを統一すると、利便性が高まるので好ましい。また、ブロックのサイズが大きくなるほど圧縮率を高めることが可能となるが、処理負荷、処理回路、処理に要するメモリ容量および処理時間が増大するので、適正なサイズにすることが好ましい。
【００６１】
ブロック分割部４１は、ブロックにおける画像データ（以下、ブロックデータとも称する。）をブロックの画面における位置順にデータ分配部４２へ出力する。
【００６２】
データ分配部４２は、ブロック分割部４１から受けるブロックデータを分配する。より詳細には、データ分配部４２は、各ブロックデータを先頭から順に、後段の可逆圧縮部４３において並列処理可能な数ごとに可逆圧縮部４３へ出力する。
【００６３】
可逆圧縮部４３は、たとえば複数の可逆的な圧縮処理を並列して行うことが可能である。可逆圧縮部４３において用いられる可逆圧縮のアルゴリズムは、たとえば専用の半導体集積回路により実装される。ここで、可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが可能なように圧縮することであり、一般に圧縮率が低く、画像により圧縮率が大きく変動する。具体的には、雑音に近い画像の圧縮率は低い。一方、シャープな画像の圧縮率は高い。
【００６４】
より詳細には、可逆圧縮部４３は、データ分配部４２から複数のブロックデータを受けると、受けたブロックデータを並列に可逆的に圧縮し、圧縮後のブロックデータ（以下、可逆ブロックデータとも称する。）を方式選択部４５へ出力する。
【００６５】
圧縮処理部３２は、たとえば、アルゴリズムの選択結果を示す選択情報を作成する。より詳細には、圧縮処理部３２における方式選択部４５は、可逆圧縮部４３から可逆ブロックデータを受けると、受けた可逆ブロックデータのサイズに基づいて、可逆ブロックデータの圧縮率を確認する。
【００６６】
具体的には、方式選択部４５は、可逆ブロックデータのサイズと所定サイズＢＳとの比を算出することにより可逆ブロックデータの圧縮率を確認する。ここで、所定サイズＢＳは、たとえばブロックデータを所定値Ａ１の圧縮率で圧縮したときのサイズである。
【００６７】
方式選択部４５は、確認した圧縮率が所定値Ａ１である場合、すなわち、可逆ブロックデータのサイズが所定サイズＢＳである場合、可逆圧縮を行ったことを示す選択情報および圧縮方法を含む圧縮情報Ｒを可逆ブロックデータに付加する。圧縮情報は、たとえばフラグビットにより表される。
【００６８】
また、方式選択部４５は、可逆ブロックデータのサイズが所定サイズＢＳより小さい場合、可逆ブロックデータにパディングを施すことにより可逆ブロックデータのサイズを所定サイズＢＳにした後、圧縮情報Ｒを可逆ブロックデータに付加する。
【００６９】
また、方式選択部４５は、可逆ブロックデータのサイズが所定サイズＢＳより大きい場合、可逆ブロックデータを破棄するとともに、当該可逆ブロックデータの順番をデータ分配部４２へ通知する。
【００７０】
データ分配部４２は、方式選択部４５から順番の通知を受けると、通知された順番のブロックデータを非可逆圧縮部４４へ出力する。
【００７１】
非可逆圧縮部４４は、たとえば、圧縮後のサイズを設定することが可能な、Ｖｉｓｕａｌｌｙ  Ｌｏｓｓｌｅｓｓ  ＣｏｍｐｒｅｓｓｉｏｎまたはＶｉｓｕａｌｌｙ  Ｒｅｖｅｒｓｉｂｌｅ  Ｃｏｍｐｌｅｓｓｉｏｎと呼ばれるアルゴリズムを用いてブロックデータを非可逆的に圧縮する。非可逆圧縮部４４において用いられる非可逆圧縮のアルゴリズムは、たとえば専用の半導体集積回路に実装される。ここで、非可逆的な圧縮とは、圧縮後のブロックデータを圧縮前のブロックデータに戻すことが不可能なように圧縮することである。
【００７２】
具体的には、非可逆圧縮部４４は、データ分配部４２から受けるブロックデータを、圧縮後のサイズが所定サイズＢＳになるように非可逆的に圧縮し、圧縮後のブロックデータ（以下、非可逆ブロックデータとも称する。）を方式選択部４５へ出力する。
【００７３】
方式選択部４５は、非可逆圧縮部４４から非可逆ブロックデータを受けると、受けた非可逆ブロックデータに、非可逆圧縮を行ったことを示す選択情報と圧縮方法および圧縮パラメータとを含む圧縮情報Ｉを非可逆ブロックデータに付加する。
【００７４】
以下、可逆ブロックデータおよび非可逆ブロックデータの各々を、圧縮ブロックデータとも称する。方式選択部４５は、圧縮ブロックデータを位置順に符号化部４６へ出力する。
【００７５】
符号化部４６は、方式選択部４５から受ける圧縮ブロックデータを符号化し、符号化した圧縮ブロックデータを送信部３３へ出力する。
【００７６】
再び図２を参照して、送信部３３は、圧縮処理部３２によって圧縮処理が行われた映像データを送信する。より詳細には、送信部３３は、符号化された圧縮ブロックデータを符号化部４６から受けると、受けた圧縮ブロックデータをネットワーク１０経由で映像受信装置１１１へ送信する。
【００７７】
再び図１および図３を参照して、圧縮処理部３２は、たとえば、１画面における可逆圧縮ブロックの率Ｒ１を示す情報を出力可能である。
【００７８】
具体的には、圧縮処理部３２における方式選択部４５は、圧縮情報Ｒを付加したブロックデータの数と１画面におけるブロック数との比を算出することにより率Ｒ１を取得する。なお、方式選択部４５は、１画面における特定の領域における率Ｒ１を取得してもよい。方式選択部４５は、取得した率Ｒ１を示す率情報を調整部２２および表示部２３へ出力する。
【００７９】
表示部２３は、方式選択部４５から率情報を受けると、受けた率情報の示す率Ｒ１を表示する。
【００８０】
たとえば、撮影対象物がはっきりと映っている場合、映像データの可逆圧縮における圧縮率は通常高いため、率Ｒ１が高くなる。したがって、圧縮処理後の映像データをどの程度オリジナルの映像データに戻せるかを示す指標として率Ｒ１を用いることができる。ユーザは、表示部２３に表示された率Ｒ１が高くなるように撮影部２１における明るさ、ピントおよび絞り等の撮影条件を調整することにより、圧縮処理および伸長処理を施してもオリジナルの映像に対する同一性が損なわれにくい映像を撮影することができる。また、ユーザは、圧縮処理部３２における圧縮率の目標である所定値Ａ１を適宜設定することにより、率Ｒ１を所望の値に近づける調整をリアルタイムに行うことができる。
【００８１】
調整部２２は、方式選択部４５から率情報を受けると、受けた率情報の示す率Ｒ１を用いて撮影部２１を調整する。より詳細には、調整部２２は、率Ｒ１が高くなるように撮影部２１における上記のような撮影条件を調整する。
【００８２】
また、調整部２２は、率情報の示す率Ｒ１を用いて圧縮処理部３２における圧縮率の目標である所定値Ａ１を調整する。より詳細には、調整部２２は、率Ｒ１が所望の値に近づくよう所定値Ａ１の設定変更を行う。
【００８３】
また、圧縮処理部３２は、たとえば、１画面において可逆圧縮されたブロックの位置を示す位置情報を出力可能である。
【００８４】
具体的には、圧縮処理部３２における方式選択部４５は、可逆圧縮部４３から受ける可逆ブロックデータの順番からブロックの位置を取得し、取得した位置、および可逆ブロックデータに圧縮情報Ｒを付加したか否かに基づいて、１画面において可逆圧縮されたブロックの位置を特定する。
【００８５】
方式選択部４５は、可逆圧縮された各ブロックの位置を示す位置情報を調整部２２および表示部２３へ出力する。
【００８６】
表示部２３は、方式選択部４５から位置情報を受けると、受けた位置情報に基づいて、可逆圧縮されたブロックをマッピングして表示する。
【００８７】
たとえば、映像において、撮影対象物が映っている部分以外の部分が不要な場合がある。このような場合において、たとえば、ユーザは、表示部２３に表示された内容を参照しながら、映像における撮影対象物に含まれるより多くのブロックが可逆圧縮可能となるように、圧縮処理部３２における圧縮率の目標である所定値Ａ１を設定したり、撮影部２１における上記のような撮影条件を調整したりする。
【００８８】
具体的には、たとえば、橋脚におけるひびを検査することを目的として、橋脚および雑草が映り込んだ映像を処理する状況を想定する。雑草の画像データの可逆圧縮率は低い一方、橋脚の画像データの可逆圧縮率は高い。たとえば、ユーザは、表示部２３に表示された内容を参照しながら、映像における雑草の部分の可逆性を考慮することなく、映像における橋脚の部分が可逆圧縮されるように所定値Ａ１を設定変更したり、上記のような撮影条件を調整したりする。
【００８９】
これにより、映像における必要な部分を優先して、オリジナル映像に対する同一性を確保することができる。
【００９０】
調整部２２は、方式選択部４５から位置情報を受けると、受けた位置情報に基づいて、たとえばユーザにより指定された部分に含まれるより多くのブロックが可逆圧縮可能となるように、撮影部２１における上記のような撮影条件の調整、および圧縮処理部３２における圧縮率の目標である所定値Ａ１の設定変更を行う。
【００９１】
図４は、本発明の実施の形態に係る映像伝送システムにおける映像受信装置の構成を示す図である。
【００９２】
図４を参照して、映像受信装置１１１は、受信部５１と、伸長処理部５２とを備える。
【００９３】
映像受信装置１１１における受信部５１は、１画面が複数のブロックに分割され、ブロックごとに画像データの圧縮処理が行われた映像データを受信する。より詳細には、受信部５１は、符号化された圧縮ブロックデータを位置順に映像送信装置１０１から受信すると、受信した圧縮ブロックデータを伸長処理部５２へ出力する。
【００９４】
図５は、本発明の実施の形態に係る映像受信装置における伸長処理部の構成を示す図である。
【００９５】
図５を参照して、伸長処理部５２は、復号化部６１と、伸長部６２と、方式処理部６３と、ブロック合成部６４と、出力部６５とを含む。
【００９６】
伸長処理部５２は、受信部５１によって受信された映像データにおいて、ブロックごとにデータの伸長処理を行う。また、伸長処理部５２は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムをブロックごとに選択可能である。
【００９７】
たとえば、伸長処理部５２は、映像送信装置１０１から受信した選択情報を用いて伸長処理を行う。
【００９８】
より詳細には、伸長処理部５２における復号化部６１は、受信部５１から圧縮ブロックデータを受けると、受けた圧縮ブロックデータを復号化する。
【００９９】
復号化部６１は、復号化した圧縮ブロックデータから圧縮情報Ｒまたは圧縮情報Ｉを取得し、圧縮情報Ｒまたは圧縮情報Ｉを取り除いた圧縮ブロックデータを位置順に伸長部６２へ出力するとともに、取得した圧縮情報Ｒまたは圧縮情報Ｉを位置順に方式処理部６３へ出力する。
【０１００】
方式処理部６３は、復号化部６１から圧縮情報Ｒを受ける場合、受けた圧縮情報Ｒから選択情報および圧縮方法を取得し、取得した選択情報および圧縮方法を伸長部６２へ通知する。
【０１０１】
伸長部６２は、方式処理部６３から通知された選択情報に基づいて、復号化部６１から受ける圧縮ブロックデータが可逆ブロックデータであることを認識し、方式処理部６３から通知された圧縮方法に従って、当該可逆ブロックデータを伸長する。
【０１０２】
一方、方式処理部６３は、復号化部６１から圧縮情報Ｉを受ける場合、受けた圧縮情報Ｉから選択情報、圧縮方法および圧縮パラメータを取得し、取得した選択情報、圧縮方法および圧縮パラメータを伸長部６２へ通知する。
【０１０３】
伸長部６２は、方式処理部６３から通知された選択情報に基づいて、復号化部６１から受ける圧縮ブロックデータが非可逆ブロックデータであることを認識し、方式処理部６３から通知された圧縮方法に従って、方式処理部６３から通知された圧縮パラメータを用いて当該非可逆ブロックデータを伸長する。非伸長部６２において用いられる可逆伸縮のアルゴリズムおよび非可逆伸縮のアルゴリズムは、たとえば専用の半導体集積回路に実装される。
【０１０４】
伸長部６２は、伸長後のブロックデータを位置順にブロック合成部６４へ出力する。
【０１０５】
ブロック合成部６４が、伸長部６２から受けるブロックデータから画面の一部を生成し、生成した画面の一部を伸長部６２から受けた順番に並べることにより１画面を完成させる。ブロック合成部６４は、完成させた１画面を示す画面情報を出力部６５へ出力する。
【０１０６】
出力部６５は、ブロック合成部６４から画面情報を受けると、受けた画面情報の示す１画面を所定のフレーム周期で表示装置１３１に表示させる制御を行う。
【０１０７】
また、伸長処理部５２は、たとえば、映像送信装置１０１から受信した選択情報を出力可能である。具体的には、伸長処理部５２における方式処理部６３は、選択情報を位置順に出力部６５へ出力する。出力部６５は、方式処理部６３から受ける位置順の選択情報、および画面情報を記憶装置１４１に保存する。
【０１０８】
このように、位置順の選択情報を画面情報と共に保存する構成により、画像解析および画像処理において、たとえば、画像情報の示す画面からオリジナル画像との同一性を有する領域を切り出したり、非可逆圧縮された領域をマスキングしたりすることができる。
【０１０９】
また、伸長処理部５２は、たとえば、１画面において可逆伸長されたブロックの率を示す情報を出力可能である。
【０１１０】
具体的には、伸長処理部５２における出力部６５は、位置順の選択情報に基づいて率Ｒ１を取得する。なお、出力部６５は、１画面における特定の領域における率Ｒ１を取得してもよい。出力部６５は、取得した率Ｒ１を、画像情報の示す画面に重ねて表示装置１３１に表示させる制御を行う。
【０１１１】
また、伸長処理部５２は、たとえば、たとえば、１画面において可逆伸長されたブロックの位置を示す情報を出力可能である。
【０１１２】
具体的には、伸長処理部５２における出力部６５は、位置順の選択情報に基づいて、非可逆圧縮されたブロックの画面における位置を取得する。
【０１１３】
出力部６５は、非可逆圧縮されたブロックを黒く塗りつぶした画面を作成し、作成した画面を、画像情報の示す画面に重ねて表示装置１３１に表示させる制御を行う。
【０１１４】
これにより、ユーザは、表示装置１３１に表示された画面から、黒く塗りつぶされた部分が非可逆圧縮された領域であること、および黒く塗りつぶされずに画像の表示されている部分が可逆圧縮された領域であることを認識することができる。
【０１１５】
［動作］
映像伝送システム３０１における映像送信装置１０１および映像受信装置１１１は、コンピュータを備え、当該コンピュータにおけるＣＰＵ等の演算処理部は、以下のシーケンス図またはフローチャートの各ステップの一部または全部を含むプログラムを図示しないメモリからそれぞれ読み出して実行する。これら複数の装置のプログラムは、それぞれ、外部からインストールすることができる。これら複数の装置のプログラムは、それぞれ、記録媒体に格納された状態で流通する。
【０１１６】
図６は、本発明の実施の形態に係る映像送信装置が映像データにおける１画面の圧縮処理を行う際の動作手順を定めたフローチャートである。
【０１１７】
図６を参照して、まず、映像送信装置１０１は、１画面分の映像データを撮影部２１から取得する（ステップＳ１０２）。
【０１１８】
次に、映像送信装置１０１は、取得した１画面分の映像データの示す画面を複数のブロックに分割する（ステップＳ１０４）。
【０１１９】
次に、映像送信装置１０１は、分割した複数のブロックのブロックデータの中からブロックデータを選択し、選択したブロックデータを可逆圧縮処理する（ステップＳ１０６）。
【０１２０】
次に、映像送信装置１０１は、圧縮ブロックデータのデータサイズが、圧縮率が所定値Ａ１に相当するサイズすなわち所定サイズＢＳより大きい場合（ステップＳ１０８でＹＥＳ）、当該ブロックデータを非可逆圧縮処理する（ステップＳ１２０）。
【０１２１】
次に、映像送信装置１０１は、非可逆圧縮処理後の圧縮ブロックデータに圧縮情報Ｉを付加する（ステップＳ１２２）。
【０１２２】
一方、映像送信装置１０１は、圧縮ブロックデータのデータサイズが所定サイズＢＳより小さい場合（ステップＳ１０８でＮＯおよびステップＳ１１０でＹＥＳ）、圧縮ブロックデータのデータサイズが所定サイズＢＳとなるように圧縮ブロックデータにパディングを施す（ステップＳ１１２）。
【０１２３】
次に、映像送信装置１０１は、圧縮ブロックデータのデータサイズが所定サイズＢＳであるか（ステップＳ１０８でＮＯおよびステップＳ１１０でＮＯ）、または圧縮ブロックデータにパディングを施すと（ステップＳ１１２）、圧縮ブロックデータに圧縮情報Ｒを付加する（ステップＳ１１４）。
【０１２４】
次に、映像送信装置１０１は、圧縮ブロックデータに圧縮情報Ｉを付加するか（ステップＳ１２２）、または圧縮ブロックデータに圧縮情報Ｒを付加すると（ステップＳ１１４）、すべてのブロックデータを選択したか否かを確認する（ステップＳ１１６）。
【０１２５】
映像送信装置１０１は、すべてのブロックデータを選択していないことを確認すると（ステップＳ１１６でＮＯ）、分割した複数のブロックのブロックデータの中から新たなブロックデータを選択し、選択したブロックデータを可逆圧縮処理する（ステップＳ１０６）。
【０１２６】
一方、映像送信装置１０１は、すべてのブロックデータを選択したことを確認すると（ステップＳ１１６でＹＥＳ）、圧縮ブロックデータを位置順に映像受信装置１１１へ送信する（ステップＳ１１８）。
【０１２７】
なお、映像送信装置１０１は、ブロックデータを可逆圧縮処理してから（ステップＳ１０６）、圧縮ブロックデータのデータサイズが所定サイズＢＳより大きいブロックの画像データを非可逆圧縮処理したが（ステップＳ１０８でＹＥＳおよびステップＳ１２０）、これに限定するものではない。映像送信装置１０１は、ブロックデータを非可逆圧縮処理してから、当該ブロックデータを可逆圧縮処理してもよいし、非可逆圧縮処理および可逆圧縮処理を並行して行ってもよい。
【０１２８】
また、映像送信装置１０１は、ブロックデータを可逆圧縮処理してから（ステップＳ１０６）、圧縮ブロックデータのデータサイズが所定サイズＢＳより大きいか否かを判定したが（ステップＳ１０８）、これに限定するものではない。映像送信装置１０１は、ブロックデータの可逆圧縮処理の途中において、圧縮処理後のデータサイズが所定サイズＢＳより大きくなることが明らかになったとき、当該可逆圧縮処理を中断して非可逆圧縮処理を開始してもよい。
【０１２９】
映像送信装置１０１が、１画面分の映像データを撮影部２１から取得するごとに上記ステップＳ１０２〜Ｓ１２２の動作を行うことにより、複数の画面の画面データを含む映像データの圧縮処理が行われる。
【０１３０】
図７は、本発明の実施の形態に係る映像受信装置が映像データにおける１画面の伸長処理を行う際の動作手順を定めたフローチャートである。
【０１３１】
図７を参照して、まず、映像受信装置１１１は、映像送信装置１０１から送信される圧縮ブロックデータを取得する（ステップＳ２０２）。
【０１３２】
次に、映像受信装置１１１は、圧縮ブロックデータに付加された圧縮情報Ｒまたは圧縮情報Ｉに基づいて、当該圧縮ブロックデータが可逆圧縮されたか否かを判定する（ステップＳ２０４）。
【０１３３】
映像受信装置１１１は、当該圧縮ブロックデータが可逆圧縮されたと判定すると（ステップＳ２０４でＹＥＳ）、圧縮データＲに基づいて、当該圧縮ブロックデータすなわち可逆ブロックデータを伸長する（ステップＳ２０６）。
【０１３４】
一方、映像受信装置１１１は、当該圧縮ブロックデータが非可逆圧縮されたと判定すると（ステップＳ２０４でＮＯ）、圧縮データＩに基づいて、当該圧縮ブロックデータすなわち非可逆ブロックデータを伸長する（ステップＳ２１４）。
【０１３５】
次に、映像受信装置１１１は、可逆ブロックデータを伸長するか（ステップＳ２０６）、または非可逆ブロックデータを伸長すると（ステップＳ２１４）、１画面分のブロックデータが蓄積されたか否かを判定する（ステップＳ２０８）。
【０１３６】
映像受信装置１１１は、１画面分のブロックデータが蓄積されていないと判定すると（ステップＳ２０８でＮＯ）、映像送信装置１０１から送信される新たな圧縮ブロックデータを取得する（ステップＳ２０２）。
【０１３７】
一方、映像受信装置１１１は、１画面分のブロックデータが蓄積されたと判定すると（ステップＳ２０８でＹＥＳ）、蓄積したブロックデータを用いて１画面を生成する（ステップＳ２１０）。
【０１３８】
次に、映像受信装置１１１は、生成した１画面を所定のフレーム周期で表示装置１３１に表示する制御を行う（ステップＳ２１２）。
【０１３９】
映像受信装置１１１が、１画面分のブロックデータを蓄積し、蓄積したブロックデータを用いて生成した１画面を表示装置１３１に表示する上記ステップＳ２０２〜Ｓ２１２の動作を繰り返し行うことにより、複数の画面の画面データを含む映像データの伸長処理が行われる。
【０１４０】
なお、本発明の実施の形態に係る映像送信装置では、圧縮処理部３２は、ブロックデータの圧縮率が所定値Ａ１となるように圧縮処理を行う構成であるとしたが、これに限定するものではない。圧縮処理部３２は、当該圧縮率が所定範囲となるように圧縮処理を行う構成であってもよい。たとえば、圧縮処理部３２は、ブロックデータを可逆圧縮したときのデータサイズが、圧縮率の所定範囲における上限値に相当するサイズより大きい場合、当該サイズ以下を目標として当該ブロックデータを非可逆圧縮する。一方、圧縮処理部３２は、ブロックデータを可逆圧縮したときのデータサイズが、圧縮率の所定範囲における下限値に相当するサイズより小さい場合、データサイズが当該サイズになるようにパディングを施す。
【０１４１】
また、本発明の実施の形態に係る映像送信装置では、圧縮処理部３２は、１画面において可逆圧縮されたブロックの率Ｒ１を示す情報を出力する構成であるとしたが、これに限定するものではない。圧縮処理部３２は、１画面において非可逆圧縮されたブロックの率を示す情報を出力する構成であってもよい。
【０１４２】
また、本発明の実施の形態に係る映像受信装置では、伸長処理部５２は、１画面において可逆伸長されたブロックの率Ｒ１を示す情報を出力する構成であるとしたが、これに限定するものではない。伸長処理部５２は、１画面において非可逆伸長されたブロックの率を示す情報を出力する構成であってもよい。
【０１４３】
また、本発明の実施の形態に係る映像送信装置では、圧縮処理部３２は、１画面において可逆圧縮されたブロックの位置を示す情報を出力する構成であるとしたが、これに限定するものではない。圧縮処理部３２は、１画面において非可逆圧縮されたブロックの位置を示す情報を出力する構成であってもよい。
【０１４４】
また、本発明の実施の形態に係る映像受信装置では、伸長処理部５２は、１画面において可逆伸長されたブロックの位置を示す情報を出力する構成であるとしたが、これに限定するものではない。伸長処理部５２は、１画面において非可逆伸長されたブロックの位置を示す情報を出力する構成であってもよい。
【０１４５】
また、本発明の実施の形態に係る映像送信装置では、伸長処理部５２は、映像送信装置１０１から受信した選択情報を用いて伸長処理を行う構成であるとしたが、これに限定するものではない。伸長処理部５２は、選択情報を用いず伸長処理を行う構成であってもよい。具体的には、たとえば、伸長処理部５２は、ブロックごとの画像データを可逆伸長することを試みる。伸長処理部５２は、可逆伸長処理に成功すると、伸長後の画像データを採用し、可逆伸長処理に失敗すると、当該画像データを非可逆伸長する。
【０１４６】
ところで、たとえば、８Ｋ  ＵＨＤＴＶのような超高精細のデジタル映像は、データレートが数十Ｇｂｐｓ以上に達するため、伝送、蓄積および画像処理を行うためには、高速・大規模論理回路および大容量メモリ等の非常に大きな資源を必要とする。
【０１４７】
この問題を解決するため、目的とする処理の前に映像信号を圧縮することが行われる。放送システムにおいて、伝送前に映像を圧縮し、ＴＶ受像機で提示する際に伸長することは、一つの典型的な例となっている。放送で用いられる非特許文献１に記載のＨ．２６５等の圧縮方式では、高い圧縮率を実現するため、空間周波数処理および高度な符号化等の複雑な演算に加えて、フレーム内およびフレーム間の相関を利用しており、圧縮および伸長の際に複数枚の画像の情報を使った一括処理が必要であるため、処理の負荷が非常に重い。その上、遅延時間も通常は３秒を越え、遅延時間が大きくなる事が避けられない。また、圧縮率についても変動が大きい。
【０１４８】
また、実用的な圧縮率たとえば数分の一以下を確保するために、圧縮および伸長の過程は非可逆となる。非可逆の圧縮および伸長の過程では、モザイクノイズ、モスキートノイズおよびシマリングといったデジタルノイズが重畳される。デジタルノイズの種類、形状、大きさおよび発生場所については、圧縮アルゴリズムに固有な特性であり、画像および画像間の繋がり（連続関係）にも依存する為、予測をすることが困難である。
【０１４９】
このような特性は画像解析および画像処理には不適合であるため、あらかじめ全画面を長方形のブロックまたは複数ラインのスライスに分割したうえで、小領域を圧縮する方法が考えられる。しかしながら、非可逆な特性および予測が困難なデジタルノイズの重畳等の解決が困難である。このため、厳格な処理結果が求められる応用分野では、オリジナル映像の処理が求められている。
【０１５０】
これに対して、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１は、映像データを取得し、取得した映像データにおいて、１画面を複数のブロックに分割し、ブロックごとに画像データの圧縮処理を行い、圧縮処理を行った映像データを送信する。映像受信装置１１１は、映像送信装置１０１から受信した映像データにおいて、ブロックごとに画像データの伸長処理を行う。映像送信装置１０１は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムをブロックごとに選択可能である。そして、映像受信装置１１１は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムをブロックごとに選択可能である。
【０１５１】
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを映像受信装置１１１において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを映像受信装置１１１において復元することができる。また、画面間の画像データを用いて圧縮処理を行わないので、処理負荷を軽減することができる。すなわち、映像送信装置１０１および映像受信装置１１１間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【０１５２】
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１は、ブロックの画像データの圧縮率が所定値または所定範囲となるように圧縮処理を行う。
【０１５３】
このような構成により、各ブロックの圧縮後のデータサイズをある程度揃えることができるので、伝送レートの大きな変動および圧縮率の大きな変動を抑制することができる。これにより、オリジナル映像との同一性をより多く確保しながら、映像データを映像送信装置１０１から映像受信装置１１１へ効率よく伝送することができる。また、圧縮率を所定値にする場合、圧縮率の変動を吸収するためのバッファを不要とすることができる。また、遅延時間をほぼ一定にすることができるので、圧縮処理のアルゴリズムをハードウェアで容易に実現することができる。これにより、遅延時間を数ミリ秒程度に抑制することができるので、より多くのオリジナル映像をリアルタイムで伝送することができる。
【０１５４】
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１は、圧縮率が所定値または所定範囲となるように可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムのいずれか一方を選択する。
【０１５５】
このような構成により、所定値または所定範囲を圧縮処理の目標として、圧縮効率が低いけれどもオリジナルのデータを再現可能な可逆圧縮、および可逆圧縮では目標に到達しない場合にオリジナルのデータに近くかつ目標に到達することが可能な非可逆圧縮のいずれかを適宜選択することができる。
【０１５６】
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１は、アルゴリズムの選択結果を示す選択情報を作成して送信する。そして、映像受信装置１１１は、映像送信装置１０１から受信した選択情報を用いて伸長処理を行う。
【０１５７】
このような構成により、映像受信装置１１１では、ブロックに施された圧縮処理が可逆であるか非可逆であるかを選択情報から容易に認識することができるので、伸長処理を効率よく行うことができる。
【０１５８】
また、本発明の実施の形態に係る映像伝送システムでは、映像受信装置１１１は、映像送信装置１０１から受信した選択情報を出力可能である。
【０１５９】
このような構成により、オリジナル映像との同一性についての品質を適切に管理することができる。具体的には、伸長処理後の映像において、同一性を保った映像部分と同一性が損なわれた映像部分とを提示することができるので、伸長処理後の映像の正確性を評価することができる。これにより、伸長処理後の映像が、医療、高精度な産業またはミッションクリティカルな監視等の厳格な用途に適用可能か否かを判断することができる。
【０１６０】
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１および映像受信装置１１１の少なくともいずれか一方は、１画面において可逆圧縮または可逆伸長されたブロックの率を示す情報を出力可能である。
【０１６１】
このような構成により、伸長処理後の映像のオリジナル映像に対する忠実度を定量化することができるので、たとえば、オリジナル映像の撮影条件の調整をリアルタイムで行うことができる。
【０１６２】
また、本発明の実施の形態に係る映像伝送システムでは、映像送信装置１０１および映像受信装置１１１の少なくともいずれか一方は、１画面において可逆圧縮または可逆伸長されたブロックの位置を示す情報を出力可能である。
【０１６３】
このような構成により、たとえば、可逆圧縮されたブロックをマップ化し、伸長処理後の映像と重ね合わせることで、オリジナル映像と伸長処理後の映像との比較処理を行うことなく同一性を保った映像部分を確定することができる。これにより、たとえば、伸長処理後の映像の提示または解析処理において、オリジナル映像を用いた場合と同一の結果を得ることが可能な映像部分を認識することができる。
【０１６４】
また、本発明の実施の形態に係る映像送信装置では、取得部３１は、映像データを取得する。圧縮処理部３２は、取得部３１によって取得された映像データにおいて、１画面を複数のブロックに分割し、ブロックごとに画像データの圧縮処理を行う。送信部３３は、圧縮処理部３２によって圧縮処理が行われた映像データを送信する。そして、圧縮処理部３２は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムをブロックごとに選択可能である。
【０１６５】
このような構成により、可逆圧縮のアルゴリズムを適用したブロックについては、圧縮処理負荷を軽くするとともに、オリジナル映像に対する同一性を保持した画像データを送信先の装置において復元することができる。また、非可逆圧縮のアルゴリズムを適用したブロックについては、伝送時のデータサイズを小さくするとともに、オリジナル映像に近い画像データを送信先の装置において復元することができる。また、画面間の画像データを用いて圧縮処理を行わないので、処理負荷を軽減することができる。すなわち、映像送信装置１０１および送信先の装置間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別をブロックごとに適宜選択し、ブロックごとの圧縮処理を施した画像データを伝送することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【０１６６】
また、本発明の実施の形態に係る映像受信装置では、受信部５１は、１画面が複数のブロックに分割され、ブロックごとに画像データの圧縮処理が行われた映像データを受信する。伸長処理部５２は、受信部５１によって受信された映像データにおいて、ブロックごとに画像データの伸長処理を行う。そして、伸長処理部５２は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムをブロックごとに選択可能である。
【０１６７】
このような構成により、可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に対する同一性を保持した画像データを復元することができる。また、非可逆圧縮のアルゴリズムが適用されたブロックについては、オリジナル映像に近い画像データを復元することができる。すなわち、映像データの送信元の装置および映像受信装置１１１間のデータ伝送能力と、より多くのオリジナル映像を送信する目的とのバランスを考慮しながら、可逆圧縮または非可逆圧縮の別がブロックごとに適宜選択され、ブロックごとの圧縮処理が当該送信元の装置において施された画像データを受信して復元することができる。したがって、オリジナル映像との同一性および伝送レートを考慮した適切な映像伝送を実現することができる。
【０１６８】
上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記説明ではなく特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【０１６９】
以上の説明は、以下に付記する特徴を含む。
【０１７０】
［付記１］
映像データを取得し、取得した前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行い、前記圧縮処理を行った前記映像データを送信する映像送信装置と、
前記映像送信装置から受信した前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う映像受信装置とを備え、
前記映像送信装置は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、
前記映像受信装置は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能であり、
前記各ブロックの形状および大きさは同じであり、
前記可逆圧縮のアルゴリズム、前記非可逆圧縮のアルゴリズム、前記可逆伸長のアルゴリズムおよび前記非可逆伸長のアルゴリズムは、半導体集積回路に実装される、映像伝送システム。
【０１７１】
［付記２］
映像データを取得する取得部と、
前記取得部によって取得された前記映像データにおいて、１画面を複数のブロックに分割し、前記ブロックごとに画像データの圧縮処理を行う圧縮処理部と、
前記圧縮処理部によって前記圧縮処理が行われた前記映像データを送信する送信部とを備え、
前記圧縮処理部は、可逆圧縮のアルゴリズムおよび非可逆圧縮のアルゴリズムを前記ブロックごとに選択可能であり、
前記各ブロックの形状および大きさは同じであり、
前記可逆圧縮のアルゴリズムおよび前記非可逆圧縮のアルゴリズムは、半導体集積回路に実装される、映像送信装置。
【０１７２】
［付記３］
１画面が複数のブロックに分割され、前記ブロックごとに画像データの圧縮処理が行われた映像データを受信する受信部と、
前記受信部によって受信された前記映像データにおいて、前記ブロックごとに画像データの伸長処理を行う伸長処理部とを備え、
前記伸長処理部は、可逆伸長のアルゴリズムおよび非可逆伸長のアルゴリズムを前記ブロックごとに選択可能であり、
前記各ブロックの形状および大きさは同じであり、
前記可逆伸長のアルゴリズムおよび前記非可逆伸長のアルゴリズムは、半導体集積回路に実装される、映像受信装置。
【符号の説明】
【０１７３】
１０  ネットワーク
２１  撮影部
２２  調整部
２３  表示部
３１  取得部
３２  圧縮処理部
３３  送信部
４１  ブロック分割部
４２  データ分配部
４３  可逆圧縮部
４４  非可逆圧縮部
４５  方式選択部
４６  符号化部
５１  受信部
５２  伸長処理部
６１  復号化部
６２  伸長部
６３  方式処理部
６４  ブロック合成部
６５  出力部
１０１  映像送信装置
１１１  映像受信装置
１２１  ビデオカメラ
１３１  表示装置
１４１  記憶装置
３０１  映像伝送システム
【図１】
2017225021.tif 000003
【図２】
2017225021.tif 000004
【図３】
2017225021.tif 000005
【図４】
2017225021.tif 000006
【図５】
2017225021.tif 000007
【図６】
2017225021.tif 000008
【図７】
2017225021.tif 000009