(57)【要約】【課題】従来技術ではエラーのない参照画像データを平行移動してコンシールメント用の画像が生成されるため、カメラのズーミング操作のように表示対象の大きさが変化したり、回転したりする映像では、コンシール部分の映像が周囲と異なる映像となってしまうという問題点があった。【解決手段】誤りのある画像を検出し、その画像を含む複数の画像領域に対応した動きベクトルの相互の関係に基づき、参照用の画像領域を平行移動して生成するか、拡大射影して生成するかを判定して修復用の画像を生成する。【選択図】  図１
2014078898.tif 000002
【特許請求の範囲】
【請求項１】
画像情報に誤りが生じたときに前記画像情報を修正する画像処理装置であって、
前記画像情報の誤りを検出する誤り検出部と、
前記画像情報を構成する画像領域の動きベクトルを格納する動きベクトル格納部と、
前記誤り検出部が前記画像情報の誤りを検出した場合、前記画像情報の少なくとも一部を含む修正領域が前記画像情報と異なる時刻の画像領域である参照領域の平行移動により生成されたか、変形により生成されたかを判定する変形判定部と、
前記修正領域の修正に用いる画像を生成する画像生成部とを備え、
前記変形判定部は前記動きベクトル格納部に格納された前記修正領域を構成する複数の画像領域に対応する複数の動きベクトルの相互の関係に基づき、前記修正領域が前記参照領域の平行移動により生成されたか、変形により生成されたかを判定し、
前記変形判定部の判定結果に対応して、前記画像生成部は前記参照領域を平行移動又は変形することにより、前記修正領域の修正に用いる画像を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記変形判定部は前記複数の動きベクトルの大きさの相互の関係と前記複数の動きベクトルの方向の相互の関係に基づき、前記修正領域が前記参照領域のズームによる変形であるか否かを判定し、
前記変形判定部が画像のズームによる変形であると判定した場合、前記画像生成部は前記参照領域を前記修正領域へ射影変換することで前記修正領域の修正に用いる画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記変形判定部は前記複数の動きベクトルの大きさの相互の関係と前記複数の動きベクトルの方向の相互の関係に基づき、前記修正領域が前記参照領域の回転による変形であるか否かを判定し、
前記変形判定部が画像の回転による変形であると判定した場合、前記画像生成部は前記参照領域を前記修正領域へ回転変換することで前記修正領域の修正に用いる画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記変形判定部は前記複数の動きベクトルの大きさの相互の関係と前記複数の動きベクトルの方向の相互の関係に基づき、画像のズームによる変形であるか、画像の回転による変形であるか、否かを判定し、
前記変形判定部が画像のズームによる変形であると判定した場合、前記画像生成部は前記参照領域を前記修正領域へ射影変換することで前記修正領域の修正に用いる画像を生成し、
前記変形判定部が画像の回転による変形であると判定した場合、前記画像生成部は前記参照領域を前記修正領域へ回転変換することで前記修正領域の修正に用いる画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記修正領域は誤りの検出された画像情報を修正するためのコンシールメント対象画像領域の一部であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記修正領域は誤りの検出された画像情報を修正するためのコンシールメント対象画像領域と同一であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示する画像に隠ぺい処理を施す画像処理装置に関するものである。
【背景技術】
【０００２】
ＴＶ放送用の素材伝送などにおいては、リアルタイム映像符号化装置および復号装置を使用したシステムが数多く使用されている。本システムでは、カメラ等からの入力画像をリアルタイムに符号化し、符号化されたデータを蓄積することなく送信局から受信局へ伝送する。受信局では受信データを復号してそのまま利用する。
【０００３】
本利用形態では、送信局はデータを蓄積していないためデータの再送を行えず、受信局において画像復号時に障害が発生した場合、正しく復号できなかった。そのため、受信局では消失した画像を復元する隠ぺい処理（エラーコンシールメント処理）を施して表示する手法が多く用いられている。
【０００４】
このエラーコンシールメント処理としては、エラー発生前の映像をそのまま表示したり、同じ画像内で正常復号された近傍の画像を加工して、隠ぺい用の画像を作成するものがある。例えば特許文献１では、カメラの向きを変化させて撮影されたパーン映像において、エラーブロック近傍における画像の動きベクトルを用いて、エラーブロックの動きベクトルを予測する手法が示されている。ここで、動きベクトルは基準となるフレームの参照画像からの動きをベクトルとして表現する動画データの表現方法である。本手法では、エラーブロックの動きベクトルが予測されると、エラー発生前の正しく復号された参照画像データをその動きベクトルに基づき平行移動することで、隠ぺい用の画像を作成する。このようなエラーコンシールメント処理により、エラー発生前の映像をそのまま表示する方式に比べて、違和感の少ない画像を生成できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２０３５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来技術ではエラーのない参照画像データを平行移動して隠ぺい用の画像が生成されるため、カメラのズーミング操作のように表示対象の大きさが変化したり、回転したりする画像においてエラーが発生した場合には、参照画像データと隠ぺい対象となる画像部分（コンシール部分）の大きさが異なってしまう。その結果、コンシール部分の映像が周囲と異なる映像となってしまうという問題点があった。
【０００７】
この発明は上記のような問題点を解決するためになされたもので、映像中のエラーを含む箇所がズーミングや回転などを含む場合にも、違和感の少ないコンシール映像を生成することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明における画像情報に誤りが生じたときに前記画像情報を修正する画像処理装置は、前記画像情報の誤りを検出する誤り検出部と、前記画像情報を構成する画像領域の動きベクトルを格納する動きベクトル格納部と、前記誤り検出部が前記画像情報の誤りを検出した場合、前記画像情報の少なくとも一部を含む修正領域が前記画像情報と異なる時刻の画像領域である参照領域の平行移動により生成されたか、変形により生成されたかを判定する変形判定部と、前記修正領域の修正に用いる画像を生成する画像生成部とを備え、前記変形判定部は前記動きベクトル格納部に格納された前記修正領域を構成する複数の画像領域に対応する複数の動きベクトルの相互の関係に基づき、前記修正領域が前記参照領域の平行移動により生成されたか、変形により生成されたかを判定し、前記変形判定部の判定結果に対応して、前記画像生成部は前記参照領域を平行移動又は変形することにより、前記修正領域の修正に用いる画像を生成することを特徴とする。
【発明の効果】
【０００９】
本発明にかかる画像処理装置では、映像中のエラーを含む箇所がズーミングや回転などを含む場合にも、違和感の少ないコンシール映像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態１に係る画像復号装置を示す構成図。
【図２】本発明の実施の形態１に係るエラーコンシールメント処理部の構成。
【図３】本発明の実施の形態１に係る変形判定部の処理フロー。
【図４】本発明の実施の形態１に係る変形判定部における変形判定の処理フロー。
【図５】本発明の実施の形態１においてズーム変形の判定を行う際の推定動きベクトル。
【図６】本発明の実施の形態１に係るコンシールメント画像生成部における動作。
【図７】本発明の実施の形態２に係る変形判定部での回転変形の判定の処理フロー。
【図８】本発明の実施の形態２において回転変形の判定を行う際の推定動きベクトル。
【図９】本発明の実施の形態２におけるコンシールメント画像の生成。
【発明を実施するための形態】
【００１１】
実施の形態１．
図１は本発明の実施の形態１におけるエラーコンシールメント処理を実装した画像復号装置の構成図である。
【００１２】
図において１００は画像復号装置、１０１は受信部、１０２は分離部、１０３は画像復号部、１０４は音声復号部、１０５はデータ復号部、１０６はエラーコンシールメント処理部、１０７はメディアデータの出力処理を行う後処理部である。
【００１３】
図１に基づき、画像復号装置１００の動作について説明する。画像復号装置１００では、符号化された画像を含むデータが装置外部より受信部１０１に入力される。受信部１０１において受信処理をなされた符号化データは、分離部１０２において画像、音声等のメディア毎のデータに分離される。分離されたデータはメディアごとに画像復号部１０３、音声復号部１０４、データ復号部１０５においてそれぞれ復号される。画像復号部１０３において復号処理が行われた画像データに対しては、エラーコンシールメント処理部１０６において本発明に基づくエラーコンシールメント処理が行われる。エラーコンシールメント処理部１０６から出力された画像データは音声復号部１０４及びデータ復号部１０５から出力された復号データと後処理部１０７において統合され、画像復号装置１００から出力される。本発明のエラーコンシールメント処理部１０６は音声、データ復号部の有無にかかわらず利用できる。また、画像はいかなる方法で符号化されて構わないが、代表的な一例として、可変長符号化方式を用いても構わない。
【００１４】
画像復号部１０３は受信データを復号し、画像データとともに、動きベクトル、エラー信号を出力する。ここで、動きベクトルは対象画像データとは異なる時刻の基準となる参照画像からの動きをベクトルとして表現する動画データの表現方法である。ここでは、所定時間内の画像データを参照画像データとして、分割された画像の領域ごとに動きベクトルを表している。一方、エラー信号は分割された画像の領域ごとに復号に誤りがあったか否かを示す信号である。一例として、画像の分割領域はマクロブロック単位の分割領域とすることができる。ここで、マクロブロックはある大きさに区切って符号化される画像データの単位のことであり、例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）では、１６×１６画素単位のマクロブロックが用いられている。
【００１５】
図２は本発明のエラーコンシールメント処理部１０６の内部構成を示した図である。エラーコンシールメント処理部１０６は、画像データ蓄積部２０１、動きベクトル格納部２０２、誤り検出部２０３、コンシールメント画像生成部２０４、変形判定部２０５、出力画像選択部２０６により構成される。
【００１６】
次にエラーコンシールメント処理部１０６の動作について説明する。エラーコンシールメント処理部１０６では、画像復号部１０３からの出力を受信する。画像復号部１０３から出力された画像データ、動きベクトル、エラー信号はそれぞれ画像データ蓄積部２０１、動きベクトル格納部２０２、誤り検出部２０３に蓄積される。誤り検出部２０３ではエラー信号に基づき対象画像にエラーがあるか否かを検出する。誤り検出部２０３はエラーを検出しなかった場合、出力画像選択部２０６に画像データ蓄積部からの画像データを選択するよう指示する。一方、誤り検出部２０３はエラーを検出した場合、コンシールメント画像生成部２０４および変形判定部２０５にコンシールメント画像を生成するよう指示する。さらに、出力画像選択部２０６にコンシールメント画像生成部２０４からの出力を選択するよう指示する。その結果、エラーコンシールメント処理部１０６からは、エラーのない場合にはコンシールメント処理の行われていない画像、エラーのある場合にはコンシールメント処理の行われた画像が出力される。
【００１７】
なお、誤り検出部２０３では画像復号部１０３から通知されたエラー信号に基づき対象画像にエラーがあるか否かを検出した。しかし、これ以外の構成として、復号を行いエラーを検出する画像復号部１０３の機能を誤り検出部２０３の機能に含める構成も可能である。この場合、誤り検出部２０３では、受信信号を復号してエラーを検出する機能を含む構成となる。このように、本発明における誤り検出機能はエラー信号を受信して誤り検出を行う構成に限られるものではなく、受信信号を復号してエラーを検出する機能とすることもできる。
【００１８】
図３は変形判定部２０５における処理制御手順を示すフローである。変形判定部２０５は、誤り検出部２０３からコンシールメント画像を生成するよう指示を受けると、まずエラーの発生したスライスを抽出する（Ｓ３０１）。ここで、スライスはコンシールメントを行う画像修正領域の単位であり、少なくともエラーの発生した画像情報の一部を含んでいる。次に、スライスを複数の小領域に分割する（Ｓ３０２）。ここで、分割された小領域は１または複数のマクロブロックにより構成される領域である。次に、動きベクトル格納部２０２からマクロブロック単位の動きベクトルを獲得した後、分割された小領域の推定動きベクトルを算出する（Ｓ３０３）。分割された小領域が１つのマクロブロックにより構成されている場合、その動きベクトルを推定動きベクトルとする。分割された小領域が複数のマクロブロックにより構成されている場合、複数のマクロブロックに対応する複数の動きベクトルから、一つの代表的な推定動きベクトルを算出する。算出方法としては、複数の動きベクトルの各要素のメジアン値または平均値を算出する方法、また前記手法により算出されたベクトル値に一番近いベクトルを複数の動きベクトルの中から選択する方法などがある。次に、分割された複数の小領域に対応して算出された複数の推定動きベクトルの相互のパターンに基づき、変形判定部２０５では画像修正領域が参照領域の平行移動により生成されたか、変形により生成されたかを判定する（Ｓ３０４）。ここで、変形とはズームなどが含まれる状態を示しており、変形の判定処理の詳細は後に図４を用いて説明する。変形と判定された場合、変形判定部２０５はコンシールメント画像生成部２０４に変形を伴うコンシールメント画像を生成するよう指示する（Ｓ３０５）。変形と判定されなかった場合には、コンシールメント画像生成部２０４に従来手法のように動きベクトルの平行移動によりコンシールメント画像を生成するよう指示する（Ｓ３０６）。
【００１９】
図４は変形判定部２０５においてＳ３０４の変形の判定を行う処理手順を示すフローである。判定にあたって、スライス内の各領域における一定割合以上の推定動きベクトルの大きさが一定範囲内のばらつきであったり、一定の誤差範囲内にある場合にはズーム変形の可能性があると判断する（Ｓ４０１）。ズーム変形の可能性があると判断された場合には、一定範囲内のばらつきの大きさの動きベクトルをもつ各領域の中心からそのベクトルの接線方向に延長した線を描く（Ｓ４０２）。その延長した線が１点を中心とする一定の誤差範囲内を通過するか否かを判断し（Ｓ４０３）、誤差範囲内を通過する場合、その点を中心としたズーム変形をしていると判定し（Ｓ４０４）、Ｓ３０５に進む。一方、Ｓ４０１においてズーム変形の可能性があると判定されなかった場合、またはＳ４０３においてその延長した線が１点を中心とする一定の誤差範囲内を通過しなかった場合には、ズーム変形でないと判定し（Ｓ４０５）、Ｓ３０６に進む。このような制御により、扱う画像がズーム変形に該当するか否かを判定し、画像の形式に応じたコンシールメント処理を行うことができる。
【００２０】
これまでの説明では、エラーの発生した画像情報の一部を含むコンシールメントを行う画像修正領域をスライスとした。一方、エラーの発生した画像情報全てを修正する領域をコンシール対象領域として定義する。スライスはコンシール対象領域の一部とすることもできるし、同一とすることもできる。以下では、スライスがコンシール対象領域と同一である場合を例にとって説明を行う。
【００２１】
図５にズーム変形の判定を行う際の推定動きベクトルの様子を示す。本図では、網かけ部のコンシール対象領域（スライス）５０１において、大きさが一定範囲内のばらつきの推定動きベクトル５０２、５０３、５０４、５０５を有する各領域を選定し、各領域からベクトルの接線方向に延長した線を描いている。図５では延長した線がある中心点５０６（ズーム中心点と呼ぶ）を中心とする一定の誤差範囲内を通過しているとき、画像がズーム変形していると判定する。ズーム中心点５０６の求め方にはさまざまな方法があるが、一例として各延長線の交点の重心または各交点の座標の平均値としても構わない。
【００２２】
図６は変形判定部２０５においてズーム変形と判定された際のコンシールメント画像生成部２０４における画像生成動作について示している。図６において、６０１はコンシール対象領域、６０２は推定動きベクトル、６０３は参照領域、６０４はズーム中心点を表す。コンシールメント画像生成にあたっては、動きベクトルの基準となる所定時間異なる画像の参照領域を画像データ蓄積部２０１から読み出し、動きベクトル格納部２０２から読みだされた推定動きベクトルを用いて、隠ぺい用の画像データ６０１を生成する。具体的には、コンシール対象領域の４隅とズーム中心点６０４を結ぶ線分上において、推定動きベクトルの大きさの分だけ移動した４隅を移動前の４隅の座標として導出し、この４点により囲まれた領域を参照領域とする。次に、参照領域をコンシールメント対象領域へと射影変換することで、コンシールメント画像を生成する。ここで変換の方式は射影変換ではなく、別の方法であってもかまわない。
【００２３】
以上のような処理を行うことで、コンシールメントを行う画像がズーム画像であった場合にも、その中心点とズームの度合いを把握することで違和感の少ないコンシール画像を生成できる。また、ズームが変形であるか否かを判定し、画像の種類に応じたコンシールメント処理を行うことにより、画像の種類に応じて適切なコンシールメント処理を行うことができる。
【００２４】
実施の形態２．
実施の形態１ではカメラ等によりズームされた映像に対するコンシールメント処理を扱ったのに対し、本実施の形態ではカメラの回転等の影響を受けた映像に対するコンシールメント処理を開示する。
【００２５】
映像の変形には、カメラの回転等の影響を受けた回転による映像の変形も考えられる（以後、回転変形と呼ぶ）。そこで、本実施の形態では、回転変形に対応した処理を開示する。なお、変形判定処理、コンシールメント画像の生成処理以外の処理は実施の形態１と同じであり、説明を省略する。
【００２６】
図７に変形判定部２０５において行われる回転変形の判定を行う処理フローを示す。Ｓ７０１はＳ４０１と同様に行われる。実施の形態１では各領域から推定動きベクトルの接線方向に線を延長したが、その代わりに本実施の形態では、各領域の中心から推定動きベクトルの法線方向に線を延長する（Ｓ７０２）。次に、一定の割合以上の延長線が１点を中心とする一定の誤差範囲内を通過するか否かを判定する（Ｓ７０３）。具体的には、回転中心点の近傍を通過する延長線の数を算出し、その延長線の割合が所定値以上か否かに応じて判定を行う。回転中心点は各延長線の交点の重心または各交点の座標の平均値であっても構わない。Ｓ７０３において一定の割合以上の延長線が１点を中心とする一定の誤差範囲内にある場合には、対応する推定動きベクトルの両端と中心点との間の角度θを導出する。この角度θが推定動きベクトルによらず一定の誤差範囲内にあった場合（Ｓ７０４）、画像は回転変形していると判定する（Ｓ７０５）。Ｓ７０４において一定の割合以上の延長線が１点を中心とする一定の誤差範囲内にない場合、又は、Ｓ７０５において角度θが推定動きベクトルによって一定範囲内のばらつきでない場合には回転変形でないと判定する（Ｓ７０６）。
【００２７】
図８に回転変形の判定を行う際の推定動きベクトルの様子を示す。本図では、網かけ部のコンシール対象領域（スライス）８０１において、大きさが一定範囲内のばらつきの推定動きベクトル８０２、８０３、８０４、８０５を有する各領域を選定し、各領域からベクトルの法線方向に延長した線を描いている。延長した線がある中心点８０７を中心とする一定の誤差範囲内を通過しているとき、画像が回転変形していると判定する。回転中心点８０７の求め方にはさまざまな方法があるが、一例として各延長線の交点の重心または各交点の座標の平均値とする方法がある。それ以外の方法でも構わない。また、角度θは回転中心点８０７を中心とした場合の対応する推定動きベクトルの両端の角度として導出される。
【００２８】
図９に回転変形をしていると判定した場合のコンシールメント画像生成部２０４でのコンシールメント画像の生成の様子を示す。図９において、９０１はコンシール対象領域、９０２は推定動きベクトル、９０３は参照領域、９０４は回転中心点を表す。コンシールメント画像生成にあたっては、コンシール対象領域の４隅を回転中心点９０４を中心として角度θだけ回転させて元に戻すことにより、移動前の４隅の座標を導出する。そして、この４点により囲まれた領域を参照領域とし、所定時間異なる画像フレームから抽出された参照領域を画像データ蓄積部２０１から読み出し、コンシール対象領域へと角度θ回転して射影変換する。このような処理により、隠ぺい用の画像データを生成する。ここで変換の方式は射影変換ではなく別の方法であってもかまわない。
【００２９】
以上のようにコンシールする画像が回転画像であった場合にも、その中心点と回転角を把握して参照画像を適切に回転することにより、違和感の少ないコンシール画像を生成することができる。
【００３０】
実施の形態３．
実施の形態１、２では、コンシール対象範囲のすべてにおいて一様のズーム又は回転変形を施していた。これに対して、本実施の形態ではコンシール範囲内の特定の領域のみで同様の判定をすることにより、画面内の一部に対してのみズーム変形を行う。
【００３１】
映像では画面内の一部領域のみが拡大・縮小する場合や、画面内奥行き方向に物体が移動する場合もある。このような場合には、コンシール範囲内の特定の領域の推定動きベクトルのみを対象として、実施の形態１または２におけるズームまたは回転変形を施し、それ以外の領域については従来手法によるコンシールを行うよう制御する。特定の領域はあらかじめ決められていてもよいし、送信側から受信側へ制御信号として通知されても構わない。
【００３２】
この制御を実現するためには、実施の形態１で示した画像修正領域を上述の特定の領域とすればよい。このような制御により、画面内の一部領域のみが回転している場合にも違和感の少ないコンシール画像を生成できる。
【００３３】
実施の形態４．
実施の形態１、２では、ズーム又は回転変形を施す形態をそれぞれ示したが、両者を組み合わせて用いることも可能である。すなわち、ズーム変形を判定し、ズーム変形でない場合には、さらに回転変形であるか否かを判定する。ズーム変形、回転変形である場合には、それぞれズーム変形、回転変形として処理を行う。また、ズーム変形でも回転変形でもないと判定された場合には、平行移動によりコンシールメント処理を行う。
このような処理により、さまざまな変形パターンに適応的に対応してコンシールメント処理を行うことが可能となる。
【符号の説明】
【００３４】
１００：画像復号装置
１０１：受信部
１０２：分離部
１０３：画像復号部
１０４：音声復号部
１０５：データ復号部
１０６：エラーコンシールメント処理部
１０７：後処理部
２０１：画像データ蓄積部
２０２：動きベクトル格納部
２０３：誤り検出部
２０４：コンシールメント画像生成部
２０５：変形判定部
２０６：出力画像選択部
５０１：コンシール対象領域
５０２、５０３、５０４、５０５：推定動きベクトル
５０６：ズーム中心点
６０１：コンシール対象領域
６０２：推定動きベクトル
６０３：参照領域
６０４：ズーム中心点
８０１：コンシール対象領域
８０２、８０３、８０４、８０５：推定動きベクトル
８０６：ベクトル法線
８０７：回転中心点
９０１：コンシール対象領域
９０２：推定動きベクトル
９０３：参照領域
９０４：回転中心点
【図１】
2014078898.tif 000003
【図２】
2014078898.tif 000004
【図３】
2014078898.tif 000005
【図４】
2014078898.tif 000006
【図５】
2014078898.tif 000007
【図６】
2014078898.tif 000008
【図７】
2014078898.tif 000009
【図８】
2014078898.tif 000010
【図９】
2014078898.tif 000011