(57)【特許請求の範囲】
【請求項１】
任意形状で取り出されたオブジェクト画像の形状を表す形状平面の情報を符号化する形状平面符号化器と、
暗号情報を発生する暗号発生器と、
前記オブジェクト画像と前記形状平面の情報とがそれぞれ同期して入力され、該形状平面の情報に基づき空き領域部分のある該オブジェクト画像の輪郭部分を含むブロックを指定する領域指定信号を生成する領域指定器と、
前記領域指定器に入力されるオブジェクト画像と前記領域指定器からの領域指定信号とを入力として受け、該オブジェクト画像中の前記領域指定信号により指定された前記ブロック内の前記空き領域部分に前記暗号発生器からの暗号情報を内挿した後、該オブジェクト画像をブロック単位で符号化するオブジェクト画像符号化器と、
前記オブジェクト画像符号化器から取り出された、暗号情報が内挿されたオブジェクト画像の符号化データと、前記形状平面符号化器から取り出された形状平面の符号化データとをそれぞれ多重化して多重化データを伝送路へ送出する多重化器と、
前記伝送路を通して前記多重化データを受け、前記暗号情報が内挿されたオブジェクト画像の符号化データと、前記形状平面の符号化データとに分離する分離器と、
前記分離器により分離された前記形状平面の符号化データを復号化する形状平面復号化器と、
前記形状平面復号化器より取り出された形状平面の情報に基づき、前記空き領域部分のあるオブジェクト画像の輪郭部分を含むブロックを検出し、前記暗号情報が内挿されているブロックかどうかを判定する帰還信号を生成する領域検出器と、
前記分離器により分離された前記暗号情報が内挿されたオブジェクト画像の符号化データと前記帰還信号とを入力として受け、該暗号情報が内挿されたオブジェクト画像の符号化データから該帰還信号に基づき符号化されている該暗号情報を抽出すると共に、該オブジェクト画像の符号化データを復号化するオブジェクト画像復号化器と、
前記オブジェクト画像復号化器により抽出された、符号化されている前記暗号情報を復号化する暗号復号化器と、
前記形状平面復号化器から取り出された形状平面の情報に基づき、前記オブジェクト画像復号化器から取り出されたオブジェクト画像の表示領域を設定する表示合成器と
を有することを特徴とする画像伝送方式。
【請求項２】
任意形状で取り出されたオブジェクト画像の形状を表す形状平面の情報を符号化する形状平面符号化器と、
暗号情報を発生する暗号発生器と、
前記オブジェクト画像と前記形状平面の情報とがそれぞれ同期して入力され、該形状平面の情報に基づき空き領域部分のある該オブジェクト画像の輪郭領域を含むブロックを指定する領域指定信号を生成する領域指定器と、
前記領域指定器に入力されるオブジェクト画像と前記領域指定器からの領域指定信号とを入力として受け、該オブジェクト画像中の前記領域指定信号により指定された前記ブロック内の前記空き領域部分に前記暗号発生器からの暗号情報を内挿した後、該オブジェクト画像をブロック単位で符号化するオブジェクト画像符号化器と、
前記オブジェクト画像符号化器から取り出された、暗号情報が内挿されたオブジェクト画像の符号化データと、前記形状平面符号化器から取り出された形状平面の符号化データとをそれぞれ多重化して多重化データを伝送路へ送出する多重化器と
を有することを特徴とする画像伝送方式。
【請求項３】
空き領域部分のあるオブジェクト画像の輪郭部分を含むブロックの、該空き領域部分に暗号情報が内挿されてブロック単位で符号化されたオブジェクト画像の符号化データと、前記オブジェクト画像の形状を表す形状平面の符号化データとが多重化されている多重化データを、伝送路を通して入力され、前記オブジェクト画像の符号化データと、前記平面形状の符号化データとに分離する分離器と、
前記分離器により分離された前記形状平面の符号化データを復号化する形状平面復号化器と、
前記形状平面復号化器より取り出された形状平面の情報に基づき、前記空き領域部分のあるオブジェクト画像の輪郭部分を含むブロックを検出し、前記暗号情報が内挿されているブロックかどうかを判定する帰還信号を生成する領域検出器と、
前記分離器により分離された前記暗号情報が内挿されたオブジェクト画像の符号化データと前記帰還信号とを入力として受け、該暗号情報が内挿されたオブジェクト画像の符号化データから該帰還信号に基づき符号化されている該暗号情報を抽出すると共に、該オブジェクト画像の符号化データを復号化するオブジェクト画像復号化器と、
前記オブジェクト画像復号化器により抽出された、符号化されている前記暗号情報を復号化する暗号復号化器と、
前記形状平面復号化器から取り出された形状平面の情報に基づき、前記オブジェクト画像復号化器から取り出されたオブジェクト画像の表示領域を設定する表示合成器と
を有することを特徴とする画像伝送方式。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像伝送方式に係り、特に画像に暗号情報を付加して伝送する画像伝送方式に関する。
【０００２】
【従来の技術】
近年、数十ｋｂｐｓ程度までの超低ビットレートでのビデオ、オーディオ符号化を可能とするＭＰＥＧ４（Moving Picture Experts Group４）が検討されているが、このＭＰＥＧ４に代表される形状符号化方式は、画面内にあるオブジェクトを任意形状に分解し、別々に符号化する技術である。例えば、図４に示すように、符号化側１ではカメラの被写体である人物２、文字３、背景画像４を画面を構成する複数のオブジェクトとして分離し、それぞれの情報を符号化器５、６及び７で個別に符号化し、同時に各オブジェクトの位置や形状を表す形状情報も符号化し、これらの符号化データを多重化器８で多重化して伝送する。
【０００３】
このようにして伝送された多重符号化データは、復号化側９に伝送される。復号化側９では、分離器１０で入力多重符号化データをオブジェクト毎の符号化データ及び形状情報に分解され、オブジェクト毎の符号化データはそれぞれ復号化器１１、１２及び１３で復号化される。復号化された各オブジェクトは形状情報に基づいて画面を構成するように合成器１４で合成され、画面１５として表示される。
【０００４】
図５は任意形状で取り出された１オブジェクトを符号化する従来の符号化部の一例のブロック図、図６は図５に示した符号化部に対応した従来の復号化部の一例のブロック図を示す。まず、図５の符号化部において、オブジェクト毎に取り出された任意形状の画像、例えば図７（Ａ）に示す円と平行四辺形で構成されるオブジェクトに対して、点線で示されるブロックで囲まれた領域のオブジェクト画像が、入力端子２１を介してオブジェクト画像符号化器２３に入力されて符号化される。一方、オブジェクトの形状、位置を表す形状平面が、入力端子２２を介して形状平面符号化器２４に入力されて符号化される。
【０００５】
上記のオブジェクト画像符号化器２３及び形状平面符号化器２４からそれぞれ取り出された符号化データは、多重化器２５で多重化された後、端子２６を介して伝送路へ送出される。例えば、形状平面の一例を図７に示すと、図７（Ａ）のオブジェクトに対して、形状平面は同図（Ｂ）に示されるように太枠の画面内部において、オブジェクトの輪郭とその内側に対応する画素のみを表示するような形状の状態を表す。
【０００６】
最も簡単な例としては、表示する画素を１、表示しない画素を０の２値で指定するビットマップ表現が挙げられる。また、オブジェクトと背景との隣接部分を滑らかにつないだり、複数のオブジェクト同士を重ね合わせる場合には、多値のグレースケールを重みとして利用する方法も挙げられる。
【０００７】
図５の符号化部より出力された符号化データは、図６の復号化器の入力端子３１を介して分離器３２に入力され、ここでオブジェクト及び形状平面の符号化データに分離され、オブジェクトの符号化データはオブジェクト画像復号化器３３に入力されてオブジェクト画像に復号化され、形状平面の符号化データは形状平面復号化器３４に入力されて形状平面に復号化される。
【０００８】
オブジェクト画像復号化器３３から取り出されたオブジェクト画像と、形状平面復号化器３４から取り出された形状平面とは表示合成器３５に供給され、形状平面の情報に基づいて、図７（Ｃ）に示すように、オブジェクトの輪郭及び内部部分のみが表示される画像として端子３６へ出力される。
【０００９】
【発明が解決しようとする課題】
しかるに、図５に示した符号化部と図６に示した復号化部からなる従来の画像伝送方式では、画像データ中に暗号情報を隠匿して伝送する場合、入力画像データに直接暗号情報を埋め込むと、画像の劣化が生じると共に符号化において情報欠落が生じるという問題がある。
【００１０】
本発明は以上の点に鑑みなされたもので、画像の劣化を生じさせることなく、暗号情報を画像に付加して伝送し得る画像伝送方式を提供することを目的とする。
【００１１】
また、本発明の他の目的は、画像情報の欠落を生じさせることなく、暗号情報を画像に付加して伝送し得る画像伝送方式を提供することにある。
【００１２】
【課題を解決するための手段】
本発明は上記の目的を達成するため、任意形状で取り出されたオブジェクト画像の形状を表す形状平面の情報を符号化する形状平面符号化器と、暗号情報を発生する暗号発生器と、オブジェクト画像と形状平面の情報とがそれぞれ同期して入力され、形状平面の情報に基づき空き領域部分のあるオブジェクト画像の輪郭部分を含むブロックを指定する領域指定信号を生成する領域指定器と、領域指定器に入力されるオブジェクト画像と領域指定器からの領域指定信号とを入力として受け、オブジェクト画像中の領域指定信号により指定されたブロック内の空き領域部分に暗号発生器からの暗号情報を内挿した後、オブジェクト画像をブロック単位で符号化するオブジェクト画像符号化器と、オブジェクト画像符号化器から取り出された、暗号情報が内挿されたオブジェクト画像の符号化データと、形状平面符号化器から取り出された形状平面の符号化データとをそれぞれ多重化して多重化データを伝送路へ送出する多重化器と、伝送路を通して多重化データを受け、暗号情報が内挿されたオブジェクト画像の符号化データと、形状平面の符号化データとに分離する分離器と、分離器により分離された形状平面の符号化データを復号化する形状平面復号化器と、形状平面復号化器より取り出された形状平面の情報に基づき、空き領域部分のあるオブジェクト画像の輪郭部分を含むブロックを検出し、暗号情報が内挿されているブロックかどうかを判定する帰還信号を生成する領域検出器と、分離器により分離された暗号情報が内挿されたオブジェクト画像の符号化データと帰還信号とを入力として受け、暗号情報が内挿されたオブジェクト画像の符号化データから帰還信号に基づき符号化されている暗号情報を抽出すると共に、オブジェクト画像の符号化データを復号化するオブジェクト画像復号化器と、オブジェクト画像復号化器により抽出された、符号化されている暗号情報を復号化する暗号復号化器と、形状平面復号化器より取り出された形状平面の情報に基づき、オブジェクト画像復号化器から取り出されたオブジェクト画像の表示領域を設定する表示合成器とを有する構成としたものである。
【００１３】
この発明では、符号化部において任意形状で取り出されたオブジェクト画像の中で空き領域部分を含むブロックを検出して、その空き領域部分に暗号情報を内挿して符号化し、復号化部においてこの符号化データを復号化する際には暗号情報を抽出し、オブジェクト画像の輪郭内部のみを表示することができる。
【００１４】
なお、上記領域指定器は、形状平面の情報に基づきオブジェクト画像の輪郭領域を含むブロックを検出し、その検出ブロックの中からオブジェクト画像がブロック内で占める面積（画素数）がしきい値を越えたか否かにより、暗号情報を隠匿するブロックであるか否かを指定する信号を領域指定信号として出力し、オブジェクト画像符号化器は、領域指定信号に基づいて検出した暗号情報を隠匿するブロック中の空き領域に暗号情報を内挿し、上記領域検出器は、形状平面復号化器より取り出された形状平面の情報に基づき、オブジェクト画像の輪郭部分を含むブロックを検出し、その検出ブロックに基づいて帰還信号を生成し、オブジェクト画像復号化器は、オブジェクト画像の符号化データを復号すると共に、帰還信号に基づいて検出したブロックの復号画像がブロック内で占める面積（画素数）がしきい値を越えたか否かにより、そのブロック中の空き領域の情報が暗号情報か否か判別するようにしてもよい。
【００１５】
【発明の実施の形態】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる画像伝送方式の符号化部の一実施の形態のブロック図、図２は本発明になる画像伝送方式の復号化部の一実施の形態のブロック図を示す。図１に示す符号化部は、入力端子４１を介して入力されるオブジェクト画像をブロック単位で符号化するオブジェクト画像符号化器４３と、入力端子４２を介して入力されるオブジェクトの形状を表す形状平面の情報を符号化する形状平面符号化器４４と、暗号情報を発生する暗号発生器４５と、暗号情報をオブジェクト画像に挿入する領域を指定する領域指定器４６と、オブジェクト画像符号化器４３及び形状符号化器４４の両出力符号化データを多重化して端子４８へ出力する多重化器４７とより構成されている。この図１に示す符号化部は、図５に示した従来の符号化部と比べると、暗号発生器４５及び領域指定器４６が更に設けられている点が異なる。
【００１６】
また、図２に示す復号化部は、入力端子５１を介して入力される多重化データを前記のオブジェクト画像の符号化データと形状平面の符号化データに分離する分離器５２と、オブジェクト画像の符号化データを復号化するオブジェクト画像復号化器５３と、形状平面の符号化データを復号化する形状平面復号化器５４と、オブジェクト画像に隠匿されている暗号情報領域を検出する領域検出器５５と、暗号情報を復号化する暗号復号化器５６と、復号化されたオブジェクト画像を復号化された形状平面に基づき、表示領域を設定して端子５８へ出力する表示合成器５７とより構成されている。この図２に示す復号化部は、図６に示した従来の復号化部と比べると、領域検出器５５及び暗号復号化器５６が更に設けられている点が異なる。
【００１７】
次に、この実施の形態の動作について説明する。まず、図１の符号化部において、任意形状で取り出されたオブジェクト画像は入力端子４１を介してオブジェクト画像符号化器４３及び領域指定器４６にそれぞれ供給される。一方、上記のオブジェクト画像に同期して上記のオブジェクト画像の形状、位置を表す形状平面の情報が入力端子４２を介して形状平面符号化器４４及び領域指定器４６にそれぞれ供給される。形状平面符号化器４４は、入力された形状平面の情報の符号化処理を行い、符号化データを出力する。領域指定器４６はブロックに分割されたオブジェクト画像と形状平面の情報とを分析して、オブジェクトの輪郭部分を含むブロックを指定する。
【００１８】
ここで、復号化側において、オブジェクト画像が実際に表示される場合、図７に示したように、形状平面の情報を用いてオブジェクトの輪郭と内部を表示し、オブジェクトを囲むブロックの中でオブジェクト画像でない空き領域部分は表示されない。また、復号化側の利用者はそのような空き領域部分を認知しないため、暗号情報等を内挿して伝送するには、この空き領域部分の利用価値は高いといえる。
【００１９】
そこで、領域指定器４６はオブジェクトの輪郭部分を含むブロックを指定すると共に、空き領域部分のブロックを指定するブロック指定信号を生成してオブジェクト画像符号化器４３に供給する。例えば、オブジェクト画像が図３に示すように、円Ｉと平行四辺形ＩＩとが一部重複しているオブジェクト画像である場合、同図において点線で囲んだ矩形領域の各ブロックのうち、斜線で示したブロックが円Ｉ又は平行四辺形ＩＩのみの輪郭部分を含むブロックであり、空き領域部分をも含むブロックでもあり、白地で示したブロックは輪郭部分を有しないか、一方の図形の輪郭部分が他方の図形の内部にあるブロックであり、これらは空き領域部分を含むブロックではない。
【００２０】
従って、領域指定器４６は、図３の斜線で示した、オブジェクトの輪郭部分を含むブロックを指定すると共に、空き領域部分のブロックを指定するブロック指定信号を生成してオブジェクト画像符号化器４３に供給する。オブジェクト画像符号化器４３は、上記のブロック指定信号に基づいて、暗号発生器４５から入力されている暗号情報を、入力端子４１を介して入力されたオブジェクト画像の空き領域部分のブロックに内挿した後、全体をブロック単位で符号化を行って入力オブジェクト画像及び暗号情報の符号化データを出力する。
【００２１】
多重化器４７は、上記のオブジェクト画像符号化器４３から取り出された、暗号情報が内挿されたオブジェクト画像の符号化データと、形状平面符号化器４４から取り出された形状平面の符号化データとをそれぞれ多重化し、多重化データを端子４８を介して伝送路へ送出する。
【００２２】
図２の復号化部は、伝送路により伝送されてきた上記の多重化データを端子５１を介して受け、分離器５２によりオブジェクト画像の符号化データと形状平面の符号化データとに分離する。分離された形状平面の符号化データは、形状平面復号化器５４に供給されて形状平面の情報に復号化される。
【００２３】
領域検出器５５は、形状平面復号化器５４から取り出された形状平面の情報に基づいて、オブジェクト画像の輪郭部分を含むブロックを検出して、暗号情報が混入されているブロックかどうかを判定する帰還信号を生成して、オブジェクト画像復号化器５３に供給する。オブジェクト画像復号化器５３は、領域検出器５５からの帰還信号に基づいて、分離器５２により分離されて入力されたオブジェクト画像の符号化データの暗号情報の符号化データが内挿されているブロックを検出して、そのブロックの暗号情報の符号化データを暗号復号化器５６に供給すると共に、それ以外のブロックの符号化データを復号してオブジェクト画像を得る。暗号復号化器５６は入力された暗号情報を復号化する。
【００２４】
なお、オブジェクト画像復号化器５３と形状平面復号化器５４とが同期して対応するブロック毎に、それぞれの入力符号化データを復号化し、形状平面のブロックを領域検出器５５にて判定し、オブジェクト画像復号化器５３が領域検出器５５からの検出信号を受け取って、空き領域部分のブロックの復号化されている暗号情報を暗号復号化器５６に供給するようにしてもよい。
【００２５】
また、オブジェクト画像復号化器５３から取り出されたオブジェクト画像と、形状平面復号化器５４から取り出された形状平面の情報とは、それぞれ表示合成器５７に供給され、ここで形状平面の情報に基づいて、図７（Ｃ）に示したように、オブジェクトの輪郭及び内部部分のみが表示される画像とされて端子５８へ出力される。
【００２６】
このように、この実施の形態では、オブジェクトを囲むブロックの中でオブジェクト画像でない空き領域部分のブロックを選定して、その空き領域部分のブロックに暗号情報を内挿して伝送するようにしているため、オブジェクト画像を劣化させることなく、簡単に暗号情報を伝送できる。
【００２７】
なお、上記の実施の形態では、オブジェクトの輪郭を含むブロックに対して、その空き領域部分に暗号情報を直接内挿して伝送するように説明したが、本発明は上記の実施の形態に限定されるものではなく、例えば、画像信号が符号化の際に周波数成分に分解される場合には、画質劣化は比較的高周波数領域では目立ちにくいので、高周波数領域の周波数成分に暗号情報を内挿して伝送するようにしてもよい。
【００２８】
この場合、画像の輪郭部分は、高周波数を多く含んでいるため、画像の輪郭部分（空き領域のある部分）の高周波数成分に暗号情報を内挿して伝送し、復号化部では、暗号を含むブロックは実施の形態と同様に、画像の輪郭部分を含むブロックを検出して、その検出信号をオブジェクト画像復号化器に送り、復号化前の周波数成分から暗号情報を抽出して暗号復号化器に送り、残った周波数成分を復号化してオブジェト画像を得る。
【００２９】
また、各ブロック内のオブジェクト画像の占める面積（画素数）に応じて、暗号情報を内挿するブロックを指定し、その指定ブロックの画像データ以外の領域に暗号情報を内挿するようにしても構わない。この場合、符号化部では、各ブロックの画像の画素数が設定したしきい値を越えた（又は未満）かどうか検出し、画素数が設定したしきい値を越えた（又は未満の）ブロックの空き領域に暗号情報を内挿する。
【００３０】
一方、復号化側では、復号化した形状平面の情報に基づいて、オブジェクト画像の輪郭部分（空き領域のある部分）のブロックを領域検出器で検出し、そのブロックの画像の画素が予め符号化部と整合性を持ってある固定値に設定されているしきい値を越えた（又は未満の）ブロックであるときは、形状平面の情報に基づき検出した画像以外のブロックの空き領域に暗号情報が内挿されているとオブジェクト画像復号化器が判定して、その空き領域の情報を抽出して暗号復号化器に入力する。
【００３１】
また、一番最初の空き領域のあるブロックにしきい値の値を記述しておき、その後に続くブロックはそのしきい値に基づいて暗号情報の内挿されているブロックかどうか検出するようにしてもよい。あるいは、一番最初だけでなく、暗号情報とは別の信号としてしきい値の値をブロックの空き領域に不定期に挿入して、その都度しきい値を変えるようにしてもよい。この場合は、その空き領域に入っている暗号情報が本当の暗号情報か、若しくはしきい値かを復号化部で判定できる記述フォーマットを設定する必要がある。この設定例としては、暗号情報の最初の２ビットが”１１”であれば暗号情報で、それ以外であればしきい値を表すとするなどが考えられる。
【００３２】
なお、以上のしきい値に関しては、前記の高周波数領域の周波数成分に暗号情報を内挿して伝送する例において、高周波数領域の周波数成分のどの位置に暗号情報を内挿したかを識別させる場合も同様である。また、暗号発生器４５から出力される暗号情報は、文字、音声、画像等いずれのデータも使用できる。更に、暗号発生器４５における暗号化方式についても、復号化部における暗号復号化器５６との整合性がとれていさえすれば、どのような方式を用いても構わないことは勿論である。
【００３３】
【発明の効果】
以上説明したように、本発明によれば、符号化部において任意形状で取り出されたオブジェクト画像の中で空き領域部分を含むブロックを検出して、その空き領域部分に暗号情報を内挿して符号化し、これを復号化する際には暗号情報を抽出し、オブジェクト画像の輪郭内部のみを表示するように構成したので、画像だけでなく、簡単に暗号情報の伝送を実現することができる。また、本発明によれば、暗号情報はオブジェクト画像の実際の表示の際に認知されない領域に内挿するようにしたため、オブジェクト画像情報の情報欠落を実質的に無くすことができる。
【図面の簡単な説明】
【図１】本発明になる画像伝送方式の符号化部の一実施の形態のブロック図である。
【図２】本発明になる画像伝送方式の復号化部の一実施の形態のブロック図である。
【図３】空き領域部分を含むブロックの一例を示す図である。
【図４】従来の画像伝送方式の一例のブロック図である。
【図５】従来の画像伝送方式の符号化部の一例のブロック図である。
【図６】従来の画像伝送方式の復号化部の一例のブロック図である。
【図７】任意形状で取り出されたオブジェクトの形状平面の表示の一例を示す図である。
【符号の説明】
４１  オブジェクト画像入力端子
４２  形状平面入力端子
４３  オブジェクト画像符号化器
４４  形状平面符号化器
４５  暗号発生器
４６  領域指定器
４７  多重化器
５１  多重化データ入力端子
５２  分離器
５３  オブジェクト画像復号化器
５４  形状平面復号化器
５５  領域検出器
５６  暗号復号化器
５７  表示合成器
【図１】
0003856358.tif 000002
【図２】
0003856358.tif 000003
【図３】
0003856358.tif 000004
【図４】
0003856358.tif 000005
【図５】
0003856358.tif 000006
【図６】
0003856358.tif 000007
【図７】
0003856358.tif 000008