(57)【要約】【課題】ある処理部から後段の処理部に、情報信号に悪影響を及ぼすことなく、当該情報信号に関連した付加情報を効果的に送信し、当該後段の処理部における処理性能の向上を図る。【解決手段】ＤＶＤプレーヤ１０１から出力される情報信号としての画像信号を、ノイズ低減回路１０２、フレーム数変換回路１０３、フォーマット変換回路１０４を通じて、ディスプレイ１０５に供給する。連続する第１の処理部と第２の処理部を、信号線および付加情報線で接続する。信号線を通じて画像信号を後段に送信し、付加情報線を通じて、画像信号に同期して、この画像信号に関連した付加情報を含む付加信号を後段に送信する。各処理部は、付加信号に自己の処理で使用可能な付加情報があるときは、それを用いて処理をする。また、各処理部は、処理を行ったときに得られた新たな付加情報を、挿入して後段に送信する。【選択図】        図１ 
2005236405.tif 000002
【特許請求の範囲】
【請求項１】
情報信号に対して複数の処理を順に行う情報信号処理装置であって、
上記複数の処理をそれぞれ行う複数の処理部を備え、
連続する第１の処理部と第２の処理部は信号線および付加情報線で接続され、
上記第１の処理部から上記第２の処理部には、上記情報信号が上記信号線を通じて送信されると共に、該信号線を通じて送信される情報信号に同期して、該情報信号に関連した付加情報を含む付加信号が上記付加情報線を通じて送信される
ことを特徴とする情報信号処理装置。
【請求項２】
上記第１の処理部から上記第２の処理部に送信される付加信号に含まれている付加情報に、上記第１の処理部で上記情報信号に処理を行ったときに得られた新たな付加情報が挿入されている
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項３】
上記第２の処理部は、
上記信号線で送られてくる情報信号を受信する情報信号受信手段と、
上記情報信号受信手段で受信された情報信号を処理する情報信号処理手段と、
上記付加情報線で送られてくる付加信号を受信する付加信号受信手段とを備え、
上記情報信号処理手段は、上記付加信号受信手段で受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するときは、該付加情報を用いて処理を行う
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項４】
上記第２の処理部は、
上記情報信号処理手段で処理された情報信号を送信する情報信号送信手段と、
少なくとも上記付加信号受信手段で受信された付加信号に含まれている付加情報を含む付加信号を、上記情報信号送信手段から送信される情報信号と同期させて送信する付加信号送信手段とをさらに備える
ことを特徴とする請求項３に記載の情報信号処理装置。
【請求項５】
上記付加信号送信手段は、
上記送信される付加信号に、上記情報信号処理手段で上記情報信号に処理を行ったときに得られた新たな付加情報を含める
ことを特徴とする請求項４に記載の情報信号処理装置。
【請求項６】
上記付加信号は、上記情報信号を構成する情報データ毎の付加情報を含む
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項７】
上記付加信号は、上記情報信号を構成する所定数の情報データからなるブロック毎の付加情報を含む
ことを特徴とする請求項１に記載の情報信号処理装置。
【請求項８】
情報信号に対して複数の処理部で複数の処理を順に行う情報信号処理方法であって、
連続する第１の処理部と第２の処理部を信号線および付加情報線で接続し、
上記第１の処理部から上記第２の処理部には、上記信号線を通じて情報信号を送信すると共に、該信号線を通じて送信される情報信号に同期して、該情報信号に関連した付加情報を含む付加信号を上記付加情報線を通じて送信する
ことを特徴とする情報信号処理方法。
【請求項９】
上記第１の処理部から上記第２の処理部に送信する付加信号に、上記第１の処理部で上記情報信号に処理を行ったときに得られた新たな付加情報を含める
ことを特徴とする請求項８に記載の情報信号処理方法。
【請求項１０】
信号線で送られてくる情報信号を受信する情報信号受信手段と、
上記情報信号受信手段で受信された情報信号を処理する情報信号処理手段と、
付加情報線で送られてくる付加信号を受信する付加信号受信手段とを備え、
上記情報信号処理手段は、上記付加信号受信手段で受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するときは、該付加情報を用いて処理を行う
ことを特徴とする情報信号処理装置。
【請求項１１】
上記情報信号処理手段で処理された情報信号を送信する情報信号送信手段と、
少なくとも上記付加信号受信手段で受信された付加信号に含まれている付加情報を含む付加信号を、上記情報信号送信手段から送信される情報信号に同期させて送信する付加信号送信手段とをさらに備える
ことを特徴とする請求項１０に記載の情報信号処理装置。
【請求項１２】
上記付加信号送信手段は、
上記送信される付加信号に、上記情報信号処理手段で上記情報信号に処理を行ったときに得られた新たな付加情報を含める
ことを特徴とする請求項１１に記載の情報信号処理装置。
【請求項１３】
信号線で送られてくる情報信号を受信する情報信号受信ステップと、
上記情報信号受信ステップで受信された情報信号を処理する情報信号処理ステップと、
付加情報線で送られてくる付加信号を受信する付加信号受信ステップとを備え、
上記情報信号処理ステップでは、上記付加信号受信ステップで受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するときは、該付加情報を用いて処理を行う
ことを特徴とする情報信号処理方法。
【請求項１４】
上記情報信号処理ステップで処理された情報信号を送信する情報信号送信ステップと、
少なくとも上記付加信号受信ステップで受信された付加信号に含まれている付加情報を含む付加信号を、上記情報信号送信ステップで送信される情報信号に同期させて送信する付加信号送信ステップとをさらに備える
ことを特徴とする請求項１３に記載の情報信号処理方法。
【請求項１５】
上記付加信号送信ステップでは、上記送信される付加信号に、上記情報信号処理ステップで上記情報信号に処理を行ったときに得られた新たな付加情報を含める
ことを特徴とする請求項１４に記載の情報信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像信号や音声信号等の情報信号に複数の処理を順に行う際に適用して好適な情報信号の処理装置および処理方法に関する。詳しくは、この発明は、連続する第１の処理部から第２の処理部に、信号線を通じて情報信号を送信すると共に、この信号線を通じて送信される情報信号に同期して、この情報信号に関連した付加情報を含む付加信号を付加情報線を通じて送信することによって、ある処理部から後段の処理部に、情報信号に悪影響を及ぼすことなく、当該情報信号に関連した付加情報を効果的に送信し、後段の処理部における処理性能の向上を図るようにした情報信号の処理装置および処理方法に係るものである。
【背景技術】
【０００２】
例えば、画像信号、音声信号等の情報信号に複数の処理を順に行って最終的に所望の情報信号を得ることが種々知られている。例えば、特許文献１には、光ピックアップで検出された光ディスクからの画像データに、増幅処理、８−１４復調処理、ＥＣＣエンコード、ＭＰＥＧデコード、ノイズ低減処理、画質補正処理等を順に行うことが記載されている。そして、この特許文献１には、ＭＰＥＧデコーダから次段のノイズ低減回路に、画像信号とは別個の経路で、この画像信号の付加情報としての符号化情報、例えばブロックサイズ等の情報を送信して利用することが記載されている。また、特許文献２には、画像信号（映像信号）に付加情報を重畳して伝送することが記載されている。
【０００３】
【特許文献１】特開平１１−１９６４１９号公報
【特許文献２】特開平１１−１６４２３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１には、ＭＰＥＧデコーダから出力される付加情報としての符号化情報は次段のノイズ低減回路のみに送信されて用いられるものであって、その他の処理部で利用可能な構成とはなっていない。また、上述した特許文献２のように、画像信号に付加情報を重畳して伝送するものにあっては、付加情報が画像信号に悪影響を及ぼすおそれがある。
【０００５】
この発明の目的は、ある処理部から後段の処理部に、情報信号に悪影響を及ぼすことなく、当該情報信号に関連した付加情報を効果的に送信し、当該後段の処理部における処理性能の向上を図ることにある。
【課題を解決するための手段】
【０００６】
この発明に係る情報信号処理装置は、情報信号に対して複数の処理を順に行う情報信号処理装置であって、複数の処理をそれぞれ行う複数の処理部を備え、連続する第１の処理部と第２の処理部は信号線および付加情報線で接続され、第１の処理部から第２の処理部には、情報信号が信号線を通じて送信されると共に、この信号線を通じて送信される情報信号に同期して、この情報信号に関連した付加情報を含む付加信号が付加情報線を通じて送信されるものである。
【０００７】
また、この発明に係る情報信号処理方法は、情報信号に対して複数の処理部で複数の処理を順に行う情報信号処理方法であって、連続する第１の処理部と第２の処理部を信号線および付加情報線で接続し、第１の処理部から第２の処理部には、信号線を通じて情報信号を送信すると共に、この信号線を通じて送信される情報信号に同期して、この情報信号に関連した付加情報を含む付加信号を付加情報線を通じて送信するものである。
【０００８】
この発明においては、情報信号に対して複数の処理部で複数の処理が順に行われる。情報信号は、例えば画像信号、音声信号等である。この場合、連続する第１の処理部と第２の処理部は信号線および付加情報線で接続される。そして、第１の処理部から第２の処理部には、信号線を通じて情報信号が送信される。また、第１の処理部から第２の処理部には、上述したように信号線を通じて送信される情報信号に同期して、その情報信号に関連した付加情報を含む付加信号が送信される。例えば、付加信号は、情報信号を構成する情報データ毎の付加情報を含んでいる。また例えば、付加信号は、情報信号を構成する所定数の情報データからなるブロック毎の付加情報を含んでいる。なお、第１の処理部から第２の処理部に送信される付加信号に含まれている付加情報には、例えば第１の処理部で情報信号に処理を行ったときに得られた新たな付加情報も挿入される。
【０００９】
第２の処理部では、信号線で送られてくる情報信号が受信されると共に、付加情報線で送られてくる付加信号が受信される。そして、この第２の処理部では、受信された情報信号が処理される。この場合、受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するとき、この付加情報を用いて処理が行われる。例えば、この第２の処理部では、さらに、処理後の情報信号が後段に送信されると共に、少なくとも受信された付加信号に含まれている付加情報を含む付加信号が、上述したように送信される処理後の情報信号に同期させて後段に送信される。この場合、後段に送信される付加信号に、例えば、情報信号に処理を行ったときに得られた新たな付加情報も含められ、後段の処理部でこの新たな付加情報が使用可能とされる。
【００１０】
このように、この発明は、連続する第１の処理部から第２の処理部に、信号線を通じて情報信号を送信すると共に、この信号線を通じて送信される情報信号に同期して、この情報信号に関連した付加情報を含む付加信号を付加情報線を通じて送信するものであり、ある処理部から後段の処理部に、情報信号に悪影響を及ぼすことなく、この情報信号に関連した付加情報を効果的に送信でき、後段の処理部の処理性能の向上を図ることができる。
【００１１】
この発明に係る情報信号処理装置は、信号線で送られてくる情報信号を受信する情報信号受信手段と、この情報信号受信手段で受信された情報信号を処理する情報信号処理手段と、付加情報線で送られてくる付加信号を受信する付加信号受信手段とを備え、情報信号処理手段は、付加信号受信手段で受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するときは、この付加情報を用いて処理を行うものである。
【００１２】
また、この発明に係る情報信号処理方法は、信号線で送られてくる情報信号を受信する情報信号受信ステップと、この情報信号受信ステップで受信された情報信号を処理する情報信号処理ステップと、付加情報線で送られてくる付加信号を受信する付加信号受信ステップとを備え、情報信号処理ステップでは、付加信号受信ステップで受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するときは、この付加情報を用いて処理を行うものである。
【００１３】
この発明においては、信号線で送られてくる情報信号が受信されると共に、付加情報線で送られてくる付加信号が受信される。そして、この第２の処理部では、受信された情報信号が処理されて後段に送信される。この場合、受信された付加信号に含まれている付加情報に自己の処理で使用可能な付加情報が存在するとき、この付加情報を用いて処理が行われる。このように自己の処理で使用可能な付加情報が存在するとき、その付加情報に対応する情報を検出あるいは生成しなくても使用でき、処理性能の向上を図ることができる。
【発明の効果】
【００１４】
この発明によれば、情報信号に複数の処理部で順に処理を行う際に、連続する第１の処理部から第２の処理部に、信号線を通じて情報信号を送信すると共に、この信号線を通じて送信される情報信号に同期して、この情報信号に関連した付加情報を含む付加信号を付加情報線を通じて送信するものであり、ある処理部から後段の処理部に、情報信号に悪影響を及ぼすことなく、当該情報信号に関連した付加情報を効果的に送信でき、後段の処理部における処理性能の向上を図ることができる。
【発明を実施するための最良の形態】
【００１５】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としての画像表示装置１００の構成を示している。この画像表示装置１００は、ＤＶＤ(Digital Versatile Disc)プレーヤ１０１と、ノイズ低減回路１０２と、フレーム数変換回路１０３と、フォーマット変換回路１０４と、ディスプレイ１０５とを有している。
【００１６】
ここで、ＤＶＤプレーヤ１０１とノイズ低減回路１０２は、信号線Ｌsaおよび付加情報線Ｌiaによって接続されている。ノイズ低減回路１０２とフレーム数変換回路１０３は、信号線Ｌsbおよび付加情報線Ｌibによって接続されている。フレーム数変換回路１０３とフォーマット変換回路１０４は、信号線Ｌscおよび付加情報線Ｌicによって接続されている。フォーマット変換回路１０４とディスプレイ１０５は、信号線Ｌsdおよび付加情報線Ｌidによって接続されている。
【００１７】
ＤＶＤプレーヤ１０１は、ディスク（図示せず）から再生されたＭＰＥＧ(Moving Picture Experts Group)データに対してデコード処理を施し、画像信号Ｓａを取得する。この画像信号Ｓａは、フレーム周波数が２４Ｈｚであって、１フレームのライン数が５２５本のプログレッシブ方式の画像信号、つまり５２５ｐ／２４フレームの画像信号である。この場合、５フレーム毎にフレームセットが構成されている。
【００１８】
各フレームセットにおいて、第１のフレームの画像信号は、フレーム内符号化に係るＭＰＥＧデータに対してデコード処理を施すことで得られる。第２〜第５のフレームの画像信号は、動き補償予測符号化に係るＭＰＥＧデータに対してデコード処理を施すことで得られる。このＤＶＤプレーヤ１０１は、この画像信号Ｓａを、信号線Ｌsaを通じてノイズ低減回路１０２に送信する。
【００１９】
また、このＤＶＤプレーヤ１０１は、上述した信号線Ｌsaを通じて送信される画像信号Ｓａに同期させて、当該画像信号Ｓａに関連した付加情報を含む付加信号Ｓiaを、付加情報線Ｌiaを通じてノイズ低減回路１０２に送信する。図２は、画像信号の１フレームに対応した１フレーム分の付加信号の構成を示している。先頭にフレーム同期信号が配置され、それに続いてフレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマットが順に配置され、最後に画素内の情報やブロック内の情報が配置されている。フレームセットの情報、フレームの情報、フレームのブロック情報、ブロック内の情報、画素内の情報は、それぞれ付加情報を構成している。
【００２０】
図３は、１フレーム分の付加信号に含まれる各情報の配置位置を、画面に対応させて示したものである。フレームセットの情報、フレームの情報、フレームのブロック情報および情報のフォーマットの各情報は、垂直ブランキング部分に対応した位置に配置される。画像内の情報やブロック内の情報は、有効画素部分に対応した位置に配置される。
【００２１】
図４は、各情報の内容を示している。フレームセットの情報は、フレームセットの開始を示す情報、画像信号のフォーマット情報等である。付加信号Ｓiaの場合、画像信号のフォーマット情報は、画像信号Ｓａのフレーム周波数が２４Ｈｚであって、しかもこの画像信号Ｓａが５２５ｐ信号である旨を示す情報である。フレームの情報は、フレームセットのフレーム数ｎを示す情報である。上述したように１つのフレームセットが５フレームで構成される場合、ｎ＝５である。フレームのブロック情報は、ＤＣＴ(Discrete Cosine Transform)処理の単位であるブロックのサイズｋ×ｍを示す情報である。
【００２２】
情報のフォーマットは、有効画素部分に、画素内の情報、ブロック内の情報としてどのような情報を、いかなるビット数で、どのように配置しているかを示す情報である。画素内の情報は、有効画素のそれぞれに対応した付加情報であって、例えば動き補償予測符号化における差分データ等である。ブロック内の情報は、ブロックのそれぞれに対応した付加情報であって、例えば動きベクトル等である。
【００２３】
情報のフォーマットについてさらに説明する。この情報のフォーマットの情報には、配置方法ＩＤが存在する。この配置方法ＩＤは、画素内の情報とブロック内の情報とが存在する場合にそれらを有効画素部分にどのように配置するかを示す情報である。図５Ａは、配置方法ＩＤの一例を示している。すなわち、配置方法ＩＤ＝０１は、画素内の情報を配置して、残りのビットにブロック内の情報を配置することを示している。
【００２４】
また、情報のフォーマットの情報には、有効画素部分に配置されている、画素内の情報、ブロック内の情報が何であるかを示す情報ＩＤが存在する。図５Ｂは、情報ＩＤの一例を示している。すなわち、情報ＩＤ＝０１は、動きベクトルを示している。情報ＩＤ＝１２は、動き補償予測符号化における差分データを示している。情報ＩＤ＝１５は、後述するブロック内の情報としての周辺ブロックに対する傾きを示している。
【００２５】
ＤＶＤプレーヤ１０１からノイズ低減回路１０２に送信される付加信号Ｓiaの有効画素部分には、各フレームセットの第１のフレームでは画素内の情報、ブロック内の情報のいずれも配置されないが、その第２〜第５のフレームでは画素内の情報として動き補償予測符号化における差分データが配置されると共にブロック内の情報として動きベクトルが配置される。
【００２６】
図６は、付加信号Ｓiaにおける情報のフォーマットを示している。なお、各情報ＩＤに対応して、その情報ＩＤで示す情報がブロック内の情報であるか画素内の情報であるかを示す情報、その情報ＩＤで示す情報の使用ビット数を示す情報、フレーム数変更時の処理情報、画サイズ変更時の処理情報も存在する。図７は、差分データ、動きベクトルと、有効画素部分の画素位置、ブロック位置との実際の対応を示している。ここでは、ブロックのサイズｋ×ｍが２×３であり、各画素に対応して使用可能なビット数が８×３＝２４である場合を示している。この場合、各画素に対応した１５ビットを使用して差分データが配置され、各ブロックに対応した残りのビットのうち３０ビットを使用して動きベクトルが配置される。
【００２７】
図８は、ＤＶＤプレーヤ１０１の要部の構成を示している。このＤＶＤプレーヤ１０１は、ＭＰＥＧデコーダ１１１と、画像信号送信部１１２と、画像信号出力端子１１３と、付加情報記憶部１１４と、付加信号送信部１１５と、付加信号出力端子１１６とを有している。
【００２８】
ＭＰＥＧデコーダ１１１は、ディスクから再生されたＭＰＥＧデータに対してデコード処理を行って画像信号Ｓａを取得する。画像信号送信部１１２は、ＭＰＥＧデコーダ１１１で取得された画像信号Ｓａを、ノイズ低減回路１０２に送信するために、画像信号出力端子１１３に順次出力する。
【００２９】
付加情報記憶部１１４は、フレームメモリ（図示せず）を備えており、このフレームメモリに、各フレームで、ＭＰＥＧデコーダ１１１から出力される画像信号Ｓａに関連した付加情報に基づいて、１フレーム分の付加信号を構成する各情報を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する（図２、図３、図７参照）。図９のフローチャートは、付加情報記憶部１１４における１フレーム分の処理手順を示している。
【００３０】
すなわち、ステップＳＴ１で、処理を開始し、ステップＳＴ２で、フレーム同期信号を記憶する。次に、ステップＳＴ３で、フレームセットの情報、フレームの情報、フレームのブロック情報および情報のフォーマットを記憶する。次に、ステップＳＴ４で、ステップＳＴ３で記憶した情報のフォーマットに従って、ブロック内の情報、画素内の情報を記憶する。そして、ステップＳＴ５で、処理を終了する。
【００３１】
付加信号送信部１１５は、各フレームで、付加情報記憶部１１４内のフレームメモリに記憶された各情報を読み出し、ノイズ低減回路１０２に送信するために、付加信号出力端子１１６に付加信号Ｓiaとして順次出力する。この場合、付加信号送信部１１５は、画像信号送信部１１２から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓiaを画像信号Ｓａに同期させて出力する。
【００３２】
図８に示すＤＶＤプレーヤ１０１の動作を説明する。ディスクから再生されたＭＰＥＧデータはＭＰＥＧデコーダ１１１に供給される。このＭＰＥＧデコーダ１１１では、ＭＰＥＧデータに対してデコード処理が行われて画像信号Ｓａが取得される。この画像信号Ｓａは画像信号送信部１１２に供給され、画像信号出力端子１１３に順次出力される。
【００３３】
また、ＭＰＥＧデコーダ１１１から画像信号Ｓａに関連した付加情報、例えば差分データ、動きベクトル等が出力される。この付加情報は、付加情報記憶部１１４に供給される。付加情報記憶部１１４では、各フレームで、ＭＰＥＧデコーダ１１１から供給された付加情報に基づいて、１フレーム分の付加信号Ｓiaを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。そして、このようにフレームメモリに記憶された各情報が付加信号送信部１１５により読み出され、画像信号Ｓａに同期した状態で、付加信号出力端子１１６に、付加信号Ｓiaとして順次出力される。
【００３４】
また、図１に戻って、ノイズ低減回路１０２は、ＤＶＤプレーヤ１０１から信号線Ｌsaを通じて送られてくる画像信号Ｓａから、ブロック歪みを低減する。この場合、ノイズ低減回路１０２は、ＤＶＤプレーヤ１０１から付加情報線Ｌiaを通じて送られてくる付加信号Ｓiaに含まれる付加情報のうち、フレームのブロックの情報を利用して、ブロック歪みを低減する処理を行う。なお、上述したＭＰＥＧデータはＤＣＴ処理の単位であるブロック毎に圧縮処理されて得られたものであり、このＭＰＥＧデータをデコード処理して得られる画像信号Ｓａには、圧縮率が高くなるに従って見た目がブロック状となる歪みが発生する。この歪みが上述したブロック歪みである。
【００３５】
図１０は、ノイズ低減回路１０２、フレーム数変換回路１０３およびフォーマット変換回路１０４の基本となる画像信号処理装置１５０の構成を示している。この画像信号処理装置１５０は、画像信号入力端子１５１と、画像信号受信部１５２と、画像信号処理部１５３と、画像信号送信部１５４と、画像信号出力端子１５５とを有している。
【００３６】
画像信号受信部１５２は、画像信号入力端子１５１に入力された画像信号Ｓを受信する。画像信号処理部１５３は、画像信号受信部１５２で受信された画像信号Ｓを処理する。この場合、画像信号処理部１５３は、後述する付加信号受信部１５７で受信された付加信号Ｓｉに含まれている付加情報に、自己の処理で使用可能な付加情報が存在するときは、その付加情報を用いて処理を行う。画像信号送信部１５４は、画像信号処理部１５３で処理された画像信号Ｓ′を、次段の装置に送信するために、画像信号出力端子１５５に順次出力する。
【００３７】
また、画像信号処理装置１５０は、付加信号入力端子１５６と、付加信号受信部１５７と、付加情報記憶部１５８と、付加情報挿入部１５９と、付加信号送信部１６０と、付加信号出力端子１６１とを有している。
【００３８】
付加信号受信部１５７は、付加信号入力端子１５６に入力された付加信号Ｓｉを受信する。付加情報記憶部１５８は、フレームメモリ（図示せず）を備えており、このフレームメモリに、各フレームで、付加信号受信部１５７で受信された付加信号Ｓｉを構成する各情報（フレーム同期信号、フレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマット、画素内の情報、ブロック内の情報）を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する（図２、図３、図７参照）。
【００３９】
付加情報挿入部１５９は、各フレームで、付加情報受信部１５７で受信された付加信号に含まれていた付加情報（受信付加情報）に、画像信号処理部１５３で画像信号に処理を行ったときに得られた新たな付加情報（挿入付加情報）を挿入する。そのために、付加情報挿入部１５９は、各フレームで、付加情報記憶部１５８内のフレームメモリの記憶内容を、新たな付加情報を挿入した状態に書き換える。
【００４０】
この場合、新たな付加情報は、画素内の情報あるいはブロック内の情報である。なお、付加情報挿入部１５９は、各画素あるいは各ブロックに対応して、新たな付加情報を挿入するだけのビット数の余裕があるか否かを判断し、余裕がないときには新たな付加情報の挿入を行わないか、あるいは新たな付加情報のビット数を低減した状態として挿入する。
また、付加情報挿入部１５９は、画素内の情報あるいはブロック内の情報を新たな付加情報として挿入する場合には、ブランキング部分に配置される情報のフォーマットも書き換える。また、付加情報挿入部１５９は、必要に応じて、フレームセットの情報、フレームの情報、フレームのブロック情報なども書き換える。
【００４１】
付加信号送信部１６０は、付加情報記憶部１５８に記憶されている各情報を読み出し、次段の装置に送信するために、付加信号出力端子１６１に付加信号Ｓｉ′として順次出力する。この場合、付加信号送信部１６０は、画像信号送信部１５４から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓｉ′を画像信号Ｓ′に同期させて出力する。このように、付加信号Ｓｉ′を画像信号Ｓ′に同期させて出力することで、次段の装置では、付加信号Ｓｉ′から、画像信号Ｓ′の各画素、各ブロックにそれぞれ対応した付加情報を容易に取得できる。
【００４２】
図１０に示す画像信号処理装置１５０の動作を説明する。
付加信号入力端子１５６に入力された付加信号Ｓｉは付加信号受信部１５７で受信される。そして、付加情報記憶部１５８では、各フレームで、付加信号Ｓｉを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。
【００４３】
また、画像信号入力端子１５１に入力された画像信号Ｓは画像信号受信部１５２で受信される。画像信号処理部１５３では、この画像信号Ｓに対して処理が行われる。この場合、上述したように受信された付加信号Ｓｉに含まれており、付加情報記憶部１５８でフレームメモリに記憶された付加情報に、当該処理で使用可能な付加情報が存在するときは、その付加情報を用いて処理が行われる。このように、画像信号処理部１５３で処理されて得られた画像信号Ｓ′は、画像信号送信部１５４に供給され、画像信号出力端子１５５に順次出力される。
【００４４】
また、画像信号処理部１５３で画像信号に処理を行ったときに新たな付加情報が得られたとき、付加情報挿入部１５９により、付加信号Ｓｉに含まれていた付加情報に、この新たな付加情報が挿入される。すなわち、各フレームで、付加情報記憶部１５８内のフレームメモリの記憶内容が、新たな付加情報を挿入した状態に書き換えられる。そして、このフレームメモリに記憶された各情報が付加信号送信部１６０により読み出され、画像信号Ｓ′に同期した状態で、付加信号出力端子１６１に、付加信号Ｓｉ′として順次出力される。
【００４５】
図１１は、上述した画像信号処理装置１５０における１フレーム分の処理手順を示している。すなわち、ステップＳＴ１１で、処理を開始し、ステップＳＴ１２で、画像信号Ｓおよび付加信号Ｓｉを受信してフレームメモリに記憶する。なお、上述では、単に、画像信号受信部１５２で受信された画像信号Ｓが画像信号処理部１５３に供給されて処理される旨説明したが、実際には、受信された画像信号Ｓは例えば画像信号受信部１５２内のフレームメモリに記憶され、その後にこのフレームメモリから処理すべき画素データが順次読み出されて処理が行われる。
【００４６】
次に、ステップＳＴ１３で、画像信号Ｓの処理を行う。この場合、付加信号Ｓｉに含まれていた付加情報に、その処理で使用可能な付加情報があるときは、その付加情報を用いて処理をする。
【００４７】
次に、ステップＳＴ１４で、付加信号Ｓｉに含まれていた付加情報（受信付加情報）に、ステップＳＴ１３の処理で得られた新たな付加情報（挿入付加情報）を挿入する。この場合、各画素あるいは各ブロックに対応して、挿入付加情報を挿入するだけのビット数の余裕がないときは、この挿入付加情報を挿入しないか、あるいはこの挿入付加情報のビット数を削減した状態で挿入する。
【００４８】
次に、ステップＳＴ１５で、処理後の画像信号Ｓ′を次段の装置に送信し、これと同期して、受信付加情報の他に挿入付加情報も含む付加信号Ｓｉ′を次段の装置に送信する。そして、ステップＳＴ１６で、処理を終了する。
【００４９】
なお、図１０に示す画像信号処理装置１５０は、次段の装置に画像信号Ｓ′および付加信号Ｓｉ′を送信する構成となっている。しかし、この画像信号処理装置１５０が最終段であるときは、次段に画像信号Ｓ′および付加信号Ｓｉ′を送る必要がなく、従って画像信号送信部１５４、付加情報挿入部１５９および付加信号送信部１６０はなくともよい。
【００５０】
図１２は、ノイズ低減回路１０２の構成を示している。このノイズ低減回路１０２は、画像信号入力端子２０１と、画像信号受信部２０２と、画像信号処理部２０３と、画像信号送信部２０４と、画像信号出力端子２０５とを有している。
【００５１】
画像信号受信部２０２は、画像信号入力端子２０１に入力された画像信号Ｓａを受信する。この画像信号Ｓａは、ＤＶＤプレーヤ１０１から信号線Ｌsaを通じて送信されてくる。画像信号処理部２０３は、画像信号受信部２０２で受信された画像信号Ｓａに対して、ブロック歪みを低減する処理を行う。画像信号送信部２０４は、画像信号処理部２０３で処理されて得られた画像信号Ｓｂを、フレーム数変換回路１０３に送信するために、画像信号出力端子２０５に順次出力する。
【００５２】
また、ノイズ低減回路１０２は、付加信号入力端子２０６と、付加信号受信部２０７と、付加情報記憶部２０８と、付加情報挿入部２０９と、付加信号送信部２１０と、付加信号出力端子２１１とを有している。
【００５３】
付加信号受信部２０７は、付加信号入力端子２０６に入力された付加信号Ｓiaを受信する。この付加信号Ｓiaは、ＤＶＤプレーヤ１０１から付加情報線Ｌiaを通じて送信されてくる。付加情報記憶部２０８は、フレームメモリ（図示せず）を備えており、このフレームメモリに、各フレームで、付加信号受信部２０７で受信された付加信号Ｓiaを構成する各情報（フレーム同期信号、フレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマット、画素内の情報、ブロック内の情報）を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する（図２、図３、図７参照）。
【００５４】
付加情報挿入部２０９は、各フレームで、付加情報受信部２０７で受信された付加信号Ｓiaに含まれていた付加情報（受信付加情報）に、画像信号処理部２０３で画像信号Ｓａに処理を行ったときに得られた新たな付加情報（挿入付加情報）を挿入する。この新たな付加情報は、詳細は後述するが、ブロック内の情報としての、各ブロックで検出された周辺ブロックに対する傾きＳＬである。
【００５５】
付加情報挿入部２０９は、各フレームで、付加情報記憶部２０８内のフレームメモリの記憶内容を、新たな付加情報を挿入した状態に書き換える。この場合、付加情報挿入部２０９は、ブロック内の情報を新たな付加情報として挿入する場合、ブランキング部分に配置される情報のフォーマットも書き換える。
【００５６】
付加信号送信部２１０は、付加情報記憶部２０８内のフレームメモリに記憶されている各情報を読み出し、次段のフレーム数変換回路１０３に送信するために、付加信号出力端子２１１に付加信号Ｓibとして順次出力する。この場合、付加信号送信部２１０は、画像信号送信部２０４から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓibを画像信号Ｓｂに同期させて出力する。
【００５７】
画像信号処理部２０３についてさらに説明する。画像信号処理部２０３は、ブロック検出部２０３ａを有している。このブロック検出部２０３ａは、各フレームで、画像信号受信部２０２で受信された画像信号Ｓａの有効画素部分から、ＤＣＴ処理の単位であった、複数の画素データからなるブロックを順次検出する。
【００５８】
この場合、ブロック検出部２０３ａは、付加信号受信部２０７で受信された付加信号Ｓiaに含まれている付加情報にブロックサイズの情報があるときは、このブロックサイズの情報を利用してブロック検出を行う。一方、ブロック検出部２０３ａは、付加信号Ｓiaに含まれている付加情報にブロックサイズの情報がないときは、水平、垂直のそれぞれの方向で複数の画素データを用いてブロック境界を判定してブロックを検出する。このブロック境界の判定方法については、例えば特開２００３−２７４４０４号公報に記載がある。本実施の形態においては、上述したように付加信号Ｓiaに含まれている付加情報にブロックサイズの情報（フレームのブロックの情報、図４参照）があるので、ブロック検出部２０３ａでは、それを利用できる。
【００５９】
また、画像信号処理部２０３は、傾き検出部２０３ｂを有している。この傾き検出部２０３ｂは、付加信号Ｓiaに含まれている付加情報に周辺ブロックに対する傾きがないとき、ブロック検出部２０３ａで順次検出されたブロック（処理対象ブロック）のそれぞれに対応して、周辺ブロックに対する傾きを検出する。
【００６０】
ここで、周辺ブロックに対する傾きについて説明する。図１３には、処理対象ブロックＢ０と、その上下左右のブロックＢ１〜Ｂ４が示されている。この処理対象ブロックＢ０に対応した周辺ブロックに対する傾きＳＬは、（１）式で求められる。この（１）式において、ＡＶ０〜ＡＶ４は、それぞれ、ブロックＢ０〜Ｂ４を構成する複数の画素データの平均値である。
ＳＬ＝ＡＶ０−（ＡＶ１＋ＡＶ２＋ＡＶ３＋ＡＶ４）／４      ・・・（１）
【００６１】
また、画像信号処理部２０３は、境界画素値補正部２０３ｃを有している。この境界画素値補正部２０３ｃは、ブロック検出部２０３ａで順次検出されたブロック（処理対象ブロック）のそれぞれに対応して、境界部分に位置する画素データの値を補正する。すなわち、この境界画素値補正部２０３ｃは、周辺ブロックに対する傾きＳＬが０に近づくように、処理対象ブロックの境界部分に位置する画素データの値を補正する。例えば、傾きＳＬが正の値であるときは、境界部分に位置する画素データの値を小さくするように補正する。逆に、傾きＳＬが負の値であるときは、境界部分に位置する画素データの値を大きくするように補正する。なお、境界部分に位置する画素データとしては、境界に接した垂直、水平の各方向の１画素のデータを含む、当該垂直、水平の各方向の１画素あるいは連続した複数画素のデータが対象とされる。
【００６２】
この場合、境界画素値補正部２０３ｃは、付加信号受信部２０７で受信された付加信号Ｓiaに含まれている付加情報に周辺ブロックに対する傾きＳＬの情報があるときは、この傾きＳＬの情報を利用して補正処理を行う。一方、境界画素値補正部２０３ｃは、付加信号Ｓiaに含まれている付加情報に周辺ブロックに対する傾きＳＬの情報がないときは、傾き検出部２０３ｂで検出された傾きＳＬを利用して補正処理を行う。本実施の形態においては、上述したように付加信号Ｓiaに含まれている付加情報に周辺ブロックに対する傾きＳＬの情報がないので、境界画素値補正部２０３ｃでは、傾き検出部２０３ｂで検出された傾きＳＬが利用される。
【００６３】
なお、境界画素値補正部２０３ｃで境界部分に位置する画素データの値が補正された各処理対象ブロックは、この境界画素値補正部２０３ｃ内のフレームメモリ（図示せず）の、そのブロックに対応したアドレス位置に一時的に記憶される。このように各ブロックをフレームメモリに一時的に記憶するのは、ブロック毎に処理された画像信号を、ライン順で出力する必要があるからである。すなわち、上述した画像信号送信部２０４は、この境界画素値補正部２０３ｃ内のフレームメモリから処理後の画像信号Ｓｂをライン順に読み出して画像信号出力端子２０５に出力する。
【００６４】
また、上述したように、付加情報挿入部２０９は、各フレームで、付加情報受信部２０７で受信された付加信号Ｓiaに含まれていた付加情報（受信付加情報）に、ブロック内の情報としての、周辺ブロックに対する傾きＳＬを挿入する。このように挿入される周辺ブロックに対する傾きＳＬは、境界画素値補正部２０３ｃで境界部分の画素値が補正された各ブロックに基づき、傾き検出部２０３ｂで、ブロック毎に新たに算出されて得られる。
【００６５】
図１４Ａは、付加信号Ｓib（第１フレーム）における情報のフォーマットを示している。また、図１４Ｂは、付加信号Ｓib（第２〜第５フレーム）における情報のフォーマットを示している。図１５Ａは、第１フレームの付加信号Ｓibにおける、傾きＳＬと、有効画素部分のブロック位置との実際の対応を示している。また、図１５Ｂは、第２〜第５フレームの付加信号Ｓibにおける、差分データ、動きベクトル、傾きＳＬと、有効画素部分の画素位置、ブロック位置との実際の対応を示している。ここでは、ブロックのサイズｋ×ｍが２×３であり、各画素に対応して使用可能なビット数が８×３＝２４である場合を示している。
【００６６】
図１６のフローチャートは、画像信号処理部２０３における１ブロック分の処理手順を示している。まず、ステップＳＴ３１で、処理を開始し、ステップＳＴ３２で、受信された付加信号Ｓiaに含まれる付加情報にブロックサイズの情報があるか否かを判定する。ブロックサイズの情報があるときは、ステップＳＴ３３で、そのブロックサイズの情報を用いてブロック（処理対象ブロック）を検出し、その後にステップＳＴ３４に進む。一方、ブロックサイズの情報がないときは、ステップＳＴ３５で、ブロック境界を判定してブロック（処理対象ブロック）を検出し、その後にステップＳＴ３４に進む。
【００６７】
ステップＳＴ３４では、受信された付加信号Ｓiaに含まれる付加情報に周辺ブロックに対する傾きＳＬの情報があるか否かを検出する。傾きＳＬの情報があるときは、直ちにステップＳＴ３６に進む。一方、傾きＳＬの情報がないときは、ステップＳＴ３７で、処理対象ブロックＢ０とその上下左右に位置するブロックＢ１〜Ｂ４を用いて、周辺ブロックに対する傾きＳＬを検出し（図１３、（１）式参照）、その後にステップＳＴ３６に進む。
【００６８】
ステップＳＴ３６では、傾きＳＬの情報を用いて、処理対象ブロックの境界部分に位置する画素データの値を補正する。そして、ステップＳＴ３８で、処理を終了する。
【００６９】
なお、図１６に示すフローチャートでは、各ブロックの処理で、ステップＳＴ３２およびステップＳＴ３４の判定を行うようになっているが、これらの判定は、各フレームにおいて、１回だけ行えばよい。
【００７０】
図１２に示すノイズ低減回路１０２の動作を説明する。
付加信号入力端子２０６に入力された付加信号Ｓiaは付加信号受信部２０７で受信される。そして、付加情報記憶部２０８では、各フレームで、付加信号Ｓiaを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。
【００７１】
また、画像信号入力端子２０１に入力された画像信号Ｓａは画像信号受信部２０２で受信される。画像信号処理部２０３では、この画像信号Ｓａに対して、ブロック歪みを低減する処理が行われる。この場合、画像信号Ｓａから処理対象となるブロック（処理対象ブロック）が順次検出され、この処理対象ブロックの境界部分に位置する画素データの値が、周辺ブロックに対する傾きＳＬが０に近づくように補正される。ここで、本実施の形態では、受信された付加信号Ｓiaに付加情報として含まれるブロックサイズの情報が使用されて、ブロック検出が行われる。また、周辺ブロックに対する傾きＳＬは、処理対象ブロックとその上下左右に位置するブロックに基づいて求められる。このように、画像信号処理部２０３で処理されて得られた画像信号Ｓｂは、画像信号送信部２０４に供給され、後段のフレーム数変換回路１０３に送信するために、画像信号出力端子２０５に出力される。
【００７２】
また、画像信号処理部２０３の傾き検出部２０３ｂでは、境界画素値補正部２０３ｃで境界部分の画素データの値が補正された各ブロックに基づき、ブロック毎に、周辺ブロックに対する傾きＳＬが新たに算出される。このように算出された各ブロックの、周辺ブロックに対する傾きＳＬは、付加情報挿入部２０９に供給される。そして、この付加情報挿入部２０９により、付加信号Ｓiaに含まれていた付加情報に、この周辺ブロックに対する傾きＳＬが挿入される。すなわち、各フレームで、付加情報記憶部２０８内のフレームメモリの記憶内容が、この周辺ブロックに対する傾きＳＬを、ブロック内の情報として挿入した状態に書き換えられる。
【００７３】
そして、各フレームで、この付加情報記憶部２０８内のフレームメモリに記憶された各情報が付加情報送信部２１０により読み出され、画像信号Ｓｂに同期した状態で、付加信号出力端子２１１に、次段のフレーム数変換回路１０３に送信するための付加信号Ｓibとして順次出力される。
【００７４】
図１２に示すノイズ低減回路１０２では、画像信号処理部２０３のブロック検出部２０３ａで、受信された付加信号Ｓiaに付加情報として含まれていたブロックサイズの情報を用いてブロック検出を行うことができ、ブロック境界を判定してブロック検出を行うものと比べてブロック検出を正確に行うことができ、ブロック歪みの低減処理の性能が向上する。
【００７５】
また、図１に戻って、フレーム数変換回路１０３は、ノイズ低減回路１０２から信号線Ｌsbを通じて送られてくる画像信号Ｓｂ（５２５ｐ／２４フレームの画像信号）を、画像信号Ｓｃ（５２５ｐ／６０フレームの画像信号）に変換する。ここで、５２５ｐ／６０フレームの画像信号は、フレーム周波数が６０Ｈｚであって、１フレームのライン数が５２５本のプログレッシブ方式の画像信号である。
【００７６】
図１７は、フレーム数変換回路１０３の構成を示している。このフレーム数変換回路１０３は、画像信号入力端子３０１と、画像信号受信部３０２と、画像信号処理部３０３と、画像信号送信部３０４と、画像信号出力端子３０５とを有している。画像信号受信部３０２は、画像信号入力端子３０１に入力された画像信号Ｓｂを受信する。この画像信号Ｓｂは、ノイズ低減回路１０２から信号線Ｌsbを通じて送信されてくる。画像信号処理部３０３は、画像信号受信部３０２で受信された画像信号Ｓｂ（５２５ｐ／２４フレームの画像信号）を、画像信号Ｓｃ（５２５ｐ／６０フレームの画像信号）に変換する。画像信号送信部３０４は、画像信号処理部３０３で得られた画像信号Ｓｃを、フォーマット変換回路１０４に送信するために、画像信号出力端子３０５に順次出力する。
【００７７】
また、フレーム数変換回路１０３は、付加信号入力端子３０６と、付加信号受信部３０７と、付加情報記憶部３０８と、付加情報挿入部３０９と、付加信号送信部３１０と、付加信号出力端子３１１とを有している。
【００７８】
付加信号受信部３０７は、付加信号入力端子３０６に入力された付加信号Ｓibを受信する。この付加信号Ｓibは、ノイズ低減回路１０２から付加情報線Ｌibを通じて送信されてくる。付加情報記憶部３０８は、フレームメモリ（図示せず）を備えており、このフレームメモリに、画像信号Ｓｂの各フレームで、付加信号受信部３０７で受信された付加信号Ｓibを構成する各情報（フレーム同期信号、フレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマット、画素内の情報、ブロック内の情報）を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する（図２、図３、図１５参照）。
【００７９】
後述するように、画像信号Ｓｃに同期して、付加信号Ｓicを出力する際に、付加信号送信部３１０は、付加情報記憶部３０８内のフレームメモリに記憶されている各情報を読み出すことで付加信号Ｓicを取得する。付加情報挿入部３０９は、画像信号Ｓｃの各フレームで、ブロック内の情報として、各フレームの時間位置に合った動きベクトルを挿入する。付加情報挿入部３０９は、この動きベクトルを、後述するタップ中心位置決定部３２３で、予測タップ、クラスタップのタップ中心位置を決定するために使用された動きベクトルを、ｆｂ／ｆｃ倍し、それを四捨五入、切り捨て、または切り上げを行って丸めたものとする。ここで、ｆｂは画像信号Ｓｂのフレーム周波数、ｆｃは画像信号Ｓｃのフレーム周波数である。
【００８０】
なお、この付加情報挿入部３０９は、動きベクトルを挿入する際、差分データおよび既に存在している動きベクトルを除去する。これにより、画像信号Ｓｃの各フレームに同期して出力される付加信号Ｓicの、有効画素部分には、図示せずも、ブロック内の情報として、動きベクトルおよび傾きＳＬのみが配置されていることになる。
【００８１】
付加信号送信部３１０は、付加情報記憶部３０８内のフレームメモリに記憶されている各情報を読み出し、次段のフォーマット変換回路１０４に送信するために、付加信号出力端子３１１に付加信号Ｓicとして順次出力する。この場合、付加信号送信部３１０は、画像信号送信部３０４から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓicを画像信号Ｓｃに同期させて出力する。
【００８２】
画像信号処理部３０３についてさらに説明する。画像信号処理部３０３は、時間モード指定部３２１を有している。この時間モード指定部３２１は、画像信号Ｓｂのフレームに対する、画像信号Ｓｃの生成すべきフレームの時間位置を示す時間モードを指定する。画像信号Ｓｂのフレーム周波数は２４Ｈｚであり、画像信号Ｓｃのフレーム周波数は６０Ｈｚである。そのため、画像信号Ｓｂの各フレームに対して、画像信号Ｓｃの各フレームの時間位置は、例えば図１８に示すように、設定される。この場合、画像信号Ｓｂのフレームに対する画像信号Ｓｃのフレームの時間位置を示す時間モードとしてモード０〜モード４が存在する。
【００８３】
この場合、画像信号Ｓｃのモード０〜モード２のフレームは、画像信号Ｓｂのｎフレームおよびｎ＋１フレームから生成される。また、画像信号Ｓｃのモード３、モード４のフレームは、画像信号Ｓｂのｎ＋１フレームおよびｎ＋２フレームから生成される。ここで画像信号Ｓｂの１フレーム期間を１とすると、画像信号Ｓｃのモード０〜モード４のフレームは、それぞれ、画像信号Ｓｂの前後の２フレームから以下のように離れた時間位置にある。
【００８４】
すなわち、画像信号Ｓｃのモード０のフレームは、画像信号Ｓｂのｎフレームから０．１だけ離れると共に、画像信号Ｓｂのｎ＋１フレームから０．９だけ離れた位置にある。画像信号Ｓｃのモード１のフレームは、画像信号Ｓｂのｎフレームから０．５だけ離れると共に、画像信号Ｓｂのｎ＋１フレームから０．５だけ離れた位置にある。画像信号Ｓｃのモード２のフレームは、画像信号Ｓｂのｎフレームから０．９だけ離れると共に、画像信号Ｓｂのｎ＋１フレームから０．１だけ離れた位置にある。画像信号Ｓｃのモード３のフレームは、画像信号Ｓｂのｎ＋１フレームから０．３だけ離れると共に、画像信号Ｓｂのｎ＋２フレームから０．７だけ離れた位置にある。画像信号Ｓｃのモード４のフレームは、画像信号Ｓｂのｎ＋１フレームから０．７だけ離れると共に、画像信号Ｓｂのｎ＋２フレームから０．３だけ離れた位置にある。
【００８５】
時間モード指定部３２１は、画像信号Ｓｃの各フレームに同期させて、モード０〜モード４を、順次繰り返し指定し、その指定した時間モードを示すモード信号ＭＯＤを出力する。なお、上述したように、画像信号Ｓｂのｎ〜ｎ＋２の３フレームから画像信号Ｓｃのモード０〜モード４の５フレームが生成される。画像信号Ｓｃの次のモード０〜モード４の５フレームは、上述のｎ＋２フレームをｎフレームとした、画像信号Ｓｂの次のｎ〜ｎ＋２の３フレームから生成される。
【００８６】
また、画像信号処理部３０３は、動きベクトル検出部３２２を有している。上述したように画像信号Ｓｃのモード０〜モード２のフレームは、画像信号Ｓｂのｎフレームおよびｎ＋１フレームから生成される。画像信号Ｓｃのモード０〜モード２のフレームにおける注目画素位置の画素データを生成する際に、後述するタップ中心位置決定部３２３では、その注目画素位置に対応した、ｎ＋１フレームのｎフレームに対する動きベクトルを用いて、画像信号Ｓｂのｎフレームおよびｎ＋１フレームに張る予測タップ、クラスタップの中心位置を決定する。動きベクトル検出部３２２は、付加信号Ｓibに含まれている付加情報にその動きベクトルがないとき、その動きベクトルを検出する。
【００８７】
画像信号Ｓｂのフレームセットを構成する第１〜第５のフレームにおいて、第２〜第５のフレームに対応した付加信号Ｓibには、動きベクトルが含まれているが、第１のフレームには動きベクトルは含まれていない。したがって、動きベクトル検出部３２２は、画像信号Ｓｂのｎ＋１フレームが、第１のフレームであるとき、動きベクトルの検出を行う。この動きベクトルは、従来周知のブロックマッチング法あるいは勾配法等で検出でき、例えばＤＣＴの処理単位であるブロック単位で検出される。
【００８８】
また、上述したように画像信号Ｓｃのモード３、モード４のフレームは、画像信号Ｓｂのｎ＋１フレームおよびｎ＋２フレームから生成される。画像信号Ｓｃのモード３、モード４のフレームにおける注目画素位置の画素データを生成する際に、後述するタップ中心位置決定部３２３では、その注目画素位置に対応した、ｎ＋２フレームのｎ＋１フレームに対する動きベクトルを用いて、画像信号Ｓｂのｎ＋１フレームおよびｎ＋２フレームに張る予測タップ、クラスタップの中心位置を決定する。動きベクトル検出部３２２は、付加信号Ｓibに含まれている付加情報にその動きベクトルがないとき、その動きベクトルを検出する。
【００８９】
画像信号Ｓｂのフレームセットを構成する第１〜第５のフレームにおいて、第２〜第５のフレームに対応した付加信号Ｓibには、動きベクトルが含まれているが、第１のフレームには動きベクトルは含まれていない。したがって、動きベクトル検出部３２２は、画像信号Ｓｂのｎ＋２フレームが、第１のフレームであるとき、動きベクトルの検出を行う。この動きベクトルは、従来周知のブロックマッチング法あるいは勾配法等で検出でき、例えばＤＣＴの処理単位であるブロック単位で検出される。
【００９０】
また、画像信号処理部３０３は、タップ中心位置検出部３２３を有している。このタップ中心位置決定部３２３は、後述する予測タップおよびクラスタップの中心位置を決定する。すなわち、このタップ中心位置決定部３２３は、画像信号Ｓｃのモード０〜モード２のフレームにおける注目画素位置の画素データを生成する際に、その注目画素位置に対応した、画像信号Ｓｂにおけるｎ＋１フレームのｎフレームに対する動きベクトルＭＶn+1（図１９Ａ参照）を用いて、画像信号Ｓｂのｎフレームおよびｎ＋１フレームに張る予測タップ、クラスタップの中心位置を決定し、タップ中心位置の情報ＣＥＰを出力する。この動きベクトルＭＶn+1として、付加信号Ｓibに含まれている場合にはそれが使用され、そうでなければ動きベクトル検出部３２２で検出されたものが使用される。
【００９１】
また、タップ中心位置決定部３２３は、画像信号Ｓｃのモード３、モード４のフレームにおける注目画素位置の画素データを生成する際に、その注目画素位置に対応した、画像信号Ｓｂにおけるｎ＋２フレームのｎ＋１フレームに対する動きベクトルＭＶn+2（図１９Ａ参照）を用いて、画像信号Ｓｂのｎ＋１フレームおよびｎ＋２フレームに張る予測タップ、クラスタップの中心位置を決定し、タップ中心位置の情報ＣＥＰを出力する。この動きベクトルＭＶn+2として、付加信号Ｓibに含まれている場合にはそれが使用され、そうでなければ動きベクトル検出部３２２で検出されたものが使用される。
【００９２】
ここで、タップ中心位置決定の手順を、図１９Ｂに示すように、例えば画像信号Ｓｃのモード１のフレームにおける注目画素位置Ｐ０の画素データを生成する場合を例にとって説明する。まず、注目画素位置Ｐ０に対応するｎ＋１フレームの画素位置Ｐ０n+1での動きベクトルＭＶn+1（実線図示）を取得する。
【００９３】
次に、この動きベクトルＭＶn+1を、モード１のフレームの、ｎフレームおよびｎ＋１フレームに対する時間位置のずれに応じて割り振って、注目画素位置Ｐ０のｎフレームに対する動きベクトルＭＶFと、注目画素位置Ｐ０のｎ＋１フレームに対する動きベクトルＭＶRとを取得する。
【００９４】
次に、注目画素位置Ｐ０から動きベクトルＭＶF分ずれた画素位置を算出し、その画素位置を四捨五入、切り捨て、または切り上げによって、整数画素位置に丸めた画素位置Ｐnを、ｎフレームに張る予測タップ、クラスタップのタップ中心位置に決定する。
【００９５】
同様に、注目画素位置Ｐ０から動きベクトルＭＶR分ずれた画素位置を算出し、その画素位置を四捨五入、切り捨て、または切り上げによって、整数画素位置に丸めた画素位置Ｐn+1を、ｎ＋１フレームに張る予測タップ、クラスタップのタップ中心位置に決定する。
【００９６】
また、画像信号処理部３０３は、予測タップ選択部３２４と、クラスタップ選択部３２５とを有している。これら予測タップ選択部３２４、クラスタップ選択部３２５は、それぞれ、画像信号Ｓｃのモード０〜モード２のフレームにおける注目画素位置の画素データを生成する場合には、画像信号Ｓｂのｎフレームおよびｎ＋１フレームから、複数の画素データを予測タップ、クラスタップのデータとして選択的に抽出する。この場合、予測タップ選択部３２４、クラスタップ選択部３２５は、それぞれ、タップ中心位置決定部３２３から供給されるタップ中心位置の情報ＣＥＰに基づき、ｎフレームおよびｎ＋１フレームのそれぞれから、タップ中心位置として決定された画素位置を中心とした複数の画素データを選択的に抽出する。
【００９７】
また、予測タップ選択部３２４、クラスタップ選択部３２５は、それぞれ、画像信号Ｓｃのモード３、モード４のフレームにおける注目画素位置の画素データを生成する場合には、画像信号Ｓｂのｎ＋１フレームおよびｎ＋２フレームから、複数の画素データを予測タップ、クラスタップのデータとして選択的に抽出する。この場合、予測タップ選択部３２４、クラスタップ選択部３２５は、それぞれ、タップ中心位置決定部３２３から供給されるタップ中心位置の情報ＣＥＰに基づき、ｎ＋１フレームおよびｎ＋２フレームのそれぞれから、タップ中心位置として決定された画素位置を中心とした複数の画素データを選択的に抽出する。
【００９８】
図２０Ａは、画像信号Ｓｂの２フレームから選択的に抽出される、予測タップのデータとしての複数の画素データの一例を示している。図２０Ｂは、画像信号Ｓｂの２フレームから選択的に抽出される、クラスタップのデータとしての複数の画素データ（実線部分）の一例を示している。
【００９９】
また、画像信号処理部３０３は、クラス検出部３２６を有している。このクラス検出部３２６は、クラスタップ選択部３２５で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１００】
すなわち、クラス検出部３２６は、まず、複数の画素データにＡＤＲＣ(Adaptive Dynamic Range Coding)等のデータ圧縮処理を施し、例えば各画素データを８ビットデータから２ビットデータあるいは１ビットデータに圧縮する。この場合、複数の画素データの最大値をＭＡＸ、その最小値をＭＩＮ、複数の画素データのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各画素データｋｉに対して、（２）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。ただし、（２）式において、[  ]は切り捨て処理を意味している。クラスタップのデータとして、Ｎａ個の画素データがあるとき、ｉ＝１〜Ｎａである。
ｑｉ＝［（ｋｉ−ＭＩＮ＋０．５）＊２P／ＤＲ］      ・・・（２）
【０１０１】
クラス検出部３２６は、次に、クラスタップのデータとしての複数の画素データのそれぞれに対して得られた上述の再量子化コードｑｉを用い、（３）式の演算により、クラスコードＣＬを生成する。
【０１０２】
【数１】
2005236405.tif 000003
【０１０３】
また、画像信号処理部３０３は、係数メモリ３２７を有している。この係数メモリ３２７は、後述する推定予測演算部３２８で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に、格納している。この場合、各クラスの係数データＷｉは、それぞれ上述したモード０〜モード４のそれぞれの時間モードに対応した係数データＷｉからなっている。この係数データＷｉは、画像信号Ｓｂ（５２５ｐ／２４フレームの画像信号）を、画像信号Ｓｃ（５２５ｐ／６０フレームの画像信号）に変換するための情報である。
【０１０４】
この係数メモリ３２７には、上述したクラス検出部３２６で生成されたクラスコードＣＬ、および時間モード指定部３２１から出力されるモード信号ＭＯＤが、読み出しアドレス情報として供給される。この係数メモリ３２７からは、クラスコードＣＬで示されるクラス、およびモード信号ＭＯＤで指定される時間モードに対応した係数データＷｉが読み出され、その係数データＷｉが推定予測演算部３２８に供給される。
【０１０５】
また、画像信号処理部３０３は、推定予測演算部３２８を有している。この推定予測演算部３２８は、予測タップ選択部３２４で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ３２７から読み出された係数データＷｉとを用い、（４）式の推定式に基づいて、画像信号Ｓｃの時間モード指定部３２１で指定されたモードのフレームにおける、注目画素位置の画素データｙを求める。
【０１０６】
【数２】
2005236405.tif 000004
【０１０７】
次に、画像信号処理部３０３の動作を説明する。画像信号Ｓｃのモード０のフレームを生成する場合の動作を説明する。この場合、時間モード指定部３２１からは、モード０を示すモード信号ＭＯＤが出力される。このモード信号ＭＯＤは、タップ中心位置決定部３２３に供給される。
【０１０８】
タップ中心位置決定部３２３では、画像信号Ｓｃのモード０のフレームにおける注目画素位置に対応した、画像信号Ｓｂにおけるｎ＋１フレームのｎフレームに対する動きベクトルＭＶn+1が使用され、画像信号Ｓｂのｎフレームおよびｎ＋１フレームに張る予測タップ、クラスタップの中心位置が決定される。この場合、動きベクトルＭＶn+1は、付加信号Ｓibに含まれている場合にはそれが使用され、そうでなければ動きベクトル検出部３２２で検出されて使用される。
【０１０９】
タップ中心位置決定部３２３から出力されるタップ中心位置の情報ＣＥＰは、予測タップ選択部３２４およびクラスタップ選択部３２５に供給される。クラスタップ選択部３２５では、タップ中心位置の情報ＣＥＰに基づき、画像信号Ｓｂのｎフレームおよびｎ＋１フレームのそれぞれから、タップ中心位置として決定された画素位置を中心とした複数の画素データが選択的に抽出される。この複数の画素データはクラス検出部３２６に供給される。クラス検出部３２６では、クラスタップのデータとしての複数の画素データｋｉのそれぞれに対してＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（２）式、（３）式参照）。
【０１１０】
クラス検出部３２６で生成されるクラスコードＣＬは、係数メモリ３２７に読み出しアドレス情報として供給される。また、この係数メモリ３２７には、時間モード指定部３２１から出力されるモード信号ＭＯＤも、読み出しアドレス情報として供給される。
【０１１１】
予測タップ選択部３２５では、タップ中心位置の情報ＣＥＰに基づき、画像信号Ｓｂのｎフレームおよびｎ＋１フレームのそれぞれから、タップ中心位置として決定された画素位置を中心とした複数の画素データが選択的に抽出される。この複数の画素データは推定予測演算部３２８に供給される。
【０１１２】
係数メモリ３２７からは、クラスコードＣＬで示されるクラス、およびモード信号ＭＯＤで指定されるモード１に対応した係数データＷｉが読み出され、その係数データＷｉが推定予測演算部３２８に供給される。この推定予測演算部３２８では、予測タップ選択部３２４で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ３２７から読み出された係数データＷｉとが用いられ、（４）式の推定式に基づいて、画像信号Ｓｃのモード０のフレームにおける注目画素位置の画素データｙが求められる。
【０１１３】
画像信号Ｓｃのモード０のフレームにおける注目画素位置を、このフレームを構成する全画素位置に順次変化させることで、このフレームを構成する全画素位置の画素データｙが求められ、従ってこのフレームが生成される。
【０１１４】
また、画像信号Ｓｃのモード１〜モード４のフレームも、時間モード指定部３２１で、それぞれモード１〜モード４を指定することで、上述したモード０のフレームと同様に生成される。これにより、画像信号処理部３０３では、画像信号Ｓｂ（５２５ｐ／２４フレーム）が、画像信号Ｓｃ（５２５ｐ／６０フレームの画像信号）に変換される。
【０１１５】
図２１のフローチャートは、画像信号処理部３０３における画像信号Ｓｃの所定時間モードのフレームの注目画素位置の画素データを生成する処理手順を示している。まず、ステップＳＴ４１で、処理を開始し、ステップＳＴ４２で、受信された付加信号Ｓibに含まれる付加情報に、その注目画素位置に対応した予測タップ、クラスタップのタップ中心位置を決定する際に必要な動きベクトルがあるか否かを判定する。動きベクトルがあるときは、直ちにステップＳＴ４３に進む。一方、動きベクトルがないときは。ステップＳＴ４４で、動きベクトルを検出し、その後にステップＳＴ４３に進む。
【０１１６】
ステップＳＴ４３では、動きベクトルに基づいて、予測タップ、クラスタップのタップ中心位置としての画素位置を決定する。そして、ステップＳＴ４５で、ステップＳＴ４３で決定されたタップ中心位置の情報に基づいて、画像信号Ｓｃの所定フレームの前後に位置する画像信号Ｓｂのフレームから複数の画素データをクラスタップのデータとして抽出する。そして、ステップＳＴ４６で、この複数の画素データにＡＤＲＣ等のデータ圧縮処理を施し、注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１１７】
次に、ステップＳＴ４７で、ステップＳＴ４３で決定されたタップ中心位置の情報に基づいて、画像信号Ｓｃの所定フレームの前後に位置する画像信号Ｓｂのフレームから複数の画素データを予測タップのデータとして抽出する。そして、ステップＳＴ４８で、ステップＳＴ４６で生成されたクラスコードＣＬで示されるクラス、および上述の所定時間モードに対応した係数データＷｉを選択する。
【０１１８】
そして、ステップＳＴ４９で、ステップＳＴ４７で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、ステップＳＴ４８で選択された係数データＷｉとを用い、推定式（（４）式参照）に基づいて、注目画素位置の画素データｙを生成する。そして、ステップＳＴ５０で、処理を終了する。
【０１１９】
図１７に示すフレーム数変換回路１０３の動作を説明する。
付加信号入力端子３０６に入力された付加信号Ｓibは付加信号受信部３０７で受信される。そして、付加情報記憶部３０８では、画像信号Ｓｂの各フレームで、付加信号Ｓibを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。
【０１２０】
また、画像信号入力端子３０１に入力された画像信号Ｓｂは画像信号受信部３０２で受信される。画像信号処理部３０３では、上述したように、画像信号Ｓｂ（５２５ｐ／２４フレームの画像信号）を、画像信号Ｓｃ（５２５ｐ／６０フレームの画像信号）に変換する処理が行われる。ここで、本実施の形態では、受信された付加信号Ｓibに付加情報として含まれる動きベクトルが、予測タップ、クラスタップのタップ中心位置を決定する際に使用される。このように、画像信号処理３０３で処理されて得られた画像信号Ｓｃは、画像信号送信部３０４に供給され、後段のフォーマット変換回路１０４に送信するために、画像信号出力端子３０５に出力される。
【０１２１】
また、画像信号Ｓｃの各フレームで、付加情報記憶部３０８内のフレームメモリに記憶された各情報が付加情報送信部３１０により読み出され、画像信号Ｓｃに同期した状態で、付加信号出力端子３１１に、次段のフォーマット変換回路１０４に送信するための付加信号Ｓicとして順次出力される。この場合、付加情報挿入部３０９により、画像信号Ｓｃの各フレームで、ブロック内の情報として、各フレームの時間位置に対応して新たに得られた動きベクトルが挿入される。このように挿入される動きベクトルは、タップ位置決定部３２３で予測タップ、クラスタップのタップ中心位置を決定するために使用された動きベクトルに基づいて生成される。
【０１２２】
図１７に示すフレーム数変換回路１０３では、画像信号処理部２０３のタップ中心位置決定部３２３で、受信された付加信号Ｓibに付加情報として動きベクトルが含まれている場合には、それを用いて予測タップ、クラスタップのタップ中心位置を決定でき、全てのフレームで動きベクトルを検出して使用するものと比べて、予測タップ、クラスタップのタップ中心位置を良好に決定でき、フレーム数の変換処理の性能が向上する。
【０１２３】
ここで、上述したフレーム数変換回路１０３における画像信号処理部３０３の係数メモリ３２７（図１７参照）に格納される、係数データＷｉ（ｉ＝１〜ｎ）の生成方法について説明する。この係数データＷｉは、学習によって生成される。
【０１２４】
まず、学習方法について説明する。上述の（４）式において、学習前は係数データＷ1，Ｗ2，‥‥，Ｗnは未定係数である。学習は、クラス毎に、複数の学習データを用いることで行われる。学習データ数がｍの場合、（４）式に従って、以下に示す（５）式が設定される。ｎは予測タップの数を示している。
ｙk＝Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn   ・・・（５）
（ｋ＝１，２，‥‥，ｍ）
【０１２５】
ｍ＞ｎの場合、係数データＷ1，Ｗ2，‥‥，Ｗnは、一意に決まらないので、誤差ベクトルｅの要素ｅkを、以下の（６）式で定義し、（７）式のｅ2を最小にする係数データを求める。いわゆる最小二乗法によって係数データを一意に定める。
ｅk＝ｙk−｛Ｗ1×ｘk1＋Ｗ2×ｘk2＋‥‥＋Ｗn×ｘkn｝  ・・・（６）
（ｋ＝１，２，‥‥ｍ）
【０１２６】
【数３】
2005236405.tif 000005
【０１２７】
（７）式のｅ2を最小とする係数データを求めるための実際的な計算方法としては、まず、（８）式に示すように、ｅ2を係数データＷｉ(ｉ＝１〜ｎ）で偏微分し、ｉの各値について偏微分値が０となるように係数データＷｉを求めればよい。
【０１２８】
【数４】
2005236405.tif 000006
【０１２９】
（９）式、（１０）式のようにＸji，Ｙiを定義すると、（８）式は、（１１）式の行列式の形に書くことができる。この（１１）式が、係数データを算出するための正規方程式である。この正規方程式を掃き出し法（Gauss-Jordanの消去法）等の一般解法で解くことにより、係数データＷｉ（ｉ＝１〜ｎ）を求めることができる。
【０１３０】
【数５】
2005236405.tif 000007
【０１３１】
【数６】
2005236405.tif 000008
【０１３２】
次に、図２２を参照して、係数データＷｉを生成する係数データ生成装置３５０を説明する。
この係数データ生成装置３５０は、上述した画像信号Ｓｃに対応した教師信号としての５２５ｐ／６０フレームの画像信号が入力される入力端子３５１と、上述した画像信号Ｓｂに対応した生徒信号としての５２５ｐ／２４フレームの画像信号が入力される入力端子３５２とを有している。
【０１３３】
また、係数データ生成装置３５０は、時間モード指定部３５３を有している。この時間モード指定部３５３は、生徒信号のフレームに対する、教師信号のフレームの時間位置を示す時間モードを指定する。この時間モード指定部３５３は、上述した画像信号処理部３０３の時間モード指定部３２１に対応するものである。この時間モード指定部３５３は、指定した時間モードを示すモード信号ＭＯＤを出力する。
【０１３４】
また、係数データ生成装置３５０は、動きベクトル検出部３５４を有している。この動きベクトル検出部３５４は、生徒信号のフレーム毎に、直前のフレームに対する動きベクトルを検出する。この場合、動きベクトルは、従来周知のブロックマッチング法あるいは勾配法等で検出され、例えばＤＣＴの処理単位であるブロック毎に検出される。この動きベクトル検出部３５４は、上述した画像信号処理部３０３の動きベクトル検出部３２２に対応するものである。
【０１３５】
また、係数データ生成装置３５０は、タップ中心位置決定部３５５を有している。このタップ中心位置決定部３５５は、予測タップおよびクラスタップの中心位置を決定する。すなわち、このタップ中心位置決定部３５５は、時間モード指定部３５３からのモード信号ＭＯＤで指定される、教師信号の所定時間モードのフレームにおける注目画素位置に対応した、予測タップ、クラスタップの中心位置を、動きベクトル検出部３５４で検出された動きベクトルを使用して決定し、タップ中心位置の情報ＣＥＰを出力する。このタップ中心位置決定部３５５は、上述した画像信号処理部３０３のタップ中心位置決定部３２３に対応するものである。
【０１３６】
また、係数データ生成装置３５０は、予測タップ選択部３５６と、クラスタップ選択部３５７とを有している。これら予測タップ選択部３５６、クラスタップ選択部３５７は、それぞれ、タップ中心位置決定部３５５から供給されるタップ中心位置の情報ＣＥＰに基づき、生徒信号から、時間モード指定部３５３からのモード信号ＭＯＤで指定される、教師信号の所定時間モードのフレームにおける注目画素位置に対応した、予測タップ、クラスタップのデータとしての複数の画素データを選択的に抽出する。この予測タップ選択部３５６、クラスタップ選択部３５７は、それぞれ、上述した画像信号処理部３０３の予測タップ選択部３２４、クラスタップ選択部３２５に対応するものである。
【０１３７】
また、係数データ生成装置３５０は、クラス検出部３５８を有している。このクラス検出部３５８は、クラスタップ選択部３５７で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、時間モード指定部３５３からのモード信号ＭＯＤで指定される、教師信号の所定時間モードのフレームにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部３５８は、上述した画像信号処理部３０３のクラス検出部３２６に対応するものである。
【０１３８】
また、係数データ生成装置３５０は、教師タップ選択部３５９を有している。この教師タップ選択部３５９は、教師信号から、時間モード指定部３５３からのモード信号ＭＯＤで指定される所定時間モードのフレームにおける注目画素位置の画素データを選択的に抽出する。
【０１３９】
また、係数データ生成装置３５０は、正規方程式生成部３６０を有している。この正規方程式生成部３６０は、教師タップ選択部３５９で選択的に抽出された、教師信号の所定時間モードのフレームにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部３５６で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部３５８で得られたクラスコードＣＬとから、クラス毎に、所定時間モードの係数データＷｉを得るための正規方程式（（１１）式参照）を生成する。
【０１４０】
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号の所定時間モードのフレームと、それに対応した生徒信号のフレームとの間で、クラス毎に、多くの学習データが生成されていく。これにより、正規方程式生成部３６０では、クラス毎に、所定時間モードの係数データＷｉを得るための正規方程式が生成される。
【０１４１】
また、係数データ生成装置３５０は、係数データ決定部３６１と、係数メモリ３６２とを有している。係数データ決定部３６１は、正規方程式生成部３６０から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、所定時間モードの係数データＷｉを求める。係数メモリ３６２は、この所定時間モードの係数データＷｉを格納する。
【０１４２】
図２２に示す係数データ生成装置３５０の動作を説明する。
時間モードがモード０の係数データＷｉを生成する動作を説明する。この場合、時間モード指定部３５３からは、モード０を示すモード信号ＭＯＤが出力される。このモード信号ＭＯＤは、タップ中心位置決定部３５５、教師タップ選択部３５９および正規方程式生成部３６０に供給される。
【０１４３】
タップ中心位置決定部３５５では、動きベクトル検出部３５４で検出される動きベクトルが使用されて、教師信号のモード０のフレームにおける注目画素位置に対応した、その教師信号のモード０のフレームの前後に位置する生徒信号の２フレームに張る予測タップおよびクラスタップの中心位置が決定される。このタップ中心位置決定部３５５から出力されるタップ中心位置の情報ＣＥＰは、予測タップ選択部３５６およびクラスタップ選択部３５７に供給される。
【０１４４】
クラスタップ選択部３５７では、タップ中心位置の情報ＣＥＰに基づき、教師信号のモード０のフレームの前後に位置する生徒信号の２フレームから、教師信号のモード０のフレームにおける注目画素位置に対応した、クラスタップのデータとしての複数の画素データが選択的に抽出される。この複数の画素データはクラス検出部３５８に供給される。そして、クラス検出部３５８では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、教師信号のモード０のフレームにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される（（３）式参照）。このクラスコードＣＬは、正規方程式生成部３６０に供給される。
【０１４５】
予測タップ選択部３５６では、タップ中心位置の情報ＣＥＰに基づき、教師信号のモード０のフレームの前後に位置する生徒信号の２フレームから、教師信号のモード０のフレームにおける注目画素位置に対応した、予測タップのデータとしての複数の画素データｘｉが選択的に抽出される。この複数の画素データｘｉは、正規方程式生成部３６０に供給される。また、教師タップ選択部３５９では、モード０のフレームにおける注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成部３６０に供給される。
【０１４６】
そして、正規方程式生成部３６０では、教師信号のモード０のフレームにおける各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応した、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙが属するクラスを示すクラスコードＣＬとから、クラス毎に、モード０の係数データＷｉを得るための正規方程式（（１１）式参照）が生成される。
【０１４７】
この正規方程式３６０で生成される正規方程式のデータが係数データ決定部３６１に供給される。この係数データ決定部３６１では、それぞれ正規方程式が解かれ、クラス毎に、モード０の係数データＷｉが求められる。そして、この係数データＷｉは、係数メモリ３６２に格納される。
【０１４８】
また、詳細説明は省略するが、時間モードがモード１〜モード４の係数データＷｉは、時間モード指定部３５３で、それぞれモード１〜モード４を指定することで、上述したモード０の係数データＷｉの生成動作と同様の動作で生成される。
【０１４９】
このように、図２２の係数データ生成装置３５０においては、上述したフレーム数変換回路１０３における画像信号処理部３０３の係数メモリ３２７に格納すべき、モード０〜モード４の係数データＷｉを生成できる。
【０１５０】
また、図１に戻って、フォーマット変換回路１０４は、フレーム数変換回路１０３から信号線Ｌscを通じて送られてくる画像信号Ｓｃ（５２５ｐ／６０フレームの画像信号）を、画像信号Ｓｄ（１０５０ｐ／６０フレームの画像信号）に変換する。ここで、１０５０ｐ／６０フレームの画像信号は、フレーム周波数が６０Ｈｚであって、１フレームのライン数が１０５０本のプログレッシブ方式の画像信号である。
【０１５１】
図２３は、フォーマット変換回路１０４の構成を示している。このフォーマット変換回路１０４は、画像信号入力端子４０１と、画像信号受信部４０２と、画像信号処理部４０３と、画像信号送信部４０４と、画像信号出力端子４０５とを有している。画像信号受信部４０２は、画像信号入力端子４０１に入力された画像信号Ｓｃを受信する。この画像信号Ｓｃは、フレーム数変換回路１０３から信号線Ｌscを通じて送信されてくる。画像信号処理部４０３は、画像信号受信部４０２で受信された画像信号Ｓｃ（５２５ｐ／６０フレームの画像信号）を、画像信号Ｓｄ（１０５０ｐ／６０フレームの画像信号）に変換する。画像信号送信部４０４は、画像信号処理部４０３で得られた画像信号Ｓｄを、後段のディスプレイ１０５に送信するために、画像信号出力端子４０５に順次出力する。
【０１５２】
図２４は、５２５ｐ／６０フレームの画像信号（以下、「５２５ｐ信号」という）と１０５０ｐの画像信号（以下、「１０５０ｐ信号」という）の空間方向（垂直方向、水平方向）の画素位置関係を示しており、大きなドットが５２５ｐ信号の画素であり、小さいドットが１０５０ｐ信号の画素である。図２４から分かるように、１０５０ｐ信号のライン数は５２５ｐ信号の２倍であり、また１０５０ｐ信号の各ラインの画素数は５２５ｐ信号の２倍である。
【０１５３】
また、フォーマット変換回路１０４は、付加信号入力端子４０６と、付加信号受信部４０７と、付加情報記憶部４０８と、付加情報挿入部４０９と、付加信号送信部４１０と、付加信号出力端子４１１とを有している。
【０１５４】
付加信号受信部４０７は、付加信号入力端子４０６に入力された付加信号Ｓicを受信する。この付加信号Ｓicは、フレーム数変換回路１０３から付加情報線Ｌicを通じて送信されてくる。付加情報記憶部４０８は、フレームメモリ（図示せず）を備えており、このフレームメモリに、画像信号Ｓｃの各フレームで、付加信号受信部４０７で受信された付加信号Ｓicを構成する各情報（フレーム同期信号、フレームセットの情報、フレームの情報、フレームのブロック情報、情報のフォーマット、画素内の情報、ブロック内の情報）を、ブランキング部分、有効画素部分にそれぞれ対応させて記憶する。
【０１５５】
上述したように、画像信号処理部４０３では画像信号Ｓｃが画像信号Ｓｄに変換され、画像信号Ｓｄのライン数は画像信号Ｓｃのライン数の２倍であり、画像信号Ｓｄの各ラインの画素数は画像信号Ｓｃの各ラインの画素数の２倍である。そのため、画像信号Ｓｃにおけるｋ×ｍの画素データからなるブロックは、画像信号Ｓｄにおける２ｋ×２ｍのブロックに対応する。
【０１５６】
上述した付加情報記憶部４０８内のフレームメモリは画像信号Ｓｄに対応したものであり、したがって、付加信号Ｓicに含まれているブロック内の情報としての、画像信号Ｓｃの、あるブロック（ｋ×ｍ）に対応した動きベクトルおよび周辺ブロックに対する傾きＳＬは、そのブロックに対応した画像信号Ｓｄのブロック（２ｋ×２ｍ）に対応した位置に記憶される。
【０１５７】
付加情報挿入部４０９は、各フレームで、付加情報受信部４０７で受信された付加信号Ｓicに含まれていた付加情報（受信付加情報）に、画像信号処理部４０３で画像信号Ｓａに処理を行ったときに得られた新たな付加情報（挿入付加情報）を挿入する。この新たな付加情報は、詳細は後述するが、画素内の情報としての、各画素で生成されたクラスコードＣＬである。
【０１５８】
付加情報挿入部４０９は、各フレームで、付加情報記憶部４０８内のフレームメモリの記憶内容を、新たな付加情報を挿入した状態に書き換える。この場合、付加情報挿入部４０９は、ブロック内の情報を新たな付加情報として挿入する場合、ブランキング部分に配置される情報のフォーマットも書き換える。
【０１５９】
付加信号送信部４１０は、付加情報記憶部４０８内のフレームメモリに記憶されている各情報を読み出し、次段のディスプレイ１０５に送信するために、付加信号出力端子４１１に付加信号Ｓidとして順次出力する。この場合、付加信号送信部４１０は、画像信号送信部２０４から供給される垂直同期信号ＶＤおよび水平同期信号ＨＤに基づき、付加信号Ｓidを画像信号Ｓｄに同期させて出力する。
【０１６０】
画像信号処理部４０３についてさらに説明する。この画像信号処理部４０３は、予測タップ選択部４２１と、クラスタップ選択部４２２とを有している。これら予測タップ選択部４２１、クラスタップ選択部４２２は、それぞれ、画像信号Ｓｃから、画像信号Ｓｄにおける注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。
【０１６１】
この場合、予測タップ選択部４２１、クラスタップ選択部４２２は、それぞれ、付加信号受信部４０７で受信された付加信号Ｓicに含まれている付加情報に動きベクトルがあるか否かによって、タップを張るフレームを変化させる。すなわち、予測タップ選択部４２１、クラスタップ選択部４２２は、動きベクトルがあるときは、現フレームの他、その動きベクトルにより動き補償された１フレーム前のフレームからも、予測タップ、クラスタップのデータとしての複数の画素データを抽出するが、動きベクトルがないときは、現フレームのみから予測タップ、クラスタップのデータとしての複数の画素データを抽出する。本実施の形態においては、上述したように付加信号Ｓicに含まれている付加情報に動きベクトルがあるので、予測タップ選択部４２１、クラスタップ選択部４２２では、それを利用できる。
【０１６２】
図２５Ａは、動きベクトルがある場合における、現フレームおよび１フレーム前のフレームから選択的に抽出される、予測タップのデータとしての複数の画素データの一例を示している。図２５Ｂは、動きベクトルがない場合における、現フレームから選択的に抽出される、予測タップのデータとしての複数の画素データの一例を示している。
【０１６３】
また、図２６Ａは、動きベクトルがある場合における、現フレームおよび１フレーム前のフレームから選択的に抽出される、クラスタップのデータとしての複数の画素データの一例を示している。図２６Ｂは、動きベクトルがない場合における、現フレームから選択的に抽出される、クラスタップのデータとしての複数の画素データの一例を示している。
【０１６４】
また、画像信号処理部４０３は、クラス検出部４２３を有している。このクラス検出部４２３は、クラスタップ選択部４２２で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、画像信号Ｓｄにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１６５】
すなわち、クラス検出部４２３は、まず、複数の画素データにＡＤＲＣ等のデータ圧縮処理を施し、例えば各画素データを８ビットデータから２ビットデータあるいは１ビットデータに圧縮する。この場合、複数の画素データの最大値をＭＡＸ、その最小値をＭＩＮ、複数の画素データのダイナミックレンジをＤＲ（＝ＭＡＸ−ＭＩＮ＋１）、再量子化ビット数をＰとすると、各画素データｋｉに対して、上述した（２）式の演算により、圧縮データとしての再量子化コードｑｉが得られる。クラス検出部４２３は、次に、クラスタップのデータとしての複数の画素データのそれぞれに対して得られた上述の再量子化コードｑｉを用い、上述した（３）式の演算により、クラスコードＣＬを生成する。
【０１６６】
なおこの場合、動きベクトルを使用して現フレームおよび１フレーム前のフレームからクラスタップのデータを取得した場合におけるクラスコードＣＬと、動きベクトルを使用せずに現フレームのみからクラスタップのデータを取得した場合におけるクラスコードＣＬとが、オーバーラップしないようにされる。したがって、上述では、いずれの場合にも、クラスコードＣＬを（３）式の演算により生成する旨説明したが、実際にはオーバーラップを防止するためのビット付加等の処理も行われる。
【０１６７】
また、画像信号処理部４０３は、係数メモリ４２４を有している。この係数メモリ４２４は、後述する推定予測演算部４２５で使用される推定式で用いられる係数データＷｉ（ｉ＝１〜ｎ）を、クラス毎に、格納している。この場合、各クラスの係数データＷｉは、上述した周辺ブロックに対する傾きＳＬに係る複数種類の係数データＷｉからなっている。この複数種類の係数データＷｉは、傾きＳＬの取り得る値の範囲が複数分割されてなる各分割範囲毎に生成された係数データＷｉと、傾きＳＬの取りうる値の全範囲に対応するように生成された一般的な係数データＷｉである。この係数データＷｉは、画像信号Ｓｃ（５２５ｐ信号）を、画像信号Ｓｄ（１０５０ｐ信号）に変換するための情報である。
【０１６８】
なお、５２５ｐ信号を１０５０ｐ信号に変換する場合、各フレームにおいて、５２５ｐ信号の１画素に対応して１０５０ｐ信号の４画素を得る必要がある（図２４参照）。この場合、各フレームにおける１０５０ｐ信号を構成する２×２の単位画素ブロック内の４画素は、それぞれ中心予測タップに対して異なる位相ずれを持っている。図２７は、画像信号Ｓｄ（１０５０ｐ信号）を構成する２×２の単位画素ブロック内の４画素ＨＤ1〜ＨＤ4における、画像信号Ｓｃ（５２５ｐ信号）の中心予測タップＳＤ0からの位相ずれを示している。ここで、ＨＤ1〜ＨＤ4の位置は、それぞれ、ＳＤ0の位置から水平方向にｋ1〜ｋ4、垂直方向にｍ1〜ｍ4だけずれている。
【０１６９】
そのため、上述した周辺ブロックに対する傾きＳＬに係る各種類の係数データＷｉは、さらに出力画素（ＨＤ1〜ＨＤ4）にそれぞれ対応した係数データＷｉからなっている。結局、係数メモリ４２４には、クラス、傾きＳＬに係る種類および出力画素（ＨＤ1〜ＨＤ4）の組み合わせ毎に、係数データＷｉが格納されている。この係数データＷｉの生成方法については後述する。
【０１７０】
この係数メモリ４２４には、上述したクラス検出部４２３で生成されたクラスコードＣＬが、読み出しアドレス情報として供給される。この係数メモリ４２４からはクラスコードＣＬで示されるクラスに対応した係数データＷｉが読み出され、その係数データＷｉが推定予測演算部４２５に供給される。この場合、付加信号受信部４０７で受信された付加信号Ｓicに含まれている付加情報に周辺ブロックに対する傾きＳＬがあるときは、その傾きＳＬの値が含まれる分割範囲の係数データＷｉが使用され、一方その傾きＳＬがないときは、傾きＳＬが取り得る値の全範囲に対応して生成された一般的な係数データＷｉが使用される。本実施の形態においては、上述したように付加信号Ｓicに含まれている付加情報に周辺ブロックに対する傾きＳＬがあるので、傾きＳＬの値が含まれる分割範囲の係数データＷｉが使用される。
【０１７１】
また、画像信号処理部４０３は、推定予測演算部４２５を有している。この推定予測演算部４２５は、予測タップ選択部４２１で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、係数メモリ４２４から読み出された係数データＷｉとを用い、上述した（４）式の推定式に基づいて、画像信号Ｓｄにおける注目画素位置の画素データｙを求める。
【０１７２】
上述したように、５２５ｐ信号を１０５０ｐ信号に変換する際には、５２５ｐ信号の１画素（ＳＤ0）に対して１０５０ｐ信号の４画素（ＨＤ1〜ＨＤ4）を得る必要がある（図２７参照）。この推定予測演算部４２５は、画像信号Ｓｄ（１０５０ｐ信号）を構成する２×２の単位画素ブロック毎に、画素データを求める。すなわち、この推定予測演算部４２５には、予測タップ選択部４２１から単位画素ブロック内の４画素（注目画素）に対応した、予測タップのデータとしての複数の画素データｘｉが供給され、また係数メモリ４２４からその単位画素ブロックを構成する４画素分の係数データＷｉが供給される。そして、この推定予測演算部４２５は、単位画素ブロックを構成する４画素のデータｙ1〜ｙ4を、それぞれ上述した（４）式の推定式で個別に演算する。
【０１７３】
また、画像信号処理部４０３は、後処理回路４２６を有している。この後処理回路４２６は、推定予測演算部４２５より順次出力される、単位画素ブロック内の４画素のデータｙ1〜ｙ4を線順次化して１０５０ｐ信号のフォーマットで出力する。
【０１７４】
次に、画像信号処理部４０３の動作を説明する。クラスタップ選択部４２２では、画像信号Ｓｃから、画像信号Ｓｄにおける注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この場合、付加信号Ｓicに含まれていた動きベクトルが使用され、現フレームの他、その動きベクトルにより動き補償された１フレーム前のフレームからも、クラスタップのデータとしての複数の画素データが抽出される。
【０１７５】
クラスタップ選択部４２２で抽出される複数の画素データは、クラス検出部４２３に供給される。クラス検出部４２３では、クラスタップのデータとしての複数の画素データｋｉのそれぞれに対してＡＤＲＣ処理が施されて再量子化コードｑｉが得られ、さらにこの再量子化コードｑｉを用いてクラスコードＣＬが生成される（（２）式、（３）式参照）。
【０１７６】
クラス検出部４２３で生成されるクラスコードＣＬは、係数メモリ４２４に読み出しアドレス情報として供給される。また、この係数メモリ４２４には、付加信号Ｓicに含まれていた、画像信号Ｓｄにおける注目画素位置に対応した、周辺ブロックに対する傾きＳＬも供給される。
【０１７７】
予測タップ選択部４２１では、画像信号Ｓｃから、画像信号Ｓｄにおける注目画素位置の周辺に位置する複数の画素データが、予測タップのデータとして選択的に抽出される。この場合、付加信号Ｓicに含まれていた動きベクトルが使用され、現フレームの他、その動きベクトルにより動き補償された１フレーム前のフレームからも、予測タップのデータとしての複数の画素データｘｉが抽出される。この複数の画素データｘｉは、推定予測演算部４２５に供給される。
【０１７８】
係数メモリ４２４からは、クラスコードＣＬで示されるクラス、および周辺ブロックに対する傾きＳＬが含まれる分割範囲に対応した、上述の画像信号Ｓｄにおける注目画素位置の単位画素ブロックを構成する４画素分の係数データＷｉが読み出される。この係数データＷｉは、推定予測演算部４２５に供給される。推定予測演算部４２５では、予測タップのデータとしての複数の画素データｘｉおよび４画素分の係数データＷｉが用いられ、画像信号Ｓｄにおける注目画素位置の単位画素ブロックを構成する４画素のデータｙ1〜ｙ4が、それぞれ（４）式の推定式に基づいて、個別に求められる。
【０１７９】
画像信号Ｓｄ（１０５０ｐ信号）における注目画素位置が順次変化していくことで、推定予測演算部４２５からは、画像信号Ｓｄにおける各注目画素位置の単位ブロックを構成する画素データｙ1〜ｙ4が順次出力される。後処理回路４２６では、推定予測演算部４２５から順次供給される各注目画素位置の単位ブロックを構成する画素データｙ1〜ｙ4が線順次化され、１０５０ｐ信号のフォーマットで出力される。つまり、この後処理回路４２６からは、１０５０ｐ信号である画像信号Ｓｄが出力される。
【０１８０】
図２８のフローチャートは、画像信号処理部４０３における画像信号Ｓｄにおける注目画素位置の画素データを生成する処理手順を示している。まず、ステップＳＴ５１で、処理を開始し、ステップＳＴ５２で、受信された付加信号Ｓicに含まれる付加情報に、その注目画素位置に対応した動きベクトルがあるか否かを判定する。
【０１８１】
動きベクトルがあるときは、ステップＳＴ５３で、画像信号Ｓｃの現フレームおよび動き補償した１フレーム前のフレームから、画像信号Ｓｄにおける注目画素位置の周辺に位置する複数の画素データを、クラスタップのデータとして選択的に抽出する。一方、動きベクトルがないときは、ステップＳＴ５４で、画像信号Ｓｃの現フレームのみから、画像信号Ｓｄにおける注目画素位置の周辺に位置する複数の画素データを、クラスタップのデータとして選択的に抽出する。そして、ステップＳＴ５５で、ステップＳＴ５３あるいはステップＳＴ５４で抽出された複数の画素データにＡＤＲＣ等のデータ圧縮処理を施し、画像信号Ｓｄにおける注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。
【０１８２】
次に、ステップＳＴ５６で、受信された付加信号Ｓicに含まれる付加情報に、その注目画素位置に対応した、周辺ブロックに対する傾きＳＬがあるか否かを判定する。傾きＳＬがあるときは、ステップＳＴ５７で、その傾きＳＬの値が含まれる分割範囲に対応した各クラスの係数データＷｉ（傾きに応じた係数セット）から、ステップＳＴ５５で生成されたクラスコードＣＬで示されるクラスの係数データＷｉを選択する。一方、傾きＳＬがないときは、ステップＳＴ５８で、傾きＳＬが取り得る値の全範囲に対応して生成された、各クラスの一般的な係数データＷｉ（一般的な係数セット）から、ステップＳＴ５５で生成されたクラスコードＣＬで示されるクラスの係数データＷｉを選択する。
【０１８３】
次に、ステップＳＴ５９で、受信された付加信号Ｓicに含まれる付加情報に、その注目画素位置に対応した動きベクトルがあるか否かを判定する。動きベクトルがあるときは、ステップＳＴ６０で、画像信号Ｓｃの現フレームおよび動き補償した１フレーム前のフレームから、画像信号Ｓｄにおける注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。一方、動きベクトルがないときは。ステップＳＴ６１で、画像信号Ｓｃの現フレームのみから、画像信号Ｓｄにおける注目画素位置の周辺に位置する複数の画素データを、予測タップのデータとして選択的に抽出する。
【０１８４】
そして、ステップＳＴ６２で、ステップＳＴ６０あるいはステップＳＴ６１で選択的に抽出された予測タップのデータとしての複数の画素データｘｉと、ステップＳＴ５７あるいはステップＳＴ５８で選択された係数データＷｉとを用い、推定式（（４）式参照）に基づいて、注目画素位置の画素データｙを生成する。そして、ステップＳＴ６３で、処理を終了する。
【０１８５】
図２３に示すフォーマット変換回路１０４の動作を説明する。
付加信号入力端子４０６に入力された付加信号Ｓibは付加信号受信部４０７で受信される。そして、付加情報記憶部４０８では、画像信号Ｓｃの各フレームで、付加信号Ｓicを構成する各情報が、ブランキング部分、有効画素部分にそれぞれ対応させて、フレームメモリに記憶される。
【０１８６】
また、画像信号入力端子４０１に入力された画像信号Ｓｃは画像信号受信部４０２で受信される。画像信号処理部４０３では、上述したように、画像信号Ｓｃ（５２５ｐ信号）を、画像信号Ｓｄ（１０５０ｐ信号）に変換する処理が行われる。ここで、本実施の形態では、受信された付加信号Ｓicに付加情報として含まれる動きベクトルが、１フレーム前のフレームに予測タップ、クラスタップを張る際の動き補償に使用される。また、受信された付加信号Ｓicに付加情報として含まれる周辺ブロックに対する傾きＳＬが、推定式で使用される係数データＷｉを選択する際に使用される。このように、画像信号処理４０３で処理されて得られた画像信号Ｓｄは、画像信号送信部４０４に供給され、ディスプレイ１０５に送信するために、画像信号出力端子４０５に出力される。
【０１８７】
また、画像信号処理部４０３のクラス検出部４２３で生成されるクラスコードＣＬは、付加情報挿入部４０９に供給される。そして、この付加情報挿入部４０９により、付加信号Ｓicに含まれていた付加情報に、画素内の情報としてクラスコードＣＬが挿入される。すなわち、各フレームで、付加情報記憶部４０８内のフレームメモリの記憶内容が、クラスコードＣＬを画素内の情報として挿入した状態に書き換えられる。
【０１８８】
そして、各フレームで、この付加情報記憶部４０８内のフレームメモリに記憶された各情報が付加情報送信部４１０により読み出され、画像信号Ｓｄに同期した状態で、付加信号出力端子４１１に、次段のディスプレイ１０５に送信するための付加信号Ｓidとして順次出力される。
【０１８９】
図２３に示すフォーマット変換回路１０４では、画像信号処理部４０３の予測タップ選択部４２１、クラスタップ選択部４２２で、受信された付加信号Ｓicに付加情報として含まれる動きベクトルを使用して１フレーム前のフレームに予測タップ、クラスタップを張る際の動き補償を行うことができ、また画像信号処理部４０３の係数メモリ４２４から推定式で用いられる係数データＷｉを、受信された付加信号Ｓicに付加情報として含まれる周辺ブロックに対する傾きＳＬを使用して選択でき、フォーマットの変換処理の性能が向上する。
【０１９０】
上述したフォーマット変換回路１０４における画像信号処理部４０３の係数メモリ４２４（図２３参照）に格納される係数データＷｉも、上述したフレーム数変換回路１０３における画像信号処理部３０３の係数メモリ３２７（図１７参照）に格納される係数データＷｉと同様に、学習によって生成される。
【０１９１】
次に、図２９を参照して、係数データＷｉを生成する係数データ生成装置４５０を説明する。
この係数データ生成装置４５０は、上述した画像信号Ｓｄに対応した教師信号としての１０５０ｐ信号が入力される入力端子４５１と、上述した画像信号Ｓｃに対応した生徒信号としての５２５ｐ信号が入力される入力端子４５２とを有している。
【０１９２】
また、係数データ生成装置４５０は、傾き検出部４５３を有している。この傾き検出部４５３は、教師信号における注目画素位置に対応した、生徒信号におけるＤＣＴ処理単位のブロックにおける、周辺ブロックに対する傾きＳＬを検出する。そして、この傾き検出部４５３は、傾きＳＬの取り得る値の範囲が複数分割されてなる各分割範囲のうち、検出された傾きＳＬが含まれる分割範囲を示す情報ＤＶＲを出力する。
【０１９３】
また、係数データ生成装置４５０は、動きベクトル検出部４５４を有している。この動きベクトル検出部４５４は、教師信号における注目画素位置に対応した、生徒信号におけるＤＣＴ処理単位のブロックの動きベクトルを検出する。この場合、動きベクトルは、従来周知のブロックマッチング法あるいは勾配法等で検出される。
【０１９４】
また、係数データ生成装置４５０は、予測タップ選択部４５５と、クラスタップ選択部４５６とを有している。これら予測タップ選択部４５５、クラスタップ選択部４５６は、それぞれ、生徒信号から、教師信号における注目画素位置の周辺に位置する複数の画素データを、予測タップ、クラスタップのデータとして選択的に抽出する。この場合、予測タップ選択部４５５、クラスタップ選択部４５６は、それぞれ、現フレームの他、動きベクトル検出部４５４で検出された動きベクトルにより動き補償された１フレーム前のフレームからも、予測タップ、クラスタップのデータとしての複数の画素データを選択的に抽出する。これら予測タップ選択部４５５、クラスタップ選択部４５６は、それぞれ、上述した画像信号処理部４０３の予測タップ選択部４２１、クラスタップ選択部４２２に対応するものである。
【０１９５】
また、係数データ生成装置４５０は、クラス検出部４５７を有している。このクラス検出部４５７は、クラスタップ選択部４５６で選択的に抽出されるクラスタップのデータとしての複数の画素データを処理して、教師信号における注目画素位置の画素データが属するクラスを示すクラスコードＣＬを生成する。このクラス検出部４５７は、上述した画像信号処理部４０３のクラス検出部４２３に対応するものである。
【０１９６】
また、係数データ生成装置４５０は、教師タップ選択部４５８を有している。この教師タップ選択部４５８は、教師信号から、注目画素位置の画素データを選択的に抽出する。
【０１９７】
また、係数データ生成装置４５０は、正規方程式生成部４５９を有している。この正規方程式生成部４５９は、教師タップ選択部４５８で選択的に抽出された、教師信号における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部４５５で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部４５７で得られたクラスコードＣＬと、傾き検出部４５３から出力される分割範囲を示す情報ＤＶＲとから、クラス毎に、各分割範囲の係数データＷｉを得るための正規方程式（（１１）式参照）を生成する。
【０１９８】
この場合、１個の画素データｙとそれに対応する複数個の画素データｘｉとの組み合わせで１個の学習データが生成される。教師信号とそれに対応した生徒信号との間で、クラスおよび分割範囲の組み合わせ毎に、多くの学習データが生成されていく。これにより、正規方程式生成部４５９では、クラス毎に、各分割範囲の係数データＷｉを得るための正規方程式が生成される。
【０１９９】
またこの場合、正規方程式生成部４５９では、出力画素（図２７のＨＤ1〜ＨＤ4参照）毎に、正規方程式が生成される。すなわち、ＨＤ1〜ＨＤ4に対応した正規方程式は、それぞれ、中心予測タップからのずれ値がＨＤ1〜ＨＤ4と同じ関係にある画素データｙから構成される学習データを用いて生成される。結局、正規方程式生成部４５９では、クラス、分割範囲、出力画素（ＨＤ1〜ＨＤ4）の組み合わせ毎に、正規方程式が生成される。
【０２００】
また、係数データ生成装置４５０は、係数データ決定部４６０と、係数メモリ４６１とを有している。係数データ決定部４６０は、正規方程式生成部４５９から正規方程式のデータの供給を受け、当該正規方程式を掃き出し法等によって解き、上述の各組み合わせの係数データＷｉを求める。係数メモリ４６１は、この係数データＷｉを格納する。
【０２０１】
図２９に示す係数データ生成装置４５０の動作を説明する。
傾き検出部４５３では、教師信号における注目画素位置に対応した、生徒信号におけるＤＣＴ処理単位のブロックにおける、周辺ブロックに対する傾きＳＬが検出される。そして、この傾き検出部４５３からは、傾きＳＬの取り得る値の範囲が複数分割されてなる各分割範囲のうち、検出された傾きＳＬが含まれる分割範囲を示す情報ＤＶＲが出力される。この情報ＤＶＲは正規方程式生成部４５９に供給される。
【０２０２】
また、動きベクトル検出部４５４では、教師信号における注目画素位置に対応した、生徒信号におけるＤＣＴ処理単位のブロックの動きベクトルが、ブロックマッチング法あるいは勾配法等で検出される。この動きベクトルは、予測タップ選択部４５５およびクラスタップ選択部４５６に供給される。
【０２０３】
クラスタップ選択部４５６では、生徒信号から、教師信号における注目画素位置の周辺に位置する複数の画素データが、クラスタップのデータとして選択的に抽出される。この場合、現フレームの他、動きベクトル検出部４５４で検出された動きベクトルにより動き補償された１フレーム前のフレームからも、クラスタップのデータとしての複数の画素データが抽出される。この複数の画素データはクラス検出部４５７に供給される。そして、クラス検出部４５７では、各画素データに対してＡＤＲＣ等のデータ圧縮処理が施されて、教師信号における注目画素位置の画素データが属するクラスを示すクラスコードＣＬが生成される（（３）式参照）。このクラスコードＣＬは、正規方程式生成部４５９に供給される。
【０２０４】
予測タップ選択部４５５では、生徒信号から、教師信号における注目画素位置の周辺に位置する複数の画素データが、予測タップのデータとして選択的に抽出される。この場合、現フレームの他、動きベクトル検出部４５４で検出された動きベクトルにより動き補償された１フレーム前のフレームからも、予測タップのデータとしての複数の画素データが抽出される。この複数の画素データｘｉは、正規方程式生成部４５９に供給される。また、教師タップ選択部４５８では、教師信号から、注目画素位置の画素データｙが選択的に抽出される。この画素データｙは、正規方程式生成部４５９に供給される。
【０２０５】
そして、正規方程式生成部４５９では、教師タップ選択部４５８で選択的に抽出された、教師信号における各注目画素位置の画素データｙと、この各注目画素位置の画素データｙにそれぞれ対応して予測タップ選択部４５５で選択的に抽出された、予測タップのデータとしての複数の画素データｘｉと、各注目画素位置の画素データｙにそれぞれ対応してクラス検出部４５７で得られたクラスコードＣＬと、傾き検出部４５３から出力される分割範囲を示す情報ＤＶＲとから、クラス、分割範囲、出力画素（ＨＤ1〜ＨＤ4）の組み合わせ毎に、係数データＷｉを得るための正規方程式（（１１）式参照）が生成される。
【０２０６】
この正規方程式生成部４５９で生成される正規方程式のデータが係数データ決定部４６０に供給される。この係数データ決定部４６０では、それぞれ正規方程式が解かれ、クラス、分割範囲、出力画素（ＨＤ1〜ＨＤ4）の組み合わせ毎に、係数データＷｉが求められる。そして、この係数データＷｉは、係数メモリ４６１に格納される。
【０２０７】
なお、上述では、動きベクトルを使用した場合の各クラスの係数データＷｉを生成する場合について説明した。動きベクトルを使用しない場合の各クラスの係数データＷｉを生成する場合には、動きベクトル検出部４５４から予測タップ選択部４５５およびクラスタップ選択部４５６に動きベクトルを供給せずに、これら予測タップ選択部４５５、クラスタップ選択部４５６で、それぞれ、現フレームのみから予測タップ、クラスタップのデータとしての複数の画素データを選択的に抽出すればよい。
【０２０８】
また、上述では、傾きＳＬの取り得る値の範囲が複数分割されてなる各分割範囲毎の係数データＷｉを生成する場合について説明した。傾きＳＬの取りうる値の全範囲に対応した一般的な係数データＷｉを生成する場合には、傾き検出部４５３から正規方程式生成部４５９に分割範囲の情報ＤＶＲを供給せずに、正規方程式生成部４５９で、当該一般的な係数データＷｉを得るための正規方程式を生成すればよい。
【０２０９】
また、図１に戻って、ディスプレイ１０５は、フォーマット変換回路１０４から信号線Ｌsdを通じて送られてくる画像信号Ｓｄ（１０５０ｐ信号）による画像を表示する。このディスプレイ１０５は、例えばＬＣＤ(Liquid Crystal Display)、ＰＤＰ(Plasma Display Panel)等で構成されるフラットパネルディスプレイである。このディスプレイ１０５には、フォーマット変換回路１０４から付加情報線Ｌidで付加信号Ｓidが送られてくる。この付加信号Ｓidには、ブロック内の情報としての動きベクトル、周辺ブロックに対する傾きＳＬ、さらには画素内の情報としてのクラスコードＣＬが含まれている。ディスプレイ１０５では、例えばこれらの情報に基づいて、画像信号Ｓｄの帯域を制限するフィルタの周波数特性を変化させる等して画質調整を自動的に行うことができる。
【０２１０】
次に、図１に示す画像表示装置１００の動作を説明する。
ＤＶＤプレーヤ１０１では、ディスクから再生されたＭＰＥＧデータに対してデコード処理が施され、５２５ｐ／２４フレームの画像信号Ｓａが取得される。この画像信号Ｓａは５フレーム毎にフレームセットが構成されている。この画像信号Ｓａは、信号線Ｌsaを通じてノイズ低減回路１０２に供給される。
【０２１１】
また、このＤＶＤプレーヤ１０１からは、画像信号Ｓａに同期して、付加信号Ｓiaが出力される。この付加信号Ｓiaには、フレームのブロック情報として、ＤＣＴの処理単位であるブロックのサイズｋ×ｍを示す情報が含まれている（図３，図４参照）。また、フレームセットの第２〜第５のフレームに対応した付加情報Ｓiaには、ブロックのそれぞれに対応した付加情報であるブロック内の情報として、動きベクトルが付加されている（図７参照）。この付加情報Ｓiaは、付加情報線Ｌiaを通じてノイズ低減回路１０２に供給される。
【０２１２】
ノイズ低減回路１０２では、ＤＶＤプレーヤ１０１から供給される画像信号Ｓａから、ブロック歪みを低減する処理が行われる。この場合、画像信号Ｓａから処理対象となるブロック（処理対象ブロック）が順次検出され、この処理対象ブロックの境界部分に位置する画素データの値が、周辺ブロックに対する傾きＳＬが０に近づくように補正される。そしてこの場合、ＤＶＤプレーヤ１０２から供給される付加信号Ｓiaに含まれるブロックサイズの情報が使用されて、ブロック検出が行われる。このノイズ低減回路１０２から出力される、ノイズ低減処理が行われた後の画像信号Ｓｂは、信号線Ｌibを通じてフレーム数変換回路１０３に供給される。
【０２１３】
また、このノイズ低減回路１０２からは、画像信号Ｓｂに同期して、付加信号Ｓibが出力される。この付加信号Ｓibに含まれる付加情報には、上述した付加信号Ｓiaに含まれている付加情報に、さらにブロック内の情報である周辺ブロックに対する傾きＳＬが挿入されている。すなわち、フレームセットの第１のフレームに対応した付加信号Ｓibには、ブロック内の情報として傾きＳＬが付加され、フレームセットの第２〜第５のフレームに対応した付加情報Ｓibには、ブロック内の情報として動きベクトルおよび傾きＳＬが付加されている（図１５参照）。この付加情報Ｓibは、付加情報線Ｌibを通じてフレーム数変換回路１０３に供給される。
【０２１４】
フレーム数変換回路１０３では、ノイズ低減回路１０２から供給される画像信号Ｓｂ（５２５ｐ／２４フレームの画像信号）が、画像信号Ｓｃ（５２５ｐ／６０フレームの画像信号）に変換される。この場合、画像信号Ｓｃの所定時間モードのフレームにおける注目画素位置の画素データを得る際、そのフレームの前後に位置する画像信号Ｓｂの２フレームから、予測タップ、クラスタップのデータとしての複数の画素データが選択的に抽出される。そして、クラスタップのデータに基づいて注目画素位置の画素データが属するクラスが検出され、そのクラスに対応した係数データＷｉが用いられ、推定式（（４）式参照）に基づいて、注目画素位置の画素データが求められる。そしてこの場合、予測タップ、クラスタップのタップ中心位置を決定する際に、ノイズ低減回路１０２から供給された付加信号Ｓibに含まれる動きベクトルが使用される。このフレーム数変換回路１０３から出力される画像信号Ｓｃは、信号線Ｌscを通じてフォーマット変換回路１０４に供給される。
【０２１５】
また、このフレーム数変換回路１０３からは、画像信号Ｓｃに同期して、付加信号Ｓicが出力される。この付加信号Ｓicには、画像信号Ｓｃの各フレームに対応して、上述したブロック内の情報として、周辺ブロックに対する傾きＳＬと共に、各フレームの時間位置に対応して新たに得られた動きベクトルが含まれている。この動きベクトルは、予測タップ、クラスタップのタップ中心位置を決定するために使用された動きベクトルに基づいて生成されたものである。この付加信号Ｓicは、付加情報線Ｌicを通じてフォーマット変換回路１０４に供給される。
【０２１６】
フォーマット変換回路１０４では、フレーム数変換回路１０３から供給される画像信号Ｓｃ（５２５ｐ信号）が、画像信号Ｓで（１０５０ｐ信号）に変換される。この場合、この場合、画像信号Ｓｄにおける注目画素位置の画素データを得る際、画像信号Ｓｃから、予測タップ、クラスタップのデータとしての複数の画素データが選択的に抽出される。そして、クラスタップのデータに基づいて注目画素位置の画素データが属するクラスが検出され、そのクラスに対応した係数データＷｉが用いられ、推定式（（４）式参照）に基づいて、注目画素位置の画素データが求められる。そしてこの場合、１フレーム前のフレームに予測タップ、クラスタップを張る際の動き補償に、フレーム数変換回路１０３から供給される付加信号Ｓicに含まれる動きベクトルが使用される。また、推定式で使用される係数データＷｉを選択する際に、その付加信号Ｓicに含まれる周辺ブロックに対する傾きＳＬが使用される。このフォーマット変換回路１０４から出力される画像信号Ｓｄは、信号線Ｌsdを通じてディスプレイ１０５に供給される。
【０２１７】
また、このフォーマット変換回路１０４からは、画像信号Ｓｄに同期して、付加信号Ｓidが出力される。この付加信号Ｓidに含まれる付加情報には、上述した付加信号Ｓicに含まれている付加情報に、さらに画素内の情報であるクラスコードＣＬが挿入されている。すなわち、この付加信号Ｓidには、ブロック内の情報として傾きＳＬおよび動きベクトルが付加され、さらに画素内の情報としてクラスコードＣＬが付加されている。この付加信号Ｓiｄは、付加情報線Ｌiｄを通じてディスプレイ１０５に供給される。
【０２１８】
ディスプレイ１０５では、フォーマット変換回路１０４から供給される画像信号Ｓｄによる画像が表示される。この場合、フォーマット変換回路１０４から、画像信号Ｓｄに同期して供給される付加信号Ｓidに含まれる付加情報、例えば動きベクトル、周辺ブロックに対する傾き、クラスコードＣＬ等に基づいて、画像信号Ｓｄの帯域を自動的に制限し、画質調整を自動的に行うことができる。
【０２１９】
このように図１に示す画像表示装置１００は、画像信号に対してＤＶＤプレーヤ１０１、ノイズ低減回路１０２、フレーム数変換回路１０３、フォーマット変換回路１０４、ディスプレイ１０５で順に処理を行うものであって、連続する第１の処理部から第２の処理部に、信号線を通じて画像信号が送信されると共に、この信号線を通じて送信される画像信号に同期して、この画像信号に関連した付加情報を含む付加信号が付加情報線を通じて送信される。したがって、この画像表示装置１００によれば、ある処理部から後段の処理部に、画像信号に悪影響を及ぼすことなく、当該画像信号に関連した付加情報を効果的に送信でき、後段の処理部における処理性能の向上を図ることができる。
【０２２０】
なお、上述実施の形態は、画像信号を取り扱う画像表示装置１００であるが、この発明は、画像信号に対してこの実施の形態とは異なる処理を順に行っていくものにも適用できる。さらに、この発明は、画像信号だけでなく、音声信号を取り扱う装置にも同様に適用できる。
【産業上の利用可能性】
【０２２１】
この発明は、ある処理部から後段の処理部に、情報信号に悪影響を及ぼすことなく、当該情報信号に関連した付加情報を効果的に送信でき、後段の処理部における処理性能の向上を図ることができるものであり、画像信号、音声信号等の情報信号に複数の処理を順に行う処理装置に適用できる。
【図面の簡単な説明】
【０２２２】
【図１】実施の形態としての画像表示装置の構成を示すブロック図である。
【図２】付加情報（１フレーム分）の構成を示す図である。
【図３】付加信号内の付加情報の配置例を示す図である。
【図４】付加情報の例を示す図である。
【図５】配置方法ＩＤと情報ＩＤを説明するための図である。
【図６】情報のフォーマットを示す図である。
【図７】画素内、ブロック内の情報と画素位置、ブロック位置との対応を示す図である。
【図８】ＤＶＤプレーヤの要部の構成を示すブロック図である。
【図９】付加情報記憶部の処理手順を示すフローチャートである。
【図１０】基本となる画像信号処理装置の構成を示すブロック図である。
【図１１】画像信号処理装置の処理手順を示すフローチャートである。
【図１２】ノイズ低減回路の構成を示すブロック図である。
【図１３】周辺ブロックに対する傾き検出を説明するための図である。
【図１４】情報のフォーマットを示す図である。
【図１５】画素内、ブロック内の情報と画素位置、ブロック位置との対応を示す図である。
【図１６】ノイズ低減回路における画像信号処理部の処理手順を示すフローチャートである。
【図１７】フレーム数変換回路の構成を示すブロック図である。
【図１８】フレーム数変換処理を説明するための図である。
【図１９】タップ中心位置の決定の仕方を説明するための図である。
【図２０】予測タップ、クラスタップのパターン例を示す図である。
【図２１】フレーム数変換回路における画像信号処理部の処理手順を示すフローチャートである。
【図２２】係数データ生成装置の構成を示すブロック図である。
【図２３】フォーマット変換回路の構成を示すブロック図である。
【図２４】５２５ｐ信号と１０５０ｐ信号の画素位置関係を示す図である。
【図２５】予測タップのパターン例を示す図である。
【図２６】クラスタップのパターン例を示す図である。
【図２７】１０５０ｐ信号の単位画素ブロック内の４画素の中心予測タップからの位相ずれを示す図である。
【図２８】フォーマット変換回路における画像信号処理部の処理手順を示すフローチャートである。
【図２９】係数データ生成装置の構成を示すブロック図である。
【符号の説明】
【０２２３】
１００・・・画像表示装置、１０１・・・ＤＶＤプレーヤ、１０２・・・ノイズ低減回路、１０３・・・フレーム数変換回路、１０４・・・フォーマット変換回路、１０５・・・ディスプレイ、１１１・・・ＭＰＥＧデコーダ、１１２・・・画像信号送信部、１１３・・・画像信号出力端子、１１４・・・付加情報記憶部、１１５・・・付加信号送信部、１１６・・・付加信号出力端子、１５０・・・画像信号処理装置、１５１・・・画像信号入力端子、１５２・・・画像信号受信部、１５３・・・画像信号処理部、１５４・・・画像信号送信部、１５５・・・画像信号出力端子、１５６・・・付加信号入力端子、１５７・・・付加信号受信部、１５８・・・付加情報記憶部、１５９・・・付加情報挿入部、１６０・・・付加信号送信部、１６１・・・付加信号出力端子、２０１，３０１，４０１・・・画像信号入力端子、２０２，３０２，４０２・・・画像信号受信部、２０３，３０３，４０３・・・画像信号処理部、２０３ａ・・・ブロック検出部、２０３ｂ・・・傾き検出部、２０３ｃ・・・境界画素値補正部、２０４，３０４，４０４・・・画像信号送信部、２０５，３０５，４０５・・・画像信号出力端子、２０６，３０６，４０６・・・付加信号入力端子、２０７，３０７，４０７・・・付加信号受信部、２０８，３０８，４０８・・・付加情報記憶部、２０９，３０９，４０９・・・付加情報挿入部、２１０，３１０，４１０・・・付加信号送信部、２１１，３１１，４１１・・・付加信号出力端子、３２１・・・時間モード決定部、３２２・・・動きベクトル検出部、３２３・・・タップ中心位置決定部、３２４・・・予測タップ選択部、３２５・・・クラスタップ選択部、３２６・・・クラス検出部、３２７・・・係数メモリ、３２８・・・推定予測演算部、３５０・・・係数データ生成装置、４２１・・・予測タップ選択部、４２２・・・クラスタップ選択部、４２３・・・クラス検出部、４２４・・・係数メモリ、４２５・・・推定予測演算部、４２６・・・後処理回路、４５０・・・係数データ生成装置
【図１】
2005236405.tif 000009
【図２】
2005236405.tif 000010
【図３】
2005236405.tif 000011
【図４】
2005236405.tif 000012
【図５】
2005236405.tif 000013
【図６】
2005236405.tif 000014
【図７】
2005236405.tif 000015
【図８】
2005236405.tif 000016
【図９】
2005236405.tif 000017
【図１０】
2005236405.tif 000018
【図１１】
2005236405.tif 000019
【図１２】
2005236405.tif 000020
【図１３】
2005236405.tif 000021
【図１４】
2005236405.tif 000022
【図１５】
2005236405.tif 000023
【図１６】
2005236405.tif 000024
【図１７】
2005236405.tif 000025
【図１８】
2005236405.tif 000026
【図１９】
2005236405.tif 000027
【図２０】
2005236405.tif 000028
【図２１】
2005236405.tif 000029
【図２２】
2005236405.tif 000030
【図２３】
2005236405.tif 000031
【図２４】
2005236405.tif 000032
【図２５】
2005236405.tif 000033
【図２６】
2005236405.tif 000034
【図２７】
2005236405.tif 000035
【図２８】
2005236405.tif 000036
【図２９】
2005236405.tif 000037