(57)【要約】  端末から受信した画像に対して画質の変換を行った上で送信可能とするサーバ装置、方法、プログラムを提供する。サーバ装置１５０は、動画または静止画信号を含むストリームまたはパケットを第１の端末１２０から受信し、前記受信した動画または静止画信号に対し解像度および画質を拡張する変換を施し、変換後の信号を第１の端末とは別の端末に送出する（図１）。
2010035776.tif 000002
【特許請求の範囲】
【請求項１】
第１の端末から受信した動画又は静止画を含む画像信号に対して解像度及び画質を拡張する変換を施す変換部と、
前記変換後の画像信号を、前記第１の端末とは別の少なくとも１つの端末に送出する送出部と、
を備えている、ことを特徴とするサーバ装置。
【請求項２】
前記変換部は、前記画像信号に対し、前記第１の端末での符号化方式に対応して復号する復号部と、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
前記解像度変換部で変換された画像信号を入力し符号化する符号化部と、
を備えている、ことを特徴とする請求項１記載のサーバ装置。
【請求項３】
前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う、ことを特徴とする請求項２記載のサーバ装置。
【請求項４】
複数の端末が参加してグループを生成し、
動画又は静止画を含む画像信号を一のグループの前記第１の端末から受信し、
前記送出部は、前記変換部で変換後の画像信号の一部又は全部をコピーし、前記グループ内で前記第１の端末以外のメンバ端末に送出する、ことを特徴とする請求項１乃至３のいずれか１項に記載のサーバ装置。
【請求項５】
２台以上の端末が参加してマルチキャストグループを登録し、
前記送出部は、前記変換部で変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバ端末にマルチキャスト送出する、ことを特徴とする請求項１乃至３のいずれか１項に記載のサーバ装置。
【請求項６】
前記送出部は、前記変換部で前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する、ことを特徴とする請求項１乃至３のいずれか１項に記載のサーバ装置。
【請求項７】
前記送出部は、前記変換部で変換後の画像信号の一部又は全部をコピーするコピー部を備えている、ことを特徴とする請求項１乃至４のいずれか１項に記載のサーバ装置。
【請求項８】
動画又は静止画を含む画像信号を含むパケット又はストリームを前記第１の端末から受信する受信部を備え、
前記送出部は、動画又は静止画を含む画像信号を含むパケット又はストリームを、前記第１の端末とは別の端末に送信する、ことを特徴とする請求項１乃至７のいずれか１項に記載のサーバ装置。
【請求項９】
サーバが、動画又は静止画を含む画像信号を第１の端末から受信し、
前記サーバが、前記受信した画像信号に対し、解像度及び画質を拡張する変換を施し、
前記サーバが、前記変換後の画像信号を、第１の端末とは別の少なくとも一つの端末に送出する、
ことを特徴とする通信方法。
【請求項１０】
前記サーバは、前記受信した画像信号に対し、前記第１の端末での符号化方式に対応して復号し、
前記復号された画像信号の解像度を変換して画質を改善する変換を施し、
前記解像度が変換された画像信号を符号化する、ことを特徴とする請求項９記載の通信方法。
【請求項１１】
複数の端末が参加してグループを生成し、
前記サーバは、動画又は静止画を含む画像信号を、一のグループの前記第１の端末から受信し、
前記サーバは、前記変換後の画像信号の一部又は全部をコピーし、前記グループ内で第１の端末以外のメンバ端末に送出する、ことを特徴とする請求項９又は１０記載の通信方法。
【請求項１２】
２台以上の端末が参加してマルチキャストグループを登録し、
前記サーバは、前記変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバ端末にマルチキャスト送出する、ことを特徴とする請求項９又は１０記載の通信方法。
【請求項１３】
前記サーバは、前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する、ことを特徴とする請求項９又は１０記載の通信方法。
【請求項１４】
サーバ装置を構成するコンピュータに、
第１の端末から受信した動画又は静止画を含む画像信号に対して、解像度及び画質を拡張する変換を施す変換処理と、
前記変換後の画像信号を、前記第１の端末とは別の少なくとも一つの端末に送出する送出処理と、
を実行させるプログラム。
【請求項１５】
前記変換処理は、
前記受信した画像信号に対し、前記第１の端末での符号化方式に対応して復号する復号処理と、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換処理と、
前記解像度変換部で変換された画像信号を入力し符号化する符号化処理と、
を含む請求項１４記載のプログラム。
【請求項１６】
前記動画又は静止画を含む画像信号を一のグループの前記第１の端末から受信し、
前記送出処理では、前記変換後の画像信号の一部又は全部をコピーし、前記グループ内で第１の端末以外のメンバ端末に送出する、ことを特徴とする請求項１４又は１５記載のプログラム。
【請求項１７】
前記送出処理は、前記変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバにマルチキャスト送出する、ことを特徴とする請求項１４又は１５記載プログラム。
【請求項１８】
前記送出処理は、前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する、ことを特徴とする請求項１４又は１５記載のプログラム。
【請求項１９】
少なくとも第１、第２の端末と、
前記第１、第２の端末とネットワーク接続するサーバ装置と、
を備え、
前記サーバ装置は、
動画又は静止画を含む画像信号を前記第１の端末から受信し、
前記受信した画像信号に対して、解像度及び画質を拡張する変換を施し、
前記変換後の画像信号を前記第２の端末に送出する、
ことを特徴とする通信システム。
【請求項２０】
前記サーバ装置は、
前記受信した画像信号に対し、前記第１の端末での符号化方式に対応して復号し、
前記復号された画像信号の解像度を変換して画質を改善する変換を施し、
前記解像度が変換された画像信号を符号化する、ことを特徴とする請求項１９記載の通信システム。
【請求項２１】
少なくとも、前記第１、第２端末が参加してグループを生成し、
前記サーバ装置は、
動画又は静止画を含む画像信号を一のグループの前記第１の端末から受信し、
前記変換後の画像信号の一部又は全部をコピーし、
前記グループ内で前記第１の端末以外の端末である少なくとも前記第２の端末に送出する、ことを特徴とする請求項１９又は２０記載の通信システム。
【請求項２２】
少なくとも前記第１、第２の端末が参加してマルチキャストグループを登録し、
前記サーバ装置は、前記変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバ端末にマルチキャスト送出する、ことを特徴とする請求項１９又は２０記載の通信システム。
【請求項２３】
前記サーバ装置は、前記変換部で前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する、ことを特徴とする請求項１９又は２０記載の通信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）本願は、先の日本特許出願２００８−２４８１５０号（２００８年９月２６日出願）の優先権を主張するものであり、前記先の出願の全記載内容は、本書に引用をもって繰込み記載されているものとみなされる。
本発明は、サーバ装置、通信システム、及び方法とプログラムに関する。
【背景技術】
【０００２】
モバイルネットワークの帯域幅の拡張や高速化に伴い、今後、画像による通信や配信を行うサービスが増えてくると予想される。【０００３】
このような中で、特に、携帯端末（モバイル端末）などで撮像された静止画又は動画信号を一旦サーバに上げる場合、動画信号に対しては、低ビットレートで効率良く伝送するために、携帯端末側で圧縮符号化を行う。これらの方式としては、ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ  ｆｏｒ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  ｓｅｃｔｏｒ）勧告Ｈ．２６３や、ＩＳＯ／ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  ／Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏ  ｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）で国際標準化されているＭＰＥＧ−４（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ４）が知られている。また、ＩＴＵ−ＴとＩＳＯ／ＩＥＣで国際標準化されたＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）によれば、前記動画像圧縮符号化方式よりもより効率良く圧縮することができる。【０００４】
特許文献１には、配信元端末からの画像を、配信先端末情報に基づき配信先端末の表示デバイスに適応した画像補正パラメータ情報によって機種毎に適した画像補正処理を行ない、配信用画像を生成して配信先端末に配信する構成が開示されている。画像補正処理は、配信先端末の表示デバイスのガンマ特性に合わせた階調補正、ＲＧＢマトリクス演算による色相、彩度の補正、シャープネスの調整、色温度の補正が行われる。【０００５】
また、特許文献２には、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）２０００を利用して補足画素を作成することで、ＤＳＣ（Ｄｉｓｔｒｉｂｕｔｅｄ  Ｓｏｕｒｃｅ  Ｃｏｄｉｎｇ）システム（情報源を分割し別々にエンコードしデコード時に統合してデコードを行うシステム）を用いて高画質化な動画像を提供可能とした構成が開示されている。以下の説明からも明らかとされるように、本発明は、これら特許文献に記載の発明とは全く相違している。【０００６】
【特許文献１】特開２００４−１２０３８１号公報
【特許文献２】特開２００７−７４３０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１及び２の全開示内容はその引用をもって本書に繰込み記載する。
以下に本発明による分析を与える。【０００８】
携帯端末は内蔵しているＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）の性能、メモリ容量や機能に制約があること、モバイルネットワークの上り方向の帯域が制約されていることから、携帯端末からサーバに送出された動画又は静止画信号は、解像度や画質が十分でない。【０００９】
さらに、サーバで、静止画又は動画信号を別の携帯電話やグループに属するメンバの携帯電話などに送出しても、解像度や画質が十分でない。このために、このようなサ−ビスの普及化は難しい。【００１０】
さらに、今後、モバイルネットワークの下り方向は帯域幅が拡大してくるにもかかわらず、これを有効に活用できていない。【００１１】
本発明の目的は、端末から受信した画像に対して画質の変換を行った上で送信可能とするサーバ装置、方法、プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本書で開示される発明は、上記課題を解決するため、概略以下の構成とされる。【００１３】
本発明の１つの側面においては、第１の端末から受信した動画又は静止画を含む画像信号に対して解像度及び画質を拡張する変換を施す変換部と、
前記変換後の画像信号を、前記第１の端末とは別の少なくとも１つの端末に送出する送出部と、を備えるサーバ装置が提供される。【００１４】
本発明の他の側面においては、サーバが、動画又は静止画を含む画像信号を第１の端末から受信し、
前記サーバが、前記受信した画像信号に対し、解像度及び画質を拡張する変換を施し、
前記サーバが、前記変換後の画像信号を、第１の端末とは別の少なくとも一つの端末に送出する、方法が提供される。【００１５】
本発明のさらに他の側面においては、サーバ装置を構成するコンピュータに、
第１の端末から受信した動画又は静止画を含む画像信号に対して、解像度及び画質を拡張する変換を施す変換処理と、
前記変換後の画像信号を、前記第１の端末とは別の少なくとも一つの端末に送出する送出処理と、
を実行させるプログラムが提供される。【００１６】
本発明のさらに他の側面においては、少なくとも第１、第２の端末と、前記第１、第２の端末とネットワーク接続するサーバ装置と、を備え、前記サーバ装置は、動画又は静止画を含む画像信号を前記第１の端末から受信し、前記受信した画像信号に対して、解像度及び画質を拡張する変換を施し、前記変換後の画像信号を前記第２の端末に送出する、通信システムが提供される。
【発明の効果】
【００１７】
本発明のサーバ装置、方法、プログラム、システムによれば、端末から受信した画像に対して画質の変換を行った上で送信可能とする。
【図面の簡単な説明】
【００１８】
【図１】本発明のシステム構成を示す図である。
【図２】本発明のサーバ装置の第１の実施例の構成を示す図である。
【図３】本発明のサーバ装置の第２の実施例の構成を示す図である。
【図４】本発明のサーバ装置の第３の実施例の構成を示す図である。
【図５】本発明のサーバ装置の第４の実施例の構成を示す図である。
【図６】本発明のサーバ装置の第１の実施例の手順を示す図である。
【図７】本発明のサーバ装置の実施例の変形例を示す図である。
【符号の説明】
【００１９】
１２０、１２１、１２２、１２３  携帯端末
１３０  モバイルネットワーク
１５０  サーバ装置
１５１、２５１、３５１、４５１  呼制御部
１５５  パケット受信部
１５９、１７５  パケット送出部
１６０  変換部
１６１  復号部
１６２  フレームメモリ
１６３  超解像度変換部
１６４  符号化部
１７３、２７３  パケットコピー部
２５９  マルチキャストパケット送出部
２７５  ブロードキャストパケット送出部
【発明を実施するための形態】
【００２０】
本発明の実施の形態について説明する。本発明の１つの形態によれば、動画又は静止画信号を含むストリーム又はパケットを、第１の端末から受信し、前記受信した動画又は静止画信号に対し解像度および画質を拡張する変換を施す変換部と、前記変換後の信号を第２の端末（第１の端末以外の端末）に送出する送出部とを備えるサーバ装置が提供される。例えば、第１の端末として携帯電話を含む携帯端末から受信した、動画又は静止画信号に対し、サーバ装置において、解像度および画像品質を拡張する変換を施した上で、前記変換後の動画又は静止画信号を、他の端末に送出する。
【００２１】
本発明の他の形態によれば、２台以上の端末が参加してグループを生成し、動画又は静止画信号を含むストリーム又はパケットを第１の端末から受信し、前記受信した動画又は静止画信号に対し、解像度および画質を拡張する変換を施す変換部と、前記変換後の信号の一部又は全部をコピーし、前記グループ内で第１の端末以外のメンバに送出する送出部とを備えるサーバ装置が提供される。
【００２２】
本発明のさらに他の形態によれば、２台以上の端末が参加してマルチキャストグループを登録し、動画又は静止画信号を含むストリーム又はパケットを第１の端末から受信し、前記受信した動画又は静止画信号に対し解像度および画質を拡張する変換を施す変換部と、前記変換後の信号の一部又は全部を前記マルチキャストグループのメンバにマルチキャスト送出する送出部とを備えるサーバ装置が提供される。
【００２３】
本発明のさらに他の形態によれば、動画又は静止画信号を含むストリーム又はパケットを第１の端末から受信し、前記受信した動画又は静止画信号に対し解像度および画質を拡張する変換を施す変換部と、前記変換後の信号の一部又は全部をコピーしブロードキャスト送出する送出部とを備えることを特徴とするサーバ装置が提供される。以下の実施例に即して説明する。特に制限されないが、以下の実施例では、ビデオ（動画）信号を使う場合の構成を説明する。
【実施例】
【００２４】
本発明は、モバイルネットワークとして、パケットネットワークと回線交換ネットワークの両方に適用することができるが、以下の具体例では、パケットネットワークに適用する場合の例について説明する。パケットネットワークの場合、上りに比べ下りの帯域幅は２倍以上と非対称になっており、ビデオ信号を用いるサービスでは、上りはビットレートなどを削減して使用するが、下りはより高いビットレートで使用することが可能である。【００２５】
図１は、モバイルネットワークを介して本発明によるサーバ装置と携帯端末との接続形態の例を示している。携帯端末１２０〜１２３のいずれか（例えば１２０）から、端末で撮像した又は端末で取得した、ビデオ信号を、サーバ装置１５０に向けて送信する。【００２６】
図２は、図１のサーバ装置１５０の要部構成の一例を示す図である。図２を参照すると、サーバ装置１５０は、呼制御部１５１と、パケット受信部１５５、変換部１６０、パケット送出部１５９を備えている。以下、各要素を説明する。【００２７】
呼制御部１５１は、携帯端末（例えば１２０）のＳＩＰ（Ｓｅｓｓｉｏｎ  Ｉｎｉｔｉａｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）によるセッション制御信号を受信する（呼制御部１５１で受信される破線で示す信号）。また、呼制御部１５１は、ＳＤＰ（Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）による携帯端末の能力情報を受信する（呼制御部１５１で受信される破線で示す信号）。サーバ装置１５０では、ＳＤＰによりセッション名、ＵＲＩ（Ｕｎｉｖｅｒｓａｌ  Ｒｅｓｏｕｒｃｅ  Ｉｄｅｎｔｉｆｉｅｒ）情報のほか、メディア記述として、メディア名等が受信される。なお、ＳＩＰの詳細及びＳＤＰの詳細は、それぞれ、ＩＥＴＦ（Ｉｎｔｅｒｎｅｔ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｔａｓｋ  Ｆｏｒｃｅ）  ＲＦＣ（Ｒｅｑｕｅｓｔ  Ｆｏｒ  Ｃｏｍｍｅｎｔｓ）３２６１およびＩＥＴＦ  ＲＦＣ  ２３２７を参照することができる。【００２８】
呼制御部１５１は、ＳＩＰによりセッション開始指示を受信すると、パケット受信部１５５に対して、携帯端末（例えば１２０）からのＲＴＰ（Ｒｅａｌｔｉｍｅ  Ｔｒａｎｓｐｏｒｔ  Ｐｒｏｔｏｃｌ）パケットを受信するよう指示を出し、携帯端末１２０の送信元ＩＰアドレスを通知する。【００２９】
パケット受信部１５５は、当該送信元ＩＰアドレスから送出されるＲＴＰパケットを受信し、ＲＴＰパケットのペイロード部分に格納された圧縮符号化ストリームを抽出し、変換部１６０に出力する。【００３０】
変換部１６０は、復号部１６１、フレームメモリ１６２、超解像度変換部１６３、符号化部１６４を備えている。【００３１】
復号部１６１は、パケット受信部１５５から入力した圧縮符号化ストリームに対し、携帯端末で符号化に使用されたエンコーダと同じ方式（例えばＭＰＥＧ−４）のデコーダを使い、ストリームを復号し、復号信号をフレームメモリ１６２に格納する。【００３２】
ここで、携帯端末から受信したビデオストリームは、携帯端末（１２０）に搭載されているＭＰＥＧ−４  ＳＰ＠Ｌ０（ｓｉｍｐｌｅ  ｐｒｏｆｉｌｅ  ａｔ  ｌｅｖｅｌ  ０）規格に従い、ビットレートが６４ｋｂｐｓ（キロ・ビット／秒）、フレームレートが１５ｆｐｓ（フレーム／秒）で、解像度がＱＣＩＦ（Ｑｕａｒｔｅｒ  Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ：１７６×１４４画素）であるものとする。【００３３】
超解像度変換部１６３は、フレームメモリ１６２に格納された信号(復号信号)を読み出して、解像度を拡大しながら、画質を改善する処理を行う。例えば、ＱＣＩＦの解像度をＣＩＦ（Ｃｏｍｍｏｎ  Ｉｎｔｅｒｍｅｄｉａｔｅ  Ｆｏｒｍａｔ：３５２×２８８画素）やそれ以上の解像度に拡大する。【００３４】
解像度に拡大として、
・変換対象の画像フレームに対し、参照画像として、複数枚の画像フレームを使用して画素数を増やしながら解像度を拡大する手法や、
・変換対象の画像フレーム内で異なる箇所の画素を用いて画素数を増やす手法、
が用いられる。超解像度変換部１６３では、これらの手法のうち、超解像度変換部１６３の処理に割り当てることのできる演算量とメモリ量の制約の中で最適な手法を選択する構成としてもよい。【００３５】
超解像度変換部１６３において、変換対象フレームに対して、過去（時間的に前）の参照フレームを用いる場合、復号部１６１で復号されたマクロブロック毎の動きベクトルを入力し、該マクロブロックに含まれる画素に対して、前記動きベクトルを基に、動きベクトル探索処理（参照フレームの探索範囲内のマクロブロックのうち、変換対象フレームの当該マクロブロックとの差分が最も小さくなる位置を求める）を再実行することで、詳細な動きベクトルを求める（例えば半画素単位）。そして、再探索で求めた詳細な動きベクトルを過去の参照フレームの画素に適用し、前記詳細な動きベクトル分だけ移動させたフレームを用いて、変換対象フレームの画素を増やす構成をとることもできる。あるいは、復号部１６１からのマクロブロックの動きベクトルを使わずに、変換対象フレーム（現フレーム）と参照フレームから動きベクトルを探索する構成としてもよい。【００３６】
また、超解像度変換部１６３においては、解像度拡大対象のフレームのみを使用する場合には、エッジ部分を検出し、エッジ近傍の画素を適用して画素を増やしたり、エッジ近傍の画素に補正を加えたり、エッジを検出して強調する、という処理を行うことで、解像度を高め、画質を改善する処理を行う。この処理は、動画及び／又は静止画に対して行われる。【００３７】
超解像度変換部１６３においては、動き方向を推定することにより、時間方向のフレーム画像を補間し（前後フレームの間に１つフレームを挿入）、フレームレートを補間することで、例えばフレームレートを１５ｆｐｓから３０ｆｐｓに拡張する処理を行う。【００３８】
符号化部１６４は、超解像度変換部１６３で変換された画像信号を入力し、復号部１６１と同一の圧縮符号化方式又は異なる圧縮符号化方式を用いて符号化する。【００３９】
符号化部１６４において、例えば復号部１６１と同一の圧縮符号化方式を用いる場合は、復号部１６１は、ＭＰＥＧ−４  ＳＰ＠Ｌ０  ６４  ｋｂｐｓであったが、解像度や画質を拡張しているので、符号化部１６４では、例えば、ＭＰＥＧ−４  ＳＰ＠Ｌ３（ｓｉｍｐｌｅ  ｐｒｏｆｉｌｅ  ａｔ  ｌｅｖｅｌ  ３）  ＣＩＦ  ５１２ｋｂｐｓ  １５ｆｐｓなどを用いることができる。【００４０】
一方、符号化部１６４において、復号部１６１と異なる圧縮符号化方式を用いる場合は、Ｈ．２６４  ＢＰ＠Ｌ１．２（Ｂａｓｅｌｉｎｅ  Ｐｒｏｆｉｌｅ  Ｌｅｖｅｌ  １．２）  ＣＩＦ  ５１２ｋｂｐｓ  １５ｆｐｓなどを用いることができる。【００４１】
また、符号化部１６４において、動きベクトル探索の演算量を削減するために、復号部１６１から動きベクトル情報を入力し、入力した動きベクトル情報を基に（動きベクトルに対して解像度の拡大に対応した変換を施し）、超解像度変換部１６３で変換された画像信号に対して、該動きベクトルの近傍を探索して、新たに動きベクトルを求める構成としてもよい。【００４２】
パケット送出部１５９は、符号化部１６４から圧縮符号化ストリームを入力し、ＲＴＰペイロードに含めてＲＴＰパケットを構成し、ＲＴＰパケットを宛先の携帯端末に送出する。【００４３】
なお、圧縮符号化ストリームをＲＴＰパケットではなく、予め定められたファイルフォーマット（例えば３ＧＰＰ（Ｔｈｉｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）で規格化されている３ＧＰファイルフォーマット）に格納してファイルとして送出する構成にすることもできる。なお、３ＧＰファイルフォーマット規格は、３ＧＰＰ  ＴＳ２６．２４４を参照することができる。【００４４】
本実施例のサーバ装置における処理手順を図６を参照して以下に説明する。サーバ装置では、携帯端末からセッション開始指示を受信すると、呼制御部１５１は、パケット受信部１５５に対して携帯端末１２０の送信元ＩＰアドレスを通知する。呼制御部１５１は、ＳＤＰ（Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）による携帯端末の能力情報を受信する。【００４５】
ステップＳ１：パケット受信部１５５は、送信元の携帯端末から受信したＲＴＰパケットから圧縮符号化ストリームを抽出し、変換部１６０に出力する。【００４６】
ステップＳ２：変換部１６０において、復号部１６１は、圧縮符号化ストリームを復号し、復号された画像信号をフレームメモリ１６２に格納する。【００４７】
ステップＳ３：超解像度変換部１６３は、フレームメモリ１６２に格納された画像信号を読み出して、解像度を拡大しながら、画質を改善する。【００４８】
ステップＳ４：符号化部１６４は、超解像度変換部１６３で変換された画像信号を入力し、復号部１６１と同一の圧縮符号化方式又は異なる圧縮符号化方式を用いて符号化する。【００４９】
ステップ５：パケット送出部１５９は、符号化部１６４から圧縮符号化ストリームを入力し、ＲＴＰペイロードに含めてＲＴＰパケットとして送出する。【００５０】
上記実施例において、ビデオの圧縮符号化方式は問わず、Ｈ．２６３、ＭＰＥＧ−４、Ｈ．２６４など、どのような圧縮符号化方式でも対応することができる。【００５１】
なお、上記したサーバ装置におけるステップＳ１乃至Ｓ５は、サーバ装置を構成するコンピュータ上で実行されるプログラムによってその機能・処理を実現してもよいことは勿論である。以下の他の実施例についても同様である。この場合、図７に示すように、サーバ装置を構成するコンピュータ（ＣＰＵ）は、記憶装置からプログラムをメモリ（Ｍｅｍｏｒｙ）にロードして実行することで上記変換部の処理、パケット受信部、パケット送出部、呼制御部の処理を実現する。なお、プログラムを記憶する記憶装置はサーバ装置とネットワーク接続する構成としてもよいことは勿論である。【００５２】
第１の実施例の作用効果を説明する。【００５３】
第１の実施例によれば、携帯電話を含む携帯端末から受信した動画又は静止画信号に対し、サーバ装置で解像度を高めたり画像品質を向上させたりする変換を施した上で、前記変換後の動画又は静止画信号を送出することができる。このため、高画質の画像を享受できる。【００５４】
次に、本発明の第２の実施例を説明する。図３は、本発明の第２の実施例の構成を示す図である。図３において、図２と同じ要素には、同一の参照符号が付されている。同一の要素の説明は重複を回避するため適宜省略する。【００５５】
呼制御部２５１は、携帯端末（例えば１２０）からのＳＩＰ信号によるセッション制御信号を受信する。またＳＤＰ（Ｓｅｓｓｉｏｎ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｐｒｏｔｏｃｏｌ）による携帯端末の能力情報を受信する。また、同じグループに属する携帯端末のＩＰアドレスを受信し、携帯端末（例えば１２０）と、ＳＩＰ及びＳＤＰをやりとりした後に、メディアを導通させるために、パケット受信部１５５、変換部１６０、パケットコピー部１７３、パケット送出部１７５に指示を出す。パケット受信部１５５及び変換部１６０は図２と同じ動作をするので、説明は省略する。【００５６】
サーバ装置１５０において、呼制御部２５１は携帯端末とグループとを関連付けて記憶管理することで、携帯端末（１２０）がメンバとして属する同一グループに他のいかなる携帯端末が属しているかを判別することが可能とされる。【００５７】
パケットコピー部１７３は、パケット受信部１５５から入力するビデオパケットの一部をコピーするのか、全部をコピーするのかについて、呼制御部２５１から指示を受ける。【００５８】
パケットコピー部１７３は、呼制御部２５１から同じグループに属する携帯端末の個数（Ｎ個）を受け取り、変換部１６０から入力した各ＲＴＰパケットに対して、Ｎ−１個のコピーパケットを生成し、Ｎ−１個のコピーパケットを、パケット送出部１７５に出力する。【００５９】
パケット送出部１７５は、呼制御部２５１から、同一グループに属する携帯端末の受信ＩＰアドレスに関する指示を受け、パケットコピー部１７３から入力した、Ｎ−１個のＲＴＰパケットに対しＩＰアドレス宛にパケットを送出する。【００６０】
第２の実施例の作用効果を説明する。【００６１】
第２の実施例によれば、解像度変換後の画像信号を含むパケットの一部又は全てをコピーし、グループ内の携帯端末（１２０）以外のメンバに送出することができる。すなわち、あらかじめ登録されたグループ内において、ある携帯端末が取得した動画又は静止画信号に対し、サーバで解像度を高めたり、画質を向上させたりする変換を施した上で、前記変換後の動画又は静止画信号を、グループ内の携帯端末に送出することができる。このため、グループ内で高画質の画像を享受することができる。【００６２】
図４は、本発明の第３の実施例の構成を示す図である。図４において、図２、図３と同じ要素には、同一の参照符号が付されている。同一の要素の説明は、重複を回避するため適宜省略する。本実施例は、図２のパケット送出部に換えて、マルチキャストパケット送出部２５９を備えている。【００６３】
マルチキャストパケット送出部２５９は、呼制御部３５１から送信先のマルチキャストアドレスに関する指示を受けた上で、変換部１６０から変換後のパケットを入力しマルチキャストアドレス宛に送出する。【００６４】
第３の実施例の作用効果を説明する。【００６５】
第３の実施例によれば、携帯端末からの画像を解像度変換したパケットを、マルチキャストグループのメンバにマルチキャスト送出することができる。すなわち、解像度を高めたり画像品質を向上させたりする変換を施した上で、前記変換後の動画又は静止画信号を、あらかじめ登録されたマルチキャストグループあてにマルチキャスト送出することにより、受信すべき携帯端末数が増加してもネットワークの負荷を増加させずに、マルチキャストグループメンバは高画質の画像を享受することができる。【００６６】
図５は、本発明の第４の実施例の構成を示す図である。図５において、図３と同じ要素には、同一の参照符号が付されている。同一の要素の説明は重複を回避するため適宜省略する。本実施例は、パケット送出部として、ブロードキャストパケット送出部２７５を備えている。【００６７】
呼制御部４５１は、ブロードキャスト送出するためにパケットコピー数Ｍをパケットコピー部２７３に指示する。【００６８】
パケットコピー部２７３は、呼制御部４５１から指示を受け取り、変換部１６０の出力パケットをＭ個にコピーし、ブロードキャストパケット送出部２７５に出力する。【００６９】
呼制御部４５１はさらに、コピー後のパケットをブロードキャストにて送出するよう、ブロードキャストパケット送出部２７５に指示する。【００７０】
ブロードキャストパケット送出部２７５は、呼制御部４５１から指示をもらい、パケットコピー部２７３からコピー後のパケットを入力してブロードキャストにて送出する。【００７１】
第４の実施例の作用効果を説明する。【００７２】
第４の実施例によれば、携帯端末からの画像を解像度変換したパケットを、ブロードキャストにて送出することができる。ブロードキャスト送出により、不特定多数の携帯電話ユーザが解像度を高めたり、画像品質を向上させた高画質画像を享受することができる。【００７３】
以上説明したすべての実施例では、Ｃ−Ｐｌａｎｅ（Ｃｏｎｔｒｏｌ  Ｐｌａｎｅ）処理である呼制御部と、Ｕ−Ｐｌａｎｅ（Ｕｓｅｒ  Ｐｌａｎｅ）処理であるパケット受信部、変換部、パケットコピー部、パケット送出部などを全てサーバ装置に配置したが、Ｃ−Ｐｌａｎｅ処理とＵ−Ｐｌａｎｅ処理とを各々別々の装置に分離する構成をとることもできる。【００７４】
この構成によれば、Ｃ−ＰｌａｎｅとＵ−Ｐｌａｎｅを独立に、スケーラビリティをもたすことができる。また上記実施の形態では、ビデオ（動画）信号を対象にしたが、静止画信号に対しても上記と同様の構成をとることができる。【００７５】
上記した実施例をまとめると以下の構成を含む。【００７６】
［１］  本実施例のサーバ装置は、
第１の端末から受信した動画又は静止画を含む画像信号に対して解像度及び画質を拡張する変換を施す変換部と、
前記変換後の画像信号を、前記第１の端末とは別の少なくとも１つの端末に送出する送出部と、
を備える。【００７７】
［２］  本実施例のサーバ装置は、上記［１］において、
前記変換部は、前記画像信号に対し、前記第１の端末での符号化方式に対応して復号する復号部と、
前記復号された信号の解像度を変換し画質を改善する解像度変換部と、
前記解像度変換部で変換された画像信号を入力し符号化する符号化部と、
を備えている。【００７８】
［３］  本実施例のサーバ装置は、上記［２］において、
前記解像度変換部は、前記復号部で復号された動きベクトルを基に、参照画像に対して動きベクトルの再探索を行い、探索された動きベクトルを前記参照画像に適用した画像を用いて前記画像信号の解像度の変換を行う構成としてもよい。【００７９】
［４］  本実施例のサーバ装置は、上記［１］乃至［３］のいずれかにおいて、
複数の端末が参加してグループを生成し、
動画又は静止画を含む画像信号を一のグループの前記第１の端末から受信し、
前記送出部は、前記変換部で変換後の画像信号の一部又は全部をコピーし、前記グループ内で前記第１の端末以外のメンバ端末に送出する。【００８０】
［５］  本実施例のサーバ装置は、上記［１］乃至［３］のいずれかにおいて、
２台以上の端末が参加してマルチキャストグループを登録し、
前記送出部は、前記変換部で変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバ端末にマルチキャスト送出する。【００８１】
［６］  本実施例のサーバ装置は、上記［１］乃至［３］のいずれかにおいて、
前記送出部は、前記変換部で前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する。【００８２】
［７］  本実施例のサーバ装置は、上記［４］において、
前記送出部は、前記変換部で変換後の画像信号の一部又は全部をコピーするコピー部を備えている。【００８３】
［８］  本実施例のサーバ装置は、上記［１］乃至［７］のいずれかにおいて、
動画又は静止画を含む画像信号を含むパケット又はストリームを前記第１の端末から受信する受信部を備え、前記送出部は、動画又は静止画を含む画像信号を含むパケット又はストリームを、前記第１の端末とは別の端末に送信する。【００８４】
［９］  本実施例の方法は、
サーバが、動画又は静止画を含む画像信号を第１の端末から受信し、
前記サーバが、前記受信した画像信号に対し、解像度及び画質を拡張する変換を施し、
前記サーバが、前記変換後の画像信号を、第１の端末とは別の少なくとも一つの端末に送出する。【００８５】
［１０］  本実施例の方法は、上記［９］において、
前記サーバは、前記受信した画像信号に対し、前記第１の端末での符号化方式に対応して復号し、
前記復号された画像信号の解像度を変換して画質を改善する変換を施し、
前記解像度が変換された画像信号を符号化する。【００８６】
［１１］  本実施例の方法は、上記［９］又は［１０］において、
複数の端末が参加してグループを生成し、
前記サーバは、動画又は静止画信号を含む画像信号を、一のグループの前記第１の端末から受信し、
前記サーバは、前記変換後の画像信号の一部又は全部をコピーし、前記グループ内で第１の端末以外のメンバに送出する。【００８７】
［１２］  本実施例の方法は、上記［９］又は［１０］において、
２台以上の端末が参加してマルチキャストグループを登録し、
前記サーバは、前記変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバにマルチキャスト送出する。【００８８】
［１３］  本実施例の方法は、上記［９］又は［１０］において、
前記サーバは、前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する。【００８９】
［１４］  本実施例のプログラムは、
サーバ装置を構成するコンピュータに、
第１の端末から受信した動画又は静止画を含む画像信号に対して、解像度及び画質を拡張する変換を施す変換処理と、
前記変換後の画像信号を、前記第１の端末とは別の少なくとも一つの端末に送出する送出処理と、
を実行させるプログラムを含む。【００９０】
［１５］  本実施例のプログラムは、上記［１４］において、
前記変換処理は、
前記受信部で受信した画像信号に対し、前記端末での符号化方式に対応して復号する復号処理と、
前記復号信号の解像度を変換し画質を改善する解像度変換処理と、
前記変換された画像信号を入力し符号化する符号化処理と、
を含む。【００９１】
［１６］  本実施例のプログラムは、上記［１４］又は［１５］において、
前記動画又は静止画を含む画像信号を一のグループの前記第１の端末から受信し、
前記送出処理では、前記変換後の画像信号の一部又は全部をコピーし、前記グループ内で第１の端末以外のメンバ端末に送出する。【００９２】
［１７］  本実施例のプログラムは、上記［１４］又は［１５］において、
前記送出処理は、前記変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバにマルチキャスト送出する。【００９３】
［１８］  本実施例のプログラムは、上記［１４］又は［１５］において、
前記送出処理では、前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する。【００９４】
［１９］  本実施例のシステムは、
少なくとも第１、第２の端末と、
前記第１、第２の端末とネットワーク接続するサーバ装置と、
を備え、
前記サーバ装置は、
動画又は静止画を含む画像信号を前記第１の端末から受信し、
前記受信した画像信号に対して、解像度及び画質を拡張する変換を施し、
前記変換後の画像信号を前記第２の端末に送出する。【００９５】
［２０］  本実施例のシステムは、上記［１９］のシステムにおいて、
前記サーバ装置は、前記受信した画像信号に対し、前記端末での符号化方式に対応して復号し、前記復号信号の解像度を変換し画質を改善し、前記解像度が変換された画像信号を入力し符号化する。【００９６】
［２１］  本実施例のシステムは、上記［１９］又は［２０］のシステムにおいて、
少なくとも、前記第１、第２端末が参加してグループを生成し、
前記サーバ装置は、
動画又は静止画を含む画像信号を一のグループの前記第１の端末から受信し、
前記変換後の画像信号の一部又は全部をコピーし、
前記グループ内で前記第１の端末以外の端末である少なくとも前記第２の端末に送出する。【００９７】
［２２］  本実施例のシステムは、上記［１９］又は［２０］のシステムにおいて、
少なくとも前記第１、第２の端末が参加してマルチキャストグループを登録し、
前記サーバ装置は、前記変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバにマルチキャスト送出する。【００９８】
［２２］  本実施例のシステムは、上記［１９］又は［２０］のシステムにおいて、
前記サーバ装置は、前記変換部で前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する。【００９９】
なお、上記の特許文献の各開示を、本書に引用をもって繰り込むものとする。本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。
【図１】
2010035776.tif 000003
【図２】
2010035776.tif 000004
【図３】
2010035776.tif 000005
【図４】
2010035776.tif 000006
【図５】
2010035776.tif 000007
【図６】
2010035776.tif 000008
【図７】
2010035776.tif 000009
【手続補正書】
【提出日】平成23年3月24日(2011.3.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の端末から受信した動画又は静止画を含む画像信号に対して解像度及び画質を拡張する変換を施す変換部と、
前記変換後の画像信号を、前記第１の端末とは別の少なくとも１つの端末に送出する送出部と、
を備えている、ことを特徴とするサーバ装置。
【請求項２】
前記変換部は、前記画像信号に対し、前記第１の端末での符号化方式に対応して復号する復号部と、
前記復号された画像信号の解像度を変換し画質を改善する解像度変換部と、
前記解像度変換部で変換された画像信号を入力し符号化する符号化部と、
を備えている、ことを特徴とする請求項１記載のサーバ装置。
【請求項３】
前記解像度変換部は、前記復号部で復号された動きベクトルを基に、過去の参照画像に対して動きベクトルの再探索を行い、再探索された動きベクトルを前記参照画像に適用した画像を用いて、前記画像信号の解像度の変換を行う、ことを特徴とする請求項２記載のサーバ装置。
【請求項４】
複数の端末が参加してグループを生成し、
動画又は静止画を含む画像信号を一のグループの前記第１の端末から受信し、
前記送出部は、前記変換部で変換後の画像信号の一部又は全部をコピーし、前記グループ内で前記第１の端末以外のメンバ端末に送出する、ことを特徴とする請求項１乃至３のいずれか１項に記載のサーバ装置。
【請求項５】
２台以上の端末が参加してマルチキャストグループを登録し、
前記送出部は、前記変換部で変換後の画像信号の一部又は全部を、前記マルチキャストグループのメンバ端末にマルチキャスト送出する、ことを特徴とする請求項１乃至３のいずれか１項に記載のサーバ装置。
【請求項６】
前記送出部は、前記変換部で前記変換後の画像信号の一部又は全部をコピーし、ブロードキャスト送出する、ことを特徴とする請求項１乃至３のいずれか１項に記載のサーバ装置。
【請求項７】
前記送出部は、前記変換部で変換後の画像信号の一部又は全部をコピーするコピー部を備えている、ことを特徴とする請求項１乃至４のいずれか１項に記載のサーバ装置。
【請求項８】
動画又は静止画を含む画像信号を含むパケット又はストリームを前記第１の端末から受信する受信部を備え、
前記送出部は、動画又は静止画を含む画像信号を含むパケット又はストリームを、前記第１の端末とは別の端末に送信する、ことを特徴とする請求項１乃至７のいずれか１項に記載のサーバ装置。
【請求項９】
サーバを用いた通信方法であって、
動画又は静止画を含む画像信号を第１の端末から受信し、
前記受信した画像信号に対し、解像度及び画質を拡張する変換を施し、
前記変換後の画像信号を、第１の端末とは別の少なくとも一つの端末に送出する、
ことを特徴とする通信方法。
【請求項１０】
少なくとも第１、第２の端末と、
前記第１、第２の端末とネットワーク接続するサーバ装置と、
を備え、
前記サーバ装置は、
動画又は静止画を含む画像信号を前記第１の端末から受信し、
前記受信した画像信号に対して、解像度及び画質を拡張する変換を施し、
前記変換後の画像信号を前記第２の端末に送出する、
ことを特徴とする通信システム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
（関連出願）本願は、先の日本特許出願２００８−２４８１５０号（２００８年９月２６日出願）の優先権を主張するものであり、前記先の出願の全記載内容は、本書に引用をもって繰込み記載されているものとみなされる。
本発明は、サーバ装置、通信システム、及び方法に関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明の目的は、端末から受信した画像に対して画質の変換を行った上で送信可能とするサーバ装置、方法を提供することにある。
【国際調査報告】
2010035776.tif 000010
2010035776.tif 000011