(57)【要約】  本発明は、クラウドストリーミングサービスシステム、スチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法及びそのための装置に関し、特に、以前フレームと現在フレームを比較し、前記以前フレームから変化した前記現在フレームの変化領域を決定して変化領域をキャプチャし、スチールイメージ圧縮技法でエンコーディングした変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うことができる。クラウドストリーミングサービスの提供時に、イメージタイプに適したスチールイメージ圧縮技法を使用することによって、スチールイメージの圧縮効率とクラウドストリーミングサービスの速度を向上させることが可能である。
2017529716.tif 000002
【特許請求の範囲】
【請求項１】
以前フレームと現在フレームを比較し、前記以前フレームから変化した前記現在フレームの変化領域を決定する変化領域決定部と、
前記変化領域をキャプチャするキャプチャ部と、
スチールイメージ（ｓｔｉｌｌ  ｉｍａｇｅ）圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングするエンコーディング部と、
スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部と、を含むことを特徴とするクラウドストリーミングサーバー。
【請求項２】
前記変化領域決定部は、
前記以前フレーム及び前記現在フレームの差分フレームを算出し、前記差分フレームを利用して前記変化領域を決定することを特徴とする請求項１に記載のクラウドストリーミングサーバー。
【請求項３】
前記変化領域決定部は、
前記差分フレームをスキャニング（ｓｃａｎｎｉｎｇ）し、前記以前フレームから変化した前記現在フレームの変化ピクセルを感知し、前記変化領域を決定することを特徴とする請求項２に記載のクラウドストリーミングサーバー。
【請求項４】
前記変化領域決定部は、
前記差分フレームを水平スキャニング（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎｎｉｎｇ）及び垂直スキャニング（ｖｅｒｔｉｃａｌ  ｓｃａｎｎｉｎｇ）して感知される変化ピクセルを含む前記変化領域を決定することを特徴とする請求項３に記載のクラウドストリーミングサーバー。
【請求項５】
前記変化領域決定部は、
前記差分フレームの上端から下方向に進行しつつ、行単位で水平スキャニングして最初に感知される変化ピクセルから第１縦座標要素を獲得し、下端から上方向に進行しつつ、行単位で水平スキャニングして最初に感知される変化ピクセルから第２縦座標要素を獲得し、左側端から右側方向に進行すると、列単位で垂直スキャニングして最初に感知される変化ピクセルから第１横座標要素を獲得し、右側端から左側方向に進行すると、列単位で垂直スキャニングして最初に感知される変化ピクセルから第２横座標要素を獲得し、前記横座標要素のうちいずれか一つ及び前記縦座標要素のうちいずれか一つを一対にして構成される座標に相当する変化ピクセルを含む矩形領域を前記変化領域として決定することを特徴とする請求項４に記載のクラウドストリーミングサーバー。
【請求項６】
変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、
前記変化領域に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を決定し、前記エンコーディング方式を利用して前記変化領域をスチールイメージエンコーディングするエンコーディング部と、
スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部と、を含むことを特徴とするクラウドストリーミングサーバー。
【請求項７】
前記イメージ特性情報は、
アプリケーションソースコードを基盤として生成されるか、ＭＰＥＧテクスチャ記述子を利用して生成されることを特徴とする請求項６に記載のクラウドストリーミングサーバー。
【請求項８】
前記エンコーディング部は、
前記イメージ特性情報が存在する場合、前記イメージ特性を基盤として前記エンコーディング方式を決定し、前記イメージ特性情報が存在しない場合、前記変化領域に相当するイメージを分析し、前記エンコーディング方式を決定することを特徴とする請求項７に記載のクラウドストリーミングサーバー。
【請求項９】
前記エンコーディング方式は、
ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当することを特徴とする請求項８に記載のクラウドストリーミングサーバー。
【請求項１０】
前記エンコーディング部は、
前記変化領域に相当するイメージを分析し、前記変化領域を一般領域及び絵領域のうちいずれか一つに区分し、前記一般領域のイメージプロセッシング結果及び前記絵領域のイメージタイプのうち少なくとも一つ以上を考慮して、前記エンコーディング方式を決定することを特徴とする請求項８に記載のクラウドストリーミングサーバー。
【請求項１１】
前記イメージタイプは、
自然イメージ（ｎａｔｕｒａｌ  ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ  ｉｍａｇｅ）のうちいずれか一つに相当することを特徴とする請求項１０に記載のクラウドストリーミングサーバー。
【請求項１２】
以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、
前記変化領域に相当するイメージ特性及びイメージ解像度のうち一つ以上を考慮してエンコーディング処理ユニットを選択し、前記エンコーディング処理ユニットを利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングするエンコーディング部と、
スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部と、を含むことを特徴とするクラウドストリーミングサーバー。
【請求項１３】
前記エンコーディング処理ユニットは、
中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）及びグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）のうちいずれか一つに相当することを特徴とする請求項１２に記載のクラウドストリーミングサーバー。
【請求項１４】
前記エンコーディング部は、
前記イメージ特性及び前記イメージ解像度のうち一つ以上を考慮して、前記中央処理ユニットと前記グラフィック処理ユニット各々に対するエンコーディング処理費用を予測し、前記中央処理ユニット及びグラフィック処理ユニットのうち予測した前記エンコーディング処理費用が低いエンコーディング処理ユニットを選択し、前記変化領域をスチールイメージエンコーディングすることを特徴とする請求項１３に記載のクラウドストリーミングサーバー。
【請求項１５】
前記エンコーディング部は、
前記変化領域に相当するイメージ解像度が既定の基準値以上である場合、前記グラフィック処理ユニットを利用して前記変化領域をスチールイメージエンコーディングすることを特徴とする請求項１４に記載のクラウドストリーミングサーバー。
【請求項１６】
前記エンコーディング部は、
前記変化領域に相当するイメージ解像度が既定の基準値未満である場合、前記イメージ特性によるスチールイメージ圧縮技法を考慮して、前記エンコーディング処理ユニットを選択することを特徴とする請求項１５に記載のクラウドストリーミングサーバー。
【請求項１７】
変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、
前記変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、前記単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、前記グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当て、前記エンコーディングプロセスを行い、前記変化領域をスチールイメージエンコーディングするエンコーディング部と、
スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部と、を含むことを特徴とするクラウドストリーミングサーバー。
【請求項１８】
前記単位プロセスは、前記変化領域に相当するイメージ分析、スチールイメージ圧縮技法の決定、スチールイメージ圧縮及び圧縮データ集約のうちいずれか一つに相当することを特徴とする請求項１７に記載のクラウドストリーミングサーバー。
【請求項１９】
前記エンコーディング部は、
前記イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシングを基盤として、前記グラフィック処理ユニットに前記スチールイメージ圧縮に相当する単位プロセスを割り当てすることを特徴とする請求項１８に記載のクラウドストリーミングサーバー。
【請求項２０】
前記スチールイメージ圧縮は、
前記変化領域に相当するイメージに対してカラーヒストグラム構成、パレット生成、パレット基盤の原本カラー量子化及びパレット基盤エンコーディングのうち一つ以上の過程を含み、
前記グラフィック処理ユニットは、
前記スチールイメージ圧縮に相当するプロセッシング結果を前記中央処理ユニットに伝達することを特徴とする請求項１９に記載のクラウドストリーミングサーバー。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、クラウドストリーミングサービスシステム、スチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法及びそのための装置（ＳＹＳＴＥＭ  ＦＯＲ  ＣＬＯＵＤＳ  ＴＲＥＡＭＩＮＧ  ＳＥＲＶＩＣＥ、ＭＥＴＨＯＤ  ＯＦ  ＣＬＯＵＤ  ＳＴＲＥＡＭＩＮＧ  ＳＥＲＶＩＣＥ  ＵＳＩＮＧ  ＳＴＩＬＬ  ＩＭＡＧＥ  ＣＯＭＰＲＥＳＳＩＯＮＴＥＣＨＮＩＱＵＥ  ＡＮＤ  ＡＰＰＡＲＡＴＵＳ  ＦＯＲ  ＴＨＥ  ＳＡＭＥ）に関し、さらに詳細には、クラウドストリーミングサービス時に以前フレーム及び現在フレームの変化領域のみに対してスチールイメージ圧縮技法を適用し、サービス速度を向上させることができ、イメージ特性情報を利用してエンコーディング方式を決定することによって、イメージプロセッシングのためのシステム資源を節約でき、イメージの特性によってエンコーディング処理ユニットを選択してエンコーディングすることによって、サーバーの資源をさらに効率的に使用でき、エンコーディング過程によってエンコーディング処理ユニットをプロセス別に分離し、エンコーディングを行うことによって、サーバーの資源を節減できるクラウドストリーミングサービスシステム、スチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法及びそのための装置に関する。
【０００２】
本発明は、２０１４年７月３０日に出願された韓国特許出願第１０−２０１４−００９７３２２号、２０１４年１０月２日に出願された韓国特許出願第１０−２０１４−０１３３１７６号、２０１４年１０月６日に出願された韓国特許出願第１０−２０１４−０１３４５１２号、２０１４年１０月１３日に出願された韓国特許出願第１０−２０１４−０１３７７３３号及び２０１４年１０月２０日に出願された韓国特許出願第１０−２０１４−０１４１９８３号の出願日の利益を主張し、その内容全部は、本明細書に含まれる。
【背景技術】
【０００３】
クラウドストリーミングサービスは、基本的に、ビデオコーデック基盤のクラウドストリーミング技法が適用され、メニューディスプレイなどを適用する場合にも、不要に画面全体をキャプチャし、ビデオコーデックを利用して動作し、クラウドストリーミングサービスが非効率的であった。
【０００４】
すなわち、静的な画面がユーザの入力によって少しずつ変わる画面に対するクラウドストリーミング適用時には、ビデオコーデックを利用したクラウドストリーミングサービスよりイメージ基盤クラウドストリーミングサービスが効果的なことがある。
【０００５】
言い替えれば、スチールイメージ基盤のクラウドストリーミングサービスを行う場合、フレーム間変化が発生した領域を正確に検出し、最小領域のみを伝送すると、さらに効果的なクラウドストリーミングサービスが可能である。
【０００６】
また、スチールイメージコーデックを適用する場合、圧縮対象イメージのイメージタイプによってそのデータ量が千差万別であり、圧縮に使用されるスチールイメージ圧縮技法によってクラウドストリーミングサービスの効率性が大きく変わることができる。したがって、イメージタイプを迅速で且つ正確に区分し、適応的にイメージクラウドを適用できる新しい技法の必要性が切実に提起される。
【０００７】
また、スチールイメージ基盤のクラウドストリーミングサービスを行う場合、フレーム間変化が発生した領域を正確に検出することが非常に重要な問題であり、したがって、さらに簡単で且つさらに効果的な変化領域検出技術が必要である。
【０００８】
しかも、ケーブルやＩＰＴＶ事業者が長期間多様な種類のセットトップボックスを供給しているため、セットトップボックスごとに性能の差異が千差万別であり、実際に最近１０余年の間に、総１５種類以上のセットトップが普及されて来た。また、良い性能のセットトップと悪い性能のセットトップとの間の性能の差異が非常に大きいため、コンテンツ供給者が所望する方式でコンテンツがユーザに供給されない場合が発生する。
【０００９】
また、スチールイメージ基盤のクラウドストリーミングサービスを行う場合、ウェブアプリのためのコードを作成するウェブアプリ開発者は、自分が従来使用した方式でコードを作成しようとし、クラウドストリーミングサーバーの入場では、できるだけ、アニメーションなどが適用されず、キャプチャすべきイメージ情報とアニメーションの属性に該当する情報のみを含むコードを希望するため、互いに相反する面がある。すなわち、ウェブアプリ開発者がＣＳサーバー側で所望のコードを提供するためには、従来自分が使用した方式ではなく、新しいコードを提供しなければならない問題がある。
【００１０】
関連先行技術では、韓国公開特許第１０−２０１４−００２７０４０号、２０１４年０３月０６日公開（名称：適応イメージ圧縮システム及びその方法）、韓国公開特許第１０−２０１４−００４５０１３号、２０１４年０４月１６日公開（名称：ＡＰＩ情報を利用したクラウドディスプレイ画面の符号化方法及びその装置）、韓国公開特許第１０−２０１２−０１０５６８８号、２０１２年０９月２６日公開（名称：異機種サーバー／クライアント間仮想化サービスシステム及び方法）及び韓国公開特許第１０−２０１４−００２１３８８号、２０１４年０２月２０日公開（名称：グラフィックプロセスユニット基盤ＪＰＥＧ２０００エンコーディング／デコーディング装置及び方法）がある。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、スチールイメージ基盤クラウドストリーミングサービスの提供時に、状況に合うスチールイメージ圧縮技法を使用することによって、圧縮効率とクラウドストリーミングサービス速度を向上させることにある。
【００１２】
また、本発明の目的は、スチールイメージ基盤クラウドストリーミングサービスの提供時に、イメージタイプに適したスチールイメージ圧縮技法を使用することによって、圧縮効率とクラウドストリーミングサービス速度を向上させることにある。
【００１３】
また、本発明の目的は、スチールイメージ基盤クラウドストリーミングサービスを通じてストリーミング圧縮効率を極大化し、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供することにある。
【００１４】
また、本発明の目的は、スチールイメージ圧縮技法を利用したクラウドストリーミングサービスの提供時に、以前フレーム及び現在フレームの変化領域のみに対してスチールイメージ圧縮技法を適用することによって、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供することにある。
【００１５】
また、本発明の目的は、スチールイメージ圧縮技法を利用したクラウドストリーミングサービスの提供時に、以前フレーム及び現在フレームの差分フレームをスキャニング（ｓｃａｎｎｉｎｇ）し、変化領域を決定することによって、スチールイメージ圧縮対象を一層速く検出することにある。
【００１６】
また、本発明の目的は、アプリケーションソースコード及びＭＰＥＧテクスチャ記述子で生成したイメージ特性情報を利用してエンコーディング方式を決定することによって、従来イメージプロセッシングを行うために必要であったクラウドストリーミングサーバーの資源を節約し、さらに効率的なクラウドストリーミングサーバーを構成することにある。
【００１７】
また、本発明の目的は、イメージ特性情報を基盤としてスチールイメージエンコーディングを行うことによって、イメージプロセッシングに必要なサービス時間を節約し、ユーザに一層迅速にクラウドストリーミングサービスを提供することにある。
【００１８】
また、本発明の目的は、クラウドストリーミングサービスの効率性を向上させることによって、クラウドストリーミングサービス処理費用を節約することにある。
【００１９】
また、本発明の目的は、クラウドストリーミングサービスの提供時に、エンコーディング過程によるプロセス別にエンコーディング処理ユニットを分離してエンコーディングを行うことによって、クラウドストリーミングサーバーの資源使用を節約することにある。
【００２０】
また、本発明の目的は、クラウドストリーミングサービスの提供時に、中央処理ユニットと共にグラフィック処理ユニットを利用してサービスを処理することによって、サーバーの負荷に発生し得る遅延状況を減少させることにある。
【課題を解決するための手段】
【００２１】
前記目的を達成するための本発明の一実施形態によるクラウドストリーミングサーバーは、以前フレームと現在フレームを比較し、前記以前フレームから変化した前記現在フレームの変化領域を決定する変化領域決定部と、前記変化領域をキャプチャするキャプチャ部と、スチールイメージ（ｓｔｉｌｌ  ｉｍａｇｅ）圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングするエンコーディング部と、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部とを含む。
【００２２】
この際、変化領域決定部は、前記以前フレーム及び前記現在フレームの差分フレームを算出し、前記差分フレームを利用して前記変化領域を決定できる。
【００２３】
この際、変化領域決定部は、前記差分フレームをスキャニング（ｓｃａｎｎｉｎｇ）し、前記以前フレームから変化した前記現在フレームの変化ピクセルを感知し、前記変化領域を決定できる。
【００２４】
この際、変化領域決定部は、前記差分フレームを水平スキャニング（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎｎｉｎｇ）及び垂直スキャニング（ｖｅｒｔｉｃａｌ  ｓｃａｎｎｉｎｇ）して感知される変化ピクセルを含む前記変化領域を決定できる。
【００２５】
この際、変化領域決定部は、前記差分フレームの上端から下方向に進行しつつ、行単位で水平スキャニングして最初に感知される変化ピクセルから第１縦座標要素を獲得し、下端から上方向に進行しつつ、行単位で水平スキャニングして最初に感知される変化ピクセルから第２縦座標要素を獲得し、左側端から右側方向に進行すると、列単位で垂直スキャニングして最初に感知される変化ピクセルから第１横座標要素を獲得し、右側端から左側方向に進行しつつ、列単位で垂直スキャニングして最初に感知される変化ピクセルから第２横座標要素を獲得し、前記横座標要素のうちいずれか一つ及び前記縦座標要素のうちいずれか一つを一対にして構成される座標に相当する変化ピクセルを含む矩形領域を前記変化領域として決定できる。
【００２６】
この際、変化領域決定部は、前記変化ピクセルを含み、且つ最小広さを有する矩形領域を前記変化領域として決定できる。
【００２７】
この際、変化領域決定部は、前記横座標要素のうちいずれか一つ及び前記縦座標要素のうちいずれか一つを一対にして構成される４個の座標を頂点とする矩形領域を前記変化領域として決定できる。
【００２８】
また、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法は、以前フレームと現在フレームを比較し、前記以前フレームから変化した前記現在フレームの変化領域を決定する段階と、前記変化領域をキャプチャする段階と、スチールイメージ（ｓｔｉｌｌ  ｉｍａｇｅ）圧縮技法を利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングする段階と、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う段階とを含む。
【００２９】
この際、変化領域を決定する段階は、前記以前フレーム及び前記現在フレームの差分フレームを算出し、前記差分フレームを利用して前記変化領域を決定できる。
【００３０】
この際、変化領域を決定する段階は、前記差分フレームをスキャニング（ｓｃａｎｎｉｎｇ）し、前記以前フレームから変化した前記現在フレームの変化ピクセルを感知し、前記変化領域を決定できる。
【００３１】
この際、変化領域を決定する段階は、前記差分フレームを水平スキャニング（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎｎｉｎｇ）及び垂直スキャニング（ｖｅｒｔｉｃａｌ  ｓｃａｎｎｉｎｇ）して感知される変化ピクセルを含む前記変化領域を決定できる。
【００３２】
この際、変化領域を決定する段階は、前記差分フレームの上端から下方向に進行しつつ、行単位で水平スキャニングして最初に感知される変化ピクセルから第１縦座標要素を獲得し、下端から上方向に進行しつつ、行単位で水平スキャニングして最初に感知される変化ピクセルから第２縦座標要素を獲得し、左側端から右側方向に進行すると、列単位で垂直スキャニングして最初に感知される変化ピクセルから第１横座標要素を獲得し、右側端から左側方向に進行すると、列単位で垂直スキャニングして最初に感知される変化ピクセルから第２横座標要素を獲得し、前記横座標要素のうちいずれか一つ及び前記縦座標要素のうちいずれか一つを一対にして構成される座標に相当する変化ピクセルを含む矩形領域を前記変化領域として決定できる。
【００３３】
この際、変化領域を決定する段階は、前記変化ピクセルを含み、且つ最小広さを有する矩形領域を前記変化領域として決定できる。
【００３４】
この際、変化領域を決定する段階は、前記横座標要素のうちいずれか一つ及び前記縦座標要素のうちいずれか一つを一対にして構成される４個の座標を頂点とする矩形領域を前記変化領域として決定できる。
【００３５】
また、本発明の他の実施形態によるクラウドストリーミングサーバーは、変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、前記変化領域に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を決定し、前記エンコーディング方式を利用して前記変化領域をスチールイメージエンコーディングするエンコーディング部と、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部とを含む。
【００３６】
この際、イメージ特性情報は、アプリケーションソースコードを基盤として生成されるか、ＭＰＥＧテクスチャ記述子を利用して生成され得る。
【００３７】
この際、エンコーディング部は、前記イメージ特性情報が存在する場合、前記イメージ特性を基盤として前記エンコーディング方式を決定し、前記イメージ特性情報が存在しない場合、前記変化領域に相当するイメージを分析し、前記エンコーディング方式を決定できる。
【００３８】
この際、エンコーディング方式は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。
【００３９】
この際、エンコーディング部は、前記変化領域に相当するイメージを分析し、前記変化領域を一般領域及び絵領域のうちいずれか一つに区分し、前記一般領域のイメージプロセッシング結果及び前記絵領域のイメージタイプのうち少なくとも一つ以上を考慮して、前記エンコーディング方式を決定できる。
【００４０】
この際、イメージタイプは、自然イメージ及び合成イメージのうちいずれか一つに相当できる。
【００４１】
この際、キャプチャ部は、前記変化したフレームに相当する画面領域のうち前記変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を前記変化領域としてキャプチャできる。
【００４２】
この際、キャプチャ部は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。
【００４３】
この際、キャプチャ部は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。
【００４４】
また、本発明によるソース情報を利用したクラウドストリーミングサービス方法は、変化したフレームに含まれた変化領域をキャプチャする段階と、前記変化領域に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を決定し、前記エンコーディング方式を利用して前記変化領域をスチールイメージエンコーディングする段階と、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う段階を含む。
【００４５】
この際、イメージ特性情報は、アプリケーションソースコードを基盤として生成されるか、ＭＰＥＧテクスチャ記述子を利用して生成され得る。
【００４６】
この際、エンコーディングする段階は、前記イメージ特性情報が存在する場合、前記イメージ特性を基盤として前記エンコーディング方式を決定し、前記イメージ特性情報が存在しない場合、前記変化領域に相当するイメージを分析し、前記エンコーディング方式を決定できる。
【００４７】
この際、エンコーディングする段階は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。
【００４８】
この際、エンコーディングする段階は、前記変化領域に相当するイメージを分析し、前記変化領域を一般領域及び絵領域のうちいずれか一つに区分し、前記一般領域のイメージプロセッシング結果及び前記絵領域のイメージタイプのうち少なくとも一つ以上を考慮して、前記エンコーディング方式を決定できる。
【００４９】
この際、イメージタイプは、自然イメージ及び合成イメージのうちいずれか一つに相当できる。
【００５０】
この際、キャプチャする段階は、前記変化したフレームに相当する画面領域のうち前記変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を前記変化領域としてキャプチャできる。
【００５１】
この際、キャプチャする段階は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。
【００５２】
この際、キャプチャする段階は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。
【００５３】
また、本発明の一実施形態によるクラウドストリーミングサービスシステムは、変化したフレームに含まれた変化領域をキャプチャし、前記変化領域に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を決定し、前記エンコーディング方式を利用して前記変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うクラウドストリーミングサーバーと、前記クラウドストリーミングサーバーから前記クラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信する端末と、を含む。
【００５４】
また、本発明のさらに他の実施形態によるクラウドストリーミングサーバーは、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、前記変化領域に相当するイメージ特性及びイメージ解像度のうち一つ以上を考慮してエンコーディング処理ユニットを選択し、前記エンコーディング処理ユニットを利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングするエンコーディング部と、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部とを含む。
【００５５】
この際、エンコーディング処理ユニットは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）及びグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）のうちいずれか一つに相当できる。
【００５６】
この際、エンコーディング部は、前記イメージ特性及び前記イメージ解像度のうち一つ以上を考慮して、前記中央処理ユニットと前記グラフィック処理ユニット各々に対するエンコーディング処理費用を予測し、前記中央処理ユニット及びグラフィック処理ユニットのうち前記エンコーディング処理費用が低いエンコーディング処理ユニットを選択し、前記変化領域をスチールイメージエンコーディングできる。
【００５７】
この際、エンコーディング部は、前記変化領域に相当するイメージ解像度が既定の基準値以上である場合、前記グラフィック処理ユニットを利用して前記変化領域をスチールイメージエンコーディングできる。
【００５８】
この際、エンコーディング部は、前記変化領域に相当するイメージ解像度が既定の基準値未満である場合、前記イメージ特性によるスチールイメージ圧縮技法を考慮して、前記エンコーディング処理ユニットを選択できる。
【００５９】
この際、スチールイメージ圧縮技法は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。
【００６０】
この際、エンコーディング部は、前記イメージ解像度が既定の基準値未満であり、前記スチールイメージ圧縮技法が前記パレットＰＮＧである場合、前記グラフィック処理ユニットを利用して前記変化領域をスチールイメージエンコーディングできる。
【００６１】
この際、キャプチャ部は、前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して変化した領域を前記変化領域としてキャプチャできる。
【００６２】
この際、キャプチャ部は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。
【００６３】
この際、キャプチャ部は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。
【００６４】
また、本発明による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法は、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャする段階と、前記変化領域に相当するイメージ特性及びイメージ解像度のうち一つ以上を考慮してエンコーディング処理ユニットを選択し、前記エンコーディング処理ユニットを利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングする段階と、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う段階とを含む。
【００６５】
この際、エンコーディング処理ユニットは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）及びグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）のうちいずれか一つに相当できる。
【００６６】
この際、エンコーディングする段階は、前記イメージ特性及び前記イメージ解像度のうち一つ以上を考慮して、前記中央処理ユニットと前記グラフィック処理ユニット各々に対するエンコーディング処理費用を予測する段階を含み、前記中央処理ユニット及びグラフィック処理ユニットのうち前記エンコーディング処理費用が低いエンコーディング処理ユニットを選択し、前記変化領域をスチールイメージエンコーディングできる。
【００６７】
この際、エンコーディングする段階は、前記変化領域に相当するイメージ解像度が既定の基準値以上である場合、前記グラフィック処理ユニットを利用して前記変化領域をスチールイメージエンコーディングできる。
【００６８】
この際、エンコーディングする段階は、前記変化領域に相当するイメージ解像度が既定の基準値未満である場合、前記イメージ特性によるスチールイメージ圧縮技法を考慮して、前記エンコーディング処理ユニットを選択できる。
【００６９】
この際、スチールイメージ圧縮技法は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。
【００７０】
この際、エンコーディングする段階は、前記イメージ解像度が既定の基準値未満であり、前記スチールイメージ圧縮技法が前記パレットＰＮＧである場合、前記中央処理ユニットを利用して前記変化領域をスチールイメージエンコーディングできる。
【００７１】
この際、キャプチャする段階は、前記変化したフレームに相当する画面領域のうち前記以前フレームに相当する画面領域と比較して変化した領域を前記変化領域としてキャプチャできる。
【００７２】
この際、キャプチャする段階は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。
【００７３】
この際、キャプチャする段階は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。
【００７４】
また、本発明の他の実施形態によるクラウドストリーミングサービスシステムは、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャし、前記変化領域に相当するイメージ特性及びイメージ解像度のうち一つ以上を考慮してエンコーディング処理ユニットを選択し、前記エンコーディング処理ユニットを利用して一つのフレームに相当する前記変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた前記変化領域を前記ユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うクラウドストリーミングサーバーと、前記クラウドストリーミングサーバーから前記クラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信する端末とを含む。
【００７５】
また、本発明のさらに他の実施形態によるクラウドストリーミングサーバーは、変化したフレームに含まれた変化領域をキャプチャするキャプチャ部と、前記変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、前記単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、前記グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当て、前記エンコーディングプロセスを行い、前記変化領域をスチールイメージエンコーディングするエンコーディング部と、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うセンディング部とを含む。
【００７６】
この際、単位プロセスは、前記変化領域に相当するイメージ分析、スチールイメージ圧縮技法の決定、スチールイメージ圧縮及び圧縮データ集約のうちいずれか一つに相当できる。
【００７７】
この際、エンコーディング部は、前記イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシングを基盤として、前記グラフィック処理ユニットに前記スチールイメージ圧縮に相当する単位プロセスを割り当てることができる。
【００７８】
この際、スチールイメージ圧縮は、前記変化領域に相当するイメージに対してカラーヒストグラム構成、パレット生成、パレット基盤の原本カラー量子化及びパレット基盤エンコーディング中の一つ以上の過程を含む。
【００７９】
この際、グラフィック処理ユニットは、前記スチールイメージ圧縮に相当するプロセッシング結果を前記中央処理ユニットに伝達できる。
【００８０】
この際、中央処理ユニットは、前記スチールイメージ圧縮に相当するプロセッシング結果を利用して前記圧縮データ集約に相当する単位プロセスを行うことができる。
【００８１】
この際、中央処理ユニットは、前記スチールイメージ圧縮に相当する単位プロセスが前記グラフィック処理ユニットに割り当てられた場合、前記変化領域に相当するイメージデータを前記グラフィック処理ユニットに伝達できる。
【００８２】
この際、キャプチャ部は、前記変化したフレームに相当する画面領域のうち前記変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を前記変化領域としてキャプチャできる。
【００８３】
この際、キャプチャ部は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。
【００８４】
この際、キャプチャ部は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。
【００８５】
また、本発明によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法は、変化したフレームに含まれた変化領域をキャプチャする段階と、前記変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、前記単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、前記グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当て、前記エンコーディングプロセスを行い、前記変化領域をスチールイメージエンコーディングする段階と、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う段階とを含む。
【００８６】
この際、単位プロセスは、前記変化領域に相当するイメージ分析、スチールイメージ圧縮技法の決定、スチールイメージ圧縮及び圧縮データ集約のうちいずれか一つに相当できる。
【００８７】
この際、エンコーディングする段階は、前記イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシングを基盤として、前記グラフィック処理ユニットに前記スチールイメージ圧縮に相当する単位プロセスを割り当てることができる。
【００８８】
この際、スチールイメージ圧縮は、前記変化領域に相当するイメージに対してカラーヒストグラム構成、パレット生成、パレット基盤の原本カラー量子化及びパレット基盤エンコーディング中の一つ以上の過程を含む。
【００８９】
この際、グラフィック処理ユニットは、前記スチールイメージ圧縮に相当するプロセッシング結果を前記中央処理ユニットに伝達できる。
【００９０】
この際、中央処理ユニットは、前記スチールイメージ圧縮に相当するプロセッシング結果を利用して前記圧縮データ集約に相当する単位プロセスを行うことができる。
【００９１】
この際、中央処理ユニットは、前記スチールイメージ圧縮に相当する単位プロセスが前記グラフィック処理ユニットに割り当てられた場合、前記変化領域に相当するイメージデータを前記グラフィック処理ユニットに伝達できる。
【００９２】
この際、キャプチャする段階は、前記変化したフレームに相当する画面領域のうち前記変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を前記変化領域としてキャプチャできる。
【００９３】
この際、キャプチャする段階は、前記ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、前記フレーム変化が少ない区間で前記変化領域をキャプチャできる。
【００９４】
この際、キャプチャする段階は、前記ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、前記フレーム変化が少ない区間を検出できる。
【００９５】
また、本発明のさらに他の実施形態によるクラウドストリーミングサービスシステムは、変化したフレームに含まれた変化領域をキャプチャし、前記変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、前記単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、前記グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当て、前記エンコーディングプロセスを行い、前記変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた前記変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うクラウドストリーミングサーバーと、前記クラウドストリーミングサーバーから前記クラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信する端末とを含む。
【００９６】
また、本発明の課題解決のためのさらに他の手段として、前述した方法を実行させるために媒体に格納されたコンピュータプログラムを提供する。
【発明の効果】
【００９７】
本発明によれば、スチールイメージ基盤クラウドストリーミングサービスの提供時に、状況に合うスチールイメージ圧縮技法を使用することによって、圧縮効率とクラウドストリーミングサービス速度を向上させることができる。
【００９８】
また、本発明は、スチールイメージ基盤クラウドストリーミングサービスの提供時に、イメージタイプに適したスチールイメージ圧縮技法を使用することによって、圧縮効率とクラウドストリーミングサービス速度を向上させることができる。
【００９９】
また、本発明は、スチールイメージ基盤クラウドストリーミングサービスを通じてストリーミング圧縮効率を極大化して同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供できる。
【０１００】
また、本発明は、スチールイメージ圧縮技法を利用したクラウドストリーミングサービスの提供時に、以前フレーム及び現在フレームの変化領域のみに対してスチールイメージ圧縮技法を適用することによって、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供できる。
【０１０１】
また、本発明は、スチールイメージ圧縮技法を利用したクラウドストリーミングサービスの提供時に、以前フレーム及び現在フレームの差分フレームをスキャニング（ｓｃａｎｎｉｎｇ）し、変化領域を決定することによって、スチールイメージ圧縮対象を一層速く検出できる。
【０１０２】
また、本発明は、アプリケーションソースコード及びＭＰＥＧテクスチャ記述子で生成したイメージ特性情報を利用してエンコーディング方式を決定することによって、従来にイメージプロセッシングを行うために必要であったクラウドストリーミングサーバーの資源を節約し、さらに効率的なクラウドストリーミングサーバーを構成できる。
【０１０３】
また、本発明は、イメージ特性情報を基盤としてスチールイメージエンコーディングを行うことによって、イメージプロセッシングに必要なサービス時間を節約し、ユーザに一層迅速にクラウドストリーミングサービスを提供できる。
【０１０４】
また、本発明は、クラウドストリーミングサービスの効率性を向上させることによって、クラウドストリーミングサービス処理費用を節約できる。
【０１０５】
また、本発明は、クラウドストリーミングサービスの提供時に、エンコーディング過程によるプロセス別にエンコーディング処理ユニットを分離してエンコーディングを行うことによって、クラウドストリーミングサーバーの資源使用を節約できる。
【０１０６】
また、本発明は、クラウドストリーミングサービスの提供時に、中央処理ユニットと共にグラフィック処理ユニットを利用してサービスを処理することによって、サーバーの負荷に発生し得る遅延状況を減少させることができる。
【図面の簡単な説明】
【０１０７】
【図１】図１は、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスシステムを示すブロック図である。
【図２】図２は、図１に示されたクラウドストリーミングサーバーの一例を示すブロック図である。
【図３】図３は、クラウドストリーミングシステムの一例を示す図である。
【図４】図４は、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。
【図５】図５は、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスで変化領域を決定する過程を示す図である。
【図６】図６は、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法を示す動作流れ図である。
【図７】図７は、本発明の一実施形態によるクラウドストリーミングサービスシステムを示すブロック図である。
【図８】図８は、図７に示されたクラウドストリーミングサーバーの一例を示すブロック図である。
【図９】図９は、スチールイメージ基盤クラウドストリーミングシステムの一例を示す図である。
【図１０】図１０は、本発明の一実施形態によるクラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。
【図１１】図１１は、本発明の一実施形態によるソース情報を利用したクラウドストリーミングサービス方法を示す動作流れ図である。
【図１２】図１２は、本発明の一実施形態によるソース情報を利用したクラウドストリーミングサービス方法を詳細に示す動作流れ図である。
【図１３】図１３は、本発明の他の実施形態によるクラウドストリーミングサービスシステムを示すブロック図である。
【図１４】図１４は、図１３に示されたクラウドストリーミングサーバーの一例を示すブロック図である。
【図１５】図１５は、スチールイメージ基盤クラウドストリーミングシステムの他の例を示す図である。
【図１６】図１６は、本発明の一実施形態によるエンコーディング処理ユニットを示す図である。
【図１７】図１７は、本発明の他の実施形態によるクラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。
【図１８】図１８は、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法を示す動作流れ図である。
【図１９】図１９は、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法を詳細に示す動作流れ図である。
【図２０】図２０は、本発明のさらに他の実施形態によるクラウドストリーミングサービスシステムを示すブロック図である。
【図２１】図２１は、図２０に示されたクラウドストリーミングサーバーの一例を示すブロック図である。
【図２２】図２２は、スチールイメージ基盤クラウドストリーミングシステムのさらに他の例を示す図である。
【図２３】図２３は、本発明の他の実施形態によるエンコーディング処理ユニットを示す図である。
【図２４】図２４は、本発明のさらに他の実施形態によるクラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。
【図２５】図２５は、本発明の一実施形態によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法を示す動作流れ図である。
【図２６】図２６は、本発明の一実施形態によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法を詳細に示す動作流れ図である。
【発明を実施するための形態】
【０１０８】
以下、本発明の好ましい実施形態を添付の図面を参照して詳しく説明する。但し、下記の説明及び添付の図面において本発明の要旨を不明にすることができる公知機能または構成に対する詳細な説明は省略する。なお、図面全体にわたって、同一の構成要素は、できるだけ同一の参照符号で示していることに留意しなければならない。
【０１０９】
以下で説明される本明細書及び請求範囲に使用された用語や単語は、通常的または辞書的な意味に限定して解釈されてはならず、発明者は、自分の発明を最も最善の方法で説明するための用語の概念として適切に定義できるという原則に基づいて、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。また、第１、第２などの用語は、多様な構成要素を説明するために使用するものであって、一つの構成要素を他の構成要素から区別する目的だけで使用され、前記構成要素を限定するために使用されない。
【０１１０】
以下では、本発明の実施形態による端末は、通信網に連結され、クラウドコンピューティングシステム基盤でコンテンツをアップロードまたはダウンロードできる移動通信端末を代表的な例として説明するが、端末は、移動通信端末に限定されたものではなく、すべての情報通信機器、マルチメディア端末、有線端末、固定型端末及びＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）端末などの多様な端末に適用され得る。また、端末は、携帯電話、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、ＭＩＤ（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）、デスクトップ（Ｄｅｓｋｔｏｐ）、タブレットパソコン（Ｔａｂｌｅｔ  ＰＣ）、ノートパソコン（Ｎｏｔｅ  ｂｏｏｋ）、ネットブック（Ｎｅｔ  Ｂｏｏｋ）及び情報通信機器などのような多様な移動通信仕様を有するモバイル（Ｍｏｂｉｌｅ）端末であるとき、有利に活用され得る。
【０１１１】
以下、本発明の実施形態によるクラウドコンピュータ基盤のデータ管理システムについて説明する。以下では、コンテンツ共有は、コンテンツ伝送を含む概念であることができる。また、データ管理は、データ伝送を含む概念であることができる。
【０１１２】
図１は、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスシステムを示すブロック図である。
【０１１３】
図１を参照すれば、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスシステムは、クラウドストリーミングサーバー１１０、端末装置１２０−１、…、１２０−Ｎ及びネットワーク１３０を含む。
【０１１４】
クラウドストリーミングサーバー１１０は、端末装置１２０−１、…、１２０−Ｎからクラウドストリーミングサービス要請を受けてアプリケーションを実行し、アプリケーション実行結果に該当する実行結果画面を端末装置１２０−１、…、１２０−Ｎに提供する。
【０１１５】
クラウドストリーミングサービスは、基本的に、ビデオコーデック基盤のクラウドストリーミング技法を適用するので、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングするクラウドストリーミングシステムを提供する。
【０１１６】
クラウドストリーミングサーバー１１０は、以前フレームと現在フレームを比較し、以前フレームから変化した現在フレームの変化領域を決定し、変化領域をキャプチャする。この際、端末装置１２０−１、…、１２０−Ｎに伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、端末装置１２０−１、…、１２０−Ｎから発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。
【０１１７】
また、クラウドストリーミングサーバー１１０は、変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差中の一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ  ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする。この際、自然イメージ（ｎａｔｕｒａｌ  ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ  ｉｍａｇｅ）のうちいずれか一つのイメージタイプによってスチールイメージ圧縮技法を選択できる。この際、変化領域に相当するイメージのカラー個数が既定の基準個数を超過する場合、イメージタイプを自然イメージとして決定できる。この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下の場合、変化領域に相当するイメージ画素値の標準偏差を考慮してイメージタイプを決定できる。この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下であり、変化領域に相当するイメージ画素値の標準偏差が既定の基準値以下の場合、イメージタイプを合成イメージとして決定できる。この際、変化領域に相当するイメージ画素値の標準偏差が既定の基準値を超過する場合、イメージタイプを自然イメージとして決定できる。この際、イメージタイプによってＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域をスチールイメージエンコーディングできる。
【０１１８】
また、クラウドストリーミングサーバー１１０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。
【０１１９】
端末装置１２０−１、…、１２０−Ｎは、クラウドストリーミングサーバー１１０からクラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信し、ユーザに提供する。
【０１２０】
端末装置１２０−１、…、１２０−Ｎは、それぞれ通信網に連結され、クラウドコンピューティングシステムを基盤としてアプリケーションを実行できる装置であって、移動通信端末に限定されるものではなく、すべての情報通信機器、マルチメディア端末、有線端末、固定型端末及びＩＰ（Ｉｎｔｅｒｎｅｔ  Pｒｏｔｏｃｏｌ）端末などの多様な端末であることができる。また、端末装置１２０−１、…、１２０−Ｎは、それぞれ携帯電話、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、ＭＩＤ（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）、デスクトップ（Ｄｅｓｋｔｏｐ）、タブレットパソコン（Ｔａｂｌｅｔ  PＣ）、ノートパソコン（Ｎｏｔｅ  ｂｏｏｋ）、ネットブック（Ｎｅｔ  Ｂｏｏｋ）、個人携帯用情報端末（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートテレビ及び情報通信機器などのような多様な移動通信仕様を有するモバイル（Ｍｏｂｉｌｅ）端末であることができる。
【０１２１】
ネットワーク１３０は、クラウドストリーミングサーバー１１０及び端末装置１２０−１、…、１２０−Ｎの間にデータを伝達する通路を提供するもので、従来利用されるネットワーク及び今後開発可能なネットワークをすべて包括する概念である。例えば、ネットワーク１３０は、限定された地域内で各種情報装置の通信を提供する有線・無線近距離通信網、移動体相互間及び移動体と移動体外部との通信を提供する移動通信網、衛星を利用して地球局と地球局間通信を提供する衛星通信網であるか、有線・無線通信網のうちいずれか一つであるか、二つ以上の結合よりなることができる。なお、ネットワーク１３０の伝送方式標準は、従来の伝送方式標準に限定されるものではなく、今後開発されるすべての伝送方式標準を含むことができる。また、図１で、クラウドストリーミングサーバー１１０と端末装置１２０−１、…、１２０−Ｎとの間に使用されるネットワークは、端末装置１２０−１、…、１２０−Ｎの相互間に使用されるネットワークと異なるものであってもよく、同じものであってもよい。
【０１２２】
図２は、図１に示されたクラウドストリーミングサーバー１１０の一例を示すブロック図である。
【０１２３】
図２を参照すれば、図１に示されたクラウドストリーミングサーバー１１０は、変化領域決定部２０５、キャプチャ部２１０、エンコーディング部２２０、センディング部２３０及び格納部２４０を含む。
【０１２４】
クラウドストリーミングサービスは、基本的に、ビデオコーデック基盤のクラウドストリーミング技法を適用するので、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングするクラウドストリーミングサーバー１１０を提供する。
【０１２５】
変化領域決定部２０５は、以前フレームと現在フレームを比較し、以前フレームから変化した現在フレームの変化領域を決定する。
【０１２６】
ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間変化が大きくない場合には、以前フレームと比較して変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。
【０１２７】
この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域を変化領域として決定できる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域として決定できる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。
【０１２８】
この際、以前フレーム及び現在フレームの差分フレームを算出し、差分フレームを利用して変化領域を決定できる。この際、差分フレームをスキャニング（ｓｃａｎｎｉｎｇ）し、以前フレームから変化した現在フレームの変化ピクセルを感知し、変化領域を決定できる。この際、差分フレームを水平スキャニング（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎｎｉｎｇ）及び垂直スキャニング（ｖｅｒｔｉｃａｌ  ｓｃａｎｎｉｎｇ）して感知される変化ピクセルを含む変化領域を決定できる。例えば、差分フレームの上端から下方向に進行しつつ、行単位で水平スキャニング（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎｎｉｎｇ）し、変化ピクセルが感知される場合、当該行に相当するｙ０要素を獲得し、下端から上方向に進行しつつ、行単位で水平スキャニングして変化ピクセルが感知される場合、当該行に相当するｙ１要素を獲得し、左側端から右側方向に進行しつつ、列単位で垂直スキャニング（ｖｅｒｔｉｃａｌ  ｓｃａｎｎｉｎｇ）し、変化ピクセルが感知される場合、当該列に相当するｘ０要素を獲得し、右側端から左側方向に進行すると、列単位で垂直スキャニングし、変化ピクセルが感知される場合、当該列に相当するｘ１要素を獲得し（ｘ０、ｙ０）、（ｘ１、ｙ０）、（ｘ１、ｙ１）及び（ｘ０、ｙ１）、４個のピクセルを頂点とする矩形領域を変化領域として決定できる。
【０１２９】
キャプチャ部２１０は、変化領域をキャプチャする。この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。
【０１３０】
この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したとき、フレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。
【０１３１】
エンコーディング部２２０は、変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差中の一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ  ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする。例えば、キャプチャされた変化領域のイメージタイプが一つの写真や絵のようなタイプであるか、または複数のイメージが結合されて作られたイメージであることができるから、イメージタイプを決定し、それぞれのイメージタイプに適したスチールイメージ圧縮技法を選択し、スチールイメージエンコーディングを行うことによって、変化領域の圧縮効率を上昇させることができる。
【０１３２】
この際、自然イメージ（ｎａｔｕｒａｌ  ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ  ｉｍａｇｅ）のうちいずれか一つのイメージタイプによってスチールイメージ圧縮技法を選択できる。自然イメージは、自然的に発生した客体のイメージを意味できる。例えば、一つの写真や絵のような光学イメージだけでなく、Ｘ線と赤外線のような異なる波長のイメージを意味することもできる。合成イメージは、自然イメージとは異なって、コンピュータや人為的手段を介して生成されるか合成されたイメージを意味できる。
【０１３３】
この際、変化領域に相当するイメージのカラー個数が既定の基準個数を超過する場合、イメージタイプを自然イメージとして決定できる。自然イメージの場合、自然的に発生した客体に対するイメージであることができるため、イメージを表現するカラーに適用された明度と彩度の変化が合成イメージより精巧なことがある。したがって、自然イメージを示すために構成された画素が表現するカラーの個数が、合成イメージより多様であるため、変化領域に相当するイメージのカラー個数を考慮して変化領域に相当するイメージタイプを決定できる。例えば、既定の基準個数を１０万個に設定したら、変化領域に相当するイメージを構成するカラーの個数が１０万個を超過する場合には、イメージタイプを自然イメージとして決定し、１０万個以下の場合には、イメージタイプを合成イメージとして決定できる。
【０１３４】
この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下の場合、変化領域に相当するイメージ画素値の標準偏差を考慮してイメージタイプを決定できる。画素値の標準偏差は、変化領域に相当するイメージを構成する画素が示すカラー値の散布度（ばらつき）であることができる。もしカラー値の散布度が０であれば、すべてのカラーが同じ値という意味であることができるため、カラー値の散布度、すなわち画素値の標準偏差が小さいということは、イメージを構成するカラーの個数が少ないという意味と相通できる。したがって、このようなイメージ画素値の標準偏差を考慮して変化領域に相当するイメージのイメージタイプを決定できる。
【０１３５】
この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下であり、変化領域に相当するイメージ画素値の標準偏差が既定の基準値以下である場合、イメージタイプを合成イメージとして決定できる。例えば、イメージのカラー個数に対して既定の基準個数が１０万個であり、イメージ画素値の標準偏差に対して既定の基準値がＮであると仮定できる。この際、変化領域に相当するイメージを構成するカラーの個数が１０万個以下であり、且つ変化領域に相当するイメージを構成する画素が示すカラー値の散布度がＮより小さい値である場合、変化領域に相当するイメージのイメージタイプを合成イメージとして決定できる。
【０１３６】
この際、変化領域に相当するイメージ画素値の標準偏差が既定の基準値を超過する場合、イメージタイプを自然イメージとして決定できる。例えば、変化領域を相当するイメージ画素値の標準偏差が既定の基準値を超過すると、その分、イメージを構成するカラーの個数が多いという意味であることができる。したがって、イメージ画素値の標準偏差が既定の基準値を超過すると、変化領域に相当するイメージが多いカラーで構成された自然イメージと判断できる。
【０１３７】
この際、イメージタイプによってＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域をスチールイメージエンコーディングできる。
【０１３８】
ＰＮＧスチールイメージ圧縮技法は、エンコーディング時にイメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下する技法であり、ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行うときにシステム負荷を多く発生させることができる技法である。また、ＪＰＥＧスチールイメージ圧縮技法は、一ピクセルの周囲に互いに類似な色が集まっている自然イメージを圧縮したとき、圧縮効率がさらに効果的である。したがって、変化領域に相当するイメージタイプが自然イメージである場合には、ＪＰＥＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。
【０１３９】
また、変化領域が合成イメージの場合には、ＪＰＥＧスチールイメージ圧縮技法を使用しても、自然イメージのように圧縮効率を期待しにくいことがある。したがって、変化領域に相当するイメージのイメージタイプが合成イメージの場合には、イメージの画質を高めることができるＰＮＧスチールイメージ圧縮技法を選択し、変化領域のスチールイメージエンコーディングを行うことができる。
【０１４０】
また、変化領域が合成イメージであり、変化領域のサイズが大きいため、データが大きい場合には、データのサイズを低減できるパレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法を利用して変化領域をエンコーディングできる。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時にイメージのデータサイズが減少し、伝送速度は保証できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。
【０１４１】
センディング部２３０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。エンコーディングを完了することによって、圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。
【０１４２】
格納部２４０は、前述したように、本発明の実施形態によるクラウドストリーミングサービス過程で発生する多様な情報を格納する。
【０１４３】
実施形態によって、格納部２４０は、クラウドストリーミングサーバー１１０と独立的に構成され、クラウドストリーミングサービスのための機能を支援できる。この際、格納部２４０は、別途の大容量ストレージで動作でき、動作実行のための制御機能を含む。
【０１４４】
また、前述したように構成されるクラウドストリーミングサーバー１１０は、一つ以上のサーバーで具現され得る。
【０１４５】
一方、クラウドストリーミングサーバー１１０は、メモリが搭載され、その装置内で情報を格納できる。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであることができ、他の具現例の場合、メモリは、揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、あるいはどんな他の大容量格納装置を含むこともできる。
【０１４６】
図３は、クラウドストリーミングシステムの一例を示す図である。
【０１４７】
図３を参照すれば、サーバー３００では、ユーザの端末装置から発生するユーザ入力（Ｕｓｅｒ  Ｉｎｐｕｔ）に相当するプログラム画面３１０を実行させて、キャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）を行うことができる。この際、サーバー３００は、クラウドストリーミングサーバーとウェブアプリケーションサーバーを総称するサーバーであることができる。また、プログラム画面３１０を実行させてキャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）を行う過程は、図２に示されたキャプチャ部２１０の動作流れと相当できる。
【０１４８】
サーバー３００は、キャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）されたプログラム画面３１０をスチールイメージ圧縮技法を用いてエンコーディング（Ｉｍａｇｅ  Ｅｎｃｏｄｉｎｇ）３２０できる。この際、エンコーディング（Ｉｍａｇｅ  Ｅｎｃｏｄｉｎｇ）３２０を行う過程は、図２に示されたエンコーディング部２２０の動作流れと相当できる。
【０１４９】
この際、以前フレームと現在フレームを比較し、前記以前フレームから変化した前記現在フレームの変化領域のみをキャプチャできる。また、変化した領域のイメージタイプを考慮してＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を選択し、選択したスチールイメージ圧縮技法に変化した領域をエンコーディングできる。
【０１５０】
その後、サーバー３００は、スチールイメージエンコーディングされた変化した領域をユーザの端末装置にストリーミング（Ｓｔｒｅａｍｉｎｇ）３３０し、スチールイメージ基盤のクラウドストリーミングサービスを提供できる。この際、ストリーミング（Ｓｔｒｅａｍｉｎｇ）３３０を行う過程は、図２に示されたセンディング部２３０の動作流れと相当できる。
【０１５１】
その後、ユーザの端末装置では、受信したデータをレンダリング（Ｉｍａｇｅ  Ｒｅｎｄｅｒｉｎｇ）３４０することによって、ユーザ入力（Ｕｓｅｒ  Ｉｎｐｕｔ）によってアプリケーションで実行されたプログラム画面３１０がまるでユーザの端末装置で実行されたもののように、ユーザにディスプレイできる。
【０１５２】
図４は、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。
【０１５３】
図４を参照すれば、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスは、第１フレーム４１０と第２フレーム４２０を比較して、変化した変化領域４３０のみをキャプチャしてエンコーディングできる。
【０１５４】
例えば、第１フレーム４１０と第２フレーム４２０でＢ、Ｃ、Ｄ及びＥの領域をメニューディスプレイと仮定したとき、第１フレーム４１０では、Ｃ領域にカーソルが位置することによって、Ｃ領域が他のＢ、Ｄ、及びＥ領域と区別され得るように陰影処理され、第２フレーム４２０では、Ｃ領域からＥ領域にカーソルが移動することによって、Ｅ領域が他のＢ、Ｃ及びＤ領域と区別され得るように陰影処理され得る。
【０１５５】
この際、第１フレーム４１０と第２フレーム４２０を比較したとき、変化した領域であるＣとＥ領域を含む矩形領域Ｃ、Ｄ及びＥのみを変化領域４３０としてキャプチャできる。また、変化領域４３０のサイズと変化領域４３０に相当するイメージ性質を考慮してスチールイメージ圧縮技法を選択し、選択したスチールイメージ圧縮技法を利用して変化領域４３０をエンコーディングできる。
【０１５６】
このように第１フレーム４１０と第２フレーム４２０は、確かに変化があるフレームであって、従来のクラウドストリーミングサービス時には、二つのフレームを含んでフレームレートに相当する数のフレームをすべてキャプチャしてエンコーディングを行わなければならない。しかし、スチールイメージ圧縮技法を利用したクラウドストリーミングサービスは、変化領域４３０のみをキャプチャしてスチールイメージ圧縮技法でエンコーディングするため、不要に多くのフレームとフレームの画面全体をキャプチャする従来のクラウドストリーミングサービス方法よりサービスの効率性を向上させることができる。
【０１５７】
図５は、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスで変化領域を決定する過程を示す図である。
【０１５８】
図５を参照すれば、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービスは、第１フレーム４１０及び第２フレーム４２０の差分フレーム５１０を利用して変化ピクセルを含み、且つ最小広さを有する矩形領域を変化領域４３０として決定する。
【０１５９】
例えば、差分フレーム５１０の上端から下方向に進行しつつ、行単位で水平スキャニング（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎｎｉｎｇ）し、変化ピクセルが感知される場合、当該行に相当するｙ０要素を獲得し、下端から上方向に進行しつつ、行単位で水平スキャニングし、変化ピクセルが感知される場合、当該行に相当するｙ１要素を獲得し、左側端から右側方向に進行しつつ、列単位で垂直スキャニング（ｖｅｒｔｉｃａｌ  ｓｃａｎｎｉｎｇ）し、変化ピクセルが感知される場合、当該列に相当するｘ０要素を獲得し、右側端から左側方向に進行すると、列単位で垂直スキャニングし、変化ピクセルが感知される場合、当該列に相当するｘ１要素を獲得し（ｘ０、ｙ０）、（ｘ１、ｙ０）、（ｘ１、ｙ１）及び（ｘ０、ｙ１）、４個のピクセルを頂点とする矩形領域を変化領域４３０として決定できる。
【０１６０】
図６は、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法を示す動作流れ図である。
【０１６１】
図６を参照すれば、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法は、以前フレームと現在フレームを比較し、以前フレームから変化した現在フレームの変化領域を決定する（Ｓ６０５）。
【０１６２】
ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間変化が大きくない場合には、以前フレームと比較して変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。
【０１６３】
この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域を変化領域として決定できる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域として決定できる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。
【０１６４】
この際、以前フレーム及び現在フレームの差分フレームを算出し、差分フレームを利用して変化領域を決定できる。この際、差分フレームをスキャニング（ｓｃａｎｎｉｎｇ）し、以前フレームから変化した現在フレームの変化ピクセルを感知し、変化領域を決定できる。この際、差分フレームを水平スキャニング（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎｎｉｎｇ）及び垂直スキャニング（ｖｅｒｔｉｃａｌ  ｓｃａｎｎｉｎｇ）して感知される変化ピクセルを含む変化領域を決定できる。例えば、差分フレームの上端から下方向に進行しつつ、行単位で水平スキャニング（ｈｏｒｉｚｏｎｔａｌ  ｓｃａｎｎｉｎｇ）し、変化ピクセルが感知される場合、当該行に相当するｙ０要素を獲得し、下端から上方向に進行しつつ、行単位で水平スキャニングして変化ピクセルが感知される場合、当該行に相当するｙ１要素を獲得し、左側端から右側方向に進行しつつ、列単位で垂直スキャニング（ｖｅｒｔｉｃａｌ  ｓｃａｎｎｉｎｇ）して変化ピクセルが感知される場合、当該列に相当するｘ０要素を獲得し、右側端から左側方向に進行すると、列単位で垂直スキャニングして変化ピクセルが感知される場合、当該列に相当するｘ１要素を獲得し（ｘ０、ｙ０）、（ｘ１、ｙ０）、（ｘ１、ｙ１）及び（ｘ０、ｙ１）、４個のピクセルを頂点とする矩形領域を変化領域として決定できる。
【０１６５】
また、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法は、変化領域をキャプチャする（Ｓ６１０）。
【０１６６】
この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。
【０１６７】
この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したとき、フレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。
【０１６８】
また、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法は、変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差中の一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ  ｉｍａｇｅ）圧縮技法を選択し、スチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする（Ｓ６２０）。例えば、キャプチャされた変化領域のイメージタイプが一つの写真や絵のようなタイプであるか、または複数のイメージが結合されて作られたイメージであることができるため、イメージタイプを決定し、それぞれのイメージタイプに適したスチールイメージ圧縮技法を選択してスチールイメージエンコーディングを行うことによって、変化領域の圧縮効率を上昇させることができる。
【０１６９】
この際、自然イメージ（ｎａｔｕｒａｌ  ｉｍａｇｅ）及び合成イメージ（ｓｙｎｔｈｅｔｉｃ  ｉｍａｇｅ）のうちいずれか一つのイメージタイプによってスチールイメージ圧縮技法を選択できる。自然イメージは、自然的に発生した客体のイメージを意味できる。例えば、一つの写真や絵のような光学イメージだけでなく、Ｘ線と赤外線のような異なる波長のイメージを意味することもできる。合成イメージは、自然イメージとは異なって、コンピュータや人為的手段を通じて生成されるか、合成されたイメージを意味できる。
【０１７０】
この際、変化領域に相当するイメージのカラー個数が既定の基準個数を超過する場合、イメージタイプを自然イメージとして決定できる。自然イメージの場合、自然的に発生した客体に対するイメージであることができるため、イメージを表現するカラーに適用された明度と彩度の変化が合成イメージより精巧なことがある。したがって、自然イメージを示すために構成された画素が表現するカラーの個数が、合成イメージより多様であるため、変化領域に相当するイメージのカラー個数を考慮して変化領域に相当するイメージタイプを決定できる。例えば、既定の基準個数を１０万個に設定したら、変化領域に相当するイメージを構成するカラーの個数が１０万個を超過する場合には、イメージタイプを自然イメージとして決定し、１０万個以下の場合には、イメージタイプを合成イメージとして決定できる。
【０１７１】
この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下の場合、変化領域に相当するイメージ画素値の標準偏差を考慮してイメージタイプを決定できる。画素値の標準偏差は、変化領域に相当するイメージを構成する画素が示すカラー値の散布度であることができる。もしカラー値の散布度が０であれば、すべてのカラーが同じ値という意味であることができるため、カラー値の散布度、すなわち画素値の標準偏差が小さいということは、イメージを構成するカラーの個数が少ないという意味と相通できる。したがって、このようなイメージ画素値の標準偏差を考慮して変化領域に相当するイメージのイメージタイプを決定できる。
【０１７２】
この際、変化領域に相当するイメージのカラー個数が既定の基準個数以下であり、変化領域に相当するイメージ画素値の標準偏差が既定の基準値以下である場合、イメージタイプを合成イメージとして決定できる。例えば、イメージのカラー個数に対して既定の基準個数が１０万個であり、イメージ画素値の標準偏差に対して既定の基準値がＮであると仮定できる。この際、変化領域に相当するイメージを構成するカラーの個数が１０万個以下であり、且つ変化領域に相当するイメージを構成する画素が示すカラー値の散布度がＮより小さい値である場合、変化領域に相当するイメージのイメージタイプを合成イメージとして決定できる。
【０１７３】
この際、変化領域に相当するイメージ画素値の標準偏差が既定の基準値を超過する場合、イメージタイプを自然イメージとして決定できる。例えば、変化領域を相当するイメージ画素値の標準偏差が既定の基準値を超過すると、その分、イメージを構成するカラーの個数が多いという意味であることができる。したがって、イメージ画素値の標準偏差が既定の基準値を超過すると、変化領域に相当するイメージが多いカラーで構成された自然イメージと判断できる。
【０１７４】
この際、イメージタイプによってＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つのスチールイメージ圧縮技法を利用して変化領域をスチールイメージエンコーディングできる。
【０１７５】
ＰＮＧスチールイメージ圧縮技法は、エンコーディング時にイメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下する技法であり、ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行うとき、システム負荷を多く発生させることができる技法である。また、ＪＰＥＧスチールイメージ圧縮技法は、一ピクセルの周囲に互いに類似な色が集まっている自然イメージを圧縮したとき、圧縮効率がさらに効果的である。したがって、変化領域に相当するイメージタイプが自然イメージの場合には、ＪＰＥＧスチールイメージ圧縮技法で変化領域をエンコーディングできる。
【０１７６】
また、変化領域が合成イメージの場合には、ＪＰＥＧスチールイメージ圧縮技法を使用しても、自然イメージのように圧縮効率を期待しにくいことがある。したがって、変化領域に相当するイメージのイメージタイプが合成イメージの場合には、イメージの画質を高めることができるＰＮＧスチールイメージ圧縮技法を選択し、変化領域のスチールイメージエンコーディングを行うことができる。
【０１７７】
また、変化領域が合成イメージであり、変化領域のサイズが大きくてデータが大きい場合には、データのサイズを低減できるパレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法を利用して変化領域をエンコーディングできる。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時にイメージのデータサイズが減少し、伝送速度は保証できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。
【０１７８】
また、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ６３０）。エンコーディングを完了することによって圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。
【０１７９】
また、図５には図示していないが、本発明の一実施形態によるスチールイメージ圧縮技法を利用したクラウドストリーミングサービス方法は、本発明の一実施形態によるクラウドストリーミングサービス過程で発生する多様な情報を格納する。
【０１８０】
図７は、本発明の一実施形態によるクラウドストリーミングサービスシステムを示すブロック図である。
【０１８１】
図７を参照すれば、本発明の一実施形態によるクラウドストリーミングサービスシステムは、クラウドストリーミングサーバー７１０、端末装置７２０−１、…、７２０−Ｎ及びネットワーク７３０を含む。
【０１８２】
クラウドストリーミングサーバー７１０は、端末装置７２０−１、…、７２０−Ｎからクラウドストリーミングサービス要請を受けてアプリケーションを実行し、アプリケーション実行結果に該当する実行結果画面を端末装置７２０−１、…、７２０−Ｎに提供する。
【０１８３】
クラウドストリーミングサービスは、基本的に、ビデオコーデック基盤のクラウドストリーミング技法を適用するため、メニューディスプレイのような静的な画面に対してクラウドストリーミング技法を適用する場合にも、不要に画面全体をキャプチャしてビデオコーデックでエンコーディングする非効率的な方法でクラウドストリーミングサービスを行った。また、イメージに対するエンコーディングを行うとき、サーバーの資源を活用したイメージプロセッシング過程を行ってエンコーディング方式を決定できるため、サーバーの負荷量を増加させる原因になることができた。このような問題点を解決するために、本発明は、メニューディスプレイ画面のようにフレーム間変化が大きくない場合には、クラウドストリーミングサーバーがフレーム間変化を検出し、検出された変化領域のみをスチールイメージ圧縮技法でエンコーディングし、且つ変化領域に相当するイメージ特性情報を利用してエンコーディング方式を決定するクラウドストリーミングシステムを提供する。
【０１８４】
クラウドストリーミングサーバー７１０は、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャする。この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。この際、端末装置７２０−１、…、７２０−Ｎに伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、端末装置７２０−１、…、７２０−Ｎから発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。
【０１８５】
また、クラウドストリーミングサーバー７１０は、変化領域に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を決定し、エンコーディング方式を利用して変化領域をスチールイメージエンコーディングする。この際、イメージ特性情報は、アプリケーションソースコードを基盤として生成されるか、ＭＰＥＧテクスチャ記述子を利用して生成され得る。この際、イメージ特性情報が存在する場合、イメージ特性情報を基盤としてエンコーディング方式を決定し、イメージ特性情報が存在しない場合、変化領域に相当するイメージを分析してエンコーディング方式を決定できる。この際、エンコーディング方式は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。この際、変化領域に相当するイメージを分析して変化領域を一般領域及び絵領域のうちいずれか一つに区分し、一般領域のイメージプロセッシング結果及び絵領域のイメージタイプのうち少なくとも一つ以上を考慮してエンコーディング方式を決定できる。この際、イメージタイプは、自然イメージ及び合成イメージのうちいずれか一つに相当できる。
【０１８６】
また、クラウドストリーミングサーバー７１０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。
【０１８７】
端末装置７２０−１、…、７２０−Ｎは、クラウドストリーミングサーバー７１０からクラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信し、ユーザに提供する。
【０１８８】
端末装置７２０−１、…、７２０−Ｎは、それぞれ通信網に連結され、クラウドコンピューティングシステムを基盤としてアプリケーションを実行できる装置であって、移動通信端末に限定されたのではなくて、すべての情報通信機器、マルチメディア端末、有線端末、固定型端末及びＩＰ（Ｉｎｔｅｒｎｅｔ  Pｒｏｔｏｃｏｌ）端末などの多様な端末であることができる。また、端末装置７２０−１、…、７２０−Ｎは、それぞれ携帯電話、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、ＭＩＤ（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）、デスクトップ（Ｄｅｓｋｔｏｐ）、タブレットパソコン（Ｔａｂｌｅｔ  PＣ）、ノートパソコン（Ｎｏｔｅ  ｂｏｏｋ）、ネットブック（Ｎｅｔ  Ｂｏｏｋ）、個人携帯用情報端末（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートテレビ及び情報通信機器などのような多様な移動通信仕様を有するモバイル（Ｍｏｂｉｌｅ）端末であることができる。
【０１８９】
ネットワーク７３０は、クラウドストリーミングサーバー７１０及び端末装置７２０−１、…、７２０−Ｎの間にデータを伝達する通路を提供するものであって、従来利用されるネットワーク及び今後開発可能なネットワークをすべて包括する概念である。例えば、ネットワーク７３０は、限定された地域内で各種情報装置の通信を提供する有線・無線近距離通信網、移動体相互間及び移動体と移動体外部との通信を提供する移動通信網、衛星を利用して地球局と地球局間の通信を提供する衛星通信網であるか、有線・無線通信網のうちいずれか一つであるか、二つ以上の結合よりなることができる。なお、ネットワーク７３０の伝送方式標準は、従来の伝送方式標準に限定されるものではなく、今後開発されるすべての伝送方式標準を含むことができる。また、図７で、クラウドストリーミングサーバー７１０と端末装置７２０−１、…、７２０−Ｎとの間に使用されるネットワークは、端末装置７２０−１、…、７２０−Ｎ相互間に使用されるネットワークと異なってもよく、同一であってもよい。
【０１９０】
図８は、図７に示されたクラウドストリーミングサーバーの一例を示すブロック図である。
【０１９１】
図８を参照すれば、図７に示されたクラウドストリーミングサーバー７１０は、キャプチャ部８１０、エンコーディング部８２０、センディング部８３０及び格納部８４０を含む。
【０１９２】
キャプチャ部８１０は、変化したフレームに含まれた変化領域をキャプチャする。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間変化が大きくない場合には、以前フレームと比較して変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。
【０１９３】
この際、変化したフレームに相当する画面領域のうち変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。
【０１９４】
この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。
【０１９５】
この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したときにフレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。
【０１９６】
エンコーディング部８２０は、変化領域に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を決定し、所定のエンコーディング方式を利用して変化領域をスチールイメージエンコーディングする。例えば、エンコーディング方式は、変化領域に相当するイメージの特性によって決定され得、このようなイメージの特性は、イメージプロセッシングを通じて分析した結果に基づいて抽出され得る。しかし、イメージプロセッシングを行うためには、クラウドストリーミングサーバー７１０の資源を使用して行われるため、システムの負荷を増加させる原因になり得る。したがって、既に変化領域に相当するイメージの特性に相当する情報を含んでいるイメージ特性情報が存在すると、この情報を利用してエンコーディング方式を決定することによって、クラウドストリーミングサーバー７１０の資源を節約できる。
【０１９７】
この際、イメージ特性情報は、アプリケーションソースコードを基盤として生成されるか、ＭＰＥＧテクスチャ記述子を利用して生成され得る。
【０１９８】
アプリケーションソースコードやＭＰＥＧテクスチャ記述子には、ユーザの要請によって出力されるアプリケーション結果画面に対する構成情報やアプリケーション結果画面を構成している構成要素に対する特徴を把握できる記述子が含まれることができる。例えば、アプリケーションソースコードの場合には、ＪＰＧ、ＧＩＦ及びＰＮＧのように、変化領域に相当するイメージファイルの拡張子や、ｈｅｉｇｈｔ及びｗｉｄｔｈなどのコマンドを利用したイメージのサイズに相当する特徴を抽出できる。また、ＭＰＥＧテクスチャ記述子の場合には、カラー、輪郭、客体やカメラの動きなどと共に重要なビジュアル特徴を扱うＭＰＥＧ−７標準ビジュアル分野の質感記述子などを利用してイメージ特性情報を生成できる。
【０１９９】
また、イメージ特性情報は、該当するフレーム全体領域に対する特性及び構成情報であることができ、またはフレームのうち変化領域に対する特性及び構成情報であるか、または変化領域のうち一部領域、すなわち一般領域や絵領域に対する特性及び構成情報であることができる。
【０２００】
したがって、このようなイメージ特性情報を利用することができたら、変化領域に相当するイメージを分析することなく、イメージサイズ、イメージ解像度及びイメージタイプなどを含む多様な特性を容易に抽出できる。
【０２０１】
この際、イメージ特性情報が存在する場合、イメージ特性情報を基盤としてエンコーディング方式を決定し、イメージ特性情報が存在しない場合、変化領域に相当するイメージを分析してエンコーディング方式を決定できる。例えば、変化領域に相当するイメージ特性情報が存在すると仮定したら、イメージ特性情報を利用して変化領域に相当するイメージのサイズ、イメージ解像度及びイメージタイプなどのイメージ特性を抽出できる。このように抽出されたイメージ特性を通じてエンコーディング方式を決定できる。また、イメージ特性情報が存在しない場合には、イメージプロセッシング過程を行うことによって変化領域に相当するイメージに対してイメージのサイズ、イメージ解像度及びイメージタイプなどのイメージ特性を抽出できる。
【０２０２】
この際、イメージ特性情報から抽出するか、イメージプロセッシングを通じて抽出されるイメージの特性は、イメージのサイズ、イメージ解像度及びイメージタイプを除いて多様な種類が存在し得る。
【０２０３】
この際、エンコーディング方式は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。ＰＮＧスチールイメージ圧縮技法は、エンコーディング時にイメージの画質は良いが、データのサイズが大きくなって、伝送網の帯域幅が低い場合には、伝送速度が低下することがある。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時にイメージのデータサイズが減少し、伝送速度は保証できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行うとき、システム負荷を多く発生させることができる。
【０２０４】
この際、変化領域に相当するイメージを分析し、変化領域を一般領域及び絵領域のうちいずれか一つに区分し、一般領域のイメージプロセッシング結果及び絵領域のイメージタイプのうち少なくとも一つ以上を考慮してエンコーディング方式を決定できる。例えば、絵領域は、ＪＰＥＧ、ＰＮＧ及びＧＩＦのようなイメージ形式に相当するファイルで構成された領域であることができ、一般領域は、変化領域のうち絵領域を除いた領域であると見られる。したがって、絵領域の場合には、もうイメージ形式を基盤として特性が付与された状態であり、一般領域の場合には、一般領域に相当する領域をキャプチャされたイメージと判断したとき、イメージプロセッシングを通じてどんな特性に属するかを判断できる。
【０２０５】
この際、イメージタイプは、自然イメージ及び合成イメージのうちいずれか一つに相当できる。自然イメージは、一つの写真や絵のようなイメージを意味でき、合成イメージは、複数のイメージを結合して作られたイメージであることができる。
【０２０６】
また、イメージタイプが自然イメージの場合には、ＪＰＥＧエンコーディング方式を利用してエンコーディングする場合に圧縮効率がさらに効果的であり、イメージタイプが合成イメージの場合には、データのサイズを低減できるパレットＰＮＧエンコーディング方式を利用してエンコーディングすることが効果的である。
【０２０７】
センディング部８３０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。エンコーディングを完了することによって圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。
【０２０８】
格納部８４０は、前述したように、本発明の実施形態によるクラウドストリーミングサービス過程で発生する多様な情報を格納する。
【０２０９】
実施形態によって、格納部８４０は、クラウドストリーミングサーバー７１０と独立的に構成され、クラウドストリーミングサービスのための機能を支援できる。この際、格納部８４０は、別途の大容量ストレージとして動作でき、動作実行のための制御機能を含むことができる。
【０２１０】
また、前述したように構成されるクラウドストリーミングサーバー７１０は、一つ以上のサーバーで具現され得る。
【０２１１】
一方、クラウドストリーミングサーバー７１０は、メモリが搭載され、その装置内で情報を格納できる。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであることができ、他の具現例の場合、メモリは、不揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、あるいは他のいかなる大容量格納装置を含むこともできる。
【０２１２】
図９は、スチールイメージ基盤クラウドストリーミングシステムの一例を示す図である。
図９を参照すれば、サーバー９００では、ユーザの端末装置から発生するユーザ入力（Ｕｓｅｒ  Ｉｎｐｕｔ）に相当するプログラム画面９１０を実行させてキャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）を行うことができる。この際、サーバー９００は、クラウドストリーミングサーバーとウェブアプリケーションサーバーを総称するサーバーであることができる。また、プログラム画面９１０を実行させてキャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）を行う過程は、図８に示されたキャプチャ部８１０の動作流れと相当できる。
【０２１３】
サーバー９００は、キャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）されたプログラム画面９１０をスチールイメージ圧縮技法を用いてエンコーディング（Ｉｍａｇｅ  Ｅｎｃｏｄｉｎｇ）９２０できる。この際、エンコーディング（Ｉｍａｇｅ  Ｅｎｃｏｄｉｎｇ）９２０を行う過程は、図８に示されたエンコーディング部８２０の動作流れと相当できる。
この際、変化したフレームを以前フレームと比較し、変化した領域のみをキャプチャできる。また、変化した領域に相当するイメージ特性情報が存在するか否かを考慮してＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つのエンコーディング方式を選択し、選択したエンコーディング方式で変化した領域をスチールイメージエンコーディングできる。
【０２１４】
その後、サーバー９００は、スチールイメージエンコーディングされた変化した領域をユーザの端末装置にストリーミング（Ｓｔｒｅａｍｉｎｇ）９３０し、スチールイメージ基盤のクラウドストリーミングサービスを提供できる。この際、ストリーミング（Ｓｔｒｅａｍｉｎｇ）（９３０）を行う過程は、図８に示されたセンディング部８３０の動作流れと相当できる。
【０２１５】
その後、ユーザの端末装置では、受信したデータをレンダリング（Ｉｍａｇｅ  Ｒｅｎｄｅｒｉｎｇ）（９４０）することによって、ユーザ入力（Ｕｓｅｒ  Ｉｎｐｕｔ）によってアプリケーションで実行されたプログラム画面９１０がまるでユーザの端末装置で実行されたもののように、ユーザにディスプレイできる。
【０２１６】
図１０は、本発明の一実施形態によるクラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。
【０２１７】
図１０を参照すれば、本発明の一実施形態によるスチールイメージ基盤クラウドストリーミングサービスは、第１フレーム１０１０と第２フレーム１０２０を比較し、変化した変化領域１０３０のみをキャプチャしてエンコーディングできる。
【０２１８】
例えば、第１フレーム１０１０と第２フレーム１０２０でＢ、Ｃ、Ｄ及びＥの領域をメニューディスプレイと仮定したとき、第１フレーム１０１０では、Ｃ領域にカーソルが位置することによって、Ｃ領域が他のＢ、Ｄ、及びＥ領域と区別され得るように陰影処理され、第２フレーム１０２０では、Ｃ領域からＤ領域にカーソルが移動することによって、Ｄ領域が他のＢ、Ｃ及びＥ領域と区別され得るように陰影処理され得る。
【０２１９】
この際、第１フレーム１０１０と第２フレーム１０２０を比較したとき、変化した領域であるＣとＤ領域のみを変化領域１０３０としてキャプチャできる。また、変化領域１０３０に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を選択し、選択したエンコーディング方式を利用して変化領域１０３０をスチールイメージエンコーディングできる。
【０２２０】
このように第１フレーム１０１０と第２フレーム１０２０は、確かに変化があるフレームであって、従来のクラウドストリーミングサービス時には、二つのフレームを含んでフレームレートに相当する数のフレームをすべてキャプチャしてエンコーディングを行わなければならない。しかし、スチールイメージ基盤クラウドストリーミングサービスは、変化領域１０３０のみをキャプチャしてスチールイメージ圧縮技法でエンコーディングするため、不要に多くのフレームとフレームの画面全体をキャプチャする従来のクラウドストリーミングサービス方法よりサービスの効率性を向上させることができる。
【０２２１】
図１１は、本発明の一実施形態によるソース情報を利用したクラウドストリーミングサービス方法を示す動作流れ図である。
【０２２２】
図１１を参照すれば、本発明の一実施形態によるソース情報を利用したクラウドストリーミングサービス方法は、変化したフレームに含まれた変化領域をキャプチャする（Ｓ１１１０）。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャし、エンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間変化が大きくない場合には、以前フレームと比較して変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。
【０２２３】
この際、変化したフレームに相当する画面領域のうち変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によってサイズや変化領域に相当するイメージの性質が多様である。
【０２２４】
この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。
【０２２５】
この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したときにフレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。
【０２２６】
また、本発明の一実施形態によるソース情報を利用したクラウドストリーミングサービス方法は、変化領域に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を決定し、所定のエンコーディング方式を利用して変化領域をスチールイメージエンコーディングする（Ｓ１１２０）。例えば、エンコーディング方式は、変化領域に相当するイメージの特性によって決定され得、このようなイメージの特性は、イメージプロセッシングを通じて分析した結果に基づいて抽出され得る。しかし、イメージプロセッシングを行うためには、クラウドストリーミングサーバーの資源を使用して行われるため、システムの負荷を増加させる原因になり得る。したがって、既に変化領域に相当するイメージの特性に相当する情報を含んでいるイメージ特性情報が存在すると、この情報を利用してエンコーディング方式を決定することによって、クラウドストリーミングサーバーの資源を節約できる。
【０２２７】
この際、イメージ特性情報は、アプリケーションソースコードを基盤として生成されるか、ＭＰＥＧテクスチャ記述子を利用して生成され得る。
【０２２８】
アプリケーションソースコードやＭＰＥＧテクスチャ記述子には、ユーザの要請によって出力されるアプリケーション結果画面に対する構成情報やアプリケーション結果画面を構成している構成要素に対する特徴を把握できる記述子が含まれることができる。
【０２２９】
例えば、アプリケーションソースコードの場合には、ＪＰＧ、ＧＩＦ及びＰＮＧのように変化領域に相当するイメージファイルの拡張子や、ｈｅｉｇｈｔ及びｗｉｄｔｈなどのコマンドを利用したイメージのサイズに相当する特徴を抽出できる。また、ＭＰＥＧテクスチャ記述子の場合には、カラー、輪郭、客体やカメラの動きなどと共に重要なビジュアル特徴を扱うＭＰＥＧ−７標準ビジュアル分野の質感記述子などを利用してイメージ特性情報を生成できる。
【０２３０】
また、イメージ特性情報は、該当するフレーム全体領域に対する特性及び構成情報であることができ、またはフレームのうち変化領域に対する特性及び構成情報であるか、または変化領域のうち一部領域、すなわち一般領域や絵領域に対する特性及び構成情報であることができる。
【０２３１】
したがって、このようなイメージ特性情報を利用することができたら、変化領域に相当するイメージを分析することなく、イメージサイズ、イメージ解像度及びイメージタイプなどを含む多様な特性を容易に抽出できる。
【０２３２】
この際、イメージ特性情報が存在する場合、イメージ特性情報を基盤としてエンコーディング方式を決定し、イメージ特性情報が存在しない場合、変化領域に相当するイメージを分析してエンコーディング方式を決定できる。例えば、変化領域に相当するイメージ特性情報が存在すると仮定したら、イメージ特性情報を利用して変化領域に相当するイメージのサイズ、イメージ解像度及びイメージタイプなどのイメージ特性を抽出できる。このように抽出されたイメージ特性を通じてエンコーディング方式を決定できる。また、イメージ特性情報が存在しない場合には、イメージプロセッシング過程を行うことによって、変化領域に相当するイメージに対してイメージのサイズ、イメージ解像度及びイメージタイプなどのイメージ特性を抽出できる。
【０２３３】
この際、イメージ特性情報から抽出するか、イメージプロセッシングを通じて抽出されるイメージの特性は、イメージのサイズ、イメージ解像度及びイメージタイプを除いて、多様に種類が存在し得る。
【０２３４】
この際、エンコーディング方式は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。ＰＮＧスチールイメージ圧縮技法は、エンコーディング時にイメージの画質は良いが、データのサイズが大きくなるため、伝送網の帯域幅が低い場合には、伝送速度が低下することがある。パレットＰＮＧスチールイメージ圧縮技法は、エンコーディング時イにメージのデータサイズが減少し、伝送速度は保証できるが、８ビットで色相を表現するため、イメージ画質に劣化をもたらすことができる。ＪＰＥＧスチールイメージ圧縮技法は、圧縮効率が良いため、エンコーディング時に伝送データ量を大幅に低減できるが、圧縮効率が大きいため、エンコーディング及びデコーディングを行うとき、システム負荷を多く発生させることができる。
【０２３５】
この際、変化領域に相当するイメージを分析して変化領域を一般領域及び絵領域のうちいずれか一つに区分し、一般領域のイメージプロセッシング結果及び絵領域のイメージタイプのうち少なくとも一つ以上を考慮してエンコーディング方式を決定できる。例えば、絵領域は、ＪＰＥＧ、ＰＮＧ及びＧＩＦのようなイメージ形式に相当するファイルで構成された領域であることができ、一般領域は、変化領域のうち絵領域を除いた領域であると見られる。したがって、絵領域の場合には、既にイメージ形式を基盤として特性が付与された状態であり、一般領域の場合には、一般領域に相当する領域をキャプチャされたイメージと判断したとき、イメージプロセッシングを通じてどんな特性に属するかを判断できる。
【０２３６】
この際、イメージタイプは、自然イメージ及び合成イメージのうちいずれか一つに相当できる。自然イメージは、一つの写真や絵のようなイメージを意味でき、合成イメージは、複数のイメージを結合して作られたイメージであることができる。
【０２３７】
また、イメージタイプが自然イメージの場合には、ＪＰＥＧエンコーディング方式を利用してエンコーディングする場合に、圧縮効率がさらに効果的であり、イメージタイプが合成イメージの場合には、データのサイズを低減できるパレットＰＮＧエンコーディング方式を利用してエンコーディングすることが効果的である。
【０２３８】
また、本発明の一実施形態によるソース情報を利用したクラウドストリーミングサービス方法は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ１１３０）。スチールイメージエンコーディングして圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。
【０２３９】
図１２は、本発明の一実施形態によるソース情報を利用したクラウドストリーミングサービス方法を詳細に示す動作流れ図である。
【０２４０】
図１２を参照すれば、本発明の一実施形態によるソース情報を利用したクラウドストリーミングサービス方法は、まず、クラウドストリーミングサーバーで変化したフレームに含まれた変化領域をキャプチャする（Ｓ１２１０）。
【０２４１】
この際、変化したフレームに相当する画面領域のうち変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。
【０２４２】
その後、変化領域に相当するイメージ特性情報が存在するか否かを判断する（Ｓ１２１５）。
【０２４３】
この際、イメージ特性情報は、アプリケーションソースコードを基盤として生成されるか、ＭＰＥＧテクスチャ記述子を利用して生成され得る。
【０２４４】
段階Ｓ１２１５の判断結果、存在すると、イメージ特性情報を基盤としてエンコーディング方式を決定する（Ｓ１２２０）。
【０２４５】
段階Ｓ１２１５の判断結果、存在しないと、変化領域に相当するイメージを分析し（Ｓ１２３０）、分析した結果を考慮してエンコーディング方式を決定する（Ｓ１２４０）。
【０２４６】
この際、エンコーディング方式は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。
【０２４７】
その後、所定のエンコーディング方式を利用して変化領域をスチールイメージエンコーディングする（Ｓ１２５０）。
【０２４８】
その後、スチールイメージエンコーディングされた変化領域をユーザに伝達し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ１２６０）。
【０２４９】
図１３は、本発明の他の実施形態によるクラウドストリーミングサービスシステムを示すブロック図である。
【０２５０】
図１３を参照すれば、本発明の他の実施形態によるクラウドストリーミングサービスシステムは、クラウドストリーミングサーバー１３１０、端末装置１３２０−１、…、１３２０−Ｎ及びネットワーク１３３０を含む。
【０２５１】
クラウドストリーミングサーバー１３１０は、端末装置１３２０−１、…、１３２０−Ｎからクラウドストリーミングサービス要請を受けてアプリケーションを実行し、アプリケーション実行結果に該当する実行結果画面を端末装置１３２０−１、…、１３２０−Ｎに提供する。
【０２５２】
クラウドストリーミングサーバー１３１０は、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャする。この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。この際、端末装置１３２０−１、…、１３２０−Ｎに伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、端末装置１３２０−１、…、１３２０−Ｎから発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。
【０２５３】
また、クラウドストリーミングサーバー１３１０は、変化領域に相当するイメージ特性及びイメージ解像度のうち一つ以上を考慮してエンコーディング処理ユニットを選択し、エンコーディング処理ユニットを利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする。この際、エンコーディング処理ユニットは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）及びグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）のうちいずれか一つのエンコーディング処理ユニットであることができる。この際、イメージ特性及びイメージ解像度のうち一つ以上を考慮して中央処理ユニットとグラフィック処理ユニット各々に対するエンコーディング処理費用を予測し、中央処理ユニット及びグラフィック処理ユニットのうちエンコーディング処理費用が低いエンコーディング処理ユニットを選択して変化領域をスチールイメージエンコーディングできる。この際、変化領域に相当するイメージ解像度が既定の基準値以上である場合、グラフィック処理ユニットを利用して変化領域をスチールイメージエンコーディングできる。この際、変化領域に相当するイメージ解像度が既定の基準値未満である場合、変化領域に相当するイメージ特性によるスチールイメージ圧縮技法を考慮してエンコーディング処理ユニットを選択できる。この際、イメージ解像度が既定の基準値未満であり、スチールイメージ圧縮技法がパレットＰＮＧである場合、グラフィック処理ユニットを利用して変化領域をスチールイメージエンコーディングできる。
【０２５４】
また、クラウドストリーミングサーバー１３１０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。
【０２５５】
端末装置１３２０−１、…、１３２０−Ｎは、クラウドストリーミングサーバー１３１０からクラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信し、ユーザに提供する。
【０２５６】
端末装置１３２０−１、…、１３２０−Ｎは、それぞれ通信網に連結され、クラウドコンピューティングシステムを基盤としてアプリケーションを実行できる装置であって、移動通信端末に限定されるものではなく、すべての情報通信機器、マルチメディア端末、有線端末、固定型端末及びＩＰ（Ｉｎｔｅｒｎｅｔ  Pｒｏｔｏｃｏｌ）端末などの多様な端末であることができる。また、端末装置１３２０−１、…、１３２０−Ｎは、それぞれ携帯電話、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、ＭＩＤ（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）、デスクトップ（Ｄｅｓｋｔｏｐ）、タブレットパソコン（Ｔａｂｌｅｔ  ＰＣ）、ノートパソコン（Ｎｏｔｅ  ｂｏｏｋ）、ネットブック（Ｎｅｔ  Ｂｏｏｋ）、個人携帯用情報端末（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートテレビ及び情報通信機器などのような多様な移動通信仕様を有するモバイル（Ｍｏｂｉｌｅ）端末であることができる。
【０２５７】
ネットワーク１３３０は、クラウドストリーミングサーバー１３１０及び端末装置１３２０−１、…、１３２０−Ｎの間にデータを伝達する通路を提供するもので、従来に利用されるネットワーク及び今後開発可能なネットワークをすべて包括する概念である。例えば、ネットワーク１３３０は、限定された地域内で各種情報装置の通信を提供する有線・無線近距離通信網、移動体相互間及び移動体と移動体外部との通信を提供する移動通信網、衛星を利用して地球局と地球局間の通信を提供する衛星通信網であるか、有線・無線通信網のうちいずれか一つであるか、二つ以上の結合よりなることができる。なお、ネットワーク１３３０の伝送方式標準は、従来の伝送方式標準に限定されるものではなく、今後開発されるすべての伝送方式標準を含む。また、図１３でクラウドストリーミングサーバー１３１０と端末装置１３２０−１、…、１３２０−Ｎの間に使用されるネットワークは、端末装置１３２０−１、…、１３２０−Ｎ相互間に使用されるネットワークと異なってもよく、同一であってもよい。
【０２５８】
図１４は、図１３に示されたクラウドストリーミングサーバーの一例を示すブロック図である。
【０２５９】
図１４を参照すれば、図１３に示されたクラウドストリーミングサーバー１３１０は、キャプチャ部１４１０、エンコーディング部１４２０、センディング部１４３０及び格納部１４４０を含む。
【０２６０】
クラウドストリーミングサービス時に、変化領域のみを検出し、クラウドストリーミングサービスを行うイメージクラウドストリーミングにおいて、イメージエンコーディングを行うとき、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）を利用するか、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）を利用して、エンコーディングを行うことができる。この際、最適のイメージクラウドストリーミングサービスを提供するためには、状況に適切に中央処理ユニットとグラフィック処理ユニットを組み合わせて使用しなければならないが、従来のクラウドストリーミングサービスの提供時には、同一の一つのユニットだけでエンコーディングが処理されている実情である。したがって、本発明では、変化領域に対する特徴を把握し、状況に適切なエンコーディング処理ユニットを利用してさらに効率的にイメージクラウドストリーミングサービスを提供できる構成を提案する。
【０２６１】
キャプチャ部１４１０は、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャする。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間変化が大きくない場合には、以前フレームと比較して変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイする時変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。
【０２６２】
この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によって解像度や変化領域に相当するイメージのタイプが多様である。
【０２６３】
この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。
【０２６４】
この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したとき、フレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。
【０２６５】
エンコーディング部１４２０は、変化領域に相当するイメージ特性及びイメージ解像度のうち一つ以上を考慮してエンコーディング処理ユニットを選択し、エンコーディング処理ユニットを利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする。
【０２６６】
この際、エンコーディング処理ユニットは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）及びグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）のうちいずれか一つのエンコーディング処理ユニットであることができる。
【０２６７】
中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）は、コンピュータの最も重要な部分であって、命令を解読し、算術論理演算やデータ処理を実行する装置であることができる。したがって、コンピュータの計算速度や一度に扱うデータ量、管理し得る主記憶装置領域のサイズなどは、中央処理ユニットの性能に依存するところが大きい。このような中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）を利用して変化領域をエンコーディングする場合、エンコーディングするデータを他のユニットに伝達せず、すぐエンコーディングを行うことができるため、データ伝達による費用は、発生しないことがある。しかし、変化領域に相当するイメージの解像度が高い場合には、エンコーディングを行うのに時間が長くかかることができる。特に、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法でカラー量子化過程を行うことのように、単純な計算を多く繰り返す場合には、エンコーディング時間が長くかかることができる。  
【０２６８】
グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）は、３Ｄグラフィックが本格的に導入された後、ディスプレイ画面をより現実的に作るための各種光源効果及び質感表現技法を処理するために開発された３Ｄグラフィック演算専用のプロセッサである。このようなグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）を利用して変化領域をエンコーディングする場合には、むしろ単純計算の繰り返しや解像度が大きいイメージをエンコーディングするのに効果的である。しかし、グラフィック処理ユニットを利用して変化領域のエンコーディングを行うためには、まず、中央処理ユニットからエンコーディングするデータを伝達され、エンコーディングが完了した後にも、エンコーディングされたデータをさらに中央処理ユニットに伝達しなければならないため、追加的な伝達費用が発生し得る。
【０２６９】
この際、イメージ特性及びイメージ解像度のうち一つ以上を考慮して中央処理ユニットとグラフィック処理ユニット各々に対するエンコーディング処理費用を予測し、中央処理ユニット及びグラフィック処理ユニットのうちエンコーディング処理費用が低いエンコーディング処理ユニットを選択して、変化領域をスチールイメージエンコーディングできる。例えば、変化領域Ａに対してエンコーディングを行うために、変化領域Ａに相当するイメージ特性とイメージ解像度を判断できる。その後、判断された変化領域Ａのイメージ特性及びイメージ解像度を基盤としてそれぞれ中央処理ユニットとグラフィック処理ユニットにエンコーディングを実行したときに発生し得るエンコーディング処理費用を予測できる。二つのエンコーディング処理ユニットのうちエンコーディング処理費用がさらに低く予測されたエンコーディング処理ユニットを選択して変化領域Ａのエンコーディングを行うことができる。
【０２７０】
また、エンコーディングが行われた後に発生したエンコーディング処理費用に対してエンコーディング処理費用統計を生成できる。例えば、クラウドストリーミングサービスが行われるうちに所定の単位期間を設定し、設定された単位期間ごとにエンコーディング処理費用に対する格納された情報を利用してエンコーディング処理費用統計をアップデートできる。このようなエンコーディング処理費用統計は、イメージ特性、イメージ解像度及びエンコーディング処理ユニット各々に対する詳細的な統計情報として生成され得、生成された統計情報を基盤として選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法の信頼度を上昇させることができる。
【０２７１】
この際、変化領域に相当するイメージ解像度が既定の基準値以上である場合、グラフィック処理ユニットを利用して変化領域をスチールイメージエンコーディングできる。
【０２７２】
解像度は、イメージを表現するにあたって、いくつかのピクセルまたはドットを利用して示したか、その程度を示すことができる。単位としては、１インチ当たりいくつかのピクセル（ｐｉｘｅｌ）よりなるかを示すｐｐｉ（ｐｉｘｅｌ  ｐｅｒ  ｉｎｃｈ）、１インチ当たりいくつかの点（ｄｏｔ）よりなるかを示すｄｐｉ（ｄｏｔ  ｐｅｒ  ｉｎｃｈ）を主に使用する。ピクセルまたはドットの数が多いほど、高解像度の精緻なイメージを表現できる。解像度が高いほど、イメージがきれいで且つ鮮明に見えるが、その分、１インチ当たり点の数が多くなって、当該イメージを処理するために多量のメモリが必要であり、結果的に、コンピュータ処理速度が遅くなる短所が存在し得る。例えば、解像度が高いイメージを中央処理ユニットでエンコーディングする場合、エンコーディング処理時間が長くなって、エンコーディング処理費用が多く発生し得る。
【０２７３】
したがって、変化領域に相当するイメージ解像度が前もって設定された基準値と同一であるか、または基準値より高い場合には、グラフィック処理ユニットを利用してエンコーディングを行うことによって、中央処理ユニットを利用してエンコーディングするときよりエンコーディング処理費用を節約できる。
【０２７４】
この際、変化領域に相当するイメージ解像度が既定の基準値未満である場合、変化領域に相当するイメージ特性によるスチールイメージ圧縮技法を考慮してエンコーディング処理ユニットを選択できる。変化領域に相当するイメージ解像度が既定の基準値より低い場合、エンコーディングするデータをグラフィック処理ユニットに伝達する必要なく、中央処理ユニットでエンコーディングを行うことができる。しかし、イメージ解像度が低くても、変化領域に相当するイメージ特性によって選択されるスチールイメージ圧縮技法によって単純計算が繰り返されなければならない場合が発生し得るため、変化領域のイメージタイプをもう一度考慮してエンコーディング処理ユニットを選択できる。
【０２７５】
また、スチールイメージ圧縮技法は、変化領域に相当するイメージのサイズやイメージのタイプのようなイメージ特性によって決定され得る。
【０２７６】
この際、スチールイメージ圧縮技法は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。ＰＮＧスチールイメージ圧縮技法は、エンコーディングの場合、画質は良いが、データサイズが大きくなるため、伝送網の帯域幅が低い場合、反応速度の低下をもたらすことができる。パレットＰＮＧスチールイメージ圧縮技法は、データのサイズを減少するが、が画質の劣化をもたらすことができ、特にデータサイズ減少のためのカラー量子化過程に起因して、単純な計算の繰り返される過程が含まれることができる。ＪＰＥＧスチールイメージ圧縮技法は、伝送されるイメージタイプによってデータの圧縮効率が良いが、圧縮効率が良い分だけ、エンコーディング及びデコーディング時に負荷が大きくなることができる。
【０２７７】
この際、イメージ解像度が既定の基準値未満であり、スチールイメージ圧縮技法がパレットＰＮＧである場合、グラフィック処理ユニットを利用して変化領域をスチールイメージエンコーディングできる。例えば、変化領域のイメージ特性上、パレットＰＮＧスチールイメージ圧縮技法を利用してエンコーディングを行うときには、カラー量子化のような単純計算を繰り返すため、エンコーディング処理時間が長くなることができる。したがって、このような場合には、グラフィック処理ユニットを利用してエンコーディングを行うことによって、中央処理ユニットを利用してエンコーディングするときより少ないエンコーディング処理費用でクラウドストリーミングサービスを行うことができる。
【０２７８】
センディング部１４３０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。エンコーディングを完了することによって圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。
【０２７９】
格納部１４４０は、前述したように、本発明の実施形態によるクラウドストリーミングサービス過程で発生する多様な情報を格納する。
【０２８０】
実施形態によって、格納部１４４０は、クラウドストリーミングサーバー１３１０と独立的に構成され、クラウドストリーミングサービスのための機能を支援できる。この際、格納部１４４０は、別途の大容量ストレージとして動作でき、動作実行のための制御機能を含む。
【０２８１】
また、前述したように構成されるクラウドストリーミングサーバー１３１０は、一つ以上のサーバーで具現され得る。
【０２８２】
なお、クラウドストリーミングサーバー１３１０は、メモリが搭載され、その装置内で情報を格納できる。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであることができ、他の具現例の場合、メモリは、不揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な互いに異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、あるいはどんな他の大容量格納装置を含むこともできる。
【０２８３】
図１５は、スチールイメージ基盤クラウドストリーミングシステムの他の例を示す図である。
【０２８４】
図１５を参照すれば、サーバー１５００では、ユーザの端末装置から発生するユーザ入力（Ｕｓｅｒ  Ｉｎｐｕｔ）に相当するプログラム画面１５１０を実行させてキャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）を行うことができる。この際、サーバー１５００は、クラウドストリーミングサーバーとウェブアプリケーションサーバーを総称するサーバーであることができる。また、プログラム画面１５１０を実行させてキャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）を行う過程は、図１４に示されたキャプチャ部１４１０の動作流れと相当できる。
【０２８５】
サーバー１５００は、キャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）されたプログラム画面１５１０をスチールイメージ圧縮技法を用いてエンコーディング（Ｉｍａｇｅ  Ｅｎｃｏｄｉｎｇ）（１５２０）できる。この際、エンコーディング（Ｉｍａｇｅ  Ｅｎｃｏｄｉｎｇ）１５２０を行う過程は、図１４に示されたエンコーディング部１４２０の動作流れと相当できる。
【０２８６】
この際、変化したフレームを以前フレームと比較して変化した領域のみをキャプチャできる。また、変化した領域のイメージ特性及び変化した領域に相当するイメージ解像度を考慮して中央処理ユニット及びグラフィック処理ユニットのうちいずれか一つのエンコーディング処理ユニットを選択し、選択したエンコーディング処理ユニットを利用して変化した領域をスチールイメージエンコーディングできる。
【０２８７】
その後、サーバー１５００は、スチールイメージエンコーディングされた変化した領域をユーザの端末装置にストリーミング（Ｓｔｒｅａｍｉｎｇ）（１５３０）し、スチールイメージ基盤のクラウドストリーミングサービスを提供できる。この際、ストリーミング（Ｓｔｒｅａｍｉｎｇ）（１５３０）を行う過程は、図１４に示されたセンディング部１４３０の動作流れと相当できる。
【０２８８】
その後、ユーザの端末装置では、受信したデータをレンダリング（Ｉｍａｇｅ  Ｒｅｎｄｅｒｉｎｇ）（１５４０）することによって、ユーザ入力（Ｕｓｅｒ  Ｉｎｐｕｔ）によってアプリケーションで実行されたプログラム画面１５１０がまるでユーザの端末装置で実行されたもののように、ユーザにディスプレイできる。
【０２８９】
図１６は、本発明の一実施形態によるエンコーディング処理ユニットを示す図である。
【０２９０】
図１６を参照すれば、本発明の一実施形態によるエンコーディング処理ユニットは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）１６１０と、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）１６２０とに区分できる。
【０２９１】
中央処理ユニット１６１０は、コンピュータの最も重要な部分であって、命令を解読し、算術論理演算やデータ処理を実行する装置であることができる。したがって、コンピュータの計算速度や一度に扱うデータ量、管理し得る主記憶装置領域のサイズなどは、中央処理ユニットの性能に依存するところが大きい。このような中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）を利用して変化領域をエンコーディングする場合、エンコーディングするデータを他のユニットに伝達せず、すぐエンコーディングを行うことができるため、データ伝達による費用は発生しないことがある。しかし、変化領域に相当するイメージの解像度が高い場合には、エンコーディングを行うのに時間が長くかかることができる。特に、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法でカラー量子化過程を行うことのように、単純な計算を多く繰り返す場合には、エンコーディング時間が長くかかることができる。
【０２９２】
グラフィック処理ユニット１６２０は、３Ｄグラフィックが本格的に導入された後、ディスプレイ画面をより現実的に作るための各種光源効果及び質感表現技法を処理するために開発された３Ｄグラフィック演算専用のプロセッサである。このようなグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）を利用して変化領域をエンコーディングする場合には、むしろ単純計算の繰り返しや解像度が大きいイメージをエンコーディングするのに効果的である。しかし、グラフィック処理ユニットを利用して変化領域のエンコーディングを行うためには、まず、中央処理ユニットからエンコーディングするデータを伝達され、エンコーディングが完了した後にも、エンコーディングされたデータをさらに中央処理ユニットに伝達しなければならないため、追加的な伝達費用が発生し得る。
【０２９３】
このような中央処理ユニット１６１０とグラフィック処理ユニット１６２０は、図１６のように、サーバー１６００内で独立的に存在し得る。または、図１６とは異なって、中央処理ユニット１６１０とグラフィック処理ユニット１６２０が一つの装置中に混合して存在するか、中央処理ユニット１６１０内にグラフィック処理ユニット１６２０が含まれるなど、多様な形態で構成される。
【０２９４】
また、中央処理ユニット１６１０とグラフィック処理ユニット１６２０は、相互間にデータを送受信できるように連結されていてもよい。
【０２９５】
図１７は、本発明の他の実施形態によるクラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。
【０２９６】
図１７を参照すれば、本発明の一実施形態によるスチールイメージ基盤クラウドストリーミングサービスは、第１フレーム１７１０と第２フレーム１７２０を比較し、変化した変化領域１７３０のみをキャプチャしてエンコーティングできる。
【０２９７】
例えば、第１フレーム１７１０と第２フレーム１７２０からＢ、Ｃ、Ｄ及びＥの領域をメニューディスプレイと仮定したとき、第１フレーム１７１０では、Ｃ領域にカーソルが位置することによって、Ｃ領域が他のＢ、Ｄ、及びＥ領域と区別され得るように陰影処理され、第２フレーム１７２０では、Ｃ領域からＤ領域にカーソルが移動することによって、Ｄ領域が他のＢ、Ｃ及びＥ領域と区別され得るように陰影処理され得る。
【０２９８】
この際、第１フレーム１７１０と第２フレーム１７２０を比較したとき、変化した領域であるＣとＤ領域のみを変化領域１７３０としてキャプチャできる。また、変化領域１７３０の解像度と変化領域１７３０に相当するイメージタイプを考慮してエンコーディング処理ユニットを選択し、選択したエンコーディング処理ユニットを利用して変化領域１７３０をエンコーディングできる。
【０２９９】
このように第１フレーム１７１０と第２フレーム１７２０は、確かに変化があるフレームであって、従来のクラウドストリーミングサービス時には、二つのフレームを含んでフレームレートに相当する数のフレームをすべてキャプチャしてエンコーディングを行わなければならない。しかし、スチールイメージ基盤クラウドストリーミングサービスは、変化領域１７３０のみをキャプチャしてスチールイメージ圧縮技法でエンコーディングするため、不要に多くのフレームとフレームの画面全体をキャプチャする従来のクラウドストリーミングサービス方法よりサービスの効率性を向上させることができる。
【０３００】
図１８は、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法を示す動作流れ図である。
【０３０１】
図１８を参照すれば、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法は、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャする（Ｓ１８１０）。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間変化が大きくない場合には、以前フレームと比較して変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。
【０３０２】
この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によって解像度や変化領域に相当するイメージのタイプが多様である。
【０３０３】
この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。
【０３０４】
この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したとき、フレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。
【０３０５】
また、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法は、変化領域に相当するイメージ特性及びイメージ解像度のうち一つ以上を考慮してエンコーディング処理ユニットを選択し、エンコーディング処理ユニットを利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングする（Ｓ１８２０）。
【０３０６】
この際、エンコーディング処理ユニットは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）及びグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）のうちいずれか一つのエンコーディング処理ユニットであることができる。
【０３０７】
中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）は、コンピュータの最も重要な部分であって、命令を解読し、算術論理演算やデータ処理を行う装置であることができる。したがって、コンピュータの計算速度や一度に扱うデータ量、管理し得る主記憶装置領域のサイズなどは、中央処理ユニットの性能に依存するところが大きい。このような中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）を利用して変化領域をエンコーディングする場合、エンコーディングするデータを他のユニットに伝達せず、すぐエンコーディングを行うことができるため、データ伝達による費用が発生しないことがある。しかし、変化領域に相当するイメージの解像度が高い場合には、エンコーディングを行うのに時間が長くかかることができる。特に、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法でカラー量子化過程を行うことのように、単純な計算を多く繰り返す場合には、エンコーディング時間が長くかかることができる。
【０３０８】
グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）は、３Ｄグラフィックが本格的に導入された後、ディスプレイ画面をより現実的に作るための各種光源効果及び質感表現技法を処理するために開発された３Ｄグラフィック演算専用のプロセッサである。このようなグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）を利用して変化領域をエンコーディングする場合には、むしろ単純計算の繰り返しや解像度が大きいイメージをエンコーディングするのに効果的である。しかし、グラフィック処理ユニットを利用して変化領域のエンコーディングを行うためには、まず、中央処理ユニットからエンコーディングするデータを伝達されて、エンコーディングが完了した後にも、エンコーディングされたデータをさらに中央処理ユニットに伝達しなければならないため、追加的な伝達費用が発生し得る。
【０３０９】
この際、イメージ特性及びイメージ解像度のうち一つ以上を考慮して中央処理ユニットとグラフィック処理ユニット各々に対するエンコーディング処理費用を予測し、中央処理ユニット及びグラフィック処理ユニットのうちエンコーディング処理費用が低いエンコーディング処理ユニットを選択して、変化領域をスチールイメージエンコーディングできる。例えば、変化領域Ａに対してエンコーディングを行うために、変化領域Ａに相当するイメージ特性とイメージ解像度を判断できる。その後、判断された変化領域Ａのイメージ特性及びイメージ解像度を基盤としてそれぞれ中央処理ユニットとグラフィック処理ユニットにエンコーディングを実行したときに発生し得るエンコーディング処理費用を予測できる。二つのエンコーディング処理ユニットのうちエンコーディング処理費用がさらに低く予測されたエンコーディング処理ユニットを選択し、変化領域Ａのエンコーディングを行うことができる。
【０３１０】
また、エンコーディングが行われた後に発生したエンコーディング処理費用に対してエンコーディング処理費用統計を生成できる。例えば、クラウドストリーミングサービスが行われるうちに所定の単位期間を設定し、設定された単位期間ごとにエンコーディング処理費用に対する格納された情報を利用してエンコーディング処理費用統計をアップデートできる。このようなエンコーディング処理費用統計は、イメージ特性、イメージ解像度及びエンコーディング処理ユニット各々に対する詳細的な統計情報として生成され得、生成された統計情報を基盤として選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法の信頼度を上昇させることができる。
【０３１１】
この際、変化領域に相当するイメージ解像度が既定の基準値以上である場合、グラフィック処理ユニットを利用して変化領域をスチールイメージエンコーディングできる。
【０３１２】
解像度は、イメージを表現するにあたって、いくつかのピクセルまたはドットを利用して示したか、その程度を示すことができる。単位としては、１インチ当たりいくつかのピクセル（ｐｉｘｅｌ）よりなるかを示すｐｐｉ（ｐｉｘｅｌ  ｐｅｒ  ｉｎｃｈ）、１インチ当たりいくつかの点（ｄｏｔ）よりなるかを示すｄｐｉ（ｄｏｔ  ｐｅｒ  ｉｎｃｈ）を主に使用する。ピクセルまたはドットの数が多いほど、高解像度の精緻なイメージを表現できる。解像度が高いほど、イメージがきれいで且つ鮮明に見えるが、その分、１インチ当たり点の数が多くなって、当該イメージを処理するために多量のメモリが必要であり、結果的に、コンピュータ処理速度が遅くなる短所が存在し得る。例えば、解像度が高いイメージを中央処理ユニットでエンコーディングする場合、エンコーディング処理時間が長くなって、エンコーディング処理費用が多く発生し得る。
【０３１３】
したがって、変化領域に相当するイメージ解像度が前もって設定された基準値と同一であるか、または基準値より高い場合には、グラフィック処理ユニットを利用してエンコーディングを行うことによって、中央処理ユニットを利用してエンコーディングするときよりエンコーディング処理費用を節約できる。
【０３１４】
この際、変化領域に相当するイメージ解像度が既定の基準値未満である場合、変化領域に相当するイメージ特性によるスチールイメージ圧縮技法を考慮してエンコーディング処理ユニットを選択できる。変化領域に相当するイメージ解像度が既定の基準値より低い場合、エンコーディングするデータをグラフィック処理ユニットに伝達する必要なく、中央処理ユニットでエンコーディングを行うことができる。しかし、イメージ解像度が低くても、変化領域に相当するイメージ特性によって選択されるスチールイメージ圧縮技法によって単純計算が繰り返されなければならない場合が発生し得るため、変化領域のイメージタイプをもう一度考慮してエンコーディング処理ユニットを選択できる。
【０３１５】
また、スチールイメージ圧縮技法は、変化領域に相当するイメージのサイズやイメージのタイプのようなイメージ特性によって決定され得る。
【０３１６】
この際、スチールイメージ圧縮技法は、ＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）及びＪＰＥＧ（ｊｏｉｎｔ  ｐｈｏｔｏｇｒａｐｈｙ  ｅｘｐｅｒｔｓ  ｇｒｏｕｐ）のうちいずれか一つに相当できる。ＰＮＧスチールイメージ圧縮技法は、エンコーディングの場合、画質は良いが、データサイズが大きくなるため、伝送網の帯域幅が低い場合、反応速度の低下をもたらすことができる。パレットＰＮＧスチールイメージ圧縮技法は、データのサイズを減少するが、が画質の劣化をもたらすことができ、特にデータサイズ減少のためのカラー量子化過程に起因して、単純な計算の繰り返される過程が含まれることができる。ＪＰＥＧスチールイメージ圧縮技法は、伝送されるイメージタイプによってデータの圧縮効率が良いが、圧縮効率が良い分だけ、エンコーディング及びデコーディング時に負荷が大きくなることができる。
【０３１７】
この際、イメージ解像度が既定の基準値未満であり、スチールイメージ圧縮技法がパレットＰＮＧである場合、グラフィック処理ユニットを利用して変化領域をスチールイメージエンコーディングできる。例えば、変化領域のイメージ特性上、パレットＰＮＧスチールイメージ圧縮技法を利用してエンコーディングを行うときには、カラー量子化のような単純計算を繰り返すため、エンコーディング処理時間が長くなることができる。したがって、このような場合には、グラフィック処理ユニットを利用してエンコーディングを行うことによって、中央処理ユニットを利用してエンコーディングするときより少ないエンコーディング処理費用でクラウドストリーミングサービスを行うことができる。
【０３１８】
また、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ１８３０）。エンコーディングを完了することによって圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。
【０３１９】
また、図１８には図示していないが、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法は、クラウドストリーミングサービス過程で発生する多様な情報を格納できる。
【０３２０】
図１９は、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法を詳細に示す動作流れ図である。
【０３２１】
図１９を参照すれば、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法は、まず、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャする（Ｓ１９１０）。
【０３２２】
その後、変化領域に相当するイメージの解像度が既定の基準値以上であるか否かを判断する（Ｓ１９１５）。
【０３２３】
段階Ｓ１９１５の判断結果、基準値以上であれば、変化領域をグラフィック処理ユニットでエンコーディングする（Ｓ１９２０）。
【０３２４】
段階Ｓ１９１５の判断結果、基準値未満であれば、変化領域をエンコーディングするスチールイメージ圧縮技法がパレットＰＮＧスチールイメージ圧縮技法であるか否かを判断する（Ｓ１９２５）。
【０３２５】
段階Ｓ１９２５の判断結果、パレットＰＮＧスチールイメージ圧縮技法であれば、変化領域をグラフィック処理ユニットでエンコーディングする（Ｓ１９２０）。
【０３２６】
段階Ｓ１９２５の判断結果、パレットＰＮＧスチールイメージ圧縮技法ではなければ、変化領域を中央処理ユニットでエンコーディングする（Ｓ１９３０）。この際、変化領域をエンコーディングするスチールイメージ圧縮技法は、ＰＮＧスチールイメージ圧縮技法及びＪＰＥＧスチールイメージ圧縮技法のうちいずれか一つに相当できる。
【０３２７】
その後、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ１９４０）。
【０３２８】
図２０は、本発明のさらに他の実施形態によるクラウドストリーミングサービスシステムを示すブロック図である。
【０３２９】
図２０を参照すれば、本発明の一実施形態によるクラウドストリーミングサービスシステムは、クラウドストリーミングサーバー２０１０、端末装置２０２０−１、…、２０２０−Ｎ及びネットワーク２０３０を含む。
【０３３０】
クラウドストリーミングサーバー２０１０は、端末装置２０２０−１、…、２０２０−Ｎからクラウドストリーミングサービス要請を受けてアプリケーションを実行し、アプリケーション実行結果に該当する実行結果画面を端末装置２０２０−１、…、２０２０−Ｎに提供する。
【０３３１】
クラウドストリーミングサーバー２０１０は、変化したフレームに含まれた変化領域をキャプチャする。この際、変化したフレームに相当する画面領域のうち変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。この際、端末装置２０２０−１、…、２０２０−Ｎに伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。この際、端末装置２０２０−１、…、２０２０−Ｎから発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。
【０３３２】
また、クラウドストリーミングサーバー２０１０は、変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当てて、エンコーディングプロセスを行い、変化領域をスチールイメージエンコーディングする。この際、単位プロセスは、変化領域に相当するイメージ分析、スチールイメージ圧縮技法の決定、スチールイメージ圧縮及び圧縮データ集約のうちいずれか一つに相当できる。この際、イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシング結果を基盤としてグラフィック処理ユニットにスチールイメージ圧縮に相当する単位プロセスを割り当てることができる。この際、スチールイメージ圧縮は、変化領域に相当するイメージに対してカラーヒストグラム構成、パレット生成、パレット基盤の原本カラー量子化及びパレット基盤エンコーディング中の一つ以上の過程を含む。この際、グラフィック処理ユニットは、スチールイメージ圧縮に相当するプロセッシング結果を中央処理ユニットに伝達できる。この際、中央処理ユニットは、スチールイメージ圧縮に相当するプロセッシング結果を利用して圧縮データ集約に相当する単位プロセスを行うことができる。この際、中央処理ユニットは、スチールイメージ圧縮に相当する単位プロセスがグラフィック処理ユニットに割り当てられた場合、変化領域に相当するイメージデータをグラフィック処理ユニットに伝達できる。
【０３３３】
また、クラウドストリーミングサーバー２０１０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。
【０３３４】
端末装置２０２０−１、…、２０２０−Ｎは、クラウドストリーミングサーバー２０１０からクラウドストリーミングサービスに相当するアプリケーション実行結果画面を受信し、ユーザに提供する。
【０３３５】
端末装置２０２０−１、…、２０２０−Ｎは、それぞれ通信網に連結され、クラウドコンピューティングシステムを基盤としてアプリケーションを実行できる装置であって、移動通信端末に限定されるものではなく、すべての情報通信機器、マルチメディア端末、有線端末、固定型端末及びＩＰ（Ｉｎｔｅｒｎｅｔ  Pｒｏｔｏｃｏｌ）端末などの多様な端末であることができる。また、端末装置２０２０−１、…、２０２０−Ｎは、それぞれ携帯電話、ＰＭＰ（Ｐｏｒｔａｂｌｅ  Ｍｕｌｔｉｍｅｄｉａ  Ｐｌａｙｅｒ）、ＭＩＤ（Ｍｏｂｉｌｅ  Ｉｎｔｅｒｎｅｔ  Ｄｅｖｉｃｅ）、スマートフォン（Ｓｍａｒｔ  Ｐｈｏｎｅ）、デスクトップ（Ｄｅｓｋｔｏｐ）、タブレットパソコン（Ｔａｂｌｅｔ  PＣ）、ノートパソコン（Ｎｏｔｅ  ｂｏｏｋ）、ネットブック（Ｎｅｔ  Ｂｏｏｋ）、個人携帯用情報端末（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ；ＰＤＡ）、スマートテレビ及び情報通信機器などのような多様な移動通信仕様を有するモバイル（Ｍｏｂｉｌｅ）端末であることができる。
【０３３６】
ネットワーク２０３０は、クラウドストリーミングサーバー２０１０及び端末装置２０２０−１、…、２０２０−Ｎの間にデータを伝達する通路を提供するもので、従来に利用されるネットワーク及び今後開発可能なネットワークをすべて包括する概念である。例えば、ネットワーク２０３０は、限定された地域内で各種情報装置の通信を提供する有線・無線近距離通信網、移動体相互の間及び移動体と移動体外部との通信を提供する移動通信網、衛星を利用して地球局と地球局間通信を提供する衛星通信網であるか、有線・無線通信網のうちいずれか一つであるか、二つ以上の結合よりなることができる。なお、ネットワーク２０３０の伝送方式標準は、従来の伝送方式標準に限定されるものではなく、今後開発されるすべての伝送方式標準を含む。また、図２０で、クラウドストリーミングサーバー２０１０と端末装置２０２０−１、…、２０２０−Ｎの間に使用されるネットワークは、端末装置２０２０−１、…、２０２０−Ｎ相互間に使用されるネットワークと異なっていてもよく、同一であってもよい。
【０３３７】
図２１は、図２０に示されたクラウドストリーミングサーバーの一例を示すブロック図である。
【０３３８】
図２１を参照すれば、図２０に示されたクラウドストリーミングサーバー２０１０は、キャプチャ部２１１０、エンコーディング部２１２０、センディング部２１３０及び格納部２１４０を含む。
【０３３９】
クラウドストリーミングサービス時に、変化領域のみを検出し、クラウドストリーミングサービスを行うイメージクラウドストリーミングにおいて、イメージエンコーディングを行うとき、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）を利用するか、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）を利用してエンコーディングを行うことができる。この際、最適のイメージクラウドストリーミングサービスを提供するためには、細分化されたエンコーディングプロセスに適切に中央処理ユニットとグラフィック処理ユニットを組み合わせて使用しなければならないが、従来のクラウドストリーミングサービスの提供時には、同一の一つのユニットだけでエンコーディングが処理されている実情である。したがって、本発明では、クラウドストリーミングサービスのためにエンコーディングプロセスを単位プロセスに細分化し、単位プロセス別にそれぞれ中央処理ユニットとグラフィック処理ユニットがプロセッシングすることによって、さらに効率的にイメージクラウドストリーミングサービスを提供できる構成を提案する。
【０３４０】
キャプチャ部２１１０は、変化したフレームに含まれた変化領域をキャプチャする。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間変化が大きくない場合には、変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。
【０３４１】
この際、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によって解像度や変化領域に相当するイメージのタイプが多様である。
【０３４２】
この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。
【０３４３】
この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したとき、フレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。
【０３４４】
エンコーディング部２１２０は、変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当てて、エンコーディングプロセスを行って変化領域をスチールイメージエンコーディングする。
【０３４５】
クラウドストリーミングサーバーで変化領域に相当するイメージをエンコーディングするとき、中央処理ユニットのみを使用してサービスを行う従来の方式では、クラウドストリーミングサーバーの全体可用資源を使用しないため、イメージエンコーディングの時間が遅延されるにつれて、サービス品質が低下することがある。したがって、本発明では、エンコーディングプロセスを複数の単位プロセスに細分化し、それぞれの単位プロセスを中央処理装置とグラフィック処理装置に適切に割り当ててエンコーディングを行うことによって、従来の方式で発生し得る問題点を解決できる構成を提示できる。
【０３４６】
この際、単位プロセスは、変化領域に相当するイメージ分析、スチールイメージ圧縮技法の決定、スチールイメージ圧縮及び圧縮データ集約のうちいずれか一つに相当できる。イメージ分析は、変化領域に相当するイメージがどんな特性を有しているかを分析する過程であることができる。例えば、イメージのサイズや解像度及びタイプなどのイメージ特性を分析し、効率的なエンコーディングを行うためのデータとして使用できる。
【０３４７】
また、スチールイメージ圧縮技法の決定に相当する単位プロセスを行うことによって、変化領域の圧縮を行うとき、クラウドストリーミングサーバーの資源をさらに効率的に使用できる。その後、変化領域に相当する少なくとも一つ以上のイメージをスチールイメージ圧縮した結果を利用して最終的に圧縮データ集約に相当するプロセスを行うことができる。
【０３４８】
この際、イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシング結果を基盤としてグラフィック処理ユニットにスチールイメージ圧縮に相当する単位プロセスを割り当てることができる。例えば、イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシング結果変化領域をエンコーディングするスチールイメージ圧縮技法でパレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法が決定され得る。この際、パレットＰＮＧスチールイメージ圧縮技法を利用してスチールイメージエンコーディングを行う過程には、単純な計算の繰り返しや並列で処理しやすい計算過程が含まれることができる。したがって、このような場合には、単位プロセスのうちスチールイメージ圧縮を行う単位プロセスをグラフィック処理ユニットに割り当てることによって、エンコーディングに使用される時間を節約し、クラウドストリーミングサーバーの資源を効率的に使用できる。
【０３４９】
また、イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシング結果に相関なく、システム設定によって、グラフィック処理ユニットを利用してスチールイメージ圧縮に相当する単位プロセスを行うこともできる。クラウドストリーミングシステムが中央処理ユニットだけで構成された場合には、中央処理ユニットを利用してすべてのプロセスを行わなければならないため、ユーザの端末にクラウドストリーミングサービスを提供するとき、レイテンシ遅延が発生する可能性が高いことがある。したがって、中央処理ユニットを一つまたは複数個具備し、スチールイメージ圧縮に相当する単位プロセスをグラフィック処理ユニットで行い、プロセッシング結果を中央処理ユニットに再伝達することによって、クラウドストリーミングシステムの管理費用節減及びレイテンシ遅延減少の効果を達成できる。
【０３５０】
この際、スチールイメージ圧縮は、変化領域に相当するイメージに対してカラーヒストグラム構成、パレット生成、パレット基盤の原本カラー量子化及びパレット基盤エンコーディングのうち一つ以上の過程を含む。カラーヒストグラム構成は、変化領域に相当するイメージに対するパレットを生成するために行われることができる。パレット生成は、カラーヒストグラムを利用して原本イメージ、すなわち変化領域に相当するイメージ対比最小損失が生じるパレットを生成する過程であることができる。このように生成したパレットを基盤として変化領域に相当するイメージのカラーを、パレットに相当するカラーに置換し、原本カラー量子化を行い、パレット基盤エンコーディングを行うことができる。
【０３５１】
この際、グラフィック処理ユニットは、スチールイメージ圧縮に相当するプロセッシング結果を中央処理ユニットに伝達できる。例えば、複数個の変化したフレームに含まれた変化領域に対してグラフィック処理ユニットでスチールイメージ圧縮に相当する単位プロセスを行い、それぞれのプロセッシング結果を圧縮データ集約に相当する単位プロセスを行う中央処理ユニットに伝達できる。このようにエンコーディングプロセスを複数個に細分化して、中央処理ユニット及びグラフィック処理ユニットのうちいずれか一つで行うことによって、プロセッシング結果を伝達する資源消耗費用が追加的に発生し得るが、エンコーディングプロセスを細分化して処理することによって得ることができる資源効率利得が追加に発生し得る資源消耗費用より大きいため、さらに効果的なエンコーディング方法であることができる。
【０３５２】
この際、中央処理ユニットは、スチールイメージ圧縮に相当するプロセッシング結果を利用して圧縮データ集約に相当する単位プロセスを行うことができる。例えば、グラフィック処理ユニットを通じて生成されたスチールイメージ圧縮に相当するプロセッシング結果が複数の場合には、それぞれのプロセッシング結果、すなわち圧縮データを集約できる。エンコーディングプロセスを行い、ユーザの端末装置にスチールイメージ基盤のクラウドストリーミングサービスを提供することが本発明の目的であるため、ユーザの端末装置にサービスを提供できるように複数の圧縮データを集約し、エンコーディングプロセスを行うことができる。
【０３５３】
この際、中央処理ユニットは、スチールイメージ圧縮に相当する単位プロセスがグラフィック処理ユニットに割り当てられた場合、変化領域に相当するイメージデータをグラフィック処理ユニットに伝達できる。イメージ分析及びスチールイメージ圧縮技法の決定に相当する単位プロセスのプロセッシング結果によってスチールイメージ圧縮に相当する単位プロセスがグラフィック処理ユニットに割り当てられるか否かが決定され得る。例えば、イメージ分析及びスチールイメージ圧縮技法の決定に相当する単位プロセスのプロセッシング結果変化領域に相当するイメージをパレットＰＮＧスチールイメージ圧縮技法で圧縮する場合には、単純計算を繰り返し、並列処理しやすい計算が存在するので、グラフィック処理ユニットでスチールイメージ圧縮を行うことが、中央処理ユニットでスチールイメージ圧縮を行うことよりさらに効率的なことがある。したがって、前記のように、グラフィック処理ユニットでスチールイメージ圧縮に相当する単位プロセスが割り当てられた場合には、圧縮されるイメージデータ、すなわち変化領域に相当するイメージデータをグラフィック処理ユニットに伝達できる。
【０３５４】
センディング部２１３０は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う。エンコーディングを完了することによって圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。
【０３５５】
格納部２１４０は、前述したように、本発明の実施形態によるクラウドストリーミングサービス過程で発生する多様な情報を格納する。
【０３５６】
実施形態によって、格納部２１４０は、クラウドストリーミングサーバー２０１０と独立的に構成され、クラウドストリーミングサービスのための機能を支援できる。この際、格納部２１４０は、別途の大容量ストレージとして動作でき、動作実行のための制御機能を含む。
【０３５７】
また、前述したように構成されるクラウドストリーミングサーバー２０１０は、一つ以上のサーバーで具現され得る。
【０３５８】
なお、クラウドストリーミングサーバー２０１０は、メモリが搭載され、当該装置内で情報を格納できる。一具現例の場合、メモリは、コンピュータで読み取り可能な媒体である。一具現例で、メモリは、揮発性メモリユニットであることができ、他の具現例の場合、メモリは、不揮発性メモリユニットであってもよい。一具現例の場合、格納装置は、コンピュータで読み取り可能な媒体である。多様な互いに異なる具現例で、格納装置は、例えばハードディスク装置、光学ディスク装置、あるいはどんな他の大容量格納装置を含むこともできる。
【０３５９】
図２２は、スチールイメージ基盤クラウドストリーミングシステムのさらに他の例を示す図である。
【０３６０】
図２２を参照すれば、サーバー２２１０では、ユーザの端末装置から発生するユーザ入力（Ｕｓｅｒ  Ｉｎｐｕｔ）に相当するプログラム画面２２１０を実行させて、キャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）を行うことができる。この際、サーバー２２００は、クラウドストリーミングサーバーとウェブアプリケーションサーバーを総称するサーバーであることができる。また、プログラム画面２２１０を実行させてキャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）を行う過程は、図２１に示されたキャプチャ部２１１０の動作流れと相当できる。
【０３６１】
サーバー２２００は、キャプチャ（Ｓｃｒｅｅｎ  Ｃａｐｔｕｒｅ）されたプログラム画面２２１０をスチールイメージ圧縮技法を用いてエンコーディング（Ｉｍａｇｅ  Ｅｎｃｏｄｉｎｇ）２２２０できる。この際、エンコーディング（Ｉｍａｇｅ  Ｅｎｃｏｄｉｎｇ）２２２０を行う過程は、図２１に示されたエンコーディング部２１２０の動作流れと相当できる。
【０３６２】
この際、変化したフレームを以前フレームと比較して変化した領域のみをキャプチャできる。また、変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当てて、エンコーディングプロセスを行い、変化領域をスチールイメージエンコーディングできる。
【０３６３】
その後、サーバー２２００は、スチールイメージエンコーディングされた変化した領域をユーザの端末装置にストリーミング（Ｓｔｒｅａｍｉｎｇ）（２２３０）し、スチールイメージ基盤のクラウドストリーミングサービスを提供できる。この際、ストリーミング（Ｓｔｒｅａｍｉｎｇ）（２２３０）を行う過程は、図２１に示されたセンディング部２１３０の動作流れと相当できる。
【０３６４】
その後、ユーザの端末装置では、受信したデータをレンダリング（Ｉｍａｇｅ  Ｒｅｎｄｅｒｉｎｇ）（２２４０）することによって、ユーザ入力（Ｕｓｅｒ  Ｉｎｐｕｔ）によってアプリケーションで実行されたプログラム画面２２１０がまるでユーザの端末装置で実行されたもののように、ユーザにディスプレイできる。
【０３６５】
図２３は、本発明の他の実施形態によるエンコーディング処理ユニットを示す図である。
【０３６６】
図２３を参照すれば、本発明の他の実施形態によるエンコーディング処理ユニットは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）２３１０と、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）２３２０とに区分できる。
【０３６７】
中央処理ユニット２３１０は、コンピュータの最も重要な部分であって、命令を解読し、算術論理演算やデータ処理を実行する装置であることができる。したがって、コンピュータの計算速度や一度に扱うデータ量、管理し得る主記憶装置領域のサイズなどは、中央処理ユニットの性能に依存するところが大きい。このような中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）を利用して変化領域をエンコーディングする場合、エンコーディングするデータを他のユニットに伝達せず、すぐエンコーディングを行うことができるため、データ伝達による費用は発生しないこともある。しかし、変化領域に相当するイメージをエンコーディングするための過程のうち単純計算の繰り返し及び並列処理しやすい計算のうち一つ以上が含まれた場合には、中央処理ユニット２３１０を利用してエンコーディングを行うのに時間が長くかかることができる。特に、パレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法を利用してエンコーディングを行う場合、それぞれのフレームイメージに対してカラーヒストグラムを構成し、カラーヒストグラムを基盤としてパレットを生成し、カラー量子化を行うため、エンコーディング時間が非効率的に長くなる。
【０３６８】
グラフィック処理ユニット２３２０は、３Ｄグラフィックが本格的に導入された後、ディスプレイ画面をより現実的に作るための各種光源効果及び質感表現技法を処理するために開発された３Ｄグラフィック演算専用のプロセッサである。このようなグラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）を利用して変化領域をエンコーディングする場合には、単純計算の繰り返しや並列処理しやすい計算過程が含まれていても、グラフィック処理装置の処理能力を通じて効果的にエンコーディングを行うことができる。しかし、グラフィック処理ユニットを利用して変化領域のエンコーディングを行うためには、まず、中央処理ユニットからエンコーディングするデータを伝達され、エンコーディングが完了した後にも、エンコーディングされたデータをさらに中央処理ユニットに伝達しなければならないため、追加的な伝達費用が発生し得る。  
【０３６９】
このような中央処理ユニット２３１０とグラフィック処理ユニット２３２０は、図２３のように、サーバー２３００内で独立的に存在し得る。または、図２３とは異なって、中央処理ユニット２３１０とグラフィック処理ユニット２３２０が一つの装置中に混合して存在するか、中央処理ユニット２３１０内にグラフィック処理ユニット２３２０が含まれるなど多様な形態で構成される。
【０３７０】
また、中央処理ユニット２３１０とグラフィック処理ユニット２３２０は、相互間にデータを送受信できるように連結されていてもよい。
【０３７１】
図２４は、本発明のさらに他の実施形態によるクラウドストリーミングサービスで変化領域をキャプチャする過程を示す図である。
【０３７２】
図２４を参照すれば、本発明のさらに他の実施形態によるスチールイメージ基盤クラウドストリーミングサービスは、第１フレーム２４１０と第２フレーム２４２０を比較し、変化した変化領域２４３０のみをキャプチャしてエンコーディングできる。
【０３７３】
例えば、第１フレーム２４１０と第２フレーム２４２０でＢ、Ｃ、Ｄ及びＥの領域をメニューディスプレイと仮定したとき、第１フレーム２４１０では、Ｃ領域にカーソルが位置することによって、Ｃ領域が他のＢ、Ｄ、及びＥ領域と区別され得るように陰影処理され、第２フレーム２４２０では、Ｃ領域からＤ領域にカーソルが移動することによって、Ｄ領域が他のＢ、Ｃ及びＥ領域と区別され得るように陰影処理され得る。
【０３７４】
この際、第１フレーム２４１０と第２フレーム２４２０を比較したとき、変化した領域であるＣとＤ領域のみを変化領域２４３０としてキャプチャできる。また、変化領域２４３０に対するエンコーディングプロセスを複数個の単位プロセスに分離し、単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当てて、エンコーディングプロセスを行い、変化領域２４３０をスチールイメージエンコーディングできる。
【０３７５】
このように第１フレーム２４１０と第２フレーム２４２０は、確かに変化があるフレームであって、従来のクラウドストリーミングサービス時には、二つのフレームを含んでフレームレートに相当する数のフレームをすべてキャプチャしてエンコーディングを行わなければならない。しかし、スチールイメージ基盤クラウドストリーミングサービスは、変化領域２４３０のみをキャプチャしてスチールイメージ圧縮技法でエンコーディングするため、不要に多くのフレームとフレームの画面全体をキャプチャする従来のクラウドストリーミングサービス方法よりサービスの効率性を向上させることができる。
【０３７６】
図２５は、本発明の一実施形態によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法を示す動作流れ図である。
【０３７７】
図２５を参照すれば、本発明の一実施形態によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法は、変化したフレームに含まれた変化領域をキャプチャする（Ｓ２５１０）。ビデオコーデック基盤のクラウドストリーミング技法は、アプリケーションが動作する画面に相当するすべてのフレームをキャプチャしてエンコーディングを行うことができる。しかし、アプリケーションが動作する画面上でフレーム間変化が大きくない場合には、変化したフレームの変化領域のみをキャプチャし、スチールイメージエンコーディングを行い、ユーザの端末装置にディスプレイするとき、変化領域を除いた部分は、同一に示し、変化領域のみに対して変化を与える方式でディスプレイできる。
【０３７８】
この際、変化したフレームに相当する画面領域のうち変化したフレームの以前フレームに相当する画面領域と比較して変化した領域を変化領域としてキャプチャできる。例えば、変化したフレームに相当する画面領域のうち変化したフレームの以前フレームに相当する画面領域と比較して変化した領域がＡ領域であれば、変化したフレームに相当する画面領域のうちＡ領域のみを変化領域としてキャプチャできる。このような変化領域は、ユーザの端末装置で入力される入力信号によって解像度や変化領域に相当するイメージのタイプが多様である。
この際、ユーザの端末装置に伝送されるフレーム全体区間のうちフレーム変化が少ない区間を検出し、フレーム変化が少ない区間で変化領域をキャプチャできる。
【０３７９】
この際、ユーザの端末装置から発生するアプリケーションのイベント類型を感知し、フレーム変化が少ない区間を検出できる。例えば、ユーザの端末装置から発生する入力信号によってアプリケーションのイベント類型が決定され得る。入力信号によってメニュー、オプション、案内窓のように、アプリケーションを実行したときにフレームの変化が少ない静的なイベント、または動画再生及びゲームプレイのように、フレームが頻繁に変わる動的なイベントが発生し得る。したがって、ユーザが端末装置を介して発生させる入力信号でイベント類型を感知し、イベント類型が静的なイベントであれば、当該イベントに相当するフレーム全体区間のうちフレーム変化が少ない区間を検出できる。  
【０３８０】
また、本発明の一実施形態によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法は、変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当てて、エンコーディングプロセスを行い、変化領域をスチールイメージエンコーディングする（Ｓ２５２０）。
【０３８１】
クラウドストリーミングサーバーで変化領域に相当するイメージをエンコーディングするとき、中央処理ユニットのみを使用してサービスを行う従来の方式では、クラウドストリーミングサーバーの全体可用資源を使用しないため、イメージエンコーディングの時間遅延によってサービス品質が低下することがある。したがって、本発明では、エンコーディングプロセスを複数の単位プロセスに細分化し、それぞれの単位プロセスを中央処理装置とグラフィック処理装置に適切に割り当てて、エンコーディングを行うことによって、従来の方式で発生することができた問題点を解決できる方案を提示できる。
【０３８２】
この際、単位プロセスは、変化領域に相当するイメージ分析、スチールイメージ圧縮技法の決定、スチールイメージ圧縮及び圧縮データ集約のうちいずれか一つに相当できる。イメージ分析は、変化領域に相当するイメージがどんな特性を有しているかを分析する過程であることができる。例えば、イメージのサイズや解像度及びタイプなどのイメージ特性を分析し、効率的なエンコーディングを行うためのデータとして使用できる。
【０３８３】
また、スチールイメージ圧縮技法の決定に相当する単位プロセスを行うことによって、変化領域の圧縮を行うとき、クラウドストリーミングサーバーの資源をさらに効率的に使用できる。その後、変化領域に相当する少なくとも一つ以上のイメージをスチールイメージ圧縮した結果を利用して最終的に圧縮データ集約に相当するプロセスを行うことができる。
【０３８４】
この際、イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシング結果を基盤としてグラフィック処理ユニットにスチールイメージ圧縮に相当する単位プロセスを割り当てることができる。例えば、イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシング結果変化領域をエンコーディングするスチールイメージ圧縮技法でパレットＰＮＧ（ｐｏｒｔａｂｌｅ  ｎｅｔｗｏｒｋ  ｇｒａｐｈｉｃｓ）スチールイメージ圧縮技法が決定され得る。この際、パレットＰＮＧスチールイメージ圧縮技法を利用してスチールイメージエンコーディングを行う過程には、単純な計算の繰り返しや並列で処理しやすい計算過程が含まれることができる。したがって、このような場合には、単位プロセスのうちスチールイメージ圧縮を行う単位プロセスをグラフィック処理ユニットに割り当てることによって、エンコーディングに使用される時間を節約し、クラウドストリーミングサーバーの資源を効率的に使用できる。
【０３８５】
また、イメージ分析及びスチールイメージ圧縮技法の決定に相当するプロセッシング結果に相関なく、システム設定によって、グラフィック処理ユニットを利用してスチールイメージ圧縮に相当する単位プロセスを行うこともできる。クラウドストリーミングシステムが中央処理ユニットだけで構成された場合には、中央処理ユニットを利用してすべてのプロセスを行わなければならないため、ユーザの端末にクラウドストリーミングサービスを提供するとき、レイテンシ遅延が発生する可能性が高い。したがって、中央処理ユニットを一つまたは複数個具備してスチールイメージ圧縮に相当する単位プロセスをグラフィック処理ユニットで行い、プロセッシング結果を中央処理ユニットに再伝達することによって、クラウドストリーミングシステムの管理費用節減及びレイテンシ遅延減少の効果を達成できる。
【０３８６】
この際、スチールイメージ圧縮は、変化領域に相当するイメージに対してカラーヒストグラム構成、パレット生成、パレット基盤の原本カラー量子化及びパレット基盤エンコーディングのうち一つ以上の過程を含む。カラーヒストグラム構成は、変化領域に相当するイメージに対するパレットを生成するために行われることができる。パレット生成は、カラーヒストグラムを利用して原本イメージ、すなわち変化領域に相当するイメージ対比最小損失が生じるパレットを生成する過程であることができる。このように生成したパレットを基盤として変化領域に相当するイメージのカラーを、パレットに相当するカラーに置換して原本カラー量子化を行い、パレット基盤エンコーディングを行うことができる。
この際、グラフィック処理ユニットは、スチールイメージ圧縮に相当するプロセッシング結果を中央処理ユニットに伝達できる。例えば、複数個の変化したフレームに含まれた変化領域に対してグラフィック処理ユニットでスチールイメージ圧縮に相当する単位プロセスを行い、それぞれのプロセッシング結果を、圧縮データ集約に相当する単位プロセスを行う中央処理ユニットに伝達できる。このようにエンコーディングプロセスを複数個に細分化して中央処理ユニット及びグラフィック処理ユニットのうちいずれか一つで行うことによって、プロセッシング結果を伝達する資源消耗費用が追加に発生し得るが、エンコーディングプロセスを細分化して処理することによって得ることができる資源効率利得が追加に発生し得る資源消耗費用より大きいため、さらに効果的なエンコーディング方法であることができる。
【０３８７】
この際、中央処理ユニットは、スチールイメージ圧縮に相当するプロセッシング結果を利用して圧縮データ集約に相当する単位プロセスを行うことができる。例えば、グラフィック処理ユニットを通じて生成されたスチールイメージ圧縮に相当するプロセッシング結果が複数の場合には、それぞれのプロセッシング結果、すなわち圧縮データを集約できる。エンコーディングプロセスを行い、ユーザの端末装置にスチールイメージ基盤のクラウドストリーミングサービスを提供することが本発明の目的であるため、ユーザの端末装置にサービスを提供できるように、複数の圧縮データを集約し、エンコーディングプロセスを行うことができる。
【０３８８】
この際、中央処理ユニットは、スチールイメージ圧縮に相当する単位プロセスがグラフィック処理ユニットに割り当てられた場合、変化領域に相当するイメージデータをグラフィック処理ユニットに伝達できる。イメージ分析及びスチールイメージ圧縮技法の決定に相当する単位プロセスのプロセッシング結果によってスチールイメージ圧縮に相当する単位プロセスがグラフィック処理ユニットに割り当てされるか否かが決定され得る。例えば、イメージ分析及びスチールイメージ圧縮技法の決定に相当する単位プロセスのプロセッシング結果変化領域に相当するイメージをパレットＰＮＧスチールイメージ圧縮技法で圧縮する場合には、単純計算を繰り返し、並列処理しやすい計算が存在するので、グラフィック処理ユニットでスチールイメージ圧縮を行うことが、中央処理ユニットでスチールイメージ圧縮を行うことよりさらに効率的なことがある。したがって、前記のように、グラフィック処理ユニットでスチールイメージ圧縮に相当する単位プロセスが割り当てられた場合には、圧縮されるイメージデータ、すなわち変化領域に相当するイメージデータをグラフィック処理ユニットに伝達できる。
【０３８９】
また、本発明の一実施形態によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法は、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行う（Ｓ２５３０）。エンコーディングを完了することによって圧縮された変化領域をユーザの端末装置に伝送することによって、ユーザの端末装置でアプリケーションが実行される感じを受けることができるように、クラウドストリーミングサービスを行うことができる。
【０３９０】
また、図２５には図示していないが、本発明の一実施形態による選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービス方法は、クラウドストリーミングサービス過程で発生する多様な情報を格納できる。
【０３９１】
図２６は、本発明の一実施形態によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法を詳細に示す動作流れ図である。
【０３９２】
図２６を参照すれば、本発明の一実施形態によるエンコーディング処理ユニットの作業分離を用いたクラウドストリーミングサービス方法は、まず、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャする（Ｓ２６１０）。
【０３９３】
その後、変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離する（Ｓ２６２０）。
【０３９４】
その後、中央処理ユニットを利用して変化領域に相当するイメージを分析する（Ｓ２６３０）。
【０３９５】
その後、中央処理ユニットを利用して変化領域に相当するスチールイメージ圧縮技法を決定する（Ｓ２６４０）。
【０３９６】
その後、所定のスチールイメージ圧縮技法によってグラフィック処理ユニットにスチールイメージ圧縮に相当する単位プロセスを割り当てる（Ｓ２６５０）。
【０３９７】
その後、中央処理ユニットを利用して変化領域に相当するイメージデータをグラフィック処理ユニットに伝達する（Ｓ２６６０）。
【０３９８】
その後、グラフィック処理ユニットを利用してスチールイメージ圧縮を行い、スチールイメージ圧縮に相当するプロセッシング結果を中央処理ユニットに伝達する（Ｓ２６７０）。
【０３９９】
その後、中央処理ユニットは、スチールイメージ圧縮に相当するプロセッシング結果を利用して圧縮データ集約に相当する単位プロセスを行う（Ｓ２６８０）。
【０４００】
その後、スチールイメージエンコーディングされた変化領域をユーザに伝達する（Ｓ２６９０）。
【０４０１】
コンピュータプログラムコマンドとデータを格納するに適したコンピュータで読み取り可能な媒体は、例えば、記録媒体は、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（Ｍａｇｎｅｔｉｃ  Ｍｅｄｉａ）、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｄｉｓｋ）のような光記録媒体（Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、フロプチカルディスク（Ｆｌｏｐｔｉｃａｌ  Ｄｉｓｋ）のような磁気−光媒体（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  Ｍｅｄｉａ）、及びロム（ＲＯＭ、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ラム（ＲＡＭ、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）のような半導体メモリを含む。プロセッサとメモリは、特殊目的の論理回路によって補充されるか、それに統合され得る。プログラム命令の例には、コンパイラーによって作われるもののような機械語コードだけでなく、インタプリターなどを使用してコンピュータによって実行され得る高級言語コードを含む。このようなハードウェア装置は、本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成され、その逆も同様である。
【０４０２】
本明細書は、多数の特定の具現物の詳細事項を含むが、これらは、いかなる発明や請求可能なものの範囲に対しても制限的なものとして理解されてはならず、むしろ特定の発明の特定の実施形態に特有な特徴に対する説明として理解しなければならない。個別的な実施形態の文脈で本明細書に記述された特定の特徴は、単一実施形態で組み合わせて具現されることもできる。反対に、単一実施形態の文脈で記述した多様な特徴も個別的にあるいはいかなる適切な下位組合でも複数の実施形態で具現可能である。さらに、特徴が特定の組合で動作し、初期にそのように請求されたように描写され得るが、請求された組合からの一つ以上の特徴は、一部の場合にその組合から排除され得、その請求された組合は、下位組合や下位組合の変形物に変更され得る。
【０４０３】
同様に、特定の手順で図面で動作を描いているが、これは、好適な結果を得るために図示されたその特定の手順や順次な順にそのような動作を実行しなければならないか、すべての図示された動作が実行されなければならないものと理解されてはならない。特定の場合、マルチタスキングと並列プロセッシングが有利であることができる。また、前述した実施形態の多様なシステムコンポネントの分離は、そのような分離をすべての実施形態で要求するものと理解されてはならず、説明したプログラムコンポネントとシステムは、一般的に単一のソフトウェア製品に一緒に統合されるか、多重ソフトウェア製品にパッケージングされ得るという点を理解しなければならない。
【０４０４】
なお、本明細書と図面に開示された本発明の実施形態は、理解を助けるために特定の例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施形態以外にも、本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者に自明である。
【産業上の利用可能性】
【０４０５】
本発明によれば、以前フレーム及び現在フレームの差分フレームを利用して変化ピクセルを含み、且つ最小広さを有する矩形領域を変化領域として決定してキャプチャし、変化領域に相当するイメージのカラー個数及びイメージ画素値の標準偏差のうち一つ以上を考慮して決定したイメージタイプによってスチールイメージ（ｓｔｉｌｌ  ｉｍａｇｅ）圧縮技法を選択し、選択したスチールイメージ圧縮技法を利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うことができる。ひいては、スチールイメージ圧縮技法を利用したクラウドストリーミングサービスを通じてストリーミング圧縮効率を極大化し、同一の帯域を通じて一層速くて且つさらに多いユーザを対象としてクラウドストリーミングサービスを提供できるため、クラウドストリーミングサービス提供者は、帯域拡張が必要な資源を節約できると共に、ユーザに効率的なサービスを提供できる。
【０４０６】
また、本発明によれば、変化したフレームに含まれた変化領域をキャプチャし、変化領域に相当するイメージ特性情報が存在するか否かを考慮してエンコーディング方式を決定し、エンコーディング方式を利用して変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うことができる。ひいては、クラウドストリーミングサービスのためのエンコーディングを行うとき、イメージ特性情報を利用してエンコーディング方式を決定することによって、従来イメージプロセッシングに必要であったクラウドストリーミングサーバーの資源を節約でき、そのため、さらに効率的なクラウドストリーミングサービスを提供する効果をもたらすことができる。
【０４０７】
また、本発明によれば、以前フレームと比較して変化したフレームに含まれた変化領域をキャプチャし、変化領域に相当するイメージタイプ及びイメージ解像度のうち一つ以上を考慮してエンコーディング処理ユニットを選択し、エンコーディング処理ユニットを利用して一つのフレームに相当する変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うことができる。ひいては、選択的エンコーディング処理ユニットを利用したクラウドストリーミングサービスを通じてクラウドストリーミングサーバーの資源活用効率を上昇させることができ、クラウドストリーミングサービスを提供するための処理費用を節減する効果を期待できる。  
【０４０８】
また、本発明によれば、変化したフレームに含まれた変化領域をキャプチャし、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）を利用して変化領域を圧縮し、変化領域に対するエンコーディングプロセスを複数個の単位プロセスに分離し、単位プロセスのうち少なくとも一つ以上は、グラフィック処理ユニット（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＧＰＵ）に割り当て、グラフィック処理ユニットに割り当てられない残りの単位プロセスは、中央処理ユニット（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ；ＣＰＵ）に割り当てて、エンコーディングプロセスを行い、変化領域をスチールイメージエンコーディングし、スチールイメージエンコーディングされた変化領域をユーザに伝送し、スチールイメージ基盤のクラウドストリーミングサービスを行うことができる。ひいては、エンコーディング処理ユニットのプロセス分離を用いたクラウドストリーミングサービスを通じてクラウドストリーミングサーバーの資源を節約でき、クラウドストリーミングサービスを提供するための全体的な費用を節減する効果を期待できる。
【図１】
2017529716.tif 000003
【図２】
2017529716.tif 000004
【図３】
2017529716.tif 000005
【図４】
2017529716.tif 000006
【図５】
2017529716.tif 000007
【図６】
2017529716.tif 000008
【図７】
2017529716.tif 000009
【図８】
2017529716.tif 000010
【図９】
2017529716.tif 000011
【図１０】
2017529716.tif 000012
【図１１】
2017529716.tif 000013
【図１２】
2017529716.tif 000014
【図１３】
2017529716.tif 000015
【図１４】
2017529716.tif 000016
【図１５】
2017529716.tif 000017
【図１６】
2017529716.tif 000018
【図１７】
2017529716.tif 000019
【図１８】
2017529716.tif 000020
【図１９】
2017529716.tif 000021
【図２０】
2017529716.tif 000022
【図２１】
2017529716.tif 000023
【図２２】
2017529716.tif 000024
【図２３】
2017529716.tif 000025
【図２４】
2017529716.tif 000026
【図２５】
2017529716.tif 000027
【図２６】
2017529716.tif 000028
【国際調査報告】
2017529716.tif 000029
2017529716.tif 000030
2017529716.tif 000031
2017529716.tif 000032