【手続補正書】
【提出日】平成23年3月7日(2011.3.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
画像トランスコード分野における近年の進歩にも関わらず、スケーリング、圧縮ファイルサイズ制限および画質を考慮にいれた向上したトランスコード法の開発はまだ完全ではない。
［先行技術文献］
［特許文献］
［特許文献１］米国特許第６９９２６８６号明細書
［特許文献２］米国特許第７２４５８４２号明細書
［特許文献３］米国特許第６２３３３５９号明細書
［特許文献４］米国特許出願公開第２００７／０２３９６３４号明細書
［特許文献５］米国特許出願公開第２００４／０２２０８９１号明細書
［特許文献６］米国特許出願公開第２００３／０１６１５４１号明細書
［特許文献７］国際公開第２００６／０８５３０１号
［特許文献８］国際公開第２００６／０９４０００号
［特許文献９］国際公開第２００６／１１０９７５号
［非特許文献］
［非特許文献１］"The independent JPEG Group" ftp.uu.net/graphics/jpeg/jpegsrc.v6b.tar.gz, August 03, 2007
［非特許文献２］Multimedia Messaging Service, Media formats and codecs 3GPP TS 26. 140, V7.1.0, http://www.3gpp.org/ftp/specs/html-info/26140.htm, June 2007
［非特許文献３］PIGEON, S., COULOMBE, S. "Very Low Cost Algorithms for Predicting the File Size of JPEG Images Subject to Changes of Quality Factor and Scaling" Data Compression Conference p. 528, 2008
［非特許文献４］PIGEON, S., COULOMBE, S. "Computationally Efficient Algorithms for Predicting the File Size of JPEG Images Subject to Changes of Quality Factor and Scaling "Proceedings of ghe 24th Queen"s Biennial Symposium on Communications, Queen's University, Kingston, Canada, 2008
［非特許文献５］WANG, Z., BOVIC, A., RAHIM, H., SHEIKH, SIMONCELLI, E. "Image Quality Assessment: From Error Visibility to Structural Similarity" IEEE Transactions on Image Processing, vol. 13, no.4, p.p. 600-612, April 2004
［非特許文献６］JPEG - Wikipedia, the free encyclopedia, http://en.wikipedia.org/wiki/JPEG, August 05, 2007
［非特許文献７］S. CHANDRA and C.S.ELLIS "JPEG Compression Metric as a Quality Aware Image Transcoding"Proceedings of USITS' 99: The 2nd USENIX Symposium on Internet Technologies and Systems, Boulder, Colorado, USA, October 11-14, 1999.
［非特許文献８］S.COULOMBE and G.GRASSEL, "Multimedia adaptation for the multimedia messaging service, "IEEE Communications Magazine, vol.42, no.7, pp.120-126, July 2004.
［非特許文献９］Z.LEI and N.D.GEORGANS, "Accurate bit allocation and rate control for DCT domain video transcoding," in IEEE CCECE 2002. Canadian Conference on Electrical and Computer Engineering, vol.2, pp.968-973, 2002.
［非特許文献１０］A.VETRO, C.CHRISTOPOULOS, and H.SUN, "Video transcoding architectures and techniques: an overview," IEEE Signal Processing Magazine, vol.20, no.2, pp.18-29, March 2003.
［非特許文献１１］J.RIDGE, "Efficient transform-domain size and resolution reduction of images, "Signal Processing Image Communication, vol.18, no.8, pp.621-639, September 2003
［非特許文献１２］The independent JPEG Group's JPEG Software, release 6b, Documentation Roadmap and associated software, published on the Internet at ftp.uu.net (Internet address 192.48.96.9) on March 27, 1998
［非特許文献１３］S.GRGI'C, M.GRGI'C, and M.MRAK, "Reliability of objective picture quality measures," Journal of Electrical Engineering, vol.55, no.1-2, pp.3-10, 2004
［非特許文献１４］OMA Multimedia Messaging Service, Architecture Overview, Approved Version 1.2 01 March 2005, published by Open Mobile Alliance, available from http://www.openmobilealliance.org/release_program/mms_v1_2.html
［非特許文献１５］3GPP in 3GPP TS 23.140 V6.14.0 (November 06, 2006) Technical Specification 3rd Generation Partnership Project; Technical Specification Group Core Network and Terminals; Multimedia Messaging Service (MMS); Functional description; Stage 2 (Release 6) at http://www.3gpp.org/ftp/Specs/html-info/23140.htm (document http://www.3gpp.org/FTP/Specs/archive/23_series/23.140/23140-6e0.zip)
［非特許文献１６］International Serch Report and Written Opinion rendered by CIPO, dated October 06, 2008
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ファイルサイズおよび画像サイズにおける制約のある端末用に入力画像を出力画像にトランスコードする画像トランスコードシステムであって、
コンピュータ実行可能命令を格納するコンピュータ可読格納媒体を有するコンピュータを備え、前記コンピュータ実行可能命令は前記コンピュータに実行されると、
前記入力画像のサイズ、ファイルサイズ、および符号化画質係数ＱＦ（Ｉ）を判断する画像特徴抽出モジュールと、
トランスコーダスケーリング係数ｚＴとトランスコーダ画質係数ＱＦＴとを含むトランスコードパラメータで、前記入力画像を前記出力画像にトランスコードするトランスコードモジュールと、
前記トランスコードの画質メトリックを決定する画質決定ブロックと、
前記出力画像の相対的な出力ファイルサイズを、前記トランスコードパラメータの関数として決定する画質およびファイルサイズ予測モジュールと、
相対的なファイルサイズの最大値を満たす最適なトランスコードパラメータと、前記出力画像の最高画質に対応する前記画質メトリックとを決定する画質認識パラメータ選択モジュールとを提供する画像トランスコードシステム。
【請求項２】
前記トランスコードモジュールは、
前記入力画像を伸張する伸張モジュールと、
前記伸張された入力画像を前記トランスコーダスケーリング係数ｚＴでスケーリングするスケーリングモジュールと、
前記伸張されスケーリングされた入力画像を、前記トランスコーダ画質係数ＱＦＴで圧縮する圧縮モジュールとを含む請求項１に記載の画像トランスコードシステム。
【請求項３】
前記画質認識パラメータ選択モジュールは、
前記入力画像のサイズおよび前記端末の制約から決定されるスケーリング係数の最大値より小さい前記スケーリング係数ｚＴと、前記トランスコーダ画質係数ＱＦＴとの実現可能な組み合わせを選択する計算手段と、
前記出力画像の最高画質に対応する前記画質メトリックが見つかるまで、特異な値の対（ｚＴ、ＱＦＴ）を反復して選択する計算手段とを含み、
前記実現可能な組み合わせにより、前記相対的なファイルサイズの最大値を考慮する相対的な出力ファイルサイズ予測が行われる請求項２に記載の画像トランスコードシステム。
【請求項４】
前記画質決定ブロックは、前記画質メトリックとして予測された画質メトリックを検索する画質予測テーブルを含み、
前記画質予測テーブルは、前記予測された画質メトリックを示す複数のテーブル入力値を含み、
前記予測された画質メトリックは、
前記入力画像の前記符号化画質係数ＱＦ（Ｉ）に等しい入力画質係数QF_inと、
前記トランスコーダスケーリング係数ｚＴまたは前記出力画像の観察条件に適した別の値に等しくなるよう設定されうる観察スケーリング係数ｚＶと、
前記トランスコーダ画質係数ＱＦＴと、
前記トランスコーダスケーリング係数ｚＴとにより指標付される請求項３に記載の画像トランスコードシステム。
【請求項５】
前記画質予測テーブルは、前記予測された画質メトリックを示す複数のテーブル入力値を含み、
前記予測された画質メトリックは、さらに、前記観察スケーリング係数ｚＶにより指標付され、
前記観察スケーリング係数ｚＶは、前記トランスコーダスケーリング係数ｚＴと前記スケーリング係数の最大値との間の範囲の値に等しくなるよう設定される請求項４に記載の画像トランスコードシステム。
【請求項６】
前記画質決定ブロックは、前記画質メトリックを明示的に計算する画質評価モジュールを含み、
前記画質評価モジュールは、
前記出力画像を伸張する伸張（Ｒ）モジュールと、
前記伸張した出力画像をリスケーリング係数ｚＲでスケーリングするスケーリング（ｚＲ）モジュールと、
前記入力画像を伸張する伸張（Ｖ）モジュールと、
前記伸張した入力画像を前記観察スケーリング係数ｚＶでスケーリングするスケーリング（ｚＶ）モジュールと、
前記伸張されスケーリングされた出力画像と、前記伸張されスケーリングされた入力画像とから、前記画質メトリックを計算する画質計算モジュールとを含む請求項４または５に記載の画像トランスコードシステム。
【請求項７】
前記画質認識パラメータ選択モジュールは、
前記実現可能な組み合わせ(zT,QFT)の実現可能なセット「Ｆ」を格納する手段と、
前記画質予測テーブルから得られた前記予測された画質メトリックにより前記実現可能なセット「Ｆ」の中の入力値をソートする計算手段と、
前記実現可能なセット「Ｆ」の、期待できるサブセットを生成する計算手段と、
前記画質メトリックが最適化されるまで、前記画質評価モジュールで、前記期待できるサブセットから特異な値の対(zT,QFT)を反復して選択し、対応する画質メトリックを計算する計算手段とを含む請求項６に記載の画像トランスコードシステム。
【請求項８】
前記画質メトリックは、前記入力画像と比較した前記出力画像の測度に基づく請求項１から７のいずれか一項に記載の画像トランスコードシステム。
【請求項９】
前記測度は、前記入力画像に対する前記出力画像のピーク信号対ノイズ比（ＰＳＮＲ）測度、または、前記入力画像に対する前記出力画像の極大差（ＭＤ）測度のいずれかである請求項８に記載の画像トランスコードシステム。
【請求項１０】
前記入力画像および前記出力画像はＪＰＥＧ画像である請求項１から９のいずれか一項に記載の画像トランスコードシステム。
【請求項１１】
デバイスファイルサイズおよび画像サイズにおける制約のある端末での表示用に入力画像を出力画像に画質を認識してトランスコードする方法であって、
（ａ）前記端末の前記制約を取得する段階と、
（ｂ）前記入力画像を取得する段階と、
（ｃ）前記入力画像のサイズと前記ファイルサイズとを含む前記入力画像の特徴を抽出する段階と、
（ｄ）前記端末の前記制約と前記抽出された特徴とから前記出力画像のファイルサイズを予測する段階と、
（ｅ）前記端末の前記制約を充たす実現可能なトランスコードパラメータセットを選択する段階と、
（ｆ）選択された実現可能なトランスコードパラメータで、前記入力画像を前記出力画像にトランスコードする段階と、
（ｇ）前記出力画像の画質メトリックを決定する段階と、
（ｈ）前記出力画像の最高画質に対応する前記画質メトリックが見つかるまで前記段階（ｅ）から（ｇ）を繰り返す段階とを備える方法。
【請求項１２】
前記段階（ｄ）は、
前記入力画像の前記画像サイズとサイズとから、スケーリング係数の最大値ｚ＿ｍａｘを決定する段階と、
前記デバイスファイルサイズと前記入力画像の前記ファイルサイズとから、相対的なファイルサイズの最大値を決定する段階とを有する請求項１１に記載の方法。
【請求項１３】
前記段階（ｅ）は、
複数の実現可能なトランスコードパラメータの値の対を選択する段階を有し、
各値の対は、前記スケーリング係数の最大値ｚ＿ｍａｘを超えないトランスコーダスケーリング係数ｚＴと、予測される相対的な出力ファイルサイズが、前記相対的なファイルサイズの最大値を超えないよう選択されるトランスコーダ画質係数ＱＦＴとを含む請求項１２の記載の方法。
【請求項１４】
前記段階（ｃ）は、前記入力画像の符号化画質係数ＱＦ（Ｉ）を抽出する段階を有し、
前記段階（ｅ）は、前記相対的な出力ファイルサイズを、前記符号化画質係数ＱＦ（Ｉ）と、前記トランスコーダスケーリング係数ｚＴと、前記トランスコーダ画質係数ＱＦＴとの関数として予測する段階を有する請求項１３に記載の方法。
【請求項１５】
前記段階（ｇ）は、
（ｉ）前記入力画像を伸張して、観察スケーリング係数ｚＶでスケーリングして、第１の中間画像を生成する段階と、
（ｉｉ）前記出力画像を伸張して、リスケーリング係数ｚＲでスケーリングして、第２の中間画像を生成する段階と、
（ｉｉｉ）前記第１の中間画像と比較した前記第２の中間画像の測度に基づいて前記画質メトリックを計算する段階とを有し、
前記観察スケーリング係数ｚＶは、前記出力画像に予測される観察条件に基づいてｚＴおよび１の間で選択され、
ｚＲはzR = zV / zと計算される請求項１３または１４に記載の方法。
【請求項１６】
前記段階（ｅ）は、前記画質メトリックを検索するべく画質予測テーブルを用いる段階を有し、前記画質予測テーブルは前記複数の実現可能なトランスコードパラメータにより指標付される請求項１１から１５の何れか１項に記載の方法。
【請求項１７】
前記段階（ｇ）は、２以上の指標により指標付される多次元画質予測テーブルから前記画質メトリックを読み出す段階を有し、
前記２以上の指標は、
（指標１）前記入力画像の前記符号化画質係数ＱＦ（Ｉ）、
（指標２）前記出力画像に予測される観察条件に基づいてｚＴおよび１の間で選択される観察スケーリング係数ｚＶ、
（指標３）前記トランスコーダ画質係数ＱＦＴ、および
（指標４）前記トランスコーダスケーリング係数ｚＴから選択される請求項１６に記載の方法。
【請求項１８】
前記段階（ｇ）は、前記画質予測テーブルの複数の入力値の間を、前記２以上の指標のうち少なくとも１つについて補間する段階を有する請求項１７に記載の方法。
【請求項１９】
前記段階（ｇ）は、前記入力画像と比較した前記出力画像の測度に基づいて前記画質メトリックを計算する段階を有する請求項１１から１８のいずれか一項に記載の方法。
【請求項２０】
前記測度は、前記出力画像と前記入力画像との間のピーク信号対ノイズ比（ＰＳＮＲ）測度、または、前記出力画像と前記入力画像との間の極大差（ＭＤ）測度のいずれかである請求項１９に記載の方法。
【請求項２１】
プロセッサに実行されると請求項１１から２０のいずれか一項に記載の前記方法の前記複数の段階を実行するコンピュータ可読命令を格納して備えるコンピュータ可読媒体。