(57)【要約】  テキストを有する画像をサイズ変更するための、電子デバイスによって実行される方法を開示する。この方法は、画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するステップを含み得る。レイアウト情報は、画像中の少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含み得る。この方法はまた、レイアウト情報、画像のサイズ、およびターゲット画像サイズに基づいて、画像に対して、シームカービング動作、クロッピング動作、またはスケーリング動作を選択することもできる。レイアウト情報、画像のサイズ、またはターゲット画像サイズのうちの1つに少なくとも基づいて、画像をターゲット画像サイズにサイズ変更するために、選択された動作が実行され得る。サイズ変更された画像は、少なくとも1つのテキスト領域を含み得る。
2018509644.tif 000002
【特許請求の範囲】
【請求項１】
テキストを有する画像をサイズ変更するための、電子デバイスにおいて実行される方法であって、
前記画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するステップであって、前記レイアウト情報が、前記画像中の前記少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、ステップと、
前記レイアウト情報、前記画像のサイズ、およびターゲット画像サイズに基づいて、前記画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択するステップと、
前記レイアウト情報、前記画像の前記サイズ、または前記ターゲット画像サイズのうちの1つに少なくとも基づいて、前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行するステップであって、前記サイズ変更された画像が前記少なくとも1つのテキスト領域を含む、ステップと
を含む方法。
【請求項２】
前記レイアウト情報を決定するステップが、
前記画像中の複数のテキスト部分を検出するステップと、
前記複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの1つに少なくとも基づいて、前記複数のテキスト部分のうちの少なくとも1つを、前記少なくとも1つのテキスト領域にクラスタ化するステップと
を含む、請求項1に記載の方法。
【請求項３】
前記少なくとも1つのテキスト領域の前記レイアウト情報を決定するステップが、
前記画像中の前記少なくとも1つのテキスト領域中でテキストを認識するステップと、
前記画像中の前記少なくとも1つのテキスト領域中の前記認識されたテキストに基づいて、前記少なくとも1つのテキスト領域の各々のための優先度を決定するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記少なくとも1つのテキスト領域の各々のための前記優先度を決定するステップが、前記認識されたテキストに基づいて、前記テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを決定するステップを含む、請求項3に記載の方法。
【請求項５】
前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行するステップが、
前記少なくとも1つのテキスト領域から、低優先度に関連付けられたテキスト領域を選択するステップと、
前記画像から前記選択されたテキスト領域を除去するために、前記選択された動作を実行するステップと
を含む、請求項3に記載の方法。
【請求項６】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するステップが、前記レイアウト情報に応答して、前記シームカービング動作を選択するステップであって、前記レイアウト情報が、前記画像中の複数のテキスト領域を示す、ステップを含む、請求項1に記載の方法。
【請求項７】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するステップが、前記シームカービング動作を選択するステップを含み、
前記選択された動作を実行するステップが、
前記画像中の複数のピクセルのための複数のエネルギー値を計算するステップであって、前記ピクセルの各々のエネルギー値が、前記ピクセルがテキストである確率を示す、ステップと、
前記画像中の前記ピクセルのための前記エネルギー値に基づいて、前記画像中の複数のシームを決定するステップであって、前記シームの各々が、最小エネルギー勾配のパスに沿った前記複数のピクセルのセットを含む、ステップと、
前記画像中の前記シームの各々における前記ピクセルの前記エネルギー値の和に基づいて、前記画像から前記シームのうちの少なくとも1つを除去するステップと
を含む、請求項1に記載の方法。
【請求項８】
前記少なくとも1つのテキスト領域の前記レイアウト情報を決定するステップが、
前記画像中の前記少なくとも1つのテキスト領域中でテキストを認識するステップと、
前記画像中の前記少なくとも1つのテキスト領域中の前記認識されたテキストに基づいて、前記少なくとも1つのテキスト領域の各々のための優先度を決定するステップと
を含み、
前記複数のエネルギー値を計算するステップが、前記少なくとも1つのテキスト領域の各々のための前記優先度に基づいて、前記少なくとも1つのテキスト領域に関連付けられた前記ピクセルのための前記エネルギー値を調整するステップを含む、請求項7に記載の方法。
【請求項９】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するステップが、前記画像中の単一のテキスト領域を示す前記レイアウト情報に応答して、前記クロッピング動作を選択するステップを含み、
前記単一のテキスト領域のサイズが、前記ターゲット画像サイズ以下である、請求項1に記載の方法。
【請求項１０】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するステップが、前記画像中の単一のテキスト領域を示す前記レイアウト情報に応答して、前記スケーリング動作を選択するステップを含み、
前記単一のテキスト領域のサイズが、前記ターゲット画像サイズよりも大きい、請求項1に記載の方法。
【請求項１１】
前記選択された動作を実行するステップが、
前記画像を、前記ターゲット画像サイズよりも大きいサイズを有する中間画像にサイズ変更するために、前記選択された動作を実行するステップと、
前記選択された動作以外の、前記シームカービング動作、前記クロッピング動作、および前記スケーリング動作の中の少なくとも1つの動作を実行することによって、前記中間画像を前記ターゲット画像サイズにサイズ変更するステップと
を含む、請求項1に記載の方法。
【請求項１２】
テキストを有する画像をサイズ変更するための電子デバイスであって、
前記画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するように構成された、レイアウト情報決定ユニットであって、前記レイアウト情報が、前記画像中の前記少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、レイアウト情報決定ユニットと、
前記レイアウト情報、前記画像のサイズ、およびターゲット画像サイズに基づいて、前記画像に対して、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するように構成された、サイズ変更動作選択ユニットと、
前記レイアウト情報、前記画像の前記サイズ、または前記ターゲット画像サイズのうちの1つに少なくとも基づいて、前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行するように構成された、サイズ変更ユニットであって、前記サイズ変更された画像が前記少なくとも1つのテキスト領域を含む、サイズ変更ユニットと
を備える電子デバイス。
【請求項１３】
前記サイズ変更ユニットが、シームカービングユニット、クロッピングユニット、またはスケーリングユニットのうちの少なくとも1つを備え、
前記シームカービングユニットが、前記シームカービング動作を実行するように構成され、
前記クロッピングユニットが、前記クロッピング動作を実行するように構成され、
前記スケーリングユニットが、前記スケーリング動作を実行するように構成される、請求項12に記載の電子デバイス。
【請求項１４】
前記電子デバイスが、前記画像中の複数のテキスト部分を検出するように構成された、テキスト検出ユニットをさらに備え、
前記レイアウト情報決定ユニットが、前記複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの1つに少なくとも基づいて、前記複数のテキスト部分のうちの少なくとも1つを、前記少なくとも1つのテキスト領域にクラスタ化するように構成される、請求項12に記載の電子デバイス。
【請求項１５】
前記レイアウト情報決定ユニットが、
前記画像中の前記少なくとも1つのテキスト領域中でテキストを認識すること、および
前記画像中の前記少なくとも1つのテキスト領域中の前記認識されたテキストに基づいて、前記少なくとも1つのテキスト領域の各々のための優先度を決定すること
を行うように構成される、請求項12に記載の電子デバイス。
【請求項１６】
前記レイアウト情報決定ユニットが、前記認識されたテキストに基づいて、前記テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを決定するように構成される、請求項15に記載の電子デバイス。
【請求項１７】
前記サイズ変更ユニットが、
前記少なくとも1つのテキスト領域から、低優先度に関連付けられたテキスト領域を選択すること、および
前記画像から前記選択されたテキスト領域を除去するために、前記選択された動作を実行すること
を行うように構成される、請求項15に記載の電子デバイス。
【請求項１８】
前記サイズ変更動作選択ユニットが、前記レイアウト情報に応答して、前記シームカービング動作を選択することであって、前記レイアウト情報が、前記画像中の複数のテキスト領域を示す、ことを行うように構成される、請求項12に記載の電子デバイス。
【請求項１９】
前記サイズ変更動作選択ユニットが、前記シームカービング動作を選択し、
前記シームカービングユニットが、
前記画像中の複数のピクセルのための複数のエネルギー値を計算することであって、前記ピクセルの各々のエネルギー値が、前記ピクセルがテキストである確率を示す、こと、
前記画像中の前記ピクセルのための前記エネルギー値に基づいて、前記画像中の複数のシームを決定することであって、前記シームの各々が、最小エネルギー勾配のパスに沿った前記複数のピクセルのセットを含む、こと、および
前記画像中の前記シームの各々における前記ピクセルの前記エネルギー値の和に基づいて、前記画像から前記シームのうちの少なくとも1つを除去すること
を行うように構成される、請求項13に記載の電子デバイス。
【請求項２０】
前記レイアウト情報決定ユニットが、
前記画像中の前記少なくとも1つのテキスト領域中でテキストを認識すること、および
前記画像中の前記少なくとも1つのテキスト領域中の前記認識されたテキストに基づいて、前記少なくとも1つのテキスト領域の各々のための優先度を決定すること
を行うように構成され、
前記シームカービングユニットが、前記少なくとも1つのテキスト領域の各々のための前記優先度に基づいて、前記少なくとも1つのテキスト領域に関連付けられた前記ピクセルのための前記エネルギー値を調整するように構成される、請求項19に記載の電子デバイス。
【請求項２１】
前記サイズ変更動作選択ユニットが、前記画像中の単一のテキスト領域を示す前記レイアウト情報に応答して、前記クロッピング動作を選択するように構成され、
前記単一のテキスト領域のサイズが、前記ターゲット画像サイズ以下である、請求項12に記載の電子デバイス。
【請求項２２】
前記サイズ変更動作選択ユニットが、前記画像中の単一のテキスト領域を示す前記レイアウト情報に応答して、前記スケーリング動作を選択するように構成され、
前記単一のテキスト領域のサイズが、前記ターゲット画像サイズよりも大きい、請求項12に記載の電子デバイス。
【請求項２３】
テキストを有する画像をサイズ変更するための電子デバイスであって、
前記画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するための手段であって、前記レイアウト情報が、前記画像中の前記少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、手段と、
前記レイアウト情報、前記画像のサイズ、およびターゲット画像サイズに基づいて、前記画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択するための手段と、
前記レイアウト情報、前記画像の前記サイズ、または前記ターゲット画像サイズのうちの1つに少なくとも基づいて、前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行するための手段であって、前記サイズ変更された画像が前記少なくとも1つのテキスト領域を含む、手段と
を備える電子デバイス。
【請求項２４】
前記電子デバイスが、前記画像中の複数のテキスト部分を検出するための手段をさらに備え、
前記レイアウト情報を決定するための前記手段が、前記複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの1つに少なくとも基づいて、前記複数のテキスト部分のうちの少なくとも1つを、前記少なくとも1つのテキスト領域にクラスタ化するように構成される、請求項23に記載の電子デバイス。
【請求項２５】
前記レイアウト情報を決定するための前記手段が、
前記画像中の前記少なくとも1つのテキスト領域中でテキストを認識すること、および
前記画像中の前記少なくとも1つのテキスト領域中の前記認識されたテキストに基づいて、前記少なくとも1つのテキスト領域の各々のための優先度を決定すること
を行うように構成される、請求項23に記載の電子デバイス。
【請求項２６】
前記画像に対して、前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するための前記手段が、前記シームカービング動作を選択し、
前記選択された動作を実行するための前記手段が、
前記画像中の複数のピクセルのための複数のエネルギー値を計算することであって、前記ピクセルの各々のエネルギー値が、前記ピクセルがテキストである確率を示す、こと、
前記画像中の前記ピクセルのための前記エネルギー値に基づいて、前記画像中の複数のシームを決定することであって、前記シームの各々が、最小エネルギー勾配のパスに沿った前記複数のピクセルのセットを含む、こと、および
前記画像中の前記シームの各々における前記ピクセルの前記エネルギー値の和に基づいて、前記画像から前記シームのうちの少なくとも1つを除去すること
を行うように構成される、請求項23に記載の電子デバイス。
【請求項２７】
電子デバイスにおいてテキストを有する画像をサイズ変更するための命令を含むコンピュータ可読記憶媒体であって、前記命令が、前記電子デバイスのプロセッサに、
前記画像中の少なくとも1つのテキスト領域のレイアウト情報を決定する動作であって、前記レイアウト情報が、前記画像中の前記少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、動作と、
前記レイアウト情報、前記画像のサイズ、およびターゲット画像サイズに基づいて、前記画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択する動作と、
前記レイアウト情報、前記画像の前記サイズ、または前記ターゲット画像サイズのうちの1つに少なくとも基づいて、前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行する動作であって、前記サイズ変更された画像が前記少なくとも1つのテキスト領域を含む、動作と
を実行させる、コンピュータ可読記憶媒体。
【請求項２８】
前記レイアウト情報を決定することが、
前記画像中の複数のテキスト部分を検出すること、および
前記複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの1つに少なくとも基づいて、前記複数のテキスト部分のうちの少なくとも1つを、前記少なくとも1つのテキスト領域にクラスタ化すること
を含む、請求項27に記載のコンピュータ可読記憶媒体。
【請求項２９】
前記少なくとも1つのテキスト領域の前記レイアウト情報を決定することが、
前記画像中の前記少なくとも1つのテキスト領域中でテキストを認識すること、および
前記画像中の前記少なくとも1つのテキスト領域中の前記認識されたテキストに基づいて、前記少なくとも1つのテキスト領域の各々のための優先度を決定すること
を含む、請求項27に記載のコンピュータ可読記憶媒体。
【請求項３０】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択することが、前記シームカービング動作を選択することを含み、
前記選択された動作を実行することが、
前記画像中の複数のピクセルのための複数のエネルギー値を計算することであって、前記ピクセルの各々のエネルギー値が、前記ピクセルがテキストである確率を示す、こと、
前記画像中の前記ピクセルのための前記エネルギー値に基づいて、前記画像中の複数のシームを決定することであって、前記シームの各々が、最小エネルギー勾配のパスに沿った前記複数のピクセルのセットを含む、こと、および
前記画像中の前記シームの各々における前記ピクセルの前記エネルギー値の和に基づいて、前記画像から前記シームのうちの少なくとも1つを除去すること
を含む、請求項27に記載のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権の主張
本出願は、その内容全体が参照により組み込まれる、「TEXT-BASED IMAGE RESIZING」という題名の2015年1月15日に出願された米国出願第14/597,584号の優先権を主張する。
【０００２】
本開示は、一般に画像の処理に関し、より詳細には、テキストを有する画像をより小さいサイズにサイズ変更することに関する。
【背景技術】
【０００３】
最近、スマートフォン、タブレットコンピュータ、ウェアラブルコンピュータなどのような電子デバイスの使用が、消費者の間で増加している。これらのデバイスは、データ処理および通信、音声通信、ウェブブラウジング、マルチメディア処理および表示などのような様々な機能を提供することができる。加えて、そのような電子デバイスは、写真などの画像を表示するためにキャプチャし、処理するための、画像キャプチャおよび処理能力を提供することができる。
【０００４】
従来の電子デバイスによってキャプチャされる画像は、様々な解像度(たとえば、5312×2988ピクセル、3264×2448ピクセル)を有することが多い。電子デバイスは、キャプチャされた画像の解像度とは異なる解像度で、そのような画像を表示することができる。たとえば、電子デバイスは、ある画像を3264×2448ピクセルの解像度でキャプチャし、次いでその画像を、キャプチャされた画像の解像度よりも小さくなり得る、ディスプレイ画面の解像度に適合するようにスケーリングすることができる。さらに、複数の画像が、プレビューアイコンの解像度まで縮小され、ディスプレイ画面上に表示されて、ユーザによる画像の表示および検索が容易になり得る。
【０００５】
電子デバイスは、文書、名刺、道路標識などのようなテキストを有する画像をキャプチャまたは記憶することが多い。画像中のそのようなテキストは、ユーザの関心を引くオブジェクトであり得る。そのようなテキストを有する画像の解像度が低減され、ディスプレイ画面上で表示されるとき、表示された画像中のテキストは、低減された解像度のせいで容易に認識可能ではないことがある。さらに、そのような画像が縮小されるとき、画像中のテキストは、縮小された画像中で適切に保持されないことがある。たとえば、画像は、画像の外側部分を除去することによって、解像度が低減され得る。外側部分がテキストを含む場合、画像中のテキストがプロセス中で除去されて、縮小された画像がテキストを含まないようになり得る。
【発明の概要】
【課題を解決するための手段】
【０００６】
本開示は、少なくとも1つのテキスト部分を含む画像に対する画像サイズ変更動作を、少なくとも1つのテキスト部分のレイアウト情報に基づいて選択し、選択された画像サイズ変更動作を実行することによって、画像をターゲット画像サイズにサイズ変更するための方法および装置を提供する。
【０００７】
本開示の一態様によれば、テキストを有する画像をサイズ変更するための、電子デバイスによって実行される方法が開示される。この方法は、画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するステップを含み得る。レイアウト情報は、画像中の少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含み得る。この方法はまた、レイアウト情報、画像のサイズ、およびターゲット画像サイズに基づいて、画像に対して、シームカービング動作、クロッピング動作、またはスケーリング動作を選択することもできる。レイアウト情報、画像のサイズ、またはターゲット画像サイズのうちの1つに少なくとも基づいて、画像をターゲット画像サイズにサイズ変更するために、選択された動作が実行され得る。サイズ変更された画像は、少なくとも1つのテキスト領域を含み得る。本開示は、本方法に関する装置、デバイス、手段の組合せ、およびコンピュータ可読媒体についても説明する。
【０００８】
本開示の別の態様によれば、テキストを有し得る画像をサイズ変更するための電子デバイスが開示される。電子デバイスは、画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するように構成された、レイアウト情報決定ユニットを含み得る。レイアウト情報は、画像中の少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含み得る。このデバイスはまた、レイアウト情報、画像のサイズ、およびターゲット画像サイズに基づいて、画像に対して、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するように構成された、サイズ変更動作選択ユニットを含み得る。電子デバイスにおけるサイズ変更ユニットは、レイアウト情報、画像のサイズ、またはターゲット画像サイズのうちの1つに少なくとも基づいて、画像をターゲット画像サイズにサイズ変更するために、選択された動作を実行するように構成され得る。サイズ変更された画像は、少なくとも1つのテキスト領域を含み得る。
【０００９】
本開示の発明的態様の実施形態は、以下の詳細な説明を参照しながら、添付の図面とともに読むことで理解されよう。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態による、ディスプレイ画面上で画像をキャプチャするように構成された電子デバイスを示す図である。
【図２】本開示の一実施形態による、その各々が1つまたは複数のテキスト部分を含む、複数の画像にアクセスし、それらの画像の複数のサムネイル画像(たとえば、プレビュー画像)をそれぞれ生成するように構成された、電子デバイスを示す図である。
【図３】本開示の一実施形態による、少なくとも1つのテキスト部分を含む画像に対する画像サイズ変更動作を選択し、選択された画像サイズ変更動作に基づいて、画像をサイズ変更するように構成された、電子デバイスのブロック図である。
【図４】本開示の一実施形態による、少なくとも1つのテキスト部分を受信し、少なくとも1つのテキスト部分を含む少なくとも1つのテキスト領域のレイアウト情報を決定するように構成された、レイアウト情報決定ユニットのブロック図である。
【図５】本開示の一実施形態による、画像に対するシームカービング動作を選択および実行して、画像のサムネイル画像を生成することを示す図である。
【図６】本開示の一実施形態による、画像に対するクロッピング動作を実行して、画像のサムネイル画像を生成することを示す図である。
【図７】本開示の一実施形態による、画像のサムネイル画像を生成するための、画像に対するスケーリング動作を示す図である。
【図８】本開示の一実施形態による、画像においてシームカービング動作を実行して、中間画像を生成すること、および、中間画像においてスケーリング動作を実行して、ターゲット画像サイズのサムネイル画像を生成することを示す図である。
【図９】本開示の一実施形態による、画像に対する画像サイズ変更動作を選択し、選択された画像サイズ変更動作に基づいて、電子デバイス中で画像をサイズ変更するための方法のフローチャートである。
【図１０】本開示の一実施形態による、レイアウト情報に基づいて画像サイズ変更動作を選択するための詳細な方法のフローチャートである。
【図１１】本開示の一実施形態による、画像においてスケーリング動作を実行することによって、画像をターゲット画像サイズにサイズ変更するための詳細な方法のフローチャートである。
【図１２】入力サウンドストリーム中のアクティブ化キーワードとスピーチコマンドとに応答して、音声支援ユニットの機能を実行するための方法および装置が、本開示のいくつかの実施形態に従って実装され得る、例示的な電子デバイスのブロック図である。
【発明を実施するための形態】
【００１１】
次に、添付の図面にその例が示されている、様々な実施形態を詳細に参照する。以下の詳細な説明では、本主題の完全な理解を与えるために多数の具体的な詳細が記載される。ただし、本主題はこれらの具体的な詳細なしに実施され得ることが当業者には明らかであろう。他の事例では、様々な実施形態の態様を不必要に不明瞭にしないように、よく知られている方法、手順、システム、および構成要素については詳細に説明していない。
【００１２】
図1は、本開示の一実施形態による、ディスプレイ画面140上で画像150を表示するように構成された電子デバイス120を示す。図示のように、画像150は、名刺160と、ノートブックコンピュータ180のための広告170の一部分とを含み得る。たとえば、電子デバイス120のユーザ110は、画像センサ130を備えた電子デバイス120を操作して、名刺160と広告170の一部分との画像150をキャプチャし、ディスプレイ画面140上で表示するために、キャプチャされた画像150にアクセスすることができる。代替的に、電子デバイス120は、通信ネットワークを通して外部デバイスから画像150を受信し、ディスプレイ画面140上で画像を表示することができる。
【００１３】
図示の実施形態では、画像150は、複数のテキスト部分162、164、172、174、および176を含み得、その各々が1つまたは複数の文字列を含み得る。図示のように、名刺160中のテキスト部分162および164は、それぞれ文字列「ABC COMPANY」および「John Doe」を含み得る。一方、広告170中のテキスト部分172、174、および176は、それぞれ文字列「SMART」、「ATTRACTIVE」、および「ABC NOTE BOOK」を含み得る。加えて、キャプチャされた画像150はまた、ノートブックコンピュータ180などの1つまたは複数の非テキスト部分を含み得る。本明細書で使用する「テキスト部分」という用語は、テキストを含む画像中の任意の部分を指すことがあり、1つまたは複数の文字、単語、または文字列を含み得る。
【００１４】
電子デバイスでは、ディスプレイ画面140は、N1×M1ピクセルのディスプレイサイズまたは解像度を有し得る。一方、画像150は、ディスプレイ画面140のディスプレイ解像度とは異なり得る、N2×M2ピクセルの画像サイズまたは解像度を有し得る。ディスプレイ画面のサイズまたは解像度が、画像150のサイズまたは解像度とは異なるとき、電子デバイス120は、画像150を、ディスプレイ画面140のディスプレイサイズまたは解像度に適合するようにサイズ変更し、サイズ変更された画像をディスプレイ画面140上に表示することができる。たとえば、ディスプレイ画面140が、1024×768ピクセルのディスプレイサイズまたは解像度を有し、画像150が、2048×1536ピクセルの画像サイズまたは解像度を有する場合、画像150は、表示するために、1024×768ピクセルのディスプレイ解像度に適合するようにスケールダウンまたはサイズ変更され得る。この場合、画像150は、画像150の元のアスペクト比を維持することによって、または元のアスペクト比を維持することなく、ディスプレイサイズまでスケールダウンまたはサイズ変更され得る。
【００１５】
図2は、本開示の一実施形態による、その各々が1つまたは複数のテキスト部分を含む、複数の画像150、210、および220にアクセスし、それらの画像150、210、および220の複数のサムネイル画像230、240、および250(たとえば、プレビュー画像)をそれぞれ生成するように構成された、電子デバイス120を示す。電子デバイス120は、画像150、210、および220を記憶することができ、それらの画像は、電子デバイス120によってキャプチャされるか、またはワイヤレス通信ネットワークもしくはワイヤード通信回線を介して外部デバイスから受信され得る。写真、絵柄、スクリーンショット、ビデオクリップなどのような画像を編成および表示するように構成されたアプリケーションが実行されるとき、電子デバイス120は、画像150、210、および220にアクセスし、サムネイル画像のサイズにサイズ変更することができる。このプロセスでは、電子デバイス120は、画像150、210、および220中で検出され得る1つまたは複数のテキスト部分を含めるかまたは保持するように、画像150、210、および220をそれぞれサイズ変更することによって、サムネイル画像230、240、および250を生成することができる。生成されたサムネイル画像230、240、および250は、電子デバイス120中に記憶され、かつ/またはディスプレイ画面140上に表示され得る。
【００１６】
図示の実施形態では、サムネイル画像230、240、および250は、それぞれ画像150、210、および220よりもサイズが小さくなるようにサイズ変更され得る。本明細書で使用する「サムネイル画像」という用語は、元の画像の縮小されたサイズの画像またはより小さいバージョンを指すことがあり、元の画像を示すかまたはそれに関連付けられた任意の画像を含み得る。画像150、210、および220は、同じサイズもしくは解像度、または異なるサイズもしくは解像度を有し得る。同様に、サムネイル画像230、240、および250は、同じサイズもしくは解像度、または異なるサイズもしくは解像度を有し得る。サムネイル画像230、240、および250は、ディスプレイ画面140上に表示されて、それぞれ画像150、210、および220のプレビューが与えられ、画像150、210、および220へのアクセスおよび/またはそれらの検索が容易になり得る。サムネイル画像230、240、または250が選択されるとき、選択されたサムネイル画像に関連付けられた画像150、210、または220が、表示画面140上に表示され得る。
【００１７】
電子デバイス120は、それぞれ画像150、210、および220中で検出され得る1つまたは複数のテキスト部分を含めるかまたは保持するように、サムネイル画像230、240、および250を生成するように構成され得る。一実施形態では、画像150、210、および220がアクセスされ得、1つまたは複数のテキスト部分が、画像150、210、および220の各々において検出され得る。画像150、210、および220中のテキスト部分の各々を検出すると、電子デバイス120は、各画像中のテキスト部分のストローク幅、サイズ、形状、または位置のうちの少なくとも1つの類似性に基づいて、複数のテキスト部分を1つまたは複数のテキスト領域にグループ化またはクラスタ化することができる。画像150、210、および220の各々について、画像中のテキスト領域の数、サイズ、位置、形状、および/またはテキスト密度を示すレイアウト情報が決定され得る。
【００１８】
図2に示すように、電子デバイス120は、類似するストローク幅、サイズ、形状、および/または位置を有する複数のテキスト部分を検出およびグループ化することによって、画像150、210、および220中の複数のテキスト領域202、204、216、および226を特定することができる。画像150の場合、テキスト部分162および164は、テキスト領域202としてグループ化され得るが、テキスト部分172、174、および176は、テキスト領域204にグループ化され得る。画像210では、電子デバイス120は、テキスト部分212および214をテキスト領域216にグループ化することができる。画像220中で、電子デバイス120は、テキスト部分222および224をテキスト領域226にグループ化することができる。
【００１９】
電子デバイス120は、画像150、210、および220の各々における1つまたは複数のテキスト領域を含めるかまたは保持するように、その各々が適応される、シームカービング動作、クロッピング動作、またはスケーリング動作のうちの少なくとも1つを実行することによって、画像150、210、および220をサイズ変更して、それぞれサムネイル画像230、240、および250を生成することができる。画像150、210、および220の各々に対して、電子デバイス120は、画像150、210、または220中のテキスト領域のレイアウト情報に基づいて、シームカービング動作、クロッピング動作、およびスケーリング動作のうちの1つを選択することができる。一実施形態では、画像のレイアウト情報が2つ以上の別個のテキスト領域を示す場合、シームカービング動作が選択され得る。図2に示すように、画像150は、テキスト領域202および204を含むので、電子デバイス120は、画像150に対してシームカービング動作を選択し、実行することができる。シームカービング動作を実行する際、電子デバイス120は、画像150中のテキスト領域202および204以外の領域に位置する複数のシーム(たとえば、ピクセルのパス)を除去することによって、画像150を、サムネイル画像230のサイズに適合するようにサイズ変更することができる。次いで、サムネイル画像230が、ディスプレイ画面140上で表示され得る。
【００２０】
一方、電子デバイス120は、画像のレイアウト情報が単一のテキスト領域を示す場合、クロッピング動作またはスケーリング動作のいずれかを選択することができる。この場合、電子デバイス120は、単一のテキスト領域のサイズを、生成されるべきサムネイル画像のサイズと比較することができる。単一のテキスト領域のサイズがサムネイル画像のサイズよりも小さい場合、クロッピング動作が選択され、実行され得る。そうでない場合、電子デバイス120は、スケーリング動作を選択し、実行することができる。
【００２１】
図2に示すように、画像210は、サムネイル画像240のサイズ以下のサイズを有する単一のテキスト領域216を含むので、電子デバイス120は、クロッピング動作を選択し、実行することができる。クロッピング動作では、画像210中のテキスト領域216の外側の1つまたは複数の部分が選択され、クロップされて、画像210が、サムネイル画像240のサイズに一致するようにサイズ変更され得る。次いで、テキスト領域216を含む、サイズ変更された画像は、サムネイル画像240として記憶されるか、またはディスプレイ画面140上に表示され得る。
【００２２】
一方、画像220は、サムネイル画像250のサイズよりも大きいサイズを有する単一のテキスト領域226を含み得る。したがって、電子デバイス120は、スケーリング動作を選択し、実行することができる。スケーリング動作を実行する際、電子デバイス120は、サムネイル画像250のサイズに一致するように、および、画像220中の他の領域に対してテキスト領域226のサイズを保持するように適応される、画像220のためのスケーリング方向およびスケーリング比を決定することができる。たとえば、スケーリング方向は、対角方向に沿うように決定され得、スケーリング比は、0.5または50%になるように決定され得る。次いで、電子デバイス120は、スケーリング方向およびスケーリング比に従って、画像220のサイズをスケールダウンすることによって、画像220をサイズ変更することができる。次いで、テキスト領域226を含む、サイズ変更された画像は、サムネイル画像250として記憶されるか、またはディスプレイ画面140上に表示され得る。
【００２３】
電子デバイス120は、1つまたは複数のテキスト領域のサイズまたは比率の、残りの部分(たとえば、非テキスト領域)のサイズまたは比率に対する比が、サムネイル画像中で保持または増大されるように、元の画像をサムネイル画像にサイズ変更することができる。一実施形態では、画像においてシームカービング動作およびクロッピング動作を実行することで、非テキスト領域に対してより大きいサイズまたは比率を有する1つまたは複数のテキスト領域をもつサムネイル画像を生じ得る。一方、スケーリング動作は、テキスト領域のサイズまたは比率の、非テキスト領域のサイズに対する比を、少なくとも保持することができる。サムネイル画像中のテキスト領域の相対サイズを保持および/または増大することによって、ユーザによるテキスト領域の読みやすさおよび/または認識を向上させることができる。
【００２４】
いくつかの実施形態では、電子デバイス120は、画像において2つ以上の画像サイズ変更動作を選択し、実行することができる。たとえば、シームカービング動作が最初に、2つのテキスト領域を有する元の画像において実行されて、2つのテキスト領域を含む中間画像が生成され得る。中間画像が、サムネイル画像のターゲット画像サイズに一致しない場合、電子デバイス120は、中間画像においてスケーリング動作を実行し、中間画像からスケールダウンされたサムネイル画像を生成することができる。単一のテキスト領域を有する画像の場合、電子デバイス120は、画像において最初にクロッピング動作を実行して、中間画像を生成することができる。中間画像が、サムネイル画像のターゲット画像サイズに一致しない場合、スケーリング動作が実行されて、中間画像が、サムネイル画像のターゲット画像サイズにサイズ変更され得る。電子デバイス120はまた、シームカービング動作、クロッピング動作、およびスケーリング動作を、任意の好適な回数、および任意の好適な順序で実行することもできることを諒解されたい。
【００２５】
図3は、本開示の一実施形態による、少なくとも1つのテキスト部分を含む画像に対する画像サイズ変更動作を選択し、選択された画像サイズ変更動作に基づいて、画像をサイズ変更するように構成された、電子デバイス120のブロック図を示す。電子デバイス120は、画像センサ130と、記憶ユニット310と、I/O(入力/出力)ユニット320と、通信ユニット330と、プロセッサ340とを含み得る。本明細書で説明するように、電子デバイス120は、スマートフォン、ウェアラブルコンピュータ(たとえば、スマートグラス、スマートウォッチなど)、デジタルカメラ(たとえば、DSLRカメラ)、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、ゲーミングデバイスなどのような、画像処理能力を備えた任意の好適なデバイスであり得る。
【００２６】
画像センサ130は、1つまたは複数のテキスト部分を含む1つまたは複数の画像をキャプチャすることができる。追加または代替として、1つまたは複数のテキスト部分を含む1つまたは複数の画像は、ワイヤレスネットワークを通して通信ユニット330を介して、または通信回線上でI/Oユニット320を介して、外部デバイスから受信され得る。テキスト部分を含む画像は、記憶ユニット310中に記憶され、プロセッサ340によって処理および/または表示するためにアクセスされ得る。画像をキャプチャするために、画像センサ130は、CCD(電荷結合デバイス)、CMOS(相補型金属酸化物半導体)またはNMOS(N型金属酸化物半導体)技術に基づくアクティブピクセルセンサなどのような、任意の好適な画像センシングまたは検出デバイスを採用することができる。画像センサ130は、1つまたは複数の画像をキャプチャし、画像に関連付けられた画像データを、電子デバイス120中のプロセッサ340に与えることができる。加えて、記憶ユニット310は、RAM、ROM、EEPROM、フラッシュメモリ、SSDなどのような、任意の好適な記憶デバイスまたはメモリデバイスを使用して実装され得る。
【００２７】
プロセッサ340は、テキスト検出ユニット342と、レイアウト情報決定ユニット344と、サイズ変更動作選択ユニット346と、サイズ変更ユニット348とを含み得る。さらに、サイズ変更ユニット348は、シームカービングユニット350、クロッピングユニット352、またはスケーリングユニット354のうちの少なくとも1つを含み得る。プロセッサ340は、記憶ユニット310からの、1つまたは複数のテキスト部分を有する1つまたは複数の画像にアクセスし、画像をターゲット画像サイズにサイズ変更することができる。一実施形態では、プロセッサ340は、画像が記憶ユニット310中に記憶される時間またはその近くで、画像にアクセスすることによって、画像をサイズ変更することができる。代替的に、プロセッサ340は、フォトギャラリーアプリケーションなどのアプリケーションが実行されるとき、記憶ユニット310からの画像にアクセスすることによって、画像をサイズ変更することができる。本明細書で説明するように、プロセッサ340は、アプリケーションプロセッサ(AP)、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、マイクロプロセッサユニット(MPU)などのような、画像を処理することが可能な任意のプロセッサまたは処理ユニットであり得る。
【００２８】
プロセッサ340が、記憶ユニット310からの1つまたは複数のテキスト部分を有する画像にアクセスするとき、テキスト検出ユニット342は、画像を受信し、画像中の少なくとも1つのテキスト部分を検出することができる。少なくとも1つのテキスト部分の各々を検出するために、画像中のテキスト部分が、テキスト部分中の個々の文字のための1つまたは複数のブロブを決定することによって検出され得る。色、強度、近接性などのような1つまたは複数の類似する特性を有する1つまたは複数のブロブが、ブロブクラスタ化動作においてブロブクラスタにクラスタ化され得る。たとえば、同じ色を有し、互いに近接して位置する複数のブロブが、ブロブクラスタにクラスタ化され得る。次いで、テキストまたは文字を含むブロブクラスタの一部分が抽出され、テキストを含むテキスト部分として検出され得る。いくつかの実施形態では、テキストの行、単語、または文字列が、テキスト部分として検出され得る。次いで、テキスト検出ユニット342は、画像と、画像中の検出されたテキスト部分とを、レイアウト情報決定ユニット344に提供することができる。画像中のテキスト部分を検出するために、テキスト検出ユニット342は、エッジベースの方法、連結成分ベースの方法、テクスチャベースの方法などのような、任意の好適なテキスト検出方式を採用することができる。
【００２９】
レイアウト情報決定ユニット344は、画像と検出されたテキスト部分とを受信し、画像中のテキスト部分のストローク幅、サイズ、形状、または位置のうちの少なくとも1つの類似性に基づいて、テキスト部分をグループ化またはクラスタ化することによって、1つまたは複数のテキスト領域を特定するように構成される。たとえば、隣接するテキスト行(たとえば、文、段落など)または隣接する文字列(たとえば、隣接する単語)など、複数の近隣テキスト部分が、1つのテキスト領域にグループ化またはクラスタ化され得る。一方、孤立したテキスト部分は、単一のテキスト領域として特定され得る。
【００３０】
1つまたは複数のテキスト領域を特定すると、レイアウト情報決定ユニット344は、画像中のテキスト領域のレイアウト情報を決定することができる。一実施形態では、レイアウト情報決定ユニット344は、画像中のテキスト領域を解析して、画像中のテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、テキスト領域の物理レイアウト情報を決定することができる。追加または代替として、レイアウト情報決定ユニット344は、テキスト領域中でテキストを認識し、認識されたテキスト領域の論理レイアウト情報を決定することができる。
【００３１】
論理レイアウト情報は、認識されたテキスト領域の各々の優先度または重みを示し得、テキスト領域の各々における認識されたテキストの情報のタイプおよび/またはコンテンツに基づいて決定され得る。本明細書で使用するテキスト領域の「情報のタイプ」という用語は、テキスト領域中のテキストのタイプを示す任意の情報であり得、人名、会社名、組織名、電話番号、電子メールアドレス、文書のタイトルなどを含み得る。情報のタイプの各々は、あらかじめ決定された優先度値または重みを割り当てられ得る。「John Doe」などの名前がテキスト領域中で認識される場合、テキスト領域は、その名前に関連付けられた優先度値または重みを割り当てられ得る。同様に、テキスト領域が、人名、会社名、電話番号などを含む名刺などのテキストオブジェクトであると決定される場合、テキスト領域は、名刺に関連付けられた優先度値または重みを与えられ得る。一方、あらかじめ決定されたテキストまたは文字列は、あらかじめ決定された優先度値または重みを割り当てられ得る。あらかじめ決定されたテキストまたは文字列がテキスト領域中で認識されるとき、テキスト領域は、あらかじめ決定された優先度値または重みを割り当てられ得る。たとえば、テキスト「ABC COMPANY」は、電子デバイス120のユーザによって、高優先度のものであるとあらかじめ決定され得る。テキスト領域が、テキスト「ABC COMPANY」を含むと決定される場合、そのテキスト領域は高優先度を与えられ得る。
【００３２】
サイズ変更動作選択ユニット346は、画像と、画像のためのレイアウト情報とをレイアウト情報決定ユニット344から受信し、画像のサイズと、画像のためのレイアウト情報と、ターゲット画像サイズ(たとえば、サムネイル画像サイズ)とに基づいて、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するように構成され得る。サイズ変更動作選択ユニット346は、画像中のテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、テキスト領域の物理レイアウト情報に基づいて、画像サイズ変更動作を選択することができる。一実施形態では、レイアウト情報が2つ以上のテキスト領域を示すとき、シームカービング動作が選択され得る。
【００３３】
一方、レイアウト情報が単一のテキスト領域を示す場合、クロッピング動作またはスケーリング動作が選択され得る。この場合、サイズ変更動作選択ユニット346は、テキスト領域のサイズおよび形状に基づいて、テキスト領域がターゲット画像サイズ内に含まれ得るか否かを決定することができる。テキスト領域のサイズおよび形状が、テキスト領域がターゲット画像サイズ内に含まれ得ることを示す場合、クロッピング動作が選択され得る。そうでない場合、サイズ変更動作選択ユニット346は、スケーリング動作を選択することができる。
【００３４】
一実施形態によれば、サイズ変更動作選択ユニット346は、1つまたは複数のテキスト領域のサイズの、画像のサイズに対する比を決定することができる。その比が、あらかじめ決定された比(たとえば、0.7または70%)よりも大きいと決定される場合、スケーリング動作が選択され得る。たとえば、テキスト領域の、画像のサイズに対する比が0.9または90%である場合、スケーリング動作が選択され得る。そうでない場合、クロッピングまたはシームカービングが選択され得る。別の実施形態では、サイズ変更動作選択ユニット346は、1つまたは複数のテキスト領域のテキスト密度を決定することができる。たとえば、テキスト領域中の文字数をテキスト領域の面積で除算して、テキスト領域のためのテキスト密度を決定することができる。テキスト密度があらかじめ決定されたテキスト密度よりも大きいと決定される場合、シームカービング動作またはクロッピング動作が選択され得る。
【００３５】
追加または代替として、サイズ変更動作選択ユニット346は、画像中の1つまたは複数のテキスト領域の論理レイアウト情報に基づいて、画像サイズ変更動作を選択することができる。論理レイアウト情報は、テキスト領域の各々の優先度または重みを示し得、テキスト領域の各々における認識されたテキストの情報のタイプおよび/またはコンテンツに基づいて決定され得る。一実施形態では、1つまたは複数のテキスト領域のための論理レイアウト情報が、低優先度を示す場合、低優先度を有するテキスト領域をクロッピングまたはカービングするために、クロッピング動作またはシームカービング動作が選択され得る。
【００３６】
サイズ変更動作のうちの1つを選択すると、サイズ変更動作選択ユニット346は、選択されたサイズ変更動作に関連付けられたシームカービングユニット350、クロッピングユニット352、またはスケーリングユニット354を選択し、アクティブ化することができる。アクティブになると、選択されたサイズ変更ユニット350、352、または354は、画像と、画像のレイアウト情報と、ターゲット画像サイズとを受信し、画像のサイズと、レイアウト情報と、ターゲット画像サイズとに基づいて、画像をサイズ変更することができる。一実施形態では、選択されたサイズ変更ユニット350、352、または354は、画像をターゲット画像サイズ、または、ターゲット画像サイズよりも大きくなり得る中間画像サイズにサイズ変更することができる。サイズ変更された画像がターゲット画像サイズよりも大きい場合、サイズ変更された画像は、上記で説明したように、レイアウト情報を決定するために、レイアウト情報決定ユニット344に与えられ得る。次いで、サイズ変更動作選択ユニット346は、シームカービング動作、クロッピング動作、およびスケーリング動作の中で別の画像サイズ変更動作を選択し、選択されたサイズ変更動作に関連付けられたシームカービングユニット350、クロッピングユニット352、およびスケーリングユニット354のうちの1つを選択することができる。次いで、選択されたサイズ変更ユニット350、352、または354は、中間画像をさらにサイズ変更することができる。このプロセスは、ターゲット画像サイズが得られるまで、画像をサイズ変更するために、任意の好適な回数だけ繰り返され得る。
【００３７】
シームカービングユニット350は、画像と、画像のためのレイアウト情報と、ターゲット画像サイズとを、サイズ変更動作選択ユニット346から受信し、画像のサイズと、レイアウト情報と、ターゲット画像サイズとに基づいて、画像においてシームカービング動作を実行するように構成される。シームカービング動作中に、シームカービングユニット350は、1つまたは複数のテキスト領域を含む、画像中の複数のシームを決定することができる。本明細書で使用する「シーム」という用語は、画像の上部分と下部分との間で垂直に、または画像の左側と右側との間で水平に、パスに沿って接続またはトラバースされ得る、画像中の複数のピクセルを指すことがある。さらに、「シームカービング動作」という用語は、画像中の複数のシームを決定し、画像から1つまたは複数のシームを除去することによって、画像をサイズ変更する、1つまたは複数の動作または行為を指すことがある。
【００３８】
シームカービングユニット350は、画像中の複数のピクセルのための複数のエネルギー値を計算するように構成され得る。エネルギー値の各々は、関連付けられたピクセルがテキストである確率を示し得る。たとえば、テキスト領域中の複数のピクセルは、非テキスト領域中の複数のピクセルよりも高いエネルギー値を有し得る。一実施形態では、シームカービングユニット350は、論理レイアウト情報に基づいて、1つまたは複数のテキスト領域に関連付けられたピクセルのためのエネルギー値を調整することができる。たとえば、論理レイアウト情報が、指定されたテキスト領域について低優先度を示すとき、指定されたテキスト領域中のピクセルのためのエネルギー値が減少され得る。次いで、シームカービングユニット350は、画像中のピクセルのエネルギー値に基づいて、画像中の複数のシームを決定することができる。このプロセスでは、シームカービングユニット350は、最小エネルギー勾配または最小エントロピーのピクセルのパスのセットを、画像中のシームとして決定することができる。
【００３９】
シームを決定すると、シームカービングユニット350は、シームの各々におけるピクセルのための総エネルギー値(たとえば、エネルギー値の和)を計算することができる。たとえば、非テキスト領域に位置するシームは、テキスト領域に位置するシームよりも低い総エネルギー値を有し得る。シームカービングユニット350は、シームの総エネルギー値に基づいて、シームのうちの1つまたは複数を除去することができる。一実施形態では、除去されるべきシームの数は、画像のサイズおよびターゲット画像サイズに基づいて決定され得る。たとえば、1024×768ピクセルのサイズまたは解像度を有する画像が、600×600ピクセルのターゲット画像サイズまたは解像度にサイズ変更される場合、424個の垂直シームおよび168個の水平シームが画像から除去され得る。この場合、424個の最低の総エネルギー値に対応する424個の垂直シームが、1,024個の垂直シームから除去され得、168個の最低の総エネルギー値に対応する168個の水平シームが、768個の水平シームから除去され得る。追加または代替として、シームは、あらかじめ決定された総しきいエネルギー値に基づいて除去され得る。上記の例では、424個の垂直シームのうちのいくつかが、あらかじめ決定された総しきいエネルギー値を超える総しきいエネルギー値を有する場合、シームカービングユニット350は、そのようなシームを画像から除去しなくてよく、中間画像サイズのシームカービングされた画像を、中間画像のレイアウト情報を決定するためにレイアウト情報決定ユニット344に、および、別の画像サイズ変更動作を選択するためにサイズ変更動作選択ユニット346に与えることができる。画像からシームを除去すると、シームカービングユニット350は、ターゲット画像サイズのサイズ変更された画像を生成することができる。サイズ変更された画像は、記憶ユニット310内に記憶され、かつ/またはディスプレイ画面などのI/Oユニット320上に表示され得る。
【００４０】
クロッピングユニット352は、画像と、画像のためのレイアウト情報と、ターゲット画像サイズとを、サイズ変更動作選択ユニット346から受信し、画像のサイズと、レイアウト情報と、ターゲット画像サイズとに基づいて、画像においてクロッピング動作を実行するように構成され得る。本明細書で使用する「クロッピング動作」という用語は、画像の1つまたは複数の部分(たとえば、ピクセル)をクロップまたは除去することによって、画像をサイズ変更する、1つまたは複数の動作または行為を指すことがある。クロッピングユニット352は、画像中のテキスト領域の外側の画像の1つまたは複数の部分(たとえば、非テキスト領域)を特定し、画像からそれらの部分をクロップまたは除去することができる。クロップまたは除去されるべき部分のサイズは、画像のサイズと、テキスト領域と、ターゲット画像とに基づいて決定され得る。たとえば、画像のサイズ、テキスト領域、およびターゲット画像が、それぞれ1024×768ピクセル、580×320ピクセル、および600×600ピクセルである場合、クロッピングユニット352は、テキスト領域を含み、ターゲット画像サイズ、すなわち、600×600ピクセルと同じサイズを有する、画像中の一部分を特定し、特定された部分の外側の1つまたは複数の部分を画像からクロップすることができる。そのような部分を特定することができず、ターゲット画像サイズよりも大きい一部分が特定される場合、クロッピングユニット352は、特定された部分の外側の1つまたは複数の部分をクロップし、中間画像サイズのクロップされた画像を、レイアウト情報決定ユニット344に、および別のサイズ変更動作を選択するためにサイズ変更動作選択ユニット346に与える。1つまたは複数の部分をクロップまたは除去すると、クロッピングユニットは、ターゲット画像サイズのサイズ変更された画像を生成することができる。サイズ変更された画像は、記憶ユニット310内に記憶され、かつ/またはディスプレイ画面などのI/Oユニット320上に表示され得る。
【００４１】
スケーリングユニット354は、画像と、画像のためのレイアウト情報と、ターゲット画像サイズとを、サイズ変更動作選択ユニット346から受信し、画像のサイズと、レイアウト情報と、ターゲット画像サイズとに基づいて、画像においてスケーリング動作を実行するように構成され得る。本明細書で使用する「スケーリング動作」という用語は、ターゲット画像の寸法(たとえば、水平ピクセルおよび垂直ピクセルの数)に比例して、画像の寸法を変更することによって、画像をサイズ変更する、1つまたは複数の動作または行為を指すことがある。一実施形態では、スケーリングユニット354は、画像のサイズおよびターゲット画像サイズに基づいて、画像をターゲット画像にスケーリングすることができる。追加または代替として、スケーリングユニット354は、画像のサイズおよびターゲット画像サイズに基づいて、1つまたは複数のスケーリング方向(たとえば、水平方向、垂直方向、および対角方向)と、スケーリング比とを決定することができる。たとえば、画像およびターゲット画像のサイズが、それぞれ2048×1536ピクセルおよび1024×768ピクセルである場合、スケーリングユニット354は、対角方向および0.5または50%を、それぞれスケーリング方向およびスケーリング比として決定することができる。スケーリング方向およびスケーリング比を決定すると、スケーリングユニット354は、画像をターゲット画像サイズにスケーリングすることができる。
【００４２】
一実施形態では、スケーリングユニット354は、双一次補間、双三次補間、最近隣補間などのような、任意の好適な画像スケーリング方式を使用して、画像をスケーリングすることができる。たとえば、2048×1536ピクセルを有する元の画像と、1024×768ピクセルを有するターゲット画像とが与えられると、元の画像中のピクセルがサンプリングおよび補間されて、ターゲット画像として、1024×768ピクセルが生成され得る。ターゲット画像中のピクセルの各々は、ターゲット画像中のピクセルと、元の画像中の選択されたピクセルとの間の距離に基づいて、元の画像中の選択されたピクセルのセットを補間することによって生成され得る。ピクセルのセットは、双一次補間の場合には2×2ピクセル、または双三次補間の場合には4×4ピクセルであり得る。最近隣補間の場合、スケーリングユニット354は、元の画像中の2048×1536ピクセルをサンプリングし、ターゲット画像中のピクセル位置の各々について、ピクセル位置に最も近い元の画像中のピクセルを決定することによって、2048×1536ピクセルからターゲット画像として1024×768ピクセルを選択することができる。
【００４３】
画像がターゲット画像サイズにサイズ変更されるとき、テキスト領域の面積中の文字数によって特徴づけられる画像中のテキスト領域のテキスト密度は、サイズ変更された画像中のテキスト領域の面積の減少のせいで増大し得る。この場合、スケーリングユニット354は、テキスト領域のテキスト密度があらかじめ決定されたテキスト密度よりも大きいか否かを決定することができる。テキスト領域のテキスト密度があらかじめ決定されたテキスト密度よりも大きいと決定される場合、スケーリングユニット354は、テキスト領域のテキスト密度があらかじめ決定されたテキスト密度に達するまで、画像をスケーリングすることができ、中間画像のレイアウト情報を決定するためにレイアウト情報決定ユニット344に、および別のサイズ変更動作を選択するためにサイズ変更動作選択ユニット346に、中間画像サイズのスケーリングされた画像を与えることができる。このようにして、スケーリングユニット354は、画像をスケーリングして、ターゲット画像サイズのサイズ変更された画像を生成することができる。サイズ変更された画像は、記憶ユニット310内に記憶され、かつ/またはディスプレイ画面などのI/Oユニット320上に表示され得る。
【００４４】
図4は、本開示の一実施形態による、少なくとも1つのテキスト部分を受信し、少なくとも1つのテキスト部分を含む少なくとも1つのテキスト領域のレイアウト情報を決定するように構成された、レイアウト情報決定ユニット344のブロック図を示す。レイアウト情報は、画像サイズ変更動作を選択する際に使用するために、サイズ変更動作選択ユニット346に与えられ得る。図示のように、レイアウト情報決定ユニット344は、テキストクラスタ化ユニット410と、物理レイアウト処理ユニット420と、テキスト認識ユニット430と、論理レイアウト処理ユニット440とを含み得る。
【００４５】
テキストクラスタ化ユニット410は、同じまたは類似する特性を有する複数のテキスト部分を、テキスト領域にグループ化またはクラスタ化するように構成され得る。一実施形態では、同じまたは類似するストローク幅、サイズ、形状、および/または位置を有する、1つまたは複数のテキスト部分が、テキスト領域にグループ化またはクラスタ化され得る。この場合、テキスト領域は、テキスト部分を含めるために任意の好適な形状(たとえば、矩形形状、多角形形状など)であり得る。次いで、テキストクラスタ化ユニット410は、画像中の少なくとも1つのテキスト領域を、物理レイアウト処理ユニット420およびテキスト認識ユニット430に与えることができる。
【００４６】
テキストクラスタ化ユニット410から少なくとも1つのテキスト領域を受信すると、物理レイアウト処理ユニット420は、テキスト領域の物理レイアウト情報を決定することができる。物理レイアウト情報は、画像中の少なくとも1つのテキスト領域の構造または外観に関連付けられ得る。一実施形態では、物理レイアウト処理ユニット420は、テキスト領域を解析して、テキスト領域の数、サイズ、位置、形状、および/またはテキスト密度を決定することができる。数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つが、画像をサイズ変更するために、シームカービング動作、クロッピング動作、またはスケーリング動作を選択し、実行する際に、物理レイアウト情報として使用され得る。
【００４７】
テキスト認識ユニット430は、テキストクラスタ化ユニット410から少なくとも1つのテキスト領域を受信し、少なくとも1つのテキスト領域中のテキストを認識するように構成され得る。一実施形態によれば、字体、数字、またはシンボルを含み得る、テキスト領域中の各文字が認識され得る。加えて、1つまたは複数の単語、句、または数列が、認識された文字に基づいて決定され得る。テキストを認識する際、テキスト認識ユニット430は、OCR(光学式文字認識)などのような任意の好適なテキスト認識方法を使用することができる。少なくとも1つのテキスト領域中で認識されたテキストは、論理レイアウト処理ユニット440に与えられ得る。
【００４８】
論理レイアウト処理ユニット440は、テキスト領域の論理レイアウト情報を決定するように構成され得る。論理レイアウト情報は、少なくとも1つのテキスト領域中の認識されたテキストのためのコンテキストまたはユーザの選好に関係し得る。一実施形態では、論理レイアウト処理ユニット440は、テキスト認識ユニット430から受信される、少なくとも1つのテキスト領域中の認識されたテキストに基づいて、少なくとも1つのテキスト領域の優先度または重みを決定することができる。少なくとも1つのテキスト領域の各々について、論理レイアウト処理ユニット440は、テキスト領域中の認識されたテキストに基づいて、情報のタイプおよびコンテンツを決定することができる。次いで、テキスト領域のための優先度が、テキスト領域の情報のタイプおよび/またはコンテンツに基づいて決定され得る。
【００４９】
情報のタイプを決定する際に、論理レイアウト処理ユニット440は、記憶ユニット310中に含まれ得るテキスト特徴データベース450にアクセスして、テキスト特徴情報(たとえば、電話番号、電子メールアドレス、住所、人名、店名、会社名、CI(企業識別情報)、URL(ユニフォームリソースロケータ))を参照することができる。テキスト特徴情報に基づいて、論理レイアウト処理ユニット440は、認識されたテキストに関連付けられた情報のタイプを決定することができる。たとえば、電話番号のテキスト特徴情報は、電話番号の典型的なフォーマット、および/または「電話」、「モバイル」、「オフィス」、「自宅」、「番号」などのような典型的な記述的単語を含み得る。テキスト領域における認識されたテキストが、電話番号の典型的なフォーマットのうちの1つを示す一連の番号、ならびに/または、「電話」および「番号」などの文字列を含む場合、テキスト領域のための情報のタイプは、電話番号であると決定され得る。人物、団体、および対象の名前などの情報のタイプは、あらかじめ決定された優先度値または重みを割り当てられ得る。上記の例では、テキスト領域は、電話番号に関連付けられた優先度値または重みを割り当てられ得る。
【００５０】
論理レイアウト処理ユニット440は、テキスト領域中の認識されたテキストがあらかじめ決定されたテキストまたは文字列に一致するか否かを決定することができる。あらかじめ決定されたテキストまたは文字列は、あらかじめ決定された優先度値または重みを割り当てられ得る。論理レイアウト処理ユニット440が、テキスト領域中で認識されたテキストがあらかじめ決定されたテキストまたは文字列に一致すると決定するとき、テキスト領域は、認識されたテキストに関連付けられた、あらかじめ決定された優先度値または重みを割り当てられ得る。たとえば、テキスト領域が、電子デバイス120のユーザによって高優先度のものであるとあらかじめ決定され得るテキスト「John Doe」を含むと決定されるとき、テキスト領域は高優先度を与えられ得る。少なくとも1つのテキスト領域の優先度または重みが、画像をサイズ変更するために、シームカービング動作、クロッピング動作、またはスケーリング動作を選択および実行する際に使用され得る。説明したように、物理レイアウト処理ユニット420によって決定された物理レイアウト情報、および論理レイアウト処理ユニット440によって決定された論理レイアウト情報が、画像において画像サイズ変更動作を選択および実行する際に、レイアウト情報として使用され得る。
【００５１】
図5は、本開示の一実施形態による、画像150に対するシームカービング動作を選択および実行して、サムネイル画像230を生成することを示す。画像150は、名刺160中のテキスト部分162および164と、広告170中のテキスト部分172、174、および176とを含み得る。プロセッサ340中のテキスト検出ユニット342は、画像150中のテキスト部分162、164、172、174、および176を検出することができる。
【００５２】
レイアウト情報決定ユニット344は、テキスト部分162、164、172、174、および176をテキスト領域202および204にグループ化またはクラスタ化することができる。たとえば、レイアウト情報決定ユニット344は、テキスト部分162および164が互いに隣接しており、類似するサイズおよび形状を有すると決定し、テキスト部分162および164をテキスト領域202にグループ化またはクラスタ化することができる。同様に、テキスト部分172、174、および176は、互いに隣接しており、類似するサイズを有すると決定され、テキスト領域204にグループ化またはクラスタ化され得る。
【００５３】
テキスト領域202および204を特定すると、レイアウト情報決定ユニット344は、テキスト領域202および204の数、サイズ、位置、形状、またはテキスト密度のうちの1つに少なくとも基づいて、テキスト領域202および204のための物理レイアウト情報を生成することができる。レイアウト情報決定ユニット344はまた、テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを含む、テキスト領域202および204の各々のための論理レイアウト情報を生成することもできる。このプロセスでは、テキスト領域202中のテキスト「ABC COMPANY」および「John Doe」、ならびにテキスト領域204中のテキスト「SMART」、「ATTRACTIVE」、および「ABC NOTE BOOK」が認識され得る。認識されたテキストに基づいて、論理レイアウト処理ユニット440は、テキスト領域202が会社名および人名に関連付けられるが、テキスト領域204が会社名に関連付けられると決定することができる。図示の実施形態では、テキスト領域202および204のための論理レイアウト情報は、テキスト領域202および204のための同じまたは類似する優先度または重みを示し得る。
【００５４】
サイズ変更動作選択ユニット346は、画像150、ターゲット画像サイズ(すなわち、サムネイル画像230のサイズ)、ならびに、テキスト領域202および204の物理レイアウト情報および/または論理レイアウト情報に基づいて、画像150をサムネイル画像230にサイズ変更するためのシームカービング動作を選択することができる。図示の実施形態では、サイズ変更動作選択ユニット346は、物理レイアウト情報が2つのテキスト領域を示すと決定することができる。追加または代替として、物理レイアウト情報は、テキスト領域202および204の結合されたサイズの、画像150のサイズに対する比が、あらかじめ決定された比(たとえば、0.7または70%)よりも小さいことを示し得る。物理レイアウト情報に基づいて、サイズ変更動作選択ユニット346は、シームカービング動作を選択し、シームカービングユニット350をアクティブ化して、シームカービング動作を実行することができる。
【００５５】
シームカービングユニット350は、画像150と、物理レイアウト情報と、論理レイアウト情報と、サムネイル画像230のサイズとを受信し、画像150においてシームカービング動作を実行することができる。画像150中の複数のピクセルの各々について、関連付けられたピクセルがテキストである確率を示すエネルギー値が計算され得る。図示のように、テキスト領域202および204中のピクセルは、テキスト領域202および204の外側のピクセルよりも高いエネルギー値を有し得る。次いで、シームカービングユニット350は、複数の垂直シーム502、504、506、508、および510と、複数の水平シーム512および514とを含む、画像150のための複数のシームを決定することができる。シームの各々を決定する際、シームカービングユニット350は、画像150の一方の側のピクセルから開始して、画像150の他方の側に向かって、最小エネルギー勾配または最小エントロピーのパスに沿って、ピクセルのセットを決定することができる。このようにして、画像中の複数のピクセルから開始する複数のシームが決定され得る。垂直シーム502、504、506、508、および510、ならびに水平シーム512および514を図示するが、シームカービングユニット350は、画像に好適な任意の数の垂直シームおよび/または水平シームを決定することができる。たとえば、画像がN×M解像度またはピクセルを有する場合、N数の垂直シームおよびM数の水平シームが生成され得る。
【００５６】
図5の図示の実施形態では、画像150は、400×400ピクセルのターゲット画像サイズにサイズ変更され得る、1024×768ピクセルのサイズを有し得る。この場合、1,024個の垂直シームおよび768個の水平シームが、画像150のために決定され得る。シームを生成すると、シームカービングユニット350は、シームの総エネルギー値に基づいて、624個の垂直シームと368個の水平シームとを選択し、除去することによって、画像150をサムネイル画像230のターゲット画像サイズにサイズ変更することができる。この場合、624個の最低の総エネルギー値に対応する、シーム502、504、506、および508を含む624個の垂直シーム、ならびに、368個の最低の総エネルギー値に対応する、シーム512および514を含む368個の水平シームが選択され、画像150から除去され得る。
【００５７】
ピクセルのエネルギー値が、関連付けられたピクセルがテキストである確率を示すので、選択および除去される最低の総エネルギー値を有するシームは、テキスト領域202および204に対応しないことがある。したがって、テキスト領域202および204は、シームカービング動作中に保持され得る。たとえば、シーム510は、高い総エネルギー値を有し得、したがって、画像150から除去されなくてよい。選択されたシームを画像150から除去すると、シームカービングユニット350は、テキスト領域202および204を含むサムネイル画像230として、ターゲット画像サイズを有するサイズ変更された画像を与えることができる。
【００５８】
図6は、本開示の一実施形態による、画像610に対するクロッピング動作を実行して、サムネイル画像630を生成することを示す。図示のように、画像610は、テキスト領域620を含み得、テキスト領域620は、複数のテキスト部分622および624を含み得る。この実施形態では、クロッピングユニット352は、画像610、ターゲット画像サイズ(すなわち、サムネイル画像630のサイズ)、ならびに、テキスト領域620の物理レイアウト情報および/または論理レイアウト情報に基づいて、画像610においてクロッピング動作を実行することができる。
【００５９】
物理レイアウト情報は、テキスト領域620の数、サイズ、位置、形状、およびテキスト密度を含み得る。図示の実施形態では、テキスト領域620のための物理レイアウト情報は、1つのテキスト領域を示し得る。加えて、テキスト領域620のための物理レイアウト情報は、テキスト領域620のサイズがターゲット画像サイズよりも小さいこと、および、テキスト領域620のサイズの、画像610のサイズに対する比が、あらかじめ決定された比(たとえば、0.7または70%)よりも小さいことを示し得る。一方、論理レイアウト情報は、テキスト領域620のための優先度または重みを示し得、テキスト領域620の情報のタイプまたはコンテンツのうちの少なくとも1つを含み得る。
【００６０】
クロッピングユニット352は、テキスト領域620を含む画像610をターゲット画像サイズにサイズ変更するために、クロッピング動作を実行することができる。一実施形態では、画像610は、1024×768ピクセルのサイズを有し得、サムネイル画像630のターゲット画像サイズは、400×400ピクセルであり得る。クロッピングユニット352は、テキスト領域620を含み、ターゲット画像サイズ、すなわち、400×400ピクセルと同じサイズを有する、画像610中の部分626を特定し、部分626の外側の1つまたは複数の部分を画像610からクロップすることができる。1つまたは複数の部分をクロップまたは除去すると、クロッピングユニット352は、テキスト領域620を含むサムネイル画像630として、ターゲット画像サイズを有するサイズ変更された画像を生成することができる。
【００６１】
図7は、本開示の一実施形態による、サムネイル画像730を生成するための、画像710に対するスケーリング動作を示す。図示のように、画像710は、単一のテキスト領域720を含み得、テキスト領域720は、複数のテキスト部分712、714、716、および718を含み得る。この実施形態では、スケーリングユニット354は、画像710、ターゲット画像サイズ(すなわち、サムネイル画像730のサイズ)、ならびに、テキスト領域720の物理レイアウト情報および/または論理レイアウト情報に基づいて、テキスト領域720を含む画像710においてスケーリング動作を実行することができる。
【００６２】
物理レイアウト情報は、テキスト領域720の数、サイズ、位置、形状、およびテキスト密度を含み得る。図示の実施形態では、テキスト領域720のための物理レイアウト情報は、テキスト領域720のサイズがターゲット画像サイズよりも大きいことを示し得る。加えて、テキスト領域720のための物理レイアウト情報は、テキスト領域720のサイズの、画像710のサイズに対する比が、あらかじめ決定された比(たとえば、0.7または70%)よりも大きいことを示し得る。一方、論理レイアウト情報は、テキスト領域720のための優先度または重みを示し得、テキスト領域720の情報のタイプまたはコンテンツのうちの少なくとも1つを含み得る。
【００６３】
スケーリングユニット354は、画像710をターゲット画像サイズにサイズ変更するために、スケーリング動作を実行することができる。一実施形態では、画像710は、1000×600ピクセルのサイズを有し得、サムネイル画像730のターゲット画像サイズは、400×400ピクセルであり得る。画像710をターゲット画像サイズにスケーリングするために、スケーリングユニット354は、水平方向と垂直方向の両方をスケーリング方向として決定することができる。スケーリング比としての0.4または40%の比が、水平方向について決定され得るが、スケーリング比としての0.67または67%の比が、垂直方向について決定され得る。スケーリング方向と、スケーリング方向の各々のための比とに基づいて、スケーリングユニット354は、双一次補間、双三次補間、最近隣補間などのような、任意の好適な方式を使用して、画像710中のピクセルを補間することによって、画像710をターゲット画像サイズにスケーリングすることができる。画像710中のピクセルを補間すると、スケーリングユニット354は、テキスト領域732を含むサムネイル画像730として、ターゲット画像サイズを有するサイズ変更された画像を生成することができる。
【００６４】
図8は、本開示の一実施形態による、画像810においてシームカービング動作を実行して、中間画像850を生成すること、および、中間画像850においてスケーリング動作を実行して、ターゲット画像サイズのサムネイル画像860を生成することを示す。図示のように、画像810は、複数のテキスト領域820、830、および840を含み得る。テキスト領域820は、複数のテキスト部分822および824を含み得るが、テキスト領域830は、複数のテキスト部分832および834を含み得る。
【００６５】
シームカービングユニット350は、画像810、ターゲット画像サイズ(すなわち、サムネイル画像860のサイズ)、ならびに、テキスト領域820、830、および840の物理レイアウト情報および/または論理レイアウト情報に基づいて、複数のテキスト領域820、830、および840を含む画像810において、シームカービング動作を実行することができる。物理レイアウト情報は、テキスト領域820、830、および840の数、サイズ、位置、形状、およびテキスト密度を含み得るが、論理レイアウト情報は、テキスト領域820、830、および840の各々のための優先度または重みを示す、テキスト領域820、830、および840の各々の情報のタイプまたはコンテンツのうちの少なくとも1つを含み得る。図示の実施形態では、テキスト領域840のための論理レイアウト情報は、テキスト領域840中の認識されたテキスト「Delicious!!」のための低い優先度または重みを示し得る。一方、高い重みまたは優先度が、名前および/または電話番号を含むテキスト領域820および830に関連付けられ得る。
【００６６】
シームカービングユニット350は、画像810中の複数のピクセルのための複数のエネルギー値を計算することができる。各エネルギー値は、関連付けられたピクセルがテキストである確率を示し得る。テキスト領域820および830のための高優先度と、テキスト領域840のための低優先度とを示す、論理レイアウト情報に基づいて、シームカービングユニット350は、テキスト領域820および830に関連付けられたピクセルのためのエネルギー値を増加させ、テキスト領域840に関連付けられたピクセルのためのエネルギー値を減少させることができる。画像810中のピクセルのためのエネルギー値を計算すると、シーム872、874、876、および878などの複数の垂直シーム、ならびにシーム880および882などの複数の水平シームが、画像810中で決定され得る。1024×768ピクセルのサイズを有する画像810を、400×400ピクセルのターゲット画像サイズにサイズ変更するために、あらかじめ決定された総しきいエネルギー値未満の最低の総エネルギー値を有する、624個の垂直シームおよび368個の水平シームが、画像810から除去される必要があり得る。
【００６７】
図示の実施形態では、画像810中の600個の垂直シームは、あらかじめ決定された総しきいエネルギー値以上の総しきいエネルギー値を有し得、したがって、除去されなくてよい。一方、画像810中の424個の垂直シームは、あらかじめ決定された総しきいエネルギー値未満である424個の最低の総エネルギー値に対応し得、したがって、画像810から除去され得る。したがって、シームカービングユニット350は、画像810から424個の垂直シームを除去することができる。一方、画像810中の368個の水平シームは、あらかじめ決定された総しきい値未満の最低の総エネルギー値を有し得、画像810から除去され得る。
【００６８】
図8に示すように、シームカービングユニット350は、垂直シーム872、874、および876を含む、424個の垂直シームと、水平シーム880および882を含む、368個の水平シームとを、画像810から除去することができる。この場合、あらかじめ決定された総しきい値以上の総エネルギー値を有する垂直シーム878は、画像810から除去されなくてよい。選択されたシームを除去すると、シームカービングユニット350は、ターゲット画像サイズ(たとえば、400×400)よりも大きいサイズ(たとえば、600×400)を有する中間画像850を生成することができる。次いで、テキスト領域820および830に対応するテキスト領域852および854を含む中間画像850が、レイアウト情報決定ユニット344に、および別のサイズ変更動作を選択するためにサイズ変更動作選択ユニット346に与えられ得る。
【００６９】
テキスト領域852および854を含む中間画像850を受信すると、レイアウト情報決定ユニット344は、中間画像850中のテキスト領域852および854の数、サイズ、位置、形状、およびテキスト密度を示す、物理レイアウト情報を決定することができる。サイズ変更動作選択ユニット346は、中間画像850と物理レイアウト情報とを受信し、テキスト領域852および854の結合されたサイズがターゲット画像サイズよりも大きいと決定することができる。したがって、サイズ変更動作選択ユニット346は、スケーリング動作とクロッピング動作との間でスケーリング動作を選択し、中間画像850においてスケーリング動作を実行するためにスケーリングユニット354を選択することができる。
【００７０】
スケーリングユニット354は、中間画像850と、物理レイアウト情報と、ターゲット画像サイズとを受信し、スケーリング動作を実行して、中間画像850をターゲット画像サイズにサイズ変更することができる。図示の実施形態では、中間画像850は、600×400ピクセルのサイズを有するが、サムネイル画像860のターゲット画像サイズは、400×400ピクセルである。中間画像850をターゲット画像サイズにスケーリングするために、スケーリングユニット354は、スケーリング方向として水平方向、およびスケーリング比として0.66または66%の比を決定することができる。スケーリング方向およびスケーリング比に基づいて、スケーリングユニット354は、中間画像850中のピクセルを補間することによって、中間画像850をターゲット画像サイズにスケーリングし、テキスト領域852および854に対応するテキスト領域862および864を含むターゲット画像サイズのサムネイル画像860を生成することができる。
【００７１】
図9は、本開示の一実施形態による、画像に対する画像サイズ変更動作を選択し、選択された画像サイズ変更動作に基づいて、電子デバイス120中で画像をサイズ変更するための方法900のフローチャートを示す。910で、電子デバイス120は、画像をターゲット画像サイズにサイズ変更するために、記憶ユニット310からの複数のテキスト部分を含む画像にアクセスすることができる。画像がアクセスされると、920で、テキスト検出ユニット342は、画像中のテキスト部分を検出することができる。930で、検出されたテキスト部分が、レイアウト情報決定ユニット344におけるテキストクラスタ化ユニット410によって、画像中の少なくとも1つのテキスト領域にクラスタ化され得る。一実施形態では、隣接するテキスト行(たとえば、文、段落など)または隣接する文字列(たとえば、隣接する単語)など、複数の近隣テキスト部分が、1つのテキスト領域にクラスタ化され得る。
【００７２】
940で、レイアウト情報決定ユニット344は、画像中のテキスト領域のレイアウト情報を決定することができる。一実施形態では、レイアウト情報決定ユニット344は、画像中のテキスト領域を解析して、画像中のテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、テキスト領域の物理レイアウト情報を決定することができる。追加または代替として、レイアウト情報決定ユニット344は、テキスト領域中でテキストを認識し、認識されたテキストの優先度を示し得る、認識されたテキストの論理レイアウト情報を決定することができる。
【００７３】
レイアウト情報が決定されると、950で、サイズ変更動作選択ユニット346は、画像をサイズ変更するための画像サイズ変更動作を選択することができる。サイズ変更動作選択ユニット346は、画像のためのレイアウト情報、画像のサイズ、およびターゲット画像サイズ(たとえば、サムネイル画像サイズ)に基づいて、シームカービング動作、クロッピング動作、またはスケーリング動作を選択することができる。画像サイズ変更動作を選択すると、960で、シームカービングユニット350、クロッピングユニット352、またはスケーリングユニット354は、選択された画像サイズ変更動作を実行することによって、画像をターゲット画像サイズにサイズ変更することができる。
【００７４】
シームカービング動作が選択される場合、シームカービングユニット350がアクティブ化され、画像においてシームカービング動作を実行することによって、画像をサイズ変更することができる。一方、クロッピング動作が選択される場合、クロッピングユニット352がアクティブ化され、画像においてクロッピング動作を実行することによって、画像をサイズ変更することができる。そうでない場合、スケーリング動作が選択される場合、スケーリングユニット354がアクティブ化され、画像においてスケーリング動作を実行することによって、画像をサイズ変更することができる。一実施形態によれば、シームカービングユニット350、クロッピングユニット352、またはスケーリングユニット354が、ターゲット画像サイズのサイズ変更された画像を生成するとき、サイズ変更された画像は、記憶ユニット310内に記憶され、かつ/またはディスプレイ画面などのI/Oユニット320上に表示され得る。
【００７５】
図10は、本開示の一実施形態による、レイアウト情報に基づいて画像サイズ変更動作を選択するための950の詳細な方法のフローチャートを示す。940で、レイアウト情報が決定されると、1010で、サイズ変更動作選択ユニット346は、画像が単一のテキスト領域を有するか否かを決定することができる。画像が複数のテキスト領域を有すると決定される場合(すなわち、1010で「NO」)、1020で、サイズ変更動作選択ユニット346は、シームカービング動作を選択することができる。この場合、この方法は960に進み、960で、シームカービングユニット350が、画像のサイズと、レイアウト情報と、ターゲット画像サイズとに基づいて、画像においてシームカービング動作を実行できるようにすることができる。シームカービング動作を実行する際、シームカービングユニット350は、画像中のテキスト領域以外の領域に位置する複数のシーム(たとえば、ピクセルのパス)を除去することによって、画像をターゲット画像サイズにサイズ変更することができる。
【００７６】
一方、画像が単一のテキスト領域を有すると決定される場合(すなわち、1010で「YES」)、1030で、サイズ変更動作選択ユニット346は、テキスト領域のサイズの、画像のサイズに対する比が、比しきい値(たとえば、あらかじめ決定された比)よりも大きいか否かを決定することができる。テキスト領域の比が比しきい値よりも大きい場合(すなわち、1030で「YES」)、1040で、サイズ変更動作選択ユニット346は、スケーリング動作を選択することができる。スケーリング動作を選択すると、この方法は960に進み、960で、スケーリングユニット354が、画像のサイズと、レイアウト情報と、ターゲット画像サイズとに基づいて、画像においてスケーリング動作を実行することによって、画像をサイズ変更できるようにすることができる。スケーリング動作を実行する際、スケーリングユニット354は、ターゲット画像サイズに一致するように、および、画像中の他の領域に対してテキスト領域のサイズを保持するように適応される、画像のためのスケーリング方向およびスケーリング比を決定することができる。
【００７７】
そうでない場合、テキスト領域の比が比しきい値以下である場合(すなわち、1030で「NO」)、1050で、サイズ変更動作選択ユニット346は、クロッピング動作を選択することができる。クロッピング動作が選択されるとき、この方法は960に進み、960で、クロッピングユニット352が、画像のサイズと、レイアウト情報と、ターゲット画像サイズとに基づいて、画像においてクロッピング動作を実行することによって、画像をターゲット画像サイズにサイズ変更できるようにすることができる。クロッピング動作では、画像中のテキスト領域の外側の1つまたは複数の部分が選択され、クロップされて、画像が、ターゲット画像サイズに一致するようにサイズ変更され得る。
【００７８】
図11は、本開示の一実施形態による、画像においてスケーリング動作を実行することによって、画像をターゲット画像サイズにサイズ変更するための960の詳細な方法のフローチャートを示す。950で、サイズ変更動作選択ユニット346がスケーリング動作を選択するとき、1110で、スケーリングユニット354は、1つまたは複数のスケーリング方向(たとえば、水平方向、垂直方向、および対角方向)と、スケーリング比とを決定することができる。一実施形態では、1つまたは複数のスケーリング方向、およびスケーリング比は、画像のサイズおよびターゲット画像サイズに基づいて決定され得る。
【００７９】
スケーリング方向およびスケーリング比を決定すると、1120で、スケーリングユニット354は、テキスト領域のテキスト密度がテキスト密度しきい値(たとえば、あらかじめ決定されたテキスト密度)よりも大きいか否かを決定することができる。テキスト領域のテキスト密度がテキスト密度しきい値以下であると決定される場合(すなわち、1120で「NO」)、1130で、スケーリングユニット354は、画像をターゲット画像サイズにスケーリングすることができる。一実施形態では、スケーリングユニット354は、スケーリング方向およびスケーリング比に基づいて、双一次補間、双三次補間、最近隣補間などのような、任意の好適な画像スケーリング方式を使用して、画像中の複数のピクセルをサンプリングおよび補間することができる。テキスト領域のテキスト密度があらかじめ決定されたテキスト密度よりも大きいと決定される場合(すなわち、1120で「YES」)、1140で、スケーリングユニット354は、テキスト領域のテキスト密度があらかじめ決定されたテキスト密度に達するまで、画像をスケーリングすることができる。この場合、この方法は940に進み、スケーリングユニット354が、中間画像のレイアウト情報を決定するためにレイアウト情報決定ユニット344に、中間画像サイズのスケーリングされた画像を与えることができるようにすることができる。
【００８０】
図12は、少なくとも1つのテキスト部分を含む画像に対する画像サイズ変更動作を選択し、選択された画像サイズ変更動作に基づいて、画像をサイズ変更するための方法および装置が、本開示のいくつかの実施形態に従って実装され得る、例示的な電子デバイス1200のブロック図である。電子デバイス1200の構成は、図1から図11に関して説明した上記の実施形態による電子デバイスにおいて実装され得る。電子デバイス1200は、セルラーフォン、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、端末、ハンドセット、携帯情報端末(PDA)、ワイヤレスモデム、コードレスフォンなどであり得る。ワイヤレス通信システムは、符号分割多元接続(CDMA)システム、モバイル通信用グローバルシステム(GSM(登録商標))システム、広帯域CDMA(WCDMA(登録商標))システム、ロングタームエボリューション(LTE)システム、LTEアドバンストシステムなどであり得る。さらに、電子デバイス1200は、たとえば、Wi-Fi DirectまたはBluetooth(登録商標)を使用して、別のモバイルデバイスと直接通信し得る。
【００８１】
電子デバイス1200は、受信パスおよび送信パスを介して双方向通信を行うことが可能である。受信パス上で、基地局によって送信された信号は、アンテナ1212によって受信され、受信機(RCVR)1214に与えられる。受信機1214は、受信された信号を調整およびデジタル化し、調整およびデジタル化されたデジタル信号などのサンプルを、さらなる処理のためにデジタルセクションに与える。送信パス上で、送信機(TMTR)1216は、デジタルセクション1220から送信されることになるデータを受信し、そのデータを処理および調整し、基地局にアンテナ1212を介して送信される被変調信号を生成する。受信機1214および送信機1216は、CDMA、GSM(登録商標)、LTE、LTEアドバンストなどをサポートし得るトランシーバの一部であり得る。
【００８２】
デジタルセクション1220は、たとえば、モデムプロセッサ1222、縮小命令セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)1224、コントローラ/プロセッサ1226、内部メモリ1228、汎用オーディオ/ビデオエンコーダ1232、汎用オーディオデコーダ1234、グラフィックス/ディスプレイプロセッサ1236、および外部バスインターフェース(EBI)1238など、様々な処理、インターフェース、およびメモリユニットを含む。モデムプロセッサ1222は、データ送信および受信のための処理、たとえば、符号化、変調、復調、および復号を実行することができる。RISC/DSP1224は、電子デバイス1200のための一般的処理および特殊処理を実行することができる。コントローラ/プロセッサ1226は、デジタルセクション1220内の様々な処理ユニットおよびインターフェースユニットの動作を実行することができる。内部メモリ1228は、デジタルセクション1220内の様々なユニットのためのデータおよび/または命令を記憶することができる。
【００８３】
汎用オーディオ/ビデオエンコーダ1232は、オーディオ/ビデオソース1242、マイクロフォン1244、画像センサ1246などからの入力信号に対して、符号化を実行することができる。汎用オーディオデコーダ1234は、コード化オーディオデータに対して復号を実行することができ、出力信号をスピーカー/ヘッドセット1248に与えることができる。グラフィックス/ディスプレイプロセッサ1236は、ディスプレイユニット1250に提示され得るグラフィックス、ビデオ、画像、およびテキストに対して処理を実行することができる。EBI1238は、デジタルセクション1220とメインメモリ1252との間のデータの転送を容易にすることができる。
【００８４】
デジタルセクション1220は、1つまたは複数のプロセッサ、DSP、マイクロプロセッサ、RISCなどを用いて実装され得る。デジタルセクション1220はまた、1つまたは複数の特定用途向け集積回路(ASIC)および/または何らかの他のタイプの集積回路(IC)上に製作され得る。
【００８５】
一般に、本明細書で説明する任意のデバイスは、ワイヤレスフォン、セルラーフォン、ラップトップコンピュータ、ワイヤレスマルチメディアデバイス、ワイヤレス通信パーソナルコンピュータ(PC)カード、PDA、外部モデムまたは内部モデム、ワイヤレスチャネルを通じて通信するデバイスなどのような様々なタイプのデバイスを表し得る。デバイスは、アクセス端末(AT)、アクセスユニット、加入者ユニット、移動局、モバイルデバイス、モバイルユニット、モバイルフォン、リモート局、リモート端末、リモートユニット、ユーザデバイス、ユーザ機器、ハンドヘルドデバイスなどのような様々な名称を有し得る。本明細書で説明する任意のデバイスは、命令およびデータを記憶するためのメモリ、ならびにハードウェア、ソフトウェア、ファームウェア、またはそれらの組合せを有し得る。
【００８６】
本明細書で説明する技法は、様々な手段によって実装され得る。たとえば、これらの技法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実装され得る。本明細書の開示に関して説明する様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、または両方の組合せとして実装され得ることを当業者はさらに諒解されよう。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップについて、概してそれらの機能に関して上記で説明した。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約によって決まる。当業者は、説明した機能を特定の適用例ごとに様々な方式によって実装してもよいが、そのような実装の決定は、本開示の範囲からの逸脱を引き起こすものと解釈されるべきではない。
【００８７】
ハードウェア実装形態では、本技法を実行するために使用される処理ユニットは、1つまたは複数のASIC、DSP、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明する機能を実行するように設計された他の電子ユニット、コンピュータ、またはそれらの組合せ内で実装され得る。
【００８８】
したがって、本明細書の開示に関して説明する様々な例示的な論理ブロック、モジュール、および回路は、汎用プロセッサ、DSP、ASIC、FPGAもしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェア構成要素、または本明細書で説明する機能を実行するように設計されたそれらの任意の組合せを用いて実装または実行される。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、DSPおよびマイクロプロセッサの組合せ、複数のマイクロプロセッサ、DSPコアと連動する1つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。
【００８９】
ソフトウェアにおいて実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され得る。コンピュータ可読媒体は、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む、コンピュータ記憶媒体と通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、または命令もしくはデータ構造の形態の所望のプログラムコードを搬送もしくは記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含み得る。ディスク(disk)およびディスク(disc)は、本明細書で使用するとき、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)、およびブルーレイディスク(disc)を含み、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、データをレーザーで光学的に再生する。上記の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００９０】
本開示の上記の説明は、当業者が本開示を実施するかまたは使用することを可能にするために提供される。本開示の様々な変更が当業者に容易に明らかになり、本明細書で定義する一般原理は、本開示の趣旨または範囲を逸脱することなく、他の変形形態に適用される。したがって、本開示は本明細書で説明する例に限定されるものではなく、本明細書で開示する原理および新規の特徴と一致する最も広い範囲を与えられるべきである。
【００９１】
例示的な実装形態は、今回開示する主題の態様を1つまたは複数のスタンドアロンのコンピュータシステムのコンテキストにおいて利用することに言及されるが、主題はそのように限定されず、むしろネットワークまたは分散コンピューティング環境のような任意のコンピューティング環境とともに実装され得る。またさらに、今回開示する主題の態様は、複数の処理チップもしくはデバイスの中で、または複数の処理チップもしくはデバイスにわたって実装されてよく、ストレージが複数のデバイスにわたって同様に割り当てられてよい。そのようなデバイスは、PC、ネットワークサーバ、およびハンドヘルドデバイスを含み得る。
【００９２】
構造的な特徴および/または方法論的な行為に特有の言葉で主題について説明してきたが、添付の特許請求の範囲で定義する主題は必ずしも上記で説明した特定の特徴または行為に限定されるとは限らないことを理解されたい。むしろ、上記で説明した特定の特徴および行為は、特許請求の範囲を実装する例示的な形態として開示される。
【００９３】
<本開示の態様>
以下で、本開示のいくつかの態様をさらに述べる。
【実施例１】
【００９４】
本開示の一態様によれば、テキストを有する画像をサイズ変更するための、電子デバイスにおいて実行される方法であって、画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するステップであって、レイアウト情報が、画像中の少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、ステップと、レイアウト情報、画像のサイズ、およびターゲット画像サイズに基づいて、画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択するステップと、レイアウト情報、画像のサイズ、またはターゲット画像サイズのうちの1つに少なくとも基づいて、画像をターゲット画像サイズにサイズ変更するために、選択された動作を実行するステップであって、サイズ変更された画像が少なくとも1つのテキスト領域を含む、ステップとを含む、方法が提供される。
【実施例２】
【００９５】
実施例1の方法において、レイアウト情報を決定するステップが、画像中の複数のテキスト部分を検出するステップと、複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの1つに少なくとも基づいて、複数のテキスト部分のうちの少なくとも1つを、少なくとも1つのテキスト領域にクラスタ化するステップとを含む。
【実施例３】
【００９６】
実施例1または2の方法において、少なくとも1つのテキスト領域のレイアウト情報を決定するステップが、画像中の少なくとも1つのテキスト領域中でテキストを認識するステップと、画像中の少なくとも1つのテキスト領域中の認識されたテキストに基づいて、少なくとも1つのテキスト領域の各々のための優先度を決定するステップとを含む。
【実施例４】
【００９７】
実施例1から3のいずれか1つの方法において、少なくとも1つのテキスト領域の各々のための優先度を決定するステップが、認識されたテキストに基づいて、テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを決定するステップを含む。
【実施例５】
【００９８】
実施例1から4のいずれか1つの方法において、画像をターゲット画像サイズにサイズ変更するために、選択された動作を実行するステップが、少なくとも1つのテキスト領域から、低優先度に関連付けられたテキスト領域を選択するステップと、画像から、選択されたテキスト領域を除去するために、選択された動作を実行するステップとを含む。
【実施例６】
【００９９】
実施例1から5のいずれか1つの方法において、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するステップが、レイアウト情報に応答して、シームカービング動作を選択するステップであって、レイアウト情報が、画像中の複数のテキスト領域を示す、ステップを含む。
【実施例７】
【０１００】
実施例1から6のいずれか1つの方法において、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するステップが、シームカービング動作を選択するステップを含み、選択された動作を実行するステップが、画像中の複数のピクセルのための複数のエネルギー値を計算するステップであって、ピクセルの各々のエネルギー値が、ピクセルがテキストである確率を示す、ステップと、画像中のピクセルのためのエネルギー値に基づいて、画像中の複数のシームを決定するステップであって、シームの各々が、最小エネルギー勾配のパスに沿った複数のピクセルのセットを含む、ステップと、画像中のシームの各々におけるピクセルのエネルギー値の和に基づいて、画像からシームのうちの少なくとも1つを除去するステップとを含む。
【実施例８】
【０１０１】
実施例1から7のいずれか1つの方法において、少なくとも1つのテキスト領域のレイアウト情報を決定するステップが、画像中の少なくとも1つのテキスト領域中でテキストを認識するステップと、画像中の少なくとも1つのテキスト領域中の認識されたテキストに基づいて、少なくとも1つのテキスト領域の各々のための優先度を決定するステップとを含み、複数のエネルギー値を計算するステップが、少なくとも1つのテキスト領域の各々のための優先度に基づいて、少なくとも1つのテキスト領域に関連付けられたピクセルのためのエネルギー値を調整するステップを含む。
【実施例９】
【０１０２】
実施例1から8のいずれか1つの方法において、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するステップが、画像中の単一のテキスト領域を示すレイアウト情報に応答して、クロッピング動作を選択するステップを含み、単一のテキスト領域のサイズが、ターゲット画像サイズ以下である。
【実施例１０】
【０１０３】
実施例1から9のいずれか1つの方法において、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するステップが、画像中の単一のテキスト領域を示すレイアウト情報に応答して、スケーリング動作を選択するステップを含み、単一のテキスト領域のサイズが、ターゲット画像サイズよりも大きい。
【実施例１１】
【０１０４】
実施例1から10のいずれか1つの方法において、選択された動作を実行するステップが、画像を、ターゲット画像サイズよりも大きいサイズを有する中間画像にサイズ変更するために、選択された動作を実行するステップと、選択された動作以外の、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を実行することによって、中間画像をターゲット画像サイズにサイズ変更するステップとを含む。
【実施例１２】
【０１０５】
本開示の別の態様によれば、テキストを有する画像をサイズ変更するための電子デバイスであって、画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するように構成された、レイアウト情報決定ユニットであって、レイアウト情報が、画像中の少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、レイアウト情報決定ユニットと、レイアウト情報、画像のサイズ、およびターゲット画像サイズに基づいて、画像に対して、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するように構成された、サイズ変更動作選択ユニットと、レイアウト情報、画像のサイズ、またはターゲット画像サイズのうちの1つに少なくとも基づいて、画像をターゲット画像サイズにサイズ変更するために、選択された動作を実行するように構成された、サイズ変更ユニットであって、サイズ変更された画像が少なくとも1つのテキスト領域を含む、サイズ変更ユニットとを含む、電子デバイスが提供される。
【実施例１３】
【０１０６】
実施例12の電子デバイスにおいて、サイズ変更ユニットが、シームカービングユニット、クロッピングユニット、またはスケーリングユニットのうちの少なくとも1つを含み、シームカービングユニットが、シームカービング動作を実行するように構成され、クロッピングユニットが、クロッピング動作を実行するように構成され、スケーリングユニットが、スケーリング動作を実行するように構成される。
【実施例１４】
【０１０７】
実施例12または13の電子デバイスにおいて、電子デバイスが、画像中の複数のテキスト部分を検出するように構成された、テキスト検出ユニットをさらに含み、レイアウト情報決定ユニットが、複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの1つに少なくとも基づいて、複数のテキスト部分のうちの少なくとも1つを、少なくとも1つのテキスト領域にクラスタ化するように構成される。
【実施例１５】
【０１０８】
実施例12から14のいずれか1つの電子デバイスにおいて、レイアウト情報決定ユニットが、画像中の少なくとも1つのテキスト領域中でテキストを認識すること、および、画像中の少なくとも1つのテキスト領域中の認識されたテキストに基づいて、少なくとも1つのテキスト領域の各々のための優先度を決定することを行うように構成される。
【実施例１６】
【０１０９】
実施例12から15のいずれか1つの電子デバイスにおいて、レイアウト情報決定ユニットが、認識されたテキストに基づいて、テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを決定するように構成される。
【実施例１７】
【０１１０】
実施例12から16のいずれか1つの電子デバイスにおいて、サイズ変更ユニットが、少なくとも1つのテキスト領域から、低優先度に関連付けられたテキスト領域を選択すること、および、画像から選択されたテキスト領域を除去するために、選択された動作を実行することを行うように構成される。
【実施例１８】
【０１１１】
実施例12から17のいずれか1つの電子デバイスにおいて、サイズ変更動作選択ユニットが、レイアウト情報に応答して、シームカービング動作を選択することであって、レイアウト情報が、画像中の複数のテキスト領域を示す、ことを行うように構成される。
【実施例１９】
【０１１２】
実施例12から18のいずれか1つの電子デバイスにおいて、サイズ変更動作選択ユニットが、シームカービング動作を選択し、シームカービングユニットが、画像中の複数のピクセルのための複数のエネルギー値を計算することであって、ピクセルの各々のエネルギー値が、ピクセルがテキストである確率を示す、こと、画像中のピクセルのためのエネルギー値に基づいて、画像中の複数のシームを決定することであって、シームの各々が、最小エネルギー勾配のパスに沿った複数のピクセルのセットを含む、こと、および、画像中のシームの各々におけるピクセルのエネルギー値の和に基づいて、画像からシームのうちの少なくとも1つを除去することを行うように構成される。
【実施例２０】
【０１１３】
実施例12から19のいずれか1つの電子デバイスにおいて、レイアウト情報決定ユニットが、画像中の少なくとも1つのテキスト領域中でテキストを認識すること、および、画像中の少なくとも1つのテキスト領域中の認識されたテキストに基づいて、少なくとも1つのテキスト領域の各々のための優先度を決定することを行うように構成され、シームカービングユニットが、少なくとも1つのテキスト領域の各々のための優先度に基づいて、少なくとも1つのテキスト領域に関連付けられたピクセルのためのエネルギー値を調整するように構成される。
【実施例２１】
【０１１４】
実施例12から20のいずれか1つの電子デバイスにおいて、サイズ変更動作選択ユニットが、画像中の単一のテキスト領域を示すレイアウト情報に応答して、クロッピング動作を選択するように構成され、単一のテキスト領域のサイズが、ターゲット画像サイズ以下である。
【実施例２２】
【０１１５】
実施例12から21のいずれか1つの電子デバイスにおいて、サイズ変更動作選択ユニットが、画像中の単一のテキスト領域を示すレイアウト情報に応答して、スケーリング動作を選択するように構成され、単一のテキスト領域のサイズが、ターゲット画像サイズよりも大きい。
【実施例２３】
【０１１６】
本開示のさらに別の態様によれば、テキストを有する画像をサイズ変更するための電子デバイスであって、画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するための手段であって、レイアウト情報が、画像中の少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、手段と、レイアウト情報、画像のサイズ、およびターゲット画像サイズに基づいて、画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択するための手段と、レイアウト情報、画像のサイズ、またはターゲット画像サイズのうちの1つに少なくとも基づいて、画像をターゲット画像サイズにサイズ変更するために、選択された動作を実行するための手段であって、サイズ変更された画像が少なくとも1つのテキスト領域を含む、手段とを含む、電子デバイスが提供される。
【実施例２４】
【０１１７】
実施例23の電子デバイスにおいて、電子デバイスが、画像中の複数のテキスト部分を検出するための手段をさらに含み、レイアウト情報を決定するための手段が、複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの1つに少なくとも基づいて、複数のテキスト部分のうちの少なくとも1つを、少なくとも1つのテキスト領域にクラスタ化するように構成される。
【実施例２５】
【０１１８】
実施例23または24の電子デバイスにおいて、レイアウト情報を決定するための手段が、画像中の少なくとも1つのテキスト領域中でテキストを認識すること、および、画像中の少なくとも1つのテキスト領域中の認識されたテキストに基づいて、少なくとも1つのテキスト領域の各々のための優先度を決定することを行うように構成される。
【実施例２６】
【０１１９】
実施例23から25のいずれか1つの電子デバイスにおいて、画像に対して、シームカービング動作、クロッピング動作、またはスケーリング動作を選択するための手段が、シームカービング動作を選択し、選択された動作を実行するための手段が、画像中の複数のピクセルのための複数のエネルギー値を計算することであって、ピクセルの各々のエネルギー値が、ピクセルがテキストである確率を示す、こと、画像中のピクセルのためのエネルギー値に基づいて、画像中の複数のシームを決定することであって、シームの各々が、最小エネルギー勾配のパスに沿った複数のピクセルのセットを含む、こと、および、画像中のシームの各々におけるピクセルのエネルギー値の和に基づいて、画像からシームのうちの少なくとも1つを除去することを行うように構成される。
【実施例２７】
【０１２０】
本開示のまた別の態様によれば、電子デバイスにおいてテキストを有する画像をサイズ変更するための命令を含む非一時的コンピュータ可読記憶媒体であって、命令が、電子デバイスのプロセッサに、画像中の少なくとも1つのテキスト領域のレイアウト情報を決定する動作であって、レイアウト情報が、画像中の少なくとも1つのテキスト領域の数、サイズ、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、動作と、レイアウト情報、画像のサイズ、およびターゲット画像サイズに基づいて、画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択する動作と、レイアウト情報、画像のサイズ、またはターゲット画像サイズのうちの1つに少なくとも基づいて、画像をターゲット画像サイズにサイズ変更するために、選択された動作を実行する動作であって、サイズ変更された画像が少なくとも1つのテキスト領域を含む、動作とを実行させる、非一時的コンピュータ可読記憶媒体が提供される。
【実施例２８】
【０１２１】
実施例27の非一時的コンピュータ可読記憶媒体において、レイアウト情報を決定することが、画像中の複数のテキスト部分を検出すること、および、複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの1つに少なくとも基づいて、複数のテキスト部分のうちの少なくとも1つを、少なくとも1つのテキスト領域にクラスタ化することを含む。
【実施例２９】
【０１２２】
実施例27または28の非一時的コンピュータ可読記憶媒体において、少なくとも1つのテキスト領域のレイアウト情報を決定することが、画像中の少なくとも1つのテキスト領域中でテキストを認識すること、および、画像中の少なくとも1つのテキスト領域中の認識されたテキストに基づいて、少なくとも1つのテキスト領域の各々のための優先度を決定することを含む。
【実施例３０】
【０１２３】
実施例27から29のいずれか1つの非一時的コンピュータ可読記憶媒体において、シームカービング動作、クロッピング動作、またはスケーリング動作を選択することが、シームカービング動作を選択することを含み、選択された動作を実行することが、画像中の複数のピクセルのための複数のエネルギー値を計算することであって、ピクセルの各々のエネルギー値が、ピクセルがテキストである確率を示す、こと、画像中のピクセルのためのエネルギー値に基づいて、画像中の複数のシームを決定することであって、シームの各々が、最小エネルギー勾配のパスに沿った複数のピクセルのセットを含む、こと、および、画像中のシームの各々におけるピクセルのエネルギー値の和に基づいて、画像からシームのうちの少なくとも1つを除去することを含む。
【符号の説明】
【０１２４】
110  ユーザ
120、1200  電子デバイス
130  画像センサ
140  ディスプレイ画面
150、210、220、610、710、810  画像
160  名刺
162、164、172、174、176、212、214、222、224、622、624、712、714、716、718、822、824、832、834  テキスト部分
170  広告
180  ノートブックコンピュータ
202、204、216、226、620、720、732、820、830、840、852、854、862、864  テキスト領域
230、240、250、630、730、860  サムネイル画像
310  記憶ユニット
320  I/Oユニット
330  通信ユニット
340  プロセッサ
342  テキスト検出ユニット
344  レイアウト情報決定ユニット
346  サイズ変更動作選択ユニット
348  サイズ変更ユニット
350  シームカービングユニット、サイズ変更ユニット
352  クロッピングユニット、サイズ変更ユニット
354  スケーリングユニット、サイズ変更ユニット
410  テキストクラスタ化ユニット
420  物理レイアウト処理ユニット
430  テキスト認識ユニット
440  論理レイアウト処理ユニット
450  テキスト特徴データベース
502、504、506、508、510、872、874、876、878  垂直シーム、シーム
512、514、880、882  水平シーム、シーム
626  部分
850  中間画像
1212  アンテナ
1214  受信機(RCVR)
1216  送信機(TMTR)
1220  デジタルセクション
1222  モデムプロセッサ
1224  縮小命令セットコンピュータ/デジタル信号プロセッサ(RISC/DSP)
1226  コントローラ/プロセッサ
1228  内部メモリ
1232  汎用オーディオ/ビデオエンコーダ
1234  汎用オーディオデコーダ
1236  グラフィックス/ディスプレイプロセッサ
1238  外部バスインターフェース(EBI)
1242  オーディオ/ビデオソース
1244  マイクロフォン
1246  画像センサ
1248  スピーカー/ヘッドセット
1250  ディスプレイユニット
1252  メインメモリ
【図１】
2018509644.tif 000003
【図２】
2018509644.tif 000004
【図３】
2018509644.tif 000005
【図４】
2018509644.tif 000006
【図５】
2018509644.tif 000007
【図６】
2018509644.tif 000008
【図７】
2018509644.tif 000009
【図８】
2018509644.tif 000010
【図９】
2018509644.tif 000011
【図１０】
2018509644.tif 000012
【図１１】
2018509644.tif 000013
【図１２】
2018509644.tif 000014
【手続補正書】
【提出日】平成29年7月19日(2017.7.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
テキストを有する画像をサイズ変更するための、電子デバイスにおいて実行される方法であって、
前記画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するステップであって、前記レイアウト情報が、前記画像中の前記少なくとも1つのテキスト領域の数、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、ステップと、
前記レイアウト情報、前記画像のサイズ、およびターゲット画像サイズに基づいて、前記画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択するステップと、
前記レイアウト情報、前記画像の前記サイズ、または前記ターゲット画像サイズのうちの少なくとも1つに基づいて、前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行するステップであって、前記サイズ変更された画像が前記少なくとも1つのテキスト領域を含む、ステップと
を含む方法。
【請求項２】
前記レイアウト情報を決定するステップが、
前記画像中の複数のテキスト部分を検出するステップと、
前記複数のテキスト部分のストローク幅、サイズ、または形状のうちの少なくとも1つに基づいて、前記複数のテキスト部分のうちの少なくとも1つを、前記少なくとも1つのテキスト領域にクラスタ化するステップと
を含む、請求項1に記載の方法。
【請求項３】
前記少なくとも1つのテキスト領域の前記レイアウト情報を決定するステップが、
前記画像中の前記少なくとも1つのテキスト領域のうちのテキスト領域中でテキストを認識するステップと、
前記認識されたテキストに基づいて、前記テキスト領域のための優先度を決定するステップと
を含む、請求項1に記載の方法。
【請求項４】
前記方法が、前記認識されたテキストに基づいて、前記テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを決定するステップをさらに含み、前記テキスト領域のための前記優先度が、前記テキスト領域の前記情報のタイプまたは前記コンテンツのうちの少なくとも1つに基づく、請求項3に記載の方法。
【請求項５】
前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行するステップが、
前記少なくとも1つのテキスト領域から、低優先度に関連付けられたテキスト領域を選択するステップと、
前記画像から前記選択されたテキスト領域を除去するために、前記選択された動作を実行するステップと
を含む、請求項1に記載の方法。
【請求項６】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するステップが、前記画像が複数のテキスト領域を含むことを前記レイアウト情報が示すとの決定に応答して、前記シームカービング動作を選択するステップを含む、請求項1に記載の方法。
【請求項７】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するステップが、前記シームカービング動作を選択するステップを含み、
前記選択された動作を実行するステップが、
前記画像中の複数のピクセルのための複数のエネルギー値を計算するステップであって、前記ピクセルの各々のエネルギー値が、前記ピクセルがテキストである確率を示す、ステップと、
前記画像中の前記複数のピクセルのための前記複数のエネルギー値に基づいて、前記画像中の複数のシームを決定するステップであって、前記複数のシームの各々が、最小エネルギー勾配のパスに沿った前記複数のピクセルのセットを含む、ステップと、
前記画像中の前記複数のシームの各々におけるピクセルのエネルギー値の和に基づいて、前記画像から前記複数のシームのうちの少なくとも1つを除去するステップと
を含む、請求項1に記載の方法。
【請求項８】
前記少なくとも1つのテキスト領域の前記レイアウト情報を決定するステップが、
前記画像中の前記少なくとも1つのテキスト領域のうちのテキスト領域中でテキストを認識するステップと、
前記認識されたテキストに基づいて、前記テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを決定するステップと、
前記テキスト領域の前記情報のタイプまたは前記コンテンツのうちの前記少なくとも1つに基づいて、前記テキスト領域の優先度を決定するステップと
を含み、
前記複数のエネルギー値を計算するステップが、前記少なくとも1つのテキスト領域の各々のための対応する優先度に基づいて、前記少なくとも1つのテキスト領域に関連付けられたピクセルのための前記エネルギー値を調整するステップを含む、請求項7に記載の方法。
【請求項９】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するステップが、前記レイアウト情報が前記画像中の単一のテキスト領域を示し、前記単一のテキスト領域のサイズが前記ターゲット画像サイズ以下であるとの決定に応答して、前記クロッピング動作を選択するステップを含む、請求項1に記載の方法。
【請求項１０】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するステップが、前記レイアウト情報が前記画像中の単一のテキスト領域を示し、前記単一のテキスト領域のサイズが前記ターゲット画像サイズよりも大きいとの決定に応答して、前記スケーリング動作を選択するステップを含む、請求項1に記載の方法。
【請求項１１】
前記選択された動作を実行するステップが、
前記画像を、前記ターゲット画像サイズよりも大きいサイズを有する中間画像にサイズ変更するために、前記選択された動作を実行するステップと、
前記選択された動作以外の、前記シームカービング動作、前記クロッピング動作、および前記スケーリング動作の中の少なくとも1つの動作を実行することによって、前記中間画像を前記ターゲット画像サイズにサイズ変更するステップと
を含む、請求項1に記載の方法。
【請求項１２】
テキストを有する画像をサイズ変更するための電子デバイスであって、
前記画像中の少なくとも1つのテキスト領域のレイアウト情報を決定することであって、前記レイアウト情報が、前記画像中の前記少なくとも1つのテキスト領域の数、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、こと、
前記レイアウト情報、前記画像のサイズ、およびターゲット画像サイズに基づいて、前記画像に対して、シームカービング動作、クロッピング動作、またはスケーリング動作を選択すること、ならびに
前記レイアウト情報、前記画像の前記サイズ、または前記ターゲット画像サイズのうちの少なくとも1つに基づいて、前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行することであって、前記サイズ変更された画像が前記少なくとも1つのテキスト領域を含む、こと
を行うように構成されたプロセッサを備える電子デバイス。
【請求項１３】
前記プロセッサが、
前記画像中の前記少なくとも1つのテキスト領域のうちのテキスト領域中でテキストを認識すること、
前記認識されたテキストに基づいて、前記テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを決定すること、
前記テキスト領域の前記情報のタイプまたは前記コンテンツのうちの前記少なくとも1つに基づいて、前記テキスト領域の優先度を決定すること、
前記テキスト領域が低優先度に関連付けられるとの決定に応答して、前記少なくとも1つのテキスト領域から前記テキスト領域を選択すること、および
前記画像から前記選択されたテキスト領域を除去するために、前記選択された動作を実行すること
を行うようにさらに構成される、請求項12に記載の電子デバイス。
【請求項１４】
前記プロセッサが、
前記画像中の複数のテキスト部分を検出すること、および
前記複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの少なくとも1つに基づいて、前記複数のテキスト部分のうちの少なくとも1つを、前記少なくとも1つのテキスト領域にクラスタ化すること
を行うようにさらに構成される、請求項12に記載の電子デバイス。
【請求項１５】
前記プロセッサが、
前記画像中の前記少なくとも1つのテキスト領域のうちのテキスト領域中でテキストを認識すること、および
前記認識されたテキストに基づいて、前記テキスト領域のための優先度を決定すること
を行うようにさらに構成される、請求項12に記載の電子デバイス。
【請求項１６】
前記プロセッサが、前記認識されたテキストに基づいて、前記テキスト領域の情報のタイプまたはコンテンツのうちの少なくとも1つを決定するようにさらに構成される、請求項15に記載の電子デバイス。
【請求項１７】
前記プロセッサが、
前記テキスト領域が低優先度に関連付けられるとの決定に応答して、前記少なくとも1つのテキスト領域から、前記テキスト領域を選択すること、および
前記画像から前記選択されたテキスト領域を除去するために、前記選択された動作を実行すること
を行うようにさらに構成される、請求項15に記載の電子デバイス。
【請求項１８】
前記プロセッサが、前記画像が複数のテキスト領域を含むことを前記レイアウト情報が示すとの決定に応答して、前記シームカービング動作を選択することを行うようにさらに構成される、請求項12に記載の電子デバイス。
【請求項１９】
前記プロセッサが、
前記画像中の複数のピクセルのための複数のエネルギー値を計算することであって、前記複数のピクセルの各々のエネルギー値が、前記ピクセルがテキストである確率を示す、こと、
前記画像中の前記複数のピクセルのための前記複数のエネルギー値に基づいて、前記画像中の複数のシームを決定することであって、前記複数のシームの各々が、最小エネルギー勾配のパスに沿った前記複数のピクセルのセットを含む、こと、および
前記画像中の前記複数のシームの各々におけるピクセルのエネルギー値の和に基づいて、前記画像から前記複数のシームのうちの少なくとも1つを除去すること
を行うことによって、前記シームカービング動作を実行するように構成される、請求項13に記載の電子デバイス。
【請求項２０】
前記プロセッサが、
前記画像中の前記少なくとも1つのテキスト領域のうちのテキスト領域中でテキストを認識すること、および
前記認識されたテキストに基づいて、前記テキスト領域のための特定の優先度を決定すること
を行うように構成され、
前記シームカービング動作が、前記少なくとも1つのテキスト領域の各々のための優先度に基づいて、前記複数のピクセルのための前記複数のエネルギー値を調整するように構成される、請求項19に記載の電子デバイス。
【請求項２１】
前記プロセッサが、前記レイアウト情報が前記画像中の単一のテキスト領域を示し、前記単一のテキスト領域のサイズが前記ターゲット画像サイズ以下であるとの決定に応答して、前記クロッピング動作を選択するようにさらに構成される、請求項12に記載の電子デバイス。
【請求項２２】
前記プロセッサが、前記レイアウト情報が前記画像中の単一のテキスト領域を示し、前記単一のテキスト領域のサイズが前記ターゲット画像サイズよりも大きいとの決定に応答して、前記スケーリング動作を選択するようにさらに構成される、請求項12に記載の電子デバイス。
【請求項２３】
装置であって、
画像中の少なくとも1つのテキスト領域のレイアウト情報を決定するための手段であって、前記レイアウト情報が、前記画像中の前記少なくとも1つのテキスト領域の数、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、手段と、
前記レイアウト情報、前記画像のサイズ、およびターゲット画像サイズに基づいて、前記画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択するための手段と、
前記レイアウト情報、前記画像の前記サイズ、または前記ターゲット画像サイズのうちの少なくとも1つに基づいて、前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行するための手段であって、前記サイズ変更された画像が前記少なくとも1つのテキスト領域を含む、手段と
を備える装置。
【請求項２４】
前記装置が、前記画像中の複数のテキスト部分を検出するための手段をさらに備え、前記レイアウト情報を決定するための前記手段が、前記複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの少なくとも1つに基づいて、前記複数のテキスト部分のうちの少なくとも1つを、前記少なくとも1つのテキスト領域にクラスタ化するように構成される、請求項23に記載の装置。
【請求項２５】
前記レイアウト情報を決定するための前記手段が、
前記画像中の前記少なくとも1つのテキスト領域のうちのテキスト領域中でテキストを認識すること、および
前記認識されたテキストに基づいて、前記テキスト領域のための優先度を決定すること
を行うように構成される、請求項23に記載の装置。
【請求項２６】
前記画像に対して、前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択するための前記手段が、前記シームカービング動作を選択し、前記選択された動作を実行するための前記手段が、
前記画像中の複数のピクセルのための複数のエネルギー値を計算することであって、前記ピクセルの各々のエネルギー値が、前記ピクセルがテキストである確率を示す、こと、
前記画像中の前記複数のピクセルのための前記複数のエネルギー値に基づいて、前記画像中の複数のシームを決定することであって、前記複数のシームの各々が、最小エネルギー勾配のパスに沿った前記複数のピクセルのセットを含む、こと、および
前記画像中の前記複数のシームの各々におけるピクセルのエネルギー値の和に基づいて、前記画像から前記複数のシームのうちの少なくとも1つを除去すること
を行うように構成される、請求項23に記載の装置。
【請求項２７】
命令を含むコンピュータ可読記憶媒体であって、前記命令が、プロセッサによって実行されるとき、前記プロセッサに、
画像中の少なくとも1つのテキスト領域のレイアウト情報を決定することであって、前記レイアウト情報が、前記画像中の前記少なくとも1つのテキスト領域の数、位置、形状、またはテキスト密度のうちの少なくとも1つを含む、こと、
前記レイアウト情報、前記画像のサイズ、およびターゲット画像サイズに基づいて、前記画像に対して、シームカービング動作、クロッピング動作、およびスケーリング動作の中の少なくとも1つの動作を選択すること、ならびに
前記レイアウト情報、前記画像の前記サイズ、または前記ターゲット画像サイズのうちの少なくとも1つに基づいて、前記画像を前記ターゲット画像サイズにサイズ変更するために、前記選択された動作を実行することであって、前記サイズ変更された画像が前記少なくとも1つのテキスト領域を含む、こと
を含む動作を実行させる、コンピュータ可読記憶媒体。
【請求項２８】
前記レイアウト情報を決定することが、
前記画像中の複数のテキスト部分を検出すること、および
前記複数のテキスト部分のストローク幅、サイズ、形状、または位置のうちの少なくとも1つに基づいて、前記複数のテキスト部分のうちの少なくとも1つを、前記少なくとも1つのテキスト領域にクラスタ化すること
を含む、請求項27に記載のコンピュータ可読記憶媒体。
【請求項２９】
前記少なくとも1つのテキスト領域の前記レイアウト情報を決定することが、
前記画像中の前記少なくとも1つのテキスト領域のうちのテキスト領域中でテキストを認識すること、および
前記認識されたテキストに基づいて、前記テキスト領域のための優先度を決定すること
を含む、請求項27に記載のコンピュータ可読記憶媒体。
【請求項３０】
前記シームカービング動作、前記クロッピング動作、または前記スケーリング動作を選択することが、前記シームカービング動作を選択することを含み、
前記選択された動作を実行することが、
前記画像中の複数のピクセルのための複数のエネルギー値を計算することであって、前記複数のピクセルの各々のエネルギー値が、前記ピクセルがテキストである確率を示す、こと、
前記画像中の前記複数のピクセルのための前記複数のエネルギー値に基づいて、前記画像中の複数のシームを決定することであって、前記複数のシームの各々が、最小エネルギー勾配のパスに沿った前記複数のピクセルのセットを含む、こと、および
前記画像中の前記複数のシームの各々におけるピクセルのエネルギー値の和に基づいて、前記画像から前記複数のシームのうちの少なくとも1つを除去すること
を含む、請求項27に記載のコンピュータ可読記憶媒体。
【国際調査報告】
2018509644.tif 000015
2018509644.tif 000016
2018509644.tif 000017
2018509644.tif 000018
2018509644.tif 000019