(57)【特許請求の範囲】
【請求項１】
イメージコンテンツに対してトリミングを実行するための方法であって、
（ａ）顔検出技術及び物体検出技術を用いてイメージコンテンツ内に含まれている人物及び物体を検出するステップと、
（ｂ）前記検出された人物の顔領域の面積と前記検出された物体領域の面積とを算出し、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離と前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離とを算出するステップと、
（ｃ）前記検出された物体領域の面積が前記検出された人物の顔領域の面積よりも第１既設定比率値以上大きいと算出されれば、前記物体に対するトリミングを実行するとともに、前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離が第２既設定値以下であり、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離が前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離よりも第３既設定値以上大きいと算出されれば、前記物体に対するトリミングを実行するステップとを含む方法。
【請求項２】
前記（ｃ）ステップは、
前記検出された物体領域の面積が前記検出された人物の顔領域の面積よりも前記第１既設定比率値以上でないと算出されれば、前記顔に対するトリミングを実行するとともに、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離が第４既設定値以下であると算出されれば、前記顔に対するトリミングを実行するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記（ｃ）ステップは、
前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離が前記イメージコンテンツの横長又は縦長のうち、短い長さに対する所定比率よりも小さな長さに該当すると算出されれば、前記顔に対するトリミングを実行するステップを含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記（ｃ）ステップは、
前記イメージコンテンツの中央に存在する物体又は顔がない場合、前記検出された人物の顔及び物体のうち、前記イメージコンテンツの特定地点と近い所に位置する上位ｎ個の顔又は物体に対してのみトリミングを実行するステップを更に含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記検出された人物の顔領域及び物体領域の面積は、前記顔又は物体を含む最小の四角形を上下左右方向に所定比率だけ拡張した領域の面積であり、前記所定比率は、前記四角形の横長又は縦長に対する比率であり、前記人物又は物体の数によって前記所定比率が差別的に適用されることを特徴とする請求項１に記載の方法。
【請求項６】
前記（ｃ）ステップは、
前記検出された人物の顔領域及び物体領域の面積が前記イメージコンテンツの大きさに対して所定比率未満である場合、前記イメージコンテンツ全体に対するトリミングを実行するステップを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記（ｃ）ステップで、
前記トリミングを実行するステップは、サムネイルイメージを生成するステップを含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記（ｃ）ステップは、
前記トリミングが実行された人物の顔及び物体のうち、ユーザが選択した顔又は物体に対するズームイン又はズームアウト機能を実行するステップを含むことを特徴とする請求項２に記載の方法。
【請求項９】
前記（ｃ）ステップは、
前記トリミングが実行された顔及び物体に対するユーザの受動的な選択によって前記選択された顔及び物体を見回す機能であるナビゲーション機能を実行するステップを含むことを特徴とする請求項２に記載の方法。
【請求項１０】
前記（ｃ）ステップは、
前記トリミングが実行された顔及び物体に対して自動的に所定の順序に従って前記顔及び物体に含まれている情報を連続して提供するスライドショー機能を実行するステップを含むことを特徴とする請求項２に記載の方法。
【請求項１１】
イメージコンテンツに対してトリミングを実行するための方法であって、
（ａ）物体検出技術を用いてイメージコンテンツ内に含まれている物体を検出するステップと、
（ｂ）前記検出された物体の数が複数である場合、前記検出されたそれぞれの物体領域の面積を算出し、前記検出されたそれぞれの物体の中央地点から前記イメージコンテンツの特定地点までの離間距離を算出するステップと、
（ｃ）（i）前記検出された物体のうち第１物体領域の面積が第２物体領域の面積よりも第１既設定比率値以上大きいと算出されれば、前記第１物体の優先順位を高める基準及び（ii）前記第１物体の中央地点から前記イメージコンテンツの特定地点までの離間距離と前記第２物体の中央地点から前記イメージコンテンツの特定地点までの離間距離とを比較して前記イメージコンテンツの特定地点までの離間距離がより短い物体の優先順位を高める基準によってトリミングを実行し、前記第１物体領域の面積が前記第２物体領域の面積よりも第２既設定比率値以上大きいと算出されれば、前記（ii）の基準を無視するステップと含み、
前記第２既設定比率値は、前記第１既設定比率値よりも大きく設定される方法。
【請求項１２】
前記（ｃ）ステップは、
前記検出された複数の物体のうち、優先順位の高い上位ｎ個の物体に対してトリミングを実行することを特徴とする請求項１１に記載の方法。
【請求項１３】
イメージコンテンツに対してトリミングを実行するための端末であって、
顔検出技術及び物体検出技術を用いてイメージコンテンツ内に含まれている人物及び物体を検出し、前記検出された人物の顔領域の面積と前記検出された物体領域の面積を算出し、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離と前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離とを算出した後、前記検出された物体領域の面積が前記検出された人物の顔領域の面積よりも第１既設定比率値以上大きいと算出されれば、前記検出された物体領域を特徴領域として決定するとともに、前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離が第２既設定値以下であり、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離が前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離よりも第３既設定値以上大きいと算出されれば、前記検出された物体領域を特徴領域として決定する特徴領域抽出部と、
前記決定された結果に基づいて、前記イメージコンテンツに対してトリミングを実行するトリミング実行部と、
前記トリミングの結果をユーザに提供する表示部とを含む端末。
【請求項１４】
前記特徴領域抽出部は、
前記検出された物体領域の面積が前記検出された人物の顔領域の面積よりも前記第１既設定比率値以上でないと算出されれば、前記検出された人物の顔領域を特徴領域として決定し、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離が第４既設定値以下であると算出されれば、前記検出された人物の顔領域を特徴領域として決定することを特徴とする請求項１３に記載の端末。
【請求項１５】
前記特徴領域抽出部は、
前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離が前記イメージコンテンツの横長又は縦長のうち、短い長さに対する所定比率よりも小さな長さに該当するものと算出されれば、前記検出された人物の顔領域を特徴領域として決定することを特徴とする請求項１４に記載の端末。
【請求項１６】
前記特徴領域抽出部は、
前記イメージコンテンツの中央に存在する物体又は顔がない場合、前記検出された人物の顔及び物体のうち、前記イメージコンテンツの特定地点と近い所に位置する上位ｎ個の顔領域又は物体領域のみを特徴領域として決定することを特徴とする請求項１３に記載の端末。
【請求項１７】
前記検出された人物の顔領域及び物体領域の面積は、前記顔又は物体を含む最小の四角形を上下左右方向に所定比率だけ拡張した領域の面積であり、前記所定比率は、前記四角形の横長又は縦長に対する比率であり、前記人物又は物体の数によって前記所定比率が差別的に適用されることを特徴とする請求項１３に記載の端末。
【請求項１８】
前記特徴領域抽出部は、
前記検出された人物の顔領域及び物体領域の面積が前記イメージコンテンツの大きさに対して所定比率未満である場合、前記イメージコンテンツ全体を特徴領域として決定するフレーム指定部を含むことを特徴とする請求項１３に記載の端末。
【請求項１９】
前記トリミング実行部は、
サムネイルイメージを生成するサムネイルイメージ生成部を含むことを特徴とする請求項１３に記載の端末。
【請求項２０】
前記トリミング実行部は、
前記トリミングが実行された人物の顔及び物体のうち、ユーザが選択した顔又は物体に対するズームイン又はズームアウト機能を実行するズーム機能実行部を含むことを特徴とする請求項１４に記載の端末。
【請求項２１】
前記トリミング実行部は、
前記トリミングが実行された顔及び物体に対するユーザの受動的な選択によって前記選択された顔及び物体を見回す機能であるナビゲーション機能を実行することを特徴とする請求項１４に記載の端末。
【請求項２２】
前記トリミング実行部は、
前記トリミングが実行された顔及び物体に対して自動的に所定の順序に従って前記顔及び物体に含まれている情報を連続して提供するスライドショー機能を実行することを特徴とする請求項１４に記載の端末。
【請求項２３】
イメージコンテンツに対してトリミングを実行するための端末であって、
物体検出技術を用いてイメージコンテンツ内に含まれている物体を検出し、前記検出された物体の数が複数である場合、前記検出されたそれぞれの物体領域の面積を算出し、前記検出されたそれぞれの物体の中央地点から前記イメージコンテンツの特定地点までの離間距離を算出した後、（i）前記検出された物体のうち第１物体領域の面積が第２物体領域の面積よりも第１既設定比率値以上大きいと算出されれば、前記第１物体の優先順位を高める基準及び（ii）前記第１物体の中央地点から前記イメージコンテンツの特定地点までの離間距離と前記第２物体の中央地点から前記イメージコンテンツの特定地点までの離間距離とを比較して前記イメージコンテンツの特定地点までの離間距離がより短い物体の優先順位を高める基準によって特徴領域を決定し、前記第１物体領域の面積が前記第２物体領域の面積よりも第２既設定比率値以上大きいと算出されれば、前記（ii）の基準を無視する特徴領域抽出部と、
前記決定された結果に基づいて、前記イメージコンテンツに対してトリミングを実行するトリミング実行部と、
前記トリミングの結果をユーザに提供する表示部とを含み、
前記第２既設定比率値は前記第１既設定比率値よりも大きく設定される端末。
【請求項２４】
前記特徴領域抽出部は、
前記検出された複数の物体のうち、優先順位の高い上位ｎ個の物体を特徴領域として決定することを特徴とする請求項２３に記載の端末。
【請求項２５】
請求項１〜１２のいずれか１項に記載の方法を実行するためのコンピュータプログラムを記録したコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はイメージコンテンツに対してトリミングを実行するための方法、端末及びコンピュータ読み取り可能な記録媒体に関し、より詳しくは、所定基準を通じてイメージコンテンツの特定領域のみを抽出し、抽出された領域に対してサムネイル機能、ズーム機能、及びスライドショー機能などを提供することによって、ユーザに数多くのイメージコンテンツ内に含まれている主要人物又は物事などに対する内容をより迅速に確認できるようにさせると共に、興味深い映像効果も楽しめるようにするための方法、端末及びコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
一般に、多様な端末装置などのシステムに格納されるファイルの数が多くなると、特定のファイルを検索するのに多くの時間と努力が必要になる。このように消費される時間と努力を軽減するために、静止画又はイメージコンテンツに対するサムネイルイメージを生成させて格納する技術が広く用いられている。サムネイルサイズの映像を生成すれば、多数のイメージコンテンツに対するサムネイル映像を１つの画面に同時に表示できるため、特定のファイルを検索するのに要される時間と努力を軽減できるようになる。特に、比較的に少ない容量と遅い処理速度を有する移動通信端末又は多数のイメージファイルを格納及び管理するプログラムの場合には映像のサムネイルを用いることによって発生する利点が更に多くなると言える。このような利点によってイメージファイルをサムネイルサイズで示す機能が利用されている。
【０００３】
しかし、イメージファイル全体をサムネイルサイズに縮小させると、その解像度も小さくなることを意味するため、サムネイルのサイズが小さいほど該当イメージファイルの内容を識別し難くなる。従って、イメージファイル全体を縮小させてサムネイルイメージを生成するよりはイメージファイル内に含まれる特徴的な部分のみを切り出し、これを縮小させてサムネイルイメージを生成する技術が活用されている。即ち、イメージファイルの内容を最もよく表す特定領域のみを対象にサムネイルイメージを生成させると、イメージファイル全体を縮小させてサムネイルイメージを生成させる場合よりも相対的に縮小比率が小さくなり、イメージの識別が容易になるだけでなく、イメージファイルの特徴的な部分がサムネイルイメージとして生成されるため、サムネイルイメージを確認するだけで該当イメージファイルの内容を容易に把握できる。
【０００４】
しかし、現在イメージファイルから特徴的な部分を探し出す方法は、彩度ヒストグラムなどを分析してイメージファイル内に含まれる個体を探し、該当個体を特徴領域として判断する方法に止まっている。一般に、イメージファイルには人物と物体が含まれていることもあり得、このような場合、物体という個体は背景又は周辺環境である可能性が高い。即ち、人物という個体がイメージファイルにおいて重要な個体であるが、従来の方法によれば、人物と物体を区別せず、何れも重要領域と判断してしまうおそれがある。また、人物又は物体が複数存在する場合、その重要度と関係なく何れも重要領域と判断してしまう問題も存在する。これによれば、重要領域を抽出し、これに基づいてサムネイルイメージを生成するとしても、サムネイルイメージを通じて該当イメージファイルの内容が容易に分からなくなるという問題がある。
【０００５】
従って、イメージファイルに存在する各種個体のうち、実質的に特徴的な部分、即ち、そのイメージファイルにおいて最も重要な部分を抽出し、これに基づいてサムネイルイメージを生成するための技術の開発が急務となっている。また、抽出された部分をユーザに多様な方式で提供することによって、ユーザが興味を感じさせることができるようにする技術の開発も行われなければならないのが現状である。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、前述した従来技術の問題をすべて解決することをその目的とする。
また、本発明の他の目的は、多様な基準を通じてイメージコンテンツの特徴領域を抽出し、抽出された特徴領域をユーザに多様な方式を通じて提供することによって、ユーザがより容易に該当イメージコンテンツの重要な内容を把握できるようにし、興味を感じさせることができるようにすることにある。
【０００７】
一方、本発明の他の目的は、イメージコンテンツの特徴領域を抽出するにおいて、イメージコンテンツに含まれる個体の種類及び位置、サイズなどを検出し、検出された個体が人物か物体かによって、イメージ内で人物及び／又は物体の占める位置、サイズなどによって、互いに異なる基準を適用することで、実質的に重要な部分をイメージコンテンツの特徴領域として抽出できるようにすることにある。
【課題を解決するための手段】
【０００８】
前記目的を達成するための本発明の代表的な構成は、以下の通りである。
本発明の一実施形態によれば、イメージコンテンツに対してトリミングを実行するための方法であって、（ａ）顔検出技術及び物体検出技術を用いてイメージコンテンツ内に含まれている人物及び物体を検出するステップと、（ｂ）前記検出された人物の顔領域の面積と前記検出された物体領域の面積とを算出し、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離と前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離とを算出するステップと、（ｃ）前記検出された物体領域の面積が前記検出された人物の顔領域の面積よりも第１既設定比率値以上大きいと算出されれば、前記物体に対するトリミングを実行するとともに、前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離が第２既設定値以下であり、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離が前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離よりも第３既設定値以上大きいと算出されれば、前記物体に対するトリミングを実行するステップとを含む方法が提供される。
【０００９】
本発明の他の実施形態によれば、イメージコンテンツに対してトリミングを実行するための方法であって、（ａ）物体検出技術を用いてイメージコンテンツ内に含まれている物体を検出するステップと、（ｂ）前記検出された物体の数が複数である場合、前記検出されたそれぞれの物体領域の面積を算出し、前記検出されたそれぞれの物体の中央地点から前記イメージコンテンツの特定地点までの離間距離を算出するステップと、（ｃ）（i）前記検出された物体のうち第１物体領域の面積が第２物体領域の面積よりも第１既設定比率値以上大きいと算出されれば、前記第１物体の優先順位を高める基準及び（ii）前記第１物体の中央地点から前記イメージコンテンツの特定地点までの離間距離と前記第２物体の中央地点から前記イメージコンテンツの特定地点までの離間距離とを比較して前記イメージコンテンツの特定地点までの離間距離がより短い物体の優先順位を高める基準によってトリミングを実行し、前記第１物体領域の面積が前記第２物体領域の面積よりも第２既設定比率値以上大きいと算出されれば、前記（ii）の基準を無視するステップと含み、前記第２既設定比率値は、前記第１既設定比率値よりも大きく設定される方法が提供される。
【００１０】
本発明の他の実施形態によれば、イメージコンテンツに対してトリミングを実行するための端末であって、顔検出技術及び物体検出技術を用いてイメージコンテンツ内に含まれている人物及び物体を検出し、前記検出された人物の顔領域の面積と前記検出された物体領域の面積を算出し、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離と前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離とを算出した後、前記検出された物体領域の面積が前記検出された人物の顔領域の面積よりも第１既設定比率値以上大きいと算出されれば、前記検出された物体領域を特徴領域として決定するとともに、前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離が第２既設定値以下であり、前記検出された人物の顔の中央地点から前記イメージコンテンツの中央地点までの離間距離が前記検出された物体の中央地点から前記イメージコンテンツの中央地点までの離間距離よりも第３既設定値以上大きいと算出されれば、前記検出された物体領域を特徴領域として決定する特徴領域抽出部と、前記決定された結果に基づいて、前記イメージコンテンツに対してトリミングを実行するトリミング実行部と、前記トリミングの結果をユーザに提供する表示部とを含む端末が提供される。
【００１１】
本発明の他の実施形態によれば、イメージコンテンツに対してトリミングを実行するための端末であって、物体検出技術を用いてイメージコンテンツ内に含まれている物体を検出し、前記検出された物体の数が複数である場合、前記検出されたそれぞれの物体領域の面積を算出し、前記検出されたそれぞれの物体の中央地点から前記イメージコンテンツの特定地点までの離間距離を算出した後、（i）前記検出された物体のうち、第１物体領域の面積が第２物体領域の面積よりも第１既設定比率値以上大きいと算出されれば、前記第１物体の優先順位を高める基準及び（ii）前記第１物体の中央地点から前記イメージコンテンツの特定地点までの離間距離と前記第２物体の中央地点から前記イメージコンテンツの特定地点までの離間距離とを比較して前記イメージコンテンツの特定地点までの離間距離がより短い物体の優先順位を高める基準によって特徴領域を決定し、前記第１物体領域の面積が前記第２物体領域の面積よりも第２既設定比率値以上大きいと算出されれば、前記（ii）の基準を無視する特徴領域抽出部と、前記決定された結果に基づいて、前記イメージコンテンツに対してトリミングを実行するトリミング実行部と、前記トリミングの結果をユーザに提供する表示部とを含み、前記第２既設定比率値は前記第１既設定比率値よりも大きく設定される端末が提供される。
【００１２】
この他にも、本発明を実現するための他の方法、システム及び前記方法を実行するためのコンピュータプログラムを記録するためのコンピュータ読み取り可能な記録媒体が更に提供される。
【発明の効果】
【００１３】
本発明によれば、多様な基準を通じてイメージコンテンツの特徴領域が抽出され、抽出された特徴領域をユーザに提供するにおいて、サムネイルイメージ形態で提供する方式、ズーム機能形態で提供する方式又はナビゲーション／スライドショー形態で提供する方式などにより提供するため、ユーザはより容易に多数のイメージコンテンツの内容を把握できると共に、イメージコンテンツの重要部分に前記のような特殊な機能を提供するので、多様な映像効果を達成できるという効果を奏する。
【００１４】
また、本発明によれば、イメージコンテンツに含まれる個体の種類によって、イメージ内で個体の占める位置、サイズなどによって、互いに異なる基準が適用され、このような基準によって該当イメージコンテンツの特徴領域が抽出されるため、単純に算術的な演算のみを通じて特徴領域を抽出する方式よりも実質的に、より重要な部分を合理的にイメージコンテンツの特徴領域として抽出できるようになる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に関るイメージコンテンツに対するトリミングを可能にし、その結果をユーザに提供するための端末の構成を示す図である。
【図２】本発明の一実施形態に関る特徴領域抽出部の構成を示す図である。
【図３Ａ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｂ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｃ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｄ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｅ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｆ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｇ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｈ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｉ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｊ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｋ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｌ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｍ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【図３Ｎ】本発明の一実施形態に関るフレーム指定部により特徴領域が抽出される過程を説明する図である。
【発明を実施するための形態】
【００１６】
後述する本発明に関する詳細な説明は、本発明を実施し得る特定の実施形態を例示として示す添付図面を参照する。これらの実施形態は、当業者が本発明を実施できるように十分に詳細に説明される。本発明の多様な実施形態は互いに異なるが、相互排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施形態に関連して本発明の精神及び範囲から逸脱しないながらも、他の実施形態で実現され得る。また、それぞれの開示された実施形態内の個別構成要素の位置又は配置は、本発明の精神及び範囲から逸脱しないながらも、変更され得ることが理解されるべきである。従って、後述する詳細な説明は、限定的な意味として取ろうとするものではなく、本発明の範囲は、適切に説明されるのであれば、それらの請求項が主張するものと均等なあらゆる範囲と共に添付された請求項によってのみ限定される。図面において類似する参照符号は、多様な側面に渡って同一又は類似する機能を示す。
【００１７】
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好適な実施形態について添付された図面を参照して詳細に説明する。
【００１８】
［本発明の好適な実施形態］
本発明において、トリミングとは、写真などイメージコンテンツに対する画面構成を意味するものであって、主要部分を強調する方式などを通じてイメージコンテンツの特徴的な部分のみを強調してユーザに提供することを包括する概念であると言える。更に、本発明ではトリミング方法の具体的な例として、イメージ内の特徴領域に対するサムネイルの生成、ズームイン／ズームアウト、ナビゲーション／スライドショー機能などを言及しているが、必ずしもこれに限定されるものではなく、特徴領域を基準に適用されるいかなる効果もこれに含まれる概念であると言える。
【００１９】
端末の構成
図１は、本発明の一実施形態に関るイメージコンテンツに対するトリミングを可能にし、その結果をユーザに提供するための端末の構成を示す図である。
【００２０】
図１に示すように、本発明の端末１００は、ユーザから所望の動作に対する命令を受信する入力信号受信部１１０、イメージコンテンツにおいて重要領域を抽出する特徴領域抽出部１２０、特徴領域として抽出された部分をサムネイルイメージとして生成するサムネイルイメージ生成部１３０、特徴領域として抽出された１以上の部分をズームイン又はズームアウトさせるズーム機能提供部１４０、１以上の特徴領域に対してナビゲーション機能又はスライドショーを提供するナビゲーション／スライドショー機能提供部１５０、表示部１６０、通信部１７０及び制御部１８０を含んで構成されることができる。
【００２１】
本発明の一実施形態によれば、入力信号受信部１１０、特徴領域抽出部１２０、サムネイルイメージ生成部１３０、ズーム機能提供部１４０、ナビゲーション／スライドショー機能提供部１５０、表示部１６０、通信部１７０及び制御部１８０は、端末１００内に備えられるプログラムモジュールであり得る。このようなプログラムモジュールは、運営システム、応用プログラムモジュール及びその他プログラムモジュールの形態で端末１００に含まれることができ、物理的には多様な公知となっている記憶装置上に格納されることができる。また、このようなプログラムモジュールは、端末１００と通信可能な遠隔記憶装置に格納されてもよい。一方、このようなプログラムモジュールは、本発明によって後述する特定の業務を行ったり、特定の抽象データタイプを実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されるものではない。
【００２２】
まず、本発明の一実施形態に関る入力信号受信部１１０は、ユーザから入力される命令を受信する機能を実行する。後述するように、本発明の端末１００は、ユーザから入力されるイメージコンテンツ又は既に格納されているイメージコンテンツに対するトリミング動作を実行することができるが、ユーザはトリミング動作の開始、特徴領域として選択された部分に対するサムネイル生成機能、ズーム機能、ナビゲーション又はスライドショー機能などの実行のための命令を入力することができる。このような命令の入力は、端末１００に通常備えられる入力部（図示せず）を通じて行われることができ、入力信号受信部１１０は、このような入力部を通じて入力される命令を受信する機能を実行する。
【００２３】
本発明の一実施形態に関る特徴領域抽出部１２０は、ユーザから入力されたり、既に格納されているイメージコンテンツを対象に特徴領域を抽出する機能を実行する。特徴領域とは、該当イメージコンテンツの重要部分であって、そのイメージコンテンツの最も特徴的な部分、即ち、そのイメージコンテンツの内容を最もよく表現している部分を意味する。特徴領域抽出部１２０は、イメージコンテンツを認識した後、多様な基準（例えば、イメージコンテンツが人物と物体を含んでいるものと認識された場合、人物に優先順位を付与して該当人物を含んでいる領域を特徴領域として抽出する）を通じて特徴領域を抽出することができる。特徴領域は、四角形状のフレーム形態で抽出されることもできるが、必ずしもこれに限定されるものではない。このような特徴領域抽出部１２０の動作については、以下で詳細に説明する。
【００２４】
本発明の一実施形態に関るサムネイルイメージ生成部１３０は、特徴領域抽出部１２０により抽出された特徴領域をサムネイルイメージとして生成する機能を実行する。前述したように、特徴領域は、四角形状のフレーム形態で抽出されることができるが、サムネイルイメージ生成部１３０は、ユーザの選択によってこのようなフレームを適正の解像度及びサイズを有するイメージファイルとして生成することができ、このように生成されるサムネイルイメージは、表示部１６０を通じてユーザに提供さることができる。即ち、ユーザは、特徴領域抽出部１２０により特徴領域が抽出された後にサムネイルイメージを生成せよという命令を端末１００に通常備えられる入力部を通じて入力することができ、このような命令によってサムネイルイメージ生成部１３０は、特徴領域をサムネイルイメージとして生成する。本発明の一実施形態によれば、入力部はタッチスクリーン駆動方式により実現される入力部でもあるが、このとき、サムネイルイメージの生成を希望するか否かを決定できるようにするユーザインターフェースが提供さることができる。このようなサムネイルイメージ生成部１３０の動作、即ち、イメージコンテンツからサムネイルイメージファイルを生成するための技術としては、“Ｒ. Ｃ. Ｇｏｎｚａｌｅｚ, Ｒ. Ｅ. Ｗｏｏｄｓ, Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ, ２ｎｄ ｅｄｉｔｉｏｎ, ｐｒｅｎｔｉｃｅ-Ｈａｌｌ, Ｉｎｃ., Ｎｅｗ Ｊｅｒｓｅｙ, ２００２.”に開示されている技術などが適用され得る。
【００２５】
本発明の一実施形態に関るズーム機能提供部１４０は、特徴領域抽出部１２０により抽出された特徴領域に対してズームイン又はズームアウト機能を行ってユーザにその結果を提供する機能を実行する。特徴領域抽出部１２０により抽出される特徴領域の数は１以上であり、特徴領域として抽出された結果は、該当イメージコンテンツに表示された状態で表示部１６０を通じてユーザに提供されることができる。特徴領域が１つである場合には、ユーザが該当特徴領域に対するズームイン又はズームアウト機能を実行するように命令することができる。このような命令は、端末１００に通常備えられる入力部を通じて入力されることができる。本発明の一実施形態によれば、入力部はタッチスクリーン駆動方式で実現されることができるが、このような場合、ユーザは特徴領域として抽出された部分にタッチすることで、該当領域に対するズーム機能を実行させることができる。一例として、ユーザが該当特徴領域を１回タッチすれば、ズームイン機能が実行され、２回タッチすれば、ズームアウト機能が実行され、他の例として、タッチのジェスチャーが行われる時間によってズームイン又はズームアウトの程度が異なるように実現されることもできる。または、ズームイン又はズームアウトに対する命令を入力できるユーザインターフェースが特徴領域に対する抽出結果と共に、ユーザに提供され、このように提供されるユーザインターフェースを通じて入力されるユーザの命令に従ってズームイン又はズームアウトが実行されることもできる。一方、抽出された特徴領域がｎ（ｎは２以上の整数）個である場合には、ユーザにより選択された１以上の特徴領域に対してズームイン又はズームアウト機能が実行されることができる。１以上の特徴領域に対するズームイン又はズームアウト機能は、選択された順序に従って順次に行われるか、同時に行われることができる。この場合にもユーザによる選択は、入力部によりなされることができ、その選択方式は、抽出された特徴領域が１つの場合と同一であるので、これについての説明は省略する。
【００２６】
本発明の一実施形態に関るナビゲーション／スライドショー機能提供部１５０は、特徴領域抽出部１２０により抽出された１以上の特徴領域をユーザに表示し、このような特徴領域に対してナビゲーション機能を提供したり、スライドショー機能を提供したりすることができる。ここで、ナビゲーション機能は、前記特徴領域に対する受動的な選択を通じて選択された特徴領域を見回す機能であり、スライドショー機能は、前記特徴領域に対する受動的な選択なしに自動的に所定の順序に従って前記特徴領域に含まれているイメージに関する情報を連続して提供する機能である。このようなナビゲーション機能及び／又はスライドショー機能のために、ユーザにはナビゲーション機能及び／又はスライドショー機能の提供に対する命令を入力できるユーザインターフェースが提供されることができ、ユーザはナビゲーション機能及び／又はスライドショー機能の提供を受けるか否かに対する命令を入力することができる。
【００２７】
本発明の一実施形態に関る表示部１６０は、特徴領域抽出部１２０、サムネイルイメージ生成部１３０、ズーム機能提供部１４０、ナビゲーション／スライドショー機能提供部１５０が提供する各種視覚的効果及び端末１００が実行する各種動作に対する状態を映像処理してユーザに提供する機能を実行する。表示部１６０は、通常の液晶表示装置（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）又は有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅｓ）などの平板表示装置であり得る。
【００２８】
本発明の一実施形態に関る通信部１７０は、端末１００と外部装置、例えば、本サービスのためのアプリケーションを提供するサーバとのデータ送受信を実行する機能を果たす。
【００２９】
また、本発明の一実施形態に関る制御部１８０は、入力信号受信部１１０、特徴領域抽出部１２０、サムネイルイメージ生成部１３０、ズーム機能提供部１４０、ナビゲーション／スライドショー機能提供部１５０、表示部１６０及び通信部１７０間のデータの流れを制御する機能を実行することができる。即ち、本発明による制御部１８０は、外部からの又は端末１００の各構成要素間のデータの流れを制御することによって、入力信号受信部１１０、特徴領域抽出部１２０、サムネイルイメージ生成部１３０、ズーム機能提供部１４０、ナビゲーション／スライドショー機能提供部１５０、表示部１６０及び通信部１７０でそれぞれ固有機能を実行するように制御することができる。
【００３０】
以下では、特徴領域抽出部１２０の細部構成と共に所定基準を通じて特徴領域が抽出される過程について詳細に説明する。
特徴領域抽出部１２０の構成
図２は、本発明の一実施形態に関る特徴領域抽出部１２０の構成を示す図である。
【００３１】
図２に示すように、特徴領域抽出部１２０は、イメージコンテンツ受信部１２１、ノイズ除去部１２２、個体検出部１２３、フレーム指定部１２４を含んで構成することができる。
【００３２】
本発明の一実施形態に関るイメージコンテンツ受信部１２１は、トリミングの対象となるイメージコンテンツをユーザから受信する機能を実行する。イメージコンテンツは、ユーザから入力されるものであってもよく、既に格納されているものであってもよい。
【００３３】
本発明の一実施形態に関るノイズ除去部１２２は、イメージコンテンツに対するノイズ除去機能を実行する。具体的には、所定のノイズ減殺フィルタを用いてイメージコンテンツのノイズを低減させる機能を実行するが、そのフィルタリング方法としては、通常の方式、例えば、ガウスフィルタ（ＧａｕｓｓｉａｎＦｉｌｔｅｒ）を用いて行われるスムージングプロセスが適用されることができる。このようなフィルタリング方式以外にも当業者の必要に応じて他の多様な方法が適用できることはもちろんである。
【００３４】
本発明の一実施形態に関る個体検出部１２３は、イメージコンテンツに含まれる個体を検出し、検出された個体の種類、個体の位置、サイズなどを読み取る機能を実行する。個体の種類は、大きく顔を含む人物とその他の物体とに分かれることができる。個体検出部１２３は、イメージコンテンツに含まれる個体を検出するにおいて、多様な顔検出技術のうちの少なくとも１つを用いて人物と判断するか、多様な物体検出技術のうちの少なくとも１つを用いて物体と判断することができる。個体検出部１２３により顔が検出される過程を例示的に説明すれば、以下の通りである。まず、イメージコンテンツから肌色領域を抽出し、抽出された領域に対する輝度の変化を把握した後、これに基づいて輪郭線を抽出する。また、経験的に測定された目と口の領域に両眼と口が存在するかを判断することによって、顔が検出されることができる。経験的方法とは、学習されたパターンを通じて顔を検出することを意味するが、多様な顔パターンを学習させて単純化された顔パターンから複雑な顔パターンに至るツリー構造の検出器を作った後、このような検出器でイメージコンテンツに含まれる個体をフィルタリングさせることで、顔を検出することができる。このような顔検出方法は例示的なものであり、他の多様な方式、例えば、トリミングの対象となるイメージコンテンツに含まれる個体をデータベースに既に格納されている顔見本イメージとマッチングさせることで、顔を検出する方式などが利用されてもよい。
【００３５】
一方、個体検出部１２３により物体が検出される過程を例示的に説明すれば、以下の通りである。まず、イメージコンテンツで隣接したピクセル間の輝度差又は該当ピクセル値などの差を測定し、所定の臨界値以上の差を示す地点の集合を物体の外郭線（ｅｄｇｅ）であると判断した後、これに基づいて物体と背景とを分離することができる。例えば、韓国公開特許公報第２００９−００６４２４７号（デジタル映像撮影方法及び撮影装置）に記載された撮影映像から被写体と背景とを分離する技術などを適用することができる。他の例として、前記のような方式によって検出される顔以外の個体に対しては、物体であると判断することもできる。
【００３６】
本発明の一実施形態に関るフレーム指定部１２４は、個体検出部１２３により検出された個体を含む領域に対してフレームを指定し、所定の基準によって選択される個体を含む領域に対してのみフレームを指定してこれを特徴領域として抽出する機能を実行する。即ち、個体検出部１２３により検出された個体が１つの場合には、該当個体を含む領域を四角形状のフレームで指定して該当領域を特徴領域として抽出し、検出された個体の数が２以上の場合には、所定の基準によって選択される個体を含む領域又はそれよりも更に限定される領域をフレームで指定して特徴領域として抽出する。
【００３７】
以下、図３Ａから図３Ｎを参照して、フレーム指定部１２４により特徴領域として抽出される多様な例について詳細に説明する。
まず、図３Ａから図３Ｄは、個体検出部１２３により検出動作が行われた結果、該当イメージコンテンツが人物と物体とを同時に含んでいるものと検出される場合の特徴領域の抽出方式を説明する図である。
【００３８】
図３Ａに示すように、顔と物体が同時に存在する場合、基本的には顔に優先順位が付与される。従って、顔を含む領域に四角形、好ましくは、正四角形状のフレームが指定され、この領域を特徴領域として抽出することができる。しかしながら、図３Ｂに示すように、顔の大きさに対する物体の大きさが所定の臨界値以上であれば、物体に優先順位が付与されることができる。顔の大きさと物体の大きさとは、それぞれ顔及び物体を含む四角形状の領域のうち、最小領域の広さで定義されることができる。例えば、臨界値が６倍である場合を仮定すれば、物体の大きさが顔の大きさよりも６倍以上である場合、物体に優先順位が付与されるようにすることができる。ここで、臨界値は６倍に限定されず、ｎ倍に一般化されることができる。これにより、物体を含む領域にフレームが指定され、特徴領域として抽出できるようになる。但し、物体の大きさがイメージコンテンツの大きさに対して所定比率（例えば、８０％）以上である場合には、イメージコンテンツ全体を特徴領域として抽出することもできる。
【００３９】
一方、顔と物体が同時に存在するとしても、図３Ｃに示すように、顔が顕著に外郭側に位置しており、相対的に中央に物体が存在する場合には、中央にある物体に優先順位が付与され、物体を含む領域が特徴領域として抽出されることができる。フレーム指定部１２４は、イメージコンテンツの真ん中地点から顔の中央までの距離が全体イメージコンテンツの横長又は縦長のうち、短い長さの所定比率よりも長い場合をこのような場合であると判断することができる。例えば、図３Ｃに示すイメージコンテンツにおいては、縦長ｂが横長ａよりも短いが、真ん中地点から顔の真ん中までの距離ｄが縦長ｂの所定比率に該当する長さ、例えば、０．６ｂの長さよりも長い場合に検出された顔を外郭側に存在する顔であると判断することができる。ここで、本発明は前記で例として提示された０．６ｂという数値に限定されるものではなく、多様な変形例を想定できることはもちろんであると言える。一方、顔の真ん中地点は、個体検出部１２３により検出された肌色領域の外郭線に基づいて最も左側ピクセルと最も右側ピクセルの中間値、最上端ピクセルと最下端ピクセルの中間値に関する情報を通じて検出されることもできる。
【００４０】
また、図３Ｄに示すように、イメージ内に含まれている顔個体の大きさがイメージコンテンツのサイズの所定比率（例えば、１／９）未満である場合、該当顔に対する特徴領域の抽出を省略することができる。このとき、イメージコンテンツに物体が存在する場合には、該当物体を含む領域を特徴領域として抽出することができ、物体さえ存在しない場合には、全体イメージコンテンツを特徴領域として抽出することもでき、特徴領域を抽出しないこともできる。
【００４１】
次に、図３Ｅを参照して検出された顔の大きさによる特徴領域の抽出過程について説明する。フレーム指定部１２４は、イメージコンテンツに含まれる顔の大きさが全体イメージコンテンツの大きさに対する関係で所定の基準以上である場合にのみ顔中心の特徴領域を抽出することができる。即ち、顔の大きさによって差別的な比率（全体イメージコンテンツに対する顔の大きさの比率）を適用して顔という個体がイメージコンテンツ内で重要部分として存在する場合にのみ該当顔を含む領域を特徴領域として抽出することができる。例えば、差別的な比率を３ステップとして適用することができるが、第１に、顔の大きさが第１範囲（例えば、２０００ピクセル未満）に該当する場合には、該当顔の大きさが全体イメージコンテンツの大きさに対して第１比率（例えば、１／５０）よりも大きい場合にのみ該当顔を含む領域を特徴領域として抽出することができる。また、第２に、顔の大きさが第２範囲（例えば、２０００ピクセル以上５０００ピクセル未満）に該当する場合には、該当顔の大きさが全体イメージコンテンツの大きさに対して第２比率（例えば、１／３０）よりも大きい場合にのみ該当顔を含む領域を特徴領域として抽出することができる。一方、第３に、顔の大きさが第３範囲（例えば、５０００ピクセル以上）に該当する場合には、該当顔の大きさが全体イメージコンテンツの大きさに対して第３比率（例えば、１／１２）よりも大きい場合にのみ該当顔を含む領域を特徴領域として抽出することができる。ここで、顔の大きさは顔の輪郭線を含む四角形のうち、最も小さな広さを有する四角形の横ピクセルと縦ピクセルの和で表現されることができる。また、前記で例として挙げた範囲は、イメージコンテンツの解像度が３２０ｘ２４０である場合を仮定したものであって、その範囲はイメージコンテンツの全体解像度によって変わることができる。
【００４２】
一方、フレーム指定部１２４は、個体検出部１２３により検出された顔の数が２以上である場合に、次のような基準で特徴領域を抽出することができる。基本的には、図３Ｆに示すように、顔間の距離が近い場合、該当顔をすべて含む領域を特徴領域として抽出することができる。例えば、顔間の距離が顔の長さ（例えば、顔の平均顔長さ）の３倍未満である場合にあらゆる顔を含む領域が特徴領域として抽出されることができる。また、図３Ｇに示すように、顔の大きさが一定の比率以上の差がある場合、相対的に大きい顔を含む領域のみを特徴領域として抽出することができる。例えば、２つの顔が存在するとき、１つの顔の大きさが他の顔の大きさよりも６倍以上大きい場合には、大きい顔を含む領域のみを特徴領域として抽出することができ、それ以下である場合には、図３Ｆに示すような方式で２つ以上の顔をすべて含む領域を特徴領域として抽出することができる。一方、図３Ｈに示すように、顔の大きさが実質的に同一である場合、外郭側に存在する顔を除いて特徴領域を抽出することもできる。顔の大きさが同一であるということは、大きさの差が所定の比率（例えば、１０％）未満の場合であると仮定することができる。顔がイメージコンテンツの真ん中地点にあるか、外郭側に存在するかに対する判断は、各顔の真ん中地点からイメージコンテンツの真ん中地点までの距離を測定することで行われ、相対的にその距離が小さいほど真ん中にある顔であると判断されることができる。一方、図３Ｉに示すように、実質的に同一の大きさを有する顔がすべてイメージコンテンツの外郭側に存在する場合、即ち、イメージコンテンツの中央に存在する顔がない場合には、左側及び上端にある顔であるほど高い優先順位を付与することができる。しかしながら、左側及び上端だけでなく、イメージコンテンツ内の特定地点（例えば、右側及び下端の特定地点）と近い位置に存在する顔であるほど高い優先順位を付与して該当個体を含む領域のみを特徴領域として抽出することもできる。
【００４３】
即ち、図３Ｉに示す例では、左上端に位置する顔が含まれる領域が特徴領域として抽出されることができる。
そして、フレーム指定部１２４は、個体検出部１２３により検出された顔個体の個数別に抽出する特徴領域の大きさを差別的に指定することができる。例えば、４ステップで特徴領域の大きさを調節することができる。まず、図３Ｊに示すように、検出された顔が１つである場合には、顔の横長と縦長のうち、長い長さの第１比率だけ特徴領域を拡張することができる。例えば、相対的に長い縦長の４０％だけに該当する長さだけ顔の上下左右方向に拡張して特徴領域を抽出することができる。次に、図３Ｋ及び図３Ｌに示すように、検出された顔が２つ及び３つである場合には、顔の横長と縦長とのうち、長い長さの第２比率及び第３比率だけそれぞれ特徴領域を拡張することができる。例えば、相対的に長い横長のそれぞれ３０％及び２０％だけに該当する長さだけ顔の上下左右方向に拡張して特徴領域を抽出することができる。一方、図面には示していないが、顔の数が４つ以上である場合には、拡張比率を１０％に指定することもできる。
【００４４】
次に、個体検出部１２３により顔が検出されない場合、即ち、物体のみ検出された場合には、次のような方式で特徴領域が抽出される。
まず、同じ色相でのみ構成される特徴領域は除外する。同じ色相でのみ構成されるということは、該当部分が物体でなく、壁、天井又は単純背景という意味であるため、このような部分は特徴領域になれない。
【００４５】
一方、検出された物体が２以上である場合には、図３Ｍに示すように、物体の大きさと位置によって特徴領域に含まれる物体が特定されることができる。これは、顔が２つ以上である場合に特徴領域を抽出する方式と同じ方式で実行されることができる。即ち、物体の大きさを比較して相対的に大きい物体を含む領域を特徴領域として抽出でき、物体の位置によっては左側上端に位置する物体に相対的に高い優先順位を付与することができる。また、物体の大きさが大きい順に優先順位を付与して最も高い優先順位を有する物体又は優先順位が高い順に所定数の物体を含む領域を特徴領域として抽出することもできる。一方、図３Ｎに示すように、物体の大きさが全体イメージコンテンツの大きさの一定比率（例えば、１／９）未満である場合、該当物体を含む領域を特徴領域として抽出せず、イメージコンテンツ全体を特徴領域として抽出することもできるし、特徴領域自体を抽出しないこともできる。
【００４６】
以上説明した方式は、特徴的な顔又は物体が明確に検出される場合を仮定したものであるが、不特定多数の顔又は物体がある場合や顔又は物体の検出が不可能な場合には、全体イメージコンテンツを特徴領域として抽出することができる。
【００４７】
以上、本発明が具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明されたが、これは、本発明のより全般的な理解を促進するために提供されたものであるだけで、本発明が前記実施形態に限定されるものではなく、本発明の属する分野において通常の知識を有する者であれば、このような記載から多様な修正及び変形を図ることができる。
【００４８】
従って、本発明の思想は、前記説明された実施形態に限定されて定められてはならず、後述する特許請求の範囲だけでなく、この特許請求の範囲と均等に又は等価的に変形された全てのものは、本発明の思想の範疇に属すると言える。
【符号の説明】
【００４９】
１１０    入力信号受信部
１２０    特徴領域抽出部
１３０    サムネイルイメージ生成部
１４０    ズーム機能提供部
１５０    ナビゲーション／スライドショー機能提供部
１２１    イメージコンテンツ受信部
１２２    ノイズ除去部
１２３    個体検出部
１２４    フレーム指定部
【図３ａ】
0005503011.tif 000002
【図３ｂ】
0005503011.tif 000003
【図３ｃ】
0005503011.tif 000004
【図３ｄ】
0005503011.tif 000005
【図３ｅ】
0005503011.tif 000006
【図３ｆ】
0005503011.tif 000007
【図３ｇ】
0005503011.tif 000008
【図３ｈ】
0005503011.tif 000009
【図３ｉ】
0005503011.tif 000010
【図３ｊ】
0005503011.tif 000011
【図３ｋ】
0005503011.tif 000012
【図３ｌ】
0005503011.tif 000013
【図３ｍ】
0005503011.tif 000014
【図３ｎ】
0005503011.tif 000015
【図１】
0005503011.tif 000016
【図２】
0005503011.tif 000017