(57)【要約】【課題】  ユーザの嗜好を反映して画像のトリミングを行う。【解決手段】  処理対象の画像から、トリミングする構図を決定するための構図決定情報を取得し、さらにユーザとトリミングに関するユーザの嗜好情報とを対応づけたデータベースから、対象となるユーザのユーザ嗜好情報を取得する。そして、取得したユーザ嗜好情報および構図決定情報に基づいて、画像からトリミングする構図を決定し、この構図に基づくトリミング領域を含めて画像を表示する。【選択図】          図１
2006279252.tif 000002
【特許請求の範囲】
【請求項１】
画像から所定領域をトリミングする画像トリミング装置において、
複数のユーザについて、各ユーザとトリミングに関する各ユーザの嗜好情報とを対応づけたユーザ嗜好データベースを保存する保存手段と、
トリミングする構図を決定するための構図決定情報を前記画像から取得する構図決定情報取得手段と、
対象となるユーザについての前記ユーザ嗜好情報を前記ユーザ嗜好データベースから取得し、該取得したユーザ嗜好情報および前記構図決定情報に基づいて、前記画像からトリミングする構図を決定する構図決定手段と、
前記トリミングする構図に基づくトリミング領域を含めて前記画像を表示する表示手段とを備えたことを特徴とする画像トリミング装置。
【請求項２】
前記画像から前記トリミング領域をトリミングするトリミング手段をさらに備えたことを特徴とする請求項１記載の画像トリミング装置。
【請求項３】
画像から所定領域をトリミングする画像トリミング方法において、
トリミングする構図を決定するための構図決定情報を前記画像から取得し、
複数のユーザについて、各ユーザとトリミングに関する各ユーザの嗜好情報とを対応づけたユーザ嗜好データベースから、対象となるユーザについての前記ユーザ嗜好情報を取得し、該取得したユーザ嗜好情報および前記構図決定情報に基づいて、前記画像からトリミングする構図を決定し、
前記トリミングする構図に基づくトリミング領域を含めて前記画像を表示することを特徴とする画像トリミング方法。
【請求項４】
画像から所定領域をトリミングする画像トリミング方法をコンピュータに実行させるためのプログラムにおいて、
トリミングする構図を決定するための構図決定情報を前記画像から取得する手順と、
複数のユーザについて、各ユーザとトリミングに関する各ユーザの嗜好情報とを対応づけたユーザ嗜好データベースから、対象となるユーザについての前記ユーザ嗜好情報を取得し、該取得したユーザ嗜好情報および前記構図決定情報に基づいて、前記画像からトリミングする構図を決定する手順と、
前記トリミングする構図に基づくトリミング領域を含めて前記画像を表示する手順とを有することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から所望とする領域をトリミングする画像トリミング装置および方法並びに画像トリミング方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
デジタルカメラにより取得した画像データをパソコンに取り込み、ビューアソフトを用いて画像を表示し、画像中の所望とする領域をトリミングし、トリミングした領域をプリント出力することが一般的に行われている。
【０００３】
ここで、トリミングを容易に行うための各種手法が提案されている。例えば特許文献１には、画像中の主要被写体の好適なフレーミングを示唆するためのグリッドを表示して、主要被写体のトリミングを行いやすくする手法が提案されている。また、特許文献２には、画像中の注目領域を抽出し、注目領域を含むようにトリミング領域を指定する手法が提案されている。また、特許文献３には、画像から人物情報を抽出し、人物情報に基づいてトリミング率およびトリミング位置を含むトリミング条件を決定し、決定したトリミング条件に基づいてトリミングを行う手法が提案されている。
【特許文献１】特開２００４−１２８６０２号公報
【特許文献２】特開２００４−２２８９９４号公報
【特許文献３】特開２００４−２７４４２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記いずれの手法も画像に含まれる主要被写体や注目領域のみを基準としているものであるため、ユーザに提示するトリミング領域が、必ずしもトリミングの処理を行うユーザの嗜好を反映したものとはならない場合がある。
【０００５】
本発明は上記事情に鑑みなされたものであり、ユーザの嗜好を反映して画像のトリミングを行うようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明による画像トリミング装置は、画像から所定領域をトリミングする画像トリミング装置において、
複数のユーザについて、各ユーザとトリミングに関する各ユーザの嗜好情報とを対応づけたユーザ嗜好データベースを保存する保存手段と、
トリミングする構図を決定するための構図決定情報を前記画像から取得する構図決定情報取得手段と、
対象となるユーザについての前記ユーザ嗜好情報を前記ユーザ嗜好データベースから取得し、該取得したユーザ嗜好情報および前記構図決定情報に基づいて、前記画像からトリミングする構図を決定する構図決定手段と、
前記トリミングする構図に基づくトリミング領域を含めて前記画像を表示する表示手段とを備えたことを特徴とするものである。
【０００７】
「構図決定情報」とは、画像に含まれる被写体の種類、被写体が人物である場合の人物の数、人物が１名である場合の人物の名前等、トリミングする構図を決定するために必要な各種情報を意味する。
【０００８】
なお、本発明による画像トリミング装置においては、前記画像から前記トリミング領域をトリミングするトリミング手段をさらに備えるようにしてもよい。
【０００９】
本発明による画像トリミング方法は、画像から所定領域をトリミングする画像トリミング方法において、
トリミングする構図を決定するための構図決定情報を前記画像から取得し、
複数のユーザについて、各ユーザとトリミングに関する各ユーザの嗜好情報とを対応づけたユーザ嗜好データベースから、対象となるユーザについての前記ユーザ嗜好情報を取得し、該取得したユーザ嗜好情報および前記構図決定情報に基づいて、前記画像からトリミングする構図を決定し、
前記トリミングする構図に基づくトリミング領域を含めて前記画像を表示することを特徴とするものである。
【００１０】
なお、本発明による画像トリミング方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００１１】
本発明によれば、トリミングする構図を決定するための構図決定情報が取得され、さらに対象となるユーザについてのユーザ嗜好情報がユーザ嗜好データベースから取得される。そして、取得したユーザ嗜好情報および構図決定情報に基づいて、画像からトリミングする構図が決定され、決定されたトリミングする構図に基づくトリミング領域が画像に含められて表示される。このため、画像上におけるユーザの嗜好を反映したトリミング領域をユーザに提示することができる。
【００１２】
また、画像からトリミング領域をトリミングすることにより、ユーザの嗜好を反映させて画像のトリミングを行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像トリミング装置の構成を示す概略ブロック図である。図１に示すように本発明の実施形態による画像トリミング装置１は、装置１を構成する各部の制御を行うＣＰＵ１２と、ＣＰＵ１２を動作させるプログラムおよび各種定数が記録されているＲＯＭおよびＣＰＵ１２が処理を実行する際の作業領域となるＲＡＭにより構成されるシステムメモリ１４と、種々の指示を装置１に対して行うためのキーボードおよびマウス等からなる入力部１６と、各種表示を行う液晶モニタ等からなる表示部１８とを備える。
【００１４】
また、画像表示装置１は、デジタルカメラ等により取得した画像データを記録したメモリカード２から画像データを読み出したり、メモリカード２に画像データを記録したりするためのカードスロット２０と、画像データをＪＰＥＧに代表される手法で圧縮したり、圧縮した画像データを解凍する圧縮解凍部２２と、画像データやＣＰＵ１２が実行する各種プログラムや後述するデータベース等を記録するハードディスク２４と、システムメモリ１４、カードスロット２０およびハードディスク２４を制御するメモリ制御部２６と、表示部１８の表示制御を行う表示制御部２８とを備える。
【００１５】
また、装置１は、画像をプリント出力するためのプリント部３０およびプリント部３０を制御するプリント制御部３２とを備える。
【００１６】
さらに、装置１は、画像の構図を決定するために必要な各種情報を取得する構図決定情報取得部３４と、トリミングする構図を決定する構図決定部３６と、決定された構図に基づくトリミング領域をトリミングするトリミング部３８とを備える。
【００１７】
構図決定情報取得部３４は、まず、画像に含まれる被写体が人物であるか風景であるかを判定する。具体的には、例えば画像から顔を検出する処理を行い、顔が検出された場合には被写体が人物であると判定し、顔が検出されない場合は被写体は風景であると判定する。なお、特開２０００−２００３５４号公報に記載された手法を用いて、画像の各領域の色およびテクスチャのコントラストを計測し、人間の視覚特性を反映させるべく、被写体領域と非被写体領域とについて学習したニューラルネットワークにコントラストの計測結果を入力し、画像を被写体領域と非被写体領域とに分割し、分割した被写体領域を人物とする手法を用いてもよい。
【００１８】
また、構図決定情報取得部３４は、画像に複数の人物が含まれる場合に人数をカウントする。また、人物が１名のみ含まれる場合には、顔認識を行い、人物が誰であるかを判別する。なお、顔認識は、画像において検出された顔から特徴量（例えば目、鼻および口の位置関係を表す情報）を取得し、複数の人物について、人物の顔の特徴を表す情報と人物の名前とを登録したデータベースＤＢ２を参照することにより行う。ここで、データベースＤＢ２を参照しても人物の名前を特定できない場合には、顔認識ができないと判定する。
【００１９】
さらに画像中における被写体の重心位置を求める。なお、被写体が人物である場合、ダイナミックシンメトリ法を用いて、被写体に外接する外接矩形を求め、その重心位置を求めるようにしてもよい。なお、画像に複数の人物が含まれる場合にはその各々の重心位置とともに、全員の人物についての重心位置を求める。
【００２０】
そして、構図決定情報取得部３４は、上述したように取得した被写体を表す情報、被写体が人物の場合の人物の人数を表す情報、人物が１名のみの場合には人物の名前の情報および被写体の重心位置の情報を構図決定情報として取得する。また、入力部１６からユーザが入力した画像に対する処理の目的（プリント出力、メモリカード２に保存する等）も構図決定情報として取得する。
【００２１】
構図決定部３６は、ハードディスク２４に保存されたユーザ嗜好データベースＤＢ１から、対象となるユーザのユーザ嗜好情報を取得する。
【００２２】
図２はユーザ嗜好データベースＤＢ１の構成を示す図である。図２に示すようにユーザ嗜好データベースＤＢ１は、複数のユーザのユーザＩＤが登録されており、ユーザＩＤのそれぞれについて、トリミング目的が登録されている。図２においては、ユーザＩＤ０１２３５のユーザに、プリント出力およびファイル保存のトリミング目的が登録されている状態を示している。
【００２３】
また、トリミング目的のそれぞれについて、主要被写体の種類が登録されている。図２においては、プリント注文というプリント目的に、「人物」および「風景」が登録されている状態を示している。
【００２４】
また、主要被写体が人物である場合には、人物の人数が登録されている。図２においては、「１名」、「２名」および「３名以上」が登録されている状態を示している。
【００２５】
さらに人物が１名である場合には、人物の名前が登録されている。図２においては、「太郎」、「花子」および「次郎」が登録されている状態を示している。
【００２６】
そして、ユーザ嗜好データベースＤＢ１の最下層となった登録内容のそれぞれに、トリミング領域内における被写体の重心位置および被写体のサイズが登録されている。なお、図２に示すユーザ嗜好データベースＤＢ１においては、プリント注文の下層の「風景」、人物の下層の「２名」および「３名以上」、並びに１名の下層の「太郎」、「花子」および「次郎」が最下層の登録内容となる。
【００２７】
ここで、被写体の重心位置は、被写体の重心位置がトリミング領域のどこに位置するかを表すものであり、図３に示すように、トリミング領域の水平な辺をａ１：ｂ１に内分するとともに、垂直な辺をａ２：ｂ２に内分する点Ｇ０の位置を被写体の重心位置として登録する。図２に示すユーザ嗜好データベースＤＢ１においては、花子について、「ａ１：ｂ１＝１：１、ａ２：ｂ２＝１：１」が登録されている状態を示している。
【００２８】
また、被写体のサイズとしては、トリミング領域に対する被写体の面積の割合を表すものであり、図２に示すユーザ嗜好データベースＤＢ１においては「４０％」と登録されている状態を示している。
【００２９】
なお、このようなユーザ嗜好データベースＤＢ１は、ユーザがトリミングの操作を行うことにより更新されるものであり、ユーザが全くトリミングの操作を行っていない状態においては、あらかじめ定められた初期値をユーザ嗜好情報として、後述するようにトリミングする構図が決定されるものである。
【００３０】
構図決定部３６は、対象となるユーザのユーザ嗜好情報をユーザ嗜好データベースＤＢ１から取得し、構図決定情報取得部３４が取得した構図決定情報およびユーザ嗜好情報に基づいて、トリミングする構図を決定する。例えば、ユーザのユーザＩＤが０１２３５であり、構図決定情報取得部３４が取得した情報が、被写体が１名の人物であり、その人物が花子である場合には、図４に示すように、トリミング領域Ａ１に対して人物の顔の占める割合が４０％となり、人物の顔の重心位置がトリミング領域Ａ１の各辺を１：１に内分する点に位置するようにトリミングする構図を決定する。そして、図４に示すように、トリミング領域Ａ１を含む画像Ｓ０を表示部１８に表示する。
【００３１】
なお、構図決定情報が、被写体が１名の人物であり、その人物が判定できない旨の情報を含む場合には、構図決定部３６は、あらかじめ定められた初期値によりトリミングする構図を決定する。
【００３２】
トリミング部３８は、ユーザが入力部１６からトリミングの指示を行うことにより、構図決定部３６が決定した構図によりトリミングを行い、トリミングした領域の画像Ｓ１を元の画像Ｓ０とともに表示部１８に表示する。図５はトリミングした領域の画像Ｓ１および画像Ｓ０の表示の態様を示す図である。なお、図５に示すように、トリミングした領域の画像には「花子さんの写真のおすすめトリミング」の文字が付与される。
【００３３】
次いで、本実施形態において行われる処理について説明する。図６はユーザ嗜好データベースＤＢ１の登録時に行われる処理を示すフローチャートである。入力部１６からユーザＩＤ、トリミング目的およびトリミング処理の指示が入力されることにより処理が開始され、メモリカード２に保存された画像のうち、処理対象の画像を表示部１８に表示する（ステップＳＴ１）。そして、ユーザによるトリミングの操作を受け付ける（ステップＳＴ２）。続いて、トリミングの操作終了の指示がなされたか否かの監視を開始し（ステップＳＴ３）、ステップＳＴ３が肯定されると、構図決定情報取得部３４が、ユーザ嗜好情報を取得する（ステップＳＴ４）。具体的には、ユーザが行ったトリミング操作により取得されたトリミング領域内の画像について構図決定情報を取得する処理を行うことにより、処理対象の画像の被写体の種類（人物か背景か）、人物の場合の人数、人物が１名の場合の人物の名前、トリミングした領域内における被写体の重心位置、およびトリミング領域に対する被写体の割合の情報を取得し、これらの情報をユーザ嗜好情報とする。なお、ユーザが入力したトリミング目的もユーザ嗜好情報として取得する。そしてユーザ嗜好情報をユーザ嗜好データベースＤＢ１に登録し（ステップＳＴ５）、処理を終了する。
【００３４】
なお、人物の名前については、ユーザに入力を求め、さらに顔の特徴を検出する処理を行い、人物の名前と顔の特徴とを対応づけたデータベースＤＢ２を生成し、これをハードディスク２４にユーザ嗜好データベースＤＢ１とは別個に保存する。
【００３５】
図７はユーザ嗜好データベースＤＢ１にユーザ嗜好情報が登録されたユーザが画像をトリミングする際に行われる処理を示すフローチャートである。入力部１６からユーザＩＤ、トリミング目的およびトリミングの指示が入力されることにより処理が開始され、まず、構図決定情報取得部３４が、メモリカード２から処理対象の画像Ｓ０を取得する（ステップＳＴ１１）。続いて、構図決定情報取得部３４が、上述したように構図決定情報を取得する（ステップＳＴ１２）。そして、構図決定部３６がユーザ嗜好データベースＤＢ１から対象となるユーザのユーザ嗜好情報を取得し、取得したユーザ嗜好情報および構図決定情報に基づいて、処理対象の画像Ｓ０におけるトリミングする構図を決定し（ステップＳＴ１３）、トリミングする構図に基づくトリミング領域Ａ１を含めて画像Ｓ０を表示部１８に表示する（ステップＳＴ１４）。
【００３６】
続いて、ユーザが入力部１６からトリミングの指示を行ったか否かの監視を開始し（ステップＳＴ１５）、ステップＳＴ１５が肯定されると、トリミング部３８が決定された構図により画像をトリミングする（ステップＳＴ１６）。そしてトリミングした画像Ｓ１をトリミング前の画像Ｓ０とともに表示部１８に表示し（ステップＳＴ１７）、処理を終了する。
【００３７】
ユーザは表示部１８に表示されたトリミング画像Ｓ１を確認した後、トリミング画像Ｓ１をメモリカード２に保存する指示を行ったり、プリント部３０からプリント出力する指示を行うことができる。
【００３８】
なお、図１４においてトリミング領域を含めて画像を表示部１８に表示した際に、ユーザは入力部１６を用いてトリミング領域Ａ１を変更することが可能である。ユーザが、トリミング領域を変更した場合、構図決定情報取得部３４は、ユーザが行ったトリミング操作により取得されたトリミング領域内の画像について構図決定情報を取得する処理を行ってユーザ嗜好情報を取得し、ユーザ嗜好データベースＤＢ１を更新する。
【００３９】
このように、本実施形態においては、画像の構図決定情報を取得し、さらに入力されたユーザＩＤに対応するユーザ嗜好情報をユーザ嗜好データベースＤＢ１から取得し、取得したユーザ嗜好情報および構図決定情報に基づいて、画像からトリミングする構図を決定し、決定した構図に基づくトリミング領域を含めて画像を表示するようにしたため、ユーザの嗜好を反映させたトリミング領域をユーザに提示することができる。
【００４０】
また、画像からトリミング領域をトリミングすることにより、ユーザの嗜好を反映して画像のトリミングを行うことができる。
【００４１】
以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の構図決定情報取得部３４および構図決定部３６に対応する手段として機能させ、図６および図７に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００４２】
【図１】本発明の実施形態による画像トリミング装置の構成を示す概略ブロック図
【図２】ユーザ嗜好データベースＤＢ１の構成を示す図
【図３】被写体の重心位置を説明するための図
【図４】トリミングの処理を説明するための図
【図５】トリミング画像Ｓ１および画像Ｓ０の表示の態様を示す図
【図６】ユーザ嗜好データベースＤＢ１の登録時に行われる処理を示すフローチャート
【図７】ユーザ嗜好データベースＤＢ１にユーザ嗜好情報が登録されたユーザが画像をトリミングする際に行われる処理を示すフローチャート
【符号の説明】
【００４３】
１    画像トリミング装置
２    メモリカード
１２    ＣＰＵ
１４    システムメモリ
１６    入力部
１８    表示部
２０    カードスロット
２２    圧縮解凍部
２４    ハードディスク
２６    メモリ制御部
２８    表示制御部
３０    プリント部
３２    プリント制御部
３４    構図決定情報取得部
３６    構図決定部
３８    トリミング部
【図１】
2006279252.tif 000003
【図２】
2006279252.tif 000004
【図３】
2006279252.tif 000005
【図４】
2006279252.tif 000006
【図５】
2006279252.tif 000007
【図６】
2006279252.tif 000008
【図７】
2006279252.tif 000009