(57)【要約】【課題】元の撮影画像に含まれる、障害物などの不要な領域を除去し、注目すべき領域を切り出すような構図を好適に決定する。【解決手段】入力画像の中から注目度の高い注目領域を決定するとともに、入力画像の中から注目度の低い不要領域を決定して、注目領域を含むとともに不要領域が取り除かれる構図を自動的に決定することができるので、被写体の手前に存在する人物や、カメラ・レンズに掛かったユーザの指やストラップといった不要なオブジェクトが取り除かれたフレームをカメラの撮影画像から切り出すことができる。【選択図】  図２
2007157063.tif 000002
【特許請求の範囲】
【請求項１】
画像の構図を自動決定する画像処理装置であって、
入力画像を領域毎に分割する領域分割手段と、
領域分割された画像の中から注目度の高い注目領域を決定する注目領域決定手段と、
領域分割された画像の中から注目度の低い不要領域を決定する不要領域決定手段と、
入力画像から、前記注目領域を含むとともに前記不要領域が取り除かれる構図を決定する構図決定手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
前記注目領域決定手段は、入力画像を顔検出して顔認識された領域に基づいて注目領域を決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
注目すべきオブジェクトに関する情報を保持する注目オブジェクト情報保持手段をさらに備え、
前記注目領域決定手段は、入力画像と注目オブジェクトに関する情報とのマッチングを行ない、マッチング度の高い領域を注目領域として決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記注目領域決定手段は、入力画像に含まれる各オブジェクトの色、形、面積（入力画像に閉める面積率）、テクスチャ、若しくはその他の物理的特徴から評価される誘目度の高い領域を注目領域として決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
各領域に対しフォーカスが合わせられている度合いを求め、前記注目領域決定手段及び不要領域決定手段は、フォーカスが合わせられている度合いに基づいて、注目領域及び不要領域をそれぞれ決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
入力画像の分割された各画像領域の縁部を抽出する縁部画像抽出手段と、
分割された各画像領域について、縁部画像の画素値の合計を求め、該画素値の合計を縁部長又は縁部の面積で正規化した縁部量をフォーカスが当てられている度合いを表す表示値として算出する縁部量算出手段と、
をさらに備えることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記不要領域決定手段は、入力画像のうち周辺部に存在する縁部量の小さい領域を不要領域として判定する、
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
入力画像並びに前記領域分割手段により領域毎に分割された画像を表示する画像表示手段と、表示画像をユーザが指示するためのユーザ入力手段をさらに備え、
領域分割後の前記ユーザ入力手段を介したユーザによる手動選択に応じて注目領域又は不要領域のうち少なくとも一方を決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記構図決定手段は、入力画像から、不要領域を含まず、且つ所定のアスペクト比を持つ最大の矩形領域を構図として決定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記領域分割手段は、画像領域間を互いに接する辺に相当するエッジに対し各画像領域が持つ属性値の比較結果に基づく重み因子を与え、重み値に基づいてエッジをソーティングし、ソーティングされた順に従ってエッジを挟む画像領域のペアを統合すべきか否かを統計的処理アルゴリズムに基づいて判断する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記領域分割手段は、画像領域間のエッジに対し、各画像領域が持つ属性値の相違に基づく重み因子を与え、重み値の小さい順にエッジをソーティングする、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記領域分割手段は、画像領域が持つ属性値として、画像領域の面積、色、又はその他の画素属性情報を用いる、
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記領域分割手段は、画像領域を構成する多角形の面積における集中不均衡から導き出される判断式に基づいて、エッジで結ばれる画像領域同士を統合すべきかどうかを判断する、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１４】
画像の構図を自動決定する画像処理方法であって、
入力画像を領域毎に分割する領域分割ステップと、
領域分割された画像の中から注目度の高い注目領域を決定する注目領域決定ステップと、
領域分割された画像の中から注目度の低い不要領域を決定する不要領域決定ステップと、
入力画像から、前記注目領域を含むとともに前記不要領域が取り除かれる構図を決定する構図決定ステップと、
を具備することを特徴とする画像処理方法。
【請求項１５】
前記注目領域決定ステップでは、入力画像を顔検出して顔認識された領域に基づいて注目領域を決定する、
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項１６】
注目すべきオブジェクトに関する情報を取得する注目オブジェクト情報保持取得ステップをさらに備え、
前記注目領域決定ステップでは、入力画像と注目オブジェクトに関する情報とのマッチングを行ない、マッチング度の高い領域を注目領域として決定する、
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項１７】
前記注目領域決定ステップでは、入力画像に含まれる各オブジェクトの色、形、面積（入力画像に閉める面積率）、テクスチャ、若しくはその他の物理的特徴から評価される誘目度の高い領域を注目領域として決定する、
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項１８】
各領域に対しフォーカスが合わせられている度合いを求め、前記注目領域決定ステップ及び不要領域決定ステップでは、フォーカスが合わせられている度合いに基づいて、注目領域及び不要領域をそれぞれ決定する、
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項１９】
入力画像の分割された各画像領域の縁部を抽出する縁部画像抽出ステップと、
分割された各画像領域について、縁部画像の画素値の合計を求め、該画素値の合計を縁部長又は縁部の面積で正規化した縁部量をフォーカスが当てられている度合いを表す表示値として算出する縁部量算出ステップと、
をさらに備えることを特徴とする請求項１４に記載の画像処理方法。
【請求項２０】
前記不要領域決定ステップでは、入力画像のうち周辺部に存在する縁部量の小さい領域を不要領域として判定する、
ことを特徴とする請求項１９に記載の画像処理方法。
【請求項２１】
入力画像並びに前記領域分割ステップにおいて領域毎に分割された画像を表示する画像表示ステップと、表示画像をユーザが指示するユーザ入力ステップをさらに備え、
領域分割後の前記ユーザ入力ステップにおいて手動選択に応じて注目領域又は不要領域のうち少なくとも一方を決定する、
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項２２】
前記構図決定ステップでは、入力画像から、不要領域を含まず、且つ所定のアスペクト比を持つ最大の矩形領域を構図として決定する、
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項２３】
前記領域分割ステップでは、画像領域間を互いに接する辺に相当するエッジに対し各画像領域が持つ属性値の比較結果に基づく重み因子を与え、重み値に基づいてエッジをソーティングし、ソーティングされた順に従ってエッジを挟む画像領域のペアを統合すべきか否かを統計的処理アルゴリズムに基づいて判断する、
ことを特徴とする請求項１４に記載の画像処理方法。
【請求項２４】
前記領域分割ステップでは、画像領域間のエッジに対し、各画像領域が持つ属性値の相違に基づく重み因子を与え、重み値の小さい順にエッジをソーティングする、
ことを特徴とする請求項２３に記載の画像処理方法。
【請求項２５】
前記領域分割ステップでは、画像領域が持つ属性値として、画像領域の面積、色、又はその他の画素属性情報を用いる、
ことを特徴とする請求項２４に記載の画像処理方法。
【請求項２６】
前記領域分割ステップでは、画像領域を構成する多角形の面積における集中不均衡から導き出される判断式に基づいて、エッジで結ばれる画像領域同士を統合すべきかどうかを判断する、
ことを特徴とする請求項２３に記載の画像処理方法。
【請求項２７】
画像の構図を自動決定するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータ・システムに対し、
入力画像を領域毎に分割する領域分割手順と、
領域分割された画像の中から注目度の高い注目領域を決定する注目領域決定手順と、
領域分割された画像の中から注目度の低い不要領域を決定する不要領域決定手順と、
入力画像から、前記注目領域を含むとともに前記不要領域が取り除かれる構図を決定する構図決定手順と、
を実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばデジタル・カメラにより撮影され、若しくはその他の画像入力装置から入力される画像を処理する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、カメラ・ワークの少なくとも一部を画像処理により自動化する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、入力画像の構図を自動的に決定する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに係り、特に、入力画像に含まれる人物やその他の注目するオブジェクトが映し出されている領域に着目して構図を自動的に決定する画像処理装置及び画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
視覚的な情報を記録する手段として、カメラは長い歴史を持つ。最近では、フィルムや感光板を使って撮影する銀塩カメラに代わって、捕捉した画像をデジタル化するデジタル・カメラが広範に普及している。デジタル・カメラは、デジタル符号化された画像をメモリに記憶し、パーソナル・コンピュータなどに転送して、画像処理や保存・管理を行なったり、大画面のディスプレイに表示出力したり、プリントアウトしてアルバムを編集したり、文書データの一部として貼り付けたりして利用することができる。また、撮影した画像を見るのに現像する必要がない、フィルムの寿命という問題がないといった利点がある。
【０００４】
銀塩カメラも、デジタル・カメラも、基本的なカメラ・ワークはほとんど同じである。すなわち、撮影者は、まず被写体にフォーカスを合わせ、絞りすなわち露光量を調整し、被写体を含む適当な構図を形成するようフレーミングを行なってから、シャッターを押す。また、手振れを押さえたいときには、撮影者はカメラ本体をしっかりと把持する、あるいはカメラを３脚に取り付ける。
【０００５】
このようなカメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。例えば、オート・フォーカス機能、自動露光、手振れ補正、オート・シャッターなどである。しかしながら、フレーミングすなわちカメラ画像の構図決定に関しては十分な自動化が実現していない、と本発明者らは思料する。
【０００６】
例えば、撮影者の注視点（被写体）を画面中央に位置させた構図設定を自動的に行なうようにして、被写体の一部が画面から欠けてしまうような撮影の失敗を防止することができる自動構図機能付カメラについて提案がなされている（例えば、特許文献１を参照のこと）。
【０００７】
また、被写体の光路上に、構図基準点を含む４角形の構図合わせ用表示手段を設けて、ユーザが被写体の構図を容易に合わせることができるようにしたカメラについて提案がなされている（例えば、特許文献２を参照のこと）。
【０００８】
ところが、実際の撮影現場では、被写体と撮影者間を遮る障害物が存在するというケースが想定され、被写体だけをフレームに収めた構図を決定する必要がある。とりわけ、このような障害物が他人など動くものである場合には、障害物を避けながら、被写体をフレーム内に収めて、シャッターチャンスを逃さずに撮影し切るということは難しい。また、ユーザの指や、カメラ本体に取り付けられたストラップといった不要なオブジェクトの像がピンボケしながら映ってしまい、被写体をフレーム内に捉えながらも、撮影画像を台無しにしてしまうこともある。このような不要物は、被写体を中心にして構図を決定するという手法では確実に除去することはできず、撮影画像を表示出力して初めて判明することが多く、改めてシャッターチャンスを伺うこともできない。
【０００９】
例えば、デジタル・カメラで所望の被写体の撮影を試みるとき、自分より手前にいる人影で遮られることは、図１４に示すように液晶ファインダ上からも確認することができる。このような場合、図１５に示すように、人影のような不要領域を含まず、且つ所定のアスペクト比を持つ最大の矩形領域を構図として決定することが好ましいが、このような作業をユーザがマニュアルで行なうより他なかく、煩雑である。
【００１０】
【特許文献１】特開平８−２６２５１９号公報
【特許文献２】特開平９−３３９８６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、カメラ・ワークの少なくとも一部を画像処理により自動化することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１２】
本発明のさらなる目的は、入力画像の構図を自動的に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１３】
本発明のさらなる目的は、入力画像に含まれる人物やその他の注目するオブジェクトが映し出されている領域に着目して構図を自動的に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【００１４】
本発明のさらなる目的は、元の撮影画像に含まれる、障害物などの不要な領域を除去し、注目すべき領域を切り出すような構図を好適に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、画像の構図を自動決定する画像処理装置であって、
入力画像を領域毎に分割する領域分割手段と、
領域分割された画像の中から注目度の高い注目領域を決定する注目領域決定手段と、
領域分割された画像の中から注目度の低い不要領域を決定する不要領域決定手段と、
入力画像から、前記注目領域を含むとともに前記不要領域が取り除かれる構図を決定する構図決定手段と、
を具備することを特徴とする画像処理装置である。
【００１６】
カメラ・ワークに関する自動化技術が進んでおり、未熟なユーザであっても撮影に失敗する可能性は極めて低くなってきている。しかしながら、フレーミングすなわちカメラ画像の構図決定に関しては十分な自動化が実現していない。例えば、被写体と撮影者間を遮る障害物が存在するというケースが想定され、被写体だけをフレームに収めた構図を決定する必要がある。
【００１７】
これに対し、本発明に係る画像処理装置によれば、入力画像の中から注目度の高い注目領域を決定するとともに、入力画像の中から注目度の低い不要領域を決定して、注目領域を含むとともに不要領域が取り除かれる構図を自動的に決定することができるので、被写体の手前に存在する人物や、カメラ・レンズに掛かったユーザの指やストラップといった不要なオブジェクトが取り除かれたフレームをカメラの撮影画像から切り出すことができる。
【００１８】
前記注目領域決定手段は、例えば、入力画像を顔検出して顔認識された領域に基づいて注目領域を決定することができる。
【００１９】
また、前記注目領域決定手段は、入力画像と注目オブジェクトに関する情報とのマッチングを行ない、マッチング度の高い領域を注目領域として決定することができる。
【００２０】
あるいは、前記注目領域決定手段は、入力画像に含まれる各オブジェクトの色、形、面積（入力画像に閉める面積率）、テクスチャ、若しくはその他の物理的特徴から評価される誘目度の高い領域を注目領域として決定することができる。
【００２１】
また、被写体にフォーカスを当てて撮影を行なうという基本的なカメラ・ワークに則って、注目領域と不要領域を判断することができる。すなわち、各領域に対しフォーカスが合わせられている度合いを求め、前記注目領域決定手段及び不要領域決定手段は、フォーカスが合わせられている度合いに基づいて、注目領域及び不要領域をそれぞれ決定することができる。
【００２２】
この場合、入力画像のエッジ部分を抽出し、分割された各画像領域について、エッジ画像の画素値の合計を求め、該画素値の合計をエッジ長又はエッジの面積で正規化したエッジ量をフォーカスが当てられている度合いを表す表示値として算出することができる。また、前記不要領域決定手段は、入力画像のうち周辺部に存在するエッジ量の小さい領域を不要領域として判定するようにしてもよい。
【００２３】
勿論、上述したように自動で画像領域から注目領域と不要領域を決定するのではなく、領域分割後の前記ユーザ入力手段を介したユーザによる手動選択に応じて注目領域又は不要領域のうち少なくとも一方を決定するようにしてもよい。
【００２４】
また、領域分割手段は、いわゆるメッシュ・セグメンテーションにより、画素や複数の画素からなる多角形メッシュを統合して、画像領域の抽出を行なうようにしている。メッシュ・セグメンテーションは、基本的には、隣接する画像領域間の類似度に基づいて処理されるが、本発明では、統計的処理アルゴリズムを用いて隣接する画像領域を統合すべきか否かを判断していくことにより、所望する粗さからなる画像領域を生成するようにしている。
【００２５】
このような統計的処理アルゴリズムに基づく画像領域の統合処理は、多角形の面積を統計処理するという簡素な計算で構成されることから高速化が可能である。例えば、パーソナル・コンピュータなどの一般的な計算機を用いて毎秒百万個の多角形を処理することができる。また、判断式に含まれるパラメータ値を調整することによって、画像領域同士を統合する基準を自在に設定して、所望する粗さの多角形メッシュを生成することができ、システムはスケーラビリティを持つ。
【００２６】
統計的処理アルゴリズムに基づく画像領域の統合処理は、多角形の面積を統計処理するという簡素な計算で構成されることから高速化が可能である。したがって、デジタル・カメラのような演算能力に制約のある携帯機器上でも撮影画像に対して領域分割処理を行なうことが可能となることから、領域分割後の画像を利用したオート・フレーミングが可能となる。
【００２７】
また、本発明の第２の側面は、画像の構図を自動決定するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータ・システムに対し、
入力画像を領域毎に分割する領域分割手順と、
領域分割された画像の中から注目度の高い注目領域を決定する注目領域決定手順と、
領域分割された画像の中から注目度の低い不要領域を決定する不要領域決定手順と、
入力画像から、前記注目領域を含むとともに前記不要領域が取り除かれる構図を決定する構図決定手順と、
を実行させることを特徴とするコンピュータ・プログラムである。
【００２８】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る画像処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２９】
本発明によれば、入力画像に含まれる人物やその他の注目するオブジェクトが映し出されている領域に着目して構図を自動的に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３０】
また、本発明によれば、元の撮影画像に含まれる、障害物などの不要な領域を除去し、注目すべき領域を切り出すような構図を好適に決定することができる、優れた画像処理装置及び画像処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３１】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３２】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００３３】
本発明は、例えばデジタル・カメラの撮影画像を入力して、構図を自動的に決定する画像処理装置に関するものであり、入力画像に含まれる人物やその他の注目するオブジェクトが映し出されている領域に着目して構図を自動的に決定する。このような画像処理装置の機能は、例えば、デジタル・カメラの撮影画像を蓄積し管理するパーソナル・コンピュータ、あるいはデジタル・カメラ本体に搭載することができる。
【００３４】
図１には、本発明に係る画像処理装置の機能を備えたデジタル・カメラ１００のハードウェア構成を模式的に示している。各回路コンポーネントは、バス１１３を解して相互接続されており、ＣＰＵ１０７の統括的な制御下で撮影画像の符号化、保存、外部出力といった処理を行なうように構成されている。以下、各部について説明する。
【００３５】
撮影光学部１０１は、銀塩カメラにも用いられる撮影用レンズで構成される。光学センサ部１０２は、ＣＣＤやＣＭＯＳなどのセンサ素子アレイ並びに素子の駆動回路で構成され、撮影用レンズの結像面に配置され、画素毎の光強度に応じた電気信号に変換する。
【００３６】
なお、図示しないが、撮影光学部１０１における撮影時の光の明るさに応じて露光量を調整するための絞りや、夜間や暗所での撮影用のフラッシュなども備えている。
【００３７】
映像信号処理部１０３は、光学センサ部１０２から出力される映像信号をデジタル化してデジタル画像を生成する。デジタル画像は、メモリ・インターフェース１０４経由で接続されるカートリッジ式のメモリ・デバイス１０５に保存される。メモリ・デバイス１０５は、例えばＥＥＰＲＯＭなどの、電気的に書き換え動作が可能となる不揮発性メモリで構成される。メモリ・デバイス１０５への画像書き込みやメモリ・デバイス１０５から読み出した画像の表示出力の際には、画像圧縮／伸張やその他の符号化／復号処理が施されるが、本発明の要旨に直接関連しないので、ここでは説明を省略する。
【００３８】
外部インターフェース１０６は、ＵＳＢ若しくはＩＥＥＥ１３９４などのシリアル出力端子を備え、パーソナル・コンピュータなどの外部機器にメモリ１０５に格納されている画像ファイルを転送する。また、ビデオ出力端子を備え、デジタル画像をビデオ信号としてテレビ・モニタなどに表示出力することができる。
【００３９】
また、デジタル・カメラ１００は、ユーザ・インターフェース１１０として、表示部１１１とユーザ入力操作部１１２を備えている。表示部１１１は、例えば液晶画面からなり、ファインダを兼ねるとともに、メモリ・デバイス１０５から読み出した画像を表示出力したり、撮影条件の設定を行なうための操作画面を提示したりする。ユーザ入力操作部１１２は、シャッターやズーム調整つまみなどの機械的な操作部や、表示部１１１の表示画面に重畳されたタッチパネルなどで構成される。
【００４０】
ＣＰＵ１０７は、ＲＯＭ１０９に格納されているプログラム・コードに従って所定の処理動作を実行することにより、当該機器全体の動作を統括的にコントロールし、その処理の際のシステム変数や環境変数をＲＡＭ１０８に一時的に書き込む。ＣＰＵ１０７が実行する処理として、デジタル・カメラ１００による撮影、撮影画像の液晶画面への表示出力、メモリ・デバイス１０５内の画像データの外部出力といった基本動作の他、オート・フォーカス、オート・エクスポージャ、オート・フレーミングといった、カメラ・ワークの自動化処理などが挙げられる。
【００４１】
カメラ・ワークに関する自動化技術が進んでおり、未熟なユーザであっても撮影に失敗する可能性は極めて低くなってきている。本実施形態に係るデジタル・カメラ１００は、とりわけオート・フレーミング、すなわちカメラ画像の構図決定を自動的に行なう点に主な特徴がある。すなわち、撮像画像の中から注目度の高い注目領域を決定するとともに、撮像画像の中から注目度の低い不要領域を決定して、注目領域を含むとともに不要領域が取り除かれる構図を自動的に決定することができるので、被写体の手前に存在する人物や、カメラ・レンズに掛かったユーザの指やストラップといった不要なオブジェクトが取り除かれたフレームをカメラの撮影画像から切り出すことができる。
【００４２】
図２には、本実施形態に係るオート・フレーミングを実現するための処理手順をフローチャートの形式で示している。この処理手順は、例えば、ＣＰＵ１０７がＲＯＭ１０９からロードしたプログラム・コードを実行するという形態で実現される。
【００４３】
処理対象となる画像を入力すると、画像を領域毎に分割する領域分割処理と（ステップＳ１）、エッジ画像を抽出するエッジ抽出処理を（ステップＳ２）、並行して行なう。図３に示した入力画像に対して、領域分割した後の画像、並びにエッジ画像を図４、図５にそれぞれ示す。
【００４４】
画像の領域分割は、いわゆるメッシュ・セグメンテーションにより、画素や複数の画素からなる多角形メッシュを統合して行なうことができる。メッシュ・セグメンテーションは、基本的には、隣接する画像領域間の類似度に基づいて処理される。本実施形態では、統計的処理アルゴリズムを用いて隣接する画像領域を統合すべきか否かを判断していくことにより、所望する粗さからなる画像領域を生成するようにしているが、詳細は後述に譲る。
【００４５】
また、エッジ抽出処理は、原画像を微分処理することにより得られるが、周知技術を適用することができるので、ここでは詳細な説明を省略する。
【００４６】
次いで、領域分割された画像領域の中から注目度の高い注目領域と、注目度の低い不要領域をそれぞれ決定する（ステップＳ３）。
【００４７】
注目領域を抽出する１つの方法として、顔検出を挙げることができる。すなわち、入力画像に含まれる顔領域を検出して、抽出された顔領域を注目領域として扱うことができる。
【００４８】
また、検出された顔の向きを考慮して、注目領域か否かを判定することができる。２人以上の顔が含まれている場合には、正面を向いているか、横を向いているかで、注目度に軽重を付けることもできる。また、抽出された顔領域に対し、さらに人物識別を適用して、その場における人間関係などに基づいて人物間で注目度に軽重を付けることもできる（例えば、組織内での上下関係や、イベント時の主役か脇役か）。
【００４９】
顔検出若しくは顔認識の具体的な手法として、ニューラル・ネットワークを用いた方法や、顔画像の各輝度値を要素とするベクトル空間に主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔｓ  Ａｎａｌｙｓｉｓ：ＰＣＡ）を適用する手法（固有空間法）などを適用することができる。それ以外にも、方位選択性を持ち周波数成分の異なる複数のフィルタを用いて画像をフィルタリングするガボア・フィルタによって顔領域を抽出した後、この顔抽出結果をサポート・ベクタ・マシーンに投入して、非線型な空間に一度写像して該空間内で分離する超平面を求めることにより顔と非顔とを識別するという顔認識方法（例えば、ＷＯ２００３／０１９４７５を参照のこと）を適用することができる。
【００５０】
また、注目領域として、人物に限定されず、それ以外の注目オブジェクトをあらかじめ設定しておき、入力画像と注目オブジェクトに関する情報とのマッチングを行ない、マッチング度の高い領域を注目領域として決定するという手法を採り入れることもできる。
【００５１】
また、入力画像に含まれる各オブジェクトの色、形、面積（入力画像に閉める面積率）、テクスチャ、若しくはその他の物理的特徴から評価される誘目度の高い領域を注目領域として決定することができる。例えば、田中外著「画像領域の物理的特徴に基づく誘目度評価モデル」（電子情報通信学会論文誌  Ａ  Ｖｏｌ．Ｊ８３−Ａ  Ｎｏ．５  ｐｐ．５７６−５８８  ２０００年５月）には、画像領域の物理的特徴に基づく誘目度の評価方法について記載されている。
【００５２】
また、抽出された各画像領域に対しフォーカスが合わせられている度合いを求め、フォーカスが合わせられている度合いに基づいて、注目領域及び不要領域をそれぞれ決定することができる。
【００５３】
本実施形態では、フォーカスの度合いを表す表示値として、「エッジ量」を用いることにした。ここで言うエッジ量とは、ステップＳ１により分割された各画像領域について、ステップＳ２で得られたエッジ画像の画素値の合計を求め、該画素値の合計をエッジ長又はエッジの面積で正規化することによる算出される値である。
【００５４】
エッジ量の大きな画像領域は注目領域、エッジ量の小さな画像領域（とりわけ画像の周辺に存在するもの）は不要領域と推定することができる。図３に示した入力画像に対して、図４に示した領域分割後の画像と図５に示したエッジ画像を用いて、画像領域毎に算出されたエッジ量を図６に示す。
【００５５】
勿論、上述したように自動で画像領域から注目領域と不要領域を決定するのではなく、図４に示した領域分割後の画像を表示部１１１上に表示して、ユーザがタッチパネルを介して注目領域と不要領域を直接指示するようにしてもよい。例えば、ユーザは撮影画像を目視で確認して、自分の指やストラップなどの不要オブジェクトを指示するようにしてもよい。
【００５６】
そして最後に、入力画像から、不要領域を含まず、且つ所定のアスペクト比を持つ最大の矩形領域を切り出すことで（ステップＳ４）、オート・フレーミングが完了する。
【００５７】
図３に示した入力画像の例では、不用意に撮影レンズに置かれたユーザの指が、左下の部分にピンボケした状態で映されている。領域分割すると、図４に示したように、被写体となる人物や背景とともに、指が画像領域として抽出される。また、エッジ抽出により、図５に示したように、被写体となる人物や背景とともに、指のエッジが抽出される。しかしながら、指はピンボケによりエッジが鮮明でないため、図６に示したように、そのエッジ量は他の画像領域よりも低い値となる。この結果、指は不要領域として判定されるから、これを含まず、且つ所定のアスペクト比を持つ最大の矩形領域が最終的なフレームとして出力される。図７には、領域画像において構図が設定されている様子を示している。また、図８には、オート・フレーミングにより元の撮影画像から切り出し判定結果の画像を示している。
【００５８】
続いて、ステップＳ１で実行される、画像の領域分割処理について詳解する。
【００５９】
画像領域は、多数の多角形の集合として扱うことができる。画像領域の統合や分割を行なう処理は「メッシュ・セグメンテーション」とも呼ばれる。多角形メッシュの粗さは処理負荷や画質に大きく影響することから、例えばＣＧにおいて、アプリケーションに応じたメッシュ・セグメンテーションを行なうことで、多角形メッシュを適当な粗さに調整することができる。
【００６０】
メッシュ・セグメンテーションは、基本的には、隣接する画像領域間の類似度に基づいて処理される。しかしながら、従来のメッシュ・セグメンテーション処理では主として、領域成長（ｒｅｇｉｏｎ  ｇｒｏｗｉｎｇ）、又は階層的／反復的／光学的（ｈｉｅｒａｒｃｉｃａｌ／ｉｔｅｒａｔｉｖｅ／ｓｐｅｃｔｒａｌ）なクラスタリングを、配列を用いた繰り返し代数演算により行なうため、処理速度が遅いという問題がある。
【００６１】
これに対し、本実施形態では、統計的処理アルゴリズムを用いて隣接する画像領域を統合すべきか否かを判断していくことにより、所望する粗さからなる画像領域を生成するようにしている。ここで言う統計的処理アルゴリズムでは、例えば画像領域を構成する多角形の面積における集中不均衡（ｃｏｎｃｅｎｔｒａｔｉｏｎ  ｉｎ−ｅｑｕａｌｉｔｙ）現象から導き出される判断式に基づいて、隣接する画像領域同士が類似するか、言い換えれば統合することができるかどうかを判別する。
【００６２】
このような統計的処理アルゴリズムに基づく画像領域の統合処理は、隣接する画像領域同士で互いが持つ画像属性情報の統計処理を行なうという簡素な計算で構成されることから、高速化が可能である。例えば、画像領域が多角形メッシュで構成される３次元画像情報の場合は、画像領域の面積、法線方向、色情報などの画素属性情報を統計処理する。また、ＲＧＢなど複数の色成分で構成される映像情報の場合には、色成分毎に、集中不均衡現象から導出される判断式に基づいて統合処理を行なうようにすればよい。
【００６３】
このような統計的処理アルゴリズムに基づく画像統合処理によれば、パーソナル・コンピュータなどの一般的な計算機を用いて毎秒百万個の多角形を処理することができる。勿論、画素サイズにもよるが、デジタル・カメラやその他の組み込み機器上で実装することも可能である。また、判断式に含まれるパラメータ値を調整することによって、画像領域同士を統合する基準を自在に設定して、所望する粗さの多角形メッシュを生成することができ、システムはスケーラビリティを持つ。
【００６４】
３ＤＣＧなどの画像処理分野では描画対称となるオブジェクトを多角形の集合として扱うのが一般的であるが、画像領域としての多角形メッシュを、その構成要素となる複数の多角形間の関係を記述した隣接グラフ（Ｉｎｃｉｄｅｎｃｅ  Ｇｒａｐｈ）の形式で表現することができる。本実施形態で使用するメッシュ・セグメンテーション方法では、多角形メッシュの最小単位となる個々の多角形をグラフ中の１つのノードとして扱い、多角形メッシュ内で隣接する各多角形のノード間を互いに接する辺に相当するエッジで結んで記述される隣接グラフを入力に用いるようにすればよい。
【００６５】
ここで、多角形メッシュで構成される画像領域を扱う場合の隣接グラフの作成方法について説明しておく。
【００６６】
まず、対象とする画像領域に属する各多角形ＴiをノードＮiに関連付ける。そして、ノードＮiとノードＮj間において、双方の多角形Ｔi及びＴjに属する唯一の辺があれば、両ノード間を結ぶエッジｅijとして生成する。
【００６７】
隣接グラフは、エッジの端点に従って多角形のソーティングを行なうことによって、頂点及び面のインデックス配列から直接的に構築することができる。個々の多角形に属する辺すなわちエッジは、多角形メッシュすなわち画像領域の境界となるエッジ（Ｂｏｕｎｄａｒｙ  ｅｄｇｅ）と、多角形メッシュではなく多角形メッシュ内の隣接する他の多角形と接するエッジ（Ｉｎｔｅｒｉｏｒ  Ｅｄｇｅ）に分けられる。画像領域の境界に当たるエッジは１つの多角形にしか属さないので、境界以外（すなわち画像領域の内側の）エッジのみを処理対象にする。この処理には、頂点及び面のインデックス配列があれば十分であり、ｈａｌｆ−ｅｄｇｅ、ｑｕａｄ−ｅｄｇｅといった複雑な隣接データ構造は必要でない。
【００６８】
図９には、最も単純な隣接グラフの例を示している。同図左に示す多角形メッシュは、辺すなわちエッジｅijで接する２つの３角形Ｔi及びＴjで構成される。この多角形メッシュを記述した隣接グラフは、同図右に示すように、各３角形Ｔi及びＴjに相当する２つのノードＮi及びＮjと、両ノードを結ぶエッジｅijで構成される。
【００６９】
また、図１０には、少し複雑な隣接グラフの構成例を示している。同図左に示す多角形メッシュは、７個の３角形Ｔ1〜Ｔ7で構成され、Ｔ1はＴ2と接し、Ｔ2はＴ1、Ｔ3、Ｔ4と接し、Ｔ3はＴ2及びＴ6と接し、Ｔ4はＴ2及びＴ5と接し、Ｔ5はＴ4及びＴ6と接し、Ｔ6はＴ3、Ｔ5、Ｔ7と接している。この多角形メッシュを記述した隣接グラフは、同図右に示すように、隣接する３角形で接する辺すなわちエッジによってそれぞれの３角形に相当するノード間を結んで構成される。
【００７０】
なお、ノードは、初期状態では多角形メッシュの最小単位の多角形であるが、画像の統合処理が進むと、ノードは１つの多角形から成長してできた多角形メッシュで構成される画像領域に相当する。システム内では、各ノードＮiに関して、一意に識別するための識別情報ｉｄ（Ｎi）と、該当する画像領域（最初は１つの多角形）が持つ面積ａｒｅａ（Ｎi）と、該当する画像領域すなわち多角形メッシュを構成する多角形の個数ｎ（Ｎi）（初期値は１）を、「ノード統計情報」として保持している。各ノードが面積及び多角形の個数を保持するのは、ノードすなわち画像領域の統合の成否を統計的処理アルゴリズムに基づく判断式により判定処理するために必要な情報だからである。
【００７１】
続いて、入力された隣接グラフの各エッジを評価してソーティングを行なう。エッジの評価は、具体的には、エッジで結ばれる各画像領域が持つ属性値を比較して比較結果に基づいて重み因子をエッジに付与し、重み値に基づいて隣接グラフ中のエッジをソーティングする。ここで言う画像領域は、最小単位である多角形と、複数の多角形を統合した多角形メッシュとして構成される画像領域を含む。
【００７２】
属性値として例えば画像領域が持つ面積を用い、エッジで結ばれる画像領域間の面積の相違をエッジの重み値として与えて、重み値の小さい順（ｉｎｃｒｅａｓｉｎｇ  ｏｒｄｅｒ）にソーティングを行なう。この場合、画像領域間の面積の差が小さいほど重み値は小さくなり、後続の画像統合処理では処理順位が高くなる。
【００７３】
図１１には、エッジの評価を行なう処理方法を図解している。ここでは、エッジｅijで接する２つの３角形Ｔi及びＴjを想定し、その隣接グラフは、同図右に示すように、各３角形Ｔi及びＴjに相当する２つのノードＮi及びＮjと、両ノードを結ぶエッジｅijで構成される。ここで、多角形Ｐの面積を求める関数Ａｒｅａ（Ｐ）が定義されているとすると、エッジｅijの重み値Ｗ（ｅij）は下式（１）によって計算される。
【００７４】
【数１】
2007157063.tif 000003
【００７５】
あるいは、画像領域を構成する多角形の面積の他に、画像領域の法線方向、色などの画素属性情報（但し、テクスチャを持つ多角形メッシュの場合）といった、隣接する頂点が持つさまざまな属性値の差分を用いてエッジの重みを与えることができる。
【００７６】
また、デジタル・カメラによる撮影画像などの映像情報の場合、初期的な隣接グラフは、多角形間ではなく、画素間の接続関係によって表現される。図１２には、映像情報の場合の隣接グラフの構成方法を示している。初期状態では、個々の画素がノードとして扱われ、図示の通り、ある注目画素についてこれを取り囲む８個の画素との間でそれぞれエッジが定義される。また、エッジの評価方法として、多角形メッシュの場合は面積や法線など利用可能なパラメータが限られているが、映像情報の場合はパラメータ数が豊富であり、エッジの評価方法すなわち重み因子の計算方法を最適化することができる。本実施形態では、エッジで結ばれる画素（若しくは画像領域）間で、ＲＧＢの色成分毎の平均画素の差分をとり、その最大値を重み因子としてエッジに付与する。そして、上述と同様に、重み値に基づいて隣接グラフ中のエッジをソーティングする。
【００７７】
続いて、ソーティングされた順に従ってエッジを挟む画像領域のペアを取り出し、統合処理（ｍｅｓｈ  ｇｒｏｗｉｎｇ）を行なう。エッジには、エッジで結ばれる画像領域間の類似度の指標となる重みが与えられるので、重みが小さい順に統合処理を行なうことは、類似する画像領域間の統合処理を優先的に実行することに相当する。
【００７８】
ここでは、ソーティングされた順に従って取り出されたエッジで結ばれる画像領域のペアに対し、統計的処理アルゴリズムに基づいて、統合すべきかどうかを判断する。具体的には、エッジで結ばれる２つの画像領域Ｒk及びＲlに関して、以下の統計的アルゴリズムに基づく判断式（Ｐｒｅｄｉｃａｔｅ）を満たすときに、画像領域Ｒk及びＲlを統合すべきと判定する。
【００７９】
下式（２）には、３ＤＣＧ画像などの多角形メッシュで構成される画像領域に関して適用可能な判断式の一例を示している。同式において、画像領域Ｒkは面積Ｓkを持つとともにｎk個の多角形で構成され、画像領域Ｒlは面積Ｓlを持つとともにｎl個の多角形で構成されるものとする。また、Ａは多角形の最大面積とし、Ｑはセグメンテーションの粗さを制御するためのパラメータとする。
【００８０】
【数２】
2007157063.tif 000004
【００８１】
上記の判断式（２）によれば、エッジで接続される画像領域間で画像領域に含まれる多角形の平均面積の差分（Ｓk／ｎk−Ｓl／ｎl）が小さい場合には、統合処理が行なわれることになる。同判断式は、画像領域を構成する多角形の面積において現れる現象である、統計的な集中不均衡（ｓｔａｔｉｓｔｉｃａｌ  ｃｏｎｃｅｎｔｒａｔｉｏｎ  ｉｎｅｑｕａｌｉｔｙ）から導き出されるものである。統計学の分野では、中心極限定理（ｃｅｎｔｒａｌ  ｌｉｍｉｔ  ｔｈｅｏｒｅｍ）として一般的である（母集団が任意の分布であるとしても、その母集団からの標本の大きさを増大するならば、標本平均の分布はやがて正規分布へと収束する）。
【００８２】
一方、多角形メッシュではなく、映像情報を扱う場合には、パラメータ数が豊富であることから、集中不均衡に基づく判断式も最適化することができる。例えば、エッジで接続される画像領域間で、画像領域に含まれる画素の平均画素値の差分をＲＧＢの色成分毎に計算して、これらの差分が小さいときには統合処理が行なわれる。
【００８３】
また、上式（２）の右辺のＱはセグメンテーションの粗さを制御するためのパラメータである。Ｑを大きくとると右辺の値が小さくなり、判断式を満たすのが困難となる結果、画像領域の統合が抑制される。逆に、Ｑを小さい値にすると右辺の値が大きくなり、判断式を容易に満たすようになるので、画像領域の統合が促進され、より粗いメッシュ・セグメンテーション結果を得ることができる。
【００８４】
３ＤＣＧなどの画像情報の場合、ノードは、初期状態では多角形メッシュの最小単位の多角形であるが、画像領域の統合処理が進むと、１つの多角形から成長してできた多角形メッシュで構成される画像領域に相当する。ノード統計情報では、各ノードＮiに関して、一意に識別するための識別情報ｉｄ（Ｎi）と、該当する画像領域（最初は１つの多角形）が持つ面積ａｒｅａ（Ｎi）と、該当する画像領域すなわち多角形メッシュを構成する多角形の個数ｎ（Ｎi）（初期値は１）などを保持するレコードが設けられている。そして、画像領域統合処理部３は、ノード同士を統合したときには、新しいノードを識別するためのｉｄが新たに与え、統合により新たに生成された画像領域の面積及び多角形の個数を算出して、ノード統計情報の更新処理を行なう。
【００８５】
最後に、画像領域の統合処理をした結果として残された微細な領域を処理する。例えば、大きな画像領域の間あるいは内部に、統合されないまま残された微小な多角形メッシュを、判断式を満たすか否かに変わらず、隣接するいずれかの画像領域に統合し、処理結果の見栄えを良くする。ここで言う微小領域は、例えばメッシュ表面全体に対して数パーセント未満の面積しかない多角形メッシュである。
【００８６】
図１３には、メッシュ・セグメンテーション処理を行なうための処理手順の一例をフローチャートの形式で示している。
【００８７】
まず、処理対象となる３次元オブジェクトの画像情報を入力する（ステップＳ１１）。本実施形態では、画像情報は、多角形をノードとし、多角形の辺をエッジとして構成される隣接グラフの形式で記述される（前述並びに図９を参照のこと）。
【００８８】
ここで、入力された隣接グラフをスキャンして、各ノードＮiに識別情報ｉｄ（Ｎi）を付与するとともに、相当する多角形の面積を求め、ノード毎の識別情報、面積、及び多角形の個数（初期値は１）をノード統計情報に登録（初期化）する。ノード統計情報を初期化する擬似プログラム・コードを以下に示しておく。但し、ｉｄ（）は引数で示されるノードの識別情報を格納する配列であり、ａｒｅａ（）は引数で示される識別情報のノードの面積を格納する配列であり、ｎ（）は引数で示される識別情報のノードを構成する多角形の個数を格納する配列である。
【００８９】
【数３】
2007157063.tif 000005
【００９０】
隣接グラフからｉ番目に取り出されたノードＮiに関し、識別情報ｉｄ（Ｎi）にｉを代入し、ノードＮiの面積ａｒｅａ（ｉ）に該当する多角形の面積ａｒｅａ（Ｔi）を代入し、多角形の個数ｎ（ｉ）に初期値１を代入する。
【００９１】
次いで、入力された隣接グラフの各エッジを評価してソーティングを行なう（ステップＳ１２）。具体的には、エッジで結ばれる画像領域間の面積の相違をエッジの重み値として与えて、重み値の小さい順（ｉｎｃｒｅａｓｉｎｇ  ｏｒｄｅｒ）にソーティングを行なう。画像領域間の面積の差が小さいほど重み値は小さくなり、後続の画像統合処理では処理順位が高くなる。
【００９２】
続いて、セグメンテーションの粗さをコントロールするためのパラメータＱを設定する（ステップＳ１３）。
【００９３】
画像領域統合処理では、ソーティングされた順に従ってエッジを挟む画像領域のペアを取り出す（ステップＳ１４）。そして、これらの画像領域が統計的アルゴリズムに基づく判断式を満たすかどうかに基づいて統合処理を行なう（ステップＳ１５）。ここで用いる判断式は、画像領域を構成する多角形の面積において現れる現象である、統計的な集中不均衡から導き出されるものであり（前述）、ステップＳ３で設定されたパラメータＱを用いる。
【００９４】
ノード統計情報では、各ノードＮiに関して、一意に識別するための識別情報ｉｄ（Ｎi）と、該当する画像領域（最初は１つの多角形）が持つ面積ａｒｅａ（Ｎi）と、該当する画像領域すなわち多角形メッシュを構成する多角形の個数ｎ（Ｎi）（初期値は１）などを保持するレコードが設けられている（前述）。画像領域統合処理では、画像領域同士を統合したときには、新しいノードを生成して、このノードを識別するためのｉｄが新たに与え、統合により新たに生成された画像領域の面積及び多角形の個数を算出して、ノード統計情報の更新処理を行なう（ステップＳ１６）。
【００９５】
画像領域を統合し、その後にノード統計情報を更新する擬似プログラム・コードを以下に示しておく。但し、Ｍｅｒｇｅ（）は、引数で示される各画像領域を統合処理する関数である。
【００９６】
【数４】
2007157063.tif 000006
【００９７】
まず、Ｍｅｒｇｅ関数の引数で示されるノードＮi及びＮjの統合処理を行なう。そして、各ノードＮi及びＮjに対し同じ新規の識別情報ｉｄ´（Ｎi）＝ｉｄ´（Ｎj）を与えることで、両画像領域が統合され、新しいノードが生成されたことを示す。本実施形態では、新しいノードの識別情報としてＮi又はＮjいずれか一方の旧識別情報を用いる。新しいノードに識別情報を与える際に、Ｒｏｂｅｒｔ  Ｅｎｄｒｅ  Ｔａｒｊａｎが考案したＵｎｉｏｎ−Ｆｉｎｄアルゴリズムを使用することができる。
【００９８】
続いて、新しいノードの面積ａｒｅａ（ｉｄ´（Ｎi））に元の各画像領域の面積の和ａｒｅａ（Ｎi）＋ａｒｅａ（Ｎj）を代入するとともに、新しいノードの多角形の個数ｎ（ｉｄ´（Ｎi））に元の各画像領域の多角形の個数の和ｎ（ｉｄ（Ｎi））＋ｎ（ｉｄ（Ｎj））を代入する。そして、元の各ノードＮi及びＮjに対し新規の識別情報ｉｄ´（Ｎi）及びｉｄ´（Ｎj）をそれぞれ与えることで、ノード統計情報の更新処理を終える。
【００９９】
そして、隣接グラフ中のすべてのエッジについて処理を終えると（ステップＳ１４）、微小領域処理では、画像領域の統合処理をした結果として残された微細な領域を処理する（ステップＳ１７）。例えば、大きな画像領域の間あるいは内部に、統合されないまま残された微小な多角形メッシュを、判断式を満たすか否かに変わらず、隣接するいずれかの画像領域に統合し、処理結果の見栄えを良くする。ここで言う微小領域は、例えばメッシュ表面全体に対して数パーセント未満の面積しかない多角形メッシュである。
【０１００】
上述したような統計的処理アルゴリズムに基づく画像領域の統合処理は、多角形の面積を統計処理するという簡素な計算で構成されることから高速化が可能である。例えば、一般的な計算機システム（前述）を用いて毎秒百万個程度の多角形を処理することができる。また、パーソナル・コンピュータのような計算機システムだけではなく、デジタル・カメラのような演算能力に制約のある携帯機器上でも撮影画像に対して領域分割処理を行なうことが可能となることから、図２に示した処理手順に従い、オート・フレーミングが可能となる。また、判断式に含まれるパラメータ値Ｑを調整することによって、画像領域同士を統合する基準を自在に設定して、所望する粗さの多角形メッシュを生成することができ、システムはスケーラビリティを持つ。
【０１０１】
なお、このようなメッシュ・セグメンテーションのアプリケーションとして、例えば、パラメタリゼーション及びテクスチャ・マッピング、画像変形（ｍｏｒｐｈｉｎｇ）、多解像度モデリング、画像編集、画像圧縮、アニメーション、並びに形状マッチングなどを挙げることができる。また、統計的処理アルゴリズムに基づく画像領域の統合処理の詳細については、例えば本出願人に既に譲渡されている特願２００５−１６６４６６号明細書を参照されたい。
【産業上の利用可能性】
【０１０２】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１０３】
本明細書では、オート・フレーミング機能をデジタル・カメラに搭載した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。撮影画像を格納し若しくは処理するパーソナル・コンピュータやその他の形態の画像処理装置においても同様に本発明を適用することができる。
【０１０４】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１０５】
【図１】図１は、本発明に係る画像処理装置の機能を備えたデジタル・カメラ１００のハードウェア構成を模式的に示した図である。
【図２】図２は、本発明に係るオート・フレーミングを実現するための処理手順を示したフローチャートである。
【図３】図３は、オート・フレーミング処理に投入される撮影画像の例を示した図である。
【図４】図４は、図３に示した入力画像に対する領域分割後の画像を示した図である。
【図５】図５は、図３に示した入力画像に対するエッジ画像を示した図である。
【図６】図６は、図４に示した画像の領域毎にエッジ量を算出した結果を示した図である。
【図７】図７は、図６に示した領域画像において構図が設定されている様子を示した図である。
【図８】図８は、図７に示した構図に従って撮影画像から切り出されたフレームを示した図である。
【図９】図９は、最も単純な隣接グラフの例を示した図である。
【図１０】図１０は、少し複雑な隣接グラフの構成例を示した図である。
【図１１】図１１は、エッジの評価を行なう処理方法を説明するための図である。
【図１２】図１２は、映像情報の場合の隣接グラフの構成方法を示した図である。
【図１３】図１３は、メッシュ・セグメンテーション処理を行なうための処理手順の一例を示したフローチャートである。
【図１４】図１４は、自分より手前にいる人影で所望の被写体が遮られ菜撮影が行なわれた画像を液晶ファインダ上で確認する様子を示したフローチャートである。
【図１５】図１５は、人影のような不要領域を含まず、且つ所定のアスペクト比を持つ最大の矩形領域を構図として決定した様子を示したフローチャートである。
【符号の説明】
【０１０６】
１００…デジタル・カメラ
１０１…撮影光学部
１０２…光学センサ部
１０３…映像信号処理部
１０４…メモリ・インターフェース
１０５…メモリ・デバイス
１０６…外部インターフェース
１０７…ＣＰＵ
１０８…ＲＡＭ
１０９…ＲＯＭ
１１０…ユーザ・インターフェース
１１１…表示部
１１２…ユーザ入力操作部
【図１】
2007157063.tif 000007
【図２】
2007157063.tif 000008
【図３】
2007157063.tif 000009
【図４】
2007157063.tif 000010
【図５】
2007157063.tif 000011
【図６】
2007157063.tif 000012
【図７】
2007157063.tif 000013
【図８】
2007157063.tif 000014
【図９】
2007157063.tif 000015
【図１０】
2007157063.tif 000016
【図１１】
2007157063.tif 000017
【図１２】
2007157063.tif 000018
【図１３】
2007157063.tif 000019
【図１４】
2007157063.tif 000020
【図１５】
2007157063.tif 000021