(57)【要約】      （修正有）【課題】画像の輪郭を幾何学な輪郭に整形する。【解決手段】元画像から所定の基準に基づき選択された画像領域を画像の切り抜き対象側の白画素領域とバックグラウンド側の黒画素領域とに２値化する２値化変換部１０５と、白画素領域に囲まれた黒画素を白画素の数値に変換して白画素領域の穴を埋める穴埋め処理部１１０と、穴埋め後の各白画素から黒画素領域までの距離値を求める距離変換部１１５と、各白画素の距離値に応じて白画素領域の骨格を示す複数の点を抽出する骨格抽出部と、抽出された複数の点のうち所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を切り抜き対象画像を切り抜くための輪郭として決定する切り抜き用輪郭決定部１２５とを備える画像処理装置１０を提供する。【選択図】図１
2010061500.tif 000002
【特許請求の範囲】
【請求項１】
２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換ステップと、
前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出ステップと、
前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定ステップと、を含む画像処理方法。
【請求項２】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の点のうち、既に描画した楕円又は真円内に位置する点を重要度が低いと判断して省く請求項１に記載された画像処理方法。
【請求項３】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の点のうち、各点の画素の距離値が所与の閾値以下の点を重要度が低いと判断して省く請求項１又は請求項２のいずれかに記載された画像処理方法。
【請求項４】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の点のうち、前記選択された画像領域を左上から順に走査して検出された点の順に各点の画素の距離値に応じた楕円又は真円を描画する請求項１〜３のいずれかに記載された画像処理方法。
【請求項５】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の点のうち、前記距離値の大きい画素の点の順にその距離値に応じた楕円又は真円を所定個描画する請求項１〜３のいずれかに記載された画像処理方法。
【請求項６】
元画像から所定の基準に基づいて選択された画像領域を画像の切り抜き対象側の第１の画素領域とバックグラウンド側の第２の画素領域とに２値化する２値化ステップと、
前記第１の画素領域に囲まれた第２の画素を前記第１の画素の数値に変換することにより、第１の画素領域の穴を埋める穴埋めステップと、をさらに含み、
前記距離変換ステップは、前記穴埋めステップにより穴埋めされた第１の画素領域の各第１の画素から前記第２の画素領域までの距離値を求める請求項１〜５のいずれかに記載された画像処理方法。
【請求項７】
２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する最大画像抽出ステップと、
前記抽出された第１の画素の最大領域の輪郭点を複数抽出する輪郭点抽出ステップと、
前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定ステップと、を含む画像処理方法。
【請求項８】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の輪郭点のうち、隣接する３点以上の輪郭点から構成される多角形の面積が最も小さくなる多角形を検出し、検出された多角形を構成する３点以上の輪郭点の中間に位置する輪郭点を重要度が低いと判断して省く請求項７に記載された画像処理方法。
【請求項９】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の輪郭点のうち、隣接する３点の輪郭点から構成される三角形の面積に対して、当該三角形が前記複数の輪郭点の隣接点同士を繋いだ多角形の凸部又は凹部のいずれを形成するかにより異なる重み付けをし、重み付け後の面積が最も小さくなる三角形を検出し、検出された三角形を構成する３点の輪郭点の中間に位置する輪郭点を重要度が低いと判断して省く請求項８に記載された画像処理方法。
【請求項１０】
前記切り抜き用輪郭決定ステップは、
前記重要度が低いと判断された輪郭点を省く処理を繰り返した結果、輪郭点の数が所定個以下になったら終了する請求項７〜９のいずれかに記載された画像処理方法。
【請求項１１】
前記輪郭点抽出ステップにより抽出された複数の輪郭点を一つ又は複数個おきに省く間引ステップをさらに含み、
前記切り抜き用輪郭決定ステップは、前記間引ステップ後の輪郭点に対して実行される請求項７〜１０のいずれかに記載された画像処理方法。
【請求項１２】
前記輪郭点抽出ステップにより抽出された輪郭点を各輪郭点の隣接点の位置に応じて平滑化する平滑化ステップをさらに含み、
前記切り抜き用輪郭決定ステップは、前記平滑化ステップ後の輪郭点に対して実行される請求項７〜１１のいずれかに記載された画像処理方法。
【請求項１３】
前記選択された画像領域は、所定の基準に基づき画像中の注目領域を抽出する技術を用いて元画像から抽出される請求項１〜１２のいずれかに記載された画像処理方法。
【請求項１４】
前記画像を切り抜くための輪郭として決定した複数の楕円又は真円の外縁又は多角形に関するデータをベクタデータとして記憶部に記憶する請求項１〜１３のいずれかに記載された画像処理方法。
【請求項１５】
２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換部と、
前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出部と、
前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定部と、を備える画像処理装置。
【請求項１６】
元画像から所定の基準に基づいて選択された画像領域を画像の切り抜き対象側の第１の画素領域とバックグラウンド側の第２の画素領域とに２値化する２値化変換部と、
前記第１の画素領域に囲まれた第２の画素を前記第１の画素の数値に変換することにより、第１の画素領域の穴を埋める穴埋め処理部と、をさらに備える請求項１５に記載された画像処理装置。
【請求項１７】
２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する最大画像抽出部と、
前記抽出された第１の画素の最大領域の輪郭点を複数抽出する輪郭点抽出部と、
前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定部と、を備える画像処理装置。
【請求項１８】
２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める処理と、
前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する処理と、
前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する処理と、をコンピュータに実現させるためのプログラム。
【請求項１９】
２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する処理と、
前記抽出された第１の画素の最大領域の輪郭点を複数抽出する処理と、
前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する処理と、をコンピュータに実現させるためのプログラム。
【請求項２０】
２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換部と、
前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出部と、
前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する第１の切り抜き用輪郭決定部と、を有し、
前記２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する最大画像抽出部と、
前記抽出された第１の画素の最大領域の輪郭点を複数抽出する輪郭点抽出部と、
前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する第２の切り抜き用輪郭決定部と、を有し、さらに、
前記第１の切り抜き用輪郭決定部により決定された第１の輪郭と前記第２の切り抜き用輪郭決定部により決定された第２の輪郭とのいずれかを選択する選択部を備えた画像処理システム。
【請求項２１】
前記選択部は、
ランダムに選択するか、
前記第１の輪郭内の総面積と前記第２の輪郭内の総面積との比に基づき選択するか、
前記第１の輪郭又は前記第２の輪郭の少なくともいずれかの形状に基づき選択するか、
前記２値化後の第１の画素領域に対する前記第１の輪郭の形状及び前記第２の輪郭の形状の誤差に基づき選択するか、
のいずれかの条件に従い、前記第１の輪郭及び前記第２の輪郭のいずれかを選択する請求項２０に記載された画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の輪郭を幾何学的に整形する画像処理方法、画像処理装置、プログラム及び画像処理システムに関し、特に、円形又は多角形に画像を整形する画像処理に関する。
【背景技術】
【０００２】
画像情報は、一般に撮影機器の都合上、長方形の２次元データとして表現されることが多い。たとえば、オークションサイトに出品された画像は、長方形の枠内に出品物が収まる形で表されている。そのため、画像は、表示機器においてもそのままの長方形、あるいはそれをアフィン変換や射影変換させた四角形として表現される。写真閲覧ブラウザ上での写真表示や、サムネイル表示、コンピュータ上で提供されるスクラップブック等のアプリケーションにおいても、画像は四角形として表現されることがほとんどである。しかしながら、データ自体は、たまたま長方形の画像情報として保存されているが、保存画像中の目を引く物体は本来長方形ではなく不定な形状をしていることがほとんどである。よって、画像を常に四角形として扱わなければならないとすると、デザイン上の自由度が少なくおもしろみに欠けてしまう。
【０００３】
そこで、長方形以外の形で画像を表現する方法の一つとして、例えばあらかじめ画像の切り抜き形状を用意しておき、そこに与えられた画像を当てはめる技術がある。しかしながら、この方法では、切り抜き形状を用意する際、当てはめる側の画像に何がどのような形で含まれているのかは考慮されないため、画像の特徴部分を考慮した切り抜きは困難である。
【０００４】
一方、画像の特徴部分を考慮して、画像内容に応じて画像の一部の領域を抽出、選択する種々の技術が提案されている。その中には、たとえば画像中のある色域に含まれる色のみを残す、通称２値化と呼ばれる方法がある。これは、領域を選択する最も簡単な方法の一つである。また人間の認知の仕組みに基づき、画像中から視覚的に注目を得やすい領域を選択する、ビジュアルアテンション（Ｖｉｓｕａｌ  Ａｔｔｅｎｔｉｏｎ）と言われる技術も提案されている（例えば、特許文献１参照。）。
【０００５】
【特許文献１】特開２００８−５３７７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、画像内容に応じて画像の一部を抽出する技術では、抽出された画像の輪郭領域の形状については何ら考慮されていない。そのため、上記抽出された領域は、コンピュータ処理上都合のよい領域であったとしても、画像を切り抜いて表現するための領域としては形状が醜く、視覚的に訴える画像表現には適さない場合が多い。
【０００７】
また、画像内の物体を意味のある単位で複数の領域に分割する領域分割と呼ばれる方法や、画像中の物体そのものを認識し、その物体の存在する領域そのものを選択する技術も提案されている。これらは、正しい認識がなされれば物体の形状どおりに領域が選択されるものの、コンピュータによる自動処理では、人間の通常の認識に従って正しく物体が認識されるばかりではない。また、たとえ正しく物体が認識されたとしても、物体の機械的認識が細かすぎて、選択された領域がかえって見栄えのよくない形状となる場合もある。
【０００８】
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、所定の画像領域を所望の幾何学な輪郭に整形する画像処理を提案することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換ステップと、前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出ステップと、前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定ステップと、を含む画像処理方法が提案される。
【００１０】
かかる構成によれば、第１の画素領域の骨格を示す複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円が描画される。描画された複数の楕円又は真円の外縁は、切り抜き対象側の画像を切り抜くための輪郭となる。これにより、注目する画像を複数の円形で構成される領域形状に整形することができる。
【００１１】
特に、輪郭を決定するに当たっては、所定の条件に基づいて重要度が低いと判断される骨格を示した点は省かれる。このため、画像を切り抜く際に重要度が高い点を中心としたまとまりある円弧状の集まりを輪郭とすることができる。この結果、切り抜き対象側の画像を視覚的に美しい円弧状に切り抜くことができる。
【００１２】
元画像から所定の基準に基づいて選択された画像領域を画像の切り抜き対象側の第１の画素領域とバックグラウンド側の第２の画素領域とに２値化する２値化ステップと、前記第１の画素領域に囲まれた第２の画素を前記第１の画素の数値に変換することにより、第１の画素領域の穴を埋める穴埋めステップと、をさらに含んでいても良い。
【００１３】
第１の画素領域の骨格を示す複数の点のうち、重要度が低い点を省くための所定の条件の一例としては、前記切り抜き用輪郭決定ステップは、抽出された複数の点のうち、既に描画した楕円又は真円内に位置する点を重要度が低いと判断して省いてもよい。
【００１４】
また、前記切り抜き用輪郭決定ステップは、前記抽出された複数の点のうち、各点の画素の距離値が所与の閾値以下の点を重要度が低いと判断して省いてもよい。
【００１５】
前記切り抜き用輪郭決定ステップは、前記抽出された複数の点のうち、前記選択された画像領域を左上から順に走査して検出された点の順に各点の画素の距離値に応じた楕円又は真円を描画してもよい。
【００１６】
前記切り抜き用輪郭決定ステップは、前記抽出された複数の点のうち、前記距離値の大きい画素の点の順にその距離値に応じた楕円又は真円を所定個描画してもよい。
【００１７】
前記切り抜き用輪郭決定ステップは、前記点の位置を中心とした楕円又は真円の数が所定個より大きくなったら、当該ステップを終了してもよい。
【００１８】
また、上記課題を解決するために、本発明の他の観点によれば、２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する最大画像抽出ステップと、前記抽出された第１の画素の最大領域の輪郭点を複数抽出する輪郭点抽出ステップと、前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定ステップと、を含む画像処理方法が提供される。
【００１９】
かかる構成によれば、第１の画素領域の輪郭を示す複数の離隔点のうち、所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を対象側の画像を切り抜くための輪郭として決定する。これによれば、重要度の低い輪郭点は省かれているため、重要な輪郭点のみを頂点とする多角形の領域形状に切り抜きの輪郭を整形することができる。これにより、たとえば、コンピュータ処理であるにも拘わらず、はさみを用いて人がザクザクと画像を切り取った感覚に輪郭を整形することができる。この結果、切り抜き対象側の画像を視覚的に美しく切り抜くことができる。
【００２０】
前記切り抜き用輪郭決定ステップは、前記抽出された複数の輪郭点のうち、隣接する３点以上の輪郭点から構成される多角形の面積が最も小さくなる多角形を検出し、検出された多角形を構成する３点以上の輪郭点の中間に位置する輪郭点を重要度が低いと判断して省いてもよい。
【００２１】
前記切り抜き用輪郭決定ステップは、前記抽出された複数の輪郭点のうち、隣接する３点の輪郭点から構成される三角形の面積に対して、当該三角形が前記複数の輪郭点の隣接点同士を繋いだ多角形の凸部又は凹部のいずれを形成するかにより異なる重み付けをし、重み付け後の面積が最も小さくなる三角形を検出し、検出された三角形を構成する３点の輪郭点の中間に位置する輪郭点を重要度が低いと判断して省いてもよい。
【００２２】
前記切り抜き用輪郭決定ステップは、前記重要度が低いと判断された輪郭点を省く処理を繰り返した結果、輪郭点の数が所定個以下になったら終了してもよい。
【００２３】
前記輪郭点抽出ステップにより抽出された複数の輪郭点を一つ又は複数個おきに省く間引ステップをさらに含み、前記切り抜き用輪郭決定ステップは、前記間引ステップ後の輪郭点に対して実行してもよい。
【００２４】
前記輪郭点抽出ステップにより抽出された輪郭点を各輪郭点の隣接点の位置に応じて平滑化する平滑化ステップをさらに含み、前記切り抜き用輪郭決定ステップは、前記平滑化ステップ後の輪郭点に対して実行してもよい。
【００２５】
前記選択された画像領域は、所定の基準に基づき画像中の注目領域を抽出する技術を用いて元画像から抽出してもよい。
【００２６】
前記画像を切り抜くための輪郭として決定した複数の楕円又は真円の外縁又は多角形に関するデータをベクタデータとして記憶部に記憶してもよい。
【００２７】
また、上記課題を解決するために、本発明の他の観点によれば、２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換部と、前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出部と、前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定部と、を備える画像処理装置が提供される。
【００２８】
元画像から所定の基準に基づいて選択された画像領域を画像の切り抜き対象側の第１の画素領域とバックグラウンド側の第２の画素領域とに２値化する２値化変換部と、
前記第１の画素領域に囲まれた第２の画素を前記第１の画素の数値に変換することにより、第１の画素領域の穴を埋める穴埋め処理部と、をさらに備えていてもよい。
【００２９】
また、上記課題を解決するために、本発明の他の観点によれば、２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する最大画像抽出部と、前記抽出された第１の画素の最大領域の輪郭点を複数抽出する輪郭点抽出部と、前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定部と、を備える画像処理装置が提供される。
【００３０】
また、上記課題を解決するために、本発明の他の観点によれば、２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める処理と、前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する処理と、前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する処理と、をコンピュータに実現させるためのプログラムが提供される。
【００３１】
また、上記課題を解決するために、本発明の他の観点によれば、２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する処理と、前記抽出された第１の画素の最大領域の輪郭点を複数抽出する処理と、前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する処理と、をコンピュータに実現させるためのプログラムが提供される。
【００３２】
また、上記課題を解決するために、本発明の他の観点によれば、２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換部と、前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出部と、前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する第１の切り抜き用輪郭決定部と、を有し、前記２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する最大画像抽出部と、前記抽出された第１の画素の最大領域の輪郭点を複数抽出する輪郭点抽出部と、前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する第２の切り抜き用輪郭決定部と、を有し、さらに、前記第１の切り抜き用輪郭決定部により決定された第１の輪郭と前記第２の切り抜き用輪郭決定部により決定された第２の輪郭とのいずれかを選択する選択部を備えた画像処理システムが提供される。
【００３３】
このとき、前記選択部は、次の（１）〜（４）のいずれかの条件に従い、前記第１の輪郭及び前記第２の輪郭のいずれかを選択してもよい。
（１）ランダムに選択する。
（２）前記第１の輪郭内の総面積と前記第２の輪郭内の総面積との比に基づき選択する。（３）前記第１の輪郭又は第２の輪郭の少なくともいずれかの形状に基づき選択する。
（４）前記２値化後の第１の画素領域に対する前記第１の輪郭の形状及び前記第２の輪郭の形状の誤差に基づき選択する。
【発明の効果】
【００３４】
以上説明したように、本発明によれば、ある基準により選択された画像領域の境界を視覚的に美しい幾何学な輪郭に整形することができる。
【発明を実施するための最良の形態】
【００３５】
以下に添付図面を参照しながら、発明を実施するための最良の形態（以下実施の形態とする）について説明する。但し、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００３６】
なお、説明は以下の順序で行う。
１．第１の実施の形態（円形切り抜き：複数の真円により画像を切り抜く例）
２．第２の実施の形態（多角形切り抜き：輪郭点を結んだ多角形により画像を切り抜く例）
３．第３の実施の形態（システム：円形切り抜き又は多角形切り抜きのいずれかを選択する例）
【００３７】
＜第１の実施の形態＞
［画像処理装置］
まず、本発明の第１の実施の形態に係る画像処理装置について、図１に示したブロック図を参照しながら説明する。画像処理装置１０は、２値化変換部１０５、穴埋め処理部１１０、距離変換部１１５、極大点抽出部１２０、切り抜き用輪郭決定部１２５（第１の切り抜き用輪郭決定部）、記憶部１３０及び画像処理部１３５にて示された機能ブロックを有する。
【００３８】
画像処理装置１０は、たとえばテレビ下のレコーダやＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）に内蔵されたＩＣチップ等の回路（図示せず）から構成されていてもよい。。この場合、画像処理装置１０の主な機能は、レコーダやＰＣに入力される画像（元画像）を示す信号Ｓ１０をＩＣチップ内に入力し、切り抜き処理後の画像を示す信号Ｓ２０をレコーダやＰＣに出力する。また、画像処理装置１０は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭから構成されていてもよい。たとえばレコーダやＰＣに内蔵されたＲＯＭ等に画像処理装置１０の主な機能を実現するための処理手順を記述したプログラムやデータを格納しておく。そして、画像処理装置１０の主な機能は、ＣＰＵがプログラムを読み出して解釈しながら画像処理を実行することにより達成されてもよい。
【００３９】
さて、具体的な各機能を説明する。たとえば、ここで取り扱う元画像は、撮像装置により撮像した画像、ネットワークを通じて取得した画像、ＰＣで作成した画像等広く適用することができる。
【００４０】
このようにして取得した元画像に対して、２値化変換部１０５は、元画像から所定の基準に基づいて選択された画像領域を２値化する。図２Ａには、元画像から２値化された画像が生成される状態が示されている。ここでは、２値化後の切り抜き対象側の第１の画素領域は白で示され、バックグラウンド側の第２の画素領域は黒で示されている。元画像から所定の基準に基づいて特定の画像領域を選択して２値化する例としては、次の（ａ）〜（ｊ）の方法が一例として挙げられる。
（ａ）輝度（あるいは彩度、色相）に対して所与の閾値処理を施すことにより２値化する方法。
（ｂ）特定の色域（例えば、画像の平均色）に納まっているか否かで２値化する方法。
（ｃ）時間的に連続する複数フレームにおいて、動く物体領域を抽出し、抽出した動く物体領域とそれ以外の物体領域とを２値化する方法。
（ｄ）ステレオビジョン（多眼視）によって得られる物体までの距離において、近距離物体を抽出し、抽出した近距離物体とそれ以外の物体領域とを２値化する方法。
（ｅ）画像を領域分割した結果から特定の領域を選択し、２値化する方法。
（ｆ）人間の認知の仕組みに基づき、画像中から視覚的に注目を得やすい領域を選択する、ビジュアルアテンションの技術を利用した結果として得られる誘目領域を２値化する方法。
（ｇ）特定の周波数帯に納まっているか否かで２値化する方法（例えば、エッジのある部分、エッジのない部分等）。
（ｈ）物体認識技術（例：顔認識、人物認識など）の結果に基づいて特定の物体領域に応じて２値化する方法。
（ｉ）被写界深度の合っている部分のみを抽出した領域に基づき２値化する方法。
（ｊ）赤外カメラで写した物体の高輝度部分に基づき２値化する方法。
【００４１】
穴埋め処理部１１０は、２値化後の白画像に囲まれた黒画像を白画像の数値に置き換えることにより、白画像領域内の穴を埋める。図２Ａには、２値化された画像から穴埋め後の画像が生成される状態が示されている。
【００４２】
距離変換部１１５は、穴埋め後の白画像領域内の画素から最近隣の黒画素までの距離値を白画素毎に求める。図２Ａには、穴埋め後の画像から距離変換後の画像が生成される状態が示されている。ここで実行される距離変換について、図３を参照しながら具体的に説明する。距離変換は、白画素から最近隣の黒画素までの距離を数値化する処理である。たとえば、図３の画像領域内の白画素（２，３）から最近隣の黒画素までの距離は２である。よって、白画素（２，３）に距離値を示す「２」を代入する。これらを画像領域内の全ての白画素について行うと図３の下部に示したように、画像領域内が数値化される。
【００４３】
なお、距離変換部１１５は、上述したように、２値化処理と穴埋め処理による画像形成後、上記距離値を白画素毎に求めてもよいし、予め切り抜き対象となる画像が２値化や穴埋め処理されていて、２値化ステップや穴埋めステップを実行することなく処理後の画像に対して上記距離値を白画素毎に求めてもよい。
【００４４】
極大点抽出部１２０は、各白画素の距離値が、その白画素に対して最近隣の所定個の白画素の距離値より大きい場合、当該白画素を極大点として抽出する。図２Ａ及び図２Ｂには、距離変換後の画像から極大点抽出後の画像が生成される状態が示されている。ここで実行される極大点抽出について、図４を参照しながら具体的に説明する。たとえば、画像領域内の白画素（３，３）に対して最も近い４近傍である白画素（３，２）、白画素（２，３）、白画素（４，３）、白画素（３，４）についてその距離値を比較する。比較の結果、白画素（３，３）の距離値「３」は、４近傍の距離値「２」より大きいので、白画素（３，３）は極大点として採用される。一方、白画素（４，２）に対してその４近傍の距離値を比較すると、白画素（４，２）の距離値「２」は４近傍の距離値より大きくないので、白画素（４，２）は極大点として採用されない。これを全ての白画素について実行する。なお、４近傍の替わりに当該白画像を囲む８近傍を対象としてもよい。また、それ以上の近傍画素と比較してもよい。
【００４５】
なお、極大点抽出部１２０は、各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出部の一例である。つまり、極大点抽出部１２０が抽出する極大点は、骨格抽出部が抽出する骨格を示す複数の点の一例である。極大点抽出の替わりに、画像の骨格、すなわち、画像領域の境界からの距離の中心を検出する骨格変換（スケルトン変換）を行ってもよい。この骨格変換も、各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出部の一例である。
【００４６】
切り抜き用輪郭決定部１２５は、抽出された骨格に含まれる複数の点のうち所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する。
【００４７】
例えば、切り抜き用輪郭決定部１２５は、図５に示したように、距離値から長径ｒｌ及び短径ｒｓ及び所望の回転θを定め、上記省かれなかった極大点を中心（ｘ、ｙ）とした楕円を描画してもよいし、距離値から半径ｒを定め、上記省かれなかった極大点を中心（ｘ、ｙ）とした真円を描画してもよい。ここでは、真円を描画する際の半径は距離値の１．５倍（半径倍率）としている。
【００４８】
切り抜き用輪郭決定部１２５は、図６に示したように、選択された画像領域を左上から順に走査した結果、検出した極大点Ｐの順に点毎の画素の距離値に応じた楕円又は真円を描画する。図６では、まず初めに極大点Ｐ１を中心とした真円が描かれ、極大点Ｐ２、Ｐ３を中心とした真円が描かれる。極大点Ｐ４、Ｐ５は、既に描画した点Ｐ３の真円内に位置するため、重要度が低いと判断して省かれる。また、切り抜き用輪郭決定部１２５は、距離値が所与の閾値（描画最小距離値：たとえば、入力画像（選択された画像）の縦横の長さの小さい方の１／２０）以下の極大点は、重要度が低いと判断して省く。ここでは、描画最小距離値×半径倍率は、真円の最小半径である。その後、このような処理を繰り返して、極大点Ｐ６〜１５を中心とした真円が描かれる。
【００４９】
重要度が低いと判断して円の数を減らす方法は、上記方法に限られない。たとえば、各円に対して、他の円と重複しない領域の面積をスコアとし、スコアの低い円ほど重要度が低いと判断してスコアの低い円から順に除去することにより円の数を減らすようにしてもよい。各円に対して他の円と重複しない領域の面積割合をスコアとし、スコアの低い円から順に除去することにより円の数を減らすようにしてもよい。また、上記除去方法を行う場合、画像領域を左上から順に走査する時点では、図６のＰ４及びＰ５の円も他の円と同様に描画され、後から上記除去方法により除去される。
【００５０】
切り抜き用輪郭決定部１２５は、このようにして描画した複数の真円（又は楕円）の外縁を、画像を切り抜くための輪郭として決定する（図２Ｂ：円描画）。なお、切り抜き用輪郭決定部１２５は、左上から順に走査する替わりに距離値の大きい極大点の順に所定個の以下の真円を描くようにしてもよい。
【００５１】
記憶部１３０は、輪郭として決定した複数の真円の領域形状データのベクタデータを記憶する。ベクタデータについては後述する。
【００５２】
画像処理部１３５は、ベクタデータに基づき決定される輪郭に切り抜き対象画像をオーバラップする（図２Ｂ：切り出し画像）。なお、画像処理部１３５における画像処理は、前記処理の他、例えば、マスクの生成、画質の補正等、種々の画像処理を広く適用することができる。
【００５３】
［動作説明］
次に、画像処理装置１０の動作について図７及び図８のフローチャートを参照しながら説明する。図７は、本実施形態に係る円形切り抜き処理を示したフローチャート（メインルーチン）である。図８は、円形切り抜き処理から呼び出される円描画処理を示したフローチャート（サブルーチン）である。
【００５４】
（円形切り抜き処理）
本処理はステップＳ７００からスタートし、ステップＳ７０５にて元画像を取り込む。次に、２値化変換部１０５は、ステップＳ７１０にて元画像の各画素の輝度と所与の閾値とを比較し、その大小に応じて元画像を２値化する。これにより、切り抜き対象側の画像が白画素で表現される。
【００５５】
次に、穴埋め処理部１１０は、ステップＳ７１５にて白画素に囲まれた黒画素の数値を反転させて白画素に置換する。これにより白画像領域が穴埋めされる。ついで、距離変換部１１５は、ステップＳ７２０にて各白画素に対して最近隣の黒画素までの距離値を求める。次に、極大点抽出部１２０は、ステップＳ７２５にて各白画素の距離値が、該当白画素に最も近い４つの白画素（４近傍）の各距離値より大きいかを判断する。大きい場合、極大点抽出部１２０は、該当白画素を極大点として採用するが、同じか小さい場合、極大点抽出部１２０は、該当白画素を極大点として採用しない。これにより、白画像領域の輪郭からの距離の変化に応じて定められ、白画像領域の骨格を示す点が極大点として選択される。次に、ステップＳ７３０にて図８の円描画処理が呼び出される。
【００５６】
（円描画処理）
本処理はステップＳ８００からスタートし、ステップＳ８０５にて極大点が抽出された画像（スケルトン結果：図２Ｂ参照）と黒で塗りつぶされたマスク画像を取り込む。次に、切り抜き用輪郭決定部１２５は、ステップＳ８１０に進んでスケルトン結果が白く、マスク画像が白でない極大点Ｐを検出するまで画像位置を左上から順に走査する。次に、切り抜き用輪郭決定部１２５は、ステップＳ８１５に進み、極大点Ｐの距離値が前述した描画最小距離値以下であるかを判定する。極大点Ｐの距離値が描画最小距離値以下の場合、ステップＳ８１０に戻り、次の極大点Ｐを検出する。これにより、小さすぎる円が描画されることを抑制することができる。前述したとおり、描画最小距離値は、入力画像（選択された画像）の縦横の長さの小さい方の１／２０に設定されている。
【００５７】
極大点Ｐの距離値が描画最小距離値より大きい場合、切り抜き用輪郭決定部１２５は、ステップＳ８２０に進み、極大点Ｐの位置を中心座標として半径ｒ（＝距離値×１．５（半径倍率））の円領域のマスク画像を白で塗りつぶす。ついで、記憶部１３０は、ステップＳ８２５にて極大点Ｐの位置及び半径ｒのベクタデータを保存する。次に、切り抜き用輪郭決定部１２５は、ステップＳ８３０にて走査が終了したかを判定し、走査が終了していない場合には、ステップＳ８１０に戻り極大点Ｐの走査を続ける。一方、走査が終了した場合には、ステップＳ８９５に進み本処理を終了する。
【００５８】
円描画処理が終了すると再び図７のステップＳ７３５に戻り、画像処理部１３５は、ベクタデータに基づき定められる円形切り抜き領域に切り抜き対象画像をオーバラップし、ステップＳ７９５に進んで本処理を終了する。
【００５９】
以上に説明したように、本実施形態によれば、所定の条件に基づいて重要度が低いと判断される極大点を省きながら、省かれなかった極大点の位置を中心として極大点毎に対応する距離値に応じた真円が描画される。描画された複数の真円の外縁は、前記選択された画像領域に描画された特徴部分である画像を切り抜くための輪郭として決定される。これにより、ある基準に基づいて選択された画像中の領域を、複数の円形で構成される領域形状に整形することができる。特に、本実施形態では、所定の条件に基づいて重要度が低いと判断される骨格の点が省かれているため、画像を切り抜く輪郭に細かい円弧状の突出がなくなる。この結果、選択された画像中の領域に対してその領域の境界を視覚的に美しい円弧状の輪郭に整形することができる。
【００６０】
なお、極大点を中心（ｘ、ｙ）とした真円を描画する替わりに、距離値から長径ｒｌ及び短径ｒｓ及び所望の回転θを定め（図５参照）、極大点を中心（ｘ、ｙ）とした楕円を描画してもよい。これによれば、長径ｒｌと短径ｒｓとの比を変化させたり、回転θを変化させたりすることにより、意外性があり、魅力的でリズム感のある円形状の輪郭により画像を切り出すことができる。
【００６１】
＜第２の実施の形態＞
［画像処理装置］
次に、本発明の第２の実施の形態に係る画像処理装置について、図９に示したブロック図を参照しながら説明する。第１の実施の形態に係る画像処理装置１０は、複数の真円により画像を切り抜いたのに対して、第２の実施の形態に係る画像処理装置２０は、多角形により画像を切り抜く点で相異する。よって、その相違点を中心に第２の実施の形態について説明する。
【００６２】
画像処理装置２０は、２値化変換部１０５、最大領域決定部１４０、輪郭点抽出部１４５、間引き部１５０、平滑化部１５５、切り抜き用輪郭決定部１６０（第２の切り抜き用輪郭決定部）、記憶部１３０及び画像処理部１３５にて示された機能ブロックを有する。
【００６３】
図１０Ａに示したように元画像を２値化した画像領域に対して、最大領域決定部１４０は、白画像領域のうちの最大領域の画像以外の画像を黒画像の数値に置き換えることにより、白画像の最大領域を抽出する（図１０Ａ：最大領域）。輪郭点抽出部１４５は、白画像の最大領域の輪郭点を複数抽出する（図１０Ａ：輪郭点抽出）。なお、最大領域決定部１４０は、（画像を２値化処理するステップを実行することなく）予め２値化された画像に対して白画像の最大領域を抽出してもよい。
【００６４】
間引き部１５０は、輪郭点抽出部１４５により抽出された輪郭点が所定個になるまで輪郭点を一つ又は複数個おきに均等に省く。本実施の形態では、輪郭点を一つ置きに間引く動作を輪郭点が所与の最大間引き後点数以下になるまで繰り返す。本実施の形態では、最大間引き後点数は「１００」に設定される（図１０Ｂ：輪郭点間引き）。
【００６５】
平滑化部１５５は、間引き部１５０により間引かれた輪郭点を各輪郭点の隣接点の位置に基づき平滑化する。具体的には、輪郭点Ｐｉは、隣接点Ｐｉ−１及び隣接点Ｐｉ＋１の位置に基づき、次の式（１）に従って平滑化される。
Ｐｉ＝（Ｐｉ−１＋Ｐｉ＋Ｐｉ＋１）／３・・・（１）
【００６６】
たとえば、図１１に示したように、輪郭点Ｐ２は、隣接点Ｐ１及びＰ３の位置に基づきＰ２’に平滑化され、輪郭点Ｐ３は、隣接点Ｐ２及びＰ４の位置に基づきＰ３’に平滑化される。平滑化部１５５は、この平滑化をすべての輪郭点について行う（図１０Ｂ：輪郭点平滑化）。なお、間引き部１５０及び平滑化部１５５により実現する画像処理は省くことができる。
【００６７】
切り抜き用輪郭決定部１６０は、抽出された輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら（図１０Ｂ、１０Ｃ：点の重要度に応じて輪郭点を除去）、省かれなかった輪郭点の隣接点同士を繋いだ多角形を、切り抜き対象画像を切り抜くための輪郭として決定する（図１０Ｃ：点の重要度に応じて輪郭点を除去（最終）。
【００６８】
所定の条件に基づいて重要度の低い輪郭点を省く方法について述べる。切り抜き用輪郭決定部１６０は、輪郭点のうち、隣接する３点の輪郭点から構成される三角形の面積に対して、面積が最も小さい場合、その面積の頂点を形成する３点の輪郭点の中間に位置する輪郭点を重要度が低いと判断して省く。図１２を参照しながら具体的に説明すると、図１２のａに示した輪郭点Ｐ１〜Ｐ７について、隣接する３点の三角形の面積Ｓ１（Ｐ１，Ｐ２，Ｐ３）、Ｓ２（Ｐ２，Ｐ３，Ｐ４）、Ｓ３（Ｐ３，Ｐ４，Ｐ５）、Ｓ４（Ｐ４，Ｐ５，Ｐ６）、Ｓ５（Ｐ５，Ｐ６，Ｐ７）、Ｓ６（Ｐ６，Ｐ７，Ｐ１）、Ｓ７（Ｐ７，Ｐ１，Ｐ２）を比較すると、面積Ｓ４が最も小さい。よって、この場合には、図１２のｂに示したように、切り抜き用輪郭決定部１６０は、Ｐ５を重要度が低いと判断して省く（図１０Ｂ、図１０Ｃ：輪郭点除去、切り出し画像）。
【００６９】
なお、以上の説明では、三角形を構成する部分が、輪郭点内領域の凸部か凹部かを考慮しなかった。このように、輪郭点内領域の凹部を抑制しない場合、上記重要度の判断に重み付けはされない。つまり、たとえば、図１２のｂに示した面積Ｓ１と面積Ｓ２を直接比較して面積Ｓ１のほうが小さい場合、図１２のｃに示したように、切り抜き用輪郭決定部１６０は、Ｐ２を重要度が低いと判断して省く。
【００７０】
一方、輪郭点内領域の凹部を抑制する場合、上記重要度の判断に重み付けがされるため、結果は異なる場合がある。たとえば、凹部を抑制するために凸部の重みを１．０とし、凹部の重みを０．５とした場合、重み付け後の面積Ｓ１，Ｓ２の重み付け後の面積をＳ１’、Ｓ２’とすると、図１２のｂの状態では、面積Ｓ２のほうが小さくなる。この場合、図１２のｄに示したように、切り抜き用輪郭決定部１６０は、Ｐ３を重要度が低いと判断して省く。この結果、凹部抑制の重み付けをしなかった図１２のｃに比べ、凹部抑制の重み付けをした図１２のｄでは、輪郭点内領域の凹部が抑制された結果となっている。
【００７１】
重み付けの相異による切り出し結果の違いの一例を示す。たとえば、図１３では、重み付けをしなかった場合（凸部の重み１．０、凹部の重み１．０）、凹部を抑制する重み付けをした場合（凸部の重み１．０、凹部の重み０．５）、凹部をさらに抑制する重み付けをした場合（凸１．０、凹０．２５）、凹部を完全に抑制する重み付けをした場合（凸１．０、凹０．０）についての画像の輪郭の一例が示されている。これによれば、凹部の抑制度により異なる切り口の輪郭を形成することができる。いずれも魅力的な輪郭であり、たとえば、凸部の重みを１．０、凹部の重みを０．５とした場合の切り抜きを見ると、対象画像の犬のしっぽが少し切れるくらいの多角形により画像が切り抜かれている。このように、本実施形態では、たとえば、はさみを用いて人がザクザクと画像を切り取った感覚で対象画像を切り抜くことができる。このようにして、人の視覚に訴えるハンドメイド感覚の画像表現が可能となる。
【００７２】
［動作説明］
次に、画像処理装置２０の動作について図１４及び図１５のフローチャートを参照しながら説明する。図１４は、本実施形態に係る多角形切り抜き処理を示したフローチャート（メインルーチン）である。図１５は、図１４の多角形切り抜き処理から呼び出される輪郭点除去処理を示したフローチャート（サブルーチン）である。
【００７３】
（多角形切り抜き処理）
本処理はステップＳ１４００からスタートし、ステップＳ１４０５にて元画像を取り込む。次に、２値化変換部１０５は、ステップＳ１４１０にて元画像の各画素の輝度に対して所与の閾値と比較し、その大小に応じて元画像を２値化する。
【００７４】
次に、最大領域決定部１４０は、ステップＳ１４１５にて白画素領域の最大領域以外の領域を黒画素の数値に反転することにより、白画像の最大領域のみ残す。ついで、輪郭点抽出部１４５は、ステップＳ１４２０にて抽出された白画像の最大領域の輪郭点を複数抽出する。
【００７５】
次に、ステップＳ１４２５にて、間引き部１５０は抽出された輪郭点を一つおきに間引く。次に、間引き部１５０は、ステップＳ１４３０に進んで、間引き後の輪郭点数が最大間引き後点数（ここでは、「１００」）より大きい間、ステップＳ１４２５，Ｓ１４３０を繰り返す。間引き後の輪郭点数が最大間引き後点数以下になったら、ステップＳ１４３５に進み、平滑化部１５５は輪郭点を上記式（１）に従い平滑化する。次に、ステップＳ１４４０にて図１５の輪郭点除去処理（サーブルーチン）が呼び出される。
【００７６】
（輪郭点除去処理）
本処理はステップＳ１５００からスタートし、ステップＳ１５０５にて、切り抜き用輪郭決定部１６０は、すべての輪郭点Ｐｉに対してその隣接点Ｐｉ―１、Ｐｉ＋１の３点を結んだ三角形の面積Ｓを計算する。次に、ステップＳ１５１０に進んで輪郭点Ｐｉが凸部の頂点かを判定し、頂点である場合には、ステップＳ１５１５に進んで計算された輪郭点Ｐｉの面積Ｓを点Ｐｉのスコアとする。一方、頂点でない場合には、ステップＳ１５２０に進んで、計算された輪郭点Ｐｉの面積Ｓを重み付けした値を点Ｐｉのスコアとする。ここでの重みは０．２５である。
【００７７】
次に、ステップＳ１５２５に進んで、切り抜き用輪郭決定部１６０は、全輪郭点の中からスコアが最小となる点を削除し、ステップＳ１５３０に進み輪郭点数が最大点数（ここでは、「１０」）より大きい場合、ステップＳ１５３５に進んで、輪郭点Ｐｉ―１及びＰｉ＋１に関して三角形の面積を再計算して、ステップＳ１５１０に戻る。ステップＳ１５２５にてある点が削除されたことにより、削除した点の両隣の点（輪郭点Ｐｉ―１及びＰｉ＋１）を中心とする三角形の面積が変化するため、ステップＳ１５３５では変化した輪郭点Ｐｉ―１及びＰｉ＋１に関して、三角形の面積を再計算している。このようにして、ステップＳ１５３０にて輪郭点数が最大点数より大きい間、ステップＳ１５１０〜Ｓ１５３５の処理を繰り返す。輪郭点の個数が最大点数以下になったらステップＳ１５４０に進み、輪郭点Ｐの位置を表すベクタデータを記憶部１３０に保存し、ステップＳ１５９５に進み本処理を終了する。
【００７８】
輪郭点除去処理が終了すると再び図１４のステップＳ１４４５に戻り、画像処理部１３５は、ベクタデータに基づき定められる多角形切り抜き領域に、切り抜き対象画像をオーバラップし、ステップＳ１４９５に進んで本処理を終了する。
【００７９】
以上に説明したように、本実施形態によれば、白画素領域の輪郭を示す複数の離隔点Ｐのうち、所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を対象側の画像を切り抜くための輪郭として決定する。重要度の低い輪郭点Ｐは省かれているため、重要な輪郭点のみを頂点とする多角形の領域形状に輪郭を整形することができる。より具体的には、面積の小さい三角形から順に削除していくことで、もともとの２値化した画像の切り抜き対象側の形状をなるべく保ちつつ、その形状を少ない点で構成される多角形にすることができる。これにより、たとえば、はさみを用いて人がザクザクと画像を切り取った大胆で美しい輪郭に切り抜き対象側の画像を切り抜くことができる。
【００８０】
なお、ステップＳ１４２５、Ｓ１４３０の間引き部１５０の動作は省くことができる。同様に、ステップＳ１４３５の平滑部１５５も省くことができる。また、凹部を抑制しない場合には、切り抜き用輪郭決定部１６０のステップＳ１５１０〜Ｓ１５２０の動作は行わない。
【００８１】
また、ステップＳ１５３０にて、輪郭点除去の終了条件として輪郭点数が、例えば１０点と設定しているが、別の終了判定方法も考えられる。例えば、すべての輪郭点（頂点）角の絶対値がある角度以下（例えば１５０度）になったら終了するようにしてもよい。
【００８２】
また、輪郭点のうち、隣接する３点以上の輪郭点から構成される多角形の面積が最も小さくなる多角形を検出し、検出された多角形を構成する３点以上の輪郭点の中間に位置する輪郭点を重要度が低いと判断して省いてもよい。たとえば、４点の輪郭点から構成される四角形の面積が最も小さくなるものを検出し、検出された四角形の４点中の中間に位置する２点の輪郭点を省くようにしてもよい。
【００８３】
以上に説明した第１の実施の形態に係る円形切り抜き及び第２の実施の形態に係る多角形切り抜きによれば、選択された画像領域の境界を視覚的に美しい幾何学な輪郭に整形することができる。ここで、「画像の領域境界を整形する」場合、前提としてあくまで整形前の形（すなわち、２値化された状態）がある。すなわち、各実施の形態では、２値化された画像の切り抜き対象側の情報をなるべく保ちつつ、その上で境界形状をきれいに整形することができる。
【００８４】
＜第３の実施の形態＞
第３の実施の形態では、円形切り抜き領域と多角形切り抜き領域とのいずれかから、画像を切り抜くための輪郭を選択する画像処理システムについて説明する。図１６に示したように、画像処理システムＳｙｓは、第１の実施の形態の画像処理装置１０及び第２の実施の形態の画像処理装置２０に加えて選択部１６５を有する。
【００８５】
選択部１６５は、画像処理装置１０により決定された円形切り抜き領域（第１の輪郭）と画像処理装置２０により決定された多角形切り抜き領域（第２の輪郭）とのいずれかを切り抜き対象側の画像を切り抜くための輪郭として選択する。
【００８６】
選択条件の一例としては次の（１）〜（５）が挙げられる。
（１）ランダムに選択する。
（２）円形切り抜き領域及び多角形切り抜き領域の総面積が大きい方の結果を選択する。
（３）２値化領域（あるいは、円形の場合には穴埋め後の画像、多角形の場合には最大領域を選択後の画像）と、結果として得られた円形切り抜き領域及び多角形切り抜き領域との誤差が少ない方の結果を選択する。
（４）まず、多角形切り抜きを適当な凹部抑制率で実施し、凹部の頂点が一定数以上の場合（あるいは、鋭角な凹部の頂点が存在する場合等）には円形切り抜き領域を選択し、そうでなければ多角形切り抜き領域を選択する。
（５）２値化の結果、白画像領域が複数の小さい領域で構成される際には、円形切り抜き領域を選択し、そうでなければ多角形切り抜き領域を選択する。
【００８７】
以上に説明した第１〜第３の実施の形態によれば、円形切り抜きと多角形切り抜きの好ましい方を自動選択することができる。この結果、ある規準に基づいて選択された画像中の領域を、距離変換を用いた円形当てはめにより、複数の円形で構成される領域形状に整形することができる。また、ある規準に基づいて選択された画像中の領域を、領域輪郭を構成する点列における各点の重要度に基づき点を間引くことにより、多角形の領域形状に整形することができる。
【００８８】
これによれば、画像データを長方形ではないデータとして表現することが可能となる。特に、画像中の一部の領域を切り出したことで、切り出した部分を強調させた表現が可能となるため、見た目に楽しく、人の心を惹きつける画像表現が可能となる。
【００８９】
領域選択基準として画像中の注目領域を選択する技術（例えば、ビジュアル  アテンション）の技術を用いることができる。この技術を用いて元画像から注目領域を抽出した画像を生成する。そして、生成された画像を、所定の基準に基づいて選択された画像領域として２値化、距離変換、骨格抽出、切り抜き用輪郭決定等の上記画像処理を行う。これにより、画像中の注目領域をさらに強調させた表現を可能にできる。
【００９０】
上記各実施の形態により生成された切り抜き画像の利用先としては、次のようなものが考えられる。たとえば、図１７に示したように、複数の画像を一覧表示させる際のサムネイル表示の代用としての利用方法がある。
【００９１】
たとえば、従来、オークションサイトに出品された画像は、長方形の枠内に出品物が収まる形で表されている。そのため、画像は、表示機器においてもそのままの長方形、あるいはそれをアフィン変換や射影変換させた四角形として表現される。しかしながら、データ自体は、たまたま長方形の画像情報として保存されているが、保存画像中の目を引く物体は本来長方形ではなく不定な形状をしていることがほとんどである。よって、画像を常に四角形として扱わなければならないとすると、デザイン上の自由度が少なくおもしろみに欠けてしまう。
【００９２】
また、長方形のサムネイル画像では、画像を隙間なく並べると背景が完全に隠れてしまい、また隙間を開けても格子状の隙間からのみ背景が見えるだけである。しかしながら、図１７の切り抜き画像によれば、画像が長方形でなくなることで単に画像を均一に並べても画像間に隙間ができるため、背景をデザインの一部として有効に利用することができる。
【００９３】
また、複数の長方形の画像を不均一に並べようとすると、無駄な隙間があいてしまうか、あるいは画像の一部が別の画像と重なってしまうことになる。しかし各実施の形態の画像処理方法を用いた画像の切り出しにより、無駄な隙間を空けずにかつ不均一な見た目におもしろみのある方法で画像を並べることも可能となる。
【００９４】
また、画像をスクラップブック風に表現する際にも利用できる。紙のスクラップブックを作成する際に写真をハサミで切り抜くようなことは習慣的に行われているため、これを模した方法を実行するアプリケーションをコンピュータに搭載することにより、コンピュータ上でのスクラップブックを実現することができる。
【００９５】
従来から行われている、コンピュータ上でのスクラップブックを模した表現では、あらかじめ用意された形の枠に従い写真を当てはめる技術が用いられている。しかしながら、本実施形態の切り抜き画像では、画像に写っているものの内容を考慮した切り抜き方法で画像を切り抜いた表現が可能となる。
【００９６】
また、複数の切り抜き画像をもちいて一枚のコラージュ画像を生成する用途に用いることもできる。また、切り抜いた画像を、現実世界におけるステッカーのように用いることもできる。
【００９７】
切り抜き対象となった画像そのものを表現する場ではなく、別のものを表示している場において、切り抜き画像をワンポイントのイラストやアイコンのようにして使うことも考えられる。
【００９８】
各実施形態にて得られた領域形状は、ベクタデータとして、例えば以下のような形式で情報を記憶部１３０に保存することができる。円形切り抜きデータは以下のように表現する。
（１）円形切り抜きのデータを表現するために、「楕円」型を定義する。円を楕円として表現するのは、画像の縦横方向の伸縮にも柔軟に対応するためである。楕円のパラメータとして、中心座標ｃｘ、ｃｙおよび水平及び垂直方向の半径ｒｘ、ｒｙを保持する。これらの各値は、円形切り抜き実行時の画像の幅、高さに対する相対値、つまり０．０〜１．０の値として表現される。
（２）円形切り抜きデータは、円形当てはめで使用した円を上記のように中心座標及び水平及び垂直方向の半径にて表現した複数の楕円と、楕円の個数で表現することができる。
【００９９】
多角形切り抜きデータは以下のように表現する。
（１）多角形切り抜きデータを表現するために、「点」型を定義する。点のパラメータとして、その点の位置座標ｘ、ｙを保持する。これらの各値は、多角形切り抜き実施時の画像の幅、高さに対する相対値、つまり０．０〜１．０の値として表現する。
（２）多角形切り抜きデータは、多角形の頂点を構成する複数の点と、点の個数で表現することができる。
【０１００】
以上のように、上記画商処理により得られた領域形状データをベクタデータとして保存することで、適用先の画像サイズに影響を受けずに円形切り抜き領域及び多角形切り抜き領域のデータを保存することができる。ベクタデータであるために、領域形状とその適用先画像を独立に管理でき、また、画像の拡大、縮小の影響を受けない形で保存できる。
【０１０１】
上記実施の形態において、各部の動作はお互いに関連しており、互いの関連を考慮しながら、一連の動作として置き換えることができる。これにより、画像処理装置の実施の形態を、画像処理方法の実施の形態および画像処理装置の機能をコンピュータに実現させるためのプログラムの実施の形態とすることができる。
【０１０２】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１０３】
たとえば、本発明により切り抜きされた画像は、そのまま使用してもよいが、切り抜きの結果、領域面積が元の四角形より小さくなっているため、元の四角形相当の大きさまで拡大して使用してもよい。このような使い方の場合、切り抜きによって選択された領域を強調表示するような効果が得られる。
【０１０４】
また、本発明では、画像を円形に切り抜く場合、画像に対して外側に向かう円の集まりで切り抜くだけでなく、画像に対して内側に向かう円と外側に向かう円とを混在させた集まりで切り抜くようにしてもよい。。たとえば、図６の極大点Ｐ１を中心とした円を画像に対して内側に向かう円とすると、極大点Ｐ２を中心とした円をえぐる輪郭を形成することができる。ただし、画像に対して内側に向かう円は、切り抜き対象側の画像をえぐる方向に向かって切り抜く。よって、たとえば、切り抜き対象側の画像の中央に位置する点を中心とした円や所定半径以上の円には、画像に対して内側に向かう円は適用しない等の限定を設けると好ましい。
【０１０５】
また、本発明では、画像を多角形に切り抜く場合、輪郭点と輪郭点とを直線で結ぶだけでなく、曲線で結んでもよい。また、本発明で処理された結果の多角形の頂点（輪郭点）を丸める加工を行ってもよい。
【図面の簡単な説明】
【０１０６】
【図１】第１の実施の形態にかかる画像処理装置の概略構成図である。
【図２Ａ】同実施形態にかかる画像処理中の画像状態を示した図である。
【図２Ｂ】図２Ａに続く画像状態を示した図である。
【図３】同実施形態にかかる距離変換を説明するための図である。
【図４】同実施形態にかかる極大点抽出を説明するための図である。
【図５】同実施形態にかかる円描画を説明するための図である。
【図６】画像領域を左上から順に走査しながら円描画する動作を説明するための図である。
【図７】同実施の形態にかかる円形切り抜き処理を示したフローチャートである。
【図８】同実施の形態にかかる円描画処理を示したフローチャートである。
【図９】第２の実施の形態にかかる画像処理装置の概略構成図である。
【図１０Ａ】同実施形態にかかる画像処理中の画像状態を示した図である。
【図１０Ｂ】図１０Ａに続く画像状態を示した図である。
【図１０Ｃ】図１０Ｂに続く画像状態を示した図である。
【図１１】同実施形態にかかる平滑化を説明するための図である。
【図１２】同実施形態にかかる輪郭点除去を説明するための図である。
【図１３】同実施形態にかかる重み付けに応じた画像状態を示した図である。
【図１４】同実施の形態にかかる多角形切り抜き処理を示したフローチャートである。
【図１５】同実施の形態にかかる輪郭点除去処理を示したフローチャートである。
【図１６】第３の実施の形態にかかる画像処理システムの概略構成図である。
【図１７】各実施の形態にかかる切り抜き画像のサムネイル表示の一例である。
【符号の説明】
【０１０７】
１０、２０  画像処理装置
１０５    ２値化変換部
１１０    穴埋め処理部
１１５    距離変換部
１２０    極大点抽出部
１２５    切り抜き用輪郭決定部（第１の切り抜き用輪郭決定部）
１３０    記憶部
１３５    画像処理部
１４０    最大領域決定部
１４５    輪郭点抽出部
１５０    間引き部
１５５    平滑化部
１６０    切り抜き用輪郭決定部（第２の切り抜き用輪郭決定部）
１６５    選択部
【図１】
2010061500.tif 000003
【図３】
2010061500.tif 000004
【図４】
2010061500.tif 000005
【図５】
2010061500.tif 000006
【図６】
2010061500.tif 000007
【図７】
2010061500.tif 000008
【図８】
2010061500.tif 000009
【図９】
2010061500.tif 000010
【図１１】
2010061500.tif 000011
【図１２】
2010061500.tif 000012
【図１３】
2010061500.tif 000013
【図１４】
2010061500.tif 000014
【図１５】
2010061500.tif 000015
【図１６】
2010061500.tif 000016
【図１７】
2010061500.tif 000017
【図２Ａ】
2010061500.tif 000018
【図２Ｂ】
2010061500.tif 000019
【図１０Ａ】
2010061500.tif 000020
【図１０Ｂ】
2010061500.tif 000021
【図１０Ｃ】
2010061500.tif 000022
【手続補正書】
【提出日】平成21年12月18日(2009.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換ステップと、
前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出ステップと、
前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定ステップと、を含む画像処理方法。
【請求項２】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の点のうち、既に描画した楕円又は真円内に位置する点を重要度が低いと判断して省く請求項１に記載された画像処理方法。
【請求項３】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の点のうち、各点の画素の距離値が所与の閾値以下の点を重要度が低いと判断して省く請求項１又は請求項２のいずれかに記載された画像処理方法。
【請求項４】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の点のうち、前記選択された画像領域を左上から順に走査して検出された点の順に各点の画素の距離値に応じた楕円又は真円を描画する請求項１〜３のいずれかに記載された画像処理方法。
【請求項５】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の点のうち、前記距離値の大きい画素の点の順にその距離値に応じた楕円又は真円を所定個描画する請求項１〜３のいずれかに記載された画像処理方法。
【請求項６】
元画像から所定の基準に基づいて選択された画像領域を画像の切り抜き対象側の第１の画素領域とバックグラウンド側の第２の画素領域とに２値化する２値化ステップと、
前記第１の画素領域に囲まれた第２の画素を前記第１の画素の数値に変換することにより、第１の画素領域の穴を埋める穴埋めステップと、をさらに含み、
前記距離変換ステップは、前記穴埋めステップにより穴埋めされた第１の画素領域の各第１の画素から前記第２の画素領域までの距離値を求める請求項１〜５のいずれかに記載された画像処理方法。
【請求項７】
２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する最大画像抽出ステップと、
前記抽出された第１の画素の最大領域の輪郭点を複数抽出する輪郭点抽出ステップと、
前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定ステップと、を含む画像処理方法。
【請求項８】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の輪郭点のうち、隣接する３点以上の輪郭点から構成される多角形の面積が最も小さくなる多角形を検出し、検出された多角形を構成する３点以上の輪郭点の中間に位置する輪郭点を重要度が低いと判断して省く請求項７に記載された画像処理方法。
【請求項９】
前記切り抜き用輪郭決定ステップは、
前記抽出された複数の輪郭点のうち、隣接する３点の輪郭点から構成される三角形の面積に対して、当該三角形が前記複数の輪郭点の隣接点同士を繋いだ多角形の凸部又は凹部のいずれを形成するかにより異なる重み付けをし、重み付け後の面積が最も小さくなる三角形を検出し、検出された三角形を構成する３点の輪郭点の中間に位置する輪郭点を重要度が低いと判断して省く請求項８に記載された画像処理方法。
【請求項１０】
前記切り抜き用輪郭決定ステップは、
前記重要度が低いと判断された輪郭点を省く処理を繰り返した結果、輪郭点の数が所定個以下になったら終了する請求項７〜９のいずれかに記載された画像処理方法。
【請求項１１】
前記輪郭点抽出ステップにより抽出された複数の輪郭点を一つ又は複数個おきに省く間引ステップをさらに含み、
前記切り抜き用輪郭決定ステップは、前記間引ステップ後の輪郭点に対して実行される請求項７〜１０のいずれかに記載された画像処理方法。
【請求項１２】
前記輪郭点抽出ステップにより抽出された輪郭点を各輪郭点の隣接点の位置に応じて平滑化する平滑化ステップをさらに含み、
前記切り抜き用輪郭決定ステップは、前記平滑化ステップ後の輪郭点に対して実行される請求項７〜１１のいずれかに記載された画像処理方法。
【請求項１３】
前記選択された画像領域は、所定の基準に基づき画像中の注目領域を抽出する技術を用いて元画像から抽出される請求項１〜１２のいずれかに記載された画像処理方法。
【請求項１４】
前記画像を切り抜くための輪郭として決定した複数の楕円又は真円の外縁又は多角形に関するデータをベクタデータとして記憶部に記憶する請求項１〜１３のいずれかに記載された画像処理方法。
【請求項１５】
２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換部と、
前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出部と、
前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する切り抜き用輪郭決定部と、を備える画像処理装置。
【請求項１６】
元画像から所定の基準に基づいて選択された画像領域を画像の切り抜き対象側の第１の画素領域とバックグラウンド側の第２の画素領域とに２値化する２値化変換部と、
前記第１の画素領域に囲まれた第２の画素を前記第１の画素の数値に変換することにより、第１の画素領域の穴を埋める穴埋め処理部と、をさらに備える請求項１５に記載された画像処理装置。
【請求項１７】
２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める処理と、
前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する処理と、
前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する処理と、をコンピュータに実現させるためのプログラム。
【請求項１８】
２値化された画像の切り抜き対象側の第１の画素領域からバックグラウンド側の第２の画素領域までの距離値を求める距離変換部と、
前記各第１の画素の距離値に応じて第１の画素領域の骨格を示す複数の点を抽出する骨格抽出部と、
前記抽出された複数の点のうち、所定の条件に基づいて重要度が低いと判断される点を省きながら、省かれなかった点の位置を中心として点毎の画素の距離値に応じた楕円又は真円を描画し、描画した複数の楕円又は真円の外縁を前記切り抜き対象側の画像を切り抜くための輪郭として決定する第１の切り抜き用輪郭決定部と、を有し、
前記２値化された画像の切り抜き対象側の第１の画素領域のうち、最大領域を抽出する最大画像抽出部と、
前記抽出された第１の画素の最大領域の輪郭点を複数抽出する輪郭点抽出部と、
前記抽出された複数の輪郭点のうち所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を前記切り抜き対象側の画像を切り抜くための輪郭として決定する第２の切り抜き用輪郭決定部と、を有し、さらに、
前記第１の切り抜き用輪郭決定部により決定された第１の輪郭と前記第２の切り抜き用輪郭決定部により決定された第２の輪郭とのいずれかを選択する選択部を備えた画像処理システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
以上に説明したように、本実施形態によれば、白画素領域の輪郭を示す複数の輪郭点Ｐのうち、所定の条件に基づいて重要度の低い輪郭点を省きながら、省かれなかった輪郭点の隣接点同士を繋いだ多角形を対象側の画像を切り抜くための輪郭として決定する。重要度の低い輪郭点Ｐは省かれているため、重要な輪郭点のみを頂点とする多角形の領域形状に輪郭を整形することができる。より具体的には、面積の小さい三角形から順に削除していくことで、もともとの２値化した画像の切り抜き対象側の形状をなるべく保ちつつ、その形状を少ない点で構成される多角形にすることができる。これにより、たとえば、はさみを用いて人がザクザクと画像を切り取った大胆で美しい輪郭に切り抜き対象側の画像を切り抜くことができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
以上のように、上記画像処理により得られた領域形状データをベクタデータとして保存することで、適用先の画像サイズに影響を受けずに円形切り抜き領域及び多角形切り抜き領域のデータを保存することができる。ベクタデータであるために、領域形状とその適用先画像を独立に管理でき、また、画像の拡大、縮小の影響を受けない形で保存できる。