(57)【要約】【課題】  画像中の対象物の輪郭抽出処理の負荷を軽減し、例えばカメラ付きの携帯形電子機器によって撮影した画像中の輪郭抽出を確実かつ簡便に行えるようにする。【解決手段】  処理対象の画像を選択し（ステップＳ１）、その中の対象物の形状とサイズに合わせてアルファマップを選択する（ステップＳ２）。アルファマップの輪郭に当たるガイドフレームに沿って配置したブロックごとに部分的輪郭抽出を行い（ステップＳ５、Ｓ６）、輪郭抽出ができなかったブロックをガイドフレームの内側に移動させて（ステップＳ７）ガイドフレームを更新し、所定の繰り返し回数に達するまで（ステップＳ９）その更新を繰り返す。【選択図】  図２
2005115596.tif 000002
【特許請求の範囲】
【請求項１】
操作手段及び画像の表示手段を備えた電子機器による画像の輪郭抽出方法において、
画像を前記表示手段に表示し、
前記操作手段を用いた操作により、輪郭抽出用のガイドフレームを予め保持した候補の中から選択して、前記表示された画像中の対象物の部分を囲むようにして配置し、
前記ガイドフレームの輪郭に沿って、前記ガイドフレームを覆うように複数の輪郭抽出用のブロックを配置し、
前記複数のブロックごとに前記対象物の部分的な輪郭抽出を行い、
前記対象物の輪郭抽出が出来なかったブロックを前記ガイドフレームの内側に向かって移動させ、
前記ブロックの配置、前記輪郭抽出及び前記ブロックの移動を反復することにより、前記対象物の全体の輪郭を抽出する
ことを特徴とする画像の輪郭抽出方法。
【請求項２】
前記反復は予め定めた回数だけ行うことを特徴とする請求項1に記載の画像の輪郭抽出方法。
【請求項３】
前記ブロックの配置を反復する場合に前記ブロックの個数を減ずることを特徴とする請求項1に記載の画像の輪郭抽出方法。
【請求項４】
前記抽出した全体の輪郭を前記画像に重ねて前記表示手段によりさらに表示し、前記ガイドフレームを選択し配置する操作並びに前記ブロックの配置、前記輪郭抽出、前記ブロックの移動及びその反復をさらに繰り返すことを特徴とする請求項1に記載の画像の輪郭抽出方法。
【請求項５】
画像の表示手段と、
輪郭抽出用のガイドフレームの候補を予め保持する手段と、
前記候補の中からガイドフレームを選択する選択手段と、
前記ガイドフレームに沿って前記ガイドフレームを覆うように複数の輪郭抽出用のブロックを配置し、前記複数のブロックごとに前記対象物の輪郭抽出を行うと共に、前記対象物の輪郭が抽出されなかったブロックを前記ガイドフレームの内側に向かって移動させ、かつ、前記ブロックの配置、前記部分的な輪郭抽出及び前記ブロックの移動を反復することにより前記対象物の全体の輪郭を抽出する処理手段とを
備えたことを特徴とする電子機器。
【請求項６】
前記反復は予め定めた回数だけ行うことを特徴とする請求項４に記載の電子機器。
【請求項７】
前記処理手段は、前記ブロックの配置を反復する場合に前記ブロックの個数を減ずることを特徴とする請求項５に記載の電子機器。
【請求項８】
前記表示手段は、前記抽出された全体の輪郭位置を示す情報を前記画像に重ねて表示し、
前記操作手段は、前記抽出された全体の輪郭を重ねて表示された画像について、前記ガイドフレームを選択し配置する操作を繰り返すことができ、
前記処理手段は、前記抽出された全体の輪郭を重ねて表示された画像について、前記ブロックの配置、前記輪郭抽出並びに前記ブロックの移動及びその反復を繰り返すことができることを特徴とする請求項５に記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中の対象物の部分を取り出し又は中抜きして合成操作を可能とするための画像の輪郭抽出方法及び当該方法を使用した電子機器に関する。
【背景技術】
【０００２】
画像から対象物の領域を抽出する技術は、例えば、背景を別の画像に置き換えたり、逆にその領域を中抜きして別の画像をはめ込んだりする加工に有用である。その場合、加工画像の品質を高めるには、対象物の領域をできるだけ正しく求める必要がある。
【０００３】
従来の画像の輪郭抽出方法の１つとして、自己相似写像を用いる抽出方法を高速化するという発明がなされている（例えば、特許文献１参照。）。この特許文献１に開示された発明は、対象物の概略形状を２値画像で表したシェイプデータ（アルファマップともいう。）の輪郭部分（ガイドフレーム）に探索基準ブロックを設定する第１のステップと、各探索基準ブロック毎に画像データの図柄が相似であり、かつ、ブロックサイズがそれよりも大きい相似ブロックを同じ画像の中から見つける第２のステップと、各探索基準ブロック内の画像を２値化したデータを各々対応の相似ブロックのシェイプデータと置き換える第３のステップとからなり、第３のステップを所定の回数繰り返すことによりガイドフレームを前記物体の輪郭線に一致させる輪郭抽出処理において、輪郭抽出処理を反復して行い、その反復の初めには画像データとアルファマップと探索基準ブロックは縮小して輪郭位置補正処理を行うようにするというものである。
【０００４】
しかし、例えば携帯型電子機器のように電源の制約が伴う応用においては、よりシンプルな方法でアルファマップ又はガイドフレームを更新できることが望ましく、上記の従来技術のみではそのような要請に十分応えられないという問題があった。
【特許文献１】特開２００１−１８８９１０号公報  （第２、４、６ページ、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の画像の輪郭抽出方法では、特に携帯型電子機器への応用に適するようにシンプルな方法でアルファマップ又はガイドフレームを更新することができないという問題があった。
【０００６】
本発明は上記問題を解決するためになされたもので、対象物の形状及びサイズに合わせて予めアルファマップを選択し、その輪郭に当たるガイドフレームを順次狭めていくというシンプルな方法に基づいて更新していくことのできる画像の輪郭抽出方法及び当該方法を使用した電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像の輪郭抽出方法は、操作手段及び画像の表示手段を備えた電子機器による画像の輪郭抽出方法において、画像を前記表示手段に表示し、前記操作手段を用いた操作により、輪郭抽出用のガイドフレームを予め保持した候補の中から選択して、前記表示された画像中の対象物の部分を囲むようにして配置し、前記ガイドフレームの輪郭に沿って、前記ガイドフレームを覆うように複数の輪郭抽出用のブロックを配置し、前記複数のブロックごとに前記対象物の部分的な輪郭抽出を行い、前記対象物の輪郭抽出が出来なかったブロックを前記ガイドフレームの内側に向かって移動させ、前記ブロックの配置、前記輪郭抽出及び前記ブロックの移動を反復することにより、前記対象物の全体の輪郭を抽出することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、対象物の形状及びサイズに合わせて予めアルファマップを選択することにより、確実かつ迅速に輪郭抽出を行うことができる。また、ブロックごとの部分的な輪郭抽出ができなかったブロックをガイドフレームの内側に向かって移動させていくことにより、ガイドフレームをシンプルな方法で更新することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施例を説明する。
【実施例１】
【００１０】
以下、図１を参照して、本発明の実施例１を説明する。実施例１は、本発明を画像処理機能を備えた携帯無線通信装置に適用したものである。図１は、本発明の実施例１に係る携帯無線通信装置の構成を表したブロック図である。図中のアンテナ１、無線部２及び変復調部３は、一般的な携帯無線通信装置の構成に含まれるものと同じである。
【００１１】
制御処理部４は、携帯無線通信装置の各部の制御及び輪郭抽出処理を行うもので、そのうち本発明に直接関連する部分を内部構成として図示している。まず画像メモリ制御部４１は、外部メモリ用ドライブ５に装填された外部メモリ又はカメラ６から画像情報を取り込み、画像メモリ７への書き込み又は画像メモリ７からの読み出しを制御する。次に操作制御部４２は、操作部８における操作を受けて入力された情報を他の各部に伝達する。また表示制御部４３は、画像やメッセージを表示部９に表示する。
【００１２】
処理部４４は、輪郭抽出処理を実行すると共に、変復調部３、画像メモリ制御部４１、操作制御部４２及び表示制御部４３間のインターフェースとして機能する。外部からダウンロードされる画像情報は、アンテナ１及び無線部２で受信され、変復調部３で復調された後、処理部４４を経て画像メモリ制御部４１から画像メモリ７に書き込まれる。
【００１３】
また、表示制御部４３は処理部４４の指示に基づいて、画面上にアルファマップ（画面上で輪郭抽出の対象物を囲む閉領域）又はその輪郭に当たるガイドフレームを表示することができる。複数の形状及びサイズからなるアルファマップがデフォルトの設定により、又はアンテナ１、無線部２、変復調部３、処理部４４及び画像メモリ制御部４１を経てダウンロードされることにより、画像メモリ７に書き込まれているものとする。なお、携帯無線通信装置のその他の構成（例えば受話器、送話器）は、本発明と直接関係がないので、図示を省略している。
【００１４】
次に図２乃至図５を参照して、本発明の実施例１に係る携帯無線通信装置の動作について説明する。図２は、本発明の実施例１に係る携帯無線通信装置の動作を表すフローチャートである。処理を開始する（“ＳＴＡＲＴ”）と、処理部４４は画像メモリ７に書き込まれたものの中から輪郭抽出により加工する画像の候補を選び、表示制御部４３を介して表示部９に表示する。すると、表示された画像の候補の中から、１の画像が操作部８における操作により選択される（ステップＳ１）。
【００１５】
処理部４４は、次に画像メモリ７に書き込まれたものの中からアルファマップの候補を選び、表示制御部４３を介して表示部９に表示する。すると、表示されたアルファマップの候補の中から、１のアルファマップが操作部８における操作により選択される（ステップＳ２）。
【００１６】
この選択の一例を図3に示す。図3は、アルファマップの輪郭に当たるガイドフレームの選択の一例を説明する図である。図３（ａ）は円形のガイドフレーム、（ｂ）は楕円形のガイドフレーム、（ｃ）はおむずび形のガイドフレームである。また（ｄ）は加工するために選択された1の画像であって、このうちのカエルの部分が輪郭抽出の対象物であるものとする。また（ｅ）は同じく加工するために選択された他の画像であって、このうちの顔の部分が輪郭抽出の対象物であるものとする。そうすると、（ｄ）の画像の輪郭抽出のためには（ｂ）のガイドフレームが、（ｅ）の画像の輪郭抽出のためには（ｃ）のガイドフレームが、それぞれ適切であると判断される。
【００１７】
処理部４４は、ステップ１において選択された画像にステップ２において選択された1のガイドフレームを重ねて、表示制御部４３を介して表示部９に表示する。このときガイドフレームのデフォルトの表示位置は例えば画面の中央部分になっており、これを対象物を取り囲む位置へ移動する操作が操作部８を用いて行われる（ステップＳ３）。例えば図３に示した例においては、（ｃ）のガイドフレームが（ｄ）の画像のうちカエルの部分を取り囲むように、（ｂ）のガイドフレームが（ｅ）の画像のうち顔の部分を取り囲むようにそれぞれガイドフレームを移動する操作が行われる。
【００１８】
次に処理部４４は、ガイドフレームの更新処理の実行回数のカウンタNを初期化する（ステップＳ４）。その上で、ガイドフレームに沿ってこれを覆うように部分的輪郭抽出のためのブロックを配置する（ステップＳ５）。この配置の一例を図４に示す。図４は、ガイドフレームに沿ってこれを覆うようにブロックを配置した一例を説明する図である。図中、９１はステップＳ１において選択された1の画像（輪郭抽出前の原画像）、９２はステップＳ２において選択されたガイドフレームである。また、９３乃至９６はガイドフレーム９２の全周をカバーするように配置されたブロックの一部である。なお、配置される他のブロックは、図が煩雑になるのを避けるため図示を省略している。
【００１９】
処理部４４は、続いて、ブロックごとの部分的な輪郭抽出の処理を行う（ステップＳ６）。この処理は、例えば特許文献１に開示された公知技術を用いて行うことができるので、その詳細の説明は省略する。図４に示した例の場合は、ブロック９３乃至９５においては部分的な輪郭抽出ができず、ブロック９６においては部分的な輪郭抽出ができる。図示しない他のブロックについても同様の処理を行う。次に処理部４４は、部分的な輪郭抽出ができなかったブロックを、ガイドフレーム９２の内側に向かって移動させる（ステップＳ７）。
【００２０】
そのようなブロックの移動について、図５を参照して説明する。図５は、ブロックの移動の一例を説明する図である。図中、９１乃至９６は図４に示したものと同じである。また、９３ａ、９４ａ及び９５ａは、それぞれブロック９３、９４及び９５が移動したものである。移動の方向は、例えば楕円であるガイドフレーム９２の場合にはその中心に向かい、中心が定義できない形状のガイドフレームの場合はその重心に向かうことが考えられるが、ガイドフレームの形状に合わせて適宜設計すればよい。移動の幅は、例えばブロックが正方形である場合にはその一辺の長さとすることが考えられるが、ブロックの形状に合わせて適宜設計すればよい。なお、図示しない他のブロックについても同様の処理を行う。
【００２１】
その後処理部４４は、ガイドフレームの更新処理の実行回数のカウンタNを更新する（ステップＳ８）。さらに処理部４４は、当該実行回数が所定の上限値に達したか否かを確認する（ステップＳ９）。その結果未達であればステップＳ６に戻って（ステップＳ９の“ＹＥＳ”）、内側に移動したブロックごとに部分的な輪郭抽出の処理が繰り返される。
【００２２】
所定の上限値を例えば３と仮定すると、図５に示した例ではカウンタNの値は１つ更新されて２になった状態であるから、ガイドフレーム９２の内側に向かって移動したブロック９３ａ、９４ａ及び９５ａにおいて、ブロックごとの部分的輪郭抽出の処理が改めて行われる（ステップＳ６の繰り返し）。そうすると、これらのブロックはそのすべてについて部分的に輪郭が抽出されるから、ガイドフレーム９２の内側に向かってさらに移動することはない。なお、図示しない他の内側に移動したブロックにおいて部分的に輪郭が抽出されない場合は、処理部４４は当該ブロックを再度ガイドフレーム９２の内側に向かって移動させる（ステップＳ７の繰り返し）。この一連の処理が、カウンタNの値が所定の上限値３に達するまで繰り返される。
【００２３】
カウンタNの値が所定の上限値３に達するとガイドフレームの更新処理は終了し（ステップＳ９の“ＮＯ”）、抽出した輪郭がもとの画像に重ねて表示部９に表示される（ステップＳ１０）。また、その輪郭の内側の部分を取り出し又は中抜きした画像が、画像メモリ制御部４１を経て画像メモリ７に書き込まれる（ステップＳ１１）。
【００２４】
図５に例示した人の顔の頭髪部分については、部分的に輪郭抽出がされたブロック９３ａ、９４ａ、９５ａ及び９６を結ぶ輪郭が抽出されたことになる。なお、ブロックのサイズを小さくするほど分解能が高まり輪郭抽出の精度が向上するが、同時に処理負荷が増大するので、その間のトレードオフとして適宜設計すればよい。また、ガイドフレームの更新に伴いその全周の長さが徐々に短くなるので、例えばブロックの数をその長さに比例して減らしていくようにすることが適切である。
【００２５】
本発明の実施例１によれば、対象物の形状に合わせて予め選択したガイドフレームを徐々に縮めていくというシンプルな方法を用いて輪郭抽出を行うことができる。
【実施例２】
【００２６】
以下、図６を参照して、本発明の実施例２について説明する。実施例２は、実施例１と同様に本発明を携帯無線通信装置に適用したもので、その構成を表すブロック図は図１と同じである。図６は、本発明の実施例２に係る携帯無線通信装置の動作を表すフローチャートである。
【００２７】
処理の開始（“ＳＴＡＲＴ”）からステップＳ１０までの動作は実施例1と同じであるから、その説明は省略する。抽出した輪郭がもとの画像に重ねて表示部９に表示されると、その輪郭が適切であるか否かの判断が操作部８の操作によって入力される（ステップＳ２０）。輪郭が適切でないと判断された場合（ステップＳ２０の“ＮＯ”）には、ステップＳ２の処理に戻って改めてガイドフレームの選択がされる。このとき、直前に輪郭抽出した部分の輪郭位置を表す情報が表示されてもよい。このような情報を表示することで、抽出処理をやり直す際のガイドフレームの配置を決定するための参考にすることができ、輪郭抽出処理の精度を向上させることができる。
【００２８】
そして、ステップＳ１０までの動作が繰り返され、輪郭が適切であると判断された場合（ステップＳ２０の“ＹＥＳ”）は、実施例１と同じステップＳ１１に進む。
【００２９】
本発明の実施例２によれば、抽出された輪郭の適否を判断した上、不十分ならば改めて輪郭抽出の処理をやり直すことができるので、抽出の精度を一層高めることができる。
【００３０】
本発明をカメラ付き携帯無線通信装置により撮影した画像の輪郭抽出に適用した例を、図７及び図８に示す。図７はアルファマップ（その輪郭であるガイドフレームの内側を塗りつぶして２値化した画像）の例であり、（ａ）は円形、（ｂ）は頭髪の部分を除いた人の顔、（ｃ）は人物のペアに対応する。サイズは、それぞれ大、中、小の３種類が用意されている。
【００３１】
また、図８は、図７（ｂ）のアルファマップ（ガイドフレーム）を用いて輪郭抽出を行った場合の例である。（ａ）は撮影されたもとの画像、（ｂ）は頭髪の部分を除いた人の顔を取り出した画像、（ｃ）は逆に顔の部分を中抜きした画像である。このように、対象物の形状に合わせて適切なアルファマップ（ガイドフレーム）を選択することにより、簡便かつ確実に輪郭抽出を行えることが明らかである。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施例１に係る携帯無線通信装置のブロック図。
【図２】本発明の実施例１に係るフローチャート。
【図３】ガイドフレームの選択の一例を説明する図。
【図４】ブロック配置の一例を説明する図。
【図５】ブロックの移動の一例を説明する図。
【図６】本発明の実施例２に係るフローチャート。
【図７】本発明を適用した携帯無線通信装置のアルファマップの例を示す図。
【図８】本発明を適用した携帯無線通信装置による輪郭抽出処理の例を示す図。
【符号の説明】
【００３３】
１  アンテナ
２  無線部
３  変復調部
４  制御処理部
４１  画像メモリ制御部
４２  操作制御部
４３  表示制御部
４４  処理部
５  外部メモリ用ドライブ
６  カメラ
７  画像メモリ
８  操作部
９  表示部
９１  輪郭抽出前の原画像
９２  ガイドフレーム
９３、９４、９５、９６、９３ａ、９４ａ、９５ａ  ブロック
【図１】
2005115596.tif 000003
【図２】
2005115596.tif 000004
【図３】
2005115596.tif 000005
【図４】
2005115596.tif 000006
【図５】
2005115596.tif 000007
【図６】
2005115596.tif 000008
【図７】
2005115596.tif 000009
【図８】
2005115596.tif 000010