(57)【要約】【課題】囲い操作を補助して精度の高いマスク画像を生成するためのトライマップ画像を生成できる画像処理装置及びプログラムを提供する。【解決手段】画像処理装置１は、取込画像Ｉ０を表示するタッチパネルディスプレイ２５と、ユーザによる描画操作を受け付ける入力受付部１１と、表示された取込画像Ｉ０に対して入力受付部１１が受け付けた描画操作によって、画像の一部が囲われたか否かを判定する描画判定部１２と、描画判定部１２により画像の一部が囲われていないと判定されたことに応じて、描画操作による描画の両端点４１を含む取込画像Ｉ０の走査領域４０に、描画領域の外側の画素に応じた色を含むか否かを判定する背景画像判定部１３とを備える。【選択図】図１
2016136325.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
ユーザによる描画操作を受け付ける入力受付部と、
前記表示部に表示された画像に対して前記入力受付部が受け付けた前記描画操作によって、前記画像の一部が囲われたか否かを判定する描画判定部と、
前記描画判定部により前記画像の一部が囲われていないと判定されたことに応じて、前記描画操作による描画の両端点を含む前記画像の走査領域に、描画領域の外側の画素に応じた色を含むか否かを判定する背景画像判定部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記背景画像判定部により描画領域の外側の画素に応じた色を含むと判定されたことに応じて、通知情報を出力する通知出力部を備えること、
を特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記背景画像判定部により描画領域の外側の画素に応じた色を含むと判定されたことに応じて、前記走査領域の領域内における画像に関する特徴を抽出し、抽出した特徴に沿って前記画像の一部を囲うように描画を生成する描画生成部を備え、
前記描画判定部は、前記描画生成部により描画が生成されたことに応じて、前記画像の一部が囲われたと判定すること、
を特徴とする画像処理装置。
【請求項４】
請求項１から請求項３までのいずれかに記載の画像処理装置において、
前記背景画像判定部により描画領域の外側の画素に応じた色を含まないと判定されたことに応じて、前記描画操作による描画の両端点をつなぐ描画を生成する描画生成部を備え、
前記描画判定部は、前記描画生成部により描画が生成されたことに応じて、前記画像の一部が囲われたと判定すること、
を特徴とする画像処理装置。
【請求項５】
請求項１から請求項３までのいずれかに記載の画像処理装置において、
前記描画判定部は、前記背景画像判定部により描画領域の外側の画素に応じた色を含まないと判定されたことに応じて、前記描画操作による描画の両端点が前記画像の端部である場合には、前記描画操作による描画の両端点をつなぐ描画を生成せずに、前記画像の一部が囲われたと判定すること、
を特徴とする画像処理装置。
【請求項６】
請求項１から請求項５までのいずれかに記載の画像処理装置において、
前記描画判定部により前記画像の一部が囲われたと判定されたことに応じて、描画部分である境界領域部と、作成された閉領域の閉領域内部と、閉領域外部とを識別した三値画像を生成する三値画像生成部を備えること、
を特徴とする画像処理装置。
【請求項７】
請求項１から請求項６までのいずれかに記載の画像処理装置において、
前記背景画像判定部は、前記走査領域が前記描画操作による描画の両端点をつないで作成される閉領域の領域外の色空間に近い色を含む場合に、描画領域の外側の画素に応じた色を含むと判定すること、
を特徴とする画像処理装置。
【請求項８】
請求項１から請求項７までのいずれかに記載の画像処理装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、ユーザによる簡易な操作によって、精度の高いマスク画像を生成できる画像処理装置が開示されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】実用新案登録第３１９２１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、色を変更したい画像の一部分を、ユーザが囲う操作をすることで指定して、囲った部分に対して精度の高いマスク画像を生成するためのトライマップ画像を生成するものであった。よって、トライマップ画像を生成する前提として、囲われていることが必要であった。
【０００５】
そこで、本発明は、囲い操作を補助してトライマップ画像を生成できる画像処理装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、以下のような解決手段により、前記課題を解決する。
第１の発明は、画像を表示する表示部と、ユーザによる描画操作を受け付ける入力受付部と、前記表示部に表示された画像に対して前記入力受付部が受け付けた前記描画操作によって、前記画像の一部が囲われたか否かを判定する描画判定部と、前記描画判定部により前記画像の一部が囲われていないと判定されたことに応じて、前記描画操作による描画の両端点を含む前記画像の走査領域に、描画領域の外側の画素に応じた色を含むか否かを判定する背景画像判定部と、を備える画像処理装置である。
第２の発明は、第１の発明の画像処理装置において、前記背景画像判定部により描画領域の外側の画素に応じた色を含むと判定されたことに応じて、通知情報を出力する通知出力部を備えること、を特徴とする画像処理装置である。
第３の発明は、第１の発明の画像処理装置において、前記背景画像判定部により描画領域の外側の画素に応じた色を含むと判定されたことに応じて、前記走査領域の領域内における画像に関する特徴を抽出し、抽出した特徴に沿って前記画像の一部を囲うように描画を生成する描画生成部を備え、前記描画判定部は、前記描画生成部により描画が生成されたことに応じて、前記画像の一部が囲われたと判定すること、を特徴とする画像処理装置である。
第４の発明は、第１の発明から第３の発明までのいずれかの画像処理装置において、前記背景画像判定部により描画領域の外側の画素に応じた色を含まないと判定されたことに応じて、前記描画操作による描画の両端点をつなぐ描画を生成する描画生成部を備え、前記描画判定部は、前記描画生成部により描画が生成されたことに応じて、前記画像の一部が囲われたと判定すること、を特徴とする画像処理装置である。
第５の発明は、第１の発明から第３の発明までのいずれかの画像処理装置において、前記描画判定部は、前記背景画像判定部により描画領域の外側の画素に応じた色を含まないと判定されたことに応じて、前記描画操作による描画の両端点が前記画像の端部である場合には、前記描画操作による描画の両端点をつなぐ描画を生成せずに、前記画像の一部が囲われたと判定すること、を特徴とする画像処理装置である。
第６の発明は、第１の発明から第５の発明までのいずれかの画像処理装置において、前記描画判定部により前記画像の一部が囲われたと判定されたことに応じて、描画部分である境界領域部と、作成された閉領域の閉領域内部と、閉領域外部とを識別した三値画像を生成する三値画像生成部を備えること、を特徴とする画像処理装置である。
第７の発明は、第１の発明から第６の発明までのいずれかの画像処理装置において、前記背景画像判定部は、前記走査領域が前記描画操作による描画の両端点をつないで作成される閉領域の領域外の色空間に近い色を含む場合に、描画領域の外側の画素に応じた色を含むと判定すること、を特徴とする画像処理装置である。
第８の発明は、第１の発明から第７の発明までのいずれかの画像処理装置としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【０００７】
本発明によれば、囲い操作を補助して精度の高いマスク画像を生成するためのトライマップ画像を生成できる画像処理装置及びプログラムを提供することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る画像処理装置の機能ブロック図である。
【図２】本実施形態に係る画像処理装置での画像合成処理を示すフローチャートである。
【図３】本実施形態に係る画像処理装置での画像取込後の表示例を示す図である。
【図４】本実施形態に係る画像処理装置での描画後の表示例を示す図である。
【図５】本実施形態に係る画像処理装置でのトライマップ画像生成処理を示すフローチャートである。
【図６】本実施形態に係る画像処理装置での走査領域を説明するための図である。
【図７】本実施形態に係る画像処理装置での描画生成方法を説明するための図である。
【図８】本実施形態に係る画像処理装置でのトライマップ画像生成処理での生成例を示す図である。
【図９】本実施形態に係る画像処理装置でのマスク画像生成処理での生成例を示す図である。
【図１０】本実施形態に係る画像処理装置での背景画像の合成例を示す図である。
【図１１】本実施形態に係る画像処理装置での画像取込後及び描画後の表示例を示す図である。
【図１２】本実施形態に係る画像処理装置でのトライマップ画像生成処理での生成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態について、図を参照しながら説明する。なお、これは、あくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
（実施形態）
＜画像処理装置１＞
図１は、本実施形態に係る画像処理装置１の機能ブロック図である。
画像処理装置１は、前景として切り出したい画像を、ユーザが囲う操作をすることで指定して、囲われている場合に、トライマップ画像（三値画像）を生成する。また、画像処理装置１は、ユーザの操作によって囲われていない場合であっても、トライマップ画像の生成を補助してトライマップ画像を生成する。その後、画像処理装置１は、生成されたトライマップ画像から前景画像と、マスク画像を生成する。そして、画像処理装置１は、生成された前景画像と、マスク画像とを用いて、背景を様々に変更した合成画像を生成する。
【００１０】
画像処理装置１は、例えば、タブレット端末に代表されるコンピュータの機能を併せ持った携帯型の装置である。画像処理装置１は、その他、スマートフォン等でもよいし、パーソナルコンピュータ（ＰＣ）等であってもよい。
画像処理装置１は、制御部１０と、記憶部２０と、タッチパネルディスプレイ２５（表示部）と、カメラ部２８と、通信インタフェース部２９とを備える。
制御部１０は、画像処理装置１の全体を制御する中央処理装置（ＣＰＵ）である。制御部１０は、記憶部２０に記憶されているオペレーティングシステム（ＯＳ）やアプリケーションプログラムを適宜読み出して実行することにより、上述したハードウェアと協働し、各種機能を実行する。
【００１１】
制御部１０は、入力受付部１１と、描画判定部１２と、背景画像判定部１３と、描画生成部１４と、トライマップ画像生成部１５（三値画像生成部）と、マスク画像生成部１６と、前景画像生成部１７と、画像合成部１８とを備える。
入力受付部１１は、ユーザによる描画操作を受け付ける。ユーザは、タッチパネルディスプレイ２５を指等でなぞることで、描画操作を行う。
描画判定部１２は、描画操作によって、切り出したい画像（画像の一部）が囲われたか否かを判定する。また、描画判定部１２は、切り出したい画像が囲われていないと判定した場合であっても、背景画像判定部１３により背景になる画像を含まないと判定され、描画操作による描画の両端点が画像の端部であるときには、切り出したい画像が囲われたと判定する。ここで、背景になる画像とは、描画領域の外側の画素（背景領域）に応じた色の画像をいう。また、描画領域とは、切り出したい画像を囲うような描画操作によって作成される、切り出したい画像側の領域をいう。
【００１２】
背景画像判定部１３は、切り出したい画像が囲われていないと判定されたときに、描画操作による描画の両端点を含む画像の走査領域に、背景になる画像を含むか否かを判定する。具体的には、背景画像判定部１３は、描画操作による描画の両端点をつないで作成される閉領域の領域外の色空間に近い色を走査領域に含むときに、背景になる画像を含むと判定する。
描画生成部１４は、背景になる画像を含むと判定されたときに、描画を生成する。具体的には、描画生成部１４は、走査領域の領域内における画像に関する特徴を抽出し、抽出した特徴に沿って切り出したい画像を囲うように描画を生成する。また、描画生成部１４は、背景になる画像を含まないと判定されたときには、描画操作による描画の両端点をつなぐ描画を生成する。
【００１３】
トライマップ画像生成部１５は、描画部分を不確定領域（境界領域部）とし、この不確定領域と、描画によって囲われた内側領域（閉領域内部）と、外側領域（閉領域外部）とを三値で表したトライマップ画像を生成する。
マスク画像生成部１６は、トライマップ画像からアルファマスク処理によってマスク画像を生成する。
前景画像生成部１７は、トライマップ画像の不確定領域に関して、背景色の混じった画素について画像本来の色を推定して、補正した前景画像を生成する。
画像合成部１８は、マスク画像と背景画像とを用いて新たな背景画像を生成する。そして、画像合成部１８は、新たな背景画像と、生成した前景画像とを合成した合成画像を生成する。
なお、各処理の詳細については、後述する。
【００１４】
記憶部２０は、制御部１０が各種の処理を実行するために必要なプログラム、データ等を記憶するための半導体メモリ素子等の記憶領域である。
記憶部２０は、画像処理プログラム２１と、背景画像記憶部２２とを備える。
画像処理プログラム２１は、画像処理装置１の制御部１０が実行する各種機能を行うためのプログラムである。画像処理プログラム２１は、予め画像処理装置１にインストールされているものとする。
背景画像記憶部２２は、合成画像の生成に用いる複数の背景画像データを記憶する。背景画像データは、例えば、図示しないサーバから受信して記憶する。なお、背景画像データは、ＲＧＢ（Ｒｅｄ−Ｇｒｅｅｎ−Ｂｌｕｅ  ｃｏｌｏｒ  ｍｏｄｅｌ）値であってもよい。
【００１５】
タッチパネルディスプレイ２５は、液晶パネル等で構成される表示部としての機能と、ユーザからの指等によるタッチ入力を検出する入力部としての機能とを有する。
カメラ部２８は、撮影装置である。カメラ部２８は、例えば、被写体の画像データを取得する。
通信インタフェース部２９は、通信ネットワークを介して他の装置（例えば、サーバ）との通信を行うためのインタフェース部である。
【００１６】
＜画像処理装置１の処理＞
次に、画像処理装置１の処理について説明する。
図２は、本実施形態に係る画像処理装置１での画像合成処理を示すフローチャートである。
図３は、本実施形態に係る画像処理装置１での画像取込後の表示例を示す図である。
図４は、本実施形態に係る画像処理装置１での描画後の表示例を示す図である。
図５は、本実施形態に係る画像処理装置１でのトライマップ画像生成処理を示すフローチャートである。
図６は、本実施形態に係る画像処理装置１での走査領域４０を説明するための図である。
図７は、本実施形態に係る画像処理装置１での描画生成方法を説明するための図である。
図８は、本実施形態に係る画像処理装置１でのトライマップ画像生成処理での生成例を示す図である。
図９は、本実施形態に係る画像処理装置１でのマスク画像生成処理での生成例を示す図である。
図１０は、本実施形態に係る画像処理装置１での背景画像の合成例を示す図である。
【００１７】
以下では、画像処理装置１は、被写体画像を前景画像にして切り出し、背景を変更した合成画像を作成するものを説明する。
図２のステップＳ（以下、「Ｓ」という。）１０において、ユーザ（画像処理装置１の操作者。被写体自身であってもよい。）が画像処理装置１のカメラ部２８に対する操作をすることで、制御部１０は、カメラ部２８を制御して被写体を撮影する。そして、制御部１０は、撮影した被写体の画像である被写体画像Ｈを含んだ取込画像Ｉ０（図３参照）を、記憶部２０に記憶させる。なお、取込画像Ｉ０は、被写体画像Ｈと、被写体画像Ｈを除く部分の画像である背景画像とを含む。つまり、被写体画像Ｈは、前景画像である。そして、取込画像Ｉ０は、静止画像である。
【００１８】
Ｓ１１において、ユーザが画像処理プログラム２１の起動を指示することで、制御部１０は、画像処理プログラム２１を起動させる。これにより、制御部１０は、タッチパネルディスプレイ２５に、ユーザによる描画操作を受け付け、合成画像を生成するビューア３０を表示させる。
Ｓ１２において、制御部１０は、タッチパネルディスプレイ２５に表示されたビューア３０に、記憶部２０に記憶された取込画像Ｉ０を表示させる。例えば、制御部１０は、記憶部２０に記憶された複数の取込画像のサムネイルを、タッチパネルディスプレイ２５に表示させる。そして、ユーザがその中から１つの画像を選択することで、制御部１０は、選択された画像を、ビューア３０に表示させてもよい。
【００１９】
図３は、取込画像Ｉ０が表示されたビューア３０の例を示す。
ビューア３０は、画像表示部３１と、ボタン部３２とを備える。
画像表示部３１は、取込指示がされた取込画像Ｉ０を表示する表示領域である。
ボタン部３２は、画像表示部３１に対して描画する際にユーザが使用する各種ボタンを有する。
ボタン部３２は、ペンボタン３２ａと、ケシゴムボタン３２ｂと、クリアボタン３２ｃと、太さ設定ボタン３２ｄと、完了ボタン３２ｅとを有する。
ユーザがペンボタン３２ａを選択して、タッチパネルディスプレイ２５を指でなぞる操作をすることで、制御部１０（入力受付部１１）は、ビューア３０上に、ユーザがなぞった部分をペンで描いたかのように、線を表示させる。なお、この線とは、幅を有するものである。以下、ユーザが描く線は、幅を有するものとして説明する。
【００２０】
ユーザがケシゴムボタン３２ｂを選択して、タッチパネルディスプレイ２５を指でなぞる操作をすることで、制御部１０（入力受付部１１）は、ビューア３０上に表示されているユーザがなぞった線を、ケシゴムを使用したかのように消すことができる。
ユーザがクリアボタン３２ｃを選択することで、制御部１０（入力受付部１１）は、ビューア３０上に表示されている全ての線を一度に消すことができる。
ユーザが太さ設定ボタン３２ｄを選択することで、制御部１０は、ペンの太さを設定する設定画面（図示せず）を表示し、ユーザの指定によって、ペンの太さを設定する。これにより、ユーザは、描く線の線幅を設定できる。
完了ボタン３２ｅは、ユーザによる描画操作を完了する際に、ユーザが選択するボタンである。
【００２１】
ここで、ユーザは、まず、ペンボタン３２ａを選択して、ビューア３０上を指でなぞる操作をする。制御部１０（入力受付部１１）は、ユーザによって、被写体画像Ｈの輪郭をなぞる操作を受け付けたことに応じて、なぞられた部分に対してペンで描いたかのような線を描く。描画操作を誤った場合には、ユーザは、ケシゴムボタン３２ｂや、クリアボタン３２ｃを選択して、描かれた線を消去する。そして、ユーザは、被写体画像Ｈと、背景画像との境界部分に線を描く。
図４（Ａ）は、描画後画像Ｉ１を示す。描画後画像Ｉ１は、ユーザの描画操作によって被写体画像Ｈが一部囲われた画像である。
図４（Ｂ）は、図４（Ａ）の一部領域Ｔを拡大表示したものである。図４（Ｂ）に示すように、毛先部分のような髪と背景画像とが入れ混ざっている部分に対しては、ユーザは、塗りつぶすようになぞる操作を行う。
【００２２】
図２に戻り、Ｓ１３において、制御部１０（入力受付部１１）は、描画操作を受け付けたか否かを判断する。制御部１０は、例えば、完了ボタン３２ｅ（図３参照）の選択を受け付けたことに応じて、描画操作を受け付けたと判断してもよい。描画操作を受け付けた場合（Ｓ１３：ＹＥＳ）には、制御部１０は、処理をＳ１４に移す。他方、描画操作を受け付けていない場合（Ｓ１３：ＮＯ）には、制御部１０は、ユーザによる描画操作を受け付けるまで、本処理を繰り返す。
Ｓ１４において、制御部１０は、トライマップ画像生成処理を行う。
【００２３】
ここで、トライマップ生成処理について、図５に基づき説明する。
図５のＳ３０において、制御部１０（描画判定部１２）は、ビューア３０上に描かれた線によって、被写体画像Ｈが囲まれているか否かを判断する。被写体画像Ｈが囲まれている場合には、閉領域が作成される。閉領域とは、閉じた線の内側領域をいう。被写体画像Ｈが囲まれている場合（Ｓ３０：ＹＥＳ）には、制御部１０は、処理をＳ３９に移す。他方、被写体画像Ｈが囲まれていない場合（Ｓ３０：ＮＯ）には、制御部１０は、処理をＳ３１に移す。
例えば、図４（Ａ）の描画後画像Ｉ１は、被写体画像Ｈの下側に線が描かれておらず、制御部１０は、被写体画像Ｈが囲まれていないと判断する。
【００２４】
Ｓ３１において、制御部１０は、被写体画像Ｈ上に走査領域４０を設定する。図６は、走査領域４０の設定例を示す。走査領域４０は、描画操作によって囲まれていない範囲に、背景画像を含むか否かを、その領域を走査することで判定するために設定するものである。そして、走査領域４０は、描画操作により生成された描画の両端点４１（端点４１ａ及び４１ｂ）を含む範囲とし、例えば、矩形領域である。なお、走査領域４０の大きさ（Ｈ方向の幅）は、任意でよい。
【００２５】
Ｓ３２において、制御部１０（背景画像判定部１３）は、走査領域４０に背景画像を含むか否かを判断する。ここで、背景画像の色要素は、予め記憶部２０に記憶されているものとする。制御部１０は、走査領域４０をＸ方向に走査する。そして、制御部１０は、走査領域４０に背景画像を含むか否かを、例えば、走査領域４０に含む色要素に、背景画像の色要素に近いものが含まれているか否かによって判断する。また、制御部１０は、走査領域４０に背景画像を含むか否かを、走査領域４０に多く含まれる色要素とは全く異なる色要素を、一部に含むか否かによって判断してもよい。走査領域４０に背景画像を含む場合（Ｓ３２：ＹＥＳ）には、制御部１０は、処理をＳ３３に移す。他方、走査領域４０に背景画像を含まない場合（Ｓ３２：ＮＯ）には、制御部１０は、処理をＳ３７に移す。
例えば、図６に示す描画後画像Ｉ１は、被写体の腕と胴体との間の部分４２に背景画像の色要素を含むため、制御部１０は、走査領域４０に背景画像を含むと判断する。
【００２６】
Ｓ３３において、制御部１０（描画生成部１４）は、走査領域４０を再設定する。制御部１０は、Ｈ方向の幅を調整することで、走査領域４０の大きさを変更できる。制御部１０は、例えば、取込画像Ｉ０の下端部からＨ１方向に向かって順番にＸ方向に走査した際に、Ｘ方向に走査しても背景画像を含まない範囲になるように、Ｈ方向の幅を広げたり狭めたりして、走査領域４０を設定する。
【００２７】
このように、走査領域４０を、以降の処理に必要な最小限の領域に設定することで、以降の処理であり、後述するエッジ検出処理や描画処理を、最小限の範囲で行うことができる。よって、画像処理装置１は、処理効率を向上させることができる。
【００２８】
Ｓ３４において、制御部１０（描画生成部１４）は、取込画像Ｉ０に対して、エッジ検出処理を行う。このエッジ検出処理によって、物体の境界（エッジ）を示す線が得られる。図７（Ａ）は、エッジ検出処理を行ったエッジ検出画像Ｉｅを示す。
Ｓ３５において、制御部１０は、描画後画像Ｉ１に対して二値画像生成処理を行う。制御部１０は、ユーザが描いて線として表された線幅部分を白色領域Ｗ２にし、線幅部分以外を黒色領域Ｂ２にした二値画像Ｉ２を生成する。図７（Ｂ）は、図６を二値化した二値画像Ｉ２を示す。
【００２９】
Ｓ３６において、制御部１０（描画生成部１４）は、描画処理を行う。描画処理は、走査領域４０に対応するエッジ検出画像Ｉｅを抽出し、抽出した部分エッジ検出画像Ｉｅｐに含まれる線を、膨張処理により太くする。部分エッジ検出画像Ｉｅｐに含まれる線は、細い線である。そのため、膨張処理によって線を太くすることで、次に説明するトライマップ画像を生成する際に使用する線部分に対応する不確定領域を、広い領域にできる。図７（Ｃ）は、部分エッジ検出画像Ｉｅｐを示す。そして、制御部１０は、膨張処理により太くした膨張エッジ画像Ｉｅｂを、Ｓ３５で生成した二値画像Ｉ２に重ねあわせる。
図７（Ｄ）は、膨張エッジ画像Ｉｅｂを、二値画像Ｉ２に重ねあわせた例を示す。なお、図７（Ｄ）は、合成後二値画像の下側部に線を描く描画処理を行って、閉領域を作成している。このように、膨張エッジ画像Ｉｅｂを二値画像Ｉ２に重ねあわせた合成後二値画像が、閉領域を形成していない場合には、制御部１０は、閉領域を適宜作成するように描画処理を行ってもよい。
その後、制御部１０は、処理をＳ４０に移す。
【００３０】
この処理によって、画像処理装置１は、ユーザの描画操作によって切り出したい画像が囲まれていない場合であっても、ユーザの操作を補助して閉領域を自動的に作成することができる。そして、作成された閉領域は、切り出したい被写体画像Ｈを囲んだものにできる。
【００３１】
他方、Ｓ３７において、制御部１０は、描画操作による描画の端点４１ａ及び４１ｂが、取込画像Ｉ０の端部にあるか否かを判断する。この判断は、厳密に行う必要はなく、例えば、端点４１ａ及び４１ｂが端部付近にあるか否かを判断するものであってもよい。端部にある場合（Ｓ３７：ＹＥＳ）には、制御部１０は、処理をＳ３９に移す。他方、端部にない場合（Ｓ３７：ＮＯ）には、制御部１０は、処理をＳ３８に移す。
Ｓ３８において、制御部１０（描画生成部１４）は、描画操作による描画の端点４１ａ及び４１ｂをつなぐ描画を生成する。この処理によって、画像処理装置１は、ユーザの描画操作によって切り出したい画像が囲まれていない場合であっても、ユーザの操作を補助して閉領域を自動的に作成することができる。
Ｓ３９において、制御部１０は、二値画像生成処理を行う。制御部１０は、ユーザが描いたか、又は、自動生成されて線として表された線幅部分を白色領域Ｗ２にし、線幅部分以外を黒色領域Ｂ２にした二値画像Ｉ２を生成する。
【００３２】
Ｓ４０において、制御部１０（トライマップ画像生成部１５）は、トライマップ画像を生成する。まず、制御部１０は、エッジ抽出を行う。エッジ抽出では、制御部１０は、二値画像Ｉ２のうち描いて線として表された線幅部分である白色領域Ｗ２の境界Ｅ３（Ｅ３ａ，Ｅ３ｂ）を判別する。そして、制御部１０は、境界Ｅ３を白線にし、それ以外の部分を黒色領域Ｂ３にして、二値画像Ｉ２の白色領域Ｗ２を縁取ったエッジ抽出画像Ｉ３を生成する。図８（Ａ）は、図７（Ｄ）の二値画像Ｉ２に対してエッジ抽出をしたエッジ抽出画像Ｉ３である。
【００３３】
次に、制御部１０（トライマップ画像生成部１５）は、トライマップ画像生成処理を行う。トライマップ画像生成処理では、制御部１０は、エッジ抽出画像Ｉ３の外枠Ｆ３から外側の境界Ｅ３ａまでと、外側の境界Ｅ３ａと内側の境界Ｅ３ｂとに囲まれた部分と、内側の境界Ｅ３ｂのさらに内側部分とに対して、順に、黒色（ＲＧＢ値が０：０：０）、灰色（ＲＧＢ値が１２８：１２８：１２８）、白色（ＲＧＢ値が２５５：２５５：２５５）として画像を生成する。そして、黒色を背景領域Ｂ４（閉領域外部）とし、白色を前景領域Ｗ４（閉領域内部）とし、灰色を不確定領域Ｇ４（境界領域部）としたトライマップ画像Ｉ４を生成する。図８（Ｂ）は、図８（Ａ）に対してトライマップ画像生成処理を行ったことにより生成されたトライマップ画像Ｉ４である。このトライマップ画像Ｉ４は、黒色、灰色、白色の三値で表せるので、三値画像ともいう。二値画像Ｉ２の白色領域Ｗ２は、輪郭であったり、髪と背景画像とが入り混じった部分であって、前景画像と背景画像との境界部分である。そこで、その部分は、制御部１０により、不確定領域Ｇ４に設定される。その後、制御部１０は、本処理を終了し、処理を図２に移す。
【００３４】
なお、上述の例では、二値画像Ｉ２からエッジ抽出画像Ｉ３を生成した後に、トライマップ画像Ｉ４を生成しているが、エッジ抽出画像Ｉ３を生成せず、二値画像Ｉ２（図７（Ｄ）参照）から直接トライマップ画像Ｉ４（図８（Ｂ）参照）を生成することもできる。その場合には、制御部１０は、二値画像Ｉ２の白色領域Ｗ２より内側を白色、白色領域Ｗ２を灰色、それ以外の領域を黒色にすることで、トライマップ画像Ｉ４を生成できる。
【００３５】
図２に戻り、制御部１０は、以下の処理によって、不確定領域Ｇ４を、前景にするか背景にするかを、高精度に判定する。
Ｓ１５において、制御部１０（マスク画像生成部１６）は、トライマップ画像Ｉ４からマスク画像Ｉ５（アルファマスク画像）を生成する。マスク画像は、公知のアルファマッティング処理を行うことで実現できる。
アルファマッティング処理では、まず、不確定領域Ｇ４である灰色エリア内の画素を基点に、隣接する複数の前景及び背景画素の画素値を求める。そして、次に、前景及び背景画素を様々な組み合わせと割合で合成し、元の画素値に最も近似した割合を透過度とし、マルファマスクを生成する。
アルファマッティング処理の例としては、「Eduardo S. L. Gastal and Manuel M. Oliveira, Shared Sampling for Real-Time Alpha Matting,Computer Graphics Forum, Volume 29 (2010), Number 2, Proceedings of Eurographics 2010, pp.575-584」（以下、文献Ａという。）に記載されたものがある。
【００３６】
制御部１０（マスク画像生成部１６）は、アルファマッティング処理により、透過度に応じた二値画像であるマスク画像Ｉ５を生成できる。
制御部１０（マスク画像生成部１６）は、トライマップ画像Ｉ４（図８（Ｂ）参照）に対してマスク画像生成処理を行うことで、図９に示すマスク画像Ｉ５を生成する。なお、制御部１０（マスク画像生成部１６）は、トライマップ画像Ｉ４のうち、灰色で表された不確定領域Ｇ４を、アルファマッティング処理を行う部分と判断して処理を行う。
【００３７】
Ｓ１６において、制御部１０（前景画像生成部１７）は、トライマップ画像Ｉ４から前景画像を生成する。なお、トライマップ画像Ｉ４から前景画像を生成する方法は、上述した文献Ａに記載されている。
Ｓ１７において、制御部１０（画像合成部１８）は、マスク画像Ｉ５と、Ｓ１６で生成した前景画像と、背景画像記憶部２２に記憶されている背景画像データとを使用して、背景画像合成処理を行う。図１０（Ａ）は、合成処理を行った結果である合成後画像Ｉ６（Ｉ６−１）を示す。
Ｓ１８において、制御部１０は、背景画像合成処理により背景画像が合成された合成後画像Ｉ６を、ビューア３０に表示させる。
【００３８】
Ｓ１９において、制御部１０は、背景画像を他のものに変更するか否かを判断する。これは、ビューア３０に表示された背景画像合成処理後の合成後画像Ｉ６を見たユーザが、さらに背景を変更したい場合に、変更を指示することで、制御部１０は、指示情報を受け付けて、変更するか否かを判断できる。背景画像を変更する場合（Ｓ１９：ＹＥＳ）には、制御部１０は、処理をＳ１７に移し、背景画像記憶部２２に記憶されている他の背景画像データを用いて、再度合成処理を行う。他方、背景画像を変更しない場合（Ｓ１９：ＮＯ）には、制御部１０は、処理をＳ２０に移す。
【００３９】
図１０（Ｂ）は、背景画像をさらに変更した合成後画像Ｉ６（Ｉ６−２）を示す。図１０の合成後画像Ｉ６は、被写体画像Ｈの背景画像が、いずれも、例えば、観光地の背景になっている。制御部１０は、背景画像を、この例のように観光地等の背景画像にしてもよいし、背景色を変更するものであってもよい。
【００４０】
図２に戻り、Ｓ２０において、制御部１０は、画像処理プログラム２１を終了するか否かを判断する。これは、ユーザによりプログラム終了の指示がされたことを制御部１０が受け付けたか否かにより判断できる。画像処理プログラム２１を終了する場合（Ｓ２０：ＹＥＳ）には、制御部１０は、画像処理プログラム２１を終了し、本処理を終了する。他方、画像処理プログラム２１を終了しない場合（Ｓ２０：ＮＯ）には、制御部１０は、処理をＳ１２に移す。
【００４１】
次に、別の取込画像を用いた例での処理について説明する。
図１１は、本実施形態に係る画像処理装置１での画像取込後及び描画後の表示例を示す図である。
図１２は、本実施形態に係る画像処理装置１でのトライマップ画像生成処理での生成例を示す図である。
図１１（Ａ）は、取込画像Ｉ１０が表示されたビューア３０を示す。
取込画像Ｉ１０は、撮影した被写体の画像である被写体画像Ｈ１０を含む。取込画像Ｉ１０は、上述の例で説明した取込画像Ｉ０（図３参照）と比較して、被写体画像Ｈ１０に近づいた位置で撮影されている。よって、取込画像Ｉ１０には、取込画像Ｉ０にはあった被写体の腕と胴体との間の部分４２（図６参照）がない。
そして、図１１（Ｂ）は、描画後画像Ｉ１１を示す。描画後画像Ｉ１１は、ユーザの描画操作によって被写体画像Ｈ１０の一部が囲われた画像である。
【００４２】
制御部１０は、トライマップ画像生成処理（図２のＳ１４、図５）において、ビューア３０上に描かれた線によって、被写体画像Ｈ１０が囲まれていないと判断し（図５のＳ３０がＮＯ）、被写体画像Ｈ１０上に走査領域を設定する（図５のＳ３１）。そして、描画後画像Ｉ１１は、上述したように、取込画像Ｉ０には入っていた被写体の腕と胴体との間の部分４２（図６参照）がないため、走査領域には、背景画像が含まれない。よって、制御部１０は、走査領域に背景画像を含まないと判断し（図５のＳ３２がＮＯ）、取込画像Ｉ１０の端部に、描画操作による描画の端点２４１ａ，２４１ｂがあるか否かを判断する（図５のＳ３７）。そして、取込画像Ｉ１０の端部に、描画操作による描画の端点２４１ａ，２４１ｂがあるので（図５のＳ３７がＹＥＳ）、制御部１０は、両端点２４１をつなぐ描画を生成することなく二値画像を生成し、トライマップ画像を生成する（図５のＳ３９，Ｓ４０）。
図１２（Ａ）は、生成した二値画像Ｉ１２の例を示し、図１２（Ｂ）は、生成したトライマップ画像Ｉ１４の例を示す。
【００４３】
このように、描画後画像Ｉ１１には、取込画像Ｉ１０の端部に描画操作による描画の両端点２４１があるので、制御部１０は、実質囲まれていると判断することで、描画処理によって描画を生成することなくトライマップ画像Ｉ１４を生成する。よって、画像処理装置１は、取込画像Ｉ１０の下側部を不確定領域にしないで済み、精度の高いマスク画像生成処理を行う部分を、最小限にすることができる。
【００４４】
このように、本実施形態の画像処理装置１によれば、以下のような効果がある。
（１）ユーザがビューア３０の上を、前景としたい（切り出したい）領域をなぞる操作をすることで、操作により切り出したい画像が囲われていないときであっても、前景としたい領域を決定して、囲み操作がされたように補助するので、境界領域と閉領域内とを識別できる。よって、ユーザによる囲い操作を補助して、境界領域に対して精度の高い処理をすることができる。結果として、ユーザによる簡易な操作で、精度の高いマスク画像を生成できる。
また、精度の高い処理を行う部分を最小限に指定できるので、処理効率が向上する。そして、そのマスク画像を用いて画像合成をすることで、境界部分でも違和感のない自然な画像合成処理を行うことができる。
（２）ユーザがその場で撮影した画像に対して、簡単なオペレーションで合成画像を生成できる。
【００４５】
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。また、実施形態に記載した効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載したものに限定されない。なお、上述した実施形態及び後述する変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。
【００４６】
（変形形態）
（１）本実施形態では、操作により切り出したい画像が囲われていないときには、制御部が描画を生成することで、ユーザによる描画を補完するものを説明したが、これに限定されない。操作により切り出したい画像が囲われていないときには、囲み操作を促すように通知することで、ユーザに囲み操作を行わせるようにしてもよい。
（２）本実施形態では、操作により切り出したい画像が囲われていないときには、描画操作による描画の両端点を含むように走査領域を設定したが、この走査領域の大きさは、これに限定されない。走査領域を取込画像の全てを含むように設定してもよい。
また、走査領域を、ユーザによって設定させてもよい。
さらに、走査領域を再設定する例を説明したが、走査領域を大きな範囲で設定したり、ユーザが設定したりした場合には、再設定をせずに後続の処理を行ってもよい。
【００４７】
（３）本実施形態では、画像処理装置がタッチパネルディスプレイを有する構成であることを前提として説明した。タッチパネルディスプレイでは、表示部と入力部が一体になっているので、表示された部分の上面を入力部で指定すればいいので、操作が容易である。しかし、画像処理装置が、表示部と入力部とを有していればよく、タッチパネルディスプレイに限定するものではない。
また、タッチパネルディスプレイをユーザが指を使って操作をする例で説明した。しかし、ペン型の装置等を用いて操作をしてもよい。
（４）本実施形態では、画像処理装置がカメラ部を有するものとして説明した。しかし、画像処理装置がカメラ部を有していなくてもよい。被写体画像を記憶部に記憶していればよく、例えば、通信ネットワークを介して被写体画像を受信したり、取り外し可能な記憶媒体から被写体画像を取り込んだりしておけばよい。
（５）本実施形態では、被写体画像を静止画像であることを前提として説明した。しかし、被写体画像は、動画像であってもよい。その場合には、制御部は、動画像のうちの一コマ画像に対して合成処理をし、合成処理をした部分を公知の画像認識処理を用いて追従することで実現できる。これにより、動画像であっても、少ない処理で合成を行うことができる。
【符号の説明】
【００４８】
１    画像処理装置
１０  制御部
１１  入力受付部
１２  描画判定部
１３  背景画像判定部
１４  描画生成部
１５  トライマップ画像生成部
２０  記憶部
２１  画像処理プログラム
２５  タッチパネルディスプレイ
【図１】
2016136325.tif 000003
【図２】
2016136325.tif 000004
【図３】
2016136325.tif 000005
【図４】
2016136325.tif 000006
【図５】
2016136325.tif 000007
【図６】
2016136325.tif 000008
【図７】
2016136325.tif 000009
【図８】
2016136325.tif 000010
【図９】
2016136325.tif 000011
【図１０】
2016136325.tif 000012
【図１１】
2016136325.tif 000013
【図１２】
2016136325.tif 000014