(57)【要約】【課題】簡単な構成により撮影画像に応じたトライマップを作成できるようにする。【解決手段】被写体の撮影画像を示す画像データを取得する取得する。そして、画像から特定の被写体を切り出すためのトライマップフレームを記憶する記憶手段からトライマップフレームを選択する。そして、前記画像データに基づいてコントラストの分布を示すコントラストマップを作成し、前記作成されたコントラストマップに基づいて、前記選択されたトライマップフレームを修正し、前記撮影画像のトライマップを作成する。【選択図】図１
2011254145.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮影画像を示す画像データを取得する取得手段と、
画像から特定の被写体を切り出すためのトライマップフレームを記憶する記憶手段と、
前記記憶手段からトライマップフレームを選択する選択手段と、
前記画像データに基づいてコントラストの分布を示すコントラストマップを作成する作成手段と、
前記作成手段により作成されたコントラストマップに基づいて、前記選択手段によって選択されたトライマップフレームを修正し、前記撮影画像のトライマップを作成する修正手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記作成手段は、コントラスト検出方式を用いてコントラストマップを作成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、ユーザインターフェイスからの指示に応じてトライマップを選択することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記修正手段は、前記コントラストマップにおけるコントラストが他の領域よりも高い部分で囲まれた領域を前景とするように前記トライマップを修正することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
被写体の撮影画像を示す画像データを取得する取得工程と、
画像から特定の被写体を切り出すためのトライマップフレームを記憶する記憶手段からトライマップフレームを選択する選択工程と、
前記画像データに基づいてコントラストの分布を示すコントラストマップを作成する作成工程と、
前記作成工程において作成されたコントラストマップに基づいて、前記選択工程において選択されたトライマップフレームを修正し、前記撮影画像のトライマップを作成する修正工程とを備えることを特徴とする画像処理方法。
【請求項６】
被写体の撮影画像を示す画像データを取得する取得工程と、
画像から特定の被写体を切り出すためのトライマップフレームを記憶する記憶手段からトライマップフレームを選択する選択工程と、
前記画像データに基づいてコントラストの分布を示すコントラストマップを作成する作成工程と、
前記作成工程において作成されたコントラストマップに基づいて、前記選択工程において選択されたトライマップフレームを修正し、前記撮影画像のトライマップを作成する修正工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮影画像のトライマップを作成するものに関する。
【背景技術】
【０００２】
従来、画像の一部を切り出して合成することが、動画・静止画の編集作業においてよく行われる。例えば、画像中の一部を前景として切り出す場合には、前景と背景とを分割することが必要であり、このように前景と背景とを分割するプロセスは「マッティング」と呼ばれている。このマッティングを行う際には、その前処理として、前景としてラベル付けされた画素と、背景としてラベル付けされた画素と、未知としてラベル付けされた画素とを含むトライマップ（trimap）を作成する必要がある。そして、この作成したトライマップから、マッティングにより前景もしくは背景を切り抜いたマット画像を作成する処理としては、一般にクローズドフォーム処理が用いられている（例えば、非特許文献１参照）。
【０００３】
ところが、このトライマップを作成するために、従来はブルーバックで撮影するのが一般的であったが、屋外などでは使用できないという問題があった。そこで、屋外などで撮影された画像のマッティングを可能にするために、背景を別途撮影する方法が用いられているが、この場合、背景が静止している必要があった。
【０００４】
一方、このようなトライマップを作成する際の制約を受けないでマッティングを行う技術が知られている。例えば、切り出しを行うカメラとして、あらかじめ用意された楕円型に切り抜いて画像を合成する技術が開示されている（例えば、特許文献１参照）。また、切り抜き画像を作成する技術として、ステレオカメラを用いてマスク画像を作成して画像を合成する技術が開示されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−８８３１号公報
【特許文献２】特開２００８−２５９１５５号公報
【非特許文献】
【０００６】
【非特許文献１】IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 30, NO. 2, FEBRUARY 2008 "A Closed-Form Solution to Natural Image Matting", Anat Levin, Dani Lischinski, and Yair Weiss
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、楕円など既定の形に切り出すのみであり、前景を細部まで合致させて切り出すことができない。また、特許文献２に記載の技術では、ステレオカメラの視差を利用してマスク画像を作成するためにカメラが２台以上必要であり、多くの手間がかかる。
【０００８】
本発明は前述の問題点に鑑み、簡単な構成により撮影画像に応じたトライマップを作成できるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、被写体の撮影画像を示す画像データを取得する取得手段と、画像から特定の被写体を切り出すためのトライマップフレームを記憶する記憶手段と、前記記憶手段からトライマップフレームを選択する選択手段と、前記画像データに基づいてコントラストの分布を示すコントラストマップを作成する作成手段と、前記作成手段により作成されたコントラストマップに基づいて、前記選択手段によって選択されたトライマップフレームを修正し、前記撮影画像のトライマップを作成する修正手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影画像に応じたトライマップを作成することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る画像処理装置の構成例を示すブロック図である。
【図２】トライマップを作成する処理手順の一例を示すフローチャートである。
【図３】画像処理装置の一例としてデジタルカメラの背面側を示す図である。
【図４】ステップＳ２０５の詳細な処理手順の一例を示すフローチャートである。
【図５】コントラスト検出方式の概要を示す図である。
【図６】実施形態において、トライマップを修正する手順の概要を示す図である。
【図７】コントラストマップの作成処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１は、本実施形態に係る画像処理装置の１００の構成例を示すブロック図である。
図１において、撮像部１０１は、ズームレンズ、フォーカスレンズ、ぶれ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及び、ＣＭＯＳやＣＣＤなどのセンサなどから構成され、被写体の光量を検知する。
【００１３】
Ａ／Ｄ変換部１０２は、撮像部１０１で検知した被写体の光量をデジタル値に変換する。信号処理部１０３は、上記デジタル値にデモザイキング処理、ホワイトバランス処理、ガンマ処理などを行い、デジタル画像データを生成する。Ｄ／Ａ変換部１０４は、上記デジタル画像データに対してアナログ変換する。エンコーダ部１０５は、上記デジタル画像データをＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４などのファイルフォーマットに変換する。メディアインターフェース１０６は、パーソナルコンピュータ（ＰＣ）やその他のメディア（例えば、ハードディスク、メモリーカード、ＳＤカード、ＵＳＢメモリなど）につなぐためのインターフェースである。
【００１４】
ＣＰＵ１０７は、ＲＯＭ１０８やＲＡＭ１０９に格納されたプログラムを読み出して解釈し、上記各構成の処理を実行および制御する。また、ＲＯＭ１０８及びＲＡＭ１０９は、その処理に必要なプログラム、データ、作業領域などをＣＰＵ１０７に提供する。また、ＲＡＭ１０９には、トライマップを作成するのに使用する複数のトライマップフレームが記憶されている。
【００１５】
撮像系制御部１１０は、フォーカスを合わせる、シャッターを開く、絞りを調節するなどの、ＣＰＵ１０７から指示された撮像系の制御を行う。操作部１１１は、ボタンやモードダイヤルなどであり、これらを介して入力されたユーザからの指示を受け取る。キャラクタージェネレーション部１１２は、表示部１１３に表示するための文字やグラフィックなどを生成する。表示部１１３は、例えば液晶ディスプレイであり、キャラクタージェネレーション部１１２やＤ／Ａ変換部１０４から受け取った撮影画像や文字を表示する。また、タッチスクリーン機能を有していてもよく、その場合は、ユーザからの指示をユーザインターフェイスから操作部１１１の入力として扱うことも可能である。また、図１に示す構成は、複数の機器（例えばホストコンピュータ、インターフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、１つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００１６】
まず、本実施形態における画像処理装置１００の概要について説明する。本実施形態の画像処理装置１００は、撮影時に切り出しに必要なトライマップの作成を行う。
図２は、「本実施形態における画像処理装置１００のトライマップを作成する処理手順の一例を示すフローチャートである。なお、図２に示す各処理は、ＣＰＵ１０７の制御により行われる。
まず、ステップＳ２０１において、ユーザの操作により操作部１１１から画像切り出しモードへ設定する指示を受けると処理を開始する。そして、ステップＳ２０２において、撮影モードを画像切り出しモードに設定する。
【００１７】
次に、ステップＳ２０３において、ユーザの操作により操作部１１１からトライマップフレームの選択指示を受信するまで待機する。そして、トライマップフレームの選択指示を受信すると、ＲＡＭ１０９に記憶されているトライマップフレームからトライマップフレームの選択指示に応じたトライマップフレームを選択する。そして、ステップＳ２０４において、操作部１１１から撮影を開始する指示を受けるまで待機する。そして、撮影開始の指示を受信すると、ステップＳ２０５において、選択されたトライマップフレームで示されるトライマップを修正する。なお、このトライマップを修正する処理の詳細については後述する。次に、ステップＳ２０６において、マット画像を作成し、ステップＳ２０７において処理を終了する。
【００１８】
次に、ステップＳ２０３のトライマップフレームを選択する方法について、図３を参照説明する。
図３は本実施形態に係る画像処理装置１００の一例としてデジタルカメラの背面側を示す図である。
図３に示すように、液晶画面には、トライマップフレームと、選択中の枠３０１とが表示される。ユーザが操作部１１１にキー３０２、３０３を左右に動かすことにより選択対象フレームを移動せせることができ、ユーザが操作部１１１に含まれるＯＫキー３０４を押すことによりトライマップフレームが選択される。なお、表示部１１３がタッチスクリーン機能を有しているものである場合は、これらの操作を、タッチ液晶画面を用いて行ってもよい。
【００１９】
次に、ステップＳ２０５におけるトライマップを修正する方法について、図４を用いて説明する。
まず、ステップＳ２０４における撮影開始の指示の受信に応じて、ステップＳ４０１において処理を開始する。本実施形態では、ユーザが選択したトライマップフレームに応じた画像を撮影する。ステップＳ４０２において、撮影ボタンが半押しされるまで待機する。そして、撮影ボタンが半押しされると、ステップＳ４０３において、撮像系制御部１１０によりフォーカスを合わせ、コントラスト検出方式によりピントを合わせる。
【００２０】
図５は、コントラスト検出方式の概要を示す図である。
図５に示すように、コントラスト検出方式とは、"ピントが合っている＝コントラストが最も高い"という考え方に基づいたものである。具体的には、イメージセンサが得た特定の被写体の画像情報を解析し、レンズを動かしながら画像のコントラストが最も高くなるレンズ位置を探す方式である。５０１はコントラスト検出結果の特性を示しており、横軸にレンズ位置、縦軸にコントラストの値をマッピングしている。
【００２１】
次に、ステップＳ４０４において、撮像部１０１は、撮像系制御部１１０の制御によりレンズ位置を変化させて得られる画像群５０２のうち、もっともコントラストが高い画像５０３のレンズ位置がフォーカスの合っているレンズ位置であると決定する。そして、この決定されたレンズ位置を用いて本撮影を行う。これにより、本撮影により得られた画像からコントラストマップを作成する。
【００２２】
ここで、コントラストマップの作成方法について図７のフローチャートを用いて説明する。ステップＳ７０１において、処理を開始する。ステップＳ７０２において、変数を初期化する。ステップＳ７０３において、まず画素(i,j)の輝度値 Y(i,j)を求める。Y(i,j)は下記の式で求められる。
Y(i,j) = (R × 299 + G × 587 + B × 114)/1000
【００２３】
ステップＳ７０４において、同様に、隣の画素Y(i+1, j+1)も求める。ステップＳ７０５において、隣接する二つの画素のコントラストCを以下の式で求める。
C(i,j) = |Y(i+1, j+I) - Y(i,j)|/( Y(i+1, j+I) + Y(i,j))
【００２４】
ステップＳ７０６において、変数を１増加し、ステップＳ７０７において、全画素について計算されたかを確認し、全画素の計算が終了していなかったら、ステップＳ７０３に戻る。このコントラスト値を全画素（0<=i<width, 0<=j<height）について計算することで、撮影した画像全体のコントラストマップを取得することができる。全ての画素のコントラスト値が計算できたら、終了とする。
【００２５】
そして、ステップＳ４０５において、作成されたコントラストマップを用いて、図２のステップＳ２０３で選択したトライマップフレームを修正する。そして、ステップＳ４０６に進み、処理を終了する。なお、本実施形態では、予めユーザによりトライマップフレームを選択した後に、撮影を行っているが、作成したコントラストマップに基づいて、輪郭が最も類似するトライマップフレームを検索して選択するようにしてもよい。
【００２６】
次に、図６を参照しながらトライマップの修正について説明する。
図６は、本実施形態において、トライマップを修正する手順の概要を示す図である。
図６において、画像６０１は撮影した画像を示しており、撮影した画像のコントラストの高い部分を濃い黒で記述し、コントラストの低い部分を薄い黒で記述している。コントラストの高い部分および低い部分は、コントラストマップから検出する。６０２は図２のステップＳ２０３で選択されたトライマップフレームである。６０３はトライマップフレーム内にコントラストマップを合成した場合にコントラストの高い部分の分布のみを表した画像である。この結果からコントラストの高い部分に囲まれた部分を前景とみなすことにより、トライマップ６０４を作成することができる。撮影した画像は主被写体にピントが合っており、その部分がもっともコントラストが高い。従って、コントラストマップを用いてトライマップフレームを修正することにより、撮影画像に応じたトライマップを高精度に作成することができる。
【００２７】
また、図２のステップＳ２０６においては、作成したトライマップから、未知部分とラベル付けされた画素とを前景及び背景として、例えば非特許文献１に記載のクローズドフォーム処理などを用いてマット画像を作成する。
【００２８】
以上のように本実施形態によれば、トライマップフレームを最初にユーザが選択し、撮影時にコントラストマップを用いてトライマップを修正することにより、適切なマット画像を作成することができる。
【００２９】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2011254145.tif 000003
【図２】
2011254145.tif 000004
【図３】
2011254145.tif 000005
【図４】
2011254145.tif 000006
【図５】
2011254145.tif 000007
【図６】
2011254145.tif 000008
【図７】
2011254145.tif 000009