(57)【要約】【課題】複数の付箋紙が貼られた貼付面を撮影した際の環境や条件に関わらず、撮影された画像情報から付箋紙部分の画像情報を抽出する画像処理装置及び画像処理プログラムを提供する。【解決手段】画像処理装置１は、複数の付箋紙２ａ、２ｂ、２ｃ…を撮影した画像情報１１１から、付箋紙２ａ、２ｂ、２ｃ…に用いられる色に対して、色空間上の変数について複数の閾値のそれぞれを満足する画素の抽出を行う色抽出手段１０２と、複数の閾値のそれぞれについて、色抽出手段によって抽出された画素の集合を矩形の領域に切り出す矩形切出手段１０４と、矩形領域切出手段１０４によって切り出された領域の数が最大となる閾値を採用すべき閾値を決定する閾値決定手段１０５と、閾値決定手段１０５によって決定された閾値で画像情報１１１から切出される画像を付箋画像情報１１３として切り出す付箋画像切出手段１０６とを有する。【選択図】図１
2015075925.tif 000002
【特許請求の範囲】
【請求項１】
複数の付箋紙を含む画像情報から、前記付箋紙に用いられる色に対して、色空間上のあらかじめ用意した複数の閾値により画素の抽出を行う色抽出手段と、
前記複数の閾値のそれぞれについて、前記色抽出手段によって抽出された画素の集合である領域を切り出す領域切出手段と、
前記領域切出手段によって切り出された領域の数に基づいて前記複数の閾値から採用すべき閾値を決定する決定手段と、
前記決定手段によって決定された閾値で前記画像情報から付箋画像を切り出す付箋画像切出手段とを有する画像処理装置。
【請求項２】
前記決定手段は、前記領域切出手段によって切り出された領域の数が最大である閾値を前記採用すべき閾値とする請求項１に記載の画像処理装置。
【請求項３】
前記領域切出手段は、前記領域として予め定められた形状に前記領域を切り出す請求項１又は２に記載の画像処理装置。
【請求項４】
コンピュータを、
複数の付箋紙を含む画像情報から、前記付箋紙に用いられる色に対して、色空間上のあらかじめ用意した複数の閾値により画素の抽出を行う色抽出手段と、
前記複数の閾値のそれぞれについて、前記色抽出手段によって抽出された画素の集合である領域を切り出す領域切出手段と、
前記領域切出手段によって切り出された領域の数に基づいて前記複数の閾値から採用すべき閾値を決定する決定手段と、
前記決定手段によって決定された閾値で前記画像情報から付箋画像を切り出す付箋画像切出手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
従来の技術として、ディスプレイ上に貼られた付箋紙を電子化する画像処理装置が提案されている（例えば、特許文献１参照）。
【０００３】
特許文献１に開示された画像処理装置は、電子文書が表示されているディスプレイ上に貼られた付箋紙をカメラで撮像し、得られた画像情報を解析して画像情報のうち付箋紙に該当する部分を付箋紙画像情報として抽出するとともに、当該付箋紙画像情報を電子文書と関連付ける。また、画像処理装置は、予め定めた形状の付箋紙及び予め定めた形状のディスプレイを用いることにより、画像情報から付箋紙画像情報を抽出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１４３０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、複数の付箋紙が貼られた貼付面を撮影した際の環境や条件に関わらず、撮影された画像情報から付箋紙部分の画像情報を抽出する画像処理装置及び画像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、上記目的を達成するため、以下の画像処理装置及び画像処理プログラムを提供する。
【０００７】
［１］複数の付箋紙を含む画像情報から、前記付箋紙に用いられる色に対して、色空間上のあらかじめ用意した複数の閾値により画素の抽出を行う色抽出手段と、
前記複数の閾値のそれぞれについて、前記色抽出手段によって抽出された画素の集合である領域を切り出す領域切出手段と、
前記領域切出手段によって切り出された領域の数に基づいて前記複数の閾値から採用すべき閾値を決定する決定手段と、
前記決定手段によって決定された閾値で前記画像情報から付箋画像を切り出す付箋画像切出手段とを有する画像処理装置。
【０００８】
［２］前記決定手段は、前記領域切出手段によって切り出された領域の数が最大である閾値を前記採用すべき閾値とする前記［１］に記載の画像処理装置。
【０００９】
［３］前記領域切出手段は、前記領域として予め定められた形状に前記領域を切り出す前記［１］又は［２］に記載の画像処理装置。
【００１０】
［４］コンピュータを、
複数の付箋紙を含む画像情報から、前記付箋紙に用いられる色に対して、色空間上のあらかじめ用意した複数の閾値により画素の抽出を行う色抽出手段と、
前記複数の閾値のそれぞれについて、前記色抽出手段によって抽出された画素の集合である領域を切り出す領域切出手段と、
前記領域切出手段によって切り出された領域の数に基づいて前記複数の閾値から採用すべき閾値を決定する決定手段と、
前記決定手段によって決定された閾値で前記画像情報から付箋画像を切り出す付箋画像切出手段として機能させるための画像処理プログラム。
【発明の効果】
【００１１】
請求項１又は４に係る発明によれば、複数の付箋紙が貼られた貼付面を撮影した際の環境や条件に関わらず、撮影された画像情報から付箋紙部分の画像情報を抽出することができる。
【００１２】
請求項２に係る発明によれば、切り出された領域の数が最大である閾値を採用すべき閾値とすることができる。
【００１３】
請求項３に係る発明によれば、予め定められた形状に領域を切り出すことができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施の形態に係る画像処理装置の構成の一例を示す概略図である。
【図２】図２は、画像処理装置の基本動作を説明するための概略図である。
【図３】図３（ａ）−（ｅ）は、画像処理装置の閾値決定動作を説明するための概略図である。
【図４】図４（ａ）−（ｅ）は、画像処理装置の付箋切出動作を説明するための概略図である。
【図５】図５は、画像処理装置の動作例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
［実施の形態］
（画像処理装置の構成）
図１は、実施の形態に係る画像処理装置の構成の一例を示す概略図である。
【００１６】
画像処理装置１は、一例として、携帯電話やタブレット型ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）等の画像処理装置であって、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、文字や画像等を表示する表示部１２と、画像処理装置１を操作するための操作部１３と、ネットワークを介して外部と通信する通信部１４と、レンズ及びＣＣＤ等から構成され撮像することで画像情報を生成する撮像部１５等を備える。
【００１７】
制御部１０は、後述する画像処理プログラム１１０を実行することで、画像情報取得手段１００、色空間変換手段１０１、色抽出手段１０２、２値化手段１０３、矩形切出手段１０４、閾値決定手段１０５及び付箋画像切出手段１０６等として機能する。
【００１８】
画像情報取得手段１００は、複数の付箋紙が貼られた貼付面を撮影した画像情報１１１を記憶部１１から取得する。なお、画像情報１１１は、撮像部１５により撮影されたものであってもよいし、通信部１４を介して外部から取得したものであってもよい。
【００１９】
色空間変換手段１０１は、画像情報１１１の色空間が、一例として、ＲＧＢだった場合に、ＨＳＶへと変換する。なお、色空間はＨＳＶに限らず、以下に説明する色抽出が良好に行えるものであれば他の色空間に変換してもよいし、変換せずにＲＧＢとしてもよい。
【００２０】
色抽出手段１０２は、色変換された画像情報１１１から予め定められた色（ピンク、黄色、水色）のそれぞれについて、閾値を満足する画素を抽出する。なお、閾値は、閾値情報１１２に予め複数設定され、複数の閾値のそれぞれについて画素を抽出する。
【００２１】
２値化手段１０３は、予め定められた色（ピンク、黄色、水色）のそれぞれについて、色抽出手段１０２が抽出した画素を「１」（白）とし、それ以外を「０」（黒）とすることで２値化する。
【００２２】
矩形切出手段１０４は、領域切出手段の一例であり、予め定められた色（ピンク、黄色、水色）のそれぞれについて、２値化手段１０３により「１」（白）とされた画素の集合である領域を、形状の一例として矩形の領域に切り出す。なお、矩形の領域に限らず、多角形の領域や曲線で構成された領域、任意の閉じた領域に切り出してもよい。また、付箋２ａ、２ｂ、２ｃ…の形状を予め登録しておき、当該登録された形状の領域に切り出してもよい。
【００２３】
閾値決定手段１０５は、予め定められた色（ピンク、黄色、水色）のそれぞれについて、矩形切出手段１０４により切り出された矩形の領域の数をカウントし、矩形の領域の数が最も多い閾値を採用すべき閾値に決定する。
【００２４】
付箋画像切出手段１０６は、予め定められた色（ピンク、黄色、水色）のそれぞれについて、画像情報１１１から、決定された閾値により切り出される矩形の領域の画像を付箋画像情報１１３として切り出す。
【００２５】
記憶部１１は、制御部１０を上述した各手段１０１−１０６として動作させる画像処理プログラム１１０、画像情報１１１、閾値情報１１２及び付箋画像情報１１３等を記憶する。
【００２６】
なお、画像処理装置１は、画像情報１１１を外部から通信部１４を介して取得する場合は、撮像部１５を省略してもよい。さらに、画像処理装置１は、表示部１２及び操作部１３を省略し、外部の端末から通信部１４を介して要求を受信し動作するサーバ装置であってもよい。
【００２７】
（画像処理装置の動作）
次に、本実施の形態の作用を、（１）基本動作、（２）閾値決定動作、（３）付箋切出動作に分けて説明する。
【００２８】
（１）基本動作
図２は、画像処理装置１の基本動作を説明するための概略図である。
【００２９】
図２に示すように、まず、利用者４は、例えばブレインストーミングのため、付箋２ａ、２ｂ、２ｃ…に書き込み等をし、ホワイトボード３の書き込み面を貼付面として付箋２ａ、２ｂ、２ｃ…を貼っていく。付箋２ａ、２ｂ、２ｃ…は、様々な形状が考えられるが、説明のため矩形状のものについて以下説明する。また、付箋２ａ、２ｂ、２ｃ…は、複数の大きさのものを用意してもよい。
【００３０】
次に、利用者４は、ブレインストーミングを終えると、付箋２ａ、２ｂ、２ｃ…の貼られたホワイトボード３の書き込み面を画像処理装置１の撮像部１５により撮影する。
【００３１】
画像処理装置１は、撮像部１５により撮影が実行されると、撮影した画像を画像情報１１１として記憶部１１に記憶する。
【００３２】
利用者４は、ホワイトボード３上に貼られた付箋２ａ、２ｂ、２ｃ…を後日利用するため、付箋２ａ、２ｂ、２ｃ…の電子化を画像処理装置１に要求する。つまり、画像情報１１１に撮影された付箋２ａ、２ｂ、２ｃ…の画像をそれぞれ切り出して付箋画像情報１１３とするよう要求する。
【００３３】
上記要求がなされた場合の画像処理装置１の動作について以下説明する。
【００３４】
（２）閾値決定動作
図５は、画像処理装置１の動作例を示すフローチャートである。また、図３（ａ）−（ｅ）は、画像処理装置１の閾値決定動作を説明するための概略図である。
【００３５】
まず、画像情報取得手段１００は、図３（ａ）に示すように、画像情報１１１の一例として画像情報１１１ａを記憶部１１から取得する（Ｓ１）。画像情報１１１ａは、ピンクの付箋２ｐ１、２ｐ２、２ｐ３、黄色の付箋２ｙ１、２ｙ２、２ｙ３、２ｙ４、２ｙ５、２ｙ６、水色の付箋２ｂ１、２ｂ２、２ｂ３が撮影されたものであるとする。
【００３６】
次に、色空間変換手段１０１は、画像情報１１１ａの色空間がＲＧＢだった場合に、ＨＳＶへと変換する（Ｓ２）。
【００３７】
次に、色抽出手段１０２は、色変換された画像情報１１１から予め定められた色（ピンク、黄色、水色）のそれぞれについて、閾値を満足する画素を抽出する。まず、閾値は、閾値情報１１２に予め複数設定された複数の閾値のうち、第１番目の閾値１ｐで画素を抽出する（Ｓ３）。以下、説明を簡単にするため、ピンクについて抽出する場合について述べる。
【００３８】
閾値１ｐは、図３（ｃ）に示すように、閾値が９０から１００の間に幅を持たせて設定されているものとする。なお、閾値１ｐは、ＨＳＶ空間の場合、Ｈ（色相）、Ｓ（彩度）、Ｖ（明度）のパラメータの最小値が０で最大値が２５５としたとき、Ｈ、Ｓ、Ｖのそれぞれについて幅を有するものであるが、図３（ｃ）の例では、説明を簡単にするためＨのパラメータの閾値だけ示している。
【００３９】
次に、２値化手段１０３は、図３（ｂ）に示すように、ピンクについて色抽出手段１０２が閾値１ｐに含まれるとして抽出した画素を「１」（白）とし、それ以外を「０」（黒）とすることで２値化する（Ｓ４）。
【００４０】
次に、矩形切出手段１０４は、図３（ｂ）に示すように、ピンクについて２値化手段１０３により「１」（白）とされた画素の領域を一例として矩形の領域１０４ａ１及び１０４ａ３（矩形１０４ａ）に切り出す（Ｓ５）。
【００４１】
次に、閾値決定手段１０５は、ピンクについて閾値１ｐで矩形切出手段１０４により切り出された矩形の領域の数を「２」とカウントする（Ｓ６）。
【００４２】
次に、色抽出手段１０２は、ピンクの閾値２ｐで画像情報１１１から画素を抽出する（Ｓ８）。閾値１ｐは、図３（ｅ）に示すように、閾値が９５から１０５の間に幅を持たせて設定されているものとする。
【００４３】
次に、２値化手段１０３は、図３（ｄ）に示すように、ピンクについて色抽出手段１０２が閾値２ｐに含まれるとして抽出した画素を「１」（白）とし、それ以外を「０」（黒）とすることで２値化する（Ｓ４）。
【００４４】
次に、矩形切出手段１０４は、図３（ｄ）に示すように、ピンクについて２値化手段１０３により「１」（白）とされた画素の領域を一例として矩形の領域１０４ｂ１‐１０４ｂ３（矩形１０４ｂ）に切り出す（Ｓ５）。
【００４５】
次に、閾値決定手段１０５は、ピンクについて閾値２ｐで矩形切出手段１０４により切り出された矩形の領域の数を「３」とカウントする（Ｓ６）。
【００４６】
上記したステップＳ３−Ｓ８は、２以上の複数の閾値について繰り返され、閾値決定手段１０５は、矩形数が最大となる閾値を採用する（Ｓ９）。なお、ピンクについては、矩形数が「３」であって最大である閾値２ｐが採用されたものとする。
【００４７】
上記した閾値の決定は、ピンク以外の各色（黄色、水色）についても実行されるものであり、黄色について閾値１ｙが採用され、水色について閾値３ｂが採用されたものとして、以下の付箋切出動作について説明する。
【００４８】
（３）付箋切出動作
図４（ａ）−（ｅ）は、画像処理装置１の付箋切出動作を説明するための概略図である。
【００４９】
矩形切出手段１０４は、図４（ａ）−（ｃ）に示す、各色（ピンク、黄色、水色）のそれぞれについて切り出した矩形１０４ｂｐ、矩形１０４ａｙ、矩形１０４ｃｂを、図４（ｄ）に示すように合成して矩形１０４ａｐ＋ｙ＋ｂとする（Ｓ１０）。
【００５０】
次に、付箋画像切出手段１０６は、画像情報１１１ａから合成した矩形１０４ａｐ＋ｙ＋ｂの矩形の領域の画像をピンクの付箋画像情報１１３ｐ１−１１３ｐ３、黄色の付箋画像情報１１３ｙ１−１１３ｙ６、水色の付箋画像情報１１３ｂ１−１１３ｂ３として切り出す（Ｓ１１）。
【００５１】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。例えば、ピンクの付箋画像情報１１３ｐ１−１１３ｐ３、黄色の付箋画像情報１１３ｙ１−１１３ｙ６、水色の付箋画像情報１１３ｂ１−１１３ｂ３のそれぞれに対し、対応する付箋のホワイトボード３の書き込み面に対する相対的な位置情報、傾き情報、オリジナル画像の撮影日時などを付随情報として記録してもよい。
【００５２】
上記実施の形態では制御部１０の各手段１００〜１０６の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ−ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。
【符号の説明】
【００５３】
１     画像処理装置
２     付箋
３     ホワイトボード
４     利用者
１０   制御部
１１   記憶部
１２   表示部
１３   操作部
１４   通信部
１５   撮像部
１００ 画像情報取得手段
１０１ 色空間変換手段
１０２ 色抽出手段
１０３ ２値化手段
１０４ 矩形切出手段
１０５ 閾値決定手段
１０６ 付箋画像切出手段
１１０ 画像処理プログラム
１１１ 画像情報
１１２ 閾値情報
１１３ 付箋画像情報
【図１】
2015075925.tif 000003
【図２】
2015075925.tif 000004
【図５】
2015075925.tif 000005
【図３】
2015075925.tif 000006
【図４】
2015075925.tif 000007