(57)【要約】【課題】二値化処理に係る閾値の設定を適正に行う。【解決手段】携帯端末１００であって、特定の被写体を含む画像を取得する画像取得部７ａと、特定の被写体の複数の色の比率に係る比率情報を取得する比率取得部７ｄと、取得された比率情報に基づいて、取得された特定の被写体を含む画像に対する二値化処理に係る閾値を設定する閾値設定部７ｅと、を備えている。【選択図】図１
2014071620.tif 000002
【特許請求の範囲】
【請求項１】
特定の被写体を含む画像を取得する画像取得手段と、
前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段と、
前記比率取得手段により取得された比率情報に基づいて、前記画像取得手段により取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段と、
を備えたことを特徴とする閾値設定装置。
【請求項２】
前記設定手段は、更に、前記特定の被写体を含む画像の画素値の分散を基準として、前記二値化処理に係る閾値を設定することを特徴とする請求項１に記載の閾値設定装置。
【請求項３】
前記設定手段は、更に、前記特定の被写体を含む画像の画素値を仮の閾値で分離する２つのクラス間の分離度を前記比率情報を基準として重み付けした評価値に基づいて、前記二値化処理に係る閾値を設定することを特徴とする請求項１又は２に記載の閾値設定装置。
【請求項４】
前記設定手段は、更に、前記２つのクラスの画素数の比率と前記比率情報に基づいて、前記分離度の当該比率情報を基準とする重み付け度合いを異ならせることを特徴とする請求項３に記載の閾値設定装置。
【請求項５】
前記設定手段は、更に、前記特定の被写体を含む画像の画素値の全体の分散に基づいて、前記分離度の前記比率情報を基準とする重み付け度合いを異ならせることを特徴とする請求項３又は４に記載の閾値設定装置。
【請求項６】
前記設定手段により設定された閾値に基づいて、前記特定の被写体を含む画像に対して二値化処理を施す二値化処理手段を更に備えることを特徴とする請求項１〜５の何れか一項に記載の閾値設定装置。
【請求項７】
前記特定の被写体は、マーカーであることを特徴とする請求項１〜６の何れか一項に記載の閾値設定装置。
【請求項８】
特定の被写体を撮像する撮像手段と、
前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段と、
前記比率取得手段により取得された比率情報に基づいて、前記撮像手段により撮像された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段と、
前記設定手段により設定されたし閾値に基づいて、前記特定の被写体を含む画像に二値化処理を施す二値化処理手段と、
前記二値化処理手段により二値化された前記特定の被写体を含む画像から、前記特定の被写体を検出する検出手段と、
を備えたことを特徴とする被写体検出装置。
【請求項９】
閾値設定装置を用いた閾値設定方法であって、
特定の被写体を含む画像を取得する処理と、
前記特定の被写体の複数の色の比率に係る比率情報を取得する処理と、
取得された比率情報に基づいて、取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する処理と、
を含むことを特徴とする閾値設定方法。
【請求項１０】
閾値設定装置のコンピュータを、
特定の被写体を含む画像を取得する画像取得手段、
前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段、
前記比率取得手段により取得された比率情報に基づいて、前記画像取得手段により取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、閾値設定装置、被写体検出装置、閾値設定方法及びプログラムに関する。
【背景技術】
【０００２】
従来、拡張現実（augmented reality：ＡＲ）技術として、撮像された画像におけるマーカー（実オブジェクト）の画像に対応付けて、仮想オブジェクト（例えば、三次元モデル等）を表示させる画像処理装置が知られている（例えば、特許文献１参照）。
この画像処理装置では、撮像されたフレーム画像の画像解析の結果に基づいて、フレーム画像におけるマーカーの画像の傾き（例えば、表示画面内における正視状態からの回転角度等）を検出して、当該マーカーの画像の傾きを初期値として記録しておく。また、画像処理装置は、逐次撮像されるフレーム画像におけるマーカーの傾きと初期値として記録されている傾きとの相対的な差分、具体的には、座標値の差分を算出する。そして、画像処理装置は、算出された座標値の差分から、所定のベクトルに沿うように仮想オブジェクトの画像を傾けて逐次表示させる処理を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−７２６６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、フレーム画像内からマーカー画像を検出する際に、当該フレーム画像に対して所定の閾値により二値化処理を行う場合があるが、マーカーを撮像する環境によってはフレーム画像のコントラストが変化してしまい、閾値の設定を適正に行うことができないといった問題がある。
【０００５】
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、二値化処理に係る閾値の設定を適正に行うことができる閾値設定装置、被写体検出装置、閾値設定方法及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明に係る閾値設定装置は、
特定の被写体を含む画像を取得する画像取得手段と、前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段と、前記比率取得手段により取得された比率情報に基づいて、前記画像取得手段により取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段と、を備えたことを特徴としている。
【０００７】
また、本発明に係る被写体検出装置は、
特定の被写体を撮像する撮像手段と、前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段と、前記比率取得手段により取得された比率情報に基づいて、前記撮像手段により撮像された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段と、前記設定手段により設定されたし閾値に基づいて、前記特定の被写体を含む画像に二値化処理を施す二値化処理手段と、前記二値化処理手段により二値化された前記特定の被写体を含む画像から、前記特定の被写体を検出する検出手段と、を備えたことを特徴としている。
【０００８】
また、本発明に係る閾値設定方法は、
閾値設定装置を用いた閾値設定方法であって、特定の被写体を含む画像を取得する処理と、前記特定の被写体の複数の色の比率に係る比率情報を取得する処理と、取得された比率情報に基づいて、取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する処理と、を含むことを特徴としている。
【０００９】
また、本発明に係るプログラムは、
閾値設定装置のコンピュータを、特定の被写体を含む画像を取得する画像取得手段、前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段、前記比率取得手段により取得された比率情報に基づいて、前記画像取得手段により取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段、として機能させることを特徴としている。
【発明の効果】
【００１０】
本発明によれば、二値化処理に係る閾値の設定を適正に行うことができる。
【図面の簡単な説明】
【００１１】
【図１】本発明を適用した一実施形態の携帯端末の概略構成を示すブロック図である。
【図２】図１の携帯端末によるマーカー検出処理に係る動作の一例を示すフローチャートである。
【図３】図２のマーカー検出処理に係る画像の一例を模式的に示す図である。
【図４】図２のマーカー検出処理に係る二値化処理画像の一例を模式的に示す図である。
【発明を実施するための形態】
【００１２】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【００１３】
図１は、本発明を適用した一実施形態の携帯端末１００の概略構成を示すブロック図である。
図１に示すように、携帯端末１００は、中央制御部１と、メモリ２と、撮像部３と、撮像制御部４と、画像データ生成部５と、マーカー情報記録部６と、マーカー検出処理部７と、表示部８と、表示制御部９と、送受話部１０と、通信制御部１１と、操作入力部１２等を備えている。
なお、携帯端末１００は、例えば、通信機能を具備する撮像装置や、携帯電話やＰＨＳ（Personal Handy-phone System）などの移動体通信網で用いられる移動局、ＰＤＡ（Personal Data Assistants）等から構成されている。
【００１４】
中央制御部１は、携帯端末１００の各部を制御する。具体的には、中央制御部１は、携帯端末１００の各部を制御するＣＰＵ（図示略）を具備し、各種処理プログラム（図示略）に従って各種の制御動作を行う。
【００１５】
メモリ２は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）等により構成され、画像情報等を一時的に記録するバッファメモリや、中央制御部１などのワーキングメモリ、当該携帯端末１００の機能に係る各種プログラムやデータが格納されたプログラムメモリ等（何れも図示略）を備えている。
【００１６】
撮像部（撮像手段）３は、特定の被写体（例えば、マーカーＭ；図３（ｂ）参照）を撮像してフレーム画像Ｆ（図３（ａ）参照）の画像信号を生成する。
ここで、特定の被写体とは、二次元画像であっても良いし、３次元形状の立体であっても良い。例えば、特定の被写体を二次元画像とした場合には、白抜きの略「Ｌ」字が表された正方形状のマーカーＭ等が挙げられる（図３（ｂ）参照）。
【００１７】
また、撮像部３は、レンズ部３ａと、電子撮像部３ｂとを備えている。
レンズ部３ａは、ズームレンズやフォーカスレンズ等の複数のレンズから構成されている。
電子撮像部３ｂは、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等のイメージセンサから構成され、レンズ部３ａの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、図示は省略するが、撮像部３は、レンズ部３ａを通過する光の量を調整する絞りを備えていても良い。
【００１８】
撮像制御部４は、撮像部３による被写体の撮像を制御する。即ち、撮像制御部４は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部４は、タイミング発生器、ドライバにより電子撮像部３ｂを走査駆動して、所定周期毎に光学像を電子撮像部３ｂにより二次元の画像信号に変換させ、当該電子撮像部３ｂの撮像領域から１画面分ずつフレーム画像Ｆを読み出して画像データ生成部５に出力させる。
また、撮像制御部４は、ＡＦ（自動合焦処理）、ＡＥ（自動露出処理）、ＡＷＢ（自動ホワイトバランス）等の被写体の撮像条件の調整制御を行う。
【００１９】
画像データ生成部５は、電子撮像部３ｂから転送されたフレーム画像Ｆのアナログ値の信号に対してＲＧＢの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒ（ＹＵＶデータ）を生成する。
また、画像データ生成部５は、生成したフレーム画像ＦのＹＵＶデータを水平及び垂直ともに所定倍率で縮小処理を行って、ライブビュー表示用の低解像度（例えば、ＶＧＡやＱＶＧＡサイズ等）の画像データを生成する。具体的には、画像データ生成部５は、表示部８によるライブビュー画像の所定の表示フレームレートに応じた所定のタイミングで、フレーム画像ＦのＹＵＶデータからライブビュー表示用の低解像度の画像データを生成する。
【００２０】
そして、画像データ生成部５は、生成された各フレーム画像ＦのＹＵＶデータをメモリ２に順次出力し、当該メモリ２に格納させる。
【００２１】
マーカー情報記録部６は、マーカーＭ（図３（ｂ）参照）に係る各種の情報を記録する。
具体的には、マーカー情報記録部６は、例えば、白黒の二色のマーカー（特定の被写体）Ｍの白色と黒色の比率Ｒに係る比率情報を記録する。また、マーカー情報記録部６は、マーカーＭの形状や寸法（例えば、一辺１２ｍｍの正方形等）に係る形状情報や寸法情報等を記録していても良い。
なお、上記したマーカーＭの色、形状、寸法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【００２２】
マーカー検出処理部７は、画像取得部７ａと、第１二値化処理部７ｂと、領域抽出部７ｃと、比率取得部７ｄと、閾値設定部７ｅと、第２二値化処理部７ｆとを具備している。
なお、マーカー検出処理部７の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
【００２３】
画像取得部７ａは、複数のフレーム画像Ｆ、…を逐次取得する。
即ち、画像取得部（画像取得手段）７ａは、マーカー（特定の被写体）Ｍが連続して撮像された複数の画像を逐次取得する。具体的には、画像取得部７ａは、撮像部３によりマーカーＭが連続して撮像されて画像データ生成部５により逐次生成された複数のフレーム画像Ｆ、…の所定の解像度の画像データ（例えば、輝度データ）をメモリ２から逐次取得する。
【００２４】
第１二値化処理部７ｂは、フレーム画像Ｆに対して適応型二値化処理を施す。
即ち、第１二値化処理部７ｂは、画像取得部７ａにより取得された複数のフレーム画像Ｆ、…の画像データの各々を処理対象として、当該フレーム画像Ｆの所定領域毎に局所的に異なる閾値を設定して二値化する適応型二値化処理を施し、第１二値化画像（図示略）の画像データを生成する。具体的には、第１二値化処理部７ｂは、周辺の画素の重み付き平均をとった値を適応型二値化処理の閾値とし、注目画素を中心とした正規分布になるように重みを設定する。
また、処理対象となるフレーム画像Ｆは、撮像部による特定の被写体の撮像の際に、撮像制御部４により露出やホワイトバランス等の撮像条件の調整制御が自動的に行われて、画像データ生成部５により生成されたフレーム画像Ｆである。
なお、適応型二値化処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２５】
領域抽出部７ｃは、フレーム画像Ｆからマーカー領域Ｓの画像を抽出する。
即ち、領域抽出部７ｃは、画像取得部７ａにより取得されたフレーム画像Ｆからマーカー（特定の被写体）Ｍが含まれるマーカー領域Ｓの画像を抽出する。具体的には、領域抽出部７ｃは、画像取得部７ａにより取得されたフレーム画像Ｆに対して第１二値化処理部７ｂにより適応型二値化処理が施されることで生成された第１二値化画像の画像データに対して所定の特徴抽出処理を行う。また、領域抽出部７ｃは、画像取得部７ａにより取得されたフレーム画像Ｆに対して第２二値化処理部７ｆにより閾値固定型二値化処理が施されることで生成された第２二値化画像Ｇの画像データに対して所定の特徴抽出処理を行う。そして、領域抽出部７ｃは、白抜きの略「Ｌ」字が表された正方形状のマーカーＭを構成する４隅の位置座標を取得して、当該４隅よりも内側部分をマーカー領域Ｓの画像として抽出する。
なお、特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
【００２６】
比率取得部７ｄは、マーカーＭに係る比率情報を取得する。
即ち、比率取得部（比率取得手段）７ｄは、マーカー（特定の被写体）Ｍの複数の色の比率Ｒに係る比率情報を取得する。具体的には、比率取得部７ｄは、例えば、マーカーＭの画像の白色と黒色の比率Ｒに係る比率情報をマーカー情報記録部６から読み出して取得する。
【００２７】
閾値設定部７ｅは、フレーム画像Ｆに対する第２二値化処理部７ｆによる二値化処理に係る閾値を設定する。
即ち、閾値設定部（閾値設定手段）７ｅは、比率取得部７ｄにより取得された比率情報に基づいて、画像取得部７ａにより取得されたマーカー（特定の被写体）Ｍを含む画像に対する二値化処理に係る閾値を設定する。具体的には、閾値設定部７ｅは、例えば、下記式（１）に従って、判別分析法による二値化処理に係る分離度ｄを比率情報を基準とする重みｗで重み付けした評価値ａを全ての閾値について算出する。そして、閾値設定部７ｅは、算出された複数の評価値ａを比較して、これらの中で評価値ａが最大となる閾値を特定し、第２二値化処理部７ｆによる閾値固定型二値化処理に係る閾値として設定する。
【数１】
2014071620.tif 000003
【００２８】
【数２】
2014071620.tif 000004
判別分析法による二値化処理とは、処理対象画像（マーカー領域Ｓの画像）の画素値（例えば、輝度値）の分散を基準として二値化する処理であり、当該画素値のヒストグラムを仮の閾値で分離する２つのクラス間の分離度ｄ（式（２）参照）が最大となる閾値を特定する。この分離度ｄは、分離された２つのクラスどうしのクラス間分散が大きいほど、或いは、各クラス内分散が小さくなるほど大きくなる。
なお、式（２）中、「n1」は、分離された２つのクラスのうち、何れか一のクラス（例えば、黒に対応するクラス等）の画素数を表し、「m1」は、当該一のクラスの画素値の平均値を表している。また、「n2」は、２つのクラスのうち、一のクラスと異なる他のクラス（例えば、白に対応するクラス等）の画素数を表し、「m2」は、当該他のクラスの画素値の平均値を表している。
【００２９】
【数３】
2014071620.tif 000005
また、比率情報を基準とする重みｗ（式（３）参照）は、分離された２つのクラスの画素数の比率（n1/n2）と白黒のマーカーＭの白色と黒色の比率Ｒや、マーカー領域Ｓの画像の画素値の全分散（σ）に基づいて、重み付け度合いを異ならせるように規定されている。
即ち、重みｗは、２つのクラスの画素数の比率（n1/n2）がマーカーＭの白色と黒色の比率Ｒに近いほど大きくなる。
また、重みｗは、マーカー領域Ｓの画像の画素値の全分散（σ）が小さくなるほど大きくなる。つまり、全分散（σ）が大きくなるほど、判別分析法により設定される閾値に近い値の閾値が設定され、一方、全分散（σ）が小さくなるほど、Ｐタイル法（Percentile Method）により設定される閾値に近い値の閾値が設定されることとなる。
なお、式（３）中、「σ」は、処理対象画像（マーカー領域Ｓの画像）の画素値のクラス間分散とクラス内分散の和である全分散を表し、「exp」は、底をネイピア数ｅとする指数関数を表している。
【００３０】
なお、上記した閾値固定型二値化処理に係る閾値の設定手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、例えば、マーカーＭを斜めから撮像した場合等には、端末本体に対するマーカーＭの相対的な姿勢が傾いてしまうため、当該相対的な姿勢に基づいて白黒のマーカーＭの白色と黒色の比率Ｒを補正しても良いし、所定の矩形変換処理後のマーカー領域Ｓの画像を処理対象画像として用いても良い。
【００３１】
第２二値化処理部７ｆは、フレーム画像Ｆに対して閾値固定型二値化処理を施す。
即ち、第２二値化処理部（二値化処理手段）７ｆは、閾値設定部７ｅにより設定された閾値に基づいて、画像取得部７ａにより取得されたフレーム画像Ｆに対して閾値固定型二値化処理を施す。具体的には、第２二値化処理部７ｆは、画像取得部７ａにより取得された複数のフレーム画像Ｆ、…の画像データの各々を処理対象として、閾値設定部７ｅにより設定された閾値で二値化する閾値固定型二値化処理を施し、第２二値化画像Ｇの画像データを生成する（図４（ａ）参照）。
また、第２二値化処理部７ｆによる閾値固定型二値化処理は、領域抽出部７ｃによりマーカー領域Ｓの画像が抽出された後、撮像制御部４により露出やホワイトバランス等の撮像条件が固定された状態で行われるようにしても良い。
【００３２】
表示部８は、例えば、液晶表示パネルから構成され、表示制御部９からのビデオ信号に基づいて撮像部３により撮像された画像（例えば、ライブビュー画像等）を表示画面に表示する。
【００３３】
表示制御部９は、メモリ２に一時的に記憶されている表示用の画像データを読み出して表示部８に表示させる制御を行う。
具体的には、表示制御部９は、ＶＲＡＭ（Video Random Access Memory）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部１の制御下にてメモリ２から読み出されてＶＲＡＭ（図示略）に記憶されている輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレート（例えば、３０ｆｐｓ）で読み出して、これらのデータを元にビデオ信号を発生して表示部８に出力する。
例えば、表示制御部９は、撮像部３及び撮像制御部４により撮像され画像データ生成部５により生成された複数のフレーム画像Ｆ、…を所定の表示フレームレートで逐次更新しながら表示部８にライブビュー表示させる。また、表示制御部９は、例えば、メモリ２から仮想画像の画像データを逐次取得して、当該仮想画像を表示部８に逐次ライブビュー表示させる。即ち、表示制御部９は、画像データ生成部５により生成された複数のフレーム画像Ｆ、…のうちのマーカー領域Ｓの画像に、マーカーＭと対応する仮想オブジェクト（例えば、三次元モデル等；図示略）を重畳させた仮想画像（図示略）を表示部８に逐次ライブビュー表示させる。
【００３４】
送受話部１０は、通信ネットワークＮを介して接続された外部機器の外部ユーザとの通話を行う。
具体的には、送受話部１０は、マイク１０ａ、スピーカ１０ｂ、データ変換部１０ｃ等を備えている。そして、送受話部１０は、マイク１０ａから入力されるユーザの送話音声をデータ変換部１０ｃによりＡ／Ｄ変換処理して送話音声データを中央制御部１に出力するとともに、中央制御部１の制御下にて、通信制御部１１から出力されて入力される受話音声データ等の音声データをデータ変換部１０ｃによりＤ／Ａ変換処理してスピーカ１０ｂから出力する。
【００３５】
通信制御部１１は、通信ネットワークＮ及び通信アンテナ１１ａを介してデータの送受信を行う。
即ち、通信アンテナ１１ａは、当該携帯端末１００が無線基地局（図示略）との通信で採用している所定の通信方式（例えば、Ｗ−ＣＤＭＡ(Wideband Code Division Multiple Access)方式、ＧＳＭ（Global System for Mobile Communications；登録商標）方式等）に対応したデータの送受信が可能なアンテナである。そして、通信制御部１１は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ１１ａを介してデータの送受信を行う。
即ち、通信制御部１１は、中央制御部１から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部１１の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線ＬＡＮモジュールを搭載し、アクセスポイント（Access Point）を介して通信ネットワークＮにアクセス可能な構成としても良い。
【００３６】
なお、通信ネットワークＮは、携帯端末１００を無線基地局やゲートウェイサーバ（図示略）等を介して接続する通信ネットワークである。また、通信ネットワークＮは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の様々な回線形態を適用することが可能である。また、通信ネットワークＮには、例えば、電話回線網、ＩＳＤＮ回線網、専用線、移動体通信網、通信衛星回線、ＣＡＴＶ回線網等の各種通信ネットワーク網と、ＩＰネットワーク、ＶｏＩＰ（Voice over Internet Protocol）ゲートウェイ、インターネットサービスプロバイダ等が含まれる。
【００３７】
操作入力部１２は、端末本体に対して各種指示を入力するためのものである。
具体的には、操作入力部１２は、被写体の撮影指示に係るシャッタボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキストの入力指示に係る数字ボタンや記号ボタン等の各種ボタン（何れも図示略）を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部１２は、操作されたボタンに応じた操作指示を中央制御部１に出力する。中央制御部１は、操作入力部１２から出力され入力された操作指示に従って所定の動作（例えば、被写体の撮像、電話の発着信、電子メールの送受信等）を各部に実行させる。
【００３８】
なお、操作入力部１２は、表示部８と一体となって設けられたタッチパネルを有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部１に出力しても良い。
【００３９】
次に、携帯端末１００による閾値設定方法を適用したマーカー検出処理について、図２及び図３を参照して説明する。
図２は、マーカー検出処理に係る動作の一例を示すフローチャートである。また、図３（ａ）は、フレーム画像Ｆの一例を模式的に示す図であり、図３（ｂ）は、マーカーＭの一例を模式的に示す図である。
なお、以下のマーカー検出処理にて検出されるマーカーＭは、例えば、鉢植えの観葉植物の鉢内の所定位置に配設されているものとする。
【００４０】
図２に示すように、先ず、撮像制御部４は、撮像部３にマーカーＭを撮像させ、画像データ生成部５は、電子撮像部３ｂから転送された複数のフレーム画像Ｆ、…の画像データを生成する（ステップＳ１；図３（ａ）参照）。このとき、撮像制御部４は、露出やホワイトバランス等の撮像条件の調整制御を自動的に行う。そして、画像データ生成部５は、生成された各フレーム画像ＦのＹＵＶデータをメモリ２に順次出力し、当該メモリ２に格納させる。
【００４１】
マーカー検出処理部７の画像取得部７ａは、画像データ生成部５により生成された何れか一のフレーム画像Ｆの画像データをメモリ２から取得する（ステップＳ２）。そして、第１二値化処理部７ｂは、画像取得部７ａにより取得されたフレーム画像Ｆの所定領域毎に局所的に異なる閾値を設定して二値化する適応型二値化処理を施し、第１二値化画像の画像データを生成する（ステップＳ３）。
【００４２】
次に、領域抽出部７ｃは、第１二値化処理部７ｂにより適応型二値化処理が施されることで生成された第１二値化画像の画像データに対して所定の特徴抽出処理を行い（ステップＳ４）、白抜きの略「Ｌ」字が表された正方形状のマーカーＭが検出されたか否かを判定する（ステップＳ５）。
ここで、マーカーＭが検出されていないと判定されると（ステップＳ５；ＮＯ）、中央制御部１のＣＰＵは、処理をステップＳ２に戻し、それ以降の処理の実行を制御する。即ち、上記ステップＳ２〜Ｓ４の各処理は、ステップＳ５にてマーカーＭが検出されたと判定（ステップＳ５；ＹＥＳ）されるまで、繰り返し実行される。
一方、マーカーＭが検出されたと判定されると（ステップＳ５；ＹＥＳ）、領域抽出部７ｃは、マーカーＭを構成する４隅の位置座標を取得して、当該４隅よりも内側部分をマーカー領域Ｓの画像として抽出する（ステップＳ６；図３（ａ）参照）。
【００４３】
続けて、比率取得部７ｄは、マーカー情報記録部６からマーカーＭの画像の白色と黒色の比率Ｒに係る比率情報を読み出して取得する（ステップＳ７）。
次に、閾値設定部７ｅは、比率取得部７ｄにより取得された比率情報に基づいて、下記式（１）に従って、判別分析法による二値化処理に係る分離度ｄを比率情報を基準とする重みｗで重み付けした評価値ａを算出し、当該評価値ａが最大となる閾値を閾値固定型二値化処理に係る閾値として設定する（ステップＳ８）。
【数４】
2014071620.tif 000006
その後、撮像制御部４は、露出やホワイトバランス等の撮像条件を固定した状態を維持する（ステップＳ９）。
【００４４】
次に、画像取得部７ａは、撮像部３によりマーカーＭが撮像されて画像データ生成部５により生成された何れか一のフレーム画像Ｆの画像データをメモリ２から取得する（ステップＳ１０）。
そして、第２二値化処理部７ｆは、画像取得部７ａにより取得されたフレーム画像Ｆの画像データを、閾値設定部７ｅにより設定された閾値で二値化する閾値固定型二値化処理を施し、第２二値化画像Ｇの画像データを生成する（ステップＳ１１；図４（ａ）参照）。
【００４５】
次に、領域抽出部７ｃは、検出手段として、第２二値化処理部７ｆにより閾値固定型二値化処理が施されることで生成された第２二値化画像Ｇの画像データに対して所定の特徴抽出処理を行い（ステップＳ１２）、略「Ｌ」字が表された正方形状のマーカーＭが検出されたか否かを判定する（ステップＳ１３）。
ここで、マーカーＭが検出されたと判定されると（ステップＳ１３；ＹＥＳ）、中央制御部１のＣＰＵは、処理をステップＳ１０に戻し、それ以降の処理の実行を制御する。即ち、上記ステップＳ１０〜Ｓ１２の各処理は、ステップＳ１３にてマーカーＭが検出されたと判定（ステップＳ１３；ＹＥＳ）されるまで、繰り返し実行される。
一方、マーカーＭが検出されていないと判定されると（ステップＳ１３；ＮＯ）、撮像制御部４は、露出やホワイトバランス等の撮像条件の固定を解除し（ステップＳ１４）、その後、中央制御部１のＣＰＵは、処理をステップＳ２に戻し、それ以降の処理の実行を制御する。
【００４６】
また、ステップＳ１３にてマーカーＭが検出されたと判定されると（ステップＳ１３；ＹＥＳ）、マーカー検出処理部７は、所定の座標変換式を解いて、マーカーＭの各点の三次元空間での座標をフレーム画像Ｆに対応する二次元の平面座標に変換して、表示制御部９は、フレーム画像Ｆのマーカー領域Ｓの画像中に、マーカーＭと対応する仮想オブジェクトを座標変換後の位置及び姿勢で重畳させた仮想画像を表示部８にライブビュー表示させる。
【００４７】
以上のように、本実施形態の携帯端末１００によれば、特定の被写体（マーカーＭ）の複数の色の比率Ｒに係る比率情報に基づいて、特定の被写体の画像に対する閾値固定型二値化処理に係る閾値を設定するので、既知の特定の被写体の複数の色の比率Ｒを利用して閾値固定型二値化処理に係る閾値を設定することができ、例えば、直射日光や物陰等により特定の被写体のフレーム画像Ｆ（マーカー領域Ｓの画像）のコントラストが変化してしまうような環境やフレーム画像Ｆからの特定の被写体の画像の抽出が困難な状況であっても当該閾値の設定を適正に行うことができる。
即ち、特定の被写体の複数の色の比率Ｒを考慮せずに二値化処理に係る閾値を設定してフレーム画像Ｆの二値化処理を行うと、マーカーＭが配置された環境によってはフレーム画像Ｆを二値化処理してもマーカーＭの形状的特徴が適正に表されない虞がある（図４（ｂ）参照）。これに対して、本実施形態の閾値設定処理を適用することで、マーカーＭの形状的特徴が適正に表された第２二値化画像Ｇを生成することができ（図４（ａ）参照）、当該画像内でのマーカー領域Ｓの画像の特定を適正に行うことができることとなる。
【００４８】
また、特定の被写体の画像の画素値の分散を基準として、閾値固定型二値化処理に係る閾値を設定することができる。具体的には、特定の被写体の画像の画素値を仮の閾値で分離する２つのクラス間の分離度ｄを比率情報を基準として重み付けした評価値ａに基づいて、閾値固定型二値化処理に係る閾値を設定するので、２つのクラスどうしのクラス間分散や各クラス内分散を基準とする分離度ｄを既知の特定の被写体の複数の色の比率Ｒで重み付けした評価値ａを基準として適正な閾値を設定することができる。
また、２つのクラスの画素数の比率（n1/n2）と白黒のマーカーＭの白色と黒色の比率Ｒに係る比率情報や、マーカー領域Ｓの画像の画素値の全体の分散（σ）に基づいて、分離度ｄの比率情報を基準とする重み付け度合いを異ならせるので、処理対象画像の画素値の分散を基準として二値化する処理にて２つのクラス間の分離度ｄの重み付けを適正に行うことができ、算出された評価値ａを基準として適正な閾値を設定することができる。
【００４９】
さらに、設定された閾値に基づいて、特定の被写体の画像に対して閾値固定二値化処理を施すことで、特定の被写体の画像の二値化を適正に行うことができ、この結果、特定の被写体（マーカーＭ）の姿勢や位置の推定、マーカーＭに対応する仮想オブジェクトの表示を適正に行うことができる。
【００５０】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、設定された閾値に基づいて、特定の被写体の画像に対して閾値固定二値化処理を施すようにしたが、必ずしも閾値固定二値化処理を施す必要はなく、第２二値化処理部７ｆを具備するか否かは適宜任意に変更可能である。
【００５１】
さらに、携帯端末１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではなく、少なくとも画像取得手段、比率取得手段、設定手段を備える構成であれば適宜任意に変更することができる。即ち、携帯端末１００は、必ずしも撮像部３を具備する必要はなく、外部の撮像装置により撮像された画像を取得して、特定の被写体の画像に対する二値化処理に係る閾値を設定する処理を行うようにしても良い。
【００５２】
加えて、上記実施形態にあっては、画像取得手段、比率取得手段、設定手段としての機能を、携帯端末１００の中央制御部１の制御下にて、画像取得部７ａ、比率取得部７ｄ、閾値設定部７ｅが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリに、画像取得処理ルーチン、比率取得処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、画像取得処理ルーチンにより中央制御部１のＣＰＵを、特定の被写体を含む画像を取得する手段として機能させるようにしても良い。また、比率取得処理ルーチンにより中央制御部１のＣＰＵを、特定の被写体の複数の色の比率に係る比率情報を取得する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部１のＣＰＵを、取得された比率情報に基づいて、取得された特定の被写体を含む画像に対する二値化処理に係る閾値を設定する手段として機能させるようにしても良い。
【００５３】
同様に、処理手段、検出手段についても、中央制御部１のＣＰＵによって所定のプログラム等が実行されることにより実現される構成としても良い。
【００５４】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ＲＯＭやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ（搬送波）も適用される。
【００５５】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
特定の被写体を含む画像を取得する画像取得手段と、
前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段と、
前記比率取得手段により取得された比率情報に基づいて、前記画像取得手段により取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段と、
を備えたことを特徴とする閾値設定装置。
＜請求項２＞
前記設定手段は、更に、前記特定の被写体を含む画像の画素値の分散を基準として、前記二値化処理に係る閾値を設定することを特徴とする請求項１に記載の閾値設定装置。
＜請求項３＞
前記設定手段は、更に、前記特定の被写体を含む画像の画素値を仮の閾値で分離する２つのクラス間の分離度を前記比率情報を基準として重み付けした評価値に基づいて、前記二値化処理に係る閾値を設定することを特徴とする請求項１又は２に記載の閾値設定装置。
＜請求項４＞
前記設定手段は、更に、前記２つのクラスの画素数の比率と前記比率情報に基づいて、前記分離度の当該比率情報を基準とする重み付け度合いを異ならせることを特徴とする請求項３に記載の閾値設定装置。
＜請求項５＞
前記設定手段は、更に、前記特定の被写体を含む画像の画素値の全体の分散に基づいて、前記分離度の前記比率情報を基準とする重み付け度合いを異ならせることを特徴とする請求項３又は４に記載の閾値設定装置。
＜請求項６＞
前記設定手段により設定された閾値に基づいて、前記特定の被写体を含む画像に対して二値化処理を施す二値化処理手段を更に備えることを特徴とする請求項１〜５の何れか一項に記載の閾値設定装置。
＜請求項７＞
前記特定の被写体は、マーカーであることを特徴とする請求項１〜６の何れか一項に記載の閾値設定装置。
＜請求項８＞
特定の被写体を撮像する撮像手段と、
前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段と、
前記比率取得手段により取得された比率情報に基づいて、前記撮像手段により撮像された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段と、
前記設定手段により設定されたし閾値に基づいて、前記特定の被写体を含む画像に二値化処理を施す二値化処理手段と、
前記二値化処理手段により二値化された前記特定の被写体を含む画像から、前記特定の被写体を検出する検出手段と、
を備えたことを特徴とする被写体検出装置。
＜請求項９＞
閾値設定装置を用いた閾値設定方法であって、
特定の被写体を含む画像を取得する処理と、
前記特定の被写体の複数の色の比率に係る比率情報を取得する処理と、
取得された比率情報に基づいて、取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する処理と、
を含むことを特徴とする閾値設定方法。
＜請求項１０＞
閾値設定装置のコンピュータを、
特定の被写体を含む画像を取得する画像取得手段、
前記特定の被写体の複数の色の比率に係る比率情報を取得する比率取得手段、
前記比率取得手段により取得された比率情報に基づいて、前記画像取得手段により取得された前記特定の被写体を含む画像に対する二値化処理に係る閾値を設定する設定手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【００５６】
１００  携帯端末
１      中央制御部
３      撮像部
７      マーカー検出処理部
７ａ    画像取得部
７ｃ    領域抽出部
７ｄ    比率取得部
７ｅ    閾値設定部
７ｆ    第２二値化処理部
Ｆ      フレーム画像
Ｍ      マーカー
Ｓ      マーカー領域
【図１】
2014071620.tif 000007
【図２】
2014071620.tif 000008
【図３】
2014071620.tif 000009
【図４】
2014071620.tif 000010