(57)【特許請求の範囲】
【請求項１】
装置であって、
画像を取得するよう構成されたカメラと、
前記画像に関連する紫外（ＵＶ）線データと赤外（ＩＲ）線データとを作成するよう構成された電磁放射センサと、
発光体種類確率を、前記ＵＶ線データと前記ＩＲ線データとを使用して確率データから決定するよう構成されたセンサプロセッサであって、前記発光体種類確率は、前記画像に関連する光源が特定の発光体種類であるという確信度を示し、前記確率データは、前記ＵＶ線データと前記ＩＲ線データとの比率の比率値に対する確率を提供する、比率確率関係を含む、センサプロセッサと、
オートホワイトバランスを、前記発光体種類確率に基づき調整するよう構成されたオートホワイトバランス部と、を備える装置。
【請求項２】
前記センサプロセッサは、前記発光体種類確率を、前記ＵＶ線データがあるＵＶ値範囲内にあるか否かと、前記ＩＲ線データがあるＩＲ値範囲内にあるか否かとに基づき、確信閾値を上回るものとして判定するよう構成され、前記発光体種類確率が前記確信閾値を上回ることは、前記光源が前記特定の発光体種類として分類可能であることを示す、請求項１に記載の装置。
【請求項３】
前記センサプロセッサは、前記発光体種類確率が確信閾値を上回る場合に、前記画像に関連する前記光源は昼光であると判定するように構成され、前記発光体種類確率は、前記ＵＶ線データが第１上位閾値を上回り、かつ前記ＩＲ線データが第２上位閾値を上回る場合に、前記確信閾値を上回る、請求項１または２に記載の装置。
【請求項４】
前記センサプロセッサは、前記発光体種類確率が確信閾値を上回る場合に、前記画像に関連する前記光源は蛍光灯であると判定するように構成され、前記発光体種類確率は、前記ＵＶ線データが中上位閾値と中下位閾値との間にあり、かつ前記ＩＲ線データが下位閾値を下回る場合に、前記確信閾値を上回る、請求項１乃至３のいずれか一項に記載の装置。
【請求項５】
前記センサプロセッサは、前記発光体種類確率が確信閾値を上回る場合に、前記画像に関連する前記光源は白熱灯であると判定するように構成され、前記発光体種類確率は、前記ＵＶ線データが中上位閾値と中下位閾値との間にあり、かつ前記ＩＲ線データが上位閾値を上回る場合に、前記確信閾値を上回る、請求項１乃至４のいずれか一項に記載の装置。
【請求項６】
前記センサプロセッサは、前記発光体種類確率が確信閾値を上回る場合に、前記画像に関連する前記光源は可視発光ダイオード（ＬＥＤ）であると判定するように構成され、前記発光体種類確率は、前記ＵＶ線データが第１下位閾値を下回り、かつ前記ＩＲ線データが第２下位閾値を下回る場合に、前記確信閾値を上回る、請求項１乃至５のいずれか一項に記載の装置。
【請求項７】
前記確率データは、ＵＶ確率関係とＩＲ確率関係とのうちの１つ以上を含み、前記ＵＶ確率関係は、輝度値に対するＵＶ値の配置を提供し、前記ＵＶ確率関係は、前記ＵＶ値と前記輝度値との組み合わせに対する確率を示し、前記ＩＲ確率関係は、前記輝度値に対するＩＲ値の配置を提供し、前記ＩＲ確率関係は、前記ＩＲ値と前記輝度値との組み合わせに対する確率を示す、請求項１乃至６のいずれか一項に記載の装置。
【請求項８】
前記センサプロセッサは、前記画像に関連する輝度が閾値を下回る場合、前記比率確率関係を用いて前記発光体種類確率を決定する、請求項１乃至７のいずれか一項に記載の装置。
【請求項９】
前記カメラおよび前記電磁放射センサは、インターフェイスバスおよび電源接続を共有する、請求項１乃至８のいずれか一項に記載の装置。
【請求項１０】
前記カメラは、前記装置のディスプレイ画面と同じ側に配置されたフロントカメラである、請求項１乃至９のいずれか一項に記載の装置。
【請求項１１】
実行可能な命令を記憶する、非一時的なコンピュータ可読媒体であって、前記実行可能な命令は、実行された場合に、１つ以上のプロセッサに、
画像を取得する工程と、
前記画像に関連する紫外（ＵＶ）線データおよび赤外（ＩＲ）線データを作成する工程と、
前記画像に関連する輝度が閾値を上回るかどうかを判定する工程と、
前記輝度が前記閾値を上回る場合に、第１の方法によって前記ＵＶ線データおよび前記ＩＲ線データを使用して確率データから発光体種類確率を決定する工程であって、前記発光体種類確率は、前記画像に関連する光源が特定の発光体種類であるという確信度を示す、工程と、
前記輝度が前記閾値を下回る場合に、第２の方法によって前記ＵＶ線データおよび前記ＩＲ線データを使用して前記確率データから前記発光体種類確率を決定する工程であって、前記第１の方法は、前記第２の方法とは異なる、工程と、
前記第１の方法または前記第２の方法によって前記発光体種類確率に基づきオートホワイトバランス（ＡＷＢ）を調整する、調整工程と、を行わせる非一時的なコンピュータ可読媒体。
【請求項１２】
前記確率データはＵＶ確率関係およびＩＲ確率関係を含み、前記第１の方法は、実行された場合に、前記１つ以上のプロセッサに、
前記ＵＶ線データの絶対値および前記ＩＲ線データの絶対値を決定する工程と、
ＵＶ確率を、前記ＵＶ確率関係から、前記ＵＶ線データの前記絶対値に基づき取得する工程と、
ＩＲ確率を、前記ＩＲ確率関係から、前記ＩＲ線データの前記絶対値に基づき取得する工程と、
前記発光体種類確率を、前記ＵＶ確率および前記ＩＲ確率に基づき算出する工程と、を行わせる実行可能な命令を含む請求項１１に記載の非一時的なコンピュータ可読媒体。
【請求項１３】
前記確率データは比率確率関係を含み、前記第２の方法は、実行された場合に、前記１つ以上のプロセッサに、
前記ＵＶ線データの値と前記ＩＲ線データの値の比率を算出する工程と、
前記比率を使用して、前記比率確率関係から前記発光体種類確率を取得する工程と、を行わせる実行可能な命令を含む請求項１１または１２に記載の非一時的なコンピュータ可読媒体。
【請求項１４】
前記発光体種類確率は、前記ＵＶ線データがあるＵＶ値範囲内にあるか否かと、前記ＩＲ線データがあるＩＲ値範囲内にあるか否かとに基づき、確信閾値を上回るものとして判定され、前記発光体種類確率が前記確信閾値を上回ることは、前記光源が前記特定の発光体種類として分類可能であることを示す、請求項１１乃至１３のいずれか一項に記載の非一時的なコンピュータ可読媒体。
【請求項１５】
前記調整工程を行わせる前記実行可能な命令は、実行された場合に、前記１つ以上のプロセッサに、
前記画像のＡＷＢ統計サンプルを前記確率データからの前記発光体種類確率で重み付けすることを含む、ＡＷＢゲインの量を初期決定することに先立って前記確率データからの前記発光体種類確率を組み込む工程、を行わせる実行可能な命令を含む請求項１１乃至１４のいずれか一項に記載の非一時的なコンピュータ可読媒体。
【請求項１６】
前記調整工程を行わせる前記実行可能な命令は、実行された場合に、前記１つ以上のプロセッサに、
前記確率データからの前記発光体種類確率を、決定修正ヒューリスティクスおよび時間的ヒューリスティクスの一部として組み込む工程、を行わせる実行可能な命令を含む請求項１５に記載の非一時的なコンピュータ可読媒体。
【請求項１７】
方法であって、
カメラが、画像を取得する工程と、
電磁放射センサが、前記画像に関連する紫外（ＵＶ）線データおよび赤外（ＩＲ）線データを作成する工程と、
センサプロセッサが、発光体種類確率を、前記ＵＶ線データおよび前記ＩＲ線データを使用して、第１の方法または第２の方法によって、確率データから決定する工程であって、前記発光体種類確率は、前記画像に関連する光源が特定の発光体種類であるという確信度を示す、工程と、
オートホワイトバランス（ＡＷＢ）部が、オートホワイトバランスを、前記発光体種類確率に基づき調整する、調整工程と、を備え、
前記確率データはＵＶ確率関係およびＩＲ確率関係を含み、前記第１の方法は、
ＵＶ確率を、前記ＵＶ確率関係から、前記画像に関連する前記ＵＶ線データの絶対値および輝度値を使用して取得する工程と、
ＩＲ確率を、前記ＩＲ確率関係から、前記画像に関連する前記ＩＲ線データの絶対値および前記輝度値に基づき取得する工程と、
前記発光体種類確率を、前記ＵＶ確率に前記ＩＲ確率を乗じることで算出する工程と、を含む方法。
【請求項１８】
方法であって、
カメラが、画像を取得する工程と、
電磁放射センサが、前記画像に関連する紫外（ＵＶ）線データおよび赤外（ＩＲ）線データを作成する工程と、
センサプロセッサが、発光体種類確率を、前記ＵＶ線データおよび前記ＩＲ線データを使用して、第１の方法または第２の方法によって、確率データから決定する工程であって、前記発光体種類確率は、前記画像に関連する光源が特定の発光体種類であるという確信度を示す、工程と、
オートホワイトバランス（ＡＷＢ）部が、オートホワイトバランスを、前記発光体種類確率に基づき調整する、調整工程と、を備え、
前記確率データは比率確率関係を含み、前記第２の方法は、
前記ＵＶ線データの値と前記ＩＲ線データの値の比率を算出する工程と、
前記比率を使用して、前記比率確率関係から前記光源の前記特定の発光体種類と、前記特定の発光体種類の前記発光体種類確率とを決定する工程と、を含む方法。
【請求項１９】
方法であって、
カメラが、画像を取得する工程と、
電磁放射センサが、前記画像に関連する紫外（ＵＶ）線データおよび赤外（ＩＲ）線データを作成する工程と、
センサプロセッサが、発光体種類確率を、前記ＵＶ線データおよび前記ＩＲ線データを使用して、第１の方法または第２の方法によって、確率データから決定する工程であって、前記発光体種類確率は、前記画像に関連する光源が特定の発光体種類であるという確信度を示す、工程と、
オートホワイトバランス（ＡＷＢ）部が、オートホワイトバランスを、前記発光体種類確率に基づき調整する、調整工程と、を備え、
前記調整工程は、
前記画像のＡＷＢ統計サンプルを、前記確率データからの前記発光体種類確率で重み付けする工程と、
重み付けされた前記ＡＷＢ統計サンプルに基づき、ＡＷＢゲインの量を初期決定として決定する工程と、
前記ＡＷＢ統計サンプルと、前記初期決定の一部として決定される前記ＡＷＢゲインの量とをヒューリスティクスに組み込む工程と、を含む方法。
【請求項２０】
前記確率データからの前記発光体種類確率も前記ヒューリスティクスに組み込まれる請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、赤外線および／または紫外線信号を用いたオートホワイトバランスに関する。
【背景技術】
【０００２】
オートホワイトバランス（ＡＷＢ）は、カメラセンサによって取得される画像に対し様々な発光体下で色彩恒常性を得るために使用することが可能な機能である。従来、ＡＷＢは、入力画像から統計サンプルを収集し、統計サンプルを分析することで発光体を推定し得る。しかしながら、この手法は入力画像における色によりミスリードされ得る。例えば、カメラはシーンを赤緑青（ＲＧＢ）のみで検知し得るが、発光体のスペクトル分布を判定することができない可能性がある。その結果、画像それのみを使用することで、ＡＷＢは検知されたＲＧＢ値によりミスリードされることがある。例えば、肌や木材の色は、低い色温度の方向に推定することでＡＷＢをミスリードする傾向があり、結果の画像は、不正確に見え得る（例えば白ではなく青みがかった色）。
【図面の簡単な説明】
【０００３】
【図１Ａ】一態様による、紫外（ＵＶ）線データおよび／または赤外（ＩＲ）線データでオートホワイトバランス（ＡＷＢ）を向上するよう構成された装置のブロック図。
【図１Ｂ】一態様による、複数の閾値を有するＵＶ値を示す図。
【図１Ｃ】一態様による、複数の閾値を有するＩＲ値を示す図。
【図２】一態様による、図１Ａの装置のセンサプロセッサの例を示す図。
【図３Ａ】一態様による、昼光としての発光体種類に対するＵＶ確率関係のグラフ表現を示すグラフ。
【図３Ｂ】一態様による、昼光としての発光体種類に対するＩＲ確率関係のグラフ表現を示すグラフ。
【図４】一態様による、比率確率関係のグラフ表現を示すグラフ。
【図５】一態様による、絶対値法の例示的な動作を示すフローチャート。
【図６】一態様による、比率法の例示的な動作を示すフローチャート。
【図７】一態様による、図１Ａの装置の例示的な動作を示すフローチャート。
【図８】一態様による、図１ＡのＡＷＢ部の例示的な動作を示すフローチャート。
【図９】一態様による、図１Ａの装置の例示的な動作を示すフローチャート。
【図１０】図１乃至９のシステムおよび方法を実施するために使用し得る、例示的または代表的なコンピューティング装置および関連する要素を示すブロック図。
【発明を実施するための形態】
【０００４】
１つまたは複数の実施形態の詳細は、添付の図面および以下の記載に述べられる。他の特徴は、記載および図面、ならびに請求項から明らかとなる。
一態様では、装置であって、画像を取得するよう構成されたカメラと、画像に関連する紫外（ＵＶ）線データと赤外（ＩＲ）線データとのうちの１つ以上を作成するよう構成された電磁放射センサと、発光体種類確率を、ＵＶ線データとＩＲ線データとのうちの１つ以上を使用して確率データから決定／検出するよう構成されたセンサプロセッサであって、発光体種類確率は、画像に関連する光源が特定の発光体種類であるという確信度を示す、センサプロセッサと、オートホワイトバランスを、発光体種類確率で／に基づき調整するよう構成されたオートホワイトバランス部と、を備える装置である。
【０００５】
装置は、以下の特徴のうちの１つまたは複数（またはその任意の組み合わせ）を含んでよい。センサプロセッサは、発光体種類確率を、ＵＶ線データがあるＵＶ値範囲内にあるか否かと、ＩＲ線データがあるＩＲ値範囲内にあるか否かとに基づき、確信閾値を上回るものとして判定／検出するよう構成されてよく、発光体種類確率が確信閾値を上回ることは、光源が特定の発光体種類として分類可能であることを示す。センサプロセッサは、発光体種類確率が確信閾値を上回る場合に、画像に関連する光源は昼光であると判定するように構成されてよく、発光体種類確率は、ＵＶ線データが第１上位閾値を上回り、かつＩＲ線データが第２上位閾値を上回る場合に、確信閾値を上回る。センサプロセッサは、発光体種類確率が確信閾値を上回る場合に、画像に関連する光源は蛍光灯であると判定するように構成されてよく、発光体種類確率は、ＵＶ線データが中上位閾値と中下位閾値との間にあり、かつＩＲ線データが下位閾値を下回る場合に、確信閾値を上回る。センサプロセッサは、発光体種類確率が確信閾値を上回る場合に、画像に関連する光源は白熱灯であると判定するように構成されてよく、発光体種類確率は、ＵＶ線データが中上位閾値と中下位閾値との間にあり、かつＩＲ線データが上位閾値を上回る場合に、確信閾値を上回る。センサプロセッサは、発光体種類確率が確信閾値を上回る場合に、画像に関連する光源は可視発光ダイオード（ＬＥＤ）であると判定するように構成されてよく、発光体種類確率は、ＵＶ線データが第１下位閾値を下回り、かつＩＲ線データが第２下位閾値を下回る場合に、確信閾値を上回る。確率データは、ＵＶ確率関係とＩＲ確率関係とのうちの１つ以上を含んでよい。ＵＶ確率関係は、輝度値に対するＵＶ値の配置を提供してよい。ＵＶ確率関係は、ＵＶ値と輝度値との組み合わせに対する確率を含んでよい。ＩＲ確率関係は、輝度値に対するＩＲ値の配置を提供してよい。ＩＲ確率関係は、ＩＲ値と輝度値との組み合わせに対する確率を示してよい。確率データは、ＵＶ線データとＩＲ線データとの比率の比率値に対する確率を提供する、比率確率関係を含んでよい。カメラおよび電磁放射センサは、インターフェイスバスおよび電源接続を共有してよい。カメラは、装置のディスプレイ画面と同じ側に配置されたフロントカメラであってよい。
【０００６】
一態様では、実行可能な命令を記憶する、非一時的なコンピュータ可読媒体であって、実行可能な命令は、実行された場合に、１つ以上のプロセッサに、画像を取得する工程と、画像に関連する紫外（ＵＶ）線データおよび赤外（ＩＲ）線データを作成する工程と、画像に関連する輝度が閾値を上回るかどうかを判定する工程と、輝度が閾値を上回る場合に、第１の方法によってＵＶ線データおよびＩＲ線データを使用して確率データから発光体種類確率を決定／検出する工程であって、発光体種類確率は、画像に関連する光源が特定の発光体種類であるという確信度を示す、工程と、輝度が閾値を下回る場合に、第２の方法によってＵＶ線データおよびＩＲ線データを使用して確率データから発光体種類確率を決定／検出する工程であって、第１の方法は、第２の方法とは異なる、工程と、第１の方法または第２の方法によって発光体種類確率で／に基づきオートホワイトバランス（ＡＷＢ）を調整する、調整工程と、を行わせる非一時的なコンピュータ可読媒体である。
【０００７】
非一時的なコンピュータ可読媒体は、上記または以下の特徴のうちの１つまたは複数（またはその任意の組み合わせ）を含んでよい。確率データはＵＶ確率関係およびＩＲ確率関係を含み、第１の方法は、実行された場合に、１つ以上のプロセッサに、ＵＶ線データの絶対値およびＩＲ線データの絶対値を決定する工程と、ＵＶ確率を、ＵＶ確率関係から、ＵＶ線データの絶対値に基づき取得する工程と、ＩＲ確率を、ＩＲ確率関係から、ＩＲ線データの絶対値に基づき取得する工程と、発光体種類確率を、ＵＶ確率およびＩＲ確率に基づき算出する工程と、を行わせる実行可能な命令を含んでよい。確率データは比率確率関係を含み、第２の方法は、実行された場合に、１つ以上のプロセッサに、ＵＶ線データの値とＩＲ線データの値の比率を算出する工程と、比率を使用して、比率確率関係から発光体種類確率を取得する工程と、を行わせる実行可能な命令を含んでよい。発光体種類確率は、ＵＶ線データがあるＵＶ値範囲内にあるか否かと、ＩＲ線データがあるＩＲ値範囲内にあるか否かとに基づき、確信閾値を上回るものとして判定／検出されてよく、発光体種類確率が確信閾値を上回ることは、光源が特定の発光体種類として分類可能であることを示す。調整工程を行わせる実行可能な命令は、実行された場合に、１つ以上のプロセッサに、画像のＡＷＢ統計サンプルを確率データからの発光体種類確率で重み付けすることを含む、ＡＷＢゲインの量を初期決定することに先立って確率データからの発光体種類確率を組み込む工程、を行わせる実行可能な命令を含む。調整工程を行わせる実行可能な命令は、実行された場合に、１つ以上のプロセッサに、確率データからの発光体種類確率を、決定修正ヒューリスティクスおよび時間的ヒューリスティクスの一部として組み込む工程、を行わせる実行可能な命令を含む。
【０００８】
一態様では、方法であって、カメラが、画像を取得する工程と、電磁放射センサが、画像に関連する紫外（ＵＶ）線データおよび赤外（ＩＲ）線データを作成する工程と、センサプロセッサが、発光体種類確率を、ＵＶ線データおよびＩＲ線データを使用して、第１の方法または第２の方法によって、確率データから決定／検出する工程であって、発光体種類確率は、画像に関連する光源が特定の発光体種類であるという確信度を示す、工程と、オートホワイトバランス（ＡＷＢ）部が、オートホワイトバランスを、発光体種類確率で／に基づき調整する、調整工程と、を備える方法である。
【０００９】
方法は、上記または以下の特徴のうちの１つまたは複数（またはその任意の組み合わせ）を含んでよい。確率データはＵＶ確率関係およびＩＲ確率関係を含んでよく、第１の方法は、ＵＶ確率を、ＵＶ確率関係から、画像に関連するＵＶ線データの絶対値および輝度値を使用して取得する工程と、ＩＲ確率を、ＩＲ確率関係から、画像に関連するＩＲ線データの絶対値および輝度値に基づき取得する工程と、発光体種類確率を、ＵＶ確率にＩＲ確率を乗じることで算出する工程と、を含む。確率データは比率確率関係を含んでよく、第２の方法は、ＵＶ線データの値とＩＲ線データの値の比率を算出する工程と、比率を使用して、比率確率関係から光源の特定の発光体種類と、特定の発光体種類の発光体種類確率とを決定する工程と、を含む。調整工程は、画像のＡＷＢ統計サンプルをパースする工程と、ＡＷＢ統計サンプルを、確率データからの発光体種類確率で重み付けする工程と、重み付けされたＡＷＢ統計サンプルに基づき、ＡＷＢゲインの量を初期決定として決定する工程と、ＡＷＢ統計サンプルと、初期決定の一部として決定されるＡＷＢゲインの量とに対して、ヒューリスティクスを実行する工程であり、確率データからの発光体種類確率もヒューリスティクスに組み込まれる、工程と、を含んでよい。
【００１０】
一態様によれば、本明細書で検討される実施形態は、赤外（ＩＲ）および／または紫外（ＵＶ）線データでオートホワイトバランス（ＡＷＢ）が向上された、向上ＡＷＢ機構を提供し得る。例えば、発光体を推定するために画像からの赤緑青（ＲＧＢ）値のみを使用する代わりに、向上ＡＷＢ機構は、ＩＲおよび／またはＵＶ線データを使用して、画像に対する適切なホワイトバランスに関する正しい判定を行うことを補助し得る、画像のシーンについての追加情報を提供してよい。ＵＶおよび／またはＩＲ線データは、画像が実際の昼光、白熱灯、蛍光灯、および／または可視発光ダイオード（ＬＥＤ）を含むかどうか等の、画像に関連する発光体の種類の情報を提供し得る。
【００１１】
図１Ａは、一態様による、紫外（ＵＶ）線データ１０６および／または赤外（ＩＲ）線データ１０８でオートホワイトバランス（ＡＷＢ）を向上するよう構成された装置１００のブロック図を示す。例えば、ＡＷＢに対して画像１０５のＲＧＢ値のみを使用する代わりに、装置１００は、ＵＶ線データ１０６および／またはＩＲ線データ１０８を、画像１０５に関連する発光体の種類を判定するための分析に組み込む。例えば、装置１００は、画像の光源の発光体種類（例えば、実際の昼光、白熱灯、蛍光灯、および／または可視光ＬＥＤかどうか）、および／または画像の光源が特定の種類の発光体である確率を、ＵＶ線データ１０６および／またはＩＲ線データ１０８に基づき、決定してよい。
【００１２】
装置１００は、画像取得能力を有する任意の装置を含んでよい。いくつかの例では、装置１００は、モバイルコンピューティング装置（例えば、ラップトップ、スマートフォン、タブレット）等のコンピューティング装置、または非モバイルコンピューティング装置（例えばデスクトップコンピュータ）である。いくつかの例では、装置１００はスタンドアローンのカメラ装置（例えば、装置１００の主目的は画像１０５を取得することである）である。
【００１３】
装置１００は、画像１０５を取得するよう構成されたカメラ１０２を含んでよい。カメラ１０２は、デジタルカメラであってよい。いくつかの例では、カメラ１０２は装置１００の前面に配置されてよい（例えば正面カメラ）。例えば、カメラ１０２は、装置１００のディスプレイ画面１６０と同じ側に配置されてよい。いくつかの例では、カメラ１０２は、装置１００の裏面に配置されてよい（例えば、ディスプレイ画面１６０の反対側に配置された背面カメラ）。いくつかの例では、装置１００は、複数のカメラ１０２を含んでよい（例えば、正面カメラと背面カメラの両方）。
【００１４】
画像１０５は、個々の静止画像（例えば写真）またはビデオやムービーを構成する一連の画像であってよい。画像１０５は、デジタル画像であってよい。画像１０５は、画像素子または画素と呼ばれ各画素が輝度のレベルを示す輝度値を有する、デジタル値を有する二次元画像の数値表現であってよい。画像１０５は、一定数の画素の行と列を含んでよく、画素は画像における最小の単独の要素であり、任意の特定の点における特定の色の輝度を表す量子化された値を保持する。いくつかの例では、画像１０５は赤緑青（ＲＧＢ）の輝度値を含み、各画素は、その赤、緑、青の強度を示すＲＧＢ輝度値で表される。
【００１５】
装置１００は、画像１０５に関連する紫外（ＵＶ）線および／または赤外（ＩＲ）線の量を検出するよう構成された電磁放射センサ１０４を含み、検出される量を、ＵＶ線データ１０６および／またはＩＲ線データ１０８として処理または表示する。いくつかの例では、電磁放射センサ１０４は、ＵＶ線データ１０６とＩＲ線データ１０８との両方を作成する。いくつかの例では、電磁放射センサ１０４は、ＵＶ線とＩＲ線との両方を感知可能な単一のセンサ部品である。他の例では、電磁放射センサ１０４は、ＵＶ線データ１０６を作成するよう構成されたＵＶセンサおよびＩＲ線データ１０８を作成するよう構成されたＩＲセンサ等の別個のセンサ部品を含んでよい。いくつかの例では、電磁放射センサ１０４はＵＶ線データ１０６のみを作成してよい。いくつかの例では、電磁放射センサ１０４はＩＲ線データ１０８のみを作成してよい。ＵＶ線データ１０６は、画像１０５（または画像１０５の一部）に関連するＵＶ線のレベルを表すＵＶ値を含んでよい。いくつかの例では、ＵＶ線データ１０６は、第１時刻に取得される第１ＵＶ値および第１時刻後の第２時刻に取得される第２ＵＶ値等の複数のＵＶ測定値を含む。ＩＲ線データ１０８は、画像１０５（または画像１０５の一部）に関連するＩＲ線のレベルを表すＩＲ値を含んでよい。いくつかの例では、ＩＲ線データ１０８は、第１時刻に取得される第１ＩＲ値および第１時刻後の第２時刻に取得される第２ＩＲ値等の複数のＩＲ測定値を含んでよい。
【００１６】
電磁放射センサ１０４は、電磁放射センサ１０４の視界からＵＶ線および／またはＩＲ線の量を検出してよい。電磁放射センサ１０４は、ＵＶ線の量を測定することによってＵＶ線データ１０６を作成してよく、またＩＲ線の量を測定することによってＩＲ線データ１０８を作成してよい。電磁放射センサ１０４は、装置１００に近い物理的な領域（例えば装置１００から一定の範囲内）からＵＶ線および／またはＩＲ線の量を検出してよい。いくつかの例では、電磁放射センサ１０４は、取得される画像１０５のシーンの場所（または部分的な場所）からＵＶ線および／またはＩＲ線の量を検出してよい。例えば、電磁放射センサ１０４は、カメラ１０２の視界に一般に対応する領域からＵＶ線および／またはＩＲ線を感知するように向けられてよい。
【００１７】
電磁放射センサ１０４は、１つまたは複数の光ダイオードの配列、増幅器、および／またはアナログとデジタルの回路を含んでよい。電磁放射センサ１０４は、カメラ１０２の近傍に配置されてよい。いくつかの例では、電磁放射センサ１０４はカメラ１０２に結合されてよい。いくつかの例では、電磁放射センサ１０４およびカメラ１０２は、電源接続１１８およびコンピュータバス１１９を共有してよい。いくつかの例では、コンピュータバス１１９はＩ２Ｃ（Ｉｎｔｅｒ−Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）バスである。いくつかの例では、装置１００は、複数のカメラ１０２を含んでよく、カメラ１０２のうちの１つだけが、共通の電源接続１１８およびコンピュータバス１１９を、電磁放射センサ１０４と共有する。いくつかの例では、正面カメラとして構成されたカメラ１０２は、共通の電源接続１１８およびコンピュータバス１１９を、電磁放射センサ１０４と共有する。いくつかの例では、背面カメラとして構成されたカメラ１０２は、共通の電源接続１１８およびコンピュータバス１１９を、電磁放射センサ１０４と共有する。いくつかの例では、電磁放射センサ１０４はカメラ１０２に組み込まれる。例えば、カメラ１０２は、ＵＶとＩＲ線を感知し、検出量をＵＶ線データ１０６およびＩＲ線データ１０８として表すことが可能である。
【００１８】
装置１００は、画像１０５に関連する光源の発光体種類確率１１４を、ＵＶ線データ１０６およびＩＲ線データ１０８を使用して確率データ１１２から決定／検出するよう構成されたセンサプロセッサ１１０を含んでよい。確率データ１１２は、ＵＶとＩＲの値の様々な組み合わせに対する各発光体種類の確率を特定してよい。いくつかの例では、確率データ１１２は、画像１０５に関連するＵＲとＩＲの値および輝度値の様々な組み合わせに対する各発光体種類の確率を特定してよい。発光体種類確率１１４は、画像の光源が、昼光、蛍光灯、白熱灯、および／または可視光ＬＥＤ等の、ある発光体の種類であるという確信度であってよい（または表してよい）。また、発光体の種類は、他の分類の光源を含んでよい。言い換えると、発光体は、光源であってよく、発光体種類は、光源の種類であってよい。いくつかの例では、画像１０５は、複数の光源を含んでよく、センサプロセッサ１１０は、画像１０５に存在する各光源に対する発光体種類確率１１４を検出してよい。
【００１９】
発光体種類確率１１４は、光源が特定の発光体種類であるという確信度を示すスケールの数値であってよい。いくつかの例では、スケールの一端は低い確率（例えば０パーセントの確率）を示してもよく、そのスケールの他端は高い確率（例えば９０または１００パーセントの確率）を示してもよい。限定されない例において、発光体種類確率１１４は０から１００の範囲の値であってよい。しかしながら、任意の種類の数値スケールが使用されてよい。発光体種類確率１１４が、確信閾値（例えば８０）を上回る場合、センサプロセッサ１１０は、光源を特定の種類の発光体であると分類してよい。いくつかの例では、発光体種類確率１１４は、光源の確率が第１発光体種類（例えば昼光）である、光源の確率が第２発光体種類（例えば蛍光灯）である、光源の確率が第３発光体種類（例えば白熱灯）である、光源の確率が第３発光体種類（例えば可視光ＬＥＤ）である、のうちの１つまたは複数を含んでよい。いくつかの例では、特定の発光体種類に関してＵＶおよび／またはＩＲ値に対する高閾値および低閾値がある。ＵＶ値および／またはＩＲ値が高閾値よりも高い場合、センサプロセッサ１１０は、光源が特定の発光体であることに関して１００％の確率を決定してよい。またＵＶ値および／またはＩＲ値が低閾値よりも低い場合、センサプロセッサ１１０は、光源が特定の発光体であることに関して０％の確率を決定してよい。低閾値と高閾値との間のＵＶおよび／またはＩＲ値に対して、センサプロセッサ１１０は、確率を直線的に補間してよい。
【００２０】
装置１００は、画像１０５および発光体種類確率１１４を受信し、画像１０５に適用されるＡＷＢ１１７を、発光体種類確率１１４で調整するよう構成されたオートホワイトバランス（ＡＷＢ）部１１６を含んでよい。発光体種類確率１１４をＡＷＢ１１７の適用に組み込むと、画像１０５の画質が向上し得る。それによってディスプレイ画面１６０上に、レンダリング画像１６２として提供されてよい。いくつかの例では、ＡＷＢ１１７は、非現実的な色かぶりを除去し、それによって実際には白く見える物体が、取得される画像において白くレンダリングされる処理であってよい。ＡＷＢ１１７は、光源の色温度を含んでよい。色温度は、白い光の相対的な暖かさまたは冷たさである。人間の目は、異なる光源の下で何が白いかを判断することが得意であるが、カメラはＡＷＢ１１７に関してしばしば困難さを有し、レンダリング画像１６２において見栄えの良くない青、オレンジ、さらには緑の色かぶりを生成することがある。いくつかの例では、従来のカメラは、発光体のスペクトル分布を取得する（または推定する、正確に推定する）ことができない。したがって、ＡＷＢ１１７は、画像１０５の検知されたＲＧＢ値によりミスリードされることがある。
【００２１】
ＡＷＢ部１１６は、取得される画像１０５からＡＷＢ統計サンプルを収集し、収集されるＡＷＢ統計サンプルを、発光体種類確率１１４を用いて重み付けしてよい。その結果、ＡＷＢ部１１６は、画像１０５を、実際には白く見える物体が、レンダリング画像１６２において白くレンダリングされ、および／または色の一貫性を得られるように（例えば、シャツの紫の襟が、レンダリング画像１６２において、従来のＡＷＢを用いて青にレンダリングされる代わりに紫のままであり、キャビネットが、レンダリング画像１６２において、従来のＡＷＢを用いて青にレンダリングされる代わりに灰色のままである等）適切なホワイトバランスで調整してよい。従来のＡＷＢ技術は、画像１０５自身からサンプリングされるＡＷＢ統計サンプルを使用して発光体種類を推定し得る。
【００２２】
しかしながら、様々な態様によれば、ＡＷＢ部１１６は、発光体種類確率１１４をＡＷＢ１１７に組み込んでよく、発光体種類確率１１４は、シーンの光源が特定の種類の発光体であるかどうかの可能性を提供する（ＵＶ線データ１０６および／またはＩＲ線データ１０８から算出される）。その結果、ＡＷＢ部１１６は、発光体種類をＡＷＢ統計サンプルのみを用いて推定しなくてよい。他の例では、ＡＷＢ部１１６は、ＡＷＢ統計サンプルからの発光体種類推定を、装置１００によって決定される発光体種類確率１１４で向上させてよい。図８は、本明細書に後で説明されるＡＷＢ１１７のさらなる詳細を示す。
【００２３】
ＵＶ線データ１０６およびＩＲ線データ１０８は、画像１０５のＲＧＢ値からは入手可能ではない、画像１０５に関連する発光体についての追加情報を提供してよい。例えば、ＵＶ線データ１０６の値およびＩＲ線データ１０８の値は、発光体種類確率１１４を決定してよい。いくつかの例では、センサプロセッサ１１０は、発光体種類確率１１４を、ＵＶ線データ１０６があるＵＶ値範囲内にあるか否か、かつＩＲ線データ１０８があるＩＲ値範囲内にあるか否かに基づき、確信閾値を上回るものとして検出してよい。確信閾値を上回る発光体種類確率１１４は、光源が特定の発光体種類に分類され得ることを示す。
【００２４】
図１Ｂは、一態様による、複数の閾値を有するＵＶ値２５０を示す。図１Ｃは、一態様による、複数の閾値を有するＩＲ値２６０を示す。ＵＶ値２５０は、ＵＶ放射のスペクトル（またはスペクトルの一部）の値を表してよい。ＩＲ値２６０は、ＩＲ放射のスペクトル（またはスペクトルの一部）の値を表してよい。確率データ１１２は、ＵＶ値２５０とＩＲ値２６０の様々な組み合わせに対する発光体種類確率１１４を提供してよい。ＵＶ線データ１０６が、ＵＶ値２５０のある範囲内にあり、かつＩＲ線データ１０８が、ＩＲ値２６０のある範囲内にある場合、センサプロセッサ１１０は、画像１０５に関連する光源は特定の発光体種類であること、および／または画像の光源が特定の種類の発光体である確率を決定してよい。
【００２５】
特に、センサプロセッサ１１０は、発光体種類確率１１４が確信閾値を上回る場合に、画像１０５に関連する光源は昼光であると判定してよい。ＵＶ線データ１０６が上位閾値２５２を上回り、かつＩＲ線データ１０８が上位閾値２６２を上回る場合に、発光体種類確率１１４は確信閾値を上回る。例えば、ＵＶ線データ１０６の比較的高い値（例えば、上位閾値２５２を上回るＵＶ値）とＩＲ線データ１０８の比較的高い値（例えば、上位閾値２６２を上回るＩＲ値）は、発光体種類が昼光であることを示し得る。
【００２６】
センサプロセッサ１１０は、発光体種類確率１１４が確信閾値を上回る場合に、画像１０５に関連する光源は蛍光灯であると判定してよい。ＵＶ線データ１０６が中上位閾値２５４と中下位閾値２５６との間にあり、かつＩＲ線データ１０８が下位閾値２６８を下回る場合に、発光体種類確率１１４は確信閾値を上回る。例えば、ＵＶ線データ１０６の中位の値（例えば、中上位閾値２５４と中下位閾値２５６との間のＵＶ値）とＩＲ線データ１０８の比較的低い値（例えば、下位閾値２６８を下回るＩＲ値）は、発光体種類が蛍光灯であることを示し得る。
【００２７】
センサプロセッサ１１０は、発光体種類確率１１４が確信閾値を上回る場合に、画像１０５に関連する光源は白熱灯であると判定してよい。ＵＶ線データ１０６が中上位閾値２５４と中下位閾値２５６との間にあり、かつＩＲ線データ１０８が上位閾値２６２を上回る場合に、発光体種類確率１１４は確信閾値を上回る。例えば、ＵＶ線データ１０６の中位の値（例えば、中上位閾値２５４と中下位閾値２５６との間のＵＶ値）とＩＲ線データ１０８の比較的高い値（例えば、上位閾値２６２を上回るＩＲ値）は、発光体種類が白熱灯であることを示し得る。
【００２８】
センサプロセッサ１１０は、発光体種類確率が確信閾値を上回る場合に、画像１０５に関連する光源は可視光ＬＥＤであると判定してよい。ＵＶ線データ１０６が下位閾値２５８を下回り、かつＩＲ線データ１０８が下位閾値２６８を下回る場合に、発光体種類確率１１４が確信閾値を上回る。例えば、ＵＶ線データ１０６の比較的低い値（例えば、下位閾値２５８を下回るＵＶ値）とＩＲ線データ１０８の比較的低い値（例えば、下位閾値２６８を下回るＩＲ値）は、発光体種類が可視光ＬＥＤであることを示し得る。いくつかの例では、確率データ１１２は、発光体の他の種類を区別するために使用される中上位閾値２６４および中下位閾値２６６を特定してよい。いくつかの例では、下位閾値２５８および下位閾値２６８は１０から２０であってよい。しかしながら、図１Ｂおよび図１Ｃを参照して検討される閾値は、使用されるＩＲ／ＵＶセンサの種類に基づき、選択されてよい。
【００２９】
図２は、一態様による、センサプロセッサ１１０の例を示す。いくつかの例では、センサプロセッサ１１０は、絶対値法２０１（例えば第１の方法）および／または比率法２０３（例えば第２の方法）により発光体種類確率１１４を決定／検出してよい。いくつかの例では、センサプロセッサ１１０は、絶対値法２０１のみを使用して発光体種類確率１１４を決定してよい。いくつかの例では、センサプロセッサ１１０は、比率法２０３のみを使用して発光体種類確率１１４を決定してよい。いくつかの例では、センサプロセッサ１１０は、絶対値法２０１と比率法２０３の組み合わせに基づき、発光体種類確率１１４を決定してよい。
【００３０】
いくつかの例では、センサプロセッサ１１０は、絶対値法２０１および比率法２０３のうちのいずれを使用するかを決定し、画像１０５の輝度のレベルに基づき、発光体種類確率１１４を決定してよい。例えば、センサプロセッサ１１０は、画像１０５の輝度を判定し、その輝度が閾値を上回る場合、センサプロセッサ１１０は、比率法２０３を使用することを決定してよい。いくつかの例では、閾値は５０ルクスでよい。しかしながら、いくつかの例では、閾値はＵＶ／ＩＲセンサの種類に基づき選択されてよい。いくつかの例では、輝度が閾値を下回る場合、センサプロセッサ１１０は、絶対値法２０１を使用することを決定してよい。いくつかの例では、比率法２０３は、絶対値法２０１よりも計算的に速くなり得るが、比率法２０３は、閾値を下回る輝度レベルに関しては、絶対値法２０１のようには正確ではない可能性がある。
【００３１】
絶対値法２０１によれば、確率データ１１２は、ＵＶ確率関係２０５およびＩＲ確率関係２０６を含んでよい。いくつかの例では、ＵＶ確率関係２０５およびＩＲ確率関係２０６は、別個のテーブル（もしくは単一のテーブル）として、またはＵＶ値２５０とＩＲ値２６０との間、ならびにＵＶ確率とＩＲ確率との間の関係を規定する他の種類のデータ構造として実装される。いくつかの例では、各発光体種類に対して一対のテーブル（例えば、ＵＶ確率関係２０５に対する１つのテーブルとＩＲ確率関係２０６に対する１つのテーブルを含む一対）が与えられる。ＵＶ確率関係２０５は、ＵＶ値２５０と発光体の各種類に対する輝度値の組み合わせに対するＵＶ確率を指定してよい。輝度値は、明から暗までのスペクトルの値であってよい。そのようにして、ＵＶ値２５０と輝度値の特定の組み合わせに対して、ＵＶ確率関係２０５によって、光源の確率が特定の発光体種類であることを示すＵＶ確率が与えられる。ＩＲ確率関係２０６は、ＩＲ値２６０と発光体の各種類に対する輝度値の組み合わせに対するＩＲ確率を指定してよい。そのようにして、ＩＲ値２６０と輝度値の特定の組み合わせに対して、ＩＲ確率関係２０６によって、光源の確率が特定の発光体種類であることを示すＩＲ確率が与えられる。
【００３２】
センサプロセッサ１１０は、ＵＶ線データ１０６およびＩＲ線データ１０８を、電磁放射センサ１０４から受信してよい。センサプロセッサ１１０は、ＵＶ線データ１０６の絶対値およびＩＲ線データ１０８の絶対値を取得してよい。その後、センサプロセッサ１１０は、ＵＶ確率関係２０５から、ＵＶ線データ１０６の絶対値および画像１０５の輝度値を使用して、ＵＶ確率を決定してよい。例えば、センサプロセッサ１１０は、ＵＶ線データの絶対値と画像１０５の輝度値の組み合わせに対応するＵＶ確率を取得してよい。
【００３３】
センサプロセッサ１１０は、ＩＲ確率関係２０６から、ＩＲ線データ１０８の絶対値および画像１０５の輝度値を使用して、ＩＲ確率を決定してよい。例えば、センサプロセッサ１１０は、ＩＲ線データの絶対値と画像１０５の輝度値の組み合わせに対応するＩＲ確率を取得してよい。センサプロセッサ１１０は、発光体種類確率１１４（例えば総合確率）を、ＵＶ確率およびＩＲ確率に基づき、算出してよい。いくつかの例では、センサプロセッサ１１０は、ＵＶ確率にＩＲ確率を乗じることで、発光体種類確率１１４を算出してよい。いくつかの例では、センサプロセッサ１１０は、発光体種類確率１１４を確信閾値と比較してよい。発光体種類確率１１４が確信閾値を上回る場合は、センサプロセッサ１１０は、光源を特定の発光体種類として分類可能であると判定してよい。発光体種類確率１１４が確信閾値を下回る場合は、センサプロセッサ１１０は、光源を特定の発光体種類として分類可能ではないと判断してよい。
【００３４】
図３Ａは、一態様による、昼光としての発光体種類に対するＵＶ確率関係２０５のグラフ表現を示すグラフ３０５を図示する。図３Ｂは、一態様による、昼光としての発光体種類に対するＩＲ確率関係２０６のグラフ表現を示すグラフ３０６を図示する。他の発光体種類に対するＵＶ確率関係２０５およびＩＲ確率関係２０６を示すために、類似のグラフを使用してよい。
【００３５】
図３Ａを参照すると、ｘ軸は、明から暗までの輝度値を示し、ｙ軸は、増加するＵＶ値２５０を示す。グラフ３０５は、第１カーブ３２３および第２カーブ３２５を含む。第１カーブ３２３と第２カーブ３２５との間の空間は、遷移領域と称され得る。第１カーブ３２３の上に配置される輝度値とＵＶ値２５０の組み合わせに関して、光源が昼光である可能性は、高いと考えられてよい（例えば、確信閾値を上回るＵＶ確率）。また、ＵＶ確率は、ＵＶ／輝度の組み合わせ値が第１カーブ３２３からさらに遠ざかるに従って増加し得る。第２カーブ３２５の下に配置される輝度値とＵＶ値２５０の組み合わせに関して、光源が昼光である可能性は、低いと考えられてよい（例えば、確信閾値を下回るＵＶ確率）。また、ＵＶ確率は、ＵＶ／輝度の組み合わせ値が第２カーブ３２５からさらに遠ざかるに従って減少し得る。第１カーブ３２３と第２カーブ３２５との間に配置される輝度値とＵＶ値２５０の組み合わせに関して、ＵＶ確率は、光源が十分な確信レベルでは昼光であると分類され得ない、遷移領域に存在すると考えられてよい。
【００３６】
図３Ｂを参照すると、ｘ軸は、明から暗までの輝度値を示し、ｙ軸は、増加するＩＲ値２６０を示す。グラフ３０６は、第１カーブ３２７および第２カーブ３２９を含む。第１カーブ３２７と第２カーブ３２９との間の空間は、遷移領域と称され得る。第１カーブ３２７の上に配置される輝度値とＩＲ値２６０の組み合わせに関して、光源が昼光である可能性は、高いと考えられてよい（例えば、確信閾値を上回るＩＲ確率）。また、ＩＲ確率は、ＩＲ／輝度の組み合わせ値が第１カーブ３２７からさらに遠ざかるに従って増加し得る。第２カーブ３２９の下に配置される輝度値とＩＲ値２６０の組み合わせに関して、光源が昼光である可能性は、低いと考えられてよい（例えば、確信閾値を下回るＩＲ確率）。また、ＩＲ確率は、ＩＲ／輝度の組み合わせ値が第２カーブ３２９からさらに遠ざかるに従って減少し得る。第１カーブ３２７と第２カーブ３２９との間に配置される輝度値とＩＲ値２６０の組み合わせに関して、ＩＲ確率は、光源が十分な確信レベルで昼光であると分類され得ない、遷移領域に存在すると考えられてよい。
【００３７】
いくつかの例では、輝度値（ｘ軸沿い）は、非常に明るい（ｅｘｐ＿ｉｎｄｅｘ＝０）から非常に暗い（ｅｘｐ＿ｉｎｄｅｘ＝ｍａｘ）までの一連のニーポイント（または異なるポイント）を定義してよい。シーンの明るさのニーポイントは、以下のようにマッピングされ得る。１）ｅｘｐ＿ｉｎｄｅｘ＝０は１００，０００ルクス，２）ｅｘｐ＿ｉｎｄｅｘ＝ｏｕｔｄｏｏｒは４０００ルクス，３）ｅｘｐ＿ｉｎｄｅｘ＝ｉｎ−ｏｕｔ−ｄｏｏｒは１０００  ルクス，４）ｅｘｐ＿ｉｎｄｅｘ＝ｉｎｄｏｏｒは４００ルクス，５）ｅｘｐ＿ｉｎｄｅｘ＝ｍａｘは２０ルクス以下。各ニーポイントでのＵＶおよびＩＲの閾値は、アレイに以下のように定義されてよい。［ｅｘｐ＿ｉｎｄｅｘ＝０，ｅｘｐ＿ｉｎｄｅｘ＝ｏｕｔｄｏｏｒ，ｅｘｐ＿ｉｎｄｅｘ＝ｉｎ−ｏｕｔ−ｄｏｏｒ，ｅｘｐ＿ｉｎｄｅｘ＝ｉｎ，ｅｘｐ＿ｉｎｄｅｘ＝ｍａｘ］。その後、このアレイに、実際のデータポイントを投入し、以下のように一連のアレイを作成してよい。１）上位ＵＶ閾値（例えば第１カーブ３２３）＝［５０００，１０００，８００，１００，３０］，２）下位ＵＶ閾値（例えば第２カーブ３２５）＝［３０００，７００，５００，１０，０］，３）上位ＩＲ閾値（例えば第１カーブ３２７）＝［１０００，１５０，１００，２５，１０］，４）下位ＩＲ閾値（例えば第２カーブ３２９）＝［４００，５０，３０，１０，０］。これらのアレイの値は、異なるニーポイントにおけるＵＶまたはＩＲの強度を示す。例えば、第１カーブ３２３上の１点（ｘ，ｙ）は、１００，０００ルクス，５０００ＵＶの強度である。このデータは、２００ｍｓの露出時間を有する種類のセンサで測定された。センサまたは露出時間を変更すると、値が劇的に変化する。
【００３８】
比率法２０３によれば、確率データ１１２は、ＵＶ線データ１０６とＩＲ線データ１０８の比率の比率値に対して、発光体の各種類に対する発光体種類確率１１４の確率を提供する、比率確率関係２１０を含んでよい。いくつかの例では、比率確率関係２１０は、比率値の範囲に関して、発光体の各種類に対する発光体種類確率１１４の確率の範囲を提供するテーブルである。いくつかの例では、テーブルは単一のテーブルである。いくつかの例では、センサプロセッサ１１０は、ＵＶ線データ１０６の値とＩＲ線データ１０８の値の比率を算出し、その比率を使用して、比率確率関係２１０から、発光体種類確率１１４を取得してよい。
【００３９】
図４は、一態様による、比率確率関係２１０のグラフ表現を示すグラフ４１０を図示する。いくつかの例では、各発光体種類は、異なる範囲のＵＶ／ＩＲ比率を有し得る。グラフ４１０は、第１発光体種類（例えばタングステン）の第１領域４３１と、第２発光体種類（例えば昼光）の第２領域４３３と、第３発光体種類（例えば蛍光）の第３領域４３５とを含んでよい。ＵＶ／ＩＲ比率が第１領域４３１の範囲内にある場合、光源は、第１発光体種類であると判定されてよい。ＵＶ／ＩＲ比率が第２領域４３３の範囲内にある場合、光源は、第２発光体種類であると判定されてよい。ＵＶ／ＩＲ比率が第３領域４３５の範囲内にある場合、光源は、第３発光体種類であると判定されてよい。いくつかの例では、昼光のＵＶ／ＩＲ比率は、２０を中心に配置され、蛍光のＵＶ／ＩＲ比率は、５０を中心に配置され、ＬＥＤのＵＶ／ＩＲ比率は、３０を中心に配置され、タングステンのＵＶ／ＩＲ比率は、５を中心に配置される。しかしながら、これらの値は、実装によって広い範囲に及んでよい。
【００４０】
図５は、一態様による、絶対値法２０１の例示的な動作を示すフローチャート５００である。図５のフローチャート５００は動作を順番に示しているが、これは単に例であり、追加または代わりの動作が含まれてよいことが理解される。さらに、図５の動作および関連する動作は、図示されるものとは異なる順番で、または並列にもしくは重複するように実行されてよい。
【００４１】
ＵＶ線データの絶対値およびＩＲ線データの絶対値が決定されてよい（５０２）。例えば、センサプロセッサ１１０は、ＵＶ線データ１０６およびＩＲ線データ１０８を、電磁放射センサ１０４から受信してよい。センサプロセッサ１１０は、ＵＶ線データ１０６の絶対値およびＩＲ線データ１０８の絶対値を取得してよい。
【００４２】
ＵＶ確率は、ＵＶ確率関係から取得されてよい（５０４）。例えば、センサプロセッサ１１０は、ＵＶ確率を、ＵＶ確率関係２０５から、ＵＶ線データ１０６の絶対値および画像１０５の輝度値を使用して決定してよい。例えば、センサプロセッサ１１０は、ＵＶ線データの絶対値および画像１０５の輝度値の組み合わせに対応するＵＶ確率を取得してよい。
【００４３】
ＩＲ確率は、ＩＲ確率関係から取得されてよい（５０６）。例えば、センサプロセッサ１１０は、ＩＲ確率を、ＩＲ確率関係２０６から、ＩＲ線データ１０８の絶対値および画像１０５の輝度値を使用して決定してよい。センサプロセッサ１１０は、ＩＲ線データの絶対値および画像１０５の輝度値の組み合わせに対応するＩＲ確率を取得してよい。
【００４４】
発光体種類確率は、ＵＶ確率およびＩＲ確率に基づき、算出されてよい（５０８）。例えば、センサプロセッサ１１０は、発光体種類確率１１４（例えば総合確率）を、ＵＶ確率およびＩＲ確率に基づき、算出してよい。いくつかの例では、センサプロセッサ１１０は、ＵＶ確率にＩＲ確率を乗じることで、発光体種類確率１１４を算出してよい。いくつかの例では、センサプロセッサ１１０は、発光体種類確率１１４を確信閾値と比較してよい。発光体種類確率１１４が確信閾値を上回る場合は、センサプロセッサ１１０は、光源を特定の発光体種類として分類可能であると判定してよい。発光体種類確率１１４が確信閾値を下回る場合は、センサプロセッサ１１０は、光源を特定の発光体種類として分類可能ではないと判断してよい。
【００４５】
図６は、一態様による、比率法２０３の例示的な動作を示すフローチャート６００である。図６のフローチャート６００は動作を順番に示しているが、これは単に例であり、追加または代わりの動作が含まれてよいことが理解される。さらに、図６の動作および関連する動作は、図示されるものとは異なる順番で、または並列にもしくは重複するように実行されてよい。
【００４６】
ＵＶ値とＩＲ値の比率が算出されてよい（６０２）。例えば、センサプロセッサ１１０は、ＵＶ線データ１０６の値とＩＲ線データ１０８の値の比率を算出してよい。発光体種類確率は、比率確率関係から、算出される比率を使用して検出されてよい（６０４）。例えば、センサプロセッサ１１０は、発光体種類確率１１４を比率確率関係２１０から、比率を使用して取得してよい。
【００４７】
図７は、一態様による、図１Ａの装置１００の例示的な動作を示すフローチャート７００である。図７のフローチャート７００は動作を順番に示しているが、これは単に例であり、追加または代わりの動作が含まれてよいことが理解される。さらに、図７の動作および関連する動作は、図示されるものとは異なる順番で、または並列にもしくは重複するように実行されてよい。
【００４８】
画像の輝度が判定されてよい（７０２）。例えば、センサプロセッサ１１０は、画像１０５の輝度を判定してよい。いくつかの例では、センサプロセッサ１１０は、画像１０５の全体的な平均輝度値を、各画素値を使用して判定してよい。
【００４９】
輝度が閾値を上回っているかどうかが判定されてよい（７０４）。例えば、センサプロセッサ１１０は、画像１０５に関連する輝度を閾値と比較してよい。輝度が閾値を上回っている場合、比率法が使用されてよい（７０６）。例えば、輝度が閾値を上回っていると判定された場合、センサプロセッサ１１０は、比率法２０３を使用して発光体種類確率１１４を判定してよい。輝度が閾値を下回っている場合、絶対値法が使用されてよい（７０８）。例えば、輝度が閾値を下回っていると判定された場合、センサプロセッサ１１０は、絶対値法２０１を使用して発光体種類確率１１４を判定してよい。
【００５０】
図８は、一態様による、図１ＡのＡＷＢ部１１６の例示的な動作を示すフローチャート８００である。図８のフローチャート８００は動作を順番に示しているが、これは単に例であり、追加または代わりの動作が含まれてよいことが理解される。さらに、図８の動作および関連する動作は、図示されるものとは異なる順番で、または並列にもしくは重複するように実行されてよい。
【００５１】
ＡＷＢ統計サンプルがパースされてよい（８０２）。例えば、ＡＷＢ部１１６は、画像１０２のＡＷＢ統計サンプルをパースしてよい。ＡＷＢ統計サンプルは、スクリーニングされ、重み付けされてよい（８０４）。例えば、ＡＷＢ部１１６は、ＡＷＢ統計サンプルをパース・スクリーニングし、確率データ１１２で重み付けしてよい。特に、画像１０５に対するＡＷＢゲインの量を初期決定する前に、ＡＷＢ部１１６は、画像１０５のＡＷＢ統計サンプルを確率データ１１２からの発光体種類確率１１４で重み付けすることにより、確率データ１１２から発光体種類確率１１４を組み込んでよい。いくつかの例では、ＡＷＢ部１１６は、確率をシーンの明るさに基づき割り当ててよい。例えば、周囲が１０００ルクスの場合、ＡＷＢ部１１６は、タングステン光下のシーンに対し、低い確率を決定してよい。また、確率の割り当ては、色彩の好みに使用されてよい（例えば、タングステン光下のピクチャは、青みがかったよりも黄みがかったように見えることが好ましい）。初期決定がなされてよい（８０６）。例えば、ＡＷＢ部１１６は、ＡＷＢゲインの量に関する初期決定を行ってよい。
【００５２】
いくつかの態様によれば、確率データ１１２の発光体種類確率１１４は、決定修正ヒューリスティクスおよび時間的ヒューリスティクスにも（または選択的に）組み込まれてよい。例えば、グレイサンプルベースの決定ルールは初期決定を行ってよいが、他の決定ルール（例えばヒューリスティクス）が決定を変更するために組み込まれてよい。例えば、過去の数フレームでは、発光体履歴は、シーン明るさの変化またはカメラのパンなしに、安定的に白熱灯であると考えられていたのに、急に昼光の判定が現在のフレームに対してなされる場合がある。この判定は、さらなる昼光のフレームが受信されるまで、取り消しまたは保留にされてよい。これにより、ＡＷＢの安定性が向上し得る。決定修正ヒューリスティクスが実行されてよい（８０８）。例えば、ＡＷＢ部１１６は、決定修正ヒューリスティクスを、ＡＷＢ統計サンプルおよびＡＷＢゲインに対して実行してよい。時間的ヒューリスティクスが実行されてよい（８１０）。例えば、ＡＷＢ部１１６は、時間的ヒューリスティクスを、ＡＷＢ統計サンプルおよびＡＷＢゲインに対して実行してよい。例えば、ＡＷＢ部１１６は、ＡＷＢの一貫性を達成するために、外れ値を時間的に押さえつけてよい。収束制御が実行されてよい（８１２）。例えば、ＡＷＢ部１１６は、収束制御を実行して、ＡＷＢゲインおよび相関色温度（ＣＣＴ）推定を取得してよい。
【００５３】
図９は、一態様による、図１および図２のシステムの例示的な動作を示すフローチャート９００である。図９のフローチャート９００は動作を順番に示しているが、これは単に例であり、追加または代わりの動作が含まれてよいことが理解される。さらに、図９の動作および関連する動作は、図示されるものとは異なる順番で、または並列にもしくは重複するように実行されてよい。
【００５４】
画像が取得されてよい（９０２）。例えば、カメラ１０２は画像１０５を取得してよい。カメラ１０２は、デジタルカメラであってよい。いくつかの例では、カメラ１０２は装置１００の前面に配置されてよい（例えば正面カメラ）。例えば、カメラ１０２は、装置１００のディスプレイ画面１６０と同じ側に配置されてよい。いくつかの例では、カメラ１０２は、装置１００の裏面に配置されてよい（例えば、ディスプレイ画面１６０の反対側に配置された背面カメラ）。いくつかの例では、装置１００は、複数のカメラ１０２を含んでよい（例えば、正面カメラと背面カメラの両方）。
【００５５】
画像１０５は、個々の静止画像（例えば写真）またはビデオやムービーを構成する一連の画像であってよい。画像１０５は、デジタル画像であってよい。画像１０５は、画像素子または画素と呼ばれ各画素が輝度のレベルを示す輝度値を有する、デジタル値を有する二次元画像の数値表現であってよい。
【００５６】
画像に関連するＵＶ線データとＩＲ線データとのうちの１つ以上が作成されてよい（９０４）。例えば、電磁放射センサ１０４は、画像１０５に関連するＵＶ線データ１０６とＩＲ線データ１０８とのうちの１つ以上を取得するよう構成されてよい。いくつかの例では、電磁放射センサ１０４は、ＵＶ線データ１０６とＩＲ線データ１０８との両方を検出してよい。いくつかの例では、電磁放射センサ１０４は、ＵＶ線データ１０６とＩＲ線データ１０８との両方を感知可能な単一のセンサ部品である。他の例では、電磁放射センサ１０４は、ＵＶ線データ１０６を検出するよう構成されたＵＶセンサおよびＩＲ線データ１０８を検出するよう構成されたＩＲセンサ等の別個のセンサ部品を含んでよい。いくつかの例では、電磁放射センサ１０４はＵＶ線データ１０６のみを検出してよい。いくつかの例では、電磁放射センサ１０４はＩＲ線データ１０８のみを検出してよい。ＵＶ線データ１０６は、画像１０５（または画像１０５の一部）に関連するＵＶ線のレベルを表すＵＶ値を含んでよい。いくつかの例では、ＵＶ線データ１０６は、第１時刻に取得される第１ＵＶ値および第１時刻後の第２時刻に取得される第２ＵＶ値等の複数のＵＶ測定値を含む。ＩＲ線データ１０８は、画像１０５（または画像１０５の一部）に関連するＩＲ線のレベルを表すＩＲ値を含んでよい。いくつかの例では、ＩＲ線データ１０８は、第１時刻に取得される第１ＩＲ値および第１時刻後の第２時刻に取得される第２ＩＲ値等の複数のＩＲ測定値を含んでよい。
【００５７】
電磁放射センサ１０４は、１つまたは複数の光ダイオードの配列、増幅器、および／またはアナログとデジタルの回路を含んでよい。電磁放射センサ１０４は、カメラ１０２の近傍に配置されてよい。いくつかの例では、電磁放射センサ１０４はカメラ１０２に結合されてよい。いくつかの例では、電磁放射センサ１０４およびカメラ１０２は、電源接続１１８およびコンピュータバス１１９を共有してよい。いくつかの例では、コンピュータバス１１９はＩ２Ｃ（Ｉｎｔｅｒ−Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）バスである。いくつかの例では、装置１００は、複数のカメラ１０２を含んでよく、カメラ１０２のうちの１つだけが、共通の電源接続１１８およびコンピュータバス１１９を、電磁放射センサ１０４と共有する。いくつかの例では、正面カメラとして構成されたカメラ１０２が、共通の電源接続１１８およびコンピュータバス１１９を、電磁放射センサ１０４と共有する。いくつかの例では、背面カメラとして構成されたカメラ１０２が、共通の電源接続１１８およびコンピュータバス１１９を、電磁放射センサ１０４と共有する。
【００５８】
発光体種類確率は、確率データから、ＵＶ線データとＩＲ線データとのうちの１つ以上を使用して、検出されてよい。発光体種類確率は、画像に関連する光源が特定の発光体種類であるという確信度を示す（９０６）。例えば、センサプロセッサ１１０は、発光体種類確率１１４を、ＵＶ線データ１０６とＩＲ線データ１０８とのうちの１つ以上を使用して、確率データ１１２から検出してよい。発光体種類確率１１４は、画像の光源が特定の発光体種類であるという確信度を示す。確率データ１１２は、ＵＶとＩＲの値の様々な組み合わせに対する各発光体種類の確率を特定してよい。いくつかの例では、確率データ１１２は、画像１０５に関連するＵＲとＩＲの値および輝度値の様々な組み合わせに対する各発光体種類の確率を特定してよい。発光体種類確率１１４は、画像の光源が、昼光、蛍光灯、白熱灯、および／または可視光ＬＥＤ等の、ある発光体の種類であるという確信度であってよい。また、発光体の種類は、他の分類の光源を含んでよい。言い換えると、発光体は、光源であってよく、発光体種類は、光源の種類であってよい。いくつかの例では、画像１０５は、複数の光源を含んでよく、センサプロセッサ１１０は、画像１０５に存在する各光源に対する発光体種類確率１１４を検出してよい。
【００５９】
画像に適用されるオートホワイトバランスは、発光体種類確率で調整されてよい（９０８）。例えば、ＡＷＢ部１１６は、画像１０５に適用されるオートホワイトバランスを、発光体種類確率１１４で調整するよう構成されてよい。ＡＷＢ部１１６は、発光体種類確率１１４をＡＷＢ１１７に組み込んでよい。その結果、ＡＷＢ部１１６は、発光体種類をＡＷＢ統計サンプルのみを用いて推定しなくてよい。他の例では、ＡＷＢ部１１６は、ＡＷＢ統計サンプルからの発光体種類推定を、装置１００によって決定される発光体種類確率１１４で向上させてよい。
【００６０】
図１０は、コンピュータ装置１０００およびモバイルコンピュータ装置１０５０の一例を示し、これらの装置は、本明細書に記載される技法とともに使用することができる。いくつかの例では、装置１００はコンピュータ装置１００またはモバイルコンピュータ装置１０５０を含んでよい。コンピューティング装置１０００は、ラップトップ、デスクトップ、タブレット、ワークステーション、携帯情報端末、テレビ、サーバ、ブレードサーバ、メインフレーム、および他の適当なコンピューティング装置等、様々な形態のデジタルコンピュータを表すことが意図される。コンピューティング装置１０５０は、携帯情報端末、セルラ電話、スマートフォン、および他の同様のコンピューティング装置等、様々な形態のモバイル装置を表すことが意図される。本明細書に示される構成要素、それらの接続および関係、ならびにそれらの機能は、単に例示的なものにすぎず、本明細書に記載され、および／または特許請求される発明の実装を制限するものではない。
【００６１】
コンピューティング装置１０００は、プロセッサ１００２と、メモリ１００４と、記憶装置１００６と、メモリ１００４および高速拡張ポート１０１０に接続している高速インターフェイス１００８と、低速バス１０１４および記憶装置１００６に接続している低速インターフェイス１０１２とを含む。プロセッサ１００２は、半導体ベースのプロセッサでよい。メモリ１００４は、半導体ベースのメモリでよい。構成要素１００２、１００４、１００６、１００８、１０１０、および１０１２の各々は、様々なバスを使用して相互接続され、適宜に、共通のマザーボード上に、または他の方法で取り付けることができる。プロセッサ１００２は、高速インターフェイス１００８に結合されたディスプレイ１０１６等の、外部の入出力装置上に、ＧＵＩに関するグラフィカル情報を表示するための、メモリ１００４または記憶装置１００６に記憶された命令を含む、コンピューティング装置１０００内の実行の命令を処理することができる。他の実装では、複数のプロセッサおよび／または複数のバスは、適宜に、複数のメモリおよびメモリの種類とともに使用することができる。また、複数のコンピューティング装置１０００を（例えば、サーババンク、ブレードサーバのグループ、またはマルチプロセッサシステムとして）、必要な動作の一部分を提供する各装置と接続してもよい。
【００６２】
メモリ１００４は、コンピューティング装置１０００内の情報を記憶する。１つの実装では、メモリ１００４は、揮発性メモリユニットまたはユニットである。別の実装では、メモリ１００４は、不揮発性メモリユニットまたはユニットである。また、メモリ１００４は、磁気または光学ディスク等の別の形態のコンピュータ可読媒体でもよい。
【００６３】
記憶装置１００６は、コンピューティング装置１０００に大容量ストレージを提供することができる。１つの実装では、記憶装置１００６は、コンピュータ可読媒体（例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光学ディスク装置、またはテープ装置）、フラッシュメモリもしくは他の同様の固体メモリ装置、またはストレージエリアネットワークもしくは他の構成の装置を含む装置のアレイであり得、またはそれらを含むことができる。コンピュータプログラム製品は、情報担体中に有形で実施され得る。また、コンピュータプログラム製品は、上述したもののように、実行時に、１つまたは複数のメソッドを実行する命令を含むことができる。情報担体は、メモリ１００４、記憶装置１００６、またはプロセッサ１００２上のメモリ等の、コンピュータ可読媒体または機械可読媒体である。
【００６４】
高速コントローラ１００８は、コンピューティング装置１０００に対する帯域幅を大量に使用する（ｂａｎｄｗｉｄｔｈ−ｉｎｔｅｎｓｉｖｅ）操作を管理し、低速コントローラ１０１２はより低い帯域幅を大量に使用する（ｌｏｗｅｒ  ｂａｎｄｗｉｄｔｈ−ｉｎｔｅｎｓｉｖｅ）操作を管理する。機能のそのような割振りは、例示的なものにすぎない。１つの実装では、高速コントローラ１００８は、（例えば、グラフィックスプロセッサまたはアクセラレータを介して）メモリ１００４、ディスプレイ１０１６に、および、様々な拡張カード（図示せず）を受け付けることができる高速拡張ポート１０１０に結合される。この実装では、低速コントローラ１０１２は、記憶装置１００６と低速拡張ポート１０１４とに結合されている。低速拡張ポートには、様々な通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、ワイヤレスイーサネット）が含まれるが、これは、例えば、キーボード、ポインティング装置、スキャナ、またはスイッチもしくはルータなどのネットワーク装置等、１つまたは複数の入出力装置に、例えばネットワークアダプタを介して、結合することができる。
【００６５】
コンピューティング装置１０００は、図示のように、複数の異なる形態で実装することができる。例えば、コンピューティング装置１０００は、標準的なサーバ１０２０として、またはそのようなサーバのグループにおいて複数台、実装することができる。加えて、コンピューティング装置１０００は、ラックサーバシステム１０２４の一部として実装することもできる。さらに、コンピューティング装置１０００は、ラップトップコンピュータ１０２２等のパーソナルコンピュータに実装することができる。あるいは、コンピューティング装置１０００の構成要素は、装置１０５０等のモバイル装置（図示せず）の他の構成要素と組み合わせてもよい。このような装置の各々は、コンピューティング装置１０００、１０５０のうちの１つまたは複数を含んでよく、互いに通信する複数のコンピューティング装置１０００、１０５０によりシステム全体が構成されてよい。
【００６６】
コンピューティング装置１０５０は、他の構成要素のうち、プロセッサ１０５２と、メモリ１０６４と、ディスプレイ１０５４等の入出力装置と、通信インターフェイス１０６６と、トランシーバ１０６８とを含む。また、装置１０５０は、追加のストレージを提供するために、マイクロドライブまたは他の装置等の記憶装置を備えてもよい。構成要素１０５０、１０５２、１０６４、１０５４、１０６６、および１０６８の各々は、様々なバスを使用して相互接続され、構成要素のうちのいくつかは、適宜に、共通のマザーボード上に、または他の方法で取り付けることができる。
【００６７】
プロセッサ１０５２は、メモリ１０６４に記憶された命令を含む、コンピューティング装置１０５０内の命令を実行することができる。プロセッサは、別個の複数のアナログプロセッサとデジタルプロセッサを含むチップのチップセットとして実装することができる。プロセッサは、例えば、ユーザインターフェイス、装置１０５０によって実行されるアプリケーション、および装置１０５０による無線通信の制御等、装置１０５０の他の構成要素の調整を行うことができる。
【００６８】
プロセッサ１０５２は、ディスプレイ１０５４に結合された制御インターフェイス１０５８およびディスプレイインターフェイス１０５６を介して、ユーザと通信することができる。ディスプレイ１０５４は、例えば、ＴＦＴ  ＬＣＤディスプレイ（薄膜トランジスタ液晶ディスプレイ）もしくはＯＬＥＤ（有機発光ダイオード）ディスプレイ、または他の適切なディスプレイ技術であり得る。ディスプレイインターフェイス１０５６は、グラフィカル情報および他の情報をユーザに提示するようにディスプレイ１０５４を駆動するための適切な回路を備えることができる。制御インターフェイス１０５８は、ユーザからコマンドを受信し、プロセッサ１０５２へのサブミッションのためにそれらを変換することができる。加えて、プロセッサ１０５２と通信する外部インターフェイス１０６２が提供されてもよく、それにより、装置１０５０の他の装置との近距離通信が可能になる。外部インターフェイス１０６２は、例えば、いくつかの実装では有線通信を、または他の実装では無線通信を行うことができ、また、複数のインターフェイスを使用してもよい。
【００６９】
メモリ１０６４は、コンピューティング装置１０５０内の情報を記憶する。メモリ１０６４は、１つまたは複数のコンピュータ可読媒体、１つまたは複数の揮発性メモリユニット、または１つまたは複数の不揮発性メモリユニットとして実装することができる。また、拡張メモリ１０７４が提供され、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインターフェイスを含むことができる拡張インターフェイス４７２を介して装置１０５０に接続され得る。このような拡張メモリ１０７４は、装置１０５０に追加のストレージスペースを提供することができ、または装置１０５０にアプリケーションもしくは他の情報を記憶することができる。具体的には、拡張メモリ１０７４は、上述の処理を実行または補足するための命令を含むことができ、安全な情報も含むことができる。したがって、例えば、装置１０５０のセキュリティモジュールとして、拡張メモリ１０７４を提供することができ、装置１０５０の安全な使用を可能にする命令を用いて、拡張メモリ１０７４をプログラムすることができる。加えて、ハッカー行為が不可能な様式でＳＩＭＭカード上に識別情報を配置する等、ＳＩＭＭカードを介して、安全なアプリケーションを追加の情報と共に提供することができる。
【００７０】
メモリは、後述のように、例えば、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含むことができる。１つの実装では、コンピュータプログラム製品は情報担体中に有形で実施される。コンピュータプログラム製品は、上述したもののように、実行時に、１つまたは複数の方法を実行する命令を含む。情報担体は、メモリ１０６４、拡張メモリ１０７４、または例えばトランシーバ１０６８もしくは外部インターフェイス１０６２を通じて受信され得るプロセッサ１０５２上のメモリ等の、コンピュータ可読媒体または機械可読媒体である。
【００７１】
装置１０５０は、必要に応じて、デジタル信号処理回路を含むことができる通信インターフェイス１０６６を介して、無線で通信することができる。通信インターフェイス１０６６は、とりわけ、ＧＳＭ（登録商標）音声通話、ＳＭＳメッセージング、ＥＭＳメッセージングもしくはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳ等の、様々なモードまたはプロトコルに基づく通信を行うことができる。このような通信は、例えば、無線周波数トランシーバ１０６８を介して行うことができる。加えて、短距離通信は、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、または他のそのようなトランシーバ（図示せず）等を使用して行うことができる。加えて、ＧＰＳ（全地球測位システム）受信器モジュール１０７０は、追加のナビゲーション関連ワイヤレスデータおよびロケーション関連ワイヤレスデータを、装置１０５０に提供することができ、これらの情報は、装置１０５０上で実行されるアプリケーションによって必要に応じて使用可能である。
【００７２】
また、装置１０５０は、音声コーデック１０６０を使用して可聴通信することができる。音声コーデック１０６０は、話された情報をユーザから受信して、それを使用可能なデジタル情報に変換することができる。音声コーデック１０６０は同様に、例えば装置１０５０のハンドセット中のスピーカ等を介して、ユーザが聞き取れる可聴音を発生することができる。このような音声は、音声電話通話からの音声を含み、記録された音声（例えば、ボイスメッセージ、音楽ファイル等）を含むことができ、さらに、装置１０５０上で動作するアプリケーションによって発生された音声を含むことができる。
【００７３】
コンピューティング装置１０５０は、図示のように、複数の異なる形態で実装することができる。例えば、コンピューティング装置１０５０は、セルラ電話１０８０として実装することができる。コンピューティング装置１０５０は、スマートフォン１０８２、携帯情報端末、または他の同様のモバイル装置の一部として実装してもよい。
【００７４】
したがって、本明細書に記載したシステムおよび技法の種々の実装は、デジタル電子回路、集積回路、専用に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはその組合せにおいて実現することが可能である。これらの様々な実装は、ストレージシステム、１つ以上の入力装置、および１つ以上の出力装置とデータおよび命令を送受信するように結合された、専用または汎用とすることができる１つ以上のプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および／または解釈可能な１つまたは複数のコンピュータプログラムにおける実装を含むことが可能である。
【００７５】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、またはコードとしても知られる）は、プログラマブルプロセッサに対する機械語命令を含み、高レベル手続き言語および／もしくはオブジェクト指向プログラミング言語で、ならびに／またはアセンブリ／機械言語で実装することが可能である。本明細書で使用されるように、用語「機械可読媒体」「コンピュータ可読媒体」は、機械語命令を機械可読信号として受け取る機械可読媒体を含む、機械語命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置、および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。用語「機械可読信号」は、機械語命令および／またはデータをプログラマブルプロセッサに提供するために使用される任意の信号を指す。
【００７６】
ユーザとの対話を行うために、本明細書に記載したシステムおよび技法は、情報をユーザに表示するための表示装置（例えば、ＣＲＴ（陰極線管）モニタまたはＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがそれによりコンピュータに入力することが可能なキーボードおよびポインティング装置（例えば、マウスまたはトラックボール）とを有するコンピュータ上で実装することが可能である。ユーザとの対話を行うために、他の種類の装置も同様に使用することが可能であり、例えば、ユーザに提供されるフィードバックは、感覚的なフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）の任意の形態とすることができ、ユーザからの入力は、音響入力、音声入力、または触覚入力を含む任意の形態で受信することが可能である。
【００７７】
本明細書に記載したシステムおよび技法は、（例えば、データサーバとして）バックエンドコンポーネントを含むか、ミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むか、フロントエンドコンポーネント（例えば、ユーザが、本明細書に記載したシステムおよび技法の実装とそれを介して対話できるグラフィカルユーザインターフェイスまたはウェブブラウザを有するクライアントコンピュータ）を含む、コンピューティングシステム、あるいはこのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組合せで実装することが可能である。このシステムの構成要素は、デジタルデータ通信（例えば、通信ネットワーク）の任意の形態または媒体により相互接続することが可能である。通信ネットワークの例としては、ローカルエリアネットワーク（「ＬＡＮ」）、ワイドエリアネットワーク（「ＷＡＮ」）、およびインターネットが挙げられる。
【００７８】
加えて、図に記載された論理の流れは、望ましい結果を得るために、示された特定の順序や順番を必要としない。加えて、他の工程が提供されてよく、または工程は記載された流れから省略されてよい。また、他の構成要素は、記載されたシステムに追加されるか省略されてよい。したがって、他の実施形態は、以下の請求項の範囲内である。
【００７９】
特に詳細に記載された上記の実施形態は、単なる例示または可能な実施形態であり、含まれ得る多くの他の組み合わせ、追加物、または代替物が存在することが理解されよう。
上記の記載のいくつかの部分は、アルゴリズムおよび情報に対する動作の象徴的表現の観点で特徴を提示する。これらのアルゴリズムに関する記載および表現は、最も効果的にその作業の本質を他の当業者に伝えるために、データ処理技術の当業者によって使用されてよい。これらの動作は、機能的または論理的に記載されているものの、コンピュータプログラムによって実装されることが理解される。さらに、これらの動作の配置をモジュールとしてまたは機能名で述べることは、一般性を失うことなく、時には便利であることも判明した。
【００８０】
別段の記述がない限り、または上記の検討から明らかなように、記載を通して、「処理」、「算出」、「計算」、「判定」、「表示」、または「提供」等の用語を用いる検討は、コンピュータシステムメモリもしくはレジスタ、他のそのような情報記憶装置、情報送信装置、または情報表示装置内で物理的な（電子的な）量として表されるデータを、操作および変換する、コンピュータシステムまたは類似の電子コンピューティング装置の動作およびプロセスを指すことが理解される。
【図１Ａ】
0006625724.tif 000002
【図１Ｂ】
0006625724.tif 000003
【図１Ｃ】
0006625724.tif 000004
【図２】
0006625724.tif 000005
【図３Ａ】
0006625724.tif 000006
【図３Ｂ】
0006625724.tif 000007
【図４】
0006625724.tif 000008
【図５】
0006625724.tif 000009
【図６】
0006625724.tif 000010
【図７】
0006625724.tif 000011
【図８】
0006625724.tif 000012
【図９】
0006625724.tif 000013
【図１０】
0006625724.tif 000014