(57)【特許請求の範囲】
【請求項１】
複数の画素から構成される室内の所定領域の熱画像を測定する熱画像測定工程と、
これら画素のうち相対的に温度が高い画素を熱源画素と判断し、この熱源画素が互いに隣接する区域をブロックとして抽出するブロック抽出工程と、
前記ブロックが人物か否かを判別して人数を算出することにより、前記室内の所定領域内の人数を計数する人物判別工程とを具え、
前記ブロック抽出工程は、
前記熱画像の画素の第１の温度平均値を算出する第１温度平均値算出工程と、
この温度平均値より高い温度の画素を除去した画像を作成する画像作成工程と、
この画像作成工程により作成した画像の第２の温度平均値を算出する第２温度平均値算出工程と、
この第２温度平均値に基づいて背景画像を作成する背景画像作成工程と、
前記熱画像から前記背景画像を減じて２値画像を作成する２値画像作成工程と、
この２値画像により前記ブロックを作成するブロック作成工程と、
同一の前記ブロック中の熱源画素にそれぞれ、他の前記ブロック中の熱源画素と相違する同一ラベルを付加する第１ラベル付加工程とを有することを特徴とする熱画像による人数計数方法。
【請求項２】
前記第１温度平均値算出工程、前記画像作成工程及び前記第２温度平均値算出工程を、前記熱画像の垂直方向の座標が同一である画素グループごとに行うことを特徴とする請求項１記載の熱画像による人数計数方法。
【請求項３】
前記背景画像を、前記熱画像の全画素の温度を前記第２温度平均値にそれぞれ置き換えた画素で構成した画像とすることを特徴とする請求項１記載の熱画像による人数計数方法。
【請求項４】
前記人物判別工程は、
前記人物判別工程において人物が存在すると判別されたブロック中の画素数をそれぞれ算出する画素数算出工程と、
算出した画素数に基づいて前記ブロック中に人物が存在するか否かを判別して、前記室内の所定領域内の人物を計数する存在判別工程とを有することを特徴とする請求項１記載の熱画像による人数計数方法。
【請求項５】
前記存在判別工程は、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、最小人物画素数及び最大人物画素数を前記ブロックの重心に基づいて設定する人物画素数設定工程と、
前記ブロック中の人数をそれぞれ、前記ブロック中の画素数が前記最小人物画素数より小さい場合には零とするとともに、前記最小人物画素数以上の場合には、前記ブロック中の画素数を前記最大人物画素数で除算し、その商の小数点以下を切り上げた値とすることにより、前記室内の所定領域内の人物を計数するブロック人数算出工程とを有することを特徴とする請求項４記載の熱画像による人数計数方法。
【請求項６】
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ温度極大値数を算出し、前記ブロック中の求めた温度極大値数を、前記人物判別工程で計数された人数の代わりに前記ブロック中の人数として、前記室内の所定領域の人数を計数する第１人数計数工程と具えることを特徴とする請求項１記載の熱画像による人数計数方法。
【請求項７】
前記第１人数計数工程は、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の最高温度から第１の所定の値を減じた値と、前記ブロック中に含まれる画素の温度とをそれぞれ比較し、前記最高温度から前記第１の所定の値を減じた値より大きい画素の温度を前記温度極大値とする第１温度極大値判別工程を有することを特徴とする請求項６記載の熱画像による人数計数方法。
【請求項８】
前記第１温度極大値判別工程は、
前記温度極大値を有する画素にそれぞれ第１の所定の符号を付し、それ以外の画素にこの第１の所定の符号と相違する符号をそれぞれ付すことにより２符号画像を作成する第１の２符号画像作成工程と、
前記温度極大値を有する画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルをこれら画素にそれぞれ付加する第２ラベル付加工程と、
前記同一ラベルの種類の数を前記温度極大値数とする第１温度極大値計数工程とを有することを特徴とする請求項７記載の熱画像による人数計数方法。
【請求項９】
前記最高温度が所定の温度以上の場合には、前記ブロック中の人数を、前記第１人数計数工程で計数した人数の代わりに零として、前記室内の所定領域の人数を計数する第１ブロック人数零工程を具えることを特徴とする請求項７又は８記載の熱画像による人数計数方法。
【請求項１０】
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の垂直方向の座標の最大値と最小値との差に１を加算した縦幅を算出し、この縦幅に基づいて前記ブロックそれぞれの人数を算出して、前記室内の所定領域中の人物をそれぞれ計数する縦幅人物判別工程を具えることを特徴とする請求項１記載の熱画像による人数計数方法。
【請求項１１】
前記縦幅人物判別工程は、
前記縦幅が第１の所定の値以下の場合には前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第２ブロック人数零工程と、
前記縦幅が所定の範囲内に存在するとともに、前記人物判別工程で前記ブロック中の人数が２人以上であると判別された場合には、前記人物判別工程で計数した人数から１を減算した人数を前記ブロック中の人数として、前記室内の所定領域の人数を計数する人数減算工程とを有することを特徴とする請求項１０記載の熱画像による人数計数方法。
【請求項１２】
前記室内の所定領域の複数の画素を、前記室内の形状及び前記熱画像の測定位置に基づいて前記室内の壁に相当する画素と前記室内の床に相当する画素とに分類する画素分類工程と、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロックの重心と水平方向の座標が同一である床壁接点の垂直方向の座標が、前記ブロックの重心の垂直方向の座標に所定の値を加算した値又は前記ブロックに含まれる画素の最大の垂直方向の座標より大きい場合には、前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第３ブロック人数零工程とを具えることを特徴とする請求項１１項に記載の熱画像による人数計数方法。
【請求項１３】
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロックの重心が人物が予め存在しえない領域に存在する場合には、前記ブロック中の人数を零にして、前記室内の所定領域の人数を計数する第４ブロック人数零工程とを具えることを特徴とする請求項１記載の熱画像による人数計数方法。
【請求項１４】
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の最高温度が第３の所定の値より高く、かつ、前記熱画像の測定位置の直下から前記ブロックまでの距離が第４の所定の値より大きい場合には、前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第５ブロック人数零工程を具えることを特徴とする請求項１記載の熱画像による人数計数方法。
【請求項１５】
前記人物判別工程において人物が存在すると判別されたブロックが、前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域に存在する場合、前記ブロック中の人数を零にする第６ブロック人数零工程と、
この第６ブロック人数零工程で人数を零にしたブロック中の温度極大値を求め、このようにして求めた温度極大値数を、前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域の人数として、前記室内の所定領域の人数を計数する第２人数計数工程と具えることを特徴とする請求項１記載の熱画像による人数計数方法。
【請求項１６】
前記第２人数計数工程は、
前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域について、前記ブロック中の画素の最大温度から第５の所定の値を減じた値と、前記存在判別工程において人物が存在すると判別されたブロック中に含まれる画素の温度とそれぞれを比較し、前記最高温度から前記第５の所定の値を減じた値より大きい画素の温度を前記温度極大値とする第２温度極大値判別工程を有することを特徴とする請求項１５記載の熱画像による人数計数方法。
【請求項１７】
前記第２温度極大値判別工程は、
前記温度極大値を有する画素にそれぞれ第２の所定の符号を付し、それ以外の画素にこの第２の所定の符号と相違する符号をそれぞれ付すことにより２符号画像を作成する第２の２符号画像作成工程と、
前記温度極大値を有する画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルをこれら画素にそれぞれ付加する第３ラベル付加工程と、
前記同一ラベルの種類の数を前記温度極大値数とする第２温度極大値計数工程とを有することを特徴とする請求項１６記載の熱画像による人数計数方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、室内の所定領域の人体から輻射される赤外線を検知することにより、所定領域内の人数を計数する熱画像による人数計数方法に関するものである。
【０００２】
【従来の技術】
従来、室内の所定領域の人体から輻射される赤外線を検知することにより、所定領域内の人数を計数することは、例えば特公平５−５２１１７  号公報に記載されている。この公報には、超音波センサ及び赤外線検出熱センサを用いて室内無人環境を設定した後、テレビの視聴者数を計数する装置が記載されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、このような装置では、室内無人環境を設定する必要があるため、室内の家具の配置を変更等した場合にはこの設定を新たにやり直す必要がある。この設定を手動で行う必要があるため、設定のやり直しを行う手間がかかる。また、このような設定を行うために、視聴者数の計数を行う赤外線検出熱センサの他に、超音波センサを必要とする。
【０００４】
本発明の目的は、室内の無人環境を予め記憶することなく室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００５】
本発明の他の目的は、室内の所定領域内に複数の人物が固まっている場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００６】
本発明の他の目的は、室内の所定領域内に暖房器具のような熱源が存在する場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００７】
本発明の他の目的は、室内の所定領域の天井付近に熱気が存在する場合や、室内の所定領域で人物が横たわっている場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００８】
本発明の他の目的は、室内の所定領域の壁部に温風ヒータのような熱源が存在する場合や、室内の所定領域の窓付近が太陽光により暖められている場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【０００９】
本発明の他の目的は、室内の所定領域に人物と同程度の温度の熱源が存在する場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【００１０】
本発明の他の目的は、室内の所定領域に人物より高いが暖房器具より低い温度の熱源が存在する場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【００１１】
本発明の他の目的は、室内の所定領域で熱画像測定位置からある程度離れたい位置に人物が存在する場合でも、室内の所定領域の人数を正確に計数することができる熱画像による人数計数方法を提供することである。
【００１２】
【課題を解決するための手段】
本発明による熱画像による人数計数方法は、
複数の画素から構成される室内の所定領域の熱画像を測定する熱画像測定工程と、
これら画素のうち相対的に温度が高い画素を熱源画素と判断し、この熱源画素が互いに隣接する区域をブロックとして抽出するブロック抽出工程と、
前記ブロックが人物か否かを判別して人数を算出することにより、前記室内の所定領域内の人数を計数する人物判別工程とを具え、
前記ブロック抽出工程は、
前記熱画像の画素の第１の温度平均値を算出する第１温度平均値算出工程と、
この温度平均値より高い温度の画素を除去した画像を作成する画像作成工程と、
この画像作成工程により作成した画像の第２の温度平均値を算出する第２温度平均値算出工程と、
この第２温度平均値に基づいて背景画像を作成する背景画像作成工程と、
前記熱画像から前記背景画像を減じて２値画像を作成する２値画像作成工程と、
この２値画像により前記ブロックを作成するブロック作成工程と、
同一の前記ブロック中の熱源画素にそれぞれ、他の前記ブロック中の熱源画素と相違する同一ラベルを付加する第１ラベル付加工程とを有することを特徴とするものである。
【００１３】
本発明による熱画像による人数計数方法では、室内の無人の環境を予め記憶することなく室内の所定領域の人数を正確に計数することができるため、室内の家具の配置を変更等した場合でも室内の無人の環境の設定のやり直しを行う手間がかからない。また、このような設定を行う必要がないために、人数を計測するに当たり超音波センサを用いる必要がなくなる。
【００１４】
この場合、前記ブロック抽出工程は、
前記熱画像の画素の第１の温度平均値を算出する第１温度平均値算出工程と、
この温度平均値より高い温度の画素を除去した画像を作成する画像作成工程と、
この画像作成工程により作成した画像の第２の温度平均値を算出する第２温度平均値算出工程と、
この第２温度平均値に基づいて背景画像を作成する背景画像作成工程と、
前記熱画像から前記背景画像を減じて２値画像を作成する２値画像作成工程と、
この２値画像により前記ブロックを作成するブロック作成工程と、
同一の前記ブロック中の熱源画素にそれぞれ、他の前記ブロック中の熱源画素と相違する同一ラベルを付加する第１ラベル付加工程とを有する。
【００１５】
さらに好適には、前記第１温度平均値算出工程、前記画像作成工程及び前記第２温度平均値算出工程を、前記熱画像の垂直方向の座標が同一である画素グループごとに行う。
【００１６】
室内の温度は、床付近に比べて天井付近の方が高いので、全体の平均温度を閾値とする場合床付近に存在する熱源を抽出するのに好ましくない。したがって、熱画像の垂直位置が同一である画素グループごとに、これら第１温度平均値算出工程、画像作成工程及び第２温度平均値算出工程を行うことが好ましい。
【００１７】
好適には、前記背景画像を、前記熱画像の全画素の温度を前記第２温度平均値にそれぞれ置き換えた画素で構成した画像とする。
【００１８】
好適には、前記人物判別工程は、
前記人物判別工程において人物が存在すると判別されたブロック中の画素数をそれぞれ算出する画素数算出工程と、
算出した画素数に基づいて前記ブロック中に人物が存在するか否かを判別する存在判別工程とを有する。
【００１９】
熱源の表面積とその熱源の熱画像における画素数とは比例する。ブロック中に人物が存在するか否かを判別する場合、算出した画素数に基づいて判別するのが好ましい。この場合、画素数が所定の数より少ない場合には、犬猫等の小動物又は局所的に温度が高い場合であると判別し、それに対して画素数が所定の数より多い場合には、複数の人物が固まっていると判別することにより、室内の所定領域の人数を正確に計数することができる。さらに、測定位置から熱源までの距離が遠くなるに従って算出される画素の数が減少するので、この距離に対応した画素数で人物が存在するか否かを判別する。
【００２０】
さらに好適には、前記存在判別工程は、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、最小人物画素数及び最大人物画素数をそれぞれ前記重心に基づいて設定する人物画素数設定工程と、
前記ブロック中の人数をそれぞれ、前記ブロック中の画素数が前記最小人物画素数より小さい場合には零とするとともに、前記最小人物画素数以上の場合には、前記ブロック中の画素数を前記最大人物画素数で除算し、その商の小数点以下を切り上げた値とするブロック人数算出工程とを有する。
【００２１】
好適には、人物が存在すると判別されたブロックについてそれぞれ温度極大値数を算出し、前記ブロック中の求めた温度極大値数を、前記人物判別工程で計数された人数の代わりに前記ブロック中の人数として、前記室内の所定領域の人数を計数する第１人数計数工程と具える。
【００２２】
第１人数計数工程において、人物が存在すると判別されたブロックについてそれぞれ温度極大値を求め、ブロック中の求めた温度極大値数をブロック中の人数とし、これらブロック中の人数を合計して室内の所定領域の人数を計数するので、室内の所定領域内に複数の人物が固まっている場合でも、室内の所定領域の人数を正確に計数することができる。
【００２３】
更に好適には、前記第１人数計数工程は、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の最高温度から第１の所定の値を減じた値と、前記ブロック中に含まれる画素の温度とをそれぞれ比較し、前記最高温度から前記第１の所定の値を減じた値より大きい画素の温度を前記温度極大値とする第１温度極大値判別工程を有する。
【００２４】
さらに好適には、前記第１温度極大値判別工程は、
前記温度極大値を有する画素にそれぞれ第１の所定の符号を付し、それ以外の画素にこの第１の所定の符号と相違する符号をそれぞれ付すことにより２符号画像を作成する第１の２符号画像作成工程と、
前記温度極大値を有する画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルをこれら画素にそれぞれ付加する第２ラベル付加工程と、
前記同一ラベルの種類の数を前記温度極大値数とする第１温度極大値計数工程とを有する。
【００２５】
好適には、前記最高温度が所定の温度以上の場合には、前記ブロック中の人数を、前記第１人数計数工程で計数した人数の代わりに零として、前記室内の所定領域の人数を計数する第１ブロック人数零工程を具える。
【００２６】
このように、第１ブロック人数零工程において、最高温度が所定の温度以上の場合には、ブロック中の人数を、第１人数計数工程で計数した人数の代わりに零として室内の所定領域の人数を計数するので、暖房器具のような熱源が存在する場合でも、室内の所定領域の人数を正確に計数することができる。
【００２７】
好適には、前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の垂直方向の座標の最大値と最小値との差に１を加算した縦幅を算出し、この縦幅に基づいて前記ブロックそれぞれの人数を算出して、前記室内の所定領域中の人物をそれぞれ計数する縦幅人物判別工程を具える。
【００２８】
人物がソファーなどに横たわって存在する場合ブロックは横長になり、人物が座っている場合又は立っている場合に比べてブロック中の画素数が多くなる。したがってブロック中に横たわっている人物が存在する場合、人数を正確に計数するのが困難になる。室内の所定領域の天井付近に熱気が存在する場合も同様の困難が生じる。この場合、人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、縦幅に基づいて人数を算出して、室内の所定領域中の人物をそれぞれ計数することにより、室内の所定領域の人数を正確に計数することができる。
【００２９】
さらに好適には、前記縦幅人物判別工程は、
前記縦幅が第２の所定の値以下の場合には前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第２ブロック人数零工程と、
前記縦幅が所定の範囲内に存在するとともに、前記人物判別工程で前記ブロック中の人数が２人以上であると判別された場合には、前記人物判別工程で計数した人数から１を減算した人数を前記ブロック中の人数として、前記室内の所定領域の人数を計数する人数減算工程とを有する。
【００３０】
好適には、前記室内の所定領域の複数の画素を、前記室内の形状及び前記熱画像の測定位置に基づいて前記室内の壁に相当する画素と前記室内の床に相当する画素とに分類する画素分類工程と、
前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロックの重心と水平方向の座標が同一である床壁接点の垂直方向の座標が、前記ブロックの重心の垂直方向の座標に所定の値を加算した値又は前記ブロックに含まれる画素の最大の垂直方向の座標より大きい場合には、前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第３ブロック人数零工程とを具える。
【００３１】
室内の所定領域の壁部に温風ヒータのような熱源が存在する場合や、室内の所定領域の窓付近が太陽光により暖められている場合、これらを人物と区別するのが困難となる。この場合、人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、ブロックの重心と水平方向の座標が同一である床壁接点の垂直方向の座標が、ブロックの重心の垂直方向の座標に所定の値を加算した値又はブロックに含まれる画素の最大の垂直方向の座標より大きい場合には、ブロック中の人数を零として、前記室内の所定領域の人数を計数することにより、室内の所定領域の人数を正確に計数することができる。
【００３２】
好適には、前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、人物が予め存在しえない領域に前記ブロックの重心が存在する場合には、前記ブロック中の人数を零にして、前記室内の所定領域の人数を計数する第４ブロック人数零工程とを具える。
【００３３】
室内の所定領域に、パーソナルコンピュータのように人物と同程度の温度の熱源が存在する場合、人物と区別するのが困難となる。この場合、人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、人物が予め存在しえない領域にブロックの重心が存在する場合には、ブロック中の人数を零にして、室内の所定領域の人数を計数することにより、室内の所定領域の人数を正確に計数することができる。
【００３４】
好適には、前記人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、前記ブロック中の画素の最高温度が第３の所定の値より高く、かつ、前記熱画像の測定位置の直下から前記ブロックまでの距離が第４の所定の値より大きい場合には、前記ブロック中の人数を零として、前記室内の所定領域の人数を計数する第５ブロック人数零工程を具える。
【００３５】
室内の所定領域に人物より高いが暖房器具より低い温度の熱源が存在する場合にも、人物と区別するのが困難となる。この場合、人物判別工程において人物が存在すると判別されたブロックについてそれぞれ、ブロック中の画素の最高温度が第３の所定の値より高く、かつ、熱画像の測定位置の直下からブロックまでの距離が第４の所定の値より大きい場合には、ブロック中の人数を零として、前記室内の所定領域の人数を計数することにより、室内の所定領域の人数を正確に計数することができる。
【００３６】
好適には、前記人物判別工程において人物が存在すると判別されたブロックが、前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域に存在する場合、前記ブロック中の人数を零にする第６ブロック人数零工程と、
前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域の温度極大値を求め、このようにして求めた温度極大値数を、前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域の人数として、前記室内の所定領域の人数を計数する第２人数計数工程と具える。
【００３７】
例えば隣室のように熱画像の測定位置から所定の距離離れた位置に人物が存在する場合、人物を表す熱源画素の数が少ないので、画素数に基づいて人物か否かを判断するのが困難になる。この場合、人物判別工程において人物が存在すると判別されたブロックが人物隔離存在領域に存在する場合、ブロック中の人数を零にし、熱画像の測定位置から所定の距離離れた人物が存在しうる領域の温度極大値を求め、このようにして求めた温度極大値数を、熱画像の測定位置から所定の距離離れた人物が存在しうる領域の人数として、前記室内の所定領域の人数を計数することにより、室内の所定領域の人数を正確に計数することができる。
【００３８】
好適には、前記第２人数計数工程は、
前記熱画像の測定位置から所定の距離離れた人物が存在しうる領域について、前記ブロック中の画素の最大温度から第５の所定の値を減じた値と、前記存在判別工程において人物が存在すると判別されたブロック中に含まれる画素の温度とそれぞれを比較し、前記最高温度から前記第５の所定の値を減じた値より大きい画素の温度を前記温度極大値とする第２温度極大値判別工程とを有する。
【００３９】
さらに好適には、前記第２温度極大値判別工程は、
前記温度極大値を有する画素にそれぞれ第２の所定の符号を付し、それ以外の画素にこの第２の所定の符号と相違する符号をそれぞれ付すことにより２符号画像を作成する第２の２符号画像作成工程と、
前記温度極大値を有する画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルをこれら画素にそれぞれ付加する第３ラベル付加工程と、
前記同一ラベルの種類の数を前記温度極大値数とする第２温度極大値計数工程とを有する。
【００４０】
【発明の実施の形態】
本発明による熱画像による人数計数方法の実施の形態を図面を参照して詳細に説明する。なお、以下の実施例において同一部材には同一符号を付すものとする。
図１は、本発明による熱画像による人数計数方法の第１実施例を実施する視聴者数計数装置のブロック図である。この装置は、室内のテレビ視聴者領域の熱画像を測定する熱画像測定部１と、熱源画素のブロックを抽出する熱源画素抽出部２と、画素数に基づいて人物が存在するか否かを判別する画素数人物判別部３と、ブロック中の画素の温度極大値数を人数として計数する温度極大値数人物判別部４と、ブロック中の画素の最高温度に応じて人物が存在するか否かを判別する最高温度人物判別部５と、視聴者数を算出する視聴者数算出部６とを具える。
【００４１】
熱画像測定部１は、図示しない設定器からテレビ視聴者数計数開始信号を受信すると、後に説明する図２の室内環境上面図及び図３の室内環境側面図にそれぞれ示すテレビ視聴者領域の熱画像を取り込み、個々の画素の温度を測定するものである。
【００４２】
熱源画素抽出部２は、熱画像測定部１で測定された個々の画素の温度のうち相対的に高い画素を熱源画素と判断し、この熱源画素が互いに隣接する区域をブロックとして抽出するものである。
【００４３】
画素数人物判別部３は、熱源画素抽出部２によって抽出されたブロック中の画素数をそれぞれ算出し、算出した画素数に基づいて各ブロック中に人物が存在するか否かを判別するものである。この画素数人物判別部３により、ブロック中に人物が存在すると判別した場合には、そのブロック中の人数を算出する。
【００４４】
温度極大値数人物判別部４は、人物が存在すると判別したブロックに対してそれぞれ、後に説明する温度極大値を求め、求めた温度極大値数を新たにブロック中の人数とするものである。
【００４５】
最高温度人物判別部５は、人物が存在すると判別したブロックに対してそれぞれ、ブロック中の画素の最高温度を測定し、測定された最高温度が予め設定された温度より高い場合には、そのブロック中の人数を零とするものである。
【００４６】
視聴者数算出部６は、画素数人物判別部３、温度極大値数人物判別部４及び最高温度人物判別部５で算出された個々のブロックの人数を合計して、室内のテレビ視聴者領域全体の人数を算出するものである。
【００４７】
本例では、図２及び３に示すように、一方の辺の長さをＲＯＯＭ Ｘ（３００ｃｍ＜ＲＯＯＭ Ｙ＜５００ｃｍ）とし、かつ、他方の辺の長さをＲＯＯＭ Ｙ（３００ｃｍ＜ＲＯＯＭ Ｘ＜５００ｃｍ）とした室内のテレビ視聴者領域には、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物８，９、１０及び１１と、暖房器具としてのストーブ１２とが存在し、人物８〜１０は固まっている。
【００４８】
本発明による方法を実施する視聴者数計数装置１３は、室の角部Ａから図３の右方向にＳＥＮＳＯＲ Ｘで、かつ、室の床面から高さＳＥＮＳＯＲ Ｈ（１８０ｃｍ＜ＳＥＮＳＯＲ Ｈ＜２４０ｃｍ）に設置する。視聴者数計数装置１３の水平方向の計数可能範囲は図２に示すように１２０°であり、垂直方向の計数可能範囲は図３に示すように８０°である。
【００４９】
図４は、本発明により測定される熱画像の座標軸定義図を示す。本発明の実施例により作成される熱画像は、水平方向に２４画素、垂直方向に１０画素、すなわち合計２４０画素で構成される。水平方向を表す座標をｘ座標とし、かつ、垂直方向を表す座標をｙ座標とする。熱画像中の任意の画素のｘ座標がαであり、ｙ座標がβである場合、その画素の座標を（α，β）で表す。例えば図４において、左上の画素の座標は（１，１）であり、右下の画素の座標は（２４，１０）であり、画素ａの座標は（４，５）であり、画素ｂの座標は（１１，３）であり、画素ｃの座標は（１９，８）である。
【００５０】
図５は、本発明により測定される熱画像の一例を示す。この熱画像は第１実施例により測定されたものであり、個々の画素に記載された数字は各画素の温度を℃で表す。太線枠で囲まれたブロックは、図２及び３の人物８〜１１を表す。
【００５１】
本発明による熱画像による人数計数方法の第１実施例の動作を説明する。
図６は、第１実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ１０１において、熱画像測定部１（図１）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ１０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【００５２】
ステップＳ１０２において、熱画像測定部１（図１）により、図２及び３に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ１０２で測定された熱画像を図７に示す。熱画像測定（ステップＳ１０２）後、ステップＳ１０３に進む。
【００５３】
ステップＳ１０３において、熱源画素抽出部２（図１）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画像を作成する。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ１０３の詳細な動作については、図８〜１３を参照して後に詳細に説明する。
【００５４】
室内の温度は、床付近に比べて天井付近の方が高いので、上記閾値を画素全体の平均温度とすると床付近に存在する熱源画素を抽出するのが困難になる。したがって本例では、ｙ座標が同一である画素は床からの高さが同一であるため、ｙ座標が同一である画素グループごとに熱源画素を判別する。
【００５５】
ブロック抽出（ステップＳ１０３）後、ステップＳ１０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図１）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ１０４の詳細な動作については、図１４を参照して後に詳細に説明する。
【００５６】
ブロック中に人物が存在するか否かを、ブロック中の画素数に基づいて判別する。人物が存在する場合には、人物の表面積は比較的広いのでブロック中に所定の数以上の画素を有する。したがって、ブロック中の画素が所定の数より少ない場合には、ブロック中に人物ではなく犬猫等の小動物が存在する又は局所的に温度が高い場合であると判断し、それに対してブロック中の画素が所定の数より著しく多い場合には、ブロック中に１人ではなく複数の人物が固まって存在していると判断する。
【００５７】
さらに、視聴者数計数装置１３（図２及び３）から熱源までの距離が遠くなるに従ってブロック中の画素数が減少するので、本例ではこの距離に対応した画素数で判別する。
【００５８】
ブロック中に人物が存在するか否かを判別（ステップＳ１０４）後、ブロックの画素数が所定の閾値よりも大きい場合ステップＳ１０５に進み、人物が存在すると判別されたブロックについてのブロック中の温度極大値数を温度極大値人物判別部４（図１）により算出し、この温度極大値数を、ステップＳ１０４で計数された人数の代わりにブロック中の人数とする。なお、ステップＳ１０５の詳細な動作については、図１５〜１８を参照して後に詳細に説明する。
【００５９】
これにより、室内のテレビ視聴者領域に複数の人物が固まっている場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【００６０】
人物が存在すると判別されたブロックについて、ブロック中の温度極大値数をブロック中の人数とした（ステップＳ１０５）後、ステップＳ１０６に進み、人物が存在すると判別されたブロックについての最高温度を最高温度人物判別部５（図１）により測定し、この最高温度が所定の温度以上の場合には、そのブロック中の人数を、ステップＳ１０５で計数した人数の代わりに零とする。なお、ステップＳ１０５の詳細な動作については、図１９及び２０を参照して後に詳細に説明する。
【００６１】
これにより、室内のテレビ視聴者領域に暖房器具（本例ではストーブ１２（図２及び３））が存在する場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【００６２】
ブロック中の最高温度に基づいて人数を計数した（ステップＳ１０６）後、ステップＳ１０７に進み、画素数人物判別部３、温度極大値数人物判別部４及び最高温度人物判別部５（図１）により計数されたブロック中の人数を、視聴者数算出部６（図１）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図２及び３）に出力して（ステップＳ１０８）、本ルーチンを終了する。
【００６３】
図８は、熱源画素を抽出する工程を示すフローチャートであり、図６のステップＳ１０３に相当する。本ルーチンでは先ず、ステップＳ１１１において、熱画像測定部１（図１）で測定した熱画像について、ｙ座標が同一である画素グループごとに温度平均値を算出する。ｙ座標が同一である画素グループごとに温度平均値を算出したものを以下示す。
【表１】
0003574241.tif 000002
本例では、ｙ座標方向に１０画素存在するので、ｙ座標が同一である画素グループごとに温度平均値を算出すると１０個の温度平均値を算出することになる。これら温度平均値を、
【数１】
0003574241.tif 000003
により算出する。ここで、ＳＵＭ（α）をｙ座標がαである画素の温度の総和とし、Ｎ（α）をｙ座標がαである画素の個数とし、ＡＶＧ（α）をｙ座標がαである画素グループの温度平均値とする。
【００６４】
次いでステップＳ１１２に進み、ｙ座標が同一である画素グループごとに、これら画素グループの温度平均値より温度が高い画素を、熱画像測定部１（図１）で測定した熱画像から除去した画像を作成する。このようにして作成した画像を図９に示す。図９において、除去した画素については空白で示す。
【００６５】
次いでステップＳ１１３に進み、図９に示す熱画像について、ｙ座標が同一である画素グループごとに温度平均値を算出する。温度平均値の算出方法は、ステップＳ１１１の場合と同様である。ステップＳ１１３においてｙ座標が同一である画素グループごとに温度平均値を算出したものを以下示す。
【表２】
0003574241.tif 000004
【００６６】
次いでステップＳ１１４に進み、熱画像から熱源画素を取り除いた背景画像を作成する。本例では、〔表２〕に示した温度平均値を、ｙ座標が同一である画素グループの画素の値としたものを背景画像とし、これを図１０に示す。
【００６７】
次いでステップＳ１１５に進み、熱画像測定部１（図１）で測定した熱画像から熱源画素のみを抽出する。熱源画素を抽出するに当たり、図７の熱画像の温度から図１０の熱画像の温度を画素ごと減算する。この結果を図１１に示すが、減算結果が０以下の画素については空白で示す。
【００６８】
次に、図１１に示す画素の温度を、画素ごとに予め設定されている閾値Ａと比較し、温度が閾値Ａより大きい画素を１とし、それ以外の画素を空白とした２値画像を作成し、これを図１２に示す。
【００６９】
本例では、上記閾値Ａを、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として５とする。なお、閾値Ａは不変というものではなく、視聴者数計数装置１３（図２及び３）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数並びに室の床面からの視聴者数計数装置１３（図２及び３）の高さＳＥＮＳＯＲ Ｈに対応して変動する値である。
【００７０】
次いでステップＳ１１６に進み、同一のブロック中の熱源画素にそれぞれ、他のブロック中の熱源画素と相違する同一ラベルを付加した熱ラベリング画像を作成する。本例では、図１２において熱源画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルを付加し、これを図１３に示す。なお本例では、ラベルは１から順に自然数を付加する。
ステップＳ１１６終了後、本ルーチンを終了する。
【００７１】
図１４は、ブロック中の画素数に基づいて人物が存在するか否かを判別する工程を示すフローチャートであり、図６のステップＳ１０４に相当する。本制御ルーチンでは先ず、ステップＳ１２１において、抽出された各ブロックの画素数を算出する。本例では図１３に示すように４個のブロックが存在する。なお、ブロック数は、図８のステップＳ１１６で付加されたラベルの最大値と同一である。また、ブロック番号は、ブロックに付されたラベルと同一である。また、ブロックの画素数とは、図１３の熱ラベリング画像においてそのブロック番号と同一のラベルが付加された画素の個数である。各ブロックの画素数を以下示す。
【表３】
0003574241.tif 000005
【００７２】
次いでステップＳ１２２において、各ブロックの重心座標を算出する。ブロック番号Ｎ（Ｎは自然数）の重心座標は、
【数２】
0003574241.tif 000006
により算出する。ここで、ＸＳＵＭ（Ｎ）をブロック番号Ｎに含まれる画素のｘ座標の総和とし、ＹＳＵＭ（Ｎ）をブロック番号Ｎに含まれる画素のｙ座標の総和とし、Ｐ（Ｎ）をブロック番号Ｎの画素数とし、ＸＧ（Ｎ）をブロック番号Ｎのｘ重心座標とし、ＹＧ（Ｎ）をブロック番号Ｎのｙ重心座標とする。図１３の各ブロックの重心座標を以下示す。
【表４】
0003574241.tif 000007
【００７３】
次いでステップＳ１２３に進み、ブロック番号Ｎを１で初期設定する。次いでステップＳ１２４に進み、最小人物画素数及び最大人物画素数をそれぞれブロック番号Ｎのｙ重心座標ＹＧ（Ｎ）に基づいて取得する。これら最小人物画素数及び最大人物画素数は本例において予め設定されており、これらを以下示す。
【表５】
0003574241.tif 000008
これら最小人物画素数及び最大人物画素数は不変というものではなく、視聴者数計数装置１３（図２及び３）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数並びに室の床面からの視聴者数計数装置１３（図２及び３）の高さＳＥＮＳＯＲ Ｈに対応して変動する値である。〔表４〕における各ブロックのｙ重心座標から各ブロックの最小人物画素数及び最大人物画素数を示したものを以下に示す。
【表６】
0003574241.tif 000009
【００７４】
次いでステップＳ１２５に進み、ブロック番号Ｎの画素数が最小人物画素数より小さいか否か判断する。最小人物画素数より小さいと判断した場合、ステップＳ１２６においてブロック番号Ｎの人数を零とし、後に説明するステップＳ１２７をスキップしてステップＳ１２８に進む。本例では、ブロック番号４の画素数は〔表３〕に示すように２であり、その最小人物画素数は〔表６〕に示すように３であるので、この処理によりブロック番号４の人数は０人となる。
【００７５】
ステップＳ１２５において、ブロック番号Ｎの画素数が最小人物画素数より小さくないと判断した場合、ステップＳ１２６をスキップしてステップＳ１２７に進む。ステップＳ１２７において、ブロック番号Ｎの画素数をその最大人物画素数で除算し、その商の小数点以下を切り上げた値をブロック番号Ｎの人数とする。本例では、ブロック番号１の画素数は〔表３〕に示すように２７であり、その最小人物画素数は〔表６〕に示すように１５であるので、この処理によりブロック番号１の人数は２人となる。同様にして、ブロック番号２及び３の人数は共に１人となる。
【００７６】
ステップＳ１２６又はＳ１２７終了後ステップＳ１２８に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ１２９に進み、ブロック番号Ｎに１を加算した後ステップＳ１２４に戻る。本例において算出されたブロック中の人数を以下示す。
【表７】
0003574241.tif 000010
【００７７】
図１５は、人物が存在すると判別されたブロック中の温度極大値数を算出する工程を示すフローチャートであり、図６のステップＳ１０５に相当する。本制御ルーチンでは先ず、ステップＳ１３１においてブロック番号Ｎを１で初期設定した後ステップＳ１３２に進む。
【００７８】
ステップＳ１３２において、ブロック番号Ｎの人数が１人を超えるか否か判断する。１人を超えると判断した場合ステップＳ１３３に進み、それに対して１人を超えないと判断した場合、後に説明するステップＳ１３３，Ｓ１３４，Ｓ１３５及びＳ１３６をスキップしてステップＳ１３７に進む。本例では、ブロック番号１の場合にはステップＳ１３３に進み、ブロック番号２，３及び４の場合にはステップＳ１３７に進む。
【００７９】
ステップＳ１３３において、ブロック番号Ｎに含まれる画素の最高温度を測定する。図１６は、図７の熱画像のブロック番号１に含まれる画素の温度だけを示す画像である。ブロック番号１の場合、その最高温度を測定する際、これら画素の温度の最高値を求めればよい。図１６に示すように、太線枠で囲んだ画素の温度が、ブロック番号１に含まれる画素の最高温度であり、これをブロック番号１の最高温度とする。
【００８０】
次いでステップＳ１３４に進み、図１６に示す画素の温度を、画素ごとに最高温度から予め設定されている閾値Ｂを減算した値より大きい画素を１とし、それ以外の画素を空白とした２値画像を作成し、これを図１７に示す。
【００８１】
本例では、上記閾値Ｂを、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として１．０とする。したがってこの場合、ブロック番号１の最高温度は図１６に示すように２７．４であり、これから閾値Ｂの１．０を減算した値は２６．４であるので、図１７は２６．４より大きい画素には温度極大源として１を付加し、それ以外の画素を空白にする。なお、閾値Ｂは不変というものではなく、熱画像中の画素の平均値及び標準偏差に対応して変動する値である。
【００８２】
次いでステップＳ１３５に進み、同一の温度極大源の熱源画素にそれぞれ、他の温度極大源の熱源画素と相違する同一ラベルを付加した熱ラベリング画像を作成する。本例では、図１７において熱源画素が４連結で互いに隣接する場合、これらの画素を一つのまとまりとして、他のまとまりとは異なる同一ラベルを付加し、これを図１８に示す。なお本例では、ラベルは１から順に自然数を付加する。
【００８３】
次いでステップＳ１３６に進み、ブロック番号Ｎの人数を、図６のステップＳ１０４で算出した人数の代わりにブロック番号Ｎ中の温度極大値数に置き換える。ブロック番号Ｎの温度極大値数とは、ブロック番号Ｎに含まれる画素の温度分布を参照したときの局所的に温度が高い部分の数であり、ステップＳ１３５で付加したラベル数と同一である。本例のブロック番号１の場合には、ステップＳ１３５で付加したラベル数の３が新たにブロック番号１の人数となる。
【００８４】
ステップＳ１３２又はＳ１３６終了後ステップＳ１３７に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ１３８に進み、ブロック番号Ｎに１を加算した後ステップＳ１３２に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表８】
0003574241.tif 000011
【００８５】
図１９は、人物が存在すると判別されたブロックについての最高温度が所定の温度以上の場合ブロック中の人数を零とする工程を示すフローチャートであり、図６のステップＳ１０６に相当する。本ルーチンでは先ず、ステップＳ１４１においてブロック番号Ｎを１で初期設定した後ステップＳ１４２に進む。
【００８６】
ステップＳ１４２において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ１４３に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ１４３，Ｓ１４４及びＳ１４５をスキップしてステップＳ１４６に進む。本例では、ブロック番号１，２及び３の場合にはステップＳ１４３に進み、ブロック番号４の場合にはステップＳ１４６に進む。
【００８７】
ステップＳ１４３において、ブロック番号Ｎに含まれる画素の最高温度を測定する。図２０は、図７の熱画像のブロック番号１〜３に含まれる画素の温度だけを示す画像である。ブロック番号１の場合、その最高温度を測定する場合、これら画素の温度の最高値を求めればよい。図２０に示すように、太線枠で囲んだ画素の温度が、ブロック番号１〜３に含まれる画素のそれぞれの最高温度であり、これをブロック番号１〜３の最高温度とする。本例では、ブロック番号１の最高温度は２７．４であり、ブロック番号２の最高温度は２５．２であり、ブロック番号３の最高温度は３９．８である。
【００８８】
ステップＳ１４３終了後ステップＳ１４４に進み、ステップＳ１４３で測定したブロック番号Ｎの最高温度が、予め設定された閾値Ｃ以上であるか否かを判断する。閾値Ｃ以上である場合にはステップＳ１４５に進み、そうでない場合にはステップＳ１４５をスキップしてステップＳ１４６に進む。本例では、この閾値Ｃを、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として３７．０とする。したがって本例では、ブロック番号１及び２の場合にはステップＳ１４６に進み、ブロック番号３の場合にはステップＳ１４５に進む。なお、閾値Ｃは不変というものではなく、熱画像中の画素の平均値及び標準偏差に対応して変動する値である。
【００８９】
ステップＳ１４５において、ブロック番号Ｎ（本例ではブロック番号３）中の人物の人数を新たに０人とし、ステップＳ１４６に進む。
【００９０】
ステップＳ１４２，Ｓ１４４又はＳ１４５終了後ステップＳ１４６に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ１４７に進み、ブロック番号Ｎに１を加算した後ステップＳ１４２に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表９】
0003574241.tif 000012
【００９１】
以上説明したように第１実施例によれば、ブロック中の熱源画素に基づいてテレビ視聴者領域の人数を計数しているので、室内の無人環境を予め記憶することなく室内のテレビ視聴者領域の人数を正確に計数することができ、したがって室内の家具の配置を変更等した場合でも室内の無人環境の設定のやり直しを行う手間がかからない。また、このような設定を行う必要がないため、視聴者数計数装置に超音波センサを用いる必要がない。
【００９２】
また、人物が存在すると判別されたブロックについて温度極大値を求め、これらの温度極大値数に基づいて室内のテレビ視聴者領域の人数を計数しているので、この領域に複数の人物が固まっている場合でも人数を正確に計数することができる。
【００９３】
さらに、ブロック中の画素の最高温度が閾値Ｃ以上である場合には、そのブロック中の人数を新たに零として室内のテレビ視聴者領域の人数を計数しているので、ストーブのような高温の熱源が存在する場合でも人数を正確に計数することができる。
【００９４】
図２１は、本発明による熱画像による人数計数方法の第２実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、ソファーなどに横たわっている人物について判別する縦幅人物判別部１４と、視聴者数を算出する視聴者数算出部６とを具える。
【００９５】
縦幅人物判別部１４は、人物が存在すると判別されたブロックの縦幅を算出し、この縦幅に基づいてブロック中に人物が存在するか否かを判断するものである。
【００９６】
人物の画素数はその人物のテレビ視聴時の姿勢に基づき変化するものである。熱画像の一つの画素の測定範囲は、ｘ方向については１２０°÷２４画素＝５°／画素であり、ｙ方向については８０°÷１０画素＝８°／画素であるので、一つの画素の測定範囲は縦長となる。〔表５〕のｙ重心座標の範囲に基づく最小人物画素数及び最大人物画素数は人物が横たわっていない場合についてのものであり、人物が横たわっている場合にはブロックは横長になり、座っている場合や立っている場合と比較してブロックの画素数が多くなるため、横たわっている人物がブロック中に存在する場合、人数を正確に計数するのが困難になる。テレビ視聴者領域の天井付近に熱気が存在する場合でも同様の困難が生じる。本例では、横たわっている人物がブロック中に存在する場合及びテレビ視聴者領域の天井付近に熱気が存在する場合を考慮したものである。
【００９７】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図２２に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物１５，１６及び１７と、天井付近にたまっている熱気１８とが存在し、人物１７は横たわっている。
【００９８】
本発明による熱画像による人数計数方法の第２実施例の動作を説明する。
図２３は、第２実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ２０１において、熱画像測定部１（図２１）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ２０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【００９９】
ステップＳ２０２において、熱画像測定部１（図２１）により、図２２に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ２０２で測定された熱画像を図２４に示す。熱画像測定（ステップＳ２０２）後、ステップＳ２０３に進む。
【０１００】
ステップＳ２０３において、熱源画素抽出部２（図２１）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画素とする。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ２０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１０１】
図２５は、図２４の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図２５の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表１０】
0003574241.tif 000013
なお、図２５のブロック番号２及び３は、図２２の人物１７及び熱気１８にそれぞれ相当する。
【０１０２】
ブロック抽出（ステップＳ２０３）後、ステップＳ２０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図２１）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ２０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１０３】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図２２）から熱源までの距離に対応した画素数を考慮する。
【０１０４】
ブロック中に人物が存在するか否かを判別（ステップＳ２０４）後、ステップＳ２０５に進み、人物が存在すると判別されたブロックの縦幅を算出し、この縦幅に基づいてブロック中の人数を計数する。なお、ステップＳ２０５の詳細な動作については、図２６を参照して後に詳細に説明する。
【０１０５】
これにより、室内のテレビ視聴者領域で人物が横たわっている場合や天井付近に熱気が存在する場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【０１０６】
ブロックの縦幅に基づいて人数を計数した（ステップＳ２０５）後、ステップＳ２０６に進み、画素数人物判別部３及び縦幅人物判別部１４（図２１）により計数されたブロック中の人数を、室内のテレビ視聴者領域の人数として視聴者数算出部６（図２１）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図２２）に出力（ステップＳ２０７）して、本ルーチンを終了する。
【０１０７】
図２６は、人物が存在すると判別されたブロックの縦幅をそれぞれ算出する工程を示すフローチャートであり、図２３のステップＳ２０５に相当する。本ルーチンでは先ず、ステップＳ２１１においてブロック番号Ｎを１で初期設定した後ステップＳ２１２に進む。
【０１０８】
ステップＳ２１２において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ２１３に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ２１３〜Ｓ２１７をスキップしてステップＳ２１８に進む。本例ではブロック番号１〜３は〔表１０〕に示すように１人以上であるので、ステップＳ２１３に進む。
【０１０９】
ステップＳ２１３において、ブロック番号Ｎに含まれる画素の最大ｙ座標から最小ｙ座標を減算して５を加算した値である縦幅を算出する。本例のブロック番号１〜３の縦幅を以下に示す。
【表１１】
0003574241.tif 000014
【０１１０】
ステップＳ２１３で縦幅を算出した後ステップＳ２１４に進み、これら縦幅が、予め設定された閾値Ｄ以下であるか否か判断する。閾値Ｄ以下である場合にはステップＳ２１５に進み、それに対して閾値Ｄ以下でない場合にはステップＳ２１５をスキップしてステップＳ２１６に進む。本例では、ブロック番号１及び２の場合にはステップＳ２１６に進み、ブロック番号３の場合にはステップＳ２１５に進む。
【０１１１】
本例では、閾値Ｄを、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として１とする。なお、閾値Ｄは不変というものではなく、視聴者数計数装置１３（図２２）の水平方向及び垂直方向の計数可能範囲並びに熱画像の水平方向及び垂直方向の画素数に対応して変動する値である。
【０１１２】
ステップＳ２１５において、ブロック番号Ｎ（本例ではブロック番号３）の人数を新たに０人とする。本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な判断としてブロックの縦幅が予め設定されている閾値Ｄ以下の場合には人物でないとしている。人物が横たわっている場合、そのブロックの縦幅は予め設定されている閾値Ｄを超えた値となる。なお、この判断は不変というものではなく、視聴者数計数装置１３（図２２）の水平方向及び垂直方向の計数可能範囲並びに熱画像の水平方向及び垂直方向の画素数に対応して変化する判断である。
【０１１３】
ステップＳ２１４又はＳ２１５終了後ステップＳ２１６に進むと、ブロック番号Ｎの縦幅が、予め設定された閾値Ｅａ以上かつ予め設定された閾値Ｅｂ以下で、ブロック番号Ｎの人数が２人以上であるか否か判断する。ブロック番号Ｎの縦幅が、予め設定された閾値Ｅａ以上かつ予め設定された閾値Ｅｂ以下で、ブロック番号Ｎの人数が２人以上である場合には、ステップＳ２１７に進み、そうでない場合にはステップＳ２１７をスキップしてステップＳ２１８に進む。
【０１１４】
本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として閾値Ｅａを２とするとともに、閾値Ｅｂを２とする。なお、閾値Ｅａ及びＥｂは不変というものではなく、視聴者数計数装置１３（図２２）の水平方向及び垂直方向の計数可能範囲並びに熱画像の水平方向及び垂直方向の画素数に対応して変動する値である。
【０１１５】
ステップＳ２１７において、ブロック番号Ｎの人数を、図２３のステップＳ２０４で算出した人数から１を減算した人数を新たにブロック番号Ｎの人数とする。本例では、ブロック番号２の人数が新たに１人となる。
【０１１６】
ステップＳ２１２，Ｓ２１６又はＳ２１７終了後ステップＳ２１８に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ２１９に進み、ブロック番号Ｎに１を加算した後ステップＳ２１２に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表１２】
0003574241.tif 000015
【０１１７】
以上説明したように第２実施例によれば、人物が存在すると判別されたブロックの縦幅に基づいて人数を算出して、室内のテレビ視聴者領域の人物をそれぞれ計数しているので、人物がソファーなどに横たわっている場合や室内の天井付近に熱気が存在する場合でも人数を正確に計数することができる。
【０１１８】
図２７は、本発明による熱画像による人数計数方法の第３実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、室内のテレビ視聴者領域の壁部に存在する熱源を人物と区別する壁部熱源判別部１９と、視聴者数を算出する視聴者数算出部６とを具える。
【０１１９】
壁部熱源判別部１９は、壁取付型の温風ヒータなどの暖房器具や太陽光により暖められた窓がテレビ視聴者領域に存在する場合に人物と区別するために、人物が存在すると判別されたブロックの重心座標を算出し、この重心座標に基づいて新たに人物が存在するか否かを判別するものである。
【０１２０】
壁取付型の温風ヒータなどの暖房器具や太陽光により暖められた窓がテレビ視聴者領域に存在する場合、これら最高温度は人物の最高温度とあまり変わらないため人物か否かを判断することが困難となる。本例は、このような暖房器具が存在する場合や太陽光により窓が暖められた場合を考慮したものである。
【０１２１】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図２８及び２９に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物２０及び２１と、壁２２に取り付けられた温風ヒータ２３とが存在する。
【０１２２】
本発明による熱画像による人数計数方法の第３実施例の動作を説明する。
図３０は、第３実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ３０１において、熱画像測定部１（図２７）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ３０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【０１２３】
ステップＳ３０２において、熱画像測定部１（図２７）により、図２８及び２９に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ３０２で測定された熱画像を図３１に示す。熱画像測定（ステップＳ３０２）後、ステップＳ３０３に進む。
【０１２４】
ステップＳ３０３において、熱源画素抽出部２（図２７）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画素とする。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ３０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１２５】
図３２は、図３１の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図３２の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表１３】
0003574241.tif 000016
なお、図３２のブロック番号１，２及び３は、図２８及び２９の温風ヒータ２３、人物２０及び２１にそれぞれ相当する。
【０１２６】
ブロック抽出（ステップＳ３０３）後、ステップＳ３０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図２７）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ３０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１２７】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図２８及び２９）から熱源までの距離に対応した画素数を考慮する。
【０１２８】
ブロック中に人物が存在するか否かを判別した（ステップＳ３０４）後、ステップＳ３０５に進み、人物が存在すると判別されたブロックの重心座標を算出し、この重心座標に基づいてブロック中の人数を計数する。なお、ステップＳ３０５の詳細な動作については、図３３を参照して後に詳細に説明する。
【０１２９】
これにより、室内のテレビ視聴者領域に壁取付型の温風ヒータが存在する場合や太陽光により窓が暖められた場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【０１３０】
ブロックの重心座標に基づいて人数を計数した（ステップＳ３０５）後、ステップＳ３０６に進み、画素数人物判別部３及び壁部熱源判別部１９（図２７）により計数されたブロック中の人数を、室内のテレビ視聴者領域の人数を視聴者数算出部６（図２７）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図２８及び２９）に出力（ステップＳ３０７）して、本ルーチンを終了する。
【０１３１】
図３３は、人物が存在すると判別されたブロックの重心座標をそれぞれ算出する工程を示すフローチャートであり、図３０のステップＳ３０５に相当する。本制御ルーチンでは先ず、図３０のステップＳ３０２で測定された熱画像中の画素が、室内のテレビ視聴者領域に人物２０，２１及び壁取付型の温風ヒータ２３（図２８及び２９）が存在しない場合に、室内の壁部と床部のうちのいずれに属するかを、部屋の形状及び視聴者数計数装置１３（図２８及び２９）の位置に基づいて算出する。
【０１３２】
図３４は、図２８及び２９に示すテレビ視聴者領域の熱画像の壁に属する画素及び床に属する画素を示す図である。この図は、図２８及び２９に示すテレビ視聴者領域において、熱画像に、視聴者数計数装置１３（図２８及び２９）から熱画像と同様の視野でテレビ視聴者領域を眺めたときの床と壁の様子を重ね合わせたものである。図３４の壁Ａ，Ｂ，Ｃ及び床は、図２８の壁２２，２４，２５及び床２６にそれぞれ対応するものであり、また図３４において壁２２，２４，２５と床２６との間の境界２７を太線で示し、壁２４と壁２２との境界２８と、壁２２と壁２５との境界２９とをそれぞれ破線で示す。
【０１３３】
図３４において、点Ａ，Ｂ，Ｃ及びＤの座標を算出し、これらの点を点Ａ，Ｂ，Ｃ，Ｄの順で直線で結ぶことにより境界２７が判明し、熱画像の個々の画素が壁に属する画素であるか床に属する画素であるかを判明することができる。点Ａ，Ｂ，Ｃ及びＤの座標は、部屋の形状（図２８のＲＯＯＭ Ｘ及びＲＯＯＭ Ｙの値）及び視聴者数計数装置１３（図２８及び２９）の位置（図２８のＳＥＮＳＯＲ Ｘの値及び図２９のＳＥＮＳＯＲ Ｈの値）から幾何学的計算により求めることができる。
【０１３４】
本例では、点Ａ〜Ｄの座標をそれぞれ（ＡＸ，ＡＹ），（ＢＸ，ＢＹ），（ＣＸ，ＣＹ），（ＤＸ，ＤＹ）とすると、
【数３】
0003574241.tif 000017
となる。ここでｕｘ及びｕｙを、熱画像の一つの画素のｘ方向及びｙ方向の測定範囲とし、既に説明したように、
【数４】
0003574241.tif 000018
である。
【０１３５】
次いでステップＳ３１２に進んでブロック番号Ｎを１で初期設定した後ステップＳ３１３に進む。
【０１３６】
ステップＳ３１３において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ３１４に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ３１４〜Ｓ３１９をスキップしてステップＳ３２０に進む。本例では〔表１３〕に示すように、ブロック番号１〜３の場合は１人以上であるのでステップＳ３１４に進み、それに対してブロック番号４の場合はステップ３２０に進む。
【０１３７】
ステップＳ３１４において、ブロック番号Ｎの重心座標を算出する。ブロック番号Ｎの重心座標は〔数２〕に基づいて算出され、その結果を以下に示す。
【表１４】
0003574241.tif 000019
【０１３８】
ステップＳ３１４で重心座標を算出した後ステップＳ３１５に進み、ブロック番号Ｎの重心座標とｘ座標が同一である床壁接点のｙ座標を算出する。図３５は、図３２の熱ラベリング画像に図３４の境界２７を重ね合わせた図であり、ブロック番号Ｎの重心座標とｘ座標が同一である床壁接点のｙ座標を以下示す。
【表１５】
0003574241.tif 000020
【０１３９】
次いでステップＳ３１６に進み、ブロック番号Ｎのｙ重心座標に、予め設定された閾値Ｆを加算した値が、ステップＳ３１５で算出された床壁接点のｙ座標より小さいか否か判断する。床壁接点のｙ座標より小さい場合には、後に説明するステップＳ３１７及びＳ３１８をスキップしてステップＳ３１９に進み、そうでない場合にはステップＳ３１７に進む。
【０１４０】
本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として閾値Ｆを３としているので、ブロック番号１の場合はステップＳ３１９に進み、ブロック番号２及び３の場合にはステップＳ３１７に進む。なお、閾値Ｆは不変というものではなく、視聴者数計数装置１３（図２８及び２９）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数並びに視聴者数計数装置１３（図２８及び２９）の室の床面からの高さＳＥＮＳＯＲ Ｈに対応して変動する値である。
【０１４１】
ステップＳ３１７において、ブロック番号Ｎの最大ｙ座標を算出する。ここでブロック番号Ｎの最大ｙ座標とは、ブロック番号Ｎに含まれる画素において最大のｙ座標を有する画素のｙ座標をいう。ブロック番号２及び３の最大ｙ座標を算出したものを以下示す。
【表１６】
0003574241.tif 000021
【０１４２】
次いでステップＳ３１８において、ブロック番号Ｎの最大ｙ座標が、ステップＳ３１５で算出した床壁接点のｙ座標より小さいか否か判断する。床壁接点のｙ座標より小さい場合ステップＳ３１９に進み、そうでない場合にはステップＳ３１９をスキップしてステップＳ３２０に進む。
【０１４３】
ステップＳ３１６又はＳ３１８終了後ステップＳ３１９に進むと、ブロック番号Ｎ（本例ではブロック番号１）の人数を新たに０人とする。本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な判断としてブロックの熱源が人物ならば空中に浮かんでいるはずはなく床付近に存在するはずなので、ブロックの重心が床壁接点よりある程度上方に存在する場合には、ブロック中に存在する熱源画素は人物以外の壁部に存在する熱源を示すものと判別する。またこれ以外の場合でも、ブロックの最大のｙ座標が床壁接点より上方に存在する場合には、ブロック中に存在する熱源画素は人物以外の壁部に存在する熱源を示すものと判別する。なお、これら判断は不変というものではなく、視聴者数計数装置１３（図２８及び２９）の水平方向及び垂直方向の計数可能範囲並びに熱画像の水平方向及び垂直方向の画素数に対応して変化する判断である。
【０１４４】
ステップＳ３１３，Ｓ３１８又はＳ３１９終了後ステップＳ３２０に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ３２１に進み、ブロック番号Ｎに１を加算した後ステップＳ３１３に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表１７】
0003574241.tif 000022
【０１４５】
以上説明したように第３実施例によれば、人物が存在すると判別されたブロックの重心座標に基づいて、ブロックの熱源が人物か否かを判別して、室内のテレビ視聴者領域の人物をそれぞれ計数しているので、壁に温風ヒータのような熱源が存在する場合や、窓付近が太陽光により暖められている場合でも人数を正確に計数することができる。
【０１４６】
図３６は、本発明による熱画像による人数計数方法の第４実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、熱画像の個々の画素が予め人物が存在しない領域に属するか否かを判別する特定領域人物判別部３０と、視聴者数を算出する視聴者数算出部６とを具える。
【０１４７】
人物が予め存在しえない領域がテレビ視聴者領域に存在し、人物が予め存在しえない領域の温度が人物の温度と同程度である場合には、その熱源を人物と区別するのが困難となる。例えば、テレビ視聴者領域にパーソナルコンピュータが存在し、このパーソナルコンピュータの温度が人物と同程度である場合がかかる場合に該当する。また、パーソナルコンピュータの存在を示すブロックの画素数は、人物の存在を示すブロックの画素数数とほぼ同程度であるので、ブロック中に人物が存在するか否かの判断がより困難になる。本例では、パーソナルコンピュータのように人物と同程度の温度の物体がテレビ視聴者領域に存在する場合を考慮したものである。
【０１４８】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図３７に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物３１及び３２と、パーソナルコンピュータ３３とが存在する。
【０１４９】
本発明による熱画像による人数計数方法の第４実施例の動作を説明する。
図３８は、第４実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ４０１において、熱画像測定部１（図３６）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ４０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【０１５０】
ステップＳ４０２において、熱画像測定部１（図３６）により、図３７に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ４０２で測定された熱画像を図３９に示す。熱画像測定（ステップＳ４０２）後、ステップＳ４０３に進む。
【０１５１】
ステップＳ４０３において、熱源画素抽出部２（図３６）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画素を作成する。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ４０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１５２】
図４０は、図３９の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図４０の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表１８】
0003574241.tif 000023
なお、図４０のブロック番号１，２及び３は、図３７のパーソナルコンピュータ３３、人物３１及び３２にそれぞれ相当する。
【０１５３】
ブロック抽出（ステップＳ４０３）後、ステップＳ４０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図３６）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ４０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１５４】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図３７）から熱源までの距離に対応した画素数を考慮する。
【０１５５】
ブロック中に人物が存在するか否かを判別（ステップＳ４０４）後、ステップＳ４０５に進み、人物が存在すると判別されたブロックの重心座標を算出し、この重心座標に基づいてブロック中の人数を計数する。なお、ステップＳ４０５の詳細な動作については、図４１を参照して後に詳細に説明する。
【０１５６】
これにより、人物が予め存在しえない領域に人物が存在すると判別された場合でも、室内のテレビ視聴者領域の人数を正確に計数することができる。
【０１５７】
ブロックの重心座標に基づいて人数を計数した（ステップＳ４０５）後、ステップＳ４０６に進み、画素数人物判別部３及び特定領域人物判別部３０（図３６）により計数されたブロック中の人数を、室内のテレビ視聴者領域の人数を視聴者数算出部６（図３６）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図３７）に出力（ステップＳ４０７）して、本ルーチンを終了する。
【０１５８】
図４１は、人物が存在すると判別されたブロックの重心座標をそれぞれ算出し、この重心座標に基づいてブロック中に人物が存在するか否かを新たに判別する工程を示すフローチャートであり、図３８のステップＳ４０５に相当する。本制御ルーチンでは先ずステップＳ４１１において、図３８のステップＳ４０２で測定された熱画像中の個々の画素が、人物が予め存在しえない領域に属するか否かを算出する。図４２は、図３９の熱画像に対して算出された人物が予め存在しえない領域を示す図であり、人物が予め存在しえない領域を斜線で示す。
【０１５９】
次いでステップＳ４１２に進み、ブロック番号Ｎを１で初期設定した後ステップＳ４１３に進む。
【０１６０】
ステップＳ４１３において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ４１４に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ４１４〜Ｓ４１６をスキップしてステップＳ４１７に進む。本例では、ブロック番号１〜３の場合、〔表１８〕に示すように１人以上であるので、ステップＳ４１４に進む。
【０１６１】
ステップＳ４１４において、ブロック番号Ｎの重心座標を〔数２〕に基づいてそれぞれ算出する。算出した本例のブロック番号１〜３の重心座標を以下に示す。
【表１９】
0003574241.tif 000024
【０１６２】
ステップＳ４１４で重心座標を算出した後ステップＳ４１５に進み、これら重心座標が人物が予め存在しえない領域に存在するか否か判断する。人物が予め存在しえない領域に存在する場合にはステップＳ４１６に進み、それに対して人物が予め存在しえない領域に存在しない場合にはステップＳ４１６をスキップしてステップＳ４１７に進む。本例では、ブロック番号１の場合にはステップＳ４１６に進み、ブロック番号２及び３の場合にはステップＳ４１７に進む。
【０１６３】
ステップＳ４１６において、ブロック番号Ｎ（本例ではブロック番号１）の人数を新たに０人とする。本例では図３７に示すようにテレビ視聴者領域にパーソナルコンピュータ３３が配置されているので、図４２で斜線で示すような人物が予め存在しえない領域が得られる。なお、人物が予め存在しえない領域は不変というものではなく、視聴者数計数装置１３（図３７）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数並びに室内環境に対応して変化する領域である。
【０１６４】
ステップＳ４１３，Ｓ４１５又はＳ４１６終了後ステップＳ４１７に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ４１８に進み、ブロック番号Ｎに１を加算した後ステップＳ４１３に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表２０】
0003574241.tif 000025
【０１６５】
以上説明したように第４実施例によれば、人物が存在すると判別されたブロックの重心が人物が予め存在しえない領域に存在する場合にはブロック中の人数を零として、室内のテレビ視聴者領域の人物をそれぞれ計数しているので、パーソナルコンピュータのように熱画像中の画素数及び温度が人物と同程度である物体がテレビ視聴者領域に存在する場合でも人数を正確に計数することができる。
【０１６６】
図４３は、本発明による熱画像による人数計数方法の第５実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、人物が存在すると判別されたブロックの最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいてブロック中に人物が存在するか否かを判別する距離温度人物判別部３４と、視聴者数を算出する視聴者数算出部６とを具える。
【０１６７】
パーソナルコンピュータのように人物より少し温度が高いが暖房器具より温度が低い熱源がテレビ視聴者領域に存在する場合、これを人物と判別するのは困難である。本例は、このような熱源がテレビ視聴者領域に存在する場合を考慮したものである。
【０１６８】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図４４に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物３５及び３６と、人物より少し温度が高いが暖房器具より温度が低いパーソナルコンピュータ３７とが存在する。
【０１６９】
本発明による熱画像による人数計数方法の第５実施例の動作を説明する。
図４５は、第５実施例の処理手順を示すフローチャートである。この制御ルーチンでは先ず、ステップＳ５０１において、熱画像測定部１（図４３）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ５０２に進み、それに対して受信しない場合にはこの制御ルーチンを終了する。
【０１７０】
ステップＳ５０２において、熱画像測定部１（図４３）により、図４４に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ５０２で測定された熱画像を図４６に示す。熱画像測定（ステップＳ５０２）後、ステップＳ５０３に進む。
【０１７１】
ステップＳ５０３において、熱源画素抽出部２（図４３）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を作成し、２値化を行い熱源画素を作成する。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ５０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１７２】
図４７は、図４６の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図４７の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表２１】
0003574241.tif 000026
なお、図４７のブロック番号１，２及び３は、図４４のパーソナルコンピュータ３７、人物３５及び３６にそれぞれ相当する。
【０１７３】
ブロック抽出（ステップＳ５０３）後、ステップＳ５０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図４３）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ５０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１７４】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図４４）から熱源までの距離に対応した画素数を考慮する。
【０１７５】
ブロック中に人物が存在するか否かを判別（ステップＳ５０４）後、ステップＳ５０５に進み、人物が存在すると判別されたブロックの画素の最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいてブロック中に人物が存在するか否かを判別し、ブロック中の人数を計数する。なお、ステップＳ５０５の詳細な動作については、図４８を参照して後に詳細に説明する。
【０１７６】
これにより、パーソナルコンピュータのように人物より少し温度が高いが暖房器具より温度が低い熱源がテレビ視聴者領域に存在する場合、これを人物でないと判別して、室内のテレビ視聴者領域の人数を正確に計数することができる。
【０１７７】
ブロック中の画素の最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいて人数を計数した（ステップＳ５０５）後、ステップＳ５０６に進み、画素数人物判別部３及び距離温度人物判別部３４（図４３）により計数されたブロック中の人数を視聴者数算出部６（図４３）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図４４）に出力（ステップＳ５０７）して、本ルーチンを終了する。
【０１７８】
図４８は、人物が存在すると判別されたブロックの最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいてブロック中の人数を算出する工程を示すフローチャートであり、図４５のステップＳ５０５に相当する。本ルーチンでは先ず、ステップＳ５１１においてブロック番号Ｎを１で初期設定した後ステップＳ５１２に進む。
【０１７９】
ステップＳ５１２において、ブロック番号Ｎの人数が１人以上か否か判断する。１人以上であると判断した場合ステップＳ５１３に進み、それに対して１人未満であると判断した場合、後に説明するステップＳ５１３〜Ｓ５１６をスキップしてステップＳ５１７に進む。本例では、ブロック番号１〜３の場合、〔表２１〕に示すように１人以上であるので、ステップＳ５１３に進む。
【０１８０】
ステップＳ５１３において、ブロック番号Ｎに含まれる画素の最高温度を算出する。最高温度の算出方法は、図１９のステップＳ１４３と同様である。
【０１８１】
次いでステップＳ５１４に進み、視聴者数計数装置１３（図４４）の真下からブロック番号Ｎまでの距離を算出する。ここで視聴者数計数装置１３（図４４）の真下からブロック番号Ｎまでの距離とは、視聴者数計数装置１３（図４４）の真下からブロック番号Ｎの最大ｙ座標までの距離をいう。この距離は、部屋の形状（図４４のＲＯＯＭ Ｘ及びＲＯＯＭ Ｙの値）及び視聴者数計数装置１３（図４４）の位置（ＳＥＮＳＯＲ Ｘ（図４４）の値及び高さＳＥＮＳＯＲ Ｈの値）から幾何学的計算により求めることができる。
【０１８２】
本例では、視聴者数計数装置１３（図４４）の真下からブロック番号Ｎまでの距離をＤＩＳＴＡＮＣＥとすると、
【数５】
0003574241.tif 000027
となる。ここで、ｕｙをｙ方向の一つの画素の測定範囲（８°／画素）とし、Ｙを最大ｙ座標とし、本例ではＳＥＮＳＯＲ Ｈを２００ｃｍとする。
【０１８３】
ステップＳ５１３及びＳ５１４で算出した最高温度及び距離を以下示す。
【表２２】
0003574241.tif 000028
【０１８４】
ステップＳ５１５において、距離が予め設定された閾値Ｇより大きく、かつ、最高温度が予め設定された閾値Ｈより大きいか否かを判断する。閾値Ｇより大きくかつ閾値Ｈより大きい場合には、ステップＳ５１６に進み、そうでない場合にはステップＳ５１６をスキップしてステップＳ５１７に進む。本例では、ブロック番号１の場合にはステップＳ５１６に進み、ブロック番号２及び３の場合にはステップＳ５１７に進む。
【０１８５】
本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な判断として距離がある程度遠く離れているにもかかわらず温度がある程度高い熱源は、パーソナルコンピュータなどの人物以外の熱源として判断している。また本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として、閾値Ｇを２００とし、閾値Ｈを３０として処理している。なお、これら閾値Ｇ及びＨは不変というものではなく、視聴者数計数装置１３（図４４）の水平方向及び垂直方向の計数可能範囲、熱画像の水平方向及び垂直方向の画素数、視聴者計数装置１３（図４４）の室の床面からの高さＳＥＮＳＯＲ Ｈ並びに熱画像中の画素の平均値及び標準偏差に対応して変動する値である。
【０１８６】
ステップＳ５１６において、ブロック番号Ｎ（本例ではブロック番号１）の人数を新たに０人として、ステップＳ５１７に進む。
【０１８７】
ステップＳ５１２，Ｓ５１５又はＳ５１６終了後ステップＳ５１７に進むと、全てのブロックについて人数を算出したか否かを判別する。算出したと判別した場合本ルーチンを終了し、それに対して算出していないと判別した場合ステップＳ５１８に進み、ブロック番号Ｎに１を加算した後ステップＳ５１２に戻る。本例において新たに算出されたブロック中の人数を以下示す。
【表２３】
0003574241.tif 000029
【０１８８】
以上説明したように第５実施例によれば、パーソナルコンピュータのように人物より少し温度が高いが暖房器具より温度が低い熱源がテレビ視聴者領域に存在する場合、これを人物でないと判別して、テレビ視聴者領域の人数を正確に計数することができる。
【０１８９】
図４９は、本発明による熱画像による人数計数方法の第６実施例を実施する視聴者数計数装置のブロック図である。この装置は、熱画像測定部１と、熱源画素抽出部２と、画素数人物判別部３と、隣室のように計数位置からある程度離れた位置に存在する人物を判別する隣室人数計数部３８と、視聴者数を算出する視聴者数算出部６とを具える。
【０１９０】
隣室のように計数位置からある程度離れた位置に人物が存在する場合、ブロック中の人物を表す熱源画素の画素数は、計数位置から距離が離れているためわずか数画素程度となり、これらを人物と判別するのが困難である。本例は、隣室のように計数位置からある程度離れた位置に人物が存在する場合を考慮したものである。
【０１９１】
本例における室内のテレビ視聴者領域及び測定される熱画像の座標軸定義は上記実施例と同様であるが、テレビ視聴者領域には、図５０に示すように、テレビジョン７と、ソファーなどに座ってテレビジョン７を視聴している人物３９，４０，４１及び４２とが存在し、人物４１及び４２は隣室視聴領域４３に存在する。
【０１９２】
本発明による熱画像による人数計数方法の第６実施例の動作を説明する。
図５１は、第６実施例の処理手順を示すフローチャートである。本ルーチンでは先ず、ステップＳ６０１において、熱画像測定部１（図４９）が上記設定器からテレビ視聴者数計数開始信号を受信したか否か判定する。テレビ視聴者数計数開始信号を受信した場合にはステップＳ６０２に進み、それに対して受信しない場合には本ルーチンを終了する。
【０１９３】
ステップＳ６０２において、熱画像測定部１（図４９）により、図５０に図示したテレビ視聴者領域の熱画像を測定する。ステップＳ６０２で測定された熱画像を図５２に示す。熱画像測定（ステップＳ６０２）後、ステップＳ６０３に進む。
【０１９４】
ステップＳ６０３において、熱源画素抽出部２（図４９）により、熱画像中の画素のうち相対的に温度が高い画素を熱源画素として判別し、これら熱源画素をそれぞれ抽出する。熱源画素を抽出するに当たり、熱画像中のＹ軸の平均値を求めて、背景画像を急く静止、２値化を行い熱源画素を作成する。これら熱源画素が互いに隣接する場合には、他のブロックの熱源画素と相違する同一ラベルを熱源画素にそれぞれ付加することにより、この区域をブロックとして抽出する。なお、ステップＳ６０３の詳細な動作については、図８〜１３を参照して既に詳細に説明した通りである。
なお本例でもｙ座標が同一である画素グループごとに熱源画素を判別する。
【０１９５】
図５３は、図５２の熱画像の熱ラベリング画像を示す図である。このような熱ラベリング画像の作成については図８のステップＳ１１６で既に説明したのでここでは詳しく説明しない。図５３の熱ラベリング画像から個々のブロックの人数を算出したものを以下示す。
【表２４】
0003574241.tif 000030
なお、図５３のブロック番号１，２，３及び４は、図５０の人物４１，４２，４０及び３９にそれぞれ相当するが、〔表２４〕ではブロック番号１及び２には人物が存在しないと判断されている。
【０１９６】
ブロック抽出（ステップＳ６０３）後、ステップＳ６０４に進み、個々のブロック中に人物が存在するか否かを画素数人物判別部３（図４９）により判断し、人物が存在する場合にはこれらブロックについてそれぞれ人数を算出する。なお、ステップＳ６０４の詳細な動作については、図１４を参照して既に詳細に説明した通りである。
【０１９７】
本例でも、ブロック中の画素数に基づいて人物が存在するか否かを判別するとともに、視聴者数計数装置１３（図５０）から熱源までの距離に対応した画素数を考慮する。
【０１９８】
ブロック中に人物が存在するか否かを判別（ステップＳ６０４）後、ステップＳ６０５に進み、人物が存在すると判別されたブロックの重心座標を〔数２〕に基づいて算出し、予め設定されている隣室視聴領域４３（図５０）にこの重心座標が存在するか否かに基づいて人数を計数する。なお、ステップＳ６０５の詳細な動作については、図５４を参照して後に詳細に説明する。
【０１９９】
これにより、隣室のように計数位置からある程度離れた位置に人物が存在する場合でも室内のテレビ視聴者領域の人数を正確に計数することができる。
【０２００】
予め設定されている隣室視聴領域４３（図５０）にブロックの重心座標が存在するか否かに基づいて人数を計数した（ステップＳ６０５）後、ステップＳ６０６に進み、画素数人物判別部３及び隣室人数計数部３８（図４９）により計数されたブロック中の人数を、室内のテレビ視聴者領域の人数として視聴者数算出部６（図５０）で合計することにより、室内のテレビ視聴者領域の人数を計数する。その後、この人数を視聴者数計数装置１３（図４９）に出力（ステップＳ６０７）して、本ルーチンを終了する。
【０２０１】
図５４は、隣室に人物が存在するか否かを判別する工程を示すフローチャートであり、図５１のステップＳ６０５に相当する。本ルーチンでは先ず、ステップＳ６１１において、予め設定されている隣室視聴領域４３（図５０）に重心座標が存在するブロックを削除する。本例では、図５０の隣室視聴領域４３及び図５５に斜線で示すような隣室視聴領域が予め設定されている。図５３と図５５を比較すると、ブロック番号１及び２の重心座標が隣室視聴領域に含まれるので、ブロック番号１及び２を削除する。
【０２０２】
次いでステップＳ６１２に進み、隣室視聴領域（図５５の斜線部）に含まれる画素の最高温度を測定する。図５６は図５５の隣室視聴領域の画素の温度を示す図であり、最高温度は、太字枠で囲んだ画素の２４．８である。
【０２０３】
次いでステップＳ６１３に進み、隣室視聴領域（図５５の斜線部）の２値画像を作成する。本例では図５７に示すように、隣室視聴領域の画素の最高温度（２４．８）から予め設定された閾値Ｉを減算した値より大きい温度の画素を１とし、それ以外を空白とする。
【０２０４】
本例では、膨大な実家庭のテレビ視聴環境で測定した熱画像に基づいた統計的な値として、閾値Ｉを２．０としている。なお、この閾値Ｉは不変というものではなく、熱画像中の画素の平均値及び標準偏差並びに隣室視聴領域の大きさに対応して変動する値である。
【０２０５】
次いでステップＳ６１４に進み、図５７の２値画像の熱ラベリング画像を作成する。このような熱ラベリング画像の作成については図８のステップＳ１１８で既に説明したので、ここでは詳しく説明しない。図５５の隣室視聴領域の画素の熱ラベリング画像を示す図を図５８に示す。
【０２０６】
次いでステップＳ６１５に進み、隣室視聴領域（図５５の斜線部）の人数を、隣室視聴領域の温度極大値数とする。隣室視聴領域の温度極大値数とは、隣室視聴領域に含まれる画素の温度分布を参照したときの局所的に温度が高い部分の数であり、ステップＳ６１４で付加したラベル数と同一である。本例では、ステップＳ６１４で付加したラベル数の２が隣室視聴領域の人数となり、本ルーチンを終了する。
本ルーチンにより新たに求めた各ブロックの人数を以下示す。
【表２５】
0003574241.tif 000031
〔表２５〕では、ステップＳ６１１によりブロック番号１及び２が削除され、代わりにステップＳ６１５により、新たに隣室視聴領域を表すブロック番号６を設定して人数を２としている。
【０２０７】
以上説明したように第６実施例によれば、隣室のように計数位置からある程度離れた位置に人物が存在する場合でも室内のテレビ視聴者領域の人数を正確に計数することができる。
【図面の簡単な説明】
【図１】本発明による熱画像による人数計数方法の第１実施例を実施する装置のブロック図である。
【図２】第１実施例により測定されるテレビ視聴者領域の上面図である。
【図３】第１実施例により測定されるテレビ視聴者領域の側面図である。
【図４】本発明により測定される熱画像の座標軸定義図である。
【図５】本発明により測定される熱画像の一例を示す図である。
【図６】第１実施例の処理手順を示すフローチャートである。
【図７】第１実施例で測定された熱画像である。
【図８】熱源画素を抽出する工程を示すフローチャートである。
【図９】画素グループの温度平均値より温度が高い画素を図５の熱画像から除去した画像である。
【図１０】図７の熱画像の背景画像を示す図である。
【図１１】図７の熱画像の温度から図１０の熱画像の温度を画素ごと減算した結果を示す図である。
【図１２】図７の熱画像の２値画像を示す図である。
【図１３】図７の熱画像の熱ラベリング画像を示す図である。
【図１４】ブロック中の画素数に基づいて人物が存在するか否かを判別する工程を示すフローチャートである。
【図１５】人物が存在すると判別されたブロック中の温度極大値に基づいてブロック中に人物が存在するか否かを新たに判別する工程を示すフローチャートである。
【図１６】図７の熱画像のブロック番号１に含まれる画素の温度だけを示す画像である。
【図１７】図１６の熱画像の２値画像を示す図である。
【図１８】図１６の熱画像の熱ラベリング画像を示す図である。
【図１９】人物が存在すると判別されたブロックについての最高温度が所定の温度以上の場合ブロック中の人数を零とする工程を示すフローチャートである。
【図２０】図７の熱画像のブロック番号１〜３に含まれる画素の温度だけを示す画像である。
【図２１】本発明による熱画像による人数計数方法の第２実施例を実施する視聴者数計数装置のブロック図である。
【図２２】第２実施例により測定されるテレビ視聴者領域の上面図である。
【図２３】第２実施例の処理手順を示すフローチャートである。
【図２４】第２実施例で測定された熱画像である。
【図２５】図２４の熱画像の熱ラベリング画像を示す図である。
【図２６】人物が存在すると判別されたブロックの縦幅に基づいてブロック中に人物が存在するか否かを新たに判別する工程を示すフローチャートである。
【図２７】本発明による熱画像による人数計数方法の第３実施例を実施する視聴者数計数装置のブロック図である。
【図２８】第３実施例により測定されるテレビ視聴者領域の上面図である。
【図２９】第３実施例により測定されるテレビ視聴者領域の側面図である。
【図３０】第３実施例の処理手順を示すフローチャートである。
【図３１】第３実施例で測定された熱画像である。
【図３２】図３１の熱画像の熱ラベリング画像を示す図である。
【図３３】人物が存在すると判別されたブロックの重心座標をそれぞれ算出する工程を示すフローチャートである。
【図３４】図２８及び２９に示すテレビ視聴者領域の熱画像の壁に属する画素及び床に属する画素を示す図である。
【図３５】図３２の熱ラベリング画像に図３４の境界２７を重ねた図である。
【図３６】本発明による熱画像による人数計数方法の第４実施例を実施する視聴者数計数装置のブロック図である。
【図３７】第４実施例により測定されるテレビ視聴者領域の上面図である。
【図３８】第４実施例の処理手順を示すフローチャートである。
【図３９】第４実施例で測定された熱画像である。
【図４０】図３９の熱画像の熱ラベリング画像を示す図である。
【図４１】特定領域人物判別部における人物が存在すると判別されたブロックの重心座標に基づいてブロック中に人物が存在するか否かを新たに判別する工程を示すフローチャートである。
【図４２】図３９の熱画像に対して算出された人物が予め存在しない領域を示す図である。
【図４３】本発明による熱画像による人数計数方法の第５実施例を実施する視聴者数計数装置のブロック図である。
【図４４】第５実施例により測定されるテレビ視聴者領域の上面図である。
【図４５】第５実施例の処理手順を示すフローチャートである。
【図４６】第５実施例で測定された熱画像である。
【図４７】図４６の熱画像の熱ラベリング画像を示す図である。
【図４８】ブロックの最高温度及び熱画像の測定位置の真下からブロックまでの距離に基づいて人物が存在するか否かを判別する工程を示すフローチャートである。
【図４９】本発明による熱画像による人数計数方法の第６実施例を実施する視聴者数計数装置のブロック図である。
【図５０】第６実施例により測定されるテレビ視聴者領域の上面図である。
【図５１】第６実施例の処理手順を示すフローチャートである。
【図５２】第６実施例で測定された熱画像である。
【図５３】図５２の熱画像の熱ラベリング画像を示す図である。
【図５４】隣室に人物が存在するか否かを判別する工程を示すフローチャートである。
【図５５】図５２の熱画像に対して算出された隣室視聴領域を示す図である。
【図５６】図５５の隣室視聴領域の画素の温度を示す図である。
【図５７】図５５の隣室視聴領域の画素の２値画像を示す図である。
【図５８】図５５の隣室視聴領域の画素の熱ラベリング画像を示す図である。
【符号の説明】
１  熱画像測定部
２  熱源画素抽出部
３  画素数人物判別部
４  温度極大値数人物判別部
５  最高温度人物判別部
６  視聴者数算出部
７  テレビジョン
８，９，１０，１１，１５，１６，１７，２０，２１，３１，３２，３５，３６，３９，４０，４１，４２  人物
１２  ストーブ
１３  視聴者数計数装置
１４  縦幅人物判別部
１８  熱気
１９  壁部熱源判別部
２２，２４，２５  壁
２３  温風ヒータ
２６  床
２７，２８，２９  境界
３０  特定領域人物判別部
３３，３７  パーソナルコンピュータ
３４  距離温度人物判別部
３８  隣室人数計数部
４３  隣室視聴領域
【図１】
0003574241.tif 000032
【図２】
0003574241.tif 000033
【図３】
0003574241.tif 000034
【図４】
0003574241.tif 000035
【図５】
0003574241.tif 000036
【図６】
0003574241.tif 000037
【図７】
0003574241.tif 000038
【図８】
0003574241.tif 000039
【図９】
0003574241.tif 000040
【図１０】
0003574241.tif 000041
【図１１】
0003574241.tif 000042
【図１２】
0003574241.tif 000043
【図１３】
0003574241.tif 000044
【図１４】
0003574241.tif 000045
【図１５】
0003574241.tif 000046
【図１６】
0003574241.tif 000047
【図１７】
0003574241.tif 000048
【図１８】
0003574241.tif 000049
【図１９】
0003574241.tif 000050
【図２０】
0003574241.tif 000051
【図２１】
0003574241.tif 000052
【図２２】
0003574241.tif 000053
【図２３】
0003574241.tif 000054
【図２４】
0003574241.tif 000055
【図２５】
0003574241.tif 000056
【図２６】
0003574241.tif 000057
【図２７】
0003574241.tif 000058
【図２８】
0003574241.tif 000059
【図２９】
0003574241.tif 000060
【図３０】
0003574241.tif 000061
【図３１】
0003574241.tif 000062
【図３２】
0003574241.tif 000063
【図３３】
0003574241.tif 000064
【図３４】
0003574241.tif 000065
【図３５】
0003574241.tif 000066
【図３６】
0003574241.tif 000067
【図３７】
0003574241.tif 000068
【図３８】
0003574241.tif 000069
【図３９】
0003574241.tif 000070
【図４０】
0003574241.tif 000071
【図４１】
0003574241.tif 000072
【図４２】
0003574241.tif 000073
【図４３】
0003574241.tif 000074
【図４４】
0003574241.tif 000075
【図４５】
0003574241.tif 000076
【図４６】
0003574241.tif 000077
【図４７】
0003574241.tif 000078
【図４８】
0003574241.tif 000079
【図４９】
0003574241.tif 000080
【図５０】
0003574241.tif 000081
【図５１】
0003574241.tif 000082
【図５２】
0003574241.tif 000083
【図５３】
0003574241.tif 000084
【図５４】
0003574241.tif 000085
【図５５】
0003574241.tif 000086
【図５６】
0003574241.tif 000087
【図５７】
0003574241.tif 000088
【図５８】
0003574241.tif 000089