(57)【要約】【課題】画像解析処理のための撮像映像と親機へ送信する撮像映像とを最適化することにより、安定的な訪問者の認識と追尾制御とが可能なテレビインタホン装置を提供する。【解決手段】テレビインタホン装置に備わる子機１の映像認識部１０２は、カメラ部１１により撮影して出力された映像が第１の周期に従う周期で且つ画素が間引かれて入力され、入力した当該映像に基づいて訪問者の有無の解析を行う。訪問者判断部１０３は、映像認識結果に基づいて訪問者の有無の判断を行う。カメラ部１１により撮影して出力された映像は第１の周期よりも短い第２の周期に従う周期で親機に宛てて送信される。この画像処理によって、処理時間が必要な複雑なアルゴリズムを用いた映像認識部１０２による検出精度の向上が図れるだけではなく、移動体に対する時間的なフィルタ処理にもなるので、訪問者の微妙な揺れによる訪問者の位置情報のふらつきを抑えることができる。【選択図】図１
2009010579.tif 000002
【特許請求の範囲】
【請求項１】
訪問者を撮影可能な位置に設けられたカメラ部を有する子機と、前記子機と通信可能であり且つ表示部を有した複数台の親機とを備えるテレビインタホン装置において、
前記子機は、更に、
前記カメラ部によって撮影され出力される映像が第１の周期に従って入力され、入力された前記映像に基づいて訪問者の有無の解析を行う映像認識手段と、
前記映像認識手段が行った映像認識結果に基づいて訪問者の有無の判断を行う訪問者判断手段と、
前記カメラ部によって撮影され出力される映像が第２の周期に従って入力され、入力された前記映像を前記親機に宛てて送信する映像送信手段とを有し、
前記親機は、更に、
前記映像送信手段から送信された前記映像を受信して前記表示部に表示する受信映像表示手段を有する、
ことから成るテレビインタホン装置。
【請求項２】
前記カメラ部が出力する前記映像は第１の画素構成で撮影された映像であり、
前記映像認識手段は、前記カメラ部からの前記映像が第２の画素構成に変換して入力され、入力された当該映像情報に基づいて訪問者の有無の解析を行い、
前記映像送信手段は、前記カメラ部からの前記映像が第３の画素構成に変換されて入力され、入力された前記映像を前記親機に宛てて送信する、
ことから成る請求項１に記載のテレビインタホン装置。
【請求項３】
前記子機は、
前記映像認識手段での解析結果を一定期間分蓄積する解析結果蓄積手段を有し、
前記解析結果蓄積手段の蓄積情報に基づいて、前記映像認識手段に入力された前記カメラ部による撮影映像領域の中に訪問者の有無の解析を行う解析領域を設定する、
ことから成る請求項１又は２に記載のテレビインタホン装置。
【請求項４】
前記子機は、更に、
前記カメラ部での映像撮影条件の取得手段を有し、
前記撮影条件で得た前記カメラ部での映像撮影条件に基づいて、前記映像認識手段に入力された前記カメラ部による撮影映像領域の中に訪問者の有無の解析を行う、
ことから成る請求項１から３のいずれか１項に記載のテレビインタホン装置。
【請求項５】
前記子機は、更に、
時刻計測手段を有し、
前記時刻計測手段で得た月日時間情報に基づいて、前記映像認識手段に入力された前記カメラ部による撮影映像領域の中に訪問者の有無の解析を行う、
ことから成る請求項１から４のいずれか１項に記載のテレビインタホン装置。
【請求項６】
前記子機は、更に、
訪問者から発生する赤外線を検知可能な位置に設けられた熱源移動検知手段を有し、前記熱源移動検知手段の熱源検知結果と、前記映像認識手段の映像認識結果と、前記撮像条件取得手段が取得した前記カメラ部での映像撮像条件とに基づき、前記来訪者判断手段での訪問者の有無の判定を行う、
ことから成る請求項１から５のいずれか１項に記載のテレビインタホン装置。
【請求項７】
前記子機は、更に、
気温を計測する温度計測手段を有し、
前記温度計測手段の気温情報と、前記熱源移動検知部の熱源検知結果と、前記映像認識手段での映像認識結果とに基づいて、前記来訪者判断手段での訪問者の有無の判定を行う、
ことから成る請求項１から６のいずれか１項に記載のテレビインタホン装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はテレビインタホン装置に関し、特に、来訪者を自動認識し電子的なズーム及びパンチルト動作を行うことができるテレビインタホン装置に関する。
【背景技術】
【０００２】
例えば特許文献１にも開示されているように、従来から、パンチルト動作を行うテレビインタホン装置が知られている。このテレビインタホン装置は、カメラ付インタホン玄関子機と、当該カメラ付インタホン玄関子機に有線で接続されるモニタ付インタホン居室親機とを備えており、モニタ付インタホン居室親機で撮像映像を確認しながらカメラ付インタホン玄関子機の任意の撮像範囲の一部領域を切り出して拡大処理を行うことでパンチルト動作を実現している。
【０００３】
また、特許文献２にも開示されているように、カメラ付インタホン玄関子機での撮像範囲の一部領域を切り出す際に追尾制御をして、訪問者の顔等を自動的にモニタ付インタホン居室親機のモニタの中央に表示するテレビインタホン装置が知られている。
【０００４】
また、特許文献３にも開示されているように、撮像領域をブロック分割しブロック単位での過去の撮像映像との差分処理を行うことで移動体を自動的に検出し、カメラ付インタホン玄関子機での撮像範囲の一部領域の切り出しの制御をして、モニタ付インタホン居室親機のモニタの中央に移動体を表示するテレビインタホン装置が知られている。
【０００５】
このような構成のテレビインタホン装置によれば、宅内において訪問者の顔を局所的に拡大して確認したいという要求と、訪問者を含む玄関先の全体的な様子を確認したいという要求とを、煩わしい操作を行うことなく共に満たすことができる。
【０００６】
しかしながら、このような構成のテレビインタホン装置においては、カメラ付インタホン玄関子機が撮影した映像の映像信号によって顔を中心とした訪問者の位置情報をリアルタイムで認識し、当該位置情報をモニタ付インタホン居室親機へ伝送する必要があるが、処理能力の限られたカメラ付インタホン玄関子機の場合には、訪問者の認識及び追尾制御を安定的に行うための工夫が必要である。
【０００７】
訪問者の認識を安定的に行うために、特許文献１の構成では、モニタ付インタホン居室親機のモニタ映像を見ながら宅内応対者が手動で追尾操作を行うことが必要である。特許文献２の構成では、撮像映像の画像解析により追尾制御は自動で行われるが、モニタ付インタホン居室親機のモニタ映像を見ながら宅内応対者が手動で訪問者を探して追尾対象を予め指定することが必要である。特許文献３の構成では、撮像映像の画像解析によりリアルタイムな追尾制御の実現を図っているが、人間に関わらず移動体すべてを追尾制御対象としているために、かならずしも訪問者をモニタ付インタホン居室親機のモニタに映し出すことができないことがある。
【０００８】
また、撮像映像の画像解析によらず人間を検知する手段として、従来から、遠赤外線の変化を検出する焦電センサに代表される熱源移動検知素子が用いられているが、検知原理からすれば、検知対象の人間が常に動いている、或いは背景との温度差がある、という条件が満たされなければ人を正しく認識できない、更に、センサの検知エリア内の位置情報が得られない等の制約条件があったので、呼出しボタンが押される前の訪問者の自動検知には誤動作の問題がある。
【特許文献１】特開２００４−３０４５５８公報
【特許文献２】特開平６−３８２１４公報
【特許文献３】特開平１１−２７５５６８公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
そこで、カメラ付インタホン玄関子機での画像解析処理のための撮像映像とモニタ付インタホン居室親機へ送信する撮像映像とをそれぞれ最適化する点で解決すべき課題がある。また、設置環境に応じたカメラ付インタホン玄関子機での画像解析制御を行うことによりカメラ付インタホン玄関子機の撮影部のＡＧＣ（自動感度調節）機能での設定感度値より得られる被写体の明るさ情報により、また、熱源移動検知素子で得られる熱源の有無情報、或いは温度計測により得られる気温情報、或いは計時機能により得られる年月日情報を撮像映像の画像解析結果と組み合わせて判断する点で解決すべき課題がある。
【００１０】
本発明はこれらの問題を解消するためになされたもので、本発明の目的は、画像解析処理のための撮像映像と親機へ送信する撮像映像とを最適化することにより、安定的な訪問者の認識、及び追尾制御が可能なテレビインタホン装置を提供することである。
【課題を解決するための手段】
【００１１】
この発明によるテレビインタホン装置は、訪問者を撮影可能な位置に設けられたカメラ部を有する子機と、子機と通信する表示部を有した複数台の親機とを備えるテレビインタホン装置において、子機は、更にカメラ部により撮影して出力された映像を第１の周期に従う周期で入力して、入力した当該映像に基づいて訪問者の有無の解析を行う映像認識手段と、映像認識結果に基づいて訪問者の有無の判断を行う訪問者判断手段と、カメラ部により撮影して出力された映像を第２の周期に従う周期で入力して親機に宛てて送信する映像送信手段とを有する。親機は、更に、映像送信手段により送信された映像を受信して表示部に表示する受信映像表示手段を有する。
【００１２】
さらに、子機はカメラ部で第１の画素構成で撮影して出力された映像を入力して、入力した撮像映像情報を第２の画素構成に変換して得られる映像情報に基づき訪問者の有無の解析を行う映像認識手段と、映像認識結果に基づき訪問者の有無の判断を行う来訪者判断手段と、カメラ部で第１の画素構成で撮影して出力された映像を入力して入力した撮像映像情報を第３の画素構成に変換して親機に宛てて送信する映像送信手段とを有することが好ましい。
【００１３】
好ましくは、子機は、映像認識手段での解析結果を一定期間蓄積記憶する手段を更に有する。
【００１４】
好ましくは、子機は、カメラ部での映像撮影条件を映像認識手段へ入力する撮像条件取得手段を更に有する。
【００１５】
好ましくは、子機は、月日時間の計測が可能な時刻計時手段を更に有する。
【００１６】
好ましくは、子機は、訪問者から発生する赤外線の動きを検知可能な熱源移動検知部を更に有する。
【００１７】
好ましくは、子機は、設置場所の気温の計測が可能な温度計測手段を更に有する。
【発明の効果】
【００１８】
本発明によれば、画像解析による訪問者の映像認識制御において、カメラ付インタホン玄関子機で撮影された撮像映像を時間的に間引いたフレーム落ち映像を映像認識手段で用いることで、処理時間が必要な複雑なアルゴリズムを用いた映像認識手段による検出精度の向上が図れるだけではなく、移動体に対する時間的なフィルタ処理にもなるので、訪問者の微妙な揺れによる訪問者の位置情報のふらつきを抑えることができる。逆に、親機との伝送路が無線など大きく帯域制約を受けてカメラ付インタホン玄関子機で撮影された撮像映像の親機への送信周期が不安定な場合にあっても、一定周期で映像認識手段による訪問者の位置情報の安定的な取得を行うことができる。
【００１９】
また、画像解析による訪問者の映像認識制御において、カメラ付インタホン玄関子機で撮影された撮像映像を間引いた映像画素構成の映像を映像認識手段で用いることにより、解析負荷が減少する。それによって、解析能力の低い安価な映像認識手段による検出制御が可能となるだけではなく、移動体に対する空間的なフィルタ処理にもなるので、訪問者の微妙な揺れによる訪問者の位置情報のふらつきを抑えることができる。逆に、親機のモニタ表示映像画素構成に制約を受ける場合においても、カメラ付インタホン玄関子機で撮影する撮像映像画素構成及び映像認識手段に用いる画素構成を親機宛に送信する親機のモニタ表示映像画素構成に比して高画素構成とすることで、カメラ付インタホン玄関子機の撮影部に広角レンズを使用した場合に、撮影される細かい動きに対しても映像認識手段による訪問者の位置情報の安定的な取得を行うことができる。
【００２０】
また、画像解析による訪問者の映像認識制御において、カメラ付インタホン玄関子機の設置場所に起因した固有の撮像状況が発生する。即ち、撮影範囲内に訪問者が接近できない壁等の領域、或いは画面の端に常に訪問者以外の人間の通行、車の通行が撮影されているような領域が発生し、こうした領域は映像認識手段での誤認識要因となる。かかる領域をカメラ付インタホン玄関子機の撮像領域から除いた範囲を映像認識対象領域とすること、及びカメラ付インタホン玄関子機の呼び出し釦の操作動作に到る訪問者の移動軌跡を蓄積して得られる範囲を重点映像認識対象領域とすることによって、映像認識手段による訪問者の位置情報の安定的な取得を行うことができる。
【００２１】
また、カメラ付インタホン玄関子機の撮影部でのＡＧＣ（自動感度調節）機能による被写体の明るさの補正情報を映像認識手段での認識制御に用いることで、感度を上げて曇りや夕方の暗い被写体を撮影していることが認識できる。感度を上げることによってノイズが増加するが、感度を上げたことの認識に応じて、映像認識手段での移動体と判断する閾値を高く設定することで、ノイズの増加に関わらず映像認識手段による訪問者の位置情報の安定的な取得を行うことができる。
【００２２】
また、カメラ付インタホン玄関子機の設置場所の月日時間情報と映像認識手段での認識情報とを併せて訪問者の有無の判断を行うことで、月日時間情報に基づいて季節に応じた訪問者の服装、肌の露出具合を推測し、訪問者の顔位置等の映像認識手段での認識情報の補正を行うことができるので、この補正により訪問者の位置情報の安定的な取得を行うことができる。
【００２３】
また、カメラ付インタホン玄関子機の撮影範囲内の熱源移動検知情報と映像認識手段での認識情報を併せて訪問者の有無の判断を行うことにより、映像認識手段で閾値近辺の不安定な認識情報があるにもかかわらず熱源移動検知部で検知していない場合は、遠方の人間或いは、肌色に近い草木の揺れなどを誤認識していると判断し、逆に熱源移動検知部で熱源検知しているが、映像認識手段では非常に高輝度なスポット光源を認識した場合には、太陽光、自動車のヘッドライト、白熱灯などの遠赤外線が熱源移動検知部に直射した結果として無視の制御動作を行うことで、訪問者の位置情報の安定的な取得を行うことができる。
【００２４】
また、カメラ付インタホン玄関子機の撮影範囲内の気温情報と熱源移動検知情報と映像認識手段での認識情報とを併せて訪問者の有無の判断を行うことで、気温情報より訪問者の服装、肌の露出具合を推測し、この推測に基づいて訪問者の顔位置等の映像認識手段での認識情報の補正を行うことで、訪問者の位置情報の安定的な取得を行うことができる。同時に、熱源移動検知部を併用した場合の欠点である真夏日で気温が人間の体温付近まで上昇した際の誤認識結果を、気温情報により無視する制御を行うことができる。
【発明を実施するための最良の形態】
【００２５】
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では同一の部品又は構成要素には同一の符号を付してある。それらの名称及び機能も同じであるので、それらについての再度の詳細な説明を省略する。
本実施の形態のテレビインタホン装置では、訪問者を撮影して映像信号を出力する機能を有した機器であるカメラ付インタホン玄関子機を「子機」といい、居室者により操作される機器であって子機と通信をするモニタ付インタホン親機を「親機」という。
【００２６】
図１には全体構成が示されており、図２〜図３には機能構成が示されており、図４〜図７にはフローチャートが示されている。
【００２７】
図１に、本実施の形態に係るテレビインタホン装置の構成の具体例を示す。
図１を参照して、本実施の形態に係るテレビインタホン装置は、通常、屋外に設置されている子機１と、通常屋内に設置されている親機２Ａ，２Ｂとを含んで構成される。子機１は、カメラ部１１、呼出ボタン１３、焦電センサなどの熱源移動検知部１４、カメラの撮像領域を明るく照らすＬＥＤ照明１５、温度計測部１６等を含んでいる。親機２Ａ，２Ｂは、液晶表示部２１、通話ボタン２２、録画再生ボタン２４、内線呼出しボタン２５等を含んでいる。
【００２８】
子機１において、カメラ部１１は玄関先を撮影できるような位置に設けられており、特に来訪者を撮影できるような位置に設けられている。同様に、熱源移動検知部１４は玄関先をセンシングできるような位置に設けられており、特にカメラ部１１の撮像範囲と同じ範囲の熱源移動を検知できるような位置に設けられている。子機１と親機２Ａ及び親機２Ｂとは相互に既存敷設線３による通信を行ない、子機１の動作電源は既存敷設線３を通じて親機２Ａより給電される。
【００２９】
図２〜図３は、本実施の形態に係るテレビインタホン装置を構成する各機器の内部構成を示すブロック図である。図２には、テレビインタホン装置の子機１の内部構成が示されている。親機２Ａと親機２Ｂとは同様の構成を有している。このため、図３では、親機２Ａと親機２Ｂとを代表させた親機２の構成が示されている。
【００３０】
図２を参照して本実施の形態に係るテレビインタホン装置に含まれる子機１は、子機１全体を制御するＣＰＵ（Central Processing Unit）１００と、親機２Ａ及び親機２Ｂを呼出すための呼出ボタン１２と、親機２Ａ及び親機２Ｂ等との既存線通信線３の取り付けを行なうための端子台を含む信号送受信部１０７と、来訪者を撮影するカメラ部１１と、カメラ部１１で撮影された映像信号を記憶する認識用映像蓄積部１０１と、訪問者が撮影されていないかどうかの画像解析を行う映像認識部１０２と、訪問者の有無を判断する訪問者判断部１０３と、映像認識部１０２における映像認識結果の履歴を蓄積する解析結果蓄積部１０４と、内蔵するタイマ機能で時間を計測及び保持する月日時間記憶部１０５と、カメラ部１１で撮影された映像信号を蓄積し親機２等に送信するためデジタルの映像信号をアナログの映像信号に変換する伝送用映像蓄積ＤＡ（digital-analog）変換部１０６と、図示されないマイクやスピーカを含んでおり屋外の訪問者と屋内のユーザとの音声通話を可能とする音声通話部１３と、カメラの撮像範囲内の熱源の移動状態を収集する熱源移動検知部１４と、カメラの撮像範囲を明るく照らすＬＥＤ照明部１５と、子機１の設置場所の気温を測定する温度計測部１６と、電源回路部１０８とを含んで構成されている。
【００３１】
ＣＰＵ１００は、呼出ボタン１２に接続されており、訪問者が押すことによって呼出ボタン１２から呼出信号がＣＰＵ１００に入力される。ＣＰＵ１００は、カメラ部１１と、認識用映像蓄積部１０１と、映像認識部１０２と、訪問者判断部１０３と、解析結果蓄積部１０４と、月日時間記憶部１０５と、伝送用映像蓄積Ｄ／Ａ変換部１０６と、信号送受信部１０７と、熱源移動検知部１４と、ＬＥＤ照明部１５と、温度計測部１６とに接続されており、それらを制御する制御信号を送出する。ＣＰＵ１００は、呼出ボタン１２からの呼出信号が入力されて当該呼出信号を検出し、或いは訪問者判断部１０３で来訪者を検知すると、来訪者がある旨の制御信号である呼出開始信号を信号送受信部１０７に対して送出する。
【００３２】
信号送受信部１０７は、通信伝送路３を介して親機２から送信された周波数多重化処理された送信用信号を受信し、ＣＰＵ１００からの制御信号に従って送信用信号を音声信号と親機応答信号等の制御信号とに、更には子機１の駆動電源に分離する。
【００３３】
電源回路部１０８は、信号送受信部１０７に接続されており、信号送受信部１０７で受電したＤＣ１５Ｖを基に子機１の動作に必要なＤＣ３．３Ｖ，５Ｖと１２Ｖを作成し各動作回路ブロックに給電を行う。
【００３４】
ＣＰＵ１００は、熱源移動検知部１４と温度計測部１６と月日時間記憶部１０５とに接続されており、熱源移動検知部１４からはＣＰＵ１００が制御に必要な情報としてカメラの撮像範囲内の熱源の移動情報を、温度計測部１６からは子機１の設置場所の気温情報を、月日時間記憶部１０５からは現在の月日時間情報を、それぞれ随時取得する。
【００３５】
カメラ部１１は、有効画素が水平１２８０×垂直９６０画素（第１の画素構成）から成るＣＣＤ撮像素子を有しており、ＣＰＵ１００からの制御信号と時間信号とに従って水平画角１２０度の撮像範囲を持つレンズで撮像した映像信号を１秒間に３０画面分の周期で認識用映像蓄積部１０１及び伝送用映像蓄積Ｄ／Ａ変換部１０６に順次送信する。この映像信号は、１画面分毎の同期信号が付加された１画素単位の輝度情報と色情報のデジタルデータ信号である。
【００３６】
認識用映像蓄積回路１０１は、カメラ部１１で撮像した映像を３画面分記憶可能な容量を有し且つ古い映像より順に消去されて新しい映像が上書き記憶されるリング状メモリ構造を有しており、ＣＰＵ１００からの制御信号と時間信号とに従って、カメラ部１１からの映像信号データを、有効画素が水平３２０×垂直２４０画素（第２の画素構成）に縮小処理を行い、また、１秒間に７．５画面分の周期（第１の周期）で順次記憶する。
【００３７】
映像認識部１０２は、ＣＰＵ１００からの制御信号に従って認識用映像蓄積部１０１に記憶された７．５分の１秒間遅延した２画面の映像信号データを読み出して画像解析処理行い、顔検知、移動体検知、又は未検知の３種類の検知結果フラグと、検知対象物の座標データとを訪問者判断部１０３に順次送出する。
【００３８】
訪問者判断部１０３は、ＣＰＵ１００からの制御信号に従って映像認識部１０２の解析結果、熱源移動検知部１４が検知した熱源移動情報、及び温度計測部１６が計測した子機１の設置場所の気温情報に基づいて、訪問者の有無の判断処理を行う。
【００３９】
解析結果蓄積部１０４は、認識用映像蓄積部１０１の有効サイズと同じ水平３２０×垂直２４０座標毎に１対１に対応した情報蓄積機能を有しており、訪問者を認識した際の訪問者の顔座標の移動軌跡を座標領域毎に移動平均の重み付け演算を行い、その演算結果の蓄積記録を行う。この蓄積記録は呼出ボタン１２を押すことが可能な訪問者の顔領域となることから、映像認識部１０２での顔画像の検知処理をこの領域内でのみに限定することにより訪問者と通行人の弁別を行っている。
【００４０】
熱源移動検知部１４は、背景との温度差が４℃以上ある熱源の移動を検出する遠赤外線焦電センサで構成されており、１０ｍ以内の検知距離を持っている。当該遠赤外線焦電センサの撮像範囲は、カメラ１１の撮像範囲と同一の水平画角１２０度となる位置に取り付けられている。
【００４１】
伝送用映像蓄積Ｄ／Ａ変換部１０６は、カメラ部１１で撮像した映像を２画面分記憶可能な容量を有し且つ古い映像より順に消去されて新しい映像が上書き記憶されるリング状メモリ構造を有しており、ＣＰＵ１００からの制御信号と時間信号とに従って、カメラ部１１からの映像信号データについて訪問者判断部１０３で得た訪問者座標を中心とする有効画素が水平６４０×垂直４８０画素（第３の画素構成）の矩形領域の切り出し処理を行い、１秒間に３０画面分の周期（第２の周期）で順次記憶する。
【００４２】
伝送用映像蓄積Ｄ／Ａ変換部１０６は、ＣＰＵ１００からの制御信号と時間信号とに従って、記憶したデジタル映像信号データをアナログデータに変換処理を行い、信号送受信部１０７に対して１秒間に３０画面分の周期で順次送出する。
【００４３】
音声通話部１３は、信号送受信部１０７に接続されており、ＣＰＵ１００からの制御信号に従って、信号送受信部１０７から入力された音声信号をスピーカから屋外の来訪者に出力すると共に、含まれるマイクで屋外の来訪者が発する音声を取得し、取得した音声信号を信号送受信部１０７に対して送出する。
【００４４】
信号送受信部１０７は、ＣＰＵ１００からの制御信号に従って、音声通話部１３から入力された音声信号と、伝送映像蓄積Ｄ／Ａ変換部１０６から読出したアナログ映像信号と、ＣＰＵ１００から入力された呼出制御信号等の制御信号とに対して、周波数多重化処理を施して送信用信号を生成する。信号送受信部１０７は、当該送信用信号を、伝送路３を介して親機２に対して送信する。
【００４５】
図２の構成では、カメラ部１１により３０画面／秒の周期で撮影された映像は、第１の周期（７．５画面／秒）に従う周期で、訪問者判断部１０３で訪問者の有無が判断される。また、第２の周期（３０画面／秒）に従う周期で、伝送用映像蓄積Ｄ／Ａ変換部１０６から映像が読出されて、親機２に宛てて送信される。このように、第１の周期と第２の周期が同期していないので、処理速度が遅い映像認識部１０２での第１の周期に依存することなく、カメラ部１１から映像をより速い第２の周期で伝送路３に送出できるという効果が得られる。
【００４６】
図３を参照すると、本実施の形態に係るテレビインタホン装置に含まれる親機２Ａは、親機２全体を制御するＣＰＵ２００と、来訪者の映像を表示する液晶表示部２１と、来訪者との通話を開始するために子機１を呼出す通話ボタン２２と、屋内の他のユーザとの内線通話を開始するために他の親機２を呼出す内線ボタン２５と、親機２に記録された来訪者映像を再生要求する再生ボタン２４と、電源回路部２８と、子機１及び他の親機２等との既存線通信を行なうための端子台を含む信号送受信部２０７と、図示されないマイクやスピーカを含んでおり屋外の訪問者や屋内の他のユーザとの音声通話を可能とする音声通話部２３と、子機１で撮影された来訪者映像を記録する映像録画部２０２と、呼出音処理部２０１とを含んで構成されている。
【００４７】
信号送受信部２０７は、伝送路３を介して子機１及び親機２Ｂから送信された周波数多重化処理された送信用信号を受信し、ＣＰＵ２００からの制御信号に従って送信用信号を音声信号と映像信号と呼出制御信号等の制御信号に分離する。
【００４８】
電源回路部２８は、ＡＣ１００Ｖコンセントに接続され受電したＡＣ１００Ｖを元に親機２の動作に必要なＤＣ３．３Ｖ，５Ｖと１２Ｖを作成し各動作回路ブロックに給電を行う。
【００４９】
信号送受信部２０７は、音声通話部２３とＣＰＵ２００と映像録画部２０２と液晶表示部２１とに接続されており、分離して得られた音声信号を音声通話部２３に、制御信号をＣＰＵ２００に、映像信号を映像録画部２０２と液晶表示部２１とに対して送出する。
【００５０】
ＣＰＵ２００は、信号送受信部２０７から入力された呼出開始信号を検出し、子機１近傍に来訪者の存在を検知する。
また、ＣＰＵ２００は、信号送受信部２０７から入力された子機１からの制御信号である呼出終了信号を検出し、親機２Ｂにおいて子機１からの呼出動作に対する応答動作が行なわれたことを検知する。
また、ＣＰＵ２００は、屋内のユーザが押すことにより通話ボタン２２から呼出信号を入力する。ＣＰＵ２００は、通話ボタン２２からの呼出信号を検出すると屋内のユーザが通話ボタン２２を押したことを検知し子機１又は他の親機２からの呼出動作に対する制御動作として制御信号である呼出応答信号を信号送受信部２０７に送出する。
また、ＣＰＵ２００は、屋内のユーザが押すことにより内線ボタン２５から呼出信号を入力する。ＣＰＵ２００は、内線ボタン２５からの呼出信号を検出すると屋内のユーザが内線ボタン２５を押したことを検知し、子機１又は親機２Ｂに対する呼出動作に対する制御動作として制御信号である内線呼出信号を信号送受信部２０７に送出する。
また、ＣＰＵ２００は、屋内のユーザが押すことにより再生ボタン２４から再生要求信号を入力する。ＣＰＵ２００は、再生ボタン２４からの再生要求信号を検出すると屋内のユーザが再生ボタン２４を押したことを検知し映像録画部２０２に対する録画映像の再生要求操作に対する制御動作として映像録画部２０２に録画されている最新の訪問者の映像を液晶表示部２１に送出する。
【００５１】
映像録画部２０２は、３０画面／秒の周期の映像を１０秒間２件分記録可能な容量のフラッシュメモリで構成され且つ古い映像より順に消去されて新しい映像が上書き記憶されるリング状メモリ構造を有しており、ＣＰＵ２００からの制御信号に従って信号送受信部２０７から入力された映像信号を順次記憶する。
【００５２】
液晶表示部２１は、ＣＰＵ２００からの制御信号に従って、信号送受信部２０７或いは、映像録画部２０２から送出される映像信号を受信し、表示する。
【００５３】
音声通話部２３は、信号送受信部２０７に接続されておりＣＰＵ２００からの制御信号に従って信号送受信部２０７から入力された音声信号をスピーカから屋内のユーザに出力すると共に、含まれるマイクで屋内のユーザが発する音声を取得し、取得した音声に基づいた音声信号を信号送受信部２０７に対して送出する。
【００５４】
信号送受信部２０７は、ＣＰＵ２００からの制御信号に従って音声通話部２３から入力された音声信号とＣＰＵ２００から入力された制御信号とに対して周波数多重化処理を施して送信用信号を生成する。そして、当該送信用信号を、伝送路３を介して子機１及び親機２Ｂに対して送信する。
【００５５】
以下に、各機器の動作を図４〜図７に示すフローチャートに基づいて説明する。これらフローチャートに従う処理は子機１のＣＰＵ１００に内蔵されるＲＯＭ（Read Only  Memory）、居室内親機２のＣＰＵ２００に内蔵されるＲＯＭにプログラムとして予め格納されており、ＣＰＵ１００、２００のそれぞれにより読出されて実行されることによりその機能が実現される。
【００５６】
次に、図４のフローチャートを用いて本実施の形態に係るテレビインタホン装置の親機２Ａが子機１の呼出しに応答する際の子機１の処理について説明する。図４のフローチャートに示される処理は、主に子機１のＣＰＵ１００が図示されない記憶装置に記憶されているプログラムを読出して実行し、図２に示される各部を制御することによって実現される。
【００５７】
図４を参照して、始めにテレビインタホン装置の電源が投入された初期状態において、子機１Ａは内蔵各部のバッファの消去等初期化処理を実行する（Ｓ１０１）。
【００５８】
映像認識部１０２及び訪問者判断部１０３での演算に使用する温度計測部１６と熱源移動検知部１４と月日時間記憶部１０５との情報は、１秒間に７．５回の頻度で取得され、ＣＰＵ１００の一時記憶内部レジスタに常に最新の情報として記憶されている。また、子機１Ａのカメラ部１１は、電源が供給されている間は常に撮像動作を行なっている（Ｓ１０２）。子機１のカメラ部１１で撮影されている映像に基づく映像信号については、映像認識部１０２において１秒間に７．５回の頻度で解析が実行され（Ｓ１０３）、訪問者判断部１０３で同様に１秒間に７．５回の頻度で訪問者がいないかの判断処理（Ｓ１０４）と、Ｓ１０４でＮＯの場合には更に、訪問者により呼出ボタン１２が押されていないか判断処理が行われる（Ｓ１０５）。カメラ映像を解析する処理のＳ１０３に関しては図６で後述する。また、訪問者を認識する処理のＳ１０４に関しては図７で後述する。
【００５９】
訪問者判断部１０３で訪問者がいるとの判断が行われた場合（Ｓ１０４でＹＥＳ）にはその判断に基づいて、又は子機１の呼出ボタン１２が来訪者によって押下された場合（Ｓ１０５でＹＥＳ）には呼出ボタン１２から入力した操作信号に基づいて、子機１のＣＰＵ１００は来訪者があったことを検出する。子機１のＣＰＵ１００は、制御信号である呼出開始信号を親機２Ａ及び２Ｂに対し信号送受信部１０７を介し送信する（Ｓ１０６）。
【００６０】
同時に、カメラ部１１の撮影条件の一つである撮影映像が暗い場合には、最適な明るさの映像とするための信号増幅度合いを示す２５５段階で表される増幅指数が２２４以上のとき、撮影映像が暗いと判断し照明用のＬＥＤ１５の点灯制御を行う（Ｓ１０７）。
【００６１】
また、呼出開始信号を送信後、ＣＰＵ１００の内蔵タイマにより計時する１分間を上限として（Ｓ１０８でＮＯ）、ＣＰＵ１００が信号送受信部１０７を介してレスポンスを受信するまで、子機１のカメラ部１１で撮像された映像が親機２Ａ及び親機２Ｂに対し伝送用映像蓄積Ｄ／Ａ変換部１０６と信号送受信部１０７を介して送信される（Ｓ１１０）。
ここで１分以内にどの親機からも呼出開始信号のレスポンスが受信できない場合（タイムアップのＳ１０８でＹＥＳ）は、ＣＰＵ１００は、訪問者が不在であるとみなして、来訪者の全ての親機宛ての映像の送信を中断すると同時にＬＥＤ照明を点灯していた場合は消灯処理を行う（Ｓ１１５）。
ＣＰＵ１００は、タイムアップ若しくは親機２の応答があるまでは、映像認識部１０２で顔画像の座標の移動履歴を１秒間に７．５回の頻度で取得し、解析結果蓄積部１０４に蓄積記憶を行う（Ｓ１０９）。
【００６２】
ＣＰＵ１００は、信号送受信部１０７で受信した制御信号が親機２Ａから呼出応答信号レスポンスがあったこと（親機の通話ボタンが押されたこと）を判別したとする（Ｓ１１１でＹＥＳ）。その場合には子機１と親機２Ａとの間で信号送受信部１０７を介して双方向の音声信号の送受信が実行されてスピーカから住宅内の在宅者の音声が来訪者に対して出力される（Ｓ１１２）。これにより来訪者と在宅者との間で子機１及び親機２Ａを用いた通話が可能となる。
【００６３】
来訪者との通話が終了すると（Ｓ１１３でＹＥＳ）、親機２Ａに対する映像と音声の送信が停止されると同時に、ＬＥＤ照明を点灯していた場合は消灯処理が行われ（Ｓ１１４）、来訪者があった場合の一連の処理が終了する。通話の終了は例えば親機２Ａで通話ボタン２２の操作がされたことにより検知される。
なお、図４の処理は子機１と親機２Ａの伝送路３を通じた給電が遮断されるまで繰り返される。
【００６４】
次に、図５のフローチャートを用いて、本実施の形態に係るテレビインタホン装置の親機２Ａが子機１の呼出しに応答する際の親機２Ａの処理について説明する。図５のフローチャートに示される処理は、主に親機２ＡのＣＰＵ２００が図示されない記憶装置に記憶されているプログラムを読出して実行し、図３に示される各部を制御することによって実現される。
【００６５】
図５を参照して、初めにテレビインタホン装置の電源が投入された初期状態において、親機２Ａは内蔵各部のバッファの消去等初期化処理を実行し伝送路３を通じて子機１へ給電を開始する（Ｓ２０１）。
ステップＳ２０１において、テレビインタホン装置の電源が投入された初期状態での初期化給電処理が完了した後、ＣＰＵ２００は、録画映像の再生操作信号が検知されるまで（Ｓ２０２でＹＥＳ）、或いは親機２Ｂへの内線要求操作信号が検知されるまで（Ｓ２０３でＹＥＳ）、或いは子機１近傍に来訪者の存在が検知されて呼出開始信号が検出されるまで（Ｓ２０４でＹＥＳ）、動作待機状態が続く。
【００６６】
Ｓ２０２で、親機２Ａの再生ボタン２４が住宅内の在宅者によって押下されると、ＣＰＵ２００は再生ボタン２４から入力した操作信号に基づき録画映像の再生要求があったことを検出する（Ｓ２０２でＹＥＳ）。ＣＰＵ２００は、再生ボタン２４からの再生要求信号を検出すると、屋内のユーザが再生ボタン２４を押したことを検知し、映像録画部２０２に録画されている最新の訪問者の映像を映像録画部２０２に記録している１０秒間の再生が終了するまで（Ｓ２１６でＹＥＳ）液晶表示部２１に送出し表示する（Ｓ２１５）。
【００６７】
Ｓ２０３で、屋内のユーザが内線ボタン２５を押すと、ＣＰＵ２００は、内線ボタン２５からの内線要求操作信号を検出し（Ｓ２０３でＹＥＳ）、信号送受信部２０７を介して呼出開始信号を親機２Ｂに対して送信する（Ｓ２１７）。また、呼出開始信号を送信後、ＣＰＵ２００の内蔵タイマにより計時する１分間を上限として（Ｓ２１８でＹＥＳ）、ＣＰＵ２００が信号送受信部２０７を介してレスポンスを受信することで（Ｓ２１９でＹＥＳ）、双方向の音声信号の送受信が実行されて、親機２Ａと親機２Ｂを用いた通話が可能となる（Ｓ２２０）。親機２Ａと親機２Ｂを用いた通話が終了すると（Ｓ２２１でＹＥＳ）、再び動作待機状態が続く。
【００６８】
Ｓ２０４で、ＣＰＵ２００は、信号送受信部２０７を介して子機１からの呼出開始信号を受信することで、子機１近傍に来訪者の存在を検知する（Ｓ２０４でＹＥＳ）。ＣＰＵ２００は、呼出開始信号が検出されると、呼出音処理部２０１を制御する。これにより、呼出音処理部２０１で生成された呼出音が、親機音声通話部２３を構成するスピーカから出力される（Ｓ２０５）。
【００６９】
同時に、子機１のカメラ部１１で撮影されている映像信号が信号送受信部２０７を介して順次送信されてくるので、ＣＰＵ２００は、これを受信して、液晶表示部２１に来訪者の映像を表示すると共に、映像録画部２０２への液晶表示部２１に表示している来訪者映像の１０秒間録画制御を行う（Ｓ２０６）。これにより、宅内者が不在であっても訪問者の映像が録画されているので、再生操作を行うことで訪問者の映像を確認することができる。
【００７０】
ここで、ＣＰＵ２００は、親機２Ａの通話ボタン２２が在宅者により押されたことを検出すると（Ｓ２０９でＹＥＳ）、信号送受信部２０７から子機１に対して呼出応答信号を送信する（Ｓ２１０）。該応答信号を受信した子機１からは、来訪者の映像を継続して受信することができる（Ｓ２１１）。
ここで、先に在宅者が親機２Ｂで呼出応答信号を送信することで来訪者に対し応答対応を行ったとした場合（Ｓ２０７でＹＥＳ）、ＣＰＵ２００は呼出音の送出及び液晶表示部２１への映像表示を終了し、制御は待機状態へ移行する（Ｓ２１４）。
また、５５秒以内に通話ボタン２２が在宅者により押されない場合は、タイムアップ判定を行い（Ｓ２０８でＹＥＳ）、ＣＰＵ２００は呼出音の送出及び液晶表示部２１への映像表示を終了し、制御は待機状態へ移行する（Ｓ２１４）。
【００７１】
ステップＳ２１２で、子機１と親機２Ａとの間で双方向の音声信号の送受信が実行されてスピーカから来訪者の音声が出力される。これにより、来訪者と在宅者との間で子機１及び親機２Ａを用いた通話が可能となる。
【００７２】
ステップＳ２１３で通話ボタン２２が再度押される等の終話操作により来訪者との通話が終了すると（Ｓ２１３でＹＥＳ）、ステップＳ２１４で子機１との音声の送受信及び映像の受信を停止するとともに、通話液晶表示部２１の表示も停止され来訪者との通話の処理が終了する。
なお、図５の処理は、電源であるＡＣ１００Ｖプラグが抜かれて室内親機２Ａの電源回路部２８へのＡＣ１００Ｖの給電が停止されるまで繰り返される。
図５の処理を親機２Ａについて説明したが、親機２Ｂであっても同様に適用することができる。
【００７３】
次に、図６のフローチャートを用いて本実施の形態に係るテレビインタホン装置の子機１がカメラ映像を解析する処理の詳細について説明する。
【００７４】
子機１のカメラ部１１で撮影された映像を解析するに当たり、月日時間記憶部１０５でカウントされている月日時間情報が８月の１４時過ぎでカメラ部１１の撮影条件の２５５段階で表される信号増幅度合いが１００と低い場合は（Ｓ３０１でＮＯ，Ｓ３０３でＹＥＳ）、真夏の晴天でカメラ映像は画像解析に適したＳ／Ｎの非常に良い条件であるが、腕等の肌の露出が多い可能性が高い条件の下で、ＣＰＵ１００での解析制御が行われる（Ｓ３０４）。逆に時刻が１８時でメラ部１１の撮影条件の２５５段階で表される信号増幅度合いが２３０と高い場合は（Ｓ３０１でＹＥＳ）、街灯照明の暗い夜中でカメラ映像は画像解析に適さないＳ／Ｎの悪い条件であるので、誤判定を防ぐために移動体と判定するための判定閾値が大きい状態でのＣＰＵ１００での解析制御が行われる（Ｓ３０２）。なお、撮影条件の取得手段は、２５５段階で表される増幅指数を取得する手段であって、カメラ部１１に存在する。また、月日時間情報記憶手段は、月日時記憶部１０５として、時刻計測手段で得られた上記の季節（月日）と時刻を記憶する手段である。
【００７５】
次に、子機１のＣＰＵ１００は、認識用映像蓄積部１０１に蓄積されている７．５分の１秒間隔の時間差を持つ２枚のカメラ部１１で撮影された映像間の輝度情報に関する差分演算を行う（Ｓ３０５）。撮影された映像の中に訪問者や通行人や草木の揺れなどによりステップＳ３０２で調整された判定閾値を超える大きさの変化が生じていれば、この演算により移動量の大きさと移動体の画面内での座標がＣＰＵ１００に内部一時格納情報として設定される。また、認識用映像蓄積部１０１に蓄積されているカメラ部１１で撮影された映像内の輝度分布を画素単位で分析し、２５５段階で表される輝度情報の画面全体の平均値が１８０に対して３０％以上明るい画素の集まりの有無、及びその高輝度部位座標値がＣＰＵ１００に内部一時格納情報として設定される（Ｓ３０６）。
【００７６】
上記演算結果で得られた移動体の座標情報と高輝度部位座標情報が一致していなければ、撮像エリア内に自然現象で無い人工的な移動物体が存在していることがＣＰＵ１００に内部一時格納情報として設定される（Ｓ３０７でＹＥＳ，Ｓ３０８）。
【００７７】
次に、ＣＰＵ１００は、カメラ部１１で撮影された映像領域の中で過去の訪問者の来訪時の検知履歴が蓄積されている解析結果蓄積部１０４で示される映像認識対象領域内に限定して色情報の解析を行う。髪の毛等と類推される暗色画素の下部に肌色画素の集まりの有無及び、その肌色画素のカメラ部１１で撮影された映像領域に占める割合が１０％以上の場合に人間の顔が存在するとの判断を行い、その座標がＣＰＵ１００に内部一時格納情報として設定される（Ｓ３１０でＹＥＳ，Ｓ３１１）。尚、Ｓ３１０での解析の際にＳ３０４で夏フラグが設定されている場合は、その肌色画素のカメラ部１１で撮影された映像領域に占める割合が３０％以上無ければ１０％を超えている領域の中で最も画面の上方に位置する肌色領域が人間の顔であるとの判断を行うことで、露出している肌色の腕を誤認識する可能性の低減処理を行う。
上記ステップの処理を行うことで未検知と移動体検知と顔検知の３つの内のいずれかがＣＰＵ１００の内部一時格納情報である認知結果フラグとして設定されることになる。
【００７８】
次に、図７のフローチャートを用いて、本実施の形態に係るテレビインタホン装置の子機１が訪問者の有無を判断する処理の詳細について説明する。
【００７９】
ＣＰＵ１００は、子機１の熱源移動検知部１４の検知結果が移動体有りの判定で（Ｓ４０１でＹＥＳ）前述検知結果フラグが顔検知の場合には、カメラ部１１で撮影を行っている映像領域で且つ子機１との距離が１０ｍ以内に人間である訪問者が存在すると判断できる（Ｓ４０５でＹＥＳ）。
また、訪問者が子機１に対して後ろを向いている等に起因して映像認識部１０２で顔が検知できていない場合でも、前述検知結果フラグが移動体検知の場合は同様に赤外線を発する人間である訪問者が存在すると判断できる（Ｓ４０５でＮＯ，Ｓ４０６でＹＥＳ）。
但し、熱源移動検知部１４で使用している焦電センサは背景との温度差が４℃以上必要であるので、温度計測部１６で測定している周囲温度が３１℃以上の場合は、熱源移動検知部１４の判定結果が信用できない。したがって、熱源移動検知部１４の検知結果に関わらず、検知結果フラグが顔検知の場合は、カメラ部１１で撮影を行っている映像領域に訪問者が存在するとＣＰＵ１００で判断処理を行う（Ｓ４０２でＹＥＳ，Ｓ４０４でＹＥＳ）。
【００８０】
また、訪問者が子機１に向かって一直線に向かって歩いて来る場合、或いは立ち止まっている場合は、熱源移動検知部１４で「熱源移動体無し」と誤判定されるが、この場合においても、熱源移動検知部１４の検知結果に関わらず、検知結果フラグが顔検知の場合はカメラ部１１で撮影を行っている映像領域に訪問者が存在するとＣＰＵ１００で判断処理を行う（Ｓ４０１でＮＯ、Ｓ４０２でＮＯ、Ｓ４０４でＹＥＳ）。
但し、熱源移動検知部１４の検知結果が熱源移動無し判定で且つ検知結果フラグが移動体の場合は人間で無い人工物の移動体を映像認識部１０２での誤認識であり、Ｓ４０３ステップでＹＥＳ判定となり、ＣＰＵ１００は「訪問者はいない」と判断する（Ｓ４０８）。
【００８１】
なお、本発明に係るテレビインタホン装置の構成は上述の構成に限定されず、親機２Ａ，２Ｂは子機１との間で少なくとも映像の送受信ができるように構成されていればよい。
更に、本実施の形態においてはデジタル信号映像をアナログ信号に変換して信号送受信部１０７で変復調を行う構成としているが、デジタル信号のまま送信し信号送受信部１０７で変復調を行う構成としてもよい。
更に、撮影した映像を記録するための記録媒体は親機２内蔵のフラッシュＲＯＭに限定されず、ユーザが用途に応じた容量の記憶媒体を選択できる、ＳＤメモリカード（登録商標）のように交換可能（着脱自在）な構造としてもよい。
【００８２】
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００８３】
【図１】本実施の形態に係るテレビインタホン装置の構成図である。
【図２】インタホン子機１の構成の具体例を示す図である。
【図３】インタホン親機２の構成の具体例を示す図である。
【図４】インタホン子機１でインタホン親機２への呼出しが発生した場合のフローチャートである。
【図５】インタホン親機２でインタホン子機１の呼出しに応答する処理を示すフローチャートである。
【図６】インタホン子機１のカメラ映像の解析処理Ｓ１０３の詳細を示すフローチャートである。
【図７】インタホン子機１の訪問者の認識判断処理Ｓ１０４の詳細を示すフローチャートである。
【符号の説明】
【００８４】
１  インタホン子機            ２，２Ａ，２Ｂ  インタホン親機
３  通信伝送路、              １１  カメラ部
１２  呼出ボタン              １３，２３  音声通話部
１４  熱源移動検知部          １５  ＬＥＤ照明部
１６  温度計測部
２１  液晶表示部              ２２  通話ボタン
２４  録画再生ボタン          ２５  内線呼出しボタン
１００，２００  ＣＰＵ          １０１  認識用映像蓄積部
１０２  映像認識部              １０３  解析結果蓄積部
１０４  月日時間記憶部          １０５  伝送用映像蓄積Ｄ／Ａ変換部
１０７，２０７  信号送受信部    １０８，２０８  電源回路部
１０９  呼出しモード記憶部
２０１  呼出音処理部            ２０２  映像録画部
【図１】
2009010579.tif 000003
【図２】
2009010579.tif 000004
【図３】
2009010579.tif 000005
【図４】
2009010579.tif 000006
【図５】
2009010579.tif 000007
【図６】
2009010579.tif 000008
【図７】
2009010579.tif 000009