(57)【要約】【課題】撮影する画像を、室内親機のディスプレイに大きく表示できる携帯端末を提供する。【解決手段】玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末は、カメラと、カメラで撮影される画像に含まれる顔を検出する検出部と、検出された顔を含むように画像の一部を切り出して切り出し画像を生成する切り出し部と、切り出し画像を室内親機に送信する通信部と、を有する。【選択図】図３
2019161482.tif 000002
【特許請求の範囲】
【請求項１】
玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末であって、
カメラと、
前記カメラで撮影される画像に含まれる顔を検出する検出部と、
検出された前記顔を含むように前記画像の一部を切り出して切り出し画像を生成する切り出し部と、
前記切り出し画像を前記室内親機に送信する通信部と、
を有する携帯端末。
【請求項２】
前記切り出し部は、前記切り出し画像が正方形状となるように前記画像の一部を切り出す、
請求項１に記載の携帯端末。
【請求項３】
前記切り出し部は、前記切り出し画像の一辺が、前記画像の短手方向の幅に一致するように前記切り出し画像を生成する、
請求項２に記載の携帯端末。
【請求項４】
前記切り出し画像を表示するディスプレイ、をさらに有する、
請求項１から３のいずれか一項に記載の携帯端末。
【請求項５】
前記通信部は、前記室内親機で撮影される室内親機画像を受信し、
前記室内親機画像を表示するディスプレイ、をさらに有する、
請求項１から４のいずれか一項に記載の携帯端末。
【請求項６】
玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末の画像送信方法であって、
カメラが撮影する画像に含まれる顔を検出し、
検出した前記顔を含むように前記画像の一部を切り出し、
前記画像から切り出した切り出し画像を、前記室内親機に送信する、
画像送信方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、携帯端末および画像送信方法に関する。
【背景技術】
【０００２】
従来、玄関への来訪者の確認を、玄関扉の近傍に配置された玄関子機を介して、室内の室内親機から行う事ができるドアホンシステムが、広く普及している。また、近年、室内親機に通信機能を設け、来訪者の確認をスマートフォン等の携帯可能な携帯端末から行う技術が注目されている。
【０００３】
例えば、特許文献１には、玄関子機を介した来訪者の呼出操作に応じて、親機を介して、玄関子機と携帯端末とを接続し、携帯端末による来訪者への対応を携帯端末から行うインターホンシステムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１３５２２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、将来のドアホンシステムでは、室内親機と、スマートフォン等の携帯端末との間で、ビデオ通話が行われることが想定される。
【０００６】
しかしながら、携帯端末のインカメラで自分を撮影し、その画像を室内親機に送信して室内親機のディスプレイに表示する場合、携帯端末で撮影した姿が小さく表示されるという問題がある。
【０００７】
例えば、スマートフォンを縦向きにし、インカメラで自分を撮影した場合、画像は縦長となる。室内親機のディスプレイは、通常、横方向に長く、縦長の画像をそのまま室内親機に送信して、ディスプレイに表示すると、横方向に多くの余白が生じる。この余白分、室内親機のディスプレイに表示される画像は、小さくなる。
【０００８】
本開示の非限定的な実施例は、携帯端末で撮影する画像を室内親機に大きく表示できる携帯端末および画像送信方法の提供に資する。
【課題を解決するための手段】
【０００９】
本開示の一態様に係る携帯端末は、玄関扉の近傍に配置される玄関子機と通信を行う室内親機とビデオ通話を行う携帯端末であって、カメラと、前記カメラで撮影される画像に含まれる顔を検出する検出部と、検出された前記顔を含むように前記画像の一部を切り出して切り出し画像を生成する切り出し部と、前記切り出し画像を前記室内親機に送信する通信部と、を有する。
【００１０】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【００１１】
本開示の一態様によれば、携帯端末で撮影する画像を室内親機に大きく表示できる。
【００１２】
本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【００１３】
【図１】本開示の実施の形態に係るドアホンシステムの一例を示した図
【図２】室内親機のディスプレイの表示例を説明する図
【図３】画像の切り出し例を説明する図
【図４】スマートフォンを横向きにした場合であって、切り出し処理を行わない場合の室内親機のディスプレイの表示例を説明する図
【図５】スマートフォンを横向きにした場合であって、切り出し処理を行う場合の室内親機のディスプレイの表示例を説明する図
【図６】切り出し範囲の移動を説明する図
【図７】スマートフォンのブロック構成例を示した図
【図８】制御部のブロック構成例を示した図
【図９】室内親機のブロック構成例を示した図
【図１０】スマートフォンのディスプレイと室内親機のディスプレイの表示例を示した図
【図１１】スマートフォンのディスプレイと室内親機のディスプレイの別の表示例を示した図
【図１２】ドアホンシステムの動作例を示したシーケンス図
【図１３】ドアホンシステムの動作例を示したシーケンス図
【図１４】スマートフォンの画像切り出し動作例を示したフローチャート
【図１５Ａ】予め決められた切り出し範囲の位置を説明する図
【図１５Ｂ】予め決められた切り出し範囲の位置を説明する図
【図１５Ｃ】予め決められた切り出し範囲の位置を説明する図
【発明を実施するための形態】
【００１４】
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１５】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１６】
図１は、本開示の実施の形態に係るドアホンシステムの一例を示した図である。図１に示すように、ドアホンシステムは、スマートフォン１と、建物Ａ１の室内に配置される室内親機２と、建物Ａ１玄関扉の近傍に配置される玄関子機３と、無線ルータ４と、を有する。建物Ａ１は、例えば、子供とその親とが居住する住居である。
【００１７】
スマートフォン１は、例えば、建物Ａ１の居住者が所有する携帯端末である。例えば、建物Ａ１に居住する親が、スマートフォン１を所有している。なお、携帯端末は、通話機能、カメラ、およびディスプレイを備え、ネットワーク５に接続できる端末であれば、スマートフォン１に限定されない。すなわち、携帯端末は、ビデオ通話が可能な端末であればよい。
【００１８】
スマートフォン１と室内親機２は、ネットワーク５を介して、ビデオ通話を行うことができる。ネットワーク５は、例えば、携帯電話やＷｉＭＡＸ、ＷｉＦｉ等の無線通信ネットワークおよびインターネット等を含むネットワークである。
【００１９】
室内親機２は、建物Ａ１の室内に配置される無線ルータ４を介して、ネットワーク５に接続する。室内親機２は、無線通信または有線ケーブルによって無線ルータ４と接続される。また、室内親機２は、玄関子機３と有線ケーブルによって接続される。なお、室内親機２は、玄関子機３と無線接続されてもよい。さらに、各装置間の接続が有線ケーブルによってなされる場合は、有線ケーブルによる接続のみが可能なルータを、無線ルータ４の代わりに用いてもよい。
【００２０】
玄関子機３は、室内親機２と音声通話をすることできる。これにより、建物Ａ１の居住者は、例えば、室内に居ながらにして、玄関先の訪問者と通話をすることができる。なお、玄関子機３は、カメラを備えていてもよい。この場合、建物Ａ１の居住者は、例えば、訪問者の様子を見ながら通話できる。
【００２１】
ところで、小さな子供は、一般的にスマートフォン等の携帯端末を所有していない場合が多い。そのため、例えば、建物Ａ１で留守番をしている子供は、外出している親と連絡を取ることが難しい。
【００２２】
このような状況に対し、図１に示すドアホンシステムでは、スマートフォン１と室内親機２は、ネットワーク５を介してビデオ通話をすることができる。従って、例えば、建物Ａ１で留守番をしている子供は、室内親機２を用いて、外出中の親とビデオ通話をすることができる。
【００２３】
スマートフォン１を使用する親は、建物Ａ１で留守番している子供とビデオ通話をするとき、自分の姿を撮影するのに、スマートフォン１のインカメラを用いることが多い。インカメラを用いて自分を撮影する場合、スマートフォン１は、縦向きに（長手方向が垂直方向を向くように）所持される場合が多い。そのため、スマートフォン１のインカメラが撮影する画像は、縦長となる。
【００２４】
一方、室内親機２のディスプレイは、一般的に横長であることが多い。そのため、室内親機２の横長のディスプレイに、スマートフォン１から送信された縦長の画像を表示すると、スマートフォン１の画像は、小さく表示される。
【００２５】
図２は、室内親機２のディスプレイの表示例を説明する図である。図２には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。
【００２６】
スマートフォン１の使用者（例えば、外出中の親）は、インカメラで自分を撮影している。スマートフォン１のディスプレイには、図２に示すように、スマートフォン１の使用者が縦長に表示される。
【００２７】
スマートフォン１は、インカメラが撮影する画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図２に示すように、スマートフォン１から送信された画像をディスプレイに表示する。
【００２８】
室内親機２のディスプレイは、横長である。これに対し、スマートフォン１のインカメラで撮影される画像は、縦長である。そのため、スマートフォン１の縦長の画像を、横長の室内親機２のディスプレイに表示すると、図２の室内親機２のディスプレイに示すように、スマートフォン１の画像は、小さく表示される。
【００２９】
例えば、室内親機２は、スマートフォン１から送信された縦長の画像の上端および下端を、ディスプレイの上端および下端に合わせるよう、スマートフォン１から送られた画像を拡大または縮小して表示する。この場合、図２の余白Ａ１１ａ，Ａ１１ｂに示すように、室内親機２のディスプレイの横方向には、多くの余白が生じ、スマートフォン１の画像は、小さく表示される。
【００３０】
そこで、スマートフォン１は、インカメラで撮影される画像の一部を切り出す。そして、スマートフォン１は、切り出した画像（以下、切り出し画像と呼ぶことがある）を、ネットワーク５を介して、室内親機２に送信する。
【００３１】
図３は、画像の切り出し例を説明する図である。図３には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。
【００３２】
スマートフォン１は、インカメラが撮影する画像を一部切り出す。例えば、スマートフォン１は、図３の点線で示す切り出し範囲Ａ１２に示すように、インカメラが撮影する画像を、正方形状（略正方形状を含む、以下同じ）に切り出す。このとき、スマートフォン１は、画像を切り出す正方形状の枠（切り出し範囲Ａ１２）の横幅が、インカメラが撮影する画像の横幅に一致するように画像の一部を切り出す。言い換えれば、正方形状の切り出し範囲Ａ１２の一辺の長さは、スマートフォン１のディスプレイの短手方向の幅（インカメラが撮影する画像の短手方向の幅）に一致している。
【００３３】
また、スマートフォン１は、画像を切り出す際、インカメラが撮影する人物の顔を判定する。スマートフォン１は、判定した顔が切り出し範囲Ａ１２の中央に位置するように、切り出し範囲Ａ１２の位置を制御する。
【００３４】
なお、切り出し範囲Ａ１２の横幅は、上記したように、インカメラが撮影する画像の横幅に一致する。従って、スマートフォン１は、上下方向において、判定した顔が切り出し範囲Ａ１２の中央に位置するように、切り出し範囲Ａ１２の位置を制御する。言い換えれば、切り出し範囲Ａ１２は、スマートフォン１のディスプレイの長手方向（図面上下方向）に動き、短手方向（図面左右方向）には動かない。
【００３５】
スマートフォン１は、切り出した画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図３に示すように、スマートフォン１から送信された画像をディスプレイに表示する。
【００３６】
室内親機２のディスプレイは、横長である。これに対し、インカメラで撮影される画像は、正方形である。そのため、スマートフォン１から送信された正方形状の画像を、横長の室内親機２のディスプレイに表示すると、図３の室内親機２のディスプレイに示すように、スマートフォン１の画像は、図２に示した室内親機２の画像より大きく表示される。
【００３７】
例えば、室内親機２は、スマートフォン１から送信された正方形状の画像の上端および下端を、ディスプレイの上端および下端に合わせるよう、スマートフォン１から送られた画像を拡大または縮小して表示する。この場合、室内親機２のディスプレイの横方向の余白Ａ１３ａ，Ａ１３ｂは、図２の余白Ａ１１ａ，Ａ１１ｂより小さくなり、スマートフォン１の画像は、図２に示した室内親機２の画像より大きく表示される。
【００３８】
このように、スマートフォン１は、インカメラが撮影する画像に含まれる顔を判定し、判定した顔を含むように画像の一部を切り出す。そして、スマートフォン１は、切り出した画像を、ネットワーク５を介して、室内親機２に送信する。これにより、室内親機２のディスプレイには、スマートフォン１が撮影する画像が大きく表示される。
【００３９】
スマートフォン１の使用者は、スマートフォン１を横向きにして撮影することも考えられる。この場合、スマートフォン１の画像は、画像が切り出されなくても、室内親機２のディスプレイに大きく表示されることが可能である。
【００４０】
図４は、スマートフォン１を横向きにした場合であって、切り出し処理を行わない場合の室内親機２のディスプレイの表示例を説明する図である。図４には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。
【００４１】
スマートフォン１の使用者は、スマートフォン１を横向きにし、インカメラで自分を撮影している。スマートフォン１のディスプレイには、図４に示すように、スマートフォン１の使用者が横長に表示される。
【００４２】
スマートフォン１は、インカメラが撮影する画像を、ネットワーク５を介して、室内親機２に送信する。室内親機２は、図４に示すように、スマートフォン１から送信された画像をディスプレイに表示する。
【００４３】
室内親機２のディスプレイは、横長である。インカメラで撮影される画像も、横長である。そのため、スマートフォン１の画像は、図４の室内親機２のディスプレイに示すように、大きく表示される。
【００４４】
しかし、スマートフォン１が、図３で説明した画像の切り出し処理を行わない場合、室内親機２のディスプレイに表示される画像は、使用者を撮影するスマートフォン１の向き（縦向きまたは横向き）によって変わる。
【００４５】
例えば、図２で説明したように、スマートフォン１を縦向きにして使用者を撮影した場合、室内親機２のディスプレイの横方向には、多くの余白が生じる。一方、図４で説明したように、スマートフォン１を横向きにして使用者を撮影した場合、室内親機２のディスプレイの横方向には、余白が生じない（または余白が少ない）。
【００４６】
すなわち、画像の切り出し処理を行わない場合、室内親機２のディスプレイに表示される画像は、スマートフォン１の撮影方向（縦向きまたは横向き）によって、大きくなったり小さくなったりして、統一感がない。
【００４７】
これに対し、図３で示した画像の切り出し処理を行う場合、室内親機２のディスプレイに表示される画像の大きさは、スマートフォン１の撮影方向に関わらず一定となり、統一感がある。
【００４８】
図５は、スマートフォン１を横向きにした場合であって、切り出し処理を行う場合の室内親機２のディスプレイの表示例を説明する図である。図５には、図１のスマートフォン１と、室内親機２と、ネットワーク５と、が示してある。
【００４９】
スマートフォン１は、図３で説明した画像の切り出し方法と同様の方法によって、インカメラが撮影した画像を切り出す。図５の点線で示す切り出し範囲Ａ１４は、図３で説明した切り出し範囲Ａ１２と同様に正方形状を有している。正方形状の切り出し範囲Ａ１４の一辺の長さは、スマートフォン１のディスプレイの短手方向の幅（インカメラが撮影する画像の短手方向の幅）に一致している。つまり、図３で説明した切り出し範囲Ａ１２と、図５に示す切り出し範囲Ａ１４は、同じ形状および大きさを有している。
【００５０】
従って、スマートフォン１を横向きにして撮影した場合の、室内親機２のディスプレイに表示される画像の大きさと、スマートフォン１を縦向きにして撮影した場合の、室内親機２のディスプレイに表示される画像の大きさは、同じになる。これにより、室内親機２のディスプレイに表示される画像の大きさは、スマートフォン１の向きに関わらず一定となり、統一感がある。
【００５１】
なお、正方形状の切り出し範囲Ａ１４は、図３に示した切り出し範囲Ａ１２と同様に、スマートフォン１のディスプレイの長手方向（図面左右方向）に動き、短手方向（図面上下方向）には動かない。
【００５２】
画像の切り出し範囲の中心を、インカメラで撮影される顔の位置に直ぐに追従させると、背景が細かく動き、画像が見づらくなる場合がある。例えば、スマートフォン１の使用者は、スマートフォン１を手に持って自分自身を撮影する。手振れによって、撮影する顔の移動量が大きくなる場合があり、その移動量に合わせて切り出し範囲を移動させると、背景が素早く動いて、画像が見づらくなる場合がある。
【００５３】
そこで、スマートフォン１は、撮影する顔の移動量が所定量以上の場合（例えば、単位時間における顔の移動距離が大きい場合）、切り出し範囲を顔の移動に追従させる。言い換えれば、スマートフォン１は、撮影する顔の移動量が所定量以上でない場合、切り出し範囲を動かさない。
【００５４】
図６は、切り出し範囲の移動を説明する図である。図６には、図１に示したスマートフォン１と、室内親機２と、が示してある。
【００５５】
図６の矢印Ｄ１，Ｄ２に示すスマートフォン１には、インカメラが撮影する人物が大きく移動した様子を示している。スマートフォン１のインカメラが撮影する画像は、図６の矢印Ｄ１に示すスマートフォン１から、矢印Ｄ２に示すスマートフォン１に示すように変化したとする。また、矢印Ｄ１，Ｄ２に示すスマートフォン１のインカメラが撮影する画像の顔の移動量は、所定量以上であるとする。
【００５６】
図６の矢印Ｄ１１〜Ｄ１４に示すスマートフォン１には、切り出し範囲Ａ１５の動きが示してある。切り出し範囲Ａ１５は、図３で説明した切り出し範囲Ａ１２と同様であり、顔を中心にして、正方形状で画像を切り出す。図６の矢印Ｄ１１に示すスマートフォン１の画像は、矢印Ｄ１のスマートフォン１の画像に対応している。図６の矢印Ｄ１２に示すスマートフォン１の画像は、矢印Ｄ２のスマートフォン１の画像に対応している。
【００５７】
スマートフォン１のインカメラが撮影する画像の顔の移動量が所定量以上の場合、切り出し範囲Ａ１５は、図６の矢印Ｄ１２〜Ｄ１４に示すように、顔の移動量より小さい移動量で移動する。言い換えれば、切り出し範囲Ａ１５は、顔の移動速度より遅い速度で移動する。
【００５８】
例えば、図６の矢印Ｄ１２のスマートフォン１に示すように、顔の位置が、所定の移動量を超えて下方に移動したとする。この場合、切り出し範囲Ａ１５は、顔の動きに直ちに追従するのではなく、図６の矢印Ｄ１３および矢印Ｄ１４のスマートフォン１に示すように、顔の位置が徐々に中心に来るよう移動する。
【００５９】
図６の矢印Ｄ２１〜Ｄ２４に示す室内親機２には、矢印Ｄ１，Ｄ２に示すスマートフォン１で撮影された画像がディスプレイに表示された様子を示している。上記したように、スマートフォン１のインカメラが撮影する画像の顔の移動量が所定量以上の場合、切り出し範囲Ａ１５は、顔の移動量より小さい移動量で移動する。スマートフォン１は、小さい移動量で移動する切り出し範囲Ａ１５で切り出した画像を室内親機２に送信する。従って、図６の切り出し範囲Ａ１５で切り出された画像は、図６の矢印Ｄ２１〜Ｄ２４に示す４つの室内親機２のディスプレイに示すように、表示される。
【００６０】
図７は、スマートフォン１のブロック構成例を示した図である。図７に示すように、スマートフォン１は、通信部１１と、記憶部１２と、制御部１３と、音声処理部１４と、画像処理部１５と、ディスプレイ１６と、操作部１７と、マイクロフォン１８と、スピーカ１９と、インカメラ２０と、アウトカメラ２１と、を有している。
【００６１】
通信部１１は、無線通信回路を有し、無線通信回線によりネットワーク５を構成している無線基地局（図示せず）に接続する。そして、通信部１１は、ネットワーク５を介して、室内親機２に接続する。通信部１１は、室内親機２から送信されたデータを受信して、制御部１３に出力する。また、通信部１１は、制御部１３から出力されたデータを室内親機２に送信する。
【００６２】
記憶部１２には、制御部１３が動作するためのプログラムが記憶される。また、記憶部１２には、制御部１３が計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。
【００６３】
制御部１３は、例えば、ＣＰＵ（Central Processing Unit）で構成され、接続されている各部を制御する。
【００６４】
音声処理部１４は、制御部１３から出力されるデジタル音声データを、アナログ音声信号に変換し、信号レベルを調整して、スピーカ１９へ出力する。また、音声処理部１４は、マイクロフォン１８から出力されるアナログ音声信号を、信号レベルを調整し、デジタル音声データに変換して、制御部１３へ出力する。
【００６５】
画像処理部１５は、インカメラ２０およびアウトカメラ２１から出力されるデジタル映像データを制御部１３へ出力する。画像処理部１５は、アナログ映像信号またはデジタル映像データに対して、画質の調整、ノイズキャンセル、画像圧縮処理などの所定の画像処理を行ってもよい。
【００６６】
ディスプレイ１６は、スマートフォン１の正面側に設けられている。ディスプレイ１６は、例えば、液晶ディスプレイであり、制御部１３から出力されるデジタル映像データに基づいて映像を表示する。
【００６７】
操作部１７は、例えば、ディスプレイ１６に重畳されるタッチパネルおよび各種ボタンを含む。操作部１７は、使用者（例えば、スマートフォン１の使用者）の操作を受付け、使用者の操作内容を示す操作情報を制御部１３へ出力する。
【００６８】
マイクロフォン１８は、周囲の音声を集音してアナログ音声信号に変換し、音声処理部１４に出力する。
【００６９】
スピーカ１９は、音声処理部１４から出力されるアナログ音声信号を、音声に変換して出力する。
【００７０】
インカメラ２０は、スマートフォン１の正面側に設けられている。インカメラ２０は、撮影した画像データを画像処理部１５に出力する。
【００７１】
アウトカメラ２１は、スマートフォン１の背面側に設けられている。アウトカメラ２１は、撮影した画像データを画像処理部１５に出力する。
【００７２】
図８は、制御部１３のブロック構成例を示した図である。図８に示すように、制御部１３は、画像取り込み部３１と、顔検出部３２と、移動量算出部３３と、切り出し部３４と、を有している。
【００７３】
画像取り込み部３１は、インカメラ２０が撮影した画像（動画像）データを、画像処理部１５から取り込む。
【００７４】
顔検出部３２は、画像取り込み部３１が取り込んだ画像データに含まれる顔を検出する。顔検出部３２は、検出した顔の位置（例えば、顔の中心座標）や顔のサイズを検出する。顔検出部３２の機能は、一般的な顔認証技術を用いて実現できる。
【００７５】
移動量算出部３３は、顔検出部３２によって検出された顔の位置の移動量を算出する。
【００７６】
切り出し部３４は、画像を切り出す切り出し範囲の中央に、顔検出部３２によって検出された顔が位置するように、切り出し範囲を移動する。そして、切り出し部３４は、画像を切り出し範囲で切り出し、切り出し画像を生成する。例えば、切り出し部３４は、図３および図５で説明したように、正方形状の切り出し範囲で画像を切り出し、切り出し画像を生成する。
【００７７】
切り出し部３４は、画像を切り出す際、移動量算出部３３によって算出された顔の移動量が所定量以上の場合に、切り出し範囲を、顔の位置が中心に来るように移動させる。例えば、切り出し部３４は、図６で説明したように、切り出し範囲を、顔の移動量より小さい移動量で、顔の位置が徐々に中心に来るよう移動させる。
【００７８】
図９は、室内親機２のブロック構成例を示した図である。図９に示すように、室内親機２は、通信部４１，４８と、記憶部４２と、制御部４３と、音声処理部４４と、画像処理部４５と、ディスプレイ４６と、操作部４７と、マイクロフォン４９と、スピーカ５０と、カメラ５１と、を有している。図９には、玄関子機３と無線ルータ４も示してある。
【００７９】
通信部４１は、無線通信回路を有し、無線通信回線により無線ルータ４に接続する。そして、通信部４１は、無線ルータ４およびネットワーク５を介して、スマートフォン１に接続する。通信部４１は、スマートフォン１から送信されたデータを受信して、制御部４３に出力する。また、通信部４１は、制御部４３から出力されたデータをスマートフォン１に送信する。
【００８０】
記憶部４２には、制御部４３が動作するためのプログラムが記憶される。また、記憶部１２には、制御部４３が計算処理を行うためのデータや、接続されている各部を制御するためのデータが記憶される。
【００８１】
制御部４３は、例えば、ＣＰＵで構成され、接続されている各部を制御する。
【００８２】
音声処理部４４は、制御部４３から出力されるデジタル音声データを、アナログ音声信号に変換し、信号レベルを調整して、スピーカ５０へ出力する。また、音声処理部４４は、マイクロフォン４９から出力されるアナログ音声信号を、信号レベルを調整し、デジタル音声データに変換して、制御部４３へ出力する。
【００８３】
画像処理部４５は、カメラ５１から出力されるデジタル映像データを制御部４３へ出力する。画像処理部４５は、アナログ映像信号またはデジタル映像データに対して、画質の調整、ノイズキャンセル、画像圧縮処理などの所定の画像処理を行ってもよい。
【００８４】
ディスプレイ４６は、室内親機２の正面側に設けられている。ディスプレイ４６は、例えば、液晶ディスプレイであり、制御部４３から出力されるデジタル映像データに基づいて映像を表示する。
【００８５】
操作部４７は、例えば、ディスプレイ４６に重畳されるタッチパネルおよび各種ボタンを含む。操作部４７は、使用者（例えば、建物Ａ１の居住者）の操作を受けつけ、使用者の操作内容を示す操作情報を制御部４３へ出力する。
【００８６】
通信部４８は、有線通信回路を有し、玄関子機３に接続する。制御部４３は、通信部４８を介して、玄関子機３と通信を行う。通信部４８は、玄関子機３から送信されたデータを制御部４３に出力し、制御部４３から出力されたデータを玄関子機３に送信する。
【００８７】
マイクロフォン４９は、周囲の音声を集音してアナログ音声信号に変換し、音声処理部４４に出力する。
【００８８】
スピーカ５０は、音声処理部４４から出力されるアナログ音声信号を、音声に変換して出力する。
【００８９】
カメラ５１は、室内親機２の正面側に設けられている。カメラ５１は、撮影した画像データを画像処理部４５に出力する。
【００９０】
図１０は、スマートフォン１のディスプレイ１６と室内親機２のディスプレイ４６の表示例を示した図である。図１０に示すように、スマートフォン１は正面に、図７で説明したディスプレイ１６と、インカメラ２０と、を有している。室内親機２は正面に、図９で説明したディスプレイ４６と、カメラ５１と、を有している。なお、図１０には、スマートフォン１を所持する親Ａ３１ａと、建物Ａ１で留守番をしている子供Ａ３１ｂも示してある。
【００９１】
親Ａ３１ａは、スマートフォン１のインカメラ２０で自分を撮影する。制御部１３は、インカメラ２０で撮影される親Ａ３１ａの画像をディスプレイ１６に表示する。制御部１３は、親Ａ３１ａの画像をディスプレイ１６に表示する際、インカメラ２０で撮影される画像に含まれる顔を判定し、判定した顔を含むように、画像の一部を正方形状で切り出し、表示する。例えば、制御部１３は、図１０の画像Ａ３３ａに示すように、親Ａ３１ａの顔を含むように画像を切り出して、ディスプレイ１６に表示する。
【００９２】
なお、図１０では、制御部１３は、切り出した画像Ａ３３ａを縮小して、切り出した画像Ａ３３ａをディスプレイ１６に表示している。制御部１３は、切り出した画像Ａ３３ａの横幅を、ディスプレイ１６の横幅に一致させて、切り出した画像Ａ３３ａをディスプレイ１６に表示してもよい。
【００９３】
スマートフォン１の通信部１１は、制御部１３によって切り出された画像Ａ３３ａを、ネットワーク５を介して、室内親機２に送信する。室内親機２の制御部４３は、スマートフォン１から送信された画像Ａ３３ａを、ディスプレイ４６に表示する。例えば、制御部４３は、図１０の画像Ａ３２ｂに示すように、親Ａ３１ａの顔部分が切り出された画像を、ディスプレイ４６に表示する。
【００９４】
室内親機２のカメラ５１は、建物Ａ１で留守番をしている子供Ａ３１ｂを撮影する。制御部４３は、カメラ５１が撮影する子供Ａ３１ｂの画像をディスプレイ４６に表示する。例えば、制御部４３は、図１０の画像Ａ３３ｂに示すように、子供Ａ３１ｂの画像を表示する。
【００９５】
室内親機２の通信部４１は、カメラ５１が撮影する子供Ａ３１ｂの画像を、ネットワーク５を介して、スマートフォン１に送信する。スマートフォン１の制御部１３は、室内親機２から送信された画像Ａ３３ｂを、ディスプレイ１６に表示する。例えば、制御部１３は、図１０の画像Ａ３２ａに示すように、子供Ａ３１ｂの画像を、ディスプレイ１６に表示する。
【００９６】
このように、ドアホンシステムは、装置（スマートフォン１および室内親機２）を使用する使用者自身の画像と、ビデオ通話相手の画像とをディスプレイ１６，４６に表示してもよい。これにより、装置を使用する使用者は、ビデオ通話相手の装置に、自分自身の姿がどのように表示されているかを見ることができ、また、ビデオ通話相手の様子を見ることができる。
【００９７】
ドアホンシステムは、自分自身の画像をディスプレイ１６，４６に表示せず、ビデオ通話相手の画像をディスプレイ１６，４６に表示してもよい。
【００９８】
図１１は、スマートフォン１のディスプレイ１６と室内親機２のディスプレイ４６の別の表示例を示した図である。図１１において、図１０と同じものには同じ符号が付してある。
【００９９】
図１１では、スマートフォン１の制御部１３は、スマートフォン１の使用者である親Ａ３１ａの画像を、ディスプレイ１６に表示していない。制御部１３は、室内親機２から送信された子供Ａ３１ｂの画像Ａ３２ａのみを表示している。
【０１００】
室内親機２の制御部４３は、室内親機２の使用者である子供Ａ３１ｂの画像を、ディスプレイ４６に表示していない。制御部４３は、スマートフォン１から送信された親Ａ３１ａの画像Ａ３２ｂのみを表示している。
【０１０１】
このように、ドアホンシステムは、装置を使用する使用者自身の画像を表示せず、ビデオ通話相手の画像をディスプレイ１６，４６に表示してもよい。これにより、装置を使用する使用者は、自分自身の姿をディスプレイ１６，４６で見ることはできないが、ビデオ通話の相手の様子を見ることができる。
【０１０２】
なお、ドアホンシステムの表示形態は、図１０および図１１の例に限られない。例えば、図３に示したように、スマートフォン１は、スマートフォン１の使用者自身のみをディスプレイ１６に表示してもよい。そして、室内親機２は、スマートフォン１から送信された切り出された画像のみをディスプレイ４６に表示してもよい。これにより、スマートフォン１を使用する親は、子供の様子を見ることはできないが、室内親機２を使用する子供は、親の顔を見ながらビデオ通話できる。
【０１０３】
また、表示形態は、使用者の操作に応じて、切替えられてもよい。例えば、スマートフォン１の制御部１３は、使用者の操作に応じて、図１０のディスプレイ１６に示した画面を表示してもよいし、図１１のディスプレイ１６に示した画面を表示してもよい。また、室内親機２の制御部４３は、使用者の操作に応じて、図１０のディスプレイ４６に示した画面を表示してもよいし、図１１のディスプレイ４６に示した画面を表示してもよい。
【０１０４】
図１２は、ドアホンシステムの動作例を示したシーケンス図である。スマートフォン１の制御部１３は、スマートフォン１の使用者（例えば、外出中の親）から、室内親機２とのビデオ通話の要求を示す操作を受付ける。制御部１３は、ビデオ通話の要求を示す操作に応じて、室内親機２を呼び出す（ステップＳ１）。
【０１０５】
室内親機２の制御部４３は、ステップＳ１の呼び出しを受信すると、例えば、ディスプレイ４６の表示またはスピーカ５０の音によって、スマートフォン１から呼び出しがあったことを知らせる。制御部４３は、室内親機２の使用者（例えば、留守番中の子供）から、ビデオ通話の応答操作を受付けると、スマートフォン１に呼び出しの応答を返す（ステップＳ２）。
【０１０６】
スマートフォン１の制御部１３および室内親機２の制御部４３は、ステップＳ２の処理の後、ビデオ通話を開始する（ステップＳ３）。ビデオ通話の開始によって、スマートフォン１のディスプレイ１６および室内親機２のディスプレイ４６には、例えば、図１０または図１１に示したような画面が表示される。
【０１０７】
スマートフォン１の制御部１３および室内親機２の制御部４３のいずれか一方または両方は、使用者から、ビデオ通話の終了の操作を受付けると、ビデオ通話を終了する（ステップＳ４）。
【０１０８】
このように、ドアホンシステムは、スマートフォン１から室内親機２への呼び出しを契機に、ビデオ通話を開始してもよい。
【０１０９】
なお、スマートフォン１の制御部１３は、ステップＳ１の呼び出し処理の後、ステップＳ３のビデオ通話を開始する前から、画像の切り出し処理を開始してもよい。つまり、スマートフォン１の制御部１３は、スマートフォン１の使用者から、室内親機２の呼び出し操作を受付けた直後から、切り出し画像をディスプレイ１６に表示してもよい。これにより、スマートフォン１の使用者は、ビデオ通話を開始する前に、自分が室内親機２にどのように表示されるかを見ることができる。
【０１１０】
図１２では、スマートフォン１から室内親機２を呼び出したが、室内親機２からスマートフォン１を呼び出してもよい。
【０１１１】
図１３は、ドアホンシステムの動作例を示したシーケンス図である。室内親機２の制御部４３は、使用者（例えば、留守番中の子供）から、スマートフォン１とのビデオ通話の要求を示す操作を受付ける。制御部４３は、ビデオ通話の要求を示す操作に応じて、スマートフォン１を呼び出す（ステップＳ１１）。
【０１１２】
スマートフォン１の制御部１３は、ステップＳ１１の呼び出しを受信すると、例えば、ディスプレイ１６の表示またはスピーカ１９の音によって、室内親機２から呼び出しがあったことを知らせる。制御部１３は、スマートフォン１の使用者（例えば、外出中の親）から、ビデオ通話の応答操作を受付けると、室内親機２に呼び出しの応答を返す（ステップＳ１２）。
【０１１３】
スマートフォン１の制御部１３および室内親機２の制御部４３は、ステップＳ１２の処理の後、ビデオ通話を開始する（ステップＳ１３）。ビデオ通話の開始によって、スマートフォン１のディスプレイ１６および室内親機２のディスプレイ４６には、例えば、図１０または図１１に示したような画面が表示される。
【０１１４】
スマートフォン１の制御部１３および室内親機２の制御部４３のいずれか一方または両方は、使用者から、ビデオ通話の終了の操作を受付けると、ビデオ通話を終了する（ステップＳ１４）。
【０１１５】
このように、ドアホンシステムは、室内親機２からスマートフォン１への呼び出しを契機に、ビデオ通話を開始してもよい。
【０１１６】
図１４は、スマートフォン１の画像切り出し動作例を示したフローチャートである。スマートフォン１は、例えば、スマートフォン１の使用者から室内親機２の呼び出し操作を受付けた場合、または、室内親機２から呼び出しを受けた場合、図１４に示すフローチャートの処理を繰り返し実行する。
【０１１７】
画像取り込み部３１は、インカメラ２０が撮影する画像データを画像処理部１５から取得する（ステップＳ２１）。
【０１１８】
顔検出部３２は、ステップＳ２１にて取得された画像データに含まれる顔を検出し、検出した顔の基準点座標を検出する（ステップＳ２２）。
【０１１９】
例えば、顔検出部３２は、ステップＳ２１にて取得された画像データ内の顔画像領域を検出し、検出した顔画像領域の中心座標を、顔の基準点座標として検出する。顔検出部３２は、顔画像領域の中心座標以外に、目、目の中間点、鼻、口、または耳を、顔の基準点座標として検出してもよい。
【０１２０】
移動量算出部３３は、ステップＳ２２にて検出された顔の基準点座標から、画像データに含まれる顔画像領域の移動量を算出する（ステップＳ２３）。例えば、移動量算出部３３は、前回撮影された顔の基準点座標と、今回、ステップＳ２２にて検出された顔の基準点座標とから、画像データに含まれる顔画像領域の移動量を算出する。
【０１２１】
なお、前回撮影された顔の基準点座標は、例えば、メモリ等の記憶装置に記憶されている。また、ステップＳ２２にて検出された顔の基準点座標と比較される基準点座標は、前回撮影された顔の基準点座標に限られない。例えば、前々回に撮影された顔の基準点座標であってもよい。
【０１２２】
切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上であるか否かを判定する（ステップＳ２４）。
【０１２３】
切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上である場合（ステップＳ２４の「Ｙｅｓ」）、顔の基準点座標が切り出し範囲の中心に来るよう、切り出し範囲を移動させる（ステップＳ２５）。
【０１２４】
例えば、切り出し部３４は、顔の基準点座標が、室内親機２のディスプレイ４６の基準位置（例えば、ディスプレイ４６の中心またはディスプレイ４６の上から１／３の位置）に配置されるよう、切り出し範囲を移動させる。
【０１２５】
一方、切り出し部３４は、ステップＳ２３にて算出された顔の移動量が閾値以上でない場合（ステップＳ２４の「Ｎｏ」）、切り出し範囲を移動しない（ステップＳ２６）。
【０１２６】
切り出し部３４は、ステップＳ２５またはステップＳ２６の処理の後、今回の顔の基準点座標をメモリに記憶する（ステップＳ２７）。そして、スマートフォン１は、当該フローチャートの処理を終了する。
【０１２７】
なお、顔画像領域の移動が、所定量を超えない量で繰り返されると、顔画像領域が、切り出し範囲から外れる場合がある。このように、顔画像領域が切り出し範囲から外れた場合、切り出し部３４は、顔の基準点座標が中心に来るよう、切り出し範囲を移動する。
【０１２８】
また、スマートフォン１は、ステップＳ２６の処理の後においては、ステップＳ２７の処理を実行しなくてもよい。例えば、スマートフォン１は、ステップＳ２５の処理の後にステップＳ２７の処理を実行し、ステップＳ２６の処理の後には、ステップＳ２７の処理を実行せず、当該フローチャートの処理を終了してもよい。
【０１２９】
また、切り出し範囲の移動（ステップＳ２５）には、例えば、次の３のバリエーションがあってもよい。
【０１３０】
１．線形または非線形の速度での連続的な移動かつ顔の移動速度より遅い速度の移動
例えば、切り出し部３４は、移動した顔の基準点座標が、切り出し範囲の中心にくるよう、切り出し範囲を、線形または非線形の速度で連続的（例えば、人の目で見て連続的となるように）に追従させてもよい。その際、切り出し部３４は、移動した顔の速度より遅い速度で切り出し範囲を追従させる。なお、顔の基準点座標の速度（顔の移動速度）は、例えば、次の式で求められる。
【０１３１】
顔の基準点座標の移動量／｛（今回の画像データの取得時刻）−（前回の画像データの取得時刻）｝
【０１３２】
２．段階的かつ顔の移動速度より遅い速度の移動
例えば、切り出し部３４は、切り出し範囲を連続的でなく、段階的（例えば、人の目で見て段階的となるように）に移動させてもよい。例えば、切り出し部３４は、１．による切り出し範囲の移動量より粗い移動量（大きい移動量）で切り出し範囲を移動させてもよい。
【０１３３】
３．予め位置が設定された切り出し範囲の移動
図１５Ａ、図１５Ｂ、および図１５Ｃは、予め決められた切り出し範囲の位置を説明する図である。図１５Ａでは、切り出し範囲Ａ４１ａは、スマートフォン１のディスプレイの最上部に位置している。図１５Ｂでは、切り出し範囲Ａ４１ｂは、スマートフォン１のディスプレイの中央に位置している。図１５Ｃでは、切り出し範囲Ａ４１ｃは、スマートフォン１のディスプレイの最下部に位置している。
【０１３４】
切り出し範囲の移動位置は、例えば、図１５Ａ、図１５Ｂ、および図１５Ｃに示す位置に限られていてもよい。切り出し部３４は、図１５Ａ、図１５Ｂ、および図１５Ｃに示すいずれかの位置に切り出し範囲を移動する。例えば、切り出し部３４は、顔の基準点座標に、最も中心が近い切り出し範囲を選択する。このように、切り出し範囲の移動位置を予め設定しておく（決めておく）ことにより、スマートフォン１は、処理負荷を低減できる。
【０１３５】
なお、切り出し範囲の位置は、３つに限られない。例えば、切り出し範囲の位置は、スマートフォン１のディスプレイの最上部と最下部との２つであってもよい。また、切り出し範囲の位置は、４以上であってもよい。
【０１３６】
また、切り出し範囲は、例えば、切り出し範囲Ａ４１ａ、切り出し範囲Ａ４１ｂ、切り出し範囲Ａ４１ｃのように連続的に移動してもよいし、切り出し範囲Ａ４１ａから切り出し範囲Ａ４１ｃのように間を空けて移動してもよい。
【０１３７】
以上説明したように、玄関扉の近傍に配置される玄関子機３と通信を行う室内親機２とビデオ通話を行うスマートフォン１は、インカメラ２０と、インカメラ２０で撮影される画像に含まれる顔を検出する顔検出部３２と、検出された顔を含むように画像の一部を切り出して切り出し画像を生成する切り出し部３４と、切り出し画像を室内親機２に送信する通信部１１と、を有する。
【０１３８】
これにより、室内親機２は、スマートフォン１で撮影される画像を大きく表示できる。また、スマートフォン１は、インカメラ２０が撮影する画像を切り出して室内親機２に送信するので、送信データ量が少なくて済む。また、スマートフォン１は、インカメラ２０が撮影する画像に含まれる顔を判定し、判定した顔を含むように画像を切り出すので、使用者は、インカメラ２０が撮影する画像の決まった箇所が切り出される場合よりも、顔の位置合わせが容易となる。言い換えれば、使用者は、ディスプレイ１６の決まった箇所に自分自身が映し出されるように、インカメラ２０の撮影方向を調整しなくても済む。
【０１３９】
なお、切り出し部３４は、画像を正方形状に切り出すとしたが、これに限られない。例えば、切り出し部３４は、室内親機２のディスプレイ４６と同じアスペクト比の形状で画像を切り出してもよい。
【０１４０】
また、正方形状の切り出し範囲の一辺の長さを、インカメラ２０が撮影する画像の短手方向の幅に一致させたが、これに限られない。例えば、正方形状の切り出し範囲の一辺の長さは、インカメラ２０が撮影する画像の短手方向の幅より短くてもよい。この場合、切り出し部３４は、切り出し範囲の中心に顔が来るよう、切り出し範囲を画像の短手方向にも動かしてもよい。
【０１４１】
また、制御部１３は、画像取り込み部３１、顔検出部３２、移動量算出部３３、および切り出し部３４を有するとしたが、これに限られない。例えば、画像処理部１５が、前述の機能を有してもよい。
【０１４２】
また、室内親機２は、カメラ５１を備えるとしたが、これに限られない。室内親機２は、カメラ５１を備えなくてもよい。この場合、スマートフォン１のディスプレイ１６には、例えば、建物Ａ１で留守番をしている子供の様子が表示されないが、スマートフォン１を使用する外出中の親の様子は、室内親機２のディスプレイ４６に表示される。これにより、建物Ａ１で留守番をしている子供は、外出中の親の顔を見ることができ、安心できる。
【０１４３】
また、切り出し部３４は、切り出し範囲を、顔の移動速度より遅い速度で移動させる機能を備えなくてもよい。すなわち、切り出し部３４は、画像の一部を切り出す機能のみを有していてもよい。
【０１４４】
上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１４５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、または、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
【０１４６】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【０１４７】
本開示は、ドアホンシステムとして有用である。
【符号の説明】
【０１４８】
１  スマートフォン
２  室内親機
３  玄関子機
４  無線ルータ
５  ネットワーク
１１，４１，４８  通信部
１２，４２  記憶部
１３，４３  制御部
１４，４４  音声処理部
１５，４５  画像処理部
１６，４６  ディスプレイ
１７，４７  操作部
１８，４９  マイクロフォン
１９，５０  スピーカ
２０  インカメラ
２１  アウトカメラ
３１  画像取り込み部
３２  顔検出部
３３  移動量算出部
３４  切り出し部
５１  カメラ
Ａ１  建物
Ａ１１ａ，Ａ１１ｂ，Ａ１３ａ，Ａ１３ｂ  余白
Ａ１２，Ａ１４，Ａ１５  切り出し範囲
Ａ３１ａ  親
Ａ３１ｂ  子供
Ａ３２ａ，Ａ３２ｂ，Ａ３３ａ，Ａ３３ｂ  画像
【図１】
2019161482.tif 000003
【図２】
2019161482.tif 000004
【図３】
2019161482.tif 000005
【図４】
2019161482.tif 000006
【図５】
2019161482.tif 000007
【図６】
2019161482.tif 000008
【図７】
2019161482.tif 000009
【図８】
2019161482.tif 000010
【図９】
2019161482.tif 000011
【図１０】
2019161482.tif 000012
【図１１】
2019161482.tif 000013
【図１２】
2019161482.tif 000014
【図１３】
2019161482.tif 000015
【図１４】
2019161482.tif 000016
【図１５Ａ】
2019161482.tif 000017
【図１５Ｂ】
2019161482.tif 000018
【図１５Ｃ】
2019161482.tif 000019