(57)【要約】【課題】顔の位置の移動に対して応答速度が劣ることなく、視線が一致した画像を送信することができる撮像表示装置を提供する。【解決手段】撮像表示装置１００において、撮像手段（ＣＰＵ４２、撮像プログラム４４ａ、撮像部２等）により取得された画像データにおいて、顔位置検出手段（ＣＰＵ４２、顔位置検出プログラム４４ｂ等）により人物の顔が撮像された位置を検出し、当該顔の位置に基づいて、画枠設定手段（ＣＰＵ４２、画枠設定プログラム４４ｃ等）により顔の周囲領域に画枠を設定し、送信手段（ＣＰＵ４２、通信プログラム４４ｄ、通信部３等）により、画像データのうち画枠で囲まれた領域の画枠画像データを外部装置に送信する。【選択図】図４
2007208819.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示するとともに、前方領域から入力される光を透過する複数の透過部を備える表示部と、
前記複数の透過部の各々に対応して配置され、各透過部を通して前方領域から入力される光を受光する複数の光ファイバと、
前記複数の光ファイバを介して得られる前記表示部の前方領域の像を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする撮像表示装置。
【請求項２】
画像を表示する表示部と、
前記表示部の表示画面の後方から、前記表示部の前方領域を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする撮像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像及び表示を行うことで対話型通信を実現する撮像表示装置に関する。
【背景技術】
【０００２】
従来より、テレビ電話や、ＰＣ等の映像を用いた対話型通信を実現する撮像表示装置において、対話を好適に行うための様々な装置が開発されている。例えば、特許文献１には、カメラで撮像された撮像画像のうち、相手側での表示を認める所定範囲画像以外の部分に画像処理を施し、その画像処理が施された画像を送信するようにして、自分側の画像が相手側に表示されるのが不都合な場合の適応性を図ったテレビ電話装置が開示されている。
しかしながら、特許文献１のような従来型の撮像表示装置では、人物を撮像する撮像装置が表示装置の外側に配置されている為に、会話する人物同士が視線を一致させて会話できないという問題があった。会話には、目によるコミュニケーションが重要であることが立証されており、視線を合わせた会話が可能な撮像表示装置が必要である。
【０００３】
そのため、例えば、特許文献２には、表示装置の表示部内に複数の微小な穴を設け、複数の微小な穴の後方に光ファイバ束を通して撮像装置に導くようにした表示・撮像装置が開示されている。
また、特許文献３には、直線状の棒レンズ或いはレンズ付きのファイバーアレイである像伝達素子を有し、表示画面の表示画面内から観察者に知覚されることなく、観察者の自然な画像を撮像することができ、自然な撮像と表示を可能とした撮像・表示装置が開示されている。
また、特許文献４には、液晶表示部に画像を映出するとともに、ディスプレイ本体内のカメラで視聴者を撮るカメラ一体型ディスプレイ装置において、カメラの出力映像信号を解析して視聴者の動きを検出し、この動き検出量に応じてディスプレイ本体の揺動を制御して、視聴者を画面の中心に一定の大きさに映出させるよう追尾する自動追尾手段を備えた装置が開示されている。
また、特許文献５には、対話者とモニタ上の人物像の視線一致領域内に撮像部自体を移動させる手段や、モニタ上の人物像を移動させ、同様にモニタと対向する対話者の視線とモニタ上の人物像の視線一致領域自体を移動させる手段等により、対話者間の視線を一致させる機構を備えた双方向対話型システムに好適な端末装置が開示されている。
【特許文献１】特開２００３−２７４３７５号公報
【特許文献２】特許第２９４３９４０号
【特許文献３】特開２０００−１５２２０５号公報
【特許文献４】特開平６−２４５２０９号公報
【特許文献５】特開平１１−０７５１７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２では、撮像装置が表示装置の裏面に設けられているものの、視線を一致させることとなるとは限らないという問題があった。また、特許文献３〜５の技術を組み合わせた場合では、顔の位置の移動に応じて撮像装置やディスプレイ装置を機械的に移動させることとなるため、顔の移動に対して応答速度が劣るという問題があった。
【０００５】
本発明は、上記課題を解決するためになされたものであり、顔の位置の移動に対して応答速度が劣ることなく、視線が一致した画像を送信することができる撮像表示装置を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明は、撮像表示装置において、
画像を表示するとともに、前方領域から入力される光を透過する複数の透過部を備える表示部と、
前記複数の透過部の各々に対応して配置され、各透過部を通して前方領域から入力される光を受光する複数の光ファイバと、
前記複数の光ファイバを介して得られる前記表示部の前方領域の像を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする。
【０００７】
請求項２に記載の発明は、撮像表示装置において、
画像を表示する表示部と、
前記表示部の表示画面の後方から、前記表示部の前方領域を撮像して画像データを取得する撮像手段と、
前記撮像手段により取得された前記画像データから、人物の顔が撮像された位置を検出する顔位置検出手段と、
前記顔位置検出手段による検出結果に基づいて、前記顔の周囲領域に画枠を設定する画枠設定手段と、
前記画像データのうち、前記画枠設定手段により設定された前記画枠で囲まれた領域の画枠画像データを外部装置に送信する送信手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
請求項１に記載の発明によれば、撮像手段により取得された画像データにおいて、顔位置検出手段により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定手段により顔の周囲領域に画枠が設定される。さらに、送信手段により、画像データのうち画枠で囲まれた領域の画枠画像データが外部装置に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に視線が一致した画像を送信することができる撮像表示装置を提供することができる。
また、表示部は、前方領域から入力される光を透過する複数の透過部を備え、撮像手段は、光ファイバを介して得られる表示部の前方領域の像を撮像して画像データを取得するので、より容易に視線の一致した画像データを取得することができるとともに、撮像表示装置の薄型化を図る等、設計の自由度を増すことができる。さらに、透過部から光ファイバを介して入光する光により撮像を行うので、画角の広い画像データを取得することができる。
【０００９】
請求項２に記載の発明によれば、撮像手段により取得された画像データにおいて、顔位置検出手段により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定手段により顔の周囲領域に画枠が設定される。さらに、送信手段により、画像データのうち画枠で囲まれた領域の画枠画像データが外部装置に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に視線が一致した画像を送信することができる撮像表示装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照しながら、詳細に説明する。
【００１１】
図１は、本実施形態の対話通信システムＳを例示するブロック図である。また、図２は、本実施形態の撮像表示装置１００の要部構成を示すブロック図であり、図３は、本実施形態の撮像表示装置１００を側面から見た断面図である。
図１〜３に示すように、本対話通信システムＳは、撮像表示装置１００と、外部装置３００とが、インターネット等の電気通信回線２００を介して接続されている。
【００１２】
撮像表示装置１００は、例えば、表示部１及び撮像部２を備えて成り、撮像部２により、表示部１の前方領域を撮像して画像データを取得し、当該画像データにおいて人物の顔が撮像された位置の周囲領域に画枠Ｆを設定して、当該画枠Ｆで囲まれた領域（以下、画枠領域と称する。）の画枠画像データＦｄを相手方の外部装置３００に送信するとともに、外部装置３００から送信された画像データを受信して、表示部１に表示することにより、外部装置３００を使用する相手話者との対話を実現する。
外部装置３００は、撮像表示装置１００と同様の機能を備えて構成されており、撮像表示装置１００から送信された画枠画像データＦｄを受信して、表示部３０１に表示させるとともに、表示部３０１を使用する相手話者の顔を撮像して画像データを取得し、当該画像データを撮像表示装置１００に送信することにより、撮像表示装置１００を使用する人物との対話を実現する。
【００１３】
撮像表示装置１００は、例えば、外部装置３００から送信された画像データに基づく画像を表示する表示画面１ａを備える表示部１と、背面側に配設され、表示画面１ａの後方から表示部１の前方領域を撮像して画像データを取得する撮像部２と、外部装置３００とのデータの送受信を行う通信部３と、撮像表示装置１００全体を統括制御する制御部４と、等を備えて構成されている。
ここで、表示部１の前方領域とは、表示部１を挟んで撮像部２と対向する領域を指し、相手話者との対話を行う人物は、当該前方領域において、表示画面１ａ側を向き、表示画面１ａに表示される相手話者の顔画像を見ながら、対話を行うこととなる。
【００１４】
表示部１は、例えば、ＬＣＤ（Liquid Crystal Display）方式を採用しており、ガラス基板１１と、このガラス基板１１に対して所定の間隔を隔てて配設された対向基板１２とを張り合わせ、これらを２枚の偏光板１５、１５で挟んだ構成となっており、ガラス基板１１と対向基板１２の間には、液晶層１３等が保持され、また、背面側には図示しない光ランプ、導光板、反射シート等で構成されるバックライト１４が配設されている。
【００１５】
ガラス基板１１の上には、図４に示すように、複数の表示画素１１ａがマトリクス状に配設されており、一方、対向基板１２上には対向電極（図示省略）が形成されている。それぞれの表示画素１１ａは、図示は省略するものの、信号線及び走査線と接続するよう形成された画素電極と、これを駆動する薄膜トランジスタ（ＴＦＴ）と等を備えて構成されており、当該画素電極と対向電極との間に封入された領域の液晶のみが、電極間の電界の変動を受けて配列方向を変え、偏光板１５と、画素電極及び対向電極上に形成された配向膜（図示省略）とともに動作して、光を通過或いは遮断させ、液晶シャッターとして機能することとなる。
また、対向基板１２側にはＲＧＢのカラーフィルタ（図示省略）が配設されており、背面側のバックライト１４から照射される光が当該カラーフィルタを介することにより、カラー表示がされる。
【００１６】
表示部１を構成する当該ガラス基板１１や対向基板１２等には、透過部としての微小な開口部１１ｂが複数設けられており、当該開口部１１ｂのそれぞれには、光ファイバ５が、表示部１の背面側から前面側にかけて挿通されて、配設されている。
光ファイバ５は、開口部１１ｂと同数だけ設けられており、各光ファイバ５の背面側は結束されて光ファイバ束５ａが形成され、この光ファイバ束５ａの端面部は後述する撮像部２の撮像素子に対向している。光ファイバ５は、細いファイバ芯線の中を光が伝播することによって、信号を伝送する通信ケーブルであり、表示部１側の端部からそれぞれの開口部１１ｂを介して入光される表示部１の前方領域の光（像）を受光して、他端部に接続された撮像部２に供給するようになっている。
【００１７】
撮像部２は、例えば、光ファイバ５により送られる光を光電変換する撮像素子２１と、撮像素子２１により電気信号に変換された画像データに対して、所定の画像処理を行う画像処理部２２と、画像処理部２２において画像処理が施された画像データを一時的に記憶する画像メモリ２３と、等を備え、撮像手段の一部を構成する。
【００１８】
撮像素子２１は、例えば、ＣＣＤ（Charged Coupled Device）や、ＣＭＯＳ（Complementary Metal-oxide Semiconductor）等の半導体素子であり、光ファイバ５により伝送される光の強弱を電気信号に変換して、画像処理部２２に出力する。
【００１９】
画像処理部２２は、例えば、内部メモリ２２１と、人物の顔の特徴データを複数記憶する顔特徴記憶部２２２と、等を備えて構成されており、光ファイバ５を介して撮像された画像データに対して所定の画像処理を行い、画像メモリ２３に出力する。
具体的には、画像処理部２２において、撮像素子２１から電気信号に変換された画像データが入力されると、当該画像データがフレーム単位で内部メモリ２２１に記憶され、１フレーム毎の画像データにおいて、顔特徴記憶部２２２に記憶された特徴データとの比較処理により、人物の顔が検出される。人物の顔が検出されると、フレーム全体における顔が撮像された位置が検出され、顔の重心点Ｐを中心とする所定の周囲領域に画枠Ｆが設定され、さらに、画枠領域の画枠画像データＦｄのみが切り出されて、画像メモリ２３に出力される。
一旦画枠Ｆが設定された後は、撮像素子２１から電気信号に変換されて送られる画像データにおいて、画枠領域のみに対して顔の検出処理が行われる。そして、顔の位置が移動して画枠領域内において顔が検出されなくなった場合に限り、検出範囲がフレーム全体に広げられて顔の検出が行われ、フレーム全体の画像データにおいて顔が検出された場合に、画枠Ｆが再び設定されることとなる。さらに、検出領域である画枠領域内において顔の位置が移動すると、当該顔の位置の移動に応じて、顔の重心点Ｐが中心となるような位置に画枠Ｆが移動する。
【００２０】
画像メモリ２３は、例えば、フレーム単位の画像データを複数枚記憶できるように構成されており、画像処理部２２において画枠領域が切り出されることにより生成された画枠画像データＦｄを一時的に記憶して、通信部３に出力する。
【００２１】
通信部３は、例えば、モデム（MODEM:MOdulater/DEModulater）等を備えて構成され、インターネット等の電気通信回線２００を介して、外部装置３００に対して画枠画像データＦｄ等のデータを送信することにより、送信手段の一部として機能するとともに、外部装置３００から送られる画像データ等のデータを受信する。
【００２２】
制御部４は、Ｉ／Ｏポート４１と、ＣＰＵ（Central Processing Unit）４２と、ＲＡＭ（Random Access Memory）４３と、ＲＯＭ（Read Only Memory）４４と、等を備えて構成されている。
【００２３】
ＣＰＵ４２は、Ｉ／Ｏポート４１を介して各部から送出される入力信号に従って、ＲＯＭ４４に格納される各種プログラムを実行し、当該プログラムに基づく制御信号をＩ／Ｏポート４１を介して各部に出力することにより、撮像表示装置１００の動作全般を統括制御する。
【００２４】
ＲＡＭ４３は、ＣＰＵ４２のワークエリアとして用いられ、ＲＯＭ４４から読み出された各種プログラムやこれらプログラムに係るデータ等をメモリエリアに一時的に記憶する。
【００２５】
ＲＯＭ４４は、ＣＰＵ４２によって実行される各種の処理プログラム及び各プログラムの処理に係る各種初期設定値等のデータを格納するものである。
具体的には、ＲＯＭ４４は、撮像プログラム４４ａと、顔位置検出プログラム４４ｂと、画枠設定プログラム４４ｃと、通信プログラム４４ｄと等のプログラムを格納している。
【００２６】
撮像プログラム４４ａは、例えば、ＣＰＵ４２に、撮像部２により、光ファイバ５を介して表示部１の前方領域を撮像して、画像データを取得する機能を実現させるためのプログラムである。
具体的には、ＣＰＵ４２は、表示部１の前方領域に存する被写体たる人物が、外部装置３００を使用する相手話者と対話中に、光ファイバ５を介して送られる表示部１の前方領域の光を撮像素子２１により光電変換することにより所定の間隔（例えば、３０回／秒）で連続して画像データを取得し、取得した画像データを、順次、画像処理部２２に出力する。
ＣＰＵ４２は、かかる撮像プログラム４４ａを実行することにより、撮像部２とともに撮像手段として機能する。
【００２７】
顔位置検出プログラム４４ｂは、例えば、ＣＰＵ４２に、撮像プログラム４４ａの実行により取得した画像データに対して、人物の顔が撮像された位置を検出する機能を実現するためのプログラムである。
具体的には、ＣＰＵ４２は、例えば、画像処理部２２において、画像データが入力されると、当該画像データをフレーム単位で内部メモリ２２１に記憶し、内部メモリ２２１に記憶された画像データにおける顔の候補領域と、顔特徴記憶部２２２において記憶された顔特徴データと、を比較することにより、記憶された顔特徴データに類似するデータの有無を判別して、当該画像データにおいて人物の顔が撮像されているか否かを判断する。そして、人物の顔が検出された画像データに対してエッジ検出等のフィルタ処理や、２値化処理を行うことで２値エッジ画像を生成して、その画像の各画素をｘ軸方向、ｙ軸方向に投影して得られる投影ヒストグラムを元に、顔が撮像された領域を抽出する。
また、後述する画枠設定プログラム４４ｃの実行により顔の周囲領域に画枠Ｆが設定されると、ＣＰＵ４２は、画像データの画枠領域内に対して顔の検出を行い、さらに人物が移動して、画枠領域に人物の顔が検出されなくなった場合には、画像データのフレーム全体に対して顔の検出を行う。
ＣＰＵ４２は、かかる顔位置検出プログラム４４ｂを実行することにより、顔位置検出手段として機能する。
【００２８】
画枠設定プログラム４４ｃは、例えば、ＣＰＵ４２に、顔位置検出プログラム４４ｂの実行により検出された画像データにおける人物の顔の位置に基づいて、人物の顔の周囲領域に画枠Ｆを設定する機能を実現するプログラムである。また、画枠設定プログラム４４ｃは、顔の位置の移動に応じて、設定した画枠Ｆの位置を移動する。
具体的には、ＣＰＵ４２は、顔位置検出プログラム４４ｂの実行により、例えば、人物の顔が検出された画像データにおいて、顔が撮像された位置を検出すると、顔が撮像された領域のうち、顔の重心点Ｐを検出し、当該重心点Ｐを中心として所定の周囲領域に画枠Ｆを設定する。当該周囲領域は、所定数の画素から成る矩形領域であり、被写体たる人物が画枠Ｆの略中央に位置するように設定される。また、ＣＰＵ４２は、一旦画枠Ｆを設定すると、顔の重心点Ｐを検出し、当該重心点Ｐが中心となるよう画枠Ｆを移動させる。
ＣＰＵ４２は、かかる画枠設定プログラム４４ｃを実行することにより、画枠設定手段として機能する。
【００２９】
ここで、ＣＰＵ４２による画枠設定プログラム４４ｃの実行により行われる処理について、図５を参照しながら詳細に説明する。
図５は、撮像プログラム４４ａ、顔位置検出プログラム４４ｂ、画枠設定プログラム４４ｃの実行により生成された画像データを例示する図である。
ＣＰＵ４２は、撮像プログラム４４ａの実行により取得された表示部１の前方領域が撮像された画像データが画像処理部２２に入力されると、フレーム単位で内部メモリ２２１に記憶し、顔位置検出プログラム４４ｂの実行により、顔特徴記憶部２２２に記憶された顔特徴データとの比較に基づいて、当該画像データに対して人物の顔の検出処理を実行して、顔が撮像されているか否かを判断する。ＣＰＵ４２は、顔が撮像されていると判断すると、フレーム全体における顔が撮像された領域を特定して顔の重心点Ｐを算出し、図５（ａ）に示すように、当該重心点Ｐを中心とする所定の周囲領域に画枠Ｆを設定する。当該画枠Ｆは、例えば、所定数の画素（例えば、横５４０画素×縦７０５画素）を含む矩形領域に設定されるものであり、人物の顔が略中央となるよう設定されることとなる。ＣＰＵ４２は、画枠Ｆを設定すると、画像データのフレーム全体から画枠領域を切り出して画枠画像データＦｄを生成し、生成した画枠画像データＦｄを画像メモリ２３に出力する。
【００３０】
撮像開始後に、一旦画枠Ｆが設定されると、ＣＰＵ４２は、撮像プログラム４４ａの実行により取得される画像データにおける画枠領域に対して、顔位置検出プログラム４４ｂの実行による顔の位置の検出処理を行う。そして、図５（ｂ）に示すように、人物が上下方向又は左右方向に移動して、画枠領域内で顔の重心点Ｐが変動すると、図５（ｃ）に示すように、重心点Ｐが画枠領域の中心となるように画枠Ｆを移動させる。また、図５（ｄ）に示すように、人物が画枠Ｆを外れた位置に移動して、画枠領域内に顔が検出されなくなると、ＣＰＵ４２は、検出範囲をフレーム全体に広げて、顔の検出処理を行う。当該画像データのフレーム全体において顔が検出されると、ＣＰＵ４２は、顔の重心点Ｐを算出して、図５（ｅ）に示すように、画枠Ｆを設定し直す。すなわち、当該画枠Ｆは、人物が常に略中央に位置するよう制御されることとなり、画像メモリ２３には人物が略中央に位置する画枠画像データＦｄのみが記憶されることとなる。
【００３１】
通信プログラム４４ｄは、例えば、ＣＰＵ４２に、画枠設定プログラム４４ｃの実行により設定された画枠領域の画枠画像データＦｄを外部装置３００に送信するとともに、外部装置３００から送信される画像データを受信する機能を実現させるプログラムである。
具体的には、ＣＰＵ４２は、撮像プログラム４４ａ、顔位置検出プログラム４４ｂ及び画枠設定プログラム４４ｃの実行により生成され、画像メモリ２３に記憶された画枠画像データＦｄを、通信部３により、相手話者の外部装置３００に送信するとともに、外部装置３００から送信される画枠画像データＦｄを受信する。受信された画像データは、撮像表示装置１００の各部において所定の処理が施されて、表示部１の表示画面１ａにおいて、受信された画像データに基づく画像が表示されることとなる。
ＣＰＵ４２は、かかる通信プログラム４４ｄを実行することにより、通信部３とともに送信手段として機能する。
【００３２】
外部装置３００は、例えば、撮像表示装置１００と同様の機能を備えて構成されており、表示部３０１と、ＣＰＵ３０２と、ＲＯＭ３０３と、等を備えている。
外部装置３００のＣＰＵ３０２は、ＲＯＭ３０３に格納された表示制御プログラム３０３ａの実行により、受信した画枠画像データＦｄに対して、外部装置３００の各部において所定の処理を行い、当該画枠画像データＦｄに基づく画像を表示部３０１に表示させる。その結果、図６に示すように、当該表示部３０１には、人物の顔が略中央に撮像された画像が、常に表示されることとなる。
【００３３】
次に、画像データ取得・送信動作処理について、図７を参照しながら説明する。
なお、本画像データ取得・送信動作処理は、撮像表示装置１００のＣＰＵ４２が、撮像プログラム４４ａ、顔位置検出プログラム４４ｂ、画枠設定プログラム４４ｃ、通信プログラム４４ｄを実行し、外部装置３００のＣＰＵ３０２が表示制御プログラム３０３ａを実行することにより行われる。
【００３４】
まず、撮像表示装置１００のＣＰＵ４２は、撮像部２において、光ファイバ５を介して入力される表示部１の前方領域の光（像）を、撮像素子２１により電気信号に変換することにより、画像データを取得する（ステップＳ１）。次に、ＣＰＵ４２は、ステップＳ１において取得した画像データのフレーム全体に対して、画像処理部２２において、人物の顔の検出処理を行い（ステップＳ２）、人物の顔が検出されるか否かを判断する（ステップＳ３）。ＣＰＵ４２は、ステップ３において、人物の顔が検出されないと判断すると（ステップＳ３；Ｎｏ）、ステップＳ１に戻って以上の処理を繰り返す。一方、ＣＰＵ４２は、ステップＳ３において、人物の顔が検出されると判断すると（ステップＳ３；Ｙｅｓ）、顔が撮像された領域の重心点Ｐを算出し（ステップＳ４）、当該重心点Ｐを中心とする所定数の画素を含む周囲領域に画枠Ｆを設定する（ステップＳ５）。
次に、ＣＰＵ４２は、画像データにおける画枠領域を切り出して画枠画像データＦｄを生成し（ステップＳ６）、一時的に画像メモリ２３に記憶させ、画像メモリ２３に記憶された画枠画像データＦｄを、通信部３により、外部装置３００に送信する（ステップＳ７）。
【００３５】
次に、ＣＰＵ４２は、撮像部２において、光ファイバ５を介して入力される表示部１の前方領域の光を、撮像素子２１により電気信号に変換して画像データを取得する（ステップＳ８）。ＣＰＵ４２は、ステップＳ８において取得した画像データの画枠領域に対して、画像処理部２２において、人物の顔の検出処理を行い（ステップＳ９）、人物の顔が検出されるか否かを判断する（ステップＳ１０）。ＣＰＵ４２は、ステップ１０において、人物の顔が検出されないと判断すると（ステップＳ１０；Ｎｏ）、ステップＳ２に戻って以上の処理を繰り返す。一方、ＣＰＵ４２は、ステップＳ１０において、人物の顔が検出されると判断すると（ステップＳ１０；Ｙｅｓ）、顔が撮像された領域の重心点Ｐを算出し（ステップＳ１１）、当該重心点Ｐが画枠領域内において移動したか否かを判断する（ステップＳ１２）。ＣＰＵ４２は、重心点Ｐが移動していないと判断すると（ステップＳ１２；Ｎｏ）、ステップＳ６に戻り以上の処理を繰り返す。一方、ＣＰＵ４２は、ステップＳ１２において、重心点Ｐが移動したと判断すると（ステップＳ１２；Ｙｅｓ）、重心点Ｐが中心となるように画枠Ｆを移動して（ステップＳ１３）、ステップＳ６に戻って以上の処理を繰り返す。
【００３６】
外部装置３００のＣＰＵ３０２は、ステップＳ１４において、撮像表示装置１００の通信部３により、電気通信回線２００を介して送信された画枠画像データＦｄを受信すると、外部装置３００の各部において所定の処理を行い、当該画枠画像データＦｄに基づく人物の顔が略中央に撮像された画像を表示部３０１に表示させ（ステップＳ１５）、以上で処理を終了する。
【００３７】
以上説明した本発明にかかる撮像表示装置１００によれば、ＣＰＵ４２による撮像プログラム４４ａの実行により取得された画像データにおいて、顔位置検出プログラム４４ｂの実行により人物の顔が撮像された位置が検出され、当該顔の位置に基づいて、画枠設定プログラム４４ｃの実行により顔の周囲領域に画枠Ｆが設定される。さらに、通信プログラム４４ｄの実行により、画像データのうち画枠Ｆで囲まれた領域の画枠画像データＦｄが外部装置３００に送信されるため、顔の位置が移動した場合であっても、機械的に追尾することなく、顔画像が中央に表示された画枠画像データのみが送信されることとなる。従って、顔の位置の移動に対して応答速度が劣ることがなく、より確実に、視線が一致した画像を送信することができる。
また、表示部１は、前方領域から入力される光を透過する開口部１１ｂを備え、ＣＰＵ４２は撮像プログラム４４ａの実行により、光ファイバ５を介して得られる表示部１の前方領域の像を撮像して画像データを取得するので、より容易に視線の一致した画像データを取得することができるとともに、撮像表示装置１００の薄型化を図る等、設計の自由度を増すことができる。さらに、開口部１１ｂから光ファイバ５を介して入光する光により撮像を行うので、画角の広い画像データを取得することができる。
【００３８】
なお、本発明は、上記実施の形態に限られることなく、本発明の趣旨を逸脱しない範囲において種々の改良並びに設計の変更を行ってもよい。
例えば、本実施形態において撮像表示装置１００は、ＬＣＤ方式の表示部１を有するものとして説明を行ったが、ＰＤＰ方式や、有機ＥＬ方式の表示部等であっても良い。
また、撮像表示装置１００は、動画の画像データを外部装置３００に送信する構成としたが、画像データは静止画であっても良い。
また、画枠Ｆは、顔が撮像された領域の重心点Ｐを中心とする周囲領域に設定される構成を用いて説明を行ったが、画枠Ｆは顔の両目の中心点を基準に設定されても良いし、顔の鼻領域を基準に設定されても良い。
また、顔検出の方法は、上記実施形態の方法に限られることなく、例えば、両目の位置等を基準に顔を検出する方法や、サポートベクタマシン（Support Vector Machine, SVM）により顔・非顔判定を行う方法であっても良い。
また、透過部は開口部１１ｂに限られることなく、例えば、表示部１の前方領域からガラス基板１１等を透過して入光する光により画像データを取得する設計であっても良い。
また、撮像表示装置１００においても、外部装置３００により送信された画枠画像データを受信し、表示制御プログラム３０３ａと同様のプログラムをＣＰＵ４２が実行することにより、受信した画枠画像データに基づく画像を表示部１に表示させるようにしてもよい。
【図面の簡単な説明】
【００３９】
【図１】本実施形態の撮像表示装置により実現される対話通信システムを例示するブロック図である。
【図２】本実施形態の撮像表示装置の要部構成を示すブロック図である。
【図３】本実施形態の撮像表示装置の断面を示す側面図である。
【図４】ガラス基板の一部を前方から見た図である。
【図５】撮像プログラム、顔位置検出プログラム、画枠設定プログラムの実行により生成された画像データを例示する図である。
【図６】外部装置の表示部に表示された画像を例示する図である。
【図７】画像データ取得・送信動作処理を示すフローチャートである。
【符号の説明】
【００４０】
１００  撮像表示装置
２００  電気通信回線
３００  外部装置
１      表示部
１ａ    表示画面
２      撮像部（撮像手段）
３      通信部（送信手段）
５      光ファイバ
１１ｂ  開口部（透過部）
４２    ＣＰＵ（撮像手段、顔位置検出手段、画枠設定手段、送信手段）
４４ａ  撮像プログラム（撮像手段）
４４ｂ  顔位置検出プログラム（顔位置検出手段）
４４ｃ  画枠設定プログラム（画枠設定手段）
４４ｄ  通信プログラム（送信手段）
Ｆ      画枠
Ｆｄ    画枠画像データ
【図１】
2007208819.tif 000003
【図２】
2007208819.tif 000004
【図３】
2007208819.tif 000005
【図４】
2007208819.tif 000006
【図５】
2007208819.tif 000007
【図６】
2007208819.tif 000008
【図７】
2007208819.tif 000009