(57)【特許請求の範囲】
【請求項１】
撮像装置で撮影した画像を取得する撮影画像取得部と、
前記撮影画像取得部が取得した撮像画像から、予め決められた色や大きさの図案上の各特徴点の座標が既知である所定のマーカーとともに撮影されている人物の顔の特徴点の検出および各特徴点の座標情報を検出する顔特徴点検出部と、
前記顔特徴点検出部から出力された特徴点と対応する座標情報から撮像画像中の顔の特徴点間距離を算出する距離算出部と、
前記顔の特徴点間距離と、特徴点間距離計測の基準距離と、前記マーカー上の原点の撮像画面上の対応点と、前記基準距離を求める際にも利用可能な前記マーカーの撮像画面上の対応点と、から実際の顔の特徴点間距離を算出する実距離算出部と、
前記実際の顔の特徴点間距離および前記各特徴点の座標情報を人物に付帯する登録情報としてデータベースに登録する情報登録部と、
人物の位置情報を必要とする際に、前記顔特徴点検出部から出力された特徴点と対応する座標情報を前記データベースと照合し、登録情報に含まれている合致する人物の前記実際の顔の特徴点間距離を出力する顔認証部と、
前記顔認証部から出力された前記実際の顔の特徴点間距離を利用して人物の位置座標を検出する位置座標検出部と、
を備えることを特徴とする位置座標検出装置。
【請求項２】
前記撮影画像取得部が取得した撮像画像から、前記マーカーの既知の点と当該撮像画像上の点とから前記特徴点間距離計測の基準距離を算出するキャリブレーション部を更に備える、
ことを特徴とする請求項１記載の位置座標検出装置。
【請求項３】
前記位置座標検出部は、ピンホールカメラモデルの透視投影法によって人物の位置座標を検出する、
ことを特徴とする請求項１記載の位置座標検出装置。
【請求項４】
前記位置座標検出部は、前記顔認証部において登録情報として合致する人物を検出できなかった場合には、予め用意された顔の特徴点間距離を利用して人物の位置座標を検出する、
ことを特徴とする請求項１記載の位置座標検出装置。
【請求項５】
撮像装置で撮影した画像を取得する工程と、
取得した撮像画像から、予め決められた色や大きさの図案上の各特徴点の座標が既知である所定のマーカーとともに撮影されている人物の顔の特徴点の検出および各特徴点の座標情報を検出する工程と、
出力された特徴点と対応する座標情報から撮像画像中の顔の特徴点間距離を算出する工程と、
前記顔の特徴点間距離と、特徴点間距離計測の基準距離と、前記マーカー上の原点の撮像画面上の対応点と、前記基準距離を求める際にも利用可能な前記マーカーの撮像画面上の対応点と、から実際の顔の特徴点間距離を算出する工程と、
前記実際の顔の特徴点間距離および前記各特徴点の座標情報を人物に付帯する登録情報としてデータベースに登録する工程と、
人物の位置情報を必要とする際に、出力された特徴点と対応する座標情報を前記データベースと照合し、登録情報に含まれている合致する人物の前記実際の顔の特徴点間距離を出力する工程と、
出力された前記実際の顔の特徴点間距離を利用して人物の位置座標を検出する工程と、
を含むことを特徴とする位置座標検出方法。
【請求項６】
取得した撮像画像から、前記マーカーの既知の点と当該撮像画像上の点とから前記特徴点間距離計測の基準距離を算出する工程を更に含む、
ことを特徴とする請求項５記載の位置座標検出方法。
【請求項７】
撮像装置と、
前記撮像装置で撮影した画像から人物の位置座標を検出する請求項１ないし４のいずれか一記載の位置座標検出装置と、
前記位置座標検出装置により検出した前記人物の位置座標を用いて調整処理を実行する調整処理装置と、
を備えることを特徴とする電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、位置座標検出装置、位置座標検出方法および電子機器に関する。
【背景技術】
【０００２】
従来より、裸眼立体映像表示装置における視聴者に対する立体視可能な領域の調整や、音響機器における受聴者に対するスピーカの向きの調整においては、視聴者や受聴者の位置情報を用いて調整するようにしている。
【０００３】
従来では、このような視聴者や受聴者の位置情報を取得するには、カメラで撮影した視聴者や受聴者の撮像画像上の顔の特徴点（顔幅、両目の間隔など）を検出し、特徴点間の距離を計算する。そして、撮像画像上の特徴点間の距離及び予め準備された平均的な特徴点間の距離に基づきピンホールカメラモデルの透視投影法を用いることにより、実際の視聴者や受聴者の位置座標を計算するようにしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２０６４５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来技術に開示されている方法では、予め準備された平均的な特徴点間の距離が正確であることが求められる。例えば、日本人の平均顔幅を平均的な特徴点間の距離として利用することは可能である。
【０００６】
しかしながら、同じ成人であっても、平均顔幅に対して−１．１〜１．８ｃｍまでの個人差があることが調査されている（独立行政法人産業技術総合研究所  デジタルヒューマン工学研究センターのＡＩＳＴ人体寸法・形状データベースによる）。
【０００７】
したがって、裸眼立体映像表示装置における視聴者に対する立体視可能な領域の調整や、音響機器における受聴者に対するスピーカの向きの調整の際に、視聴者や受聴者の位置情報を固定的な特徴点間の距離を用いて計算をした場合、誤差原因となる、という問題がある。
【０００８】
また、視聴者として幼児からお年寄りまでの広い範囲を対象とする場合において、固定的な特徴点間の距離を用いて位置座標を計算した場合には、さらに大きな誤差原因となる、という問題がある。
【０００９】
本発明は、上記に鑑みてなされたものであって、人物の位置座標を高精度で検出し、利用者に対して適切な映像や音声を提供することを目的とする。
【課題を解決するための手段】
【００１０】
実施形態の位置座標検出装置は、撮像装置で撮影した画像を取得する撮影画像取得部と、前記撮影画像取得部が取得した撮像画像から、予め決められた色や大きさの図案上の各特徴点の座標が既知である所定のマーカーとともに撮影されている人物の顔の特徴点の検出および各特徴点の座標情報を検出する顔特徴点検出部と、前記顔特徴点検出部から出力された特徴点と対応する座標情報から撮像画像中の顔の特徴点間距離を算出する距離算出部と、前記顔の特徴点間距離と、特徴点間距離計測の基準距離と、前記基準距離を求める際にも利用可能な前記マーカー上の原点の撮像画面上の対応点と、前記マーカーの撮像画面上の対応点と、から実際の顔の特徴点間距離を算出する実距離算出部と、前記実際の顔の特徴点間距離および前記各特徴点の座標情報を人物に付帯する登録情報としてデータベースに登録する情報登録部と、人物の位置情報を必要とする際に、前記顔特徴点検出部から出力された特徴点と対応する座標情報を前記データベースと照合し、登録情報に含まれている合致する人物の前記実際の顔の特徴点間距離を出力する顔認証部と、前記顔認証部から出力された前記実際の顔の特徴点間距離を利用して人物の位置座標を検出する位置座標検出部と、を備える。
【００１１】
実施形態の位置座標検出方法は、撮像装置で撮影した画像を取得する工程と、取得した撮像画像から、予め決められた色や大きさの図案上の各特徴点の座標が既知である所定のマーカーとともに撮影されている人物の顔の特徴点の検出および各特徴点の座標情報を検出する工程と、出力された特徴点と対応する座標情報から撮像画像中の顔の特徴点間距離を算出する工程と、前記顔の特徴点間距離と、特徴点間距離計測の基準距離と、前記マーカー上の原点の撮像画面上の対応点と、前記基準距離を求める際にも利用可能な前記マーカーの撮像画面上の対応点と、から実際の顔の特徴点間距離を算出する工程と、前記実際の顔の特徴点間距離および前記各特徴点の座標情報を人物に付帯する登録情報としてデータベースに登録する工程と、人物の位置情報を必要とする際に、出力された特徴点と対応する座標情報を前記データベースと照合し、登録情報に含まれている合致する人物の前記実際の顔の特徴点間距離を出力する工程と、出力された前記実際の顔の特徴点間距離を利用して人物の位置座標を検出する工程と、を含む。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施形態のデジタルテレビジョンの一例を示す外観斜視図である。
【図２】図２は、デジタルテレビジョンの信号処理系を示すブロック図である。
【図３】図３は、デジタルテレビジョンの制御部の機能構成を示すブロック図である。
【図４】図４は、マーカーの一例を示す正面図である。
【図５】図５は、マーカーの一例を示す正面図である。
【図６】図６は、マーカーの一例を示す正面図である。
【図７】図７は、カメラ座標系とワールド座標系を示す説明図である。
【図８】図８は、マーカーの特徴点を示す説明図である。
【図９】図９は、マーカー上の点に対応する撮像画像上の点を示す説明図である。
【図１０】図１０は、ピンホールカメラモデルの透視投影法を示す説明図である。
【図１１】図１１は、数値の定義を示す説明図である。
【図１２】図１２は、視聴者登録処理の流れを示すフローチャートである。
【図１３】図１３は、マーカーの使用態様を示す正面図である。
【図１４】図１４は、顔幅計算処理の流れを示すフローチャートである。
【図１５】図１５は、視聴者位置座標算出処理の流れを示すフローチャートである。
【図１６】図１６は、マーカーの代わりに鏡を利用した例を示す説明図である。
【発明を実施するための形態】
【００１３】
図１は、実施形態にかかる電子機器であるデジタルテレビジョン１の一例を示す外観斜視図である。図１に示すように、デジタルテレビジョン１は、前方から見た正面視（前面に対する平面視）で、長方形状の外観を呈している。デジタルテレビジョン１は、筐体２と、ＬＣＤ（Liquid  Crystal  Display）パネル等の表示部３を備えている。表示部３は、後述する映像処理部２０（図２参照）から映像信号を受け取り、静止画や動画等の映像を表示する。また、筐体２は、支持部４に支持されている。
【００１４】
図２は、デジタルテレビジョン１の信号処理系を示すブロック図である。なお、このデジタルテレビジョン１は、立体画像出力装置として機能するものであって、通常の平面視（２次元）表示用の映像信号に基づく映像表示を行なうだけでなく、立体視（３次元）表示用の映像信号に基づく映像表示も行なうことができる。また、デジタルテレビジョン１は、裸眼で立体映像を視聴可能なものである。
【００１５】
図２に示すように、デジタルテレビジョン１は、アンテナ１２で受信したデジタルテレビジョン放送信号を、入力端子１３を介して受信手段であるチューナ部１４に供給することにより、所望のチャンネルの放送信号を選局することが可能になっている。デジタルテレビジョン１は、チューナ部１４で選局された放送信号を、復調復号部１５に供給してデジタルの映像信号及び音声信号等に復元した後、入力信号処理部１６に出力する。なお、本実施の形態のデジタルテレビジョン１においては、デジタルテレビジョン放送信号を受信する受信手段であるチューナを３台有している場合（２台は地上デジタル放送受信用のチューナＡ１４１、チューナＢ１４２、他の１台はＢＳ／ＣＳデジタル放送受信用のチューナＣ１４３）を例にとって説明する。
【００１６】
入力信号処理部１６は、復調復号部１５から供給されたデジタルの映像信号及び音声信号に対してそれぞれ所定のデジタル信号処理を施す。
【００１７】
入力信号処理部１６は、通常の平面視（２次元）表示用の映像信号（入力映像）を立体視（３次元）表示用の映像信号に変換する立体画像変換処理を行う立体画像変換部１６０を備えている。
【００１８】
また、入力信号処理部１６は、チューナ部１４で選局された放送信号から番組名、出演者、開始時刻などのイベント情報を記述したテーブルであるＥＩＴ（Event  Information  Table）を分離する。入力信号処理部１６で分離されたＥＩＴは、番組表データとして制御部２３に入力される。ＥＩＴには、番組にかかるイベント情報である番組のタイトル情報やジャンル情報、出演者情報などの放送内容、放送日時などの番組に関連する情報が含まれている。
【００１９】
また、入力信号処理部１６は、デジタルの映像信号を合成処理部１７に出力し、デジタルの音声信号を音声処理部１８に出力している。このうち、合成処理部１７は、入力信号処理部１６から供給されるデジタルの映像信号に、ＯＳＤ（On  Screen  Display）信号生成部１９で生成される字幕、ＧＵＩ（Graphical  User  Interface）、ＯＳＤなどの重畳用映像信号であるＯＳＤ信号を重畳して出力している。この場合、合成処理部１７は、入力信号処理部１６から供給される映像信号にＯＳＤ信号生成部１９から供給されたＯＳＤ信号をそのまま重畳して出力している。
【００２０】
デジタルテレビジョン１は、合成処理部１７から出力したデジタルの映像信号を、映像処理部２０に供給する。映像処理部２０は、入力されたデジタルの映像信号を、出力部として機能する表示部３で表示可能なフォーマットのアナログ映像信号に変換している。デジタルテレビジョン１は、映像処理部２０から出力されたアナログ映像信号を、表示部３に供給して映像出力に供する。
【００２１】
音声処理部１８は、入力されたデジタルの音声信号を、後段のスピーカ２２で再生可能なフォーマットのアナログ音声信号に変換している。そして、この音声処理部１８から出力されたアナログ音声信号が、スピーカ２２に供給されることにより音声再生に供される。
【００２２】
図２に示すように、上述した合成処理部１７と音声処理部１８とＯＳＤ信号生成部１９と映像処理部２０とは、出力信号処理部２１を構成している。
【００２３】
加えて、デジタルテレビジョン１は、図１に示すように、映像出力部として機能する表示部３の近傍に撮像装置であるカメラ装置３７を搭載している。このカメラ装置３７は、デジタルテレビジョン１に対向する視聴者の顔を撮像可能な位置に設けられている。
【００２４】
ここで、デジタルテレビジョン１は、上記した各種の受信動作を含むその全ての動作を制御部２３によって統括的に制御している。この制御部２３は、ＣＰＵ（Central  Processing  Unit）２３ａを内蔵しており、デジタルテレビジョン１の本体に設置された操作装置である操作部２４からの操作情報を受けて、または、操作装置であるリモートコントローラ２５から送出され受信部２６で受信した操作情報を受けて、その操作内容が反映されるように各部をそれぞれ制御している。
【００２５】
また、制御部２３は、メモリ部２３ｂを内蔵している。メモリ部２３ｂは、主として、ＣＰＵ２３ａが実行する制御プログラムを格納したＲＯＭ（Read  Only  Memory）と、該ＣＰＵ２３ａに作業エリアを提供するためのＲＡＭ（Random  Access  Memory）と、各種の設定情報、制御情報及び操作部２４やリモートコントローラ２５からの操作情報等が格納される不揮発性メモリとを有している。
【００２６】
また、制御部２３には、ディスクドライブ部２７が接続されている。ディスクドライブ部２７は、例えばＤＶＤ（Digital  Versatile  Disk）等の光ディスク２８を着脱自在とするもので、装着された光ディスク２８に対してデジタルデータの記録再生を行なう機能を有している。
【００２７】
制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるデジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ディスクドライブ部２７に供給して光ディスク２８に記録させるように制御することができる。
【００２８】
また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７により光ディスク２８からデジタルの映像信号及び音声信号を読み出させ、上記記録再生処理部２９によって復号化した後、入力信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００２９】
制御部２３には、ＨＤＤ（Hard  Disk  Drive）３０が接続されている。制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、復調復号部１５から得られるデジタルの映像信号及び音声信号を、記録再生処理部２９によって暗号化し所定の記録フォーマットに変換した後、ＨＤＤ３０に供給してハードディスク３０ａに記録させるように制御することができる。
【００３０】
また、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ＨＤＤ３０によりハードディスク３０ａからデジタルの映像信号及び音声信号を読み出させ、記録再生処理部２９によって復号化した後、入力信号処理部１６に供給することによって、以後、上記した映像表示及び音声再生に供させるように制御することができる。
【００３１】
また、ＨＤＤ３０は、ハードディスク３０ａに各種データを記憶することにより、番組表データベース（番組表ＤＢ）３０１および人物データベース（人物ＤＢ）３０４として機能する。番組表データベース３０１は、制御部２３の制御によって、入力信号処理部１６で分離されたＥＩＴである番組表データを記憶する。人物データベース（人物ＤＢ）３０４は、後述する特徴点間距離（例えば、顔幅）および顔特徴点座標（例えば、顔の輪郭の座標情報）を視聴者ＩＤごとに対応付けて記憶する。
【００３２】
さらに、デジタルテレビジョン１には、入力端子３１が接続されている。入力端子３１は、デジタルテレビジョン１の外部からデジタルの映像信号及び音声信号を直接入力するためのものであり、ＬＡＮ端子、ＵＳＢ端子、ＨＤＭＩ端子などである。この入力端子３１を介して入力されたデジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、入力信号処理部１６に供給されて、以後、上記した映像表示及び音声再生に供される。
【００３３】
また、入力端子３１を介して入力されたデジタルの映像信号及び音声信号は、制御部２３の制御に基づいて、記録再生処理部２９を介した後、ディスクドライブ部２７による光ディスク２８に対しての記録再生や、ＨＤＤ３０によるハードディスク３０ａに対しての記録再生に供される。
【００３４】
なお、制御部２３は、視聴者による操作部２４やリモートコントローラ２５の操作に基づいて、ディスクドライブ部２７とＨＤＤ３０との間で、光ディスク２８に記録されているデジタルの映像信号及び音声信号をハードディスク３０ａに記録したり、ハードディスク３０ａに記録されているデジタルの映像信号及び音声信号を光ディスク２８に記録したりすることも制御している。
【００３５】
また、制御部２３には、ネットワークインタフェース３２が接続されている。このネットワークインタフェース３２は、入出力端子３３を介して外部のネットワーク３４に接続されている。そして、このネットワーク３４には、当該ネットワーク３４を介した通信機能を利用して各種のサービスを提供するためのネットワークサーバ３５，３６が接続されている。このため、制御部２３は、ネットワークインタフェース３２、入出力端子３３及びネットワーク３４を介して、所望のネットワークサーバ３５，３６にアクセスして情報通信を行なうことにより、そこで提供しているサービスを利用することができるようになっている。なお、ネットワークインタフェース３２は、入出力端子３３を介してＳＤメモリーカードやＵＳＢ機器が接続されるものであっても良い。
【００３６】
制御部２３は、ＣＰＵ２３ａが制御プログラムに従って動作することによって、位置座標検出装置として機能するものであって、図３に示すように、撮影画像取得部２３１と、カメラキャリブレーション部２３２と、顔特徴点検出部２３３と、距離算出部２３４と、実距離算出部２３５と、情報登録部２３６と、顔認証部２３７と、位置座標検出部２３８とを実現する。
【００３７】
次に、各部の機能について概略的に説明する。
【００３８】
撮影画像取得部２３１は、カメラ装置３７が撮影した映像から撮影画像を取得する。デジタルテレビジョン１は、撮影画像取得部２３１の制御によってカメラ装置３７で撮影された撮影画像を、カメラキャリブレーション部２３２および顔特徴点検出部２３３に送る。
【００３９】
カメラキャリブレーション部２３２は、ワールド座標系上の点Ｍからカメラ装置３７の撮像画像のカメラ座標系上の点ｍを再現するための変換行列を導出する一般的なカメラキャリブレーションを実行する。
【００４０】
本実施形態においては、図４に例示するようなマーカーＭＫを用いてカメラキャリブレーションを実行する。マーカーＭＫは、決められた大きさ、色の図案であり、デジタルテレビジョン１の購入時に同梱されている。図４に例示するマーカーＭＫは、チェッカーボードを例示したが、これに限るものではなく、他の図案（図５参照）や文字列（図６参照）をマーカーＭＫとして適用しても構わない。
【００４１】
図７は、カメラ座標系とワールド座標系を示す説明図である。図７（ａ）に示すように、ワールド座標系とは、３次元空間の座標系（図７（ａ）でＸ−Ｙ−Ｚ座標で示す）で人や物体の位置を示す。Ｘ−Ｙ−Ｚ座標の原点は、マーカーＭＫ上の予め決められた点であり、Ｘ−Ｙ平面は、マーカー面である。一方、図７（ｂ）に示すように、カメラ座標系とは、カメラ装置３７で３次元空間の物体を撮影したときに得られた撮像画像平面（ｕ−ｖ面）で、撮像画像上の点の位置を示す。ワールド座標系上の点Ｍからカメラ座標系上の点ｍへの変換は、下記に示す数式（１）の通りになる。
【００４２】
【数１】
0005121999.tif 000002
【００４３】
内部パラメータ、外部パラメータを推定する方法としては、様々な方法が検討されている。例えば、参考文献１［Zhengyou  Zhang,  ”  A  Flexible  New  Technique  for  Camera  Calibration”,  Technical  Report  MSR-TR-98-71  ，  Microsoft  Research,  1998．］によると、最尤法によりマーカーＭＫ上の既知の点と撮像画像上の点から内部パラメータ、外部パラメータを推定する方法を提案している。また、openCVと呼ばれるオープンソースのコンピュータビジョン向けライブラリ［Open  Source  Computer  Vision  Library.  http://www.intel.com/technology/computing/opencv/index.htm.］には、参考文献１による方法に従って、内部パラメータ、外部パラメータを推定するライブラリが提供されている。なお、内部パラメータ、外部パラメータを推定する方法としては、上述したものに限るものではなく、その他の手段で、内部パラメータ、外部パラメータを推定するようにしても良い。
【００４４】
ここで、
Ｍ'＝［Ｒ｜ｔ］Ｍ
とすると、下記に示す数式（２）の通りとなる。
【００４５】
【数２】
0005121999.tif 000003
【００４６】
具体的には、以下の通りである。マーカーＭＫ上に描かれた各特徴点の座標は既知である。各特徴点とは、撮像画像上から検出する際に容易に検出できる点であり、マーカーＭＫのエッジが利用される。マーカーＭＫが図８のように２０ｍｍ×２０ｍｍの白黒の正方形が並んでいるチェッカーボードの場合、原点Ｍ０＝（０，０，０）とし、Ｍ１＝（２０，０，０）、Ｍ２＝（４０，０，０）［単位：ｍｍ］である。また、マーカーＭＫ上の点に対応する撮像画像上の点ｍ０，ｍ１，ｍ２は図９のように配置している。
【００４７】
数式（１）のＭにマーカーＭＫ上の点Ｍ０，Ｍ１，Ｍ２，Ｍ３，・・・，Ｍｎの座標値を、Ｍに対応した撮像画像上の点ｍ０，ｍ１，ｍ２，・・・，ｍｎ＋１の座標値を数式（１）のｍに入力して、外部パラメータ［Ｒ｜ｔ］を求め、回転行列（３×３正方行列）Ｒを求める。
【００４８】
このようにして得られた回転行列（３×３正方行列）Ｒから、マーカーＭＫ”上の２点間距離の回転補正値Ｍ”を下記に示す数式（３）から求める。
【００４９】
【数３】
0005121999.tif 000004
【００５０】
Ｍ”点の位置を定める座標軸Ｘ”−Ｙ”−Ｚ”を図７（ａ）で示す。Ｘ”−Ｙ”平面は、図７（ｂ）で示すカメラ撮像画像面ｕ−ｖ平面と並行である。マーカーＭＫ上の点Ｍｋ（Ｘｋ，０，０）を数式（３）へ入力し、対応点であるＭ”ｋ（Ｘ”ｋ，Ｙ”ｋ，Ｚ”ｋ）を得る。このようにして数式（３）で計算された点Ｍ”ｋ（Ｘ”ｋ，Ｙ”ｋ，Ｚ”ｋ）は、回転補正された仮想的なマーカーＭＫ”の上に配置されている。そして、マーカーＭＫ”上の原点Ｍ”０（０，０，０）と点Ｍ”ｋのＸ”方向の距離Ｘ”ｋが顔幅計測の基準距離となる。
【００５１】
カメラキャリブレーション部２３２は、顔幅計測の基準距離となるマーカーＭＫ”上の距離Ｘ”ｋを実距離算出部２３５に対して出力する。
【００５２】
顔特徴点検出部２３３は、カメラ装置３７の撮像画像から顔の特徴点（目の虹彩中心、目頭、眉、顔の輪郭、鼻など）の検出、および各特徴点の座標を算出する。顔の特徴点（目の虹彩中心、目頭、眉、顔の輪郭、鼻など）の検出方法については、各種の方法が知られているので、ここでの説明は省略する。顔特徴点検出部２３３は、特徴点と対応する座標情報を、距離算出部２３４に対して出力する。本実施形態においては、顔特徴点検出部２３３は、例えば顔の輪郭の座標情報を距離算出部２３４または顔認証部２３７に対して出力する。
【００５３】
距離算出部２３４は、顔特徴点検出部２３３から出力された特徴点と対応する座標情報（顔の輪郭の座標情報）から顔幅ｗ［ｐｉｘｅｌ］を算出する。もちろん、位置情報計算のアルゴリズムによっては、両目、鼻と目の距離などを計算する方法に置き換えても構わない。距離算出部２３４は、顔幅ｗ［ｐｉｘｅｌ］を実距離算出部２３５に対して出力する。
【００５４】
実距離算出部２３５は、顔幅計測の基準距離となるマーカーＭＫ”上の距離Ｘ”ｋ、マーカーＭＫ上の原点Ｍ０の撮像画面上の対応点ｍ０（ｕ０，ｖ０）［ｐｉｘｅｌ］、マーカーＭＫ上のＭｋの撮像画面上の対応点ｍｋ（ｕｋ，ｖｋ）［ｐｉｘｅｌ］、顔幅ｗ［ｐｉｘｅｌ］から、実際の利用者の顔幅Ｗを算出する。実距離算出部２３５は、実際の利用者の顔幅Ｗを、ピンホールカメラモデルによる透視投影法を利用して、以下に示す数式（４）を用いて求める（位置情報計算のアルゴリズムによっては、両目、鼻と目の距離などを計算する方法に置き換えても構わない）。
【００５５】
【数４】
0005121999.tif 000005
【００５６】
情報登録部２３６は、利用者の顔幅Ｗおよび利用者の各特徴点の座標情報を利用者に付帯する登録情報として人物データベース３０４に登録する。
【００５７】
顔認証部２３７は、顔特徴点検出部２３３から出力された特徴点に対応する座標情報（顔の輪郭の座標情報）を人物データベース３０４と照合し、撮像画像上の顔が人物データベース３０４の登録情報に合致するか否かの判定を行う。顔認証部２３７は、登録情報より合致する各特徴点の座標情報を有している人物ＩＤを検出すれば、当該人物ＩＤに関連して登録情報に含まれている合致する人物の顔幅Ｗを位置座標検出部２３８に出力する。
【００５８】
位置座標検出部２３８は、顔認証部２３７から出力された顔幅Ｗを利用したピンホールカメラモデルの透視投影法によって、実際の視聴者の位置座標を検出する。ピンホールカメラモデルとは、３次元の位置座標と撮像画像の関係を理想的に表したモデルである。図１０に示すように、位置座標（Ｘｐ，Ｙｐ，Ｚｐ）［ｍｍ］の検出は、３００が本来の撮像画像、３０１がピンホール（光学中心）、３０２が等価的な撮像画像面、３０３は光軸であって、身長がＹ［ｍｍ］であることが分かっている場合、撮像画像上の人物の高さｙ、焦点距離ｆから距離Ｚは、
Ｚ＝（ｆ×Ｙ）／ｙ［ｍｍ］
として求められる。図１０に示す例では、既知の身長ＹからＺを求めたが、同様にして、図１１に示すように、撮像画像上の顔の重心点の座標（ｕｐ，ｖｐ）［ｐｉｘｅｌ］、顔幅ｗ［ｐｉｘｅｌ］、カメラ装置３７のカメラレンズの焦点距離ｆ［ｐｉｘｅｌ］、および顔認証部２３７から出力された顔幅Ｗ［ｍｍ］から、下記の式によって視聴者の位置座標（Ｘｐ，Ｙｐ，Ｚｐ）［ｍｍ］を求めることができる。図１１では、撮像画像の中心を原点として、短方向をｖ軸、長方向をｕ軸とする。
Ｘｐ＝（ｕｐ×Ｗ）／ｗ  ［ｍｍ］
Ｙｐ＝（ｖｐ×Ｗ）／ｗ  ［ｍｍ］
Ｚｐ＝（ｆ×Ｗ）／ｗ    ［ｍｍ］
【００５９】
本実施形態においては、顔認証部２３７から出力された顔幅Ｗ［ｍｍ］が正確であるため、実際の視聴者の位置座標も正確に算出することができる。なお、上記説明では、顔幅が登録されているとして説明したが、位置情報計算のアルゴリズムによっては、両目、鼻と目の距離などを計算する方法に置き換えても構わない。
【００６０】
なお、位置座標検出部２３８は、顔認証部２３７において登録情報として合致する人物データ（顔データ）を検出できなかった場合には、予め用意された平均顔幅ａｖｅ＿ｗを利用して、下記の式によって視聴者の位置座標を求める。
Ｘｐ＝（ｕｐ×ａｖｅ＿ｗ）／ｗ  ［ｍｍ］
Ｙｐ＝（ｖｐ×ａｖｅ＿ｗ）／ｗ  ［ｍｍ］
Ｚｐ＝（ｆ×ａｖｅ＿ｗ）／ｗ    ［ｍｍ］
【００６１】
次に、制御部２３のＣＰＵ２３ａが制御プログラムに従って動作することにより、デジタルテレビジョン１が行う視聴者登録処理の工程について説明する。
【００６２】
図１２は、視聴者登録処理の流れを示すフローチャートである。図１２に示すように、視聴者１名によるリモートコントローラ２５の操作で設定メニューから顔登録メニューが選択され、対応するリモコン入力信号が受信部２６を経由して入力されると（ステップＳ１のＹｅｓ）、制御部２３は、適切な表示映像やガイドメッセージを表示部３へ出力する（ステップＳ２）。ガイドメッセージは、視聴者がカメラ装置３７から鮮明に見える位置に立つこと、備え付けのマーカーＭＫを予め決められた向きにもつこと、しばらく静止することなど、正しく撮影するための注意事項が表記される。なお、注意事項の内容は、マーカーＭＫのデザイン、カメラ装置３７の撮影方法などで変化するものとする。
【００６３】
加えて、制御部２３は、顔登録で必要な回路がＯＮになるようにスイッチＯＮ信号（図３のＳＷ１，ＳＷ２へ渡っている信号）を発生する（ステップＳ３）。
【００６４】
この状態で視聴者は、図１３に示す態様でマーカーＭＫを持ち、表示に従った姿勢を保つ。
【００６５】
次いで、制御部２３（撮影画像取得部２３１）は、カメラ装置３７が撮影した映像から撮影画像を取得する（ステップＳ４）。
【００６６】
その後、制御部２３は、カメラ装置３７の入力から撮影画像取得部２３１で得た撮像画像から特徴点間距離（例えば、顔幅）の計算を実行する（ステップＳ５）。ここで、図１４は顔幅計算処理の流れを示すフローチャートである。図１４に示すように、顔特徴点検出部２３３がカメラ装置３７の撮像画像から顔の特徴点（例えば、目の虹彩中心、目頭、眉、顔の輪郭、鼻など）の検出、および各特徴点の座標を算出し（ステップＳ５１）、距離算出部２３４が顔特徴点検出部２３３から出力された特徴点と対応する座標情報から撮像画像中の顔の特徴点間距離（例えば、顔幅）を算出する（ステップＳ５２）。
【００６７】
次いで、実距離算出部２３５が実際の特徴点間距離（例えば、顔幅）をカメラキャリブレーション部２３２によるカメラキャリブレーションによって予め求めた基準距離を用いて算出する（ステップＳ５３）。
【００６８】
以上のようにして特徴点間距離（例えば、顔幅）が算出されると、図１２に戻り、制御部２３は、ステップＳ５で算出された特徴点間距離（例えば、顔幅）が適切か否かを判定する（ステップＳ６）。
【００６９】
制御部２３は、ステップＳ５で算出された特徴点間距離（例えば、顔幅）が適切ならば（ステップＳ６のＹｅｓ）、表示部３に「完了しました」というメッセージを表示する（ステップＳ７）。
【００７０】
次に、制御部２３は、視聴者のＩＤ（ニックネームなど）や視聴好みなどのユーザ情報が操作部２４やリモートコントローラ２５から入力されたと判断すると（ステップＳ８のＹｅｓ）、登録された視聴者ＩＤごとに特徴点間距離（例えば、顔幅）、顔特徴点検出部２３３からの顔特徴点座標を人物データベース（人物ＤＢ）３０４に登録し（ステップＳ９）、視聴者登録処理を終了する（ステップＳ１２）。
【００７１】
ステップＳ１２においては、制御部２３は、視聴者登録で必要な回路がＯＦＦになるようにスイッチＯＦＦ信号（図３のＳＷ１，ＳＷ２へ渡っている信号）を発生する。
【００７２】
一方、制御部２３は、ステップＳ５で算出された特徴点間距離（例えば、顔幅）が不適切ならば（ステップＳ６のＮｏ）、表示部３に「失敗しました」というメッセージを表示するとともに、撮影上の確認項目を表示し、再度撮影を実行するか否かをリモートコントローラ２５で選択できるボタンを表示する（ステップＳ１０）。
【００７３】
制御部２３は、再度撮影を実行する旨を表したボタンがリモートコントローラ２５で選択されたと判断すると（ステップＳ１１のＹｅｓ）、ステップＳ２へ戻る。
【００７４】
一方、制御部２３は、再度撮影を実行しない旨を表したボタンがリモートコントローラ２５で選択されたと判断すると（ステップＳ１１のＮｏ）、ステップＳ１２へ進み、視聴者登録時の顔幅算出処理を終了する。
【００７５】
次に、制御部２３のＣＰＵ２３ａが制御プログラムに従って動作することにより、デジタルテレビジョン１が行う視聴者位置座標算出処理の工程について説明する。この視聴者位置座標算出処理は、裸眼で立体映像を視聴可能なデジタルテレビジョン１における立体視可能な領域を調整する際に必要な処理である。
【００７６】
図１５は、視聴者位置座標算出処理の流れを示すフローチャートである。図１５に示すように、デジタルテレビジョン１における立体視可能な領域を調整するにあたって視聴者の位置情報の要求がリモートコントローラ２５の操作で選択され、対応するリモコン入力信号が受信部２６を経由して入力されると（ステップＳ２１のＹｅｓ）、制御部２３（撮影画像取得部２３１）は、カメラ装置３７が撮影した映像から撮影画像を取得する（ステップＳ２２）。なお、視聴者の位置情報の要求は、定期的なタイマ動作によって要求されるものであっても良い。
【００７７】
次いで、制御部２３（顔特徴点検出部２３３）は、カメラ装置３７の撮像画像から顔の特徴点（目の虹彩中心、目頭、眉、顔の輪郭、鼻など）の検出、および各特徴点の座標を算出し（ステップＳ２３）、制御部２３（距離算出部２３４）は、顔特徴点検出部２３３から出力された特徴点と対応する座標情報から撮像画像中の顔の特徴点間距離（例えば、顔幅）を算出する（ステップＳ２４）。
【００７８】
次いで、制御部２３（顔認証部２３７）は、顔特徴点検出部２３３から出力された特徴点に対応する座標情報（顔の輪郭の座標情報）を人物データベース３０４と照合し、撮像画像上の顔が人物データベース３０４の登録情報に合致するか否かの判定を行う（ステップＳ２５）。
【００７９】
制御部２３（顔認証部２３７）は、登録情報より合致する各特徴点の座標情報を有している人物ＩＤを検出すれば（ステップＳ２６のＹｅｓ）、当該人物ＩＤに関連して登録情報に含まれている合致する人物の特徴点間距離（例えば、顔幅）を位置座標検出部２３８に出力し、制御部２３（位置座標検出部２３８）は、登録情報（特徴点間距離（例えば、顔幅））を利用して位置座標を算出する（ステップＳ２７）。
【００８０】
一方、制御部２３（顔認証部２３７）は、登録情報として合致する人物データ（顔データ）を検出しなければ（ステップＳ２６のＮｏ）、予め用意された平均の特徴点間距離（例えば、顔幅）を利用して位置座標を算出する（ステップＳ２８）。
【００８１】
このようにして算出された視聴者の位置座標は、入力信号処理部１６の調整処理装置として機能する立体画像変換部１６０に出力され、裸眼で立体映像を視聴可能なデジタルテレビジョン１における立体視可能な領域の調整に供される。
【００８２】
このように本実施形態によれば、予め決められた色や大きさの図案上の各特徴点の座標が既知である所定のマーカーを利用して実際の顔の特徴点間距離を算出して顔の特徴点の座標情報とともにデータベースに登録しておき、人物の位置情報を必要とする際に、当該人物の顔の特徴点の座標情報をデータベースと照合し、合致する人物の実際の顔の特徴点間距離を利用して人物の位置座標を検出するようにしたので、平均顔幅を利用して位置座標を計算するより、高い精度の人物の位置座標を検出することができるので、利用者の位置をより正確に把握でき、利用者に対して適切な映像や音声を提供することができる。
【００８３】
なお、本実施形態においては、マーカーＭＫを用いてカメラキャリブレーションや視聴者登録処理を行うようにしたが、これに限るものではない。例えば、カメラキャリブレーションや視聴者登録処理の際に、図１６に示すように、デジタルテレビジョン１の表示部３にマーカーＭＫに代わる画像を表示し、利用者は鏡４００を持って立つことで、マーカーＭＫを持つことの代わりとなる方法をとっても構わない。
【００８４】
また、一般的に入手可能なものをマーカーとして利用する場合には、マーカーを撮影し、その特徴量（縦横のサイズなど）をメニューから入力できるような手段、もしくは定められたカメラ装置３７からの距離から撮影された画像から特徴量を推定する手段があっても良い。
【００８５】
また、例えば視聴者登録処理のステップＳ２において表示されるガイドメッセージにおいて、カメラ装置３７の撮像画像を表示部３に表示し、利用者が正しい位置にいるか否かを確認できるガイドがあっても構わない。
【００８６】
なお、本実施形態においては、電子機器としてデジタルテレビジョン１を適用したが、これに限るものではなく、例えば音響機器等に適用するようにしても良い。
【００８７】
なお、本実施形態のデジタルテレビジョン１で実行される制御プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００８８】
さらに、本実施形態のデジタルテレビジョン１で実行される制御プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のデジタルテレビジョン１で実行される制御プログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００８９】
本実施形態のデジタルテレビジョン１で実行される制御プログラムは、上述した各部（撮影画像取得部２３１、カメラキャリブレーション部２３２、顔特徴点検出部２３３、距離算出部２３４、実距離算出部２３５、情報登録部２３６、顔認証部２３７、位置座標検出部２３８）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭから制御プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、撮影画像取得部２３１、カメラキャリブレーション部２３２、顔特徴点検出部２３３、距離算出部２３４、実距離算出部２３５、情報登録部２３６、顔認証部２３７、位置座標検出部２３８が主記憶装置上に生成されるようになっている。
【００９０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９１】
１        電子機器
２３      位置座標検出装置
１６０    調整処理装置
２３１    撮影画像取得部
２３２    キャリブレーション部
２３３    顔特徴点検出部
２３４    距離算出部
２３５    実距離算出部
２３６    情報登録部
２３７    顔認証部
２３８    位置座標検出部
【要約】
【課題】人物の位置座標を高精度で検出し、利用者に対して適切な映像や音声を提供する。
【解決手段】撮影画像取得部が取得した撮像画像から、予め決められた色や大きさの図案上の各特徴点の座標が既知である所定のマーカーとともに撮影されている人物の顔の特徴点の検出および各特徴点の座標情報を検出し、特徴点と対応する座標情報から撮像画像中の顔の特徴点間距離を算出し、顔の特徴点間距離と特徴点間距離計測の基準距離とマーカー上の原点の撮像画面上の対応点とマーカーの撮像画面上の対応点とから実際の顔の特徴点間距離を算出し、実際の顔の特徴点間距離および各特徴点の座標情報を人物に付帯する登録情報としてデータベースに登録する。人物の位置情報を必要とする際には、データベースと照合し、登録情報に含まれている合致する人物の実際の顔の特徴点間距離を利用して人物の位置座標を検出する。
【選択図】図３【図１】
0005121999.tif 000006
【図２】
0005121999.tif 000007
【図３】
0005121999.tif 000008
【図４】
0005121999.tif 000009
【図５】
0005121999.tif 000010
【図６】
0005121999.tif 000011
【図７】
0005121999.tif 000012
【図８】
0005121999.tif 000013
【図９】
0005121999.tif 000014
【図１０】
0005121999.tif 000015
【図１１】
0005121999.tif 000016
【図１２】
0005121999.tif 000017
【図１３】
0005121999.tif 000018
【図１４】
0005121999.tif 000019
【図１５】
0005121999.tif 000020
【図１６】
0005121999.tif 000021