(57)【要約】  透過型のディスプレイの背後から撮像する場合に画質の低下を防止する。  表示撮像装置１は、画像を入力して表示する透過型のディスプレイ１０と、ディスプレイ１０の背後からディスプレイ１０の前方を撮像するカメラ２０と、ＰＣ３０とを備え、ＰＣ３０は、カメラ２０から当該カメラ２０による撮像の対象物までの距離を検出する距離検出部３１と、検出された距離に応じてカメラ２０による撮像の被写界深度を制御する被写界深度制御部３２とを備える。
2019207923.tif 000002
【特許請求の範囲】
【請求項１】
画像を入力して表示する透過型のディスプレイと、
前記ディスプレイの背後から前記ディスプレイの前方を撮像するカメラと、
前記カメラから当該カメラによる撮像の対象物までの距離を検出する距離検出部と、
前記距離検出部によって検出された距離に応じて前記カメラによる撮像の被写界深度を制御する被写界深度制御部と、
を備える表示撮像装置。
【請求項２】
前記被写界深度制御部は、前記距離検出部によって検出された距離に応じて、前記被写界深度の基準となる前記カメラによる撮像のフォーカス距離を、前記距離検出部によって検出された距離よりも長く設定する請求項１に記載の表示撮像装置。
【請求項３】
前記被写界深度制御部は、前記カメラによる撮像によって得られた画像の特徴にも応じて前記被写界深度を制御する請求項１又は２に記載の表示撮像装置。
【請求項４】
前記被写界深度制御部は、前記カメラによる撮像によって得られた画像に写っているものの種別、当該画像の輝度値、及び当該画像の周波数成分の少なくとも何れかにも応じて前記被写界深度を制御する請求項３に記載の表示撮像装置。
【請求項５】
前記被写界深度制御部は、前記カメラによる撮像によって得られた画像の前記対象物が写っている部分及び写っていない部分の少なくとも何れかの特徴にも応じて前記被写界深度を制御する請求項３又は４に記載の表示撮像装置。
【請求項６】
前記距離検出部は、前記カメラによる撮像によって得られた画像における対象物が写った位置を検出して、検出した位置に基づいて前記距離を検出する請求項１〜５の何れか一項に記載の表示撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の表示を行うと共に撮像を行う表示撮像装置に関する。
【背景技術】
【０００２】
視線一致した状態でのビデオ通話を実現するための手法が提案されている。特許文献１は、通話相手を表示する透過型のディスプレイの背後に設けられたカメラでディスプレイ前方のユーザを撮像する手法を開示する。この手法によれば、ユーザとディスプレイに表示される通話相手とが向かい合った状態でユーザの正面を撮像できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３２８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のシステムにおいて、透過型のディスプレイとして、例えば、ＯＬＥＤ（有機発光ダイオード：Organic  Light  Emitting  Diode）を用いた透明ＯＬＥＤディスプレイを用いることが考えられる。透明ＯＬＥＤディスプレイには、有機ＥＬ（Electro-Luminescence）素子を駆動するために格子状に存在する信号線である周期構造部材が含まれている。カメラによって透明ＯＬＥＤディスプレイの背後から撮像が行われると、撮像によって得られた画像に周期構造部材が写り込んでしまい画質（画像の品質）が低下する。【０００５】
本発明の一実施形態は、上記に鑑みてなされたものであり、透過型のディスプレイの背後から撮像する場合に画質の低下を防止することができる表示撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記の目的を達成するために、本発明の一実施形態に係る表示撮像装置は、画像を入力して表示する透過型のディスプレイと、ディスプレイの背後からディスプレイの前方を撮像するカメラと、カメラから当該カメラによる撮像の対象物までの距離を検出する距離検出部と、距離検出部によって検出された距離に応じてカメラによる撮像の被写界深度を制御する被写界深度制御部と、を備える。【０００７】
本発明の一実施形態に係る表示撮像装置では、カメラから、ユーザ等の当該カメラによる撮像の対象物までの距離に応じてカメラによる撮像の被写界深度が制御される。この制御によって、周期構造部材等の透過型のディスプレイに含まれる部材の画像への写り込みを低減又はなくすことができる。よって、本発明の一実施形態に係る表示撮像装置によれば、透過型のディスプレイの背後から撮像する場合に画質の低下を防止することができる。
【発明の効果】
【０００８】
本発明の一実施形態によれば、周期構造部材等の透過型のディスプレイに含まれる部材の画像への写り込みを低減又はなくすことができ、透過型のディスプレイの背後から撮像する場合に画質の低下を防止することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係る表示撮像装置の構成を示す図である。
【図２】周期構造部材が写り込んだ画像及び周期構造部材が写り込んでいない画像を模式的に示す図である。
【図３】設定される被写界深度の例を示す図である。
【図４】設定される被写界深度の別の例を示す図である。
【図５】被写界深度の設定について説明するための図である。
【図６】本発明の実施形態に係る表示撮像装置で実行される処理を示すフローチャートである。
【図７】本発明の実施形態に係る表示撮像装置に含まれるＰＣのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面と共に本発明に係る表示撮像装置の実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。
【００１１】
図１に本実施形態に係る表示撮像装置１を示す。表示撮像装置１は、画像の表示を行うと共に撮像（撮影）を行う装置（システム）である。表示撮像装置１は、ディスプレイ１０と、カメラ２０と、ＰＣ（パーソナルコンピュータ）３０とを含んで構成される。本実施形態では、表示撮像装置１は、ビデオ通話（テレビ電話）に用いられる。ディスプレイ１０が、通話相手の画像（映像）を表示する。カメラ２０が、表示撮像装置１のユーザＵ（人物）を撮像する。撮像されたユーザＵの画像は、通話相手がビデオ通話に用いている通話相手側装置に送信される。なお、通話相手側装置は、表示撮像装置１と同じ機能を有するものであっても、異なるものであってもよい。表示撮像装置１と通話相手側装置との間で送受信される画像は、通常、動画像である。また、表示撮像装置１と、通話相手側装置とは、ビデオ通話のための音声を入出力すると共に送受信する。
【００１２】
ディスプレイ１０は、画像を入力して表示する透過型の（即ち、光を透過する）ディスプレイ（透明ディスプレイ）である。ディスプレイ１０としては、従来の透過型のディスプレイを用いることができる。例えば、ディスプレイ１０は、各表示画素としてＯＬＥＤを含んで構成される自発光型のディスプレイ、即ち、透明ＯＬＥＤディスプレイである。なお、ディスプレイ１０は、透明ＯＬＥＤディスプレイである必要はなく、透過型のディスプレイであればよい。ディスプレイ１０は、ＰＣ３０と互いに情報の送受信が可能なように接続されており、ＰＣ３０から画像を入力して、前面１０ａである矩形の表示面に表示する。図１において、ディスプレイ１０の前面１０ａである表示面は、紙面の奥行方向（水平方向）及び紙面の上下方向（垂直方向）に広がっている。
【００１３】
カメラ２０は、ディスプレイ１０の背後からディスプレイ１０の前方を撮像する装置である。例えば、カメラ２０は、所定の撮像フレームレートで撮像を繰り返すことにより、時系列で連続する複数の撮像画像を取得する。カメラ２０としては、撮像を行って動画像を生成する従来のカメラを用いることができる。例えば、従来の一眼レフカメラをカメラ２０として用いることとしてもよい。あるいは、カメラ機能を有するスマートフォンをカメラ２０として用いることとしてもよい。なお、スマートフォンをカメラ２０として用いる場合、後述するＰＣ３０の機能が当該スマートフォンによって実現されてもよい。
【００１４】
カメラ２０は、ディスプレイ１０の背面１０ｂ側に予め位置決めされて配置される。カメラ２０は、撮像方向がディスプレイ１０の背面１０ｂに向かう方向になると共に当該背面１０ｂと垂直になるように配置される。図１において、カメラ２０の撮像方向は、紙面の左から右に向かう方向である。また、カメラ２０は、ディスプレイ１０の背面１０ｂに近接あるいは接した状態で配置される。なお、カメラ２０の撮像方向は、ディスプレイ１０の背面１０ｂと垂直になっていなくてもよい。
【００１５】
上記のようにディスプレイ１０は透過型であるので、カメラ２０を上記のように配置することで、ディスプレイ１０を介してディスプレイ１０の前方を撮像することができる。図１に示すように、ディスプレイ１０の前方にユーザＵが位置していれば、カメラ２０は、ユーザＵを撮像することができる。カメラ２０は、ＰＣ３０と互いに情報の送受信が可能なように接続されており、撮像した画像をＰＣ３０に出力する。
【００１６】
ビデオ通話が行われる際には、ディスプレイ１０には、通話相手が表示される。ユーザＵは、ディスプレイ１０に表示される通話相手の顔を見ながら通話を行う。ディスプレイ１０の水平方向及び垂直方向（図１における紙面の前後方向及び上下方向）における、カメラ２０の位置は、通話相手の顔が表示される位置、即ち、ユーザＵがディスプレイ１０を見る際の視線（目線）の位置とされる。このカメラ２０の配置によって、カメラ２０による撮像によって得られる画像を、ユーザＵの視線が向けられたものとすることができる。
【００１７】
カメラ２０は、撮像の際の被写界深度Ｄを設定することできる。当該設定によって、被写界深度Ｄの撮像方向における長さ（深さ）及び位置が設定される。被写界深度Ｄは、フォーカス位置（フォーカス中心、フォーカス点）Ｆに基づいた位置となる。具体的には、カメラ２０の撮像方向におけるフォーカス位置Ｆの前後の所定の長さが、被写界深度Ｄとなる。撮像方向における被写界深度Ｄの概ね中央が、フォーカス位置Ｆとなる。
【００１８】
例えば、カメラ２０は、フォーカス位置Ｆを変更することができる従来の機構を備えている。また、カメラ２０は、絞りを有する一眼レフカメラであり、絞りによって被写界深度Ｄの長さを設定することできる。あるいは、カメラ２０は、互いに被写界深度Ｄを異ならせることができる複数の撮像用のレンズを有しており、当該レンズの何れを用いるかによって被写界深度Ｄの長さ等を設定することできる。被写界深度Ｄの制御は、後述するようにＰＣ３０によって行われる。
【００１９】
ディスプレイ１０の背面１０ｂのカメラ２０が設けられた部分以外の部分には、当該部分を覆うように非透明なマスキング部材（マスク）１１が設けられていてもよい。マスキング部材１１のカメラ２０が設けられる部分には、レンズ等のカメラ２０の撮像を行う部分に応じた孔が設けられている。マスキング部材１１としては、光を反射しにくい（特に光を吸収しやすい）部材、例えば、布、板等を用いることができる。また、より光を反射しにくくするため、マスキング部材１１は、黒色であってもよい。マスキング部材１１は、ディスプレイ１０の背面１０ｂの面積とほぼ同じ面積を有する。マスキング部材１１は、ディスプレイ１０の背面１０ｂ近接あるいは接した状態で配置される。マスキング部材１１が設けられることで、ディスプレイ１０の前方からディスプレイ１０の裏側を見えなくすることができると共にカメラ２０を目立たせなくする（隠蔽する）ことができる。これによって、ディスプレイ１０の視認性を向上させることができる。
【００２０】
カメラ２０によって、ディスプレイ１０の背後からディスプレイ１０の前方が撮像される場合、以下の問題が生じ得る。透明ＯＬＥＤディスプレイであるディスプレイ１０の表示面の内側には、有機ＥＬ素子（発光素子）を駆動するために格子状に存在する信号線である周期構造部材が含まれている。当該信号線は、例えば、Ｒ，Ｇ，Ｂの三原色にそれぞれ対応した有機ＥＬ素子からなる個々の表示画素（サブピクセル）を囲むように配置されている。当該信号線からの電気信号（制御信号等）に応じて、表示画素の各発光素子の輝度値が調整される。ディスプレイ１０には、この他にも、信号線の配線に必要な部材等が含まれ得る。なお、周期構造部材によって構成される一つの格子内に複数の表示画素（サブピクセル）が含まれてもよい。例えば水平方向に走る一本の信号線が、当該信号線の両側に位置する表示画素の発光素子を駆動する場合には、垂直方向において、一つの格子内に２つの表示画素が含まれてよい。垂直方向に走る一本の信号線が、当該信号線の両側に位置する表示画素の発光素子を駆動する場合には、水平方向において、一つの格子内に２つの表示画素が含まれてよい。一つの格子に含まれる表示画素の数がフレキシブルであるので、格子の形状は長方形となり得る（正方形に限定されない）。
【００２１】
ディスプレイ１０自体は、透過型ではあるものの、上記の周期構造部材等の部材は光を透過しない。そのため、ディスプレイ１０の背後からディスプレイ１０の前方を撮像するとディスプレイ１０に含まれるこれらの部材が、撮像によって得られる画像に写り込んでしまう。例えば、図１に示すように被写界深度Ｄが、ディスプレイ１０の部分にまで及ぶものであると、図２（ａ）に示すように画像に主に黒色で格子状の周期構造部材Ｂが写り込んでしまう。この写り込みは、ビデオ通話を行うユーザＵの上にもかかる。即ち、ビデオ通話を行うための画質が低下する。本実施形態は、この画質の低下を防止するためのものである。なお、ディスプレイ１０が、透明ＯＬＥＤディスプレイ以外の透過型のディスプレイであった場合でも、上記と同様の問題は生じ得る。
【００２２】
ＰＣ３０は、画質の低下を防止するためにカメラ２０による撮像の被写界深度Ｄを制御する装置である。ＰＣ３０は、上述したようにカメラ２０と互いに情報の送受信が可能なように接続されており、カメラ２０との間で情報の送受信を行うことができる。
【００２３】
また、ＰＣ３０は、通話相手側装置との間で画像を送受信する。ＰＣ３０は、上述したようにディスプレイ１０とも互いに情報の送受信が可能なように接続されており、ディスプレイ１０との間で情報の送受信を行うことができる。ＰＣ３０は、通話相手側装置から画像を受信して、ディスプレイ１０に出力する。ＰＣ３０は、カメラ２０による撮像によって得られた画像をカメラ２０から入力して、通話相手側装置に送信する。なお、本実施形態では、被写界深度Ｄの制御と、通話相手側装置との間での画像の送受信とが、１つの装置（ＰＣ３０）によって行われることとしているが、これらがそれぞれ別の装置で行われてもよい。また、ＰＣ３０は、サーバ装置又はスマートフォン等のＰＣ３０以外のコンピュータに置き換えられてもよい。
【００２４】
図１に示すように、ＰＣ３０は、被写界深度Ｄの制御に係る機能的な構成として、距離検出部３１と、被写界深度制御部３２とを備えて構成される。
【００２５】
距離検出部３１は、カメラ２０から当該カメラ２０による撮像の対象物までの距離を検出する機能部である。距離検出部３１は、カメラ２０による撮像によって得られた画像における対象物が写った位置を検出して、検出した位置に基づいて距離を検出することとしてもよい。本実施形態では、カメラ２０による撮像の対象物は、ビデオ通話を行うユーザＵである。例えば、距離検出部３１は、以下のように距離を検出する。
【００２６】
距離検出部３１は、カメラ２０による撮像によって得られた画像をカメラ２０から入力する。距離検出部３１は、入力した画像におけるユーザＵが写った位置を検出する。例えば、距離検出部３１は、入力した画像におけるユーザＵの顔が写った位置を検出する。顔の位置の検出は、ＯＫＡＯ  Ｖｉｓｉｏｎ（オムロン）又はＦａｃｅＵ（ＰＵＸ）等に代表される公知の顔認識技術をベースとして行われる。距離検出部３１は、画像におけるユーザＵの顔の位置から、カメラ２０（の撮像位置）からユーザＵの顔までのカメラ２０の撮像方向での距離を検出する。当該距離の検出は、例えば、画像におけるユーザＵの顔の位置及びカメラ２０による撮像時のパラメータ等に基づいて距離を算出することで行われる。あるいは、カメラ２０にデプスカメラの機能を設けておき、当該デプスカメラの機能によって得られるユーザＵの顔（検出された位置）までの距離を取得することとしてもよい。
【００２７】
また、カメラ２０によって撮像されるユーザＵの位置（カメラ２０の撮像方向以外の位置）がほぼ定まっている場合（例えば、常にディスプレイ１０の正面にユーザＵが位置する場合）等には、画像におけるユーザＵの位置を検出しないこととしてもよい。この場合、予め設定した位置におけるユーザＵまでの距離を上記と同様に検出することとしてもよい。また、この場合、距離検出部３１は、カメラ２０から画像を入力しなくてもよい。なお、カメラ２０からユーザＵまでの距離の検出は、上記の方法で行われる必要はなく、従来の任意の方法によって行われてもよい。また、距離検出部３１は、表示撮像装置１の管理者又はユーザＵ等によるＰＣ３０への入力操作を受け付けて、カメラ２０からユーザＵまでの距離を示す情報を入力して、距離を検出することとしてもよい。距離検出部３１は、検出した距離を示す情報を被写界深度制御部３２に出力する。
【００２８】
被写界深度制御部３２は、距離検出部３１によって検出された距離に応じてカメラ２０による撮像の被写界深度Ｄを制御する機能部である。被写界深度制御部３２は、距離検出部３１によって検出された距離に応じて、被写界深度Ｄの基準となるカメラ２０による撮像のフォーカス距離を、距離検出部３１によって検出された距離よりも長く設定することとしてもよい。例えば、被写界深度制御部３２は、以下のように被写界深度Ｄを制御する。
【００２９】
被写界深度制御部３２は、距離検出部３１から、カメラ２０からユーザＵまでの距離を示す情報を入力する。被写界深度制御部３２は、当該情報によって示される距離に応じて被写界深度Ｄを設定する。被写界深度Ｄは、ディスプレイ１０がその範囲に入らないように、かつ、ユーザＵがその範囲に入り、きれいにボケなく撮像されるように設定される。ディスプレイ１０が範囲に入らないように被写界深度Ｄが決定されることで、図２（ｂ）に示すようにディスプレイ１０の周期構造部材等の写り込みを低減又はなくすことができる。なお、被写界深度制御部３２による被写界深度Ｄの設定によれば、被写界深度Ｄが浅くなることで、撮像によって得られる画像においてユーザＵ以外の背景等がボケるおそれがある。しかしながら、ビデオ通話において背景等はボケても悪影響が少ない。
【００３０】
例えば、被写界深度制御部３２は、まず、図３に示すように被写界深度Ｄの基準となるフォーカス位置Ｆ１，Ｆ２を、ユーザＵ１，Ｕ２の位置に設定する。即ち、被写界深度制御部３２は、カメラ２０からのフォーカス位置Ｆ１，Ｆ２までのフォーカス距離を、カメラ２０からユーザＵ１，Ｕ２までの距離に一致させる。続いて、被写界深度制御部３２は、被写界深度Ｄの長さを決定する。例えば、図３のユーザＵ１のように、カメラ２０からユーザＵ１までの距離が短い場合、被写界深度制御部３２は、被写界深度Ｄ１を浅くして、ディスプレイ１０が被写界深度Ｄ１に入らないようにする。また、図３のユーザＵ２のように、カメラ２０からユーザＵ１までの距離が長い場合、被写界深度Ｄ２を深くしても、ディスプレイ１０が被写界深度Ｄ２に入らない。そのため、被写界深度制御部３２は、カメラ２０からユーザＵ２までの距離が長い場合、被写界深度Ｄ２を深くする。被写界深度Ｄ２を深くすることで、ユーザＵ２の前後、例えば、ユーザＵ２の背景等もボケずに撮像することが可能になる。
【００３１】
被写界深度Ｄの基準となるフォーカス位置Ｆは、上記のようにユーザＵの位置とする必要はない。例えば、図４のユーザＵ３のように、カメラ２０からユーザＵ３までの距離が極端に短い場合、被写界深度制御部３２は、ユーザＵ３の位置よりもカメラ２０から遠い位置にフォーカス位置Ｆ３を設定することとしてもよい。即ち、被写界深度制御部３２は、カメラ２０からのフォーカス位置Ｆ３までのフォーカス距離を、カメラ２０からユーザＵ３までの距離よりも長く設定する。この場合、フォーカス位置Ｆ３は、ユーザＵ３の位置よりも少し後ろにするのがよい。また、被写界深度制御部３２は、被写界深度Ｄ３を、ディスプレイ１０が被写界深度Ｄ３に入らないが、ユーザＵ３が被写界深度Ｄ３（のフォーカス位置Ｆ３よりも前方側（カメラ２０側））に入る程度の浅さに設定する。
【００３２】
被写界深度制御部３２は、カメラ２０からユーザＵまでの距離毎にフォーカス位置Ｆ（フォーカス距離）及び被写界深度Ｄの長さを予め記憶しておき、距離検出部３１から入力された情報によって示される距離に応じて被写界深度Ｄ（フォーカス位置Ｆ（フォーカス距離）及び被写界深度Ｄの長さ）を設定する。なお、被写界深度制御部３２は、カメラ２０による撮像の被写界深度Ｄの制御が物理的に可能な範囲で被写界深度Ｄを設定する。
【００３３】
被写界深度Ｄは、以下の条件に沿って定められることとしてもよい。図５に示すように、カメラ２０からユーザＵまでの距離ｈ、カメラ２０からフォーカス位置Ｆまでのフォーカス距離ｆ、フォーカス位置Ｆから前方側（カメラ２０側）の被写界深度Ｄの長さｄｎｅａｒ、及びフォーカス位置Ｆから後方側（カメラ２０から離れる側）の被写界深度Ｄの長さｄｆａｒに対して、以下のように被写界深度Ｄが定められる。ｆ−ｄｎｅａｒ≦ｈ及びｆ＋ｄｆａｒ≧ｈを満たす（即ち、ユーザＵの位置が被写界深度Ｄのフォーカス位置Ｆよりも前方側に含まれる）条件において、ｆ−ｄｎｅａｒができるだけ大きくなるように（即ち、被写界深度Ｄができるだけディスプレイ１０から離れるように）、被写界深度Ｄ（フォーカス位置Ｆ（フォーカス距離）及び被写界深度Ｄの長さ）が定められる。
【００３４】
但し、上記の条件だけだと、被写界深度Ｄを最小にすること（例えば、絞りで被写界深度Ｄを制御する場合にはＦ値最小（絞り最大））となってしまうので、ユーザＵがカメラ２０から一定距離以上離れている場合においては、ユースケース等を考慮の上で被写界深度Ｄを広げてもよい。
【００３５】
カメラ２０による撮像によって得られる画像が、白っぽい画像である場合、あるいは模様がないのっぺりしたものである場合（例えば、ユーザＵの背景が、模様がない平坦な壁のような場合）、画像に写り込む周期構造部材等が目立ちやすい。そこで、例えば、カメラ２０による撮像によって得られた画像における、周期構造部材等の目立ちやすさにも基づいて被写界深度Ｄを制御することとしてもよい。
【００３６】
即ち、被写界深度制御部３２は、カメラ２０からユーザＵまでの距離に加えて、カメラ２０による撮像によって得られた画像の特徴にも応じて被写界深度Ｄを制御することとしてもよい。具体的には、被写界深度制御部３２は、画像の特徴として、当該画像に写っているものの種別、当該画像の輝度値（画素値）、及び当該画像の周波数成分の少なくとも何れかにも応じて被写界深度Ｄを制御することとしてもよい。この場合、被写界深度制御部３２は、カメラ２０による撮像によって得られた画像の対象物が写っている部分及び写っていない部分の少なくとも何れかの特徴にも応じて被写界深度Ｄを制御することとしてもよい。
【００３７】
この場合、被写界深度制御部３２も、カメラ２０による撮像によって得られた画像をカメラ２０から入力する。被写界深度制御部３２は、入力した画像から画像に写っているものの種別を検出する。即ち、被写界深度制御部３２は、入力した画像のシーン検出を行う。例えば、被写界深度制御部３２は、画像処理、例えば、画像セグメンテーションによって画像に写っているものの種別を判断する。被写界深度制御部３２は、当該判断に基づいてユーザＵの後ろ（画像としてはユーザＵの周囲）に壁があるか否かを判定する。被写界深度制御部３２は、ユーザＵの後ろに壁があると判断した場合には、周期構造部材等が目立ちやすいとして、壁がないと判断したときに比べて被写界深度Ｄを浅くする。
【００３８】
あるいは、例えば、被写界深度制御部３２は、入力した画像の各画素の輝度値の平均値を算出する。被写界深度制御部３２は、算出した輝度値の平均値と予め設定された閾値とを比較する。被写界深度制御部３２は、算出した輝度値の平均値が閾値以上であった場合には、得られた画像は白っぽい画像であり周期構造部材等が目立ちやすいとして、算出した輝度値の平均値が閾値未満であった場合と比べて被写界深度Ｄを浅くする。
【００３９】
あるいは、例えば、被写界深度制御部３２は、入力した画像をフーリエ変換する。フーリエ変換によって画像は、周波数毎の値、即ち、周波数成分となる。周波数成分は、画像のテクスチャの複雑度を示すものである。高周波の周波数成分が高い場合には、当該画像が複雑であり（ごちゃごちゃしている）、高周波の周波数成分が低い場合には、当該画像が複雑でない（のっぺりしている）ことを示している。被写界深度制御部３２は、予め設定された高周波の周波数成分と予め設定された閾値とを比較する。被写界深度制御部３２は、高周波の周波数成分に閾値以下となるものがあった場合には、得られた画像は複雑ではなく周期構造部材等が目立ちやすいとして、高周波の周波数成分に閾値以下となるものがなかった場合と比べて被写界深度Ｄを浅くする。
【００４０】
上記の画像の各特徴は、組み合わせられて用いてもよい。また、上記の特徴は、ユーザＵが写っている部分及び写っていない部分の少なくとも何れかの特徴としてもよい。ユーザＵが写っている部分及び写っていない部分の区別は、上述した画像セグメンテーションによって行うこともできる。なお、被写界深度Ｄの設定に用いられる画像の特徴は、上記のものに限られず、任意の従来の画像の特徴を用いることができる。
【００４１】
被写界深度制御部３２は、上記のように設定した被写界深度Ｄで撮像が行われるようにカメラ２０を制御する。例えば、被写界深度制御部３２は、設定した被写界深度Ｄに応じた絞り（Ｆ値）及びその他のパラメータ等の撮像条件を示す情報をカメラ２０に送信して、当該撮像条件でカメラ２０に撮像を行わせる。ＰＣ３０による被写界深度Ｄの制御は、例えば、一定時間毎に定期的に行われてもよい。以上が、本実施形態に係る表示撮像装置１の構成である。
【００４２】
引き続いて、図６のフローチャートを用いて、本実施形態に係る表示撮像装置１で実行される処理（表示撮像装置１が行う動作方法）を説明する。本処理では、ディスプレイ１０によって、画像が入力されて表示される（Ｓ０１）。当該画像は、上述したように例えば、通話相手側装置の撮像によって得られた通話相手が写った画像である。当該画像は、通話相手側装置からＰＣ３０を介してディスプレイ１０に出力される。
【００４３】
また、カメラ２０によって、撮像が行われる（Ｓ０２）。なお、ディスプレイ１０による表示（Ｓ０１）とカメラ２０による撮像（Ｓ０２）とは、上記の順番に行われる必要はなく、互いに独立して行われ得る。撮像によって得られる画像は、ユーザＵが写った画像である。当該画像は、カメラ２０からＰＣ３０を介して通話相手側装置に送信される。また、ＰＣ３０では、距離検出部３１によって、カメラ２０からユーザＵまでの距離が検出される（Ｓ０３）。続いて、被写界深度制御部３２によって、当該距離に応じてカメラ２０による撮像の被写界深度Ｄが制御される（Ｓ０４）。上記の各処理（Ｓ０１〜Ｓ０４）は繰り返し行われる。以上が、本実施形態に係る表示撮像装置１で実行される処理である。
【００４４】
上述したように本実施形態では、カメラ２０からユーザＵまでの距離に応じてカメラ２０による撮像の被写界深度Ｄが制御される。この制御によって、周期構造部材等のディスプレイ１０に含まれる部材の画像への写り込みを低減又はなくすことができる。よって、本実施形態によれば、ディスプレイ１０の背後から撮像する場合に画質の低下を防止することができる。
【００４５】
また、上述した実施形態のように、カメラ２０からユーザＵまでの距離に応じて、カメラによる撮像のフォーカス距離を、カメラ２０からユーザＵまでの距離よりも長く設定することとしてもよい。この構成によれば、例えば、図４に示すように、カメラ２０からユーザＵ３までの距離が極端に短くなる場合であっても、適切に被写界深度Ｄを設定することができる。
【００４６】
また、上述した実施形態のように画像の特徴にも応じて被写界深度Ｄを制御することとしてもよい。この構成によれば、例えば、上述したように周期構造部材等の写り込みの目立ちやすさに基づいて、適切に被写界深度Ｄを設定することができる。更に、本実施形態のように画像のユーザＵが写っている部分及び写っていない部分の少なくとも何れかの特徴に応じて被写界深度Ｄを制御することとしてもよい。この構成によれば、ユーザＵが写った部分の周期構造部材等の写り込みの目立ちやすさ、あるいは、背景等の部分の周期構造部材等の写り込みの目立ちやすさに基づいて、適切に被写界深度Ｄを設定することができる。
【００４７】
また、上述した実施形態のように、カメラ２０による撮像によって得られた画像におけるユーザＵが写った位置を検出して、検出した位置に基づいてカメラ２０からユーザＵまでの距離を算出することとしてもよい。この構成によれば、ユーザＵの位置によらずに、適切に距離を算出することができる。
【００４８】
なお、本実施形態では、表示撮像装置１は、ビデオ通話に用いられるものとしたが、ビデオ通話以外に用いられるものであってもよい。例えば、カメラ２０による撮像によって得られるユーザＵが写った画像が、ディスプレイ１０に表示されてもよい。即ち、ユーザＵの自撮りに表示撮像装置１が用いられてもよい。ユーザＵの視線の位置にディスプレイ１０及びカメラ２０があるので、ユーザＵは、自分自身がどう映っているのかを確認しながら撮像を行うことができる。表示撮像装置１は、例えば、写真機（証明写真機、シール印刷機等）に用いられる。この態様では、撮影時に視線を正面に向けたまま撮影プレビュー画面を確認できるといったメリットがある。あるいは、ショッピングセンター等に置いてある拡張現実（ＡＲ：Augmented  Reality）サイネージにおいてユーザＵの映像にＣＧ（コンピュータグラフィックス）を合成する場合にも、表示撮像装置１を用いることができる。表示撮像装置１を用いることで、ＡＲサイネージをより自然に楽しめるようになる。また、自分自身を映しながらライブ配信するようなアプリケーションにも、表示撮像装置１を用いることができる。表示撮像装置１を用いることで、より自然な表情で配信できるようになる。
【００４９】
また、本実施形態では、カメラ２０による撮像の対象物（距離の算出対象）は、ビデオ通話を行うユーザＵであることとしたが、表示撮像装置１の利用形態によっては、当該ユーザ以外をカメラ２０による撮像の対象物としてもよい。
【００５０】
なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【００５１】
例えば、本開示の一実施の形態におけるＰＣ３０は、本開示の方法の処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係るＰＣ３０のハードウェア構成の一例を示す図である。上述のＰＣ３０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
【００５２】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。ＰＣ３０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００５３】
ＰＣ３０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
【００５４】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central  Processing  Unit）によって構成されてもよい。例えば、上述のＰＣ３０における各機能は、プロセッサ１００１によって実現されてもよい。
【００５５】
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、ＰＣ３０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【００５６】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  ＲＯＭ）、ＲＡＭ（Random  Access  Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
【００５７】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact  Disc  ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。
【００５８】
通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
【００５９】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
【００６０】
また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
【００６１】
また、ＰＣ３０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＰＬＤ（Programmable  Logic  Device）、ＦＰＧＡ（Field  Programmable  Gate  Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
【００６２】
本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【００６３】
入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【００６４】
判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【００６５】
本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【００６６】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【００６７】
ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【００６８】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital  Subscriber  Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【００６９】
本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
【００７０】
また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。
【００７１】
上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。
【００７２】
本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【００７３】
本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【００７４】
本開示において、例えば、英語でのa,  an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【００７５】
本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
【符号の説明】
【００７６】
１…表示撮像装置、１０…ディスプレイ、１１…マスキング部材、２０…カメラ、３１…距離検出部、３２…被写界深度制御部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。
【図１】
2019207923.tif 000003
【図２】
2019207923.tif 000004
【図３】
2019207923.tif 000005
【図４】
2019207923.tif 000006
【図５】
2019207923.tif 000007
【図６】
2019207923.tif 000008
【図７】
2019207923.tif 000009
【国際調査報告】
2019207923.tif 000010
2019207923.tif 000011
2019207923.tif 000012
2019207923.tif 000013