(57)【要約】表示撮像装置７は、周期構造部材１５を含む透過型のディスプレイ１と、ディスプレイ１の背後からディスプレイ１の前方を撮像するカメラ２と、カメラ２の撮像画像に基づいて前方画像を生成する生成部６２と、を備える。生成部６２は、カメラ２の受光位置Ｒが複数の位置の各々にあるときに取得されることで画像中の周期構造部材１５が異なる位置に表示された複数の撮像画像に基づいて、周期構造部材１５が表示されないように、前方画像を生成する。
2019207922.tif 000002
【特許請求の範囲】
【請求項１】
周期構造部材を含む透過型のディスプレイと、
前記ディスプレイの背後から前記ディスプレイの前方を撮像するカメラと、
前記カメラの撮像画像に基づいて前方画像を生成する生成部と、
を備え、
前記生成部は、前記カメラの受光位置が複数の位置の各々にあるときに取得されることで画像中の前記周期構造部材が異なる位置に表示された複数の撮像画像に基づいて前記周期構造部材が表示されないように、前方画像を生成する、
を備える、
表示撮像装置。
【請求項２】
前記カメラの受光位置は、前記カメラの移動に応じて、前記複数の位置の間で移動する、
請求項１に記載の表示撮像装置。
【請求項３】
前記カメラの受光位置は、前記複数の位置に同時に存在する、
請求項１に記載の表示撮像装置。
【請求項４】
前記生成部は、前記カメラの受光位置が前記複数の位置を通る往復経路の各位置にあるときに順に取得された前記カメラの撮像画像に基づいて、前記前方画像を生成し、
前記複数の位置は、前記往復経路の折返し位置を含み、
前記生成部は、前記カメラの受光位置が前記往復経路の往路における複数の位置にあるときに取得された前記カメラの撮像画像に基づいて第１の前方画像を生成し、前記往復経路の復路における複数の位置にあるときに取得された前記カメラの撮像画像に基づいて第２の前方画像を生成し、
前記生成部は、前記カメラの受光位置が前記往復経路の折り返し位置にあるときに取得された前記カメラの撮像画像を共通に用いて、前記第１の前方画像及び前記第２の前方画像を生成する、
請求項１〜３のいずれか１項に記載の表示撮像装置。
【請求項５】
前記周期構造部材は、
前記ディスプレイの水平方向に延在し、前記ディスプレイの垂直方向において等間隔に配置された複数の水平部材と、
前記垂直方向に延在し、前記水平方向において等間隔に配置された複数の垂直部材と、
を含み、
前記複数の位置は、前記水平方向及び前記垂直方向に対して傾斜方向に並んでいる、
請求項１〜４のいずれか１項に記載の表示撮像装置。
【請求項６】
前記複数の位置のうちの隣り合う位置同士の間の距離は、周期構造部材の部材幅以上且つ周期間隔の２分の１未満であり、
前記生成部は、前記カメラの前記受光位置が前記複数の位置のうちの３つの位置の各々にあるときに取得された前記カメラの撮像画像に対してメディアンフィルタをかけることによって得られる画像を、前記前方画像として生成する、
請求項１〜５のいずれか１項に記載の表示撮像装置。
【請求項７】
前記カメラの撮像画像の撮像画素が前記周期構造部材を表示する場合の、撮像画素の輝度値を予め記憶している記憶部をさらに備え、
前記複数の位置のうちの隣り合う位置同士の間の距離は、周期構造部材の部材幅以上且つ周期間隔未満であり、
前記生成部は、前記カメラの前記受光位置が前記複数の位置のうちの２つの位置の各々にあるときに取得された前記カメラの撮像画像中の各々の撮像画素のうち、前記記憶部に記憶されている輝度値から離れた輝度値を有する撮像画素を組み合わせて得られる画像を、前記前方画像として生成する、
請求項１〜５のいずれか１項に記載の表示撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示撮像装置に関する。
【背景技術】
【０００２】
視線一致した状態でのビデオ通話を実現するための手法が提案されている。特許文献１は、通話相手を表示する透過型ディスプレイの背後に設けられたカメラでディスプレイ前方のユーザを撮像する手法を開示する。この手法によれば、ユーザと通話相手とが向かい合った状態でユーザの正面を撮像できるので、視線一致した状態でのビデオ通話が実現できる可能性が高まる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２３２８２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
透過型ディスプレイでは、ディスプレイ駆動のために存在する信号線等を含む部材が周期的に配置されている。このような部材（以下、「周期構造部材」等とも呼ぶ場合もある）がカメラに写り込むと撮像画像の品質（画質）が低下する。この問題について、特許文献１では全く検討されていない。本発明の一態様は、視線一致した状態を実現するとともに画質を向上させることが可能な表示撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一態様に係る表示撮像装置は、周期構造部材を含む透過型のディスプレイと、ディスプレイの背後からディスプレイの前方を撮像するカメラと、カメラの撮像画像に基づいて前方画像を生成する生成部と、を備え、生成部は、カメラの受光位置が複数の位置の各々にあるときに取得されることで画像中の周期構造部材が異なる位置に表示された複数の撮像画像に基づいて、周期構造部材が表示されないように前方画像を生成する。【０００６】
上記表示撮像装置によれば、ディスプレイの背後からディスプレイの前方をカメラで正面から撮像することができる。ビデオ通話等に用いる場合には、ディスプレイの前方にいるユーザを正面から撮像できるので、視線一致した状態を実現することができる。さらに、画像中の周期構造部材が異なる位置に表示された複数の撮像画像に基づいて、周期構造部材が表示されないように前方画像が生成される。前方画像に周期構造部材が表示されないようになる分、画質を向上させることもできる。
【発明の効果】
【０００７】
本発明の一態様によれば、視線一致した状態を実現するとともに画質を向上させることが可能な表示撮像装置が提供される。
【図面の簡単な説明】
【０００８】
【図１】実施形態に係る表示撮像装置の概略構成図である。
【図２】ディスプレイの一部の正面拡大図、及び、カメラの光景を概念的に示す図である。
【図３】制御装置のブロック図を示す図である。
【図４】複数の受光位置での撮像画像を取得する手法の例を示す図である。
【図５】前方画像の生成の例を示す図である。
【図６】制御装置によって実行される処理の例を示すフローチャートである。
【図７】ビデオ通話システムの概略構成図である。
【図８】制御装置のブロック図を示す図である。
【図９】前方画像の生成の例を示す図である。
【図１０】制御装置によって実行される処理の例を示すフローチャートである。
【図１１】制御装置等のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面中、同一要素には同一符号を付し、重複する説明は省略する。
【００１０】
図１は、実施形態に係る表示撮像装置７の概略構成を示す。表示撮像装置７は、ディスプレイ１と、カメラ２と、制御装置６とを含む。ディスプレイ１、カメラ２及び制御装置６は、例えば図示しない支持部材等によって支持されて所望の位置に配置される。図１には、表示撮像装置7のユーザであるユーザＵ１も示される。なお、いくつかの図には、ＸＹＺ直交座標系が示される。Ｘ軸は、ディスプレイ１の水平方向を示す。Ｙ軸は、ディスプレイ１の垂直方向を示す。Ｚ軸は、ディスプレイ１の前後方向を示す。
【００１１】
ディスプレイ１は、透過型のディスプレイであり、例えば各表示画素が有機発光ダイオード（ＯＬＥＤ：Organic Light Emitting Diode）を含んで構成される自発光型のディスプレイである。ディスプレイ１の前面１ａは、ディスプレイ１の表示面である。ディスプレイ１は、前方に視野角を有しており、ディスプレイ１からの光（映像光等）は、視野角の範囲内で前面１ａから前方に進む。ディスプレイ１の前面１ａに表示される映像は、ディスプレイ１を正面方向からみたときに最も明るくなる。
【００１２】
カメラ２は、ディスプレイ１の背後に設けられる。カメラ２は、ディスプレイ１を介してディスプレイ１の前方を撮像する。撮像対象の例は、ユーザＵ１である。カメラ２が所定の撮像フレームレートで撮像を繰り返すことにより、時系列で連続する複数の撮像画像が取得される。このようにして取得された複数の撮像画像は、ディスプレイ１の前方の映像を構成しうる。
【００１３】
カメラ２の画角の範囲内に位置する撮像対象物からの光が、カメラ２に入射する。図１において、カメラ２の画角の広がりが、角度αを用いて概念的に示される。カメラ２は、受光位置Ｒで入射光を受ける。受光位置Ｒはカメラ２の撮像起点の位置であり、受光位置Ｒから前方を見た光景がカメラ２の撮像画像となる。カメラ２は、光電変換素子、画像処理回路等を含む。光電変換素子の位置がカメラ２の受光位置Ｒであってもよい。
【００１４】
カメラ２の受光位置Ｒとディスプレイ１の背面１ｂとの間の距離を、距離Ａ１と称し図示する。受光位置ＲとユーザＵ１との間の距離を、距離Ａ２と称し図示する。距離Ａ１は、距離Ａ２よりも十分に小さい。距離Ａ２は、表示撮像装置７の利用態様にもよるが、通常は数十センチ〜数メートル程度である。距離Ａ１は、距離Ａ２の数十分の一から数百分の一程度、例えば数ｍｍ〜数ｃｍ程度に設定されてよい。距離Ａ１ができるだけ小さくなるように、カメラ２の端部２ａがディスプレイ１の背面１ｂに近接あるいは接した状態で、カメラ２をディスプレイ１の背後に設けてもよい。
【００１５】
カメラ２によってディスプレイ１の前方を撮像する場合、次に図２を参照して説明する問題が生じうる。図２の（ａ）は、ディスプレイ１の一部の正面拡大図を概念的に示す。ディスプレイ１は、複数の表示画素１１と、周期構造部材１５とを含む。各表示画素１１は、ディスプレイ１のサブピクセルであってよく、その場合、各表示画素１１は、Ｒ、Ｇ、Ｂの三原色のいずれかの色に対応した発光素子を含む。発光素子の例は、上述の有機発光ダイオードである。周期構造部材１５は、ディスプレイ１を駆動するための網目状に存在する信号線を含む。例えば信号線からの電気信号（制御信号等）に応じて、各表示画素１１の発光素子の輝度値が調整される。この他に、信号線の配線に必要な部材等が、周期構造部材１５に含まれてよい。周期構造部材１５は、表示画素１１を網目状に区画する格子枠でもある。図２に示される例では、一つの網目内に一つの表示画素１１が含まれる。ただし、一つの網目内に複数の表示画素１１が含まれてもよい。例えば水平方向に走る一本の信号線が当該信号線の両側に位置する表示画素１１の発光素子を駆動する場合には、垂直方向において一つの網目内に２つの表示画素１１が含まれてよい。垂直方向に走る一本の信号線が当該信号線の両側に位置する表示画素１１の発光素子を駆動する場合には、水平方向において一つの網目内に２つの表示画素１１が含まれてよい。一つの網目に含まれる表示画素１１の数がフレキシブルであるので、網目の形状は正方形には限定されず、例えば長方形になりうる。
【００１６】
周期構造部材１５は、複数の水平部材１５ｘと、複数の垂直部材１５ｙとを含む。各水平部材１５ｘは、ディスプレイ１の水平方向に延在し、ディスプレイ１の垂直方向において等間隔に配置される。各垂直部材１５ｙは、ディスプレイ１の垂直方向に延在し、ディスプレイ１の水平方向において等間隔に配置される。周期構造部材１５の寸法の詳細については、次の図２の（ｂ）を参照して説明する。
【００１７】
ディスプレイ１を介してディスプレイ１の前方を撮像するカメラ２には、例えば図２の（ｂ）に示されるような光景が写る。図示されるように、カメラ２には、ディスプレイ１の周期構造部材１５が写り込む。周期構造部材１５は、通常は、黒色あるいは黒色に近い色の格子枠として写り込む。図２の（ｂ）には、周期構造部材１５の寸法に関して、以下の符号が付されている。
垂直部材幅Ｗｘ：垂直部材１５ｙの水平方向における長さであり、水平方向における周期構造部材１５の部材幅である。
垂直部材間隔Ｄｘ：隣り合う垂直部材１５ｙ同士の間の水平方向の距離である。水平方向における周期構造部材１５の周期間隔（網目の大きさ）でもある。垂直部材間隔Ｄｘは、垂直部材幅Ｗｘよりも大きくてよい（例えば２倍以上）。
水平部材幅Ｗｙ：水平部材１５ｘの垂直方向における長さであり、垂直方向における周期構造部材１５の部材幅である。
水平部材間隔Ｄｙ：隣り合う水平部材１５ｘ同士の間の垂直方向の距離である。垂直方向における周期構造部材１５の周期間隔（網目の大きさ）でもある。水平部材間隔Ｄｙは、水平部材幅Ｗｙよりも大きくてよい（例えば２倍以上）。
【００１８】
カメラ２の撮像画素（図示しない）の大きさについて説明する。周期構造部材１５の網目と比較した場合、カメラ２の撮像画素は、網目よりも十分に小さくてよい。一つの網目内の水平方向の撮像画素数をＮｘとし垂直方向の撮像画素数をＮｙとすると、Ｎｘ及びＮｙは数個〜数百個程度であってよい。垂直部材間隔Ｄｘ及び垂直部材間隔Ｄｘは、カメラ２の撮像画素数を単位として表すこともできる。その場合、垂直部材間隔Ｄｘの大きさはＮｘであり、水平部材間隔Ｄｙの大きさはＮｙである。
【００１９】
上述の周期構造部材１５に関する寸法、すなわち垂直部材間隔Ｄｘ、垂直部材幅Ｗｘ、水平部材間隔Ｄｙ、及び、水平部材幅Ｗｙは、例えば、予めキャリブレーションを行うことによって計測されていてよい。
【００２０】
周期構造部材１５のライン幅と比較した場合、カメラ２の撮像画素の大きさは、水平方向において垂直部材幅Ｗｘ以下であり、垂直方向において水平部材幅Ｗｙ以下でありうる。つまり、垂直部材幅Ｗｘ及び水平部材幅Ｗｙは、カメラ２の一つの撮像画素の大きさ以上になりうる。これは、先に説明したように、カメラ２の受光位置Ｒとディスプレイ１の背面１ｂとの間の距離Ａ１が小さく、カメラ２が周期構造部材１５を至近距離から撮像してしまうためである。この場合、撮像画像中の水平部材１５ｘ及び垂直部材１５ｙが撮像画像に表示され、撮像画像に周期構造部材１５が写り込む可能性が高まる。なお、垂直部材幅Ｗｘ及び水平部材幅Ｗｙの大きさの違い等に起因して、水平部材１５ｘのみが写り込む場合もあるし、垂直部材１５ｙのみが写り込む場合もある。周期構造部材１５の写り込みに起因して、カメラ２によって撮像される画像の品質（画質）が低下する可能性も高まる。この問題は、次に説明する制御装置６によって改善される。
【００２１】
図３は、制御装置６のブロック図を示す。制御装置６は、例えばカメラ２と通信可能に構成されており、カメラ２による撮像に関するさまざまな制御を行ったり、カメラ２の撮像画像を取得したりすることができる。制御装置６は、とくにその機能ブロックとして、取得部６１と、生成部６２とを含む。なお、取得部６１は、カメラ２を移動させるような物理的な要素（例えば後述の保持部６１ａ）を含みうる。
【００２２】
取得部６１は、カメラ２の受光位置Ｒが複数の位置の各々にあるときのカメラ２の撮像画像を取得する部分である。ここで取得される撮像画像は、周期構造部材１５が異なる位置に表示された複数の撮像画像である。一実施形態では、カメラ２は、移動可能に構成される。カメラ２の受光位置Ｒは、カメラ２の移動に応じて、複数の位置の間で移動する。例えば図４の（ａ）に例示される手法では、取得部６１が、カメラ２を保持する保持部６１ａを制御することによって、カメラ２自体を移動させる移動部としても機能する。後述するように、カメラ２が（微小）振動するように制御されてもよい。保持部６１ａは、公知の手法を用いてさまざまな態様で実現できる。保持部６１ａは、例えば、振動子を用いて微小移動する部品であっても良いし、保持部６１ａを移動させるのではなく、カメラ２の本体、撮像素子（ＣＭＯＳ、ＣＣＤ等）、レンズ等に振動子を設けて、微小な移動を与えて実現しても良いし、カメラ２の内部に設けたＭＥＭＳ（Micro Electro Mechanical Systems）ミラーで光の反射方向を制御することでカメラ２を微小振動した状態と同じ映像を撮影するような制御によって実現しても良い。
【００２３】
一実施形態では、カメラ２の受光位置Ｒは、複数の位置に同時に存在する。そのようなカメラとして、例えばライトフィールドカメラ、３Ｄカメラ等を用いることができる。図４の（ｂ）には、ライトフィールドカメラ２１の光学系の概略構成が示される。ライトフィールドカメラ２１の撮像対象が、撮像対象３０として概念的に図示される。ライトフィールドカメラ２１では、主レンズ２４と、ＣＭＯＳ／ＣＣＤ等の撮像素子（センサ）２２との間において、撮像素子２２の前方にマイクロレンズアレイ２３が配置されている。ライトフィールドカメラの原理は公知であるので、詳細な説明は省略する。例えばライトフィールドカメラ２１を用いれば、カメラ自体を移動させなくとも、カメラ２の受光位置Ｒを移動させた場合と同様の複数の撮像画像（画像群）が取得できる。しかも、そのような画像群を、１回の撮像（１ショット）で取得できる。この場合、画像群を構成する撮像画像の数を１ショットに要する時間で除した値を、撮像フレームレートとみなすことができる。ライトフィールドカメラ２１によれば、図４の（ａ）に示される保持部６１ａのような移動を生じさせるための動作系が不要となる分、実質的にカメラ２の受光位置Ｒの移動速度（振動の場合には振動周波数）を高めるのと同様の効果が奏される。これにより、カメラ２の撮像フレームレートを上げることも可能になる。
【００２４】
以降は、図４の（ａ）を参照して説明したようにカメラ２の受光位置Ｒが複数の位置の間で移動し、各位置でのカメラ２の撮像画像が取得される形態について主に説明する。そうでなく図４の（ｂ）を参照して説明したようにカメラ２の受光位置Ｒが複数の位置に同時に存在する形態では、カメラ２の受光位置Ｒの移動先となる各位置に対応する複数の受光位置が存在するように調整されたライトフィールドカメラ等を用いればよい。その場合は、以降の説明におけるカメラ２の受光位置Ｒの移動が不要であるものとして理解すればよい。
【００２５】
図３に戻り、取得部６１は、カメラ２の受光位置Ｒを複数の位置に移動させる。一実施形態において、取得部６１は、水平方向及び垂直方向に対して傾斜する方向（以下、「傾斜方向」と呼ぶ）に、カメラ２の受光位置Ｒを移動させてよい。複数の位置は、ディスプレイ１の背面１ｂと平行な座標（ＸＹ平面座標）で規定されてよい。複数の位置は、Ｚ軸方向において同じ位置であってよい。この場合、カメラ２の受光位置Ｒが移動しても、カメラ２の受光位置Ｒと背面１ｂとの間の距離Ａ１（図１参照）は変化しない。
【００２６】
複数の位置は、各受光位置で取得される撮像画像同士の間に微小な視差（微視差）が生じるように定められる。微視差が生じるとは、各受光位置で取得される撮像画像において、撮像対象がほぼ同じ位置に表示される（重複する）のに対し、周期構造部材１５は異なる位置に表示される（重複しない）ように、撮像画像間で視差が生じることを意味する。このような微視差が生じるのは、先に図１を参照して説明したように、カメラ２の受光位置Ｒとディスプレイ１の背面１ｂとの間の距離Ａ１が、受光位置Ｒと撮像対象であるユーザＵ１との間の距離Ａ２よりも小さいからである。複数の位置は、複数の位置の移動方向（例えば上述の傾斜方向）に直線上に並んで配置される。複数の位置は、３以上の位置であってもよい。
【００２７】
微視差を生じさせるためのカメラ２の受光位置Ｒ間の距離（受光位置Ｒの移動距離）について説明する。まず、カメラ２の受光位置Ｒとディスプレイ１の背面１ｂとの間の距離Ａ１が十分に小さいので、カメラ２の受光位置ＲのＸＹ平面上での移動は、ディスプレイ１の周期構造部材１５を含む平面上の移動とみなすことができる。よって、カメラ２の受光位置Ｒの移動距離と同じだけ、カメラ２の撮像画像中の周期構造部材１５も移動する。ここで、カメラ２の受光位置Ｒの移動距離の最小単位を、以下のように定義する。
移動距離Δｘ：移動方向（例えば傾斜方向）において隣り合う位置同士の間の水平方向の距離（離間距離）である。座標の設定の仕方によっては、Δｘは負の値でもよい。
移動距離Δｙ：移動方向において隣り合う位置同士の間の垂直方向の距離（離間距離）である。座標の設定の仕方によっては、Δｙは負の値でもよい。
上記のように移動距離Δｘ及び移動距離Δｙは負の値もとりうるが、以下では、移動距離Δｘの大きさ及び移動距離Δｙの大きさを、単に移動距離Δｘ及び移動距離Δｙと呼ぶ。
【００２８】
移動距離Δｘ及び移動距離Δｙは、図２の（ｂ）に示される周期構造部材１５の寸法を用いて、次のように設定される。移動距離Δｘは、垂直部材幅Ｗｘ以上且つ垂直部材間隔Ｄｘ未満に設定される。つまり、Ｗｘ≦｜Δｘ｜＜Ｄｘである。移動距離Δｙは、水平部材幅Ｗｙ以上且つ水平部材間隔Ｄｙ未満に設定される。つまり、Ｗｙ≦｜Δｙ｜＜Ｄｙである。この後で説明する取得部６１の制御では、移動距離Δｘは、垂直部材間隔Ｄｘの２分の１未満、つまり、Ｗｘ≦｜Δｘ｜＜（Ｄｘ）／２に設定される。移動距離Δｙは、水平部材間隔Ｄｙの２分の１未満、つまり、Ｗｙ≦｜Δｙ｜＜（Ｄｙ）／２に設定される。
【００２９】
前述のように、垂直部材間隔Ｄｘ及び垂直部材間隔Ｄｘの大きさはカメラ２の撮像画素数Ｎｘ及びＮｙで表すこともできる。その場合には、移動距離Δｘは、Ｎｘ未満、あるいは（Ｎｘ／２）未満として表される。移動距離Δｙは、Ｎｙ未満、あるいは（Ｎｙ／２）未満として表される。
【００３０】
移動距離Δｘ及び移動距離Δｙの技術的意義を説明する。移動距離Δｘが垂直部材幅Ｗｘ以上なので、カメラ２の受光位置Ｒの移動前後で取得される撮像画像中の同じ位置では垂直部材１５ｙは重複しない。また、移動距離Δｘが垂直部材間隔Ｄｘ未満であるので、カメラ２の受光位置Ｒの移動前後で取得される撮像画像中の同じ位置に異なる垂直部材１５ｙ（例えば隣り合う垂直部材１５ｙ）が重複することもない。さらに、移動距離Δｘが垂直部材間隔Ｄｘの２分の１未満の場合には、受光位置Ｒの２回の移動にわたって取得される３つの撮像画像中の同じ位置でも、垂直部材１５ｙは重複しない。
【００３１】
同様に、移動距離Δｙが水平部材幅Ｗｙ以上なので、移動前後で取得される撮像画像中の同じ位置では、水平部材１５ｘは重複しない。また、移動距離Δｙが水平部材間隔Ｄｙ未満であるので、移動前後で取得される画像中の同じ位置に異なる水平部材１５ｘ（例えば隣り合う水平部材１５ｘ）が重複することもない。さらに、移動距離Δｙが水平部材間隔Ｄｙの２分の１未満の場合には、受光位置Ｒの２回の移動にわたって取得される３つの撮像画像中の同じ位置でも、水平部材１５ｘは重複しない。
【００３２】
なお、カメラ２の撮像画像に水平部材１５ｘが写り込まないほど水平部材幅Ｗｙが小さい場合には移動距離Δｘも十分に小さくできる。その場合、移動距離Δｘはゼロであってもよい。カメラ２の撮像画像に垂直部材１５ｙが写り込まないほど垂直部材幅Ｗｘが小さい場合には移動距離Δｙも十分に小さくできる。その場合、移動距離Δｙはゼロであってもよい。
【００３３】
取得部６１が傾斜方向にカメラ２の受光位置Ｒを移動させる場合、傾斜方向の水平方向に対する角度（傾斜角度）は、移動距離Δｘ及び移動距離Δｙを用いて、傾斜角度＝ａｒｃｔａｎ（Δｙ／Δｘ）として表される。傾斜角度は９０°未満である。移動距離Δｘ及び移動距離Δｙが同じであれば、傾斜方向の角度は４５°に設定される。移動距離Δｘ及び移動距離Δｙが、垂直部材幅Ｗｘ、垂直部材間隔Ｄｘ、水平部材幅Ｗｙ及び垂直部材間隔Ｄｘによって異なりうることを考慮すると、傾斜角度は、４５°とは異なる値であってもよい。移動距離Δｘ及び移動距離Δｙがある程度近い場合、例えば、傾斜角度は、４５°±１０°、４５°±２０°又は４５°±３０°の範囲内の大きさとなりうる。
【００３４】
なお、移動距離Δｘ及び移動距離Δｙの一方の移動距離がゼロの場合には、傾斜角度は０°又は９０°である。その場合、取得部６１は、実質的に水平方向又は垂直方向にカメラ２の受光位置Ｒを移動させる。
【００３５】
図３に戻り、取得部６１は、カメラ２の撮像フレームレートに連動して、カメラ２の受光位置Ｒを移動させる。具体的に、撮像画像が取得される時（撮像時）にカメラ２の受光位置Ｒが複数の位置のいずれかに位置するように、取得部６１がカメラ２の受光位置Ｒを移動させる。カメラ２の撮像フレームレートが６０ｆｐｓである場合、取得部６１は、カメラ２の受光位置Ｒを１秒間に６０回移動させる。
【００３６】
さらに、取得部６１は、カメラ２の受光位置Ｒを往復移動させてよい。この場合、取得部６１は、先に図４の（ａ）を参照して説明したように、カメラ２の受光位置Ｒを（高速且つ微小に）振動させてよい。往復経路の一方の経路の長さ（つまり振動の幅）は、水平方向において垂直部材間隔Ｄｘ未満となり、垂直方向において水平部材間隔Ｄｙ未満となるように設定されてよい。
【００３７】
図３に戻り、生成部６２について説明する。生成部６２は、取得部６１によって取得された撮像画像に基づいて、ディスプレイ１の前方の画像（以下、「前方画像」とも呼ぶ）を生成する部分である。生成部６２は、周期構造部材１５が表示されないように、前方画像を生成する。そのような前方画像は、カメラ２の撮像画像（例えば図２の（ｂ）に示されるような画像）と比較して周期構造部材１５の写り込みが低減された画像である。前方画像は、周期構造部材１５が無い（除去された）画像であってもよい。
【００３８】
取得部６１がカメラ２の受光位置Ｒを往復移動させる場合、生成部６２は、カメラ２の受光位置Ｒが往復経路の各位置にあるときに順に取得されたカメラ２の撮像画像に基づいて前方画像を生成してよい。このような生成部６２による前方画像の生成には、時系列でのメディアンフィルタが用いられてよい。メディアンフィルタ自体は公知の手法であるので、ここでは説明を省略する。メディアンフィルタの機能は、生成部６２自体に備えられていてもよいし、そうでなく、他の要素（制御装置６外部の図示しないサーバ等であってもよい）が備えるメディアンフィルタの機能を生成部６２が利用してもよい。
【００３９】
メディアンフィルタを用いる場合、生成部６２は、複数の位置のうちの受光位置Ｒの移動方向（例えば傾斜方向）に並ぶ少なくとも３つの受光位置で取得される撮像画像に対してメディアンフィルタをかけることによって得られる画像を、前方画像として生成してよい。例えば、３つの撮像画素の各撮像画素が有する輝度値の中央値を輝度値とした撮像画素を組み合わせて得られる画像が、前方画像として生成される。カメラ２の受光位置Ｒが３つの位置の各々にあるときに取得される撮像画像は、カメラ２の受光位置Ｒが撮像フレームに連動して移動した際に取得された時系列上の３つの撮像画像である。このような時系列上の複数の撮像画像（画像群）に対してメディアンフィルタが施されることになる。以下では、複数の位置が３つの場合について説明する。
【００４０】
生成部６２による前方画像の生成の例を、図５を参照して説明する。図５の（ａ）〜（ｃ）は、カメラ２の受光位置Ｒが３つの位置の各々にあるときに取得される撮像画像をそれぞれ示す。図中、矢印ＡＲは受光位置Ｒの移動方向を示す。上述のように受光位置Ｒは往復移動するので、矢印ＡＲは往復経路の往路又は復路の方向を示す。図５の（ａ）〜（ｃ）に示される撮像画像が取得されるカメラ２の受光位置Ｒを、受光位置Ｒ０〜Ｒ２と称し図示する。ここで、撮像画像中の周期構造部材１５の格子点の一つの座標を、P（ｘ、ｙ）として表す。格子点は、周期構造部材１５において水平部材１５ｘ及び垂直部材１５ｙが交わる点である。
【００４１】
図５の（ａ）は、受光位置Ｒ０で取得される撮像画像を示す。撮像画像において、撮像対象であるユーザＵ１の手前に、周期構造部材１５が存在している。周期構造部材１５の格子点の一つの座標は、P（ｘ０、ｙ０）である。
【００４２】
図５の（ｂ）は、受光位置Ｒ１で取得される撮像画像を示す。受光位置Ｒ１は、受光位置Ｒ０から移動距離Δｘ及び移動距離Δｙだけ移動した位置である。この撮像画像では、格子点の座標は、Ｐ（ｘ１、ｙ１）であり、ｘ１＝ｘ０＋Δｘ、ｙ１＝ｙ０＋Δｙとなる。受光位置Ｒ１で取得される撮像画像においても、ユーザＵ１の手前には、周期構造部材１５が存在している。受光位置Ｒ１で取得される撮像画像では、受光位置Ｒで取得される撮像画像に対して微視差が生じるため、ユーザＵ１の位置は同じであるのに対し周期構造部材１５の位置は移動している。
【００４３】
図５の（ｃ）は、受光位置Ｒ２で取得される撮像画像を示す。受光位置Ｒ２は、受光位置Ｒ１から移動距離Δｘ及び移動距離Δｙだけ移動した位置である。この撮像画像では、格子点の座標は、P（ｘ２、ｙ２）であり、ｘ２＝ｘ１＋Δｘ、ｙ１＝ｙ１＋Δｙとなる。受光位置Ｒ２で取得される撮像画像においても、ユーザＵ１の手前には、周期構造部材１５が存在している。受光位置Ｒ２で取得される撮像画像では、受光位置Ｒ及び受光位置Ｒ１で取得される撮像画像に対して微視差が生じるため、ユーザＵ１の位置は同じであるのに対し周期構造部材１５の位置は移動している。
【００４４】
ここで、先に説明したように、移動距離Δｘ及び移動距離Δｙはそれぞれ、Ｗｘ≦｜Δｘ｜＜（Ｄｘ）／２及びＷｙ≦｜Δｙ｜＜（Ｄｙ）／２に設定される。この場合、各受光位置Ｒ０〜Ｒ２で取得される３つの撮像画像中の同じ位置には、垂直部材１５ｙが重複していないし、水平部材１５ｘも重複していない。そのため、３つの撮像画中の同じ位置の撮像画素を比較した場合、３つの撮像画素のうち垂直部材１５ｙを表示する撮像画素は、多くとも１つである。少なくとも２つの撮像画素は、垂直部材１５ｙではなく撮像対象（例えばユーザＵ１）を表示する撮像画素である。同様に、３つの撮像画素のうち、水平部材１５ｘを表示する撮像画素は、多くとも１つである。少なくとも２つの撮像画素は、水平部材１５ｘではなく撮像対象を表示する撮像画素である。したがって、これら３つの撮像画像に対してメディアンフィルタをかければ、図５の（ｄ）に示されるような周期構造部材１５の水平部材１５ｘ及び垂直部材１５ｙが表示されないような（写り込みが低減された）１つの撮像画像が得られ、この撮像画像を、前方画像として生成することができる。
【００４５】
ここで、取得部６１がカメラ２の受光位置Ｒを往復移動させる場合には、受光位置Ｒが矢印ＡＲの向きに沿って受光位置Ｒ０から受光位置Ｒ２まで移動した後、今度は、矢印ＡＲと逆の向きに沿って受光位置Ｒ２から受光位置Ｒ０まで移動する。矢印ＡＲが往復経路の往路方向である場合、往路では受光位置Ｒが受光位置Ｒ０、受光位置Ｒ１及び受光位置Ｒ２をこの順に通り、復路では受光位置Ｒが受光位置Ｒ２、受光位置Ｒ１及び受光位置Ｒ０をこの順に通る。生成部６２は、カメラ２の受光位置Ｒが往復経路の往路（受光位置Ｒ０から受光位置Ｒ２）の各位置にあるときに取得された撮像画像に基づいて第１の前方画像を生成し、往復経路の復路（受光位置Ｒ２から受光位置Ｒ０）の各位置にあるときに取得された撮像画像に基づいて第２の前方画像を生成してよい。これら第１の前方画像及び第２の前方画像は、往復移動が継続する間、繰り返し生成されてよい。ここで、受光位置Ｒ２は往路から復路への折返し位置であり、受光位置Ｒ０は復路から往路への折返し位置である。カメラ２の受光位置Ｒがこれらの往復経路の折返し位置にあるときに取得された撮像画像が、第１の前方画像及び第２の前方画像の生成に共通に用いられてもよい。具体的に、受光位置Ｒ０及び受光位置Ｒ２で取得された撮像画像は、往復経路の往路（受光位置Ｒ０から受光位置Ｒ２）で取得された３つの撮像画像のうちの一つの撮像画像であるとともに、往復経路の復路（受光位置Ｒ２から受光位置Ｒ０）で取得された３つの撮像画像のうちの一つの撮像画像でもある。したがって、受光位置Ｒ２で取得された撮像画像は、往路で取得された３つの撮像画像に対して施されるメディアンフィルタと、その後の復路で取得された３つの撮像画像に対して施されるメディアンフィルタとで共通に用いられてよい。また、受光位置Ｒ０で取得された撮像画像は、復路で取得された３つの撮像画像に対して施されるメディアンフィルタと、その後の往路で取得された３つの撮像画像に対して施されるメディアンフィルタとで共通に用いられてよい。
【００４６】
生成部６２による前方画像の生成のタイミングについて説明する。まず、カメラ２の撮像の時刻ｔを、ｔ＝ｔ０、ｔ１、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６、ｔ７、ｔ８、ｔ９・・・として表す。時刻ｔの間隔をΔｔとすると、Δｔは、カメラ２の撮像フレームレートの逆数になる。次に、生成部６２によって生成される前方画像が対応する時刻ｔ´を、ｔ´＝ｔ´０、ｔ´１、ｔ´２、ｔ´３・・・として表す。この場合、時刻ｔ´０に対応する前方画像は、時刻ｔ０〜ｔ２（における各受光位置Ｒ）で取得された３つの撮像画像（時系列の画像群）に基づいて生成される。時刻ｔ´１に対応する前方画像は、時刻ｔ２〜ｔ４で取得された３つの撮像画像に基づいて生成される。時刻ｔ´２に対応する前方画像は、時刻ｔ４〜ｔ６で取得された３つの撮像画像に基づいて生成される。時刻ｔ´３に対応する前方画像は、時刻ｔ６〜ｔ８で取得された３つの撮像画像に基づいて生成される。それ以降の時刻ｔ´についても同様である。この場合、時刻ｔ＝ｔ０、ｔ２、ｔ４、ｔ６、ｔ８・・・という時刻ｔの２つ分の間隔が、時刻ｔ´の１つ分の間隔に対応する。したがって、時刻ｔ´の間隔をΔｔ´とすると、Δｔ´は、Δｔの２倍になる。カメラ２の撮像フレームレートが６０ｆｐｓの場合、Δｔは６０分の１秒であり、Δｔ´は３０分の１秒になる。つまり、生成部６２によって生成される前方画像を映像表示する場合の映像表示フレームレートは、カメラ２の撮像フレームレート６０ｆｐｓの２分の１の３０ｆｐｓとなる。
【００４７】
時刻ｔ´は、３つの時刻ｔのいずれかの時刻に対応づけられてよく、例えば３つの時刻ｔのうちの最後の時刻ｔと同じ時刻であってよい。この場合、時刻ｔ´０は、時刻ｔ２となる。時刻ｔ´１は、時刻ｔ４となる。時刻ｔ´２は、時刻ｔ６となる。時刻ｔ´３は、時刻ｔ８となる。それ以降の時刻ｔ´についても同様である。
【００４８】
図６は、制御装置６によって実行される処理（画像生成方法）の例を示すフローチャートである。取得部６１は上述のようにカメラ２の受光位置Ｒを往復移動させるものとする。
【００４９】
ステップＳ１において、生成部６２が、時刻ｔの受光位置Ｒで取得された撮像画像中の各撮像画素の輝度値ｆ（ｔ）を求める。ここでの受光位置Ｒは、例えば、往復移動の往路の場合には図５の（ａ）の受光位置Ｒ０であり、往復移動の復路の場合には図５の（ｃ）の受光位置Ｒ２である。輝度値ｆ（ｔ）は数値で表され、輝度が高いほどその数値は大きくてよい。
【００５０】
ステップＳ２において、取得部６１が、カメラ２の受光位置Ｒを微小量斜めに（傾斜方向に）動かす。これは、取得部６１がカメラ２の受光位置Ｒを往復移動させるからである。微小量は、移動距離Δｘ及び移動距離Δｙである。移動に要する時間はΔｔであるから、この移動が完了する時刻は、ｔ＋Δｔである。移動後に取得される撮像画像では、移動前に取得される撮像画像に対して微視差が発生する。
【００５１】
ステップＳ３において、生成部６２が、時刻ｔ＋Δｔの受光位置Ｒで取得された撮像画像中の各撮像画素の輝度値ｆ（ｔ＋Δｔ）を求める。ここでの受光位置Ｒは、例えば先に説明した図５の（ｂ）の受光位置Ｒ１である。
【００５２】
ステップＳ４において、取得部６１が、カメラ２の受光位置Ｒを微小量斜めに動かす。すなわち、カメラ２の受光位置Ｒが、移動距離Δｘ及び移動距離Δｙだけ傾斜方向にさらに移動する。この移動が完了する時刻は、ｔ＋２Δｔである。移動後に取得される撮像画像では、移動前で取得される撮像画像に対して微視差が発生する。
【００５３】
ステップＳ５において、生成部６２が、時刻ｔ＋２Δｔの受光位置で取得された撮像画像の各撮像画素の輝度値ｆ（ｔ＋２Δｔ）を求める。ここでの受光位置Ｒは、例えば、往復経路の往路の場合には図５の（ｃ）の受光位置Ｒ２であり、往復経路の復路の場合には図５の（ａ）の受光位置Ｒ０である。
【００５４】
ステップＳ６において、生成部６２は、輝度値ｆ（ｔ）、輝度値ｆ（ｔ＋Δｔ）及び輝度値ｆ（ｔ＋２Δｔ）でメディアンフィルタをかける。
【００５５】
ステップＳ７において、生成部６２は、時刻ｔ´におけるメディアンフィルタ後の輝度値をｆ（ｔ´）とする。輝度値ｆ（ｔ´）は、例えば輝度値ｆ（ｔ）、輝度値ｆ（ｔ＋Δｔ）及び輝度値ｆ（ｔ＋２Δｔ）の３つの輝度値の中央値の輝度値であってよい。メディアンフィルタが施されることによって得られる画像が、時刻ｔ´における前方画像として生成される。時刻ｔ´は、時刻ｔ＋２Δｔと同じ時刻であってよい。このようにして生成される前方画像は、先に図５の（ｄ）を参照して説明したような、周期構造部材１５が表示されないような前方画像である。
【００５６】
ステップＳ８において、取得部６１が、カメラ２の受光位置Ｒの移動方向を切り替える。すなわち、受光位置Ｒの移動方向が、往復経路の往路と復路との間で切り替わる。その後、ステップＳ２に再び処理が戻される。ステップＳ１ではなくステップＳ２に処理が戻されるのは、先に説明したように、往復経路の折り返し位置で取得される撮像画像が往路と復路とで共通に用いられるためである。このため、生成部６２は、時刻ｔにおける撮像画像中の各撮像画素の輝度値ｆ（ｔ）として、先のステップＳ５で求めた輝度値ｆ（ｔ＋２Δｔ）を用いる。すなわち、次のループで用いる時刻ｔにおける撮像画像の情報に、前のループで用いた時刻ｔ＋２Δｔにおける撮像画像の情報を代入したうえで、ステップＳ２〜Ｓ８の処理が繰り返し実行される。
【００５７】
以上のようにフローチャートの処理が繰り返し実行されることによって、先に説明したような周期構造部材１５が表示されないような前方画像が繰り返し生成される。フローチャートのループが受光位置Ｒの往復経路の往路に対応する場合には、ステップＳ７において生成される前方画像は、先に説明した第１の前方画像となる。フローチャートのループが受光位置Ｒの往復経路の復路に対応する場合には、ステップＳ７において生成される前方画像は、先に説明した第２の前方画像となる。フローチャートの処理が繰り返し実行されることで、第１の前方画像及び第２の前方画像が繰り返し生成される。
【００５８】
なお、上述のステップＳ２及びＳ４ではカメラ２の受光位置Ｒを微小量斜めに動かす例を説明したが、先に説明したように、移動距離Δｘまたは移動距離Δｙのいずれかゼロである場合には、受光位置Ｒは斜めではなく水平方向又は垂直方向に動かされる。また、先に図４の（ｂ）を参照して説明したようにカメラ２の受光位置Ｒが複数の位置に同時に存在する形態では、上述のステップＳ２及びＳ４の処理は不要である。上述のステップＳ８における「受光位置の移動方向を切り替える」処理も不要である。
【００５９】
以上説明した表示撮像装置７は、ディスプレイ１と、カメラ２と、制御装置６とを含む。ディスプレイ１は、周期構造部材１５を含む。カメラ２は、ディスプレイ１の背後からディスプレイ１の前方を撮像する。制御装置６は、生成部６２を含む。生成部６２は、カメラ２の撮像画像に基づいて、ディスプレイ１の前方画像を生成する。より具体的に、生成部６２は、カメラ２の受光位置Ｒが複数の位置の各々にあるときに取得されることで画像中の周期構造部材１５が異なる位置に表示された複数の撮像画像に基づいて、周期構造部材１５が表示されないように、前方画像を生成する。
【００６０】
まず、表示撮像装置７によれば、ディスプレイ１の背後からディスプレイ１の前方をカメラ２で正面から撮像することができる。ビデオ通話等に用いる場合には、ディスプレイ１の前方にいるユーザＵ１を正面から撮像できるので、視線一致した状態を実現することができる。
【００６１】
ビデオ通話の例について、図７を参照して説明する。図７に示されるビデオ通話システム９は、表示撮像装置７に加えて、制御部５及び通信装置８を含む。図７には図示されないが、先に説明したように表示撮像装置７はカメラ２及び制御装置６（図１参照）も含む。この例では、ビデオ通話システム９のユーザＵ１が、通話相手であるユーザＵ２とビデオ通話を行っている。ユーザＵ１は、ディスプレイ１を正面（Ｚ軸正方向）から見ている。したがって、カメラ２は、ディスプレイ１（図２等）を介してユーザＵ１を正面（Ｚ軸負方向）から撮像できる。通信装置８は、ユーザＵ２の利用する図示しないビデオ通話システムとの間で、映像データ、音声データ等の送受信を行う。映像データは、ユーザＵ１の映像データ及びユーザＵ２の映像データを含む。音声データは、ユーザＵ１の音声データ及びユーザＵ２の音声データを含む。
【００６２】
制御部５は、表示撮像装置７をビデオ通話システム９で動作させるために必要な種々の制御を実行する部分である。制御部５は、ディスプレイ１による表示データ（例えばユーザＵ２の映像データ）を通信装置８で受信したり、カメラ２による撮像画像データ（例えばユーザＵ１の映像データ）を通信装置８で送信したりするための送受信処理を実行する。なお、制御部５は、表示撮像装置７の構成要素であってもよい。この他にも、図示しないスピーカ及びマイク等、ビデオ通話システム９に必要な要素が表示撮像装置７に含まれてよい。
【００６３】
さらに、表示撮像装置７によれば、これまで説明したとおり、周期構造部材１５が表示されないような前方画像が生成される。したがって、画質を向上させることもできる。ビデオ通話システム９に用いられる場合にはユーザＵ１の映像がユーザＵ２に提示されることになるが、ユーザＵ１の映像に周期構造部材１５が写り込んでいない分、映像品質を向上させることができる。
【００６４】
先に図４の（ａ）を参照して説明したようにカメラ２を移動させることで、カメラ２の受光位置Ｒを複数の位置の間で移動させてよい。これにより、ライトフィールドカメラ、３Ｄカメラ等ではない通常のカメラを用いて、カメラ２の受光位置Ｒが複数の位置の各々にあるときの撮像画像を取得することができる。
【００６５】
先に図４の（ｂ）を参照して説明したように、受光位置Ｒが複数の位置に同時に存在するようなライトフィールドカメラ、３Ｄカメラ等を用いてもよい。この場合、例えば、カメラ２を移動させるための動作系が不要となる分、実質的にカメラ２の受光位置Ｒの移動速度を高めるのと同様の効果が奏される。これにより、カメラ２の撮像フレームレートを上げることも可能になる。
【００６６】
取得部６１がカメラ２の受光位置Ｒを往復移動させる場合、生成部６２は、カメラ２の受光位置Ｒが複数の位置を通る往復経路の各位置にあるときに順に取得されたカメラ２の撮像画像に基づいて、前方画像を生成してよい。この場合、複数の位置は、往復経路の折返し位置を含んでよい。生成部６２は、カメラ２の受光位置Ｒが往復経路の往路における複数の位置にあるときに取得されたカメラ２の撮像画像に基づいて第１の撮像画像を生成し、往復経路の復路における複数の位置にあるときに取得されたカメラ２の撮像画像に基づいて第２の前方画像を生成してよい。生成部６２は、往復経路の折返し位置で取得されたカメラ２の撮像画像を共通に用いて、第１の前方画像及び第２の前方画像を生成してよい。例えば、往復経路の折返し位置でのカメラ２の撮像画像を共通に用いない場合には、３つの撮像画像が取得されるごとに１つの前方画像が生成されるので、前方画像の映像表示フレームレートは、カメラ２の撮像フレームレートの３分の１のフレームレートまで低下してしまう。これに対し、往復経路の折返し位置でのカメラ２の撮像画像を共通に用いれば、２つの撮像画像が取得されるごとに１つの前方画像が生成されるので、前方画像の映像表示フレームレートを、カメラ２の撮像フレームレートの２分の１まで上げることができる。
【００６７】
周期構造部材１５は、水平部材１５ｘと、垂直部材１５ｙとを含んでよい。水平部材１５ｘは、ディスプレイ１の水平方向に延在し、ディスプレイ１の垂直方向において等間隔に配置されてよい。垂直部材１５ｙは、ディスプレイ１の垂直方向に延在し、ディスプレイ１の水平方向において等間隔に配置されてよい。複数の位置は、水平方向及び垂直方向に対して傾斜方向に並んでよい。ディスプレイ１がこのような周期構造部材１５を含む場合、カメラ２の受光位置Ｒの移動が水平方向のみだと、各撮像画像中の垂直部材の位置は重複しないようにできるが水平部材の位置が重複する。カメラ２の受光位置Ｒの移動が垂直方向のみだと、各撮像画像中の水平部材の位置は重複しないようにできるが垂直部材の位置が重複する。カメラ２の受光位置Ｒを傾斜方向に移動させことにより、各撮像画像中の水平部材の位置も垂直部材の位置も重複しないようにできる。したがって、生成部６２が生成する前方画像への周期構造部材１５の写り込みをさらに低減し、画質をさらに向上させることができる。
【００６８】
複数の位置のうちの隣り合う位置同士の間の距離は、周期構造部材１５の部材幅（垂直部材幅Ｗｘ、水平部材幅Ｗｙ）以上且つ周期間隔（垂直部材間隔Ｄｘ、水平部材間隔Ｄｙ）の２分の１未満であってよい。生成部６２は、カメラ２の受光位置Ｒが複数の位置のうちの３つの位置の各々にあるときに取得されたカメラ２の撮像画像に対してメディアンフィルタをかけることによって得られる画像を、前方画像として生成してよい。
【００６９】
上述のように複数の位置同士の間の距離を設定すれば、３つの撮像画像中の同じ位置の撮像画素を比較した場合、３つの撮像画素のうち垂直部材１５ｙを表示する撮像画素は、多くとも１つである。少なくとも２つの撮像画素は、垂直部材１５ｙではなく撮像対象（例えばユーザＵ１）を表示する撮像画素である。同様に、３つの撮像画素のうち、水平部材１５ｘを表示する撮像画素は、多くとも１つである。少なくとも２つの撮像画素は、水平部材１５ｘではなく撮像対象を表示する撮像画素である。したがって、これら３つの撮像画像に対してメディアンフィルタをかければ、周期構造部材１５が表示されないような（周期構造部材１５が除去されたような）撮像画像が得られ、この撮像画像を、ディスプレイ１の前方画像として生成することができる。
【００７０】
［変形例］
上記実施形態では、少なくとも３つの受光位置で取得される撮像画像に基づいて周期構造部材１５が表示されないような前方画像を生成する例を説明した。これに対し、次に説明する変形例によれば、少なくとも２つの受光位置で取得される撮像画像に基づいて周期構造部材１５が表示されないような前方画像を生成することができる。
【００７１】
図８は、そのような変形例に係る表示撮像装置７Ａが備える制御装置６Ａのブロック図を示す。制御装置６Ａは、制御装置６（図３）と比較して、取得部６１及び生成部６２に代えて取得部６１Ａ及び生成部６２Ａを含み、さらに記憶部６３を含む点において相違する。
【００７２】
取得部６１Ａは、取得部６１（図３）と同様に、カメラ２の受光位置Ｒを往復移動させる。なお、ライトフィールドカメラ等の場合は移動が不要である点は先に説明したとおりである。ここで、取得部６１が少なくとも３つの位置を通るようにカメラ２の受光位置Ｒを往復移動させるのに対し、取得部６１Ａは、少なくとも２つの位置を通るようにカメラ２の受光位置Ｒを往復移動させる。２つの位置は、往復経路の折返し位置であってよい。以下では、取得部６１Ａが、２つの位置を通るようにカメラ２の受光位置Ｒを往復移動させる場合について説明する。
【００７３】
取得部６１Ａによるカメラ２の受光位置Ｒの移動も、これまで説明した微視差が発生するように定められる。取得部６１Ａによるカメラ２の受光位置Ｒの移動距離の最小単位は、以下のように定義する。
移動距離ΔｘＡ：２つの位置同士の間の水平方向の距離（離間距離）である。座標の設定の仕方によっては、ΔｘＡは、負の値であってもよい。
移動距離ΔｙＡ：２つの位置同士の間の垂直方向の距離（離間距離）である。座標の設定の仕方によっては、ΔｙＡは、負の値であってもよい。
以下、移動距離ΔｘＡの大きさを、単に移動距離ΔｘＡと呼ぶ。移動距離ΔｙＡの大きさを、単に移動距離ΔｙＡと呼ぶ。
【００７４】
移動距離ΔｘＡは、垂直部材幅Ｗｘ以上且つ垂直部材間隔Ｄｘ未満に設定される。つまり、Ｗｘ≦｜ΔｘＡ｜＜Ｄｘである。移動距離ΔｙＡは、水平部材幅Ｗｙ以上且つ水平部材間隔Ｄｙ未満に設定される。つまり、Ｗｙ≦｜ΔｙＡ｜＜Ｄｙである。
【００７５】
生成部６２Ａは、カメラ２の受光位置Ｒが２つの位置の各々にあるときに取得される撮像画像に基づいて、前方画像を生成する部分である。具体的に、生成部６２Ａは、２つの撮像画像中の同じ位置の撮像画素のうち、周期構造部材１５を表示する撮像画素を用いないことによって、周期構造部材１５が表示されないように（あるいは除去されるように）、前方画像を生成する。
【００７６】
記憶部６３は、周期構造部材１５を表示する撮像画素に関する情報を予め記憶する部分である。そのような情報の例として、記憶部６３は、カメラ２の撮像画像の撮像画素が周期構造部材１５を表示する場合の、撮像画素の輝度値Ｌを予め記憶している。輝度値Lは予めキャリブレーションを行い計測された値であってよい。計測を行わなくとも、周期構造部材１５の位置における撮像画素の輝度値が低いことを利用して、十分に小さい値（例えば最小値）を輝度値Lとしてもよい。
【００７７】
生成部６２Ａは、２つの撮像画像の撮像画素のうち、記憶部６３に記憶されている輝度値Ｌから離れた輝度値の撮像画素を用いて、前方画像を生成する。撮像画素の輝度値が輝度値Ｌに近い撮像画素は、周期構造部材１５を表示する撮像画素である可能性が高いので、そのような撮像画素を用いないようにするためである。例えば２つの撮像画像の同じ位置の撮像画素のうち、一方の撮像画素の輝度値が１０で、他方の撮像画素の輝度値が４０の場合、輝度値L（この場合は１０未満）から離れている方の輝度値４０を有する撮像画素が採用される。
【００７８】
生成部６２Ａによる前方画像の生成の例を、図９を参照して説明する。図９の（ａ）は、受光位置Ｒ０Ａで取得される撮像画像を示す。周期構造部材１５の格子点の一つの座標は、ＰＡ（ｘ０Ａ、ｙ０Ａ）である。
【００７９】
図９の（ｂ）は、受光位置Ｒ１Ａで取得される撮像画像を示す。受光位置Ｒ１Ａは、受光位置Ｒ０Ａから移動距離ΔｘＡ及び移動距離ΔｙＡだけ移動した位置である。この撮像画像では、格子点の座標は、ＰＡ（ｘ１Ａ、ｙ１Ａ）であり、ｘ１Ａ＝ｘ０Ａ＋ΔｘＡ、ｙ１Ａ＝ｙ０Ａ＋ΔｙＡとなる。受光位置Ｒ１Ａで取得される撮像画像では、受光位置Ｒ０Ａで取得される撮像画像に対して微視差が生じているため、ユーザＵ１の位置が同じであるのに対し周期構造部材１５の位置が移動している。
【００８０】
ここで、先に説明したように、移動距離ΔｘＡ及び移動距離ΔｙＡはそれぞれ、Ｗｘ≦｜ΔｘＡ｜＜Ｄｘ、Ｗｙ≦｜ΔｙＡ｜＜Ｄｙに設定されている。この場合、受光位置Ｒ０Ａ及び受光位置Ｒ１Ａでの２つの撮像画像中の同じ位置には、垂直部材１５ｙが重複していないし、水平部材１５ｘも重複していない。そのため、２つの撮像画像中の同じ位置の撮像画素を比較した場合、２つの撮像画素のうち、水平部材１５ｘ及び／又は垂直部材１５ｙを表示する撮像画素の輝度値は、水平部材１５ｘ及び／又は垂直部材１５ｙを表示していない撮像画素の輝度値よりも、上述の記憶部６３に記憶されている輝度値Ｌに近くなる。したがって、これら２つの撮像画像の各撮像画素のうち、輝度値Ｌから離れている輝度値を有する撮像画素を組み合わせることで、図９の（ｃ）に示されるような周期構造部材１５が除去された１つの撮像画像が得られ、この撮像画像を周期構造部材１５が表示されないような前方画像として生成することができる。
【００８１】
上述のように、取得部６１Ａは、カメラ２の受光位置Ｒを往復移動させる。したがって、生成部６２Ａは、往復経路の往路における受光位置Ｒ０Ａ及び受光位置Ｒ１で取得される撮像画像に基づいて第１の前方画像を生成し、往復経路の復路における受光位置Ｒ１Ａ及び受光位置Ｒ０Ａで取得される撮像画像に基づいて第２の前方画像を生成してよい。第１の前方画像及び第２の前方画像の生成に、往復経路の折返し位置で取得される撮像画像が共通に用いることもできる。この場合、生成部６２Ａによって生成される前方画像を映像表示する場合の映像フレームレートは、カメラ２の撮像フレームレートと同じになる。例えばカメラ２の撮像フレームレートが６０ｆｐｓの場合、前方画像の映像フレームレートも６０ｆｐｓになる。
【００８２】
図１０は、制御装置６Ａによって実行される処理（画像生成方法）の例を示すフローチャートである。
【００８３】
ステップＳ１１において、生成部６２Ａが、時刻ｔにおける受光位置Ｒで撮像画像中の各撮像画素の輝度値ｆ（ｔ）を求める。ここでの受光位置Ｒは、例えば、往復経路の往路の場合には図９の（ａ）の受光位置Ｒ０Ａであり、往復経路の復路の場合には図９の（ｂ）の受光位置Ｒ１Ａである。
【００８４】
ステップＳ１２において、取得部６１Ａが、カメラ２の受光位置Ｒを微小量斜めに動かす。微小量は、上述の移動距離ΔｘＡ及び移動距離ΔｙＡである。移動にかかる時間がΔｔであるので、この移動が完了する時刻は、ｔ＋Δｔである。移動後に取得される撮像画像では、移動前に取得される撮像画素に対して微視差が発生する。
【００８５】
ステップＳ１３において、生成部６２Ａが、時刻ｔ＋Δｔにおける受光位置Ｒで取得される撮像画像中の各撮像画素の輝度値ｆ（ｔ＋Δｔ）を求める。ここでの受光位置Ｒは、例えば、往復経路の往路の場合には図９の（ｂ）の受光位置Ｒ１Ａであり、往復経路の復路の場合には図９の（ａ）の受光位置Ｒ０Ａである。
【００８６】
ステップＳ１４において、生成部６２Ａが、記憶部６３に記憶されている輝度値Ｌを用いて、先のステップＳ１１で求めた輝度値ｆ（ｔ）と輝度値Ｌとの差分値（｜ｆ（ｔ）−Ｌ｜）、及び、先のステップＳ１３で求めた輝度値ｆ（ｔ＋Δｔ）と輝度値Ｌとの差分値（｜ｆ（ｔ＋Δｔ）−Ｌ｜）を求める。
【００８７】
ステップＳ１５において、生成部６２Ａは、先のステップＳ１４で求めた２つの差分値のうち、値が大きい方の差分値の計算に用いられた輝度値をｆ（ｔ´）とする。すなわち、先のステップＳ１１及びステップＳ１３で求めた二つの輝度値のうち、輝度値Ｌから離れている方の輝度値を有する撮像画素を組み合わせることによって得られる画像が、時刻ｔ´に対応する前方画像として生成される。時刻ｔ´は、先のステップＳ１３における時刻ｔ＋Δｔと同じ時刻であってよい。
【００８８】
ステップＳ１６において、取得部６１Ａが、カメラ２の受光位置Ｒの移動方向を切り替える。すなわち、受光位置Ｒの移動方向が、往復経路の往路と復路との間で切り替わる。その後、ステップＳ１２に再び処理が戻される。ステップＳ１１ではなくステップＳ１２に処理が戻されるのは、先に説明したように、往復経路の折返し位置で取得される撮像画像が往路と復路とで共通に用いられるためである。このため、生成部６２Ａは、時刻ｔにおける撮像画像中の各撮像画素の輝度値ｆ（ｔ）として、先のステップＳ１３で求めた輝度値ｆ（ｔ＋Δｔ）を用いる。すなわち、次のループで用いる時刻ｔにおける撮像画像の情報に、前のループで用いた時刻ｔ＋Δｔにおける撮像画像の情報を代入したうえで、ステップＳ１２〜Ｓ１６の処理が繰り返し実行される。
【００８９】
以上のようにフローチャートの処理が繰り返し実行されることによって、先に説明したような周期構造部材１５が表示されないような前方画像が繰り返し生成される。フローチャートのループが受光位置Ｒの往復経路の往路に対応する場合には、ステップＳ１６において生成される前方画像は、先に説明した第１の前方画像となる。フローチャートのループが受光位置Ｒの往復経路の復路に対応する場合には、ステップＳ１６において生成される前方画像は、先に説明した第２の前方画像となる。フローチャートの処理が繰り返し実行されることで、第１の前方画像及び第２の前方画像が繰り返し生成される。
【００９０】
なお、上述のステップＳ１２ではカメラ２の受光位置Ｒを微小量斜めに動かす例を説明したが、先に説明したように、移動距離Δｘまたは移動距離Δｙのいずれかゼロである場合には、受光位置Ｒは斜めではなく水平方向又は垂直方向に動かされる。また、先に図４の（ｂ）を参照して説明したようにカメラ２の受光位置Ｒが複数の位置に同時に存在する形態では、上述のステップＳ１２の処理は不要である。上述のステップＳ１６における「受光位置の移動方向を切り替える」処理も不要である。
【００９１】
以上説明した変形例に係る表示撮像装置７Ａでは、記憶部６３が、カメラ２の撮像画像の撮像画素が周期構造部材１５を表示する場合の、撮像画素の輝度値を予め記憶している。複数の位置のうちの隣り合う位置同士の間の距離は、周期構造部材１５の部材幅（垂直部材幅Ｗｘ、水平部材幅Ｗｙ）以上且つ周期間隔（垂直部材間隔Ｄｘ、水平部材間隔Ｄｙ）未満である。生成部６２は、カメラ２の受光位置Ｒが複数の位置のうちの２つの位置の各々にあるときに取得されたカメラ２の撮像画像中の各々の撮像画素のうち、記憶部６３に記憶されている輝度値Ｌから離れた輝度値を有する撮像画素を組み合わせて得られる画像を、周期構造部材１５が表示されないような前方画像として生成する（ステップＳ１４及びＳ１５）。
【００９２】
２つの撮像画像中の同じ位置の撮像画素を比較した場合、２つの撮像画素のうち、水平部材１５ｘ及び／又は垂直部材１５ｙが位置する撮像画素の輝度値は、水平部材１５ｘ及び／又は垂直部材１５ｙが位置していない撮像画素の輝度値よりも、上述の記憶部６３に記憶されている輝度値Lに近くなる。したがって、これら２つの撮像画像の各撮像画素のうち、輝度値Lから離れている輝度値を有する撮像画素を組み合わせることで、周期構造部材１５が表示されないような１つの撮像画像が得られ、この撮像画像をディスプレイ１の前方画像として生成することができる。この場合、２つの撮像画像だけで前方画像を生成できるので、３つの撮像画像を用いて前方画像を生成する場合よりも、前方画像の映像フレームレートを上げることができる。
【００９３】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されない。上記実施形態では、表示撮像装置７をビデオ通話システム９に用いる例を説明したが、表示撮像装置７の用途は、ビデオ通話システム９に限定されない。例えば、ユーザＵ１が自分自身の映像を表示させるために、表示撮像装置７が用いられてもよい。この場合、ディスプレイ１は、カメラ２によって撮像された映像を表示する。したがって、ユーザＵ１は、ディスプレイ１に向かい合うだけで、カメラ２の位置を気にせずとも、自分自身がどう映っているのかを確認しながら撮影を行うことができる。このような表示撮像装置７の用途は、写真機（証明写真機、シール印刷機）等においては、撮影時に目線を正面に向けたまま撮影プレビュー画面を確認できるといったメリットがある。ショッピングセンター等に置いてある拡張現実（ＡＲ：Augmented Reality）サイネージにおいてユーザの映像にCGを合成するような場合にも、より自然に楽しめるようになる。また、自分自身を映しながらライブ配信するようなアプリケーションでは、より自然な表情で配信できるようになる。
【００９４】
なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。
【００９５】
例えば、本発明の一実施の形態における制御装置６等は、取得部６１、生成部６２等の処理を行うコンピュータとして機能してもよい。図１１は、本実施形態に係る制御装置６等のハードウェア構成の一例を示す図である。以下では、制御装置６を例に挙げて説明する。制御部５、制御装置６Ａ及び通信装置８についても、制御装置６と同様の説明が可能である。制御装置６は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７等を含むコンピュータ装置として構成されてもよい。
【００９６】
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニット等に読み替えることができる。制御装置６のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
【００９７】
制御装置６における各機能は、プロセッサ１００１、メモリ１００２等のハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。
【００９８】
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ：Central  Processing  Unit）で構成されてもよい。例えば上述の取得部６１、６１Ａ及び生成部６２、６２Ａ等は、プロセッサ１００１で実現されてもよい。
【００９９】
また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール及びデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、取得部６１及び生成部６２は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
【０１００】
メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random  Access  Memory）等の少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）等と呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュール等を保存することができる。
【０１０１】
ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact  Disc  ＲＯＭ）等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップ等の少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。
【０１０２】
通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュール等とも呼ぶ。例えば上述の通信装置８は、通信装置１００４で実現されてもよい。
【０１０３】
入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカ、LEDランプ等）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。
【０１０４】
また、プロセッサ１００１及びメモリ１００２等の各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
【０１０５】
また、制御装置６は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital  Signal  Processor）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＰＬＤ（Programmable  Logic  Device）、ＦＰＧＡ（Field  Programmable  Gate  Array）等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。
【０１０６】
以上、本実施形態について詳細に説明したが、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。
【０１０７】
本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【０１０８】
本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【０１０９】
本明細書で「第１の」、「第２の」等の呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
【０１１０】
「含む（include）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
【０１１１】
本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。
【０１１２】
本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。
【符号の説明】
【０１１３】
１…ディスプレイ、２…カメラ、７、７Ａ…表示撮像装置、１５…周期構造部材、１５ｘ…水平部材、１５ｙ…垂直部材、６１、６１Ａ…取得部、６２、６２Ａ…生成部、Ｄｘ…垂直部材間隔、Ｄｙ…水平部材間隔、Ｗｘ…垂直部材幅、Ｗｙ…水平部材幅。
【図１】
2019207922.tif 000003
【図２】
2019207922.tif 000004
【図３】
2019207922.tif 000005
【図４】
2019207922.tif 000006
【図５】
2019207922.tif 000007
【図６】
2019207922.tif 000008
【図７】
2019207922.tif 000009
【図８】
2019207922.tif 000010
【図９】
2019207922.tif 000011
【図１０】
2019207922.tif 000012
【図１１】
2019207922.tif 000013
【手続補正書】
【提出日】令和2年7月2日(2020.7.2)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
周期構造部材を含む透過型のディスプレイと、
前記ディスプレイの背後から前記ディスプレイの前方を撮像するカメラと、
前記カメラの撮像画像に基づいて前方画像を生成する生成部と、
を備え、
前記生成部は、前記カメラの受光位置が複数の位置の各々にあるときに取得されることで画像中の前記周期構造部材が異なる位置に表示された複数の撮像画像に基づいて前記周期構造部材が表示されないように、前方画像を生成する、
表示撮像装置。
【国際調査報告】
2019207922.tif 000014
2019207922.tif 000015