(57)【要約】本発明の画像処理システムは、ディスプレイ素子とカメラ素子とが分散するアレイを有する一体型ディスプレイ・カメラを含み、この分散する素子は共通の平面（フラットパネル・ディスプレイあるいはその他のディスプレイ）において配置される。カメラ素子の少なくともサブセットの各々は関連する１又は複数の撮像角度を有し、この１又は複数の撮像角度は一体型ディスプレイ・カメラに所望の撮像操作をもたらすために選択される。さらにカメラ素子の撮像角度を選択することによって、レンズベースの単一カメラシステムあるいはピンホール・カメラシステムの撮像操作と同様の撮像操作が可能になる。各々のカメラ素子は複数のイメージセンサーを含むことができ、これによって任意のカメラ素子における異なるイメージセンサーにそれぞれ異なる撮像角度が設定され、かつ画像処理システムでシーンにおける異なる遠近感が生成されることが可能になる。
2004515127.tif 000002
【特許請求の範囲】
【請求項１】
画像処理システムにおいて使用される装置であって：
複数のディスプレイ素子及び複数のカメラ素子を有する一体型ディスプレイ・カメラから構成され、前記ディスプレイ素子とカメラ素子は共通の平面内に分散配置され、前記カメラ素子の少なくともサブセットの各々は関連する１又は複数の撮像角度を有し、前記の一体型ディスプレイ・カメラの所望の撮像操作をもたらすように前記１又は複数の撮像角度を選択することを特徴とする装置。
【請求項２】
請求項１に記載の装置において：
前記ディスプレイ素子の少なくともサブセットは、液晶ディスプレイ素子から構成されることを特徴とする装置。
【請求項３】
請求項１に記載の装置において：
前記カメラ素子の少なくともサブセットは、電荷結合素子イメージセンサーから構成されることを特徴とする装置。
【請求項４】
請求項１に記載の装置において：
前記カメラ素子の少なくともサブセットは、光センサーから構成されることを特徴とする装置。
【請求項５】
請求項１に記載の装置において：
任意の１つのカメラ素子は、一対の平行する感光板の少なくとも一部分から構成され、前記任意のカメラ素子の撮像角度は、前記平行する感光板において対応する孔の位置を設定することによって選択されることを特徴とする装置。
【請求項６】
請求項１に記載の装置において：
前記の一体型ディスプレイ・カメラは、フラットパネル・ディスプレイから構成されることを特徴とする装置。
【請求項７】
請求項１に記載の装置において：
前記の複数のディスプレイ素子の少なくともサブセットと、前記の複数のカメラ素子の少なくともサブセットとが１つのアレイに配置され、さらに前記のアレイはカメラ素子よりもディスプレイ素子を多く含むことを特徴とする装置。
【請求項８】
請求項１に記載の装置において：
前記の１又は複数の撮像角度から所望の撮像角度を選択することによって、前記の一体型ディスプレイ・カメラにおいてレンズベースの単一カメラシステムの撮像操作に類似する撮像操作が可能になることを特徴とする装置。
【請求項９】
請求項１に記載の装置において：
前記の１又は複数の撮像角度から所望の撮像角度を選択することによって、前記の一体型ディスプレイ・カメラにおいてピンホール・カメラシステムの撮像操作に類似する撮像操作が可能になることを特徴とする装置。
【請求項１０】
請求項１に記載の装置において：
前記のカメラ素子における１又は複数の撮像角度は、水平角
【数１】
2004515127.tif 000007
及び垂直角
【数２】
2004515127.tif 000008
を含む１組の角度から構成され、ｘ及びｙはそれぞれ前記の一体型ディスプレイ・カメラのカメラ素子から光軸までの水平距離及び垂直距離を表し、ｄは前記の一体型ディスプレイ・カメラの画像平面から所望の虚焦点までの距離を表すことを特徴とする装置。
【請求項１１】
請求項１に記載の装置において：
前記カメラ素子の少なくともサブセットの各々は、それぞれ対応する複数のイメージセンサーを有し、よって任意の１つのカメラ素子における異なるイメージセンサーにはそれぞれ異なる撮像角度が設定され、かつ前記の画像処理システムではシーンにおける異なる遠近感が生成されることが可能であることを特徴とする装置。
【請求項１２】
画像処理システムにおいて使用される方法であって：
複数のディスプレイ素子及びカメラ素子を有する一体型ディスプレイ・カメラにおいて、前記のディスプレイ素子とカメラ素子は共通の平面内に分散配置され、前記カメラ素子の少なくともサブセットの各々は関連する１又は複数の撮像角度を有するような一体型ディスプレイ・カメラを提供する工程；及び、
前記の一体型ディスプレイ・カメラに所望の撮像操作をもたらすように前記の１又は複数の撮像角度を選択する工程；
から構成されることを特徴とする方法。
【請求項１３】
画像処理システムにおいて使用される１又は複数のプログラムを記憶する記憶媒体から構成される製品において：
前記の画像処理システムは、複数のディスプレイ素子及びカメラ素子を有する一体型ディスプレイ・カメラを含み、前記のディスプレイ素子及びカメラ素子は、共通の平面内に分散配置され、前記カメラ素子の少なくともサブセットの各々は関連する１又は複数の撮像角度を有し、プロセッサによって実行される前記の１又は複数のプログラムは、前記の一体型ディスプレイ・カメラに所望の撮像操作をもたらすように前記の１又は複数の撮像角度を選択する工程を実施することを特徴とする製品。
【発明の詳細な説明】
【０００１】
〔発明の属する分野〕
本発明は一般に画像処理システムの分野に関し、より詳細にはこのようなシステムにおいて利用されるのに適する一体型ディスプレイ・カメラに関する。
【０００２】
〔発明の背景〕
従来から多くの画像処理システムがカメラとビデオディスプレイとを連携させて利用してきた。図１はこのようなアレンジメントの一例としてカメラ１０２とこれとは別個のディスプレイ１０４とを含む画像処理システム１００を示す。システム１００は、カメラ１０２が現場にいるユーザー１０６の画像を生成し、ディスプレイ１０４が遠隔地にいる１人以上のユーザーの画像をユーザー１０６に表示するようなビデオ・コンフェレンシング・アプリケーションあるいはその他の適切なアプリケーションにおいて利用されることが可能である。
【０００３】
図１のシステム１００において生じうる大きな問題とは、現場にいるユーザー及び遠隔地にいるユーザーの両方が、生成されるイメージを通して相互にアイコンタクトを取っていると感じられるようにカメラ１０２とディスプレイ１０４とを配置するのが困難であるということである。このアイコンタクトの問題はカメラ１０２の光軸とディスプレイ１０４の法線との照準ミスによって生じる。システム１００では典型的にはこの現象を最小限にとどめるためにカメラ１０２とディスプレイ１０４とをできる限り近くに配置する。しかし携帯用ビデオ・コンフェレンシング・ユニットやヒューマン・マシン・インタフェースなどのアプリケーションにおいてはユーザーがしばしばディスプレイに非常に接近した場所にいるためこのアイコンタクト問題は余計に強調されてしまう。
【０００４】
「アイコンタクト・ビデオ電話機」と題される米国特許５，６６６，１５５は、上述のアイコンタクト問題に対処するアプローチを開示する。このアプローチにおいてビデオカメラは、ディスプレイ画面の後ろに位置され、この画面を見ているユーザーの画像を生成する。表示された画像はディスプレイ画面におけるレンズのアレイを通してユーザーに向けられるため、これによってアイコンタクトが取れているかのような錯覚が引き起こされる。しかしこのアプローチではビデオカメラがディスプレイ画面の背後から一定の距離を置いて設置されなければならないためこのシステムのサイズはかなり大型になってしまう可能性がある。さらにこのようなアプローチでは、ユーザーがディスプレイの近くに位置される際に単一カメラシステムにおいて生じるいわゆる「フィッシュアイ」変形効果などの重要な画像に関連する変形を防止することができない。
〔課題を解決するための手段〕
本発明は複数の個別のカメラ素子がディスプレイ画面のディスプレイ素子に統合された一体型ディスプレイ・カメラを提供することによって上述の従来における画像処理システムの１又は複数の問題を解決する。
【０００５】
本発明の実施の一形態に従った、画像処理システムにおいて使用される一体型ディスプレイ・カメラは、ディスプレイ素子とカメラ素子とが分散するアレイを含み、この分散する素子は共通の平面（フラットパネル・ディスプレイあるいはその他のディスプレイ）において配置される。カメラ素子の少なくともサブセットの各々は関連する１又は複数の撮像角度を有し、この１又は複数の撮像角度は一体型ディスプレイ・カメラに所望の撮像操作をもたらすために選択される。さらにカメラ素子の撮像角度を選択することによって、レンズベースの単一カメラシステムあるいはピンホール・カメラシステムの撮像操作と同様の撮像操作が可能になる。各々のカメラ素子は複数のイメージセンサーを含むことができ、これによって任意のカメラ素子における異なるイメージセンサーにそれぞれ異なる撮像角度が設定され、かつ画像処理システムでシーンにおける異なる遠近感（ｐｅｒｓｐｅｃｔｉｖｅｓ）が生成されることが可能になる。
【０００６】
本発明のまた別の様相において上記に記載されるある１つのカメラ素子の撮像角度は、水平角
【０００７】
【数３】
2004515127.tif 000003
及び、垂直角
【０００８】
【数４】
2004515127.tif 000004
を含む１組の角度から構成されるところにおいて、ｘ及びｙは一体型ディスプレイ・カメラのカメラ素子から光軸までの水平距離及び垂直距離を表し、ｄは一体型ディスプレイ・カメラの画像平面から所望の虚焦点までの距離を表す。
【０００９】
好都合に本発明は上述のアイコンタクト及び「フィッシュアイ」変形効果の問題を解決し、またカメラをディスプレイの隣あるいは背後に実装しなければならないという従来技術の制約を解除する。さらに本発明の実施形態に従った一体型ディスプレイ・カメラは、ビデオ・コンフェレンシング・システム、ビデオ監視／モニタリングシステム、及びヒューマン・マシン・インタフェースなどのビデオ・カメラ・ベースシステムを含むさまざまな画像処理システムにおいて利用されるのに適する。
【００１０】
〔発明の実施形態〕
図２は本発明の実施形態に従った画像処理システム２００の一部分を示す。システム２００はディスプレイ素子２１２とカメラ素子２１４とが交互するアレイとして構成される一体型ディスプレイ・カメラ２１０を含む。ディスプレイ素子２１２は液晶ディスプレイ（ＬＣＤ）素子などの一般的なディスプレイ素子であってよく、これらはそれぞれ１又は複数の画像ピクセルに対応することができる。カメラ素子２１４は電荷結合素子（ＣＣＤ）光センサーあるいはその他の一般的なイメージセンサーもしくはこれらの複合体であってよい。このシステムの操作においてカメラ素子２１４の集合のイメージセンサー出力は、所望の合成画像を提供するために一般的な画像信号処理方法によって融合される。
【００１１】
好適にはカメラ素子２１４は、それぞれ狭い視野を有し、ディスプレイ素子２１２と共にフラットパネル・ディスプレイを形成するために共通の平面上に分散される。図面において示されるように、一体型ディスプレイ・カメラ２１０はこのようにしてカメラの光軸とディスプレイの法線とを所望の照準に合わせることができる。本発明の実施形態においてはユーザー２１６がディスプレイの前面を向いていなければならないという制約があるが、このような位置の制約は一般的であり、特に携帯ビデオ・コンフェレンシング・ユニットやヒューマン・マシン・インタフェースなどにおいては好適である。
【００１２】
図３（Ａ）及び（Ｂ）は、本発明の実施形態に従った一体型ディスプレイ・カメラにおいて分散するディスプレイ素子２１２及びカメラ素子２１４の異なる配置例を示す。これらの図面は、図２のユーザー２１６の方からディスプレイ・カメラを見たときの見解を示す。図３（Ａ）は、ディスプレイ素子２１２とカメラ素子２１４との割合が１対１であるような一体型ディスプレイ・カメラ２１０’を示す。図３（Ｂ）は、ディスプレイ素子２１２とカメラ素子２１４との割合が３対１であるような一体型ディスプレイ・カメラ２１０”を示す。なお、図３（Ａ）及び（Ｂ）の配置例はあくまでも例示であって、このほかにも多くの配置を適用することが可能である。
【００１３】
当業者にとっては自明であるように、図２、図３（Ａ）、及び図３（Ｂ）に示される一体型ディスプレイ・カメラは一般的にはサポート素子、ハウジング素子、及びワイヤリング素子など付加的な素子を含む。これらの素子は、説明を簡潔かつ明確にするために図面からは省略されるが、数々の周知の従来技術によって設定されることが可能である。
【００１４】
本発明の実施形態に従った一体型ディスプレイ・カメラにおける交互するディスプレイ素子とカメラ素子とのアレイは、さまざまな形態で実施されることが可能である。例えば基底にある光センサーと整合される小さな孔を含む平行する感光板が利用されることも可能であり、ここにおける小さな孔は撮像されるユーザーあるいはオブジェクトからの光の集合を感受するように構成される。
【００１５】
図４は上記のように構成されるカメラ素子２１４を示す。カメラ素子２１４は光センサー２１７及び１対の平行する感光板２１８−１及び２１８−２の部分を含む。図示されるこの感光板２１８−１及び２１８−２の部分はそれぞれ孔２１９−１及び２１９−２を含む。孔２１９−１及び２１９−２の位置は、カメラ素子２１４のための特定の撮像角度を提供するために選択され、これによって図面で示されるように撮像角度の方向に沿って届く光は光センサー２１７へ照射される。なお、異なるカメラ素子はそれぞれ異なる撮像角度に連携することができる。
【００１６】
また別の実施形態においてカメラ素子２１４は、それぞれに連携するイメージセンサーに光を照射するための各素子に対応したマイクロレンズシステムを含むことができる。さらに別の実施例においてカメラ素子２１４及びディスプレイ素子２１２は、半透明ティルトミラー、ＬＣＤディスプレイ素子、及びイメージセンサー素子を組み合わせた素子という形をとることができる。このようなアレンジメントでは、上記の平行する感光板を用いる必要がなくなるが、その代わりにまた別の複雑な構成が導入されることとなる。当業者には自明であるように、本発明の一体型ディスプレイ・カメラにはこれ以外にも多数の実施形態が存在する。
【００１７】
本発明の一体型ディスプレイ・カメラを実施するに当たっては、カメラ素子のイメージセンサーに充分な光を提供することが重要である。上述のマイクロレンズシステムはこのために利用されることが可能であるが、ここではこのようなシステムを利用することによってディスプレイに生成される影を最小限に抑えるようにしなければならない。またカメラ素子のイメージセンサーが異なる照明条件の下で機能するように何らかのアパーチャー（孔）制御を提供することも重要である。また別の可能性としてはシステムが一定の照明条件においてのみ機能するよう制限する方法がある。
【００１８】
好都合に一体型ディスプレイ・カメラ２１０における交互するディスプレイ素子２１２とカメラ素子２１４とのアレンジメントは、現場あるいは遠隔地にいるユーザーと、それぞれが対面する画像との間における正確なアイコンタクトを実現可能にする。これはカメラ素子がディスプレイ素子と実際に同じ平面に位置するからである。また一体型ディスプレイ・カメラ２１０は画像処理システム２００が要する物理的な奥行きを縮小する。これは上記の携帯ビデオ・コンフェレンシング及びヒューマン・マシン・インタフェース・アプリケーションなどといった一定のアプリケーションにとっては特に重要な点である。さらにこの一体型ディスプレイ・カメラは、上記において説明されるようなディスプレイの近くにいるユーザーあるいはその他のオブジェクトを撮像するのに単一の広角レンズカメラを用いた結果生じる「フィッシュアイ」変形効果の問題をだいぶ制限することができる。一体型ディスプレイ・カメラ２１０によって生成される画像には、背景サブトラクション、動作フィールド判定、指摘動作検出、ヘッドトラッキングなどの動作アルゴリズムが適用される。
【００１９】
図５は、図２の一体型ディスプレイ・カメラ２１０がレンズベースの単一カメラシステムの撮像操作と同様な撮像操作を実施するためにとる形態を示す図解である。図面で示されるようにこの一体型ディスプレイ・カメラは、個々のカメラ素子の撮像角度を設定することによって単一カメラシステムと同様な動作を実施することができる。この図面において、ある任意のカメラ素子の撮像角度は、関数ｆ（ｘ， ｙ）として特定され、これは他のカメラ素子において同様に設定された撮像角度と連携して単一カメラシステムの実施に類似する方法で撮像素子２２０の平面に画像を生成することができる。なお、撮像素子２２０は実際に画像処理システムに実存する素子ではなく、これは個々のカメラ素子の撮像角度を設定する操作の総合作用から得られる効果的な撮像操作を説明するために図示されるのである。
【００２０】
図６は、図５に類似する図解であるが、これは一般的なピンホールカメラの撮像操作に類似する操作を得るために個々のカメラ素子の撮像角度を選択する方法を示す。この実施例において各カメラ素子はそれぞれ１つの水平角αｘおよび１つの垂直角αｙを含む１組の角度によって制御される。一体型ディスプレイ・カメラ２１０におけるある１つのカメラ素子の角度は、そのカメラ素子と光軸との間の水平距離ｘ及び垂直距離ｙの関数ｆ（ｘ， ｙ）によって変化する。上記の関数は、一体型ディスプレイ・カメラ２１０の撮像の特徴を調整するために使用される。例えばこの一体型ディスプレイ・カメラ２１０は、ｄが画像平面からピンホール２２５における虚焦点までの距離を表すところにおいて、
【００２１】
【数５】
2004515127.tif 000005
【００２２】
【数６】
2004515127.tif 000006
を用いることによってピンホールカメラの操作を真似ることができる。
【００２３】
カメラ素子２１４の撮像角度は固定あるいは制御可能である。したがって本明細書中において使用される「選択」という用語は、あるカメラ素子の固定撮像角度を選択する（例えば一体型ディスプレイ・カメラの設計もしくは製造過程においての選択、一体型ディスプレイ・カメラを設定もしくは操作する過程においての制御可能な選択、その他）という意味を含む。ここにおける制御可能な選択は少なくとも部分的にはソフトウェアによる制御の下で実施されることができる。
【００２４】
あるいはまた別の実施形態において上述の一体型ディスプレイ・カメラは、カメラ素子の少なくともサブセットのそれぞれに１つ以上のイメージセンサーを連携させることができる。このような実施形態は、あるカメラ素子における異なるイメージセンサーにそれぞれ異なる撮像角度を設定することを可能にする。これによって画像処理システムではシーンにおける異なる遠近感が生成されることが可能になる。また上記の異なるイメージセンサーから生成された画像に動作アルゴリズムを適用して深度データを生成することも可能である。
【００２５】
図７は、上述の一体型ディスプレイ・カメラ２１０を含む画像処理システム２５０を示す。このシステム２５０はさらにコントローラ２６０、プロセッサ２７０、ビデオ信号プロセッサ２７５、メモリ２８０、及び１又は複数の出入力（Ｉ／Ｏ）装置２９０を含む。コントローラ２６０は作動中に、一体型ディスプレイ・カメラ２１０のカメラ素子の撮像角度を制御し、メモリ２８０に記憶される１又は複数のソフトウェアプログラムを用いるプロセッサ２７０によって指示されるとおりに上述の実施例に従った所望の撮像操作を提供する。またコントローラ２６０と同様にプロセッサ２７０によって制御されるビデオ信号プロセッサ２７５は、一体型ディスプレイ・カメラ２１０のカメラ素子２１４によって生成されたビデオ出力データを収集及び処理し、ディスプレイ素子２１２を介してユーザーに表示するビデオ入力を一体型ディスプレイ・カメラ２１０に配信する。システム２５０のビデオ出入力は一般的な方法によって１又は複数の出入力装置２９０を介して通信されることが可能である。
【００２６】
システム２５０は、例えばビデオ・コンフェレンシング、ビデオ監視、ヒューマン・マシン・インタフェースなど、さまざまな画像処理アプリケーションに適用されるために調整されることが可能である。より一般的には、システム２５０は本発明の実施形態に従った一体型ディスプレイ・カメラ２１０を利用するあらゆるアプリケーションにおいて適用されることが可能である。
【００２７】
システム２５０の素子あるいは素子の集合は、一般的なデスクトップもしくは携帯用コンピュータ、あるいはこれらの処理装置及びその他の処理装置の一部分もしくは組み合わせにおける素子で、上述の特徴以外の点ではシステム２５０の素子あるいは素子の集合と対応する素子に相当することができる。さらに本発明のまた別の実施形態においては、コントローラ２６０、プロセッサ２７０、ビデオ信号プロセッサ２７５、メモリ２８０及び／又はシステム２５０におけるその他の素子、のうちのすべてあるいは一部の機能が１つの装置に統合されることが可能である。例えばシステム２５０における１又は複数の素子は、特定用途向け集積回路（ＡＳＩＣ）あるいは回路カードに実装され、コンピュータ、テレビ、セットトップボックス、あるいはその他の処理装置に組み込まれることが可能である。
【００２８】
本明細書中において使用される「プロセッサ」という用語は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ），あるいは画像処理システムにおいて利用されるその他のあらゆるデータ処理素子をも含むとされる。なお、メモリ２８０は、電子メモリ、光学あるいは磁気ディスクベースメモリ、テープベースメモリ、及びこれら並びにその他の記憶装置の組み合わせあるいは一部分を表すことができる。
【００２９】
上記に記載される本発明の実施形態は、単なる例示に過ぎない。本発明は、例えば別の種類あるいは配置のディスプレイ素子及びカメラ素子によって実施されることが可能である。また本発明は、ビデオ・コンフェレンシング・システム、ビデオ監視システム、及びその他のカメラベースシステム、を含むさまざまな画像処理システムにおいて適用されることが可能である。さらに本発明は少なくとも部分的には、電子、磁気、あるいは光学記憶媒体に記憶され、かつ例えばシステム２５０におけるプロセッサ２７０などの処理装置によって実行される１又は複数のソフトウェアプログラムという形で実施されることができる。当業者は、本発明の特許請求の範囲内にあるこれら及びその他の実施形態を明確に理解することができるであろう。
【図面の簡単な説明】
【図１】
別個のディスプレイ素子とカメラ素子とを含む従来の画像処理システムの構造を示す簡略図である。
【図２】
本発明の実施形態に従った一体型ディスプレイ・カメラを示す簡略図である。
【図３】
（Ａ）及び（Ｂ）は、それぞれ本発明の実施形態に従った一体型ディスプレイ・カメラにおける分散するディスプレイ素子及びカメラ素子の異なる配置例を示す図である。
【図４】
本発明の実施形態に従った一体型ディスプレイ・カメラにおけるカメラ素子の実施例を示す図である。
【図５】
図２における一体型ディスプレイ・カメラの操作をより詳細に示す図である。
【図６】
図２における一体型ディスプレイ・カメラの操作をより詳細に示す図である。
【図７】
図２における一体型ディスプレイ・カメラが実装されうる画像処理システムの一例を示す図である。
【図３】
2004515127.tif 000009
【図４】
2004515127.tif 000010
【図５】
2004515127.tif 000011
【図６】
2004515127.tif 000012
【図７】
2004515127.tif 000013
【国際公開パンフレット】
2004515127.tif 000014
2004515127.tif 000015
2004515127.tif 000016
2004515127.tif 000017
2004515127.tif 000018
2004515127.tif 000019
2004515127.tif 000020
2004515127.tif 000021
2004515127.tif 000022
2004515127.tif 000023
2004515127.tif 000024
2004515127.tif 000025
2004515127.tif 000026
2004515127.tif 000027
2004515127.tif 000028
2004515127.tif 000029
2004515127.tif 000030
【国際調査報告】
2004515127.tif 000031
2004515127.tif 000032
2004515127.tif 000033