(57)【要約】【課題】投写された映像を、よりリアルタイム性の高い方法で共有する。【解決手段】プロジェクター１０は、入力映像に対して形状補正を行う形状補正手段１１、形状補正が行われた映像を投写する投写手段１２、投写手段１２により投写された映像を撮影する撮影手段１３、形状補正手段１２における形状補正に用いられた情報を、撮影手段１３により撮影された映像に対してその形状補正の逆補正を行う形状補正手段１４に出力する出力手段１５と、撮影手段１３により撮影された映像を外部装置に出力する出力手段１６とを有する。【選択図】図２
2016076837.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像に対して形状補正を行う第１形状補正手段と、
前記形状補正が行われた映像を投写する投写手段と、
前記投写手段により投写された映像を撮影する撮影手段と、
前記形状補正手段における前記形状補正に用いられた情報を、前記撮影手段により撮影された映像に対して当該形状補正の逆補正を行う第２形状補正手段に出力する第１出力手段と、
前記撮影手段により撮影された映像を外部装置に出力する第２出力手段と
を有するプロジェクター。
【請求項２】
前記第２形状補正手段を有し、
前記第２出力手段は、前記第２形状補正手段により補正された映像を前記外部装置に出力する
ことを特徴とする請求項１に記載のプロジェクター。
【請求項３】
前記外部装置が前記第２形状補正手段を有し、
前記第１出力手段は、前記外部装置に前記情報を出力し、
前記第２出力手段は、前記第２形状補正手段による補正が行われていない映像を前記外部装置に出力する
ことを特徴とする請求項１に記載のプロジェクター。
【請求項４】
前記投写手段は、
光源と、
前記形状補正が行われた映像に応じて前記光源からの光を変調する変調器と、
前記変調器により変調された光を、当該光の進行方向の逆向きの成分を含む向きに反射するミラーと
を有することを特徴とする請求項１ないし３のいずれか一項に記載のプロジェクター。
【請求項５】
前記第１形状補正手段は、前記撮影手段により撮影された映像の少なくとも一部を用いて前記形状補正に用いる情報を決定する
ことを特徴とする請求項１ないし４のいずれか一項に記載のプロジェクター。
【請求項６】
前記撮影手段により投写された映像の画角を検出する検出手段と、
前記撮影手段の画角を、前記検出手段により検出された画角に応じて調整する調整手段と
を有する請求項１ないし５のいずれか一項に記載のプロジェクター。
【請求項７】
入力された映像に対して形状補正を行うステップと、
前記形状補正が行われた映像を投写するステップと、
前記投写された映像を撮影するステップと、
前記形状補正に用いられた情報を、前記撮影された映像に対して当該形状補正の逆補正を行う第２形状補正手段に出力するステップと、
前記撮影された映像を外部装置に出力するステップと
を有する画像処理方法。
【請求項８】
プロジェクターと、
情報処理装置と
を有し、
前記プロジェクターは、
入力された映像に対して形状補正を行う第１形状補正手段と、
前記形状補正が行われた映像を投写する投写手段と、
前記投写手段により投写された映像を撮影する撮影手段と、
前記形状補正手段における前記形状補正に用いられた情報を、前記撮影手段により撮影された映像に対して当該形状補正の逆補正を行う第２形状補正手段に出力する第１出力手段と、
前記撮影手段により撮影された映像を外部装置に出力する第２出力手段と
を有し、
前記情報処理装置は、
前記第２出力手段から出力された映像を用いて表示する表示手段
を有する
情報処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プロジェクター、画像処理方法および情報処理システムに関する。
【背景技術】
【０００２】
プロジェクターは、会議、講演、プレゼンテーション、学校の授業などで広く用いられている。このような場で、自席からスクリーンがよく見えずに不便を感じる場合がある。あるいは、会議やプレゼンテーションが行われる会場または教室から離れた場所にいるが、会議や授業の様子を知りたいという要求もある。
【０００３】
これに対し特許文献１は、プロジェクターで投写する画像データをネットワークを介して取得し、この画像データを電子メールで参加者に配布する技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２３６０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１においては、事前に取得した画像データを電子メールに添付して配布しているため、リアルタイム性に乏しいという問題があった。さらに、メールボックスの容量制限により配信できる画像の量に制約があるという問題や、メールサーバー等に画像が保存されることによる情報漏洩のリスクがあるという問題もあった。
【０００６】
これに対し本発明は、よりリアルタイム性の高い方法で、プロジェクターにより投写された映像を共有する技術を提供する。
【課題を解決するための手段】
【０００７】
本発明は、入力された映像に対して形状補正を行う第１形状補正手段と、前記形状補正が行われた映像を投写する投写手段と、前記投写手段により投写された映像を撮影する撮影手段と、前記形状補正手段における前記形状補正に用いられた情報を、前記撮影手段により撮影された映像に対して当該形状補正の逆補正を行う第２形状補正手段に出力する第１出力手段と、前記撮影手段により撮影された映像を外部装置に出力する第２出力手段とを有するプロジェクターを提供する。
【０００８】
このプロジェクターによれば、投写された映像を、よりリアルタイム性の高い方法で共有することができる。
【０００９】
このプロジェクターは、前記第２形状補正手段を有し、前記第２出力手段は、前記第２形状補正手段により補正された映像を前記外部装置に出力してもよい。
【００１０】
このプロジェクターによれば、撮影された映像に形状補正を行うことができる。
【００１１】
このプロジェクターは、前記外部装置が前記第２形状補正手段を有し、前記第１出力手段は、前記外部装置に前記情報を出力し、前記第２出力手段は、前記第２形状補正手段による補正が行われていない映像を前記外部装置に出力してもよい。
【００１２】
このプロジェクターによれば、形状補正を行う外部装置に対して、形状補正に用いる情報を映像とともに提供することができる。
【００１３】
このプロジェクターは、前記投写手段は、光源と、前記形状補正が行われた映像に応じて前記光源からの光を変調する変調器と、前記変調器により変調された光を、当該光の進行方向の逆向きの成分を含む向きに反射するミラーとを有してもよい。
【００１４】
このプロジェクターによれば、いわゆる短焦点プロジェクターにおいても、撮影された映像を正しく形状補正することができる。
【００１５】
このプロジェクターは、前記第１形状補正手段は、前記撮影手段により撮影された映像の少なくとも一部を用いて前記形状補正に用いる情報を決定してもよい。
【００１６】
このプロジェクターによれば、単一の撮影手段に、投写される映像の形状補正に用いられる情報を得る機能と、投写された映像を配信するために撮影する機能とを兼ねさせることができる。
【００１７】
このプロジェクターは、前記撮影手段により投写された映像の画角を検出する検出手段と、前記撮影手段の画角を、前記検出手段により検出された画角に応じて調整する調整手段とを有してもよい。
【００１８】
このプロジェクターによれば、外部装置に出力される映像の画角を最適化することができる。
【００１９】
また、本発明は、入力された映像に対して形状補正を行うステップと、前記形状補正が行われた映像を投写するステップと、前記投写された映像を撮影するステップと、前記形状補正に用いられた情報を、前記撮影された映像に対して当該形状補正の逆補正を行う第２形状補正手段に出力するステップと、前記撮影された映像を外部装置に出力するステップとを有する画像処理方法を提供する。
【００２０】
この画像処理方法によれば、投写された映像を、よりリアルタイム性の高い方法で共有することができる。
【００２１】
さらに、本発明は、プロジェクターと、情報処理装置とを有し、前記プロジェクターは、入力された映像に対して形状補正を行う第１形状補正手段と、前記形状補正が行われた映像を投写する投写手段と、前記投写手段により投写された映像を撮影する撮影手段と、前記形状補正手段における前記形状補正に用いられた情報を、前記撮影手段により撮影された映像に対して当該形状補正の逆補正を行う第２形状補正手段に出力する第１出力手段と、前記撮影手段により撮影された映像を外部装置に出力する第２出力手段とを有し、前記情報処理装置は、前記第２出力手段から出力された映像を用いて表示する表示手段を有する情報処理システムを提供する。
【００２２】
この情報処理システムによれば、投写された映像を、よりリアルタイム性の高い方法で共有することができる。
【図面の簡単な説明】
【００２３】
【図１】一実施形態に係る情報処理システム１の構成を示す図。
【図２】情報処理システム１の機能構成を示す図。
【図３】プロジェクター１０のハードウェア構成を示す図。
【図４】投写ユニット１０６の具体例を示す図。
【図５】プロジェクター１０の外観を例示する図。
【図６】情報処理装置２０のハードウェア構成を示す図。
【図７】情報処理システム１の動作を示すフローチャート。
【図８】形状補正処理の詳細を例示するフローチャート。
【図９】テストパターンの入力映像および投写映像を例示する図。
【図１０】変形例２に係る情報処理システム１の機能構成を示す図。
【図１１】画角の拡大を例示する図。
【発明を実施するための形態】
【００２４】
１．構成
図１は、一実施形態に係る情報処理システム１の構成を示す図である。情報処理システム１は、プロジェクター１０および情報処理装置２０を有する。情報処理システム１は、プロジェクター１０により映像が投写されたスクリーンを撮影し、その映像を情報処理装置２０に送信するためのシステムである。情報処理システム１は複数の情報処理装置２０を有してもよいが、ここでは情報処理装置２０を１台だけ図示している。
【００２５】
図２は、情報処理システム１の機能構成を示す図である。
【００２６】
プロジェクター１０は、映像ソースから入力された映像信号（以下「入力映像信号」といい、入力映像信号により表される映像を「入力映像」という）に応じた映像をスクリーンに投写する表示装置である。プロジェクター１０は、形状補正手段１１、投写手段１２、撮影手段１３、形状補正手段１４、出力手段１５、および出力手段１６を有する。形状補正手段１１は、入力映像に対して形状補正を行う。ここで、「形状補正」とは、プロジェクターは常にスクリーンの中央に正対する位置から投写するとは限らないので、スクリーンに投写される映像の外形が歪んでいる場合に、これを所定の形状（例えば四角形）に補正することをいい、幾何補正の一種である。形状補正には、例えば台形補正が含まれる。投写手段１２は、形状補正手段１１により形状補正が行われた映像をスクリーンに投写する。撮影手段１３は、投写手段１２によりスクリーンに投写された映像を撮影する。投写手段１２により撮影された映像を「撮影映像」という。形状補正手段１４は、入力映像に対する形状補正の逆変換に相当する形状補正を、撮影映像に対して行う。出力手段１５は、形状補正手段１１における形状補正に用いられた情報を、形状補正手段１４に出力する。形状補正手段１４は、この情報を用いて逆変換に相当する形状補正を行う。出力手段１６は、形状補正手段１４により形状補正された映像を、外部装置（この例では情報処理装置２０）に出力する。
【００２７】
情報処理装置２０は、取得手段２１および表示手段２２を有する。取得手段２１は、プロジェクター１０の出力手段１６から出力された映像を取得する。表示手段２２は、取得手段２１により取得された映像を用いた表示を行う。
【００２８】
図３は、プロジェクター１０のハードウェア構成を示す図である。プロジェクター１０は、ＣＰＵ（Central Processing Unit）１００、ＲＯＭ（Read Only Memory）１０１、ＲＡＭ（Random Access Memory）１０２、記憶部１０３、ＩＦ部１０４、画像処理回路１０５、投写ユニット１０６、操作パネル１０７、カメラ１０８、および画像処理回路１０９を有する。
【００２９】
ＣＰＵ１００は、プロジェクター１０の各部を制御する制御装置である。ＲＯＭ１０１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＡＭ１０２は、データを記憶する揮発性の記憶装置であり、ＣＰＵ１００が処理を実行する際のワークエリアとして機能する。記憶部１０３は、データやプログラムなどを記憶する不揮発性の記憶装置であり、例えば、フラッシュＲＯＭ、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）を含む。
【００３０】
ＩＦ部１０４は、外部装置（例えば情報処理装置２０）と信号またはデータのやりとりを仲介するインターフェースである。ＩＦ部１０４は、外部装置と信号またはデータのやりとりをするための端子（例えば、ＶＧＡ端子、ＵＳＢ端子、有線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）端子など）および無線ＬＡＮインターフェースを含む。この無線ＬＡＮインターフェースは、プロジェクター１０を無線ＬＡＮのアクセスポイントとして機能させることができる。
【００３１】
画像処理回路１０５は、入力された映像信号（以下「入力映像信号」という）に所定の画像処理を施す。この画像処理は、形状補正、具体的にはいわゆる台形補正を含む。形状補正の演算は、例えば射影変換を含む。形状補正の詳細は後述する。
【００３２】
図４は、投写ユニット１０６の具体例を示す図である。投写ユニット１０６は、画像処理が施された映像信号に従って、スクリーンに画像を投写する。この例で、プロジェクター１０はいわゆる超短焦点型のプロジェクターである。投写ユニット１０６は、光源１０６１、光変調器１０６２、複数のレンズ（レンズ１０６３〜１０６７）およびミラー１０６８を有する。光源１０６１は、高圧水銀ランプ、ハロゲンランプ、若しくはメタルハライドランプなどのランプ、またはＬＥＤ（Light Emitting Diode）若しくはレーザーダイオードなどの固体光源を含む。光変調器１０６２は、光源から照射された光を映像信号に応じて変調する装置であり、例えば液晶パネルまたはＤＭＤ（Digital Mirror Device）を有する。なお、液晶パネルは、透過式および反射式のいずれの方式であってもよい。光学系は、光変調器により変調された光をスクリーンに投写する素子であり、例えばミラー、レンズ、およびプリズムを有する。光源および光変調器は色成分毎に設けられている。具体的には、赤、緑、および青の３原色のそれぞれについて個別に、光源および光変調器が設けられている。しかしここでは、図面を簡潔にするため、光変調器１０６２は１つだけ図示している。ここでは光学系のうち、各光変調器により変調された光が、ミラーやプリズムを介して合成された後、高速を拡散させるために用いられるレンズ（レンズ１０６３〜１０６７）が図示されている。ミラー１０６７は、非球面ミラーであり、レンズ１０６３〜１０６７で拡散された光束を反射し、広角化する。すなわち、ミラー１０６７は、光変調器１０６２により変調された光を、その光の進行方向の逆向きの成分を含む向きに反射するミラーである。なお投写ユニット１０６はさらに、光源や、光変調器等の駆動回路を有するが、これらは図示を省略している。
【００３３】
再び図３を参照する。操作パネル１０７は、ユーザーがプロジェクター１０に対し指示を入力するための入力装置であり、例えば、キーパッド、ボタン、またはタッチパネルを含む。
【００３４】
カメラ１０８は、スクリーンに投写された映像（以下「投写映像」という）を撮影する。この映像すなわち撮影映像は、静止画であってもよいし、単位時間あたりの枚数を多くした動画に相当する映像であってもよい。画像処理回路１０９は、撮影映像に所定の画像処理を施す。この画像処理は、形状補正を含む。この形状補正の演算は、画像処理回路１０５における射影変換の逆変換を含む。なお、ＩＦ部１０４は、形状補正された撮影映像を、ＩＦ部１０４を介して外部装置に出力すなわち送信する。なお、映像の送信とは、映像を示すデータを送信することをいう。
【００３５】
画像処理回路１０５は、形状補正手段１１の一例である。投写ユニット１０６は、投写手段１２の一例である。カメラ１０８は、撮影手段１３の一例である。画像処理回路１０９は、形状補正手段１４の一例である。ＣＰＵ１００は、出力手段１５の一例である。ＩＦ部１０４は、出力手段１６の一例である。
【００３６】
図５は、プロジェクター１０の外観を例示する図である。プロジェクター１０は、筐体１５０を有する。筐体１５０には、投写ユニット１０６およびカメラ１０８の位置に開口が設けられている。投写ユニット１０６およびカメラ１０８は、筐体１５０上の共通の面に設けられており、両者の光軸はほぼ同じ方向を向いている。
【００３７】
図６は、情報処理装置２０のハードウェア構成を示す図である。この例で、情報処理装置２０はスマートフォンまたはタブレット端末である。情報処理装置２０は、ＣＰＵ２００、ＲＯＭ２０１、ＲＡＭ２０２、記憶部２０３、無線ＬＡＮインターフェース２０４、表示部２０５、および入力部２０６を有する。
【００３８】
ＣＰＵ２００は、情報処理装置２０の各部を制御する制御装置である。ＲＯＭ２０１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＡＭ２０２は、データを記憶する揮発性の記憶装置であり、ＣＰＵ２００が処理を実行する際のワークエリアとして機能する。記憶部２０３は、データおよびプログラムを記憶する不揮発性の記憶装置、例えばＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）を含む。この例で、記憶部２０３は、オペレーティングシステム（以下「ＯＳ」という）、およびプロジェクター１０から無線ＬＡＮ接続を介して映像を受信するためのアプリケーションプログラム（以下「クライアントアプリケーション」という）を記憶している。
【００３９】
無線ＬＡＮインターフェース２０４は、他の装置（例えばプロジェクター１０）と無線ＬＡＮ通信を行う。あるいは、無線ＬＡＮインターフェース２０４は、アクセスポイントに無線ＬＡＮを用いて接続し、遠隔地にある他の装置とＬＡＮ接続を行ってもよい。表示部２０５は、情報を表示する装置、例えばＬＣＤ（Liquid Crystal Display）を含む。入力部２０６は、情報処理装置２０に対し指示や情報を入力する装置、例えば、タッチスクリーンやキーパッドを含む。
【００４０】
クライアントアプリケーションを実行しているＣＰＵ２００は、取得手段２１の一例である。表示部２０５は表示手段２２の一例である。
【００４１】
２．動作
図７は、情報処理システム１の動作を示すフローチャートである。図７のフローは、例えば、クライアントアプリケーションを起動している情報処理装置２０がプロジェクター１０に無線接続したうえで、映像配信を指示したことを契機として開始される。なおこのフローは、動画の中の特定のフレームの画像に着目した処理の流れを示している。実際には、以下で説明する処理が順番に行われるわけではなく、以下の処理は並列的に行われる。また、図において、各処理に対応する映像を併せて例示している。
【００４２】
ステップＳ１００において、映像ソースから映像信号が入力される。入力映像の外形は四角形である。
【００４３】
ステップＳ１１０において、入力映像に対し形状補正が行われる。投写ユニット１０６とスクリーンとの位置関係が理想的な状態でない場合やスクリーンが平面でない場合、スクリーン上に実際に投写された映像は、入力映像と比較して歪んでいる。プロジェクター１０は、この歪みを自動的にまたは手動の調整よって解消または低減する機能を有する。詳細には以下のとおりである。
【００４４】
図８は、形状補正処理の詳細を例示するフローチャートである。ステップＳ１１１において、ＣＰＵ２００は、テストパターンの画像を表示するよう、投写ユニット１０６を制御する。テストパターンは、形状補正に用いられる情報すなわちパラメーターを決定するための画像であり、例えば、格子状（メッシュ状）の直線により構成される画像である。
【００４５】
ステップＳ１１２において、ＣＰＵ１００は、テストパターンの投写映像を撮影するようにカメラ１０８を制御する。ここで撮影された画像は、形状補正に用いられるパラメーターを決定するために用いられる静止画である。
【００４６】
図９は、テストパターンの入力映像および投写映像を例示する図である。図９（Ａ）が入力映像を、図９（Ｂ）が投写映像を、それぞれ示している。図９（Ａ）および（Ｂ）の外枠は、光変調器１０６２の表示領域（例えば液晶パネルの表示領域）の外形を示している。
【００４７】
再び図８を参照する。ステップＳ１１３において、ＣＰＵ１００は、形状補正に用いられるパラメーターを決定する。詳細には以下のとおりである。入力映像と投写映像との間には射影変換の関係があり、投写映像における任意の画素（座標）の階調値は、入力映像における対応する位置（座標）の階調値を参照することによって求められる。入力映像における画素（ｘ，ｙ）と投写映像における画素（Ｘ，Ｙ）との間には、次式（１）の関係がある。
【数１】
2016076837.tif 000003
ここで、Ａ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、およびＨは座標変換係数（射影変換係数）であり、次式（２）の８元連立方程式を解くことにより得られる。なお、この射影変換係数が、上述の形状補正に用いられる情報（パラメーター）の一例である。ＣＰＵ１００は、得られた射影変換係数を記憶部１０３に記憶する。
【数２】
2016076837.tif 000004
ここで、（ｘ０，ｙ０）、（ｘ１，ｙ１）、（ｘ２，ｙ２）、および（ｘ３，ｙ３）は移動前の補正点の座標を、（Ｘ０，Ｘ０）、（Ｘ１，Ｘ１）、（Ｘ２，Ｘ２）、および（Ｘ３，Ｘ３）は移動後の補正点の座標を、それぞれ示している。この座標は、光変調器１０６２の表示領域の座標（液晶パネル上の座標）である。
【００４８】
ステップＳ１１４において、ＣＰＵ１００は、式（１）に従って入力映像と投写映像との間の座標の対応関係を導出する。具体的には、ＣＰＵ１００は、投写映像における各画素の位置（座標）と、この位置に対応する入力映像上の位置（座標）とを対応付けた座標テーブルを生成し、記憶部１０３に記憶する。なお、座標テーブルは、投写映像におけるすべての画素について対応関係を含んでいる必要はない。ほとんどの場合、投射映像における任意の画素（座標）の階調値について、入力映像における対応する位置（座標）は整数値にはならないので、所定の画素間隔ごとに対応関係を含めるようにして、前後左右の画素（座標）の階調値を対応する位置との近さを重みとして、座標テーブルにない画素については、線形補完等によって補うようにしてもよい。
【００４９】
ステップＳ１１５において、画像処理回路１０５は、上述の座標テーブルを参照して、入力映像に射影変換すなわち形状補正を施す。なお、形状補正は入力映像のすべてのフレームに対して行われるが、射影変換係数の決定および座標テーブルの生成は、プロジェクター１０が設置されたとき等、投写ユニット１０６とスクリーンとの位置関係が変わったときだけ行われればよい。また、前記形状変換が、プロジェクターがスクリーン正面の上部（天吊り設置など）あるいは下部（机上設置など）の場合には、形状変換は四角形の画像の上辺から下辺にかけて横軸方向のみの伸長率を変化させる台形補正となる。この場合には、前記射影変換において、入力映像と投射映像の座標にy = Yの関係が成立するため、前記射影変換係数の算出は簡略化される。
【００５０】
再び図７を参照する。ステップＳ１２０において、形状補正された入力映像を用いて投写ユニット１０６が制御される。すなわち、ＣＰＵ１００は、形状補正された入力映像を表示するように光変調器１０６２を制御する。ステップＳ１２０に併せて記載されているのは、このとき光変調器１０６２に書き込まれる（表示されている）画像である。
【００５１】
ステップＳ１３０において、投写ユニット１０６は、スクリーンに映像を投写する。形状補正の効果により、投写映像の外形の歪みは解消され四角形になっている。
【００５２】
ステップＳ１４０において、投写映像が撮影される。すなわち、ＣＰＵ１００は、投写映像を撮影するようにカメラ１０８を制御する。ステップＳ１４０に併せて記載されているのは撮影映像である。投写ユニット１０６とスクリーンとの位置関係が、プロジェクターがスクリーンの中央に正対する配置からずれているということは、カメラ１０８とスクリーンとの位置関係もプロジェクターがスクリーンの中央に正対する配置からずれているということである。すなわち、投写映像が歪みの無い四角形の形状であっても、撮影映像は歪んでいる。
【００５３】
ステップＳ１５０において、撮影映像に対し形状補正が行われる。ここで行われる形状補正は、入力映像に対する形状補正（ステップＳ１１０）の逆補正、すなわち、式（１）で表される射影変換の逆変換である。カメラ１０８とスクリーンとの位置関係は投写ユニット１０６とスクリーンとの位置関係とほぼ等しいので、逆変換をすることにより歪みが解消される。詳細な数式の記載は省略するが、式（１）の逆変換は、式（１）で得られた射影変換係数（Ａ〜Ｇ）を用いて表すことができる。ステップＳ１５０の詳細は以下のとおりである。画像処理回路１０９は、記憶部１０３に記憶されている射影変換係数を読み出す。画像処理回路１０９は、読み出した射影変換係数および式（１）の逆変換の式に従って変換前（撮影映像）および変換後（出力映像）との間の座標の対応関係を導出する。具体的には、ＣＰＵ１００は、出力映像における各画素の位置（座標）と、この位置に対応する撮影映像上の位置（座標）とを対応付けた座標テーブルを生成し、記憶部１０３に記憶する。なお、座標テーブルは、投写映像におけるすべての画素について対応関係を含んでいる必要はなく、所定の画素間隔毎に対応関係を含めるようにして、座標テーブルにない画素については、線形補間等によって補うようにしてもよい。一般的に、形状補正前の画像に比べて形状補正後の画像はぼやける。これは、補正前後で画素が１：１に対応するのではなく周囲の画素の階調値を用いて線形補正等を行っているためである。そこで、カメラ１０８は、プロジェクター１０の投射画素数よりも高い画素数で撮影しておいたほうが、逆補正後に鮮明な画像を得ることができる。
【００５４】
ステップＳ１６０において、形状補正された撮影映像が出力される。ＩＦ部１０４の無線ＬＡＮインターフェースは、形状補正された撮影映像を、無線ＬＡＮ接続している外部装置すなわち情報処理装置２０に出力すなわち送信する。
【００５５】
ステップＳ１７０において、情報処理装置２０のＣＰＵ２００は、プロジェクター１０から送信された映像を、表示部２０５に表示する。
【００５６】
一般に、会議やプレゼンテーション等、実際の使用状況において、プロジェクターは特等席に位置しているといえる。すなわち、プロジェクターとスクリーンの間に障害物はなく、プロジェクターの位置からはスクリーンがよく見える。なお、会議における話者やプレゼンターがスクリーンの前に立ち、映像の一部が遮られる場合もあるが、この場合でもこの話者やプレゼンターの裏に映像が投写されているわけではないので、投写された映像が遮られているわけではない。
【００５７】
本実施形態においては、投写ユニット１０６とカメラ１０８とが筐体の同じ面においてほぼ同じ向きを向いており、カメラ１０８は投写映像を確実に撮影することができる。画像処理回路１０９による形状補正（すなわち逆変換）を用いない場合、歪んだ映像がそのまま情報処理装置２０に送信され、情報処理装置２０の表示部２０５に表示される。人間は、手元の装置において表示されている画像の歪みには敏感であり、表示部２０５に表示される画像が歪んでいるとかなり違和感を感じる。しかし、本実施形態においては、撮影映像は画像処理回路１０９により形状補正（すなわち逆変換）されており、歪みが低減されている。画像処理回路１０９は画像処理回路１０５における射影変換（正変換）で用いられた情報（パラメーター）を用いるので、この形状補正で用いる情報を独自に決定することなく、形状補正をすることができる。
【００５８】
また、本実施形態においては、実際にスクリーンに投写されている映像が撮影され、外部装置に出力される。すなわち、例えばホワイトボードに映像を投写しつつ、プレゼンターが投写映像の上にペンで書き込みをしたような場合でも、その書き込みも含んだ映像を外部装置に出力することができる。例えば、撮影映像ではなく、プロジェクターから投写された映像の元データをそのまま外部装置に出力するシステムと比較すると、このような手書きの情報も含めた映像の配信をすることができる。別の例で、いわゆるプロジェクションマッピングのように、投写されるスクリーンの形状も込みで映像表現がされる場合でも、より実際の映像表現に近い映像を外部装置に配信することができる。
【００５９】
３．変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。
【００６０】
３−１．変形例１
情報処理システム１において逆補正（逆変換）を行う主体は、プロジェクター１０に限定されない。例えば、情報処理装置２０が逆補正を行ってもよい。この場合、プロジェクター１０は、撮影映像の外部装置への送信に先立って、または同時に、逆補正に用いる情報（例えば上述の射影変換係数）を送信すなわち出力する。情報処理装置２０は、形状補正を行う機能を有しており、プロジェクター１０から送信された射影変換係数を用いて、受信した映像を逆補正（逆変換）する。なおこの場合、プロジェクター１０の画像処理回路１０９は、逆補正を行う機能を有していなくてもよい。この構成によれば、プロジェクター１０の処理負荷を低減することができる。
【００６１】
３−２．変形例２
図１０は、変形例２に係る情報処理システム１の機能構成を示す図である。この例で、情報処理システム１は、図２で説明した機能に加え、検出手段１７および調整手段１８を有する。検出手段１７は、投写手段１２により投写された映像の画角を検出する。調整手段１８は、撮影手段１３の画角を、検出手段１７により検出された画角に応じて調整する。
【００６２】
図１１は、画角の拡大を例示する図である。図１１（Ａ）が未処理（拡大前）の状態を、図１１（Ｂ）が拡大後の状態を例示している。図１１において、外側の枠線は撮影映像の外枠を、斜線部分はそのうち投写映像の占める部分を、それぞれ示している。
【００６３】
図１１（Ａ）は、カメラ１０８の画角が投写ユニット１０６の画角よりも広い例を示している。この場合、カメラ１０８は、投写映像よりも広い範囲を写していることになり、この撮影映像をそのまま情報処理装置２０に配信すると、情報処理装置２０において表示される映像は、余分なものを枠状に含んでいることになる。そこで、この例では、撮影映像の画角を、投写映像の画角に一致させるように調整が行われる。
【００６４】
この調整は、例えば、射影変換係数の決定の際に併せて行われる。具体的には以下のとおりである。ＣＰＵ１００は、テストパターンを撮影した画像から、投写映像の画角を検出する。ＣＰＵ１００は、投写映像の画角と撮影画像の画角が一致するように、カメラ１０８の画角を調整する。カメラ１０８は、ＣＰＵ１００からの指示に応じて画角を調整する機能を有している。この調整により、撮影映像の画角は投写映像の画角と一致する（図１１（Ｂ））。
【００６５】
この例によれば、情報処理装置２０において表示される映像の画角をより最適化することができる。なお、投写ユニット１０６の画角を電子的に制御することが可能な機構をプロジェクター１０が有している場合、撮影画像から画角を検出するのではなく、この制御機構から画角の情報を取得し、この情報を用いてカメラ１０８の画角を調整すればよい。
【００６６】
３−３．他の変形例
撮影画像が投写した画像と異なっている場合、すなわち、投写映像に対しプレゼンターによる手書きが行われた場合、プロジェクター１０は、著作権を保護するための処理（例えば、データにプロテクトをかける）を行ってもよい。
【００６７】
形状補正の具体的方法は実施形態で説明したものに限定されない。逆変換を定義できるものであれば、どのような補正方法が用いられてもよい。
【００６８】
要求される機能とハードウェア構成との対応関係は、実施形態で説明したものに限定されない。例えば、ＣＰＵ１００ではなく画像処理回路１０５が、射影変換係数を決定してもよい。この場合、画像処理回路１０５が、画像処理回路１０９に対し、射影変換係数を出力してもよい。また、画像処理回路１０５が射影変換係数を決定するための用いるテストパターンの画像を撮影するカメラは、外部装置（情報処理装置２０）に出力する映像を撮影するためのカメラと別個に設けられてもよい。別の例で、単一の回路が、正変換および逆変換の機能を有していてもよい。この場合、射影変換係数は、記憶部１０３ではなく回路内のレジスターに記憶されてもよい。
【００６９】
プロジェクター１０および情報処理装置２０のハードウェア構成は実施形態で説明したものに限定されない。例えば、プロジェクター１０は、超短焦点のプロジェクターでなくてもよい。また、プロジェクター１０と情報処理装置２０との通信は無線では無く、有線で行われてもよい。また、情報処理装置２０は種々の形状のパーソナルコンピューターであってもよい。
【符号の説明】
【００７０】
１…情報処理システム、１０…プロジェクター、２０…情報処理装置、１１…形状補正手段、１２…投写手段、１３…撮影手段、１４…形状補正手段、１５…出力手段、１６…出力手段、２１…取得手段、２２…表示手段、１００…ＣＰＵ、１０１…ＲＯＭ、１０２…ＲＡＭ、１０３…記憶部、１０４…ＩＦ部、１０５…画像処理回路、１０６…投写ユニット、１０７…操作パネル、１０８…カメラ、１０９…画像処理回路、１０６１…光源、１０６２…光変調器、１０６３〜１０６７…レンズ、１０６８…ミラー、１５０…筐体、２００…ＣＰＵ、２０１…ＲＯＭ、２０２…ＲＡＭ、２０３…記憶部、２０４…無線ＬＡＮインターフェース、２０５…表示部、２０６…入力部
【図１】
2016076837.tif 000005
【図２】
2016076837.tif 000006
【図３】
2016076837.tif 000007
【図４】
2016076837.tif 000008
【図５】
2016076837.tif 000009
【図６】
2016076837.tif 000010
【図７】
2016076837.tif 000011
【図８】
2016076837.tif 000012
【図９】
2016076837.tif 000013
【図１０】
2016076837.tif 000014
【図１１】
2016076837.tif 000015