(57)【要約】【課題】動画撮影において被写体が人のような動体である場合でも推奨位置を適切に報知できるようにする。【解決手段】  撮像制御部２１１による制御により画像を撮像する撮像部と、この撮像部で撮像される画像の画角内で動体である被写体が位置することが推奨される推奨位置を特定する推奨位置特定部２１０と、実空間上で前記推奨位置を、光源から光を照射することで、前記被写体に対して動的に報知する報知部と、を有する電子機器（第１処理装置２１）が提供される。【選択図】図３
2019220872.tif 000002
【特許請求の範囲】
【請求項１】
撮像部で撮像される画像の画角内で動体である被写体が位置することが推奨される推奨位置を特定する特定部と、
実空間上で前記推奨位置を、光源から光を照射することで、前記被写体に対して動的に報知する報知部とを有する電子機器。
【請求項２】
前記報知部は、前記被写体が支持される床面の部位又は該床面に支持される物体であって前記画角内の部位又は物体に向けて、前記光を照射することを特徴とする請求項１に記載の電子機器。
【請求項３】
前記報知部は、前記推奨位置に又は前記推奨位置と所定の位置関係にある位置に前記像が位置するように、前記光を照射することを特徴とする請求項１又は２に記載の電子機器。
【請求項４】
前記報知部は、前記撮像部が前記被写体を撮像するタイミングとは異なるタイミングで前記光を照射することを特徴とする請求項１又は２に記載の電子機器。
【請求項５】
前記撮像部は、間欠的に前記被写体を撮像し
前記報知部は、前記撮像部が前記被写体を撮影する連続する１のタイミングと２のタイミングとの間の期間で前記光を照射することを特徴とする請求項４に記載の電子機器。
【請求項６】
前記画像の所定位置に、他の撮像部により撮像された他の画像から抽出した他の被写体の像を合成する合成部を更に有し、
前記特定部は、前記所定位置に基づいて前記推奨位置を特定することを特徴とする請求項１乃至５の何れかに記載の電子機器。
【請求項７】
前記画像から前記被写体の像を抽出する抽出部と、
前記抽出部により抽出した被写体の像を他の画像に合成する合成部とを更に有し、
前記合成部は、前記他の画像の、前記画像における当該被写体の像の位置に対応する位置に、又は、前記他の画像の、前記画像における当該被写体の像の位置に対して所定位置関係にある位置に、合成することを特徴とする請求項１乃至５の何れかに記載の電子機器。
【請求項８】
前記像は、バミリとして機能することを特徴とする請求項１乃至７の何れかに記載の電子機器。
【請求項９】
前記特定部は、前記撮像部が前記被写体を撮像する周期ごとに前記推奨位置を特定することを特徴とする請求項１乃至８の何れかに記載の電子機器。
【請求項１０】
撮像部で撮像される画像の画角内で動体である被写体が位置することが推奨される推奨位置を特定し、
実空間上で前記推奨位置を、光源から光を照射することで、前記被写体に対して動的に報知することを含む、コンピュータにより実行される推奨位置報知方法。
【請求項１１】
撮像部で撮像される画像の画角内で動体である被写体が位置することが推奨される推奨位置を特定し、
実空間上で前記推奨位置を、光源から光を照射することで、前記被写体に対して動的に報知する
処理をコンピュータに実行させる推奨位置報知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、電子機器、推奨位置報知方法、及び推奨位置報知プログラムに関する。
【背景技術】
【０００２】
舞台における人や物の配置を設定する手間を軽減するために、投影装置を利用して舞台に対してオブジェクト配置画像データを投影し、そのオブジェクト配置投影画像に基づいて舞台配置を行なう技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１９４２３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記の先行技術は、舞台上の固定的なオブジェクトの配置に利用されるものであるので、オブジェクト配置投影画像は動的に変化せず、動画撮影において被写体が人のような動体である場合に適用が難しい。動画撮影において被写体が人のような動体である場合、推奨位置（被写体が位置することが推奨される位置）が動的に変化しうるためである。
【０００５】
そこで、１つの側面では、本発明は、動画撮影において被写体が人のような動体である場合でも推奨位置を適切に報知できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の１つの側面では、撮像部で撮像される画像の画角内で動体である被写体が位置することが推奨される推奨位置を特定する特定部と、
実空間上で前記推奨位置を、光源から光を照射することで、前記被写体に対して動的に報知する報知部とを有する電子機器が提供される。
【発明の効果】
【０００７】
１つの側面では、本発明によれば、動画撮影において被写体が人のような動体である場合でも推奨位置を適切に報知することが可能となる。
【図面の簡単な説明】
【０００８】
【図１】一実施例による推奨位置報知システムの全体構成を示す概略図である。
【図２】第１処理装置のハードウェア構成の一例を示す図である。
【図３】第１処理装置の機能構成の一例を示す図である。
【図４】バミリ用像のイメージ図である。
【図５】別々の場所で撮像されている様子の説明図である。
【図６】合成画像の説明図である。
【図７】第１処理装置により実行されるメイン処理の一例を示す概略フローチャートである。
【図８】撮像処理（図７のステップＳ７００）の一例を示す概略フローチャートである。
【図９】報知処理（図７のステップＳ７０２）の一例を示す概略フローチャートである。
【図１０】合成処理（図７のステップＳ７０４）の一例を示す概略フローチャートである。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら各実施例について詳細に説明する。
【００１０】
図１は、一実施例による推奨位置報知システム１の全体構成を示す概略図である。
【００１１】
推奨位置報知システム１は、光源１０と、第１カメラ１２（撮像部の一例）と、第１処理装置２１（電子機器の一例）と、第２処理装置２２と、第２カメラ２４とを含む。
【００１２】
光源１０は、可視光を発生させる。光源１０は、例えばレーザ光源である。光源１０は、プロジェクションマッピングで用いられるような、描画が可能な光源装置であってもよい。
【００１３】
第１カメラ１２は、所定の画角を有し、所定の画素数の画像を取得する。
【００１４】
第１処理装置２１は、例えばコンピュータにより形成される。第１処理装置２１には、光源１０及び第１カメラ１２が接続されるとともに、第２処理装置２２がネットワーク４を介して接続される。ネットワーク４は、無線通信網を含み、その他、インターネット、ＶＰＮ（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、有線ネットワーク、又はこれらの任意の組み合わせなどを含んでもよい。第１処理装置２１は、後に詳説する。
【００１５】
第２処理装置２２は、例えばコンピュータにより形成される。第２処理装置２２には、第２カメラ２４が接続されるとともに、第１処理装置２１がネットワーク４を介して接続される。
【００１６】
第２カメラ２４は、所定の画角を有し、所定の画素数の画像を取得する。第２カメラ２４の画角と画素数は、第１カメラ１２と同一であってもよいし、異なってもよい。ここでは、一例として、第２カメラ２４の画角と画素数は、第１カメラ１２と同一であるものとする。
【００１７】
第２カメラ２４は、第１カメラ１２とは異なるシーンを撮像する態様で用いられる。すなわち、第２カメラ２４は、画角内の空間が第１カメラ１２の画角内の空間とは異なる態で用いられる。
【００１８】
図２は、第１処理装置２１のハードウェア構成の一例を示す図である。なお、第２処理装置２２のハードウェア構成についても同様であってよい。
【００１９】
図２に示す例では、第１処理装置２１は、制御部１０１、主記憶部１０２、補助記憶部１０３、ドライブ装置１０４、ネットワークＩ／Ｆ部１０６、入力部１０７、及び表示装置１０８を含む。
【００２０】
制御部１０１は、主記憶部１０２や補助記憶部１０３に記憶されたプログラムを実行する演算装置であり、入力部１０７や記憶装置からデータを受け取り、演算、加工した上で、記憶装置などに出力する。
【００２１】
主記憶部１０２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などである。主記憶部１０２は、制御部１０１が実行する基本ソフトウェアであるＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
【００２２】
補助記憶部１０３は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。
【００２３】
ドライブ装置１０４は、記録媒体１０５、例えばフレキシブルディスクからプログラムを読み出し、記憶装置にインストールする。
【００２４】
記録媒体１０５は、所定のプログラムを格納する。この記録媒体１０５に格納されたプログラムは、ドライブ装置１０４を介して第１処理装置２１にインストールされる。インストールされた所定のプログラムは、第１処理装置２１により実行可能となる。
【００２５】
ネットワークＩ／Ｆ部１０６は、有線及び／又は無線回線などのデータ伝送路により構築されたネットワーク４を介して接続された通信機能を有する周辺機器（例えば第２処理装置２２）と第１処理装置２１とのインターフェースである。
【００２６】
入力部１０７は、カーソルキー、数字入力及び各種機能キーなどを備えたキーボード、マウスやタッチパッドなどを有する。入力部１０７は、第１処理装置２１の一要素でなく、第１処理装置２１に接続される形態であってもよい。
【００２７】
表示装置１０８は、例えば大型の液晶ディスプレイなどであってもよいし、携帯端末などの表示部であってもよい。表示装置１０８は、第１処理装置２１の一要素でなく、第１処理装置２１に接続される形態であってもよい。
【００２８】
なお、図２に示す例において、以下で説明する各種処理などは、プログラムを第１処理装置２１に実行させることで実現することができる。また、プログラムを記録媒体１０５に記録し、このプログラムが記録された記録媒体１０５を第１処理装置２１に読み取らせて、以下で説明する各種処理などを実現させることも可能である。なお、記録媒体１０５は、様々なタイプの記録媒体を用いることができる。例えば、記録媒体１０５は、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ、フレキシブルディスク、光磁気ディスクなどの様に情報を光学的、電気的あるいは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリなどのように情報を電気的に記録する半導体メモリなどであってよい。
【００２９】
図３は、第１処理装置２１の機能構成の一例を示す図である。図４は、バミリ用像のイメージ図である。図４には、ステージの床面４００（被写体Ｓ１が支持される床面の一例）上にバミリ用像Ｂ１が示される。
【００３０】
第１処理装置２１は、推奨位置特定部２１０と、撮像制御部２１１と、報知部２１２と、合成部２１３とを含む。推奨位置特定部２１０、撮像制御部２１１、報知部２１２、及び合成部２１３は、制御部１０１が主記憶部１０２内のプログラムを実行することで実現できる。
【００３１】
推奨位置特定部２１０は、第１カメラ１２で撮像される画像の画角内で被写体が位置することが推奨される推奨位置を特定する。推奨位置が特定される対象の被写体は、動体（動的に動く物体）であり、本例では、人である。なお、推奨位置は、被写体が位置すべき位置を含む概念である。推奨位置は、任意の方法で特定されてもよいが、例えば、推奨位置の時系列データがあらかじめ用意されていてよい。推奨位置の時系列データは、基準の時系列に同期されていてよく、例えば楽曲データや歌詞データなどに同期されてもよい。この場合、推奨位置特定部２１０は、推奨位置データと基準の時系列とを参照して、各タイミングでの推奨位置を特定する。推奨位置の他の特定方法については、後述する。
【００３２】
撮像制御部２１１は、第１カメラ１２を用いた撮像を制御する。撮像制御部２１１は、所定フレーム周期で、第１カメラ１２を用いた撮像を実行する。なお、撮像中の各フレームでは、シャッタースピードなどが可変とされてもよい。また、第１カメラ１２の撮像方向は、撮像中に適宜変更されてもよい。
【００３３】
報知部２１２は、実空間上で推奨位置を光の像（以下、「バミリ用像」と称する）によって示唆する態様で、光源１０から光を照射する。例えば、報知部２１２は、推奨位置にバミリ用像が位置するように、光源１０から光を照射する。この場合、被写体は、バミリ用像を見ることで、推奨位置を把握でき、適宜、推奨位置へと移動したり現在の位置を維持したりすることができる。
【００３４】
報知部２１２は、被写体が支持される床面の部位（すなわち被写体の足元の床面の一部）に向けて、光を照射する。この場合、被写体の足元の床面のうちの、光が当たる部位にバミリ用像が形成される。被写体である人は、足元のバミリ用像を見ることで、推奨位置を把握でき、適宜、推奨位置へと移動したり現在の位置を維持したりすることができる。なお、変形例では、報知部２１２は、床面の部位に照射することに代えて、床面に支持される物体（道具やセットなど）に光を照射してもよい。
【００３５】
例えば、図４に示す例では、被写体Ｓ１は、バミリ用像Ｂ１を見て、自身の立ち位置に係る推奨位置を把握できる。このようにして、バミリ用像は、バミリとして機能できる。
【００３６】
なお、本実施例では、推奨位置に、バミリ用像が形成されるが、推奨位置に対して一定の位置関係のある位置に、バミリ用像が形成されてもよい。一定の位置関係とは、推奨位置に対して１ｍ左にバミリ用像が形成されるといった関係である。この場合も、被写体は、一定の位置関係をあらかじめ把握しておくことで、バミリ用像に基づいて推奨位置を把握できる。このようにして、光源１０から光を照射する位置は、推奨位置そのものである必要はなく、推奨位置に隣接した位置などであってもよい。この場合も、推奨位置をバミリ用像によって示唆できる。
【００３７】
なお、バミリ用像は、いわゆるバミリの形態を光で描画することで得られる像であってもよいし、単なるスポット的な像であってもよい。あるいは、バミリ用像は、推奨位置と現在位置とのずれを表現することで、推奨位置を示唆する形態であってもよい。例えば、バミリ用像は、推奨位置の方向や距離を表す矢印や数値を光により描画することで得られる像であってもよい。
なお、撮像中、バミリ用像は、画角内に位置するように形成されてもよい。バミリ用像が画角内に位置する場合は、第１カメラ１２が撮像する画像内にバミリ用像に係る像が形成されるという不都合が生じうるが、本実施例では、以下で説明するように、報知部２１２による光の照射タイミングを適正化することで、かかる不都合を低減できるためである。
【００３８】
合成部２１３は、第２カメラ２４により撮像された他の画像から抽出した他の被写体の像を合成する。以下、区別のため、第１カメラ１２により撮像される画像を、「第１画像」とも称し、第２カメラ２４により撮像される画像を、「第２画像」とも称し、第１カメラ１２の被写体を「第１被写体」とも称し、第２カメラ２４の被写体を「第２被写体」とも称する。
【００３９】
合成部２１３は、第２画像から第２被写体の像を抽出し、抽出した第２被写体の像を、第１画像の所定位置（以下、「合成位置」とも称する）に合成する。合成位置は、あらかじめ決められ、フレームごとに異なってもよい。例えば、合成画像の所望の構成があらかじめ決まっている場合は、合成位置は、当該所望の構成から導出されてもよい。また、第１画像と第２画像とにおける画像中の座標位置を対応させた上で、合成位置は、第２画像中の第２被写体の像の位置と常に一致してもよい。あるいは、第１画像と第２画像とにおける画像中の座標位置を対応させた上で、合成位置は、常に、第２画像中の第２被写体の像の位置に対して所定位置関係にある位置であってもよい。所定位置関係は、第１画像と第２画像との関係に応じて決められてよく、例えば水平方向で所定画素数だけずれた関係等であってよい。
【００４０】
このようにして、本実施例によれば、光源１０からの光によって、推奨位置を示唆するバミリ用像が形成されるので、物理的なバミリを用いる場合の不都合（貼り付けや撤去作業が必要であり、作業負荷が比較的大きいという不都合）を回避できる。また、バミリ用像は、物理的なバミリに比べて移動が容易であり、推奨位置を変化させるだけで、形成位置を変えることができる。
【００４１】
本実施例による推奨位置報知システム１は、推奨位置を示唆するバミリ用像が有用な用途で使用できる。例えば、バミリ用像は、バミリとして機能できるので、バミリが使用される各種用途で使用できる。また、バミリ用像は、合成画像を生成するために好適でもある。例えば、遠隔地にいる２者間で、あたかも同一空間内に位置するかのような自然な合成画像を生成するためにバミリ用像を有用に使用できる。この点は、図５以降を参照した後述において説明する。
【００４２】
次に、図５以降を参照して、推奨位置報知システム１の第１処理装置２１の動作例について説明する。
【００４３】
ここでは、一例として、図５に示すように、第１被写体が被写体Ｓ１であり、第２被写体が被写体Ｓ２であり、それぞれ異なる場所で撮像されているものとする。そして、図６に示すような合成画像（映像）を生成するために、被写体Ｓ１の画像（第１画像）と被写体Ｓ２の画像（第２画像）とが合成されるものとする。
【００４４】
図７は、第１処理装置２１により実行されるメイン処理の一例を示す概略フローチャートである。図７に示す処理は、撮像開始条件が成立すると、撮像終了条件が成立するまで、所定周期ごとに実行され、所定周期は、フレーム周期よりも短いものとする。撮像開始条件は、任意であるが、例えばユーザが開始指示を入力した場合に成立する。撮像終了条件は、任意であるが、例えばユーザが終了指示を入力した場合に成立する。なお、撮像開始条件が成立してから撮像終了条件が成立するまでを、「フレーム単位の撮像中」と区別するために、「全体としての撮像中」と称する場合がある。全体としての撮像中は、第１カメラ１２及び第２カメラ２４は、それぞれ、所定のフレーム周期ごとに第１画像及び第２画像を生成するものとする。第１カメラ１２及び第２カメラ２４は、それぞれ、所定のフレーム周期ごとに、すなわち間欠的に、被写体を撮像することになる。
【００４５】
ステップＳ７００では、第１処理装置２１の撮像制御部２１１は、撮像処理を実行する。撮像処理の詳細の一例は、図８を参照して説明する。
【００４６】
ステップＳ７０２では、第１処理装置２１の報知部２１２は、報知処理を実行する。報知処理の詳細の一例は、図９を参照して説明する。
【００４７】
ステップＳ７０４では、第１処理装置２１の合成部２１３は、合成処理を実行する。合成処理の詳細の一例は、図１０を参照して説明する。
【００４８】
図８は、撮像処理（図７のステップＳ７００）の一例を示す概略フローチャートである。
【００４９】
ステップＳ７０００では、撮像制御部２１１は、フレーム単位の撮像中であるか否かを表すフレーム撮像フラグが“１”であるか否かを判定する。フレーム撮像フラグが“１”であることは、フレーム単位の撮像中であることを表す。なお、第１カメラ１２は、フレームごとの第１画像を生成するが、１フレーム周期に対応する期間内においては、第１カメラ１２が撮像している期間と、第１カメラ１２が撮像していない期間とを含む。なお、第１カメラ１２が撮像している期間の長さは、例えばシャッタースピードに依存する。フレーム撮像フラグが“１”であることは、１フレームに対応する期間のうちの、撮像している期間に対応する。判定結果が“ＹＥＳ”の場合は、ステップＳ７００２に進み、それ以外の場合、ステップＳ７００８に進む。
【００５０】
ステップＳ７００２では、撮像制御部２１１は、今回のフレーム周期に係る第１画像の取得処理を実行する。
【００５１】
ステップＳ７００４では、撮像制御部２１１は、今回のフレーム周期に係る第１画像の取得処理が終了したか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ７００６に進み、それ以外の場合、今回周期の撮像処理はそのまま終了する。
【００５２】
ステップＳ７００６では、撮像制御部２１１は、フレーム撮像フラグを“０”にリセットする。
【００５３】
ステップＳ７００８では、撮像制御部２１１は、第１画像の取得タイミングが到来したか否かを判定する。第１画像の取得タイミングは、第１画像のフレーム周期ごとに到来する。判定結果が“ＹＥＳ”の場合は、ステップＳ７０１０に進み、それ以外の場合、今回周期の撮像処理はそのまま終了する。
【００５４】
ステップＳ７０１０では、撮像制御部２１１は、今回のフレーム周期に係る第１画像の取得処理を開始する。
【００５５】
ステップＳ７０１２では、撮像制御部２１１は、フレーム撮像フラグを“１”にセットする。
【００５６】
図９は、報知処理（図７のステップＳ７０２）の一例を示す概略フローチャートである。
【００５７】
ステップＳ７０２０では、報知部２１２は、フレーム撮像フラグが“０”であるか否かを判定する。フレーム撮像フラグが“０”であることは、上述のように、１フレームに対応する期間のうちの、第１カメラ１２が撮像していない期間に対応する。判定結果が“ＹＥＳ”の場合は、ステップＳ７０２２に進み、それ以外の場合、ステップＳ７０３０に進む。
【００５８】
ステップＳ７０２２では、報知部２１２は、今回周期でフレーム撮像フラグが“１”から“０”に変化したか否かを判定する。すなわち、報知部２１２は、前回周期ではフレーム撮像フラグが“１”であったか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ７０２４に進み、それ以外の場合、ステップＳ７０２８に進む。
【００５９】
ステップＳ７０２４では、報知部２１２は、光源１０から推奨位置（後出するステップＳ７０２８で特定した推奨位置）への光の照射を開始する。
【００６０】
ステップＳ７０２６では、報知部２１２は、次の照射タイミングに係る推奨位置が特定されているか否かを表す推奨位置特定済フラグを“０”にリセットする。推奨位置特定済フラグが“０”であることは、次の照射タイミングに係る推奨位置が特定されていないことを表す。
【００６１】
ステップＳ７０２８では、報知部２１２は、光源１０から推奨位置に向けて光を照射した状態を維持する。
【００６２】
ステップＳ７０３０では、報知部２１２は、推奨位置特定済フラグが“０”であるか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ７０３２に進み、それ以外の場合、今回周期の報知処理はそのまま終了する。
【００６３】
ステップＳ７０３２では、報知部２１２は、次の照射タイミングに係る推奨位置を特定する。推奨位置の特定方法は任意であるが、例えば、報知部２１２は、前回のフレーム周期の際に生成した合成画像における被写体Ｓ２の合成位置に対して所定の位置関係にある位置を、推奨位置として特定してもよい。
【００６４】
ステップＳ７０３４では、報知部２１２は、推奨位置特定済フラグを“１”にセットする。
【００６５】
なお、図９では、報知部２１２は、第１画像の取得処理中に、次の照射タイミングに係る推奨位置を特定しているが、第１画像の取得処理が終了した処理周期で、ステップＳ７０２４に先立って、次の照射タイミングに係る推奨位置を特定してもよい。
【００６６】
図１０は、合成処理（図７のステップＳ７０４）の一例を示す概略フローチャートである。
【００６７】
ステップＳ７０４０では、合成部２１３は、今回周期でフレーム撮像フラグが“１”から“０”に変化したか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ７０４２に進み、それ以外の場合、ステップＳ７０４４に進む。
【００６８】
ステップＳ７０４２では、合成部２１３は、直近のフレーム周期の第１画像を取得する。
【００６９】
ステップＳ７０４４では、合成部２１３は、フレーム撮像フラグが“０”であるか否かを判定する。判定結果が“ＹＥＳ”の場合は、ステップＳ７０４６に進み、それ以外の場合、ステップＳ７０５４に進む。
【００７０】
ステップＳ７０４６では、合成部２１３は、新たな第２画像（第２処理装置２２により取得された第２画像）を第２処理装置２２から受信済みか否かを判定する。なお、第２画像の受信処理は、メイン処理とは別の割込み処理として実行されてよい。判定結果が“ＹＥＳ”の場合は、ステップＳ７０４８に進み、それ以外の場合、ステップＳ７０５４に進む。
【００７１】
ステップＳ７０４８では、合成部２１３は、新たな第２画像から被写体Ｓ２の像を抽出する。
【００７２】
ステップＳ７０５０では、合成部２１３は、ステップＳ７０４２で取得した第１画像の所定位置（合成位置）に、ステップＳ７０４８で抽出した被写体Ｓ２の像を合成する。
【００７３】
ステップＳ７０５２では、合成部２１３は、出力対象画像を、ステップＳ７０５０で生成した合成画像に更新する。
【００７４】
ステップＳ７０５４では、合成部２１３は、出力対象画像を表示装置１０８（図２参照）に出力する。なお、合成部２１３は、出力対象画像が更新されるごとに、第２処理装置２２に、出力対象画像データを送信してもよい。この場合、第２処理装置２２も、出力対象画像を別の表示装置（図示せず）に出力してよい。
【００７５】
図８〜図１０に示す処理によれば、リアルタイムに取得される第１画像及び第２画像を用いて、合成画像を生成できる。この際、第１画像を取得する際の被写体Ｓ１の推奨位置がバミリ用像により示唆されるので、被写体Ｓ１が推奨位置に容易に位置できる。この結果、推奨位置を適切に特定することで、被写体Ｓ１と被写体Ｓ２とがあたかも同じ空間にいるかのような自然な合成画像を生成することが可能である。
【００７６】
例えば、図６に示す合成画像において、被写体Ｓ１と被写体Ｓ２との間の距離の適正値が“Ｌ１”であるとする。適正値は、被写体Ｓ１と被写体Ｓ２とがあたかも同じ空間にいるかのような自然な合成画像を生成する観点からの適正値である。なお、適正値は、シーンごとに変化し得る。この場合、報知部２１２は、被写体Ｓ２の合成位置に対して距離Ｌ１離れた位置を推奨位置としてバミリ用像を形成する。この結果、被写体Ｓ１がバミリ用像を見て推奨位置に移動などすることができれば、自然な合成画像を生成することが可能となる。
【００７７】
ところで、バミリ用像は、上述のように、光により形成される像であるので、推奨位置が第１カメラ１２の画角内に位置する場合は、バミリ用像が第１画像内に像として映り込むことで、第１画像の画質に影響を与えるおそれがある。すなわち、物理的なバミリのような、バミリ用像が第１画像内に像として映り込むおそれがある。これに対して、画像処理などによりバミリ用像を除去することも可能であるが、画像処理の負荷を低減することができれば更に有効である。
【００７８】
この点、図８〜図１０に示す処理によれば、バミリ用像は、第１カメラ１２が撮像していない期間を利用して形成されるので、バミリ用像が第１画像内に像として映り込む可能性を低減できる。この結果、画像処理などによりバミリ用像を除去する必要性が実質的になく、比較的少ない処理負荷で自然な合成画像を生成することが可能となる。
【００７９】
なお、図８〜図１０に示す処理では、フレーム撮像フラグを用いて、第１カメラ１２が撮像していない期間を検出しているが、これに限られない。例えば、フレーム撮像フラグを用いずに、第１画像の取得タイミングが到来してから一定時間（フレーム周期よりも短い時間）後から、次の第１画像の取得タイミングまでの期間に、バミリ用像が形成されてもよい。
【００８０】
また、図８〜図１０に示す処理では、フレーム周期ごとにバミリ用像が形成されているが、一定数のフレーム周期ごとに、バミリ用像が形成されてもよい。あるいは、推奨位置が変化するときだけ、変化後の推奨位置に対応したバミリ用像が形成されてもよい。
【００８１】
また、図８〜図１０に示す処理によれば、リアルタイムに取得される第１画像と第２画像とを用いて合成画像を生成しているが、リアルタイムである必要はない。この場合、第１処理装置２１は、第２処理装置２２側ですでに取得された第２画像のデータを事前に取得しておき、当該第２画像のデータを、リアルタイムに取得される第１画像に対して用いて、合成画像を生成してもよい。あるいは、すでに取得された第２画像のデータと、すでに取得された第１画像とを用いて、オフラインで合成画像が生成されてもよい。
【００８２】
また、図８〜図１０に示す処理では、報知部２１２は、光源１０から推奨位置に向けて光を照射するが、これに限られない。例えば、報知部２１２は、次のフレーム周期に係る合成画像における合成位置に対応する位置（すなわち被写体Ｓ１がいる実空間内に被写体Ｓ２が存在すると想定したときの被写体Ｓ２の位置）に向けて光を照射してもよい。この場合、被写体Ｓ１は、バミリ用像が形成された位置に被写体Ｓ２が存在すると仮定しながら、自身の適切な位置（推奨位置）を把握できる。すなわち、この場合も、バミリ用像は、推奨位置を示唆していることになる。これにより、例えば被写体Ｓ１及び被写体Ｓ２が本実施例の推奨位置報知システム１を利用してダンスの練習をする場合、被写体Ｓ１は、相手（被写体Ｓ２）の位置に合わせたダンスの練習などを、被写体Ｓ２に対して遠隔地にいながらすることができる。
【００８３】
また、図８〜図１０に示す処理では、２つの別々のカメラ（第１カメラ１２及び第２カメラ２４）で撮像される画像を用いて合成画像を生成しているが、３つ以上の別々のカメラで撮像される画像を用いて合成画像を生成してもよい。例えば、３人以上で演劇の練習や楽器のセッションなどを行う際にも、本実施例の推奨位置報知システム１が好適となる。この場合、３人以上の演技者は、別々の場所にいながら、それぞれの表示装置（表示装置１０８参照）上で合成画像を見ながら、お互いの動きなどをチェックできる。
【００８４】
また、図８〜図１０に示す処理では、第１画像に、第２画像内の被写体Ｓ２の像（抽出した像）を合成しているが、これに限られない。すなわち、第２画像又は更なる他の画像（他のカメラにより撮像された画像）に、第１画像内の被写体Ｓ１の像（抽出した像）を合成してもよい。
例えば、一の変形例では、第２画像に、第１画像内の被写体Ｓ１の像（抽出した像）が合成される。本変形例では、第１処理装置２１は、更に、第１画像内の被写体Ｓ１の像を抽出する抽出部と、合成処理を行う装置（例えば第２処理装置２２）に、抽出した被写体Ｓ１の像のデータを送信する送信部とを有してよい。この場合、合成処理を行う装置の合成部は、第２画像の、第１画像における被写体Ｓ１の像の位置に対応する位置に、被写体Ｓ１の像を合成してよい。すなわち、第１画像と第２画像とにおける画像中の座標位置を対応させた上で、第２画像における被写体Ｓ１の像の合成位置は、第１画像中の第１被写体の像の位置と常に一致してもよい。あるいは、第１画像と第２画像とにおける画像中の座標位置を対応させた上で、第２画像における被写体Ｓ１の像の合成位置は、常に、第１画像中の第１被写体の像の位置に対して所定位置関係にある位置であってもよい。所定位置関係は、第１画像と第２画像との関係に応じて決められてよく、例えば水平方向で所定画素数だけずれた関係等であってよい。
本変形例は、例えば、被写体Ｓ１と被写体Ｓ２との間で位置関係や動きが決まっている場合（例えばダンスの振り付け等）に好適である。なお、本変形例では、第１画像内の被写体Ｓ１の像を抽出する抽出部は、第２処理装置２２側で実現されてもよい。この場合、第１処理装置２１の送信部は、第１画像を第２処理装置２２に送信する。また、本変形例では、第２カメラ２４側でバミリ用像が同様に形成されてもよい。すなわち、被写体Ｓ２に対して推奨位置が光の照射により報知されてもよい。なお、本変形例では、第１処理装置２１と第２処理装置２２とが電子機器の一例を形成する。
【００８５】
また、上述した実施例では、第１処理装置２１及び第２処理装置２２が各種処理を実行するが、一部の処理は、第１処理装置２１及び第２処理装置２２以外の他の処理装置により実現されてもよい。
【００８６】
以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
【００８７】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
＜請求項１＞
撮像部で撮像される画像の画角内で動体である被写体が位置することが推奨される推奨位置を特定する特定部と、
実空間上で前記推奨位置を、光源から光を照射することで、前記被写体に対して動的に報知する報知部とを有する電子機器。
＜請求項２＞
前記報知部は、前記被写体が支持される床面の部位又は該床面に支持される物体であって前記画角内の部位又は物体に向けて、前記光を照射することを特徴とする請求項１に記載の電子機器。
＜請求項３＞
前記報知部は、前記推奨位置に又は前記推奨位置と所定の位置関係にある位置に前記像が位置するように、前記光を照射することを特徴とする請求項１又は２に記載の電子機器。
＜請求項４＞
前記報知部は、前記撮像部が前記被写体を撮像するタイミングとは異なるタイミングで前記光を照射することを特徴とする請求項１又は２に記載の電子機器。
＜請求項５＞
前記撮像部は、間欠的に前記被写体を撮像し
前記報知部は、前記撮像部が前記被写体を撮影する連続する１のタイミングと２のタイミングとの間の期間で前記光を照射することを特徴とする請求項４に記載の電子機器。
＜請求項６＞
前記画像の所定位置に、他の撮像部により撮像された他の画像から抽出した他の被写体の像を合成する合成部を更に有し、
前記特定部は、前記所定位置に基づいて前記推奨位置を特定することを特徴とする請求項１乃至５の何れかに記載の電子機器。
＜請求項７＞
前記画像から前記被写体の像を抽出する抽出部と、
前記抽出部により抽出した被写体の像を他の画像に合成する合成部とを更に有し、
前記合成部は、前記他の画像の、前記画像における当該被写体の像の位置に対応する位置に、又は、前記他の画像の、前記画像における当該被写体の像の位置に対して所定位置関係にある位置に、合成することを特徴とする請求項１乃至５の何れかに記載の電子機器。
＜請求項８＞
前記像は、バミリとして機能することを特徴とする請求項１乃至７の何れかに記載の電子機器。
＜請求項９＞
前記特定部は、前記撮像部が前記被写体を撮像する周期ごとに前記推奨位置を特定することを特徴とする請求項１乃至８の何れかに記載の電子機器。
＜請求項１０＞
撮像部で撮像される画像の画角内で動体である被写体が位置することが推奨される推奨位置を特定し、
実空間上で前記推奨位置を、光源から光を照射することで、前記被写体に対して動的に報知することを含む、コンピュータにより実行される推奨位置報知方法。
＜請求項１１＞
撮像部で撮像される画像の画角内で動体である被写体が位置することが推奨される推奨位置を特定し、
実空間上で前記推奨位置を、光源から光を照射することで、前記被写体に対して動的に報知する
処理をコンピュータに実行させる推奨位置報知プログラム。
【符号の説明】
【００８８】
１  推奨位置報知システム
４  ネットワーク
１０  光源
１２  第１カメラ
２１  第１処理装置
２２  第２処理装置
２４  第２カメラ
２１０  推奨位置特定部
２１１  撮像制御部
２１２  報知部
２１３  合成部
４００  床面
Ｂ１  バミリ用像
Ｓ１  被写体
Ｓ２  被写体
【図１】
2019220872.tif 000003
【図２】
2019220872.tif 000004
【図３】
2019220872.tif 000005
【図４】
2019220872.tif 000006
【図５】
2019220872.tif 000007
【図６】
2019220872.tif 000008
【図７】
2019220872.tif 000009
【図８】
2019220872.tif 000010
【図９】
2019220872.tif 000011
【図１０】
2019220872.tif 000012