(57)【要約】【課題】観測者に対して生物に関するコンテンツ画像を好適に提示することができる表示装置等を提供する。【解決手段】表示装置１は、複数の生物を撮像した撮像画像を取得する取得部と、前記撮像画像から、同種類の前記生物から成る生物群を認識する認識部と、前記生物群に関するコンテンツ画像を取得するコンテンツ取得部と、前記生物群の認識位置に基づき、前記複数の生物と観測者との間に設けられた表示面における前記コンテンツ画像の表示位置を決定する決定部と、決定した前記表示位置に基づき、前記表示面に前記コンテンツ画像を表示する表示部とを備えることを特徴とする。【選択図】図１
2020034609.tif 000002
【特許請求の範囲】
【請求項１】
複数の生物を撮像した撮像画像を取得する取得部と、
前記撮像画像から、同種類の前記生物から成る生物群を認識する認識部と、
前記生物群に関するコンテンツ画像を取得するコンテンツ取得部と、
前記生物群の認識位置に基づき、前記複数の生物と観測者との間に設けられた表示面における前記コンテンツ画像の表示位置を決定する決定部と、
決定した前記表示位置に基づき、前記表示面に前記コンテンツ画像を表示する表示部と
を備えることを特徴とする表示装置。
【請求項２】
前記認識部は、前記生物群の画像特徴量を学習した学習済みモデルに基づき、前記生物群を認識する
ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記撮像画像は動画像であり、
前記認識部は、
前記動画像において時系列的に連続する第１及び第２の画像夫々から、前記生物に対応する特徴点を抽出し、
前記第１及び第２の画像夫々から抽出した特徴点の座標値の差分に基づき、前記生物の動きを検出し、
複数の前記生物夫々の動きに基づき、前記生物群を認識する
ことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記認識部が検出した前記生物の動きに基づき、前記生物群の移動方向及び移動速度を推定する推定部を備え、
前記表示部は、推定した前記移動方向及び速度に基づいて前記表示位置を移動させて表示する
ことを特徴とする請求項３に記載の表示装置。
【請求項５】
前記認識部は、
前記撮像画像に含まれる前記複数の生物夫々を認識し、
前記撮像画像において所定範囲内に同種類の前記複数の生物が位置する場合に、前記生物群と認識する
ことを特徴とする請求項１に記載の表示装置。
【請求項６】
前記表示面は、前記複数の生物を収容した空間の一面に設けられた透過型スクリーンであり、
前記表示部は、前記コンテンツ画像を前記透過型スクリーンに投影する
ことを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
【請求項７】
前記表示面は、前記複数の生物を収容した空間の一面に設けられた透過型ディスプレイであり、
前記表示部は、前記コンテンツ画像を前記透過型ディスプレイに表示する
ことを特徴とする請求項１〜５のいずれか１項に記載の表示装置。
【請求項８】
前記表示面は、前記複数の生物を収容した空間の一面の一部領域に設けられており、
前記表示部は、前記一部領域に対応する前記撮像画像の画像領域から前記生物群が認識された場合、前記表示面に前記コンテンツ画像を表示する
ことを特徴とする請求項１〜７のいずれか１項に記載の表示装置。
【請求項９】
前記コンテンツ画像の表示位置が、該コンテンツ画像に対応する前記生物群とは異なる他の前記生物の認識位置と重畳するか否かを判定する判定部を備え、
前記表示部は、前記他の生物の認識位置と非重畳となるように前記表示位置を変更する
ことを特徴とする請求項１〜８のいずれか１項に記載の表示装置。
【請求項１０】
前記認識部による認識結果に基づき、前記生物群の規模を判定する判定部を備え、
前記表示部は、前記生物群の規模に応じて前記コンテンツ画像の表示態様を変更する
ことを特徴とする請求項１〜９のいずれか１項に記載の表示装置。
【請求項１１】
前記認識部は前記撮像画像から、前記生物群と、前記生物を収容した空間を外部から観察する観測者とを認識し、
前記決定部は、前記生物群及び観測者夫々の位置に基づき、前記表示位置を決定する
ことを特徴とする請求項１〜１０のいずれか１項に記載の表示装置。
【請求項１２】
複数の生物を撮像した撮像画像を取得し、
前記撮像画像から、同種類の前記生物から成る生物群を認識し、
前記生物群に関するコンテンツ画像を取得し、
前記生物群の認識位置に基づき、前記複数の生物と観測者との間に設けられた表示面における前記コンテンツ画像の表示位置を決定し、
決定した前記表示位置に基づき、前記表示面に前記コンテンツ画像を表示する
処理をコンピュータに実行させることを特徴とする表示方法。
【請求項１３】
複数の生物を撮像した撮像画像を取得し、
前記撮像画像から、同種類の前記生物から成る生物群を認識し、
前記生物群に関するコンテンツ画像を取得し、
前記生物群の認識位置に基づき、前記複数の生物と観測者との間に設けられた表示面における前記コンテンツ画像の表示位置を決定し、
決定した前記表示位置に基づき、前記表示面に前記コンテンツ画像を表示する
処理をコンピュータに実行させることを特徴とするプログラム。
【請求項１４】
複数の生物を収容した空間の一面を形成する透過壁に設けられた透過型スクリーンと、
前記空間の内部を撮像する撮像装置と、
前記空間の外部に設置され、前記透過型スクリーンに画像を投影する投影装置と、
前記投影装置に画像を出力する画像出力装置と
を備え、
前記画像出力装置は、
前記撮像装置から撮像画像を取得する取得部と、
前記撮像画像から前記生物を認識する認識部と、
前記生物に関するコンテンツ画像を取得するコンテンツ取得部と、
前記生物の認識位置に基づき、前記透過型スクリーンにおける前記コンテンツ画像の投影位置を決定する決定部と、
決定した前記投影位置に基づき、前記透過型スクリーンに前記コンテンツ画像を投影するように前記投影装置を制御する制御部と
を備えることを特徴とする画像投影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置、表示方法、プログラム及び画像投影システムに関する。
【背景技術】
【０００２】
背景が透けて見える透過型のプロジェクタスクリーン、あるいは透過型ディスプレイを用いて、スクリーン又はディスプレイの背後にあるオブジェクトに関連する画像を提示する手法が提案されている。例えば特許文献１では、水族館の水槽の内部にプロジェクタを設置し、観測者（鑑賞者）が水槽内部を観察するためのガラス窓等のような水槽の透過壁に透過型スクリーンを設けた水槽映像表示装置が開示されている。特許文献１によれば、水槽外部に設置したカメラで水槽内を撮像し、撮像した画像から水槽内を遊泳する魚を認識して、プロジェクタによりスクリーン中の適切な位置に魚の説明等の画像を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３３８１１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば水族館の水槽を考えた場合に、一の水槽内に複数の魚が遊泳している。従って、複数の魚が群れを成して遊泳しているような場合において、個々の魚毎に説明等の画像を表示した場合、各魚に対応する画像が重なって肝心の魚が観測者に見えない虞がある。
【０００５】
一つの側面では、観測者に対して生物に関するコンテンツ画像を好適に提示することができる表示装置等を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一つの側面では、表示装置は、複数の生物を撮像した撮像画像を取得する取得部と、前記撮像画像から、同種類の前記生物から成る生物群を認識する認識部と、前記生物群に関するコンテンツ画像を取得するコンテンツ取得部と、前記生物群の認識位置に基づき、前記複数の生物と観測者との間に設けられた表示面における前記コンテンツ画像の表示位置を決定する決定部と、決定した前記表示位置に基づき、前記表示面に前記コンテンツ画像を表示する表示部とを備えることを特徴とする。
【発明の効果】
【０００７】
一つの側面では、観測者に対して生物に関するコンテンツ画像を好適に提示することができる。
【図面の簡単な説明】
【０００８】
【図１】画像表示システムの構成例を示す模式図である。
【図２】ＰＣの構成例を示すブロック図である。
【図３】ラベルＤＢのレコードレイアウトの一例を示す説明図である。
【図４】ラベル画像の表示例を示す説明図である。
【図５】ラベル画像の表示位置の変更処理に関する説明図である。
【図６】ラベル画像の表示態様の変更処理に関する説明図である。
【図７】ＰＣが実行する処理手順の一例を示すフローチャートである。
【図８】実施の形態２に係る魚群認識処理に関する説明図である。
【図９】実施の形態２に係るラベル追跡処理に関する説明図である。
【図１０】実施の形態２に係るＰＣが実行する処理手順の一例を示すフローチャートである。
【図１１】実施の形態３に係る魚群認識処理に関する説明図である。
【図１２】実施の形態３に係るＰＣが実行する処理手順の一例を示すフローチャートである。
【図１３】実施の形態４に係るスクリーンの構成例を示す説明図である。
【図１４】実施の形態４に係るＰＣが実行する処理手順の一例を示すフローチャートである。
【図１５】実施の形態５に係るラベル画像の表示例を示す説明図である。
【図１６】実施の形態５に係るＰＣが実行する処理手順の一例を示すフローチャートである。
【図１７】実施の形態６に係る画像表示システムの構成例を示す模式図である。
【図１８】実施の形態６の概要を示す説明図である。
【図１９】実施の形態６に係る画像出力装置が実行する処理手順の一例を示すフローチャートである。
【図２０】上述した形態の画像出力装置の動作を示す機能ブロック図である。
【発明を実施するための形態】
【０００９】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
図１は、画像表示システムの構成例を示す模式図である。本実施の形態では、水族館の水槽の一面を形成するガラス窓等の透過壁に透過型のスクリーン４（表示面）を設け、スクリーン４に、水槽内の魚を説明するためのラベル画像（コンテンツ画像）を表示する画像表示システム（画像投影システム）について説明する。画像表示システムは、画像出力装置（表示装置）１、カメラ２及びプロジェクタ３を有する。各装置はＬＡＮ（Local Area Network）等のネットワークによって通信接続されている。
【００１０】
画像出力装置１は、種々の情報処理、情報の送受信が可能な情報処理装置であり、例えばパーソナルコンピュータ、サーバ装置等の情報処理装置である。本実施の形態では情報処理装置１がパーソナルコンピュータであるものとし、以下では簡潔のためＰＣ１と読み替える。ＰＣ１は、水槽内を遊泳する各種魚を説明するためのラベル画像をコンテンツとして記憶してあり、プロジェクタ３にラベル画像を出力し、スクリーン４に投影（表示）させる。なお、本実施の形態では説明の便宜上、哺乳類、軟体動物、節足動物のような魚類以外の生物であっても、水槽内の生物は「魚」と称する。
【００１１】
本実施の形態でＰＣ１は、水槽を撮像した撮像画像をカメラ２から取得し、撮像画像から各種魚を認識し、認識した魚のラベル画像をスクリーン４の近傍箇所に投影するよう表示制御を行う。この場合にＰＣ１は、水槽内で魚が単体で遊泳しているか、又は群れとなって遊泳しているかを識別する。群れ、すなわち魚群であると認識した場合、ＰＣ１は、魚群を構成する個々の魚に対してラベル画像を投影するのではなく、魚群全体で一のラベルを投影するように表示制御を行う。
【００１２】
カメラ２は、複数の魚が収容された水槽（空間）の内部を、観測者（鑑賞者）が水槽内を観察するためのガラス窓のような透過壁を介して撮像する撮像装置であり、例えば水族館の天井に設置されている。カメラ２は透過壁を介して水槽内部を撮像し、撮像した画像を動画像としてＰＣ１に逐次送信する。
【００１３】
プロジェクタ３は、ラベル画像を投影する投影装置である。プロジェクタ３は、スクリーン４を介して水槽から反対側の位置、つまり水槽外部に設置されており、透過壁に設けられたスクリーン４にラベル画像を投影する。特許文献１に記載の発明のように、水槽内部にプロジェクタを設置し、水槽内部から透過型スクリーンへ画像を投影した場合、水槽内を遊泳する魚によってラベル画像が遮光されてしまう虞がある。一方で、本実施の形態のように水槽内ではなく水槽外部にプロジェクタ３を設置することで、プロジェクタ３からの投影光が水槽内の魚によって遮光されてしまう事態を防止する。
【００１４】
スクリーン４は、水槽内の魚と観測者との間に位置する水槽の透過壁に設けられた透過型スクリーンであり、照射光を拡散させる透明スクリーンフィルムである。例えばスクリーン４は水槽の透過壁の全面に貼付されており、正面から照射（投影）された画像光を前方に反射して画像を形成する。
【００１５】
なお、本実施の形態ではプロジェクタ３及びスクリーン４を用いて画像を投影（表示）するものとして説明するが、プロジェクタ３及びスクリーン４に代えて、水槽の透過壁に透過型ディスプレイを設置してもよい。水槽の透過壁に透過型ディスプレイを設置し、ＰＣ１が透過型ディスプレイに画像を表示する構成であっても、同様の効果を奏する。
【００１６】
図２は、ＰＣ１の構成例を示すブロック図である。ＰＣ１は、制御部１１、主記憶部１２、通信部１３、表示部１４、入力部１５、補助記憶部１６を備える。
制御部１１は、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）等の演算処理装置を有し、補助記憶部１６に記憶されたプログラムＰを読み出して実行することにより、ＰＣ１に係る種々の情報処理、制御処理等を行う。主記憶部１２は、ＲＡＭ（Random Access Memory）等の一時記憶領域であり、制御部１１が演算処理を実行するために必要なデータを一時的に記憶する。通信部１３は、通信に関する処理を行うための処理回路等を含み、外部と情報の送受信を行う。表示部１４は液晶ディスプレイ等の表示装置であり、制御部１１から与えられた画像を表示する。入力部１５は、キーボード、マウス等の操作インターフェイスであり、操作入力を受け付ける。
【００１７】
補助記憶部１６は大容量メモリ、ハードディスク等の不揮発性記憶領域であり、制御部１１が処理を実行するために必要なプログラムＰ、その他のデータを記憶している。なお、補助記憶部１６はＰＣ１に接続された外部記憶装置であってもよい。補助記憶部１６はラベルＤＢ１６１、識別モデル１６２を記憶している。ラベルＤＢ１６１は、スクリーン４に投影するコンテンツであるラベル画像のデータを格納したデータベースである。識別モデル１６２は、カメラ２が撮像した画像から水槽内の魚を識別するための識別用データであり、後述するように、例えば機械学習により構築された学習済みモデルである。
【００１８】
図３は、ラベルＤＢ１６１のレコードレイアウトの一例を示す説明図である。ラベルＤＢ１６１は、ＩＤ列、種類列、ラベル画像列を含む。ＩＤ列は、水槽内を遊泳する各魚を識別するためのＩＤを記憶している。種類列は、ＩＤと対応付けて、各魚の種別を記憶している。ラベル画像列は、ＩＤと対応付けて、各魚を観測者に案内するためのラベル画像を記憶している。
【００１９】
図４は、ラベル画像４１の表示例を示す説明図である。図４では、カメラ２で撮像した画像から水槽中を遊泳する魚を認識し、認識した魚に関するラベル画像４１を、魚を認識した位置近傍に表示する様子を概念的に図示している。図４に基づき、本実施の形態の概要について説明する。
【００２０】
まずＰＣ１は、カメラ２から、スクリーン４が設けられた水槽の透過壁を介して撮像された画像を、動画像として逐次取得する。図４では、ＰＣ１が取得する動画像の１フレームを模式的に示してある。ここで、図４に示すように、水槽内には「マアジ」のように魚群を形成して遊泳する魚と、「ナンヨウマンタ」のように単体で遊泳する魚とが居るものとする。
【００２１】
ＰＣ１は撮像画像から、水槽内を遊泳する各魚を認識する。ここでＰＣ１は、個々の魚を認識するだけでなく、単体で遊泳する魚と、魚群を形成して遊泳する魚とを識別する。
【００２２】
例えばＰＣ１は、予め補助記憶部１６にセットされた識別モデル１６２を用いて、単体で遊泳する魚と、魚群を形成して遊泳する魚とを識別する。識別モデル１６２は、機械学習により構築された学習済みモデルであり、単体で遊泳する魚の画像特徴量と、同種類の複数の魚から成る魚群全体の画像特徴量とを学習した識別器である。例えば識別モデル１６２は、教師データから生成されたＣＮＮ（Convolution Neural Network）などであるが、機械学習の手法や識別器の構成は特に限定されない。識別モデル１６２は、他のニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ベイジアンネットワーク、決定木など、他のアルゴリズムに従って生成されたものであってもよい。例えば識別モデル１６２は、魚単体又は魚群全体を撮像した画像と、魚（単体又は魚群）の名称を指すラベル値とを対応付けた教師データに基づいて生成される。
【００２３】
ＰＣ１は、カメラ２から取得した撮像画像を識別モデル１６２に入力し、撮像画像に含まれる物体を識別した識別結果を出力値として得る。これにより、図４において点線矩形枠で示すように、ＰＣ１は水槽内を遊泳する魚を、単体又は魚群を区別した上で認識する。
【００２４】
ＰＣ１は、撮像画像中で各魚（単体又は魚群）を認識した認識位置に基づき、各魚に対応してスクリーン４に表示（投影）するラベル画像４１の表示位置（投影位置）を決定する。例えば図４に示すように、ＰＣ１は、魚近傍にラベル画像４１が表示されるように、魚を認識した位置の直下を表示位置として決定する。
【００２５】
ＰＣ１は、認識した魚に対応するラベル画像４１をラベルＤＢ１６１から読み出し、プロジェクタ３に出力して、水槽内の魚と観測者との間に設けられたスクリーン４に投影（表示）させる。ラベル画像４１は魚の名称などであるが、名称以外の情報をラベル画像４１に含めてもよい。また、ラベル画像４１はテキストに限定されず、ピクチャ画像などであってもよい。
【００２６】
上述の如く、水槽内の魚が魚群を形成して遊泳する場合に、ＰＣ１は魚群中の個々の魚に対してラベル画像４１を表示するのではなく、魚群全体に対して一のラベル画像４１を表示する。これにより、大量のラベル画像４１がスクリーン４に映し出されることはなく、ラベル画像４１が重なって魚が見えなくなる事態を回避することができる。
【００２７】
図５は、ラベル画像４１の表示位置の変更処理に関する説明図である。図５では、他の魚に重畳しないようにラベル画像４１の表示位置を変更する様子を図示している。
上記ではＰＣ１が水槽内の魚の近傍位置にラベル画像４１を表示する旨を説明した。ここで、ラベル画像４１が他の魚と重畳する場合、ＰＣ１は、非重畳となるようにラベル画像４１の表示位置を変更する。
【００２８】
図５の例では図４の各種魚に加えて、「ジンベイザメ」が撮像範囲に含まれている。この状態で図４と同様にラベル画像４１を表示した場合、左上の「マアジ」のラベル画像４１が図５の太い点線矩形枠の位置に表示されて「ジンベイザメ」に一部重なり、観測者に視認しにくくなる。
【００２９】
撮像画像から各魚を認識し、ラベル画像４１の表示位置を決定した後、ＰＣ１は各魚の位置とラベル画像４１の表示位置とを比較して、ラベル画像４１の表示位置が他の魚と重畳するか否かを判定する。ラベル画像４１が重畳すると判定した場合、ＰＣ１は、ラベル画像４１が非重畳なるように表示位置を変更する。図５の例では、ＰＣ１は、「マアジ」のラベル画像４１を魚群の下側から上側に変更し、重畳を回避する。
【００３０】
このように、ラベル画像４１の表示位置を変更することで、ラベル画像４１が重なって魚が見えなくなる事態を回避することができる。
【００３１】
なお、上記ではラベル画像４１が魚と重畳するか否かに応じて表示位置を変更したが、本実施の形態はこれに限定されるものではない。例えばＰＣ１は、撮像画像から認識した魚の位置がスクリーン４（表示面）の端（外縁）と重なる場合、スクリーン４中央にラベル画像４１を寄せるよう表示位置を変更してもよい。
【００３２】
例えば図５では、右端に「マアジ」の魚群が位置しているが、魚群の一部がスクリーン４の設置範囲から外れた形となっており、魚群がスクリーン４の端と重なっている。このような場合に、スクリーン４の範囲から外れた部分も含めて魚群全体を認識し、スクリーン４にラベル画像４１を投影した場合、ラベル画像４１がスクリーン４の範囲から外れて投影される虞がある。
【００３３】
そこでＰＣ１は、例えば撮像画像から認識した魚（魚群）の認識位置がスクリーン４の端（外縁）と重畳するか否かを判定し、重畳すると判定した場合、スクリーン４（表示面）の設置範囲に含まれるようラベル画像４１の表示位置を中央寄りに変更する。これにより、スクリーン４の端に位置する魚に関しても、適切な位置にラベル画像４１を表示することができる。
【００３４】
図６は、ラベル画像４１の表示態様の変更処理に関する説明図である。図６では、撮像画像から認識した魚群の規模に応じてラベル画像４１の表示態様を変更する様子を図示している。
図４及び図５では、いずれの魚に対しても同様にラベル画像４１を表示する様子を図示した。しかし、例えば水槽が大規模なものであり、水槽内に遊泳する魚群も大規模なものとなった場合、大規模な魚群に対して他の魚と同様にラベル画像４１を表示しても、観測者が気づきにくい、あるいは視認しづらい虞がある。
【００３５】
そこでＰＣ１は、撮像画像から魚群を認識した場合、魚群の規模を判定する。例えばＰＣ１は、撮像画像に占める魚群の認識範囲（図６の点線矩形枠）の大小に応じて規模を判定する。あるいはＰＣ１は、魚群を形成する魚の数に応じて規模を判定してもよい。
【００３６】
所定規模以上の魚群であると判定した場合、ＰＣ１は、当該魚群に対応するラベル画像４１の表示態様を変更する。例えばＰＣ１は、当該魚群のラベル画像４１を、他の魚（単体又は魚群）のラベル画像４１よりも拡大して表示する。これにより、規模の大きな魚群であっても観測者がラベル画像４１を容易に視認可能とする。
【００３７】
なお、上記では規模の大きな魚群のラベル画像４１を拡大するものとしたが、反対に他の魚のラベル画像４１を縮小して、魚群のラベル画像４１を相対的に強調してもよい。また、表示態様の変更は拡大又は縮小に限定されない。例えばＰＣ１は、規模の大きな魚群に対しては複数箇所に同じラベル画像４１を表示することで、観測者がいずれかのラベル画像４１を見つけやすいようにしてもよい。このように、ＰＣ１は魚群の規模に応じてラベル画像４１の表示態様を変更可能であればよく、その表示態様は特に限定されない。
【００３８】
図７は、ＰＣ１が実行する処理手順の一例を示すフローチャートである。図７に基づき、ＰＣ１が実行する処理内容について説明する。
ＰＣ１の制御部１１は、水槽内（移動空間）を遊泳する複数の魚（生物）を撮像した撮像画像をカメラ２から取得する（ステップＳ１１）。制御部１１は、識別モデル１６２に基づき、撮像画像から魚を認識する処理を行う（ステップＳ１２）。例えば上述の如く、識別モデル１６２は機械学習により構築された学習済みモデルであり、魚単体、及び魚群全体の画像特徴量を学習した識別器である。制御部１１は、カメラ２から取得した撮像画像を識別器に入力し、水槽内を単独で遊泳する魚単体、及び水槽内を集団で遊泳する魚群を識別した識別結果を取得する。
【００３９】
制御部１１は、ステップＳ１２の処理の結果、撮像画像から魚群を認識したか否かを判定する（ステップＳ１３）。魚群を認識したと判定した場合（Ｓ１３：ＹＥＳ）、制御部１１は、当該魚群を認識した撮像画像中の認識位置に基づき、当該魚群に関するラベル画像をスクリーン４に表示（投影）する表示位置（投影位置）を決定する（ステップＳ１４）。
【００４０】
制御部１１は、ステップＳ１２における認識結果に基づき、当該魚群が所定規模以上の魚群であるか否かを判定する（ステップＳ１５）。例えば制御部１１は、撮像画像に占める魚群の認識範囲、又は魚群を形成する魚の数などに応じて規模を判定する。所定規模以上の魚群であると判定した場合（Ｓ１５：ＹＥＳ）、制御部１１は、当該魚群のラベル画像の表示態様を変更する（ステップＳ１６）。例えば制御部１１は、ラベル画像の拡大表示、複数表示などを行う。
【００４１】
ステップＳ１６の処理を実行後、又はステップＳ１３、Ｓ１５でＮＯの場合、制御部１１は、魚群として認識されてなかった他の魚、つまり単体で遊泳する魚に関して、当該魚を認識した撮像画像中の位置に基づき、当該魚に関するラベル画像をスクリーン４に表示する表示位置を決定する（ステップＳ１７）。
【００４２】
制御部１１は、ステップＳ１４又はＳ１７で決定したラベル画像の表示位置が他の魚（単体又は魚群）と重畳するか否かを判定する（ステップＳ１８）。重畳すると判定した場合（Ｓ１８：ＹＥＳ）、制御部１１は、ラベル画像が非重畳となるように表示位置を変更する（ステップＳ１９）。
【００４３】
ステップＳ１９の処理を実行後、又はステップＳ１８でＮＯの場合、制御部１１は、ステップＳ１２で認識した魚（単体又は魚群）のラベル画像をプロジェクタ３に出力し、ステップＳ１４、Ｓ１７等で定めた表示位置に投影（表示）する（ステップＳ２０）。制御部１１は、処理をステップＳ１１に戻す。
【００４４】
以上より、本実施の形態１によれば、撮像画像から魚群を認識し、魚群単位でラベル画像４１を表示する。これにより、魚群を形成する個々の魚毎にラベル画像４１が表示されて肝心の魚に重なってしまう虞が低減され、観測者に対して生物に関するラベル画像４１を好適に提示することができる。
【００４５】
また、本実施の形態１によれば、機械学習により構築された識別モデル１６２を用いて魚群を認識し、ラベル画像４１を表示する。機械学習アルゴリズムを用いることで水槽内の魚を精度良く認識することができ、ラベル画像４１をより好適に提示することができる。
【００４６】
また、本実施の形態１によれば、水槽の透過壁（観察面）に透過型のスクリーン４を設け、水槽の前方、つまり水槽外部からラベル画像４１を投影（表示）する。従って、特許文献１に記載の映像表示装置のように水槽内部から画像を投影して魚に重なるような虞が少なく、ラベル画像４１をより好適に提示することができる。
【００４７】
また、本実施の形態１によれば、プロジェクタ３及びスクリーン４に代えて透過型ディスプレイを水槽の透過壁に設ける構成であってもよい。この場合でも、画像の重なりを回避してラベル画像４１を好適に提示することができる。
【００４８】
また、本実施の形態１によれば、魚群の規模に応じてラベル画像４１の表示態様を変更することで、観測者の便宜に供することができる。
【００４９】
また、本実施の形態１によれば、他の魚と非重畳となるようにラベル画像４１の表示位置を変更することで、ラベル画像４１が魚に重なって見えなくなる事態をより効果的に防止することできる。
【００５０】
（実施の形態２）
実施の形態１では、ディープラーニングの手法を用いて魚群の特徴を学習し、学習済みモデルを用いて魚群を認識する形態について説明した。本実施の形態では、オプティカルフロー等の手法を用いて個々の魚の動きを特定し、特定した個々の魚の動きから魚群を認識する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
図８は、実施の形態２に係る魚群認識処理に関する説明図である。図８Ａでは、撮像画像から特徴点を抽出してオプティカルフローを算出し、水槽内を移動する物体（魚）の動きを検出する様子を図示している。図８Ｂでは、複数の物体の動きから魚群を認識する様子を図示している。図８に基づき、本実施の形態の概要を説明する。
【００５１】
実施の形態１と同じく、ＰＣ１はカメラ２から水槽の撮像画像を動画像として逐次取得する。ここでＰＣ１は、例えばオプティカルフローの手法を用い、動画像に含まれる各画像（フレーム）を比較することで水槽内を移動する物体の動きを特定する。
【００５２】
具体的には、ＰＣ１は動画像において時系列的に連続する２つの画像（第１及び第２の画像）それぞれから特徴点を抽出する。特徴点は、画像内の各画素の明るさ（輝度）から割り出される。ＰＣ１は、２つの画像の間での特徴点の座標値の差分を元に、特徴点の動きを表すベクトル値、つまりオプティカルフローを算出する。図８Ａに、オプティカルフローが算出される様子を図示する。図８Ａでは白抜き丸印が特徴点を、矢印がオプティカルフローに相当するベクトルを表す。
【００５３】
ＰＣ１は、一又は複数の特徴点に対応するオプティカルフローから、水槽内を移動する個々の物体、つまり魚を検出する。例えば図８Ａに示すように、ＰＣ１は近接する複数の特徴点に係るオプティカルフローが同一方向かつ同一速度のベクトル値を示す場合に、当該複数の特徴点を一の移動物体（魚）として検出する。なお、ＰＣ１は一の特徴点の動き（オプティカルフロー）から移動物体を検出してもよい。
【００５４】
水槽内を移動する個々の物体の動きを検出した後、ＰＣ１は、複数の物体の動きを比較して、集団を形成して水槽内を移動する物体、つまり魚群を検出（認識）する。例えば図８Ｂに示すように、ＰＣ１は、所定範囲内に位置する複数の物体のオプティカルフローが略同一方向かつ略同一速度のベクトル値を示す場合に、当該複数の物体を魚群として検出する。
【００５５】
ＰＣ１は、検出した魚群を構成する一の物体（魚）に対して画像認識を行い、何の魚の魚群であるかを特定する。ＰＣ１は他の魚（単体又は魚群）に対しても同様に画像認識を行い、何の魚であるかを特定する。ＰＣ１は、特定した各魚のラベル画像４１をプロジェクタ３に出力し、各魚の近傍位置に投影させる。
【００５６】
図９は、実施の形態２に係るラベル追跡処理に関する説明図である。図９では、検出した魚群の動きに合わせてラベル画像４１を移動させる追跡表示を概念的に図示している。
上述の如く、ＰＣ１は水槽内の魚（単体又は魚群）の動きを検出する。ＰＣ１は、検出した魚の動きから次にどこに移動するかを推定し、推定した位置にラベル画像４１を移動させる追跡表示を行う。ＰＣ１は、魚の動きを表すオプティカルフローから移動方向及び移動速度を推定し、推定した方向及び速度に合わせてラベル画像４１の表示位置を移動させるようにプロジェクタ３を制御する。このように、魚の動きを検出することで魚群を認識するだけでなく、ラベル画像４１を好適な位置に移動させるよう表示制御を行うこともできる。
【００５７】
図１０は、実施の形態２に係るＰＣ１が実行する処理手順の一例を示すフローチャートである。
カメラ２から撮像画像を取得した後（ステップＳ１１）、ＰＣ１の制御部１１は以下の処理を実行する。制御部１１は、取得した撮像画像に含まれる特徴点を抽出する（ステップＳ２０１）。例えば制御部１１は、撮像画素に含まれる各画素の明るさに応じて特徴点を抽出する。
【００５８】
制御部１１は、動画像として逐次取得する画像のうち、時系列的に連続する２つの画像（第１及び第２の画像）それぞれから抽出した特徴点の座標値の差分に基づき、水槽内を移動する物体（魚）の動きを検出する（ステップＳ２０２）。例えば制御部１１は、特徴点毎にオプティカルフローを算出し、近接する一又は複数の特徴点のオプティカルフローに基づき、個々の移動物体の動きを検出する。
【００５９】
制御部１１は、検出した各物体の動きに基づき、複数の物体が集団で動いている否かを判定する（ステップＳ２０３）。集団で動いていると判定した場合（Ｓ２０３：ＹＥＳ）、制御部１１は、集団を構成するいずれかの物体に対する画像認識を行い、魚の種別を特定する（ステップＳ２０４）。制御部１１は処理をステップＳ１４に移行する。
【００６０】
ステップＳ１６の処理を実行後、又はステップＳ２０３、Ｓ１５でＮＯの場合、制御部１１は、単体で動いている物体に対する画像認識を行い、魚の種別を特定する（ステップＳ２０５）。制御部１１は処理をステップＳ１７に移行する。
【００６１】
ステップＳ１９の処理を実行後、又はステップＳ１８でＮＯの場合、制御部１１はラベル画像４１をプロジェクタ３に出力して投影（表示）させる（ステップＳ２０６）。この場合に制御部１１は、ステップＳ２０２で検出した魚の動きに基づき、ラベル画像４１に対応する魚（単体又は魚群）の移動方向及び移動速度を推定する。制御部１１は、推定した移動方向及び移動速度に合わせてラベル画像４１の表示位置を移動する追跡表示を行う。制御部１１は処理をステップＳ１１に戻す。
【００６２】
以上より、本実施の形態２によれば、オプティカルフロー等の手法で魚の動きを検出し、検出した個々の魚の動きから魚群を検出する。これにより、学習済みモデルを持たない場合であっても魚群を認識してラベル画像４１を提示することができる。
【００６３】
また、本実施の形態２によれば、検出した魚の動きからどこに移動するかを推定し、ラベル画像４１の追跡表示を行うことができる。これにより、魚とラベル画像４１との位置ずれを回避し、ラベル画像４１を好適に提示することができる。
【００６４】
（実施の形態３）
本実施の形態では、撮像画像から全ての魚を認識し、認識した各魚の位置関係から魚群を識別する形態について説明する。
図１１は、実施の形態３に係る魚群認識処理に関する説明図である。実施の形態２では魚群を検出した後に個々の魚を特定する形態について述べたが、本実施の形態では先に個々の魚を特定し、特定した魚の位置関係から魚群を認識する。
【００６５】
具体的には、ＰＣ１は撮像画像に対する画像認識を行い、水槽内を遊泳する全ての魚を認識する。図１１の例では、ＰＣ１は「マダライルカ」及び「ナンヨウマンタ」だけでなく、魚群を形成する４匹の「クロマグロ」に関しても、各個体を「クロマグロ」として認識する。
【００６６】
その後、ＰＣ１は、複数の魚の種別及び位置関係から、同種別の複数の魚が形成する魚群を認識する。例えばＰＣ１は、同種別かつ所定数以上の魚（個体）が所定範囲内に位置するか否かに応じて魚群を認識する。図１１の例では、撮像画像の上側の画像領域に、種別が「クロマグロ」で共通する複数の魚が密集している。ＰＣ１は、当該複数の魚が所定範囲内に位置する場合、当該複数の魚を「クロマグロ」の魚群として認識する。
【００６７】
図１２は、実施の形態３に係るＰＣ１が実行する処理手順の一例を示すフローチャートである。
カメラ２から撮像画像を取得した後（ステップＳ１１）、ＰＣ１の制御部１１は以下の処理を実行する。制御部１１は撮像画像に対する画像認識を行い、水槽内の複数の魚全てをそれぞれ認識する（ステップＳ３０１）。制御部１１は、認識した各魚の位置関係に基づき、複数の魚が魚群を形成しているか否かを判定する（ステップＳ３０２）。例えば上述の如く、制御部１１は同種別かつ所定数以上の魚が所定範囲内に位置するか否かを判定することで、魚群を形成しているか否かを判定する。魚群を形成していると判定した場合（Ｓ３０２：ＹＥＳ）、制御部１１は処理をステップＳ１４に移行する。魚群を形成していないと判定した場合（Ｓ３０２：ＮＯ）、制御部１１は処理をステップＳ１７に移行する。
【００６８】
以上より、本実施の形態３によれば、撮像画像から全ての魚を認識し、認識した魚の種類、数、及び位置関係から魚群を識別してラベル画像４１を表示する。これにより、観測者にラベル画像４１を好適に提示することができる。
【００６９】
（実施の形態４）
本実施の形態では、水槽の透過壁の一部領域にのみスクリーン４を設け、スクリーン４が設けられている領域を魚が通過した場合のみラベル画像４１を投影する形態について説明する。
図１３は、実施の形態４に係るスクリーン４の構成例を示す説明図である。本実施の形態では、スクリーン４は水槽の透過壁の全面ではなく、一部領域にのみ設けられている。例えば図１３に示すように、スクリーン４は、正面視において透過壁の左側半面に設けられている。
【００７０】
なお、スクリーン４を設ける範囲は図１３の例に限定されず、例えば右側半面、上側半面などに変更してもよい。また、透過壁全面に占めるスクリーン４の面積の割合も特に限定されない。
【００７１】
ＰＣ１は、正面視においてスクリーン４が設けられた領域内を魚が通過した場合にのみ、ラベル画像４１を投影（表示）する。例えばＰＣ１１は、図１３に示すように撮像画像から水槽内の全ての魚（単体又は魚群）を認識する。その上でＰＣ１１は、スクリーン４の設置領域を通過する魚を特定する。例えばＰＣ１１は、各魚に対応するラベル画像４１を投影（表示）した場合に、ラベル画像４１の表示位置がスクリーン４の設置領域内であるか否かを判定する。スクリーン４の設置領域内であると判定した場合、ＰＣ１はプロジェクタ３を制御し、スクリーン４にラベル画像４１を投影させる。
【００７２】
図１４は、実施の形態４に係るＰＣ１が実行する処理手順の一例を示すフローチャートである。
ステップＳ１９の処理を実行後、又はステップＳ１８でＮＯの場合、ＰＣ１の制御部１１は以下の処理を実行する。制御部１１は、撮像画像の認識結果に基づき決定したラベル画像４１の表示位置が、水槽の透過壁にスクリーン４が設けられた領域内であるか否かを判定する（ステップＳ４０１）。スクリーン４が設けられている領域内であると判定した場合（Ｓ４０１：ＹＥＳ）、制御部１１はスクリーン４にラベル画像４１を投影（表示）する（ステップＳ４０２）。ステップＳ４０２の処理を実行後、又はステップＳ４０１でＮＯの場合、制御部１１は処理をステップＳ１１に戻す。
【００７３】
なお、上記では水槽内の全ての魚を認識した上でスクリーン４の領域内を通過する魚を識別することにしたが、本実施の形態はこれに限定されるものではない。例えばカメラ２はスクリーン４が設けられた領域のみを撮像し、ＰＣ１が撮像範囲を絞った画像から魚を認識することで、スクリーン４の範囲内を通過する魚を識別するようにしてもよい。すなわちＰＣ１は、スクリーン４が設けられた透過壁の一部領域に対応する撮像画像の画像領域から魚を認識し、スクリーン４にラベル画像４１を投影可能であればよく、水槽内の全ての空間を撮像して全ての魚を認識することは必須ではない。
【００７４】
以上より、本実施の形態４によれば、ラベル画像４１の表示領域を水槽の透過壁の一部領域に絞ることもでき、実際の運用に合わせて柔軟な構成とすることができる。
【００７５】
（実施の形態５）
本実施の形態では、観測者の位置に応じてラベル画像４１の表示位置を決定する形態について説明する。
図１５は、実施の形態５に係るラベル画像４１の表示例を示す説明図である。図１５では、観測者が居る位置に近づくようにラベル画像４１の表示位置を制御する様子を概念的に図示している。
【００７６】
本実施の形態でＰＣ１は撮像画像から、水槽内の魚だけでなく、水槽内を観察する観測者を認識する。例えばカメラ２は、水槽内部と、観測者が位置する水槽正面の所定範囲とを撮像範囲として設定してあり、ＰＣ１は、カメラ２が当該撮像範囲を撮像した画像から水槽周囲に居る観測者を認識する。あるいはカメラ２を全方位カメラとして構成し、水槽が設置された水族館の部屋全体を撮像して、水槽正面に居る観測者を認識してもよい。あるいは、水槽内部を撮像するカメラ２と、水槽正面を撮像するカメラ２とを別々に設け、後者のカメラ２で撮像した画像から観測者を認識してもよい。
【００７７】
ＰＣ１は、撮像画像から認識した観測者の位置に応じてラベル画像４１の表示位置を制御する。図１５の例では、観測者が水槽の左右方向において略中央に位置している。この場合、ＰＣ１は、観測者が居ない場合と比較してラベル画像４１が中央寄りに位置するように表示位置を制御する。図１５の例では、ＰＣ１は右側に位置する「クロマグロ」、「ナンヨウマンタ」、「マアジ」のラベル画像４１を左寄りにシフトし、左側に位置する「マアジ」、「マダライルカ」のラベル画像４１は右寄りにシフトする。このように、ＰＣ１は観測者の位置にラベル画像４１が近づくように表示位置を制御する。
【００７８】
上述の処理により、ラベル画像４１が観測者にとって見やすい位置にシフトさせることができ、ラベル画像４１をより好適に提示することができる。
【００７９】
図１６は、実施の形態５に係るＰＣ１が実行する処理手順の一例を示すフローチャートである。
カメラ２から撮像画像を取得した後（ステップＳ１１）、ＰＣ１の制御部１１は以下の処理を実行する。制御部１１は、撮像画像から魚（単体又は魚群）を認識すると共に、水槽内を観察する観測者を認識する（ステップＳ５０１）。制御部１１は処理をステップＳ１３に移行する。
【００８０】
撮像画像から魚群を認識したと判定した場合（Ｓ１３：ＹＥＳ）、制御部１１は、撮像画像から認識した魚群の位置と、観測者の位置とに基づき、魚群に対応するラベル画像４１の表示位置を決定する（ステップＳ５０２）。例えば図１５で説明したように、制御部１１は、観測者が認識されなかった場合の表示位置から、観測者の位置にラベル画像４１が近づくようにラベル画像４１の表示位置を決定する。制御部１１は処理をステップＳ１５に移行する。
【００８１】
ステップＳ１６の処理を実行後、又はステップＳ１３、Ｓ１５でＮＯの場合、制御部１１は、撮像画像から認識した単体の魚の位置と、観測者の位置とに基づき、単体で遊泳する魚のラベル画像４１の表示位置を決定する（ステップＳ５０３）。具体的にはステップＳ５０２と同様に、制御部１１はラベル画像４１が観測者の位置に近づくように表示位置を決定する。制御部１１は処理をステップＳ１８に移行する。
【００８２】
以上より、本実施の形態５によれば、観測者の位置も考慮してラベル画像４１の表示位置を決定することができ、ラベル画像４１をより好適に提示することができる。
【００８３】
（実施の形態６）
実施の形態１では、水族館の水槽の透過壁にスクリーン４を設け、水槽内を遊泳する魚に関するラベル画像４１をスクリーン４に投影（表示）する形態について説明した。本実施の形態では、サファリパークのように車両内から動物（生物）を観察する場合において、車両の窓を透過型ディスプレイ６０４として構成し、車両の窓にラベル画像４１を表示する形態について説明する。
図１７は、実施の形態６に係る画像表示システムの構成例を示す模式図である。本実施の形態に係る画像表示システムは、画像出力装置１、カメラ６０２、及び透過型ディスプレイ６０４を有する。画像出力装置１は、例えば実施の形態１と同様にパーソナルコンピュータとする構成のほか、ＥＣＵ（Electronic Control Unit）等の車載機器として構成してもよい。
【００８４】
カメラ６０２は、車両の周囲を撮像する撮像装置であり、例えば全方位カメラである。カメラ６０２は、車両の進行方向を前方とした場合に、前後左右に亘る３６０度の全方位を撮像する。なお、カメラ６０２を全方位カメラとせず、例えば車両の前部、後部、及び左右側部にそれぞれカメラ６０２を設け、複数のカメラ６０２で全方位を撮像する構成としてもよい。また、本実施の形態では透過型ディスプレイ６０４を車両側部の窓にのみ設けるため、カメラ６０２は全方位を撮像せず、車両の左右方向のみを撮像する構成としても良い。
【００８５】
透過型ディスプレイ６０４は、有機ＥＬ（Electro Luminescence）ディスプレイ、液晶ディスプレイ等の表示装置であり、ラベル画像４１等の表示オブジェクト以外の領域が透明な表示装置である。透過型ディスプレイ６０４は、例えば図１７で示す車両側部の窓に設けられ、画像出力装置１から出力された画像を表示する。なお、透過型ディスプレイ６０４に代えて、実施の形態１と同様に透過型のスクリーン４を用いたプロジェクタ方式で車両側部の窓に画像を表示してもよい。透過型ディスプレイ６０４は車両の左右側部における複数の窓にそれぞれ設けられ、車両に乗車している観測者（サファリパークの入園者等）向けに画像を表示する。
【００８６】
なお、透過型ディスプレイ６０４は車両側部の窓だけでなく、車両の前後の窓に設けられてもよい。
【００８７】
図１８は、実施の形態６の概要を示す説明図である。図１８では、カメラ６０２により車両周囲に存在する動物を撮像する様子を図示している。図１８に基づき、本実施の形態の概要について説明する。
画像出力装置１はカメラ６０２から、車両の周囲を撮像した撮像画像を動画像として逐次取得する。上述の如く、カメラ６０２は全方位カメラであり、車両の周囲３６０度の全方位を撮像する。画像出力装置１は、全方位の撮像画像を取得すると共に、カメラ６０２による画像の撮像方位を示す方位情報を併せて取得する。例えば図１８に示すように、カメラ６０２が車両の右方向を撮像した場合、撮像した画像を取得すると共に、当該画像が右方向を撮像した画像であることを示す方位情報を取得する。画像出力装置１は同様に、他の方位についても撮像画像を取得する。
【００８８】
画像出力装置１は、取得した画像から、車両の周囲に存在する動物を認識する。例えば実施の形態１と同様に、画像出力装置１は予め動物の画像特徴量を学習した識別モデル１６２（識別器）を保持し、識別モデル１６２に撮像画像を入力することで動物の識別結果を取得する。これにより、画像出力装置１は撮像画像から車両周囲の動物を認識する。
【００８９】
また、画像出力装置１は、撮像画像と共に取得した方位情報に基づき、車両に対する相対的な動物の位置を認識する。図１８の例の場合、画像出力装置１は右方向の撮像画像から動物を認識するため、認識した動物が右方向に位置するものと認識する。
【００９０】
画像出力装置１は、認識した動物の位置に基づき、ラベル画像４１の表示位置を決定する。例えば画像出力装置１は、動物が位置する方向から、車両の左右側部の各窓に設けられた複数の透過型ディスプレイ６０４、６０４、６０４…のうち、いずれの透過型ディスプレイ６０４に表示すべきかを決定する。図１８の例では、動物は車両の右方向に位置するため、画像出力装置１は、車両の右側の窓に設けられた透過型ディスプレイ６０４にラベル画像４１を表示すべきものと決定する。
【００９１】
なお、画像出力装置１は動物の位置をさらに詳細に割り出し、実施の形態１と同様、観測者にとって動物の近傍にラベル画像４１が表示されるように、一の透過型ディスプレイ６０４内でのラベル画像４１の表示位置をさらに細かく制御してもよい。
【００９２】
また、画像出力装置１は実施の形態１と同様に、動物が群れ（生物群）を形成しているか否かを認識し、群れ毎にラベル画像４１を表示するように制御してもよい。
【００９３】
上述の如く、実施の形態１で説明した画像表示システムを応用し、車両のような移動体において動物のラベル画像４１を観測者に提示することもできる。
【００９４】
図１９は、実施の形態６に係る画像出力装置１が実行する処理手順の一例を示すフローチャートである。
画像出力装置１の制御部１１は、車両の周囲を撮像するカメラ２から撮像画像を取得する（ステップＳ６０１）。例えばカメラ６０２は、車両の周囲３６０度の全方位を撮像可能な全方位カメラである。制御部１１はカメラ６０２から、撮像画像と共に、カメラ６０２による撮像方位を示す方位情報を取得する。
【００９５】
制御部１１は、取得した撮像画像から動物を認識する（ステップＳ６０２）。例えば制御部１１は、識別モデル１６２を用いて、画像特徴量を学習済みの動物を撮像画像から認識する。制御部１１は、撮像画像と共に取得した方位情報を参照して、車両に対する動物の相対的な位置（方位）も併せて認識する。
【００９６】
制御部１１は、撮像画像から認識した動物の位置に基づき、ラベル画像４１の表示位置を決定する（ステップＳ６０３）。例えば制御部１１は、車両に対する動物の相対的な位置（方位）に基づき、車両側部の窓に設けられた透過型ディスプレイ６０４、６０４、６０４…のうち、いずれの透過型ディスプレイ６０４にラベル画像４１を表示するかを決定する。制御部１１は、決定した透過型ディスプレイ６０４にラベル画像４１を表示し（ステップＳ６０４）、処理をステップＳ６０１に戻す。
【００９７】
以上より、本実施の形態６によれば、実施の形態１で説明した画像表示システムを応用し、車両のような移動体において動物のラベル画像４１を観測者に提示することもできる。
【００９８】
（実施の形態７）
図２０は、上述した形態の画像出力装置１の動作を示す機能ブロック図である。制御部１１がプログラムＰを実行することにより、画像出力装置１は以下のように動作する。
取得部２０１は、複数の生物を撮像した撮像画像を取得する。認識部２０２は、前記撮像画像から、同種類の前記生物から成る生物群を認識する。コンテンツ取得部２０３は、前記生物群に関するコンテンツ画像を取得する。決定部２０４は、前記生物群の認識位置に基づき、前記複数の生物と観測者との間に設けられた表示面における前記コンテンツ画像の表示位置を決定する。表示部２０５は、決定した前記表示位置に基づき、前記表示面に前記コンテンツ画像を表示する。
【００９９】
本実施の形態７は以上の如きであり、その他は実施の形態１から６と同様であるので、対応する部分には同一の符号を付してその詳細な説明を省略する。
【０１００】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１０１】
１  ＰＣ（画像出力装置、表示装置）
１１  制御部
１２  主記憶部
１３  通信部
１４  表示部
１５  入力部
１６  補助記憶部
Ｐ  プログラム
１６１  ラベルＤＢ
１６２  識別モデル
２、６０２  カメラ
３  プロジェクタ
４  スクリーン
６０４  透過型ディスプレイ
【図１】
2020034609.tif 000003
【図２】
2020034609.tif 000004
【図３】
2020034609.tif 000005
【図４】
2020034609.tif 000006
【図５】
2020034609.tif 000007
【図６】
2020034609.tif 000008
【図７】
2020034609.tif 000009
【図８】
2020034609.tif 000010
【図９】
2020034609.tif 000011
【図１０】
2020034609.tif 000012
【図１１】
2020034609.tif 000013
【図１２】
2020034609.tif 000014
【図１３】
2020034609.tif 000015
【図１４】
2020034609.tif 000016
【図１５】
2020034609.tif 000017
【図１６】
2020034609.tif 000018
【図１７】
2020034609.tif 000019
【図１８】
2020034609.tif 000020
【図１９】
2020034609.tif 000021
【図２０】
2020034609.tif 000022