(57)【要約】【課題】移動体が通り過ぎた地点の風景をリアルタイムで再現する。【解決手段】映像出力装置は、記憶部と、検出部と、出力部とを有する。記憶部は、搭乗者を輸送する移動体の移動中に撮影装置により撮影された移動体の外界の風景を、映像データとして記憶する。検出部は、移動体の移動中に搭乗者による反応を検出する。出力部は、記憶された映像データのうち、検出された反応に対応する映像データを出力する。【選択図】図２
2018038009.tif 000002
【特許請求の範囲】
【請求項１】
搭乗者を輸送する移動体の移動中に撮影装置により撮影された前記移動体の外界の風景を、映像データとして記憶する記憶部と、
前記移動体の移動中に前記搭乗者による反応を検出する検出部と、
記憶された前記映像データのうち、検出された前記反応に対応する映像データを出力する出力部と
を有することを特徴とする映像出力装置。
【請求項２】
過去の時間帯又は過去に通過した地点から撮影された対象物を特定する特定部をさらに有し、
前記検出部は、前記反応として、前記搭乗者が前記外界の風景を見落としたことを示すジェスチャを発したことを検出し、
前記特定部は、前記ジェスチャと時間帯又は対象物との対応関係を用いて、前記過去の時間帯又は前記対象物を特定し、
前記出力部は、特定された前記時間帯又は前記対象物に対応する映像データを出力することを特徴とする請求項１に記載の映像出力装置。
【請求項３】
前記記憶部は、複数の前記搭乗者のそれぞれの搭乗位置から見える外界の風景を撮影した映像を、それぞれ異なる映像データとして記憶し、
前記検出部は、前記反応が検出された搭乗者の搭乗位置を検出し、
前記出力部は、記憶された複数の前記映像データのうち、検出された前記搭乗者の搭乗位置から見える外界の風景の映像データを、前記反応が検出された搭乗者の搭乗位置と異なる搭乗位置の搭乗者に対して出力することを特徴とする請求項１又は２に記載の映像出力装置。
【請求項４】
前記検出部は、前記ジェスチャとして、前記搭乗者の視線の変化、表情の変化、又は手の動きを検出し、
前記特定部は、前記視線の変化、前記表情の変化、又は前記手の動きと、前記時間帯又は前記対象物との対応関係を用いて、検出された前記視線の変化、前記表情の変化、又は前記手の動きに対応する時間帯又は対象物を特定し、
前記出力部は、特定された前記時間帯又は前記対象物に対応する映像データを出力することを特徴とする請求項２に記載の映像出力装置。
【請求項５】
前記検出部は、前記搭乗者の音声を検出し、
前記出力部は、前記音声が発生した時間帯に撮影された前記映像データを出力することを特徴とする請求項１乃至４のいずれか１つに記載の映像出力装置。
【請求項６】
前記検出部は、前記搭乗者の音声に含まれる文言を抽出し、
前記特定部は、前記文言に対応付けられる時間、又は前記文言が示す対象物を特定し、
前記出力部は、前記検出された時点から特定された前記時間の分だけ遡った時点の映像データ、又は特定された前記対象物が撮影された映像データを出力することを特徴とする請求項２に記載の映像出力装置。
【請求項７】
前記記憶部は、前記映像データと対応し、前記移動体の外界の風景が撮影された時点とは異なる時点において撮影された異時点映像データをさらに記憶し、
前記出力部は、特定された前記時間帯又は前記対象物に対応する前記異時点映像データを出力することを特徴とする請求項２に記載の映像出力装置。
【請求項８】
コンピュータが、
搭乗者を輸送する移動体の移動中に撮影装置により撮影された、前記移動体の外界の風景を映像データとして記憶し、
前記移動体の移動中に前記搭乗者による反応を検出し、
記憶された前記映像データのうち、検出された前記反応に対応する映像データを出力する
処理を実行することを特徴とする映像出力方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像出力装置及び映像出力方法に関する。
【背景技術】
【０００２】
列車や乗用車等の移動体において、移動体の外界の風景を撮影し、撮影された映像を表示させる技術が知られている。例えば、列車において、現在の車外を撮影した画像データを取得するカメラと同等の画角、時間、車両位置に応じて車外を撮影した過去の画像データを再生する技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−９３０７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記技術では、移動体が通り過ぎた地点の風景をリアルタイムで再現することはできない。例えば、上記技術においては、走行中に撮影された風景を振り返ってもう一度表示させたい場合、記録された映像の中から、振り返りたい場面の映像を探しだすことになるので、風景をリアルタイムで再現することができず、利用者の負担が大きい。
【０００５】
一つの側面では、移動体が通り過ぎた地点の風景をリアルタイムで再現することができる映像出力装置及び映像出力方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
一つの態様において、映像出力装置は、記憶部と、検出部と、出力部とを有する。記憶部は、搭乗者を輸送する移動体の移動中に撮影装置により撮影された移動体の外界の風景を、映像データとして記憶する。検出部は、移動体の移動中に搭乗者による反応を検出する。出力部は、記憶された映像データのうち、検出された反応に対応する映像データを出力する。
【発明の効果】
【０００７】
一つの態様によれば、移動体が通り過ぎた地点の風景をリアルタイムで再現することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、実施例１の映像出力装置を実装した移動体の一例を示す図である。
【図２】図２は、実施例１における機能構成の一例を示す図である。
【図３】図３は、実施例１における映像ＤＢの一例を示す図である。
【図４】図４は、動作ＤＢの一例を示す図である。
【図５】図５は、実施例１における車窓に表示される映像の一例を示す図である。
【図６】図６は、実施例１における処理の流れの一例を示すフローチャートである。
【図７】図７は、実施例２における機能構成の一例を示す図である。
【図８】図８は、音声ＤＢの一例を示す図である。
【図９】図９は、ランドマークＤＢの一例を示す図である。
【図１０】図１０は、実施例２における処理の流れの一例を示すフローチャートである。
【図１１】図１１は、実施例３における車窓に表示される映像の一例を示す図である。
【図１２】図１２は、実施例３における機能構成の一例を示す図である。
【図１３】図１３は、異時点映像ＤＢの一例を示す図である。
【図１４】図１４は、実施例３における処理の流れの一例を示すフローチャートである。
【図１５】図１５は、実施例４の映像出力装置を実装した移動体の一例を示す図である。
【図１６】図１６は、実施例４における機能構成の一例を示す図である。
【図１７】図１７は、実施例４における映像ＤＢの一例を示す図である。
【図１８】図１８は、実施例４における処理の流れの一例を示すフローチャートである。
【図１９】図１９は、映像出力装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本願の開示する映像出力装置及び映像出力方法の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。
【実施例１】
【００１０】
［システム構成］
本実施例において、映像出力装置１００は、例えばコンピュータであり、移動体などに実装されて用いられる。図１は、実施例１の映像出力装置を実装した移動体の一例を示す図である。本実施例における映像出力装置１００は、たとえば移動体の移動中に撮影された映像を記録し、移動体の搭乗者に対して記録された映像を出力するものである。移動体としては、例えば乗用車やタクシー、観光バスなどの車両、電車や客車などを含む列車に加えて、船舶、航空機などが挙げられる。本実施例では、移動体は乗用車など搭乗者を輸送する車両であるものとして説明する。
【００１１】
図１に示すように、映像出力装置１００を実装する乗用車１０００には、風景撮影装置２００と、動作撮影装置３００と、表示装置５００とが設けられ、映像出力装置１００と有線又は無線にて通信可能に接続される。
【００１２】
風景撮影装置２００は、移動中の移動体の外界の映像を撮影して、撮影された映像データを映像出力装置１００に出力する。外界の映像は、例えば搭乗者が移動中の移動体から、車窓を通じて視認できる風景の映像である。風景撮影装置２００は、例えば乗用車１０００の左右の車窓付近に設置されたデジタルビデオカメラである。
【００１３】
動作撮影装置３００は、移動中の移動体の搭乗者の動作を撮影して、撮影された映像データを映像出力装置１００に出力する。搭乗者の動作は、搭乗者の視線の変化、表情の変化や手の動き等である。動作撮影装置３００は、例えば乗用車１０００内の天井部分に設置されたデジタルビデオカメラである。
【００１４】
表示装置５００は、映像出力装置１００から出力された映像を表示する。表示装置５００は、例えば液晶ディスプレイなどの出力表示装置である。なお、本実施例においては、表示装置５００が乗用車１０００の窓である例について説明するが、これに限られず、搭乗者の座席の前に設置された液晶ディスプレイ装置などであってもよく、また車窓に映像を投影するプロジェクター装置であってもよい。さらに、表示装置５００が、例えばタッチパネルのように、搭乗者が表示装置５００に触れたことを検出できるような装置であってもよい。
【００１５】
映像出力装置１００は、例えば、図１に示すように乗用車１０００の後部に設置され、風景撮影装置２００から取得した映像データを記録する。また、映像出力装置１００は、動作撮影装置３００から取得した映像データを用いて搭乗者の動作を検出する。さらに、映像出力装置１００は、検出された動作に基づいて搭乗者が指定する時間帯又は対象物を推定し、推定された時間帯又は対象物に対応する記録済みの映像データを読み出して出力する。当該時間帯は、例えば当該対象物が風景撮影装置２００により撮影された時間帯、すなわち当該対象物が映像に記録されている時間帯である。
【００１６】
なお、各装置の数は図１に示す例に限られず、例えば風景撮影装置２００が１つのみ実装されていたり、動作撮影装置３００が搭乗者の座席ごとに複数用意されていたりする構成であってもよい。また、各装置は専用の装置に限られず、既存のドライブレコーダー、車載ディスプレイ、カーナビゲーションシステムなどを流用してもよい。また、各装置は据置型の機器に限られず、スマートフォンやタブレット等の携帯可能な端末であってもよい。
【００１７】
また、各実施例における映像出力装置１００が設置される位置は、図１に示す位置に限られず、乗用車１０００内外の任意の場所に設置してもよい。また、映像出力装置１００が遠隔地に設置され、インターネット等を通じて他の各装置と接続されるような構成であってもよい。
【００１８】
［機能構成］
次に、図２を用いて、映像出力装置１００の機能構成について説明する。映像出力装置１００は、記憶部１２０と、制御部１３０とを有する。記憶部１２０は、映像出力装置１００が使用するプログラムやデータを記憶する。例えば、記憶部１２０は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部１２０は、制御部１３０が行う各処理に用いられる情報を適宜記憶する。
【００１９】
図２に示すように、記憶部１２０は、映像ＤＢ１２１と、動作ＤＢ１２２とを有する。映像ＤＢ１２１は、移動中の移動体において撮影された映像を記憶する。図３は、実施例１における映像ＤＢの一例を示す図である。図３に示すように、映像ＤＢ１２１は、「撮影日時」と、「ファイル名」とを対応付けて記憶する。例えば、ファイル名が「ＸＸＸＸＸＸ０１．ｍｐ４」のファイルは、「２０１６／０８／０１  １３：００：００」に撮影されたものであることが記録されている。
【００２０】
動作ＤＢ１２２は、検出される動作に対応する時間帯又は対象を記憶する。図４は、動作ＤＢの一例を示す図である。図４に示すように、動作ＤＢ１２２は、「振り返る」や「指を指す」などの動作に対応する時間帯又は対象物を記憶する。なお、本実施例においては、「視線の変化」や「表情の変化」なども、「動作」に含むものとして説明する。
【００２１】
本実施例においては、図４に示すように、動作ＤＢ１２２は、同じ動作であっても、動作の速さや大きさが異なる場合、それぞれ異なる時間帯又は対象物を対応付けて記憶する。例えば、図４に示す動作ＤＢ１２２は、「振り返る」動作が検出された場合において、振り返る速さが「０．３秒未満」である場合、対応する時点が「０．５」秒前であることを記憶する。同様に、図４に示す動作ＤＢ１２２は、振り返る速さが「０．３秒以上」である場合、対応する時点が「３」秒前であることを記憶する。
【００２２】
さらに、本実施例においては、動作ＤＢ１２２は、搭乗者を乗せた移動体の移動速度に応じて、時間帯又は対象物に乗じる係数を記憶する。例えば、動作ＤＢ１２２は、搭乗者が「９０度以上」振り返ったことが検出された場合において、移動体の移動速度が「時速Ｘｋｍ」以上であった場合、「２」秒に「０．７」を乗じた「１．４」となることを記憶する。
【００２３】
次に、制御部１３０の各機能について説明する。例えば、制御部１３０は、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）等によって、映像出力装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路により実現されてもよい。
【００２４】
制御部１３０は、映像記録部１３１と、動作検出部１３２と、映像抽出部１３３と、映像出力部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１３０の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、映像記録部１３１、動作検出部１３２、映像抽出部１３３及び映像出力部１３４は、プロセッサなどの電子回路の一例またはプロセッサなどが実行するプロセスの一例である。
【００２５】
映像記録部１３１は、移動中の移動体から撮影された映像を記録する処理部である。例えば、映像記録部１３１は、風景撮影装置２００により撮影された映像を取得し、映像データのファイルを、撮影された時間に対応付けて映像ＤＢ１２１に記憶する。
【００２６】
動作検出部１３２は、移動体の搭乗者の動作を検出する処理部である。なお、上で説明したように、動作検出部１３２は、搭乗者の手の動き等に加えて、搭乗者の「視線の変化」や「表情の変化」、また表示装置５００へのタッチ等も合わせて検出する。動作検出部１３２は、例えば公知の画像認識技術を用いて、視線、表情又は動きを検出できる。なお、動作検出部１３２は、検出部の一例である。
【００２７】
例えば、動作検出部１３２は、動作撮影装置３００から取得された映像データに含まれる搭乗者の顔から、目、鼻または口などの特徴点を抽出し、特徴点の位置に応じて搭乗者の視線方向又は表情を検出する。なお、動作検出部１３２は、搭乗者の眼球の方向等を特定することにより、搭乗者の視線方向を検出するような構成であってもよい。
【００２８】
また、動作検出部１３２は、表情や視線の変化に加えて、例えば搭乗者の手の位置を認識し、指を指すなどの搭乗者による手の動きを検出する。さらに、動作検出部１３２は、搭乗者が表示装置５００である窓に触れた場合、その触れた位置を検出する。動作検出部１３２は、検出された表情や視線の変化、及び手の動きや窓へのタッチに関する動作データを生成し、映像抽出部１３３に出力する。
【００２９】
映像抽出部１３３は、検出された動作から推定される映像を抽出する処理部である。例えば、映像抽出部１３３は、「１３：００：１０」の時点において、動作検出部１３２から動作データの出力を受けた場合、動作データに対応する搭乗者の動作を特定する。
【００３０】
映像抽出部１３３は、特定された搭乗者の動作が、「１２０度以上後方を指さす」動作であると特定した場合、図４に示す動作ＤＢ１２２を参照し、動作データに対応する時点が「１０」秒前であることを推定する。そして、映像抽出部１３３は、動作データの出力を受けた時点から１０秒前である「２０１６／０８／０１  １３：００：００」の時点の映像データのファイル「ＸＸＸＸＸＸ０１．ｍｐ４」を、抽出対象の映像データとして特定する。
【００３１】
なお、映像抽出部１３３は、抽出された映像データを、保存対象データとして特定する。例えば、映像抽出部１３３は、特定された映像データのファイルを、図示しないその他の記憶装置に複製する。また、映像抽出部１３３は、当該映像データのファイルにブックマークを対応付ける等により、当該ファイルを削除対象から除外する。これにより、例えば公知のドライブレコーダーのように、撮影された映像データが一定時間経過後に削除されるような映像記録装置により撮影された映像データについても、注目された風景に関する映像データを削除させずに保存させることができる。
【００３２】
映像出力部１３４は、特定された映像データを、表示装置５００に出力する処理部である。例えば、映像出力部１３４は、映像抽出部１３３により特定された「ＸＸＸＸＸＸ０２．ｍｐ４」などの映像データのファイルを映像ＤＢ１２１から読み出し、表示装置５００に出力する。なお、映像出力部１３４は、出力部の一例である。
【００３３】
映像出力部１３４が出力する映像の一例について、図５を用いて説明する。図５は、実施例１における車窓に表示される映像の一例を示す図である。図５において、搭乗者を乗せた乗用車１０００が、矢印に示す進行方向に移動中であり、現在の位置は地点３０００である場合について説明する。
【００３４】
映像出力装置１００は、搭乗者が振り返ったことを検出し、かつ振り返った角度が９０度未満であったと判定された場合、動作ＤＢ１２２を参照し、当該動作に対応する「０．５秒前」の時点３００１において撮影された映像データを表示装置５００に表示させる。また、映像出力装置１００は、搭乗者が１２０度以上後方を指さしたことを検出した場合、動作ＤＢ１２２を参照し、当該動作に対応する「１０秒前」の時点３０１０において撮影された映像データを表示装置５００に表示させる。
【００３５】
［処理の流れ］
次に、本実施例における映像出力装置１００の処理の流れについて、図６を用いて説明する。図６は、実施例１における処理の流れの一例を示すフローチャートである。まず、映像記録部１３１は、風景撮影装置２００から入力される現在撮影中の映像を映像出力部１３４に出力するとともに、映像データを映像ＤＢ１２１に記憶する。映像出力部１３４は、映像記録部１３１から出力された映像を、表示装置５００に表示させる（ステップＳ１０１）。
【００３６】
次に、動作検出部１３２は、動作撮影装置３００から映像データの入力を受けて、搭乗者の動作を検出し、動作データを映像抽出部１３３に出力する。動作データの入力を受けた映像抽出部１３３は、まず、視線の変化が検出されたか否かを判定する（ステップＳ１１１）。映像抽出部１３３は、搭乗者の視線の変化が検出されたと判定された場合（ステップＳ１１１：Ｙｅｓ）、ステップＳ１９１に移行する。
【００３７】
視線の変化が検出されなかったと判定された場合（ステップＳ１１１：Ｎｏ）、映像抽出部１３３は、搭乗者の表情の変化が検出されたか否かを判定する（ステップＳ１１３）。映像抽出部１３３は、搭乗者の表情の変化が検出されたと判定された場合（ステップＳ１１３：Ｙｅｓ）、ステップＳ１９１に移行する。
【００３８】
表情の変化が検出されなかったと判定された場合（ステップＳ１１３：Ｎｏ）、映像抽出部１３３は、搭乗者の手の動きが検出されたか否かを判定する（ステップＳ１１５）。映像抽出部１３３は、搭乗者の手の動きが検出されたと判定された場合（ステップＳ１１５：Ｙｅｓ）、ステップＳ１９１に移行する。
【００３９】
手の動きが検出されなかったと判定された場合（ステップＳ１１５：Ｎｏ）、映像抽出部１３３は、表示装置５００において、搭乗者による画面へのタッチが検出されたか否かを判定する（ステップＳ１１７）。映像抽出部１３３は、画面へのタッチが検出されたと判定された場合（ステップＳ１１７：Ｙｅｓ）、ステップＳ１９１に移行する。
【００４０】
ステップＳ１９１に移行して、映像抽出部１３３は、動作ＤＢ１２２を参照し、ステップＳ１１１乃至Ｓ１１７において検出された視線の変化、表情の変化、手の動き又は画面へのタッチに対応する時間帯又は対象物を推定する。そして、映像抽出部１３３は、映像ＤＢ１２１から、推定された時間帯又は対象物に対応する映像データを特定する（ステップＳ１９１）。映像出力部１３４は、特定された映像を表示装置５００に表示させることにより、特定された映像を再生する（ステップＳ１９３）。
【００４１】
ステップＳ１１７に戻って、映像抽出部１３３は、画面へのタッチが検出されなかったと判定された場合（ステップＳ１１７：Ｎｏ）、搭乗者から処理終了の指示を受け付けたか否かを判定する（ステップＳ１６１）。処理終了の指示を受け付けたと判定されなかった場合（ステップＳ１６１：Ｎｏ）、ステップＳ１０１に戻って処理を繰り返す。処理終了の指示を受け付けたと判定された場合（ステップＳ１６１：Ｙｅｓ）、処理を終了する。
【００４２】
上述するように、本実施例によれば、映像出力装置１００は、移動体の移動中において、搭乗者による反応を検出し、検出された反応に対応する時間帯又は対象物を推定する。また、映像出力装置１００は、記憶部に記憶された外界の映像のうち、推定された時間帯又は対象物に対応する映像を出力する。これにより、搭乗者は、煩雑な操作を要することなく、容易に通り過ぎた地点の風景をリアルタイムで振り返ることができる。
【００４３】
また、本実施例によれば、撮影された映像データが一定時間経過後に削除されるような映像記録装置により撮影される映像データについても、注目された風景を容易に保存できる。
【実施例２】
【００４４】
実施例１においては、映像出力装置１００が、搭乗者の視線、表情、手の動き等の動作に基づいて、対応する映像データを出力する構成について説明したが、実施の形態はこれに限られない。本実施例においては、映像出力装置が、搭乗者が発する音声に基づいて、対応する映像データを出力するような構成について説明する。
【００４５】
［機能構成］
まず、図７を用いて、本実施例における映像出力装置７００の機能構成について説明する。図７は、実施例２における機能構成の一例を示す図である。なお、以下の実施例において、映像ＤＢ１２１、映像記録部１３１、映像出力部１３４、風景撮影装置２００及び表示装置５００は実施例１と同様の処理を行うため、詳細な説明は省略する。
【００４６】
本実施例における映像出力装置７００は、実施例１と同様に、例えば乗用車１０００において実装される。映像出力装置７００は、乗用車１０００に設けられた風景撮影装置２００、音声取得装置４００及び表示装置５００と通信可能に接続される。
【００４７】
音声取得装置４００は、移動中の移動体の搭乗者の音声を取得し、音声データを生成して映像出力装置１００に出力する。搭乗者の音声は、例えば「あっ！」、「えっ！」などの搭乗者の驚きや感動を示す声や、「あの山」、「あの橋」、「さっき」、「５秒ぐらい前」などの対象物や地点を示す文言を含む。音声取得装置４００は、例えば乗用車１０００内の天井部分に設置されたマイクロフォンである。
【００４８】
映像出力装置７００は、実施例１と同様に、例えば、図１に示すように乗用車１０００の後部に設置され、風景撮影装置２００から取得した映像データを記録する。本実施例における映像出力装置７００は、音声取得装置４００から取得した音声データを用いて搭乗者の音声を検出する。さらに、映像出力装置７００は、検出された音声に基づいて搭乗者が指定する時間帯又は対象物を推定し、推定された時間帯又は対象物に対応する記録済みの映像データを読み出して出力する。
【００４９】
本実施例において、映像出力装置７００は、記憶部７２０と、制御部７３０とを有する。記憶部７２０は、映像出力装置７００が使用するプログラムやデータを記憶する。また、記憶部７２０は、制御部７３０が行う各処理に用いられる情報を適宜記憶する。
【００５０】
図７に示すように、記憶部７２０は、映像ＤＢ１２１と、音声ＤＢ７２３と、ランドマークＤＢ７２４を有する。音声ＤＢ７２３は、検出される音声に対応する時間帯又は対象物を記憶する。図８は、音声ＤＢの一例を示す図である。図８に示すように、音声ＤＢ７２３は、「キーワード」と、「Ｒｔ（秒）」とを対応付けて記憶する。
【００５１】
図８における「キーワード」は、音声データから抽出される文言を示し、「Ｒｔ」は、各キーワードに対応する、キーワードが検出された時点から遡る時間を示す。キーワードは、例えば、「あっ！」、「えっ！」など、搭乗者の驚きや感動を示す音声や、「山」、「橋」など、特定の場所を示す文言である。図８に示す音声ＤＢ７２３は、例えば、「山」というキーワードに対応する音声が検出された場合、対応する対象物が「ｎ秒以内に撮影された」山であることを記憶する。また、図８に示す音声ＤＢ７２３は、例えば、「あっ！」というキーワードに対応する驚きの音声が検出された場合、対応する時点が「０．５秒前」であることを記憶する。
【００５２】
図７に戻って、ランドマークＤＢ７２４は、搭乗者の注目の対象となるランドマークを、ランドマークのカテゴリや視認可能範囲、関連ワードと対応付けて記憶する。図９は、ランドマークＤＢの一例を示す図である。図９に示すように、ランドマークＤＢ７２４は、「ランドマーク」と、「カテゴリ」と、「視認可能範囲」と、「関連ワード」とを対応付けて記憶する。
【００５３】
図９における「ランドマーク」は、搭乗者の注目の対象となる対象物であり、山や塔、店舗などの「カテゴリ」に分類される。「視認可能範囲」は、当該ランドマークを視認できる範囲を示す。図９に示すように、例えば山のように大きなランドマークについては、遠くからでも視認できるため視認可能範囲は広く、逆に店などについては視認可能範囲が狭くなる。「関連ワード」は、ランドマークに対応する文言を指し、関連ワードに含まれる音声が検出された際に、対応するランドマークが特定される。例えば、「〜〜カフェ」というランドマークについては、「カフェ」という文言だけでなく、「ミセ」、「キッサテン」などの文言も、ランドマークを特定する対象となる。
【００５４】
次に、制御部７３０の各機能について説明する。例えば、制御部７３０は、ＣＰＵやＭＰＵ等によって、映像出力装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部７３０は、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【００５５】
制御部７３０は、映像記録部１３１と、映像抽出部７３３と、映像出力部１３４と、音声検出部７３５とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部７３０の内部構成は、図７に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、映像抽出部７３３及び音声検出部７３５は、プロセッサなどの電子回路の一例またはプロセッサなどが実行するプロセスの一例である。
【００５６】
音声検出部７３５は、移動体の搭乗者の音声を検出する処理部である。例えば、音声検出部７３５は、音声取得装置４００から音声データを取得し、取得された音声データから発話データを抽出する。ここで、発話データは、たとえば搭乗者が発話した内容を表す文字列であるとする。音声検出部７３５は、例えば公知の音声認識技術を用いることにより、取得された音声データに含まれる発話データを抽出できる。なお、音声検出部７３５は、検出部の一例である。
【００５７】
具体的には、音声検出部７３５は、抽出された発話データが、音声ＤＢ７２３に記憶されるキーワードに合致するか否かを判定する。音声検出部７３５は、発話データが「あっ！」、「ちょっと前」などのキーワードに合致すると判定した場合、発話データを映像抽出部７３３に出力する。
【００５８】
また、音声検出部７３５は、抽出された発話データが、ランドマークＤＢ７２４に記憶される関連ワードに合致するか否かを判定する。音声検出部７３５は、発話データが「ヤマ」、「ミセ」などの関連ワードに合致すると判定した場合、発話データを映像抽出部７３３に出力する。
【００５９】
本実施例において、映像抽出部７３３は、出力された発話データから推定される映像を抽出する処理部である。例えば、映像抽出部７３３は、音声検出部７３５から発話データの出力を受けると、音声ＤＢ７２３を参照し、出力された発話データに対応する時間帯又は地点を推定し、推定された時間帯又は地点に対応する映像データを特定し、映像出力部１３４に出力する。なお、映像抽出部７３３は、特定部の一例である。
【００６０】
具体的には、映像抽出部７３３は、「１３：００：１０」の時点において、音声検出部７３５から「ちょっと前」という発話データの出力を受けた場合、図８に示す音声ＤＢ７２３を参照し、発話データに対応する時点が「１０」秒前であることを推定する。そして、映像抽出部７３３は、図３に示す映像ＤＢ１２１を参照し、発話データの出力を受けた時点から１０秒前である「１３：００：００」の時点の映像データのファイル「ＸＸＸＸＸＸ０１．ｍｐ４」を、抽出対象の映像データとして特定する。
【００６１】
［処理の流れ］
次に、本実施例における映像出力装置７００の処理の流れについて、図１０を用いて説明する。図１０は、実施例２における処理の流れの一例を示すフローチャートである。なお、以下の説明において、図６に示すステップと同じ符号については同様のステップであるため、詳細な説明を省略する。
【００６２】
音声検出部７３５は、音声取得装置４００から音声データの入力を受けて、搭乗者の音声が検出されたか否かを判定する（ステップＳ２１１）。音声検出部７３５は、音声が検出されなかったと判定された場合（ステップＳ２１１：Ｎｏ）、ステップＳ１６１に移行する。
【００６３】
音声検出部７３５は、搭乗者の音声が検出されたと判定された場合（ステップＳ２１１：Ｙｅｓ）、検出された音声に関する発話データを生成し、映像抽出部７３３に出力する。映像抽出部７３３は、入力された発話データが、音声ＤＢ７２３に記憶されるキーワードに合致するか否かを判定する（ステップＳ２２１）。
【００６４】
発話データがキーワードに合致すると判定された場合（ステップＳ２２１：Ｙｅｓ）、映像抽出部７３３は、音声ＤＢ７２３を参照して検出された文言に対応する時間帯又は対象物を特定し（ステップＳ２２３）、ステップＳ２４１に移行する。
【００６５】
一方、発話データがキーワードに合致しなかったと判定された場合（ステップＳ２２１：Ｎｏ）、映像抽出部７３３は、発話データが、ランドマークＤＢ７２４に記憶される関連ワードに合致するか否かを判定する（ステップＳ２３１）。発話データが関連ワードに合致しなかったと判定された場合（ステップＳ２３１：Ｎｏ）、ステップＳ２１１に戻る。
【００６６】
一方、発話データが関連ワードに合致したと判定された場合（ステップＳ２３１：Ｙｅｓ）、映像抽出部７３３は、ランドマークＤＢ７２４を参照し、発話データに対応するランドマークを特定する（ステップＳ２３３）。そして、映像抽出部７３３は、特定されたランドマークが撮影された映像データを特定する（ステップＳ２３５）。その後、映像抽出部７３３は、特定された映像データを映像出力部１３４に出力し、ステップＳ２４１に移行する。
【００６７】
以上の実施例により、搭乗者の音声に基づいて、搭乗者が意図する時間帯又は対象物を特定できるので、移動体が通り過ぎた地点の風景をリアルタイムで再現することができる。
【００６８】
なお、音声検出部７３５は、発話データを出力する代わりに、音声を検出した場合に映像抽出部７３３に映像抽出要求を出力し、映像抽出部７３３は、映像抽出要求を受けた場合に音声が発せられた時点の映像データを抽出するような構成であってもよい。これにより、発話データの生成や解析等を行うことなく、より簡便かつ迅速に風景をリアルタイムで再現することができる。
【００６９】
また、音声ＤＢ７２３に記憶される情報及び音声検出部７３５による処理は、各実施例において説明したものに限られない。例えば、音声ＤＢ７２３が文字情報の代わりに音声特徴を記憶し、音声検出部７３５が、取得された音声データから抽出した特徴と、記憶された音声特徴とを比較することで、音声を認識するような構成であってもよい。
【実施例３】
【００７０】
以上の各実施例においては、移動体が通り過ぎた地点の風景をリアルタイムで再現することができる。しかし、例えば天候が不順で視界が悪い場合や、移動速度が速すぎて映像がぶれてしまう場合、対象物の前に駐車車両等の障害物がある場合など、撮影された映像を見ても、対象物が視認できない場合がある。本実施例においては、同じ場所において、異なる時点で撮影された映像を再現する構成について説明する。
【００７１】
［出力例］
まず、本実施例において出力される映像の一例について、図１１を用いて説明する。図１１は、実施例３における車窓に表示される映像の一例を示す図である。図１１の（ａ）は、移動中の乗用車１０００から時点３００１において撮影された映像データの一例を示す。例えば時点３００１においては晴天であり、対象物である塔が鮮明に撮影されている。一方、図１１の（ｂ）は、同じ対象物を、異なる時点３１０１において、移動中の乗用車１０００から撮影した映像データの一例を示す。例えば、時点３１０１は曇天時であり、図１１の（ｂ）に示すように、対象物である塔は雲に隠れてしまっている。
【００７２】
このような場合において、本実施例における映像出力装置８００は、例えば図１１の（ｃ）に示すような、時点３１０１とは異なる快晴時である時点３２０１において撮影された映像データを出力する。かかる構成によれば、映像出力装置８００は、移動中の乗用車１０００から撮影された映像において対象物が視認できない場合においても、例えば時点３２０１のように異なる時点において撮影された、対象物を視認できる映像データを出力できる。
【００７３】
なお、異なる時点において撮影された映像（以下において、「異時点映像」と表現する場合がある。）は、例えば乗用車１０００が同じ地点を過去に通過した際に撮影され、異時点映像ＤＢ８２５に記憶された映像のデータであるが、これに限られない。例えば、異時点映像データは、同じ地点において他の装置により撮影され、外部のサーバに記憶された映像データであってもよい。
【００７４】
［機能構成］
次に、図１２を用いて、本実施例における映像出力装置８００の機能構成について説明する。図１２は、実施例３における機能構成の一例を示す図である。なお、以下の実施例において、映像ＤＢ１２１、動作ＤＢ１２２、動作検出部１３２、映像抽出部１３３、映像出力部１３４、風景撮影装置２００、動作撮影装置３００及び表示装置５００は実施例１と同様の処理を行うため、詳細な説明は省略する。
【００７５】
本実施例における映像出力装置８００は、実施例１と同様に、例えば乗用車１０００において実装される。映像出力装置８００は、乗用車１０００に設けられた風景撮影装置２００、動作撮影装置３００及び表示装置５００と通信可能に接続される。さらに、映像出力装置８００は、外部の映像サーバ２１０と通信可能に接続される。
【００７６】
映像サーバ２１０は、撮影された異時点映像データを記憶する外部のサーバである。映像サーバ２１０は、映像出力装置８００から受信するリクエストに基づいて、異時点映像データを映像出力装置８００に送信する。
【００７７】
映像出力装置８００は、実施例１と同様に、例えば、図１に示すように乗用車１０００の後部に設置され、風景撮影装置２００から取得した映像データを記録する。
【００７８】
本実施例において、映像出力装置８００は、通信部８１０と、操作部８１１と、記憶部８２０と、制御部８３０とを有する。
【００７９】
通信部８１０は、外部の装置との間で情報の送受信を行う。例えば、通信部８１０は、制御部８３０から出力される異時点映像データのリクエストを映像サーバ２１０に送信し、映像サーバ２１０から異時点映像データを受信して、制御部８３０に出力する。また、通信部８１０が、図示しない搭乗者の端末から異時点映像表示のリクエストを受信して、制御部８３０に出力するような構成であってもよい。
【００８０】
操作部８１１は、搭乗者による操作を受け付ける。例えば、操作部８１１は、搭乗者による異時点映像表示のリクエストを受け付け、制御部８３０に出力する。操作部８１１は、例えば映像出力装置８００が有する操作ボタンであるが、これに限られず、例えばタッチパネルである表示装置５００が操作部８１１の機能を有するような構成であってもよい。
【００８１】
記憶部８２０は、映像出力装置８００が使用するプログラムやデータを記憶する。また、記憶部８２０は、制御部８３０が行う各処理に用いられる情報を適宜記憶する。図１２に示すように、記憶部８２０は、映像ＤＢ１２１と、動作ＤＢ１２２と、異時点映像ＤＢ８２５を有する。
【００８２】
異時点映像ＤＢ８２５は、異時点映像データを、撮影された日時及び地点とともに記憶する。図１３は、異時点映像ＤＢの一例を示す図である。図１３に示すように、異時点映像ＤＢ８２５は、「撮影日時」と、「撮影地点」と、「ファイル名」とを対応付けて記憶する。例えば、異時点映像ＤＢ８２５には、ファイル名が「ＸＸＸＹＹＹ０１．ｍｐ４」のファイルは、「２０１６／０２／０１  １３：００：００」に「○○高速道路  １０．０ｋｍ地点」において撮影されたものであることが記録されている。
【００８３】
次に、制御部８３０の各機能について説明する。例えば、制御部８３０は、ＣＰＵやＭＰＵ等によって、映像出力装置８００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部８３０は、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【００８４】
制御部８３０は、映像取得部８３１と、動作検出部１３２と、映像抽出部１３３と、映像出力部１３４と、異時点映像処理部８３６とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部８３０の内部構成は、図８に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、映像取得部８３１及び異時点映像処理部８３６は、プロセッサなどの電子回路の一例またはプロセッサなどが実行するプロセスの一例である。
【００８５】
映像取得部８３１は、移動中の移動体から撮影された映像を記録するとともに、異時点において撮影された映像を取得する処理部である。映像取得部８３１は、映像記録部１３１と同様に、風景撮影装置２００により撮影された映像を取得し、映像データのファイルを、撮影された時間に対応付けて映像ＤＢ１２１に記憶する。さらに、映像取得部８３１は、移動中の移動体の現時点に対応する映像を、通信部８１０を通じて映像サーバ２１０から取得し、異時点映像ＤＢ８２５に記憶する。
【００８６】
異時点映像処理部８３６は、異時点映像データの表示に関する制御を行う処理部である。例えば、異時点映像処理部８３６は、操作部８１１又は通信部８１０を介して、搭乗者から異時点映像表示のリクエストを受け付ける。また、異時点映像処理部８３６は、異時点映像ＤＢ８２５を参照し、リクエストに基づいて、映像出力部１３４が出力している映像の地点と同じ地点において撮影された異時点映像を特定する。
【００８７】
［処理の流れ］
次に、本実施例における映像出力装置８００の処理の流れについて、図１４を用いて説明する。図１４は、実施例３における処理の流れの一例を示すフローチャートである。
【００８８】
まず、異時点映像処理部８３６は、特定された映像が再生されている場合において、異時点映像表示のリクエストを受け付けたか否かを判定する（ステップＳ３１１）。異時点映像処理部８３６は、リクエストを受け付けたと判定された場合（ステップＳ３１１：Ｙｅｓ）、現在再生されている映像に対応する地点を特定する（ステップＳ３９１）。そして、異時点映像処理部８３６は、特定された地点に対応する異時点映像を特定し、映像出力部１３４に出力する。映像出力部１３４は、出力された異時点映像データを再生する（ステップＳ３９３）。
【００８９】
ステップＳ３１１に戻って、異時点映像処理部８３６は、リクエストを受け付けなかったと判定された場合（ステップＳ３１１：Ｎｏ）、処理の終了指示を受け付けたか否かを判定する（ステップＳ３６１）。処理終了の指示を受け付けたと判定されなかった場合（ステップＳ３６１：Ｎｏ）、ステップＳ１９３に戻って処理を繰り返す。処理終了の指示を受け付けたと判定された場合（ステップＳ３６１：Ｙｅｓ）、処理を終了する。
【００９０】
本実施例によれば、移動中に撮影された映像において、対象物が視認できない場合でも、対象物を含む風景に関する映像を再現することができる。また、異なる時点において撮影された映像を表示できるので、夜景などの時間帯による風景の変化や、花火大会などのイベント開催時の風景などを再現することもできる。
【００９１】
なお、異時点映像ＤＢ８２５は、一つの撮影地点について、撮影日時の異なる複数の異時点映像データを記憶してもよい。また、異時点映像処理部８３６が、撮影日時や撮影時の気象状況等の条件の指定を含む異時点映像表示のリクエストを受け付け、指定された条件に合致する異時点映像データを特定するような構成であってもよい。
【００９２】
なお、異時点映像ＤＢ８２５は、例えば撮影地点に加えて、撮影方向をさらに記憶してもよく、また撮影地点を緯度経度、高度その他の情報により記憶してもよい。これにより、例えば、地下を移動中に、対応する地上の風景を再現することもできる。さらに、異時点映像ＤＢ８２５は、撮影日時に加えて、撮影時点の気象状況や、イベント開催状況等を記憶してもよい。
【００９３】
また、異時点映像処理部８３６は、搭乗者から異時点映像表示のリクエストを受け付けた場合に加えて、日時や天候などが所定の条件に合致した場合に、異時点映像を表示させるような構成であってもよい。例えば、異時点映像処理部８３６が、図示しない照度センサ等から取得した照度が、予め記憶部８２０に記憶された閾値を下回ると判定された場合に、異時点映像を表示させるような構成であってもよい。
【００９４】
また、異時点映像処理部８３６が、所定の対象物を含む異時点映像と、同一地点において風景撮影装置２００により撮影された現在の映像とを比較し、比較結果に基づいて異時点映像を表示させるような構成であってもよい。例えば、異時点映像処理部８３６が、現在の映像において所定の対象物が視認できないと判定された場合に、異時点映像を表示させるような構成とすることもできる。
【００９５】
なお、本実施例における映像出力部１３４は、異時点映像と現在の映像とを重畳して表示させてもよく、また公知の映像認識技術を用いて、異時点映像と現在の映像との差分を算出して表示させてもよい。
【実施例４】
【００９６】
ところで、観光バスや列車、旅客機等の大型の移動体においては、搭乗者の人数も多く、また搭乗者の着席位置によって搭乗者から視認できる風景が異なる場合もある。例えば、観光バスの左側の座席に着席した搭乗者からは、右側の座席に着席した搭乗者から見える観光バスの右側の風景が見えにくい場合がある。そこで、本実施例においては、搭乗者の着席位置を特定し、着席位置に応じた映像を表示させる構成について説明する。
【００９７】
本実施例における映像出力装置９００は、例えば観光バスなどの大型の移動体において実装される。図１５は、実施例４の映像出力装置を実装した移動体の一例を示す図である。図１５に示すように、映像出力装置９００は、例えば観光バス５０００の天井などに設置される。なお、以下の実施例において、動作ＤＢ１２２、映像出力部１３４、風景撮影装置２００及び表示装置５００は実施例１と同様の処理を行うため、詳細な説明は省略する。
【００９８】
本実施例において、観光バス５０００は、進行方向に向かって左側の風景を撮影する風景撮影装置２００ａと、向かって右側の風景を撮影する風景撮影装置２００ｂとの２つの風景撮影装置２００を有する。同様に、観光バス５０００は、向かって左側の座席に着席する搭乗者５５００ａの動作を検出する動作撮影装置３００ａと、向かって右側の座席に着席する搭乗者５５００ｂの動作を検出する動作撮影装置３００ｂとの２つの動作撮影装置３００を有する。なお、観光バス５０００は、左右にそれぞれ表示装置５００ａ及び５００ｂを有するが、これに限られず、表示装置５００を一つだけ有するような構成であってもよく、また各搭乗者の座席に表示装置が設けられるような構成であってもよい。
【００９９】
［機能構成］
次に、図１６を用いて、本実施例における映像出力装置９００の機能構成について説明する。図１６は、実施例４における機能構成の一例を示す図である。なお、以下の実施例において、同一の部位には同一の符号を付し、重複する説明は省略される。
【０１００】
図１６に示すように、本実施例における映像出力装置９００は、記憶部９２０と、制御部９３０とを有する。記憶部９２０は、映像出力装置９００が使用するプログラムやデータを記憶する。また、記憶部９２０は、制御部９３０が行う各処理に用いられる情報を適宜記憶する。図１６に示すように、記憶部９２０は、映像ＤＢ９２１と、動作ＤＢ１２２とを有する。
【０１０１】
本実施例における映像ＤＢ９２１は、風景撮影装置２００ａ及び２００ｂから取得した映像データを、撮影日時、撮影地点及び撮影方向とともに記憶する。図１７は、実施例４における映像ＤＢの一例を示す図である。図１７に示すように、映像ＤＢ９２１は、「撮影日時」と、「撮影地点」と、「撮影方向」と、「ファイル名」とを対応付けて記憶する。
【０１０２】
本実施例において、風景撮影装置２００ａから取得された映像データは、「撮影方向」に「左側」が記憶され、風景撮影装置２００ｂから取得された映像データは、「撮影方向」に「右側」が記憶される。例えば、映像ＤＢ９２１には、ファイル名が「ＸＸＸＸＸＲ０１．ｍｐ４」のファイルは、「２０１６／０８／０１  １３：００：００」に「○○高速道路  １０．０ｋｍ地点」において、風景撮影装置２００ｂにより撮影されたものであることが記録されている。
【０１０３】
次に、制御部９３０の各機能について説明する。例えば、制御部９３０は、ＣＰＵやＭＰＵ等によって、映像出力装置９００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部９３０は、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。
【０１０４】
制御部９３０は、映像記録部９３１と、動作検出部９３２ａ及び９３２ｂと、映像抽出部９３３と、映像出力部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部９３０の内部構成は、図１６に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、映像記録部９３１、動作検出部９３２ａ、９３２ｂ及び映像抽出部９３３は、プロセッサなどの電子回路の一例またはプロセッサなどが実行するプロセスの一例である。
【０１０５】
本実施例における映像記録部９３１は、移動中の移動体から撮影された映像を、撮影方向と対応付けて記録する処理部である。映像記録部９３１は、風景撮影装置２００ａにより撮影された映像を取得し、映像データのファイルを、撮影された時間、撮影地点及び撮影方向「左側」に対応付けて映像ＤＢ９２１に記憶する。また、映像記録部９３１は、風景撮影装置２００ｂにより撮影された映像を取得し、映像データのファイルを、撮影された時間、撮影地点及び撮影方向「右側」に対応付けて映像ＤＢ９２１に記憶する。
【０１０６】
動作検出部９３２ａは、移動体の左側の座席に着席する搭乗者５５００ａの動作を検出する処理部である。また、動作検出部９３２ｂは、移動体の右側の座席に着席する搭乗者５５００ｂの動作を検出する処理部である。動作検出部９３２ａ及び９３２ｂにおける処理は、動作検出部１３２と同様であるため、詳細な説明は省略する。
【０１０７】
映像抽出部９３３は、検出された搭乗者の動作と、搭乗者の着席位置から推定される映像を抽出する処理部である。例えば、図１５に示すような例において、映像抽出部９３３は、動作検出部９３２ａから、搭乗者５５００ａが左後方を指さすことを示す動作データの出力を受ける。この場合において、映像抽出部９３３は、動作ＤＢ１２２に記憶された動作に合致する場合、合致した動作に対応する時間帯又は対象物を特定する。そして、映像抽出部９３３は、特定された時間帯又は対象物に対応する、撮影方向が「左側」である映像データを特定する。また、映像抽出部９３３は、動作検出部９３２ｂから出力された動作データに合致する動作に対応する時間帯又は対象物を特定し、特定された時間帯又は対象物に対応する、撮影方向が「右側」である映像データを特定する。
【０１０８】
［処理の流れ］
次に、本実施例における映像出力装置９００の処理の流れについて、図１８を用いて説明する。図１８は、実施例４における処理の流れの一例を示すフローチャートである。なお、以下の説明において、図６に示すステップと同じ符号については同様のステップであるため、詳細な説明を省略する。
【０１０９】
動作検出部９３２ａ及び９３２ｂは、それぞれ動作撮影装置３００ａ及び３００ｂから映像データの入力を受けて、搭乗者の動作を検出し、動作データを映像抽出部９３３に出力する。動作データの入力を受けた映像抽出部９３３は、ステップＳ１１１乃至Ｓ１１７に示す各処理を実施する。
【０１１０】
ステップＳ１１１乃至Ｓ１１７において各動作が検出された場合、映像抽出部１３３は、動作ＤＢ１２２を参照し、ステップＳ１１１乃至Ｓ１１７において検出された視線の変化、表情の変化、手の動き又は画面へのタッチに対応する時間帯又は対象物を推定する。また、映像抽出部９３３は、動作検出部９３２ａにおいて動作が検出された場合、撮影方向が「左側」であることを特定し、動作検出部９３２ｂにおいて動作が検出された場合、撮影方向が「右側」であることを特定する。そして、映像抽出部９３３は、映像ＤＢ９２１から、推定された時間帯又は対象物及び撮影方向に対応する映像データを特定し（ステップＳ４０１）、ステップＳ１９３に移行する。
【０１１１】
本実施例によれば、風景が見える席とは反対側の席に座っている搭乗者も、風景が見える席に座っている搭乗者と同様に、風景を楽しむことができる。なお、例えば観光バス５０００の右側の車窓を表示装置５００ｂとして、左側の風景撮影装置２００ａにより撮影された映像を表示させる場合、車両の進行方向と映像が動く方向とが一致するように、振り返り映像を左右反転させて表示させてもよい。
【実施例５】
【０１１２】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。例えば、図６、図１０、図１４及び図１８に示す各処理は、上記の順番に限定されるものではなく、図６のステップＳ１１１乃至Ｓ１１７など、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。
【０１１３】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、映像出力装置１００において、映像抽出部１３３及び映像出力部１３４を統合するような構成であってもよく、又は動作検出部１３２を、視線を検出する処理部と手の動きを検出する処理部とに分散するような構成であってもよい。また、動作撮影装置３００及び音声取得装置４００を統合するような構成であってもよい。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１１４】
また、各実施例においては、映像出力装置が音声検出及び動作検出のいずれかを行う構成について説明したが、これに限られず、映像出力装置が音声検出と動作検出との両方を行う構成であってもよい。また、映像出力装置が、視線の変化、表情の変化及び手の動きのうち、少なくともいずれか１つを行うような構成であってもよい。例えば、映像出力装置１００が、図６の符号Ｓ１１１乃至Ｓ１１７に示す各判定処理のうち、少なくともいずれか１つを実行するような処理の流れであってもよい。また、図６のＳ１１１乃至Ｓ１１７又は図１０のＳ２１１乃至Ｓ２３１に示す各処理以外の方法により、搭乗者が特定の時間帯又は地点を指定したことを示す情報を検出する処理を含むような構成であってもよい。例えば、音声検出部７３５が、所定の音量（例えば８０ｄｂ以上）の音声を検出した場合に、映像抽出部７３３が対応する時間帯又は対象物を特定するような構成であってもよい。
【０１１５】
また、映像出力部１３４は、通常は映像を表示させず、搭乗者の音声又は動作を検出した場合に映像を表示させるような構成であってもよい。このような構成においては、例えば表示装置５００が移動体の窓を兼ねるような場合において、映像が表示されていないときは移動体の外界を映像ではなく直接視認することができる。
【０１１６】
なお、映像記録部１３１、９３１又は映像取得部８３１は、映像出力部１３４が映像を表示装置５００に表示させている最中も、引き続き風景撮影装置２００から映像データを取得するような構成であってもよい。この場合において、動作検出部１３２、９３２ａ及び９３２ｂ並びに音声検出部７３５が、映像出力部１３４が映像を表示装置５００に表示させている最中においても、さらに音声又は動作を検出するような構成であってもよい。これにより、搭乗者の音声又は動作に基づいて特定された時間帯又は地点の映像データを再生している場合においても、さらに搭乗者の音声又は動作に基づいて時間帯又は地点を特定し、映像データを再生することができる。
【０１１７】
なお、動作又は音声と、対象となる時間帯又は地点との対応関係は、例えば予め記憶されたテーブルに基づいて特定されるが、これに限られず、例えば動作と時間帯との対応関係を定めた数式に動作データを当てはめることにより、時間帯を特定してもよい。
【０１１８】
また、映像出力部１３４が出力する映像データは、例えばリアルタイムで撮影された動画データであるが、これに限られず、静止画像やコマ送り画像などの映像データであってもよい。なお、図３又は図１７に示す映像ＤＢは一例であり、例えば連続して記録された一つの映像データに対して付されたタイムスタンプを記憶するような構成であってもよい。
【０１１９】
また、映像抽出部１３３、７３３及び９３３は、搭乗者による指示などに基づいて、表示させる映像とは異なる時間帯の映像をさらに表示させるような構成であってもよい。例えば、図５に示す地点３０００において、映像抽出部１３３が時点３００１において撮影された映像データを抽出したが、搭乗者１５００が振り返りたい風景は時点３００１のものではなく時点３０１０のものである場合がある。この場合、動作検出部１３２は、例えば搭乗者１５００が表示装置５００をスワイプし、又は搭乗者１５００が後方を指さしたことを検出し、映像抽出部１３３が時点３００１において撮影された映像データを抽出するような構成であってもよい。これにより、映像抽出部１３３は、抽出した映像データが搭乗者１５００の意図したものではない場合であっても、搭乗者の意図する映像データをさらに抽出することができる。
【０１２０】
さらに、映像抽出部１３３、７３３及び９３３が、搭乗者による動作又は音声による学習結果に従って、動作ＤＢ１２２、音声ＤＢ７２３又はランドマークＤＢ７２４を更新するような構成であってもよい。例えば、特定の店舗を含む映像データが複数回再生された場合、映像抽出部７３３が、ランドマークＤＢ７２４に、当該店舗に関する情報を新たに登録してもよい。
【０１２１】
また、音声検出部７３５が「ちょっと前」という音声を検出し、映像抽出部７３３が音声ＤＢ７２３を参照して「１０秒前」の映像データを出力した場合において、搭乗者が「１０秒前」の映像ではなく「２秒前」の映像を要求する場合がある。このような要求が連続した場合において、映像抽出部７３３が、音声ＤＢ７２３の「ちょっと前」に対応する「Ｒｔ（秒）」を、「１０」から「２」に更新するような構成であってもよい。
【０１２２】
また、映像抽出部１３３、７３３及び９３３が、搭乗者の動作又は音声に基づいて時間帯又は対象物を特定する構成は、上記したものに限られない。例えば、映像抽出部７３３が、搭乗者１５００の音声が検出された時点における位置情報を取得し、ランドマークＤＢ７２４を参照して、当該位置情報に該当するランドマークを含む映像を抽出するような構成であってもよい。また、映像出力部１３４が、複数の時点において撮影された画像を表示装置５００にサムネイル表示させ、このうち搭乗者１５００が選択する画像に該当する映像データを出力するような構成であってもよい。
【０１２３】
［ハードウェア構成］
本実施形態に係る映像出力装置１００、７００、８００及び９００は、図１９に一例として示す構成のコンピュータ６００で実現することができる。図１９は、映像出力装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
【０１２４】
コンピュータ６００は、ＣＰＵ（Central  Processing  Unit）６１０と、ＲＯＭ（Read  Only  Memory）６２０と、ＲＡＭ（Random  Access  Memory）６３０と、ＨＤＤ（Hard  Disk  Drive）６４０とを備える。また、コンピュータ６００は、メディアインターフェイス（Ｉ／Ｆ）６５０と、通信インターフェイス（Ｉ／Ｆ）６６０と、入出力インターフェイス（Ｉ／Ｆ）６７０とを備える。
【０１２５】
なお、コンピュータ６００は、ＳＳＤ（Solid  State  Drive）を備え、かかるＳＳＤがＨＤＤ６４０の一部または全ての機能を実行するようにしてもよい。また、ＨＤＤ６４０に代えてＳＳＤを設けることとしてもよい。
【０１２６】
ＣＰＵ６１０は、ＲＯＭ６２０およびＨＤＤ６４０の少なくとも一方に格納されるプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ６２０は、コンピュータ６００の起動時にＣＰＵ６１０によって実行されるブートプログラムや、コンピュータ６００のハードウェアに依存するプログラムなどを格納する。ＨＤＤ６４０は、ＣＰＵ６１０によって実行されるプログラムおよびかかるプログラムによって使用されるデータ等を格納する。
【０１２７】
メディアＩ／Ｆ６５０は、記憶媒体６８０に格納されたプログラムやデータを読み取り、ＲＡＭ６３０を介してＣＰＵ６１０に提供する。ＣＰＵ６１０は、かかるプログラムを、メディアＩ／Ｆ６５０を介して記憶媒体６８０からＲＡＭ６３０上にロードし、ロードしたプログラムを実行する。あるいは、ＣＰＵ６１０は、かかるデータを用いてプログラムを実行する。記憶媒体６８０は、例えばＤＶＤ（Digital  Versatile  Disc）などの光磁気記録媒体やＳＤカード、ＵＳＢメモリなどである。
【０１２８】
通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して映像サーバ２１０等の他の機器からデータを受信してＣＰＵ６１０に送り、ＣＰＵ６１０が生成したデータを、ネットワーク６９０を介して他の機器へ送信する。あるいは、通信Ｉ／Ｆ６６０は、ネットワーク６９０を介して他の機器からプログラムを受信してＣＰＵ６１０に送り、ＣＰＵ６１０がかかるプログラムを実行する。通信Ｉ／Ｆ６６０は、例えば、通信部８１０の機能を実現する。
【０１２９】
ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、風景撮影装置２００、動作撮影装置３００、音声取得装置４００及び表示装置５００等を制御する。ＣＰＵ６１０は、入出力Ｉ／Ｆ６７０を介して、風景撮影装置２００、動作撮影装置３００及び音声取得装置４００等からデータを取得する。また、ＣＰＵ６１０は、通信Ｉ／Ｆ６６０を介して、映像サーバ２１０等からデータを取得する。また、ＣＰＵ６１０は、生成したデータを入出力Ｉ／Ｆ６７０を介して表示装置５００等に出力する。
【０１３０】
例えば、コンピュータ６００が映像出力装置１００、７００、８００又は９００として機能する場合、コンピュータ６００のＣＰＵ６１０は、ＲＡＭ６３０上にロードされたプログラムを実行する。これにより、ＣＰＵ６１０は、映像記録部１３１又は９３１、映像取得部８３１、動作検出部１３２、９３２ａ又は９３２ｂ、映像抽出部１３３、７３３、９３３、映像出力部１３４、音声検出部７３５及び異時点映像処理部８３６の各部の機能を実現する。
【０１３１】
コンピュータ６００のＣＰＵ６１０は、例えばこれらのプログラムを記憶媒体６８０から読み取って実行するが、他の例として、他の装置からネットワーク６９０を介してこれらのプログラムを取得してもよい。
【符号の説明】
【０１３２】
１００、７００、８００、９００  映像出力装置
１２０、７２０、８２０、９２０  記憶部
１２１、９２１  映像ＤＢ
１２２  動作ＤＢ
１３０、７３０、８３０、９３０  制御部
１３１、９３１  映像記録部
１３２、９３２ａ、９３２ｂ  動作検出部
１３３、７３３、９３３  映像抽出部
１３４  映像出力部
７２３  音声ＤＢ
７２４  ランドマークＤＢ
７３５  音声検出部
８１０  通信部
８１１  操作部
８２５  異時点映像ＤＢ
８３１  映像取得部
８３６  異時点映像処理部
２００、２００ａ、２００ｂ  風景撮影装置
２１０  映像サーバ
３００、３００ａ、３００ｂ  動作撮影装置
４００  音声取得装置
５００、５００ａ、５００ｂ  表示装置
【図１】
2018038009.tif 000003
【図２】
2018038009.tif 000004
【図３】
2018038009.tif 000005
【図４】
2018038009.tif 000006
【図５】
2018038009.tif 000007
【図６】
2018038009.tif 000008
【図７】
2018038009.tif 000009
【図８】
2018038009.tif 000010
【図９】
2018038009.tif 000011
【図１０】
2018038009.tif 000012
【図１１】
2018038009.tif 000013
【図１２】
2018038009.tif 000014
【図１３】
2018038009.tif 000015
【図１４】
2018038009.tif 000016
【図１５】
2018038009.tif 000017
【図１６】
2018038009.tif 000018
【図１７】
2018038009.tif 000019
【図１８】
2018038009.tif 000020
【図１９】
2018038009.tif 000021