(57)【要約】【課題】後から記録される信号と表示されている映像信号とのつきあわせが容易に行えるようにした映像表示装置を提供すること。【解決手段】第１の映像表示部（ＬＣＤ１１）と、前記第１の映像表示部に表示する映像を再生する第１の映像再生部（デコーダ１２）と、信号入力部（マイクロフォン３０）と、前記信号入力部から入力される信号を記録する信号記録部（フラッシュメモリ１３）と、前記第１の映像再生部で再生される映像信号と同期した状態で、前記信号を前記信号記録部に記録させるコントローラ１４とを備える。【選択図】図１
2011015361.tif 000002
【特許請求の範囲】
【請求項１】
第１の映像表示部と、
前記第１の映像表示部に表示する映像を再生する第１の映像再生部と、
信号入力部と、
前記信号入力部から入力される信号を記録する信号記録部と、
前記第１の映像再生部で再生される映像信号と同期した状態で、前記信号を前記信号記録部に記録させるコントローラと、
を備えてなることを特徴とする、映像表示装置。
【請求項２】
請求項１に記載の映像表示装置において、
前記信号入力部はマイクロフォンで、
前記信号記録部は前記マイクロフォンから入力された音声信号を記録し、
前記コントローラは、前記第１の映像再生部で再生される映像信号と同期した状態で、前記音声信号を、前記信号記録部に記録させることを特徴とする、映像表示装置。
【請求項３】
請求項１に記載の映像表示装置において、
前記信号入力部は撮像部で、
前記信号記録部は前記撮像部から入力される撮像信号を記録し、
前記コントローラは、前記第１の映像再生部で再生される映像の映像信号と同期した状態で、前記撮像信号を、前記信号記録部に記録させることを特徴とする、映像表示装置。
【請求項４】
請求項３に記載の映像表示装置において、
前記信号入力部はさらにマイクロフォンを備え、
前記信号記録部はさらに前記マイクロフォンから入力された音声信号を記録し、
前記コントローラは、前記第１の映像再生部で再生される映像の映像信号と同期した状態で、前記撮像信号と前記音声信号を、前記信号記録部にそれぞれ記録させることを特徴とする、映像表示装置。
【請求項５】
請求項３または請求項４に記載の映像表示装置において、
前記撮像部は、ユーザの視界と略同一の視界で撮像することを特徴とする、映像表示装置。
【請求項６】
請求項１ないし請求項５の何れか一項に記載の映像表示装置において、
映像を表示する第２の映像表示部と、
前記第２の映像表示部に表示する映像を再生する第２の映像再生部と、
をさらに備え、
前記第１の映像表示部で表示されている映像と前記第２の映像表示部で表示されている映像とが同時に観察出来るように構成されていることを特徴とする、映像表示装置。
【請求項７】
請求項１，２，４，５又は６の何れか一項に記載の映像表示装置において、
前記信号記録部に記録された音声信号は、前記第１の映像再生部で再生される映像の映像信号データとは別に記録され、
前記信号記録部で前記音声信号の記録を開始するとき、前記第１の映像再生部で再生されている前記映像信号データの再生位置を併せて記録することを特徴とする、映像表示装置。
【請求項８】
請求項３ないし請求項６の何れか一項に記載の映像表示装置において、
前記信号記録部に記録された撮像信号は、前記第１の映像再生部で再生される映像の映像信号データとは別に記録され、
前記信号記録部で前記撮像信号の記録を開始するとき、前記第１の映像再生部で再生されている前記映像信号データの再生位置を併せて記録することを特徴とする、映像表示装置。
【請求項９】
請求項６または請求項７に記載の映像表示装置において、
前記信号記録部に記録された撮像信号は、前記第２の映像再生部で再生される映像の映像信号データとは別に記録され、
前記信号記録部で前記撮像信号の記録を開始するとき、前記第２の映像再生部で再生されている前記映像信号データの再生位置を併せて記録することを特徴とする、映像表示装置。
【請求項１０】
請求項９に記載の映像表示装置において、
前記第２の映像表示部は、その表示映像に、前記第２の映像再生部で再生される映像の映像信号データの再生位置を表示させ、
前記信号記録部に記録される撮像データには、前記第２の映像表示部の表示映像が含まれることを特徴とする映像表示装置。
【請求項１１】
請求項１ないし請求項１０の何れか一項に記載の映像表示装置において、
前記第１の映像表示部は使用者の頭部もしくは顔前部に装着されることを特徴とする映像表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は映像表示装置に関する。
【背景技術】
【０００２】
単眼のヘッドマウントディスプレィやシースルーのヘッドマウントディスプレィ（ＨＭＤ）は表示する映像と外の視界とを同時に観察することが出来るため、例えば外の視界に対して情報を重畳してユーザに提供するミックストリアリティなどに応用されており、ＨＭＤにマイクを接続して音声信号を記録するシステムも提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−８０２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１に記載のシステムではＨＭＤに表示した映像と同期状態の下で音声信号が記録されていないため、後から記録された音声信号と表示されている映像信号とをつきあわせるのに労力を要していた。
【０００５】
本発明は上記事情に鑑みてなされたもので、後から記録される信号と表示されている映像信号とのつきあわせが容易に行えるようにした映像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の請求項１に記載の映像表示装置は、第１の映像表示部と、前記第１の映像表示部に表示する映像を再生する第１の映像再生部と、信号入力部と、前記信号入力部から入力される信号を記録する信号記録部と、前記第１の映像再生部で再生される映像信号と同期した状態で、前記信号を前記信号記録部に記録させるコントローラと、を備えてなることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、後から記録される信号と表示されている映像信号とのつきあわせが容易に行える。
【図面の簡単な説明】
【０００８】
【図１】本発明の映像表示装置の第１実施形態を示すブロック図である。
【図２】図１に示す映像表示装置の斜視図である。
【図３】本発明の映像表示装置の第２実施形態を示すブロック図である。
【図４】本発明の映像表示装置の第３実施形態を示すブロック図である。
【発明を実施するための形態】
【実施例１】
【０００９】
図１、図２は本発明の映像表示装置の第１実施形態を示している。
【００１０】
この第１実施形態の映像表示装置は、図１、図２に示すように使用者の頭部に装着される頭部装着ディスプレイ（以下ＨＭＤと記す）１０に信号入力部としてのマイクロフォン３０を接続して構成される。
【００１１】
ＨＭＤ１０には、図１に示すように、映像を表示する第１の映像表示部としての液晶表示装置（以下ＬＣＤと記す）１１と、このＬＣＤ１１に表示する映像を再生する第１の映像再生部としてのデコーダ１２と、映像データを記録する他にマイクロフォン３０から入力した信号（音声信号）を記録する信号記録部としてのフラッシュメモリ１３と、ＨＭＤ１０全体の制御を行う他に音声信号をフラッシュメモリ１３にＬＣＤ１１で再生される映像信号と同期した状態で記録するように制御を行うコントローラ１４と、左右のスピーカＳＰ（Ｌ）、ＳＰ（Ｒ）を有したヘッドホン１５と、が装備される。
【００１２】
また、ＨＭＤ１０には、ＬＣＤ１１のバックライト（以下ＢＬと記す）１６と、ＬＣＤ１１の駆動部（以下ＬＣＤドライバと記す）１７と、ＢＬ１６の駆動部（以下ＢＬドライバと記す）１８と、接眼レンズ１９及びミラー２０がそれぞれ装備される。
【００１３】
さらに、ＨＭＤ１０には、コントローラ１４に接続されたメモリ２１、スイッチ２２及びマイクロフォン３０に接続されたエンコーダ２３がそれぞれ装備される。
【００１４】
フラッシュメモリ１３に記録された映像データはデコーダ１２でデコード（復号化）され、ＬＣＤドライバ１７を介してＬＣＤ１１に表示される。ＬＣＤ１１に表示された映像はミラー２０と接眼レンズ１９を介してユーザ（ＨＭＤ１０の装着者）の何れか一方の目（本実施形態ではユーザの左目）に提示される。
【００１５】
フラッシュメモリ１３に映像データと併せて音声データも記録されている場合には音声データがデコーダ１２でデコード（復号化）され、ヘッドフォン１５の左右のスピーカＳＰ（Ｌ）、ＳＰ（Ｒ）に出力される。
【００１６】
映像データと音声データはフラッシュメモリ１３内の別ファイルにそれぞれ記録されているが、音声データを記録する際に、再生される映像信号と同期した状態で記録、例えば音声データに、再生される映像信号の再生位置が併せて記録されることから、両データは互いに時間的にマッチングがとれた状態になっている。
【００１７】
なお、本第１実施形態では、音声データを記録する際、映像信号の再生位置を併せて記録することにより音声データと映像信号とを同期させているが、これに限定されるものではない。
【００１８】
メモリ２１にはコントローラ１４によって実行される制御内容（ＨＭＤ１０の制御プログラム及び音声信号を映像信号と同期した状態で記録する制御プログラム）が記憶されている。
【００１９】
上記第１実施形態の映像表示装置によれば、ユーザがスイッチ２２を操作すると、コントローラ１４がその操作を検出し、コントローラ１４はメモリ２１に格納されている制御プログラムを実行し、デコーダ１２にデコード開始指示信号を送信する。
【００２０】
また、コントローラ１４からフラッシュメモリ１３に、記録されている映像データ又は映像データ及び音声データの読み出し信号を送信し、フラッシュメモリ１３から映像データ又は映像データ及び音声データをデコーダ１２に送信させる。
【００２１】
さらに、コントローラ１４からＢＬドライバ１８に駆動信号を送信し、ＢＬドライバ１８はＢＬ１６を点灯させる。
【００２２】
デコーダ１２では、フラッシュメモリ１３から送信された映像データ又は映像データ及び音声データをデコード（復号化）する。そしてデコードされた映像データはＬＣＤドライバ１７を介してＬＣＤ１１に表示される。また、デコードされた音声データはスピーカＳＰ（Ｌ）、ＳＰ（Ｒ）で再生される。
【００２３】
ＬＣＤ１１で楽譜の映像を見ながらギターなどの楽器を演奏する場合、マイクロフォン３０を介して入力された音声データがエンコーダ２３でエンコード（符号化）されてフラッシュメモリ１３に記録される。エンコード開始はユーザがスイッチ２２を操作することでなされ、ユーザがスイッチ２２を操作するとコントローラ１４がその操作を検出し、エンコーダ２３へエンコード開始指示が送信される。その際、デコーダ１２で再生している映像（動画）データの再生位置を併せて記録する。これにより、マイクロフォン３０から入力された音声データが、再生データ（映像データ）と同期が取れた状態でフラッシュメモリ１３に記録される。すなわち、楽譜のどの部分を演奏しているかが分かる態様で音声データが記録されることになり、後で楽譜通りに正しく楽器を演奏できたかを確認することが出来る。
【００２４】
本第１実施形態では、音声データの記録に際し、デコーダ１２で再生している映像（動画）データの再生位置を併せて記録するという極めて簡単な方法で済み、音声データを映像（動画）データと同期状態で記録するのに特別な方法、装置が不要で、手間、コストがかからない。
【００２５】
なお、本第１実施形態では、エンコーダ２３、デコーダ１２、フラッシュメモリ１３をＨＭＤ１０に内蔵しているが、ケーブルや無線で接続された外部機器に配置しても良い。
【００２６】
また本第１実施形態ではマイクロフォン３０から音声信号を入力しているが、楽器などの外部機器と接続しても良い。楽器とデジタル接続されている場合は、エンコーダ２３を経由せずに、直接フラッシュメモリ１３に書き込んでも良い。
【実施例２】
【００２７】
図３は本発明の映像表示装置の第２実施形態を示している。
【００２８】
この第２実施形態の映像表示装置は、図１、図２に示す第１実施形態のＨＭＤ１０に信号入力部（撮影部）としてのカメラ３５を搭載して構成される。
【００２９】
図３中、図１、図２と同一構成部分には同一符号を付してその詳細な説明を省略する。
【００３０】
カメラ３５は、ＨＭＤ１０のＬＣＤ１１が配置された箇所に搭載されており、ユーザの視界とほぼ同一の視界で録画することが出来る構成となっている。
【００３１】
また、カメラ３５は、エンコーダ２３に接続されていて、カメラ３５から出力された撮像信号（撮像データ）がエンコーダ２３でエンコード（符号化）されてフラッシュメモリ１３に記録されるようになっている。コントローラ１４は、音声信号の他に撮像信号をフラッシュメモリ１３にＬＣＤ１１で再生される映像信号と同期した状態で記録するように制御を行う。
【００３２】
映像（動画）データとカメラ３５で撮影した撮像データはフラッシュメモリ１３内の別ファイルにそれぞれ記録されているが、撮像データを記録する際に、再生される映像信号と同期した状態で記録、例えば撮像データに再生される映像信号の再生位置が併せて記録されることから、両データは互いに時間的にマッチングがとれた状態になっている。
【００３３】
なお、本第２実施形態では、撮像データを記録する際、再生される映像信号と同期した状態で記録するのに、映像信号の再生位置を併せて記録することにより撮像データと映像信号とを同期させているが、これに限定されるものではない。
【００３４】
ユーザがスイッチ２２を操作すると、コントローラ１４がその操作を検出し、カメラ３５で撮像した映像をエンコーダ２３でエンコード（符号化）して録画（フラッシュメモリ１３での記録）を開始する。その際、デコーダ１２で再生している動画（映像）データの再生位置を併せて記録することで、カメラ３５で撮像した撮像データは再生データと同期した状態でフラッシュメモリ１３に記録されることになる。すなわち、動画のどの部分が再生されているとき（どの映像を見ていたとき）、撮像データが記録されているかが分かる。
【００３５】
例えば、ＬＣＤ１１で楽譜の映像を見ながらピアノを演奏するとき、鍵盤上での指の動きをカメラ３５で撮影することによって、楽譜の演奏箇所と同演奏箇所での演奏時の指の動きとを確認することが出来る。このときマイクロフォン３０からピアノの音も併せて再生データの位置と同期した状態で記録することにより、楽譜の演奏箇所、同演奏箇所での指の動き、及び同演奏箇所で奏でられる音とを確認することが出来る。
【００３６】
本第２実施形態では、撮像データの記録に際し、デコーダ１２で再生している映像（動画）データの再生位置を併せて記録するという極めて簡単な方法で済み、撮像データを映像（動画）データと同期状態で記録するのに特別な方法、装置が不要で、手間、コストがかからない。
【実施例３】
【００３７】
図４は本発明の映像表示装置の第３実施形態を示している。
【００３８】
この第３実施形態の映像表示装置は、図３に示す第２実施形態の映像表示装置に第２映像表示部としての外部モニタ４０とこの外部モニタ４０で表示する映像を再生する第２映像再生部としてのハードディスク（以下ＨＤＤと記す）プレイヤ４２とを追加して構成される。
【００３９】
図４中、図１、図２、図３と同一構成部分には同一符号を付してその詳細な説明を省略する。
【００４０】
外部モニタ４０は例えば液晶モニタからなる。また、ＨＤＤプレーヤ４２は、映像データを記録したＨＤＤ４３と、このＨＤＤ４３に記録された映像データを再生させる第２の映像再生部としてのデコーダ４４と、メモリ４５及びこれらを制御するコントローラ４６とを備える。
【００４１】
コントローラ４６は、ケーブル４７を介してＨＭＤ１０のコントローラ１４と接続されていて、ＨＭＤ１０のスイッチ２２からの入力でＨＤＤプレーヤ４２の再生・停止などの制御が可能となっている。すなわち、コントローラ４６は、ＨＭＤ１０のスイッチ２２からケーブル４７を介して入力される操作信号を受信したとき、ＨＤＤ４３とデコーダ４４とを制御して、ＨＤＤ４３に記録されている各種映像データをデコーダ４４でデコード（復号化）して外部モニタ４０で再生させるか、あるいは再生を停止させる。
【００４２】
また、コントローラ４６は、ＨＤＤプレーヤ４２の再生時にＨＭＤ１０のコントローラ１４に再生映像の再生位置・時間（タイムスタンプ）を送信する。コントローラ１４は、このタイムスタンプを受信したとき、これをフラッシュメモリ１３に記録させる。
【００４３】
ＨＤＤプレーヤ４２で映像を再生中にマイクロフォン３０からの音声データやカメラ３５からの撮像データを記録する際には、再生映像データのタイムスタンプがコントローラ４６からコントローラ１４に送信されるので、このタイムスタンプがこれら音声データや撮像データに併せて記録されることになる。換言すると、音声データや撮像データを記録する際、これら音声データや撮像データはＨＤＤプレーヤ４２で再生される映像データと同期した状態で記録される。
【００４４】
例えば、ＨＭＤ１０のＬＣＤ１１で楽譜を見ながら楽器を演奏し、その音声データを、マイクロフォン３０を介して入力記録しつつ、ＨＤＤプレーヤ４２（外部モニタ４０）で予め収録した授業の映像を再生している場合、ＨＤＤプレーヤ４２のコントローラ４６からＨＭＤ１０のコントローラ１４にタイムスタンプが送信されて音声データに併せて記録される。
【００４５】
このため、楽譜のどの箇所を演奏しているとき、外部モニタ４０中の再生映像で先生が何を喋っていたかが分かるようになる。
【００４６】
本第３実施形態では、ＨＭＤ１０はユーザの左目側にＬＣＤ１１が配置された単眼形式であるため、ＨＭＤ１０の映像と外部モニタ４０の映像とを同時に観察することが出来るが、ＨＭＤ１０をシースルータイプとして、両眼で観測するようにしても同様の効果が得られる。
【００４７】
本第３実施形態では、ＨＭＤ１０のコントローラ１４は、ＨＤＤプレーヤ４２のコントローラ４６からケーブル４７を介してタイムスタンプを取得しているが、ケーブル４７に代えて無線でタイムスタンプを取得してもよいし、また外部モニタ４０の再生映像中にタイムスタンプを表示し、ＨＭＤ１０ではそれをカメラ３５で撮影して取得してもよい。その場合ＨＤＤプレーヤ４２には汎用品を使用することが可能となり、コストの低減を図ることが出来る。
【００４８】
上述した第１実施形態、第２実施形態、第３実施形態では、ユーザの頭部に装着する、いわゆるＨＭＤ１０を用いた場合を示したが、顔前部に装着するタイプの映像表示装置であってもよい。
【産業上の利用可能性】
【００４９】
ＨＭＤ１０のＬＣＤ１１を見ながら楽器を演奏してその音声を記録する場合や、ＨＭＤ１０のＬＣＤ１１を見ながらカメラ３５で撮影した映像を記録する場合に有効である。
【符号の説明】
【００５０】
１０      ＨＭＤ
１１      ＬＣＤ（第１の映像表示部）
１２      デコーダ（第１の映像再生部）
１３      フラッシュメモリ（音声信号記録部  映像信号記録部）
１４      コントローラ
３０      マイクロフォン（音声信号入力部）
３５      カメラ（撮像部）
４０      外部モニタ（第２の映像表示部）
４２      ＨＤＤプレーヤ（第２の映像再生部）
【図１】
2011015361.tif 000003
【図２】
2011015361.tif 000004
【図３】
2011015361.tif 000005
【図４】
2011015361.tif 000006