(57)【要約】【課題】撮影装置の撮影操作を阻害することなく、安全な使用状態を使用者に提供可能なヘッドマウントディスプレイの出力画像制御方法を提供すること。【解決手段】撮影画像を出力可能な撮像装置（１０）と、前記撮像装置（１０）を正対させた状態からの傾きを検出する第一の傾き検出部（１４）と、前記撮像装置（１０）からの出力画像および周囲を確認できる画像を表示可能であり、ユーザーの頭部に装着されてユーザーの眼前に画像を表示可能な画像表示手段（１００）と、前記画像表示手段（１００）を前記撮像装置（１０）と同方向に向けて正対させた状態からの傾きを検出する第二の傾き検出部（１０４）と、を備え、前記第一の傾き検出部（１４）と前記第二の傾き検出部（１０４）により検出された角度の相対値が閾値を超えた場合に前記画像表示手段（１００）に周囲を確認できる画像を表示する制御を行うことを特徴とする。【選択図】図５
2020048134.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して画像を取得する撮像手段と、
前記撮像手段を正対させた状態からの傾きを検出する第一の傾き検出手段と、
前記撮像手段から取得した画像および該撮像手段の周辺に関する情報を表示可能であって、ユーザーの眼前に画像を表示可能に装着される表示手段と、
前記表示手段を前記撮像手段と同方向に向けて正対させた状態からの傾きを検出する第二の傾き検出手段と、
前記第一の傾き検出手段と前記第二の傾き検出手段により検出された角度の相対値が閾値を超えた場合に、前記表示手段に前記周辺に関する情報を表示する制御を行う第一の表示制御手段と、
を有することを特徴とする表示装置。
【請求項２】
第二の表示手段を有し、
前記第一の傾き検出手段と前記第二の傾き検出手段により検出された角度の相対値を比較する事で前記第二の表示手段の出力画像の制御を行う第二の表示制御手段と、
をさらに有することを特徴とする請求項１に記載の表示装置。
【請求項３】
前記第一の制御手段および前記第二の制御手段は、前記第一の傾き検出手段と前記第二の傾き検出手段により検出された角度の相対値を二段階の閾値で比較することを特徴とする請求項１又は２に記載の表示装置。
【請求項４】
前記第一の制御手段および前記第二の制御手段は、前記第一の傾き検出手段と前記第二の傾き検出手段により検出されたピッチ方向の角度の相対値で比較を行うことを特徴とする請求項１乃至３のいずれか１項に記載の表示装置。
【請求項５】
前記第一の制御手段および前記第二の制御手段は、前記第一の傾き検出手段と前記第二の傾き検出手段により検出されたヨー方向の角度の相対値で比較を行うことを特徴とする請求項１乃至４のいずれか１項に記載の表示装置。
【請求項６】
前記第一の制御手段および前記第二の制御手段は、前記第一の傾き検出手段により検出したロール方向の角度の絶対値が閾値を超えた際に、比較に用いる前記第一の傾き検出手段のピッチ方向の検出角度とヨー方向の検出角度を入れ替えることを特徴とする請求項１乃至５のいずれか１項に記載の表示装置。
【請求項７】
前記第一の表示手段は、前記撮像手段にレンズユニットが装着されていない場合、前記表示手段に前記周辺に関する情報を表示する制御を行うことを特徴とする請求項１乃至６のいずれか１項に記載の表示装置。
【請求項８】
前記表示手段は、非透過型のヘッドマウントディスプレイであることを特徴とする請求項１乃至７のいずれか１項に記載の表示装置。
【請求項９】
前記撮像手段から取得した画像および該撮像手段の周辺に関する情報を表示可能であって、ユーザーの眼前に画像を表示可能に装着される表示手段を有する表示装置の制御方法であって、
被写体を撮像して画像を取得するステップと、
前記撮像手段を正対させた状態からの傾きを検出するステップと、
前記表示手段を前記撮像手段と同方向に向けて正対させた状態からの傾きを検出するステップと、
前記第一の傾き検出手段と前記第二の傾き検出手段により検出された角度の相対値が閾値を超えた場合に、前記表示手段に前記周辺に関する情報を表示するステップと、
を有することを特徴とする表示装置の制御方法。
【請求項１０】
前記表示装置は、非透過型のヘッドマウントディスプレイであることを特徴とする請求項９に記載の表示装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の外部表示装置として画像を表示可能なヘッドマウントディスプレイ（以下、ＨＭＤ）に関し、特にＨＭＤの出力画像の制御方法に関する。
【背景技術】
【０００２】
従来、撮像装置とＨＭＤを連動させ、撮像装置の出力画像をＨＭＤに表示し確認する技術が知られている。ＨＭＤはいわゆる画像合成技術の表示媒体として認知される事が多いが、近年ではその解像度の増加、視野角の増加、両面視できる表示方法を受けてゲームやエンターテイメントの範囲に留まらず応用利用が期待されている。ＨＭＤにはディスプレイが外光を透過せず没入状態で出力画像のみを確認可能な没入型ＨＭＤと、ディスプレイが外光を透過し出力画像をユーザーの視界に重畳して確認可能な透過型ＨＭＤが存在する。
【０００３】
これらのＨＭＤにおいては安全面や使い易さの観点から画像の重畳の有無や出力画像の切り替えといった出力画像の制御が重要となる。特に没入型ＨＭＤでは周辺情景が見えなくなるため、安全面に配慮して別途周辺情景撮影用撮像装置を配置し、出力する画像を変更（切り替えまたは重畳）する事によって周辺情景を確認可能なＨＭＤも存在している。
【０００４】
特許文献１には、周辺情景撮影用撮像装置を配置すると共に使用者（ドライバー）の頭部の動き、もしくは視線の動きのいずれかによって、周辺情景画像および追加画像情報の表示形態、表示位置を変化可能なＨＭＤが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２０６７８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献に開示された従来技術では、撮像装置の撮影方向をＨＭＤの動きに連動して制御できない状態においては適切な表示変化が行えない可能性がある。具体的には手持ち状態の撮像装置の画像をＨＭＤに出力して確認しているような状態においては撮像装置の撮影方向とＨＭＤ装着時の視覚方向が一致しない場合があり、意図しないタイミングに、意図しない出力画像の制御を行ってしまう可能性がある。このような場合には安全面や使い易さの点で不都合が生じてしまう。
【０００７】
そこで、本発明の目的は、撮影装置の撮影操作を阻害することなく、安全な使用状態を使用者に提供可能なヘッドマウントディスプレイの出力画像制御方法を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る表示装置は、
撮影画像を出力可能な撮像装置と、前記撮像装置を正対させた状態からの傾きを検出する第一の傾き検出部と、前記撮像装置からの出力画像および周囲を確認できる画像を表示可能であり、ユーザーの頭部に装着されてユーザーの眼前に画像を表示可能な画像表示手段と、前記画像表示手段を前記撮像装置と同方向に向けて正対させた状態からの傾きを検出する第二の傾き検出部と、を備え、前記第一の傾き検出部と前記第二の傾き検出部により検出された角度の相対値が閾値を超えた場合に前記画像表示手段に周囲を確認できる画像を表示する制御を行うことを特徴とする。
【発明の効果】
【０００９】
本発明に係る表示装置によれば、撮影装置の撮影操作を阻害することなく、安全な使用状態を使用者に提供可能なヘッドマウントディスプレイの出力画像制御方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態の一例である撮像装置及びＨＭＤの概観図である。
【図２】本発明の実施形態の一例である撮像装置及びＨＭＤの回転軸を示す概観図である。
【図３】本発明の実施形態における制御システムの構成を示すブロック図である。
【図４Ａ】本発明の実施形態における典型的な使用姿勢を示した図（その１）である。
【図４Ｂ】本発明の実施形態における典型的な使用姿勢を示した図（その２）である。
【図５】本発明の実施形態における制御方法を示したフローチャートである。
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。本制御システムは、一例として撮像装置１０とＨＭＤ（ヘッドマウントディスプレイ）１００から構成される。ＨＭＤ１００は、本発明の画像表示手段の一例に相当する。図１は、ＨＭＤ１００を装着し、撮像装置１０を構えた状態を正面から見た外観図である。撮像装置１０は、本実施形態では一例として、撮像装置本体１に対してレンズユニット２を着脱可能な一眼カメラである。ＨＭＤ１００は、ユーザーの頭部に装着され、内部に備えた表示部１０２により、眼前に画像を表示可能である。
【００１２】
表示部１０２は透過型ディスプレイの場合と没入型（非透過型）ディスプレイの場合がある。透過型ディスプレイは、ユーザーの視界に画像を重畳して表示する。没入型ディスプレイはユーザーの視界を十分に遮断した没入環境において画像を表示する。本実施形態では表示部１０２は没入型ディスプレイであり、ＨＭＤ前面に別途設けた周辺情景撮影用撮像装置１０１の画像を表示する事で透過型ディスプレイのように周辺情景の確認を行う事が可能である。
【００１３】
図２は、ＨＭＤ１００および撮像装置１０の傾き方向の軸を示す図である。ＨＭＤ１００および撮像装置１０は、それぞれピッチ軸、ロール軸、ヨー軸の３軸を中心に傾かせる事が可能である。ＨＭＤ１００は、図２のように直立して正対した状態を基準の０度としてそれぞれの軸を中心に傾かせた際の角度をそれぞれピッチ角、ロール角、ヨ―角とする。
【００１４】
撮像装置１０は撮影方向を視界正面に合せて水平面に置かれた状態を基準の０度として、それぞれの軸を中心に傾けた際の角度をそれぞれピッチ角、ロール角、ヨ―角とする。図２は、わずかにピッチ方向及びヨ―方向に傾けた状態で構えられている状態である。
【００１５】
図３は、本実施形態における制御システムの構成を示すブロック図である。
【００１６】
撮像装置１０は、撮像装置１０全体を制御するシステム制御部１３を備える。システム制御部１３は、画像処理部４、記録媒体５、操作部６、傾き検知センサ１４、背面ディスプレイ１２、メモリ１５、通信部１６と接続され、各部の挙動を制御する。撮像素子３は、レンズユニット２を介して入射した被写体像を光電変換するものであり、ＣＣＤやＣＭＯＳ素子等によって構成される。レンズユニット２は着脱可能であり、不図示のレンズ通信接点を介してレンズ情報をシステム制御部１３と通信可能である。
【００１７】
画像処理部４は、デジタル化された画像データに対してガンマ／ニー処理、フィルタ処理、モニタ表示用の情報合成処理等、ハードウエアによる画像処理全般を実行する。また、画像処理部４は、ＪＰＥＧ等の画像データ圧縮処理を行うこともできる。
【００１８】
記録媒体５は、本体に着脱可能なフラッシュメモリ等が用いられ、撮影画像データや撮影情報等を記録する。
【００１９】
操作部６は、撮影スイッチ等の各操作部材やタッチパネル部を含み、ユーザーの各種操作をシステム制御部１３に伝える。
【００２０】
傾き検出部としての傾き検知センサ１４は、図２に示した各軸における撮像装置１０の傾き変化を検出する。傾き検知センサ１４は、加速度センサ、ジャイロセンサなど、撮像装置１０の傾き変化を検出できるデバイスであれば、種類、数量は問わない。
【００２１】
背面ディスプレイ１２は、例えば３．０インチ程度のＴＦＴ液晶パネルなどから構成されており、撮像装置１０の設定の表示や撮影画像の表示に使用される。
【００２２】
メモリ１５は、撮像装置本体１に設けられ、制御プログラムなどが記憶されている。システム制御部１３は、メモリ１５に記憶された制御プログラムに従って所定の処理を実行する。
【００２３】
通信部１６は、システム制御部１３の制御に従ってＨＭＤ１００の通信部１０６と相互にデータのやり取りを行う有線または無線通信回路であり、本実施例では無線通信回路である。
【００２４】
ＨＭＤ１００は、ＨＭＤ１００全体を制御するシステム制御部１０３を備える。システム制御部１０３は、周辺情景撮影用撮像装置１０１、傾き検知センサ１０４、表示部１０２、メモリ１０５、通信部１０６と接続され、各部の挙動を制御する。
【００２５】
傾き検出部としての傾き検知センサ１０４は、図２に示した各軸におけるＨＭＤ１００の傾き変化を検出する。傾き検知センサ１０４は、加速度センサ、ジャイロセンサなど、ＨＭＤ１００の傾き変化を検出できるデバイスであれば、種類、数量は問わない。
【００２６】
メモリ１０５は、ＨＭＤ１００に設けられ、制御プログラムなどが記憶されている。システム制御部１０３は、メモリ１０５に記憶された制御プログラムに従って所定の処理を実行する。
【００２７】
通信部１０６は、システム制御部１０３の制御に従って撮像装置１０の通信部１６と相互にデータのやり取りを行う有線または無線通信回路であり、本実施例では無線通信回路である。
【００２８】
表示部１０２は、前述の通りＨＭＤ１００内部に設けられ、ユーザーの眼前に画像を表示する。ＨＭＤ１００のシステム制御部１０３は、通信部１０６のデータを受けて、表示部１０２への出力画像を決定し表示制御を行う。
【００２９】
図４Ａと図４Ｂは、本実施例における撮像装置１０及びＨＭＤ１００を用いた典型的な使用姿勢の例である。図４Ａの（ａ）は、撮像装置１０を視線方向に正位置で構えた状態であり、撮像装置１０を単独で用いて背面ディスプレイ１２を確認しながら撮影する姿勢にほぼ等しい使用姿勢である。本実施例ではこの撮影姿勢を「基本撮影姿勢」と呼称する。この時の撮像装置１０とＨＭＤ１００のピッチ角、ロール角、ヨ―角の相対値はいずれもほぼ０度である。この基本撮影姿勢においては、撮像装置１０の撮影画像をＨＭＤ１００の表示部１０２に表示する事で集中した環境での撮影作業が可能となる。また、この時、省エネルギーの観点から撮像装置１０の背面ディスプレイ１２は非表示となっている事が好ましい。
【００３０】
図４Ａの（ｂ）は、図４Ａの（ａ）の基本撮影姿勢から撮像装置１０を構えた腕を少し下げ、撮像装置１０をピッチ方向に傾けた姿勢である。この姿勢は、撮像装置１０の設定を背面ディスプレイ１２等で確認する際によく用いられる姿勢であり、この時の撮像装置１０とＨＭＤ１００のピッチ角の相対値は例えば４０度程度となる。本実施例ではこの撮影姿勢を「設定確認姿勢」と呼称し、この時のピッチ角の相対値を「第１の閾値」と呼称する。
【００３１】
この設定確認姿勢においては、ＨＭＤ１００の表示部１０２に周辺情景撮影用撮像装置１０１の画像を表示する事で撮像装置１０の設定を背面ディスプレイ１２等で容易に確認可能となる。よって、撮像装置１０の背面ディスプレイ１２には撮像装置１０の設定が確認可能な画面が表示されている事が好ましい。
【００３２】
図４Ｂの（ｃ）は、図４Ａの（ｂ）の設定確認姿勢から更に撮像装置１０を構えた腕を下げ、撮像装置１０をピッチ方向に傾けた姿勢である。この姿勢は、主に周辺情景の確認や移動時の姿勢であり、撮影意志や撮像装置の設定意志が無い状態である。
【００３３】
この状態における撮像装置１０とＨＭＤ１００のピッチ角の相対値は図４の（ｂ）の設定確認姿勢より大きく９０度に近い値となる。本実施例ではこの撮影姿勢を「周辺情景確認姿勢」と呼称し、この時のピッチ角の相対値を「第２の閾値」と呼称する。
【００３４】
この周辺情景確認姿勢においては、ＨＭＤ１００の表示部１０２に周辺情景撮影用撮像装置１０１の画像を表示する事で周辺情景の確認や撮影場所の移動を安全に行う事が可能となる。また、この時、省エネルギーの観点から撮像装置１０の背面ディスプレイ１２は非表示となっている事が好ましい。
【００３５】
図４Ｂの（ｄ）は、図４Ａの（ａ）の基本撮影姿勢から撮像装置１０を右手が上に来るまでロール方向に９０度程度傾けて構えた状態であり、縦長のアスペクト比での撮影を行う際の姿勢である。
【００３６】
本実施例ではこの撮影姿勢を「縦位置撮影姿勢」と呼称する。図４Ｂの（ｄ）では右手を上に構えた状態を例に挙げているが、左手を同等に上に構えた姿勢も「縦位置撮影姿勢」と総称する。縦位置撮影姿勢における撮像装置１０とＨＭＤ１００のロール角の相対値は約９０度である。また、縦位置撮影姿勢における撮像装置１０とＨＭＤ１００のピッチ角の相対値はほぼ０度である。
【００３７】
この縦位置撮影姿勢においては、撮像装置１０の撮影画像をＨＭＤ１００の表示部１０２に表示する事で集中した環境での撮影作業が可能となる。また、この時、省エネルギーの観点から撮像装置１０の背面ディスプレイ１２は非表示となっている事が好ましい。
【００３８】
縦位置撮影姿勢における撮像装置１０のヨ―軸は、基本撮影姿勢のピッチ軸とほぼ一致し、縦位置撮影姿勢における撮像装置１０のピッチ軸は、基本撮影姿勢のヨー軸とほぼ一致する。よって、縦位置状態での設定確認姿勢や周辺情景確認姿勢は、撮像装置１０のヨ―軸をピッチ軸と入れ替えて考える事によって図４Ａの（ｂ）、図４Ｂの（ｃ）と同様に判断する事が可能である。
【００３９】
次に図５のフローチャートを用いて、本実施例における画像表示制御方法に関してより詳細に説明する。
【００４０】
まずステップＳ１〜Ｓ３において撮影装置１０の状態確認を行う。
【００４１】
ステップＳ１では撮像装置１０の電源が入っているかの確認を行う。電源ＯＮの場合はステップＳ２に移行し、電源ＯＦＦの場合、ステップＳ１６に移行し、ＨＭＤ１００に周辺情景撮影用撮像装置１０１の画像を表示する。
【００４２】
ステップＳ２では撮像装置本体１にレンズユニット２が装着されているかの確認を行う。レンズユニット２が装着されていればステップＳ３に移行し、レンズユニット２が装着されていなければステップＳ１６に移行し、ＨＭＤ１００に周辺情景撮影用撮像装置１０１の画像を表示する。
【００４３】
撮像装置の電源がＯＦＦの状態やレンズユニット２が装着されていない状態は撮影装置１０の撮影準備が整っていない状態であるので、上記のように周辺情景を確認できる状態に制御する事で、撮影準備が容易に行えるようになる。
【００４４】
ステップＳ３では撮像装置１０の傾き検知センサ１４によって撮像装置１０のロール角を確認し、縦位置撮影状態か否かを判断する。本実施例ではロール角の絶対値が８０〜１１０度となった場合を縦位置撮影状態であると判断する。縦位置撮影状態だった場合は、ステップＳ４に移行し、縦位置撮影状態でなかった場合は、ステップＳ５に移行する。
【００４５】
上述の通り縦位置撮影姿勢における撮像装置１０のヨ―軸は、基本撮影姿勢のピッチ軸とほぼ一致するので、ステップＳ４では撮像装置１０の傾き検知センサ１４によって得られるピッチ角とヨー角を入れ替える制御を行い、ステップＳ５に移行する。
【００４６】
次にステップＳ５〜Ｓ６では、撮影装置１０とＨＭＤ１００のピッチ角の傾き相対値の確認を行う。
【００４７】
ステップＳ５ではピッチ角の傾き相対値が第１の閾値を超えているかの確認を行う。第１の閾値は、撮影意志がある状態であるかの判断閾値であり、この値を小さく設定し過ぎてしまうと基本撮影姿勢と少しでも姿勢が異なると撮影が行えなくなってしまう事になる。本実施例ではある程度自由度の高い姿勢での撮影も可能とするために一例として４０度に設定する。
【００４８】
ピッチ角の傾き相対値が第１の閾値を超えている場合、ステップＳ６に移行する。ピッチ角の傾き相対値が第１の閾値を越えていない場合、ステップＳ１３に移行し、基本撮影姿勢であると判断する。基本撮影姿勢と判断された場合、ステップ１４にてＨＭＤ１００に撮像装置１０の画像を表示する制御を行い、ステップ１５にて撮像装置１０の背面ディスプレイ１２の画像を非表示状態に制御する。
【００４９】
ステップＳ６ではピッチ角の傾き相対値が第２の閾値を超えているかの確認を行う。第２の閾値は、撮像装置１０の設定確認や変更の意志がある状態であるかの判断閾値であり、本実施例では一例として８０度と設定する。
【００５０】
ピッチ角の傾き相対値が第２の閾値を超えている場合、ステップＳ７に移行し、周辺情景確認姿勢と判断する。周辺情景確認姿勢と判断された場合、ステップ８にてＨＭＤ１００に周辺情景撮影用撮像装置１０１の画像を表示する制御を行い、ステップ９にて撮像装置１０の背面ディスプレイ１２の画像を非表示状態に制御する。
【００５１】
ピッチ角の傾き相対値が第２の閾値を越えていない場合、ステップＳ１０に移行し、設定確認姿勢と判断する。設定確認姿勢と判断された場合、ステップ１１にてＨＭＤ１００に周辺情景撮影用撮像装置１０１の画像を表示する制御を行い、ステップ１２にて撮像装置１０の背面ディスプレイ１２に撮像装置１０の設定が確認可能な画面を表示するように制御する。
【００５２】
本実施例における画像表示制御方法では撮像装置１０とＨＭＤ１００のヨ―角の相対値は不問としたが、ヨ―角の相対値を画像表示制御に利用する事も可能である。ただし、ヨー方向への傾きは撮像装置１０の設定確認との因果関係が薄い為、より自由な姿勢での撮影を許容するために、例えば９０度程度の大きな閾値設定で周辺情景確認姿勢の判断にのみ利用する事が好ましい。
【００５３】
また、本実施例ではピッチ角の傾き相対値に二段階の閾値を用いて、より状況に応じた細かな表示制御を可能としたが、仮に自由な姿勢での撮影のみを優先したい場合は、閾値を一段階とする事も可能である。
【００５４】
例えばステップＳ５に用いるピッチ角相対値の第１の閾値をステップＳ６に用いる第２の閾値より大きく設定すれば、結果として設定確認姿勢という中間姿勢の判定が起こらないようになり、閾値を一段階とした制御を行う事が可能である。
【００５５】
以上のように画像表示制御を行う事によって、撮影意志があると判断される際の撮影操作は阻害されることなく、かつ撮影準備中、設定確認中、移動中等には周囲を確認できる状態において安全にそれぞれの作業が可能となる。
【００５６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の技術思想の範囲内において、適宜、変形、改良されて適応するべきものである。例えば、上述した実施形態で、撮像装置として説明したデジタルカメラは、スチルカメラやビデオカメラに適用することができる。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。
【符号の説明】
【００５７】
２  レンズユニット、３  撮像素子、４  画像処理部、５  記録媒体、６  操作部、
１０  撮像装置、１２背面ディスプレイ、１３  ：システム制御部、
１４  傾き検知手段（傾き検知センサ）、１５  メモリ、１６  通信部、
１００  画像表示手段（ヘッドマウントディスプレイ）、
１０１  周辺情景撮影用撮像装置、１０２  表示部、
１０４  傾き検知手段（傾き検知センサ）、
１０５  メモリ、１０６  通信部
【図１】
2020048134.tif 000003
【図２】
2020048134.tif 000004
【図３】
2020048134.tif 000005
【図４Ａ】
2020048134.tif 000006
【図４Ｂ】
2020048134.tif 000007
【図５】
2020048134.tif 000008