(57)【要約】【課題】装置が大型化することなく、且つ、ユーザーに動画酔いをさせないようにすることができる画像処理装置、撮像装置、頭部装着型情報入出力装置、及び画像処理プログラムを提供する。【解決手段】画像処理装置は、第１画像及び第２画像を含む画像列におけるブレ量を画像毎に検出する検出部としての処理部１２３と、第１画像に所定閾値以上のブレ量が検出された場合、前記所定閾値以上のブレ量が検出されない第２画像を選択する画像処理部としての処理部１２３と、を備える。【選択図】図８
2014017775.tif 000002
【特許請求の範囲】
【請求項１】
第１画像及び第２画像を含む画像列におけるブレ量を画像毎に検出する検出部と、
前記第１画像に所定閾値以上のブレ量が検出された場合、前記所定閾値以上のブレ量が検出されない前記第２画像を選択する画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記検出部は、第３画像を含む前記画像列におけるブレ量を画像毎に検出し、
前記画像処理部は、前記第２画像を選択中に、前記第３画像のブレ量が前記所定閾値未満となった場合、前記第３画像を選択することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、前記第２画像及び前記第３画像の少なくとも一方に基づいて、第４画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像処理部は、前記第２画像から前記第３画像に徐々に変化させた画像として、前記第４画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画像処理部は、スライドアウト処理を前記第２画像に施し、スライドイン処理を前記第３画像に施すことにより、前記第４画像を生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記第２画像及び前記第３画像のうち少なくとも一方を送信する第１送信部
を備えることを特徴とする請求項２から請求項５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第４画像を送信する第２送信部
を備えることを特徴とする請求項３から請求項６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第２画像及び前記第３画像のうち少なくとも一方を表示する第１表示部
を備えることを特徴とする請求項２から請求項５のいずれか一項に記載の画像処理装置。
【請求項９】
前記第４画像を表示する第２表示部
を備えることを特徴とする請求項３から請求項６のいずれか一項に記載の画像処理装置。
【請求項１０】
撮像する撮像部と、
請求項１から請求項９のいずれか一項に記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【請求項１１】
撮像する撮像部と、
請求項１から請求項９のいずれか一項に記載の画像処理装置と、
を有する撮像装置と、
該撮像装置を支持するヘッドバンドと、
を備えることを特徴とする頭部装着型情報入出力装置。
【請求項１２】
コンピュータに、
第１画像及び第２画像を含む画像列におけるブレ量を画像毎に検出する手順と、
前記第１画像に所定閾値以上のブレ量が検出された場合、前記所定閾値以上のブレ量が検出されない前記第２画像を選択する手順と、
を実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、頭部装着型情報入出力装置、及び画像処理プログラムに関する。
【背景技術】
【０００２】
動画を撮像しながら急激なパン動作が行われた場合、その撮像された動画を観察したユーザーには、いわゆる「動画酔い」の症状が発生することがある。このような動画酔いを防止するため、手振れによるブレを補正して動画を再生表示する撮像装置が、特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−３１９５４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、撮像装置は、ユーザーに動画酔いをさせないためには、複雑な画像処理により動画のブレを補正する画像処理装置を備える必要があり、これにより装置が大型化してしまうという問題がある。
【０００５】
本発明は、前記の点に鑑みてなされたものであり、装置が大型化することなく、且つ、ユーザーに動画酔いをさせないようにすることができる画像処理装置、撮像装置、頭部装着型情報入出力装置、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたものであり、第１画像及び第２画像を含む画像列におけるブレ量を画像毎に検出する検出部と、前記第１画像に所定閾値以上のブレ量が検出された場合、前記所定閾値以上のブレ量が検出されない前記第２画像を選択する画像処理部と、を備えることを特徴とする画像処理装置である。
【０００７】
また、本発明は、撮像する撮像部と、画像処理装置と、を備えることを特徴とする撮像装置である。
【０００８】
また、本発明は、撮像する撮像部と、画像処理装置と、を有する撮像装置と、該撮像装置を支持するヘッドバンドと、を備えることを特徴とする頭部装着型情報入出力装置である。
【０００９】
また、本発明は、コンピュータに、第１画像及び第２画像を含む画像列におけるブレ量を画像毎に検出する手順と、前記第１画像に所定閾値以上のブレ量が検出された場合、前記所定閾値以上のブレ量が検出されない前記第２画像を選択する手順と、を実行させるための画像処理プログラムである。
【発明の効果】
【００１０】
本発明によれば、画像処理装置は、装置が大型化することなく、且つ、ユーザーに動画酔いをさせないようにすることができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態における、ヘッドマウントディスプレイの斜視図である。
【図２】本発明の第１実施形態における、ヘッドマウントディスプレイの背面側の斜視図である。
【図３】本発明の第１実施形態における、ヘッドマウントディスプレイの装着形態を示す図である。
【図４】本発明の第１実施形態における、ディスプレイ本体の水平断面図である。
【図５】本発明の第１実施形態における、ヘッドバンドの斜視図である。
【図６】本発明の第１実施形態における、リモコンの斜視図である。
【図７】本発明の第１実施形態における、ステレオイヤホンの斜視図である。
【図８】本発明の第１実施形態における、ヘッドマウントディスプレイの構成を示す機能ブロック図である。
【図９】本発明の第１実施形態における、ヘッドマウントディスプレイを含む通信システムの構成を示す機能ブロック図である。
【図１０】本発明の第１実施形態における、ユーザーの眼前に広がる景色の例を示す図である。
【図１１】本発明の第１実施形態における、画像処理の例を示す図である。
【図１２】本発明の第１実施形態における、送信側のヘッドマウントディスプレイの動作手順の例を示すフローチャートである。
【図１３】本発明の第２実施形態における、受信側のヘッドマウントディスプレイの動作手順の例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
［第１実施形態］
本発明の第１実施形態について図面を参照して詳細に説明する。以下の説明においては、ＸＹＺ直交座標系を必要に応じて設定し、設定したＸＹＺ直交座標系を参照しつつ、各部の位置関係について説明する。
【００１３】
以下では、水平面内の所定方向をＸ軸方向と称し、水平面内においてＸ軸方向と直交する方向をＹ軸方向と称し、Ｘ軸方向及びＹ軸方向と直交する鉛直方向をＺ軸方向と称する。また、Ｘ軸、Ｙ軸、及びＺ軸まわりの回転（傾斜）方向をそれぞれ、θＸ、θＹ、及びθＺ方向と称する。
【００１４】
図１は、ヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）（頭部装着型情報入出力装置、表示装置）の斜視図である。図１では、ディスプレイ本体２０の長手方向をＹ軸方向と称し、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向と称する。
【００１５】
まず、ヘッドマウントディスプレイ１の各部の構成について説明する。
ヘッドマウントディスプレイ１は、単眼式のヘッドマウントディスプレイであり、ユーザーの頭部に装着される。ヘッドマウントディスプレイ１は、ディスプレイ本体２０と、ヘッドバンド４０（装着部）とを備える。
【００１６】
ヘッドバンド４０は、ディスプレイ本体２０を着脱可能に支持する。
ディスプレイ本体２０は、装置本体部２１と、表示部６０とを有する。装置本体部２１は、主要回路を内蔵するとともに、操作部及び各種インタフェースを有する。
【００１７】
以下では、装置本体部２１においてヘッドバンド４０により支持される側の端部（＋Ｙ側の端部）を基端部と称し、この基端部に対して反対側の端部（−Ｙ側の端部）を先端部と称する。また、ヘッドバンド４０に装置本体部２１が支持されている状態において、装置本体部２１のヘッドバンド４０側（＋Ｘ側）を内側と称し、ヘッドバンド４０に対して反対側（−Ｘ側）を外側と称する。
【００１８】
表示部６０は、装置本体部２１の先端部に連結される。
装置本体部２１は、概略板状の筐体を有する。装置本体部２１の筐体の外面には、メインスイッチ２８と、タッチスイッチ３４と、集音マイク２４とが、装置本体部２１の長手方向に沿って配置されている。
【００１９】
メインスイッチ２８は、ディスプレイ本体２０の電源のオンオフ操作を行うスイッチである。また、タッチスイッチ３４は、ユーザーが手指等で触れることにより、ヘッドマウントディスプレイ１の各種操作を行うことができるタッチパネルである。また、集音マイク２４は、環境音を集め、収音する外部マイクである。
【００２０】
図２は、ヘッドマウントディスプレイの背面側の斜視図である。図２では、ディスプレイ本体２０の長手方向をＹ軸方向と称し、ヘッドバンド４０がユーザーの頭部を挟持する方向をＸ軸方向と称する。
【００２１】
耳元スピーカー２３は、音声を出力する。耳元スピーカー２３は、装置本体部２１の基端部の内側に設けられている。耳元スピーカー２３は、ディスプレイ本体２０がヘッドバンド４０に支持されている場合、ユーザーの耳の近傍に配置される。
オーディオコネクター２６は、音声入出力端子である。オーディオコネクター２６には、ステレオイヤホンが接続される。
【００２２】
通話マイク３７は、装置本体部２１の先端部の内側に設けられている。通話マイク３７は、ユーザーの音声を収音する。
ヘッドバンドヒンジ３２は、ヘッドバンド４０とのジョイント部である。ヘッドバンドヒンジ３２は、連結孔３１を有する。
【００２３】
心拍数センサー１３７は、発光部と、受光部とを有する。心拍数センサー１３７の発光部は、例えば、発光ダイオードである。また、心拍数センサー１３７の受光部は、ユーザーの皮膚の内部で反射された光を検知する。心拍数センサー１３７は、装置本体部２１内面の中央部に設けられ、ユーザーの顔の表面に接触することで、ユーザーの心拍数を測定する。より具体的には、心拍数センサー１３７は、ユーザーの顔の血流の変化による反射光量の変化を検出することで、そのユーザーの心拍数を測定する。
【００２４】
心拍数センサー１３７は、ディスプレイ本体２０がヘッドバンド４０に支持されている場合、ユーザーの眼の近傍に配置されることがある。この場合でも、心拍数センサー１３７は、その発光部から赤外域の光を射出させることにより、ユーザーにまぶしさを感じさせることなく、ユーザーの心拍数をカウントすることができる。
【００２５】
ＵＳＢコネクター２５は、装置本体部２１の基端部の側端面に設けられる。ＵＳＢコネクター２５は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）デバイスの接続端子である。
ビデオコネクター２７は、映像入出力端子である。ビデオコネクター２７は、装置本体部２１の基端部の側端面に設けられる。
【００２６】
操作スイッチ３０（操作部）は、例えば、トラックボール及びスティックなどのポインティングデバイスである。操作スイッチ３０は、装置本体部２１の基端部の側端面、すなわち、表示部６０の画面に正対する位置に設けられる。これにより、操作スイッチ３０を介した操作の左右方向と、表示部６０の画面の左右方向とが一致するので、ユーザーは、画面を見ながら、操作スイッチ３０を直感的に操作することができる。
【００２７】
ヘッドバンド４０は、ディスプレイ本体２０を、ユーザーの頭部に装着させることができる。また、ユーザーは、ヘッドバンド４０により装着されていないディスプレイ本体２０を、手に持った状態でも使用することができる。つまり、ユーザーは、ディスプレイ本体２０をヘッドバンド４０から必要に応じて外すことで、ディスプレイ本体２０を、小型軽量な状態で可搬することができる。
【００２８】
ヘッドバンド４０は、ヘッドパット（装着部材）４６と、ヘッドパット（装着部材）４７と、第１ヘッドバンド４３と、第２ヘッドバンド４４と、回動機構５６と、回動機構５７と、連結ピン４１とを有する。ヘッドバンド４０は、ユーザーの頭部を挟持することができる。
【００２９】
第１ヘッドバンド４３は、全体として円弧状を成す弾性部材である。第１ヘッドバンド４３の頂部には、第１ヘッドバンド４３を折り曲げるためのジョイント部４３ａが設けられている。
また、第１ヘッドバンド４３の一端には、回動機構５６を構成する軸受部４３ｂが設けられている。また、第１ヘッドバンド４３の他端には、回動機構５７を構成する軸受部４３ｃが設けられている。
【００３０】
軸受部４３ｂよりも更にバンド先端側には、ヘッドパット４６が接続される軸受部４３ｄが設けられている。また、軸受部４３ｃよりも更にバンド先端側には、ヘッドパット４７が接続される軸受部４３ｅが設けられている。
【００３１】
第２ヘッドバンド４４は、全体として円弧状を成す弾性部材である。第２ヘッドバンド４４の頂部には、第２ヘッドバンド４４を折り曲げるためのジョイント部４４ａが設けられている。また、第２ヘッドバンド４４の一端には、回動機構５６を構成する軸部材４４ｂが設けられている。また、第２ヘッドバンド４４の他端には、回動機構５７を構成する軸部材４４ｃが設けられている。
【００３２】
また、第２ヘッドバンド４４は、ステンレス等の金属からなるバネ部材４８の表面が、樹脂等の柔軟な材料により被覆された構成を有する。ユーザーの頭部を挟持するバネ力は、第２ヘッドバンド４４のバネ部材４８により発生する。また、第２ヘッドバンド４４は、第１ヘッドバンド４３と比較して、広い幅に形成されている。これにより、ジョイント部４４ａの形成部分は、他のバンド部分よりも更に広く形成された標章表示部４９を有している。標章表示部４９には、シール又は印刷による製品タグ等が付される。なお、第２ヘッドバンド４４の全体は、金属で形成されていてもよい。
【００３３】
ヘッドパット４６は、ヘッドバンド４０の一端に設けられている。ヘッドパット４６は、板状の支持板４６ａと、弾性部材４６ｂとを有する。弾性部材４６ｂは、支持板４６ａの一面側に設けられ、断面アーチ状で比較的硬度の高い部材である。
【００３４】
連結ピン４１は、概略六角柱状である。連結ピン４１は、第１ヘッドバンド４３の一端に設けられた軸受部４３ｄに、軸支されている。連結ピン４１は、支持板４６ａの弾性部材４６ｂに対して反対側の面に、垂直な姿勢で立設されている。これにより、連結ピン４１は、ヘッドパット４６を回転可能に支持する。
【００３５】
ヘッドパット４７は、ヘッドバンド４０の他端に設けられている。ヘッドパット４７は、板状の支持板４７ａと、弾性部材４７ｂとを有する。弾性部材４７ｂは、支持板４７ａの一面側に設けられ、断面アーチ状で比較的硬度の高い部材である。
【００３６】
回動機構５６は、第２ヘッドバンド４４を第１ヘッドバンド４３から離す方向に付勢する付勢機構である。また、回動機構５７は、第２ヘッドバンド４４の回動可能な角度範囲を規制する規制機構である。この構成により、第２ヘッドバンド４４は、回動機構５６により第１ヘッドバンド４３から離れる方向に回動付勢され、且つ、回動機構５７により第１ヘッドバンド４３に対して所定角度以内の範囲に回動規制される。これにより、第２ヘッドバンド４４は、第１ヘッドバンド４３に対して任意の角度で保持される。したがって、回動機構５６及び回動機構５７は、ヘッドバンド４０における角度保持機構として機能する。
【００３７】
図３は、ヘッドマウントディスプレイの装着形態を示す図である。ディスプレイ本体２０は、ヘッドバンド４０により、ユーザーの頭部に装着される。連結孔３１（図２を参照）に連結ピン４１（図２を参照）が挿入される際、ディスプレイ本体２０の向きが反転されても、ヘッドバンド４０がディスプレイ本体２０を支持することができるので、ヘッドマウントディスプレイ１は、ユーザーの頭部の左右どちらにディスプレイ本体２０が装着されても使用可能である。
【００３８】
図３（Ａ）には、ユーザーが右眼（右目）で表示部６０を見ている状態が示されている。一方、図３（Ｂ）には、ユーザーが左眼（左目）で表示部６０を見ている状態が示されている。ユーザーが右眼で表示部６０を見ている状態と、ユーザーが左眼で表示部６０を見ている状態とでは、ヘッドバンド４０に支持される装置本体部２１の向きは、反転されている。
【００３９】
図４は、ディスプレイ本体２０の水平断面図である。図４では、表示部６０のヘッドバンド４０側を内側と称し、ヘッドバンド４０側に対して反対側を外側と称する。図４（Ａ）には、表示部６０が収容されていない状態が示されている。一方、図４（Ｂ）には、表示部６０が収容されている状態が示されている。
【００４０】
装置本体部２１には、筐体２１Ａの長手方向に沿って延びる板状の回路基板２９と、バッテリー３３とが内蔵されている。また、回路基板２９には、制御回路（不図示）と、電源回路等（不図示）とが実装されている。また、ディスプレイ本体２０の各部は、配線（不図示）を介して電気的に接続されている。
【００４１】
タッチスイッチ３４は、装置本体部２１の外面に露出するよう配置されている。また、タッチスイッチ３４の内側には、表示パネル３６と、バックライト３５とが配置されている。表示パネル３６は、６４０×４８０画素を有する表示部である。表示パネル３６に表示される画像は、タッチスイッチ３４を透過して表示される。表示パネル３６及びバックライト３５は、例えば、液晶パネル、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル、又は電気泳動パネルである。
【００４２】
ヘッドバンドヒンジ３２は、筐体２１Ａに設けられた凹曲面状の収容部３２ａと、収容部３２ａに嵌合された球状部３２ｂとから成るボールジョイントである。球状部３２ｂは、球面状の側面部と、この側面部を挟むように互いに平行に形成された二つの平面部を有する。連結孔３１は、この二つの平面部を垂直に貫くように形成されている。また、連結孔３１は、軸方向視で六角形状（図２を参照）に形成されている。連結孔３１には、ヘッドバンド４０の連結ピン４１が挿入される。これにより、ヘッドバンド４０は、ディスプレイ本体２０を支持することができる。
【００４３】
ヘッドバンドヒンジ３２は、連結孔３１を中心とするＸ軸回り（図１では、Ａ方向）に回動可能に、ヘッドバンド４０にディスプレイ本体２０を支持させることができる。ヘッドバンド４０に支持されているディスプレイ本体２０の回動可能範囲は、例えば、２７０［度］である。ユーザーが右眼（右目）で表示部６０を見ている状態（図３（Ａ）を参照）と、ユーザーが左眼（左目）で表示部６０を見ている状態（図３（Ｂ）を参照）との切り替えは、ユーザーによる回動操作により実現される。
【００４４】
また、ヘッドバンドヒンジ３２は、ボールジョイントであるため、連結孔３１を中心とするＺ軸回り（図１では、Ｂ方向）に揺動可能である。ヘッドバンドヒンジ３２は、ディスプレイ本体２０と、ユーザーの眼及び耳との相対位置を、揺動操作によりユーザーに調整させることができる。
【００４５】
心拍数センサー１３７は、装置本体部２１の内面から突出するように設けられる。これにより、心拍数センサー１３７は、ヘッドマウントディスプレイ１が装着された際に、ユーザーの顔の表面に当接可能である。バッテリー３３は、一次電池、及び二次電池のいずれでもよい。
【００４６】
表示部６０は、装置本体部２１の先端部に連結されている。表示部６０は、上面視（Ｚ軸視）において湾曲した形状を有するアーム部材であり、装置本体部２１との連結部から先端側へ向かうに従い、内側に湾曲する形状を有する。表示部６０の内面には、ファインダー開口部６７が設けられている。また、表示部６０の外面には、カメラ６４が設けられている。
【００４７】
表示部６０は、ディスプレイヒンジ６１を介して、装置本体部２１と連結されている。ディスプレイヒンジ６１は、表示部６０の筐体６０Ａに形成された凹曲面状の収容部６１ａと、装置本体部２１に形成され収容部６１ａに嵌合された球状部６１ｂとからなるボールジョイントである。
【００４８】
ディスプレイヒンジ６１の球状部６１ｂは、装置本体部２１の外面の先端部に形成された傾斜面２１ａに設けられている。ここで、ディスプレイヒンジ６１の球状部６１ｂは、筐体２１Ａの長手方向に対して斜めに延びる傾斜面の法線方向（Ｙ’軸方向）に突出するように、設けられている。これにより、表示部６０は、ディスプレイヒンジ６１の球状部６１ｂに対してＹ’軸回りに、自由に回転可能である。
【００４９】
ディスプレイヒンジ６１の球状部６１ｂには、球状部６１ｂを高さ方向（Ｙ’軸方向）に貫通する貫通孔６１ｃが形成されている。表示部６０の内部と装置本体部２１の内部とは、貫通孔６１ｃを介して連通されている。また、貫通孔６１ｃには、ケーブル（不図示）が挿通される。回路基板２９と表示部６０の各部とは、この挿通されたケーブルを介して、電気的に接続される。
【００５０】
この構成により、表示部６０の各部は、回路基板２９の近傍に配置される。これにより、表示部の位置をＹ方向（図２を参照）に調整可能とする機構を、表示部６０に設けずに済む。また、表示部６０では、映像信号のケーブルが長く引き回されることがない。したがって、表示部６０は、映像信号にノイズが混入する可能性、及び、不要輻射が発せられる可能性を、極めて低く抑えることができる。
【００５１】
表示部６０は、バックライト６２と、表示パネル６３と、カメラ６４と、プリズム６５と、反射ミラー６６と、前方ライト６８と、前方スピーカー７０と、結像レンズ７１と、撮像素子７２とを備える。
【００５２】
プリズム６５は、上面視（Ｚ軸視）で略三角形状の第１プリズム６５ａと、上面視（Ｚ軸視）で略三角形状の第２プリズム６５ｂとが、互いの面で貼り合わされた構成を有する。表示パネル６３は、第１プリズム６５ａにおいて貼り合わされていない二面のうち、一方の面に対向する位置に設けられる。表示パネル６３は、８００×４８０画素を有する表示部である。表示パネル６３は、例えば、液晶パネルである。また、表示パネル６３の背面には、表示パネル６３を透過照明するためのバックライト６２が配置される。また、第１プリズム６５ａにおいて貼り合わされていない他方の面に対向する位置には、反射ミラー６６が配置される。ここで、反射ミラー６６は、ファインダー開口部６７のほぼ正面の位置に配置される。
【００５３】
第２プリズム６５ｂにおいて貼り合わされていない二面のうち、一方の面は、ファインダー開口部６７のファインダー接眼面となる。また、第２プリズム６５ｂにおいて貼り合わされていない他方の面に対向する位置には、結像レンズ７１及び撮像素子７２が対向配置される。
【００５４】
表示部６０において、表示パネル６３に表示された画像は、その光学像が、第１プリズム６５ａ、反射ミラー６６、及び第２プリズム６５ｂを介して、ファインダー開口部６７から射出されることで、ユーザーに観察される。
【００５５】
撮像素子７２は、ファインダー開口部６７を介して表示パネル６３を見ているユーザーの目元を、第２プリズム６５ｂ及び結像レンズ７１を介して撮像する。撮像された目元の画像は、ユーザーの視線方向、目の瞬き、及び表情を解析する際に用いられる。すなわち、撮像素子７２は、ユーザーの目元を撮像する撮像部として機能する。ここで、バックライト６２は、撮像素子７２がユーザーの目元を撮像する際に、そのユーザーの目元を照明するための照明装置としても利用される。
【００５６】
カメラ６４（撮像部）は、例えば、５００万画素〜１０００万画素の撮像素子を有し、オートフォーカス動作が可能である。また、カメラ６４の撮像方向は、ユーザーの視線方向と一致するように設定される。これにより、カメラ６４は、ヘッドマウントディスプレイ１を装着したユーザーの視線方向の映像を、撮像することができる。
【００５７】
ここで、カメラ６４の撮像方向と、ユーザーの視線方向との一致調整は、機械的に行ってもよいが、画像処理により行われてもよい。例えば、ユーザーの目元を撮像素子７２により広角撮像した画像から、ユーザーの視線方向の情報が画像処理により取得されることで、ユーザーの視線方向の映像は、カメラ６４が撮像した映像から抜き出されてもよい。これにより、表示パネル６３は、その抜き出された映像を表示することができる。つまり、ユーザーの視線方向の映像は、カメラ６４に調整機構を設けることなく、撮像及び表示されることが可能となる。
【００５８】
前方ライト６８は、例えば、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ライトである。前方ライト６８は、赤、緑、青の各色の発光素子を有し、任意の色を任意のタイミングで発光させることが可能である。例えば、前方ライト６８は、発光色及び発光タイミングにより、外部に対して情報を表示する装置として用いられる。また、例えば、前方ライト６８は、カメラ６４が撮像する際に、照明装置として用いられてもよい。
【００５９】
図５は、ヘッドバンドの斜視図である。図５には、開いた状態のヘッドバンド４０が斜視図により示されている。ここで、円弧高さｒ１は、同軸に配置された回動機構５６及び回動機構５７の回転軸Ｌの中央位置Ｃから、第１ヘッドバンド４３までの距離の最大値である。また、円弧高さｒ２は、回転軸Ｌの中央位置Ｃから、第２ヘッドバンド４４までの距離の最大値である。第１ヘッドバンド４３の円弧高さｒ１は、第２ヘッドバンド４４の円弧高さｒ２よりも低い。これにより、第１ヘッドバンド４３と第２ヘッドバンド４４とが交差するように移動されても、第１ヘッドバンド４３と第２ヘッドバンド４４とは、互いに干渉することなく、その位置の前後関係が入れ替わる。また、第１ヘッドバンド４３及び第２ヘッドバンド４４は、折り畳み（開閉）可能な構成を有する。
【００６０】
なお、ヘッドバンド４０は、第１ヘッドバンド４３の円弧高さｒ１を、第２ヘッドバンド４４の円弧高さｒ２よりも長くすることにより、第２ヘッドバンド４４を第１ヘッドバンド４３の内側で揺動させる構成とされてもよい。
【００６１】
図６は、リモコンの斜視図である。リモコン１４０は、筐体１４０Ａと、タッチパッド１４１と、操作スイッチ１４７と、ＵＳＢコネクター１４２と、インジケーター１４３ａ〜１４３ｃと、取付クリップ１４４と、インジケータースイッチ１５０とを備える。また、リモコン１４０は、リモコン１４０を総合的に制御するリモコン処理部（不図示）を備える。
【００６２】
ＵＳＢケーブル１４８の一方の端子がＵＳＢコネクター１４２に接続され、且つ、ＵＳＢケーブル１４８の他方の端子が、装置本体部２１のＵＳＢコネクター２５（図２を参照）に接続されることで、リモコン１４０は、装置本体部２１と電気的に接続される。ＵＳＢケーブル１４８は、ＵＳＢ規格に準拠しているケーブルである。ＵＳＢケーブル１４８の途中には、複数のクリップ１４９が設けられている。複数のクリップ１４９は、例えば、ＵＳＢケーブル１４８を第２ヘッドバンド４４（図２を参照）に沿わせた状態で固定するために用いられる。
【００６３】
リモコン１４０には、ディスプレイ本体２０などの他の電子機器と無線通信を行うための通信回路が内蔵されている。この通信方式としては、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮ、赤外線通信、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）、「Ｔｒａｎｓｆｅｒ Ｊｅｔ」などが用いられる。これにより、リモコン１４０は、ＵＳＢケーブル１４８が接続されていなくても、ディスプレイ本体２０と通信することができる。
【００６４】
リモコン１４０には、加速度センサー（Ｇセンサー）、角速度センサー、及び、方位センサーが内蔵されていてもよい。これらのセンサーに検出された情報は、通信回路を介して、ディスプレイ本体２０に通信可能である。
【００６５】
タッチパッド１４１は、筐体１４０Ａの一方の主面に設けられている。タッチパッド１４１は、ユーザーがタッチすることにより、ユーザーがディスプレイ本体２０を操作するための操作部である。また、筐体１４０Ａの内部における、タッチパッド１４１の背面側には、装置本体部２１のタッチスイッチ３４（図４を参照）と同様に、表示パネル及びバックライトが設けられてもよい。
【００６６】
操作スイッチ１４７は、リモコン１４０及びディスプレイ本体２０を手動操作するためのスイッチである。なお、操作スイッチ１４７は、必須構成ではない。
インジケータースイッチ１５０は、インジケーター１４３ａ〜１４３ｃを利用した所定動作（例えば、パターン発光）を行わせるためのスイッチである。インジケータースイッチ１５０は、筐体１４０Ａの側面に設けられる。
【００６７】
ＵＳＢコネクター１４２は、装置本体部２１と電気的に接続されるほか、パーソナルコンピュータ（ＰＣ）と電気的に接続される。また、ＵＳＢコネクター１４２は、リモコン１４０が充電式のバッテリーを内蔵している場合、そのバッテリーに充電するための充電端子となる。また、ＵＳＢコネクター１４２は、リモコン１４０が充電式のバッテリーを内蔵している場合、そのバッテリーから装置本体部２１に給電するための給電端子となる。リモコン１４０から装置本体部２１に給電可能にすることで、装置本体部２１は、バッテリー容量が小さくてもよいので、小型軽量化される。
【００６８】
インジケーター１４３ａ〜１４３ｃは、タッチパッド１４１の周囲に配置されている。図６では、インジケーター１４３ａは、タッチパッド１４１の一辺に沿う位置に配置されている。また、インジケーター１４３ｂ及びインジケーター１４３ｃは、インジケーター１４３ａに対してタッチパッド１４１を挟んだ反対側に配置されている。
【００６９】
インジケーター１４３ａ〜１４３ｃは、ＬＥＤ等の発光素子を備える。インジケーター１４３ａは、例えば、緑色の発光素子を備える。また、インジケーター１４３ｂは、例えば、オレンジ色の発光素子を備える。また、インジケーター１４３ｃは、例えば、青色の発光素子を備える。
【００７０】
インジケーター１４３ａ〜１４３ｃは、インジケータースイッチ１５０が操作されることにより、パターン発光がオンオフされる。また、インジケーター１４３ａ〜１４３ｃは、リモコン処理部（不図示）により制御されたタイミングパターンで、パターン発光する。
【００７１】
このパターン発光は、例えば、リモコン１４０の状態（例えば、リモコン１４０の傾き姿勢）を示す。このパターン発光が装置本体部２１のカメラ６４により撮像され、撮像されたパターン発光が装置本体部２１に解析されることにより、リモコン１４０の状態を示す情報は、装置本体部２１に伝達される。パターン発光を利用した情報伝達により、リモコン１４０は、無線通信を用いた場合と比較して、消費電力を抑えることができる。
【００７２】
取付クリップ１４４は、タッチパッド１４１に対して筐体１４０Ａを挟んだ反対側の面に設けられている。取付クリップ１４４は、一端を筐体１４０Ａに固定された側面視Ｓ形のバネ板部材である。取付クリップ１４４は、ユーザーの衣服又はベルト等に、リモコン１４０を装着させる。
【００７３】
図７は、ステレオイヤホンを示す斜視図である。ステレオイヤホン１００は、コネクター１０１と、ケーブル１０２と、第１スピーカー１０３と、第２スピーカー１０４と、集音マイク１０５と、複数のクリップ１０６とを有する。
【００７４】
コネクター１０１は、ケーブル１０２の一方の端部に設けられている。コネクター１０１は、例えば、４極φ３．５ｍｍのミニプラグである。ここで、４極の内訳は、集音マイク１０５、第１スピーカー１０３、第２スピーカー１０４、及び、グランド（ＧＮＤ）である。ケーブル１０２は、コネクター１０１の近傍において二分岐されている。ケーブル１０２の一方の端部には、第１スピーカー１０３が設けられている。また、ケーブル１０２の他方の端部には、第２スピーカー１０４が設けられている。また、複数のクリップ１０６は、ケーブル１０２上に、所定の間隔で配置されている。
【００７５】
ステレオイヤホン１００は、ディスプレイ本体２０のオーディオコネクター２６（図２を参照）に、コネクター１０１が接続された状態で使用される。オーディオコネクター２６にコネクター１０１が接続された場合、第１スピーカー１０３、第２スピーカー１０４、及び集音マイク１０５は、有効化される。
【００７６】
また、オーディオコネクター２６にコネクター１０１が接続された場合、ディスプレイ本体２０の耳元スピーカー２３（図２を参照）、及び、表示部６０の通話マイク３７（図４を参照）は、無効化される。ここで、表示部６０の前方スピーカー７０（図４を参照）は、必要に応じて無効化される。
【００７７】
第１スピーカー１０３は、ディスプレイ本体２０が配置された側のユーザーの耳に装着される。一方、第２スピーカー１０４は、第１スピーカー１０３とは反対側の耳に装着される。ここで、ケーブル１０２は、クリップ１０６により、第２ヘッドバンド４４に固定されてもよい。
【００７８】
また、集音マイク１０５と、ディスプレイ本体２０の集音マイク２４（図１を参照）とにより、ステレオ録音が可能である。ユーザーが右眼で表示部６０を見ている場合（図３（Ａ）を参照）、集音マイク２４がユーザーの右側から収音し、左耳に装着されている集音マイク１０５がユーザーの左側から収音することにより、ステレオ録音は可能である。この場合、第１スピーカー１０３は、右チャンネルの音声を出力する。また、第２スピーカー１０４は、左チャンネルの音声を出力する。
【００７９】
一方、ユーザーが左眼で表示部６０を見ている場合（図３（Ｂ）を参照）、集音マイク２４がユーザーの左側から収音し、右耳に装着されている集音マイク１０５がユーザーの右側から収音することにより、ステレオ録音は可能である。この場合、第１スピーカー１０３は、左チャンネルの音声を出力する。また、第２スピーカー１０４は、右チャンネルの音声を出力する。
【００８０】
また、集音マイク２４及び集音マイク１０５は、いずれもユーザーの耳の近傍に配置されるため、バイノーラル録音のような臨場感のある録音が可能である。なお、集音マイク２４の特性と集音マイク１０５の特性とが近い場合、右チャンネルの音声と、左チャンネルの音声との差異は小さくなる。
【００８１】
図８は、ヘッドマウントディスプレイの機能ブロック図である。ヘッドマウントディスプレイ１は、バックライト３５と、バックライト６２と、バッテリー３３と、表示パネル３６と、表示パネル６３と、耳元スピーカー２３と、前方スピーカー７０と、ビデオコネクター２７と、３Ｇ／ＬＴＥ通信回路１３８（第１通信インタフェース）と、前方ライト６８と、地磁気センサー１３３と、加速度センサー１３２と、ＷｉＦｉ通信回路１３１（第２通信インタフェース）と、ＢＴ通信回路１３０と、フラッシュメモリー１２２と、操作スイッチ３０と、ＢＬドライバ１２６と、電源回路１２０と、ＬＣＤドライバ１２５と、スピーカーアンプ１６２と、処理部１２３と、デコーダー１２１と、レーザー発振器７３と、角速度センサー１３４と、ＧＰＳセンサー１３５と、温湿度センサー１３６と、心拍数センサー１３７と、メモリー１２７と、メインスイッチ２８と、タッチスイッチ３４と、エンコーダー１２９と、カメラ６４と、撮像素子７２と、集音マイク２４と、通話マイク３７と、オーディオコネクター２６と、を備える。
【００８２】
バッテリー３３は、電源回路１２０を介して、ヘッドマウントディスプレイ１の各部に電力を供給する。
電源回路１２０は、バッテリー３３から供給された電力の制御（例えば、電圧の変換、供給オンオフ）を、処理部１２３から供給される制御信号に基づいて実行する。
【００８３】
メモリー１２７は、処理部１２３が実行する制御プログラムを、予め記憶する。
メインスイッチ２８は、装置全体の電源のオンオフを行うためのスイッチであり、ユーザーが操作することにより、その操作に基づく制御信号を処理部１２３に供給する。
操作スイッチ３０は、画面内でのポインティング操作を行うためのスイッチであり、ユーザーが操作することにより、その操作に基づく制御信号を処理部１２３に供給する。
タッチスイッチ３４は、タッチ操作により各種の操作入力を行うスイッチであり、操作入力に基づく制御信号を処理部１２３に供給する。
【００８４】
なお、ディスプレイ本体２０は、ユーザーの右側又は左側のいずれに装着された場合でも、メインスイッチ２８、操作スイッチ３０、及びタッチスイッチ３４を介した操作入力により操作可能である。
【００８５】
加速度センサー１３２（Ｇセンサー）は、加速度の方向（例えば、重力方向）を検出し、検出した加速度の方向の情報（以下、「加速度情報」という）を処理部１２３に供給する。供給された加速度情報は、ヘッドマウントディスプレイ１の姿勢（傾き）を検出するために用いられる。
【００８６】
地磁気センサー１３３は、地磁気に基づいて方位情報を検出し、検出した方位情報を処理部１２３に供給する。検出した方位情報は、ヘッドマウントディスプレイ１が向いている方位の検出に用いられる。
【００８７】
角速度センサー１３４（ジャイロセンサー）は、角速度を検出し、検出した角速度を処理部１２３に供給する。検出した角速度は、ヘッドマウントディスプレイ１の回転検出に用いられる。
ＧＰＳセンサー１３５は、ＧＰＳを利用した測位により、ヘッドマウントディスプレイ１の緯度、経度及び高度を測定し、測定した緯度、経度及び高度を示す情報を、処理部１２３に供給する。
【００８８】
温湿度センサー１３６は、環境の温度及び湿度を検出する。温湿度センサー１３６は、検出した環境の温度及び湿度を示す情報を、処理部１２３に供給する。
レーザー発振器７３は、表示パネル６３に表示された画像内の所定の位置に対応するターゲット（対象物）に、レーザー光（スポット光）を照射する。
【００８９】
心拍数センサー１３７は、ユーザーの頬に当接して心拍数を検出し、検出したユーザーの心拍数を処理部１２３に供給する。これにより、心拍数センサー１３７は、ヘッドマウントディスプレイ１がユーザーに装着されているか否か、つまり、ユーザーの頭部の近傍にディスプレイ本体２０が配置されているか否かを検出することができる。
【００９０】
カメラ６４（撮像部）は、オートフォーカス動作、及び撮像処理を実行する。カメラ６４は、光学系と、撮像素子とを備える。カメラ６４の光学系は、レンズ群を備える。また、光学系のレンズ群は、カメラ６４の撮像素子の受光面に、被写体像（光学像）を結像させる。なお、カメラ６４の光学系のレンズは、オートフォーカス動作の際、処理部１２３から供給される制御信号に基づいて駆動される。
【００９１】
カメラ６４の撮像素子は、ＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの撮像素子である。カメラ６４の撮像素子は、受光面に結像された被写体像（光学像）を、撮像処理により電気信号に変換し、さらに画像データに変換してエンコーダー１２９に出力する。
【００９２】
カメラ６４は、比較的深い被写界深度を有し、至近から無限遠方までの範囲を、いわゆるパンフォーカスにより撮像することができる。これにより、カメラ６４は、無限遠方に在る被写体の被写体像に合焦させている場合でも、至近に在るユーザーの手の画像に合焦させて、そのユーザーの手を検出することができる。
【００９３】
撮像素子７２は、その受光面に結像された被写体像（光学像）を、撮像処理により電気信号に変換し、さらに画像データに変換してエンコーダー１２９に出力する。
【００９４】
エンコーダー１２９には、カメラ６４、撮像素子７２、集音マイク２４、通話マイク３７、及び、ビデオコネクター２７が接続されている。エンコーダー１２９は、集音マイク２４及び通話マイク３７から入力された各音声信号を、所定の音声方式の音声データにエンコードする。すなわち、エンコーダー１２９は、集音マイク２４及び通話マイク３７からそれぞれ入力された音声信号をエンコード（符号化）し、エンコードした音声信号を処理部１２３に供給する。
【００９５】
エンコーダー１２９は、カメラ６４、撮像素子７２、及びビデオコネクター２７から入力された各映像信号を、所定の映像方式の映像データにエンコードする。すなわち、エンコーダー１２９は、カメラ６４、撮像素子７２、及びビデオコネクター２７からそれぞれ入力された映像（画像）信号をエンコードし、エンコードした映像（画像）信号を処理部１２３に供給する。
【００９６】
処理部１２３は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。処理部１２３は、ヘッドマウントディスプレイ１の各種回路（機能ブロック）に接続されるとともに、ヘッドマウントディスプレイ１を総合的に制御する。また、処理部１２３は、操作スイッチ３０が受け付けた操作入力に基づいて動作することができる。
【００９７】
処理部１２３は、集音マイク２４及び通話マイク３７等からエンコーダー１２９を介して供給された音声データを、フラッシュメモリー１２２に記憶させる。また、処理部１２３は、集音マイク２４及び通話マイク３７等からエンコーダー１２９を介して供給された音声データを、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８の少なくとも一つを介して、他の装置（不図示）に送信する。また、処理部１２３は、フラッシュメモリー１２２に記憶された音声データを、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８の少なくとも一つを介して、他の機器（不図示）に送信してもよい。
【００９８】
また、処理部１２３は、カメラ６４、撮像素子７２、及びビデオコネクター２７の少なくとも一つから、エンコーダー１２９を介して供給された映像（画像）データを、フラッシュメモリー１２２に記憶させる。
【００９９】
また、処理部１２３は、カメラ６４、撮像素子７２、及びビデオコネクター２７の少なくとも一つから、エンコーダー１２９を介して供給された映像（画像）データを画像処理する。カメラ６４により撮像された画像に施す画像処理については、図１１を用いて後述する。処理部１２３は、画像処理結果としての画像データを、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８の少なくとも一つを介して、他の装置（不図示）に送信する。
【０１００】
また、処理部１２３は、カメラ６４、撮像素子７２、及びビデオコネクター２７の少なくとも一つから、エンコーダー１２９を介して供給された映像（画像）データを、デコーダー１２１及びＬＣＤドライバ１２５を介して、表示パネル３６及び表示パネル６３に表示させる。また、処理部１２３は、フラッシュメモリー１２２に記憶された映像（画像）データを、デコーダー１２１及びＬＣＤドライバ１２５を介して、表示パネル３６及び表示パネル６３に表示させる。
【０１０１】
また、処理部１２３は、デコーダー１２１から出力された映像信号を、ＬＣＤドライバ１２５を介して、表示パネル３６及び表示パネル６３の少なくとも一方に供給させる。これにより、映像データが再生される。すなわち、入力された映像信号に基づく映像は、表示パネル３６及び表示パネル６３の少なくとも一方に表示される。また、処理部１２３は、デコーダー１２１から出力された映像信号を、ビデオコネクター２７を介して外部機器（不図示）に出力させる。
【０１０２】
また、処理部１２３は、カメラ６４、撮像素子７２、及びビデオコネクター２７の少なくとも一つから、エンコーダー１２９を介して供給された映像（画像）データを、ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８の少なくとも一つを介して、他の機器（不図示）に送信する。
【０１０３】
また、処理部１２３は、表示パネル３６用のバックライト３５を、必要に応じて点灯させることにより、表示パネル３６に映像（画像）を表示させる。例えば、処理部１２３は、ディスプレイ本体２０がヘッドバンド４０に支持されていない場合、表示パネル３６に映像（画像）を表示させる。ここで、処理部１２３は、ＢＬドライバ１２６に制御信号を供給することにより、ＢＬドライバ１２６にバックライト３５を点灯させる。
【０１０４】
また、処理部１２３は、表示パネル６３用のバックライト６２を、必要に応じて点灯させることにより、表示パネル６３に映像（画像）を表示させる。例えば、処理部１２３は、ディスプレイ本体２０がヘッドバンド４０に支持されている場合、表示パネル６３に映像（画像）を表示させる。ここで、処理部１２３は、ＢＬドライバ１２６に制御信号を供給することにより、ＢＬドライバ１２６にバックライト６２を点灯させる。
【０１０５】
バイブレーター１６４は、いわゆるマナーモードに設定された状態で着信があった場合に、処理部１２３から供給された制御信号に基づいて振動する。これにより、マナーモードに設定された状態でも、着信がユーザーに通知される。
【０１０６】
デコーダー１２１には、ＬＣＤドライバ１２５、スピーカーアンプ１６２、ビデオコネクター２７及びオーディオコネクター２６が接続されている。デコーダー１２１は、音声データを音声信号にデコード（復号化）し、デコードした音声信号を、スピーカーアンプ１６２又はオーディオコネクター２６に供給する。また、デコーダー１２１は、映像（画像）データを映像（画像）信号にデコードし、デコードした映像信号を、ＬＣＤドライバ１２５又はビデオコネクター２７に供給する。
【０１０７】
ＬＣＤドライバ１２５は、例えば、液晶パネル用の駆動信号を生成する回路であり、表示パネル３６及び表示パネル６３に接続されている。ＬＣＤドライバ１２５は、処理部１２３からデコーダー１２１を介して供給された映像（画像）信号に基づいて、液晶パネル用の駆動信号を生成し、生成した液晶パネル用の駆動信号を、表示パネル３６又は表示パネル６３に供給する。
【０１０８】
表示パネル６３（表示部）は、例えば、液晶表示パネルであり、ＬＣＤドライバ１２５から供給される駆動信号に基づいて、映像（画像）を表示する。表示パネル６３は、例えば、カメラ６４によって撮像された画像、及びメニュー画面を表示する。
【０１０９】
ＢＬドライバ１２６は、例えば、バックライト用の駆動信号を生成する回路であり、バックライト３５及びバックライト６２に接続されている。ＢＬドライバ１２６は、処理部１２３から供給された制御信号に基づいて、バックライト用の駆動信号を生成し、生成したバックライト用の駆動信号を、バックライト３５及びバックライト６２に供給する。
【０１１０】
スピーカーアンプ１６２は、デコーダー１２１を介して供給された音声信号を増幅し、増幅した音声信号を、耳元スピーカー２３及び前方スピーカー７０に供給する。ここで、スピーカーアンプ１６２は、デコーダー１２１を介して供給された左右の音声信号を合成し、合成した結果としてのモノラル音声信号を、耳元スピーカー２３及び前方スピーカー７０に供給する。
【０１１１】
耳元スピーカー２３は、左右の音声信号が合成されたモノラル音声を出力する。
前方スピーカー７０は、左右の音声信号が合成されたモノラル音声を出力する。
【０１１２】
ＢＴ通信回路１３０は、他の機器とのＢｌｕｅｔｏｏｔｈ（登録商標）通信を行うための通信回路である。
ＷｉＦｉ通信回路１３１は、他の機器との無線ＬＡＮ通信（ＩＥＥＥ ８０２．１１）を行うための通信回路である。
３Ｇ／ＬＴＥ通信回路１３８は、他の機器との移動通信を行うための通信回路である。
ＢＴ通信回路１３０、ＷｉＦｉ通信回路１３１、及び３Ｇ／ＬＴＥ通信回路１３８は、他の機器との間で、音声データ及び映像（画像）データなどの情報の送受信を実行する。
【０１１３】
図９は、ヘッドマウントディスプレイを含む通信システムの構成を示す機能ブロック図である。通信システムは、複数のヘッドマウントディスプレイ１と、サーバー２００とを備える。以下では、通信システムは、複数のヘッドマウントディスプレイ１として、ヘッドマウントディスプレイ１−１と、ヘッドマウントディスプレイ１−２とを備えるものとして説明を続ける。
【０１１４】
ネットワーク２３０は、通信インタフェース（例えば、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、３Ｇ回線、ＬＴＥ回線）を介して接続される、インターネット等のネットワークである。
【０１１５】
ヘッドマウントディスプレイ１−１、ヘッドマウントディスプレイ１−２、及び、サーバー２００は、ネットワーク２３０を介して、互いに通信することができる。例えば、ヘッドマウントディスプレイ１−１は、画像データ、音声データ、及び、ヘッドマウントディスプレイ１−１の環境情報を、サーバー２００を介して、ヘッドマウントディスプレイ１−２に送信することができる。ここで、環境情報とは、例えば、角速度センサー１３４（図８を参照）により検出された角速度を示す情報、地磁気センサー１３３により検出された方位情報である。
【０１１６】
図９には、ヘッドマウントディスプレイ１−１の構成（図８を参照）のうち、タッチスイッチ３４−１と、表示パネル６３−１と、カメラ６４−１と、地磁気センサー１３３−１と、メモリー１２７−１と、３Ｇ／ＬＴＥ通信回路１３８−１と、ＷｉＦｉ通信回路１３１−１とが図示されている。ヘッドマウントディスプレイ１−２についても同様である。
【０１１７】
サーバー２００は、処理部２０１と、記憶部２０２と、通信インタフェース２０３とを備える。通信インタフェース２０３は、例えば、ＷｉＦｉ通信回路、３Ｇ通信回路、ＬＴＥ通信回路、及び、有線ＬＡＮ回路を備える。通信インタフェース２０３は、画像データ、音声データ、ヘッドマウントディスプレイ１−１の環境情報、及び、ヘッドマウントディスプレイ１−１からの要求内容を、ヘッドマウントディスプレイ１−１から受信して記憶部２０２に記憶させる。ここで、画像データは、例えば、動画形式、静止画形式、又は線画形式のいずれでもよい。
【０１１８】
また、通信インタフェース２０３は、画像データ、音声データ、ヘッドマウントディスプレイ１−２の環境情報、及び、ヘッドマウントディスプレイ１−２からの要求内容を、ヘッドマウントディスプレイ１−２から受信して記憶部２０２に記憶させる。
【０１１９】
記憶部２０２は、ヘッドマウントディスプレイ１−１からの画像データ、ヘッドマウントディスプレイ１−１からの音声データ、ヘッドマウントディスプレイ１−１の環境情報、及び、ヘッドマウントディスプレイ１−１からの要求内容を記憶する。また、記憶部２０２は、ヘッドマウントディスプレイ１−２からの画像データ、ヘッドマウントディスプレイ１−２からの音声データ、ヘッドマウントディスプレイ１−２の環境情報、及び、ヘッドマウントディスプレイ１−２からの要求内容を記憶する。
【０１２０】
処理部２０１は、ヘッドマウントディスプレイ１−１からの画像データを、ヘッドマウントディスプレイ１−１からの要求内容に応じて記憶部２０２から読み出し、読み出した画像データをヘッドマウントディスプレイ１−２に送信する。また、処理部２０１は、ヘッドマウントディスプレイ１−２からの画像データを、ヘッドマウントディスプレイ１−２から受信した要求内容に応じて記憶部２０２から読み出し、読み出した画像データをヘッドマウントディスプレイ１−１に送信する。音声データ及び環境情報についても同様である。
【０１２１】
次に、カメラ６４−１が撮像した画像に施す画像処理の例を説明する。
図１０は、ユーザーの眼前に広がる景色の例を示す図である。第１実施形態において、カメラ６４−１（図９を参照）は、初期状態では、景色３１０の領域３１１を撮像しているものとする。この初期状態からユーザーが首を左から右に振るなどして、急激なパン動作が行われたことにより、カメラ６４−１は、景色３１０の領域３１２を撮像することになるものとして説明を続ける。
【０１２２】
図１１は、画像処理の例を示す図である。第１実施形態において、画像ａ１〜画像ａ９は、カメラ６４−１により動画形式で撮像された一連のフレーム画像であり、時系列に並んでいる。ここで、画像ａ１は、図１０における領域３１１が撮像された画像である。また、画像ａ２は、画像ａ１に続く画像であり、カメラ６４−１によるパン動作により、図１０における領域３１１の右方向の領域が撮像された画像である。同様に、画像ａ３〜ａ７は、さらに右方向へのパン動作により撮像された画像である。また、画像ａ８及び画像ａ９は、図１０における領域３１２が撮像された画像である。
【０１２３】
また、図１１では、「ブレ小」とは、角速度センサー１３４により検出された角速度の絶対値が、第１閾値未満であり、画像のブレが小さいことを示す。また、「ブレ大」とは、角速度センサー１３４により検出された角速度の絶対値が、第１閾値以上であり、画像のブレが大きいことを示す。第１実施形態では、一例として、画像ａ１〜画像ａ３は、「ブレ小」であり、画像ａ４〜画像ａ５は、ブレが拡大して「ブレ大」であり、画像ａ６〜画像ａ９は、ブレが収まり「ブレ小」であるものとして説明を続ける。
【０１２４】
画像ｂ１〜画像ｂ３は、ユーザーが動画酔いを起こさない程度にブレが小さい画像、すなわち、撮像された際に検出された角速度の絶対値が第１閾値未満である画像として、処理部１２３−１（図９を参照）により、画像ａ１〜画像ａ４から選択された画像群である。また、画像ｃ６〜画像ｃ９は、ユーザーが動画酔いを起こさない程度にブレが小さい画像、すなわち、撮像された際に検出された角速度の絶対値が第１閾値未満である画像として、処理部１２３−１により、画像ａ６〜画像ａ９から選択された画像群である。
【０１２５】
処理部１２３−１は、ブレが大きい画像ａ４及び画像ａ５を、画像ａ１〜画像ａ９から除外する。処理部１２３−１は、画像ａ１〜画像ａ３に基づく画像ｂ１〜画像ｂ３と、画像ａ６〜画像ａ９に基づく画像ｃ６〜画像ｃ９とに画像処理を施すことにより、送信用の画像ｄ１〜画像ｄ９を生成する。
【０１２６】
処理部１２３−１は、画像処理結果としての画像ｄ１〜ｄ９を、ＷｉＦｉ通信回路１３１−１、及び３Ｇ／ＬＴＥ通信回路１３８−１の少なくとも一つを（以下、まとめて「通信部」という）介して、サーバー２００（図９を参照）に送信する。送信された画像ｄ１〜ｄ９は、サーバー２００を介してヘッドマウントディスプレイ１−２に送信され、ヘッドマウントディスプレイ１−２の表示パネル６３−２（図９を参照）に表示される。
【０１２７】
画像処理の例をより具体的に説明する。
処理部１２３−１は、カメラ６４−１が撮像した画像が、「ブレ小」又は「ブレ大」のいずれであるかを、角速度センサー１３４により検出された角速度に基づいて検出する。
【０１２８】
撮像された画像が「ブレ小」である場合、処理部１２３−１は、その「ブレ小」である画像を、自装置の通信部を介して、ヘッドマウントディスプレイ１−２及びサーバー２００に送信する。また、処理部１２３−１は、「ブレ小」である画像ｂ３を保持（記憶）する。
【０１２９】
仮に、「ブレ大」である画像をヘッドマウントディスプレイ１−１が送信した場合、その画像を受信したヘッドマウントディスプレイ１−２のユーザーは、動画酔いを起こす可能性がある。ユーザーに動画酔いを起こさせないよう、処理部１２３−１は、「ブレ大」に遷移する前に保持した「ブレ小」である画像ｂ３を、自装置の通信部を介して、ヘッドマウントディスプレイ１−２及びサーバー２００に送信する。
【０１３０】
また、撮像された画像のブレが収まり、「ブレ大」から「ブレ小」に遷移した場合、処理部１２３−１は、ブレの収まった「ブレ小」の画像ｃ６に基づく画像を、自装置の通信部を介して、ヘッドマウントディスプレイ１−２及びサーバー２００に送信する。
【０１３１】
ここで、画像ｂ３及び画像ｃ６は、撮像された時刻がそれぞれ異なるので、撮像された被写体が異なる画像となっている可能性が高い。したがって、仮に、画像ｃ６がこのまま送信された場合、ヘッドマウントディスプレイ１−２に表示される画像が、画像ｂ３から画像ｃ６に急に切り替わることになるので、ヘッドマウントディスプレイ１−２のユーザーは、画像ａ４及び画像ａ５が抜け落ちて見えることに戸惑う可能性がある。
【０１３２】
そこで、この戸惑いを軽減するために、処理部１２３−１は、画像ｂ３から画像ｃ６に０．５［秒］程度で変化する動画像、すなわち、トランジション効果を有する画像（以下、「トランジションの画像」という）を生成する。処理部１２３−１は、トランジションの画像として生成した画像ｄ６及び画像ｄ７を、自装置の通信部を介して、ヘッドマウントディスプレイ１−２及びサーバー２００に送信する。
【０１３３】
ここで、トランジションの画像とは、例えば、クロスフェードにより生成された画像である。図１１では、画像ｄ６は、例えば、画像ｂ３が７０％の濃度、及び、画像ｃ６が３０％の濃度となるように合成された画像である。また、画像ｄ７は、例えば、画像ｂ３が３０％の濃度、及び、画像ｃ６が７０％の濃度となるように合成された画像である。
【０１３４】
また、トランジションの画像とは、例えば、「ブレ大」に遷移する前に保持された画像が、そのブレとは反対方向にスライドアウトすると共に、「ブレ小」に遷移した画像が、そのブレとは反対方向にスライドインする画像でもよい。図１１では、画像ｄ６は、保持された画像ｂ３が、そのブレとは反対方向にスライドアウトした画像である。また、画像ｄ７は、例えば、「ブレ小」に遷移した画像ａ７が、そのブレとは反対方向にスライドインした画像でもよい。
【０１３５】
次に、画像を送信する側のヘッドマウントディスプレイ１−１の動作手順の例を説明する。
図１２は、送信側のヘッドマウントディスプレイの動作手順の例を示すフローチャートである。
（ステップＳ１）ヘッドマウントディスプレイ１−１の処理部１２３−１は、インデックスとしての変数iに、初期値１を書き込む。また、処理部１２３−１は、インデックスとしての変数ｋに、初期値１を書き込む。
【０１３６】
（ステップＳ２）処理部１２３−１は、カメラ６４−１が撮像した画像ａ１（図１１を参照）を取り込む。
【０１３７】
（ステップＳ３）処理部１２３−１は、取り込まれた画像ａ１を、画像ｂ１としてメモリー１２７−１に一時的に記憶させる。
（ステップＳ４）処理部１２３−１は、インデックスとしての変数iに、値１を加算する。また、処理部１２３−１は、インデックスとしての変数ｋに、値１を加算する。
【０１３８】
（ステップＳ５）処理部１２３−１は、カメラ６４−１が撮像した画像ａｉを取り込む。
（ステップＳ６）処理部１２３−１は、取り込まれた画像ａｉを、画像ｂｉとしてメモリー１２７−１に一時的に記憶させる。
【０１３９】
（ステップＳ７）処理部１２３−１は、画像ｂｉに変換及び圧縮処理を施すことにより、送信用の画像ｄｉを生成し、生成した画像ｄｉを、自装置の通信部を介してヘッドマウントディスプレイ１−２及びサーバー２００に送信する。これにより、ヘッドマウントディスプレイ１−２の表示パネル６３−２には、画像ｄｉが表示されることになる。ここで、画像ａ１〜画像ａ３では画像のブレが小さいので、これらの画像に基づいて生成された画像ｄ１〜画像ｄ３は、ヘッドマウントディスプレイ１−２のユーザーに観察されても、動画酔いさせることがない。
【０１４０】
（ステップＳ８）処理部１２３−１は、カメラ６４−１の角速度を、角速度センサー１３４から受信する。
（ステップＳ９）処理部１２３−１は、カメラ６４−１の角速度が第１閾値以上であるか否か（急激なパン動作が行われたか否か）、すなわち、画像ａｉがブレ大であるか否かを判定する。カメラ６４−１の角速度が第１閾値以上である場合（ステップＳ９：Ｙｅｓ）、処理部１２３−１は、ステップＳ１０に処理を進める。一方、カメラ６４−１の角速度が第１閾値以上でない場合（ステップＳ９：Ｎｏ）、処理部１２３−１は、ステップＳ４に処理を戻す。
【０１４１】
（ステップＳ１０）処理部１２３−１は、インデックスとしての変数ｋに、値１を加算する。
（ステップＳ１１）処理部１２３−１は、メモリー１２７−１に記憶されているブレの少ない画像ｂｉを、送信用の画像ｄｉに変換して送信する。これにより、ヘッドマウントディスプレイ１−２の表示パネル６３−２には、画像ｄｉが表示されることになる。
（ステップＳ１２）処理部１２３−１は、カメラ６４−１の角速度を、角速度センサー１３４から受信する。
【０１４２】
（ステップＳ１３）処理部１２３−１は、カメラ６４−１の角速度が第１閾値以上であるか否か（急激なパン動作が行われたか否か）、すなわち、画像ａｋがブレ大であるか否かを判定する。カメラ６４−１の角速度が第１閾値以上である場合、すなわち、パン動作が収まると推定されない場合（ステップＳ１３：Ｙｅｓ）、処理部１２３−１は、ステップＳ１０に処理を戻す。ステップＳ１０〜ステップＳ１３において、ブレが第１閾値以上である場合、処理部１２３−１は、ブレの小さい画像が送信され続けるようにするために、インデックスｉを増加させない。例えば、ブレの小さい画像ａ３に基づいて生成された画像ｄ３は、その直後に取り込まれた画像ａ４のブレが第１閾値以上であるため、ステップＳ１１において再び送信されることになる。一方、カメラ６４−１の角速度が第１閾値以上でない場合、すなわち、パン動作が収まると推定される場合（ステップＳ１３：Ｎｏ）、処理部１２３−１は、ステップＳ１４に処理を進める。
（ステップＳ１４）処理部１２３−１は、トランジションの画像を表示する時間（例えば、約０．５［秒］）を定めるためのカウンターとしての変数ｐに、初期値０を書き込む。
【０１４３】
大きなブレが発生した直前の画像（図１１では、画像ｂ３）は、大きなブレが画像に発生し続けている間、静止画として繰り返し表示される。その後にブレが収まった時点で、ブレの収まった画像（図１１では、画像ｃ６及び画像ｃ７）が表示される際、カメラ６４−１は、大きなブレが発生する前とは異なる方向を向いていることになる。
【０１４４】
このため、仮に、トランジションの画像を表示しない場合、繰り返し表示されている画像とは大きく異なる画像が、いきなり表示されてしまう可能性が高い。この場合、ユーザーは、動画酔いを起こしてしまう可能性がある。
そこで、大きなブレが発生する直前の画像から、ブレが収まった画像に徐々に変わっていくよう、トランジションの画像を画像効果として表示させることは、ユーザーの動画酔いを防ぐ上で好ましい。これが、トランジションの画像を表示させる理由である。
なお、トランジションの画像には、例えば、画像ｂ３が徐々に薄くなるに従い、画像ｃ６が徐々に明瞭に表示されるクロスフェードにより生成された画像が用いられる。トランジションの画像を表示する時間は、変数ｐに基づいて定められる。
（ステップＳ１５）処理部１２３−１は、インデックスとしての変数ｋに、値１を加算する。また、処理部１２３−１は、カウンターとしての変数ｐに、値１を加算する。
【０１４５】
（ステップＳ１６）処理部１２３−１は、カメラ６４−１が撮像した画像ａｋを取り込む。処理部１２３−１は、取り込まれた画像ａｋを、画像ｃｋとしてメモリー１２７−１に一時的に記憶させる。
【０１４６】
（ステップＳ１７）処理部１２３−１は、保持された画像ｂｉ（大きなブレが発生する直前の画像）と、「ブレ小」に遷移した画像ｃｋ（パン動作が収まりつつある画像ｃｋ）とに基づく画像ｄｋを生成する。
【０１４７】
（ステップＳ１８）処理部１２３−１は、生成された（例えば、クロスフェードにより合成された）画像ｄｋを、自装置の通信部を介して、ヘッドマウントディスプレイ１−２及びサーバー２００に送信する。これにより、ヘッドマウントディスプレイ１−２の表示パネル６３−２には、画像ｄｋが表示されることになる。
（ステップＳ１９）処理部１２３−１は、カメラ６４−１の角速度を、角速度センサー１３４から受信する。
【０１４８】
（ステップＳ２０）処理部１２３−１は、処理部１２３−１は、カメラ６４−１の角速度が第１閾値以上であるか否か（急激なパン動作が再度行われたか否か）、すなわち、画像ａｋがブレ大であるか否かを判定する。カメラ６４−１の角速度が第１閾値以上である場合（ステップＳ２０：Ｙｅｓ）、処理部１２３−１は、ステップＳ１０に処理を戻す。これにより、画像ｄｋは、ステップＳ１１において再び送信されることになる。一方、カメラ６４−１の角速度が第１閾値以上でない場合（ステップＳ２０：Ｎｏ）、処理部１２３−１は、ステップＳ２１に処理を進める。
【０１４９】
（ステップＳ２１）処理部１２３−１は、カウンターとしての変数ｐが、値２未満であるか否かを判定する。ここで、値２は一例である。処理部１２３−１は、カウンターとしての変数ｐが、値２未満である場合（ステップＳ２１：Ｙｅｓ）、処理部１２３−１は、ステップＳ１５に処理を戻す。これにより、生成された（例えば、クロスフェードにより合成された）画像ｄｋは、ステップＳ１８において送信されることになる。一方、カウンターとしての変数ｐが値２未満でない（トランジションが完了した）場合（ステップＳ２１：Ｎｏ）、処理部１２３−１は、ステップＳ２２に処理を進める。
【０１５０】
（ステップＳ２２）処理部１２３−１は、インデックスとしての変数ｋに、値１を加算する。
（ステップＳ２３）処理部１２３−１は、カメラ６４−１が撮像した画像ａｋを取り込む。処理部１２３−１は、取り込まれた画像ａｋを、画像ｃｋとしてメモリー１２７−１に一時的に記憶させる。処理部１２３−１は、画像ｃｋに変換及び圧縮処理を施すことにより、送信用の画像ｄｋを生成する。画像ｃｋは、ブレが収まっている画像であるため、ヘッドマウントディスプレイ１−２のユーザーに観察されても、動画酔いさせることがない。
【０１５１】
（ステップＳ２４）処理部１２３−１は、生成した画像ｄｋを、自装置の通信部を介してヘッドマウントディスプレイ１−２及びサーバー２００に送信する。これにより、ヘッドマウントディスプレイ１−２の表示パネル６３−２には、ヘッドマウントディスプレイ１−１が生成した画像ｄｋが表示されることになる。
（ステップＳ２５）処理部１２３−１は、ユーザーによる操作入力により、撮像を終了させる指示を受信したか否かを判定する。撮像を終了させる指示を受信した場合（ステップＳ２５：Ｙｅｓ）、処理部１２３−１は、処理を終了させる。一方、撮像を終了させる指示を受信していない場合（ステップＳ２５：Ｎｏ）、処理部１２３−１は、ステップＳ５に処理を戻す。
【０１５２】
以上のように、第１画像及び第２画像を含む画像処理装置は、画像列（図１１では、例えば、画像ａ１〜画像ａ９）におけるブレ量を画像毎に検出（例えば、差分画像、角速度又は地磁気に基づいて検出）する検出部としての処理部１２３（図８を参照）と、前記第１画像（図１１では、例えば、画像ａ４）に所定閾値以上のブレ量が検出された場合、前記所定閾値以上のブレ量が検出されない前記第２画像（図１１では、例えば、画像ａ４の直前の画像ａ３）を選択する画像処理部としての処理部１２３と、を備える。
この構成により、処理部１２３は、前記第１画像に所定閾値以上のブレ量が検出された場合、前記所定閾値以上のブレ量が検出されない前記第２画像を選択する。つまり、処理部１２３は、複雑な画像処理により画像のブレを補正する必要がない。これにより、画像処理装置は、装置が大型化することなく、且つ、ユーザーに動画酔いをさせないようにすることができる。
【０１５３】
また、前記検出部としての処理部１２３は、第３画像（図１１では、例えば、画像ａ６）を含む前記画像列におけるブレ量を画像毎に検出し、前記画像処理部としての処理部１２３は、前記第２画像（図１１では、例えば、画像ａ３）を選択中に、前記第３画像のブレ量が前記所定閾値未満となった場合、前記第３画像を選択する。
また、前記画像処理部としての処理部１２３は、前記第２画像（図１１では、例えば、画像ａ３（＝画像ｂ３））及び前記第３画像（図１１では、例えば、画像ａ６（＝画像ｃ６））の少なくとも一方に基づいて、第４画像（図１１では、例えば、画像ｄ６）を生成する。
【０１５４】
また、前記画像処理部としての処理部１２３は、前記第２画像から前記第３画像に徐々に変化させた画像として、前記第４画像を生成する。
また、前記画像処理部としての処理部１２３は、スライドアウト処理を前記第２画像に施し、スライドイン処理を前記第３画像に施すことにより、前記第４画像を生成する。
【０１５５】
また、画像処理装置は、前記第２画像及び前記第３画像のうち少なくとも一方を送信する第１送信部（通信部）を備える。
また、画像処理装置は、前記第４画像（図１１では、例えば、画像ｄ６及び画像ｄ７）を送信する第２送信部（通信部）を備える。
【０１５６】
つまり、撮像した画像を送信する側のヘッドマウントディスプレイ１−１（図９を参照）は、撮像した画像にブレが発生している場合、ブレが発生した直前の画像を送り続ける。また、前記画像処理部としての処理部１２３−１は、撮像した画像にブレが発生しなくなった場合、ブレの収まった画像（第３画像）を、動画として送信し続ける。また、前記画像処理部としての処理部１２３−１は、ブレが発生した直前の画像から、ブレが収まった画像に切り替える際、ブレが発生した直前の画像と、ブレが収まった画像とに基づいて、例えば、クロスフェード等のトランジションの画像を生成する。ユーザーは、この一連の生成された画像を、動画酔いすることなく（違和感なく）観察することができる。
【０１５７】
なお、音声データは、画像にブレが発生しているか否かにかかわらず、送信する側のヘッドマウントディスプレイ１−１から、受信する側のヘッドマウントディスプレイ１−２及びサーバー２００に送信される。したがって、受信する側のヘッドマウントディスプレイ１−２のユーザーは、画像にブレが発生しているか否かにかかわらず、音声を連続的に聞くことができる。また、サーバー２００は、画像にブレが発生しているか否かにかかわらず、音声データを連続的に記憶することができる。
【０１５８】
また、撮像装置としてのディスプレイ本体２０は、撮像するカメラ６４と、画像処理装置と、を備える。
また、ヘッドマウントディスプレイ（頭部装着型情報入出力装置）は、撮像するカメラ６４と画像処理装置とを有する撮像装置としてのディスプレイ本体２０と、該撮像装置を支持するヘッドバンド４０と、を備える。
【０１５９】
また、画像処理プログラムは、コンピュータに、第１画像及び第２画像を含む画像列におけるブレ量を画像毎に検出する手順と、前記第１画像に所定閾値以上のブレ量が検出された場合、前記所定閾値以上のブレ量が検出されない前記第２画像を選択する手順と、を実行させる。
【０１６０】
［第２実施形態］
第２実施形態では、ブレが大きい画像を受信側が処理する点が、第１実施形態と相違する。第２実施形態では、第１実施形態との相違点についてのみ説明する。
【０１６１】
第２実施形態では、カメラ６４−２（図９を参照）は、初期状態では、景色３１０の領域３１１を撮像しているものとする。この初期状態からユーザーが首を左から右に振るなどして、急激なパン動作が行われたことにより、カメラ６４−２は、景色３１０の領域３１２を撮像することになるものとして説明を続ける。
【０１６２】
また、第２実施形態では、画像ａ１（図１１を参照）は、第１画像フレームとして、カメラ６４−２により動画形式で撮像された画像（図１０では、領域３１１）である。また、画像ａ２は、第２画像フレームとして、カメラ６４−２により動画形式で撮像された画像である。画像ａ３〜画像ａ９についても同様である。ここで、画像ａ８は、第８画像フレームとして、カメラ６４−２により動画形式で撮像された画像（図１０では、領域３１２）である。
【０１６３】
ヘッドマウントディスプレイ１−２の処理部１２３−２は、カメラ６４−２が撮像した画像（図１１では、画像ａ１〜画像ａ９）を、自装置の通信部を介して、ヘッドマウントディスプレイ１−１及びサーバー２００に送信する。
【０１６４】
次に、送信側から送信された画像から、ブレが大きい画像が、画像を受信する側のヘッドマウントディスプレイ１−１により取り除かれる場合の動作手順の例を説明する。
図１３は、受信側のヘッドマウントディスプレイの動作手順の例を示すフローチャートである。
（ステップＳａ１）ヘッドマウントディスプレイ１−１の処理部１２３−１は、インデックスとしての変数iに、初期値１を書き込む。また、処理部１２３−１は、インデックスとしての変数ｋに、初期値１を書き込む。
【０１６５】
（ステップＳａ２）処理部１２３−１は、自装置の通信部（例えば、３Ｇ／ＬＴＥ通信回路１３８−１、又は、ＷｉＦｉ通信回路１３１−１）により受信された画像ａ１を取り込む。
【０１６６】
（ステップＳａ３）処理部１２３−１は、取り込まれた画像ａ１を、画像ｂ１としてメモリー１２７−１に一時的に記憶させる。
（ステップＳａ４）処理部１２３−１は、インデックスとしての変数iに、値１を加算する。また、処理部１２３−１は、インデックスとしての変数ｋに、値１を加算する。
【０１６７】
（ステップＳａ５）処理部１２３−１は、自装置の通信部により受信された画像ａｉを取り込む。
（ステップＳａ６）処理部１２３−１は、取り込まれた画像ａｉを表示フォーマット画像ｄｉに変換し、表示パネル６３−１に表示させる。
【０１６８】
（ステップＳａ７）処理部１２３−１は、取り込まれた画像ａｉを、画像ｂｉとしてメモリー１２７−１に一時的に記憶させる。
（ステップＳａ８）処理部１２３−１は、画像ｂｉと画像ｂ（ｉ−１）とを比較し、差分画像におけるブレ量を検出する。なお、処理部１２３−１は、画像と共にヘッドマウントディスプレイ１−２から受信した環境情報に基づいて、ヘッドマウントディスプレイ１−２の角速度を、画像ｂｉにおけるブレ量として検出してもよい。
【０１６９】
（ステップＳａ９）処理部１２３−１は、差分画像におけるブレ量が第２閾値以上であるか否か（急激なパン動作が行われたか否か）、すなわち、画像ａｉがブレ大であるか否かを判定する。差分画像におけるブレ量が第２閾値以上である場合（ステップＳａ９：Ｙｅｓ）、処理部１２３−１は、ステップＳａ１０に処理を進める。一方、差分画像におけるブレ量が第２閾値以上でない場合（ステップＳａ９：Ｎｏ）、処理部１２３−１は、ステップＳａ４に処理を戻す。ここで、第２閾値は、予め定められた値である。
【０１７０】
（ステップＳａ１０）処理部１２３−１は、自装置の通信部により受信された画像ａｋを取り込む。
（ステップＳａ１１）処理部１２３−１は、取り込まれた画像ａｋを、画像ｃｋとしてメモリー１２７−１に一時的に記憶させる。
【０１７１】
（ステップＳａ１２）処理部１２３−１は、インデックスとしての変数ｋに、値１を加算する。
（ステップＳａ１３）処理部１２３−１は、メモリー１２７−１に一時的に記憶されている画像ｂｉ、すなわち、大きなブレが発生する直前の画像である画像ｂｉを、表示フォーマット画像ｄｉに変換し、表示パネル６３−１に表示させる。
【０１７２】
（ステップＳａ１４）処理部１２３−１は、自装置の通信部により受信された画像ａｋを取り込む。また、処理部１２３−１は、取り込まれた画像ａｋを、画像ｃｋとしてメモリー１２７−１に一時的に記憶させる。
（ステップＳａ１５）処理部１２３−１は、画像ｃｋと画像ｃ（ｋ−１）との差分画像におけるブレ量を検出する。
【０１７３】
（ステップＳａ１６）処理部１２３−１は、差分画像におけるブレ量が第２閾値以上であるか否か（急激なパン動作が行われたか否か）、すなわち、画像ｃｋがブレ大であるか否かを判定する。差分画像におけるブレ量が第２閾値以上である場合（ステップＳａ１６：Ｙｅｓ）、処理部１２３−１は、ステップＳａ１１に処理を戻す。このように、ブレ量が第２閾値以上である場合、ステップＳａ１３が繰り返されることで、ブレの小さい画像ｄｉは、表示パネル６３−１に表示され続けることになる。一方、差分画像におけるブレ量が第２閾値以上でない場合（ステップＳａ１６：Ｎｏ）、処理部１２３−１は、ステップＳａ１７に処理を進める。
【０１７４】
（ステップＳａ１７）処理部１２３−１は、トランジションの画像を表示する時間を定めるためのカウンターとしての変数ｐに、初期値０を書き込む。トランジションの画像を表示させる理由は、上述した通りである。
（ステップＳａ１８）処理部１２３−１は、インデックスとしての変数ｋに、値１を加算する。また、処理部１２３−１は、カウンターとしての変数ｐに、値１を加算する。
【０１７５】
（ステップＳａ１９）処理部１２３−１は、保持された画像ｂｉ（大きなブレが発生する直前の画像）と、「ブレ小」に遷移した画像ｃｋ（パン動作が収まりつつある画像ｃｋ）とに基づく画像ｄｋを生成する。
（ステップＳａ２０）処理部１２３−１は、生成された（例えば、クロスフェードにより合成された）画像ｄｋを、表示パネル６３−１に表示させる。
【０１７６】
（ステップＳａ２１）処理部１２３−１は、自装置の通信部により受信された画像ａｋを取り込む。また、処理部１２３−１は、取り込まれた画像ａｋを、画像ｃｋとしてメモリー１２７−１に一時的に記憶させる。
【０１７７】
（ステップＳａ２２）処理部１２３−１は、画像ｃｋと画像ｃ（ｋ−１）との差分画像におけるブレ量を検出する。なお、処理部１２３−１は、ヘッドマウントディスプレイ１−２の環境情報に基づいて、ヘッドマウントディスプレイ１−２の角速度を、画像ｃｋにおけるブレ量として検出してもよい。
【０１７８】
（ステップＳａ２３）処理部１２３−１は、差分画像におけるブレ量が第２閾値以上であるか否か（急激なパン動作が行われたか否か）、すなわち、画像ａｋがブレ大であるか否かを判定する。差分画像におけるブレ量が第２閾値以上である場合（ステップＳａ２３：Ｙｅｓ）、処理部１２３−１は、ステップＳａ１１に処理を戻す。一方、差分画像におけるブレ量が第２閾値以上でない場合（ステップＳａ２３：Ｎｏ）、処理部１２３−１は、ステップＳａ２４に処理を進める。
【０１７９】
（ステップＳａ２４）処理部１２３−１は、カウンターとしての変数ｐが、値２未満であるか否かを判定する。ここで、値２は一例である。処理部１２３−１は、カウンターとしての変数ｐが、値２未満である場合（ステップＳａ２４：Ｙｅｓ）、処理部１２３−１は、ステップＳａ１８に処理を戻す。これにより、生成された（例えば、クロスフェードにより合成された）画像ｄｋは、ステップＳａ２０において表示されることになる。一方、カウンターとしての変数ｐが値２未満でない（遷移が完了した）場合（ステップＳａ２４：Ｎｏ）、処理部１２３−１は、ステップＳａ２５に処理を進める。
【０１８０】
（ステップＳａ２５）処理部１２３−１は、インデックスとしての変数ｋに、値１を加算する。
（ステップＳａ２６）処理部１２３−１は、自装置の通信部により受信された画像ａｋを取り込む。処理部１２３−１は、取り込まれた画像ａｋを、画像ｃｋとしてメモリー１２７−１に一時的に記憶させる。
【０１８１】
（ステップＳａ２７）処理部１２３−１は、画像ｃｋを表示フォーマット画像ｄｋに変換し、表示パネル６３−１に表示させる。画像ｃｋは、ブレが収まっている画像であるため、ヘッドマウントディスプレイ１−１のユーザーに観察されても、動画酔いさせることがない。
【０１８２】
（ステップＳａ２８）処理部１２３−１は、ユーザーによる操作入力により、画像の受信を終了させる指示を受信したか否かを判定する。画像の受信を終了させる指示を受信した場合（ステップＳａ２８：Ｙｅｓ）、処理部１２３−１は、処理を終了させる。一方、画像の受信を終了させる指示を受信していない場合（ステップＳａ２８：Ｎｏ）、処理部１２３−１は、ステップＳａ４に処理を戻す。
【０１８３】
以上のように、画像処理装置は、前記第２画像（図１１では、例えば、画像ａ１（＝画像ｄ１）〜画像ａ３（＝画像ｄ３））、及び、前記第３画像（図１１では、例えば、画像ａ６〜画像ａ９）のうち少なくとも一方を表示する表示パネル６３を備える。
また、画像処理装置は、前記第４画像（図１１では、例えば、画像ｄ６及び画像ｄ７）を表示する表示パネル６３を備える。
【０１８４】
つまり、撮像された画像を受信する側のヘッドマウントディスプレイ１−１（図９を参照）は、撮像された画像にブレが発生している場合、ブレが発生した直前の画像を表示し続ける。また、前記画像処理部としての処理部１２３−１は、撮像した画像にブレが発生しなくなった場合、ブレの収まった画像（第３画像）を、動画として送信し続ける。また、前記画像処理部としての処理部１２３−１は、ブレが発生した直前の画像から、ブレが収まった画像に切り替える際、ブレが発生した直前の画像と、ブレが収まった画像とに基づいて、例えば、クロスフェード等のトランジションの画像を生成する。ユーザーは、この一連の生成された画像を、動画酔いすることなく（違和感なく）観察することができる。
【０１８５】
なお、音声データは、画像にブレが発生しているか否かにかかわらず、受信する側のヘッドマウントディスプレイ１−１から継続して出力される。したがって、受信する側のヘッドマウントディスプレイ１−１のユーザーは、画像にブレが発生しているか否かにかかわらず、音声を連続的に聞くことができる。
【０１８６】
また、サーバー２００は、撮像された動画を、送信する側のヘッドマウントディスプレイ１−２の代わりに、受信する側のヘッドマウントディスプレイ１−１に送信してもよい。つまり、ヘッドマウントディスプレイ１−１及びサーバー２００は、動画の再生プレーヤーとして機能する。この場合、ブレが発生している画像に施す画像処理は、サーバー２００が実行してもよいし、ヘッドマウントディスプレイ１−１が実行してもよい。これにより、ヘッドマウントディスプレイ１−１及びサーバー２００は、過去に撮像された動画にブレが発生している場合でも、それを視聴するユーザーが動画酔いなどの症状を起こさないよう、ブレが発生していない動画を再生することができる。
【０１８７】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【０１８８】
例えば、カメラ６４が撮像した画像は、その画像の一部（表示領域）が切り出されることにより、手振れによるブレが除去（手振れ補正）された画像であってもよい。ここで、カメラ６４が撮像した画像におけるブレが所定量以下の場合、処理部１２３は、ソフトウェアによる画像処理により、手振れによるブレを画像から除去してもよい。
【０１８９】
また、上記に説明した画像処理装置、撮像装置、及び頭部装着型情報入出力装置を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、実行処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。
【０１９０】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリー等の書き込み可能な不揮発性メモリー、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
【０１９１】
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリー（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【符号の説明】
【０１９２】
１…ヘッドマウントディスプレイ、２０…ディスプレイ本体、２１…装置本体部、２１Ａ…筐体（装置本体部）、２３…耳元スピーカー、２４…集音マイク、２５…ＵＳＢコネクター、２６…オーディオコネクター、２７…ビデオコネクター、２８…メインスイッチ、２９…回路基板、３０…操作スイッチ、３１…連結孔、３２…ヘッドバンドヒンジ、３３…バッテリー、３４…タッチスイッチ、３５…バックライト（本体）、３６…表示パネル（本体）、３７…通話マイク、４０…ヘッドバンド（装着部）、４１…ピン、４３…第１ヘッドバンド、４３ａ…ジョイント部、４３ｂ…軸受部、４３ｃ…軸受部、４３ｄ…軸受部、４３ｅ…軸受部、４４…第２ヘッドバンド、４６…ヘッドパット、４６ａ…支持板、４６ｂ…弾性部材、４７…ヘッドパット、４８…バネ部材、４９…標章表示部、５６…回動機構、５７…回動機構、６０…表示部、６１…ディスプレイヒンジ、６２…バックライト（表示部）、６３…表示パネル（表示部）、６４…カメラ、６５…プリズム、６６…反射ミラー、６７…ファインダー開口部、６８…前方ライト、７０…前方スピーカー、７１…結像レンズ、７２…撮像素子（撮像部）、７３…レーザー発振器、１００…ステレオイヤホン、１０１…オーディオコネクター、１０２…ケーブル、１０３…第１スピーカー、１０４…第２スピーカー、１０５…集音マイク、１０６…クリップ、１２０…電源回路、１２１…デコーダー、１２２…フラッシュメモリー、１２３…処理部、１２５…ＬＣＤドライバ、１２６…ＢＬドライバ、１２７…メモリー、１２８…メインスイッチ、１２９…エンコーダー、１３０…ＢＴ通信回路、１３１…ＷｉＦｉ通信回路、１３２…加速度センサー、１３３…地磁気センサー、１３４…角速度センサー、１３５…ＧＰＳセンサー、１３６…温湿度センサー、１３７…心拍数センサー、１３８…３Ｇ／ＬＴＥ通信回路、１４０…リモコン、１４１…タッチパッド、１４７…操作スイッチ、１４２…ＵＳＢコネクター、１４３ａ，１４３ｂ，１４３ｃ…インジケーター、１４４…取付クリップ、１４７…操作スイッチ、１４８…ＵＳＢケーブル、１４９…クリップ、１５０…インジケータースイッチ、１５１…ヘッドバンドセンサー、１６２…スピーカーアンプ
【図１】
2014017775.tif 000003
【図２】
2014017775.tif 000004
【図３】
2014017775.tif 000005
【図４】
2014017775.tif 000006
【図５】
2014017775.tif 000007
【図６】
2014017775.tif 000008
【図７】
2014017775.tif 000009
【図８】
2014017775.tif 000010
【図９】
2014017775.tif 000011
【図１２】
2014017775.tif 000012
【図１３】
2014017775.tif 000013
【図１０】
2014017775.tif 000014
【図１１】
2014017775.tif 000015