(57)【要約】      （修正有）【課題】飲食施設において顧客が飲食をより楽しむことができる付加的なサービスを提供する。【解決手段】飲食物が提供される施設において顧客により装着されるヘッドマウントディスプレイであって、画像コンテンツを表示する表示部と、撮像装置により撮像された所定の飲食物の画像を順次取得する取得部と、取得部により第一の取得時において取得された飲食物の画像に対する、取得部による第二の取得時における所定の変化の有無を判定する判定部と、判定部により第二の取得時において、飲食物の画像が第一の取得時において取得された飲食物の画像から変化が有ったと判定された場合に、画像コンテンツに第一の所定の変化を加える画像処理部と、を備える。【選択図】図２
2019219896.tif 000002
【特許請求の範囲】
【請求項１】
飲食物が提供される施設において顧客により装着されるヘッドマウントディスプレイであって、
画像コンテンツを表示する表示部と、
撮像装置により撮像された所定の飲食物の画像を順次取得する取得部と、
前記取得部により第一の取得時において取得された前記飲食物の画像に対する、前記取得部による第二の取得時における所定の変化の有無を判定する判定部と、
前記判定部により前記第二の取得時において、前記飲食物の画像が前記第一の取得時において取得された前記飲食物の画像から前記変化が有ったと判定された場合に、前記画像コンテンツに第一の所定の変化を加える画像処理部と、
を備えることを特徴とするヘッドマウントディスプレイ。
【請求項２】
前記取得部は、前記飲食物の画像または前記飲食物が載置された食器の画像を取得し、
前記判定部は、前記取得部により第一の取得時において取得された前記飲食物または前記食器の画像における飲食物の量と、前記第二の取得時において取得された前記飲食物または前記食器の画像における飲食物の量とを比較し、前記第二の取得時において前記飲食物の量が前記第一の取得時における前記飲食物の量よりも減少しているか否かを判定し、
前記画像処理部は、前記判定部により前記第二の取得時において、前記第二の取得時において前記飲食物の量が前記第一の取得時における前記飲食物の量よりも減少していると判定された場合に、前記画像コンテンツに所定の変化を加えること、
を特徴とする請求項１に記載のヘッドマウントディスプレイ。
【請求項３】
前記取得部は、前記飲食物の量を特定するための識別情報が含まれる前記飲食物の画像または前記食器の画像を取得し、
前記判定部は、前記取得部により取得された前記第二の取得時における前記飲食物の画像または前記食器の画像に含まれる識別情報が示す前記飲食物の量が、前記第一の取得時における前記飲食物の画像または前記食器の画像に含まれる識別情報が示す前記飲食物の量よりも減少しているか否かを判定すること、
を特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項４】
前記取得部は、所定の識別情報により識別される複数個からなる飲食物の画像、または所定の識別情報により識別可能な飲食物の量が示される食器の画像を取得し、
前記判定部は、前記取得部により第一の取得時において取得された前記飲食物の画像に含まれる識別情報が示す飲食物の個数、または前記食器の画像に含まれる識別情報が示す飲食物の量が、前記取得部による第二の取得時において取得された前記飲食物の画像において所定数減少しているか否かを判定し、
前記画像処理部は、前記判定部により前記第二の取得時において、前記飲食物の画像が前記第一の取得時において取得された前記飲食物の画像から前記飲食物の個数が所定数減少していると判定された場合に、前記画像コンテンツに所定の変化を加えること、
を特徴とする請求項２に記載のヘッドマウントディスプレイ。
【請求項５】
前記表示部は、所定のキャラクター画像を含む画像コンテンツを表示し、
前記画像処理部は、前記判定部により前記第二の取得時において、前記飲食物の画像が前記第一の取得時において取得された前記飲食物の画像から前記変化が有ったと判定された場合に、前記キャラクター画像の表情または動作に所定の変化を加えること、
を特徴とする請求項１〜４のいずれか１つに記載のヘッドマウントディスプレイ。
【請求項６】
前記表示部は、所定のストーリー画像を含む画像コンテンツを表示し、
前記画像処理部は、前記判定部により前記第二の取得時において、前記飲食物の画像が前記第一の取得時において取得された前記飲食物の画像から前記変化が有ったと判定された場合に、前記ストーリー画像に所定の展開を加えること、
を特徴とする請求項１〜５のいずれか１つに記載のヘッドマウントディスプレイ。
【請求項７】
前記顧客の所定の動作を検知する検知部、
をさらに備え、
前記判定部は、前記検知部により前記動作が検知された場合に、前記取得部により第一の取得時において取得された前記飲食物の画像に対する、前記取得部による第二の取得時における所定の変化の有無を判定すること、
を特徴とする請求項１〜６のいずれか１つに記載のヘッドマウントディスプレイ。
【請求項８】
前記検知部は、前記顧客により、前記食器から前記飲食物を前記表示部における前記キャラクター画像が表示される位置に移動する動作を検知し、
前記判定部は、前記検知部により前記食器から前記飲食物を前記表示部における前記キャラクター画像が表示される位置に移動する動作が検知されたか否かを判定し、
前記画像処理部は、前記判定部により記食器から前記飲食物を前記表示部における前記キャラクター画像が表示される位置に移動する動作が検知されたと判定された場合に、前記キャラクター画像の表情または動作に所定の変化を加える、または、前記画像コンテンツに所定の変化を加えること、
を特徴とする請求項７に記載のヘッドマウントディスプレイ。
【請求項９】
前記撮像装置は、前記ヘッドマウントディスプレイまたは前記施設に備えられること、
を特徴とする請求項１〜８のいずれか１つに記載のヘッドマウントディスプレイ。
【請求項１０】
飲食物が提供される施設において顧客により装着されるヘッドマウントディスプレイにおける画像処理方法であって、
画像コンテンツを表示する表示ステップと、
撮像装置により撮像された所定の飲食物の画像を取得する取得ステップと、
前記取得ステップにより第一の取得時において取得された前記飲食物の画像に対する、前記取得部による第二の取得時における所定の変化の有無を判定する判定ステップと、
前記判定ステップにより前記第二の取得時において、前記飲食物の画像が前記第一の取得時において取得された前記飲食物の画像から前記変化が有ったと判定された場合に、前記画像コンテンツの画像に所定の変化を加える画像処理ステップと、
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ヘッドマウントディスプレイおよび画像処理方法に関する。
【背景技術】
【０００２】
従来、レストランなどの飲食物を提供する施設において、配膳されるまでの待機時間、あるいは、食後のひとときを有意義に過ごすことができるようにすることを目的として、ゲームなどのエンターテインメントを提供するシステムが多数提案されている。
【０００３】
例えば、メニューなどの表示をゲーム要素とするゲームを、管理コンピュータに予めプレイ形式、あるいは、懸賞やクイズ等の形式で設定しておき、ユーザが、レストランのテーブルに設置されたタッチ画面に表示されるゲーム表示をタッチ操作することにより、ゲームを画面上で実行できるシステムなどが開示されている（例えば、特許文献１）。
【０００４】
このようなレストランなどの施設において提供されるエンターテインメントの多くは、会計時なども含めた飲食の前後に楽しむことを目的とされている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３１７１５５号公報
【特許文献２】特開２００４−０５７２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、近年、カフェやレストランに１人で入店する顧客の増加に伴い、食事中にも顧客が食事をより楽しめる付加的なサービスを提供することで、顧客に飲食に対する高い満足感を提供することが要望されている。
【０００７】
そこで、本発明は、顧客が飲食をより楽しむことができるヘッドマウントディスプレイおよび画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、本発明に係るヘッドマウントディスプレイは、飲食物が提供される施設において顧客により装着されるヘッドマウントディスプレイであって、画像コンテンツを表示する表示部と、撮像装置により撮像された所定の飲食物の画像を順次取得する取得部と、取得部により第一の取得時において取得された飲食物の画像に対する、取得部による第二の取得時における所定の変化の有無を判定する判定部と、判定部により第二の取得時において、飲食物の画像が第一の取得時において取得された飲食物の画像から変化が有ったと判定された場合に、画像コンテンツに第一の所定の変化を加える画像処理部と、を備える。
【発明の効果】
【０００９】
本実施形態によれば、顧客の飲食に伴い動画コンテンツに含まれる画像に変化が付加されるので、レストランなどの飲食施設において顧客が飲食をより楽しむことができる。また、本実施形態によれば、顧客の様々な飲食状態や動作に応じて、動画コンテンツに含まれる画像に付加する変化を異ならせるので、よりバラエティに富んだ飲食の時間を楽しむことができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態におけるヘッドマウントディスプレイの概要を示す概略図である。
【図２】本実施形態におけるヘッドマウントディスプレイの機能構成の一例を示すブロック図である。
【図３】本実施形態における顧客に提供される飲食物の画像に飲食物の減少量を示す識別情報が付与された画像の一例を示す図である。
【図４】本実施形態における顧客による飲食により提供された飲食物の減少量の一例を示す図である。
【図５】本実施形態における動画コンテンツに含まれる所定の画像に対して付加される所定の変化の一例を示す図である。
【図６】本実施形態における変化付加ルールの一例を示す図である。
【図７】本実施形態におけるヘッドマウントディスプレイによる動画コンテンツの画像に対する変化の付加処理の流れを示すフローチャートである。
【図８】本実施形態における顧客の所定の動作が検知された場合における、ヘッドマウントディスプレイによる動画コンテンツの画像に対する変化の付加処理の流れを示すフローチャートである。
【図９】本実施形態における顧客が飲食物を完食した場合における、ヘッドマウントディスプレイによる動画コンテンツの画像に対する変化の付加処理の流れを示すフローチャートである。
【図１０】本実施形態における制御装置を実現可能なコンピュータの一例を示すハードウェア構成図である。
【発明を実施するための形態】
【００１１】
以下に、図面を用いて本発明に係るヘッドマウントディスプレイおよび画像処理方法の実施の形態を説明する。なお、この実施の形態により本発明が限定されるものではない。
【００１２】
図１は、本実施形態におけるヘッドマウントディスプレイの概要を示す概略図である。図１に示すように、ヘッドマウントディスプレイ１００は、サングラスの形状からなり、制御装置１１０、撮像装置（カメラ）１３０、表示部１４０を備える。ヘッドマウントディスプレイ１００は、レストランやカフェなどの飲食物を提供する施設（以下、飲食施設という。）において顧客により装着される。なお、ヘッドマウントディスプレイ１００の形状は、サングラスの形状のほか、ゴーグルの形状など他の形状であってもよい。
【００１３】
図２は、本実施形態におけるヘッドマウントディスプレイ１００の機能構成の一例を示すブロック図である。以下、図２を用いてヘッドマウントディスプレイ１００の機能構成について説明する。
【００１４】
図２に示すように、ヘッドマウントディスプレイ１００は、制御装置１１０と、撮像装置１３０と、表示部１４０とを備えている。
【００１５】
制御装置１１０は、記憶部１２０と、制御部１０１とを備える。なお、本実施形態では、制御装置１１０をヘッドマウントディスプレイ１００が備える構成を例示するが、これに限定されず、例えば、外部の端末（図示せず）が制御装置１１０と、通信制御部（図示せず）とを備え、ヘッドマウントディスプレイ１００は通信制御部（図示せず）を備え、通信によりヘッドマウントディスプレイ１００の表示部１４０に出力する画像を処理する構成としてもよい。
【００１６】
記憶部１２０は、キャラクターや景色などの画像を含む画像コンテンツ、変化付加ルールなどを記憶する。ここで、画像コンテンツとは、静止画、映像、音声などを含むデータであり、本実施形態では、以下、動画コンテンツを例示して説明する。また、変化付加ルールとは、撮像装置１３０を介して取得された顧客に提供された飲食物または飲食物が載置された食器（以下、特に明示する場合を除き、食器という。）の画像の所定の変化または顧客による所定の動作に対応付けられた、動画コンテンツに含まれる所定の画像に対して付加する所定の変化を定めたルールである。ここで、飲食物または食器の画像の所定の変化とは、顧客に提供された飲食物が顧客により飲食されることにより減少する変化である。また、顧客による所定の動作とは、動画コンテンツに含まれるキャラクター画像が表示される方向に飲食物をスプーンなどで運んで、キャラクターに飲食物を分けてあげるような動作などである。
【００１７】
図３は、顧客に提供される飲食物の画像に飲食物の減少量を示す識別情報が付与された画像の一例を示す図である。記憶部１２０には、あらかじめ飲食施設が提供するメニューに対応する飲食物の画像が保存されており、当該飲食物の画像には、顧客による飲食により減少していく飲食物の量を識別可能な情報が付加されている。図３（ａ）は、マカロンの提供時の画像を示す図であり、マカロン２００の皿には斜線が付されたマカロン２００ａ、点模様が付されたマカロン２００ｂ、網目模様が付されたマカロン２００ｃの３個が載置されている。マカロン２００ａ〜マカロン２００ｃはそれぞれ異なる色で識別され、例えば、マカロン２００ａは赤、マカロン２００ｂは黄色、マカロン２００ｃは白などであってもよい。また、図３（ｂ）は、パンケーキの提供時の画像を示すであり、パンケーキ３００は、６分割を示す実線が付されたパンケーキ３００ａ〜３００ｆにマーキングされている。さらに、図３（ｃ）は、コーヒーの提供時の画像を示す図であり、コーヒーカップ４００の中におけるコーヒーの位置を示す目盛り４００ａ〜４００ｄがコーヒーカップ４００に付加されている。なお、図３において、飲食物の減少量を示すマーカーとして符号を用いて説明するが、これに限定されず、飲食物の減少量を示す各画像に二次元コードや模様などを付加し、これらによって識別することとしてもよい。
【００１８】
図４は、顧客による飲食により提供された飲食物の減少量の一例を示す図である。図４（ａ）は、図３（ａ）に示したマカロン２００のうち点模様が付されたマカロン２００ｂがなくなった状態を示す。また、図４（ｂ）は、図３（ｂ）に示した６分割されたパンケーキ３００のうち、パンケーキ３００ｂとパンケーキ３００ｃのカットがなくなっている。さらに、図４（ｃ）は、図３（ｃ）に示したコーヒーカップ４００の中におけるコーヒーの位置が、図３（ｃ）における目盛り４００ａまであったコーヒーの量が、目盛り４００ｃまで減った状態を示す。
【００１９】
図５は、動画コンテンツに含まれる所定の画像に対して付加される所定の変化の一例を示す図である。図５（ａ）は、動画コンテンツに含まれるキャラクター画像であって、変化が付加されていない状態を示す図である。例えば、動画コンテンツは、図５（ａ）に示すうさぎのキャラクターが登場し、顧客と一緒に飲食する動画であり、顧客に飲食物が提供された時点では、うさぎは無表情で椅子に座っている画像が表示される。また、図５（ｂ）は、動画コンテンツに含まれるキャラクター画像に付加される第１の変化を示す図である。図５（ｂ）では、顧客による飲食に伴い飲食物の量の減少により、うさぎの画像は図５（ａ）の画像から、喜んだ表情および動作を示す画像に変更されることとなる。また、図５（ｃ）は、動画コンテンツに含まれるキャラクター画像に付加される第２の変化を示す図である。図５（ｃ）では、顧客がうさぎに飲食物を食べさせてあげるような所定の動作が検知された場合に、図５（ａ）の画像から、うさぎの背景に城が出現した画像に変更されることとなる。さらに、図５（ｄ）は、動画コンテンツに含まれるキャラクター画像に付加される第３の変化を示す図である。図５（ｄ）では、顧客が提供された飲食物の完食が検知された場合に、図５（ａ）の画像から、うさぎの周りに花が咲いている画像に変更されることとなる。なお、これらの画像に付加される変化は一例であり、これらの他、うさぎが所定のストーリーを語ったり、キャラクターが増えたりするような多種多様な変化であってもよい。
【００２０】
図６は、変化付加ルールの一例を示す図である。図６に示すように、飲食物または食器の画像の状態を示す飲食物の量の変化ＩＤに、動画の変化ＩＤが対応付けられている。図６に示す変化付加ルールでは、飲食物の量の変化がない状態（提供時）の動画の変化ＩＤを「ａ０００」（変化なしを示す図３（ａ））、飲食物が所定量減少した場合の動画の変化ＩＤを「ｂ００１」（第１の変化を示す図３（ｂ））、キャラクターに飲食物を食べさせる動作が検知された場合の動画の変化ＩＤを「ｂ００２」（第２の変化を示す図３（ｃ））、飲食物の画像が全て消滅した場合（完食時）の動画の変化ＩＤを「ｂ００３」（第３の変化を示す図３（ｄ））として、動画の変化が３種類に分類されている。例えば、飲食物または食器の画像の状態「マカロン２００（提供時）」を示す飲食物の量の変化ＩＤ「Ａ２００」には、動画の変更が付加されない動画の変化ＩＤ「ａ０００」が対応付けられており、飲食物または食器の画像の状態「マカロン２００ａ〜２００ｃのいずれか１つの減少」を示す飲食物の量の変化ＩＤ「Ａ２００」には、動画の変更が付加されない動画の変化ＩＤ「ｂ００１」が対応付けられている。記憶部１０２には、顧客に提供される状態の飲食物または食器の画像と、飲食物が所定量ずつ減少した画像とが保存されている。また、動画コンテンツに対する所定の変化とは、動画コンテンツに含まれる画像に対して付加される所定の変化である。また、所定の識別情報とは、飲食物の量が減少していることを識別可能な情報であればよく、二次元コードや、模様などであってもよい。なお、本実施形態では、動画の変化の種類を３種類に分類しているが、１種類であってもよいし、さらに多種類に分類されることとしてもよい。
【００２１】
制御部１０１は、操作受付部１０２、取得部１０３と、検知部１０４と、判定部１０５と、画像処理部１０６と、表示制御部１０７とを備える。
【００２２】
操作受付部１０２は、従業員または顧客などのユーザからヘッドマウントディスプレイ１００の電源ボタン（図示せず）のオンやオフなどの操作を受け付ける。また、操作受付部１０２は、記憶部１２０に複数の動画コンテンツが保存されている場合、複数の動画コンテンツの中から視聴する動画コンテンツの選択などを受け付ける。
【００２３】
表示制御部１０７は、操作受付部１０２により電源オンの操作が受け付けられた場合に、記憶部１２０に記憶されている動画コンテンツを表示部１４０に出力表示する。また、表示制御部１０７は、画像処理部１０６により生成された動画コンテンツの画像に対して変化が付加された画像を表示部１４０に出力する。
【００２４】
表示部１４０は、ヘッドマウントディスプレイ１００におけるグラス状のレンズであって、レンズ上に映像（画像コンテンツ）が投影される。なお、他の例として、表示部１４０となるレンズの中に配置された映像生成エレメント（例えば、シースルーＯＬＥＤディスプレイ）などにより映像が生成された上で、生成された映像が表示部１４０に表示される構成としてもよい。
【００２５】
撮像装置１３０は、レンズを備えたカメラであって、ヘッドマウントディスプレイ１００の表示部付近に搭載される。なお、撮像装置１３０は、顧客が飲食するテーブル上の飲食物を撮像可能であればヘッドマウントディスプレイ１００のいずれの位置に搭載されてもよい。また、撮像装置１３０は、ヘッドマウントディスプレイ１００に搭載されるほか、当該飲食物を顧客が飲食することを撮像可能な飲食施設内に設置されることとしてもよい。
【００２６】
取得部１０３は、撮像装置１３０により撮像された飲食物および食器を含む画像を順次または連続して取得する。ここで、取得部１０３による飲食物および食器の画像の取得は順次または連続して取得されるが、以下の飲食物または画像の取得の変化の有無についての説明において、第１取得時、第２取得時という用語を用いて取得時を識別し、画像の取得時点を明記する。また、第１取得時と第２取得時との間の時間は、所定の時間差があればよく、第１取得時と第２取得時との間の時間は必ずしも毎回一定の時間でなくてよい。
【００２７】
検知部１０４は、撮像装置１３０により撮像された顧客の所定の動作を検知する。例えば、検知部１０４は、動画コンテンツに含まれるキャラクター画像が表示部１４０上に表示される方向に飲食物をスプーンなどで運んで、キャラクターに飲食物を分けてあげるような動作などの顧客による動画コンテンツの表示画像に対する動作を検知する。
【００２８】
判定部１０５は、取得部１０３により第１取得時において取得された飲食物の画像または食器の画像に含まれる飲食物の画像（以下、特に明示する場合を除き、飲食物の画像と総称する。）に対する、取得部１０３による第２取得時における所定の変化の有無を判定する。具体的には、判定部１０５は、取得部１０３による第２取得時における飲食物の画像が、第１取得時における飲食物の画像と比較して、記憶部１２０に記憶されている変化付加ルールに登録されている飲食物の量の変化ＩＤに対応する変化の有無を判定する。
【００２９】
また、判定部１０５は、顧客により飲食物が完食されたか否かを判定する。具体的には、判定部１０５は、取得部１０３により取得された画像において、飲食物が載置された食器の画像に飲食物が含まれない場合に、飲食物が完食されたと判定する。
【００３０】
画像処理部１０６は、判定部１０５により第２取得時における飲食物の画像が第１取得時において取得部１０３により取得された飲食物の画像から飲食物の量の変化ＩＤに対応する変化の有無があったと判定された場合に、動画コンテンツに所定の変化を付加する。具体的には、画像処理部１０６は、変化付加ルールに登録されている飲食物の量の変化ＩＤに対応付けられている動画の変化ＩＤを取得し、取得した動画の変化ＩＤにより識別される動画の変化を付加した画像を生成する。
【００３１】
次に、ヘッドマウントディスプレイ１００による動画コンテンツの画像に対する変化の付加処理を説明する。図７は、ヘッドマウントディスプレイ１００による動画コンテンツの画像に対する変化の付加処理の流れを示すフローチャートである。
【００３２】
表示制御部１０７は、記憶部１２０に記憶されている動画コンテンツの表示情報を表示部１４０に出力表示する(ステップＳ１)。取得部１０３は、顧客のテーブルに載置されている飲食物または食器の画像を、撮像装置１３０を介して順次取得する（ステップＳ２）。
【００３３】
判定部１０５は、ステップＳ２において取得された飲食物または食器の画像に、所定の変化があったか否かを判定する（ステップＳ３）。具体的には、判定部１０５は、変化付加ルールを参照し、ステップＳ２において順次取得される飲食物または食器の画像のうち、第１取得時において取得された画像と、第２取得時において取得された画像を比較し、第２取得時において取得された画像が示す飲食物の量が、第１取得時において取得された画像が示す飲食物の量よりも所定量減少しているか否かを判定する。
【００３４】
画像処理部１０６は、ステップＳ３において判定部１０５により飲食物または食器の画像に、所定の変化があったと判定された場合（ステップＳ３：Ｙｅｓ）、動画コンテンツに含まれる所定の画像に第１の変化を付加する（ステップＳ４）。具体的には、画像処理部１０６は、変化付加ルールを参照し、動画の変化ＩＤ「ｂ００１」に対応する図３（ｂ）の画像を生成し、生成された画像を表示制御部１０７が表示部１４０に表示する。一方、ステップＳ３において、判定部１０５により飲食物または食器の画像に、所定の変化がなかったと判定された場合（ステップＳ３：Ｎｏ）、ステップＳ２に戻り処理を続行する。
【００３５】
次に、顧客の所定の動作が検知された場合における、ヘッドマウントディスプレイ１００による動画コンテンツの画像に対する変化の付加処理を説明する。図８は、顧客の所定の動作が検知された場合における、ヘッドマウントディスプレイ１００による動画コンテンツの画像に対する変化の付加処理の流れを示すフローチャートである。
【００３６】
表示制御部１０７は、記憶部１２０に記憶されている動画コンテンツの表示情報を表示部１４０に出力表示する(ステップＳ１１)。取得部１０３は、顧客のテーブルに載置されている飲食物または食器の画像を順次取得する（ステップＳ１２）。
【００３７】
判定部１０５は、検知部１０４により顧客による所定の動作が検知されたか否かを判定する（ステップＳ１３）。判定部１０５は、ステップＳ１３において検知部１０４により顧客による所定の動作が検知されたと判定した場合（ステップＳ１３：Ｙｅｓ）、ステップＳ１２において取得部１０３により取得された飲食物または食器の画像に、所定の変化があったか否かを判定する（ステップＳ１４）。具体的には、判定部１０５は、変化付加ルールを参照し、ステップＳ１３において順次取得される飲食物または食器の画像のうち、第１取得時において取得された画像と、第２取得時において取得された画像を比較し、第２取得時において取得された画像が示す飲食物の量が、第１取得時において取得された画像が示す飲食物の量よりも所定量減少しているか否かを判定する。一方、ステップＳ１３において、判定部１０５が検知部１０４により顧客による所定の動作が検知されたと判定しなかった場合（ステップＳ１３：Ｎｏ）、ステップＳ１３の処理を継続する。
【００３８】
画像処理部１０６は、ステップＳ１４において判定部１０５により飲食物または食器の画像に、所定の変化があったと判定された場合（ステップＳ１４：Ｙｅｓ）、動画コンテンツに含まれる画像に第２の変化を付加する（ステップＳ１５）。具体的には、画像処理部１０６は、変化付加ルールを参照し、動画の変化ＩＤ「ｂ００２」に対応する図３（ｃ）の画像を生成し、生成された画像を表示制御部１０７が表示部１４０に表示する。一方、ステップＳ１４において判定部１０５により飲食物または食器の画像に、所定の変化がなかったと判定された場合（ステップＳ１４：Ｎｏ）、ステップＳ１２に戻り処理を続行する。
【００３９】
次に、顧客が飲食物を完食した場合における、ヘッドマウントディスプレイ１００による動画コンテンツの画像に対する変化の付加処理を説明する。図９は、顧客が飲食物を完食した場合における、ヘッドマウントディスプレイ１００による動画コンテンツの画像に対する変化の付加処理の流れを示すフローチャートである。
【００４０】
表示制御部１０７は、記憶部１２０に記憶されている動画コンテンツの表示情報を表示部１４０に出力表示する(ステップＳ２１)。取得部１０３は、顧客のテーブルに載置されている飲食物または食器の画像を順次取得する（ステップＳ２２）。
【００４１】
判定部１０５は、ステップＳ２２において取得された飲食物または食器の画像に、所定の変化があったか否かを判定する（ステップＳ２３）。具体的には、判定部１０５は、変化付加ルールを参照し、ステップＳ２２において順次取得される飲食物または食器の画像のうち、第１取得時において取得された画像と、第２取得時において取得された画像を比較し、第２取得時において取得された画像が示す飲食物の量が、第１取得時において取得された画像が示す飲食物の量よりも所定量減少しているか否かを判定する。
【００４２】
判定部１０５は、ステップＳ２３において判定部１０５により飲食物または食器の画像に、所定の変化があったと判定された場合（ステップＳ２３：Ｙｅｓ）、飲食が終了したか否かを判定する（ステップＳ２４）。具体的には、取得部１０３により取得された画像において、飲食物が載置された食器の画像に飲食物が含まれない場合に、飲食が終了したと判定する。画像処理部１０６は、ステップＳ２４において、判定部１０５により飲食が終了したと判定された場合（ステップＳ２４：Ｙｅｓ）、動画コンテンツに含まれる所定の画像に第３の変化を付加する（ステップＳ２５）。具体的には、画像処理部１０６は、変化付加ルールを参照し、動画の変化ＩＤ「ｂ００３」に対応する図３（ｄ）の画像を生成し、生成された画像を表示制御部１０７が表示部１４０に表示する。一方、ステップＳ３において、判定部１０５により飲食物または食器の画像に、所定の変化がなかったと判定された場合（ステップＳ２３：Ｎｏ）、および、ステップＳ２４において、飲食が終了していないと判定された場合（ステップＳ２４：Ｎｏ）、ステップＳ２２に戻り処理を続行する。
【００４３】
以上、本実施形態を例示したが、他の実施形態として、複数の顧客が同一のテーブルに着席した場合に、当該複数の顧客それぞれのヘッドマウントディスプレイ１００の表示部１４０に表示される動画は互いに連動した動画としてもよい。この場合に、一人の顧客の行為が、他の顧客のヘッドマウントディスプレイ１００の表示部１４０における表示にも反映されてよく、複数の顧客の特定の行動によって特定のストーリーが展開するように構成されてもよい。また、複数の顧客が同一のテーブルに着席する場合には、それぞれの撮像装置１３０により撮像された複数の画像を利用することで、判定部１０５による判定の精度を向上させてもよい。
【００４４】
また、他の実施形態として、本実施形態におけるヘッドマウントディスプレイ１００が保有する機能の一部を外部のサーバが実行する構成としてもよい。例えば、ヘッドマウントディスプレイ１００は、撮像装置１３０により画像を撮像し、当該画像を外部のサーバに転送し、外部のサーバが飲食物の状態を判定する。そして、外部のサーバが判定した判定結果に応じた画像を生成し、生成した画像をヘッドマウントディスプレイ１００に転送し、ヘッドマウントディスプレイ１００がこれを表示する。
【００４５】
図１０は、本実施形態における制御装置１１０を実現可能なコンピュータ２０の一例を示すハードウェア構成図である。図１０に示すように、コンピュータ２０は、ＣＰＵ（Central  Processing  Unit）２１、ＲＡＭ（Random  Access  Memory）２２、ＲＯＭ（Read  Only  Memory）２３、ＨＤＤ（Hard  Disk  Drive）２４、通信インターフェース（Ｉ／Ｆ）２５、入出力インターフェース（Ｉ／Ｆ）２６、およびメディアインターフェース（Ｉ／Ｆ）２７を備える。
【００４６】
ＣＰＵ２１は、ＲＯＭ２３またはＨＤＤ２４に格納されたプログラムにより動作し、各部の制御を行う。ＲＯＭ２３は、コンピュータ２０の起動時にＣＰＵ２１によって実行されるブートプログラムや、コンピュータ２０のハードウェアに依存するプログラム等を格納する。
【００４７】
ＨＤＤ２４は、ＣＰＵ２１によって実行されるプログラムおよび当該プログラムによって使用されるデータ等を格納する。通信インターフェース２５は、通信回線を介して外部機器から受信したデータをＣＰＵ２１に送り、ＣＰＵ２１が生成したデータを、通信回線を介して外部機器に送信する。
【００４８】
ＣＰＵ２１は、入出力インターフェース２６を介して、表示部１４０などの出力装置、および、電源ボタン（図示せず）などの入力装置を制御する。ＣＰＵ２１は、入出力インターフェース２６を介して、入力装置からデータを取得する。また、ＣＰＵ２１は、生成したデータを、入出力インターフェース２６を介して出力装置へ出力する。
【００４９】
メディアインターフェース２７は、記憶媒体２８に格納されたプログラムまたはデータを読み取り、ＲＡＭ２２を介してＣＰＵ２１に提供する。ＣＰＵ２１は、当該プログラムを、メディアインターフェース２７を介して記憶媒体２８からＲＡＭ２２上にロードし、ロードしたプログラムを実行する。記憶媒体２８は、例えばＤＶＤ（Digital  Versatile  Disc）等の光学記憶媒体、磁気記憶媒体、または半導体メモリ等である。
【００５０】
コンピュータ２０が本実施形態における制御装置１１０として機能する場合、コンピュータ２０のＣＰＵ２１は、ＲＡＭ２２上にロードされたプログラムを実行することにより、操作受付部１０２、取得部１０３、検知部１０４、判定部１０５、画像処理部１０６、表示制御部１０７の各機能を実現する。また、ＨＤＤ２４には、変化付加ルールなどのデータが格納される。
【００５１】
画像処理プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、ＣＤ−Ｒ、メモリカード、ＤＶＤ（Digital  Versatile  Disk）、フレキシブルディスク（ＦＤ）等のコンピュータで読み取り可能な記憶媒体に記憶されて提供される。コンピュータ２０のＣＰＵ２１は、これらのプログラムを、メディアインターフェース２７を介して上記の記憶媒体から読み取って実行するが、他の例として、外部装置から、通信回線を介してこれらのプログラムを取得してもよい。
【００５２】
なお、取引管理プログラムは、例えば、ActionScript、JavaScript（登録商標）、Python、Rubyなどのスクリプト言語、C言語、C＋＋、C＃、Objective-C、Swift、Java（登録商標）などのコンパイラ言語などを用いて実装できる。
【００５３】
このように、本実施形態におけるヘッドマウントディスプレイ１００によれば、飲食に伴い変化する付加的なサービスを提供するので、飲食施設において顧客が飲食をより楽しむことができる。
【符号の説明】
【００５４】
１００  ヘッドマウントディスプレイ
１０１  制御部
１０２  操作受付部
１０３  取得部
１０４  検知部
１０５  判定部
１０６  画像処理部
１０７  表示制御部
１１０  制御装置
１２０  記憶部
１３０  撮像装置
１４０  表示部
２００  マカロン
３００  パンケーキ
４００  コーヒー
【図１】
2019219896.tif 000003
【図２】
2019219896.tif 000004
【図３】
2019219896.tif 000005
【図４】
2019219896.tif 000006
【図５】
2019219896.tif 000007
【図６】
2019219896.tif 000008
【図７】
2019219896.tif 000009
【図８】
2019219896.tif 000010
【図９】
2019219896.tif 000011
【図１０】
2019219896.tif 000012