(57)【要約】      （修正有）【課題】情報携帯端末により画像表示するヘッドマウントディスプレイによってＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）画像を適切に視聴できるようにする動画データ生成装置を提供する。【解決手段】動画データ生成装置２００は、動画構成画像内の第１領域にＶＲ画像を含み、動画構成画像内の前記第１領域以外の第２領域に前記ＶＲ画像に重畳する重畳画像を含む動画データを生成する動画データ生成部と、動画データ生成部によって生成された動画データを送信する動画データ送信部とを備える。【選択図】図２
2018129576.tif 000002
【特許請求の範囲】
【請求項１】
動画構成画像内の第１領域にＶＲ画像を含み、前記動画構成画像内の前記第１領域以外の第２領域に前記ＶＲ画像に重畳する重畳画像を含む動画データを生成する動画データ生成部と、
前記動画データ生成部によって生成された前記動画データを送信する動画データ送信部と
を備える動画データ生成装置。
【請求項２】
前記ＶＲ画像は、球体へのテクスチャマッピングで表示するための画像であり、
前記重畳画像は、前記球体の内側に位置する平面へのマッピングで表示するための画像である、請求項１に記載の動画データ生成装置。
【請求項３】
前記ＶＲ画像は、球体へのテクスチャマッピングで表示するための画像であり、
前記重畳画像は、前記球体の一部へのテクスチャマッピングで表示するための画像である、請求項１に記載の動画データ生成装置。
【請求項４】
前記ＶＲ画像は、球体へのテクスチャマッピングで表示するための画像であり、
前記重畳画像は、前記ＶＲ画像の上位レイヤに配置して表示するための画像である、請求項１に記載の動画データ生成装置。
【請求項５】
前記ＶＲ画像は、半球へのテクスチャマッピングで表示するための画像である、請求項１から４のいずれか一項に記載の動画データ生成装置。
【請求項６】
前記ＶＲ画像は、右目用画像及び左目用画像を含む立体画像である、請求項１から５のいずれか一項に記載の動画データ生成装置。
【請求項７】
前記ＶＲ画像は、パノラマ画像である、請求項１から５のいずれか一項に記載の動画データ生成装置。
【請求項８】
前記重畳画像は、複数の画像を含む、請求項１から７のいずれか一項に記載の動画データ生成装置。
【請求項９】
前記複数の画像は、一の画像を分割した複数の分割画像である、請求項８に記載の動画データ生成装置。
【請求項１０】
前記動画データ生成部は、前記第１領域に前記右目用画像と前記左目用画像とを横方向に隣接させて配置し、前記第２領域に前記重畳画像を分割した複数の分割画像を横方向に隣接させて配置することによって前記動画データを生成する、請求項６に記載の動画データ生成装置。
【請求項１１】
前記動画構成画像のアスペクト比と前記ＶＲ画像のアスペクト比とは異なる、請求項１から１０のいずれか一項に記載の動画データ生成装置。
【請求項１２】
前記動画構成画像のアスペクト比は、１６：９であり、
前記ＶＲ画像のアスペクト比は、２：１である、請求項１１に記載の動画データ生成装置。
【請求項１３】
前記動画構成画像の解像度は３８４０×２１６０であり、
前記ＶＲ画像の解像度は３８４０×１９２０である、請求項１１又は１２に記載の動画データ生成装置。
【請求項１４】
コンピュータを、請求項１から１３のいずれか一項に記載の動画データ生成装置として機能させるためのプログラム。
【請求項１５】
請求項１から１３のいずれか一項に記載の動画データ生成装置と、
前記動画データ生成装置によって生成された動画データを表示するよう制御する表示制御装置と
を備える、表示システム。
【請求項１６】
動画構成画像内の第１領域にＶＲ画像を含み、前記動画構成画像内の前記第１領域以外の第２領域に前記ＶＲ画像に重畳する重畳画像を含む動画データを受信する動画データ受信部と、
前記ＶＲ画像を球体にテクスチャマッピングし、前記重畳画像を前記ＶＲ画像に重畳して表示するよう制御する表示制御部と
を備える、表示制御装置。
【請求項１７】
前記表示制御部は、前記ＶＲ画像を球体にテクスチャマッピングし、前記重畳画像を前記球体の内側に位置する平面にマッピングする、請求項１６に記載の表示制御装置。
【請求項１８】
前記表示制御部は、前記ＶＲ画像を球体にテクスチャマッピングし、前記重畳画像を前記球体の一部にテクスチャマッピングする、請求項１６に記載の表示制御装置。
【請求項１９】
前記表示制御部は、前記ＶＲ画像を球体にテクスチャマッピングし、前記重畳画像を前記ＶＲ画像の上位レイヤに配置して表示する、請求項１６に記載の表示制御装置。
【請求項２０】
前記表示制御部は、前記ＶＲ画像を半球にテクスチャマッピングする、請求項１６から１９のいずれか一項に記載の表示制御装置。
【請求項２１】
入力を受け付ける入力受付部と、
前記入力受付部に対する入力に応じて、前記重畳画像を前記球体の内側に位置する平面にマッピングするか、前記重畳画像を前記球体の一部にテクスチャマッピングするか、前記重畳画像を前記ＶＲ画像の上位レイヤに配置して表示するかを選択する選択部と
をさらに備える、請求項１７から２０のいずれか一項に記載の表示制御装置。
【請求項２２】
前記重畳画像は、複数の画像を含み、
前記表示制御部は、前記複数の画像を前記ＶＲ画像に重畳して表示するよう制御する、請求項１６から２１のいずれか一項に記載の表示制御装置。
【請求項２３】
前記重畳画像は、一の画像を分割した複数の分割画像であり、
前記表示制御部は、前記重畳画像から分割した前記複数の分割画像を前記ＶＲ画像に重畳して表示するよう制御する、請求項２２に記載の表示制御装置。
【請求項２４】
前記表示制御部は、前記重畳画像から分割した前記複数の分割画像を結合した結合画像を前記ＶＲ画像に重畳して表示する、請求項２３に記載の表示制御装置。
【請求項２５】
コンピュータを、請求項１６から２４のいずれか一項に記載の表示制御装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データ生成装置、表示システム、表示制御装置、及びプログラムに関する。
【背景技術】
【０００２】
スマートフォン等の携帯端末を着脱可能に保持して、この携帯端末により画像表示するＨＭＤ（ヘッドマウントディスプレイ）が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１６−２０６５１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ＨＭＤによってＶＲ（Ｖｉｒｔｕａｌ  Ｒｅａｌｉｔｙ）画像を適切に視聴できるようにする技術が望まれていた。
【課題を解決するための手段】
【０００４】
本発明の第１の態様によれば、動画データ生成装置が提供される。動画データ生成装置は、動画構成画像内の第１領域にＶＲ画像を含み、動画構成画像内の第１領域以外の第２領域にＶＲ画像に重畳する重畳画像を含む動画データを生成する動画データ生成部を備えてよい。動画データ生成装置は、動画データ生成部によって生成された動画データを送信する動画データ送信部を備えてよい。
【０００５】
上記ＶＲ画像は、球体へのテクスチャマッピングで表示するための画像であってよく、上記重畳画像は、上記球体の内側に位置する平面へのマッピングで表示するための画像であってよい。上記ＶＲ画像は、球体へのテクスチャマッピングで表示するための画像であってよく、上記重畳画像は、上記球体の一部へのテクスチャマッピングで表示するための画像であってよい。上記ＶＲ画像は、球体へのテクスチャマッピングで表示するための画像であってよく、上記重畳画像は、上記ＶＲ画像の上位レイヤに配置して表示するための画像であってよい。上記ＶＲ画像は、半球へのテクスチャマッピングで表示するための画像であってよい。
【０００６】
上記ＶＲ画像は、右目用画像及び左目用画像を含む立体画像であってよい。上記ＶＲ画像は、パノラマ画像であってよい。上記重畳画像は、複数の画像を含んでよい。上記複数の画像は、一の画像を分割した複数の分割画像であってよい。上記動画データ生成部は、上記第１領域に上記右目用画像と上記左目用画像とを横方向に隣接させて配置し、上記第２領域に上記重畳画像を分割した複数の分割画像を横方向に隣接させて配置することによって上記動画データを生成してよい。上記動画構成画像のアスペクト比と上記ＶＲ画像のアスペクト比とは異なってよい。上記動画構成画像のアスペクト比は、１６：９であってよく、上記ＶＲ画像のアスペクト比は、２：１であってよい。上記動画構成画像の解像度は３８４０×２１６０であってよく、上記ＶＲ画像の解像度は３８４０×１９２０であってよい。
【０００７】
本発明の第２の態様によれば、コンピュータを、上記動画データ生成装置として機能させるためのプログラムが提供される。
【０００８】
本発明の第３の態様によれば、上記動画データ生成装置と、上記動画データ生成装置によって生成された動画データを表示するよう制御する表示制御装置とを備える表示システムが提供される。
【０００９】
本発明の第４の態様によれば、表示制御装置が提供される。表示制御装置は、動画構成画像内の第１領域にＶＲ画像を含み、動画構成画像内の前記第１領域以外の第２領域にＶＲ画像に重畳する重畳画像を含む動画データを受信する動画データ受信部を備えてよい。表示制御装置は、ＶＲ画像を球体にテクスチャマッピングし、重畳画像をＶＲ画像に重畳して表示するよう制御する表示制御部を備えてよい。
【００１０】
上記表示制御部は、上記ＶＲ画像を球体にテクスチャマッピングしてよく、上記重畳画像を上記球体の内側に位置する平面にマッピングしてよい。上記表示制御部は、上記ＶＲ画像を球体にテクスチャマッピングしてよく、上記重畳画像を上記球体の一部にテクスチャマッピングしてよい。上記表示制御部は、上記ＶＲ画像を球体にテクスチャマッピングしてよく、上記重畳画像を上記ＶＲ画像の上位レイヤに配置して表示してよい。上記表示制御部は、上記ＶＲ画像を半球にテクスチャマッピングしてよい。
【００１１】
上記表示制御装置は、入力を受け付ける入力受付部と、上記入力受付部に対する入力に応じて、上記重畳画像を上記球体の内側に位置する平面にマッピングするか、上記重畳画像を上記球体の一部にテクスチャマッピングするか、上記重畳画像を上記ＶＲ画像の上位レイヤに配置して表示するかを選択する選択部とをさらに備えてよい。上記重畳画像は、複数の画像を含んでよく、上記表示制御部は、上記複数の画像を上記ＶＲ画像に重畳して表示するよう制御してよい。上記重畳画像は、一の画像を分割した複数の分割画像であってよく、上記表示制御部は、上記重畳画像から分割した上記複数の分割画像を上記ＶＲ画像に重畳して表示するよう制御してよい。上記表示制御部は、上記重畳画像から分割した上記複数の分割画像を結合した結合画像を上記ＶＲ画像に重畳して表示してよい。
【００１２】
本発明の第５の態様によれば、コンピュータを、上記表示制御装置として機能させるためのプログラムが提供される。
【００１３】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１４】
【図１】表示システム１００の一例を概略的に示す。
【図２】動画データ生成装置２００の機能構成の一例を概略的に示す。
【図３】ＨＭＤ３００の機能構成の一例を概略的に示す。
【図４】動画データ生成部２１０による動画構成画像６１０の生成処理を概略的に示す。
【図５】ＨＭＤ３００による動画データ表示処理の一例を概略的に示す。
【図６】動画データ生成部２１０による動画構成画像６２０の生成処理を概略的に示す。
【図７】ＨＭＤ３００による動画データ表示処理の一例を概略的に示す。
【図８】ＨＭＤ３００に装着されるスマートフォンとして機能するコンピュータ９００のハードウエア構成の一例を概略的に示す。
【図９】動画データ生成装置２００として機能するコンピュータ１０００のハードウエア構成の一例を概略的に示す。
【発明を実施するための形態】
【００１５】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１６】
図１は、表示システム１００の一例を概略的に示す。表示システム１００は、動画データ生成装置２００及びＨＭＤ３００を備える。動画データ生成装置２００は、ＶＲ動画を含む動画データを生成して、ネットワーク１０を介してＨＭＤ３００に送信する。ＨＭＤ３００は、動画データ生成装置２００から受信した動画データを、ＨＭＤ３００の装着者であるユーザ４０に対して表示する。ＨＭＤ３００は、表示制御装置の一例であってよい。ここでは、スマートフォンを装着するタイプのＨＭＤ３００を主に例に挙げて説明する。
【００１７】
ネットワーク１０は、任意のネットワークであってよい。例えば、ネットワーク１０は、電話網を含む。例えば、ネットワーク１０は、インターネットを含む。例えば、ネットワーク１０は、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）を含む。
【００１８】
ＶＲ動画とは、ユーザ４０が現実の場所とは異なる場所にいるかのような表示をユーザ４０に対して行うための動画であってよい。例えば、ＶＲ動画は、ＨＭＤ３００によって球体の内側にテクスチャマッピングされ、ＨＭＤ３００は、ユーザ４０が球体の中心点に位置するものとみなして、球体にテクスチャマッピングしたＶＲ画像の一部をユーザ４０の姿勢に応じて表示する。
【００１９】
動画データ生成装置２００は、カメラシステム２０によって撮影され、生成されたＶＲ動画を、ネットワーク１０を介して受信してよい。カメラシステム２０は、１又は複数のカメラを有する。カメラシステム２０は、例えば１又は複数の魚眼レンズカメラを有する。
【００２０】
カメラシステム２０は、例えば、複数の魚眼レンズカメラによって撮影された画像をステッチングして射影変換を施すことによって、いわゆるエクイレクタングラー形式のＶＲ動画を生成する。カメラシステム２０が、複数の魚眼レンズカメラによって撮影された画像を動画データ生成装置２００に送信し、動画データ生成装置２００が当該画像に対してステッチング及び射影変換を施してＶＲ画像を生成してもよい。また、カメラシステム２０は、例えば、一の魚眼レンズカメラによって撮影された、画角が１８０度以上の画像をＶＲ画像として取得してもよい。
【００２１】
本実施形態に係る動画データ生成装置２００は、ＶＲ動画と、ＶＲ動画に重畳する重畳動画とを含む動画データを生成する。動画データ生成装置２００は、複数の動画構成画像のそれぞれにＶＲ画像及び重畳画像を含めた動画データを生成してよい。動画構成画像とは、例えば、フレームである。動画構成画像は、フィールドであってもよい。
【００２２】
動画データ生成装置２００は、ＶＲ動画の内容に関連する重畳動画を動画データに含めてよい。例えば、動画データ生成装置２００は、野球及びバスケット等のスポーツの観客席の最前列に配置されたカメラによって撮影され、生成されたＶＲ動画と、当該スポーツのテレビ中継画像とを含む動画データを生成する。また、例えば、動画データ生成装置２００は、スポーツに関するＶＲ動画と、当該スポーツに関する広告画像とを含む動画データを生成する。
【００２３】
動画データ生成装置２００は、画像提供装置３０から重畳画像を受信してよい。動画データ生成装置２００は、例えば、表示対象のＶＲ画像が決定した場合に、当該ＶＲ画像に関連する重畳画像を画像提供装置３０に要求することによって、当該ＶＲ画像に関連する重畳画像を画像提供装置３０から受信してよい。画像提供装置３０は、テレビ中継画像及び広告画像等の任意の画像を格納していてよい。
【００２４】
ＨＭＤ３００は、動画データ生成装置２００から受信した動画データに含まれるＶＲ動画に、当該動画データに含まれる重畳画像を重畳して表示する。例えば、ＨＭＤ３００は、スポーツの観客席の最前列に配置されたカメラによって撮影され、生成されたＶＲ画像に、当該スポーツのテレビ中継画像を重畳して表示する。これにより、観客席の最前列でスポーツを観戦しつつ、手元のテレビでテレビ中継も閲覧するという閲覧環境をユーザ４０に提供することができる。また、例えば、ＨＭＤ３００は、スポーツの観客席の最前列に配置されたカメラによって撮影され、生成されたＶＲ画像に、当該スポーツに関する広告画像を重畳して表示する。これにより、観客席の最前列でスポーツを観戦しつつ、当該スポーツに関連するグッズ等の広告を閲覧するという閲覧環境をユーザ４０に提供することができる。
【００２５】
図２は、動画データ生成装置２００の機能構成の一例を概略的に示す。動画データ生成装置２００は、ＶＲ画像格納部２０２、重畳画像格納部２０４、ＶＲ画像取得部２０６、重畳画像取得部２０８、動画データ生成部２１０、及び動画データ送信部２１２を備える。
【００２６】
ＶＲ画像格納部２０２は、ＶＲ動画を格納する。ＶＲ画像格納部２０２は、カメラシステム２０によって生成されたＶＲ動画を格納してよい。ＶＲ画像格納部２０２は、カメラシステム２０によって撮影された画像から、動画データ生成装置２００が生成したＶＲ動画を格納してもよい。ＶＲ画像格納部２０２は、動画データ生成装置２００がネットワーク１０を介して任意の装置から受信したＶＲ画像を格納してもよい。ＶＲ画像格納部２０２は、動画データ生成装置２００が記憶媒体から読み出したＶＲ動画を格納してもよい。
【００２７】
ＶＲ動画は、例えば、右目用画像及び左目用画像を含む立体動画である。ＶＲ動画は、パノラマ動画であってもよい。ＶＲ動画は、複数のＶＲ画像によって構成される。ＶＲ画像は、例えば、右目用画像及び左目用画像を含む立体画像である。ＶＲ画像は、パノラマ画像であってもよい。
【００２８】
重畳画像格納部２０４は、重畳画像を格納する。重畳画像格納部２０４は、画像提供装置３０から受信した重畳画像を格納してよい。重畳画像格納部２０４は、動画データ生成装置２００がネットワーク１０を介して任意の装置から受信した重畳画像を格納してもよい。重畳画像格納部２０４は、動画データ生成装置２００が記憶媒体から読み出した重畳画像を格納してもよい。
【００２９】
ＶＲ画像取得部２０６は、ＶＲ画像格納部２０２からＶＲ動画を取得する。ＶＲ画像取得部２０６は、動画データ生成部２１０からの要求に対応するＶＲ動画をＶＲ画像格納部２０２から取得してよい。
【００３０】
重畳画像取得部２０８は、重畳画像格納部２０４から重畳画像を取得する。重畳画像取得部２０８は、動画データ生成部２１０からの要求に対応する重畳画像を重畳画像格納部２０４から取得してよい。
【００３１】
動画データ生成部２１０は、ＶＲ画像取得部２０６が取得したＶＲ画像と、重畳画像取得部２０８が取得した重畳画像とを含む動画データを生成する。動画データ生成部２１０は、ＨＭＤ３００からの要求に応じて、当該要求に対応するＶＲ画像及び重畳画像をＶＲ画像取得部２０６及び重畳画像取得部２０８から受信して、動画データを生成してよい。
【００３２】
動画データ送信部２１２は、動画データ生成部２１０によって生成された動画データを送信する。動画データ送信部２１２は、ＨＭＤ３００に対して動画データを送信してよい。
【００３３】
図３は、ＨＭＤ３００の機能構成の一例を概略的に示す。ＨＭＤ３００は、動画データ受信部３０２、動画データ分割部３０４、表示制御部３０６、表示部３０８、入力受付部３１０、及び選択部３１２を備える。ＨＭＤ３００がこれらのすべての構成を備えることは必須とは限らない。これらの構成は、ＨＭＤ３００に装着されたスマートフォンの構成であってよい。
【００３４】
動画データ受信部３０２は、動画データ送信部２１２によって送信された動画データを受信する。動画データ受信部３０２は、例えば、ユーザ４０から受け付けた要求を動画データ生成装置２００に送信して、当該要求に応じて動画データ生成装置２００が送信した動画データを受信する。
【００３５】
動画データ分割部３０４は、動画データ受信部３０２が受信した動画データを分割する。動画データ分割部３０４は、動画データをＶＲ画像と、重畳画像とに分割してよい。また、動画データ分割部３０４は、重畳画像を複数の分割画像に分割してよい。
【００３６】
表示制御部３０６は、動画データ分割部３０４によって分割されたＶＲ画像を球体にテクスチャマッピングして、表示部３０８に表示させる。表示制御部３０６は、例えば、ＶＲ画像を半球にテクスチャマッピングして、表示部３０８に表示させてよい。
【００３７】
表示制御部３０６は、重畳画像５００をＶＲ画像に重畳させて、表示部３０８に表示させてよい。表示制御部３０６は、重畳画像５００を分割した複数の分割画像を、ＶＲ画像に重畳させて表示部３０８に表示させてよい。表示制御部３０６は、複数の分割画像を、ＶＲ画像の異なる位置に重畳させて表示部３０８に表示させてよい。表示制御部３０６は、重畳画像５００を分割した複数の分割画像を結合した結合画像を、ＶＲ画像に重畳させて表示部３０８に表示させてよい。
【００３８】
表示制御部３０６は、ＶＲ画像をテクスチャマッピングした球体の内側に位置する平面に重畳画像５００をマッピングして、表示部３０８に表示させてよい。これにより、ＶＲ空間にディスプレイが浮いているような表示を提供できる。表示制御部３０６は、ＶＲ画像をテクスチャマッピングした球体の一部に重畳画像５００をテクスチャマッピングして、表示部３０８に表示させてもよい。これにより、ＶＲ画像内にディスプレイをはめ込んだような表示を提供できる。表示制御部３０６は、ＶＲ画像の上位レイヤに重畳画像５００を配置して、表示部３０８に表示させてもよい。これにより、ＶＲ画像とは明確に区別した形態のディスプレイが存在するような表示を提供できる。
【００３９】
入力受付部３１０は、ユーザ４０からの入力を受け付ける。入力受付部３１０は、例えば、ＶＲ画像をテクスチャマッピングした球体の内側に位置する平面に重畳画像５００をマッピングするか、ＶＲ画像をテクスチャマッピングした球体の一部に重畳画像５００をテクスチャマッピングするか、ＶＲ画像の上位レイヤに重畳画像５００を配置して表示するかを選択する入力を受け付ける。
【００４０】
選択部３１２は、入力受付部３１０に対する入力に応じて、ＶＲ画像をテクスチャマッピングした球体の内側に位置する平面に重畳画像５００をマッピングするか、ＶＲ画像をテクスチャマッピングした球体の一部に重畳画像５００をテクスチャマッピングするか、ＶＲ画像の上位レイヤに重畳画像５００を配置して表示するかを選択する。動画データ分割部３０４は、選択部３１２による選択に応じて、動画データからＶＲ画像及び重畳画像５００を分割してよい。表示制御部３０６は、選択部３１２による選択に応じて、ＶＲ画像に重畳画像５００を重畳して表示部３０８に表示させてよい。
【００４１】
図４は、動画データ生成部２１０による動画構成画像６１０の生成処理を概略的に示す。ここでは、アスペクト比が１６：９の動画構成画像６１０に対して、アスペクト比がそれぞれ１：１の右目用画像４１０及び左目用画像４２０を配置する場合を例に挙げて説明する。図４では、具体例として、動画構成画像６１０の解像度が３８４０×２１６０であり、右目用画像４１０及び左目用画像４２０の解像度が１９２０×１９２０であり、重畳画像５００の解像度が１２８０×７２０である場合を示す。
【００４２】
動画データ生成部２１０は、重畳画像取得部２０８が取得した重畳画像５００を分割して、それぞれ解像度が１２８０×２４０の分割画像５１０、分割画像５２０、及び分割画像５３０を生成する。動画データ生成部２１０は、右目用画像４１０及び左目用画像４２０を、動画構成画像６１０内の第１領域６１２に横方向に隣接させて配置する。動画データ生成部２１０は、動画構成画像６１０内の第１領域６１２以外の第２領域６１４に分割画像５１０、分割画像５２０、及び分割画像５３０を横方向に隣接させて配置する。
【００４３】
上述の処理により、動画データ生成部２１０は、動画構成画像６１０を生成する。動画データ生成部２１０は、複数の動画構成画像６１０について同様の処理を行うことによって、複数の動画構成画像６１０から構成される動画データを生成する。動画データ生成部２１０は、動画構成画像６１０内の右目用画像４１０、左目用画像４２０、分割画像５１０、分割画像５２０、及び分割画像５３０の配置構成を示す付加データを動画データに含めてよい。
【００４４】
図５は、ＨＭＤ３００による動画データ表示処理の一例を概略的に示す。ここでは、動画データ受信部３０２が、動画データ生成装置２００によって生成された、複数の動画構成画像６１０から構成された動画データを受信した場合の表示処理について説明する。
【００４５】
動画データ分割部３０４は、動画データに含まれる付加データを参照して、動画構成画像６１０から、右目用画像４１０、左目用画像４２０、及び重畳画像５００を分割する。また、動画データ分割部３０４は、付加データを参照して、重畳画像５００を分割画像５１０、分割画像５２０、及び分割画像５３０に分割する。
【００４６】
表示制御部３０６は、付加データを参照して、分割画像５１０、分割画像５２０、及び分割画像５３０を結合した結合画像５４０を生成する。表示制御部３０６は、右目用画像４１０を半球７１０にテクスチャマッピングし、左目用画像４２０を半球７２０にテクスチャマッピングする。また、表示制御部３０６は、結合画像５４０を右目用画像４１０及び左目用画像４２０に重畳させる。
【００４７】
表示制御部３０６は、例えば、半球７１０の内側に位置する平面と、半球７２０の内側に位置する平面とに、結合画像５４０をマッピングする。また、表示制御部３０６は、半球７１０の一部と、半球７２０の一部とに結合画像５４０をテクスチャマッピングしてもよい。また、表示制御部３０６は、半球７１０及び半球７２０の上位レイヤに結合画像５４０を配置してもよい。
【００４８】
表示制御部３０６は、半球７１０にテクスチャマッピングした右目用画像４１０と、半球７２０にテクスチャマッピングした左目用画像４２０と、これらに重畳した結合画像５４０とを表示部３０８に表示させてよい。
【００４９】
図４及び図５において示したように、本実施形態に係る表示システム１００は、アスペクト比が１６：９の動画構成画像６１０に、アスペクト比がそれぞれ１：１の右目用画像４１０及び左目用画像４２０を最大限収まるように配置し、その余剰領域に重畳画像５００を分割した分割画像５１０、分割画像５２０、及び分割画像５３０を配置した動画データを生成する。そして、右目用画像４１０及び左目用画像４２０をそれぞれ半球７１０及び半球７２０にテクスチャマッピングし、分割画像５１０、分割画像５２０、及び分割画像５３０を結合した結合画像５４０右目用画像４１０及び左目用画像４２０に重畳して表示させる。
【００５０】
このように、右目用画像４１０及び左目用画像４２０を半球にテクスチャマッピングすることによって、全球にテクスチャマッピングするのに比べてそれぞれの解像度を高めることができる。また、半球にテクスチャマッピングすべくアスペクト比を１：１とした右目用画像４１０及び左目用画像４２０が最大限収まるように動画構成画像６１０に配置することによって、解像度を高めることができる。さらに、右目用画像４１０及び左目用画像４２０を配置した余剰領域に重畳画像５００を分割して配置することによって、余剰領域を有効に活用することができ、リソースの有効活用を実現することができる。
【００５１】
なお、ここでは、動画データに付加データが含まれる場合を例に挙げて説明したが、これに限らない。動画データ生成装置２００とＨＭＤ３００とが、動画構成画像６１０のフォーマットを予め把握しておいてもよい。
【００５２】
また、ここでは、右目用画像４１０及び左目用画像４２０を動画構成画像６１０の上側に配置し、分割画像５１０、分割画像５２０、及び分割画像５３０を動画構成画像６１０の下側に配置する例を挙げて説明したが、これに限らない。右目用画像４１０、左目用画像４２０、分割画像５１０、分割画像５２０及び分割画像５３０に配置は任意の配置であってもよい。例えば、右目用画像４１０及び左目用画像４２０を動画構成画像６１０の下側に配置し、分割画像５１０、分割画像５２０、及び分割画像５３０を動画構成画像６１０の上側に配置してもよい。また、重畳画像５００の分割数は３つに限らず、他の数であってもよい。
【００５３】
また、ここでは、結合画像５４０を２次元画像とする場合を例に挙げて説明したが、これに限らず、結合画像５４０を３次元画像、すなわち、立体画像としてもよい。例えば、動画データ生成装置２００が、右目用の重畳画像と左目用の重畳画像とをそれぞれ分割した分割画像を含む動画データを生成し、ＨＭＤ３００が、右目用の結合画像と左目用の結合画像とを生成して、右目用の結合画像を右目用画像４１０に重畳させ、左目用の結合画像を左目用画像４２０に重畳させるようにしてもよい。これにより、例えば、観客席の最前列でスポーツを観戦しつつ、手元で立体画像を閲覧するといった閲覧環境を提供することができる。
【００５４】
図６は、動画データ生成部２１０による動画構成画像６２０の生成処理を概略的に示す。ここでは、アスペクト比が１６：９の動画構成画像６２０に対して、アスペクト比が２：１のパノラマ画像４３０を配置する場合を例に挙げて説明する。図４では、具体例として、動画構成画像６２０の解像度が３８４０×２１６０であり、パノラマ画像４３０の解像度が３８４０×１９２０であり、重畳画像５００の解像度が１２８０×７２０である場合を示す。
【００５５】
動画データ生成部２１０は、重畳画像取得部２０８が取得した重畳画像５００を分割して、それぞれ解像度が１２８０×２４０の分割画像５１０、分割画像５２０、及び分割画像５３０を生成する。動画データ生成部２１０は、パノラマ画像４３０を、動画構成画像６２０内の第１領域６２２に配置する。動画データ生成部２１０は、動画構成画像６２０内の第１領域６２２以外の第２領域６２４に分割画像５１０、分割画像５２０、及び分割画像５３０を横方向に隣接させて配置する。
【００５６】
上述の処理により、動画データ生成部２１０は、動画構成画像６２０を生成する。動画データ生成部２１０は、複数の動画構成画像６２０について同様の処理を行うことによって、複数の動画構成画像６２０から構成される動画データを生成する。動画データ生成部２１０は、動画構成画像６２０内のパノラマ画像４３０、分割画像５１０、分割画像５２０、及び分割画像５３０の配置構成を示す付加データを動画データに含めてよい。
【００５７】
図７は、ＨＭＤ３００による動画データ表示処理の一例を概略的に示す。ここでは、動画データ受信部３０２が、動画データ生成装置２００によって生成された、複数の動画構成画像６２０から構成された動画データを受信した場合の表示処理について説明する。
【００５８】
動画データ分割部３０４は、動画データに含まれる付加データを参照して、動画構成画像６２０から、パノラマ画像４３０及び重畳画像５００を分割する。また、動画データ分割部３０４は、付加データを参照して、重畳画像５００を分割画像５１０、分割画像５２０、及び分割画像５３０に分割する。
【００５９】
表示制御部３０６は、付加データを参照して、分割画像５１０、分割画像５２０、及び分割画像５３０を結合した結合画像５４０を生成する。表示制御部３０６は、パノラマ画像４３０を全球７３０にテクスチャマッピングする。また、表示制御部３０６は、結合画像５４０を、パノラマ画像４３０に重畳させる。
【００６０】
表示制御部３０６は、例えば、全球７３０の内側に位置する平面に、結合画像５４０をマッピングする。また、表示制御部３０６は、全球７３０の一部に結合画像５４０をテクスチャマッピングしてもよい。また、表示制御部３０６は、全球７３０の上位レイヤに結合画像５４０を配置してもよい。
【００６１】
表示制御部３０６は、全球７３０にテクスチャマッピングしたパノラマ画像４３０と、パノラマ画像４３０に重畳した結合画像５４０とを表示部３０８に表示させてよい。
【００６２】
図６及び図７において示したように、本実施形態に係る表示システム１００は、アスペクト比が１６：９の動画構成画像６２０に、アスペクト比が２：１のパノラマ画像４３０を最大限収まるように配置し、その余剰領域に重畳画像５００を分割した分割画像５１０、分割画像５２０、及び分割画像５３０を配置した動画データを生成する。そして、パノラマ画像４３０を全球７３０にテクスチャマッピングし、分割画像５１０、分割画像５２０、及び分割画像５３０を結合した結合画像をパノラマ画像４３０に重畳して表示させる。
【００６３】
エクイレクタングラー形式のパノラマ画像のアスペクト比は、２：１である場合が多いが、本実施形態に係る表示システム１００によれば、エクイレクタングラー形式のパノラマ画像を最大限収まるように動画構成画像６２０に配置することによって、パノラマ画像の解像度を高めることができる。さらに、パノラマ画像を配置した余剰領域に、重畳画像５００を分割して配置することによって、余剰領域を有効に活用することができ、リソースの有効活用を実現することができる。
【００６４】
上記実施形態において、重畳画像５００を分割した分割画像５１０、分割画像５２０、分割画像５３０を重畳する位置、及び分割画像５１０、分割画像５２０、及び分割画像５３０を結合した結合画像５４０を重畳する位置は、任意の方法で決定されてよい。例えば、デフォルトによって重畳位置が設定されていてよい。また、ユーザ４０による設定に従って決定されてもよい。また、動画データ生成装置２００によって決定されてもよい。この場合、例えば、動画データ生成装置２００は、動画データに重畳位置の情報を含めてＨＭＤ３００に送信する。
【００６５】
図４〜図７では、動画構成画像のアスペクト比が１６：９であり、ＶＲ画像のアスペクト比が２：１である場合を例に挙げて説明したが、これに限らない。動画構成画像のアスペクト比と、ＶＲ画像のアスペクト比とが異なれば、他の比率であってもよい。
【００６６】
図８は、ＨＭＤ３００に装着されるスマートフォンとして機能するコンピュータ９００のハードウエア構成の一例を概略的に示す。本実施形態に係るコンピュータ９００は、ＳｏＣ９１０、メインメモリ９２２、フラッシュメモリ９２４、アンテナ９３２、アンテナ９３４、ディスプレイ９４０、マイク９４２、スピーカ９４４、ＵＳＢポート９５２、及びカードスロット９５４を備える。
【００６７】
ＳｏＣ９１０は、メインメモリ９２２及びフラッシュメモリ９２４に格納されたプログラムに基づいて動作し、各部の制御を行う。アンテナ９３２は、いわゆるセルラーアンテナである。アンテナ９３４は、いわゆるＷｉＦｉ（登録商標）アンテナである。ＳｏＣ９１０は、アンテナ９３２及びアンテナ９３４を用いて、各種通信機能を実現してよい。ＳｏＣ９１０は、例えば、アンテナ９３２又はアンテナ９３４を用いてＳｏＣ９１０が使用するプログラムを受信して、フラッシュメモリ９２４に格納してよい。
【００６８】
ＳｏＣ９１０は、ディスプレイ９４０を用いて各種表示機能を実現してよい。ディスプレイ９４０は、表示部３０８の一例であってよい。ＳｏＣ９１０は、マイク９４２を用いて各種音声入力機能を実現してよい。ＳｏＣ９１０は、スピーカ９４４を用いて各種音声出力機能を実現してよい。
【００６９】
ＵＳＢポート９５２は、ＵＳＢ接続を実現する。カードスロット９５４は、ＳＤカード等の各種カードとの接続を実現する。ＳｏＣ９１０は、ＵＳＢポート９５２に接続された機器又はメモリと、カードスロット９５４に接続されたカードとから、ＳｏＣ９１０が使用するプログラムを受信して、フラッシュメモリ９２４に格納してよい。
【００７０】
コンピュータ９００にインストールされ、コンピュータ９００を本実施形態に係るスマートフォンとして機能させるプログラムは、ＳｏＣ９１０等に働きかけて、コンピュータ９００を、スマートフォンの各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ９００に読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段である動画データ受信部３０２、動画データ分割部３０４、表示制御部３０６、入力受付部３１０、及び選択部３１２として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ９００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有のスマートフォンが構築される。
【００７１】
上記実施形態では、ＨＭＤ３００がスマートフォンを装着するタイプである場合を主に例に挙げて説明したが、これに限らない。ＨＭＤ３００そのものが、動画データ受信部３０２、動画データ分割部３０４、表示制御部３０６、表示部３０８、入力受付部３１０、及び選択部３１２として機能してもよい。
【００７２】
図９は、動画データ生成装置２００として機能するコンピュータ１０００のハードウエア構成の一例を概略的に示す。本実施形態に係るコンピュータ１０００は、ホストコントローラ１０９２により相互に接続されるＣＰＵ１０１０、ＲＡＭ１０３０、及びグラフィックコントローラ１０８５を有するＣＰＵ周辺部と、入出力コントローラ１０９４によりホストコントローラ１０９２に接続されるＲＯＭ１０２０、通信Ｉ／Ｆ１０４０、ハードディスクドライブ１０５０、ＤＶＤドライブ１０７０及び入出力チップ１０８０を有する入出力部を備える。
【００７３】
ＣＰＵ１０１０は、ＲＯＭ１０２０及びＲＡＭ１０３０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１０８５は、ＣＰＵ１０１０などがＲＡＭ１０３０内に設けたフレーム・バッファ上に生成する画像データを取得し、ディスプレイ１０９０上に表示させる。これに代えて、グラフィックコントローラ１０８５は、ＣＰＵ１０１０などが生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
【００７４】
通信Ｉ／Ｆ１０４０は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信Ｉ／Ｆ１０４０は、通信を行うハードウエアとして機能する。ハードディスクドライブ１０５０は、ＣＰＵ１０１０が使用するプログラム及びデータを格納する。ＤＶＤドライブ１０７０は、ＤＶＤ−ＲＯＭ１０７２からプログラム又はデータを読み取り、ＲＡＭ１０３０を介してハードディスクドライブ１０５０に提供する。
【００７５】
ＲＯＭ１０２０は、コンピュータ１０００が起動時に実行するブート・プログラム及びコンピュータ１０００のハードウエアに依存するプログラムなどを格納する。入出力チップ１０８０は、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポートなどを介して各種の入出力装置を入出力コントローラ１０９４へと接続する。
【００７６】
ＲＡＭ１０３０を介してハードディスクドライブ１０５０に提供されるプログラムは、ＤＶＤ−ＲＯＭ１０７２、又はＩＣカードなどの記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１０３０を介してハードディスクドライブ１０５０にインストールされ、ＣＰＵ１０１０において実行される。
【００７７】
コンピュータ１０００にインストールされ、コンピュータ１０００を動画データ生成装置２００として機能させるプログラムは、ＣＰＵ１０１０などに働きかけて、コンピュータ１０００を、動画データ生成装置２００の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ１０００に読込まれることにより、ソフトウエアと上述した各種のハードウエア資源とが協働した具体的手段であるＶＲ画像格納部２０２、重畳画像格納部２０４、ＶＲ画像取得部２０６、重畳画像取得部２０８、動画データ生成部２１０、及び動画データ送信部２１２として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ１０００の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の動画データ生成装置２００が構築される。
【００７８】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００７９】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００８０】
１０  ネットワーク、２０  カメラシステム、３０  画像提供装置、１００  表示システム、２００  動画データ生成装置、２０２  ＶＲ画像格納部、２０４  重畳画像格納部、２０６  ＶＲ画像取得部、２０８  重畳画像取得部、２１０  動画データ生成部、２１２  動画データ送信部、３００  ＨＭＤ、３０２  動画データ受信部、３０４  動画データ分割部、３０６  表示制御部、３０８  表示部、３１０  入力受付部、３１２  選択部、４１０  右目用画像、４２０  左目用画像、４３０  パノラマ画像、５００  重畳画像、５１０  分割画像、５２０  分割画像、５３０  分割画像、５４０  結合画像、６１０  動画構成画像、６２０  動画構成画像、７１０  半球、７２０  半球、７３０  全球、９００  コンピュータ、９１０  ＳｏＣ、９２２  メインメモリ、９２４  フラッシュメモリ、９３２  アンテナ、９３４  アンテナ、９４０  ディスプレイ、９４２  マイク、９４４  スピーカ、９５２  ＵＳＢポート、９５４  カードスロット、１０００  コンピュータ、１０１０  ＣＰＵ、１０２０  ＲＯＭ、１０３０  ＲＡＭ、１０４０  通信Ｉ／Ｆ、１０５０  ハードディスクドライブ、１０７０  ＤＶＤドライブ、１０７２  ＤＶＤ−ＲＯＭ、１０８０  入出力チップ、１０８５  グラフィックコントローラ、１０９０  ディスプレイ、１０９２  ホストコントローラ、１０９４  入出力コントローラ
【図１】
2018129576.tif 000003
【図２】
2018129576.tif 000004
【図３】
2018129576.tif 000005
【図４】
2018129576.tif 000006
【図５】
2018129576.tif 000007
【図６】
2018129576.tif 000008
【図７】
2018129576.tif 000009
【図８】
2018129576.tif 000010
【図９】
2018129576.tif 000011
【手続補正書】
【提出日】平成30年3月20日(2018.3.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画構成画像内の第１領域にＶＲ画像を含み、前記動画構成画像内の前記第１領域以外の第２領域に前記ＶＲ画像に重畳する重畳画像を含む動画データを生成する動画データ生成部と、
前記動画データ生成部によって生成された前記動画データを送信する動画データ送信部と
を備え、
前記動画データは、前記ＶＲ画像及び前記重畳画像のみによって構成されており、
前記ＶＲ画像は、右目用画像及び左目用画像を含む立体画像であり、
前記動画データ生成部は、前記第１領域に前記右目用画像と前記左目用画像とを横方向に隣接させて配置し、前記第２領域に前記重畳画像を分割した複数の分割画像を横方向に隣接させて配置することによって前記動画データを生成する、動画データ生成装置。
【請求項２】
前記ＶＲ画像は、球体へのテクスチャマッピングで表示するための画像であり、
前記重畳画像は、前記球体の内側に位置する平面へのマッピングで表示するための画像である、請求項１に記載の動画データ生成装置。
【請求項３】
前記ＶＲ画像は、球体へのテクスチャマッピングで表示するための画像であり、
前記重畳画像は、前記球体の一部へのテクスチャマッピングで表示するための画像である、請求項１に記載の動画データ生成装置。
【請求項４】
前記ＶＲ画像は、半球へのテクスチャマッピングで表示するための画像である、請求項１から３のいずれか一項に記載の動画データ生成装置。
【請求項５】
前記動画構成画像のアスペクト比と前記ＶＲ画像のアスペクト比とは異なる、請求項４に記載の動画データ生成装置。
【請求項６】
前記動画構成画像のアスペクト比は、１６：９であり、
前記ＶＲ画像のアスペクト比は、２：１である、請求項５に記載の動画データ生成装置。
【請求項７】
前記動画構成画像の解像度は３８４０×２１６０であり、
前記ＶＲ画像の解像度は３８４０×１９２０である、請求項５又は６に記載の動画データ生成装置。
【請求項８】
前記ＶＲ画像は、パノラマ画像である、請求項１から３のいずれか一項に記載の動画データ生成装置。
【請求項９】
前記動画構成画像のアスペクト比と前記ＶＲ画像のアスペクト比とは異なる、請求項８に記載の動画データ生成装置。
【請求項１０】
前記動画構成画像のアスペクト比は、１６：９であり、
前記ＶＲ画像のアスペクト比は、２：１である、請求項９に記載の動画データ生成装置。
【請求項１１】
前記動画構成画像の解像度は３８４０×２１６０であり、
前記ＶＲ画像の解像度は３８４０×１９２０である、請求項９又は１０に記載の動画データ生成装置。
【請求項１２】
コンピュータを、請求項１から１１のいずれか一項に記載の動画データ生成装置として機能させるためのプログラム。
【請求項１３】
請求項１から１１のいずれか一項に記載の動画データ生成装置と、
前記動画データ生成装置によって生成された動画データを表示するよう制御する表示制御装置と
を備える、表示システム。
【請求項１４】
動画構成画像内の第１領域にＶＲ画像を含み、前記動画構成画像内の前記第１領域以外の第２領域に前記ＶＲ画像に重畳する重畳画像を含む動画データを受信する動画データ受信部と、
前記ＶＲ画像を球体にテクスチャマッピングし、前記重畳画像を前記ＶＲ画像に重畳して表示するよう制御する表示制御部と
を備え、
前記動画データは、前記ＶＲ画像及び前記重畳画像のみによって構成されており、
前記ＶＲ画像は、右目用画像及び左目用画像を含む立体画像であり、
前記重畳画像は、一の画像を分割した複数の分割画像を含み、
前記第１領域には前記右目用画像と前記左目用画像とが横方向に隣接して配置されており、前記第２領域には前記複数の分割画像が横方向に隣接して配置されており、
前記表示制御部は、前記右目用画像及び前記左目用画像を前記球体にテクスチャマッピングし、前記複数の分割画像を前記ＶＲ画像に重畳して表示するよう制御する、表示制御装置。
【請求項１５】
前記表示制御部は、前記ＶＲ画像を球体にテクスチャマッピングし、前記重畳画像を前記球体の内側に位置する平面にマッピングする、請求項１４に記載の表示制御装置。
【請求項１６】
前記表示制御部は、前記ＶＲ画像を球体にテクスチャマッピングし、前記重畳画像を前記球体の一部にテクスチャマッピングする、請求項１４に記載の表示制御装置。
【請求項１７】
前記表示制御部は、前記ＶＲ画像を半球にテクスチャマッピングする、請求項１４から１６のいずれか一項に記載の表示制御装置。
【請求項１８】
前記動画構成画像のアスペクト比と前記ＶＲ画像のアスペクト比とは異なる、請求項１７に記載の表示制御装置。
【請求項１９】
前記動画構成画像のアスペクト比は、１６：９であり、
前記ＶＲ画像のアスペクト比は、２：１である、請求項１８に記載の表示制御装置。
【請求項２０】
前記動画構成画像の解像度は３８４０×２１６０であり、
前記ＶＲ画像の解像度は３８４０×１９２０である、請求項１８又は１９に記載の表示制御装置。
【請求項２１】
前記ＶＲ画像は、パノラマ画像である、請求項１４から１６のいずれか一項に記載の表示制御装置。
【請求項２２】
前記動画構成画像のアスペクト比は、１６：９であり、
前記ＶＲ画像のアスペクト比は、２：１である、請求項２１に記載の表示制御装置。
【請求項２３】
前記動画構成画像の解像度は３８４０×２１６０であり、
前記ＶＲ画像の解像度は３８４０×１９２０である、請求項２１又は２２に記載の表示制御装置。
【請求項２４】
前記表示制御部は、前記重畳画像から分割した前記複数の分割画像を結合した結合画像を前記ＶＲ画像に重畳して表示する、請求項１４から２３のいずれか一項に記載の表示制御装置。
【請求項２５】
コンピュータを、請求項１４から２４のいずれか一項に記載の表示制御装置として機能させるためのプログラム。