(57)【特許請求の範囲】
【請求項１】
サーバにおいて第一自律走行車からコンテンツ配信に対する要求を受信するステップと、
前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定するステップと、
前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識するステップと、
前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に重ねて拡張画像を生成するステップと、
前記第一自律走行車に前記拡張画像を伝送するステップと、を含んでおり、
ここで、前記拡張画像が仮想現実の方式で前記自律走行車内の表示装置に表示される
ことを特徴とする自律走行車にコンテンツ配信を行うためのコンピュータ実施方法。
【請求項２】
前記サーバはネットワークを介して複数の自律走行車にコンテンツ配信を提供する
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像は前記第一自律走行車の一つ又は複数のカメラによってリアルタイムに捕捉されて、前記自律走行車の周囲ビューを表示する
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像は、前記第一自律走行車から順番にストリーミングされた複数の画像のうちの一つであり、前記拡張画像は、前記サーバから前記第一自律走行車にストリーミングされる複数の拡張画像のうちの一つである
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記現在の車両情報は、前記要求から取得された前記第一自律走行車の位置情報を含む
ことを特徴とする請求項１に記載の方法。
【請求項６】
選択された前記コンテンツアイテムは、前記ユーザプロファイルに基づき決定されたユーザ嗜好によって前記コンテンツアイテムリストから選択されるものであり、ここで、前記ユーザプロファイルが前記要求から取得されたユーザ認識子に基づいて検索される
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記画像に画像認識を実行して前記第一自律走行車の外部の第一オブジェクトを認識するステップを更に含み、ここで、前記画像に重ねられたコンテンツアイテムは前記第一オブジェクトを説明する第一メタデータを含む
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記コンテンツアイテムは、近傍における第二オブジェクトを記述し、前記第一オブジェクトと前記第二オブジェクトの間の距離を示す第二メタデータを更に含む
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記第二オブジェクトは前記画像において示されていないが、前記第一自律走行車の位置及び経路情報に基づき取得された地図及びポイントオブインタレスト（ＭＰＯＩ）情報によって、前記第二オブジェクトは前記第一自律走行車の所定近接範囲内に位置する
ことを特徴とする請求項８に記載の方法。
【請求項１０】
命令を記憶した非一時的機械読取可能媒体であって、プロセッサに実行される時に前記命令が前記プロセッサに自律走行車に対してコンテンツ配信操作を実行させ、前記操作は、
第一自律走行車からコンテンツ配信に対する要求を受信することと、
前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定することと、
前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、
前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に重ねて、拡張画像を生成することと、
前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む
ことを特徴とする非一時的機械読取可能媒体。
【請求項１１】
前記サーバはネットワークを介して複数の自律走行車にコンテンツ配信を提供する
ことを特徴とする請求項１０に記載の非一時的機械読取可能媒体。
【請求項１２】
前記画像は、前記第一自律走行車の一つ又は複数のカメラによってリアルタイムに捕捉されるものであり、前記自律走行車の周囲ビューを表示する
ことを特徴とする請求項１０に記載の非一時的機械読取可能媒体。
【請求項１３】
前記画像は、前記第一自律走行車から順番にストリーミングされた複数の画像のうちの一つであり、前記拡張画像は、前記サーバから前記第一自律走行車にストリーミングされた複数の拡張画像のうちの一つである
ことを特徴とする請求項１２に記載の非一時的機械読取可能媒体。
【請求項１４】
前記車両情報は前記要求から取得された前記第一自律走行車の位置情報を含む請求項１０に記載の非一時的機械読取可能媒体。
【請求項１５】
選択された前記コンテンツアイテムは、前記ユーザプロファイルに基づき決定されたユーザ嗜好によって前記コンテンツアイテムリストから選択されるものであり、ここで、前記ユーザプロファイルが前記要求から取得されたユーザ認識子に基づいて検索される
ことを特徴とする請求項１０に記載の非一時的機械読取可能媒体的。
【請求項１６】
前記操作は、前記画像に画像認識を実行して前記自律走行車の外部の第一オブジェクトを認識することを更に含み、ここで、前記画像に重ねられるコンテンツアイテムは前記第一オブジェクトを記述する第一メタデータを含む
ことを特徴とする請求項１０に記載の非一時的機械読取可能媒体。
【請求項１７】
前記コンテンツアイテムは、近傍における第二オブジェクトを記述し、前記第一オブジェクトと前記第二オブジェクトの間の距離を示す第二メタデータを更に含む
ことを特徴とする請求項１６に記載の非一時的機械読取可能媒体。
【請求項１８】
前記第二オブジェクトは前記画像において示されていないが、前記第一自律走行車の位置及び経路情報に基づき取得した地図及びポイントオブインタレスト（ＭＰＯＩ）情報によって、前記第二オブジェクトは前記第一自律走行車の所定近接範囲内に位置する
ことを特徴とする請求項１７に記載の非一時的機械読取可能媒体。
【請求項１９】
プロセッサと、
前記プロセッサに接続されて、前記プロセッサにより実行される時に前記プロセッサに操作を実行させる命令を記憶するメモリと、を含んでおり、
前記操作は、
第一自律走行車からコンテンツ配信に対する要求を受信することと、
前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定することと、
前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、
前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に重ねて、拡張画像を生成することと、
前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む
ことを特徴とするサーバとして動作するデータ処理システム。
【請求項２０】
前記サーバはネットワークを介して複数の自律走行車にコンテンツ配信を提供する
ことを特徴とする請求項１９に記載のシステム。
【請求項２１】
ネットワークを介して、自律走行車からクラウドサーバに、メディアコンテンツに対する自律走行車の車両識別子（ＩＤ）と前記自律走行車に乗るユーザのユーザＩＤとを含む要求を伝送するステップと、
前記クラウドサーバからストリーミングされて前記クラウドサーバによりレンダリングされた第一ストリームメディアコンテンツと第二ストリームメディアコンテンツとを受信するステップと、
前記自律走行車の第一ウィンドウに相当する第一位置に配置される第一表示装置において前記第一ストリームメディアコンテンツを表示するステップと、
前記自律走行車の第二ウィンドウに相当する第二位置に配置された第二表示装置において前記第二ストリームメディアコンテンツを表示するステップと、を含む
ことを特徴とする自律走行車においてメディアコンテンツを表示するコンピュータ実施方法。
【請求項２２】
前記クラウドサーバは、前記ユーザＩＤにより認識された前記ユーザのユーザプロファイルに基づき前記第一ストリームメディアコンテンツと前記第二ストリームメディアコンテンツを認識する
ことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記第一ストリームメディアコンテンツは、前記ユーザが前記自律走行車の第一透明ウィンドウを介して第一視角から実際のコンテンツを見るように、仮想現実方式で前記第一表示装置に表示する
ことを特徴とする請求項２１に記載の方法。
【請求項２４】
前記第二ストリームメディアコンテンツは、前記ユーザが前記自律走行車の第二透明ウィンドウを介して第二視角から実際のコンテンツを見るように、仮想現実方式で前記第二表示装置に表示する
ことを特徴とする請求項２３に記載の方法。
【請求項２５】
前記第一ストリームメディアコンテンツと前記第二ストリームメディアコンテンツは協同して表示される
ことを特徴とする請求項２１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願の実施形態はコンテンツ検索及び配信に関する。より具体的に、本出願の実施形態は自律走行車におけるコンテンツ検索及び配信に関する。
【背景技術】
【０００２】
自律モード（例えば、無人運転又は自動運転）で運転される車両は乗員、特に運転者を運転関連作業から解放することを可能にする。自律モードで運転する場合、車両は車載センサを利用して様々な位置導かれることができ、それによって、ヒューマンインタラクションが最小化である場合、または乗員がない状況で車両走行を可能にする。従って、自律走行車は、乗員、特に車両を運転するすべきな人が走行中にほかのことをすることを可能にする。様々な運転関連作業に集中する代わり、運転者やその他の乗員は自律走行車に乗る時に映画やその他のメディアコンテンツを自由に見ることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
通常、自律走行車に乗ることによる興奮は、初めて乗る搭乗者に対しても極めて短い時間しか持続できず、その後で非常につまらない体験になる。また、少なくとも初期段階において、自律走行車の応用前景は共有経済に基づく可能性が高い。従って、一台の車両には、少数ではなく、多数のつまらない搭乗者が乗っていることになる。
【０００４】
しかしながら、自律走行車における通常のコンテンツ配信システムは、通常、自律走行車が運転しているリアルタイム交通環境にかかわらず、ユーザに静的コンテンツを提供する。配信されたコンテンツには、自律走行車に乗るユーザにとって興味があるものもあれば、興味がないものもある。
【課題を解決するための手段】
【０００５】
一つの様態において、自律走行車にコンテンツ配信を行うためのコンピュータ実施方法を提供し、この方法は、サーバにおいて第一自律走行車からコンテンツ配信に対する要求を受信するステップと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定するステップと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識するステップと、前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて拡張画像を生成するステップと、前記第一自律走行車に前記拡張画像を伝送するステップと、を含んでおり、ここで、前記拡張画像が仮想現実の方式で前記自律走行車内の表示装置に表示される。
【０００６】
別の一つの様態において、命令を記憶した非一時的機械読取可能媒体を提供し、プロセッサに実行される時に前記命令が前記プロセッサに自律走行車に対してコンテンツ配信操作を実行させ、前記操作は、第一自律走行車からコンテンツ配信に対する要求を受信することと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定することと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて、拡張画像を生成することと、前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む。
【０００７】
別の一つの様態において、サーバとして動作するデータ処理システムを提供し、このデータ処理システムは、プロセッサと、前記プロセッサに接続されて、前記プロセッサにより実行される時に前記プロセッサに操作を実行させる命令を記憶するメモリと、を含んでおり、前記操作は、第一自律走行車からコンテンツ配信に対する要求を受信することと、前記要求に応答して、前記要求から取得された画像に視覚分析を実行して前記画像の三次元（３Ｄ）位置決め情報を決定することと、前記第一自律走行車の現在の車両情報に基づき、前記第一自律走行車に乗るユーザのユーザプロファイルによって複数のコンテンツアイテムのリストを認識することと、前記画像の３Ｄ位置決め情報に基づき、前記コンテンツアイテムリストから選択された第一コンテンツアイテムを前記画像に拡張させて、拡張画像を生成することと、前記第一自律走行車に前記拡張画像を伝送し、前記拡張画像を仮想現実の方式で前記自律走行車内の表示装置に表示することと、を含む。
【０００８】
別の一つの様態において、自律走行車においてメディアコンテンツを表示するコンピュータ実施方法を提供し、この方法は、ネットワークを介して、自律走行車からクラウドサーバに、メディアコンテンツに対する自律走行車の車両識別子（ＩＤ）と前記自律走行車に乗るユーザのユーザＩＤとを含む要求を伝送するステップと、前記クラウドサーバからストリーミングされて前記クラウドサーバによりレンダリングされた第一ストリームメディアコンテンツと第二ストリームメディアコンテンツとを受信するステップと、前記自律走行車の第一ウィンドウに相当する第一位置に配置される第一表示装置において前記第一ストリームメディアコンテンツを表示するステップと、前記自律走行車の第二ウィンドウに相当する第二位置に配置された第二表示装置において前記第二ストリームメディアコンテンツを表示するステップと、を含む。
【０００９】
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号は、類似の構成要素を示す。
【図面の簡単な説明】
【００１０】
【図１】本出願の一実施形態に係るネットワーク化システムを示すブロック図である。
【図２】本出願の一実施形態において自律走行車でエンターテイメントコンテンツを提供する処理フローを示す図である。
【図３】本出願の一実施形態に係るコンテンツレンダリングシステムの一例を示すブロック図である。
【図４】本出願の一実施形態に係るコンテンツ処理プロセスフローを示す図である。
【図５】本出願の一実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。
【図６】本出願の別の実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。
【図７】一実施形態に係るデータ処理システムを示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、説明の詳細を参照しながら、本出願の様々な実施形態および方法を説明し、図面は、前記様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
【００１２】
本明細書では「一つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造または特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
【００１３】
いくつかの実施形態によれば、車載情報とエンターテイメントシステムを利用して、仮想現実（ＶＲ）の方式で自律走行車での表示に適するコンテンツを提供する。自律走行車の搭乗者の情報（例えば、ナビゲーション、推薦）やエンターテイメント（例えば、勉強及びゲーム）アプリケーションに応じてコンテンツを認識してレンダリングすることができ、それによって、拡張現実及び/又は仮想現実をクラウドレンダリング及びストリーミングとを組み合わせて、前記自律運転環境用コンテンツでの可用性に焦点を当てる。
【００１４】
本出願の一様態によれば、サーバ（例えば、クラウドサーバ）は第一自律走行車からコンテンツ配信に対する要求を受信する。当該要求に応答して、要求から取得された画像に視覚分析を実行して画像の三次元（３Ｄ）位置決め情報を決定する。第一自律走行車に乗るユーザのユーザプロファイルに応じて、第一自律走行車の現在の車両情報に基づきコンテンツアイテムリストを認識する。画像の３Ｄ位置決め情報に基づき、コンテンツアイテムリストから選択された第一コンテンツアイテムを画像に拡張させて拡張画像を生成する。第一自律走行車に当該拡張画像を伝送し、拡張画像を仮想現実の方式で自律走行車内の表示装置に表示する。
【００１５】
拡張画像は、サーバから自律走行車にストリーミングされるストリーム（例えば、拡張ビデオストリーム）における複数の拡張画像のうちの一つであってもよい。サーバはネットワーク（例えば、クラウドネットワーク）を介してサーバに通信接続される複数の自律走行車に情報とエンターテイメントコンテンツを提供するように配置されることができる。車両情報は速度と移動方向、位置と経路情報、地図とポイントオブインタレスト（ＭＰＯＩ）、及び/又は自律走行車に関連するリアルタイム交通情報を含むことができる。複数のデータソース及び自律走行車から定期的に車両情報を受信することができる。ユーザのユーザプロファイル及び前記時点での車両情報に基づきコンテンツアイテムを認識することができる。
【００１６】
本出願の別の様態によれば、自律走行車は、ネットワークを介してクラウドサーバに自律走行車の車両識別子（ＩＤ）及び自律走行車に乗るユーザを認識するユーザ認識子（ＩＤ）を含んでメディアコンテンツに対する要求を伝送する。クラウドサーバから、クラウドサーバによりレンダリングされた第一ストリームメディアコンテンツと第二ストリームメディアコンテンツをストリーミングする。第一ストリームメディアコンテンツを、自律走行車の第一ウィンドウに相当する第一位置に配置された第一表示装置に表示する。第二ストリームメディアコンテンツを、自律走行車の第二ウィンドウに相当する第二位置に配置された第二表示装置に表示する。
【００１７】
図１は本出願の一実施形態に係るネットワーク構成を示すブロック図である。図１に示されるように、ネットワーク構成１００は、ネットワーク１０３を介して集中型サーバ１０２に通信接続された自律走行車を含む。一台の自律走行車が示されたが、複数台の自律走行車をネットワーク１０３を介してサーバ１０２に接続し、サーバ１０２によってこれら車両を管理してもよい。各自律走行車は自律走行車１０１と同じ又は類似した構造を有してもよい。ネットワーク１０３は、例えば、有線又は無線ローカルエリアネットワーク（ＬＡＮ）、例えばインターネット、セルラーネットワーク、衛星ネットワークなどの広域エリアネットワーク（ＷＡＮ）、又はこれらの組合せのいずれでもよい。サーバ１０２は、例えばネットワーク又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はこれらの組合せなどのサーバ又はサーバクラスターのいずれでもよい。
【００１８】
一実施形態において、自律走行車１０１はセンサシステム１１５とデータ処理システム１１０を含むがこれらに制限されない。センサシステム１１５は、自律走行車１０１が様々な状況下で各種の道路や場所でナビゲーションすることを可能にするのに必要な複数のセンサ又は感知装置を含む。例えば、センサシステム１１５は一つ又は複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測装置（ＩＭＵ）、レーダーシステム及び/又は光検出測距（ＬＩＤＡＲ）システムを含むことができる。データ処理システム１１０は、例えばバス、インターコネクト又はネットワークを介してセンサシステム１１５に通信接続される。データ処理システム１１０は、センサシステム１１５から受信された任意のデータを処理し且つセンサシステム１１５を管理したり制御したりするように作動可能である。データ処理システム１１０は、センサシステム１１５から受信された情報を処理して自律走行車１０１の運転と制御に必要なソフトウェア及びハードウェアを備える専用コンピュータであってもよい。
【００１９】
一実施形態において、データ処理システム１１０は、行程モジュール１２１Ａ、コンテンツレンダリングシステム１２２Ａ、コンテンツ表示モジュール１２３、通信モジュール１２４及びデータ記憶部１２５を含むが、これらに制限されない。モジュール１２１Ａ〜１２４は、ソフトウェア、ハードウェア又はこれらの組合せに実装されることができる。例えば、モジュール１２１Ａ〜１２４はシステムメモリーにロードされてデータ処理システム１１０の一つの又は複数のプロセッサに実行されてもよい。行程モジュール１２１Ａはユーザの行程に関連する任意のデータを管理する。ユーザは例えばユーザインタフェースを介してログインして行程の出発地と目的地を指定することができる。行程モジュール１２１Ａは行程関連データを取得するために自律走行車１０１のその他の構成要素と通信する。例えば、行程モジュール１２１Ａは位置サーバ１０６及び地図とＰＯＩ（ＭＰＯＩ）サーバ１０５から位置と経路情報を取得することができる。位置サーバ１０６は位置サービスを提供し、ＭＰＯＩサーバ１０５は地図サービスとある位置のＰＯＩを提供する。自律走行車１０１が経路に沿って走行する時、行程モジュール１２１Ａは交通情報システム又はサーバ（ＴＩＳ）１０４からリアルタイム交通情報を取得することができる。なお、サーバ１０４〜１０６は第三者エンティティによって操作されてもよい。あるいは、サーバ１０４〜１０６の機能はサーバ１０２と統合することができる。行程モジュール１２１Ａはこれらのタイプの情報を分析してネットワーク１０３を介してサーバ１０２に伝送する。
【００２０】
データ記憶部１２５は持続的記憶装置（例えば、ハードディスクである不揮発性記憶装置）に保存されることができ、前記持続的記憶装置は複数のデータを記憶し、当該データはコンテンツデータベース（例えば、マルチメディアコンテンツ）、ユーザプロファイル、行程相関情報（例えば、位置や経路情報、ＰＯＩ情報）を含むが、これらに制限されない。データ記憶部１２５に記憶されたデータは例えばサーバ１０２、交通情報サーバ１０４、地図とＰＯＩサーバ１０５、並びに位置サーバ１０６等の複数種のデータソースから取得することができる。例えば、コンテンツデータとユーザプロファイルはサーバ１０２のデータ記憶部１３０におけるコンテンツデータベース１３１とユーザプロファイル１３２から提供されキャッシュされることができる。データ処理システム１１０は、その他の部品、例えば一つ又は複数のプロセッサ（例えば、中央処理ユニット又はＣＰＵ）、システムメモリー又は通信インターフェース（例えば、無線通信インターフェース）等を含んでもよい。
【００２１】
コンテンツレンダリングシステム１２２Ａは、例えばデータ記憶部１２５に記憶されたコンテンツに対してローカルコンテンツレンダリング操作を実行する。一実施形態において、コンテンツレンダリングシステム１２２Ａは、前記コンテンツをレンダリングすることでコンテンツ表示モジュール１２３によって自律走行車１０１の一つ又は複数の表示装置１２０において仮想現実方式で表示可能な仮想現実コンテンツにする。例えば、自律走行車１０１のウィンドウとして、実際の車窓の一般的な形状として成形又は曲げられた表示装置で代替する仮想ウィンドウを配置する。ユーザが表示装置に表示されたコンテンツを見ることは、透明なウィンドウを介して見るのようである。別の例として、仮想現実及び/又は拡張現実コンテンツは個人的にカスタマイズされて、それぞれ各搭乗者のヘッドセットに配信することによって、カスタマイズされた実体験のようなユーザエクスペリエンスを提供することを可能にする。
【００２２】
表示されるコンテンツは自律走行車１０１の一つ又は複数のカメラによってリアルタイムに捕捉された、自律走行車１０１の実際の物理的環境を示す画像又はビデオであってもよい。或いは、表示されるコンテンツは自律走行車１０１の周囲環境と完全に異なり又は無関係のコンテンツであってもよい。具体的には、ユーザは、リアルタイムに捕捉されるリアルタイムな実体コンテンツ、又は例えばデータ記憶部１２５から検索されて表示装置に表示しようとするレンダリングされたコンテンツを選択することができる。例えば、自律走行車１０１が雪の降る日にニューヨーク市で走行する場合、ユーザは表示装置を切り替えてハワイの晴れた環境を表示し、自律走行車１０１が晴れている日に旅しているようにすることができる。協同又は協力方式（すなわち仮想現実方式）を利用して複数の表示装置（例えば、複数のウィンドウ）においてコンテンツを表示することが可能である。
【００２３】
一実施形態によれば、ローカルにコンテンツをレンダリングする代わり、自律走行車１０１はネットワーク１０３を介して複数種の通信プロトコルを利用してサーバ１０２と通信するための通信モジュール１２４を含む。より高い処理能力又はサーバ１０２においてより多くの利用可能な処理リソースを使用して、サーバ１０２においてコンテンツレンダリングを実行することができる。この例では、コンテンツレンダリングシステム１２２Ａの一部又はすべての機能は、例えばコンテンツレンダリングシステム１２２Ｂの一部としてサーバ１０２において実現することができる。同様に、自律走行車１０１の行程モジュール１２１Ａの一部又はすべての機能は、例えば行程モジュール１２１Ｂの一部としてサーバ１０２に保存することができる。また、サーバ１０２は複数のクラウドコンピューティングノード又はクラウド処理ノードに通信接続されて、分散型方式でレンダリングタスクを配分することができる。その他、別の一実施形態によれば、コンテンツレンダリングシステムの一部の機能は自律走行車１０１のコンテンツレンダリングシステム１２２Ａとサーバ１０２のコンテンツレンダリングシステム１２２Ｂの間で分かれてもよい。
【００２４】
次に、レンダリングされたコンテンツ（例えば、仮想現実コンテンツ）はサーバ１０２から動的に自律走行車１０１にストリーミングされ、よりよい性能を取得するために、前記コンテンツは、データ記憶部１２５にバッファされたりキャッシュされたりすることができる。リアルタイム車両情報（例えば、位置や経路、ＭＰＯＩ、交通状况）及び自律走行車１０１に乗るユーザのユーザプロファイル１３２のコンテキストにおけるその他の情報に基づき認識して選択することができる特定のコンテンツ（例えば、スポンサー付きコンテンツ、広告）を利用して、仮想現実コンテンツを更に拡張させることもできる。従って、レンダリングされたコンテンツは、予めコンパイルされたメディアコンテンツに基づく純粋な仮想現実コンテンツであってもよい。或いは、コンテンツは、自律走行車１０１のカメラによってリアルタイムに捕捉されてその他のコンテンツ（例えば、スポンサー付きコンテンツ、その他のデータソース又はコンテンツプロバイダーから取得された補充又は関連コンテンツ）を拡張させた画像又はビデオに基づきレンダリングされた拡張仮想現実（ＡＶＲ、拡張現実/仮想現実又はＡＲ/ＶＲコンテンツとも呼ばれる）コンテンツであってもよい。予めコンパイルされたコンテンツにこのような拡張を実行することもできる。例えば、スポンサー付きコンテンツ（例えば、Ａｄ）を、予め収集された従来の画像又はビデオに拡張する。
【００２５】
図２は本出願の一実施形態において自律走行車でエンターテイメントコンテンツを提供する処理フローを示す図である。プロセス２００は図１のシステム１００によって実行することができる。図２に示されるように、自律走行車１０１は経路２０１を介してクラウドサーバ１０２にコンテンツ配信に対する要求を送信する。当該要求は仮想現実コンテンツ又は拡張仮想現実コンテンツを要求することができる。普通の仮想現実コンテンツが要求されるとき、要求は自律走行車１０１を標識する車両ＩＤ、自律走行車に乗るユーザを標識するユーザＩＤ及びユーザにより選択可能な特定コンテンツを標識するオプションコンテンツＩＤのみを含んでもよい。拡張仮想現実コンテンツが要求されるとき、要求は自律走行車１０１の一つ又は複数のカメラによってリアルタイムに捕捉される画像を更に含んでもよい。当該画像は自律走行車１０１の周囲環境を表示する。要求は、自律走行車１０１の車両情報、例えば、位置及び経路情報、速度、移動方法等を含んでもよい。
【００２６】
当該要求に応答して、ブロック２０２において、サーバ１０２は画像に視覚分析を実行して３Ｄ位置決め又は視聴情報を決定する。この操作は受信された要求が拡張現実コンテンツを要求する場合にしか実行しない。ブロック２０３において、サーバ１０２はサーバ１０２において利用可能な情報、例えば車両情報、ＭＰＯＩ情報、リアルタイム交通情報及び/又はユーザのユーザプロファイルの一部又はすべてに基づいて別のコンテンツを検索して認識する。前記仮想現実コンテンツが普通の仮想現実コンテンツか拡張仮想現実コンテンツかに関わらず、ブロック２０４において、仮想現実コンテンツをレンダリングする。次に、経路２０５を介してレンダリングされたコンテンツをサーバ１０２から自律走行車１０１に伝送する。その後、ブロック２０６において仮想現実の方式で自律走行車１０１内の一つ又は複数の表示装置にレンダリングされたコンテンツを表示する。
【００２７】
図３は本出願の一実施形態に係るコンテンツレンダリングシステムの一例を示すブロック図である。コンテンツレンダリングシステム１２２は図１のコンテンツレンダリングシステム１２２Ａ及び/又は１２２Ｂを示す。図３を参照して、コンテンツレンダリングシステム１２２は視覚分析モジュール３０１、コンテンツ選択モジュール３０２、コンテンツランキングモジュール３０３、拡張モジュール３０４、ＶＲレンダリングモジュール３０５及び画像再生ストリーミングモジュール３０６を含むが、これらに制限されない。自律走行車からコンテンツ配信に対する要求を受信したとき、当該要求を検査して当該要求が仮想現実（ＶＲ）コンテンツを要求するか拡張仮想現実（ＡＶＲ）コンテンツを要求するかを決定する。
【００２８】
当該要求がＡＶＲコンテンツを要求することを決定した応答として、視覚分析モジュール３０１は画像に視覚分析を実行して画像の３Ｄ位置決め情報と視角情報を決定する。画像は自律走行車の一つ又は複数のカメラによってリアルタイムに捕捉される。視覚分析モジュール３０１への入力ストリームは、車両からのオリジナルな捕捉画像及び位置/方位に関する情報を含む。視覚分析モジュール３０１においてコンピュータ視覚関連カーネルＡＲアルゴリズムを実施して、更に当該コンピュータビジョンに関連するコアＡＲアルゴリズムにより、当該入力に基づいて回復された捕捉画像の３Ｄ位置決め情報を生成する。言い換えると、視覚分析モジュール３０１の出力は、アノテーションレンダリングの位置、角度及び手段を正確に把握するが、どうやってレンダリングするかが不明である。
【００２９】
一実施形態において、コンテンツ選択モジュール３０２はその他の情報、例えばユーザＩＤ及びその他の車両関連情報を分析する。次に、コンテンツ選択モジュール３０２は、ユーザＩＤに基づいてユーザプロファイル１３２を問い合わせてユーザプロファイル情報（例えば、ユーザ嗜好）を取得し、行程モジュール１２１によって複数のデータソース（例えば、図１のサーバ１０４−１０６）から取得できる例えば地図、登録企業等のその他の関連情報を組み合わせて、コンテンツデータベース１３１からコンテンツアイテムリストを認識する。コンテンツランキングモジュール３０３は、複数種のランキングアルゴリズム又はランキングモデル３１０（例えば、ユーザ嗜好、前のインタラクション履歴）を使用してコンテンツアイテムをランキングする。次に、前記ランキングに基づいてコンテンツアイテムの一つを選択する。言い換えると、このような出力は、どんな情報を表示するかを正確に把握するがどうやって表示するかが不明である。
【００３０】
拡張モジュール３０４は、例えば視覚分析モジュール３０１が提供する３Ｄ位置決め情報に基づき、選択されたコンテンツアイテムを自律走行車から受信した実画像に拡張させる。その後、ＶＲレンダリングモジュール３０５は拡張モジュール３０４が提供する拡張画像に基づい、また、状況に応じて視覚分析モジュール３０１が提供する３Ｄ位置決め/視聴情報に基づいてＶＲコンテンツをレンダリングする。拡張モジュール３０４及びＶＲレンダリングモジュール３０５は単一モジュールとして集積されることができる。次に、ネットワークを介してレンダリングされたＡＶＲコンテンツを、例えばクラウドサーバから自律走行車にストリーミングして、仮想現実方式で自律走行車において表示する。なお、実際の設定に応じて、かかるカメラセンサとウィンドウモニター対が複数存在する可能性があり、更に、現実的なユーザエクスペリエンスを提供するために、捕捉された画像と表示される画像との対応性及び同期性を確保することを必要とする場合がある。
【００３１】
一実施形態において、視覚分析モジュール３０１は画像に画像認識を実行して画像によって表示されるコンテンツを導出又は理解する。例えば、視覚分析モジュール３０１は画像又はＰＯＩを説明する一つ又は複数のキーワードを導出できる。画像によって表示される一つ又は複数のキーワード又はＰＯＩに基づき、コンテンツアイテムリストを更に認識することができる。次に、拡張モジュール３０４は選択されたコンテンツアイテムを画像に拡張させて拡張画像を生成し、ここで、コンテンツアイテムが画像に重ねてもよい。それから、自律走行車の表示装置において拡張画像が表示される。
【００３２】
例えば、カメラは、例えば小売店等の道端の対象を捕捉することができる。更に、位置及び経路情報、ＭＰＯＩ情報及び/又は自律走行車のリアルタイム交通データに基づき、画像を分析して認識する。認識された小売店に関連するその他の情報、例えば認識された小売店のユーザ評価、近傍におけるその他の店舗（店舗の名称又はタイプ、ユーザ評価及び/又は小売店との距離を含む）を取得することができる。当該情報を、ストリーミングされた自律走行車の拡張画像に注釈を付けることができる。
【００３３】
自律走行車では、実際のウィンドウ又は物理的なウィンドウがない場合がある。むしろ、「ウィンドウ」（本出願では仮想ウィンドウと呼ばれる）は表示装置（すなわち車窓の形状に成形された平坦な又は曲面を有する画面表示装置）によって表示又は代替することができる。表示装置は、ユーザが透明ウィンドウを介して実際の物理的コンテンツを見る又は目にするように、適切なカメラによってリアルタイム且つ動的に捕捉される画像又は画像ストリーム（例えば、ビデオ）を表示する。それぞれの「ウィンドウ」（例えば、表示装置）に対して、リアルタイムに表示されて、拡張現実システム（例えばデータ処理システム１１０）によって集中処理可能な対応コンテンツをストリーミングする表示チャネルが存在する。この場合、仮想現実方式（拡張現実方式とも呼ばれる）によって拡張画像を表示する。
【００３４】
別の一実施形態によれば、要求が普通の仮想現実コンテンツに対する要求である場合、コンテンツ選択モジュール３０２は前記複数種の要素（例えば、現在の車両情報やユーザプロファイル等）に基づいてコンテンツデータベース１３１を検索してコンテンツアイテム（例えば、既存のビデオ）のリストを認識する。コンテンツランキングモジュール３０３は、複数種のランキングアルゴリズム又はランキングモデル３１０を使用してコンテンツアイテムをランキングし、前記ランキングに基づき、コンテンツアイテムのうちの一つを選択する。更に、ＶＲレンダリングモジュール３０５によって、選択されたコンテンツアイテムをレンダリングする。次に、画像再生ストリーミングモジュール３０６はレンダリングされたコンテンツを再生して当該コンテンツを自律走行車にストリーミングする。
【００３５】
一実施形態において、コンテンツランキングモジュール３０３は、複数種のランキングアルゴリズムを使用してリストにおけるコンテンツアイテムをランキングする。ユーザのユーザプロファイルに基づきコンテンツアイテムをランキングすることができ、例えば、ユーザプロファイルから導出可能なユーザ嗜好に基づいてコンテンツアイテムをランキングする。ユーザのユーザ操作履歴に基づいてユーザプロファイルをコンパイルすることができる。一実施形態において、コンテンツランキングモジュール３０３はコンテンツアイテム中のそれぞれに一つ又は複数のコンテンツランキングモデル３１０を適用して、それぞれのコンテンツアイテムのランキングスコアを決定する。ランキングスコアが所定閾値より高いコンテンツアイテムを選択することができる。以前の類似走行環境又は交通状況を示す複数群の既知特徴を使用してコンテンツランキングモデル３１０をトレーニングすることが可能である。更に類似したユーザのユーザプロファイルに基づいてコンテンツランキングモデル３１０をトレーニングしてもよい。
【００３６】
ＶＲ配置では、カメラ入力に依存せず、且つＡＲアノテーションに基づく必要があっても、ユーザＩＤと車両情報をネットワークを介して自律走行車からクラウドサーバに送信するだけである。クラウドサーバにおける再生画像データベースにおいて車両に表示される画像を直接検索し、この検索はユーザ嗜好に応じて車両の周囲現実と関係がある場合もあって、関係がない場合もある。ＡＲアノテーションが必要であれば、クラウドサーバにおけるＶＲレンダリングモジュール３０５はそれぞれの再生画像に対する３Ｄ位置決め情報を検索し、更にユーザのＩＤを使用してユーザプロファイルを問い合わせて関連情報、例えばユーザのサービス嗜好を取得する。最後に、画像の３Ｄ位置に基づいて前記画像に具体的にカレントユーザに用いられるＡＲアノテーションをレンダリングし、且つレンダリングされた画像を通信モジュールによって車両に返送してモニターの適切な側面に表示する。再生メディアコンテンツのソースとして、商用コンテンツプロバイダー又は以前の行程についてのユーザ自分の記録であってもよい。どちらにしても、適切な録音及び再生は全体的なユーザＶＲエクスペリエンスを改善することに大きく貢献できる。
【００３７】
図４は本出願の一実施形態に係るコンテンツ処理プロセスフローを示す図である。処理フロー４００は図１のデータ処理システム１１０又はサーバ１０２によって実行することができる。図４に示されるように、自律走行車から取得された車両情報４０１をコンテンツ選択モジュール３０２に提供する。車両情報４０１及びその他の情報（例えば、位置及び経路情報４１１、リアルタイム交通情報４１２、ＭＰＯＩ情報４１３、ユーザプロファイル１３２）に基づき、コンテンツ選択モジュール３０２はコンテンツデータベース１３１を検索してコンテンツアイテムリストを認識する。コンテンツランキングモジュール３０３によってコンテンツアイテムをランキングし、更に前記ランキングに基づいてコンテンツアイテム４０３を選択する。自律走行車から受信された要求が普通の仮想現実コンテンツに対する要求である場合、選択されたコンテンツアイテム４０３は更にＶＲレンダリングモジュール３０５によってレンダリングされて自律走行車にストリーミングされる。
【００３８】
前記要求が拡張仮想現実コンテンツに対する要求である場合、視覚分析モジュール３０１によって、自律走行車のカメラによってリアルタイムに捕捉された画像を分析して、３Ｄ位置又は視角情報４１５を決定する。拡張モジュール３０４は３Ｄ位置決め/視聴情報４１５に基づいて選択されたコンテンツアイテム（例えば、スポンサー付きコンテンツ又は広告）４０３を画像４０２に拡張させて拡張画像４２０を生成する。更に拡張画像４２０はＶＲレンダリングモジュール３０５によってレンダリングされて自律走行車に伝送されて自律走行車において表示する。
【００３９】
図５は本出願の一実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。プロセス５００はソフトウェア、ハードウェア又はこれらの組合せを含む処理ロジックによって実行されることができる。例えば、プロセス５００は図１のデータ処理システム１１０によって実行されることができる。図５に示されるように、ブロック５０１において、処理ロジックは自律走行車の一つ又は複数のカメラを使用して自律走行車の外部に表示される一つ又は複数の対象（例えば、建物、標識）の画像ストリームを受信する。ブロック５０２において、処理ロジックはネットワークを介してクラウドサーバに画像を伝送し、状況に応じて自律走行車に乗る一つ又は複数のユーザの一つ又は複数のユーザＩＤの伝送を含む。
【００４０】
ブロック５０３において、処理ロジックはクラウドサーバから拡張画像ストリームを受信する。クラウドサーバは、クラウドサーバに送信された画像に基づいて拡張画像に対して処理、拡張及びレンダリングを行う。ブロック５０４において、仮想現実方式で自律走行車の一つ又は複数の表示装置に拡張画像を表示する。拡張画像における一部はすべてのユーザが共用する表示装置に表示できるが、その他の拡張画像はそれぞれのユーザの個人用表示装置（例えば、携帯電話、タブレットＰＣ）にストリーミングされる。個人用表示装置は、無線ローカルエリアネットワークを介して自律走行車に通信接続されることができる。特定ユーザのユーザプロファイルに基づいて認識されるコンテンツの一部は個人コンテンツとされるのに対して、その他のコンテンツは通常、自律走行車に乗るすべてのユーザにとって面白いと思われる。
【００４１】
図６は本出願の別の実施形態に係る自律走行車のコンテンツ処理プロセスを示すフローチャートである。プロセス６００はソフトウェア、ハードウェア又はこれら組合せを含む処理ロジックによって実行されることができる。例えば、プロセス６００は図１のサーバ１０２に実行されることができる。図６に示されるように、ブロック６０１において、処理ロジックはネットワークを介して自律走行車から画像及び自律走行車に乗るユーザの一つ又は複数のユーザＩＤ（状況に応じて）を受信する。ブロック６０２において、処理ロジックは画像に視覚分析を実行して３Ｄ位置決め又は視聴情報を決定する。ブロック６０３において、処理ロジックは車両情報（例えば、位置及び経路、ＭＰＯＩ、リアルタイム交通データ）及びユーザのユーザプロファイルに基づいてコンテンツアイテムリストを検索して認識する。ランキングアルゴリズム又はランキングモデルを使用してコンテンツアイテムをランキングすることができる、前記ランキングに基づきコンテンツアイテムのうちの一つを選択する。ブロック６０４において、処理ロジックは、３Ｄ位置決め/視聴情報に基づいて選択されたコンテンツアイテムを画像に拡張させて拡張仮想現実画像を生成する。ブロック６０５において、拡張画像を自律走行車に伝送して仮想現実方式で自律走行車において表示する。
【００４２】
本出願の全体にわたって説明される技術は、時点における行程の経路に沿った走行環境（例えば、位置および経路情報、リアルタイム交通情報および地図と興味点）に基づき、自律走行車に乗るユーザに特定のスポンサー付きコンテンツ（例えば、広告またはＡｄ）を提供することに用いられてもよい。リアルタイムにキャプチャされた自律走行車の周辺環境の１つまたは複数の画像にスポンサー付きコンテンツを追加し、それにより拡張現実コンテンツの配信環境を構築する。
【００４３】
上記自律走行車とは、車両が運転者からの入力が非常に少なくまたはない場合でもナビゲーションして環境を通過するように自律走行モードに設定できる車両である。このような自律走行車は、車両走行環境に関連する情報を検出するための１つまたは複数のセンサを含むセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、検出された情報を用いてナビゲーションして前記環境を通過できる。前記センサシステムは、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。
【００４４】
ＧＰＳシステムは、自律走行車の地理的位置を推定できる。ＧＰＳシステムは、送受信機を備えてもよく、前記送受信機は、自律走行車の位置に関連する情報を提供するように動作できる。ＩＭＵユニットは、慣性加速度に基づいて自律走行車の位置および方位変化を感知できる。レーダーユニットは、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、感知対象以外に、レーダーユニットはさらに対象の速度および/または前進方向を感知できる。ＬＩＤＡＲユニットは、レーザで自律走行車が位置する環境における対象を感知してもよい。他のシステムの構成要素以外に、ＬＩＤＡＲユニットはさらに１つまたは複数のレーザ光源、レーザスキャナーおよび１つまたは複数の検出器を備えてもよい。カメラは、自律走行車の周辺環境の画像をキャプチャするための１つまたは複数の装置を備えてもよい。カメラはスチルカメラまたはビデオカメラであってもよい。カメラは、カメラが取り付けられたプラットフォームを回転および/または傾斜させるように機械的に移動してもよい。マイクロホンは、自律走行車の周辺環境から音声をキャプチャするように構成されてもよい。
【００４５】
自律走行車は、自律走行車環境における対象および/または特徴を識別するように１つまたは複数のカメラによりキャプチャされた画像を処理して分析するためのコンピュータビジョンシステムをさらに備えてもよい。前記対象は、交通信号、車道境界、他の車両、通行人および/または障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡および他のコンピュータビジョン技術を用いてもよい。いくつかの実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象追跡、対象速度の推定等を行うことができる。
【００４６】
自律走行車は、自律走行車の走行経路を決定するためのナビゲーションシステムをさらに備えてもよい。例えば、ナビゲーションシステムは、自律走行車が大体最終目的地に到着する車道経路に沿って前進するとともに、感知した障害物を基本的に回避するように一連の速度および所定の前進方向を決定してもよい。目的地はユーザインタフェースによるユーザ入力に基づいて設定されてもよい。ナビゲーションシステムは自律走行車が走行していると同時に走行経路を動的に更新してもよい。ナビゲーションシステムは、ＧＰＳシステムおよび１つまたは複数の地図からのデータを合併して自律走行車用の走行経路を決定する。
【００４７】
自律走行車は、自律走行車環境における潜在的障害物を識別し、評価し且つ回避して、または他の方式で迂回するための衝突防止システムをさらに備えてもよい。例えば、衝突防止システムは、制御システムにおける１つまたは複数のサブシステムが旋回動作、方向転換動作、ブレーキ動作等を行うように操作することによって自律走行車のナビゲーション中の変更を実現してもよい。衝突防止システムは、周囲の交通モード、道路状況等に基づいて実現可能な障害物回避動作を自動的に決定してもよい。衝突防止システムは、他のセンサシステムにより自律走行車が旋回して入る隣接領域に位置する車両、建築障害物等を検出した場合に旋回動作を行わないように構成されてもよい。衝突防止システムは、利用可能で自律走行車の搭乗者の安全性を最大化する動作を自動的に選択してもよい。衝突防止装置は、自律走行車の車室に最小の加速度をもたらすように、予測した回避動作を選択してもよい。
【００４８】
自律走行車は、その周辺環境内に位置する外部システム（例えば装置、センサ、他の車両等）および/またはコントローラ、サーバ等との通信を可能にする無線通信システムをさらに備えてもよく、前記外部システムおよび/またはコントローラ、サーバ等は、車両の周辺環境に関連する有用な情報、例えば交通情報、天気情報等を提供できる。例えば、無線通信システムは、直接的にまたは通信ネットワークによって１つまたは複数の装置と無線で通信できる。無線通信システムは、任意のセルラ通信ネットワークまたは無線ＬＡＮ（ＷＬＡＮ）、例えばＷｉＦｉを用いてもよい。無線通信システムは、例えば赤外リンク、ブルートゥース（登録商標）等を用いて装置と直接的に通信できる。
【００４９】
なお、上記の構成要素の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組合せにより実現できる。例えば、このような構成要素は、永久記憶装置にインストールされ且つ記憶されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ（図示せず）でメモリにおいてロードされ且つ実行されることにより、本出願の全体にわたって説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハードウェア（例えば集積回路（例えば、専用集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってアプリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が１つまたは複数の特定命令によってアクセスされる命令セットの一部となる。
【００５０】
図７は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば図１のデータ処理システム１１０またはサーバ１０２を示してもよい。システム１５００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
【００５１】
さらに、システム１５００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
【００５２】
一実施形態において、システム１５００は、バスまたは相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３および装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
【００５３】
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ１５０１は、本明細書に説明される操作およびステップを実行するための命令を実行ように構成される。また、システム１５００は、選択可能なグラフィックサブシステム１５０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム１５０４は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
【００５４】
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ１５０３は、プロセッサ１５０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ１５０３にロードされてもよく、且つプロセッサ１５０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ（登録商標）会社からのＷｉｎｄｏｗｓ（登録商標）オペレーティングシステム、アップル会社からのＭａｃ  ＯＳ（登録商標）/ｉＯＳ（登録商標）、Ｇｏｏｇｌｅ（登録商標）会社からのＡｎｄｒｏｉｄ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ｕｎｉｘ（登録商標）または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。
【００５５】
システム１５００は、Ｉ/Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６および他の選択可能なＩ/Ｏ装置１５０７を備える。ネットワークインターフェース装置１５０５は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース（登録商標）送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネット（登録商標）カードであってもよい。
【００５６】
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
【００５７】
Ｉ/Ｏ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のＩ/Ｏ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置または設計により決められる。
【００５８】
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報を永久記憶するために、大容量記憶装置（図示せず）をプロセッサ１５０１に接続させてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、主にソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。
【００５９】
記憶装置１５０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール/ユニット/ロジック１５２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュール、コンテンツレンダリングシステムのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック１５２８は、さらにデータ処理システム１５００により実行される期間にメモリ１５０３内および/またはプロセッサ１５０１内に完全または少なくとも部分的に存在してもよく、メモリ１５０３およびプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。
【００６０】
コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
【００６１】
本明細書に記載のモジュール/ユニット/ロジック１５２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック１５２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック１５２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
【００６２】
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
【００６３】
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
【００６４】
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
【００６５】
本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。
【００６６】
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、または両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
【００６７】
本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現できることを理解すべきである。
【００６８】
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。
【図１】
0006310531.tif 000002
【図２】
0006310531.tif 000003
【図３】
0006310531.tif 000004
【図４】
0006310531.tif 000005
【図５】
0006310531.tif 000006
【図６】
0006310531.tif 000007
【図７】
0006310531.tif 000008