(57)【要約】      （修正有）【課題】ユーザに動的コンテンツを配信する、自立走行者におけるコンテンツ提供システム及びその方法を提供する。【解決手段】自律走行車に取り付けられたカメラによってキャプチャされた、自律走行車の外部環境を表示する画像に対して画像分析を実行する。画像をキャプチャした時点で自律走行車の周辺の位置決め情報を取得する。画像分析および前記位置決め情報に基づいて自律走行車の外部にいる視聴者の感知を決定する。視聴者の感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信する。１つまたは複数のコンテンツアイテムから選択された第一コンテンツアイテムを自律走行車の外表面に取り付けられた表示装置において表示する。【選択図】図５
2018005880.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを自律走行車に配信するコンピュータ実施方法であって、
前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、
画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、
前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、
前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む、
ことを特徴とするコンピュータ実施方法。
【請求項２】
前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コンテンツサーバが提供するコンテンツアイテムを交換するステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記感知情報は、前記感知を説明する１つまたは複数のキーワードを含み、前記コンテンツサーバはクラウドネットワークを介して前記自律走行車に通信接続されるクラウドサーバである
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記感知に基づいて前記コンテンツサーバから受信された前記コンテンツアイテムを所定のランキングアルゴリズムによってランキングを行うステップと、
前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コンテンツアイテムを選択するステップと、をさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定するステップをさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された視聴者に応じて選択されたものである
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記カメラを使用して第二画像をキャプチャするステップと、
前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含んでおり、
ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツアイテムに関連するユーザインタラクションを表示する
ことを特徴とする請求項２に記載の方法。
【請求項７】
前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサーバのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
所定のランキングアルゴリズムを使用して、前記第二コンテンツアイテムをランキングするステップと、をさらに含んでおり、
ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたものである
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
ことを特徴とする請求項１に記載の方法。
【請求項９】
命令を記憶した非一時的機械可読媒体であって、前記命令がプロセッサにより実行される場合、自律走行車にコンテンツを提供する操作を前記プロセッサに実行させ、
前記操作は、
前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、
画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、
前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、
前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む
ことを特徴とする非一時的機械可読媒体。
【請求項１０】
前記操作は、前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コンテンツサーバが提供するコンテンツアイテムを交換するステップをさらに含む
ことを特徴とする請求項９に記載の機械可読媒体。
【請求項１１】
前記感知情報は、前記感知を説明する１つまたは複数キーワードを含み、前記コンテンツサーバはクラウドネットワークを介して前記自律走行車に通信接続されるクラウドサーバである
ことを特徴とする請求項１０に記載の機械可読媒体。
【請求項１２】
前記操作は、
所定のランキングアルゴリズムを使用して、前記感知に基づいて前記コンテンツサーバから受信された前記コンテンツアイテムをランキングするステップと、
前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コンテンツアイテムを選択するステップと、をさらに含む
ことを特徴とする請求項９に記載の機械可読媒体。
【請求項１３】
前記操作は、前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定するステップをさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された視聴者に応じて選択されたものであることを特徴とする請求項１２に記載の機械可読媒体。
【請求項１４】
前記操作は、
第二画像をキャプチャするステップと、
前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含んでおり、
ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツアイテムに関連するユーザインタラクションを表示する
ことを特徴とする請求項１０に記載の機械可読媒体。
【請求項１５】
前記操作は、
前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサーバのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
所定のランキングアルゴリズムを使用して前記第二コンテンツアイテムをランキングするステップと、をさらに含んでおり、
ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたものである
ことを特徴とする請求項１４に記載の機械可読媒体。
【請求項１６】
前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
ことを特徴とする請求項９に記載の機械可読媒体。
【請求項１７】
データ処理システムであって、
プロセッサと、
前記プロセッサに接続されて命令を記憶する記憶装置と、を含み、
前記命令が前記プロセッサにより実行される場合、自律走行車においてコンテンツを提供する操作を前記プロセッサに実行させ、
前記操作は、
前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、
その時点で前記自律走行車の周辺の位置決め情報を取得するステップと、
前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、
前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む
ことを特徴とするデータ処理システム。
【請求項１８】
前記操作は、前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コンテンツサーバが提供するコンテンツアイテムを交換するステップをさらに含む
ことを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記感知情報、は前記感知を説明する１つまたは複数キーワードを含み、前記コンテンツサーバはクラウドネットワークを介して前記自律走行車のクラウドサーバに通信接続される
ことを特徴とする請求項１８に記載システム。
【請求項２０】
前記操作は、
所定のランキングアルゴリズムを使用して、前記感知に基づいて前記コンテンツサーバから受信された前記コンテンツアイテムをランキングするステップと、
前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コンテンツアイテムを選択するステップと、をさらに含む
ことを特徴とする請求項１７に記載のシステム。
【請求項２１】
前記操作は、前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定するステップをさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された視聴者に応じて選択されたものであることことを特徴とする請求項２０に記載のシステム。
【請求項２２】
前記操作は、
第二画像をキャプチャするステップと、
前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含んでおり、
ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツアイテムに関連するユーザインタラクションを表示する
ことを特徴とする請求項１８に記載のシステム。
【請求項２３】
前記操作は、
前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサーバのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
所定のランキングアルゴリズムを使用して前記第二コンテンツアイテムをランキングするステップと、をさらに含んでおり、
ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたものである
ことを特徴とする請求項２２に記載のシステム。
【請求項２４】
前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
ことを特徴とする請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、コンテンツ検索および配信に関する。より具体的には、本発明の実施形態は、感知に基づき自律走行車において行われるコンテンツ検索および配信に関する。
【背景技術】
【０００２】
自律モード（例えば、自動運転）で運転される車両は乗員、特に運転者を運転関連作業から解放することを可能にする。自律モードで運転する場合、車両は車載センサを利用して様々な位置導かれることができ、それによって、ヒューマンインタラクションが最小化である場合、または乗員がない状況で車両走行を可能にする。従って、自律走行車は、乗員、特に車両を運転するすべきな人が走行中に他のことをすることを可能にする。様々な運転関連作業に集中する代わり、運転者は自律走行車に乗る時に映画やその他のメディアコンテンツを自由に見ることができる。
【０００３】
また、自律走行車は通常より多くのセンサが配置されているため、従来の車両でのコンテンツ配信に比べて、さらに良好なコンテキスト情報を有する。自律走行車が通常ウィンドウで取得した実際視覚知識の代わりにセンサの情報に基づいて操作することから、自律走行車のドアやウィンドウは不可欠なものではなくなる。
【０００４】
しかしながら、自律走行車における通常のコンテンツ配信システムは、通常、自律走行車が運転しているリアルタイム環境にかかわらず、ユーザに静的コンテンツを提供する。配信されたコンテンツには、視聴者にとって興味があるものもあれば、興味がないものもある。
【発明の概要】
【課題を解決するための手段】
【０００５】
一つの様態において、コンテンツを自律走行車に配信するコンピュータ実施方法を提供し、この方法は、前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む。
【０００６】
もう一つの様態において、命令を記憶した非一時的機械可読媒体を提供し、この非一時的機械可読媒体は、前記命令がプロセッサにより実行される場合、自律走行車にコンテンツを提供する操作を前記プロセッサに実行させ、前記操作は、前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む。
【０００７】
さらにもう一つの様態において、データ処理システムを提供し、このデータ処理システムは、プロセッサと、前記プロセッサに接続されて命令を記憶する記憶装置と、を含み、前記命令が前記プロセッサにより実行される場合、自律走行車においてコンテンツを提供する操作を前記プロセッサに実行させ、前記操作は、前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を決定するステップと、前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む。
【図面の簡単な説明】
【０００８】
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号は、類似の構成要素を示す。
【０００９】
【図１】本発明の一実施形態に係るネットワーク化システムを示すブロック図である。
【図２】本発明の一実施形態に係る自律走行車のネットワーク構成を示すブロック図である。
【図３】本発明の一実施形態に係る自律走行車の視聴者にコンテンツを提供するモデルを示す図である。
【図４】一実施形態に係る自律走行車のコンテンツ配信メカニズムを示す処理フローである。
【図５】本発明の一実施形態に係る自律走行車用の、コンテンツを処理するプロセスを示すフローチャートである。
【図６】一実施形態に係るデータ処理システムを示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、説明の詳細を参照しながら、本出願の様々な実施形態および方法を説明し、図面は、前記様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
【００１１】
本明細書では「一つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造または特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
【００１２】
いくつかの実施形態によれば、自律走行車のコンテンツ配信システムは、自律走行車における旅行中の搭乗者および自律走行車の外部にいる視聴者のユニークな設定を考慮する。従来の表示に基づくコンテンツ技術、拡張現実による拡張機能および自律走行車の独特な情報を利用して、コンテンツ配信システムは自律走行車のシナリオにおいて外部の視聴者へ動的コンテンツを配信する問題に対処する。本質的に、自律走行車を移動しているコンテンツ表示プラットフォームとみなし、ここで、独特なコンテキストアウェアメディアコンテンツ（context-aware media content）が、自律走行車に装着されたセンサ（例えば、カメラ）でキャプチャした環境情報によってをレンダリングされることができる。
【００１３】
一実施形態によれば、自律走行車に取り付けられたカメラによってキャプチャした画像に対して画像分析を実行する。前記画像は自律走行車の外部環境を表示または説明する。その時点で自律走行車の周辺の位置決め情報を取得する。位置決め情報の実例として、位置および経路情報、地図とポイントオブインタレスト（ＭＰＯＩ）情報、並びに画像をキャプチャした時点でリアルタイム交通情報を含んでもよい。画像分析と位置決め情報に基づいて自律走行車の外部にいる視聴者の感知を決定する。視聴者の感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信する。１つまたは複数のコンテンツアイテムから少なくとも一つのコンテンツアイテムを選択して、自律走行車の外表面に取り付けられた表示装置において前記少なくとも一つのコンテンツアイテムを表示する。
【００１４】
特定の実施形態では、ネットワークを介して感知情報をコンテンツ交換プラットフォームに伝送する。前記コンテンツ交換プラットフォームはコンテンツ交換または入札フォーラムをホストして複数のコンテンツプロバイダが感知情報に基づいて見積りを提出して対応したコンテンツを配信することを可能にする。交換プラットフォームおよび/または自律走行車でコンテンツをランキングして、自律走行車の外表面に装着された１つまたは複数の表示装置に表示する１つまたは複数の最終コンテンツの候補を選択する。外部視聴者（例えば、自律走行車の外部に取り付けられた表示装置（複数の表示装置）を見ている人）に表示されるコンテンツを具体的に選択して合わせることができる。一実施形態において、コンテンツを表示する表示装置と画像をキャプチャするカメラは同一表面、同一方向または方位に取り付けられ、ここで、コンテンツは前記同一表面、同一方向または方位で識別されて選択される。従って、カメラによってキャプチャされた同一視聴者に表示するコンテンツを合わせることができる。前記技術は自律走行車の内部にいる視聴者にも適用できる。
【００１５】
図１は本発明の一実施形態に係る自律走行車のコンテンツ配信システムを示すブロック図である。図１に示されるように、自律走行車１０１は自律走行車１０１の外表面に取り付けられた一組のセンサ（例えば、カメラ１８１Ａ〜１８１Ｂ）と、自律走行車１０１の周辺の外部環境の画像をキャプチャするためのセンサに接続されるデータ処理システム１１０を含むが、これらに制限されない。データ処理システム１１０は、センサから取得されたキャプチャ情報を処理して且つ１つまたは複数のリモートコンテンツプロバイダ（例えば、コンテンツサーバ１０２Ａ〜１０２Ｃ）と通信する。
【００１６】
データ処理システム１１０はキャプチャした情報を分析して視聴者（例えば、自律走行車１０１内に乗っている内部視聴者および/または自律走行車１０１外にいる外部視聴者）の視点から感知を取得する。データ処理システム１１０は次にコンテンツサーバ１０２Ａ〜１０２Ｃまたはコンテンツサーバ１０２Ａ〜１０２Ｃをホストするコンテンツ交換プラットフォームと通信して、自律走行車１０１に係る表示装置のいずれか（例えば、内部表示装置１８２Ａ〜１８２Ｂおよび/または外部表示装置１８３Ａ〜１８３Ｂ）に表示しようとするコンテンツを受信する。自律走行車１０１内の視聴者に合わせて、内部表示装置１８２Ａ〜１８２Ｂに表示されるコンテンツ（例えば、仮想現実および/または拡張コンテンツ）を識別してレンダリングすることができる。自律走行車１０１外の視聴者に合わせて、外部表示装置１８３Ａ〜１８３Ｂに表示されるコンテンツ（例えば、その時点での外部設定または外部視聴者の周辺におけるテーマに基づいてコンパイルされるコンテンツ）を識別してレンダリングすることができる。
【００１７】
図２は本出願に係る一実施形態に係る自律走行車のネットワーク構成を示すブロック図である。図２を参照し、ネットワーク構成２００は、ネットワーク１０３を介して１つまたは複数のサーバ１０２（例えば、コンテンツサーバ）に通信接続される自律走行車１０１を含む。ここで、１つの自律走行車を示しているが、複数の自律走行車がネットワーク１０３によってサーバ１０２に接続されるようにしてもよい。ネットワーク１０３は、任意のタイプのネットワーク、例えば、有線や無線のローカルエリアネットワーク（ＬＡＮ）、およびインターネット、セルラーネットワーク、衛星ネットワークのようなワイドエリアネットワーク（ＷＡＮ）、またはその組合せであってもよい。サーバ１０２は、任意のタイプのサーバまたはサーバクラスター、例えばネットワークまたはクラウドサーバ、アプリケーションサーバ、バックエンドサーバまたはその組合せであってもよい。
【００１８】
一実施形態において、自律走行車１０１は、センサシステム１１５およびデータ処理システム１１０を含むが、それらに限定されない。センサシステム１１５は、自律走行車１０１が様々な道路や場所をナビゲートすることを可能にするのに必要な複数種のセンサまたは感知装置を含む。例えば、センサシステム１１５は、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。データ処理システム１１０は、例えばバス、相互接続部材、またはネットワークによってセンサシステム１１５に通信可能に接続される。データ処理システム１１０は、センサシステム１１５から受信された全てのデータを処理し且つセンサシステム１１５を管理または制御するように操作できる。データ処理システム１１０は、センサシステム１１５から受信された情報を処理して自律走行車１０１の運転と制御に必要なソフトウェア及びハードウェアを備える専用コンピュータであってもよい。
【００１９】
一実施形態において、データ処理システム１１０は、位置決めモジュール１２１、コンテンツ選択モジュール１２２、コンテンツ交換モジュール１２３、ビジョンシステムモジュール（ＶＳＭ）１２４、および感知モジュール１２５を含むが、それらに限定されない。モジュール１２１〜１２５は、ソフトウェア、ハードウェアまたはその組合せにより実現できる。例えば、モジュール１２１〜１２５は、システムメモリにロードされ且つデータ処理システム１１０の１つまたは複数のプロセッサにより実行されてもよい。位置決めモジュール１２１（行程モジュールとも呼ばれる）は、ユーザのルートに関連する任意のデータを管理する。ユーザは、ユーザインタフェースによってログインし且つルートの開始位置および目的地を指定してもよい。位置決めモジュール１２１が自律走行車１０１の他の構成要素と通信してルート関連データを取得する。例えば、位置決めモジュール１２１は、位置サービスサーバ１０６および地図とＰＯＩ（ＭＰＯＩ）サーバ１０５から位置および経路情報を取得できる。位置サービスサーバ１０６は、位置サービスを提供し、且つ、ＭＰＯＩサーバ１０５は、地図サービスおよびいくつかの位置のＰＯＩを提供する。自律走行車１０１が前記経路に沿って走行する期間、位置決めモジュール１２１は、さらに交通情報システムまたはサーバ（ＴＩＳ）１０４からリアルタイム交通情報を取得できる。なお、サーバ１０４〜１０６は、第三者エンティティにより操作されてもよい。必要に応じて、サーバ１０４〜１０６の機能は、サーバ１０２と一体に集積されてもよい。
【００２０】
一実施形態によれば、センサシステム１１５でキャプチャされた画像に応答して、ＶＳＭモジュール１２４は前記画像を分析して前記画像を説明する画像メタデータを取得する。ＶＳＭモジュール１２４は前記画像に対して画像識別を実行して前記画像で表示されるコンテンツ（例えば、人、例えば建物の背景、標識）を確定することができる。画像分析および位置決めモジュール１２１が取得した位置決め情報に基づき、感知モジュール１２５は感知を確定する。次に、感知情報をコンテンツ交換モジュール１２３で１つまたは複数のコンテンツサーバ１０２に伝送してコンテンツサーバ１０２が提供したコンテンツを交換する。前記感知情報に応答して、サーバ１０２のコンテンツ交換モジュール１３５はコンテンツデータベース１３１において検索して１つまたは複数のコンテンツアイテムを識別する。感知情報は感知を表示する特定のキーワードを含んでもよい。このようなキーワードはコンテンツアイテムの識別に用いることができる。例えば、キーワード・ツー・コンテンツＩＤ（keyword-to-content ID）のマッピングテーブル（図示せず）が設置されて、特定キーワード（例えば、ビットワード（ｂｉｄｗｏｒｄ））をコンテンツアイテムを識別するコンテンツＩＤにマッピングする。次に、識別されたコンテンツアイテム（複数のコンテンツアイテム）をデータ処理システム１１０に返送する。コンテンツ選択モジュール１２２は自律走行車１０１の１つまたは複数の表示装置に表示されるコンテンツのうちの１つまたは複数をランキングして選択する。
【００２１】
図３は本発明の一実施形態に係る自律走行車の視聴者へコンテンツを提供するモデルを示す図である。図３に示されるように、感知モジュール１２５はＶＳＭモジュール１２４で取得されたＶＳＭ情報３０１および位置決めモジュール１２１でコンパイルされた位置決め情報３０２を使用して感知３０３を発生させる。感知情報はコンテンツ選択工程３０４に使用可能であり、前記コンテンツ選択工程３０４において感知情報はコンテンツ交換プラットフォーム３０５に表示される。複数のコンテンツプロバイダ３０６がコンテンツサービスについて入札できるように、コンテンツ交換プラットフォーム３０５は第三者（例えば、Ａｄ入札プラットフォーム）でホストされてもよい。所定のランキングアルゴリズムを使用してコンテンツプロバイダ３０６が提供したコンテンツをランキングする。次に、１つまたは複数のコンテンツアイテムを選択してコンテンツレンダリングモジュール（図示せず）でレンダリング工程３０７においてレンダリングする。レンダリングされたコンテンツは複数の表示装置３０８Ａ〜３０８Ｃにおいて表示されることができる。表示装置３０８Ａ〜３０８Ｃは、具体的な視聴者に応じて内部または外部に取り付けることができる。例えば内部視聴者向けのレンダリングされたコンテンツは自律走行車内に取り付けられ表示装置において表示可能である。同様に、外部視聴者向けのレンダリングされたコンテンツは自律走行車の外表面に取り付けられた外部視聴者向けの表示装置において表示可能である。
【００２２】
一実施形態において、内部表示装置に表示しようとするコンテンツを準備するに際して、カメラによってキャプチャされた画像を分析することで画像中の人または対象を識別する。識別された画像に関連する１つまたは複数のキーワードや、ポイントオブインタレスト（ＰＯＩ）を決定する。コンテンツ選択モジュールは前記キーワードに基づいて１つまたは複数のコンテンツアイテムを検索して識別し、例えば自律走行車に保存されたコンテンツデータベースにおいて検索したり、クラウドにおけるコンテンツ交換プラットフォームやコンテンツサーバと通信することによって検索する。次に、これらのコンテンツアイテムをランキングし、コンテンツ選択エンジンはランキングされたコンテンツアイテムから少なくとも一つを選択して表示する。例えば、選択されたコンテンツアイテムを画像に拡張させて拡張画像を発生させてコンテンツアイテムをレンダリングする。コンテンツ表示モジュール（図示せず）は画像の観察角度に関連する位置で搭乗者による画像観察を拡張させる、選択されたコンテンツアイテムを車両の搭乗者に表示する。
【００２３】
選択されたコンテンツアイテムを画像に重ねて拡張画像を形成することができる。次に、拡張画像は自律走行車内の表示装置に表示される。表示装置は車両の窓となるように設置できる。ユーザが表示装置を見る時に、ユーザが一般的な窓を介して物理的対象を見るごとく、画像の対象を仮想現実方式で仮想対象として表示する。表示装置は拡張現実（ＡＲ）環境に類似しまたはそれをシミュレートした拡画像のストリーム（例えば、拡張ビデオ）をリアルタイムに表示できる。表示装置は、搭乗者が以下の方式でコンテンツアイテムに応答できるように、インタラクション用のタッチパネルを含んでよもく、即ち、全てのコンテンツアイテムを視聴すること、コンテンツアイテムが推薦する動作を取ること、およびコンテンツアイテムが提供する選択肢から選択したりコンテンツアイテムをすぐ放棄したりすることである。
【００２４】
図４は一実施形態に係る自律走行車のコンテンツ配信メカニズムを示す処理フローである。プロセス４００は図１〜２に示されるシステム構成に実行されることができる。図４に示されるように、位置決めモジュール１２１は位置決め情報、例えば、位置および経路情報４０１、リアルタイム交通情報４０２およびＭＰＯＩ情報４０３をリアルタイムに取得する。このような情報は第三者情報提供者（例えば、図２のサーバ１０４〜１０６）から取得できる。
【００２５】
また、ＶＳＭモジュール１２４によってセンサシステム１１５がキャプチャした画像を分析して前記画像を説明するメタデータをコンパイルする。前記画像は自律走行車の周辺の外部環境を表示する。ＶＳＭモジュール１２４は前記画像に対して画像識別を実行できる。例えば、ＶＳＭモジュール１２４はユーザを前記環境中の視聴者として識別できる。ＶＳＭモジュール１２４はユーザが大人か子供か、男か女か、および前記ユーザにより実行する活動等を確定できる。ＶＳＭモジュール１２４は前記画像の背景（例えば建物（例えば、モール）や標識（例えば、ビルボード））およびそれらに表示されるコンテンツをさらに識別できる。
【００２６】
一実施形態において、位置決め情報と画像分析の結果が感知モジュール１２５に提供されて前記環境での感知を発生させる。感知は、視聴者に対応し且つその時点で位置決め情報と画像分析に基づいて動的コンパイル可能なユーザプロファイルを含んでもよい。感知情報およびユーザプロファイルはコンテンツ選択モジュール１２２および/またはコンテンツ交換モジュール１２３に提供されることができる。コンテンツ交換モジュール１２３はコンテンツプロバイダ１０２（例えば、コンテンツサーバまたは前記コンテンツサーバをホストするコンテンツ交換プラットフォーム）と通信してコンテンツプロバイダ１０２が提供するコンテンツを交換する。コンテンツ交換モジュール１２３は感知を表示するデータをコンテンツサーバ１０２に伝送できる。感知データはコンテンツプロバイダ１０２とコンテンツ交換モジュール１２３が合意した標準化用語、キーワードまたはラベル（例えば、ビットワード）を含むことができる。
【００２７】
一実施形態において、感知情報をコンテンツ交換プラットフォーム（例えば、広告サーバまたはＡｄサーバ）に伝送してコンテンツプロバイダ（例えば、広告主）がコンテンツサービス（例えば、Ａｄ）について入札することを可能にする。コンテンツプロバイダ１０２が提出したコンテンツに応答して、コンテンツ選択モジュール１２２のランキングモジュール（図示せず）は所定のランキングアルゴリズム（例えばユーザプロファイルに応じて）を使用してコンテンツをランキングする。次に、コンテンツ選択モジュール１２２のコンテンツレンダリングモジュール（図示せず）は１つまたは複数のコンテンツアイテム４１５を選択してレンダリングする。その後、目的視聴者に向かっている１つまたは複数の表示装置４２０（例えば自律走行車の外表面に取り付けられた表示装置）においてレンダリングされたコンテンツアイテムを表示する。
【００２８】
なお、図４に示されるプロセスは周期的または連続的に繰り返して実行できる。新しいまたは更新されたキャプチャ情報を分析でき、位置決め情報を更新できる。コンテンツプロバイダ１０２において新しいまたは更新されたコンテンツを識別して検索することができ、前記コンテンツプロバイダ１０２について、一回の繰り返しと他の一回の繰り返しが同じでも異なってもよい。次に、表示装置において新しいまたは更新されたコンテンツを表示する。コンテンツプロバイダ１０２が提供したコンテンツのうち、一部はコンテンツデータベースとしてローカル記憶装置にキャッシュし且つクラウドにおけるコンテンツプロバイダ１０２によって周期的に更新することができる。このような構成は、クラウドに対するネットワーク接続が一時的に消える場合もカバーする。
【００２９】
一実施形態によれば、ユーザと表示されたコンテンツとのインタラクションはカメラでキャプチャされてシステムによって分析されることができる。ユーザインタラクションに基づいてコンテンツを更新することが可能である。例えば、カメラは、ユーザがコンテンツを見ていること、表示されたコンテンツに指していること、コンテンツの写真を撮っていること、コンテンツの一部として示される機械可読コードを走査していること等を表示する画像をキャプチャできる。この場合、現在表示されたコンテンツに基づいて別のコンテンツを識別することに用いられてもよい。従って、コンテンツはその時点で視聴者をさらに吸引する。
【００３０】
なお、前記のように前記技術は外部視聴者へのコンテンツ配信に用いられることが記述された。前記技術は自律走行車内の視聴者にも適用できる。例えば、自律走行車内に取り付けられた表示装置を使用して仮想現実方式で、リアルタイムにキャプチャして外部環境を表示する画像またはビデオを表示できる。前記技術の少なくとも一部によってクラウドにおけるコンテンツプロバイダから追加コンテンツを識別することができる。追加コンテンツをリアルタイムにキャプチャされた画像に拡張させて自律走行車内に取り付けられた表示装置において表示できる。自律走行車内に取り付けられた表示装置はユーザが表示されたコンテンツとインタラクションするためのタッチパネルを含むことができる。このようなユーザインタラクションは表示に供する別のコンテンツを選択することに用いられ得る。
【００３１】
図５は本発明の一実施形態に係る自律走行車用のコンテンツの処理プロセスを示すフローチャートである。プロセス５００はソフトウェア、ハードウェアまたはこれらの組合せを含む処理ロジックにより実行されることができる。例えば、プロセス５００は図２のデータ処理システム１１０により実行されてもよい。図５に示されるように、ブロック５０１において、処理ロジックは自律走行車に取り付けられたカメラを使用して自律走行車の周辺の外部環境を表示する画像をキャプチャする。ブロック５０２において、処理ロジックはその時点での自律走行車に関連する位置決め情報（例えば、位置および経路の情報、ＭＰＯＩ情報、交通情報）を取得する。ブロック５０３において、処理ロジックは画像分析および位置決め情報に基づいて自律走行車の外部環境に関連する感知を決定する。ブロック５０４において、処理ロジックは感知情報を１つまたは複数のコンテンツサーバ、または１つまたは複数のコンテンツサーバをホストするコンテンツ交換プラットフォームに伝送して１つまたは複数のコンテンツプロバイダからのコンテンツアイテムを交換する。ブロック５０５において、処理ロジックは所定のランキングアルゴリズムまたはコンテンツ選択方法を使用して１つまたは複数のコンテンツアイテムをランキングして選択する。ブロック５０６において、自律走行車の外表面（例えば、窓、ドアおよびルーフ）に取り付けられた１つまたは複数の表示装置において選択されたコンテンツアイテムを表示する。
【００３２】
本出願の全体にわたって説明される技術は、時点における行程の経路に沿った走行環境（例えば、位置および経路情報、リアルタイム交通情報および地図と興味点）に基づき、自律走行車に乗るユーザに特定のスポンサー付きコンテンツ（例えば、広告またはＡｄ）を提供することに用いられてもよい。リアルタイムにキャプチャされた自律走行車の周辺環境の１つまたは複数の画像にスポンサー付きコンテンツを拡張し、それにより拡張現実コンテンツの配信環境を構築する。
【００３３】
上記自律走行車とは、車両が運転者からの入力が非常に少なくまたはない場合でもナビゲーションして環境を通過するように自律走行モードに設定できる車両である。このような自律走行車は、車両走行環境に関連する情報を検出するための１つまたは複数のセンサを含むセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、検出された情報を用いてナビゲーションして前記環境を通過できる。前記センサシステムは、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。
【００３４】
ＧＰＳシステムは、自律走行車の地理的位置を推定できる。ＧＰＳシステムは、送受信機を備えてもよく、前記送受信機は、自律走行車の位置に関連する情報を提供するように動作できる。ＩＭＵユニットは、慣性加速度に基づいて自律走行車の位置および方位変化を感知できる。レーダーユニットは、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、感知対象以外に、レーダーユニットはさらに対象の速度および/または前進方向を感知できる。ＬＩＤＡＲユニットは、レーザで自律走行車が位置する環境における対象を感知してもよい。他のシステムの構成要素以外に、ＬＩＤＡＲユニットはさらに１つまたは複数のレーザ光源、レーザスキャナーおよび１つまたは複数の検出器を備えてもよい。カメラは、自律走行車の周辺環境の画像をキャプチャするための１つまたは複数の装置を備えてもよい。カメラはスチルカメラまたはビデオカメラであってもよい。カメラは、カメラが取り付けられたプラットフォームを回転および/または傾斜させるように機械的に移動してもよい。マイクロホンは、自律走行車の周辺環境から音声をキャプチャするように構成されてもよい。
【００３５】
自律走行車は、自律走行車環境における対象および/または特徴を識別するように１つまたは複数のカメラによりキャプチャされた画像を処理して分析するためのコンピュータビジョンシステムをさらに備えてもよい。前記対象は、交通信号、車道境界、他の車両、通行人および/または障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡および他のコンピュータビジョン技術を用いてもよい。いくつかの実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象追跡、対象速度の推定等を行うことができる。
【００３６】
自律走行車は、自律走行車の走行経路を決定するためのナビゲーションシステムをさらに備えてもよい。例えば、ナビゲーションシステムは、自律走行車が大体最終目的地に到着する車道経路に沿って前進するとともに、感知した障害物を基本的に回避するように一連の速度および所定の前進方向を決定してもよい。目的地はユーザインタフェースによるユーザ入力に基づいて設定されてもよい。ナビゲーションシステムは自律走行車が走行していると同時に走行経路を動的に更新してもよい。ナビゲーションシステムは、ＧＰＳシステムおよび１つまたは複数の地図からのデータを合併して自律走行車用の走行経路を決定する。
【００３７】
自律走行車は、自律走行車環境における潜在的障害物を識別し、評価し且つ回避して、または他の方式で迂回するための衝突防止システムをさらに備えてもよい。例えば、衝突防止システムは、制御システムにおける１つまたは複数のサブシステムが旋回動作、方向転換動作、ブレーキ動作等を行うように操作することによって自律走行車のナビゲーション中の変更を実現してもよい。衝突防止システムは、周囲の交通モード、道路状況等に基づいて実現可能な障害物回避動作を自動的に決定してもよい。衝突防止システムは、他のセンサシステムにより自律走行車が旋回して入る隣接領域に位置する車両、建築障害物等を検出した場合に旋回動作を行わないように構成されてもよい。衝突防止システムは、利用可能で自律走行車の搭乗者の安全性を最大化する動作を自動的に選択してもよい。衝突防止装置は、自律走行車の車室に最小の加速度をもたらすように、予測した回避動作を選択してもよい。
【００３８】
自律走行車は、その周辺環境内に位置する外部システム（例えば装置、センサ、他の車両等）および/またはコントローラ、サーバ等との通信を可能にする無線通信システムをさらに備えてもよく、前記外部システムおよび/またはコントローラ、サーバ等は、車両の周辺環境に関連する有用な情報、例えば交通情報、天気情報等を提供できる。例えば、無線通信システムは、直接的にまたは通信ネットワークによって１つまたは複数の装置と無線で通信できる。無線通信システムは、任意のセルラ通信ネットワークまたは無線ＬＡＮ（ＷＬＡＮ）、例えばＷｉＦｉを用いてもよい。無線通信システムは、例えば赤外リンク、ブルートゥース等を用いて装置と直接的に通信できる。
【００３９】
なお、上記の構成要素の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組合せにより実現できる。例えば、このような構成要素は、永久記憶装置にインストールされ且つ記憶されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ（図示せず）でメモリにおいてロードされ且つ実行されることにより、本出願の全体にわたって説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハードウェア（例えば集積回路（例えば、専用集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってアプリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が１つまたは複数の特定命令によってアクセスされる命令セットの一部となる。
【００４０】
図６は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム、例えば図２のデータ処理システム１１０またはサーバ１０２を示してもよい。システム１５００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
【００４１】
さらに、システム１５００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
【００４２】
一実施形態において、システム１５００は、バスまたは相互接続部材１５１０によって接続されたプロセッサ１５０１、メモリ１５０３および装置１５０５〜１５０８を備える。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ１５０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
【００４３】
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ１５０１は、命令を実行することにより本明細書に説明される操作およびステップを実行するための命令を実行ように構成される。また、システム１５００は、選択可能なグラフィックサブシステム（表示コントローラおよび／または表示装置）１５０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム（表示コントローラおよび／または表示装置）１５０４は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
【００４４】
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ１５０３は、プロセッサ１５０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ１５０３にロードされてもよく、プロセッサ１５０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃ  ＯＳ(R)/ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ(R)、Ｕｎｉｘ(R)または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。
【００４５】
システム１５００は、Ｉ/Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよく、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６および他の選択可能なＩ/Ｏ装置１５０７を備える。ネットワークインターフェース装置１５０５は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネットカードであってもよい。
【００４６】
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
【００４７】
Ｉ/Ｏ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のＩ/Ｏ装置１５０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ〜ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置または設計により決められる。
【００４８】
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量記憶装置（図示せず）は、プロセッサ１５０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。
【００４９】
記憶装置１５０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール/ユニット/ロジック１５２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュールのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック１５２８は、さらにデータ処理システム１５００により実行される期間にメモリ１５０３内および/またはプロセッサ１５０１内に完全または少なくとも部分的に存在してもよく、ここで、メモリ１５０３およびプロセッサ１５０１も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック１５２８は、さらにネットワークによってネットワークインターフェース装置１５０５を経由して送受信されてもよい。
【００５０】
コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
【００５１】
本明細書に記載のモジュール/ユニット/ロジック１５２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック１５２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック１５２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
【００５２】
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
【００５３】
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
【００５４】
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
【００５５】
本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。
【００５６】
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、または両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
【００５７】
本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現できることを理解すべきである。
【００５８】
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。
【図１】
2018005880.tif 000003
【図２】
2018005880.tif 000004
【図３】
2018005880.tif 000005
【図４】
2018005880.tif 000006
【図５】
2018005880.tif 000007
【図６】
2018005880.tif 000008