(57)【要約】      （修正有）【課題】コンテンツを自立走行車に提供する方法、機械可読媒体及びシステムを提供する。【解決手段】方法は、自律走行車に取り付けられたカメラによってキャプチャされた、自律走行車の外部環境を表示する画像に対して画像分析を実行するステップ５０１と、画像をキャプチャした時点で自律走行車の周辺の位置決め情報を取得するステップ５０２と、画像分析および位置決め情報に基づいて自律走行車の外部にいる視聴者の感知を決定するステップ５０３と、感知情報をコンテンツサーバまたはコンテンツ交換プラットフォームに伝送してコンテンツプロバイダからのコンテンツアイテムを交換するステップ５０４と、所定のランキングアルゴリズムを使用してコンテンツアイテムをランキングして選択するステップ５０５と、自律走行車の外表面に取り付けられた表示装置において選択されたコンテンツアイテムを表示するステップ５０６と、を備える。【選択図】図５
2019023879.tif 000002
【特許請求の範囲】
【請求項１】
コンテンツを自律走行車に配信するコンピュータ実施方法であって、
前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の
外部環境を表示する画像に対して画像分析を実行するステップと、
画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップ
と、
前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する
感知を決定するステップと、
前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコ
ンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記
自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む、
ことを特徴とするコンピュータ実施方法。
【請求項２】
前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コンテンツサー
バが提供するコンテンツアイテムを交換するステップをさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記感知情報は、前記感知を説明する１つまたは複数のキーワードを含み、前記コンテ
ンツサーバはクラウドネットワークを介して前記自律走行車に通信接続されるクラウドサ
ーバである
ことを特徴とする請求項２に記載の方法。
【請求項４】
前記感知に基づいて前記コンテンツサーバから受信された前記コンテンツアイテムを所
定のランキングアルゴリズムによってランキングを行うステップと、
前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コン
テンツアイテムを選択するステップと、をさらに含む
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定するステップ
をさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された視聴者に応じ
て選択されたものである
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記カメラを使用して第二画像をキャプチャするステップと、
前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基
づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテ
ンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含
んでおり、
ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツ
アイテムに関連するユーザインタラクションを表示する
ことを特徴とする請求項２に記載の方法。
【請求項７】
前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記
ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサー
バのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
所定のランキングアルゴリズムを使用して、前記第二コンテンツアイテムをランキング
するステップと、をさらに含んでおり、
ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたものであ
る
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
ことを特徴とする請求項１に記載の方法。
【請求項９】
命令を記憶した非一時的機械可読媒体であって、前記命令がプロセッサにより実行され
る場合、自律走行車にコンテンツを提供する操作を前記プロセッサに実行させ、
前記操作は、
前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の
外部環境を表示する画像に対して画像分析を実行するステップと、
画像をキャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップ
と、
前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する
感知を決定するステップと、
前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコン
テンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記
自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む
ことを特徴とする非一時的機械可読媒体。
【請求項１０】
前記操作は、前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コ
ンテンツサーバが提供するコンテンツアイテムを交換するステップをさらに含む
ことを特徴とする請求項９に記載の機械可読媒体。
【請求項１１】
前記感知情報は、前記感知を説明する１つまたは複数キーワードを含み、前記コンテン
ツサーバはクラウドネットワークを介して前記自律走行車に通信接続されるクラウドサー
バである
ことを特徴とする請求項１０に記載の機械可読媒体。
【請求項１２】
前記操作は、
所定のランキングアルゴリズムを使用して、前記感知に基づいて前記コンテンツサーバ
から受信された前記コンテンツアイテムをランキングするステップと、
前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コン
テンツアイテムを選択するステップと、をさらに含む
ことを特徴とする請求項９に記載の機械可読媒体。
【請求項１３】
前記操作は、前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定
するステップをさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された
視聴者に応じて選択されたものであることを特徴とする請求項１２に記載の機械可読媒体
。
【請求項１４】
前記操作は、
第二画像をキャプチャするステップと、
前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基
づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテ
ンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含
んでおり、
ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツ
アイテムに関連するユーザインタラクションを表示する
ことを特徴とする請求項１０に記載の機械可読媒体。
【請求項１５】
前記操作は、
前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記
ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサー
バのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
所定のランキングアルゴリズムを使用して前記第二コンテンツアイテムをランキングす
るステップと、をさらに含んでおり、
ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたもので
ある
ことを特徴とする請求項１４に記載の機械可読媒体。
【請求項１６】
前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
ことを特徴とする請求項９に記載の機械可読媒体。
【請求項１７】
データ処理システムであって、
プロセッサと、
前記プロセッサに接続されて命令を記憶する記憶装置と、を含み、
前記命令が前記プロセッサにより実行される場合、自律走行車においてコンテンツを提
供する操作を前記プロセッサに実行させ、
前記操作は、
前記自律走行車に取り付けられたカメラによってキャプチャされた、前記自律走行車の
外部環境を表示する画像に対して画像分析を実行するステップと、
その時点で前記自律走行車の周辺の位置決め情報を取得するステップと、
前記画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する
感知を決定するステップと、
前記視聴者に関連する前記感知に応答して、ネットワークを介して１つまたは複数のコ
ンテンツサーバから１つまたは複数のコンテンツアイテムを受信するステップと、
前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイテムを前記
自律走行車の外表面に取り付けられた表示装置において表示するステップと、を含む
ことを特徴とするデータ処理システム。
【請求項１８】
前記操作は、前記感知を説明する感知情報を複数のコンテンツサーバに伝送して前記コ
ンテンツサーバが提供するコンテンツアイテムを交換するステップをさらに含む
ことを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記感知情報、は前記感知を説明する１つまたは複数キーワードを含み、前記コンテン
ツサーバはクラウドネットワークを介して前記自律走行車のクラウドサーバに通信接続さ
れる
ことを特徴とする請求項１８に記載システム。
【請求項２０】
前記操作は、
所定のランキングアルゴリズムを使用して、前記感知に基づいて前記コンテンツサーバ
から受信された前記コンテンツアイテムをランキングするステップと、
前記ランキングに基づいて前記１つまたは複数のコンテンツアイテムから前記第一コン
テンツアイテムを選択するステップと、をさらに含む
ことを特徴とする請求項１７に記載のシステム。
【請求項２１】
前記操作は、前記画像分析に基づき、前記画像で表示された前記視聴者を識別して決定
するステップをさらに含んでおり、ここで、前記第一コンテンツアイテムが、決定された
視聴者に応じて選択されたものであることことを特徴とする請求項２０に記載のシステム
。
【請求項２２】
前記操作は、
第二画像をキャプチャするステップと、
前記カメラでキャプチャされた、前記第一ユーザのユーザ画像を含む前記第二画像に基
づいて、前記第一ユーザに関するユーザプロファイルをコンパイルするステップと、
前記ユーザインタラクションと前記ユーザプロファイルを前記１つまたは複数のコンテ
ンツサーバに伝送して第二コンテンツアイテムを交換するステップと、
前記表示装置において前記第二コンテンツアイテムを表示するステップと、をさらに含
んでおり、
ここで、前記第二画像は、前記視聴者の一部とする第一ユーザの、前記第一コンテンツ
アイテムに関連するユーザインタラクションを表示する
ことを特徴とする請求項１８に記載のシステム。
【請求項２３】
前記操作は、
前記１つまたは複数のコンテンツサーバに加えて、前記ユーザインタラクションと前記
ユーザプロファイルをさらに他の複数のコンテンツサーバに伝送するステップと、
前記ユーザインタラクションと前記ユーザプロファイルを受信した前記コンテンツサー
バのうちの少なくとも一部から第二コンテンツアイテムを受信するステップと、
所定のランキングアルゴリズムを使用して前記第二コンテンツアイテムをランキングす
るステップと、をさらに含んでおり、
ここで、前記第二コンテンツアイテムが、前記ランキングに基づいて選択されたもので
ある
ことを特徴とする請求項２２に記載のシステム。
【請求項２４】
前記表示装置は、前記自律走行車の前記カメラを取り付けた外表面に取り付けられる
ことを特徴とする請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、コンテンツ検索および配信に関する。より具体的には、本発明の
実施形態は、感知に基づき自律走行車において行われるコンテンツ検索および配信に関す
る。
【背景技術】
【０００２】
自律モード（例えば、自動運転）で運転される車両は乗員、特に運転者を運転関連作業
から解放することを可能にする。自律モードで運転する場合、車両は車載センサを利用し
て様々な位置導かれることができ、それによって、ヒューマンインタラクションが最小化
である場合、または乗員がない状況で車両走行を可能にする。従って、自律走行車は、乗
員、特に車両を運転するすべきな人が走行中に他のことをすることを可能にする。様々な
運転関連作業に集中する代わり、運転者は自律走行車に乗る時に映画やその他のメディア
コンテンツを自由に見ることができる。
【０００３】
また、自律走行車は通常より多くのセンサが配置されているため、従来の車両でのコン
テンツ配信に比べて、さらに良好なコンテキスト情報を有する。自律走行車が通常ウィン
ドウで取得した実際視覚知識の代わりにセンサの情報に基づいて操作することから、自律
走行車のドアやウィンドウは不可欠なものではなくなる。
【０００４】
しかしながら、自律走行車における通常のコンテンツ配信システムは、通常、自律走行
車が運転しているリアルタイム環境にかかわらず、ユーザに静的コンテンツを提供する。
配信されたコンテンツには、視聴者にとって興味があるものもあれば、興味がないものも
ある。
【発明の概要】
【課題を解決するための手段】
【０００５】
一つの様態において、コンテンツを自律走行車に配信するコンピュータ実施方法を提供
し、この方法は、前記自律走行車に取り付けられたカメラによってキャプチャされた、前
記自律走行車の外部環境を表示する画像に対して画像分析を実行するステップと、画像を
キャプチャした時点で前記自律走行車の周辺の位置決め情報を取得するステップと、前記
画像分析と前記位置決め情報に基づいて前記自律走行車の外部の視聴者に関連する感知を
決定するステップと、前記視聴者に関連する前記感知に応答して、ネットワークを介して
１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツアイテムを受信する
ステップと、前記１つまたは複数コンテンツアイテムから選択された第一コンテンツアイ
テムを前記自律走行車の外表面に取り付けられた表示装置において表示するステップと、
を含む。
【０００６】
もう一つの様態において、命令を記憶した非一時的機械可読媒体を提供し、この非一時
的機械可読媒体は、前記命令がプロセッサにより実行される場合、自律走行車にコンテン
ツを提供する操作を前記プロセッサに実行させ、前記操作は、前記自律走行車に取り付け
られたカメラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対
して画像分析を実行するステップと、画像をキャプチャした時点で前記自律走行車の周辺
の位置決め情報を取得するステップと、前記画像分析と前記位置決め情報に基づいて前記
自律走行車の外部の視聴者に関連する感知を決定するステップと、前記視聴者に関連する
前記感知に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つ
または複数のコンテンツアイテムを受信するステップと、前記１つまたは複数コンテンツ
アイテムから選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けら
れた表示装置において表示するステップと、を含む。
【０００７】
さらにもう一つの様態において、データ処理システムを提供し、このデータ処理システ
ムは、プロセッサと、前記プロセッサに接続されて命令を記憶する記憶装置と、を含み、
前記命令が前記プロセッサにより実行される場合、自律走行車においてコンテンツを提供
する操作を前記プロセッサに実行させ、前記操作は、前記自律走行車に取り付けられたカ
メラによってキャプチャされた、前記自律走行車の外部環境を表示する画像に対して画像
分析を実行するステップと、画像をキャプチャした時点で前記自律走行車の周辺の位置決
め情報を取得するステップと、前記画像分析と前記位置決め情報に基づいて前記自律走行
車の外部の視聴者に関連する感知を決定するステップと、前記視聴者に関連する前記感知
に応答して、ネットワークを介して１つまたは複数のコンテンツサーバから１つまたは複
数のコンテンツアイテムを受信するステップと、前記１つまたは複数コンテンツアイテム
から選択された第一コンテンツアイテムを前記自律走行車の外表面に取り付けられた表示
装置において表示するステップと、を含む。
【図面の簡単な説明】
【０００８】
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号
は、類似の構成要素を示す。
【０００９】
【図１】本発明の一実施形態に係るネットワーク化システムを示すブロック図である。
【図２】本発明の一実施形態に係る自律走行車のネットワーク構成を示すブロック図である。
【図３】本発明の一実施形態に係る自律走行車の視聴者にコンテンツを提供するモデルを示す図である。
【図４】一実施形態に係る自律走行車のコンテンツ配信メカニズムを示す処理フローである。
【図５】本発明の一実施形態に係る自律走行車用の、コンテンツを処理するプロセスを示すフローチャートである。
【図６】一実施形態に係るデータ処理システムを示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、説明の詳細を参照しながら、本出願の様々な実施形態および方法を説明し、図面
は、前記様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのもの
であり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するため
に、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する
簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
【００１１】
本明細書では「一つの実施形態」または「実施形態」とは、当該実施形態について組み
合わせて説明された特定特徴、構造または特性が、本出願の少なくとも一つの実施形態に
含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を
指すとは限らない。
【００１２】
いくつかの実施形態によれば、自律走行車のコンテンツ配信システムは、自律走行車に
おける旅行中の搭乗者および自律走行車の外部にいる視聴者のユニークな設定を考慮する
。従来の表示に基づくコンテンツ技術、拡張現実による拡張機能および自律走行車の独特
な情報を利用して、コンテンツ配信システムは自律走行車のシナリオにおいて外部の視聴
者へ動的コンテンツを配信する問題に対処する。本質的に、自律走行車を移動しているコ
ンテンツ表示プラットフォームとみなし、ここで、独特なコンテキストアウェアメディア
コンテンツ（context-aware media content）が、自律走行車に装着されたセンサ（例え
ば、カメラ）でキャプチャした環境情報によってをレンダリングされることができる。
【００１３】
一実施形態によれば、自律走行車に取り付けられたカメラによってキャプチャした画像
に対して画像分析を実行する。前記画像は自律走行車の外部環境を表示または説明する。
その時点で自律走行車の周辺の位置決め情報を取得する。位置決め情報の実例として、位
置および経路情報、地図とポイントオブインタレスト（ＭＰＯＩ）情報、並びに画像をキ
ャプチャした時点でリアルタイム交通情報を含んでもよい。画像分析と位置決め情報に基
づいて自律走行車の外部にいる視聴者の感知を決定する。視聴者の感知に応答して、ネッ
トワークを介して１つまたは複数のコンテンツサーバから１つまたは複数のコンテンツア
イテムを受信する。１つまたは複数のコンテンツアイテムから少なくとも一つのコンテン
ツアイテムを選択して、自律走行車の外表面に取り付けられた表示装置において前記少な
くとも一つのコンテンツアイテムを表示する。
【００１４】
特定の実施形態では、ネットワークを介して感知情報をコンテンツ交換プラットフォー
ムに伝送する。前記コンテンツ交換プラットフォームはコンテンツ交換または入札フォー
ラムをホストして複数のコンテンツプロバイダが感知情報に基づいて見積りを提出して対
応したコンテンツを配信することを可能にする。交換プラットフォームおよび/または自
律走行車でコンテンツをランキングして、自律走行車の外表面に装着された１つまたは複
数の表示装置に表示する１つまたは複数の最終コンテンツの候補を選択する。外部視聴者
（例えば、自律走行車の外部に取り付けられた表示装置（複数の表示装置）を見ている人
）に表示されるコンテンツを具体的に選択して合わせることができる。一実施形態におい
て、コンテンツを表示する表示装置と画像をキャプチャするカメラは同一表面、同一方向
または方位に取り付けられ、ここで、コンテンツは前記同一表面、同一方向または方位で
識別されて選択される。従って、カメラによってキャプチャされた同一視聴者に表示する
コンテンツを合わせることができる。前記技術は自律走行車の内部にいる視聴者にも適用
できる。
【００１５】
図１は本発明の一実施形態に係る自律走行車のコンテンツ配信システムを示すブロック
図である。図１に示されるように、自律走行車１０１は自律走行車１０１の外表面に取り
付けられた一組のセンサ（例えば、カメラ１８１Ａ〜１８１Ｂ）と、自律走行車１０１の
周辺の外部環境の画像をキャプチャするためのセンサに接続されるデータ処理システム１
１０を含むが、これらに制限されない。データ処理システム１１０は、センサから取得さ
れたキャプチャ情報を処理して且つ１つまたは複数のリモートコンテンツプロバイダ（例
えば、コンテンツサーバ１０２Ａ〜１０２Ｃ）と通信する。
【００１６】
データ処理システム１１０はキャプチャした情報を分析して視聴者（例えば、自律走行
車１０１内に乗っている内部視聴者および/または自律走行車１０１外にいる外部視聴者
）の視点から感知を取得する。データ処理システム１１０は次にコンテンツサーバ１０２
Ａ〜１０２Ｃまたはコンテンツサーバ１０２Ａ〜１０２Ｃをホストするコンテンツ交換プ
ラットフォームと通信して、自律走行車１０１に係る表示装置のいずれか（例えば、内部
表示装置１８２Ａ〜１８２Ｂおよび/または外部表示装置１８３Ａ〜１８３Ｂ）に表示し
ようとするコンテンツを受信する。自律走行車１０１内の視聴者に合わせて、内部表示装
置１８２Ａ〜１８２Ｂに表示されるコンテンツ（例えば、仮想現実および/または拡張コ
ンテンツ）を識別してレンダリングすることができる。自律走行車１０１外の視聴者に合
わせて、外部表示装置１８３Ａ〜１８３Ｂに表示されるコンテンツ（例えば、その時点で
の外部設定または外部視聴者の周辺におけるテーマに基づいてコンパイルされるコンテン
ツ）を識別してレンダリングすることができる。
【００１７】
図２は本出願に係る一実施形態に係る自律走行車のネットワーク構成を示すブロック図
である。図２を参照し、ネットワーク構成２００は、ネットワーク１０３を介して１つま
たは複数のサーバ１０２（例えば、コンテンツサーバ）に通信接続される自律走行車１０
１を含む。ここで、１つの自律走行車を示しているが、複数の自律走行車がネットワーク
１０３によってサーバ１０２に接続されるようにしてもよい。ネットワーク１０３は、任
意のタイプのネットワーク、例えば、有線や無線のローカルエリアネットワーク（ＬＡＮ
）、およびインターネット、セルラーネットワーク、衛星ネットワークのようなワイドエ
リアネットワーク（ＷＡＮ）、またはその組合せであってもよい。サーバ１０２は、任意
のタイプのサーバまたはサーバクラスター、例えばネットワークまたはクラウドサーバ、
アプリケーションサーバ、バックエンドサーバまたはその組合せであってもよい。
【００１８】
一実施形態において、自律走行車１０１は、センサシステム１１５およびデータ処理シ
ステム１１０を含むが、それらに限定されない。センサシステム１１５は、自律走行車１
０１が様々な道路や場所をナビゲートすることを可能にするのに必要な複数種のセンサま
たは感知装置を含む。例えば、センサシステム１１５は、１つまたは複数のカメラ、マイ
クロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシス
テムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。デー
タ処理システム１１０は、例えばバス、相互接続部材、またはネットワークによってセン
サシステム１１５に通信可能に接続される。データ処理システム１１０は、センサシステ
ム１１５から受信された全てのデータを処理し且つセンサシステム１１５を管理または制
御するように操作できる。データ処理システム１１０は、センサシステム１１５から受信
された情報を処理して自律走行車１０１の運転と制御に必要なソフトウェア及びハードウ
ェアを備える専用コンピュータであってもよい。
【００１９】
一実施形態において、データ処理システム１１０は、位置決めモジュール１２１、コン
テンツ選択モジュール１２２、コンテンツ交換モジュール１２３、ビジョンシステムモジ
ュール（ＶＳＭ）１２４、および感知モジュール１２５を含むが、それらに限定されない
。モジュール１２１〜１２５は、ソフトウェア、ハードウェアまたはその組合せにより実
現できる。例えば、モジュール１２１〜１２５は、システムメモリにロードされ且つデー
タ処理システム１１０の１つまたは複数のプロセッサにより実行されてもよい。位置決め
モジュール１２１（行程モジュールとも呼ばれる）は、ユーザのルートに関連する任意の
データを管理する。ユーザは、ユーザインタフェースによってログインし且つルートの開
始位置および目的地を指定してもよい。位置決めモジュール１２１が自律走行車１０１の
他の構成要素と通信してルート関連データを取得する。例えば、位置決めモジュール１２
１は、位置サービスサーバ１０６および地図とＰＯＩ（ＭＰＯＩ）サーバ１０５から位置
および経路情報を取得できる。位置サービスサーバ１０６は、位置サービスを提供し、且
つ、ＭＰＯＩサーバ１０５は、地図サービスおよびいくつかの位置のＰＯＩを提供する。
自律走行車１０１が前記経路に沿って走行する期間、位置決めモジュール１２１は、さら
に交通情報システムまたはサーバ（ＴＩＳ）１０４からリアルタイム交通情報を取得でき
る。なお、サーバ１０４〜１０６は、第三者エンティティにより操作されてもよい。必要
に応じて、サーバ１０４〜１０６の機能は、サーバ１０２と一体に集積されてもよい。
【００２０】
一実施形態によれば、センサシステム１１５でキャプチャされた画像に応答して、ＶＳ
Ｍモジュール１２４は前記画像を分析して前記画像を説明する画像メタデータを取得する
。ＶＳＭモジュール１２４は前記画像に対して画像識別を実行して前記画像で表示される
コンテンツ（例えば、人、例えば建物の背景、標識）を確定することができる。画像分析
および位置決めモジュール１２１が取得した位置決め情報に基づき、感知モジュール１２
５は感知を確定する。次に、感知情報をコンテンツ交換モジュール１２３で１つまたは複
数のコンテンツサーバ１０２に伝送してコンテンツサーバ１０２が提供したコンテンツを
交換する。前記感知情報に応答して、サーバ１０２のコンテンツ交換モジュール１３５は
コンテンツデータベース１３１において検索して１つまたは複数のコンテンツアイテムを
識別する。感知情報は感知を表示する特定のキーワードを含んでもよい。このようなキー
ワードはコンテンツアイテムの識別に用いることができる。例えば、キーワード・ツー・
コンテンツＩＤ（keyword-to-content ID）のマッピングテーブル（図示せず）が設置さ
れて、特定キーワード（例えば、ビットワード（ｂｉｄｗｏｒｄ））をコンテンツアイテ
ムを識別するコンテンツＩＤにマッピングする。次に、識別されたコンテンツアイテム（
複数のコンテンツアイテム）をデータ処理システム１１０に返送する。コンテンツ選択モ
ジュール１２２は自律走行車１０１の１つまたは複数の表示装置に表示されるコンテンツ
のうちの１つまたは複数をランキングして選択する。
【００２１】
図３は本発明の一実施形態に係る自律走行車の視聴者へコンテンツを提供するモデルを
示す図である。図３に示されるように、感知モジュール１２５はＶＳＭモジュール１２４
で取得されたＶＳＭ情報３０１および位置決めモジュール１２１でコンパイルされた位置
決め情報３０２を使用して感知３０３を発生させる。感知情報はコンテンツ選択工程３０
４に使用可能であり、前記コンテンツ選択工程３０４において感知情報はコンテンツ交換
プラットフォーム３０５に表示される。複数のコンテンツプロバイダ３０６がコンテンツ
サービスについて入札できるように、コンテンツ交換プラットフォーム３０５は第三者（
例えば、Ａｄ入札プラットフォーム）でホストされてもよい。所定のランキングアルゴリ
ズムを使用してコンテンツプロバイダ３０６が提供したコンテンツをランキングする。次
に、１つまたは複数のコンテンツアイテムを選択してコンテンツレンダリングモジュール
（図示せず）でレンダリング工程３０７においてレンダリングする。レンダリングされた
コンテンツは複数の表示装置３０８Ａ〜３０８Ｃにおいて表示されることができる。表示
装置３０８Ａ〜３０８Ｃは、具体的な視聴者に応じて内部または外部に取り付けることが
できる。例えば内部視聴者向けのレンダリングされたコンテンツは自律走行車内に取り付
けられ表示装置において表示可能である。同様に、外部視聴者向けのレンダリングされた
コンテンツは自律走行車の外表面に取り付けられた外部視聴者向けの表示装置において表
示可能である。
【００２２】
一実施形態において、内部表示装置に表示しようとするコンテンツを準備するに際して
、カメラによってキャプチャされた画像を分析することで画像中の人または対象を識別す
る。識別された画像に関連する１つまたは複数のキーワードや、ポイントオブインタレス
ト（ＰＯＩ）を決定する。コンテンツ選択モジュールは前記キーワードに基づいて１つま
たは複数のコンテンツアイテムを検索して識別し、例えば自律走行車に保存されたコンテ
ンツデータベースにおいて検索したり、クラウドにおけるコンテンツ交換プラットフォー
ムやコンテンツサーバと通信することによって検索する。次に、これらのコンテンツアイ
テムをランキングし、コンテンツ選択エンジンはランキングされたコンテンツアイテムか
ら少なくとも一つを選択して表示する。例えば、選択されたコンテンツアイテムを画像に
拡張させて拡張画像を発生させてコンテンツアイテムをレンダリングする。コンテンツ表
示モジュール（図示せず）は画像の観察角度に関連する位置で搭乗者による画像観察を拡
張させる、選択されたコンテンツアイテムを車両の搭乗者に表示する。
【００２３】
選択されたコンテンツアイテムを画像に重ねて拡張画像を形成することができる。次に
、拡張画像は自律走行車内の表示装置に表示される。表示装置は車両の窓となるように設
置できる。ユーザが表示装置を見る時に、ユーザが一般的な窓を介して物理的対象を見る
ごとく、画像の対象を仮想現実方式で仮想対象として表示する。表示装置は拡張現実（Ａ
Ｒ）環境に類似しまたはそれをシミュレートした拡画像のストリーム（例えば、拡張ビデ
オ）をリアルタイムに表示できる。表示装置は、搭乗者が以下の方式でコンテンツアイテ
ムに応答できるように、インタラクション用のタッチパネルを含んでよもく、即ち、全て
のコンテンツアイテムを視聴すること、コンテンツアイテムが推薦する動作を取ること、
およびコンテンツアイテムが提供する選択肢から選択したりコンテンツアイテムをすぐ放
棄したりすることである。
【００２４】
図４は一実施形態に係る自律走行車のコンテンツ配信メカニズムを示す処理フローであ
る。プロセス４００は図１〜２に示されるシステム構成に実行されることができる。図４
に示されるように、位置決めモジュール１２１は位置決め情報、例えば、位置および経路
情報４０１、リアルタイム交通情報４０２およびＭＰＯＩ情報４０３をリアルタイムに取
得する。このような情報は第三者情報提供者（例えば、図２のサーバ１０４〜１０６）か
ら取得できる。
【００２５】
また、ＶＳＭモジュール１２４によってセンサシステム１１５がキャプチャした画像を
分析して前記画像を説明するメタデータをコンパイルする。前記画像は自律走行車の周辺
の外部環境を表示する。ＶＳＭモジュール１２４は前記画像に対して画像識別を実行でき
る。例えば、ＶＳＭモジュール１２４はユーザを前記環境中の視聴者として識別できる。
ＶＳＭモジュール１２４はユーザが大人か子供か、男か女か、および前記ユーザにより実
行する活動等を確定できる。ＶＳＭモジュール１２４は前記画像の背景（例えば建物（例
えば、モール）や標識（例えば、ビルボード））およびそれらに表示されるコンテンツを
さらに識別できる。
【００２６】
一実施形態において、位置決め情報と画像分析の結果が感知モジュール１２５に提供さ
れて前記環境での感知を発生させる。感知は、視聴者に対応し且つその時点で位置決め情
報と画像分析に基づいて動的コンパイル可能なユーザプロファイルを含んでもよい。感知
情報およびユーザプロファイルはコンテンツ選択モジュール１２２および/またはコンテ
ンツ交換モジュール１２３に提供されることができる。コンテンツ交換モジュール１２３
はコンテンツプロバイダ１０２（例えば、コンテンツサーバまたは前記コンテンツサーバ
をホストするコンテンツ交換プラットフォーム）と通信してコンテンツプロバイダ１０２
が提供するコンテンツを交換する。コンテンツ交換モジュール１２３は感知を表示するデ
ータをコンテンツサーバ１０２に伝送できる。感知データはコンテンツプロバイダ１０２
とコンテンツ交換モジュール１２３が合意した標準化用語、キーワードまたはラベル（例
えば、ビットワード）を含むことができる。
【００２７】
一実施形態において、感知情報をコンテンツ交換プラットフォーム（例えば、広告サー
バまたはＡｄサーバ）に伝送してコンテンツプロバイダ（例えば、広告主）がコンテンツ
サービス（例えば、Ａｄ）について入札することを可能にする。コンテンツプロバイダ１
０２が提出したコンテンツに応答して、コンテンツ選択モジュール１２２のランキングモ
ジュール（図示せず）は所定のランキングアルゴリズム（例えばユーザプロファイルに応
じて）を使用してコンテンツをランキングする。次に、コンテンツ選択モジュール１２２
のコンテンツレンダリングモジュール（図示せず）は１つまたは複数のコンテンツアイテ
ム４１５を選択してレンダリングする。その後、目的視聴者に向かっている１つまたは複
数の表示装置４２０（例えば自律走行車の外表面に取り付けられた表示装置）においてレ
ンダリングされたコンテンツアイテムを表示する。
【００２８】
なお、図４に示されるプロセスは周期的または連続的に繰り返して実行できる。新しい
または更新されたキャプチャ情報を分析でき、位置決め情報を更新できる。コンテンツプ
ロバイダ１０２において新しいまたは更新されたコンテンツを識別して検索することがで
き、前記コンテンツプロバイダ１０２について、一回の繰り返しと他の一回の繰り返しが
同じでも異なってもよい。次に、表示装置において新しいまたは更新されたコンテンツを
表示する。コンテンツプロバイダ１０２が提供したコンテンツのうち、一部はコンテンツ
データベースとしてローカル記憶装置にキャッシュし且つクラウドにおけるコンテンツプ
ロバイダ１０２によって周期的に更新することができる。このような構成は、クラウドに
対するネットワーク接続が一時的に消える場合もカバーする。
【００２９】
一実施形態によれば、ユーザと表示されたコンテンツとのインタラクションはカメラでキ
ャプチャされてシステムによって分析されることができる。ユーザインタラクションに基
づいてコンテンツを更新することが可能である。例えば、カメラは、ユーザがコンテンツ
を見ていること、表示されたコンテンツに指していること、コンテンツの写真を撮ってい
ること、コンテンツの一部として示される機械可読コードを走査していること等を表示す
る画像をキャプチャできる。この場合、現在表示されたコンテンツに基づいて別のコンテ
ンツを識別することに用いられてもよい。従って、コンテンツはその時点で視聴者をさら
に吸引する。
【００３０】
なお、前記のように前記技術は外部視聴者へのコンテンツ配信に用いられることが記述
された。前記技術は自律走行車内の視聴者にも適用できる。例えば、自律走行車内に取り
付けられた表示装置を使用して仮想現実方式で、リアルタイムにキャプチャして外部環境
を表示する画像またはビデオを表示できる。前記技術の少なくとも一部によってクラウド
におけるコンテンツプロバイダから追加コンテンツを識別することができる。追加コンテ
ンツをリアルタイムにキャプチャされた画像に拡張させて自律走行車内に取り付けられた
表示装置において表示できる。自律走行車内に取り付けられた表示装置はユーザが表示さ
れたコンテンツとインタラクションするためのタッチパネルを含むことができる。このよ
うなユーザインタラクションは表示に供する別のコンテンツを選択することに用いられ得
る。
【００３１】
図５は本発明の一実施形態に係る自律走行車用のコンテンツの処理プロセスを示すフロ
ーチャートである。プロセス５００はソフトウェア、ハードウェアまたはこれらの組合せ
を含む処理ロジックにより実行されることができる。例えば、プロセス５００は図２のデ
ータ処理システム１１０により実行されてもよい。図５に示されるように、ブロック５０
１において、処理ロジックは自律走行車に取り付けられたカメラを使用して自律走行車の
周辺の外部環境を表示する画像をキャプチャする。ブロック５０２において、処理ロジッ
クはその時点での自律走行車に関連する位置決め情報（例えば、位置および経路の情報、
ＭＰＯＩ情報、交通情報）を取得する。ブロック５０３において、処理ロジックは画像分
析および位置決め情報に基づいて自律走行車の外部環境に関連する感知を決定する。ブロ
ック５０４において、処理ロジックは感知情報を１つまたは複数のコンテンツサーバ、ま
たは１つまたは複数のコンテンツサーバをホストするコンテンツ交換プラットフォームに
伝送して１つまたは複数のコンテンツプロバイダからのコンテンツアイテムを交換する。
ブロック５０５において、処理ロジックは所定のランキングアルゴリズムまたはコンテン
ツ選択方法を使用して１つまたは複数のコンテンツアイテムをランキングして選択する。
ブロック５０６において、自律走行車の外表面（例えば、窓、ドアおよびルーフ）に取り
付けられた１つまたは複数の表示装置において選択されたコンテンツアイテムを表示する
。
【００３２】
本出願の全体にわたって説明される技術は、時点における行程の経路に沿った走行環境
（例えば、位置および経路情報、リアルタイム交通情報および地図と興味点）に基づき、
自律走行車に乗るユーザに特定のスポンサー付きコンテンツ（例えば、広告またはＡｄ）
を提供することに用いられてもよい。リアルタイムにキャプチャされた自律走行車の周辺
環境の１つまたは複数の画像にスポンサー付きコンテンツを拡張し、それにより拡張現実
コンテンツの配信環境を構築する。
【００３３】
上記自律走行車とは、車両が運転者からの入力が非常に少なくまたはない場合でもナビ
ゲーションして環境を通過するように自律走行モードに設定できる車両である。このよう
な自律走行車は、車両走行環境に関連する情報を検出するための１つまたは複数のセンサ
を含むセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、
検出された情報を用いてナビゲーションして前記環境を通過できる。前記センサシステム
は、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測
ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡ
Ｒ）システムを備えてもよい。
【００３４】
ＧＰＳシステムは、自律走行車の地理的位置を推定できる。ＧＰＳシステムは、送受信
機を備えてもよく、前記送受信機は、自律走行車の位置に関連する情報を提供するように
動作できる。ＩＭＵユニットは、慣性加速度に基づいて自律走行車の位置および方位変化
を感知できる。レーダーユニットは、無線信号を利用して自律走行車のローカル環境内の
対象を感知するシステムを示すことができる。いくつかの実施形態において、感知対象以
外に、レーダーユニットはさらに対象の速度および/または前進方向を感知できる。ＬＩ
ＤＡＲユニットは、レーザで自律走行車が位置する環境における対象を感知してもよい。
他のシステムの構成要素以外に、ＬＩＤＡＲユニットはさらに１つまたは複数のレーザ光
源、レーザスキャナーおよび１つまたは複数の検出器を備えてもよい。カメラは、自律走
行車の周辺環境の画像をキャプチャするための１つまたは複数の装置を備えてもよい。カ
メラはスチルカメラまたはビデオカメラであってもよい。カメラは、カメラが取り付けら
れたプラットフォームを回転および/または傾斜させるように機械的に移動してもよい。
マイクロホンは、自律走行車の周辺環境から音声をキャプチャするように構成されてもよ
い。
【００３５】
自律走行車は、自律走行車環境における対象および/または特徴を識別するように１つ
または複数のカメラによりキャプチャされた画像を処理して分析するためのコンピュータ
ビジョンシステムをさらに備えてもよい。前記対象は、交通信号、車道境界、他の車両、
通行人および/または障害物等を含んでもよい。コンピュータビジョンシステムは、対象
認識アルゴリズム、ビデオ追跡および他のコンピュータビジョン技術を用いてもよい。い
くつかの実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象追
跡、対象速度の推定等を行うことができる。
【００３６】
自律走行車は、自律走行車の走行経路を決定するためのナビゲーションシステムをさら
に備えてもよい。例えば、ナビゲーションシステムは、自律走行車が大体最終目的地に到
着する車道経路に沿って前進するとともに、感知した障害物を基本的に回避するように一
連の速度および所定の前進方向を決定してもよい。目的地はユーザインタフェースによる
ユーザ入力に基づいて設定されてもよい。ナビゲーションシステムは自律走行車が走行し
ていると同時に走行経路を動的に更新してもよい。ナビゲーションシステムは、ＧＰＳシ
ステムおよび１つまたは複数の地図からのデータを合併して自律走行車用の走行経路を決
定する。
【００３７】
自律走行車は、自律走行車環境における潜在的障害物を識別し、評価し且つ回避して、
または他の方式で迂回するための衝突防止システムをさらに備えてもよい。例えば、衝突
防止システムは、制御システムにおける１つまたは複数のサブシステムが旋回動作、方向
転換動作、ブレーキ動作等を行うように操作することによって自律走行車のナビゲーショ
ン中の変更を実現してもよい。衝突防止システムは、周囲の交通モード、道路状況等に基
づいて実現可能な障害物回避動作を自動的に決定してもよい。衝突防止システムは、他の
センサシステムにより自律走行車が旋回して入る隣接領域に位置する車両、建築障害物等
を検出した場合に旋回動作を行わないように構成されてもよい。衝突防止システムは、利
用可能で自律走行車の搭乗者の安全性を最大化する動作を自動的に選択してもよい。衝突
防止装置は、自律走行車の車室に最小の加速度をもたらすように、予測した回避動作を選
択してもよい。
【００３８】
自律走行車は、その周辺環境内に位置する外部システム（例えば装置、センサ、他の車
両等）および/またはコントローラ、サーバ等との通信を可能にする無線通信システムを
さらに備えてもよく、前記外部システムおよび/またはコントローラ、サーバ等は、車両
の周辺環境に関連する有用な情報、例えば交通情報、天気情報等を提供できる。例えば、
無線通信システムは、直接的にまたは通信ネットワークによって１つまたは複数の装置と
無線で通信できる。無線通信システムは、任意のセルラ通信ネットワークまたは無線ＬＡ
Ｎ（ＷＬＡＮ）、例えばＷｉＦｉを用いてもよい。無線通信システムは、例えば赤外リン
ク、ブルートゥース等を用いて装置と直接的に通信できる。
【００３９】
なお、上記の構成要素の一部または全部は、ソフトウェア、ハードウェアまたはそれら
の組合せにより実現できる。例えば、このような構成要素は、永久記憶装置にインストー
ルされ且つ記憶されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ（
図示せず）でメモリにおいてロードされ且つ実行されることにより、本出願の全体にわた
って説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハ
ードウェア（例えば集積回路（例えば、専用集積回路またはＡＳＩＣ）、デジタル信号プ
ロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプロ
グラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行
可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってア
プリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプ
ロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア
構成要素が１つまたは複数の特定命令によってアクセスされる命令セットの一部となる。
【００４０】
図６は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に
示すブロック図である。例えば、システム１５００は、上記プロセスまたは方法のいずれ
かを実行する上記任意のデータ処理システム、例えば図２のデータ処理システム１１０ま
たはサーバ１０２を示してもよい。システム１５００は、多数の異なる構成要素を含んで
もよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置また
は回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードま
たはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれ
た構成要素として実現できる。
【００４１】
さらに、システム１５００は、コンピュータシステムの多数の構成要素の詳細ビューを
示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素を要し
てもよいことを理解すべきである。また、他の実現形態において示される構成要素が異な
る配置を有してもよい。システム１５００は、デスクトップコンピュータ、ラップトップ
コンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パー
ソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケータ
ー、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）または
リピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一
の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独
立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明さ
れる任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含む
ことを理解すべきである。
【００４２】
一実施形態において、システム１５００は、バスまたは相互接続部材１５１０によって
接続されたプロセッサ１５０１、メモリ１５０３および装置１５０５〜１５０８を備える
。プロセッサ１５０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一
のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ１５０１は、マイクロ
プロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであっ
てもよい。より具体的には、プロセッサ１５０１は、複雑命令セット計算（ＣＩＳＣ）マ
イクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長
命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、
または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ１５０１は
、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィール
ドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネッ
トワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプ
ロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令
処理可能な任意の他のタイプのロジックであってもよい。
【００４３】
プロセッサ１５０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケッ
トであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットお
よび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ
）として実現できる。プロセッサ１５０１は、命令を実行することにより本明細書に説明
される操作およびステップを実行するための命令を実行ように構成される。また、システ
ム１５００は、選択可能なグラフィックサブシステム（表示コントローラおよび／または
表示装置）１５０４と通信するグラフィックインターフェースをさらに含み、グラフィッ
クサブシステム（表示コントローラおよび／または表示装置）１５０４は、表示コントロ
ーラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
【００４４】
プロセッサ１５０１は、メモリ１５０３と通信してもよく、メモリ１５０３は、一実施
形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ１５０３
は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡ
Ｍ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つま
たは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ１５０３は、プロセ
ッサ１５０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例
えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、
入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコ
ードおよび/またはデータはメモリ１５０３にロードされてもよく、プロセッサ１５０１
により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷ
ｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃ  ＯＳ(R)/ｉＯ
Ｓ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ(R)、Ｕｎｉｘ(R)ま
たは他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ
）のような任意のタイプのオペレーティングシステムであってもよい。
【００４５】
システム１５００は、Ｉ/Ｏ装置、例えば装置１５０５〜１５０８をさらに備えてもよ
く、ネットワークインターフェース装置１５０５、選択可能な入力装置１５０６および他
の選択可能なＩ/Ｏ装置１５０７を備える。ネットワークインターフェース装置１５０５
は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備え
てもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース送受
信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球
測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれら
の組合せであってもよい。ＮＩＣはイーサネットカードであってもよい。
【００４６】
入力装置１５０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置１５
０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキ
ーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想
キーボード）を備えてもよい。例えば、入力装置１５０６は、タッチスクリーンに接続さ
れるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスク
リーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音
波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つ
または複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてその
タッチ点および移動または断続を検出できる。
【００４７】
Ｉ/Ｏ装置１５０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマ
イクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/ま
たは電話機能のような音声サポートの機能を促進する。他のＩ/Ｏ装置１５０７は、汎用
シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワー
クインターフェース、バスブリッジ（例えば、ＰＣＩ〜ＰＣＩブリッジ）、センサ（例え
ば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような
動きセンサ）またはそれらの組合せをさらに備えてもよい。装置１５０７は、結像処理サ
ブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カ
メラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装
置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサ
を備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材１５１０
に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントロ
ーラ（図示せず）により制御されてもよく、これはシステム１５００の特定配置または設
計により決められる。
【００４８】
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情
報の永久記憶を提供するために、大容量記憶装置（図示せず）は、プロセッサ１５０１に
接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且
つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステ
ート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置
は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は
、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情
報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現でき
る。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（Ｓ
ＰＩ）によってプロセッサ１５０１に接続されてもよい。このようなフラッシュデバイス
は、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェ
アは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェ
アを備える。
【００４９】
記憶装置１５０８は、任意の１種または複数種の本明細書に記載の方法または機能を体
現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニット
および/またはロジック１５２８）が記憶されるコンピュータアクセス可能な記憶媒体１
５０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。
モジュール/ユニット/ロジック１５２８は、上記した検索エンジン、エンコーダ、インタ
ラクションログ記録モジュールのような上記構成要素のいずれかを示してもよい。モジュ
ール/ユニット/ロジック１５２８は、さらにデータ処理システム１５００により実行され
る期間にメモリ１５０３内および/またはプロセッサ１５０１内に完全または少なくとも
部分的に存在してもよく、ここで、メモリ１５０３およびプロセッサ１５０１も、機器ア
クセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック１５２８は、さらにネ
ットワークによってネットワークインターフェース装置１５０５を経由して送受信されて
もよい。
【００５０】
コンピュータ可読記憶媒体１５０９は、以上に説明されたいくつかのソフトウェア機能
を永続的に記憶してもよい。コンピュータ可読記憶媒体１５０９は、例示的な実施形態に
おいて単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つま
たは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または
分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを
理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶また
はコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、
機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる
。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒
体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されない
ことを理解すべきである。
【００５１】
本明細書に記載のモジュール/ユニット/ロジック１５２８、構成要素および他の特徴は
、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウ
ェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統
合されてもよい。さらに、モジュール/ユニット/ロジック１５２８は、ハードウェア装置
内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニッ
ト/ロジック１５２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の
組合せで実現されてもよい。
【００５２】
なお、システム１５００は、データ処理システムの各種の構成要素を有するように示さ
れているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではない
ことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないため
である。また、より少ない構成要素またはより多くの構成要素を有するネットワークコン
ピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理
システムは、本出願の実施形態と共に使用されてもよい。
【００５３】
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のア
ルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、デー
タ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業
者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につ
ながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは
、物理量に対して物理的操作を行う必要となるステップを指す。
【００５４】
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且
つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らな
い限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明され
た用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および
処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムの
レジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データを
コンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送また
は表示装置内において類似に物理量として示される他のデータに変換する。
【００５５】
本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。こ
のようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器
可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備
える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュ
ータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメ
モリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を
備える。
【００５６】
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジッ
ク等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、また
は両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は
、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる
順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行され
てもよい。
【００５７】
本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていな
いが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現で
きることを理解すべきである。
【００５８】
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明
した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨およ
び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示
的なものとして本明細書および図面を理解すべきである。
【図１】
2019023879.tif 000003
【図２】
2019023879.tif 000004
【図３】
2019023879.tif 000005
【図４】
2019023879.tif 000006
【図５】
2019023879.tif 000007
【図６】
2019023879.tif 000008