(57)【特許請求の範囲】
【請求項１】
自律走行車の外部の物理対象の第１画像を受信するステップと、
前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップであって、前記画像認識はコンピュータビジョン技術を使用して自動的にデジタル画像のためにメタデータとしてキーワードを指定する過程である、ステップと、
前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、
第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、
前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、
ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる
ことを特徴とする自律走行車にコンテンツを提示するためのコンピュータ実現方法。
【請求項２】
前記第２画像は前記物理対象の前記第１画像及び前記第１画像に重ね合わせる前記第１コンテンツアイテムを含む
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記表示装置は、前記自律走行車のユーザと前記物理対象との間の仮想窓として表現されるように配置及び位置決めされる
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記第２画像は、前記ユーザが前記仮想窓を介して前記物理対象を直接見ているように、仮想現実方式で表示される
ことを特徴とする請求項３に記載の方法。
【請求項５】
前記物理対象は、前記表示装置において前記ユーザの角度から現れた仮想対象として表示される
ことを特徴とする請求項４に記載の方法。
【請求項６】
前記ユーザのユーザプロファイルに基づいて前記コンテンツアイテムリストをランキングするステップを更に含み、ここで、前記第１コンテンツアイテムが前記ランキングに基づいて選択される
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記表示装置は前記第２画像と行ったユーザインタラクティブを受信するように、タッチスクリーンを備え、且つ前記ユーザインタラクティブが前記ユーザプロファイルの更新に用いられる
ことを特徴とする請求項６に記載の方法。
【請求項８】
前記自律走行車の運転ルートに沿う位置とルート情報を取得するステップと、
前記位置とルート情報に基づいて興味のあるポイント（ＰＯＩ）を取得するステップと、を更に含んでおり、
ここで、前記コンテンツアイテムリストが前記ＰＯＩに基づいて認識される
ことを特徴とする請求項１に記載の方法。
【請求項９】
非一時的な機械可読媒体であって、その中に記憶される指令を有し、前記指令はプロセッサにより実行される際に、自律走行車においてコンテンツを提示する操作を前記プロセッサにさせて、前記操作は、
自律走行車の外部の物理対象の第１画像を受信するステップと、
前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップであって、前記画像認識はコンピュータビジョン技術を使用して自動的にデジタル画像のためにメタデータとしてキーワードを指定する過程である、ステップと、
前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、
第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、
前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、
ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる
ことを特徴とする非一時的な機械可読媒体。
【請求項１０】
前記第２画像は前記物理対象の前記第１画像及び前記第１画像に重ね合わせる前記第１コンテンツアイテムを含む
ことを特徴とする請求項９に記載の非一時的な機械可読媒体。
【請求項１１】
前記表示装置は、前記自律走行車のユーザと前記物理対象との間の仮想窓として表現されるように配置及び位置決めされる
ことを特徴とする請求項９に記載の非一時的な機械可読媒体。
【請求項１２】
前記第２画像は、前記ユーザが前記仮想窓を介して前記物理対象を直接見ているように、仮想現実方式で表示される
ことを特徴とする請求項１１に記載の非一時的な機械可読媒体。
【請求項１３】
前記物理対象は前記表示装置には前記ユーザの角度から現れた仮想対象として表示される
ことを特徴とする請求項１２に記載の非一時的な機械可読媒体。
【請求項１４】
前記操作は前記ユーザのユーザプロファイルに基づいて前記コンテンツアイテムリストをランキングするステップを更に含み、ここで、前記第１コンテンツアイテムが前記ランキングに基づいて選択される
ことを特徴とする請求項９に記載の非一時的な機械可読媒体。
【請求項１５】
前記表示装置は前記第２画像と行ったユーザインタラクティブを受信するように、タッチスクリーンを備え、且つ前記ユーザインタラクティブが前記ユーザプロファイルの更新に用いられる
ことを特徴とする請求項１４に記載の非一時的な機械可読媒体。
【請求項１６】
前記操作は、
前記自律走行車の運転ルートに沿う位置とルート情報を取得するステップと、
前記位置とルート情報に基づいて興味のあるポイント（ＰＯＩ）を取得するステップと、を更に含んでおり、
ここで、前記コンテンツアイテムリストが前記ＰＯＩに基づいて認識される
ことを特徴とする請求項９に記載の非一時的な機械可読媒体。
【請求項１７】
データ処理システムであって、
プロセッサと、
前記プロセッサに接続され、指令を記憶することに用いられ、前記指令は前記プロセッサにより実行される際に、自律走行車においてコンテンツを提示する操作を前記プロセッサに実行させるメモリと、を備え、前記操作は、
自律走行車の外部の物理対象の第１画像を受信するステップと、
前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップであって、前記画像認識はコンピュータビジョン技術を使用して自動的にデジタル画像のためにメタデータとしてキーワードを指定する過程である、ステップと、
前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、
第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、
前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、
ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる
ことを特徴とするデータ処理システム。
【請求項１８】
前記第２画像は前記物理対象の前記第１画像及び前記第１画像に重ね合わせる前記第１コンテンツアイテムを含む
ことを特徴とする請求項１７に記載のシステム。
【請求項１９】
前記表示装置は、前記自律走行車のユーザと前記物理対象との間の仮想窓として表現されるように配置及び位置決めされる
ことを特徴とする請求項１７に記載のシステム。
【請求項２０】
前記第２画像は、前記ユーザが前記仮想窓を介して前記物理対象を直接見ているように、仮想現実方式で表示される
ことを特徴とする請求項１９に記載のシステム。
【請求項２１】
前記物理対象は前記表示装置には前記ユーザの角度から現れた仮想対象として表示される
ことを特徴とする請求項２０に記載のシステム。
【請求項２２】
前記操作は前記ユーザのユーザプロファイルに基づいて前記コンテンツアイテムリストをランキングするステップを更に含み、ここで、前記第１コンテンツアイテムが前記ランキングに基づいて選択される
ことを特徴とする請求項１７に記載のシステム。
【請求項２３】
前記表示装置は前記第２画像と行ったユーザインタラクティブを受信するように、タッチスクリーンを備え、且つ前記ユーザインタラクティブが前記ユーザプロファイルの更新に用いられる
ことを特徴とする請求項２２に記載のシステム。
【請求項２４】
前記操作は、
前記自律走行車の運転ルートに沿う位置とルート情報を取得するステップと、
前記位置とルート情報に基づいて興味のあるポイント（ＰＯＩ）を取得するステップ、
を更に含んでおり、
ここで、前記コンテンツアイテムリストが前記ＰＯＩに基づいて認識される
ことを特徴とする請求項１７に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願の実施形態は全体的に自律走行車におけるコンテンツ選択及び提示に関する。より具体的に、本出願の実施形態は自律走行車において外部物理ビューが拡張されたメディアコンテンツを選択してインタラクティブに表示することに関する。
【背景技術】
【０００２】
自律走行車とは、自律モードにある車両となるように配置されることができるものを指し、前記自律モードで車両は運転者からの入力が極めて少ない又はない場合にナビゲーションして環境を通過する。自律走行車内部の旅行シーンはコンテンツ配信の独特の機会となる。自律走行車に乗って旅行する人は運転に注目したり周囲の交通に気を配ったりする必要がなく、より多くの時間がかかってメディアコンテンツを楽しむ。
【０００３】
従来のコンテンツ配信方法、例えばコンテンツ表示及びコンテンツ捜索は、完全に自律走行車のユニークな旅行シーンを利用することができない。まず、自律走行車には一般的に画像認識コンポーネントが配置され、前記画像認識コンポーネントは、自律走行車が対象（例えば標識及び障害物）を認識することに役立つ。このような動的認識する視覚対象は自律走行車の運転シーンに対して固有である。ところが、通常のコンテンツ配信には容易に使用されることができない。なお、自律走行車においてコンテンツをレンダリングする形式は本質的にコンテンツ表示又はコンテンツ捜索と異なり、コンテンツ表示又はコンテンツ捜索においてユーザはある予め定義された画面領域とインタラクティブすること注目する。
【０００４】
従来の試みは如何にルートに沿ってコンテンツを選択するかに焦点を当てて、特にコンテンツ配信システム（当該コンテンツ配信システムは無人運転の体験に用いられるようにカスタマイズされる）を確立することを目的とすることがない。例えば興味のあるポイント（ＰＯＩ）の情報を使用してコンテンツを選択することに関わらず、従来の提案は自律走行車のユニークな情報、例えばビデオカメラでキャプチャされた画像及びセンサーの入力を特に利用しない。従来の方法（例えばコンテンツ表示及びコンテンツ捜索）及びそのレンダリング形式は自律走行車における旅行環境向けに設計されるものではない。したがって、従来の形式で自律走行車内の乗客にコンテンツを配信するシーンで、それらの効果が最適ではない。
【発明の概要】
【課題を解決するための手段】
【０００５】
一つの様態において、自律走行車にコンテンツを提示するためのコンピュータ実現方法を提供し、この方法は、自律走行車の外部の物理対象の第１画像を受信するステップと、前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる。
【０００６】
他の一つの様態において、非一時的な機械可読媒体を提供し、この非一時的な機械可読媒体の中に記憶される指令を有し、前記指令はプロセッサにより実行される際に、自律走行車においてコンテンツを提示する操作を前記プロセッサにさせて、前記操作は、自律走行車の外部の物理対象の第１画像を受信するステップと、前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる。
【０００７】
さらに、他の一つの様態において、データ処理システムを提供し、このデータ処理システムは、プロセッサと、前記プロセッサに接続され、指令を記憶することに用いられ、前記指令は前記プロセッサにより実行される際に、自律走行車においてコンテンツを提示する操作を前記プロセッサに実行させるメモリと、を備え、前記操作は、
自律走行車の外部の物理対象の第１画像を受信するステップと、前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる。
【０００８】
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号は、類似の構成要素を示す。
【図面の簡単な説明】
【０００９】
【図１Ａ】本出願の一実施形態に係る一つ又は複数の自律走行車のブロック図を示し、前記一つ又は複数の自律走行車におけるそれぞれはコンテンツ提示装置を含む。
【図１Ｂ】本出願の一実施形態に係る自律走行車用の、コンテンツをレンダリングする処理フローを示す図である。
【図２】本出願の一実施形態に係る画像処理モジュールを示すブロック図である。
【図３】本出願の一実施形態に係るコンテンツ選択エンジンを示すブロック図である。
【図４】本出願の一実施形態に係るコンテンツ提示モジュールを示すブロック図である。
【図５】本出願の一実施形態に係るコンテンツアイテムを選択して提示する過程を示すフローチャートである。
【図６】本出願の一実施形態に係るコンテンツアイテムを選択且つ提示する過程を示すフローチャートである。
【図７】一実施形態の車載コンテンツ提示装置を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、説明の詳細を参照しながら、本出願の様々な実施形態および方法を説明し、図面は、前記様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
【００１１】
本明細書では「一つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造または特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
【００１２】
本出願の実施形態は以下の方式によって通常のシステムの制限を克服し、好ましくは、自律走行車外部の物理対象に関連するコンテンツアイテムをリアルタイムに選択して、且つ搭乗者に対する物理対象のビューを拡張するように車両の搭乗者に前記コンテンツアイテムを提示する。
【００１３】
一実施形態において、車載装置は画像処理モジュール、コンテンツ選択エンジン、コンテンツレンダリングモジュール及びコンテンツ提示モジュールを備える。画像処理モジュールは、前記画像から外部物理対象を認識するように、車両に取り付けられるビデオカメラから画像を受信して且つ画像認識過程を実行する。画像処理モジュールは続いて認識された物理対象に関連する一つ又は複数のキーワード又は興味のあるポイント（ＰＯＩ）を確定する。コンテンツ選択エンジンは前記キーワードに基づいて一つ又は複数のコンテンツアイテムを捜索且つ認識する。続いてこれらのコンテンツアイテムをランキングして且つコンテンツ選択エンジンはランキングされたコンテンツアイテムの中の少なくとも１つを選択して提示する。コンテンツレンダリングモジュールは例えば選択されたコンテンツアイテムを画像に加えて拡張された画像を生成することによってレンダリングする。コンテンツ提示モジュールは車両の搭乗者に選択されたコンテンツアイテムを提示し、前記コンテンツアイテムは物理対象のビューに対する位置で搭乗者が物理対象に対するビューを拡張する。
【００１４】
拡張画像になるように、選択されたコンテンツアイテムを画像に重ね合わせる。次に、表示装置に拡張された画像を表示する。表示装置は車両の通常の窓として表現するように配置されてもよい。ユーザは表示装置を見る際に、物理対象は、ユーザが通常の窓を介して物理対象を見ているように、仮想現実方式で表示される。表示装置はリアルタイムに拡張現実（ＡＲ）環境と類似するまたは拡張現実（ＡＲ）環境を模擬する拡張画像ストリーム（例えば、拡張ビデオ）を表示することができる。表示装置は、搭乗者が以下の方式でコンテンツアイテムに応答できるように、インタラクション用のタッチパネルを含んでよもく、即ち、全てのコンテンツアイテムを視聴すること、コンテンツアイテムが推薦する動作を取ること、およびコンテンツアイテムが提供する選択肢から選択したりすぐコンテンツアイテムを放棄したりすることである。
【００１５】
一実施形態において、自律走行車の外部にある物理対象の第１画像を受信して、前記第１画像は自律走行車に装着される画像センサーによりキャプチャされた。第１画像はビデオカメラによりリアルタイムにキャプチャされた、行っているビデオストリームの一部であってもよい。物理対象に関連する一つ又は複数のキーワードを導出するように、第１画像に対して画像認識を実行する。前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識する。第２画像を生成するように、コンテンツアイテムリストから選ばれた第１コンテンツアイテムを第１画像に加える。自律走行車内の表示装置において第２画像が表示される。
【００１６】
図１Ａは本出願の一実施形態に係る一つ又は複数の自律走行車を示すブロック図であり、前記一つ又は複数の自律走行車の中のそれぞれはコンテンツ提示装置を備える。図１ＡではＮ個の自律走行車の中の２つ、即ち１０６及び１０６Ｎを示すが、より少ない又はより多くの自律走行車も適用する。説明の目的のために、主として自律走行車１０６を参照する。自律走行車は、無人自動車、自動運転車又はロボット自動車とも呼ばれ、人間の入力がないか又は最も少ない人間の入力のみが必要である場合に環境を感知してナビゲーションを行うことができる車両である。自律走行車はセンサーシステム１３０を使用して周囲環境を検知し、前記センサーシステム１３０はレーダー、ＬＩＤＡＲ（レーダー原理に基づく距離測定であるが、レーザーからの光を使用する）、ＧＰＳ、測距方法（動的センサーデータを使用して時間に従った位置変化を使用する）及びコンピュータビジョン（例えば、様々な機械学習とパターン認識ソフトウェアを含むビデオカメラ）を備えてよい。
【００１７】
自律走行車１０６に取り付けられるコンテンツ提示装置１０８は車載コンテンツ提示装置であり、吸引力がある方式で自律走行車１０６の搭乗者にコンテンツアイテムを提示することができる。搭乗者は自律走行車の乗客又は車両の自動運転機能の制御を担当する「運転者」であってもよい。コンテンツ提示装置１０８（コンテンツ配信システム又はモジュールとも呼ばれる）は画像処理モジュール１１０、コンテンツ選択エンジン１１２、コンテンツレンダリングモジュール１１３及びコンテンツ提示モジュール１１４を備える。画像処理モジュール１１０は自律走行車１０６に取り付けられるビデオカメラによりキャプチャされた車両の周囲環境の画像を受信し、前記画像における物理対象を認識し、且つ前記物理対象に関連する一つ又は複数のキーワードを抽出するように配置される。コンテンツ選択エンジン１１２はコンテンツ記憶装置１２０に記憶される使用可能なコンテンツアイテムからコンテンツ提示モジュール１１４によって搭乗者に提示される一つ又は複数のコンテンツアイテムを選択する。コンテンツレンダリングモジュール１１３は例えば以下のように前記コンテンツをレンダリングして、コンテンツデータベース１４０から選ばれたコンテンツアイテムを画像処理モジュール１１０により処理された画像に加える。本出願の各種の実施形態によれば、コンテンツ提示モジュール１１４は前記コンテンツアイテムを搭乗者に提示する。以下、図２、図３及び図４を参照してコンテンツ提示装置１０８のこれらのコンポーネントの中のそれぞれをより詳しく説明する。
【００１８】
画像はビデオカメラによりリアルタイムにキャプチャされた、行っているビデオストリームの一部であってもよい。表示装置はリアルタイムに拡張現実（ＡＲ）環境と類似するまたは拡張現実（ＡＲ）環境を模擬する拡張画像ストリーム（例えば、拡張ビデオ）を表示することができる。強化現実（ＡＲ）は物理的な現実世界環境に対して即時で直接又は間接に表示し、前記環境の要素はコンピュータにより生成された感覚入力（例えば音声、ビデオ、図形又はＧＰＳデータ）で加えられる（又は補充される）。これは媒介現実と呼ばれるより一般的な概念に関し、コンピュータによって現実ビューを修正（ひいては拡張ばかりか減少される可能性がある）する。したがって、前記技術は個人が現在に現実に対する感知を強化することによって役割を果たす。これに比べて、仮想現実は仮想世界で現実世界を取り替える。拡張は一般的にリアルタイムで且つ環境要素を有するセマンティックコンテキストにあるもの、例えば試合中にＴＶに表示されるスポーツのスコアである。先進なＡＲ技術（例えば、コンピュータビジョンと対象認識を追加する）によって、ユーザ周囲の現実世界の情報がインタラクティブで且つデジタル操作可能になる。環境及びその対象に関する情報が現実世界に覆われる。このような情報は仮想的又は現実的であってよく、例えばその他の感知又は測定された現実情報を見て、例えば、それらは空間における実際の位置に正確に位置合わせするように覆われる電磁無線電波である。
【００１９】
一つ又は複数の自律走行車はネットワーク１０４を介してサーバ１０２に接続される。ネットワーク１０４はいずれかのタイプの移動ネットワーク又は無線ネットワーク、例えば、無線ローカルエリアネットワーク（ＷＬＡＮ）、インターネット、衛星訪問ネットワーク、いずれかのセルラー訪問ネットワーク（例えば様々な２Ｇ、３Ｇ及び４Ｇセルラーネットワーク）等の広域ネットワーク（ＷＡＮ）、又はそのいずれかの組み合わせであってもよい。
【００２０】
サーバ１０２は、コンテンツアイテムを記憶するためのコンテンツ記憶装置１２０と、異なるユーザのユーザプロファイルを記憶するためのユーザプロファイル記憶装置１２２と、を備える。それぞれサーバ１０２のコンテンツ記憶装置１２０とユーザプロファイル記憶装置からコンテンツデータベース１４０と自律走行車に乗るユーザのユーザプロファイル１３２をアップロードすることができる。サーバ１０２は更にプロセッサとプロセッサにより実行されたデータと指令を記憶するためのメモリを少なくとも含むが、両方とも図１Ａで示されていない。自律走行車１０６と１０６Ｎのそれぞれは、コンテンツアイテムとユーザプロファイルを検索するように、サーバ１０２に通信する。ユーザプロファイルを最も新しく保持するように、自律走行車１０６と１０６Ｎとはサーバ１０２に更新コンテンツ（例えば、ユーザインタラクティブ）を送信することができる。例えば、収集しているユーザインタラクティブを周期的に分析して且つ関連するユーザプロファイルをコンパイルしたり更新したりするように、サーバ１０２はプロファイルコンパイラ（図示せず）を呼び出すことができる。一実施形態において、ユーザプロファイルは自律走行車１０６にローカルに記憶され又は高速にキャッシュされる。これは、自律走行車１０６は必ずしもサーバ１０２に対するネットワークアクセス権限を常に有するとは限らない可能性があるので、自律走行車１０６に対して、ユーザプロファイルをそのローカル記憶装置にロードするのは有利である。
【００２１】
コンテンツ記憶装置１２０とユーザプロファイル記憶装置１２２は様々な形式でデータを記憶及び整理することができる。データは不揮発性記憶装置（例えば、持続的記憶装置、例えばハードディスク）にある通常ファイルとして記憶されることができる。代わりに、データはサーバ１０２のメモリのみに存在でき、システム起動中にサーバ１０２により他の位置から検索して前記メモリにロードする。データも一つ又は複数のデータベースに記憶されることができ、例えばＳＱＬ（構造化照会言語）（前記ＳＱＬは特定のデータベース管理システムによりサポートされる）を使用するアプリケーションによって複雑なデータクエリーをサポートする。当業者はほとんどの場合にどのような形式を選択してコンテンツ記憶装置１２０とユーザプロファイル記憶装置１２２にデータを記憶及び整理することが分かる。
【００２２】
コンテンツ記憶装置１２０に記憶されるコンテンツアイテムの例示は情報媒体又はテキストコンテンツ、娯楽用の短いメディアクリップ、ニュースアイテム、サブスクリプションに基づくいずれかのコンテンツアイテムなどを含むが、これらに制限されない。一実施形態において、少なくともいくつかのコンテンツアイテムはインタラクティブに提示されることができ、これによって、コンテンツアイテムの視聴者は前記コンテンツアイテムに応答することを可能にする。視聴者からのこのような応答は、例えば、完全にコンテンツアイテムの視聴を完成する応答、前記コンテンツアイテムにより提案された動作を取る応答、前記コンテンツアイテムをそれに転送するように電話番号又は電子メールアドレスを提供する応答、視聴者が将来にその他の類似するコンテンツアイテムを受信することにどれくらい興味あるかを指示する評価を提供する応答、及びいかなる理由で前記コンテンツアイテムを削除する応答などを含む。
【００２３】
ユーザプロファイルに含まれた情報は、ユーザの、過去のユーザが受信したいコンテンツアイテムに関する行動モード及び／又は好み、搭乗者の統計情報などを含むことができるが、これらに制限されない。ユーザがインタラクティブした履歴（例えば、履歴ログ）は続いてコンテンツ選択に用いられることができ、ユーザのインタラクティブ履歴はデータ収集システム（図面せず）により収集されることができる。
【００２４】
説明のみを目的として図１Ａに示したような配置を記述することを、注意すべきである。その他の実現方式が存在してもよい。他の実施形態によれば、ある操作は自律走行車１０６ではなく、サーバ１０２に実行されてもよい。例えば、画像処理モジュール１１０及び／又はコンテンツ選択エンジン１１２はサーバ１０２に保存されてもよい。自律走行車１０６は、その中で処理及び認識を行うように、簡単にキャプチャされた画像をサーバ１０２に伝送してもよい。サーバ１０２にコンテンツアイテムリストを認識してもよい。選択されたコンテンツアイテムは、加えられるように、自律走行車１０６に返送されてもよい。代わりに、コンテンツレンダリングモジュール１１３もサーバ１０２に保存されてもよく、選択されたコンテンツアイテムを画像に加えて且つ拡張画像を自律走行車１０６に返送して提示することに供する。その他の配置が存在してもよい。
【００２５】
図１Ｂは本出願の一実施形態に係る自律走行車用のコンテンツをレンダリングする処理フローを示す図である。過程１８０は図１Ａの自律走行車１０６により実行されることができる。図１Ｂを参照して、自律走行車のセンサーシステム１３０（例えば、一つ又は複数のビデオカメラ）は物理対象１８２の画像１８４をキャプチャする。物理対象１８２は沿道の建物、標識（例えば、対象の普及、説明）であってもよい。ビデオカメラは通常の車両の通常の窓が所在する位置に取り付けられることができる。したがって、画像１８４はユーザの角度から窓を通して車両外部を見るビュー（このような配置は拡張仮想現実環境とも呼ばれる）を表示することができる。自律走行車において、窓が存在しない可能性がある。逆に、「窓」は表示装置（即ち車窓状に成型したフラット又は曲がった画面表示装置）により表示又は代替されることができる。表示装置は一つ又は複数の適切なビデオカメラによってリアルタイムで動的にキャプチャされた画像又は画像ストリーム（例えば、ビデオ）を表示し、ユーザが透明な窓を通して実際の物理コンテンツを見る又は視聴することと同様である。各「窓」（例えば、表示装置）に対して、相応な表示チャンネルが存在してリアルタイムに表示しようとするコンテンツをストリーム送信し、前記コンテンツはコンテンツ提示装置１０８を少なくとも備える拡張現実システムにより集中的に処理されることができる。
【００２６】
再び図１Ｂを参照して、画像１８４は画像処理モジュール１１０により処理され、一つ又は複数のキーワード又は興味のあるポイント（ＰＯＩ）１９２を導出するように、画像処理モジュール１１０は画像１８４に対して画像認識を実行する。例えば、導出されたキーワードはキャプチャされた画像（例えば、キーワード付きの標識又はキーワード付きの標識を有する建物）に含まれることができる。代わりに、キーワードは画像１８４のコンテンツに基づいて導出されてもよい（例えば、セマンティクスで画像のコンテンツに関連する）。画像処理モジュール１１０は画像により表示されたコンテンツの種類を確定するように、画像のコンテンツを分析する。
【００２７】
キーワード１９２に基づいて、コンテンツアイテムリストを認識するように、コンテンツ選択モジュール又はエンジン１１２はコンテンツデータベース１４０において捜索する。ランキングアルゴリズムに基づいてコンテンツアイテムをランキングすることができる。ユーザのユーザプロファイル（例えば、ユーザの前のインタラクティブ履歴）及びその他の情報（例えば、位置及びルート情報、リアルタイム交通情報、前記ルート沿道の興味のあるポイント）に基づいてコンテンツアイテムのランキングを確定することができる。続いて、コンテンツアイテムの候補オプションリストからコンテンツアイテム１８６を選択する。コンテンツレンダリングモジュール１１３は拡張画像１８８を生成するように、コンテンツアイテム１８６を合併するか又は画像１８４に加える。例えば、コンテンツアイテム１８６を画像１８４に重ね合わせることができる。コンテンツアイテム１８６はテキスト又は他の画像であってもよい。続いてコンテンツ提示モジュール１１４によって表示装置１９０に拡張画像１８８を提示する。
【００２８】
図２は本出願の一実施形態に係る画像処理モジュールを示すブロック図である。図２では、画像処理モジュール２１０は画像認識モジュール２１２と画像分析モジュール２１４を備える。画像処理モジュール２１０は、車両周囲環境の画像を受信して且つ前記画像に関連する一つ又は複数のキーワードを確定するように配置される。より具体的に、画像処理モジュール２１０は車両に取り付けられるビデオカメラ２０２（センサーシステム１３０の一部として）から画像を受信して且つ前記画像から外部物理対象を認識する。画像処理モジュール２１０は続いて認識された物理対象に関連する一つ又は複数のキーワード又はＰＯＩを確定する。画像を前記画像に関連する一つ又は複数のキーワードに変換することは自動画像注釈、自動画像マーク又は言語インデックスと呼ばれる。これはコンピュータシステムによりコンピュータビジョン技術を使用して自動的にデジタル画像のためにメタデータ（例えばキーワード）を指定する過程である。コンピュータビジョン、人工知能、機械学習又はパターン認識分野における当業者は如何にこれらの技術を使用してこのような機能を実現することが分かる。
【００２９】
画像認識モジュール２１２は、自律走行車の一つ又は複数のビデオカメラから画像を受信して且つ前記画像から物理対象を認識するように配置される。例えば、画像における物理対象は映画館、ショッピングセンター又は販売情報を有する高速道路看板であってもよい。一実施形態において、画像認識モジュール２１２は自律走行車がルートに沿って運転する際に連続的に操作する。
【００３０】
画像分析モジュール２１４は、物理対象に関連する一つ又は複数のキーワードを確定するように、物理対象を分析するように配置される。画像処理モジュール２１０は続いて前記キーワードをコンテンツ選択エンジン１１２に提供してこれらのキーワードに基づいてコンテンツアイテムを選択するようにする。画像は１つ以上の認識された物理対象を含む際に、画像分析モジュール２１４は、各物理対象を単独に分析してそれらに関連するキーワードを確定することができる。
【００３１】
図３は本出願の一実施形態に係るコンテンツ選択エンジンを示すブロック図である。コンテンツ選択エンジン３１２はコンテンツマッピングモジュール３０２、コンテンツ検索モジュール３０４及びコンテンツアイテムランキングモジュール３０６を備える。コンテンツ選択エンジン３１２は複数の要素（例えば以下でより詳しく検討するようなもの）に基づいて画像処理モジュール１１０が提供したキーワードに関連するコンテンツアイテムを選択し、車両の搭乗者に提示するようにする。
【００３２】
コンテンツマッピングモジュール３０２は画像処理モジュール１１０が提供したキーワードに関連する一つ又は複数のコンテンツアイテムをマッチングする。例えば、コンテンツマッピングモジュール３０２はインデックスの検索を実行することができる。前記インデックスは数多くのマッピングエントリーを含み、各マッピングエントリーはキーワードを一つ又は複数の画像を認識する一つ又は複数の画像識別子（ＩＤ）にマッピングする。前記インデックスは先に例えばサーバ１０２にコンパイルされて自律走行車にダウンロードされるものであってもよい。一実施形態において、各候補コンテンツアイテムは前記コンテンツアイテムのある面を特徴付ける一つ又は複数のキーワードに関連する。各コンテンツアイテムに用いられるこのような情報は捜索インデックスとして記憶され、インデックスキーはキーワードであって、インデックスに組み込まれたアイテムはコンテンツアイテムである。コンテンツマッピングモジュール３０２はコンテンツ検索モジュール３０４にマッチングされたコンテンツアイテムの標識情報を提供することができる。
【００３３】
コンテンツ検索モジュール３０４はマッチングされたコンテンツアイテムの標識情報を使用してネットワーク１０４によってサーバ１０２からそれらのコンテンツアイテムを検索する。一実施形態において、コンテンツ提示装置１０８はすべての候補コンテンツアイテムのローカルコピーを記憶することを選択することができる。他の実施形態において、コンテンツ提示装置１０８はマッチングされたコンテンツアイテムを検索すると同時に、特に自律走行車１０６は無料ＷＩ−ＦＩネットワークに接続してネットワーク１０４に接続する際にマッチングしないが、類似するコンテンツアイテムを検索する。各候補コンテンツアイテムはコンテンツアイテムに関するいくつかの基本情報（例えば、マッチングされたキーワード「映画館」である場合に、新しい映画コンテンツアイテム（例えば、トレーラー）に関する伝記情報）を提供するメタデータに関連する。
【００３４】
一実施形態において、コンテンツアイテムランキングモジュール３０６はそれぞれの検索されたコンテンツアイテムのメタデータ及び搭乗者の過去の行動パターン及び／又は好みに基づいて検索されたコンテンツアイテムをランキングする。そのためには、コンテンツアイテムランキングモジュール３０６は更にサーバ１０２から搭乗者のユーザプロファイルを検索して、前記ユーザプロファイルは搭乗者の過去の行動パターン及び／又は好み情報（例えば、前記ユーザ又はその他のユーザに類似する以前のインタラクティブ履歴）を含む。代わりに、搭乗者は彼又は彼女自身のユーザプロファイルを自律走行車１０６に記憶することができる。なお又は代わりに、検索されたコンテンツアイテムのランキングは更に一つ又は複数の他の個人の過去の行動パターン及び／又は好みに基づいて行うことができる。一実施形態において、検索されたコンテンツアイテムのランキングは搭乗者及び／又は一つ又は複数の他の個人の人口統計情報に基づいて行うことができる。一般的に、ユーザ又は搭乗者がユーザ情報とルート情報（例えば、開始位置と目的地）を入力する際に、例えば中央サーバ１０２又はローカル記憶装置からユーザのユーザプロファイルを取得することができる。一実施形態において、検索されたコンテンツアイテムのランキングは車両コンテキスト情報に基づいて行うことができる。前記車両コンテキスト情報は現在時間、車両位置、ルート、現在交通及び車両状態を含むが、これらに制限されない。
【００３５】
ランキングスコアの計算はコンテンツに基づく方式、協力に基づく方式又は混合方式であってもよい。コンテンツに基づくランキング方法はコンテンツアイテムの叙述とユーザ好みのプロファイルに基づく。コンテンツに基づくランキングにおいて、このユーザが好きなアイテムタイプを指示するように、キーワードを使用してコンテンツアイテムを叙述して且つユーザプロファイルを確立する。言い換えると、これらのアルゴリズムはユーザが過去に好きなアイテムに類似するアイテムに有利であるランキングを実行することを試す。協力ランキングは複数のユーザの間の協力に関し、且つ一般的に、１)現在のユーザ（例えば、選択されたコンテンツアイテムを見ようとする搭乗者）と同じ評価パターンを有するユーザを探すステップと、２)ステップ１)で探したそれらの同好の士のランキングスコアを使用して現在ユーザ用の予測スコアを計算するステップと、含む。混合方式は、コンテンツに基づくランキングと協力に基づくランキングを結合して且ついくつかの場合により有効である可能性がある。
【００３６】
図４は本出願の一実施形態に係るコンテンツ提示モジュールを示すブロック図である。図４において、コンテンツ提示モジュール４１６は搭乗者にコンテンツアイテムを表示するための表示装置４１４を備える。一実施形態において、表示装置４１４はコンテンツアイテムをテキスト、画像又はビデオコンテンツに表示するように操作されることができる。表示装置４１４は提示されたコンテンツアイテムに車両搭乗者が応答するための一つ又は複数の入力装置４２０を備える。なお又は代わりに、コンテンツ提示モジュール４１６は表示装置４１４の一部ではない一つ又は複数の入力装置４２２を備えてよい。
【００３７】
入力装置によって、表示装置４１４は搭乗者にインタラクティブコンテンツアイテムの配信をサポートする。このような提示はインタラクティブであり、原因は、例えば、前記コンテンツアイテムは１つ以上の階段を含んでよく、次の階段においてどれを表示するかは搭乗者が入力装置４２０又は４２２を使用して行った応答次第である。搭乗者の応答は、前記コンテンツアイテムの視聴を完成する応答、前記コンテンツアイテムにより提案された動作を取る応答、前記コンテンツアイテムにより提供されたオプションから前記コンテンツアイテムを選択する応答、又は直ちに前記コンテンツアイテムを削除する応答を含むが、これらに制限されない。一般的に、前記応答は搭乗者が前記コンテンツアイテムを見る興味があるか否か及び／又は前記コンテンツアイテムを見ることにどれくらい興味あるかを指示することができ、且つそれから搭乗者はその他の類似するコンテンツアイテムの応答を予測することができる。一実施形態において、前記搭乗者用のユーザプロファイルを確立したり従来のユーザプロファイルを改善したりするように、搭乗者のそれぞれの応答を記録する。サーバ１０２は前記応答を合併して且つ対応的にユーザプロファイルを更新するように、コンテンツ提示装置１０８は定期的にサーバ１０２に応答情報を送信するように配置される。
【００３８】
一実施形態において、表示装置は搭乗者に対して透明であるので、搭乗者にとして、物理対象が表示装置を通して見える。表示装置に表示されたコンテンツアイテムの位置は搭乗者の角度から見る物理対象が表示装置での投影に近接する。したがって、搭乗者は座る際にわずかに移動すると、表示装置に表示されたコンテンツアイテムも搭乗者が物理対象を見ることに伴って移動する。
【００３９】
一実施形態において、表示装置４１４は、車両のフロントガラス、一つ又は複数の車窓、車両のムーンルーフ又はそれらのいずれかの組み合わせの部材の中の一部又はそれらの中に嵌め込まれるものである。以上のように、自律走行車において、物理の窓が存在しない可能性がある。逆に、「窓」は表示装置（即ち窓形状に成型したフラット又は曲がった画面表示装置）により表示されたり代替されたりすることができる。表示装置は一つ又は複数の適切なビデオカメラによってリアルタイムで動的にキャプチャされた画像又は画像ストリーム（例えば、ビデオ）を表示し、ユーザは透明な窓を介して実際の物理コンテンツを見る又は視聴することと同様である。各「窓」（例えば、表示装置）に対して、相応な表示チャンネルが存在してリアルタイムに表示しようとするコンテンツをストリーム送信し、前記コンテンツはコンテンツ提示装置１０８を少なくとも備える拡張現実システムにより集中的に処理されることができる。
【００４０】
一実施形態において、表示装置４１４はヘッドアップディスプレイであり、前記ヘッドアップディスプレイはコンテンツアイテムを提示して搭乗者（特に従来の車両における運転者）が眼光を通常の見る点から移る必要がない透明なディスプレイである。ヘッドアップディスプレイは更に、視聴者の目が光学的に近い計器を見た後に改めてフォーカスして外部を見る必要がない利点を有す。
【００４１】
図５は本出願の一実施形態に係るコンテンツアイテムを選択し且つ提示する過程を示すフローチャートである。過程５００は処理ロジックにより実行されることができ、前記処理ロジックはハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的なコンピュータ可読媒体に含まれる）又はその組み合わせを含む。例えば、過程５００はコンテンツ提示装置１０８により実行されることができる。
【００４２】
図５を参照して、ブロック５０２でにおいて、処理ロジックは車両の周囲環境の画像を受信して且つ前記画像に関連する一つ又は複数のキーワードを確定する。前記画像は車両のビデオカメラによりキャプチャされることができる。処理ロジックは前記画像における物理対象を認識して且つ前記物理対象に関連する一つ又は複数のキーワードを確定する。
【００４３】
ブロック５０４において、処理ロジックは前記キーワードに基づいてコンテンツデータベースからコンテンツアイテム候補オプションリストを認識する。各候補コンテンツアイテムは一つ又は複数のキーワードに関連し、且つマッチングはインデックスを捜索することによって行われ、インデックスキーはキーワードであっり、インデックスに組み込まれるアイテムはコンテンツアイテムである。ブロック５０６において、処理ロジックは各候補コンテンツアイテムのメタデータ及び搭乗者の過去の行動パターン及び／又は好みに基づいて検索されたコンテンツアイテムをランキングする。搭乗者の過去の行動パターン及び／又は好みはサーバにおける搭乗者のユーザプロファイルをアクセスすることによって得られる。
【００４４】
ブロック５０８において、拡張画像を生成するように、処理ロジックは例えばコンテンツアイテムを画像に加えることによって画像とコンテンツアイテムを合併する。ブロック５１０において、処理ロジックは搭乗者に前記コンテンツアイテムを提示して、前記コンテンツアイテムは物理対象のビューに対する位置に物理対象に対する搭乗者のビューを拡張する。処理ロジックは表示装置に前記コンテンツアイテムを表示して、前記表示装置は搭乗者に対して透明である。一実施形態において、前記透明な表示装置はヘッドアップディスプレイである。
【００４５】
図６は本出願の他の実施形態に係るコンテンツアイテムを選択及び提示する過程を示すフローチャートである。過程６００は処理ロジックにより実行されることができ、前記処理ロジックはハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的なコンピュータ可読媒体に含まれる）又はその組み合わせを含む。例えば、過程６００はコンテンツ提示装置１０８により実行されることができる。
【００４６】
図６を参照して、ブロック６０２において、処理ロジックは車両周囲環境の画像を受信して前記画像に関連する一つ又は複数のキーワードを確定する。前記画像は車両のビデオカメラによりキャプチャされることができる。処理ロジックは前記画像における物理対象を認識して且つ前記物理対象に関連する一つ又は複数のキーワードを確定する。ブロック６０４において、処理ロジックは各候補コンテンツアイテムのメタデータ、搭乗者の過去の行動パターン及び／又は好み、及び一つ又は複数のその他の個人の過去の行動パターン及び／又は好みに基づいて前記キーワードに関連するコンテンツアイテムを選択する。搭乗者と一つ又は複数のその他の個人の過去の行動パターン及び／又は好みはサーバにおけるそれらのユーザプロファイルをアクセスすることによって得られることができる。
【００４７】
続いて、ブロック６０６において、処理ロジックはインタラクティブ表示装置に搭乗者に前記コンテンツアイテムを表示する。インタラクティブ表示装置は搭乗者がコンテンツアイテムへの応答を受信でき、前記応答はコンテンツアイテムに対する搭乗者の興味を指示することができる。ブロック６０８において、処理ロジックは搭乗者からの前記コンテンツアイテムへの応答を受信する。一実施形態において、このような応答は、前記コンテンツアイテムの視聴を完成する応答、前記コンテンツアイテムにより提案された動作を取る応答、前記コンテンツアイテムにより提供されたオプションから前記コンテンツアイテムを選択する応答、又は前記コンテンツアイテムを直ちに削除する応答を含むが、これらに制限されない。続いて、ブロック６１０において、搭乗者の応答を合併するように、処理ロジックは搭乗者の応答を記録して且つ搭乗者のユーザプロファイルを更新する。これらの更新は前記搭乗者用のユーザプロファイルの確立又は従来のユーザプロファイルの改善に対して有用である。
【００４８】
上記自律走行車は、車両走行環境に関連する情報を検出するための１つまたは複数のセンサを含むセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、検出された情報を用いてナビゲーションして前記環境を通過できる。前記センサシステムは、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。
【００４９】
ＧＰＳシステムは、自律走行車の地理的位置を推定できる。ＧＰＳシステムは、送受信機を備えてもよく、前記送受信機は、自律走行車の位置に関連する情報を提供するように動作できる。ＩＭＵユニットは、慣性加速度に基づいて自律走行車の位置および方位変化を感知できる。レーダーユニットは、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、感知対象以外に、レーダーユニットはさらに対象の速度および/または前進方向を感知できる。ＬＩＤＡＲユニットは、レーザで自律走行車が位置する環境における対象を感知してもよい。他のシステムの構成要素以外に、ＬＩＤＡＲユニットはさらに１つまたは複数のレーザ光源、レーザスキャナーおよび１つまたは複数の検出器を備えてもよい。カメラは、自律走行車の周辺環境の画像をキャプチャするための１つまたは複数の装置を備えてもよい。カメラはスチルカメラまたはビデオカメラであってもよい。カメラは、カメラが取り付けられたプラットフォームを回転および/または傾斜させるように機械的に移動してもよい。マイクロホンは、自律走行車の周辺環境から音声をキャプチャするように構成されてもよい。
【００５０】
自律走行車は、自律走行車環境における対象および/または特徴を識別するように１つまたは複数のカメラによりキャプチャされた画像を処理して分析するためのコンピュータビジョンシステムをさらに備えてもよい。前記対象は、交通信号、車道境界、他の車両、通行人および/または障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡および他のコンピュータビジョン技術を用いてもよい。いくつかの実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象追跡、対象速度の推定等を行うことができる。
【００５１】
自律走行車は、自律走行車の走行経路を決定するためのナビゲーションシステムをさらに備えてもよい。例えば、ナビゲーションシステムは、自律走行車が大体最終目的地に到着する車道経路に沿って前進するとともに、感知した障害物を基本的に回避するように一連の速度および所定の前進方向を決定してもよい。目的地はユーザインタフェースによるユーザ入力に基づいて設定されてもよい。ナビゲーションシステムは自律走行車が走行していると同時に走行経路を動的に更新してもよい。ナビゲーションシステムは、ＧＰＳシステムおよび１つまたは複数の地図からのデータを合併して自律走行車用の走行経路を決定する。
【００５２】
自律走行車は、自律走行車環境における潜在的障害物を識別し、評価し且つ回避して、または他の方式で迂回するための衝突防止システムをさらに備えてもよい。例えば、衝突防止システムは、制御システムにおける１つまたは複数のサブシステムが旋回動作、方向転換動作、ブレーキ動作等を行うように操作することによって自律走行車のナビゲーション中の変更を実現してもよい。衝突防止システムは、周囲の交通モード、道路状況等に基づいて実現可能な障害物回避動作を自動的に決定してもよい。衝突防止システムは、他のセンサシステムにより自律走行車が旋回して入る隣接領域に位置する車両、建築障害物等を検出した場合に旋回動作を行わないように構成されてもよい。衝突防止システムは、利用可能で自律走行車の搭乗者の安全性を最大化する動作を自動的に選択してもよい。衝突防止装置は、自律走行車の車室に最小の加速度をもたらすように、予測した回避動作を選択してもよい。
【００５３】
自律走行車は、その周辺環境内に位置する外部システム（例えば装置、センサ、他の車両等）および/またはコントローラ、サーバ等との通信を可能にする無線通信システムをさらに備えてもよく、前記外部システムおよび/またはコントローラ、サーバ等は、車両の周辺環境に関連する有用な情報、例えば交通情報、天気情報等を提供できる。例えば、無線通信システムは、直接的にまたは通信ネットワークによって１つまたは複数の装置と無線で通信できる。無線通信システムは、任意のセルラ通信ネットワークまたは無線ＬＡＮ（ＷＬＡＮ）、例えばＷｉＦｉを用いてもよい。無線通信システムは、例えば赤外リンク、ブルートゥース等を用いて装置と直接的に通信できる。
【００５４】
なお、上記の構成要素（例えば、画像処理モジュール１１０、コンテンツ選択エンジン１１２、コンテンツ提示モジュール１１４等）の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組合せにより実現できる。例えば、このような構成要素は、永久記憶装置にインストールされ且つ記憶されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ（図示せず）でメモリにおいてロードされ且つ実行されることにより、本出願の全体にわたって説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハードウェア（例えば集積回路（例えば、専用集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってアプリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が１つまたは複数の特定命令によってアクセスされる命令セットの一部となる。
【００５５】
図７は、本出願の一実施形態と組み合わせて使用される車載コンテンツ提示用システムを例示的に示すブロック図である。例えば、システム７００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム（例えば、図１Aのコンテンツ提示装置１０８またはサーバ１０２）を示してもよい。システム７００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
【００５６】
さらに、システム７００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム７００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
【００５７】
一実施形態において、システム７００は、バスまたは相互接続部材７１０によって接続されたプロセッサ７０１、メモリ７０３および装置７０５〜７０８を備える。プロセッサ７０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ７０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ７０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ７０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
【００５８】
プロセッサ７０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ７０１は、命令を実行することにより本明細書に説明される操作およびステップを実行するための命令を実行ように構成される。また、システム７００は、選択可能なグラフィックサブシステム（表示コントローラおよび／または表示装置）７０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム（表示コントローラおよび／または表示装置）７０４は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
【００５９】
プロセッサ７０１は、メモリ７０３と通信してもよく、メモリ７０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ７０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ７０３は、プロセッサ７０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ７０３にロードされてもよく、プロセッサ７０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃ  ＯＳ(R)/ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ(R)、Ｕｎｉｘ(R)または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。
【００６０】
システム７００は、Ｉ/Ｏ装置、例えば装置７０５〜７０８をさらに備えてもよく、ネットワークインターフェース装置７０５、選択可能な入力装置７０６および他の選択可能なＩ/Ｏ装置７０７を備える。ネットワークインターフェース装置７０５は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネットカードであってもよい。
【００６１】
入力装置７０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置７０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置７０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
【００６２】
Ｉ/Ｏ装置７０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のＩ/Ｏ装置７０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置７０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材７１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム７００の特定配置または設計により決められる。
【００６３】
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量記憶装置（図示せず）は、プロセッサ７０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ７０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。
【００６４】
記憶装置７０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック７２８）が記憶されるコンピュータアクセス可能な記憶媒体７０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール/ユニット/ロジック７２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュールのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック７２８は、さらにデータ処理システム７００により実行される期間にメモリ７０３内および/またはプロセッサ７０１内に完全または少なくとも部分的に存在してもよく、ここで、メモリ７０３およびプロセッサ７０１も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック７２８は、さらにネットワークによってネットワークインターフェース装置７０５を経由して送受信されてもよい。
【００６５】
コンピュータ可読記憶媒体７０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体７０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。したがって、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
【００６６】
本明細書に記載のモジュール/ユニット/ロジック７２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック７２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック７２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
【００６７】
なお、システム７００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
【００６８】
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
【００６９】
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
【００７０】
本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。
【００７１】
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、または両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
【００７２】
本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現できることを理解すべきである。
【００７３】
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。したがって、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。
【図１Ａ】
0006456901.tif 000002
【図１Ｂ】
0006456901.tif 000003
【図２】
0006456901.tif 000004
【図３】
0006456901.tif 000005
【図４】
0006456901.tif 000006
【図５】
0006456901.tif 000007
【図６】
0006456901.tif 000008
【図７】
0006456901.tif 000009