(57)【要約】【課題】表示部に表示された複数のコンテンツ画像の中から送信対象のコンテンツ画像を指示する際に、直感的で分かり易いデジタルテレビジョンの操作感をユーザに提供することができる情報処理装置および情報処理方法を提供する。【解決手段】実施形態の情報処理装置は、表示制御部と、送信部と、を備える。表示制御部は、複数のコンテンツデータに基づく複数のコンテンツ画像を配置した画面を表示部に表示させる。送信部は、コンテンツ画像を少なくとも一部に含む撮影画像が入力され、撮影画像とコンテンツ画像とに基づいて送信対象のコンテンツ画像を特定し、この特定した送信対象のコンテンツ画像に対応するコンテンツデータを所定の外部機器に送信する。【選択図】図２
2015039095.tif 000002
【特許請求の範囲】
【請求項１】
複数のコンテンツデータに基づく複数のコンテンツ画像を配置した画面を表示部に表示させる表示制御部と、
前記コンテンツ画像を少なくとも一部に含む撮影画像が入力され、前記撮影画像と前記コンテンツ画像とに基づいて送信対象の前記コンテンツ画像を特定し、この特定した前記送信対象のコンテンツ画像に対応する前記コンテンツデータを所定の外部機器に送信する送信部と、
を備えた情報処理装置。
【請求項２】
前記送信部は、前記複数のコンテンツ画像のうち前記撮影画像との類似度が予め設定された値より高い前記コンテンツ画像を前記送信対象のコンテンツ画像として特定する請求項１に記載の情報処理装置。
【請求項３】
前記送信部は、前記複数のコンテンツ画像の表示履歴のうち前記撮影画像との類似度が予め設定された値より高い前記コンテンツ画像を前記送信対象のコンテンツ画像として特定する請求項２に記載の情報処理装置。
【請求項４】
前記送信部は、前記複数のコンテンツ画像のうち前記撮影画像との類似度が前記予め設定された値より高い領域を所定割合以上含む前記コンテンツ画像を、前記送信対象のコンテンツ画像として特定する請求項２または３に記載の情報処理装置。
【請求項５】
前記外部機器から、前記撮影画像を表す撮影画像データを受信する受信部を備えた請求項１から４のいずれか一に記載の情報処理装置。
【請求項６】
複数のコンテンツデータに基づく複数のコンテンツ画像を配置した画面を表示部に表示させる表示制御部と、
前記画面における前記コンテンツ画像の位置と当該コンテンツ画像に対応する前記コンテンツデータの種類とを表す入力音声に基づいて、前記複数のコンテンツ画像から送信対象の前記コンテンツ画像を特定し、この特定した前記送信対象のコンテンツ画像に対応する前記コンテンツデータを所定の外部機器に送信する送信部と、
を備えた情報処理装置。
【請求項７】
前記表示制御部は、前記コンテンツデータの種類を表す文字情報を前記表示部に表示させる請求項６に記載の情報処理装置。
【請求項８】
前記表示制御部は、前記文字情報を、当該文字情報が表す種類の前記コンテンツデータに基づく前記コンテンツ画像に重畳して前記表示部に表示させる請求項７に記載の情報処理装置。
【請求項９】
情報処理装置で実行される情報処理方法であって、
前記情報処理装置は、
表示制御部が、複数のコンテンツデータに基づく複数のコンテンツ画像を配置した画面を表示部に表示させる過程と、
送信部が、前記コンテンツ画像を少なくとも一部に含む撮影画像が入力され、前記撮影画像と前記コンテンツ画像とに基づいて送信対象の前記コンテンツ画像を特定し、この特定した前記送信対象のコンテンツ画像に対応する前記コンテンツデータを所定の外部機器に送信する過程と、
を含む情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
デジタルテレビジョンの高機能化、大画面化、高解像度化により、テレビ映像やＷｅｂサイトのホームページや写真等の複数のコンテンツデータに基づく複数のコンテンツ画像を表示部に同時に表示するデジタルテレビジョンが現れ、今後増える可能性がある。
【０００３】
また、デジタルテレビジョンがネットワークに接続されるようになったことで、デジタルテレビジョンに表示されたコンテンツ画像を、同一ネットワークに接続された他の機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータなど）に送信する機能も普及してきている。
【０００４】
具体的には、デジタルテレビジョンの表示部に表示された複数のコンテンツ画像のうち特定のコンテンツ画像を他の機器に送信する場合、ユーザは、ＧＵＩ（Graphical  User  Interface）およびリモートコントローラを用いて当該複数のコンテンツ画像の中から送信対象のコンテンツ画像を指定する必要がある。例えば、デジタルテレビジョンの表示部に表示された複数のコンテンツ画像のうちフォーカスが当たっているコンテンツ画像に何らかのマークを表示するとともに（例えば、コンテンツ画像の外枠を点滅させる等）、リモートコントローラの上下左右キーの操作に応じてフォーカスを移動させ、送信対象のコンテンツ画像にフォーカスを当てた後に、リモートコントローラの決定キーが押下された場合に、フォーカスが当てられたコンテンツ画像に対応するコンテンツデータを他の機器に送信する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１２９１７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、デジタルテレビジョンの表示部に表示された複数のコンテンツ画像のサイズがそれぞれ異なる場合、当該表示部において複数のコンテンツ画像が必ずしも格子状に配置されるとは限らない。表示部において複数のコンテンツ画像が格子状に配置されていない場合、複数のコンテンツ画像のレイアウトによっては、リモートコントローラの上下左右キーを操作した場合に、フォーカスの移動先を推測し難いため、複雑なレイアウトで表示部に配置されている複数のコンテンツ画像から、ＧＵＩおよびリモートコントローラのみを用いて送信対象のコンテンツ画像を指定するのは容易ではない、という課題がある。また、表示部に配置されたコンテンツ画像の数が増えると、コンテンツ画像が格子状に配置されていたとしても、リモートコントローラを利用して多数のコンテンツ画像の中から送信対象のコンテンツ画像を選択するのは容易ではない、という課題がある。
【０００７】
本発明は、上記に鑑みてなされたものであって、表示部に表示された複数のコンテンツ画像の中から送信対象のコンテンツ画像を指示する際に、直感的で分かり易いデジタルテレビジョンの操作感をユーザに提供することができる情報処理装置および情報処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態の情報処理装置は、表示制御部と、送信部と、を備える。表示制御部は、複数のコンテンツデータに基づく複数のコンテンツ画像を配置した画面を表示部に表示させる。送信部は、コンテンツ画像を少なくとも一部に含む撮影画像が入力され、撮影画像とコンテンツ画像とに基づいて送信対象のコンテンツ画像を特定し、この特定した送信対象のコンテンツ画像に対応するコンテンツデータを所定の外部機器に送信する。
【図面の簡単な説明】
【０００９】
【図１】図１は、第１の実施形態にかかる情報処理システムの構成を示す図である。
【図２】図２は、第１の実施形態にかかる情報処理システムが有するデジタルテレビジョンおよびモバイル端末の構成を示すブロック図である。
【図３】図３は、第１の実施形態にかかる情報処理システムにおけるコンテンツデータの送信処理の流れを示すシーケンス図である。
【図４】図４は、第１の実施形態にかかるデジタルテレビジョンにおいて送信対象のコンテンツ画像を特定する他の方法を説明するための図である。
【図５】図５は、第１の実施形態にかかるデジタルテレビジョンにおいて送信対象のコンテンツ画像を特定する他の方法を説明するための図である。
【図６】図６は、第１の実施形態にかかる情報処理システムのモバイル端末におけるコンテンツ画像の表示例を示す図である。
【図７】図７は、第１の実施形態にかかる情報処理装置のモバイル端末におけるコンテンツ画像の表示例を示す図である。
【図８】図８は、第１の実施形態にかかる情報処理システムのモバイル端末におけるコンテンツ画像の表示例を示す図である。
【図９】図９は、第２の実施形態にかかる情報処理システムの構成を示す図である。
【図１０】図１０は、第２の実施形態にかかる情報処理システムが有するデジタルテレビジョンおよびモバイル端末の構成を示すブロック図である。
【図１１】図１１は、第２の実施形態にかかる情報処理システムにおけるコンテンツデータの送信処理の流れを示すシーケンス図である。
【図１２】図１２は、第３の実施形態にかかる情報処理システムの構成を示す図である。
【図１３】図１３は、第３の実施形態にかかる情報処理システムが有するデジタルテレビジョンおよびモバイル端末の構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
（第１の実施形態）
図１は、第１の実施形態にかかる情報処理システムの構成を示す図である。本実施形態にかかる情報処理システム１は、複数のコンテンツデータに基づく複数のコンテンツ画像Ａ〜Ｐ（例えば、テレビ映像、Ｗｅｂサイト、写真など）が配置された画面Ｇを表示部１０１に表示させるデジタルテレビジョン１００と、画面Ｇに配置されたコンテンツ画像を少なくとも一部に含む撮影画像ＳＧとコンテンツ画像とに基づいて特定された送信対象のコンテンツ画像に対応するコンテンツデータをデジタルテレビジョン１００から受信して、当該受信したコンテンツデータに基づくコンテンツ画像を表示部２０６に表示させるモバイル端末２００と、を有している。ここで、デジタルテレビジョン１００は、情報処理装置の一例である。また、モバイル端末２００は、所定の外部機器の一例である。
【００１１】
次に、図１〜３を用いて、第１の実施形態にかかる情報処理システム１におけるコンテンツデータの送信処理の流れについて説明する。図２は、第１の実施形態にかかる情報処理システムが有するデジタルテレビジョンおよびモバイル端末の構成を示すブロック図である。図３は、第１の実施形態にかかる情報処理システムにおけるコンテンツデータの送信処理の流れを示すシーケンス図である。
【００１２】
本実施形態にかかるデジタルテレビジョン１００は、当該デジタルテレビジョン１００の各部を制御する制御部１０８を備えている。そして、制御部１０８は、コンテンツ表示制御部１０２、コンテンツ記憶部１０３、表示状態記憶部１０４、画像受信部１０５、コンテンツ特定部１０６およびコンテンツ送信部１０７を備えている。コンテンツ記憶部１０３は、テレビ映像、Ｗｅｂサイト、写真などの表示対象のコンテンツ画像に対応するコンテンツデータを記憶している。また、表示状態記憶部１０４は、表示部１０１に表示された画面Ｇのスクリーンショット（つまり、画面Ｇを撮影した画像。以下、モニタ画像という）と、当該モニタ画像が表示部１０１に表示された表示日時と、を対応付けて記憶する。本実施形態では、表示状態記憶部１０４は、表示部１０１に表示された画面Ｇのモニタ画像を、秒単位の表示日時と対応付けて、所定時間記憶する。ここで、所定時間とは、画像受信部１０５により撮影画像の撮影が行われてから、送信対象のコンテンツ画像が特定するまでに要する時間（例えば、数秒間）である。
【００１３】
また、本実施形態にかかるモバイル端末２００は、当該モバイル端末２００の各部を制御する制御部２０１を備えている。そして、制御部２０１は、画像入力部２０２、画像送信部２０３、コンテンツ受信部２０４およびコンテンツ表示制御部２０５を備えている。
【００１４】
まず、デジタルテレビジョン１００の制御部１０８が備えるコンテンツ表示制御部１０２は、コンテンツ記憶部１０３に記憶された複数のコンテンツデータに基づく複数のコンテンツ画像を配置した画面Ｇを表示部１０１に表示させる（ステップＳ３０１）。ここで、画面Ｇにおける複数のコンテンツ画像の位置および画面Ｇに配置するコンテンツ画像の数は、任意に設定できるものとする。本実施形態では、コンテンツ表示制御部１０２は、図１に示すように、コンテンツ記憶部１０３に記憶された複数のコンテンツデータに基づく複数のコンテンツ画像Ａ〜Ｐを格子状に配置した画面Ｇを表示部１０１に表示する。
【００１５】
また、本実施形態では、コンテンツ表示制御部１０２は、コンテンツ記憶部１０３に記憶されている表示対象のコンテンツデータに基づいてコンテンツ画像を表示させているが、これに限定するものではない。例えば、コンテンツ表示制御部１０２は、テレビ映像を表示するためのコンテンツデータを識別するコンテンツ識別情報をコンテンツ記憶部１０３に記憶させておき、アンテナを介して放送中のコンテンツデータを取得して、当該取得したコンテンツデータに基づいてテレビ映像を表示部１０１に表示させても良い。ここで、コンテンツ識別情報は、例えば、地上デジタル放送か、ＢＳ（Broadcasting  Satellite）デジタル放送か、ＣＳ（Communication  Satellite）デジタル放送かなどの放送波の種別、またはチャンネル番号などを含む。
【００１６】
また、コンテンツ表示制御部１０２は、Ｗｅｂサイトのホームページを表示するためのコンテンツデータを識別するコンテンツ識別情報（例えば、ホームページアドレスなど）をコンテンツ記憶部１０３に記憶させておき、インターネットを介してホームページを記述するためのＨＴＭＬ（Hyper  Text  Markup  Language）ファイルおよび画像データをダウンロードし、当該ダウンロードしたＨＴＭＬファイルおよび画像データに基づいてホームページを表示部１０１に表示させても良い。または、コンテンツ表示制御部１０２は、ホームページを記述するためのＨＴＭＬファイルおよび画像データをコンテンツ記憶部１０３に記憶させておき、コンテンツ記憶部１０３に記憶されたＨＴＭＬファイルおよび画像データに基づいてホームページを表示部１０１に表示させても良い。
【００１７】
モバイル端末２００の制御部２０１が備える画像入力部２０２は、所謂カメラ等を含み、デジタルテレビジョン１００の表示部１０１に表示されている画面Ｇに配置されたコンテンツ画像を少なくとも一部に含む撮影画像ＳＧを撮影する（ステップＳ３０２）。その際、モバイル端末２００のユーザは、図１に示すように、画像入力部２０２による撮影領域ＳＡに、デジタルテレビジョン１００から送信させる送信対象のコンテンツ画像が含まれるように調整する。なお、撮影画像ＳＧには、送信対象のコンテンツ画像の少なくとも一部が含まれていれば良い。ただし、撮影画像ＳＧ内における送信対象のコンテンツ画像の割合は、当該撮影画像ＳＧに複数のコンテンツ画像が含まれる場合に、いずれのコンテンツ画像が送信対象のコンテンツ画像かを特定する際の精度に影響するため、撮影画像ＳＧ内において送信対象のコンテンツ画像の割合が高くなるように調整するのが好ましい。
【００１８】
モバイル端末２００の制御部２０１が備える画像送信部２０３は、画像入力部２０２により撮影された撮影画像ＳＧを、デジタルテレビジョン１００が受付可能なフォーマットの撮影画像データに変換する（ステップＳ３０３）。本実施形態では、画像送信部２０３は、ネットワークを経由してデジタルテレビジョン１００に撮影画像データを送信する際のネットワークへの負荷を軽減するために、撮影画像データを圧縮してデジタルテレビジョン１００に送信する。ここで、デジタルテレビジョン１００が受付可能なフォーマットとは、デジタルテレビジョン１００において撮影画像データから撮影画像ＳＧを再生可能なフォーマットである。画像送信部２０３は、デジタルテレビジョン１００から、当該デジタルテレビジョン１００において受付可能なフォーマットに関するフォーマット情報を取得する。画像送信部２０３は、デジタルテレビジョン１００から送信対象のコンテンツ画像を受信する処理が行われる前に、デジタルテレビジョン１００からフォーマット情報を取得する。本実施形態では、画像送信部２０３は、モバイル端末２００に関する端末情報をデジタルテレビジョン１００に送信する。ここで、端末情報とは、コンテンツ表示制御部２０５がインターネットやアンテナに接続されてコンテンツデータを取得可能であるか否かや、コンテンツ表示制御部２０５によってモバイル端末２００の表示部２０６に表示可能なコンテンツデータのフォーマットに関する情報などを含む。
【００１９】
モバイル端末２００の制御部２０１が備える画像送信部２０３は、デジタルテレビジョン１００が受付可能なフォーマットに変換した撮影画像データをデジタルテレビジョン１００に送信する（ステップＳ３０４）。本実施形態では、画像送信部２０３は、無線ＬＡＮ（Local  Area  Network）等を利用して、デジタルテレビジョン１００とパケット通信を行うことにより、デジタルテレビジョン１００が受付可能なフォーマットに変換した撮影画像データをデジタルテレビジョン１００に送信する。本実施形態では、モバイル端末２００とデジタルテレビジョン１００とはパケット通信により撮影画像データをやりとりしているが、これに限定するものではなく、例えばバースト通信等によって撮影画像データをやりとりしても良い。ところで、画像入力部２０２により撮影した撮影画像ＳＧに含まれるコンテンツ画像の少なくとも一部がテレビ映像などの動画像である場合、画像入力部２０２により撮影した撮影画像ＳＧと、表示部１０１に現在表示されているコンテンツ画像とは異なる。よって、撮影画像ＳＧと表示部１０１に現在表示中の画面Ｇに配置されたコンテンツ画像とを比較しても、撮影画像ＳＧに含まれるコンテンツ画像が、画面Ｇに配置されたいずれのコンテンツ画像を撮影したものなのかを特定することができない。そのため、画像送信部２０３は、撮影画像ＳＧを撮影した撮影日時（本実施形態では、秒単位の撮影日時）が付加された撮影画像データをデジタルテレビジョン１００に送信する。
【００２０】
デジタルテレビジョン１００の制御部１０８が備える画像受信部１０５は、モバイル端末２００から、当該モバイル端末２００において撮影された撮影画像ＳＧを表す撮影画像データを受信する（ステップＳ３０５）。本実施形態では、画像受信部１０５は、無線ＬＡＮ等を利用して、デジタルテレビジョン１００とパケット通信を行うことにより、撮影画像データを受信する。
【００２１】
デジタルテレビジョン１００の制御部１０８が備えるコンテンツ特定部１０６は、受信した撮影画像データが入力され、当該撮影画像データをクエリにして、表示部１０１に対して、入力された撮影画像データが表す撮影画像ＳＧが撮影された撮影日時（撮影画像データに付加された撮影日時）に表示部１０１に表示された画面Ｇのモニタ画像の取得を指示する（ステップＳ３０６）。そして、コンテンツ特定部１０６は、表示部１０１から画面Ｇのモニタ画像を取得する（ステップＳ３０７）。ただし、画面Ｇに配置された複数のコンテンツ画像にテレビ映像などの動画像や時間経過に伴い表示情報（外観）が変化するＷｅｂサイト等のコンテンツ画像が含まれる場合には、コンテンツ特定部１０６は、表示状態記憶部１０４において、撮影画像データに付加された撮影日時と一致する表示日時と対応付けて記憶されたモニタ画像を取得する。
【００２２】
次に、コンテンツ特定部１０６は、入力された撮影画像データが表す撮影画像ＳＧおよび取得したモニタ画像に含まれるコンテンツ画像に基づいて、画面Ｇに配置された複数のコンテンツ画像から送信対象のコンテンツ画像を特定する部分画像検索を行う（ステップＳ３０８）。具体的には、コンテンツ特定部１０６は、画面Ｇに配置された複数のコンテンツ画像のうち撮影画像ＳＧとの類似度が予め設定された値より高いコンテンツ画像を送信対象のコンテンツ画像として特定する。本実施形態では、コンテンツ特定部１０６は、取得したモニタ画像に含まれる各コンテンツ画像について、撮影画像ＳＧとの類似度を算出し、算出した類似度が予め設定された値より高いコンテンツ画像を送信対象のコンテンツ画像として特定する。また、画面Ｇに配置された複数のコンテンツ画像に動画像や時間経過に伴い表示情報が変化するＷｅｂサイト等のコンテンツ画像が含まれる場合には、コンテンツ特定部１０６は、複数のコンテンツ画像の表示履歴（つまり、表示状態記憶部１０４から取得したモニタ画像）のうち撮影画像ＳＧとの類似度が予め設定された値より高いコンテンツ画像を送信対象のコンテンツ画像として特定する。これにより、表示部１０１に現在表示されているコンテンツ画像と撮影画像ＳＧとの違いによる部分画像検索の失敗を防止することができる。
【００２３】
ここで、部分画像検索の他の方法について説明する。表示状態記憶部１０４は、表示部１０１に表示された画面Ｇを一枚のモニタ画像Ｘとして数秒分記憶しておくものとする。そして、コンテンツ特定部１０６は、表示状態記憶部１０４から、入力された撮影画像データに付加された撮影日時に表示されたモニタ画像Ｘを取得する。次いで、コンテンツ特定部１０６は、取得したモニタ画像Ｘのどの領域が、入力された撮影画像データが表す撮影画像ＳＧと類似度が高いかをスケーラブルに検索する。例えば、モニタ画像Ｘと当該モニタ画像Ｘの一部を撮影した部分画像である撮影画像ＳＧとに基づいて送信対象のコンテンツ画像を特定する場合、コンテンツ特定部１０６は、モニタ画像Ｘのうちどの領域が撮影画像ＳＧと一致（または類似）するかを検索する。その際、コンテンツ特定部１０６は、撮影画像ＳＧがモニタ画像Ｘのある箇所を拡大または縮小した画像であっても、モニタ画像Ｘから、撮影画像ＳＧと一致（または類似）する箇所を検索可能な方法を用いる。次に、コンテンツ特定部１０６は、取得したモニタ画像において、撮影画像ＳＧとの類似度が予め設定された値より高い領域の座標を特定する。そして、コンテンツ特定部１０６は、表示部１０１に表示された画面Ｇにおける各コンテンツ画像の座標（以下、表示座標とする）を記憶しておき、特定した座標と表示座標とを照らし合わせて、撮影画像ＳＧに対応する送信対象のコンテンツ画像を特定する。
【００２４】
また、画面Ｇに配置された複数のコンテンツ画像の中に撮影画像ＳＧとの類似度が予め設定された値より高いコンテンツ画像が複数含まれる場合、コンテンツ特定部１０６は、画面Ｇに配置された複数のコンテンツ画像のうち撮影画像ＳＧとの類似度が予め設定された高い領域を所定割合以上含むコンテンツ画像を、送信対象のコンテンツ画像として特定する（ステップＳ３０９）。これにより、複数のコンテンツ画像のうち撮影画像ＳＧとの類似度が予め設定された値より高いコンテンツ画像が複数特定された場合に、撮影画像ＳＧとの類似度が予め設定された値より高い複数のコンテンツ画像の中から、ユーザが送信を希望した可能性が高いコンテンツ画像のみを送信対象のコンテンツ画像として特定できる。
【００２５】
ここで、図４および図５を用いて、モニタ画像Ｘに撮影画像ＳＧと一致する領域（または類似度が予め設定された値より高い領域）が複数含まれる場合において、コンテンツ特定部１０６が送信対象のコンテンツ画像を特定する他の方法について説明する。図４および図５は、第１の実施形態にかかるデジタルテレビジョンにおいて送信対象のコンテンツ画像を特定する他の方法を説明するための図である。例えば、図４に示すように、撮影画像ＳＧと一致（または類似）する複数のコンテンツ画像ａ，ｂがモニタ画像Ｘに含まれている場合、コンテンツ特定部１０６は、撮影画像ＳＧがコンテンツ画像ａ，ｂのうちいずれを撮影したものかを特定することができない。そこで、本実施形態では、コンテンツ表示制御部１０２は、図５に示すように、コンテンツ画像ａ，ｂに加えて、モニタ画像Ｘにおけるコンテンツ画像ａ，ｂの座標を表す電子透かしｃを含む画面Ｇを表示部１０１に表示させる。本実施形態では、コンテンツ表示制御部１０２は、モバイル端末２００において画像入力部２０２による撮影画像ＳＧの撮影が開始される際に画面Ｇに電子透かしｃを含め、撮影画像ＳＧの撮影が終了した際に画面Ｇへの電子透かしｃの表示を終了する。これにより、電子透かしｃが表示されていない状態においては画面Ｇの画質が低下することを防止できる。また、本実施形態では、コンテンツ表示制御部１０２は、画面Ｇに配置されたコンテンツ画像ａ，ｂを撮影した撮影画像ＳＧに少なくとも１つの電子透かしｃが入るように、当該電子透かしｃを画面Ｇに配置する。入力された撮影画像ＳＧに電子透かしｃが含まれている場合、コンテンツ特定部１０６は、撮影画像ＳＧに含まれる電子透かしｃを参照することにより、当該撮影画像ＳＧがコンテンツ画像ａ，ｂのいずれを撮影したものかを特定する。これにより、部分画像検索を行わなくても、送信対象のコンテンツ画像を特定することができる。また、撮影画像ＳＧと一致（または類似）する複数のコンテンツ画像ａ，ｂがモニタ画像Ｘに含まれている場合に、部分画像検索によっては撮影画像ＳＧがコンテンツ画像ａ，ｂのいずれを撮影したものかを特定できないが、電子透かしｃを参照することによりコンテンツ画像ａ，ｂのいずれを撮影したものかを特定することができる。
【００２６】
次いで、デジタルテレビジョン１００の制御部１０８が備えるコンテンツ送信部１０７は、コンテンツ記憶部１０３から、コンテンツ特定部１０６により特定された送信対象のコンテンツ画像に対応するコンテンツデータを取得する（ステップＳ３１０）。本実施形態では、コンテンツ送信部１０７は、コンテンツ記憶部１０３から送信対象のコンテンツ画像に対応するコンテンツデータを取得しているが、これに限定するものではない。例えば、コンテンツ送信部１０７は、モバイル端末２００から受信した端末情報を参照して、送信対象のコンテンツ画像に対応するコンテンツデータを識別するコンテンツ識別情報を、コンテンツデータとして取得しても良い。具体的には、モバイル端末２００から受信した端末情報が、コンテンツ表示制御部２０５がインターネットやアンテナに接続されてコンテンツデータを取得可能であることを表し、かつ送信対象のコンテンツ画像がテレビ映像やＷｅｂサイトなどインターネットやアンテナを介して取得可能なコンテンツデータに基づくものである場合、コンテンツ送信部１０７は、コンテンツ識別情報を、送信対象のコンテンツ画像に対応するコンテンツデータとして取得する。
【００２７】
ここで、コンテンツ識別情報をコンテンツデータとして送信する際にモバイル端末２００から受信した端末情報を参照する理由について説明する。本実施形態においては、図２に示すように、コンテンツ表示制御部２０５がインターネットおよびアンテナに接続されている。そのため、コンテンツ表示制御部２０５は、インターネットまたはアンテナを介して、デジタルテレビジョン１００からコンテンツデータとして送信されたコンテンツ識別情報により識別されるコンテンツデータを取得することができる。しかし、コンテンツ表示制御部２０５がインターネットおよびアンテナに接続されていない場合、デジタルテレビジョン１００から送信されたコンテンツ識別情報を利用してコンテンツデータを取得することができない。そこで、デジタルテレビジョン１００がモバイル端末２００の環境、例えばコンテンツ表示制御部２０５がインターネットおよびアンテナに接続されているか否かなどを事前に把握しておくことで、適切なコンテンツデータをモバイル端末２００に送信することができるので、モバイル端末２００においてコンテンツデータに基づくコンテンツ画像が表示できないという問題の発生を最小限に抑えることができる。また、モバイル端末２００の環境を事前に把握しておくことで、特定されたコンテンツ画像に対応するコンテンツデータを送信する前に、当該コンテンツデータに基づくコンテンツ画像をモバイル端末２００において表示できないことを報知することができる。
【００２８】
本実施形態では、デジタルテレビジョン１００は、画像受信部１０５を介してモバイル端末２００から端末情報を受信することにより、モバイル端末２００の環境を事前に把握している。具体的には、デジタルテレビジョン１００は、図３に示す一連の処理が実行される前に、画像受信部１０５によってモバイル端末２００から端末情報を受信する。
【００２９】
そして、コンテンツ送信部１０７は、例えば、モバイル端末２００のコンテンツ表示制御部２０５がインターネットに接続されていない場合、特定したコンテンツ画像をオフライン表示するためのコンテンツデータ（例えば、ＨＴＭＬファイルや画像データ等）を取得する。これにより、モバイル端末２００のコンテンツ表示制御部２０５がインターネットに接続してコンテンツデータをダウンロードすることができなくても、モバイル端末２００においてコンテンツ画像を表示することができる。
【００３０】
また、コンテンツ送信部１０７は、例えば、モバイル端末２００のコンテンツ表示制御部２０５がアンテナに接続されていない場合、放送中の番組を示すチャンネルや放送波の種類（例えば、地上デジタル放送か、ＢＳデジタル放送か、またはＣＳデジタル放送か）などのコンテンツ識別情報をモバイル端末２００に送信しても、コンテンツ表示制御部２０５は、コンテンツ識別情報により識別されるコンテンツデータを取得することができない。そこで、コンテンツ送信部１０７は、モバイル端末２００のコンテンツ表示制御部２０５がアンテナに接続されておらず、かつ特定されたコンテンツ画像がテレビ映像である場合に、モバイル端末２００において当該特定されたコンテンツ画像を表示できないことを報知（例えば、表示部１０１にダイアログを表示するなど）する。
【００３１】
デジタルテレビジョン１００の制御部１０８が備えるコンテンツ送信部１０７は、取得したコンテンツデータをモバイル端末２００において表示可能なフォーマットに変換する（ステップＳ３１１）。本実施形態では、コンテンツ送信部１０７は、モバイル端末２００から受信した端末情報（コンテンツ表示制御部２０５によって表示部２０６に表示可能なコンテンツデータのフォーマットに関する情報）を参照して、取得されたコンテンツデータのフォーマットを変換する。また、本実施形態では、コンテンツ送信部１０７は、ネットワークを経由してモバイル端末２００にコンテンツデータを送信する際のネットワークへの負荷を軽減するために、コンテンツデータを圧縮する。
【００３２】
そして、コンテンツ送信部１０７は、コンテンツ特定部１０６により特定された送信対象のコンテンツ画像に対応するコンテンツデータをモバイル端末２００に送信する（ステップＳ３１２）。本実施形態では、コンテンツ送信部１０７は、モバイル端末２００において表示可能なフォーマットに変換されたコンテンツデータを、モバイル端末２００に送信する。また、本実施形態では、コンテンツ送信部１０７は、無線ＬＡＮ等を利用して、モバイル端末２００とパケット通信を行うことにより、特定された送信対象のコンテンツ画像に対応するコンテンツデータをモバイル端末２００に送信する。また、本実施形態では、コンテンツ送信部１０７は、送信対象のコンテンツ画像に対応するコンテンツデータを、撮影画像データの送信元であるモバイル端末２００に送信しているが、デジタルテレビジョン１００に予め登録されたモバイル端末など、所定の外部機器に送信するものであれば良い。つまり、本実施形態では、コンテンツ特定部１０６およびコンテンツ送信部１０７が、送信部として機能する。さらに、本実施形態では、コンテンツ送信部１０７は、送信対象のコンテンツ画像に対応するコンテンツデータとともに、モニタ画像Ｘにおいて撮影画像ＳＧと一致（または類似）した領域の拡大率、および当該領域のモニタ画像Ｘにおける座標をモバイル端末２００に送信する。
【００３３】
モバイル端末２００の制御部２０１が備えるコンテンツ受信部２０４は、デジタルテレビジョン１００から送信されたコンテンツデータを受信する（ステップＳ３１３）。本実施形態では、コンテンツ受信部２０４は、無線ＬＡＮ等を利用して、デジタルテレビジョン１００とパケット通信を行うことにより、デジタルテレビジョン１００からコンテンツデータを受信する。また、本実施形態では、コンテンツ受信部２０４は、コンテンツデータとともに、拡大率および座標を受信する。
【００３４】
モバイル端末２００の制御部２０１が備えるコンテンツ表示制御部２０５は、コンテンツ受信部２０４により受信したコンテンツデータに基づくコンテンツ画像を表示部２０６に表示させる（ステップＳ３１４）。本実施形態では、コンテンツ表示制御部２０５は、コンテンツ受信部２０４により受信したコンテンツデータが、送信対象のコンテンツ画像に対応するコンテンツデータを識別するコンテンツ識別情報である場合、インターネットまたはアンテナを介して、当該コンテンツ識別情報により識別されるコンテンツデータを取得し、当該取得したコンテンツデータに基づくコンテンツ画像を表示部２０６に表示させる。図６は、第１の実施形態にかかる情報処理システムのモバイル端末におけるコンテンツ画像の表示例を示す図である。本実施形態では、受信したコンテンツデータに基づくコンテンツ画像を表示部２０６に表示させる際、コンテンツ表示制御部２０５は、図６に示すように、受信したコンテンツデータに基づくコンテンツ画像のうち、受信した座標により特定される領域の画像を、受信した拡大率で変倍して表示部２０６に表示させる。これにより、コンテンツ画像のうち画像入力部２０２により撮影した部分の画像を、デジタルテレビジョン１００に表示された拡大率で表示部２０６に表示させることができる。
【００３５】
例えば、図１に示すように、モバイル端末２００の画像入力部２０２によって画面Ｇに配置されたコンテンツ画像Ｂおよびコンテンツ画像Ｆを含む撮影画像ＳＧが撮像されると、画像送信部２０３は、撮影画像ＳＧを表す撮影画像データをデジタルテレビジョン１００に送信する。デジタルテレビジョン１００のコンテンツ特定部１０６は、画像受信部１０５により撮影画像データを受信すると、撮影画像データが表す撮影画像ＳＧとモニタ画像に含まれるコンテンツ画像とに基づいて、画面Ｇに配置された複数のコンテンツ画像Ａ〜Ｐから送信対象のコンテンツ画像Ｂおよびコンテンツ画像Ｆを特定する。その際、コンテンツ特定部１０６は、コンテンツ画像Ｂおよびコンテンツ画像Ｆのうち撮影画像ＳＧとの類似度が予め設定された値より高い領域を所定割合以上含むコンテンツ画像Ｂのみを送信対象のコンテンツ画像Ｂとして特定しても良い。次に、コンテンツ送信部１０７は、コンテンツ記憶部１０３から、特定したコンテンツ画像Ｂに対応するコンテンツデータを取得する。コンテンツ送信部１０７は、取得したコンテンツデータをモバイル端末２００に送信する。モバイル端末２００のコンテンツ表示制御部２０５は、コンテンツ受信部２０４により受信したコンテンツデータに基づくコンテンツ画像Ｂを表示部２０６に表示させる。
【００３６】
なお、本実施形態では、コンテンツ送信部１０７は、コンテンツ特定部１０６により特定された送信対象のコンテンツ画像に対応するコンテンツデータのみをモバイル端末２００に送信しているが、コンテンツ特定部１０６により特定した送信対象のコンテンツ画像が配置された画面Ｇ上の全てのコンテンツ画像に対応するコンテンツデータをモバイル端末２００に送信しても良い。その際、コンテンツ送信部１０７は、モバイル端末２００に送信するコンテンツデータのうち、コンテンツ特定部１０６により特定された送信対象のコンテンツ画像に対応するコンテンツデータを識別するデータ識別情報を、コンテンツデータとともにモバイル端末２００に送信するものとする。
【００３７】
図７は、第１の実施形態にかかる情報処理装置のモバイル端末におけるコンテンツ画像の表示例を示す図である。デジタルテレビジョン１００から送信対象のコンテンツ画像に対応するコンテンツ画像が配置された画面Ｇ上の全てのコンテンツ画像に対応するコンテンツデータを受信した場合、コンテンツ表示制御部２０５は、図７に示すように、当該コンテンツデータとともに受信したデータ識別情報により識別されたコンテンツデータに基づくコンテンツ画像（送信対象のコンテンツ画像）を表示部２０６に表示させる。そして、コンテンツ表示制御部２０５は、図７に示すように、モバイル端末２００に対するフリック入力等の操作に応じて、表示部２０６に表示させるコンテンツ画像を、送信対象のコンテンツ画像から、当該送信対象のコンテンツ画像が配置された画面Ｇの他のコンテンツ画像に切り替えても良い。
【００３８】
また、コンテンツ送信部１０７は、コンテンツ特定部１０６により特定した送信対象のコンテンツ画像が配置された画面Ｇ上の全てのコンテンツ画像に対応するコンテンツデータとともに、当該画面Ｇにおける各コンテンツ画像の拡大率および当該各コンテンツ画像の座標をモバイル端末２００に送信しても良い。図８は、第１の実施形態にかかる情報処理システムのモバイル端末におけるコンテンツ画像の表示例を示す図である。そして、コンテンツ表示制御部２０５は、図８に示すように、受信した拡大率および座標を参照して、受信した全てのコンテンツデータに基づくコンテンツ画像を、モニタ画像Ｘと同様のレイアウトで配置した画像８００を生成する。そして、コンテンツ表示制御部２０５は、当該生成した画像８００の表示を開始する際、図８に示すように、当該生成した画像８００のうち、撮影画像ＳＧと一致（または類似）した領域の画像８０１を表示部２０６に表示させる。その後、コンテンツ表示制御部２０５は、モバイル端末２００に対するフリック入力やピンチ動作等の操作に応じて、当該生成した画像のうち、表示部２０６に表示させる画像を切り替えることにより、デジタルテレビジョン１００と同様の画像をモバイル端末２００において閲覧可能とする。
【００３９】
このように本実施形態にかかるデジタルテレビジョン１００によれば、表示部１０１に表示された画面Ｇに配置されたコンテンツ画像を少なくとも一部に含む撮影画像ＳＧとモニタ画像に含まれるコンテンツ画像とに基づいて、画面Ｇに配置されたコンテンツ画像から送信対象のコンテンツ画像を特定し、この特定した当該送信対象のコンテンツ画像に対応するコンテンツデータをモバイル端末２００に送信することにより、所望のコンテンツ画像を撮影した撮影画像ＳＧをデジタルテレビジョン１００に入力するだけで当該所望のコンテンツ画像をモバイル端末２００に表示させることができるので、表示部１０１に表示された複数のコンテンツ画像の中から送信対象のコンテンツ画像を指示する際に、直感的に分かり易い操作感をユーザに提供することができる。
【００４０】
（第２の実施形態）
本実施形態は、表示部に表示した画面におけるコンテンツ画像の位置と当該コンテンツ画像に対応するコンテンツデータの種類とを表す入力音声に基づいて、複数のコンテンツ画像から送信対象のコンテンツ画像を特定し、特定した送信対象のコンテンツ画像に対応するコンテンツデータを所定の外部機器に送信する。以下の説明では、第１の実施形態にかかる情報処理システム１と同様の構成については説明を省略し、第１の実施形態にかかる情報処理システム１と異なる構成について説明する。
【００４１】
図９は、第２の実施形態にかかる情報処理システムの構成を示す図である。本実施形態にかかる情報処理システム４００は、複数のコンテンツデータに基づく複数のコンテンツ画像Ａ〜Ｄが配置された画面Ｇを表示部１０１に表示させる情報処理装置の一例であるデジタルテレビジョン４０１と、当該デジタルテレビジョン４０１に入力された音声（例えば、「テレビ」、「右上、写真」、「Ｗｅｂ」など）に基づいて特定されたコンテンツ画像に対応するコンテンツデータを受信して、当該受信したコンテンツデータに基づくコンテンツ画像を表示部２０６に表示させる所定の外部機器の一例であるモバイル端末４１０と、を有している。
【００４２】
次に、図９〜１１を用いて、第２の実施形態にかかる情報処理システム４００におけるコンテンツデータの送信処理の流れについて説明する。図１０は、第２の実施形態にかかる情報処理システムが有するデジタルテレビジョンおよびモバイル端末の構成を示すブロック図である。図１１は、第２の実施形態にかかる情報処理システムにおけるコンテンツデータの送信処理の流れを示すシーケンス図である。
【００４３】
本実施形態にかかるデジタルテレビジョン４０１は、当該デジタルテレビジョン４０１の各部を制御する制御部４０２を備えている。そして、制御部４０２は、コンテンツ表示制御部１０２、コンテンツ記憶部１０３、コンテンツ送信部１０７、音声受信部４０３およびコンテンツ特定部４０４を備えている。
【００４４】
また、本実施形態にかかるモバイル端末４１０は、当該モバイル端末４１０の各部を制御する制御部４１１を備えている。そして、制御部４１１は、コンテンツ受信部２０４、コンテンツ表示制御部２０５、音声入力部４１２および音声送信部４１３を備えている。
【００４５】
まず、デジタルテレビジョン４０１の制御部４０２が備えるコンテンツ表示制御部１０２は、コンテンツ記憶部１０３に記憶された複数のコンテンツデータに基づく複数のコンテンツ画像を配置した画面Ｇを表示部１０１に表示させる（ステップＳ３０１）。本実施形態では、コンテンツ表示制御部１０２は、図９に示すように、画面Ｇの左上にコンテンツ画像Ａ（テレビ映像）を配置し、画面Ｇの左下にコンテンツ画像Ｂ（写真）を配置し、画面Ｇの右上にコンテンツ画像Ｃ（Ｗｅｂサイト）を配置し、画面Ｇの右下にコンテンツ画像Ｄ（写真）を配置する。
【００４６】
モバイル端末４１０の制御部４１１が備える音声入力部４１２は、マイク等により構成され、送信対象のコンテンツ画像を指定する入力音声の入力を受け付ける（ステップＳ６０１）。ここで、入力音声は、画面Ｇに配置された送信対象のコンテンツ画像の位置と当該送信対象のコンテンツ画像に対応するコンテンツデータの種類とを表すキーワード（例えば、「左上、テレビ」、「左下、写真」、「右上、Ｗｅｂ」、「右下、写真」など）である。本実施形態では、入力音声は、画面Ｇに配置された送信対象のコンテンツ画像の位置を表すものとしているが、送信対象のコンテンツ画像に対応するコンテンツデータと同一種類のコンテンツデータに基づくコンテンツ画像が画面Ｇに他に配置されていない場合には、少なくとも送信対象のコンテンツ画像に対応するコンテンツデータの種類を表していれば良い。なお、モバイル端末２００のユーザは、モバイル端末２００の表示部２０６に表示可能なヘルプやマニュアル等の記載を利用して、送信対象のコンテンツ画像に対応するコンテンツデータの種類を表すキーワードを知ることができる。
【００４７】
モバイル端末４１０の制御部４１１が備える音声送信部４１３は、音声入力部４１２により入力を受け付けた入力音声を、デジタルテレビジョン１００が受付可能なフォーマットの入力音声データに変換する（ステップＳ６０２）。本実施形態では、音声送信部４１３は、ネットワークを経由してデジタルテレビジョン４０１に入力音声データを送信する際のネットワークへの負荷を軽減するために、入力音声データを圧縮してデジタルテレビジョン４０１に送信する。ここで、デジタルテレビジョン４０１が受付可能なフォーマットとは、デジタルテレビジョン４０１において音声認識可能な入力音声データのフォーマットである。音声送信部４１３は、デジタルテレビジョン４０１から、当該デジタルテレビジョン４０１において受付可能なフォーマットに関するフォーマット情報を取得する。音声送信部４１３は、デジタルテレビジョン４０１から送信対象のコンテンツ画像を受信する処理が行われる前に、デジタルテレビジョン４０１からフォーマット情報を取得する。本実施形態では、音声送信部４１３は、デジタルテレビジョン４０１と初めて通信を行う際にフォーマット情報を取得するとともに、モバイル端末４１０に関する端末情報をデジタルテレビジョン４０１に送信する。ここで、端末情報とは、コンテンツ表示制御部２０５がインターネットやアンテナに接続されてコンテンツデータを取得可能であるか否かや、コンテンツ表示制御部２０５によってモバイル端末４１０の表示部２０６に表示可能なコンテンツデータのフォーマットに関する情報などを含む。
【００４８】
モバイル端末４１０の制御部４１１が備える音声送信部４１３は、デジタルテレビジョン４０１が受付可能なフォーマットに変換した入力音声データをデジタルテレビジョン４０１に送信する（ステップＳ６０３）。本実施形態では、音声送信部４１３は、無線ＬＡＮ等を利用して、デジタルテレビジョン４０１とパケット通信を行うことにより、デジタルテレビジョン４０１が受付可能なフォーマットに変換した入力音声データをデジタルテレビジョン４０１に送信する。
【００４９】
デジタルテレビジョン４０１の制御部４０２が備える音声受信部４０３は、モバイル端末４１０から、入力音声データを受信する（ステップＳ６０４）。本実施形態では、音声受信部４０３は、無線ＬＡＮ等を利用して、モバイル端末４１０とパケット通信を行うことにより、入力音声データを受信する。
【００５０】
デジタルテレビジョン４０１の制御部４０２が備えるコンテンツ特定部４０４は、受信した入力音声データが表す入力音声に基づいて、表示部１０１に表示した画面Ｇに配置した複数のコンテンツ画像から送信対象のコンテンツ画像を特定する（ステップＳ６０５）。本実施形態では、コンテンツ記憶部１０３は、画面Ｇに配置したコンテンツ画像に対応するコンテンツデータと、画面Ｇにおけるコンテンツ画像の位置および当該コンテンツ画像に対応するコンテンツデータの種類を表すキーワードとを対応付けて記憶している。そして、コンテンツ特定部４０４は、受信した入力音声データが表す入力音声を音声認識してキーワードを取得し、コンテンツ記憶部１０３においてコンテンツデータと対応付けて記憶された各キーワードとのマッチング検索を行う。そして、コンテンツ特定部４０４は、マッチング検索の結果、入力音声から音声認識して取得したキーワードと一致するキーワードと対応付けて記憶されたコンテンツデータに基づくコンテンツ画像を送信対象のコンテンツ画像として特定する。
【００５１】
本実施形態では、コンテンツ特定部４０４は、音声受信部４０３により受信した入力音声データが表す入力音声を音声認識して取得したキーワードに基づいて、送信対象のコンテンツ画像を特定しているが、デジタルテレビジョン４０１が備えるマイク等の音声入力部（図示しない）から入力された入力音声を音声認識して取得したキーワードに基づいて、送信対象のコンテンツ画像を特定しても良い。
【００５２】
また、本実施形態では、デジタルテレビジョン４０１の制御部４０２が備えるコンテンツ特定部４０４において入力音声の音声認識を行っているが、モバイル端末４１０において入力音声を音声認識してキーワードを取得し、取得したキーワードをデジタルテレビジョン４０１に送信しても良い。その際、コンテンツ記憶部１０３においてコンテンツデータと対応付けて記憶されたキーワードが任意に変更可能である場合には、モバイル端末４１０において入力音声の音声認識が行われる前に、変更されたキーワードをモバイル端末４１０に送信し、当該変更されたキーワードの中から、入力音声を音声認識して取得可能なキーワードを特定する。なお、本実施形態においても、コンテンツ特定部４０４およびコンテンツ送信部１０７が、送信部として機能する。
【００５３】
例えば、図９に示すように、モバイル端末４１０のユーザが音声入力部４１２を介して画面Ｇにおけるコンテンツ画像Ａの位置および当該コンテンツ画像Ａに対応するコンテンツデータの種類を表す「左上、テレビ」を入力音声として入力すると、音声送信部４１３は、「左上、テレビ」を表す入力音声データをデジタルテレビジョン４０１に送信する。デジタルテレビジョン４０１のコンテンツ特定部４０４は、音声受信部４０３により「左上、テレビ」を表す入力音声データを受信すると、入力音声データから「左上、テレビ」を音声認識してキーワードを取得する。次に、コンテンツ特定部４０４は、コンテンツ記憶部１０３において、取得したキーワードと対応付けて記憶されたコンテンツデータに基づくコンテンツ画像Ａを、送信対象のコンテンツ画像として特定する。そして、コンテンツ特定部４０４は、コンテンツ記憶部１０３から当該特定したコンテンツ画像Ａに対応するコンテンツデータを取得する。コンテンツ送信部１０７は、取得したコンテンツデータをモバイル端末４１０に送信する。モバイル端末４１０のコンテンツ表示制御部２０５は、コンテンツ受信部２０４により受信したコンテンツデータに基づくコンテンツ画像Ａを表示部２０６に表示させる。
【００５４】
また、図９に示すように、モバイル端末４１０のユーザが音声入力部４１２を介して画面Ｇにおけるコンテンツ画像Ｂの位置および当該コンテンツ画像Ｂに対応するコンテンツデータの種類を表す「左下、写真」を入力音声として入力すると、音声送信部４１３は、「左下、写真」を表す入力音声データをデジタルテレビジョン４０１に送信する。デジタルテレビジョン４０１のコンテンツ特定部４０４は、音声受信部４０３により「左下、写真」を表す入力音声データを受信すると、入力音声データから「左下、写真」を音声認識してキーワードを取得する。次に、コンテンツ特定部４０４は、コンテンツ記憶部１０３において、取得したキーワードと対応付けて記憶されたコンテンツデータに基づくコンテンツ画像Ｂを、送信対象のコンテンツ画像として特定する。そして、コンテンツ特定部４０４は、コンテンツ記憶部１０３から当該特定したコンテンツ画像Ｂに対応するコンテンツデータを取得する。コンテンツ送信部１０７は、取得したコンテンツデータをモバイル端末４１０に送信する。モバイル端末４１０のコンテンツ表示制御部２０５は、コンテンツ受信部２０４により受信したコンテンツデータに基づくコンテンツ画像Ｂを表示部２０６に表示させる。これにより、画面Ｇに同一種類のコンテンツデータ（例えば、写真）に基づくコンテンツ画像Ｂ，Ｄが配置されていた場合でも、同一種類のコンテンツデータに基づくコンテンツ画像Ｂ，Ｄの中から送信対象のコンテンツ画像Ｂをより正確に特定することができる。
【００５５】
図９に示すように、モバイル端末４１０のユーザが音声入力部４１２を介して画面Ｇにおけるコンテンツ画像Ｃの位置および当該コンテンツ画像Ｃに対応するコンテンツデータの種類を表す「右上、Ｗｅｂ」を入力音声として入力すると、音声送信部４１３は、「右上、Ｗｅｂ」を表す入力音声データをデジタルテレビジョン４０１に送信する。デジタルテレビジョン４０１のコンテンツ特定部４０４は、音声受信部４０３により「右上、Ｗｅｂ」を表す入力音声データを受信すると、入力音声データから「右上、Ｗｅｂ」を音声認識してキーワードを取得する。次に、コンテンツ特定部４０４は、コンテンツ記憶部１０３において、取得したキーワードと対応付けて記憶されたコンテンツデータに基づくコンテンツ画像Ｃを、送信対象のコンテンツ画像として特定する。そして、コンテンツ特定部４０４は、コンテンツ記憶部１０３から当該特定したコンテンツ画像Ｃに対応するコンテンツデータを取得する。コンテンツ送信部１０７は、取得したコンテンツデータをモバイル端末４１０に送信する。モバイル端末４１０のコンテンツ表示制御部２０５は、コンテンツ受信部２０４により受信したコンテンツデータに基づくコンテンツ画像Ｃを表示部２０６に表示させる。
【００５６】
このように、第２の実施形態のデジタルテレビジョン４０１によれば、表示部１０１に表示した画面Ｇにおけるコンテンツ画像の位置と当該コンテンツ画像に対応するコンテンツデータの種類とを表す入力音声に基づいて、複数のコンテンツ画像から送信対象のコンテンツ画像を特定し、この特定した送信対象のコンテンツ画像に対応するコンテンツデータをモバイル端末４１０に送信することにより、画面Ｇにおける所望のコンテンツ画像の位置と当該コンテンツ画像に対応するコンテンツデータの種類とを表す入力音声を入力するだけで当該所望のコンテンツ画像をモバイル端末４１０に表示させることができるので、表示部１０１に表示された複数のコンテンツ画像の中から送信対象のコンテンツ画像を指示する際に、直感的に分かり易い操作感をユーザに提供することができる。
【００５７】
（第３の実施形態）
本実施形態は、コンテンツデータの種類を表す文字情報を表示部に表示させる。以下の説明では、第２の実施形態にかかる情報処理システム４００と同様の構成については説明を省略し、第２の実施形態にかかる情報処理システム４００と異なる構成について説明する。
【００５８】
図１２は、第３の実施形態にかかる情報処理システムの構成を示す図である。本実施形態にかかる情報処理システム７００は、コンテンツデータの種類を表す文字情報である補助情報の表示を指示するボタン（以下、補助情報表示ボタン）を表示部２０６に表示させるアプリケーションを有し当該補助情報表示ボタンが押下された際に補助情報の表示を指示する補助情報表示指示を送信するモバイル端末７１０と、モバイル端末７１０から補助情報表示指示を受信した際に画面Ｇが表示された通常モードから補助情報が配置された画面Ｇ１を表示された補助情報表示モードに移行するデジタルテレビジョン７０１と、を有している。
【００５９】
次に、図１２および図１３を用いて、第３の実施形態にかかる情報処理システム７００における補助情報の表示処理について説明する。図１３は、第３の実施形態にかかる情報処理システムが有するデジタルテレビジョンおよびモバイル端末の構成を示すブロック図である。
【００６０】
本実施形態にかかるデジタルテレビジョン７０１は、当該デジタルテレビジョン７０１の各部を制御する制御部７０２を備えている。そして、制御部７０２は、コンテンツ表示制御部１０２、コンテンツ記憶部１０３、コンテンツ送信部１０７、音声受信部４０３、コンテンツ特定部４０４、補助情報表示指示受信部７０３および補助情報表示制御部７０４を備えている。
【００６１】
また、本実施形態にかかるモバイル端末７１０は、当該モバイル端末７１０の各部を制御する制御部７１１を備えている。そして、制御部７１１は、コンテンツ受信部２０４、コンテンツ表示制御部２０５、音声入力部４１２、音声送信部４１３および補助情報表示指示送信部７１２を備えている。
【００６２】
補助情報表示指示送信部７１２は、モバイル端末７１０のユーザが当該モバイル端末７１０を操作して補助情報表示のための入力（本実施形態では、補助情報表示ボタンの押下）を行うと、デジタルテレビジョン７０１に対して補助情報表示指示を送信する。
【００６３】
補助情報表示指示受信部７０３は、モバイル端末７１０から送信された補助情報表示指示を受信する。
【００６４】
補助情報表示制御部７０４は、補助情報表示指示を受信した場合に、補助情報を表示部１０１に表示させる。より具体的には、補助情報表示制御部７０４は、補助情報を、当該補助情報が表す種類のコンテンツデータに基づくコンテンツ画像に重畳（オーバーレイ）して表示部１０１に表示させる。本実施形態では、補助情報表示制御部７０４は、補助情報表示指示を受信した場合、上述したように、画面Ｇが表示部１０１に表示された通常モードから、画面Ｇ１が表示部１０１に表示された補助情報表示モードへと移行させる。なお、本実施形態では、コンテンツ表示制御部１０２および補助情報表示制御部７０４が、表示制御部として機能する。
【００６５】
ここで、補助情報表示モードに移行した際に表示部１０１に表示させる画面Ｇ１について説明する。例えば、図１２に示すように、画面Ｇに４つのコンテンツ画像Ａ〜Ｄが表示されている場合、画面Ｇの明度を通常モード時の５０％程度に落とし、当該画面Ｇに配置された各コンテンツ画像Ａ〜Ｄ上に当該コンテンツ画像Ａ〜Ｄに対応するコンテンツデータの種類を表す補助情報（例えば、白文字など）を配置した画面Ｇ１を表示する。具体的には、補助情報表示制御部７０４は、コンテンツ画像Ａ上には「テレビ」を表す補助情報を配置し、コンテンツ画像Ｂ，Ｄ上には「写真」を表す補助情報を配置し、コンテンツ画像Ｃ上には「Ｗｅｂ」を表す補助情報を配置する。入力音声を入力する際、ユーザはどのような音声を入力すれば画面Ｇ上のコンテンツ画像を指定できるのかを知る必要がある。従来、ユーザは、デジタルテレビジョン７０１のヘルプやデジタルテレビジョン７０１のマニュアル等を読まなければ、入力音声を知ることができない。しかし、本実施形態によれば、ユーザは、画面Ｇ１に配置された補助情報を見て、手元のモバイル端末７１０の音声入力部４１２に対して入力音声を入力することができる。なお、ユーザは各コンテンツ画像Ａ〜Ｄに対応するコンテンツデータの種類を記憶している場合には、補助情報の表示を行わずに、「テレビ」、「Ｗｅｂ」、「写真」等を含む入力音声を入力しても良い。
【００６６】
このように、第３の実施形態にかかるデジタルテレビジョン４０１によれば、画面Ｇ１に配置された補助情報を見れば、デジタルテレビジョン７０１のヘルプやマニュアル等を読まなくても、どのような入力音声を入力すれば送信対象のコンテンツ画像を指定できるのかを知ることができるので、入力音声を入力する際のユーザの負担を軽減することができる。
【００６７】
なお、本実施形態では、デジタルテレビジョン７０１の補助情報表示指示受信部７０３および補助情報表示制御部７０４と、モバイル端末７１０の補助情報表示指示送信部７１２と、を第２の実施形態にかかる情報処理システム４００について適用した例について説明したが、デジタルテレビジョン７０１の補助情報表示指示受信部７０３および補助情報表示制御部７０４と、モバイル端末７１０の補助情報表示指示送信部７１２と、を第１の実施形態にかかる情報処理システム１に適用することも可能である。これにより、ユーザは、画面Ｇのどの部分を画像入力部２０２により撮影すればどのような種類のコンテンツデータを指定できるのかを知ることができる。
【００６８】
以上説明したとおり、第１から第３の実施形態によれば、表示部に表示された複数のコンテンツ画像の中から送信対象のコンテンツ画像を指示する際に、直感的に分かり易い操作感をユーザに提供することができる。
【００６９】
なお、本実施形態のデジタルテレビジョン１００，４０１，７０１およびモバイル端末２００，４１０，７１０で実行されるプログラムは、ＲＯＭ（Read  Only  Memory）等に予め組み込まれて提供される。
【００７０】
本実施形態のデジタルテレビジョン１００，４０１，７０１およびモバイル端末２００，４１０，７１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００７１】
さらに、本実施形態のデジタルテレビジョン１００，４０１，７０１およびモバイル端末２００，４１０，７１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態のデジタルテレビジョン１００，４０１，７０１およびモバイル端末２００，４１０，７１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００７２】
本実施形態のデジタルテレビジョン１００，４０１，７０１で実行されるプログラムは、上述した各部（コンテンツ表示制御部１０２、表示状態記憶部１０４、画像受信部１０５、コンテンツ特定部１０６，４０４、コンテンツ送信部１０７、音声受信部４０３、補助情報表示指示受信部７０３、補助情報表示制御部７０４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、コンテンツ表示制御部１０２、表示状態記憶部１０４、画像受信部１０５、コンテンツ特定部１０６，４０４、コンテンツ送信部１０７、音声受信部４０３、補助情報表示指示受信部７０３、補助情報表示制御部７０４が主記憶装置上に生成されるようになっている。
【００７３】
また、本実施形態のモバイル端末２００，４１０，７１０で実行されるプログラムは、上述した各部（画像入力部２０２、画像送信部２０３、コンテンツ受信部２０４、コンテンツ表示制御部２０５、音声入力部４１２、音声送信部４１３、補助情報表示指示送信部７１２）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、画像入力部２０２、画像送信部２０３、コンテンツ受信部２０４、コンテンツ表示制御部２０５、音声入力部４１２、音声送信部４１３、補助情報表示指示送信部７１２が主記憶装置上に生成されるようになっている。
【００７４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７５】
１００，４０１，７０１・・・デジタルテレビジョン、１０１・・・表示部、１０２・・・コンテンツ表示制御部、１０３・・・コンテンツ記憶部、１０４・・・表示状態記憶部、１０５・・・画像受信部、１０６，４０４・・・コンテンツ特定部、１０７・・・コンテンツ送信部、１０８，４０２，７０２・・・制御部、４０３・・・音声受信部、７０３・・・補助情報表示指示受信部、７０４・・・補助情報表示制御部、Ｇ・・・画面、ＳＧ・・・撮影画像。
【図１】
2015039095.tif 000003
【図２】
2015039095.tif 000004
【図３】
2015039095.tif 000005
【図４】
2015039095.tif 000006
【図５】
2015039095.tif 000007
【図６】
2015039095.tif 000008
【図７】
2015039095.tif 000009
【図８】
2015039095.tif 000010
【図９】
2015039095.tif 000011
【図１０】
2015039095.tif 000012
【図１１】
2015039095.tif 000013
【図１２】
2015039095.tif 000014
【図１３】
2015039095.tif 000015
【手続補正書】
【提出日】平成25年8月14日(2013.8.14)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明の実施形態は、電子機器、方法およびプログラムに関する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明は、上記に鑑みてなされたものであって、表示部に表示された複数のコンテンツ画像の中から送信対象のコンテンツ画像を指示する際に、直感的で分かり易いデジタルテレビジョンの操作感をユーザに提供することができる電子機器、方法およびプログラムを提供することを目的とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
実施形態の電子機器は、表示制御部と、受信部と、送信部と、を備える。表示制御部は、複数のコンテンツデータに基づく複数のコンテンツ画像を表示部上の異なる領域に表示させる。受信部は、第１外部機器が備える撮影部によって、複数のコンテンツ画像のうち第１コンテンツ画像が撮影された場合に、第１コンテンツ画像を特定するために用いられる第１情報を受信する。送信部は、第１情報を用いて特定される第１コンテンツ画像に対応するコンテンツデータを、第１外部機器に送信する。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のコンテンツデータに基づく複数のコンテンツ画像を表示部上の異なる領域に表示させる表示制御部と、
第１外部機器が備える撮影部によって、前記複数のコンテンツ画像のうち第１コンテンツ画像が撮影される場合に、前記第１コンテンツ画像を特定するために用いられる第１情報を受信する受信部と、
前記第１情報を用いて特定される前記第１コンテンツ画像に対応する前記第１コンテンツデータを、前記第１外部機器に送信する送信部と、
を備えた電子機器。
【請求項２】
前記送信部は、前記複数のコンテンツ画像のうち前記撮影部の撮影によって得られた撮影画像との類似度が予め設定された値より高い前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項１に記載の電子機器。
【請求項３】
前記送信部は、前記複数のコンテンツ画像の表示履歴のうち前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項１に記載の電子機器。
【請求項４】
前記送信部は、前記複数のコンテンツ画像のうち前記撮影画像との類似度が前記予め設定された値より高い領域を所定割合以上含む前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項２に記載の電子機器。
【請求項５】
前記受信部は、前記第１外部機器から、前記撮影画像を表す撮影画像データを受信する請求項２または４に記載の電子機器。
【請求項６】
前記受信部は、前記第１コンテンツ画像の位置と当該第１コンテンツ画像に対応する前記コンテンツデータの種類とを表す入力音声を受信し、
前記送信部は、前記入力音声を用いて特定される前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項１から５のいずれか一に記載の電子機器。
【請求項７】
前記表示制御部は、前記コンテンツデータの種類を表す文字情報を前記表示部に表示させる請求項１から６のいずれか一に記載の電子機器。
【請求項８】
前記表示制御部は、前記文字情報を、当該文字情報が表す種類の前記コンテンツデータに基づく前記コンテンツ画像に重畳して前記表示部に表示させる請求項７に記載の電子機器。
【請求項９】
電子機器で実行される方法であって、
複数のコンテンツデータに基づく複数のコンテンツ画像を表示部上の異なる領域に表示させる過程と、
第１外部機器が備える撮影部によって、前記複数のコンテンツ画像のうち第１コンテンツ画像が撮影される場合に、前記第１コンテンツ画像を特定するために用いられる第１情報を受信する過程と、
前記第１情報を用いて特定される前記第１コンテンツ画像に対応する前記コンテンツデータを、前記第１外部機器に送信する過程と、
を含む方法。
【請求項１０】
前記複数のコンテンツ画像のうち前記撮影部の撮影によって得られた撮影画像との類似度が予め設定された値より高い前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項９に記載の方法。
【請求項１１】
前記複数のコンテンツ画像の表示履歴のうち前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項９に記載の方法。
【請求項１２】
前記複数のコンテンツ画像のうち前記撮影画像との類似度が前記予め設定された値より高い領域を所定割合以上含む前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項１０に記載の方法。
【請求項１３】
前記第１外部機器から、前記撮影画像を表す撮影画像データを受信する請求項９または１２に記載の方法。
【請求項１４】
前記第１コンテンツ画像の位置と当該第１コンテンツ画像に対応する前記コンテンツデータの種類とを表す入力音声を受信し、
前記入力音声を用いて特定される前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項９から１３のいずれか一に記載の方法。
【請求項１５】
前記コンテンツデータの種類を表す文字情報を前記表示部に表示させる請求項９から１４のいずれか一に記載の方法。
【請求項１６】
前記文字情報を、当該文字情報が表す種類の前記コンテンツデータに基づく前記コンテンツ画像に重畳して前記表示部に表示させる請求項１５に記載の方法。
【請求項１７】
コンピュータを、
複数のコンテンツデータに基づく複数のコンテンツ画像を表示部上の異なる領域に表示させる表示制御部と、
第１外部機器が備える撮影部によって、前記複数のコンテンツ画像のうち第１コンテンツ画像が撮影される場合に、前記第１コンテンツ画像を特定するために用いられる第１情報を受信する受信部と、
前記第１情報を用いて特定される前記第１コンテンツ画像に対応する前記第１コンテンツデータを、前記第１外部機器に送信する送信部と、
として機能させるためのプログラム。
【請求項１８】
前記送信部は、前記複数のコンテンツ画像のうち前記撮影部の撮影によって得られた撮影画像との類似度が予め設定された値より高い前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項１７に記載のプログラム。
【請求項１９】
前記送信部は、前記複数のコンテンツ画像の表示履歴のうち前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項１７に記載のプログラム。
【請求項２０】
前記送信部は、前記複数のコンテンツ画像のうち前記撮影画像との類似度が前記予め設定された値より高い領域を所定割合以上含む前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項１８に記載のプログラム。
【請求項２１】
前記受信部は、前記第１外部機器から、前記撮影画像を表す撮影画像データを受信する請求項１８または２０に記載のプログラム。
【請求項２２】
前記受信部は、前記第１コンテンツ画像の位置と当該第１コンテンツ画像に対応する前記コンテンツデータの種類とを表す入力音声を受信し、
前記送信部は、前記入力音声を用いて特定される前記第１コンテンツ画像に対応する前記コンテンツデータを前記第１外部機器に送信する請求項１７から２１のいずれか一に記載のプログラム。
【請求項２３】
前記表示制御部は、前記コンテンツデータの種類を表す文字情報を前記表示部に表示させる請求項１７から２２のいずれか一に記載のプログラム。
【請求項２４】
前記表示制御部は、前記文字情報を、当該文字情報が表す種類の前記コンテンツデータに基づく前記コンテンツ画像に重畳して前記表示部に表示させる請求項２３に記載のプログラム。