(57)【要約】      （修正有）【課題】ユーザによって指し示されることにより隠れてしまった画像であっても、前記画像を識別する識別情報を取得することが可能になる、情報処理装置、端末装置、サーバ、画像配信システム及び情報処理プログラムを提供する。【解決手段】画像配信システム１０における端末装置１２撮影情報解析部２２は、媒体に表された複数の代表画像のいずれも指定画像としてユーザが指し示していない状態を表す第１画像を取得し、媒体に表された複数の代表画像の少なくとも１つを指定画像としてユーザが指し示している状態を表す第２画像を取得し、第１画像と、第２画像においてユーザが指し示している位置とに基づいて、ユーザが指し示している指定画像を識別する識別情報である抽象化情報を抽出する。【選択図】図１
2018055273.tif 000002
【特許請求の範囲】
【請求項１】
媒体に表された複数の画像のいずれも指定画像としてユーザが指し示していない状態を表す第１画像を取得する第１画像取得部と、
前記複数の画像の少なくとも１つを指定画像としてユーザが指し示している状態を表す第２画像を取得する第２画像取得部と、
前記第１画像と、前記第２画像においてユーザが指し示している位置とに基づいて、ユーザが指し示している指定画像を識別する識別情報を抽出する抽出部と、
を備えた情報処理装置。
【請求項２】
前記抽出部が抽出した識別情報に基づいて、前記複数の画像の各々の画像情報に対応する前記識別情報が対応付けて記憶された記憶部から指定画像の画像情報を取得する指定画像取得部をさらに備えた、
請求項１に記載の情報処理装置。
【請求項３】
前記複数の画像の各々から対応する前記識別情報を抽出して、前記記憶部に記憶させる処理を行う処理部をさらに備えた、
請求項２に記載の情報処理装置。
【請求項４】
前記指定画像取得部が取得した複数の指定画像の画像情報が、同一の動画像の異なる部分である場合、前記異なる部分を含む前記動画像の区間を特定する区間特定部をさらに備えた、
請求項２または請求項３に記載の情報処理装置。
【請求項５】
前記抽出部は、前記第１画像に含まれる前記複数の画像の各々を表す画像の輪郭の位置、及び前記第２画像に含まれる前記複数の画像の各々を表す画像の輪郭の位置を検出し、検出した輪郭の位置に基づいて、前記ユーザが指し示している位置を特定する、
請求項１から請求項４のいずれか１項に記載の情報処理装置。
【請求項６】
前記輪郭は、予め定められた縦横の比率を有する矩形状であり、
前記抽出部は、輪郭の縦横の比率が、前記予め定められた縦横の比率に対して予め定められた範囲内の値である画像の輪郭を、前記第１画像に含まれる前記複数の画像の各々を表す画像の輪郭、及び前記第２画像に含まれる前記複数の画像の各々を表す画像の輪郭として検出する、
請求項５に記載の情報処理装置。
【請求項７】
前記複数の画像の各々は外枠で囲われており、
前記抽出部は、前記外枠を検出することにより、前記第１画像に含まれる前記複数の画像の各々を表す画像の輪郭の位置、及び前記第２画像に含まれる前記複数の画像の各々を表す画像の輪郭の位置を検出する、
請求項５に記載の情報処理装置。
【請求項８】
前記ユーザが指し示している状態の画像は、予め定められた形状の画像である、
請求項１から請求項７のいずれか１項に記載の情報処理装置。
【請求項９】
前記ユーザが指し示している位置とは、前記予め定められた形状の先端の位置である、
請求項８に記載の情報処理装置。
【請求項１０】
前記抽出部は、前記ユーザが指し示している位置に表されている画像を指定画像として特定する、
請求項１から請求項９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記抽出部は、ユーザが複数の指定画像を指し示している場合、指定画像同士の位置関係に基づいて特定される、ユーザが指し示していない指定画像についても、当該指定画像を識別する識別情報を抽出する、
請求項１から請求項１０のいずれか１項に記載の情報処理装置。
【請求項１２】
前記抽出部は、前記第２画像に表される前記ユーザが指し示している状態を表す画像が、予め定められた形状を有している場合に、指定画像同士の位置関係に基づいて特定される、ユーザが指し示していない指定画像についても、当該指定画像を識別する識別情報を抽出する、
請求項１１に記載の情報処理装置。
【請求項１３】
前記抽出部は、前記ユーザが指し示している位置が前記複数の画像外の位置である場合、前記複数の画像のうち前記ユーザが指し示している位置から予め定められた範囲内に位置する画像を指定画像として前記識別情報を抽出する、
請求項１から請求項１２のいずれか１項に記載の情報処理装置。
【請求項１４】
媒体に表された複数の画像のいずれも指定画像としてユーザが指し示していない状態を表す第１画像を取得する第１画像取得部と、
前記複数の画像の少なくとも１つを指定画像としてユーザが指し示している状態を表す第２画像を取得する第２画像取得部と、
前記第１画像と、前記第２画像においてユーザが指し示している位置とに基づいて、ユーザが指し示している指定画像を識別する識別情報を抽出する抽出部と、
抽出した識別情報を送信する識別情報送信部と、
前記識別情報に基づいて取得された前記指定画像の画像情報を受信する画像情報受信部と、
を備えた端末装置。
【請求項１５】
指定画像の識別情報を受信する識別情報受信部と、
前記識別情報受信部が受信した識別情報に基づいて、複数の画像の各々に対応する前記識別情報が対応付けて記憶された記憶部から前記指定画像の画像情報を取得する取得部と、
前記取得部が取得した前記画像情報を送信する画像情報送信部と、
を備えたサーバ。
【請求項１６】
請求項１４に記載の端末装置と、
請求項１５に記載のサーバと、
を備えた画像配信システム。
【請求項１７】
コンピュータを、
媒体に表された複数の画像のいずれも指定画像としてユーザが指し示していない状態を表す第１画像を取得する第１画像取得部と、
前記複数の画像の少なくとも１つを指定画像としてユーザが指し示している状態を表す第２画像を取得する第２画像取得部と、
前記第１画像と、前記第２画像においてユーザが指し示している位置とに基づいて、ユーザが指し示している指定画像を識別する識別情報を抽出する抽出部として、機能させるための情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、端末装置、サーバ、画像配信システム、及び情報処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、受信手段により、インデックス標識を含む第１の画像を受信し、第１の比較手段により、前記第１の画像と、インデックス付き候補画像との、第１の比較を行い、前記第１の比較を行うことは、前記第１の画像の第１の表現を構築することを含み、前記第１の比較手段により、前記第１の比較に基づいて、前記インデックス付き候補画像の、第１のランク付けを行い、前記第１の比較手段により、前記第１のランク付けに基づいて、前記インデックス付き候補画像から選択を行い、第２の比較手段により、前記第１の画像と、前記選択されたインデックス付き候補画像との、第２の比較を行い、前記第２の比較を行うことは、前記第１の画像の前記第１の表現より高い分解能を有する、前記第１の画像の第２の表現を作成することを含み、前記第２の比較手段により、前記第２の比較に基づいて、前記選択されたインデックス付き候補画像の、第２のランク付けを行い、前記第２の比較手段により、前記第２のランク付けに基づいて、インデックス付き画像を識別することを含む、インデックス付き画像を識別する方法が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２３０６７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明は、ユーザによって指し示されることにより隠れてしまった画像であっても、前記画像を識別する識別情報を取得することが可能になる、情報処理装置、端末装置、サーバ、画像配信システム、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の情報処理装置は、媒体に表された複数の画像のいずれも指定画像としてユーザが指し示していない状態を表す第１画像を取得する第１画像取得部と、前記複数の画像の少なくとも１つを指定画像としてユーザが指し示している状態を表す第２画像を取得する第２画像取得部と、前記第１画像と、前記第２画像においてユーザが指し示している位置とに基づいて、ユーザが指し示している指定画像を識別する識別情報を抽出する抽出部と、を備える。
【０００６】
また、請求項２に記載の情報処理装置は、請求項１に記載の情報処理装置において、前記抽出部が抽出した識別情報に基づいて、前記複数の画像の各々の画像情報に対応する前記識別情報が対応付けて記憶された記憶部から指定画像の画像情報を取得する指定画像取得部をさらに備える。
【０００７】
また、請求項３に記載の情報処理装置は、請求項２に記載の情報処理装置において、前記複数の画像の各々から対応する前記識別情報を抽出して、前記記憶部に記憶させる処理を行う処理部をさらに備える。
【０００８】
また、請求項４に記載の情報処理装置は、請求項２または請求項３に記載の情報処理装置において、前記指定画像取得部が取得した複数の指定画像の画像情報が、同一の動画像の異なる部分である場合、前記異なる部分を含む前記動画像の区間を特定する区間特定部をさらに備える。
【０００９】
また、請求項５に記載の情報処理装置は、請求項１から請求項４のいずれか１項に記載の情報処理装置において、前記抽出部は、前記第１画像に含まれる前記複数の画像の各々を表す画像の輪郭の位置、及び前記第２画像に含まれる前記複数の画像の各々を表す画像の輪郭の位置を検出し、検出した輪郭の位置に基づいて、前記ユーザが指し示している位置を特定する。
【００１０】
また、請求項６に記載の情報処理装置は、請求項５に記載の情報処理装置において、前記輪郭は、予め定められた縦横の比率を有する矩形状であり、前記抽出部は、輪郭の縦横の比率が、前記予め定められた縦横の比率に対して予め定められた範囲内の値である画像の輪郭を、前記第１画像に含まれる前記複数の画像の各々を表す画像の輪郭、及び前記第２画像に含まれる前記複数の画像の各々を表す画像の輪郭として検出する。
【００１１】
また、請求項７に記載の情報処理装置は、請求項５に記載の情報処理装置において、前記複数の画像の各々は外枠で囲われており、前記抽出部は、前記外枠を検出することにより、前記第１画像に含まれる前記複数の画像の各々を表す画像の輪郭の位置、及び前記第２画像に含まれる前記複数の画像の各々を表す画像の輪郭の位置を検出する。
【００１２】
また、請求項８に記載の情報処理装置は、請求項１から請求項７のいずれか１項に記載の情報処理装置において、前記ユーザが指し示している状態の画像は、予め定められた形状の画像である。
【００１３】
また、請求項９に記載の情報処理装置は、請求項８に記載の情報処理装置において、前記ユーザが指し示している位置とは、前記予め定められた形状の先端の位置である。
【００１４】
また、請求項１０に記載の情報処理装置は、請求項１から請求項９のいずれか１項に記載の情報処理装置において、前記抽出部は、前記ユーザが指し示している位置に表されている画像を指定画像として特定する。
【００１５】
また、請求項１１に記載の情報処理装置は、請求項１から請求項１０のいずれか１項に記載の情報処理装置において、前記抽出部は、ユーザが複数の指定画像を指し示している場合、指定画像同士の位置関係に基づいて特定される、ユーザが指し示していない指定画像についても、当該指定画像を識別する識別情報を抽出する。
【００１６】
また、請求項１２に記載の情報処理装置は、請求項１１に記載の情報処理装置において、前記抽出部は、前記第２画像に表される前記ユーザが指し示している状態を表す画像が、予め定められた形状を有している場合に、指定画像同士の位置関係に基づいて特定される、ユーザが指し示していない指定画像についても、当該指定画像を識別する識別情報を抽出する。
【００１７】
また、請求項１３に記載の情報処理装置は、請求項１から請求項１２のいずれか１項に記載の情報処理装置において、前記抽出部は、前記ユーザが指し示している位置が前記複数の画像外の位置である場合、前記複数の画像のうち前記ユーザが指し示している位置から予め定められた範囲内に位置する画像を指定画像として前記識別情報を抽出する。
【００１８】
一方、上記目的を達成するために、請求項１４に記載の端末装置は、媒体に表された複数の画像のいずれも指定画像としてユーザが指し示していない状態を表す第１画像を取得する第１画像取得部と、前記複数の画像の少なくとも１つを指定画像としてユーザが指し示している状態を表す第２画像を取得する第２画像取得部と、前記第１画像と、前記第２画像においてユーザが指し示している位置とに基づいて、ユーザが指し示している指定画像を識別する識別情報を抽出する抽出部と、抽出した識別情報を送信する識別情報送信部と、前記識別情報に基づいて取得された前記指定画像の画像情報を受信する画像情報受信部と、を備える。
【００１９】
また、上記目的を達成するために、請求項１５に記載のサーバは、指定画像の識別情報を受信する識別情報受信部と、前記識別情報受信部が受信した識別情報に基づいて、複数の画像の各々に対応する前記識別情報が対応付けて記憶された記憶部から前記指定画像の画像情報を取得する取得部と、前記取得部が取得した前記画像情報を送信する画像情報送信部と、を備える。
【００２０】
また、上記目的を達成するために、請求項１６に記載の画像配信システムは、請求項１４に記載の端末装置と、請求項１５に記載のサーバと、を備える。
【００２１】
さらに、上記目的を達成するために、請求項１７に記載の情報処理プログラムは、コンピュータを、媒体に表された複数の画像のいずれも指定画像としてユーザが指し示していない状態を表す第１画像を取得する第１画像取得部と、前記複数の画像の少なくとも１つを指定画像としてユーザが指し示している状態を表す第２画像を取得する第２画像取得部と、前記第１画像と、前記第２画像においてユーザが指し示している位置とに基づいて、ユーザが指し示している指定画像を識別する識別情報を抽出する抽出部として、機能させるためのものである。
【発明の効果】
【００２２】
請求項１、請求項１４、請求項１５、請求項１６、及び請求項１７に記載の発明によれば、ユーザによって指し示されることにより隠れてしまった画像であっても、前記画像を識別する識別情報を取得することが可能になる。
【００２３】
請求項２に記載の発明によれば、指定画像の画像情報を利用することが可能になる。
【００２４】
請求項３に記載の発明によれば、画像情報の取得が可能な画像の追加及び変更への対応が容易になる。
【００２５】
請求項４に記載の発明によれば、特定した動画像の区間に応じた画像情報を利用することが可能となる。
【００２６】
請求項５に記載の発明によれば、輪郭の位置を検出しない場合に比べて、ユーザが指し示している位置の特定が容易になる。
【００２７】
請求項６に記載の発明によれば、輪郭の縦横の比率が予め定められていない場合に比べて、輪郭の検出が容易になる。
【００２８】
請求項７に記載の発明によれば、複数の画像の各々が外枠で囲われていない場合に比べて、輪郭の検出が容易になる。
【００２９】
請求項８に記載の発明によれば、ユーザが指し示している状態を予め定められた形状により特定することができる。
【００３０】
請求項９に記載の発明によれば、予め定められた形状の先端の位置によりユーザが指し示している位置を特定することができる。
【００３１】
請求項１０に記載の発明によれば、ユーザが指し示している位置にある画像の識別情報を抽出する。
【００３２】
請求項１１に記載の発明によれば、ユーザが指し示していない指定画像についても識別情報を抽出することができる。
【００３３】
請求項１２に記載の発明によれば、ユーザが指し示している状態を表す画像が予め定められた形状を有している場合に、ユーザが指し示していない指定画像についても識別情報を抽出することができる。
【００３４】
請求項１３に記載の発明によれば、ユーザが指し示した位置が複数の画像外であっても、指定画像の識別情報を抽出することができる。
【図面の簡単な説明】
【００３５】
【図１】第１実施形態における画像配信システムの端末装置及びサーバの機能的な構成の一例を示す機能ブロック図である。
【図２】第１実施形態における代表画像が表示された媒体の一例を示す模式図である。
【図３】第１実施形態における端末装置の電気系の要部構成の一例を示すブロック図である。
【図４】第１実施形態における対応関係情報の一例を示す模式図である。
【図５】第１実施形態における抽象化情報群の一例を示す模式図である。
【図６】第１実施形態におけるサーバの電気系の要部構成の一例を示すブロック図である。
【図７】第１実施形態の端末装置で実行される画像情報要求処理の流れの一例を示すフローチャートである。
【図８】第１実施形態における第１画像の一例を示す模式図である。
【図９】第１実施形態における第２画像の一例を示す模式図である。
【図１０】第１実施形態の画像情報要求処理で実行される撮影情報解析処理の流れの一例を示すフローチャートである。
【図１１】第１実施形態における撮影情報解析処理において第１画像から抽出する矩形を説明するための模式図である。
【図１２】第１実施形態における撮影情報解析処理において実行される画像特性の抽象化を説明するための模式図である。
【図１３】第１実施形態における撮影情報解析処理において特定される矩形の位置を説明するための模式図である。
【図１４】第１実施形態における撮影情報解析処理において第２画像から指定画像の位置を特定する方法を説明するための模式図である。
【図１５】第１実施形態における撮影情報解析処理で実行される指定画像位置特定処理の流れの一例を示すフローチャートである。
【図１６】第１実施形態のサーバで実行される画像抽象化処理の流れの一例を示すフローチャートである。
【図１７】第１実施形態のサーバで実行される画像情報配信処理の流れの一例を示すフローチャートである。
【図１８】第２実施形態における画像配信システムの端末装置及びサーバの機能的な構成の一例を示す機能ブロック図である。
【図１９】第２実施形態における対応関係情報の一例を示す模式図である。
【図２０】第２実施形態における代表画像が表示された媒体の一例を示す模式図である。
【図２１】第２実施形態における第１画像の一例を示す模式図である。
【図２２】第２実施形態における第２画像の一例を示す模式図である。
【図２３】第２実施形態の撮影情報解析処理で実行される指定画像位置特定処理の流れの一例を示すフローチャートである。
【図２４】第２実施形態のサーバで実行される画像情報配信処理の流れの一例を示すフローチャートである。
【図２５】スルー画像から第１画像及び第２画像を取得する場合の画像情報要求処理の流れの一例を示すフローチャートである。
【図２６】ユーザが指定画像に応じた画像以外を指し示していた場合について説明するための模式図である。
【図２７】代表画像に外枠を設けた場合の一例を示す模式図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００３７】
［第１実施形態］
まず、図１を参照して、本実施形態の画像配信システムについて説明する。図１に示すように、本実施形態の画像配信システム１０は、端末装置１２及びサーバ１４を備える。
【００３８】
本実施形態の画像配信システム１０は、図２に示した一例のように、複数（図２では２０個）の静止画像または動画像に予め関連付けられた代表画像１０２が媒体１００に表示されており、代表画像１０２のうちのいずれかをユーザが指し示すことにより、ユーザが指し示した代表画像１０２によって指定された画像情報をサーバ１４から端末装置１２に配信する。本実施形態の代表画像１０２が、本発明の複数の画像の一例である。以下では、ユーザが指し示す代表画像１０２を「指定画像」という。また、本実施形態において「画像情報」とは、各代表画像１０２の特定を可能とする予め定められた情報であり、代表画像１０２に関連付けられている動画像または静止画像の画像データであってもよいし、これら動画像または静止画像を取得するための情報（例えば、ＵＲＬ（Uniform Resource Locator）や画像データのファイル名等）であってもよい。
【００３９】
本実施形態では、一例として、図２に示したように、紙である媒体１００に、端末装置１２に配信が可能な画像情報を表す代表画像１０２が印刷されている場合について説明する。代表画像１０２は、例えば、画像情報が静止画像に関連する場合、当該静止画像のサムネイル画像であってもよい。また例えば、画像情報が動画像に関連する場合、ユーザが当該動画像の内容等を認識することが可能な画像であればよく、当該動画像の一部を表すサムネイル画像であってもよい。なお、画像情報が動画像に関連する場合、１つの動画像に対して、動画像の各シーン等に応じた複数の代表画像１０２が媒体１００に表示（印刷）されていてもよい。この場合、複数の代表画像１０２毎に、動画像の対応するシーンが関連付けられていてもよいし、複数の代表画像１０２の各々に、動画像の全体が関連付けられていてもよい。
【００４０】
本実施形態の端末装置１２としては、例えば、タブレット型端末装置やスマートフォン等に代表される、携帯して持ち歩くことが可能な電子機器であるモバイル端末等が挙げられるが、特に限定されず、携帯型または据置型のパーソナルコンピュータ等であってもよい。
【００４１】
図１に示すように、端末装置１２は、撮影部２０、撮影情報解析部２２、撮影情報解析結果送信部２４、及び画像情報受信部２６を備える。
【００４２】
撮影部２０は、ユーザの操作により媒体１００を撮影し、撮影した第１画像及び第２画像を表す画像データ（電子データ）を出力する機能を有する、いわゆるカメラである。撮影部２０が撮影した第１画像及び第２画像の画像データは、撮影情報解析部２２に出力される。
【００４３】
撮影情報解析部２２は、撮影部２０から取得した第１画像及び第２画像の画像データを解析して、ユーザが指定した指定画像を識別するための識別情報となる抽象化情報（詳細後述）を抽出し、撮影情報解析結果として撮影情報解析結果送信部２４へ出力する。本実施形態の撮影情報解析部２２が、本発明の第１画像取得部、第２画像取得部、及び抽出部の一例である。
【００４４】
撮影情報解析結果送信部２４は、撮影情報解析部２２から入力した撮影情報解析結果をサーバ１４へ送信する。画像情報受信部２６は、後述するように、サーバ１４が送信した画像情報を受信する。本実施形態の撮影情報解析結果送信部２４が、本発明の識別情報送信部の一例である。
【００４５】
本実施形態の端末装置１２は、例えば、図３に示した電気系の要部構成により実現することができる。図３に示すように、端末装置１２は、ＣＰＵ（Central Processing Unit）５０、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５４、ＵＩ（User Interface）部５６、記憶部６２、及び通信Ｉ／Ｆ（InterFace）６４を備えている。ＣＰＵ５０、ＲＯＭ５２、ＲＡＭ５４、ＵＩ部５６、記憶部６２、通信Ｉ／Ｆ６４、及び撮影部２０は、システムバスやコントロールバス等のバス６９を介して相互に各種情報の授受が可能に接続されている。
【００４６】
ＣＰＵ５０は、端末装置１２の全体的な動作を制御する。ＲＯＭ５２には、ＣＰＵ５０で実行される画像情報要求プログラム５３を含む各種プログラムや各種パラメータ等が予め記憶されている。ＲＡＭ５４は、ＣＰＵ５０による各種プログラムの実行時のワークエリア等として用いられる。本実施形態の画像情報要求プログラム５３が、本発明の情報処理プログラムの一例を含む。
【００４７】
ＵＩ部５６は、操作部５８及び表示部６０を含む。操作部５８は、画像情報の配信に関する指示や各種情報等をユーザが入力するために用いられる。表示部６０は、ユーザが指定画像に対応する画像情報等の各種情報を表示する。なお、ＵＩ部５６は、操作部５８と表示部６０とを一体化したタッチパネルディスプレイを用いて構成してもよい。ＵＩ部５６は、操作部５８に対する操作状態を検出し、また、表示部６０への各種情報の表示を制御する。
【００４８】
記憶部６２には、いずれも詳細を後述する抽象化情報と位置情報とが対応付けられて記憶される。記憶部６２の具体例としては、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等が挙げられる。
【００４９】
通信Ｉ／Ｆ６４は、無線通信の機能を有する。なお、通信Ｉ／Ｆ６４は、有線通信の機能を有していてもよい。
【００５０】
一方、本実施形態のサーバ１４としては、特に限定されないが、例えば、据置型のいわゆるサーバコンピュータ等が挙げられる。
【００５１】
本実施形態のサーバ１４は、図１に示すように、記憶部３０、画像情報取得部３２、画像情報抽象化部３４、画像抽象化情報保存部３６、記憶部３８、情報比較部４０、撮影情報解析結果受信部４２、及び画像情報送信部４４を備える。
【００５２】
記憶部３０には、図４に例示する対応関係情報３１が記憶されている。図４に示すように、対応関係情報３１は、管理番号（Ｎｏ．）２００と、画像情報２０２と、代表画像の画像データ２０４との対応関係を表しており、本実施形態では、記憶部３０に、画像情報２０２及び代表画像の画像データ２０４が記憶されている。
【００５３】
管理番号２００は、サーバ１４において、画像情報２０２を管理するために付与された番号であり、特に限定されるものではない。画像情報２０２は、端末装置１２に対して配信する上記画像情報である。代表画像の画像データ２０４は、代表画像１０２の画像データである。
【００５４】
なお、図２に示した例では、媒体１００に２０個の代表画像１０２が表示されている場合を示したが、この場合、記憶部３０に記憶されている画像情報２０２の数は、２０個以上であればよく、その数は特に限定されない。画像情報２０２は、いわゆるビッグデータであってもよい。
【００５５】
画像情報取得部３２は、記憶部３０から管理番号２００と共に代表画像の画像データ２０４を取得して、画像情報抽象化部３４に出力する。画像情報抽象化部３４は、代表画像の画像データ２０４を抽象化した抽象化情報２０６を生成して、管理番号２００と共に画像抽象化情報保存部３６に出力する。画像抽象化情報保存部３６は、画像情報抽象化部３４が生成した抽象化情報２０６を管理番号２００に関連付けて記憶部３８に記憶させる。記憶部３８は、図５に例示したように、管理番号２００と抽象化情報２０６とが関連付けられた状態で複数格納された抽象化情報群３９を記憶する。本実施形態の画像情報抽象化部３４及び画像抽象化情報保存部３６が、本発明の処理部の一例である。
【００５６】
撮影情報解析結果受信部４２は、端末装置１２の撮影情報解析結果送信部２４が送信した撮影情報解析結果を受信して、情報比較部４０に出力する。本実施形態の撮影情報解析結果受信部４２が、本発明の識別情報受信部の一例である。
【００５７】
情報比較部４０は、撮影情報解析結果と記憶部３８に記憶されている抽象化情報２０６とを比較し、ユーザが指定した指定画像を特定し、指定画像の画像情報２０２を取得する。本実施形態の情報比較部４０が、本発明の指定画像取得部の一例である。
【００５８】
画像情報送信部４４は、情報比較部４０が特定した指定画像に対応する画像情報２０２を、記憶部３０から取得してサーバ１４に出力する。
【００５９】
本実施形態のサーバ１４は、例えば、図６に示した電気系の要部構成により実現することができる。図６に示すように、サーバ１４は、ＣＰＵ７０、ＲＯＭ７２、ＲＡＭ７４、及び通信Ｉ／Ｆ７６を備えている。ＣＰＵ７０、ＲＯＭ７２、ＲＡＭ７４、通信Ｉ／Ｆ７６、記憶部３０、及び記憶部３８は、システムバスやコントロールバス等のバス７９を介して相互に各種情報の授受が可能に接続されている。
【００６０】
ＣＰＵ７０は、サーバ１４の全体的な動作を制御する。ＲＯＭ７２には、ＣＰＵ７０で実行される画像抽象化プログラム７３Ａ及び画像情報配信プログラム７３Ｂを含む各種プログラムや各種パラメータ等が予め記憶されている。ＲＡＭ７４は、ＣＰＵ７０による各種プログラムの実行時のワークエリア等として用いられる。
【００６１】
記憶部３０及び記憶部３８の具体例としては、ＨＤＤやＳＳＤ等が挙げられる。
【００６２】
通信Ｉ／Ｆ７６は、無線通信の機能を有する。なお、通信Ｉ／Ｆ７６は、有線通信の機能を有していてもよい。
【００６３】
次に、本実施形態の画像配信システム１０の作用について説明する。
【００６４】
まず、本実施形態の端末装置１２の作用について説明する。
【００６５】
端末装置１２は、例えば、操作部５８を介してユーザから画像情報の配信の要求を行う旨の指示を受け付けた場合、ＣＰＵ５０が、ＲＯＭ５２に記憶されている画像情報要求プログラム５３を実行することにより、図７に示した画像情報要求処理を実行する。
【００６６】
図７のステップＳ１００で撮影情報解析部２２は、撮影部２０により撮影した第１画像の画像データを取得したか否かを判定する。
【００６７】
本実施形態の画像配信システム１０では、画像情報２０２の配信を要求するために、ユーザは、端末装置１２の操作部５８を操作して撮影部２０により、図２に示した媒体１００を撮影する。本実施形態において第１画像とは、図８に例示した第１画像１１０のように、図２に示した媒体１００の代表画像１０２に対して、ユーザが指定画像を指し示していない状態を撮影した画像である。図８に示した第１画像１１０には、媒体１００に印刷されていた複数の代表画像１０２の画像１１２が含まれている。
【００６８】
また、ユーザは、端末装置１２の撮影部２０により、図２に示した媒体１００に印刷された代表画像１０２から指定画像を指し示した状態を撮影する。本実施形態において第２画像とは、図９に例示した第２画像１２０のように、図２に示した媒体１００の代表画像１０２に対して、ユーザが指定画像を指し示している状態を撮影した画像である。図９に示した第２画像１２０には、媒体１００に印刷されていた複数の代表画像１０２の画像１２２と、指定画像を指し示すユーザの指先の指先画像１２４１及び指先画像１２４２が含まれている。図９に示した場合では、指先画像１２４１により画像１２２１が指定画像として指定され、指先画像１２４２により画像１２２２が指定画像として指定されたことを表している。
【００６９】
なお、図９に示した例では、ユーザが媒体１００に印刷された代表画像１０２を指し示す方法として、指先により代表画像１０２を指し示す場合を示しているが、本実施形態では、例えば、先端が尖った（鋭利な）形状等の予め定められた形状の物体で代表画像１０２を指し示せばよく、具体的な方法は特に限定されない。具体例としては、上述のユーザの指先の他、ペンの先等で端末装置１２を指し示してもよい。
【００７０】
ステップＳ１００において、例えば、ユーザが撮影部２０により第１画像１１０のための撮影を行っていない場合等、撮影情報解析部２２が未だ撮影部２０により撮影した第１画像１１０の画像データを取得していない場合、否定判定となり待機状態となる。一方、撮影情報解析部２２が撮影部２０により撮影した第１画像１１０の画像データを取得した場合、ステップＳ１００の判定が肯定判定となり、ステップＳ１０２へ移行する。
【００７１】
次のステップＳ１０２で撮影情報解析部２２は、撮影部２０により撮影した第２画像１２０の画像データを取得したか否かを判定する。例えば、ユーザが撮影部２０により第２画像１２０のための撮影を行っていない場合等、撮影情報解析部２２が未だ撮影部２０により撮影した第２画像１２０の画像データを取得していない場合、否定判定となり待機状態となる。一方、撮影情報解析部２２が撮影部２０により撮影した第２画像１２０の画像データを取得した場合、ステップＳ１０２の判定が肯定判定となり、ステップＳ１０４へ移行する。
【００７２】
ステップＳ１０４で撮影情報解析部２２は、図１０に一例を示した撮影情報解析処理を実行する。
【００７３】
図１０に示したステップＳ１５０で撮影情報解析部２２は、図１１に示すように、第１画像１１０から画像１１２の輪郭となる矩形１１４を抽出する。図１１には、一例として、第１画像１１０から抽出した矩形１１４を点線で示している。なお、撮影情報解析部２２が第１画像１１０から矩形を抽出する方法は特に限定されない。第１画像１１０全体の濃度を解析して各画像１１２の輪郭となるエッジを検出することにより、矩形１１４を抽出してもよい。また、代表画像１０２の輪郭の形状を予め定めておき、当該輪郭の形状に基づいて抽出してもよい。なお、この場合、例えば、代表画像１０２の輪郭の形状そのものを雛形として用いて抽出してもよい。また、例えば、第１画像１１０から抽出された矩形の縦横の比率が、代表画像１０２の輪郭の縦横の比率に対して予め定められた範囲内である矩形を矩形１１４として抽出してもよい。
【００７４】
本実施形態では、代表画像１０２の一部の領域の色が媒体１００の色と類似している場合や、代表画像１０２同士が間隔を空けずに連続して表示されている場合等、輪郭が判別しづらい代表画像１０２が含まれる場合があるため、予め、代表画像１０２の配置の仕方、例えば、代表画像１０２同士の間隔及び配列の数等を記憶部６２に記憶しておく。そして、撮影情報解析部２２は、第１画像１１０から任意の数の矩形１１４を抽出し、抽出した矩形１１４の位置と、代表画像１０２の配置の仕方とに基づいて、全ての代表画像１０２の輪郭となる矩形１１４を抽出する。
【００７５】
なお、本実施形態では、図２等に示したように、代表画像１０２の形状が矩形である場合について説明したが、代表画像１０２の形状は矩形に限定されず、例えば、円形等であってもよい。この場合、撮影情報解析部２２は、矩形に依らず、代表画像１０２の輪郭に応じた形状を抽出することはいうまでもない。
【００７６】
次のステップＳ１５２で撮影情報解析部２２は、上記ステップＳ１５０で検出した複数の矩形１１４のうち、１つの矩形１１４を選択し、当該矩形１１４を輪郭とする画像１１２について、固有の画像特性を抽象化して抽象化情報を生成する。撮影情報解析部２２が抽象化情報を生成する方法は特に限定されないが、個々の画像１１２を識別するための特性として、例えば、画像１１２全体または複数の領域毎の色、画像の色、境界となる線（図１２参照、境界線１１５）の位置及び角度（図１２参照、矢印１１６の所定方向に対する角度）を数値化する方法が挙げられ、具体的には、既存の画像認識ライブラリを用いることができる。
【００７７】
次のステップＳ１５４で撮影情報解析部２２は、上記ステップＳ１５２で生成した抽象化情報と、画像１１２の輪郭を表す矩形１１４の位置情報とを対応付けて、一旦、記憶部６２に記憶させる。本実施形態では、一例として、上記ステップＳ１５０で抽出した複数の矩形１１４の位置を、矩形１１４の配置により表しており、代表画像１０２が行列状に配置されているため、矩形１１４の位置を、行列を特定することにより表す。本実施形態では、図１３に例示したように、４行（Ａ行〜Ｄ行）×５列（１列〜５列）に配置された計２０個の矩形１１４が抽出されたため、矩形１１４の位置を（行、列）で表す。例えば、画像１１２３に対応する矩形１１４の位置情報は、（Ａ、３）となり、画像１１２３の抽象化情報と、位置情報である（Ａ、３）とを対応付けて、一旦、記憶部６２に記憶させる。
【００７８】
次のステップＳ１５６で撮影情報解析部２２は、全ての画像１１２を上記ステップＳ１５２により抽象化したか否かを判定する。未だ抽象化していない画像１１２が存在する場合、ステップＳ１５６の判定が否定判定となり、ステップＳ１５２に戻って未だ抽象化していない画像１１２を選択し、上記ステップＳ１５２及びＳ１５４の処理を繰り返す。一方、全ての画像１１２を抽象化した場合、ステップＳ１５６の判定が肯定判定となり、ステップＳ１５８へ移行する。
【００７９】
ステップＳ１５８で撮影情報解析部２２は、第２画像１２０から指定画像の位置を特定する。撮影情報解析部２２が第２画像１２０から指定画像の位置を特定する方法は特に限定されないが、本実施形態では、一例として、撮影情報解析部２２は、図１５に示した指定画像位置特定処理を実行する。
【００８０】
図１５に示したステップＳ１８０で撮影情報解析部２２は、図１４に例示するように、第２画像１２０から上記ステップＳ１５０と同様に複数の矩形１２６を抽出するが、本ステップでは、指先画像１２４１及び指先画像１２４２により隠れた位置における画像１２２の輪郭となる矩形１２６も抽出する。なお、図１４に示すように、指先画像１２４１及び指先画像１２４２により隠れた位置にある矩形１２６は、実際には矩形ではないが、便宜上、「矩形」という。
【００８１】
次のステップＳ１８２で撮影情報解析部２２は、矩形１２６を遮る画像を抽出する。ユーザが代表画像１０２を指し示す場合、指し示すのに用いた指により、代表画像１０２が遮られる。そのため、次に撮影情報解析部２２は、画像解析等を行うことにより抽出した矩形１２６を遮る画像を検出する。図１４に示した場合では、矩形１２６１、矩形１２６５、矩形１２６６、及び矩形１２６８を遮る指先画像１２４１と、矩形１２６２、矩形１２６７、及び矩形１２６８を遮る指先画像１２４２と、が検出される。
【００８２】
次のステップＳ１８４で撮影情報解析部２２は、検出した指先画像１２４１及び指先画像１２４１各々の形状の先端の位置を指定画像の位置として特定する。図１４に示した場合では、指先画像１２４１及の先端は矩形１２６１内にあり、指先画像１２４２の先端は矩形１２６２内にある。そのため、撮影情報解析部２２は、指定画像の位置として矩形１２６１の位置（Ａ、３）と、矩形１２６２の位置（Ｃ、４）とを特定する。本ステップの終了に応じて本指定画像位置特定処理を終了し、撮影情報解析処理に戻りステップＳ１６０へ移行する。
【００８３】
次のステップＳ１６０で撮影情報解析部２２は、上記ステップＳ１５４で記憶部６２に記憶させた画像１１２の抽象化情報及び位置情報と、上記ステップＳ１５８で特定した指定画像の位置とに基づいて、指定画像の抽象化情報を抽出する。撮影情報解析部２２が指定画像の抽象化情報を抽出する方法は特に限定されない。
【００８４】
例えば、上記ステップＳ１５８で特定した指定画像の位置が（Ａ、３）及び（Ｃ、４）であったため、撮影情報解析部２２が、位置情報が（Ａ、３）である抽象化情報と、位置情報が（Ｃ、４）である抽象化情報とを記憶部６２から抽出するようにしてもよい。なお、この方法は、図８及び図９に示したように、第１画像１１０と第２画像１２０とにおいて、代表画像１０２の画像（画像１１２及び画像１２２）が同様に含まれている場合に適用することが好ましい。
【００８５】
なお、図８及び図９に示した場合と異なり、第１画像１１０及び第２画像１２０に、代表画像１０２の画像（画像１１２及び画像１２２）が同様に含まれていない場合、例えば、撮影の際に、アングルがずれる等して、第１画像１１０に含まれる画像１１２に対応する代表画像１０２の一部のみが画像１２２として第２画像１２０に含まれる場合等は、他の方法を適用することが好ましい。
【００８６】
例えば、撮影情報解析部２２は、第２画像１２０において指先画像１２４１及び指先画像１２４により遮られていない任意の位置にある矩形１２６を輪郭とする画像１２２の抽象化情報を、上述した撮影情報解析処理（図１０参照）のステップＳ１５２と同様にして生成する。そして、撮影情報解析部２２は、抽象化情報を生成した画像１２２の位置に対する、上記ステップＳ１５８で特定した指定画像の相対的な位置を特定する。次に、撮影情報解析部２２は、記憶部６２から生成した抽象化情報と同様とみなせる抽象化情報に対応付けられている位置情報を取得する。さらに、撮影情報解析部２２は、取得した位置情報と、上記相対的な位置とに基づいて、指定画像の位置を抽出する。
【００８７】
本ステップの終了に応じて本撮影情報解析処理を終了し、画像情報要求処理に戻りステップＳ１０６へ移行する。
【００８８】
ステップＳ１０６で撮影情報解析結果送信部２４は、サーバ１４に上記ステップＳ１０４の撮影情報解析処理の解析結果（以下、「撮影情報解析結果」という）である指定画像の抽象化情報を送信する。本実施形態では、このように端末装置１２がサーバ１４に撮影情報解析結果を送信することにより、サーバ１４に対して、指定画像に応じた画像情報２０２の配信を要求する。
【００８９】
当該指定画像に応じた画像情報２０２の配信の要求に応じて、詳細を後述するように、サーバ１４から、送信した指定画像の抽象化情報に応じた画像情報２０２が送信される。そのため、次のステップＳ１０８で画像情報受信部２６は、サーバ１４から画像情報２０２を受信したか否かを判定する。画像情報２０２を受信するまでステップＳ１０８の判定が否定判定となり、待機状態となる。一方、画像情報２０２を受信した場合、ステップＳ１０８の判定が肯定判定となり、本画像情報要求処理を終了する。
【００９０】
なお、画像情報受信部２６は、受信した画像情報２０２を、記憶部６２に記憶させてもよいし、さらに画像情報２０２に応じた動画像または静止画像をユーザの指示に応じて表示部６０に表示させてもよい。なお、上述した場合では、指定画像が２つあるため、画像情報受信部２６は、画像情報２０２も２つ受信する。そのため、動画像または静止画像を表示部６０に表示させる場合は、任意の順番に応じて表示させてもよいし、表示部６０の表示画面を分割して、同時に表示させてもよい。
【００９１】
次に、本実施形態のサーバ１４の作用について説明する。
【００９２】
本実施形態では、サーバ１４は、端末装置１２に画像情報２０２を配信する前に、任意のタイミングで記憶部３０に、図４に例示した、対応関係情報３１を記憶しておく。なお、記憶部３０に記憶する対応関係情報３１は、適宜、更新を行ってもよいことはいうまでもない。
【００９３】
また、本実施形態のサーバ１４は、端末装置１２から画像情報２０２の配信を要求される前に、記憶部３０に記憶されている代表画像の画像データ２０４を抽象化するために、図１６に一例を示した画像抽象化処理を行い、記憶部３８に抽象化情報群３９を記憶させる。具体的には、ＣＰＵ７０が、ＲＯＭ７２に記憶されている画像抽象化プログラム７３Ａを実行することにより、図１６に示した画像抽象化処理を実行する。
【００９４】
図１６のステップＳ２００で画像情報取得部３２は、記憶部３０に記憶されている対応関係情報３１から代表画像の画像データ２０４を１つ取得して、画像情報抽象化部３４に出力する。
【００９５】
次のステップＳ２０２で画像情報抽象化部３４は、画像情報取得部３２から入力された代表画像の画像データ２０４によって表される代表画像１０２の画像特性を抽象化して抽象化情報２０６を生成して画像抽象化情報保存部３６に出力する。本ステップにおいて、画像情報抽象化部３４が代表画像１０２の画像特性を抽象化する方法は、上述した端末装置１２の撮影情報解析部２２が実行する撮影情報解析処理のステップＳ１５２と同様の方法を用いる。
【００９６】
次のステップＳ２０４で画像抽象化情報保存部３６は、生成した抽象化情報２０６を、抽象化した代表画像の画像データ２０４に対応付けられている管理番号２００に対応付けて記憶部３０の抽象化情報群３９に格納する（図５参照）。
【００９７】
次のステップＳ２０６で画像抽象化情報保存部３６は、全ての代表画像の画像データ２０４を抽象化したか否かを判定する。対応関係情報３１を参照し、未だ、抽象化していない代表画像の画像データ２０４が存在する場合、ステップＳ２０６の判定が否定判定となり、ステップＳ２００に戻り、上記ステップＳ２０２及びＳ２０４の処理を繰り返す。一方、全ての代表画像の画像データ２０４を抽象化した場合、ステップＳ２０６の判定が肯定判定となり、本画像抽象化処理を終了する。
【００９８】
本実施形態のサーバ１４は、さらに、端末装置１２が行った指定画像に応じた画像情報２０２の配信を要求に対して、図１７に一例を示した画像情報配信処理を実行する。具体的には、ＣＰＵ７０が、ＲＯＭ７２に記憶されている画像情報配信プログラム７３Ｂを実行することにより、図１７に示した画像情報配信処理を実行する。
【００９９】
ステップＳ２５０で撮影情報解析結果受信部４２は、サーバ１４から撮影情報解析結果を受信したか否かを判定する。撮影情報解析結果を受信するまでステップＳ２５０の判定が否定判定となり、待機状態となる。一方、撮影情報解析結果を受信した場合、ステップＳ２５０の判定が肯定判定となり、ステップＳ２５２へ移行する。撮影情報解析結果受信部４２は、受信した撮影情報解析結果を情報比較部４０へ出力する。
【０１００】
ステップＳ２５２で情報比較部４０は、撮影情報解析結果と、記憶部３８に記憶されている抽象化情報群３９の抽象化情報２０６とを比較し、指定画像を特定する。具体的には、情報比較部４０は、撮影情報解析結果と同一とみなせる抽象化情報２０６を抽象化情報群３９から検出し、検出した抽象化情報２０６に対応付けられている管理番号２００を特定することにより指定画像を特定する。
【０１０１】
次のステップＳ２５４で情報比較部４０は、上記ステップＳ２５２で特定した管理番号２００に対応付けられている画像情報２０２を、対応関係情報３１を参照して記憶部３０から取得して、画像情報送信部４４に出力する。
【０１０２】
次のステップＳ２５６で画像情報送信部４４は、情報比較部４０から入力された画像情報２０２を端末装置１２に送信した後、本画像情報配信処理を終了する。
【０１０３】
［第２実施形態］
第１実施形態の画像配信システム１０では、ユーザが指し示した位置に表示された代表画像１０２を指定画像とし、指定画像の画像情報をサーバ１４から端末装置１２に配信する場合について説明した。これに対して本実施形態では、ユーザが直接指し示していない位置に表示された代表画像１０２についても指定画像とし、指定画像の画像情報をサーバ１４から端末装置１２に配信する場合について説明する。
【０１０４】
図１８を参照して、本実施形態の画像配信システムについて１０説明する。図１８に示すように、本実施形態の画像配信システム１０の端末装置１２は、指定区間解析部２５をさらに備える点で、第１実施形態の端末装置１２（図１参照）と異なっている。指定区間解析部２５は、ユーザが代表画像１０２を指し示した際の、ユーザの指の状態から、ユーザが指定した指定画像の区間を開成記する。
【０１０５】
一方、本実施形態のサーバ１４は、配信区間特定部４１をさらに備える点で、第１実施家血合いのサーバ１４（図１参照）と異なっている。配信区間特定部４１は、同一の動画像の異なる部分に対応する複数の指定画像が有る場合に、当該異なる部分を含む動画像の区間を特定する。
【０１０６】
また、本実施形態のサーバ１４の記憶部３０には、第１実施形態の対応関係情報３１（図４参照）に代わり、図１９に一例を示した対応関係情報３１Ａが記憶されている。
【０１０７】
図１９に示すように、対応関係情報３１Ａは、管理番号２００と、画像情報２０２と、代表画像の画像データ２０４と、動画像情報２０６との対応関係を表す情報である。
【０１０８】
動画像情報２０６は、画像情報２０２が動画像に関する情報であるか否かを表す情報である。なお、本実施形態の動画像情報２０６は、同一の動画像に関する画像情報２０２は、その旨を識別する情報、及び同一動画中の時系列における順番を表す情報が含まれている。図１９に示した例では、管理番号２００が「０００１」〜「００２０」である画像情報２０２は、図２０に一例を示した、媒体１００に表示された代表画像１０２の各々に対応している。なお、本実施形態では、代表画像１０２を総称する場合は、図２０に示した代表画像１０２Ａ１における「Ａ１」等の個々を識別するための符号を省略する。
【０１０９】
図２０に示した代表画像１０２Ａ１〜１０２Ａ７は、同一の動画像に対応しており、当該動画像を時系列において７つに分割したうちの最初の部分が代表画像１０２Ａ１で、最後の部分が代表画像１０２Ａ７である。代表画像１０２Ａ１〜１０２Ａ７は、図１９に示した、管理番号２００が「０００１」〜「０００７」の画像情報２０２に対応している。また、図２０に示した代表画像１０２Ｄ〜１０２Ｇは、各々異なる静止画像に対応している。代表画像１０２Ｄ〜１０２Ｇは、図１９に示した、管理番号２００が「０００８」〜「００１１」の画像情報２０２に対応している。また、図２０に示した代表画像１０２Ｈは、動画像に対応しており、図１９に示した、管理番号２００が「００１２」の画像情報２０２に対応している。また、図２０に示した代表画像１０２Ｂ１〜１０２Ｂ５は、同一の動画像に対応しており、当該動画像を時系列において５つに分割したうちの最初の部分が代表画像１０２Ｂ１で、最後の部分が代表画像１０２Ｂ５である。代表画像１０２Ｂ１〜１０２Ｂ５は、図１９に示した、管理番号２００が「００１３」〜「００１７」の画像情報２０２に対応する。さらに、図２０に示した代表画像１０２Ｃ１〜１０２Ｃ３は、同一の動画像に対応しており、当該動画像を時系列において３つに分割したうちの最初の部分が代表画像１０２Ｃ１で、最後の部分が代表画像１０２Ｃ３である。代表画像１０２Ｃ１〜１０２ｃ３は、図１９に示した、管理番号２００が「００１８」〜「００２０」の画像情報２０２に対応する。
【０１１０】
なお、本実施形態の端末装置１２及びサーバ１４の電気系の要部構成は、第１実施形態の端末装置１２及びサーバ１４の電気系の要部構成（図３及び図６参照）と同様の構成であるため、説明を省略する。
【０１１１】
次に、本実施形態の画像配信システム１０の作用について説明する。
【０１１２】
上記図２０に示した媒体１００を用いた場合における、本実施形態の第１画像１１０の一例を図２１に示す。図２１に示した第１画像１１０には、媒体１００に印刷されていた複数の代表画像１０２の画像１１２が含まれている。
【０１１３】
また、本実施形態の第２画像１２０の一例を図２２に示す。図２２に示した場合では、ユーザが代表画像１０２Ｂ１〜１０２Ｂ４までの動画像に関する画像情報２０２の配信を要求する場合の第２画像１２０を示している。本実施形態の画像配信システム１０では、ユーザは、媒体１００上に、連続して印刷された複数の代表画像１０２を指定する場合、例えば、親指と人差し指等の隣接する２本の指を開くことにより、指を予め定められた形状として、いわゆる「Ｖ字」状にし、当該２本のうちの一方の指先で、開始点となる代表画像１０２を指し示し、他方の指先で、終了点となる代表画像１０２を指し示す。そのため、図２２に示すように、第２画像１２０には、媒体１００に印刷されていた複数の代表画像１０２の画像１２２と、指定画像を指し示すユーザのユーザ画像１２５が含まれている。本実施形態のユーザ画像１２５は、指先画像１２５１及び指先画像１２５２を含む。図２２に示した場合では、指先画像１２５１により指定された画像１２２Ｂ１から指先画像１２５２により指定された画像１２２２までの区間の画像１２２（画像１２２Ｂ１〜１２２Ｂ４）が指定画像として指定されたことを表している。
【０１１４】
まず、本実施形態の端末装置１２の作用について説明する。本実施形態の端末装置１２で実行される画像情報要求処理の全体的な流れは、第１実施形態における画像情報要求処理（図７参照）と同様である。
【０１１５】
本実施形態の端末装置１２では、画像情報要求処理のステップＳ１０４における撮影情報解析処理のステップＳ１５８において実行される指定画像位置特定処理が第１実施形態（図１０及び図１５参照）と異なるため、本実施形態の指定画像位置特定処理について図２３を参照して説明する。
【０１１６】
図２３に示すように、本実施形態の指定画像位置特定処理は、第１実施形態の指定画像位置特定処理（図１５参照）のステップＳ１８４で、検出した指先画像１２４１及び指先画像１２４１各々の形状の先端の位置を指定画像の位置として特定した後に、ステップＳ１８６〜Ｓ１９２の処理を含む。
【０１１７】
ステップＳ１８６で指定区間解析部２５は、指定画像が複数有るか否かを判定する。上記説明に用いた一例と異なり、ユーザが１つの代表画像１０２のみを指し示している場合は、指定画像が１つであるため、ステップＳ１８６の判定が否定判定となり、本指定画像位置特定処理を終了する。一方、図２２に示した場合のように、２つ以上の代表画像１０２（画像１２２）を指し示している場合は、ステップＳ１８６の判定が肯定判定となりステップＳ１８８へ移行する。
【０１１８】
ステップＳ１８８で指定区間解析部２５が、ユーザ画像１２５の状態を特定する。具体的には、複数の画像を指定するための予め定められた状態か否かを特定する。ユーザ画像１２５の状態の特定方法は特に限定されない。例えば、まず、指定区間解析部２５は、図２０に示したように指先画像１２５１の先端（指先）Ｐ１から先端Ｐ１と逆方向（根本Ｌ）に向けて伸ばした直線１２７１と、指先画像１２５２の先端（指先）Ｐ２から先端Ｐ２と逆方向（根本）に向けて伸ばした直線１２７２との交点を指の付け根Ｌであると推定する。
【０１１９】
そして、指定区間解析部２５は、先端Ｐ１から付け根Ｌまでの距離と、先端ｐ２から付け根Ｌまでの距離との比率を導出することにより、ユーザ画像１２５の状態を特定する。
【０１２０】
次のステップＳ１９０で指定区間解析部２５は、特定したユーザ画像１２５の状態が、上記予め定められた状態であるか否かを判定する。指定区間解析部２５は、上記ステップＳ１８８で導出した比率が、上記予め定められた状態に応じて実験的に得られている比率に対して予め定められた範囲内ではない場合、ステップステップＳ１９０の判定が否定判定となり、本指定画像位置特定処理を終了する。一方、上記ステップＳ１８８で導出した比率が、予め定められた範囲内である場合、ステップＳ１９０の判定が肯定判定となり、ステップＳ１９２へ移行する。
【０１２１】
ステップＳ１９２で指定区間解析部２５は、上記ステップＳ１８４で特定済みの指定画像の間の画像１２２も指定画像として特定するよう撮影情報解析部２２に指示する。当該指示により、撮影情報解析部２２は、図１３を参照して上述した代表画像１０２の配列に基づいて、上記ステップＳ１８４で特定済みの指定画像の間の画像１２２も指定画像１２４として特定し、その位置を特定する。
【０１２２】
このように、本実施形態の端末装置１２で実行される指定画像位置特定処理によれば、ユーザによって指し示されていない代表画像１０２であっても、ユーザによって指し示されている２つの指定画像となる代表画像１０２の間であれば、指定画像としてサーバ１４に画像情報２０２の配信を要求することができる。
【０１２３】
次に、本実施形態のサーバ１４の作用について説明する。本実施形態のサーバ１４で実行される画像抽象化処理は、第１実施形態における画像抽象化処理（図１６参照）と同様であるため説明を省略する。
【０１２４】
一方、本実施形態のサーバ１４で実行される画像配信処理は、図２４に示すように、第１実施形態における画像配信処理（図１７参照）のステップＳ２５４とステップＳ２５６との間にステップＳ２５５Ａ〜Ｓ２５５Ｃの処理を含む点で異なるため、異なる処理について説明する。
【０１２５】
ステップＳ２５５Ａで配信区間特定部４１は、上記ステップＳ２５４で画像情報を取得した指定画像が複数有ったか否かを判定する。１つしかない場合、ステップＳ２５５Ａの判定が否定判定となり、ステップＳ２５６へ移行する。一方、複数有った場合、ステップＳ２５５Ａの判定が肯定判定となり、ステップＳ２５５Ｂへ移行する。
【０１２６】
ステップＳ２５５Ｂで配信区間特定部４１は、対応関係情報３１の動画像情報２０６を参照し、複数の指定画像の中に、同一動画像の異なる部分が指定画像として有るか否かを判定する。例えば、ユーザが、図２０に示した代表画像１０２Ｆを人差し指で指し示し、代表画像１０２Ｈを親指で指し示している場合、各々異なる静止画像を指定する代表画像１０２Ｆ、１０２Ｇ、及び動画像を指定する代表画像１０２Ｈが指定画像として特定されるため、同一動画像に関する指定画像は存在しない。このように同一動画像に関する指定画像が無い場合、ステップＳ２５５Ｂの判定が否定判定となり、ステップＳ２５６へ移行する。
【０１２７】
一方、例えば、図２２に示した場合では、同一の動画像の異なる部分を指定する画像１２２Ｂ１（図２０の代表画像１０２Ｂ１）〜画像１２２Ｂ４（図２０の代表画像１０２Ｂ４）が指定画像として特定されるため、ステップＳ２５５Ｂの判定が肯定判定となり、ステップＳ２５５Ｃへ移行する。
【０１２８】
ステップＳ２５５Ｃで配信区間特定部４１は、同一の動画像の画像情報２０２において指定画像によって指定された区間を特定し、特定した区間を統一した後、ステップＳ２５６へ移行する。なお、端末装置１２において動画像について連続して再生が可能なように、画像情報２０２を統一すればよく、その方法は特に限定されない。例えば、画像情報２０２が、動画像データそのものである場合、一つの動画像データとして配信可能なように画像情報２０２を統一してもよい。
【０１２９】
このように、本実施形態のサーバ１４で実行される画像情報配信処理によれば、ユーザによって指し示されていない代表画像１０２であっても、ユーザによって指し示されている２つの指定画像となる代表画像１０２の間であれば、画像情報２０２をサーバ１４から端末装置１２に配信することができる。
【０１３０】
また、本実施形態の画像情報配信処理によれば、複数の指定画像により同一の動画像の連続した部分の画像情報２０２の配信を要求された場合、サーバ１４が画像情報２０２を統一して配信するため、端末装置１２において動画像について連続して再生が可能になる。
【０１３１】
以上説明したように、上記各実施形態の画像配信システム１０の端末装置１２は、撮影情報解析部２２を備える。撮影情報解析部２２は、媒体１００に表された複数の代表画像１０２のいずれも指定画像としてユーザが指し示していない状態を表す第１画像１１０を取得し、媒体１００に表された複数の代表画像１０２の少なくとも１つを指定画像としてユーザが指し示している状態を表す第２画像１２０を取得し、第１画像１１０と、第２画像１２０においてユーザが指し示している位置とに基づいて、ユーザが指し示している指定画像を識別する識別情報である抽象化情報を抽出する。
【０１３２】
このように端末装置１２が、指定画像の識別情報を抽出するため、抽出した識別情報を用いてサーバ１４に画像情報２０２の配信を要求することが可能となる。これにより、サーバ１４の情報比較部４０は、端末装置１２が抽出した識別情報に基づいて、複数の代表画像１０２の各々に複数の端末装置１２の各々を識別する識別情報が対応付けて記憶された記憶部３０の対応関係情報３１から指定画像の画像情報２０２を取得する。
【０１３３】
従って、上記各実施形態の画像配信システム１０によれば、ユーザによって指し示されることにより隠れてしまった代表画像１０２であっても、代表画像１０２を識別する識別情報を取得することが可能になる。
【０１３４】
例えば、上記特許文献１に記載の技術では、ドキュメント上にＥＭＭ（Embedded Media Markers）をオーバレイ表示させておき、これを撮影した画像を用いて、ドキュメントに関連するデジタルメディアの配信を行うが、ユーザ等により、上記ＥＭＭが隠れてしまった場合、適切なデジタルメディアの配信が行えない場合があった。
【０１３５】
これに対して、上述のように、上記各実施形態の画像配信システム１０によれば、ユーザによって指し示されることにより隠れてしまった代表画像１０２であっても、代表画像１０２に対応する画像情報２０２の配信が行われる。
【０１３６】
なお、上記各実施形態では、端末装置１２において、第１画像１１０を撮影した後、第２画像１２０を撮影する場合について説明したが、第２画像１２０を撮影した後、第１画像１１０を撮影してもよい。また、第１画像１１０及び第２画像１２０の撮影順序を限定せずに、２枚の画像を撮影し、撮影情報解析部２２が撮影した画像に対して画像解析を行った結果、指先画像１２４やユーザ画像１２５が含まれている画像を第２画像１２０とし、これらが含まれていない画像を第１画像１１０としてもよい。また、各々異なる指定画像をユーザが指し示している複数の第２画像１２０を撮影し、第１画像１１０と、複数の第２画像１２０の各々においてユーザが指し示している位置とに基づいて、複数の指定画像の抽象化情報を抽出してもよい。
【０１３７】
また、上記各実施形態の端末装置１２では、ユーザが操作部５８を操作して、撮影部２０により第１画像１１０及び第２画像１２０を撮影する場合について説明したが、ユーザの操作部５８の操作によらずに、撮影部２０を用いて第１画像１１０及び第２画像１２０を取得してもよい。例えば、端末装置１２では、撮影部２０により撮影を行う場合、いわゆるスルー画像やライブビュー画像と呼ばれる画像（以下、「スルー画像」という）が端末装置１２の表示部６０に表示されるため、撮影情報解析部２２は、当該画像の中から第１画像１１０及び第２画像１２０を取得してもよい。この場合、例えば、端末装置１２は、図７に示した画像情報要求処理に代わり、図２５に示した画像情報要求処理を実行すればよい。図２５に例示した画像情報要求処理は、ステップＳ１００及びＳ１０２に代わり、ステップＳ１０３Ａ〜Ｓ１０３Ｆの処理を行う点で、図７に示した画像情報要求処理と異なっている。
【０１３８】
ステップＳ１０３Ａで撮影情報解析部２２は、撮影部２０から取得したスルー画像にユーザの指先の画像が含まれているか否かを判定する。ユーザの指先の画像が含まれていない場合、ステップＳ１０３Ａの判定が否定判定となりステップＳ１０３Ｃへ移行する。ステップＳ１０３Ｃで撮影情報解析部２２は、スルー画像から第１画像１１０を取得した後、ステップＳ１０３Ｆへ移行する。一方、スルー画像にユーザの指先の画像が含まれている場合、ステップＳ１０３Ａの判定が肯定判定となりステップＳ１０３Ｂへ移行する。ステップＳ１０３Ｂで撮影情報解析部２２は、ユーザの指先が予め定められた期間、一定の位置にあるとみなせるか否かを判定する。当該判定により、ユーザが指定画像を指し示している状態で有るか否かが判定される。指先が一定の位置にあるとみなせない場合、ステップＳ１０３Ｂの判定が否定判定となり、待機状態となる。一方、指先が一定の位置にあるとみなせる場合、ステップＳ１０３Ｂの判定が肯定判定となり、ステップＳ１０３Ｄへ移行する。ステップＳ１０３Ｄで撮影情報解析部２２は、スルー画像から第２画像１２０を取得する。次のステップＳ１０３Ｆで撮影情報解析部２２は、第１画像１１０及び第２画像１２０を取得したか否かを判定する。第１画像１１０及び第２画像１２０のいずれか一方を未だ取得していない場合、ステップＳ１０３Ｆの判定が否定判定となり、ステップＳ１０３Ａに戻る。一方、第１画像１１０及び第２画像１２０を取得した場合、ステップＳ１０３Ｆの判定が肯定判定となり、ステップＳ１０４へ移行する。
【０１３９】
また、上記各実施形態では、第２画像１２０を撮影部２０により撮影する場合について説明したが、媒体１００において代表画像１０２の配列状態をサーバ１４が認識している場合、すなわち、第２画像１２０と同等の画像をサーバ１４が認識している場合は、第２画像１２０を撮影せずに、ユーザが認識している当該画像を用いてもよい。
【０１４０】
また、上記各実施形態では、ユーザの指先の位置にあり、ユーザの指先によって隠れている代表画像１０２を指定画像とする場合について説明したが、第２画像１２０を取得する際に、ユーザの指先の位置が動いた場合や、媒体１００を撮影する角度等によって、図２６に例示したように、第２画像１２０において、画像１２２上に、ユーザの指先が位置していない場合がある。このような場合、撮影情報解析部２２は、ユーザの指先から予め定められた範囲内の画像１２２を指定画像として特定してもよい。例えば、図２６に示した場合では、予め定められた範囲１２９内の画像１２２Ｘ及び画像１２２Ｙの、いずれか一方を指定画像して抽出すればよい。なお、画像１２２Ｘ及び画像１２２Ｙのいずれを抽出するかは特に限定されず、予め定めておけばよい。例えば、指先が指定画像まで届いていないことを想定する場合は、指先画像１２４の指先が向いている方向にある画像１２２Ｘを指定画像として抽出するように予め定めておけばよい。また例えば、ユーザの指先が指定画像からはみ出したことを想定する場合は、指先画像１２４の指先よりも手前側の画像１２２Ｙを指定画像として抽出するように予め定めておけばよい。
【０１４１】
また、上記各実施形態では、媒体１００が紙であり、代表画像１０２が印刷されている場合について説明したが、媒体１００は紙に限定されない。例えば、媒体１００は、パーソナルコンピュータのディスプレイや、液晶ディスプレイ等、他の表示媒体であってもよい。なお、本発明は、タッチパネル機能を有さない媒体１００や、紙等の媒体１００に適用することで、その効果がより高まる。
【０１４２】
また、上記各実施形態では、指定画像を識別する識別情報として抽象化情報を用いる場合について説明したが、識別情報は抽象化情報に限定されない。指定画像を識別する識別情報は、第１画像１１０から抽出可能な情報であればよく、例えば、抽象化せずに指定画像（代表画像１０２）の画像データそのものを識別情報として用いてもよいし、指定画像（代表画像１０２）に付与されたＥＭＭ等を識別情報として用いてもよい。
【０１４３】
また、上記各実施形態において、撮影情報解析部２２は画像１１２及び画像１２２の輪郭を検出しているが、当該輪郭の検出を容易にするために、図２７に例示したように、媒体１００に表示される代表画像１０２の輪郭に応じた外枠１０３を設けておいてもよい。このような外枠１０３としては代表画像１０２同士の境界の検出が容易になるものであれば特に限定されない。
【０１４４】
なお、上記各実施形態では、端末装置１２及びサーバ１４が本発明の情報処理装置の一例として機能する場合について説明したが、上記各実施形態に限らない。本発明の情報処理装置としての機能の一部または全部は、端末装置１２及びサーバ１４のいずれか一方が有していてもよいし、その他の装置が有していてもよい。また、上記各実施形態では、対応関係情報３１が記憶部３０に記憶され、抽象化情報群３９が記憶部３８に記憶される場合について説明したが、対応関係情報３１及び抽象化情報群３９は、同一の記憶部に記憶されていてもよい。また、対応関係情報３１及び抽象化情報群３９を１つの情報に統一してもよい。また、端末装置１２に画像情報を配信する指定画像に関する動画像データまたは静止画像データそのものは、端末装置１２及びサーバ１４と異なる他の装置に記憶しておいてもよいことはいうまでもない。
【０１４５】
また、上記各実施形態では、媒体１００に表示された代表画像１０２のみが表示されており、代表画像１０２からユーザが指定した指定画像の画像情報をサーバ１４から端末装置１２に配信する場合について説明したが、当該形態に限らず、例えば、媒体１００には、代表画像１０２以外に文字列等が表示されていてもよい。媒体１００に、代表画像１０２と文字列とが混在している場合、第１画像１１０及び第２画像１２０から、字下げ等の予め定められた法則に基づいて段落等の文字列の固まりを抽出してもよいし、ＯＣＲ（Optical character recognition）を行って文字列の固まりを抽出してもよい。このように文字列の固まりを抽出することにより、代表画像１０２に応じた画像１１２または画像１２２と、文字列とを区別するようにしてもよい。また、文字列の固まり毎に、当該文字列の固まりに関する文字情報を予め定めておくことにより、上述した代表画像１０２の画像情報を配信するのと同様に、文字情報をサーバ１４から端末装置１２に配信するようにしてもよい。
【０１４６】
なお、上記各実施形態は、本発明の一例であり、本発明の主旨を逸脱しない範囲内において状況に応じて変更可能であることはいうまでもない。
【符号の説明】
【０１４７】
１０  画像配信システム
１２  端末装置
１４  サーバ
２０  撮影部
２２  撮影情報解析部
２４  撮影情報解析結果送信部
２６  画像情報受信部
３０、３８  記憶部
３１  画像情報と代表画像との対応関係（対応関係情報）
３４  画像情報抽象化部
３６  画像抽象化情報保存部
３９  抽象化情報群
４０  情報比較部
４１  配信区間特定部
４２  撮影情報解析結果受信部
４４  画像情報送信部
５０、７０  ＣＰＵ
５３  画像情報要求プログラム
７３Ａ  画像抽象化プログラム
７３Ｂ  画像情報配信プログラム
１００  媒体
１０２  代表画像
１１０  第１画像
１２０  第２画像
【図１】
2018055273.tif 000003
【図２】
2018055273.tif 000004
【図３】
2018055273.tif 000005
【図４】
2018055273.tif 000006
【図５】
2018055273.tif 000007
【図６】
2018055273.tif 000008
【図７】
2018055273.tif 000009
【図８】
2018055273.tif 000010
【図９】
2018055273.tif 000011
【図１０】
2018055273.tif 000012
【図１１】
2018055273.tif 000013
【図１２】
2018055273.tif 000014
【図１３】
2018055273.tif 000015
【図１４】
2018055273.tif 000016
【図１５】
2018055273.tif 000017
【図１６】
2018055273.tif 000018
【図１７】
2018055273.tif 000019
【図１８】
2018055273.tif 000020
【図１９】
2018055273.tif 000021
【図２０】
2018055273.tif 000022
【図２１】
2018055273.tif 000023
【図２２】
2018055273.tif 000024
【図２３】
2018055273.tif 000025
【図２４】
2018055273.tif 000026
【図２５】
2018055273.tif 000027
【図２６】
2018055273.tif 000028
【図２７】
2018055273.tif 000029