(57)【要約】【課題】要求される態様を充足する物体をより確実に特定することができる情報処理方法及び情報処理プログラムを提供する。【解決手段】サーバ２は、撮像装置を備える第２の端末装置３から画像を取得し、画像上の物体を認識し、物体に対して要求される態様を示す要求情報に基づいて、認識した物体の態様を特定し、特定した態様と要求情報に示される態様とが一致しているか否かを判定する判定処理を行い、判定処理が終了していない要求の示す態様が存在する場合、物体の画像上の態様を変化させることを第２の端末装置３のユーザへ指示するための指示情報を生成し、生成した指示情報を第２の端末装置３に提示させる。【選択図】図２
2019191642.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
撮像装置を備える端末から画像を取得し、
前記画像上の物体を認識し、
前記物体に対して要求される態様を示す要求情報に基づいて、認識した前記物体の態様を特定し、
特定した態様と前記要求情報に示される態様とが一致しているか否かを判定する判定処理を行い、
前記判定処理が終了していない前記要求の示す態様が存在する場合、前記物体の画像上の態様を変化させることを前記端末のユーザへ指示するための指示情報を生成し、
生成した前記指示情報を前記端末に提示させる、
情報処理方法。
【請求項２】
前記指示情報の生成は、特定した態様と前記要求情報に示される態様とが一致していると判定された後、前記指示情報を生成する、
請求項１記載の情報処理方法。
【請求項３】
前記指示情報の生成は、前記判定処理が終了していない他の要求情報が存在する場合、前記指示情報を生成する、
請求項１又は２記載の情報処理方法。
【請求項４】
さらに、前記端末とは異なる他の端末から前記要求情報を取得する、
請求項１〜３のいずれか１項に記載の情報処理方法。
【請求項５】
前記態様は、前記物体の形状を示す、
請求項１〜４のいずれか１項に記載の情報処理方法。
【請求項６】
前記ユーザとは異なる他のユーザによって、前記端末とは異なる他の端末の撮像装置によって撮像された画像上の前記物体の所定の領域が指定され、
さらに、前記他の端末から前記所定の領域を示す前記要求情報を取得し、
前記判定処理は、認識した前記物体の複数の特徴点を抽出し、抽出した前記複数の特徴点のうちの前記所定の領域に含まれる特徴点群を特定し、特定した前記特徴点群の形状と、前記要求情報に示される形状とが一致しているか否かを判定する、
請求項５記載の情報処理方法。
【請求項７】
前記態様は、前記物体に付属する付随物の大きさを示す、
請求項１〜４のいずれか１項に記載の情報処理方法。
【請求項８】
前記指示情報は、前記物体を前記ユーザに移動させる指示を含む、
請求項１〜７のいずれか１項に記載の情報処理方法。
【請求項９】
前記指示情報は、前記撮像装置に対する操作指示を含む、
請求項１〜７のいずれか１項に記載の情報処理方法。
【請求項１０】
前記提示は、前記撮像装置によって撮像された画像上に前記指示情報を重畳させる、
請求項１〜９のいずれか１項に記載の情報処理方法。
【請求項１１】
コンピュータに、
撮像装置を備える端末から画像を取得し、
前記画像上の物体を認識し、
前記物体に対して要求される態様を示す要求情報に基づいて、認識した前記物体の態様を特定し、
特定した態様と前記要求情報に示される態様とが一致しているか否かを判定する判定処理を行い、
前記判定処理が終了していない前記要求の示す態様が存在する場合、前記物体の画像上の態様を変化させることを前記端末のユーザへ指示するための指示情報を生成し、
生成した前記指示情報を前記端末に提示させる、
処理を実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、所望する物体のユーザによる選択を支援するための情報処理方法及び情報処理プログラムに関するものである。
【背景技術】
【０００２】
従来、所望する商品を簡単に見つけるための技術が提案されている（例えば、特許文献１参照）。特許文献１の買い物支援装置では、撮像された周辺画像の画像認識結果と、買い物リストに含まれる情報とに基づいて、当該周辺画像に当該情報が示す対象が存在するか否かが判定され、存在すると判定された対象の存在がユーザに通知される。これにより、買い物を行う店又は買い物を行う商品等をユーザは手間をかけずに確実に気づくことができ、ユーザの買い物をより確実に支援することができる。
【０００３】
また、従来、入力画像から画像特徴量を抽出し、抽出した画像特徴量に類似する画像を検索する技術が提案されている（例えば、特許文献２参照）。特許文献２の画像処理装置では、入力画像において検索に用いる領域を指定領域として指定し、画像特徴量を抽出するのに必要な領域の大きさに関する情報を取得し、該情報に基づいて指定領域を拡大したものをクエリ領域として決定し、クエリ領域から画像特徴量を抽出し、抽出した画像特徴量に基づいて該画像特徴量に類似する画像を検索する。これにより、類似画像検索の検索精度が向上し処理時間も短縮される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１１１３４４号公報
【特許文献２】特開２０１０−１２８９２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の技術では、要求される態様を充足する物体を特定することができない場合があり、更なる改善が必要とされていた。
【０００６】
本開示は、上記の問題を解決するためになされたもので、要求される態様を充足する物体をより確実に特定することができる情報処理方法及び情報処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
本開示の一態様に係る情報処理方法は、コンピュータが、撮像装置を備える端末から画像を取得し、前記画像上の物体を認識し、前記物体に対して要求される態様を示す要求情報に基づいて、認識した前記物体の態様を特定し、特定した態様と前記要求情報に示される態様とが一致しているか否かを判定する判定処理を行い、前記判定処理が終了していない前記要求の示す態様が存在する場合、前記物体の画像上の態様を変化させることを前記端末のユーザへ指示するための指示情報を生成し、生成した前記指示情報を前記端末に提示させる。
【発明の効果】
【０００８】
本開示によれば、要求される態様を充足する物体をより確実に特定することができる。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施の形態における情報処理システムの構成の一例を示す図である。
【図２】本実施の形態における第１の端末装置、サーバ及び第２の端末装置の構成を示すブロック図である。
【図３】本開示の実施の形態における第１の端末装置とサーバとの処理の一例を示すシーケンス図である。
【図４】本開示の実施の形態におけるサーバと第２の端末装置との処理の一例を示すシーケンス図である。
【図５】本開示の実施の形態におけるサーバの処理の一例を示す第１のフローチャートである。
【図６】本開示の実施の形態におけるサーバの処理の一例を示す第２のフローチャートである。
【図７】第１の食材を表示した画像に対して第１のユーザによる所定の領域の入力を受け付けるために第１の端末装置に表示される入力画面の一例を示す図である。
【図８】第１の食材を表示した画像に対して第１のユーザによるテキスト情報の入力を受け付けるために第１の端末装置に表示される入力画面の一例を示す図である。
【図９】第２の食材を表示した画像に対して第１のユーザによる所定の領域の入力を受け付けるために第１の端末装置に表示される入力画面の一例を示す図である。
【図１０】第２の食材を表示した画像に対して第１のユーザによるテキスト情報の入力を受け付けるために第１の端末装置に表示される入力画面の他の例を示す図である。
【図１１】本実施の形態において、要求情報ＤＢに記憶されるテーブルデータの一例を示す図である。
【図１２】第２のユーザに要求情報を提示するために第２の端末装置に表示される表示画面の一例を示す図である。
【図１３】本実施の形態において、操作指示情報ＤＢに記憶されるテーブルデータの一例を示す図である。
【図１４】第２のユーザに操作指示情報を提示するために第２の端末装置に表示される表示画面の一例を示す図である。
【図１５】食材の態様が第１のユーザの要求を充足していない場合に第２の端末装置に表示される表示画面の一例を示す図である。
【図１６】食材の態様が第１のユーザの要求を充足しており、表示された食材を購入候補として決定する場合に第２の端末装置に表示される表示画面の一例を示す図である。
【図１７】要求情報で示される所定の領域に含まれる特徴点群を特定できない場合に第２の端末装置に表示される表示画面の一例を示す図である。
【図１８】第３の食材を表示した画像に対して第１のユーザによる所定の領域の入力を受け付けるために第１の端末装置に表示される入力画面の一例を示す図である。
【図１９】第３の食材を表示した画像に対して第１のユーザによるテキスト情報の入力を受け付けるために第１の端末装置に表示される入力画面の他の例を示す図である。
【図２０】本実施の形態において、要求情報ＤＢに記憶されるテーブルデータの他の例を示す図である。
【図２１】第２のユーザに要求情報を提示するために第２の端末装置に表示される表示画面の他の例を示す図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
一般的に、野菜などの生鮮食材の状態は、同じ店舗内の同じ売り場であっても、様々である。日頃から生鮮食材を購入しない購入者が生鮮食材の購入を依頼された場合、購入者は、依頼者が満足する生鮮食材を購入することができない場合がある。特に、依頼者が、食材の形状などにこだわりがある場合、購入者は、単に依頼された食材を購入したのでは、依頼者を満足させることができない。
【００１１】
また、従来の画像処理装置が、依頼者が所望する食材を撮影した画像を取得し、取得した画像から画像特徴量を抽出し、購入者が撮影した画像から、抽出した画像特徴量に類似する画像を検索することにより、依頼者が所望する食材を見つけることも可能である。しかしながら、野菜などの生鮮食材を一方向から撮影した平面画像からは、局所的な画像特徴量のみしか抽出することができず、一方向から見て所望の形状の食材であったとしても、他方向から見て所望の形状の食材であるとは限らない。
【００１２】
そのため、従来の画像処理装置では、要求される態様を充足する物体を特定することができないおそれがある。
【００１３】
以上の課題を解決するために、本開示の一態様に係る情報処理方法は、コンピュータが、撮像装置を備える端末から画像を取得し、前記画像上の物体を認識し、前記物体に対して要求される態様を示す要求情報に基づいて、認識した前記物体の態様を特定し、特定した態様と前記要求情報に示される態様とが一致しているか否かを判定する判定処理を行い、前記判定処理が終了していない前記要求の示す態様が存在する場合、前記物体の画像上の態様を変化させることを前記端末のユーザへ指示するための指示情報を生成し、生成した前記指示情報を前記端末に提示させる。
【００１４】
この構成によれば、撮像装置を備える端末から画像が取得される。画像上の物体が認識される。物体に対して要求される態様を示す要求情報に基づいて、認識した物体の態様が特定される。特定された態様と要求情報に示される態様とが一致しているか否かを判定する判定処理が行われる。判定処理が終了していない要求の示す態様が存在する場合、物体の画像上の態様を変化させることを端末のユーザへ指示するための指示情報が生成される。生成された指示情報が端末に提示される。
【００１５】
したがって、判定処理が終了していない要求の示す態様が存在する場合、物体の画像上の態様を変化させることを端末のユーザへ指示するための指示情報が生成され、生成された指示情報が端末に提示されるので、変化させた態様と要求情報に示される態様とが一致しているか否かについても判定させることができ、要求される態様を充足する物体をより確実に特定することができる。
【００１６】
また、上記の情報処理方法において、前記指示情報の生成は、特定した態様と前記要求情報に示される態様とが一致していると判定された後、前記指示情報を生成してもよい。
【００１７】
この構成によれば、指示情報の生成において、特定された態様と要求情報に示される態様とが一致していると判定された後、指示情報が生成される。
【００１８】
したがって、特定された態様と要求情報に示される態様とが一致していると判定された場合に、物体の画像上の態様を変化させることが端末のユーザへ指示され、変化させた態様と要求情報に示される態様とが一致しているか否かについても判定させるので、要求される態様を充足する物体をより多面的に特定することができる。
【００１９】
また、上記の情報処理方法において、前記指示情報の生成は、前記判定処理が終了していない他の要求情報が存在する場合、前記指示情報を生成してもよい。
【００２０】
この構成によれば、指示情報の生成において、判定処理が終了していない他の要求情報が存在する場合、指示情報が生成される。
【００２１】
したがって、判定処理が終了していない他の要求情報が存在する場合に、物体の画像上の態様を変化させることが端末のユーザへ指示され、変化させた態様と他の要求情報に示される態様とが一致しているか否かについても判定させるので、他に要求される態様を充足する物体を特定することができる。
【００２２】
また、上記の情報処理方法において、さらに、前記端末とは異なる他の端末から前記要求情報を取得してもよい。
【００２３】
この構成によれば、端末とは異なる他の端末から要求情報が取得されるので、端末のユーザとは異なる他の端末の他のユーザによって要求された要求情報に基づいて、判定処理を行うことができ、他のユーザから要求される態様を充足する物体を特定することができる。
【００２４】
また、上記の情報処理方法において、前記態様は、前記物体の形状を示してもよい。
【００２５】
この構成によれば、態様は、物体の形状を示すので、認識した物体の形状を特定し、特定した形状と要求情報に示される物体の形状とが一致しているか否かを判定することができ、要求される物体の形状を充足する物体をより確実に特定することができる。
【００２６】
また、上記の情報処理方法において、前記ユーザとは異なる他のユーザによって、前記端末とは異なる他の端末の撮像装置によって撮像された画像上の前記物体の所定の領域が指定され、さらに、前記他の端末から前記所定の領域を示す前記要求情報を取得し、前記判定処理は、認識した前記物体の複数の特徴点を抽出し、抽出した前記複数の特徴点のうちの前記所定の領域に含まれる特徴点群を特定し、特定した前記特徴点群の形状と、前記要求情報に示される形状とが一致しているか否かを判定してもよい。
【００２７】
この構成によれば、ユーザとは異なる他のユーザによって、端末とは異なる他の端末の撮像装置によって撮像された画像上の物体の所定の領域が指定される。他の端末から所定の領域を示す要求情報が取得される。判定処理において、認識された物体の複数の特徴点が抽出され、抽出された複数の特徴点のうちの所定の領域に含まれる特徴点群が特定され、特定された特徴点群の形状と、要求情報に示される形状とが一致しているか否かが判定される。
【００２８】
したがって、認識された物体の複数の特徴点が抽出され、抽出された複数の特徴点のうちの所定の領域に含まれる特徴点群が特定され、特定された特徴点群の形状と、要求情報に示される形状とが一致しているか否かが判定されるので、画像から特定された物体の形状が、要求される物体の形状と一致するか否かを確実に判定することができる。
【００２９】
また、上記の情報処理方法において、前記態様は、前記物体に付属する付随物の大きさを示してもよい。
【００３０】
この構成によれば、態様は、物体に付属する付随物の大きさを示すので、認識した物体に付属する付随物の大きさを特定し、特定した大きさと要求情報に示される物体の付属物の大きさとが一致しているか否かを判定することができ、要求される物体の付属物の大きさを充足する物体をより確実に特定することができる。
【００３１】
また、上記の情報処理方法において、前記指示情報は、前記物体を前記ユーザに移動させる指示を含んでもよい。
【００３２】
この構成によれば、指示情報は、物体をユーザに移動させる指示を含むので、ユーザが物体を移動させることにより、物体の画像上の態様を変化させることができる。
【００３３】
また、上記の情報処理方法において、前記指示情報は、前記撮像装置に対する操作指示を含んでもよい。
【００３４】
この構成によれば、指示情報は、撮像装置に対する操作指示を含むので、撮像装置に対する操作が行われることにより、物体の画像上の態様を変化させることができる。
【００３５】
また、上記の情報処理方法において、前記提示は、前記撮像装置によって撮像された画像上に前記指示情報を重畳させてもよい。
【００３６】
この構成によれば、提示において、撮像装置によって撮像された画像上に指示情報を重畳させるので、ユーザは、撮像装置によって撮像された画像を確認しながら、物体の画像上の態様を変化させることができる。
【００３７】
本開示の他の態様に係る情報処理プログラムは、コンピュータに、撮像装置を備える端末から画像を取得し、前記画像上の物体を認識し、前記物体に対して要求される態様を示す要求情報に基づいて、認識した前記物体の態様を特定し、特定した態様と前記要求情報に示される態様とが一致しているか否かを判定する判定処理を行い、前記判定処理が終了していない前記要求の示す態様が存在する場合、前記物体の画像上の態様を変化させることを前記端末のユーザへ指示するための指示情報を生成し、生成した前記指示情報を前記端末に提示させる、処理を実行させる。
【００３８】
この構成によれば、撮像装置を備える端末から画像が取得される。画像上の物体が認識される。物体に対して要求される態様を示す要求情報に基づいて、認識した物体の態様が特定される。特定された態様と要求情報に示される態様とが一致しているか否かを判定する判定処理が行われる。判定処理が終了していない要求の示す態様が存在する場合、物体の画像上の態様を変化させることを端末のユーザへ指示するための指示情報が生成される。生成された指示情報が端末に提示される。
【００３９】
したがって、判定処理が終了していない要求の示す態様が存在する場合、物体の画像上の態様を変化させることを端末のユーザへ指示するための指示情報が生成され、生成された指示情報が端末に提示されるので、変化させた態様と要求情報に示される態様とが一致しているか否かについても判定させることができ、要求される態様を充足する物体をより確実に特定することができる。
【００４０】
以下、本開示の実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、本開示の包括的又は具体的な例を示すものであり、本開示の技術的範囲を限定するものではない。
【００４１】
また、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。
【００４２】
また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００４３】
（実施の形態）
図１は、本開示の実施の形態における情報処理システムの構成の一例を示す図である。図１に示す情報処理システムは、第１の端末装置１、サーバ２及び第２の端末装置３を備える。
【００４４】
第１の端末装置１は、例えば、スマートフォン、タブレット型コンピュータ又はパーソナルコンピュータであり、自宅１００にいる第１のユーザ１０１によって利用される。第１のユーザ１０１は、自身が所望する態様の食材の購入を第２のユーザ２０１に依頼する依頼者である。食材は、例えば、野菜又は果物などの生鮮食材である。第１の端末装置１は、ネットワーク４を介してサーバ２と互いに通信可能に接続されている。ネットワーク４は、例えばインターネットである。
【００４５】
第１の端末装置１は、自宅１００にいる第１のユーザ１０１が所望する食材の態様を示す情報の入力を受け付け、受け付けた情報をサーバ２へ送信する。
【００４６】
第２の端末装置３は、例えば、スマートフォン又はタブレット型コンピュータであり、店舗２００にいる第２のユーザ２０１によって利用される。第２のユーザ２０１は、第１のユーザ１０１が所望する態様の食材を店舗２００で購入する購入者である。店舗２００は、例えば、スーパーマーケットである。第２の端末装置３は、ネットワーク４を介してサーバ２と互いに通信可能に接続されている。
【００４７】
第２の端末装置３は、店舗２００において撮影された食材の態様が、第１のユーザ１０１が所望する食材の態様と一致するか否かを第２のユーザ２０１に提示する。
【００４８】
サーバ２は、第１のユーザ１０１が所望する態様の食材の第２のユーザ２０１による選択を支援する。サーバ２は、第１の端末装置１及び第２の端末装置３のそれぞれとネットワーク４を介して互いに通信可能に接続されている。
【００４９】
サーバ２は、店舗２００において撮影された食材の態様が、第１のユーザ１０１が所望する食材の態様と一致するか否かを判定し、判定結果を第２の端末装置３へ送信する。
【００５０】
図２は、本実施の形態における第１の端末装置、サーバ及び第２の端末装置の構成を示すブロック図である。
【００５１】
第１の端末装置１は、撮像部１１、表示部１２、操作情報取得部１３、要求情報生成部１４及び通信部１５を備える。なお、要求情報生成部１４は、プロセッサにより実現される。
【００５２】
サーバ２は、通信部２１、画像処理部２２、要求情報ＤＢ（データベース）２３、要求充足判定部２４、操作指示情報ＤＢ２５及び操作指示情報生成部２６を備える。なお、画像処理部２２、要求充足判定部２４及び操作指示情報生成部２６は、プロセッサにより実現され、要求情報ＤＢ２３及び操作指示情報ＤＢ２５は、メモリにより実現される。
【００５３】
第２の端末装置３は、撮像部３１、通信部３２、要求情報表示制御部３３、要求充足結果表示制御部３４、操作指示情報表示制御部３５及び表示部３６を備える。なお、要求情報表示制御部３３、要求充足結果表示制御部３４及び操作指示情報表示制御部３５は、プロセッサにより実現される。
【００５４】
第１の端末装置１の撮像部１１は、例えば撮像装置であり、物体の一例である食材を撮像し、撮像した画像を取得する。第１のユーザ１０１は、第２のユーザ２０１に購入を依頼する食材を撮像部１１に撮像させる。撮像される食材は、第１のユーザ１０１が所望する態様を有している。
【００５５】
表示部１２は、例えば液晶表示装置であり、撮像部１１によって撮像された画像を表示する。
【００５６】
操作情報取得部１３は、例えば、タッチパネル、キーボード又はマウスなどであり、第１のユーザ１０１による操作情報の入力を受け付け、入力を受け付けた操作情報を取得する。第１のユーザ１０１は、自身が所望する食材の態様を指定するための操作情報を入力する。態様は、例えば、食材の形状を示す。第１のユーザ１０１は、第１の端末装置１の撮像部１１によって撮像された画像上の食材（物体）の所定の領域を指定することにより、自身が所望する食材の形状を指定する。
【００５７】
なお、本実施の形態では、撮像部１１によって撮像される食材（物体）は、第１のユーザ１０１によって要求される態様を有しているが、本開示は特にこれに限定されず、撮像部１１によって撮像される食材（物体）は、第１のユーザ１０１によって要求される態様を有していなくてもよい。この場合、第１のユーザ１０１は、表示部１２に表示される画像に関係なく、自身が所望する食材の態様を指定するための操作情報を入力する。
【００５８】
要求情報生成部１４は、操作情報取得部１３によって取得された操作情報に基づいて、食材（物体）に対して要求される態様を示す要求情報を生成する。要求情報生成部１４は、操作情報取得部１３によって指定された所定の領域を示す要求情報を生成する。
【００５９】
通信部１５は、要求情報生成部１４によって生成された要求情報と、撮像部１１によって撮像された画像とをサーバ２へ送信する。
【００６０】
サーバ２の通信部２１は、第１の端末装置１によって送信された要求情報及び画像を取得する。通信部２１は、第１の端末装置１によって送信された要求情報及び画像を受信する。
【００６１】
画像処理部２２は、通信部２１によって受信された第１の端末装置１からの画像上の食材（物体）を認識する。画像処理部２２は、一般的な画像認識技術を用いて、第１の端末装置１からの画像に含まれる食材を認識し、食材の種別を判別する。また、画像処理部２２は、認識した食材（物体）の複数の特徴点を抽出し、抽出した複数の特徴点のうちの要求情報で示される所定の領域に含まれる特徴点群を特定する。画像処理部２２は、判別した食材の種別と、特定した特徴点群と、通信部２１によって受信された第１の端末装置１からの要求情報とを対応付けて要求情報ＤＢ２３に記憶する。
【００６２】
画像処理部２２は、例えば、Ｈａｒｒｉｓ作用素と呼ばれる特徴点抽出方法により、画像内の特徴点を抽出する。画像処理部２２は、画像上のエッジ又はコーナなどの画素値の変化の度合いが大きい画素を着目する画素とし、着目する画素と着目する画素を囲む８画素（合計９画素）の画素値を比較する。そして、画像処理部２２は、着目する画素の画素値が９画素の中で最大になり且つ閾値以上である場合、着目する画素を特徴点として抽出する。なお、特徴点抽出方法については、特に上記に限定されず、画像内の食材（物体）の輪郭上の特徴点を抽出することができれば、どのような特徴点抽出方法を用いてもよい。
【００６３】
要求情報ＤＢ２３は、食材（物体）に対して要求される要求情報と、要求情報で示される所定の領域に含まれる特徴点群と、食材（物体）の種別とを対応付けて記憶する。
【００６４】
第２の端末装置３の撮像部３１は、例えば撮像装置であり、物体の一例である食材を撮像し、撮像した画像を取得する。
【００６５】
表示部３６は、例えば液晶表示装置であり、撮像部３１によって撮像された画像を表示する。
【００６６】
通信部３２は、撮像部３１によって撮像された画像をサーバ２へ送信する。
【００６７】
サーバ２の通信部２１は、第２の端末装置３によって送信された画像を取得する。通信部２１は、第２の端末装置３によって送信された画像を受信する。
【００６８】
画像処理部２２は、通信部２１によって受信された第２の端末装置３からの画像上の食材（物体）を認識する。画像処理部２２は、第２の端末装置３からの画像上の食材の種別を画像認識により判別する。また、画像処理部２２は、食材（物体）に対して要求される態様を示す要求情報に基づいて、認識した食材（物体）の態様を特定する。画像処理部２２は、認識した食材（物体）の複数の特徴点を抽出し、抽出した複数の特徴点のうちの要求情報で示される所定の領域に含まれる特徴点群を特定する。
【００６９】
要求充足判定部２４は、画像処理部２２によって特定された態様と要求情報に示される態様とが一致しているか否かを判定する判定処理を行う。要求充足判定部２４は、画像処理部２２によって特定された特徴点群の形状と、要求情報ＤＢ２３に記憶されている要求情報に示される形状とが一致しているか否かを判定する。すなわち、要求充足判定部２４は、画像処理部２２によって判別された食材の種別に対応付けられている特徴点群を要求情報ＤＢ２３から読み出す。要求充足判定部２４は、画像処理部２２によって特定された特徴点群の形状と、要求情報ＤＢ２３から読み出した特徴点群の形状とが一致しているか否かを判定する。
【００７０】
なお、要求充足判定部２４は、画像処理部２２によって特定された特徴点群の形状と、要求情報ＤＢ２３から読み出した特徴点群の形状とが完全に一致しているか否かを判定してもよいし、画像処理部２２によって特定された特徴点群の形状と、要求情報ＤＢ２３から読み出した特徴点群の形状とが実質的に一致しているか否かを判定してもよい。すなわち、要求充足判定部２４は、画像処理部２２によって特定された特徴点群の形状と、要求情報ＤＢ２３から読み出した特徴点群の形状との一致度（類似度）が閾値以上であるか否かを判定してもよい。
【００７１】
操作指示情報ＤＢ２５は、食材（物体）の種別と、食材（物体）の画像上の態様を変化させることをユーザへ指示するための操作指示情報とを対応付けて記憶する。ここで、操作指示情報は、例えば、食材（物体）をユーザに移動させる指示を含む。
【００７２】
操作指示情報生成部２６は、判定処理が終了していない要求の示す態様が存在する場合、食材（物体）の画像上の態様を変化させることを第２の端末装置３の第２のユーザ２０１へ指示するための操作指示情報（指示情報）を生成する。操作指示情報生成部２６は、要求充足判定部２４によって、特定された態様と要求情報に示される態様とが一致していると判定された後、操作指示情報を生成する。このとき、操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報を操作指示情報ＤＢ２５から読み出す。なお、操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報が操作指示情報ＤＢ２５に存在しない場合、操作指示情報を生成しない。
【００７３】
通信部２１は、操作指示情報生成部２６によって生成された操作指示情報（指示情報）を第２の端末装置３に提示させる。通信部２１は、操作指示情報生成部２６によって生成された操作指示情報を第２の端末装置３へ送信する。また、通信部２１は、画像処理部２２によって判別された食材の種別に対応する要求情報を第２の端末装置３へ送信する。さらに、通信部２１は、要求充足判定部２４によって、特定された態様と要求情報に示される態様とが一致していると判定された場合、第１のユーザ１０１からの要求を充足していることを示す要求充足判定情報を第２の端末装置３へ送信する。
【００７４】
第２の端末装置３の通信部３２は、サーバ２によって送信された操作指示情報を受信する。また、通信部３２は、サーバ２によって送信された要求情報を受信する。さらに、通信部３２は、サーバ２によって送信された要求充足判定情報を受信する。
【００７５】
要求情報表示制御部３３は、通信部３２によって受信された要求情報を表示部３６に表示させる。このとき、要求情報表示制御部３３は、撮像部３１によって撮像された画像上に要求情報を重畳させる。
【００７６】
要求充足結果表示制御部３４は、通信部３２によって受信された要求充足判定情報に基づき、要求充足判定結果を表示部３６に表示させる。このとき、要求充足結果表示制御部３４は、撮像部３１によって撮像された画像上に要求充足判定結果を重畳させる。要求充足結果表示制御部３４は、第１のユーザ１０１からの要求を充足していることを示す要求充足判定情報が受信された場合、第１のユーザ１０１からの要求を充足していることを示す要求充足判定結果を表示部３６に表示させる。
【００７７】
なお、要求充足結果表示制御部３４は、第１のユーザ１０１からの要求を充足していることを示す要求充足判定情報が受信されない場合、又は第１のユーザ１０１からの要求を充足していないことを示す要求充足判定情報が受信された場合、要求充足判定結果を表示部３６に表示させなくてもよい。また、要求充足結果表示制御部３４は、第１のユーザ１０１からの要求を充足していないことを示す要求充足判定情報が受信された場合、第１のユーザ１０１からの要求を充足していないことを示す要求充足判定結果を表示部３６に表示させてもよい。
【００７８】
操作指示情報表示制御部３５は、通信部３２によって受信された操作指示情報を表示部３６に表示させる。このとき、操作指示情報表示制御部３５は、撮像部３１によって撮像された画像上に操作指示情報を重畳させる。
【００７９】
図３は、本開示の実施の形態における第１の端末装置とサーバとの処理の一例を示すシーケンス図である。図３に示す処理は、第１のユーザ１０１が、第２のユーザ２０１に購入を依頼する食材を自宅１００において登録する際に実行される。
【００８０】
まず、ステップＳ１において、第１の端末装置１の撮像部１１は、第１のユーザ１０１が購入を希望する食材を撮像し、撮像した食材の画像を取得する。
【００８１】
次に、ステップＳ２において、表示部１２は、撮像部１１によって撮像された画像を表示する。
【００８２】
次に、ステップＳ３において、操作情報取得部１３は、第１のユーザ１０１による操作情報の入力を受け付け、入力を受け付けた操作情報を取得する。
【００８３】
次に、ステップＳ４において、要求情報生成部１４は、操作情報取得部１３によって取得された操作情報に基づいて、食材に対して要求される態様を示す要求情報を生成する。要求情報は、第１のユーザ１０１により入力された画像上の所定の領域を含む。なお、所定の領域は、画像上の画素の座標で表される。また、要求情報は、第１のユーザ１０１が所望する食材の形状を示すテキスト情報を含んでもよい。テキスト情報の表示位置は、画像上の画素の座標で表される。
【００８４】
次に、ステップＳ５において、通信部１５は、要求情報生成部１４によって生成された要求情報と、撮像部１１によって取得された画像とをサーバ２へ送信する。
【００８５】
次に、ステップＳ６において、サーバ２の通信部２１は、第１の端末装置１によって送信された要求情報及び画像を受信する。
【００８６】
次に、ステップＳ７において、画像処理部２２は、通信部２１によって受信された画像に含まれる食材を認識し、食材の種別を判別する。
【００８７】
次に、ステップＳ８において、画像処理部２２は、認識した食材の複数の特徴点を抽出する。画像処理部２２は、例えば、画像内の食材の輪郭部分の複数の特徴点を抽出する。
【００８８】
次に、ステップＳ９において、画像処理部２２は、抽出した複数の特徴点のうちの要求情報で示される所定の領域に含まれる特徴点群を特定する。
【００８９】
次に、ステップＳ１０において、画像処理部２２は、判別した食材の種別と、特定した特徴点群と、通信部２１によって受信された第１の端末装置１からの要求情報とを対応付けて要求情報ＤＢ２３に記憶する。なお、特徴点群の各特徴点は、画像上の画素の座標で表される。
【００９０】
図４は、本開示の実施の形態におけるサーバと第２の端末装置との処理の一例を示すシーケンス図である。図４に示す処理は、第２のユーザ２０１が、第１のユーザ１０１によって依頼された食材を店舗２００において購入する際に実行される。
【００９１】
まず、ステップＳ２１において、第２の端末装置３の撮像部３１は、第１のユーザ１０１によって購入を依頼された食材を撮像し、撮像した画像を取得する。
【００９２】
次に、ステップＳ２２において、通信部３２は、撮像部３１によって撮像された画像をサーバ２へ送信する。
【００９３】
次に、ステップＳ２３において、表示部３６は、撮像部３１によって撮像された画像を表示する。
【００９４】
次に、ステップＳ２４において、サーバ２の通信部２１は、第２の端末装置３によって送信された画像を受信する。
【００９５】
次に、ステップＳ２５において、画像処理部２２は、通信部２１によって受信された画像に含まれる食材を認識し、食材の種別を判別する。
【００９６】
次に、ステップＳ２６において、画像処理部２２は、認識した食材の複数の特徴点を抽出する。画像処理部２２は、例えば、画像内の食材の輪郭部分の複数の特徴点を抽出する。
【００９７】
次に、ステップＳ２７において、画像処理部２２は、判別した食材の種別に対応する特徴点群及び要求情報を要求情報ＤＢ２３から取得する。
【００９８】
次に、ステップＳ２８において、通信部２１は、画像処理部２２によって判別された食材の種別に対応する要求情報を第２の端末装置３へ送信する。
【００９９】
次に、ステップＳ２９において、第２の端末装置３の通信部３２は、サーバ２によって送信された要求情報を受信する。
【０１００】
次に、ステップＳ３０において、表示部３６は、撮像部３１によって撮像された画像上に、通信部３２によって受信された要求情報を重畳して表示する。
【０１０１】
次に、ステップＳ３１において、画像処理部２２は、抽出した複数の特徴点のうちの取得した要求情報で示される所定の領域に含まれる特徴点群を特定する。
【０１０２】
次に、ステップＳ３２において、要求充足判定部２４は、要求情報ＤＢ２３から取得した特徴点群と、特定した特徴点群とに基づいて、第１のユーザ１０１の要求を充足するか否かを判定する。なお、ステップＳ３２における要求充足判定については後述する。
【０１０３】
次に、ステップＳ３３において、通信部２１は、第１のユーザ１０１からの要求を充足していることを示す要求充足判定情報を第２の端末装置３へ送信する。なお、要求充足判定情報は、取得した特徴点群と、特定した特徴点群とが一致していると判定された場合に送信される。
【０１０４】
次に、ステップＳ３４において、第２の端末装置３の通信部３２は、サーバ２によって送信された要求充足判定情報を受信する。
【０１０５】
次に、ステップＳ３５において、表示部３６は、撮像部３１によって撮像された画像上に、通信部３２によって受信された要求情報と、通信部３２によって受信された要求充足判定情報に基づく要求充足判定結果とを重畳して表示する。
【０１０６】
次に、ステップＳ３６において、サーバ２の操作指示情報生成部２６は、食材の画像上の態様を変化させることを第２の端末装置３の第２のユーザ２０１へ指示するための操作指示情報を生成する。操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報が操作指示情報ＤＢ２５に存在する場合、操作指示情報ＤＢ２５から操作指示情報を取得する。
【０１０７】
次に、ステップＳ３７において、通信部２１は、操作指示情報生成部２６によって生成された操作指示情報を第２の端末装置３へ送信する。
【０１０８】
次に、ステップＳ３８において、第２の端末装置３の通信部３２は、サーバ２によって送信された操作指示情報を受信する。
【０１０９】
次に、ステップＳ３９において、表示部３６は、撮像部３１によって撮像された画像上に、通信部３２によって受信された要求情報と、通信部３２によって受信された要求充足判定情報に基づく要求充足判定結果と、通信部３２によって受信された操作指示情報とを重畳して表示する。
【０１１０】
続いて、本実施の形態におけるサーバ２の処理について更に詳細に説明する。
【０１１１】
図５は、本開示の実施の形態におけるサーバの処理の一例を示す第１のフローチャートであり、図６は、本開示の実施の形態におけるサーバの処理の一例を示す第２のフローチャートである。
【０１１２】
まず、ステップＳ１０１において、サーバ２の通信部２１は、第１の端末装置１及び第２の端末装置３のいずれかによって送信された画像を受信（取得）する。なお、通信部２１は、第１の端末装置１からは画像だけでなく要求情報も受信する。また、通信部２１は、第２の端末装置３からは画像のみを受信する。
【０１１３】
次に、ステップＳ１０２において、画像処理部２２は、通信部２１によって受信された画像に含まれる食材を認識し、食材の種別を判別する。
【０１１４】
次に、ステップＳ１０３において、画像処理部２２は、認識した食材の複数の特徴点を抽出する。画像処理部２２は、例えば、画像内の食材の輪郭部分の複数の特徴点を抽出する。
【０１１５】
次に、ステップＳ１０４において、画像処理部２２は、通信部２１が第１の端末装置１から要求情報を取得したか否かを判断する。ここで、要求情報を受信したと判断された場合（ステップＳ１０４でＹＥＳ）、ステップＳ１０５において、画像処理部２２は、第１の端末装置１から取得した要求情報に基づいて特徴点群を特定する。すなわち、画像処理部２２は、抽出した複数の特徴点のうちの第１の端末装置１から取得した要求情報で示される所定の領域に含まれる特徴点群を特定する。
【０１１６】
次に、ステップＳ１０６において、画像処理部２２は、判別した食材の種別と、特定した特徴点群と、通信部２１によって受信された第１の端末装置１からの要求情報とを対応付けて要求情報ＤＢ２３に記憶する。
【０１１７】
一方、要求情報を受信していないと判断された場合、すなわち、通信部２１が第２の端末装置３から画像のみを受信した場合（ステップＳ１０４でＮＯ）、ステップＳ１０７において、画像処理部２２は、判別した食材の種別に対応する特徴点群及び要求情報を要求情報ＤＢ２３から取得する。
【０１１８】
次に、ステップＳ１０８において、通信部２１は、画像処理部２２によって要求情報ＤＢ２３から取得された要求情報を第２の端末装置３へ送信する。
【０１１９】
次に、ステップＳ１０９において、画像処理部２２は、要求情報ＤＢ２３から取得した要求情報に基づいて特徴点群を特定する。すなわち、画像処理部２２は、抽出した複数の特徴点のうちの要求情報ＤＢ２３から取得した要求情報で示される所定の領域に含まれる特徴点群を特定する。
【０１２０】
次に、ステップＳ１１０において、画像処理部２２は、所定の領域に含まれる特徴点群を特定できたか否かを判断する。例えば、食材の撮影角度によっては、全ての特徴点が抽出されるとは限らず、所定の領域に特徴点が含まれない場合がある。このような場合、取得した画像から所定の領域に含まれる特徴点群を特定できないため、食材を動かしたり、撮影角度を変えたりする必要がある。
【０１２１】
ここで、特徴点群を特定できなかったと判断された場合（ステップＳ１１０でＮＯ）、ステップＳ１１１において、操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報を操作指示情報ＤＢ２５から取得する。操作指示情報は、食材の画像上の態様を変化させることを第２の端末装置３の第２のユーザ２０１へ指示するための情報である。
【０１２２】
次に、ステップＳ１１２において、通信部２１は、操作指示情報生成部２６によって取得された操作指示情報を第２の端末装置３へ送信する。
【０１２３】
なお、画像処理部２２によって判別された食材の種別に対応する操作指示情報が操作指示情報ＤＢ２５に存在しない場合、処理が終了されてもよい。
【０１２４】
一方、特徴点群を特定できたと判断された場合（ステップＳ１１０でＹＥＳ）、ステップＳ１１３において、要求充足判定部２４は、画像処理部２２によって特定された特徴点群の形状と、要求情報ＤＢ２３から取得された特徴点群の形状との一致度を算出する。
【０１２５】
次に、ステップＳ１１４において、要求充足判定部２４は、算出した一致度が閾値以上であるか否かを判断する。ここで、一致度が閾値以上ではないと判断された場合（ステップＳ１１４でＮＯ）、ステップＳ１２０に処理が移行する。
【０１２６】
一方、一致度が閾値以上であると判断された場合（ステップＳ１１４でＹＥＳ）、ステップＳ１１５において、要求充足判定部２４は、第１のユーザ１０１からの要求を充足していることを示す要求充足判定情報を生成する。
【０１２７】
次に、ステップＳ１１６において、通信部２１は、要求充足判定部２４によって生成された要求充足判定情報を第２の端末装置３へ送信する。
【０１２８】
次に、ステップＳ１１７において、操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報が操作指示情報ＤＢ２５にあるか否かを判断する。ここで、食材の種別に対応する操作指示情報が操作指示情報ＤＢ２５にないと判断された場合（ステップＳ１１７でＮＯ）、ステップＳ１２０に処理が移行する。
【０１２９】
一方、食材の種別に対応する操作指示情報が操作指示情報ＤＢ２５にあると判断された場合（ステップＳ１１７でＹＥＳ）、ステップＳ１１８において、操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報を操作指示情報ＤＢ２５から取得する。
【０１３０】
次に、ステップＳ１１９において、通信部２１は、操作指示情報生成部２６によって取得された操作指示情報を第２の端末装置３へ送信する。
【０１３１】
次に、ステップＳ１２０において、画像処理部２２は、要求情報ＤＢ２３から取得した要求情報のうち、未判定の要求情報があるか否かを判断する。すなわち、ステップＳ１０７において、判別した食材の種別に複数の要求情報が対応付けられている場合、画像処理部２２は、複数の要求情報を要求情報ＤＢ２３から取得する。
【０１３２】
ここで、未判定の要求情報があると判断された場合（ステップＳ１２０でＹＥＳ）、ステップＳ１０８に処理が戻る。一方、未判定の要求情報がないと判断された場合（ステップＳ１２０でＮＯ）、処理が終了する。
【０１３３】
続いて、本実施の形態において、第１の端末装置１及び第２の端末装置３における操作について、具体的な表示画面例を用いて説明する。
【０１３４】
図７は、第１の食材を表示した画像に対して第１のユーザによる所定の領域の入力を受け付けるために第１の端末装置に表示される入力画面の一例を示す図である。なお、第１の食材は、ニンジンである。
【０１３５】
第１の端末装置１の表示部１２は、図７に示す入力画面を表示する。図７に示す入力画面は、撮像画像１３１と、テキスト情報選択画面１３２とを含む。撮像画像１３１は、撮像部１１によって撮像された画像である。撮像画像１３１には、第１のユーザ１０１が購入を依頼するニンジン１２１が表示されている。操作情報取得部１３は、タッチパネルであるため、第１のユーザ１０１は、指１０２を画面上にタッチさせることにより、自身が所望する食材の態様を入力する。
【０１３６】
第１のユーザ１０１は、撮像画像１３１上のニンジン１２１の所定の領域を指定することにより、自身が所望する食材の形状を指定する。例えば、第１のユーザ１０１が真っ直ぐな形状のニンジン１２１を希望する場合、ニンジン１２１の側面の輪郭に沿って指１０２を動かす。これにより、第１のユーザ１０１が所望するニンジン１２１の形状を示すライン１２２が画面上に表示される。
【０１３７】
要求情報生成部１４は、第１のユーザ１０１により入力された画像上のライン１２２の座標を含む要求情報を生成する。
【０１３８】
図８は、第１の食材を表示した画像に対して第１のユーザによるテキスト情報の入力を受け付けるために第１の端末装置に表示される入力画面の一例を示す図である。なお、第１の食材は、ニンジンである。
【０１３９】
テキスト情報選択画面１３２には、例えば、「真ん中」、「なめらか」、「真っ直ぐ」及び「形状」の文字画像が選択可能に表示される。第１のユーザ１０１は、ニンジン１２１の形状に関するテキスト情報を添付することが可能である。テキスト情報は、第１のユーザ１０１が所望する食材の態様を第２のユーザ２０１により具体的に伝えるための情報である。例えば、第１のユーザ１０１が真っ直ぐな形状のニンジン１２１を希望する場合、第１のユーザ１０１は、テキスト情報選択画面１３２の「真っ直ぐ」という文字画像に指１０２をタッチさせ、当該文字画像を撮像画像１３１上の所望の位置に移動させる。これにより、第１のユーザ１０１が所望するニンジン１２１の形状を示すテキスト情報１２３が画面上に表示される。
【０１４０】
要求情報生成部１４は、第１のユーザ１０１により入力された画像上のライン１２２の座標と、テキスト情報１２３とを含む要求情報を生成する。テキスト情報１２３は、テキスト文と、テキスト文が表示される画像上の位置座標とを含む。
【０１４１】
図９は、第２の食材を表示した画像に対して第１のユーザによる所定の領域の入力を受け付けるために第１の端末装置に表示される入力画面の一例を示す図である。なお、第２の食材は、大根である。
【０１４２】
撮像画像１３１には、第１のユーザ１０１が購入を依頼する大根１４１が表示されている。操作情報取得部１３は、タッチパネルであるため、第１のユーザ１０１は、指１０２を画面上にタッチさせることにより、自身が所望する食材の態様を入力する。
【０１４３】
第１のユーザ１０１は、撮像画像１３１上の大根１４１の所定の領域を指定することにより、自身が所望する食材の形状を指定する。例えば、第１のユーザ１０１が真っ直ぐな形状の大根１４１を希望する場合、大根１４１の側面の輪郭に沿って指１０２を動かす。これにより、第１のユーザ１０１が所望する大根１４１の形状を示すライン１２２が画面上に表示される。
【０１４４】
要求情報生成部１４は、第１のユーザ１０１により入力された画像上のライン１２２の座標を含む要求情報を生成する。
【０１４５】
また、大根の表面には、複数の側根が並んで生えており、複数の側根が長軸方向に直線状に並んでいる大根の方が、甘みが増すと言われている。そのため、例えば、第１のユーザ１０１は、側根が直線状に並んだ大根１４１を希望する場合、大根１４１の中央の長軸方向に沿って指１０２を動かす。これにより、第１のユーザ１０１が所望する大根１４１の側根の形状を示すライン１４２が画面上に表示される。
【０１４６】
図１０は、第２の食材を表示した画像に対して第１のユーザによるテキスト情報の入力を受け付けるために第１の端末装置に表示される入力画面の他の例を示す図である。なお、第２の食材は、大根である。
【０１４７】
テキスト情報選択画面１３２には、例えば、「真ん中」、「なめらか」、「真っ直ぐ」及び「形状」の文字画像が選択可能に表示される。第１のユーザ１０１は、大根１４１の形状に関するテキスト情報を添付することが可能である。テキスト情報は、第１のユーザ１０１が所望する食材の態様を第２のユーザ２０１により具体的に伝えるための情報である。例えば、第１のユーザ１０１は、複数の側根が真っ直ぐ並んだ大根１４１を希望する場合、テキスト情報選択画面１３２の「真ん中」という文字画像に指１０２をタッチさせ、当該文字画像を撮像画像１３１上の所望の位置に移動させる。これにより、第１のユーザ１０１が所望する大根１４１の形状を示すテキスト情報１４３が画面上に表示される。
【０１４８】
要求情報生成部１４は、第１のユーザ１０１により入力された画像上のライン１４２の座標と、テキスト情報１４３とを含む要求情報を生成する。テキスト情報１４３は、テキスト文と、テキスト文が表示される画像上の位置座標とを含む。
【０１４９】
図１１は、本実施の形態において、要求情報ＤＢに記憶されるテーブルデータの一例を示す図である。
【０１５０】
図１１に示すように、要求情報ＤＢ２３は、食材の種別と、特徴点群と、要求情報とを対応付けたテーブルデータを記憶している。図１１に示す食材の種別は、ニンジン及び大根である。要求情報は、第１のユーザ１０１により入力された画像上のライン（所定の領域）の座標と、テキスト情報とを含む。テキスト情報は、テキスト文と、テキスト文が表示される画像上の位置座標とを含む。画像処理部２２は、認識した食材の複数の特徴点を抽出し、抽出した複数の特徴点のうちの要求情報で示される所定の領域に含まれる特徴点群を特定する。なお、所定の領域がラインで表されている場合、画像処理部２２は、ラインに含まれる特徴点群を特定してもよいし、ラインから所定の画素数分の幅を有する領域に含まれる特徴点群を特定してもよい。そして、画像処理部２２は、判別した食材の種別と、特定した特徴点群と、要求情報とを対応付けて要求情報ＤＢ２３に記憶する。
【０１５１】
図１２は、第２のユーザに要求情報を提示するために第２の端末装置に表示される表示画面の一例を示す図である。
【０１５２】
第２の端末装置３の表示部３６は、図１２に示す表示画面を表示する。図１２に示す表示画面には、撮像部３１によって撮像された画像３６０が表示される。画像３６０には、第２のユーザ２０１が購入を検討するニンジン３６１が表示されている。また、表示画面には、要求情報３６２が、画像３６０に重畳して表示される。要求情報３６２は、直線状のラインと、テキスト情報とで構成される。第２のユーザ２０１は、表示されるニンジン３６１の輪郭部分が要求情報３６２で示される直線状のラインに一致するように、ニンジン３６１を撮影する。
【０１５３】
さらに、表示画面には、要求充足判定結果３６３が、画像３６０に重畳して表示される。サーバ２の要求充足判定部２４は、要求情報ＤＢ２３から取得した特徴点群の形状と、第２の端末装置３で撮像された画像から特定した特徴点群の形状とが一致しているか否かを判定する。そして、取得した特徴点群と、特定した特徴点群とが一致していると判定された場合、通信部２１は、第１のユーザ１０１からの要求を充足していることを示す要求充足判定情報を第２の端末装置３へ送信する。サーバ２の通信部によって要求充足判定情報が受信されると、要求充足結果表示制御部３４は、要求充足判定結果３６３を表示部３６に表示させる。
【０１５４】
要求充足判定結果３６３は、要求情報３６２で示される直線状のラインの近傍に表示され、当該要求情報３６２のラインと同じ形状であり、当該要求情報３６２のラインをより強調させた直線状のラインで表される。図１２では、要求充足判定結果３６３は、例えば、要求情報３６２で示されるラインよりも太く、かつ要求情報３６２で示されるラインとは異なる色で表示される。要求充足判定結果３６３を強調して表示する方法については、上記に限定されない。
【０１５５】
このように、要求充足判定結果３６３が強調して表示されることにより、第２のユーザ２０１は、表示されている食材が、第１のユーザ１０１の要求を充足しているか否かを容易に確認することができる。
【０１５６】
図１３は、本実施の形態において、操作指示情報ＤＢに記憶されるテーブルデータの一例を示す図である。
【０１５７】
図１３に示すように、操作指示情報ＤＢ２５は、食材の種別と、操作指示情報と、テキスト情報とを対応付けたテーブルデータを記憶している。操作指示情報は、食材の画像上の態様を変化させることを第２の端末装置３の第２のユーザ２０１へ指示するための画像情報である。例えば、食材の種別がニンジン又は大根である場合、円柱状の食材の中心軸を回転軸として９０度回転させることを指示する画像が操作指示情報として対応付けられている。また、テキスト情報は、食材の画像上の態様を変化させるためにどのような操作を行うかを第２のユーザ２０１により具体的に伝えるための情報である。
【０１５８】
また、例えば食材の種別がみかんである場合、横向きの状態から上方又は下方に９０度回転させることを指示する画像が操作指示情報として対応付けられている。
【０１５９】
図１４は、第２のユーザに操作指示情報を提示するために第２の端末装置に表示される表示画面の一例を示す図である。
【０１６０】
第２の端末装置３の表示部３６は、図１４に示す表示画面を表示する。図１４に示す表示画面には、撮像部３１によって撮像された画像３６０が表示される。画像３６０には、第２のユーザ２０１が購入を検討するニンジン３６１が表示されている。また、表示画面には、要求情報３６２が、画像３６０に重畳して表示される。さらに、表示画面には、操作指示情報３６４が、画像３６０に重畳して表示される。
【０１６１】
サーバ２の操作指示情報生成部２６は、要求充足判定部２４によって、特定された態様と要求情報に示される態様とが一致していると判定された後、操作指示情報を生成する。このとき、操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報を操作指示情報ＤＢ２５から読み出す。食材の種別がニンジンである場合、操作指示情報生成部２６は、ニンジンに対応する操作指示情報を図１３に示す操作指示情報ＤＢ２５から読み出す。通信部２１は、操作指示情報生成部２６によって生成された操作指示情報を第２の端末装置３へ送信する。第２の端末装置３の通信部３２によって操作指示情報が受信されると、操作指示情報表示制御部３５は、操作指示情報３６４を表示部３６に表示させる。このとき、操作指示情報表示制御部３５は、撮像部３１によって撮像された画像３６０上に操作指示情報３６４を重畳させる。
【０１６２】
このように、食材の画像上の態様を変化させることを第２のユーザ２０１へ指示するための操作指示情報３６４が表示されることにより、第２のユーザ２０１は、食材の画像上の態様を変化させることができる。例えば、生鮮食材は、見る方向によって形状が異なって見える。一方向から食材を見た場合に、食材の形状が直線状になっていたとしても、他の方向から食材を見た場合に、食材の形状が直線状になっていない可能性がある。そのため、一方向から食材を撮像して、第１のユーザ１０１の要求を充足しているか否かを判定するだけでなく、さらに他の方向から食材を撮像して、第１のユーザ１０１の要求を充足しているか否かを判定する。これにより、食材の態様が、第１のユーザ１０１の要求を充足しているか否かを確実に判定することができる。
【０１６３】
また、画像処理部２２は、受信した画像内のニンジンの態様が変化したことを検知する。すなわち、画像処理部２２は、第２のユーザ２０１がニンジンを９０度回転させることにより、画像内のニンジンの向きが変化したことを検知する。画像処理部２２によって画像内のニンジンの態様が変化したことが検知された場合、サーバ２は、再び図５及び図６のステップＳ１０２〜ステップＳ１２０の処理を行う。
【０１６４】
なお、本実施の形態では、操作指示情報は、食材（物体）を第２のユーザ２０１に移動させる指示を含んでいるが、本開示は特にこれに限定されず、操作指示情報は、撮像部３１に対する操作指示を含んでもよい。撮像部３１に対する操作指示とは、例えば、撮像部３１のズーム機能を用いて、食材を拡大して表示させる操作指示である。
【０１６５】
図１５は、食材の態様が第１のユーザの要求を充足していない場合に第２の端末装置に表示される表示画面の一例を示す図である。
【０１６６】
図１５に示す表示画面には、撮像部３１によって撮像された画像３６０が表示される。画像３６０には、第２のユーザ２０１が購入を検討するニンジン３６１が表示されている。また、表示画面には、要求情報３６２が、画像３６０に重畳して表示される。図１５に示すニンジン３６１の輪郭部分は、直線状ではない。そのため、サーバ２の要求充足判定部２４は、要求情報ＤＢ２３から取得した特徴点群の形状と、第２の端末装置３で撮像された画像から特定した特徴点群の形状とが一致していないと判定する。取得した特徴点群と、特定した特徴点群とが一致していないと判定された場合、通信部２１は、第１のユーザ１０１からの要求を充足していることを示す要求充足判定情報を第２の端末装置３へ送信しない。そのため、図１２とは異なり、図１５に示す表示画面には、要求充足判定結果が表示されない。
【０１６７】
このように、食材の態様が第１のユーザ１０１の要求を充足していない場合、第１のユーザ１０１からの要求を充足していることを示す要求充足判定結果が表示されないので、第２のユーザ２０１は、第１のユーザ１０１の要求を充足していない食材を、購入候補から外すことができる。
【０１６８】
図１６は、食材の態様が第１のユーザの要求を充足しており、表示された食材を購入候補として決定する場合に第２の端末装置に表示される表示画面の一例を示す図である。
【０１６９】
図１６に示す表示画面には、撮像部３１によって撮像された画像３６０と、表示されている食材を購入候補として決定するか否かを入力するための購入候補入力画面３６５とが表示される。画像３６０には、第２のユーザ２０１が購入を検討するニンジン３６１が表示されている。また、要求充足判定結果３６３が、画像３６０に重畳して表示される。
【０１７０】
購入候補入力画面３６５には、表示されている食材を購入候補として決定するための決定ボタン３５１が表示される。決定ボタン３５１が第２のユーザ２０１によってタッチされると、表示されている食材の種別が、購入候補として第２の端末装置３に記憶される。表示部３６は、第２のユーザ２０１からの操作により、記憶されている購入候補の食材を読み出して表示することが可能である。第２のユーザ２０１は、表示される購入候補の食材を確認することにより、購入していない食材がないかを確認することができる。
【０１７１】
なお、決定した食材を後から容易に第２のユーザ２０１が特定できるようにするため、第２の端末装置３は、決定した食材の位置情報を、食材の種別とともに記憶してもよい。
【０１７２】
このように、購入者である第２のユーザ２０１が店舗内の食材を第２の端末装置３を用いて撮影し、当該食材の画像を見るだけで、依頼者である第１のユーザ１０１が要求する食材の態様を確認することができるため、第２のユーザ２０１は、第１のユーザ１０１が満足する食材を特定して購入することができる。
【０１７３】
また、物体の画像上の態様を変化させることが第２の端末装置３の第２のユーザ２０１へ指示されるので、第２のユーザ２０１は、第１のユーザ１０１がより満足する食材を特定して購入することができる。そして、第２のユーザ２０１は、店舗から離れた場所にいる第１のユーザ１０１が要求する食材を特定して購入することができる。
【０１７４】
図１７は、要求情報で示される所定の領域に含まれる特徴点群を特定できない場合に第２の端末装置に表示される表示画面の一例を示す図である。
【０１７５】
図１７に示す表示画面には、撮像部３１によって撮像された画像３６０が表示される。画像３６０には、第２のユーザ２０１が購入を検討する大根３６６が表示されている。また、表示画面には、要求情報３６２が、画像３６０に重畳して表示される。
【０１７６】
図１７に示すように、要求情報で示される３つのラインのうち、中央のラインに特徴点が含まれておらず、取得した画像から特徴点群を特定することができない。そこで、特徴点群を特定できないと判断された場合、サーバ２の操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報を操作指示情報ＤＢ２５から取得する。食材の種別が大根である場合、操作指示情報生成部２６は、大根に対応する操作指示情報を図１３に示す操作指示情報ＤＢ２５から読み出す。通信部２１は、操作指示情報生成部２６によって取得された操作指示情報を第２の端末装置３へ送信する。第２の端末装置３の通信部３２によって操作指示情報が受信されると、操作指示情報表示制御部３５は、操作指示情報３６４を表示部３６に表示させる。このとき、操作指示情報表示制御部３５は、撮像部３１によって撮像された画像３６０上に操作指示情報３６４を重畳させる。
【０１７７】
このように、要求情報で示される所定の領域に含まれる特徴点群を特定できない場合、食材の画像上の態様を変化させることを第２のユーザ２０１へ指示するための操作指示情報３６４が表示されることにより、第２のユーザ２０１は、食材の画像上の態様を変化させることができる。
【０１７８】
また、画像処理部２２は、受信した画像内の大根の態様が変化したことを検知する。すなわち、画像処理部２２は、第２のユーザ２０１が大根を９０度回転させることにより、画像内の大根の向きが変化したことを検知する。画像処理部２２によって画像内の大根の態様が変化したことが検知された場合、サーバ２は、再び図５及び図６のステップＳ１０２〜ステップＳ１２０の処理を行う。
【０１７９】
図１８は、第３の食材を表示した画像に対して第１のユーザによる所定の領域の入力を受け付けるために第１の端末装置に表示される入力画面の一例を示す図である。なお、第３の食材は、みかんである。
【０１８０】
撮像画像１３１には、第１のユーザ１０１が購入を依頼するみかん１５１が表示されている。操作情報取得部１３は、タッチパネルであるため、第１のユーザ１０１は、指１０２を画面上にタッチさせることにより、自身が所望する食材の態様を入力する。
【０１８１】
第１のユーザ１０１は、撮像画像１３１上のみかん１５１の所定の領域を指定することにより、自身が所望する食材の形状を指定する。円形状のみかんよりも楕円形状のみかんの方が、一般的に甘いとされている。第１のユーザ１０１が楕円形状のみかん１５１を希望する場合、みかん１５１の外縁の輪郭に沿って指１０２を動かす。これにより、第１のユーザ１０１が所望するみかん１５１の形状を示すライン１５２が画面上に表示される。
【０１８２】
要求情報生成部１４は、第１のユーザ１０１により入力された画像上のライン１５２の座標を含む要求情報を生成する。
【０１８３】
図１９は、第３の食材を表示した画像に対して第１のユーザによるテキスト情報の入力を受け付けるために第１の端末装置に表示される入力画面の他の例を示す図である。なお、第３の食材は、みかんである。
【０１８４】
テキスト情報選択画面１３２には、例えば、「真ん中」、「なめらか」、「真っ直ぐ」及び「形状」の文字画像が選択可能に表示される。第１のユーザ１０１は、みかん１５１の形状に関するテキスト情報を添付することが可能である。テキスト情報は、第１のユーザ１０１が所望する食材の態様を第２のユーザ２０１により具体的に伝えるための情報である。例えば、第１のユーザ１０１は、楕円形状のみかん１５１を希望する場合、テキスト情報選択画面１３２の「形状」という文字画像に指１０２をタッチさせ、当該文字画像を撮像画像１３１上の所望の位置に移動させる。これにより、第１のユーザ１０１が、みかん１５１の形状に特に関心があることを示すテキスト情報１５３が画面上に表示される。
【０１８５】
要求情報生成部１４は、第１のユーザ１０１により入力された画像上のライン１５２の座標と、テキスト情報１５３とを含む要求情報を生成する。テキスト情報１５３は、テキスト文と、テキスト文が表示される画像上の位置座標とを含む。
【０１８６】
図２０は、本実施の形態において、要求情報ＤＢに記憶されるテーブルデータの他の例を示す図である。
【０１８７】
図２０に示すように、要求情報ＤＢ２３は、食材の種別と、特徴点群と、要求情報とを対応付けたテーブルデータを記憶している。図２０に示す食材の種別は、みかんである。要求情報は、第１のユーザ１０１により入力された画像上のライン（所定の領域）の座標と、テキスト情報とを含む。テキスト情報は、テキスト文と、テキスト文が表示される画像上の位置座標とを含む。画像処理部２２は、認識した食材の複数の特徴点を抽出し、抽出した複数の特徴点のうちの要求情報で示される所定の領域に含まれる特徴点群を特定する。なお、所定の領域がラインで表されている場合、画像処理部２２は、ラインに含まれる特徴点群を特定してもよいし、ラインから所定の画素数分の幅を有する領域に含まれる特徴点群を特定してもよい。そして、画像処理部２２は、判別した食材の種別と、特定した特徴点群と、要求情報とを対応付けて要求情報ＤＢ２３に記憶する。
【０１８８】
また、要求情報ＤＢ２３は、同一の食材の種別に対して、２つの要求情報を対応付けて記憶している。第１の要求情報は、横方向から撮像した食材（みかん）に対して要求される態様を示しており、第２の要求情報は、上方向から撮像した食材（みかん）に対して要求される態様を示している。第１の要求情報は、横方向から見た食材（みかん）の形状を示し、第２の要求情報は、上方向から見た食材（みかん）の付属物（へたの軸部分）の大きさを示している。一般的に、へたの軸部分の大きさが小さいみかんほど、甘いと言われている。そのため、要求充足判定部２４は、みかんのへたの軸部分の大きさが小さい場合に、第１のユーザ１０１からの要求を充足していると判定する。第２の要求情報は、みかんの外縁の大きさに対する軸部分の大きさの割合で表されてもよい。
【０１８９】
図２１は、第２のユーザに要求情報を提示するために第２の端末装置に表示される表示画面の他の例を示す図である。
【０１９０】
第２の端末装置３の表示部３６は、図２１に示す表示画面を表示する。図２１に示す表示画面には、撮像部３１によって撮像された画像３６０が表示される。画像３６０には、第２のユーザ２０１が購入を検討するみかん３７１が表示されている。また、表示画面には、要求情報３７２が、画像３６０に重畳して表示される。要求情報３７２は、楕円形状のラインと、テキスト情報とで構成される。第２のユーザ２０１は、表示されるみかん３７１の輪郭部分が要求情報３７２で示される楕円形状のラインに一致するように、みかん３７１を撮影する。
【０１９１】
さらに、表示画面には、要求充足判定結果３７３が、画像３６０に重畳して表示される。サーバ２の要求充足判定部２４は、要求情報ＤＢ２３から取得した特徴点群の形状と、第２の端末装置３で撮像された画像から特定した特徴点群の形状とが一致しているか否かを判定する。そして、取得した特徴点群と、特定した特徴点群とが一致していると判定された場合、通信部２１は、第１のユーザ１０１からの要求を充足していることを示す要求充足判定情報を第２の端末装置３へ送信する。サーバ２の通信部によって要求充足判定情報が受信されると、要求充足結果表示制御部３４は、要求充足判定結果３７３を表示部３６に表示させる。
【０１９２】
要求充足判定結果３７３は、要求情報３７２で示される楕円形状のラインの近傍に表示され、当該要求情報３７２のラインと同じ形状であり、当該要求情報３７２のラインをより強調させた楕円形状のラインで表される。図２１では、要求充足判定結果３７３は、例えば、要求情報３７２で示されるラインよりも太く、かつ要求情報３７２で示されるラインとは異なる色で表示される。要求充足判定結果３７３を強調して表示する方法については、上記に限定されない。
【０１９３】
このように、要求充足判定結果３７３が強調して表示されることにより、第２のユーザ２０１は、表示されている食材が、第１のユーザ１０１の要求を充足しているか否かを容易に確認することができる。
【０１９４】
さらに、表示画面には、操作指示情報３７４が、画像３６０に重畳して表示される。サーバ２の操作指示情報生成部２６は、要求充足判定部２４によって、特定された態様と要求情報に示される態様とが一致していると判定された後、操作指示情報を生成する。操作指示情報生成部２６は、判定処理が終了していない他の要求情報が存在する場合、操作指示情報を生成する。図２０に示すように、みかんには、横方向から撮像したみかんに対して要求される態様を示す第１の要求情報と、上方向から撮像したみかんに対して要求される態様を示す第２の要求情報とが対応付けられている。図２１に示す要求情報３７２は、第１の要求情報を示しており、操作指示情報生成部２６は、判定処理が終了していない第２の要求情報が存在するため、操作指示情報を生成する。
【０１９５】
このとき、操作指示情報生成部２６は、画像処理部２２によって判別された食材の種別に対応する操作指示情報を操作指示情報ＤＢ２５から読み出す。食材の種別がみかんである場合、操作指示情報生成部２６は、みかんに対応する操作指示情報を図１３に示す操作指示情報ＤＢ２５から読み出す。通信部２１は、操作指示情報生成部２６によって生成された操作指示情報を第２の端末装置３へ送信する。第２の端末装置３の通信部３２によって操作指示情報が受信されると、操作指示情報表示制御部３５は、操作指示情報３７４を表示部３６に表示させる。このとき、操作指示情報表示制御部３５は、撮像部３１によって撮像された画像３６０上に操作指示情報３７４を重畳させる。
【０１９６】
このように、食材の画像上の態様を変化させることを第２のユーザ２０１へ指示するための操作指示情報３７４が表示されることにより、第２のユーザ２０１は、食材の画像上の態様を変化させることができる。例えば、複数の要求情報が存在する場合、一の要求情報を充足したとしても、他の要求情報を充足しているか否かを判定する必要がある。そのため、一の要求情報に基づいて、第１のユーザ１０１の要求を充足しているか否かを判定するだけでなく、さらに他の要求情報に基づいて、第１のユーザ１０１の要求を充足しているか否かを判定する。これにより、食材の態様が、第１のユーザ１０１の複数の要求を充足しているか否かを確実に判定することができる。なお、要求情報はさらに、食材を見る角度又は方向、言い換えると食材の映り方を含んでよい。具体的には、要求情報は、食材の映る角度ごとに態様を有する。なお、各態様は異なってもよく、同一であってもよい。例えば、要求情報には、一側面について楕円形状の要求が設定され、当該一側面に対し９０度回転した側面についても同形の楕円形状の要求が設定されてもよい。
【０１９７】
また、画像処理部２２は、受信した画像内のみかんの態様が変化したことを検知する。すなわち、画像処理部２２は、第２のユーザ２０１がみかんを下方に９０度回転させることにより、画像内のみかんの向きが変化したことを検知する。画像処理部２２によって画像内のみかんの態様が変化したことが検知された場合、サーバ２は、再び図５及び図６のステップＳ１０２〜ステップＳ１２０の処理を行う。
【０１９８】
なお、本実施の形態では、第１のユーザ１０１によって入力された要求情報が、要求情報ＤＢ２３に記憶されるが、本開示は特にこれに限定されず、要求情報ＤＢ２３は、要求情報と、特徴点群と、食材（物体）の種別とを対応付けて予め記憶していてもよい。
【０１９９】
また、本実施の形態では、ニンジン、大根及びみかんに対して要求される要求情報について説明したが、本開示はこれに限定されず、他の食材に対して要求される要求情報に基づいて、認識した食材の態様を特定し、特定した態様と要求情報に示される態様とが一致しているか否かを判定してもよい。例えば、態様は、れんこんの切り口の色、又は大根の葉の色を示してもよい。
【０２００】
生鮮食材のような商品は、商品名（商品群）ごとに同じ状態の商品が販売店に置かれているのではなく、ある規格の範囲内（形、重さ又は色等）の商品が、店内の同じ商品陳列棚等に置かれていることが容易に想定できる。店舗から離れた場所に居る依頼者が、店舗内に居る商品の選別に不慣れな購入者に対して、依頼者が所望する状態の商品の特徴を購入者が持つ端末装置に明確に表示することで、依頼者が所望する状態の商品を依頼者及び購入者の両方がストレスを感じることなく容易に購入することが可能になる。
【０２０１】
端末装置は、依頼者が所望する状態の商品の特徴を提示するとともに、商品の状態を正確に把握させるために、例えば商品を回転させることにより、多面的に商品の状態を確認することができる。
【０２０２】
さらに、対象食材を撮像部で撮影する距離（ズーム）が指示されることで、対象食材に特有の色、対象食材の割れ目の大きさ又は対象食材の部分的な大きさの違いによる味の違い又は鮮度を判別することができる。
【０２０３】
以上、本開示の装置について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
【０２０４】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【０２０５】
本開示の実施の形態に係る装置の機能の一部又は全ては典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２０６】
また、本開示の実施の形態に係る装置の機能の一部又は全てを、ＣＰＵ等のプロセッサがプログラムを実行することにより実現してもよい。
【０２０７】
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。
【０２０８】
また、上記フローチャートに示す各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、同様の効果が得られる範囲で上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【０２０９】
さらに、本開示の主旨を逸脱しない限り、本開示の各実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本開示に含まれる。
【産業上の利用可能性】
【０２１０】
本開示に係る情報処理方法及び情報処理プログラムは、要求される態様を充足する物体をより確実に特定することができ、所望する物体のユーザによる選択を支援するための情報処理方法及び情報処理プログラムとして有用である。
【符号の説明】
【０２１１】
１    第１の端末装置
２    サーバ
３    第２の端末装置
４    ネットワーク
１１    撮像部
１２    表示部
１３    操作情報取得部
１４    要求情報生成部
１５    通信部
２１    通信部
２２    画像処理部
２３    要求情報ＤＢ
２４    要求充足判定部
２５    操作指示情報ＤＢ
２６    操作指示情報生成部
３１    撮像部
３２    通信部
３３    要求情報表示制御部
３４    要求充足結果表示制御部
３５    操作指示情報表示制御部
３６    表示部
１００    自宅
１０１    第１のユーザ
２００    店舗
２０１    第２のユーザ
【図１】
2019191642.tif 000003
【図２】
2019191642.tif 000004
【図３】
2019191642.tif 000005
【図４】
2019191642.tif 000006
【図５】
2019191642.tif 000007
【図６】
2019191642.tif 000008
【図７】
2019191642.tif 000009
【図８】
2019191642.tif 000010
【図９】
2019191642.tif 000011
【図１０】
2019191642.tif 000012
【図１１】
2019191642.tif 000013
【図１２】
2019191642.tif 000014
【図１３】
2019191642.tif 000015
【図１４】
2019191642.tif 000016
【図１５】
2019191642.tif 000017
【図１６】
2019191642.tif 000018
【図１７】
2019191642.tif 000019
【図１８】
2019191642.tif 000020
【図１９】
2019191642.tif 000021
【図２０】
2019191642.tif 000022
【図２１】
2019191642.tif 000023