(57)【要約】【課題】次の目的地を取得するための情報となり得る複雑な状況を容易に入力する技術の提供。【解決手段】利用者によって指示された画像を取得する画像取得部と、前記画像に基づいて、前記画像が示す場所の次に訪問する場所として推奨される推奨目的地を取得する目的地取得部と、前記推奨目的地を案内する目的地案内部と、を備える目的地案内システムが構成される。【選択図】図１
2020071564.tif 000002
【特許請求の範囲】
【請求項１】
利用者によって指示された画像を取得する画像取得部と、
前記画像に基づいて、前記画像が示す場所の次に訪問する場所として推奨される推奨目的地を取得する目的地取得部と、
前記推奨目的地を案内する目的地案内部と、
を備える目的地案内システム。
【請求項２】
前記推奨目的地は、
前記画像に基づいて取得された前記画像が示す場所に類似しない場所であり、かつ、前記画像に基づいて取得された前記画像に含まれる人物の状態に類似する状態の人物の訪問場所である、
請求項１に記載の目的地案内システム。
【請求項３】
前記人物の状態は、
前記画像に含まれる人物の数、性別、年齢、服装、感情の少なくとも１個によって特定される、
請求項２に記載の目的地案内システム。
【請求項４】
前記目的地取得部は、
将来訪問したい場所として予め登録された複数の場所を訪問候補として取得し、
前記訪問候補から前記推奨目的地を取得する、
請求項１〜請求項３のいずれかに記載の目的地案内システム。
【請求項５】
前記目的地取得部は、
前記利用者以外の他者が訪問した複数の場所を訪問済の場所として取得し、
前記訪問済の場所から前記推奨目的地を取得する、
請求項１〜請求項４のいずれかに記載の目的地案内システム。
【請求項６】
コンピュータを、
利用者によって指示された画像を取得する画像取得部、
前記画像に基づいて、前記画像が示す場所の次に訪問する場所として推奨される推奨目的地を取得する目的地取得部、
前記推奨目的地を案内する目的地案内部、
として機能させる目的地案内プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、目的地案内システムおよび目的地案内プログラムに関する。
【背景技術】
【０００２】
従来、目的地を提案する技術が知られている。例えば、特許文献１においては、ユーザの行動パターンに基づいて目的地をレコメンドする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１９９２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の技術においては、状況に応じた目的地の選定を行うことが困難であった。すなわち、行動パターンは、利用者の過去の移動履歴を反映しているが、利用者のおかれた状況など、より複雑な条件を考慮することができない。例えば、利用者がある施設にいる場合において、同行者がいる状況といない状況では次に訪問する場所が異なり得る。そして、同行者の有無や人数などの複雑な状況を文字等によって入力するのは非常に煩雑である。
本発明は、前記課題にかんがみてなされたもので、次の目的地を取得するための情報となり得る複雑な状況を容易に入力することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の目的を達成するため、目的地案内システムは、利用者によって指示された画像を取得する画像取得部と、前記画像に基づいて、前記画像が示す場所の次に訪問する場所として推奨される推奨目的地を取得する目的地取得部と、前記推奨目的地を案内する目的地案内部と、を備える。
【０００６】
また、上記の目的を達成するため、目的地案内プログラムは、コンピュータを、利用者によって指示された画像を取得する画像取得部、前記画像に基づいて、前記画像が示す場所の次に訪問する場所として推奨される推奨目的地を取得する目的地取得部、前記推奨目的地を案内する目的地案内部、として機能させる。
【０００７】
すなわち、目的地案内システムおよび目的地案内プログラムにおいて、利用者は推奨目的地の情報を抽出可能な画像を指示する。画像は、任意の場所で撮影されるなどして生成され、任意の場所を示しているため、当該画像を解析すれば、画像が示す場所の次に訪問する場所として推奨される推奨目的地を特定することができる。
【０００８】
また、画像には、場所以外の種々の情報が含められるため、少なくとも１枚の画像が指示されれば、複雑な状況を容易に特定することができる。例えば、画像によれば、画像に含まれている人物の人数、性別などの複雑な状況を示すことができる。従って、推奨目的地を取得するための基になる情報として画像を受け付ける構成によれば、推奨目的地を取得するための情報となり得る複雑な状況を容易に入力することが可能である。さらに、画像に基づいて次に訪問する場所として推奨される推奨目的地を取得すれば、画像に示された場所に加え、画像が示す複雑な状況を考慮して次に訪問する場所として推奨される推奨目的地を取得することができる。このため、複雑な状況に応じて推奨目的地を提案することが可能である。
【図面の簡単な説明】
【０００９】
【図１】目的地案内システムを示すブロック図である。
【図２】機械学習で利用されるモデルの例を示す図である。
【図３】機械学習で利用されるモデルの例を示す図である。
【図４】図４Ａは機械学習の出力例を示す図、図４Ｂは目的地案内処理のフローチャート、図４Ｃは目的地送信処理のフローチャートである。
【発明を実施するための形態】
【００１０】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）目的地案内システムの構成：
（２）目的地案内処理：
（３）目的地送信処理：
（４）他の実施形態：
【００１１】
（１）目的地案内システムの構成：
図１は、本発明の一実施形態である目的地案内システムとして機能する携帯端末１０の構成を示すブロック図である。本実施形態において携帯端末１０は、機械学習システムとして機能するサーバ１００と通信可能である。なお、携帯端末１０は、複数個存在し得る。また、複数の携帯端末１０は異なる利用者によって利用され得る。
【００１２】
本実施形態にかかる携帯端末１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された種々のプログラムを実行することができる。本実施形態において携帯端末１０は、各種のプログラムにより各種の機能を実行可能な多機能端末である。携帯端末１０は、各種の態様で実現可能であるが、本実施形態において携帯端末１０は、通話機能を含む各種の機能を実行可能なスマートフォンである。
【００１３】
さらに、携帯端末１０は、通信部４０、ユーザＩ／Ｆ部４１、カメラ４２、ＧＮＳＳ受信部４３を備えている。ＧＮＳＳ受信部４３は、Global Navigation Satellite Systemの信号を受信する装置であり、航法衛星からの電波を受信し、図示しないインタフェースを介して携帯端末１０の現在地を算出するための信号を出力する。制御部２０は、この信号を取得して携帯端末１０の現在地を取得し、携帯端末１０の現在地とみなす。なお、携帯端末１０の現在地を取得するための手法は、ＧＮＳＳ受信部４３に限定されず、他のセンサ、例えば、車速センサやジャイロセンサ等が利用されても良い。
【００１４】
カメラ４２は、図示しない光学系やセンサ、信号処理回路等を備えた撮影部である。利用者がユーザＩ／Ｆ部４１の入力部等を利用してカメラ４２を操作すると、制御部２０はカメラ４２を制御し、光学系を通してセンサに結像した画像を撮影することができる。すなわち、利用者は、カメラ４２によって携帯端末１０の周囲の風景を撮影することができる。撮影された写真は画像情報３０ａとして記録媒体３０に記録される。
【００１５】
ユーザＩ／Ｆ部４１は、利用者の指示を入力し、また利用者に各種の情報を提供するためのインタフェース部であり、図示しないタッチパネルディスプレイからなる表示部やタッチパネルや各種のボタン等によって構成される入力部、スピーカー等の音声出力部を備えている。制御部２０は、ユーザＩ／Ｆ部４１を制御して各種の表示を行わせることが可能であり、ユーザＩ／Ｆ部４１の出力信号に基づいて利用者の入力内容を取得することが可能である。通信部４０は、外部の装置と無線通信をするための装置であり、制御部２０は、通信部４０を介してサーバ１００と通信することができる。
【００１６】
本実施形態において、携帯端末１０の制御部２０は、目的地案内プログラムを実行可能である。本実施形態においては、利用者が携帯端末１０で画像情報３０ａを指定すると、当該画像情報３０ａが示す場所の次に訪問する場所として推奨される推奨目的地が案内される。本実施形態において画像情報３０ａが示す場所は、画像内に風景として含まれる場所である。
【００１７】
従って、携帯端末１０のカメラ４２によって任意の場所で撮影が行われて画像情報３０ａが生成された場合、画像情報３０ａが示す場所は、カメラ４２の撮影が行われた場所である。このため、例えば、携帯端末１０の利用者がカメラ４２で撮影を行い、その現場で画像情報３０ａを指示すると、利用者の現在地の次に訪問する場所として推奨される推奨目的地が案内される。
【００１８】
目的地案内プログラムは、このような機能を実現するため、画像取得部２１ａ、目的地取得部２１ｂ、目的地案内部２１ｃを備えている。画像取得部２１ａは、利用者によって指示された画像を取得する機能を制御部２０に実行させるプログラムモジュールである。すなわち、制御部２０は、ユーザＩ／Ｆ部４１の表示部を制御して画像選択のための選択画面を表示させる。利用者は、当該選択画面を利用し、画像情報３０ａから所望の画像を選択する。利用者は、この際、任意のタイミングで撮影された画像を指示することができるが、外出先で撮影した画像を当該外出先に滞在している期間に指示すれば、当該外出先の次に訪問する場所として推奨される推奨目的地が案内される。
【００１９】
目的地取得部２１ｂは、画像に基づいて、画像が示す場所の次に訪問する場所として推奨される推奨目的地を取得する機能を制御部２０に実行させるプログラムモジュールである。本実施形態においては、利用者が指定した画像を機械学習済のモデルに入力することによって画像を解析する。解析は後述するが、画像を機械学習済のモデルに入力することにより、画像が示す場所と、画像に含まれる人物の状態とが出力として得られる。
【００２０】
さらに、画像が示す場所と、画像に含まれる人物の状態とに基づいて、画像が示す場所の次に訪問する場所として推奨される推奨目的地が決定される。本実施形態においては、画像が示す場所の次に訪問する場所を推奨することを目的としているため、画像が示す場所と類似する場所が提案されるのは好ましくない。そこで、詳細は後述するが、利用者が指示した画像が示す場所と類似する場所は推奨目的地とされない。
【００２１】
一方で、多くの選択肢の中から利用者が望まない場所が提案されるのは好ましくはない。そこで、本実施形態においては、画像が示す人物の状態に利用者の嗜好や意図が現れると推定する。例えば、画像内の人物が正装しているのに屋外で遊ぶための施設が案内されるのは不適切である。従って、画像が示す人物の状態が特定されると、次に訪問する場所として適切な場所と、不適切な場所とを推定することができる。そして、本実施形態においては、訪問したい場所として利用者が予め登録した場所から、画像が示す人物の状態と類似する状態での訪問が推奨される場所が選択され、推奨目的地として取得される。以上の構成によれば、利用者が指定した画像に適した次の推奨目的地を取得することができる。
【００２２】
なお、本実施形態において、機械学習済のモデルによる画像の解析と、画像の解析結果に基づく推奨目的地の取得は、後述するサーバ１００で行われる。そこで、制御部２０は、目的地取得部２１ｂの機能により、利用者が指示した画像を、通信部４０を介してサーバ１００に送信する。画像が送信されると、サーバ１００は、当該画像に基づいて解析と推奨目的地の取得とを実行し、推奨目的地を返信する。制御部２０は、目的地取得部２１ｂの機能により、通信部４０を介して推奨目的地を取得する。
【００２３】
目的地案内部２１ｃは、推奨目的地を案内する機能を制御部２０に実行させるプログラムモジュールである。すなわち、制御部２０は、ユーザＩ／Ｆ部４１の表示部を制御し、推奨目的地を示す情報を表示させる。推奨目的地の案内態様は、種々の態様が採用されてよく、推奨目的地としての施設の名称、営業時間、現在地からの距離、所要時間等が案内される構成等を採用可能である。
【００２４】
以上のように、本実施形態においては、画像に基づいて人物の状態を取得している。画像に含まれる人物の像からは、人物の数、性別、年齢、服装、感情などの複雑な状況を容易に取得することができる。従って、推奨目的地を取得するための基になる情報として画像を受け付ける構成によれば、推奨目的地を取得するための情報となり得る複雑な状況を容易に入力することが可能である。さらに、画像に基づいて次に訪問する場所として推奨される推奨目的地を取得すれば、画像に示された場所に加え、画像が示す複雑な状況を考慮して次に訪問する場所として推奨される推奨目的地を取得することができる。このため、複雑な状況に応じて推奨目的地を提案することが可能である。
【００２５】
本実施形態にかかるサーバ１００は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２００を備えており、制御部２００は、当該ＲＯＭや記録媒体３００に記録された種々のプログラムを実行することができる。さらに、サーバ１００は、通信部４００および記録媒体３００を備えている。通信部４００は、外部の装置と無線通信をするための装置であり、制御部２００は、通信部４００を介して携帯端末１０と通信することができる。
【００２６】
本実施形態において、制御部２００は、機械学習プログラム２１０を実行することができる。制御部２００は、機械学習プログラム２１０の機能により、携帯端末１０の利用者が指示した画像に基づいて、次に訪問する場所として推奨される推奨目的地を取得し、携帯端末１０に送信する。
【００２７】
このような処理を行うため、機械学習プログラム２１０は、画像受信部２１０ａ、機械学習部２１０ｂ、目的地送信部２１０ｃを備えている。画像受信部２１０ａは、利用者が指示した画像を携帯端末１０から取得する機能を制御部２００に実行させるプログラムモジュールである。すなわち、携帯端末１０で利用者が画像を指示すると、当該画像を示す画像情報３０ａが携帯端末１０から送信される。制御部２００は、通信部４００を介して当該画像情報を取得し、記録媒体３００に記録する。
【００２８】
機械学習部２１０ｂは、画像情報に基づいて画像が示す場所と、画像に含まれる人物の状態と、を出力するモデルを機械学習する機能を制御部２００に実行させるプログラムモジュールである。本実施形態においては、画像が入力されると画像が示す場所を出力するモデルと、画像が入力されると画像に含まれる人物の状態を出力するモデルとの２種類が用意される。以下、前者のモデルを場所推定モデル、後者のモデルを状態推定モデルと呼ぶ。
【００２９】
本実施形態においては、学習のための教師データ３００ｂが予め用意される。教師データ３００ｂは、画像に対して、画像が示す場所と、画像に含まれる人物の状態とを対応づけたデータである。画像は種々の手法で用意されて良く、例えば、携帯端末１０から収集されても良いし、ウェブサイトから収集されても良いし、各種のライブラリが利用されても良い。
【００３０】
画像が示す場所は、種々の手法で定義されて良いが、本実施形態においては、教師データ３００ｂの入力となる画像に被写体として含まれるオブジェクトの属性である。属性は、種々の手法で定義されて良く、例えば、公園、レストラン、店舗など、施設の種類を示す情報が属性となり得る。むろん、属性は階層的に定義されていて良く、上位の属性に対してより細分化した属性が対応づけられていても良い。
【００３１】
本実施形態において、画像に含まれる人物の状態は、画像に含まれる人物の数、性別、年齢、服装、感情である。本実施形態において、人物の状態は、画像に含まれる人物に重ねられる矩形（バウンディングボックス）と、当該矩形内の人物についての値によって定義される。例えば、矩形の位置および大きさに対して、矩形内に人物が存在する可能性と、人物の性別と、年齢と、服装と、感情とを示す値が対応づけられる。矩形内に人物が存在する可能性が閾値以上であれば、人物が存在すると見なすことができるので、矩形内に人物が存在する可能性が閾値以上である矩形の数が人物の数であると見なすことができる。なお、性別等の定義は種々の定義が可能であり、フラグのような数値で定義されても良いし、可能性等を示す数桁の数値で定義されても良い。
【００３２】
制御部２００は、機械学習部２１０ｂの機能により、教師データ３００ｂに基づいて機械学習を実行する。すなわち、制御部２００は、画像を入力し、画像が示す場所を出力する場所推定モデルと、画像を入力し、画像に含まれる人物の状態を出力する状態推定モデルと、を機械学習する。機械学習は、種々の手法によって実現されて良く、例えば、ニューラルネットワークによるモデルを最適化する学習を採用することができる。むろん、ニューラルネットワークの構造は、種々の構造であって良い。
【００３３】
図２は、場所推定モデルの一例であるＣＮＮ（Convolutional Neural Network）の構造を模式的に示した図である。同図においては、ＣＮＮによるデータフォーマットの変化を直方体で示しており、通常のニューラルネットワークのノードを白丸で示している。すなわち図２においては、出力層Ｌｏが通常のニューラルネットワークであり、出力層Ｌｏより上位の層はＣＮＮである。
【００３４】
図２においては、左端が入力値、右端が出力値であり、両者の間のニューラルネットワークを模式的に示している。すなわち、画像は縦Ｈピクセル、横Ｗピクセルであり、各ピクセルについてＲ：赤、Ｇ：緑、Ｂ：青の３チャンネルの階調値が規定される。従って、図２において、画像は縦Ｈ，横Ｗ，奥行き３の直方体で模式的に示されている。
【００３５】
図２においては、画像が入力層に入力された後、ＣＮＮを経て、すなわち、所定の大きさおよび数のフィルタによる畳み込み演算、活性化関数による演算およびプーリング層の演算を経てＨ11×Ｗ11×Ｄ11個の出力値に変換される例を示している。図２においては、この後、複数の層（図示省略）を経てＨm1×Ｗm1×Ｄm1個の出力値に変換される例を示している。
【００３６】
本実施形態においては、予め画像の場所の出力値となり得る施設の属性が複数個定義され、各属性に対応するノードが設けられる。図２においては、このノードを出力層Ｌｏとして示している。すなわち、図２に示す場所推定モデルにおいては、ＣＮＮによってＨm1×Ｗm1×Ｄm1個の出力値が得られた後、全結合によって施設の属性を示す出力値が得られる。
【００３７】
出力層においては、各ノードの出力値が、各ノードに対応した属性である確率を示している。図２においては、ノードに対応づけられた属性の例が示されている。例えば、ノードＮ1がファミリーレストランに対応したノードであり、当該ノードの出力値が０．９８、他のノードの出力値がいずれも０．０２以下である場合、入力された画像が示す場所がファミリーレストランであると推定されたことになる。
【００３８】
以上の場所推定モデルにおいて、可変パラメータ（例えば、フィルタの重み等）を機械学習することにより、画像から画像が示す場所を推定する場所推定モデルを取得することができる。図２に示すモデルは一例であり、フィルタの大きさや数、種類、活性化関数の種類、パディングやストライドの種類、プーリング層の種類や有無、全結合層の有無等は適宜変更されて良い。
【００３９】
本実施形態において制御部２００は、予め用意された教師データ３００ｂに基づいて、以上のような場所推定モデルの機械学習処理を実行する。機械学習処理の手順は、公知の手法を利用することができる。すなわち、制御部２００は、図２に示すような予め構築された場所推定モデルに対して教師データが示す画像を入力し、出力値を得る。そして、制御部２００は、当該出力値と、教師データ３００ｂが示す画像の場所との差分を最小化するように場所推定モデル（フィルタの重みやバイアス等）を調整することにより機械学習を行う。
【００４０】
すなわち、制御部２００は、学習過程において、場所推定モデルのパラメータを取得し（初回学習時であれば初期化し）、パラメータで特定される場所推定モデルに対して教師データ３００ｂが示す画像を入力し、出力を計算する。また、制御部２００は、出力された場所の属性の推定値と教師データ３００ｂが示す場所の属性との誤差を示す損失関数によって誤差を特定する。そして、制御部２００は、損失関数のパラメータによる微分に基づいてパラメータを更新する処理を既定回数繰り返す。
【００４１】
むろん、損失関数は、種々の関数を採用可能であり、例えば、交差エントロピー誤差などを採用可能である。以上のような損失関数を算出する処理は、教師データ３００ｂに含まれる画像の全てまたは一部について実施され、その平均や総和によって１回の学習における損失関数が表現される。１回の学習における損失関数が得られたら、制御部２００は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメータを更新する。以上のようなパラメータの更新が、既定回数繰り返されると、制御部２００は、得られた場所推定モデルをモデルデータ３００ｃとして記録媒体に記録する。
【００４２】
この結果、場所推定モデルによって出力された出力値と真の場所との差分が閾値以下に収束している場合や、汎化性能が基準以上になっている場合や、モデルデータ３００ｃによる推定精度が既定値以上になっている場合などに機械学習が充分に進んだと判定され、機械学習が終了する。むろん、汎化性能は、学習用の教師データ３００ｂと異なるデータ（テストデータ）で評価されても良い。さらに、汎化性能の評価に加え、教師データ３００ｂと異なるデータ（検証データ）に基づいてハイパーパラメーターの妥当性の検証が行われてもよい。
【００４３】
図３は、状態推定モデルの一例であるＣＮＮ（Convolutional Neural Network）の構造を模式的に示した図である。当該構造の例としては、例えば、ＹＯＬＯ（You Only Look Once）等が挙げられる。同図においては、ＣＮＮによるデータフォーマットの変化を直方体で示している。
【００４４】
図３においては、左端が入力値、右端が出力値であり、両者の間のニューラルネットワークを模式的に示している。すなわち、状態推定モデルにおける入力は場所推定モデルと同じフォーマットの画像、すなわち、Ｈ×Ｗ×３の階調値である。
【００４５】
図３においては、画像が入力層に入力された後、ＣＮＮを経て、すなわち、所定の大きさおよび数のフィルタによる畳み込み演算、活性化関数による演算およびプーリング層の演算を経てＨ12×Ｗ12×Ｄ12個の出力値に変換される例を示している。図３においては、この後、複数の層（図示省略）を経てＨm2×Ｗm2×Ｄm2個の出力値に変換される例を示している。
【００４６】
状態推定モデルにおいては、この後さらに複数の層を経て出力層Ｌｏに達し、出力層Ｌｏにおいては、画像に含まれる人物の状態を示す出力値を出力する。当該出力層の出力値はＨo2×Ｗo2×Ｄo2個である。上述のように、人物の状態は、画像に含まれる人物に重ねられる矩形（バウンディングボックス）と、当該矩形内の人物についての値によって定義される。
【００４７】
本実施形態において、Ｈo2およびＷo2は縦方向および横方向のグリッドの数であり、各グリッド内で矩形の座標が定義される。また、各グリッド内では大きさが異なる複数の矩形が定義される。従って、各グリッド内に例えば、５個の矩形が定義されるのであれば、Ｈo2×Ｗo2×５個の矩形について出力値が得られることになる。
【００４８】
図４Ａは、画像の例に対して矩形Ｂ1〜Ｂ3を重ねて破線によって示している。また、図４Ａにおいては、グリッドの境界線を一点鎖線で示している。この例においては、画像が縦方向に５分割、横方向に７分割されているので、Ｈo2＝５，Ｗo2＝７である。
【００４９】
本実施形態においては、状態推定モデルからの出力として、矩形の座標（ｘ，ｙ）、矩形の幅および高さ（ｗ，ｈ）、矩形内に人物が存在する可能性Ｐｈ、人物の性別Ｐｓ、年齢Ｐａ、服装Ｐｃ、感情Ｐｅを示す値が矩形毎に得られる。従って、各矩形の出力値として、ｘ，ｙ，ｗ，ｈ，Ｐｈ，Ｐｓ，Ｐａ，Ｐｃ，Ｐｅの合計９個の値が得られる。
【００５０】
図３においては、ある矩形においてこれらの９個の出力値が得られる様子を示している。このように、１個の矩形に９個の出力値が得られる場合において、仮に各グリッド内に５個の矩形が定義されるならば、出力層の奥行き方向の出力値の個数を示すＤo2は、４５個（＝５×９）である。
【００５１】
なお、Ｐｈ，Ｐｓ，Ｐａ，Ｐｃ，Ｐｅの各出力値は、種々の手法で定義されて良い。例えば、矩形内に人物が存在する可能性Ｐｈを０〜１の値とし、１に近いほど矩形内に人物が存在する可能性が高いと推定する構成を採用可能である。また、人物の性別Ｐｓを０〜１の値とし、１に近いほど女性である可能性が高く０に近いほど男性である可能性が高いと推定する構成を採用可能である。
【００５２】
また、人物の年齢Ｐａを０〜１の値とし、１に近いほど高齢である可能性が高いと推定する構成を採用可能である。さらに、人物の服装Ｐｃを０〜１の値とし、１に近いほどカジュアルな服装である可能性が高く、０に近いほど正装である可能性が高いと推定する構成を採用可能である。さらに、人物の感情Ｐｅを示す値を０〜１の値とし、１に近いほど明るい表情である可能性が高く、０に近いほど暗い表情である可能性が高いと推定する構成を採用可能である。
【００５３】
むろん、このような出力の定義は一例であり、矩形の数やグリッドの数は種々の値とすることができるし、人物の状態の定義法も種々の手法があって良い。例えば、服装や感情はより多様な分類であっても良いし、年齢が実年齢を示す値等であっても良い。
【００５４】
いずれにしても教師データ３００ｂにおいては、このような出力のフォーマットと同一のフォーマットで画像内の人物の状態を示す値が定義され、画像に対応づけられている。従って、以上の状態推定モデルを利用して制御部２００が、可変パラメータ（例えば、フィルタの重み等）を機械学習することにより、画像から画像に含まれる人物の状態を推定する状態推定モデルを取得することができる。図３に示すモデルは一例であり、フィルタの大きさや数、種類、活性化関数の種類、パディングやストライドの種類、プーリング層の種類や有無、全結合層の有無、Ｒｅｓ−Ｎｅｔの有無等は適宜変更されて良い。
【００５５】
本実施形態において制御部２００は、予め用意された教師データ３００ｂに基づいて、以上のような状態推定モデルの機械学習処理を実行する。機械学習処理の手順は、公知の手法を利用することができる。すなわち、制御部２００は、図３に示すような予め構築された状態推定モデルに対して教師データが示す画像を入力し、出力値を得る。そして、制御部２００は、当該出力値と、教師データ３００ｂが示す画像の場所との差分を最小化するようにモデル（フィルタの重みやバイアス等）を調整することにより機械学習を行う。
【００５６】
すなわち、制御部２００は、学習過程において、状態推定モデルのパラメータを取得し（初回学習時であれば初期化し）、パラメータで特定される状態推定モデルに対して教師データ３００ｂが示す画像を入力し、出力を計算する。また、制御部２００は、出力された状態の推定値と教師データ３００ｂが示す状態との誤差を示す損失関数によって誤差を特定する。そして、制御部２００は、損失関数のパラメータによる微分に基づいてパラメータを更新する処理を既定回数繰り返す。
【００５７】
むろん、損失関数は、種々の関数を採用可能であり、例えば、交差エントロピー誤差などを採用可能である。以上のような損失関数を算出する処理は、教師データ３００ｂに含まれる画像の全てまたは一部について実施され、その平均や総和によって１回の学習における損失関数が表現される。１回の学習における損失関数が得られたら、制御部２００は、既定の最適化アルゴリズム、例えば、確率的勾配降下法等によってパラメータを更新する。以上のようなパラメータの更新が、既定回数繰り返されると、制御部２００は、得られた状態推定モデルをモデルデータ３００ｃとして記録媒体に記録する。
【００５８】
この結果、状態推定モデルによって出力された出力値と真の状態との差分が閾値以下に収束している場合や、汎化性能が基準以上になっている場合や、モデルデータ３００ｃによる推定精度が既定値以上になっている場合などに機械学習が充分に進んだと判定され、機械学習が終了する。むろん、汎化性能は、学習用の教師データ３００ｂと異なるデータ（テストデータ）で評価されても良い。さらに、汎化性能の評価に加え、教師データ３００ｂと異なるデータ（検証データ）に基づいてハイパーパラメーターの妥当性の検証が行われてもよい。
【００５９】
機械学習されたモデルデータ３００ｃを利用すれば、利用者が指示した画像から画像が示す場所と、画像に含まれる人物の状態とを推定することが可能になる。本実施形態においては、画像が示す場所と、画像に含まれる人物の状態とから、画像が示す場所の次に訪問する場所として推定される推奨目的地を取得する構成が採用されている。
【００６０】
目的地送信部２１０ｃは、利用者が指示した画像から画像が示す場所と、画像に含まれる人物の状態とを推定し、画像が示す場所の次に訪問する場所として推定される推奨目的地を取得する機能を制御部２００に実行させるプログラムモジュールである。すなわち、制御部２００は、携帯端末１０から画像情報３０ａが送信されると、当該画像情報３０ａを入力値としてモデルデータ３００ｃが示す場所推定モデルに入力し、画像が示す場所の属性を取得する。そして、制御部２００は、画像が示す場所に類似する場所を推奨目的地の候補から除外する。
【００６１】
また、制御部２００は、画像情報３０ａを入力値としてモデルデータ３００ｃが示す状態推定モデルに入力し、画像に含まれる人物の状態を取得する。この際、制御部２００は、矩形内に人物が存在する可能性Ｐｈが閾値以上の出力値を取得し、人物の数を取得するとともに、人物の性別、年齢、服装、感情の値を取得する。人物の数が複数である場合、人物の性別、年齢、服装、感情は、各人物について得られるため、各人物についての情報が人物の状態を示すと見なされても良いし、統計値（例えば平均値等）が人物の状態を示すと見なされても良い。本実施形態においては、統計値が取得される場合の例について説明する。従って、人物の数が複数である場合、人物の性別、年齢、服装、感情の値は画像全体の人物の状態を統計的に示す値となる。
【００６２】
人物の状態が取得されると、制御部２００は、画像に含まれる人物の状態に類似する状態の人物の訪問場所から推奨目的地を選択する。具体的には、本実施形態においては、訪問候補情報３００ｄが予め定義されている。本実施形態において訪問候補情報３００ｄは、将来訪問したい場所として利用者が予め登録した場所（行きたい場所リスト）である。すなわち、本実施形態において、携帯端末１０の利用者は、携帯端末１０を操作して将来訪問したい場所を指定することができる。指定された場所は、サーバ１００に送信され、訪問候補情報３００ｄとして記録媒体３００に保存されている。
【００６３】
場所の定義方法としては、種々の方法が採用可能であるが、本実施形態においては、場所の座標と、当該場所に存在する施設の属性（例えば、ショッピングセンター、公園、映画館など）とが場所の定義に含まれている。さらに、本実施形態においては、各場所を訪問する人物の典型的な状態を示す情報が対応づけられている。すなわち、訪問候補情報３００ｄにおいては、状態推定モデルが出力する出力値と同一のフォーマットにおいて訪問する人物の典型的な状態が定義され、各場所に対して対応づけられている。具体的には、各場所に対して、訪問時の人物の数、人物の性別、年齢、服装、感情を示す値が対応づけられている。
【００６４】
そこで、制御部２００は、訪問候補情報３００ｄを参照し、画像情報３０ａが示す画像の場所の属性を取得し、訪問候補情報３００ｄから当該属性と異なる（非類似の）属性の場所を抽出する。なお、属性の類否は、例えば、類似する属性と非類似の属性との関係が予め定義され、当該関係が参照されるなどして判定することができる。むろん、類似関係が機械学習等によって決められても良い。
【００６５】
さらに、制御部２００は、抽出された場所に対応づけられた人物の状態を特定し、画像情報３０ａが示す画像に含まれる人物の状態と比較する。そして、制御部２０は、画像情報３０ａが示す画像に含まれる人物の状態と類似している状態が対応づけられた場所を取得する。なお、状態の類似は、種々の手法で判定されて良く、例えば、数値の差分の大きさ（例えば２乗した値）が小さい程類似していると見なされる構成等であっても良い。むろん、類似関係が機械学習等によって決められても良い。
【００６６】
制御部２００は、以上のようにして類似していると判定された場所の中から類似している度合いが高い順に既定数の場所が推奨目的地として取得される。そして、制御部２００は、目的地送信部２１０ｃの機能により、通信部４００を介して、推奨目的地を携帯端末１０に送信する。推奨目的地が携帯端末１０で受信されると、携帯端末１０においてはユーザＩ／Ｆ部４１の表示部に推奨目的地が表示される。以上の構成によれば、利用者は、自身が指定した画像が示す場所の次の場所として推奨される推奨目的地を取得することができる。
【００６７】
（２）目的地案内処理：
次に、目的地案内処理について詳細に説明する。図４Ｂは、目的地案内処理のフローチャートである。目的地案内処理は、利用者による指示等によって実行が開始される。目的地案内処理が開始されると、制御部２０は、画像取得部２１ａの機能により、画像の選択を受け付ける（ステップＳ１００）。すなわち、制御部２０は、ユーザＩ／Ｆ部４１の表示部を制御して画像選択のための選択画面を表示させる。利用者は、当該選択画面を利用し、画像情報３０ａから所望の画像を選択する。
【００６８】
外出先で撮影した画像を当該外出先で利用者が選択すれば、現在の場所の次の場所として推奨される推奨目的地の提案を受けることができる。利用者が画像を選択すると、制御部２０は、選択された画像を画像情報３０ａから取得する。
【００６９】
画像が選択されると、制御部２０は、画像を送信する（ステップＳ１０５）。すなわち、制御部２０は、ステップＳ１００で受け付けられた画像を示す画像情報３０ａを、通信部４０を介してサーバ１００に送信する。画像が送信されると、サーバ１００は、当該画像が示す場所を推定し、当該画像に含まれる人物の状態を推定する。そして、サーバ１００は、訪問候補情報３００ｄから、画像が示す場所に類似していない場所であって、画像に含まれる人物の状態に類似する状態が対応づけられた場所を抽出し、推奨目的地と見なす。推奨目的地が取得されると、推奨目的地が携帯端末１０に送信される。
【００７０】
推奨目的地が携帯端末１０に送信されると、制御部２０は、目的地取得部２１ｂの機能により、通信部４０を介して推奨目的地を取得する（ステップＳ１１０）。そして、制御部２０は、目的地案内部２１ｃの機能により、推奨目的地を案内する（ステップＳ１１５）。すなわち、制御部２０は、ユーザＩ／Ｆ部４１の表示部を制御し、推奨目的地を示す情報を表示させる。以上の構成によれば、利用者は画像を指示するのみで人物の状態を指示することができ、当該状態の人物が、画像の場所の次に訪問することが推奨される場所を知ることができる。
【００７１】
（３）目的地送信処理：
次に、目的地送信処理について詳細に説明する。図４Ｃは、目的地送信処理のフローチャートである。目的地送信処理は、モデルデータ３００ｃおよび訪問候補情報３００ｄが作成済の状態において、サーバ１００に対して携帯端末１０から画像情報３０ａが送信された場合に実行開始される。目的地送信処理が開始されると、制御部２００は、画像受信部２１０ａの機能により、画像を受信する（ステップＳ２００）。すなわち、制御部２００は、通信部４００によって画像情報３０ａを受信し、記録媒体３００に記録させる。
【００７２】
次に、制御部２００は、目的地送信部２１０ｃの機能により、画像をモデルに入力し、場所と人物の状態を推定する（ステップＳ２０５）。すなわち、制御部２００は、モデルデータ３００ｃから場所推定モデルを取得し、画像情報３０ａが示す画素毎の階調値を入力値として場所推定モデルに入力する。制御部２００は、この結果得られた出力値に基づいて、画像が示す場所の属性を取得する。
【００７３】
また、制御部２００は、モデルデータ３００ｃから状態推定モデルを取得し、画像情報３０ａが示す画素毎の階調値を入力値として状態推定モデルに入力する。制御部２００は、この結果得られた出力値を取得する。出力値は、矩形内に人物が存在する可能性と、画像に含まれる各人物についての性別、年齢、服装、感情を示している。そこで、制御部２００は、矩形内に人物が存在する可能性が閾値以上の出力値を取得し、その矩形の数を人物の数と見なす。人物の数が複数である場合、制御部２００は、各人物の性別、年齢、服装、感情に基づいて統計値（例えば平均値等）を取得することで、画像全体の人物の状態を統計的に示す値とする。
【００７４】
次に、制御部２００は、目的地送信部２１０ｃの機能により、場所が類似せず、人物の状態が類似する訪問候補を推奨目的地として取得する（ステップＳ２１０）。すなわち、制御部２００は、訪問候補情報３００ｄを参照し、ステップＳ２０５で推定された画像の場所の属性を取得し、訪問候補情報３００ｄから当該属性と異なる（非類似の）属性の場所を抽出する。
【００７５】
さらに、制御部２００は、抽出された場所に対応づけられた人物の状態を特定し、画像情報３０ａが示す画像に含まれる人物の状態と比較する。そして、制御部２０は、画像情報３０ａが示す画像に含まれる人物の状態と類似している状態が対応づけられた場所を取得する。制御部２００は、類似していると判定された場所の中から類似している度合いが高い順に既定数の場所を取得する。既定数が３である場合、３箇所の場所が推奨目的地として取得される。むろん、ここでは、種々の手法で場所が取得されて良く、例えば、類似している度合いが高い順に既定数の属性の場所が取得され、推奨目的地としての属性が案内される構成であっても良い。
【００７６】
推奨目的地が取得されると、制御部２００は、目的地送信部２１０ｃの機能により、通信部４００を介して、推奨目的地を携帯端末１０に送信する（ステップＳ２１５）。携帯端末１０が推奨目的地を受信すると、推奨目的地がユーザＩ／Ｆ部４１の表示部に表示される。以上の構成によれば、利用者は、利用者が指定した画像に適した次の推奨目的地を取得することができる。
【００７７】
（４）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、画像が示す場所の次に訪問する場所として推奨される推奨目的地を案内することができる限りにおいて、他にも種々の実施形態を採用可能である。例えば、携帯端末１０は、車載型の装置であってもよい。また、目的地案内システムを構成する各部が複数の装置に分かれていても良い。この場合、各装置の役割が図１に示す構成と異なっていても良い。例えば、推奨目的地を取得するサーバと、機械学習を行うサーバは異なっていてもよい。
【００７８】
目的地案内システムを構成する画像取得部２１ａ、目的地取得部２１ｂ、目的地案内部２１ｃや、機械学習システムを構成する画像受信部２１０ａ、機械学習部２１０ｂ、目的地送信部２１０ｃの少なくとも一部が複数の装置に分かれて存在している構成において、各装置の役割が図１に示す構成と異なる例としては、種々の例を想定可能である。例えば、サーバ１００で機械学習されたモデルデータ３００ｃが携帯端末１０に記録され、携帯端末１０側で推奨目的地の取得が行われてもよい。むろん、上述の実施形態の一部の構成が省略または置換されていてもよいし、処理の順序が変動または省略されてもよい。
【００７９】
さらに、機械学習の手法は、種々の手法を採用し得る。上述のニューラルネットワークに入力される入力値と、出力値の態様は一例であり、他の例であっても良い。すなわち、機械学習部２１０ｂは、画像に基づいて、画像が示す場所の次に訪問する場所として推奨される推奨目的地を取得することができればよい。機械学習においては、推奨目的地を直接的、または間接的に推定するモデルを構築し、当該モデルによる出力と教師データにおける撮影時期との差分を極小化する学習を行うことができればよい。
【００８０】
従って、例えばニューラルネットワークによる機械学習が行われる場合、モデルを構成する層の数やノードの数、活性化関数の種類、損失関数の種類、勾配降下法の種類、勾配降下法の最適化アルゴリズムの種類、ミニバッチ学習の有無やバッチの数、学習率、初期値、過学習抑制手法の種類や有無、畳み込み層の有無、畳み込み演算におけるフィルタのサイズ、フィルタの種類、パディングやストライドの種類、プーリング層の種類や有無、、全結合層の有無、再帰的な構造の有無など、種々の要素を適宜選択して機械学習が行われればよい。むろん、他の機械学習、例えば、サポートベクターマシンやクラスタリング、強化学習等によって学習が行われてもよい。さらに、モデルの構造（例えば、層の数や層毎のノードの数等）が自動的に最適化される機械学習が行われてもよい。
【００８１】
画像取得部は、利用者によって指示された画像を取得することができればよい。すなわち、利用者は、目的地の提案を受けるための解析の基となる画像を指示することができ、画像取得部は、当該画像を取得する。画像は利用者によって指示されれば良いが、画像が指示される場面としては種々の場面が想定されて良い。従って、上述の実施形態のように、外出先で画像を撮影した利用者が当該外出先で当該画像を指示することによって推奨目的地の提案を受ける構成以外にも種々の構成が採用されてよい。例えば、旅程を作成中において、利用者が、ある目的地に関連する画像（ウェブサイトに掲載された画像等）を指示し、推奨目的地の提案を受ける構成等が採用されてよい。
【００８２】
目的地取得部は、画像に基づいて、画像が示す場所の次に訪問する場所として推奨される推奨目的地を取得することができればよい。すなわち、目的地取得部は、画像に基づいて、次に訪問する場所として推奨される推奨目的地を取得することができればよく、例えば、画像を入力し、次に訪問する場所として推奨される推奨目的地を出力するニューラルネットワーク等のモデルによって実現可能である。
【００８３】
画像が示す場所は、画像に含まれる風景が示す場所であれば良く、場所としては、特定の領域であっても良いし、特定の座標であっても良いし、特定の座標に存在する施設等の属性（例えば、公園、店舗等）であっても良いし、施設であっても良い。画像が示す場所は、次に訪問する場所として推奨される推奨目的地が特定される過程で特定されても良いし、特定されなくても良い。後者としては、例えば、機械学習されたモデルにおいて画像が示す場所は考慮されているが、画像が示す場所に対応した情報が明示的に出力されず、推奨目的地が出力される場合が挙げられる。なお、画像が示す場所が特定される場合、画像内の被写体から場所が特定される構成に限定されず、画像に対応づけられたタグ（例えば、写真を撮影した場合の位置情報等）に基づいて特定されても良く、種々の構成を採用可能である。
【００８４】
推奨目的地は、画像が示す場所の次に訪れることが推奨される場所であり、画像が示す状況によって異なり得るように定義されていれば良い。従って、推奨目的地としての場所も、特定の領域であっても良いし、特定の座標であっても良いし、特定の座標に存在する施設等の属性（例えば、公園、店舗等）であっても良し、施設であっても良い。
【００８５】
次に訪問する場所として推奨される推奨目的地は、画像が示す状況において利用者が訪れる候補となる場所である。従って、画像が示す場所ではないことが好ましい。また、候補となり得る種々の場所は、状況に適した場所、適していない場所があり得る。例えば、画像内の人物の服装が正装である場合に推奨目的地としての場所が公園になると不適切である。従って、画像が示す状況で訪れるのが不適切である場所は推奨されず、適切である場所は推奨される。
【００８６】
推奨される場所、推奨されない場所は、種々の規則で決められていて良く、例えば、画像が示す状況と類似している状況（人数、性別構成等）で複数の利用者が訪問した場所が推奨される構成が挙げられる。むろん、ここでは推奨目的地として推奨される必要があるため、画像が示す場所ではないことが好ましい。
【００８７】
また、推奨は規則に基づいて実施される構成に限定されず、機械学習によって行われてもよい。すなわち、画像に基づいて次に訪問する場所として推奨される推奨目的地が出力されるモデルが学習されても良い。この場合、画像に対して次に訪問する場所として推奨される推奨目的地を示す情報が対応づけられて機械学習が行われる。
【００８８】
目的地案内部は、推奨目的地を案内することができればよい。目的地の案内態様は、種々の態様であって良く、上述の実施形態のように、推奨目的地自体が案内される構成以外にも種々の構成を採用可能である。例えば、施設の属性が案内されてもよいし、推奨目的地の座標が案内されても良いし、当該推奨目的地までの経路が案内されても良いし、推奨目的地を示す情報（例えば、ウェブサイト等）が案内されても良い。むろん、案内対象となる推奨目的地は複数箇所であっても良い。
【００８９】
場所の類似は、上述の実施形態のように、場所の属性の類似に限定されない。例えば、画像内に含まれるオブジェクトの類似であっても良いし、画像の類似度を機械学習したモデルの出力値が類似していることを示している場合に類似と見なされる構成等であっても良い。人物の状態の類似も同様であり、上述の実施形態のように人物の状態を示す要素（人物の数、性別、年齢、服装、感情）を示す数値の類似に限定されない。例えば、画像内に存在する人物の画像の類似度であっても良いし、人物の状態の類似度を機械学習したモデルの出力値が類似ていることを示している場合に類似と見なされる構成等であっても良い。
【００９０】
画像に含まれる人物の状態は、上述のように、人物の数、性別、年齢、服装、感情である構成に限定されず、これらからいずれか１個が選択されてもよい。むろん、これら以外の要素、例えば、所持している物（スポーツ道具、楽器等）や日時、季節、天気等が考慮されて推奨目的地が取得されても良い。
【００９１】
さらに、推奨目的地は、画像を指定した利用者が予め登録した訪問候補である構成以外にも、種々の構成が採用されてよい。例えば、利用者の過去の訪問履歴が考慮されても良い。この構成においては、携帯端末１０の利用者が過去に訪問した場所の履歴がサーバ１００に送信され、訪問候補情報３００ｄとして記録媒体３００に記録される。そして、制御部２００は、訪問候補情報３００ｄを参照し、利用者以外の他者が訪問した複数の場所を訪問済の場所として取得し、訪問済の場所から推奨目的地を取得する構成としても良い。
【００９２】
すなわち、制御部２００は、訪問候補情報３００ｄから他者が訪問した場所を抽出し、この中から画像が示す場所に類似する場所を除外し、画像に含まれる人物の状態に類似する状態の人物が訪問した場所を推奨目的地として取得する。以上の構成によれば、利用者が指示した画像の次の場所として他者が訪問した場所からおすすめの場所を抽出し、案内することができる。なお、以上の場合において、訪問候補情報３００ｄから場所が取得される際に、利用者が訪問した場所が除外されても良い。この構成によれば、他者が訪問したが利用者自身が訪問していない場所をおすすめの場所として案内することができる。
【００９３】
さらに、本発明のように、画像が示す場所の次に訪問する場所として推奨される推奨目的地を案内する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、方法、プログラムは、単独の装置として実現される場合や、複数の装置によって実現される場合が想定可能であり、各種の態様を含むものである。例えば、以上のような手段を備えた各種のシステムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし半導体メモリであってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【００９４】
１０…携帯端末、２０…制御部、２１ａ…画像取得部、２１ｂ…目的地取得部、２１ｃ…目的地案内部、３０…記録媒体、３０ａ…画像情報、４０…通信部、４１…ユーザＩ／Ｆ部、４２…カメラ、４３…ＧＮＳＳ受信部、１００…サーバ、２００…制御部、２１０…機械学習プログラム、２１０ａ…画像受信部、２１０ｂ…機械学習部、２１０ｃ…目的地送信部、３００…記録媒体、３００ｂ…教師データ、３００ｃ…モデルデータ、３００ｄ…訪問候補情報、４００…通信部
【図１】
2020071564.tif 000003
【図２】
2020071564.tif 000004
【図３】
2020071564.tif 000005
【図４】
2020071564.tif 000006