Faits :
A.
A._ s'est inscrit à l'Office régional de placement de B._ (ci-après: ORP) et a requis l'octroi d'indemnités de chômage à compter du 1 er mai 2014, indiquant être domicilié à l'avenue U._, à B._. La Caisse cantonale de chômage (ci-après: la caisse) lui a versé des indemnités de chômage dès cette date. Par courrier du 1 er avril 2015, la caisse a informé A._ qu'elle était amenée à examiner son droit aux prestations de chômage et lui a notamment demandé de lui faire parvenir des explications et documents relatifs à son lieu de domicile. Après analyse des documents reçus et à réception d'une attestation du contrôle des habitants selon laquelle l'assuré séjournait à B._ en résidence secondaire, la caisse a, par décision du 19 juin 2015, nié le droit de A._ à l'indemnité de chômage dès le 1 er avril (recte: mai) 2014, motif pris qu'il était principalement domicilié en France. Dans une autre décision du même jour, la caisse lui a réclamé la restitution d'un montant de 81'051 fr. 50, correspondant aux prestations indûment perçues entre le mois de mai 2014 et le mois de mars 2015. Ces décisions ont été confirmées sur opposition le 28 septembre 2015.
B.
Par acte du 29 octobre 2015, l'assuré a recouru contre les deux décisions sur opposition précitées devant la Cour des assurances sociales du Tribunal cantonal vaudois en demandant leur annulation. A titre principal, il a conclu à ce que le droit à l'indemnité de chômage lui soit reconnu à partir du 1 er mai 2014. A titre subsidiaire, il a conclu à ce qu'il ne doive pas restituer le montant de 81'051 fr. 50. Par jugement du 2 mai 2016, le Tribunal cantonal a rejeté le recours.
C.
A._ forme un recours contre ce jugement dont il demande l'annulation. Comme en première instance, il conclut principalement à ce que le droit à l'indemnité de chômage lui soit reconnu à partir du 1 er mai 2014; subsidiairement, à ce qu'il ne doive pas restituer la somme de 81'051 fr. 50.
La caisse conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie (SECO) a renoncé à se déterminer.
Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui sont déposés devant lui (ATF 141 II 113 consid. 1 p. 116; 141 III 395 consid. 2.1 p. 397).
2.
Selon l'art. 42 al. 1 LTF, les mémoires de recours doivent notamment indiquer les motifs. D'après l'art. 42 al. 2, 1 ère phrase, LTF, les motifs doivent exposer succinctement en quoi l'arrêt attaqué viole le droit. Selon la jurisprudence, le recourant doit discuter, même brièvement, les considérants de la décision attaquée. Autrement dit, il doit exister un lien entre la motivation du recours et ladite décision. Le recourant doit se déterminer par rapport aux considérants de l'arrêt entrepris et expliquer en quoi ceux-ci sont à son avis contraires au droit; il ne peut se contenter de reprendre presque mot pour mot l'argumentation formée devant l'autorité cantonale (ATF 140 III précité consid. 2; 134 II 244 consid. 2.1 et 2.3; FLORENCE AUBRY GIRARDIN, Commentaire de la LTF, 2 ème éd., n° 30 ad art. 42 LTF et les arrêts cités).
3.
3.1. Dans un premier grief, le recourant soutient qu'il a droit à l'indemnité de chômage en se fondant sur le principe de la protection de sa bonne foi, en relation avec une prétendue violation par le conseiller de l'ORP de son obligation de renseigner. Ce faisant, le recourant se contente d'exposer une argumentation identique à celle contenue dans son mémoire de recours cantonal, reprenant pour l'essentiel mot pour mot les développements présentés devant les juges précédents. Un tel procédé ne répond pas aux exigences de motivation rappelées ci-dessus (cf. supra consid. 2).
3.2. Dans le seul passage qui ne constitue pas un "copié-collé" de son acte de recours cantonal (cf. recours, ch. 1 c), le recourant reproche à la caisse de ne pas avoir apporté la preuve de son allégation selon laquelle il est précisé, lors des séances d'information organisées par l'ORP, que le droit au chômage est subordonné à la condition d'être domicilié en Suisse. Il estime qu'il ne suffit pas d'informer les assurés quant à la condition du domicile en Suisse mais qu'il y a lieu d'attirer leur attention sur la distinction entre le domicile et la résidence. Et d'ajouter que s'il avait été correctement renseigné sur la nécessité d'avoir son domicile principal en Suisse pour avoir droit au chômage, et non pas simplement une résidence secondaire, il aurait fait valoir son droit au chômage en France.
Ainsi que l'ont rappelé les premiers juges, l'existence d'un renseignement erroné - auquel on assimile le défaut de renseignement dans une situation où une obligation de renseigner est prévue par la loi, ou lorsque les circonstances concrètes du cas particulier auraient commandé une information de l'assureur -, doit être prouvée ou au moins rendue hautement vraisemblable par celui qui se prévaut du principe de la bonne foi, l'absence de preuve étant défavorable à celui qui veut déduire un droit de l'état de fait non prouvé (voir BORIS RUBIN, Commentaire de la loi sur l'assurance-chômage, 2014, Annexes n° 16, p. 694). Dans la mesure où il appartenait au recourant de rendre vraisemblable qu'un renseignement erroné lui avait été donné et que, selon les constatations du jugement attaqué, il n'a pas apporté cette preuve, il ne saurait rien tirer du droit à la protection de sa bonne foi en lien avec un renseignement erroné.
3.3. Le recourant soutient encore qu'il a droit à une remise de l'obligation de restituer. Là aussi, la motivation présentée par le recourant à l'appui de ce grief consiste en une reprise textuelle de son mémoire de recours cantonal. En tout état de cause, la juridiction cantonale ayant renvoyé le recourant - sur la question de sa bonne foi - à présenter une demande de remise de l'obligation de restituer le montant réclamé par l'intimée, cette question n'est pas litigieuse dans la présente procédure. Elle n'a dès lors pas à être examinée.
4.
Vu ce qui précède, le jugement entrepris n'est pas critiquable et le recours, en tant qu'il est recevable, se révèle manifestement mal fondé, de sorte qu'il convient de liquider la cause selon la procédure simplifiée prévue à l'art. 109 al. 2 let. a LTF. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 23 décembre 2016
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Fretz Perrin