Faits : A. A._ s'est inscrit à l'Office régional de placement de B._ (ci-après: ORP) et a requis l'octroi d'indemnités de chômage à compter du 1 er mai 2014, indiquant être domicilié à l'avenue U._, à B._. La Caisse cantonale de chômage (ci-après: la caisse) lui a versé des indemnités de chômage dès cette date. Par courrier du 1 er avril 2015, la caisse a informé A._ qu'elle était amenée à examiner son droit aux prestations de chômage et lui a notamment demandé de lui faire parvenir des explications et documents relatifs à son lieu de domicile. Après analyse des documents reçus et à réception d'une attestation du contrôle des habitants selon laquelle l'assuré séjournait à B._ en résidence secondaire, la caisse a, par décision du 19 juin 2015, nié le droit de A._ à l'indemnité de chômage dès le 1 er avril (recte: mai) 2014, motif pris qu'il était principalement domicilié en France. Dans une autre décision du même jour, la caisse lui a réclamé la restitution d'un montant de 81'051 fr. 50, correspondant aux prestations indûment perçues entre le mois de mai 2014 et le mois de mars 2015. Ces décisions ont été confirmées sur opposition le 28 septembre 2015. B. Par acte du 29 octobre 2015, l'assuré a recouru contre les deux décisions sur opposition précitées devant la Cour des assurances sociales du Tribunal cantonal vaudois en demandant leur annulation. A titre principal, il a conclu à ce que le droit à l'indemnité de chômage lui soit reconnu à partir du 1 er mai 2014. A titre subsidiaire, il a conclu à ce qu'il ne doive pas restituer le montant de 81'051 fr. 50. Par jugement du 2 mai 2016, le Tribunal cantonal a rejeté le recours. C. A._ forme un recours contre ce jugement dont il demande l'annulation. Comme en première instance, il conclut principalement à ce que le droit à l'indemnité de chômage lui soit reconnu à partir du 1 er mai 2014; subsidiairement, à ce qu'il ne doive pas restituer la somme de 81'051 fr. 50. La caisse conclut au rejet du recours, tandis que le Secrétariat d'Etat à l'économie (SECO) a renoncé à se déterminer.