Faits :
A.
A.a. Le 25 avril 2014, A._, né en 1971, s'est inscrit à l'Office régional de placement de Lausanne (ci-après: ORP) et a requis l'octroi d'indemnités de chômage à compter du 1 er mai 2014, en indiquant être domicilié à Lausanne. Un délai-cadre d'indemnisation lui a été ouvert à compter de cette date.
A.b. Par courrier du 1 er avril 2015, la Caisse cantonale vaudoise de chômage (ci-après: la caisse de chômage) a informé A._ qu'elle était amenée à examiner son droit aux prestations de chômage et lui a notamment demandé de lui faire parvenir des explications et documents relatifs à son lieu de domicile. Après analyse des documents reçus et à réception d'une attestation du contrôle des habitants selon laquelle l'assuré séjournait à Lausanne en résidence secondaire, la caisse de chômage a, par décision du 19 juin 2015, nié le droit de A._ à l'indemnité de chômage dès le 1 er mai 2014, motif pris qu'il était principalement domicilié en France. Dans une autre décision du même jour, la caisse de chômage lui a réclamé la restitution d'un montant de 81'051 fr. 50, correspondant aux prestations indûment perçues entre le mois de mai 2014 et le mois de mars 2015. Ces décisions ont été confirmées sur opposition le 28 septembre 2015.
Saisie d'un recours contres les deux décisions sur opposition, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud (ci-après: la Cour des assurances sociales) l'a rejeté par jugement du 2 mai 2016. Le recours interjeté contre ce jugement a lui aussi été rejeté par le Tribunal fédéral, par arrêt du 23 décembre 2016 (cause 8C_419/2016).
A.c. Le 15 février 2017, A._ a déposé une demande de remise de l'obligation de restituer. Par décision du 18 août 2017, confirmée sur opposition le 22 décembre 2017, le Service de l'emploi du canton de Vaud (SPE) a refusé d'accorder la remise, au motif que l'assuré ne pouvait se prévaloir de sa bonne foi.
B.
Par jugement du 14 juin 2018, la Cour des assurances sociales a rejeté le recours formé par l'assuré contre la décision sur opposition du 22 décembre 2017.
C.
A._ a déposé un recours contre ce jugement dont il demande l'annulation en concluant à la reconnaissance de sa bonne foi et au renvoi de la cause au SPE pour instruire la question de la rigueur économique, le tout sous suite de frais et dépens.
Le SPE conclut au rejet du recours.

Considérant en droit :
1.
Le litige porte sur les conditions de la remise de l'obligation de restituer les prestations de chômage indues, singulièrement sur le point de savoir si le recourant remplit la condition de la bonne foi.
2.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1 p. 503) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). Il n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 1.3.1 p. 253).
3.
Selon l'<ref-law> (RS 830.1), les prestations indûment touchées doivent être restituées. La restitution ne peut être exigée lorsque l'intéressé était de bonne foi et qu'elle le mettrait dans une situation difficile. Ces deux conditions matérielles sont cumulatives et leur réalisation est nécessaire pour que la remise de l'obligation de restituer soit accordée (<ref-ruling> consid. 3c p. 53; arrêt 9C_638/2014 du 13 août 2015 consid. 4.1).
Selon la jurisprudence, l'ignorance, par le bénéficiaire des prestations, du fait qu'il n'avait pas droit aux prestations ne suffit pas pour admettre sa bonne foi. Il faut bien plutôt que le requérant ne se soit rendu coupable, non seulement d'aucune intention malicieuse, mais aussi d'aucune négligence grave. Il s'ensuit que la bonne foi, en tant que condition de la remise, est exclue d'emblée lorsque les faits qui conduisent à l'obligation de restituer - comme par exemple une violation du devoir d'annoncer ou de renseigner - sont imputables à un comportement dolosif ou à une négligence grave. En revanche, le bénéficiaire peut invoquer sa bonne foi lorsque l'acte ou l'omission fautifs ne constituent qu'une violation légère de l'obligation d'annoncer ou de renseigner (<ref-ruling> consid. 4 p. 220 s.; <ref-ruling> consid. 2c p. 103; <ref-ruling> consid. 3c p. 180).
Il y a négligence grave quand un ayant droit ne se conforme pas à ce qui peut raisonnablement être exigé d'une personne capable de discernement dans une situation identique et dans les mêmes circonstances (ATF <ref-ruling> précité consid. 3d p. 181). L'examen de l'attention exigible d'un ayant droit qui invoque sa bonne foi relève du droit et le Tribunal fédéral revoit librement ce point (<ref-ruling> consid. 3 p. 223, 102 V 245 consid. b p. 246).
4.
La cour cantonale a constaté que le recourant, tout en sachant que son domicile principal était en France, avait indiqué uniquement son lieu de résidence secondaire suisse sur plusieurs formulaires, en particulier dans la demande d'indemnité. Il devait donc se douter que la caisse de chômage n'était pas en possession de toutes les informations lui permettant de statuer de manière correcte sur son droit au chômage. Le recourant n'avait pourtant pas fait corriger son adresse, telle qu'elle ressortait de la documentation, ni précisé qu'il n'était à Lausanne qu'en résidence secondaire. En outre, il avait assisté, le 5 mai 2014, à une séance collective d'information sur l'assurance-chômage, au cours de laquelle est rappelée l'obligation de domicile en Suisse. Si le recourant avait un doute à ce propos, il aurait pu en faire part à son conseiller ORP. Par ailleurs, le fait que les décomptes de salaire de l'ancien employeur étaient adressés en France n'était pas déterminant au vu des déclarations successives du recourant, selon lesquelles il était domicilié à Lausanne. Enfin, il n'était pas établi que la caisse de chômage avait eu connaissance de l'attestation du contrôle des habitants de la ville de Lausanne - d'où il ressort qu'il y est inscrit en résidence secondaire - avant le printemps 2015.
5.
Le recourant fait valoir que le domicile principal et le domicile secondaire sont des notions juridiques qui ne sont pas compréhensibles pour le commun des mortels et qu'il n'est pas démontré qu'il connaissait la différence entre ces deux notions et son influence sur le droit aux prestations. Il ne serait pas non plus établi que les participants à la séance d'information ont été renseignés sur ces notions. Se référant à la décision sur opposition de la caisse de chômage du 28 septembre 2015 (niant son droit à l'indemnité), le recourant affirme en outre que l'une des secrétaires de l'ORP donne comme information que les personnes peuvent s'inscrire (à l'ORP) même si elles ne disposent que d'une résidence secondaire en Suisse. Il fait également valoir qu'il a toujours transmis tous les documents demandés en temps et en heure. Pour lui, il était naturel d'indiquer Lausanne comme domicile dans la mesure où depuis 10 ans il y habitait, y travaillait, avait payé ses cotisations en Suisse et entendait y chercher du travail. La transmission en décembre 2014 de l'attestation de domicile du contrôle des habitants démontrerait aussi sa bonne foi, indépendamment de la date à laquelle la caisse de chômage a reçu le document. Le recourant se prévaut enfin de pièces mentionnant l'adresse en France (décomptes de salaire; formulaire "obligation d'entretien envers des enfants") et soutient qu'il n'avait aucun intérêt particulier à percevoir des prestations de chômage en Suisse alors qu'il aurait pu toucher des indemnités pour le moins identiques en France.
6.
Les arguments avancés par le recourant ne sont pas susceptibles d'établir sa bonne foi. En effet, même si lors de son inscription au chômage il n'avait pas saisi exactement la notion du domicile, au sens de l'assurance-chômage, il pouvait raisonnablement être exigé de sa part qu'il mentionne le lieu où il réside à titre principal plutôt que sa résidence secondaire ou, en cas d'incertitudes, qu'il se renseigne ou indique les deux adresses. Dans tous les cas, le rappel de l'obligation de domicile en Suisse lors de la séance d'information collective aurait dû susciter auprès du recourant le doute que son domicile français pouvait constituer un obstacle à la reconnaissance de son droit à l'indemnité. Ensuite, en tant que le recourant se prévaut des déclarations de l'ORP, il invoque des faits qui n'ont pas été constatés par la juridiction cantonale. Quoi qu'il en soit, la collaboratrice aurait également déclaré - selon l'acte de recours - que l'on ne pouvait pas déduire de l'inscription à l'ORP un droit à l'indemnité de chômage, de sorte que cet argument ne plaide pas en faveur de la thèse du recourant. Quant aux liens qu'il entretient avec la ville de Lausanne et, de manière générale, avec la Suisse, ils sont plutôt de nature à remettre en cause la question de sa résidence habituelle, sur laquelle il n'y a toutefois plus lieu de revenir à ce stade de la procédure. Enfin, l'équivalence des indemnités de chômage suisse et française n'est de loin pas établie. En conclusion, si l'on peut inférer des pièces mentionnées par le recourant (décomptes de salaire; formulaire "obligation d'entretien envers des enfants") qu'il n'entendait pas cacher son adresse en France, il n'en reste pas moins qu'en donnant uniquement celle de sa résidence secondaire en Suisse dans les formulaires de l'ORP et de la caisse de chômage, il a commis une négligence grave de nature à exclure sa bonne foi, au sens de la jurisprudence. Par conséquent le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
7.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 12 mars 2019
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Castella