Faits :
A.
A.a. Le 1 er mars 2013, A._, né en 1962, s'est inscrit à l'Office régional de placement (ci-après: l'ORP) d'Aigle; il a sollicité l'octroi d'indemnités de chômage à partir de cette date auprès de la caisse de chômage Unia. Un premier délai-cadre d'indemnisation lui a été ouvert du 1er mars 2013 au 28 février 2015, sur la base de l'activité exercée du 1er juillet 2009 au 28 février 2013 en qualité de chef d'équipe au sein de la société B._ Sàrl. L'assuré a travaillé à nouveau pour cette société du 1er octobre 2013 au 30 novembre 2014; il a été indemnisé par la caisse de chômage du 1er décembre 2014 jusqu'au terme de son délai-cadre d'indemnisation fixé au 28 février 2015. Un second délai-cadre d'indemnisation lui a été ouvert à compter du 2 mars 2015 sur la base de la dernière activité exercée auprès de la société B._ Sàrl.
A.b. Par décision du 13 novembre 2015, confirmée sur opposition le 8 novembre 2016, la caisse de chômage a nié le droit de l'assuré à l'indemnité de chômage dès le 1er mars 2013, au motif que sa fille était inscrite au Registre du commerce en qualité d'associée gérante avec signature individuelle de la société B._ Sàrl dans laquelle l'assuré avait été occupé durant le délai-cadre d'indemnisation. Elle a demandé la restitution du montant de 36'312 fr. 25 versé indûment.
A.c. Le 12 décembre 2016, A._ a déposé une demande de remise de l'obligation de restituer. Par décision du 13 juillet 2017, confirmée sur opposition le 28 mars 2018, le Service de l'emploi du canton de Vaud (ci-après: le SDE) a refusé d'accorder la remise, au motif que l'assuré ne pouvait pas se prévaloir de sa bonne foi.
B.
Par jugement du 10 avril 2019, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté le recours formé par l'assuré contre la décision sur opposition du 28 mars 2018.
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme en ce sens qu'il ne soit pas tenu à restitution. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
Le SDE conclut au rejet du recours.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.1 p. 503) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). Il n'entre pas en matière sur des critiques appellatoires portant sur l'appréciation des preuves ou l'établissement des faits par l'autorité précédente (<ref-ruling> consid. 1.3.1 p. 253).
3.
Le litige porte sur les conditions de la remise de l'obligation de restituer les prestations de chômage indues, singulièrement sur le point de savoir si le recourant remplit la condition de la bonne foi.
4.
Selon l'<ref-law> (RS 830.1), les prestations indûment touchées doivent être restituées. La restitution ne peut pas être exigée lorsque l'intéressé était de bonne foi et qu'elle le mettrait dans une situation difficile. Ces deux conditions matérielles sont cumulatives et leur réalisation est nécessaire pour que la remise de l'obligation de restituer soit accordée (<ref-ruling> consid. 3c p. 53; arrêt 9C_638/2014 du 13 août 2015 consid. 4.1).
Selon la jurisprudence, l'ignorance, par le bénéficiaire des prestations, du fait qu'il n'avait pas droit aux prestations ne suffit pas pour admettre sa bonne foi. Il faut bien plutôt que le requérant ne se soit rendu coupable non seulement d'aucune intention malicieuse, mais aussi d'aucune négligence grave. Il s'ensuit que la bonne foi, en tant que condition de la remise, est exclue d'emblée lorsque les faits qui conduisent à l'obligation de restituer - comme par exemple une violation du devoir d'annoncer ou de renseigner - sont imputables à un comportement dolosif ou à une négligence grave. En revanche, le bénéficiaire peut invoquer sa bonne foi lorsque l'acte ou l'omission fautifs ne constitue qu'une violation légère de l'obligation d'annoncer ou de renseigner (<ref-ruling> consid. 4 p. 220 s.; <ref-ruling> consid. 2c p. 103; <ref-ruling> consid. 3c p. 180).
Il y a négligence grave quand un ayant droit ne se conforme pas à ce qui peut raisonnablement être exigé d'une personne capable de discernement dans une situation identique et dans les mêmes circonstances (ATF <ref-ruling> précité consid. 3d p. 181). L'examen de l'attention exigible d'un ayant droit qui invoque sa bonne foi relève du droit et le Tribunal fédéral revoit librement ce point (<ref-ruling> consid. 3 p. 223; <ref-ruling> consid. b p. 246).
5.
5.1. La cour cantonale a constaté que la question n° 28 posée dans le formulaire de demande d'indemnités de chômage invitait le recourant à donner des renseignements quant à sa participation financière ou à sa position de membre d'un organe supérieur de décision au sein de l'entreprise de son ancien employeur. Elle a considéré qu'en vouant le soin que l'on était en droit d'attendre de lui, le recourant aurait dû se douter que sa situation particulière à l'égard de l'entreprise qui l'employait (domicile au siège de la société, dont sa fille était l'unique associée gérante, titulaire d'une procuration sur le compte bancaire de la société et paiement de dépenses privées inscrites au débit dudit compte) méritait d'être annoncée. En effet, quand bien même le cas d'un assuré travaillant pour le compte de ses enfants n'était pas expressément indiqué, le questionnaire soulevait la problématique d'un pouvoir décisionnel dans la société. Or, vu l'implication du recourant dans la société B._ Sàrl, tant au regard de la participation que du pouvoir décisionnel, la question d'une position assimilable à celle d'un employeur ne pouvait pas lui échapper. La question n° 28 était par ailleurs assez claire pour être comprise sans connaissances particulières et ne laissait pas de place à l'interprétation. Cela étant, les premiers juges ont considéré qu'en omettant d'informer la caisse de chômage de sa position au sein de la société B._ Sàrl, le recourant avait manqué à son devoir de renseigner; son comportement fautif excédait la gravité moyenne et faisait ainsi obstacle à la reconnaissance de la bonne foi. Ils ont dès lors laissé ouverte la question de savoir si la restitution mettrait le recourant dans une situation financière difficile.
5.2. Le recourant conteste avoir contrevenu à son obligation de renseigner la caisse de chômage en répondant par la négative à la question n° 28 du formulaire de demande d'indemnités de chômage. Selon lui, celle-ci n'impliquait pas qu'il renseigne sur la position de sa fille dans la société puisqu'elle mentionnait uniquement l'éventuel pouvoir décisionnel au sein de l'entreprise de l'assuré, de son conjoint ou de son partenaire enregistré. Or ni lui ni sa conjointe n'étaient actionnaires, membres du conseil d'administration, associés ou gérants de la société. Quant à la demande de renseignements sur l'éventuelle participation financière à l'entreprise, le recourant estime que la question n'était ni claire ni évidente. Le fait que ses dépenses privées soient inscrites au débit du compte de la société ne correspondrait d'ailleurs nullement à la définition de "participation financière" du Petit Larousse qui mentionnerait le fait d'acheter des actions d'une autre entreprise ou de faire une participation croisée par l'échange d'actions. Son domicile au siège de la société et la procuration sur le compte bancaire de celle-ci n'impliquaient pas non plus, selon lui, qu'il réponde par l'affirmative à la question n° 28. Dès lors que son seul tort résiderait dans le fait d'avoir répondu de manière erronée à la question litigieuse en ayant recours à une interprétation littérale du texte, son comportement relèverait tout au plus d'une négligence légère; il ne pourrait en aucun cas être assimilé aux comportements caractérisés ou aux lacunes graves et irréfutables d'autres assurés ressortant de la jurisprudence du Tribunal fédéral en matière de violation du devoir d'annoncer ou de renseigner dans l'examen de la bonne foi comme condition de la remise.
5.3. En l'espèce, la question litigieuse est formulée ainsi: "Avez-vous, vous, votre conjoint (e) ou partenaire enregistré (e), une participation financière à l'entreprise de votre ancien employeur ou êtes-vous, votre conjoint (e) ou partenaire enregistré (e), membre d'un organe supérieur de décision de l'entreprise (p. ex. actionnaire, membre du conseil d'administration d'une SA ou associé, gérant d'une Sàrl, etc.) ?" Contrairement à ce que prétend le recourant, il ne lui est pas reproché de n'avoir pas indiqué que tel était le cas de sa fille, mais de n'avoir pas voué le soin que l'on était en droit d'attendre de lui en répondant par la négative à cette question en relation avec sa propre situation. Or il faut admettre avec les premiers juges que même si le recourant ne discernait pas exactement ce qu'englobaient les notions de "participation financière" ou de "membre d'un organe supérieur de décision de l'entreprise", il devait fortement se douter qu'en étant titulaire d'une procuration sur le compte bancaire de la société dont sa fille était l'unique associée gérante, en obtenant de son employeur le paiement de dépenses privées, lesquelles étaient inscrites au débit dudit compte, et en ayant son domicile au siège de la société, sa situation ne s'apparentait pas à celle d'un simple employé et pouvait entrer dans la thématique d'une position assimilable à celle d'un employeur à laquelle faisait référence la question n° 28 du formulaire de demande d'indemnités de chômage. Aussi, en s'abstenant d'informer la caisse de chômage sur sa position particulière au sein de la société B._ Sàrl, le recourant ne s'est-il pas conformé à ce qui pouvait raisonnablement être exigé d'une personne capable de discernement dans une situation identique. Ce faisant, il a commis une négligence grave au sens de la jurisprudence et sa bonne foi doit être niée. Les arrêts auxquels il se réfère (arrêts 8C_510/2018 du 12 mars 2019; 8C_713/2017 du 21 septembre 2018; 8C_823/2016 du 14 juillet 2017; 8C_118/2010 du 31 août 2010; P 17/03 du 3 février 2004) ne lui sont au demeurant d'aucun secours. En effet, le fait que les violations du devoir de renseigner lui paraissent "plus flagrantes" dans ces situations que dans la sienne ne veut pas encore dire que son omission de renseigner la caisse de chômage n'était pas constitutive d'une négligence grave. Quant aux arrêts 9C_644/2017 du 19 janvier 2018 et 9C_474/2009 du 21 août 2009, où le Tribunal fédéral a admis la bonne foi de l'assuré dans des cas d'assurance-invalidité, le recourant se contente de les citer mais n'en tire aucun argument. Par conséquent, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
6.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et au Secrétariat d'Etat à l'économie.
Lucerne, le 17 août 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Paris