Faits : A. A.a. Le 1 er mars 2013, A._, né en 1962, s'est inscrit à l'Office régional de placement (ci-après: l'ORP) d'Aigle; il a sollicité l'octroi d'indemnités de chômage à partir de cette date auprès de la caisse de chômage Unia. Un premier délai-cadre d'indemnisation lui a été ouvert du 1er mars 2013 au 28 février 2015, sur la base de l'activité exercée du 1er juillet 2009 au 28 février 2013 en qualité de chef d'équipe au sein de la société B._ Sàrl. L'assuré a travaillé à nouveau pour cette société du 1er octobre 2013 au 30 novembre 2014; il a été indemnisé par la caisse de chômage du 1er décembre 2014 jusqu'au terme de son délai-cadre d'indemnisation fixé au 28 février 2015. Un second délai-cadre d'indemnisation lui a été ouvert à compter du 2 mars 2015 sur la base de la dernière activité exercée auprès de la société B._ Sàrl. A.b. Par décision du 13 novembre 2015, confirmée sur opposition le 8 novembre 2016, la caisse de chômage a nié le droit de l'assuré à l'indemnité de chômage dès le 1er mars 2013, au motif que sa fille était inscrite au Registre du commerce en qualité d'associée gérante avec signature individuelle de la société B._ Sàrl dans laquelle l'assuré avait été occupé durant le délai-cadre d'indemnisation. Elle a demandé la restitution du montant de 36'312 fr. 25 versé indûment. A.c. Le 12 décembre 2016, A._ a déposé une demande de remise de l'obligation de restituer. Par décision du 13 juillet 2017, confirmée sur opposition le 28 mars 2018, le Service de l'emploi du canton de Vaud (ci-après: le SDE) a refusé d'accorder la remise, au motif que l'assuré ne pouvait pas se prévaloir de sa bonne foi. B. Par jugement du 10 avril 2019, la Cour des assurances sociales du Tribunal cantonal vaudois a rejeté le recours formé par l'assuré contre la décision sur opposition du 28 mars 2018. C. A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme en ce sens qu'il ne soit pas tenu à restitution. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Le SDE conclut au rejet du recours.