Faits :
A.
Après avoir perdu son emploi en qualité de conseiller à plein temps au service de la société B._, A._ a bénéficié de l'indemnité de chômage du 9 novembre 2010 jusqu'au 30 septembre 2012. Informée à la suite d'un contrôle du Secrétariat d'Etat à l'économie que l'assuré avait perçu divers revenus pendant sa période de chômage, la caisse cantonale de chômage (ci-après: la caisse) a réclamé à celui-ci la restitution d'un montant de 45'466 fr. 70 versé selon elle à tort pour la période du 1er janvier 2011 au 30 septembre 2012 (décision du 3 septembre 2013).
Après avoir partiellement admis l'opposition de A._ (décision du 12 février 2015), la caisse a rendu une nouvelle décision le 6 mai 2015, par laquelle elle lui a demandé la restitution de 37'949 fr. 85. Ce montant corrigé tenait compte, au titre des gains intermédiaires, des "salaires bruts" versés à l'assuré par la société C._ SA entre janvier 2011 et septembre 2012. La caisse a maintenu cette demande de restitution par décision sur opposition du 17 août 2015.
B.
Par jugement du 22 février 2016, la Cour des assurances sociales du Tribunal cantonal vaudois a admis le recours formé par l'intéressé et annulé la décision sur opposition du 17 août 2015. Elle a constaté que la créance en restitution était périmée.
Statuant sur recours formé par la caisse, le Tribunal fédéral a annulé ce jugement et renvoyé la cause à la juridiction cantonale pour nou-velle décision (arrêt du 4 novembre 2016; cause 8C_213/2016).
Reprenant l'affaire à la suite de l'arrêt fédéral, la cour cantonale a par-tiellement admis le recours de l'assuré, annulé la décision du 17 août 2015 et renvoyé la cause à la caisse pour instruction complémentaire au sens des considérants (jugement du 14 mars 2017).
C.
A._ interjette un recours en matière de droit public, en concluant à ce que les considérants du jugement du 14 mars 2017 soient "revus et corrigés".

Considérant en droit :
1.
1.1. Le recours en matière de droit public (<ref-law>) est recevable contre les décisions qui mettent fin à la procédure (<ref-law>), ainsi que contre les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation (<ref-law>). Selon l'<ref-law>, les autres décisions préjudicielles et incidentes notifiées séparément peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
1.2. En tant qu'il renvoie la cause à la caisse pour nouvelle décision, le jugement attaqué est une décision incidente au sens de l'<ref-law>. Aussi, le recours n'est-il admissible qu'aux conditions posées à l'art. 93 al. 1 let. a et b LTF.
2.
2.1. Il appartient notamment à la partie recourante d'alléguer et d'établir la possibilité qu'une décision incidente lui cause un dommage irréparable (<ref-ruling> consid. 1.2 p. 47 et les références), à moins que celui-ci ne fasse d'emblée aucun doute (arrêts 8C_871/2013 du 20 décembre 2013 consid. 1.2; 8C_780/2011 du 4 décembre 2012 consid. 1.2.1). Selon la jurisprudence, un préjudice ne peut être qualifié d'irréparable que s'il cause un dommage de nature juridique qui ne peut pas être réparé ultérieurement par un jugement final ou une autre décision favorable au recourant (<ref-ruling> consid. 3.6 p. 326).
2.2. En bref, les juges cantonaux ont constaté que le décompte récapitulatif des versements établi par la société C._ SA pour l'année 2011 ne concordait pas avec les montants inscrits dans le compte individuel AVS du recourant, qu'il n'était pas clair si ce dernier avait bénéficié d'éventuelles rétrocessions et qu'il existait plusieurs erreurs dans la manière dont la caisse avait déterminé les gains intermédiaires bruts de l'assuré. Ils ont donc considéré qu'il n'était pas possible, en l'état, de statuer sur l'étendue de la créance en restitution et qu'un complément d'instruction était encore nécessaire.
2.3. En l'espèce, le recourant n'allègue aucun préjudice irréparable dans son recours et on ne voit pas non plus en quoi cette condition de recevabilité du recours serait d'emblée réalisée. Par ailleurs, on peut nier que le renvoi prononcé par la cour cantonale entraînerait une procédure probatoire longue et coûteuse.
3.
Vu ce qui précède, les conditions pour recourir contre le jugement incident de la cour cantonale ne sont pas réalisées. Le recours est ainsi manifestement irrecevable (<ref-law>) et doit être traité selon la procédure simplifiée de l'<ref-law>, sans qu'il y ait lieu d'ordonner un échange d'écritures.
Il y a lieu, par ailleurs, de renoncer exceptionnellement à percevoir des frais judiciaires (<ref-law>).

Par ces motifs, le Juge unique prononce :
1.
Le recours est irrecevable.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal vaudois, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 10 mai 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge unique : Frésard
La Greffière : von Zwehl