Faits :
A.
A._ a travaillé en qualité de collaborateur du département marketing de B._ à un taux d'activité de 50 %, jusqu'au 30 juin 2009, date à laquelle son licenciement pour des motifs économiques a pris effet.
Le 25 septembre 2009, il a déposé une demande d'indemnité de chômage indiquant être disposé à travailler à un taux d'activité de 50 %. Selon le formulaire de demande, l'intéressé était au bénéfice d'une demi-rente d'invalidité. En outre, A._ a répondu par la négative à la question de savoir s'il obtenait encore un revenu d'une activité salariée ou indépendante. Un délai-cadre d'indemnisation a été ouvert du 22 septembre 2009 au 31 mars 2013.
A l'occasion d'un contrôle initié en mai 2013, la Caisse cantonale de chômage du canton du Valais (ci-après: la caisse de chômage) a constaté que A._ avait travaillé comme "représentant rémunéré à la commission" pour B._ durant les années 2010 et 2011. Invité à s'expliquer par écrit puis par oral, l'assuré a déclaré qu'il avait informé son conseiller en placement des mandats effectués pour le compte de son ancien employeur. Son conseiller lui aurait alors indiqué qu'il n'avait pas besoin de déclarer le revenu tiré de cette activité, vu qu'il était inscrit au chômage à raison d'un taux d'activité de 50 % seulement et que ces gains pouvaient être pris en compte dans les 50 % restants.
Par décision du 29 novembre 2013, la caisse de chômage a réclamé à A._ la restitution de 7'875 fr. 90, correspondant au mon-tant des prestations versées selon elle à tort pour les années 2010 et 2011. Saisie d'une opposition, la caisse de chômage l'a rejetée par décision du 30 janvier 2014.
B.
B.a. Par jugement du 24 février 2015, la Cour des assurances sociales du Tribunal cantonal du Valais a admis le recours formé par l'assuré et annulé la décision sur opposition de la caisse de chômage, considérant que celle-ci était déchue de son droit de réclamer la restitution des prestations indues. Saisi d'un recours, le Tribunal fédéral a annulé le jugement cantonal et renvoyé la cause à la juridiction précédente, retenant que la caisse de chômage avait agi dans le délai d'une année prévu par l'art. 25 al. 2 LPGA (arrêt 8C_218/2015 du 7 septembre 2015).
B.b. Statuant à nouveau le 1er décembre 2016, le tribunal cantonal a rejeté le recours formé par l'intéressé le 7 mars 2014 contre la décision sur opposition du 30 janvier 2014.
C.
A._ interjette un recours en matière de droit public, concluant à la réforme du jugement attaqué en ce sens qu'il n'est pas tenu à restitution. Subsidiairement, il demande la remise de l'obligation de restituer, plus subsidiairement à ce que l'arrêt soit annulé et le dossier renvoyé à la juridiction cantonale en vue d'une instruction complémentaire.
L'intimée conclut au rejet du recours, tandis que la cour cantonale et le Secrétariat d'Etat à l'économie (SECO) ont renoncé à se déterminer. Le recourant a présenté des observations sur les déterminations de l'intimée.
D.
Par ordonnance du 24 avril 2017, le juge instructeur a attribué l'effet suspensif au recours.
Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2.
Il est constant, et le recourant ne le conteste pas, que les prestations dont la caisse de chômage exige la restitution ont été versées indûment. Le litige porte sur l'étendue de celle-ci et sur le point de savoir si l'assuré peut se prévaloir du droit constitutionnel à la protection de la bonne foi pour ne pas devoir restituer les montants perçus à tort.
Par conséquent, la conclusion subsidiaire du recourant tendant à l'obtention d'une remise de l'obligation de restituer sort de l'objet du litige et doit être déclarée irrecevable.
3.
Le jugement entrepris expose correctement les dispositions légales et les principes jurisprudentiels relatifs aux conditions auxquelles l'administration peut demander la restitution de prestations allouées à tort (art. 25 LPGA [RS 830.1]) ainsi qu'à la protection de la bonne foi de l'administré (art. 9 Cst.). Il suffit d'y renvoyer.
4.
La juridiction cantonale a limité son examen à la question de savoir si le recourant pouvait se prévaloir du droit constitutionnel à la protection de la bonne foi, dès lors que celui-ci ne contestait pas le montant de la restitution qui lui était réclamé. A cet égard, elle a constaté que l'assuré s'était abstenu de déclarer le gain obtenu de ses mandats pour B._ en 2010 et 2011 au titre de gain intermédiaire car il avait été induit en erreur par son conseiller ORP. Ce dernier, en l'informant - à tort - que cette activité ne relevait pas de l'assurance-chômage, était intervenu dans une situation concrète, dans les limites de sa compétence, sans que l'assuré ait pu se rendre compte de l'inexactitude du renseignement obtenu. Toutefois, la cour cantonale a considéré que même si l'administration avait induit en erreur le recourant, cela ne justifiait pas qu'elle renonce à la restitution des prestations versées à tort dès lors que les conditions cumulatives d'application du droit constitutionnel à la bonne foi (voir ATF 141 V 530 consid. 6.2 p. 538) n'étaient pas réunies en l'espèce. Elle a en effet retenu que le montant des prestations dont le remboursement était réclamé avait été utilisé, au degré de la vraisemblance prépondérante, pour des dépenses courantes. Or, selon une jurisprudence constante, le seul fait d'avoir dépensé des prestations pécuniaires indues mais perçues de bonne foi ne constitue pas, en soi, un acte de disposition irrévocable dont peut se prévaloir un assuré en invoquant le droit constitutionnel à la protection de la bonne foi (arrêts 9C_56/2011 du 19 octobre 2011 consid. 5.2 et 8C_796/2007 du 22 octobre 2008 consid. 3.1). Partant, la juridiction précédente a confirmé l'obligation pour l'assuré de restituer le montant de 7'875 fr. 90.
5.
5.1. Par un premier moyen, le recourant revient sur le montant de la restitution, faisant valoir que les frais occasionnés par ses mandats pour B._ en 2010 et 2011 (frais de transport, carburant, stationnement, usure et entretien du véhicule et frais de repas) doivent être déduits du gain intermédiaire retenu par la caisse de chômage.
Ce grief est mal fondé. Il ressort en effet du dossier que la caisse de chômage a procédé, comme le dispose l'art. 41a al. 5 OACI (RS 837.02), à une déduction forfaitaire de 20 % sur les revenus obtenus par le recourant durant ces deux années, afin de tenir compte des frais professionnels engendrés par son activité indépendante. Le recourant n'indique pas avoir assumé d'autres frais que les dépenses professionnelles permettant une déduction forfaitaire de 20 %. Il n'y a dès lors pas lieu de s'écarter du montant retenu par la caisse de chômage.
5.2. Par un deuxième moyen, le recourant se plaint d'un établissement manifestement inexact des faits et d'arbitraire (art. 97 LTF et art. 9 Cst.) en tant que la cour cantonale a retenu que les prestations versées indûment avaient été utilisées pour des dépenses courantes, malgré l'absence de toute pièce au dossier susceptible de l'attester. Les premiers juges auraient dû instruire le dossier de manière plus approfondie afin de déterminer précisément la manière dont il avait dépensé les prestations pécuniaires perçues de bonne foi. Il soutient qu'en l'occurrence, sur la base de celles-ci, il a effectué un voyage aux États-Unis d'une valeur de 8'578 fr. qu'il n'aurait pas été en mesure de réaliser sans l'obtention de ces revenus.
Ce second grief repose sur des faits et moyens de preuve nouveaux inadmissibles en vertu de l'art. 99 al. 1 LTF. Alors qu'il s'est prévalu du droit à la protection de la bonne foi, le recourant n'a jamais indiqué, dans ses différentes écritures, avoir recouru à des dépenses extraordinaires qu'il ne pouvait plus modifier sans subir de dommage. Or, en vertu de son devoir de collaborer à l'instruction de la cause, il lui appartenait de le faire valoir devant la juridiction précédente déjà. En effet, le principe inquisitoire d'après lequel les faits pertinents de la cause doivent être constatés d'office par l'assureur (art. 43 al. 1 LPGA) ou, éventuellement, par le juge (art. 61 let. c LPGA), n'est pas absolu. Sa portée est restreinte par le devoir des parties de collaborer à l'instruction de l'affaire. Celui-ci comprend en particulier l'obligation des parties d'apporter, dans la mesure où cela peut raisonnablement être exigé d'elles, les preuves commandées par la nature du litige et des faits invoqués, faute de quoi elles risquent de devoir supporter les conséquences de l'absence de preuves (ATF 125 V 193 consid. 2 p. 195 et les références, ATF 130 I 180 consid. 3.2 p. 183). Faute pour le recourant d'avoir apporté une quelconque information sur la manière dont il avait disposé des prestations perçues indûment, la juridiction cantonale n'avait pas à instruire plus avant cette question et pouvait sans arbitraire en conclure qu'il n'avait pas pris d'acte de disposition irrévocable, si bien qu'il ne remplissait pas les conditions relatives au droit constitutionnel à la protection de la bonne foi.
6.
Il sied encore de relever que le recourant pourra faire valoir que la restitution de la somme demandée le met dans une situation précaire lors d'une éventuelle demande de remise de l'obligation de restituer qu'il lui appartiendra de présenter, comme l'a rappelé à juste titre la juridiction cantonale.
7.
Vu ce qui précède, le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
8.
Le recourant, qui succombe, supportera les frais de justice (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 28 septembre 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl