Faits :
A.
A.a. A._, né en 1963, s'est inscrit à l'Office régional de placement (ORP) le 29 mars 2018. Il a rempli sa demande d'indemnité de chômage en indiquant que son dernier employeur était l'entreprise individuelle B._ et que celle-ci avait résilié le contrat de travail avec effet au 31 mars 2018 en raison d'une restructuration économique. Il a produit un contrat de travail dont il ressort qu'il avait été engagé comme directeur commercial dès le 8 août 2016 et qu'il percevait un salaire mensuel brut de 10'000 fr. Sur cette base, la Caisse cantonale de chômage du canton du Valais (ci-après: la caisse de chômage) a ouvert un délai-cadre d'indemnisation du 2 avril 2018 au 1er avril 2020 et a versé des indemnités jusqu'au 31 août 2019.
A.b. Après avoir échangé des courriels avec la caisse de compensation du canton du Valais (ci-après: la caisse de compensation) et avec l'assureur-accidents du prénommé, C._ SA (ci-après: C._ SA), la caisse de chômage a rendu le 27 décembre 2019 une décision par laquelle elle a constaté que celui-ci n'avait pas droit à l'indemnité de chômage dès le 2 avril 2018, qu'il était tenu de lui restituer le montant de 134'253 fr. 80 et que l'ouverture d'une action pénale était réservée. Elle a indiqué qu'il ressortait du dossier constitué par C._ SA que A._ gérait toute l'activité de l'entreprise individuelle B._, dont il était le seul employé, et que D._ n'était qu'un prête-nom. Cette décision a été confirmée sur opposition le 24 février 2020.
B.
Par jugement du 18 décembre 2020, la Cour des assurances sociales du Tribunal cantonal du Valais a rejeté le recours formé par l'assuré contre la décision sur opposition du 24 février 2020.
C.
A._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement, en concluant à son annulation ainsi qu'à celle de la décision sur opposition et à ce que la caisse soit condamnée à lui verser "le solde des indemnités journalières auxquelles il avait droit".
L'intimée conclut au rejet du recours, tandis que le Secrétariat d'État à l'économie (SECO) a renoncé à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>) rendue en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable en tant que recours en matière de droit public. Partant, en raison de son caractère subsidiaire, le recours constitutionnel n'est pas recevable (<ref-law>).
2.
Le Tribunal fédéral, qui est un juge du droit, fonde son raisonnement juridique sur les faits retenus par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente, il doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>); à défaut, un état de fait divergent de celui de la décision attaquée ne peut pas être pris en compte (<ref-ruling> consid. 2 précité; <ref-ruling> consid. 5.2.2).
Selon la jurisprudence, il y a arbitraire dans l'appréciation des preuves et l'établissement des faits lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3).
3.
D'après la jurisprudence, un travailleur qui jouit d'une situation professionnelle comparable à celle d'un employeur n'a pas droit à l'indemnité de chômage lorsque, bien que licencié formellement par une entreprise, il continue de fixer les décisions de l'employeur ou à influencer celles-ci de manière déterminante. Dans le cas contraire, en effet, on détournerait par le biais d'une disposition sur l'indemnité de chômage la réglementation en matière d'indemnités en cas de réduction de l'horaire de travail, en particulier l'art. 31 al. 3 let. c LACI (RS 837.0). Selon cette disposition, n'ont pas droit à l'indemnité en cas de réduction de l'horaire de travail, notamment, les personnes qui fixent les décisions que prend l'employeur - ou peuvent les influencer considérablement - en qualité d'associé, de membre d'un organe dirigeant de l'entreprise ou encore de détenteur d'une participation financière à l'entreprise. Le Tribunal fédéral a identifié un risque de contournement de la clause d'exclusion de l'art. 31 al. 3 let. c LACI lorsque, dans un contexte économique difficile, ces personnes procèdent à leur propre licenciement et revendiquent l'indemnité de chômage tout en conservant leurs liens avec l'entreprise. Dans une telle configuration, en effet, il est toujours possible pour elles de se faire réengager dans l'entreprise ultérieurement et d'en reprendre les activités dans le cadre de son but social. Ce n'est pas l'abus avéré comme tel que la loi et la jurisprudence entendent sanctionner, mais le risque d'abus que représente le versement d'indemnités à un travailleur jouissant d'une situation comparable à celle d'un employeur; il suffit qu'une continuité des activités soit possible pour que le droit doive être nié en raison d'un risque de contournement de la loi (<ref-ruling> consid. 7b/bb; arrêt 8C_384/2020 du 22 décembre 2020 consid. 3.1). Lorsqu'il s'agit de déterminer quelle est la possibilité effective d'un dirigeant d'influencer le processus de décision de l'entreprise, il convient de prendre en compte les rapports internes existant concrètement dans l'entreprise (<ref-ruling> consid. 4.2; <ref-ruling> consid. 3).
4.
4.1. En l'espèce, la cour cantonale a examiné les circonstances concrètes du cas et a retenu que le recourant occupait une fonction dirigeante au sein de l'entreprise B._. Sur la base du procès-verbal du 2 mars 2018 établi par C._ SA, elle a constaté que celui-ci disposait d'un pouvoir décisionnel total au sein de l'entreprise, dès lors qu'il s'occupait de manière autonome de tous les domaines liés à sa gestion. Lors de cet entretien, il avait en effet admis être le réel patron de l'entreprise. Si D._ était inscrit au registre du commerce comme seul titulaire de l'entreprise, avec signature individuelle, c'est parce qu'il avait investi un peu d'argent dans l'entreprise et servi de prête-nom au recourant afin que celui-ci puisse reconstituer sa prévoyance professionnelle qu'il avait perdue en la plaçant quelques années auparavant dans son entreprise qui était tombée en faillite.
4.2. Le recourant se plaint d'abord d'une constatation inexacte et incomplète des faits, d'une violation de la maxime inquisitoire (art. 43 al. 1 et 61 let. c LPGA) et de son droit d'être entendu (art. 29 al. 2 Cst.). Il reproche aux juges cantonaux d'avoir fondé leur raisonnement sur le procès-verbal du 2 mars 2018 établi par C._ SA, sans tenir compte de l'attestation du 8 avril 2020 signée par D._ et sans avoir entendu ce dernier.
S'il est vrai que la cour cantonale n'a pas explicitement cité l'attestation du 8 avril 2020 signée par l'entreprise B._, dans laquelle la structure de l'entreprise et la fonction qu'occupait le recourant au sein de l'entreprise sont expliquées, il n'en demeure pas moins qu'elle en a apprécié le contenu, comme cela ressort de la motivation du jugement attaqué. En effet, elle a soigneusement exposé les motifs pour lesquels elle estimait que les documents produits par le recourant n'étaient pas de nature à remettre en cause les autres moyens de preuves versés au dossier de l'intimée, tels que le procès-verbal du 2 mars 2018 et les extraits de compte individuel de la caisse de compensation, desquels il ressortait que les cotisations sociales pour la période d'août 2016 à mars 2018 avaient été extournées. C'est aussi sans tomber dans l'arbitraire qu'elle a retenu que le recourant occupait une fonction dirigeante au sein de l'entreprise. Pour le surplus, le recourant se contente de plaider à nouveau sa cause en rediscutant de manière appellatoire les faits qui ont été retenus, sans démontrer que la juridiction cantonale aurait fait preuve d'arbitraire dans l'établissement des faits ou dans l'appréciation des preuves.
4.3. Le recourant reproche ensuite aux premiers juges d'avoir retenu qu'il occupait une position dirigeante au sein de l'entreprise et d'avoir appliqué la jurisprudence relative à l'art. 31 al. 3 let. c LACI (cf. consid. 3 supra). Il soutient que, contrairement à un administrateur d'une société anonyme, il n'avait pas le pouvoir décisionnel de se licencier et de se réengager lui-même.
Par cette argumentation, le recourant semble méconnaitre qu'il a lui-même admis - du moins à l'égard de C._ SA - être le réel patron de l'entreprise et avoir mené seul l'activité de celle-ci, D._, qui était inscrit au registre du commerce comme seul titulaire avec signature individuelle, ayant servi de prête-nom et ne travaillant pas pour l'entreprise. Le fait que ces propos aient été recueillis dans un litige d'assurance-accidents qui a finalement été réglé par un accord transactionnel entre les parties ne change rien à la qualification du recourant en tant que dirigeant de fait de l'entreprise B._ dans le cadre de la présente procédure d'assurance-chômage. Par ailleurs, dans la mesure où l'entreprise n'avait pas cessé ses activités, il était toujours possible pour le recourant de s'y faire réengager ultérieurement et d'en reprendre les activités. Partant, c'est sans violer le droit fédéral que la cour cantonale a considéré que le risque d'abus que représentait le versement d'indemnités de chômage au recourant jouissant d'une situation comparable à celle d'un employeur (cf. consid. 3 supra) était avéré.
5.
5.1. Selon l'art. 25 al. 1, 1re phrase, LPGA (RS 830.1), auquel renvoie l'<ref-law>, les prestations indûment touchées doivent être restituées (première phrase). L'obligation de restituer suppose que soient réunies les conditions d'une révision procédurale (<ref-law>) ou d'une reconsidération (<ref-law>) de la décision par laquelle les prestations en cause ont été allouées (<ref-ruling> consid. 3.2; <ref-ruling> consid. 5.2.1; <ref-ruling> consid. 5.2 et les références citées).
5.2. La cour cantonale a confirmé l'obligation du recourant de restituer les prestations d'un montant total de 134'253 fr. 80. reçues pour la période du 2 avril 2018 au 31 août 2019 en considérant qu'il ne faisait aucun doute que les indemnités de chômage avaient été perçues indûment et que les conditions d'une reconsidération (caractère manifestement erroné de la décision et importance notable de la rectification) étaient réalisées.
5.3. Le recourant y oppose qu'il avait toujours exposé en parfaite transparence les circonstances dans lesquelles il avait été amené à travailler pour D._ et qu'il n'avait pas d'intentions frauduleuses. On peut inférer de ces allégations qu'il entend arguer de sa bonne foi. Or, s'agissant de la remise de l'obligation de restitution (art. 25 al. 1, 2e phrase, LPGA), on rappellera qu'il s'agit d'une procédure distincte de celle de la restitution et qu'il convient de la distinguer de façon claire (arrêt 8C_405/2020 du 3 février 2021 consid. 5.2 et les référence citées). En effet, la demande de remise ne peut être traitée sur le fond que si la décision de restitution est entrée en force (voir l'<ref-law> [RS 830.11]). On précisera encore que selon l'<ref-law>, une telle demande doit être déposée au plus tard 30 jours à compter de l'entrée en force de la décision de restitution.
6.
Il résulte de ce qui précède que la cour cantonale était fondée à confirmer le refus du droit du recourant à des indemnités de chômage ainsi que l'obligation de celui-ci de restituer les prestations versées pour la période du 2 avril 2018 au 31 août 2019 à concurrence d'un montant de 134'253 fr. 80. Le recours doit ainsi être rejeté.
7.
Vu l'issue du litige, les frais afférents à la présente procédure seront supportés par le recourant (<ref-law>). Celui-ci a cependant déposé une demande d'assistance judiciaire visant à la dispense des frais judiciaires et à la désignation d'un avocat d'office. Bien qu'il soit rejeté, son recours n'apparaissait pas d'emblée voué à l'échec, de sorte qu'il convient de le mettre au bénéfice de l'assistance judiciaire - dont il avait également bénéficié en instance cantonale - dans la mesure où sa situation économique le justifie (<ref-law>). Il est toutefois rendu attentif au fait qu'il devra rembourser la caisse du Tribunal fédéral s'il retrouve ultérieurement une situation financière lui permettant de le faire (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours constitutionnel subsidiaire est irrecevable.
2.
Le recours en matière de droit public est rejeté.
3.
L'assistance judiciaire est accordée au recourant et Maître Benoît Fournier lui est désigné comme avocat d'office.
4.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant. Ils sont toutefois supportés provisoirement par la caisse du Tribunal.
5.
Une indemnité de 2800 fr. est allouée à l'avocat du recourant à titre d'honoraires à payer par la Caisse du Tribunal fédéral.
6.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du Valais, et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 9 juillet 2021
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu