Faits :
A.
Par décision du 25 juin 2019, confirmée sur opposition le 1er octobre suivant, le Service public de l'emploi du canton de Fribourg (ci-après: SPE) a prononcé une suspension de 10 jours des indemnités de chômage à l'encontre de A._, né en 1973, en raison des 17 recherches d'emploi jugées insuffisantes effectuées sur la période du 1er février au 30 avril 2019.
B.
L'assuré a recouru le 18 octobre 2019 contre la décision sur opposition devant la Cour des assurances sociales du Tribunal cantonal fribourgeois, en concluant à être entièrement libéré de toute sanction. Invité à se déterminer sur le recours, le SPE a admis le 20 novembre 2019 que son assuré avait bien effectué 21 recherches et non pas seulement 17; il avait dès lors, dans une nouvelle décision du même jour, réduit à 5 jours la durée de la suspension; dans la mesure où les droits de l'assuré étaient entièrement préservés par cette nouvelle décision rendue pendente lite, il convenait de rayer la cause du rôle.
Par décision du 26 novembre 2019, la cour cantonale a rayé la cause du rôle. Considérant que l'admission du recours n'avait en fin de compte été que partielle, la durée de suspension ayant été réduite de moitié, elle a indiqué que seules quatre heures de travail (correspondant à la moitié des huit heures de travail considérées comme tout au plus nécessaires dans ce dossier ne comportant pas de difficultés particulières) seraient prises en compte et a ainsi alloué au mandataire de l'assuré une indemnité de 1077 fr. (4 x 250 fr. + 77 fr. [TVA]) à titre de dépens.
C.
A._ forme un recours en matière de droit public contre cette décision, en concluant à sa réforme en ce sens que la totalité des frais et dépens occasionnés par la procédure cantonale lui soit allouée.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
Le recours contre une décision portant sur l'allocation des dépens en instance cantonale est soumis à la même voie de droit que celle qui est ouverte contre la décision sur le fond du litige (<ref-ruling> consid. 3 p. 143), dans la mesure où aucune procédure spéciale n'est prévue (<ref-ruling> consid. 1.1 p. 160). En l'espèce, la décision de radiation attaquée constitue une décision finale (<ref-law>), rendue dans une cause de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF) et qui ne tombe pas sous le coup d'une exception de l'<ref-law>. Il convient par conséquent d'entrer en matière sur le recours, qui a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
2.
2.1. Le droit aux dépens dans la procédure devant le tribunal cantonal des assurances est réglé par l'art. 61 let. g LPGA. Aux termes de cette disposition, le recourant qui obtient gain de cause a droit au remboursement de ses frais et dépens dans la mesure fixée par le tribunal; leur montant est déterminé sans égard à la valeur litigieuse d'après l'importance et la complexité du litige. Le point de savoir si et à quelles conditions une partie a droit à des dépens en instance cantonale de recours lorsqu'elle obtient gain de cause relève du droit fédéral et dépend, d'une part, de l'issue du litige et, d'autre part, de la personne de l'ayant droit (cf. <ref-ruling> consid. 3.2 p. 478; <ref-ruling> consid. 2.2 p. 115 et les arrêts cités).
2.2. Si la cause devient sans objet et doit être rayée du rôle, le tribunal doit statuer sur les frais en prenant essentiellement en considération, sur la base d'un examen sommaire, l'issue probable si un jugement avait dû être prononcé (<ref-ruling> consid. 8.2 p. 568; <ref-ruling> consid. 2a p. 374; <ref-ruling> consid. 3a p. 57; cf. aussi ANNE-SYLVIE DUPONT, in: Commentaire romand, Loi sur la partie générale des assurances sociales, 2018, n° 35 ad <ref-law>). Lorsqu'une partie obtient partiellement gain de cause, elle a droit à des dépens réduits (cf. <ref-ruling> consid. 2c p. 407; <ref-ruling> consid. 3a p. 57). Dans ce cas, les dépens sont réduits proportionnellement (arrêt 9C_580/2010 du 16 novembre 2010 consid. 3.2 et 4.1, publié in: SVR 2011 IV n° 38 p. 112).
3.
3.1. Le recourant se plaint d'une violation de l'art. 61 let. g LPGA. D'après lui, la radiation de la cause du rôle devrait en l'espèce être considérée de la même manière que s'il avait eu gain de cause. En effet, le fait de rendre pendente lite une nouvelle décision annulant la décision attaquée et entraînant ainsi la radiation de la cause du rôle reviendrait à lui donner gain de cause. Par ailleurs, si la décision du 25 juin 2019 avait tenu compte d'un nombre d'offres d'emploi erroné, c'était en raison d'un défaut lié au système informatique de l'administration, quand bien même le recourant avait fourni tous les documents exigés.
3.2. Par cette argumentation, le recourant semble perdre de vue que la cour cantonale a bel et bien considéré qu'il avait eu gain de cause, puisqu'elle lui a alloué des dépens. Le point de savoir si et le cas échéant dans quelle mesure une partie obtient gain de cause s'apprécie d'un point de vue matériel compte tenu des conclusions prises en procédure contentieuse (cf. UELI KIESER, ATSG Kommentar, 3e éd. 2015, n° 205 ad <ref-law>). Or devant l'autorité cantonale, le recourant a conclu à l'annulation de la décision du 1er octobre 2019 dans le sens d'une libération entière de toute sanction. L'intimé a partiellement donné suite à ces conclusions en annulant la décision du 25 juin 2019 ainsi que la décision sur opposition du 1er octobre 2019 et en rendant une nouvelle décision par laquelle il a réduit de moitié - soit de 10 à 5 jours - la sanction prononcée à l'encontre du recourant. C'est donc à juste titre que la cour cantonale a constaté que celui-ci n'obtenait que partiellement gain de cause, de sorte qu'il n'avait droit qu'à une indemnité réduite (cf. art 138 al. 2 du code du 23 mai 1991 de procédure et de juridiction administrative [CPJA; RS/FR 150.1]). En réduisant de moitié les dépens forfaitaires auxquels pouvait prétendre le mandataire du recourant, la cour cantonale a implicitement considéré, par un examen sommaire, que l'issue probable n'aurait pas été différente si un jugement avait été prononcé, ce qui n'est pas critiquable au vu des principes jurisprudentiels cités plus haut (cf. consid. 2.2 supra). Il s'ensuit que le recours, mal fondé, doit être rejeté.
4.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Fribourg et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 16 décembre 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu