Faits :
A.
Par décision du 26 janvier 2018, la caisse Unia a refusé à A._ le droit à des indemnités de chômage à partir du 8 janvier 2018 au motif qu'il ne remplissait alors pas les conditions de la période de cotisation. Le 19 février 2018, l'assuré, représenté par M e Jean-Michel Duc, a formé opposition à cette décision, en sollicitant le bénéfice de l'assistance gratuite d'un conseil juridique pour la procédure administrative. Par décision du 24 avril 2018, Unia a rejeté l'opposition de l'assuré ainsi que sa demande d'assistance judiciaire.
B.
B.a. A._ a recouru contre cette décision sur opposition devant la Cour des assurances sociales du Tribunal cantonal du Valais, en contestant également le refus de lui accorder le droit à l'assistance gratuite d'un conseil juridique pour la procédure administrative. Il a en outre requis l'octroi de l'assistance judiciaire pour la procédure de recours. Par décision du 22 juillet 2018, le Président du tribunal cantonal a admis la requête d'assistance judiciaire et a désigné M e Jean-Michel Duc comme avocat d'office avec effet au 25 mai 2018.
B.b. Par jugement du 24 septembre 2019, le tribunal cantonal a admis le recours en ce sens que la décision sur opposition du 24 avril 2018 a été annulée et le dossier renvoyé à la caisse Unia pour instruction complémentaire et nouvelle décision dans le sens des considérants (ch. 1 du dispositif). Il a rejeté le recours en tant qu'il contestait le refus de l'octroi de l'assistance gratuite d'un conseil juridique en procédure administrative (ch. 2 du dispositif).
C.
A._ interjette un recours en matière de droit public contre ce jugement, en concluant à sa réforme dans le sens de l'octroi de l'assistance juridique pour la procédure administrative et de la désignation de M e Jean-Michel Duc comme avocat d'office. Il sollicite en outre le bénéfice de l'assistance judiciaire totale pour la procédure fédérale et la désignation de son conseil comme mandataire d'office.
Un échange d'écritures n'a pas été ordonné.

Considérant en droit :
1.
1.1. Le jugement attaqué, en tant qu'il porte sur le refus de l'assistance judiciaire pour la procédure administrative en matière d'assurance sociale au sens de l'<ref-law>, est une décision incidente au sens de l'<ref-law> (<ref-ruling> consid. 2.2 p. 602). Le recours n'est dès lors recevable que si la décision incidente peut causer un préjudice irréparable (<ref-law>), la seconde hypothèse prévue à l'<ref-law> n'entrant manifestement pas en considération (<ref-ruling> consid. 2.2 et 2.3 p. 602 s.; <ref-ruling> consid. 4 p. 338).
1.2. Un préjudice ne peut être qualifié d'irréparable que s'il cause un inconvénient de nature juridique; tel est le cas lorsqu'une décision finale même favorable à la partie recourante ne le ferait pas disparaître entièrement, en particulier lorsque la décision incidente contestée ne peut plus être attaquée avec la décision finale, rendant ainsi impossible le contrôle par le Tribunal fédéral (<ref-ruling> consid. 1.3 p. 419; <ref-ruling> consid. 3.1 p. 47 et les références). De ce point de vue, un dommage économique ou de pur fait n'est pas considéré comme un dommage irréparable (<ref-ruling> consid. 4.2.2 p. 287; <ref-ruling> consid. 1.2 p. 80 et les références).
1.3. Il appartient à la partie recourante d'alléguer et d'établir la possibilité que la décision incidente lui cause un dommage irréparable, à moins que celui-ci ne fasse d'emblée aucun doute (<ref-law>; <ref-ruling> consid. 1.2 p. 28 et les références).
2.
En l'occurrence, afin de justifier la nécessité d'un recours aux services de son avocat dans la procédure administrative (<ref-law>), le recourant invoque pour l'essentiel la complexité des problématiques juridiques soulevées par cette procédure, son incapacité de s'orienter dans la procédure en raison notamment d'une symptomatologie dépressive et d'un déficit intellectuel, l'assistance insatisfaisante qu'aurait été celle d'assistants sociaux ou d'autres représentants d'associations vu la difficulté matérielle de la procédure, ainsi que l'assistance antérieure par le même avocat. Il relève que l'intervention de son mandataire a du reste permis de préserver son droit aux prestations de chômage, après que celles-ci lui avaient été refusées par l'intimée.
Ce faisant, le recourant argumente sur le fond du litige, à savoir sur les raisons pour lesquelles il estime avoir droit à la désignation d'un avocat d'office pour son opposition à la décision de la caisse Unia du 26 janvier 2018, mais n'établit nullement qu'il résulterait du refus de l'assistance judiciaire un préjudice irréparable au sens de la jurisprudence citée, soit un préjudice qu'une décision finale même favorable ne ferait pas disparaître entièrement (<ref-ruling> consid. 1.2 p. 479 s. et les références citées). En tout état de cause, savoir qui réglera les honoraires de l'avocat du recourant pour le travail déjà effectué (dépôt d'une opposition à la décision de la caisse Unia du 26 janvier 2018) pourra être résolu de manière définitive dans le cadre d'un recours exercé contre la décision finale (<ref-law>); toutefois, au cas où la caisse intimée ferait droit à l'ensemble de ses prétentions et où il n'aurait alors plus d'intérêt à recourir sur le fond, la voie de recours directe au Tribunal fédéral serait alors ouverte contre la décision incidente sur l'assistance judiciaire, une fois la décision finale rendue (<ref-ruling> consid. 2.3 p. 603 et les références).
3.
Dans ces circonstances, le recours doit être déclaré irrecevable selon la procédure simplifiée prévue à l'<ref-law>.
4.
Faute de chances de succès du recours, la requête d'assistance judiciaire pour la procédure fédérale déposée par le recourant doit être rejetée (<ref-law>), autant que sa demande d'assistance n'est pas sans objet dans la mesure où il n'est pas perçu de frais judiciaires (<ref-law>; arrêt 9C_786/2017 du 21 février 2018 consid. 6 et les références).

Par ces motifs, le Juge unique prononce :
1.
Le recours est irrecevable.
2.
La demande d'assistance judiciaire est rejetée en tant qu'elle n'est pas sans objet.
3.
Il n'est pas perçu de frais judiciaires.
4.
Le présent arrêt est communiqué aux parties et au Secrétariat d'Etat à l'économie (SECO).
Lucerne, le 13 octobre 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge unique : Abrecht
La Greffière : Fretz Perrin