Faits:
A. Le 9 décembre 2005, A._ a adressé une demande d'aide sociale à l'Hospice X._. L'Hospice X._ y a répondu favorablement. Le 27 septembre 2007, il a toutefois mis fin à toutes prestations en faveur de A._ et exigé la restitution de celles qu'il avait allouées entre le 1er décembre 2005 et le 30 juin 2007, à raison de 66'465 fr. 05. Cette décision était motivée, notamment, par le fait que A._ n'était pas domicilié en Suisse, mais en France, pendant la période prise en considération, contrairement à ses indications à l'Hospice X._. Le Président du conseil d'administration de l'Hospice X._ a maintenu l'exigence de restitution des prestations, par décision sur opposition du 13 novembre 2007.
Par jugement du 18 juin 2008, le Tribunal des assurances sociales du canton de Genève (ci-après: TCAS) a rejeté le recours formé par l'intéressé contre cette dernière décision.
A._ a interjeté un recours en matière de droit public contre ce jugement devant le Tribunal fédéral. Statuant le 4 mai 2009, le Tribunal fédéral a admis le recours et annulé le jugement entrepris, la cause étant renvoyée à la juridiction cantonale afin qu'elle procède conformément aux considérants. Le Tribunal fédéral a considéré que le grief de violation du droit d'être entendu soulevé par le recourant était bien fondé, dès lors qu'il n'avait pas pu se déterminer sur la prise de position du 6 mai 2008 de l'Hospice X._, alors qu'il avait sollicité un délai pour ce faire. En ce qui concerne le grief d'arbitraire dans l'appréciation des preuves et la constatation des faits, il n'était pas exclu qu'il fût bien fondé, dans la mesure où l'attestation d'aide financière versée par l'Hospice X._ ne donnait aucun détail relatif aux prestations dont la restitution était demandée. Par conséquent, la force probante de ladite attestation paraissait pour le moins limitée (cause 8C_671/2008 du 4 mai 2009).
B. Le 4 juin 2009, la juridiction cantonale a communiqué à A._ un décompte précis établi par l'Hospice X._ le 28 mai 2009. Elle a octroyé au prénommé un délai au 23 juin 2009 pour faire des observations. Le 12 juin 2009, l'intéressé a souhaité connaître le nom du ou des juges en charge de son dossier. Le 16 juin 2009, B._, Présidente de la Chambre Y._ du TCAS, l'a informé que son recours continuerait à être traité par la Chambre Y._, dans la même composition. Après avoir requis deux délais pour faire parvenir ses observations A._ a produit, le 31 juillet 2009, des pièces complémentaires et réclamé la « révocation » des magistrates ayant jugé sa cause en juin 2008.
La Présidente de la Chambre Z._ du TCAS, C._, a transmis pour observations la demande de récusation aux juges concernées, soit B._, ainsi qu'à D._ et à E._, toutes deux juges assesseures. Le 6 août 2009, D._ s'en est rapportée à justice quant à la demande de récusation. Le 10 août 2009, B._ a conclu au rejet de la demande de récusation, en soulevant la question de la tardiveté possible de cette requête. Le 20 août 2009, E._ a exposé que la lecture des écritures de A._ de même que la jurisprudence, tant celle en matière de délais pour déposer une telle demande que celle relative aux motifs admissibles de récusation d'un juge, l'amenaient à penser que la démarche entreprise ne répondait pas aux critères applicables en la matière. Le 24 août 2009, C._ a communiqué au Ministère public la demande de récusation et les déterminations des juges. Le 11 septembre 2009, le Procureur général a conclu au rejet de la demande, dans la mesure où elle était recevable. Il a fait siens les avis exprimés par les trois juges concernées. Ces observations ont été communiquées aux parties le 14 septembre 2009.
Statuant par jugement incident le 15 octobre 2009, le TCAS, Chambre Z._, présidée par C._, a rejeté la demande de récusation dans la mesure où elle était recevable, tout en laissant ouverte la question de savoir si la demande de récusation avait été formulée à temps.
C. A._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Il demande au Tribunal fédéral de confirmer qu'il a déposé sa demande de récusation à temps. Il conclut à ce que sa demande de récusation des juges de la Chambre Y._ soit acceptée et à ce que sa cause soit jugée par un tribunal impartial. Préalablement, il sollicite le bénéfice de l'assistance judiciaire gratuite.
La Présidente de la Chambre Y._ déclare qu'elle n'a aucune écriture à produire au sujet du recours interjeté par A._.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1.1 p. 3; <ref-ruling> consid. 1 p. 444).
2. Selon l'<ref-law>, les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation peuvent faire l'objet d'un recours (al. 1). Ces décisions ne peuvent plus être attaquées ultérieurement (al. 2). Par leur nature, les questions concernant la compétence de l'autorité et sa composition régulière doivent en effet être tranchées préliminairement, de manière définitive, avant que ne se poursuive la procédure (BERNARD CORBOZ, in: Commentaire de la LTF, Berne 2009, n. 20 ad art. 92). En l'espèce, on est en présence d'une décision incidente qui porte sur la récusation et qui est donc susceptible de faire l'objet d'un recours immédiat. Bien que cette condition ne soit pas expressément prévue par la loi, il va par ailleurs de soi qu'en vertu du principe de l'unité de la procédure, le recours contre une décision incidente n'est ouvert que si, sur le fond, la cause peut être portée devant le Tribunal fédéral (<ref-ruling> consid. 2.2 p. 647; voir aussi consid. 2 de l'arrêt 8C_639/2009 du 9 octobre 2009 non publié in SJ 2010 I p. 122). Tel est le cas en l'espèce, dès lors que les litiges en matière d'aide sociale peuvent faire l'objet d'un recours en matière de droit public (<ref-law>).
3. 3.1 Invoquant, d'une manière toute générale, les art. 15 al. 3 de la loi genevoise sur la procédure administrative (LPA; RS E 5 10), 91 let. i de la loi genevoise sur l'organisation judiciaire (LOJ; RS E 2 05), les art. 9, 29 et 35 Cst., ainsi que l'art. 6 CEDH, le recourant se plaint essentiellement du fait que sa cause est appelée à être rejugée par des magistrates auxquelles le Tribunal fédéral a reproché de n'avoir pas respecté son droit d'être entendu et d'avoir possiblement apprécié les preuves de manière arbitraire.
3.2 Selon la jurisprudence, le droit à un juge impartial n'est pas violé lorsqu'un recours est admis et que la cause est renvoyée au juge qui a pris la décision invalide; d'ordinaire, on peut attendre de ce juge qu'il continue de traiter l'affaire de manière impartiale et objective, en se conformant aux motifs de l'arrêt rendu sur recours, et il n'est pas suspect de prévention du seul fait qu'il a erré dans l'application du droit (<ref-ruling> consid. 3.4 p. 116 et consid. 3.6 p. 118 ss; <ref-ruling> consid. 2b p. 410; voir aussi <ref-ruling> consid. 2 p. 162; <ref-ruling> consid. 5 p. 58). Seules des erreurs particulièrement lourdes ou répétées, constituant des violations graves de ses devoirs, peuvent justifier le soupçon de parti pris. La fonction judiciaire oblige le magistrat à se déterminer sur des éléments souvent contestés et délicats; c'est pourquoi, même si elles se révèlent viciées, des mesures inhérentes à l'exercice normal de sa charge ne permettent pas d'exiger sa récusation (<ref-ruling> consid. 3a p. 138; <ref-ruling> consid. 3b/bb p. 158; cf. aussi arrêt 1P.572/1992 du 17 novembre 1992 consid. 2a). En l'espèce, les motifs qui ont conduit au renvoi de la cause à l'autorité cantonale (droit d'être entendu, arbitraire éventuel dans l'appréciation des preuves) ne suffisent pas pour mettre en doute l'impartialité de la juge B._ et des juges assesseures D._ et E._. Dans ces conditions, on doit admettre, à l'instar de la juridiction cantonale, que le grief avancé par le recourant ne constitue pas un motif de récusation.
4. Le recourant motive également sa requête par le contenu des réponses données par les magistrates concernées à la demande de C._, Présidente de la Chambre Z._ du TCAS. Il n'invoque toutefois pas dans ce contexte des faits susceptibles de créer une apparence de prévention à l'endroit de l'autorité judiciaire d'une manière conforme aux exigences des art. 42 al. 2 et 106 al. 2 LTF.
5. Vu ce qui précède, le recours est mal fondé. En application de l'art. 66 al. 1, 2ème phrase, LTF, il convient exceptionnellement de renoncer à la perception de frais judiciaires. Dans ces conditions, la demande d'assistance judiciaire est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Il n'est pas perçu de frais judiciaires.
3. La demande d'assistance judiciaire est sans objet.
4. Le présent arrêt est communiqué aux parties et au Tribunal cantonal des assurances sociales de la République et canton de Genève, Chambre 4.
Lucerne, le 11 mai 2010
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Juge présidant: La Greffière:
Leuzinger Berset