Faits:
A. A.a Par arrêt du 8 avril 2008, le Tribunal administratif du canton de Genève a rejeté le recours formé par X._ à l'encontre d'une décision de l'Hospice général mettant fin à l'octroi de prestations d'assistance et réclamant la restitution de prestations indûment perçues. Y._ a siégé dans le collège ayant rendu cette décision en qualité de vice-présidente.
Cet arrêt a été annulé par le Tribunal fédéral le 4 août 2008 et la cause renvoyée au Tribunal administratif en raison d'un défaut de motivation (cause 8C_408/2008). Contre l'arrêt du 4 août 2008, X._ a formé une demande de révision qui a été rejetée par le Tribunal fédéral le 13 mai 2009 (cause 8F_13/2008).
L'instruction de la cause a été reprise sur le plan cantonal le 11 août 2008 (procédure A/2916/2008). Plusieurs avis concernant la fixation de délais ont été adressés à X._, qui comportaient notamment les lettres "****".
A.b Le 6 octobre 2008, la Commission de recours de l'Université de Genève, présidée par Y._, a rejeté un recours formé par X._ à l'encontre d'une décision rendue par la Faculté de droit de l'Université de Genève, refusant de donner suite à une demande d'équivalence. Saisi d'un recours formé par l'intéressé, le Tribunal fédéral a, par arrêt du 13 février 2009, annulé la décision attaquée et renvoyé le dossier à la Commission de recours, cette autorité ayant violé le droit d'être entendu du recourant (cause 2D_130/2008).
Les compétences de la Commission de recours ayant été reprises, le 1er janvier 2009, par le Tribunal administratif, cette autorité a continué l'instruction de la procédure A/1092/2009 et a adressé de nombreux avis et mémos portant les lettres "****" à X._.
Le 29 juillet 2009, le Tribunal administratif a adressé à celui-ci une lettre qui comportait la signature suivante : "p.o. Y._, juge déléguée, Z._, greffière".
A.c Le 5 octobre 2009, X._ a saisi le Tribunal administratif d'une demande de récusation à l'encontre de Y._, en se référant à la cause l'opposant à l'Hospice général et à d'autres affaires le concernant. Il reprochait en substance à cette juge d'avoir préjugé et formé des requêtes pouvant lui nuire.
B. Par décision du 3 février 2010, le vice-président du Tribunal administratif a déclaré irrecevable la requête en récusation formée par X._ contre Y._ dans les procédures A/2916/2008 et A/1092/2009. Il a considéré en substance que le requérant savait dès la reprise des deux procédures que Y._ était juge au Tribunal administratif et était en mesure de demander sa récusation, ce qu'il n'avait pas fait. Par conséquent, la requête était tardive.
C. Contre la décision du 3 février 2010, X._ forme un recours en matière de droit public au Tribunal fédéral en concluant à ce que la récusation de Y._ soit prononcée dans les deux causes précitées ainsi que dans d'autres affaires connexes et à l'octroi d'une indemnité de 3'000 fr. à titre de compensation pour violation du principe de la célérité, avec suite de dépens. Subsidiairement, il s'engage à prouver par toute voie de droit les faits allégués dans son mémoire. Il demande également l'octroi de l'assistance judiciaire.
Le Tribunal administratif n'a pas présenté d'observations, déclarant persister dans les considérants et le dispositif de son arrêt. L'Hospice général s'en rapporte à justice et l'Université de Genève estime ne pas avoir à se prononcer.

Considérant en droit:
1. Le Tribunal fédéral examine d'office et librement sa compétence, respectivement la recevabilité des recours qui lui sont soumis (<ref-law>; <ref-ruling> consid. 1 p. 37).
1.1 La décision attaquée déclare irrecevable la requête en récusation formée par le recourant. Il s'agit d'une décision incidente en matière de récusation notifiée séparément qui peut, en vertu de l'<ref-law>, faire l'objet d'un recours immédiat auprès du Tribunal fédéral.
1.2 La détermination de la voie de droit ouverte à l'encontre d'une décision incidente dépend de la cause au fond (arrêt 5A_710/2008 du 12 janvier 2009 consid. 1.2; cf. aussi <ref-ruling> consid. 2.2). En l'occurrence, la décision concerne deux procédures, l'une rendue en matière de prestations d'assistance, domaine pouvant faire l'objet d'un recours en matière de droit public, l'autre concernant une demande d'équivalence, matière qui tombe sous le coup de l'exception prévue à l'art. 83 let. t LTF, pour laquelle seule la voie du recours constitutionnel subsidiaire est ouverte (arrêt 2D_130/2008 du 13 février 2009 rendu dans la cause opposant le recourant à l'Université de Genève, consid. 1.2). Dès lors qu'il n'est pas possible de scinder la décision attaquée en fonction de ces deux procédures, il y a lieu d'admettre que la voie de droit ordinaire qui ne limite pas les griefs du recourant à la violation des seuls droits constitutionnels (cf. <ref-law>) doit primer, à savoir celle du recours en matière de droit public.
1.3 Devant le Tribunal fédéral, il n'est pas possible de modifier l'objet du litige, sauf à le restreindre (BERNARD CORBOZ, Commentaire LTF, 2009, no 37 ad <ref-law>). En l'espèce, le litige porte sur le point de savoir si le Tribunal administratif était en droit de déclarer irrecevable la demande de récusation du recourant en raison de sa tardiveté. Par conséquent, les conclusions du recourant tendant à l'octroi d'une indemnité pour violation du principe de la célérité - qui ne satisfont au demeurant nullement aux exigences de motivation de l'<ref-law> - ne sont pas recevables. Il en va de même des conclusions subsidiaires visant à permettre au recourant de produire des moyens de preuve.
En outre, s'agissant d'une décision d'irrecevabilité, le recourant ne peut que s'en prendre au refus d'entrer en matière et non pas au fond (arrêt 1C_52/2010 du 21 avril 2010 consid. 1.2). Partant, les griefs portant sur le fond et cherchant à démontrer le bien-fondé de la demande de récusation ne seront pas examinés.
1.4 Sous ces réserves, il convient d'entrer en matière, le recours ayant été déposé en temps utile (cf. <ref-law>) par le destinataire de la décision entreprise qui a qualité pour recourir (cf. <ref-law>).
2. S'agissant du caractère tardif de la récusation, le recourant invoque la protection contre l'arbitraire. Il soutient en substance que le droit cantonal, qui impose d'agir dès que les parties ont connaissance d'un motif de récusation, tend à éviter que la récusation ne soit demandée après une longue instruction; or aucun acte d'instruction important n'a été effectué dans les deux procédures concernées. En outre, on ne saurait lui reprocher de ne pas avoir été diligent, car il a demandé la récusation dès qu'il a pu formuler des observations sur le fond, soit le 5 octobre 2009. Enfin, il n'aurait su qu'à la fin septembre 2009 que Y._ participerait à nouveau aux deux jugements.
2.1 Selon l'art. 96 de la loi genevoise du 22 novembre 1941 sur l'organisation judiciaire (LOJ; RS/GE E 2 05), si les faits, sur lesquels est fondée la récusation, sont antérieurs à l'instance, les parties doivent la proposer d'entrée de cause et avant de prendre les conclusions (al. 1). Si les faits n'ont eu lieu que depuis l'instance, les parties doivent proposer la récusation dès qu'elles en ont acquis la connaissance (al. 2). Cette disposition exprime un principe qui s'applique de manière générale en matière de récusation (arrêt 1B_277/2008 du 13 novembre 2008 consid. 2.3), selon lequel celui qui omet de se plaindre immédiatement de la prévention d'un magistrat et laisse le procès se dérouler sans intervenir, agit contrairement à la bonne foi et voit son droit se périmer (<ref-ruling> consid. 4.3.1 p. 21; <ref-ruling> consid. 4.3 p. 496; <ref-ruling> consid. 4.3 p. 75). Dès lors, même si la loi ne prévoit aucun délai particulier, il y a lieu d'admettre que la demande de récusation doit être formée aussitôt, c'est-à-dire dans les jours qui suivent la connaissance de la cause de récusation (arrêt 1B_277/2008 précité consid. 2.3 in fine). Ces exigences valent que des actes d'instruction soient ou non effectués avant que la demande de récusation soit déposée.
Par ailleurs, savoir ce qu'une personne sait à un moment donné est une question de fait (<ref-ruling> consid. 4.5.3 p. 136; <ref-ruling> consid. 3 p. 184), qui lie le Tribunal fédéral (<ref-law>), à moins que les faits aient été établis de façon manifestement inexacte ou en violation du droit (cf. <ref-law>), soit arbitrairement.
2.2 En l'espèce, l'arrêt attaqué retient que le recourant savait, dès la reprise des deux procédures, que Y._ était juge au Tribunal administratif. Cette constatation ne peut être considérée comme manifestement inexacte ou arbitraire, dès lors que cette magistrate appartenait au collège qui avait rendu les deux arrêts annulés par le Tribunal fédéral les 4 août 2008 (cause 8C_408/2008) et 13 février 2009 (cause 2D_130/2008). Il ressort également de la décision attaquée que les motifs de récusation allégués reposent sur le comportement de Y._ au cours de ces deux procédures. Par conséquent, le Tribunal administratif pouvait admettre que la demande de récusation aurait dû être présentée dès la reprise des causes à la suite des arrêts du Tribunal fédéral. En effet, le recourant sachant que la magistrate était juge ordinaire auprès de l'autorité cantonale et pouvait ainsi être appelée à statuer à nouveau, il lui appartenait, selon les règles de la bonne foi, de demander dès la reprise des procédures que cette juge ne fasse pas partie du collège, peu importe qu'il ignorât alors si tel serait effectivement le cas (cf. <ref-ruling> consid. 1c p. 323). Au demeurant, selon les constatations cantonales, le recourant s'est vu adresser une lettre mentionnant expressément "p.o. Y._" le 29 juillet 2009, de sorte qu'il devait agir au plus tard dans les jours suivants et non pas attendre d'avoir l'occasion de se prononcer sur le fond. En qualifiant la requête formée le 5 octobre 2009 de tardive et partant d'irrecevable, l'arrêt attaqué ne viole donc pas les principes jurisprudentiels précités ni n'applique arbitrairement l'art. 96 LOJ.
Dans ces circonstances, le recours doit être rejeté dans la mesure où il est recevable.
3. La cause paraissant dépourvue de chances de succès et l'assistance d'un avocat pas nécessaire (cf. <ref-ruling> consid. 7.1 p. 2), la demande d'assistance judiciaire doit être rejetée (cf. art. 64 al. 1 et 2 LTF). Les frais seront mis à la charge du recourant, mais fixés en tenant compte de sa situation financière (cf. art. 65 al. 2 et 66 al. 1 LTF). Il ne sera pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Des frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux participants à la procédure et au Tribunal administratif de la République et canton de Genève.
Lausanne, le 30 juin 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Vianin