Faits: A. A.a Par arrêt du 8 avril 2008, le Tribunal administratif du canton de Genève a rejeté le recours formé par X._ à l'encontre d'une décision de l'Hospice général mettant fin à l'octroi de prestations d'assistance et réclamant la restitution de prestations indûment perçues. Y._ a siégé dans le collège ayant rendu cette décision en qualité de vice-présidente. Cet arrêt a été annulé par le Tribunal fédéral le 4 août 2008 et la cause renvoyée au Tribunal administratif en raison d'un défaut de motivation (cause 8C_408/2008). Contre l'arrêt du 4 août 2008, X._ a formé une demande de révision qui a été rejetée par le Tribunal fédéral le 13 mai 2009 (cause 8F_13/2008). L'instruction de la cause a été reprise sur le plan cantonal le 11 août 2008 (procédure A/2916/2008). Plusieurs avis concernant la fixation de délais ont été adressés à X._, qui comportaient notamment les lettres "****". A.b Le 6 octobre 2008, la Commission de recours de l'Université de Genève, présidée par Y._, a rejeté un recours formé par X._ à l'encontre d'une décision rendue par la Faculté de droit de l'Université de Genève, refusant de donner suite à une demande d'équivalence. Saisi d'un recours formé par l'intéressé, le Tribunal fédéral a, par arrêt du 13 février 2009, annulé la décision attaquée et renvoyé le dossier à la Commission de recours, cette autorité ayant violé le droit d'être entendu du recourant (cause 2D_130/2008). Les compétences de la Commission de recours ayant été reprises, le 1er janvier 2009, par le Tribunal administratif, cette autorité a continué l'instruction de la procédure A/1092/2009 et a adressé de nombreux avis et mémos portant les lettres "****" à X._. Le 29 juillet 2009, le Tribunal administratif a adressé à celui-ci une lettre qui comportait la signature suivante : "p.o. Y._, juge déléguée, Z._, greffière". A.c Le 5 octobre 2009, X._ a saisi le Tribunal administratif d'une demande de récusation à l'encontre de Y._, en se référant à la cause l'opposant à l'Hospice général et à d'autres affaires le concernant. Il reprochait en substance à cette juge d'avoir préjugé et formé des requêtes pouvant lui nuire. B. Par décision du 3 février 2010, le vice-président du Tribunal administratif a déclaré irrecevable la requête en récusation formée par X._ contre Y._ dans les procédures A/2916/2008 et A/1092/2009. Il a considéré en substance que le requérant savait dès la reprise des deux procédures que Y._ était juge au Tribunal administratif et était en mesure de demander sa récusation, ce qu'il n'avait pas fait. Par conséquent, la requête était tardive. C. Contre la décision du 3 février 2010, X._ forme un recours en matière de droit public au Tribunal fédéral en concluant à ce que la récusation de Y._ soit prononcée dans les deux causes précitées ainsi que dans d'autres affaires connexes et à l'octroi d'une indemnité de 3'000 fr. à titre de compensation pour violation du principe de la célérité, avec suite de dépens. Subsidiairement, il s'engage à prouver par toute voie de droit les faits allégués dans son mémoire. Il demande également l'octroi de l'assistance judiciaire. Le Tribunal administratif n'a pas présenté d'observations, déclarant persister dans les considérants et le dispositif de son arrêt. L'Hospice général s'en rapporte à justice et l'Université de Genève estime ne pas avoir à se prononcer.