Faits: A. A.a X._, né en 1962, est immatriculé à l'Université de Genève depuis le semestre d'été 1994. Dans sa séance du 22 octobre 2003, le collège des professeurs de la Faculté des sciences économiques et sociales (ci-après la Faculté) a accepté le sujet de la thèse de X._, à savoir "La démocratie locale et régionale dans le système politique de l'Union européenne: approche comparative d'une forme nouvelle de la légitimation démocratique", ce qui l'autorisait à s'inscrire en qualité de candidat au doctorat. Le jury était composé de A._, directeur de thèse, B._, codirecteur, et C._. Le délai d'obtention du titre brigué a été fixé au terme du semestre d'été 2008. Le 7 janvier 2008, le directeur de thèse a informé le doyen de l'acceptation du mémoire préliminaire de X._ par le jury, à la suite de quoi le collège des professeurs a autorisé celui-ci à rédiger sa thèse, dont le titre était désormais "L'espace public subnational peut-il être un moyen pour consolider la légitimation démocratique dans l'Union européenne? Le cas de la France". Par courriel du 5 novembre 2008, X._ a informé la Faculté qu'il avait été très malade à partir du 26 juillet 2008, ce qui l'avait empêché de travailler sa thèse pendant près de trois mois. Sur indication de la Faculté, X._ a formellement sollicité une prolongation exceptionnelle d'une année pour la conclusion de son doctorat. Le 23 mars 2009, le rectorat de l'Université a accordé la dérogation sollicitée et octroyé deux semestres supplémentaires au doctorant, le manuscrit devant être remis au plus tard début octobre 2009 et la soutenance de la thèse intervenir au plus tard à la fin du semestre d'automne 2009-2010. Le 3 décembre 2009, le directeur de thèse a informé le doyen de ce que la thèse de X._ allait être déposée sous peu et lui a transmis une proposition relative à la constitution du jury de soutenance et au titre définitif de la thèse, à savoir "Le rôle des espaces publics subnationaux dans le processus de légitimation démocratique: le cas des conseils de quartier dans la ville de Lyon". Le collège des professeurs a accepté la composition du jury proposée ainsi que le changement de titre. La Faculté ayant accordé à X._ un délai supplémentaire de trois mois, la soutenance de la thèse s'est tenue le 12 mai 2010. Le jury a décidé de lui accorder le titre de docteur mention science politique de la Faculté, ainsi que l'imprimatur de sa thèse. A.b A la suite de soupçons de plagiat, le manuscrit de X._ a été soumis à une vérification des sources durant les mois d'août et de septembre 2010. Le rapport daté du 17 septembre 2010 constate l'existence de nombreux cas de plagiat. Invité à se déterminer, X._ a reconnu qu'il avait "sans doute fait preuve de négligence en omettant de mettre entre guillemets certaines phrases reprises d'autres auteurs", négligence qui était due à la pression du temps. Par courrier du 22 décembre 2010, le doyen a informé X._ que le collège des professeurs avait décidé, lors de sa séance du 10 décembre 2010, de prononcer son échec définitif au doctorat, ce qui amenait le doyen à décider son élimination de la Faculté. X._ s'est opposé à cette sanction. Par décision du 13 mai 2011, le doyen a rejeté cette opposition. B. X._ a saisi la Chambre administrative de la Cour de justice du canton de Genève (ci-après la Cour de justice) d'un recours contre la décision sur oppostion du doyen. Il demandait son annulation et à ce qu'il soit ordonné à la Faculté de lui octroyer un délai raisonnable pour corriger son manuscrit. Il faisait valoir que le réel motif de son échec était le manque d'encadrement qui l'avait poussé à "bâcler son travail de recherche". La Cour de justice a rendu son arrêt le 31 janvier 2012. Elle a rejeté le recours en retenant, en substance, qu'aux termes du règlement applicable, toute fraude, plagiat, tentative de fraude ou de plagiat, reconnue comme tel par le collège des professeurs de la Faculté, entraînait l'échec au doctorat et l'élimination de la Faculté, peu importe que le plagiat soit intentionnel ou non. Le plagiat étant avéré, la sanction était indiscutable et l'existence alléguée de circonstances exceptionnelles ne devait, par conséquent, pas être examinée. C. Par acte du 14 mars 2012, X._ dépose un recours constitutionnel subsidiaire contre l'arrêt de la Cour de justice du 31 janvier 2012. Il sollicite le bénéfice de l'assistance judiciaire et conclut à l'annulation de l'arrêt précité et à ce qu'il soit ordonné aux autorités intimées de lui octroyer un délai raisonnable d'une année au moins pour corriger son manuscrit, le tout sous suite de frais et dépens. Subsidiairement, il demande le renvoi de la cause à la Cour de justice pour nouvelle décision. Par courrier du 27 avril 2012, la Faculté conclut, principalement, au rejet du recours et à la confirmation de l'arrêt attaqué, le tout sous suite de dépens. La Cour de justice s'en remet à justice quant à la recevabilité du recours et persiste dans les considérants et le dispositif de son arrêt.