Faits:
A. En février 2002, l'Etat de Genève a introduit, à des fins conservatoires, une action en responsabilité contre la Confédération auprès du Département fédéral des finances (ci-après: le Département fédéral). Il reprochait à la Commission fédérale des banques d'avoir manqué à ses devoirs dans la surveillance de plusieurs établissements bancaires genevois.
Diverses autres procédures, notamment sur les plans civil et pénal, ont été ouvertes dans le même contexte devant les autorités judiciaires genevoises.
Le 25 avril 2002, le Département fédéral a suspendu la procédure introduite en février 2002.
L'Etat de Genève a demandé deux fois, en décembre 2003 et en septembre 2005, au Département fédéral de reprendre la procédure. Ce dernier a refusé par décisions incidentes des 20 avril 2004 et 24 mars 2006, estimant qu'il convenait de maintenir la suspension jusqu'à droit jugé sur les procédures pénale et civile ouvertes auprès des juridictions genevoises.
Les recours déposés par l'Etat de Genève à l'encontre de ces décisions ont été rejetés par la Commission fédérale de recours en matière de responsabilité de l'Etat, les 10 septembre 2004 et 14 septembre 2006. La composition de cette autorité, lorsqu'elle a statué, comprenait notamment le juge X._, qui présidait le collège.
B. Le 31 décembre 2006, les commissions fédérales de recours ont été dissoutes, leurs compétences étant transférées au Tribunal administratif fédéral, qui a commencé ses activités le 1er janvier 2007.
X._ est juge auprès de la Chambre I de la Cour I du Tribunal administratif fédéral, qui a notamment repris les compétences de la Commission fédérale de recours en matière de responsabilité de l'Etat.
C. Le 19 juillet 2007, l'Etat de Genève a une nouvelle fois demandé au Département fédéral la reprise de la procédure. La requête ayant été rejetée le 14 janvier 2008, l'Etat de Genève a recouru devant le Tribunal administratif fédéral.
Le 21 février 2008, le Tribunal administratif fédéral a informé l'Etat de Genève que les membres du collège appelés à statuer sur le fond de la cause seraient X._, en tant que juge instructeur, Y._ et Z._. Une éventuelle demande de récusation pouvait être déposée jusqu'au 13 mars 2008.
Le 12 mars 2008, l'Etat de Genève a sollicité la récusation du juge instructeur X._, en raison de sa participation, en qualité de président, aux décisions rendues précédemment par la Commission fédérale de recours en matière de responsabilité de l'Etat au sujet de la suspension de la procédure.
Par décision incidente du 2 septembre 2008, le Tribunal administratif fédéral a rejeté la demande de récusation formée par l'Etat de Genève.
D. Contre cette décision, l'Etat de Genève interjette un recours en matière de droit public au Tribunal fédéral. Il conclut, sous suite de dépens, à l'annulation de la décision attaquée et à ce que le Tribunal administratif fédéral soit invité à récuser le juge X._, ainsi qu'à nommer un nouveau juge pour statuer sur la reprise de l'instruction de la procédure pendante devant le Département fédéral.
La Confédération conclut, sous suite de frais, au rejet du recours. Le Tribunal administratif fédéral a, pour sa part, renoncé à se déterminer.

Considérant en droit:
1. L'acte attaqué doit être qualifié de décision incidente portant sur une demande de récusation. En vertu de l'<ref-law>, les décisions incidentes rendues en matière de récusation peuvent et même doivent être attaquées immédiatement. Selon le principe de l'unité de la procédure, un recours n'est ouvert contre une décision incidente que si, sur le fond, la cause peut être portée devant le Tribunal fédéral (<ref-ruling> consid. 2.2 p. 647 s.). Tel est le cas en l'espèce, dès lors que, sous réserve des activités médicales (<ref-law> et 31 al. 1 let. d RTF), les litiges en matière de responsabilité de la Confédération tranchés par le Tribunal administratif fédéral peuvent faire l'objet d'un recours en matière de droit public au Tribunal fédéral (cf. art. 82, 83 et 86 al. 1 let. a LTF).
Interjeté en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de la décision attaquée qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours en matière de droit public est recevable.
2. Le Tribunal administratif fédéral a rejeté la demande de récusation du juge X._ pour plusieurs motifs. Il a considéré que ce juge, en statuant sur les précédents recours en sa qualité de président de la Commission fédérale de recours en matière de responsabilité de l'Etat, n'avait pas agi dans la même cause, car la procédure devant le Tribunal administratif fédéral avait pour objet une nouvelle demande de suspension (recte: de reprise) de la procédure. Au demeurant, peu importait s'il s'agissait de la même cause, car le juge X._ n'interviendrait de toute façon pas à un autre titre. Enfin, aucun élément ne permettait de retenir que ce juge pourrait être prévenu d'une autre manière.
Les deux premiers motifs, envisagés individuellement, permettant de justifier la décision attaquée, le recours doit, sous peine d'irre-cevabilité, s'en prendre à chacun d'eux (<ref-ruling> consid. 6.3 p. 120 s.). Tel est le cas en l'espèce, de sorte qu'il convient d'entrer en matière.
3. Selon l'<ref-law> (RS 173.32), les dispositions de la LTF relatives à la récusation s'appliquent par analogie à la procédure devant le Tribunal administratif fédéral. Les motifs de récusation des juges et des greffiers énumérés à l'<ref-law> valent donc également pour le Tribunal administratif fédéral, étant précisé que cette disposition ne fait que concrétiser les art. 30 al. 1 Cst. et 6 par. 1 CEDH dans le sens où elle tend à garantir l'indépendance et l'impartialité du tribunal (arrêt 8F_3/2008 du 20 août 2008).
Il convient donc de se demander si, comme le soutient le recourant, la décision attaquée, qui nie l'existence d'un motif de récusation, viole l'<ref-law>, plus particulièrement les let. b et e figurant à l'al. 1 de cette disposition.
3.1 Aux termes de l'<ref-law>, les juges et les greffiers se récusent s'ils ont agi dans la même cause à un autre titre, notamment comme membre d'une autorité, comme conseil d'une partie, comme expert ou comme témoin. La décision attaquée considère en substance qu'une récusation sur la base de cette disposition ne se justifie pas car, d'une part, la cause est différente et, d'autre part, X._ a agi au même titre devant le Tribunal administratif fédéral et la Commission fédérale de recours en matière de responsabilité de l'Etat.
3.1.1 La notion de "même cause" est controversée s'agissant de savoir si elle inclut les procédures distinctes ou préalables se rapportant à la même affaire (cf. à ce sujet ISABELLE HÄNER, Commentaire bâlois, n. 13 ad <ref-law>; JEAN-FRANÇOIS POUDRET, Commentaire de la loi fédérale d'organisation judiciaire, vol. I, 1990, n. 3.1 ad art. 22 OJ). Il n'y a pas lieu d'entrer plus avant sur cette controverse, car, contrairement à ce que retient la décision attaquée, on n'est manifestement pas ici en présence d'une procédure distincte ou préalable. En effet, lorsqu'une procédure a été suspendue et qu'une partie demande à plusieurs reprises la levée de cette suspension, ses différentes requêtes ne sauraient constituer des procédures distinctes qui ne relèvent pas de la même cause. Un tel raisonnement reviendrait à faire perdre tout sens à l'<ref-law>, en excluant d'emblée l'application de cette disposition aux décisions rendues successivement dans le cadre de l'instruction d'une même procédure. Force est donc d'admettre que les recours formés par l'Etat de Genève devant la Commission fédérale de recours, puis devant le Tribunal administratif fédéral, à l'encontre du refus du Département fédéral de lever la suspension de la procédure relèvent de la même cause au sens de l'<ref-law>.
3.1.2 Encore faut-il, pour que le motif de récusation de l'<ref-law> soit réalisé, que le juge ait statué dans le cadre de ces différentes requêtes "à un autre titre". Or, lorsque, au cours d'une réorganisation judiciaire, une autorité est remplacée par une autre et reprend les tâches juridictionnelles de l'ancienne entité, les juges et les greffiers qui ont participé à l'instruction d'une cause devant l'ancienne autorité et qui interviennent ensuite, avec des tâches et des responsabilités similaires, dans le cadre de la nouvelle structure, le font au même titre (cf. HÄNER, op. cit., n. 9 in fine ad <ref-law>; YVES DONZALLAZ, Loi sur le Tribunal fédéral, 2008, p. 285 n. 552). Le Tribunal administratif fédéral est d'ailleurs parvenu à cette conclusion s'agissant de la participation de certains de ses juges et greffiers aux procédures alors pendantes devant les anciennes commissions fédérales de recours (cf. ATAF 2007/4 p. 27).
Il en découle que la désignation de X._ dans le collège du Tribunal administratif fédéral appelé à se prononcer sur le refus du Département fédéral de reprendre la procédure se fait au même titre que la participation de ce juge aux deux décisions rendues précédemment sur le même sujet par la Commission fédérale de recours en matière de responsabilité de l'Etat. Contrairement à ce que soutient le recourant, X._ agissait déjà en qualité de juge devant la Commission fédérale de recours en matière de responsabilité de l'Etat (cf. art. 3 ss de l'ancienne ordonnance du 3 février 1993 concernant l'organisation et la procédure des commissions fédérales de recours et d'arbitrage; RO 1993 879), soit dans la même fonction que celle qu'il exerce auprès du Tribunal administratif fédéral. Le fait que la Commission fédérale de recours en matière de responsabilité de l'Etat ait été supprimée, que le juge en question soit également compétent dans d'autres domaines que celui de la responsabilité de l'Etat ou qu'il n'ait pas été désigné en raison de ses connaissances antérieures du dossier, mais en fonction de critères aléatoires n'y change rien.
Le juge X._ agissant au même titre, on ne peut reprocher au Tribunal administratif fédéral d'avoir considéré que le motif de récusation prévu à l'<ref-law> n'était pas réalisé.
3.2 Reste à se demander si la récusation de X._ ne serait pas justifiée en application de l'art. 34 al. 1 let. e LTF.
Cette disposition a la portée d'une clause générale, dans la mesure où elle permet la récusation d'un juge dès que celui-ci peut être prévenu de toute autre manière que les motifs énumérés à l'art. 34 al. 1 let. a à d LTF, notamment en raison d'une amitié étroite ou d'une inimitié personnelle avec une partie ou son mandataire (arrêt 8F_3/2008 du 20 août 2008). Sont visées toutes les circonstances propres à révéler une apparence de prévention et à faire douter de l'impartialité du juge. L'existence d'un motif de prévention au sens de l'art. 34 al. 1 let. e LTF est une question d'appréciation, qui doit être tranchée de manière objective. Il y a apparence de prévention lorsque les circonstances, envisagées objectivement, font naître un doute quant à l'impartialité du juge (<ref-ruling> consid. 6.2 p. 6; arrêt 8F_3/2008 du 20 août 2008). Seul l'aspect objectif compte, les considérations subjectives ne sont pas pertinentes. Ainsi, une apparence de prévention ne saurait être retenue sur la base des impressions purement individuelles des parties au procès (<ref-ruling> consid. 4.2 p. 21; <ref-ruling> consid. 1.1 p. 25). En revanche, la récusation sera admise dès qu'il existe une apparence objective de prévention, peu importe que le juge concerné se sente lui-même apte à se prononcer en toute impartialité (ATF <ref-ruling> consid. 1.1 p. 25). En d'autres termes, il faut que l'on puisse garantir que le procès demeure ouvert (<ref-ruling> consid. 6.2 p. 6; arrêt 8F_3/2008 du 20 août 2008).
En l'espèce, X._ a participé aux décisions antérieures par lesquelles les recours de l'Etat de Genève à l'encontre du refus du Département fédéral de reprendre la procédure ont été rejetés. Le seul fait qu'un juge ait déjà rendu une décision défavorable au recourant ne suffit cependant pas pour admettre un motif de prévention (cf. <ref-ruling> consid. 1 p. 279). Par exemple, un juge n'apparaît pas comme prévenu parce qu'il a rejeté une demande d'assistance judiciaire en raison de l'absence de succès de la requête. D'autres motifs sont nécessaires pour admettre qu'un tel juge ne serait plus en mesure d'adopter une autre position, de sorte que l'issue de la procédure n'apparaîtrait plus comme ouverte (<ref-ruling> consid. 3.7.3 p. 123 s.). La jurisprudence citée par le recourant va du reste dans le même sens, dès lors qu'elle retient qu'un juge qui a déjà participé à des décisions dans l'affaire en cours ne peut être récusé que pour autant qu'il ait alors pris position au sujet de certaines questions de manière telle qu'il ne semble plus exempt de préjugés (<ref-ruling> consid. 3b p. 139). Il se trouve que, comme l'a retenu le Tribunal administratif fédéral, ni les décisions antérieures, ni les motifs à leur appui, envisagés objectivement, ne permettent de déduire que le juge X._ aurait une opinion préconçue. Ainsi, ce n'est pas parce que, dans sa seconde décision incidente, la Commission fédérale de recours en matière de responsabilité de l'Etat a retenu que le recourant n'avançait aucun élément pertinent pour étayer l'un de ses griefs concernant le retard injustifié que l'on peut objectivement conclure que le juge concerné n'est pas en mesure de traiter le recours actuellement pendant devant le Tribunal administratif fédéral et de tenir compte des nouveaux éléments allégués par le recourant en toute impartialité.
En l'absence d'indice permettant objectivement de retenir une apparence de prévention, on ne peut non plus faire grief à l'autorité inférieure d'avoir violé l'art. 34 al. 1 let. e LTF en refusant de récuser le juge X._ sur la base de cette disposition.
4. Il découle de ce qui précède que le recours doit être rejeté.
Les frais seront mis à la charge du recourant, qui succombe (<ref-law>). Dès lors que la présente procédure porte uniquement sur la récusation, on ne se trouve pas dans une situation qui justifierait de déroger à l'<ref-law> et d'allouer des dépens à la Confédération, comme la jurisprudence l'admet à titre exceptionnel dans le domaine de la responsabilité de l'Etat (arrêts 2C_25/2008 du 18 juin 2008 consid. 6.2 et 5A_306/2007 du 19 septembre 2007 consid. 6).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux mandataires du recourant, au Département fédéral des finances et au Tribunal administratif fédéral, Cour I.
Lausanne, le 7 janvier 2009
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: La Greffière:
Merkli Dupraz