Faits:
Faits:
A. Par contrat du 12 juillet 2001, l'Ecole polytechnique fédérale de Lausanne (ci-après: EPFL), a engagé X._, pour la période du 1er août au 31 décembre 2001, en remplacement d'un collaborateur empêché de travailler pour cause de maladie. Ce contrat a été renouvelé à quatre reprises, pour des périodes déterminées de trois mois, la dernière venant à échéance le 31 décembre 2002.
Le 29 novembre 2002, l'EPFL a confirmé à X._ que son contrat ne serait pas reconduit et qu'il prendrait fin le 31 décembre 2002. L'intéressé a répondu le 12 décembre 2002 qu'il devait être considéré comme un employé permanent auquel la procédure de licenciement et le plan social en cas de restructuration devaient être appliqués. Par lettre de son conseil du 24 mars 2003, il a sollicité sa réintégration immédiate et le paiement rétroactif de son salaire dès le 1er janvier 2003.
Le 29 novembre 2002, l'EPFL a confirmé à X._ que son contrat ne serait pas reconduit et qu'il prendrait fin le 31 décembre 2002. L'intéressé a répondu le 12 décembre 2002 qu'il devait être considéré comme un employé permanent auquel la procédure de licenciement et le plan social en cas de restructuration devaient être appliqués. Par lettre de son conseil du 24 mars 2003, il a sollicité sa réintégration immédiate et le paiement rétroactif de son salaire dès le 1er janvier 2003.
B. Par décision du 7 mai 2003, l'EPFL a constaté que X._ ne disposait d'aucun droit à un engagement de durée indéterminée et que les rapports de travail avaient pris fin le 31 décembre 2002.
Saisie d'un recours dirigé contre cette décision, la Commission de recours interne des EPF l'a rejeté, par jugement du 27 avril 2004.
Statuant sur recours le 27 octobre 2004, la Commission fédérale de recours en matière de personnel fédéral (ci-après: la Commission fédérale de recours) a confirmé le jugement de l'autorité de recours de première instance. Elle a retenu, en bref, que les contrats successifs proposés à X._ répondaient à des motifs objectifs, que les propositions de son supérieur hiérarchique de l'engager à titre définitif n'avaient pas reçu l'aval de l'autorité de nomination et qu'il ne pouvait pas se prévaloir du principe de la bonne foi pour exiger un engagement de durée indéterminée.
Statuant sur recours le 27 octobre 2004, la Commission fédérale de recours en matière de personnel fédéral (ci-après: la Commission fédérale de recours) a confirmé le jugement de l'autorité de recours de première instance. Elle a retenu, en bref, que les contrats successifs proposés à X._ répondaient à des motifs objectifs, que les propositions de son supérieur hiérarchique de l'engager à titre définitif n'avaient pas reçu l'aval de l'autorité de nomination et qu'il ne pouvait pas se prévaloir du principe de la bonne foi pour exiger un engagement de durée indéterminée.
C. Agissant le 26 novembre 2004 par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, avec suite de frais et dépens, d'annuler la décision de la Commission fédérale de recours du 27 octobre 2004. Subsidiairement, il conclut à la réforme de cette décision en ce sens qu'il est réintégré au service de l'EPFL dans tous ses droits découlant d'un engagement de durée indéterminée dès le 1er août 2001. Il se plaint d'une violation du droit d'être entendu et de la prohibition des contrats en chaîne et reproche à l'autorité intimée de n'avoir pas retenu que la volonté des parties était de l'engager pour une durée indéterminée.
La Commission fédérale de recours et la Commission de recours interne des EPF ont renoncé au dépôt d'une réponse. L'EPFL conclut au rejet du recours.
Le Tribunal fédéral considère en droit:
Le Tribunal fédéral considère en droit:
1. Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (ATF 130 I 312 consid. 1 p. 317; 130 II 388 consid. 1 p. 389, 321 consid. 1 p. 324).
1.1 Formé contre une décision rendue par une Commission fédérale de recours et fondé sur le droit public fédéral, le présent recours est en principe recevable comme recours de droit administratif en vertu des art. 97ss OJ.
1.2 Au surplus, le recourant est atteint par la décision attaquée et a un intérêt digne de protection à ce qu'elle soit annulée ou modifiée au sens de l'art. 103 lettre a OJ, de sorte que le recours, déposé en temps utile et dans les formes prescrites par la loi, est recevable.
1.2 Au surplus, le recourant est atteint par la décision attaquée et a un intérêt digne de protection à ce qu'elle soit annulée ou modifiée au sens de l'art. 103 lettre a OJ, de sorte que le recours, déposé en temps utile et dans les formes prescrites par la loi, est recevable.
2. Conformément à l'art. 104 lettre a OJ, le recours de droit administratif peut être formé pour violation du droit fédéral, y compris l'excès et l'abus du pouvoir d'appréciation (ATF 128 II 56 consid. 2a p. 60). Le Tribunal fédéral revoit d'office l'application du droit fédéral qui englobe notamment les droits constitutionnels du citoyen (ATF 129 II 183 consid. 3.4 p. 188; 128 II 56 consid. 2b p. 60). Comme il n'est pas lié par les motifs que les parties invoquent, il peut admettre le recours pour d'autres raisons que celles avancées par le recourant ou, au contraire, confirmer l'arrêt attaqué pour d'autres motifs que ceux retenus par l'autorité intimée (art. 114 al. 1 in fine OJ; ATF 129 II 183 consid. 3.4 p. 188; 127 II 264 consid. 1b p. 268 et les arrêts cités).
Par ailleurs, lorsque le recours est dirigé, comme en l'occurrence, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; ATF 126 II 196 consid. 1 p. 198). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 lettre c ch. 3 OJ).
Par ailleurs, lorsque le recours est dirigé, comme en l'occurrence, contre la décision d'une autorité judiciaire, le Tribunal fédéral est lié par les faits constatés dans la décision, sauf s'ils sont manifestement inexacts ou incomplets ou s'ils ont été établis au mépris de règles essentielles de procédure (art. 104 lettre b et 105 al. 2 OJ; ATF 126 II 196 consid. 1 p. 198). En outre, le Tribunal fédéral ne peut pas revoir l'opportunité de la décision entreprise, le droit fédéral ne prévoyant pas un tel examen en la matière (art. 104 lettre c ch. 3 OJ).
3. Invoquant la violation du droit d'être entendu, le recourant reproche à l'autorité intimée de ne pas avoir procédé à l'audition de Y._, son supérieur direct. Cette mesure d'instruction, qu'il avait requise et motivée, était indispensable pour établir que ce témoin avait rédigé en sa faveur une proposition d'engagement pour une durée indéterminée et qu'il lui avait déclaré qu'il allait déposer la demande pour son engagement définitif.
3.1 Le droit d'être entendu garanti constitutionnellement comprend le droit pour l'intéressé de prendre connaissance du dossier (ATF 126 I 7 consid. 2b p. 10), de s'exprimer sur les éléments pertinents avant qu'une décision ne soit prise touchant sa situation juridique, de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou, à tout le moins, de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (ATF 127 III 576 consid. 2c p. 578/579; 124 II 132 consid. 2b p. 137 et la jurisprudence citée). Au surplus, la jurisprudence admet que le droit d'être entendu n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (ATF 124 I 208 consid. 4a p. 211).
3.2 Dans son recours du 10 juin 2004 adressé à la Commission fédérale de recours, le recourant a requis la possibilité de déposer une écriture complémentaire ainsi que la mise sur pied de débats, au cours desquels il serait procédé à l'audition de Y._. Par lettre signature adressée aux parties le 22 juillet 2004, l'autorité intimée a déclaré qu'elle n'ordonnerait pas un second échange d'écritures et que chaque partie pouvait demander la tenue de débats publics dans un délai fixé au 27 août 2004. Elle a en outre invité le recourant à confirmer, dans le même délai, sa demande d'audition de témoins et à fournir les coordonnées des personnes à entendre. Elle a précisé que l'audition des témoins aurait lieu avant les débats publics. Or, le recourant n'a pas confirmé dans le délai fixé à cet effet sa requête tendant à la mise sur pied de débats publics et à l'audition de Y._, dont il n'a pas communiqué l'adresse. Dans ces conditions, la Commission fédérale de recours pouvait légitimement déduire de l'attitude du recourant qu'il avait renoncé à faire entendre Y._.
Pour le surplus, c'est sans arbitraire que l'autorité intimée a renoncé à entendre d'office Y._. Elle a en effet admis, au vu des pièces produites au dossier, que ce témoin avait bien formulé une proposition d'engagement du recourant pour une durée indéterminée. La question qui se posait à elle était de déterminer si la proposition de Y._ liait l'EPFL, notamment au regard du principe de la bonne foi. Il était donc superflu qu'elle obtienne la confirmation orale d'un fait qu'elle a considéré comme établi.
Le grief de violation du droit d'être entendu doit en conséquence être écarté.
Le grief de violation du droit d'être entendu doit en conséquence être écarté.
4. Le recourant soutient en outre que la volonté des parties était de conclure un contrat de durée indéterminée. Il déduit cette intention d'un certain nombre d'éléments objectifs: le service concerné était en sous-effectif du fait, notamment, de la maladie, puis du décès de l'un des collaborateurs, son supérieur direct et un doyen avaient préavisé pour son engagement à titre définitif, les occupants du bâtiment xxx avaient signé une pétition réclamant sa réintégration et des habits de travail avaient été confectionnés spécifiquement à son intention.
4.1 La volonté d'une personne morale ne peut s'exprimer qu'au travers des organes habilités à la représenter. En matière d'engagement de personnel, la volonté de l'EPFL ne peut se manifester que par le service compétent en matière de conclusion de contrats de travail, soit par le service du personnel. Il faut relever, à cet égard, que le contrat initial d'engagement du recourant et ses renouvellements successifs émanent du service du personnel et ont été signés par le chef de personnel. Ni Y._, chef du service yyy, ni le doyen ou encore les occupants du bâtiment xxx ne sont compétents en la matière. Le contrat d'engagement du 12 juillet 2001 fait expressément mention de la qualité d'employé non permanent du recourant. Ultérieurement, à l'occasion des différentes prolongations de ce contrat, il est arrivé que Y._ propose l'engagement du recourant pour une durée indéterminée. Il l'a fait expressément en signant le document "échéance de contrat" le 11 octobre 2001, même s'il a proposé, les 8 avril et 2 juillet 2002, des renouvellements de contrat pour des durées limitées. Ces propositions ne constituaient toutefois que des préavis à l'attention de l'autorité décisionnelle. Or il est établi que le service du personnel a constamment voulu maintenir le statut d'employé non permanent du recourant.
Il est compréhensible que le chef du service yyy, soucieux de la bonne exécution des tâches confiées et de la présence d'un effectif suffisant pour les mener à bien, se soit efforcé, avec l'appui du doyen, d'obtenir l'engagement du recourant, qui donnait entière satisfaction dans son travail, pour une durée indéterminée. Il était d'ailleurs d'avis que le service en question était en sous-effectif et c'est vraisemblablement à son initiative que des vêtements de travail sur mesure ont été confectionnés pour le recourant. Il faut cependant constater que le service du personnel, confronté à d'autres impératifs relevant de la gestion de l'ensemble des collaborateurs de l'EPFL, a délibérément refusé cette proposition, pour des motifs de coût et de rationalisation du travail. La seule volonté du service technique, désapprouvée par l'autorité compétente en matière d'engagement de personnel, ne saurait donc être confondue avec celle de l'EPFL.
S'il est inexact de prétendre que la volonté de l'EPFL était de se lier au recourant par un contrat de durée indéterminée, il faut encore examiner si le recourant peut se prévaloir du principe de la bonne foi au regard du comportement de Y._.
4.2 Découlant de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le principe de la bonne foi protège le citoyen dans la confiance légitime qu'il met dans les assurances reçues des autorités (ATF 130 I 26 consid. 8.1 p. 60 et les arrêts cités). L'administration doit donc s'abstenir de tout comportement propre à tromper l'administré et ne saurait tirer aucun avantage des conséquences d'une incorrection ou insuffisance de sa part (ATF 124 II 265 consid. 4a p. 269; 121 I 181 consid. 2a p. 183 et les références citées). Ainsi, à certaines conditions, le citoyen a le droit d'exiger de l'autorité qu'elle se conforme aux promesses ou assurances précises qu'elle lui a faites et ne trompe pas la confiance qu'à juste titre il a placée dans celles-ci (ATF 129 II 361 consid. 7.1 p. 381; 128 II 112 consid. 10b/aa p. 125). Il faut toutefois qu'il se soit fondé sur des assurances, ou le comportement dont il se prévaut, pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice et que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (ATF 122 II 113 consid. 3b/cc p. 123; 121 II 473 consid. 2c p. 479).
4.3 Y._ a, à une reprise à tout le moins, soit le 11 octobre 2001, complété un formulaire "échéance de contrat", qui constitue une forme de préavis à l'intention du service du personnel, en proposant la prolongation de l'engagement du recourant pour une durée indéterminée. A l'occasion de trois renouvellements de contrat, il a fait mention de la péjoration de l'état de santé de l'un des collaborateurs titulaires et de la nécessité de le remplacer à titre durable. Ces renouvellements de contrat ont donné lieu à un entretien avec le recourant qui a signé les formulaires ad hoc. Il savait donc que son supérieur hiérarchique souhaitait l'engager pour une durée indéterminée mais n'ignorait pas que Y._ ne formulait qu'une proposition à l'intention du service du personnel, seule autorité compétente pour prendre une décision formelle. Comme le relève le recourant lui-même, Y._ lui a également déclaré, en novembre 2002, qu'il allait déposer la demande pour son engagement définitif. Il était donc conscient que son engagement à ce titre ne dépendait pas de Y._. Celui-ci ne disposait pas des compétences pour formuler une quelconque assurance susceptible de lier l'EPFL et le recourant ne pouvait pas l'ignorer.
Par ailleurs, le recourant ne démontre pas avoir pris des mesures préjudiciables à ses intérêts en raison de promesses qui lui auraient été faites de pouvoir occuper son poste au bénéfice d'un contrat de durée indéterminée. Tel aurait pu être le cas, par exemple, dans l'hypothèse où il aurait renoncé à un engagement extérieur à l'EPFL.
Toutes les conditions d'application du principe de la bonne foi ne sont donc pas remplies, de sorte que le reproche du recourant lié à la violation de ce principe doit être rejeté.
Toutes les conditions d'application du principe de la bonne foi ne sont donc pas remplies, de sorte que le reproche du recourant lié à la violation de ce principe doit être rejeté.
5. Le recourant fait enfin valoir que la Commission fédérale de recours a violé le principe de la prohibition des contrats en chaîne, en admettant que la conclusion successive de plusieurs contrats de durée déterminée se justifiait par des motifs objectifs.
5.1 L'art. 19 al. 3 de l'ordonnance du Conseil des EPF sur le personnel du domaine des écoles polytechniques fédérales (OPers-EPF; RS 172.220.113) prévoit que les contrats de durée déterminée ne peuvent pas être conclus dans le but de contourner la disposition relative à la protection contre le licenciement selon l'art. 14 de la loi fédérale du 24 mars 2000 sur le personnel fédéral de la Confédération (LPers; RS 172.220.1). Le droit privé, dont l'application est prévue en faveur du personnel de l'EPFL par l'art. 6 al. 2 LPers, s'oppose également à la conclusion de contrats en chaîne dont la durée déterminée ne se justifie par aucun motif objectif et qui ont pour but d'éluder l'application des dispositions sur la protection contre les congés ou d'empêcher la naissance de prétentions juridiques dépendant d'une durée minimale des rapports de travail. Cette prohibition relève de l'interdiction de la fraude à la loi au sens de l'art. 2 al. 2 CC (Rémy Wyler, Droit du travail, Berne 2002, p. 336; Manfred Rehbinder, Schweizerisches Arbeitsrecht, 14e éd., p. 134; Brunner/Bühler/Waeber, Commentaire du contrat de travail, n. 6 ad art. 334 CO).
5.2 Le recourant souligne qu'il a été affecté aux mêmes tâches, en continuité, dès son engagement, et que l'absence d'un concierge titulaire pour cause de maladie avait été envisagée dès le 11 octobre 2001 comme de longue durée, voire définitive. Son engagement pour le remplacer s'imposait d'autant plus que le service de conciergerie était en sous-effectif et il n'existait aucun motif objectif suffisant pour justifier la succession d'engagements de durée déterminée.
5.3 Il est constant que l'engagement du recourant a été décidé pour palier l'incapacité de travail partielle ou totale de deux collaborateurs. L'absence prolongée de l'un d'eux n'ayant pas mis fin à l'obligation de l'EPFL de poursuivre le paiement de son salaire, l'engagement durable d'un concierge supplémentaire se heurtait à des contraintes budgétaires. Indépendamment de cet aspect financier, le service du personnel envisageait une réorganisation du service de conciergerie, impliquant la suppression du poste du concierge encore en arrêt de travail. Au décès de celui-ci, son poste n'a d'ailleurs pas été renouvelé.
Dans ces conditions, c'est à juste titre que l'autorité intimée n'a pas imputé à l'EPFL une quelconque intention de se rendre coupable d'une fraude à la loi. L'engagement initial du recourant était consécutif à des besoins objectifs tenant à l'incapacité de travail de deux collaborateurs. Le maintien du caractère temporaire de cet engagement a été dicté par des raisons budgétaires et par la mise en place d'une organisation différente ayant entraîné le non remplacement du collaborateur décédé. Il n'a donc pas résulté de la volonté de l'EPFL d'empêcher frauduleusement la naissance de prétentions juridiques de la part du recourant.
Le grief tiré de la violation du principe de la prohibition des contrats en chaîne est ainsi infondé.
Le grief tiré de la violation du principe de la prohibition des contrats en chaîne est ainsi infondé.
6. Vu ce qui précède, le recours doit être rejeté. Succombant, le recourant doit supporter les frais judiciaires (art. 156 al. 1, 153 et 153a OJ). Il n'y a pas lieu d'allouer de dépens (art. 159 al. 2 OJ).
Par ces motifs, le Tribunal fédéral prononce:
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
2. Un émolument judiciaire de 2'000 fr. est mis à la charge du recourant.
3. Le présent arrêt est communiqué en copie au mandataire du recourant, à l'Ecole Polytechnique Fédérale de Lausanne, à la Commission de recours interne des EPF et à la Commission fédérale de recours en matière de personnel fédéral.
Lausanne, le 23 mai 2005
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président: Le greffier: