Faits: Faits: A. Par contrat du 12 juillet 2001, l'Ecole polytechnique fédérale de Lausanne (ci-après: EPFL), a engagé X._, pour la période du 1er août au 31 décembre 2001, en remplacement d'un collaborateur empêché de travailler pour cause de maladie. Ce contrat a été renouvelé à quatre reprises, pour des périodes déterminées de trois mois, la dernière venant à échéance le 31 décembre 2002. Le 29 novembre 2002, l'EPFL a confirmé à X._ que son contrat ne serait pas reconduit et qu'il prendrait fin le 31 décembre 2002. L'intéressé a répondu le 12 décembre 2002 qu'il devait être considéré comme un employé permanent auquel la procédure de licenciement et le plan social en cas de restructuration devaient être appliqués. Par lettre de son conseil du 24 mars 2003, il a sollicité sa réintégration immédiate et le paiement rétroactif de son salaire dès le 1er janvier 2003. Le 29 novembre 2002, l'EPFL a confirmé à X._ que son contrat ne serait pas reconduit et qu'il prendrait fin le 31 décembre 2002. L'intéressé a répondu le 12 décembre 2002 qu'il devait être considéré comme un employé permanent auquel la procédure de licenciement et le plan social en cas de restructuration devaient être appliqués. Par lettre de son conseil du 24 mars 2003, il a sollicité sa réintégration immédiate et le paiement rétroactif de son salaire dès le 1er janvier 2003. B. Par décision du 7 mai 2003, l'EPFL a constaté que X._ ne disposait d'aucun droit à un engagement de durée indéterminée et que les rapports de travail avaient pris fin le 31 décembre 2002. Saisie d'un recours dirigé contre cette décision, la Commission de recours interne des EPF l'a rejeté, par jugement du 27 avril 2004. Statuant sur recours le 27 octobre 2004, la Commission fédérale de recours en matière de personnel fédéral (ci-après: la Commission fédérale de recours) a confirmé le jugement de l'autorité de recours de première instance. Elle a retenu, en bref, que les contrats successifs proposés à X._ répondaient à des motifs objectifs, que les propositions de son supérieur hiérarchique de l'engager à titre définitif n'avaient pas reçu l'aval de l'autorité de nomination et qu'il ne pouvait pas se prévaloir du principe de la bonne foi pour exiger un engagement de durée indéterminée. Statuant sur recours le 27 octobre 2004, la Commission fédérale de recours en matière de personnel fédéral (ci-après: la Commission fédérale de recours) a confirmé le jugement de l'autorité de recours de première instance. Elle a retenu, en bref, que les contrats successifs proposés à X._ répondaient à des motifs objectifs, que les propositions de son supérieur hiérarchique de l'engager à titre définitif n'avaient pas reçu l'aval de l'autorité de nomination et qu'il ne pouvait pas se prévaloir du principe de la bonne foi pour exiger un engagement de durée indéterminée. C. Agissant le 26 novembre 2004 par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, avec suite de frais et dépens, d'annuler la décision de la Commission fédérale de recours du 27 octobre 2004. Subsidiairement, il conclut à la réforme de cette décision en ce sens qu'il est réintégré au service de l'EPFL dans tous ses droits découlant d'un engagement de durée indéterminée dès le 1er août 2001. Il se plaint d'une violation du droit d'être entendu et de la prohibition des contrats en chaîne et reproche à l'autorité intimée de n'avoir pas retenu que la volonté des parties était de l'engager pour une durée indéterminée. La Commission fédérale de recours et la Commission de recours interne des EPF ont renoncé au dépôt d'une réponse. L'EPFL conclut au rejet du recours.