Faits: Faits: A. Par contrat de droit public de durée indéterminée du 7 janvier 2002, X._, né en 1968, a été engagé par la Commission fédérale des maisons de jeu (ci-après: la Commission fédérale) en qualité de juriste auprès de la section Surveillance générale. L'engagement a débuté le 1er janvier 2002, avec une période d'essai de trois mois. Le taux d'occupation était de 60% jusqu'au 30 juin 2002, il a été augmenté à 100% dès le 1er juillet 2002. Le contrat du 7 janvier 2002 a été remplacé par un nouveau contrat de droit public daté du 19 juillet 2002. Sur opposition de X._, la Commission fédérale a renoncé à une nouvelle période d'essai. Le 8 juillet 2002, la Commission fédérale a enjoint X._ de respecter le secret de fonction et l'a avisé des conséquences qui découleraient d'un nouveau manquement du même genre. Le 15 juillet 2002, elle lui a signifié que ses prestations, pas assez axées sur la pratique, ne correspondaient pas à celles que l'on pouvait attendre d'un collaborateur de son niveau. Un tableau des attentes générales et des buts détaillés à atteindre par X._ ainsi qu'un échéancier ont été établis. Des entretiens ont ainsi eu lieu les 7 août, 2 octobre, 28 octobre et 13 décembre 2002 et le 21 mai 2003. Chacun de ces entretiens s'est soldé par un constat d'insatisfaction, les prestations de X._ étant qualifiées d'insuffisantes. Certains des procès-verbaux étayent ces appréciations par référence à des dossiers nommément désignés. En réponse à l'estimation du 23 mai 2003, X._ a adressé au Directeur de la Commission fédérale un long document de sa main dans lequel il s'est déterminé point par point; il a en particulier vu "une preuve de mobbing" dans le constat qu'en raison des prestations fournies jusqu'à ce jour, il n'avait pas été possible de l'associer à l'élaboration de la "communication n° 5". Le 16 juin 2003, X._ a déclaré être malade, alors qu'il devait assister le lendemain à une inspection de maison de jeu. Les nombreuses tentatives de le joindre par téléphone sont restées vaines. Convoqué ensuite par son supérieur à un entretien personnel pour le 18 juin à 8 heures, il ne s'est ni présenté ni excusé malgré l'assurance donnée d'y assister. Ces faits ont motivé la notification d'un avertissement avec menace de résiliation immédiate. Depuis le 23 juin 2003, X._ a été constamment en arrêt-maladie. Un entretien d'évaluation a néanmoins eu lieu le 3 septembre 2003. X._ était assisté de son avocat. Ses prestations globales et son comportement ont été considérés comme clairement insuffisants (échelon d'évaluation globale "C"). Après divers échanges de vue, l'évaluation du 3 septembre a finalement été "annulée" par lettre du 12 novembre 2003. Le 22 décembre 2003, les pourparlers en vue de mettre fin à l'amiable aux rapports de travail ayant échoué, la Commission fédérale a notifié à X._ une décision de résiliation des rapports de service avec effet au 31 mars 2004 le libérant de ses obligations avec effet immédiat. La Commission fédérale de recours en matière de personnel fédéral (ci-après: la Commission de recours) a déclaré nulle cette décision pour vice de forme. Le 22 décembre 2003, les pourparlers en vue de mettre fin à l'amiable aux rapports de travail ayant échoué, la Commission fédérale a notifié à X._ une décision de résiliation des rapports de service avec effet au 31 mars 2004 le libérant de ses obligations avec effet immédiat. La Commission fédérale de recours en matière de personnel fédéral (ci-après: la Commission de recours) a déclaré nulle cette décision pour vice de forme. B. Par décision du 30 juin 2004, la Commission fédérale a derechef et pour les mêmes motifs résilié les rapports de service de X._ avec effet au 30 septembre 2004 et retiré l'effet suspensif d'un éventuel recours. Le 30 août 2004, X._ a saisi la Commission fédérale d'une requête en nullité. Le 14 septembre 2004, celle-ci a déposé auprès de la Commission de recours une requête de constatation de la validité de la décision de résiliation du 30 juin 2004. Dans sa détermination du 18 novembre 2004, X._ a requis la mise en oeuvre d'une expertise indépendante destinée à établir que, par ses agissements, son supérieur direct l'avait isolé, marginalisé, dénigré et exclu de son travail systématiquement pendant une période assez longue jusqu'à la déstabilisation totale de sa santé en violation du devoir de diligence de l'employeur. Il a également requis l'audition de divers témoins ainsi que la production de diverses pièces, en particulier le rapport établi par un psychiatre à l'intention de I'Office de l'assurance invalidité et les courriels échangés avec la responsable du personnel de la Commission fédérale à certaines époques. Il a requis et obtenu la tenue de débats publics. A cette occasion, il a réitéré ses requêtes de mesures d'instruction complémentaire. La Commission de recours les a rejetées par décision incidente rendue sur le siège et notifiée oralement. Le recours de droit administratif déposé par X._ contre cette dernière décision a été déclaré irrecevable par arrêt du Tribunal fédéral du 17 avril 2005 (2A.149/2005). Il a requis et obtenu la tenue de débats publics. A cette occasion, il a réitéré ses requêtes de mesures d'instruction complémentaire. La Commission de recours les a rejetées par décision incidente rendue sur le siège et notifiée oralement. Le recours de droit administratif déposé par X._ contre cette dernière décision a été déclaré irrecevable par arrêt du Tribunal fédéral du 17 avril 2005 (2A.149/2005). C. Par décision du 16 mars 2005, la Commission de recours a constaté que la décision du 30 juin 2004 était valable et que les motifs d'annulation invoqués au sens de l'art. 14 al. 3 de la loi fédérale du 24 mars 2000 sur le personnel de la Confédération (LPers; RS 172.220.1) n'étaient pas fondés. Procédant à une appréciation anticipée des preuves, elle a considéré que les mesures d'instruction complémentaire requises n'étaient pas de nature à modifier l'issue de la procédure. Sur le fond, elle a considéré en substance que, même si le comportement de X._ avait donné lieu à certaines critiques justifiées, elles n'apparaissaient pas suffisantes pour motiver une résiliation des rapports de service, les faits rapportés ayant donné lieu à un avertissement ne s'étant pas répétés. En revanche, il résultait des nombreux procès-verbaux d'entretien et d'évaluation que les prestations de X._ étaient insuffisantes dès le début, malgré la fixation de tâches et d'objectifs clairs et un délai de plus d'un an pour s'adapter à sa fonction et se former dans le domaine des maisons de jeux. Ayant fait preuve de manquements répétés dans ses prestations, tant d'un point de vue qualitatif que quantitatif, c'était à bon droit que les rapports de service avaient été résiliés. Procédant à une appréciation anticipée des preuves, elle a considéré que les mesures d'instruction complémentaire requises n'étaient pas de nature à modifier l'issue de la procédure. Sur le fond, elle a considéré en substance que, même si le comportement de X._ avait donné lieu à certaines critiques justifiées, elles n'apparaissaient pas suffisantes pour motiver une résiliation des rapports de service, les faits rapportés ayant donné lieu à un avertissement ne s'étant pas répétés. En revanche, il résultait des nombreux procès-verbaux d'entretien et d'évaluation que les prestations de X._ étaient insuffisantes dès le début, malgré la fixation de tâches et d'objectifs clairs et un délai de plus d'un an pour s'adapter à sa fonction et se former dans le domaine des maisons de jeux. Ayant fait preuve de manquements répétés dans ses prestations, tant d'un point de vue qualitatif que quantitatif, c'était à bon droit que les rapports de service avaient été résiliés. D. Agissant par la voie du recours de droit administratif, X._ demande au Tribunal fédéral, sous suite de frais et dépens, d'annuler la décision de la Commission de recours du 16 mars 2005 et de renvoyer la cause à la Commission de recours pour nouvelle décision dans le sens des considérants. Il se plaint de la violation de son droit d'être entendu, d'une constatation inexacte et incomplète des faits pertinents et de la violation des dispositions de la loi fédérale sur le personnel de la Confédération. La Commission de recours renonce à présenter des observations et se réfère à sa décision. La Commission fédérale conclut au rejet du recours, sous suite de frais et dépens. La Commission de recours renonce à présenter des observations et se réfère à sa décision. La Commission fédérale conclut au rejet du recours, sous suite de frais et dépens. E. Le 16 juin 2005, X._ a adressé au Tribunal fédéral copie d'un courrier adressé à son mandataire lui suggérant les éléments d'une argumentation complémentaire. Le 30 juin 2005, la Commission fédérale a adressé au Tribunal fédéral copie de ses courriers des 13 et 30 juin 2005 au Département fédéral des finances ainsi que la copie d'une demande en indemnisation déposée le 30 mai 2005 par X._ auprès de ce département.