Faits : A. A._, né en 1972, a travaillé depuis le 3 septembre 1990 auprès de la Poste Suisse, Unité B._ (ci-après: la Poste ou l'employeur), exerçant en dernier lieu la fonction de responsable d'office de poste à X._. Le 8 juin 2011, il a été informé de la suppression de son poste en raison d'une réorganisation des offices de poste du secteur Yy._. Dans le cadre du plan social mis en oeuvre, la Poste et A._ ont conclu les 16 et 20 juin 2011 une convention portant sur la résiliation des rapports de service et l'accompagnement prévu par le bloc de prestations n° 1 du plan social. Le bloc de prestations choisi privilégie le soutien à la recherche d'un emploi. La convention précise également que les rapports de travail entre les parties prennent fin le 30 novembre 2012. Dès le 1 er juillet 2011, A._ a principalement travaillé à l'office de poste de Y._, en raison de la fermeture de celui de X._. Le 19 décembre 2011, la Poste a déposé plainte pénale contre inconnu pour abus de confiance et faux dans les titres, après avoir été informée par un tiers que A._ vendait de grandes quantités de billets Ticket Corner par le biais du site internet C._, sous le pseudonyme " D._ ". La Poste indique dans sa plainte qu'il semblerait que " D._ " ait vendu plusieurs milliers de billets de concert depuis 2006. Elle précise supposer que le surnombre de billets Ticket Corner que A._ possède provient d'une impression illégale. Le 12 mars 2012, la Poste a étendu sa plainte à la vente au guichet de timbres postaux provenant du stock privé de A._ pour des prestations postales et encaissement des montants sans les comptabiliser. A._ a été interpellé le 26 juillet 2012 et a ensuite été placé en détention préventive. Par courrier du 30 juillet 2012, notifié le 9 août 2012, la Poste a informé A._ de son intention de le suspendre de ses fonctions avec effet immédiat et de supprimer son salaire, y compris l'allocation de marché du travail, jusqu'à ce que l'enquête eût permis d'établir dans quelle mesure ses actes étaient passibles de sanctions pénales ou disciplinaires. Elle lui a imparti un délai pour exercer son droit d'être entendu, dont A._ a fait usage le 15 août 2012. A titre de mesures superprovisoires, la Poste a prononcé sa suspension immédiate ainsi que la suppression de son salaire avec effet au 26 juillet 2012. Par décision de mesures provisionnelles du 21 août 2012, la Poste a confirmé les mesures superprovisoires de suspension des rapports de travail, de suppression du salaire et de l'interdiction d'accès aux locaux de l'office de poste Y._ et aux locaux de service de tout autre office de poste. Elle a également retiré l'effet suspensif à un éventuel recours. A._ a recouru contre cette décision devant la Direction générale de la Poste le 21 septembre 2012. Le 24 septembre 2012, le Ministère public du canton de Genève a ordonné sa mise en liberté, estimant que le risque de collusion n'existait plus ensuite de l'audience du 21 septembre 2012. Par décision du 15 février 2013, la Direction générale de la Poste a rejeté le recours de A._. B. A._ a interjeté un recours contre la décision de la Direction de la Poste devant le Tribunal administratif fédéral dans lequel il a conclu à l'annulation de la décision du 21 août 2012 (ch. 1), au versement rétroactif de son salaire, allocations de marché du travail comprises, à partir du 26 juillet 2012, plus intérêt à 5 % (ch. 2), à sa réintégration auprès de la Poste suisse pour non-respect de la convention de départ signée les 16 et 20 juin 2011 (ch. 3), à la levée de l'interdiction d'accéder aux locaux des offices de poste de Y._ et aux locaux de service de tout autre office de poste (ch. 4) et à la restitution de l'effet suspensif (ch. 5). Subsidiairement, il a requis la prolongation des rapports de travail avec la Poste pour une période correspondant pour le moins à leur suspension, soit du 26 juillet au 30 novembre 2012 (ch. 6). Par arrêt du 27 novembre 2013, le Tribunal administratif fédéral a rejeté le recours, dans la mesure où il était recevable. C. A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il reprend ses conclusions prises devant l'instance précédente et conclut à la restitution de l'effet suspensif. La Poste conclut à l'irrecevabilité du recours, subsidiairement à son rejet, sous suite de frais et dépens. D. Par ordonnance du 17 avril 2014, le juge instructeur de la Ire Cour de droit social a rejeté la requête d'effet suspensif.