Faits :
A.
A._, né en 1972, a travaillé depuis le 3 septembre 1990 auprès de la Poste Suisse, Unité B._ (ci-après: la Poste ou l'employeur), exerçant en dernier lieu la fonction de responsable d'office de poste à X._.
Le 8 juin 2011, il a été informé de la suppression de son poste en raison d'une réorganisation des offices de poste du secteur Yy._. Dans le cadre du plan social mis en oeuvre, la Poste et A._ ont conclu les 16 et 20 juin 2011 une convention portant sur la résiliation des rapports de service et l'accompagnement prévu par le bloc de prestations n° 1 du plan social. Le bloc de prestations choisi privilégie le soutien à la recherche d'un emploi. La convention précise également que les rapports de travail entre les parties prennent fin le 30 novembre 2012.
Dès le 1 er juillet 2011, A._ a principalement travaillé à l'office de poste de Y._, en raison de la fermeture de celui de X._.
Le 19 décembre 2011, la Poste a déposé plainte pénale contre inconnu pour abus de confiance et faux dans les titres, après avoir été informée par un tiers que A._ vendait de grandes quantités de billets Ticket Corner par le biais du site internet C._, sous le pseudonyme " D._ ". La Poste indique dans sa plainte qu'il semblerait que " D._ " ait vendu plusieurs milliers de billets de concert depuis 2006. Elle précise supposer que le surnombre de billets Ticket Corner que A._ possède provient d'une impression illégale.
Le 12 mars 2012, la Poste a étendu sa plainte à la vente au guichet de timbres postaux provenant du stock privé de A._ pour des prestations postales et encaissement des montants sans les comptabiliser.
A._ a été interpellé le 26 juillet 2012 et a ensuite été placé en détention préventive.
Par courrier du 30 juillet 2012, notifié le 9 août 2012, la Poste a informé A._ de son intention de le suspendre de ses fonctions avec effet immédiat et de supprimer son salaire, y compris l'allocation de marché du travail, jusqu'à ce que l'enquête eût permis d'établir dans quelle mesure ses actes étaient passibles de sanctions pénales ou disciplinaires. Elle lui a imparti un délai pour exercer son droit d'être entendu, dont A._ a fait usage le 15 août 2012. A titre de mesures superprovisoires, la Poste a prononcé sa suspension immédiate ainsi que la suppression de son salaire avec effet au 26 juillet 2012.
Par décision de mesures provisionnelles du 21 août 2012, la Poste a confirmé les mesures superprovisoires de suspension des rapports de travail, de suppression du salaire et de l'interdiction d'accès aux locaux de l'office de poste Y._ et aux locaux de service de tout autre office de poste. Elle a également retiré l'effet suspensif à un éventuel recours.
A._ a recouru contre cette décision devant la Direction générale de la Poste le 21 septembre 2012. Le 24 septembre 2012, le Ministère public du canton de Genève a ordonné sa mise en liberté, estimant que le risque de collusion n'existait plus ensuite de l'audience du 21 septembre 2012.
Par décision du 15 février 2013, la Direction générale de la Poste a rejeté le recours de A._.
B.
A._ a interjeté un recours contre la décision de la Direction de la Poste devant le Tribunal administratif fédéral dans lequel il a conclu à l'annulation de la décision du 21 août 2012 (ch. 1), au versement rétroactif de son salaire, allocations de marché du travail comprises, à partir du 26 juillet 2012, plus intérêt à 5 % (ch. 2), à sa réintégration auprès de la Poste suisse pour non-respect de la convention de départ signée les 16 et 20 juin 2011 (ch. 3), à la levée de l'interdiction d'accéder aux locaux des offices de poste de Y._ et aux locaux de service de tout autre office de poste (ch. 4) et à la restitution de l'effet suspensif (ch. 5). Subsidiairement, il a requis la prolongation des rapports de travail avec la Poste pour une période correspondant pour le moins à leur suspension, soit du 26 juillet au 30 novembre 2012 (ch. 6).
Par arrêt du 27 novembre 2013, le Tribunal administratif fédéral a rejeté le recours, dans la mesure où il était recevable.
C.
A._ forme un recours en matière de droit public contre ce jugement dont il demande l'annulation. Sous suite de frais et dépens, il reprend ses conclusions prises devant l'instance précédente et conclut à la restitution de l'effet suspensif.
La Poste conclut à l'irrecevabilité du recours, subsidiairement à son rejet, sous suite de frais et dépens.
D.
Par ordonnance du 17 avril 2014, le juge instructeur de la Ire Cour de droit social a rejeté la requête d'effet suspensif.

Considérant en droit :
1.
Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. La contestation est essentiellement de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir par exemple les arrêts 8C_82/2013 du 3 décembre 2013 consid. 1 et 8C_358/2012 du 18 janvier 2013 consid. 1). La valeur litigieuse, qui porte sur plusieurs mois de salaire, atteint par ailleurs le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
2.
Les premiers juges ont déclaré irrecevables les conclusions n° 3 et 6 prises devant eux par le recourant car elles sortaient de l'objet du litige défini par la décision de la Direction générale de la Poste du 15 février 2013. Dans cette décision, l'intimée avait confirmé la suspension des rapports de travail du recourant avec effet au 26 juillet 2012 et la suppression de son salaire ainsi que l'interdiction d'accès aux locaux de l'office de poste Y._ et aux locaux de service de tout autre office de poste. Le recourant conteste ce point en se fondant sur une décision du Groupe de contrôle paritaire du 29 janvier 2013, dans laquelle ce dernier n'est pas entré en matière sur une demande du recourant d'examiner le respect de la convention des 16 et 20 juin 2011 portant sur la résiliation des rapports de service ensuite de la suppression de son poste. Ce faisant, le recourant n'indique pas, conformément aux exigences minimales de motivation de l'<ref-law>, en quoi l'arrêt attaqué violerait une norme juridique. On ne voit au demeurant pas le rapport entre la convention des 16 et 20 juin 2011 et le fait que le Tribunal administratif fédéral a déclaré irrecevables les conclusions n° 3 et 6 du recourant tendant à sa réintégration, respectivement à la prolongation des rapports de travail au-delà du 30 novembre 2012. Ainsi, dans la mesure où le recourant n'explique pas en quoi les premiers juges auraient violé le droit fédéral en déclarant ses conclusions n° 3 et 6 irrecevables, son grief est irrecevable.
3.
En ce qui concerne les autres conclusions prises par le recourant, l'intimée conteste la recevabilité du recours. Elle soutient que contrairement à ce qu'a retenu le Tribunal administratif fédéral, la décision du 15 février 2013 attaquée devant lui n'est pas une décision finale mais incidente, non susceptible d'un recours immédiat au Tribunal fédéral. En effet, si les rapports de travail entre les parties ont pris fin sur la base de la convention des 16 et 20 juin 2011, il n'en demeure pas moins, selon l'intimée, qu'en fonction de l'issue de la procédure pénale, elle sera amenée à se prononcer sur un versement ou non du salaire rétroactif du 1 er août au 30 novembre 2012.
A la différence des arrêts 1C_459/2008 du 13 janvier 2009 ou 1P.613/1999 du 24 janvier 2000, on ne se trouve pas en l'espèce dans la situation classique où les mesures provisoires de suspension des rapports de travail avec suppression du traitement ne constituent qu'une étape dans le cadre d'une procédure de renvoi ou auraient été adoptées en vue d'une éventuelle mesure définitive de renvoi pour justes motifs par exemple. Dans le présent cas, la fin des rapports de travail du recourant fixée au 30 novembre 2012 en vertu d'une convention signée par les parties en 2011 n'avait rien à voir avec le comportement qui lui est reproché et à l'origine duquel se trouvent les décisions de suspension avec suppression du traitement des 21 août 2012 et 15 février 2013. On doit dès lors se demander si ces décisions attaquées devant le Tribunal administratif fédéral ne devraient pas être qualifiées de décisions finales, comme l'ont retenu les premiers juges. Cette question peut toutefois demeurer ouverte vu le sort réservé au présent recours.
4.
Les premiers juges ont constaté que le recourant était soupçonné d'abus de confiance et de faux dans les titres commis au détriment de son employeur et de Ticket Corner, partenaire de la Poste, dans le cadre de son activité professionnelle. Ensuite des plaintes déposées par la Poste les 19 décembre 2011 et 12 mars 2012, les soupçons dirigés contre le recourant avaient justifié l'ouverture d'une enquête pénale. Les investigations menées par le Ministère public avaient entraîné son interpellation ainsi que son placement en détention provisoire dès le 26 juillet 2012 jusqu'au 24 septembre 2012. Compte tenu de ces faits, les premiers juges ont retenu que la suspension des rapports de travail ainsi que l'interdiction d'accès aux locaux de la Poste étaient pleinement justifiées au moment de leur prononcé et continuaient de l'être au-delà du 24 septembre 2012.
Le Tribunal administratif fédéral a ensuite retenu que si la suppression du salaire était justifiée dans le cas d'espèce, l'autorité inférieure avait méconnu son obligation préalable de clarifier la situation financière du recourant et de s'assurer qu'il ne tombait pas dans une situation de détresse. Considérant que cette omission pouvait être réparée par ses soins, la juridiction précédente a constaté que le recourant aurait dû requérir la levée partielle du séquestre sur ses comptes, à concurrence de son minimum vital, ce qu'il n'avait pas fait, pas plus qu'il ne s'était plaint auprès de son employeur entre le 26 juillet et le 30 novembre 2012 de se trouver dans une situation financière difficile. Dès lors, le recourant ne se trouvait objectivement pas dans une situation de détresse, malgré la suspension totale du salaire.
5.
5.1. Le recourant se plaint d'une constatation manifestement inexacte des faits. Contrairement à ce qu'ont retenu les premiers juges, il aurait requis la levée partielle du séquestre conservatoire frappant ses avoirs par requêtes des 16 mai, 26 juin, 22 novembre et 6 décembre 2013 auprès du Ministère public. Par ailleurs, il fait valoir que son employeur était au courant de sa situation financière difficile puisque le service social de la Poste avait dûment établi sa situation le 26 février 2013, constatant l'impossibilité d'établir un budget.
5.2. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits importants pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire arbitraire et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère arbitraire par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law> (<ref-ruling> consid. 1.4.3 p. 254 s.).
5.3. S'il est vrai que le recourant a formulé plusieurs demandes de levée partielle du séquestre au cours de l'année 2013, comme en attestent les pièces se trouvant au dossier, il ne démontre cependant pas en quoi ces requêtes, déposées postérieurement au mois de novembre 2012, étaient susceptibles d'influer sur le sort de la cause (<ref-law>). Une telle démonstration fait aussi défaut en ce qui concerne l'affirmation du recourant selon laquelle son employeur connaissait sa situation financière.
6.
De ce qui précède, il résulte que le recours est mal fondé.
7.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>). Bien qu'elle obtienne gain de cause, l'intimée n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Dans la mesure où il est recevable, le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal administratif fédéral, Cour I.
Lucerne, le 21 novembre 2014
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : Fretz Perrin