Faits : A. A.a. A._ a été engagé le 1er janvier 1988 comme fonctionnaire spécialiste au Centre B._ par l'Office C._. Il a été promu suppléant du chef de section de la division P._ du centre en 1997, puis chef de cette même section ad interim en 1999. A partir du 1er décembre 2000, A._ a assumé la fonction de chef du Centre D._. A.b. Au cours de l'année 2005, le chef du Département E._ a décidé une réorganisation de l'Office C._. Dans un courriel du 20 décembre 2005, le directeur de cet office a communiqué au personnel les grandes lignes de cette réorganisation, qui comprenait notamment la fusion de la division Q._ avec la division R._. Il y était indiqué que tous les postes de cadres des centres d'accueil et d'enregistrement seraient à nouveau mis au concours et réattribués pour le mois de février 2006. Par lettre du 18 janvier 2006, A._ a été personnellement informé du fait que les mesures décidées impliquaient la suppression du poste qu'il occupait et qu'une fonction de cadre ne pouvait lui être garantie. A cette lettre était annexée l'ordonnance du 10 juin 2004 sur la gestion des postes de travail et du personnel dans le cadre de programmes d'allégement budgétaire et de réorganisation [RS 172.220.111.5] sur la base de laquelle il lui était soumis pour approbation un projet d'accord prévoyant les mesures destinées à faciliter sa réinsertion professionnelle et définissant les droits et devoirs des parties. Le chiffre 5 de cet accord mentionnait que si aucun autre travail réputé raisonnablement exigible n'avait pu être trouvé dans les six mois, le contrat de travail pouvait être résilié en vertu de l'art. 12, alinéa 6, lettre e LPers (loi sur le personnel de la Confédération [LPers] dans sa teneur en vigueur à l'époque des faits; RS 172. 220.1). A._ a signé cet accord. Le 7 février 2006, il a présenté sa candidature pour le poste de chef du centre F._ qui avait été mis au concours à l'interne. La procédure de candidature prévoyait que les candidats remplissent un test de personnalité (assessment) qui, pour des raisons inconnues, n'a pas été mené à terme en ce qui concerne A._. En avril 2006, ce dernier a été informé oralement du fait que le choix de l'Office C._ s'était porté sur son ancien suppléant, G._. Le poste de remplaçant à la fonction de chef a également été repourvu au profit d'une autre personne. A._ s'est alors vu proposer un poste de collaborateur spécialisé à U._, qu'il a accepté. Le 30 juin 2006, il a signé un avenant à son contrat de travail selon lequel il assumerait à partir du 1er juillet 2006 la fonction de collaborateur 1, section centre F._, colloquée en classe de salaire 24. Dans l'avenant, il était précisé que l'employé, actuellement rangé en classe 28, allait continuer à percevoir son ancien salaire pendant une période de deux ans en vertu de la garantie des droits acquis et qu'à partir du 1er juillet 2008, il recevrait le salaire correspondant à sa nouvelle fonction. Dès juillet 2006, l'intéressé a présenté plusieurs périodes d'incapacité de travail. A partir du 18 octobre suivant, il a été mis en arrêt de travail à 100 %. Dans une lettre du 24 septembre 2007 adressée au directeur de l'Office C._, l'avocat de A._ a fait mention de "graves difficultés professionnelles" rencontrées par son mandataire nées de la fusion des structures d'asile, et de "pressions dont il a été victime" dans ce contexte l'affectant sérieusement dans sa santé au point de nécessiter deux hospitalisations entre l'automne 2006 à ce jour; il proposait une rencontre. Au printemps 2008, les parties ont passé une convention portant sur la cessation des rapports de service, au terme de laquelle le contrat de travail était résilié au 31 octobre 2008 d'un commun accord, sans faute de l'employé, pour des motifs de maladie. Selon cette convention, l'employeur s'engageait en outre à verser une indemnité de départ correspondant à 8 mois de traitement, remboursable par l'employé si ce dernier retrouvait un emploi dans les deux ans à compter de la résiliation, et à établir un certificat de travail. Les parties déclaraient être intégralement libérées des rapports de travail par solde de tout compte. Par l'apposition de sa signature, l'employé attestait n'avoir fait l'objet d'aucune pression pour conclure cet accord. Finalement, au bas du document, il était spécifié que sous réserve d'une éventuelle prescription des faits, l'employé gardait la possibilité d'intenter une action en responsabilité en relation avec la restructuration du domaine de direction "procédure" de l'Office C._, et plus particulièrement avec son changement d'affectation intervenu au 1er mai 2006 [sic]. A.c. Par décisions respectives du 20 janvier et 25 février 2009, A._ a été mis au bénéfice d'une rente d'invalidité avec effet rétroactif au 18 octobre 2007 par l'Office de l'assurance-invalidité pour le canton de Vaud et par la Caisse de pension Publica. A.d. Après avoir obtenu à plusieurs reprises de l'Office C._ une renonciation à se prévaloir de la prescription, A._ a fait notifier le 25 octobre 2011 à la Confédération suisse un commandement de payer portant sur la somme de 763'964 fr. plus intérêts, qui a été frappé d'opposition totale. A.e. Le 5 janvier 2012, il a requis de l'Office C._ de rendre une décision formelle au sujet de ses prétentions en dédommagement (763'964 fr. dont un montant de 50'000 fr. à titre de tort moral). A l'appui de celles-ci, il faisait valoir que la dégradation de son état de santé, et la perte de sa capacité de gain qui lui était liée, découlaient du mobbing dont il avait été victime durant ses rapports de service à l'Office C._, ainsi que de diverses irrégularités dont il avait fait l'objet dans le cadre du processus de réorganisation de cet office depuis la perte de sa fonction de chef à sa réaffectation comme collaborateur 1. Par décision du 2 mai 2012, l'Office C._ a rejeté ces prétentions. A.f. A._ a recouru contre cette décision devant le Département E._. Après un échange de vues avec le Département fédéral des finances (DFF), le Département E._ a rendu le 25 septembre 2012 une décision de non entrée en matière, considérant que les prétentions de l'intéressé étaient fondées sur les règles régissant la responsabilité de l'Etat, ce qui justifiait la transmission du dossier au DFF comme objet de sa compétence. Après avoir donné l'occasion aux parties de se déterminer, le DFF a rejeté la demande par décision du 28 mars 2014. B. Saisi d'un recours contre cette décision par A._, le Tribunal administratif fédéral l'a rejeté par arrêt du 21 avril 2016, en laissant ouverte la question de la péremption des prétentions invoquées. C. A._ interjette un recours en matière de droit public contre cet arrêt, dont il requiert l'annulation. Il conclut à ce que son ancien employeur soit reconnu responsable du dommage qu'il a subi, et par conséquent, à ce que la Confédération helvétique soit condamnée à lui verser le montant de 763'394 fr. à titre de dédommagement, ainsi que 7'000 fr. pour les frais de procédure devant le Tribunal administratif fédéral. Il n'a pas été ordonné d'échange d'écritures.