Faits :
A.
A.a. A._ a été engagé le 1er janvier 1988 comme fonctionnaire spécialiste au Centre B._ par l'Office C._. Il a été promu suppléant du chef de section de la division P._ du centre en 1997, puis chef de cette même section ad interim en 1999. A partir du 1er décembre 2000, A._ a assumé la fonction de chef du Centre D._.
A.b. Au cours de l'année 2005, le chef du Département E._ a décidé une réorganisation de l'Office C._. Dans un courriel du 20 décembre 2005, le directeur de cet office a communiqué au personnel les grandes lignes de cette réorganisation, qui comprenait notamment la fusion de la division Q._ avec la division R._. Il y était indiqué que tous les postes de cadres des centres d'accueil et d'enregistrement seraient à nouveau mis au concours et réattribués pour le mois de février 2006.
Par lettre du 18 janvier 2006, A._ a été personnellement informé du fait que les mesures décidées impliquaient la suppression du poste qu'il occupait et qu'une fonction de cadre ne pouvait lui être garantie. A cette lettre était annexée l'ordonnance du 10 juin 2004 sur la gestion des postes de travail et du personnel dans le cadre de programmes d'allégement budgétaire et de réorganisation [RS 172.220.111.5] sur la base de laquelle il lui était soumis pour approbation un projet d'accord prévoyant les mesures destinées à faciliter sa réinsertion professionnelle et définissant les droits et devoirs des parties. Le chiffre 5 de cet accord mentionnait que si aucun autre travail réputé raisonnablement exigible n'avait pu être trouvé dans les six mois, le contrat de travail pouvait être résilié en vertu de l'art. 12, alinéa 6, lettre e LPers (loi sur le personnel de la Confédération [LPers] dans sa teneur en vigueur à l'époque des faits; RS 172. 220.1). A._ a signé cet accord.
Le 7 février 2006, il a présenté sa candidature pour le poste de chef du centre F._ qui avait été mis au concours à l'interne. La procédure de candidature prévoyait que les candidats remplissent un test de personnalité (assessment) qui, pour des raisons inconnues, n'a pas été mené à terme en ce qui concerne A._. En avril 2006, ce dernier a été informé oralement du fait que le choix de l'Office C._ s'était porté sur son ancien suppléant, G._. Le poste de remplaçant à la fonction de chef a également été repourvu au profit d'une autre personne.
A._ s'est alors vu proposer un poste de collaborateur spécialisé à U._, qu'il a accepté. Le 30 juin 2006, il a signé un avenant à son contrat de travail selon lequel il assumerait à partir du 1er juillet 2006 la fonction de collaborateur 1, section centre F._, colloquée en classe de salaire 24. Dans l'avenant, il était précisé que l'employé, actuellement rangé en classe 28, allait continuer à percevoir son ancien salaire pendant une période de deux ans en vertu de la garantie des droits acquis et qu'à partir du 1er juillet 2008, il recevrait le salaire correspondant à sa nouvelle fonction.
Dès juillet 2006, l'intéressé a présenté plusieurs périodes d'incapacité de travail. A partir du 18 octobre suivant, il a été mis en arrêt de travail à 100 %.
Dans une lettre du 24 septembre 2007 adressée au directeur de l'Office C._, l'avocat de A._ a fait mention de "graves difficultés professionnelles" rencontrées par son mandataire nées de la fusion des structures d'asile, et de "pressions dont il a été victime" dans ce contexte l'affectant sérieusement dans sa santé au point de nécessiter deux hospitalisations entre l'automne 2006 à ce jour; il proposait une rencontre.
Au printemps 2008, les parties ont passé une convention portant sur la cessation des rapports de service, au terme de laquelle le contrat de travail était résilié au 31 octobre 2008 d'un commun accord, sans faute de l'employé, pour des motifs de maladie. Selon cette convention, l'employeur s'engageait en outre à verser une indemnité de départ correspondant à 8 mois de traitement, remboursable par l'employé si ce dernier retrouvait un emploi dans les deux ans à compter de la résiliation, et à établir un certificat de travail. Les parties déclaraient être intégralement libérées des rapports de travail par solde de tout compte. Par l'apposition de sa signature, l'employé attestait n'avoir fait l'objet d'aucune pression pour conclure cet accord. Finalement, au bas du document, il était spécifié que sous réserve d'une éventuelle prescription des faits, l'employé gardait la possibilité d'intenter une action en responsabilité en relation avec la restructuration du domaine de direction "procédure" de l'Office C._, et plus particulièrement avec son changement d'affectation intervenu au 1er mai 2006 [sic].
A.c. Par décisions respectives du 20 janvier et 25 février 2009, A._ a été mis au bénéfice d'une rente d'invalidité avec effet rétroactif au 18 octobre 2007 par l'Office de l'assurance-invalidité pour le canton de Vaud et par la Caisse de pension Publica.
A.d. Après avoir obtenu à plusieurs reprises de l'Office C._ une renonciation à se prévaloir de la prescription, A._ a fait notifier le 25 octobre 2011 à la Confédération suisse un commandement de payer portant sur la somme de 763'964 fr. plus intérêts, qui a été frappé d'opposition totale.
A.e. Le 5 janvier 2012, il a requis de l'Office C._ de rendre une décision formelle au sujet de ses prétentions en dédommagement (763'964 fr. dont un montant de 50'000 fr. à titre de tort moral). A l'appui de celles-ci, il faisait valoir que la dégradation de son état de santé, et la perte de sa capacité de gain qui lui était liée, découlaient du mobbing dont il avait été victime durant ses rapports de service à l'Office C._, ainsi que de diverses irrégularités dont il avait fait l'objet dans le cadre du processus de réorganisation de cet office depuis la perte de sa fonction de chef à sa réaffectation comme collaborateur 1. Par décision du 2 mai 2012, l'Office C._ a rejeté ces prétentions.
A.f. A._ a recouru contre cette décision devant le Département E._. Après un échange de vues avec le Département fédéral des finances (DFF), le Département E._ a rendu le 25 septembre 2012 une décision de non entrée en matière, considérant que les prétentions de l'intéressé étaient fondées sur les règles régissant la responsabilité de l'Etat, ce qui justifiait la transmission du dossier au DFF comme objet de sa compétence. Après avoir donné l'occasion aux parties de se déterminer, le DFF a rejeté la demande par décision du 28 mars 2014.
B.
Saisi d'un recours contre cette décision par A._, le Tribunal administratif fédéral l'a rejeté par arrêt du 21 avril 2016, en laissant ouverte la question de la péremption des prétentions invoquées.
C.
A._ interjette un recours en matière de droit public contre cet arrêt, dont il requiert l'annulation. Il conclut à ce que son ancien employeur soit reconnu responsable du dommage qu'il a subi, et par conséquent, à ce que la Confédération helvétique soit condamnée à lui verser le montant de 763'394 fr. à titre de dédommagement, ainsi que 7'000 fr. pour les frais de procédure devant le Tribunal administratif fédéral.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
1.1. La contestation se fonde sur la loi fédérale sur la responsabilité de la Confédération, des membres de ses autorités et de ses fonctionnaires du 14 mars 1958 (Loi sur la responsabilité [LRCF]; RS 170.32). C'est la deuxième Cour de droit public qui, en règle générale, traite des recours en matière de droit public dans le domaine de la responsabilité de l'Etat, pour autant qu'une autre cour ne soit pas compétente (<ref-law> en relation avec l'art. 30 al. 1 let. c du Règlement du Tribunal fédéral du 20 novembre 2006 [RTF; RS 173.110.131]). En l'espèce, le recourant entend rechercher en responsabilité la Confédération pour le dommage qu'il aurait subi au cours de ses rapports de service qui le liaient à l'Office C._. Dès lors que le litige présente un rapport de connexité étroit avec le domaine du personnel du secteur public, qui ressortit à la compétence de la Ire Cour de droit social (art. 34 let. h RTF), il se justifie que ce soit cette cour qui statue sur son recours (voir aussi arrêt 8C_900/2013 du 5 mai 2014 consid. 1).
1.2. Dirigé contre un jugement final (<ref-law>) rendu dans une cause de droit public par le Tribunal administratif fédéral (<ref-law>), le présent recours est en principe recevable comme recours en matière de droit public, la valeur litigieuse dépassant la limite de 30'000 fr. prévue à l'<ref-law>. Le mémoire a en outre été déposé en temps utile (<ref-law>) par le destinataire de l'acte attaqué qui a un intérêt à recourir (<ref-law>). Il convient donc d'entrer en matière.
1.3. Aux termes de l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Le certificat du docteur H._, psychiatre, du 31 mai 2016 ne peut donc pas être pris en considération.
2.
2.1. En vertu de l'<ref-law>, la Confédération répond du dommage causé sans droit à un tiers par un fonctionnaire dans l'exercice de ses fonctions, sans égard à la faute du fonctionnaire. L'<ref-law> consacre une responsabilité primaire, exclusive et causale de l'État, en ce sens que le tiers lésé ne peut rechercher que l'État, à l'exclusion du fonctionnaire ou de l'agent responsable, et qu'il n'a pas à établir l'existence d'une faute de ce dernier; il lui suffit d'apporter la preuve d'un acte illicite, d'un dommage ainsi que d'un rapport de causalité entre ces deux éléments. Ces conditions doivent être remplies cumulativement (<ref-ruling> consid. 4.1 p. 140 et les arrêts cités).
La condition de l'illicéité au sens de l'<ref-law> ("sans droit") suppose que l'Etat, au travers de ses organes ou de ses agents, ait violé des prescriptions destinées à protéger un bien juridique. La jurisprudence a également considéré comme illicite la violation de principes généraux du droit, ou encore, selon les circonstances, un excès ou un abus du pouvoir d'appréciation conféré par la loi. L'illicéité peut d'emblée être réalisée si le fait dommageable consiste dans l'atteinte à un droit absolu (comme la vie ou la santé humaines, ou le droit de propriété); on parle à ce propos d'illicéité par le résultat (Erfolgsunrecht). Si, en revanche, le fait dommageable constitue une atteinte à un autre intérêt (par exemple le patrimoine), l'illicéité suppose qu'il existe un "rapport d'illicéité", soit que l'auteur ait violé une norme de comportement ayant pour but de protéger le bien juridique en cause; c'est ce qu'on appelle l'illicéité par le comportement (Verhaltensunrecht) (cf. <ref-ruling> consid. 4.1 p. 317/318; <ref-ruling> consid. 2b).
2.2. Par ailleurs, l'<ref-law> dispose qu'en cas de faute du fonctionnaire, celui qui subit une atteinte illicite à sa personnalité a droit à une somme d'argent à titre de réparation morale, pour autant que la gravité de l'atteinte le justifie et que l'auteur ne lui ait pas donné satisfaction autrement.
3.
Le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law> et qui concernent notamment les droits fondamentaux. Il y procède en se fondant sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle de l'arbitraire (<ref-ruling> consid. 7.1 p. 51) - ou en violation du droit au sens de l'<ref-law>. Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué (cf. <ref-ruling> consid. 3 p. 104).
4.
En substance, le recourant soutient que la responsabilité de la Confédération est engagée, d'une part, à raison d'actes de mobbing, et d'autre part, à raison d'irrégularités dans le cadre du processus de réorganisation mené par l'Office C._ en 2005.
4.1. On examinera tout d'abord ce qu'il en est de ses griefs de mobbing.
4.1.1. Selon l'art. 4 al. 2 lettre g de la loi fédérale du 24 mars 2000 sur le personnel de la Confédération (LPers; RS 172.220.1), l'employeur met en oeuvre les mesures propres à assurer la protection de la personnalité et de la santé ainsi que la sécurité au travail de son personnel. Cette disposition prohibe les actes de harcèlement psychologique. Selon la définition donnée par la jurisprudence qui vaut pour les relations de travail fondées tant sur le droit privé que sur le droit public (arrêt 8C_358/2009 du 8 mars 2010 consid. 5.1), le harcèlement psychologique, communément appelé mobbing, se définit comme un enchaînement de propos et/ou d'agissements hostiles, répétés fréquemment pendant une période assez longue, par lesquels un ou plusieurs individus cherchent à isoler, marginaliser, voire exclure une personne sur son lieu de travail. Il arrive fréquemment que chaque acte, pris isolément, apparaisse encore comme supportable, mais que les agissements pris dans leur ensemble constituent une déstabilisation de la personnalité, poussée jusqu'à l'élimination professionnelle du travailleur visé.
4.1.2. La juridiction précédente a constaté que A._ ne s'était pas formellement plaint de harcèlement psychologique avant l'intervention de son mandataire auprès du directeur de l'Office C._ en septembre 2007, soit à une période proche de la résiliation de ses rapports de service (voir la lettre de son avocat du 24 septembre 2007). L'accord sur la fin des rapports de travail qui avait suivi ne contenait pas davantage d'indications sur les actes de mobbing que le recourant aurait endurés. Celui-ci s'était au contraire exprimé de manière positive sur ses nouvelles conditions de travail dans le formulaire d'entretien personnel du 10 octobre 2016 ("Il règne une grande volonté de collaboration mutuelle"; "Concernant mes relations entre les collaboratrices et collaborateurs de l'office [...], celle-ci est en majorité très bonne"; "En ce qui me concerne, la confiance que nous nous sommes portés [en parlant de son chef de section] jusqu'à maintenant est toujours de la même intensité... J'apprécie également sa disponibilité [...]"). Le seul indice concret dans le sens des allégations du recourant était un document daté du 2 septembre 2005 dans lequel deux collaborateurs, I._ et J._, rapportaient des propos dégradants et vexatoires tenus contre lui par K._, alors suppléante du chef de la section procédure. Il n'était toutefois pas établi que ce comportement inadéquat s'était répété fréquemment pendant une période assez longue. Au demeurant, A._ avait fait part de cet épisode à L._, son supérieur hiérarchique de l'époque, en lui laissant le soin de prendre les mesures qu'il jugeait utiles. Les certificats médicaux qu'il avait produits faisaient certes état de signes somatiques et psychologiques apparus dès octobre 2005 en lien avec "des préoccupations professionnelles", d'un traitement médical prodigué dès avril 2006 en raison d'un état clinique aggravé ayant ensuite évolué en un état d'épuisement physique et psychique tel qu'une hospitalisation avait été rendue nécessaire en octobre 2006. Il ne faisait pas de doute que le recourant avait mal vécu la restructuration de l'Office C._ et les conséquences qui en étaient résulté pour lui, qui avait vu sa situation professionnelle passer d'une fonction de cadre à responsabilité à celui de collaborateur malgré ses bons états de service. Que le recourant ait pu en ressentir une déception légitime était tout à fait compréhensible. Ses allégations de mobbing n'étaient toutefois pas crédibles, ou à tout le moins pas établies.
4.1.3. Dans son écriture, le recourant se contente de présenter un récapitulatif des situations qu'il allègue avoir subi de la part K._ ainsi que d'autres membres de la section procédure à partir de janvier 2005, et qu'il qualifie de mobbing. Dans la mesure toutefois où ces faits ne sont pas constatés dans le jugement entrepris et que le recourant ne soulève aucun grief d'arbitraire dans l'établissement des faits en relation avec les situations décrites, il s'agit là de simples affirmations dont on ne saurait tenir compte en instance fédérale (voir consid. 3 supra). Or sur la base des faits retenus par les juges précédents, on ne saurait leur reprocher d'avoir considéré que l'existence d'un mobbing n'avait pas été rendue vraisemblable par le recourant. D'une part, on ne peut que constater l'absence d'éléments probants concrets susceptibles de démontrer qu'il aurait vainement requis la mise en oeuvre de mesures de protection de la part de son ancien employeur avant de se trouver en incapacité de travail (le recourant ne saurait s'en prendre qu'à lui-même du fait qu'il n'a pas été possible à l'Office C._ de récupérer ses courriels informatiques lorsqu'il en a fait la demande en 2011). D'autre part, si l'on peut penser que le climat d'incertitude découlant de la restructuration engagée par l'Office C._ ait pu se traduire, chez certains cadres de la section procédure, par l'un ou l'autre comportement incorrect à l'endroit du recourant, tel l'épisode mettant en cause K._, cela ne signifie pas encore qu'on se trouve en présence de manoeuvres concertées destinées à l'écarter ou à lui nuire professionnellement au sens de la définition du mobbing. En ce qui concerne plus particulièrement la période suivant son reclassement, le recourant expose que ses observations positives dans le formulaire d'entretien avaient un caractère complaisant car il était déjà fortement affecté dans sa santé par les effets du mobbing et l'absence de réaction de son employeur à ses plaintes. C'est là encore une allégation nouvelle et, partant, irrecevable qu'on ne peut prendre en considération. En définitive, sur le vu des faits établis, on doit nier que les griefs de mobbing du recourant engagent la responsabilité de la Confédération en application de la LRCF.
4.2. Concernant la réorganisation de l'Office C._, le recourant dénonce le procédé ayant consisté à lui signifier la suppression de son poste et à lui proposer la signature d'un accord, alors qu'en réalité celui-ci n'avait pas été supprimé mais remis au concours, ceci en violation de l'ordonnance du 10 juin 2004. Le recourant se plaint également d'un traitement inéquitable dans le cadre de sa postulation à la fonction de chef nouvellement ouverte dès lors que la hiérarchie n'avait pas jugé nécessaire qu'il termine l'assessment. Il y voit une procédure d'engagement biaisée. Enfin, il estime que l'Office C._ n'avait pas rempli ses obligations en lui proposant un reclassement en qualité de collaborateur 1, cette fonction ne répondant manifestement pas à la définition d'un poste raisonnablement exigible vu ses précédentes responsabilités.
4.2.1. En substance, l'instance précédente a considéré que du moment où le recourant avait signé l'accord qui lui avait été proposé en raison de la suppression de son poste, qu'il n'avait entrepris aucun démarche tendant à faire constater l'existence d'une irrégularité dans la procédure d'engagement pour le nouveau poste de chef auquel il avait postulé et que, finalement, il avait accepté son reclassement en qualité de collaborateur, il n'était plus légitimé à faire valoir des prétentions contre la Confédération du fait des dispositions prises par l'Office C._ à son égard dans le cadre de la réorganisation en invoquant leur caractère illicite. Partant, même si la manière dont la restructuration avait été menée n'échappait pas à toute critique (voir le rapport de la Commission du personnel du 14 mars 2005 et le rapport d'activité 2005 du groupe pour l'égalité des chances dans l'Office C._), les prétentions du recourant à ce titre devaient être rejetées.
4.2.2. On doit d'emblée relever que le recourant ne prend nullement position sur ces considérations, si bien qu'il est douteux qu'il soit recevable à remettre en question cet aspect du jugement devant le Tribunal fédéral. Cela étant, ses griefs doivent de toute façon être écartés. L'<ref-law>, aux termes duquel la légalité des décisions, d'arrêtés et de jugements ayant force de chose jugée ne peut pas être revue dans une procédure en responsabilité, consacre le principe de la primauté de la protection juridictionnelle par rapport à une procédure en responsabilité de l'Etat (ou principe de la protection juridique unique; Prinzip der Einmaligkeit des Rechtsschutzes). En pratique, ce principe oblige le destinataire d'une décision qu'il considère comme préjudiciable à ses intérêts à la contester immédiatement par la voie d'un recours, sous peine d'être ultérieurement déchu du droit d'agir en responsabilité contre la collectivité publique dont elle émane (FLORENCE AUBRY GIRARDIN, Responsabilité de l'Etat: un aperçu de la jurisprudence du Tribunal fédéral, in La responsabilité de l'Etat, Favre/Martenet/Poltier éds, 2012, p. 113 ss, 128; voir aussi ETIENNE POLTIER, La responsabilité de l'Etat pour acte illicite: l'exigence de l'illicéité, in ibidem, p. 45 ss, 62). Autrement dit, celui qui, sans succès, épuise les voies de droit contre une décision ou qui n'a pas utilisé tous les moyens de droit qui étaient à sa disposition n'est pas en droit de contester la licéité de cette décision (encore une fois) dans le procès en responsabilité (<ref-ruling> consid. 2a p. 147; <ref-ruling> consid. 3c p. 212). Or le recourant ayant donné son accord avec les modifications de son contrat de travail découlant des mesures de restructuration de l'Office C._, il ne saurait donc en remettre en cause le caractère licite pour fonder une responsabilité sur la base de la LRCF. Il ne peut rien tirer non plus de la circonstance que son dossier de candidature a été examiné sans assessment, vu qu'il a renoncé à s'en plaindre. Quant à la réserve sur l'engagement d'une procédure en responsabilité figurant dans l'accord résiliant ses rapports de service, elle ne change rien au fait que les conditions légales pour engager cette responsabilité doivent être remplies.
4.2.3. On peut encore ajouter que si la réorganisation de l'Office C._ a donné lieu à de vives critiques - en particulier de la part de M._, alors conseiller aux Etats fribourgeois -, la sous-commission du Département E._, chargée par la Commission de gestion du Conseil National de rechercher les indices d'éventuelles lacunes dans la conduite du personnel de l'Office C._, a considéré, après analyse des documents qui lui ont été remis, qu'il n'y avait pas matière à agir, et décidé de suspendre ses travaux lors d'une séance du 19 juin 2008 (voir la lettre du 15 avril 2015 de N._ de la Commission de gestion du Conseil National, à O._ de l'Assemblée fédérale [annexe 5 du dossier de l'instance précédente]; cf. également le rapport annuel 2006 des Commissions de gestion et de la Délégation des Commissions de gestion des Chambres fédérales dans la Feuille fédérale du 19 janvier 2007 [FF 2007 2867, 2940]). On peut donc écarter le reproche que la réorganisation de l'Office C._ ait reposé sur une violation des dispositions de l'ordonnance du 10 juin 2014.
4.3. Au vu de tout ce qui précède, le recours doit être rejeté.
5.
Le recourant, qui succombe, doit supporter les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 13'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Département fédéral des finances et au Tribunal administratif fédéral, Cour I.
Lucerne, le 17 mai 2017
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl