Faits:
A. A.a Le 1er septembre 1991, D._ a été engagé à mi-temps comme assistant-bibliothécaire par l'Ecole X._. A partir de 2001, son taux d'activité était de 75 %.
A.b Dans une lettre du 11 juin 2007 adressée à son employeur, D._ a déclaré résilier ses rapports de travail avec effet au 31 décembre 2007. Le même jour, il a fourni un certificat d'incapacité de travail totale à compter du 8 juin 2007. Cette incapacité de travail perdurera pendant trois ans.
A.c Le 6 novembre 2007, D._ a transmis à X._ un certificat établi par le docteur W._, son médecin traitant, dans lequel celui-ci exposait que son patient avait présenté sa démission alors qu'il était incapable de discernement pour cause de maladie et demandait à X._ de ne pas en tenir compte.
L'employeur a exprimé son étonnement devant cette information et requis des précisions du docteur W._. Le 9 janvier 2008, le médecin traitant a indiqué que lors d'une consultation du 8 juin 2007, il avait découragé D._ de démissionner en raison de sa maladie car celle-ci justifiait pleinement un arrêt de travail à 100 %. Il a ajouté que les traitements prescrits n'avaient pas encore permis de rétablir la capacité de travail, mais que le discernement du patient était meilleur. Il suggérait que lui-même et le docteur H._, psychiatre, auprès duquel le patient suivait une thérapie, prennent contact avec le médecin de la Confédération.
S'en sont suivis plusieurs échanges de correspondances entre le mandataire de D._ et X._. Parallèlement, des contacts ont été pris entre les médecins traitants du prénommé et le Service médical de la Confédération portant notamment sur l'opportunité d'ordonner une expertise.
A.d Le 18 juin 2008, X._ a rendu une décision formelle par laquelle elle a constaté que la démission donnée par D._ le 11 juin 2007 était valable. En bref, elle a considéré que la capacité de discernement du prénommé ne pouvait être mise en doute et que l'administration d'une expertise était superflue au vu des éléments dont elle disposait.
A.e D._ a recouru contre cette décision devant la Commission de recours interne des Ecoles Z._.
A.f Par décision incidente du 28 octobre 2008, Z._ a décidé, à titre provisionnel, que D._ devait être maintenu à son poste de travail et continuer à percevoir son salaire depuis le 1er janvier 2008 jusqu'à l'entrée en force de sa décision au fond.
A.g Statuant sur le fond le 18 décembre 2008, Z._ a admis le recours de D._, annulé la décision de X._ du 18 juin 2008 et renvoyé la cause à l'employeur, en invitant celui-ci à compléter l'instruction par une expertise auprès du médecin expert du Service médical de la Confédération. Z._ a également retiré l'effet suspensif à un éventuel recours et décidé que sa décision sur mesures provisionnelles du 28 octobre 2008 serait prolongée jusqu'à l'entrée en force de la nouvelle décision de X._.
En substance, Z._ a considéré que les éléments à disposition de l'employeur pour trancher la question de la validité de la résiliation du 11 juin 2007 étaient insuffisants, et constaté une violation du droit d'être entendu de D._ dans la mesure où X._ avait renoncé à la mise en oeuvre d'une expertise sans l'entendre au préalable.
B. B.a Saisi le 18 novembre 2008 d'un recours de X._ contre la décision incidente de Z._, le Tribunal administratif fédéral (ci-après : le TAF) a rayé la cause du rôle dès lors que Z._ avait, entre-temps, rendu sa décision sur le fond.
B.b Le 16 janvier 2009, X._ a recouru devant le TAF contre la décision sur le fond de Z._.
B.c Par décision incidente du 20 février 2009, le TAF a restitué l'effet suspensif au recours.
B.d Par ordonnance du 7 mai 2009, le TAF a informé les parties qu'il décidait d'ordonner lui-même une expertise afin de déterminer la capacité de discernement de D._ au moment de sa résiliation des rapports de travail, et qu'il confiait cette mission au docteur C._, psychiatre.
B.e L'expert judiciaire a rendu son rapport le 16 décembre 2009. Il a retenu que D._ avait présenté, durant la période du 6 au 13 juin 2007, des troubles de l'adaptation, un épisode dépressif majeur d'intensité moyenne à sévère, et des épisodes d'angoisse diffuse d'intensité moyenne à sévère [CIM-10: F43; F32.1-F32.2; F41.1]. Il a estimé, en résumé, que ces troubles n'avaient pas privé l'intéressé de la faculté d'apprécier la signification, l'opportunité et la portée de sa décision de démissionner de son poste de travail en date du 11 juin 2007, ni d'agir librement en fonction de cette compréhension.
B.f Par arrêt du 19 juillet 2010, le TAF a partiellement admis le recours de X._ au sens des considérants. Il a annulé la décision du 18 décembre 2008 de Z._ et constaté que les rapports de travail entre D._ et X._ avaient pris fin au 31 décembre 2007. Le tribunal a en outre mis les frais d'expertise, d'un montant de 5'800 fr., à la charge de X._.
C. D._ interjette un recours en matière de droit public. Sous suite de frais et dépens, il conclut à la réforme du jugement du TAF en ce sens que le recours formé par X._ contre la décision rendue le 18 décembre 2008 par Z._ est rejeté.
X._ conclut au rejet du recours.
Considérant en droit:
1. 1.1 La décision attaquée a été rendue en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où elle porte sur la question de la validité de la démission du recourant de son poste de travail auprès de X._, il s'agit d'une contestation de nature pécuniaire et le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération. Par ailleurs, la valeur litigieuse atteint le seuil de 15'000 fr. ouvrant la voie du recours en matière de droit public en ce domaine (art. 51 al. 2 et 85 al. 1 let. b LTF).
1.2 Pour le reste, le recours est recevable. En effet, il a été formé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF) contre une décision finale du Tribunal administratif fédéral (art. 86 al. 1 lettre a et 90 LTF). En outre, le recourant est directement touché par la décision attaquée et a un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF).
2. Le recourant se plaint tout d'abord de plusieurs violations de son droit d'être entendu (art. 29 al. 2 Cst.) par le TAF.
2. Le recourant se plaint tout d'abord de plusieurs violations de son droit d'être entendu (art. 29 al. 2 Cst.) par le TAF.
2.1 2.1.1 Le recourant voit une première violation de son droit d'être entendu dans le fait que le TAF a ordonné lui-même une expertise psychiatrique. Ce tribunal avait confirmé à juste titre que le refus de X._ d'administrer une expertise médicale sans l'entendre constituait une violation de son droit d'être entendu. Ce vice était particulièrement grave. Or, la jurisprudence n'admettait qu'exceptionnellement la réparation d'une irrégularité par l'autorité de recours et seulement à la condition, notamment, que l'atteinte constatée ne fût pas d'une gravité particulière. Le TAF avait donc commis à son tour une violation de son droit d'être entendu en ayant estimé pouvoir réparer lui-même le vice grave qui entachait la décision de X._ au lieu de confirmer la décision de renvoi de Z._.
2.1.2 Ce grief paraît en contradiction avec la position que le recourant a lui-même adoptée depuis le début de la procédure. En effet, celui-ci a toujours soutenu la nécessité d'une mesure d'instruction sous la forme d'une expertise médicale si les preuves qu'il avait offertes devaient se révéler insuffisantes pour établir qu'il était incapable de discernement au moment où il avait remis sa démission à l'intimée. En tant qu'autorité de recours disposant d'un plein pouvoir d'examen en fait et en droit, le TAF s'est rallié à ce point de vue et, pour des raisons d'économie de procédure, a décidé d'administrer lui-même le moyen de preuve demandé par le recourant. En ce qui concerne la protection offerte par l'art. 29 al. 2 Cst. en matière de droit à la preuve - qui comprend notamment le droit d'obtenir qu'il soit donné suite aux offres de preuve pertinentes et de participer à l'administration des preuves essentielles (cf. ATF 132 II 485 consid. 3.2 p. 494 et les références) -, on peine à voir en quoi a consisté la violation du droit d'être entendu dont se plaint le recourant. Cela d'autant moins que par-devant le TAF, il bénéficiait des garanties (au moins aussi étendues) que lui confère l'art. 19 PA dans le domaine de la procédure probatoire.
2.1.3 Quoi qu'il en soit, la critique du recourant doit être écartée à l'aune du principe de la bonne foi en procédure (art. 5 al. 3 Cst), selon lequel la partie qui s'aperçoit qu'une règle de procédure est violée à son détriment ne saurait laisser la procédure suivre son cours sans réagir, dans le but, par exemple, de se réserver un moyen de nullité pour le cas où le jugement à intervenir ne la satisferait pas (cf. ATF 119 II 386 consid. 1a p. 388; 119 Ia 221 consid. 5a p. 228 ss). En l'espèce, le TAF a communiqué aux parties sa décision de mettre en oeuvre une expertise judiciaire sur la question de la capacité de discernement de D._ par ordonnance du 7 mai 2009. A réception de celle-ci, le recourant n'a manifesté aucune opposition à la mesure d'instruction. Il s'est au contraire conformé au dispositif de l'ordonnance en déliant ses médecins traitants du secret médical (voir sa déclaration du 13 mai 2009). Il a encore confirmé cette déclaration - sans formuler de réserve - dans une lettre ultérieure du 6 juillet 2009. S'il estimait que l'administration des preuves par le TAF constituait une violation son droit d'être entendu, il lui appartenait de soulever cette critique tout de suite sans attendre de recevoir la décision finale. Faute de réaction de sa part, il ne saurait en tirer argument devant le Tribunal fédéral, après que les conclusions de l'expertise se soient révélées défavorables pour lui.
2.2 Pour les mêmes raisons qui viennent d'être exposées, la deuxième violation du droit d'être entendu invoquée par le recourant - le non respect, par le TAF, de la garantie de la double instance - se révèle également mal fondée.
2.2 Pour les mêmes raisons qui viennent d'être exposées, la deuxième violation du droit d'être entendu invoquée par le recourant - le non respect, par le TAF, de la garantie de la double instance - se révèle également mal fondée.
2.3 2.3.1 Dans un troisième grief, le recourant fait valoir qu'il a été privé de son droit de se déterminer sur certaines mesures d'instruction. L'expert judiciaire avait fondé son appréciation, entre autres éléments, sur un entretien téléphonique qu'il avait eu le 4 novembre 2009 avec la juge instructeur du TAF, ainsi que sur un entretien avec le docteur W._ à son cabinet médical le 9 novembre 2009 (voir p. 2 et 3 du rapport d'expertise). En l'absence de retranscription dans l'expertise des propos échangés à ces occasions, le recourant n'avait pas pu s'exprimer sur leur contenu ni apprécier la manière dont l'expert judiciaire en avait tenu compte pour donner son avis, ce qui violait son droit d'être entendu.
2.3.2 Parmi les éléments ayant servi de base à ses conclusions, le docteur C._ a certes cité un entretien téléphonique avec la juge instructeur. Il n'en a pas retranscrit le contenu. Il ne ressort toutefois pas des considérations de l'expert judiciaire que cet entretien aurait concerné un point important pour l'issue du litige et le recourant ne le démontre pas non plus. De plus, le tribunal l'avait invité à présenter ses observations sur les actes d'instruction entrepris par ordonnance du 17 décembre 2009, et le recourant n'avait alors pas manifesté sa volonté de connaître la nature des propos échangés lors de cet entretien (voir son écriture du 22 février 2010). Il est donc forclos de s'en plaindre devant la Cour de céans (consid. 2.1.3 supra). Quant à l'entrevue de l'expert judiciaire avec le docteur W._, contrairement à ce que prétend le recourant, ledit expert en a résumé la teneur essentielle à la page 18 de son rapport d'expertise (2ème paragraphe). On ne constate par conséquent aucune violation de son droit d'être entendu.
3. D._ soulève ensuite le grief d'une appréciation arbitraire des preuves.
3.1 L'appréciation des preuves n'enfreint l'interdiction constitutionnelle de l'arbitraire (art. 9 Cst.) que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis sans raison sérieuse de tenir compte d'un moyen important et propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a fait des déductions insoutenables (ATF 137 I 58 consid. 4.1.2; 134 V 53 consid. 4.3 p. 62; 129 I 8 consid. 2.1 p. 9; 127 I 38 consid. 2a p. 41).
Par ailleurs, lorsque l'autorité précédente se rallie au résultat d'une expertise - comme c'est le cas en l'espèce -, le Tribunal fédéral n'admet le grief d'appréciation arbitraire des preuves que si l'expert n'a pas répondu aux questions, si ses conclusions sont contradictoires ou si, de quelque autre manière, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même en l'absence de connaissances ad hoc, qu'il n'était tout simplement pas possible de les ignorer. Il ne lui appartient pas de vérifier que toutes les affirmations de l'expert sont exemptes d'arbitraire; sa tâche se limite à examiner si l'autorité précédente pouvait, sans arbitraire, faire siennes les conclusions de l'expertise (ATF 128 I 81 consid. 2 in fine p. 86).
3.2 Le recourant reproche au TAF d'avoir écarté et mal interprété le rapport du docteur S._ (du 10 mai 2010) qu'il a produit en cours de procédure. Ce médecin, qui était alors son psychiatre traitant, ne s'était pas borné à énoncer de vagues critiques à l'encontre de l'expertise judiciaire mais avait clairement exprimé un avis divergent. Il avait démontré de manière convaincante l'existence d'une contradiction dans l'expertise judiciaire. De plus, le TAF aurait dû constater que le docteur C._ avait méconnu la notion de discernement défini à l'art. 16 CC. Ce dernier avait en effet relevé que la capacité de discernement du recourant avait pu être limitée durant la période du 6 au 13 juin 2007, alors que le droit civil ne connaît pas de graduation dans l'appréciation de la capacité de discernement : ou bien elle est totale ou bien elle n'existe pas.
3.3 Selon le TAF, rien ne permettait de mettre en doute le sérieux, le bien-fondé et la crédibilité de l'expertise judiciaire. Au sujet du rapport du docteur S._, les premiers juges ont déclaré que ce médecin s'était contenté d'émettre des hypothèses («il est possible que»), ce qui ne pouvait en aucun cas renverser la présomption de la capacité de discernement instaurée par l'art. 16 CC.
3.4 On doit convenir avec le recourant que le docteur S._ s'est montré beaucoup plus affirmatif dans ses déclarations que ne l'ont retenu les premiers juges. Ce médecin a indiqué en termes clairs qu'à ses yeux, D._ avait agi en l'absence de discernement. On ne saurait toutefois remettre en cause une expertise ordonnée par l'administration ou le juge et procéder à de nouvelles investigations du seul fait qu'un ou plusieurs médecins traitants ont une opinion contraire. Il n'en va différemment que s'ils font état d'éléments objectivement vérifiables ayant été ignorés dans le cadre de l'expertise et qui sont suffisamment pertinents pour remettre en cause les conclusions de l'expert (cf. les arrêts 6B_27/2011 du 5 août 2011 consid. 5.2.1, 9C_492/2010 du 31 mars 2011 consid. 2.2 et 8C_183/2007 du 19 juin 2008 consid. 3).
3.5 En l'occurrence, l'affirmation du docteur S._, selon laquelle la description clinique de l'état de D._ par l'expert judiciaire (à savoir : «prépsychose»; «troubles de l'adaptation avec des caractéristiques anxieuses et dépressives»; «épisode dépressif majeur»; «épisodes d'angoisse diffuse avec caractéristiques psychotiques congruentes à l'humeur [...] chez une personnalité fragilisée par un contexte professionnel conflictuel [...]») aurait dû conduire cet expert à admettre une incapacité de discernement, ne suffit pas à démontrer le caractère contradictoire des conclusions de l'expertise judiciaire. Le docteur C._ a expliqué quels étaient les éléments qui lui permettaient de retenir que les troubles constatés ne pouvaient pas être considérés comme durables et suffisamment caractérisés au point d'avoir sur le comportement de D._ des conséquences évidentes, qualitativement et profondément déconcertantes pour un profane averti (cas dans lequel la jurisprudence reconnaît une altération de la faculté d'agir raisonnablement pour cause de maladie mentale; voir ATF 117 II 231 consid. 2a in fine p. 233/234; 85 II 452 consid. 3a p. 460; 62 II 263 p. 264). L'expert judiciaire a ainsi relevé que malgré une inhibition et une attitude régressive attestées, D._ n'avait pas été - au moment des faits déterminants - confus ou désorienté dans le temps et l'espace ou sur lui-même. Il n'avait pas non plus présenté de troubles durables de l'attention et de la concentration, de diminution importante des fonctions intellectuelles et cognitives, de troubles caractérisés de la pensée (perplexité psychotique ou délire), ou encore de troubles de la perception (hallucinations, illusions), et son état de conscience n'était pas altéré par une intoxication alcoolique ou médicamenteuse. Par ailleurs, toujours selon l'expert, D._ avait réfléchi à plusieurs reprises à l'opportunité de démissionner; il l'avait annoncé à son supérieur hiérarchique et en avait discuté avec son médecin traitant; le 11 juin 2007, il avait pu maintenir sa décision de ne pas en parler à son épouse et cacher son désarroi, ce qui montrait une «conscience et une volonté certainement conservées par rapport à la démarche de la démission qu'il avait assumée». Or, le docteur S._ ne s'est prononcé sur aucun de ces éléments que l'expert a pourtant jugés décisifs pour apprécier la capacité de discernement de D._. Dans ces conditions, le TAF pouvait sans arbitraire considérer que le rapport du médecin traitant ne contenait aucune objection sérieuse qui puisse mettre en doute la pertinence des déductions de l'expert.
3.6 Enfin, il ressort sans équivoque des réponses du docteur C._ que D._ était capable de discernement lorsqu'il a remis la copie de sa lettre de démission dans le casier de la bibliothèque de X._, respectivement lorsqu'il a envoyé le document original par recommandé à son employeur. On ne voit pas en quoi l'expert aurait mal compris la notion de capacité de discernement parce qu'il a constaté que la pathologie dépressive et anxieuse du recourant avait pu, pendant de brefs moments et avant les faits déterminants, altérer ses facultés mentales.
3.7 En tout état de cause, le TAF n'a pas violé le droit fédéral en considérant, sur la base de l'expertise judiciaire, que la preuve de l'absence de discernement au sens de l'art. 16 CC n'avait pas été rapportée, de sorte que la lettre de démission du recourant du 11 juin 2007 était valable. Le recours se révèle mal fondé.
4. Le recourant, qui succombe, doit supporter les frais de justice (art. 66 al. 1 LTF). La partie intimée n'a pas droit à des dépens (arrêt 8C_151/2010 du 31 août 2010 consid. 6)
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal administratif fédéral, Cour I.
Lucerne, le 27 septembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl