Faits : A. C._, né en 1977, est décédé le 26 février 2016. Dans son testament du 8 octobre 2015, il a institué seul et unique héritier son fils mineur D._, fils de B._, en précisant qu'au cas où il décéderait avant que son fils ait atteint sa majorité, la totalité des biens qui lui seraient dévolus dans le cadre de sa succession devait être soustraite à l'administration de sa mère. Il a désigné son père A._ en qualité d'exécuteur testamentaire de sa succession avec les pouvoirs les plus étendus et lui a confié la mission d'administrateur des biens dévolus à son fils. Il a enfin émis le voeu que ses parents puissent voir régulièrement leur petit-fils, B._ étant priée de respecter cette demande. B. B.a. Le 25 avril 2016, la Juge de paix du district de Nyon (ci-après: Juge de paix) a délivré à A._ une attestation d'exécuteur testamentaire. B.b. Le 23 septembre 2016, B._, agissant pour le compte de son fils mineur, a requis la révocation de l'exécuteur testamentaire. B.c. Le 1er décembre 2016, A._ a exposé avoir entrepris des démarches auprès de la banque F._ pour trouver la trace des montants qui auraient été avancés à son fils par le père de B._ et que la banque avait refusé de donner suite à ses recherches faute de certificat d'héritier. A l'audience du 20 janvier 2017, il a annoncé qu'il s'informerait auprès de la banque F._ sur les mouvements intervenus sur le compte sur lequel la somme de 600'000 fr. avait été créditée. Le 28 février 2017, il a indiqué que les démarches auprès de F._ n'avaient pas abouti. B.d. Compte tenu de la minorité de l'héritier légal et institué, un inventaire civil a été dressé et clôturé le 5 mai 2017. Celui-ci mentionne des actifs par 1'113'164 fr. 99 et des passifs par 1'111'313 fr. 58, dont 625'560 fr. de solde du prêt de E._, père de B._, par 600'000 euros. La succession présente un solde positif de 1'851 fr. 41. Le certificat d'héritiers a été délivré le 11 mai 2017. B.e. Le 6 juillet 2017, B._ a produit un certain nombre de documents bancaires attestant que C._ a signé le 27 août 2015 une procuration générale sur son compte F._ en faveur de son père A._, que ce dernier a prélevé 80'000 euros sur ce compte le 13 octobre 2015, que le 14 octobre 2015, C._ a autorisé par écrit son père à retirer tout son capital et à mettre fin à sa relation bancaire avec la banque F._, que A._ a prélevé sur le compte F._ précité 80'000 euros le 15 octobre 2015 et 201'000 euros le 23 octobre 2015 et que A._ a procédé au bouclement de la relation bancaire précitée les 30 octobre et 25 novembre 2015, avec prélèvement des sommes respectives de 221'645 euros et de 8'478 fr. 70. B.f. A l'audience du 15 septembre 2017, A._ a exposé qu'en octobre et novembre 2015, conformément aux instructions de son fils, il avait prélevé les fonds de celui-ci auprès de F._ et les lui avait remis en mains propres. Il a indiqué ignorer ce que son fils avait fait de ces montants. B.g. Par décision du 13 octobre 2017, la Juge de paix a rejeté la requête de révocation de l'exécuteur testamentaire formée le 23 septembre 2016, a constaté que A._ s'était engagé à ne procéder à aucun transfert mobilier et immobilier ni en sa faveur ni en faveur de tiers, et a dit que les clés de l'appartement de U._ seraient remises à l'exécuteur testamentaire une fois la décision définitive et exécutoire. En droit, la Juge de paix a notamment considéré que le prélèvement par l'exécuteur testamentaire de fonds déposés auprès de F._ au nom du de cujus avait été fait du vivant de ce dernier et à sa demande, de sorte qu'il ne s'agissait pas d'une soustraction d'actifs justifiant la destitution de l'exécuteur testamentaire. B.h. Saisie par un recours de B._, la Chambre des recours civile du Tribunal cantonal vaudois (ci-après: Chambre des recours civile) a, par arrêt du 19 janvier 2018, admis le recours, annulé la décision du 13 octobre 2017 et renvoyé la cause à la Juge de paix pour qu'elle procède dans le sens des considérants. La Chambre des recours civile a relevé que l'exécuteur testamentaire avait longtemps prétendu ne rien savoir du sort des fonds placés sur le compte F._ du défunt. Confronté aux pièces établissant qu'il avait lui-même soldé ledit compte, il avait déclaré avoir remis l'argent prélevé, par 582'645 euros et 8'478 fr. 70, à son fils en mains propres et ignorer ce que celui-ci en avait fait. Ce faisant, l'exécuteur testamentaire ne s'était pas comporté de bonne foi et n'avait pas respecté son devoir de collaborer à l'inventaire des biens de la succession. Ses explications tardives n'étaient guère crédibles. Etant l'homme de confiance de son fils, il était très peu vraisemblable qu'il n'ait pas été informé par le défunt de la destination de l'argent prélevé ou qu'il n'ait pas été chargé de son affectation, ce d'autant plus que l'exécuteur testamentaire était chargé en substance de veiller aux intérêts de son petit-fils futur héritier et d'administrer les biens qui lui étaient dévolus en veillant à ce qu'ils soient soustraits à l'administration de la représentante légale de l'enfant. Par ailleurs, on voyait mal l'ayant droit du compte se faire remettre une pareille somme en liquide dans sa chambre d'hôpital et l'y conserver avec les risques de disparition qu'une telle situation susciterait jusqu'à sa remise à un ou plusieurs tiers. Plus vraisemblablement, il avait donné à l'exécuteur testamentaire des instructions sur la conservation et le dépôt de cet argent en Suisse ou à l'étranger jusqu'à sa remise à l'héritier. Dès lors, l'exécuteur testamentaire avait objectivement violé ses devoirs légaux de collaborer à l'inventaire officiel du patrimoine de la succession. Cela étant, il avait agi ainsi dans sa propre compréhension de l'intérêt de l'héritier et très probablement en se conformant avec une loyauté aveugle aux instructions données par son fils mourant et non pour se favoriser personnellement. Dans ce contexte, la décision entreprise devait être annulée et la cause retournée au premier juge pour qu'ilentende à nouveau l'exécuteur testamentaire afin que celui-ci s'explique en détail sur la remise de ces fonds, les instructions reçues, leur destination, leur affectation ou leur dépôt et qu'il produise tout document utile pour étayer ses explications. Si celui-ci ne collaborait à nouveau pas et ne saisissait pas cette ultime opportunité de corriger l'inventaire civil, sa destitution, comme ultima ratio, devrait le cas échéant être prononcée. B.i. Entendu par la Juge de paix à l'audience du 29 juin 2018, A._ a déclaré qu'il était allé avec son fils à la banque à V._ en juillet-août 2015 et que par la suite, ce dernier lui avait donné une procuration spéciale pour qu'il aille prélever de l'argent. Cela s'était passé après que son fils fut hospitalisé à W._. Au retour de son fils à U._, il était allé prélever de l'argent, qu'il avait remis à son fils. Il lui avait demandé d'où venait cet argent et celui-ci lui avait répondu que c'était le sien. Il n'avait alors plus posé de questions. Il a précisé avoir prélevé de l'argent deux fois à V._ et une fois à U._ et ne pas savoir ce qui était advenu de ces fonds, son fils ne lui ayant rien communiqué à ce propos et ne lui ayant pas donné d'instructions. Il a ajouté que son fils avait beaucoup d'amis. Il a répété qu'il ne savait pas où était cet argent et qu'il ignorait que l'argent appartiendrait aux parents de B._. Il a déclaré s'être rendu dans deux banques, soit les banques G._ et F._, afin d'essayer de retrouver ces fonds. Pendant la maladie de son fils, il aurait été prêt à faire tout ce que celui-ci lui aurait demandé. Il n'aurait pas été surpris de devoir remettre une somme aussi importante à son fils et n'aurait pas eu envie de savoir ce que celui-ci voulait faire de cet argent, en raison de sa douleur. B._ a pour sa part déclaré que ses parents auraient prêté 900'000 euros à feu C._. 300'000 euros auraient été restitués, elle-même disposant d'une procuration sur le compte en question et ayant procédé à des retraits à hauteur de ce montant entre 2012 et 2014 pour rembourser ses parents. Ses parents n'auraient pas obtenu le remboursement des 600'000 euros restants. B.j. Par décision du 29 octobre 2018, la Juge de paix a derechef rejeté la requête présentée le 23 septembre 2016 par B._, a constaté que A._ s'était engagé à ne procéder à aucun transfert mobilier et immobilier ni en sa faveur ni en faveur de tiers, et a dit que les clés de l'appartement de U._ seraient remises à l'exécuteur testamentaire une fois la décision définitive et exécutoire. En droit, la Juge de paix a considéré que l'exécuteur testamentaire avait collaboré à l'instruction menée ensuite de l'arrêt de renvoi de la Chambre des recours civile. Il avait répondu à toutes les questions qui lui avaient été posées et s'était exprimé au sujet des instructions données par son fils quant au prélèvement de fonds auprès de F._. A cet égard, il avait évoqué la remise de ces fonds, mais n'avait pas pu renseigner le premier juge quant à la destination de ceux-ci, leur affectation ou leur dépôt, puisqu'il ignorait ce que son fils avait fait de l'argent qu'il avait prélevé en son nom à F._ et qu'il ne lui avait pas posé de question à ce sujet. Dès lors, il ne pouvait pas être reproché à l'exécuteur testamentaire de ne pas avoir profité de l'audition du 29 juin 2018 pour corriger l'inventaire civil dressé le 5 mai 2017 et la révocation de l'intimé de ses fonctions d'exécuteur testamentaire ne se justifiait pas. B.k. Par acte du 9 novembre 2018, B._ a interjeté recours contre cette décision, en concluant à sa réforme en ce sens que sa requête du 23 septembre 2016 soit admise et que A._ soit destitué de sa fonction d'exécuteur testamentaire avec effet immédiat. Dans sa réponse du 7 janvier 2019, A._ a conclu au rejet du recours. B.l. Par arrêt du 21 janvier 2019, expédié le 31 suivant, la Chambre des recours civile a notamment admis le recours et réformé la décision entreprise en ce sens que la requête présentée le 23 septembre 2016 par B._ est admise et que A._ est destitué de sa fonction d'exécuteur testamentaire avec effet immédiat. C. Par acte posté le 1er mars 2019, A._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 21 janvier 2019. Principalement, il conclut à sa réforme en ce sens que la requête présentée le 23 septembre 2016 par B._ est rejetée, que sa fonction d'exécuteur testamentaire lui est restituée et/ou maintenue, les frais judiciaires et les dépens de première et deuxième instance étant mis à la charge de B._. Subsidiairement, il sollicite le renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Des déterminations sur le fond n'ont pas été requises. D. Par ordonnance présidentielle du 19 mars 2019, la requête d'effet suspensif assortissant le recours a été rejetée.