Faits :
A.
A.a. Les époux A._ se sont mariés le 1er février 2002. Trois enfants sont issus de cette union, C._ et D._, nés en 2002, et E._, né en 2005.
A.b. Les époux ont rencontré des difficultés conjugales qui ont conduit l'époux à solliciter des mesures protectrices de l'union conjugale le 26 novembre 2015.
A.c. Par ordonnance de mesures protectrices de l'union conjugale du 19 octobre 2016 dont seul le dispositif a été communiqué aux parties, le Tribunal civil du Littoral et du Val-de-Travers (ci-après: Tribunal civil) a notamment condamné A.A._ à verser en faveur de son épouse, mensuellement et d'avance dès le 1er décembre 2015, un montant de 6'630 fr. sous déduction des montants déjà versés à ce titre (ch. 5 du dispositif).
A.d. A compter du 1er novembre 2016, B.A._ a déménagé dans le canton de U._ où elle a trouvé un emploi. A.A._ en a eu connaissance au plus tard le 9 janvier 2017.
A.e. Le 25 novembre 2016, A.A._ a introduit une requête unilatérale en divorce.
A.f. Le 24 mars 2017, le Tribunal civil a notifié aux parties la motivation de sa décision du 19 octobre 2016.
B.
B.a. Le 6 avril 2017, B.A._ a fait appel de l'ordonnance du 19 octobre 2016 contestant notamment le montant de la contribution d'entretien et son dies a quo.
B.b. Par arrêt du 26 mars 2018, rectifié le 30 avril 2018, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel (ci-après: Cour d'appel) a notamment réformé le chiffre 5 de l'ordonnance du 19 octobre 2016 et condamné A.A._ à verser à son épouse une contribution d'entretien mensuelle de 8'800 fr. du 26 novembre 2014 au 30 juin 2015, de 8'240 fr. du 1er juillet 2015 au 31 octobre 2015, puis de 6'630 fr. à compter du 1er novembre 2015.
C.
C.a. Le 14 juin 2017, soit durant la procédure d'appel initiée par l'épouse, A.A._ a déposé devant le Tribunal civil une demande de modification des mesures protectrices de l'union conjugale concluant à la suppression de toute contribution d'entretien en faveur de son épouse avec effet dès le 1er novembre 2016.
C.b. Par décision du 31 janvier 2020, le Tribunal civil a déclaré la demande en modification des mesures protectrices de l'union conjugale irrecevable.
C.c. Le 13 février 2020, A.A._ a interjeté appel contre la décision du 31 janvier 2020 concluant à ce que sa requête de modification des mesures protectrices de l'union conjugale soit déclarée recevable.
C.d. Par arrêt du 23 avril 2020, la Cour d'appel a rejeté l'appel du 13 février 2020, arrêté les frais de la procédure d'appel à 3'000 fr., qu'elle a mis à la charge de l'appelant, et condamné ce dernier à verser une indemnité de dépens de 3'000 fr. à l'intimée.
D.
Par acte posté le 30 mai 2020, A.A._ interjette un recours en matière civile au Tribunal fédéral contre cet arrêt. Il conclut principalement à son annulation et à sa réforme en ce sens que toute contribution d'entretien en faveur de l'intimée est supprimée avec effet au 1er novembre 2016, subsidiairement au 14 juin 2017, date du dépôt de la requête, le dispositif de l'ordonnance de mesures protectrices de l'union conjugale du 19 octobre 2016, ainsi que celui de l'arrêt de la Cour d'appel du 26 mars 2018, étant pour le surplus maintenus. Il conclut subsidiairement au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants et, plus subsidiairement, au premier juge.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
1.1. Le recours a été déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire matrimoniale (<ref-law>) de nature pécuniaire, dont la valeur litigieuse dépasse 30'000 fr. (art. 51 al. 1 let. a et al. 4 et 74 al. 1 let. b LTF), par une partie qui a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable au regard des dispositions qui précèdent.
1.2. L'autorité cantonale a confirmé une décision d'irrecevabilité prononcée en première instance. Dans une telle situation, si le présent recours est admis, le Tribunal fédéral ne peut statuer lui-même sur le fond de la cause (dans ce sens: cf. <ref-ruling> consid. 1.1). Il doit renvoyer la cause à l'autorité cantonale pour qu'elle décide, en faisant usage de son pouvoir d'appréciation, si elle entend statuer elle-même sur le fond de la cause ( <ref-law>) ou renvoyer celle-ci au premier juge ( art. 318 al. 1 let. c CPC; arrêt 5A_907/2017 du 4 avril 2018 consid. 3 et les références). Les conclusions du recourant ne sont donc recevables que dans cette mesure.
2.
2.1. Lorsque, comme en l'espèce, la décision attaquée porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5.1), le recourant ne peut se plaindre que de la violation de ses droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (principe d'allégation; <ref-law>), c'est-à-dire expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant doit ainsi indiquer quelle disposition constitutionnelle aurait été violée et démontrer, par une argumentation précise, en quoi consiste la violation (<ref-ruling> consid. 3). En outre, lorsque la décision attaquée confirme une décision d'irrecevabilité, les motifs développés dans le mémoire de recours doivent porter sur la question de la recevabilité traitée par l'instance précédente à l'exclusion du fond du litige (arrêt 2C_225/2020 du 8 septembre 2020 consid. 1.6.1 et les arrêts cités). Les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et la référence).
En particulier, une décision ne peut être qualifiée d'arbitraire (art. 9 Cst.) que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 7.1 et la référence; <ref-ruling> consid. 4.3).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant qui entend invoquer que les faits ont été établis de manière manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait de l'arrêt cantonal que s'il démontre la violation de droits constitutionnels, conformément au principe d'allégation susmentionné (cf. supra consid. 2.1). Le recourant ne peut se limiter à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
En l'occurrence, la partie " Rappel des faits pertinents " figurant aux pages 3 à 6 du recours sera ignorée en tant que les faits qui y sont exposés ne sont pas expressément visés par un grief d'arbitraire dans l'établissement des faits, s'écartent de ceux contenus dans l'arrêt attaqué et que le recourant n'invoque, ni a fortiori ne démontre, leur établissement arbitraire ou que leur correction influerait sur le sort de la cause.
3.
Le recourant soutient que la Cour d'appel aurait appliqué arbitrairement (art. 9 Cst.) les <ref-law> et 276 CPC et violé les art. 8 al. 1 et 29 al. 2 Cst. en tant qu'elle a confirmé la décision prononçant l'irrecevabilité de sa requête en modification des mesures protectrices de l'union conjugale.
Il rappelle avoir eu connaissance des faits nouveaux susceptibles d'entraîner une modification desdites mesures, à savoir le déménagement de l'intimée à V._ et son nouvel emploi dès le 1er novembre 2016, postérieurement au dépôt de la demande unilatérale en divorce le 25 novembre 2016. Or, dans la mesure où la compétence du juge des mesures protectrices de l'union conjugale est donnée seulement tant que la procédure de divorce n'est pas pendante, il soutient que celui-ci n'était plus compétent pour traiter de sa requête, de sorte que c'est à bon droit qu'il a formé une demande en modification des mesures protectrices de l'union conjugale, respectivement sollicité des mesures provisionnelles, devant le juge du divorce. En considérant qu'il aurait dû faire valoir ces faits nouveaux dans le cadre d'un appel dirigé contre la décision de mesures protectrices de l'union conjugale du 19 octobre 2016 notifiée aux parties dans sa version motivée le 24 mars 2017, la Cour d'appel avait selon lui appliqué arbitrairement les <ref-law> et 276 CPC.
Il reproche par ailleurs aux juges cantonaux d'avoir violé son droit d'être entendu (art. 29 al. 2 Cst.) au motif qu'ils avaient uniquement traité la question de savoir quand des faits et moyens de preuves nouveaux devaient être invoqués devant l'autorité d'appel (<ref-law>), non pertinente pour la résolution du litige, sans se prononcer sur la question pourtant cruciale de la répartition des compétences entre le juge des mesures protectrices de l'union conjugale et celui des mesures provisionnelles de divorce une fois qu'une demande en divorce a été introduite. Il avait pourtant développé sa motivation précisément sous cet angle devant l'autorité précédente. En omettant de se déterminer sur ses arguments, alors qu'ils étaient de nature à influer sur le sort du litige, celle-ci avait violé les garanties générales de procédure tendant à ce qu'une autorité motive sa décision et traite les questions pertinentes pour l'issue de la cause.
Enfin, le recourant reproche à la Cour d'appel d'avoir violé son droit à l'égalité de traitement (art. 8 al. 1 Cst.) dès lors qu'elle aurait choisi de traiter de manière identique la présente affaire à celle où une demande en divorce n'aurait pas été déposée. Or, ces deux situations n'étaient pas identiques et devaient dès lors être traitées différemment pour tenir compte de la répartition des compétences entre le juge des mesures protectrices de l'union conjugale et celui du divorce.
4.
4.1. Le juge des mesures protectrices est compétent pour la période antérieure à la litispendance de l'action en divorce, tandis que le juge des mesures provisionnelles l'est dès ce moment précis; les mesures protectrices ordonnées avant la litispendance continuent toutefois de déployer leurs effets et demeurent en vigueur tant que le juge des mesures provisionnelles ne les a pas modifiées aux conditions de l'<ref-law>, désormais applicable par renvoi de l'<ref-law> (<ref-ruling> consid. 3.2.2; <ref-ruling> consid. 2; arrêt 5A_154/2019 du 1er octobre 2019 consid. 4.1 et les références publié in FamPra.ch 2020 p. 177). Ainsi, les mesures protectrices ne peuvent être modifiées que si, depuis leur prononcé, les circonstances de fait ont changé d'une manière essentielle et durable, si un changement significatif et non temporaire est survenu postérieurement à la date à laquelle la décision a été rendue, si les faits qui ont fondé le choix des mesures provisoires dont la modification est sollicitée se sont révélés faux ou ne se sont par la suite pas réalisés comme prévu, ou encore si la décision de mesures provisoires est apparue plus tard injustifiée parce que le juge appelé à statuer n'a pas eu connaissance de faits importants (parmi plusieurs: <ref-ruling> consid. 3.1 et les références; arrêt 5A_611/2019 du 29 avril 2020 consid. 4.1 et les autres références).
4.2. La demande de modification du jugement dans les causes matrimoniales et du droit de la filiation (cf. art. 179, 129, 134 et 286 CC) est une nouvelle action au sens de la jurisprudence. Le fondement du procès en modification - à la différence de la voie de la révision - ne peut être que de vrais nova, c'est-à-dire des faits et moyens de preuves qui ne sont apparus ou ne sont devenus disponibles qu'après le moment où, dans une procédure antérieure achevée par un jugement entré en force, les moyens d'attaque et de défense pouvaient pour la dernière fois être invoqués. La jurisprudence admet que sont aussi de " vrais " nova les faits qui existaient certes déjà au moment de la procédure précédente et qui étaient connus de la partie qui les invoque, mais qui n'ont alors pas été invoqués par celle-ci, faute de pouvoir en apporter la preuve (<ref-ruling> consid. 5.2 et les références, traduit et commenté par BASTONS BULLETTI, in Newsletter CPC Online du 11 janvier 2017; arrêt 5A_874/2019 du 22 juin 2020 consid. 3.2).
S'agissant des rapports entre la procédure d'appel contre le premier jugement et la procédure de modification de ce jugement, le Tribunal fédéral a estimé que des éléments nouveaux, sur la base desquels un changement des circonstances pouvait être invoqué, ne devaient pas être renvoyés à une procédure de modification au sens de l'<ref-law> mais devaient être invoqués et pris en compte dans la procédure d' appel contre le jugement de divorce dans la mesure où ils étaient recevables d'après l'<ref-law> (sur les conditions, cf. infra consid. 4.3). Au même titre, les moyens, sur la base desquels sont allégués, respectivement prouvés des changements de circonstances ne doivent pas permettre une modification des mesures protectrices (<ref-law>) lorsqu'ils auraient déjà pu être invoqués dans le cadre de l'appel contre la décision de mesures protectrices (<ref-ruling> consid. 5.3; arrêts 5A_874/2019 précité consid. 3.2 in fine; 5A_347/2019 du 9 avril 2020 consid. 3.1.6).
4.3. L'<ref-law> prévoit que les faits et moyens de preuve nouveaux sont admissibles en appel pour autant qu'ils soient invoqués ou produits sans retard (let. a) et qu'ils n'aient pas pu l'être en première instance, bien que la partie qui s'en prévaut ait fait preuve de la diligence requise (let. b). Ces conditions sont cumulatives (<ref-ruling> consid. 4.2.1; arrêt 4A_76/2019 du 15 juillet 2020 consid. 8.1). S'agissant des vrais nova ( echte Noven), la condition de nouveauté posée par la lettre b est sans autre réalisée et seule celle d'allégation immédiate doit être examinée. En ce qui concerne les pseudo nova ( unechte Noven), il appartient au plaideur qui entend les invoquer devant l'instance d'appel de démontrer qu'il a fait preuve de la diligence requise, ce qui implique notamment d'exposer précisément les raisons pour lesquelles le moyen de preuve n'a pas pu être produit en première instance (<ref-ruling> consid. 4.2.1; <ref-ruling> consid. 4.1; arrêt 4A_76/2019 précité consid. 8.1.1 et 8.1.2).
5.
5.1. En l'espèce, il convient de constater d'emblée que, dans la mesure où le recourant invoque l'art. 8 al. 1 Cst., son grief est irrecevable dès lors que cette garantie constitutionnelle s'adresse à l'État et qu'on ne saurait donc s'en prévaloir à l'appui d'un recours dirigé contre une décision rendue dans une affaire matrimoniale opposant deux particuliers, à l'instar des mesures protectrices de l'union conjugale (arrêts 5A_335/2019 du 4 septembre 2019 consid. 5.1; 5A_337/2019 du 12 août 2019 consid. 3.4; 5A_26/2019 du 6 juin 2019 consid. 4.1 et les références). Tel qu'invoqué, le moyen n'a de toute façon pas de portée propre par rapport à celui tiré de la violation de l'art. 9 Cst. que le recourant soulève également.
5.2. Le recourant reproche ensuite à tort à la cour cantonale d'avoir traité son appel sous le seul angle du moment déterminant pour alléguer les faits nouveaux qui fondent la demande en modification des mesures protectrices de l'union conjugale sans s'interroger quant à la répartition des compétences entre le juge desdites mesures et celui du divorce. En effet, dans la motivation de l'arrêt querellé, la cour cantonale a relevé que le recourant soutenait que le juge du divorce était compétent pour modifier les mesures protectrices de l'union conjugale du fait du dépôt de la demande unilatérale en divorce le 25 novembre 2016. Elle a toutefois considéré ce raisonnement comme erroné dès lors que les mesures protectrices de l'union conjugale déploient leurs effets jusqu'à ce que le juge des mesures provisionnelles les modifie. Ce faisant, les juges cantonaux se sont bien prononcés sur la répartition des compétences entre le juge des mesures protectrices de l'union conjugale et celui du divorce, de sorte que le grief de violation du droit d'être entendu du recourant est infondé.
Au surplus, le raisonnement de la Cour d'appel est conforme à la jurisprudence susrappelée (cf. supra consid. 4.1). En effet, s'il est vrai que la compétence du juge du divorce pour rendre des mesures provisionnelles est donnée dès que la procédure de divorce est pendante, il n'en demeure pas moins que les mesures protectrices de l'union conjugale demeurent en vigueur au-delà de l'ouverture de cette procédure tant qu'elles n'ont pas été modifiées aux conditions de l'<ref-law>. Or, en l'occurrence, si le recourant a bien déposé une demande en divorce et saisi le juge du divorce d'une requête en modification des mesures protectrices de l'union conjugale, ce dernier n'avait pas (encore) statué à ce sujet au moment où l'appel de l'intimée contre le prononcé de mesures protectrices était pendant. Quoi qu'il en soit, quand bien même il aurait été amené à statuer sur mesures provisionnelles avant l'autorité saisie de l'appel, le juge du divorce n'aurait de toute façon pas pu tenir compte des faits nouveaux allégués par le recourant dans la mesure où la jurisprudence prohibe expressément la prise en compte, dans le cadre de la procédure en modification des mesures protectrices, de faits et moyens nouveaux qui auraient déjà pu être invoqués dans le cadre de l'appel contre la décision de mesures protectrices de l'union conjugale. Reste dès lors à examiner si le recourant pouvait effectivement faire valoir les faits nouveaux dont il se prévaut dans le cadre de la procédure d'appel contre l'ordonnance de mesures protectrices de l'union conjugale du 19 octobre 2016.
5.3. Dès lors que la procédure de mesures protectrices de l'union conjugale est soumise à la procédure sommaire (<ref-law>), l'appel joint est exclu (<ref-law>). Le recourant n'aurait donc pu faire valoir des faits nouveaux dans sa réponse à l'appel de l'intimée qu'aux fins de contrer les arguments de cette dernière tendant à l'augmentation de la contribution à son propre entretien, mais non pas pour en obtenir la réduction (dans ce sens: DENIS TAPPY, commentaire de l'<ref-ruling>, in JdT 2017 II p. 342 ss, 351; arrêt du 28 août 2020 de la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg (101 2020 47), consid. 3.3). Cela étant, il apparaît que les faits nouveaux dont se prévaut le recourant sont intervenus postérieurement au prononcé des mesures protectrices de l'union conjugale et qu'il en a eu connaissance avant l'échéance du délai d'appel contre dit prononcé. Il s'agissait ainsi de vrais nova, satisfaisant aux conditions de l'<ref-law>, qui auraient pu être allégués à l'appui d'un appel contre la décision de mesures protectrices de l'union conjugale. Faute d'avoir formé un tel appel, le recourant était donc forclos à s'en prévaloir dans le cadre de la procédure en modification des mesures protectrices de l'union conjugale qu'il a introduite postérieurement à l'échéance du délai d'appel contre le prononcé de mesures protectrices de l'union conjugale puisque, contrairement à ce qu'il allègue, le juge d'appel était non seulement encore mais surtout seul compétent pour statuer sur une demande de modification des mesures protectrices de l'union conjugale fondée sur ces faits nouveaux (dans ce sens: arrêt du 10 juillet 2018 de l' Obergericht du canton de Zurich (LY180003-O/U), consid. 5.2; contra lorsque les faits nouveaux se sont produits après l'ouverture de la procédure de divorce: arrêt du 25 juin 2018 de la 2e Cour civile de la Cour suprême du canton de Berne (ZK 18 107), consid. 16.2, publié in FamPra.ch 2019 p. 555). Partant, c'est sans arbitraire que la Cour d'appel a confirmé la décision d'irrecevabilité de la requête formée le 14 juin 2017 par le recourant.
5.4. Cela étant, le recourant relève encore que les mesures protectrices de l'union conjugale et les mesures provisionnelles ordonnées durant la procédure de divorce ne peuvent être modifiées ou révoquées que si un changement significatif essentiel et durable des circonstances de fait est survenu postérieurement à leur prononcé. Il était dès lors, selon lui, légitime qu'il n'agisse pas immédiatement après la survenance du fait nouveau au risque de se voir opposer que celui-ci n'était pas suffisamment durable. Une telle argumentation ne saurait être suivie. Le Tribunal de céans a certes admis, dans un arrêt 5A_874/2019 du 22 juin 2020 (consid. 4.3.1), que le débirentier qui perd son emploi après la notification d'une (première) décision statuant sur une demande de modification du jugement de divorce puisse faire valoir cette perte d'emploi dans une (seconde) procédure en modification du jugement de divorce et non en appel. Une telle solution se justifiait dans la mesure où le caractère durable de la diminution de revenu ne pouvait intervenir qu'après le moment où des nova étaient encore susceptibles d'être présentés en appel, étant rappelé que la jurisprudence impose généralement une durée minimale de quatre mois pour qu'une période de chômage soit considérée comme durable (arrêt 5A_138/2015 du 1er avril 2015 consid. 4.1.1 et les références et 4.2). En l'espèce toutefois, le fait nouveau constitue, outre le déménagement de l'intimée dans un autre canton, la prise d'un emploi rémunéré qui revêt en principe d'emblée un caractère durable, à l'inverse d'une période de chômage qui est censée être limitée dans le temps. Par ailleurs, il ressort de l'état de fait cantonal que l'intimée a débuté son emploi le 1er novembre 2016 et que le recourant en a eu connaissance au plus tard le 9 janvier 2017, alors que la motivation de la décision de mesures protectrices de l'union conjugale a été notifiée aux parties le 24 mars 2017. L'intimée occupait ainsi son nouvel emploi depuis plus de cinq mois au moment de la procédure d'appel, de sorte que le recourant ne peut se prévaloir de l'absence de durabilité de ce fait nouveau pour justifier qu'il ne l'ait pas invoqué dans un appel contre le prononcé de mesures protectrices de l'union conjugale.
6.
Le recourant se plaint enfin d'arbitraire dans l'application de l'<ref-law> en tant que la Cour d'appel a confirmé la répartition des frais et dépens, arrêtée selon lui sans explication par le premier juge.
6.1. Il estime que l'intégralité des frais et dépens ne pouvait, sans arbitraire, être mis à sa charge. Le Tribunal civil avait opéré le choix de traiter sous la même référence procédurale tant sa requête en modification des mesures protectrices de l'union conjugale que la requête d'avis aux débiteurs déposée le 21 septembre 2018 par l'intimée. Or, cette dernière avait retiré sa requête par courrier du 30 août 2019. Toutefois, aussi bien le premier juge que la Cour d'appel n'avaient tiré aucune conséquence de ce désistement dans la répartition des frais et dépens, ce qui relevait de l'arbitraire. En effet, si la procédure avait été traitée de manière indépendante, il aurait été considéré qu'il avait obtenu gain de cause en raison du désistement, de sorte qu'il aurait bénéficié d'une indemnité de dépens et que les frais judiciaires auraient été mis à la charge de l'intimée.
6.2. Le tribunal dispose d'un large pouvoir d'appréciation non seulement quant à la manière dont les frais et dépens sont répartis, mais également quant aux dérogations à la règle générale de l'<ref-law> (<ref-ruling> consid. 3; arrêt s 5A_489/2019 du 24 août 2020 consid. 19.1 et les arrêts cités; 5A_816/2013 du 12 février 2014 consid. 4.1). Il en résulte que le Tribunal fédéral n'intervient que lorsque l'autorité cantonale a excédé son pouvoir d'appréciation ou en a abusé et a abouti à un résultat manifestement injuste ou à une iniquité choquante (<ref-ruling> consid. 4.4.5, 252 consid. 2.1; <ref-ruling> consid. 2.2.1 et les arrêts cités).
6.3. En l'occurrence, contrairement à ce que soutient le recourant, la Cour d'appel a constaté que le premier juge avait bien motivé la répartition des frais et dépens considérant que la requête d'avis aux débiteurs ne constituait qu'une partie insignifiante du litige et que les frais et dépens qui devaient en découler étaient également insignifiants, de sorte qu'il n'en avait en définitive pas tenu compte. Compte tenu de cette motivation à laquelle le recourant n'oppose en particulier pas que la requête d'avis aux débiteurs aurait entraîné une quelconque activité de son mandataire avant son retrait, on ne discerne pas d'excès du pouvoir d'appréciation des juges cantonaux et, partant, pas non plus d'arbitraire dans l'application de l'<ref-law>. Le grief en ce sens du recourant doit donc être rejeté.
7.
En définitive, le recours est rejeté, dans la mesure de sa recevabilité. Le recourant, qui succombe, supportera les frais de la procédure (<ref-law>). Il n'y a pas lieu d'octroyer de dépens à l'intimée, qui n'a pas été invitée à se déterminer (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 5 février 2021
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand