Faits :
A.
A.a. B.A._, née en 1966 et A.A._, né en 1964, se sont mariés le 9 janvier 2004 sous le régime de la séparation de biens. Deux enfants sont issus de leur union, à savoir C._, née en 2004, et D._, née en 2005.
Suite à des difficultés conjugales, le couple s'est séparé le 1er septembre 2014. B.A._ s'est constitué un domicile séparé avec les enfants.
A.b. Le 12 mai 2016, B.A._ a déposé une requête de mesures protectrices de l'union conjugale concluant notamment au versement en sa faveur d'une contribution d'entretien mensuelle de 10'000 fr. dès la date de la séparation, sous déduction des montants déjà perçus, ainsi que d'une provisio ad litem de 5'000 fr.
A.c. Lors de l'audience du 30 novembre 2016, B.A._ a modifié ses conclusions en requérant notamment l'augmentation de la provisio ad litem à 8'000 fr. A cette occasion, les parties ont passé une convention et se sont entendues sur l'attribution du logement conjugal à A.A._, la mise à disposition en faveur de B.A._ du véhicule qu'elle conduit habituellement, l'attribution de la garde des enfants à leur mère, l'instauration d'un droit de visite usuel ainsi qu'une nuit par semaine en faveur du père et le versement à charge de A.A._ d'une contribution d'entretien de 2'500 fr. par mois en faveur de chacune de ses filles, allocations familiales en sus.
A.d. Le 26 janvier 2017, A.A._ a déposé une demande unilatérale en divorce par-devant le Tribunal civil du Littoral et du Val-de-Travers (ci-après: Tribunal civil). Il a conclu notamment au prononcé du divorce, au maintien de l'autorité parentale conjointe, à l'instauration d'un droit de visite usuel sur ses filles ainsi que tous les mardis soir jusqu'au mercredi matin, à la fixation d'une contribution d'entretien à sa charge en faveur de chacune de ses filles d'un montant de 2'500 fr. par mois jusqu'à leur majorité, puis de 1'750 fr. jusqu'à la fin d'études régulièrement menées, à la fixation d'une contribution d'entretien en faveur de son ex-épouse de 2'818 fr. dès le prononcé du divorce et jusqu'en décembre 2017, puis de 300 fr. de janvier 2018 à novembre 2019, au partage des avoirs de prévoyance professionnelle accumulés durant le mariage par moitié, sous réserve des rachats et étant précisé que chacun des époux conserverait ses assurances troisième pilier, et à la restitution du véhicule conduit par B.A._.
A.e. Lors de l'audience du 8 mars 2017, les parties ont passé une convention prévoyant l'admissibilité du principe du divorce, le maintien de l'autorité parentale conjointe sur les deux enfants, l'attribution de la garde des enfants à leur mère, l'instauration d'un droit de visite usuel en faveur du père ainsi que tous les mardis soir jusqu'au mercredi matin et le versement d'une contribution d'entretien de 2'500 fr. par mois en faveur de chacune des filles jusqu'à leur majorité, " la suite devant être réglée par les parties ".
A.f. Le 3 juillet 2017, B.A._ a déposé à la fois des observations finales relatives à sa requête de mesures protectrices de l'union conjugale - devenues mesures provisionnelles - confirmant les conclusions prises lors de l'audience du 30 novembre 2016 et répondu à la demande en divorce, revendiquant le versement d'une contribution d'entretien de 10'000 fr. par mois en sa faveur jusqu'à ce qu'elle ait atteint l'âge de la retraite ainsi que le partage des avoirs de libre passage accumulés pendant le mariage dans leur intégralité.
A.g. Le 7 juillet 2017, A.A._ a également déposé des observations sur la requête de mesures protectrices de l'union conjugale et a conclu à ce que la contribution d'entretien en faveur de B.A._ soit fixée à 2'810 fr. par mois.
A.h. Par ordonnance de mesures provisionnelles du 12 juin 2018, le juge du Tribunal civil a donné acte aux époux de ce qu'ils étaient en droit de vivre séparés (ch. 1 du dispositif), attribué à A.A._ l'ancien domicile conjugal (ch. 2), attribué la garde des enfants à l'épouse (ch. 3), ratifié la convention partielle passée par les parties le 30 novembre 2016 (ch. 5) et condamné A.A._ à participer à l'entretien de son épouse par le paiement d'une contribution de 6'000 fr. par mois dès le 1 er septembre 2014 (ch. 4) ainsi qu'au versement d'une provisio ad litem de 5'000 fr. en faveur de cette dernière (ch. 6).
B.
Statuant par arrêt du 28 novembre 2018 sur l'appel interjeté le 29 juin 2018 par A.A._ contre l'ordonnance du premier juge, la Cour d'appel civile du Tribunal cantonal neuchâtelois (ci-après: Cour d'appel) l'a admis partiellement et a notamment annulé le chiffre 4 du dispositif de l'ordonnance querellée qu'elle a réformé en ce sens que la contribution d'entretien de l'épouse est due à compter du 12 mai 2015.
C.
Par acte du 28 décembre 2018, A.A._ forme un recours en matière civile au Tribunal fédéral contre cet arrêt dont il requiert principalement l'annulation et la réforme en ce sens qu'il est condamné à verser mensuellement à son épouse une contribution à son entretien d'un montant maximal de 4'334 fr. dès le 12 mai 2015, sous réserve des montants déjà versés ou acquittés directement. Subsidiairement, il conclut au renvoi de la cause à la Cour d'appel pour nouvelle décision au sens des considérants. Il requiert également que son recours soit assorti de l'effet suspensif.
Des déterminations sur le fond n'ont pas été requises.
D.
Par ordonnance présidentielle du 23 janvier 2019, l'effet suspensif a été accordé pour les arriérés des contributions d'entretien dues jusqu'à la fin du mois de novembre 2018 et rejeté pour les montants dus à compter du 1 er décembre 2018.
Considérant en droit :
1.
Le recours a été déposé en temps utile (art. 100 al. 1 LTF), contre une décision finale (art. 90 LTF), par une partie qui a succombé en dernière instance cantonale et sur recours (art. 75 et 76 LTF), dans une affaire matrimoniale (art. 72 al. 1 LTF). La cause a pour objet la contribution d'entretien en faveur de l'épouse. Il s'agit donc d'une affaire de nature pécuniaire, dont la valeur litigieuse est supérieure à 30'000 fr. (art. 74 al. 1 let. b et 51 al. 1 let. a et al. 4 LTF). Le recours en matière civile est ainsi en principe recevable au regard des dispositions qui précèdent.
2.
2.1. Comme la décision entreprise porte sur des mesures provisionnelles au sens de l'art. 98 LTF, la partie recourante ne peut dénoncer que la violation de droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés par le recourant (" principe d'allégation ", art. 106 al. 2 LTF), c'est-à-dire s'ils ont été expressément soulevés et exposés de manière claire et détaillée (ATF consid. 2.2; 134 I 83 consid. 3.2 et les arrêts cités). Le recourant qui se plaint de la violation d'un droit fondamental ne peut donc se borner à critiquer la décision attaquée comme il le ferait en instance d'appel, où l'autorité de recours jouit d'une libre cognition; il ne peut, en particulier, se contenter d'opposer sa thèse à celle de l'autorité cantonale, mais doit démontrer ses allégations par une argumentation précise (ATF 134 II 349 consid. 3; 133 II 396 consid. 3.2). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (ATF 140 III 264 consid. 2.3; 139 II 404 consid. 10.1 et les arrêts cités).
D'après la jurisprudence, une décision est arbitraire (art. 9 Cst.) lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité (ATF 139 III 334 consid. 3.2.5; 132 III 209 consid. 2.1); il ne suffit pas qu'une autre solution paraisse concevable, voire préférable (ATF 129 I 8 consid. 2.1); pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire, non seulement dans ses motifs, mais aussi dans son résultat (ATF 144 I 113 consid. 7.1; 142 II 369 consid. 4.3; 141 III 564 consid. 4.1 et les références).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il ne corrige les constatations de fait que si elles sont arbitraires (art. 9 Cst.) et ont une influence sur le résultat de la décision. En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (ATF 140 III 264 consid. 2.3 et les références). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. (ATF 133 II 249 consid. 1.4.3). Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (art. 106 al. 2 LTF; ATF 140 III 264 consid. 2.3 et les références; 133 II 249 consid. 1.4.3).
Le recourant intègre à son mémoire une partie " En fait " (recours, p. 4-6). En tant que les éléments qui y sont exposés divergent de ceux constatés dans l'arrêt querellé et qu'ils ne sont pas discutés sous l'angle de l'établissement arbitraire des faits ou de l'appréciation arbitraire des preuves, il n'en sera pas tenu compte.
2.3. En vertu des principes de la bonne foi et de l'épuisement des griefs (art. 75 al. 1 LTF), le recours n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance, ce qui suppose que les voies de droit cantonales aient été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel. Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés, le principe de l'épuisement matériel des instances cantonales veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (ATF 143 III 290 consid. 1.1 et les références; arrêts 5A_605/2018 du 7 décembre 2018 consid. 5.2; 4A_32/2018 du 11 juillet 2018 consid. 5.2.1-5.2.2).
3.
Le recourant reproche en premier lieu à la cour cantonale d'avoir appliqué à tort la méthode de calcul dite du minimum vital élargi avec répartition de l'excédent pour établir le montant de la contribution due à l'entretien de l'intimée, entraînant ainsi l'augmentation du niveau de vie de cette dernière ainsi qu'un transfert de fortune. Eu égard à son revenu mensuel de 25'000 fr. et au train de vie adopté durant l'union, il estime que la cour cantonale devait appliquer la méthode de calcul dite du niveau de vie. Il se plaint dès lors d'une application arbitraire de l'art. 176 al. 1 CC.
3.1. La cour cantonale a relevé que le recourant contestait la méthode de calcul de la contribution d'entretien appliquée par le premier juge et alléguait qu'il se justifiait de ne tenir compte que des dépenses nécessaires au maintien du niveau de vie durant le mariage, avec un calcul concret. Il s'était toutefois dispensé de présenter un tel calcul devant elle, de sorte que son recours était insuffisamment motivé au regard des exigences de l'art. 311 al. 1 CPP (recte: CPC) et devait être déclaré irrecevable sur ce point. Par surabondance, elle a constaté que les allégations du recourant dans son appel au sujet de son épargne 2 eet 3 e piliers contredisaient celles de sa propre demande en divorce. Les copies des déclarations d'impôts versées au dossier ne permettaient pas de vérifier l'effectivité des montants affectés aux 2 eet 3 e piliers, ni la proportion dans laquelle chacun des époux en avait, le cas échéant, bénéficié. Quant aux attestations émanant des compagnies d'assurance, elles faisaient état de cotisations effectivement versées en faveur du recourant pour un total de 186'055 fr. 50 durant les dix années de vie commune et il en ressortait que l'intimée était également assurée. Au vu des ressources du couple, un tel niveau d'épargne, fiscalement déductible, au bénéfice de chaque conjoint, relevait de l'entretien ordinaire qui incluait aussi de prendre des dispositions en vue de l'avenir financier de la famille. Au surplus, il ressortait des déclarations fiscales de 2004 à 2014 des parties que leur fortune numéraire s'élevait à 151'547 fr. en 2004, 58'049 fr. en 2012 et 72'036 fr. en 2014. On pouvait donc en déduire que, bien que bénéficiant d'une situation financière favorable, les époux dépensaient l'entier de leurs revenus. Or, le recourant n'avait pas allégué ni démontré que ces dépenses lui profitaient exclusivement ou dans une large mesure. La Cour d'appel a donc estimé qu'il était admissible dans cette configuration de recourir à la méthode du minimum vital élargi avec répartition de l'excédent.
3.2. La loi n'impose pas de mode de calcul particulier pour fixer le montant de la contribution d'entretien de l'époux et les tribunaux jouissent d'un large pouvoir d'appréciation en la matière (art. 4 CC; ATF 134 III 577 consid. 4; 116 II 103 consid. 2f). Quelle que soit la méthode appliquée, le train de vie mené jusqu'à la cessation de la vie commune constitue la limite supérieure du droit à l'entretien (ATF 137 III 102 consid. 4.2.1.1; arrêt 5A_479/2015 du 6 janvier 2016 consid. 4.4.2 et les références).
Selon la jurisprudence, en cas de situation financière favorable, dans laquelle les frais supplémentaires liés à l'existence de deux ménages séparés sont couverts (arrêt 5A_445/2014 du 28 août 2014 consid. 5.1, publié in FamPra.ch 2015 p. 217), il faut recourir à la méthode fondée sur les dépenses indispensables au maintien du train de vie durant la vie commune. Cette méthode implique un calcul concret. Il incombe au créancier de la contribution d'entretien de démontrer les dépenses nécessaires à son train de vie. Toutefois, il est admissible de recourir à la méthode du minimum vital élargi avec répartition de l'excédent, lorsque - bien que bénéficiant d'une situation financière favorable -, les époux dépensaient l'entier de leurs revenus (ce qui est le cas lorsqu'il est établi qu'ils ne réalisaient pas d'économies ou lorsque l'époux débiteur ne démontre pas une quote-part d'épargne) ou que, en raison des frais supplémentaires liés à l'existence de deux ménages séparés, la quote-part d'épargne existant jusqu'alors est entièrement absorbée par l'entretien courant. En effet, dans ce cas, cette seconde méthode permet de tenir compte adéquatement du niveau de vie antérieur et des restrictions à celui-ci qui peuvent être imposées à chacun des époux (ATF 140 III 485 consid. 3.3; 137 III 102 consid. 4.2.1.1).
3.3. Selon le recourant, le coût du train de vie durant l'union s'élevait à 9'334 fr. par mois, de sorte que ce montant devait constituer la limite supérieure de l'entretien de l'intimée et des enfants. Ce montant incluait 5'000 fr. pour la couverture des frais courants - dont il convenait toutefois de déduire ses propres frais de nourriture puisque ce montant servait à couvrir les besoins courants de toute la famille -, les frais de logement (2'347 fr.), les assurances pour l'intimée (385 fr.), les assurances pour les enfants (112 fr.), les impôts (1'200 fr.) et les frais de véhicule (290 fr.).
Or, s'agissant en particulier du poste de charge afférent aux frais du véhicule, la cour cantonale a relevé que, selon les déclarations du recourant, il assumait le leasing du véhicule mis à disposition de son épouse, lequel s'élevait à 1'100 fr., ainsi que les autres frais du véhicule (taxes et assurances). Le recourant soutient désormais, sous l'angle de l'arbitraire dans l'établissement des faits, qu'il s'était contenté de déclarer qu'il assumait ce montant avant la séparation des parties lors de son audition du 8 mars 2017. Il n'avait en revanche plus mentionné ce montant dans ses écritures subséquentes pour la simple et bonne raison que ce leasing avait pris fin début janvier 2018. La Cour d'appel avait donc retenu cette charge pour le futur en violation de l'art. 8 CC puisque l'intimée n'avait pas démontré que ces frais étaient encore assumés à ce jour alors que le fardeau de la preuve lui en incombait. Quant à lui, il avait certes admis ce montant mais uniquement pour le passé et non pour le futur, il n'y avait donc pas lieu de l'intégrer dans les charges de l'intimée. Par son argumentation, le recourant omet que la méthode de calcul fondée sur le maintien du train de vie dont il préconise l'application et qu'il utilise pour le calcul qu'il propose devant la Cour de céans implique d'établir quelles étaient les dépenses concrètes du couple durant l'union. Partant, si on le suit dans son argumentation, c'est bien à tout le moins un montant de 1'100 fr., correspondant au montant dont il a lui-même reconnu s'acquitter pour le leasing du véhicule utilisé par son épouse durant l'union, qu'il faut prendre en considération à titre de frais de véhicule, et non 290 fr.
Sous l'angle de l'arbitraire dans l'établissement des faits, le recourant reproche également à la cour cantonale de ne pas avoir déduit la part dévolue aux enfants des frais de logement retenus pour l'intimée. Dans la mesure où sa propre argumentation repose sur un calcul global du coût du train de vie de l'intimée et des enfants durant l'union, qu'il compare au montant total des contributions d'entretien allouées par la cour cantonale, on peine à saisir pour quel motif la part du loyer des enfants devrait être déduite du loyer total. Par ailleurs, s'il est vrai que l'intimée a allégué dans sa requête de mesures protectrices de l'union conjugale que le recourant mettait à sa disposition un montant de 5'000 fr. pour les besoins courants, il ressort toutefois de l'arrêt entrepris que, dans sa demande en divorce, le recourant avait allégué que ce montant ascendait à 5'400 fr. puis affirmé qu'il s'élevait à 5'600 fr. lors de son audition. Le recourant soutient certes que ce dernier montant correspond en réalité à ce qu'il versait après la séparation et non durant l'union, de sorte que la cour cantonale aurait dû se fier au montant de 5'000 fr. ressortant des écritures de l'intimée. Cela étant, quand bien même ce montant de 5'400 fr. à 5'600 fr. que le recourant a affirmé verser en sus des charges déjà évoquées ne l'aurait été qu'après la séparation, il n'en demeure pas moins qu'il a lui-même soutenu que ce montant avait permis à l'intimée de maintenir son niveau de vie après la séparation. Dans ces circonstances, il n'apparaît pas arbitraire de tenir compte de ce dernier montant en lieu et place des 5'000 fr. évoqués par l'intimée, ce d'autant que le recourant s'acquittait alors, de son propre aveu, encore en sus d'un montant mensuel de 480 fr. correspondant à l'utilisation d'une carte de crédit qu'il avait laissée à disposition de l'intimée.
Ainsi, même en appliquant la méthode de calcul préconisée par le recourant et en prenant en compte les chiffres qu'il avance pour établir le train de vie de l'intimée et des enfants tout en corrigeant les postes relatifs aux frais de véhicule et aux besoins courants, c'est un montant oscillant entre 10'544 fr. et 10'744 fr. que l'on obtient, à savoir 256 à 456 fr. de moins que le montant total de 11'000 fr. (6'000 fr. + 5'000 fr.) alloué par la Cour d'appel pour les contributions d'entretien de l'épouse et des enfants. Compte tenu du train de vie des parties durant l'union, une telle différence ne saurait entraîner une décision arbitraire dans son résultat, quand bien même il faudrait encore en déduire les frais de repas du recourant. Cela vaut d'autant que ce montant n'inclut pas de poste pour les loisirs et les vacances ni les autres frais du véhicule de l'intimée (taxes et assurances), alors même que le recourant n'a pas valablement contesté le fait qu'il s'acquittait de ces charges durant l'union. En effet, même si l'intimée n'a pas démontré quel était le montant dédié mensuellement pour elle et les enfants aux vacances et aux loisirs, le recourant n'a pas contesté le constat selon lequel il prenait en charge ces frais et a lui-même admis que la famille partait en vacances une fois par an en été. Par ailleurs, si le recours avait dû être admis du fait de l'application par la cour cantonale d'une méthode de calcul inadaptée au train de vie des parties et entraînant un résultat arbitraire, la cause aurait dû lui être renvoyée pour complément d'instruction s'agissant précisément de l'établissement du train de vie de l'intimée durant l'union, à savoir notamment du montant affecté aux loisirs et aux vacances. Compte tenu de ce qui précède, il n'y a pas lieu de s'interroger sur la question de savoir si les époux dépensaient effectivement l'intégralité de leurs revenus - ce qui justifierait dans le cas d'espèce l'application de la méthode du minimum vital avec répartition de l'excédent nonobstant leur situation confortable - et les griefs y relatifs du recourant n'ont pas à être examinés. Le grief d'arbitraire dans l'application de l'art. 176 al. 1 CC s'avère en définitive infondé.
4.
Le recourant se plaint également de la violation de l'art. 301a CPC et de l'application erronée du nouveau droit de l'entretien de l'enfant.
4.1. Le recourant rappelle que la procédure de séparation a été initiée sous l'empire de l'ancien droit de l'entretien de l'enfant et que les parties s'étaient entendues, le 30 novembre 2016, sur le versement d'une contribution d'entretien de 2'500 fr. par enfant. Cette convention avait été homologuée par le premier juge dans sa décision du 12 juin 2018 et cet aspect confirmé par la Cour d'appel. Ni le montant de l'entretien convenable des enfants, ni le montant de la contribution de prise en charge n'avaient toutefois été précisés dans la convention, ce en violation des art. 285 et 287a CC, applicables à la présente cause sur la base de l'art. 13c bis al. 1 Titre final CC. Les juges cantonaux avaient ainsi manifestement violé le droit en homologuant postérieurement à son entrée en vigueur une convention contraire à celui-ci. La Cour d'appel avait par ailleurs fait preuve d'arbitraire en décrétant que les contributions dues à l'entretien des enfants ne devaient pas être prises en compte dans le calcul de la contribution d'entretien de l'épouse, sans avoir au préalable déterminé si ses frais de subsistance n'étaient pas déjà partiellement inclus dans le calcul des contributions d'entretien des enfants. La Cour d'appel devait soit calculer à nouveau les contributions d'entretien selon le nouveau droit soit déduire de la contribution en faveur de l'intimée la part de la contribution versée aux enfants qui lui profite. En application de la maxime d'office, les juges cantonaux auraient dû revoir la situation indépendamment du fait que les parties avaient conclu une convention, laquelle ne les liait pas.
4.2. Il est douteux que ce grief soit recevable sous l'angle de l'art. 106 al. 2 LTF, dans la mesure où le recourant se plaint d'une violation des art. 176, 285 et 287a CC ainsi que des art. 301a et 296 CPC sans invoquer de grief d'arbitraire en lien avec ces dispositions. Quoi qu'il en soit, à la lecture du mémoire d'appel du recourant, il apparaît que le grief de violation de ces dispositions est nouveau et, partant, irrecevable faute de satisfaire au principe de l'épuisement des griefs (cf. supra consid. 2.3). Seule la critique selon laquelle le premier juge avait omis de tenir compte du fait que les contributions d'entretien des enfants incluaient les frais de subsistance de l'épouse et sa part au loyer a déjà été formulée devant l'autorité précédente et est valablement soulevée sous l'angle de l'arbitraire devant le Tribunal de céans. Il est vrai que le mode de calcul utilisé par les autorités cantonales ne permet que difficilement d'établir si une part de l'entretien des enfants est incluse dans la contribution allouée à l'intimée et inversement. Cette problématique est liée au fait qu'elles ont intégré dans leur calcul un montant global de 5'400 fr. à 5'600 fr. que le recourant versait mensuellement à son épouse pour couvrir les frais courants, de sorte que l'on ne sait pas quelle part de ce montant était dévolue aux besoins de l'intimée, respectivement à ceux des enfants. Quoi qu'il en soit, cette question n'est en définitive pas déterminante dans la mesure où il a d'ores et déjà été constaté dans le considérant précédent que le montant total de 11'000 fr. (6'000 fr. + 5'000 fr.) alloué par la Cour d'appel pour les contributions d'entretien de l'épouse et des enfants ne leur permettait pas de bénéficier d'un train de vie supérieur à celui qui était le leur durant la vie commune. Autant que recevable, ce grief est en conséquence également infondé.
5.
En définitive, le recours est rejeté dans la mesure de sa recevabilité. La requête d'assistance judiciaire doit être rejetée faute de chances de succès du recours (art. 64 al. 1 LTF). Les frais judiciaires sont par conséquent mis à la charge du recourant qui succombe en application de l'art. 66 al. 1 LTF. Il n'y a pas lieu d'allouer de dépens à l'intimée qui n'a pas été invitée à se déterminer sur le fond et n'a pas été suivie dans ses conclusions sur effet suspensif (art. 68 al. 1 et 2 LTF).
Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 13 août 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand