Faits :
A.
A.a. A.A._, né en 1971 et B.A._, née en 1974, se sont mariés en 2001 à U._. Trois enfants sont issus de cette union: C._, né en 2002, D._, né en 2005, et E._, né en 2007.
A.b. La vie séparée des époux a été réglementée par une ordonnance de mesures protectrices de l'union conjugale rendue le 3 mars 2010 par le président du Tribunal civil du district de U._.
B.
B.a. Le 28 janvier 2011, l'époux a déposé une demande unilatérale en divorce.
B.b. Par ordonnance de mesures provisionnelles du 5 juin 2014, le Tribunal civil des Montagnes et du Val-de-Ruz (ci-après: le Tribunal) a confirmé que la garde des enfants revenait à la mère, fixé un droit de visite en faveur du père, instauré une curatelle au sens de l'<ref-law>, condamné le père à verser à titre de contribution d'entretien pour ses enfants, les rentes complémentaires d'enfants (LPP), qui venaient s'ajouter aux rentes d'enfant invalide (LAI), pour un montant total de 1'904 fr. par enfant, et donné acte à l'époux que l'épouse avait renoncé pour elle-même à toute contribution d'entretien dès le 11 mars 2011.
Par arrêt du 4 novembre 2014, statuant sur l'appel formé par l'époux, la Cour d'appel civile du Tribunal cantonal neuchâtelois (ci-après: la Cour d'appel), a renvoyé la cause au premier juge pour nouvelle décision au sens des considérants, sur la question de la fixation des contributions alimentaires des enfants.
B.c. Par décision de mesures provisionnelles du 28 janvier 2019, le Tribunal a condamné l'époux à verser, à titre de contribution d'entretien pour ses trois enfants, mensuellement et d'avance, en mains de la mère, les rentes complémentaires pour enfants servies par la fondation BCV IIème pilier (LPP) qui se montaient à 976 fr. par enfant, dès le 1er décembre 2013 et en 2014 avec effet au 17 janvier 2011 (la rente qui était en 2011 et 2012 selon décompte de la fondation BCV IIème pilier du 27 mars 2014, de 931 fr. 60 en 2011 et de 975 fr. en 2012), lesquelles viennent s'ajouter aux rentes invalidité pour enfants (LAI) qui étaient d'ores et déjà versées en mains de la mère et qui se montaient à 928 fr. par mois et par enfant (ch. 1), rejeté toute autre ou plus ample conclusion (ch. 2), confirmé pour le surplus l'ordonnance du 5 juin 2014 (ch. 3), et dit que les frais et dépens suivraient le sort de la cause au fond (ch. 4).
B.d. Par mémoire du 14 février 2019, A.A._ a fait appel de cette décision. Il a notamment sollicité son annulation et sa réforme en ce sens que, pour la période du 1er décembre 2013 au 31 décembre 2016, 75% du montant de " la rente complémentaire LPP versée par la BCV " sont affectés à A.A._ et 25% aux enfants " par le biais de leur mère ", que dès le 1er janvier 2017, " les rentes complémentaires LPP versées par l[a] BCV en faveur des enfants C._, D._ et E._ doivent être affectées pour financer le découvert des intéressés dans l'ordre de respectivement CHF 233, CHF 253 et CHF 223 ", le solde étant affecté à raison de 75% à A.A._ et de 25% à B.A._.
Par réponse du 4 mars 2019, l'intimée a notamment conclu au rejet de l'appel.
Par ordonnance du 6 mars 2019, la juge instructeur de la Cour d'appel a notamment notifié la réponse de l'intimée à l'appelant.
L'appelant n'a pas répliqué.
B.e. Par arrêt du 20 mai 2019, expédié le 23 suivant, la Cour d'appel a rejeté l'appel et confirmé la décision attaquée.
C.
Par acte posté le 26 juin 2019, A.A._ exerce un recours en matière civile au Tribunal fédéral contre l'arrêt du 20 mai 2019. Il conclut à son annulation en tant qu'il confirme sa condamnation à verser mensuellement et d'avance, en mains de la mère, à titre de contribution d'entretien pour ses enfants, les rentes complémentaires d'enfant par la fondation BCV IIème pilier (LPP) par 976 fr. par enfant, dès le 1er décembre 2013 et en 2014 avec effet au 17 janvier 2011. Il sollicite sa réforme en ce sens qu'il pourra conserver 75% de chacune des rentes complémentaires d'enfant versées par la fondation BCV IIème pilier (LPP) par 976 fr., soit 2'196 fr. au total (976 fr. x 75% x 3) et qu'il est condamné à ne verser lesdites rentes qu'à hauteur de 244 fr. par enfant, dès le 1er décembre 2013 et en 2014 avec effet au 17 janvier 2011. Subsidiairement, il requiert que la cause soit renvoyée à la cour cantonale pour nouvelle décision dans le sens des considérants.
Des déterminations n'ont pas été requises.

Considérant en droit :
1.
Le recours a été déposé en temps utile (<ref-law>) et dans la forme légale (<ref-law>), contre une décision finale (<ref-law>; <ref-ruling> consid. 2.2) rendue sur recours par une autorité supérieure statuant en dernière instance cantonale (<ref-law>), dans une affaire matrimoniale (<ref-law>) de nature pécuniaire, dont la valeur litigieuse dépasse 30'000 fr. (art. 51 al. 1 let. a, 51 al. 4 et 74 al. 1 let. b LTF), par une partie qui a participé à la procédure devant l'autorité précédente et a un intérêt digne de protection à la modification ou l'annulation de la décision entreprise (art. 76 al. 1 let. a et b LTF). Le recours est donc en principe recevable au regard des dispositions qui précèdent.
2.
2.1. La décision attaquée porte sur des mesures provisionnelles au sens de l'<ref-law> (<ref-ruling> consid. 5.1), en sorte que le recourant ne peut se plaindre que de la violation de ses droits constitutionnels. Le Tribunal fédéral n'examine de tels griefs que s'ils ont été invoqués et motivés (" principe d'allégation "; <ref-law>), c'est-à-dire expressément soulevés et exposés de manière claire et détaillée (<ref-ruling> consid. 2.1; <ref-ruling> consid. 2.4). Le recourant doit ainsi indiquer quelle disposition constitutionnelle aurait été violée et démontrer, par une argumentation précise, en quoi consiste la violation (<ref-ruling> consid. 3). Il doit exister un lien entre la motivation du recours et la décision attaquée. Le recourant doit se déterminer par rapport aux considérants de l'arrêt entrepris; il ne peut se contenter de reprendre presque mot pour mot l'argumentation formée devant l'autorité cantonale (<ref-ruling> consid. 2.1 et 2.3). Les critiques de nature appellatoire sont irrecevables (ATF <ref-ruling> consid. 2.4 et les références).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Dans l'hypothèse d'un recours soumis à l'<ref-law>, le recourant qui entend invoquer que les faits ont été établis de façon manifestement inexacte ne peut obtenir la rectification ou le complètement des constatations de fait que s'il démontre la violation de droits constitutionnels, les art. 95, 97 et 105 al. 2 LTF ne s'appliquant pas directement (<ref-ruling> consid. 7.1 et 585 consid. 4.1). Le Tribunal fédéral n'examine ce grief que s'il a été invoqué et motivé par le recourant conformément au principe d'allégation susmentionné (supra consid. 2.1; <ref-ruling> consid. 2.8; <ref-ruling> consid. 2.2; <ref-ruling> consid. 2.1; <ref-ruling> consid. 1.3). Le recourant ne peut pas se borner à contredire les constatations litigieuses par ses propres allégations ou par l'exposé de sa propre appréciation des preuves; il doit indiquer de façon précise en quoi ces constatations sont arbitraires au sens de l'art. 9 Cst. et sont susceptibles d'influer sur le sort de la cause. Une critique des faits qui ne satisfait pas à cette exigence est irrecevable (<ref-law>; <ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.3 et les références).
2.3. En l'espèce, le recourant indique que son recours "est formé pour violation du droit fédéral, en particulier les articles 285, 285a al. 2 et 3 et l'article 176 CC (<ref-law>) ". Il ajoute que " la décision de l'autorité intimée est également contestée en tant que celle-ci constate les faits de manière manifestement inexacte et en violation du droit (<ref-law>) en particulier aussi en violation de l'art. 9 Cst. en tant qu'elle a omis sans raisons objectives de tenir compte des preuves pertinentes et qu'elle retient des charges pour enfant de manière discrétionnaire ".
Ce faisant, il apparaît que le recourant s'est mépris sur la nature de la décision querellée et a, partant, omis que seuls les griefs d'ordre constitutionnel répondant aux exigences de motivation accrue découlant du principe d'allégation peuvent être examinés dans le cadre d'un recours soumis à l'<ref-law>. Les moyens (principaux) du recours tirés de la violation des art. 285, 285a et 176 CC, ainsi que de l'<ref-law> dont la violation est également invoquée, sont dès lors irrecevables.
Le recours n'apparaît pas plus recevable en tant qu'il est dirigé contre la constatation et l'appréciation des faits opérées par la cour cantonale. Ainsi, lorsque le recourant prétend, en lien avec le budget des enfants dont certaines charges auraient été ajoutées " de manière discrétionnaire ", que, " au vu de [sa] motivation absconse, le jugement constate les faits de façon manifestement inexacte au sens de l'article 97 LTF et viole le droit, en particulier les articles 285 ss CC ", sa critique est vaine faute de tout grief de violation de l'art. 9 Cst. dûment invoqué et motivé. Le recourant se borne en effet à qualifier la décision entreprise de " critiquable " ou de " contestable " ou encore à affirmer péremptoirement, après avoir présenté, de manière purement appellatoire, sa propre vision des faits de la cause, que la cour cantonale aurait " outrepassé son pouvoir d'appréciation ". Le même constat s'impose à l'égard de la critique ayant trait à la charge fiscale des enfants. Là encore, le recourant n'invoque, ni a fortiori ne démontre, l'arbitraire au sens de l'art. 9 Cst., affirmant simplement que la charge fiscale retenue " à tort " par la cour cantonale est " contraire au droit "; il n'indique de surcroît pas en quoi ce fait, prétendument constaté " de manière manifestement inexacte ", influerait sur le résultat de la cause quand bien même la décision de première instance, qui retenait une charge fiscale des enfants inférieure, a été confirmée. On ne discerne pas non plus en quoi l'arrêt attaqué souffrirait sur ce point d'un défaut de motivation, qui violerait le droit d'être entendu du recourant. Ce dernier a en effet manifestement été en mesure d'apprécier correctement la portée de la décision et de l'attaquer en connaissance de cause, ce d'autant que la cour cantonale n'a fait que suivre les arguments développés par l'intimée dans sa réponse à l'appel à laquelle le recourant a décidé de ne pas répliquer. Quoi qu'il en soit, contrairement aux exigences posées par la jurisprudence (parmi plusieurs: arrêts 4A_630/2018 du 17 juin 2019 consid. 7.1 et les références; 5A_37/2017 du 10 juillet 2017 consid. 3.1.1 et les références), le recourant n'expose pas quelle influence la prétendue violation du droit d'être entendu aurait pu avoir sur la procédure. Il ne le fait pas non plus lorsqu'il soulève une telle violation en reprochant à la cour cantonale de ne pas avoir arrêté, " malgré les modifications qu'elle entreprend ", le montant de l'entretien convenable de chacun des enfants. Au demeurant, la simple lecture de l'arrêt permet parfaitement de comprendre sur quels postes la Cour d'appel s'écarte, chiffres à l'appui, du calcul de l'entretien convenable des enfants arrêté par le premier juge. On ne voit dès lors pas en quoi l'arrêt attaqué serait arbitraire. Quoi qu'il en soit, la simple affirmation - erronée - que la cour cantonale aurait admis " sans autre[s] commentaires " que l'entretien convenable des enfants est supérieur à ce qui avait été retenu en première instance est insuffisante au regard des exigences découlant du principe d'allégation. La motivation du recours présente les mêmes carences en tant que le recourant reproche à la cour cantonale d'avoir commis l'arbitraire en omettant le fait qu'il est devenu le père d'un quatrième enfant, issu de sa relation avec sa nouvelle compagne.
Enfin, lorsqu'il se plaint du fait que la cour cantonale n'a pas pris en compte les revenus dont aurait bénéficié l'intimée pour financer son immeuble, le recourant ne fait que répéter son argument avancé dans son mémoire d'appel (p. 5 et 10) sans aucunement discuter les motifs retenus dans l'arrêt attaqué pour l'écarter (arrêt attaqué, p. 10). Un tel procédé n'est pas admissible (cf. supra consid. 2.1).
3.
En définitive, le recours se révèle entièrement irrecevable, aux frais de son auteur (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée, qui n'a pas été invitée à se déterminer (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
Les frais judiciaires, arrêtés à 2'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 27 septembre 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Hildbrand