Faits : A. A.A._ (1964) et B.A._ (1968) se sont mariés le 4 décembre 1991. Ils sont les parents d'un enfant aujourd'hui majeur. Les parties se sont séparées au mois de février 2014. L'époux a un second enfant, né en 2016 de sa relation avec sa nouvelle compagne. B. B.a. Les conditions de la vie séparée des époux ont été réglées par ordonnance de mesures protectrices de l'union conjugale du Tribunal civil du Littoral et du Val-de-Travers (ci-après: le Tribunal) du 18 janvier 2017. Cette ordonnance prévoyait notamment que l'époux devait s'acquitter d'une contribution d'entretien mensuelle en faveur de l'épouse de 1'500 fr. entre le 1er mars 2015 et le 31 août 2016, puis de 1'750 fr. dès le 1er septembre 2016. B.b. Le 15 mars 2016, l'époux a saisi le Tribunal d'une demande unilatérale en divorce, par laquelle il a notamment conclu à ce qu'aucune contribution d'entretien ne soit due entre conjoints après le divorce. B.c. Lors d'une audience tenue le 29 juin 2016, l'épouse a conclu reconventionnellement à ce que l'époux lui verse une contribution d'entretien après divorce de 2'000 fr. par mois. Dans son mémoire de demande motivé du 21 octobre 2016, l'époux a conclu au rejet de la conclusion en entretien prise par l'épouse; cette dernière a confirmé sa conclusion dans sa réponse et demande reconventionnelle du 31 janvier 2017. B.d. Par jugement du 31 octobre 2018, le Tribunal a prononcé le divorce des parties (ch. 1), condamné l'époux à s'acquitter en faveur de l'épouse, mensuellement et d'avance, dès l'entrée en force du jugement et jusqu'au mois précédant l'âge de la retraite de l'époux, d'une contribution d'entretien d'un montant de 1'000 fr. (ch. 2), rejeté toutes autres ou plus amples conclusions prises par les parties (ch. 3) et réglé le partage de la prévoyance professionnelle (ch. 4). C. C.a. Par acte déposé le 30 novembre 2018, l'épouse a fait appel du jugement du 31 octobre 2018. Elle a notamment conclu à la réforme du chiffre 2 de son dispositif en ce sens que la contribution d'entretien en sa faveur soit portée à 2'000 fr. par mois. Par réponse du 21 janvier 2019 contenant un appel joint, l'époux a notamment conclu au rejet de l'appel et à l'annulation du chiffre 2 du dispositif du jugement attaqué en ce sens qu'il soit dispensé du paiement d'une contribution d'entretien à son épouse. Le 22 février 2019, l'épouse a confirmé les conclusions de son appel et a conclu au rejet de l'appel joint. C.b. Par arrêt du 21 août 2019, expédié le 23 août suivant, la Cour d'appel civile du Tribunal cantonal neuchâtelois a admis l'appel (ch. 1), rejeté l'appel joint (ch. 2), annulé les chiffres 2, 5 et 6 du dispositif du jugement attaqué (ch. 3), augmenté la contribution d'entretien due à l'épouse à 1'900 fr. (ch. 3.1) et confirmé, pour le surplus, le jugement du 31 octobre 2018 (ch. 4). D. Par acte du 24 septembre 2019, l'époux interjette un recours en matière civile au Tribunal fédéral contre cet arrêt et conclut à ce qu'il soit réformé en ce sens que toute conclusion en entretien prise par l'épouse soit rejetée. Des déterminations n'ont pas été requises.