Faits : A. A.a. A.X._, né en 1963, et B.X._, née en 1965, se sont mariés le 3 mars 1989 à La Chaux-de-Fonds. Un enfant, désormais majeur, est issu de leur union. A.b. Les parties vivent séparées depuis le 3 mars 2009. Par convention de séparation du 9 novembre 2009, modifiée lors de l'audience du 16 mars 2010 et ratifiée par le juge civil pour valoir ordonnance de mesures protectrices de l'union conjugale, le mari s'est engagé à verser à son épouse une contribution mensuelle à son entretien de 1'200 fr. Avec l'accord des parties, la pension a été réduite à 500 fr. par mois par décision du 24 août 2011. B. B.a. Le 2 septembre 2011, A.X._ a ouvert action en divorce devant le Tribunal civil des Montagnes et du Val-de-Ruz du canton de Neuchâtel. Lors d'une audience du 31 octobre 2011, les parties se sont mises d'accord sur le prononcé du divorce, le principe du partage par moitié de leurs avoirs de prévoyance professionnelle et ont considéré que leur régime matrimonial était liquidé. Elles ne sont en revanche pas parvenues à s'entendre sur la question d'une éventuelle contribution d'entretien en faveur de l'épouse. B.b. Par jugement du 6 juin 2013, le premier juge a prononcé le divorce des parties et a condamné le mari au versement d'une contribution d'entretien mensuelle de 800 fr. du 1 er mars 2013 au 28 février 2018, puis de 400 fr. du 1 er mars 2018 au 28 février 2023, avec clause usuelle d'indexation. B.c. Statuant le 22 janvier 2014 sur l'appel du mari et l'appel joint de l'épouse, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a rejeté les deux appels et a confirmé la décision entreprise. C. Par acte du 5 mars 2014, A.X._ interjette un recours en matière civile contre la décision du 22 janvier 2014. Il conclut principalement à l'annulation de l'arrêt du 22 janvier 2014 et, partant, à l'annulation des chiffres 3, 4, 6 et 7 du dispositif de la décision de première instance du 6 juin 2013 et à ce qu'il soit dit qu'il ne doit aucune contribution à l'entretien de son ex-épouse; subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. A l'appui de ses conclusions, il invoque une violation de l'art. 125 CC et les art. 95 let. a et 97 al. 1 LTF. Il sollicite en outre d'être mis au bénéfice de l'assistance judiciaire. Des observations n'ont pas été requises.