Faits :
A.
A.a. A.X._, né en 1963, et B.X._, née en 1965, se sont mariés le 3 mars 1989 à La Chaux-de-Fonds.
Un enfant, désormais majeur, est issu de leur union.
A.b. Les parties vivent séparées depuis le 3 mars 2009.
Par convention de séparation du 9 novembre 2009, modifiée lors de l'audience du 16 mars 2010 et ratifiée par le juge civil pour valoir ordonnance de mesures protectrices de l'union conjugale, le mari s'est engagé à verser à son épouse une contribution mensuelle à son entretien de 1'200 fr. Avec l'accord des parties, la pension a été réduite à 500 fr. par mois par décision du 24 août 2011.
B.
B.a. Le 2 septembre 2011, A.X._ a ouvert action en divorce devant le Tribunal civil des Montagnes et du Val-de-Ruz du canton de Neuchâtel. Lors d'une audience du 31 octobre 2011, les parties se sont mises d'accord sur le prononcé du divorce, le principe du partage par moitié de leurs avoirs de prévoyance professionnelle et ont considéré que leur régime matrimonial était liquidé. Elles ne sont en revanche pas parvenues à s'entendre sur la question d'une éventuelle contribution d'entretien en faveur de l'épouse.
B.b. Par jugement du 6 juin 2013, le premier juge a prononcé le divorce des parties et a condamné le mari au versement d'une contribution d'entretien mensuelle de 800 fr. du 1 er mars 2013 au 28 février 2018, puis de 400 fr. du 1 er mars 2018 au 28 février 2023, avec clause usuelle d'indexation.
B.c. Statuant le 22 janvier 2014 sur l'appel du mari et l'appel joint de l'épouse, la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel a rejeté les deux appels et a confirmé la décision entreprise.
C.
Par acte du 5 mars 2014, A.X._ interjette un recours en matière civile contre la décision du 22 janvier 2014. Il conclut principalement à l'annulation de l'arrêt du 22 janvier 2014 et, partant, à l'annulation des chiffres 3, 4, 6 et 7 du dispositif de la décision de première instance du 6 juin 2013 et à ce qu'il soit dit qu'il ne doit aucune contribution à l'entretien de son ex-épouse; subsidiairement, il conclut au renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. A l'appui de ses conclusions, il invoque une violation de l'<ref-law> et les art. 95 let. a et 97 al. 1 LTF. Il sollicite en outre d'être mis au bénéfice de l'assistance judiciaire.
Des observations n'ont pas été requises.

Considérant en droit :
1.
L'arrêt entrepris est une décision finale (<ref-law>) rendue en matière civile (<ref-law>) par une autorité cantonale supérieure statuant sur recours (<ref-law>), dans une contestation de nature pécuniaire dont la valeur litigieuse atteint 30'000 fr. (<ref-law>, <ref-law>). La recourante, qui a qualité pour recourir (<ref-law>), a agi dans le délai (<ref-law>) prévu par la loi, de sorte que son recours est en principe recevable.
2.
2.1. Le recours en matière civile peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Cela étant, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, il n'examine en principe que les griefs soulevés; il n'est pas tenu de traiter, à l'instar d'une autorité de première instance, toutes les questions juridiques pouvant se poser, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4; <ref-ruling> consid. 1.1). En outre, le Tribunal fédéral ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant («principe d'allégation», <ref-law>; <ref-ruling> consid. 3.3; <ref-ruling> consid. 3.2), c'est-à-dire s'il a été expressément soulevé et exposé de façon claire et détaillée (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.4.2). Les critiques de nature appellatoire sont irrecevables ( <ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>); il ne peut s'en écarter que si ces faits ont été constatés de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influencer le sort de la cause (<ref-law>). La partie recourante qui soutient que les faits ont été établis d'une manière manifestement inexacte (<ref-law>), à savoir arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2), doit démontrer, par une argumentation précise, en quoi consiste la violation (<ref-law>; <ref-ruling> consid. 2.2).
3.
En l'espèce, seule est encore litigieuse la contribution due par le recourant à l'entretien de son épouse.
3.1. L'autorité cantonale a retenu que le mariage des parties avait duré 23 ans dont 20 ans de vie commune et la naissance d'un enfant, de sorte qu'il s'agit d'une union de longue durée et qu'on doit considérer qu'elle a en principe eu une influence concrète sur la situation financière de l'époux crédirentier. Bien que le mari ait participé à l'éducation de leur enfant et aux tâches ménagères, elle a considéré que ces éléments n'étaient pas de nature à empêcher l'application de la jurisprudence applicable en matière d'unions de longue durée. Elle a dès lors estimé que c'était à juste titre que le premier juge avait reconnu à l'épouse le droit à une contribution d'entretien. Quant au revenu hypothétique mensuel de 2'160 fr. imputé à l'intimée par le premier juge, elle a relevé qu'il s'agissait du salaire perçu par celle-ci pour un emploi temporaire à un taux d'activité de 80% ressortant d'un document du 19 août 2011. L'intimée ayant déclaré en septembre 2012 avoir épuisé son droit aux indemnités de chômage et être toujours à la recherche d'un emploi, elle a estimé qu'on ne pouvait lui imputer un revenu hypothétique supérieur comme le souhaitait le recourant. Elle a en outre considéré que le recourant n'avait démontré aucune diminution durable de son salaire arrêté à 5'640 fr. par mois par le premier juge, part au treizième salaire incluse, et a retenu que le disponible du recourant n'était en tout cas pas inférieur au montant mensuel de 909 fr. retenu en première instance. S'agissant enfin de la situation financière de l'intimée, la cour cantonale a relevé que le premier juge n'avait tenu compte d'aucune charge fiscale. Elle a estimé que cela relevait à l'évidence d'une inadvertance dans la mesure où il lui avait imputé un revenu hypothétique de 2'160 fr. et une pension maritale de 800 fr. Elle a de ce fait considéré que l'estimation des charges de l'épouse, arrêtées à 3'032 fr. par mois, était vraisemblablement inférieure à la réalité et ce même en admettant qu'elle puisse trouver un logement moins cher que celui dont elle bénéficie actuellement pour un loyer mensuel de 1'350 fr. En conclusion, elle a considéré que le déficit mensuel de l'intimée n'était en tous les cas pas inférieur au montant de 872 fr. retenu en première instance.
3.2. Le recourant reproche à l'autorité cantonale d'avoir déduit à tort le droit de son ex-épouse à une contribution d'entretien de la présomption selon laquelle il n'est pas possible d'exiger d'un époux qu'il reprenne un travail lorsqu'il a renoncé à exercer une activité lucrative pendant le mariage et qu'il a atteint l'âge de 45 ans au moment de la séparation. En effet, il soutient que le couple s'est séparé le 3 mars 2009, de sorte que l'épouse était âgée de 43 ans au moment de la séparation et non de 45 ans comme l'a retenu de manière erronée la cour cantonale. Il en déduit que le droit de son ex-épouse de percevoir une pension n'est pas présumé et que seule doit être déterminée la capacité de cette dernière à subvenir elle-même à son entretien sur la base d'un examen libre des critères de l'<ref-law> puisque le principe de l'autonomie déduit dudit article prime le droit à l'entretien. Le recourant se livre ensuite à l'examen des différents éléments à prendre en compte selon l'<ref-law>, estimant que l'autorité cantonale a omis de les examiner et de les motiver et a, ce faisant, fait preuve d'arbitraire et violé dite disposition légale. S'agissant plus particulièrement de la détermination du revenu hypothétique de son ex-épouse, il reproche à l'autorité cantonale de s'être fondée sur un programme d'activité à 80 % de l'Office régional de placement en tant que mesure d'intégration professionnelle et non sur les salaires réels dans le domaine d'activité qu'elle exerçait à l'époque. Il en déduit qu'un revenu hypothétique d'au moins 3'000 fr. par mois aurait dû être retenu. Il se plaint également du fait que l'autorité cantonale a considéré qu'il s'agissait d'un mariage de longue durée alors même qu'elle a admis en parallèle qu'une harmonie profonde ne régnait pas dans le couple. Il lui reproche enfin d'avoir retenu à tort qu'il ne contribuait plus à l'entretien de son fils majeur. En définitive, il estime qu'à l'examen des critères de l'<ref-law>, aucune contribution d'entretien n'aurait dû être mise à sa charge en faveur de son ex-épouse, son minimum vital étant assuré.
4.
4.1. L'<ref-law> prévoit que "si l'on ne peut raisonnablement attendre d'un époux qu'il pourvoie lui-même à son entretien convenable, y compris à la constitution d'une prévoyance vieillesse appropriée, son conjoint lui doit une contribution équitable" (al. 1). L'alinéa 2 de cette disposition énumère les éléments que le juge doit en particulier examiner pour décider si une contribution d'entretien doit être allouée, ainsi que le montant et la durée de celle-ci. Il s'agit de la répartition des tâches pendant le mariage (ch. 1); la durée du mariage (ch. 2); le niveau de vie des époux pendant le mariage (ch. 3); l'âge et l'état de santé des époux (ch. 4); les revenus et la fortune des époux (ch. 5); l'ampleur et la durée de la prise en charge des enfants qui doit encore être assurée (ch. 6); la formation professionnelle et les perspectives de gain des époux, ainsi que le coût probable de l'insertion professionnelle du bénéficiaire de l'entretien (ch. 7); les expectatives de l'assurance-vieillesse et survivants et de la prévoyance professionnelle ou d'autres formes de prévoyance privée ou publique, y compris le résultat prévisible du partage des prestations de sortie (ch. 8).
4.2. Selon la jurisprudence, une contribution est due si le mariage a concrètement influencé la situation financière de l'époux crédirentier ("lebensprägend"). En particulier, si le mariage a duré au moins dix ans - période à calculer jusqu'à la date de la séparation des parties (<ref-ruling> consid. 4.1.1 p. 105; <ref-ruling> consid. 9.2 p. 600) - il a eu, en règle générale, une influence concrète. De même, indépendamment de sa durée, un mariage influence concrètement la situation des conjoints lorsque ceux-ci ont des enfants communs (<ref-ruling> consid. 4.1 p. 61). Dans de tels cas, le principe est que le standard de vie choisi d'un commun accord doit être maintenu pour les deux parties dans la mesure où leur situation financière le permet (<ref-ruling> consid. 3.2 p. 594). Il s'agit alors de la limite supérieure de l'entretien convenable auquel l'époux créancier a droit. Quand il n'est pas possible, en raison de l'augmentation des frais qu'entraîne l'existence de deux ménages distincts, de conserver le niveau de vie antérieur, le créancier d'entretien peut prétendre au même train de vie que le débiteur d'entretien (<ref-ruling> consid. 3.1.1 p. 8).
4.3. Conformément au principe de l'indépendance économique des époux, qui se déduit également de l'<ref-law>, l'époux demandeur ne peut prétendre à une pension que s'il n'est pas en mesure de pourvoir lui-même à son entretien convenable (<ref-ruling> consid. 4.1.2 p. 105; <ref-ruling> consid. 4 p. 146). Selon les circonstances, il pourra être ainsi contraint d'exercer une activité lucrative ou d'augmenter son taux de travail (<ref-ruling> consid. 3.2; <ref-ruling> consid. 4a). Lorsque le juge examine la possibilité d'imputer à l'un des époux un revenu hypothétique supérieur à celui obtenu effectivement, il doit examiner successivement les deux conditions suivantes: il doit avant tout juger si l'on peut raisonnablement exiger de cette personne qu'elle exerce une activité lucrative ou augmente celle-ci, eu égard, notamment, à sa formation, à son âge et à son état de santé; il s'agit d'une question de droit (arrêts 5A_99/2011 du 26 septembre 2011 consid. 7.4.1; 5A_18/2011 du 1er juin 2011 consid. 3.1.1 et 5A_290/2010 du 28 octobre 2010 consid. 3.1). Lorsqu'il tranche celle-ci, le juge ne peut cependant pas se contenter de dire, de manière toute générale, que la personne en cause pourrait obtenir des revenus supérieurs en travaillant: il doit préciser le type d'activité professionnelle que cette personne peut raisonnablement devoir accomplir. Il doit ensuite examiner si la personne a la possibilité effective d'exercer l'activité ainsi déterminée et quel revenu elle peut en obtenir, compte tenu des circonstances subjectives susmentionnées, ainsi que du marché du travail; il s'agit là d'une question de fait (<ref-ruling> consid. 4.2.2.2; <ref-ruling> consid. 4c/bb; arrêt 5A_687/2011 du 17 avril 2012 consid. 5.1.1). S'il entend exiger de lui qu'il reprenne une activité lucrative, il doit lui accorder un délai d'adaptation approprié: l'époux doit en effet avoir suffisamment de temps pour s'adapter à sa nouvelle situation, notamment lorsqu'il doit trouver un emploi. Ce délai doit par ailleurs être fixé en fonction des circonstances concrètes du cas particulier (cf. <ref-ruling> consid. 2.2; <ref-ruling> consid. 7b).
4.4. Selon la jurisprudence, en cas de mariage de longue durée, on présume qu'il n'est pas possible d'exiger d'un époux qui a renoncé à exercer une activité lucrative pendant le mariage et qui a atteint l'âge de 45 ans au moment de la séparation, de reprendre un travail; cette limite d'âge ne doit toutefois pas être considérée comme une règle stricte. La présomption peut être renversée, en fonction d'autres éléments qui plaideraient en faveur de la prise ou de l'augmentation d'une activité lucrative (<ref-ruling> consid. 4.2.2.2 et les références citées).
5.
5.1. En l'espèce, le mariage des parties a duré 23 ans, dont 20 ans de vie commune et un enfant est issu de cette union, de sorte que c'est à juste titre et en conformité avec la jurisprudence du Tribunal fédéral sus-évoquée (cf. supra consid. 4.1) que la cour cantonale a considéré que le mariage en question avait concrètement influencé la situation financière de l'intimée et que celle-ci pouvait, dans son principe, prétendre à une contribution d'entretien. Comme le mentionne le recourant, l'autorité cantonale a certes relevé que l'union avait perduré bien qu'une "harmonie profonde ne semblait pas régner" dans le couple durant la vie commune, mais cet élément n'est toutefois pas de nature à remettre en cause l'incidence d'un mariage d'une telle durée sur la situation financière de l'épouse et ne saurait en aucun cas être interprété comme un reproche indirect de ne pas avoir entamé de procédure de divorce plus tôt, de sorte que la critique du recourant est infondée.
5.2. S'agissant ensuite des perspectives de gain de l'intimée, il y a lieu de relever que l'autorité cantonale s'est effectivement méprise sur l'âge de l'intimée qui avait près de 44 ans et non 45 ans lors de la séparation des époux, de sorte que la présomption qui veut qu'on ne puisse exiger d'elle qu'elle reprenne une activité lucrative n'est effectivement pas donnée (cf. supra consid. 4.2). Il n'en demeure pas moins que l'autorité cantonale a exposé précisément pour quels motifs on ne pouvait exiger d'elle qu'elle perçoive un revenu mensuel hypothétique supérieur à celui de 2'700 fr. net arrêté par le premier juge. Outre et indépendamment de l'âge de l'intimée, la juridiction cantonale a ainsi notamment évoqué que celle-ci n'avait jamais pu se réinsérer professionnellement en dépit d'un dossier ouvert depuis le 28 septembre 2009 auprès de l'Office régional de placement et qu'elle avait effectué sans succès des recherches d'emploi dans ce contexte bien qu'elle ait exercé des emplois temporaires auprès de diverses institutions qui lui avaient apporté une certaine expérience pratique. Ce faisant, l'autorité cantonale a examiné concrètement et en conformité avec la jurisprudence susmentionnée (cf. supra consid. 4.3) quel revenu l'intimée pouvait percevoir, compte tenu de l'état actuel du marché du travail dans le type d'activité qu'on peut raisonnablement exiger d'elle qu'elle accomplisse. Elle en a déduit qu'on ne pouvait en tout cas pas exiger qu'elle perçoive un revenu supérieur à celui arrêté par le premier juge sur la base d'un document du 19 août 2011 relatif à un emploi temporaire effectué à cette époque par l'intimée. Le recourant ne démontre pas en quoi la constatation factuelle de l'autorité cantonale, selon laquelle l'intimée serait dans l'incapacité de trouver un emploi avec une rémunération supérieure à celle retenue, est arbitraire. Il se méprend également lorsqu'il reproche à l'autorité cantonale de ne pas avoir pris en compte pour l'intimée un revenu situé dans une fourchette de 2'989 fr. à 4'287 fr., correspondant au revenu qu'une femme de 47 ans sans formation peut réaliser en tant qu'employée polyvalente. En effet, le procédé consistant à ne pas se fonder sur le revenu hypothétique que l'intimée peut concrètement réaliser dans le cas d'espèce mais à prendre en compte de manière abstraite le revenu que toute personne sans formation devrait être en mesure de réaliser a déjà été considéré comme arbitraire par le Tribunal de céans (cf. notamment <ref-ruling> consid. 3.2). Enfin, dans la mesure où l'autorité cantonale a bien imputé un revenu hypothétique à l'intimée, et ce sans lui fixer de délai d'adaptation, mais a toutefois refusé d'en élever le montant compte tenu de sa situation concrète, les critiques du recourant, qui reproche à l'autorité cantonale de ne pas avoir tenu compte du fait que son ex-épouse n'avait jamais souhaité travailler et était restée passive sans se préparer à la perspective de devoir reprendre un travail un jour, sont infondées. En conséquence, les griefs du recourant afférents au calcul du revenu hypothétique de son ex-épouse doivent être rejetés.
5.3. Pour ce qui a trait au revenu de l'époux, celui-ci fait état dans la partie "en fait" de son recours d'un revenu net en 2013 de 4'860 fr., alors que l'autorité cantonale, suivant en cela le premier juge, a retenu un salaire marital de 5'640 fr., part au treizième salaire incluse. Le recourant ne soulève toutefois aucun grief d'arbitraire en lien avec le revenu tel qu'il a été arrêté par l'instance précédente, de sorte que ce grief - pour autant qu'on puisse le considérer comme tel - est irrecevable.
5.4. S'agissant enfin de la prise en charge de l'enfant majeur qui doit encore être assurée, le recourant reproche à l'autorité cantonale de ne pas avoir tenu compte du fait qu'il verse mensuellement une contribution de 500 fr. à son fils depuis qu'il a repris ses études, conformément à ce qui a été convenu par convention en audience du 17 mai 2011. Dans la mesure où l'autorité cantonale a clairement exposé qu'elle ne tiendrait pas compte de ce montant étant donné que le recourant avait reconnu, lors de son interrogatoire du 3 septembre 2012, ne plus verser cette contribution depuis que son fils a interrompu ses études, la critique du recourant est infondée. Si l'on doit comprendre sa critique en ce sens que son fils a de nouveau repris ses études et qu'il lui verse en conséquence à nouveau une contribution - ce qui ne ressort toutefois pas clairement de ses écritures - il s'agirait alors d'un fait nouveau, irrecevable devant le Tribunal de céans (<ref-law>).
5.5. Evoquant les autres critères d'appréciation de l'<ref-law>, le recourant relève avoir participé à l'éducation de l'enfant du couple ainsi qu'aux tâches ménagères, affirme que les époux n'avaient pas de fortune et que c'était lui qui apportait la plus grande partie du revenu du ménage et précise que l'intimée a perçu une prestation de sortie se montant à 87'946 fr. 50 et a toujours cotisé à l'AVS. Ce faisant, le recourant énonce certains faits sans pour autant s'en prendre à l'arrêt cantonal sur ces points, de sorte qu'on ne discerne pas quels sont ses griefs.
En définitive, il apparaît que la décision cantonale a été rendue en conformité avec l'<ref-law> et la jurisprudence y relative et que les griefs du recourant ne sont pas de nature à démontrer que l'intimée n'aurait pas droit à une contribution à son entretien.
6.
Au vu de ce qui précède, le recours se révèle mal fondé et doit être rejeté, dans la mesure de sa recevabilité. Les conclusions du recourant étant dépourvues de toutes chances de succès, sa requête d'assistance judiciaire ne saurait être admise (<ref-law>) et les frais judiciaires doivent être mis à sa charge (<ref-law>). Il n'y a pas lieu d'allouer de dépens à l'intimée, une réponse n'ayant pas été requise (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure de sa recevabilité.
2.
La requête d'assistance judiciaire du recourant est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 3 juin 2014
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : La Greffière :
von Werdt Hildbrand