Faits :
A.
A._, ressortissant turc né en 1963, divorcé et père de quatre enfants domiciliés en Turquie, a fait l'objet d'une décision de renvoi de Suisse rendue le 18 octobre 2016 par le Service des migrations du canton de Neuchâtel, au motif que l'intéressé ne disposait pas d'autorisation de séjour.
A deux reprises, le 2 novembre 2016, puis à nouveau le 15 février 2017, A._ a déposé une requête tendant à l'ouverture d'une procédure préparatoire de mariage avec C._. Cette dernière a définitivement renoncé au mariage avec A._ le 16 mars 2017.
B.
Le 6 juin 2017, A._ a déposé une demande d'ouverture d'une procédure préparatoire de mariage avec B._ - ressortissante suisse née en 1948, divorcée, sans enfant, et handicapée physique -, déclarant entretenir une relation de couple avec elle depuis décembre 2015 et faire ménage commun depuis janvier 2017.
Le même jour, l'Officier d'état civil de la Ville de X._ a entendu séparément les candidats au mariage.
B.a. Par décision du 22 juin 2017, l'Office de l'état civil de la Ville de X._ (ci-après : Office de l'état civil) a refusé son concours à la célébration du mariage des fiancés A._ et B._, au motif que le mariage envisagé n'était pas destiné à fonder une communauté conjugale, mais qu'il s'agissait plutôt, de la part du fiancé, d'éluder les dispositions sur l'admission et le séjour des étrangers.
B.b. Par décision du 10 janvier 2018, le Département de la justice de la sécurité et de la culture (ci-après : DJSC) a rejeté le recours des fiancés contre le prononcé de l'Office de l'état civil.
B.c. Par arrêt du 29 novembre 2018, la Cour de droit public du Tribunal cantonal du canton de Neuchâtel a rejeté le recours des fiancés à l'encontre de la décision du DJSC.
C.
Par acte du 20 décembre 2018, A._ et B._ exercent un recours en matière civile au Tribunal fédéral, concluant principalement à l'annulation de l'arrêt entrepris et à sa réforme en ce sens que l'autorisation nécessaire à la célébration de leur mariage leur est accordée. Au préalable, les recourants sollicitent le bénéfice de l'assistance judiciaire pour la procédure fédérale.
Des réponses n'ont pas été requises.

Considérant en droit :
1.
L'arrêt attaqué, qui confirme le refus de l'Office de l'état civil de concourir à la célébration du mariage (art. 97a CC), constitue une décision finale au sens de l'art. 90 LTF, prise sur recours par un tribunal supérieur statuant en dernière instance cantonale (art. 75 al. 1 et 2 LTF), en application de normes de droit public, notamment de droit des étrangers, dans une matière connexe au droit civil (art. 72 al. 2 let. b ch. 2 LTF; arrêts 5A_764/2018 du 28 décembre 2018 consid. 1; 5A_743/2013 du 27 novembre 2013 consid. 1.1; 5A_901/2012 du 25 janvier 2013 consid. 1.1; 5A_814/2011 du 17 janvier 2012 consid. 1, non publié in <ref-ruling>). La décision entreprise est de nature non pécuniaire (art. 74 al. 1 LTF a contrario). Le présent recours est interjeté dans le respect du délai légal (art. 100 al. 1 LTF) et de la forme prévue par l'art. 42 LTF, par des parties qui ont succombé dans leurs conclusions prises devant l'autorité précédente et jouissent d'un intérêt digne de protection à l'annulation ou à la modification de la décision déférée (art. 76 al. 1 LTF).
2.
Le litige a pour objet le refus des autorités neuchâteloises de concourir à la célébration du mariage des recourants, fondé sur l'art. 97a CC, au motif que le " faisceau d'indices [...] est éloquent et témoigne de la volonté du recourant qu'il a exprimée lors de son audition par le SMIG [Service des migrations] le 15 mai 2018 «d'obtenir un statut en Suisse» pour pouvoir continuer à «entretenir [s]es enfants à tout prix» ".
3.
Dans un premier grief, les recourants se plaignent de la constatation manifestement inexacte des faits (art. 97 al. 1 LTF et 9 Cst.) en lien avec l'application de l'art. 97a CC. Ils font valoir que la cour cantonale a hâtivement, partant, arbitrairement, nié la sincérité de leurs sentiments pour considérer que l'objectif du fiancé était uniquement et à tout prix d'obtenir une autorisation de séjour en Suisse, non de fonder une union conjugale, sur la base d'une constatation arbitraire des faits conduisant à retenir un faisceau d'indices convergeant vers un mariage blanc. Selon les recourants, la différence d'âges entre eux (15 ans) n'est pas choquante dans le cas d'espèce, la fiancée " rencontre régulièrement " la famille de son fiancé, ils partagent un lit double dans l'unique chambre de leur logement, et l'engouement du fiancé de se marier peut certes paraître suspect mais devrait être écarté dans la mesure où il prend soin de sa fiancée au quotidien depuis deux ans alors qu'il aurait pu " changer de plans " dans l'intervalle au profit d'une " fiancée valide avec une vie simple, bien rangée et des moyens financiers aisés ".
3.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). La partie recourante qui soutient que les faits ont été établis d'une manière manifestement inexacte (art. 97 al. 1 LTF), à savoir arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 1.2), doit démontrer, par une argumentation précise, en quoi consiste la violation (art. 106 al. 2 LTF; <ref-ruling> consid. 2.2).
Selon l'art. 99 al. 1 LTF, les faits et moyens de preuve nouveaux sont prohibés, à moins de résulter de la décision de l'autorité précédente (<ref-ruling> consid. 5.2.4; <ref-ruling> consid. 2.1), de même que les faits et pièces postérieurs à l'arrêt entrepris (ATF <ref-ruling> consid. 2.1; arrêt 5A_168/2016 du 29 septembre 2016 consid. 2.3).
3.2. Dans la mesure où les recourants se prévalent devant le Tribunal fédéral d'une vie commune de deux ans au jour du dépôt de leur recours, l'argument, sans égard à sa pertinence, est partiellement postérieur à l'arrêt entrepris et de surcroît nouveau, sans que les recourants n'exposent en quoi la décision attaquée l'aurait rendu indispensable; partant ce fait est irrecevable (cf. supra consid. 3.1). Pour le surplus, en dépit d'une critique d'arbitraire (art. 9 Cst.) explicite relative à l'état de faits, les recourants ne critiquent pas l'établissement des éléments factuels, mais leur appréciation en tant qu'ils sont constitutifs d'un faisceau d'indices pour l'application de l'art. 97a CC, question de droit qui sera traitée ci-après (cf. infra consid. 4). La critique d'arbitraire dans l'établissement des faits (art. 9 Cst.), autant que recevable, n'est donc pas pertinente.
4.
Les recourants dénoncent la violation de l'art. 97a CC par l'autorité cantonale, soutenant que le caractère " manifeste " de leur prétendue volonté d'éluder les dispositions sur le droit des étrangers n'est pas satisfait en l'espèce au vu de leurs conditions de vie de couple. L'autorité cantonale aurait versé dans l'arbitraire (art. 9 Cst.) en écartant toute intention sincère du fiancé de former une union conjugale.
4.1. Selon l'art. 97a al. 1 CC, l'officier de l'état civil refuse son concours à la célébration du mariage lorsque l'un des fiancés (<ref-ruling> consid. 3.3.2) ne veut manifestement pas fonder une vie conjugale, mais éluder les dispositions sur l'admission et le séjour des étrangers. L'officier de l'état civil peut refuser son concours lorsque deux conditions cumulatives sont remplies: d'une part, les intéressés ne doivent avoir aucune volonté de fonder une communauté conjugale d'une certaine durée, voir durable, à caractère en principe exclusif, présentant une composante tant spirituelle que corporelle et économique; d'autre part, ils doivent avoir l'intention d'éluder les dispositions sur l'admission et le séjour des étrangers (arrêt 5A_764/2018 du 28 décembre 2018 consid. 4.1). La réalisation de ces deux conditions doit être manifeste. La volonté de fonder une communauté conjugale est un élément intime qui, par la nature des choses, ne peut pas être prouvé directement. Le plus souvent, l'abus ne pourra être établi qu'au moyen d'un faisceau d'indices (arrêts 5A_30/2014 du 15 avril 2014 consid. 3.3 publié in FamPra.ch 2014 p. 693; 5A_225/2011 du 9 août 2011 consid. 5.1.1 publié in FamPra.ch 2011 p. 922 et les références). Ces indices peuvent concerner des circonstances externes, tels l'élaboration d'un projet de mariage peu de temps après la rencontre des fiancés ou l'absence de vie commune avant le mariage. Ils peuvent aussi consister en des éléments d'ordre psychique, relevant de la volonté interne (volonté des époux) (arrêt 5A_337/2016 du 6 septembre 2016 consid. 5.1.2). Le point de savoir si ces indices permettent de conclure à l'existence d'un mariage abusif aux fins d'éluder les dispositions sur l'admission et le séjour des étrangers est une question de droit qui s'examine librement (arrêt 5A_764/2018 du 28 décembre 2018 consid. 4.2).
4.2. En tant que les recourants contestent la prise en considération de leur différence d'âge de 15 ans, les recourants se méprennent, dès lors que l'autorité précédente a justement écarté cet élément des aspects décisifs (" cette conclusion s'impose, non pas tant par la différence d'âge entre les fiancés [...]encore que ces éléments ne sont pas négligeables "). Pour le reste, les recourants présentent leurs propres arguments, notamment quant à l'existence d'une communauté de lit, en omettant totalement de prendre en considération les éléments décisifs retenus par l'autorité précédente, en particulier les réitérées demandes en mariage du recourant depuis sa décision de renvoi de Suisse et les déclarations de chaque fiancé aux autorités. Aussi, il apparaît que l'acte de recours consiste en une suite d'affirmations péremptoires selon lesquelles les fiancés partagent une " réelle complicité " " malgré toutes les difficultés vécues ". De tels arguments ne suffisent manifestement pas à défaire le faisceau d'indices - basé sur l'engouement soudain du fiancé à contracter mariage sans considération pour la femme avec laquelle il se liera mais immédiatement après s'être vu signifier son renvoi de Suisse et ses déclarations selon lesquelles il " ne partirai [ t] pas de [ lui] -même, ne veu [ t] pas quitter la Suisse " - sur lesquels se sont fondés les juges cantonaux pour retenir que les conditions d'application de l'art. 97a CC étaient remplies. Le caractère manifeste de la volonté d'éluder les dispositions sur le séjour et l'établissement des étrangers n'est, en considération des trois demandes en mariage intervenues entre le 2 novembre 2016 et le 6 juin 2017, au regard de la procédure de renvoi de Suisse du fiancé ayant abouti à une décision de renvoi de Suisse du 18 octobre 2016, ainsi que par référence à ses déclarations aux autorités manifestant sa volonté de demeurer en Suisse, pas douteux. Le grief de violation de l'art. 97a CC ne peut donc qu'être rejeté dans la mesure où il est recevable.
5.
Les recourants soulèvent également un grief de violation du droit d'être entendu (art. 29 al. 2 Cst.), sous l'angle du droit à obtenir une décision motivée. En mettant en exergue le passage suivant de la motivation de l'arrêt cantonal : " sans remettre en cause les sentiments que la recourante déclare éprouver pour son fiancé ", les recourants expliquent que l'autorité cantonale, à l'exception de cette seule phrase, n'aurait pas pris en compte le point de vue et les arguments de la fiancée, alors que les conditions légales de la célébration du mariage devaient aussi être examinées à la lumière des volontés de la fiancée. Selon les recourants, l'autorité précédente aurait dû argumenter le refus de célébrer le mariage " sous l'angle de la recourante " puisque le défaut de motivation à son égard ne permet pas à celle-ci de se déterminer sur la décision et de motiver un recours au Tribunal fédéral.
5.1. Le droit d'être entendu garanti à l'art. 29 al. 2 Cst. implique notamment le devoir pour l'autorité de motiver sa décision. Selon la jurisprudence, il suffit que celle-ci mentionne, au moins brièvement, les motifs qui l'ont guidée et sur lesquels elle a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause. Elle n'est pas tenue de se prononcer sur tous les moyens des parties et peut ainsi se limiter aux points essentiels pour la décision à rendre (<ref-ruling> consid. 3.2.4; <ref-ruling> consid. 5.1). En revanche, une autorité se rend coupable d'un déni de justice formel lorsqu'elle omet de se prononcer sur des griefs qui présentent une certaine pertinence ou de prendre en considération des allégués et arguments importants pour la décision à rendre (<ref-ruling> consid. 3.2.1; <ref-ruling> consid. 5.2; <ref-ruling> consid. 2b; <ref-ruling> consid. 2a; arrêt 5A_734/2018 du 4 décembre 2018 consid. 3.1).
5.2. En l'espèce, il ressort de la jurisprudence en la matière qu'il suffit que seul l'un des fiancés ne veuille manifestement pas fonder une vie conjugale, mais éluder les dispositions sur l'admission et le séjour des étrangers, pour que l'officier de l'état civil doive refuser son concours à la célébration du mariage (<ref-ruling> consid. 3.3.2; cf. supra consid. 4.1). Aussi, en constatant que le fiancé ne souhaite en l'espèce pas réellement fonder une union conjugale, mais tente " à tout prix " d'obtenir une autorisation de séjour en Suisse, par conséquent en ne motivant pas plus avant sa décision quant à la situation de la fiancée, l'autorité précédente n'a pas violé son devoir de motiver sa décision au sens de l'art. 29 al. 2 Cst., même si les fiancés avaient soumis des arguments concernant la fiancée, puisque la Cour de droit public du Tribunal cantonal s'est prononcée et a motivé son arrêt concernant tous les aspects décisifs. La critique doit ainsi être d'emblée rejetée.
6.
Enfin, les recourants se plaignent de la violation des art. 14 Cst. et 12 CEDH, en tant que ces dispositions protègent les individus et les couples contre toutes mesures étatiques qui limitent de manière injustifiée leur faculté de se marier. Ils exposent que, en dépit de son handicap, la fiancée est capable de discernement et que la mesure de curatelle à son endroit ne restreint pas son droit strictement personnel au mariage.
6.1. L'art. 12 CEDH consacre, à partir de l'âge nubile, le droit de l'homme et de la femme de se marier et de fonder une famille selon les lois nationales régissant l'exercice de ce droit; ces garanties sont reprises, respectivement par les art. 13 et 14 Cst. Le droit au mariage n'est toutefois pas absolu et des mesures destinées à lutter contre les mariages de complaisance sont admissibles, pour autant qu'elles soient raisonnables et proportionnées et qu'elles visent à déterminer si l'intention matrimoniale des futurs époux est réelle et sincère, à savoir repose sur la volonté de fonder une communauté conjugale (<ref-ruling> consid. 3.5, citant l'arrêt de la CourEDH du 14 décembre 2010 dans la cause O'Donoghue et consorts contre Royaume-Uni, requête no 34848/07; arrêt 5A_364/2015 du 13 juillet 2015 consid. 3.1).
6.2. Il apparaît que le grief est soulevé ici uniquement pour le compte de la fiancée, eu égard précisément à sa capacité de discernement en dépit de son handicap. Or, comme relevé précédemment, l'autorité précédente n'a nullement nié la possibilité et la volonté de la fiancée de former une union conjugale, la simple volonté du fiancé de ne pas réellement fonder une communauté conjugale étant suffisante (<ref-ruling> consid. 3.3.2; cf. supra consid. 4.1 et 5.2). De manière plus générale, le refus de célébrer le mariage des recourants fondé sur une base légale (art. 97a CC) n'enfreint nullement ces garanties. Le grief est donc d'emblée mal fondé.
7.
En définitive, le recours doit être rejeté dans la mesure de sa recevabilité. Dès lors que les conclusions des recourants étaient d'emblée vouées à l'échec, leur requête d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF). Les recourants, qui succombent, supporteront solidairement entre eux les frais judiciaires (art. 66 al. 1 et 5 LTF). L'Office de l'état civil, qui n'a au demeurant pas été invité à répondre, n'a pas droit à l'allocation de dépens (art. 68 al. 2 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire des recourants est rejetée.
3.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis solidairement à la charge des recourants.
4.
Le présent arrêt est communiqué aux recourants, à l'Office de l'état civil de la Ville de X._, au Département de la justice, de la sécurité et de la culture (DJSC), et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel.
Lausanne, le 9 mai 2019
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : Herrmann
La Greffière : Gauron-Carlin