Faits :
A.
A._, ressortissant bangladais né en 1976, est entré en Suisse en avril 1999 pour y demander l'asile. Après le rejet de cette demande, l'intéressé a épousé une ressortissante helvétique le 4 mars 2002 et a obtenu une autorisation de séjour au titre du regroupement familial. A la suite de la séparation du couple, intervenue en février 2004, le Service des migrations de la République et canton de Neuchâtel (ci-après: le Service des migrations), par décision du 18 avril 2005, a refusé de prolonger l'autorisation de séjour de A._.
Le 29 août 2005 est né un enfant de la relation de l'intéressé avec une compatriote. Par arrêt du 7 mars 2008, la Chambre d'accusation du Tribunal cantonal de la République et canton de Neuchâtel a retenu que A._ s'était rendu coupable, à tout le moins par dol éventuel, de tentative de meurtre au préjudice de son enfant. Elle a prononcé un non-lieu en raison de l'irresponsabilité totale de l'intéressé et a ordonné un traitement institutionnel.
Le 12 décembre 2013, A._ a demandé au Service des migrations de lui octroyer une autorisation de séjour, à la suite de la naissance de son fils, qu'il a reconnu le 23 mai 2011. Traitant cette demande comme une demande de reconsidération de sa première décision, le Service des migrations l'a rejetée le 26 novembre 2014. Sur recours, le Département de l'économie et de l'action sociale de la République et canton de Neuchâtel (ci-après: le Département), puis la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) ont confirmé cette décision les 8 juin 2015, respectivement 25 janvier 2016. Le 3 mars 2016, le Tribunal fédéral a déclaré irrecevable le recours interjeté par l'intéressé à l'encontre de l'arrêt du Tribunal cantonal (arrêt 2C_197/2016). La mesure institutionnelle prononcée contre l'intéressé a été prolongée jusqu'au 1er mars 2019 par l'autorité compétente.
B.
Le 13 mars 2017, A._ a épousé la mère de son enfant et, dans un courrier daté du 15 mars 2017, a demandé l'octroi d'une autorisation de séjour au Service des migrations. Par décision du 3 août 2017, celui-ci, traitant cette demande comme une nouvelle demande de reconsidération, l'a rejetée. L'intéressé a contesté ce prononcé devant le Département qui, par décision du 7 janvier 2019, a rejeté le recours. Le Tribunal cantonal a confirmé cette dernière décision sur recours par arrêt du 28 novembre 2019.
C.
Agissant par la voie du recours constitutionnel subsidiaire, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif et l'assistance judiciaire, d'annuler l'arrêt du Tribunal cantonal du 28 novembre 2019 et de lui octroyer une autorisation de séjour; subsidiairement d'annuler l'arrêt précité et de l'admettre provisoirement; plus subsidiairement d'annuler l'arrêt précité et de constater l'inexigibilité de son renvoi.
Par ordonnance du 14 janvier 2020, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Tribunal cantonal, le Département et le Service des migrations concluent tous trois au rejet du recours. Le Secrétariat d'Etat aux migrations renonce à se déterminer.

Considérant en droit :
1.
1.1. Selon l'art. 83 let. c LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit (ch. 2), l'admission provisoire (ch. 3) ou le renvoi (ch. 4). Par conséquent, en tant que le recourant conclut à être admis provisoirement en Suisse, respectivement au constat de l'inexigibilité de son renvoi, le recours en matière de droit public n'est pas ouvert et c'est à juste titre qu'il forme un recours constitutionnel subsidiaire. Il en va de même en tant qu'il invoque l'art. 44 LEI (RS 142.20; dans sa version en vigueur avant le 1er janvier 2019 [RO 2007 5437], ci-après: LEtr; cf. art. 126 al. 1 LEI), cette disposition étant de nature potestative. Le recours constitutionnel subsidiaire n'est toutefois pas recevable, puisque le recourant ne bénéficie pas d'un intérêt juridique à l'annulation ou à la modification de la décision attaquée en tant qu'elle a trait au renvoi et à l'admission provisoire (<ref-law>) et ne fait pas valoir une quelconque violation de ses droits de partie équivalant à un déni de justice formel (cf. <ref-ruling> consid. 1.4 p. 222).
1.2. En revanche, malgré le fait que le recourant considère que les conditions de l'art. 83 let. c LTF ne sont pas réalisées et qu'il n'a formé qu'un recours constitutionnel subsidiaire, il invoque une violation de son droit à la vie familiale, protégé par l'art. 8 CEDH. Or, si un tel droit est invoqué de manière défendable, un recours en matière de droit public est ouvert (cf. <ref-ruling> consid. 1.1 p. 332 et les références). Ainsi, dans la mesure où la femme et le fils du recourant vivent légalement en Suisse depuis plus de dix ans (cf. <ref-ruling> consid. 3.9 p. 277 ss), il n'est pas exclu que le recourant puisse se prévaloir de l'art. 8 CEDH pour demeurer dans ce pays. Dans ces conditions, il convient donc de retenir que le recours en matière de droit public est ouvert, étant rappelé que la question de savoir si le droit au regroupement familial fondé sur l'art. 8 CEDH existe et doit en définitive être accordé relève du fond (cf. <ref-ruling> consid. 1.1 p. 332). En outre, la fausse dénomination du recours ne saurait nuire au recourant, dans la mesure où son acte répond aux exigences de la voie de droit à disposition (<ref-ruling> consid. 1.1 p. 370).
1.3. Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision finale (<ref-law>) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>), est recevable.
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
En fin de mémoire, le recourant fait part de divers faits qu'il estime avoir été retenus de manière manifestement inexacte par le Tribunal cantonal. Or, il ne fait en réalité que présenter ses propres vision et appréciation des faits de manière totalement appellatoire sans expliquer à suffisance en quoi ces faits, dont il ne démontre au demeurant nullement l'inexactitude, auraient une quelconque incidence sur l'issue de la cause. En particulier, s'agissant d'une attestation du Service de l'aide sociale datée du 15 octobre 2019 et faisant référence à une aide versée jusqu'au 30 septembre 2019, le Tribunal cantonal a retenu sans arbitraire que cela ne démontrait pas que cette aide avait cessée au-delà de cette date. A ce propos, le recourant ne fait que prétendre le contraire, de manière totalement appellatoire, ce qui ne saurait suffire. Dans ces conditions, il convient d'écarter le grief d'établissement inexact des faits. Le Tribunal fédéral appliquera le droit sur la seule base des faits retenus par l'autorité précédente.
3.
Dans sa demande de mars 2017, le recourant invoque son mariage avec une compatriote au bénéfice d'une autorisation de séjour en Suisse.
3.1. En principe, même après un refus ou une révocation d'une autorisation de séjour, il est possible de demander l'octroi d'une nouvelle autorisation, dans la mesure où, au moment du prononcé, l'étranger qui en fait la demande remplit les conditions posées à un tel octroi. Indépendamment du fait que cette demande s'intitule reconsidération ou nouvelle demande, elle ne saurait toutefois avoir pour conséquence de remettre continuellement en question des décisions entrées en force. L'autorité administrative n'est ainsi tenue d'entrer en matière sur une nouvelle demande que lorsque les circonstances ont subi des modifications notables ou lorsqu'il existe un cas de révision, c'est-à-dire lorsque l'étranger se prévaut de faits importants ou de preuves dont il n'avait pas connaissance dans la procédure précédente, qu'il lui aurait été impossible d'invoquer dans cette procédure pour des motifs juridiques ou pratiques ou encore qu'il n'avait alors pas de raison d'alléguer (<ref-ruling> consid. 2.1 p. 181; arrêt 2C_198/2018 du 25 juin 2018 consid. 3.3 et les références).
3.2. En l'occurrence, il faut admettre que le mariage du recourant avec une compatriote, mère de son fils, au bénéfice d'une autorisation de séjour en Suisse et vivant depuis plus de dix ans dans ce pays, constitue une circonstance nouvelle, ce que le Service des migrations a également admis, puisqu'il est entré en matière sur la nouvelle demande. En conséquence, il s'agit d'examiner la requête en cause dans la mesure où les nouvelles circonstances sont susceptibles de conduire à un résultat juridique différent de celui résultant des décisions précédentes.
4.
Le litige porte ainsi uniquement sur le point de savoir si le recourant peut invoquer la garantie de la vie familiale, prévue par l'art. 8 CEDH, pour demeurer en Suisse et, le cas échéant, si le refus de lui octroyer une autorisation est conforme au principe de proportionnalité.
4.1. Dans une jurisprudence récente (cf. arrêt 2C_668/2018 du 28 février 2020, destiné à la publication), le Tribunal fédéral s'est penché sur une situation semblable. Il a tout d'abord rappelé sa jurisprudence relative à la garantie de la vie privée, publiée à l'<ref-ruling>. Selon cette jurisprudence, le droit à la vie privée dépend fondamentalement de la durée de la résidence en Suisse de l'étranger. Lorsque celui-ci réside légalement depuis plus de dix ans en Suisse, ce qui correspond en droit suisse au délai pour obtenir une autorisation d'établissement ou la naturalisation, il y a lieu de partir de l'idée que les liens sociaux qu'il a développés avec le pays dans lequel il réside sont suffisamment étroits pour que le refus de prolonger ou la révocation de l'autorisation de rester en Suisse ne doivent être prononcés que pour des motifs sérieux. Lorsque la durée de la résidence est inférieure à dix ans mais que l'étranger fait preuve d'une forte intégration en Suisse, le refus de prolonger ou la révocation de l'autorisation de rester en Suisse peut également porter atteinte au droit au respect de la vie privée (<ref-ruling> consid. 3 p. 271 ss et les références).
Dans la mesure où la femme du recourant se trouve légalement en Suisse depuis plus de dix ans, au bénéfice d'une autorisation de séjour, il convient de lui reconnaître un droit de séjour durable dans ce pays. Il sied dès lors d'examiner si le droit durable de l'épouse du recourant à séjourner en Suisse au titre de la garantie de la vie privée issue de l'art. 8 CEDH permet à son conjoint d'invoquer un droit au regroupement familial découlant de cette même disposition et à quelles conditions.
4.2. Dans l'arrêt 2C_668/2018 du 28 février 2020 consid. 6.1 et les références, destiné à la publication, le Tribunal fédéral a expliqué qu'il reconnaissait, depuis longtemps déjà, que peut se prévaloir du droit au regroupement familial une personne qui est à même de démontrer une relation étroite et effective avec un membre de sa famille qui possède le droit de résider durablement en Suisse (en principe au bénéfice de la nationalité suisse, d'une autorisation d'établissement ou d'un droit certain à une autorisation de séjour). Comme on l'a vu, tel est le cas de l'épouse du recourant. Celui-ci peut donc invoquer l'art. 8 CEDH, afin de pouvoir vivre auprès de sa femme en Suisse.
4.3. Le Tribunal fédéral a néanmoins mentionné que cela ne signifiait pas pour autant qu'un tel droit n'était pas subordonné à des conditions. En effet, il convient, en présence d'un étranger qui possède un droit durable à séjourner en Suisse, dans un souci de cohérence avec la législation interne, de soumettre le regroupement familial aux conditions de l'art. 44 LEtr, conditions qui sont au demeurant compatibles avec l'art. 8 CEDH. L'art. 44 LEtr ne confère certes pas en lui-même un droit à une autorisation de séjour, car cette disposition concerne en premier lieu les personnes qui ne possèdent pas un droit à faire renouveler leur titre de séjour temporaire (cf. consid. 1.1 ci-dessus). Toutefois, il en va différemment des étrangers qui possèdent un droit au renouvellement de leur permis de séjour et qui peuvent invoquer les art. 8 CEDH et 13 Cst. Dans ce cas de figure, les autorités ne peuvent, compte tenu des droits découlant de ces deux dispositions, refuser l'octroi de l'autorisation de séjour requise que pour de bonnes raisons. On est en particulier en présence de telles raisons si les conditions de l'art. 44 LEtr ne sont pas remplies. Il n'est en effet pas concevable que, par le biais de l'art. 8 CEDH, un étranger qui ne dispose, en vertu de la législation interne, d'aucun droit à demeurer en Suisse, puisse obtenir une autorisation de séjour sans que les conditions posées par les art. 42 ss LEtr ne soient remplies (pour tout ce qui précède, cf. arrêt 2C_668/2018 du 28 février 2020 consid. 6.2 et les références, destiné à la publication).
4.4. Il convient par conséquent d'examiner si le recourant réalise les conditions posées par l'art. 44 LEtr.
4.4.1. Cette disposition énumère comme conditions le ménage commun des époux (let. a), un logement approprié (let. b), ainsi que l'absence de dépendance à l'aide sociale (let. c), ces conditions étant cumulatives (cf. arrêt 2C_1007/2019 du 30 janvier 2020 consid. 5.2). Il est rappelé que les lettres d et e de l'art. 44 LEI ne figuraient pas à l'art. 44 LEtr, puisqu'elles ont été introduites avec la révision de la loi fédérale sur les étrangers, entrée en vigueur le 1 er janvier 2019, et qu'elles ne sont dès lors pas applicables au présent cas (la procédure ayant été introduite en 2017, cf. art. 126 al. 1 LEI).
4.4.2. En l'occurrence, il ressort des faits retenus par l'arrêt entrepris que, durant plusieurs années, le recourant n'a pas fait ménage commun avec son épouse, dès lors qu'il effectuait sa mesure institutionnelle en foyer et ne bénéficiait que de trois sorties hebdomadaires, ainsi que le week-end. L'arrêt entrepris n'exclut néanmoins pas que, depuis la fin de la mesure institutionnelle, le recourant vive avec son épouse, de surcroît dans un logement approprié. En revanche, le Tribunal cantonal a retenu, de manière à lier le Tribunal fédéral (<ref-law>), que le recourant a bénéficié de l'aide sociale, à tout le moins jusqu'au 30 septembre 2019, tel que cela ressort d'une attestation du service social. En outre, pour la période postérieure à cette date, l'autorité précédente a également considéré sans arbitraire que le couple émargeait à l'aide sociale, mentionnant que l'épouse du recourant bénéficiait certes d'un quart de rente de l'assurance-invalidité et prétendait être employée à 60% auprès d'une chaîne de restauration rapide, pour un salaire horaire de 20 fr., le recourant ne percevant pas de salaire. Le Tribunal cantonal a cependant retenu de manière pleinement soutenable que ces montants ne suffisaient pas pour subvenir au besoin de toute la famille et faire que celle-ci n'émarge plus à l'aide sociale. Par ailleurs, le fait que le recourant suive un programme de réinsertion n'est pas pertinent, ce programme n'étant pas rémunéré.
4.4.3. Sur le vu de ce qui précède et en particulier des faits retenus par l'autorité précédente, il convient de constater que le recourant et sa famille émargent à l'aide sociale et ne réunissent par conséquent pas la condition posée à l'art. 44 let. c LEtr. Faute de remplir cette condition, le recourant ne saurait se prévaloir de l'art. 8 CEDH pour obtenir un titre de séjour en Suisse. De ce fait, contrairement à ce que prétend le recourant, il ne se justifie pas de procéder à une pesée des intérêts en présence, en application de l'art. 8 par. 2 CEDH.
De plus, s'agissant des liens existants avec l'enfant et en particulier du grief de violation de la convention relative aux droits de l'enfant (RS 0.107; ci-après: CDE), il convient de relever que le recourant a déjà fait valoir ce "nouvel" élément de fait lors de sa première demande de reconsidération, déposée le 12 décembre 2013, dont la décision la rejetant est entrée en force avec l'arrêt du Tribunal cantonal du 25 janvier 2016, contre lequel le recours au Tribunal fédéral a été déclaré irrecevable. En tout état de cause, on relèvera que, dans le domaine du droit des étrangers, la CDE, et son art. 3 en particulier, ne saurait fonder une prétention directe à l'octroi ou a maintien d'une autorisation (<ref-ruling> consid. 5.2 p. 98 et les références).
5.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au mandataire du recourant, au Service des migrations, au Département de l'économie et de l'action sociale et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 18 septembre 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette