Faits :
A.
A.A._, ressortissante macédonienne née en 1989, s'est mariée en Suisse le 15 juillet 2016 avec D.A._, ressortissant irakien né en 1979, au bénéfice de l'asile en Suisse dès le 23 janvier 2012, puis d'une autorisation d'établissement, obtenue le 6 décembre 2012. A la suite de son mariage, A.A._ a quitté la Suisse, avant d'y revenir le 15 décembre 2016 et de déposer, début janvier 2017, une demande de regroupement familial pour y vivre avec son mari.
B.
Le Service des migrations de la République et canton de Neuchâtel (ci-après: le Service des migrations), constatant que les époux dépendaient de l'aide sociale et qu'aucun élément au dossier ne permettait de retenir que cette situation pourrait s'améliorer, a refusé l'octroi d'une autorisation de séjour à A.A._ par décision du 15 août 2017. Celle-ci n'a pas quitté la Suisse. En avril 2018, elle a donné naissance à un fils, B.A._. Par décision du 25 juillet 2018, le Service de la population a refusé d'octroyer une autorisation d'établissement en faveur de cet enfant. A.A._ et B.A._ ont recouru contre les décisions du Service des migrations auprès du Département de l'économie et de l'action sociale de la République et canton de Neuchâtel (ci-après: le Département), qui a rejeté le recours par décision du 17 décembre 2018. Les intéressés ont contesté ce prononcé auprès de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel (ci-après: le Tribunal cantonal) qui, par arrêt du 10 janvier 2020, a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A.A._ et B.A._ demandent au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif et l'assistance judiciaire, d'annuler l'arrêt du Tribunal cantonal du 10 janvier 2020 et de leur octroyer à chacun une autorisation de séjour.
Par ordonnance du 13 février 2020, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Tribunal cantonal, le Département et le Service de la population concluent tous trois au rejet du recours. Le Secrétariat d'Etat aux migrations renonce à se déterminer.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et, partant, que la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 332 et les références). En l'occurrence, du moment que la recourante 1 est mariée à une personne au bénéfice d'une autorisation d'établissement et que le recourant 2 est le fils de cette personne, les art. 43 LEI (RS 142.20; respectivement dans sa version en vigueur avant le 1 er janvier 2019 [RO 2007 5437; ci-après LEtr]; cf. art. 126 LEI) et 8 CEDH sont potentiellement de nature à leur conférer un droit à une autorisation de séjour. Le recours en matière de droit public est ainsi ouvert.
1.2. Au surplus, déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites par la loi (art. 42 LTF), par les destinataires de l'arrêt attaqué qui ont un intérêt digne de protection à son annulation ou à sa modification (art. 89 al. 1 LTF), le présent recours, dirigé contre une décision finale (art. 90 LTF) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (art. 82 let. a LTF), est recevable.
2.
Dans un premier grief, les recourants se plaignent d'un établissement inexact des faits de la part du Tribunal cantonal.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'art. 95 LTF ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (art. 97 al. 1 LTF; <ref-ruling> consid. 6 p. 358). Conformément à l'art. 106 al. 2 LTF, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (art. 99 al. 1 LTF).
2.2. Les recourants estiment tout d'abord que le Tribunal cantonal a mal apprécié la situation financière du regroupant et son état de santé, notamment la procédure en matière d'assurance-invalidité. Or, à ce propos, leur motivation ne remplit pas les conditions présentées ci-avant et se fonde pour l'essentiel sur des éléments nouveaux qui ne sauraient être pris en compte par le Tribunal fédéral (tel par exemple un prétendu emploi obtenu postérieurement à l'arrêt entrepris). Le Tribunal fédéral ne saurait par ailleurs ordonner la production du dossier de la procédure d'assurance-invalidité, puisqu'il ne lui appartient pas de rectifier ou compléter des faits qui n'ont pas été constatés de façon manifestement inexacte et qu'il n'ordonne des mesures probatoires (cf. art. 55 LTF) que de manière exceptionnelle (<ref-ruling> consid. 2 p. 104) et à condition que la partie qui les requiert motive sa requête (art. 42 al. 1 LTF). Or, le mémoire de recours ne contient aucune motivation à l'appui de cette requête (cf. arrêt 2C_543/2017 du 1 er février 2018 consid. 2.4 et les références).
Les recourants contestent également l'appréciation effectuée par l'autorité précédente de la situation financière de la recourante 1 et notamment le fait qu'elle avait signé un contrat de travail en date du 4 septembre 2018 pour un revenu mensuel de 4'500 francs. A ce propos également, il est hautement douteux que la motivation des recourants remplisse les conditions de l'art. 106 al. 2 LTF. Quand bien même il faudrait admettre que la motivation est suffisante, force serait de constater que l'appréciation du Tribunal cantonal n'est en rien arbitraire. Celui-ci a tout d'abord relevé qu'il ne s'agissait pas d'un contrat de travail, mais d'une promesse d'engagement, dont il est facilement possible de se défaire. Cette promesse, faite pour un salaire mensuel de 4'500 fr., pour un emploi à 80%, a été considérée sans arbitraire comme peu crédible par le Tribunal cantonal, en raison du salaire élevé, du taux d'occupation partiel et de l'absence de qualification de la recourante 1. En outre, aucune démarche n'a été entreprise par l'éventuel employeur auprès du Service de la population pour appuyer le dossier de la recourante 1. Pour le surplus, s'agissant d'une seconde promesse d'engagement, force est de constater que celle-ci est postérieure à l'arrêt entrepris et qu'elle ne saurait être prise en compte.
2.3. Dans ces conditions, le grief d'établissement inexact des faits ne peut qu'être écarté et le Tribunal fédéral statuera sur la seule base des faits retenus par l'autorité précédente.
3.
Le Tribunal cantonal a correctement présenté le droit applicable (art. 43 al. 1 et 3, 51 al. 2 let. b, 62 al. 1 let. e, 63 al. 1 let. c et 96 al. 1 LEtr, ainsi que 8 CEDH) et la jurisprudence topique, relative notamment à l'exigence d'une dépendance durable et importante à l'aide sociale, pour s'opposer au regroupement familial, lorsque le regroupant a bénéficié de l'asile en Suisse (<ref-ruling> consid. 4 p. 341 ss), de sorte qu'il y est renvoyé.
4.
4.1. Dans l'arrêt entrepris, le Tribunal cantonal a retenu que le mari et père des recourants était au bénéfice d'une autorisation d'établissement qui faisait suite à l'octroi de l'asile en Suisse. Il a également constaté que la recourante 1 n'avait pas d'emploi et dépendait de l'aide sociale depuis son arrivée en Suisse en décembre 2016. Pour la période de mai 2017 à novembre 2018, elle avait perçu pour elle et son fils un montant d'environ 30'000 fr. d'aide sociale. L'autorité précédente a par ailleurs constaté que le mari de la recourante 1 percevait également l'aide sociale, sa dette s'élevant en novembre 2018 à plus de 133'000 francs. Fondé sur ces constatations, le Tribunal cantonal a considéré que les recourants et le regroupant dépendaient dans une large mesure de l'aide sociale. Il a également jugé qu'au vu des faits de la cause et de l'évaluation probable de leur situation financière, ceux-ci allaient émarger de manière continue à l'aide sociale. La recourante 1 n'a démontré qu'un niveau d'études gymnasiales, ses autres affirmations relatives à une formation professionnelle, contradictoires de surcroît, n'étant aucunement étayées. Elle a certes exercé quelques activités d'étudiante, mais cela ne suffit pas pour poser un pronostic favorable. Le Tribunal cantonal a finalement constaté que la recourante 1 avait effectué des recherches d'emplois non-qualifiés, dans des secteurs à la rémunération notoirement faible. Il a au demeurant fait remarquer que la recourante 1 était au bénéfice d'une promesse d'engagement, mais a considéré sans arbitraire que cet élément n'était pas probant (cf. consid. 2.2 ci-dessus). Quant au regroupant, l'autorité précédente a constaté qu'il avait déposé une demande de rente de l'assurance-invalidité, mais que, même en cas d'obtention d'une telle rente, celle-ci ne suffirait pas pour subvenir aux besoins de la famille.
4.2. Pour leur part, les recourants estiment que le Tribunal cantonal a violé les art. 43 et 63 LEtr en refusant leur regroupement avec un ressortissant étranger au bénéfice d'une autorisation d'établissement en Suisse. Ils sont plus particulièrement d'avis qu'il n'existe pas de risque concret de dépendance à l'aide sociale, dans la mesure où l'autorité précédente n'a pas pris en compte tous les éléments pour fonder sa décision. Ils mentionnent que la recourante 1 a trouvé plusieurs employeurs potentiels et le fait que le mari de celle-ci est atteint dans sa santé. Les recourants sont également d'avis que l'arrêt du Tribunal cantonal viole l'art. 8 CEDH et qu'en particulier cette autorité a procédé à une pesée des intérêts qui n'a pas pris en compte divers éléments, tels le degré d'intégration, l'intérêt de l'enfant à vivre avec ses deux parents et l'impossibilité pour le regroupant d'aller vivre en Macédoine. Les recourants reprochent en outre à l'autorité précédente d'avoir jugé que la recourante 1 avait mis les autorités devant le fait accompli en venant en Suisse. Finalement, ils citent diverses jurisprudences, dont une du Tribunal cantonal du canton de Zurich, pour appuyer leur position.
4.3. Le litige porte donc sur le point de savoir si c'est à bon droit que le Tribunal cantonal a retenu que les recourants présentent une dépendance durable à l'aide sociale, justifiant un refus du droit au regroupement familial, respectivement si l'arrêt entrepris constitue une ingérence justifiée à la garantie de la vie familiale prévue par l'art. 8 CEDH.
5.
5.1. En tout premier lieu, force est de constater que la motivation des recourants se fonde essentiellement sur des éléments de fait qui n'ont pas été retenus par l'autorité précédente et qui ne sauraient par conséquent être pris en compte par le Tribunal fédéral (cf. consid. 2 ci-dessus). En outre, il ne saurait d'emblée être question de violation de l'art. 43 LEtr, dans la mesure où l'art. 51 al. 2 LEtr prévoit expressément les cas dans lesquels le regroupement familial prévu par l'art. 43 LEtr s'éteint. C'est notamment le cas lorsqu'il existe une dépendance à l'aide sociale (art. 62 al. 1 LEtr par renvoi de l'art. 51 al. 2 let. b LEtr), celle-ci devant néanmoins être durable et importante lorsque le regroupant a obtenu l'asile en Suisse (<ref-ruling> consid. 4 p. 341 ss).
5.2. S'agissant de cette dépendance, c'est à juste titre que l'autorité précédente a examiné la situation financière des recourants et du regroupant telle qu'elle se présente actuellement, mais qu'elle a également pris en compte le développement économique futur de la famille, en raison de l'asile obtenu en Suisse par le regroupant (<ref-ruling> consid. 4.1 p. 341). Les recourants ne contestent pas cette manière de faire. A ce propos, compte tenu des importants montants d'aide sociale déjà perçus à ce jour, que ce soit par les recourants ou par le regroupant, on doit reconnaître avec le Tribunal cantonal que tous dépendent dans une large mesure de cette aide. Quant au développement probable de la situation financière de la famille, les recourants ne sauraient être suivis lorsqu'ils affirment que la recourante 1 a été empêchée sans sa faute de travailler et qu'en cas d'obtention d'une autorisation de séjour elle trouvera sans difficulté un emploi suffisamment rémunéré. En effet, et contrairement à ce que les recourants estiment, la recourante 1 a bel et bien mis les autorités devant le fait accompli. Elle s'est certes mariée en Suisse en juillet 2016. A la suite de son mariage elle a toutefois quitté le territoire suisse, avant de revenir, sans autorisation, en décembre 2016. Elle y est restée depuis cette date, sans être au bénéfice d'une quelconque autorisation. En procédant de la sorte et en refusant d'attendre à l'étranger l'octroi de son autorisation de séjour, la recourante 1 a mis les autorités devant le fait accompli et porté atteinte au principe de l'égalité de traitement par rapport aux nombreux étrangers qui respectent les procédures établies pour obtenir un titre de séjour en Suisse (arrêts 2C_736/2017 du 28 novembre 2017 consid. 4.2 et les référence). Elle est donc malvenue d'affirmer que la situation actuelle ne lui est pas imputable. En outre, le regroupant bénéficie depuis de nombreuses années de l'aide sociale et rien n'indique qu'il pourrait ne plus en avoir besoin. A l'instar de ce qu'a retenu sans arbitraire le Tribunal cantonal, on doit considérer que, même à supposer que le regroupant obtienne une rente de l'assurance-invalidité, celle-ci serait largement insuffisante, compte tenu des circonstances, c'est-à-dire l'âge de l'assuré, les années de cotisation ou la date de survenance de l'invalidité, pour permettre à l'ensemble de la famille de ne plus émarger à l'aide sociale. Dans ces conditions, il convient de confirmer l'arrêt entrepris en tant qu'il retient un cas de dépendance durable à l'aide sociale qui exclut la possibilité de regroupement familial.
5.3. Dans la mesure où les recourants invoquent l'art. 8 CEDH, force est d'admettre que leur vie familiale est protégée par cette disposition, le regroupant bénéficiant d'une autorisation d'établissement en Suisse et y ayant obtenu l'asile. C'est par conséquent à juste titre que le Tribunal cantonal a procédé à une pesée des intérêts, conformément à l'art. 8 par. 2 CEDH. A ce propos, dans la mesure où, comme on l'a vu précédemment (cf. consid. 5.2 ci-dessus), la recourante 1 a mis les autorités devant le fait accompli en venant en Suisse sans bénéficier d'une autorisation pour y séjourner, elle ne saurait d'emblée se prévaloir d'une prétendue bonne intégration (cf. arrêt 2C_950/2017 du 16 mai 2018 consid. 4.3). Au demeurant, on peut constater que les recourants bénéficient d'un intérêt évident à rester en Suisse auprès de leur mari/père. Néanmoins, à cet égard il faut prendre en compte l'importante dépendance à l'aide sociale et le fait que cette dépendance est durable et que rien n'indique qu'elle cesserait dans un avenir même moyennement proche. A cela s'ajoute que la recourante 1, qui est jeune et en bonne santé, a passé la plus grande partie de sa vie dans son pays d'origine, dont elle parle la langue et où elle a conservé des attaches culturelles et sociales. Quant au recourant 2, s'il faut tenir compte de l'intérêt fondamental de l'enfant (art. 3 de la convention du 20 novembre 1989 relative aux droits de l'enfant [RS 0.107; ci-après: CDE]) à pouvoir grandir en jouissant d'un contact étroit avec ses deux parents, il faut malgré tout rappeler que l'art. 3 CDE ne saurait fonder une prétention directe à l'octroi ou au maintien d'une autorisation (<ref-ruling> consid. 5.2 p. 98 et les arrêts cités). Or, on constate en l'espèce que le recourant 2 pourra suivre sa mère, afin de vivre avec celle-ci en Macédoine, même s'il n'est pas de la même nationalité qu'elle. Comme l'a justement relevé l'autorité précédente, l'art. 2 par. 2 let. a de l'accord du 15 mars 2012 conclu entre le Conseil fédéral suisse et le Gouvernement de la République de Macédoine concernant la réadmission des personnes en séjour irrégulier (RS 0.142.115.209) prévoit expressément qu'outre les personnes qui ne remplissent pas les conditions de séjour sur le territoire de l'Etat requérant (en l'occurrence la Suisse), l'Etat requis (en l'occurrence la Macédoine) réadmet également les enfants mineurs célibataires des personnes précitées et ce quels que soient leur lieu de naissance et leur nationalité, excepté lorsqu'ils disposent d'un droit de séjour autonome dans l'Etat requérant. A toutes fins utiles, il convient encore d'ajouter que les recourants pourront continuer de voir leur époux/père lors de séjours en Suisse ou en Macédoine. La jurisprudence zurichoise, citée par les recourants, ne leur est d'aucun secours, pas plus que les arrêts 2C_674/2013 du 23 janvier 2014 et 2C_184/2018 du 16 août 2018, dans la mesure où on ne saurait attendre qu'à l'avenir, la famille ne bénéficie plus de l'aide sociale.
6.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire est rejetée (art. 64 al. 1 LTF). Succombant, les recourants doivent supporter les frais judiciaires, solidairement entre eux (art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge des recourants, solidairement entre eux.
4.
Le présent arrêt est communiqué au mandataire des recourants, au Service des migrations, au Département de l'économie et de l'action sociale et à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 30 avril 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette