Faits :
A.
A.a. A._, ressortissant marocain né en 1986, est arrivé en Suisse où il s'est marié avec une citoyenne italienne. Il a ainsi obtenu une autorisation de séjour UE/AELE. Les époux ont eu un fils, B._, né en 2016.
Entre 2014 et 2017, A._ a été condamné à six reprises à des peines allant de 12 à 90 jours-amendes pour, essentiellement, voies de fait et menaces (à l'encontre de sa conjointe), dommage à la propriété, ainsi que pour des infractions en matière de stupéfiants et de circulation routière.
En date du 2 février 2018, le tribunal compétent zurichois a prononcé le divorce des époux. La garde de B._ a été attribuée à la mère; A._ n'a pas obtenu de droit de garde.
Le Service des migrations du canton du Tessin a refusé, par décision du 28 juin 2018, le renouvellement de l'autorisation de séjour de A._ et a ordonné son renvoi de Suisse. Le Tribunal administratif de ce canton a rejeté le recours de l'intéressé à l'encontre de cette décision. Un ultime délai au 29 février 2020 lui a été imparti pour quitter la Suisse.
Selon des extraits établis les 8 novembre 2019 et 22 avril 2020, A._ a perçu 35'017 fr. respectivement 22'898 fr. des services sociaux de U._ et V._ pour la période allant de mars 2017 à février 2020. De plus, selon un relevé du registre des poursuites de W._ du 28 avril 2020, il cumule des poursuites s'élevant à 65'476 fr. 52 et des actes de défaut de biens pour 55'305 fr. 20.
A.b. A._ a, le 18 février 2020, déposé une demande d'autorisation de séjour en vue de son mariage avec C._, ressortissante suisse née en 1994, que le Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population) a refusé de lui octroyer, en date du 25 juin 2020.
B.
Par arrêt du 7 décembre 2020, la Ie Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a rejeté le recours de A._ à l'encontre de la décision du 25 juin 2020 du Service de la population. Elle a laissé ouvert le point de savoir si l'intéressé entendait conclure un mariage de complaisance, considérant en substance qu'au regard des condamnations pénales de A._ et de sa dépendance à l'aide sociale, celui-ci ne remplissait pas les conditions pour l'octroi d'une autorisation de séjour en vue du mariage.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, outre l'octroi de l'assistance judiciaire et de l'effet suspensif, d'annuler l'arrêt du 7 décembre 2020 du Tribunal cantonal et de renvoyer la cause à cette autorité, afin de lui octroyer une autorisation de séjour provisoire.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
Selon l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions qui concernent une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit. En l'occurrence, le recourant prétend de manière défendable avoir droit à une autorisation de séjour, notamment,en application des art. 14 Cst. et 12 CEDH, qui garantissent le droit au mariage. Les dispositions précitées peuvent en effet fonder, en fonc tion des circonstances, un droit à la délivrance d'un titre de séjour provisoire, lorsqu'une personne étrangèreenvisage, comme en l'espèce, de se marier avec un ou une ressortissante sui sse (arrêt 2C_349/2011 du 23 novembre 2011 consid. 1.3 non publié in <ref-ruling>), étant précisé que le point de savoir si un tel droit doit être reconnu en l'espèce relève du fond et non de la recevabilité (cf. <ref-ruling> consid. 1.1 p. 332). Il s'ensuit que le recours échappe à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF. La voie du recours en matière de droit public est donc ouverte.
Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>) rendue par un tribunal supérieur de dernière instance cantonale (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>). Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>), par le destinataire de l'arrêt entrepris qui a qualité pour recourir (cf. <ref-law>), le recours est recevable.
2.
2.1. Saisi d'un recours en matière de droit public, le Tribunal fédéral contrôle librement le respect du droit fédéral, qui comprend les droits de nature constitutionnelle (cf. art. 95 let. a et 106 al. 1 LTF), sous réserve des exigences de motivation figurant à l'<ref-law>. Aux termes de cet alinéa, le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par la partie recourante, à savoir exposé de manière claire et détaillée (cf. ATF <ref-ruling> consid. 2; <ref-ruling> consid. 1.3; <ref-ruling> consid. 2.3).
Le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ceux-ci n'aient été établis de manière manifestement inexacte (<ref-law>), à savoir de façon arbitraire (art. 9 Cst; sur cette notion, cf. <ref-ruling> consid. 1.1) et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause. Le recourant doit démontrer dans son recours que ces conditions sont réalisées. Il lui incombe d'exposer, de manière circonstanciée, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 1.1).
2.2. La motivation contenue dans le mémoire ne satisfait pas à ces exigences. En effet, le recourant y conteste l'établissement des faits, comme il le ferait en procédure d'appel. Il présente sa propre version des faits, notamment quant à ses projets de mariage et les démarches y relatives qu'il aurait entreprises, sans démontrer que les faits tels qu'établis par la cour cantonale l'auraient été de manière manifestement inexacte. Partant, le Tribunal fédéral statuera sur la base de ceux retenus dans l'arrêt entrepris.
3.
Sur le fond, le litige porte sur le refus d'autoriser le recourant à séjourner en Suisse en vue de son mariage. L'intéressé y voit une atteinte disproportionnée à son droit au mariage inscrit aux art. 12 CEDH et 14 Cst.
3.1. Le Tribunal cantonal a correctement exposé le droit applicable (art. 12 CEDH et 14 Cst.; art. 42 al. 1, 51 al. 1 let. b et 63 al. 1 let. c LEI [RS 142.20]) et la jurisprudence relative au droit au mariage en relation avec la délivrance d'une autorisation de séjour (<ref-ruling> consid. 3.5.2; <ref-ruling> consid. 4; <ref-ruling> consid. 3.7), ainsi que le motif de révocation respectivement de refus d'octroi d'une autorisation que représente la dépendance durable et dans une large mesure à l'aide sociale (2C_519/2020 du 21 août 2020 consid. 3.3 et l'arrêt cité), de sorte qu'il y est renvoyé.
3.2. En l'espèce, il résulte de l'arrêt attaqué que le recourant a cumulé une dette sociale s'élevant à 57'915 fr., à savoir 35'017 fr. dans le canton de U._ et 22'898 fr. à X._. Cette aide a été perçue de mars 2017 à février 2020. Le Tribunal cantonal a souligné que l'intéressé n'a travaillé que durant quelques mois lorsqu'il séjournait à X._, qu'il est actuellement toujours sans emploi et qu'il n'a pas produit la moindre promesse d'engagement. Concernant la situation financière à long terme de celui-ci, les juges précédents ont retenu qu'au 28 avril 2020 il accumulait des poursuites pour un montant total de 65'476 fr. 52, ainsi que des actes de défaut de biens s'élevant à 55'305 francs 20. Ils ont également relevé que, si le budget du couple établi par le Service de la population montrait un " bonus mensuel " de 48 fr. 80, ce décompte ne prenait pas en considération la pension de 1'031 fr. que le recourant doit verser à son fils. Le recourant ne conteste pas ces constatations de faits. Dans ces circonstances, le pronostic défavorable quant à l'évolution financière probable du recourant et son risque de dépendance future à l'aide sociale ne peuvent être que confirmés.
3.3. Au regard de ce qui précède, il est probable que l'on puisse opposer au recourant le motif de révocation d'autorisation d'établissement prévu à l'art. 63 al. 1 let. c LEI. Il s'ensuit qu'il n'est pas manifeste que l'intéressé serait admis à séjourner en Suisse, après s'être marié avec sa compagne actuelle (art. 42 al. 1, 51 al. 1 let. b et 63 al. 1 let. c LEI), étant précisé qu'un refus de regroupement familial en Suisse n'apparaît pas d'emblée disproportionné s'agissant d'un couple relativement jeune et sans enfants communs, pouvant de prime abord s'établir au Maroc. En application de la jurisprudence fédérale, le recourant ne peut donc prétendre à l'octroi d'une autorisation de séjour provisoire en vue d'un mariage en Suisse.
Compte tenu de ces éléments, il n'y a pas lieu d'examiner au surplus si le recourant, de par ses condamnations, attente de manière très grave à la sécurité et l'ordre publics en Suisse (cf. art. 63 al. 1 let. b LEI). De même, le point de savoir si le droit au regroupement familial est invoqué de façon abusive (cf. art. 51 al. 1 let. a LEI) par le biais d'un mariage de complaisance peut rester ouvert.
3.4. Le refus d'autorisation de séjour en vue de mariage prononcé par les autorités cantonales ne porte enfin pas une atteinte disproportionnée au droit au mariage du recourant, quoi qu'il prétende dans ses écritures. En effet, rien dans l'arrêt entrepris n'indique que les démarches en vue du mariage ne pourraient pas être poursuivies depuis l'étranger ou que le couple n'aurait aucune possibilité juridique de se marier dans un pays autre que la Suisse, notamment au Maroc, pays d'origine du recourant. On ne se trouve dès lors pas dans une situation où une éventuelle tolérance de séjour en vue du mariage, indépendamment du point de savoir si les futurs époux auraient ensuite le droit de mener leur vie conjugale ou familiale en Suisse, devrait être envisagée, afin que soit garantie la substance du droit au mariage (cf. arrêt 2C_154/2020 du 7 avril 2020 consid. 3.10 et les références citées).
3.5. Il s'ensuit que l'arrêt attaqué, qui refuse d'octroyer une autorisation de séjour en vue du mariage au recourant, ne viole pas le droit au mariage garanti aux art. 12 CEDH et 14 Cst.
4.
Le recourant invoque encore l'art. 8 CEDH, mettant en avant la vie qu'il entend construire avec son fils.
Dès lors que l'intéressé ne détient ni l'autorité parentale ni le droit de garde, qu'il n'a pas même obtenu un droit de visite et qu'il ne contribue pas à l'entretien de son fils, la relation avec celui-ci ne peut être qualifiée d'étroite et effective d'un point de vue affectif et économique. Or, il s'agit-là de la condition à remplir pour pouvoir tirer un droit de l'art. 8 CEDH protégeant la vie familiale, lorsque le parent qui s'en prévaut n'a ni l'autorité parentale ni le droit de garde sur l'enfant disposant d'un droit durable à séjourner en Suisse (cf. <ref-ruling> consid. 5.1, 5.2 et 5.2.1; <ref-ruling> consid. 3). En conséquence, le grief est écarté. Quant à l'art. 3 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107), il ne saurait fonder une prétention directe à l'octroi ou au maintien d'une autorisation (cf. <ref-ruling> consid. 5.2). Au demeurant, le recourant pourrait maintenir des liens avec son enfant depuis l'étranger, comme l'a retenu le Tribunal cantonal.
5.
Les considérants qui précèdent conduisent au rejet du recours. La demande d'effet suspensif devient sans objet.
Celui-ci étant d'emblée dénué de chance de succès, la demande d'assistance judiciaire est rejetée (cf. <ref-law>). Succombant, le recourant doit supporter les frais judiciaires (cf. <ref-law>), qui seront toutefois fixés en tenant compte de sa situation financière (cf. <ref-law>). Il n'est pas alloué de dépens (cf. art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué au recourant, au Service de la population et des migrants et au Tribunal cantonal du canton de Fribourg, I e Cour administrative, ainsi qu'au Secrétariat d'Etat aux migrations.
Lausanne, le 4 mars 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Jolidon