Faits :
A.
A._, ressortissant algérien né en 1986, a épousé en octobre 2011 une ressortissante suisse. Il est venu s'installer en Suisse en septembre 2012, au bénéfice du regroupement familial. De cette union est née une fille en avril 2014.
D'après A._, le couple s'est séparé en décembre 2015. Le 10 décembre 2015, l'épouse a déposé une requête de mesures protectrices de l'union conjugale, sur laquelle s'est prononcé le Tribunal de première instance du canton de Genève le 24 janvier 2017 (cf. <ref-law>). Aux termes de la décision, A._ bénéficiait d'un droit de visite de deux jours par semaine, puis, dès qu'il disposerait d'un logement adéquat, durant la moitié des vacances et tous les mercredis. En outre, un droit de visite toutes les deux semaines, du samedi à 17h au dimanche à 17h était prévu pour les trois premiers mois, avec une extension jusqu'au lundi matin par la suite. Le père était par ailleurs astreint au versement d'une pension alimentaire de 250 fr. par mois.
Le 9 juin 2017 (<ref-law>), l'Office cantonal de la population et des migrations du canton de Genève a informé A._ qu'il était favorable à la poursuite de son séjour en Suisse, sous réserve de l'approbation du Secrétariat d'Etat aux migrations.
B.
Par décision du 6 juin 2018, le Secrétariat d'Etat aux migrations a refusé d'approuver la prolongation de l'autorisation de séjour de A._ et lui a imparti un délai pour quitter la Suisse.
A._ a recouru le 9 juillet 2018 contre cette décision auprès du Tribunal administratif fédéral.
En octobre 2019, le divorce de A._ a été prononcé. A._ dispose de l'autorité parentale conjointe sur sa fille, dont la garde a été attribuée à la mère. Un large droit de visite a été prévu en faveur du père.
Par arrêt du 2 juillet 2020, le Tribunal administratif fédéral a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif et l'octroi de l'assistance judiciaire, d'annuler l'arrêt du Tribunal administratif fédéral du 2 juillet 2020 et, principalement, de prolonger son autorisation de séjour ou, subsidiairement, de renvoyer la cause au Tribunal administratif fédéral pour nouvelle décision dans le sens des considérants.
Par ordonnance du 10 septembre 2020, la Juge présidant de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le 11 septembre 2020, le Tribunal fédéral a renoncé provisoirement à exiger une avance de frais et indiqué à A._ qu'il serait statué ultérieurement sur sa demande d'assistance judiciaire.
Le Tribunal administratif fédéral a renoncé à prendre position sur le recours et a renvoyé intégralement aux considérants de son arrêt du 2 juillet 2020. Le Secrétariat d'Etat aux migrations ne s'est pas déterminé dans le délai imparti.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
En l'espèce, le recourant fait valoir un droit à la prolongation de son autorisation de séjour en invoquant l'art. 50 de l'ancienne loi fédérale du 16 décembre 2005 sur les étrangers (LEtr [RO 2007 5437], intitulée, depuis le 1er janvier 2019, loi fédérale sur les étrangers et l'intégration [LEI; RS 142.20]. Dès lors que le contenu de l'art. 50 LEI diffère en partie de l'ancien art. 50 LEtr et eu égard aux dispositions transitoires [art. 126 al. 1 LEI], il sera fait référence ci-après à la LEtr [arrêt 2C_26/2020 du 19 février 2020 consid. 4.1]). L'art. 50 LEtr confère un droit, à certaines conditions, à la poursuite du séjour au conjoint d'un ressortissant suisse ou titulaire d'une autorisation d'établissement après la dissolution de la famille. Le recourant invoque par ailleurs aussi l'art. 8 CEDH sous l'angle de la protection de sa vie familiale. Comme il n'est pas d'emblée exclu que les conditions de ces dispositions soient remplies en l'espèce, le recours échappe à la clause d'irrecevabilité de l'art. 83 let. c ch. 2 LTF. Le recours est partant recevable, étant rappelé que le point de savoir si le recourant dispose effectivement d'un droit au séjour relève du fond et non de la recevabilité (cf. <ref-ruling> consid. 1.1 p. 179).
1.2. Le recours, dirigé contre une décision finale (<ref-law>) rendue par le Tribunal administratif fédéral (<ref-law>), a par ailleurs été déposé en temps utile compte tenu des féries (art. 46 al. 1 let. b et 100 al. 1 LTF) et dans les formes requises (<ref-law>) par le destinataire de l'arrêt attaqué, qui a qualité pour recourir (cf. <ref-law>). Il convient donc d'entrer en matière.
2.
Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits constatés par l'autorité précédente (<ref-law>), hormis dans les cas prévus à l'<ref-law>. Selon l'<ref-law>, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire - ou en violation du droit au sens de l'<ref-law> et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 2 p. 190; <ref-ruling> consid. 6 p. 358; <ref-ruling> consid. 1.6 p. 377 s.). Conformément à l'<ref-law>, la partie recourante doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait qui diverge de celui qui est contenu dans l'acte attaqué (<ref-ruling> consid. 2 p. 190; <ref-ruling> consid. 5.1 p. 356).
3.
Le litige porte sur la prolongation de l'autorisation de séjour du recourant.
4.
Le recourant fait valoir que les conditions de l'art. 50 al. 1 let. a LEtr sont réalisées.
4.1. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie. Ces deux conditions sont cumulatives (<ref-ruling> consid. 3.8 p. 298; <ref-ruling> consid. 3.3.3 p. 119).
En l'espèce, le recourant a rejoint son ex-épouse en Suisse en septembre 2012 et a indiqué que le couple s'était séparé en décembre 2015. Alors que le Secrétariat d'Etat aux migrations avait admis une union conjugale de trois ans, le Tribunal administratif fédéral a indiqué éprouver des doutes à ce sujet et a laissé la question ouverte. Ce point peut effectivement demeurer indécis dans la mesure où la deuxième condition, relative à l'intégration, fait défaut.
4.2. Le principe de l'intégration doit permettre aux étrangers dont le séjour est légal et durable de participer à la vie économique, sociale et culturelle de la Suisse (art. 4 al. 2 LEtr; cf. aussi art. 4 al. 2 LEI). D'après l'art. 77 al. 4 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), dans sa teneur en vigueur jusqu'au 31 décembre 2018 (RO 2007 5497), un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 de l'ancienne ordonnance du 24 octobre 2007 sur l'intégration des étrangers (aOIE; RO 2007 5551), remplacée au 1er janvier 2019 par l'ordonnance du même nom du 15 août 2018 (RS 142.205), la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). L'adverbe "notamment", qui est employé tant à l'ancien art. 77 al. 4 OASA qu'à l'art. 4 aOIE, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions et met aussi en exergue le fait que la notion "d'intégration réussie" doit s'examiner à l'aune d'une appréciation globale des circonstances (arrêts 2C_686/2019 du 3 octobre 2019 consid. 5.1; 2C_352/2014 du 18 mars 2015 consid. 4.2 et les arrêts cités). Dans l'examen de ces critères d'intégration, les autorités compétentes disposent d'un large pouvoir d'appréciation, que le Tribunal fédéral ne revoit qu'avec retenue (cf. arrêt 2C_686/2019 du 3 octobre 2019 consid. 5.1 et les arrêts cités).
4.3. Selon la jurisprudence, il n'y a pas d'intégration réussie lorsque l'étranger n'exerce pas d'activité lucrative qui lui permette de couvrir ses besoins et qu'il dépend des prestations sociales pendant une période relativement longue. Le fait pour une personne de ne pas avoir commis d'infractions pénales et de pourvoir à son revenu sans recourir à l'aide sociale ne permet pas à lui seul de retenir une intégration réussie. Des périodes d'inactivité de durée raisonnable n'impliquent pas forcément une absence d'intégration professionnelle. Il n'est pas non plus indispensable que l'étranger fasse montre d'une carrière professionnelle exemplaire. L'essentiel en la matière est que l'étranger subvienne à ses besoins, n'émarge pas à l'aide sociale et ne s'endette pas de manière disproportionnée (arrêt 2C_686/2019 du 3 octobre 2019 consid. 5.2 et les arrêts cités). Lorsqu'il s'agit d'examiner l'étendue de l'intégration professionnelle d'un étranger, il y a lieu de se fonder sur la situation effective, à savoir sur la présence ou non de l'intéressé sur le marché du travail (cf. arrêts 2C_925/2015 du 27 mars 2017 consid. 6.4.4; 2C_656/2016 du 9 février 2017 consid. 5.2). Ainsi, la jurisprudence considère notamment que le point de savoir si un étranger a été durablement empêché de travailler pour des motifs de santé n'entre pas en ligne de compte pour juger de son niveau d'intégration professionnelle à proprement parler, mais peut expliquer qu'il ait émargé à l'aide sociale pendant une période (arrêts 2C_656/2016 du 9 février 2017 consid. 5.2; 2C_861/2015 du 11 février 2016 consid. 5.2 et 5.6.2).
4.4. En l'occurrence, sur le plan professionnel, il ressort de l'arrêt entrepris que le recourant, coiffeur de profession, n'a pas cherché d'emploi à son arrivée en Suisse en septembre 2012 et a déposé une demande auprès de l'assurance chômage en 2013. Il a ensuite exercé une activité lucrative à plein temps de septembre 2013 à août 2014. A partir de septembre 2014, il a été inscrit au chômage. Il aurait dû accomplir un stage de requalification en tant qu'accompagnateur de personnes âgées entre février et août 2015, mais il avait été absent à de maintes reprises. Il a bénéficié d'un contrat de travail entre juin et août 2015, puis a travaillé à 50% entre juin 2016 et fin novembre 2017, avant d'être licencié pour des motifs de conjoncture. Il a immédiatement retrouvé un travail, dont il a toutefois été licencié en janvier 2018, en raison de ses retards. Il s'est à nouveau inscrit au chômage. Il a fait l'objet de sanctions en raison de ses retards aux entretiens et du nombre insuffisant de ses recherches d'emploi mensuelles. En février 2019, son dossier auprès de l'Office régional de placement a été fermé. Depuis avril 2019, le recourant a émargé à l'aide sociale.
Il résulte des constatations de fait qui précèdent, qui lient le Tribunal fédéral (<ref-law>), que le recourant n'a pas cherché à s'intégrer professionnellement en Suisse. Durant les trois premières années de séjour, il a travaillé une fois un an et une fois trois mois. Il a ensuite eu une activité, à temps partiel, de juin 2016 à novembre 2017, puis une autre jusqu'à janvier 2018, soit un total d'un an et demi. Il n'a plus travaillé depuis. En tout et pour tout, le recourant a donc travaillé moins de trois ans depuis son arrivée en Suisse en 2012. Dans ces conditions, on ne peut pas considérer que l'intégration professionnelle est réussie.
4.5. En ce qui concerne les autres facteurs dénotant une intégration réussie, le seul élément favorable en l'espèce est que le recourant parle le français. En effet, à teneur de l'arrêt attaqué, le recourant n'a pas développé d'attaches sociales particulières avec la Suisse. Sur le plan économique, si le recourant semble avoir pourvu à ses besoins pendant plusieurs années, il émarge depuis avril 2019 à l'aide sociale. Par ailleurs, selon l'arrêt attaqué, le recourant n'a pas versé les pensions alimentaires dues en faveur de sa fille. Enfin, le recourant n'a pas actualisé sa situation au sujet des poursuites et actes de défaut de biens comme le lui avait demandé le Tribunal administratif fédéral, de sorte qu'on ne peut pas affirmer en sa faveur qu'il ne fait l'objet ni de poursuites ni de dettes. Il a aussi été constaté que le recourant admettait lui-même que sa vie sociale était perturbée du fait de ses réactions agressives, blessantes et provocantes. Sur le vu de ce qui précède, l'intégration économique et sociale n'apparaît pas non plus réussie.
4.6. Les éléments avancés par le recourant ne modifient pas les constats qui précèdent. Dans la mesure où il affirme avoir exercé une activité lucrative pendant une durée totale d'environ six ans, il s'écarte de manière appellatoire et partant inadmissible de l'arrêt attaqué. Son allégation n'a donc pas à être prise en compte (cf. supra consid. 2). Par ailleurs, les incapacités de travail du recourant en 2018, 2019 et début 2020, attestées par des certificats médicaux, ne remettent pas en cause l'absence d'intégration professionnelle, puisque c'est la présence effective sur le marché du travail qui est déterminante (cf. supra consid. 4.3). Au reste, on peut relever qu'elles n'expliquent que les deux dernières années du parcours du recourant, alors que celui-ci était en Suisse depuis huit ans en 2020. De même, si la demande de prestations de l'assurance-invalidité, que le recourant mentionne et qui a été déposée au printemps 2019 à teneur de l'arrêt entrepris, venait à aboutir, cela permettrait de comprendre l'absence d'emploi ces dernières années, mais pas le manque complet d'efforts en vue de s'intégrer qui a précédé. La procédure en cours depuis 2016 relative au droit de séjour, qui aurait empêché le recourant selon ses dires de retrouver un emploi dans des bonnes conditions à partir de ce moment-là, n'explique pas non plus les premières années du parcours du recourant en Suisse. En outre, le recourant ne démontre pas concrètement qu'un emploi lui aurait été refusé faute de disposer des autorisations nécessaires.
Enfin, le recourant argue d'une intégration réussie en soulignant que son casier judiciaire est vierge et qu'on ne peut tenir compte à son désavantage de la procédure pénale en cours, dans laquelle il est prévenu de viol, en raison du principe de la présomption d'innocence. Un casier judiciaire vierge ne permet pas à lui seul de retenir que l'intégration est réussie. Partant, le recourant ne peut rien tirer en sa faveur de cet élément. En outre, le Tribunal administratif fédéral n'a pas conclu à une absence d'intégration réussie en raison de la procédure pénale en cours, mais de l'ensemble des facteurs précités (cf. supra consid. 4.4 et 4.5), de sorte qu'on ne voit pas en quoi il aurait méconnu la présomption d'innocence.
4.7. En définitive, dès lors que l'intégration n'est pas réussie, le Tribunal administratif fédéral n'a pas violé l'art. 50 al. 1 let. a LEtr en confirmant que le recourant ne pouvait pas déduire un droit de séjour de cette disposition.
5.
Le recourant, qui dénonce en particulier la violation de l'art. 8 CEDH, invoque la relation avec sa fille de nationalité suisse.
5.1. L'art. 50 al. 1 let. b et al. 2 LEtr permet au conjoint étranger de demeurer en Suisse après la dissolution de l'union conjugale, lorsque la poursuite de son séjour s'impose pour des raisons personnelles majeures. Des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr peuvent découler d'une relation digne de protection avec un enfant qui a le droit de séjourner en Suisse (<ref-ruling> consid. 4.1 p. 24 s.; <ref-ruling> consid. 2.1 p. 318 s.). Dans ce contexte, il convient également de tenir compte du droit au respect de la vie privée et familiale garanti par l'art. 8 CEDH (arrêts 2C_844/2019 du 28 février 2020 consid. 3.1; 2C_794/2014 du 23 janvier 2015 consid. 3.2), que le recourant invoque du reste expressément.
5.2. Sous l'angle du droit à la vie familiale (cf. art. 8 par. 1 CEDH et art. 13 al. 1 Cst.), la jurisprudence retient de manière constante que le parent étranger qui dispose d'un droit de visite sur son enfant habilité à résider en Suisse peut en principe exercer ce droit même s'il vit à l'étranger (cf. <ref-ruling> consid. 5.1 p. 96 s.). Il n'est ainsi en principe pas nécessaire que, dans l'optique de pouvoir exercer son droit de visite, le parent étranger soit habilité à résider durablement dans le même pays que son enfant. Un droit plus étendu ne peut le cas échéant exister qu'en présence de relations étroites et effectives avec l'enfant d'un point de vue affectif et d'un point de vue économique, de l'impossibilité pratique à maintenir la relation en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent et d'un comportement irréprochable (<ref-ruling> consid. 5.1 p. 96 s.). Ces exigences doivent être appréciées ensemble et faire l'objet d'une pesée des intérêts globale. Dans le cadre de l'examen de la proportionnalité de la mesure (cf. art. 8 par. 2 CEDH), il faut aussi tenir compte de l'intérêt fondamental de l'enfant (art. 3 de la Convention relative aux droits de l'enfant [CDE; RS 0.107]) à pouvoir grandir en jouissant d'un contact étroit avec ses deux parents (<ref-ruling> consid. 5.2 p. 97 s., 143 I 21 consid. 5.5.1 p. 29).
La jurisprudence a précisé, en lien avec l'art. 50 al. 1 let. b LEtr, que l'exigence du lien affectif particulièrement fort doit être considérée comme remplie lorsque les contacts personnels sont exercés dans le cadre d'un droit de visite usuel selon les standards d'aujourd'hui (cf. <ref-ruling> consid. 3.2 p. 148). En Suisse romande, il s'agit d'un droit de visite d'un week-end toutes les deux semaines et durant la moitié des vacances; seuls importent les liens personnels, c'est-à-dire l'existence effective de liens familiaux particulièrement forts d'un point de vue affectif et non pas seulement les décisions judiciaires ou les conventions entre parents (cf. <ref-ruling> consid. 5.2.1 p. 98 et les arrêts cités). Une telle solution prend également en compte l'art. 9 par. 3 CDE (cf. <ref-ruling> consid. 3.2 p. 148; <ref-ruling> consid. 2.4 et 2.5 p. 321).
Quant aux liens économiques, ils supposent que l'étranger verse une contribution financière pour l'entretien de l'enfant. Cette contribution peut également avoir lieu en nature, en particulier en cas de garde alternée (<ref-ruling> consid. 5.2.2 p. 99). Le Tribunal fédéral a admis qu'il convient de distinguer la situation dans laquelle l'étranger ne contribue pas à l'entretien de l'enfant faute d'avoir été autorisé à travailler de celle dans laquelle il ne fait aucun effort pour trouver un emploi. Les exigences relatives à l'étendue de la relation que l'étranger doit entretenir avec son enfant d'un point de vue affectif et économique doivent rester dans l'ordre du possible et du raisonnable (<ref-ruling> consid. 5.2.2 p. 99 et les arrêts cités). Il y a lieu également de tenir compte des décisions des autorités civiles réduisant ou supprimant l'obligation de verser une pension alimentaire et de l'importance des prestations en nature consenties en faveur de l'enfant, l'exercice d'un droit de visite équivalant à une quasi garde alternée confirmant sous l'angle des prestations en nature l'existence de liens économiques étroits (<ref-ruling> consid. 5.2.2 p. 99 et les arrêts cités).
Enfin, on ne saurait parler de comportement irréprochable lorsqu'il existe, à l'encontre de l'étranger, des motifs d'éloignement, en particulier si l'on peut lui reprocher un comportement répréhensible sur le plan pénal ou en regard de la législation sur les étrangers, étant entendu qu'en droit des étrangers, le respect de l'ordre et de la sécurité publics ne se recoupe pas nécessairement avec la violation de dispositions pénales, de sorte que l'appréciation émise par l'autorité de police des étrangers peut s'avérer plus rigoureuse que celle de l'autorité pénale (cf. <ref-ruling> consid. 5.2.4 p. 100 et les arrêts cités).
5.3. En l'espèce, le recourant prétend que les quatre conditions fixées par la jurisprudence sont réunies.
5.3.1. Sous l'angle du lien affectif, le recourant a été mis au bénéfice d'un large droit de visite par les autorités judiciaires en janvier 2017, puisqu'il comprenait deux jours par semaine et, dès que le recourant aurait disposé d'un logement adéquat, de la moitié des vacances, de tous les mercredi et d'un week-end sur deux, les trois premiers mois du samedi au dimanche, puis du samedi au lundi matin.
Il ressort toutefois de l'arrêt attaqué qu'au cours de l'année 2017, le recourant ne s'est occupé de sa fille que deux demi-journées par semaine. Le droit de visite n'a donc pas été effectif durant cette année. Pour ce qui est des relations en 2018 et 2019, l'arrêt entrepris fait état d'un rapport médical d'octobre 2019 dans lequel il est indiqué que le recourant avait renoué le contact avec sa fille en juillet 2019, mais qu'au moment du rapport, il ne l'avait plus revue depuis plus d'un mois en raison de difficultés avec la mère. L'allégation du recourant selon laquelle il aurait repris en 2018 un droit de visite usuel s'écarte des constatations qui précèdent, sans démontrer que celles-ci seraient arbitraires, de sorte qu'elle ne peut pas être prise en compte (cf. supra consid. 2). On ne peut donc que retenir que le recourant n'a pas non plus exercé de manière effective son droit de visite en 2018 et à tout le moins jusqu'à octobre 2019.
Selon l'arrêt entrepris, le recourant s'est vu accorder, à l'occasion du jugement de divorce d'octobre 2019, un droit de visite tous les mercredis, un week-end sur deux du samedi 17h au dimanche 17h et la semaine qui suit le dimanche de 10h à 17h, ainsi que la moitié des vacances scolaires. Comme le relève le recourant, s'il ne dispose pas, d'après ce qui précède, d'un droit de visite standard comprenant deux nuits un week-end sur deux, ce dont lui a fait grief le Tribunal administratif fédéral, cet aspect apparaît compensé en l'espèce par le fait qu'il est autorisé à garder sa fille, en sus d'un week-end sur deux pour une nuit, toutes les semaines les mercredi et les dimanches. Il est au demeurant indiqué dans le jugement de divorce que le recourant se voit accorder un "large" droit de visite (cf. <ref-law>). Quoi qu'il en soit, ce qui compte est l'effectivité de ce droit. Or, sur ce point, l'arrêt attaqué mentionne un courrier de la mère de l'enfant de février 2020, dans lequel il est fait état d'une meilleure régularité dans le droit de visite, "même si ce n'était pas parfait".
Il ressort des constatations de fait qui précèdent que le recourant s'est vu accorder par les autorités judiciaires de larges droits de visite depuis 2017, mais que, dans les faits, il n'a pas exercé de manière effective lesdits droits. Même si une amélioration a pu être constatée, le recourant ne saurait dans ces circonstances se prévaloir d'un lien affectif fort avec son enfant.
5.3.2. Sous l'angle économique, il résulte de l'arrêt attaqué que le recourant n'a jamais versé la contribution mensuelle d'entretien de 250 fr. à laquelle il avait été astreint par le jugement de janvier 2017 (arriéré de 9'250 fr. au 30 septembre 2019). Le recourant n'a pas remplacé ces contributions par des prestations en nature. La condition d'un lien économique fort n'est, au vu de ces constats, pas remplie.
Le fait que le recourant respecterait les termes du jugement d'octobre 2019, selon lesquels il doit désormais une pension de 50 fr. par mois, ne modifie pas cette conclusion, compte tenu de la longue période durant laquelle le recourant ne s'est pas acquitté de ses obligations, y compris bien avant d'être en incapacité de travail.
5.3.3. Du point de vue du comportement, le Tribunal administratif fédéral a relevé que le recourant dépendait de l'aide sociale depuis avril 2019 et que son incapacité de travail résultait entre autres de sa consommation excessive d'alcool et de cannabis. Le recourant n'a en revanche pas fait l'objet de condamnations pénales à ce jour. Cette seule circonstance ne saurait toutefois lui conférer un droit de séjour.
5.3.4. Enfin, ainsi que l'a relevé le Tribunal administratif fédéral, il est certain que la distance entre la Suisse et l'Algérie rendra difficile l'exercice du droit de visite du recourant (cf. <ref-ruling> consid. 6.1 p. 101). Le recourant et sa fille pourront toutefois garder un lien par le biais des moyens de communication modernes.
5.4. En définitive, compte tenu en particulier de l'absence de relation affective et économique étroite entre le recourant et sa fille, les précédents juges n'ont pas violé les art. 50 al. 1 let. b LEtr et 8 CEDH en considérant que l'intéressé ne pouvait pas prétendre à un droit de séjour en Suisse pour raisons personnelles majeures au titre de cette relation.
6.
Il ne ressort pas de l'arrêt attaqué que d'autres éléments seraient de nature à fonder l'existence de raisons personnelles majeures au sens de l'art. 50 al. 1 let. b et al. 2 LEtr. En particulier, la réintégration dans le pays d'origine n'apparaît pas fortement compromise. En effet, selon l'arrêt attaqué, le recourant a vécu jusqu'à ses 26 ans en Algérie et rien n'indique qu'il serait confronté à des difficultés de réadaptation insurmontable en cas de retour dans son pays d'origine, où vit sa famille, avec laquelle il entretient de bonnes relations. Le recourant ne prétend d'ailleurs pas le contraire.
7.
Les considérants qui précèdent conduisent au rejet du recours. Le recours étant d'emblée dénué de chances de succès, la demande d'assistance judiciaire est rejetée (cf. <ref-law>). Succombant, le recourant doit supporter les frais judiciaires, qui seront fixés en tenant compte de sa situation financière (cf. art. 66 al. 1 et 5 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué à la mandataire du recourant, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour VI, ainsi qu'à l'Office cantonal de la population et des migrations du canton de Genève.
Lausanne, le 14 janvier 2021
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber