Faits:
A.
A.a. A._, ressortissante nigériane, née en 1983, a déposé une demande d'asile le 25 juin 2003, qui a été déclarée irrecevable par l'Office fédéral des réfugiés, décision confirmée par la Commission suisse de recours en matière d'asile le 1er octobre 2003. L'intéressée a ensuite vécu dans la clandestinité.
Le 7 mars 2005, A._ a donné naissance à une fille prénommée B._, issue de sa relation avec C._, ressortissant italien, né en 1983, titulaire d'une autorisation d'établissement dans le canton de Fribourg. Ce dernier a reconnu l'enfant le 20 juillet 2005.
A.b. A._ a épousé le père de sa fille le 27 janvier 2006, à Fribourg, et a obtenu une autorisation de séjour CE/AELE de courte durée, valable jusqu'au 3 septembre 2007.
Par jugement sur mesures protectrices de l'union conjugale du 28 novembre 2006, le Président du Tribunal civil de l'arrondissement de la Sarine a autorisé les conjoints à vivre séparés pour une durée indéterminée, C._ étant astreint à verser une pension de 600 fr. pour sa fille et de 800 fr. pour son épouse.
Le 14 août 2007, A._ a sollicité la prolongation de son autorisation de séjour. Elle a notamment indiqué au Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population) que son mari se trouvait en détention et que les pensions lui étaient versées par le Service de l'action sociale du canton de Fribourg. Elle a précisé que sa fille disposait d'un passeport italien.
Le 16 mai 2008, A._ a donné naissance à un second enfant prénommé D._, dont le père, de nationalité nigériane, est retourné par la suite dans son pays d'origine.
Le 30 mars 2010, le Service de la population a transmis la demande de l'intéressée à l'Office fédéral des migrations avec un préavis favorable.
Par jugement du 25 août 2010, devenu définitif et exécutoire le 28 septembre 2010, le Président du Tribunal civil de l'arrondissement de la Sarine a prononcé le divorce des époux A._ et C._.
A.c. Le 10 mars 2008, le Tribunal pénal de la Sarine a condamné C._ à une peine privative de liberté de trente-six mois avec délai d'épreuve de cinq ans, ainsi qu'à une amende de 300 fr. Ce dernier a été à nouveau condamné par la Cour de cassation pénale le 3 novembre 2009, à une peine privative de deux ans. Il a quitté définitivement la Suisse le 30 avril 2011 et, le 22 juin 2011, l'Office fédéral des migrations a prononcé à son encontre une décision d'interdiction d'entrée en Suisse d'une durée indéterminée.
B.
Par décision du 8 juillet 2011, l'Office fédéral des migrations a refusé d'approuver la prolongation de l'autorisation de séjour de A._ et a prononcé son renvoi de Suisse.
Le Tribunal administratif fédéral a rejeté le recours de A._ contre cette décision et a admis la demande d'assistance judiciaire, par arrêt du 5 juillet 2013. Examinant le refus d'approbation de l'autorisation de séjour de la recourante sur la base de l'ancien droit, les premiers juges ont retenu en bref que le divorce de l'intéressée étant entré en force le 28 septembre 2010, celle-ci ne pouvait pas se prévaloir de l'art. 17 al. 2 de la loi fédérale sur le séjour et l'établissement des étrangers (LSEE), pas plus que de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). La recourante ne pouvait pas davantage obtenir la prolongation de son autorisation de séjour sur la base de l'art. 8 CEDH, dès lors que sa fille n'avait plus de relations avec son père, qui était d'ailleurs interdit de séjour en Suisse. Enfin, ses intérêts privés ne l'emportaient pas sur l'intérêt public en jeu et son renvoi au Nigéria avec ses deux enfants était exigible.
C.
Agissant par la voie du recours en matière de droit public, subsidiairement du recours constitutionnel subsidiaire, A._ conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal administratif fédéral du 5 juillet 2013, l'Office fédéral des migrations étant enjoint à prolonger son autorisation de séjour. A titre subsidiaire, elle demande au Tribunal fédéral d'annuler l'arrêt attaqué et de renvoyer l'affaire à la juridiction précédente pour nouvelle décision dans le sens des considérants. La recourante présente également une demande d'assistance judiciaire complète.
Le Tribunal administratif fédéral a renoncé à se déterminer sur le recours et l'Office fédéral des migrations propose de le rejeter.
D.
Par ordonnance présidentielle du 13 septembre 2013, la demande d'effet suspensif présentée par la recourante a été admise.

Considérant en droit:
1.
La demande d'autorisation de séjour a été déposée le 14 août 2007, soit avant l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale sur les étrangers du 16 décembre 2005 (LEtr; RS 142.20). Le cas d'espèce demeure dès lors régi par l'ancien droit (cf. art. 126 al. 1 LEtr), à savoir les dispositions de la LSEE.
2.
La recourante ne conteste pas qu'elle ne peut plus se prévaloir d'un droit à la prolongation de son autorisation de séjour en vertu de l'art. 17 al. 2 LSEE ou de l'ALCP, son mariage avec un ressortissant italien ayant été dissout par leur divorce entré en force le 28 septembre 2010. Il en va de même de l'art. 50 al. 1 let. b LEtr, dans la mesure où les nouvelles dispositions de cette loi ne lui sont pas applicables. Sous l'angle de l'art. 8 CEDH, la recourante invoque son droit à entretenir une relation avec sa fille qui est de nationalité italienne. Celle-ci était comprise dans l'autorisation d'établissement de son père, conformément à l'art, 17 al. 2 3ème phrase LSEE, et son droit de présence en Suisse ne s'est pas éteint par le départ de ce dernier à l'étranger (<ref-ruling> consid. 1d/bb p. 65; voir aussi les arrêts 2C_174/2009 du 14 juillet 2009, consid. 2.3.2 et 2A.212/2004 du 10 décembre 2004, consid. 1.3). La recourante a donc potentiellement un droit à l'obtention d'une autorisation de séjour en vertu de l'art. 8 CEDH, de sorte que son recours en matière de droit public échappe au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF (ATF 136 II497 consid. 3.3 p. 501, 177 consid. 1.1 p. 179).
Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par la destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre une décision du Tribunal administratif fédéral (<ref-law>), est recevable comme recours en matière de droit public. Il s'ensuit qu'il est irrecevable en tant que recours constitutionnel subsidiaire (<ref-law>).
3.
Le recours en matière de droit public peut être formé pour violation du droit, au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Toutefois, il n'examine que les griefs soulevés, sauf en présence de violations de droit évidentes (<ref-ruling> consid. 1.6 p. 280). En outre, le Tribunal fédéral ne se prononce sur la violation de droits fondamentaux que s'il se trouve saisi d'un grief motivé de façon détaillée (cf. <ref-law>). Le recourant doit énoncer le droit ou principe constitutionnel violé et exposer de manière claire et circonstanciée en quoi consiste la violation (cf. <ref-ruling> consid. 1.4 p. 176).
4.
Dans la mesure où la fille de la recourante, B._, âgée actuellement de huit ans et onze mois, est de nationalité italienne et a commencé l'école obligatoire en Suisse, il y a lieu d'examiner au préalable si elle peut bénéficier d'un droit de séjour en vertu d'une disposition de l'ALCP.
4.1. Selon l'<ref-law>, les enfants d'un ressortissant d'une partie contractante qui exerce ou non, ou qui a exercé une activité économique sur le territoire de l'autre partie contractante, sont admis aux cours d'enseignement général, d'apprentissage et de formation professionnelle dans les mêmes conditions que les ressortissants de l'Etat d'accueil, si ces enfants résident sur son territoire. Cette réglementation a été reprise de l'art. 12 du Règlement (CEE) n° 1612/68. Interprétant cette disposition dans l'arrêt Baumbast du 17 septembre 2002 (C-413/1999, Rec. 2002 I-7091), la Cour de justice a jugé que les enfants d'un citoyen de l'Union européenne qui se sont installés dans un Etat membre alors que leur parent exerçait des droits de séjour en tant que travailleur migrant dans cet Etat membre sont en droit d'y séjourner afin d'y poursuivre des cours d'enseignement général. Le fait que les parents des enfants concernés ont entre-temps divorcé ou qu'un seul des parents est un citoyen de l'Union et que ce dernier n'est plus un travailleur migrant dans l'Etat membre d'accueil, ou encore le fait que les enfants ne sont pas eux-mêmes des citoyens de l'Union n'ont à cet égard aucune incidence. Elle a confirmé cette jurisprudence dans deux arrêts du 23 février 2010 (C-310-08 Ibrahim et C-480/08 Teixeira), en précisant que le parent qui exerçait la garde de l'enfant avait également un droit de séjour, indépendamment de ses moyens d'existence (jurisprudence résumée in <ref-ruling>, consid. 3.2 et 3.3 p. 396/397).
Sur la base de cette jurisprudence, le Tribunal fédéral a estimé que le droit d'obtenir une autorisation de séjour en vertu de l'<ref-law> concernait les enfants ayant commencé leur formation alors que la communauté conjugale était encore intacte, dans un but d'intégration. Il en allait différemment des enfants en bas âge, même s'ils se trouvaient en garderie ou à l'école enfantine (<ref-ruling>, consid. 4.2.2 p. 399, où il s'agissait d'une enfant âgée de six ans). Dans un arrêt du 25 mai 2005 (2A.475/2004), le Tribunal fédéral avait aussi réservé le cas d'un enfant fréquentant les premières années d'école primaire en Suisse qui, en raison de son âge, ne devrait pas avoir de grandes difficultés à s'adapter à un autre système scolaire. Il avait en revanche admis qu'on ne pouvait exiger d'un enfant arrivé en Suisse à l'âge de neuf ans, qui y avait terminé sa scolarité obligatoire et avait commencé un apprentissage, qu'il poursuive sa formation dans son pays d'origine (arrêt précité, consid. 4.7).
4.2. En l'espèce, on peut douter que la fille de la recourante, qui devrait suivre actuellement la troisième année de l'école primaire, ait commencé une formation et qu'elle ne serait pas en mesure de continuer sa scolarité ailleurs qu'en Suisse. La question n'a cependant pas besoin d'être tranchée, car la communauté conjugale des époux A._ et C._ a pris fin en novembre 2006, soit lorsque l'enfant avait moins de deux ans et n'allait pas encore à l'école. Les conditions pour obtenir une autorisation de séjour sur la base de l'<ref-law> ne sont donc pas remplies. Il en va de même pour l'<ref-law>, applicable aux ressortissants communautaires n'exerçant pas d'activité économique, du moment que la recourante, qui a la garde de sa fille, dépend entièrement de l'aide sociale depuis plusieurs années. B._, qui vit avec sa mère, n'a donc pas les ressources suffisantes exigées par cette disposition (<ref-ruling>, consid. 4.2.3 p. 400; arrêt précité 2A.475/2004, con-sid. 5.2). Il s'ensuit que la recourante ne peut tirer aucun droit à une autorisation de séjour sur la base de l'ALCP en lien avec la présence en Suisse de sa fille, de nationalité La recourante ne le prétend d'ailleurs pas, mais soutient qu'elle peut obtenir la prolongation de son autorisation de séjour sur la base de l'art. 8 CEDH, en raison du droit de présence en Suisse de sa fille.
5.
5.1. L'art. 8 CEDH ne confère pas le droit d'entrer ou de séjourner dans un Etat déterminé ni le droit de choisir le lieu apparemment le plus adéquat pour la vie familiale (<ref-ruling> consid. 2.1 p. 154 s.; <ref-ruling> consid. 3.1 p. 285 et la jurisprudence citée).
En cas de regroupement familial inversé, la jurisprudence a toujours admis que l'enfant mineur titulaire d'une autorisation d'établissement partage, du point de vue du droit des étrangers, le sort du parent qui en a la garde car, contrairement aux enfants de nationalité suisse, ils n'ont pas un droit de demeurer en Suisse en tant que citoyen (art. 24 et 25 Cst.; <ref-ruling> consid. 4.2.3 p. 251). Il n'y a ainsi pas atteinte à la vie familiale lorsque son renvoi est exigible, ce qui est en principe le cas pour un enfant en bas âge ou qui ne se trouve pas à la fin de sa scolarité obligatoire (<ref-ruling> consid. 2.1 p. 155; arrêt 2C_467/2012 du 25 janvier 2013 consid. 2.1.4). L'exigibilité du renvoi d'un enfant mineur peut, dans certains cas, suffire à refuser une autorisation de séjour au parent qui en a la garde (arrêt 2C_495/2013 du 28 octobre 2013, consid. 2.4).
Pour déterminer si l'on peut contraindre un enfant bénéficiant d'une autorisation d'établissement en Suisse à suivre le parent dont il dépend à l'étranger, il faut tenir compte non seulement du caractère admissible de son renvoi, mais aussi des motifs d'ordre et de sécurité publics, comme le fait que ce parent est tombé de manière continue et dans une large mesure à la charge de l'assistance publique (arrêt 2C_174/2009 du 14 juillet 2009, consid. 4.1). Il y a lieu également de prendre en considération l'intérêt de l'enfant, ainsi que l'exige l'art. 3 al. 1 de la Convention relative aux droits de l'enfant du 2 novembre 1989 (CDE; RS 0.107).
5.2. En l'espèce, le Tribunal administratif fédéral a retenu à juste titre que la durée du séjour en Suisse de la recourante devait être relativisée, dès lors qu'entrée en Suisse en 2003, sa demande d'asile avait été définitivement rejetée en octobre de la même année et qu'elle avait ensuite vécu dans la clandestinité jusqu'à son mariage en janvier 2006, où elle avait été mise au bénéfice d'une autorisation de séjour CE/AELE valable jusqu'au 3 septembre 2007. Depuis lors, elle continuait à séjourner dans le canton de Fribourg dans le cadre de l'examen du renouvellement de son autorisation de séjour par les autorités cantonales et fédérales. Elle ne s'était pas non plus créée des attaches étroites et durables dans le canton de Fribourg et n'avait jamais exercé d'activité lucrative, hormis quelques missions temporaires confiées par le Service social, dont elle dépend financièrement depuis mai 2006, sans qu'un éventuel changement soit entrevu dans un avenir proche. L'intéressée avait en outre conservé des attaches importantes dans son pays d'origine, où vivait une partie de sa famille, notamment sa mère et son frère. En outre, le père de son second enfant est retourné vivre au Nigéria. Pour le reste, elle n'était pas parvenue à démontrer que les violences conjugales dont elle accusait son ex-époux avaient été la cause de la rupture de leur union. Alléguées pour les besoins de la cause devant l'instance inférieure, elle ne revient d'ailleurs plus sur ces prétendues violences conjugales dans le présent recours.
Au vu de ces constatations que rien ne vient infirmer, force est d'admettre que la recourante ne peut faire valoir aucune circonstance personnelle qui s'opposerait à son renvoi. Il s'agit dès lors seulement de savoir si le départ de sa fille B._, titulaire d'une autorisation d'établissement, est également exigible (arrêt 2C_467/2012 du 25 janvier 2013, consid. 2.1.4 et les arrêts cités). Sur ce point, il faut relever que toute relation avec le père de l'enfant ayant cessé d'exister depuis qu'il a quitté la Suisse, la question du droit de visite de ce dernier, qui aurait pu justifier le maintien de sa présence en Suisse (<ref-ruling>, consid. 4.2.3, arrêt précité 2C_467/2012, consid. 2.1.5) ne se pose pas.
5.3. La recourante prétend que le Tribunal administratif fédéral n'a pas tenu compte, dans le cadre de la pesée des intérêts à effectuer sous l'angle de l'art. 8 § 2 CEDH, des difficultés que sa fille, née en Suisse, actuellement âgée de huit ans et onze mois, rencontrerait en cas de départ de ce pays où elle a toutes ses attaches. En tant que fille métisse, elle serait exposée en outre à un problème de discrimination voire à des mutilations génitales ou à un mariage précoce et forcé, en violation des art. 3 CEDH et 3 de la Convention contre la torture et autres peines ou traitements cruels, inhumains ou dégradants (RS 0.105).
5.4. Sur le plan de l'exigibilité du renvoi, la situation de B._ n'est pas fondamentalement différente de celle de son demi-frère D._, actuellement âgé de cinq ans et neuf mois. Etant nés et ayant toujours vécu en Suisse, ils ne connaissent pas le pays dont leur mère est originaire. Ils sont au début de leur scolarité et sont encore à un âge où l'on peut s'adapter à un nouvel environnement, d'autant plus que leur mère n'a aucune attache en Suisse et qu'elle a en revanche de la famille dans son pays d'origine, notamment sa mère et son frère. Le fait que la fille B._ est métisse et possède également la nationalité italienne de son père ne suffit en tous cas pas à admettre qu'elle serait exposée à des sévices particuliers ou à un mariage forcé au Nigéria. A cet égard, la recourante produit une étude de l'Organisation mondiale de la santé (OMS) sur les mutilations génitales féminines et le devenir obstétrical, effectuée il y a plus de dix ans dans six pays africains, dont le Nigéria, ainsi qu'une publication de la Commission de l'immigration et du statut des réfugiés du Canada de novembre 2012 sur les mariages forcés. Ces articles analysent une situation très générale qui peut se produire en Afrique dans certaines régions pratiquant l'excision ou les mariages forcés. Ils ne sont toutefois pas déterminants dans le cas qui nous occupe, car les allégations générales ne suffisent à démontrer un risque concret de traitement inhumain ou dégradant (<ref-ruling>, consid. 6.4 p. 77). Or, la recourante n'a nullement établi que sa fille courrait réellement un tel risque dans la communauté dont elle est originaire et ne prétend pas davantage qu'elle aurait été elle-même excisée. Rien n'indique non plus qu'elle serait d'une culture où l'on pratique les mariages forcés. Il n'y a donc aucun indice concret permettant d'admettre que la fille de la recourante serait menacée au Nigéria d'un traitement tombant sous les coup des art. 3 CEDH ou 3 de la Convention sur la torture.
5.5. Il s'ensuit que la juridiction inférieure a correctement apprécié l'exigibilité du renvoi des enfants de la recourante, en retenant qu'au vu de leur jeune âge, les années vécues en Suisse ne sauraient être considérées à ce point déterminantes qu'un retour dans le pays d'origine de leur mère constituerait un déracinement entraînant de lourdes conséquences sur leur équilibre psychique. La recourante ne peut dès lors tirer aucun droit à la prolongation de son autorisation de séjour sur la base de l'art. 8 CEDH.
6.
Au vu de ce qui précède, le recours doit être rejeté.
La demande d'assistance judiciaire présentée par la recourante peut être admise, dans la mesure où les conclusions du recours n'étaient pas d'emblée dépourvues de chances de succès (<ref-law>). Il y a lieu ainsi de désigner Me Boris Perrod, avocat, comme avocat d'office et de lui allouer une indemnité à titre de dépens, qui sera versée par la Caisse du Tribunal fédéral (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours en matière de droit public est rejeté.
2.
Le recours constitutionnel subsidiaire est irrecevable.
3.
La demande d'assistance judiciaire est admise, Me Boris Perrod, avocat, étant désigné comme avocat d'office.
4.
La Caisse du Tribunal fédéral versera au mandataire de la recourante une indemnité de 2'000 fr. à titre de dépens.
5.
Le présent arrêt est communiqué au mandataire de la recourante, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 11 février 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat