Faits: A. A.a. A._, ressortissante nigériane, née en 1983, a déposé une demande d'asile le 25 juin 2003, qui a été déclarée irrecevable par l'Office fédéral des réfugiés, décision confirmée par la Commission suisse de recours en matière d'asile le 1er octobre 2003. L'intéressée a ensuite vécu dans la clandestinité. Le 7 mars 2005, A._ a donné naissance à une fille prénommée B._, issue de sa relation avec C._, ressortissant italien, né en 1983, titulaire d'une autorisation d'établissement dans le canton de Fribourg. Ce dernier a reconnu l'enfant le 20 juillet 2005. A.b. A._ a épousé le père de sa fille le 27 janvier 2006, à Fribourg, et a obtenu une autorisation de séjour CE/AELE de courte durée, valable jusqu'au 3 septembre 2007. Par jugement sur mesures protectrices de l'union conjugale du 28 novembre 2006, le Président du Tribunal civil de l'arrondissement de la Sarine a autorisé les conjoints à vivre séparés pour une durée indéterminée, C._ étant astreint à verser une pension de 600 fr. pour sa fille et de 800 fr. pour son épouse. Le 14 août 2007, A._ a sollicité la prolongation de son autorisation de séjour. Elle a notamment indiqué au Service de la population et des migrants du canton de Fribourg (ci-après: le Service de la population) que son mari se trouvait en détention et que les pensions lui étaient versées par le Service de l'action sociale du canton de Fribourg. Elle a précisé que sa fille disposait d'un passeport italien. Le 16 mai 2008, A._ a donné naissance à un second enfant prénommé D._, dont le père, de nationalité nigériane, est retourné par la suite dans son pays d'origine. Le 30 mars 2010, le Service de la population a transmis la demande de l'intéressée à l'Office fédéral des migrations avec un préavis favorable. Par jugement du 25 août 2010, devenu définitif et exécutoire le 28 septembre 2010, le Président du Tribunal civil de l'arrondissement de la Sarine a prononcé le divorce des époux A._ et C._. A.c. Le 10 mars 2008, le Tribunal pénal de la Sarine a condamné C._ à une peine privative de liberté de trente-six mois avec délai d'épreuve de cinq ans, ainsi qu'à une amende de 300 fr. Ce dernier a été à nouveau condamné par la Cour de cassation pénale le 3 novembre 2009, à une peine privative de deux ans. Il a quitté définitivement la Suisse le 30 avril 2011 et, le 22 juin 2011, l'Office fédéral des migrations a prononcé à son encontre une décision d'interdiction d'entrée en Suisse d'une durée indéterminée. B. Par décision du 8 juillet 2011, l'Office fédéral des migrations a refusé d'approuver la prolongation de l'autorisation de séjour de A._ et a prononcé son renvoi de Suisse. Le Tribunal administratif fédéral a rejeté le recours de A._ contre cette décision et a admis la demande d'assistance judiciaire, par arrêt du 5 juillet 2013. Examinant le refus d'approbation de l'autorisation de séjour de la recourante sur la base de l'ancien droit, les premiers juges ont retenu en bref que le divorce de l'intéressée étant entré en force le 28 septembre 2010, celle-ci ne pouvait pas se prévaloir de l'art. 17 al. 2 de la loi fédérale sur le séjour et l'établissement des étrangers (LSEE), pas plus que de l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681). La recourante ne pouvait pas davantage obtenir la prolongation de son autorisation de séjour sur la base de l'art. 8 CEDH, dès lors que sa fille n'avait plus de relations avec son père, qui était d'ailleurs interdit de séjour en Suisse. Enfin, ses intérêts privés ne l'emportaient pas sur l'intérêt public en jeu et son renvoi au Nigéria avec ses deux enfants était exigible. C. Agissant par la voie du recours en matière de droit public, subsidiairement du recours constitutionnel subsidiaire, A._ conclut, avec suite de frais et dépens, à l'annulation de l'arrêt du Tribunal administratif fédéral du 5 juillet 2013, l'Office fédéral des migrations étant enjoint à prolonger son autorisation de séjour. A titre subsidiaire, elle demande au Tribunal fédéral d'annuler l'arrêt attaqué et de renvoyer l'affaire à la juridiction précédente pour nouvelle décision dans le sens des considérants. La recourante présente également une demande d'assistance judiciaire complète. Le Tribunal administratif fédéral a renoncé à se déterminer sur le recours et l'Office fédéral des migrations propose de le rejeter. D. Par ordonnance présidentielle du 13 septembre 2013, la demande d'effet suspensif présentée par la recourante a été admise.