Faits :
A.
X._, ressortissant algérien né en février 1979, est entré illégalement en Suisse sous une fausse identité en 2001. Le 18 octobre 2008, il est devenu père d'une fille qu'il a reconnue le 28 octobre 2008. La mère de cet enfant, une ressortissante suisse, avait précédemment déposé une plainte pénale contre l'intéressé en avril 2008 pour menaces de mort, menaces, voies de fait, lésions corporelles, harcèlement et abus de téléphone. Le 13 mars 2009, X._ a épousé la mère de sa fille et obtenu une autorisation de séjour au titre du regroupement familial. Le 3 septembre 2009, il a demandé la prolongation de cette autorisation, tout en indiquant être séparé de son épouse. Des mesures protectrices de l'union conjugale ont été ordonnées dès octobre 2009, prévoyant notamment l'attribution de l'autorité parentale et de la garde de l'enfant à la mère et limitant le droit de visite de l'intéressé sur sa fille à deux soirs par semaine, durant deux heures.
Le 25 mai 2011, le Service de la population de la République et canton du Jura (ci-après: le Service de la population) a accepté la demande de renouvellement de l'autorisation de séjour et transmis cette demande à l'Office fédéral des migrations (à partir du 1er janvier 2015: le Secrétariat d'Etat aux migrations, ci-après: le Secrétariat d'Etat) pour approbation.
B.
Par décision du 17 février 2012, le Secrétariat d'Etat a refusé d'approuver la prolongation de l'autorisation de séjour de X._ et lui a fixé un délai pour quitter la Suisse. L'intéressé a contesté ce prononcé auprès du Tribunal administratif fédéral le 25 mars 2012. Durant la procédure devant cette autorité, le Tribunal régional Jura bernois-Seeland, par jugement du 29 mars 2012, a prononcé le divorce des époux X._. Il a attribué l'autorité parentale et la garde de la fille à la mère et ratifié une convention en vertu de laquelle le droit de visite de l'intéressé sur sa fille s'exerçait dans un "Point Rencontre" à A._, selon les modalités de ce service. La pension alimentaire mensuelle en faveur de l'enfant s'élevait à 500 fr.
Par arrêt du 31 octobre 2014, le Tribunal administratif fédéral a rejeté le recours de l'intéressé. Après avoir jugé que celui-ci ne pouvait se prévaloir d'une union conjugale d'une durée suffisante pour prétendre à une prolongation de son autorisation de séjour, le Tribunal administratif fédéral a considéré que la poursuite du séjour en Suisse de X._ ne s'imposait pas non plus pour des raisons personnelles majeures.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du Tribunal administratif fédéral du 31 octobre 2014 et, partant la décision du Secrétariat d'Etat du 17 février 2012, ainsi que de prolonger son autorisation de séjour. Il se plaint d'une violation du droit fédéral et international.
Par ordonnance du 15 décembre 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Secrétariat d'Etat conclut au rejet du recours. Le Tribunal administratif fédéral renonce à se déterminer. Dans un courrier du 23 février 2015, X._ a encore produit divers documents.

Considérant en droit :
1.
1.1. Le recourant se prévaut en particulier des art. 50 al. 1 let. b LEtr ainsi que 8 CEDH. Dans les deux cas, il invoque de manière soutenable son droit à entretenir une relation avec sa fille de nationalité suisse. Son recours échappe par conséquent au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF (<ref-ruling> consid. 3.3 p. 501). Au surplus, déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>), le présent recours, dirigé contre un arrêt final (<ref-law>) du Tribunal administratif fédéral (<ref-law>) rendu dans une cause de droit public (<ref-law>), est recevable, sous réserve de ce qui suit.
1.2. La conclusion tendant à l'annulation de la décision du Secrétariat d'Etat est irrecevable en raison de l'effet dévolutif complet du recours auprès du Tribunal administratif fédéral (<ref-ruling> consid. 1.2 p. 543).
1.3. Aucun fait nouveau ni preuve nouvelle ne peut être présenté (cf. <ref-law>). Tous les documents remis par le recourant, postérieurs à l'arrêt entrepris, sont des moyens de preuve nouveaux et par conséquent irrecevables.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
Par conséquent, en tant que le recourant avance des éléments de fait ne ressortant pas du jugement attaqué, par exemple en relation avec les liens qu'il entretient avec sa soeur, sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies, il n'en sera pas tenu compte.
3.
3.1. Aux termes de l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse ainsi que ses enfants célibataires de moins de 18 ans ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. En l'espèce, le recourant a divorcé d'une ressortissante suisse. Il ne peut se prévaloir de l'art. 42 LEtr.
3.2. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie. La période minimale de trois ans de l'union conjugale commence à courir dès le début de la cohabitation effective des époux en Suisse et s'achève au moment où ceux-ci cessent de faire ménage commun (<ref-ruling> consid. 4.1 p. 348; <ref-ruling> consid. 2 p. 231; <ref-ruling> consid. 3.3.3 p. 119). En l'espèce, le recourant s'est marié le 13 mars 2009 avec une ressortissante suisse et s'est séparé de celle-ci au moins dès le 3 septembre 2009, si bien que son union conjugale a duré moins de trois ans. Partant, il ne peut, ce qu'il ne fait d'ailleurs pas, se prévaloir de l'art. 50 al. 1 let. a LEtr.
4.
Il convient par conséquent d'examiner dans quelle mesure la poursuite du séjour du recourant en Suisse s'impose pour des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr.
4.1. Selon l'art. 50 al. 1 let. b LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste lorsque la poursuite du séjour du recourant en Suisse s'impose pour des raisons personnelles majeures. De telles raisons peuvent en particulier découler d'une relation digne de protection avec un enfant qui a le droit de séjourner en Suisse (cf. <ref-ruling> consid. 2.1 p. 318 s.; arrêt 2C_327/2010 du 19 mai 2011 consid. 2.2 i.f., non publié in <ref-ruling>). Dans ce cas, les conditions posées par l'art. 50 al. 1 let. b LEtr ne recoupent pas nécessairement celles de l'octroi d'une autorisation de séjour fondée sur l'art. 8 CEDH (arrêt 2C_411/2010 du 9 novembre 2010 consid. 5, non publié in <ref-ruling>). Le droit au respect de la vie familiale garantie par les art. 8 CEDH et 13 Cst. doit néanmoins être pris en compte dans l'application de l'art. 50 al. 1 let. b LEtr dont l'application ne saurait être plus restrictive que celle des art. 8 CEDH et 13 Cst. (cf. <ref-ruling> consid. 2.1 p. 318 s.; arrêts 2C_318/2013 du 5 septembre 2013 consid. 3.3; 2C_996/2011 du 28 juin 2012 consid. 2.1; 2C_568/2011 du 16 novembre 2011 consid. 3.3.1 ainsi que 2C_327/2010 du 19 mai 2011 consid. 2.2 i.f., non publié in <ref-ruling>).
4.2. Le parent qui n'a pas l'autorité parentale ni la garde de l'enfant ne peut d'emblée entretenir une relation familiale avec celui-ci que de manière limitée, en exerçant le droit de visite dont il bénéficie. Or, il n'est en principe pas nécessaire que, dans l'optique de pouvoir exercer son droit de visite, le parent étranger soit habilité à résider durablement dans le même pays que son enfant. Sous l'angle du droit à une vie familiale (cf. art. 8 ch. 1 CEDH et art. 13 al. 1 Cst.), il suffit en règle générale que le parent vivant à l'étranger exerce son droit de visite dans le cadre de séjours de courte durée, au besoin en aménageant ses modalités quant à la fréquence et à la durée (cf. <ref-ruling> consid. 2.2 p. 319). Le droit de visite d'un parent sur son enfant ne doit en effet pas nécessairement s'exercer à un rythme bimensuel et peut également être organisé de manière à être compatible avec des séjours dans des pays différents (cf. arrêt 2C_1031/2011 du 22 mars 2012 consid. 4.2.3). Selon la jurisprudence constante du Tribunal fédéral, un droit plus étendu ne peut le cas échéant exister qu'en présence de liens familiaux particulièrement forts d'un point de vue affectif et économique, lorsque cette relation ne pourrait pratiquement pas être maintenue en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent, et que l'étranger a fait preuve en Suisse d'un comportement irréprochable (cf. <ref-ruling> consid. 2.2 p. 319 et les arrêts cités).
4.3. L'exigence du lien affectif particulièrement fort doit être considérée comme remplie sur le plan affectif lorsque les contacts personnels sont effectivement exercés dans le cadre d'un droit de visite usuel selon les standards d'aujourd'hui, lorsque l'étranger détient déjà un droit de séjour en Suisse, de façon à prendre en compte l'art. 9 par. 3 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107) sans toutefois déduire de dite convention une prétention directe à l'octroi d'une autorisation (<ref-ruling> consid. 2.4 et 2.5).
4.4. Il ressort de l'arrêt entrepris que le recourant n'a ni l'autorité parentale, ni le droit de garde sur sa fille, ressortissante suisse. Le jugement de divorce du 29 mars 2012 a homologué la convention des époux, selon laquelle le droit de visite du père sur l'enfant s'exercerait dans un "Point Rencontre", selon les modalités de ce service, et qu'il pourrait évoluer en fonction de la situation administrative du recourant. Ce jugement de divorce a également fixé à 500 fr. le montant mensuel de la pension alimentaire à verser en faveur de l'enfant. A ce propos, l'autorité précédente a constaté que le recourant n'avait apporté aucune preuve du versement de cette pension, alors que celui-ci avait été régulièrement invité à le faire. Il ressort encore de l'arrêt entrepris que le recourant a bénéficié de l'aide sociale durant les années 2012 et 2013 (en complément à ses revenus de travail), sauf pendant les mois de mars, d'avril et de mai 2012. Le recourant a informé le Tribunal administratif fédéral de ce que son ex-épouse entravait le bon déroulement de son droit de visite et " avait volontairement disparu avec l'enfant en France voisine ".
En premier lieu, il faut constater qu'un droit de visite exercé dans un "Point Rencontre", c'est-à-dire un lieu dans lequel le parent n'ayant pas la garde peut rencontrer son enfant dans des conditions de sécurité et de confidentialité, encadré par des professionnels qualifiés, ne constitue pas un droit de visite usuel fondant un lien affectif particulièrement fort (cf. à ce propos arrêt 2C_684/2009 du 21 juillet 2010 consid. 4). Par ailleurs, il faut également relever qu'actuellement, selon les déclarations du recourant, ce dernier n'exerce pas effectivement son droit de visite. Le fait qu'il en soit empêché par la mère de son enfant n'est pas déterminant, puisque seul le caractère effectif des liens entre l'enfant et le parent l'est (<ref-ruling> consid. 3.1 p. 148 s.; arrêt 2C_644/2012 du 17 août 2012 consid. 2.4). En tout état de cause, et même si le recourant a contribué durant un certain temps à l'entretien de sa fille, force est également de constater qu'en ne démontrant pas avoir procédé mensuellement au versement de la pension alimentaire de 500 fr. en faveur de sa fille, alors qu'il y avait été expressément invité par l'autorité précédente, on ne saurait pas non plus admettre un lien familial particulièrement fort sur le plan économique. Au demeurant, si comme le recourant l'affirme, sa fille et la mère de celle-ci se trouvent effectivement en France, il ne pourrait de toute façon pas faire valoir de droit à une autorisation de séjour en Suisse au titre du regroupement familial avec son enfant.
4.5. S'agissant de la réintégration sociale dans le pays de provenance, l'art. 50 al. 2 LEtr exige qu'elle semble fortement compromise (<ref-ruling> consid. 5.3). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de la réintégration sociale, au regard de la situation personnelle, professionnelle et familiale de l'étranger, seraient gravement compromises (cf. ATF <ref-ruling> consid. 3.3).
En l'occurrence, le Tribunal administratif fédéral a notamment relevé à juste titre que le recourant avait vécu jusqu'à l'âge de 22 ans dans son pays d'origine. Il y a donc passé toute son enfance et une grande partie de son adolescence. En outre, il y est retourné à plusieurs reprises depuis qu'il est en Suisse. L'autorité précédente a également constaté que le recourant ne démontrait nullement qu'il pourrait se trouver dans une situation présentant des difficultés de réadaptation insurmontables en cas de retour dans ce pays, où se trouvent encore ses parents. Ceux-ci l'ont d'ailleurs régulièrement aidé financièrement. Compte tenu de ces éléments, l'autorité précédente pouvait retenir que la réintégration du recourant dans son pays d'origine ne serait pas fortement compromise.
4.6. Le recourant ne présentant pas de lien affectif fort avec sa fille et son retour en Algérie n'étant pas gravement compromis, il ne saurait être question de violation de l'art. 50 al. 1 let. b LEtr, de l'art. 13 Cst. et de l'art. 8 CEDH.
5.
En dernier lieu, hormis les liens du recourant avec son enfant, dont on a vu qu'ils ne justifient pas à eux seuls son séjour en Suisse, l'arrêt attaqué ne révèle aucun élément déterminant qui ferait apparaître le refus de prolonger l'autorisation de séjour du recourant comme disproportionné (cf. art. 96 LEtr). En tenant compte de l'âge d'arrivée en Suisse du recourant, de la durée et de la qualité de son séjour en Suisse, qui a été en grande partie illégal ou toléré, du fait que son intégration professionnelle et socioculturelle en Suisse n'est pas particulièrement marquée, qu'il a émargé durant un certain temps à l'aide sociale, des conséquences pour lui et son enfant d'un refus de demeurer en Suisse, de la possibilité de conserver des liens avec sa fille en dépit de l'éloignement et des possibilités d'intégration à l'étranger où vivent ses parents, il faut constater que le refus de prolonger l'autorisation de séjour du recourant n'est pas une mesure disproportionnée.
6.
Les considérants qui précèdent conduisent au rejet du recours dans la mesure où il est recevable. Les frais judiciaires sont mis à la charge du recourant (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations et au Tribunal administratif fédéral, Cour III.
Lausanne, le 24 avril 2015
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Zünd
Le Greffier : Tissot-Daguette