Faits : A. X._, ressortissant algérien né en février 1979, est entré illégalement en Suisse sous une fausse identité en 2001. Le 18 octobre 2008, il est devenu père d'une fille qu'il a reconnue le 28 octobre 2008. La mère de cet enfant, une ressortissante suisse, avait précédemment déposé une plainte pénale contre l'intéressé en avril 2008 pour menaces de mort, menaces, voies de fait, lésions corporelles, harcèlement et abus de téléphone. Le 13 mars 2009, X._ a épousé la mère de sa fille et obtenu une autorisation de séjour au titre du regroupement familial. Le 3 septembre 2009, il a demandé la prolongation de cette autorisation, tout en indiquant être séparé de son épouse. Des mesures protectrices de l'union conjugale ont été ordonnées dès octobre 2009, prévoyant notamment l'attribution de l'autorité parentale et de la garde de l'enfant à la mère et limitant le droit de visite de l'intéressé sur sa fille à deux soirs par semaine, durant deux heures. Le 25 mai 2011, le Service de la population de la République et canton du Jura (ci-après: le Service de la population) a accepté la demande de renouvellement de l'autorisation de séjour et transmis cette demande à l'Office fédéral des migrations (à partir du 1er janvier 2015: le Secrétariat d'Etat aux migrations, ci-après: le Secrétariat d'Etat) pour approbation. B. Par décision du 17 février 2012, le Secrétariat d'Etat a refusé d'approuver la prolongation de l'autorisation de séjour de X._ et lui a fixé un délai pour quitter la Suisse. L'intéressé a contesté ce prononcé auprès du Tribunal administratif fédéral le 25 mars 2012. Durant la procédure devant cette autorité, le Tribunal régional Jura bernois-Seeland, par jugement du 29 mars 2012, a prononcé le divorce des époux X._. Il a attribué l'autorité parentale et la garde de la fille à la mère et ratifié une convention en vertu de laquelle le droit de visite de l'intéressé sur sa fille s'exerçait dans un "Point Rencontre" à A._, selon les modalités de ce service. La pension alimentaire mensuelle en faveur de l'enfant s'élevait à 500 fr. Par arrêt du 31 octobre 2014, le Tribunal administratif fédéral a rejeté le recours de l'intéressé. Après avoir jugé que celui-ci ne pouvait se prévaloir d'une union conjugale d'une durée suffisante pour prétendre à une prolongation de son autorisation de séjour, le Tribunal administratif fédéral a considéré que la poursuite du séjour en Suisse de X._ ne s'imposait pas non plus pour des raisons personnelles majeures. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du Tribunal administratif fédéral du 31 octobre 2014 et, partant la décision du Secrétariat d'Etat du 17 février 2012, ainsi que de prolonger son autorisation de séjour. Il se plaint d'une violation du droit fédéral et international. Par ordonnance du 15 décembre 2014, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif. Le Secrétariat d'Etat conclut au rejet du recours. Le Tribunal administratif fédéral renonce à se déterminer. Dans un courrier du 23 février 2015, X._ a encore produit divers documents.