Faits :
A.
X._, ressortissant algérien né en 1983, est arrivé en Suisse le 9 octobre 2002. Il y a déposé une demande d'asile sous une fausse identité. Par décision du 17 octobre 2003, l'ancien Office fédéral des réfugiés (actuellement le Secrétariat d'Etat aux migrations; ci-après: le Secrétariat d'Etat) n'est pas entré en matière sur la demande d'asile de l'intéressé. Le renvoi de ce dernier n'a pas pu être exécuté en raison de sa disparition. Le 30 décembre 2010, l'intéressé s'est marié avec une ressortissante suisse, avec laquelle il avait déjà un enfant, né en février 2009. En mai 2010, le couple a eu un deuxième enfant. Suite à son mariage, il a obtenu une autorisation de séjour. Les époux se sont séparés le 1 er mars 2013. Par ordonnance de mesures protectrices de l'union conjugale, l'intéressé a obtenu un droit de visite sur ses enfants, limité à deux fois par mois, dans un Point Rencontre.
Entre 2003 et 2013, X._ a été condamné à neuf reprises, à des peines variant entre cinq jours et six mois de peine privative de liberté, pour des infractions diverses, notamment des infractions contre le patrimoine et l'intégrité corporelle ainsi que des contraventions à la LStup (RS 812.121). Au 28 août 2013, l'intéressé faisait l'objet de poursuites pour un montant de 14'156 fr. 50.
Le 22 avril 2014, le Service de la population du canton de Vaud (ci-après: le Service de la population) a informé X._ qu'il était favorable à la prolongation de son autorisation de séjour.
B.
Par décision du 11 décembre 2014, l'ancien Office fédéral des migrations (actuellement le Secrétariat d'Etat) a refusé de donner son approbation à la prolongation de l'autorisation de séjour de l'intéressé et a prononcé son renvoi de Suisse. X._ a recouru contre cette décision auprès du Tribunal administratif fédéral le 28 janvier 2015.
Par arrêt du 26 novembre 2015, le Tribunal administratif fédéral a rejeté le recours de X._, jugeant en substance que celui-ci ne pouvait se prévaloir d'une durée suffisante d'union conjugale ou de raisons personnelles majeures pour prétendre à demeurer en Suisse.
C.
Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'annuler l'arrêt du Tribunal administratif fédéral du 26 novembre 2015 et d'inviter le Secrétariat d'Etat à approuver la prolongation de son autorisation de séjour; subsidiairement, d'annuler l'arrêt précité et de renvoyer la cause au Secrétariat d'Etat pour nouvelle décision dans le sens des considérants. Il se plaint d'établissement inexact des faits et de violation du droit d'être entendu, ainsi que de violation du droit fédéral et du droit international.
Par ordonnance du 20 janvier 2016, le Juge présidant de la IIe Cour de droit public du Tribunal fédéral a admis la demande d'effet suspensif.
Le Tribunal administratif fédéral renonce à se déterminer. Le Secrétariat d'Etat conclut au rejet du recours.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable à l'encontre des décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Il suffit toutefois qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et que, partant, la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 179). En l'occurrence, du moment que le recourant vit séparé d'une ressortissante suisse avec laquelle il a eu deux enfants, les art. 50 al. 1 LEtr (RS 142.20) et 8 CEDH sont potentiellement de nature à lui conférer un droit à une autorisation de séjour, de sorte que la voie du recours en matière de droit public est ouverte.
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (<ref-law>), rendue par le Tribunal administratif fédéral (<ref-law>) dans une cause de droit public (<ref-law>). Le recours ayant de surcroît été déposé en temps utile (<ref-law>) et dans les formes requises (<ref-law>), par le recourant qui est atteint par la décision entreprise et a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (<ref-law>), il est partant recevable.
2.
Citant en particulier l'art. 29 al. 2 Cst., le recourant se plaint de ce que le Secrétariat d'Etat a violé son droit d'être entendu en refusant de lui communiquer préalablement les motifs sur lesquels il entendait refuser l'approbation de la prolongation de son autorisation de séjour. Or, le recourant méconnaît que les griefs dirigés contre des décisions émanant d'autorités administratives qui précèdent l'arrêt attaqué ne sauraient être examinés par le Tribunal fédéral en raison de l'effet dévolutif du recours auprès du Tribunal administratif fédéral et de l'exigence d'épuisement des instances (cf. <ref-law>). Ainsi, le grief de violation du droit d'être entendu, en ce qu'il est dirigé contre la décision du Secrétariat d'Etat, doit d'emblée être écarté (cf. arrêt 2C_449/2013 du 21 février 2014 consid. 1.3 et les arrêts cités).
3.
Citant ensuite l'<ref-law>, le recourant invoque un établissement inexact des faits.
3.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356).
3.2. Le recourant conteste l'établissement des faits effectué par l'autorité précédente sous plusieurs points.
Il estime que le Tribunal administratif fédéral aurait dû mentionner les démarches qu'il a effectuées en vue d'obtenir un " permis provisoire ", car " si les autorités avaient donné suite en temps utile à la première sollicitation du recourant, les époux auraient pu se marier plus tôt et le recourant remplirait vraisemblablement la condition de l'art. 50 al. 1 let. a LEtr concernant la durée minimale de l'union conjugale ". Par la formulation employée, le recourant reconnaît cependant lui-même qu'il n'était pas arbitraire de ne pas tenir compte des démarches précitées dans le calcul de la durée de l'union conjugale. Il n'explique au demeurant pas en quoi prendre en compte ce fait aurait une incidence sur l'examen de la proportionnalité de la mesure.
Le recourant fait ensuite grief à l'autorité précédente d'avoir passé sous silence la durée totale de vie commune des époux. Il mentionne que si " cette durée ne suffit pas, strico sensu, à remplir la condition temporelle de l'art. 50 al. 1 let. a LEtr, l'autorité inférieure aurait toutefois dû en tenir compte au niveau de la proportionnalité de la mesure de refus de prolongation de l'autorisation de séjour ". Ici également, en indiquant que prendre en compte ce fait aurait " très certainement " conduit à considérer la mesure comme étant disproportionnée, le recourant reconnaît lui-même, au moins implicitement, que ne pas en tenir compte ne saurait être considéré comme étant arbitraire. Au demeurant, on relèvera qu'on ne voit de toute façon pas en quoi ce fait aurait pu avoir une incidence sur l'examen de la proportionnalité.
Le recourant est encore d'avis que le Tribunal administratif fédéral aurait dû prendre en compte le comportement de sa femme et en particulier le fait qu'elle " veut à tout prix empêcher son époux de maintenir des relations stables avec ses enfants ". Comme on le verra ci-après, le comportement de son épouse n'a toutefois pas d'incidence sur l'issue de la cause (cf. consid. 5.4 ci-dessous).
3.3. Sur le vu de ce qui précède, le grief d'établissement inexact des faits doit être écarté. Le Tribunal fédéral vérifiera donc la correcte application du droit sur la seule base des faits retenus par l'autorité précédente, sans tenir compte des faits tels qu'ils sont présentés par le recourant.
4.
4.1. Aux termes de l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse ainsi que ses enfants célibataires de moins de 18 ans ont droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. En l'espèce, le recourant vit séparé d'une ressortissante suisse. Il ne peut se prévaloir de l'art. 42 LEtr.
4.2. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie. La période minimale de trois ans de l'union conjugale commence à courir dès le début de la cohabitation effective des époux en Suisse et s'achève au moment où ceux-ci cessent de faire ménage commun. Seules les années de mariage et non de concubinage sont pertinentes (<ref-ruling> consid. 4.1 p. 348; <ref-ruling> consid. 2 p. 231; <ref-ruling> consid. 3.3.3 p. 119). En l'espèce, le recourant s'est marié le 30 décembre 2010 avec une ressortissante suisse et s'est séparé de celle-ci en février 2013, si bien que son union conjugale a duré moins de trois ans. Partant, il ne peut se prévaloir de l'art. 50 al. 1 let. a LEtr. Le fait que le recourant et son épouse aient vécu sous le même toit avant de se marier et qu'ils aient dû patienter pour célébrer leur mariage n'est, au vu de la jurisprudence précitée, pas déterminant dans le calcul du délai de trois ans.
5.
Il convient par conséquent d'examiner dans quelle mesure la poursuite du séjour du recourant en Suisse s'impose pour des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b LEtr.
5.1. Selon l'art. 50 al. 1 let. b LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste lorsque la poursuite du séjour du recourant en Suisse s'impose pour des raisons personnelles majeures. De telles raisons peuvent en particulier découler d'une relation digne de protection avec un enfant qui a le droit de séjourner en Suisse (cf. <ref-ruling> consid. 2.1 p. 318 s.; arrêt 2C_327/2010 du 19 mai 2011 consid. 2.2 i.f., non publié in <ref-ruling>). Dans ce cas, les conditions posées par l'art. 50 al. 1 let. b LEtr ne recoupent pas nécessairement celles de l'octroi d'une autorisation de séjour fondée sur l'art. 8 CEDH (arrêt 2C_411/2010 du 9 novembre 2010 consid. 5, non publié in <ref-ruling>). Le droit au respect de la vie familiale garantie par les art. 8 CEDH et 13 Cst. doit néanmoins être pris en compte dans l'application de l'art. 50 al. 1 let. b LEtr dont l'application ne saurait être plus restrictive que celle des art. 8 CEDH et 13 Cst. (cf. <ref-ruling> consid. 2.1 p. 318 s.; arrêts 2C_318/2013 du 5 septembre 2013 consid. 3.3; 2C_996/2011 du 28 juin 2012 consid. 2.1; 2C_568/2011 du 16 novembre 2011 consid. 3.3.1 ainsi que 2C_327/2010 du 19 mai 2011 consid. 2.2 i.f., non publié in <ref-ruling>).
5.2. Le parent qui n'a pas l'autorité parentale ni la garde de l'enfant ne peut d'emblée entretenir une relation familiale avec celui-ci que de manière limitée, en exerçant le droit de visite dont il bénéficie. Or, il n'est en principe pas nécessaire que, dans l'optique de pouvoir exercer son droit de visite, le parent étranger soit habilité à résider durablement dans le même pays que son enfant. Sous l'angle du droit à une vie familiale (cf. art. 8 par. 1 CEDH et art. 13 al. 1 Cst.), il suffit en règle générale que le parent vivant à l'étranger exerce son droit de visite dans le cadre de séjours de courte durée, au besoin en aménageant ses modalités quant à la fréquence et à la durée (cf. <ref-ruling> consid. 2.2 p. 319). Le droit de visite d'un parent sur son enfant ne doit en effet pas nécessairement s'exercer à un rythme bimensuel et peut également être organisé de manière à être compatible avec des séjours dans des pays différents (cf. arrêt 2C_1031/2011 du 22 mars 2012 consid. 4.2.3). Selon la jurisprudence constante du Tribunal fédéral, un droit plus étendu ne peut le cas échéant exister qu'en présence de liens familiaux particulièrement forts d'un point de vue affectif et économique, lorsque cette relation ne pourrait pratiquement pas être maintenue en raison de la distance qui sépare le pays de résidence de l'enfant du pays d'origine de son parent, et que l'étranger a fait preuve en Suisse d'un comportement irréprochable (cf. <ref-ruling> consid. 2.2 p. 319 et les arrêts cités).
5.3. L'exigence du lien affectif particulièrement fort doit être considérée comme remplie lorsque les contacts personnels sont effectivement exercés dans le cadre d'un droit de visite usuel selon les standards d'aujourd'hui, lorsque l'étranger détient déjà un droit de séjour en Suisse, de façon à prendre en compte l'art. 9 par. 3 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (CDE; RS 0.107) sans toutefois déduire de dite convention une prétention directe à l'octroi d'une autorisation (<ref-ruling> consid. 2.4 et 2.5 p. 320 ss).
5.4. Il ressort de l'arrêt entrepris que le recourant ne bénéficie pas de l'autorité parentale sur ses enfants. Il n'en a pas non plus la garde. Il bénéficie par contre d'un droit de visite, toutefois limité à deux fois six heures par mois par l'intermédiaire d'un "Point Rencontre". Certes, selon les indications fournies par le recourant, le droit de visite a été élargi. Toutefois, le Tribunal administratif fédéral constate que ce nouveau droit de visite ne réunit pas les conditions d'un droit de visite usuel, ce que le recourant ne conteste pas directement, se contentant d'affirmer que sa femme entrave le bon déroulement de son droit de visite. L'autorité précédente a également retenu que le recourant n'avait pas établi entretenir une relation économique d'une intensité suffisante avec ses enfants. Le recourant ne conteste pas non plus ce point, relevant seulement, de manière appellatoire, qu'il continue de participer à l'entretien de ses enfants dans la limite de ses moyens fort réduits. Il ressort en outre de l'arrêt entrepris que la femme du recourant est partie habiter en France avec ses enfants.
En premier lieu, il faut constater qu'un droit de visite exercé dans un "Point Rencontre", c'est-à-dire un lieu dans lequel le parent n'ayant pas la garde peut rencontrer son enfant dans des conditions de sécurité et de confidentialité, encadré par des professionnels qualifiés, ne constitue pas un droit de visite usuel fondant un lien affectif particulièrement fort (cf. arrêts 2C_1117/2014 du 24 avril 2015 consid. 4.4; 2C_684/2009 du 21 juillet 2010 consid. 4). Par ailleurs, il faut également relever qu'actuellement, selon les déclarations du recourant, ce dernier n'exerce pas effectivement son droit de visite. Le fait qu'il en soit empêché par la mère de son enfant n'est pas déterminant, puisque seul le caractère effectif des liens entre l'enfant et le parent l'est (<ref-ruling> consid. 3.1 p. 148 s.; arrêt 2C_644/2012 du 17 août 2012 consid. 2.4). En outre, et comme le retient le Tribunal administratif fédéral, le recourant ne contribue pas à l'entretien de ses enfants. Par conséquent, il ne présente de liens familiaux particulièrement forts ni sur le plan affectif, ni sur le plan économique. Au demeurant, si comme il l'affirme, sa femme et ses enfants se trouvent effectivement en France, il ne pourrait de toute façon pas faire valoir de droit à une autorisation de séjour en Suisse au titre du regroupement familial avec ses enfants (cf. arrêt 2C_1117/2014 précité consid. 4.4). De plus et surtout, compte tenu des nombreuses condamnations dont il a fait l'objet, le recourant ne peut en aucun cas se targuer d'un comportement irréprochable.
5.5. S'agissant de la réintégration sociale dans le pays de provenance, l'art. 50 al. 2 LEtr exige qu'elle semble fortement compromise (<ref-ruling> consid. 5.3 p. 4). La question n'est donc pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de la réintégration sociale, au regard de la situation personnelle, professionnelle et familiale de l'étranger, seraient gravement compromises (cf. ATF <ref-ruling> consid. 3.1 p. 231 s.; <ref-ruling> consid. 3.2.3 p. 349 s.).
En l'occurrence, le Tribunal administratif fédéral a notamment relevé à juste titre que le recourant avait passé toute son enfance et son adolescence dans son pays d'origine. En outre, celui-ci a déclaré vouloir y retourner. Le recourant ne démontre donc nullement qu'il pourrait se trouver dans une situation présentant des difficultés de réadaptation insurmontables en cas de retour en Algérie, où se trouvent encore son père et son frère. Compte tenu de ces éléments, l'autorité précédente pouvait retenir que la réintégration du recourant dans son pays d'origine ne serait pas fortement compromise.
5.6. Le recourant ne présentant pas de liens affectif et économique forts avec ses enfants, son comportement n'étant pas irréprochable et son retour en Algérie n'étant pas gravement compromis, il ne saurait être question de violation de l'art. 50 al. 1 let. b LEtr et de l'art. 8 CEDH.
6.
En dernier lieu, hormis les liens du recourant avec ses enfants, dont on a vu qu'ils ne justifient pas à eux seuls son séjour en Suisse, l'arrêt attaqué ne révèle aucun élément déterminant qui ferait apparaître le refus de prolonger l'autorisation de séjour du recourant comme disproportionné (cf. art. 96 LEtr). En tenant compte de l'âge d'arrivée en Suisse du recourant, de la durée et de la qualité de son séjour en Suisse, de ses nombreuses condamnations, du fait que son intégration professionnelle et socioculturelle en Suisse n'est pas particulièrement marquée, des conséquences pour lui et ses enfants d'un refus de demeurer en Suisse, de la possibilité de conserver des liens avec ses enfants en dépit de l'éloignement et des possibilités d'intégration à l'étranger où vivent son père et son frère, c'est à bon droit que le Tribunal administratif fédéral a confirmé la proportionnalité du refus d'approuver la prolongation de l'autorisation de séjour du recourant.
7.
Les considérants qui précèdent conduisent au rejet du recours. Les frais judiciaires sont mis à la charge du recourant (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour III, et au Service de la population du canton de Vaud.
Lausanne, le 26 mai 2016
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette