Faits :
A.
A._, ressortissant kosovar né en 1976, a épousé une ressortissante portugaise au bénéfice d'une autorisation de séjour le 29 octobre 2005. Arrivé en Suisse le 4 février 2006, il s'est vu délivrer une autorisation de séjour par regroupement familial, régulièrement renouvelée jusqu'au 3 février 2011.
Les époux se sont séparés en 2009 et leur divorce a été prononcé le 10 mars 2014. A._ est père de deux filles nées d'une précédente union et vivant au Kosovo, avec ses parents.
Depuis son arrivée en Suisse, A._ n'a travaillé qu'épisodiquement. Il a été au chômage durant près de deux ans et a bénéficié de prestations de l'aide sociale au mois de février 2009 pour un montant de 500 francs. Au 3 décembre 2010, ses dettes s'élevaient à quelque 26'000 francs.
B.
Par décision du 10 janvier 2014, l'Office cantonal de la population et des migrations du canton de Genève s'est déclaré favorable à la prolongation de l'autorisation de séjour de l'intéressé, sous réserve de l'approbation du Secrétariat d'Etat aux migrations. Le 2 décembre 2014, celui-ci a refusé d'approuver la prolongation de l'autorisation de séjour en faveur de A._ et a prononcé son renvoi de Suisse. Ce dernier a contesté ce prononcé auprès du Tribunal administratif fédéral par acte du 20 janvier 2015.
Par arrêt du 6 juin 2016, le Tribunal administratif fédéral a rejeté le recours. Il a jugé en substance que l'intéressé ne pouvait se prévaloir d'une intégration réussie pour demeurer en Suisse.
C.
A l'encontre de cet arrêt, A._ a déposé, le 13 juillet 2016, un recours en matière de droit public auprès du Tribunal fédéral. Il conclut, sous suite de frais et dépens, à son annulation ainsi que, principalement, à la prolongation de son autorisation de séjour et, subsidiairement, au renvoi de la cause au Tribunal administratif fédéral pour nouvelle décision au sens des considérants.
Le Tribunal administratif fédéral a renoncé à se déterminer. Le Secrétariat d'Etat aux migrations a conclu au rejet du recours. Le recourant n'a pas formulé de nouvelles observations.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 188).
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions dans le domaine du droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Le recourant invoque l'art. 50 al. 1 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste à certaines conditions. Dès lors qu'il n'est pas d'emblée exclu que les conditions de cette disposition soient remplies, il convient d'admettre que le recours échappe à la clause d'irrecevabilité, étant précisé que le point de savoir si le recourant peut effectivement se prévaloir d'un droit à séjourner en Suisse relève du fond et non de la recevabilité (<ref-ruling> consid. 1.1 p. 332; <ref-ruling> consid. 1.3 p. 287; <ref-ruling> consid. 1.1 p. 179).
1.2. Pour le surplus, l'arrêt attaqué est une décision finale (art. 90 LTF), rendue par le Tribunal administratif fédéral (art. 86 al. 1 let. a LTF) dans une cause de droit public (art. 82 let. a LTF). Le recours ayant de surcroît été déposé en temps utile (art. 100 al. 1 LTF) et dans les formes requises (art. 42 LTF), par le recourant qui est atteint par la décision entreprise et a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (art. 89 al. 1 LTF), il est partant recevable.
2.
Le recourant se plaint d'arbitraire dans l'établissement des faits et l'appréciation des preuves.
2.1. Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. En vertu de l'art. 97 al. 1 LTF, le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 4.1.2 p. 62) - ou en violation du droit au sens de l'art. 95 LTF, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 1.5 p. 129 s.).
Selon la jurisprudence, une décision est arbitraire lorsqu'elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 2.1 p. 18 s.; <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 4.3 p. 319). Lorsque la partie recourante s'en prend à l'appréciation des preuves et à l'établissement des faits, la décision n'est arbitraire que si le juge n'a manifestement pas compris le sens et la portée d'un moyen de preuve, s'il a omis, sans raison sérieuse, de tenir compte d'un moyen important propre à modifier la décision attaquée ou encore si, sur la base des éléments recueillis, il a procédé à des déductions insoutenables (cf. <ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.2 p. 234; <ref-ruling> consid. 4.2 p. 560).
2.2. Pour démontrer le caractère manifestement inexact, conformément aux exigences accrues de motivation de l'art. 106 al. 2 LTF en matière d'interdiction de l'arbitraire, la partie recourante doit désigner avec précision le ou les faits pertinents qui auraient été établis de manière manifestement inexacte, en citant les termes de l'arrêt attaqué, ou qui auraient été écartés à tort, en se référant expressément aux pièces du dossier de la procédure précédente. A cet effet, la partie recourante doit établir qu'elle a dûment et correctement, en application du droit de procédure cantonale ou fédérale applicable devant l'instance précédente, allégué le ou les faits litigieux ainsi que les preuves à leur appui. Puis, elle doit exposer concrètement en quoi l'autorité a admis, nié ou ignoré ce fait en se mettant en contradiction évidente avec ce qui résulte de ses allégations en procédure précédente. Le cas échéant, elle doit exposer concrètement en quoi, dans l'appréciation, anticipée ou non, des preuves, le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans motifs objectifs de tenir compte de preuves pertinentes ou a opéré, sur la base des éléments recueillis, des déductions insoutenables (arrêts 2C_912/2015 du 20 septembre 2016 consid. 2.3; 2C_649/2015 du 1er avril 2016 consid. 2.1; 2C_694/2015 du 15 février 2016 consid. 2.3 et les références citées).
2.3. Le recourant estime, contrairement à ce qu'a retenu le Tribunal administratif fédéral, que l'attestation de non poursuite de l'Office des poursuites et faillites du canton de Genève du 7 mars 2016 prouvait qu'il avait désintéressé ses créanciers.
2.4. Le recourant ne peut être suivi. Il ressort en effet du site internet de l'Office des poursuites et faillites du canton de Genève (cf. http://ge.ch/opf/extrait-du-registre-des-poursuites) que les attestations de non poursuite délivrées par cet Office jusqu'au 3 avril 2016 se limitaient à récapituler les poursuites en force. Elles ne recensaient pas, comme c'est le cas des extraits du registre des poursuites, l'ensemble des poursuites, soit celles en force et celles ayant débouché sur des actes de défaut de biens. A cela s'ajoute que, devant l'instance précédente, le recourant a admis avoir des dettes d'une part et n'a pas allégué avoir remboursé ses créanciers d'autre part. Dans ces conditions, en retenant que l'attestation de non poursuite de l'Office des poursuites et faillites du canton de Genève du 7 mars 2016 ne permettait pas d'établir que le recourant avait désintéressé ses créanciers, le Tribunal administratif fédéral n'a pas versé dans l'arbitraire. Il ne saurait non plus lui être reproché de ne pas avoir interpellé le recourant sur ce point.
2.5. Quant à savoir si le fait que le recourant n'a recouru à l'aide sociale que durant un mois au cours de son séjour, mis en lien avec sa situation financière, ses liens socioculturels et sa maîtrise de la langue française, permet de considérer son intégration comme réussie, il s'agit là de l'appréciation juridique des faits, soit une question de droit que le Tribunal fédéral revoit d'office (cf. consid. 3i nfra), et non pas d'une question de fait, comme semble le croire le recourant.
2.6. Pour le surplus, dans la mesure où le recourant, même s'il affirme se référer aux faits retenus par l'instance précédente, présente une argumentation partiellement appellatoire, en opposant sa propre version des faits à celle du Tribunal administratif fédéral ou en complétant librement l'état de fait, sans invoquer ni l'arbitraire, ni une constatation manifestement inexacte des faits, le Tribunal fédéral ne peut pas en tenir compte. Il statuera donc sur la base des faits tels qu'ils ressortent de l'arrêt attaqué.
3.
Sur le fond, le recourant se plaint d'une violation de l'art. 50 al. 1 let. a LEtr. Il fait valoir une intégration réussie.
3.1. Selon l'art. 50 al. 1 let. a LEtr, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et que l'intégration est réussie. Ces deux conditions sont cumulatives (<ref-ruling> consid. 3.5.3 p. 295; <ref-ruling> consid. 3.3.3 p. 119). En l'espèce, est seul litigieux le point de savoir si le recourant peut se prévaloir d'une intégration réussie.
3.2. Le principe de l'intégration doit permettre aux étrangers dont le séjour est légal et durable de participer à la vie économique, sociale et culturelle de la Suisse (art. 4 al. 2 LEtr). D'après l'art. 77 al. 4 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), un étranger s'est bien intégré, au sens de l'art. 50 al. 1 let. a LEtr, notamment lorsqu'il respecte l'ordre juridique suisse et les valeurs de la Constitution fédérale (let. a) et qu'il manifeste sa volonté de participer à la vie économique et d'apprendre la langue nationale parlée au lieu de domicile (let. b). Selon l'art. 4 de l'ordonnance fédérale du 24 octobre 2007 sur l'intégration des étrangers (OIE; RS 142.205), la contribution des étrangers à l'intégration se manifeste notamment par le respect de l'ordre juridique et des valeurs de la Constitution fédérale (let. a), par l'apprentissage de la langue nationale parlée sur le lieu de domicile (let. b), par la connaissance du mode de vie suisse (let. c) et par la volonté de participer à la vie économique et d'acquérir une formation (let. d). L'adverbe "notamment", qui est employé tant à l'art. 77 al. 4 OASA qu'à l'art. 4 OIE, illustre le caractère non exhaustif des critères d'intégration qui sont énumérés par ces dispositions et met aussi en exergue le fait que la notion "d'intégration réussie" doit s'examiner à l'aune d'une appréciation globale des circonstances. Dans l'examen de ces critères d'intégration, les autorités compétentes disposent d'un large pouvoir d'appréciation que le Tribunal fédéral ne revoit qu'avec retenue (cf. art. 54 al. 2 et 96 al. 1 LEtr et art. 3 OIE; arrêts 2C_385/2016 du 4 octobre 2016 consid. 4.1; 2C_861/2015 du 11 février 2016 consid. 5.3.1; 2C_151/2015 du 10 février 2016 consid. 3.2.1; 2C_352/2014 du 18 mars 2015 consid. 4.2 et les références citées).
Selon la jurisprudence, il n'y a pas d'intégration réussie lorsque l'étranger n'exerce pas d'activité lucrative qui lui permette de couvrir ses besoins et qu'il dépend des prestations sociales pendant une période relativement longue (arrêts 2C_385/2016 du 4 octobre 2016 consid. 4.1; 2C_861/2015 du 11 février 2016 consid. 5.2; 2C_748/2014 du 12 janvier 2015 consid. 3.2; 2C_352/2014 du 18 mars 2015 consid. 4.3; 2C_385/2014 du 19 janvier 2015 consid. 4.1). A l'inverse, le fait pour une personne de ne pas avoir commis d'infractions pénales et de pourvoir à son revenu sans recourir à l'aide sociale ne permet pas à lui seul de retenir une intégration réussie (arrêts 2C_385/2016 du 4 octobre 2016 consid. 4.1; 2C_352/2014 du 18 mars 2015 consid. 4.3; 2C_14/2014 du 27 août 2014 consid. 4.6.1, non publié in <ref-ruling>). Des périodes d'inactivité de durée raisonnable n'impliquent pas forcément une absence d'intégration professionnelle. Il n'est pas indispensable que l'étranger fasse montre d'une carrière professionnelle requérant des qualifications spécifiques; l'intégration réussie au sens de l'art. 50 al. 1 let. a LEtr n'implique en effet pas nécessairement la réalisation d'une trajectoire professionnelle particulièrement brillante au travers d'une activité exercée sans discontinuité. L'essentiel en la matière est que l'étranger subvienne à ses besoins, n'émarge pas à l'aide sociale et ne s'endette pas de manière disproportionnée (arrêts 2C_385/2016 du 4 octobre 2016 consid. 4.1; 2C_861/2015 du 11 février 2016 consid. 5.2; 2C_352/2014 du 18 mars 2015 consid. 4.3; 2C_385/2014 du 19 janvier 2015 consid. 4.1). Lorsqu'il s'agit d'examiner l'étendue de l'intégration professionnelle d'un étranger, il y a lieu de se fonder sur la situation effective, à savoir sur la présence ou non de l'intéressé sur le marché du travail (arrêt 2C_861/2015 du 11 février 2016 consid. 5.2). L'intégration réussie d'un étranger qui est actif professionnellement en Suisse, dispose d'un emploi fixe, a toujours été financièrement indépendant, se comporte correctement et maîtrise la langue locale ne peut être niée qu'en la présence de circonstances particulièrement sérieuses (arrêts 2C_385/2016 du 4 octobre 2016 consid. 4.1; 2C_352/2014 du 18 mars 2015 consid. 4.3; 2C_930/2012 du 10 janvier 2013 consid. 3.1). L'absence de liens sociaux très étroits en Suisse n'exclut pas non plus d'emblée l'existence d'une intégration réussie, de même que l'absence de vie associative (arrêts 2C_385/2016 du 4 octobre 2016 consid. 4.1; 2C_151/2015 du 10 février 2016 consid. 3.2.1; 2C_352/2014 du 18 mars 2015 consid. 4.3; 2C_930/2012 du 10 janvier 2013 consid. 3.1).
3.3. Sous l'angle de l'intégration professionnelle, il ressort de l'arrêt entrepris que le recourant a travaillé de juin 2006 à mai 2007, quelque cinq mois en 2010, puis en 2011 et 2012. Il a effectué une mesure d'insertion de six mois en 2008. Le recourant a bénéficié de l'aide sociale en février 2009 pour un montant de 500 fr. et de prestations de la caisse de chômage d'octobre 2012 à juin 2014, étant précisé qu'il a travaillé au cours du second semestre de l'année 2013. Il n'a pas exercé d'activité lucrative le reste du temps de son séjour en Suisse, y compris en 2015 (ou du moins, cette année-là, seulement dans une mesure limitée) et en 2016. A cela s'ajoute que la plupart des emplois exercés n'étaient ni réguliers ni stables. Il découle de ces constatations - non contestées par le recourant -, que celui-ci a été inactif professionnellement plus de la moitié de son séjour en Suisse d'une part et qu'il n'a pas toujours été en mesure de s'assumer financièrement d'autre part. Par ailleurs, celui-ci n'exerce actuellement pas un emploi lui permettant de pourvoir à son entretien. Force est ainsi de constater qu'il n'est pas intégré professionnellement. De plus, le recourant présente une situation économique précaire, ou à tout le moins floue depuis le mois de juin 2014. Etant pour l'essentiel sans activité lucrative depuis l'année 2014, il ne conteste pas être soutenu financièrement par ses proches. Dans ces conditions, le recourant ne saurait se prévaloir d'une intégration économique réussie. Il en irait ainsi même dans l'hypothèse où il serait établi que ses dettes, totalisant le montant relativement important de quelque 26'000 fr. au 3 décembre 2010, auraient été remboursées. En outre, toujours selon les constatations de l'autorité précédente, l'examen du dossier du recourant ne fait mention d'aucune activité sociale l'impliquant. Le recourant, qui se contente d'alléguer, de manière purement appellatoire, un attachement important à la Suisse et des liens "avec plusieurs personnes", ne soutient pas le contraire. A cela s'ajoute que le recourant, s'agissant de la date et du lieu auxquels il s'est constitué un domicile séparé de son ex-épouse en Suisse et des relations existant entre ses enfants et leur mère au Kosovo, a omis de fournir aux autorités compétentes certaines informations, voire a procédé à des déclarations inexactes, ce qu'il ne nie pas. Compte tenu de ces éléments, les quelques facteurs favorables au recourant, à savoir un casier judiciaire et une attestation de non poursuite vierges, un recours à l'aide sociale limité à un mois, l'exercice d'emplois durant la première moitié du séjour en Suisse, la maîtrise d'une langue nationale et la présence de membres de la famille en Suisse, ne permettent pas de conclure à une intégration sociale réussie. L'examen global de l'autorité précédente niant l'intégration réussie de l'intéressé ne viole ainsi pas le droit fédéral des étrangers.
3.4. Sur le vu de ce qui précède, le Tribunal administratif fédéral n'a pas violé l'art. 50 al. 1 let. a LEtr en considérant que le recourant ne remplit pas les conditions de cette disposition. Même si le recourant ne le conteste pas, l'on peut encore relever que l'appréciation du Tribunal administratif fédéral en relation avec l'art. 50 al. 1 let. b et al. 2 LEtr ne porte pas flanc à la critique, pas plus que le résultat de l'examen de la proportionnalité de la mesure. L'autorité précédente a en particulier retenu à raison que le recourant avait passé les trente premières années de sa vie dans son pays d'origine, où se trouvent encore des membres de sa famille, dont ses deux filles, nées d'une précédente union, et ses parents. Le recourant a ainsi gardé des liens étroits avec le Kosovo, pays dans lequel il s'est rendu à de nombreuses reprises ces dernières années. Par conséquent, compte tenu également de la situation professionnelle, économique et sociale du recourant, l'on ne peut reprocher à l'autorité précédente d'avoir confirmé le refus de prolonger son autorisation de séjour. Cela conduit au rejet de son recours devant le Tribunal fédéral.
4.
Succombant, le recourant doit supporter les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Secrétariat d'Etat aux migrations, au Tribunal administratif fédéral, Cour III et à l'Office cantonal de la population et des migrations du canton de Genève.
Lausanne, le 1 er février 2017
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
La Greffière : Kleber