Faits:
A.
A.a. A._, anciennement B._, ressortissant congolais, né en 1977, est arrivé en Suisse en avril 1998, au bénéfice d'une autorisation de séjour pour études en sciences économiques à l'Université de Fribourg. Dès 2000, il a été inscrit à la Faculté des sciences de l'Université de Genève, où il a été définitivement éliminé en juillet 2002.
Le 3 février 2003, l'Office cantonal de la population du canton de Genève (ci-après: l'Office de la population) a refusé de renouveler l'autorisation de séjour de A._, décision confirmée par la Commission cantonale de recours de police des étrangers du canton de Genève le 21 octobre 2003. Un délai au 25 février 2004 a été imparti à l'intéressé pour quitter la Suisse.
A.b. En mai 2003, C._, ressortissant suisse a adopté à Kinshasa les cinq enfants de son épouse congolaise D._, mère de A._. Ce dernier étant majeur, il n'a pas obtenu la nationalité suisse, de même que son frère E._. Le 7 juillet 2005, l'Office d'état civil d'Yverdon-les-Bains a inscrit A._ en tant qu'enfant des époux C._ et D._. L'intéressé a ensuite déposé une demande d'autorisation de séjour pour regroupement familial auprès de l'Office de la population.
Le 10 mars 2006, A._ a été ex-matriculé de la Haute école de gestion de Genève, où il avait commencé des études d'informaticien en octobre 2004. Partant, l'Office de la population a refusé d'accorder une autorisation de séjour à l'intéressé à quelque titre que ce soit, par décision du 2 juin 2006, confirmée par la Commission cantonale de recours de police des étrangers le 30 janvier 2007.
Par ordonnance du 25 mai 2007, le Procureur général du canton de Genève a condamné A._ à la peine privative de liberté de douze mois, avec sursis pendant quatre ans, pour escroquerie et faux dans les titres.
Le recours de l'intéressé contre la décision de renvoi de Suisse ayant été rejeté par arrêt du Tribunal administratif fédéral du 18 juin 2007, un délai au 3 septembre 2007 lui a été imparti pour quitter le territoire suisse.
A.c. Le 10 décembre 2007, A._ a épousé à Genève une ressortissante suisse, F._, et a obtenu une autorisation de séjour pour regroupement familial, valable jusqu'au 9 décembre 2008.
F._ ayant quitté le domicile conjugal le 11 février 2008, les époux ont été autorisés à vivre séparés par jugement du Tribunal de première instance du canton de Genève du 20 juin 2008. Le même Tribunal a prononcé le divorce des époux A._ et F._ par jugement entré en force le 3 février 2011.
B.
Le 8 novembre 2011, le Tribunal administratif du canton de Genève a admis le recours de A._ contre la décision de l'Office cantonal de la population du 13 octobre 2009 refusant de renouveler son autorisation de séjour. Il a retenu que la poursuite du séjour en Suisse de l'intéressé s'imposait pour des raisons personnelles majeures au sens de l'art. 50 al. 1 let. b de la loi fédérale sur les étrangers (LEtr; RS 142.20).
Le 28 mars 2012, l'Office fédéral des migrations a refusé d'approuver la prolongation de l'autorisation de séjour de A._. Celui-ci a recouru auprès du Tribunal administratif fédéral contre cette décision. Il a produit ses résultats aux examens du baccalauréat universitaire en sciences de l'éducation de l'Université de Genève, en précisant qu'il devait encore effectuer des examens de rattrapage pour obtenir son Bachelor.
Par arrêt du 16 octobre 2013, le Tribunal administratif fédéral a rejeté le recours, tout en admettant la demande d'assistance judiciaire partielle présentée par le recourant.
C.
A._ forme auprès du Tribunal fédéral un " recours " contre l'arrêt du Tribunal administratif fédéral du 16 octobre 2013 et la décision de l'Office fédéral des migrations du 28 mars 2012, sans autre précision. Il demande que son autorisation de séjour soit prolongée pour raisons personnelles majeures selon l'art. 50 al. 1 let. b LEtr ou pour reconnaissance d'un cas de rigueur au sens de l'art. 30 al. 1 let. b LEtr.
Le Tribunal administratif fédéral a renoncé à se déterminer sur le recours et l'Office fédéral des migrations propose de le rejeter.
L'Office cantonal de la population a été invité à produire son dossier, sans échange d'écritures.
D.
Par ordonnance du 17 janvier 2014, la IIe Cour de droit public a rejeté la demande d'assistance judiciaire présentée par le recourant, pour le motif que la condition de l'indigence n'avait pas été prouvée.

Considérant en droit:
1.
1.1. Le recourant a déclaré former un " recours " auprès du Tribunal fédéral. Cette imprécision ne saurait toutefois lui nuire si son acte remplit les exigences légales de la voie de droit qui lui est ouverte (<ref-ruling> consid.1.2 p. 383), à savoir celle du recours en matière de droit public (<ref-law>), étant précisé que le recours constitutionnel subsidiaire est exclu à l'encontre des arrêts du Tribunal administratif fédéral (<ref-law> a contrario).
1.2. Le litige porte sur le refus d'approuver la prolongation de l'autorisation de séjour du recourant. A juste titre, la décision de renvoi prononcée par les autorités fédérales n'est pas remise en cause dans le recours, car cette question n'est pas de la compétence du Tribunal fédéral (art. 83 let. c ch. 4 LTF). Il en va de même pour les décisions des autorités fédérales dérogeant aux conditions d'admission (art. 83 let. c ch. 5 LTF), en particulier celles qui permettent de tenir compte des cas individuels d'extrême gravité selon l'art. 30 al. 1 let. b LEtr. A ce titre, le présent recours n'est donc pas recevable.
1.3. En vertu de l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Le recourant invoque l'art. 50 al. 1 LEtr selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité subsiste dans certains cas. Dès lors qu'il n'est pas d'emblée exclu que les conditions de cette disposition, en particulier de l'art. 50 al. 1 let. b LEtr, conférant un droit de séjour, soient remplies, il convient d'admettre le droit de recourir sous l'angle de l'art. 83 let. c ch. 2 LTF, étant précisé que le point de savoir si le recourant peut effectivement se prévaloir d'un droit à séjourner en Suisse relève du fond et non de la recevabilité (cf. <ref-ruling> consid. 1.1 p. 179; arrêt 2C_1112/2012 du 14 juin 2013 consid. 1.2, non publié in <ref-ruling>).
Pour le reste, le présent recours, dirigé contre une décision du Tribunal administratif fédéral (<ref-law>), a été déposé en temps utile (<ref-law>) et dans les formes prescrites par la loi (<ref-law>), par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>); il remplit dès lors les conditions de recevabilité du recours en matière de droit public en lien avec l'octroi d'une autorisation de séjour.
2.
Le Tribunal fédéral se fonde sur les faits constatés par l'autorité précédente (cf. <ref-law>), à moins que ceux-ci n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 4.2 p. 560) - ou en violation du droit au sens de l'<ref-law> (cf. <ref-law>). Si le recourant entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées. Sinon, il n'est pas possible de tenir compte d'un état de fait divergeant de celui qui est contenu dans l'acte attaqué. Les faits et les critiques invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 3 p. 104).
Le recourant présente, en particulier sous le titre "en fait" de son mémoire, sa propre version des événements. Une telle argumentation appellatoire, dans la mesure où elle s'écarte des faits constatés dans l'arrêt attaqué sans qu'il soit indiqué en quoi ceux-ci seraient manifestement inexacts ou arbitraires, n'est pas admissible. Au surplus, les pièces produites par le recourant à l'appui du présent recours, en tant qu'elles ne résulteraient pas déjà de la procédure fédérale, constituent des preuves nouvelles irrecevables (<ref-law>).
3.
3.1. D'après l'art. 42 al. 1 LEtr, le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui. Le divorce du recourant ayant été prononcé par jugement entré en force le 3 février 2011, alors que la vie commune du couple avait déjà cessé en 2008, il n'est pas contesté qu'il ne peut pas se prévaloir de cette disposition.
Quant à l'art. 50 al. 1 let. a LEtr, selon lequel, après dissolution de la famille, le droit du conjoint à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie, son application est exclue. En effet, le recourant s'est marié le 10 décembre 2007 et la séparation d'avec son ex-épouse est intervenue le 11 février 2008. Il reste à examiner si, comme le prétend l'intéressé, une prolongation de l'autorisation de séjour peut lui être accordée sur la base de l'art. 50 al. 1 let. b LEtr. Cette disposition autorise la poursuite du séjour en Suisse pour des raisons personnelles majeures. Ces raisons sont notamment données lorsque la réintégration sociale du conjoint étranger dans le pays de provenance semble fortement compromise (cf. art. 50 al. 2 LEtr), seul critère susceptible d'entrer en ligne de compte in casu.
3.2. L'art. 50 al. 1 let. b et al. 2 LEtr vise à régler les situations qui échappent aux dispositions de l'art. 50 al. 1 let. a LEtr, soit parce que le séjour en Suisse durant le mariage n'a pas duré trois ans ou parce que l'intégration n'est pas suffisamment accomplie ou encore parce que ces deux aspects font défaut mais que - eu égard à l'ensemble des circonstances - l'étranger se trouve dans un cas de rigueur après la dissolution de la famille (<ref-ruling> consid. 3.2.1 p. 348; 1 consid. 4.1 p. 7). Sur ce point, c'est la situation personnelle de l'intéressé qui est décisive et non l'intérêt public que revêt une politique migratoire restrictive. Il s'agit par conséquent uniquement de décider du contenu de la notion juridique indéterminée "raisons personnelles majeures" et de l'appliquer au cas d'espèce, en gardant à l'esprit que l'art. 50 al. 1 let. b LEtr confère un droit à la poursuite du séjour en Suisse, contrairement à l'art. 30 al. 1 let. b LEtr (<ref-ruling> consid. 3.1 p. 395; <ref-ruling> consid. 3.2.1 p. 348; sur la possibilité de néanmoins tenir compte, dans le cadre de l'examen des conditions de l'art. 50 al. 1 let. b LEtr, des indices fondant des cas individuels d'une extrême gravité énoncés aux art. 30 al. 1 let. b LEtr et 31 de l'ordonnance fédérale du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative [OASA; RS 142.201], voir <ref-ruling> consid. 3.2.1 p. 348; arrêts 2C_326/2013 du 20 novembre 2013 consid. 2.3 et 5.4; 2C_236/2011 du 2 septembre 2011 consid. 2.2; 2C_365/2010 du 22 juin 2011 consid. 3.2). L'admission d'un cas de rigueur personnel survenant après la dissolution de la communauté conjugale suppose que, sur la base des circonstances d'espèce, les conséquences pour la vie privée et familiale de la personne étrangère liées à ses conditions de vie après la perte du droit de séjour découlant de la communauté conjugale (art. 42 al. 1 et 43 al. 1 LEtr) soient d'une intensité considérable (<ref-ruling> consid. 3.1 p. 395; <ref-ruling> consid. 3.2.3 p. 350; arrêt 2C_1062/2013 du 28 mars 2014, consid. 3.2.1). La jurisprudence considère aussi que les obstacles à l'exécution du renvoi peuvent, dans certaines circonstances, fonder une raison personnelle majeure au sens de l'art. 50 al. 1 let. b et al. 2 LEtr (cf. <ref-ruling> consid. 3.3.2 p. 351 s.; arrêts 2C_13/2012 du 8 janvier 2013 consid. 3.4; 2C_236/2011 du 2 septembre 2011 consid. 2.2; arrêt précité 2C_1062/2013, consid. 3.2.2).
3.3. Il est en l'espèce constant qu'il n'existe pas de lien entre la dissolution de l'union conjugale et les raisons personnelles majeures invoquées par le recourant. Les seuls éléments que ce dernier fait valoir sont les années qu'il a passées en Suisse depuis son premier séjour pour études en 1998, la présence dans ce pays de toute sa famille, notamment sa mère, son père adoptif, ses deux frères et ses deux soeurs, ainsi que son intégration à Genève, où il travaille, tout en poursuivant ses études en sciences de l'éducation à l'Université et en donnant des cours de français aux migrants allophones.
Dans l'arrêt attaqué, le Tribunal administratif fédéral a nié l'existence de raisons personnelles majeurs au sens de l'art. 50 al. 1 let. b et al. 2 LEtr, sur la base des faits suivants. Il a retenu que, dans la mesure où le recourant avait vécu au Congo jusqu'à l'âge de vingt-et-un ans, il devait encore avoir un cercle de connaissances et de proches susceptibles de favoriser son retour et pouvoir compter sur l'aide de sa famille en Suisse pour faciliter sa réinsertion dans son pays d'origine, notamment sur le plan matériel. Quant à son intégration socio-professionnelle, elle ne saurait être qualifiée de réussie au vu des nombreuses formations académiques entreprises au cours des quinze dernières années, qui n'ont pas encore abouti, et du fait qu'il n'occupe qu'un emploi à temps partiel qui ne lui garantit pas une autonomie financière stable. Sous l'angle des critères d'appréciation de l'art. 31 al. 1 OASA, les premiers juges ont également tenu compte de la condamnation du recourant, le 25 mai 2007, à la peine privative de liberté de douze mois avec sursis pendant quatre ans, pour escroquerie et faux dans les titres, du non-respect de la décision de renvoi de Suisse prononcée en 2004 et des dettes de l'intéressé s'élevant à 13'500 fr. au 6 février 2013.
Au vu de tous ces éléments, force est de constater que le recourant ne remplit pas les critères permettant de reconnaître l'existence d'une raison personnelle majeure qui empêcherait son retour dans son pays d'origine. Il n'existe en effet pas de motifs personnels graves exigeant la poursuite du séjour en Suisse (<ref-ruling> consid. 3.1 p. 395, 229 consid. 3.1 p. 232 et les références citées). Sur ce point, la question n'est pas de savoir s'il est plus facile pour la personne concernée de vivre en Suisse, mais uniquement d'examiner si, en cas de retour dans le pays d'origine, les conditions de sa réintégration sociale, au regard de sa situation personnelle, professionnelle et familiale, seraient gravement compromises (137 II 1 consid. 4.1 p. 7; arrêts 2C_1188/2012 du 17 avril 2013, consid. 4.1; 2C_467/2012 du 25 janvier 2013, consid. 2.3). S'agissant d'une personne majeure qui n'a jamais vécu avec ses parents depuis son arrivée en Suisse en 1998, le fait que sa famille proche vit dans ce pays ne suffit pas pour admettre l'existence d'une raison personnelle majeure au sens de l'art. 50 al. 2 let. b et al. 2 LEtr. Il s'ensuit que les juges précédents n'ont pas violé le droit fédéral, ni abusé de leur pouvoir d'appréciation en déniant au recourant le droit d'obtenir une autorisation de séjour sur la base de cette disposition.
3.4. Comme l'a en outre relevé le Tribunal administratif fédéral, le recourant ne peut pas se prévaloir du droit au respect de la vie familiale garanti par l'art. 8 CEDH par rapport à ses parents, ses frères et ses soeurs résidant en Suisse, dès lors qu'il est majeur et qu'il n'existe pas un rapport de dépendance par rapport à ces membres de la famille (<ref-ruling> consid. 3.4.2 p. 159). Par ailleurs, pour pouvoir déduire un droit à une autorisation de séjour fondée sur le respect de la vie privée prévu à l'art. 8 CEDH, des conditions strictes doivent être remplies, le requérant devant entretenir avec la Suisse des liens sociaux ou professionnels d'une intensité particulière, allant au-delà d'une intégration normale, ce qui n'est pas le cas en l'espèce. Le Tribunal fédéral n'adopte pas une approche schématique qui consisterait à présumer, à partir d'une certaine durée de séjour en Suisse, que l'intéressé y est enraciné et dispose de ce fait d'un droit de présence dans notre pays. En outre, lors de l'application de l'art. 8 CEDH, l'autorité doit procéder à une pesée des intérêts et prendre en considération l'ensemble des circonstances du cas, en considérant la durée du séjour en Suisse comme un élément parmi d'autres (cf. <ref-ruling> consid. 3.2.1 p. 286; arrêt 2C_1010/2011 du 31 janvier 2012, consid. 2.4). Or, dans le cas du recourant, il faut tenir compte du fait qu'il est demeuré en Suisse pendant quinze ans sans achever une formation et n'a exercé une activité professionnelle que de manière épisodique. A cela s'ajoute que la décision de renvoi prise à son encontre en 2004 déjà n'a pas été exécutée et qu'il a bénéficié ensuite d'une autorisation de séjour pour regroupement familial en raison de son union avec une ressortissante suisse, qui n'a duré que quelques mois. Enfin, il a utilisé toutes les voies de droit s'offrant à lui pour prolonger son séjour. Dans ces circonstances, la seule durée de ce séjour et la présence de membres de sa famille en Suisse ne suffisent dès lors pas à lui accorder une autorisation de séjour sur la base de l'art. 8 CEDH.
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure de sa recevabilité. Les frais judiciaires seront ainsi mis à la charge du recourant, en tenant compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF). Il n'y a pas lieu d'allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, à l'Office fédéral des migrations et au Tribunal administratif fédéral, Cour III, ainsi qu'à l'Office cantonal de la population du canton de Genève, pour information.
Lausanne, le 12 mai 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat