Faits :
A.
A._, ressortissant péruvien né en 1988, est arrivé en Suisse le 20 décembre 2010 pour y faire enregistrer, le 23 décembre 2010, son partenariat avec un ressortissant Suisse. A la suite de cet enregistrement, l'intéressé a été mis au bénéfice d'une autorisation de séjour au titre du regroupement familial. Le partenariat a été dissous le 26 décembre 2012. Le 12 décembre 2013, A._ a conclu un nouveau partenariat avec un autre ressortissant suisse. Le 24 octobre 2014, le Service de la population du canton de Vaud (ci-après: le Service de la population) a octroyé à l'intéressé une nouvelle autorisation de séjour au titre du regroupement familial. Le 1 er septembre 2014, les partenaires ont emménagé ensemble. Le 1 er janvier 2017, ils se sont séparés. Le partenariat a été dissous le 12 avril 2018.
B.
Par décision du 7 septembre 2018, le Service de la population s'est déclaré favorable à la poursuite du séjour de A._ en Suisse et a transmis le dossier au Secrétariat d'Etat aux migrations (ci-après: le Secrétariat d'Etat) pour approbation. Par décision du 16 novembre 2018, celui-ci a refusé de donner son approbation à la prolongation de l'autorisation de séjour de l'intéressé. A._ a recouru contre cette décision le 18 décembre 2018 auprès du Tribunal administratif fédéral qui, par arrêt du 19 décembre 2019, a rejeté le recours.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral, sous suite de frais et dépens, outre l'effet suspensif, d'approuver la prolongation de son autorisation de séjour; subsidiairement de renoncer à son renvoi en raison de son inexigibilité, respectivement de son illicéité.
Par ordonnance du 28 janvier 2020, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.
Le Tribunal administratif fédéral renvoie aux considérants et au dispositif de son arrêt. Le Secrétariat d'Etat conclut au rejet du recours.

Considérant en droit :
1.
1.1. D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit. Selon la jurisprudence, il suffit qu'il existe un droit potentiel à l'autorisation, étayé par une motivation soutenable, pour que cette clause d'exclusion ne s'applique pas et, partant, que la voie du recours en matière de droit public soit ouverte. La question de savoir si les conditions d'un tel droit sont effectivement réunies relève du fond (<ref-ruling> consid. 1.1 p. 332 et les références). En l'occurrence, du moment que le recourant a dissous le partenariat qui le liait à un ressortissant suisse, les art. 50 et 52 LEI (RS 142.20; dans sa version en vigueur avant le 1 er janvier 2019 [RO 2007 5437], ci-après: LEtr; cf. art. 126 al. 1 LEI), ainsi que 8 CEDH sont potentiellement de nature à lui conférer un droit à une autorisation de séjour. Le recours en matière de droit public et ainsi ouvert.
1.2. Au surplus, le recours est dirigé contre une décision finale (<ref-law>) rendue dans une cause de droit public (<ref-law>) par le Tribunal administratif fédéral (<ref-law>). Déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, le recours est en principe recevable, sous réserve de ce qui suit.
1.3. Dans la mesure où le recourant entendait se plaindre de son renvoi de Suisse et requérir son admission provisoire, son recours est irrecevable sous l'angle du recours en matière de droit public (cf. art. 83 let. c ch. 3 et 4 LTF). Il l'est également sous l'angle du recours constitutionnel subsidiaire, l'arrêt attaqué émanant du Tribunal administratif fédéral (<ref-law> a contrario).
2.
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). Le recourant ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358). Conformément à l'<ref-law>, le recourant doit expliquer de manière circonstanciée en quoi ces conditions seraient réalisées. Les faits invoqués de manière appellatoire sont irrecevables (<ref-ruling> consid. 6.3 p. 375). Par ailleurs, aucun fait nouveau ni preuve nouvelle ne peut en principe être présenté devant le Tribunal fédéral (<ref-law>).
En l'occurrence, dans la mesure où le recourant se prévaut de manière très générale d'établissement inexact des faits, il ne saurait être suivi. Il ne motive en effet pas à suffisance son grief, se contentant de présenter ses propres vision et appréciation des faits et de les opposer à celles de l'autorité précédente. Une telle manière de faire ne saurait être admise. Dans ces conditions, le Tribunal fédéral examinera le recours sur la seule base des faits retenus par le Tribunal administratif fédéral dans l'arrêt entrepris.
3.
Le recourant se plaint d'une violation des art. 49 et 50 LEtr, expliquant que son union conjugale a duré plus de trois ans, que son intégration est réussie (art. 50 al. 1 let. a LEtr) et que la poursuite de son séjour en Suisse s'impose pour des raisons personnelles majeures (art. 50 al. 1 let. b LEtr, en particulier en relation avec l'art. 8 CEDH), notamment sur le vu de sa longue présence en Suisse. Le recourant ayant dissous le partenariat qui le liait à un ressortissant suisse, c'est à juste titre qu'il n'invoque pas l'art. 42 al. 1 LEtr, qui prévoit notamment que le conjoint d'un ressortissant suisse a droit à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité à condition de vivre en ménage commun avec lui, étant par ailleurs rappelé que les art. 42 ss LEtr concernant le conjoint étranger s'appliquent par analogie aux partenaires enregistrés du même sexe (art. 52 LEtr).
4.
4.1. Selon l'art. 50 al. 1 let. a LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 LEtr subsiste si l'union conjugale a duré au moins trois ans et l'intégration est réussie. Il s'agit de deux conditions cumulatives (<ref-ruling> consid. 4 p. 347). Le délai de trois ans prévu par cette disposition se calcule en fonction de la durée pendant laquelle les époux ont fait ménage commun en Suisse (<ref-ruling> consid. 4.1 p. 348 et les références). La notion d'union conjugale de l'art. 50 al. 1 let. a LEtr va plus loin que celle du mariage. Alors que celui-ci peut n'être plus que formel, l'union conjugale implique une vie conjugale effective, sous réserve des exceptions mentionnées à l'art. 49 LEtr (<ref-ruling> consid. 3.1.2 p. 347 et les références).
Selon cette dernière disposition, l'exigence du ménage commun prévue aux art. 42 à 44 LEtr n'est pas applicable lorsque la communauté familiale est maintenue et que des raisons majeures justifiant l'existence de domiciles séparés peuvent être invoquées. Aux termes de l'art. 76 de l'ordonnance du 24 octobre 2007 relative à l'admission, au séjour et à l'exercice d'une activité lucrative (OASA; RS 142.201), une exception à l'exigence du ménage commun peut résulter de raisons majeures dues, notamment, à des obligations professionnelles ou à une séparation provisoire en raison de problèmes familiaux importants. La séparation due à une crise conjugale ne doit toutefois pas durer plus de quelques mois (arrêt 2C_646/2016 du 27 septembre 2016 consid. 6.1 et les références). La décision librement consentie des époux de "vivre ensemble séparément" ne constitue pas, à elle seule, une raison majeure au sens de l'art. 49 LEtr. L'art. 49 LEtr n'a en effet pas pour but de permettre aux époux de vivre séparés en Suisse pendant une longue période, mais exige que la communauté familiale soit maintenue (arrêt 2C_525/2019 du 16 septembre 2019 consid. 4.2 et les références).
4.2. Il ressort des faits retenus par l'autorité précédente que le recourant a conclu un partenariat enregistré le 12 décembre 2013 et qu'il a emménagé avec son partenaire le 1 er septembre 2014. Celui-ci travaillait dans le canton de Berne, alors que celui-là exerçait son activité professionnelle dans le canton de Vaud. La raison principale invoquée par le recourant pour justifier cette période de plus de huit mois de vie séparée est la difficulté à trouver un logement commun dans le canton de Vaud. Le recourant affirme en outre qu'à la suite de son enregistrement, son partenaire et lui ont dû déterminer où ils souhaitaient habiter et que l'absence de domicile commun ne les empêchait pas de mener une vie de couple, réelle et effective.
4.3. En premier lieu, il convient de relever que, pour motiver son grief de violation de l'art. 49 LEtr, le recourant se fonde sur des pièces et des faits qui n'ont pas été retenus par l'autorité précédente, ce qui ne saurait être admis. Sur la base des faits retenus, il faut bien plus reconnaître que la longue durée de vie séparée du couple ne constituait pas une exception prévue par l'art. 49 LEtr. Tout d'abord, il ressort des faits de l'arrêt entrepris que les recherches d'appartement n'ont débuté qu'en avril 2014, c'est-à-dire plus de quatre mois après l'enregistrement du partenariat. En outre, si le recourant travaillait effectivement dans la région lausannoise, alors que son partenaire exerçait dans la région bernoise, il leur aurait été possible de chercher un logement entre ces deux régions, celles-ci étant facilement accessibles en transports publics ou en voiture. Par ailleurs, même si la région lausannoise présentait une pénurie de logement en 2014, comme l'affirme le recourant, les époux n'avaient pas à attendre plus de huit mois pour trouver un domicile dans un endroit sans pénurie et relativement proche de Lausanne (entre Lausanne et Berne se trouvant notamment la ville de Fribourg). La période de vie séparée des partenaires est trop importante pour que leur situation puisse être considérée autrement que comme une volonté de "vivre ensemble séparément". Par conséquent, il faut retenir, à l'instar du Tribunal administratif fédéral, que l'union conjugale au sens de l'art. 50 al. 1 let. a LEtr a commencé le 1 er septembre 2014, lorsque les partenaires ont emménagé ensemble, et a pris fin le 1 er janvier 2017 lors de la séparation. Ainsi, faute d'une durée d'union conjugale de trois ans, le recourant ne saurait se prévaloir de l'art. 50 al. 1 let. a LEtr. Son grief doit donc être écarté.
5.
5.1. Selon l'art. 50 al. 1 let. b LEtr, après dissolution de la famille, le droit du conjoint et des enfants à l'octroi d'une autorisation de séjour et à la prolongation de sa durée de validité en vertu des art. 42 et 43 subsiste si la poursuite du séjour en Suisse s'impose pour des raisons personnelles majeures. L'art. 50 al. 1 let. b et al. 2 LEtr vise à régler les situations qui échappent aux dispositions de l'art. 50 al. 1 let. a LEtr, soit parce que le séjour en Suisse durant le mariage n'a pas duré trois ans ou parce que l'intégration n'est pas suffisamment accomplie ou encore parce que ces deux aspects font défaut, mais que - eu égard à l'ensemble des circonstances - l'étranger se trouve dans un cas de rigueur après la dissolution de la famille (<ref-ruling> consid. 3.1 p. 394 ss et les références). A cet égard, c'est la situation personnelle de l'intéressé qui est décisive et non l'intérêt public que revêt une politique migratoire restrictive. Il s'agit par conséquent uniquement de décider du contenu de la notion juridique indéterminée "raisons personnelles majeures" et de l'appliquer au cas d'espèce, en gardant à l'esprit que l'art. 50 al. 1 let. b LEtr confère un droit à la poursuite du séjour en Suisse, contrairement à l'art. 30 al. 1 let. b LEtr (<ref-ruling> consid. 3.1 p. 395 et les références). Comme il s'agit de cas de rigueur survenant à la suite de la dissolution de la famille, en relation avec l'autorisation de séjour découlant du mariage, respectivement du partenariat enregistré, les raisons qui ont conduit à la rupture de l'union conjugale revêtent par conséquent de l'importance. L'admission d'un cas de rigueur personnel survenant après la dissolution de la communauté conjugale suppose que, sur la base des circonstances d'espèce, les conséquences pour la vie privée et familiale de la personne étrangère liées à ses conditions de vie après la perte du droit de séjour découlant de la communauté conjugale (art. 42 al. 1 et 43 al. 1 LEtr) soient d'une intensité considérable. Le Tribunal fédéral a mis en lumière un certain nombre de situations dans lesquelles la poursuite du séjour en Suisse peut s'imposer. Celles-ci ne sont pas exhaustives (<ref-ruling> consid. 5.3 p. 4). En font notamment partie les violences conjugales (art. 50 al. 2 LEtr et 77 al. 2 OASA), qui doivent revêtir une certaine intensité, la réintégration fortement compromise dans le pays d'origine et le cas dans lequel le conjoint duquel dépend le droit de séjour de l'étranger décède (<ref-ruling> consid. 5.3 p. 4).
5.2. Le recourant invoque la situation des homosexuels dans son pays d'origine, ainsi que son état psychique, nécessitant un traitement psychiatrique comme raisons personnelles majeures.
A ce propos, il ressort de l'arrêt entrepris que le recourant a quitté son pays d'origine, où vit sa famille, à l'âge de 22 ans. Il y est retourné à plusieurs reprises, notamment avec ses deux partenaires. Il a également affirmé qu'il hériterait d'une maison et d'un terrain au Pérou. En outre, le Tribunal administratif fédéral a admis que les homosexuels pouvaient souffrir de discrimination au Pérou. Il a néanmoins retenu que ce pays était le premier en Amérique latine à avoir dépénalisé l'homosexualité en 1837. Il a ajouté que la loi péruvienne prévoit l'égalité de protection en cas de discrimination basée sur l'orientation sexuelle ou l'identité de genre. L'autorité précédente a également constaté que le recourant avait vécu durant 22 ans dans son pays d'origine, sans prétendre que son homosexualité lui aurait porté préjudice. Quant aux traitements psychiatriques, le Tribunal administratif fédéral a retenu que rien ne permettait de considérer que le traitement suivi en Suisse ne serait pas accessible au Pérou. Il n'est pas non plus établi que le traitement que le recourant suit en Suisse soit nécessaire. A ce propos, outre un certificat médical de son psychiatre traitant, le recourant n'a rien produit pour démontrer les obstacles auxquels il prétend être confronté dans son pays d'origine.
5.3. Sur le vu des éléments de fait qui précèdent et qui lient le Tribunal fédéral (<ref-law>), force est de constater qu'un retour du recourant dans son pays d'origine n'est aucunement compromis. Outre qu'il y bénéficie d'un cercle familial et qu'il en parle la langue, le recourant, dont le partenariat a été dissous, est sans enfant et au bénéfice d'une formation qu'il pourra mettre à profit au Pérou. Si nécessaire, ses problèmes de santé pourront également être suivis. Finalement, rien n'indique qu'il serait la cible de discriminations en raison de son orientation sexuelle. Le grief de violation de l'art. 50 al. 1 let. b et al. 2 LEtr doit ainsi également être écarté.
6.
Le recourant invoque encore l'art. 8 CEDH et la garantie de sa vie privée.
6.1. Dans l'<ref-ruling>, après avoir rappelé la position de la Cour européenne des droits de l'homme (ci-après: la CourEDH) sur le droit au respect de la vie familiale et le droit au respect de la vie privée, le Tribunal fédéral a précisé et structuré sa jurisprudence relative au droit à une autorisation de séjour fondée sur l'art. 8 CEDH. Ce droit dépend fondamentalement de la durée de la résidence en Suisse de l'étranger. Lorsque celui-ci réside légalement depuis plus de dix ans en Suisse, ce qui correspond en droit suisse au délai pour obtenir une autorisation d'établissement ou la naturalisation, il y a lieu de partir de l'idée que les liens sociaux qu'il a développés avec le pays dans lequel il réside sont suffisamment étroits pour que le refus de prolonger ou la révocation de l'autorisation de rester en Suisse ne doivent être prononcés que pour des motifs sérieux. Lorsque la durée de la résidence est inférieure à dix ans mais que l'étranger fait preuve d'une forte intégration en Suisse, le refus de prolonger ou la révocation de l'autorisation de rester en Suisse peut également porter atteinte au droit au respect de la vie privée (<ref-ruling> consid. 3 p. 271 ss et les références).
6.2. En l'occurrence, le recourant reconnaît expressément ne pas être en Suisse depuis plus de dix ans. En outre, l'autorisation de séjour qu'il a reçue lors de la conclusion de son premier partenariat a pris fin à la suite de la dissolution de cette union. Le Service de la population a d'ailleurs informé le recourant en 2014 qu'il avait l'intention de refuser la prolongation demandée (à propos d'une durée de séjour de plus de neuf ans, mais moins de dix, cf. arrêt 2C_990/2018 du 27 septembre 2019 consid. 2.3). Par conséquent, pour pouvoir se prévaloir de l'art. 8 CEDH sous l'angle de la vie privée avec une telle durée de séjour, le recourant doit faire montre de liens sociaux et professionnels spécialement intenses avec la Suisse, notablement supérieurs à ceux qui résultent d'une intégration ordinaire (<ref-ruling> consid. 3.9 p. 278 s.; <ref-ruling> consid. 3.2.1 p. 286). Or, comme l'a retenu l'autorité précédente, le recourant a vécu toute son enfance et son adolescence dans son pays d'origine. S'il a certes repris des études en Suisse depuis une année et trouvé un travail d'étudiant, force est de constater qu'il n'est pas indépendant financièrement. En outre, même s'il n'a pas de dettes et qu'il est membre de deux associations, cette situation ne constitue pas autre chose qu'une intégration ordinaire et n'est pas à ce point poussée pour qu'il faille reconnaître au recourant un droit à la garantie de la vie privée protégée par l'art. 8 CEDH.
7.
Sur le vu des considérants qui précèdent, il convient donc de rejeter le recours, dans la mesure où il est recevable. Succombant, le recourant doit supporter les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué à la représentante du recourant, au Secrétariat d'Etat aux migrations, à la Cour VI du Tribunal administratif fédéral et au Service de la population du canton de Vaud.
Lausanne, le 24 avril 2020
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président : Seiler
Le Greffier : Tissot-Daguette