Faits :
A.
Par jugement du 9 mars 2016, le Tribunal pénal de l'arrondissement de la Sarine a reconnu X._ coupable d'abus de détresse (<ref-law>) et de corruption passive (<ref-law>) et l'a condamné à une peine privative de liberté de 15 mois, avec sursis pendant deux ans et à verser à A._ un montant de 5'000 fr., avec intérêts, à titre de réparation du tort moral. Il l'a acquitté du chef de prévention d'abus d'autorité.
B.
Par arrêt du 9 décembre 2016, la Cour d'appel pénal du Tribunal cantonal de l'Etat de Fribourg a rejeté l'appel formé par X._ et l'appel joint formé par le Ministère public.
En substance, la condamnation de X._ repose sur les faits suivants:
En 2010, A._ était un requérant d'asile débouté qui se savait menacé d'un renvoi imminent depuis le 8 mars 2010, à la suite d'une décision de l'Office fédéral des migrations (ODM, devenu entre-temps le Secrétariat d'Etat aux migrations [SEM]). La mise en oeuvre de son renvoi s'était heurtée à d'importants obstacles en raison de son origine irakienne, de sorte qu'il était notamment tenu de passer hebdomadairement au Service de la population et des migrants (SPoMi) pour s'entretenir avec son référant, B._, qui lui rappelait sans cesse qu'il était tenu de quitter la Suisse. Avant de se rendre au SPoMi, A._ devait préalablement se rendre au centre d'intervention de la Police cantonale (CIG), afin de se faire délivrer un formulaire relatif à l'aide d'urgence. A l'occasion d'un de ses passages, il a fait la connaissance de X._, inspecteur auprès du Centre d'engagement et d'alarme (CEA), qui se trouve dans l'enceinte du CIG. Ils ont discuté de la situation de A._ et ont échangé leurs coordonnées. Quelques jours plus tard, ils se sont revus, sont allés boire un verre ensemble et ont, une nouvelle fois, évoqué la situation de A._, sa profonde détresse et son statut de requérant d'asile débouté.
X._ a payé les consommations de A._ et lui a ensuite fait comprendre qu'il était disposé à l'aider dans ses démarches auprès du SPoMi, en échange de faveurs sexuelles. Ils se sont revus par la suite à trois reprises au cours desquelles X._ a obtenu des faveurs sexuelles, en échange de la promesse faite à A._ de régulariser sa situation de séjour.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 9 décembre 2016 et conclut, avec suite de frais et dépens, principalement, à l'annulation de l'arrêt attaqué en tant qu'il le déclare coupable d'abus de détresse et corruption passive, en tant qu'il le condamne à une peine privative de liberté de 15 mois, avec sursis durant deux ans, qu'il le condamne au paiement de 5'000 fr. à titre de réparation du tort moral, qu'il rejette la requête d'indemnité au sens de l'<ref-law>, qu'il le condamne à payer une indemnité de 13'467 fr. 90, due au défenseur d'office de A._, qu'il le condamne au paiement des frais de procédure, en ce que les frais de procédure d'appel sont mis à sa charge à raison de 3/4 et à la charge de l'Etat à raison de 1/4 et qu'il arrête l'indemnité du défenseur d'office de A._, pour la procédure d'appel, à 2'481 fr. 85 et qu'il le condamne au remboursement à l'Etat du 3/4 de ce montant dès que sa situation financière le permettra. Il conclut ensuite à son acquittement des chefs d'accusation d'abus de détresse et de corruption passive et à l'allocation d'une indemnisation de 117'683 fr. 35 ainsi qu'une juste indemnité à titre de dépens pour la présente procédure. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente.

Considérant en droit :
1.
Le recourant se plaint de l'établissement arbitraire des faits, de leur appréciation arbitraire (art. 9 Cst.) et de la violation de la présomption d'innocence.
1.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 4.3 p. 380; <ref-ruling> consid. 1.2 p. 308 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.3 p. 266 et les références citées; arrêt 6B_179/2017 du 29 septembre 2017 consid. 3.1). Le Tribunal fédéral n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe « in dubio pro reo », concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
1.2. Le recourant reproche à l'instance précédente d'avoir considéré à tort que les déclarations de l'intimé étaient crédibles et que sa version avait toujours été constante. En réalité, dans son recours, sous couvert d'arbitraire, le recourant discute l'interprétation des différents éléments de preuve retenus par la cour cantonale. En cela, il oppose sa propre appréciation de preuves à celle de la cour cantonale, sans pour autant démontrer l'arbitraire de celle-ci. Son argumentation est ainsi largement appellatoire et, en conséquence, irrecevable.
Il en va ainsi lorsqu'il reproche à l'instance précédente de ne pas avoir retenu le fait que l'intimé se serait contredit sur la nature exacte des faveurs sexuelles prétendument consenties. Il est vrai qu'au début de la procédure, le rôle actif ou passif des protagonistes lors des fellations n'était pas clair. Cependant, contrairement à ce que soutient le recourant, on ne voit pas en quoi la cour cantonale serait tombée dans l'arbitraire en replaçant les déclarations de l'intimé dans leur contexte, soit celui d'une personne d'origine et de culture irakiennes, respectivement de confession musulmane, dont la langue maternelle n'est pas le français. En effet, selon la cour cantonale, ces éléments expliquent la gêne considérable éprouvée par l'intimé lorsqu'il parle de sujets comme l'homosexualité et la fellation et rendent son imprécision de langage et sa confusion excusables. La cour cantonale relève d'ailleurs qu'en Irak, son pays d'origine, des personnes ont été attaquées violemment et même assassinées en 2012, en raison du fait qu'elles n'étaient pas hétérosexuelles.
Il en va du même lorsque le recourant soutient que l'intimé ne s'est jamais rendu chez lui, alors que celui-ci a non seulement été en mesure de retrouver le domicile du recourant, mais a également pu le décrire avec une certaine précision par un croquis, lequel précisait notamment que le salon se trouvait en bas d'un escalier et où se trouvaient les toilettes. Contrairement à ce que soutient le recourant, sa propre fille a confirmé qu'on ne pouvait pas voir grand chose depuis l'extérieur de la maison, en particulier ni où se trouvait le salon, ni où se trouvaient les toilettes.
1.3. C'est également en vain que le recourant soutient que l'intimé a porté plainte contre lui pour pouvoir rester en Suisse.
En effet, il ressort des faits constatés par l'instance précédente que ce n'est pas l'intimé qui a dénoncé les faits; ceux-ci ont en réalité été révélés fortuitement par C._, l'ancien bailleur de D._, l'ex-compagne de A._, dont le témoignage avait été sollicité par D._, dans le cadre d'une procédure pénale parallèle. Invité à se déterminer sur les faits, l'intimé, alors entendu comme témoin, a intégralement confirmé les faits dénoncés, à savoir qu'il faisait des faveurs sexuelles au recourant. En outre, ce n'est qu'à la suite de plusieurs courriers du Procureur général dans lesquels il demandait quelle suite A._ entendait donner à la procédure que celui-ci lui a indiqué, par courrier du 27 janvier 2012, qu'il ne souhaitait plus s'exprimer sur les faits qu'il avait subis, préférant tourner la page et oublier ces éléments. Ce n'est finalement que le 3 mai 2012, soit près de neuf mois après les faits et sur insistance de son conseil, lequel l'a informé qu'il serait de toute façon appelé à témoigner, qu'il a accepté de se porter partie plaignante. On relèvera également, à l'instar de l'autorité précédente, que l'intimé n'a jamais fait état des faits dénoncés à son référant au SPoMi, au cours des nombreux entretiens hebdomadaires.
1.4. Pour le surplus, le recourant ne discute pas les conditions d'application des infractions d'abus de détresse (<ref-law>) et de corruption passive (<ref-law>) ni la peine infligée (<ref-law>). La cause ne sera pas revue sous cet angle.
2.
Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). L'intimé, qui n'a pas été invité à se déterminer, ne saurait prétendre à des dépens.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 12 décembre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann