Faits :
A.
Par jugement du 29 septembre 2015, le Tribunal pénal économique du canton de Fribourg a reconnu X._ coupable d'escroquerie par métier, d'escroquerie, de violation de l'obligation de tenir une comptabilité, de faux dans les titres, de violation d'une obligation d'entretien, de dénonciation calomnieuse, d'inobservation par le débiteur des règles de la procédure de poursuite pour dettes et faillite, et de contravention à la loi sur l'assurance-vieillesse et survivants. Il l'a condamné à une peine privative de liberté de 54 mois et au paiement d'une amende de 200 francs.
Par courrier du 12 décembre 2016, l'avocat d'office de X._ a informé la Vice-Présidente de la Cour d'appel pénal du Tribunal cantonal fribourgeois (ci-après: la Vice-Présidente) qu'un avocat de choix de X._, avait accepté " à titre purement amical et bénévole " de l'assister dans la procédure en cours. Celui-ci avait, au début de la procédure, assuré la défense de X._.
Par courrier du 3 février 2017, la Vice-Présidente a indiqué à l'avocat d'office qu'il était seul autorisé à intervenir et plaider lors de la séance de la Cour d'appel pénal du 3 mai 2017. Par courrier du 15 mars 2017, l'avocat de choix de X._ a confirmé qu'il avait fait une partie importante du travail d'appel et que X._ tenait à l'avoir comme défenseur supplémentaire. Il a confirmé que son travail ne serait pas facturé et a demandé à la Vice-Présidente de bien vouloir rendre une décision formelle, indiquant les motifs pour lesquels X._ devrait être privé d'un défenseur supplémentaire de choix.
Par décision du 16 mars 2017 adressée à l'avocat d'office, la Vice-Présidente a confirmé la teneur de son courrier du 3 février 2017, tout en soulignant que rien ne s'opposait à la présence de l'avocat de choix à l'audience, mais que celui-ci n'était pas autorisé à intervenir " à quel que titre que ce soit " lors de l'audience. La décision précisait qu'elle pouvait faire l'objet d'un recours en matière pénale au Tribunal fédéral dans les trente jours dès la notification de l'arrêt rédigé.
B.
Par arrêt du 5 mai 2017, la Cour d'appel pénal du Tribunal cantonal fribourgeois a partiellement admis l'appel formé par X._ contre le jugement du Tribunal pénal économique. Il l'a condamné à une peine privative de liberté de 48 mois ferme et au paiement d'une amende de 200 francs.
Il en ressort les faits suivants.
B.a. X._ a été l'administrateur unique de la société A._ SA, dont la faillite a été prononcée le 14 octobre 2009 et suspendue faute d'actifs le 3 décembre 2009. Le 16 mai 2008, la société A._ SA, en qualité d'entrepreneur général, et la société B._ SA, en tant que maître d'ouvrage, ont conclu trois contrats d'entreprise générale portant sur la construction de dix villas préfabriquées qui devaient être livrées par un fournisseur tchèque. Le 21 mai 2008, B._ SA a versé les acomptes convenus, soit un total de 1'500'000 francs. En automne 2008, les représentants de B._ SA se sont inquiétés de l'état du chantier et ont pris renseignements auprès de la banque et du fournisseur tchèque. Par courrier du 23 décembre 2008, le maître de l'ouvrage a mis un terme à la relation contractuelle avec effet immédiat.
Le 10 juillet 2008, C._, directeur de B._ SA, représentant ses trois enfants, a prêté un montant de 130'000 fr. à X._ et A._ SA. Le prêt était concédé pour une durée expirant le 31 juillet 2008 et garanti par une cédule hypothécaire de 400'000 francs. Le 3 octobre 2008 pour C._, et le 15 novembre 2008 pour D._ SA, ont prêté respectivement 20'000 fr. et 50'000 fr. à X._. Aucun de ces prêts n'a été remboursé.
Le 20 août 2010, B._ SA, ainsi que deux sociétés du même groupe, ont déposé une dénonciation pénale à l'encontre de X._ pour escroquerie, faux dans les titres et abus de confiance. Elles l'accusaient d'avoir détourné à d'autres fins le montant de 1'255'877 fr. 30 sur les acomptes versés et d'avoir abusé de leur confiance pour obtenir des prêts d'un montant total de 200'000 francs.
Par courrier électronique du 3 octobre 2011 et courrier postal du 14 novembre 2011, X._ a déposé une détermination et plainte pénale contre ses partenaires contractuels et leurs représentants E._, C._ et F._, pour extorsion et dénonciation calomnieuse.
B.b. X._ a été l'administrateur unique de la société G._ SA, dont la faillite a été prononcée le 22 juin 2011 et suspendue faute d'actifs le 9 janvier 2012. Il a également été l'associé gérant de la société H._ Sàrl, dont la faillite a été prononcée le 15 octobre 2013 et suspendue faute d'actifs le 7 octobre 2014. I._ a été employé par H._ Sàrl du 1er novembre 2010 au 31 janvier 2011.
En décembre 2010, la société G._ SA et I._ ont conclu un contrat de réservation ayant pour objet une villa. I._ a versé un montant de 30'000 fr. en exécution de ce contrat. En janvier 2011, après que son contrat de travail a été résilié, I._ a renoncé à l'achat de la villa et réclamé la restitution du montant versé. X._ n'ayant pas procédé au remboursement de ce montant, I._ a, le 15 mai 2012, déposé une plainte pénale pour escroquerie, abus de confiance, gestion déloyale, banqueroute frauduleuse, gestion fautive et violation de l'obligation de tenir une comptabilité.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt cantonal du 5 mai 2017. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision.

Considérant en droit :
1.
Invoquant une violation des <ref-law>, 6 par. 3 let. c CEDH, 14 al. 3 let. d Pacte ONU II, 29 et 32 al. 2 Cst., le recourant soutient que la décision de la Vice-Présidente refusant à son avocat de choix toute intervention pendant l'audience devant la Cour d'appel, au motif qu'il était au bénéfice d'un défenseur d'office, viole les droits de la défense.
1.1. Le recours est dirigé contre l'arrêt rendu le 5 mai 2017 par le Tribunal cantonal fribourgeois. En tant qu'elle statue sur le refus d'autoriser un second défenseur, la décision de la Vice-Présidente du 16 mars 2017 constitue une décision incidente qui influe sur le contenu de la décision finale. Elle peut être attaquée par le même recours, conformément à l'<ref-law> (cf. YVES DONZALLAZ, Commentaire de la loi sur le Tribunal fédéral, 2008, Art. 92-93 N 3367, selon lequel le refus d'autoriser un second défenseur ne constitue pas une décision qui cause un préjudice irréparable au sens de l'<ref-law>). La décision du 16 mars 2017 indiquait d'ailleurs qu'elle pouvait faire l'objet d'un recours en matière pénale au Tribunal fédéral dans les trente jours dès la notification de l'arrêt rédigé.
1.2. Selon la jurisprudence, un prévenu se trouvant dans une situation de défense obligatoire doit se voir nommer un avocat d'office et pouvoir bénéficier, cas échéant, de l'assistance judiciaire (arrêt 1B_46/2013 du 12 mars 2013 consid. 2.1). Si l'autorité a désigné un défenseur d'office, le prévenu peut néanmoins opter à tout moment de la procédure pour une défense privée, qu'il devra alors rémunérer lui-même (cf. arrêts 1B_394/2014 du 27 janvier 2015 consid. 2.2.2; 6B_500/2012 du 4 avril 2013 consid. 4.2 et 1B_291/2012 du 28 juin 2012 consid. 2.3.2). Dans ce cas, le motif à l'origine de la défense d'office disparaît et la direction de la procédure révoque le mandat du défenseur désigné (<ref-law>).
Le prévenu n'a en revanche aucun droit constitutionnel à se voir désigner un second avocat d'office rémunéré par l'assistance judiciaire, sauf cas exceptionnel (arrêt 1B_46/2013 du 12 mars 2013 consid. 2.1). La désignation d'un second avocat d'office n'est cependant pas exclue lorsque cette mesure est nécessaire pour assurer au prévenu une défense adéquate de ses intérêts tout au long de la procédure, compte tenu de la durée possible de celle-ci, de l'objet du procès, de la complexité des questions de fait et de droit en jeu et de la personnalité du prévenu (arrêt 1B_46/2013 du 12 mars 2013 consid. 2.1 et les références citées).
1.3. L'<ref-law> prévoit qu'" une partie peut se faire assister de plusieurs conseils juridiques pour autant que la procédure n'en soit pas retardée de manière indue. En pareil cas, elle désigne parmi eux un représentant principal qui est habilité à accomplir les actes de représentation devant les autorités pénales et dont l'adresse est désignée comme unique domicile de notification ". Le Message du Conseil fédéral spécifie que, dans les affaires complexes, les parties peuvent avoir un intérêt légitime à disposer de plusieurs avocats, étant chacun spécialisé dans une matière déterminée (arrêt 6B_875/2013 du 7 avril 2014 consid. 4.2; cf. Message du 21 décembre 2005 relatif à l'unification du droit de la procédure, FF 2005 1057, p. 1155; ci-après: Message CPP). Le CPP n'exclut pas en soi la participation de plusieurs défenseurs. Autre est néanmoins la question de savoir si le prévenu acquitté peut requérir une indemnisation pour ses frais de défense qui couvre l'intervention de ses différents défenseurs. L'indemnité couvre en particulier les honoraires d'avocat, à condition que le recours à celui-ci procède d'un exercice raisonnable des droits de procédure (cf. <ref-law>; arrêt 6B_875/2013 du 7 avril 2014 consid. 4.3).
1.4. Selon la jurisprudence, la défense simultanée par un avocat d'office et un avocat de choix n'est pas exclue. Deux cas ont été envisagés par la jurisprudence. Il peut par exemple être nécessaire de nommer un avocat d'office pour un prévenu qui est déjà défendu par un avocat de choix, lorsque le prévenu essaie de retarder la procédure par la désignation et la révocation d'avocats. La défense simultanée par un avocat d'office et un avocat de choix est également envisageable par exemple lorsqu'il est douteux que le financement et la permanence de l'avocat de choix soient garantis jusqu'à la fin de la procédure de première instance, surtout lorsque la défense d'office a été ordonnée à cause du manque de moyens nécessaires du prévenu (<ref-law>; arrêt 1B_291/2012 du 28 juin 2012 consid. 2.3.2).
En l'occurrence, il ne s'agit pas d'un cas où se pose la question de l'indemnisation du deuxième avocat, dans la mesure où celui-ci ne réclamait pas de rémunération, déclarant qu'il agissait à titre purement amical et bénévole. On ne se trouve pas non plus en présence d'un cas dans lequel l'autorité cantonale pouvait révoquer le mandat d'office, étant donné que l'avocat de choix n'entendait pas défendre le prévenu seul, mais seulement l'assister comme défenseur supplémentaire à son avocat d'office. Cela étant, au vu de la jurisprudence et des dispositions du CPP, rien n'interdit la configuration d'espèce, certes singulière, soit celle d'un avocat d'office et d'un avocat de choix qui intervient à titre gratuit pour assister le défenseur d'office en partie.
1.5. En l'espèce, si l'instance précédente craignait que le fait que le recourant soit assisté de deux conseils juridiques " retarde de manière indue " la procédure, elle aurait pu - comme le prévoit l'<ref-law> - inviter celui-ci à " désigner parmi eux un représentant principal qui [était] habilité à accomplir les actes de représentation devant les autorités pénales et dont l'adresse [était] désignée comme unique domicile de notification ". Or, elle ne l'a pas fait. En réalité, la décision de la cour cantonale n'était pas fondée sur le fait que l'intervention de l'avocat de choix, en plus de celle de l'avocat d'office, " retarde[rait] de manière indue la procédure ". Sa motivation s'est limitée au simple fait que le recourant bénéficiait déjà d'un défenseur d'office. Or ni l'<ref-law>, ni aucune autre base légale ne permettait à la cour cantonale d'autoriser la présence de l'avocat de choix du recourant à l'audience devant la Cour d'appel, tout en lui interdisant d'intervenir et de plaider. En agissant comme elle l'a fait, soit en déterminant qui pouvait ou non s'exprimer devant elle, l'autorité précédente a interféré de manière inadmissible dans le choix de la conduite de la défense, lequel appartient, pour l'essentiel, au prévenu et à son avocat (arrêt 1B_187/2013 du 4 juillet 2013 consid. 2.4; cf. <ref-ruling> consid. 3d p. 199). La décision de la Vice-Présidente du 16 mars 2017 a de fait privé le recourant de l'assistance d'un avocat de choix et a violé l'<ref-law> et les droits de la défense du recourant.
1.6. L'arrêt attaqué devant être annulé pour ce motif d'ordre formel indépendamment des chances de succès du recours sur le fond, il n'est pas nécessaire d'examiner les autres griefs du recourant (cf. arrêts 6B_1340/2016 du 29 décembre 2017 consid. 2.3 et 2C_594/2014 du 15 janvier 2015 consid. 5.2; cf. <ref-ruling> consid. 2.2 p. 197).
2.
Il résulte de ce qui précède que le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité cantonale pour nouvelle décision. Au regard de la nature procédurale du vice examiné et dans la mesure où le Tribunal fédéral n'a pas traité la cause sur le fond, ne préjugeant ainsi pas de l'issue de la cause, il peut être procédé au renvoi sans ordonner préalablement un échange d'écritures (cf. <ref-ruling> consid. 3.4.2 p. 296; arrêt 6B_1024/2016 du 17 novembre 2017 consid. 3).
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à une indemnité de dépens à la charge du canton de Fribourg (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Fribourg versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Cour d'appel pénal.
Lausanne, le 27 février 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann