Faits :
A.
A.a. Le 13 avril 2012, A._, B._ et C._, D._, E._, F._, G._ ainsi que H._, auxquels I._ s'est joint à l'audience du 4 juin 2013 (ci-après: les investisseurs), ont déposé plainte pénale à l'encontre de X._. Celui-ci, qu'ils connaissaient auparavant du fait de son activité d'agent d'assurances, les avait convaincus de s'unir en vue de réaliser deux projets immobiliers, l'un à J._ et l'autre à K._, en France. Le projet immobilier à J._ consistait en l'achat d'un terrain et en la rénovation et transformation de l'immeuble qui s'y dressait en huit appartements. Trois sociétés françaises avaient été créées, ainsi qu'une société suisse. Tous les investisseurs avaient versé de l'argent à X._, soit directement sur le compte de L._ SA, dont X._ était l'unique administrateur, certains souscrivant à cette fin des prêts de consommation ou disposant d'avoirs de 2ème pilier retirés en capital. La plupart d'entre eux avaient contracté des prêts hypothécaires auprès de M._ SA.
A.b. Selon le rapport d'expertise du 12 novembre 2014, le total des apports effectués par les parties plaignantes était de 1'472'000 EUR et 655'194 fr., versés en liquide, par transferts bancaires, ainsi que par l'intermédiaire des prêts octroyés par le M._ SA.
A.c. X._ et sa fille ont procédé à de nombreux retraits en liquide et à des transferts d'argent depuis le compte d'une des sociétés en faveur de comptes personnels ou d'autres comptes qui n'étaient pas liés aux travaux de J._, ni à ceux de K._.
Selon l'acte d'accusation, entre les mois d'octobre 2007 et mai 2011, 210'000 EUR et 655'194 fr. ont été transférés par les investisseurs, soit directement à X._, soit sur le compte de sa société L._ SA. De ces montants, 542'494 fr. ont été retirés en liquide ou transférés vers des comptes liés à X._. En outre, sur les emprunts hypothécaires souscrits par certains investisseurs, 750'000 EUR ont été transférés au notaire chargé de l'acquisition du terrain, alors que 512'000 EUR ont été virés sur le compte de N._ et vers d'autres sociétés liées à X._, dont O._, société qui a été fondée notamment par celui-ci.
La société P._, dont les statuts ont été adoptés par les investisseurs en 2009, a acquis le terrain à J._ pour 760'906 EUR et le permis de construire a été délivré. X._ a utilisé 462'000 EUR et 548'000 fr. pour des retraits en liquide, ainsi que 405'000 EUR et 709'000 fr. pour des paiements étrangers au projet immobilier de J._, notamment 21'000 EUR et 41'000 fr. de dépenses privées.
En particulier, sur le montant de 511'450 EUR, débloqué par M._ SA et 10'000 EUR provenant du notaire, versés entre fin décembre 2009 et fin mars 2010, seule une somme d'environ 120'000 EUR a été consacrée à des travaux liés au programme immobilier de J._. Une partie des fonds a été utilisée au paiement des charges courantes de O._, des frais de chevaux de la fille de X._ et les leasings des trois véhicules privés de la famille de celui-ci. X._ a aussi procédé à des retraits d'espèces et à des virements en faveur de ses comptes privés pour un montant de 170'300 EUR. Par courriers du 30 juillet 2011, M._ SA a dénoncé tous les crédits hypothécaires avec effet au 30 septembre suivant, au motif qu'une partie importante des fonds débloqués par la banque n'avait pas été employée conformément à la destination convenue, les travaux n'ayant pas été effectués, ce qui avait été constaté lors d'un contrôle. Les emprunteurs devaient dès lors rembourser les crédits.
A.d. Le projet de K._ a été envisagé afin de pallier le défaut de financement de celui de J._. Sur le montant de 345'000 fr., versé par les investisseurs d'octobre 2009 à mai 2011, 40'000 EUR et 20'750 EUR ont effectivement été consacrés au projet de K._. X._ a procédé à des retraits d'espèces et des virements sur ses comptes privés pour plus de 200'000 francs. Ce projet n'a jamais abouti.
B.
Par jugement du 15 mars 2016, le Tribunal correctionnel de la République et canton de Genève a reconnu X._ coupable d'abus de confiance et de gestion déloyale aggravée et l'a acquitté de ces mêmes chefs d'accusation s'agissant des prêts octroyés par Q._ le 22 juin 2007, B._ le 1er octobre 2007, A._ le 1er octobre 2007, et F._ les 14 janvier 2008 et 29 janvier 2008. Il l'a condamné à une peine privative de liberté de trois ans, avec sursis partiel durant cinq ans assorti, au titre de règle de conduite, de l'interdiction d'exercer toute activité professionnelle ou personnelle en lien avec des transactions immobilières.
C.
Par arrêt du 16 janvier 2017, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a partiellement admis le recours formé par X._. Elle l'a acquitté de toute infraction en lien avec les faits dénoncés par Q._ ou les prêts octroyés par B._ le 1er octobre 2007, A._ les 1er octobre 2007, 13 mai 2008, 9 mars 2009, ainsi que par F._ les 14 janvier 2008, 29 janvier 2008, 14-17 novembre 2008, 26 octobre 2009 et 7 décembre 2009. Elle l'a condamné pour abus de confiance à une peine privative de liberté de 30 mois avec sursis partiel durant cinq ans assorti, au titre de règle de conduite, de l'interdiction d'exercer toute activité professionnelle ou personnelle en lien avec des transactions immobilières.
D.
X._ forme un recours en matière pénale contre l'arrêt du 16 janvier 2017 et conclut, principalement, à sa réforme en ce sens qu'il est libéré du chef d'accusation d'abus de confiance, et que, par voie de conséquence, les conclusions civiles sont rejetées et les frais laissés à la charge de l'Etat. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité précédente pour nouvelle décision. X._ sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
1.1.
Le recourant se plaint d'une constatation manifestement inexacte des faits. Il soutient que le rapport d'expertise du 12 novembre 2014 est incomplet.
1.2. Savoir si une expertise est convaincante est une question d'interprétation des preuves, que le Tribunal fédéral ne revoit que sous l'angle de l'arbitraire. Lorsque l'autorité cantonale juge l'expertise concluante et en fait sien le résultat, le Tribunal fédéral n'admet le grief d'appréciation arbitraire que si l'expert n'a pas répondu aux questions posées, si ses conclusions sont contradictoires ou si, d'une quelconque autre façon, l'expertise est entachée de défauts à ce point évidents et reconnaissables, même sans connaissances spécifiques, que le juge ne pouvait tout simplement pas les ignorer (<ref-ruling> consid. 6.1 p. 373). Il n'appartient pas au Tribunal fédéral de vérifier si toutes les affirmations de l'expert sont exemptes d'arbitraire. Sa tâche se limite bien plutôt à examiner si l'autorité intimée pouvait, sans arbitraire, se rallier au résultat de l'expertise (<ref-ruling> consid. p. 359; <ref-ruling> consid. 4.2.3 p. 391; arrêt 6B_607/2017 du 30 novembre 2017 consid. 2.1).
1.3. Selon le rapport d'expertise du 12 novembre 2014, sur le total des apports effectués par les parties plaignantes, 750'000 EUR ont été versés au notaire pour l'acquisition du terrain de J._ et 92'000 EUR ont été affectés à des paiements relatifs à ce projet. Le recourant a retiré ou fait retirer 480'000 EUR et 550'000 francs.
En première instance, le tribunal avait rejeté la réquisition du recourant de mettre en oeuvre une nouvelle expertise. Il avait retenu que l'expertise déjà établie répondait à la mission confiée, était claire et complète. En outre, toutes les pièces bancaires et factures avaient été versées au dossier, de sorte qu'il était possible de s'y référer au besoin. Selon la cour cantonale, les éléments du dossier, notamment l'expertise, mais également les pièces bancaires et comptables, établissent clairement que, sur la somme de 511'450 EUR débloquée par M._ SA et 10'000 EUR provenant du notaire entre fin décembre 2009 et fin mars 2010, seule une somme d'environ 120'000 EUR a, au plus, été consacrée aux travaux liés au programme immobilier de J._, le solde étant affecté au paiement de charges courantes du recourant et à des dépenses privées ou celles de la famille du recourant, leur assurant leur train de vie pour le moins confortable. Sur le montant de 345'000 fr. versé par les investisseurs d'octobre 2009 à mai 2011, seuls 40'000 EUR et 20'750 EUR ont effectivement été consacrés au projet de K._, le reste étant affecté, à la couverture de certaines charges des sociétés suisses du recourant, et, en bonne partie, à des dépenses privées ou non justifiées.
1.4. Le recourant soutient que l'expert ne fournit aucune analyse quant à l'utilisation des fonds qui lui ont été remis par les parties plaignantes, en particulier sur le point de savoir si l'argent lui a profité directement ou indirectement. Le rapport d'expertise constate que les apports des parties plaignantes ont grandement été utilisés par le recourant à travers des retraits en liquide. Il relève également que seule une fraction des paiements était liée au projet de construction de J._. C'est en vain que le recourant soutient que la cour cantonale a fait preuve d'arbitraire en suivant les conclusions de l'expertise selon lesquelles les fonds apportés incluaient des dépenses d'ordre privé. Il ressort en effet de l'expertise qu'il est impossible de définir la nature de tous les paiements et virements retirés par le recourant, mais qu'en tout cas, des paiements ont été identifiés en faveur des Ecuries R._, totalisant plus de 19'000 EUR et 7'000 fr., et d'autres en faveur de S._, s'élevant à plus de 2'000 EUR et 34'000 francs. Le recourant se contente de dire que l'examen des seules pièces bancaires et comptables n'aurait pas permis de déterminer quel usage il en a fait. Il y a également lieu de relever - à l'instar de la cour cantonale - que, si le recourant considérait que l'expertise était incomplète, il n'a pourtant pas réitéré devant la cour cantonale sa réquisition tendant à l'établissement d'une expertise complémentaire. Son grief doit dès lors être rejeté dans la mesure où il recevable.
1.5. Le recourant soutient que la cour cantonale a fait preuve d'arbitraire dans l'établissement des faits en retenant qu'une affectation précise des fonds avait été convenue entre les parties. Il soutient que F._ a déclaré investir dans " une société immobilière " en contrepartie d'un appartement. Le recourant explique ensuite que H._ avait, quant à lui, emprunté de l'argent " car il fallait redémarrer le projet J._ ". Or, lui aussi, était censé retirer de l'investissement un appartement pour lui seul et un en copropriété avec T._. Comme le relève le recourant, C._ avait également participé à l'opération en acquérant un appartement. Or, contrairement à ce que semble soutenir le recourant, le fait d'investir dans le but d'acquérir un appartement permet de retenir sans arbitraire qu'une affectation précise était convenue avec ces investisseurs. Quant à E._, le recourant souligne que celle-ci a effectivement souscrit un crédit à consommation, après avoir été approchée par le recourant, lequel lui avait indiqué avoir besoin d'argent pour sa société. Or, cette société était censée lui remettre une reconnaissance de dette, qu'elle n'a cependant jamais reçue.
Le recourant souligne d'ailleurs à juste titre que les parties plaignantes ont octroyé des fonds au recourant en vue de la réalisation d'un projet immobilier. Il soutient cependant que tout projet immobilier comporte plusieurs phases et pas seulement la phase de construction, mais également des frais administratifs, sans toutefois préciser de quels frais administratifs, relatifs aux travaux, il s'agit, leurs montants et, plus généralement, à quoi a servi une grande partie de l'argent versé par les parties plaignantes.
C'est également en vain que le recourant soutient que le fait que, certaines parties plaignantes n'ont pas protesté en prenant connaissance entre mars et l'été 2011 des tableaux des dépenses exposés par le recourant, signifie que, par leur absence de réaction, elles " ont consenti en toute connaissance à l'emploi des fonds tel qu'exposé par [celui-ci]. " Comme le relève la cour cantonale, d'une part, on ignore ce que les intéressés, pour la plupart totalement ignorant en affaires, ont compris de la situation. D'autre part, ils ont été mis devant le fait accompli et les tableaux leur ont été présentés comme étant nécessaires pour éviter l'échec de toute l'opération.
Le grief d'arbitraire dans les faits est rejeté dans la mesure où il est recevable.
2.
Le recourant se plaint d'une violation de l'art. 138 ch. 1 al. 2 CP. Il soutient que les fonds investis ne peuvent être qualifiés de valeurs patrimoniales confiées au sens de cette disposition.
2.1. Commet un abus de confiance au sens de l'art. 138 ch. 1 al. 2 CP, celui qui, sans droit, aura employé à son profit ou au profit d'un tiers des valeurs patrimoniales qui lui avaient été confiées. Sur le plan objectif, l'infraction suppose qu'une valeur ait été confiée, autrement dit que l'auteur ait acquis la possibilité d'en disposer, mais que, conformément à un accord (exprès ou tacite) ou un autre rapport juridique, il ne puisse en faire qu'un usage déterminé, en d'autres termes, qu'il l'ait reçue à charge pour lui d'en disposer au gré d'un tiers, notamment de la conserver, de la gérer ou de la remettre (<ref-ruling> consid. 6.2 p. 27). Le comportement délictueux consiste à utiliser la valeur patrimoniale contrairement aux instructions reçues, en s'écartant de la destination fixée (<ref-ruling> consid. 2.2.1 p. 259; arrêt 6B_20/2017 du 6 septembre 2017 consid. 5.2).
Du point de vue subjectif, l'auteur doit avoir agi intentionnellement et dans un dessein d'enrichissement illégitime. Celui qui dispose à son profit ou au profit d'un tiers d'un bien qui lui a été confié et qu'il s'est engagé à tenir en tout temps à disposition de l'ayant droit s'enrichit illégitimement s'il n'a pas la volonté et la capacité de le restituer immédiatement en tout temps. Celui qui ne s'est engagé à tenir le bien confié à disposition de l'ayant droit qu'à un moment déterminé ou à l'échéance d'un délai déterminé s'enrichit illégitimement que s'il n'a pas la volonté et la capacité de le restituer à ce moment précis (<ref-ruling> consid. 3a p. 29). Le dessein d'enrichissement illégitime fait en revanche défaut si, au moment de l'emploi illicite de la valeur patrimoniale, l'auteur en paie la contre-valeur (cf. <ref-ruling> consid. 2a p. 167), s'il avait à tout moment ou, le cas échéant, à la date convenue à cet effet, la volonté et la possibilité de la faire ("Ersatzbereitschaft"; <ref-ruling> consid. 1a p. 34) ou encore s'il était en droit de compenser (<ref-ruling> consid. 3a p. 34). Le dessein d'enrichissement peut être réalisé par dol éventuel; tel est le cas lorsque l'auteur envisage l'enrichissement comme possible et agit néanmoins, même s'il ne le souhaite pas, parce qu'il s'en accommode pour le cas où il se produirait (<ref-ruling> consid. 6.1.2 p. 27; arrêt 6B_1022/2014 du 9 juillet 2015 consid. 1.2).
En cas de prêt, il y a emploi illicite de l'argent confié si le prêt a été consenti dans un but déterminé, correspondant aussi à l'intérêt du prêteur, et que l'auteur en fait une autre utilisation, dès lors qu'on peut déduire de l'accord contractuel un devoir de l'emprunteur de conserver constamment la contre-valeur de ce qu'il a reçu. Il faut cependant que la destination convenue des fonds puisse assurer la couverture du risque du prêteur ou, du moins, diminuer son risque de perte ("Werterhaltungspflicht"; <ref-ruling> consid. 2.2.2 p. 259 s.; <ref-ruling> consid. 1 p. 10 ss; <ref-ruling> consid. 2 p. 118 ss; arrêt 6B_1043/2013 du 4 juillet 2014 consid. 3.2).
2.2. En l'espèce, le recourant soutient que les investisseurs n'ont pas investi leurs fonds en lui imposant une destination clairement définie. Contrairement au tribunal de première instance, la cour cantonale a estimé que, pour les fonds versés par certains investisseurs sur la base de contrats de prêts " destinés aux activités professionnelles " du recourant, il ne pouvait être établi qu'une affectation exclusive des prêts avait été convenue, de sorte que le recourant devait être acquitté du chef d'abus de confiance pour ces prêts-là. Force est cependant de constater - à l'instar de la cour cantonale - que les fonds obtenus par le truchement de prêts hypothécaires étaient exclusivement destinés aux deux programmes immobiliers et non, plus généralement, aux activités professionnelles du recourant, comme le prétend celui-ci. Il ressort en effet des faits du jugement entrepris, dont l'arbitraire n'a pas été établi et qui lient le Tribunal fédéral que, pour les fonds provenant de M._ SA, non seulement le versement a été effectué en mains d'un notaire en vue de la conclusion du contrat de vente, mais cet établissement avait lié le moment et le montant de ses paiements à l'avancement des travaux.
2.3. Il s'ensuit que la cour cantonale n'a pas violé le droit fédéral en qualifiant les fonds versés de valeurs patrimoniales confiées. Le grief du recourant est rejeté.
3.
Au vu de ce qui précède, le recours doit être rejeté, dans la mesure où il est recevable. Les conclusions du recourant étant dénuées de chances de succès, la demande d'assistance judiciaire est rejetée (art. 64 al. 1 LTF). Le recourant supporte des frais réduits fixés en tenant compte de sa situation économique (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 23 janvier 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann