Faits :
A.
Par jugement du 13 avril 2016, le Tribunal correctionnel de Genève a reconnu X._ coupable de lésions corporelles simples (<ref-law>), vols (<ref-law>), brigandages (art. 140 ch. 1 et 2 CP), dommages à la propriété (<ref-law>), escroqueries (<ref-law>), tentative d'escroquerie (art. 22 al. 1 cum 146 al. 1 CP), recel d'importance mineure (art. 172ter cum 160 ch. 1 CP), injures (<ref-law>), violations de domicile (<ref-law>), viols (<ref-law>), faux dans les certificats (<ref-law>), violences ou menaces contre les autorités et les fonctionnaires (<ref-law>), infractions à l'art. 19a de la loi fédérale sur les stupéfiants et les substances psychotropes du 3 octobre 1951 (LStup; RS 812.121), ainsi qu'aux art. 90 ch. 2, 91 al. 1 [recte 2] let. b, 91a al. 1, 92 ch. 2 et 96 ch. 2 (dans leur version en vigueur au 1er janvier 2011), 95 al. 1 let. b (dans sa version en vigueur au 1er janvier 2012) de la loi fédérale du 19 décembre 1958 sur la circulation routière (LCR; RS 741.01). Il l'a notamment condamné à une peine privative de liberté d'ensemble de quatre ans et six mois, à une peine pécuniaire de 40 jours-amende à 30 fr. le jour et à une amende de 300 francs. Il a suspendu l'exécution de la peine privative de liberté au profit d'une mesure thérapeutique institutionnelle, sous forme d'un placement dans un établissement pour jeunes adultes impliquant un suivi psychothérapeutique et des mesures socio-thérapeutiques (<ref-law>).
B.
B.a. Par arrêt du 25 novembre 2016, la Chambre d'appel et de révision de la Cour de justice de la République et canton de Genève a rejeté l'appel formé par X._.
En relation avec les infractions contestées par le recourant, il en ressort les faits suivants.
B.b. Le 25 août 2010, B._ a déposé plainte pénale à l'encontre de X._, l'accusant de l'avoir agressée sexuellement. Le 14 février 2010, elle était venue en train à Genève, où elle avait été accueillie par deux amis, dont X._, en compagnie desquels elle s'était rendue chez C._. Ils avaient bu de l'alcool pendant la soirée. Plus tard dans la soirée, vers 23h30, C._ était allé se coucher dans sa chambre tandis que deux autres amis avaient pris place sur le canapé-lit. B._ s'était installée, dans cette même pièce, sur le canapé. X._ l'a rejointe. Alors qu'elle était habillée, X._ s'est retourné vers elle, a enroulé son bras autour de sa taille, puis a commencé à lui caresser l'intérieur de la cuisse droite, par-dessus les vêtements. Elle lui a immédiatement demandé de la lâcher et de cesser, lui expliquant qu'elle ne voulait pas qu'il la touche, tout en lui rappelant qu'il avait une copine. Après avoir rétorqué que ce n'était pas grave et que personne ne le saurait, il s'est mise sur elle, de sorte qu'elle s'est retrouvée couchée sur le dos. Il a ensuite fait des mouvements avec ses jambes pour écarter celles de B._, tout en essayant de l'embrasser. Elle avait tourné la tête et tenté tant bien que mal de le repousser en lui disant qu'elle ne voulait rien faire avec lui. Soudain, il s'était rendu à la salle de bains, ce qui avait soulagé l'intéressée, mais il était revenu cinq minutes plus tard, vêtu uniquement de son caleçon et, avec force, s'était directement mis sur elle. Il était parvenu à retirer son leggings. Elle avait eu vraiment peur et avait dit " non " à plusieurs reprises. Alors qu'elle le suppliait de se calmer et de la lâcher, il avait placé ses jambes sur ses épaules. Elle avait finalement renoncé à se débattre, étant dans l'impossibilité de se bouger du fait que le recourant était appuyé sur l'arrière de ses cuisses. Il l'avait pénétré vaginalement avec son sexe, sans préservatif et en éjaculant en elle. Puis, il s'était rhabillé comme si rien ne s'était passé.
Le 23 mai 2011, B._ a retiré sa plainte pénale, au motif qu'elle voulait pouvoir " tourner la page ". Elle a confirmé ses déclarations, ajoutant qu'elle avait peur qu'il ne la frappe. Elle n'avait pas osé crier plus fort parce que l'intéressé lui faisait peur et lui disait de se taire ou de faire moins de bruit.
B.c. Le 19 mars 2010, le Service de protection des mineur-e-s (ci-après: SPMi) a dénoncé au Procureur général l'agression dont avait été victime A._, qui faisait l'objet d'une curatelle de représentation. Le 16 mars 2010, elle s'était présentée auprès de son assistante sociale et lui avait décrit que, le 11 mars 2010, elle avait été contrainte par X._ d'entretenir des rapports sexuels avec lui. Elle s'était effondrée en larmes et avait ensuite souhaité demeurer en sécurité dans les locaux du SPMi.
Le 11 mars 2010, X._ était venu chez elle avec de l'alcool qu'ils avaient consommé par la suite. Ils s'étaient embrassés. Alors qu'il était à genou, il avait voulu qu'elle lui prodigue une fellation. Elle avait réussi à s'y opposer. Soudainement il s'était " enflammé ". Elle lui avait dit " non " et l'avait supplié d'arrêter, tout en essayant d'être gentille avec lui pour éviter qu'il ne s'énerve et devienne violent du fait qu'il était alcoolisé. Alors qu'elle était couchée sur le dos, il était parvenu à lui enlever son pantalon. Elle avait tenté de se dégager mais X._ l'avait bloquée sur le lit avec son torse et ses bras. Il l'avait ensuite pénétrée, tandis qu'elle lui demandait d'arrêter.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre la décision cantonale et conclut, avec suite de frais et dépens, à ce que le Tribunal fédéral annule l'arrêt du 25 novembre 2016, constate l'appréciation arbitraire des faits et renvoie la cause à l'instance précédente pour nouvelle décision.
Il sollicite par ailleurs le bénéfice de l'assistance judiciaire pour la procédure fédérale ainsi que la nomination de son conseil en qualité d'avocat d'office.

Considérant en droit :
1.
Le recours en matière pénale est une voie de réforme (<ref-law>). Le recourant ne peut se borner à demander l'annulation de la décision et le renvoi de la cause à l'autorité cantonale, mais doit également, sous peine d'irrecevabilité, prendre des conclusions sur le fond du litige. Il n'est fait exception à ce principe que lorsque le Tribunal fédéral, s'il admettait le recours, ne serait pas en mesure de statuer lui-même sur le fond et ne pourrait que renvoyer la cause à l'autorité cantonale (<ref-ruling> consid. 1.3 p. 317 et les références citées; arrêt 6B_956/2016 du 19 juillet 2017 consid. 1).
En l'occurrence, le recourant n'a pas pris de conclusions sur le fond, mais a uniquement sollicité l'annulation du jugement attaqué et le renvoi de la cause à l'autorité précédente. Les motifs du recours permettent cependant de comprendre que le recourant souhaite être libéré des chefs d'accusation de viols. Cela suffit pour satisfaire aux exigences de forme déduites de l'art. 42 al. 1 et 2 LTF (cf. <ref-ruling> consid. 1.3 p. 317; arrêt 6B_956/2016 du 19 juillet 2017 consid. 1).
2.
Le recourant se plaint d'arbitraire dans l'appréciation des faits (art. 9 Cst.) en lien avec des faits qui se sont déroulés le 14 février 2010. Il en déduit que ces constatations arbitraires ont conduit l'instance précédente à retenir à tort le viol.
2.1. Les constatations de fait de la décision entreprise lient le Tribunal fédéral (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire (art. 9 Cst.; sur cette notion, cf. <ref-ruling> consid. 2.1 p. 18 s. et 138 III 378 consid. 6.1 p. 379) dans la constatation des faits. La recevabilité de tels griefs, ainsi que de ceux déduits du droit constitutionnel et conventionnel, suppose l'articulation de critiques circonstanciées (<ref-ruling> consid. 3 p. 105), claires et précises, répondant aux exigences de motivation accrues déduites de l'<ref-law> (cf. <ref-ruling> consid. 1.3.1 p. 253). Les critiques appellatoires sont, en particulier, irrecevables (<ref-ruling> consid. 2.4 p. 368).
La présomption d'innocence, garantie par les <ref-law>, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe « in dubio pro reo », concernent tant le fardeau de la preuve que l'appréciation des preuves (<ref-ruling> consid. 2a p. 40 s.). Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
2.2. De manière générale, l'instance précédente a considéré que B._ avait livré globalement un récit détaillé, constant et cohérent de l'épisode pour lequel le recourant était poursuivi. Elle a estimé que les déclarations de l'intéressée jouissaient d'une bonne crédibilité intrinsèque. Elle n'avait aucun bénéfice secondaire à espérer tirer de fausses accusations, mais que des inconvénients tels que les multiples auditions à Genève et le risque de poursuite judiciaire.
2.3. Le recourant soutient que c'est à tort que l'instance précédente a considéré que B._ n'était pas consentante au moment des faits. Selon lui, tant le comportement de B._ que les déclarations des témoins et les siennes démontrent que l'intéressée était consentante au moment des faits. Il relève en particulier que l'intéressée n'a pas réagi au moment où le recourant l'avait déshabillée.
La cour cantonale a retenu que B._ s'était constamment et de manière catégorique opposée à un rapport sexuel avec le recourant.
Deux témoins présents dans la même pièce avaient de manière concordante déclaré avoir entendu les refus verbaux de l'intéressée d'entretenir une relation sexuelle avec le recourant. Par ailleurs, sur la base de ce que B._ leur avait confié, deux témoins avaient déclaré que, pour parvenir à ses fins, le recourant avait " fortement bloqué " les poignets, respectivement " maintenu vite fait " l'intéressée avant qu'elle ne finisse par se laisser faire. Selon les faits retenus par l'instance précédente, le recourant a lui-même admis avoir entendu les protestations à haute voix, même s'il a prétendu qu'il s'agissait d'un " jeu " et non d'un refus. Le recourant développe une argumentation purement appellatoire. Il en va ainsi lorsqu'il reproche à l'instance précédente de ne pas avoir tenu compte du fait que B._ n'avait parlé de cet événement à sa mère que " bien plus tard ", et du fait qu'elle n'avait porté plainte que six mois après les faits puis avait retiré sa plainte. Dans ces conditions, l'appréciation cantonale n'apparaît pas arbitraire.
2.4. Le recourant soutient que c'est de façon arbitraire que l'instance précédente a retenu que l'intéressée avait subi une forme de contrainte et qu'il avait conscience d'un acte non consenti. Il considère notamment que, si tel avait le cas, elle aurait appelé à l'aide, étant donné qu'elle se trouvait dans un appartement avec trois autres personnes. L'instance précédente a retenu qu'elle s'était trouvée captive dans une situation, en pleine nuit, où elle ne pouvait plus rentrer chez elle. Le recourant oppose sa propre version des faits à celle de l'autorité précédente qui a retenu sans arbitraire que B._ s'était vue contrainte à un rapport sexuel avec le prévenu, dont l'insistance et la contrainte physique employée ne laissaient planer aucun doute quant au fait qu'il avait conscience d'un acte non consenti. Il lui avait serré les poignets et les avait bloqués sur le canapé, en usant de tout son poids pour parvenir à ses fins. Le fait que B._ était âgée de 17 ans et donc proche de la majorité et qu'elle n'avait pas bu beaucoup d'alcool ne changent rien à l'appréciation des preuves établissant qu'elle a subi une contrainte.
Le grief d'arbitraire en relation avec les faits du 14 février 2010 est rejeté, dans la mesure où il est recevable.
3.
3.1. Le recourant soutient que c'est de manière arbitraire que l'instance précédente a retenu que A._ n'était pas consentante au moment des faits. En outre, il considère qu'en privilégiant les déclarations de l'intéressée plutôt que les siennes, les juges cantonaux ont violé le principe in dubio pro reo.
3.2. La cour cantonale a jugé que A._ avait de manière constante donné une version précise de l'épisode du 11 mars 2010. Ses déclarations étaient crédibles. Son audition LAVI plaidait également en faveur de sa sincérité. En outre, lorsqu'elle évoquait l'agression sexuelle, plusieurs témoins avaient vu des signes manifestes d'émotion sous forme de tremblements et de pleurs, ce qui confirmait l'existence d'un épisode traumatisant. Tel était le cas du SPMi, qui avait retrouvé la jeune fille effondrée et en larmes. Tel était également le cas de son assistante sociale, à qui l'intéressée avait décrit l'impression de se sentir sale et d'avoir honte.
C'est en vain que le recourant reproche à l'instance précédente d'avoir fait un parallèle entre le déroulement des actes subis par les deux jeunes filles. En effet, la cour cantonale a constaté, à juste titre, que, dans un intervalle d'un mois, les deux victimes, encore très jeunes, avaient reproché au recourant un comportement similaire, quant à la manière dont il est parvenu à briser leur résistance et le déroulement de l'acte sexuel. Si le contexte était différent, le déroulement des actes subis par les deux jeunes filles révèle de fortes similitudes, tels que la consommation d'alcool, le désir subit de passer à l'acte malgré le refus de la jeune fille manifesté par un " non " et des supplications incessantes d'arrêter. A l'instar de B._, A._ a cherché en vain à se dégager, mais le recourant la maintenait bloquée, plaquée contre le lit, parvenant ainsi à la pénétrer vaginalement, sans préservatif.
3.3. Enfin, l'instance précédente n'a pas versé dans l'arbitraire en estimant que, face à un récit probant de la part de A._ et du fait qu'elle manifestait un grand désarroi, le recourant n'avait pas fourni des explications convaincantes.
4.
Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la requête d'assistance judiciaire doit également être rejetée (<ref-law>). Le recourant devra donc supporter les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 3 octobre 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann