Faits :
A.
Par jugement du 22 janvier 2016, le Tribunal correctionnel de la République et canton de Genève a reconnu X._ coupable de brigandages aggravés (art. 140 ch. 1 et 3 CP), commis le 31 mars 2015 au préjudice de A._, le 8 mai de B._, le 14 mai 2015 de C._ et le 15 mai 2015 de D._, ainsi que de séquestration et enlèvement (<ref-law>). Il l'a acquitté des préventions de brigandages aggravés prétendument commis les 16 mars, 22 mars et 2 mai 2015 au préjudice respectivement de E._, de F._ et de G._. Il l'a condamné à une peine privative de liberté de 3 ans, sous déduction de 253 jours de détention avant jugement, l'a mis au bénéfice du sursis partiel. La peine à exécuter a été fixée à 18 mois et le solde a été prononcé avec sursis, le délai d'épreuve étant fixé à 3 ans. Il a mis les frais de la procédure à la charge des deux comparses, X._ et de Y._, par moitié chacun et a alloué une indemnité au défenseur d'office de X._.
B.
Par jugement du 1er juin 2016, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement un appel joint du Ministère public. Elle a reconnu X._ coupable de brigandages aggravés également dans les cas de F._ et de G._. Elle l'a condamné à une peine privative de liberté de 4 ans et 6 mois. Elle a mis une partie des frais de justice à la charge de X._ et a taxé les honoraires de son défenseur d'office.
La cour cantonale a considéré que les éléments du dossier permettaient de retenir que X._ avait également participé aux brigandages commis à F._ et à G._.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral contre le jugement du 1er juin 2016. Il conclut, avec suite de frais et dépens, principalement à son acquittement du chef d'accusation de brigandage aggravé retenu contre lui dans les cas de F._ et de G._, ainsi qu'à sa condamnation à une peine privative de liberté de trois ans assortie du sursis partiel, la partie à exécuter étant de 18 mois. Subsidiairement, il requiert le renvoi de l'affaire à l'autorité précédente pour nouvelle décision en raison de son acquittement partiel. Très subsidiairement, il demande une réduction de la peine infligée.
X._ a présenté une demande d'assistance judiciaire.

Considérant en droit :
1.
Le recourant considère que la cour cantonale a procédé à une appréciation arbitraire des preuves et qu'elle a violé le principe de la présomption d'innocence.
Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Il n'entre ainsi pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 2.4 p. 368).
La présomption d'innocence, garantie par les art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP, ainsi que son corollaire le principe « in dubio pro reo» concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe « in dubio pro reo », celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
2.
Brigandage à F._
La cour cantonale a admis la culpabilité du recourant en se fondant sur les déclarations de son comparse, Y._, qui a d'emblée mis en cause le recourant et qui a détaillé le mode opératoire, le comportement défensif de la victime, le montant du butin, toutes choses qu'il connaissait alors qu'il ne s'était pas rendu sur place selon ses dires. Les déclarations de Y._ ont été constantes, crédibles et corroborées par la version des faits donnée par la victime H._. Selon la cour cantonale, il n'est pas possible que Y._ ait eu le temps d'inventer tous les détails cohérents qu'il a donnés immédiatement après son arrestation en flagrant délit pour d'autres faits. De plus, la cour cantonale a retenu que le recourant et Y._ agissaient ensemble à l'époque. Enfin, si la victime n'a pas reconnu formellement le recourant, elle a tout de même désigné un homme à la peau blanche avec une carrure comparable à la sienne, admettant n'avoir vu dans l'obscurité que le profil de son agresseur, partiellement recouvert d'une capuche.
2.1. Le recourant estime que les déclarations et les constatations de la victime ne sauraient faire partie d'un faisceau d'indices à charge. La victime n'a reconnu ni le recourant ni sa voix et, lors du line-up, elle a désigné un plastron qui avait la même carrure que lui avec une certitude à 50 %. Cet élément est sans valeur aux yeux du recourant car tous les plastrons, à l'exception d'un seul, avaient la même carrure que lui. S'agissant des détails donnés par Y._, le recourant conteste qu'ils puissent être considérés comme des indices de sa culpabilité. Pour lui, ils signifient que Y._ était sur place et que la personne qui a commis le brigandage lui a donné ces détails. Le recourant considère que le fait de frapper la victime constitue un changement de mode opératoire par rapport aux brigandages auxquels il a participé, ce qui exclurait qu'il en soit l'auteur.
2.2. Y._ a fait des déclarations précises et a donné des détails qui se sont révélés exacts, étant en grande partie confirmés par les victimes. Il a assez rapidement, lors de son audition par la police, mis le recourant en cause pour les brigandages et a donné des indications sur la manière dont les deux comparses s'y étaient pris pour perpétrer leurs actes, en particulier, il a indiqué l'endroit où le porte-monnaie d'une victime avait été jeté, lieu où il a d'ailleurs été retrouvé par la police. La cour cantonale pouvait donc accorder à ces déclarations une valeur probante. S'agissant de l'apparence de son agresseur, H._ l'a décrit comme un homme de peau blanche ayant la carrure du recourant. Concernant le visage, dont il est admis qu'il était partiellement caché par une capuche et un foulard, la victime pouvait ne pas le reconnaître, ce d'autant plus que l'agression a eu lieu dans la pénombre. De plus, Y._ a donné des détails sur le déroulement du brigandage, dont il a été admis qu'il ne pouvait que provenir de la personne qui l'avait pratiqué. Or, il faut relever que cette personne avait, selon les constatations de la victime, la carrure et la couleur de peau du recourant.
Compte tenu de tous ces éléments, la cour cantonale pouvait sans arbitraire retenir que le recourant était bien l'auteur du brigandage commis à F._.
3.
Brigandage à G._
La cour cantonale s'est aussi fondée sur les déclarations de Y._ concernant le brigandage à G._. Elle a confirmé que ces déclarations étaient constantes et étaient globalement crédibles. La cour cantonale a également pris en compte les déclarations de la victime I._, qui n'a reconnu son agresseur qu'à 60% tout en précisant qu'il était quasiment sûr d'avoir reconnu son visage. Seul le port d'un bonnet lors du brigandage l'empêchait d'en être totalement sûr à l'occasion du line-up. Concernant la question de la couleur de la peau de l'agresseur, la victime a d'abord décrit une personne à la peau basanée. Pour la cour cantonale, cette première description pouvait se justifier par le fait que la victime avait vu son agresseur dans la pénombre et qu'une fusion des souvenirs des comparses avait pu expliquer qu'il avait parlé de couleur « chocolat », qui est en réalité la couleur de la peau de Y._. La victime a aussi déclaré que chacun des deux agresseurs avait une arme de poing, ce qui est contesté par Y._. Selon ce dernier, la victime aurait pu se méprendre à la vue des gants noirs que portait le recourant. De l'avis de la cour cantonale, la perception de la victime avait pu être légèrement altérée par les circonstances de l'agression sans que son témoignage n'en soit affecté. En outre, le mode opératoire et le type de cibles étaient similaires aux brigandages de B._ et de C._, tous deux admis par le recourant. L'absence de traces ADN dans G._ n'a rien de surprenant car les agresseurs n'avaient rien touché dans le magasin à l'exception du tiroir-caisse avec des gants. Pour la cour cantonale, l'absence de communications téléphoniques sur le réseau suisse entre les deux prévenus avant le brigandage n'était pas déterminante, car de nombreux contacts téléphoniques ont eu lieu entre eux le 2 mai 2015 sur le réseau français et Y._ hébergeait le recourant chez lui à cette époque. Cela était suffisant pour préparer le coup.
3.1. Le recourant reproche à la cour cantonale l'interprétation qu'elle a faite des déclarations de la victime. Se fondant sur celles-ci, le recourant constate que la victime l'avait reconnu à 60% alors qu'elle a, dans le même temps, dit ne pas l'avoir bien vu car elle était focalisée sur l'agresseur qui la braquait, à savoir Y._. Le recourant conteste qu'il soit possible d'admettre, comme l'a fait la cour cantonale, que la victime ait pu faire une « fusion » des deux comparses qui aurait pu l'amener à une confusion concernant la couleur de la peau. De plus, contrairement aux déclarations de la victime, le second agresseur n'avait pas d'arme et une confusion avec les gants noirs qu'il aurait portés, n'est pas possible, car celui-ci ne portait pas de gants. Ce fait est aussi de nature à mettre en doute les constatations de la cour cantonale concernant l'absence de traces ADN sur le tiroir-caisse en raison du port de gants.
3.2. En l'espèce, il y a lieu d'admettre que les déclarations de Y._ ont été constantes et crédibles si l'on se fonde sur les éléments objectifs qui ont permis de les corroborer. A plusieurs reprises, les autorités d'instruction et de jugement lui ont posé la question de savoir si, pour tous les brigandages, il avait agi avec le recourant. A chaque fois, il a confirmé sans hésitation que c'était bien le cas et qu'il n'avait commis aucune autre infraction avec un autre comparse durant la période en question. De plus, il y a lieu de constater que rien au dossier ne permet de dire que Y._ aurait eu une raison d'en vouloir au recourant pour l'impliquer dans des affaires auxquelles il aurait été étranger. Par ailleurs, le brigandage de G._ a eu lieu selon le mode opératoire décrit par le recourant pour les infractions admises, à savoir que Y._ tenait l'arme et que lui-même prenait l'argent dans la caisse. A cela s'ajoute que les autres circonstances des brigandages (genre de cibles et heure de commission des délits) correspondent aussi à la manière de faire des deux comparses.
Il est vrai que, dans la mesure où la cour cantonale retient que les deux agresseurs portaient des gants ce qui avait rendu inutile une analyse ADN, elle va à l'encontre des déclarations de la victime qui a dit que ceux-ci ne portaient pas de gants et qu'un d'eux avait touché le tiroir-caisse à main nue. Toutefois, la question des prélèvements ADN sur le tiroir-caisse, dont on ne sait pas s'ils ont été analysés et quels ont été les résultats, n'a pas une portée déterminante. Cet élément ne saurait faire apparaître comme arbitraire l'appréciation des preuves dans son résultat.
Concernant la couleur de peau des agresseurs, la victime a déclaré que les deux étaient basanés (couleur « chocolat ») ce qui est vrai pour Y._ mais pas pour le recourant. Appelée à reconnaître ses agresseurs lors d'un line-up, elle a désigné le recourant comme un des agresseurs avec une probabilité de 60% avant de déclarer qu'elle ne l'avait pas bien vu car elle était focalisée sur celui qui tenait l'arme. Enfin, selon la victime, chacun des agresseurs avait une arme, alors que cela est contesté par Y._, qui a déclaré avoir été le seul à porter une arme. L'ensemble de ces éléments implique que les déclarations de la victime n'ont pas de portée déterminante. Elles n'apparaissent pas fiables et le recourant ne saurait en déduire un quelconque argument.
En faisant abstraction des déclarations de la victime, les autres éléments du dossier permettaient à la cour cantonale d'admettre sans arbitraire que le recourant était le second agresseur lors du brigandage de G._.
3.3. Dans la mesure où les déclarations de la victime ne sont pas déterminantes, il n'y a plus lieu d'examiner si l'absence de confrontation entre celle-ci et le recourant aurait pu constituer une violation de l'art. 6 par. 3 CEDH, comme invoqué par ce dernier.
Le recours sur ces points doit donc être rejeté.
4.
Concernant les principes conduisant à la fixation de la peine, il est renvoyé aux <ref-ruling>, 136 IV 55 et 134 IV 17 consid. 2.1, étant précisé que dans l'exercice du pouvoir d'appréciation que lui confère l'<ref-law>, le juge doit, notamment, respecter le principe de l'égalité de traitement. S'il est appelé à juger les coauteurs d'une même infraction ou deux coprévenus ayant participé ensemble au même complexe de faits délictueux, il est tenu de veiller à ce que la différence des peines infligées aux deux intéressés soit justifiée par une différence dans les circonstances personnelles en fonction desquelles, conformément à l'<ref-law>, la peine doit être individualisée (<ref-ruling> consid. 3.2 p. 193 ss). Lorsque des coauteurs jugés dans une seule procédure sont condamnés à des peines différentes, il y a violation du principe d'égalité de traitement uniquement si le juge omet d'établir une juste proportion entre les deux peines (<ref-ruling> consid. 3.2 p. 194).
4.1. Le recourant reproche à la cour cantonale d'avoir tenu un raisonnement contradictoire en retenant d'une part qu'il avait une plus grande force de caractère que son comparse et, d'autre part, que rien n'indiquait que celui-ci était sous la férule du recourant.
L'argumentation du recourant fait état d'un raisonnement contradictoire sans préciser en quoi cela aurait influencé négativement sa situation. Il ne prétend pas que son rôle n'aurait pas été prépondérant ni que sa force de caractère aurait été moindre que celle de son comparse. Le fait que Y._ ait refusé d'accompagner le recourant lors d'un brigandage n'y change rien.
4.2. Le recourant prétend que la cour cantonale aurait retenu qu'il avait cherché à justifier ses actes par le décès de sa compagne, ce qui est inexact, le recourant n'ayant fait qu'expliquer que ce décès l'avait placé dans la situation précaire d'une personne sans domicile fixe et que la détresse ainsi provoquée lui avait fait perdre pied.
La cour cantonale a retenu que le recourant avait une formation professionnelle et un travail rémunéré, qui étaient des facteurs propres à l'empêcher de tomber dans la délinquance. Dans ces conditions, elle a considéré que le décès de la compagne du recourant ne pouvait plus être mise en rapport, deux ans plus tard, avec les infractions commises. Ce raisonnement ne prête pas flanc à la critique.
4.3. Le recourant reproche à la cour cantonale de ne pas avoir tenu compte de son casier judiciaire vierge.
La cour cantonale a rappelé la jurisprudence (<ref-ruling> consid. 2.6) selon laquelle l'absence d'antécédents avait un effet neutre sur la peine. Cette approche n'est pas critiquable.
4.4. Le recourant reproche à la cour cantonale de lui avoir infligé une peine beaucoup trop lourde du point de vue de l'égalité de traitement avec son comparse qui, pour les mêmes faits, a été condamné à une peine privative de liberté de 3 ans et demi, alors que les seules différences entre les deux comparses résidaient dans le fait que Y._ avait été reconnu coupable de complicité de brigandage pour le cas de F._ et qu'il avait des antécédents non spécifiques alors que le recourant avait un casier judiciaire vierge.
La cour cantonale a retenu à la charge du recourant une gravité particulière pour les faits commis à l'égard de la victime de séquestration, laquelle a été menacée avec un couteau. De plus, la collaboration du recourant lors de l'instruction a été mauvaise. Il n'a admis les faits que lorsqu'il a été confronté à des éléments de preuves irréfutables. La cour cantonale a également retenu que le recourant avait joué un rôle prépondérant, qu'il n'avait pas pris conscience de la gravité de sa faute et qu'il avait mis en doute la crédibilité des déclarations de son comparse pour essayer d'échapper à une condamnation. Enfin, elle a retenu le concours entre cinq brigandages, dont quatre commis en bande, une tentative de brigandage, ainsi qu'une séquestration et un enlèvement.
S'agissant de Y._, la cour cantonale a retenu cinq brigandages, dont un cas de complicité et quatre autres commis en bande ainsi qu'une séquestration et un enlèvement. Elle a aussi admis une intensité de la volonté délictuelle moindre, le recourant jouant un rôle moteur. La collaboration de Y._ a été bonne. Il a d'emblée reconnu les faits et en a dénoncé d'autres spontanément. Il a présenté des excuses et exprimé des regrets, sa prise de conscience n'étant toutefois pas parfaite puisqu'il a rejeté une partie de la responsabilité sur son comparse.
En comparant les circonstances objectives et subjectives retenues pour chacun des deux comparses, on constate que la cour cantonale a essentiellement justifié la différence de durée de la peine privative de liberté par le fait que Y._ a été reconnu coupable de complicité de brigandage dans un des cas et qu'il avait fait preuve d'une bonne collaboration.
Compte tenu d'une faute lourde pour les deux comparses, de la gravité des faits (utilisation d'une arme, certes factice, et d'un couteau, violence disproportionnée par rapport à la valeur des butins espérés et récoltés, grand nombre d'actes sur une courte période), du mobile (appât du gain facile) et du fait qu'ils ont admis que leur activité délictueuse n'avait pris fin qu'en raison de leur arrestation, la peine infligée au recourant n'apparaît pas particulièrement sévère, ce d'autant plus qu'il y a un concours d'infraction. La différence de mesure de la peine, telle que motivée par la cour cantonale, ne permet pas de retenir un abus de son large pouvoir d'appréciation, ni une violation de l'égalité de traitement. Le recours est également rejeté sur ce point.
5.
L'assistance judiciaire demandée par le recourant doit lui être refusée, le recours étant dépourvu de chance de succès (art. 64 al. 1 a contrario). Il supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 francs, sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 15 août 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Klinke