Faits :
A.
Par jugement du 10 mai 2013, le Tribunal criminel du canton de Genève a reconnu X._ coupable de brigandage aggravé, tentative de brigandage aggravé, brigandage simple et violation de domicile. Il l'a condamné à une peine privative de liberté de sept ans, sous déduction de la détention avant jugement.
B.
Le ministère public a fait appel de ce jugement contestant, s'agissant de X._, la qualification juridique de l'un des cambriolages et la quotité de la peine. X._ a formé un appel joint.
Par arrêt du 14 janvier 2014, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement l'appel du ministère public et rejeté l'appel joint de X._. Annulant le jugement du 10 mai 2013, elle a reconnu ce dernier coupable de brigandage aggravé (<ref-law>), de tentative de brigandage aggravé (art. 22 al. 1 et 140 ch. 3 CP) et de violation de domicile (<ref-law>). Elle l'a condamné à une peine privative de liberté de neuf ans, sous déduction de la détention avant jugement.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation partielle de cette décision, à sa condamnation pour brigandage simple pour les faits commis au préjudice de E._ et au prononcé d'une peine privative de liberté n'excédant pas cinq ans. Subsidiairement, il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant reproche à l'autorité précédente de l'avoir condamné pour brigandage en bande au sens de l'<ref-law> au préjudice de E._, de concert avec W._. Ce dernier n'était pas poursuivi pour cette infraction et l'acte d'accusation ne mentionnait, ni n'envisageait la présence de W._ aux côtés du recourant lors de sa commission. Le recourant invoque une violation du principe d'accusation et de son droit d'être entendu et donc des art. 9, 325 CPP, 29 et 32 Cst. et 6 al. 3 let. a CEDH.
1.1. L'<ref-law> consacre la maxime d'accusation. Selon cette disposition, une infraction ne peut faire l'objet d'un jugement que si le ministère public a déposé auprès du tribunal compétent un acte d'accusation dirigé contre une personne déterminée sur la base de faits précisément décrits. En effet, le prévenu doit connaître exactement les faits qui lui sont imputés et les peines et mesures auxquelles il est exposé, afin qu'il puisse s'expliquer et préparer efficacement sa défense (<ref-ruling> consid. 6.2 p. 244; <ref-ruling> consid. 2a p. 21). Le principe de l'accusation découle également des art. 29 al. 2 Cst. (droit d'être entendu), 32 al. 2 Cst. (droit d'être informé, dans les plus brefs délais et de manière détaillée, des accusations portées contre soi) et 6 par. 3 let. a CEDH (droit d'être informé de la nature et de la cause de l'accusation).
L'<ref-law> exige que l'acte d'accusation désigne, notamment, le nom du lésé (let. e), le plus brièvement possible, mais avec précision, les actes reprochés au prévenu, le lieu, la date et l'heure de leur commission ainsi que leurs conséquences et le mode de procéder de l'auteur (let. f), les infractions réalisées et les dispositions légales applicables de l'avis du ministère public (let. g).
1.2. S'agissant des faits commis au préjudice de E._, l'acte d'accusation du 17 janvier 2013 a renvoyé le recourant devant le Tribunal criminel pour brigandage qualifié au sens de l'art. 140 ch. 1, 3 et 4 CP. Il lui était reproché d'avoir commis à une date précise, en un lieu précis et contre une victime précise un brigandage "de concert avec Y._ et des tiers inconnus" et d'avoir mis concrètement en danger la vie de cette victime. Le mode de procéder du recourant était clairement détaillé dans l'acte d'accusation. Le recourant connaissait ainsi précisément le comportement qui lui était reproché, ce tant objectivement que subjectivement. Il disposait de toutes les informations lui permettant de s'expliquer et de préparer efficacement sa défense contre l'accusation de brigandage en bande qui était portée contre lui. Que le recourant soit accompagné de W._ ou d'une autre personne ne changeait rien à la qualification des faits s'agissant du recourant. Il n'avait ainsi pas besoin, aux fins de se défendre, que l'acte d'accusation indique, outre l'existence de personnes l'accompagnant dans son crime - circonstance qui permettait de retenir la circonstance aggravante de la bande -, également leur identité. Le recourant n'explique au demeurant pas ce que cette indication dans l'acte d'accusation aurait apporté à la préparation de sa défense et on ne le discerne pas. Le grief de violation du principe d'accusation doit ainsi être rejeté. Par surabondance, on relèvera que le recourant est mal venu d'invoquer une surprise quant à l'identité de son comparse dans la mesure où c'est lui-même qui, dès ses premières déclarations, a révélé son identité (arrêt attaqué, p. 16; procès-verbal d'audience du 6 au 10 mai 2013, p. 29 in fine; recours, p. 12-13).
2.
Le recourant s'en prend aux faits constatés par l'autorité précédente.
2.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.2 p. 266).
La présomption d'innocence, garantie par les art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2 p. 266).
2.2. Le recourant débute ses écritures par une longue présentation personnelle des faits, citant de très nombreux extraits de procès-verbaux. Dès lors que ces faits ne résultent pas de l'arrêt entrepris et que le recourant n'expose pas en quoi ils auraient été omis de manière arbitraire par l'autorité précédente, ils ne peuvent être pris en compte.
2.3. Le recourant ne nie plus avoir commis un cambriolage au préjudice de E._. Il conteste en revanche l'avoir perpétré avec W._. Il considère que cette constatation de l'autorité précédente est arbitraire et viole la présomption d'innocence.
Le recourant a reconnu à plusieurs reprises avoir agi avec W._ dans le cadre de ce cambriolage. Il l'a admis, de manière claire, lors de l'audience de première instance puis lors de celle d'appel. Y._ l'a également reconnu à diverses occasions, avant de le nier. Ces aveux, malgré leur rétractation ponctuelle, permettaient de retenir sans arbitraire que le recourant avait agi à plusieurs, dont W._, lors du brigandage commis à l'encontre de E._. Le grief est infondé.
3.
Le recourant conteste que le brigandage commis au préjudice de E._ soit qualifié de brigandage en bande au sens de l'<ref-law>. Dès lors que ce moyen se fonde sur les griefs examinés ci-dessus et rejetés, il doit également être écarté.
4.
Le recourant critique la peine privative de liberté de neuf ans prononcée. Il invoque une violation des art. 9 Cst. et 47 CP.
4.1. Aux termes de l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
L'<ref-law> confère un large pouvoir d'appréciation au juge. Celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'<ref-law>, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61).
4.2. L'autorité précédente a retenu que le recourant, sans être un "meneur", occupait un rôle de premier plan, dès lors que c'est à chaque fois lui qui exerçait, dans un cas avec un comparse, les violences sur les victimes. Le recourant conteste ce rôle, invoquant à cet égard n'avoir pas participé à l'une des autres agressions, la plus violente, retenues contre plusieurs de ses comparses. Une telle argumentation, de nature purement appellatoire, est irrecevable. Contrairement à ce qu'il soutient, l'autorité précédente n'a pour le surplus pas retenu qu'il entraînait les autres (arrêt attaqué, p. 35 ch. 4.2.4) ou que sa faute serait plus importante que celle de ces derniers.
4.3. Le recourant se réfère au raisonnement et à la peine privative de liberté de sept ans prononcée par l'autorité de première instance. Il estime que l'autorité précédente n'a pas expliqué en quoi cette sanction serait trop clémente, respectivement ne disposait pas de motifs justifiant une augmentation de deux ans de la durée initialement prononcée. Le recourant perd ici de vue que l'autorité d'appel dispose d'un plein pouvoir d'examen en fait et en droit (cf. <ref-law>) sur les points attaqués (<ref-law>), en l'espèce notamment la quotité de la peine dans le cadre de l'appel du ministère public. L'autorité précédente devait ainsi examiner librement, en sa qualité de juridiction d'appel, les critères posés par l'<ref-law> et refixer la peine. L'obligation de motivation prévue par l'<ref-law> ne portait que sur cet examen. L'autorité précédente n'avait en revanche pas à expliquer spécifiquement pour quels motifs elle prononçait une peine différente de celle ordonnée en première instance.
Pour le surplus, l'autorité précédente a dûment motivé la peine prononcée à l'encontre du recourant (cf. arrêt attaqué, ch. 42 p. 32-33 et ch. 4.2.4 p. 35). Ce dernier a été reconnu coupable de trois brigandages aggravés consommés et d'un tenté. La peine privative de liberté de neuf ans a ainsi été fixée dans le cadre légal. Le recourant ne cite aucun critère qui aurait été retenu à tort par l'autorité précédente ou qui aurait été ignoré, s'agissant de son cas, et on ne discerne pas que tel soit le cas. Au moment des faits, il avait déjà à son passif neufs condamnations en Roumanie, totalisant vingt-quatre ans et quatre mois de prison, dont une condamnation à douze ans de prison prononcée en 2001 (<ref-law>). C'est à chaque fois lui qui a exercé les violences sur les victimes, choisies le plus souvent pour leur grande vulnérabilité. Sa collaboration a été mauvaise et il n'a fait preuve d'aucune empathie envers ses victimes. Dans ces circonstances, l'autorité précédente n'a pas abusé de son pouvoir d'appréciation en prononçant la peine critiquée.
5.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient manifestement dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, à B.B._ et C.B._ ainsi qu'à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 27 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod