Faits :
A.
Par jugement du 10 mai 2013, le Tribunal criminel du canton de Genève a condamné Z._ pour brigandage aggravé (art. 140 ch. 3 CP), tentative de brigandage aggravé (art. 22 al. 1 et 140 ch. 3 CP) et violation de domicile (art. 186 CP) à une peine privative de liberté de cinq ans, sous déduction de la détention avant jugement. Z._ a également été astreint à payer diverses sommes aux parties plaignantes, dont une indemnité pour tort moral de 30'000 fr. en faveur de D._.
B.
Le ministère public a fait appel de ce jugement. Z._ a formé un appel joint.
Par arrêt du 14 janvier 2014, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement l'appel du ministère public et rejeté l'appel joint de Z._. Annulant le jugement du 10 mai 2013, elle a condamné Z._ pour brigandage aggravé (art. 140 ch. 3 CP), tentative de brigandage aggravé (art. 22 al. 1 et 140 ch. 3 CP) et violation de domicile (art. 186 CP) à une peine privative de liberté de six ans, sous déduction de la détention avant jugement. Z._ restait astreint à payer diverses sommes aux parties plaignantes, dont une indemnité pour tort moral de 30'000 fr. en faveur de D._.
C.
Z._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son acquittement des infractions retenues à son encontre concernant les fais commis contre E.F._ et F.F._, d'une part, B.B._ et C.B._, d'autre part, et au prononcé d'une peine privative de liberté de deux ans et six mois. Il requiert également sa libération immédiate et réserve ses prétentions contre l'Etat de Genève pour détention injustifiée. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste avoir participé aux cambriolages du domicile des époux F._ d'une part, B._ d'autre part. Il invoque à cet égard une violation de l'art. 9 Cst. et une appréciation des preuves contraire au principe "in dubio pro reo".
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.2 p. 266).
La présomption d'innocence, garantie par les art. 6 par. 2 CEDH, 32 al. 1 Cst. et 10 CPP, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82). En tant que règle sur le fardeau de la preuve, la présomption d'innocence signifie, au stade du jugement, que ce fardeau incombe à l'accusation et que le doute doit profiter au prévenu. C'est ainsi à l'accusation d'établir la culpabilité du prévenu, et non à celui-ci de démontrer qu'il n'est pas coupable. La présomption d'innocence est violée lorsque le juge rend un verdict de culpabilité au seul motif que le prévenu n'a pas prouvé son innocence (<ref-ruling> consid. 2a p. 40).
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2 p. 266).
1.2.
1.2.1. S'agissant du cambriolage commis au préjudice des époux F._, l'autorité précédente a relevé que W._ avait, lors de ses premières déclarations à la police, déclaré que le recourant lui avait parlé de ce cambriolage et de sa participation dans celui-ci. Le recourant s'était alors vanté de s'être battu à coup de poings avec les occupants de la maison cambriolée. X._ a également indiqué à la police que le recourant était présent sur les lieux et était entré dans la maison. Leurs déclarations ont évolué en cours de procédure et ils ont fini par nier la présence du recourant sur les lieux. Ce dernier a admis devant le ministère public s'être trouvé dans la cour des époux F._, sans être entré. Il fumait une cigarette avec Y._ qui était également resté à l'extérieur. Le recourant a changé par la suite à plusieurs reprises de versions. L'autorité précédente a considéré que le dossier contenait de nombreux éléments permettant de tenir pour établi, sans le moindre doute, que le recourant avait bien agi dans le cas F._. Il avait été clairement mis en cause par W._ et X._, leurs déclarations étant cohérentes et crédibles. Le prononcé de culpabilité devait être confirmé.
1.2.2. A l'encontre de cette appréciation, le recourant présente une argumentation purement appellatoire. Il procède à une interprétation des moyens de preuve dans le sens qui l'arrange sans démontrer dans quelle mesure celle de l'autorité précédente et notamment la force probante donnée aux différentes déclarations protocolées seraient arbitraires. Le grief est irrecevable. Le recourant invoque qu'aucune trace ADN lui appartenant n'a été retrouvée sur les lieux du crime. Cela ne suffit pas à rendre arbitraire l'appréciation de l'autorité précédente, fondée sur d'autres éléments. Au demeurant, le recourant n'a pas laissé de trace ADN sur les lieux du cambriolage perpétré contre D._. Il a néanmoins reconnu en être l'un des auteurs. Le recourant se prête à une interprétation appellatoire des déclarations du couple F._. Il invoque les déclarations de X._ qui l'arrangent sans démontrer en quoi la valeur probante donnée à celles qui l'incriminent serait arbitraire. Il tente également de mettre en doute les accusations de W._: celui-ci n'aurait dénoncé la présence que d'un "G._" avec le risque de confusion qui pourrait en découler entre lui et H._. Supposé recevable, ce grief est infondé. Lors de son audition, W._ a reconnu ces deux individus sur la base de planches photographiques (respectivement photos 13 et 5). Le recourant était ensuite toujours désigné par "G._", H._ par "I._" et souvent avec la précision que "G._" était la personne représentée sur la photo 13 et "I._" celle figurant sur la photo 5 (pièces 52 ss). Le risque de confusion invoqué par le recourant est inexistant.
1.3.
1.3.1. S'agissant du cambriolage commis au préjudice des époux B._, l'autorité précédente a relevé que le recourant avait été clairement mis en cause par W._, H._ et X._, leurs déclarations étant cohérentes et crédibles. Le recourant avait de plus admis avoir volé une montre au domicile des époux B._ et ses explications pour se disculper étaient contradictoires, variables voire invraisemblables. Le prononcé de culpabilité devait être confirmé.
1.3.2. Ici encore le recourant oppose sa propre version des moyens de preuve, fondée sur son interprétation des pièces, à celle retenue par l'autorité précédente, sans démontrer dans quelle mesure cette dernière appréciation, et notamment la décision de tenir compte des déclarations incriminant le recourant, serait insoutenable. Il ne formule en particulier aucune critique recevable quant à la valeur probante donnée aux déclarations, retenues à charge par l'autorité précédente, de H._ et de X._. Le grief est irrecevable.
2.
Le recourant estime excessive la peine privative de liberté de six ans prononcée. Il invoque une violation de l'art. 47 CP. Même condamné pour l'ensemble des faits qui lui sont reprochés, il requiert que la peine n'excède pas deux ans et six mois.
2.1. En vertu de l'art. 140 ch. 3 CP, le brigandage est puni d'une peine privative de liberté de deux ans au moins, si, notamment, son auteur l'a commis en qualité d'affilié à une bande formée pour commettre des brigandages ou des vols.
2.2. Les règles générales régissant la fixation de la peine ont été rappelées dans les arrêts publiés aux <ref-ruling> et 134 IV 17. Il y est renvoyé.
2.3. L'autorité précédente a considéré que la faute des protagonistes, dont le recourant, était incontestablement grave. Ils faisaient des allers-retours entre la Roumanie et la Suisse dans le seul but de commettre un grand nombre d'infractions en peu de temps (du 3 août au 14 octobre 2011). Ils ont agi avec détermination, sans se laisser dissuader le cas échéant par la présence de victimes, choisies dans la majorité des cas en raison de leur grande vulnérabilité. Ce mode opératoire était particulièrement lâche et détestable. S'il ne se distinguait pas par une préparation minutieuse, encore que des repérages aient eu lieu, l'impulsivité était surtout indicatrice d'une certaine brutalité et d'absence de scrupules, les auteurs investissant soudainement des habitations, disposés à maîtriser les occupants éventuels, le déchainement de violence à l'encontre de la victime D._ dépassant toutefois les prévisions du recourant. Au-delà du dommage matériel et affectif, les conséquences pour les victimes ont été lourdes en termes de perte de qualité de vie. Le mobile était celui, égoïste, de l'appât du gain, la disproportion entre les agissements commis et leur finalité suscitant l'incompréhension des victimes. Le concours d'infractions devait être retenu. Aucune circonstance atténuante n'était réalisée.
L'autorité précédente a reconnu le recourant coupable de deux brigandages aggravés au sens de l'art. 140 ch. 3 CP, une tentative de brigandage aggravé au sens de cette même disposition et des violations de domicile. Sa collaboration a été particulièrement mauvaise, l'intéressé variant sans cesse dans ses explications, revenant sur ses précédents aveux - par ailleurs limités - et présentant des explications farfelues jusqu'en appel. La situation personnelle du recourant était difficile, sans que cela ne justifie le passage à l'acte. Il avait néanmoins entrepris, dans la mesure de ses maigres moyens, de commencer à dédommager la victime dans le seul cas où il reconnaissait sa culpabilité, ce qui devait conduire à retenir un début de prise de conscience. Ses antécédents se limitaient à une précédente condamnation. Né en 1985, il était le plus jeune de la bande et paraissait très fruste. Au regard de ces éléments, l'autorité précédente a arrêté la durée de la peine privative de liberté à six ans.
2.4. Le recourant invoque que l'autorité précédente aurait omis de prendre en compte et minimisé plusieurs facteurs. Dès lors que son argumentation se fonde sur des faits s'écartant de ceux retenus par l'arrêt attaqué, sans démontrer qu'ils auraient été omis de manière arbitraire, elle est irrecevable. Que le recourant n'ait pas utilisé d'arme ou que son butin ait été prétendument dérisoire n'est pas non plus propre à démontrer le caractère excessif de la peine prononcée. Quant à l'absence de préparation, l'existence d'un seul antécédent - condamnation en 2009 en Roumanie à trois ans de peine privative de liberté pour vol aggravé - et la prise de conscience du recourant, ces éléments ont été pris en considération par l'autorité précédente et le recourant ne démontre pas qu'ils l'auraient été de manière insuffisante au vu des circonstances.
2.5. Le recourant soutient que la peine prononcée serait incompatible avec la jurisprudence rendue par le Tribunal fédéral s'agissant de l'application de l'art. 47 CP dans le cadre du brigandage.
Eu égard aux nombreux paramètres qui interviennent dans la fixation de la peine, une comparaison avec des affaires concernant d'autres prévenus et des faits différents est d'emblée délicate car il existe presque toujours des différences entre les circonstances objectives et subjectives, que le juge doit prendre en considération dans chacun des cas (<ref-ruling> consid. 3a p. 144; cf. aussi <ref-ruling> consid. 3.1 p. 193).
Le recourant cite trois arrêts rendus par le Tribunal fédéral. L'arrêt 6B_660/2013 du 19 novembre 2013 traite d'un braquage prémédité et au moyen d'une arme d'une banque par une personne seule, ayant de lourds antécédents. Les faits sont clairement différents. On ignore en outre la situation personnelle de l'intéressé. Au demeurant ce dernier a été condamné pour ce seul brigandage qualifié (art. 140 ch. 3 CP) et pour infraction à la LArm à cinq ans et demi de peine privative de liberté. On ne distingue pas ce que le recourant, qui s'est rendu coupable de deux brigandages aggravés et d'une tentative de brigandage aggravé, qui plus est à l'encontre de personnes le plus souvent choisies pour leur grande vulnérabilité et qui sont restées choquées par la violence de l'agression, pourrait tirer de cet arrêt en sa faveur. L'arrêt 6B_49/2012 du 5 juillet 2012 traite d'un cas relativement similaire, à l'exception d'une préparation plus complète du brigandage et de l'utilisation d'une arme pour effrayer. Il ne ressort toutefois pas de l'arrêt que les victimes aient été choisies pour leur vulnérabilité. L'intéressé avait de plus partiellement collaboré. En outre et surtout, la peine privative de liberté de quatre ans ne sanctionnait qu'un acte de brigandage aggravé et non deux ainsi qu'une tentative comme dans la présente cause. Le recourant ne peut rien en tirer en sa faveur. La cause visée par l'arrêt 6B_710/2007 du 6 février 2008 se distingue de la présente affaire par le jeune âge de l'intéressé, une responsabilité légèrement diminuée, l'admission de sa responsabilité, et, surtout, l'absence de concours d'infractions, élément qui pèse ici dans la fixation de la peine. A nouveau, le grief de violation de l'art. 47 CP ne peut se fonder sur la comparaison des deux causes.
2.6. Le recourant ne cite, en définitive, aucun élément important, propre à modifier la peine, qui aurait été omis ou pris en considération à tort par la cour cantonale. La peine a été fixée dans le cadre légale (art. 40, 49 al. 1, art. 140 ch. 3 CP). Au vu des circonstances, il n'apparaît pas qu'elle soit exagérément sévère au point de constituer un abus du pouvoir d'appréciation. Le grief de violation de l'art. 47 CP, dans la mesure de sa recevabilité, est infondé.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient manifestement dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 LTF a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, à B.B._ et C.B._ ainsi qu'à D._ et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 27 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod