Faits :
A.
Par jugement du 10 mai 2013, le Tribunal criminel du canton de Genève a condamné W._ pour brigandage aggravé (<ref-law>), vol aggravé (<ref-law>), dommages à la propriété (<ref-law>) et violation de domicile (<ref-law>) à une peine privative de liberté de quatre ans et neuf mois, sous déduction de la détention avant jugement, dite peine étant complémentaire à une peine précédente prononcée par le ministère public.
B.
Le ministère public a fait appel de ce jugement. W._ a formé un appel joint.
Par arrêt du 14 janvier 2014, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement l'appel du ministère public et rejeté l'appel joint de W._. Annulant le jugement du 10 mai 2013, elle a condamné W._ pour brigandage aggravé (<ref-law>), vol aggravé (<ref-law>), dommages à la propriété (<ref-law>) et violation de domicile (<ref-law>) à une peine privative de liberté de six ans et neuf mois, sous déduction de la détention avant jugement, dite peine étant complémentaire à une peine précédente prononcée le 31 octobre 2011 par le ministère public.
C.
W._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation dans la mesure où il a été reconnu coupable de brigandage aggravé en lien avec les faits commis contre A._ d'une part, B.B._ et C.B._ d'autre part et à ce qu'il soit condamné pour ces deux cas pour vol aggravé (art. 139 ch. 1 et 3 CP). Il requiert d'être mis au bénéfice du repentir sincère et que la cause soit renvoyée à l'autorité précédente pour nouvelle fixation de la peine, subsidiairement nouvelle décision. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste avoir accepté, même par dol éventuel, que les trois victimes des deux cambriolages susmentionnés soient mises hors d'état de résister. Il invoque à cet égard une violation du principe "in dubio pro reo" et de l'interdiction de l'arbitraire dans l'appréciation des preuves et la constatation des faits. Cette violation entraînerait celle de l'<ref-law>, les éléments constitutifs de l'infraction n'étant pas réunis.
1.1. Déterminer ce qu'une personne a su, voulu, envisagé ou accepté relève des constatations de faits (<ref-ruling> consid. 8.4.1 p. 84). Celles-ci lient le Tribunal fédéral (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 4.2 p. 266).
La présomption d'innocence, garantie par les art. 32 al. 1 Cst. et 10 CPP, ainsi que son corollaire, le principe "in dubio pro reo", concernent tant le fardeau de la preuve que l'appréciation des preuves. Lorsque, comme en l'espèce, l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe "in dubio pro reo", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 7 p. 82).
Le Tribunal fédéral ne connaît de la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2 p. 266).
1.2. Il ressort de l'état de fait établi par l'autorité précédente que le 3 août 2011, vers 23 h - 23 h 30, le recourant, en compagnie de deux comparses, a pénétré dans le domicile de A._, alors que celle-ci venait de se coucher. Elle a été l'objet, par l'un des comparses du recourant, d'une contrainte physique comportant de la violence. Se fondant sur plusieurs éléments (cf. arrêt attaqué, p. 28 et 29), l'autorité précédente a retenu que le recourant avait accepté, au moins par dol éventuel, que A._ soit mise hors d'état de résister. Elle l'a par conséquent condamné pour ces faits pour brigandage en bande (<ref-law>) et non pour vol en bande (<ref-law>).
Le recourant conteste avoir accepté, même par dol éventuel, que la victime soit mise hors d'état de résister. Il invoque les déclarations qu'il a faites durant la procédure et celles de ses comparses, tirées directement du dossier pénal, et souligne leur constance et leur cohérence. Il soutient en particulier s'être enfui dès qu'il a vu ce que son comparse avait fait à la victime. La question n'est toutefois pas ici de savoir ce que le recourant a fait après la commission des violences, mais de déterminer s'il était arbitraire de considérer que le recourant avait au plus tard au moment de celles-ci admis qu'il soit recouru à la violence. Selon les faits retenus par l'autorité précédente, la maison était relativement petite, les pièces de vie tenaient sur le même rez-de-chaussée et les auteurs sont entrés dès que la victime s'est couchée. Ils ont ainsi pris le risque qu'elle ne soit pas bien endormie et donc qu'elle se réveille. A cela s'ajoute que le recourant a déclaré qu'il était normal que son comparse maîtrise la victime, parce qu'ils n'avaient pas terminé de la cambrioler (arrêt attaqué, p. 29 ch. 2.4.1). Enfin, les mêmes prévenus n'ont pas hésité, dans d'autres cambriolages effectués à la même période, à molester les personnes chez qui ils pénétraient. Ces circonstances, que le recourant ne discute pas sérieusement, permettaient de retenir sans arbitraire qu'il avait accepté l'usage de violence pour commettre le forfait.
Le grief de violation du principe in dubio pro reo et de l'interdiction de l'arbitraire dans l'appréciation des preuves et la constatation des faits doit ainsi être rejeté dans la mesure où il est recevable. La condamnation du recourant pour ce cas en vertu de l'<ref-law> ne prête pas flanc à la critique.
1.3. Le recourant conteste avoir accepté qui soit fait usage de contrainte concernant le vol commis à l'encontre des époux B._, le 12 septembre 2011.
L'autorité précédente a exposé les différents éléments qui la convainquaient que le recourant avait bel et bien accepté qu'il soit recouru à la violence (arrêt attaqué, p. 31 ch. 2.6). Le recourant se borne à y opposer ses propres déclarations durant la procédure pénale, procédant ainsi de manière appellatoire et par conséquent irrecevable. Au demeurant, le recourant, comme il le rappelle dans son recours, p. 12, a reconnu que "dès lors que les victimes [les époux B._] étaient bien éveillées, il était évident pour moi qu'ils [ses comparses] allaient les maîtriser" (arrêt attaqué, p. 19 let. b.b.a). De telles déclarations permettaient de retenir sans arbitraire que le recourant avait accepté qu'il pourrait être fait usage de contrainte contre les époux B._. Dans ces conditions, sa condamnation pour brigandage en bande (<ref-law>) ne viole pas le droit fédéral.
2.
Le recourant estime excessive la peine privative de liberté de six ans et neuf mois prononcée. Il invoque une violation des art. 47 et 48 let. d CP et considère qu'une peine de trois ans aurait été équitable.
2.1. Selon l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Celle-ci doit être évaluée en fonction de tous les éléments objectifs pertinents, qui ont trait à l'acte lui-même, à savoir notamment la gravité de la lésion, le caractère répréhensible de l'acte et son mode d'exécution. Du point de vue subjectif, sont pris en compte l'intensité de la volonté délictuelle ainsi que les motivations et les buts de l'auteur. A ces composantes de la culpabilité, il faut ajouter les facteurs liés à l'auteur lui-même, à savoir les antécédents judiciaires, la réputation, la situation personnelle (état de santé, âge, obligations familiales, situation professionnelle, risque de récidive, etc.), la vulnérabilité face à la peine, de même que le comportement après l'acte et au cours de la procédure pénale (<ref-ruling> consid. 2.1 p. 19; <ref-ruling> consid. 6.1 p. 20).
Aux termes de l'art. 48 let. d CP, le juge atténue la peine si l'auteur a manifesté par des actes un repentir sincère, notamment s'il a réparé le dommage autant qu'on pouvait l'attendre de lui. Le repentir sincère n'est réalisé que si l'auteur a adopté un comportement particulier, désintéressé et méritoire, qui constitue la preuve concrète d'un repentir sincère. L'auteur doit avoir agi de son propre mouvement dans un esprit de repentir, dont il doit avoir fait la preuve en tentant, au prix de sacrifices, de réparer le tort qu'il a causé (<ref-ruling> consid. 1 p. 99 et les références citées).
Pour fixer la peine, le juge dispose d'un large pouvoir d'appréciation. Il y a toutefois violation du droit fédéral lorsque le juge sort du cadre légal, se fonde sur des critères étrangers à l'<ref-law>, omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61).
2.2. L'autorité précédente a considéré que la faute des protagonistes, dont le recourant, était incontestablement grave. Ils faisaient des allers-retours entre la Roumanie et la Suisse dans le seul but de commettre un grand nombre d'infractions en peu de temps (du 3 août au 14 octobre 2011). Ils ont agi avec détermination, sans se laisser dissuader le cas échéant par la présence de victimes, choisies dans la majorité des cas en raison de leur grande vulnérabilité. Ce mode opératoire était particulièrement lâche et détestable. S'il ne se distinguait pas par une préparation minutieuse, encore que des repérages aient eu lieu, l'impulsivité était surtout indicatrice d'une certaine brutalité et d'absence de scrupules, les auteurs investissant soudainement des habitations, disposés à maîtriser les occupants éventuels, le déchainement de violence à l'encontre de la victime D._ dépassant toutefois les prévisions du recourant. Au-delà du dommage matériel et affectif, les conséquences pour les victimes ont été lourdes en termes de perte de qualité de vie. Le mobile était celui, égoïste, de l'appât du gain, la disproportion entre les agissements commis et leur finalité suscitant l'incompréhension des victimes. Le concours d'infractions devait être retenu. Aucune circonstance atténuante n'était réalisée et notamment pas celle du repentir actif pour le recourant.
Ce dernier avait commis trois brigandages aggravés, un vol aggravé, des infractions de dommages à la propriété et de violation de domicile. Ses antécédents en Suisse comme en Roumaine étaient mauvais et, à une exception, spécifiques. Sa situation personnelle était certes difficile mais ne justifiait pas le passage à l'acte, encore moins la commission d'infractions multiples et d'une telle gravité. L'invocation d'un enfant - âgé de six ans - pour donner de la substance à sa décision de changer de vie se heurtait au constat que cette même circonstance ne l'avait pas empêché de passer à l'acte. Vu le nombre et la gravité des faits qui lui étaient reprochés, ainsi que l'ensemble des autres circonstances, l'autorité précédente a estimé que le recourant aurait sans doute mérité une peine privative de liberté de l'ordre de neuf ans. Comte tenu de sa très bonne collaboration, elle a prononcé une peine privative de liberté de six ans et neuf mois, dite peine étant complémentaire à celle prononcée par le ministère public le 31 octobre 2011.
2.3. Le recourant reproche à l'autorité précédente de n'avoir pas retenu son repentir sincère, en violation de l'art. 48 let. d CP. Il se plaint également d'un défaut de motivation concernant des rétractations de sa part invoquées par l'autorité précédente pour justifier son refus d'appliquer cette disposition.
Durant la procédure, le recourant a admis avoir participé à plusieurs cambriolages. Pour plusieurs des infractions qui lui sont reprochées, il a donné l'identité de ses comparses. Il ne fait ainsi pas de doute, comme l'a retenu l'autorité précédente, que sa collaboration a été très bonne et que le recourant s'est chargé lui-même et s'expose à des représailles. Néanmoins, le recourant a été condamné pour trois brigandages aggravés, car commis en bande. Pour deux d'entre eux, il a nié avoir accepté le recours à la violence pour voler, tentant de faire qualifier ses actes de vols et non de brigandages, infractions sanctionnées beaucoup plus lourdement. Ces deux brigandages ont été commis contre des personnes âgées de 84, 86 et 90 ans, choisies comme telles car plus vulnérables. Elles sont restées choquées par les faits et la violence dont elles ont été victimes. Dès lors que le recourant nie avoir accepté l'usage de violence à leur encontre, l'un des éléments les plus choquants dans la commission de ces deux cambriolages, on ne saurait considérer, malgré les éléments favorables exposés ci-dessus, qu'il ait pris conscience de la gravité de ses actes et fait ainsi preuve de repentir sincère au sens de l'art. 48 let. d CP. Le grief soulevé par le recourant à cet égard doit être rejeté. Les critiques du recourant à l'encontre des autres motifs retenus par l'autorité précédente pour nier le repentir sincère sont sans objet.
2.4. Le recourant invoque que ses antécédents, en particulier roumains, auraient été pris en compte de façon disproportionnée. Ces derniers n'auraient pas dû être pris en considération compte tenu de l'écoulement du temps et de l'absence de commission d'infractions pendant cette période. Outre la présente condamnation et celle du 31 octobre 2011, le recourant, âgé au moment des faits litigieux de 30 ans, a été condamné à six reprises à des peines totalisant plus de sept ans de privation de liberté. En 2001 encore, il avait été condamné à trois ans de prison pour vol aggravé. Il a récidivé, de sorte à être à nouveau condamné, en Suisse cette fois, en décembre 2009. L'autorité précédente devait tenir compte de tels antécédents. Rien, et notamment pas l'argumentation du recourant, ne démontre qu'elle leur aurait donné un poids excessif.
2.5. Le recourant soutient que l'autorité précédente n'aurait pas tenu compte de sa situation personnelle. Cette autorité a clairement exposé la situation du recourant en p. 23-24 de l'arrêt attaqué. Elle l'a mentionnée dans la motivation relative à la quotité de la peine, p. 33. On comprend qu'elle en a également pris compte dans les "autres circonstances" mentionnées p. 33 in fine. Tel que motivé, le grief est infondé.
2.6. Le recourant reproche à l'autorité précédente de ne pas avoir tenu suffisamment compte de sa très bonne collaboration.
Il résulte de l'arrêt attaqué que celle-ci a conduit à une réduction de la peine privative de liberté de deux ans et trois mois sur les neuf ans initialement prévus.
Le recourant se réfère à une pratique du Tribunal fédéral indiquant que des aveux ou un repentir justifiaient une réduction de peine de l'ordre d'un cinquième à un tiers. L'auteur qu'il cite précise à juste titre que l'arrêt en question n'a pas été confirmé et qu'une collaboration à l'enquête ne donne pas droit à une réduction mathématique (cf. QUELOZ/HUMBERT, Commentaire romand, Code pénal I, 2009, n° 79 ad <ref-law>; cf. également arrêt 6S.283/2002 du 26 novembre 2002 consid. 6.2 non publié à l'ATF <ref-ruling>1). Le grief est à cet égard infondé.
2.7. Pour le surplus la peine privative de liberté de six ans et neuf mois, au vu des infractions retenues, ne sort pas du cadre légal. Elle a été fixée sur la base de critères pertinents et on n'en discerne pas d'importants qui auraient été omis ou pris en considération à tort. Les éléments à prendre en compte ont par ailleurs été correctement évalués et ont abouti au prononcé d'une peine qui ne peut être qualifiée d'excessive. La sanction infligée ne viole donc pas le droit fédéral.
3.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient manifestement dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'600 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, à B.B._ et C.B._ ainsi qu'à D._ et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 27 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod