Faits :
A.
Par jugement du 10 mai 2013, le Tribunal criminel du canton de Genève a reconnu Y._ coupable de brigandage aggravé, tentative de brigandage aggravé, complicité de brigandage aggravé, complicité de vol aggravé, complicité de vol et violation de domicile. Il l'a condamné à une peine privative de liberté de cinq ans, sous déduction de la détention avant jugement.
B.
Le ministère public a fait appel de ce jugement contestant, s'agissant de Y._, la qualification juridique de deux cambriolages et la quotité de la peine. Y._ n'a pas formé d'appel joint.
Par arrêt du 14 janvier 2014, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement l'appel du ministère public. Annulant le jugement du 10 mai 2013, elle a reconnu Y._ coupable de brigandage aggravé (<ref-law>), complicité de brigandage aggravé (art. 25 et 140 ch. 3 CP), tentative de brigandage aggravé (art. 22 al. 1 et 140 ch. 3 CP), complicité de vol aggravé (art. 25 et 139 ch. 3 CP) et violation de domicile (<ref-law>). Elle l'a condamné à une peine privative de liberté de sept ans, sous déduction de la détention avant jugement.
C.
Y._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à la réforme de cette décision en ce sens que la peine privative de liberté n'excède pas cinq ans, subsidiairement au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite l'assistance judiciaire.

Considérant en droit :
1.
Le recourant invoque une violation des art. 47 et 50 CP.
1.1. Aux termes de l'<ref-law>, le juge fixe la peine d'après la culpabilité de l'auteur. Il prend en considération les antécédents et la situation personnelle de ce dernier ainsi que l'effet de la peine sur son avenir (al. 1). La culpabilité est déterminée par la gravité de la lésion ou de la mise en danger du bien juridique concerné, par le caractère répréhensible de l'acte, par les motivations et les buts de l'auteur et par la mesure dans laquelle celui-ci aurait pu éviter la mise en danger ou la lésion, compte tenu de sa situation personnelle et des circonstances extérieures (al. 2).
L'<ref-law> confère un large pouvoir d'appréciation au juge. Celui-ci ne viole le droit fédéral en fixant la peine que s'il sort du cadre légal, s'il se fonde sur des critères étrangers à l'<ref-law>, s'il omet de prendre en considération des éléments d'appréciation prévus par cette disposition ou, enfin, si la peine qu'il prononce est exagérément sévère ou clémente au point de constituer un abus du pouvoir d'appréciation (<ref-ruling> consid. 5.6 p. 61).
L'exercice de ce contrôle suppose que le juge exprime, dans sa décision, les éléments essentiels relatifs à l'acte ou à l'auteur qu'il prend en compte, de manière à ce que l'on puisse constater que tous les aspects pertinents ont été pris en considération et comment ils ont été appréciés, que ce soit dans un sens aggravant ou atténuant (cf. <ref-law>). Il peut passer sous silence les éléments qui, sans abus du pouvoir d'appréciation, lui apparaissent non pertinents ou d'une importance mineure. La motivation doit cependant justifier la peine prononcée, en permettant de suivre le raisonnement adopté même si le juge n'est pas tenu d'exprimer en chiffres ou en pourcentages l'importance qu'il accorde à chacun des éléments qu'il cite (<ref-ruling> consid. 2c p. 104 s.).
1.2. A l'appui de ses griefs, le recourant se réfère à la motivation contenue dans le jugement de première instance, ayant conduit au prononcé d'une peine privative de liberté de cinq ans. Il estime que les seuls éléments nouveaux retenus par l'autorité précédente étaient la requalification d'un vol en vol en bande et la nécessité d'une peine plus lourde pour détourner le recourant de nouveaux actes criminels. Selon lui, aucun élément ne justifiait l'augmentation par l'autorité précédente de deux ans de la durée de la peine privative de liberté prononcée en première instance. La motivation de l'arrêt attaqué serait insuffisante sur ce point.
Le recourant perd ici de vue que l'autorité d'appel dispose d'un plein pouvoir d'examen en fait et en droit (cf. <ref-law>), sur les points attaqués (<ref-law>), en l'espèce notamment la quotité de la peine prononcée en première instance dans le cadre de l'appel du ministère public. L'autorité précédente devait ainsi examiner librement, en sa qualité de juridiction d'appel, les critères posés par l'<ref-law> et fixer la peine en conséquence. L'obligation de motivation prévue par l'<ref-law> ne portait que sur cet examen. L'autorité précédente n'avait en revanche pas à expliquer spécifiquement pour quels motifs elle prononçait une peine différente de celle ordonnée en première instance.
Tels que motivés, les griefs du recourant sont infondés.
Au demeurant, l'autorité précédente a dûment motivé la peine privative de liberté de sept ans prononcée à l'encontre du recourant (cf. arrêt attaqué, ch. 42 p. 32-33 et ch. 4.2.2 p. 34). On peut s'y référer. La peine a été fixée dans le cadre légal. Le recourant ne cite aucun critère qui aurait été retenu à tort par l'autorité précédente ou qui aurait été ignoré et on ne discerne pas que tel soit le cas ni que la peine procède d'un abus du pouvoir d'appréciation accordé au juge par l'<ref-law>. La peine prononcée ne viole pas le droit fédéral.
2.
Le recours doit être rejeté dans la mesure où il est recevable. Les conclusions étaient manifestement dénuées de chance de succès. La demande d'assistance judiciaire doit être rejetée (<ref-law> a contrario). Le recourant supportera les frais de justice dont la quotité tiendra compte de sa situation financière (art. 65 al. 2 et art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties, à B.B._ et C.B._ ainsi qu'à D._ et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 27 janvier 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod