Faits : A. Par jugement du 10 mai 2013, le Tribunal criminel du canton de Genève a condamné Z._ pour brigandage aggravé (art. 140 ch. 3 CP), tentative de brigandage aggravé (art. 22 al. 1 et 140 ch. 3 CP) et violation de domicile (art. 186 CP) à une peine privative de liberté de cinq ans, sous déduction de la détention avant jugement. Z._ a également été astreint à payer diverses sommes aux parties plaignantes, dont une indemnité pour tort moral de 30'000 fr. en faveur de D._. B. Le ministère public a fait appel de ce jugement. Z._ a formé un appel joint. Par arrêt du 14 janvier 2014, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement l'appel du ministère public et rejeté l'appel joint de Z._. Annulant le jugement du 10 mai 2013, elle a condamné Z._ pour brigandage aggravé (art. 140 ch. 3 CP), tentative de brigandage aggravé (art. 22 al. 1 et 140 ch. 3 CP) et violation de domicile (art. 186 CP) à une peine privative de liberté de six ans, sous déduction de la détention avant jugement. Z._ restait astreint à payer diverses sommes aux parties plaignantes, dont une indemnité pour tort moral de 30'000 fr. en faveur de D._. C. Z._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son acquittement des infractions retenues à son encontre concernant les fais commis contre E.F._ et F.F._, d'une part, B.B._ et C.B._, d'autre part, et au prononcé d'une peine privative de liberté de deux ans et six mois. Il requiert également sa libération immédiate et réserve ses prétentions contre l'Etat de Genève pour détention injustifiée. Il sollicite l'assistance judiciaire.