Faits : A. Par jugement du 10 mai 2013, le Tribunal criminel du canton de Genève a reconnu X._ coupable de brigandage aggravé, tentative de brigandage aggravé, brigandage simple et violation de domicile. Il l'a condamné à une peine privative de liberté de sept ans, sous déduction de la détention avant jugement. B. Le ministère public a fait appel de ce jugement contestant, s'agissant de X._, la qualification juridique de l'un des cambriolages et la quotité de la peine. X._ a formé un appel joint. Par arrêt du 14 janvier 2014, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement l'appel du ministère public et rejeté l'appel joint de X._. Annulant le jugement du 10 mai 2013, elle a reconnu ce dernier coupable de brigandage aggravé (art. 140 ch. 3 CP), de tentative de brigandage aggravé (art. 22 al. 1 et 140 ch. 3 CP) et de violation de domicile (art. 186 CP). Elle l'a condamné à une peine privative de liberté de neuf ans, sous déduction de la détention avant jugement. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à l'annulation partielle de cette décision, à sa condamnation pour brigandage simple pour les faits commis au préjudice de E._ et au prononcé d'une peine privative de liberté n'excédant pas cinq ans. Subsidiairement, il conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'assistance judiciaire.