Faits : A. Par jugement du 10 janvier 2014, le Tribunal correctionnel du canton de Genève a reconnu X._ coupable de brigandage. Il a révoqué la libération conditionnelle qui lui avait été accordée le 18 décembre 2012 et l'a condamné à une peine privative de liberté d'ensemble de 5 ans et 6 mois, sous déduction de 303 jours de détention avant jugement. Il a en outre révoqué le sursis (peine privative de liberté de 12 mois) octroyé par le Tribunal de police de Genève le 9 août 2012. B. Par arrêt du 13 juin 2014, la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève a rejeté l'appel interjeté par X._ contre la décision de première instance, qu'elle a confirmée. En bref, il en ressort les faits suivants. Le 8 mars 2013 vers 18h45, X._, A._ et B._, ont pénétré, gantés et masqués, dans le kiosque et bureau de change Z._ à U._. Pendant que A._ faisait le guet à l'entrée muni d'une serpette, X._ a sauté par-dessus le comptoir en menaçant avec une arme de poing l'employée qui se trouvait derrière celui-ci, alors que B._ le contournait pour venir menacer cette dernière avec une hache, se faisant ainsi remettre le contenu des caisses de Z._, soit l'équivalent de quelque 30'000 francs. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre la décision cantonale et conclut, principalement, à sa réforme en ce sens qu'il est acquitté du chef d'accusation de brigandage et qu'une indemnité à hauteur de 200 fr. par jour de détention lui est octroyée. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Il sollicite en outre l'assistance judiciaire.