Faits : A. Par jugement du 12 juin 2013, le Tribunal de police du canton de Genève a condamné X._ pour lésions corporelles simples au préjudice de A._ à une peine pécuniaire de 30 jours-amende, à 30 fr. le jour et sursis pendant trois ans. X._ a également été astreint à payer à A._ une indemnité de 1'000 fr. pour le tort moral subi. B. Par arrêt du 13 juin 2014, la Chambre pénale d'appel et de révision de la Cour de justice du canton de Genève a rejeté l'appel formé par X._ et l'appel joint déposé par A._. Elle a statué à nouveau s'agissant des dépens occasionnés à A._ par la procédure. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de dépens, à l'annulation de cette décision, à son acquittement, au rejet des conclusions civiles formulées par A._ et à l'allocation de dépens pour la procédure de première instance, subsidiairement à l'annulation de l'arrêt du 13 juin 2014 et au renvoi de la cause à l'autorité cantonale pour nouvelle décision. Il sollicite l'assistance judiciaire.