Faits : A. Par jugement du 7 mai 2015, le Tribunal de police de la République et canton de Genève a condamné X._ pour infractions à l'art. 19 al. 1 LStup et à l'art. 115 al. 1 let. b LEtr à une peine privative de liberté de cinq mois, sous déduction de la détention avant jugement subie, peine complémentaire à celle prononcée par le Ministère public le 11 décembre 2014. Il a également prononcé une amende de 100 fr., la peine privative de liberté de substitution étant fixée à un jour. B. Par arrêt du 5 octobre 2015, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement l'appel formé par X._ contre ce jugement. Réduisant la période pour laquelle le recourant était sanctionné pour avoir enfreint l'art. 115 al. 1 let. b LEtr, elle a ramené la peine privative de liberté prononcée à quatre mois. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision sur la peine relative à la violation de la LStup. Il sollicite le bénéfice de l'assistance judiciaire.