Faits :
A.
Par jugement du 7 mai 2015, le Tribunal de police de la République et canton de Genève a condamné X._ pour infractions à l'<ref-law> et à l'art. 115 al. 1 let. b LEtr à une peine privative de liberté de cinq mois, sous déduction de la détention avant jugement subie, peine complémentaire à celle prononcée par le Ministère public le 11 décembre 2014. Il a également prononcé une amende de 100 fr., la peine privative de liberté de substitution étant fixée à un jour.
B.
Par arrêt du 5 octobre 2015, la Chambre pénale d'appel et de révision de la Cour de justice de la République et canton de Genève a admis partiellement l'appel formé par X._ contre ce jugement. Réduisant la période pour laquelle le recourant était sanctionné pour avoir enfreint l'art. 115 al. 1 let. b LEtr, elle a ramené la peine privative de liberté prononcée à quatre mois.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision sur la peine relative à la violation de la LStup. Il sollicite le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant ne prend que des conclusions en annulation, procédé en principe irrecevable (<ref-ruling> consid. 1.3 p. 317; <ref-ruling> consid. 1.3 p. 383). On comprend néanmoins de la motivation de son recours qu'il réclame de ne pas être sanctionné pour l'infraction à la LEtr commise, ce qui suffit en l'espèce pour admettre la recevabilité de son recours.
2.
Le recourant estime que le prononcé d'une peine privative de liberté pour l'infraction à la LEtr commise violerait la Directive 2008/115/CE du Parlement européen et du Conseil du 16 décembre 2008 relative aux normes et procédures communes applicables dans les Etats membres au retour des ressortissants de pays tiers en séjour irrégulier (ci-après: Directive sur le retour) et la jurisprudence européenne y relative.
2.1. Par arrêté fédéral du 18 juin 2010, l'Assemblée fédérale a approuvé la reprise de la Directive sur le retour en tant que développement de l'acquis de Schengen (RO 2010 5925). Les juridictions suisses doivent ainsi faire leur possible pour mettre en oeuvre la jurisprudence européenne relative à cette directive (arrêts 6B_320/2013 du 29 août 2013 consid. 3.1; 6B_173/2013 du 19 août 2013 consid. 1.4).
La Cour de justice de l'Union européenne (ci-après: CJUE) a précisé que les ressortissants de pays tiers ayant, outre le délit de séjour irrégulier, commis un ou plusieurs autres délits, pouvaient le cas échéant, en vertu de l'art. 2 par. 2 let. b de la Directive sur le retour, être soustraits au champ d'application de cette directive (arrêt du 6 décembre 2011 C-329/11 Achughbabian, ch. 41). Le Tribunal fédéral a déduit de cette jurisprudence que la Directive sur le retour n'était pas applicable aux ressortissants des pays tiers qui ont commis, outre le séjour irrégulier, un ou plusieurs autres délits en dehors du droit pénal sur les étrangers (arrêt 6B_320/2013 du 29 août 2013 consid. 3.2; également THOMAS HUGI YAR, Das Urteil El Dridi, die EU-Rückführungsrichtlinie und der Schengen-Besitzstand, jusletter du 11 juillet 2011, note 11; ANDREAS ZÜND, in Migrationsrecht, 4e éd. 2015, n° 12 ad art. 115 LEtr).
2.2. Dans le cas d'espèce, le recourant a également été condamné pour infraction à l'<ref-law>. Il s'ensuit qu'il est soustrait à l'application de la Directive sur le retour et que sa condamnation à une peine privative de liberté n'est pas contraire à celle-ci. Le grief soulevé, et avec lui le recours, doit être rejeté.
3.
Le recours doit être rejeté.
Comme les conclusions étaient vouées à l'échec, l'assistance judiciaire ne peut être accordée (<ref-law>). Le recourant devra donc supporter les frais qui seront réduits pour tenir compte de sa situation financière (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et à la Cour de justice de la République et canton de Genève, Chambre pénale d'appel et de révision.
Lausanne, le 13 octobre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod