Faits: A. Par jugement du 8 mai 2013, le Tribunal de police de l'arrondissement de Lausanne a déclaré A._ coupable d'infraction à la loi fédérale sur les étrangers (art. 115 al. 1 litt. b LEtr) et l'a condamné à une peine pécuniaire de 180 jours-amende, le montant du jour-amende étant fixé à 10 fr., sous déduction de la détention subie avant jugement. B. Statuant sur appel de A._, la Cour d'appel pénale du Tribunal cantonal vaudois a confirmé la décision de première instance, par ju-gement du 26 septembre 2013. En substance, il est reproché à A._, ressortissant de Côte d'Ivoire, d'avoir séjourné en Suisse, notamment à Lausanne, entre le 15 juin 2010, lendemain de sa dernière condamnation pour séjour illégal, et le 11 octobre 2012, alors qu'il n'était pas titulaire d'un permis de séjour valable. Par décision du 24 octobre 2003, définitive et exécutoire dès le 27 novembre 2003, la demande d'asile de A._ a été rejetée. Depuis 2005, le recourant a fait l'objet de quatre condamnations. Le 26 mai 2005, il a été condamné à 2 mois d'emprisonnement pour faux dans les certificats, rupture de ban et violation d'une mesure (mesure de contrainte en matière de droit des étrangers; art 23a LSEE). Les 20 et 26 janvier 2006, des peines de respectivement 3 et 4 mois d'emprisonnement ont été prononcées, notamment pour rupture de ban et violation d'une mesure (mesure de contrainte en matière de droit des étrangers; art 23a LSEE). Le 14 juin 2010, le recourant a été condamné à une peine de 120 jours-amende à 10 fr. pour séjour illégal. C. A._ forme un recours en matière pénale contre le jugement du 26 septembre 2013 et conclut, avec suite de frais et dépens, à sa réforme en ce sens qu'il soit libéré du chef d'infraction à la loi fédérale sur les étrangers et qu'une indemnité au sens de l'art. 429 CPP lui soit versée à hauteur de 2'108 fr. 40 à titre de frais de défense et de 2'400 fr. à titre d'indemnité pour détention injustifiée. Il sollicite par ailleurs l'assistance judiciaire.