Faits: A. Par jugement du 30 juillet 2013, le Tribunal correctionnel de l'arrondissement de Lausanne a constaté que X._ s'était rendu coupable d'infraction grave et de contravention à la loi fédérale sur les stupéfiants et d'infraction à la loi fédérale sur les étrangers. Il l'a condamné à une peine privative de liberté de dix-huit mois, sous déduction de 357 jours de détention avant jugement, peine partiellement complémentaire et complémentaire à deux condamnations antérieures. Le tribunal a ordonné le maintien en détention de X._ pour des motifs de sûreté et lui a alloué une indemnité de 250 fr. en compensation de ses conditions de détention du 10 au 20 août 2012. X._ a formé appel contre ce jugement, en concluant à sa réforme en ce sens qu'il est condamné à une peine privative de liberté n'excédant pas douze mois, sous déduction de 357 jours de détention avant jugement. Il a en outre requis sa mise en liberté immédiate. Le Ministère public a formé appel contre ce jugement, en concluant à sa réforme en ce sens que, principalement, aucune indemnité n'est allouée à X._, subsidiairement, qu'une telle indemnité est compensée avec les frais de justice mis à sa charge. X._ a déposé un appel joint. Il a conclu à ce que son indemnité pour tort moral soit fixée à 50 fr. par jour de détention dans les locaux de la police. A l'audience d'appel, X._ a déclaré retirer son appel principal. B. Par jugement du 18 novembre 2013, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a admis l'appel du Ministère public et rejeté l'appel joint de X._. Elle a en conséquence réformé le jugement du 30 juillet 2013 en ce sens qu'aucune indemnité pour détention illicite n'est allouée à X._. La Cour a par ailleurs constaté que le jugement du 30 juillet 2013 était exécutoire pour ce qui concernait la condamnation pénale. C. X._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 18 novembre 2013, concluant, avec suite de dépens, à sa réforme en ce sens que l'Etat de Vaud est condamné à lui payer une indemnité pour tort moral de 550 fr. pour les conditions de détention illégales subies. Il sollicite par ailleurs l'assistance judiciaire. Le Ministère public conclut au rejet du recours. X._ a déposé des observations.