Faits : A. X._ a été mis en prévention pour vol et abus de confiance par le Ministère public de l'arrondissement du Nord vaudois. Par arrêt du 1er septembre 2014, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis un recours formé par X._, annulé un prononcé, laissé les frais à la charge de l'Etat et dit qu'il n'était pas alloué d'indemnité pour la procédure de recours, cette question étant, selon la pratique de la Chambre des recours, tranchée en fin de procédure par l'autorité pénale qui procède à l'abandon de la poursuite pénale par un acquittement total ou partiel ou une ordonnance de classement. Par arrêt du 13 avril 2015, toujours dans le cadre de la même procédure pénale, la Chambre des recours pénale a admis un recours formé par X._, annulé un prononcé, laissé les frais à la charge de l'Etat et dit qu'il n'était pas alloué d'indemnité pour la procédure de recours, en se fondant derechef sur sa pratique. B. Par jugement du 8 septembre 2015, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a reconnu X._ coupable d'abus de confiance, l'a condamné à 120 jours-amende, à 30 fr. le jour et avec sursis durant deux ans, et à une amende de 720 fr., la peine privative de liberté de substitution étant fixée à 24 jours. Cette autorité a mis les frais par 1'440 fr. à la charge de X._ et laissé le solde à la charge de l'Etat, une indemnité fondée sur l'art. 429 al. 1 CPP étant refusée. C. Par jugement du 11 novembre 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._ contre le jugement du 8 septembre 2015 à l'encontre du refus de lui allouer une indemnité au sens de l'art. 429 CPP pour ses frais de défense dans le cadre des deux recours susmentionnés. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut à sa réforme en ce sens que des indemnités de 1'425 fr. 60 et de 712 fr. 80, TVA comprise, lui sont allouées à la charge de l'Etat pour ses frais de défense dans le cadre des procédures de recours susmentionnées, respectivement de la procédure d'appel (conclusions II a et b). A titre subsidiaire, il requiert le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'assistance judiciaire. Invité à se déterminer sur le recours, le Ministère public de l'arrondissement du Nord vaudois y a renoncé. La cour cantonale a indiqué pour sa part qu'elle estimait que la conclusion II a du recourant devait être admise et requis qu'il soit tenu compte de sa détermination dans la fixation des frais et dépens, l'arrêt 6B_1065/2015 étant largement postérieure à la décision cantonale.