Faits :
A.
X._ a été mis en prévention pour vol et abus de confiance par le Ministère public de l'arrondissement du Nord vaudois.
Par arrêt du 1er septembre 2014, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis un recours formé par X._, annulé un prononcé, laissé les frais à la charge de l'Etat et dit qu'il n'était pas alloué d'indemnité pour la procédure de recours, cette question étant, selon la pratique de la Chambre des recours, tranchée en fin de procédure par l'autorité pénale qui procède à l'abandon de la poursuite pénale par un acquittement total ou partiel ou une ordonnance de classement.
Par arrêt du 13 avril 2015, toujours dans le cadre de la même procédure pénale, la Chambre des recours pénale a admis un recours formé par X._, annulé un prononcé, laissé les frais à la charge de l'Etat et dit qu'il n'était pas alloué d'indemnité pour la procédure de recours, en se fondant derechef sur sa pratique.
B.
Par jugement du 8 septembre 2015, le Tribunal de police de l'arrondissement de la Broye et du Nord vaudois a reconnu X._ coupable d'abus de confiance, l'a condamné à 120 jours-amende, à 30 fr. le jour et avec sursis durant deux ans, et à une amende de 720 fr., la peine privative de liberté de substitution étant fixée à 24 jours. Cette autorité a mis les frais par 1'440 fr. à la charge de X._ et laissé le solde à la charge de l'Etat, une indemnité fondée sur l'<ref-law> étant refusée.
C.
Par jugement du 11 novembre 2015, la Cour d'appel pénale du Tribunal cantonal du canton de Vaud a rejeté l'appel formé par X._ contre le jugement du 8 septembre 2015 à l'encontre du refus de lui allouer une indemnité au sens de l'<ref-law> pour ses frais de défense dans le cadre des deux recours susmentionnés.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut à sa réforme en ce sens que des indemnités de 1'425 fr. 60 et de 712 fr. 80, TVA comprise, lui sont allouées à la charge de l'Etat pour ses frais de défense dans le cadre des procédures de recours susmentionnées, respectivement de la procédure d'appel (conclusions II a et b). A titre subsidiaire, il requiert le renvoi de la cause à l'autorité précédente pour nouvelle décision. Il sollicite l'assistance judiciaire.
Invité à se déterminer sur le recours, le Ministère public de l'arrondissement du Nord vaudois y a renoncé. La cour cantonale a indiqué pour sa part qu'elle estimait que la conclusion II a du recourant devait être admise et requis qu'il soit tenu compte de sa détermination dans la fixation des frais et dépens, l'arrêt 6B_1065/2015 étant largement postérieure à la décision cantonale.

Considérant en droit :
1.
Le recourant invoque un déni de justice, le grief de violation de l'<ref-law> soulevé par ses soins n'ayant selon lui pas été traité. Son grief tombe à faux dès lors que, comme le cite le recourant, l'autorité précédente a traité l'application en l'espèce de l'<ref-law> (cf. recours, p. 4).
2.
Le recourant soutient qu'il aurait droit à une indemnisation pour les frais de défense engagés dans les procédures de recours cantonales précitées.
2.1. L'<ref-law> prévoit que si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. Cette disposition s'applique aux voies de recours (y inclus l'appel) en vertu de l'<ref-law>.
2.2. Aux termes de l'<ref-law>, les prétentions en indemnités et en réparation du tort moral dans la procédure de recours sont régies par les art. 429 à 434 CPP (al. 1). Si ni un acquittement total ou partiel, ni un classement de la procédure ne sont prononcés mais que le prévenu obtient gain de cause sur d'autres points, il a droit à une juste indemnité pour ses dépenses (al. 2). Si l'autorité de recours annule une décision conformément à l'<ref-law>, les parties ont droit à une juste indemnité pour les dépenses occasionnées par la procédure de recours et par la partie annulée de la procédure de première instance (al. 3).
L'<ref-law> règle les prétentions en indemnités et en réparation du tort moral pour la procédure de recours. Il vise la procédure de recours en général, à savoir les procédures d'appel et de recours (au sens des <ref-law>). Le renvoi de l'<ref-law> aux art. 429 à 434 CPP ne signifie pas que les indemnités doivent se déterminer par rapport à l'issue de la procédure de première instance. Au contraire, elles doivent être fixées séparément pour chaque phase de la procédure, indépendamment de la procédure de première instance. Le résultat de la procédure de recours est déterminant (<ref-ruling> consid. 3.2.2 p. 169 s.).
2.3. Contrairement à ce que suggère l'arrêt 6B_1065/2015 du 15 septembre 2016, ad consid. 3.3, sans autre développement, l'autorité de recours a la possibilité, mais non l'obligation de statuer sur l'indemnité visée par l'<ref-law>, à l'issue de la procédure de recours (cf. <ref-law>). Y renoncer conduit toutefois à un résultat peu adéquat, à savoir celui de laisser l'autorité de première instance au fond décider du principe et de la quotité d'une indemnité fondée uniquement sur le résultat de la procédure de recours.
2.4. En l'occurrence, le recourant a obtenu gain de cause dans le cadre des procédures de recours cantonales précitées, les décisions attaquées étant annulées et les frais de recours laissés à la charge de l'Etat. Cela justifiait de lui allouer une juste indemnité, à la charge de l'Etat, au sens de l'<ref-law>, et ce indépendamment du sort de la procédure de première instance, respectivement d'appel. Il s'ensuit que le refus d'accorder au recourant l'indemnité litigieuse enfreint l'<ref-law>.
3.
Le recours doit être admis et la cause renvoyée à l'autorité précédente pour nouvelle décision. Le recourant, qui obtient gain de cause, ne supportera pas de frais. Le canton de Vaud n'a pas non plus à en supporter (art. 66 al. 1 et 4 LTF). Le recourant a droit à des dépens à la charge du canton. Cela rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera à l'avocat du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 23 novembre 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod