Faits :
A.
A.a. Par jugement du 9 avril 2014, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour vol d'importance mineure, dommages à la propriété, injure et violence ou menace contre les autorités et les fonctionnaires à une peine pécuniaire de 120 jours-amende, à 30 fr. le jour, ainsi qu'à une amende de 300 fr. avec peine de substitution de 3 jours. Il l'a reconnu débiteur des quatre parties plaignantes de plus de 10'000 fr. au total.
A.b. Par jugement du 11 août 2014, la Cour d'appel pénale du Tribunal cantonal vaudois a réformé ce jugement en ce sens que X._ a été acquitté du chef d'accusation de dommages à la propriété en relation avec l'une des plaintes pénales, jugée tardive. Elle a condamné X._ à une peine pécuniaire de 100 jours-amende, à 10 fr. le jour, et confirmé le jugement du 9 avril 2014 pour le surplus.
A.c. Par arrêt 6B_1140/2014 du 3 mars 2016, le Tribunal fédéral a jugé que la cour cantonale avait violé le droit fédéral en condamnant le recourant pour vol d'importance mineure, alors qu'il n'avait fait que débuter l'exécution de son infraction, cette infraction n'étant pas punissable au stade de la tentative. Le recours de X._ devait être admis en lien avec cette condamnation. La cause était renvoyée à la cour cantonale pour nouvelle décision. Pour le surplus, le recours était rejeté dans la mesure où il est recevable.
B.
Par jugement du 12 avril 2016, la Cour d'appel pénale du Tribunal cantonal vaudois a réformé le jugement du 9 avril 2014 en ce sens que X._ a été reconnu coupable de dommages à la propriété, injure et violence ou menace contre les autorités et les fonctionnaires à une peine pécuniaire de 100 jours amende, à 10 fr. le jour. Il a ainsi été acquitté de l'accusation de vol d'importance mineure et l'amende prononcée par 300 fr. a été supprimée. La Cour d'appel pénale a mis les frais de première instance, arrêtés à 1525 fr., à la charge de X._ et les frais d'appel antérieurs à l'arrêt du Tribunal fédéral du 3 mars 2016, arrêtés à 2130 fr., par trois quarts à la charge de X._, le solde étant laissé à la charge de l'Etat, à l'instar des frais d'appel postérieurs à l'arrêt précité.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre ce jugement. Il conclut, avec suite de frais et dépens, à sa modification en ce sens que les frais d'appel antérieurs à l'arrêt du 3 mars 2016, arrêtés à 2130 fr., sont mis par deux tiers à sa charge, le solde étant laissé à la charge de l'Etat, et une indemnité par 1863 fr. 50 lui est allouée. Il requiert subsidiairement l'octroi d'une indemnité de 1424 fr. 60, encore plus subsidiairement le renvoi de la cause à l'autorité précédente pour nouvelle décision sur les frais et sur son indemnisation. Il sollicite le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant conteste plusieurs faits retenus par l'autorité précédente.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation strictes posées par l'<ref-law> (cf. <ref-ruling> consid. 6.3 p. 375).
Le Tribunal fédéral n'a pas à établir lui-même les faits. Un grief d'arbitraire, par ailleurs non soulevé conformément à l'<ref-law>, dans la constatation des faits ne saurait dès lors être fondé sur la circonstance que le jugement attaqué contiendrait des faits qui n'étaient pas constatés par l'arrêt du Tribunal fédéral ayant annulé le jugement cantonal précédent. Les critiques du recourant, telles que motivées, sont irrecevables.
2.
Le recourant conteste le refus de l'autorité précédente de lui octroyer une indemnité fondée sur l'<ref-law>. Il soutient que le comportement invoqué par cette autorité ne permettait pas ce refus. En outre, l'indemnisation aurait dû suivre le sort des frais d'appel. Ceux-ci auraient par ailleurs dû être mis à sa charge par 2/3 seulement et non 3/4. Le recourant allègue une violation des art. 426 al. 2, 429 al. 1 let. a et 430 al. 1 let. a CPP.
2.1.
2.1.1.
Le sort des frais de procédure de première instance est réglé par les art. 426 et 427 CPP. Aux termes de l'<ref-law>, lorsque la procédure fait l'objet d'une ordonnance de classement ou que le prévenu est acquitté, tout ou partie des frais de procédure peuvent être mis à sa charge s'il a, de manière illicite et fautive, provoqué l'ouverture de la procédure ou rendu plus difficile la conduite de celle-ci.
2.1.2. Les frais survenus en deuxième instance sont répartis conformément à l'<ref-law>. Aux termes de l'art. 428 al. 1 1re phrase CPP, les frais de la procédure de recours sont mis à la charge des parties dans la mesure où elles ont obtenu gain de cause ou succombé. Pour déterminer si une partie succombe ou obtient gain de cause, il faut examiner dans quelle mesure ses conclusions sont admises en deuxième instance (arrêts 6B_136/2016 du 23 janvier 2017 consid. 4.1.2; 6B_1025/2014 du 9 février 2015 consid. 2.4.1 et les arrêts cités). Lorsqu'une partie obtient gain de cause sur un point, succombe sur un autre, le montant des frais à mettre à sa charge dépend de manière déterminante du travail nécessaire à trancher chaque point (arrêts 6B_634/2016 du 30 août 2016 consid. 3.2; 6B_642/2015 du 17 août 2015 consid. 2.1.2). Dans ce cadre, la répartition des frais relève de l'appréciation du juge du fond. Comme celui-ci est le mieux placé pour juger de son caractère approprié, le Tribunal fédéral s'impose une certaine retenue. Il n'intervient que si le juge du fond a excédé le large pouvoir d'appréciation qui lui est accordé sur ce point (arrêts 6B_634/2016 du 30 août 2016 consid. 3.2; 6B_1079/2015 du 29 février 2016 consid. 5.3.1).
Aux termes de l'<ref-law>, lorsqu'une partie qui interjette un recours obtient une décision qui lui est plus favorable, les frais de la procédure peuvent être mis à sa charge si les conditions qui lui ont permis d'obtenir gain de cause n'ont été réalisées que dans la procédure de recours (let. a) ou si la modification de la décision est de peu d'importance (let. b).
2.2.
2.2.1. Selon l'<ref-law>, le prévenu a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure s'il est acquitté totalement ou en partie. L'autorité pénale peut réduire ou refuser l'indemnité lorsque le prévenu a provoqué illicitement et fautivement l'ouverture de la procédure ou a rendu plus difficile la conduite de celle-ci (<ref-law>).
La condamnation d'un prévenu acquitté à supporter tout ou partie des frais doit respecter la présomption d'innocence, consacrée par l'<ref-law>. Celle-ci interdit de rendre une décision défavorable au prévenu libéré en laissant entendre que ce dernier serait néanmoins coupable des infractions qui lui étaient reprochées. Une condamnation aux frais n'est ainsi admissible que si le prévenu a provoqué l'ouverture de la procédure pénale dirigée contre lui ou s'il en a entravé le cours. A cet égard, seul un comportement fautif et contraire à une règle juridique, qui soit en relation de causalité avec les frais imputés, entre en ligne de compte (<ref-ruling> consid. 1b p. 334; plus récemment arrêt 6B_1065/2015 du 15 septembre 2016 consid. 2.1).
2.2.2. S'agissant de la question de l'indemnisation du prévenu (<ref-law>) pour la procédure de première instance, celle-ci doit être traitée en relation avec celle des frais (<ref-law>) : si le prévenu supporte les frais en application de l'art. 426 al. 1 ou 2 CPP, une indemnité est en règle générale exclue. La question de l'indemnisation doit être tranchée après la question des frais. Dans cette mesure, la décision sur les frais préjuge de la question de l'indemnisation (cf. arrêts 6B_792/2016 du 18 avril 2017 consid. 3.3; 6B_1065/2015 du 15 septembre 2016 consid. 2.2).
2.2.3. L'<ref-law> règle les prétentions en indemnités et en réparation du tort moral pour la procédure de recours. Le renvoi de l'<ref-law> aux art. 429 à 434 CPP ne signifie pas que les indemnités doivent se déterminer par rapport à l'issue de la procédure de première instance. Au contraire, elles doivent être fixées séparément pour chaque phase de la procédure, indépendamment de la procédure de première instance. Le résultat de la procédure de recours est déterminant (<ref-ruling> consid. 3.2.2 p. 169 s.).
2.3. En l'espèce, l'autorité d'appel a confirmé que l'ensemble des frais de première instance étaient à la charge du recourant. Elle a dit que les frais d'appel antérieurs à l'arrêt du Tribunal fédéral du 3 mars 2016, par 2130 fr., seraient mis par trois quarts à la charge du recourant, le solde étant laissé à la charge de l'Etat, à l'instar des frais d'appel postérieurs à l'arrêt précité.
S'agissant de l'indemnité réclamée par le recourant sur la base de l'<ref-law>, l'autorité précédente n'a pas distingué entre l'indemnité éventuellement due pour la procédure de première instance et celle éventuellement due pour la deuxième instance. Elle a constaté que le recourant s'était rendu dans un magasin avec l'intention d'y dérober de la nourriture. Il avait pris de la marchandise puis l'avait reposée parce qu'il s'était fait surprendre par un vigile. Sans citer aucune disposition légale qui aurait été violée, l'autorité précédente en a déduit que le recourant, en débutant la soustraction et en tentant de prendre la fuite, avait provoqué son interpellation et la dénonciation du commerce lésé, ce qui avait entraîné l'ouverture d'une instruction pénale. Son comportement se trouvait directement à l'origine de l'action pénale ouverte. Une indemnisation, même partielle, au sens de l'<ref-law> devait lui être refusée en application de l'<ref-law>.
2.4. Le recourant ne formule aucun développement quant aux frais de première instance, entièrement laissés à sa charge. Le grief de violation de l'<ref-law> ne peut partant qu'être écarté. Cette solution exclut toute indemnisation pour la procédure de première instance.
2.5. Le recourant réclame que les frais d'appels antérieurs à l'arrêt 6B_1140/2014, par 2130 fr., soient mis à sa charge non par trois quarts, mais par deux tiers. A l'appui de ce moyen, il invoque que les trois complexes de faits (violence ou menace contre les autorités et les fonctionnaires et insultes; vol d'importance mineure; dommages à la propriété) ont soulevé les mêmes difficultés et revêtu une ampleur similaire. Dès lors, les frais d'appel antérieurs à l'arrêt 6B_1140/2014 mis à sa charge devraient être réduits vu l'acquittement prononcé pour le second état de fait, d'un tiers et non d'un quart seulement.
En première instance, le recourant avait été reconnu coupable du fait de cinq comportements distincts de quatre infractions différentes. Il a conclu en appel à son acquittement total. Il n'a obtenu son acquittement que pour l'un des chefs d'accusation de dommages à la propriété et pour l'accusation de vol d'importance mineure. Il restait débiteur des parties plaignantes de l'entier des montants mis à sa charge en première instance. Le recourant ne démontre pas que les infractions dont il a été acquitté, dont le vol d'importance mineure est la moins importante des quatre initialement retenues par l'autorité de première instance, auraient impliqué plus qu'un quart du travail fourni par l'autorité précédente. De la sorte, on ne saurait considérer que cette autorité aurait excédé son large pouvoir d'appréciation en la matière en condamnant le recourant à supporter trois quarts des frais d'appel antérieurs à l'arrêt du 3 mars 2016. Le grief est infondé.
2.6. Reste la question de l'indemnité réclamée en vertu de l'<ref-law> pour la procédure d'appel. Aux termes de cette disposition, applicable par renvoi de l'<ref-law>, le recourant avait théoriquement droit à une indemnité réduite dès lors qu'il avait eu partiellement gain de cause en instance d'appel. L'autorité précédente a nié ce droit, invoquant l'<ref-law>, au vu du comportement du recourant, tel que décrit supra consid 2.3. On ne distingue toutefois pas dans le comportement mentionné ci-dessus de comportement illicite, distinct de celui visé par les art. 139 et 172ter CP sanctionnant le vol d'importance mineure, infraction dont le recourant a été acquitté. Le refus de toute indemnisation du recourant pour la procédure d'appel, tel que motivé, viole les art. 429 al. 1 let. a et 430 al. 1 let. a CPP.
3.
Il résulte de ce qui précède que le recours doit être très partiellement admis, le jugement annulé s'agissant de la question de l'indemnisation fondée sur l'<ref-law> pour la procédure d'appel et la cause renvoyée à l'autorité précédente pour nouvelle décision sur ce point. Pour le surplus, le recours doit être rejeté dans la mesure de sa recevabilité.
Au regard de la nature procédurale du vice examiné, il peut être procédé au renvoi sans ordonner préalablement d'échange d'écritures.
Le recourant a requis l'assistance judiciaire. Il peut prétendre à une indemnité de dépens réduite relativement à l'admission partielle de son recours (<ref-law>), ce qui rend sa demande d'assistance judiciaire sans objet dans cette mesure. Le recours était, pour le surplus, dénué de chance de succès, si bien que l'assistance judiciaire doit être refusée (art. 64 al. 1 et 2 LTF). Le recourant supportera des frais réduits en raison de l'issue de la procédure et de sa situation financière (art. 65 al. 2 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis dans la mesure où il est recevable. Le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée, dans la mesure où elle n'est pas sans objet.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le canton de Vaud versera en mains du conseil du recourant une indemnité de 1000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
5.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 17 mai 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod