Faits :
A.
Par jugement du 31 août 2015, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a, au terme d'une procédure simplifiée, condamné X._ pour mise en danger de la vie d'autrui, menace et infraction à la LArm à une peine privative de liberté de 15 mois, sous déduction de 122 jours de détention provisoire subie, avec sursis pendant cinq ans, le sursis étant subordonné à une règle de conduite. Il a également considéré que l'intégralité des frais de justice, arrêtés à 23'215 fr. 20, devait être mis à la charge de X._.
B.
Par prononcé rectificatif du 24 septembre 2015, le Tribunal correctionnel de l'arrondissement de la Broye et du Nord vaudois a fixé les frais de justice précités à 27'235 fr. 20. D'une part, une facture du CHUV de 5'600 fr. concernant le rapport d'expertise établi pour le condamné était parvenue au greffe le 18 septembre 2015 et n'avait ainsi pas été prise en compte dans le précédent total des frais. D'autre part, les indemnités allouées par la Chambre des recours pénale au défenseur d'office de X._ avaient été comptabilisées " à double ".
C.
Par arrêt du 5 novembre 2015, la Cour d'appel pénale du Tribunal cantonal vaudois a rejeté l'appel formé par X._ contre ce prononcé et confirmé celui-ci. En bref, elle a estimé que le jugement, qui mettait l'entier des frais de justice à charge de X._, sans inclure les frais d'expertise, souffrait d'une contradiction, de sorte que l'hypothèse du dispositif contradictoire visée par l'<ref-law> était réalisée et le jugement pouvait être rectifié. Au demeurant, elle a considéré que le prononcé attaqué pourrait cas échéant être qualifié de décision au sens des <ref-law> et serait dans ce cas également correct s'agissant du sort donné à la facture du CHUV.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il en demande la modification en ce sens que le prononcé du 24 septembre 2015 est réformé en ce sens que les frais de justice, par 21'635 fr. 20, sont mis à sa charge et les frais de l'arrêt cantonal sont mis à la charge de l'Etat. Il requiert également la suppression du chiffre du dispositif de l'arrêt cantonal prévoyant qu'il ne devra le remboursement à l'Etat de l'indemnité accordée à son défenseur d'office que lorsque sa situation financière le permettra. A titre subsidiaire, il requiert l'annulation de l'arrêt du 5 novembre 2015. Il sollicite le bénéfice de l'assistance judiciaire.
Interpellés, l'autorité précédente et le ministère public ont renoncé à se déterminer.

Considérant en droit :
1.
Le recourant ne motive pas sa conclusion en suppression du chiffre du dispositif de l'arrêt attaqué relatif à son obligation de rembourser à l'Etat l'indemnité de son défenseur d'office lorsque sa situation financière le permettra. Cette conclusion est irrecevable (<ref-law>).
2.
2.1. Aux termes de l'<ref-law>, l'autorité pénale qui a rendu un prononcé dont le dispositif est peu clair, contradictoire ou incomplet ou qui est en contradiction avec l'exposé des motifs, l'explique ou le rectifie à la demande d'une partie ou d'office.
Cette disposition ne vise pas à permettre l'examen matériel d'une décision, mais à pouvoir l'éclaircir, respectivement corriger des erreurs manifestes. Tel est le cas lorsqu'il ressort indubitablement de la lecture du texte de la décision que ce que le tribunal voulait prononcer ou ordonner ne correspond pas avec ce qu'il a prononcé ou ordonné. En d'autres termes, il doit s'agir d'une erreur dans l'expression de la volonté du tribunal, non dans la formation de sa volonté. Une décision qui aurait été voulue comme elle a été exprimée, mais qui repose sur des constatations de fait erronées ou sur une erreur de droit ne peut pas être corrigée par le biais de la procédure prévue par l'<ref-law> (arrêt 6B_115/2016 du 25 mai 2016 consid. 1.3 destiné à la publication).
2.2. L'autorité pénale fixe les frais dans la décision finale (<ref-law>; également <ref-law> prescrivant que le dispositif doit contenir le prononcé relatif aux frais; <ref-ruling> consid. 1 p. 214). Le prononcé relatif aux frais est une décision de nature matérielle (arrêt 6B_310/2012 du 11 décembre 2012 consid. 5.3.1 non publié in <ref-ruling>). L'autorité compétente pour le rendre est liée par celui-ci après sa notification orale, respectivement écrite. Elle ne peut ainsi le modifier matériellement elle-même, lorsqu'il s'avère juridiquement incorrect. Une modification matérielle postérieure, sous la forme d'une réévaluation ou d'un complètement n'est pas possible. Même sous la forme d'une explication ou rectification des prononcés au sens de l'<ref-law>, une décision qui repose sur une erreur de nature factuelle ou juridique lors de la prise de décision, ne peut être corrigée (arrêts 6B_362/2016 du 24 août 2016 consid. 2.6; 6B_633/2015 du 12 janvier 2016 consid. 5.3 et les références citées).
2.3. Le recourant estime que les premiers juges ne pouvaient pas mettre à sa charge, a posteriori, une facture dont ils ne pouvaient ignorer l'existence, quand bien même ils ne l'avaient pas reçue lors des délibérations.
Le jugement du 31 août 2015 a été notifié oralement au conseil du recourant le jour même. Ce jugement ne prenait pas en compte les frais engendrés par l'expertise psychiatrique mise en oeuvre durant l'instruction et facturés, par 5'600 fr., après le jugement du 31 août 2015. Au vu de la jurisprudence qui précède, l'autorité de première instance n'était pas légitimée, constatant cet oubli, à rectifier le dispositif du jugement du 31 août 2015 afin d'augmenter la quotité des frais mis à la charge du recourant pour tenir compte du montant précité. Elle ne pouvait non plus y parvenir en procédant par le biais de la procédure prévue par l'<ref-law>, faute de décision indépendante en l'espèce.
2.4. Le recourant conclut à ce que le montant des frais mis à sa charge soit arrêté non pas à 23'215 fr. 20, comme fixé par le jugement du 31 août 2015, mais à 21'635 fr. 20, afin de tenir compte, comme le prononcé du 24 septembre 2015 l'indiquait, que des indemnités allouées à son défenseur d'office avaient été comptabilisées " à double ". On doit toutefois constater à la lecture du jugement précité qu'il ne s'agit pas d'une erreur dans l'expression de la volonté du tribunal, mais plutôt d'une erreur dans la formation de cette volonté. Les éléments permettant de prendre la décision litigieuse, soit le détail des frais, ne ressortaient au demeurant pas du jugement du 31 août 2015, de sorte que l'on puisse voir une contradiction entre la motivation et le dispositif dudit jugement. L'erreur en question ne pouvait par conséquent pas non plus être, hors appel formé contre le jugement du 31 août 2015, modifiée, notamment par le biais de la procédure prévue par l'<ref-law>. Il n'y a par conséquent pas lieu de réduire les frais mis à la charge du recourant par le prononcé du 24 septembre 2015, à un montant inférieur à celui fixé par 23'215 fr. 20 par le jugement du 31 août 2015.
3.
Il résulte de ce qui précède que le recours doit être partiellement admis, sans que les autres griefs soulevés par le recourant n'aient à être examinés. L'arrêt attaqué sera annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision. Le recours doit être rejeté pour le surplus.
On comprend que le recourant s'est fondé pour conclure à la fixation d'un montant de frais mis à sa charge de seulement 21'635 fr. 20sur la rectification erronée faite par l'autorité de première instance s'agissant de l'indemnité de son conseil. Cela et l'admission partielle du recours s'agissant de l'autre rectification litigieuse justifient de renoncer à mettre à sa charge des frais judiciaires (art. 66 al. 1 2e phrase LTF). Dans la mesure où il obtient partiellement gain de cause, le recourant obtiendra des dépens réduits de la part du canton de Vaud (<ref-law>). La requête d'assistance judiciaire est pour cette partie de la procédure sans objet. Au vu de ce qui précède, l'assistance judiciaire doit lui être accordée pour le surplus et une indemnité allouée à son mandataire, désigné comme avocat d'office (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. Le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision. Pour le surplus, le recours est rejeté.
2.
La demande d'assistance judiciaire est admise dans la mesure où elle n'est pas sans objet.
3.
Le canton de Vaud versera au conseil du recourant une indemnité réduite de 2000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Me César Montalto est désigné comme défenseur d'office du recourant et ses honoraires, supportés par la caisse du Tribunal fédéral, sont fixés à 1'000 francs.
5.
Il n'est pas perçu de frais judiciaires.
6.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 23 janvier 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod