Faits :
A.
Par jugement du 24 septembre 2018, le Tribunal de police des Montagnes et du Val-de-Ruz a reconnu X._ coupable de violation simple de la LCR (<ref-law>), dénonciation calomnieuse (<ref-law>), conduite sans autorisation (<ref-law>) et faux dans les certificats (<ref-law>). Il a prononcé une peine privative de liberté ferme de six mois et renoncé à révoquer le sursis accordé le 27 septembre 2016.
B.
Par jugement du 13 mars 2019, la Cour pénale du Tribunal cantonal du canton de Neuchâtel a très partiellement admis l'appel formé contre ce jugement par X._ et déduit de la peine ferme confirmée un jour de détention avant jugement.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre le jugement du 13 mars 2019. Il sollicite, avec suite de frais et dépens, l'annulation des deux jugements précités, son acquittement du chef d'accusation de faux dans les certificats et sa condamnation à une peine pécuniaire d'au plus 135 jours-amende, assortie du sursis complet et sous déduction d'un jour de détention avant jugement. A titre subsidiaire, il conclut à l'annulation du jugement du 13 mars 2019 et au renvoi de la cause à l'autorité précédente pour nouvelle décision. Il requiert le bénéfice de l'assistance judiciaire.
Invités à se déterminer sur le recours, l'autorité précédente y a renoncé, le ministère public a conclu à son rejet.

Considérant en droit :
1.
Le recourant invoque en premier lieu que l'infraction de faux dans les certificats, supposée réalisée ce qu'il conteste, était prescrite au jour du jugement de première instance.
1.1. Aux termes de l'<ref-law> sanctionnant le faux dans les certificats, celui qui, dans le dessein d'améliorer sa situation ou celle d'autrui, aura contrefait ou falsifié des pièces de légitimation, des certificats ou des attestations, aura fait usage, pour tromper autrui, d'un écrit de cette nature ou aura abusé, pour tromper autrui, d'un écrit de cette nature, véritable mais non à lui destiné, sera puni d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire.
1.2. L'action pénale relative à cette infraction se prescrivait par sept ans selon le droit applicable du 1er janvier 2008 au 31 décembre 2013 (art. 97 al. 1 let. c aCP). Elle se prescrit par dix ans depuis le 1er janvier 2014 (art. 97 al. 1 let. c CP dans sa teneur en vigueur depuis cette date).
La prescription court dès le jour où l'auteur a exercé son activité coupable, dès le jour du dernier acte si cette activité s'est exercée à plusieurs reprises ou dès le jour où les agissements coupables ont cessé s'ils ont eu une certaine durée (<ref-law>). Elle ne court plus si, avant son échéance, un jugement de première instance a été rendu (<ref-law>).
1.3. En l'espèce, l'autorité précédente a retenu à l'appui de la condamnation du recourant pour faux dans les certificats qu'il avait confectionné, respectivement falsifié un permis de conduire colombien " en 2008 " (jugement attaqué, p. 10).
Le nouveau délai de prescription prévu par l'<ref-law> n'est pas plus favorable que celui en vigueur au moment des faits, de sorte que c'est ce dernier qui s'applique (cf. <ref-law> a contrario). L'action pénale relative à cette accusation se prescrivait donc par sept ans, soit en 2015 au plus tard. Elle était donc prescrite bien avant le jugement de première instance rendu le 24 septembre 2018. Le recourant aurait partant dû être acquitté de ce chef d'accusation.
1.4. L'autorité précédente a également fondé la condamnation du recourant au titre de l'<ref-law> au motif qu'il avait utilisé ledit certificat.
1.4.1. Dans un considérant mêlant faits et droit, l'autorité précédente a souligné que la simple détention du certificat ne constitue pas encore un usage au sens de l'<ref-law>, se référant à juste titre à la jurisprudence publiée sous <ref-ruling> consid. 2b p. 174. Elle a ensuite constaté que le recourant avait placé le certificat litigieux dans le coffre de son véhicule avec d'autres documents officiels. Ledit certificat avait été retrouvé dans le nouveau véhicule que le recourant avait immatriculé le 17 décembre 2017. Elle a ainsi estimé qu'il l'avait conservé dans son véhicule afin de pouvoir s'en prévaloir, en cas de besoin. Qu'il ne l'ait pas présenté à la police lors de l'accident du 17 décembre 2017 ne suffisait pas à se persuader qu'en près de dix ans, le recourant n'aurait jamais fait usage de ce certificat. L'autorité précédente estimait par ailleurs et surtout ne pouvoir suivre le recourant lorsqu'il prétendait ne l'avoir jamais montré à quiconque, à l'exception d'une seule fois, en 2006 lorsqu'il l'avait présenté à l'Office des automobiles du canton de Vaud pour obtenir un permis de circulation suisse. Dès lors que le document litigieux avait été imprimé en mars 2008, son utilisation auprès de l'Office des automobiles - admise par le recourant - n'avait pu intervenir en 2006, mais seulement après 2008. L'argument selon lequel l'action pénale serait prescrite pour le seul usage connu de ce document tombait ainsi à faux. L'autorité précédente a en conséquence considéré que pour autant qu'il soit nécessaire de démontrer un usage effectif du faux certificat, en plus de la falsification, au moins un usage était établi et punissable.
1.4.2. Ces éléments ne permettent pas de retenir comme établi, sauf à violer la présomption d'innocence et l'interdiction de l'arbitraire, que le recourant invoque par ailleurs, que ce dernier aurait effectivement utilisé le certificat litigieux après le 24 septembre 2011. Aucun élément factuel dûment établi à la suite d'une appréciation des preuves n'existe quant à l'utilisation du certificat postérieurement à cette date. Or toute utilisation avant celle-ci était prescrite au jour du jugement de première instance rendu le 24 septembre 2018 (art. 97 al. 1 let. c et al. 3 CP dans sa teneur en vigueur jusqu'au 31 décembre 2013).
Dans ces conditions, la condamnation du recourant pour utilisation de faux certificat doit également être mise à néant.
2.
Il s'ensuit que le recours doit être admis, le jugement attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision, sans que les autres griefs soulevés par le recourant n'aient à être examinés.
Le recourant, qui obtient gain de cause, ne supportera pas de frais judiciaires (<ref-law>). Il a droit à des dépens à la charge du canton de Neuchâtel (<ref-law>). Ce qui précède rend sans objet sa demande d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, le jugement attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Neuchâtel versera à l'avocat du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 4 juin 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod