Faits :
A.
Le 4 décembre 2015, le Tribunal de police du Littoral et du Val-de-Travers de la République et canton de Neuchâtel a rendu un jugement pénal. A l'encontre de celui-ci, A._ a déposé une annonce d'appel. A._ a ensuite formé une déclaration d'appel contre le jugement motivé.
B.
Par décision du 20 mai 2016, la Cour pénale du Tribunal cantonal de la République et canton de Neuchâtel a déclaré irrecevable cette déclaration d'appel. Elle a considéré que le jugement avait été notifié le 6 janvier 2016 à " A._ SA ", de sorte que celle-ci disposait d'un délai échéant le 26 janvier 2016 pour produire sa déclaration d'appel. Postée le 1er février suivant, cette dernière l'avait été tardivement.
C.
A._ interjette un recours en matière pénale au Tribunal fédéral contre la décision cantonale. Elle requiert l'annulation de cette décision et la constatation que sa déclaration d'appel n'était pas tardive. Subsidiairement, elle conclut au renvoi de la cause à l'autorité précédente pour nouvelle décision.
Invités à se déterminer sur le recours, le ministère public et la Cour pénale n'ont formulé aucune observation.

Considérant en droit :
1.
A._ est une entreprise individuelle. Comme telle, elle est dépourvue de personnalité juridique et n'a donc pas la capacité d'ester en justice dans la présente cause (cf. arrêt 2C_684/2015 du 24 février 2017 consid. 1.2; FLORIAN S. JÖRG, Die Einzelunternehmung, in Entwicklungen in Gesellschaftsrecht VII, 2012, p. 88).
Conformément à la jurisprudence, une rectification dans la désignation des parties est possible lorsque tout risque de confusion est exclu (<ref-ruling> consid. 3.2.1 p. 787; <ref-ruling> consid. 2.2 p. 63). En l'espèce, il ressort de l'extrait du registre du commerce que A._ est une entreprise individuelle dont le titulaire est X._. Celui-ci, qui a signé au nom de A._ le présent recours, dispose seul de la capacité d'ester en justice. Il doit figurer en lieu et place de A._ dans la désignation des parties. Il convient dès lors de remplacer l'entreprise individuelle en cause par X._.
2.
Le recourant produit un extrait " track and trace " relatif à un envoi recommandé, expédié le 4 janvier 2016 par le Tribunal régional du Littoral et du Val-de-Travers à l'adresse de A._ et distribué le lundi 11 janvier 2016. Servant à démontrer en quoi le prononcé d'irrecevabilité frappant la déclaration d'appel serait erroné, cette pièce est recevable (cf. <ref-law>).
Il en découle que le jugement de première instance a en réalité été notifié, par expédition du 4 janvier 2016, d'une part au recourant à son adresse privée le 6 janvier 2016, d'autre part à l'adresse de l'entreprise individuelle, telle qu'inscrite au registre du commerce, le 11 janvier 2016.
3.
Le recourant se plaint que la déclaration d'appel introduite par ses soins au nom de l'entreprise individuelle dont il est titulaire ait été déclarée irrecevable, car tardive. Il y voit une violation du principe de la bonne foi.
3.1. L'entreprise individuelle n'ayant pas la personnalité juridique, elle n'a pas de droit qui pourrait avoir été touché par une infraction. Elle ne peut par conséquent ni être lésée au sens de l'<ref-law>, ni être partie plaignante au sens de l'<ref-law>. Ne pouvant en principe se prévaloir d'aucun intérêt juridique protégé à l'annulation ou à la modification d'une décision, l'entreprise individuelle n'a pas non plus la qualité pour recourir au sens de l'<ref-law>. Son titulaire en revanche, seul titulaire des droits et obligations ayant trait à l'activité gérée sous la raison sociale de l'entreprise individuelle, peut voir ses droits violés, avoir qualité de lésé, de partie plaignante et qualité pour former appel.
3.2. Aux termes de l'<ref-law>, la partie qui annonce l'appel adresse une déclaration d'appel écrite à la juridiction d'appel dans les 20 jours à compter de la notification du jugement motivé.
3.3. Découlant directement de l'art. 9 Cst., mais également des art. 5 al. 3 Cst. et 3 al. 2 let. a CPP, le droit à la protection de la bonne foi préserve la confiance légitime que le citoyen met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de celles-ci (<ref-ruling> consid. 6.2 p. 538). En application de ce principe, on admet généralement qu'une partie ne doit pas être lésée par une indication erronée des voies de droit. Il est donc possible que le droit à la protection de la bonne foi conduise à la prolongation d'un délai légal en raison d'une indication erronée donnée par l'autorité (<ref-ruling> consid. 4a p. 19; <ref-ruling> consid. 2 p. 107). Tel est notamment le cas si l'autorité procède à une deuxième notification avant l'échéance du délai de recours, en indiquant sans réserve les voies de droit (<ref-ruling> consid. 4b/aa p. 94; <ref-ruling> consid. 4a et 4c p. 19 ss; également arrêt 8C_184/2010 du 27 avril 2010 consid. 3.2).
3.4. En l'espèce, seul le recourant, titulaire de l'entreprise individuelle, pouvait faire appel du jugement de première instance. Le jugement motivé a néanmoins été notifié tant à l'adresse privée du recourant, le 6 janvier 2016, qu'à l'adresse de son entreprise individuelle, le 11 janvier 2016. On ne pouvait attendre du recourant, non-juriste et non assisté, qu'il comprenne que la première notification aurait été valable, mais non la seconde, cela d'autant plus s'agissant d'une procédure qui avait trait à son entreprise et alors que l'annonce d'appel avait été faite au nom de son entreprise individuelle. Conformément au principe de la bonne foi, on ne saurait dès lors reprocher au recourant, ignorant apparemment la première notification, de s'être fondé sur la seconde et d'avoir procédé conformément à l'<ref-law> dans le délai de 20 jours à compter de celle-ci, délai échéant le 1er février 2016.
Il s'ensuit que l'autorité précédente en estimant que la déclaration d'appel expédiée le 1er février 2016 était tardive a violé le principe de la bonne foi.
4.
Le recours doit dès lors être admis, la décision entreprise annulée et la cause renvoyée à l'autorité précédente pour nouvelle décision. Le recourant, qui obtient gain de cause, ne supportera pas de frais. Le canton de Neuchâtel n'a pas non plus à en supporter (art. 66 al. 1 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, la décision attaquée est annulée et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le présent arrêt est communiqué aux parties et à la Cour pénale du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 23 mai 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod