Faits:
A.
Par ordonnance du 1er février 2013, le Procureur de l'arrondissement de Lausanne a refusé d'entrer en matière sur une plainte déposée contre X._ pour dommages à la propriété.
B.
Statuant par arrêt du 8 mars 2013, le Juge de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a admis partiellement le recours de X._, lui a alloué une indemnité au sens de l'<ref-law> à hauteur de 421 fr. 20 pour la procédure de première instance et de 405 fr. pour la procédure de recours.
C.
Le Ministère public du canton de Vaud forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant à sa réforme en ce sens que le recours de X._ est rejeté, frais à sa charge.
L'autorité précédente a renoncé à se déterminer. X._ a déclaré s'en rapporter à justice tout en présentant des observations sur le recours.

Considérant en droit:
1.
Le recourant soutient que l'<ref-law> ne mentionne pas la possibilité d'allouer une indemnité en cas de refus d'entrer en matière mais uniquement en cas d'acquittement ou de classement et qu'il s'agirait d'un silence qualifié du législateur.
L'<ref-law> prévoit que si le prévenu est acquitté totalement ou en partie ou s'il bénéficie d'une ordonnance de classement, il a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. L'indemnité ici visée correspond en particulier aux dépenses assumées par le prévenu libéré pour un avocat de choix (<ref-ruling> consid. 1 p. 206). L'<ref-law> ne mentionne certes pas expressément l'ordonnance de non-entrée en matière (<ref-law>) comme cas de figure pouvant donner lieu à indemnité. On ne saurait cependant en déduire un silence qualifié du législateur (sur cette notion, cf. <ref-ruling> consid. 5.2 p. 60). En effet, l'<ref-law> prévoit expressément que les dispositions sur le classement s'appliquent. Il s'ensuit que la même réglementation prévaut pour une non-entrée en matière et un classement. La doctrine est largement d'avis qu'une indemnité selon l'<ref-law> entre aussi en considération pour une non-entrée en matière (cf. JEANNERET/KUHN, Précis de procédure pénale, 2013, n. 5062 p. 122; MIZEL/RÉTORNAZ, in Commentaire romand, Code de procédure pénale suisse, 2011, n° 9 ad <ref-law>; MOREILLON/PAREIN-REYMOND, CPP: Code de procédure pénale, 2013, n° 9 ad <ref-law>; PIQUEREZ/MACALUSO, Procédure pénale suisse, 3e éd. 2011, n. 2281 p. 728; NIKLAUS SCHMID, Schweizerische Strafprozessordnung, Praxiskommentar, 2009, n° 1 ad <ref-law>). Rien ne justifie de s'écarter de cette approche. C'est ainsi en vain que le recourant conteste la possibilité d'allouer une indemnité en vertu de l'<ref-law> en cas de refus d'entrer en matière.
2.
Le recourant est d'avis que l'assistance d'un avocat ne constituait pas dans le cas d'espèce l'exercice raisonnable d'un droit de procédure au sens de l'<ref-law>.
2.1. L'allocation d'une indemnité pour frais de défense selon l'<ref-law> n'est pas limitée aux cas de défense obligatoire visés par l'<ref-law>. Elle peut être accordée dans les cas où le recours à un avocat apparaît tout simplement raisonnable. Il faut garder à l'esprit que le droit pénal matériel et le droit de procédure sont complexes et représentent, pour des personnes qui ne sont pas habituées à procéder, une source de difficultés. Celui qui se défend seul est susceptible d'être moins bien loti. Cela ne dépend pas forcément de la gravité de l'infraction en cause. Dans le cadre de l'examen du caractère raisonnable du recours à un avocat, il doit être tenu compte, outre de la gravité de l'infraction et de la complexité de l'affaire en fait ou en droit, de la durée de la procédure et de son impact sur la vie personnelle et professionnelle du prévenu. Par rapport à un délit ou à un crime, ce n'est qu'exceptionnellement que l'assistance d'un avocat peut être considérée comme ne constituant pas un exercice raisonnable des droits de la défense. Cela pourrait par exemple être le cas lorsque la procédure fait immédiatement l'objet d'un classement après une première audition (cf. <ref-ruling> consid. 2.3.5 p. 203 s.; cf. aussi WEHRENBERG/BERNHARD, in Basler Kommentar, Schweizerische Strafprozessordnung, 2011, n° 14 ad <ref-law>).
Savoir si le recours à un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'<ref-law> peut être allouée au prévenu, est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (<ref-ruling> consid. 2.3.6 p. 204).
2.2. En l'espèce, l'autorité précédente s'est limitée à dire que le recours à un avocat de choix se justifiait dès lors qu'un délit (<ref-law>) était reproché à l'intimée. Une telle justification schématique ne suffit pas en l'occurrence. Il ressort de la procédure que l'intimée a été soupçonnée d'avoir mis le feu à un container en y jetant une cigarette. Elle a été entendue à une occasion par la gendarmerie le 8 mai 2012. Elle a en particulier déclaré qu'elle n'avait pas besoin d'avocat pour le moment. La concierge de l'immeuble a été entendue deux jours après comme personne appelée à donner des renseignements. L'intimée a adressé le 15 mai 2012 un test d'analyse médicale afin de prouver qu'elle ne fumait pas. La gendarmerie a établi un rapport le 21 mai 2012. L'actuel conseil de l'intimée a annoncé sa constitution pour cette dernière le 18 juin 2012. Il n'est pas intervenu dans la procédure. Au vu de ce qui précède, il n'apparaît pas que la cause ait présenté de difficultés en fait ou en droit. Le ministère public n'a pas requis de la police un complément d'investigation au sens de l'<ref-law>. Il a prononcé la non-entrée en matière à la suite d'une seule audition de l'intimée dans le cadre de l'investigation policière. Dans ces circonstances, il faut admettre avec le recourant que l'intervention de l'avocat ne s'inscrit pas dans l'exercice raisonnable des droits de procédure au sens de l'<ref-law>. Cela exclut une indemnisation. Le recours est bien fondé sur ce point. L'arrêt attaqué doit être annulé et la cause renvoyée à l'autorité précédente.
3.
L'arrêt est rendu sans frais (<ref-law>). Le Ministère public, qui obtient ainsi gain de cause, ne saurait se voir allouer de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
2.
Il est statué sans frais judiciaires ni dépens.
3.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 8 juillet 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod