Faits :
A.
Le 11 juin 2013, A._ a déposé plainte pénale contre son mari X._, dont elle est séparée, l'accusant de l'avoir importunée par des appels téléphoniques et d'avoir menacé de la tuer, d'enlever son fils âgé de neuf ans et de montrer à ce dernier des photos d'elle nue.
Avisé, le procureur de service au sein du Ministère public de l'arrondissement de Lausanne a le jour même délivré un mandat d'amener. X._ ayant refusé de se présenter spontanément à la police, ce mandat a été exécuté sur son lieu de travail, au CHUV. X._, assisté, a été entendu par la police. Le 18 juin 2013, le procureur a décidé de l'ouverture d'une instruction pénale contre X._ pour menaces qualifiées et utilisation abusive d'une installation de télécommunication. Il l'a entendu le 2 septembre 2013.
Par ordonnance du 23 octobre 2013, le Ministère public de l'arrondissement de Lausanne a ordonné le classement de la procédure pénale dirigée contre X._ pour les infractions susmentionnées et a rejeté sa requête en indemnisation fondée sur l'art. 429 al. 1 let. a et let. c CPP.
B.
Par arrêt du 12 décembre 2013, le Juge de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre le refus d'indemnités fondées sur l'art. 429 al. 1 let. a et let. c CPP.
C.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que lui sont allouées une indemnité de 1'150 fr. 20 pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure de première instance et une indemnité de 1'296 fr. pour l'exercice raisonnable de ses droits de procédure devant l'autorité précédente. A titre subsidiaire, il requiert l'annulation de l'arrêt du 12 décembre 2013 et le renvoi de la cause à cette autorité pour nouvelle décision. Il sollicite le bénéfice de l'assistance judiciaire.
Interpellés, l'autorité précédente et le ministère public ont renoncé à se déterminer, A._ n'a pas répondu.

Considérant en droit :
1.
Les prétentions en indemnisation fondées sur l'<ref-law> peuvent faire l'objet d'un recours en matière pénale (<ref-ruling> consid. 1 p. 208).
2.
Devant le Tribunal fédéral, le recourant ne conteste pas la décision entreprise en ce qu'elle confirme le refus d'accorder une indemnisation fondée sur l'art. 429 al. 1 let. c CPP (tort moral). Il n'y a pas lieu d'y revenir.
3.
Le recourant se plaint d'une violation de l'<ref-law>.
3.1. Aux termes de cette disposition, le prévenu, acquitté totalement ou en partie ou qui bénéficie d'une ordonnance de classement, a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure.
L'indemnité ici visée correspond en particulier aux dépenses assumées par le prévenu libéré pour un avocat de choix (<ref-ruling> consid. 1 p. 242). L'allocation d'une indemnité pour frais de défense selon l'<ref-law> n'est pas limitée aux cas de défense obligatoire visés par l'<ref-law>. Elle peut être accordée dans les cas où le recours à un avocat apparaît tout simplement raisonnable. Il faut garder à l'esprit que le droit pénal matériel et le droit de procédure sont complexes et représentent, pour des personnes qui ne sont pas habituées à procéder, une source de difficultés. Celui qui se défend seul est susceptible d'être moins bien loti. Cela ne dépend pas forcément de la gravité de l'infraction en cause. Dans le cadre de l'examen du caractère raisonnable du recours à un avocat, il doit être tenu compte, outre de la gravité de l'infraction et de la complexité de l'affaire en fait ou en droit, de la durée de la procédure et de son impact sur la vie personnelle et professionnelle du prévenu. Par rapport à un délit ou à un crime, ce n'est qu'exceptionnellement que l'assistance d'un avocat peut être considérée comme ne constituant pas un exercice raisonnable des droits de la défense. Cela pourrait par exemple être le cas lorsque la procédure fait immédiatement l'objet d'un classement après une première audition (cf. <ref-ruling> consid. 2.3.5 p. 203 s.; arrêt 6B_387/2013 du 8 juillet 2013 consid. 2.1 non publié aux <ref-ruling>).
Déterminer si l'assistance d'un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'<ref-law> peut être allouée au prévenu, est une question de droit fédéral que le Tribunal fédéral revoit librement. Il s'impose toutefois une certaine retenue lors de l'examen de l'évaluation faite par l'autorité précédente, particulièrement de la détermination, dans le cas concret, des dépenses qui apparaissent raisonnables (<ref-ruling> consid. 2.3.6 p. 204; arrêt 6B_387/2013 du 8 juillet 2013 consid. 2.1 non publié aux <ref-ruling>).
3.2. L'autorité précédente a confirmé le refus de l'autorité de première instance d'allouer l'indemnité requise par le recourant sur la base de l'<ref-law>. Elle a en effet estimé que la cause, quoique prise au sérieux par le procureur, présentait une gravité toute relative et ne revêtait aucune complexité en fait ou en droit. L'enquête avait en outre peu duré et les actes d'instruction, hormis les auditions du recourant, avaient été limités, les contrôles sur son téléphone portable n'ayant révélé aucun élément utile à l'enquête. Dans ces conditions, l'appel aux services d'un mandataire professionnel n'était pas justifié.
3.3. Le recourant était poursuivi pour deux chefs d'accusation distincts, dont le délit de menaces, passible d'une peine privative de liberté de trois ans au plus ou d'une peine pécuniaire (<ref-law>). Les faits qui lui étaient reprochés à cet égard étaient graves, puisqu'il était accusé, notamment, d'avoir menacé son épouse de la tuer et d'enlever son fils de neuf ans. Le procureur avait d'ailleurs décerné le jour même du dépôt de plainte un mandat d'amener. Le recourant a été entendu à deux reprises, à chaque fois en tant que prévenu. Dans ces circonstances, on ne saurait considérer que l'on se trouve dans un cas exceptionnel où malgré l'accusation d'avoir commis un délit, l'assistance d'un avocat ne constituait pas un exercice raisonnable des droits de la défense.
En confirmant le refus de toute indemnité fondée sur l'<ref-law>, l'autorité précédente a violé cette disposition. Le recours doit être admis et la cause renvoyée à cette autorité pour qu'elle accorde au recourant une indemnité fondée sur l'<ref-law> et statue à nouveau sur les frais et indemnité de deuxième instance.
4.
L'intimée ne s'étant pas déterminée, il n'y a pas lieu de mettre des frais à sa charge, ni de lui allouer de dépens. Il ne sera pas perçu de frais judiciaires (<ref-law>). Le canton de Vaud versera au mandataire du recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF). Cela rend sans objet la requête d'assistance judiciaire.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au conseil du recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Juge de la Chambre des recours pénale.
Lausanne, le 6 février 2015
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod