Faits : A. Le 11 juin 2013, A._ a déposé plainte pénale contre son mari X._, dont elle est séparée, l'accusant de l'avoir importunée par des appels téléphoniques et d'avoir menacé de la tuer, d'enlever son fils âgé de neuf ans et de montrer à ce dernier des photos d'elle nue. Avisé, le procureur de service au sein du Ministère public de l'arrondissement de Lausanne a le jour même délivré un mandat d'amener. X._ ayant refusé de se présenter spontanément à la police, ce mandat a été exécuté sur son lieu de travail, au CHUV. X._, assisté, a été entendu par la police. Le 18 juin 2013, le procureur a décidé de l'ouverture d'une instruction pénale contre X._ pour menaces qualifiées et utilisation abusive d'une installation de télécommunication. Il l'a entendu le 2 septembre 2013. Par ordonnance du 23 octobre 2013, le Ministère public de l'arrondissement de Lausanne a ordonné le classement de la procédure pénale dirigée contre X._ pour les infractions susmentionnées et a rejeté sa requête en indemnisation fondée sur l'art. 429 al. 1 let. a et let. c CPP. B. Par arrêt du 12 décembre 2013, le Juge de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre le refus d'indemnités fondées sur l'art. 429 al. 1 let. a et let. c CPP. C. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, à sa réforme en ce sens que lui sont allouées une indemnité de 1'150 fr. 20 pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure de première instance et une indemnité de 1'296 fr. pour l'exercice raisonnable de ses droits de procédure devant l'autorité précédente. A titre subsidiaire, il requiert l'annulation de l'arrêt du 12 décembre 2013 et le renvoi de la cause à cette autorité pour nouvelle décision. Il sollicite le bénéfice de l'assistance judiciaire. Interpellés, l'autorité précédente et le ministère public ont renoncé à se déterminer, A._ n'a pas répondu.