Faits :
A.
X._ a fait l'objet d'une dénonciation pour avoir, le 14 janvier 2015, conduit un véhicule automobile en dépit d'une mesure de retrait du permis de conduire et pour ne pas avoir annoncé un changement de direction.
Le 10 février 2015, A._ a porté plainte contre X._. Selon la plainte, ce dernier aurait ce jour-là demandé à son amie, B._, de téléphoner à l'employeur d'A._, pour lui demander qu'il la menace de licenciement si elle ne retirait pas les plaintes qu'elle avait précédemment déposées contre lui. B._ aurait ajouté que X._ désirait la tuer. De plus, A._ a accusé X._ de l'avoir traitée de « connasse » à deux reprises lors d'une audience devant le Tribunal de l'arrondissement de l'Est vaudois. Elle a également expliqué qu'en 2013, X._ aurait déambulé sous sa fenêtre avec une carabine et qu'il la terrorisait.
Par ordonnance pénale du 5 novembre 2015, rectifiée le 11 novembre suivant, le procureur a reconnu X._ coupable d'injure, de violation simple des règles de la circulation routière et de conduite d'un véhicule malgré un retrait du permis de conduire. Il l'a condamné à 30 jours-amende à 30 fr. le jour, à 360 heures de travail d'intérêt général et à 100 fr. d'amende, convertible en cas de non-paiement fautif en une peine privative de liberté de substitution d'un jour. Il a mis les frais de la procédure à la charge de X._. Cette ordonnance n'a pas été contestée.
Par ordonnance du même jour, le procureur a classé la procédure pénale dirigée contre X._ pour menaces, a refusé le versement d'une indemnité au sens de l'<ref-law> et a laissé les frais à la charge de l'Etat. Il a considéré que X._ était hors de cause, dès lors qu'il n'était pas l'instigateur de l'appel de B._ à l'employeur de la partie plaignante. En revanche, il a retenu qu'il n'y avait pas lieu à l'allocation d'une indemnité en raison d'une part de l'absence de difficulté de la cause et d'autre part, parce qu'il ne s'agissait que d'un classement partiel.
B.
X._, par l'intermédiaire de son mandataire, a recouru contre l'ordonnance de classement, en particulier contre le refus d'une indemnité de 3'275 fr. 65 pour ses frais de défense en application de l'<ref-law>.
Par arrêt du 25 janvier 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours et a mis les frais de la procédure à la charge de X._.
C.
X._ interjette un recours en matière pénale auprès du Tribunal fédéral. Il conclut, avec suite de frais et dépens, principalement, à la réformation de l'arrêt du 25 janvier 2016 en ce sens qu'une indemnité de 3'275 fr. 65 lui est allouée. Subsidiairement, il demande le renvoi du dossier au ministère public pour nouvelle décision.
X._ sollicite par ailleurs l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint d'une violation de l'<ref-law>. Il soutient que le procureur ne lui aurait pas donné la possibilité de se prononcer avant de rendre son ordonnance, ce qui constituerait une violation de son droit d'être entendu et justifierait son annulation.
L'arrêt attaqué ne traite pas de cet aspect et le recourant ne formule aucun grief recevable pour se plaindre d'un déni de justice à propos d'un tel grief qu'il aurait valablement soulevé en instance cantonale. Son grief est ainsi irrecevable, faute d'épuisement des instances cantonales (<ref-law>).
2.
Le recours en matière pénale au Tribunal fédéral est ouvert contre la décision fixant l'indemnisation prévue à l'<ref-law> (<ref-ruling> consid. 1 p. 208).
3.
Le recourant soutient que l'autorité précédente aurait dû lui accorder une indemnité au sens de l'<ref-law>.
3.1. Selon l'<ref-law>, le prévenu acquitté totalement ou en partie ou au bénéfice d'un classement a droit à une indemnité pour les dépenses occasionnées par l'exercice raisonnable de ses droits de procédure. L'indemnité couvre en particulier les honoraires d'avocat, à condition que le recours à celui-ci procède d'un exercice raisonnable des droits de procédure. Selon le message du Conseil fédéral, l'Etat ne prend en charge les frais de défense que si l'assistance d'un avocat était nécessaire compte tenu de la complexité de l'affaire en fait ou en droit et que le volume de travail et donc les honoraires étaient ainsi justifiés (Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 1312 ch. 2.10.3.1).
L'allocation d'une indemnité pour frais de défense selon l'<ref-law> n'est pas limitée aux cas de défense obligatoire visés par l'<ref-law>. Elle peut être accordée dans les cas où le recours à un avocat apparaît tout simplement raisonnable. Il faut garder à l'esprit que le droit pénal matériel et le droit de procédure sont complexes et représentent, pour des personnes qui ne sont pas habituées à procéder, une source de difficultés. Celui qui se défend seul est susceptible d'être moins bien loti. Cela ne dépend pas forcément de la gravité de l'infraction en cause. On ne peut pas partir du principe qu'en matière de contravention, le prévenu doit supporter en général seul ses frais de défense. Autrement dit, dans le cadre de l'examen du caractère raisonnable du recours à un avocat, il doit être tenu compte, outre de la gravité de l'infraction et de la complexité de l'affaire en fait ou en droit, de la durée de la procédure et de son impact sur la vie personnelle et professionnelle du prévenu (<ref-ruling> consid. 2.1 p. 47; <ref-ruling> consid. 2.3.5 p. 203).
Déterminer si l'assistance d'un avocat procède d'un exercice raisonnable des droits de procédure et si, par conséquent, une indemnité pour frais de défense selon l'<ref-law> peut être allouée au prévenu, est une question de droit fédéral que le Tribunal fédéral revoit librement (<ref-ruling> consid. 2.1 p. 47; <ref-ruling> consid. 2.3.6 p. 204).
3.2. Le recourant fait valoir qu'il a consulté un avocat en raison du fait qu'il avait été dénoncé pour menaces (<ref-law>). Cette infraction constitue un délit punissable d'une peine privative de liberté de 3 ans au plus. Il estime que la gravité de l'infraction et de la peine encourue justifieraient le recours à un avocat.
3.3. En l'espèce, la cause concerne effectivement un délit, et une dénonciation en rapport avec cette infraction pouvait être de nature à inquiéter le recourant et à l'inciter à recourir à un avocat. Toutefois, il faut constater que la plainte a été déposée à la suite de l'intervention de son amie, B._. De ce fait, le recourant, qui vivait avec cette dernière et qui n'avait pas sollicité son intervention, pouvait avoir immédiatement sa confirmation qu'elle avait agi de sa propre initiative. Cette circonstance dont le recourant savait qu'elle était propre à le faire libérer de la prévention puisqu'il l'a invoquée lors de sa première audition par le procureur, enlève énormément de poids au chef d'accusation de menaces. De plus, les déclarations de son amie devant le procureur ont immédiatement été claires et ne laissaient plus planer de doutes. Aucun autre élément ne vient aggraver la situation de fait ou de droit pour rendre nécessaire l'intervention d'un avocat. Il y a donc lieu d'admettre que la cour cantonale n'a pas violé le droit fédéral en refusant une indemnité au sens de l'<ref-law>.
Le recours doit être rejeté, dans la mesure de sa recevabilité.
4.
Le recours était d'emblée voué à l'échec, de sorte que l'assistance judiciaire requise en relation avec la présente procédure doit être refusée (<ref-law> a contrario). Les frais judiciaires seront mis à la charge du recourant (<ref-law>). Ils seront toutefois fixés en tenant compte de sa situation financière qui n'apparaît pas favorable (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 18 juillet 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Nasel