Faits :
A.
Par jugement par défaut du 12 décembre 2012, le Tribunal de police de l'arrondissement de Lausanne a condamné X._ pour menaces et infraction à la LEtr à huit mois de privation de liberté et au paiement des frais.
B.
Par prononcé du 3 août 2015, le Tribunal de police de l'arrondissement de Lausanne a déclaré irrecevable la demande de nouveau jugement déposée le 31 juillet 2015 par X._.
C.
Par arrêt du 26 août 2015, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé par X._ contre ce prononcé et réformé ce dernier d'office en ce sens que la demande de nouveau jugement est rejetée.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Avec suite de frais et dépens, il en demande la réforme en ce sens que le recours cantonal est admis et une nouvelle audience de jugement est appointée. A titre subsidiaire, il requiert l'annulation de l'arrêt du 26 août 2015 et le renvoi de la cause à l'autorité de première instance pour nouveau jugement. Il sollicite le bénéfice de l'effet suspensif.
Par ordonnance du 5 octobre 2015, le Tribunal fédéral a admis la requête d'effet suspensif.

Considérant en droit :
1.
Dans un grief d'ordre formel qu'il convient d'examiner en premier lieu, le recourant se plaint que l'autorité précédente n'ait pas examiné si l'interdiction d'entrée sur le territoire suisse prononcée à son encontre, en vigueur à l'époque de l'audience du 12 décembre 2012, constituait une excuse valable au sens de l'art. 368 al. 3 CPP. Il y voit une violation de son droit d'être entendu.
1.1. Le droit d'être entendu, garanti par l'art. 3 al. 2 let. c CPP et l'art. 29 al. 2 Cst., implique pour l'autorité l'obligation de motiver sa décision, afin que le destinataire puisse la comprendre, l'attaquer utilement s'il y a lieu et afin que l'autorité de recours puisse exercer son contrôle. Le juge doit ainsi mentionner, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision, de manière à ce que l'intéressé puisse se rendre compte de la portée de celle-ci et l'attaquer en connaissance de cause (<ref-ruling> consid. 1.3.1 p. 253; <ref-ruling> consid. 2.2 p. 183). Il n'a toutefois pas l'obligation d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties, mais peut au contraire se limiter à l'examen des questions décisives pour l'issue du litige (ATF <ref-ruling> consid. 2.2 p. 183).
1.2. Aux termes de l'art. 368 CPP, si le jugement rendu par défaut peut être notifié personnellement au condamné, celui-ci doit être informé sur son droit de demander un nouveau jugement au tribunal dans les dix jours, par écrit ou oralement (al. 1). Dans sa demande, le condamné expose brièvement les raisons qui l'ont empêché de participer aux débats (al. 2). Le tribunal rejette la demande lorsque le condamné, dûment cité, fait défaut aux débats sans excuse valable (al. 3).
Nonobstant les termes " sans excuse valable " prévus par l'art. 368 al. 3 CPP, c'est bien une absence fautive du condamné qui permet au tribunal de rejeter la demande de nouveau jugement (arrêt 6B_860/2013 du 7 mars 2014 consid. 4.1.1). Selon le message du Conseil fédéral, le refus implique que le condamné se soit soustrait aux débats de façon manifestement fautive. Il doit être fait droit à la demande de nouveau jugement lorsqu'il n'est pas établi de manière indubitable que c'est volontairement que le prévenu ne s'est pas présenté aux débats. La réglementation devrait se rapprocher du régime des cantons les plus libéraux qui accordent au prévenu le droit à un nouveau jugement sans poser aucune condition préalable, tout en permettant d'exclure les abus flagrants. C'est à l'Etat qu'il incombe d'administrer la preuve du comportement fautif du prévenu (Message du 21 décembre 2005 relatif à l'unification du droit de la procédure pénale, FF 2006 p. 1286; arrêt 6B_860/2013 du 7 mars 2014 consid. 4.1.1).
Ont été jugées fautives, au vu des circonstances d'espèce, l'absence d'un prévenu qui fuit dans l'optique d'échapper à une procédure pénale, de même que l'absence du prévenu qui avait fait l'objet d'une citation par publication officielle, provoquée par le fait qu'il avait pris la fuite afin d'éviter de respecter ses engagements quant au retour de sa fille en Suisse et pour échapper à une poursuite pénale pour enlèvement de mineur (arrêt 6B_860/2013 du 7 mars 2014 consid. 4.3). La reprise de la procédure devait en revanche être garantie lorsque le condamné défaillant n'avait pas eu connaissance de la citation à comparaitre, ni essayé de se soustraire à la procédure pénale (<ref-ruling> consid. 6.2 p. 60; arrêt 6B_208/2012 du 30 août 2012 consid. 3.2). Dans un cas où le condamné avait eu connaissance de l'audience de jugement et de l'accusation, le Tribunal fédéral avait rappelé que l'absence du territoire suisse n'était pas en soi une excuse valable au sens de l'art. 368 al. 3 CPP. L'intéressé, qui malgré son expulsion du territoire suisse avait reçu, sur demande de son défenseur d'office, un sauf-conduit pour se rendre à l'audience, n'avait pas rendu vraisemblable d'autre excuse justifiant son absence, qui devait par conséquent être qualifiée de fautive et non excusée au sens de l'art. 368 al. 3 CPP (arrêt 6B_208/2012 du 30 août 2012 consid. 3). Une impossibilité subjective pouvant justifier le défaut a également été niée dans le cas d'une personne qui avait demandé un sauf-conduit et une dispense mais ne s'était finalement pas présentée par peur de l'exécution d'une peine ayant déjà acquis force de chose jugée. L'intérêt public à la mise en oeuvre de la procédure pénale (même contre une personne faisant défaut) devait en effet l'emporter sur l'intérêt privé à se soustraire à l'exécution d'une peine déjà passée en force de chose jugée (<ref-ruling> consid. 4 p. 217 ss et plus récemment arrêt 6B_208/2012 du 30 août 2012 consid. 3.3.1).
1.3. En l'occurrence, le recourant a invoqué devant l'autorité précédente qu'il lui était interdit d'entrer sur le territoire suisse au moment de l'audience du 12 décembre 2012 de sorte que son absence à dite audience aurait dû être considérée comme excusée au sens de l'art. 368 al. 3 CPP. Cette circonstance, clairement invoquée par le recourant, est établie par les pièces au dossier et aurait dû être constatée par l'autorité précédente. Savoir si cette interdiction d'entrée pouvait, compte tenu de l'ensemble des circonstances d'espèce, conduire à considérer que le recourant n'avait pas fait défaut de manière fautive à l'audience du 12 décembre 2012 était une question décisive pour l'issue du procès. En ne l'examinant pas, l'autorité précédente a violé le droit d'être entendu du recourant. Le recours doit par conséquent être admis, sans que les autres griefs du recourant n'aient à être examinés à ce stade. L'arrêt est annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Au regard de la nature procédurale du vice examiné et dans la mesure où le Tribunal fédéral n'a pas traité la cause sur le fond, ne préjugeant ainsi pas de l'issue de la cause, il peut être procédé au renvoi sans ordonner préalablement un échange d'écritures (cf. arrêt 6B_432/2015 du 1er février 2016 consid. 4).
2.
Le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Il n'est pas perçu de frais judiciaires (art. 66 al. 1 et 4 LTF). Le recourant, qui obtient gain de cause avec l'assistance d'un avocat, a droit à des dépens à la charge du canton de Vaud (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 21 juillet 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod