Faits :
A.
Par arrêt du 22 octobre 2016, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre l'ordonnance de non-entrée en matière rendue le 18 août 2016 sur sa plainte contre un agent du corps de police "xxx" pour violation de domicile et contrainte prétendument commises le 11 juillet 2016 après que celui-ci a interpellé celui-là, qui venait de garer son scooter sur une propriété privée.
B.
X._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt cantonal dont il requiert l'annulation. Il conclut à l'ouverture d'une instruction pénale, subsidiairement au renvoi de la cause à l'autorité précédente pour nouvelle décision.
La cour cantonale et le ministère public ont renoncé à se déterminer.

Considérant en droit :
1.
Indépendamment des conditions posées par l'<ref-law>, la partie plaignante est habilitée à se plaindre d'une violation de ses droits de partie équivalant à un déni de justice formel, sans toutefois pouvoir faire valoir par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (cf. <ref-ruling> consid. 1.1 p. 5)
2.
Le recourant se plaint d'une violation de son droit d'être entendu. Il fait valoir que la décision de la cour cantonale repose sur un rapport de police qu'il n'a pas pu consulter et qui n'était pas évoqué dans l'ordonnance de non-entrée en matière.
2.1. La jurisprudence a déduit du droit d'être entendu (art. 29 al. 2 Cst.), en particulier, le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier et celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 4.1.1 p. 52 s.; <ref-ruling> consid. 3.1 p. 564).
2.2. En l'espèce, la solution de la cour cantonale repose sur un rapport de police établi le 19 juillet 2016, soit sept jours après le dépôt de la plainte du recourant. La décision de non-entrée en matière du 18 août 2016 ne fait aucune allusion à ce rapport de police. S'agissant d'une décision de non-entrée en matière (<ref-law>), qui laisse supposer qu'aucune mesure d'instruction n'a été opérée, et compte tenu de la motivation contenue dans dite ordonnance, on ne saurait reprocher au recourant de n'avoir pas consulté le dossier au moment de formuler son recours cantonal ni de s'être abstenu de discuter de ce rapport, dont il ignorait l'existence à ce stade de la procédure. En fondant sa décision sur le rapport de police, sans préalablement avoir donné l'occasion au recourant de se déterminer à cet égard, la cour cantonale a violé son droit d'être entendu. Le recours doit être admis, l'arrêt attaqué annulé et la cause renvoyée en instance cantonale pour nouvelle décision.
3.
Il est statué sans frais (art. 66 al. 1 et 4 LTF). Le recourant a droit à des dépens à la charge du canton de Vaud (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il est statué sans frais.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 29 mai 2017
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod