Faits :
A.
Par arrêt du 24 janvier 2017, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a déclaré irrecevable la demande de récusation déposée le 30 décembre 2016 par X._ à l'encontre du Procureur A._ et du gendarme B._. Elle a également rejeté le recours formé par X._ contre le prononcé du 22 septembre 2016 du Tribunal de police de l'arrondissement de la Côte déclarant irrecevable l'opposition formée par le précité le 21 novembre 2016 contre l'ordonnance pénale rendue à son encontre le 7 septembre 2016.
B.
X._ forme un recours en matière pénale auprès de la Ière Cour de droit public du Tribunal fédéral contre cet arrêt. Il requiert son annulation et le renvoi de la cause à l'autorité précédente pour nouvelle décision, subsidiairement la réforme de l'arrêt du 24 janvier 2017 en ce sens que la demande de récusation précitée est recevable.
Invités à se déterminer sur le recours, l'autorité précédente et le ministère public y ont renoncé.

Considérant en droit :
1.
Le recours relève de la compétence de la Cour de droit pénal en tant qu'il porte sur la recevabilité de l'opposition formée par le recourant (<ref-law>). Il en va de même des récusations litigieuses, la décision attaquée n'étant pas à cet égard une décision incidente au sens des <ref-law> et 33 let. b in fine RTF.
2.
Le recourant invoque une violation de son droit d'être entendu, au motif que les déterminations adressées par le ministère public à l'autorité précédente le 5 janvier 2017 ne lui ont pas été transmises avant que l'arrêt attaqué ne soit rendu.
2.1. Compris comme l'un des aspects de la notion générale de procès équitable au sens de l'art. 29 Cst., le droit d'être entendu garantit notamment au justiciable le droit de s'expliquer avant qu'une décision ne soit prise à son détriment, d'avoir accès au dossier, de prendre connaissance de toute argumentation présentée au tribunal et de se déterminer à son propos, dans la mesure où il l'estime nécessaire, que celle-ci contienne ou non de nouveaux éléments de fait ou de droit, et qu'elle soit ou non concrètement susceptible d'influer sur le jugement à rendre (<ref-ruling> consid. 4.1.1 p. 52 s. et les arrêts cités). Il appartient en effet aux parties, et non au juge, de décider si une prise de position ou une pièce nouvellement versée au dossier appelle des observations de leur part. Toute prise de position ou pièce nouvelle versée au dossier doit dès lors être communiquée aux parties pour leur permettre de décider si elles veulent ou non faire usage de leur faculté de se déterminer (<ref-ruling> consid. 2.1 p. 485 s.). Le droit de répliquer vise le droit conféré à la partie de se déterminer sur " toute prise de position " versée au dossier, quelle que soit sa dénomination procédurale (réponse, réplique, prise de position, etc.). Même si le juge renonce à ordonner un nouvel échange d'écritures, il doit néanmoins transmettre cette prise de position aux autres parties. Le droit de répliquer n'impose pas à l'autorité judiciaire de fixer un délai à la partie pour déposer d'éventuelles observations, mais uniquement de lui laisser un laps de temps suffisant entre la remise des documents et le prononcé de sa décision pour qu'elle ait la possibilité de déposer des observations si elle l'estime nécessaire (<ref-ruling> consid. 4.1.1 p. 53 s. et les références citées).
En matière de récusation, le droit de répliquer du requérant porte également sur toutes les prises de position de la personne dont la récusation a été demandée (arrêts 1B_320/2017 du 18 octobre 2017 consid. 2; 1B_272/2016 du 26 septembre 2016 consid. 2.2.1).
Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment des chances de succès du recourant sur le fond. Selon la jurisprudence, sa violation peut cependant être réparée lorsque la partie lésée a la possibilité de s'exprimer devant une autorité de recours jouissant d'un plein pouvoir d'examen. Toutefois, une telle réparation doit rester l'exception et n'est admissible, en principe, que dans l'hypothèse d'une atteinte qui n'est pas particulièrement grave aux droits procéduraux de la partie lésée. Cela étant, une réparation de la violation du droit d'être entendu peut également se justifier, même en présence d'un vice grave, lorsque le renvoi constituerait une vaine formalité et aboutirait à un allongement inutile de la procédure, ce qui serait incompatible avec l'intérêt de la partie concernée à ce que sa cause soit tranchée dans un délai raisonnable (<ref-ruling> consid. 2.8.1 p. 226 s. et les arrêts cités).
2.2. En l'espèce, l'autorité précédente a transmis la requête de récusation au procureur visé par celle-ci le 3 janvier 2017 en l'invitant à se déterminer dans un délai au 16 janvier 2017, ce qu'il a fait en date du 5 janvier 2017. Ses déterminations sont reprises dans l'arrêt attaqué, p. 4. Il ne ressort cependant pas du dossier cantonal qu'elles auraient été communiquées au recourant avant que l'arrêt attaqué ne soit rendu, de sorte à ce qu'il puisse en prendre connaissance et se déterminer cas échéant sur celles-ci. Au vu de la jurisprudence qui précède, force est de constater que le droit d'être entendu du recourant a été violé.
La procédure devant le Tribunal fédéral ne permet pas de considérer que ce vice pourrait être guéri devant lui. La violation du droit d'être entendu constatée entraîne donc l'annulation de la décision entreprise, indépendamment des chances de succès du recours sur le fond. Ce qui précède rend sans objet les autres griefs soulevés par le recourant.
3.
Le recours doit être admis, l'arrêt entrepris annulé et la cause renvoyée à l'autorité précédente pour nouvelle décision.
Le recourant qui obtient gain de cause ne supporte pas de frais judiciaires (<ref-law>) et peut prétendre à une indemnité de dépens à la charge du canton (art. 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 26 février 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod