Faits :
A.
Par ordonnance pénale du 7 septembre 2016, le Ministère public de l'arrondissement de la Côte a condamné X._ pour violation simple et grave des règles de la circulation routière, le 29 juin 2016, à 30 jours-amende, à 60 fr. le jour avec sursis pendant deux ans, ainsi qu'à une amende de 540 fr., convertible en neuf jours de peine privative de liberté de substitution en cas de non-paiement fautif.
B.
Par courrier du 21 novembre 2016, X._ a indiqué au ministère public qu'il souhaitait former un recours contre l'ordonnance pénale précitée. Il a également précisé qu'il n'avait pas trouvé normal, lors de son audition, le 11 juillet 2016, que le dénonciateur participe activement à celle-ci n'ayant pas apporté la preuve que son rapport n'ayant [sic] pas été déjà rédigé.
Par prononcé du 22 décembre 2016, le Tribunal de police de l'arrondissement de La Côte, à qui la cause avait été transmise, a déclaré l'opposition irrecevable.
C.
Par acte du 30 décembre 2016, X._ a formé un recours auprès de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud contre ce prononcé, concluant à ce que son opposition soit déclarée recevable, subsidiairement que le prononcé soit annulé.
Par requête de récusation du même jour, X._ a demandé à la Chambre des recours pénale de constater la nullité, respectivement l'annulation des actes de procédure auxquels avaient participé le gendarme G._ d'une part, le procureur P._ d'autre part et requis la répétition des actes de procédure en question.
D.
D.a. Par arrêt du 24 janvier 2017, la Chambre des recours pénale a déclaré irrecevable la requête de récusation et rejeté le recours précité.
D.b. Par arrêt 6B_323/2017 du 26 février 2018, la Cour de droit pénal du Tribunal fédéral a admis le recours formé par X._ contre cet arrêt pour violation de son droit d'être entendu, les déterminations du procureur P._ n'ayant pas été transmises à X._ pour qu'il puisse en prendre connaissance et se déterminer cas échéant sur celles-ci avant que l'arrêt du 24 janvier 2017 ne soit rendu.
D.c. Par arrêt du 9 avril 2018, la Chambre des recours pénale a déclaré irrecevable la requête de récusation et rejeté le recours formé contre le prononcé du 22 décembre 2016.
E.
X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il requiert sa réforme en ce sens que la demande de récusation à l'encontre du procureur P._ et du gendarme G._ est admise, les actes de procédure auxquels ils ont participé sont annulés et répétés. Subsidiairement, il conclut à l'annulation de l'arrêt du 9 avril 2018 et au renvoi de la cause à l'autorité précédente pour nouvelle décision.

Considérant en droit :
1.
Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3.3 p. 42; <ref-ruling> consid. 2.3 p. 244), ce qu'il appartient au recourant d'alléguer et d'étayer conformément aux exigences de motivation strictes posées par l'<ref-law> (<ref-ruling> consid. 4.1 p. 53; <ref-ruling> consid. 1.1 p. 503).
Il s'ensuit que les faits invoqués par le recourant, notamment de procédure, qui s'écartent de ceux constatés dans l'arrêt entrepris sans que le recourant n'allègue et ne démontre l'arbitraire de leur omission, sont irrecevables et avec eux les griefs qu'il tente d'en tirer.
2.
Le recourant estime que l'autorité précédente aurait dû juger recevable et fondée sa demande de récusation.
2.1. L'autorité précédente a déclaré irrecevable la demande de récusation formée contre le procureur P._ car tardive. Elle a fait de même s'agissant de la demande de récusation visant le gendarme G._, jugeant d'une part être incompétente, d'autre part que la requête de récusation était elle aussi tardive.
2.2. Aux termes de l'<ref-law>, lorsqu'une partie entend demander la récusation d'une personne qui exerce une fonction au sein d'une autorité pénale, elle doit présenter sans délai à la direction de la procédure une demande en ce sens, dès qu'elle a connaissance du motif de récusation. Les faits sur lesquels elle fonde sa demande doivent être rendus plausibles.
Une requête de récusation ne peut ainsi pas être déposée à n'importe quel moment au cours du procès, selon la tournure que prend celui-ci. Il incombe donc à celui qui se prévaut d'un motif de récusation de se manifester sans délai dès la connaissance du motif de récusation. Passé un certain temps, le droit de requérir, éventuellement d'obtenir, la récusation est périmé (<ref-ruling> consid. 8.4.3 p. 275 et les arrêts cités; plus récemment arrêt 1B_512/2017 du 30 janvier 2018 consid. 3). Il est en effet contraire aux règles de la bonne foi consacrées par l'art. 5 al. 3 Cst. de garder ce moyen en réserve pour ne l'invoquer qu'en cas d'issue défavorable ou lorsque l'intéressé se serait rendu compte que l'instruction ne suivait pas le cours désiré (<ref-ruling> consid. 3.2.1 p. 124; arrêt 6B_1238/2016 du 25 septembre 2017 consid. 4.1).
En matière pénale, est irrecevable pour cause de tardiveté la demande de récusation déposée trois mois, deux mois ou même vingt jours après avoir pris connaissance du motif de récusation. En revanche, n'est pas tardive la requête formée après une période de six ou sept jours, soit dans les jours qui suivent la connaissance du motif de récusation (arrêt 1B_512/2017 précité consid. 3 et les arrêts cités).
Il incombe à la partie qui se prévaut d'un motif de récusation de rendre vraisemblable qu'elle a agi en temps utile, en particulier de rendre vraisemblable le moment de la découverte de ce motif (arrêt 6B_695/2014 du 22 décembre 2017 consid. 3.1 et les références citées).
2.3. Demande de récusation du gendarme G._
La question de savoir si une requête de récusation régie par le CPP peut être dirigée contre un gendarme dans le cas d'espèce peut rester ouverte dès lors qu'elle est de toute façon tardive pour les motifs qui suivent.
En effet, le recourant savait déjà, lors de son audition le 11 juillet 2016, que le gendarme, qui y procédait assisté d'un collègue, était la personne au volant du véhicule civil qui l'avait dénoncé. L'ordonnance pénale du 7 septembre 2016 est réputée lui avoir été notifiée - ce que le recourant ne conteste pas dans son recours - le 15 septembre 2016. Il a de plus effectivement pris ou pu prendre connaissance de l'existence d'une condamnation pénale à son encontre à réception du courrier du Service des automobiles et de la navigation du 7 novembre 2016. Dès cette date, il a pu consulter le dossier de ce service et prendre connaissance de l'ordonnance pénale du 7 septembre 2016. Le recourant ne rend pas vraisemblable qu'il aurait attendu pour procéder à cette consultation. Le 21 novembre 2016 seulement, il a indiqué au ministère public qu'il n'avait pas trouvé " normal " que le dénonciateur participe activement à l'audition. Il a déclaré formuler un recours contre l'ordonnance du 7 septembre 2016 et demander au ministère public de reconsidérer sa décision au vu des éléments apportés. Il n'a en revanche pas demandé la récusation du gendarme. Le recourant, qui a formé recours, assisté d'un avocat, contre le prononcé du 22 décembre 2016, n'invoque d'ailleurs pas s'être plaint dans ce recours d'un déni de justice sur ce point. Il a au contraire déposé, parallèlement, une " requête de récusation " en date du 30 décembre 2016. Ce n'est ainsi que plus de cinq mois après avoir connu le motif de récusation qu'il invoque à l'appui de sa demande de récusation du gendarme qu'il l'a fait valoir. Il a ainsi clairement agi de manière tardive. L'autorité précédente a par conséquent jugé à bon droit que sa demande de récusation était contraire à l'<ref-law> et dès lors irrecevable.
2.4. Demande de récusation du procureur P._
A l'appui de celle-ci, le recourant invoque qu'il aurait fait montre d'une apparence de prévention contraire à l'art. 56 let. f CPP lorsqu'il a rendu l'ordonnance du 7 septembre 2016.
Dès lors que cette décision est réputée avoir été notifiée au recourant le 13 septembre 2016, respectivement qu'il en a eu connaissance après la réception du courrier du 7 novembre 2016, il avait également connaissance à ce moment au plus tard du motif de récusation qu'il invoque à l'appui de sa requête de récusation de ce magistrat. Sa requête, formulée plus d'un mois après, le 30 octobre 2016 est ainsi clairement tardive. Sur ce point également le recours doit être rejeté, sans qu'il n'y ai besoin d'analyser si, sur le fond, la requête de récusation aurait été fondée. Les griefs du recourant sur ce point sont sans objet.
3.
Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure de sa recevabilité, aux frais du recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, par 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au recourant, au Ministère public central du canton de Vaud et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 31 juillet 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod