Faits : A. Par ordonnance pénale du 7 septembre 2016, le Ministère public de l'arrondissement de la Côte a condamné X._ pour violation simple et grave des règles de la circulation routière, le 29 juin 2016, à 30 jours-amende, à 60 fr. le jour avec sursis pendant deux ans, ainsi qu'à une amende de 540 fr., convertible en neuf jours de peine privative de liberté de substitution en cas de non-paiement fautif. B. Par courrier du 21 novembre 2016, X._ a indiqué au ministère public qu'il souhaitait former un recours contre l'ordonnance pénale précitée. Il a également précisé qu'il n'avait pas trouvé normal, lors de son audition, le 11 juillet 2016, que le dénonciateur participe activement à celle-ci n'ayant pas apporté la preuve que son rapport n'ayant [sic] pas été déjà rédigé. Par prononcé du 22 décembre 2016, le Tribunal de police de l'arrondissement de La Côte, à qui la cause avait été transmise, a déclaré l'opposition irrecevable. C. Par acte du 30 décembre 2016, X._ a formé un recours auprès de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud contre ce prononcé, concluant à ce que son opposition soit déclarée recevable, subsidiairement que le prononcé soit annulé. Par requête de récusation du même jour, X._ a demandé à la Chambre des recours pénale de constater la nullité, respectivement l'annulation des actes de procédure auxquels avaient participé le gendarme G._ d'une part, le procureur P._ d'autre part et requis la répétition des actes de procédure en question. D. D.a. Par arrêt du 24 janvier 2017, la Chambre des recours pénale a déclaré irrecevable la requête de récusation et rejeté le recours précité. D.b. Par arrêt 6B_323/2017 du 26 février 2018, la Cour de droit pénal du Tribunal fédéral a admis le recours formé par X._ contre cet arrêt pour violation de son droit d'être entendu, les déterminations du procureur P._ n'ayant pas été transmises à X._ pour qu'il puisse en prendre connaissance et se déterminer cas échéant sur celles-ci avant que l'arrêt du 24 janvier 2017 ne soit rendu. D.c. Par arrêt du 9 avril 2018, la Chambre des recours pénale a déclaré irrecevable la requête de récusation et rejeté le recours formé contre le prononcé du 22 décembre 2016. E. X._ forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt. Il requiert sa réforme en ce sens que la demande de récusation à l'encontre du procureur P._ et du gendarme G._ est admise, les actes de procédure auxquels ils ont participé sont annulés et répétés. Subsidiairement, il conclut à l'annulation de l'arrêt du 9 avril 2018 et au renvoi de la cause à l'autorité précédente pour nouvelle décision.