Faits : A. Par arrêt du 24 janvier 2017, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a déclaré irrecevable la demande de récusation déposée le 30 décembre 2016 par X._ à l'encontre du Procureur A._ et du gendarme B._. Elle a également rejeté le recours formé par X._ contre le prononcé du 22 septembre 2016 du Tribunal de police de l'arrondissement de la Côte déclarant irrecevable l'opposition formée par le précité le 21 novembre 2016 contre l'ordonnance pénale rendue à son encontre le 7 septembre 2016. B. X._ forme un recours en matière pénale auprès de la Ière Cour de droit public du Tribunal fédéral contre cet arrêt. Il requiert son annulation et le renvoi de la cause à l'autorité précédente pour nouvelle décision, subsidiairement la réforme de l'arrêt du 24 janvier 2017 en ce sens que la demande de récusation précitée est recevable. Invités à se déterminer sur le recours, l'autorité précédente et le ministère public y ont renoncé.