Faits : A. Par ordonnance pénale du 11 mai 2017, le Ministère public de l'arrondissement de l'Est vaudois a condamné X._ pour vol à trente jours-amende, à 300 fr. le jour, avec sursis pendant deux ans, ainsi qu'à une amende de 300 fr., la peine privative de liberté de substitution étant de 10 jours. X._ a formé opposition en temps utile. Il ne s'est toutefois pas présenté à l'audience fixée par le ministère public le 10 juillet 2017. Par ordonnance du 11 juillet 2017, le ministère public, invoquant l'art. 355 al. 2 CPP, a pris acte du retrait de l'opposition et dit que l'ordonnance pénale du 11 mai 2017 devenait exécutoire. B. Par arrêt du 14 septembre 2017, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre l'ordonnance du 11 juillet 2017 par X._. C. Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt, contestant le retrait de l'opposition. Invités à se déterminer sur le recours, l'autorité précédente, le ministère public et A._ y ont renoncé.