Faits :
A.
Par ordonnance pénale du 11 mai 2017, le Ministère public de l'arrondissement de l'Est vaudois a condamné X._ pour vol à trente jours-amende, à 300 fr. le jour, avec sursis pendant deux ans, ainsi qu'à une amende de 300 fr., la peine privative de liberté de substitution étant de 10 jours.
X._ a formé opposition en temps utile. Il ne s'est toutefois pas présenté à l'audience fixée par le ministère public le 10 juillet 2017.
Par ordonnance du 11 juillet 2017, le ministère public, invoquant l'<ref-law>, a pris acte du retrait de l'opposition et dit que l'ordonnance pénale du 11 mai 2017 devenait exécutoire.
B.
Par arrêt du 14 septembre 2017, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre l'ordonnance du 11 juillet 2017 par X._.
C.
Ce dernier forme un recours en matière pénale auprès du Tribunal fédéral contre cet arrêt, contestant le retrait de l'opposition.
Invités à se déterminer sur le recours, l'autorité précédente, le ministère public et A._ y ont renoncé.

Considérant en droit :
1.
Le recourant allègue dans son recours en matière pénale que se rendre à l'audience du 10 juillet 2017 l'aurait conduit à perdre un jour de travail. Ce fait, nouveau, est irrecevable (<ref-law>).
2.
Le recourant invoque que ses courriers au ministère public des 6 et 9 juillet 2017 auraient dû être considérés comme contenant des excuses pour déplacer l'audience fixée au 10 juillet 2017. Il conteste par conséquent l'application de l'<ref-law>.
2.1. Aux termes de cette disposition, en cas d'opposition, le ministère public administre les autres preuves nécessaires au jugement de l'opposition (al. 1). Si l'opposant, sans excuse, fait défaut à une audition malgré une citation, son opposition est réputée retirée (al. 2). En vertu de l'<ref-law>, après l'administration des preuves, le ministère public décide de maintenir l'ordonnance pénale (let. a), de classer la procédure (let. b), de rendre une nouvelle ordonnance pénale (let. c) ou de porter l'accusation devant le tribunal de première instance (let. d).
L'ordonnance pénale n'est compatible avec la garantie constitutionnelle de l'accès au juge (art. 29a Cst.), respectivement avec le droit à ce qu'une cause soit entendue par un tribunal jouissant d'un plein pouvoir d'examen (art. 6 par. 1 CEDH), que dans la mesure où il appartient en dernier lieu à la personne concernée de l'accepter ou de faire usage, par le biais de l'opposition, de son droit à un examen par un tribunal. Contrairement à ce que prévoit l'<ref-law>, le défaut au sens de l'<ref-law> peut conduire à la perte totale de la protection légale, alors même que la personne concernée a expressément formé opposition, revendiquant ainsi précisément cette protection légale devant les autorités compétentes (<ref-ruling> consid. 3.2 p. 160 s; <ref-ruling> c. 2.4 p. 84 s). Selon une interprétation conforme à la Constitution et compte tenu de l'importance fondamentale que revêt le droit d'opposition, la fiction légale du retrait prévue par l'<ref-law> ne peut ainsi s'appliquer que si l'on peut déduire de bonne foi (<ref-law>) du comportement général de la personne concernée et de son désintérêt pour la suite de la procédure pénale qu'elle a renoncé en connaissance de cause à la protection dont elle jouit en vertu de la loi (<ref-ruling> consid. 3.1 p. 159 s. et consid. 3.3 p. 161; <ref-ruling> consid. 2.5 p. 85 s.).
2.2. En l'espèce il ressort des faits constatés par l'autorité précédente qu'il convient de compléter conformément à l'<ref-law>, que le recourant a formé opposition à l'ordonnance pénale le 18 mai 2017, requérant notamment que son dossier soit traité par le ministère public d'un autre arrondissement. Le 22 mai 2017, la procureure en charge de son dossier a refusé ce transfert, les faits s'étant déroulés dans son arrondissement. Elle a également avisé le recourant qu'elle allait prochainement le citer à comparaître, relevant qu'il aurait été préférable qu'il se présente aux convocations de la gendarmerie. Par courrier du même jour, elle a avisé les parties, dont le recourant, de l'opposition formée par ce dernier et indiqué qu'elle allait procéder conformément à l'<ref-law>, citant la teneur de cette disposition et notamment de son alinéa 2. Le 7 juin 2017, la procureure a convoqué le recourant à son audience du 10 juillet 2017 par mandat de comparution. Celui-ci rappelait expressément la teneur de l'<ref-law> dans son entier. Le 15 juin 2017, le recourant a écrit à la supérieure de la procureure pour se plaindre que celle-ci avait certes répondu à un de ses courriers, mais n'y avait pas donné suite. Il a également contesté les faits qui lui étaient reprochés, donnant sa version des faits. Le 27 juin 2017, la procureure a indiqué au recourant que sa supérieure avait pris connaissance de son courrier du 15 juin 2017. Elle lui a également demandé s'il maintenait sa plainte à l'encontre de la personne ayant porté plainte contre lui. Par courrier du 6 juillet 2017 à la procureure, le recourant s'est référé à un courrier du 29 juin 2017 et aux courriers précités. Il indiquait n'avoir pas eu de nouvelles de sa part et avoir donné sa version des faits par écrit. Pour ces raisons, il se permettait de reporter, si c'était toujours nécessaire, la date de sa comparution à l'audience du 10 juillet 2017. Par courrier du 7 juillet 2017 au recourant, la procureure a accusé réception du courrier précité du 6 juillet 2017 et rendu le recourant attentif au fait qu'en cas d'absence de sa part à l'audience du 10 juillet 2017 son opposition serait considérée retirée et l'ordonnance pénale rendue le 11 mai 2017 exécutoire. Le 9 juillet 2017, le recourant a de nouveau écrit à la supérieure de la procureure. Il a accusé réception du courrier du 7 juillet 2017 et s'est plaint sans autre précision que la procureure ne donnait pas suite à ses courriers. Le 10 juillet 2017, le recourant ne s'est pas présenté à l'audience.
2.3. Il résulte de ce qui précède que le recourant a été dûment convoqué à l'audience fixée par le ministère public. La teneur de l'<ref-law> et en particulier les conséquences d'une absence non excusée à une audience fixée par le ministère public ont été rappelées au recourant, à plusieurs reprises. Ce dernier n'a fourni aucune excuse valable au sens de l'<ref-law> pour ne pas se rendre à l'audience, le fait de s'être déjà exprimé par écrit n'en étant pas une.
L'<ref-law> doit certes être interprété conformément au principe de bonne foi et appliqué uniquement s'il peut être déduit du comportement général de la personne concernée et de son désintérêt pour la suite de la procédure pénale qu'elle a renoncé en connaissance de cause à la protection dont elle jouit en vertu de la loi. Cette disposition ne saurait toutefois être interprétée de sorte à permettre au condamné de choisir la manière dont sa cause sera traitée. Il ne peut faire fi de l'organisation voulue par le législateur, en particulier des compétences accordées au ministère public à la suite d'une opposition (<ref-law>), avant toute saisie éventuelle du tribunal de première instance (<ref-law>). En d'autres termes, le condamné ne peut choisir, sans disposer de motifs l'en empêchant, de ne pas se présenter à une audience fixée par le ministère public dans le cadre des compétences que l'<ref-law> lui accorde. Il doit se plier au déroulement de la procédure telle qu'elle a été voulue par le législateur. S'il ne s'y soumet pas, sans excuse, il doit être considéré comme s'étant désintéressé du traitement procédural de sa cause. L'<ref-law> peut alors lui être opposé.
Au vu de ce qui précède et des circonstances d'espèce rappelées ci-dessus, la confirmation par l'autorité précédente de l'application de l'<ref-law> par le ministère public ne prête pas flanc à la critique.
3.
Il s'ensuit que le recours doit être rejeté dans la mesure de sa recevabilité, aux frais du recourant qui succombe (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 29 mai 2018
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Cherpillod