Faits:
A.
Par ordonnance pénale du 29 mai 2012, le Procureur de l'arrondissement de la Côte a condamné X._ pour violation grave des règles de la circulation routière à vingt jours-amende, à 70 fr. le jour.
B.
Par prononcé du 10 octobre 2012, le Président du Tribunal d'arrondissement de la Côte a déclaré irrecevable l'opposition formulée par X._ le 1er octobre 2012 contre cette ordonnance et dit que celle-ci était exécutoire.
C.
Par arrêt du 13 novembre 2012, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre ce prononcé par X._.
Cette autorité a estimé que X._ n'avait pas renversé la présomption de fait selon laquelle l'employé postal avait correctement inséré l'avis de retrait du courrier recommandé contenant l'ordonnance pénale dans la boîte à lettres de son lieu de domicile et qu'il devait s'attendre à une telle remise. X._ n'ayant pas retiré le pli recommandé dans les sept jours à compter de cette tentative infructueuse, le 31 mai 2012, l'ordonnance pénale était réputée notifiée au sens de l'<ref-law>. Selon l'autorité cantonale, la mention par X._ durant la procédure pénale d'une autre adresse que celle de son domicile n'invalidait pas la notification intervenue à ce dernier lieu. L'opposition formée le 1er octobre 2012 était tardive et donc irrecevable.
D.
X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à la réforme de l'arrêt du 13 novembre 2012 en ce sens que son recours cantonal est admis, le prononcé du 10 octobre 2012 est annulé, la cause est renvoyée au Ministère public de l'arrondissement de la Côte pour nouvelle procédure préliminaire, subsidiairement au Tribunal d'arrondissement de la Côte en vue des débats, les frais de la procédure de recours cantonal sont laissés à la charge de l'Etat de Vaud et une juste indemnité lui est allouée. Il requiert également l'effet suspensif.
La Chambre des recours pénale a renoncé à se déterminer. Le Ministère public a conclu au rejet du recours.

Considérant en droit:
1.
Au cours de la procédure ayant abouti à l'ordonnance pénale litigieuse, le recourant a indiqué à la police cantonale puis au procureur, à titre d'adresse: "Hôtel A._, 1xxx B._" (pièce 4/5 "identité du conducteur responsable", pièce 6 "formulaire de renseignements généraux"). Il a précisé vouloir que le courrier à son attention soit envoyé à cet endroit (pièce 4/6 courrier à la police cantonale). L'avis de retrait postal concernant l'ordonnance litigieuse a néanmoins été déposé à l'adresse "rue C._, 1xxx B._". Il s'agit de l'adresse indiquée par la police comme domicile du recourant et figurant sur un courrier de l'administration fiscale (pièces 4/2 et 6/3). A titre préalable, il convient d'examiner si la notification de l'ordonnance à cette dernière adresse était régulière.
1.1. En vertu de l'<ref-law>, toute communication doit être notifiée au domicile, au lieu de résidence habituelle ou au siège du destinataire. Se pose donc la question de savoir si cette disposition exclut que l'intéressé indique une adresse de notification.
Le Message relatif à l'unification du droit de la procédure pénale du 21 décembre 2005 (FF 2006 1057 ss) est muet sur ce point. Il ressort toutefois des débats parlementaires que les art. 82 ss P-CPP réglant la notification et la communication des prononcés (actuels <ref-law>) reprenaient les principes généralement reconnus en droit procédural ainsi que, dans la mesure du possible, les dispositions de la loi sur le Tribunal fédéral. Une certaine harmonisation avec la future procédure civile unifiée était également souhaitée (BO 2006 E 1007). La teneur de l'art. 85 al. 1 P-CPP a été reprise mot pour mot dans l'actuel <ref-law>.
De jurisprudence constante, celui qui se sait partie à une procédure judiciaire et qui doit dès lors s'attendre à recevoir notification d'actes du juge, est tenu de relever son courrier ou, s'il s'absente de son domicile, de prendre des dispositions pour que celui-ci lui parvienne néanmoins. À ce défaut, il est réputé avoir eu, à l'échéance du délai de garde, connaissance du contenu des plis recommandés que le juge lui adresse (<ref-ruling> consid. 3.1 p. 227; <ref-ruling> consid. 1.2.3 p. 399). Une telle obligation signifie que le destinataire doit, le cas échéant, désigner un représentant, faire suivre son courrier, informer les autorités de son absence ou leur indiquer une adresse de notification (<ref-ruling> consid. 4a p. 132/133 et plus récemment arrêts 8C_860/2011 du 19 décembre 2011; 2C_1015/2011 du 12 octobre 2012 consid. 3.3.1). Il découle de cette jurisprudence que le destinataire d'actes judiciaires non seulement peut, mais également doit, lorsqu'il estime qu'une notification ne pourra aboutir au lieu connu des autorités, désigner une adresse où il pourra être atteint.
L'<ref-law> impose aux parties d'indiquer au Tribunal fédéral "leur domicile ou leur siège". Ces notions doivent toutefois être interprétées en fonction du but visé par les dispositions sur la notification ( Yves Donzallaz, Loi sur le Tribunal fédéral, 2008, n° 664 p. 321), soit, pour celle du domicile, de manière plus large que le domicile civil visé par l'<ref-law> ( Laurent Merz, in Niggli/Uebersax/Wiprächtiger [éd.], Basler Kommentar zum Bundesgerichtsgesetz, 2e éd. 2011, n° 4 ad <ref-law>). Le Tribunal fédéral considère ainsi valable la notification faite par ses soins à l'adresse fournie par le destinataire, sans qu'il soit vérifié qu'il s'agisse du domicile ou du siège de l'intéressé (arrêts 2C_233/2012 du 18 mai 2012; 5F_9/2007 du 9 novembre 2007; 5A_28/2007 du 15 mars 2007; 5C.272/2006 du 22 novembre 2006). Une telle interprétation de l'<ref-law> est corroborée par l'<ref-law> qui permet aux parties de choisir la notification électronique, soit de se voir notifier des décisions judiciaires à l'adresse électronique qu'elles choisissent et qu'elles peuvent consulter où bon leur semble.
Le Code de procédure civile suisse du 19 décembre 2008, entré en vigueur le 1er janvier 2011, ne traite pas du lieu où doivent être notifiés les actes de procédure. A l'instar de l'<ref-law>, l'<ref-law> permet toutefois au destinataire d'un acte de se faire notifier celui-ci par voie électronique, soit de choisir l'adresse électronique où cet acte lui parviendra. La doctrine admet quant à elle que les parties communiquent une simple adresse de notification, autre que celle du domicile (cf. François Bohnet, in Code de procédure civile commenté, 2011, n° 9 ad <ref-law>; Nina J. Frei, in Berner Kommentar, Schweizerische Zivilprozessordnung, vol. I, 2012, n° 5 ad <ref-law>).
Une telle interprétation des dispositions légales en matière de notification est seule compatible avec leur but, à savoir la sécurité du droit et l'économie de procédure. Il importe en effet que la personne qui se sait partie à une procédure puisse prendre les mesures pour être atteignable, respectivement assume le fait de ne pas l'être. L'<ref-law> ne saurait dès lors être interprété comme interdisant à une partie d'indiquer aux autorités judiciaires une autre adresse que celles mentionnées dans cette disposition. Cette appréciation est appuyée par l'<ref-law> qui permet, en procédure pénale également, de notifier toute communication à l'adresse électronique choisie par son destinataire, lorsque celui-ci consent à un tel mode de notification. On ne voit pas que le destinataire d'un acte puisse choisir une adresse électronique à laquelle il veut être atteint, mais non une adresse postale à cette fin.
1.2. Dès lors que le destinataire a le droit d'indiquer une autre adresse de notification que son domicile ou sa résidence habituelle, il a le droit que les notifications se fassent à l'adresse communiquée (cf. <ref-ruling>; également Bohnet/Brügger, La notification en procédure civile suisse, in RDS 2010, p. 307; Donzallaz, op. cit., n° 665 p. 322). Est toutefois réservée l'hypothèse où la notification à l'adresse indiquée serait sensiblement plus compliquée que celle à l'un des lieux mentionnés à l'<ref-law>.
1.3. En l'occurrence, la Poste a apparemment déposé un avis de retrait uniquement à l'adresse (rue C._, 1xxx B._) enregistrée par la police et l'administration fiscale comme le domicile du recourant et non à celle (Hôtel A._, 1xxx B._) indiquée clairement par ce dernier, à plusieurs reprises, durant la procédure. Le courrier d'accompagnement de l'ordonnance pénale litigieuse qui figure au dossier (pièce 8) mélange d'ailleurs les deux adresses en mentionnant d'une part la rue C._, d'autre part l'Hôtel A._. Il incombait à l'autorité de faire en sorte qu'une notification ait bien lieu à l'adresse indiquée par le recourant. Que celui-ci ait répondu à des courriers adressés à son domicile et qu'il ait donc pu y être joint est sans pertinence dès lors qu'il a indiqué dans chacune de ses réponses à ces courriers, expressément, une autre adresse. La notification intervenue au domicile du recourant est donc irrégulière.
Une telle notification a généralement pour seule conséquence qu'elle ne doit entraîner aucun préjudice pour son destinataire (cf. <ref-law>). Le délai d'opposition pour attaquer une ordonnance notifiée irrégulièrement court par conséquent dès le jour où son destinataire a pu en prendre connaissance, dans son dispositif et ses motifs (cf. <ref-ruling> consid. 3 p. 94). En vertu du principe de la bonne foi, l'intéressé est toutefois tenu de se renseigner sur l'existence et le contenu de la décision dès qu'il peut en soupçonner l'existence, sous peine de se voir opposer l'irrecevabilité d'un éventuel moyen pour cause de tardiveté (<ref-ruling> consid. 4.2 p. 313; <ref-ruling> consid. 4a p. 76; <ref-ruling> consid. 3 p. 93/94).
Le recourant a eu connaissance de l'existence de l'ordonnance pénale litigieuse à réception du courrier du 18 septembre 2012 du ministère public. Il a pu la consulter le 25 septembre 2012 et a fait opposition le lundi 1er octobre 2012 (pièces 10 et 11). Celle-ci a donc été formée dans le délai légal de 10 jours prévu par l'<ref-law>. Aucun retard ne peut être reproché au recourant. L'opposition a ainsi à tort été jugée irrecevable car tardive. L'arrêt entrepris doit par conséquent être annulé et la cause renvoyée à l'autorité cantonale afin qu'elle examine si l'opposition est irrecevable pour d'autres motifs. Si tel n'est pas le cas, le dossier sera transmis à l'autorité compétente, afin qu'il soit procédé conformément à l'<ref-law>.
2.
Il résulte de ce qui précède que le recours doit être admis et l'arrêt attaqué annulé, sans que les autres griefs soulevés par le recourant n'aient à être examinés.
Il n'est pas perçu de frais judiciaires (art. 66 al. 1 et 4 LTF). Le canton de Vaud versera au recourant une indemnité de dépens pour la procédure devant le Tribunal fédéral (art. 68 al. 1 et 2 LTF).
Vu l'issue du recours, la requête d'effet suspensif est sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause est renvoyée à l'autorité cantonale pour nouvelle décision.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 3 juin 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod