Faits: A. Par ordonnance pénale du 29 mai 2012, le Procureur de l'arrondissement de la Côte a condamné X._ pour violation grave des règles de la circulation routière à vingt jours-amende, à 70 fr. le jour. B. Par prononcé du 10 octobre 2012, le Président du Tribunal d'arrondissement de la Côte a déclaré irrecevable l'opposition formulée par X._ le 1er octobre 2012 contre cette ordonnance et dit que celle-ci était exécutoire. C. Par arrêt du 13 novembre 2012, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours formé contre ce prononcé par X._. Cette autorité a estimé que X._ n'avait pas renversé la présomption de fait selon laquelle l'employé postal avait correctement inséré l'avis de retrait du courrier recommandé contenant l'ordonnance pénale dans la boîte à lettres de son lieu de domicile et qu'il devait s'attendre à une telle remise. X._ n'ayant pas retiré le pli recommandé dans les sept jours à compter de cette tentative infructueuse, le 31 mai 2012, l'ordonnance pénale était réputée notifiée au sens de l'art. 85 al. 4 CPP. Selon l'autorité cantonale, la mention par X._ durant la procédure pénale d'une autre adresse que celle de son domicile n'invalidait pas la notification intervenue à ce dernier lieu. L'opposition formée le 1er octobre 2012 était tardive et donc irrecevable. D. X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à la réforme de l'arrêt du 13 novembre 2012 en ce sens que son recours cantonal est admis, le prononcé du 10 octobre 2012 est annulé, la cause est renvoyée au Ministère public de l'arrondissement de la Côte pour nouvelle procédure préliminaire, subsidiairement au Tribunal d'arrondissement de la Côte en vue des débats, les frais de la procédure de recours cantonal sont laissés à la charge de l'Etat de Vaud et une juste indemnité lui est allouée. Il requiert également l'effet suspensif. La Chambre des recours pénale a renoncé à se déterminer. Le Ministère public a conclu au rejet du recours.