Faits :
A.
Par ordonnance pénale du 29 mars 2019, le Ministère public de l'arrondissement de La Côte a condamné A._ pour violation simple des règles de la circulation routière, entrave aux mesures de constatation de l'incapacité de conduire et violation des obligations en cas d'accident à une peine pécuniaire de 60 jours-amende à 100 fr. l'unité, avec sursis pendant 2 ans, et à une amende de 2'000 fr., convertible en 20 jours de peine privative de liberté de substitution en cas de non-paiement fautif.
Dite ordonnance, adressée le même jour à A._ sous pli recommandé, lui a été notifiée à son domicile le 1er avril 2019. L'accusé de réception indiquait comme récipiendaire une personne dénommée "B._".
B.
Par courrier du 15 avril 2019, A._ a formé opposition contre cette ordonnance en déclarant que celle-ci valait d'ores et déjà comme requête de restitution du délai d'opposition.
C.
En date du 19 juin 2019, le ministère public a maintenu son ordonnance, considérant que l'opposition de A._ devait être considérée comme tardive, et a transmis le dossier au Tribunal de police de l'arrondissement de La Côte comme objet de sa compétence.
Par prononcé du 25 octobre suivant, le Tribunal de police a déclaré irrecevable l'opposition formée par A._ pour cause de tardiveté et a renvoyé la cause au ministère public pour qu'il statue sur la demande de restitution de délai.
D.
Statuant sur recours de A._ contre le prononcé du 25 octobre 2019, la Chambre des recours pénale du Tribunal cantonal vaudois l'a, par arrêt du 10 décembre 2019, rejeté et a confirmé le prononcé en question.
E.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 10 décembre 2019. Il conclut, avec suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens que son opposition à l'ordonnance pénale rendue le 29 mars 2019 est déclarée recevable à la forme et avoir été formée en temps utile. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.

Considérant en droit :
1.
Le recourant conteste sous différents angles la validité de la notification de l'ordonnance pénale du 29 mars 2019 ainsi que le caractère tardif de son opposition.
1.1. Conformément à l'<ref-law>, le prévenu peut former opposition contre l'ordonnance pénale devant le ministère public, par écrit et dans les dix jours.
1.1.1. Selon l'<ref-law>, sauf disposition contraire du CPP, les communications des autorités pénales sont notifiées en la forme écrite (al. 1); les autorités pénales notifient leurs prononcés - dont les ordonnances (cf. art. 80 al. 1 2ème phrase CPP) - par lettre signature ou par tout autre mode de communication impliquant un accusé de réception, notamment par l'entremise de la police (al. 2); le prononcé est réputé notifié lorsqu'il est remis au destinataire, à l'un de ses employés ou à toute personne de plus de seize ans vivant dans le même ménage, les directives des autorités pénales concernant une communication à adresser personnellement au destinataire étant réservées (al. 3). Toute communication doit être notifiée au domicile, au lieu de résidence habituelle ou au siège du destinataire (<ref-law>).
1.1.2. De jurisprudence constante, le fardeau de la preuve de la notification et de la date de celle-ci incombe en principe à l'autorité qui entend en tirer une conséquence juridique. L'autorité supporte donc les conséquences de l'absence de preuve en ce sens que si la notification ou sa date sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi. La preuve de la notification peut néanmoins résulter d'autres indices ou de l'ensemble des circonstances, par exemple un échange de correspondance ultérieur ou le comportement du destinataire (<ref-ruling> consid. 4.3 p. 128 et les arrêts cités).
1.1.3. La personne concernée ne doit s'attendre à la remise d'un prononcé que lorsqu'il y a une procédure en cours qui impose aux parties de se comporter conformément aux règles de la bonne foi, à savoir de faire en sorte, entre autres, que les décisions relatives à la procédure puissent leur être notifiées. Le devoir procédural d'avoir à s'attendre avec une certaine vraisemblance à recevoir la notification d'un acte officiel naît avec l'ouverture d'un procès et vaut pendant toute la durée de la procédure (<ref-ruling> consid. 1.2.3 p. 399). Il est admis que la personne concernée doit s'attendre à la remise d'un prononcé lorsqu'elle est au courant qu'elle fait l'objet d'une instruction pénale au sens de l'<ref-law> (arrêt 6B_723/2020 du 2 septembre 2020 consid. 1.1.1 et les références citées). Ainsi, un prévenu informé par la police d'une procédure préliminaire le concernant, de sa qualité de prévenu et des infractions reprochées, doit se rendre compte qu'il est partie à une procédure pénale et donc s'attendre à recevoir, dans ce cadre-là, des communications de la part des autorités, y compris un prononcé (arrêt 6B_723/2020 précité consid. 1.1.1 et les références).
De jurisprudence constante, celui qui se sait partie à une procédure judiciaire et qui doit dès lors s'attendre à recevoir notification d'actes du juge, est tenu de relever son courrier ou, s'il s'absente de son domicile, de prendre des dispositions pour que celui-ci lui parvienne néanmoins. A ce défaut, il est réputé avoir eu, à l'échéance du délai de garde, connaissance du contenu des plis recommandés que le juge lui adresse. Une telle obligation signifie que le destinataire doit, le cas échéant, désigner un représentant, faire suivre son courrier, informer les autorités de son absence ou leur indiquer une adresse de notification (<ref-ruling> consid. 3.1 p. 431 s.; <ref-ruling> consid. 1.1 p. 230 et les références citées).
1.2. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), sous les réserves découlant des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de l'arbitraire dans la constatation des faits. Il n'examine la violation de droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (<ref-law>), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée. Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156 et les références citées).
1.3. Le recourant conteste en premier lieu l'existence d'un "rapport juridique de procédure pénale" et soutient que les circonstances ne permettaient pas de retenir qu'il devait s'attendre à la notification de l'ordonnance pénale litigieuse.
En l'espèce, il ressort clairement de l'arrêt attaqué que le recourant a signé son procès-verbal d'audition par la police dont le préambule précise qu'il a pris note qu'il était entendu en qualité de prévenu au sens des <ref-law> et 157 ss CPP dans le cadre d'une procédure préliminaire instruite à son encontre pour infractions aux règles de la LCR. Il y attestait avoir compris ses droits et obligations. Cette audition s'est déroulée le 16 février 2019 selon la date figurant au procès-verbal (<ref-law>). Dans cette mesure, le recourant ne peut rien tirer en sa faveur de la jurisprudence dont il se prévaut (arrêt 6B_158/2012 du 27 juillet 2012 consid. 2.1 avec renvoi aux <ref-ruling> consid. 2c/aa p. 93; <ref-ruling> consid. 2 p. 9), aux termes de laquelle un simple interrogatoire par la police en qualité de témoin, voire de suspect, ne suffit en général pas à créer un rapport juridique de procédure pénale avec la personne entendue. La configuration propre au cas d'espèce diffère de ce qui précède, puisqu'en l'occurrence, les investigations policières mentionnées par la cour cantonale impliquaient l'existence d'une procédure préliminaire (cf. <ref-law>; <ref-law>) dans laquelle le recourant avaient le statut de prévenu. L'absence d'ouverture formelle d'une instruction (<ref-law>) au moment de l'audition en cause n'y change rien, dès lors que les informations dûment communiquées par la police au recourant ne laissaient planer aucune ambiguïté sur l'existence de la procédure préliminaire diligentée à son encontre et sur le statut qu'il revêtait dans ce contexte. Il s'ensuit que le recourant devait s'attendre, depuis son audition par la police en qualité de prévenu, à se voir notifier un prononcé tel qu'une ordonnance pénale. Celle-ci lui a été adressée moins de deux mois après son audition. Le grief doit donc être rejeté.
1.4. Le recourant reproche ensuite à la cour cantonale d'avoir renversé le fardeau de la preuve en ce qui concerne la notification de l'ordonnance pénale du 29 mars 2019 et d'avoir arbitrairement établi les faits à cet égard. Il se plaint également d'une violation de l'<ref-law>.
En l'espèce, il est constant que le pli recommandé contenant l'ordonnance pénale en cause a été notifiée au domicile du recourant, conformément à l'<ref-law>, et que l'accusé de réception indique comme récipiendaire une personne dénommée "B._". Il ressort de l'arrêt attaqué (cf. <ref-law>) que le recourant s'est contenté d'exposer que cette dernière était une certaine C._ et que celle-ci travaillait à son domicile. Elle n'était toutefois pas son employée, mais celle d'une société D._SA, dont le siège se situait à Vernier et dont il s'avérait que le recourant était administrateur unique avec signature individuelle. Cela étant, le recourant ne peut rien tirer en sa faveur de ce que la cour cantonale aurait arbitrairement écarté sa version concernant l'identité et les qualités de la récipiendaire du pli recommandé en question. Nonobstant la motivation cantonale, les explications du recourant, auxquelles il convient de se référer (cf. supra consid. 1.1.2), ne doivent pas faire perdre de vue qu'il demeure en toute hypothèse l'administrateur unique avec signature individuelle de la société qui emploie la personne qu'il désigne comme récipiendaire. Dans la configuration propre au cas d'espèce, sa qualité d'organe de cette société permet ainsi de considérer un rapport de subordination et des liens directs d'employeur à employé (cf. MACALUSO/TOFFEL, in JEANNERET/KUHN/PERRIER DEPEURSINGE, Commentaire romand, Code de procédure pénale suisse, 2e éd. 2019, n° 23 ad 85 CPP). On doit ainsi reconnaître à la personne définie par le recourant comme récipiendaire du pli recommandé une qualité d'employée au sens de l'<ref-law>, a fortiori dans la mesure où il a lui-même indiqué qu'elle travaillait à son domicile.
Au vu de ces éléments, il n'y a pas matière à considérer une inversion du fardeau de la preuve ni de violation de l'<ref-law>. La cour cantonale était en définitive fondée à considérer que l'ordonnance pénale litigieuse lui avait été valablement notifiée au lieu et à la date considérée, avant d'en conclure que le premier juge avait retenu à bon droit le caractère irrecevable car tardif de l'opposition formée par le recourant. Les griefs du recourant doivent donc être rejetés sur ces points également.
2.
Le recours doit être rejeté. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 16 octobre 2020
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
Le Greffier : Dyens