Faits : A. Par ordonnance pénale du 29 mars 2019, le Ministère public de l'arrondissement de La Côte a condamné A._ pour violation simple des règles de la circulation routière, entrave aux mesures de constatation de l'incapacité de conduire et violation des obligations en cas d'accident à une peine pécuniaire de 60 jours-amende à 100 fr. l'unité, avec sursis pendant 2 ans, et à une amende de 2'000 fr., convertible en 20 jours de peine privative de liberté de substitution en cas de non-paiement fautif. Dite ordonnance, adressée le même jour à A._ sous pli recommandé, lui a été notifiée à son domicile le 1er avril 2019. L'accusé de réception indiquait comme récipiendaire une personne dénommée "B._". B. Par courrier du 15 avril 2019, A._ a formé opposition contre cette ordonnance en déclarant que celle-ci valait d'ores et déjà comme requête de restitution du délai d'opposition. C. En date du 19 juin 2019, le ministère public a maintenu son ordonnance, considérant que l'opposition de A._ devait être considérée comme tardive, et a transmis le dossier au Tribunal de police de l'arrondissement de La Côte comme objet de sa compétence. Par prononcé du 25 octobre suivant, le Tribunal de police a déclaré irrecevable l'opposition formée par A._ pour cause de tardiveté et a renvoyé la cause au ministère public pour qu'il statue sur la demande de restitution de délai. D. Statuant sur recours de A._ contre le prononcé du 25 octobre 2019, la Chambre des recours pénale du Tribunal cantonal vaudois l'a, par arrêt du 10 décembre 2019, rejeté et a confirmé le prononcé en question. E. A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 10 décembre 2019. Il conclut, avec suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens que son opposition à l'ordonnance pénale rendue le 29 mars 2019 est déclarée recevable à la forme et avoir été formée en temps utile. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.