Faits :
A.
Par ordonnance pénale du 10 juin 2015, la Préfecture du district de Lausanne a condamné X._, pour infraction simple à la LCR, à une amende de 500 fr. convertible en 5 jours de peine privative de liberté de substitution en cas de non-paiement dans le délai imparti, et a mis les frais de la procédure à la charge du prévenu. Cette ordonnance a été envoyée à son destinataire sous pli simple.
Le 2 juillet 2015, X._ a formé opposition, en indiquant qu'il avait reçu l'ordonnance pénale le 23 juin 2015. Par courrier du 6 juillet 2015, la préfecture l'a informé qu'elle maintenait l'ordonnance et que l'opposition lui apparaissait tardive. En conséquence, elle transmettait le dossier, par l'intermédiaire du Ministère public, au Tribunal de police d'arrondissement de Lausanne.
Statuant le 20 juillet 2015, le tribunal de police a déclaré l'opposition irrecevable pour cause de tardiveté, et dit que celle-ci était exécutoire.
B.
Par arrêt du 31 juillet 2005, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._, confirmé le prononcé du 20 juillet 2015, et mis les frais de la cause à la charge du recourant.
C.
X._ interjette un recours en matière pénale au Tribunal fédéral. Avec suite de frais et dépens, il conclut, principalement, à la réforme de l'arrêt cantonal en ce sens que l'opposition qu'il a formée le 2 juillet 2015 est déclarée recevable et la cause renvoyée à la préfecture pour instruction au sens des considérants; subsidiairement, à l'annulation de l'arrêt du 31 juillet 2015 et au renvoi de la cause à la Chambre des recours pénale pour nouvelle instruction et nouveau jugement dans le sens des considérants.
Il n'a pas été ordonné d'échange d'écritures.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu dans une cause de droit pénal (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
La Chambre des recours pénale a relevé que le recourant n'avait pas apporté la preuve de la notification de l'ordonnance pénale litigieuse le 23 juin 2015. La date de son envoi, en revanche, était établie par le "Journal des opérations" de la préfecture qui avait force probante à cet égard. Il ressortait de ce journal que l'ordonnance avait été expédiée à l'adresse de son destinataire le jour même de sa rédaction, soit le 10 juin 2015, par courrier B. Faisant référence à la jurisprudence, la Chambre des recours pénale a ensuite considéré que, lorsque le destinataire d'une décision admet en avoir pris connaissance, on peut présumer que celle-ci lui est parvenue dans un laps de temps normal, l'autorité étant alors dispensée d'apporter la preuve qui lui incombe. Compte tenu du fait que le courrier B était distribué au plus tard le troisième jour ouvrable suivant son dépôt selon les conditions générales de la Poste suisse, elle a donc tenu pour établi que l'ordonnance pénale, expédiée mercredi 10 juin 2015, était parvenue au recourant au plus tard lundi 15 juin 2015. Partant, elle a confirmé la tardiveté de l'opposition, cette dernière ayant été envoyée le 2 juillet 2015, soit postérieurement au délai d'opposition de dix jours (<ref-law>).
3.
Le recourant reproche à la cour cantonale d'avoir fait une mauvaise application des dispositions légales (art. 357, 353, et 85 CPP) et des principes jurisprudentiels régissant la notification des actes par l'autorité compétente. Il rappelle que selon une jurisprudence bien établie, le fardeau de la preuve de la notification incombe à l'autorité qui en-tend en tirer une conséquence juridique. Dans ce contexte, la cour cantonale avait effectué un raisonnement doublement arbitraire. D'une part, elle avait conféré au "Journal des opérations" de la préfecture une valeur de preuve qu'elle n'avait pas dès lors qu'il s'agissait d'une simple pièce de forme établie par l'autorité elle-même sans moyen de contrôle quant à l'exactitude des informations qu'elle contenait. D'autre part, elle avait postulé l'infaillibilité de la Poste suisse, ce qui n'était pas admissible. Des retards dans l'acheminement du courrier simple n'étaient en effet ni rares, ni exceptionnels. A cela s'ajoutait que le mode de communication de l'ordonnance pénale du 10 juin 2015 l'avait été en violation de la forme de notification prescrite par le Code de procédure pénale pour ce type de décision. Or une notification irrégulière ne devait entraîner aucun préjudice pour son destinataire. Le résultat auquel était parvenue la cour cantonale heurtait également le principe in dubio pro reo car il existait sans conteste un doute sur la date de notification du pli simple contenant l'ordonnance pénale et que ce doute devait profiter au destinataire de la décision. Enfin, le recourant invoque une violation de son droit d'être entendu en tant que la cour cantonale s'était abstenue de procéder à des mesures d'instruction auprès de la préfecture et de la poste comme il l'avait demandé.
4.
4.1. En vertu de l'<ref-law>, applicable par analogie à la procédure pénale en matière de contravention (<ref-law>), l'ordonnance pénale est immédiatement notifiée par écrit aux personnes et aux autorités qui ont qualité pour former opposition. Les autorités pénales notifient leurs prononcés par lettre signature ou par tout autre mode de communication impliquant un accusé de réception, notamment par l'entremise de la police (<ref-law>). Le délai d'opposition contre l'ordonnance pénale est de dix jours (cf. <ref-law>). La date de réception étant déterminante pour faire courir le dé-lai d'opposition, la règle de l'<ref-law> se justifie par le fait qu'il faut acquérir la certitude que le prévenu a bien reçu l'ordonnance pénale et qu'il a eu la possibilité de faire opposition (GILLIÉRON/KILLIAS, in Commentaire romand, Code de procédure pénale suisse, Kuhn/Jeanneret [éd.], 2011, n o 14 ad <ref-law>). En ce sens, elle a une fonction de preuve importante (BRÜSCHWEILER, in Kommentar zur Schweizerischen Strafprozessordnung, Donatsch/Hansjakob/Lieber [éd.], 2014, n o 3 ad 85 CPP).
4.2. En l'espèce, il y a lieu de constater - ce que la cour cantonale a omis de faire - qu'en expédiant au recourant l'ordonnance pénale du 10 juin 2015 par pli simple, soit par un mode de communication où il n'y a pas d'accusé de réception, la préfecture a procédé à une notification qui n'est pas conforme à l'<ref-law>. Le Code de procédure pénale ne prévoit pas les conséquences juridiques pouvant dé-couler d'une notification effectuée en violation de cette disposition. Le Message du Conseil fédéral relatif à l'unification du droit de la procédure pénale du 21 décembre 2005 (FF 2006 1057) ne traite pas non plus de cette question. Il convient donc de se référer aux principes jurisprudentiels développés en la matière (voir arrêt 1B_41/2016 du 24 février 2016 consid. 2.1).
4.3. De jurisprudence constante, le fardeau de la preuve de la notification et de la date de celle-ci incombe en principe à l'autorité qui entend en tirer une conséquence juridique (<ref-ruling> consid. 5.9 p. 309, avec les nombreuses références). L'autorité supporte donc les conséquences de l'absence de preuve en ce sens que si la notification ou sa date sont contestées et qu'il existe effectivement un doute à ce sujet, il y a lieu de se fonder sur les déclarations du destinataire de l'envoi (<ref-ruling> consid. 2.2 p. 10; <ref-ruling> consid. 2a p. 402; arrêt 6B_869/2014 du 18 septembre 2015 consid. 1.2). La preuve de la notification peut néanmoins résulter d'autres indices ou de l'ensemble des circonstances, par exemple un échange de correspondance ultérieur ou le comportement du destinataire (<ref-ruling> consid. 2a p. 46).
4.4. En l'occurrence, on ne saurait suivre la cour cantonale lorsqu'elle tient pour établi que la notification au recourant du pli simple comportant l'ordonnance litigieuse a bien eu lieu au plus tard le 15 juin 2015. Tout d'abord, il est discutable d'attribuer une force de preuve au "Journal des opérations" de la préfecture dès lors que l'on ignore la manière dont celui-ci est tenu. La question peut toutefois rester indécise car même en admettant que la date d'expédition du pli fût bien le 10 juin 2015, la preuve de sa date de réception par le recourant - seule déterminante - ne peut être considérée comme rapportée par la seule référence aux délais usuels d'acheminement des envois postaux. Le Tribunal fédéral a déjà dit qu'une erreur ou un retard dans la distribution du courrier par pli simple ne peuvent être exclus, même s'ils apparaissent improbables (arrêts 9C_744/2012 du 15 janvier 2013 consid. 5.3 publié dans RtiD 2013 II 342 et 2P.177/2001 du 9 juillet 2002 consid. 1.4). Il est en pratique difficile, pour ne pas dire impossible, d'établir la preuve qu'une communication est parvenue à son destinataire en cas d'envoi sous pli simple (voir JEAN-MAURICE FRÉSARD, Commentaire de la LTF, 2ème éd. 2014, n o 29 ad. 44 LTF). C'est bien pour cette raison que l'<ref-law> prescrit une notification par lettre signature (recommandé) ou tout autre mode impliquant un accusé de réception. S'agissant de la présomption sur laquelle la cour cantonale a fondé son raisonnement, elle procède d'une mauvaise compréhension de la jurisprudence. Certes, dans certaines circonstances, l'attitude du destinataire de l'envoi peut constituer un élément d'appréciation susceptible d'être déterminant pour retenir la notification de la décision ou le fait que celle-ci est intervenue avant une certaine date (par exemple: arrêts 5D_62/2014 du 14 octobre 2014, 9C_202/2014 du 11 juillet 2014 et 5A_359/2013 du 15 juillet 2013). Dans le cas particulier cependant, il n'existe aucun indice dont on pourrait inférer que le recourant aurait reçu l'ordonnance litigieuse avant le 23 juin 2015, de sorte qu'il y a lieu de se fonder sur ses déclarations quant à la date de notification de cette ordonnance.
Par conséquent, c'est à tort que la cour cantonale a confirmé la tardiveté de l'opposition du recourant. On doit considérer que celle-ci, formée le 2 juillet 2015, est intervenue dans le délai légal de dix jours fixé à l'<ref-law>. Le recours est bien fondé, sans qu'il soit nécessaire d'examiner les autres griefs soulevés.
5.
Au vu de ce qui précède, la décision attaquée doit être annulée et la cause renvoyée, en application de l'art. 107 al. 2 2ème phrase LTF, au Tribunal de police d'arrondissement de Lausanne (et non pas à la préfecture comme l'a conclu le recourant), afin qu'il donne suite à l'opposition du recourant. Il revient en effet au tribunal de police de connaître des oppositions aux ordonnances pénales en vertu de l'art. 8 al. 1 let. c de la loi vaudoise d'introduction du Code de procédure pénale suisse du 19 mai 2009 (LVCPP; RS/VD 312.01). La cause sera également renvoyée à la cour cantonale pour une nouvelle décision sur les frais et dépens (art. 67 et 68 al. 5 LTF). Dans la mesure où l'objet du litige s'est limité à une question de nature purement procédurale et que le Tribunal fédéral n'a pas traité la cause sur le fond, ne préjugeant ainsi pas de l'issue de la cause, il peut être procédé au renvoi sans ordonner préalablement un échange d'écritures (cf. <ref-ruling> consid. 3.4.2 p. 296; arrêt 6B_432/2015 du 1er février 2016 consid. 4; arrêt 6B_706/2014 du 28 août 2015 consid. 1.4).
Le recourant, qui obtient gain de cause, peut prétendre à une indemnité de dépens à la charge du canton de Vaud (art. 68 al. 1 et 2 LTF). Le présent arrêt est rendu sans frais (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis, l'arrêt attaqué est annulé et la cause renvoyée au Tribunal de police d'arrondissement de Lausanne pour reprise de la procédure d'opposition. La cause est au surplus renvoyée à l'autorité précédente pour nouvelle décision sur les frais et dépens de la procédure cantonale.
2.
Il n'est pas perçu de frais judiciaires.
3.
Le canton de Vaud versera au recourant une indemnité de 3'000 fr. à titre de dépens pour la procédure devant le Tribunal fédéral.
4.
Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal vaudois, ainsi qu'au Tribunal de police de l'arrondissement de Lausanne.
Lausanne, le 20 avril 2016
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : von Zwehl