Faits:
A. A.a Le 22 juin 2011, X._ a été entendu par la police à la suite d'une altercation avec une autre automobiliste. Il a été informé à cette occasion qu'une procédure préliminaire était instruite à son encontre pour voies de fait, dommages à la propriété et injure. Il a en outre signé un formulaire l'informant des droits et obligations qui étaient les siens en sa qualité de prévenu.
A.b Par ordonnance pénale du 8 septembre 2011, le Procureur de l'arrondissement de Lausanne a notamment condamné X._ pour voies de fait, dommages à la propriété et injure à une peine de 90 jours-amende à 40 francs le jour, avec sursis pendant trois ans, ainsi qu'à une amende de 400 francs, convertible en dix jours de peine privative de liberté de substitution en cas de non-paiement dans le délai imparti. Cette ordonnance pénale a été adressée le même jour à l'intéressé par pli recommandé. Celui-ci n'a pas été réclamé et il a été retourné par la Poste au Ministère public le 22 septembre 2011.
A.c Le 18 novembre 2011, X._ a appris incidemment que l'ordonnance pénale précitée avait été rendue à son encontre et il s'y est opposé le 21 novembre 2011. Le Procureur a refusé d'entrer en matière sur cette opposition au motif que l'ordonnance pénale avait été valablement notifiée au regard de l'<ref-law> et qu'elle était définitive depuis le 10 octobre 2011.
A.d Sur recours de X._, la Chambre des recours pénale du Tribunal cantonal vaudois, par arrêt du 31 janvier 2012, a transmis le dossier au Tribunal de police de l'arrondissement de Lausanne afin qu'il statue sur la validité de l'opposition formée par X._ le 21 novembre 2011.
B. Par prononcé du 21 février 2012, le Tribunal de police de l'arrondissement de Lausanne a déclaré cette opposition tardive et, partant, irrecevable. L'ordonnance pénale du 8 septembre 2011 était par conséquent exécutoire.
C. Par arrêt du 8 mars 2012, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours dont X._ l'avait saisie et a confirmé le prononcé attaqué.
D. X._ interjette un recours en matière pénale au Tribunal fédéral contre cette décision. Il conclut à l'admission de son recours et à la réforme du prononcé du 21 février 2012 en ce sens que son opposition à l'ordonnance pénale du 8 septembre 2011 est recevable. Il sollicite en outre l'octroi de l'effet suspensif au recours.
Il n'a pas été ordonné d'échange d'écriture.

Considérant en droit:
1. Le recourant invoque une violation de l'<ref-law>. Il soutient qu'il ne devait pas s'attendre à ce qu'une ordonnance pénale lui soit notifiée.
1.1 Selon l'<ref-law>, un prononcé est réputé notifié lorsque, expédié par lettre signature, il n'a pas été retiré dans les sept jours à compter de la tentative infructueuse de remise du pli, si la personne concernée devait s'attendre à une telle remise. Cette disposition reprend les principes développés par la jurisprudence et qui prévalaient avant l'entrée en vigueur du code de procédure pénale suisse le 1er janvier 2011 (arrêt 6B_422/2011 du 7 octobre 2011 consid. 1.2; cf. <ref-ruling> consid. 4 p. 51; <ref-ruling> consid. 1.2.3 p. 399).
La personne concernée ne doit s'attendre à la remise d'un prononcé que lorsqu'il y a une procédure en cours qui impose aux parties de se comporter conformément aux règles de la bonne foi, à savoir de faire en sorte, entre autres, que les décisions relatives à la procédure puissent leur être notifiées. Le devoir procédural d'avoir à s'attendre avec une certaine vraisemblance à recevoir la notification d'un acte officiel naît avec l'ouverture d'un procès et vaut pendant toute la durée de la procédure (ATF <ref-ruling> consid. 1.2.3 p. 399). Un simple interrogatoire par la police en qualité de témoin, voire de suspect, ne suffit en général pas à créer un rapport juridique de procédure pénale avec la personne entendue. Il ne peut donc être considéré qu'à la suite d'un tel interrogatoire, celle-ci doit prévoir que des actes judiciaires lui seront notifiés (arrêt 6B_158/2012 du 27 juillet 2012 consid 2.1; <ref-ruling> consid. 2c/aa p. 93; <ref-ruling> consid. 2 p. 9). La doctrine admet en revanche que la personne concernée doit s'attendre à la remise d'un prononcé lorsqu'elle est informée de l'ouverture d'une procédure par le Ministère public selon l'<ref-law> (Niklaus Schmid, Schweizerische Strafprozessordnung, Praxiskommentar, 2009, n. 9 ad <ref-law>; cf. également Sararard Arquint, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2010, n. 9 ad <ref-law>; <ref-ruling> consid. 2c/bb p. 93).
1.2 En l'espèce, le recourant a été informé par la police de l'ouverture d'une procédure préliminaire le concernant à la suite de l'altercation qu'il a eue avec une autre automobiliste. Il lui a été indiqué qu'il était entendu en qualité de prévenu en relation avec diverses infractions et il a accusé réception du formulaire précisant quels étaient ses droits et obligations à ce titre. Celui-ci mentionnait qu'il avait le droit de refuser de déposer et de collaborer (<ref-law>) ainsi que de faire appel à un défenseur de son choix ou solliciter la nomination d'un défenseur d'office (art. 158 al. 1 let. c CPP). Il était également indiqué que les personnes domiciliées ou résidant habituellement à l'étranger devaient désigner une personne en Suisse pour recevoir toutes correspondances, avis de procédure ou décision concernant l'affaire. Il était ainsi expressément fait référence à la notification d'une décision rendue dans le cadre de la procédure. Au vu de l'ensemble de ces éléments, le recourant devait se rendre compte qu'il était pleinement partie à une procédure pénale et il devait donc s'attendre à recevoir dans ce cadre-là des communications de la part des autorités, y compris un prononcé.
1.3 Le recourant n'a certes pas été informé de l'ouverture d'une procédure par le Ministère public. Les auteurs qui considèrent qu'une telle annonce crée un rapport juridique de procédure pénale avec la personne entendue n'excluent cependant pas qu'une intervention de la police dans le cadre d'une procédure préliminaire soit suffisante à cet égard. Il est relevé que selon le code de procédure pénale, la police est désormais une autorité de poursuite pénale à part entière (cf. <ref-law>) lorsqu'elle agi dans le cadre de ses activités judiciaires, comme en l'espèce, et non dans celui de ses tâches en relation avec le trafic routier ou le maintien de l'ordre (sur cette distinction, cf. Schmid, op. cit., n. 2 ad <ref-law>, Hanspeter Uster, in: Basler Kommentar, Schweizerische Strafprozessordnung, 2010, n. 1-2 ad <ref-law>; Marc Henzlin/Sonja Maeder, in: Commentaire romand, Code de procédure pénale suisse, 2011, n. 2 ad <ref-law>). Il est en outre peu probable qu'un justiciable fasse une différence entre l'ouverture d'une procédure préliminaire par la police ou par le Ministère public, l'élément déterminant pour lui étant qu'une procédure est ouverte à son encontre (cf. arrêt 6B_158/2012 du 27 juillet 2012 consid. 2.2). Ainsi, même si le recourant n'a pas été formellement informé en l'espèce qu'une instruction serait ouverte par le Ministère public, la présente cause se distingue du cas où la personne est simplement entendue par la police à la suite d'un banal accident de la circulation et ne peut pas encore se douter qu'une procédure pénale va être dirigée contre elle (cf. ATF <ref-ruling> précité).
1.4 Le recourant invoque, pour la première fois devant le Tribunal fédéral, qu'il avait mandaté un avocat en raison des faits qui lui étaient reprochés, ce qu'il avait mentionné à la police, comme cela ressortait du procès-verbal de son interrogatoire. Il partait dès lors du principe que les actes de procédure en relation avec cette affaire seraient notifiés à son conseil, comme le veut l'usage. Il produit en outre un courrier aux termes duquel son conseil informe la police qu'il défend ses intérêts. Le recourant demande que l'état de fait cantonal soit complété sur ces points.
1.4.1
1.4.1.1 Selon l'<ref-law>, le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente. Il peut rectifier ou compléter d'office les constatations de celle-ci si les faits ont été établis de façon manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF - soit pour l'essentiel de façon arbitraire (art. 9 Cst.; cf. <ref-ruling> consid. 4.1.2 p. 62; sur la notion d'arbitraire, voir <ref-ruling> consid. 7.1 p. 51; <ref-ruling> consid. 7 p. 82) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Les conditions pour contester les faits au sens de l'<ref-law> et pour obtenir une rectification d'office des faits en vertu de l'<ref-law> sont pour l'essentiel les mêmes (<ref-ruling> consid. 1.4.3 p. 254 s.; arrêt 4A_215/2012 du 9 juillet 2012 consid. 1.2). Les critiques doivent être motivées de manière conformes à l'<ref-law>. Selon cette disposition, la violation de droits fondamentaux ainsi que celle de dispositions de droit cantonal et intercantonal ne sont examinées que si ce grief a été invoqué et motivé par le recourant, c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 2.2 p. 69; <ref-ruling> consid. 3.2). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.2.3 p. 5; <ref-ruling> c. 5.1 p. 365).
1.4.1.2 Selon l'<ref-law>, aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente. Le recourant ne peut en particulier se fonder sur des faits ou moyens de preuve nouveaux qu'il était en mesure de présenter devant l'autorité précédente et dont il devait discerner la pertinence éventuelle (cf. arrêt 5A_222/2011 du 10 novembre 2011 consid. 3.1 et les références citées). Le recourant doit exposer dans quelle mesure les conditions nécessaires à une présentation ultérieure de moyens de preuve sont remplies (<ref-ruling> consid. 3 p. 395).
1.4.1.3 Conformément aux exigences déduites par la jurisprudence du principe de la bonne foi en procédure (cf. art. 5 al. 3 Cst.), la partie qui s'aperçoit qu'une règle de procédure est violée à son détriment ne saurait laisser la procédure suivre son cours sans réagir, dans le but, par exemple, de se réserver un moyen de nullité pour le cas où le jugement à intervenir ne la satisferait pas. Les manoeuvres dilatoires de cette sorte sont inadmissibles. Aussi, la partie qui renonce sciemment à faire valoir la violation d'une règle de procédure devant un juge qui serait en mesure d'en réparer les conséquences est-elle en principe déchue du droit de se prévaloir de cette violation devant le Tribunal fédéral (<ref-ruling> consid. 2.2 p. 336 et les références citées).
1.4.2 Le courrier par lequel le conseil du recourant indique défendre les intérêts de ce dernier ne figure pas au dossier cantonal. Il est nouveau et, partant, irrecevable (<ref-law>).
De plus, il ne ressort pas des constatations cantonales que le recourant avait indiqué à la police avoir mandaté un avocat. L'intéressé se borne à soutenir que si cet élément de fait, notamment, avait été pris en compte par l'autorité cantonale, celle-ci aurait admis que la notification de l'ordonnance pénale du 8 septembre 2011 n'était pas valable. Il ne démontre toutefois pas au moyen d'une telle affirmation, qui ne répond pas aux exigences de l'<ref-law>, que la cour cantonale aurait arbitrairement omis ce fait et en quoi il serait de nature à influer sur le sort de la cause. Il ne peut dès lors en être tenu compte.
Au surplus, le recourant n'avait pas invoqué une constatation incomplète ou erronée des faits devant l'autorité cantonale de recours, comme il en avait la possibilité (cf. <ref-law>). En invoquant cet élément pour la première fois devant le Tribunal fédéral, le recourant se comporte de manière contraire à la bonne foi puisqu'il était en mesure de le faire valoir devant l'instance précédente, ce qu'il n'a pas fait, alors même qu'il soutient que ledit élément serait déterminant. Le grief est irrecevable.
1.5 Le recourant soutient également qu'il ne pouvait raisonnablement s'attendre à recevoir une ordonnance pénale puisqu'il avait indiqué que des témoins pouvaient attester de ses dires, comme cela ressortait du procès-verbal de son audition devant la police. Le recourant ne pouvait toutefois partir du principe qu'il serait nécessairement procédé à l'audition de ses témoins. Une ordonnance pénale pouvait être rendue même sans l'audition de ceux-ci si le Ministère public estimait que les éléments figurant à la procédure étaient suffisants pour lui permettre de se forger une conviction.
1.6 Il doit dès lors être admis en définitive qu'après avoir été informé par la police de l'ouverture à son encontre d'une procédure préliminaire pour voies de fait, injure et dommage à la propriété, le recourant devait s'attendre à ce que des actes judiciaires, y compris un prononcé, lui seraient adressés. Les conditions d'une notification fictive au sens de l'<ref-law> sont remplies en l'espèce.
2. Le recourant soutient que l'avis de retrait du pli recommandé ne lui a jamais été remis. Il demande que l'état de fait soit complété à cet égard et il produit le justificatif de distribution relatif à ce pli, délivré par la Poste suisse.
2.1 Il existe la présomption de fait - réfragable - selon laquelle, pour les envois recommandés, l'employé postal a correctement inséré l'avis de retrait dans la boîte à lettres ou la case postale du destinataire et la date de ce dépôt, telle qu'elle figure sur la liste des notifications, est exacte. Cette présomption entraîne un renversement du fardeau de la preuve au détriment du destinataire. Si ce dernier ne parvient pas à établir l'absence de dépôt dans sa boîte ou sa case postale au jour attesté par le facteur, la remise est censée avoir eu lieu en ces lieu et date (arrêt 6B_675/2011 du 7 février 2012 consid. 2.2; 2C_128/2012 du 29 mai 2012 consid. 2.2). Du fait notamment que l'absence de remise constitue un fait négatif, le destinataire ne doit cependant pas en apporter la preuve stricte. Il suffit d'établir qu'il existe une vraisemblance prépondérante que des erreurs se soient produites lors de la notification (arrêt 6B_422/2011 du 7 octobre 2011 consid. 1.2; 2C_38/2009 du 5 juin 2009 consid. 4.1).
2.2 La pièce sur laquelle le recourant fonde son argumentation a été émise par la Poste suisse le 27 avril 2012, soit après que la décision attaquée a été rendue. Elle ne figurait pas à la procédure cantonale et le recourant ne soutient pas que c'est la décision de l'autorité précédente qui justifiait qu'il produise cette pièce. Elle est irrecevable en vertu de l'<ref-law>. En outre, en l'absence de toute démonstration répondant aux exigences de motivation de l'<ref-law> selon laquelle la cour cantonale aurait arbitrairement omis de constater que l'avis de retrait du pli recommandé n'aurait pas été remis au recourant, il n'y a pas lieu de compléter les constatations cantonales en ce sens. Eu égard à la présomption selon laquelle, pour les envois recommandés, l'employé postal a correctement inséré l'avis de retrait dans la boîte à lettres ou la case postale du destinataire et la date de ce dépôt, il appartenait par ailleurs au recourant de renverser ladite présomption, et non aux autorités cantonales d'investiguer sur cette question. Il ne peut dès lors leur être reproché de ne pas avoir recherché si le recourant avait reçu l'avis de retrait. Enfin, l'intéressé n'a, en tout état de cause, pas fait valoir devant l'autorité cantonale que l'avis de retrait ne lui aurait pas été remis. Il agit donc de manière contraire au principe de la bonne foi en n'invoquant ce grief que devant le Tribunal fédéral. Le grief est irrecevable.
3. Le recourant invoque une violation de son droit d'être entendu. Il fait valoir que le Ministère public ne pouvait le condamner sans même l'entendre, ni lui donner l'occasion de solliciter d'autres mesures d'instruction alors qu'il contestait une partie des faits et avait des témoins pouvant attester de ses dires.
3.1 Le recourant peut faire valoir la violation de ses droits de partie équivalant à un déni de justice formel. Mais il ne doit alors pas invoquer par ce biais, même indirectement, des moyens qui ne peuvent être séparés du fond (<ref-ruling> consid. 6.2 p. 198 s.). Seuls les griefs de nature formelle qui sont séparés de l'examen de la cause au fond peuvent donc être présentés. En revanche, les griefs qui reviennent de facto à critiquer l'arrêt attaqué sur le plan matériel sont exclus (<ref-ruling> consid. 1.2 p. 326; <ref-ruling> consid.1.3 p. 269; <ref-ruling> consid. 1.3.2 p. 253; <ref-ruling> consid. 6.2 p. 199). Le recourant n'est dès lors pas recevable à remettre en cause, au fond, dans le cadre de son recours contre la décision déclarant son opposition irrecevable, la validité de la décision le condamnant sous couvert d'une violation de son droit d'être entendu.
3.2 Pour le même motif, le recourant n'est pas recevable à invoquer que sa condamnation par ordonnance pénale violerait l'art. 6 CEDH. En tout état de cause, la validité d'une telle ordonnance au regard de la disposition précitée est admise dans la mesure où, par une simple opposition qui n'a pas besoin d'être motivée (<ref-law>), le prévenu condamné peut saisir un tribunal offrant les garanties de l'art. 6 CEDH (cf. arrêt de la Cour européenne des droits de l'homme Belilos c. Suisse du 29 avril 1988, série A, vol. 132, par. 68, citant l'arrêt Öztürk c. Allemagne du 21 février 1984, série A, vol. 73, par. 58 [recte: 56]; <ref-ruling> consid. 3c p. 238/239; 114 Ia 143 consid. 7 p. 150; Franz Riklin, in: Basler Kommentar, Schweizerische Prozessordnung, 2011, n. 4 ad remarques préliminaires ad art. 352 356 CPP; Christian Schwarzenegger, in: Kommentar zur Schweizerischen Straf-prozessordnung (StPO), 2010, n. 1 ad <ref-law>; Gérard Piquerez, Traité de procédure pénale suisse, 2ème éd., 2006, n. 1152; Hauser/Schweri/Hartmann, Schweizerisches Strafprozessrecht, 6ème éd., 2005, p. 429/430).
4. Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). La cause étant tranchée, la requête d'effet suspensif devient sans objet.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 9 octobre 2012
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
Le Greffier: Rieben