Faits:
A. Par ordonnance pénale du 3 mai 2011, le Procureur de l'arrondissement de Lausanne a condamné A.X._ pour violation grave des règles de la circulation et violation des devoirs en cas d'accident à 60 jours-amende, à 40 fr. le jour, avec sursis et délai d'épreuve de deux ans, ainsi qu'à 600 fr. d'amende, convertible en 15 jours de peine privative de liberté de substitution en cas de non-paiement.
Par déclaration du 18 juillet 2011, A.X._ a fait opposition à cette ordonnance pénale.
B. Par prononcé du 27 juillet 2011, le Président du Tribunal d'arrondissement de Lausanne a déclaré cette opposition irrecevable.
C. A la suite de l'annulation de ce prononcé par décision de la Chambre des recours pénale du Tribunal cantonal vaudois du 27 juillet 2011, le Président du Tribunal d'arrondissement de Lausanne a, après avoir interpellé l'office postal concerné, à nouveau déclaré irrecevable car tardive l'opposition, par prononcé du 13 janvier 2012.
D. Par décision du 13 mars 2012, la Chambre des recours pénale a rejeté le recours formé par A.X._. En bref, elle a estimé que ce dernier devait s'attendre à une notification, que celle-ci était régulière et que l'opposition était par conséquent tardive.
E. A.X._ forme un recours en matière pénale auprès du Tribunal fédéral. Il conclut à la réforme de la décision du 13 mars 2012 en ce sens que l'opposition est déclarée recevable. Subsidiairement, il sollicite l'annulation de cette décision et le renvoi à l'autorité cantonale pour nouveau jugement. Dans les deux cas, il requiert que le canton de Vaud soit condamné aux frais et dépens des procédures cantonales et fédérale.
Il n'a pas été ordonné d'échange d'écriture.

Considérant en droit:
1. Le recourant soutient que l'autorité précédente a, à de multiples reprises, violé l'interdiction de l'arbitraire dans l'appréciation des preuves et la constatation des faits et procédé à une application contraire au droit de l'<ref-law>.
1.1 Le recourant estime tout d'abord que l'envoi de l'ordonnance était exempt d'accusé de réception, contrairement à l'<ref-law> qui prévoit que les autorités pénales notifient leurs prononcés par lettre signature ou par tout autre mode de communication impliquant un accusé de réception, notamment par l'entremise de la police. Le grief est infondé dès lors que l'envoi a été adressé sous lettre signature et respecte à cet égard l'<ref-law>.
1.2 Selon l'<ref-law>, un prononcé est réputé notifié lorsque, expédié par lettre signature, il n'a pas été retiré dans les sept jours à compter de la tentative infructueuse de remise du pli, si la personne concernée devait s'attendre à une telle remise. Cette disposition reprend les principes développés par la jurisprudence et qui prévalaient avant l'entrée en vigueur du CPP (arrêt 6B_281/2012 du 9 octobre 2012 consid. 1.1; cf. <ref-ruling> consid. 4 p. 51).
1.3 Le recourant soutient qu'il ne devait pas s'attendre à ce qu'une ordonnance pénale lui soit notifiée.
1.3.1 Une personne ne doit s'attendre à la remise d'un prononcé que lorsqu'il y a une procédure en cours, la concernant, qui impose aux parties de se comporter conformément aux règles de la bonne foi, à savoir de faire en sorte, entre autres, que les décisions relatives à la procédure puissent leur être notifiées. Le devoir procédural d'avoir à s'attendre avec une certaine vraisemblance à recevoir la notification d'un acte officiel naît avec l'ouverture d'un procès et vaut pendant toute la durée de la procédure (<ref-ruling> consid. 1.2.3 p. 399).
1.3.2 En l'occurrence, le recourant a été informé par la police de l'ouverture d'une procédure préliminaire le concernant à la suite d'un accident de circulation et d'infractions à la LCR (procès-verbal d'audition du 28 janvier 2011, p. 1, paraphé à chaque page par le recourant). Cette autorité pénale (<ref-law>) lui a à cette occasion indiqué qu'il était entendu en qualité de prévenu en relation avec diverses infractions. Le recourant a en outre signé le formulaire intitulé "audition en qualité de prévenu (<ref-law>) droits et obligations". Ce formulaire mentionnait qu'il devait, en tant que prévenu, être informé par la police ou le ministère public - comme cela a été fait en l'espèce par la police - qu'une procédure préliminaire était ouverte contre lui et pour quelles infractions. Il était également indiqué que les personnes domiciliées ou résidant habituellement à l'étranger devaient désigner un domicile de notification, puis que "les ordonnances pénales sont réputées notifiées même en l'absence de publication". Il était ainsi expressément fait référence à la notification d'une ordonnance pénale rendue dans le cadre de la procédure. Au vu de l'ensemble de ces éléments, le recourant devait se rendre compte qu'il était partie à une procédure pénale. Il devait donc s'attendre à recevoir dans ce cadre-là des communications de la part des autorités, y compris un prononcé (dans ce sens, arrêts 6B_281/2012 du 9 octobre 2012 consid. 1.2; 6B_158/2012 du 27 juillet 2012 consid. 2.2).
Le recourant n'a certes pas été informé de l'ouverture d'une procédure par le ministère public. Une telle communication n'est cependant pas nécessaire pour admettre que l'intéressé devait s'attendre à ce qu'une ordonnance pénale lui soit notifiée (cf. arrêts 6B_281/2012 du 9 octobre 2012 consid. 1.3; 6B_158/2012 du 27 juillet 2012 consid. 2.2).
1.4 Le recourant soutient que l'avis de retrait du pli recommandé ne lui a jamais été remis. Il demande que l'état de fait soit complété à cet égard s'agissant de l'existence d'une boîte "poubelle", de celle de ses parents et d'erreurs de notification de la part de la poste. Il requiert également que les déclarations de la poste, telles qu'elles figurent dans le dossier, soient reprises correctement.
1.4.1 Il existe une présomption de fait - réfragable - selon laquelle, pour les envois recommandés, l'employé postal a correctement inséré l'avis de retrait dans la boîte à lettres ou la case postale du destinataire et la date de ce dépôt, telle qu'elle figure sur la liste des notifications, est exacte. Cette présomption entraîne un renversement du fardeau de la preuve au détriment du destinataire. Si ce dernier ne parvient pas à établir l'absence de dépôt dans sa boîte ou sa case postale au jour attesté par le facteur, la remise est censée avoir eu lieu en ces lieu et date. Du fait notamment que l'absence de remise constitue un fait négatif, le destinataire ne doit cependant pas en apporter la preuve stricte. Il suffit d'établir qu'il existe une vraisemblance prépondérante que des erreurs se soient produites lors de la notification (arrêt 6B_281/2012 du 9 octobre 2012 consid. 2.1 et arrêts cités).
1.4.2 En l'espèce, la liste des notifications indique s'agissant du recommandé litigieux que le recourant a été avisé pour retrait le 4 mai 2011 (pièce 21/2). Les autorités précédentes pouvaient donc à juste titre partir de la présomption que l'employé postal avait correctement inséré l'avis de retrait dans la boîte aux lettres du recourant et que la date de ce dépôt était exacte. La cour cantonale a ensuite considéré que cette présomption de fait n'avait pas été renversée par le recourant. En d'autres termes, elle a estimé qu'il n'avait pas établi qu'il existait une vraisemblance prépondérante qu'une erreur se soit produite lors de la remise du pli l'invitant à venir retirer le recommandé contenant l'ordonnance pénale. Il s'agit d'une appréciation de fait. Au stade du recours en matière pénale, le Tribunal fédéral ne peut donc revoir l'application de cette présomption et le résultat auquel elle aboutit, soit qu'il a été retenu que le recourant avait reçu le pli litigieux, que sous l'angle de l'arbitraire.
1.4.3 Le Tribunal fédéral statue sur la base des faits retenus par l'arrêt attaqué (<ref-law>), sous réserve des cas prévus à l'<ref-law>. La partie recourante ne peut ainsi les critiquer que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (sur la notion d'arbitraire, cf. <ref-ruling> consid. 6.1 p. 379 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
A l'instar de toute violation de droits fondamentaux, le grief d'arbitraire doit être invoqué et motivé de manière précise (<ref-law>; <ref-ruling> consid. 2.2 p. 69). Le recourant doit exposer, de manière substantivée et pièces à l'appui, que les faits retenus l'ont été d'une manière absolument inadmissible, et non seulement discutable ou critiquable. Il ne saurait se borner à plaider à nouveau sa cause, contester les faits retenus ou rediscuter la manière dont ils ont été établis. Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 4.2.3 p. 5).
1.4.4 La poste n'a certes pu attester de la remise dans la boîte aux lettres du recourant du pli litigieux, son collaborateur ne se le rappelant pas (pièce 21/1). L'ordonnance a été notifiée en mai 2011. Il est tout à fait normal que le postier, interpellé en décembre 2011, ne se soit pas rappelé avoir remis l'avis de retrait y relatif. Qu'il ait déclaré se remémorer n'avoir pas eu de problème de distribution ce jour-là n'y change rien: il est en effet naturel qu'une personne ne se rappelle pas, 6 mois après, l'un des gestes qu'il effectue une multitude de fois chaque jour dans le cadre de son travail, mais se souvienne qu'il n'a pas eu de problème dans l'exécution de ce travail. Les déclarations de l'office postal concerné ne rendent donc pas arbitraire l'appréciation faite par l'autorité précédente que le recourant n'avait pas rendu hautement vraisemblable que des erreurs se soient produites lors de la notification.
1.4.5 La boîte aux lettres du recourant se trouvait au milieu de trente autres boîtes, dont celle de ses parents, qui portent le même nom. L'office postal a indiqué que son collaborateur était parfaitement au courant de ces faits et qu'il avisait par conséquent toute la correspondance postale adressée au recourant dans sa propre boîte aux lettres (décision entreprise, p. 5). La seule existence de trente boîtes ne saurait dès lors, sans autres éléments, rendre arbitraire l'appréciation de la cour. On relève en outre que si le recourant et ses parents sont homonymes, leurs boîtes aux lettres se distinguent clairement, celle du recourant étant libellée "X.A._", tandis que celle de ses parents, qui n'est pas à côté de la sienne, porte l'indication "Famille B.X._". Ici encore la présence de ces deux boîtes ne rendait pas arbitraire l'appréciation de la cour précédente concernant un pli notifié à "A.X._" (ordonnance pénale, p. 3).
1.4.6 Le recourant invoque que des erreurs de notification seraient survenues. Seules celles apparues dans l'office de poste en charge de l'envoi du pli litigieux sont pertinentes. Les pièces auxquelles le recourant se réfère ne démontrent toutefois pas de telles erreurs. Les moyens du recourant reposant sur ces allégations sont par conséquent irrecevables.
1.4.7 Le recourant se prévaut de l'existence, non retenue par la cour précédente, d'une boîte postale "poubelle". Celle-ci, si l'on se fie aux photos fournies par le recourant (pièce 17/3) bien que placée juste en dessous de la boîte postale du recourant, est deux fois plus longue que toutes les boîtes postales, dont celle du recourant. Contrairement à celle-ci, elle n'est pas pourvue d'un clapet de fermeture et est expressément indiquée comme boîte "papier". Sa seule présence ne saurait non plus rendre arbitraire la conclusion à laquelle la cour cantonale a abouti.
Le recourant soutient encore que les autorités cantonales auraient fait preuve d'arbitraire en n'interpellant pas la poste sur "cet" élément, soit sur l'existence d'une boîte aux lettres destinée au papier et le risque que le pli litigieux y soit mis par erreur. Il s'agirait là "d'une omission crasse et d'une violation des principes dirigeant l'instruction pénale". Faute de motivation conforme aux exigences posées par les art. 42 al. 2, respectivement 106 al. 2 LTF, le grief est irrecevable.
1.4.8 Pour le surplus, le recourant mentionne de nombreux faits ne résultant pas de la décision entreprise. Faute de motivation conforme aux exigences posées par l'<ref-law>, il ne saurait en être tenu compte ici.
1.4.9 Il résulte de ce qui précède que le recourant échoue à démontrer que la cour cantonale aurait fait preuve d'arbitraire en retenant que l'avis de retrait avait été mis dans sa boîte.
1.5 Cette autorité pouvait ainsi sans violer l'<ref-law> considérer que l'ordonnance pénale avait été notifiée à l'échéance du délai de 7 jours à compter de la tentative infructueuse de remise du pli et que dès lors l'opposition était tardive et donc irrecevable.
2. Le recourant invoque des violations de règles procédurales prétendument commises dans la procédure ayant abouti à l'ordonnance pénale. Il y voit un motif de nullité, tout au moins d'annulation de cette décision.
2.1 Faute d'opposition formée en temps utile, l'ordonnance pénale est devenue définitive de sorte que les griefs tendant à son annulation sont irrecevables. Reste à examiner si, au vu des vices invoqués, cette décision devrait être considérée comme nulle.
2.2 La nullité absolue d'une décision peut être invoquée en tout temps devant toute autorité et doit être constatée d'office. Elle ne frappe que les décisions affectées des vices les plus graves, manifestes ou du moins facilement décelables et pour autant que sa constatation ne mette pas sérieusement en danger la sécurité du droit. De graves vices de procédure, telle que l'impossibilité pour l'intéressé d'être entendu, sont des motifs de nullité (<ref-ruling> consid. 3.1 p. 275 et arrêts cités; <ref-ruling> consid. 3.1 p. 27). Sauf dans les cas expressément prévus par la loi, il ne faut admettre la nullité qu'à titre exceptionnel, lorsque les circonstances sont telles que le système d'annulabilité n'offre manifestement pas la protection nécessaire (<ref-ruling> consid. 2.4 p. 257).
2.2.1 Le recourant estime que le ministère public ne pouvait rendre une ordonnance pénale sur la base de l'<ref-law>, aucune des deux hypothèses prévues par cette disposition n'étant remplie.
Aux termes de l'<ref-law>, le ministère public rend une ordonnance pénale visant une amende et une peine pécuniaire de 180 jours-amende au plus (al. 1 let. b et al. 3) si, durant la procédure préliminaire, le prévenu a admis les faits ou s'ils sont établis. A la lumière des textes allemands et italien de cette disposition, on doit comprendre que cette dernière condition est réalisée lorsque l'état de fait est suffisamment établi d'une autre manière que par des aveux ("Hat die beschuldigte Person im Vorverfahren den Sachverhalt eingestanden oder ist dieser anderweitig ausreichend geklärt"; "Se nell'ambito della procedura preliminare i fatti sono stati ammessi dall'imputato oppure sono stati sufficientemente chiariti"). L'<ref-law> accorde ainsi au ministère public une marge d'appréciation afin de déterminer si les faits sont suffisamment établis pour qu'il puisse rendre une ordonnance pénale. Cela exclut de pouvoir envisager un motif de nullité à cet égard.
2.2.2 Le recourant se plaint de ne pas avoir été entendu par le ministère public, de n'avoir pas pu consulter son dossier, de n'avoir pas été informé par le ministère public de l'ouverture de l'instruction et des chefs exacts d'accusation retenus contre lui. Il invoque une violation de son droit d'être entendu et de son droit à un procès équitable.
La validité d'une ordonnance pénale au regard des droits garantis par l'art. 6 CEDH est admise dans la mesure où, par une simple opposition qui n'a pas besoin d'être motivée (<ref-law>), le prévenu condamné peut saisir un tribunal offrant les garanties de l'art. 6 CEDH (cf. arrêt de la CourEDH Belilos c. Suisse du 29 avril 1988, par. 68; <ref-ruling> consid. 3c p. 238/239; récemment arrêt 6B_281/2012 du 9 octobre 2012 consid. 3.2). Cette jurisprudence s'applique également aux autres droits invoqués par le recourant: qu'il n'ait pas pu avoir connaissance de son dossier avant l'établissement de l'ordonnance pénale ou n'ait pu être entendu par le ministère public ne viole pas les droits invoqués dans la mesure où il pouvait, sur simple opposition, provoquer l'ouverture d'une procédure les respectant. On ne saurait voir là une cause de nullité de l'ordonnance pénale.
2.2.3 Le recourant soulève une violation des art. 311 al. 1 et 312 CPP, au motif que la police l'aurait entendu sans délégation formelle du ministère public.
Lorsque, comme en l'espèce, la procédure préliminaire est introduite par les investigations de la police (<ref-law>), celle-ci doit, conformément à l'<ref-law>, identifier et interroger les lésés et les suspects. Elle agit alors dans le cadre de son activité indépendante d'investigation (cf. arrêt 1B_264/2012 du 10 octobre 2012 consid. 5.4.3). En interrogeant le recourant sans instruction particulière du ministère public, la police n'a donc pas enfreint les art. 311 et 312 CPP. L'ordonnance pénale ne saurait être déclarée nulle pour ce motif.
3. Le recourant se plaint de l'inopportunité de la décision entreprise. Il ne s'agit toutefois pas d'un motif de recours recevable auprès du Tribunal fédéral (<ref-law> a contrario).
4. Le recourant invoque une violation de l'<ref-law> traitant de la restitution des délais.
Afin de satisfaire à l'obligation de motivation posée par l'<ref-law>, le recourant devait discuter les motifs de la décision entreprise et indiquer précisément en quoi il estimait que l'autorité précédente avait méconnu le droit (cf. <ref-ruling> consid. 3.3 p. 60). En l'espèce, il reprend quasiment mot à mot la critique présentée devant l'autorité précédente, sans indiquer, même succinctement, en quoi les motifs de la décision entreprise méconnaissent le droit. Une telle motivation n'est pas conforme aux exigences minimales fixées à l'<ref-law> et est dès lors irrecevable.
5. En conséquence, le recours devra être rejeté dans la mesure de sa recevabilité et les frais mis à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 4'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et à la Chambre des recours pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 18 février 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Cherpillod