Faits:
A. Par ordonnance pénale du 8 mai 2012, la Commission de police de Vallorbe a condamné X._, pour infraction à la loi vaudoise sur le contrôle des habitants (LCH/VD; RSV 142.01), à une amende de 250 fr., peine de substitution de 2 jours.
X._ a formé opposition le 24 mai 2012 contre cette ordonnance. Par prononcé du 4 septembre 2012, le Président du Tribunal d'arrondissement de la Broye et du Nord vaudois a constaté la tardiveté de l'opposition.
Par prononcé du 11 septembre 2012, la Commission de police de Vallorbe a refusé de restituer le délai d'opposition.
B. Par arrêt du 23 novembre 2012, la Juge de la Chambre des recours pénale du Tribunal cantonal du canton de Vaud a rejeté le recours de X._ contre le prononcé du 11 septembre 2012.
C. Celui-ci forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, sous suite de dépens, à sa réforme en ce sens que sa requête de restitution de délai est admise. Subsidiairement, il conclut à l'annulation.

Considérant en droit:
1. L'ordonnance pénale du 8 mai 2012 est fondée sur le droit cantonal, en particulier l'art. 24 LCH/VD, dont l'al. 2 renvoie pour la procédure à la loi vaudoise sur les contraventions (LContr/VD; RSV 312.11). L'art. 10 de cette loi prévoit notamment que sauf disposition contraire, le CPP est applicable à la répression des contraventions de droit cantonal selon les dispositions relatives à l'ordonnance pénale.
Il résulte de ce qui précède que le CPP n'est pas applicable directement s'agissant d'une infraction de droit cantonal (cf. <ref-law>). Il l'est à titre de droit cantonal supplétif. L'application du droit cantonal, y compris le droit fédéral appliqué à titre de droit cantonal supplétif, est uniquement examinée par le Tribunal fédéral sous l'angle d'une violation de l'interdiction constitutionnelle de l'arbitraire (cf. <ref-ruling> consid. 2.3 p. 466 et consid. 4.4.1 p. 470). Il incombe à cet égard au recourant d'exposer une argumentation spécifique qui réponde aux exigences accrues de motivation déduites de l'<ref-law>.
2. Le recourant se plaint d'une violation de l'<ref-law>. Selon lui, l'autorité précédente aurait dû retenir l'existence d'un empêchement non fautif, d'une part en raison d'une confusion quant à la manière de calculer le délai d'opposition, d'autre part parce qu'il se trouvait dans un endroit retiré de la civilisation, ce qui l'a empêché d'agir en temps utile.
Le recourant ne se livre à aucune discussion précise et détaillée pour chercher à démontrer une application arbitraire de l'<ref-law> (cf. supra consid. 1). Il se limite à une libre appréciation juridique, qui ne respecte pas les exigences de l'<ref-law>. Ses critiques sont irrecevables. Elles le sont également pour le motif qu'elles se fondent notamment sur les allégations du recourant selon lesquelles il se trouvait dans une région isolée à deux jours de route, alors que l'arrêt attaqué (p. 4) retient que ce fait n'est pas prouvé et que le recourant n'établit à cet égard aucun arbitraire dans l'établissement des faits. Le recours est irrecevable. Au demeurant, on ne discerne aucune violation de l'<ref-law> à considérer comme l'a fait l'autorité précédente qu'il n'existait aucun empêchement non fautif. Le recourant aurait encore pu agir en temps utile dès le moment où il avait eu connaissance de l'ordonnance pénale même en supposant qu'il se trouvait à deux jours de route de toute civilisation, l'ordonnance ayant été retirée au guichet postal le 11 mai par son épouse, lui-même en ayant eu connaissance le 14 mai alors que le délai d'opposition arrivait à échéance le 21 mai 2012. De même, une prétendue confusion entre le droit suisse et le droit brésilien sur la computation des délais ne constitue pas un empêchement non fautif. Tout du moins, on ne perçoit aucun arbitraire dans l'application de l'<ref-law>.
3. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Juge de la Chambre des recours pénale.
Lausanne, le 21 mai 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Juge présidant : Schneider
La Greffière: Livet