Faits : A. Par ordonnance pénale du 13 mai 2015, le Ministère public de l'arrondissement de La Côte a condamné X._ pour faux dans les certificats, infractions à la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), violation des règles de la circulation routière (art. 90 al. 1 et 2 de la loi fédérale du 19 décembre 1958 sur la circulation routière [LCR; RS 741.01]) et contravention à l'ordonnance du 15 juin 2007 réglant l'admission des chauffeurs (OACP; RS 741.521) à une peine ferme de 160 jours de privation de liberté ainsi qu'à une amende de 1000 fr., convertible en 10 jours de privation de liberté en cas de non-paiement fautif. B. Par prononcé du 12 décembre 2016, le Tribunal de police de l'arrondissement de La Côte a déclaré irrecevable l'opposition formée le 24 novembre 2016 par X._ contre l'ordonnance pénale précitée, pour cause de tardiveté. Par arrêt du 9 janvier 2017, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours de X._ contre ce prononcé. C. X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que l'opposition à l'ordonnance pénale est recevable, la cause étant renvoyée au Tribunal de police pour la reprise de la procédure d'opposition. Subsidiairement, il conclut à l'annulation de l'arrêt et au renvoi de la cause à l'autorité précédente pour nouvelle décision dans le sens des considérants.