Faits: A. Le 23 décembre 2011, X._ a déposé une dénonciation/plainte pénale pour escroquerie contre son épouse. Il l'accusait d'avoir dissimulé des avoirs importants, ce qui lui avait permis d'obtenir, notamment dans le cadre de leur procédure de divorce, une décision de justice lui octroyant une contribution d'entretien qu'il jugeait indue. B. Par ordonnance du 13 février 2012, le Ministère public de l'arrondissement de La Côte a refusé d'entrer en matière et laissé les frais à la charge de l'État. C. Par arrêt du 3 mai 2012, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._. Cette autorité a estimé que la plainte, nécessaire s'agissant d'une escroquerie au préjudice d'un proche (art. 146 al. 3 CP), était tardive. D. X._ forme un recours en matière pénale. Il conclut à l'annulation de cet arrêt et au renvoi de la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants. Aucun échange d'écritures n'a été ordonné.