Faits : A. Par ordonnance pénale du 16 juillet 2014, le Ministère public central du canton de Vaud, division entraide, criminalité économique et informatique, a condamné X._ pour usage de faux (art. 186 al. 1 LIFD) à 180 jours-amende avec sursis durant deux ans, le jour-amende étant arrêté à 300 francs. X._ n'a pas réagi dans le délai d'opposition. B. Par courrier du 5 août 2014, il a requis la restitution du délai d'opposition, alléguant avoir pris conscience tardivement du fait que l'ordonnance pénale du 16 juillet 2014 ne concernait que le volet fiscal fédéral. Il faisait valoir qu'il se trouvait dans un cas d'erreur excusable, dès lors que toutes les parties étaient convaincues de bonne foi que la procédure menée par le Ministère public central du canton de Vaud concernait l'ensemble des législations fiscales et que les volets pénaux fiscaux tant fédéral que cantonal et communal étaient dès lors terminés. Par ordonnance du 13 août 2014, le Ministère public central du canton de Vaud a rejeté la demande en restitution de délai formulée par X._. C. Par arrêt du 9 janvier 2015, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par X._ et confirmé l'ordonnance du 13 août 2014. D. Contre ce dernier arrêt cantonal, X._ dépose un recours en matière pénale devant le Tribunal fédéral. Il conclut à l'admission de sa demande de restitution du délai d'opposition et, partant, à l'admission de son opposition à l'ordonnance pénale du 16 juillet 2014.