Faits : A. Le 5 octobre 2018, A._ a déposé plainte pénale contre son épouse pour escroquerie. Les époux ayant adopté le régime de la séparation de biens, X._ a fortement insisté auprès de son mari pour modifier le régime matrimonial. Un contrat de mariage a ainsi été conclu le 7 juin 2018 et les époux sont passés au régime ordinaire, soit de la participation aux acquêts, avec effet rétroactif à la date du mariage. Par un second acte notarié du 7 juin 2018, A._ a fait donation à son épouse d'un cinquième de l'immeuble dont il était propriétaire. Les soupçons d'infidélité que portait A._ à l'encontre de son épouse se sont confirmés. Le 6 juillet 2018, X._ a quitté son époux et a entamé une procédure de séparation. B. Par ordonnance du 28 février 2019, le Ministère public de l'arrondissement de La Côte a refusé d'entrer en matière. C. Par arrêt du 25 avril 2019, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre l'ordonnance de non-entrée en matière. D. A._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt cantonal et requiert, avec suite de frais et dépens, le renvoi de la cause au ministère public pour qu'il ouvre une instruction pour escroquerie contre X._.