Faits :
A.
Le 5 octobre 2018, A._ a déposé plainte pénale contre son épouse pour escroquerie. Les époux ayant adopté le régime de la séparation de biens, X._ a fortement insisté auprès de son mari pour modifier le régime matrimonial. Un contrat de mariage a ainsi été conclu le 7 juin 2018 et les époux sont passés au régime ordinaire, soit de la participation aux acquêts, avec effet rétroactif à la date du mariage. Par un second acte notarié du 7 juin 2018, A._ a fait donation à son épouse d'un cinquième de l'immeuble dont il était propriétaire. Les soupçons d'infidélité que portait A._ à l'encontre de son épouse se sont confirmés. Le 6 juillet 2018, X._ a quitté son époux et a entamé une procédure de séparation.
B.
Par ordonnance du 28 février 2019, le Ministère public de l'arrondissement de La Côte a refusé d'entrer en matière.
C.
Par arrêt du 25 avril 2019, la Chambre des recours pénale du Tribunal cantonal vaudois a rejeté le recours formé par A._ contre l'ordonnance de non-entrée en matière.
D.
A._ forme un recours en matière pénale auprès du Tribunal fédéral contre l'arrêt cantonal et requiert, avec suite de frais et dépens, le renvoi de la cause au ministère public pour qu'il ouvre une instruction pour escroquerie contre X._.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office et librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 197).
1.1. La décision attaquée a été rendue en matière pénale au sens de l'<ref-law>. Confirmant l'ordonnance de non-entrée en matière rendue par le ministère public, elle a un caractère final (<ref-law>) et émane de l'autorité cantonale de dernière instance (<ref-law>). Le recourant a en outre agi en temps utile (art. 48 al. 1 et 100 al. 1 LTF).
1.2. Selon l'art. 81 al. 1 let. a et b ch. 5 LTF, la partie plaignante qui a participé à la procédure de dernière instance cantonale est habilitée à recourir au Tribunal fédéral si la décision attaquée peut avoir des effets sur le jugement de ses prétentions civiles. Constituent de telles prétentions celles qui sont fondées sur le droit civil et doivent en conséquence être déduites ordinairement devant les tribunaux civils. Il s'agit principalement des prétentions en réparation du dommage et du tort moral au sens des <ref-law> (<ref-ruling> consid. 1.1 p. 4). Selon l'<ref-law>, il incombe au recourant d'alléguer les faits qu'il considère comme propres à fonder sa qualité pour recourir. Lorsque le recours est dirigé contre une décision de non-entrée en matière ou de classement de l'action pénale, la partie plaignante n'a pas nécessairement déjà pris des conclusions civiles. Quand bien même celle-ci aurait déjà déclaré de telles prétentions (cf. <ref-law>), il n'en reste pas moins que le procureur qui refuse d'entrer en matière ou prononce un classement n'a pas à statuer sur l'aspect civil (cf. <ref-law>). Dans tous les cas, il incombe par conséquent à la partie plaignante d'expliquer dans son mémoire au Tribunal fédéral quelles prétentions civiles elle entend faire valoir contre l'intimé. Comme il n'appartient pas à la partie plaignante de se substituer au ministère public ou d'assouvir une soif de vengeance, la jurisprudence entend se montrer restrictive et stricte, de sorte que le Tribunal fédéral n'entre en matière que s'il ressort de façon suffisamment précise de la motivation du recours que les conditions précitées sont réalisées, à moins que l'on puisse le déduire directement et sans ambiguïté compte tenu notamment de la nature de l'infraction alléguée (<ref-ruling> consid. 1.1 p. 4 s. et les arrêts cités).
En l'espèce, le recourant se prétend victime d'escroquerie de la part de son épouse. Celle-ci aurait ainsi obtenu de la part du recourant la signature d'une donation immobilière devant notaire ainsi que la signature d'un contrat de mariage modifiant le régime matrimonial des parties. Ces éléments sont suffisants pour percevoir les prétentions civiles en jeu et permettent de lui reconnaître, au stade de l'examen de la recevabilité du recours en matière pénale, la qualité pour recourir.
2.
Le recourant conteste que les conditions d'une non-entrée en matière au sens de l'<ref-law> soient réunies en l'espèce.
2.1. Conformément à l'<ref-law>, le ministère public rend immédiatement une ordonnance de non-entrée en matière s'il ressort de la dénonciation ou du rapport de police que les éléments constitutifs de l'infraction ou les conditions à l'ouverture de l'action pénale ne sont manifestement pas réunis.
Selon la jurisprudence, cette disposition doit être appliquée conformément à l'adage " in dubio pro duriore " (arrêt 6B_127/2013 du 3 septembre 2013 consid. 4.1). Celui-ci découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 309 al. 1, 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91) et signifie qu'en principe, un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave. En effet, en cas de doute s'agissant de la situation factuelle ou juridique, ce n'est pas à l'autorité d'instruction ou d'accusation mais au juge matériellement compétent qu'il appartient de se prononcer (<ref-ruling> consid. 2.2.1 p. 243; <ref-ruling> consid. 4.1.2 p. 91 et les références citées; arrêt 6B_635/2018 du 24 octobre 2018).
2.2. Le recourant s'en prend au refus d'entrer en matière sur les faits qui relèvent, selon lui, de l'escroquerie.
2.2.1. Se rend coupable d'escroquerie au sens de l'<ref-law>, celui qui, dans le dessein de se procurer ou de procurer à un tiers un enrichissement illégitime, aura astucieusement induit en erreur une personne par des affirmations fallacieuses ou par la dissimulation de faits vrais ou l'aura astucieusement confortée dans son erreur et aura de la sorte déterminé la victime à des actes préjudiciables à ses intérêts pécuniaires ou à ceux d'un tiers.
2.2.2. Il y a tromperie astucieuse, au sens de l'<ref-law>, lorsque l'auteur recourt à un édifice de mensonges, à des manoeuvres frauduleuses ou à une mise en scène, mais aussi lorsqu'il donne simplement de fausses informations, si leur vérification n'est pas possible, ne l'est que difficilement ou ne peut raisonnablement être exigée, de même que si l'auteur dissuade la dupe de vérifier ou prévoit, en fonction des circonstances, qu'elle renoncera à le faire en raison d'un rapport de confiance particulier (<ref-ruling> consid. 2.2.2 p. 154 s.; <ref-ruling> consid. 5.2 p. 79 ss). L'astuce n'est toutefois pas réalisée si la dupe pouvait se protéger avec un minimum d'attention ou éviter l'erreur avec le minimum de prudence que l'on pouvait attendre d'elle. Il n'est cependant pas nécessaire qu'elle ait fait preuve de la plus grande diligence ou qu'elle ait recouru à toutes les mesures possibles pour éviter d'être trompée. L'astuce n'est exclue que si elle n'a pas procédé aux vérifications élémentaires que l'on pouvait attendre d'elle au vu des circonstances. Une co-responsabilité de la dupe n'exclut toutefois l'astuce que dans des cas exceptionnels (<ref-ruling> consid. 2.2.2 p. 155; <ref-ruling> consid. 5.2 p. 81).
Le recourant soutient que les conditions relatives au prononcé d'une ordonnance de non-entrée n'étaient pas réalisées en l'espèce.
2.3. La cour cantonale a considéré que l'astuce, en tant qu'élément constitutif de l'infraction d'escroquerie, n'était manifestement pas réalisée, de sorte que la non-entrée en matière se justifiait sous l'angle de l'<ref-law>. Le recourant reproche à la cour cantonale d'avoir violé son droit d'être entendu en restant muette dans sa décision sur les vérifications qu'il aurait pu et dû faire. Il soutient par ailleurs qu'il ne pouvait imaginer un instant que son épouse le quitterait dès qu'elle aurait obtenu la modification de son régime matrimonial et la donation d'un cinquième de son immeuble. A cet égard, il souligne que les mensonges de son épouse se sont étalés sur plusieurs années, ce dont la cour cantonale n'a arbitrairement pas tenu compte.
Il ressort de l'arrêt attaqué que le recourant soupçonnait son épouse de le tromper depuis novembre 2017 déjà et que des tensions étaient apparues dans le couple en 2015 déjà. Dans ces conditions, la cour cantonale pouvait conclure qu'il n'avait pas fait preuve de la prudence nécessaire, dès lors qu'il devait être sur ses gardes et que la tromperie était aisément reconnaissable par le recourant.
Partant, la Chambre des recours pénale a retenu, à juste titre et sans violer le principe " in dubio pro duriore ", que la condition de l'astuce (<ref-law>) n'était pas réalisée en l'espèce (<ref-law>).
3.
Il s'ensuit que le recours est rejeté.
Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 17 septembre 2019
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président : Denys
La Greffière : Thalmann