Faits:
A.
Le 6 février 2012, X._ a déposé plainte pénale pour dommages à la propriété et violation de domicile contre son voisin Y._ au motif que ce dernier se serait, dans le courant de l'année 2011, introduit dans sa propriété et aurait saccagé, probablement au moyen d'une tronçonneuse, trois arbres, soit un frêne et ses deux conjoints, causant ainsi à tout le moins la mort du frêne.
Par ordonnance du 8 janvier 2013, le Ministère public a prononcé le classement de la procédure.
B.
Statuant par arrêt du 31 janvier 2013 sur le recours de X._, la Chambre des recours pénale du Tribunal cantonal du canton de Vaud l'a rejeté.
C.
X._ forme un recours en matière pénale au Tribunal fédéral contre cet arrêt, concluant, sous suite de dépens, à son annulation et à ce que l'accusation contre Y._ soit engagée.

Considérant en droit:
1.
Le recourant a pris des conclusions civiles en instance cantonale et il n'est pas douteux que la décision attaquée puisse avoir une incidence sur le jugement de ses prétentions. Le recourant revêt donc la qualité pour recourir selon l'art. 81 al. 1 let. a et b ch. 5 LTF.
2.
Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). La partie recourante ne peut ainsi critiquer ces faits que s'ils ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire au sens de l'art. 9 Cst. (cf. <ref-ruling> consid. 2.4 p. 313; sur la notion d'arbitraire, v. <ref-ruling> consid. 6.1 p. 379 s.), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>). Le Tribunal fédéral n'examine, en général, que les questions juridiques que la partie recourante soulève conformément aux exigences légales relatives à la motivation du recours (<ref-law>; <ref-ruling> consid. 2.1 p. 93). De plus, il n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux que s'ils ont été invoqués et motivés de manière précise (<ref-law>). L'acte de recours doit, à peine d'irrecevabilité, contenir un exposé succinct des droits violés et préciser en quoi consiste la violation (<ref-ruling> consid. 1.3.1 p. 68 et les références citées). Le Tribunal fédéral n'entre pas en matière sur les critiques de nature appellatoire (<ref-ruling> consid. 5.1 p. 356 et les références citées).
3.
Le recourant se plaint d'une appréciation anticipée des preuves insoutenable, de la violation de la maxime d'instruction et de son droit d'être entendu.
3.1. Le droit d'être entendu, tel qu'il est garanti par l'art. 29 al. 2 Cst., comprend notamment pour le justiciable le droit d'obtenir l'administration des preuves pertinentes et valablement offertes, de participer à l'administration des preuves essentielles et de se déterminer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 3.1 p. 277; <ref-ruling> consid. 2a/aa p. 16; <ref-ruling> consid. 3a p. 51). En procédure pénale, l'<ref-law> prévoit que le ministère public ne peut écarter une réquisition de preuves que si celle-ci porte sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés en droit. L'<ref-law> prévoit quant à lui qu'il n'y a pas lieu d'administrer des preuves sur des faits non pertinents, notoires, connus de l'autorité pénale ou déjà suffisamment prouvés. Le législateur a ainsi consacré le droit des autorités pénales de procéder à une appréciation anticipée des preuves. Le magistrat peut renoncer à l'administration de certaines preuves, notamment lorsque les faits dont les parties veulent rapporter l'authenticité ne sont pas importants pour la solution du litige. Ce refus d'instruire ne viole le droit d'être entendu que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236).
3.2. En l'occurrence, la cour cantonale, reprenant l'appréciation du ministère public, a exposé pour quels motifs il n'y avait pas lieu de donner suite aux requêtes de preuve proposées par le recourant. Elle a ainsi, sur la base d'une appréciation anticipée des preuves, considéré que les moyens offerts n'étaient pas de nature à modifier son appréciation des faits. Une inspection locale était sans pertinence compte tenu des photographies au dossier. L'audition des deux témoins requis ne permettrait pas de donner plus de crédit à une version des faits plutôt qu'à une autre.
A l'appui de son grief, le recourant se contente de soutenir que les témoins auraient dû être interrogés sans démontrer en quoi les considérations de l'instance précédente seraient arbitraires. Son grief ne répond pas aux exigences de motivation rappelées ci-dessus (consid. 2) et est, par conséquent, irrecevable.
4.
Le recourant reproche à la cour cantonale d'avoir procédé à une appréciation arbitraire des preuves et, partant, violé l'adage "in dubio pro duriore" en ne renvoyant pas l'intimé devant l'autorité de jugement.
4.1. L'<ref-law> prévoit que le ministère public ordonne le classement de tout ou partie de la procédure lorsqu'aucun soupçon justifiant une mise en accusation n'est établi. Selon la jurisprudence, cette disposition doit être appliquée conformément à l'adage in dubio pro duriore. Celui-ci découle du principe de la légalité (art. 5 al. 1 Cst. et 2 al. 2 CPP en relation avec les art. 319 al. 1 et 324 CPP; <ref-ruling> consid. 4.2 p. 91) et signifie qu'en principe, un classement ou une non-entrée en matière ne peuvent être prononcés par le ministère public que lorsqu'il apparaît clairement que les faits ne sont pas punissables ou que les conditions à la poursuite pénale ne sont pas remplies. Le ministère public et l'autorité de recours disposent, dans ce cadre, d'un pouvoir d'appréciation que le Tribunal fédéral revoit avec retenue. La procédure doit se poursuivre lorsqu'une condamnation apparaît plus vraisemblable qu'un acquittement ou lorsque les probabilités d'acquittement et de condamnation apparaissent équivalentes, en particulier en présence d'une infraction grave (<ref-ruling> consid. 4.1.2 p. 91; 186 consid. 4.1 p. 190; <ref-ruling> consid. 2.5 p. 288 s.).
4.2.
4.2.1. La succincte motivation de la cour cantonale confirme la solution du ministère public dans son ordonnance de classement. En substance, le ministère public a exposé que selon le témoignage d'un jardinier et d'un paysagiste, les trois frênes avaient été victimes de vandalisme, alors que selon l'intimé et le dénommé A._, le grand frêne avait été trop élagué et serait mort pour cette raison. Le ministère public a considéré qu'il n'était pas utile d'éclaircir laquelle de ces versions prévalait en recherchant la cause exacte de la mort du frêne dès lors qu'aucun élément probant, hormis le passé tumultueux des parties, ne permettait de désigner l'intimé comme l'auteur des faits reprochés. Cette solution se justifiait d'autant plus que d'autres voisins (B._ et A._), étaient aussi dérangés par les arbres litigieux et pouvaient avoir un intérêt à s'en prendre à ceux-ci. De son côté, la cour cantonale a encore ajouté que même si le dépérissement du frêne devait résulter d'un acte de malveillance, cela ne suffisait pas à étayer l'accusation contre l'intimé dès lors qu'il avait obtenu par la voie civile l'écimage de cet arbre et qu'il paraissait ainsi inconcevable qu'il ait fait acte de justice personnelle.
4.2.2. Le recourant conteste que les voisins B._ et A._ puissent être de potentiels auteurs. Il considère que le passé entre lui et l'intimé n'a pas suffisamment été pris en compte. Selon lui, il ne fait pas de doute que la mort du frêne de 15 mètres résulte d'une action humaine délibérée et c'est à tort que la cour cantonale a retenu que l'intimé avait obtenu l'écimage de cet arbre sur le plan civil.
4.2.3. Il n'apparaît pas que la cour cantonale aurait omis de prendre en considération certains éléments contrairement à ce que suppose le recourant. Les pièces relatant le litige ayant opposé le recourant et l'intimé figurent au dossier et rien ne laisse supposer qu'elles auraient été omises. Le passé des parties a été qualifié de tumultueux. Ce qualificatif ne permet pas de supposer que la tension entre les parties par le passé aurait été sous-estimée. Le recourant procède à un libre exposé de son approche des faits quant au rôle qu'ont pu avoir les voisins et au litige entre les parties par le passé. Il donne une libre interprétation des éléments du dossier qu'il se contente d'opposer à la solution cantonale. Purement appellatoires, les différentes critiques qu'il formule de la sorte sont irrecevables. Certes, la cour cantonale a cru bon d'ajouter que l'intimé avait obtenu par la voie civile l'écimage du frêne - soit celui de 15 mètres - ce qui écartait également un acte de justice propre de l'intimé. Ce faisant, la cour cantonale s'est méprise dès lors que la procédure civile a porté sur l'écimage des deux frênes conjoints et non sur celui de 15 mètres. Il n'en reste pas moins que la plainte pénale visait aussi le saccage des deux frênes conjoints de sorte que l'appréciation des preuves par la cour cantonale n'apparaît pas arbitraire dans son résultat. Cela étant, au vu des éléments du dossier, il n'apparaît pas qu'une condamnation de l'intimé puisse être plus vraisemblable voire aussi vraisemblable que son acquittement. La solution à laquelle la cour cantonale est parvenue en confirmant l'ordonnance de classement ne procède pas d'une violation de son pouvoir d'appréciation et n'est pas contraire au droit fédéral.
5.
Le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Chambre des recours pénale.
Lausanne, le 5 septembre 2013
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
Le Président: Mathys
La Greffière: Livet