Faits :
A.
Par jugement du 13 novembre 2020, le Tribunal de police de l'arrondissement de l'Est vaudois a reconnu A._ coupable de dommages à la propriété, menaces et contrainte et l'a condamné, outre aux frais de la procédure, à une peine pécuniaire de 150 jours-amende à 40 fr. le jour. En outre, le tribunal de police a dit que A._ était débiteur de B.B._ des sommes de 11'658 fr. 80 à titre d'indemnité pour les dépenses obligatoires occasionnées par la procédure et de 500 fr. à titre d'indemnité pour la réparation du tort moral subi. Il a rejeté la requête en indemnité pour tort moral formée par C.B._.
B.
Par jugement du 31 mars 2021, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel formé par A._, en ce sens qu'elle l'a libéré de l'infraction de contrainte. Elle a ramené la peine pécuniaire à 120 jours-amende à 40 fr. le jour et a mis A._ au bénéfice du sursis en fixant le délai d'épreuve à 3 ans. Elle a en outre réduit l'indemnité pour les dépenses obligatoires occasionnées par la procédure à un montant de 8'000 fr.
Il en ressort les faits suivants: entre 2017 et 2019, à U._, chemin V._, A._ s'est fait l'auteur de divers comportements chicaniers à l'encontre de ses voisins B.B._ et C.B._. Son comportement s'inscrivait dans le contexte d'une amitié qui s'était développée avec B.B._ et à laquelle celle-ci avait mis un terme lorsque A._ lui avait fait part des sentiments amoureux qu'il éprouvait à son égard.
B.a. Dans la nuit du 10 au 11 novembre 2017, dans la propriété des époux B._, A._ a griffé, au moyen d'un objet indéterminé, l'aile et les portières gauches du véhicule appartenant à C.B._. A une date indéterminée entre le 29 mai et le 3 juin 2019, il a endommagé au moyen de désherbant (chimique ou thermique) 3m2 de gazon et huit laurelles du jardin des époux B._.
B.b. Le 1er juillet 2019 vers 15h15, A._ se tenait devant chez lui et a mimé le geste de tirer avec une arme en direction de B.B._, alors que celle-ci manoeuvrait avec sa voiture pour se garer devant son domicile, ses filles de 7 et 11 ans se trouvant à l'arrière du véhicule. Le 7 novembre 2019, dans la cour d'école de U._, alors que tous deux accompagnaient leurs enfants respectifs, A._ s'est approché à quelques centimètres de B.B._ et lui a dit " prépare-toi à la tornade, ça va faire très mal, B._ ".
C.
A._ forme un recours en matière pénale au Tribunal fédéral en concluant, avec suite de frais et dépens, à la réforme du jugement attaqué en ce sens qu'il est acquitté du chef d'accusation de dommages à la propriété et de " menaces graves par négligence ". Il conclut en outre à ce qu'une indemnité au sens de l'art. 429 CPP lui soit octroyée. Subsidiairement, il requiert l'annulation du jugement attaqué et le renvoi de la cause à la juridiction cantonale pour nouveau jugement dans le sens des considérants.

Considérant en droit :
1.
Le recourant invoque l'arbitraire dans l'établissement des faits et l'appréciation des preuves. Il se plaint en outre d'une violation de la présomption d'innocence et du principe " in dubio pro reo ".
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (art. 105 al. 1 LTF), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation, mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155). Le Tribunal fédéral n'examine la violation des droits fondamentaux que si ce moyen est invoqué et motivé par le recourant (art. 106 al. 2 LTF), c'est-à-dire s'il a été expressément soulevé et exposé de manière claire et détaillée (<ref-ruling> consid. 1.1 p. 503 et les références citées). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 4.1.2 p. 81; <ref-ruling> consid. 2.1 p. 118 et les références citées).
Lorsque l'autorité cantonale a forgé sa conviction quant aux faits sur la base d'un ensemble d'éléments ou d'indices convergents, il ne suffit pas que l'un ou l'autre de ceux-ci ou même chacun d'eux pris isolément soit à lui seul insuffisant. L'appréciation des preuves doit en effet être examinée dans son ensemble. Il n'y a ainsi pas d'arbitraire si l'état de fait retenu pouvait être déduit de manière soutenable du rapprochement de divers éléments ou indices. De même, il n'y a pas d'arbitraire du seul fait qu'un ou plusieurs arguments corroboratifs apparaissent fragiles, si la solution retenue peut être justifiée de façon soutenable par un ou plusieurs arguments de nature à emporter la conviction (arrêts 6B_330/2021 du 15 septembre 2021 consid. 2.1; 6B_1052/2020 du 19 juillet 2021 consid. 1.1; 6B_984/2020 du 4 mars 2021 consid. 1.1).
La présomption d'innocence, garantie par les art. 10 CPP, 32 al. 1 Cst., 14 par. 2 Pacte ONU II et 6 par. 2 CEDH, ainsi que son corollaire, le principe " in dubio pro reo ", concernent tant le fardeau de la preuve que l'appréciation des preuves au sens large (<ref-ruling> consid. 1.1 p. 156; <ref-ruling> consid. 2.2.3.1 p. 349; <ref-ruling> consid. 2a p. 40). En tant que règle sur le fardeau de la preuve, elle signifie, au stade du jugement, que le fardeau de la preuve incombe à l'accusation et que le doute doit profiter au prévenu. Comme règle d'appréciation des preuves, la présomption d'innocence signifie que le juge ne doit pas se déclarer convaincu de l'existence d'un fait défavorable à l'accusé si, d'un point de vue objectif, il existe des doutes quant à l'existence de ce fait. Il importe peu qu'il subsiste des doutes seulement abstraits et théoriques, qui sont toujours possibles, une certitude absolue ne pouvant être exigée. Il doit s'agir de doutes sérieux et irréductibles, c'est-à-dire de doutes qui s'imposent à l'esprit en fonction de la situation objective. Lorsque l'appréciation des preuves et la constatation des faits sont critiquées en référence au principe " in dubio pro reo ", celui-ci n'a pas de portée plus large que l'interdiction de l'arbitraire (<ref-ruling> consid. 1.1 p. 155 s. et les références citées).
1.2. Le recourant nie avoir commis les dommages constatés sur la voiture de l'intimé et dans le jardin des intimés.
1.2.1. Se fondant sur un faisceau d'indices convergents, la cour cantonale a acquis la conviction que le recourant était l'auteur des dégâts causés sur la voiture de l'intimé. Ainsi, les rayures avaient été constatées par ce dernier le matin du 11 novembre 2017 et le recourant avait admis avoir pénétré à proximité de la propriété des intimés dans la nuit du 10 au 11 novembre 2017, en rentrant du travail. En outre, les motivations ayant conduit le recourant à entrer dans la propriété de ses voisins, la nuit du 18 octobre 2018, muni de gants, soit " pour leur faire croire qu'[il] pouvai[t] faire quelque chose ", étaient préoccupantes et démontraient l'animosité qu'il avait envers eux. Le recourant avait affirmé qu'il voulait leur " pourrir les vacances (...), leur mettre la pression, les emmerder ". Il avait au demeurant admis, lors d'une médiation en décembre 2018, qu'il avait eu un comportement inadapté et qu'il avait commis des actes dans le but de provoquer les intimés, de sorte qu'il n'apparaissait pas crédible lorsqu'il contestait, sans plus amples explications, les faits reprochés.
En l'espèce, les développements du recourant s'épuisent en une rediscussion des indices pris en considération par l'autorité précédente, auxquels il oppose sa propre appréciation, sans démontrer en quoi celle de l'autorité précédente serait arbitraire. Une telle démarche, purement appellatoire, ne répond pas aux exigences de motivation déduites de l'art. 106 al. 2 LTF; elle est irrecevable.
1.2.2. Concernant les dégâts causés au gazon et aux laurelles des intimés, la cour cantonale a retenu que les objections du recourant, qui niait en être l'auteur, n'emportaient pas la conviction. Ses déclarations apparaissaient d'autant moins crédibles au vu de l'attitude générale qu'il avait eue après la médiation de décembre 2018, le recourant n'ayant pas tenu ses engagements. Lors de son audition du 12 août 2019, il avait notamment admis avoir lancé des bouteilles dans la propriété des intimés " par méprise " et avoir imité le bruit de la poule pour " se foutre de leur gueule ", tout en minimisant son comportement. Compte tenu du caractère du recourant, qui avait reconnu ne pas toujours réussir à maîtriser ses " blessures qui revenaient à la surface " car " c'était plus fort que lui ", en référence à ce qu'il avait ressenti lorsque l'intimée avait refusé ses avances, la cour cantonale s'est convaincue qu'il était l'auteur des faits litigieux.
Le recourant reproche à la cour cantonale de ne s'être fondée sur aucun élément de preuve probant pour retenir qu'il était l'auteur des faits reprochés, aucun aveu ni aucun témoignage ne ressortant du dossier. Elle se serait uniquement basée sur son comportement observé dans le cadre d'un conflit de voisinage, lequel n'aurait pas de caractère pénal. Le recourant ne saurait être suivi. La juridiction précédente a forgé sa conviction sur un ensemble d'indices convergents, conformément au principe de libre appréciation des preuves (cf. art. 10 al. 2 CPP), soit le caractère du recourant, son comportement général vis-à-vis de ses voisins, les actes commis dans leur propriété et les propos tenus à leur égard. Face à ces éléments, elle a observé que les dénégations du recourant apparaissaient peu crédibles. Celui-ci ne démontre pas en quoi un tel raisonnement serait insoutenable.
Vu ce qui précède, la cour cantonale pouvait retenir sans arbitraire que le recourant avait commis les actes reprochés au préjudice des intimés. Le recourant ne discute pas la qualification juridique de ceux-ci, sur laquelle il n'y a donc pas lieu de revenir.
1.3. Le recourant conteste avoir mimé le geste de tirer avec une arme en direction de l'intimée.
La cour cantonale a constaté que le récit de l'intimée à cet égard était corroboré par les déclarations de sa mère. Même si ce témoignage devait être apprécié avec prudence vu le lien de parenté entre l'intimée et sa mère, cette dernière s'avérait particulièrement crédible dès lors qu'elle avait imputé au recourant un comportement identique à son encontre, sans savoir que sa fille avait été victime du même geste très peu de temps auparavant. A cela s'ajoutaient les lettres des filles de l'intimée, lesquelles avaient décrit le recourant comme étant l'auteur du geste " du pistolet ", sans que le recourant n'expose les raisons pour lesquelles elles auraient inventé ce geste, sauf à accuser l'intimée d'être une " menteuse et manipulatrice ". De plus, lors de son audition du 12 août 2019, le recourant avait tout d'abord nié être l'auteur de ce geste, puis avait indiqué, après s'être entretenu avec son défenseur, qu'il était " désolé " pour ce comportement qu'il ne " cautionn[ait] pas du tout ", avant de le contester à nouveau formellement. La cour cantonale a considéré que les objections du recourant ne permettaient pas de douter de la réalisation des faits. Le témoignage écrit de son frère, produit un mois après l'ordonnance pénale frappée d'opposition, était dénué de toute force probante. Il en allait de même des données GPS produites, lesquelles pouvaient être modifiées par la suite et, en tout état, ne fournissaient que des informations géographiques et pas encore l'indication de celui qui les utilisait.
Le recourant reproche à la cour cantonale de s'être fondée sur un témoignage par ouïe-dire émanant d'un personne particulièrement proche de l'intimée, corroboré par aucun autre témoignage, alors même que des " données techniques " démontraient qu'il n'était pas présent lors des faits reprochés. Ce faisant, le recourant ne discute pas la motivation de l'instance précédente l'ayant conduite à prendre en considération le témoignage de la mère de l'intimée et à ne pas tenir compte des données GPS; sa critique est irrecevable sur ce point faute de motivation topique (cf. art. 106 al. 2 LTF). Pour le surplus, l'autorité cantonale ne s'est pas uniquement fondée sur le témoignage de la mère de l'intimée mais a également tenu compte des lettres de ses filles ainsi que des propos et de l'attitude du recourant. Elle a considéré que les dénégations de ce dernier, faisant suite à des aveux, s'avéraient peu crédibles face à ces éléments. Une fois encore, le recourant ne démontre pas en quoi l'appréciation de la cour cantonale serait arbitraire.
Vu ce qui précède, la juridiction cantonale a retenu sans arbitraire que le recourant avait mimé le geste de tirer avec une arme en direction de l'intimée. Pour le surplus, le recourant, qui ne conteste pas l'autre complexe de faits pris en compte dans sa condamnation pour menaces (cf. consid. B.b supra), ne discute pas la qualification juridique de l'infraction, sur laquelle il n'y a dès lors pas lieu de revenir.
1.4. Le recourant ne remet pas en cause la peine prononcée pour les infractions retenues, de sorte qu'il n'y a pas lieu de l'examiner plus avant.
2.
Le recourant conclut à l'octroi d'une indemnité fondée sur l'art. 429 CPP en lien avec l'acquittement qu'il réclame. Comme il n'obtient pas celui-ci, sa conclusion est sans objet.
3.
Il s'ensuit que le recours doit être rejeté dans la mesure où il est recevable. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la Cour d'appel pénale du Tribunal cantonal du canton de Vaud.
Lausanne, le 11 mars 2022
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Paris