Faits :
A.
A.a. J.A._ habite avec son épouse une villa, dont il est propriétaire, située en face d'une parcelle acquise en 2015 par B._ SA. Les deux terrains sont séparés par un chemin privé sans issue. Une servitude de passage à pied et pour tous véhicules à charge de la parcelle de J.A._ permet l'accès à la parcelle acquise par B._ SA par le chemin en question.
A.b. B._ SA projetait de démolir la maison édifiée sur la parcelle qu'il avait acquise pour y construire, à la place, une villa de deux logements avec garages et piscines privés. L'immeuble destiné à la démolition contenait de l'amiante à différents endroits. Quant au terrain, il présentait une nappe phréatique de faible épaisseur sous une couche de terrain de couverture.
A.c. Le permis de construire lui a été délivré le 18 mai 2015. Il y était notamment indiqué que le suivi du désamiantage, effectué par une entreprise spécialisée et reconnue, devait parvenir à la Municipalité avant le début des travaux.
A.d. Les travaux ont débuté à l'automne 2015 par la démolition, laquelle était confiée à C._ SA.
A.e. Entre fin octobre 2015 et octobre 2016, les époux A._ ont adressé à B._ SA, à C._ SA ainsi qu'à l'Office des poursuites, pas moins de vingt-sept courriers par lesquels ils ont formulé des réclamations à l'encontre du déroulement du chantier, en y annexant des photographies de celui-ci, annotées.
L'épouse de J.A._ interpellait systématiquement le directeur des travaux, D._, lorsqu'il venait sur le chantier, soit plusieurs fois par semaine; elle interrompait le chantier pour donner des ordres aux ouvriers au sujet des nuisances dont elle se plaignait et des mesures qu'elle préconisait pour y mettre fin.
A.f. Le 29 octobre 2015, les époux A._ ont avisé B._ SA qu'ils avaient ressenti des chocs liés aux travaux. Durant le chantier et en particulier lors des travaux de démolition, l'épouse de J.A._ avait l'impression que la toiture et les murs de sa maison allaient tomber en raison des secousses qu'elle a qualifiées de violentes liées à l'utilisation de la pelleteuse.
A l'initiative des époux A._, il a été procédé à des mesures de vibrations du 7 au 18 décembre 2015. Selon le rapport de mesures in situ du 3 octobre 2017, les capteurs, qui se déclenchaient à 0,5 mm/s, se sont activés principalement entre 11 heures et 13 heures, ainsi qu'une fois à 9 h 24, une autre à 10 h 14 et une fois à 15 h 36. A ces occasions, les vibrations constatées se sont situées entre 0.03 et 2.02 mm/s. En moyenne, elles ont été mesurées à une vitesse de 0.929 mm/s. Elles ont dépassé le seuil d'avertissement de 2 mm/s à une seule reprise et le seuil d'alarme de 4 mm/s n'a jamais été atteint.
Par courrier du 30 octobre 2015, les époux A._ ont informé la Municipalité qu'ils avaient constaté des fissures à l'intérieur de leur maison et ont requis la suspension des travaux. La Municipalité leur a rétorqué que la situation relevait du droit privé. Ils ont alors montré les fissures au directeur de chantier. Le 5 novembre 2015, B._ SA a informé J.A._ qu'un constat d'huissier serait diligenté le 11 novembre suivant en vue d'établir l'état de la villa. L'épouse du prénommé a toutefois annulé le rendez-vous de sorte que ce constat n'a pas été effectué. Elle a ensuite mandaté un autre huissier pour effectuer le constat, qui n'a pas eu lieu le 17 novembre 2015 faute de disponibilité de l'huissier concerné. Le 1er décembre 2015, un premier constat d'huissier a finalement été effectué, sans la participation de la société B._ SA qui n'en était pas informée. Il fait état de fissures et de décollements à différents endroits de la villa. Il ressort d'un second constat, dressé le 11 octobre 2016 par un autre huissier mandaté par J.A._, l'existence de nouvelles fissures et l'agrandissement d'autres fissures.
A.g. Le 4 novembre 2015, un technicien communal s'est rendu sur le chantier et a ordonné la suspension des travaux.
Par courrier du 7 novembre 2015 à la Municipalité, les époux A._ et une douzaine de leurs voisins ont requis la suspension provisoire des travaux en vue du désamiantage préalable de la maison existante.
Le 9 novembre 2015, un employé de la SUVA s'est également rendu sur le chantier.
Par courriel du 12 novembre 2015, la SUVA a informé B._ SA qu'elle n'autoriserait la reprise des travaux qu'une fois certaines mesures adoptées. Les travaux d'assainissement d'amiante devaient être entrepris par une société spécialisée reconnue. A sa connaissance, l'entreprise mandatée, à savoir E._ SA, n'en faisait pas partie.
Par courrier du 13 novembre 2015, la Municipalité a confirmé la suspension initialement prononcée, au motif qu'il existait des lacunes non négligeables en matière de sécurité par rapport aux matériaux contaminés par l'amiante.
Par courrier du 14 novembre 2015, C._ SA a répondu à la SUVA qu'elle avait convenu avec F._ de pouvoir entreprendre elle-même les travaux avec les précautions d'usage lors de la démolition de la villa effectuée par sa sous-traitante E._ SA, en conformité avec la fiche thématique 33031 établie par la SUVA. Elle a ajouté ne pas avoir été informée de la nécessité d'annoncer le début des travaux de désamiantage à la commune.
Dans un courriel du 16 novembre 2015, la SUVA a autorisé les travaux selon la méthodologie de la fiche thématique précitée et sous la supervision de F._.
Par courriel du 16 novembre 2015, la Municipalité a confirmé l'autorisation de reprise des travaux de désamiantage uniquement, après quoi un rapport devait être fourni par F._, avant que ne soit autorisée la reprise des travaux de démolition. Les époux A._ en ont été informés le lendemain.
Le rapport final de désamiantage a été établi le 23 novembre 2015 par F._ et atteste de l'assainissement complet de la villa à démolir.
A.h. Les travaux de démolition ont repris douze jours après la suspension et, dès janvier 2016, une équipe de maçonnerie a remplacé l'équipe de démolition.
A.i. Par courrier du 21 novembre 2015, les époux A._ ont notamment demandé que la grue se trouvant sur la parcelle de B._ SA soit bien fixée en fin de chantier car elle tournait beaucoup selon le vent. Ils craignaient qu'elle ne tombe sur les maisons environnantes. Le 27 novembre suivant, B._ SA lui a indiqué que l'installation de la grue était contrôlée par un organisme spécialisé et conforme aux directives (normes SIA). Une grue à l'arrêt devait pouvoir absorber les coups de vent, raison pour laquelle sa flèche était laissée en girouette.
Les époux A._ ont réitéré leur demande les 9 et 11 décembre 2015, invoquant également que la foudre pouvait frapper la grue et qu'il valait mieux, dès lors, qu'elle soit le plus loin possible. Le 10 décembre 2015, B._ SA lui a à nouveau exposé que la grue était en position libre conformément aux directives de sécurité, de telle manière qu'elle se positionne dans le sens du vent.
A.j. Par courrier du 1er décembre 2015, J.A._ a demandé le déplacement de l'entrée du chantier d'une quinzaine de mètres au moins pour éviter que de la poussière et de la terre ne parviennent directement dans les habitations. En annexe, il a remis trois certificats médicaux attestant essentiellement de la nécessité pour sa femme d'être soustraite à l'exposition de poussières en raison de son état de santé, soit des problèmes respiratoires et d'allergies.
Le 9 janvier 2016, le couple A._ a demandé à B._ SA que les engins à ciment posés à l'entrée du chantier soient déplacés au fond de celui-ci car ils allaient créer des problèmes en raison de la diffusion du sable et des poussières de ciment lorsque la centrale de cimenterie fonctionnerait. Dans un courrier du 9 février 2016, J.A._ a requis la pose de bâches et des protections pour limiter les nuisances liées à la centrale de cimenterie. Le même jour son épouse a demandé l'ajout de bâches et fait état de la poussière de ciment qui volait vers plusieurs maisons avec le vent lorsque la centrale fonctionnait.
Par courrier du 11 décembre 2015, J.A._ s'est plaint à B._ SA que les véhicules du chantier, parqués devant chez lui, l'avaient empêché ainsi que son épouse de sortir et que les travaux avaient sali le chemin privé.
Par courrier du 29 février 2016, il l'a informée que la peinture de la clôture de sa maison avait été endommagée en divers endroits par les camions et engins du chantier ou des entreprises qui y travaillaient. Il a produit des photos de sa clôture.
Dans de nombreux courriers, son épouse a requis de B._ SA qu'elle pose des bâches de protection en vue d'empêcher des émanations de poussière (lettres des 8, 12, 17, 29 février, 30 mars, 27 avril et 16 juin 2016).
Fin février 2016, elle s'est rendue sur le chantier pour fixer, à l'aide de certains voisins, des bâches achetées par ses soins.
Ces bâches ont été enlevées car, d'après un maçon travaillant pour C._ SA, elles n'étaient pas bien attachées et se soulevaient quand il y avait du vent, ce qui faisait du bruit.
Le 30 mars 2016, les époux A._ ont adressé un nouveau courrier à B._ SA demandant notamment la fixation de bâches pour éviter les nuisances provoquées selon eux par le chantier, lettre qui a été cosignée par une quinzaine de voisins.
Estimant que rien n'avait été fait pour atténuer la poussière du chantier, ils lui ont envoyé une nouvelle lettre le 27 avril 2016.
Par courrier du 2 mai 2016, ils ont requis de cette dernière qu'elle clôture le chantier.
Début mai 2016, une nouvelle bâche plus solide a été posée.
Le 16 juin 2016 puis encore en août 2016, les époux A._ ont derechef envoyé des courriers concernant la mise en place de bâches supplémentaires.
A.k. Le 13 juillet 2016, la Municipalité a notamment informé les époux A._ que B._ SA ne méconnaissait pas les dispositions du règlement communal de police s'agissant de la propreté des lieux et du respect de certaines règles concernant les chantiers et que le diagnostic amiante avait bel et bien été établi.
B.
B.a. Au bénéfice d'une autorisation de procéder consécutive à l'échec de la conciliation, J.A._ a saisi le Tribunal civil de l'arrondissement de La Côte, en date du 21 novembre 2016, d'une demande tendant au paiement par B._ SA du montant de 70'000 fr. plus intérêts, comprenant les frais de réparation des fissures de sa villa (14'191 fr. 20, 7'500 fr. et 2'160 fr.), ceux de réfection de la partie terminale du chemin privé (15'849 fr.) les frais relatifs à la séance de constat (324 fr.), ceux d'huissier (1'004 fr. 40 et 579 fr. 30), la facture relative au sismographe (1'185 fr.), les frais de géomètre (1'120 fr.), ceux en lien avec les photographies prises et les courriers adressés (1'400 fr.), les frais d'avocat avant procès (7'865 fr.), ceux relatifs à la procédure de conciliation (3'135 fr.), l'émolument de conciliation (900 fr.) et une indemnité pour tort moral de 12'000 francs. Il modifiera ultérieurement à deux reprises ses conclusions pour les réduire à 52'188 fr. plus intérêts et 4'035 fr. à titre de frais et dépens pour la conciliation.
La défenderesse a déposé une réponse tendant au rejet de la demande dans la mesure de sa recevabilité et conclu reconventionnellement à la condamnation de J.A._ au paiement de 58'122 fr. 35 plus intérêts au titre de sa responsabilité délictuelle.
Plusieurs témoins ont été auditionnés. Les parties ont également été entendues. Après avoir requis la mise en oeuvre d'une expertise, le demandeur y a finalement renoncé.
Par jugement du 26 juillet 2019, le Tribunal civil de l'arrondissement de La Côte a rejeté tant la demande de J.A._ que la demande reconventionnelle de B._ SA. En droit, les premiers juges ont retenu que les vibrations provoquées par le chantier ne constituaient pas des immissions excessives pour la parcelle voisine, propriété du demandeur. Concernant les immissions de poussière provenant du chantier, ils ont considéré que si elles étaient avérées, le demandeur ne parvenait pas à démontrer leur caractère excessif selon l'appréciation d'un homme raisonnable et moyennement sensible, en l'absence de substances toxiques telles que l'amiante. S'agissant des immissions psychiques invoquées par le demandeur, notamment des angoisses quant à la présence d'amiante sur le chantier et au positionnement de la grue utilisée, leur caractère excessif n'était pas non plus démontré. Le demandeur n'était pas non plus parvenu à prouver qu'il avait subi un préjudice moral, de sorte qu'aucun montant ne lui était dû à ce titre. Par ailleurs, il ne disposait pas de la qualité pour agir en paiement d'un éventuel tort moral de son épouse. Il avait finalement échoué à démontrer l'existence d'un lien de causalité entre l'exploitation du chantier et les fissures présentes dans sa villa, les salissures alléguées ou encore l'endommagement de la clôture de sa maison.
B.b. Par arrêt du 12 juin 2020, la Cour d'appel civile du canton de Vaud a rejeté l'appel déposé par le demandeur. Les motifs qui ont guidé les juges cantonaux seront exposés dans les considérants en droit du présent arrêt, dans la mesure utile à la discussion des griefs du recourant.
C.
Le demandeur dépose un recours en matière civile concluant au paiement par la défenderesse de 49'327 fr. 70 plus intérêts, 4'035 fr. à titre de frais et dépens pour la conciliation, et diverses sommes au titre des frais et dépens de première et seconde instance.
La cour cantonale ainsi que l'intimée n'ont pas été invitées à se déterminer.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 30'000 fr. (<ref-law>) et au délai de recours (art. 46 al. 1 let. b et art. 100 al. 1 LTF). Demeure réservée la recevabilité des griefs particuliers.
2.
2.1. Le recours en matière civile peut être exercé pour violation du droit fédéral (<ref-law>), y compris le droit constitutionnel (<ref-ruling> consid. 2.1 p. 247; <ref-ruling> consid. 2.4 p. 313). Le Tribunal fédéral applique le droit d'office (<ref-law>). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes. Il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 2 p. 88; <ref-ruling> consid. 2 p. 116; <ref-ruling> consid. 1.3 p. 584). Par exception à la règle selon laquelle il applique le droit d'office, il n'examine la violation d'un droit constitutionnel que si le grief a été invoqué et motivé de façon détaillée (<ref-law>; <ref-ruling> consid. 1.4 in fine p. 400 s.).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (ATF <ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 1.5 p. 401). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>). La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références).
La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes en conformité avec les règles de procédure les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2 p. 90). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 p. 18). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
Au chiffre II de son mémoire de recours, le recourant se plaint du fait que les faits établis par les juges cantonaux soient " déformés, inexacts, arbitraires ", et prétend reformuler l'intégralité de ceux-ci en usant - et abusant - d'abréviations en guise de noms propres, pour lesquelles le lecteur est invité à se reporter à une liste ad hoc, mais surtout sans articuler de grief recevable au regard des principes rappelés ci-dessus. Il n'en sera pas tenu compte.
2.3. En matière d'appréciation des preuves, le Tribunal fédéral se montre pareillement réservé. Il n'intervient, du chef de l'art. 9 Cst., que si le juge du fait n'a manifestement pas compris le sens et la portée d'un moyen de preuve, a omis sans raisons objectives de tenir compte des preuves pertinentes ou a effectué, sur la base des éléments recueillis, des déductions insoutenables (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.2 p. 234).
3.
Le recourant prétend à un dédommagement consécutif à des actes illicites de l'intimée, c'est-à-dire des immissions excessives au sens de l'<ref-law> et des atteintes directes à sa propriété. Selon les conclusions qu'il a adressées au Tribunal de céans, il s'agit de l'ensemble des montants articulés dans le cadre de sa demande en justice (cf. supra let. B.a), exceptés ceux relatifs à la réfection de la partie terminale du chemin privé auxquels il ne prétend plus. En définitive, le litige s'articule désormais principalement autour d'un dommage matériel ( Sachschaden), à savoir les fissures de sa villa et le dommage à sa clôture que le recourant reproche à l'intimée d'avoir occasionnés lors du chantier, et du tort moral qu'il prétend avoir subi en raison des bruits, de la poussière, des odeurs de ciment, de la fumée, de la boue et du positionnement de la grue sur ce même chantier.
4.
4.1. S'agissant des fissures que présente la villa du recourant, la cour cantonale ne s'est pas déclarée convaincue par l'existence d'un lien de cause à effet avec le chantier de l'intimée. Il appartenait au recourant de démontrer cette condition de la responsabilité civile, ce qu'il ne conteste pas. Or, il n'était pas parvenu à prouver que sa villa était dépourvue de fissures avant les travaux entrepris par l'intimée sur la parcelle voisine.
Le recourant fait grief à la cour cantonale d'avoir sombré, à cet égard, dans une appréciation arbitraire des preuves. D'après lui, elle aurait dû s'en remettre aux déclarations des témoins G._ et H._, selon lesquels aucune fissure n'existait avant le début de ces travaux. Que ces fissures aient évolué entre le premier et le second constat d'huissier serait également la preuve de leur lien avec le chantier incriminé.
C'est à tort que le recourant reproche à la cour cantonale d'avoir fait fi des témoignages précités. Le jugement attaqué relève que le courtier H._ a indiqué lors de son audition qu'il n'était pas en mesure d'attester de l'état de la villa du recourant après 2010, étant précisé que les travaux avaient commencé cinq ans plus tard, ce qui laissait suffisamment de temps pour que d'éventuelles fissures apparaissent. Ceci est parfaitement explicite. Le jugement cantonal évoque également le témoignage de l'entrepreneur G._ auquel il attribue une valeur probante affaiblie en raison du fait que ce témoin était intervenu en faveur du recourant. Son courrier du 29 janvier 2016 n'était pas non plus suffisant pour établir l'état de la villa avant travaux, ce témoin ayant travaillé pour le compte du recourant et de son épouse en 2015 et avant, ses interventions des 25 septembre et 7 décembre 2015 n'ayant pas eu pour objet la constatation de fissures et le courrier en question, vraisemblablement établi à la requête du recourant, remontant à plusieurs mois après sa première visite. L'on ne décèle nul arbitraire dans cette appréciation des preuves.
Quant aux constats d'huissier, la cour cantonale s'est également exprimée à leur propos. Elle a relevé qu'ils avaient été diligentés hors la présence de l'intimée, à l'initiative du recourant et de son épouse. Il s'agissait d'expertises privées qui ne constituaient pas un moyen de preuve au sens de l'<ref-law>, mais une pure allégation de partie à démontrer si elle était contestée par la partie adverse. S'agissant ensuite de leur contenu, le premier constat ne comportait aucune indication sur l'état de la villa avant le début des travaux ni sur la cause des fissures constatées; la méthodologie n'était pas indiquée et les constatations n'étaient pas illustrées à l'aide de photographies. Selon le second procès-verbal effectué à la fin des travaux, de nouvelles fissures seraient apparues depuis le 1er décembre 2015. Cela étant, il n'en ressortait pas que ces fissures auraient été causées par le chantier de l'intimée. L'auteur de ce procès-verbal n'indiquait pas avoir employé la même méthodologie que le précédent huissier et n'illustrait pas non plus ses constatations par des photographies. Partant, la comparaison entre les fissures constatées dans ces deux documents n'était pas possible avec une valeur probante suffisante; la cause de ces fissures ne pouvait non plus être déterminée. Là encore, c'est vainement que le recourant invoque l'arbitraire dans l'appréciation des preuves, les réflexions menées par les juges cantonaux n'étant pas critiquables sous cet angle.
4.2. Pour ce qui a trait à la clôture de sa villa, le recourant décoche un grief identique à l'adresse du considérant topique de l'arrêt cantonal. Il explique que cette clôture a été fabriquée en 2011 et était dès lors " toute neuve ". De surcroît, cette clôture aurait nécessairement été endommagée par les camions ayant circulé jusqu'au chantier, en raison de la hauteur des éraflures. Finalement, le voisin I._ aurait témoigné avoir également subi un dommage identique, preuve que l'origine en seraient les camions incriminés.
La cour cantonale a jugé que les photographies du recourant, datées à la main, ne permettaient pas de déterminer l'état de la clôture litigieuse avant le début du chantier. Rien ne démontrait dès lors qu'elle aurait été endommagée par l'intimée. Le seul fait que l'intimée ait utilisé le chemin d'accès privé durant les travaux ou accepté de procéder à la réfection de ce chemin ne permettait pas de conclure qu'elle serait responsable des dommages à la clôture. On pouvait au contraire tout aussi bien déduire de cette circonstance que l'intimée savait reconnaître sa responsabilité lorsque celle-ci était effectivement engagée, de sorte que sa contestation, s'agissant des dommages ici litigieux, n'apparaissait pas dépourvue de crédibilité. S'il ressortait du témoignage I._ que ce dernier avait effectivement constaté des dégâts sur sa propre parcelle, cet élément constituait tout au plus un indice, mais ne suffisait pas à démontrer que l'intimée avait également abîmé la barrière du recourant.
Cette appréciation des preuves échappe à tout grief d'arbitraire. Les éléments dans lesquels le recourant voit la preuve de l'origine des éraflures de sa clôture n'ont rien d'irréfutable, contrairement à ce qu'il prétend.
5.
Le recourant estime avoir subi un préjudice moral en raison des nuisances liées au chantier qu'il fonde sur l'<ref-law>, en particulier sur l'<ref-law>. La cour cantonale a toutefois considéré qu'il n'y avait pas d'immissions excessives au sens de l'<ref-law>. Il faut examiner point par point les nuisances qui sont en cause.
5.1. Fondée sur les relevés du sismographe, la cour cantonale a considéré que les vibrations engendrées par la démolition de la maison voisine étaient d'une intensité admissible pour une personne raisonnable.
Le recourant lui fait deux reproches. Premièrement, elle aurait dû constater que les vibrations " étaient plus importantes avant (la) période (du 7 au 17 décembre 2015) " c'est-à-dire avant qu'elles ne soient enregistrées par un sismographe. Il en veut pour preuves les photographies qu'il a produites en procédure, le témoin K._ lequel aurait confirmé que le sismographe avait été posé après " les gros travaux ", le témoin I._ qui aurait indiqué que " les engins conséquents " présents sur le chantier " faisai (ent) beaucoup de bruits et de vibrations que l'on pouvait ressentir dans le jardin " et le témoin J._ qui aurait affirmé avoir " (lui) -même ressenti des chocs " au point qu'il demande une réduction de loyer. N'en déplaise au recourant, ces éléments, à supposer avérés, sont aussi imprécis que subjectifs. Exprimé différemment, ils ne prouvent pas que les vibrations atteignaient un degré ou un autre à un moment ou sur une période donnée. Quant aux poches d'eau, le recourant ne prend pas la peine d'esquisser une quelconque théorie qui contredirait les explications données par l'ingénieur civil K._, lequel a nié tout lien de cause à effet entre les poches d'eau et une possible augmentation des ondes de choc. Il n'y a donc nul arbitraire qui se loge dans les constatations de la cour cantonale. Deuxièmement, le recourant relève que le seuil d'avertissement a été dépassé une fois entre le 7 et le 17 décembre 2015, et fait grief aux juges cantonaux d'avoir nonobstant estimé que les " secousses " n'avaient rien d'excessif. Cette considération ne prête toutefois pas flanc à la critique, précisément car ce seuil n'a été dépassé qu'à une seule reprise.
5.2. La cour cantonale a jugé que le noircissement des murs et des sols de la villa du recourant n'était pas démontré. Il y avait bien de la poussière dégagée par le chantier. Cela étant, elle n'avait rien d'excessif et rien ne permettait de retenir qu'elle ait contenu de l'amiante.
Le recourant s'estime également victime d'arbitraire à cet égard. C'est vainement toutefois qu'il prétend avoir démontré le noircissement des murs de sa villa: les témoins I._ et J._ ont certes constaté de la poussière chez eux, mais n'ont pas déclaré que les murs de leur villa ou de celle du recourant auraient noirci; par ailleurs, les photos auxquelles il se réfère n'apportent pas la preuve éclatante de ses assertions. Quant au positionnement de sa maison, qui serait située non seulement en face du chantier mais dans la ligne du vent principal dominant, il n'est pas établi. Le recourant en veut pour preuve les clichés pris par son épouse, mais ceux-ci sont inaptes à démontrer que " toutes les nuées de poussières de ciment noir qui s'échappent de la centrale de cimenterie convergent toujours à droite contre la façade, le mur, le sol et les pavés de (sa) maison ", comme il l'affirme. Quant à l'expertise qu'il avait demandée, le recourant explique les raisons pour lesquelles il y a finalement renoncé, mais cet argument ne lui est d'aucun secours.
Le recourant prétend également que les poussières dégagées par le chantier étaient toxiques car elles contenaient de l'amiante, ce que la cour cantonale aurait méconnu de manière arbitraire. Cela étant, ses allégations ne reposent sur aucune évidence et ne démontrent pas que le désamiantage, autorisé par la SUVA et entrepris sous la supervision de F._, auteur du rapport final du 23 novembre 2015, n'aurait pas été effectué selon la méthodologie de la fiche thématique 33031 établie par la SUVA, comme il devait l'être.
S'agissant enfin du grief relatif aux bâches de protection, l'on ne voit guère ce que le recourant entend en déduire, puisqu'il n'a pas été établi qu'il ait subi un excès de poussière provenant du chantier, respectivement qu'il ait souffert de poussières toxiques.
5.3. La cour cantonale a estimé que les angoisses et inquiétudes du recourant liées au chantier n'étaient pas fondées. Un être humain raisonnable et moyennement sensible n'aurait pas dû être atteint psychiquement sachant que les travaux de désamiantage avaient été effectués conformément aux règles en vigueur et que le recourant en avait été informé par divers courriers de la Municipalité.
Le recourant s'en prend à nouveau aux faits établis par la cour cantonale, en prétendant derechef que le désamiantage de la villa démolie ne s'est pas fait dans les normes et que la grue aurait été mal positionnée, d'où ses craintes qu'elle ne chute sur son épouse et lui. Il ne sera pas revenu sur l'argument tiré du désamiantage de la villa. S'agissant de la grue, la cour cantonale a constaté que le fait de la laisser en giration libre était une mesure de sécurité visant à empêcher qu'elle ne tombe, ce qui avait été porté à la connaissance du recourant. Là encore, il n'y a nul arbitraire dont il serait fondé à se plaindre.
5.4. S'agissant enfin de l'empêchement d'accéder au fonds du recourant, les juges cantonaux ont constaté que, s'il arrivait que le chemin d'accès commun soit bloqué et que la police intervienne, ce qui est arrivé une seule fois, les camions ne restaient de manière générale qu'un quart d'heure et étaient enlevés. La sortie de la maison n'était donc pas bloquée des heures durant, comme le recourant le prétendait.
Le recourant s'inscrit en faux contre ces constatations de fait, sans pouvoir démontrer leur caractère manifestement inexact.
Ces considérations sonnent le glas des prétentions que le recourant fonde sur les <ref-law>.
6.
La plupart des autres frais auxquels prétend le recourant - hormis les frais de procédure et ceux de justice - sont liés au constat de dommages qui ne sont pas avérés et de nuisances qui, pour autant qu'elles existent, ne sont pas excessives de sorte qu'ils en partagent le sort. S'agissant plus spécifiquement des frais relatifs à la séance diligentée par le recourant pour obtenir un devis relatif à la réfection du chemin d'accès (324 fr.), la cour cantonale a constaté que ce chemin avait été intégralement refait à la fin des travaux et que le recourant avait fait établir un devis alors même que ces travaux étaient encore en cours. Le lien de causalité avait dès lors été rompu par ce comportement, ce que le recourant ne discutait pas. Dans son recours, ce dernier tient cette motivation pour erronée, affirmant qu'il " a (vait) fait établir un devis pour la réfection du chemin, avant que l'intimée n'accepte de procéder à la réfection ". Il ne démontre toutefois pas l'inanité de la constatation de fait sur laquelle la cour cantonale a bâti ses considérations.
7.
Partant, le recours ne peut qu'être rejeté, aux frais de son auteur. Il n'est pas dû de dépens en faveur de son adverse partie, qui n'a pas été invitée à se déterminer.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais de procédure fixés à 2'500 fr. sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour d'appel civile.
Lausanne, le 4 janvier 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La juge présidant : Kiss
La greffière : Raetz