Faits : A. Par jugement du 23 mai 2019, le Tribunal de police de l'arrondissement de La Côte a condamné A._, pour diffamation, à une peine pécuniaire de 20 jours-amende à 60 fr. le jour, avec sursis pendant 2 ans et à une amende de 300 fr., la peine privative de liberté de substitution étant de 3 jours. Il a par ailleurs ordonné la publication du dispositif du jugement au pilier public de la commune de C._ et alloué à B._ la somme de 500 fr. à titre de dommages et intérêts, à la charge de A._. B. Statuant le 29 octobre 2019, la Cour d'appel pénale du Tribunal cantonal vaudois a partiellement admis l'appel formé par A._ contre ce jugement, qu'elle a réformé en ce sens qu'elle a renoncé à ordonner la publication du jugement et réduit à 334 fr. 60 le montant dû à B._ à titre de dommages et intérêts. Les faits à l'origine de cette condamnation sont en substance les suivants. A C._, à l'issue de la séance du conseil général du mois d'octobre 2017, alors qu'il était sur le point de quitter la salle, A._ a tenu des propos laissant entendre que B._ s'était rendue coupable de travail au noir, son mari ayant effectué des travaux de terrassement pour le compte du syndic et de son épouse lors de samedis. Par courrier du 24 novembre 2017 adressé à la Préfète du district de Morges, avec copie à la Présidente du Conseil d'Etat vaudois, A._ a répété les mêmes accusations indiquant: " j'ai eu tort d'accepter de me rétracter concernant l'accusation de travail au noir. Je regrette de vous avoir fait confiance. Comment dois-je appeler le fait que le mari d'une municipale qui travaille en qualité d'employé d'une entreprise de construction la semaine, effectue des travaux de terrassement sur plusieurs samedis dans la propriété de Monsieur le Syndic et produit une facture au nom d'une entreprise qui importe des cuisines? ". B._ a déposé plainte le 16 décembre 2017. C. A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement de la cour d'appel pénale. Il conclut, avec suite de frais et dépens, à la réforme de l'arrêt attaqué en ce sens qu'il est libéré du chef d'accusation de diffamation et que les prétentions civiles et en indemnisation de l'intimée sont rejetées.