Faits : A. A._ a été engagé par la Commune B._, dès le 1 er février 1990, en qualité d'employé qualifié au service de la voirie. Il a été nommé à titre définitif à ce poste avec effet au 1 er février 1991. Le 21 octobre 2010, les parties ont signé un contrat de droit administratif. Il était précisé que les rapports de travail étaient soumis au règlement du personnel de la Commune B._ ainsi qu'aux art. 319 à 343 du CO. Par lettre du 29 avril 2009, A._ a fait l'objet d'un avertissement, faisant suite à un entretien qu'il avait eu avec C._, chef des services techniques, en présence d'une délégation de la Municipalité. Cette lettre faisait état de l'attitude contestataire et de propos irrévérencieux tenus le 9 avril 2009 par A._ à l'égard de son chef. Le 22 février 2012, A._ a été convoqué pour un entretien prévu le 24 février 2012. A l'issue de ce dernier, la Municipalité lui a remis une lettre au contenu suivant: " Vu l'avertissement du 29 avril 2009 et l'entrevue de janvier 2011 en présence d'une délégation de la Municipalité concernant des problèmes relationnels avec des collaborateurs communaux, vu les nombreuses remarques et remises à l'ordre qui vous ont été adressées sur votre attitude et enfin suite à vos récents propos envers une collaboratrice du service des jardins, la Municipalité, de concert avec vos supérieurs hiérarchiques directs, a pris la décision de mettre un terme à nos rapports de travail dans les délais légaux, soit au 31 mai 2012. Si nous ne contestons pas vos compétences professionnelles, nous ne pouvons plus envisager de poursuivre notre collaboration dans un climat de travail nuisible à un bon esprit d'équipe ". B. Le 18 février 2013, A._ a déposé une demande devant le Tribunal civil d'arrondissement de D._, tendant à condamner la Commune B._ à lui verser la somme de 53'823 fr. et à lui délivrer un certificat de travail conforme à l'art. 330a al. 1 CO. Le 23 avril 2013, la Commune B._ a établi un second certificat de travail à l'intention de A._. Celui-ci mentionne nouvellement que l'employé s'est acquitté des tâches qui lui avaient été confiées "avec soin et professionnalisme". Après avoir entendu A._ et deux témoins, le Tribunal civil d'arrondissement a rejeté les conclusions de la demande, par jugement du 26 novembre 2013. C. Par acte du 12 mai 2014, A._ a fait appel de ce jugement devant la Cour d'appel civile du Tribunal cantonal du canton de Vaud, laquelle l'a rejeté par arrêt du 26 janvier 2015. D. A._ interjette un recours en matière de droit public contre ce jugement dont il demande, sous suite de frais et dépens, la réforme en ce sens que la Commune B._ est condamnée à lui verser la somme de 53'823 fr. à titre d'indemnité pour licenciement abusif et à lui délivrer un certificat de travail conforme à l'art. 330a al. 1 CO. Subsidiairement, il conclut au renvoi de la cause à la Cour d'appel civile pour nouvelle décision dans le sens des considérants. La Commune B._ conclut au rejet du recours.