Faits :
A.
A._ a travaillé dès 1992 au service de la commune de V._ en qualité d'employé auxiliaire. En 1997, il a été affecté au service de la voirie. Il a été nommé fonctionnaire le 1 er janvier 2004. Dès le 1 er février 2005, A._ a travaillé comme concierge du centre scolaire et sportif de V._, reprenant le poste de l'ancien concierge, lequel a été affecté au service de la voirie. A la même date, les époux ont également repris le bail de l'appartement occupé par le précédent concierge au sein du centre scolaire.
En raison de diverses plaintes concernant le comportement de A._, la commune de V._, après s'est entretenue à ce sujet avec l'intéressé, l'a rappelé à l'ordre sur plusieurs points et lui a adressé un avertissement par courrier du 17 février 2010. Le 10 mai suivant, elle a prononcé un blâme à l'encontre de A._, à la suite d'une plainte relative à son comportement (état d'ébriété) à l'occasion d'une soirée en mars 2010. Elle a en outre rappelé qu'en cas de récidive, elle se verrait dans l'obligation de rompre les rapports de service.
A la suite d'une fusion de communes, A._ s'est vu confirmé son engagement comme concierge au sein de la commune de U._ avec effet au 1 er janvier 2012.
Le 14 novembre 2012, B._, directeur de l'établissement scolaire primaire et secondaire de U._ - V._, s'est plaint à la municipalité de U._ du comportement de A._, en particulier de ses sautes d'humeur à l'égard des élèves et des enseignants.
Par lettre du 28 mars 2013, la commune de U._ a décidé de licencier A._ pour le 30 juin 2013. Elle lui reprochait un comportement inadéquat envers la population et le corps enseignant en dépit de nombreux avertissements. En outre, elle a indiqué que son travail en général ne donnait pas entière satisfaction, en particulier en ce qui concernait sa qualité et son exécution. A._ ayant recouru contre cette décision en invoquant une violation de son droit d'être entendu, la commune l'a annulée le 21 juin 2013. Elle a simultanément convoqué l'intéressé à une séance le 3 juillet 2013 afin de lui permettre de s'exprimer sur les faits reprochés.
Le 19 juillet 2013, la commune de U._ a licencié A._ avec effet au 31 octobre 2013. A l'appui de sa décision, elle a retenu des problèmes d'alcool, un manque de respect à l'égard de la hiérarchie, de l'insubordination et le non-respect des directives. Elle a également relevé avoir reçu des plaintes de représentants du corps enseignant et de responsables de sociétés locales au sujet du comportement souvent agressif, peu collaborant et vindicatif de A._. Par cette même décision, la municipalité a également résilié pour le 31 octobre 2013 le bail relatif à l'appartement occupé par la famille de A._.
B.
A._ a recouru contre cette décision auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, en concluant à son annulation.
La cour cantonale a tenu une audience le 3 mars 2014 au cours de laquelle plusieurs témoins ont été entendus.
Par arrêt du 15 juillet 2014, la juridiction cantonale a rejeté le recours et confirmé la décision attaquée. Elle a toutefois reporté au 30 novembre 2014 la date de la fin de l'usage de l'appartement de fonction, compte tenu de l'effet suspensif accordé à la procédure.
C.
A._ interjette un recours en matière de droit public dans lequel il conclut à l'annulation du jugement attaqué et de la décision de la municipalité du 19 juillet 2013. Il requiert également l'octroi de l'effet suspensif. La municipalité de U._ conclut au rejet du recours et de la requête d'effet suspensif.
D.
Par ordonnance du 18 novembre 2014, le juge instructeur a attribué l'effet suspensif au recours en ce sens que les effets du contrat de bail à loyer entre les parties étaient maintenus pendant la durée de la procédure de recours devant le Tribunal fédéral.

Considérant en droit :
1.
Le jugement entrepris a été rendu en matière de rapports de travail de droit public au sens de l'art. 83 let. g LTF. Dans la mesure où elle porte sur l'annulation d'une décision de résiliation des rapports de travail, la contestation est de nature pécuniaire, de sorte que le motif d'exclusion de l'art. 83 let. g LTF n'entre pas en considération (voir par exemple les arrêts 8C_82/2013 du 3 décembre 2013 consid. 1 et 8C_182/2013 du 7 novembre 2013 consid. 1). La valeur litigieuse, qui porte sur plusieurs mois de salaire, atteint par ailleurs le seuil requis de 15'000 fr. (art. 51 al. 2 et 85 al. 1 let. b LTF). La voie du recours en matière de droit public selon les <ref-law> est donc ouverte pour contester la décision attaquée.
2.
2.1. Le Tribunal fédéral fonde son raisonnement juridique sur les faits constatés par l'autorité précédente (<ref-law>), à moins que ces faits n'aient été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire (<ref-ruling> consid. 7.1 p. 51) - ou en violation du droit (<ref-law>). Le recourant qui entend s'écarter des constatations de fait de l'autorité précédente (cf. <ref-law>) doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 5.1 p. 356).
2.2. Le Tribunal fédéral examine librement la violation du droit fédéral (cf. art. 95 let. a et 106 al. 1 LTF). Cependant, il ne connaît de la violation de droits fondamentaux que si un tel grief a été invoqué et motivé par le recourant, selon le principe d'allégation (<ref-law>; <ref-ruling> consid. 3.3 p. 310 s.; <ref-ruling> consid. 3.2 p. 88). En revanche, sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c, d et e LTF), l'on ne peut invoquer la violation du droit cantonal ou communal en tant que tel devant le Tribunal fédéral (<ref-law> e contrario). Il est néanmoins possible de faire valoir que son application consacre une violation du droit fédéral, comme la protection contre l'arbitraire (art. 9 Cst.) ou la garantie d'autres droits constitutionnels. Le Tribunal fédéral n'examine alors de tels moyens que s'ils sont formulés conformément aux exigences de motivation qualifiée prévues à l'<ref-law> (<ref-ruling> consid. 2.5 p. 314; arrêt 2C_668/2013 du 19 juin 2014 consid. 2.1).
3.
3.1. En qualité de fonctionnaire de la commune de V._, le recourant était soumis au Statut du personnel communal de cette commune. Après la fusion des anciennes communes qui forment désormais la commune de U._, celle-ci a adopté un règlement concernant le personnel communal, entré en vigueur le 1 er janvier 2014. Dès lors que son licenciement a été prononcé en 2013, il convient d'appliquer l'ancien Statut du personnel de la commune de V._ au recourant, comme l'ont fait les premiers juges.
Selon l'art. 14 par. 2 du Statut, repris à l'art. 19 par. 1 du Statut, la Municipalité peut en tout temps licencier un fonctionnaire pour de justes motifs, en l'avisant trois mois à l'avance au moins, si la nature des motifs ou de la fonction n'exige pas un renvoi immédiat. D'après l'art. 19 par. 2, constituent de justes motifs l'incapacité ou l'insuffisance constatée, l'invalidité et, de façon générale, toutes circonstances qui rendent le maintien en fonction préjudiciable à la bonne marche ou à la bonne réputation de l'administration communale ou de l'un de ses secteurs.
4.
Examinant un à un les reproches de l'autorité intimée à l'encontre du recourant, la juridiction cantonale a retenu ce qui suit:
Rien n'indiquait que le recourant consommait de l'alcool en quantité excessive pendant son activité professionnelle. En outre, l'intimée ne démontrait pas que le recourant avait encore récemment adopté une attitude inappropriée en public, de nature à porter atteinte à l'image de la commune, de sorte que ses habitudes en matière de consommation d'alcool ne permettaient pas de retenir l'existence d'un juste motif de licenciement. Les problèmes de disponibilité du recourant évoqués n'atteignaient pas un degré de gravité suffisant pour justifier son licenciement. Quant à la qualité de son travail, elle n'était pas remise en cause par l'autorité intimée. Il n'y avait pas non plus lieu de retenir que le recourant ne disposait pas des ressources physiques nécessaires pour effectuer son travail. En ce qui concerne le comportement du recourant à l'égard des usagers du collège, de ses collègues et de ses supérieurs hiérarchiques, les pièces du dossier montraient que le recourant jouissait d'une assez bonne réputation auprès des usagers des infrastructures scolaires.
Cela étant, il ressortait de plusieurs témoignages que le recourant adoptait parfois un comportement inadéquat sur son lieu de travail. Il ne supportait pas les reproches, ce qui l'amenait à se mettre en colère. Son supérieur C._ avait reçu plusieurs fois l'ordre du recourant de prendre la porte, ce qu'avait confirmé D._, témoin de la scène qui s'était déroulée alors qu'il travaillait avec le recourant en 2013. En raison de l'agressivité du recourant, C._ avait dit avoir eu peur pour son intégrité.
La juridiction cantonale s'est également référée au témoignage de E._, ancien supérieur hiérarchique, selon lequel le recourant ne parvenait que difficilement à appliquer les consignes et n'acceptait pas d'avoir un chef. Bien que la question du respect de la hiérarchie eût été abordée, E._ n'avait constaté aucun changement. Ainsi, contrairement à ce qu'affirmait le recourant, sa capacité à respecter les ordres de son supérieur ne s'était pas améliorée entre l'avertissement de 2010 et la fusion de commune. Le nouveau chef du recourant, C._, ne parvenait que très rarement à faire appliquer de nouvelles directives et à faire respecter les consignes ainsi qu'un planning de travail. En définitive, la juridiction cantonale a constaté que le recourant effectuait son travail comme il l'entendait, sans se soucier des directives de sa hiérarchie. Ces éléments démontraient qu'il ne parvenait pas à travailler sous les ordres d'un supérieur. Le recourant n'était en outre pas apte à effectuer un travail d'équipe.
Les premiers juges ont considéré que si chacune des difficultés rencontrées par les supérieurs hiérarchiques du recourant, prises isolément, ne constituait pas, en tant que telle, un juste motif de licenciement, leur accumulation dans le temps et le défaut d'amendement du recourant suite aux remarques qui lui avaient été adressées, ne permettait plus d'envisager la poursuite des rapports de travail.
5.
5.1.
5.1.1. Par un premier moyen, le recourant invoque une constatation arbitraire des faits par la juridiction cantonale. En particulier, il lui reproche d'avoir omis de prendre en considération certains éléments dans l'établissement des faits, à savoir l'insistance avec laquelle la commune prétendait à l'existence de problèmes d'alcool et de permis de conduire, l'exigence que le recourant cesse son activité à la fin du mois de juin 2013 ainsi que la convocation par la commune de son médecin traitant pour discuter de son état de santé. Selon le recourant, les premiers juges auraient dû constater qu'une telle attitude de la part de la municipalité témoignait d'un harcèlement, lequel était susceptible d'expliquer son comportement à l'égard de ses supérieurs hiérarchiques. En outre, le recourant s'élève contre le fait que les premiers juges n'ont pas relevé l'incohérence entre les motifs de la résiliation de ses rapports de travail prononcée le 28 mars 2013 et ceux invoqués à l'appui de la résiliation du 19 juillet 2013.
5.1.2. En l'espèce, en se décrivant victime de harcèlement par la municipalité, le recourant s'écarte des constatations de l'autorité cantonale et présente sa propre version des faits, sans indiquer en quoi ceux retenus par le Tribunal cantonal seraient manifestement inexacts ou incomplets. On rappellera que les faits établis par la juridiction cantonale se fondent sur de nombreux témoignages qui ne sont pas remis en cause par le recourant. En ce qui concerne les motifs de résiliation des rapports de travail, il y a lieu de constater que la décision du 28 mars 2013 mentionnait déjà des problèmes de comportement de la part du recourant, notamment à l'égard des enseignants. Au surplus, le recourant ne démontre pas en quoi la prétendue incohérence qu'il invoque aurait une influence sur l'issue du litige.
Le grief soulevé ici n'est dès lors pas fondé.
5.2. Par un deuxième moyen, le recourant invoque une application arbitraire du droit cantonal (art. 14 et 19 du Statut du personnel communal) par la juridiction précédente.
Selon la jurisprudence, les justes motifs de renvoi des fonctionnaires ou d'employés de l'Etat peuvent procéder de toutes circonstances qui, selon les règles de la bonne foi, excluent la poursuite des rapports de service, même en l'absence de faute. De toute nature, ils peuvent relever d'événements ou de circonstances que l'intéressé ne pouvait éviter, ou au contraire d'activités, de comportements ou de situations qui lui sont imputables (arrêt 8C_70/2010 du 20 décembre 2010, consid. 2.2 non publié aux <ref-ruling>, avec les références: arrêts 8C_170/2009 du 25 août 2009, résumé au JdT 2010 I 101, consid. 4.2.1; 1C_142/2007 du 13 septembre 2007 consid. 6.3; 2P.149/2006 du 9 octobre 2006 consid. 6.2).
Les faits reprochés (insubordination, non-respect des directives et de la hiérarchie, absence totale d'amendement) constituent des manquements qui ne sont pas dépourvus de gravité. Les premiers juges n'ont pas fait une application arbitraire des dispositions précitées du Statut en retenant l'existence de justes motifs de résiliation.
5.3. Par un troisième moyen, invoquant une application arbitraire de l'art. 92 al. 1 de la loi cantonale sur la procédure administrative du 28 octobre 2008 (LPA-VD; RSV 173.36) et des art. 1 et 2 de la loi cantonale sur la juridiction en matière de bail (LJB; RSV 173.655), le recourant soutient que la Cour de droit administratif et public du Tribunal cantonal était incompétente pour statuer sur la validité de la résiliation du contrat de bail car celle-ci relevait de la compétence exclusive du Tribunal des baux. Il fait également grief à la juridiction cantonale d'avoir violé le droit fédéral en retenant que ses rapports de travail et son contrat de bail ne pouvaient être dissociés, de sorte que l'extinction du contrat de bail obéissait aux règles applicables à la fin des rapports de service.
5.3.1. Selon les principes généraux, les cocontractants peuvent convenir de lier entre eux deux contrats en soi distincts, de manière telle que l'extinction de l'un entraîne celle de l'autre, aucun des rapports juridiques ne pouvant persister indépendamment de l'autre; on parle alors de contrats connexes ou couplés (<ref-ruling> consid. 2.4.1 p. 70 et les auteurs cités).
Il ressort des constatations cantonales que l'activité de concierge au centre scolaire et sportif de la municipalité de V._ supposait la mise à disposition d'un logement au sein même de cet établissement afin de gérer notamment la mise à disposition des salles. Le recourant objecte cependant que les rapports de travail et le contrat de bail ne font pas expressément référence l'un à l'autre; plus particulièrement, il relève que le contrat de travail ne mentionne pas l'existence d'un logement de fonction.
Même en l'absence de clauses exprimant une interdépendance entre ces deux rapports juridiques, le fait que le recourant a repris le bail de l'appartement de l'ancien concierge au moment où il a remplacé ce dernier dans sa fonction, révèle la volonté des parties de créer une dépendance réciproque entre la mise à disposition du logement de fonction et la fourniture d'un travail rémunéré et, partant, de soumettre à un sort commun la naissance et l'extinction des obligations résultant de documents distincts (cf. Luc Thévenoz/Jacques de Werra, in Commentaire romand, Code des obligations I, 2e éd., 2012, n° 14 ad Introduction art. 184-529 CO). La mise à disposition d'un logement de fonction à un concierge au service d'un établissement public correspond du reste à une pratique courante. Par ailleurs, le salaire du recourant était plus élevé que le montant du loyer. Par conséquent, le droit du recourant de faire usage de l'appartement de service s'éteignait automatiquement avec la fin du rapport de travail. Par courrier du 19 juillet 2013, l'intimée a valablement résilié les rapports de service pour le 31 octobre 2013. Le contrat de bail portant sur l'appartement de service s'éteignait donc ipso facto au même terme sans que la municipalité ait besoin de le préciser, comme elle l'a fait dans le courrier précité par souci de clarté (cf. arrêt 4A_102/2013 du 17 octobre 2013 consid. 2.2 et les références citées; Jean-Philippe Dunand, in Commentaire du contrat de travail, 2013, n° 74 ad <ref-law>).
5.3.2. Le recourant conteste encore l'existence de contrats connexes ou couplés au motif que sa femme serait colocataire de l'appartement. N'étant par ailleurs pas employée par la municipalité, l'extinction automatique du bail avec la fin des rapports de travail de son mari ne saurait par conséquent lui être opposable. Le fait que l'épouse du recourant a également signé (ou contresigné) le contrat de bail, qu'elle soit colocataire ou non, ne change toutefois rien à la situation du cas d'espèce. En effet, en sa qualité de conjoint du recourant partageant le même logement, elle disposait en vertu de la loi des droits appartenant à un locataire en cas de congé, conformément à l'<ref-law> (cf. Pierre Tercier/Pascal G. Favre, Les contrats spéciaux, 4e éd., 2009, n° 2030). Toutefois, en présence de contrats interdépendants ou couplés, les dispositions sur l'extinction du contrat de bail ainsi que celles sur la protection du locataire contre les congés ne s'appliquent pas (cf. Pierre Tercier/Pascal G. Favre, op. cit., n° 1988).
5.3.3. Dès l'instant où le droit du recourant de faire usage de l'appartement de service s'éteignait automatiquement avec la fin des rapports de travail, tout litige à ce sujet dépendait de l'application des règles sur cette relation. La Cour cantonale, qui s'est déclarée compétente ratione materiae pour connaître du présent litige, n'a dès lors pas appliqué arbitrairement l'art. 92 al. 1 LPA-VD, selon lequel le Tribunal cantonal connaît des recours contre les décisions et décisions sur recours rendues par les autorités administratives, lorsque la loi ne prévoit aucune autre autorité pour en connaître.
5.3.4. Dans sa décision de licenciement du 19 juillet 2013, la commune de U._ a indiqué qu'elle se tenait à disposition pour aider le recourant dans la recherche d'un autre logement pour lui et sa famille. On peut dès lors partir du principe qu'elle lui accordera un délai raisonnable pour se reloger. Dans ces conditions, il n'est pas nécessaire, comme l'ont fait les premiers juges, de fixer un nouveau délai au recourant pour quitter son appartement de fonction.
6.
Mal fondé, le recours doit en tous points être rejeté. Les frais judiciaires sont mis à la charge du recourant qui succombe (<ref-law>). Bien qu'elle obtienne gain de cause, l'intimée n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lucerne, le 4 février 2015
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Présidente : Leuzinger
La Greffière : Fretz Perrin