Faits:
A. L'ancienne école réaffectée, à la rue ..., à Z._, abrite deux salles communales, une grande et une petite, ainsi que trois appartements. Les salles communales sont mises à la disposition des administrés afin de permettre les répétitions d'un choeur à l'année ainsi que l'organisation de manifestations diverses. La petite salle communale sert de loge aux artistes qui se produisent dans la grande salle. X._ occupe depuis 1987 l'appartement de quatre pièces attenant à la petite salle et situé juste au-dessus de la grande salle communale, sans étage intermédiaire.
Le 11 décembre 2001, X._ a conclu avec la Commune Y._ un contrat de bail à loyer portant sur l'objet précité pour un loyer mensuel net de 820 francs. Une clause spéciale, intitulée "dispositions complémentaires", a été convenue. Cette clause mentionne notamment que: "Le locataire déclare avoir pris connaissance du contexte local et accepter les désagréments pouvant être causés par les locaux communautaires. Le loyer tient compte de ces inconvénients. Il ne pourra en aucun cas se retourner contre la Commune".
X._ a presque toujours été informé des autorisations délivrées par la commune aux utilisateurs de la grande salle, avec mention de la nature de l'activité déployée, des heures d'arrêt de la musique et de fermeture de la salle.
En cours de bail, le locataire s'est plaint d'un usage accru des locaux. Les réclamations se rapportaient pour l'essentiel au bruit causé par des fêtes de jeunes et par la sonorisation de leur musique. Ainsi, dans un courriel du 3 juillet 2003, le locataire écrivait, en référence à la "boum pour ados" qui aura lieu au Collège de Z._, que: "la présence des appartements est incompatible avec ce type d'activité dans la grande salle". Il a précisé ensuite, dans une lettre du 21 juillet 2003, que l'incompatibilité concernait "la présence d'une sonorisation de discothèque, sans limite de décibels ni de temps". Le 15 octobre 2008, il mentionnait, dans une lettre adressée à un administré désireux de louer la salle, que les appartements sont inutilisables lorsqu'une sono est installée dans la salle, en raison notamment de l'isolation phonique dérisoire et insuffisante. A la suite de cette intervention, des personnes intéressées à la location de la salle ont annulé leur réservation.
Le 17 février 2009, le bail à loyer a été résilié par la commune pour la prochaine échéance, soit le 31 décembre 2009.
B. Saisie par le locataire d'une requête en annulation du congé, la Commission de conciliation en matière de baux à loyer, après avoir échoué à concilier les parties, a déclaré valable la résiliation du bail et prolongé celui-ci d'un an.
Le 9 juin 2009, la bailleresse a ouvert action devant le Tribunal des baux du canton de Vaud, concluant à ce qu'aucune prolongation de bail ne soit accordée. Le locataire a, pour sa part, conclu à l'annulation de la résiliation du bail, subsidiairement à la prolongation de celui-ci pour quatre ans, en affirmant que la résiliation était un congé de représailles et qu'elle contrevenait aux règles de la bonne foi.
Le 19 octobre 2009, le Tribunal des baux a jugé que la résiliation litigieuse était valable et a accordé une seule et unique prolongation du bail jusqu'au 31 décembre 2010.
Saisie par le locataire, la Chambre des recours du Tribunal cantonal vaudois a, par arrêt du 2 juin 2010, partiellement admis le recours et réformé le chiffre II du dispositif du jugement entrepris, en accordant une seule et unique prolongation du bail au 31 décembre 2011. Le jugement a été confirmé pour le surplus.
C. Le locataire exerce un recours en matière civile au Tribunal fédéral contre l'arrêt cantonal, en invoquant l'arbitraire dans la constatation des faits, ainsi qu'une violation des dispositions fédérales en matière de preuve et des art. 271, 271a al. 1 let. a CO et 272 CO. Il requiert l'annulation du congé signifié le 17 février 2009 pour le 31 décembre 2009 et, subsidiairement, la prolongation du bail jusqu'au 31 décembre 2013. Plus subsidiairement, il demande l'annulation de l'arrêt et le renvoi de la cause à l'autorité cantonale pour nouveau jugement.
La bailleresse conclut au rejet du recours avec suite de frais et dépens.

Considérant en droit:
1. 1.1 Lorsque - comme c'est le cas en l'espèce - un locataire conteste la validité du congé qu'il a reçu, la valeur litigieuse déterminante ne saurait être inférieure aux trois ans pendant lesquels, selon l'art. 271 al. 1 let. e CO, il est protégé contre une nouvelle résiliation dans l'hypothèse où il obtiendrait gain de cause (<ref-ruling> consid. 1.1 p. 197; <ref-ruling> consid. 1 p. 386). Le loyer mensuel étant de 820 fr., la valeur litigieuse minimum de 15'000 fr., requise en matière de droit du bail par l'<ref-law>, est ici atteinte.
Interjeté par le locataire qui a pris part à l'instance précédente et succombé partiellement dans ses conclusions (<ref-law>) et dirigé contre un jugement final (<ref-law>) rendu en matière civile (<ref-law>) par une autorité cantonale de dernière instance (<ref-law>), le recours est en principe recevable, puisqu'il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi.
1.2 Le recours en matière civile peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours, ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (<ref-ruling> consid. 1.4 p. 400). Compte tenu de l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui (<ref-ruling> consid. 1.4 p. 400).
1.3 Le Tribunal fédéral conduit son raisonnement juridique sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si les faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire: <ref-ruling> consid. 2.4 p. 314; <ref-ruling> consid. 1.5 p. 130, 397 consid. 1.5 p. 401; <ref-ruling> consid. 8.1 p. 153 - ou en violation du droit au sens de l'<ref-law> (<ref-law>).
La partie recourante qui entend s'écarter des constatations de l'autorité précédente doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'<ref-law> seraient réalisées, faute de quoi il n'est pas possible de tenir compte d'un état de fait qui diverge de celui contenu dans la décision attaquée (<ref-ruling> consid. 1.2 p. 187; <ref-ruling> consid. 1.4 et 6.2). Une rectification de l'état de fait ne peut être demandée que si elle est de nature à influer sur le sort de la cause (<ref-law>). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (<ref-law>).
1.4 Le Tribunal fédéral ne peut aller au-delà des conclusions des parties (<ref-law>). Toute conclusion nouvelle est irrecevable (<ref-law>).
2. Le recourant discute un certain nombre de faits pour tenter de démontrer que l'usage de l'appartement loué n'est pas entièrement incompatible avec l'usage des locaux communaux. Comme on va le voir, la critique est vaine.
3. Les magistrats cantonaux ont confirmé la validité du congé signifié au locataire par la bailleresse. Ils ont relevé que si le locataire ne peut être tenu de supporter des nuisances qui s'accroissent au fil du temps, le bailleur ne peut être contraint de continuer à réserver un bien à deux usages qui sont devenus incompatibles entre eux; le bailleur ne saurait être lié pour l'avenir, sans limite de temps, par un bail dont l'exercice n'est plus compatible avec l'usage d'une partie des locaux, ce qui constitue un motif objectif de résiliation.
Le contrat de bail à loyer liant les parties a été résilié par la bailleresse pour le prochain terme contractuel. Il s'agit d'un congé ordinaire pour l'échéance.
En principe, chacune des parties est libre de résilier le bail pour l'échéance. La seule limite est le respect de la bonne foi (art. 271 et 271a CO). Il n'est donc pas nécessaire, pour que le bailleur puisse donner un congé ordinaire, qu'il soit en situation d'invoquer un juste motif, une violation du contrat ou une utilisation non conforme à l'usage convenu de la part du locataire. Il n'y a d'ailleurs pas d'attitude contradictoire de la part d'un propriétaire qui décide, après un certain nombre d'années, d'apporter des changements à l'usage de ses locaux (<ref-ruling> consid. 3 p. 193; arrêt 4A_631/2010 du 4 février 2011 consid. 2.6).
En l'espèce, la Commune Y._, qui est propriétaire du bâtiment et bailleresse, a décidé de développer les activités sociales dans ses deux salles communales. Ce choix ne procède en rien d'un abus de droit. Dès la conclusion du contrat, le locataire a été avisé, par la clause spéciale, que le logement comportait un défaut, à savoir les nuisances causées par les deux salles communales; il était tenu compte de ce défaut par une réduction du loyer. Le locataire devait déduire de cette clause - qu'il a dûment acceptée - que la commune donnait la priorité à l'utilisation des salles communales et que les habitants de logements devaient s'en accommoder. Il est possible - bien que cela ne soit pas clairement constaté - que les nuisances aient augmenté avec le temps. Il en est résulté diverses réclamations, parfois virulentes, du locataire.
La commune a donc constaté qu'elle était en présence d'un choix. Quelle que soit la clause particulière convenue, elle ne peut imposer au locataire d'une habitation de subir des nuisances interdites par la législation. Elle ne peut non plus empêcher le locataire d'utiliser la chose louée conformément à sa destination (<ref-law>). Tant que dure le bail, elle doit interdire ces activités excessivement bruyantes, même si elle souhaiterait que celles-ci aient lieu. En revanche, elle n'est liée par le bail que jusqu'à son échéance et il lui était loisible de le résilier pour développer librement les activités qu'elle entend permettre dans les salles communales. Qu'une commune préfère donner la priorité à des activités sociales dans ses salles communales plutôt qu'à des logements situés au-dessus relève de sa liberté de décision. Dès la conclusion du contrat, la commune avait montré, par la clause particulière, qu'elle donnait la priorité à l'usage des salles communales. On ne saurait lui reprocher une attitude contradictoire. On peut comprendre qu'une commune souhaite mettre des salles à disposition des groupes locaux et fournir aux jeunes un lieu où ils peuvent jouer ou entendre de la musique, même bruyante. Il s'agit là d'un choix de politique socio-culturelle qui répond à un intérêt légitime. On ne discerne pas un objectif absurde ou relevant d'une disproportion manifeste des intérêts (<ref-law>).
Les réclamations du recourant - d'autant plus si elles sont fondées - empêchent la commune d'utiliser ses salles communales à son gré. Le fait que la réservation de la salle ait été annulée à la suite de protestations du recourant le confirme.
On se trouve donc en présence de deux activités incompatibles avec une telle proximité, à savoir une habitation à l'étage et une grande salle de loisirs immédiatement au-dessous. Face à une telle incompatibilité, la commune a fait son choix.
Le locataire, dont les droits sont limités par la durée du bail, ne saurait empêcher éternellement le propriétaire de faire l'usage qu'il veut des autres salles de son immeuble. A terme, il appartient au propriétaire de décider de l'usage de son bien immobilier. Dans la mesure où son choix ne contrevient pas aux règles de la bonne foi, le congé donné au locataire de l'habitation ne peut pas être annulé (<ref-law>).
Il ne s'agit pas non plus d'un congé-représailles au sens de l'<ref-law>, parce que la bailleresse - ainsi que cela ressort de l'état de fait - n'entend pas en l'espèce se venger de l'attitude du locataire, mais permettre, après l'échéance, le libre développement des activités sociales dans les salles communales.
La question n'est donc pas de savoir si la coexistence des salles communales et des habitations serait possible à la condition que la commune renonce à certaines activités - comme le prétend le recourant. Simplement, la commune n'est tenue par les exigences découlant du bail que jusqu'à l'échéance de celui-ci et elle peut choisir de résilier le bail pour l'échéance afin de poursuivre les activités (en soi licites) qu'elle entend favoriser.
Le congé est ainsi valable.
L'intérêt du locataire ne peut être pris en compte que dans le cadre de la prolongation du bail. La cour cantonale a correctement pris en considération les intérêts des deux parties. La durée de la prolongation est une question d'appréciation. La durée maximum étant de quatre ans (<ref-law>), on ne peut pas dire que la cour cantonale ait abusé de son pouvoir d'appréciation, la décision attaquée conduisant à accorder en pratique, à compter de la réception du congé, une prolongation de presque trois ans.
Cela étant, le recours ne peut être que rejeté, sans qu'il n'y ait lieu d'examiner le grief dénonçant une violation des dispositions fédérales en matière de preuves.
4. La partie qui succombe doit acquitter les frais judiciaires et les dépens (art. 66 al. 1 et 68 al. 1 et 2 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3. Le recourant versera à l'intimée une indemnité de 2'500 fr. à titre de dépens.
4. Le présent arrêt est communiqué aux parties et à la Chambre des recours du Tribunal cantonal du canton de Vaud.
Lausanne, le 24 février 2011
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente: La Greffière:
Klett Crittin