Faits:
A. A._ est propriétaire de la parcelle n° 359 du registre foncier de la commune de Mex sur laquelle a été érigée en 1967 une maison d'habitation (n° ECA 145) comprenant un niveau et des combles. Ce bien-fonds est colloqué en zone d'habitation individuelle et familiale régie par les art. 47 ss du règlement communal sur le plan d'affectation et la police des constructions (RPGAC) du 31 mars 1999. Il est délimité au nord par la parcelle n° 268 - propriété de C._ et D._ -, à l'est par la parcelle n° 271, au sud par le chemin des Esserts, au sud-ouest par le bien-fonds n° 615 - propriété de E._ et F._ - et à l'ouest par le bien-fonds n° 614, dont A._ est également propriétaire.
Le 24 février 2010, A._ a déposé une demande de permis de construire en vue d'agrandir l'habitation n° ECA 145. Les travaux envisagés consistent à démolir et reconstruire une véranda, à créer un niveau supplémentaire sur celle-ci, à réaliser un garage souterrain, à modifier les aménagements intérieurs et rehausser la toiture afin de rendre les combles habitables. La société Y._ agissant en tant que service technique communal a établi, les 4 et 22 mars 2010, deux notes selon lesquelles le projet serait conforme aux prescriptions applicables s'agissant notamment de la hauteur et de la surface des combles ainsi que de la hauteur du bâtiment (au faîte et à la corniche). Mis à l'enquête publique du 27 mars au 26 avril 2010, le projet a suscité l'opposition de B._, C._, D._, E._ et F._ (ci-après: les opposants ou les intimés). Le 28 avril 2010, Y._ a rédigé à l'intention de la Municipalité une note aux termes de laquelle les différents motifs de l'opposition pouvaient être levés. Toutefois, au vu de l'arrêt du 16 juin 2009 du Tribunal cantonal vaudois (cause AC.2007.0294) relatif au calcul de la hauteur du terrain naturel ainsi que de l'avis de droit établi le 26 mai 2010 par le mandataire de la Municipalité, Y._ a estimé le 8 juin 2010 que la norme de hauteur à la corniche ne serait pas respectée et a dès lors conseillé à la Municipalité de refuser le permis de construire. La géomètre G._ a produit le 6 juillet 2010 un plan relatif à la détermination du terrain naturel et y a joint un rapport explicatif le 14 juillet 2010. En juillet 2010, Y._ a établi un nouveau rapport dans lequel elle revient sur les questions de la hauteur du terrain naturel et de la distance à la limite de propriété. Dans ce document, Y._ relève notamment que le projet de surélévation de la villa contrevient à la règlementation relative à la distance aux limites si l'on applique strictement la jurisprudence cantonale.
Le 23 juillet 2010, la Municipalité a refusé de délivrer le permis de construire au motif que le projet contrevenait aux dispositions relatives à la distance aux limites et à la hauteur à la corniche. A._ a déféré cette décision à la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: la CDAP) (référence AC.2010. 0230).
En outre, alertée par E._ et F._ que A._ avait entrepris la construction d'un muret à la limite des parcelles n° 359 et 615 ainsi que fait abattre des arbres sur son terrain, la Municipalité a ordonné l'arrêt des travaux en date du 5 juillet 2010. Le 9 août 2010, celle-ci a informé l'intéressé que la construction d'un mur, d'une longueur d'une trentaine de mètres et d'une hauteur dépassant un mètre avec un remblai à l'arrière, était soumise à l'enquête publique; elle l'a donc invité à déposer une demande de permis, y compris concernant l'abattage des arbres. A._ a recouru contre cette décision dont il demande l'annulation (référence AC.2010.0263).
B. Le 1er février 2011, la CDAP a joint les causes AC.2010.0230 et AC.2010.0263. Le 10 mars 2011, la cour cantonale a tenu audience à Mex et a procédé à une inspection locale.
Par arrêt du 6 juin 2011, la CDAP a rejeté les recours formés par A._ et a confirmé les décisions rendues les 23 juillet et 9 août 2010 par la Municipalité. Elle a pour l'essentiel considéré que le projet d'agrandissement de la villa contrevenait à la réglementation cantonale et communale sur la police des constructions. Par ailleurs, s'agissant de la construction du mur et de l'abattage des arbres, l'intéressé ne pouvait se prévaloir de sa bonne foi, ni invoquer une violation du principe de l'égalité de traitement.
C. Agissant par la voie du recours en matière de droit public, A._ demande principalement au Tribunal fédéral de réformer l'arrêt de la CDAP en ce sens que, d'une part, la Municipalité doit autoriser son projet d'agrandissement de la villa, celui-ci étant conforme à la réglementation applicable et, d'autre part, il doit être autorisé à déposer une demande de permis sans enquête publique pour la construction d'un muret et à procéder à l'abattage des arbres situés sur sa parcelle; subsidiairement, le recourant requiert le renvoi de la cause à la CDAP pour nouveau jugement dans le sens des considérants. A l'appui de ses conclusions, A._ dénonce une application arbitraire des dispositions de droit cantonal et communal relatives à la distance aux limites et à la hauteur à la corniche (art. 52 et 6 RPGAC; art. 80 de la loi cantonale sur l'aménagement du territoire et les constructions [LATC; RSV 700.11]; art. 54 let. b RPGAC). En relation avec la construction d'un muret et l'abattage des arbres, il allègue une violation du principe de la bonne foi ainsi que de celui de l'égalité de traitement.
La CDAP s'est référée à son arrêt. La Municipalité de Mex ainsi que les intimés se sont déterminés et ont conclu au rejet du recours. Le recourant a répliqué.

Considérant en droit:
1. Dirigé contre une décision rendue dans le domaine du droit public des constructions, le recours est recevable comme recours en matière de droit public conformément aux art. 82 ss de la loi sur le Tribunal fédéral (LTF; RS 173.110), aucune des exceptions prévues à l'<ref-law> n'étant réalisée. Le recourant a manifestement qualité pour recourir au sens de l'<ref-law> contre l'arrêt qui confirme d'une part, le refus d'autoriser le projet d'agrandissement de sa villa et, d'autre part, l'assujettissement des travaux de construction d'un muret et d'abattage des arbres à la procédure d'autorisation de construire. Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral, le recours est recevable au regard des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2. 2.1 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sous réserve de l'<ref-law>. Il n'est ainsi lié ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente. Toutefois, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF (cf. <ref-ruling> consid. 1.3 p. 351 s.; <ref-ruling> consid. 6.3 p. 120 s.), il n'examine en principe que les griefs invoqués pour autant que les vices juridiques ne soient pas manifestes; il n'est pas tenu de traiter, comme le ferait une autorité de première instance, toutes les questions juridiques qui se posent, lorsque celles-ci ne sont plus discutées devant lui.
Si le recourant se plaint de la violation de droits fondamentaux ou de dispositions de droit cantonal, il doit, comme sous l'empire de l'art. 90 al. 1 let. b OJ, satisfaire au principe d'allégation (Rügeprinzip): il doit indiquer précisément quelle disposition constitutionnelle ou légale a été violée et démontrer par une argumentation précise en quoi consiste la violation. Le Tribunal fédéral n'examine en effet de tels griefs que s'ils ont été invoqués et motivés (<ref-law>), c'est-à-dire s'ils ont été expressément soulevés et exposés de façon claire et détaillée (cf. <ref-ruling> consid. 3.2 p. 88; <ref-ruling> consid. 1.4 p. 287).
2.2 Sauf dans les cas cités expressément à l'<ref-law>, le recours ne peut pas être formé pour violation du droit cantonal en tant que tel. En revanche, il est toujours possible de faire valoir que la mauvaise application du droit cantonal ou communal constitue une violation du droit fédéral, en particulier qu'elle est arbitraire au sens de l'art. 9 Cst. ou contraire à d'autres droits constitutionnels (<ref-ruling> consid. 2.3 p. 466). Autrement dit, le Tribunal fédéral ne revoit l'interprétation et l'application du droit cantonal et communal que sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain, ce qu'il appartient au recourant de démontrer par une argumentation qui réponde aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. <ref-ruling> consid. 3 p. 351 s.; <ref-ruling> consid de 1.4.2 p. 254 et les références). En outre, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire préférable (<ref-ruling> consid. 5.1 p. 17).
3. Dans sa réplique, le recourant invoque une violation manifeste des art. 97 et 105 LTF concernant la constatation des faits pertinents. Il allègue en substance que la CDAP a écarté de manière arbitraire le fait que les intimés se sont opposés au projet litigieux alors même qu'ils s'étaient engagés à ne pas le faire; ceux-ci auraient ainsi contrevenu au principe la bonne foi, de sorte que leur opposition aurait dû être déclarée irrecevable, subsidiairement mal fondée.
Selon la jurisprudence du Tribunal fédéral, le mémoire de réplique ne saurait être utilisé aux fins de présenter de nouvelles conclusions ou de nouveaux griefs qui auraient déjà pu figurer dans l'acte de recours (<ref-ruling> consid. 3.3.4 p. 47; <ref-ruling> consid. 1d/aa p. 77 et les références citées). Il s'ensuit que les moyens de fait et de droit présentés par le recourant dans sa réplique ne peuvent être pris en considération.
4. Dans un premier moyen soulevé en lien avec le projet d'agrandissement de la villa, le recourant reproche à la CDAP d'avoir procédé à une application arbitraire des art. 52 et 6 RPGAC. Celle-ci aurait à tort considéré que les distances par rapport aux limites de propriétés voisines n'étaient pas respectées en ce qui concerne la façade est et l'angle nord-ouest de sa maison.
4.1 L'art. 52 RPGAC, applicable à la zone d'habitations individuelles et familiales, ainsi que l'art. 6 RPGAC, applicable à toutes les zones, ont la teneur suivante:
Art. 52 Distance à la limite
La distance entre un bâtiment et la limite de la parcelle voisine est au minimum de 6 mètres lorsque la plus grande dimension en plan du bâtiment ne dépasse pas 12 mètres. Cette distance est de la moitié de la plus grande dimension en plan si cette dernière est supérieure à 12 mètres.
Entre bâtiments sis sur la même parcelle, ces distances sont additionnées.
Le long des voies publiques, la distance est fixée selon l'article 36 de la loi du 10 décembre 1991 sur les routes.
Art. 6 Distance aux limites
La distance réglementaire entre bâtiments et limites des parcelles se mesure perpendiculairement à la limite dès le milieu de la façade.
Cette règle s'applique même lorsque la façade est oblique par rapport à la limite. Dans ce cas, toutefois, la distance ne devra pas être inférieure de plus d'un mètre à la distance réglementaire et ceci pour un seul angle.
4.2 Dans son arrêt, la CDAP a tout d'abord rappelé sa jurisprudence selon laquelle, pour l'application de l'art. 52 RPGAC, il convient de prendre, pour chaque limite, la plus grande dimension en plan du bâtiment face à la limite, en additionnant les différents segments de façade malgré les décrochements; lorsque la construction est de forme irrégulière, sa plus grande dimension en plan est la plus grande projection orthogonale de toutes les façades sur l'une d'elles (cf. RDAF 1974 p. 226; arrêts AC.2003.0195 du 22 avril 2005 consid. 3 et AC.1996.0126 du 7 novembre 1996 consid. 3a). Ainsi, pour déterminer concrètement, pour chaque limite, la plus grande dimension en plan de la villa, la CDAP a, même si elle ne l'indique pas expressément en ces termes, tracé la projection orthogonale du point situé à l'extrême nord-ouest de ce bâtiment (point 548.34 selon le plan du 9 février 2010 établi par la géomètre G._) sur le prolongement de la façade est de la construction, ainsi que celle du point sis à l'extrême ouest (point 550.79) sur le prolongement de la façade sud. Selon la CDAP, le bâtiment devait s'inscrire dans un quadrilatère présentant un côté de 19,5 m. à l'est et à l'ouest, ainsi que de 17,4 m. au nord et au sud. La plus grande dimension en plan de la villa par rapport aux limites est et ouest était donc de 19,5 m. La CDAP en a conclu que la distance limite à respecter en direction de l'est et de l'ouest était de 9,75 m. (19,5:2) et que cette norme de distance n'était observée ni à l'est ni dans l'angle nord-ouest de l'habitation.
4.3 Le recourant estime tout d'abord arbitraire le raisonnement de la CDAP concernant le calcul de la distance aux limites dans la mesure où il s'achève, sans plus ample explication ou illustration, sur la conclusion abrupte que la distance règlementaire n'est respectée ni à l'est, ni dans l'angle nord-ouest. Par cette critique, le recourant paraît se plaindre de l'insuffisance de la motivation de l'arrêt attaqué. Il n'allègue toutefois pas expressément que la CDAP aurait contrevenu à son devoir de motivation, ni ne dénonce une violation de son droit d'être entendu. Il ne se réfère pas non plus à l'art. 29 al. 1 Cst. En outre, il n'explique pas précisément en quoi l'argumentation juridique de l'autorité précédente présenterait des insuffisances. Sa critique apparaît, dans cette mesure, insuffisamment motivée et doit donc être déclarée irrecevable (cf. consid. 2.1).
4.4 Le recourant fait ensuite valoir que la méthode de calcul adoptée par la CDAP est arbitraire car l'autorité cantonale utiliserait des points de hauteur du terrain, qui se reportent sur un axe vertical, pour déterminer les distances aux limites des propriétés qui elles sont calculées par rapport à un axe horizontal. Cette critique doit d'emblée être rejetée dans la mesure où la CDAP a clairement indiqué qu'elle utiliserait comme références les points saillants du bâtiment, tels qu'ils sont désignés par leur altitude sur le plan établi le 9 février 2010 par la géomètre G._ annexé au plan de situation, afin de rendre intelligible son raisonnement (consid. 5b de l'arrêt entrepris). Elle n'a donc nullement entendu calculer les distances aux limites par rapport à l'altitude des points de référence.
4.5 Le recourant critique enfin le raisonnement de la CDAP qui consisterait, selon lui, à mesurer les distances aux limites de propriétés voisines en référence à une façade fictive qui scinderait le bâtiment en deux et le traverserait de l'intérieur par les deux angles situés aux extrémités nord-ouest et sud-est. Les distances aux limites seraient donc déterminées depuis un point situé à l'intérieur du bâtiment, donc nécessairement plus éloigné qu'un point situé sur la façade extérieure de celui-ci. Cette méthode violerait ainsi gravement et arbitrairement la jurisprudence cantonale pourtant citée dans l'arrêt entrepris.
Contrairement à ce que prétend le recourant, la CDAP ne s'est en l'espèce nullement référée à une façade fictive inscrite dans le bâtiment pour apprécier si les distances aux limites étaient respectées. Le raisonnement de la CDAP consiste au contraire à inscrire la villa dans un quadrilatère dont les côtés est et ouest constituent la plus grande dimension en plan du bâtiment pour les limites est et ouest de la propriété. Quoi qu'en dise le recourant, il apparaît que la CDAP s'est précisément fondée sur sa jurisprudence selon laquelle lorsqu'une construction est de forme irrégulière, sa plus grande dimension en plan est la plus grande projection orthogonale de toutes les façades sur l'une d'elles (cf. supra consid. 4.2). Il n'y a dès lors aucun arbitraire dans le raisonnement de la CDAP.
Le recourant soutient enfin que l'arrêt est arbitraire dans son résultat. Il se borne toutefois ici à opposer sa propre méthode de calcul - consistant à créer des segments de façade entre différents angles du bâtiment par rapport à chaque limite de propriété - à celle des juges cantonaux, sans démontrer en quoi cette dernière serait déraisonnable. Sur ce point, la critique du recourant est dès lors irrecevable.
En définitive, c'est donc à tort que le recourant se prévaut d'arbitraire dans l'application des art. 52 et 6 RPGAC.
4.6 Dans une argumentation subsidiaire, le recourant dénonce une application arbitraire de l'art. 80 al. 2 LATC.
4.6.1 Selon cette disposition, la transformation dans les limites des volumes existants ou l'agrandissement des bâtiments existants non conformes aux règles de la zone à bâtir peuvent être autorisés, pour autant qu'il n'en résulte pas une atteinte sensible au développement, au caractère ou à la destination de la zone; les travaux ne doivent pas aggraver l'atteinte à la réglementation en vigueur ou les inconvénients qui en résultent pour le voisinage. Les deux conditions posées à l'art. 80 al. 2 in fine LATC sont cumulatives et il suffit que l'une d'elles ne soit pas réalisée pour que l'autorisation soit refusée.
4.6.2 La CDAP a en l'espèce estimé que le projet litigieux n'aggravait pas la violation de l'art. 52 al. 1 RPGA déterminant la distance aux limites puisqu'il s'inscrivait dans l'espace du bâtiment n° ECA 145, tel qu'il était implanté au sol. En revanche, dans la mesure où le projet utilisait des surfaces non réglementaires pour rendre habitables les combles du bâtiment existant, il en résultait, selon la cour cantonale, une atteinte supplémentaire à la réglementation en vigueur et à la situation des voisins.
4.6.3 Le recourant tient cette appréciation pour arbitraire. Il développe une argumentation basée sur le fait que son projet ne provoque aucune aggravation de la réglementation actuelle au sens de la disposition litigieuse dès lors que le coefficient d'utilisation du sol (surface habitable) est respecté par le projet d'aménagement des combles. Les critiques du recourant tombent cependant à faux. En effet, il perd de vue que la CDAP ne s'est nullement prononcée quant à une atteinte supplémentaire à la réglementation relative au coefficient d'utilisation du sol, mais bien à celle concernant la distance aux limites. Quoi qu'il en soit, il n'est pas arbitraire de considérer que la surélévation du bâtiment pour affecter les combles à l'habitation et l'augmentation du volume extérieur qui en découle, dans un espace ne respectant pas les normes actuelles relatives à la distance aux limites, entraîne une nouvelle atteinte à cette réglementation. Ainsi, dès lors que l'une des conditions posées à l'art. 80 al. 2 LATC n'est pas réalisée, la CDAP n'est pas tombée dans l'arbitraire en considérant que les travaux projetés ne pouvaient être autorisés sur la base de cette disposition légale.
4.7 Dans ces circonstances, c'est à juste titre que la CDAP a confirmé la décision municipale rejetant la demande de permis de construire portant sur l'agrandissement de l'habitation du recourant. Sur ce point, il s'ensuit le rejet du recours dans la mesure de sa recevabilité, sans qu'il soit nécessaire d'examiner le grief d'arbitraire dans l'application de l'art. 54 RPGA ("hauteur des bâtiments") également soulevé par le recourant.
5. En lien avec les travaux de construction du muret et d'abattage des arbres, le recourant entend se prévaloir des principes de la bonne foi et de l'égalité de traitement.
5.1 Dans son premier moyen, le recourant soutient qu'il aurait réalisé les travaux litigieux en se fiant aux assurances reçues par l'ex-syndic de Mex H._ et la conseillère municipale I._, de sorte que sa bonne foi devrait être protégée.
5.1.1 Découlant directement de l'art. 9 Cst. et valant pour l'ensemble de l'activité étatique, le droit à la protection de la bonne foi préserve la confiance légitime que le citoyen met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration, si certaines conditions sont remplies (<ref-ruling> consid. 6.1 p. 636; <ref-ruling> consid. 4.1 p. 170; <ref-ruling> consid. 10b/aa p. 125 et les arrêts cités).
5.1.2 En l'espèce, la CDAP a nié au recourant le droit de se prévaloir de sa bonne foi sur la base d'une double motivation. Dans une première argumentation, la cour cantonale a considéré que le recourant ne pouvait prétendre avoir reçu des assurances préalables de l'autorité quant à la licéité des travaux exécutés. Elle a estimé en substance que l'attestation établie le 2 juillet 2010 par l'ex-syndic ne permettait pas de conclure que la Municipalité avait autorisé les travaux litigieux ou qu'elle considérait que ceux-ci pouvaient être entrepris sans autorisation préalable; en outre, la conseillère municipale avait indiqué lors de l'audience du 10 mars 2011 n'avoir eu connaissance de l'abattage des arbres qu'après coup. Dans une seconde motivation, l'instance précédente a retenu que même si l'intéressé avait reçu de l'ex-syndic et de la conseillère municipale une assurance verbale sur le droit de réaliser les travaux, celle-ci n'engageait pas valablement la Municipalité, de sorte qu'il ne pouvait lui opposer sa bonne foi.
5.1.3 Conformément à l'art. 42 al. 1 et 2 LTF, les motifs que doit contenir tout mémoire de recours doivent exposer succinctement en quoi l'arrêt attaqué viole le droit fédéral. Il doit exister un lien entre la motivation et la décision attaquée (arrêt 4A_72/2007 du 22 août 2007 consid. 4.1.1). Lorsque le mémoire de recours consiste à reprendre devant le Tribunal fédéral, mot pour mot, la même motivation que celle présentée devant l'instance inférieure, un tel lien n'existe pas et le recours est inadmissible sous l'angle de l'<ref-law> (<ref-ruling> consid. 2.3 p. 246).
En outre, lorsque la décision attaquée se fonde, comme en l'espèce, sur plusieurs motivations indépendantes, alternatives ou subsidiaires, toutes suffisantes, le recourant doit, sous peine d'irrecevabilité, démontrer que chacune d'entre elles est contraire au droit (ATF <ref-ruling> consid. 6.3 p. 120); dès qu'une des motivations permet de maintenir la décision entreprise, le recours doit être rejeté (<ref-ruling> consid. 7 p. 228; <ref-ruling> consid. 6 p. 20).
5.1.4 Dans le cas d'espèce, le recourant ne se conforme pas à ces exigences. S'il développe à titre liminaire une brève argumentation concernant la seconde motivation exposée par la CDAP, il se contente pour le reste de reprendre de façon quasi textuelle l'écriture déposée sur le plan cantonal (cf. mémoire de réplique), sans soulever de grief particulier à l'égard de la première motivation de l'autorité cantonale. Les rares passages du recours qui diffèrent du mémoire présenté devant l'instance cantonale ne contiennent en effet aucune critique ciblée à l'encontre de la première des deux motivations exposées dans l'arrêt attaqué qui répondrait aux exigences de l'<ref-law>. Sur ce point, son recours est insuffisamment motivé, partant irrecevable.
En l'absence, d'une critique formellement recevable des premiers motifs avancés par la CDAP, il n'y a pas lieu d'examiner les griefs du recourant dirigés contre la motivation alternative retenue par celle-ci.
5.2 Enfin, dans son second moyen, le recourant se plaint d'une inégalité de traitement. Il serait en droit d'être traité de manière égale à ses voisins qui auraient été autorisés par la Municipalité à abattre un arbre sur leur propriété dans des circonstances analogues.
5.3 Le principe de la légalité de l'activité administrative prévaut en principe sur celui de l'égalité de traitement. En conséquence, le justiciable ne peut généralement pas se prétendre victime d'une inégalité devant la loi lorsque celle-ci est correctement appliquée à son cas, alors qu'elle aurait été faussement, voire pas appliquée du tout, dans d'autres cas (<ref-ruling> consid. 6a p. 392 et les références citées). Cela présuppose cependant, de la part de l'autorité dont la décision est attaquée, la volonté d'appliquer correctement à l'avenir les dispositions légales en question. Le citoyen ne peut prétendre à l'égalité dans l'illégalité que s'il y a lieu de prévoir que l'administration persévérera dans l'inobservation de la loi (<ref-ruling> consid. 3a p. 2 s.; <ref-ruling> consid. 5 p. 166; <ref-ruling> consid. 4a p. 451 s. et les arrêts cités); en principe, si l'autorité ne s'exprime pas sur ses intentions futures, le Tribunal fédéral présume qu'elle se conformera à la loi à l'avenir (<ref-ruling> consid. 2 p. 83). Il faut encore que l'autorité n'ait pas respecté la loi selon une pratique constante, et non pas dans un ou quelques cas isolés (<ref-ruling> consid. 8.6 p. 510; <ref-ruling> consid. 3a p. 2 s.; <ref-ruling> consid. 6a p. 392 et les arrêts cités), et qu'aucun intérêt public ou privé prépondérant n'impose de donner la préférence au respect de la légalité (<ref-ruling> consid. 3c p. 254; <ref-ruling> consid. 2 p. 83 et les références). C'est seulement lorsque toutes ces conditions sont remplies que le citoyen est en droit de prétendre, à titre exceptionnel, au bénéfice de l'égalité dans l'illégalité.
5.4 En l'espèce, la cour cantonale a constaté dans son arrêt que les voisins E._ et F._ avaient procédé à l'abattage d'un arbre sur leur propriété en 2006, sans autorisation municipale. En soutenant dans son recours que la Municipalité a autorisé lesdits voisins à couper un arbre quelques mois avant qu'il n'abatte lui-même plusieurs arbres, le recourant s'écarte des faits retenus par la CDAP, sans démontrer, par une argumentation répondant aux exigences de motivation de l'<ref-law>, que ces faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>. Sa critique est dès lors irrecevable.
Cela étant, c'est à juste titre que la cour cantonale a, sur la base des faits retenus dans l'arrêt entrepris, rejeté le grief d'inégalité de traitement. Celle-ci a en effet relevé que la situation juridique en 2006 était peu claire dès lors que le plan communal de protection des arbres, datant de plus de 30 ans, était devenu obsolète. Par communication du 22 janvier 2009, la Municipalité avait d'ailleurs été rendue attentive par le Centre vaudois de conservation de la faune et de la nature de la nécessité de mettre à jour le plan communal de protection des arbres (communication du 22 janvier 2009 aux Municipalités concernées). Ce document indiquait que selon la jurisprudence du Tribunal cantonal vaudois (arrêts AC.2005.0077 du 28 novembre 2005 consid. 3b et AC.2007.0080 du 11 octobre 2007 consid. 4a), en l'absence de mise à jour de plan de classement ancien, il convenait d'appliquer l'art. 98 de la loi cantonale sur la protection de la nature, des monuments et des sites (LPNMS, RSV 450.11) aux termes duquel l'abattage d'arbres protégés, à savoir ceux dont le diamètre était supérieur à 30 cm., était soumis à autorisation. Dans ces circonstances, le recourant ne saurait se prévaloir du principe de l'égalité de traitement dans la mesure où rien ne permet de douter qu'en 2009, lorsqu'il a procédé à la coupe d'arbres, la Municipalité entendait désormais s'en tenir strictement au principe de l'autorisation préalable avant tout abattage d'arbres, dans la perspective d'adoption d'un nouveau règlement communal.
6. Il résulte de ce qui précède que le recours doit être rejeté dans la mesure de sa recevabilité, aux frais du recourant qui succombe (art. 65 et 66 LTF). En vertu de l'<ref-law>, celui-ci versera en outre une indemnité de dépens aux intimés qui obtiennent gain de cause avec l'assistance d'un avocat (art. 68 al. 1 et 2 LTF). La Municipalité de Mex n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté, dans la mesure de sa recevabilité.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3. Une indemnité de 2'500 fr. est allouée aux intimés à titre de dépens, à la charge du recourant.
4. Le présent arrêt est communiqué aux mandataires des parties et de la Municipalité de Mex ainsi qu'au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 9 janvier 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Arn