Faits:
A. La société en nom collectif B._ est propriétaire de la parcelle 669 du registre foncier de la commune de Payerne.
Ce bien-fonds de 3'196 m2, situé en bordure de l'agglomération payernoise, forme un triangle bordé au nord par la route d'Yverdon et au sud-ouest par la voie ferrée. En son centre est construite une vieille ferme actuellement inhabitée. Sur son côté nord-est, la parcelle est accolée à l'immeuble 671, propriété de la même société, sur laquelle se situent un garage et un atelier de mécanique. Un peu plus loin, à savoir à respectivement 50 et 70 mètres, on trouve les parcelles 4'243 et 4'254 construites d'immeubles d'habitation constitués en propriété par étages.
Les parcelles précitées sont situées au nord du chemin de fer et colloquées en zone urbaine non contiguë 2 selon le plan général d'affectation de la commune et son règlement sur le plan général d'affectation et la police des constructions (ci-après: RPGA), tous deux approuvés par le Conseil d'Etat du canton de Vaud le 13 mars 1966. De l'autre côté de la voie ferrée, au sud, s'étend la zone agricole.
B. Du 29 mai au 29 juin 2009, la société Swisscom (Suisse) SA a mis à l'enquête publique un projet de construction d'une antenne de téléphonie mobile sur la parcelle 669, avec l'accord du propriétaire. Ce projet prévoyait la construction d'un mât de 60 cm de diamètre à son pied et d'une hauteur de plus de 25 m supportant six antennes émettant sur les fréquences GSM et UMTS ainsi que l'installation de diverses armoires techniques à son pied, ne dépassant pas 2 m de hauteur, le tout occupant au sol une surface d'environ 13 m2. Cette installation devait prendre place à l'angle sud-est de la parcelle, juste à côté de la voie ferrée.
Ce projet a suscité diverses oppositions. La Centrale des autorisations CAMAC a rendu sa synthèse le 30 juillet 2009, de laquelle il ressortait que le Service cantonal de l'environnement et de l'énergie (ci-après: le Service cantonal) a délivré l'autorisation spéciale requise. Le 29 septembre 2009, la municipalité de Payerne a informé les divers opposants qu'elle avait décidé de lever leurs oppositions et d'autoriser la construction de l'installation projetée.
A la suite d'une inspection locale à laquelle elle a procédé en présence des parties, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a, par arrêt du 17 septembre 2010, admis le recours de A._ et consorts et annulé la décision du Service cantonal du 30 juillet 2009 ainsi que celle de la municipalité du 29 septembre 2009. Le Tribunal cantonal a considéré en substance que l'installation de téléphonie mobile projetée, aux dimensions démesurées et fortement visible de tous côtés, qui ne s'accompagnait d'aucune mesure d'intégration spécifique, présentait un aspect particulièrement incongru en bordure d'un quartier construit d'immeubles de taille moyenne voués principalement à l'habitation, ce qui la rendait particulièrement insatisfaisante sur le plan esthétique.
C. Agissant par la voie du recours en matière de droit public, Swisscom (Suisse) SA demande au Tribunal fédéral de réformer l'arrêt précité du Tribunal cantonal en ce sens que le recours des opposants contre les décisions du Service cantonal du 30 juillet 2009 et de la municipalité du 29 septembre 2009 est rejeté, dites décisions autorisant l'implantation d'une installation de téléphonie mobile à la route d'Yverdon 71, à Payerne, étant confirmées. La recourante se plaint d'une application arbitraire du droit cantonal et requiert la tenue d'une inspection locale.
Le Tribunal cantonal ne s'est pas déterminé sur le recours. Le Service cantonal n'a pas de remarques particulières à formuler. La municipalité de Payerne propose l'admission du recours. Sans prendre de conclusions formelles, A._, agissant au nom du regroupement des opposants à l'antenne Swisscom du garage de l'aviation, rappelle que le regroupement n'est pas opposé au déploiement d'installations techniques de ce type, mais conteste plutôt le résultat et la forme sous laquelle ce projet a été élaboré; par courrier du 24 février 2011, il a réagi aux observations de la municipalité.
Considérant en droit:
1. La voie du recours en matière de droit public au sens de l'art. 82 let. a LTF est ouverte contre une décision prise en dernière instance cantonale portant sur l'octroi d'une autorisation de construire une installation de téléphonie mobile. En tant que requérante déboutée de l'autorisation de construire, Swisscom (Suisse) SA a qualité pour agir en vertu de l'art. 89 al. 1 LTF. Les autres conditions de recevabilité du recours sont réunies de sorte qu'il convient d'entrer en matière.
2. Selon l'art. 95 LTF, le recours (ordinaire) au Tribunal fédéral peut être formé notamment pour violation du droit fédéral (let. a), qui comprend les droits constitutionnels des citoyens. En revanche, sauf exceptions non pertinentes en l'espèce (cf. art. 95 let. c à e LTF), la mauvaise application des dispositions cantonales ne peut pas être attaquée directement comme telle devant le Tribunal fédéral (art. 95 LTF a contrario). Il est néanmoins possible de faire valoir que leur mise en oeuvre consacre une violation du droit fédéral, comme la protection contre l'arbitraire au sens de l'art. 9 Cst. ou la garantie d'autres droits constitutionnels (cf. ATF 133 III 462 consid. 2.3 p. 466).
Une décision est arbitraire lorsqu'elle viole gravement une norme ou un principe juridique clair et indiscuté, ou lorsqu'elle contredit d'une manière choquante le sentiment de la justice et de l'équité (cf. ATF 134 II 244 consid. 2.2 et 2.3 p. 246 s.; 130 I 258 consid. 1.3 p. 261 s.; 129 I 113 consid. 2.1 p. 120 et les arrêts cités). Le Tribunal fédéral ne s'écarte ainsi de la solution retenue par l'autorité cantonale de dernière instance que si elle est insoutenable ou en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En outre, il ne suffit pas que les motifs de la décision critiquée soient insoutenables, encore faut-il que cette dernière soit arbitraire dans son résultat (ATF 132 I 13 consid. 5.1 p. 17), ce qu'il appartient au recourant de démontrer par une argumentation répondant aux exigences des art. 42 al. 2 et 106 al. 2 LTF (cf. ATF 134 II 349 consid. 3 p. 351 s.; 133 II 249 consid. 1.4.2 p. 254).
3. La recourante reproche aux juges cantonaux d'avoir fait une application arbitraire du droit cantonal et communal, à savoir des art. 86 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC) et 76 RPGA, relatifs à la clause d'esthétique. A son avis, il ne ressort pas des constations de l'arrêt attaqué que le site mériterait une protection particulière ou que le milieu bâti présenterait une homogénéité ou une spécificité particulières, qui devraient être préservées autant que possible; les juges cantonaux n'ont par ailleurs pas dit quel intérêt public prépondérant serait en cause et justifierait le maintien du dégagement actuel. En réalité, la Cour cantonale aurait méconnu le fait que l'antenne est prévue dans un environnement déjà marqué par la présence de différentes installations et constructions. Selon la recourante, la décision contestée aboutit à un résultat choquant, car elle revient à protéger un endroit qui ne mérite pas de l'être, alors que la loi impose d'implanter des installations de communication mobile en zone à bâtir.
3.1 Aux termes de l'art. 86 LATC, la municipalité veille à ce que les constructions, quelle que soit leur destination, ainsi que les aménagements qui leur sont liés, présentent un aspect architectural satisfaisant et s'intègrent à l'environnement (al. 1). Elle refuse le permis pour les constructions ou les démolitions susceptibles de compromettre l'aspect et le caractère d'un site, d'une localité, d'un quartier ou d'une rue, ou de nuire à l'aspect d'un édifice de valeur historique, artistique ou culturelle (al. 2). Les règlements communaux doivent contenir des dispositions en vue d'éviter l'enlaidissement des localités et de leurs abords (al. 3).
Se fondant sur l'art. 86 al. 3 LATC, la commune de Payerne a adopté l'art. 76 RPGA, dont la teneur est la suivante:
1 La municipalité prend toutes les mesures pour éviter l'enlaidissement du territoire communal.
2 Les entrepôts et dépôts ouverts à la vue du public sont interdis, sauf dans la zone industrielle. La municipalité peut exiger la plantation d'arbres, de groupes d'arbres ou de haies pour masquer les installations existantes. Elle peut en fixer les essences.
3 Les constructions, agrandissements, transformations de toutes espèces, les crépis et les peintures, les affiches, etc., de nature à nuire au bon aspect d'un lieu, sont interdits.
4 Sur l'ensemble du territoire communal, principalement à proximité des routes, chemins et sentiers, les installations et travaux non soumis à autorisation doivent avoir un aspect satisfaisant.
5 Pour des raisons d'orientation et d'esthétique, la municipalité peut imposer une autre implantation que celle prévue par le constructeur.
6 Si les constructions projetées ne satisfont pas à l'intérêt général ou à l'esthétique, la municipalité peut exiger du constructeur l'étude d'une solution offrant les mêmes possibilités d'utilisation.
3.2 Les clauses d'esthétique contenues aux art. 86 LATC et 76 RPGA sont très larges du point de vue des objets protégés et de l'atteinte justifiant l'intervention du pouvoir étatique. Cela ne signifie toutefois pas qu'elles permettraient à l'autorité de les invoquer pour sauvegarder des objets ou des sites qui n'ont aucune valeur esthétique contre des atteintes dépourvues de portée (ATF 115 Ia 114 consid. 3d p. 119, 363 consid. 3a p. 366, 370 consid. 4a p. 376; 97 I 639 consid. 6b p. 642; cf. art. 36 al. 4 Cst.). Une intervention de l'autorité communale ou cantonale sur la base de l'art. 86 LATC ou de dispositions communales de portée analogue ne peut s'inscrire que dans la ligne tracée par la loi elle-même et par les règlements communaux. Elle doit se justifier par un intérêt public prépondérant, tel que la protection d'un site ou d'un ensemble de bâtiments présentant des qualités esthétiques remarquables (ATF 101 Ia 213 consid. 6c p. 222 s.; DIDIER VON REDING, Mesures de protection des sites construits et qualité du milieu bâti, in: Territoire & environnement, décembre 2002, p. 46; BEAT ZUMSTEIN, Die Anwendung der ästhetischen Generalklauseln des kantonalen Baurechts, thèse St-Gall 2001, p. 151 s.). Selon la jurisprudence, une clause d'esthétique ne doit pas être appliquée de manière à vider pratiquement de sa substance la réglementation sur les zones en vigueur, mais dans le respect du principe de la proportionnalité à l'instar de toute restriction à la garantie de la propriété et à la liberté économique. La question de l'intégration d'une construction ou d'une installation à l'environnement bâti dans un site doit être résolue non pas en fonction du sentiment subjectif de l'autorité, mais selon des critères objectifs et systématiques; en tous les cas, l'autorité compétente doit indiquer les raisons pour lesquelles elle considère qu'une construction ou une installation serait de nature à enlaidir le site (ATF 115 Ia 363 consid. 3b p. 367, 370 consid. 3 p. 373; 114 Ia 343 consid. 4b p. 345; 100 Ia 82 consid. 5 p. 87 s.; 89 I 464 consid. 4b p. 474 et les arrêts cités).
L'art. 86 LATC constitue une disposition à caractère et à but publics. Il n'est pas destiné à la protection d'intérêts privés, car le propriétaire qui tient à se prémunir contre un préjudice résultant de constructions voisines peut arriver à ses fins par des voies privées (achat de terrains, servitude, etc.) ou par la voie d'un plan de quartier par exemple. Le propriétaire ne bénéficiera donc de la protection de la clause esthétique que dans la mesure où ses intérêts privés coïncident avec les buts d'intérêt public recherché par cette institution (ATF 101 Ia 213 consid. 6b p. 221).
Dans un arrêt du 10 décembre 2004 relatif à l'implantation d'une antenne de téléphonie mobile de trente mètres de hauteur dans la zone artisanale de Neuendorf (canton de Soleure), le Tribunal fédéral a considéré que, même si le village était mentionnée à l'inventaire fédéral des sites construits à protéger (ISOS), la zone artisanale n'était pas comprise dans le périmètre de protection et la future antenne ne portait pas atteinte aux objectifs poursuivis par l'inventaire. Elle pouvait dès lors être autorisée (arrêt 1A.142/2004 du 10 décembre 2004 consid. 4). De même, le Tribunal fédéral a jugé, dans un arrêt du 20 octobre 2005, qu'il n'y avait pas lieu de refuser le permis de construire une antenne de vingt mètres projetée au nord du bourg de Chailly, sur la commune de Montreux, puisqu'elle n'entraînerait qu'une modification insignifiante de la silhouette du village, lequel constituait l'objet de la protection instaurée par l'inventaire ISOS (arrêt 1P.342/ 2005 du 20 octobre 2005 consid. 5).
3.3 Le Tribunal cantonal a retenu que l'antenne litigieuse présentait des proportions gigantesques puisqu'elle mesurait plus de 25 m de haut. De telles installations étaient rares en zone à bâtir, les opérateurs privilégiant dans ce cas la mise en place de courtes antennes sur le toit des immeubles. Les deux antennes de grande dimension admises par la jurisprudence cantonale présentaient la particularité, soit d'être installée dans une zone industrielle peu homogène, soit d'être peu visible, cachée dans la végétation en bordure d'une zone boisée. Dans le cas présent, l'antenne s'élèvera tel un "monstre" de métal au moins dix mètres au-dessus de tout bâtiment alentours, qu'il s'agisse de l'ancienne ferme, du garage de l'aviation ou des immeubles locatifs situés au nord et à l'est. Les poteaux supportant les caténaires du chemin de fer (hauts de 9 m) seront dominés de plus de 15 m par l'installation projetée, au même titre que les drapeaux publicitaires du garage de l'aviation et les quelques arbres situés à l'angle ouest de la parcelle 669, dont le sommet du feuillage atteint au plus une quinzaine de mètres. Surplombant le quartier du haut de ses 25 mètres, l'installation litigieuse apparaissait dès lors clairement surdimentionnée par rapport au bâti environnant. De surcroît, le projet prévoyait de dresser l'antenne contestée en un point autour duquel il n'existait aucune construction ni végétation haute dans un rayon de 35 m au moins, en plein centre d'un dégagement offrant actuellement une ouverture sur la campagne environnante. Cette implantation aurait pour effet d'accentuer encore l'impact visuel du projet, offert sans limite à tous les regards.
Comme l'ont relevé les juges cantonaux, si l'on ne peut nier qu'une antenne de téléphonie mobile présente nécessairement un aspect visuel déplaisant, encore faut-il, pour exclure son implantation, qu'elle péjore de manière incontestable les qualités esthétiques d'un endroit donné. Or, il ne ressort pas des constatations de fait de l'arrêt attaqué que l'endroit retenu pour l'installation de la future antenne présenterait des caractéristiques exceptionnelles méritant d'être protégées. Au contraire, la parcelle 669, bordée au sud-ouest par la voie ferrée, abrite une vieille ferme inhabitée, et sur la parcelle voisine 671 se trouvent un garage ainsi qu'un atelier de mécanique. Sur les bien-fonds situés au nord-est sont construits des immeubles d'habitation (dont la valeur esthétique n'est pas établie) alors que la zone sise au-delà de la voie de chemin de fer, au sud-ouest de la parcelle 669, ne paraît pas être bâtie. La cour cantonale souligne encore dans le secteur du projet la présence des caténaires du chemin de fer, le passage à niveau et ses barrières rouges et blanches ainsi que les drapeaux publicitaires du garage de l'aviation. Il apparaît dès lors, sur la base des faits constatés dans l'arrêt attaqué, que les caractéristiques du secteur en cause ne représentent pas un intérêt public prépondérant au sens de la jurisprudence mentionnée au consid. 3.2 ci-dessus.
Les juges cantonaux estiment par ailleurs que la future antenne se situe au plein centre d'un dégagement sur la campagne environnante. Le procès-verbal de l'inspection locale du 11 mai 2010 précise à cet égard que, "depuis l'un des balcons de l'immeuble situé sur la parcelle 4'245, l'antenne projetée se situerait au centre du dégagement actuellement existant et de la vue sur la campagne environnante. Elle serait clairement plus haute que toute la végétation ou les installations techniques alentours (notamment les caténaires du chemin de fer tout proche)." Ce constat a été fait depuis un seul immeuble, voire depuis un balcon précis, et l'on ignore si la parcelle 669 a aussi valeur de dégagement pour les autres habitations situées aux alentours. Le Tribunal cantonal n'explique pas non plus quels points de vue particulièrement sensibles devraient être préservés par ce dégagement. Or, comme il l'a justement rappelé, le droit à la vue des voisins n'est pas protégé par le droit public.
Il résulte de ce qui précède que l'installation litigieuse n'est pas de nature à enlaidir un site particulièrement digne de protection et que la seule présence d'un dégagement n'est pas suffisante en l'espèce. Dans ces conditions, le Tribunal cantonal a procédé à une application arbitraire de la clause esthétique régie par le droit cantonal et communal.
4. La recourante invoque aussi l'autonomie communale. Elle fait valoir que la Cour cantonale a substitué son appréciation à celle de l'autorité municipale, sans faire preuve de la retenue qui s'impose à l'autorité de recours.
Selon la jurisprudence, un particulier est en principe autorisé à alléguer une violation de l'autonomie communale à titre accessoire lorsque, comme en l'espèce, la commune appuie les conclusions du recours (cf. ATF 107 Ia 96 consid. 1c et les références citées). Lorsqu'elle est reconnue autonome dans un domaine spécifique, une commune peut se plaindre d'un excès voire d'un abus du pouvoir d'appréciation, ou d'une fausse application par la juridiction cantonale de recours des normes de droit cantonal et communal régissant le domaine en cause. Le Tribunal fédéral revoit alors l'interprétation et l'application de ces normes sous l'angle de l'arbitraire.
Les communes vaudoises disposent d'une autonomie maintes fois reconnue en matière d'aménagement du territoire et de police des constructions (cf. notamment ATF 108 Ia 74 consid. 2b p. 76 s.), en particulier lorsqu'il s'agit de savoir si une construction ou une installation est de nature à compromettre l'aspect ou le caractère d'un site, d'une localité, d'un quartier ou d'une rue (ATF 115 Ia 114 consid. 3d p. 118 s., 363 consid. 3b p. 367). La commune de Payerne peut ainsi se prévaloir d'une autonomie protégée dans l'application de la clause générale d'esthétique exprimée à l'art. 86 LATC et 76 RPGA.
En l'espèce, en procédant à une application arbitraire de la clause générale d'esthétique (cf. consid. 3.3 ci-dessus) et en substituant son appréciation à celle de l'autorité municipale, le Tribunal cantonal a également violé l'autonomie communale dont bénéficie la commune de Payerne.
5. Vu ce qui précède, le recours doit admis et l'arrêt attaqué annulé, sans qu'il ne soit nécessaire d'examiner le grief de la recourante relatif à la violation de son droit d'être entendue. Les décisions du Service cantonal du 30 juillet 2009 et de la municipalité du 29 septembre 2009 sont confirmées.
L'issue du recours rend la requête d'inspection locale sans objet.
Les frais judiciaires sont mis à la charge des intimés qui succombent (art. 66 al. 1 et 5 LTF). Ils verseront en outre une indemnité de dépens à la recourante qui a eu recours à un avocat (art. 68 al. 2 LTF).
L'affaire est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure cantonale (art. 67 et 68 al. 5 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et l'arrêt attaqué est annulé. Les décisions du Service cantonal du 30 juillet 2009 et de la municipalité du 29 septembre 2009 sont confirmées.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des intimés, solidairement entre eux.
3. Une indemnité de 2'000 fr. est allouée à la recourante à titre de dépens, à la charge des intimés, solidairement entre eux.
4. La cause est renvoyée au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure cantonale.
5. Le présent arrêt est communiqué aux parties, à la Municipalité de Payerne, au Service de l'environnement et de l'énergie et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à B._.
Lausanne, le 31 mai 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Fonjallaz Mabillard