Faits: A. La société en nom collectif B._ est propriétaire de la parcelle 669 du registre foncier de la commune de Payerne. Ce bien-fonds de 3'196 m2, situé en bordure de l'agglomération payernoise, forme un triangle bordé au nord par la route d'Yverdon et au sud-ouest par la voie ferrée. En son centre est construite une vieille ferme actuellement inhabitée. Sur son côté nord-est, la parcelle est accolée à l'immeuble 671, propriété de la même société, sur laquelle se situent un garage et un atelier de mécanique. Un peu plus loin, à savoir à respectivement 50 et 70 mètres, on trouve les parcelles 4'243 et 4'254 construites d'immeubles d'habitation constitués en propriété par étages. Les parcelles précitées sont situées au nord du chemin de fer et colloquées en zone urbaine non contiguë 2 selon le plan général d'affectation de la commune et son règlement sur le plan général d'affectation et la police des constructions (ci-après: RPGA), tous deux approuvés par le Conseil d'Etat du canton de Vaud le 13 mars 1966. De l'autre côté de la voie ferrée, au sud, s'étend la zone agricole. B. Du 29 mai au 29 juin 2009, la société Swisscom (Suisse) SA a mis à l'enquête publique un projet de construction d'une antenne de téléphonie mobile sur la parcelle 669, avec l'accord du propriétaire. Ce projet prévoyait la construction d'un mât de 60 cm de diamètre à son pied et d'une hauteur de plus de 25 m supportant six antennes émettant sur les fréquences GSM et UMTS ainsi que l'installation de diverses armoires techniques à son pied, ne dépassant pas 2 m de hauteur, le tout occupant au sol une surface d'environ 13 m2. Cette installation devait prendre place à l'angle sud-est de la parcelle, juste à côté de la voie ferrée. Ce projet a suscité diverses oppositions. La Centrale des autorisations CAMAC a rendu sa synthèse le 30 juillet 2009, de laquelle il ressortait que le Service cantonal de l'environnement et de l'énergie (ci-après: le Service cantonal) a délivré l'autorisation spéciale requise. Le 29 septembre 2009, la municipalité de Payerne a informé les divers opposants qu'elle avait décidé de lever leurs oppositions et d'autoriser la construction de l'installation projetée. A la suite d'une inspection locale à laquelle elle a procédé en présence des parties, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a, par arrêt du 17 septembre 2010, admis le recours de A._ et consorts et annulé la décision du Service cantonal du 30 juillet 2009 ainsi que celle de la municipalité du 29 septembre 2009. Le Tribunal cantonal a considéré en substance que l'installation de téléphonie mobile projetée, aux dimensions démesurées et fortement visible de tous côtés, qui ne s'accompagnait d'aucune mesure d'intégration spécifique, présentait un aspect particulièrement incongru en bordure d'un quartier construit d'immeubles de taille moyenne voués principalement à l'habitation, ce qui la rendait particulièrement insatisfaisante sur le plan esthétique. C. Agissant par la voie du recours en matière de droit public, Swisscom (Suisse) SA demande au Tribunal fédéral de réformer l'arrêt précité du Tribunal cantonal en ce sens que le recours des opposants contre les décisions du Service cantonal du 30 juillet 2009 et de la municipalité du 29 septembre 2009 est rejeté, dites décisions autorisant l'implantation d'une installation de téléphonie mobile à la route d'Yverdon 71, à Payerne, étant confirmées. La recourante se plaint d'une application arbitraire du droit cantonal et requiert la tenue d'une inspection locale. Le Tribunal cantonal ne s'est pas déterminé sur le recours. Le Service cantonal n'a pas de remarques particulières à formuler. La municipalité de Payerne propose l'admission du recours. Sans prendre de conclusions formelles, A._, agissant au nom du regroupement des opposants à l'antenne Swisscom du garage de l'aviation, rappelle que le regroupement n'est pas opposé au déploiement d'installations techniques de ce type, mais conteste plutôt le résultat et la forme sous laquelle ce projet a été élaboré; par courrier du 24 février 2011, il a réagi aux observations de la municipalité.