Faits: A. Le 3 juin 2007, une élection s'est déroulée dans la commune de Vernier (GE) pour la désignation d'un membre du conseil administratif (exécutif). A._, candidat du parti E._ a été élu avec 2'474 voix, soit 40,54% des suffrages valables. Ont également obtenu des voix C._ (2'290 voix - 37,52%) et F._ (1'339 voix - 21,94%). Le 6 juin 2007, B._, citoyenne de la commune de Vernier, a recouru contre la régularité de cette élection auprès du Tribunal administratif du canton de Genève. Elle alléguait en particulier que des représentants du parti E._ s'étaient rendus chez les électeurs et s'étaient fait remettre leur matériel de vote lorsque ceux-ci avouaient ne pas l'utiliser. Le 11 juin 2007, C._ et l'Association D._ ont également déposé un recours en alléguant notamment que des bulletins et des cartes d'électeurs signées avaient été récoltés directement chez les électeurs. B. Le 12 juin 2007, le Procureur général du canton de Genève a ordonné l'ouverture d'une instruction pénale contre inconnu, pour captation de suffrages au sens de l'art. 282bis CP. Le 19 septembre 2007, le juge d'instruction en charge du dossier a inculpé A._ de fraude électorale (art. 282 CP), de captation de suffrage (art. 282bis CP) et, subsidiairement, d'infraction à l'art. 183 de la loi cantonale sur l'exercice des droits politiques (LEDP; RS/GE A 5 05). C. Par arrêt du 5 février 2008, le Tribunal administratif a admis les recours et a annulé l'élection du 3 juin 2007. En substance, il a considéré que le résultat de cette élection n'était pas l'expression fidèle et sûre de la volonté des électeurs au sens de l'art. 34 Cst. Il s'est fondé sur une impression d'ensemble du scrutin, en retenant notamment les éléments suivants: Avant le scrutin litigieux, des personnes qui n'ont pas pu être identifiées se sont présentées chez des électeurs pour collecter leur matériel de vote, en leur faisant préalablement signer leur carte d'électeur - voire également celles d'autres membres de leur famille - de sorte que les électeurs concernés ne pouvaient pas savoir sur quel candidat leur suffrage serait reporté. Dans certains cas, les individus en question faisaient croire aux électeurs dupés qu'ils agissaient ainsi pour le compte des autorités communales. Ces opérations paraissent s'être déroulées principalement dans des quartiers où vivent de nombreux électeurs d'origine étrangère, exerçant pour la première fois leur droit de vote et peu informés du système électoral suisse. D. Le 14 mars 2008, le Procureur général a ordonné le classement de la procédure pénale. Il constatait que des infractions contre la volonté populaire avaient pu être démontrées mais que leurs auteurs n'avaient pas pu être identifiés. E. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif. Il se plaint d'arbitraire (art. 9 Cst.) et de violation des droits politiques (art. 34 Cst.). Il requiert en outre l'octroi de l'effet suspensif. Le Tribunal administratif et la Commune de Vernier ont renoncé à présenter des observations. Le Conseil d'Etat du canton de Genève ainsi que B._, C._ et l'Association D._ se sont déterminés; ils concluent au rejet du recours. Le parti E._ s'est également déterminé et conclut à l'admission du recours. F. Par ordonnance du 22 avril 2008, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif.