Faits: A. B._ et A._ sont propriétaires de la parcelle n° 434 de la commune de Saint-George. D'une surface de 1'353 mètres carrés, cette parcelle non bâtie, de forme triangulaire, est délimitée au nord et à l'ouest par le chemin de la Viborne, au sud par le chemin des Tattes aux Boeufs et à l'est par les parcelles nos 598 et 600, dont E._ est propriétaire, respectivement copropriétaire. Elle est classée dans la zone de construction de type "chalet" régie par les art. 3 et ss du règlement communal sur le plan d'extension partiel "Est" (RC) approuvé par le Conseil d'Etat du canton de Vaud le 5 novembre 1980. Du 14 novembre au 13 décembre 2007, B._ et A._ ont mis à l'enquête publique un projet de construction d'une maison individuelle avec garage intérieur double et deux places de parc extérieures sur la parcelle n° 434. De forme trapézoïdale, le bâtiment comprendrait un sous-sol, un rez-de-chaussée et un étage de combles coiffé d'un toit à deux pans recouvert d'un placage de zinc et de titane, avec une hauteur au faîte de 9,20 mètres. Les façades aval et amont présenteraient des longueurs respectives de 23,65 mètres et 9,72 mètres. Ce projet a notamment suscité les oppositions de E._ et de C._ et D._, propriétaires d'une parcelle bâtie de l'autre côté du chemin de la Viborne. Par décisions du 23 janvier 2008, la Municipalité de Saint-George a délivré l'autorisation de construire sollicitée et levé les oppositions. Les époux C._ et D._ et E._ ont recouru contre ces décisions auprès de la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal ou la cour cantonale). Le 8 avril 2008, les constructeurs ont présenté un projet réduit impliquant une diminution de la surface de la terrasse du rez-de-chaussée et la suppression du décrochement en façade est. La Municipalité de Saint-George s'est déclarée favorable à ce nouveau projet et l'a dispensé d'une enquête publique complémentaire. Les opposants ont déclaré maintenir leur recours. Statuant par arrêt du 3 septembre 2008, le Tribunal cantonal a admis le recours et annulé les décisions municipales du 23 janvier 2008. Il a estimé en substance que le projet n'était pas admissible sous l'angle des règles tendant à garantir l'esthétique et l'intégration des nouvelles constructions dans la zone considérée. B. Agissant par la voie du recours en matière de droit public, B._ et A._ demandent au Tribunal fédéral d'annuler cet arrêt, respectivement de le réformer "en ce sens que le projet réduit des constructeurs du 8 avril 2008 est favorisé d'un permis de construire définitif, toutes oppositions étant écartées". Ils font valoir une violation de leur droit de propriété, de l'interdiction de l'arbitraire dans l'application du droit cantonal et/ou communal et de l'autonomie communale. Le Tribunal cantonal conclut au rejet du recours et la Commune de Saint-George à son admission. E._ et les époux C._ et D._ proposent de le rejeter dans la mesure où il est recevable, ces derniers demandant le bénéfice de l'assistance judiciaire.