Faits: A. B._ est propriétaire des parcelles n° 353 (1202 m2) et n° 162 (1051 m2) du registre foncier de Buchillon (VD), sises en zone à bâtir. Ces parcelles résultent d'un fractionnement (division de parcelle) survenu en 1979, alors qu'elles étaient la propriété de C._, père de B._. Sur la parcelle n° 162 se trouvent une habitation et un garage, d'une surface totale de 220 m2. En 1980, la Municipalité de Buchillon (ci-après: la municipalité) avait expliqué à C._ que les constructions édifiées sur la parcelle n° 162 devaient disposer d'une surface de 1532 m2 pour respecter le coefficient d'occupation du sol et lui avait demandé d'intervenir auprès du registre foncier pour "régulariser le statut de la parcelle". Estimant qu'elle ne disposait d'aucun moyen pour imposer une correction de limite, la municipalité n'a pas entrepris d'autres démarches. B. Le 14 juin 2004, les époux A._, promettant-acquéreurs de la parcelle n° 353, ont déposé une demande d'autorisation de construire sur ce bien-fonds une maison individuelle de 109 m2. E._ et D._ ont formé opposition contre ce projet, en invoquant notamment l'irrégularité du fractionnement effectué en 1979. Par décision du 8 mars 2005, la municipalité a levé cette opposition et a délivré l'autorisation de construire sollicitée. Elle a considéré que le fractionnement était "conforme", dans la mesure où il était antérieur à un changement de la législation applicable. C. E._ et D._ ont recouru contre cette décision auprès du Tribunal administratif du canton de Vaud, qui a partiellement admis le recours par arrêt du 31 octobre 2005. En substance, le Tribunal a considéré qu'au moment du fractionnement, le règlement communal imposait d'attribuer une surface de 1532 m2 à la parcelle n° 162 et que, dans la mesure où cette surface n'était en réalité que de 1051 m2, il convenait de reporter l'insuffisance de surface de 481 m2 sur la parcelle n° 353 et de prendre en compte une surface de 721 m2 (1202 - 481) pour déterminer le coefficient d'occupation du sol de celle-ci. Compte tenu du fait que le coefficient maximal prévu par le règlement communal était de 1/8, le projet litigieux (109 m2) dépas- sait la limite (721 m2 x 1/8 = 90.1 m2) et ne pouvait être autorisé. Le Tribunal a également considéré que B._, qui connaissait cette situation, ne pouvait pas se prévaloir de sa bonne foi. D. Agissant par la voie du recours de droit public, B._ et les époux A._ demandent au Tribunal fédéral d'annuler cet arrêt. Ils invoquent une violation de la garantie de la propriété (art. 26 Cst.) et se plaignent d'une application rétroactive et arbitraire de l'art. 83 de la loi cantonale du 4 décembre 1985 sur l'aménagement du territoire et les constructions (LATC; RS/VD 700.11). Ils invoquent également une violation des principes de la bonne foi, de la sécurité du droit et de l'interdiction de l'abus de droit (art. 9 Cst.). D._ et E._ concluent au rejet du recours. La Municipalité de Buchillon a renoncé à présenter des observations. Le Tribunal administratif se réfère à son arrêt et conclut au rejet du recours. Sans y être invités, les époux A._ ont déposé des observations complémentaires, qui ne contiennent aucun fait ou argument nouveau pertinent.