Faits: A. A._ et B._ sont copropriétaires, sur le territoire de la commune de Boudry, d'une parcelle de 4'811 m2, portant au registre foncier le n° 4874. Leurs parents les époux C._ sont usufruitiers de ce bien-fonds non bâti, qui se trouve dans le hameau du "Vieil Areuse". B. Les autorités de la commune de Boudry ont adopté le 14 juin 1976 (pour le conseil communal) et le 5 juillet 1978 (pour le conseil général) un plan d'aménagement communal et un règlement d'urbanisme. Ces plan et règlement sont entrés en vigueur après qu'ils ont été sanctionnés - c'est-à-dire approuvés - le 16 novembre 1979 par le Conseil d'Etat de la République et canton de Neuchâtel. D'après le plan d'aménagement, la parcelle n° 4874 est classée pour partie (soit à raison de 2'011 m2) en zone d'ancienne localité (ZAL) et pour le reste en zone rurale et forestière. La zone d'ancienne localité est définie aux art. 103 ss du règlement d'urbanisme (RU). L'art. 104 RU (note marginale: "mode de construction") a la teneur suivante: a) Ordre contigu: La zone de l'ancienne localité est caractérisée par une prédominance de l'ordre contigu. b) Ordre non-contigu: Dans les parties de la zone d'ancienne localité où l'on rencontre des constructions en ordre dispersé, l'implantation de nouvelles constructions est subordonnée à la présentation d'un plan de quartier. Les nouveaux bâtiments devront s'intégrer parfaitement aux immeubles voisins quant aux volumes, aux hauteurs et au style. Ils correspondront au caractère de la zone. Les arbres des parcs ayant une valeur esthétique seront conservés. La zone d'ancienne localité est divisée en plusieurs périmètres. Le secteur principal est celui de la ville de Boudry. Le hameau du Vieil Areuse constitue un autre secteur de cette zone. C. Les autorités communales ont adopté en 1995 un nouveau plan d'urbanisation ainsi qu'un nouveau règlement d'aménagement communal (RAC), qui sont entrés en vigueur le 21 juin 1996 (date de la publication de la sanction du Conseil d'Etat). La zone d'ancienne localité du hameau du Vieil Areuse est maintenue - et la partie nord de la parcelle n° 4874 demeure classée dans cette zone - mais l'art. 11.1.6 ch. 1 RAC prévoit désormais ce qui suit: Dans le secteur du Bourg, du Vieil Areuse, de Grandchamp et de Trois-Rods, la construction de nouveaux bâtiments est interdite. Seules les extensions telles que loggias ou vérandas, ou les annexes non habitables et facilement démontables telles que couverts ou appentis, d'une profondeur maximale de 2 m, sont autorisées sur l'arrière des bâtiments, pour autant qu'elles ne portent pas atteinte à la qualité architecturale du bâtiment et du site. Les nouveaux bâtiments sont en revanche autorisés, à certaines conditions, dans d'autres secteurs de la zone d'ancienne localité (art. 11.1.6 ch. 2 à 4 RAC). Ce plan confirme par ailleurs le classement du solde de la parcelle n° 4874 en zone non constructible (zone agricole, définie à l'art. 15 RAC). D. Par demande déposée le 20 décembre 1999 devant la Commission cantonale d'estimation en matière d'expropriation (ci-après: la Commission d'estimation), les copropriétaires et usufruitiers de la parcelle n° 4874 (ci-après: les consorts A._) ont conclu au paiement par la commune de Boudry d'une indemnité d'expropriation matérielle de 263'900 fr., parce que la modification du règlement communal en 1996 avait rendu inconstructible leur terrain classé dans la zone d'ancienne localité. La Commission d'estimation a rejeté la demande par une décision du 25 octobre 2001. Pour cette autorité, le terrain n'était pas immédiatement constructible sous l'empire de la réglementation communale de 1979, vu l'exigence de l'établissement préalable d'un plan de quartier. En outre, les propriétaires concernés n'avaient pas manifesté une intention de bâtir suffisamment concrète. E. Les consorts A._ ont recouru contre cette décision auprès du Tribunal administratif cantonal. Leur recours a été rejeté par un arrêt rendu le 5 février 2004. Le Tribunal administratif s'est référé pour l'essentiel à l'argumentation principale de la Commission d'estimation. Il a donc considéré qu'au moment déterminant, à cause de l'obligation d'établir un plan de quartier selon l'art. 104 let. b RU, le terrain litigieux n'était pas constructible dans un avenir proche, pour des motifs juridiques. L'arrêt retient encore que le dossier ne contient aucun élément dont on pourrait inférer que les recourants auraient pu échapper à une procédure d'établissement d'un plan de quartier, ou qu'une telle procédure aurait pu aboutir très rapidement de manière à permettre l'obtention d'un permis de construire à brève échéance. F. Agissant par la voie du recours de droit administratif, les consorts A._ demandent au Tribunal fédéral d'annuler l'arrêt du Tribunal administratif et de lui renvoyer la cause pour nouvelle décision. Ils se plaignent d'une violation des règles du droit fédéral relatives à l'expropriation matérielle (art. 26 al. 2 Cst., art. 5 al. 2 LAT [TD 700]), d'une inégalité de traitement (art. 8 Cst.) et de constatations de fait inexactes ou incomplètes voire arbitraires (art. 9 Cst.). Ils font valoir en substance que le défaut d'établissement d'un plan de quartier, dans le périmètre litigieux, ne serait pas seul décisif et que le Tribunal administratif aurait dû examiner d'autres éléments propres à démontrer soit la présence d'un déclassement ou d'un non-classement justifiant une indemnisation, soit l'existence d'un sacrifice particulier qu'exigerait d'eux la nouvelle réglementation de la zone d'ancienne localité. La commune de Boudry conclut au rejet du recours. Le Tribunal administratif se réfère à son arrêt. L'Office fédéral du développement territorial a renoncé à déposer une réponse. G. Le 17 novembre 2004, une délégation du Tribunal fédéral a procédé à une inspection locale, en présence des parties. Il a notamment été constaté que le hameau du Vieil Areuse regroupait plusieurs anciennes maisons de maître, et que son centre était formé de quelques constructions en ordre contigu. Le terrain des recourants est longé au nord par une voie publique (la rue Pierre-Beau) et il est situé entre un bâtiment avec jardin, sans caractéristiques particulières, à l'est, et une maison de maître entourée d'un vaste parc arborisé et dotée de quelques annexes, à l'ouest.