Faits: A. Le 13 juillet 2009, la Commune d'Epesses a déposé une demande de permis de construire tendant à la transformation d'un ancien local du feu dont elle est propriétaire sur la parcelle n° 174, en local artisanal ou commercial. Le bâtiment, d'une surface au sol de 44 m2, est situé en zone de village (bâtiment à conserver "B") à la jonction entre la route cantonale (route de la Corniche) et la ruelle du Petit-Crêt, en tête d'îlot. Le projet comporte la réalisation d'un sous-sol (rangement et chaufferie), la transformation du rez par le percement d'une porte et d'une vitrine de 1,6 x 1 m du côté de la route cantonale, l'ajout d'une porte de service au sud, ainsi que l'installation d'un auvent au-dessus de l'entrée principale à l'est, avec deux bornes situées de part et d'autre de cette entrée. L'étage (bureau et sanitaires) serait surélevé de 45 cm pour l'isolation et le chauffage. Le 17 décembre 2009, la Municipalité d'Epesses a accordé le permis et levé les oppositions formées par A._ et B._ (propriétaires de la parcelle n° 1058 située au sud du n° 174) ainsi que par C._ et D._ (propriétaires de la parcelle n° 173, mitoyenne à l'ouest). B. Par arrêt du 18 octobre 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois a très partiellement admis le recours formé par les opposants contre cette décision. Compte tenu de la surface de vente (moins de 50 m2), l'art. 50 du règlement du plan d'extension partiel du village (RPPA) exigeait le paiement d'une contribution compensatoire de 10'000 fr. équivalant à deux places de stationnement; le permis de construire devait donc être assorti de cette condition. Les ouvertures prévues (cinq grandes fenêtres à claies au premier étage) correspondaient aux ouvertures actuelles. La porte prévue au nord était de grandeur courante, conformément au règlement, et la vitrine était justifiée par l'usage du bâtiment; celui-ci s'en trouvait esthétiquement amélioré. Le rehaussement de la toiture était également admissible. L'auvent (d'une profondeur de 1,2 m) et les deux bornes ne gênaient pas la circulation; l'empiètement sur le domaine public ne nécessitait pas l'inscription d'un droit de précarité, mais le versement d'une taxe annuelle. La commune en était toutefois dispensée par confusion, dès lors qu'elle en était également créancière. C. A._, B._, C._ et D._ forment un recours en matière de droit public par lequel ils demandent la réforme de l'arrêt cantonal en ce sens que le permis de construire est annulé et la cause renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens. Subsidiairement, ils concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause pour nouvelle décision dans le sens des considérants. La cour cantonale a renoncé à se déterminer. La Commune d'Epesses conclut au rejet du recours en tant qu'il est recevable. Les recourants ont répliqué et persisté dans leurs conclusions. L'effet suspensif a été accordé par ordonnance du 16 décembre 2010.