Faits:
A. Le 13 juillet 2009, la Commune d'Epesses a déposé une demande de permis de construire tendant à la transformation d'un ancien local du feu dont elle est propriétaire sur la parcelle n° 174, en local artisanal ou commercial. Le bâtiment, d'une surface au sol de 44 m2, est situé en zone de village (bâtiment à conserver "B") à la jonction entre la route cantonale (route de la Corniche) et la ruelle du Petit-Crêt, en tête d'îlot. Le projet comporte la réalisation d'un sous-sol (rangement et chaufferie), la transformation du rez par le percement d'une porte et d'une vitrine de 1,6 x 1 m du côté de la route cantonale, l'ajout d'une porte de service au sud, ainsi que l'installation d'un auvent au-dessus de l'entrée principale à l'est, avec deux bornes situées de part et d'autre de cette entrée. L'étage (bureau et sanitaires) serait surélevé de 45 cm pour l'isolation et le chauffage.
Le 17 décembre 2009, la Municipalité d'Epesses a accordé le permis et levé les oppositions formées par A._ et B._ (propriétaires de la parcelle n° 1058 située au sud du n° 174) ainsi que par C._ et D._ (propriétaires de la parcelle n° 173, mitoyenne à l'ouest).
B. Par arrêt du 18 octobre 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois a très partiellement admis le recours formé par les opposants contre cette décision. Compte tenu de la surface de vente (moins de 50 m2), l'art. 50 du règlement du plan d'extension partiel du village (RPPA) exigeait le paiement d'une contribution compensatoire de 10'000 fr. équivalant à deux places de stationnement; le permis de construire devait donc être assorti de cette condition. Les ouvertures prévues (cinq grandes fenêtres à claies au premier étage) correspondaient aux ouvertures actuelles. La porte prévue au nord était de grandeur courante, conformément au règlement, et la vitrine était justifiée par l'usage du bâtiment; celui-ci s'en trouvait esthétiquement amélioré. Le rehaussement de la toiture était également admissible. L'auvent (d'une profondeur de 1,2 m) et les deux bornes ne gênaient pas la circulation; l'empiètement sur le domaine public ne nécessitait pas l'inscription d'un droit de précarité, mais le versement d'une taxe annuelle. La commune en était toutefois dispensée par confusion, dès lors qu'elle en était également créancière.
C. A._, B._, C._ et D._ forment un recours en matière de droit public par lequel ils demandent la réforme de l'arrêt cantonal en ce sens que le permis de construire est annulé et la cause renvoyée à la cour cantonale pour nouvelle décision sur les frais et dépens. Subsidiairement, ils concluent à l'annulation de l'arrêt cantonal et au renvoi de la cause pour nouvelle décision dans le sens des considérants.
La cour cantonale a renoncé à se déterminer. La Commune d'Epesses conclut au rejet du recours en tant qu'il est recevable.
Les recourants ont répliqué et persisté dans leurs conclusions.
L'effet suspensif a été accordé par ordonnance du 16 décembre 2010.

Considérant en droit:
1. Dirigé contre une décision finale prise en dernière instance cantonale dans le domaine du droit public des constructions, le recours est recevable comme recours en matière de droit public selon les art. 82 ss.
Les recourants ont pris part à la procédure de recours devant la cour cantonale. En tant que propriétaires de parcelles voisines, ils sont particulièrement touchés par l'arrêt attaqué confirmant l'octroi du permis de construire contesté. Ils peuvent ainsi se prévaloir d'un intérêt personnel et digne de protection à l'annulation de l'arrêt attaqué. Ils disposent donc de la qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité du recours en matière de droit public sont par ailleurs réunies de sorte qu'il y a lieu d'entrer en matière.
2. Se plaignant d'arbitraire, les recourants estiment que le projet litigieux serait contraire aux art. 7 let. c, 14 et 15 RPPA. La nécessité d'une vitrine ne serait pas actuellement démontrée, en particulier si les locaux devaient être occupés par un artisan contraint de condamner la vitrine ou par un commerçant y adossant des rayonnages.
2.1 Selon l'art. 7 RPPA, applicable à la zone de bâtiments à conserver "A", la municipalité peut autoriser les transformations de façades suivantes:
a) Percements de grandeur courante (fenêtres, portes normales):
des percements nouveaux ou des modifications de percements existants, pour autant qu'ils respectent les dimensions des ouvertures, les matériaux et le style du bâtiment et que le rapport des pleins et des vides du bâtiment soit équilibré. Les travaux doivent également s'harmoniser avec les façades des bâtiments voisins.
c) Ouvertures en relation avec l'activité viticole:
des percements nouveaux de plus grandes dimensions, à condition qu'ils découlent d'un besoin objectivement fondé, lié à l'activité viticole du bâtiment, qu'aucune autre solution acceptable ne permette de faire face au besoin et que la solution architecturale proposée soit compatible avec l'architecture du bâtiment et des bâtiments voisins. Les vitrines à usage professionnel ainsi que les entrées pour garages à voitures sont assimilables à ces ouvertures. Les nouvelles entrées pour véhicules lourds sont interdites.
Les art. 14 et 15 RPPA, applicables aux bâtiments à conserver "B", imposent leur maintien dans leur volumétrie, architecture et aspect général. Ils ne peuvent être agrandis, sous réserve des art. 15 et 16. Selon l'art. 15 RPPA, les agrandissements suivants peuvent être autorisés:
a) en façade, percement de grandeur courante (fenêtres, portes),
b) adjonctions de minime importance,
pour autant qu'ils s'harmonisent avec l'architecture du bâtiment et qu'ils ne perturbent pas l'équilibre des façades.
c) les articles 7 c, 9 a et b sont applicables.
2.2 Le Tribunal fédéral revoit l'interprétation et l'application du droit cantonal, respectivement du droit communal, sous l'angle de l'arbitraire. Il ne s'écarte de la solution retenue que si celle-ci se révèle insoutenable, en contradiction manifeste avec la situation effective, ou si elle a été adoptée sans motifs objectifs et en violation d'un droit certain. En revanche, si l'interprétation défendue par la cour cantonale ne s'avère pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle sera confirmée, même si une autre solution paraît également concevable, voire même préférable (<ref-ruling> consid. 2.4 p. 5 et les arrêts cités).
2.3 La transformation requise a pour but d'affecter le bâtiment à une activité commerciale ou artisanale. Cela est autorisé à l'art. 7 let. c RPPA. La création d'une vitrine paraît, selon l'expérience générale, nécessaire pour des locaux destinés à une activité de type commercial ou artisanal. Telle qu'elle se présente actuellement, la façade nord du bâtiment est totalement impropre à ce genre d'usage puisqu'elle est pratiquement borgne, le niveau du rez ne présentant que deux petites meurtrières. L'argumentation des recourants repose sur le fait que l'on ignore quelle sera l'utilisation définitive du bâtiment. Il n'y a toutefois pas lieu de douter que la commune pourra, en tant que propriétaire, veiller à ce que le bâtiment sera bien utilisé selon l'affectation prévue. Dans son préavis, la Section Monuments et Sites du Service cantonal Immeubles, Patrimoine et Logistique relève que l'immeuble est bien intégré dans son environnement, jouant un rôle important en tête d'îlot. Il ne dispose toutefois pas de qualités architecturales particulières. Selon ce même préavis, les modifications apportées en façade au rez-de-chaussée "tendent également vers une amélioration par rapport à la situation existante". Compte tenu de l'opinion émise par le service spécialisé, le projet apparaît conforme au but de protection posé aux art. 14 et 15 RPPA. Le grief doit par conséquent être écarté.
3. Les recourants se plaignent aussi d'une application arbitraire de l'art. 45 al. 3 RPPA, disposition qui prévoit que les volumes construits en anticipation sur le domaine public doivent faire l'objet d'une taxe et/ou d'une inscription d'un droit de précarité. Ils estiment que l'auvent prévu au-dessus de l'entrée principale et les deux bornes situées à l'aplomb de ses angles seraient dangereux pour la circulation. Le jugement attaqué retient qu'en cas de problème de circulation, la commune pourrait y renoncer. Les recourants estiment que l'inscription d'un droit de précarité - doublée d'une taxe annuelle - s'imposait dans ce cas, pour éviter qu'un futur acquéreur ne puisse s'opposer à la suppression de l'ouvrage et faire valoir des droits acquis contre le paiement de la taxe.
3.1 Il n'est pas contesté que l'auvent et les deux bornes sont destinés à protéger la clientèle du magasin. La cour cantonale s'est rendue sur place et a constaté que cet aménagement ne serait pas dangereux pour les usagers de la route et ne gênerait pas gravement la circulation à cet endroit. Les recourants ne tentent pas de démontrer que cette appréciation de fait serait manifestement inexacte au sens de l'<ref-law>. La lecture des plans vient confirmer l'existence d'un dégagement suffisant au débouché de la ruelle du Petit-Crêt sur la route cantonale. La commune, actuellement propriétaire, a par ailleurs clairement déclaré qu'elle entendait conserver l'immeuble et qu'en cas de gène pour la circulation, elle serait disposée à enlever l'aménagement litigieux. Les recourants seront donc à même, en cas de problèmes avérés, de le faire rapidement constater et d'exiger une remise en conformité. Dans ces conditions, il n'était pas arbitraire de renoncer à l'inscription d'un droit de précarité, ainsi qu'au paiement de la taxe d'empiètement.
3.2 Sur ce dernier point, l'arrêt attaqué retient à juste titre qu'au contraire de la taxe de remplacement pour les places de parc, affectée à un but précis, la taxe annuelle d'empiètement serait versée à la caisse communale, de sorte qu'il y aurait extinction de la dette par confusion. Contrairement à ce que soutiennent les recourants, on ne voit pas en quoi l'absence de mention de la taxe dans le permis de construire empêcherait sa perception ultérieure en cas de changement de propriétaire. L'arrêt attaqué ne souffre d'aucun arbitraire sur ce point également.
4. Sur le vu de ce qui précède, le recours doit être rejeté. Conformément aux art. 66 al. 1 et 68 al. 1 et 3 LTF, les frais judiciaires sont mis à la charge des recourants, de même qu'une indemnité de dépens allouée à la Commune d'Epesses, laquelle a agi dans la présente cause en tant que propriétaire.

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge des recourants.
3. Une indemnité de dépens de 2'000 fr. est allouée à la Commune d'Epesses, à la charge solidaire des recourants.
4. Le présent arrêt est communiqué au mandataire des recourants, à la Commune d'Epesses et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public.
Lausanne, le 27 juin 2011
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Le Greffier:
Aemisegger Kurz