Faits: A. Au mois de juillet 2003, l'Administration fédérale des contributions (AFC) a ouvert une enquête contre A._, son épouse B._ et leur société C._, pour soustraction d'impôt et délits fiscaux. Le 17 septembre 2003, l'AFC a ordonné le séquestre, auprès d'établissements financiers, de toutes les valeurs dont les inculpés pouvaient être titulaires ou ayants droit. Le séquestre a notamment porté sur les avoirs de D._ et de la Fondation X._, toutes deux au Liechtenstein, pour un montant de quelque 10 millions de francs. Le 21 septembre 2006, la Division d'enquêtes fiscales spéciales a rendu son rapport, concluant à l'existence d'actes de soustraction d'impôts au moyen notamment de l'intervention de D._ comme société-écran, et à des frais fictifs de sous-traitance. Les fonds dégagés auraient été versés en grande partie sur des comptes détenus par la Fondation X._. L'enquête close, le rapport d'enquête a été remis à l'administration cantonale vaudoise des impôts (ACI). Celle-ci a rendu, le 11 octobre 2007, des décisions de rappels d'impôts et des prononcés d'amendes à l'endroit des époux A._ et B._ (1'268'300 fr. d'IFD pour 1995 à 2002, et 1'443'500 fr. d'amende; 1'886'880 fr. d'impôts cantonaux et communaux pour 1999 à 2002, et 2'034'700 fr. d'amende) et de C._ (892'424 fr. d'IFD pour 1995 à 2002 et 1'047'300 fr. d'amende; 1'499'150 fr. d'impôts cantonaux et communaux pour 1999 à 2002 et 1'606'100 fr. d'amende). Les réclamations formées contre ces prononcés ont été rejetées le 4 décembre 2008 par l'ACI. Les intéressés ont recouru auprès de la Cour de droit administratif et public du Tribunal cantonal vaudois. B. Le 5 décembre 2008, l'ACI a formé une demande de sûretés à l'encontre des époux A._ et B._ et de C._. Cette demande concerne les rappels et amendes pour l'impôt fédéral direct et pour les impôts communaux et cantonaux pour les périodes fiscales concernées par les décisions du 11 octobre 2007, ainsi que pour les années 2003 à 2006. Une ordonnance de séquestre a été rendue le même jour, portant sur tous les avoirs des débiteurs à leur domicile et dans les banques de Genève, Zurich, Morges et Lausanne, ainsi qu'au siège de C._. C. Le 3 juillet 2009, puis le 15 janvier 2010, les époux A._ et B._ et C._ ont demandé à la Division affaires pénales et enquêtes de l'AFC (DAPE) la levée des séquestres ordonnés en 2003, relevant que la cause était désormais du ressort des autorités cantonales. Par décision formelle du 29 janvier 2010, la DAPE a rejeté la demande. L'existence de sûretés au niveau cantonal n'obligeait pas à renoncer aux séquestres ordonnés par l'autorité fédérale; seul le juge du fond pourrait se prononcer définitivement. D. Par arrêt du 25 mai 2010, la Ire Cour des plaintes du Tribunal pénal fédéral a partiellement admis la plainte formée notamment par les époux A._ et B._ et C._, en ordonnant à l'AFC de leur restituer les documents se trouvant encore en sa possession. S'agissant en revanche des séquestres d'avoirs bancaires, l'enquête reposait sur des soupçons suffisants, comme cela ressortait du rapport d'enquête et des décisions rendues par l'ACI. Les décisions de rappel d'impôt permettaient de mieux déterminer les montants dus par le couple A._ et B._; elles n'étaient toutefois pas définitives, une reformatio in peius n'étant notamment pas exclue. Les montants bloqués, en tout cas pour les époux A._ et B._, étaient inférieurs aux sommes dues en lien avec l'IFD. Les sûretés ne couvraient pas l'éventuelle amende pour les délits d'usage de faux. Compte tenu de ces incertitudes, les séquestres ne devaient pas être levés à tout le moins jusqu'à l'entrée en force des décisions de rappels d'impôts. Les plaignantes invoquaient leur situation financière difficile, mais l'argument n'était pas documenté. E. Par acte du 28 juin 2010, les époux A._ et B._ et C._ forment un recours en matière pénale. Ils demandent l'annulation des ch. 3 et 4 du dispositif de l'arrêt attaqué (les ch. 2 et 5 n'étant pas contestés) et la levée des séquestres ordonnés en 2003. Subsidiairement, ils concluent au renvoi de la cause à la Cour des plaintes pour nouvel arrêt. La Cour des plaintes se réfère à son arrêt. L'AFC conclut au rejet du recours. Les recourants ont répliqué.