Faits :
A.
Sur autorisation de la Cheffe du Département fédéral des finances, l'Administration fédérale des contributions (ci-après: AFC) mène une enquête à l'encontre de A._ pour graves infractions fiscales au sens de l'art. 190 al. 2 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11). Dans ce cadre, elle a ordonné, les 25 et 27 novembre 2013, des perquisitions et divers séquestres, notamment sur des immeubles à Genève et à Montana (avec restriction du droit d'aliéner), ainsi que sur les avoirs bancaires dont A._ est titulaire ou ayant droit économique auprès de différents établissements bancaires genevois.
Les 2, 5, 16 et 19 décembre 2013, A._, ainsi que son épouse et diverses sociétés, ont saisi le directeur de l'AFC de plaintes tendant en substance à la levée des séquestres; ces plaintes ont été transmises à la Cour des plaintes du Tribunal pénal fédéral (TPF).
B.
Par décision du 10 juin 2014, le TPF a rejeté les plaintes dans la mesure où elles étaient recevables et non privées d'objet. Joignant les procédures concernant les époux A._ à l'exception des autres plaignants, la Cour des plaintes a estimé que l'épouse n'avait plus d'intérêt actuel à contester le blocage de ses deux comptes bancaires puisque celui-ci avait été levé les 3 et 6 décembre 2013. A._ ne pouvait s'en prendre qu'aux séquestres concernant les comptes dont il était le titulaire et les immeubles dont il était le propriétaire. Les questions relatives à la mise sous scellés échappaient à la cognition de la cour car elles n'avaient pas fait l'objet d'une décision préalable. La Cour des plaintes a ensuite constaté que, sur la base des éléments relevés par l'AFC, il se pouvait que les économies d'impôts réalisées par le plaignant - environ 20 millions de francs, intérêts non compris - puissent avoir servi à alimenter les comptes bloqués, respectivement à financer les immeubles séquestrés. Le séquestre, portant sur 25 millions de francs au total, respectait en conséquence le principe de proportionnalité.
C.
Par acte du 10 juillet 2014, A._ (ci-après: le recourant), B._, C._ et D._ (ci-après: les recourantes) forment un recours en matière pénale contre cette décision, concluant à son annulation ainsi qu'à celle des ordonnances de séquestre du 27 novembre 2013 concernant les immeubles et avoirs bancaires dont A._ est titulaire ou ayant droit. A titre subsidiaire, ils demandent que les séquestres soient limités à une valeur n'excèdant pas 5'278'258 fr. et que soient levés les séquestres frappant les avoirs suivants: ceux de B._ et de C._ auprès de la banque E._ SA; ceux de A._ auprès de la banque F._ SA; ceux de A._ et de D._ auprès de G._ SA dans la mesure où le montant excède 976'748.87 fr.; les immeubles de A._ en Valais et à Genève.
La Cour des plaintes persiste dans les termes de sa décision, renonçant à formuler des observations. L'AFC conclut au rejet du recours dans la mesure où il est recevable. Le 15 janvier 2015, les recourants ont persisté dans leurs conclusions. L'AFC et le TPF ont renoncé à des déterminations complémentaires.

Considérant en droit :
1.
Selon l'art. 78 al. 1 LTF, le recours est recevable contre les décisions rendues en matière pénale, notamment par la Cour des plaintes du TPF si elle porte sur une mesure de contrainte (art. 79 LTF). Tel est le cas d'une décision de séquestre fondée sur l'art. 46 de la loi fédérale sur le droit pénal administratif (DPA, RS 313.0; <ref-ruling> consid. 1 p. 147; arrêt 1B_785/2012 du 16 octobre 2013 consid. 2).
1.1. Selon l'art. 81 al. 1 LTF, a qualité pour former un recours en matière pénale quiconque a pris part à la procédure devant l'autorité précédente ou a été privé de la possibilité de le faire (let. a) et a un intérêt juridique à l'annulation ou à la modification de la décision attaquée (let. b).
En l'espèce, le jugement attaqué ne mentionne, comme parties, que A._ et son épouse. Si l'autorité précédente a relevé que les différentes plaintes déposées concernaient d'autres personnes que les deux susmentionnées, elle a aussi clairement indiqué que sa décision ne traiterait que des plaintes formées par le couple A._, la jonction des causes n'allant pas au-delà (cf. consid. 1.2 de l'arrêt attaqué). Les trois sociétés recourantes ne remettent pas en cause l'arrêt attaqué sur ce point. Ce n'est que dans les déterminations du 15 janvier 2015 que deux d'entre elles soutiennent avoir été privées du droit de participer à la procédure devant l'autorité précédente, la troisième relevant qu'elle figurait dans certains actes de procédure; ces allégations et griefs apparaissent toutefois tardifs et, partant irrecevables. Au demeurant, force est de constater que les sociétés recourantes ne figurent dans aucune des plaintes qui ont été traitées par le TPF. Elles ne disposent par conséquent pas de la qualité pour recourir au sens de l'art. 81 al. 1 let. a LTF et leur recours est donc irrecevable.
A._ doit en revanche se voir reconnaître la qualité pour recourir en tant qu'il est titulaire de certains des comptes bancaires séquestrés (<ref-ruling> consid. 1.3 p. 282 s.), ainsi que propriétaire des immeubles saisis (art. 81 al. 1 LTF). Il ne peut en revanche se prévaloir de sa simple qualité d'ayant droit économique, de bénéficiaire d'un pouvoir de signature ou d'une procuration pour demander la levée des séquestres frappant les comptes de tiers (arrêt 1B_94/2012 du 2 avril 2012 consid. 2).
1.2. La décision ordonnant un séquestre fondé sur le droit pénal administratif constitue une décision incidente (<ref-ruling> consid. 1 p. 131; <ref-ruling> consid. 1b p. 100 et les références). Selon la jurisprudence, le séquestre de valeurs patrimoniales ou de biens immobiliers cause en principe un dommage irréparable au sens de l'art. 93 al. 1 let. a LTF, car le détenteur se trouve privé temporairement de la libre disposition des biens saisis (ATF <ref-ruling> consid. 1b p. 101; voir également <ref-ruling> consid. 4 p. 141; <ref-ruling> consid. 1 p. 131).
1.3. Pour le surplus, le recours a été déposé en temps utile (art. 100 al. 1 LTF) et les conclusions qui y sont prises sont recevables (art. 107 al. 2 LTF). Il y a donc lieu d'entrer en matière, dans la mesure précisée ci-dessus.
2.
Le recourant renonce à ce stade à contester l'existence de soupçons graves d'infractions fiscales. Se référant notamment aux art. 9 Cst., 95 et 97 LTF, il soutient en revanche que le montant retenu par l'autorité précédente à titre de revenus non déclarés (54'231'872 fr.) serait erroné; l'ensemble des revenus en question (soit 9'553'278 fr. de dividendes exceptionnels de 2004 à 2008, 30'000'000 fr. d'actions gratuites, et 6'344'615 fr. d'options octroyées) devrait s'élever à 45'897'894 fr.; les éventuelles prétentions du fisc, censées garanties par les séquestres contestés, devraient donc être réduites d'autant.
2.1. Selon l'art. 46 DPA, l'enquêteur met sous séquestre, notamment, les objets ou valeurs qui seront vraisemblablement confisqués (let. b) ainsi que les dons et autres avantages qui seront dévolus à l'Etat. A l'instar de toute mesure provisionnelle (cf. en matière de procédure pénale l'art. 263 CPP), le séquestre prévu par cette disposition est fondé sur la vraisemblance et doit être maintenu aussi longtemps que subsiste une possibilité de confiscation. Compte tenu du caractère encore incertain des prétentions en cause et de la rapidité avec laquelle l'autorité d'enquête doit agir, celle-ci n'a pas à résoudre des questions juridiques complexes ni à attendre d'être renseignée de manière exacte et complète sur les faits, puisque ce n'est que dans le cadre du jugement au fond que le sort des avoirs séquestrés sera définitivement fixé (<ref-ruling> consid. 4.1 p. 61).
2.2. L'arrêt attaqué semble effectivement contenir une erreur de calcul: le montant de 9'553'278 fr., représentant le total des dividendes exceptionnels non déclarés, est pris en compte à double. Cette inadvertance est toutefois sans conséquence déterminante sur l'issue de la cause, car la Cour des plaintes ne mentionne ces montants qu'à titre indicatif et a repris dans sa motivation le total des quelque 54 millions de francs mentionnés par l'AFC. L'arrêt attaqué ne mentionne pas, en effet, un montant de 8'388'639 fr. versé en faveur d'un trust dont le recourant est le settlor et bénéficiaire, sans pour autant que ce montant ait été considéré comme injustifié par la Cour des plaintes. L'évaluation des montants non déclarés correspond donc pour l'essentiel à celle de l'AFC et ne saurait être qualifiée de manifestement erronée dans son résultat (voir au surplus consid. 5.2).
3.
Le recourant reproche ensuite au TPF une interprétation arbitraire des art. 46 DPA et 70 CP pour avoir retenu que les économies d'impôts réalisées auraient pu servir au financement de quatre immeubles, acquis en 1997, 1998 et 2003, alors que les éventuelles infractions auraient été commises dès 2004.
Si la juridiction précédente n'a pas exclu que des confiscations pénales (art. 70 CP) puissent être ordonnées pour justifier les séquestres des immeubles (art. 46 DPA), elle a également évoqué la possibilité de créances compensatrices, mesures envisageables lorsque les valeurs patrimoniales résultant de l'infraction ne sont plus disponibles (cf. art. 71 CP). Contrairement à ce que soutient le recourant, de telles mesures ne sont pas exclues par le droit pénal administratif (cf. par exemple l'art. 66 al. 1 DPA). Cela résulte en particulier du renvoi prévu à l'art. 2 DPA aux dispositions générales du code pénal lorsque le DPA ou une autre loi administrative n'en dispose pas autrement. Par conséquent, on ne saurait exclure une application de l'art. 71 CP (arrêt 1B_785/2012 du 16 octobre 2013 consid. 5 et 7.4), l'alinéa 3 de cette disposition permettant le séquestre conservatoire des valeurs patrimoniales sans lien de connexité avec les éléments faisant l'objet de l'instruction pénale (<ref-ruling> consid. 4.1.2 p. 62 s.).
C'est donc sans arbitraire ni violation du droit fédéral que la Cour des plaintes pouvait, à ce stade de la procédure, confirmer le séquestre sur les immeubles du recourant, indépendamment de leur date d'acquisition respective.
4.
Le recourant estime que les biens appartenant à des tiers (soit les trois sociétés recourantes) auraient été arbitrairement saisis, et que la Cour des plaintes aurait violé le droit d'être entendu en ne statuant pas à ce sujet. Comme cela est relevé ci-dessus, les trois sociétés concernées n'ont pas qualité pour agir et pouvaient également être écartées de la procédure devant l'instance précédente. Les griefs soulevés à cet égard n'avaient dès lors pas à être traités, le recourant n'indiquant au demeurant pas quel serait son intérêt juridique à agir pour la défense de sociétés tierces (cf. consid. 1.1).
5.
Le recourant se plaint enfin d'une violation du principe de proportionnalité (art. 5 et 36 al. 3 Cst.) et de la garantie de la propriété. Il prétend à cet égard que le montant du séquestre ne pourrait excéder le montant éventuellement dû à titre d'impôt fédéral direct.
5.1. Lorsqu'il existe notamment un soupçon fondé de graves infractions fiscales, le chef du Département des finances peut autoriser l'AFC à mener une enquête en collaboration avec les administrations fiscales cantonales (art. 190 al. 1 LIFD). La procédure à suivre dans un tel cas est celle posée aux art. 19 à 50 DPA (art. 191 al. 1 LIFD). L'AFC agit en collaboration avec les autorités fiscales cantonales (<ref-ruling> consid. 5.2.3 p. 149). Après la clôture de l'enquête, l'AFC établit un rapport (art. 193 LIFD). Si l'administration conclut à la commission d'une soustraction d'impôt au sens des art. 175 et 176 LIFD, elle requiert de l'autorité cantonale compétente en matière d'impôt fédéral direct d'engager la procédure en soustraction (art. 194 al. 1 LIFD); si la question d'un délit au sens de l'art. 186 LIFD se pose, l'AFC le dénonce auprès de l'autorité pénale compétente (art. 194 al. 2 LIFD; <ref-ruling> consid. 5.3 p. 149 s.).
Le législateur a ainsi clairement voulu une collaboration entre l'administration fédérale et les autorités cantonales et communales (cf. également art. 3 de l'Ordonnance du 31 août 1992 sur les mesures spéciales d'enquête de l'AFC, RS 642.132). Selon la jurisprudence, il en résulte notamment que les mesures d'instruction et/ou de contrainte ordonnées par la première puissent être utilisées, cas échéant, par les secondes. De plus, si une instruction cantonale en parallèle de l'enquête effectuée par l'AFC n'est pas exclue, sa mise en oeuvre ne s'impose pas nécessairement avant la transmission du rapport au sens de l'art. 194 LIFD (arrêt 8G.83/2001 du 25 janvier 2002 consid. 2/b, publié in StE [2003] B 101.8 n° 19 et les références citées). Une telle solution permet également d'assurer la sécurité juridique en évitant des décisions contradictoires entre les différentes autorités pouvant intervenir en matière fiscale (administratives et pénales, fédérales et cantonales) et permet, cas échéant, de ne pas priver les mesures ou décisions ultérieures des autorités cantonales de tout effet (cf. <ref-ruling> consid. 5 et 6 p. 147 ss; <ref-ruling> consid. 2/c p. 15).
5.2. En l'espèce, il ressort du jugement entrepris que le séquestre de 25 millions de francs se justifie au vu du possible retard d'impôts directs fédéral, cantonal et communal, à hauteur de 20'065'793 fr. (37% des revenus non déclarés de 54'231'872 fr.), ainsi qu'au regard de l'importance des éventuels intérêts de retard. L'enquête spéciale effectuée par l'AFC tend en priorité à établir les revenus qui auraient été soustraits à l'impôt fédéral direct, afin notamment que l'autorité cantonale compétente en la matière introduise, cas échéant, la procédure en soustraction d'impôts au sens des art. 175 ss LIFD (art. 193 al. 1 et 194 al. 1 LIFD). N'ayant pas terminé son enquête, l'AFC n'a toutefois pas encore saisi formellement les autorités cantonales. Une procédure pénale au sens notamment de l'art. 194 al. 2 LIFD n'est donc pas exclue et l'on ne saurait préjuger, à ce stade, de l'ensemble des démarches que les autorités cantonales seront appelées à entreprendre. Le maintien des séquestres se justifie dès lors également de ce point de vue.
Le recourant perd par ailleurs de vue que les séquestres ont été ordonnés à un stade précoce de la procédure, alors qu'une analyse des documents bancaires n'avait pas encore pu avoir lieu. On ne saurait dans un tel cas reprocher à l'autorité de faire preuve de prudence et de se livrer à une saisie élargie, dans la mesure notamment où il n'est pas exclu que d'autres revenus non déclarés puissent être découverts ultérieurement.
Partant, la Cour des plaintes n'a pas violé le principe de proportionnalité ou la garantie de la propriété en confirmant le séquestre prononcé par l'AFC sur les avoirs bancaires et immeubles appartenant au recourant. Le grief doit être rejeté.
6.
Il s'ensuit que le recours doit être rejeté dans la mesure de sa recevabilité. Les recourants qui succombent à la forme, respectivement au fond, supportent solidairement les frais judiciaires (art. 66 al. 1 LTF). Il n'est pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 5'000 fr., sont mis à la charge solidaire des recourants.
3.
Le présent arrêt est communiqué aux mandataires des recourants, à l'Administration fédérale des contributions et à la Cour des plaintes du Tribunal pénal fédéral.
Lausanne, le 20 février 2015
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Fonjallaz
Le Greffier : Kurz