Faits : A. Sur autorisation de la Cheffe du Département fédéral des finances, l'Administration fédérale des contributions (ci-après: AFC) mène une enquête à l'encontre de A._ pour graves infractions fiscales au sens de l'art. 190 al. 2 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11). Dans ce cadre, elle a ordonné, les 25 et 27 novembre 2013, des perquisitions et divers séquestres, notamment sur les avoirs bancaires dont A._ est titulaire ou ayant droit économique auprès de différents établissements bancaires genevois, ainsi que les avoirs bancaires de B._ auprès de la banque C._ SA, pour un montant de 8'459'507 fr. Les 2 et 5 décembre 2013, les deux filles de A._ ainsi que diverses sociétés ont saisi le directeur de l'AFC de plaintes tendant en substance à la levée des séquestres; ces plaintes ont été transmises à la Cour des plaintes du Tribunal pénal fédéral (TPF). B. Par décision du 3 juillet 2014, après avoir statué le 10 juin 2014 sur des plaintes similaires formées par A._ et son épouse, le TPF a rejeté les plaintes dans la mesure où elles étaient recevables et non privées d'objet. Les questions relatives à la mise sous scellés échappaient à la cognition de la cour car elles n'avaient pas fait l'objet d'une décision préalable. Certains séquestres avaient été levés entretemps de sorte que les recours étaient sans objet; ils étaient également irrecevables en tant qu'ils visaient de simples demandes de renseignements ou émanaient d'entités non concernées par les perquisitions et séquestres. En définitive, le TPF est entré en matière sur le recours formé par B._ concernant son propre compte bancaire, ainsi que par une autre société visée par une perquisition. Sur le fond, la Cour des plaintes a constaté que, sur la base des éléments relevés par l'AFC, il se pouvait que les économies d'impôts réalisées par le plaignant - environ 20 millions de francs, intérêts non compris - puissent avoir servi à alimenter les comptes bloqués, notamment celui de B._ dont A._ était l'ayant droit. Le séquestre, portant sur 25 millions de francs au total, respectait en conséquence le principe de proportionnalité et il en allait de même de la saisie de documents opérés auprès de RAF. C. Par acte du 31 juillet 2014, A._ et B._ forment un recours en matière pénale contre cette décision, concluant à son annulation ainsi qu'à celle des ordonnances de séquestre du 27 novembre 2013 concernant les avoirs bancaires de B._. Ils demandent la jonction de cette cause avec celle ouverte sous référence 1B_253/2014 relative au recours contre la décision précitée du 10 juin 2014. La Cour des plaintes persiste dans les termes de sa décision, renonçant à formuler des observations. L'AFC conclut au rejet du recours dans la mesure où il est recevable. Le 2 février 2015, les recourants ont persisté dans leurs conclusions. L'AFC et le TPF ont renoncé à des déterminations complémentaires.