Faits : A. Sur autorisation de la Cheffe du Département fédéral des finances, l'Administration fédérale des contributions (ci-après: AFC) mène une enquête à l'encontre de A._ pour graves infractions fiscales au sens de l'art. 190 al. 2 de la loi fédérale du 14 décembre 1990 sur l'impôt fédéral direct (LIFD; RS 642.11). Dans ce cadre, elle a ordonné, les 25 et 27 novembre 2013, des perquisitions et divers séquestres, notamment sur des immeubles à Genève et à Montana (avec restriction du droit d'aliéner), ainsi que sur les avoirs bancaires dont A._ est titulaire ou ayant droit économique auprès de différents établissements bancaires genevois. Les 2, 5, 16 et 19 décembre 2013, A._, ainsi que son épouse et diverses sociétés, ont saisi le directeur de l'AFC de plaintes tendant en substance à la levée des séquestres; ces plaintes ont été transmises à la Cour des plaintes du Tribunal pénal fédéral (TPF). B. Par décision du 10 juin 2014, le TPF a rejeté les plaintes dans la mesure où elles étaient recevables et non privées d'objet. Joignant les procédures concernant les époux A._ à l'exception des autres plaignants, la Cour des plaintes a estimé que l'épouse n'avait plus d'intérêt actuel à contester le blocage de ses deux comptes bancaires puisque celui-ci avait été levé les 3 et 6 décembre 2013. A._ ne pouvait s'en prendre qu'aux séquestres concernant les comptes dont il était le titulaire et les immeubles dont il était le propriétaire. Les questions relatives à la mise sous scellés échappaient à la cognition de la cour car elles n'avaient pas fait l'objet d'une décision préalable. La Cour des plaintes a ensuite constaté que, sur la base des éléments relevés par l'AFC, il se pouvait que les économies d'impôts réalisées par le plaignant - environ 20 millions de francs, intérêts non compris - puissent avoir servi à alimenter les comptes bloqués, respectivement à financer les immeubles séquestrés. Le séquestre, portant sur 25 millions de francs au total, respectait en conséquence le principe de proportionnalité. C. Par acte du 10 juillet 2014, A._ (ci-après: le recourant), B._, C._ et D._ (ci-après: les recourantes) forment un recours en matière pénale contre cette décision, concluant à son annulation ainsi qu'à celle des ordonnances de séquestre du 27 novembre 2013 concernant les immeubles et avoirs bancaires dont A._ est titulaire ou ayant droit. A titre subsidiaire, ils demandent que les séquestres soient limités à une valeur n'excèdant pas 5'278'258 fr. et que soient levés les séquestres frappant les avoirs suivants: ceux de B._ et de C._ auprès de la banque E._ SA; ceux de A._ auprès de la banque F._ SA; ceux de A._ et de D._ auprès de G._ SA dans la mesure où le montant excède 976'748.87 fr.; les immeubles de A._ en Valais et à Genève. La Cour des plaintes persiste dans les termes de sa décision, renonçant à formuler des observations. L'AFC conclut au rejet du recours dans la mesure où il est recevable. Le 15 janvier 2015, les recourants ont persisté dans leurs conclusions. L'AFC et le TPF ont renoncé à des déterminations complémentaires.