Faits :
A.
A.A._ et B.A._ sont propriétaires de l'art. 58 du Registre foncier de la Commune de Belfaux, secteur Cutterwil. Selon le plan d'aménagement local, ce bien-fonds se trouve hors zone à bâtir.
Par décision du 30 juin 2003, le Préfet du district de la Sarine a autorisé la transformation partielle de l'habitation, notamment la construction d'un couvert à voitures, d'un garage et d'un local technique. Le 14 juillet 2008, il aen outre autorisé la construction d'une véranda non chauffée. Enfin, par décision du 8 septembre 2010, le Conseil communal de Belfaux a autorisé la construction d'un couvert à voitures supplémentaire et d'un muret le long de la route cantonale.
B.
Le 15 juin 2015, A.A._ et B.A._ ont déposé une demande de permis de construire pour régulariser la situation, dans la mesure où les travaux précités n'avaient pas été réalisés conformément aux permis délivrés.
Par décision du 2 février 2016, la Direction de l'aménagement, de l'environnement et des constructions du canton de Fribourg (DAEC) a refusé l'octroi de l'autorisation spéciale pour les constructions érigées illicitement selon les art. 24 de la loi sur l'aménagement du territoire (LAT; RS 700) et 42 de l'ordonnance sur l'aménagement du territoire (OAT; RS 700.1). Elle a notamment constaté que les travaux effectués illicitement dépassaient les possibilités d'augmentation des surfaces brutes de plancher utiles (SBPu) et des surfaces annexes (SA).
Le 15 mars 2016, le Préfet du district de la Sarine a refusé d'accorder le permis de construire sollicité vu l'absence d'autorisation spéciale. Le 3 octobre 2016, la DAEC a procédé à une vision locale lors de laquelle elle a constaté les faits suivants: le couvert à voitures autorisé en 2010 avait été agrandi de 7,4 m2, fermé et construit en briques et en béton et non en bois; le couvert à voitures autorisé en 2003 avait également été fermé; la véranda non chauffée autorisée en 2008 avait été agrandie de 7,7 m2et était chauffée; la chambre située au nord-ouest avait changé d'affectation pour devenir une cuisine; ces deux derniers travaux avaient été réalisés dans le but de créer un appartement indépendant à l'étage, actuellement loué; le garage et le local technique autorisés en 2003 avaient été transformés en deux chambres, un couloir et un WC; une porte d'accès au garage depuis le salon avait été créée; le sas d'entrée avait été fermé et son toit refait.
Par décision du 27 décembre 2016, la DAEC a ordonné la démolition intégrale du double garage accolé à l'habitation existante autorisé en 2010. Elle a en revanche toléré tous les autres travaux illicites en estimant que les intérêts privés des intéressés étaient prépondérants par rapport à l'intérêt public lié au rétablissement d'une situation conforme au droit.
Par arrêt du 6 février 2018, la IIe Cour administrative du Tribunal cantonal fribourgeois a confirmé la décision du 27 décembre 2016, considérant que l'intérêt public à la remise en l'état prévalait sur l'intérêt des intéressés à garder leur garage.
C.
Agissant par la voie du recours en matière de droit public, l'Office fédéral du développement territorial (ARE) demande principalement au Tribunal fédéral d'ordonner le rétablissement de l'état conforme au droit en ce qui concerne les constructions et changements d'affectation opérés illicitement qui ont été tolérés par la DAEC. Il ne conteste pas l'ordre de démolir intégralement le double garage accolé à l'habitation.
Le Tribunal cantonal conclut au rejet du recours. La Préfecture de la Sarine renonce à déposer des observations et s'en remet à justice. La Commune de Belfaux propose le maintien des travaux tolérés et conclut au rejet du recours. Les intimés demandent l'effet suspensif concernant la démolition du double garage - demande qui a été rejetée par ordonnance du 2 mai 2018 - et concluent également au rejet du recours. La DAEC confirme sa décision du 27 décembre 2016 et conclut au rejet du recours. Dans leurs écritures ultérieures, l'ARE et les intimés maintiennent leurs conclusions.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt rendu en dernière instance cantonale confirmant un ordre de démolir un garage double. Il est dès lors en principe recevable comme recours en matière de droit public selon les <ref-law>, aucune des exceptions prévues à l'<ref-law> n'étant réalisée.
1.1. La qualité pour recourir de l'Office fédéral du développement territorial découle de l'<ref-law> en relation avec l'art. 48 al. 4 de l'ordonnance sur l'aménagement du territoire du 28 juillet 2000 (OAT; RS 700.1). Les conditions de légitimation de l'<ref-law>, en particulier la participation à la procédure devant l'instance précédente (<ref-law>), ne sont pas applicables au recours des autorités fédérales. C'est pourquoi ces dernières ne sont pas soumises aux restrictions de l'objet du litige dans la procédure cantonale et sont habilitées, dans les limites de leur droit de recours, à déposer des conclusions nouvelles; elles peuvent en particulier requérir une reformatio in peius de la décision de première instance (cf. <ref-ruling> consid. 1.2 p. 363; arrêt 1C_61/2018 du 13 août 2018 consid. 1.2 et les références citées), dont le contenu n'est porté à leur connaissance qu'après le jugement de la dernière instance cantonale (cf. art. 1 let. c et art. 2 let. d de l'ordonnance du 8 novembre 2006 concernant la notification des décisions cantonales de dernière instance en matière de droit public [RS 173.110.47]). Il s'ensuit que la conclusion tendant à un rétablissement intégral de l'état conforme au droit est recevable, même si l'arrêt cantonal se limite à la question de la démolition du garage double.
1.2. Contrairement à ce que soutiennent les intimés, le recours mentionne clairement en quoi les travaux litigieux violent le droit, de sorte qu'il respecte les exigences de motivation posées à l'<ref-law>.
Il y a donc lieu d'entrer en matière.
2.
Selon l'office fédéral recourant, le fait de tolérer l'ensemble des constructions illicites violerait gravement le principe de la séparation du territoire bâti et non bâti. Les constructions litigieuses entraîneraient un dépassement de la limite de 80 m2, soit de 60%. De plus, les intimés ne pourraient pas se prévaloir de leur bonne foi, dans la mesure où ils auraient, sciemment et à des nombreuses reprises, érigé des constructions et opéré des changements d'affectation en violant systématiquement les permis de construire qui leur avaient été octroyés.
Les intimés soutiennent pour leur part que, compte tenu notamment de leur situation personnelle et financière, la DAEC pouvait renoncer - en partie - à exiger le rétablissement d'un état conforme au droit, en application du principe de la proportionnalité. Ils soutiennent que la remise en état de tous les travaux opérés illicitement leur causerait un dommage disproportionné. Au vu de la démolition à venir de leur double garage, ils estiment que les autres dérogations au droit seraient mineures, étant donné que la plupart de ces travaux auraient été effectués dans le volume existant de leur maison.
2.1. Lorsque des constructions ou des installations illicites sont réalisées en dehors de la zone à bâtir, le droit fédéral exige en principe que soit rétabli un état conforme au droit. Le principe de la séparation de l'espace bâti et non bâti, qui préserve différents intérêts publics, est de rang constitutionnel; il fait partie intégrante de la notion d'utilisation mesurée du sol de l'art. 75 al. 1 Cst. (cf. arrêt 1C_482/2017 du 26 février 2018 consid. 2.2 et les références citées). Cette séparation doit par conséquent, en dehors des exceptions prévues par la loi, demeurer d'application stricte (<ref-ruling> consid. 6.4 p. 40; arrêt 1A.301/2000 du 28 mai 2001 consid. 6c publié in ZBI 2002 p. 364). Si des constructions illégales, contraires au droit de l'aménagement du territoire, sont indéfiniment tolérées en dehors de la zone constructible, le principe de la séparation du bâti et du non-bâti est remis en question et un comportement contraire au droit s'en trouve récompensé (arrêt 1C_61/2018 du 13 août 2018 consid. 3.1). S'ajoute à cela que la remise en état poursuit encore d'autres intérêts publics, à savoir la limitation du nombre et des dimensions des constructions en zone agricole (cf. <ref-ruling> consid. 6.4 p. 40; <ref-ruling> consid. 6b p. 225; arrêt 1A.301/2000 du 28 mai 2001 consid. 6c publié in ZBI 2002 p. 364) ainsi que le respect du principe de l'égalité devant la loi (arrêt 1C_276/2016 du 2 juin 2017 consid. 3.3).
L'autorité renonce cependant à une telle mesure, conformément au principe de la proportionnalité, si les dérogations à la règle sont mineures, si l'intérêt public lésé n'est pas de nature à justifier le dommage que la démolition causerait au maître de l'ouvrage, si celui-ci pouvait de bonne foi se croire autorisé à construire ou encore s'il y a des chances sérieuses de faire reconnaître la construction comme conforme au droit (<ref-ruling> consid. 6 p. 35; arrêt 1C_61/2018 du 13 août 2018 consid. 3.1). L'art. 167 de la loi sur l'aménagement du territoire et les constructions du canton de Fribourg (LATeC; RS/FR 710.1) va dans le même sens.
2.2. En l'espèce, comme le soutient à juste titre l'office recourant, les intimés ont systématiquement et sciemment violé les permis de construire qui leur avaient été octroyés, ainsi que les autorisations spéciales y relatives, en augmentant les volumes disponibles et en changeant l'affectation prévue. Ils ne peuvent dès lors pas se prévaloir de leur bonne foi pour s'opposer à un ordre de démolition. Le fait que l'immeuble ne soit pas soumis au droit foncier rural n'y change rien. Est en revanche déterminant le fait que celui-ci se trouve hors zone à bâtir. Comme le relève la cour cantonale, les travaux illégaux dépassent largement le maximum autorisé selon l'<ref-law>.
2.3. L'ordre de remise en état devrait donc en principe s'étendre à l'ensemble des travaux illicites. Cette question n'a toutefois pas été examinée par l'instance précédente puisque le recours était formé par les seuls propriétaires et se limitait à la démolition du double garage. Dès lors, l'examen de la proportionnalité n'a pas été effectué; les faits déterminants (notamment la situation personnelle et économique des intéressés, l'importance et le coût d'une remise en état) n'ont pas non plus été établis. La pesée complète des intérêts en présence ne peut donc avoir lieu en l'état. La cause doit dès lors être renvoyée au Tribunal cantonal fribourgeois afin qu'il statue sur un éventuel ordre de démolition intégral, conformément aux griefs présentés par l'office recourant - auquel la qualité de partie devra être reconnue - et en tenant compte des objections soulevées par les intimés. Leur droit d'être entendus sera ainsi respecté dans ce cadre.
Il est constaté au surplus que l'arrêt cantonal est entré en force de chose jugée en ce qui concerne la démolition du double garage. Le délai de remise en état concernant celui-ci sera fixé à nouveau à l'issue de la procédure faisant suite au présent arrêt.
3.
Sur le vu de ce qui précède, le recours est admis et la cause est renvoyée au Tribunal cantonal afin qu'il statue au sens des considérants qui précèdent. Les frais judiciaires sont mis à la charge des propriétaires intimés, qui succombent (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est admis et la cause est renvoyée au Tribunal cantonal du canton de Fribourg pour nouvelle décision au sens des considérants.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge solidaire des intimés.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties, à la Commune de Belfaux, à la Préfecture de la Sarine, à la Direction de l'aménagement, de l'environnement et des constructions de l'Etat de Fribourg et au Tribunal cantonal de l'Etat de Fribourg, II e Cour administrative.
Lausanne, le 18 septembre 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
Le Greffier : Kurz