Faits :
A.
Les hoirs de feu A._ sont propriétaires de la parcelle n° 221 du registre foncier de la commune de X._. Une ferme est implantée sur cette parcelle.
Par décision du 1 er octobre 1998, le Conseil communal de X._ a ordonné aux membres de l'hoirie de feu A._ de procéder à la démolition de la partie rurale de la ferme et de la remise attenante dans un délai de trente jours, pour des motifs de sécurité. Cette décision se fondait sur les conclusions concordantes de deux rapports d'expertise établis en décembre 1997. Le 10 avril 2001, cette décision a été confirmée, en dernière instance, par le Tribunal fédéral (arrêt 1P.48/2001).
Par décision du 18 novembre 2002, également confirmée en dernière instance (arrêt 1P.312/2003 du 14 juillet 2003), le conseil communal a ordonné la démolition de la partie habitation de la ferme; au vu de la dangerosité de la situation et de l'obstruction des propriétaires, l'autorité a ordonné que les travaux soient d'emblée exécutés par substitution.
Le 11 décembre 2002, le conseil communal a ordonné l'évacuation de tous les nouveaux véhicules accidentés, machines agricoles hors d'usage, épaves, pièces détachées, ferrailles, dépôts en tous genres, batteries, bidons contenant des liquides non identifiés et autres récipients jonchant le sol, sous la menace d'une exécution par substitution.
B.
Par décisions séparées du 12 juillet 2004, le conseil communal a mis à la charge des propriétaires les frais d'exécution par substitution relatifs à la démolition du rural, par 32'789 fr. 35, d'une part, et ceux liés à l'évacuation des véhicules et autres objets, pour un montant de 11'737 fr. 10, d'autre part. Le 31 mars 2005, le conseil communal a rendu une nouvelle décision remplaçant les décisions du 12 juillet 2004 et mettant à la charge des recourants un montant de 61'905 fr. 95.
Le 1 er mars 2007, le Préfet du district de Z._ a déclaré irrecevable le recours dirigé contre cette dernière décision; il a en conséquence également classé sans suite le recours dirigé contre les décisions du 12 juillet 2004 formé par les membres de l'hoirie. Par arrêt du 2 octobre 2007, le Tribunal cantonal a admis le recours dont il était saisi et a renvoyé le dossier au préfet afin qu'il statue sur le fond de la cause.
Par décision du 6 juillet 2016, le Préfet a partiellement admis les recours formés contre les décisions des 12 juillet 2004 et 31 mars 2005, ramenant le montant relatif à l'exécution par substitution des décisions des 1 er octobre 1998, 18 novembre 2002 et 11 décembre 2002, à 34'512 fr. 45. Sur recours, la II e Cour administrative du Tribunal cantonal de l'Etat de Fribourg a confirmé cette décision, par arrêt du 1 er mai 2017. Jugeant en substance que ce montant n'était pas prescrit et qu'il correspondait à l'activité nécessaire à l'exécution par substitution des ordres de remise en état successifs.
C.
Agissant par la voie du recours en matière de droit public, les recourants demandent principalement au Tribunal fédéral d'annuler l'arrêt attaqué; subsidiairement, il concluent au renvoi de la cause à l'autorité préfectorale pour nouvelle instruction. Enfin, ils demandent qu'il soit constaté que la cause est prescrite.
Le Tribunal cantonal renvoie aux considérants de son arrêt et conclut au rejet du recours. Le préfet se réfère à la motivation de sa décision du 6 juillet 2016. La Commune de X._ a indiqué n'avoir pas d'éléments nouveaux à communiquer. Les recourants se sont encore déterminés les 7 juillet et 5 septembre 2017.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt de dernière instance cantonale confirmant sur recours une décision mettant à la charge des recourants la somme de 34'512 fr. 45, au titre de frais d'exécution par substitution. Cette décision est fondée sur le droit public cantonal, de sorte que la voie du recours en matière de droit public est en principe ouverte (<ref-law>). Les recourants, qui se voient imposer le paiement des frais d'exécution par substitution, ont qualité pour agir au sens de l'<ref-law>. Les autres conditions de recevabilité sont réunies, si bien qu'il y a lieu d'entrer en matière.
2.
A l'appui de leurs observations du 5 septembre 2017, les recourants ont sollicité de l' "Autorité fédérale" de pouvoir consulter le dossier de la cause. Cette requête est toutefois intervenue in extremis au terme de l'instruction, sans que les recourants n'expliquent en quoi - sous réserve d'un prétendu délai insuffisant pour rédiger leurs observations - cette consultation serait nécessaire à l'exercice de leur droit de réplique; il est à cet égard d'ailleurs précisé que les autorités concernées se sont limitées, dans leurs réponses respectives, à conclure, à tout le moins implicitement, au rejet du recours, sans cependant formuler de plus amples observations. Quant aux pièces versées au dossier au cours de la procédure fédérale, celles-ci ont dans leur intégralité été transmises aux recourants. Pour le surplus, le dossier de la Cour de céans est composé des dossiers constitués au cours des différentes procédures cantonales (cf. <ref-law>) qu'il était loisible aux recourants de consulter, dans ce cadre. Dans ces circonstances, la cause étant de surcroît en état d'être jugée, il n'y a pas lieu de donner suite à cette réquisition.
3.
Le Tribunal fédéral applique le droit d'office (<ref-law>). Il appartient toutefois à la partie recourante d'exposer succinctement en quoi l'acte attaqué viole le droit (<ref-law>). Cela suppose que le mémoire de recours ne soit pas trop long et s'en tienne à l'essentiel (arrêts 1C_450/2012 du 7 août 2013 consid. 3; 2C_285/2013 du 23 avril 2013 consid. 1; cf. FLORENCE AUBRY GIRARDIN, Commentaire de la LTF, 2014, n. 27 et 41 ad <ref-law>). Il n'appartient pas au Tribunal fédéral de dégager d'une argumentation prolixe et confuse les moyens susceptibles d'être recevables et pertinents (arrêts 1C_262/2012 du 20 septembre 2012 consid. 4; 1C_369/2009 du 25 février 2010 consid. 5). Or, les recourants présentent leurs récriminations - de nature essentiellement appellatoire - de façon parfois difficilement compréhensible et peu systématique; nombre de leurs griefs sont du reste disséminés dans une première partie de leur mémoire, intitulée examen succinct des considérants en fait, sans que ceux-ci n'apparaissent toutefois dirigés contre les constatations cantonales. L'analyse du recours se limitera donc aux critiques motivées de façon suffisamment compréhensible en une partie ou une autre du mémoire. S'agissant en particulier des griefs portant sur la violation des droits fondamentaux ou des dispositions de droit cantonal, ceux-ci devront en outre, sous peine d'irrecevabilité, répondre aux exigences accrues de motivation de l'<ref-law>; dans ce contexte, il appartient aux recourants de mentionner les principes constitutionnels ou les dispositions cantonales qui n'auraient pas été respectés et expliquer de manière claire et précise en quoi ceux-là auraient été violés et celles-ci appliquées arbitrairement ou d'une autre manière contraire au droit (cf. <ref-ruling> consid. 2.8 p. 494).
4.
Le Tribunal fédéral fonde son raisonnement sur les faits établis par l'autorité précédente (<ref-law>), sauf s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.3 p. 266; <ref-ruling> consid. 4.1.2 p. 62) - ou en violation du droit au sens de l'<ref-law> (<ref-law>). Si la partie recourante entend s'écarter des constatations de fait de l'autorité précédente, elle doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> seraient réalisées et la correction du vice susceptible d'influer sur le sort de la cause (<ref-law>; ATF <ref-ruling> consid. 4.1.2 p. 62). A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui qui est contenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 10.1 p. 444; <ref-ruling> consid. 5.1 p. 356 et les arrêts cités).
Dans une première partie de leur mémoire, comme s'il s'agissait d'une procédure civile, les recourants exposent quels faits retenus par le Tribunal cantonal sont admis ou contestés (cf. art. 221 du Code de procédure civile du 19 décembre 2008 [CPC; RS 272]) et en livrent leur propre appréciation et interprétation, dans un mode strictement appellatoire; une telle manière de procéder est insuffisante à démontrer que les constatations cantonales seraient manifestement inexactes. Pour le surplus, les recourants avancent une série de faits qui ne ressortent pas de l'arrêt attaqué, sans que l'on comprenne, faute d'explication, leur influence sur le sort de la cause ni en quoi il serait critiquable de les avoir ignorés. Il s'agit notamment de l'incapacité alléguée de la municipalité à gérer sa planification et du harcèlement auquel elle s'adonnerait à l'endroit des recourants, ou encore de la situation prétendument compromettante liée à la présence d'un camion grue sur leur parcelle.
Sur le vu de ce qui précède, les critiques liées à l'établissement des faits doivent être déclarées irrecevables. Le Tribunal fédéral s'en tiendra à l'état de fait cantonal (<ref-law>).
5.
A différentes reprises, les recourants semblent se plaindre d'une appréciation arbitraire des preuves ou encore - à les comprendre - du refus injustifié de l'instance précédente de donner suite à leurs offres de preuve. En fin de mémoire, les recourants reprochent ainsi à la cour cantonale de n'avoir pas "recouru au moyen de preuve par expertise, visite des lieux, audition" en violation de leur droit d'être entendus. Ils ne démontrent cependant pas que ces mesures d'instruction - pour peu qu'elles aient été valablement requises, ce qui n'apparaît pas d'emblée évident - auraient été indûment écartées. Il en va de même du prétendu défaut de preuve, concrétisé selon les recourants, par l'absence de photographies au dossier et de procès-verbal lié à l'intervention ainsi que par le supposé devis ordonné à distance. Leur critique n'est en effet ni compréhensible ni motivée, les recourants n'expliquant en particulier pas où résiderait l'arbitraire dans l'appréciation des preuves ou en quoi leur droit d'être entendus aurait été violé (<ref-law>; cf. consid. 3).
Il s'ensuit qu'insuffisamment motivé, les griefs liés à l'appréciation des preuves et au droit d'être entendu doivent d'emblée être déclarés irrecevables.
6.
Les recourants font grief à la cour cantonale d'avoir examiné les décisions des 14 juillet 2004 et 31 mars 2005, établissant les décomptes de frais liés à l'exécution par substitution, à l'aune de l'art. 172 al. 3 de la loi sur l'aménagement du territoire et les constructions du 2 décembre 2008 (LATeC; RS/FR 710.1), pourtant entré en vigueur ultérieurement, le 1 er janvier 2010. Cette disposition prévoit que le montant des frais liés à l'exécution par substitution selon décompte final peut faire l'objet d'un recours limité à l'arbitraire. L'ancienne loi sur l'aménagement du territoire et les constructions du 9 mai 1983 ne prévoyant pas, selon les recourants, une telle restriction (cf. art. 197 aLATeC), on comprend que ces derniers reprochent implicitement à l'instance précédente d'avoir indûment limité son pouvoir d'examen.
6.1. En l'occurrence le Tribunal cantonal a rappelé que l'obligation de prendre en charge les frais d'exécution par substitution ne s'étend qu'à ceux nécessités par la bonne exécution de la mesure de rétablissement des lieux, dans le cadre des prix usuels. Il a en outre précisé que, dans ce contexte, seule une négligence grave peut être reprochée à l'autorité dans la manière de mandater l'entreprise choisie et d'exécuter sa décision; l'autorité n'a en particulier pas à se soucier de trouver la solution la plus judicieuse ou la moins chère pour faire cesser le trouble causé par le perturbateur. Il lui suffit de s'adresser à un exécutant qui dispose en principe des connaissances requises, de définir dans les grandes lignes le travail à réaliser et de contrôler si les devis et factures présentés s'inscrivent dans le cadre du travail à réaliser et ne sont pas manifestement et à l'évidence exagérés.
Se référant au Message du 20 novembre 2007 du Conseil d'Etat du canton de Fribourg accompagnant le projet de loi sur l'aménagement du territoire et les constructions (Bulletin officiel des séances du Grand Conseil, 2008 II p. 1305), la cour cantonale a considéré que c'est dans ce sens que devait être compris l'art. 172 al. 3 LATeC, et non comme la privation d'une instance de recours bénéficiant d'un plein pouvoir d'examen.
6.2. Cette appréciation, que les recourants ne discutent d'ailleurs pas réellement, résiste à l'examen. En effet, les considérations de la cour cantonale se fondent non seulement sur la jurisprudence cantonale antérieure à l'entrée en vigueur de l'art. 172 al. 3 LATeC (cf. arrêt attaqué consid. 2 et les arrêts cités), mais répond également à l'important pouvoir d'appréciation que la jurisprudence fédérale confère à l'autorité qui ordonne des mesures de substitution (cf. <ref-ruling> consid. 6 p. 211; arrêts 1C_462/2014 du 16 octobre 2015; 1A.248/2002 du 17 mars 2003 consid. 2.2). Dans ces circonstances, il n'apparaît pas que l'application de l'ancien droit aurait été plus favorable aux recourants; ceux-ci ne le prétendent d'ailleurs pas explicitement ni a fortiori ne cherchent à le démontrer. Le grief apparaît d'autant moins fondé que tant le Préfet, dans sa décision du 6 juillet 2016, que la cour cantonale ont procédé à un examen détaillé des différents postes mis à la charge des recourants (cf. consid. 7).
6.3. Sur le vu de ce qui précède et pour peu qu'il soit suffisamment motivé, le grief apparaît mal fondé et doit être rejeté.
7.
Les recourants évoquent encore l'exception de prescription.
La cour cantonale a relevé que la LATeC ne renfermait aucune disposition relative à la prescription. Elle a dès lors estimé qu'il convenait de s'inspirer par analogie des principes généraux de droit civil sur la prescription. S'écartant cependant du délai général de dix ans prévu à l'art. 127 du Code des obligations du 30 mars 1911 (CO; RS 220), la cour cantonale a appliqué, au cas particulier, un délai plus court - sur le principe, favorable aux recourants - de cinq ans, déduit de l'art. 59 de la loi fédérale du 7 octobre 1983 sur la protection de l'environnement (LPE; RS 814.01; cf. ISABELLE ROMY, Responsabilités environnementales et transactions, in Aspects actuels du droit de la société anonyme, CEDIDAC n. 64, 2005, p. 540 et les références). Le Tribunal cantonal a constaté que les travaux dataient de 2002 et la décision communale de 2004. Il a estimé que, depuis lors, la prescription avait régulièrement été interrompue, en particulier par son arrêt du 2 octobre 2007, le retour du dossier en préfecture, le 3 mars 2008, ainsi que par les différents rappels de la commune émis entre février 2008 et mai 2016.
Au regard de la jurisprudence (cf. <ref-ruling> consid. 4.2 p. 396; <ref-ruling> consid. 2a p. 51; <ref-ruling> consid. 3.4.3 p. 281 s.), cette appréciation n'apparaît pas d'emblée insoutenable et doit dès lors être confirmée, les recourants ne prenant pas la peine de la discuter, alors qu'il leur appartient pourtant d'en démontrer le caractère arbitraire (art. 42 al. 2 et 106 al. 2 LTF).
8.
Au consid. 3e de son arrêt, le Tribunal cantonal a pris soin de passer en revue l'ensemble des factures mises à la charge des recourants, dans le cadre de l'exécution par substitution, et d'en justifier soigneusement le bien-fondé. Les recourants, pour leur part, se bornent à contester, dans le même mode que celui évoqué au consid. 4 ci-dessus, les factures en question et à déclarer - presque invariablement - que celles-ci ne seraient pas liées à la décision du 1 er octobre 1998 et à son exécution. Ainsi, faute pour les recourants de discuter les justifications retenues par la cour cantonale et d'étayer leurs contestations, celles-ci, insuffisamment motivées, doivent être déclarées irrecevables (cf. consid. 3).
9.
Les considérants qui précèdent conduisent au rejet du recours, dans la faible mesure de sa recevabilité, aux frais des recourants, qui succombent (art. 66 al. 2 et 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge solidaire des membres de l'hoirie recourante.
3.
Le présent arrêt est communiqué aux recourants, à la Commune de X._, à la Préfecture de Z._ et au Tribunal cantonal de l'Etat de Fribourg, IIe Cour administrative.
Lausanne, le 31 janvier 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
Le Greffier : Alvarez