Faits :
A.
A.a. Les époux A._ se sont mariés en 2005.
Durant le mariage, A.A._ était propriétaire de l'immeuble no 233 du registre foncier de U._. Il y a installé en 2008 une piscine en kit de marque Discovery, d'un diamètre de 5m50. Celle-ci, d'une profondeur de 1m30, était enterrée de 90 cm. Entourée de boulets et de béton coulé, elle reposait sur un radier et un socle en béton; elle était par ailleurs raccordée aux systèmes d'eau et d'électricité.
A.b. Dans la convention de divorce conclue entre les parties le 29 septembre 2011, A.A._ s'est engagé à transférer la propriété de l'immeuble précité à son épouse, à charge pour elle de reprendre seule la dette hypothécaire; l'époux pouvait occuper l'immeuble jusqu'au 30 juin 2012.
Par jugement de divorce du 22 décembre 2011, le Tribunal civil de la Gruyère (ci-après: le Tribunal civil) a prononcé le divorce et homologué cette convention. L'ex-épouse a été inscrite comme unique propriétaire de l'immeuble le 24 janvier 2012. Elle en a pris possession le 15 mai 2012, son ex-mari ayant déménagé plus tôt que prévu. L'intéressée a alors constaté que celui-ci avait enlevé la piscine ainsi que tous les raccordements, laissant un trou béant. L'intérieur et l'extérieur de la maison n'étaient en outre pas entretenus correctement.
B.
B.a. Le 10 juillet 2014, B.A._ a ouvert action à l'encontre de son ex-époux, concluant à ce qu'il soit condamné à lui verser la somme de 34'542 fr. 25 plus intérêts, montant correspondant aux coûts d'installation d'une nouvelle piscine et de remise en état de l'intérieur et de l'extérieur de l'immeuble, d'une part, ainsi qu'aux frais d'intervention de son mandataire avant procédure, d'autre part.
Par jugement du 6 octobre 2016, le Tribunal civil a fait droit à la demande et mis les frais à la charge de A.A._. Dans sa motivation, il a cependant décidé de ne pas indemniser les frais de nettoyage intérieur ni la remise en état du talus extérieur, postes représentant 3'372 fr. au total.
B.b. Statuant sur l'appel formé par A.A._, le Tribunal cantonal de l'État de Fribourg l'a partiellement admis, réformant le jugement du Tribunal civil en réduisant les prétentions de B.A._ à 22'708 fr. 25 plus intérêts à 5% l'an dès le 4 juin 2014.
C.
Agissant le 8 mai 2017 par la voie du recours constitutionnel subsidiaire au Tribunal fédéral, A.A._ (ci-après: le recourant) conclut à l'annulation de l'arrêt cantonal et au renvoi de la cause à l'autorité inférieure pour nouvelle décision.
Des déterminations n'ont pas été demandées.
D.
La requête d'effet suspensif du recourant a été rejetée par ordonnance présidentielle du 30 mai 2017.

Considérant en droit :
1.
Le recours est dirigé contre une décision finale (<ref-law>), prise dans une contestation civile (<ref-law>) de nature pécuniaire, dont la valeur litigieuse est inférieure à 30'000 fr. (<ref-law>); dès lors que le recourant ne prétend pas que la contestation soulèverait une question juridique de principe au sens de l'<ref-law> et que les autres exceptions prévues aux let. b à e n'entrent pas en considération, seule la voie du recours constitutionnel subsidiaire est ouverte (<ref-law>). La décision attaquée a de surcroît été rendue par une autorité supérieure cantonale statuant sur recours (art. 75 et 114 LTF) et le recourant, qui a qualité pour recourir (<ref-law>), a agi à temps (art. 46 al. 1 let. a, 100 al. 1 et 117 LTF).
2.
2.1. Le recours constitutionnel peut être formé pour violation des droits constitutionnels exclusivement (<ref-law>). Selon l'<ref-law>, auquel renvoie l'<ref-law>, le Tribunal fédéral n'examine que les griefs constitutionnels qui sont expressément soulevés et motivés dans l'acte de recours conformément au principe d'allégation (art. 117 et 106 al. 2 LTF; <ref-ruling> consid. 3; <ref-ruling> consid. 2.1; <ref-ruling> consid. 3.2). Il contrôle sous l'angle de l'arbitraire l'application des dispositions législatives ou réglementaires fédérales ou cantonales (cf. notamment: <ref-ruling> consid. 6.1).
2.2. En ce qui concerne l'appréciation des preuves et la constatation des faits, l'autorité tombe dans l'arbitraire lorsqu'elle ne prend pas en considération, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, sur la base des éléments recueillis, elle parvient à des constatations insoutenables (<ref-ruling> consid. 2.3; <ref-ruling> consid. 4.1.2; <ref-ruling> consid. 4.2).
3.
Il s'agit avant tout de déterminer si la piscine litigieuse faisait partie intégrante de l'immeuble attribué à l'épouse ou si elle devait être considérée comme une construction mobilière, que le recourant était ainsi fondé à enlever.
3.1. La cour cantonale a jugé dans le premier sens. Elle a constaté que le recourant avait lui-même déclaré que l'installation de la piscine, certes vendue en kit, avait nécessité une journée de travail à deux, qu'elle était d'une profondeur de 1m30, enterrée de 90 cm et entourée d'une couche de béton coulé de 4 cm; il n'avait par ailleurs pas contesté qu'elle était raccordée aux systèmes d'eau et d'électricité. Le recourant n'avait pas non plus fait valoir que la piscine aurait été vidée et démontée après chaque saison d'été, ce qui apparaissait au demeurant peu plausible vu le temps indiqué pour son démontage, respectivement son montage. Selon l'entreprise qui avait fourni le kit, il s'agissait d'une " piscine de haute qualité ", qui, " selon les soins apportés (...) [allait] durer des années voir [sic] même toute une génération ". La convention de divorce ne faisait enfin aucune allusion au démontage de la piscine. Se fondant sur ces différents éléments, la cour cantonale a considéré que la piscine était une construction destinée à demeurer sur l'immeuble et non simplement une construction mobilière au sens de l'<ref-law>, étant précisé que le fait qu'elle ne soit pas inscrite au registre foncier n'était pas déterminant.
3.2. Le recourant soutient au contraire que la piscine devait être assimilée à une construction mobilière et prétend qu'en l'absence d'avis technique spécifique, le Tribunal cantonal ne pouvait sans arbitraire conclure que la piscine constituait une partie intégrante de l'immeuble. Il précise au demeurant que ce n'était pas le montage de la piscine qui avait coûté une journée de travail à deux, mais le coulage du béton; l'on ne pouvait par ailleurs sans arbitraire, se fonder sur son absence de compétence en la matière pour transformer un objet mobilier en partie intégrante ou en accessoire d'un bien immobilier. Le recourant affirme certes sa volonté de lier durablement au sol le socle en béton, soulignant qu'il serait néanmoins arbitraire de retenir cette volonté pour la piscine, livrée en kit. Il rappelle enfin que la piscine n'était pas inscrite au registre foncier et remarque que la référence à la convention de divorce serait arbitraire dès lors que celle-ci ne mentionnait aucunement la piscine et donc, a fortiori, son démontage.
3.3.
3.3.1. La propriété du sol emporte celle du dessus et du dessous, dans toute la hauteur et la profondeur utiles à son exercice (<ref-law>). Les constructions érigées sur un fonds en constituent ainsi des parties intégrantes en vertu de la loi (principe d'accession; cf. art. 667 al. 2 et 671 CC), indépendamment de la réalisation des conditions générales de l'<ref-law> (<ref-ruling> consid. 2a; STEINAUER, Les droits réels, Tome II, 4e éd. 2012, n. 1622). Par construction, il faut entendre tout ce qui est uni au fonds par les moyens de la technique, soit au-dessus, soit au-dessous du sol (STEINAUER, op. cit., n. 1623; REY/STREBEL, in Basler Kommentar, ZGB II, 5e éd. 2015, n. 11 ad art. 667; MEIER-HAYOZ, Berner Kommentar, 3e éd. 1964, n. 30 ad <ref-law>). Il s'agit non seulement des bâtiments et des murs, mais aussi des ponts, des conduites, des caves, des garages souterrains, etc. (STEINAUER, op. cit., n. 1623). En revanche, les constructions au sens de l'<ref-law> ne comprennent pas les " constructions mobilières " visées par l'<ref-law>. Celles-ci sont des constructions légères, telles que chalets, boutiques, baraques, élevées sur le fond d'autrui sans intention de les y établir à demeure. Elles appartiennent aux propriétaires de ces choses (<ref-law>) et ne sont pas inscrites au registre foncier (<ref-law>). Pour déterminer si l'on se trouve en présence d'une construction mobilière, il s'agit de tenir compte à la fois de l'intensité objective du lien qui unit la chose au sol et de l'intention subjective du propriétaire de l'immeuble (<ref-ruling> consid. 2; <ref-ruling> consid. 1a et les références; arrêt 4C.293/2001 du 11 décembre 2001 consid. 4b). A propos du critère objectif, il faut que la construction et le sol soient reliés matériellement, c'est-à-dire que leur unité soit reconnaissable extérieurement, du moins dans une certaine mesure (<ref-ruling> consid. 2b). Est non seulement déterminant le fait que la construction mobilière puisse être enlevée du fonds où elle se trouve, mais également les conséquences de cet enlèvement, l'absence de détérioration ou d'altération lors de la séparation du bâtiment ou du détachement du sol constituant un indice du caractère mobilier de la construction (<ref-ruling> consid. 3; MARCHAND, in Commentaire romand, Code civil II, 2016, n. 7 ad <ref-law>). Le fait que la construction soit reliée aux égouts et connectée aux réseaux électrique et téléphonique ne suffit pas à combler l'absence de lien objectif avec le sol (arrêt 4C.293/2001 du 11 décembre 2001 consid. 4b). Quant à l'élément subjectif, il doit être examiné à la date d'érection de la construction (<ref-ruling> consid. 2b; REY/STREBEL, op. cit., n. 4 ad <ref-law>; MARCHAND, op. cit., n. 10 ad <ref-law>).
3.3.2. Une décision est arbitraire (art. 9 Cst.) si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté, ou heurte de manière choquante le sentiment de la justice et de l'équité; il ne suffit pas qu'une autre solution paraisse concevable, voire préférable; pour que cette décision soit annulée, encore faut-il qu'elle se révèle arbitraire non seulement dans ses motifs, mais aussi dans son résultat (<ref-ruling> consid. 4.3; <ref-ruling> consid. 4.1 et les références).
3.4. Il n'est en l'espèce certes pas contesté que la piscine litigieuse est vendue en kit à monter soi-même. Il convient néanmoins de considérer l'installation dans son ensemble: la piscine n'est en effet pas simplement posée à même le sol, situation qui permettrait vraisemblablement d'exclure l'application du principe d'accession, mais repose sur un radier et un socle en béton, est enterrée aux trois quarts de sa profondeur et entourée de boulets et d'une couche de béton coulée de 4 cm. Il n'est pas non plus contesté que la piscine, satisfaisant à des critères de haute qualité, peut résister de nombreuses années. Vu ces circonstances et le pouvoir d'examen limité du Tribunal de céans (consid. 2.1 supra), la conclusion cantonale n'apparaît choquante ni dans ses motifs, ni dans son résultat, étant au demeurant précisé que le recourant admet lui-même sa volonté de fixer durablement au sol le socle en béton, dont l'utilité ne peut qu'être questionnée en l'absence de piscine.
4.
Le recourant s'en prend ensuite au montant de l'indemnité allouée à l'intimée.
4.1. La cour cantonale a considéré que la piscine avait déjà été partiellement amortie depuis son installation en 2008, amortissement qu'elle a établi en se référant à la garantie du fabricant. Une réduction du dommage de 30% lui paraissait ainsi équitable (<ref-law> sur renvoi de l'<ref-law>) et l'indemnité a en conséquence été arrêtée à 19'750 fr., à savoir 70% de 28'812 fr., montant pris en compte par les premiers juges. La juridiction cantonale a au demeurant relevé que le recourant n'était pas parvenu à apporter la preuve libératoire que constituerait le mauvais état de la piscine. Non seulement les déclarations du témoin C._ à cet égard devaient être appréciées avec circonspection vu les liens entretenus avec l'intéressé, mais elles n'avaient de surcroît pas la clarté que voulait leur prêter celui-ci.
4.2. Le recourant soutient en substance que seule une expertise aurait permis de démontrer le dommage subi par l'intimée. En statuant ex aequo et bono, conformément à l'<ref-law> pour fixer une réduction du dommage de l'ordre de 30%, la cour cantonale aurait " violé la maxime des débats (...), abusé de son pouvoir d'appréciation, partant [de son] droit d'être entendu, et versé dans l'arbitraire ", étant précisé qu'il avait toujours contesté la valeur probante du devis produit pour la fourniture et l'installation d'une nouvelle piscine et n'admettait tout au plus qu'un montant de 6'890 fr. correspondant au kit neuf de la piscine. Le recourant soutient également que, lors de son enlèvement, la piscine était inutilisable, circonstance permettant à son sens d'exclure l'indemnité sollicitée par son adverse partie. La preuve du mauvais état de la piscine, qu'il reproche à la cour cantonale de lui avoir arbitrairement imputé, était confirmée par le témoignage de C._, écarté manifestement à tort par la juridiction précédente.
4.3. Contrairement à ce que soutient le recourant, le mauvais état de la piscine ne constitue nullement un fait négatif qu'il n'aurait prétendument pas à prouver, mais bien un fait libératoire dont la charge de la preuve lui incombait (cf. <ref-ruling> consid. 3.1.3.1; <ref-ruling> consid. 3.1). Il ne conteste pas au demeurant le manque de clarté du témoignage de C._, circonstance pourtant également retenue par la cour cantonale pour l'écarter. L'appréciation prétendument arbitraire de cette preuve n'est ainsi pas établie. S'agissant du montant du dommage que les juges cantonaux ont repris du jugement de première instance, à savoir 28'212 fr. sans l'amortissement, il convient de rappeler au recourant qu'il correspond non pas seulement au prix de la piscine et à son montage, mais qu'il fait également référence à la remise en état de l'installation. Dès lors que la réduction de 30% imputée par la cour cantonale n'est pas contestée en tant que telle par le recourant, l'on ne saurait considérer que le raisonnement de la juridiction procéderait de l'arbitraire. La violation du droit d'être entendu n'est quant à elle pas motivée ni en conséquence démontrée, de sorte que ce grief est irrecevable.
5.
Le recourant conteste la mise à sa charge des frais du mandataire de l'intimée antérieurs à l'introduction de la procédure.
5.1. La cour cantonale a constaté à cet égard que, dans le dispositif de leur jugement, les premiers juges avaient certes omis à tort de déduire les sommes de 1'044 fr. et 3'372 fr. pourtant admises dans les motifs; la juridiction cantonale a néanmoins considéré qu'en condamnant le recourant au versement d'un montant de 34'542 fr. 25, la juridiction précédente avait entièrement fait droit aux conclusions de l'intimée et implicitement admis le dommage lié aux frais de mandataire de celle-ci. Dès lors que le recourant n'avait élevé aucun grief spécifique à ce dernier égard, il fallait en déduire qu'il ne critiquait pas ce poste.
5.2. Invoquant des erreurs de calcul du premier juge, le recourant affirme qu'il ne pouvait déduire du seul dispositif de jugement de première instance que les frais avant procès avaient été admis et encore moins pour quels motifs ils l'auraient été. Il voit ainsi dans la décision cantonale un déni de justice ainsi qu'une violation du principe de la garantie de la double instance cantonale.
5.3. Dans sa demande, l'intimée concluait initialement au paiement d'une somme de 35'586 fr. 25, montant correspondant à la fourniture et à l'installation de la piscine ainsi qu'à la remise en état du jardin - à savoir 32'628 fr. (devis " Y._ ") - et à ses frais d'avocat avant procès - soit 2'958 fr. 25. Elle a ensuite réduit ses prétentions à 34'542 fr. 25, déduisant un montant de 1'044 fr. correspondant au prix de plusieurs accessoires qui n'étaient pas compris dans le kit installé par le recourant.
Les premiers juges ont réduit les prétentions de l'intimée en retranchant du montant du devis " Y._ " les sommes de 1'860 fr. (frais de nettoyage) et de 1'512 fr. (remise en état du talus). Ils ont indiqué, sur cette base, que les prétentions de l'intéressée devaient être réduites, " passant de CHF 34'542.25 à CHF 28'212 ". Aucune motivation n'a été donnée quant aux frais de mandataire. Dans son dispositif, la première instance a néanmoins condamné le recourant à verser la somme de 34'542 fr. 25 à l'intimée.
Force est d'admettre qu'il existait ainsi une contradiction entre les considérants du premier jugement - laissant entendre que seul le dommage lié à la piscine devait être réparé - et son dispositif - permettant d'inférer que les frais antérieurs à la procédure étaient également dus. Le recourant ne pouvait en conséquence, sans autres formalités, partir du principe que ce dernier poste avait été rejeté par les premiers juges: il lui incombait de solliciter une interprétation du jugement sur ce point (<ref-law>) et, dans le doute, de critiquer cet élément dans son acte d'appel en invoquant notamment la violation de son droit d'être entendu, ce qu'il n'a pas effectué. Faute d'épuisement des griefs devant l'instance cantonale, le moyen tiré de la violation du droit d'être entendu doit en conséquence être considéré comme nouveau et partant, irrecevable devant le Tribunal de céans (<ref-law>; <ref-ruling> consid. 1.2; <ref-ruling> consid. 1.3; arrêt 5D_165/2015 du 22 avril 2016 consid. 5).
6.
En définitive, le recours est rejeté dans la mesure où il est recevable. Les frais judiciaires sont à la charge du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 1'500 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties et à la I e Cour d'appel civil du Tribunal cantonal de l'État de Fribourg.
Lausanne, le 25 octobre 2017
Au nom de la IIe Cour de droit civil
du Tribunal fédéral suisse
Le Président : von Werdt
La Greffière : de Poret Bortolaso