Faits :
A.
A.a. Depuis 2014, des travaux entrepris par A._ sans autorisation de construire dans le bâtiment B._, à Bulle, édifié entre 1904 et 1906 dans le style architectural " Belle Epoque " et protégé à ce titre, font l'objet de diverses procédures administratives l'opposant notamment à la Commune de Bulle et à la Préfecture du district de la Gruyère. Ces procédures concernent en particulier l'escalier du bâtiment, orné de fresques peintes en 1985 par les artistes C._ et D._, oeuvres dont les modalités de protection et de remise en état sont contestées par A._.
Dans le cadre de ce litige, le Préfet du district de la Gruyère avait notamment rendu, les 4 et 14 juillet 2014, des décisions portant sur l'arrêt des travaux et la pose de scellés sur les portes menant à la cage d'escalier, mesures qui avaient été confirmées le 5 août 2014 par le Tribunal cantonal fribourgeois.
A.b. Par courrier du 9 octobre 2018, le Préfet a informé A._ qu'il entendait examiner si " la poursuite de travaux en cours non autorisés à l'intérieur du bâtiment B._ " justifiait l'application des dispositions pénales prévues à l'art. 173 de la loi cantonale sur l'aménagement du territoire et les constructions (LATeC; RS/FR 710.1). A cette occasion, A._ a été invité à se déterminer.
Le 9 novembre 2018, A._ a demandé au Préfet de lui indiquer " son statut " (à lui, A._) dans la procédure, sollicitant par ailleurs une prolongation du délai qui lui avait été imparti pour se déterminer.
En réponse, le Préfet lui a notamment indiqué, par courrier du 13 novembre 2018, qu'une décision allait être prise " selon l'art. 173 al. 2 LATeC " et que " [ses] prochaines déterminations seront donc examinées dans le cadre de la fixation du montant de l'amende que l'Autorité de céans entend prononcer ".
B.
Le 16 novembre 2018, A._ a demandé au Préfet sa récusation. Il a fait valoir l'existence d'une apparence de prévention, dès lors que les déclarations contenues dans la correspondance du 13 novembre 2018 démontraient que le Préfet s'était forgé une conviction de culpabilité alors que la procédure n'avait pas commencé. Il a en outre fait état de liens d'amitié qui unissaient le Préfet et l'artiste C._, décédé le 22 août 2018.
Le 28 novembre 2018, le Préfet, qui s'est opposé à la demande de récusation, a transmis cette dernière à la Chambre pénale du Tribunal cantonal fribourgeois comme objet de sa compétence (cf. <ref-law>).
Par arrêt du 31 janvier 2019, la Chambre pénale a rejeté la demande de récusation.
C.
A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 31 janvier 2019. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que la demande de récusation est admise. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants.
Invitée à se déterminer, la Chambre pénale a indiqué qu'elle n'avait pas d'observations à formuler. Quant au Préfet, il a conclu au rejet du recours. Le 3 mai 2019, le recourant a persisté dans ses conclusions.

Considérant en droit :
1.
Conformément aux art. 78 et 92 al. 1 LTF, une décision relative à la récusation d'un magistrat pénal peut faire immédiatement l'objet d'un recours en matière pénale. Le recourant, auteur de la demande de récusation, a qualité pour recourir (<ref-law>). Pour le surplus, le recours a été interjeté en temps utile (art. 46 al. 1 let. c et 100 al. 1 LTF) contre une décision rendue en dernière instance cantonale (<ref-law>) et les conclusions prises sont recevables (<ref-law>). Il y a donc lieu d'entrer en matière.
2.
Se prévalant de violations des art. 6 par. 1 CEDH, 30 al. 1 Cst. et 56 let. f CPP, le recourant conteste le rejet de sa demande de récusation.
2.1.
2.1.1. La procédure pénale dirigée contre le recourant a exclusivement pour objet une infraction de droit cantonal (cf. <ref-law>), en l'occurrence l'art. 173 al. 2 LATeC, qui, dans le canton de Fribourg, sanctionne d'une amende pouvant aller jusqu'à 500'000 fr. dans les cas graves, la personne qui aura réalisé des travaux illicites sur des bâtiments protégés ou recensés. La compétence du Préfet découle de l'art. 173 al. 4 LATeC, selon lequel ce magistrat doit prononcer la peine conformément à la loi fribourgeoise sur la justice (LJ; RS/FR 130.1), celui-ci revêtant alors la qualité d'autorité pénale compétente en matière de contraventions (cf. <ref-law>) et disposant ainsi des attributions du ministère public (cf. <ref-law>).
2.1.2. En vertu de l'art. 2 LJ, en matière de procédure pénale cantonale fribourgeoise, le CPP s'applique à titre de droit cantonal supplétif, sous réserve de dispositions spéciales (cf. Message relatif à l'unification du droit de la procédure pénale, FF 2006 p. 1103). Dans cette mesure, le Tribunal fédéral ne peut en principe revoir l'application des dispositions du CPP que sous l'angle restreint de l'arbitraire (cf. arrêt 6B_726/2018 du 29 janvier 2019 consid. 4, non publié aux <ref-ruling>; arrêt 6B_622/2018 du 14 août 2018 consid. 1 et les références citées).
Cela étant, en matière de récusation, la clause générale de l'art. 56 let. f CPP correspond à la garantie d'un tribunal indépendant et impartial instituée par les art. 30 al. 1 Cst. et 6 par. 1 CEDH (cf. <ref-ruling> consid. 3.2 p. 74 et les arrêts cités; arrêt 1B_178/2019 du 15 mai 2019 consid. 5.1). Dans la mesure où le recourant invoque précisément la violation des garanties découlant de ces dernières dispositions, dont la Cour de céans peut revoir librement l'application (cf. <ref-ruling> consid. 4.2 p. 162), il y a donc lieu d'admettre qu'elle dispose en l'espèce, sous réserve des questions de faits, d'un plein pouvoir d'examen.
2.2. Un magistrat est récusable, aux termes de l'art. 56 let. f CPP, lorsque d'autres motifs, notamment un rapport d'amitié étroit ou d'inimitié avec une partie ou son conseil, sont de nature à le rendre suspect de prévention. Cette disposition a la portée d'une clause générale recouvrant tous les motifs de récusation non expressément prévus aux art. 56 let. a-e CPP. Elle n'impose pas la récusation seulement lorsqu'une prévention effective du magistrat est établie, car une disposition interne de sa part ne peut guère être prouvée. Il suffit que les circonstances donnent l'apparence de la prévention et fassent redouter une activité partiale du magistrat. Seules les circonstances constatées objectivement doivent être prises en considération. Les impressions purement individuelles d'une des parties au procès ne sont pas décisives (<ref-ruling> consid. 3.2.1 p. 179; <ref-ruling> consid. 2.1 p. 144). Des propos maladroits ne suffisent en principe pas pour retenir qu'un magistrat serait prévenu, sauf s'ils paraissent viser une personne particulière et si leur tenue semble constitutive d'une grave violation notamment des devoirs lui incombant (<ref-ruling> consid. 2d p. 200; arrêt 1B_351/2018 du 25 septembre 2018 consid. 2.1).
Dans le cadre de l'instruction, le ministère public est tenu à une certaine impartialité même s'il peut être amené, provisoirement du moins, à adopter une attitude plus orientée à l'égard du prévenu ou à faire état de ses convictions à un moment donné de l'enquête (ATF <ref-ruling> consid. 2.2.1 p. 145); tel est notamment le cas lorsqu'il décide de l'ouverture d'une instruction (qui suppose l'existence de soupçons suffisants au sens de l'<ref-law>) ou lorsqu'il ordonne des mesures de contrainte (arrêt 1B_150/2016 du 19 mai 2016 consid. 2.2). Tout en disposant, dans le cadre de ses investigations, d'une certaine liberté, le magistrat reste cependant tenu à un devoir de réserve et doit s'abstenir de tout procédé déloyal, instruire tant à charge qu'à décharge et ne point avantager une partie au détriment d'une autre (<ref-ruling> consid. 3.2.2 p. 180; <ref-ruling> ibidem). De manière générale, ses déclarations doivent être interprétées de manière objective, en tenant compte de leur contexte, de leurs modalités et du but apparemment recherché par leur auteur (arrêts 1B_49/2019 du 24 avril 2019 consid. 3.1; 1B_150/2016 du 19 mai 2016 consid. 2.3 et l'arrêt cité).
2.3. En l'espèce, le recourant soutient que, dans son courrier du 13 novembre 2018, l'intimé a démontré une apparence de prévention quant à sa culpabilité. Il en allait ainsi lorsque le magistrat y expliquait que l'intéressé " n'avait que faire des injonctions de l'Autorité de céans " et que ses déterminations ne seraient alors examinées plus que dans le cadre de la fixation du montant de l'amende qui allait être prononcée.
Si, d'une certaine manière, la formulation du courrier du 13 novembre 2018 peut certes paraître maladroite dès lors qu'elle pourrait laisser entendre qu'une sanction sera prononcée en toute hypothèse (" l'amende que l'Autorité de céans entend prononcer "), il n'apparaît pas pour autant que les seuls termes utilisés dans cette correspondance caractérisaient une apparence de prévention justifiant la récusation du magistrat instructeur. Il est en effet déduit de la lecture complète du courrier qu'en faisant référence aux travaux qui auraient été exécutés sans autorisation par le recourant - lesquels font l'objet de procédures auprès de différentes autorités - ainsi qu'aux diverses décisions d'arrêt des travaux qui n'auraient pas été respectées, l'intimé s'est borné à rappeler au recourant les faits qui justifiaient à ses yeux la procédure pénale en cours. Dans ce contexte, et dès lors que l'art. 173 al. 2 LATeC paraît précisément réprimer le comportement d'insubordination aux décisions rendues en matière de droit public des constructions, il était loisible à l'intimé d'évoquer les éléments qui, selon lui, démontraient que le recourant " n'avait que faire " des injonctions qui lui étaient adressées, sans pour autant que l'on distingue un comportement déloyal ou contraire à la bonne foi de l'autorité de poursuite pénale.
On relève en outre que le courrier litigieux donnait suite à un précédent courrier du recourant, qui sollicitait des explications quant au " statut " qu'il revêtait dans le cadre de la procédure instruite. En réponse à cette demande, il n'était pas critiquable que le magistrat chargé de l'instruction pénale informe le prévenu des faits justifiant la mise en oeuvre d'une procédure pénale, cela devant permettre à l'intéressé de se déterminer de manière opportune quant à une possible condamnation. A cet égard, le recourant, assisté d'un mandataire professionnel, pouvait comprendre que les déterminations requises lui donnaient l'occasion de s'exprimer non seulement au sujet de l'ampleur et de la gravité des travaux prétendument effectués sans autorisation mais également sur la question d'une aggravation en raison d'éventuelles récidives de même que sur sa situation personnelle et financière, dont la quotité de la sanction envisagée dépendait. Par ailleurs, dans la mesure où la procédure de récusation n'a pas pour objet de permettre aux parties de contester la manière dont est menée l'instruction (cf. <ref-ruling> consid. 3.2 p. 75), il apparaît que les erreurs éventuellement commises dans le cadre de l'instruction pourront être contestées ultérieurement par le recourant en faisant usage des voies de droit à sa disposition, soit, le cas échéant, de celle, facilitée, de l'opposition à l'ordonnance pénale. Enfin, le recourant ne revient pas dans son recours en matière pénale sur les supposés liens d'amitié qui auraient uni l'intimé à l'un des artistes ayant créé les fresques litigieuses.
Au surplus, en tant que le recourant reproche à l'intimé d'avoir évoqué, dans ses déterminations sur le recours en matière pénale, l'existence d'un " fatras juridique " développé par le recourant et son mandataire, il apparaît que le magistrat faisait uniquement référence au bien-fondé de la demande de récusation, sur laquelle il était amené à se déterminer et qu'il estimait infondée, sans que l'emploi de ces termes, certes peu adéquat au vu du contexte, ne dénote à lui seul une apparence de prévention s'agissant de la procédure pénale instruite.
En définitive, le recourant ne fait état d'aucun élément suffisant qui permette de supposer que le magistrat intimé soit prévenu à son égard. Le rejet de la demande de récusation par la cour cantonale doit par conséquent être confirmé.
3.
Il s'ensuit que le recours doit être rejeté. Le recourant, qui succombe, supporte les frais judiciaires (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, fixés à 2000 fr., sont mis à la charge du recourant.
3.
Il n'est pas alloué de dépens.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal de l'Etat de Fribourg, Chambre pénale.
Lausanne, le 22 mai 2019
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
Le Greffier : Tinguely