Faits : A. A.a. Depuis 2014, des travaux entrepris par A._ sans autorisation de construire dans le bâtiment B._, à Bulle, édifié entre 1904 et 1906 dans le style architectural " Belle Epoque " et protégé à ce titre, font l'objet de diverses procédures administratives l'opposant notamment à la Commune de Bulle et à la Préfecture du district de la Gruyère. Ces procédures concernent en particulier l'escalier du bâtiment, orné de fresques peintes en 1985 par les artistes C._ et D._, oeuvres dont les modalités de protection et de remise en état sont contestées par A._. Dans le cadre de ce litige, le Préfet du district de la Gruyère avait notamment rendu, les 4 et 14 juillet 2014, des décisions portant sur l'arrêt des travaux et la pose de scellés sur les portes menant à la cage d'escalier, mesures qui avaient été confirmées le 5 août 2014 par le Tribunal cantonal fribourgeois. A.b. Par courrier du 9 octobre 2018, le Préfet a informé A._ qu'il entendait examiner si " la poursuite de travaux en cours non autorisés à l'intérieur du bâtiment B._ " justifiait l'application des dispositions pénales prévues à l'art. 173 de la loi cantonale sur l'aménagement du territoire et les constructions (LATeC; RS/FR 710.1). A cette occasion, A._ a été invité à se déterminer. Le 9 novembre 2018, A._ a demandé au Préfet de lui indiquer " son statut " (à lui, A._) dans la procédure, sollicitant par ailleurs une prolongation du délai qui lui avait été imparti pour se déterminer. En réponse, le Préfet lui a notamment indiqué, par courrier du 13 novembre 2018, qu'une décision allait être prise " selon l'art. 173 al. 2 LATeC " et que " [ses] prochaines déterminations seront donc examinées dans le cadre de la fixation du montant de l'amende que l'Autorité de céans entend prononcer ". B. Le 16 novembre 2018, A._ a demandé au Préfet sa récusation. Il a fait valoir l'existence d'une apparence de prévention, dès lors que les déclarations contenues dans la correspondance du 13 novembre 2018 démontraient que le Préfet s'était forgé une conviction de culpabilité alors que la procédure n'avait pas commencé. Il a en outre fait état de liens d'amitié qui unissaient le Préfet et l'artiste C._, décédé le 22 août 2018. Le 28 novembre 2018, le Préfet, qui s'est opposé à la demande de récusation, a transmis cette dernière à la Chambre pénale du Tribunal cantonal fribourgeois comme objet de sa compétence (cf. art. 59 al. 1 let. b CPP). Par arrêt du 31 janvier 2019, la Chambre pénale a rejeté la demande de récusation. C. A._ forme un recours en matière pénale au Tribunal fédéral contre l'arrêt du 31 janvier 2019. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens que la demande de récusation est admise. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause à la cour cantonale pour nouvelle décision dans le sens des considérants. Invitée à se déterminer, la Chambre pénale a indiqué qu'elle n'avait pas d'observations à formuler. Quant au Préfet, il a conclu au rejet du recours. Le 3 mai 2019, le recourant a persisté dans ses conclusions.