Faits: A. A._ et la société B._ - dont le prénommé est associé-gérant - sont en litige avec la Commune de Cerniat en relation avec la construction d'une route donnant accès audit chalet. Dans ce contexte, A._ exploite un site Internet sous le nom de domaine "www. ...", qui présente sa version des faits. A la suite de l'entrée en vigueur de la loi cantonale sur l'information et l'accès aux documents du 9 septembre 2009 (LInf; RSF 17.5), A._ a annoncé au Syndic de Cerniat qu'il avait l'intention d'enregistrer sur support vidéo les débats de l'assemblée communale du 13 décembre 2011 et de les diffuser en différé sur son site Internet. Le 13 décembre 2011, le Syndic a annulé l'assemblée communale du jour même, en raison du départ de nombreux citoyens qui refusaient d'être filmés. Une nouvelle assemblée communale a été convoquée pour le 31 janvier 2012. A._ a annoncé à nouveau son intention d'assister aux débats et de les filmer au moyen d'une caméra vidéo. Lors de cette assemblée, plusieurs citoyens se sont opposés à l'enregistrement annoncé des débats. Le Préfet du district de la Gruyère a alors interdit l'enregistrement des débats, puis, face au refus de l'intéressé de s'exécuter, a ordonné à la police de séquestrer le matériel d'enregistrement jusqu'à la fin de l'assemblée. Il a confirmé, par décision écrite du 14 février 2012, celle qu'il avait signifiée oralement le 31 janvier 2012. Il a considéré en substance que l'intérêt des membres de l'assemblée à pouvoir s'exprimer sans crainte sur l'utilisation qui sera faite de leur image était prépondérant par rapport à l'intérêt privé du prénommé à filmer la séance. A._ a recouru contre cette décision auprès de la I e Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal). Par arrêt du 29 janvier 2013, le Tribunal cantonal a rejeté le recours, dans la mesure de sa recevabilité et mis à la charge de l'intéressé les frais de la procédure ainsi que les dépens de la Commune. B. A._ recourt contre cet arrêt auprès du Tribunal fédéral. Il demande l'annulation de l'arrêt du 29 janvier 2013 et le renvoi de la cause à l'instance précédente pour nouvelle décision au sens des considérants. Le Préfet de la Gruyère et le Tribunal cantonal se réfèrent aux considérants de l'arrêt attaqué et concluent au rejet du recours. La Commune de Cerniat conclut principalement à l'irrecevabilité du recours, subsidiairement à son rejet. Le recourant a répliqué par courrier du 15 juin 2013.