Faits : A. A._ et B._, ressortissants tunisiens mariés en 1989, sont arrivés en Suisse en 1996 et résident à Grolley depuis 2011 où ils sont propriétaires d'une maison. Ils ont trois enfants, C._ née en 1994, D._ né en 1996 et E._ née en 1999. A._ gère son propre atelier de couture depuis 2001 et son épouse exerce la profession d'aide-soignante à temps partiel. Le 24 novembre 2008, les époux ont déposé une demande de naturalisation ordinaire pour eux-mêmes et leurs enfants D._ et E._, le dossier de naturalisation de leur fille C._ étant distinct. Les époux ont été entendus le 13 novembre 2012 par la Commission communale des naturalisations (ci-après: la Commission) qui a préavisé négativement leur demande. Sur la base de ce préavis et du rapport d'enquête du Service de l'état civil et des naturalisations (SECiN), le Conseil communal de Grolley a, par décision du 3 janvier 2013, refusé d'octroyer le droit de cité aux époux et à leurs deux enfants. Le Conseil communal a notamment mis en évidence un manque clair de connaissances générales des intéressés concernant certaines données simples et basiques de la vie culturelle, politique et géographique du canton de Fribourg et de la Suisse; l'autorité communale a également considéré que leur intérêt culturel était plus tourné dans la direction de leur pays d'origine que vers la Suisse. Le 29 février 2013, les intéressés ont déposé un recours auprès du Préfet du district de la Sarine contre cette décision. Celui-ci a confirmé, le 15 mai 2013, la décision communale. Selon le Préfet, si l'intégration des intéressés sur le plan professionnel n'était pas contestée, tel n'était pas le cas sur le plan social et culturel. Par arrêt du 27 mai 2014, la I e Cour administrative du Tribunal cantonal a rejeté le recours formé par les époux. B. Par acte du 4 juillet 2014, les époux A._ et B._ forment un recours constitutionnel subsidiaire par lequel ils demandent l'annulation de l'arrêt du Tribunal cantonal et le renvoi de la cause à celui-ci pour nouvelle décision dans le sens des considérants. Le Tribunal cantonal conclut au rejet du recours en renvoyant aux considérants de son arrêt. Le Préfet de la Sarine et le Conseil communal s'en remettent à justice.