Faits :
A.
La commune de Crésuz a élaboré un projet portant sur le bâtiment de la Chaumine, visant à lui redonner vie et par là même à réaffecter la zone d'intérêt général (ci-après: ZIG) dans laquelle il est situé. Lors de l'assemblée du 26 avril 2017, le Conseil communal a présenté le projet portant notamment sur la construction d'un nouveau bâtiment, destiné à abriter une salle polyvalente modulable, l'administration communale, des espaces d'exposition et une cafétéria, ainsi que sur la démolition de la Chaumine. L'assemblée communale a accepté les affectations proposées pour le nouveau bâtiment par 66 voix contre 27 et a validé la demande de crédit complémentaire de 200'000 francs pour l'avant-projet.
Le 30 octobre 2018, une première présentation publique du projet a eu lieu avec un devis estimatif de 5'800'000 francs, à plus ou moins 15%. Le 20 février 2019, une seconde présentation publique a été tenue, principalement afin de détailler les aspects financiers du projet: le devis général portait sur un crédit de 5'900'000 francs, à plus ou moins 10%. Lors de cette présentation, en lien avec la planification financière, des "revenus supplémentaires générés par la ZIG" ont été mentionnés, avec notamment la location du bureau actuel de l'administration, après transformation pour un investissement à hauteur de 200'000 francs.
Le 20 mars 2019, les citoyens ont été convoqués à une assemblée extraordinaire. Celle-ci portait sur la planification financière 2019-2024 (point 2 de l'ordre du jour), puis sur le crédit relatif au projet visant "la démolition du bâtiment de la Chaumine/Transformation et changement d'affectation de la déchetterie communale/Construction d'une salle polyvalente, d'une administration et d'une déchetterie communale et changement du système de chauffage de l'abri PC" (point 3 de l'ordre du jour, ci-après: le projet de la Chaumine). Le coût total du projet de la Chaumine présenté aux citoyens s'élevait à 5'925'000 francs. Lors de cette assemblée, en répondant à une question d'un citoyen, le syndic a donné une fausse information portant sur le fait que l'investissement destiné à la transformation des locaux actuels de l'administration communale était compris dans le crédit relatif au projet de la Chaumine. Le crédit a été accepté par l'assemblée communale, par 58 voix contre 55.
B.
Le 17 avril 2019, Didier et Sarah Baechler, Jean-Pierre Blein, Marlies Bobay, Michel Ducrest, Henri, Nicole et Camille Esseiva, Jacqueline Knüsli, Walter et Claire Quakernack, Anne-Marie Quartenoud Blanc, Valérie Rey, Katrin et Pierre Roulin, Jacqueline Ruffieux, Rose-Marie Roy, Jean-Jacques Tornare et Bluette Weber (ci-après: Didier Baechler et consorts) ont formé recours auprès du Préfet du district de la Gruyère (ci-après: le Préfet) contre la décision de l'assemblée communale précitée. Ils ont requis l'annulation du vote et la mise sur pied d'un nouveau scrutin. Ils ont estimé avoir été induits en erreur lors de l'assemblée communale qui n'aurait pas été conduite de façon objective.
Par décision du 6 septembre 2019, le Préfet a rejeté le recours, dans la mesure de sa recevabilité.
Par arrêt du 29 avril 2020, la Ie Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a rejeté le recours déposé contre la décision du 6 septembre 2019. Elle a considéré en substance que la gravité du vice et sa portée sur l'ensemble du vote étaient trop négligeables pour conduire à l'annulation du vote.
C.
Agissant par la voie du recours en matière de droit public, Didier Baechler et consorts demandent principalement au Tribunal fédéral d'annuler l'arrêt du 29 avril 2020 et de renvoyer l'affaire à l'instance précédente. Ils concluent subsidiairement à la réforme de l'arrêt du 29 avril 2020, en ce sens que le vote du 20 mars 2019 de l'assemblée communale de Crésuz selon le point 3 de l'ordre du jour est annulé.
Le Tribunal cantonal et la commune de Crésuz ont conclu au rejet du recours. Les recourants ont renoncé à répliquer. Par ordonnance du 9 juillet 2020, le Juge présidant de la Ire Cour de droit public a admis la requête d'effet suspensif présentée par les recourants.

Considérant en droit :
1.
Selon l'art. 82 let. c LTF, le Tribunal fédéral connaît des recours concernant le droit de vote des citoyens ainsi que les élections et votations populaires. Cette voie de recours permet en particulier au citoyen de contester le résultat d'une votation communale.
Citoyens actifs de la commune de Crésuz et membres de l'assemblée communale, les recourants ont la qualité pour recourir, au sens de l'<ref-law>. Pour le surplus, interjeté en temps utile et dans les formes requises contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral, le recours est recevable au regard des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2.
Dans un premier grief d'ordre formel, les recourants se plaignent d'une violation de leur droit d'être entendus (art. 29 al. 2 Cst.), au motif que le Tribunal cantonal aurait violé leur droit à la réplique. Ils reprochent à l'instance précédente d'avoir prononcé son arrêt avant l'écoulement d'un délai de 10 jours dès la fin des féries, ce qui les aurait empêchés de faire valoir leur droit à la réplique.
2.1. Le droit de répliquer vise le droit conféré à la partie de se déterminer sur toute prise de position versée au dossier, quelle que soit sa dénomination procédurale (réponse, réplique, prise de position, etc.; <ref-ruling> consid. 4.1.1 p. 53 et les références citées); même si le juge renonce à ordonner un nouvel échange d'écritures, il doit néanmoins transmettre cette prise de position ou toute pièce nouvelle versée au dossier aux autres parties (<ref-ruling> consid. 4.1.1 précité; <ref-ruling> consid. 3.2 p. 192). En revanche, le droit de répliquer n'impose pas à l'autorité judiciaire l'obligation de fixer un délai à la partie pour déposer d'éventuelles observations, pour autant qu'on puisse attendre de cette dernière qu'elle agisse d'elle-même si elle l'estime nécessaire; l'autorité judiciaire doit en revanche laisser à la partie un laps de temps suffisant, entre la remise des documents et le prononcé de sa décision, pour qu'elle ait la possibilité de déposer des observations (<ref-ruling> consid. 4.1.1 p. 54; <ref-ruling> consid. 2.4 p. 487). A cet égard, le Tribunal fédéral considère qu'un délai inférieur à dix jours ne suffit pas à garantir l'exercice effectif du droit de répliquer, tandis qu'un délai supérieur à vingt jours permet, en l'absence de réaction, d'inférer qu'il a été renoncé à un tel droit (arrêts 1B_214/2019 du 25 juin 2019 consid. 2.1; 5A_923/2018 du 6 mai 2019 consid. 4.2.1 et les arrêts cités).
2.2. En l'espèce, la commune a déposé sa réponse au recours le 16 décembre 2019. Dans un deuxième échange d'écritures, les recourants ont formulé une réplique spontanée le 17 février 2020. La commune a dupliqué, par courrier du 30 mars 2020, reçu le 3 avril 2020 par le mandataire des recourants. Le Tribunal cantonal a rendu son arrêt le 29 avril 2020 et le mandataire des recourants l'a reçu le 6 mai 2020.
Les recourants soutiennent qu'ils pouvaient déposer une réponse à la duplique de la commune dans les 20 jours dès la fin de la suspension des délais prononcée le 20 mars 2020 par le Conseil fédéral (ordonnance du 20 mars 2020 sur la suspension des délais dans les procédures civiles et administratives pour assurer le maintien de la justice en lien avec le coronavirus; RO 2020 849), soit dès le 19 avril 2020.
Ce grief doit être d'emblée rejeté. En effet, l'art. 1 de l'ordonnance du 20 mars 2020 précise que la suspension des délais ne s'applique que pour les délais légaux ou les délais fixés par les autorités ou par les tribunaux. Or en l'espèce, le droit inconditionnel à la réplique qui découle de l'art. 29 al. 2 Cst. n'est ni un délai légal, ni un délai fixé par un tribunal.
Les recourants, représentés par un avocat, ne démontrent pas avoir reçu copie des déterminations de l'intimée trop tardivement pour pouvoir y réagir avant la reddition de l'arrêt cantonal. Cette écriture a en effet été reçue 23 jours avant l'arrêt cantonal. Conformément à la jurisprudence, un tel délai suffit. Aussi la cour cantonale n'a pas violé le droit d'être entendu des recourants en statuant 23 jours après leur avoir transmis la duplique de l'autorité intimée. Cela est d'autant plus vrai que les recourants n'ont pas demandé au Tribunal cantonal de leur fixer un délai de détermination, ce qui aurait alors démontré leur intention de faire usage de leur droit. S'ajoute encore à cela qu'il ressort du dossier que le mandataire des recourants a reçu l'arrêt le 6 mai 2020. Or aucune détermination ou requête provenant des recourants n'avait été envoyée au Tribunal cantonal à cette date-là.
3.
Les recourants se plaignent ensuite d'un établissement incomplet et inexact des faits (<ref-law>).
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). La recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358).
En l'espèce, les recourants reprochent au Tribunal cantonal de ne pas avoir pris en compte le courrier du 17 avril 2019 de la commission financière ainsi que les déclarations du syndic, du vice-syndic et de trois conseillers communaux, interrogés lors de la procédure devant le Préfet. Ils font aussi grief à l'instance précédente de ne pas avoir retenu certains passages du procès-verbal de l'assemblée communale du 20 mars 2019, permettant de replacer la réponse erronée du syndic dans son contexte et de préciser que celle-ci se situait peu de temps avant le vote.
Ces différents éléments n'ont cependant aucune incidence sur l'issue du litige (voir infra consid. 4.3 et 4.4).
Le grief de la constatation inexacte des faits doit donc être rejeté.
4.
Sur le fond, les recourants rappellent que le syndic a donné, lors de l'assemblée communale, une fausse information portant sur le fait que l'investissement destiné à la transformation des locaux actuels de l'administration communale était compris dans le crédit relatif au projet de la Chaumine. Ils soutiennent que cette affirmation a eu une influence décisive sur l'issue du scrutin. Ils se plaignent à cet égard d'une violation de l'art. 34 Cst.
4.1. L'art. 34 al. 2 Cst. protège la libre formation de l'opinion des citoyens: il garantit ainsi aux citoyens qu'aucun résultat de vote ne soit reconnu s'il ne traduit pas de façon fidèle et sûre l'expression de leur libre volonté. Chaque citoyen doit pouvoir se déterminer en élaborant son opinion de la façon la plus libre et complète possible et exprimer son choix en conséquence. La liberté de vote garantit la sincérité du débat nécessaire au processus démocratique et à la légitimité des décisions prises en démocratie directe (<ref-ruling> consid. 5.1 p. 137 et les références citées).
Selon la jurisprudence, le résultat d'une votation est faussé lorsque les citoyens ont été informés de manière erronée sur le but et la portée du projet soumis au vote. L'autorité n'est pas tenue à un devoir de neutralité et elle peut donc formuler une recommandation de vote, mais elle doit respecter un devoir d'objectivité, de transparence et de proportionnalité. Les informations qu'elle apporte doivent prendre place dans un processus ouvert de formation de l'opinion, ce qui exclut les interventions excessives et disproportionnées s'apparentant à de la propagande et propres à empêcher la formation de l'opinion (<ref-ruling> consid. 5.1 p. 342). L'autorité viole ainsi son devoir d'information objective lorsqu'elle informe de manière erronée sur le but et la portée du projet. L'autorité n'est pas tenue de discuter chaque détail du projet ni d'évoquer chaque objection qui pourrait être soulevée à son encontre, mais il lui est interdit de passer sous silence des éléments importants pour la décision du citoyen ou de reproduire de manière inexacte les arguments des adversaires du référendum ou de l'initiative (<ref-ruling> consid. 4.4 p. 82; <ref-ruling> consid. 6.2 p. 13).
4.2. Lorsque des irrégularités sont constatées, la votation n'est annulée qu'à la double condition que la violation constatée est grave et qu'elle a pu avoir une influence sur le résultat du vote. Il y a lieu de tenir compte notamment de l'écart de voix, de la gravité des vices de procédure et de leur portée sur le vote dans son ensemble. Si la possibilité d'un résultat différent au cas où la procédure n'avait pas été viciée apparaît à ce point minime qu'elle ne puisse pas entrer sérieusement en considération, il y a lieu de renoncer à l'annulation du vote; dans le cas contraire, il faut considérer le vice comme important et annuler la votation (<ref-ruling> consid. 4.1 p. 222).
4.3. En l'espèce, il n'est pas contesté que le syndic, répondant à une question d'un citoyen, a donné une information erronée.
4.3.1. Afin d'apprécier la gravité de cette irrégularité et de son éventuelle influence sur le résultat du vote, il y a d'abord lieu d'exposer le contexte dans lequel cette fausse réponse a été donnée. L'information incorrecte n'a pas été émise pendant la présentation du projet de la Chaumine et de son crédit (point 3 de l'ordre du jour), mais plus précisément lors de la discussion qui a suivi, durant laquelle de nombreuses questions ont été posées. Il ressort en effet du procès-verbal de la séance que quelques instants avant de donner l'information erronée, le syndic avait montré à nouveau le tableau des revenus supplémentaires générés par la ZIG - qu'il avait déjà montré lors de la présentation de la planification financière 2019-2023 (point 2 de l'ordre du jour) -; ces revenus supplémentaires comprendraient la location de l'école enfantine, la location de la salle polyvalente et la location du bureau de l'actuelle administration communale. C'est alors qu'a été posée la question tendant à savoir si "les 6 millions [incluaient] la remise à niveau de l'administration communale actuelle et de la nouvelle école". Le syndic s'est trompé en répondant par l'affirmative. Mis à part le fait que la question n'était pas posée clairement, le contexte dans lequel elle a été formulée était plus large que la thématique du crédit relatif au projet de la Chaumine puisqu'il s'agissait des revenus générés par la ZIG.
4.3.2. Il faut ensuite souligner qu'au cours des trois présentations publiques portant sur le projet de la Chaumine, en particulier sur son financement, les frais liés à la transformation de l'actuelle administration communale n'ont jamais figuré dans le budget; ce n'est que lors de la présentation publique du 20 février 2019 qu'il en a été question, là encore dans le cadre de la planification financière communale, où figurait notamment, sous le titre "Revenus supplémentaires générés par la ZIG", la location du bureau actuel de l'administration, après transformation pour un investissement à hauteur de 200'000 francs. S'agissant de l'assemblée communale du 20 mars 2019, il faut relever que l'intitulé du point 3 à l'ordre du jour portant sur le crédit soumis au vote des citoyens énumère précisément le contenu du projet de la Chaumine: la démolition du bâtiment de la Chaumine, la transformation et le changement d'affectation de la déchetterie communale, la construction d'une salle polyvalente, d'une administration et d'une déchetterie communale et le changement du système de chauffage de l'abri PC. Le changement d'affectation de l'actuel bureau de l'administration communale n'y figure pas. De même, lors de cette assemblée, le projet de la Chaumine a été présenté en détail avec tous les postes du devis: la transformation de l'actuelle administration communale n'y était pas mentionnée. S'y ajoute que, selon le procès-verbal, la formulation de la question soumise au vote était précise: "Acceptez-vous le crédit relatif à la démolition du bâtiment de la Chaumine, la transformation et changement d'affectation de la déchetterie communale, la construction d'une salle polyvalente, d'une administration et d'une déchetterie communale et le changement du système de chauffage de l'abri PC, demandé par le Conseil communal?". Dans ces circonstances, les recourants ne peuvent rien tirer de ce que l'information erronée aurait été donnée peu avant le vote, soit à un moment où il ne serait plus possible de contester la véracité de l'affirmation du syndic ou de se renseigner auprès de sources fiables.
Les citoyens ont ainsi eu accès, à plusieurs reprises, aux informations permettant de se rendre compte qu'à aucun moment le montant planifié pour la transformation de l'actuel bureau de l'administration communale n'était intégré au crédit soumis au vote. De plus, la transformation de l'actuel bureau de l'administration communale n'apparaît jamais sur les plans et photos présentés qui montrent uniquement les projections du nouveau bâtiment de la Chaumine et des espaces extérieurs. Il est certes regrettable qu'aucun conseiller communal n'ait rectifié le propos inexact du syndic. Peu importe pour quel motif ils ont renoncé à le faire. A cet égard, les recourants ne peuvent d'ailleurs se contenter d'affirmer que si les conseillers communaux se sont tus c'est parce qu'ils craignaient qu'un désaveu des propos du syndic puisse déstabiliser, voire indisposer des citoyens et faire pencher le vote en défaveur du crédit. Cette affirmation relève d'un procès d'intention inadmissible et ne mérite pas de plus ample examen.
4.3.3. Enfin, comme l'ont relevé le Préfet et le Tribunal cantonal, au regard du crédit soumis au vote, d'un montant de 5'925'000 francs, l'investissement lié à la remise à niveau de l'administration communale, estimé à 200'000 francs, est trop faible pour avoir un réel impact: il correspond en effet à un montant de moins de 3,4 % du crédit soumis au vote, sachant que ce crédit se fonde sur un devis général à plus ou moins 10 %, autorisant une variation des coûts à hauteur de 590'000 francs. Que cet investissement soit compris ou non dans le crédit lié au projet de la Chaumine, l'effet sur les finances communales de ce seul montant est faible, trop faible même pour admettre que le fait qu'il soit compris ou non dans le crédit global eût changé l'issue du vote litigieux.
4.3.4. Les recourants soutiennent encore que la réponse non équivoque du syndic pouvait apparaître comme cohérente et même rassurante aux yeux de l'assemblée communale puisqu'il était logique de croire que le projet de la Chaumine devant abriter les nouveaux bureaux de l'administration communale, nécessitait une réaffectation des locaux actuels en appartement. Ils ne peuvent cependant être suivis dans la mesure où il n'y a pas de lien entre le crédit soumis au vote et l'investissement à faire pour louer le bâtiment de l'administration communale. La transformation du bâtiment communal fait l'objet d'une simple réflexion issue de la planification financière: cet investissement, s'il était maintenu, devrait faire l'objet d'un vote ultérieur, de sorte que les citoyens qui s'y opposeraient pourraient alors le refuser.
Les recourants ne peuvent pas non plus tirer argument de ce que la Commission financière a mentionné dans son courrier du 17 avril 2019 destiné au Conseil communal que "après vérification" le montant de 200'000 francs n'était pas compris dans le projet de la Chaumine. En effet, celle-ci ne pouvait demander un correctif du procès-verbal sans avoir préalablement vérifié si la demande était fondée.
4.4. Il résulte de ce qui précède que l'erreur du syndic peut être atténuée pour trois motifs. Premièrement, cette faute n'a pas été commise lors de la présentation du projet et de son crédit devant l'assemblée communale mais lors de la discussion qui a suivi et qui portait sur la planification financière, plus précisément sur les revenus générés par la ZIG. Deuxièmement, les citoyens ont eu accès à de nombreuses informations présentant le crédit soumis au vote, dans lesquelles ne figuraient jamais les 200'000 francs liés à la transformation du bureau de l'actuelle administration communale. Troisièmement, le montant sur lequel porte la réponse erronée est peu élevé par rapport au montant total du crédit soumis au vote.
Ainsi, l'irrégularité commise ne peut être qualifiée de grave et ne saurait vraisemblablement avoir exercé une influence sur l'issue du vote, malgré le résultat serré. Le grief de violation de l'art. 34 Cst. doit donc être écarté.
5.
Il s'ensuit que le recours est rejeté, aux frais des recourants qui succombent (<ref-law>). Il n'est pas alloué de dépens à la commune intimée qui a agi dans l'exercice de ses attributions officielles (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 1'000 francs, sont mis à la charge des recourants.
3.
Le présent arrêt est communiqué aux mandataires des recourants et de la Commune de Crésuz, au Préfet de la Gruyère et à la I e Cour administrative du Tribunal cantonal du canton de Fribourg.
Lausanne, le 13 novembre 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller