Faits :
A.
A.a. Le 18 février 2014, A._ Sàrl et B._ (ci-après: les locataires) et C._ (ci-après: le bailleur) ont conclu un contrat de bail portant sur un local commercial situé à la rue xxx à..., à l'usage de " restauration gastronomique ", avec effet au 1er mai 2014. Le loyer mensuel s'élevait à 5'900 fr., incluant un acompte de frais accessoires. Le contrat faisait état de ce qui suit: " il est convenu entre les parties que l'entrée en jouissance est prévue le 1er mai 2014, sous réserve de l'obtention du permis de construire délivré par le service de l'urbanisme. Uniquement en cas de refus du service précité, le bail deviendra caduque [sic]. Dans ce cas, les locataires ne pourront prétendre à aucune indemnité ".
Le 10 mars 2014, le bailleur a déposé une demande de permis de construire pour l'aménagement d'une cuisine industrielle dans ce local.
A.b. Par courriel du 17 mars 2014, B._ a indiqué au bailleur que le projet était irréalisable au motif que la batterie de cuisine était " quasi inutilisable " au vu du besoin d'énergie. Il a considéré le contrat de bail comme " caduc ".
Le même jour, le bailleur a contesté ces éléments et a proposé une rencontre afin d'éclaircir ce " brusque changement d'attitude ". Il a ajouté qu'il n'envisageait pas d'arrêter la procédure " d'autorisation d'exploiter ", en précisant qu'il était évident que le bail serait valide.
Par lettre du 25 mars 2014, les locataires ont affirmé que les locaux étaient entachés d'un défaut grave, lequel empêchait leur exploitation conformément à ce qui avait été convenu. Ils ont mis en demeure le bailleur de leur mettre à disposition des locaux adaptés à l'utilisation de l'ensemble de leur matériel de cuisine industrielle, en lui fixant un délai au 11 avril 2014 pour s'exécuter. A défaut, les locataires se disaient contraints de se départir du contrat.
Le 2 avril 2014, le bailleur a notamment contesté le défaut. Il a fourni une attestation de conformité de l'installation électrique des locaux pour l'exploitation d'une cuisine industrielle.
Par courriel du 25 avril 2014, les locataires ont fixé au bailleur un nouveau délai au 13 mai 2014 pour leur mettre à disposition des locaux adaptés.
A.c. Dans l'intervalle, le 28 mars 2014, les locataires ont conclu un contrat de bail avec un autre bailleur portant sur un local commercial situé à la rue yyy à..., avec effet au 1er mai 2014.
A.d. Par courrier du 28 mai 2014, les locataires ont indiqué se départir du contrat de bail, la résolution du contrat rétroagissant au 18 février 2014.
A.e. Le bailleur a obtenu le permis de construire pour l'aménagement de la cuisine industrielle le 23 juin 2014.
B.
B.a. Le 21 avril 2016, le bailleur a saisi le Tribunal régional des Montagnes et du Val-de-Ruz d'une demande dirigée contre les locataires. Au dernier état de ses conclusions, il a notamment réclamé le paiement d'un montant de 241'900 fr. avec intérêts correspondant à des loyers impayés. Il a allégué qu'il était prévu que des travaux d'aménagement seraient exécutés dans les locaux et pris en charge à hauteur de 250'000 fr. par ses soins. Le permis de construire pour les travaux prévus avait été délivré, et les locataires avaient tenté de se défaire du contrat.
Les locataires ont conclu au rejet de la demande, en indiquant avoir fourni au bailleur, lors des négociations en vue de la conclusion du contrat de bail, tous les renseignements utiles concernant l'usage prévu des locaux et leur besoin en électricité. Ils avaient par la suite réalisé que les locaux ne pourraient pas être exploités de manière conforme à ce qui avait été prévu.
Une expertise judiciaire a été confiée à D._, lequel a rendu son rapport le 4 juin 2018. Il a également transmis des photos du coffret d'introduction et des tableaux de distribution, ainsi qu'une note explicative. Il a encore rédigé un rapport complémentaire le 20 août 2019.
Le tribunal a entendu différents témoins.
Par jugement du 3 septembre 2020, le tribunal a condamné solidairement les locataires à verser au bailleur la somme de 212'400 fr. avec intérêts, à titre de loyers bruts pour les mois de juillet 2014 à juin 2017, soit 5'900 fr. mensuels. Il a rejeté toute autre ou plus ample conclusion.
B.b. Statuant le 26 mars 2021, la Cour d'appel civile du Tribunal cantonal neuchâtelois a rejeté l'appel formé par les locataires et a confirmé le jugement attaqué.
C.
Les locataires (ci-après: les recourants) ont exercé un recours en matière civile au Tribunal fédéral, en concluant principalement à la réforme de l'arrêt entrepris en ce sens que la demande déposée le 21 avril 2016 par le bailleur (ci-après: l'intimé) soit rejetée en toutes ses conclusions. Subsidiairement, ils ont conclu à sa réforme en ce sens qu'ils soient condamnés à lui verser un montant maximum de 103'680 fr. avec intérêts, plus subsidiairement celui de 198'000 fr. avec intérêts. Encore plus subsidiairement, ils ont conclu à l'annulation de l'arrêt entrepris et au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants.
Dans sa réponse, l'intimé a conclu au rejet du recours dans la mesure de sa recevabilité.
La cour cantonale s'est référée à son arrêt.
Les recourants ont déposé une réplique spontanée. L'intimée a renvoyé à sa réponse.

Considérant en droit :
1.
Les conditions de recevabilité du recours en matière civile sont réalisées sur le principe, notamment celles afférentes à la valeur litigieuse minimale de 15'000 fr. (<ref-law>) et au délai de recours (<ref-law>).
2.
2.1. Le recours peut être formé pour violation du droit fédéral (<ref-law>). Le Tribunal fédéral applique le droit d'office (<ref-law>). Eu égard, toutefois, à l'exigence de motivation qu'impose l'<ref-law>, sous peine d'irrecevabilité (<ref-law>), il n'examine que les griefs invoqués, sauf en cas d'erreurs juridiques manifestes (<ref-ruling> consid. 2). Le recourant doit discuter les motifs de la décision entreprise et indiquer précisément en quoi il estime que l'autorité précédente a méconnu le droit (<ref-ruling> consid. 2).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut rectifier ou compléter les constatations de l'autorité précédente que si elles sont manifestement inexactes ou découlent d'une violation du droit au sens de l'<ref-law> (<ref-law>). " Manifestement inexactes " signifie ici " arbitraires " (<ref-ruling> consid. 2; <ref-ruling> consid. 1.5). Encore faut-il que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 et les références). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi les conditions précitées seraient réalisées. Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 et les références citées).
En matière d'appréciation des preuves, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. L'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable, voire préférable (<ref-ruling> consid. 4.2).
En l'espèce, les recourants méconnaissent ces principes lorsqu'ils procèdent à un exposé des faits en s'écartant parfois de ceux figurant dans l'arrêt cantonal, sans invoquer, ni a fortiori motiver le grief d'arbitraire. Il n'en sera donc pas tenu compte.
3.
Dans un premier temps, le tribunal régional a retenu que, selon le contrat de bail, seule l'hypothèse d'un refus de la demande de permis de construire devait entraîner la caducité du contrat. Les parties n'avaient pas précisé les conséquences de l'octroi du permis de construire après la date prévue pour l'entrée en possession des locaux, soit le 1er mai 2014. Sur ce point, il convenait donc de dégager la volonté hypothétique des parties et de compléter le contrat. Le tribunal a déterminé qu'au vu de l'octroi du permis de construire le 23 juin 2014, celles-ci auraient envisagé un report de l'entrée en jouissance au 1er juillet 2014. Un report de deux mois paraissait raisonnable, de sorte que les locataires ne pouvaient pas se prévaloir du fait que la condition prévue dans le contrat n'était pas réalisée pour invalider ce dernier. Dans un second temps, le tribunal a examiné le point de savoir si le bailleur était en mesure de remettre aux locataires, à cette date, un local dans un état approprié à l'usage convenu, au sens des art. 256 et 258 CO; il a conclu que le local n'était pas entaché d'un défaut et que le contrat liait donc les parties.
La cour cantonale ne s'est pas prononcée sur le premier volet de la motivation développée par le tribunal régional. Elle a confirmé le second volet.
4.
Les recourants contestent le premier volet de l'argumentation du tribunal régional, portant en substance sur la volonté hypothétique des parties quant à la fixation de l'entrée en jouissance au 1er juillet 2014.
4.1. En vertu du principe de l'épuisement des griefs, le recours au Tribunal fédéral n'est ouvert qu'à l'encontre des décisions rendues par une autorité cantonale de dernière instance (<ref-law>), ce qui signifie que les voies de droit cantonales doivent avoir été non seulement utilisées sur le plan formel, mais aussi épuisées sur le plan matériel (<ref-ruling> consid. 1.1). Lorsque l'autorité de dernière instance cantonale peut se limiter à examiner les griefs régulièrement soulevés, le principe de l'épuisement matériel veut que les griefs soumis au Tribunal fédéral aient déjà été invoqués devant l'instance précédente (arrêts 4A_40/2021 du 10 juin 2021 consid. 3.2; 5A_451/2020 du 31 mars 2021 consid. 2.3 et les références citées).
Aux termes de l'<ref-law>, le tribunal applique le droit d'office. Cela ne signifie pas que la cour cantonale doive examiner toutes les questions de fait et de droit qui pourraient se poser. Compte tenu de l'obligation de motiver imposée par l'<ref-law> s'agissant de l'appel, il appartient à l'appelant de motiver son appel. La même obligation incombe à l'appelé, qui doit soulever ses griefs dans sa réponse. Selon la jurisprudence, la cour cantonale n'est pas tenue, comme un tribunal de première instance, d'examiner toutes les questions de fait et de droit qui pourraient se poser lorsque les parties ne soulèvent pas de griefs correspondants en deuxième instance. A moins que la violation du droit ne soit manifeste, la cour cantonale se limitera en principe à examiner les griefs que les parties adressent à la motivation du premier jugement dans le mémoire et dans la réponse (<ref-ruling> consid. 4.1.4; arrêt 4A_40/2021 précité et les références).
4.2. En l'occurrence, devant la cour cantonale, les locataires n'ont pas soulevé de critiques en lien avec l'interprétation de la volonté hypothétique des parties. Les juges cantonaux n'ont pas examiné ce point qui, de surcroît, ne consacre pas une violation manifeste du droit. Dès lors, les griefs formulés par les recourants à ce sujet sont irrecevables au regard du principe de l'épuisement des griefs.
Au demeurant, et tout au long de leur recours, les intéressés fondent certains de leurs arguments sur des faits qui n'ont pas été constatés par la cour cantonale. Ils ne se prévalent souvent pas du grief d'arbitraire. Dans tous les cas, ils ne démontrent pas que l'instance précédente aurait établi les faits de manière arbitraire en ne retenant pas ces éléments. Les recourants n'exposent pas non plus, par un renvoi précis aux pièces du dossier, qu'ils auraient présenté ces faits précédemment. Dès lors, il n'en sera pas tenu compte.
5.
Ensuite, dans une argumentation mêlant les faits et le droit, quelque peu difficile à suivre, les recourants dénoncent une violation des art. 256 et 258 CO.
5.1. Le bailleur est tenu de délivrer la chose à la date convenue, dans un état approprié à l'usage pour lequel elle a été louée, puis de l'entretenir dans cet état (<ref-law>). Cette obligation du bailleur permet de cerner la notion du défaut, dès lors que celui-ci n'est défini ni à l'<ref-law> s'appliquant aux défauts originels, ni aux <ref-law> énumérant les droits du locataire en cas de défauts subséquents. Il y a ainsi défaut lorsque l'état réel de la chose diverge de l'état convenu, c'est-à-dire lorsque la chose ne présente pas une qualité que le bailleur avait promise ou lorsqu'elle ne présente pas une qualité sur laquelle le locataire pouvait légitimement compter en se référant à l'état approprié à l'usage convenu (<ref-ruling> consid. 3.2 et les références citées; arrêt 4A_411/2020 du 9 février 2021 consid. 3.1.1). L'usage convenu se détermine prioritairement en fonction des termes du bail et de ses annexes (arrêt 4A_208/2015 du 12 février 2016 consid. 3.1).
Selon l'<ref-law>, si le bailleur ne délivre pas la chose à la date convenue ou qu'il la délivre avec des défauts qui excluent ou entravent considérablement l'usage pour lequel elle a été louée, le locataire peut invoquer les art. 107 à 109 CO concernant l'inexécution des contrats.
5.2. Au préalable, on doit relever que pour plusieurs points, les recourants formulent des critiques sur les motifs du jugement de première instance, et non sur ceux développés par la cour cantonale en réponse à ces mêmes critiques. En tant que les recourants ne discutent pas l'argumentation de la cour cantonale, ils ne répondent pas aux exigences de motivation prévalant devant le Tribunal fédéral (cf. consid. 2.1 supra). Ces critiques sont d'emblée irrecevables.
5.3. Les recourants font d'abord grief à l'autorité précédente d'avoir considéré qu'ils n'avaient pas apporté la preuve de leurs exigences en matière d'alimentation électrique et d'avoir ainsi retenu l'absence de qualité promise à cet égard.
5.3.1. L'autorité précédente a relevé qu'on ne pouvait pas considérer que la conclusion d'un bail commercial portant sur des locaux devant abriter une " restauration gastronomique ", soumis à la seule condition de la délivrance d'un permis de construire, impliquait pour le bailleur d'avoir promis aux locataires de remplir tous leurs besoins particuliers et hors normes en électricité ou encore qu'il s'agirait d'une qualité attendue. Ainsi, pour pouvoir invoquer un défaut lié à cet aspect, les locataires devaient démontrer qu'ils avaient fait à ce titre une demande particulière et précise, et que le bailleur s'était engagé à la satisfaire, ce qui en faisait une qualité promise. Le fait que les parties s'étaient rencontrées à de multiples reprises avant la conclusion du contrat ne démontrait pas qu'elles auraient établi précisément le matériel nécessaire pour la cuisine industrielle, ainsi que toutes les modalités permettant un fonctionnement optimal de cette activité. Aucun témoin ni document ne pouvait attester du contenu de ces discussions, ce d'autant plus que l'intimé avait déclaré que " la question du manque d'énergie " n'avait jamais été évoquée lors de ces rencontres. La cour cantonale a conclu que les locataires n'avaient pas démontré l'existence de qualités promises, dont l'absence les aurait autorisés à se départir du contrat.
5.3.2. Les recourants soutiennent avoir prouvé qu'ils avaient émis des exigences en matière d'électricité. Ils allèguent que les travaux demandés et nécessaires pour permettre l'exploitation d'une cuisine industrielle entraînaient un investissement de plus de 200'000 fr. L'essentiel de ces travaux concernait à l'évidence le fait de pouvoir brancher leurs appareils électriques sur le système électrique existant. Ils se prévalent encore de plusieurs pièces figurant au dossier et de déclarations d'un témoin.
Savoir si les recourants ont prouvé avoir formulé des exigences en matière d'alimentation électrique est une pure question d'appréciation des preuves, que le Tribunal fédéral ne peut corriger que si elle se révèle arbitraire (art. 9 Cst.). Encore faut-il que les recourants présentent à ce sujet une argumentation précise (<ref-law>). Toutefois, dans leur recours, les intéressés se limitent à soutenir que la cour cantonale a constaté les faits de manière inexacte, sans invoquer l'arbitraire. Ils se contentent d'opposer leur propre appréciation à celle de la cour, s'agissant de plusieurs éléments figurant au dossier, sans parvenir à démontrer qu'elle aurait retenu de manière insoutenable qu'ils n'avaient pas prouvé avoir émis des exigences quant à leurs besoins en électricité. De plus, lorsqu'ils affirment que les travaux envisagés à hauteur de 200'000 fr. concernaient essentiellement le système électrique, ils se fondent sur un fait qui n'a pas été constaté par la cour cantonale. Ils ne peuvent en déduire qu'ils auraient apporté la preuve de leurs exigences en la matière.
Dès lors, l'appréciation de la cour cantonale à ce sujet n'est pas arbitraire. Elle pouvait ainsi légitimement considérer qu'il n'existait aucune qualité promise liée aux besoins particuliers des locataires s'agissant de l'alimentation électrique.
Pour le surplus, la cour cantonale a nié qu'une alimentation électrique répondant aux besoins hors normes des locataires constituerait une qualité attendue du local loué. Ce point n'a pas à être examiné, faute de critiques suffisamment motivées à cet égard.
5.4. Les recourants contestent ensuite l'appréciation de la cour cantonale en lien avec l'utilisation de machines fonctionnant au gaz, en se prévalant du grief d'arbitraire.
5.4.1. Sur ce point, l'autorité précédente a retenu que le besoin en électricité des locataires aurait pu être réduit par l'utilisation de telles machines. Le fait que le nouveau contrat de bail conclu par les locataires prévoyait expressément l'installation de gaz à leurs frais constituait un indice sérieux que les locataires n'étaient pas opposés à l'utilisation d'appareils fonctionnant au gaz. Cela était confirmé par les déclarations du témoin E._, lequel avait indiqué qu'il ne lui semblait pas que les locataires étaient opposés à l'installation de fours à gaz et qu'il lui semblait notamment qu'ils étaient " partis sur " des fours à gaz pour une raison fonctionnelle. En outre, l'alimentation électrique des nouveaux locaux loués par les locataires démontrait que leur matériel pouvait fonctionner dans les locaux litigieux.
5.4.2. Les recourants contestent avoir été prêts à se munir de machines fonctionnant au gaz et soutiennent que la cour cantonale a interprété le témoignage de E._ de manière arbitraire. En outre, ils allèguent que l'autorité précédente aurait dû limiter son analyse à ce que les parties avaient convenu lors des négociations et qu'elle n'avait pas à examiner une solution impliquant de telles machines.
Il ne suffit pas d'affirmer que les recourants n'avaient pas l'intention de se munir de machines à gaz contrairement à ce qu'il " semblait " à E._, pour démontrer que la cour cantonale aurait apprécié les faits de manière arbitraire en retenant qu'ils étaient prêts à le faire. Pour le surplus, l'argumentation des recourants repose principalement sur des faits qui n'ont pas été constatés par la cour cantonale. En particulier, elle n'a ni retenu que le besoin énergétique avait été défini par les parties, ni que le loyer du nouveau contrat de bail conclu par les locataires était moins cher que celui concernant le local litigieux.
5.5. Les recourants font également grief à la cour cantonale d'avoir considéré qu'ils n'avaient pas suffisamment motivé leur argument lié à l'appréciation faite par le tribunal de première instance des éléments fournis par l'expert judiciaire.
5.5.1. On comprend que les recourants dénoncent une violation de l'<ref-law>, lequel prévoit que l'appelant doit motiver son appel. L'appelant doit tenter de démontrer que sa thèse l'emporte sur celle de la décision attaquée. Il doit s'efforcer d'établir que, sur les faits constatés ou sur les conclusions juridiques qui en ont été tirées, la décision attaquée est entachée d'erreurs. Il ne peut le faire qu'en reprenant la démarche du premier juge et en mettant le doigt sur les failles de son raisonnement (arrêts 4A_611/2020 du 12 juillet 2021 consid. 3.1.2; 4A_397/2016 du 30 novembre 2016 consid. 3.1 et les références).
5.5.2. La cour cantonale a relevé que les locataires reprochaient au tribunal de première instance d'avoir fait abstraction des éléments essentiels de l'expertise pour la détermination de l'existence de défauts lors de la délivrance de la chose louée. Les locataires avaient souligné plusieurs aspects de l'expertise, mais perdaient de vue que le tribunal de première instance les avaient pris en compte et qu'il avait expliqué ce qu'il retenait en fonction de l'expertise. Il avait notamment indiqué que, selon l'expert, il était improbable en pratique que tous les appareils fonctionnent en même temps et qu'il convenait d'appliquer un facteur de simultanéité. La cour cantonale a considéré que les locataires ne remettaient pas en cause le raisonnement du tribunal de première instance, mais se contentaient d'invoquer certains points de l'expertise. Faute de motivation suffisante, leur grief devait être rejeté. En tout état, cela n'avait pas d'influence sur le sort de la cause puisque les locataires n'avaient pas démontré l'existence de qualités promises.
5.5.3. Les juges précédents ont ainsi écarté le grief des locataires sur la base d'une double motivation, chacune suffisant à sceller le sort de celui-ci.
Il n'est pas nécessaire de déterminer si les critiques émises ci-dessus par les recourants en lien avec l'existence de qualités promises sont suffisantes ici; en effet, celles-ci ont quoi qu'il en soit été écartées, l'appréciation de la cour cantonale n'étant pas arbitraire (cf. consid. 5.3 supra).
Dès lors, il est superflu d'analyser le grief des recourants lié aux lacunes de leur motivation. On peut néanmoins relever qu'à cet égard, ils allèguent avoir mis en évidence le fait que l'expert avait pointé les insuffisances et les dangers de l'installation électrique telle qu'elle était proposée. Or, il ne suffit pas de souligner ou reproduire certaines phrases tirées de l'expertise pour satisfaire aux exigences de motivation requises.
Au vu de ce qui précède, les critiques que les intéressés formulent dans leur recours en lien avec l'appréciation des éléments fournis par l'expert n'ont pas à être prises en considération.
5.6. Les recourants contestent encore le raisonnement - subsidiaire - de la cour cantonale s'agissant des mises en demeure qu'ils ont adressées à l'intimé.
5.6.1. On comprend qu'ils dénoncent une violation des art. 107 et 108 CO, concernant l'inexécution des contrats. Il n'est pas nécessaire d'exposer en détail le contenu de ces dispositions, vu le sort réservé à ce grief.
5.6.2. L'autorité précédente a relevé que les mises en demeure des locataires apparaissaient comme une formalité vide de sens, dès lors qu'ils n'avaient alors pas, pas plus qu'avant, articulé avec précision quels étaient leurs besoins et quels défauts ils voulaient voir réparés. Demander de manière générique des locaux avec une installation électrique leur permettant d'exercer une activité de cuisine industrielle était insuffisant. Pour permettre au bailleur d'agir en connaissance de cause dans le délai imparti, il fallait que les locataires exposent clairement ce qu'ils attendaient, ce qu'ils n'avaient pas fait. Ils ne s'étaient pas non plus prononcés sur les alternatives qui existaient, soit celles d'assurer l'approvisionnement énergétique de certaines machines au moyen de gaz et non d'électricité.
5.6.3. Les recourants soutiennent qu'il est excessif d'exiger de leur part de telles informations, d'autant plus qu'ils ne sont pas professionnels du domaine de l'électricité, qu'il y avait eu des échanges à ce sujet et que l'insuffisance de la distribution électrique était un fait établi.
Toutefois, la cour cantonale a constaté, sans arbitraire, que ces échanges ne permettaient pas de retenir que les locataires avaient défini leurs besoins avec précision. On peut en outre légitimement exiger des futurs locataires qu'ils le fassent, même si ceux-ci ne sont pas des professionnels en la matière. Tout au long de leur argumentation, les recourants tentent encore de revenir sur les faits établis par l'autorité cantonale ou non constatés par cette dernière, ou sur l'appréciation des preuves qu'elle a effectuée. Ils ne se prévalent pas du grief d'arbitraire et ne parviennent pas à démontrer que les appréciations opérées par la cour cantonale seraient insoutenables. Pour autant que recevable, leur grief doit être rejeté.
6.
Au vu de ce qui précède, l'argumentation largement appellatoire des recourants ne démontre pas que la cour cantonale aurait violé le droit fédéral en considérant qu'aucun défaut n'entachait le local loué et qu'ils n'étaient pas en droit de résoudre le contrat de bail pour ce prétendu motif.
7.
Ensuite, les recourants dénoncent une violation des art. 257a et b CO, dans la mesure où la cour cantonale les a condamnés au paiement des frais accessoires, alors qu'ils n'ont jamais occupé les locaux litigieux. Ils soutiennent qu'il appartenait à l'intimé de prouver l'existence de ces frais accessoires, ce qu'il n'avait pas fait.
7.1. La cour cantonale a relevé que dans sa demande, le bailleur avait allégué que le loyer mensuel s'élevait à 5'900 fr., charges comprises. Il avait produit le bail dont il ressortait que le loyer net se montait à 5'500 fr. et que l'acompte sur les frais accessoires était de 400 fr. Il avait allégué avoir mis en demeure les locataires de s'acquitter des loyers dus à cette date en se référant à une pièce, laquelle précisait que le loyer brut s'élevait à 5'900 fr. Finalement, il avait allégué que les locataires devaient être condamnés au paiement des loyers depuis le mois de juillet 2014, correspondant à un montant de 129'800 fr., en se référant au contrat de bail. Dans leur réponse, les locataires s'étaient référés aux pièces et avaient contesté le reste. Ils avaient ainsi contesté le montant total des loyers réclamés. Il leur appartenait pourtant de contester les frais accessoires et d'en indiquer les raisons, puisque le bailleur avait valablement allégué le loyer brut et qu'il était clair que celui-ci comprenait un loyer net de 5'500 fr. et des charges de 400 fr. Dès lors, on devait considérer que le loyer net ainsi que les charges étaient admis et, partant, que le bailleur n'avait pas à administrer des preuves supplémentaires. Les locataires devaient donc être condamnés au paiement des frais accessoires compris dans le loyer brut.
7.2. La motivation de la cour cantonale concerne ainsi uniquement des questions de procédure. En tant qu'ils critiquent cette motivation, les recourants fondent leur argumentation sur des faits qui n'ont pas été constatés par celle-ci. Ils affirment que le bailleur s'est contenté de renvoyer au bail à loyer dans sa demande et qu'ils se sont également référés au bail, en contestant le surplus. Or, l'intimé ne s'est pas limité à renvoyer au bail à loyer, puisqu'il a également allégué que le loyer mensuel s'élevait à 5'900 fr., en précisant que ce montant comprenait les charges.
Pour le surplus, la cour cantonale était fondée à se référer à l'<ref-ruling>. Celui-ci précise que lorsque le demandeur allègue dans ses écritures un montant total dû en produisant une facture détaillée, qui contient les informations nécessaires de manière explicite, on peut exiger du défendeur qu'il indique précisément les positions de la facture qu'il conteste, à défaut de quoi la facture est censée admise et n'aura donc pas à être prouvée (<ref-law>; <ref-ruling> consid. 5.2.1.2 et 5.2.2.3). En l'occurrence, les informations figurant dans le contrat de bail à loyer étaient parfaitement claires et ne laissaient aucune marge d'interprétation, à savoir un loyer net se montant à 5'500 fr. et des charges de 400 fr. Ce contrat contenait les informations nécessaires pour que les locataires puissent se prononcer clairement. Dans leur réponse, ils se sont limités à se référer aux pièces et à contester le reste. Faute d'indications suffisamment précises de la part des locataires, la cour cantonale pouvait retenir qu'ils n'avaient pas valablement contesté les allégations du bailleur quant aux charges et que ces dernières n'avaient donc pas à être prouvées. Le fait qu'il s'agit ici d'un contrat de bail à loyer, et non d'une facture, n'y change rien.
Dans ces circonstances, il n'y a pas besoin d'examiner la question au fond, sous l'angle d'une prétendue violation des art. 257a et b CO, ou de l'obligation du bailleur de soumettre les décomptes de charges à son locataire, telles qu'invoquées par les recourants.
8.
Pour finir, invoquant une violation de l'<ref-law>, les recourants reprochent à la cour cantonale d'avoir méconnu le fait que les travaux qui auraient dû entraîner une augmentation du loyer n'ont jamais été entrepris. Ainsi, le montant des loyers arriérés devait se calculer non pas sur la base d'un loyer mensuel de 5'900 fr., lequel tenait compte des travaux envisagés, mais sur un loyer mensuel de 2'880 fr., correspondant au loyer net initialement proposé.
Toutefois, la cour cantonale n'a pas constaté qu'un loyer de 2'880 fr., sans travaux, était initialement prévu. Les recourants se fondent ainsi, encore une fois, sur un élément non constaté. Par ailleurs, ils n'exposent même pas avoir présenté ce fait précédemment. Dès lors, leur critique est irrecevable.
9.
En définitive, le recours doit être rejeté, dans la mesure où il est recevable.
Les recourants, qui succombent, prendront solidairement à leur charge les frais judiciaires (art. 66 al. 1 et 5 LTF). Ils verseront en outre, également solidairement entre eux, une indemnité de dépens à l'intimé (art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 6'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants verseront solidairement à l'intimé une indemnité de 7'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la Cour d'appel civile du Tribunal cantonal du canton de Neuchâtel.
Lausanne, le 26 octobre 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
La Greffière : Raetz