Faits :
A.
Par contrat en la forme authentique du 10 décembre 2018 intitulé contrat de vente, A._ et B._ (ci-après: les acquéreurs, les demandeurs ou les recourants) ont acheté, en qualité de copropriétaires chacun pour une demie, un immeuble dans la commune de U._, à D._ SA (ci-après: la venderesse, la défenderesse ou l'intimée), pour un prix de vente de 755'000 fr. qui devait être versé au plus tard le 30 mai 2019. L'entrée en jouissance de l'immeuble par les acquéreurs était fixée au 30 mai 2019, un délai qui pouvait être prolongé, d'un commun accord entre les parties, jusqu'au 30 juin 2019 en cas d'imprévu.
B.
Le 16 décembre 2019, les acquéreurs ont déposé une requête de conciliation tendant à ce qu'ils soient autorisés à faire exécuter les travaux de réfection que l'expertise qu'ils requéraient désignerait, par un tiers, aux frais de la venderesse (<ref-law>), laquelle serait astreinte immédiatement à cesser tout type d'activité sur le chantier.
Les acquéreurs ont également requis des mesures provisionnelles par lesquelles ils ont pris des conclusions identiques à leur action au fond.
Par décision du 16 juillet 2020, le tribunal civil a rejeté la requête de mesures provisionnelles du 16 décembre 2019. L'autorité a laissé ouverte la question de la qualification du contrat entre les acquéreurs et la venderesse.
Statuant le 30 novembre 2020 sur appel des acquéreurs, la Ie Cour d'appel civil du Tribunal cantonal du canton de Fribourg a rejeté l'appel. La cour cantonale a considéré que les acquéreurs avaient requis qu'une expertise judiciaire soit ordonnée dans le cadre de mesures provisionnelles visant à les autoriser à procéder à l'exécution par substitution. La cour cantonale a retenu que le montant des travaux dépassait 100'000 fr. Or, selon la cour cantonale l'action en exécution par substitution était exclusivement réservée au maître de l'ouvrage dans le contrat d'entreprise. En se limitant à un examen sommaire du droit, la cour cantonale a conclu que les acquéreurs étaient liés par un contrat de vente portant sur une chose future et non un contrat d'entreprise, de sorte que l'action en exécution par substitution de l'<ref-law> ne leur était pas ouverte, et, partant, que les mesures provisionnelles apparaissaient dénuées de fondement.
C.
Contre cet arrêt, les acquéreurs ont interjeté un recours en matière civile au Tribunal fédéral le 4 janvier 2021, concluant principalement à son annulation et au renvoi de la cause à la cour cantonale pour nouvelle décision au sens des considérants et examen des autres conditions des mesures pro visionnelles. Subsidiairement, ils concluent à la réforme de la décision en ce sens que la procédure probatoire est rouverte, qu'une expertise judiciaire est ordonnée pour se prononcer en substance sur les défauts de la maison, sa réparation et le coût de celle-ci, et, sur le fond, à ce que l'exécution par substitution de travaux de réfection déterminés par l'expert leur soit autorisée et que la venderesse cesse toute activité sur le chantier. Les acquéreurs allèguent à l'appui de leur recours, l'existence d'un préjudice irréparable causé par le rejet de la requête de mesures provisionnelles (<ref-law>). Ils reprochent à la cour cantonale d'avoir versé dans l'arbitraire en qualifiant le contrat de contrat de vente, et non d'entreprise (<ref-law>, art. 9 Cst.).
Les acquéreurs ont également déposé une requête d'assistance judiciaire (<ref-law>) par acte séparé du 4 janvier 2021.
La venderesse et la cour cantonale n'ont pas été invitées à se déterminer.

Considérant en droit :
1.
1.1. Le recours est interjeté en temps utile (<ref-law>) par les parties qui ont succombé dans leurs conclusions (<ref-law>), contre un arrêt rendu sur appel par un tribunal cantonal supérieur (<ref-law>) en matière de droit des contrats (<ref-law>), dont la valeur litigieuse atteint le seuil de 30'000 fr. requis en la matière (<ref-law>).
1.1.1. Une décision de mesures provisionnelles donne lieu à une décision finale (<ref-law>) lorsqu'elle est rendue dans une procédure indépendante d'une procédure principale et qu'elle y met un terme (<ref-ruling> consid. 1.1; <ref-ruling> consid. 3.1; <ref-ruling> consid. 1). A l'inverse, une décision de mesures provisionnelles est incidente, au sens de l'<ref-law>, lorsque l'effet des mesures en cause est limité à la durée du procès en cours ou à la durée d'une procédure que la partie requérante doit introduire dans le délai qui lui est imparti, sous peine de caducité des mesures ordonnées (<ref-law>; <ref-ruling> consid. 1.1; <ref-ruling> consid. 3.1). Cette nature incidente prévaut non seulement lorsque la décision attaquée accorde ce type de mesures provisionnelles, mais aussi lorsqu'elle les refuse (arrêts 4A_137/2020 du 24 mars 2020 consid. 7; 4A_281/2018 du 12 septembre 2018 consid. 1.1 et les arrêts cités).
1.2. Conformément à l'<ref-law>, une décision incidente ne peut faire séparément l'objet d'un recours au Tribunal fédéral que si elle peut causer un préjudice irréparable.
1.2.1. Cette condition implique que la partie recourante soit exposée à un préjudice de nature juridique, qui ne puisse pas être ultérieurement réparé ou entièrement réparé par une décision finale qui lui serait favorable; un dommage économique ou de pur fait n'est pas considéré comme un dommage irréparable de ce point de vue (<ref-ruling> consid. 1.3.1; <ref-ruling> consid. 2.1 et 2.2). Cette condition s'apprécie par rapport à la décision de première instance. En particulier, si la question qui a fait l'objet de la décision incidente de première instance peut être soulevée à l'appui d'un recours contre la décision finale (<ref-law>), il n'y a pas de préjudice irréparable (arrêts 5D_72/2009 du 9 juillet 2009 consid. 1.1; 5A_435/2010 du 28 juillet 2010 consid. 1.1.1; 4A_248/2014 du 27 juin 2014 consid. 1.2.3). Cette réglementation est fondée sur des motifs d'économie de procédure, le Tribunal fédéral ne devant en principe s'occuper d'une affaire qu'une seule fois, lorsqu'il est certain que la partie recourante subit effectivement un dommage définitif (ATF <ref-ruling> consid. 2.2). L'exception doit être interprétée de manière restrictive. Il incombe au recourant de démontrer l'existence d'un tel préjudice lorsque celui-ci n'est pas d'emblée évident (<ref-ruling> consid. 1.2).
1.2.2. Selon leur nature et leur objet, les mesures provisionnelles peuvent ou non causer un préjudice juridique irréparable au demandeur.
La jurisprudence se montre restrictive en matière de mesures d'exécution anticipée provisoires, qui, par définition, visent à obtenir à titre provisoire l'exécution de la prétention qui fait l'objet de la demande au fond. En effet, dans ces cas, la question juridique litigieuse sera examinée par le Tribunal fédéral lors du recours dirigé contre l'arrêt final.
1.3. En l'espèce, il faut donc déterminer si la décision de mesures provisionnelles refusant l'autorisation d'exécution par substitution et l'avance des frais correspondants cause un préjudice irréparable aux demandeurs au sens de l'<ref-law>, ce qu'il leur incombe de démontrer.
1.3.1. Dans le cadre de leur action au fond basée sur l'<ref-law>, introduite par requête de conciliation, les demandeurs ont déposé une requête de mesures provisionnelles dans laquelle ils prennent les mêmes conclusions que celles formulées à titre principal dans leur action au fond, à savoir l'autorisation à l'exécution par substitution, l'avance des frais correspondants par la défenderesse - et, n'étant en possession que d'une expertise qualifiée d'expertise privée, ils ont requis une expertise judiciaire -, ainsi que l'interdiction pour la défenderesse de poursuivre son activité sur le chantier.
Il s'agit là de mesures d'exécution anticipée provisoires à l'appui desquelles ils requièrent l'administration d'une expertise judiciaire. L'interdiction de continuer le chantier se comprend comme une conséquence des deux premières conclusions.
Par décision de mesures provisionnelles, confirmée par substitution de motifs par l'arrêt d'appel, la requête de mesures provisionnelles des demandeurs a été rejetée. La cour d'appel a nié que les appelants étaient liés par un contrat d'entreprise, fermant la porte à l'action de l'<ref-law>, et a donc considéré qu'il n'y avait pas lieu d'ordonner une expertise, faute de prétention au fond rendue vraisemblable.
Dès lors que les questions litigieuses seront examinées dans la procédure au fond, il n'y a en principe pas de dommage irréparable. Le dommage que les recourants invoquent est un dommage économique, qui ne satisfait pas à la condition du préjudice irréparable de l'<ref-law>.
1.3.2. Les griefs des recourants n'infirment pas cette conclusion.
1.3.2.1. Les recourants invoquent tout d'abord qu'ils subissent un préjudice irréparable du fait que si aucune mesure provisionnelle n'est prise, la défenderesse continuera à travailler sur l'ouvrage litigieux. Ainsi, elle aurait tout loisir de réduire au maximum les défauts existants au moment de l'introduction de l'action, voire de les supprimer, et ils seront donc pratiquement dans l'impossibilité de démontrer l'existence, respectivement l'ampleur des défauts au moment de l'introduction de l'action et n'auraient alors plus la possibilité de demander une avance de frais.
Ce faisant, ils méconnaissent que le dommage irréparable doit être un dommage juridique et qu'un tel dommage n'existe pas si la question litigieuse peut être tranchée dans le jugement sur le fond. Or tel est bien le cas en l'espèce. Il en va de même de la possibilité de requérir que la partie adverse paie l'avance de frais. Quant au fait qu'ils ne seraient plus en mesure de démontrer l'ampleur des éventuels défauts au moment de l'introduction de l'action, les recourants ne démontrent pas en quoi ceux-ci ne pourraient plus être établis une fois la construction terminée. Il apparaît en effet que, s'agissant d'une construction, soit les défauts seront supprimés en cours de réalisation, soit ils continueront d'apparaître une fois l'ouvrage terminé.
1.3.2.2. Puis, se référant à l'expertise privée de l'architecte, ils invoquent que des dégâts considérables peuvent se produire en un laps de temps très court et entraîner des coûts d'assainissement élevés. Là encore, ils ne démontrent pas un dommage juridique, mais, à bien les comprendre, un préjudice économique. Ils confondent le préjudice matériel de l'<ref-law> avec le préjudice irréparable de l'<ref-law>.
1.3.2.3. Enfin, les recourants invoquent que la venderesse connaît des difficultés financières et que, faute d'exécution par substitution immédiate, les dégâts de l'ouvrage risquent d'augmenter et que la venderesse ne sera plus en mesure de les dédommager une fois l'ouvrage terminé.
Ce faisant, les recourants invoquent un dommage purement économique, lequel n'est pas considéré comme un dommage irréparable.
1.4. Les recourants ne subissent pas un préjudice juridique irréparable au sens de l'<ref-law>. Leur recours dirigé contre la décision de mesures provisionnelles est par conséquent irrecevable.
2.
Invoquant l'<ref-law>, les recourants sollicitent leur mise au bénéfice de l'assistance judiciaire.
Le recours étant manifestement dépourvu de chances de succès, l'une des conditions pour l'octroi de l'assistance judiciaire n'est pas remplie (<ref-law>). Il convient dès lors de rejeter la demande d'assistance judiciaire des recourants, sur laquelle il n'était par ailleurs pas nécessaire de se prononcer préalablement au vu des circonstances du cas d'espèce (cf. arrêt 4A_20/2011 du 11 avril 2011 consid. 7.2.2).
En application de l'art. 66 al. 1 in fine LTF, les recourants paieront des frais de 1'000 fr. Ils n'auront cependant pas à indemniser l'intimée puisque celle-ci n'a pas été invitée à déposer une réponse.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est irrecevable.
2.
La requête d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis solidairement à la charge des recourants.
4.
Il n'est pas alloué de dépens.
5.
Le présent arrêt est communiqué aux mandataires des parties et à la Ie Cour d'appel civil du Tribunal cantonal de l'Etat de Fribourg.
Lausanne, le 19 juillet 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : Botteron