Faits :
A.
A.a. A1._, A2._, A3._, A4._, A5._, A6._ et A7._ (ci-après: l'hoirie, les hoirs promettants, les défendeurs ou les recourants) sont les héritiers de feu A8._ et de feu A9._.
B._ SA (ci-après: la société emptrice, la société bénéficiaire, la demanderesse ou l'intimée) a son siège à xxx.
A.b. Par pacte d'emption instrumenté le 20 juin 2011 (ci-après: le pacte), l'hoirie a concédé à B._ SA (en formation), par l'entremise de sa fondatrice, un droit d'emption sur des parcelles non bâties sises à yyy (ci-après: les parcelles) (ch. II du pacte).
Les parties sont convenues d'un prix de vente de 13'000'000 fr., payable tout d'abord par le versement d'un " acompte réservation " de 7'000'000 fr. à la signature de l'acte, puis par règlement du solde de 6'000'000 fr., pour moitié lors de la signature de la réquisition de l'exercice du droit d'emption et, pour moitié, à la prise de possession. En cas d'exercice du droit d'emption à l'échéance, l'" acompte réservation " est porté en déduction du prix de vente total, tandis que, si le droit d'emption n'est pas exercé dans les conditions convenues, il est définitivement acquis aux hoirs promettants (ch. II/1).
Le droit d'emption a été octroyé pour une durée de 15 mois à compter de la signature du pacte, mais jusqu'au 30 septembre 2012 au plus tard (ch. II/2).
Selon le ch. II/3 du pacte, la société emptrice s'engage à déposer une demande d'autorisation de construire dans un délai de sept mois à compter de la signature de l'acte, soit pour le 31 janvier 2012 au plus tard. Elle doit exercer son droit d'emption dans les 60 jours suivant l'entrée en force de l'autorisation de construire. En cas de non-obtention d'une autorisation de construire, elle doit exercer son droit d'emption pour le 30 septembre 2012 au plus tard. Si elle ne présente pas de dossier de demande d'autorisation de construire dans le délai convenu au 31 janvier 2012, elle est présumée avoir renoncé à son droit d'emption. Il en va de même si elle n'exerce pas son droit d'emption dans les 60 jours dès l'entrée en force de l'autorisation de construire ou pour le 30 septembre 2012 au plus tard. Dans ces hypothèses, l'acompte payé est définitivement acquis aux hoirs promettants.
Pour l'instrumentation de l'acte, l'hoirie était représentée par A3._, ingénieur civil EPFZ, et A5._, notaire. B._ SA (en formation) était quant à elle représentée par C._, architecte.
A.c. Le 10 juin 2011, soit dix jours avant l'instrumentation du pacte, la société emptrice a versé l' " acompte réservation " de 7'000'000 fr.
Conformément au pacte, le droit d'emption a été annoté au registre foncier.
A.d. Le 7 juin 2011, A3._ avait reçu, de la part de D._ SA et de E._ SA, une proposition portant sur les parcelles, pour un prix de 16'000'000 fr. Les hoirs promettants ayant déjà donné leur accord à la société emptrice, ils ont refusé cette offre.
A.e. Le 28 juillet 2011, la société emptrice a été inscrite au registre du commerce.
A.f. Au vu de la complexité des démarches devant être mises en oeuvre auprès des voisins et de la commune et afin d'assurer un développement harmonieux des parcelles, les parties sont convenues d'un premier avenant au pacte le 22 décembre 2011. En substance, cet avenant remplace les ch. II/2 et II/3 du pacte (complètement selon l'<ref-law>), supprime ainsi toutes les conditions liées à l'exercice du droit d'emption telles qu'elles étaient prévues au ch. II/3 du pacte et prolonge le droit d'emption jusqu'au 30 avril 2013. Il prévoit, en raison de cette prolongation du délai d'exercice du droit d'emption, que la société emptrice versera 65'000 fr. aux hoirs promettants simultanément au paiement du solde du prix.
A.g. Le 11 mars 2012, l'initiative populaire fédérale " Pour en finir avec les constructionsenvahissantes de résidences secondaires " (ci-après: l'initiative) a été acceptée.
A.h. Le 14 mars 2012, la société emptrice a déposé auprès de la commune de yyy une demande d'autorisation aux fins de construire sur les parcelles des résidences principales et secondaires.
Cette demande a fait l'objet d'une opposition de la part de l'association F._.
Les 24 juillet et 21 août 2012, le conseil municipal de yyy a écarté les oppositions formées et délivré le permis de construire requis.
F._ a formé recours contre l'autorisation de construire. Celui-ci a été déclaré irrecevable par le Conseil d'État du Valais en raison du fait que celle-ci ne disposait pas de la qualité pour recourir. Contre cette décision, F._ a formé recours auprès du Tribunal cantonal du canton du Valais.
A.i. Au vu des démarches en cours visant à l'obtention de l'autorisation de construire, les parties sont convenues d'un second avenant au pacte le 17 avril 2013. Cet avenant remplace à nouveau les ch. II/2 et II/3 du pacte (complètement selon l'<ref-law>) et prolonge la durée du droit jusqu'au 30 avril 2014. En raison de cette nouvelle prolongation, la société emptrice s'engage à verser, au 30 septembre 2013, une indemnité de 100'000 fr. aux hoirs promettants.
A.j. Par arrêts 1C_649/2012 et 1C_650/2012 du 22 mai 2013 (publiés in <ref-ruling>), le Tribunal fédéral a reconnu aux organisations de protection de la nature et du paysage la qualité pour recourir contre les autorisations de construire des résidences secondaires (<ref-ruling> consid. 11 pp. 276-278) et confirmé que l'interdiction, prévue par l'initiative, de construire des résidences secondaires dans les communes dans lesquelles la proportion de 20 % de résidences secondaires était déjà atteinte ou dépassée était immédiatement applicable dès l'entrée en vigueur de l'initiative le jour de son acceptation, cette interdiction valant pour toutes les autorisations de construire délivrées en première instance par les communes concernées à partir du 11 mars 2012. Dès lors, les permis délivrés entre le 11 mars 2012 et le 31 décembre 2012 sont annulables sur recours, tandis que ceux octroyés dès le 1er janvier 2013 sont nuls (<ref-ruling> consid. 9-11 pp. 249-263; arrêts 1C_649/2012 et 1C_650/2012 précités consid. 12, non publié in <ref-ruling>).
A.k. Le 19 août 2013, la société emptrice a renoncé à son projet de construction sur les parcelles, ce qui a conduit au classement du recours déposé par F._ auprès du Tribunal cantonal.
Le 20 janvier 2014, la société emptrice a déclaré aux hoirs promettants vouloir invalider le pacte et ses deux avenants, exigeant par ailleurs la restitution de l'acompte réservation de 7'000'000 fr.
B.
B.a. La procédure de conciliation ayant échoué, la société emptrice a déposé, le 15 mai 2014, sa demande contre les hoirs promettants, concluant principalement à ce que le pacte et ses deux avenants soient invalidés, l'acompte de 7'000'000 fr. restitué avec intérêts à 5 % l'an dès le 20 juin 2011 et à ce qu'il soit constaté que le solde du prix de vente n'était pas dû.
B.b. Selon l'expert judiciaire, la valeur des parcelles avant l'acceptation de l'initiative s'élevait à 10'524'000 fr. et la dépréciation suite à l'entrée en vigueur de l'initiative était estimée à 30 %, les parcelles valant donc 7'366'800 fr.
Entendu en qualité de témoin, le notaire ayant instrumenté le pacte a expliqué que les parties avaient initialement prévu de conclure un acte de vente pour un prix de vente de 13'000'000 fr., un acompte de 7'000'000 fr. devant être versé immédiatement et le solde devant être payé à l'obtention du permis de construire dans un délai maximal d'un an. Après discussion au sujet de la " garantie pour le paiement du 2ème acompte ", l'hoirie avait toutefois considéré que l'hypothèque légale du vendeur était insuffisante, ce d'autant plus que la société emptrice ne voulait pas délivrer de garantie, et décidé de conclure un pacte d'emption. S'agissant du montant de 7'000'000 fr., le notaire avait " tout de suite estimé qu'il était élevé pour la conclusion d'un pacte d'emption " et proposé aux parties de convenir d'un montant moins élevé. Celles-ci souhaitant " confirmer l'accord entre elles concernant les deux paiements ", il les avait rendues attentives au fait que, " en cas de problème lié au pacte d'emption[,] ce montant ne tiendrait pas et qu'il appartiendrait alors au juge de fixer l'indemnité ".
A3._ et A5._ ont confirmé que la décision de conclure un pacte d'emption avait été prise à des fins de garantie. Tout comme les autres personnes entendues en qualité de partie, ils ont toutefois déclaré qu'ils ne se souvenaient pas de ce que le notaire les avait avisés du caractère potentiellement réductible du montant de 7'000'000 fr.
C._, représentant de la société emptrice lors de l'instrumentation du pacte, a précisé qu'en règle générale, la société emptrice ne versait que 10 % à 20 % du prix de vente avant l'obtention de l'autorisation de construire. Selon lui, le montant litigieux avait été versé pour " réserver le terrain " et les parties étaient convaincues que l'autorisation de construire serait valable et que la " Lex Weber " (sic) n'entrerait en vigueur que postérieurement.
B.c. Par jugement du 21 juin 2017, la juge du district de Sierre a rejeté le chef de conclusions tendant à l'invalidation du pacte et de ses deux avenants pour cause d'erreur. Considérant que l'acompte de 7'000'000 fr. constituait une clause pénale sujette à réduction, elle a condamné les hoirs promettants, débiteurs solidaires, à restituer à la société emptrice le montant de 5'700'000 fr., avec intérêts à 5 % l'an dès le 1er février 2014.
B.d. Par jugement du 11 mars 2020, le Tribunal cantonal du canton du Valais a rejeté l'appel formé par les hoirs promettants.
C.
Le 12 mai 2020, les hoirs promettants ont formé un recours en matière civile au Tribunal fédéral contre ce jugement cantonal, concluant, avec demande d'effet suspensif, à ce que le jugement attaqué soit annulé et à ce qu'ils ne soient pas condamnés solidairement à restituer à la société emptrice 5'700'000 fr., intérêts en sus.
L'intimée a conclu au rejet de la demande d'effet suspensif et au rejet du recours, dans la mesure de sa recevabilité.
Les parties ont déposé des observations complémentaires.
La cour cantonale se réfère aux considérants de son jugement.
Par ordonnance présidentielle du 22 juin 2020, la demande d'effet suspensif a été rejetée.

Considérant en droit :
1.
Interjeté dans le délai applicable (<ref-law> et art. 1 de l'ordonnance du 20 mars 2020 sur la suspension des délais dans les procédures civiles et administratives pour assurer le maintien de la justice en lien avec le coronavirus (COVID-19) [RS 173.110.4]) et dirigé contre une décision finale (<ref-law>) rendue sur appel par le tribunal supérieur du canton du Valais (<ref-law>) dans une affaire civile (<ref-law>) dont la valeur litigieuse dépasse 30'000 fr. (<ref-law>), le recours en matière civile est en principe recevable.
2.
2.1. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il ne peut s'en écarter que si ces faits ont été établis de façon manifestement inexacte - ce qui correspond à la notion d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2 p. 117; <ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 5.1 p. 356) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>).
La critique de l'état de fait retenu est soumise au principe strict de l'allégation énoncé par l'<ref-law> (<ref-ruling> consid. 2.3 p. 266 et les références citées). La partie qui entend attaquer les faits constatés par l'autorité précédente doit expliquer clairement et de manière circonstanciée en quoi ces conditions seraient réalisées (<ref-ruling> consid. 1.3.1 p. 18 et les références citées). Si elle souhaite obtenir un complètement de l'état de fait, elle doit aussi démontrer, par des renvois précis aux pièces du dossier, qu'elle a présenté aux autorités précédentes, en conformité avec les règles de la procédure, les faits juridiquement pertinents à cet égard et les moyens de preuve adéquats (<ref-ruling> consid. 2 p. 90). Si la critique ne satisfait pas à ces exigences, les allégations relatives à un état de fait qui s'écarterait de celui de la décision attaquée ne pourront pas être prises en considération (<ref-ruling> consid. 1.3.1 p. 18). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3 p. 261 s.).
2.2. Le Tribunal fédéral applique en principe d'office le droit (<ref-law>) à l'état de fait constaté dans l'arrêt cantonal (ou à l'état de fait qu'il aura rectifié). Cela ne signifie pas que le Tribunal fédéral examine, comme le ferait un juge de première instance, toutes les questions juridiques qui pourraient se poser. Compte tenu de l'obligation de motiver imposée par l'<ref-law>, il ne traite que les questions qui sont soulevées devant lui par les parties, à moins que la violation du droit ne soit manifeste (<ref-ruling> consid. 2 p. 117). Il n'est en revanche pas lié par l'argumentation juridique développée par les parties ou par l'autorité précédente; il peut admettre le recours, comme il peut le rejeter en procédant à une substitution de motifs (<ref-ruling> consid. 1.4 p. 400).
2.3. En l'espèce, les recourants font grief au Tribunal cantonal d'avoir procédé à une constatation manifestement inexacte des faits.
Ce faisant, les recourants critiquent en réalité, d'une part, la qualification juridique de clause pénale retenue par l'autorité précédente pour la clause litigieuse. D'autre part, ils sollicitent un complètement de l'état de fait en raison de plusieurs témoignages dont il ressort, en substance, que le versement de 7'000'000 fr. constituerait un acompte. Selon eux, ces témoignages contredisent celui du notaire qui seul aurait été retenu par la cour cantonale.
Les recourants perdent de vue que l'autorité précédente a retenu plusieurs témoignages dans ses constatations factuelles (cf. supra consid. B.b). De plus, les témoignages invoqués par les recourants ne sont pas décisifs pour l'issue du litige.
Le grief est irrecevable.
3.
Les parties divergent quant à la qualification de la clause selon laquelle l' " acompte réservation " de 7'000'000 fr. reste acquis aux hoirs promettants en cas de non-exercice du droit d'emption. La cour cantonale a admis, par interprétation de la volonté objective des parties, qu'il s'agit d'une peine conventionnelle improprement dite, soumise aux <ref-law>. Les défendeurs recourants soutiennent qu'il s'agit du prix que les parties ont fixé pour le pacte d'emption conclu à titre onéreux, se plaignant d'établissement manifestement inexact des faits (<ref-law> et art. 9 Cst.), de violation du principe de la priorité de l'interprétation subjective du contrat (art. 1 et 18 CO) et donc de violation du droit fédéral et, subsidiairement, de mauvaise interprétation de la volonté objective des parties.
3.1.
3.1.1. Prévue à l'<ref-law>, la clause pénale ( Konventionalstrafe) présente les caractéristiques suivantes: (1) elle sert à assurer l'exécution d'une obligation principale, (2) elle prévoit, en cas d'inexécution ou d'exécution imparfaite de ladite obligation, une peine conventionnelle et (3) elle est soumise à une faute du débiteur (GAUCH/SCHLUEP/SCHMID/EMMENEGGER, Schweizerisches Obligationenrecht Allgemeiner Teil, vol. II, 11e éd. 2020, pp. 370-372 n. 3783-3795). La peine conventionnelle est encourue même si le créancier n'a éprouvé aucun dommage (<ref-law>).
La clause pénale est improprement dite ( unechte Konventionalstrafe) lorsqu'elle ne sert pas à assurer l'exécution d'une obligation principale (première condition), mais à exercer une pression sur la partie au bénéfice d'un droit - comme un droit d'emption - pour que celle-ci l'exerce (cf. WIDMER/COSTANTINI/EHRAT, in Basler Kommentar, Obligationenrecht, 7e éd. 2020, no 3 ad <ref-law>). Selon la doctrine majoritaire, elle est soumise dans une large mesure aux règles de la clause pénale proprement dite (WIDMER/COSTANTINI/EHRAT, loc. cit. et les références citées; GAUCH/SCHLUEP/SCHMID/EMMENEGGER, op. cit., p. 380 n. 3849; RAMON MABILLARD, Rechtsnatur, anwendbare Gesetzesbestimmungen und Zulässigkeit der unechten Konventionalstrafe, PJA 2005 pp. 552-554), et notamment à l'<ref-law> (MABILLARD, op. cit., p. 554).
3.1.2. La concession du droit d'emption peut être effectuée contre rémunération. Le prix du droit d'emption est la rémunération que l'empteur s'engage à payer pour obtenir le droit d'emption lui-même. Il est la contrepartie de l'engagement du promettant à s'abstenir de tout acte qui empêcherait la vente durant la durée du droit d'emption (PAUL-HENRI STEINAUER, Les droits réels, t. II, 5e éd. 2020, p. 171 n. 2392 et p. 175 n. 2407-2408; BÉNÉDICT FOËX, in Commentaire romand, Code des obligations, 2e éd. 2012, no 26 ad <ref-law>).
3.1.3. La peine conventionnelle due à titre de clause pénale improprement dite et le prix du droit d'emption se distinguent ainsi essentiellement par le fait que la première sert à exercer une pression sur le bénéficiaire du droit d'emption, tandis que le second n'est que la rémunération destinée à dédommager le promettant pour la restriction subie dans ses droits du fait de la concession du droit d'emption et de la durée de ce droit.
3.2. Qualifier le montant convenu de peine conventionnelle due à titre de clause pénale improprement dite ou de rémunération du droit d'emption suppose de déterminer la volonté des parties quant à la question de savoir si le montant a été fixé pour exercer une pression sur le bénéficiaire du droit d'emption pour qu'il exerce son droit, ou s'il a été simplement prévu pour dédommager le promettant pour la restriction à ses droits. Autrement dit, il s'agit de déterminer ici si la clause litigieuse doit exercer une pression sur la société bénéficiaire pour qu'elle exerce son droit d'emption ou, au contraire, dédommager les hoirs promettants pour la restriction à leurs droits durant 15 mois.
3.2.1. En procédure, le juge doit rechercher, dans un premier temps, la réelle et commune intention des parties (interprétation subjective), le cas échéant empiriquement, sur la base d'indices (<ref-ruling> consid. 5.2.2 p. 98 et les arrêts cités). Constituent des indices en ce sens non seulement la teneur des déclarations de volonté - écrites ou orales -, mais encore le contexte général, soit toutes les circonstances permettant de découvrir la volonté réelle des parties, qu'il s'agisse de déclarations antérieures à la conclusion du contrat ou de faits postérieurs à celle-ci, en particulier le comportement ultérieur des parties établissant quelles étaient à l'époque les conceptions des contractants eux-mêmes.
L'appréciation de ces indices concrets par le juge, selon son expérience générale de la vie, relève du fait (<ref-ruling> consid. 5.2.2 p. 98 et les arrêts cités). Si le juge parvient à la conclusion que les parties se sont comprises ou, au contraire, qu'elles ne se sont pas comprises, il s'agit de constatations de fait qui lient le Tribunal fédéral (<ref-law>), à moins qu'elles ne soient manifestement inexactes (art. 97 al. 1 et 105 al. 2 LTF), c'est-à-dire arbitraires au sens de l'art. 9 Cst.
Si le juge ne parvient pas à déterminer la volonté réelle et commune des parties - parce que les preuves font défaut ou ne sont pas concluantes - ou s'il constate qu'une partie n'a pas compris la volonté exprimée par l'autre à l'époque de la conclusion du contrat - ce qui ne ressort pas déjà du simple fait qu'elle l'affirme en procédure, mais doit résulter de l'administration des preuves -, il doit recourir à l'interprétation normative (ou objective), à savoir rechercher leur volonté objective, en déterminant le sens que, d'après les règles de la bonne foi, chacune d'elles pouvait et devait raisonnablement prêter aux déclarations de volonté de l'autre. Il s'agit d'une interprétation selon le principe de la confiance (<ref-ruling> consid. 5.2.3 p. 99 et les arrêts cités). D'après ce principe, la volonté interne de s'engager du déclarant n'est pas seule déterminante; une obligation à sa charge peut découler de son comportement, dont l'autre partie pouvait, de bonne foi, déduire une volonté de s'engager. Le principe de la confiance permet ainsi d'imputer à une partie le sens objectif de sa déclaration ou de son comportement, même si celui-ci ne correspond pas à sa volonté intime (<ref-ruling> consid. 5.2.3 p. 99; <ref-ruling> consid. 3.2 p. 424 et les arrêts cités).
La détermination de la volonté objective des parties, selon le principe de la confiance, est une question de droit, que le Tribunal fédéral examine librement. Pour la trancher, il faut cependant se fonder sur le contenu des manifestations de volonté et sur les circonstances, lesquelles relèvent du fait. Les circonstances déterminantes à cet égard sont uniquement celles qui ont précédé ou accompagné la manifestation de volonté, et non les événements postérieurs (<ref-ruling> consid. 5.2.3 p. 99; <ref-ruling> consid. 2.2.1 p. 67 et les arrêts cités).
3.2.2. L'interprétation de la volonté subjective a la priorité sur l'interprétation de la volonté objective (<ref-ruling> consid. 5.2.1 p. 97 et l'arrêt cité). Ce principe de priorité relève du droit (<ref-ruling> consid. 4.1 p. 611). En effet, lorsque les parties se sont exprimées de manière concordante (échange de manifestations de volonté concordantes; übereinstimmende Willenserklärungen), qu'elles se sont effectivement comprises et, partant, ont voulu se lier, elles sont liées par un accord de fait ( tatsächlicher Konsens). Ce n'est que subsidiairement, si un tel accord de fait n'a pas pu être établi, que le contrat peut être conclu dans le sens objectif que l'on peut donner à leurs déclarations de volonté selon le principe de la confiance et, donc, par un accord de droit (<ref-ruling> consid. 5.2.1 p. 98).
3.3. En l'espèce, sous le titre " Prix et modalités de paiement " (complètement selon l'<ref-law>), le pacte prévoit que le prix de vente est fixé à 13'000'000 fr., payable, s'agissant de l'" acompte réservation " de 7'000'000 fr., à la signature de l'acte et, s'agissant du solde du prix de vente, pour moitié lors de la signature de la réquisition de l'exercice du droit d'emption et, pour moitié, à la prise de possession. En cas d'exercice du droit d'emption à l'échéance, l'" acompte réservation " est porté en déduction du prix de vente total. En cas de non-exercice du droit d'emption dans les conditions convenues, cet " acompte réservation " est définitivement acquis aux hoirs promettants (ch. II/1 du pacte).
Sous le titre " Modalités d'exercice du droit d'emption " (complètement selon l'<ref-law>), le pacte stipulait, avant modifications par les deux avenants, que, si la société emptrice ne présente pas de dossier de demande d'autorisation de construire dans le délai convenu au 31 janvier 2012, elle est présumée avoir renoncé à son droit d'emption. Il en va de même si elle n'exerce pas son droit d'emption dans les 60 jours dès l'entrée en force de l'autorisation de construire ou pour le 30 septembre 2012 au plus tard. Dans ces hypothèses, l'acompte payé est définitivement acquis aux hoirs promettants (ch. II/3).
3.3.1. La cour cantonale a recherché, dans un premier temps, la volonté subjective des parties, mais n'est pas parvenue à la déterminer.
Au terme d'une appréciation des preuves développée sur trois pages, elle a conclu qu'il est douteux que les parties, et plus particulièrement la société bénéficiaire du droit d'emption, ait accepté que l'hoirie se voie purement et simplement gratifiée d'un montant de 7'000'000 fr. si la vente ne se concrétisait pas pour quelque raison que ce soit, de sorte qu'elle n'a pas pu retenir une volonté réelle des parties ni dans un sens ni dans l'autre.
C'est à tort que les recourants invoquent la violation du droit fédéral (<ref-law>), en l'occurrence la violation du principe de la priorité de l'interprétation subjective sur l'interprétation objective. En effet, la cour cantonale a bien recherché d'abord la volonté subjective des parties et a constaté l'échec de sa détermination.
Autre est la question de savoir si son appréciation des preuves à cet égard - la détermination de la volonté subjective étant une question de fait, que le Tribunal fédéral ne corrige que si elle est arbitraire (<ref-law>, art. 9 Cst. et 106 al. 2 LTF) - et l'absence de preuve à laquelle elle est arrivée résiste au grief d'arbitraire. En invoquant que la cour cantonale a écarté les propos de quatre témoins ayant déclaré qu'ils ne se souvenaient pas que le notaire leur aurait dit que le prix de 7'000'000 fr. était trop élevé pour un pacte d'emption, au profit de la version du notaire qui a affirmé avoir fait cette déclaration, les recourants ne démontrent pas que la cour cantonale aurait retenu de manière insoutenable qu'il ne lui était pas possible de déterminer la volonté subjective des parties, en particulier celle de la société emptrice. Autrement dit, ils ne démontrent pas qu'il résulterait de manière univoque de l'administration des preuves que les deux parties auraient voulu fixer un prix de 7'000'000 fr. pour le droit d'emption, soit une rémunération pour la restriction subie à leurs droits par les hoirs promettants.
3.3.2. La cour cantonale a dès lors procédé à la détermination de la volonté objective des parties.
En substance, la cour cantonale a écarté l'interprétation selon laquelle l'" acompte réservation " de 7'000'000 fr. doit être compris comme une contre-prestation pour la concession du droit d'emption, c'est-à-dire pour la restriction subie par les hoirs promettants pour la durée de validité du droit d'emption conféré, soit 15 mois. Elle s'est fondée sur trois éléments: premièrement, le texte du pacte n'utilise pas le terme de rémunération ou une notion analogue; deuxièmement, le montant en jeu est beaucoup trop important pour servir de dédommagement à la restriction subie par les hoirs promettants durant cette période réduite; et troisièmement, le fait que la clause prévoit que le montant reste acquis aux hoirs promettants en cas de non-exercice du droit exerce une véritable pression sur la société bénéficiaire du droit d'emption et cette clause doit donc être qualifiée de clause pénale improprement dite.
Cette interprétation peut être confirmée par substitution du motif qui suit. Selon le principe de la confiance, soit selon le sens qu'un destinataire raisonnable peut et doit lui donner, la clause qui prévoit, sous le titre " Modalités d'exercice du droit d'emption " qu'" [e]n cas de non-présentation d'un dossier de demande d'autorisation de construire dans le délai convenu ", respectivement de non-exercice de son droit dans les 60 jours suivant l'entrée en force de dite autorisation, l'empteur sera présumé avoir renoncé à son emption et que " l'acompte payé [sera] définitivement acquis à l'hoirie venderesse " est, selon son texte et sa situation dans cette rubrique du pacte, directement destinée à faire pression sur l'empteur pour qu'il présente une demande d'autorisation de construire et y donne suite par l'exercice de son droit d'emption et à le punir, s'il ne s'y conforme pas, par la perte de l'acompte déjà versé. Vu cette caractéristique " punitive ", la clause ne peut être comprise, de bonne foi, que comme une clause pénale, en l'occurrence improprement dite s'agissant non d'une obligation à exécuter, mais d'un droit à exercer.
3.3.3. Les griefs des recourants ne changent rien à ce qui précède.
L'essentiel de leur argumentation se réfère au comportement des parties après la conclusion du contrat, notamment après l'admission de l'initiative populaire et de leurs déclarations en procédure. Manifestement, les recourants méconnaissent que l'interprétation de la volonté objective, selon le principe de la confiance, ne peut pas se baser sur des faits postérieurs à la conclusion du contrat. En effet, puisqu'il s'agit de déterminer ce qu'un destinataire raisonnable devait et pouvait, de bonne foi, comprendre, seuls les éléments existant au moment de la conclusion du contrat - antérieurs et concomitants - peuvent être pris en considération.
Les recourants reprochent encore au Tribunal cantonal de s'être livré à une appréciation purement subjective lorsqu'il indique que le montant de 7'000'000 fr. est beaucoup trop élevé pour servir de contrepartie au droit d'emption, contrepartie tendant à dédommager le promettant pour la restriction subie sur une période réduite. Partant, ils font valoir une violation du principe de la liberté contractuelle de l'<ref-law>, les parties étant rompues aux affaires et, partant, libres de fixer une telle somme. Dès lors que l'interprétation de la volonté des parties selon le principe de la confiance a conduit, sur la base du texte de la clause et de la rubrique du pacte sous laquelle elle figure, à retenir l'existence d'une clause pénale improprement dite, ce grief repose sur une interprétation différente qui a déjà été écartée.
Pour le même motif, leur grief affirmant qu'il y a violation des art. 158 et 159 CO, sans aucune démonstration à cet égard, et que les parties ont voulu un droit d'emption onéreux est sans pertinence.
Les griefs sont rejetés.
4.
Subsidiairement, pour le cas où le Tribunal fédéral admettrait l'existence d'une clause pénale, les recourants contestent la réduction de la clause pénale de 7'000'000 fr. au montant de 1'300'000 fr.
4.1. Aux termes de l'<ref-law>, le juge doit réduire les peines qu'il estime excessives. Il s'agit d'une norme d'ordre public - destinée à protéger la partie faible contre les abus de l'autre partie -, et impérative - ce qui signifie que les parties ne peuvent y renoncer (<ref-ruling> consid. 4.1 p. 1; <ref-ruling> consid. 5.2 p. 209; arrêt 4A_398/2007 consid. 7.1, non publié in <ref-ruling>). Le pouvoir d'appréciation du juge (<ref-law>) se rapporte tant au caractère excessif de la peine qu'à la question de l'étendue de la réduction. Si le juge reconnaît que la peine est excessive, il doit en principe la réduire uniquement dans la mesure nécessaire pour qu'elle ne le soit plus (ATF <ref-ruling> consid. 5.2 p. 210).
La réduction d'une peine conventionnelle est un cas d'application du principe général de l'interdiction de l'abus de droit (<ref-ruling> consid. 4.1 p. 2; <ref-ruling> consid. 6.1.1 p. 748). L'intervention du juge dans le contrat ne se justifie que si le montant de la peine fixé est si élevé qu'il dépasse toute mesure raisonnable, au point de ne plus être compatible avec le droit et l'équité. Pour juger du caractère excessif de la peine conventionnelle, il ne faut pas raisonner abstraitement, mais, au contraire, tenir compte de toutes les circonstances concrètes du cas d'espèce. Une réduction de la peine se justifie en particulier lorsqu'il existe une disproportion crasse entre le montant convenu et l'intérêt du créancier à maintenir la totalité de sa prétention, mesuré concrètement au moment où la violation contractuelle est survenue (ATF <ref-ruling> consid. 5.2 p. 209). Même si l'existence d'un dommage n'est pas nécessaire et qu'une peine n'est pas excessive simplement parce qu'elle dépasse d'éventuels dommages-intérêts pour cause d'inexécution (<ref-law>), il n'en demeure pas moins que le dommage auquel le créancier est exposé dans le cas concret est révélateur de l'intérêt dudit créancier à l'exécution et constitue à ce titre l'une des circonstances à prendre en compte (cf. <ref-ruling> consid. 1b p. 265; <ref-ruling> consid. 4.3 p. 55). D'autres critères d'appréciation peuvent entrer en considération, comme la nature et la durée du contrat, la gravité de la faute et de la violation contractuelle, la situation économique des parties, singulièrement du débiteur. Il convient également de ne pas perdre de vue les éventuels liens de dépendance résultant du contrat et l'expérience en affaires des parties (ATF <ref-ruling> consid. 5.2 p. 209 s.).
Le Tribunal fédéral revoit avec retenue la décision d'équité prise en dernière instance cantonale. Il n'intervient que lorsque celle-ci s'écarte sans raison des règles établies par la doctrine et la jurisprudence en matière de libre appréciation (<ref-law>), ou lorsqu'elle s'appuie sur des faits qui, dans le cas particulier, ne devaient jouer aucun rôle, ou encore lorsqu'elle ignore des éléments qui auraient absolument dû être pris en considération. En outre, le Tribunal fédéral redresse les décisions rendues en vertu d'un pouvoir d'appréciation lorsqu'elles aboutissent à un résultat manifestement injuste ou à une iniquité choquante (ATF <ref-ruling> consid. 5.4 p. 211; arrêts 4A_268/2016 du 14 décembre 2016 consid. 5.1 non publié in <ref-ruling>; 4A_653/2016 du 20 octobre 2017 consid. 5.1).
4.2. En substance, la cour cantonale a considéré que la peine conventionnelle convenue est exorbitante, et manifestement excessive au sens de l'<ref-law>, puisqu'elle correspond à un peu plus de la moitié du prix de vente, dont rien ne permet d'affirmer qu'il serait insignifiant pour la société emptrice.
Puis, elle a constaté que la volonté de la société bénéficiaire d'exercer son droit d'emption était fermement établie. En effet, ce n'est que parce que l'adoption de l'initiative sur les résidences secondaires et son entrée en vigueur immédiate - que les parties n'avaient pas sérieusement envisagées - ont rendu impossible le projet immobilier envisagé, celui-ci ayant manifestement eu une influence sur le prix de vente convenu, que la société bénéficiaire a renoncé à exercer son droit d'emption. Elle n'y a donc pas renoncé par pures convenances personnelles, mais bien en raison de circonstances extérieures sur lesquelles elle n'avait pas prise et qui étaient de nature à justifier sa renonciation. Celle-ci était donc légitime.
Il n'est pas contesté que la valeur des parcelles à la suite de l'impossibilité de réaliser le projet immobilier envisagé a nettement diminué du fait de l'adoption de l'initiative, de sorte que le prix de vente convenu est trop important au regard des possibilités de construction restantes, ce dont les hoirs promettants étaient conscients. Ils n'ont toutefois pas prétendu que la société emptrice s'était engagée à prendre toutes les mesures nécessaires pour concrétiser la vente avant l'entrée en vigueur de l'initiative et que la peine conventionnelle avait été convenue pour sanctionner la violation de cet engagement et compenser le dommage en découlant. Pour s'en garantir, ils auraient pu conclure directement un contrat de vente; ne l'ayant pas fait, ils ont pris le risque que la vente ne se réalise pas, risque qu'il leur appartient de supporter.
Le bénéficiaire d'un droit d'emption peut aussi devoir assumer une partie du risque de dépréciation de la valeur de l'objet pendant la durée du droit, et ce par la conclusion d'une peine conventionnelle.
Le montant de la peine conventionnelle doit toutefois demeurer raisonnable. À défaut, le bénéficiaire ne serait plus libre d'exercer ou non son droit et serait pratiquement contraint de l'exercer, ce qui est contraire à l'institution du droit d'emption.
Pour ces motifs, la cour cantonale a estimé devoir procéder à une réduction drastique de la peine conventionnelle à 10 % du prix de vente, soit 1'300'000 fr. Ce montant étant déjà très important, elle a estimé ne pas pouvoir l'excéder, même si les parties étaient expérimentées en matière immobilière. Elle a estimé qu'il tenait équitablement compte du fait que le pacte était gratuit et du fait que les hoirs promettants avaient pris un risque en concédant un droit d'emption, risque qui s'est réalisé.
4.3. Tout en admettant que l'adoption de l'initiative sur les résidences secondaires et son entrée en vigueur immédiate ont rendu impossible le projet immobilier envisagé par la société emptrice et entraîné une dépréciation de valeur des parcelles de 30 % (soit, selon eux, 3'900'000 fr.), les recourants estiment qu'il s'agissait d'un risque entrepreneurial couru par les promoteurs immobiliers et que ceux-ci devaient le supporter au titre de la peine conventionnelle, dont le montant n'est donc pas excessif. Selon eux, c'est le bénéficiaire du droit d'emption qui doit supporter la perte de valeur des parcelles et non les promettants; ils contestent que seule une vente aurait pu entraîner cette conséquence.
Or, la cour cantonale a constaté que les parties n'ont pas sérieusement envisagé que l'initiative serait acceptée et entrerait immédiatement en vigueur, ce qui aurait une influence sur le prix de vente convenu. Elle a également retenu qu'il n'a pas été prétendu que la société bénéficiaire s'était engagée à prendre toutes les mesures nécessaires pour concrétiser la vente avant l'entrée en vigueur de l'initiative et que la peine conventionnelle avait été convenue pour sanctionner la violation de cet engagement et compenser le dommage en résultant. Les recourants ne s'en prennent pas à ces constatations de manière conforme aux exigences de l'<ref-law>.
Il s'ensuit que les griefs sont rejetés et qu'il est superflu de se prononcer sur les autres griefs des recourants.
5.
En dernier lieu, les recourants font grief à l'autorité précédente d'avoir mal appliqué les règles de la prescription.
5.1.
5.1.1. Lorsqu'une peine conventionnelle déjà acquittée est réduite par le juge (cf. ATF <ref-ruling> consid. 3.6 p. 52), la prétention en répétition du montant résultant de cette réduction est soumise aux dispositions en matière d'enrichissement illégitime et, donc, à la prescription prévue à l'<ref-law> (TERCIER/PICHONNAZ, Le droit des obligations, 6e éd. 2019, p. 343 n. 1486; NURULLAH KUNTER, La réduction de la peine conventionnelle déjà acquittée, RDS 61/1942 p. 106; GASPARD COUCHEPIN, La clause pénale, 2008, p. 190 n. 944; cf. MICHEL MOOSER, Commentaire romand, Code des obligations, 2e éd. 2012, no 12 ad <ref-law>; WIDMER/COSTANTINI/EHRAT, op. cit., no 12 ad <ref-law>; ROLAND BENTELE, Die Konventionalstrafe nach Art. 160-163 OR, 1994, p. 125).
5.1.2. L'art. 67 al. 1 aCO prévoit deux délais de prescription: le premier délai d'un an, relatif, court à partir du jour où la partie lésée a eu connaissance de son droit de répétition; le second délai de dix ans, absolu, court dès la naissance de ce droit. À la suite de la révision du droit de la prescription, entrée en vigueur le 1er janvier 2020, le délai de prescription relatif de l'action en enrichissement illégitime a été porté à trois ans, l'<ref-law> demeurant pour le reste inchangé (RO 2018 5343; <ref-ruling> consid. 4.1.2 p. 85).
À teneur de l'<ref-law>, lorsque le nouveau droit prévoit des délais de prescription plus longs que l'ancien droit, le nouveau droit s'applique dès lors que la prescription n'est pas échue en vertu de l'ancien droit.
Le créancier a connaissance de son droit de répétition - et le délai de prescription relatif d'un an commence à courir (<ref-law>) - lorsqu'il connaît suffisamment d'éléments pour fonder et motiver son action en justice, laquelle n'a pas besoin d'être chiffrée (<ref-law>). Cela suppose qu'il ait connaissance de la mesure approximative de l'atteinte à son patrimoine, de l'absence de cause du déplacement de patrimoine et de la personne de l'enrichi. Est déterminant le moment de la connaissance effective de sa prétention, et non celui où il aurait pu connaître son droit en faisant preuve de l'attention commandée par les circonstances (<ref-ruling> consid. 3.4 p. 506; <ref-ruling> consid. 2 p. 435; arrêt 4A_254/2016 du 10 juillet 2017 consid. 3.1.3.1).
5.2. En l'espèce, l'autorité précédente a retenu que la société emptrice avait la quasi-certitude qu'elle obtiendrait le permis de construire nécessaire malgré l'acceptation de l'initiative. Après que l'initiative a été acceptée, la société emptrice a ainsi déposé, avec les recourants, la demande de permis de construire et est convenue, avec ceux-ci, d'un avenant au pacte afin d'en prolonger la durée.
La cour cantonale a relevé qu'en décidant que l'interdiction de construire prévue par l'initiative était directement applicable, le Tribunal fédéral avait désavoué plusieurs tribunaux cantonaux et était allé à l'encontre de l'avis d'une partie de la doctrine.
De plus, le conseil municipal de yyy avait indiqué, dans sa décision d'autorisation de construire, que la question de l'application de l'initiative ne lui avait pas échappé et qu'il considérait que, conformément aux directives données par le canton du Valais se référant à la disposition transitoire de l'initiative, les demandes d'autorisation déposées entre le 11 mars 2012 et le 31 décembre 2012 pouvaient être autorisées jusqu'au 31 décembre 2012.
La cour cantonale a dès lors considéré que c'était seulement à la suite des arrêts du Tribunal fédéral précités (cf. supra consid. A.j) que la société emptrice avait su, avec le degré de connaissance suffisant, que, compte tenu du recours de F._, l'autorisation de construire délivrée ne pourrait entrer en force et qu'elle disposait d'une créance en restitution de l'acompte versé contre les hoirs promettants. Dans la mesure où la société emptrice a déposé sa requête de conciliation le 26 février 2014, elle a valablement interrompu la prescription et ses prétentions ne sont pas prescrites.
5.3. Les recourants font valoir que la question de savoir si un permis de construire délivré après le 11 mars 2012 mais avant le 1er janvier 2013 serait valable avait fait l'objet de nombreuses discussions bien avant les arrêts du Tribunal fédéral précités.
Par ailleurs, l'intimée savait que zzz (sic) faisait partie des communes assujetties à l'ordonnance sur les résidences secondaires dès sa publication le 22 août 2012 et aurait pu effectuer à ce moment-là un acte interruptif de prescription.
Enfin, l'intimée a signé un second avenant le 17 avril 2013 sans solliciter l'ajout d'une condition particulière relative à l'initiative. Les recourants en déduisent qu'il était clair pour les parties que la rémunération du droit d'emption leur était dès lors acquise en cas de non-exercice du droit d'emption.
5.4. Le délai de prescription de l'art. 67 aCO commence à courir lorsque le créancier connaît effectivement sa prétention, et non à partir du moment où il aurait pu connaître son droit en faisant preuve de l'attention commandée par les circonstances (cf. supra consid. 5.1).
Or, il ressort des constatations factuelles de l'autorité précédente que l'intimée n'a effectivement connu sa prétention qu'au moment où le Tribunal fédéral a rendu les arrêts précités (cf. supra consid. A.j). Comme l'a relevé à juste titre la cour cantonale, les démarches de l'intimée précédant le prononcé de ces arrêts montrent en effet qu'elle pensait pouvoir faire usage du permis de construire qu'elle avait obtenu. Elle ne savait dès lors pas encore que tel ne serait pas le cas et, partant, qu'elle avait une prétention à l'encontre des recourants.
Les arguments soulevés par les recourants n'emportent pas la conviction.
Premièrement, les discussions relatives à l'application de l'initiative ne constituaient que des spéculations et seuls les arrêts du Tribunal fédéral ont définitivement tranché la question et, partant, permis à l'intimée de savoir qu'elle disposait de prétentions à l'encontre des recourants.
Deuxièmement, l'assujettissement de la commune de yyy à l'ordonnance sur les résidences secondaires n'a pas pour effet de déterminer quand l'initiative produirait ses effets.
Enfin, la signature de l'avenant sans clause relative à l'initiative tend également à démontrer que les deux parties partaient du principe que l'initiative n'était pas directement applicable et, partant, que l'intimée ignorait à ce stade l'existence de ses prétentions à l'encontre des recourants.
Le grief est rejeté.
6.
Au vu de ce qui précède, le recours en matière civile doit être rejeté.
Les frais judiciaires et les dépens sont mis, solidairement, à la charge des recourants, qui succombent (art. 66 al. 1 et 5 et art. 68 al. 1, 2 et 4 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté, dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 26'000 fr., sont mis solidairement à la charge des recourants.
3.
Les recourants, débiteurs solidaires, verseront à l'intimée une indemnité de 31'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué aux parties et à la IIe Cour civile du Tribunal cantonal du canton du Valais.
Lausanne, le 28 janvier 2021
Au nom de la Ire Cour de droit civil
du Tribunal fédéral suisse
La Présidente : Hohl
Le Greffier : Douzals