Sachverhalt:
A.
Mit Vertrag vom 29. April 2008 ("Contrat de vendange") verpflichteten sich A.A._ und B.A._ (Beschwerdeführer) als Verkäufer, der C._ AG (Beschwerdegegnerin) als Käuferin für die Dauer von vorerst zehn Jahren die gesamte Traubenernte von 82 durch sie bewirtschaftete und im Anhang aufgelistete Rebparzellen mit einer Fläche von rund 86'000 m2 zu liefern. Für die Kaufpreise und -konditionen wurde der offizielle Tarif des Branchenverbandes der Walliser Weine für anwendbar erklärt.
Art. 5 des Vertrages lautet wie folgt:
"Si l'une des deux parties n'observe pas le présent contrat, elle versera à l'autre partie une indemnité de récolte annuelle, calculée sur la moyenne des récoltes des trois dernières années."
In der Folge entstand zwischen den Vertragsparteien Streit in Bezug auf die Ernte 2010. Die C._ AG machte geltend, A.A._ und B.A._ hätten ihr im besagten Jahr nicht das gesamte Traubengut abgeliefert. A.A._ und B.A._ bestritten diesen Vorwurf. Sie wandten unter anderem ein, sie hätten 2010 mehrere der ursprünglichen Parzellen wegen Kündigung des jeweiligen Pachtverhältnisses sowie teils gleichzeitiger Übernahme durch D._ nicht mehr bearbeiten können. Weiter sei die Ernte witterungsbedingt sowie infolge Pilzbefalls im fraglichen Jahr ausserordentlich schlecht ausgefallen.
B.
Am 27. Juli 2012 erhoben A.A._ und B.A._ beim Bezirksgericht Leuk und Westlich-Raron Klage gegen die C._ AG auf insgesamt Fr. 76'888.20 (Fr. 61'510.56 und Fr. 15'377.64) zuzüglich Zins als Kaufpreis für das 2010 abgelieferte Traubengut. Die C._ AG erhob zur Durchsetzung der Konventionalstrafe Widerklage über Fr. 180'000.-- zuzüglich Zins. In ihren Schlussanträgen reduzierte sie den Betrag auf Fr. 173'463.95.
Das Bezirksgericht führte eine Instruktionsverhandlung und Beweisabnahmen durch. Am 29. Januar 2016 beauftragte es E._, conseiller viticole bei der F._ Sàrl in U._, mit einer Expertise. Letztere wurde am 20. Mai 2016 erstattet und am 22. September 2016 sowie am 7. März 2017 ergänzt.
Am 9. Mai 2018 verurteilte das Bezirksgericht A.A._ und B.A._, der C._ AG Fr. 33'111.80 zu bezahlen. Dieses Urteil fochten A.A._ und B.A._ beim Kantonsgericht Wallis an. Mit Urteil vom 5. November 2019 hiess das Kantonsgericht ihre Berufung teilweise gut, hob das Urteil des Bezirksgerichts auf und verurteilte die C._ AG zur Bezahlung von Fr. 76'888.20 "unter Abzug" von Fr. 49'160.75, jeweils nebst Zins.
C.
A.A._ und B.A._ verlangen mit Beschwerde in Zivilsachen, das Urteil des Obergerichts sei insofern abzuändern, als ihre Klage vollumfänglich gutzuheissen und die Widerklage vollumfänglich abzuweisen sei. Eventualiter sei das angefochtene Urteil aufzuheben und die Sache an die Vorinstanz zurückzuweisen.
Die Vorinstanz hat auf Gegenbemerkungen verzichtet, unter Verweis auf ihr Urteil. Die C._ AG begehrt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Parteien haben eine Replik bzw. eine Duplik eingereicht.

Erwägungen:
1.
Gemäss <ref-law> wird das bundesgerichtliche Verfahren in der Regel in der Sprache des angefochtenen Entscheids geführt. Das Urteil des Bundesgerichts ergeht daher auf Deutsch.
2.
Das Kantonsgericht hat als letzte kantonale Instanz im Sinne von <ref-law> entschieden. Weiter übersteigt der gemäss <ref-law> berechnete Streitwert den Mindestbetrag von Fr. 30'000.-- (<ref-law>), so dass die Beschwerde in Zivilsachen offensteht.
Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten, unter Vorbehalt zulässiger und hinlänglich begründeter Rügen (siehe Erwägung 3).
3.
3.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden.
3.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
3.3. Soweit die Parteien die vorinstanzliche Beweiswürdigung kritisieren, ist zu beachten, dass das Bundesgericht in diese nur eingreift, wenn sie willkürlich ist. Willkür ist nicht schon dann zu bejahen, wenn die Beweiswürdigung nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.2.1; <ref-ruling> E. 2.1). Dies ist der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 4.4; <ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (<ref-ruling> E. 2.2). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. BGE <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 5.1).
4.
Fest steht, dass die Beschwerdeführer der Beschwerdegegnerin 2010 24'415 kg Trauben gut ablieferten und deshalb Anspruch auf einen Kaufpreis von Fr. 76'888.20 haben. Umstritten ist dagegen die von der Beschwerdegegnerin widerklageweise geltend gemachte Konventionalstrafe gemäss Art. 5 des Vertrages. Die Vorinstanz schützte die Feststellung des Bezirksgerichts, wonach die Beschwerdeführer 2010 nur einen Teil des vereinbarten Traubenguts an die Beschwerdegegnerin geliefert und damit den zwischen ihnen abgeschlossenen Vertrag verletzt haben. Sie erwog, schon aufgrund der Expertise sei erwiesen, dass die Beschwerdeführer der Beschwerdegegnerin dieser vertraglich zustehendes Traubengut vorenthalten hätten, und zwar 55.5 % der geschuldeten Lieferung. Dabei ging sie von einer "Soll-Liefermenge" von 54'847 kg aus, unter Berücksichtigung der Kündigung einzelner Rebparzellen, eines allgemein tieferen Ertrags im Jahr 2010 und von Pilzkrankheiten. Weiter befand sie, mit der Festlegung der Höhe auf den Geldwert einer ganzen Jahresernte, berechnet auf dem Durchschnitt der drei Vorjahre, hätten die Parteien eine massiv übersetzte Konventionalstrafe vereinbart. Aus diesem Grund reduzierte sie diese betragsmässig auf "rund die Hälfte einer Jahresernte". Zudem legte sie der Berechnung nicht den Durchschnittswert der Vorjahre, sondern das "Ernte-Soll" 2010 zugrunde und schloss, die volle Konventionalstrafe betrage die Hälfte von diesem Sollwert (Fr. 177'155.80), also Fr. 88'577.90. Damit schuldeten die Beschwerdeführer der Beschwerdegegnerin "im Verhältnis zu der ihnen anzulastenden Nichterfüllung des Vertrages von 55.5 %" eine Konventionalstrafe von Fr. 49'160.75.
5.
Die Beschwerdeführer machen unter verschiedenen Gesichtspunkten geltend, die Vorinstanz habe zu Unrecht eine Vertragsverletzung festgestellt und den Anspruch der Beschwerdegegnerin auf eine Konventionalstrafe (im Grundsatz) bejaht.
5.1. Die Beschwerdeführer kritisieren die Beweiswürdigung. Sie meinen, die Vorinstanz habe unrichtigerweise aus der Expertise vom 20. Mai 2016 geschlossen, dass sie der Beschwerdegegnerin zustehendes Traubengut selbstverwertet oder an Dritte geliefert hätten. Die Vorinstanz stützte die Feststellung der teilweisen Nichterfüllung allerdings wie bereits das Bezirksgericht nebst der Expertise auch auf den Umstand, dass die Beschwerdeführer der Beschwerdegegnerin nicht sämtliche Bescheinigungen (Aquits) ausgehändigt hätten, sowie auf den Einbruch der Erntemenge. Die Beschwerdeführer können die Beweiswürdigung nicht als willkürlich ausweisen, indem sie ihr lediglich ihre eigene Würdigung der vorliegenden Urkunden gegenüberstellen (Erwägung 3.3).
Weiter kritisieren die Beschwerdeführer die festgestellte Soll-Liefermenge von 54'847 kg, da die Vorinstanz unzutreffend davon ausgegangen sei, der von ihr vorgenommene Abzug von 15% enthalte auch die Reduktion für Pilzkrankheiten. Die Vorinstanz führte indessen lediglich aus, "[m]an könnte sich sogar fragen, ob im Ernteeinbruch von 15% die ganze Pilzproblematik nicht bereits enthalten ist", bestätigte aber in der Folge den von der Erstinstanz gewährten doppelten Abzug einerseits für Pilzkrankheiten und andererseits für allgemeinen Ertragseinbruch, auch wenn sie diesen als "grosszügig" bezeichnete. Im Übrigen erwog die Vorinstanz in diesem Zusammenhang, die Beschwerdeführer wiederholten in ihrer Berufung weitgehend bloss ihren Standpunkt, was in Bezug auf die Begründungsanforderungen nicht genüge. Die Beschwerdeführer legen nicht mit Aktenhinweisen dar, inwiefern in dieser Beurteilung eine vom Bundesgericht überprüfbare Rechtsverletzung liegen soll.
5.2. Die Beschwerdeführer beanstanden sodann eine falsche Beweislastverteilung. Die Rüge verfehlt ihr Ziel: Nachdem die Vorinstanz in willkürfreier Würdigung der Beweise festgestellt hat, dass die Beschwerdeführer nicht das gesamte produzierte Traubengut abgeliefert, sondern der Beschwerdegegnerin dieser vertraglich zustehendes Traubengut vorenthalten haben (Erwägungen 4 und 5.1), ist die Beweislastverteilung insofern gegenstandslos (siehe etwa <ref-ruling> E. 3.2 mit weiteren Hinweisen). Ob die Beschwerdeführer über die Pflicht zur Ablieferung des geernteten Traubenguts hinaus eine Pflicht traf, eine bestimmte Menge Traubengut zu produziere n, kann unter diesen Umständen offenbleiben.
5.3. Schliesslich beanstanden die Beschwerdeführer einen Verstoss gegen <ref-law> sowie <ref-law>, da ihnen zu Unrecht eine Vertragsverletzung zur Last gelegt werde. Indessen gehen sie bei der Begründung dieser Rüge davon aus, sie hätten der Beschwerdegegnerin das gesamte auf den vertragsgegenständlichen Parzellen geerntete Traubengut abgeliefert, und die geringere Liefermenge sei auf einen unverschuldeten Rückgang der Erntemenge zurückzuführen. Da diese Behauptungen der für das Bundesgericht verbindlichen Feststellung der Vorinstanz widersprechen, ist darauf nicht weiter einzugehen.
6.
Die Beschwerdeführer rügen sodann, die Konventionalstrafe sei nicht geschuldet, da sie den Vertrag unbestrittenermassen zumindest teilweise erfüllt hätten. I m Fall der teilweisen Nichterfüllung ("inexécution partielle") sei mangels ausdrücklicher Vereinbarung keine Konventionalstrafe geschuldet.
Wenn für den Fall der Nichterfüllung oder der nicht richtigen Erfüllung eines Vertrages eine Konventionalstrafe versprochen ist, so ist der Gläubiger mangels anderer Abrede nur berechtigt, entweder die Erfüllung oder die Strafe zu fordern (<ref-law>). Bei einer bloss teilweisen Erfüllung ist die Konventionalstrafe im Verhältnis zum nicht erfüllten Teil geschuldet, und zwar unabhängig von der Herabsetzung gemäss <ref-law>, wie das Bundesgericht in einem vergleichbaren Fall entschieden hat (Urteil 4A_653/2016 vom 20. Oktober 2017 E. 5.2.2 mit Hinweisen). Die Beschwerdeführer vermögen nicht aufzuzeigen, weshalb im vorliegenden Fall etwas Abweichendes gelten soll. Entgegen ihrer Auffassung ist das Vorgehen der Vorinstanz ohne Weiteres mit <ref-ruling> und der darin zitierten Literaturstelle (VON TUHR/ESCHER, Allgemeiner Teil des Schweizerischen Obligationenrechts, Bd. II, 3. Aufl. 1974, S. 282) zu vereinbaren, die sich mit dem Fall der nicht richtigen Erfüllung befassen. Eine nach <ref-law> ausgeschlossene Kumulation von Leistung und Konventionalstrafe findet hier gerade nicht statt. Weshalb in der Entgegennahme der teilweisen Leistung ein Verzicht der Beschwerdegegnerin auf die ganze Konventionalstrafe liegen soll, ist nicht nachvollziehbar.
7.
Schliesslich machen die Beschwerdeführer geltend, die Vorinstanz habe die Konventionalstrafe nur ungenügend herabgesetzt.
7.1. Gemäss <ref-law> hat der Richter übermässig hohe Konventionalstrafen nach seinem Ermessen herabzusetzen. Dabei ist aus Gründen der Vertragstreue und der Vertragsfreiheit Zurückhaltung geboten, denn die Strafe kann von den Parteien an sich in beliebiger Höhe festgesetzt werden (<ref-law>). Ein richterlicher Eingriff in den Vertrag rechtfertigt sich nur, wenn der verabredete Betrag so hoch ist, dass er das vernünftige, mit Recht und Billigkeit noch vereinbare Mass übersteigt (<ref-ruling> E. 5.2 S. 209, 43 E. 3.3.1; Urteil 4A_268/2016 vom 14. Dezember 2016 E. 5.1, nicht publ. in <ref-ruling>). Das Ermessen des Richters bezieht sich sowohl auf die Frage der Übermässigkeit der Strafe als auch auf den Umfang der Herabsetzung. Der Richter hat die Strafe bloss soweit zu reduzieren, dass sie nicht mehr als übermässig erscheint (<ref-ruling> E. 5.2 S. 210).
Derartige Ermessensentscheide überprüft das Bundesgericht an sich frei. Es übt dabei aber Zurückhaltung und schreitet nur ein, wenn die Vorinstanz grundlos von in Lehre und Rechtsprechung anerkannten Grundsätzen abgewichen ist, wenn sie Tatsachen berücksichtigt hat, die für den Entscheid im Einzelfall keine Rolle spielen dürfen, oder wenn sie umgekehrt Umstände ausser Betracht gelassen hat, die hätten beachtet werden müssen. Es greift ausserdem in Ermessensentscheide ein, wenn sich diese als offensichtlich unbillig, als in stossender Weise ungerecht erweisen (<ref-ruling> E. 2; <ref-ruling> E. 5.4 S. 211; <ref-ruling> E. 2; Urteil 4A_268/2016 vom 14. Dezember 2016 E. 5.1, nicht publ. in <ref-ruling>).
7.2. Die Beschwerdeführer zeigen keinen hinlänglichen Anlass für das Bundesgericht auf, um hier in das Ermessen der Vorinstanz einzugreifen:
Sie meinen, die Vorinstanz habe das Urteil 4A_653/2016 vom 20. Oktober 2017 falsch interpretiert. Zu Unrecht: In diesem Fall lag eine Nichterfüllung im Umfang von 25 % während zwei Jahren vor (2009 und 2010), weshalb das Kantonsgericht die Konventionalstrafe auf total 50 % der Vergütung für eine Jahresernte (Fr. 100'814.50) festgesetzt hatte, d.h. auf Fr. 50'407.25. Das Bundesgericht setzte diesen Betrag in Anwendung von <ref-law> auf Fr. 25'203.60 herab, also die Hälfte (E. 5.2.4). Die Beschwerdeführer beziehen sich auf E. 5.2.3 des Entscheids. Darin setzte sich das Bundesgericht mit der Berechnung der Vorinstanz auseinander, wonach der Verlust von Traubengut ("perte de vendange") gegenüber dem jeweiligen Vorjahr ungefähr Fr. 7'000.-- (2009) und Fr. 50'000.-- (2010) betragen habe. Das Bundesgericht errechnete daraus mit einer Marge von 30 % einen entgangenen Gewinn von Fr. 2'100.-- (2009) respektive Fr. 15'000.-- (2010), präzisierte jedoch, dass dieser auf diverse Gründe zurückzuführen sei und nicht notwendigerweise dem Rückgang zufolge der (vertragswidrigen) Reduktion der bebauten Fläche entspreche. Stelle man auf die Reduktion der bebauten Fläche um 25 % ab, ergebe sich ein entgangener Gewinn von Fr. 7'500.-- respektive total Fr. 15'000.--. Aus dieser Vergleichsrechnung schloss das Bundesgericht sodann lediglich, eine Konventionalstrafe von Fr. 50'407.25 sei offensichtlich übermässig. Den Beschwerdeführern kann somit nicht gefolgt werden, wenn sie aus dieser Erwägung ableiten wollen, in derartigen Fällen sei eine Herabsetzung um drei Viertel vorgeschrieben. Der Ermessensentscheid der Vorinstanz ist in dieser Hinsicht nicht zu beanstanden.
Ferner nennen die Beschwerdeführer diverse Umstände, denen die Vorinstanz bei der Herabsetzung der Konventionalstrafe nicht oder nicht hinreichend Rechnung getragen habe, so etwa, dass die Beschwerdegegnerin keinen Schaden erlitten habe, weil sie sich bei Dritten habe versorgen können, und dass sie (die Beschwerdeführer) kein Verschulden treffe. Sie tun jedoch nicht mit Aktenhinweisen dar, dass sie insofern zu einer Sachverhaltsergänzung berechtigt sind. Aus diesem Grund kann auf die entsprechenden Behauptungen nicht abgestellt werden. Im Übrigen ist verbindlich festgestellt, dass die Beschwerdeführer der Beschwerdegnerin dieser vertraglich zustehendes Traubengut vorenthalten haben (Erwägungen und 5.1), was in dem im Urteil 4A_653/2016 vom 20. Oktober 2017 zu beurteilenden Fall gerade nicht zutraf.
8.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer in solidarischer Haftbarkeit kosten - und entschädigungspflichtig (siehe Art. 66 Abs. 1 und 5 sowie Art. 68 Abs. 2 und 4 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen, in solidarischer Haftbarkeit.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Wallis, I. Zivilrechtliche Abteilung, schriftlich mitgeteilt.
Lausanne, 15. Juli 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Kölz