Sachverhalt:
A.
A.a. B._ (Beklagter 2, Beschwerdeführer 1) einerseits und die C._ AG (Beklagte 1, Beschwerdeführerin 2, die Aktiengesellschaft) andererseits sind Eigentümer eines landwirtschaftlichen Gewerbes in U._ und dazugehörenden landwirtschaftlichen Grundstücken in V._ (nachfolgend zusammengefasst als: der Bauernhof C._).
A.a.a. Der Bauernhof C._ gehörte ursprünglich D.A._, dem Ehemann von A.A._ (Klägerin, Beschwerdegegnerin). Aufgrund finanzieller Probleme gewährte der Beklagte 2 D.A._ (nachfolgend: der Ehemann) ein Darlehen von Fr. 550'000.--. Am 18. Juli 1985 schlossen der Ehemann der Klägerin und der Beklagte 2 einen Vorvertrag zum Abschluss eines Kaufvertrages und zur Begründung eines Kaufrechts bezüglich des Bauernhofs C._. Als Kaufpreis wurden Fr. 650'000.-- festgelegt, wovon Fr. 550'000.-- zur Finanzierung des Nachlassvertrags dienen sollten. Es wurde vorgesehen, dass das Kaufrecht frühestens am 14. Februar 1994 ausgeübt werden könne.
A.a.b. Mit Sacheinlagevertrag vom 2. März 1988 verkaufte der Ehemann der Klägerin der zu gründenden C._ AG den Bauernhof C._. Am 12. Oktober 1988 gründeten die Klägerin, ihr Ehemann und der Beklagte 2 gemeinsam die C._ AG. Von den insgesamt 50 Namenaktien zu nominell Fr. 1'000.-- übernahmen die Klägerin und der Beklagte 2 je eine und der Ehemann der Klägerin die restlichen 48.
A.a.c. Am 10. Februar 1989 schlossen der Ehemann der Klägerin und der Beklagte 2 einen Pfandvertrag, mit dem der Vorvertrag für gegenstandslos erklärt und festgehalten wurde, der Ehemann der Klägerin schulde dem Beklagten 2 Fr. 550'000.--, welche der Beklagte 2 ihm zur Finanzierung des Nachlassvertrages zur Verfügung gestellt habe. Zur Sicherung dieser Schuld übergab der Ehemann der Klägerin dem Beklagten 2 sämtliche 50 Aktien der C._ AG als Faustpfand. Gleichzeitig wurde vereinbart, dass der Beklagte 2 das Stimmrecht sowie ein zeitlich begrenztes Kaufrecht an sämtlichen Aktien zum Preis von Fr. 557'000.-- erhalte. Bei Ausübung des Kaufrechts wurde der Beklagte 2 ermächtigt, den Kaufpreis mit seiner faustpfandgesicherten Forderung von Fr. 550'000.-- zu verrechnen.
A.a.d. Am 1. Januar 1994 trat das Bundesgesetz vom 4. Oktober 1991 über das bäuerliche Bodenrecht (BGBB; SR 211.412.11) in Kraft, welches das Bundesgesetz vom 12. Juni 1951 über die Erhaltung des bäuerlichen Grundbesitzes (EGG; AS 1952 403) ablöste.
A.a.e. Am 3. Januar 1995 schlossen der Beklagte 2 und der Ehemann der Klägerin einen Kaufvertrag über sämtliche 50 Aktien der Aktiengesellschaft. Der Kaufpreis wurde auf Fr. 557'000.-- festgesetzt, wovon Fr. 550'000.-- laut Pfandvertrag bereits verrechnet waren.
A.a.f. Am 17. Februar 1998 fand eine Kapitalerhöhung um weitere 50 Aktien bei der C._ AG statt. Der Beklagte 2 erhielt dabei 39 Aktien, der Ehemann der Klägerin 10 Aktien und die Klägerin 1 Aktie. Gemäss Aktionärbindungsvertrag vom 29. Juni 1998 sollten alle 11 Namenaktien der Klägerin und ihres Ehemanns nach Beendigung der Pacht entschädigungslos an den Beklagten 2 fallen.
A.a.g. Der Bauernhof C._ wurde ursprünglich an den Ehemann der Klägerin verpachtet. Nachdem dieser das Pensionsalter erreicht hatte, verpachteten die Beklagten der Klägerin mit zwei separaten Pachtverträgen vom 17. Februar 1998 die je in ihrem Eigentum stehenden Pachtgrundstücke. Am 5. März 2011 unterschrieben die Klägerin als Pächterin und der Beklagte 2 als Verpächter einen "Anhang zum Pachtvertrag" (Anhang zu den Pachtverträgen vom 17. Februar 1998). Darin vereinbarten die Parteien, das Pachtverhältnis werde befristet bis 31. Dezember 2016 festgesetzt.
A.a.h. Mit Schreiben vom 26. Dezember 2015 kündigte der Beklagte 2 den Pachtvertrag per 31. Dezember 2016. Er machte geltend, sein Sohn wolle den Bauernhof C._ dereinst bewirtschaften.
A.b. Mit Eingabe vom 8. Juli 2016 erhob die Klägerin beim Richteramt Thal-Gäu Klage und verlangte hauptsächlich, es sei festzustellen, dass der zwischen den Parteien am 5. März 2011 abgeschlossene Pachtvertrag sowie die von den Beklagten 1 und 2 ausgesprochene Kündigung vom 26. Dezember 2015 nichtig seien. Im Rahmen eines von mehreren Eventualbegehren beantragte sie, das Pachtverhältnis um sechs Jahre und somit bis am 31. Dezember 2022 zu erstrecken.
A.c. Am 1. Juni 2017 wies der Amtsgerichtspräsident die Klage ab.
A.d. Das Obergericht des Kantons Solothurn hiess die von der Klägerin gegen diesen Entscheid erhobene Berufung mit Urteil vom 5. April 2018 gut und stellte fest, der am 5. März 2011 abgeschlossene Pachtvertrag sowie die Kündigung vom 26. Dezember 2015 seien nichtig.
A.e. Mit Urteil 4A_260/2018 vom 28. November 2018 (nachfolgend: 1. Rückweisungsentscheid) hob das Bundesgericht das Urteil des Obergerichts auf und wies die Klage insofern ab, als sie die Feststellung der Nichtigkeit des Pachtvertrages vom 5. März 2011 und der Kündigung vom 26. Dezember 2015 verlangte. Es wies die Sache bezüglich der Erstreckung des Pachtverhältnisses zu neuer Beurteilung an das Obergericht zurück.
A.f. Mit Urteil vom 23. April 2019 wies das Obergericht die Berufung in Bezug auf das Erstreckungsbegehren ab.
A.g. Auf Beschwerde der Klägerin erstreckte das Bundesgericht mit Urteil 4A_260/2019 vom 23. Oktober 2019 (nachfolgend: 2. Rückweisungsentscheid) das Pachtverhältnis um 3 Jahre bis zum 31. Dezember 2019 einmalig und definitiv. In Bezug auf die Kosten- und Entschädigungsfolge erkannte das Bundesgericht, die Klägerin dringe mit ihrem Begehren nur teilweise durch. Sie unterliege in Bezug auf die Erstreckungsdauer zur Hälfte. Da die Dauer der Erstreckung aber im Ermessen des Gerichts liege, so dass ein gewisser Spielraum bestehe, und sich die Beklagten im Grundsatz gegen jede Erstreckung gewehrt hätten, erscheine es gerechtfertigt die Gerichtsgebühr zu 3⁄4 unter solidarischer Haftbarkeit den Beklagten aufzuerlegen und zu 1⁄4 der Klägerin. Dieser sprach es eine reduzierte Parteientschädigung zu. Sodann wies es die Sache an die Vorinstanz zurück zu neuer Entscheidung über die Kosten- und Entschädigungsfolgen für das kantonale Verfahren (zit. Urteil 4A_260/2019 E. 6 und Dispositiv).
B.
Mit Urteil vom 7. Januar 2020 auferlegte das Obergericht, die Prozesskosten des kantonalen Verfahrens - dem Ausgang des bundesgerichtlichen Verfahrens entsprechend - im Umfang von 1⁄4 der Klägerin und von 3⁄4 den Beklagten. Dementsprechend auferlegte es die Gerichtskosten für das erstinstanzliche Verfahren von Fr. 7'000.-- im Umfang von Fr. 1750.-- der Klägerin und im Umfang von Fr. 5'250.-- unter solidarischer Haftbarkeit den Beklagten, wobei dieser Betrag zufolge Verrechnung der Kosten mit dem geleisteten Kostenvorschuss direkt an die Klägerin zu bezahlen sei. Die Beklagten wurden sodann solidarisch verpflichtet, der Klägerin für das erstinstanzliche Verfahren eine reduzierte Parteientschädigung von Fr. 8'419.25 zu bezahlen. Auch die Gerichtskosten für das zweitinstanzliche Verfahren setzte das Obergericht auf Fr. 7'000.-- fest und verlegte sie analog wie die Gerichtskosten des erstinstanzlichen Verfahrens. Auch für das zweitinstanzliche Verfahren sprach es der Klägerin zu lasten der solidarisch haftenden Beklagten eine reduzierte Parteientschädigung zu, welche es auf Fr. 2'177.10 festsetzte.
C.
Der Beklagte 2 gelangt ohne anwaltliche Vertretung als "Präsident & Inhaber" der C._ AG an das Bundesgericht. Er macht im Wesentlichen geltend, die Beschwerdegegnerin habe mit Urteil 4A_260/2019 nur eine Pachterstreckung von 3 Jahren zugestanden erhalten statt der beantragten 6 Jahre. Sie habe nur zur Hälfte gewonnen. Deshalb seien die Urteile des Obergerichts zwingend diesem Umstand anzupassen. Das zweite Verfahren Urteil des Obergerichts vom 18. Juli 2019 [recte wohl: 23. April 2019] sei zu Gunsten des Verpächters vollumfänglich gutgeheissen worden, indem die Berufung abgewiesen worden sei und die Beschwerdegegnerin die Kosten des Berufungsverfahrens habe übernehmen müssen und den Beklagten eine Parteientschädigung von Fr. 8'275.50 (inkl. Auslagen und Mehrwertsteuer) zu bezahlen gehabt habe. Anhand dieses Beschlusses könne in keiner Art und Weise zu 3⁄4, wie beim Bundesgericht erfolgt, zugeteilt werden. Das Amtsgericht in Balsthal habe 2017 die Pachterstreckung vollumfänglich abgewiesen sowie auch das Obergericht am 23. April 2019. Die Beschwerdegegnerin sei nicht auf die Pacht angewiesen, während der Sohn des Beschwerdeführers 1 den Hof schon lange bewirtschaften möchte. Unter dem Titel "Neue Fakten" machen die Beschwerdeführer sodann geltend, die Beendigung der Pacht sei nicht eingehalten worden. In renitenter Weise beharre die Gegenpartei darauf, den Bauernhof C._ nie zu verlassen, auch auf Einleitung des Ausweisungsverfahrens. Stattdessen habe der Rechtsvertreter der Gegenpartei unrealistische Forderungen gestellt und 11 Aktien in nicht statthafter Weise zu sich genommen. Vor diesem Hintergrund stellen die Beschwerdeführer folgenden Antrag:
"Das Urteil betreffend Pachterstreckung ist evt. neu zu beurteilen. Demzufolge auch die Kostenfolge vom Obergericht ist zurückzuweisen und vollumfänglich an die Gegenpartei A.A._ aufzuerlegen. "
Der Eingabe sind Kopien des angefochtenen und des 2. Rückweisungsentscheides beigelegt sowie eine Kopie des Urteils des Obergerichts vom 23. April 2019. Ebenso wird ein Einschreiben vom 2. Dezember 2019 der Gegenpartei bezüglich Entzug des Stimmrechts und Einberufung einer GV beigelegt. Die Beschwerdegegnerin beantragt, auf die Beschwerde nicht einzutreten, und eventuell, diese abzuweisen, beides unter Kostenfolge. Das Obergericht hat auf Vernehmlassung verzichtet.

Erwägungen:
1.
In Streitigkeiten, die ein Pachtverhältnis betreffen, ist die Beschwerde nach <ref-law> nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (<ref-ruling> E. 1.1 S. 197). Nach Art. 51Abs. 1 lit. a BGG bestimmt sich der Streitwert bei Beschwerden gegen Endentscheide nach dem Begehren, die vor der Vorinstanz streitig geblieben waren. Nach einem Rückweisungsentscheid des Bundesgerichts ist der ursprünglich vor der Vorinstanz streitige Betrag massgebend, nicht der Betrag, über den die Vorinstanz nach dem Rückweisungsentscheid noch zu entscheiden hat (Urteil des Bundesgerichts 4A_225/2011 vom 15. Juli 2011 E. 1; vgl. schon BGE 57 II 550). Das gilt auch, wenn nach einem Rückweisungsentscheid des Bundesgerichts nur noch über die Kosten und Entschädigungsfolgen für das kantonale Verfahren zu befinden war (Urteile des Bundesgerichts 4A_94/2018 vom 28. September 2018 E. 1.1; 4A_200/2011 vom 29. Juni 2011 E. 1.1; 5A_619/2015 vom 21. Dezember 2015 E. 1, nicht publ. in <ref-ruling>). Entgegen der Auffassung der Beschwerdegegnerin wird der für eine Beschwerde in Zivilsachen erforderliche Streitwert mithin unabhängig von der Höhe der angefochtenen Kosten- und Entschädigungsregelung erreicht.
2.
Nach einem Rückweisungsentscheid des Bundesgerichts sind sowohl dieses selbst als auch die kantonalen Instanzen an die rechtliche Beurteilung, mit der die Rückweisung begründet wurde, gebunden. Wegen dieser Bindung der Gerichte ist es ihnen wie auch den Parteien, abgesehen von allenfalls zulässigen Noven, verwehrt, der Beurteilung des Rechtsstreits einen anderen als den bisherigen Sachverhalt zu unterstellen oder die Sache unter rechtlichen Gesichtspunkten zu prüfen, die im Rückweisungsentscheid ausdrücklich abgelehnt oder überhaupt nicht in Erwägung gezogen worden waren (<ref-ruling> E. 5.3.3 S. 222 f.; <ref-ruling> E. 2 und 2.1 S. 335 mit Hinweisen).
2.1. Gemäss dem 2. Rückweisungsentscheid hatte die Vorinstanz lediglich über die Kosten- und Entschädigungsfolgen für das kantonale Verfahren neu zu entscheiden (zit. Urteil 4A_260/2019 E. 6 und Dispositiv). Auf die Beschwerde ist daher von Vornherein nicht einzutreten, soweit darin andere Themen angeschnitten werden und namentlich eine Neubeurteilung der Erstreckung verlangt wird, zumal kein Revisionsgrund geltend gemacht wird.
2.2. Ohnehin ist Gegenstand dieses Verfahrens lediglich das Pachtverhältnis zwischen der Beschwerdegegnerin und den Beschwerdeführern. Die Fragen, die eine allfällige Unwirksamkeit des am 3. Januar 1995 geschlossenen Aktienkaufvertrags aufwerfen kann, falls keine Bewilligung erlangt werden sollte, betreffen primär die Vertragsparteien des Aktienkaufvertrags und sind nicht Gegenstand dieses die Pachtverträge zwischen der Beschwerdegegnerin und den Beschwerdeführern betreffenden Verfahrens.
3.
Die Beschwerdeschrift hat ein Rechtsbegehren zu enthalten (<ref-law>). Da die Beschwerde in Zivilsachen ein reformatorisches Rechtsmittel ist (<ref-law>), darf sich die beschwerdeführende Partei grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheids zu beantragen, sondern muss einen Antrag in der Sache stellen. Ein blosser Rückweisungsantrag reicht ausnahmsweise aus, wenn das Bundesgericht im Falle der Gutheissung in der Sache nicht selbst entscheiden könnte, weil die erforderlichen Sachverhaltsfeststellungen der Vorinstanz fehlen (<ref-ruling> E. 1.2 S. 135; <ref-ruling> E. 1.3 S. 383; <ref-ruling> E. 3.1).
3.1. Das Bundesgericht verlangt im Hinblick auf die reformatorische Natur der Beschwerde in Zivilsachen auch hinsichtlich der vom Ausgang der Hauptsache unabhängigen Anfechtung der vorinstanzlichen Kosten- und Entschädigungsregelung grundsätzlich einen materiellen, d.h. bezifferten Antrag, widrigenfalls es auf diesbezügliche Begehren nicht eintritt (<ref-law>; Urteile des Bundesgerichts 4A_12/2014 vom 6. März 2014 E. 2; 4A_89/2014 vom 25. Februar 2014 mit Hinweisen). Die Beschwerdepartei muss die kantonale Parteientschädigung, deren Zusprechung sie verlangt, grundsätzlich beziffern (<ref-ruling> E. 1.2 S. 112). Die Rechtsbegehren sind allerdings unter Berücksichtigung der Beschwerdebegründung nach dem Vertrauensprinzip auszulegen (<ref-ruling> E. 1.2 S. 136; <ref-ruling> E. 1.4.2; vgl. auch <ref-ruling> E. 1b S. 414 mit Hinweisen).
3.2. Formell beantragen die Beschwerdeführer zwar eine Rückweisung an die Vorinstanz. Sie führen aber gleichzeitig aus, die Kostenfolge vom Obergericht sei "vollumfänglich an die Gegenpartei A.A._ aufzuerlegen". Im Rahmen der Begründung wird auch der Entscheid des Amtsgerichts in Balsthal thematisiert. Nach Treu und Glauben ausgelegt kann das nur bedeuten, dass nach Auffassung der Beschwerdeführer sämtliche Gerichtskosten beider Instanzen der Beschwerdegegnerin aufzuerlegen seien. Entgegen der Beschwerdegegnerin kann nicht gesagt werden, es sei nicht ersichtlich, ob die Beschwerdeführer die Auferlegung der obergerichtlichen Kostenfolge oder sämtliche Kostenfolgen auch des erstinstanzlichen Verfahrens meinen. Mit Blick auf den Rückweisungsentscheid, der die gesamten Kosten des kantonalen Verfahrens betraf und die Tatsache, dass zur Begründung der Beschwerde auch der Entscheid des Amtsgerichts behandelt wird, kann das Begehren der Beschwerdeführer, die Kostenfolge vollumfänglich der Gegenpartei aufzuerlegen, nach Treu und Glauben nicht auf die Kostenfolge einer bestimmten Verfahrensstufe eingeschränkt werden. Da die Gerichtskosten im angefochtenen Entscheid beziffert sind, ergibt sich im Rahmen der Auslegung nach dem Vertrauensprinzip auch für das Rechtsbegehren vor Bundesgericht die Bezifferung: Die Gerichtskosten von je Fr. 7'000.-- sind nach diesem Antrag der Beschwerdegegnerin aufzuerlegen.
3.3. Prozesskosten umfassen sowohl die Gerichtskosten als auch die Parteientschädigung (<ref-law>). Die Beschwerdeführer unterscheiden die beiden Aspekte nicht klar. Mit Blick auf die Begründung, in der auch die zu ihren Gunsten zugesprochene Parteientschädigung thematisiert wird, ist davon auszugehen, die Formulierung, die "Kostenfolge" sei "vollumfänglich an die Gegenpartei A.A._ aufzuerlegen" umfasse auch die Parteientschädigung. Aus dem Antrag wird klar, dass die Beschwerdeführer den angefochtenen Entscheid beanstanden, soweit sie der Gegenpartei eine Parteientschädigung zu entrichten haben. Dies genügt als Bezifferung. Dagegen bleibt unklar in welchem Betrag sie selbst von der Beschwerdegegnerin eine Parteientschädigung verlangen. Der Betrag, der ihnen im Rahmen der ursprünglichen Abweisung der Berufung der Klägerin zugesprochen wurde, den sie in der Beschwerdebegründung zitieren, stimmt nicht mit den Beträgen überein, zu deren Zahlung sie im angefochtenen Entscheid verpflichtet wurden. Insoweit lässt sich nach Treu und Glauben keine eindeutige Bezifferung ausmachen, so dass das Begehren nur als ein solches um Befreiung von einer an die Beschwerdegegnerin zu entrichtenden Parteientschädigung entgegenzunehmen ist und nicht als ein solches um Zusprechung einer Parteientschädigung.
4.
Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten. Unerlässlich ist im Hinblick auf <ref-law>, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt (<ref-ruling> E. 2 S. 116 mit Hinweis). Den dargelegten Begründungsanforderungen vermag die Beschwerde knapp zu genügen. Aus der Kostenverteilung der früheren, vom Bundesgericht aufgehobenen Entscheide können die Beschwerdeführer direkt zwar nichts für sich ableiten. Auch ihre Ausführungen unter dem Titel "Neue Fakten" und ihr Vorbringen, die Beschwerdegegnerin sei nicht auf die Pacht angewiesen, während der Sohn des Beschwerdeführers 1 den Hof schon lange bewirtschaften möchte, gehen an der Sache vorbei. Sie rügen aber sinngemäss, mit Blick auf den Erfolg dürfe die Kostenverteilung nicht analog zum Verfahren vor Bundesgericht vorgenommen werden. Da die Vorinstanz ihren Kostenentscheid allein mit dem Hinweis begründet, er erfolge dem Ausgang des bundesgerichtlichen Verfahrens entsprechend, ist die Beschwerdebegründung als genügend anzusehen.
5.
Im Umfang, in dem auf die Beschwerde eingetreten werden kann, erweist sie sich als offensichtlich begründet:
5.1. Nach <ref-law> werden die Prozesskosten grundsätzlich der unterliegenden Partei auferlegt. Hat keine Partei vollständig obsiegt, so werden die Prozesskosten nach dem Ausgang des Verfahrens verteilt (<ref-law>).
5.2. Das Bundesgericht hat in beiden Rückweisungsentscheiden die Kosten- und Entschädigungsfolgen für das jeweilige Verfahren vor Bundesgericht geregelt und dabei auf den Erfolg in diesen Verfahren abgestellt. Denn im Gegensatz zur Streitwertgrenze für eine Beschwerde in Zivilsachen (<ref-law>), für die nach <ref-law> bei Endentscheiden auf die Begehren abzustellen ist, die vor der Vorinstanz streitig geblieben waren (vgl. E. 1 hiervor), ist für die Kostenverlegung vor Bundesgericht grundsätzlich nur der Betrag massgebend, der vor Bundesgericht noch streitig ist (vgl. Urteil des Bundesgerichts 2C_874/2017 vom 12. Dezember 2018 E. 7.2 mit Hinweis). Im Verfahren, das zum 2. Rückweisungsentscheid führte, war nur noch die Erstreckung streitig. Die anderen Streitpunkte hatte das Bundesgericht bereits im 1. Rückweisungsentscheid entschieden und zwar zu Gunsten der Beschwerdeführer. Im 2. Rückweisungsentscheid unterlag die Klägerin zwar in Bezug auf die Erstreckungsdauer zur Hälfte. Da die Dauer der Erstreckung aber im Ermessen des Gerichts liegt, ein gewisser Spielraum besteht und sich die Beklagten im Grundsatz gegen jede Erstreckung gewehrt hatten, erschien es gerechtfertigt, die Kosten- und Entschädigungsfolgen für das Verfahren vor Bundesgericht im Verhältnis 3⁄4 zu 1⁄4 zu Gunsten der Klägerin zu verteilen (zit. Urteil 4A_260/2019 E. 6 und Dispositiv).
5.3. Ursprünglich hatte die Beschwerdegegnerin im kantonalen Verfahren hauptsächlich verlangt, es sei festzustellen, dass der zwischen den Parteien am 5. März 2011 abgeschlossene Pachtvertrag sowie die von den Beklagten 1 und 2 ausgesprochene Kündigung vom 26. Dezember 2015 nichtig seien. Mit diesen Hauptbegehren ist die Beschwerdegegnerin nicht durchgedrungen. Lediglich als eines von mehreren Eventualbegehren hatte sie beantragt, das Pachtverhältnis um sechs Jahre zu erstrecken. Auch mit diesem Eventualantrag drang die Beschwerdegegnerin aber nur teilweise durch (im Umfang von drei Jahren). Aus der Kostenverteilung im 2. Rückweisungsentscheid können keine Rückschlüsse auf die Kostenverteilung im kantonalen Verfahren gezogen werden, da im 2. Rückweisungsentscheid nicht mehr alle Streitfragen zur Debatte standen. Eine analoge Kostenverteilung liesse sich allenfalls in Erwägung ziehen, wenn auch im kantonalen Verfahren nur die Frage der Erstreckung umstritten gewesen wäre. Das war aber nicht der Fall. Das Mass des Obsiegens im 2. Rückweisungsentscheid entspricht mithin in keiner Weise dem Verfahrensausgang im kantonalen Verfahren, da dafür die gesamten Rechtsbegehren massgebend sind und die Beschwerdegegnerin überwiegend unterlegen ist. Nicht nachvollziehbar ist das Argument der Beschwerdegegnerin, die Streitwerte des Haupt- und des Eventualbegehrens seien identisch, zumal sie aus der Nichtigkeit der Pachtverträge ein Recht zum Verbleib auf unbestimmte Zeit ableitete. Entsprechend waren die Gerichtskosten für den ersten Rückweisungsentscheid (Fr. 7'000.--) wesentlich höher als für den zweiten (Fr. 2'500.--). Mit Blick auf die gesamten Begehren kann zudem nicht gesagt werden, die Beschwerdegegnerin habe im Grundsatz obsiegt.
5.4. Nach dem Gesagten ist die Sache an die Vorinstanz zurückzuweisen, damit sie erneut über die Prozesskostenverteilung befindet und zwar nach dem Ausgang des Verfahrens unter Berücksichtigung der ursprünglich gestellten Begehren. Allfällige Abweichungen (Art. 107 f. ZPO) hat sie zu begründen. Die Vorinstanz darf ihren Entschied in Bezug auf die Gerichtskosten abändern, soweit sie den Beschwerdeführern eine Parteientschädigung auferlegt hat. Mangels hinreichenden Antrags vor Bundesgericht ist den Beschwerdeführern aber für das kantonale Verfahren selbst dann keine Parteientschädigung zuzusprechen, wenn ihnen nach dem Ausgang des Verfahrens an sich eine solche zustehen sollte.
6.
Soweit der angefochtene Entscheid überhaupt Gegenstand einer Beschwerde bilden konnte, erweist sie sich im Wesentlichen als begründet. Die Sache ist an die Vorinstanz zu neuer Entscheidung zurückzuweisen. Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdegegnerin auferlegt. Da die Beschwerdeführer nicht anwaltlich vertreten sind und ihre Eingabe keinen ausserordentlichen Aufwand erforderte, steht ihnen für das Verfahren vor Bundesgericht keine Parteientschädigung zu (Art. 68 Abs. 1 und 2 BGG; <ref-ruling> E. 4 S. 446 mit Hinweis).

Demnach erkennt das Bundesgericht:
1.
In teilweiser Gutheissung der Beschwerde wird der angefochtene Entscheid aufgehoben und die Sache an die Vorinstanz zurückgewiesen zu neuer Entscheidung über die Kosten- und Entschädigungsfolgen für das kantonale Verfahren im Sinne der Erwägungen.
2.
Die Gerichtskosten für das bundesgerichtliche Verfahren von Fr. 1'000.-- werden der Beschwerdegegnerin auferlegt.
3.
Für das bundesgerichtliche Verfahren wird keine Parteientschädigung zugesprochen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Solothurn, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. Mai 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Luczak