Sachverhalt:
A.
Am 22. August 2011 schlossen A.A._ (Klägerin, Beschwerdeführerin) als Mieterin und die D._ AG als Ver mieterin einen Mietvertrag für ein Reiheneinfamilienhaus ab. B.A._ (Kläger, Beschwerdeführer) unterschrieb den Vertrag unter der Bezeichnung "Ehepartner" ebenfalls. C._ (Beklagter, Beschwerdegegner) trat später anstelle der D._ AG als Vermieter in den Mietvertrag ein. Zwischen den Mietparteien kam es zu diversen das Mietverhältnis betreffenden Gerichtsverfahren.
B.
B.a. Am 24. November 2017 reichten die Kläger beim Einzelrichter des Kreisgerichts See-Gaster Klage ein mit dem Begehren, die Kündigungen des Mietvertrages vom 18. Juli, 14. August und 6. September 2017 seien für unwirksam zu erklären, eventualiter sei das Mietverhältnis längstmöglich zu erstrecken. Mit Eingabe vom 28. Dezember 2017 erweiterten die Kläger ihre Klage auf die Kündigung vom 13. Dezember 2017. Mit Entscheid vom 17. April 2018 hob der Einzelrichter alle vier Kündigungen auf. Er kam im Wesentlichen zum Schluss, hinsichtlich der Kündigungen vom 18. Juli, 14. August und 6. September 2017 fehle es jeweils an einer rechtzeitigen formgültigen schriftlichen Mahnung, und die der Kündigung vom 13. Dezember 2017 vorangegangenen Mahnungen seien infolge anderweitiger Information durch den Beklagten obsolet geworden.
Am 10. November 2018 reichten die Kläger beim Einzelrichter am gleichen Kreisgericht gegen die Kündigungen vom 9. Juli und 21. September 2018 Klage ein. Sie begehrten, die Kündigungen seien für unwirksam zu erklären, eventualiter sei das Mietverhältnis längstmöglich zu erstrecken. Mit Entscheid vom 13. März 2019 wies der Einzelrichter die Klage ab. Er kam zum Schluss, die Kündigungen vom 9. Juli und vom 21. September 2018 seien gültig erfolgt und gemäss Art. 272a lit. a und b OR sei eine Mieterstreckung ausgeschlossen.
B.b. Gegen den Entscheid des Einzelrichters vom 17. April 2018 erhob der Beklagte Berufung an das Kantonsgericht St. Gallen. Am 31. Mai 2019 erhoben die Kläger ihrerseits beim Kantonsgericht Berufung mit dem Antrag, es sei der Entscheid des Einzelrichters vom 13. März 2019 aufzuheben und ihre Klage gutzuheissen.
Am 24. September 2019 vereinigte die verfahrensleitende Kantonsrichterin die beiden Berufungsverfahren. Mit Entscheid vom 11. Mai 2020 erwog das Kantonsgericht, im Berufungsverfahren stünden sechs zwischen dem 18. Juli 2017 und 21. September 2018 ausgesprochene Kündigungen zur Debatte, wobei die Erstinstanz die letzten zwei als gültig erachtet habe, die vier früheren hingegen nicht. Das Kantonsgericht kam zum Schluss, dass die Kündigung vom 9. Juli 2018 per Ende Oktober 2018 gültig erfolgte. Ob die am 21. September 2018 ebenfalls per 31. Oktober 2018 ausgesprochene Kündigung begründet gewesen sei, könne bei diesem Ergebnis dahingestellt bleiben. Ebenso könne dahingestellt bleiben, ob die vier Kündigungen vom 18. Juli, 14. August, 6. September und 13. Dezember 2017, die auf frühere Termine erfolgten, gültig gewesen seien. Damit sei die Be rufung der Kläger gegen den Entscheid vom 13. März 2019 abzuweisen und zufolge gültiger Kündigung des Mietverhältnisses sei dieses per 31. Oktober 2018 beendet. Die Berufung des Beklagten gegen den Entscheid vom 17. April 2018 werde wegen des weggefallenen Rechtsschutzinteresses gegenstandslos und sei abzuschreiben, unter Vorbehalt, dass es auch im Fall einer Anfechtung des vorliegenden Entscheids an das Bundesgericht bei einer Abweisung der Berufung der Kläger gegen den Entscheid vom 13. März 2019 bleibe.
C.
Dagegen erhoben die Beschwerdeführer Beschwerde in Zivilsachen an das Bundesgericht. Sie beantragten, der Entscheid des Kantonsgerichts sei aufzuheben und die Sache sei an die Vorinstanz zurückzuweisen.
Am 6. Juli 2020 reichten die Beschwerdeführer dem Bundesgericht eine weitere Eingabe ein. Mit Schreiben vom 24. August 2020 erkundigten sie sich über den Verfahrensstand. Darauf wurde ihnen mit Schreiben vom 26. August 2020 geantwortet.
Auf das Einholen von Vernehmlassungen zur Beschwerde wurde verzichtet.

Erwägungen:
1.
1.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
1.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.
Die Beschwerdeführer reichten mit der nachträglichen Eingabe vom 6. Juli 2020 dem Bundesgericht zwei Anklageschriften der Staats- und Jugendanwaltschaft des Kantons Glarus vom 2. Juli 2020 ein. Diese Anklageschriften können nicht berücksichtigt werden, denn das Vorbringen von Tatsachen, die sich erst nach dem angefochtenen Entscheid vom 11. Mai 2020 ereigneten oder entstanden (echte Noven), ist vor Bundesgericht unzulässig (<ref-ruling> E. 1.2 S. 23; <ref-ruling> E. 3.1.2).
3.
3.1. Die Beschwerdeführer monieren unter dem Titel "Gesuch auf Rücküberweisung", die in ihrer Beschwerdeschrift gerügten vorinstanzlichen Erwägungen müssten in Bezug auf die offensichtlich unzutreffenden Sachverhalte sowie in Bezug auf die fehlerhaft beurteilten Normen und Rechtsfragen, jeweils für sich betrachtet, als unrichtig eingeschätzt werden. Die Gesamtwürdigung aller Begründungen und Verletzungen von Rechten der Beschwerdeführer scheine jedoch auf eine fehlende Neutralität zu deuten, so dass es nicht auszuschliessen sei, dass am Verfahren beteiligte Personen aufgrund von Umständen, die ausserhalb des Verfahrens lägen, ohne substanziellen Rechtsgrund zu Gunsten des Beschwerdegegners eingewirkt hätten. Aufgrund der Vorbefassung werde Rückweisung an ein anderes Gericht ersucht.
3.2. Die Beschwerdeführer rügen damit sinngemäss eine Verletzung der Ausstandsvorschriften durch die zweitinstanzlichen Richter. Sie begründen diesen Vorwurf jedoch offensichtlich nicht hinreichend (Erwägung 1.1), indem sie ohne weitere Begründung darüber spekulieren, dass unzulässigerweise auf den vorinstanzlichen Entscheid eingewirkt worden sei und die "Gesamtwürdigung" des vorinstanzlichen Entscheids auf eine "fehlende Neutralität" der Vorinstanz hindeute. Darauf ist nicht einzutreten.
Nur der Vollständigkeit halber sei ergänzt, dass die Beschwerdeführer die fehlende Neutralität offenbar daraus herleiten wollen, dass der vorinstanzliche Entscheid ihrer eigenen - im übrigen unzutreffenden (dazu unten Erwägung 5) - Rechtsvorstellung widerspricht. Richterliche Verfahrensfehler und Fehlentscheide sind mit den dafür vorgesehenen Rechtsmitteln zu rügen. Sie sind grundsätzlich nicht geeignet, zusätzlich den objektiven Anschein von Befangenheit im Sinn von <ref-law> oder allgemein im Sinn von <ref-law> zu erwecken. Das kann nur ganz ausnahmsweise der Fall sein, wenn besonders krasse oder wiederholte Irrtümer vorliegen, die als schwere Verletzung der Richterpflichten bewertet werden müssen, und sich in den Rechtsfehlern eine Haltung manifestiert, die objektiv auf fehlende Distanz und Neutralität schliessen lässt (<ref-ruling> E. 3a S. 138; <ref-ruling> E. 3b; Urteil 5A_308/2020 vom 20. Mai 2020 E. 2 mit weiteren Hinweisen). Inwiefern das vorliegend der Fall sein sollte, ist nicht ersichtlich.
4.
Die Vorinstanz erwog zunächst, entgegen der Ansicht der Beschwerdeführer sei der Rechtsanwalt des Beschwerdegegners offensichtlich ermächtigt gewesen, die Kündigungen vom 9. Juli und 21. September 2018 auszusprechen, und dass das Vertretungsverhältnis für die Beschwerdeführer bei Empfang der Kündigung auch klar erkennbar gewesen sei. Die Vorinstanz bekräftigte sodann den Entscheid der Erstinstanz, wonach die Kündigung des Mietvertrages vom 9. Juli 2018 per Ende Oktober 2018 gültig erfolgte. Die Beschwerdeführer hätten im Zusammenhang mit dem Ersatz des Bodenbelags im Büroraum im Untergeschoss ihres Mietshauses ihre Duldungs- und Sorgfaltspflicht verletzt, sodass der Beschwerdegegner das Mietverhältnis gestützt auf <ref-law> habe ausserordentlich kündigen können. Im Weiteren sei der Kündigungsgrund für eine Kündigung aus wichtigen Gründen im Sinne von <ref-law> erfüllt.
Die Vorinstanz begründet ihren Entscheid zusammengefasst wie folgt: Der Beschwerdegegner habe den Beschwerdeführern die Erneuerung des Bodenbelags im Büroraum durch Verlegung eines Plattenbodens entgegen der Ansicht der Beschwerdeführer frühzeitig angekündigt. Im Übrigen erscheine es auch als treuwidrig, wenn die Beschwerdeführer [die im angefochtenen Entscheid ausführlich dargelegten] Umstände ausblendeten und dem Sinn nach den Standpunkt vertreten würden, die Verlegung des Plattenbelags sei ihnen erstmals mit dem Brief vom 18. Mai 2018 angekündigt worden. Mit der Erstinstanz sei sodann davon auszugehen, dass die vom Beschwerdegegner beabsichtigte Einbringung eines Feinsteinzeugbodens im Büroraum im Untergeschoss wohl nicht mehr als blosse Mängelbeseitigung im Sinne von <ref-law>, sondern als Erneuerung im Sinne von <ref-law> zu qualifizieren sei. Die Beschwerdeführer würden dabei verkennen, dass auch bei einer Erneuerung (sofern sie gemäss <ref-law> zulässig sei) eine Duldungs- und Mitwirkungspflicht des Mieters bestehe, die inhaltlich jener bei Mängelbehebungsarbeiten entspreche, und dass deren Verletzung ebenfalls einer Sorgfaltspflichtverletzung gleichkommen könne, die den Vermieter unter Umständen gestützt auf <ref-law> zur Kündigung berechtige.
Wie sodann dem Sinn nach schon die Erstinstanz zutreffend erwogen habe, sei das Mietverhältnis zur fraglichen Zeit nicht ordentlich gekündigt gewesen. Der Erstinstanz sei auch insoweit zuzustimmen, dass den Beschwerdeführern die hier zur Debatte stehende Erneuerung des Bodensbelags mittels Verlegung eines Feinsteinzeugbodens objektiv zumutbar sei und dem insbesondere auch die bei der Wohnungsübergabe getroffene Abrede nicht entgegenstehe, wonach auf Wunsch der Beschwerdeführer im Keller Laminat verlegt werde. Es lägen keine Anhaltspunkte vor, dass damit auch vereinbart werden sollte, die Mieterschaft habe während des gesamten Mietverhältnisses - und namentlich auch im Falle einer allfälligen späteren Sanierung - Anspruch darauf, dass der fragliche Raum mit einem Laminatboden zu versehen sei, oder dass die Beschwerdeführer solches auch nur in guten Treuen hätten annehmen dürfen. Weiter könne dem Beschwerdegegner - worin der Erstinstanz ebenfalls zuzustimmen sei - entgegen der Ansicht der Beschwerdeführer nicht vorgehalten werden, er habe im Hinblick auf die auszuführenden Arbeiten und namentlich deren Terminierung das Gebot der Rücksichtnahme verletzt. Im Übrigen habe die Erstinstanz zutreffend dargelegt, dass der Beschwerdegegner die Kläger ab dem 18. Mai 2018 mehrmals um Terminvorschläge ersucht habe, dass diese in Verletzung ihrer Duldungs- und Mitwirkungspflicht respektive der Pflicht zur Sorgfalt und Rücksichtnahme nicht (sachgemäss) darauf reagiert hätten, dass der Beschwerdegegner die Beschwerdeführer in diesem Zusammenhang ebenfalls mehrmals mit Hinweis auf ihre Duldungspflicht, bei deren Verletzung die ausserordentliche Kündigung drohe, abgemahnt habe und diesen somit bewusst gewesen sein müsse, dass sie gegebenenfalls die ausserordentliche Kündigung riskieren würden. Der Beschwerdegegner habe den Ausführungstermin unter den gegebenen Umständen letztlich selbst bestimmen dürfen. Die Beschwerdeführer hätten ihre Duldungs- und Sorgfaltspflicht weiter verletzt, als sie den Handwerkern am 9. Juli 2018 den Zugang zur Liegenschaft verwehrten.
Dem Beschwerdegegner sei aufgrund der vorgenannten Umstände die Fortsetzung des Mietverhältnisses bis zum nächsten ordentlichen Kündigungstermin nicht zumutbar gewesen. Vorliegend komme hinzu, dass die Beschwerdeführer ja selbst eindringlich - unter anderem auch auf dem Rechtsweg - auf die Instandsetzung respektive den Ersatz des Bodenbelags im Büroraum hingewirkt hatten, was ihr Verhalten nicht nur umso unverständlicher mache, sondern dieses auch als offensichtlich schikanös erscheinen lasse. Im Übrigen folge aus dem Gesagten auch, dass die Voraussetzungen für eine Kündigung aus wichtigen Gründen im Sinne von <ref-law> ebenfalls erfüllt seien. Entgegen der Ansicht der Beschwerdeführer könne keine Rede davon sein, dass der Beschwerdegegner die Kündigung aus Rache und damit missbräuchlich ausgesprochen habe. Das bedürfe vor dem Hintergrund der hiervor dargelegten Umstände - der Beschwerdegegner sei augenscheinlich bemüht gewesen, seinen Vermieterpflichten unter bestmöglicher Rücksichtnahme auf die Bedürfnisse der Beschwerdeführer nachzukommen, worin Letztere ihn schikanös gehindert hätten - keine nähere Erörterung. Wie schliesslich schon die Erstinstanz zutreffend erwogen habe, habe der Beschwerdegegner bei der Kündigung vom 9. Juli 2018 die Formvorschriften gewahrt. Er habe sowohl die dreissigtätige Frist gemäss <ref-law> wie auch die Frist von drei Monaten gemäss Art. 266g Abs. 1 i.V.m. <ref-law> eingehalten, womit die Kündigung per Ende Oktober 2018 gültig erfolgt sei.
5.
5.1. Dagegen beharren die Beschwerdeführer auf ihrer bereits vor der Vorinstanz vorgetragenen Argumentation, wonach es am Nachweis einer wirksamen Vollmachtserteilung zugunsten des Rechtsanwalts des Beschwerdegegners fehle und die Kündigung daher nichtig sei. Sie wiederholen im Weiteren ihren Standpunkt, dass es sich bei der Kündigung des Beschwerdegegners um eine "Vergeltungs- oder Rachekündigung" handle, sie die Duldungspflicht nicht verletzt hätten und es keinen wichtigen Kündigungsgrund nach <ref-law> gebe. Sie bringen sodann nochmals vor, dass ihnen die Verlegung des Plattenbodens nicht rechtzeitig angekündigt worden sei, die Verlegung von Steinplatten der Vereinbarung im Wohnungsabnahmeprotokoll widerspreche, die Verlegung schwarzer Platten nicht zumutbar sei und es an einem ungekündigten Mietverhältnis fehle. Die Vorinstanz habe dabei den Sachverhalt offensichtlich unrichtig festgestellt, die Beweismittel willkürlich gewürdigt, ihren Anspruch auf rechtliches Gehör und auf ein faires Verfahren, das Recht auf Beweis und die richterliche Fragepflicht verletzt. Sodann habe die Vorinstanz gegen die Bestimmungen von <ref-law>, <ref-law>, <ref-law>, <ref-law>, <ref-law>, <ref-law>, <ref-law>, <ref-law>, <ref-law> und <ref-law> verstossen sowie willkürlich geurteilt.
5.2. Diese Vorbringen der Beschwerdeführer gegen den Entscheid der Vorinstanz sind offensichtlich unbegründet.
Die Vorinstanz ging im angefochtenen Entscheid bereits eingehend auf die verschiedenen von den Beschwerdeführern vorgebrachten Einwände ein und widerlegte diese in ihrem ausführlich und sorgfältig begründeten, 36-seitigen Entscheid im Einzelnen. Die Vorinstanz hat schlüssig begründet, warum der Rechtsanwalt des Beschwerdegegners ermächtigt gewesen sei, die Kündigung vom 9. Juli 2018 auszusprechen. Sie legte anschliessend überzeugend dar, warum keine missbräuchliche Rachekündigung vorliege und die Beschwerdeführer durch ihr wiederholtes schikanöses Verhalten im Zusammenhang mit dem Ersatz des Bodenbelags ihre Duldungs- bzw. Sorgfaltspflicht verletzten und daher der Beschwerdegegner nach <ref-law> das Mietverhältnis habe ausserordentlich kündigen können. Diese Erwägungen sind nicht zu beanstanden und darauf kann integral verwiesen werden (<ref-law>). Ob darüberhinaus ein wichtiger Grund nach <ref-law> für die Kündigung vorläge, braucht bei dieser Sachlage nicht beurteilt zu werden.
6.
Die Beschwerde ist nach dem Ausgeführten im Verfahren nach <ref-law> mit summarischer Begründung abzuweisen, soweit darauf überhaupt eingetreten werden kann.
Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer in solidarischer Haftung kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Der Beschwerdegegner hat keinen Anspruch auf eine Parteientschädigung, da ihm aus dem bundesgerichtlichen Verfahren kein Aufwand erwachsen ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern in solidarischer Haftung auferlegt.
3.
Dieses Urteil wird den Parteien und dem Kantonsgericht St. Gallen, III. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 14. September 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger