Sachverhalt:
A.
A.a. A._ (Beschwerdeführer 1) und B._ (Beschwerdeführer 2) sind seit dem 11. Januar 2016 Mieter einer 3.5-Zimmer-Wohnung an der Strasse U._ in V._ (Gemeinde W._). Mit Mietvertrag vom 17./19. November 2015 ist ein Mietzins von monatlich Fr. 915.-- sowie eine Kündigungsfrist von drei Monaten "ohne Beachtung von Kündigungsterminen" vereinbart worden.
Am 25. Januar 2016 übermittelten die beiden Mieter C._ (Vermieter, Beschwerdegegner) eine Mängelliste. Mit Eingabe vom 17. Mai 2016 leiteten sie ein Schlichtungsverfahren bei der Schlichtungsbehörde für Mietsachen des Bezirks Albula ein. Sie beantragten darin namentlich, C._ sei zu verurteilen, die noch nicht beseitigten Mängel zu beheben sowie umgehend und dauerhaft eine Raumwärme von 20 Grad Celsius sicherzustellen. Dieses Verfahren setzten die Parteien (nach erfolgloser Schlichtung) unabhängig vom vorliegenden Prozess fort.
A.b. Am 18. Mai 2016 schickte C._ A._ ein E-Mail. Er beanstandete darin unter anderem, dass die Mieter den ganzen Tag wie auch in der Nacht "alle Lichter im Haus" brennen liessen, und er monierte Geschrei, das "bis auf die Strasse" dringe, "religiös-missionarische Tätigkeiten in öffentlichen Verkehrsmitteln", "primitive Aufführungen" vor Feriengästen und "Abfallsäcke ums Haus". Er habe die "Verdrehungen, Unwahrheiten und Drohungen langsam satt" und mache sich "berechtigte Sorgen um den Ruf" seines Namens und seines Hauses. Er stellte den Mietern die Beendigung des Mietverhältnisses in Aussicht, sollten sie sich nicht anpassen.
Mit amtlichem Formular vom 23. Mai 2016 kündigte C._ das Mietverhältnis per 31. August 2016. Zur Begründung verwies er auf ein Begleitschreiben sowie auf das E-Mail vom 18. Mai 2016.
B.
A._ und B._ fochten die Kündigung bei der Schlichtungsbehörde für Mietsachen des Bezirks Albula an. Sie stellten sich auf den Standpunkt, die Kündigung sei "missbräuchlich". Anlässlich der Schlichtungsverhandlung wurde keine Einigung erzielt. Am 31. August 2016 reichten sie Klage beim Bezirksgericht Albula (seit dem 1. Januar 2017: Regionalgericht Albula) ein und beantragten sinngemäss, die Kündigung sei als ungültig aufzuheben. Im Eventualstandpunkt begehrten sie die Erstreckung des Mietverhältnisses.
Mit Entscheid vom 13. Dezember 2018 hiess das Regionalgericht die Klage im Eventualantrag gut und erstreckte das Mietverhältnis einmalig bis zum 30. September 2019. Im Hauptantrag wies es die Klage ab.
Die dagegen gerichtete Berufung von A._ und B._ wies das Kantonsgericht von Graubünden mit Urteil vom 7. Februar 2020 ab, soweit es darauf eintrat.
C.
A._ und B._ verlangen mit Beschwerde in Zivilsachen, die Kündigung vom 23. Mai 2016 sei aufzuheben. Eventualiter sei die Sache "zur nochmaligen Beurteilung" an die Vorinstanz zurückzuweisen. Subeventualiter sei das Mietverhältnis bis zum 30. September 2021 zu erstrecken. Ausserdem ersuchen sie um Erteilung der aufschiebenden Wirkung und - mit separatem Gesuch - um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren.
Mit Präsidialverfügung vom 20. April 2020 wurde der Beschwerde mangels Opposition die aufschiebende Wirkung erteilt.
In der Sache wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Das angefochtene Urteil des Kantonsgerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Weiter erreicht der Streitwert den nach <ref-law> in mietrechtlichen Fällen geltenden Mindestbetrag von Fr. 15'000.--.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
2.3. Soweit die Parteien die vorinstanzliche Beweiswürdigung kritisieren, ist zu beachten, dass das Bundesgericht in diese nur eingreift, wenn sie willkürlich ist. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern bloss, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1; <ref-ruling> E. 2.1; je mit Hinweisen). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.1; <ref-ruling> E. 4.2.1). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234; <ref-ruling> E. 4.2). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE <ref-ruling> E. 2.2). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 2b).
2.4. Zu beachten ist ferner, dass der Beweisführungsanspruch nach <ref-law>, <ref-law> beziehungsweise <ref-law> zwar der beweispflichtigen Partei in allen bundesrechtlichen Zivilrechtsstreitigkeiten einen Anspruch darauf verschafft, für rechtserhebliche Vorbringen zum Beweis zugelassen zu werden, soweit entsprechende Anträge im kantonalen Verfahren form- und fristgerecht gestellt worden sind (vgl. <ref-ruling> E. 9.3.2 S. 332; <ref-ruling> E. 7.1; je mit Hinweisen). Diese Bestimmungen schreiben jedoch dem Gericht nicht vor, mit welchen Mitteln es den Sachverhalt abzuklären hat (vgl. <ref-ruling> E. 2a S. 291 mit Hinweis), und sie schliessen namentlich die antizipierte Beweiswürdigung nicht aus. Wenn ein Gericht darauf verzichtet, beantragte Beweise abzunehmen, weil es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde, ist der Beweisführungsanspruch nicht verletzt (<ref-ruling> E. 5.3; <ref-ruling> E. 5.3; <ref-ruling> E. 2.1; je mit Hinweisen).
Das Bundesgericht ordnet die antizipierte Beweiswürdigung, soweit seine Kognition betreffend, der Sachverhaltsfeststellung respektive Beweiswürdigung zu und greift in diese entsprechend nur ein, wenn sie willkürlich ist (<ref-ruling> E. 4.3.2 S. 376 mit Hinweis).
3.
Die Beschwerde genügt den eben dargestellten Anforderungen über weite Strecken nicht.
3.1. Das gilt zunächst in sachverhaltsmässiger Hinsicht. Die Beschwerdeführer schildern in langen Ausführungen frei ihre eigene Sicht des mietrechtlichen Streits der Parteien, und zwar sowohl unter dem Titel "Sachverhalt" als auch im Abschnitt "Rechtliches". Daraus schliessen sie an verschiedenen Stellen, die tatsächlichen Feststellungen der Vorinstanz seien "falsch", "unrichtig" oder entsprächen "nicht den Tatsachen". Sie nennen verschiedene Beweismittel, welche die Vorinstanz "übergangen" und "nicht richtig gewürdigt" habe, und führen aus, welche Erkenntnisse daraus hätten gezogen werden können. Damit erheben die Beschwerdeführer keine hinreichend begründete Willkürrüge (siehe Erwägung 2.2 f.).
Dies gilt insbesondere auch mit Bezug auf ihre Kritik, die Vorinstanzen hätten zu Unrecht in antizipierter Beweiswürdigung auf die Einvernahme verschiedener Zeugen verzichtet und damit "das rechtliche Gehör bzw. das Recht auf Beweis [...] in unzulässiger Weise abgeschnitten". Die Beschwerdeführer behaupten zwar, diese Personen hätten einen "sehr wichtigen Sachverhaltspunkt bezeugen können". Dass der vorinstanzliche Schluss, die Zeugeneinvernahmen vermöchten am Beweisergebnis ohnehin nichts zu ändern, indes offensichtlich unhaltbar wäre, wie die Beschwerdeführer vor Bundesgericht einzig rügen könnten (Erwägung 2.4), bringen sie aber nicht vor.
Es ist daher vollumfänglich vom Sachverhalt auszugehen, wie ihn die Vorinstanz festgestellt hat, und die Beschwerdeführer sind nicht zu hören, soweit sie ihre Argumentation auf ein Tatsachenfundament stützen, das in den Feststellungen im angefochtenen Urteil keine Grundlage findet.
3.2. Unter rechtlichen Gesichtspunkten ist zur Frage der Anfechtbarkeit der Kündigung was folgt zu bemerken:
3.2.1. Die Vorinstanz erwog, der Beschwerdegegner habe die Kündigung während eines mit dem Mietverhältnis zusammenhängenden Schlichtungsverfahrens ausgesprochen (siehe Sachverhalt lit. A.a). Die Kündigung sei daher gemäss <ref-law> grundsätzlich anfechtbar.
Diese Sperrfrist sei aber nach <ref-law> nicht anwendbar bei Kündigungen aus wichtigen Gründen im Sinne von <ref-law>. Zwar habe der Beschwerdegegner am 23. Mai 2016 "ordentlich" per 31. August 2016 gekündigt. Die Kündigungssperrfrist werde indes auch dann durchbrochen, wenn die entsprechenden Voraussetzungen der ausserordentlichen Kündigung gemäss <ref-law> gegeben seien, der Vermieter aber nicht von seinem Recht zur ausserordentlichen Vertragsauflösung Gebrauch mache, sondern unter Einhaltung der ordentlichen Fristen kündige. Indes müsse - so sei einzig vorausgesetzt - der Mieter der Kündigung entnehmen können, dass es sich nicht um eine ordentliche Kündigung handle, sondern der Vermieter den Vertrag aus wichtigen Gründen beenden wolle. Gegebenenfalls sei die Kündigungserklärung nach dem Vertrauensprinzip auszulegen.
Diese Erwägungen beanstanden die Beschwerdeführer nicht (siehe im Übrigen - neben dem von der Vorinstanz zitierten Urteil 4C.202/1994 vom 3. Oktober 1995, auszugsweise publiziert in MRA 1996 S. 226 ff. und in mp 1996 S. 10 ff., E. 2b/aa - etwa Urteile 4A_531/2014 vom 20. Januar 2015 E. 2.2; 4A_594/2010 vom 12. Januar 2011 E. 2.3; 4C.324/2002 vom 3. März 2003 E. 3.2).
3.2.2. In der Folge kam die Vorinstanz unter eingehender Auslegung des Begleitschreibens zur Kündigung vom 23. Mai 2016 und des E-Mails vom 18. Mai 2016 zum Ergebnis, die Beschwerdeführer hätten in guten Treuen erkennen müssen, dass der Beschwerdegegner den Mietvertrag aus wichtigen Gründen habe auflösen wollen.
Somit sei - so die Vorinstanz weiter - in einem zweiten Schritt zu prüfen, ob im Kündigungszeitpunkt tatsächlich "wichtige Gründe" im Sinne von <ref-law> vorgelegen hätten. Sie bejahte dies mit Hinweis auf die von den Beschwerdeführern verursachten "Lärm-, Licht- und Geruchsimmissionen", das "heftige[] Zerwürfnis" zwischen den verschiedenen Mietparteien und "Differenzen zwischen Mieter- und Vermieterschaft". Insgesamt ergebe sich das Bild eines "untragbaren Mietverhältnisses", wobei das Verhalten der Beschwerdeführer derart schwer wiege, dass dem Beschwerdegegner objektiv und subjektiv eine Fortsetzung des Mietverhältnisses nicht mehr zumutbar gewesen sei. Trotz des (damals) pendenten Schlichtungsverfahrens erweise sich die Kündigung folglich als nicht anfechtbar, da sie zu Recht aus wichtigen Gründen im Sinne von <ref-law> erfolgt sei. Das Vorliegen von "diskriminierenden Kündigungsmotiven" oder einer unzulässigen "Rachekündigung" falle entgegen der Auffassung der Beschwerdeführer ausser Betracht.
3.2.3. Die Beschwerdeführer legen ihrer dagegen erhobenen Kritik über weite Strecken ihre eigene - im bundesgerichtlichen Verfahren jedoch nicht massgebende - Sachverhaltsdarstellung zugrunde und stellen den vorinstanzlichen Erwägungen ihre eigene Interpretation der Vorgänge gegenüber.
So behaupten sie etwa, der Beschwerdegegner habe wegen der "Invalidität der Mieter" oder - an anderer Stelle - "aufgrund der Einleitung des Schlichtungsverfahrens" oder dann "aufgrund ihrer Aufforderung zum Einbau des Kühlschranks" gekündigt. Die Beschwerdeführer legen weiter über fünf Seiten dar, inwiefern die vom Beschwerdegegner im E-Mail vom 18. Mai 2016 formulierten Vorwürfe nicht zuträfen. Damit widerlegen sie indes den vorinstanzlichen Schluss nicht, wonach sie der Kündigungserklärung entnehmen konnten, dass der Beschwerdegegner den Mietvertrag aus wichtigen Gründen auflösen wollte.
Auch wenn die Beschwerdeführer sodann ausführen, "weshalb das Vorliegen eines wichtigen Grundes für die Kündigung zu verneinen" sei, beschränken sie sich darauf, die Vorfälle zwischen den Parteien aus ihrer Sicht zu beschreiben und wiederholt darauf hinzuweisen, dass die Geschehnisse vom Kantonsgericht "falsch gewürdigt" worden seien. Inwiefern die Vorinstanz das Bestehen wichtiger Kündigungsgründe im Sinne von <ref-law> gestützt auf den von ihr festgestellten Sachverhalt zu Unrecht bejahte, tun die Beschwerdeführer hingegen nicht dar. Daran ändert auch nichts, wenn sie - wiederum losgelöst vom für das Bundesgericht verbindlichen Sachverhalt - ausführen, der Beschwerdegegner habe durch "langes Zuwarten" sein ausserordentliches Kündigungsrecht verwirkt und trage dadurch, dass er die "berechtigt angezeigten Mängel" nicht behoben habe, ein " (Teil-) Verschulden" an der Kündigung.
3.2.4. Der Beschwerde ist im Wesentlichen die rechtliche Kritik zu entnehmen, die Vorinstanz habe es zu Unrecht als unerheblich erachtet, dass der übermässige Lärm auf eine psychische Störung des Beschwerdeführers 2 zurückzuführen sei. Die Ausführungen des Kantonsgerichts würden eine "Frage von grundsätzlicher Bedeutung" aufwerfen, wobei die Beschwerdeführer nicht präzisieren, worin diese genau bestehen soll. Jedenfalls zeigen sie nicht auf, inwiefern der Umstand, dass die Lärmimmissionen durch eine psychische Störung des Beschwerdeführers 2 verursacht worden seien, an der Unzumutbarkeit der Fortführung des Mietverhältnisses für den Beschwerdegegner etwas ändern würde (siehe auch Urteile 4A_2/2017 vom 4. September 2017 E. 3.2; 4A_263/2011 vom 20. September 2011 E. 3.4; je zu <ref-law>).
Nicht zu beanstanden ist ferner, wenn die Vorinstanz ausführte, dass der Grund für die in <ref-law> vorausgesetzte Unzumutbarkeit der Weiterführung des Mietvertrags (auch) in mangelnder Sorgfalt und Rücksichtnahme im Sinne von <ref-law> liegen könne. Zwar ist der Kündigungstatbestand gemäss <ref-law> grundsätzlich subsidiär und ist bei mangelnder Sorgfalt und Rücksichtnahme unter Vorbehalt vorsätzlicher schwerer Schädigung nach <ref-law> vorzugehen. Nach der bundesgerichtlichen Rechtsprechung können aber insbesondere stets wiederholte, für sich genommen nicht hinreichende, aber in der Wiederholung trotz Abmahnung als schwerwiegend erscheinende Vertragsverletzungen dazu führen, dass der anderen Vertragspartei die Fortführung des Vertrags bis zur ordentlichen Beendigung nicht zuzumuten ist (Urteile 4A_269/2015 vom 2. November 2015 E. 5.1; 4A_162/2014 vom 26. August 2014 E. 2.6.1; 4C.395/2006 vom 23. Januar 2007 E. 3).
3.2.5. Soweit die Beschwerdeführer in Rz. 36 ihrer Beschwerde sinngemäss eine Verletzung ihres Anspruchs auf rechtliches Gehör monieren, bleibt mit Blick auf Erwägung 7.6.4 des angefochtenen Urteils unklar, mit welchen Rügen sich die Vorinstanz "unzulässigerweise nicht beschäftigt" haben soll.
3.2.6. Insoweit hält das angefochtene Urteil, in welchem im Ergebnis die Anfechtbarkeit der Kündigung vom 23. Mai 2016 verneint wird, der bundesgerichtlichen Überprüfung stand.
3.3. Hinsichtlich des Eventualbegehrens, mit dem die Beschwerdeführer eine Erstreckung des Mietverhältnisses verlangen, verhält es sich wie folgt:
3.3.1. Das Regionalgericht hielt fest, unter Berücksichtigung der gegenläufigen Interessen der Parteien rechtfertige sich eine Erstreckung um sechs Monate bis zum 30. September 2019. Das Kantonsgericht trat auf die Berufung nicht ein, soweit sie sich gegen diesen Teil des erstinstanzlichen Entscheids richtete. Es erwog, aus der Berufungsbegründung gehe nicht hervor, was am Entscheid des Regionalgerichts diesbezüglich falsch sein soll. Die Beschwerdeführer hätten es unterlassen, sich argumentativ mit den entsprechenden erstinstanzlichen Erwägungen auseinanderzusetzen, und seien folglich ihrer Begründungsobliegenheit im Berufungsverfahren nicht nachgekommen.
3.3.2. An diesen Erwägungen gehen die Beschwerdeführer vorbei, wenn sie (erst) vor Bundesgericht einlässlich darlegen, aus welchen Gründen ihre Suchbemühungen "sehr stark erschwert" seien und weshalb eine längere Erstreckung "angemessen" erscheine. Dass sie hingegen ihre Berufung hinreichend begründet hätten (vgl. <ref-law> und hierzu <ref-ruling> E. 2.3.3), machen sie nicht geltend. Das Kantonsgericht war als Rechtsmittelinstanz nicht gehalten, den regionalgerichtlichen Erstreckungsentscheid ohne hinlängliche Berufungsbegründung von Amtes wegen zu prüfen, woran <ref-law> nichts ändert (siehe Urteile 4A_411/2017, 4A_333/2019 vom 21. Februar 2020 E. 4.4; 4A_488/2018 vom 20. Februar 2019 E. 6.2). Auch in diesem Punkt ist eine Rechtsverletzung nicht dargetan.
4.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann.
Dem Gesuch der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren kann nicht entsprochen werden, da die Beschwerde aussichtslos ist (siehe <ref-law>). Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten in solidarischer Haftbarkeit den Beschwerdeführern aufzuerlegen (vgl. Art. 66 Abs. 1 und 5 BGG). Dem Beschwerdegegner, der sich nur zum Gesuch um aufschiebende Wirkung zu äussern hatte und dagegen keine Einwände erhob, ist kein zu entschädigender Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch um Gewährung der unentgeltlichen Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 19. Mai 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Stähle