Sachverhalt:
A.
A.a. Im Jahr 2011 planten A.A._ und B.A._ (Bauherren, Beschwerdeführer) den teilweisen Neubau eines Mehrfamilienhauses auf dem in der Gemeinde U._ gelegenen und im Grundbuch unter Nr. xxx eingetragenen Grundstück. Da eines der bestehenden Gebäude unmittelbar an die Kantonsstrasse angrenzte, eröffnete sich den Bauherren die Möglichkeit, auch beim Neubau von den ansonsten geltenden kantonalen Strassenabstandsvorschriften abzusehen. Dies aber unter der vom kantonalen Tiefbauamt gestellten Bedingung, dass während den Bauarbeiten das komplette Erdgeschoss des bestehenden Bauwerks, welches den zulässigen Mindestabstand zur Strasse bereits unterschritt, intakt belassen würde.
A.b. Im Verlauf des Jahres 2011 begannen die Bauherren mit dem Teilabbruch der alten Gebäude. Sie brachen dabei alle Bauteile bis auf die Grundmauern ab. Durch ein von den Bauherren provisorisch errichtetes Dach geschützt, blieben diese den folgenden Winter 2011/ 2012 hindurch stehen.
A.c. Am 12. Januar 2012 unterzeichneten die Bauherren einen Vertrag für Architekturleistungen mit der C._ AG (Architektin, Beschwerdegegnerin). Darin wurde der Architektin unter anderem die Bauleitung über das Projekt übertragen.
A.d. Zu Beginn des Jahres 2012, nach der Winterpause, begannen die eigentlichen Bauarbeiten. Während dieser brach ein mit den Abbrucharbeiten beauftragtes Bauunternehmen die vom früheren, an die Kantonsstrasse grenzenden, Gebäude übrig gebliebenen Grundmauern ab. Kurz darauf informierte das Tiefbauamt Graubünden die Gemeinde U._ über den Abbruch, welche daraufhin wegen Verletzung der Baubewilligung einen sofortigen Baustopp verfügte. Die Neuerteilung einer Baubewilligung machte sie davon abhängig, dass das Gebäude strassenseitig zurückversetzt werde, damit der Strassenabstand eingehalten werde.
A.e. Die Bauherren schlossen daraufhin mit der Architektin einen weiteren Vertrag betreffend die notwendigen Projektänderungen unter Berücksichtigung des Strassenabstands. Nachdem die Gemeinde U._ die Projektänderung bewilligt hatte, wurden die Bauarbeiten wieder aufgenommen. Trotz längerer Bauzeit als geplant, war der Neubau zum ursprünglich vereinbarten Bezugstermin fertiggestellt.
A.f. In der Folge gerieten die Bauherren mit der Architektin in einen Streit über die Vergütung der Architekturleistungen. Die Architektin forderte von den Bauherren nach Abzug der Vorauszahlungen ein Resthonorar von rund Fr. 140'000.--, davon knapp Fr. 100'000.-- als Restbetrag des ursprünglich vereinbarten Pauschalhonorars und gut Fr. 40'000.-- als zusätzliche Vergütung für die unvorhergesehenen Projektänderungen. Die Bauherren sahen in den Architekten die Verantwortlichen für den Abbruch der Grundmauern und damit für die Pflicht, das Gebäude von der Strasse zurückzuversetzen und die Planung des Projekts abzuändern. Die Architektin habe daher nicht nur kein Honorar mehr zugute, sondern sollte darüber hinaus Schadenersatz leisten für die zusätzlichen Kosten der verlängerten Bauphase und für die im Vergleich zum geplanten Projekt verkleinerte Gebäudefläche. Insgesamt forderten die Bauherren von der Architektin einen Betrag von knapp Fr. 300'000.--.
B.
B.a. Nachdem an der Schlichtungsverhandlung vom 12. Juni 2015 keine Einigung erzielt werden konnte, reichte die Architektin gegen die Bauherren beim damaligen Bezirksgericht Prättigau/Davos (nunmehr Regionalgericht Prättigau/Davos) Klage ein. Sie verlangte die Bezahlung von Fr. 142'388.80 zuzüglich Zins unter solidarischer Haftbarkeit. Die Bauherren forderten ihrerseits widerklageweise Fr. 294'721.65 zuzüglich Zins. Das Bezirksgericht erachtete die Forderung der Architektin zufolge fehlender Bestreitung als vollumfänglich ausgewiesen, die widerklageweise geltend gemachte Schadenersatzforderung demgegenüber bloss in der Höhe von Fr. 144'721.40. Es verrechnete die beiden zugesprochenen Beträge, wies die Klage ab, hiess die Widerklage im Differenzbetrag von Fr. 2'332.60 gut und wies sie im Mehrbetrag ab.
B.b. Dagegen erhob die Architektin am 3. Juli 2017 Berufung beim Kantonsgericht von Graubünden und beantragte, den Entscheid des Regionalgerichts aufzuheben und die Bauherren unter solidarischer Haftbarkeit zur Bezahlung von Fr. 142'388.80 zuzüglich Zins zu verpflichten. Mit Urteil vom 26. März 2020 hiess das Kantonsgericht die Berufung gut, hob den angefochtenen Entscheid auf und verpflichtete die Bauherren, der Architektin Fr. 142'388.80 zuzüglich Zins seit dem 11. Mai 2014 zu bezahlen. Die Widerklage wies es ab.
Das Kantonsgericht hielt im Wesentlichen fest, der widerklageweise geltend gemachte Schadenersatzanspruch sei mangels Nachweises der Kausalität nicht erstellt. Es bestehe demnach keine verrechenbare Schadenersatzforderung der Bauherren, welche sie mit der unbestrittenen Honorarforderung der Architektin verrechnen könnten.
C.
Mit Beschwerde in Zivilsachen vom 19. Mai 2020 beantragen die Beschwerdeführer, das Urteil des Kantonsgerichts Graubünden kostenfällig aufzuheben und das Urteil des Regionalgerichts Prättigau/Davos zu bestätigen; eventualiter sei die Sache zur Neubeurteilung an das Kantonsgericht zurückzuweisen. Die Beschwerdegegnerin sowie die Vorinstanz beantragen, die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Die Parteien replizierten bzw. duplizierten unaufgefordert.

Erwägungen:
1.
1.1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2.1 S. 397).
1.2. Die Beschwerde betrifft eine Zivilsache (<ref-law>) und richtet sich gegen den Endentscheid (<ref-law>) eines oberen kantonalen Gerichts, das als Rechtsmittelinstanz entschieden hat (<ref-law>). Der Streitwert liegt über der erforderlichen Schwelle von Fr. 30'000.-- (<ref-law>) und die Beschwerde wurde fristgerecht eingereicht (<ref-law> i.V.m. Art. 1 der Verordnung vom 20. März 2020 über den Stillstand der Fristen in Zivil- und Verwaltungsverfahren zur Aufrechterhaltung der Justiz im Zusammenhang mit dem Coronavirus [SR 173.110.4]).
Auf die Beschwerde ist - unter Vorbehalt hinreichender Begründung (Art. 42 Abs. 2 und <ref-law>) - einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1 S. 245 f.). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
2.2.
2.2.1. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 S. 17 f. mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117, 264 E. 2.3 S. 266). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.2.2. Diese Grundsätze verkennen die Beschwerdeführer, wenn sie in ihrer Beschwerdeschrift an das Bundesgericht den Sachverhalt aus ihrer Sicht schildern, ohne substanziierte Rügen vorzutragen. Die entsprechenden Ausführungen haben unbeachtet zu bleiben. Massgebend bleibt der von der Vorinstanz festgestellte Sachverhalt.
2.3. Zu beachten ist, dass das Bundesgericht in die Beweiswürdigung des Sachgerichts nur eingreift, wenn diese willkürlich ist. Willkür liegt nach der Rechtsprechung nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern bloss, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 4.1 S. 566; <ref-ruling> E. 2.1 S. 18 f.; je mit Hinweisen). Die Beweiswürdigung ist mithin nicht schon dann willkürlich, wenn sie nicht mit der Darstellung der beschwerdeführenden Partei übereinstimmt, sondern bloss, wenn sie offensichtlich unhaltbar ist (<ref-ruling> E. 4.1 S. 566; <ref-ruling> E. 4.2.1 S. 362). Dies ist dann der Fall, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat (<ref-ruling> E. 2.3 S. 266; <ref-ruling> E. 4.2 S. 234). Inwiefern die Beweiswürdigung willkürlich sein soll, ist in der Beschwerde klar und detailliert aufzuzeigen (BGE <ref-ruling> E. 2.2 S. 246). Namentlich genügt es nicht, einzelne Beweise anzuführen, die anders als im angefochtenen Entscheid gewichtet werden sollen, und dem Bundesgericht in appellatorischer Kritik die eigene Auffassung zu unterbreiten, als ob diesem freie Sachverhaltsprüfung zukäme (vgl. <ref-ruling> E. 2.3 S. 266 f.; <ref-ruling> E. 2b S. 88).
3.
Umstritten ist, ob die Beschwerdegegnerin den zwischen ihr und den Beschwerdeführern geschlossenen Vertrag über Architekturleistungen vom 12. Januar 2012 verletzt hat und diesen daraus ein Schaden entstanden ist, auf dessen Ersatz sie Anspruch haben.
3.1. Kann die Erfüllung einer Verbindlichkeit überhaupt nicht oder nicht gehörig bewirkt werden, so hat der Schuldner nach der (allgemeinen) vertragsrechtlichen Haftungsnorm von <ref-law> für den daraus entstehenden Schaden Ersatz zu leisten, sofern er nicht beweist, dass ihm keinerlei Verschulden zur Last falle. Mithin bedarf es (i) einer Vertragsverletzung, (ii) eines Schadens, (iii) eines Kausalzusammenhangs zwischen der Vertragsverletzung und dem Schaden sowie (iv) des Verschuldens des Schuldners. Letzteres wird vermutet ("sofern er nicht beweist"), wobei dem Schuldner der Exkulpationsbeweis offensteht.
3.2.
3.2.1. Die Vorinstanz hielt fest, der erwähnte Architektenvertrag habe sowohl Leistungen mit werkvertraglichem Charakter (z.B. Planung) als auch solche auftragsrechtlicher Prägung (Bauleitung) zum Gegenstand gehabt. Je nachdem welche Leistung zur Diskussion stehe, richteten sich die Rechtsfolgen demzufolge entweder nach dem Werkvertrags- oder dem Auftragsrecht. Da die Haftung für die Verletzung von Bauleitungsaufgaben zu beurteilen sei, sei eine Prüfung nach dem Auftragsrecht vorzunehmen, weshalb die auftragsrechtliche Sorgfalts- und Treuepflicht von <ref-law> gelte.
3.2.2. Betreffend die Vertragsverletzung erwog die Vorinstanz, es sei unbestritten, dass der Beschwerdegegnerin mit Architektenvertrag vom 12. Januar 2012 die Leitung über die Baustelle übertragen und sie vertraglich verpflichtet worden sei, die Ausführung des geplanten Bauwerks zu leiten, zu überwachen, zu koordinieren und dafür besorgt zu sein, dass das Bauwerk nach den gezeichneten Plänen errichtet werde. Den unbestritten gebliebenen erstinstanzlichen Feststellungen zufolge sei die Beschwerdegegnerin beim unplanmässigen Mauerabbruch auf der Baustelle zugegen gewesen. Sie habe davon Kenntnis gehabt, dass die Grundmauern bestehen bleiben sollten, habe sie die entsprechenden Baupläne doch selbst entworfen. Als beigezogene Fachperson habe sie auch objektiv betrachtet davon Kenntnis haben müssen, dass der durch den Mauerabbruch resultierende baurechtswidrige Zustand zu einem Baustopp und zu einer Rückversetzung führen könnte. Aufgrund der objektiven Umstände wäre von ihr zu fordern gewesen, gegen den (vorzeitigen) Abbruch zu intervenieren, um vorgängig die Beschwerdeführer über die Sachlage zu informieren und mit ihnen allfällige Entscheidungsgrundlagen zu erarbeiten. Angesichts dieser Ausgangslage könne der Beschwerdegegnerin ohne Weiteres vorgeworfen werden, sie habe im Rahmen ihrer Bauleitungstätigkeit die von ihr gebotene Sorgfalt nicht walten lassen und damit eine Vertragsverletzung durch Unterlassung begangen (<ref-law> i.V.m. <ref-law>).
Aufgrund der Aussage des Zeugen D._ (Ingenieur) sei es zwar beweismässig erhärtet, dass dieser - und nicht die Beschwerdegegnerin - den Abbruch der Mauern angeordnet habe, was indes nichts daran ändere, dass sich die Beschwerdegegnerin sorgfaltswidrig verhalten habe.
3.2.3. Ohne sich im Einzelnen zum Schaden zu äussern und ohne diesen zu beziffern, erachtete es die Vorinstanz für erwiesen, dass die Beschwerdeführer einen solchen erlitten haben. Dieser habe im Baustopp und den Kosten für die Projektänderung gelegen.
3.2.4. Da die Beschwerdegegnerin eine Vertragsverletzung durch Unterlassen begangen habe, stelle sich die Frage, ob ein hypothetischer Kausalzusammenhang zwischen dieser und dem Schaden bestehe. Die Beweislast für den Kausalzusammenhang liege beim Geschädigten, weshalb es grundsätzlich seine Aufgabe sei, den hypothetischen Kausalzusammenhang zu behaupten und im Sinne einer überwiegenden Wahrscheinlichkeit nachzuweisen. Umgekehrt stehe dem potenziell Haftpflichtigen der Einwand offen, dass der Schaden auch eingetreten wäre, wenn er sich vertragsgemäss verhalten hätte (sog. Einwand des rechtmässigen Alternativverhaltens). Da es sowohl aus Sicht des Geschädigten als auch des potenziell Haftpflichtigen um den vom Geschädigten zu erbringenden Nachweis eines hypothetischen Kausalverlaufs gehe, komme es letztlich darauf an, welchen Kausalverlauf das Gericht für überwiegend wahrscheinlich halte. Wenn der Schädiger einwende, dass der Schaden auch bei rechtmässigem Verhalten eingetreten wäre, müsse dies mindestens überwiegend wahrscheinlich sein.
Die Beschwerdegegnerin habe den hypothetischen Kausalzusammenhang bestritten. Sie habe eingewendet, die Mauern seien nicht mehr tragfähig gewesen; die Beschwerdeführer hätten dies (konkludent) anerkannt. Daraus folge im Sinne einer tatsächlichen Vermutung, dass die Mauern nicht mehr entsprechend ihrer ursprünglichen Bestimmung hätten verwendet werden können und hätten abgebrochen werden müssen. Folglich wäre es den Beschwerdeführern oblegen, in substanziierter Weise darzutun, dass und wie die Mauern bei vertragsgemässem Handeln dennoch hätten erhalten werden können. Mit ihrem pauschalen Vorbringen, dies wäre mit baulichen Massnahmen ohne Weiteres möglich gewesen, seien sie indes ihrer Behauptungs-, jedenfalls aber ihrer Substanziierungslast nicht nachgekommen. Vor diesem Hintergrund seien die der Beschwerdegegnerin vorgeworfenen Unterlassungen nicht überwiegend wahrscheinlich für den durch den Baustopp sowie die Projektänderung resultierenden Schaden, weshalb es an der hypothetischen Kausalität mangle.
Im Ergebnis hielt die Vorinstanz den von den Beschwerdeführern geltend gemachten Schadenersatzanspruch mangels Kausalitätsnachweises für nicht erstellt, weshalb sie deren Widerklage ab- und die Klage der Beschwerdegegnerin auf Zahlung des Architektenhonorars guthiess.
3.3.
3.3.1. Die Beschwerdeführer rügen, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig festgestellt, indem sie davon ausgegangen sei, der Ingenieur und nicht die Beschwerdegegnerin habe den Mauerabbruch angeordnet. Die Zeugen E._ und F._, Mitarbeiter der an dem Mauerabbruch beteiligten Bauunternehmungen, hätten übereinstimmend ausgesagt, die Beschwerdegegnerin sei am Entscheid, die Mauern abzubrechen, als Bauleiterin beteiligt gewesen. In dieser Funktion habe sie nach Rücksprache mit dem Ingenieur den Befehl erteilt, die Mauern abzubrechen. Ein solches Vorgehen sei auf Baustellen üblich und entspreche auch der allgemeinen Lebenserfahrung. Der Ingenieur selbst sei gar nicht weisungsbefugt gewesen. Aufgrund dieser fehlerhaften Sachverhaltsermittlung habe die Vorinstanz der Beschwerdegegnerin eine Sorgfaltspflichtverletzung durch Unterlassen statt durch ein Tun vorgeworfen. Bei korrekt festgestelltem Sachverhalt wäre nach Ansicht der Beschwerdeführer deshalb nicht der hypothetische, sondern der natürliche und adäquate Kausalzusammenhang zu prüfen gewesen.
3.3.2. Die Vorinstanz stützte ihre Feststellung auf die Aussage des Ingenieurs, der vor der ersten Instanz die Frage, ob er in den Entscheid, die Mauern abzutragen, involviert gewesen sei, bejahte und ergänzte, dies sei sogar seine Anordnung gewesen. Die vorinstanzliche Folgerung, der Ingenieur habe den Abbruch der Mauern angeordnet, erscheint in Anbetracht dessen eigener Aussage nicht als offensichtlich unrichtig. Die Zeugen E._ und F._ äusserten sich denn auch keineswegs - wie die Beschwerdeführer suggerieren - eindeutig dahingehend, dass die Beschwerdegegnerin die Anordnung zum Abbruch gegeben habe. Schliesslich vermögen die Beschwerdeführer auch aus der angeblichen allgemeinen Lebenserfahrung, wonach die Bauleitung derartige Abbruchentscheide treffe und nicht ein Ingenieur, nichts für den konkreten Fall abzuleiten, zumal sich der vorliegend beteiligte Ingenieur - wie vorerwähnt - für den konkreten Fall gegenteilig äusserte. Mithin gelingt es den Beschwerdeführern nicht, eine willkürliche Sachverhaltsfeststellung bzw. Beweiswürdigung zu belegen (vgl. E. 2.2.1 und E. 2.3 hiervor). Dass bei diesem Sachverhalt die Folgerung der Vorinstanz, der Beschwerdegegnerin sei (bloss) ein Unterlassen vorzuwerfen, rechtsfehlerhaft wäre, wenden die Beschwerdeführer zu Recht nicht ein. Ebensowenig wird gerügt, dass bei einer Unterlassung der hypothetische Kausalzusammenhang zu prüfen ist.
3.4.
3.4.1. Die Beschwerdeführer monieren weiter, die Vorinstanz sei zu Unrecht davon ausgegangen, dass die Mauern ohnehin hätten abgebrochen werden müssen, da diese in einem schlechten Zustand und nicht mehr tragfähig gewesen seien. Die Vorinstanz nehme fälschlicherweise an, die bestehenden Umfassungsmauern hätten auch beim Neubau Tragfunktion gehabt. Die Vorinstanz sei aufgrund der anerkannten bzw. nicht bestrittenen fehlenden Tragfähigkeit der Mauern im Sinne einer tatsächlichen Vermutung davon ausgegangen, diese könnten nicht mehr entsprechend ihrer ursprünglichen Bestimmung verwendet werden und hätten deshalb ohnehin abgerissen werden müssen. Damit habe sie Partei für die Beschwerdegegnerin ergriffen, wofür vorliegend kein Platz bestehe, da diese nachweisen müsse, dass sie keinerlei Verschulden am Schaden treffe. Mithin sei der Beschwerdegegnerin der Exkulpationsbeweis nicht gelungen. Gestützt auf die allgemeine Lebenserfahrung verstehe sich von selbst, dass es ohne Weiteres möglich sei, auch eine Mauer in schlechtem Zustand zu erhalten, wenn diese keine Tragfunktion mehr habe, so etwa durch Hinterfangen oder eine andere statische Konstruktion. Die Beschwerdeführer hätten in ihren (erstinstanzlichen) Rechtsschriften und im Plädoyer mehrmals auf diese Möglichkeiten hingewiesen.
3.4.2. Bei einer Unterlassung bestimmt sich der Kausalzusammenhang danach, ob der Schaden auch bei Vornahme der unterlassenen Handlung eingetreten wäre. Es geht um einen hypothetischen Kausalverlauf, für den nach den Erfahrungen des Lebens und dem gewöhnlichen Lauf der Dinge eine überwiegende Wahrscheinlichkeit sprechen muss (<ref-ruling> E. 3d S. 165 mit Hinweis). Grundsätzlich unterscheidet die Rechtsprechung auch bei Unterlassungen zwischen natürlichem und adäquatem Kausalzusammenhang. Während bei Handlungen die wertenden Gesichtspunkte erst bei der Beurteilung der Adäquanz zum Tragen kommen, spielen diese Gesichtspunkte bei Unterlassungen in der Regel schon bei der Feststellung des hypothetischen Kausalverlaufs eine Rolle. Es ist daher bei Unterlassungen in der Regel nicht sinnvoll, den festgestellten oder angenommenen hypothetischen Geschehensablauf auch noch auf seine Adäquanz zu prüfen. Die Feststellungen des Sachrichters im Zusammenhang mit Unterlassungen sind daher entsprechend der allgemeinen Regel über die Verbindlichkeit der Feststellungen zum natürlichen Kausalzusammenhang für das Bundesgericht bindend; nur wenn die hypothetische Kausalität ausschliesslich gestützt auf die allgemeine Lebenserfahrung festgestellt wird, unterliegt sie der freien Überprüfung durch das Bundesgericht (<ref-ruling> E. 2.3 S. 718 f.; Urteile 4A_2/2020 vom 16. September 2020 E. 3.3.3; 4A_350/2019 vom 9. Januar 2020 E. 3.2.2; 4A_175/2018 vom 19. November 2018 E. 4.1.2; je mit Hinweisen).
3.4.3. Da bei einer Unterlassung die Prüfung der natürlichen Kausalität die Beantwortung derselben Frage voraussetzt wie der Einwand des rechtmässigen Alternativverhaltens, nämlich jener, ob der Eintritt des Schadens verhindert worden wäre, wenn sich der potenzielle Schädiger rechtskonform verhalten hätte (Urteil 4A_350/2019 vom 9. Januar 2020 E. 3.2.2; ERNST A. KRAMER, Die Kausalität im Haftpflichtrecht: neue Tendenzen in Theorie und Praxis, ZBJV 1987 S. 295 f.; FRANZ WERRO, L'objection du comportement de substitution licite, in: Les causes du dommage, Chappuis/Winniger [Hrsg.], 2007, S. 60; BERNHARD STUDHALTER, Die Berufung des präsumtiven Haftpflichtigen auf hypothetische Kausalverläufe, 1995, S. 185 f.; DANIEL SUMMERMATTER, Kausalität, 2019, S. 283 Rz. 512), gehen beide in demselben Prüfschritt auf.
3.4.4. Die Vorinstanz ermittelte die hypothetische Kausalität nicht allein gestützt auf die allgemeine Lebenserfahrung, weshalb ihre Feststellungen einer freien Überprüfung durch das Bundesgericht nicht zugänglich sind. Sie hielt das Vorbringen der Beschwerdeführer, wonach die Mauern mit "geeigneten" baulichen Massnahmen hätten erhalten werden können, als zu pauschal und demnach nicht geeignet, Zweifel an der Vermutungsfolge (dass die Mauern ohnehin hätten abgebrochen werden müssen) zu wecken, weshalb sie den Gegenbeweis (die Mauern hätten mit baulichen Massnahmen erhalten werden können) nicht als erbracht erachtete. Die Beschwerdeführer setzen sich nicht - jedenfalls nicht hinreichend - mit diesen Ausführungen der Vorinstanz auseinander, weshalb sie den Rügeanforderungen (E. 2.1 hiervor) nicht genügen. Und selbst wenn sie die vorinstanzliche Begründung rechtsgenüglich anfechten würden, wäre nicht einzusehen, inwiefern deren Beweiswürdigung willkürlich wäre, gab doch der Zeuge D._ zu Protokoll, die Mauersteine seien derart locker gewesen, dass man die Steine von Hand habe herausnehmen können, und auch der Mörtel sei praktisch völlig verwittert gewesen. Auch die Angaben der Zeugen E._ und F._ stützen diese Aussagen. Die von den Beschwerdeführern angeführten Verweise auf die Rechtsschriften und das Plädoyer sind unbehelflich: Während der erste Verweis offensichtlich falsch ist, bestätigt der zweite bloss, dass die Beschwerdeführer bereits vor der Erstinstanz pauschal von "geeigneten" Massnahmen sprachen, ohne diese jedoch zu konkretisieren.
3.5.
3.5.1. Schliesslich beanstanden die Beschwerdeführer, die Vorinstanz habe den Exkulpationsbeweis nach <ref-law> nicht ausdrücklich, sondern bloss implizit im Rahmen der hypothetischen Kausalität geprüft. Damit sei sie bundesrechtswidrig vorgegangen und habe einen viel zu wenig strengen Massstab angelegt. Gemäss herrschender Lehre und Rechtsprechung seien höhere Gewalt sowie grobes Verschulden des Geschädigten oder eines Dritten grundsätzlich geeignet, den adäquaten Kausalzusammenhang zwischen der Vertragsverletzung und dem Schaden zu unterbrechen, dies jedoch nur dann, wenn ihre Einwirkung auf den Kausalverlauf eine grosse Intensität aufweise. Vorliegend gehe das Kantonsgericht weder von einem groben Verschulden der Beschwerdeführer noch von einem solchen eines Dritten aus, weshalb nur noch höhere Gewalt in Frage komme. Allerdings liege solche ebenfalls nicht vor.
3.5.2. Auch diese Rüge ist unbegründet. Die Vorinstanz äusserte sich mit keinem Wort zum Exkulpationsbeweis der Beschwerdegegnerin. Inwiefern sie diesen implizit geprüft haben soll, weisen die Beschwerdeführer nicht nach. Da die Vorinstanz bereits den Kausalzusammenhang zwischen der Vertragsverletzung und dem Schaden verneinte, durfte sie ohne Weiteres darauf verzichten, die übrigen Haftungsvoraussetzungen von <ref-law> zu prüfen. Der Exkulpationsbeweis wäre (erst) im Rahmen der Prüfung des Verschuldens relevant geworden und auch dann nur, soweit der Schädiger das fehlende Verschulden behauptet und belegt.
Sofern die Beschwerdeführer mit ihrer Rüge - entgegen der (mehrfachen) ausdrücklichen Bezeichnung als Exkulpationsbeweis - das vorinstanzliche Vorgehen bei der Prüfung des rechtmässigen Alternativverhaltens visieren, geht ihre Rüge fehl (vgl. bereits E. 3.4.4 hiervor).
4.
Im Ergebnis ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 5 sowie Art. 68 Abs. 2 und 4 BGG).
Die Partei, die das Bundesgericht anruft, hat einen Kostenvorschuss in der Höhe der mutmasslichen Gerichtskosten zu leisten (<ref-law>). Bei der Festsetzung der Gerichtskosten wird praxisgemäss auf den Tarif für die Gerichtsgebühren im Verfahren vor dem Bundesgericht (SR 173.110.210.1) abgestellt, der für vermögensrechtliche Streitigkeiten nach der Höhe des Streitwerts abgestufte Richtlinien vorsieht. Vorliegend beträgt der Streitwert rund Fr. 140'000.--, was in einer Gerichtsgebühr von zwischen Fr. 2'000.-- und Fr. 8'000.-- resultiert. Unter Berücksichtigung der übrigen Bemessungsfaktoren von <ref-law>, sind die Gerichtskosten auf Fr. 6'000.-- festzusetzen. In Anbetracht des erwähnten Streitwerts, den die Beschwerdeführer nota bene auch in ihrer Beschwerdeschrift gleichermassen bezifferten, ist es offensichtlich, dass der verlangte Gerichtskostenvorschuss von Fr. 500.-- zu tief ausfiel, was den anwaltlich vertretenen Beschwerdeführern zweifellos aufgefallen ist. Ohnehin ist der Gerichtskostenvorschuss bloss ein Vorschuss und keine verbindliche Festlegung der Gerichtskosten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 6'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 7'000.-- unter solidarischer Haftbarkeit zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 11. November 2020
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Bittel