Citation: 4A_258/2020 E. A

A.a. Im Jahr 2011 planten A.A.________ und B.A.________ (Bauherren, Beschwerdeführer) den teilweisen Neubau eines Mehrfamilienhauses auf dem in der Gemeinde U.________ gelegenen und im Grundbuch unter Nr. xxx eingetragenen Grundstück. Da eines der bestehenden Gebäude unmittelbar an die Kantonsstrasse angrenzte, eröffnete sich den Bauherren die Möglichkeit, auch beim Neubau von den ansonsten geltenden kantonalen Strassenabstandsvorschriften abzusehen. Dies aber unter der vom kantonalen Tiefbauamt gestellten Bedingung, dass während den Bauarbeiten das komplette Erdgeschoss des bestehenden Bauwerks, welches den zulässigen Mindestabstand zur Strasse bereits unterschritt, intakt belassen würde. A.b. Im Verlauf des Jahres 2011 begannen die Bauherren mit dem Teilabbruch der alten Gebäude. Sie brachen dabei alle Bauteile bis auf die Grundmauern ab. Durch ein von den Bauherren provisorisch errichtetes Dach geschützt, blieben diese den folgenden Winter 2011/ 2012 hindurch stehen. A.c. Am 12. Januar 2012 unterzeichneten die Bauherren einen Vertrag für Architekturleistungen mit der C.________ AG (Architektin, Beschwerdegegnerin). Darin wurde der Architektin unter anderem die Bauleitung über das Projekt übertragen. A.d. Zu Beginn des Jahres 2012, nach der Winterpause, begannen die eigentlichen Bauarbeiten. Während dieser brach ein mit den Abbrucharbeiten beauftragtes Bauunternehmen die vom früheren, an die Kantonsstrasse grenzenden, Gebäude übrig gebliebenen Grundmauern ab. Kurz darauf informierte das Tiefbauamt Graubünden die Gemeinde U.________ über den Abbruch, welche daraufhin wegen Verletzung der Baubewilligung einen sofortigen Baustopp verfügte. Die Neuerteilung einer Baubewilligung machte sie davon abhängig, dass das Gebäude strassenseitig zurückversetzt werde, damit der Strassenabstand eingehalten werde. A.e. Die Bauherren schlossen daraufhin mit der Architektin einen weiteren Vertrag betreffend die notwendigen Projektänderungen unter Berücksichtigung des Strassenabstands. Nachdem die Gemeinde U.________ die Projektänderung bewilligt hatte, wurden die Bauarbeiten wieder aufgenommen. Trotz längerer Bauzeit als geplant, war der Neubau zum ursprünglich vereinbarten Bezugstermin fertiggestellt. A.f. In der Folge gerieten die Bauherren mit der Architektin in einen Streit über die Vergütung der Architekturleistungen. Die Architektin forderte von den Bauherren nach Abzug der Vorauszahlungen ein Resthonorar von rund Fr. 140'000.--, davon knapp Fr. 100'000.-- als Restbetrag des ursprünglich vereinbarten Pauschalhonorars und gut Fr. 40'000.-- als zusätzliche Vergütung für die unvorhergesehenen Projektänderungen. Die Bauherren sahen in den Architekten die Verantwortlichen für den Abbruch der Grundmauern und damit für die Pflicht, das Gebäude von der Strasse zurückzuversetzen und die Planung des Projekts abzuändern. Die Architektin habe daher nicht nur kein Honorar mehr zugute, sondern sollte darüber hinaus Schadenersatz leisten für die zusätzlichen Kosten der verlängerten Bauphase und für die im Vergleich zum geplanten Projekt verkleinerte Gebäudefläche. Insgesamt forderten die Bauherren von der Architektin einen Betrag von knapp Fr. 300'000.--.