Sachverhalt:
A.
A.A._ (Eigentümerin, Beschwerdeführerin, Beklagte) ist (Al lein-) Eigentümerin mehrerer Grundstücke bzw. Liegenschaften. B.A._ (Beschwerdeführer; Nebenintervenient) ist ihr Ehemann. Die C._ AG (Aktiengesellschaft, Beschwerdegegnerin, Klägerin) ist eine Aktiengesellschaft, die (primär) "Architektur, Planung, Bauführung, Verwaltung und Handel von und mit Liegenschaften" zum Zweck hat. Die Parteien schlossen mündlich einen Vertrag über Architektur- und Bauleitungsleistungen betreffend den Neubau eines Mehrfamilienhauses. Weiter war die Aktiengesellschaft mit der Verwaltung mehrerer Liegenschaften und in den Jahren 2008 bis 2012 mit verschiedenen Sanierungsarbeiten an den Liegenschaften beauftragt.
B.
Mit Eingabe vo m 14. Juli 2015 und unter Beilage der Klagebewilligung forderte die Aktiengesellschaft vor dem Bezirksgericht Bülach von der Eigentümerin Fr. 285'627.50 nebst Zins und Kosten (für den Zahlungsbefehl sowie die Friedensrichterverhandlung). Die Eigentümerin erhob Widerklage und verlangte von der Klägerin zuletzt im Wesentlichen Fr. 1'461'370.-- zuzüglich Fr. 80'000.-- zuzüglich Zins und Fr. 342'691.95, unter Nachklagevorbehalt für alle nach 2017 zu Tage tretenden weiteren Kostenüberschreitungen aus dem ursprünglichen Bauvorhaben, derzeit (nicht abschliessend) Fr. 850'000.-- übersteigend. Der Ehemann der Beklagten konstituierte sich an deren Seite als Nebenintervenient.
B.a. Mit Urteil vom 13. Februar 2020 wies das Bezirksgericht nach Verrechnung der gegenseitigen Ansprüche die Hauptklage ab (Ziff. 1) und hiess die Widerklage im Umfang von Fr. 103'927.10 nebst Zins teilweise gut. Im Mehrbetrag wies es die Widerklage ab, soweit es darauf eintrat (Ziff. 2). Es erachtete den mit der Klage geltend gemachten Anspruch im Umfang von Fr. 131'618.55 nebst Zins für begründet und den mit der Widerklage eingeklagten im Umfang von Fr. 243'514.90 nebst Zins. Mit Blick auf den unterschiedlichen Zinsenlauf zählte es in Bezug auf den Anspruch der Klägerin noch Zinsen von Fr. 7'969.25 hinzu und gelangte so zu einer Verrechnungssumme von Fr. 139'587.80. Diesen Betrag zog es ab und hiess die Widerklage im Restbetrag von Fr. 103'927.10 nebst Zins gut. Sodann setzte es die Gerichtsgebühr auf Fr. 78'000.-- fest (Ziff. 3), verlegte diese zwischen den Parteien (Ziff. 4) und sprach der Klägerin eine reduzierte Parteientschädigung von Fr. 45'000.-- zu (Ziff. 5).
B.b. Die Beklagte focht die Ziffern 2, 4 und 5 des Urteils des Bezirksgerichts an und verlangte im Wesentlichen, die Klägerin in Ziff. 2 zur Zahlung von Fr. 1'409'751.-- nebst Zins zu verpflichten. Mit Urteil vom 2. Oktober 2020 wies das Obergericht des Kantons Zürich die Berufung ab, soweit es darauf eintrat, und bestätigte das Urteil des Bezirksgerichts, soweit es nicht bereits in Rechtskraft erwachsen war. Es kam (wie das Bezirksgericht) zum Schluss, die Beklagte habe es unterlassen, sich zum Vertrauensschaden als Gesamtvermögensdifferenz und zur Kausalität im Sinne eines hypothetischen Alternativverhaltens konkret und im Einzelnen zu äussern. Und selbst wenn man davon ausgehen würde, die Beklagte hätte den Vertrauensschaden rechtsgenügend dargelegt oder das Bezirksgericht hätte ihr diesbezüglich einen neuen Substanziierungshinweis erteilen müssen, bliebe es dabei, dass es an rechtsgenügenden Behauptungen zum hypothetischen Alternativverhalten fehle. Damit seien die Voraussetzungen für die auf Haftung aus falscher Kosteninformation/Kostenüberschreitung basierende Zusprechung von Schadenersatz nicht dargetan.
C.
Mit Beschwerde in Zivilsachen wiederholen die Beklagte und der Nebenintervenient in der Sache die von dieser vor Obergericht gestellten Begehren. Eventuell sei die Sache an die kantonalen Instanzen zu neuer Beurteilung zurückzuweisen. Verfahrensrechtlich stellen die Beschwerdeführer den Antrag, das Urteil des Obergerichts sei auch wegen Befangenheitsverdacht nach Art. 47 Abs. 1 lit. f ZPO aufzuheben. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, während das Obergericht auf Vernehmlassung verzichtet. Die Parteien haben unaufgefordert eine Beschwerdereplik und -duplik eingereicht.

Erwägungen:
1.
Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2.3.1; <ref-ruling> E. 2, 264 E. 2.3). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (Art. 97 Abs. 1 BGG).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von Art. 106 Abs. 2 BGG (<ref-ruling> E. 2.3 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern die genannten Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 mit Hinweisen). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1).
2.
Gemäss den Feststellungen im angefochtenen Entscheid hat die Beschwerdeführerin in der Berufung ausgeführt, sie stütze ihre Ansprüche nicht erst seit der Widerklagereplik, sondern von Anfang an "überwiegend" auf den Kostenüberschreitungsschaden. Bei unrichtigen Kosteninformationen bemesse sich der Schaden an der hypothetischen Vermögenslage des Geschädigten bei richtiger Auskunft. Zu ersetzen sei der Schaden, den der Empfänger der Information erleide, weil er im Vertrauen auf die Richtigkeit der (in Wahrheit falschen) Information nachteilige Dispositionen getroffen habe. Sie habe ausschliesslich im Vertrauen auf die Richtigkeit der Kosteninformationen die Realisation des Bauwerks der Beschwerdegegnerin übertragen. Deren Vertragspflichtverletzung liege in der Nichteinhaltung der versprochenen Gesamtkosten des Bauvorhabens und der darauf gestützten Renditeberechnung und Finanzierung. Daraus ergebe sich, dass es keinen Unterschied mache, in welchem Ausmass die Kostenüberschreitung auf im Kostenvoranschlag zu tief eingesetzte Beträge, auf im Kostenvoranschlag vergessene Positionen oder auf fehlerhafter Bauaufsicht in der Umsetzung fusse. Bei all diesen Ursachen gründe die Haftung auf unsorgfältiger Vertragserfüllung durch die Beschwerdegegnerin. Im zu beurteilenden Fall müsse mit Blick auf die Entstehung des Planerauftrages der zu ersetzende Vertrauensschaden mit dem Ausmass der Kostenüberschreitung gleichgesetzt werden. Nach dem gewöhnlichen Lauf der Dinge hätte die Beschwerdeführerin das von der Beschwerdegegnerin vorgeschlagene Projekt gar nicht durchgeführt, wenn sie die richtige Kosteninformation erhalten hätte. Damit sei die Gesamtvermögensdifferenz dargelegt, denn sie entspreche der Kostenüberschreitung, da sie das für ein Kostenvolumen von Fr. 4'278'000.-- zuzüglich 10 % oder Fr. 427'800.--, also für gesamthaft Fr. 4'705'800.--, versprochene Mehrfamilienhaus zwar habe, aber mit einer Kostenüberschreitung von Fr.1'461'370.-- (Stand Einreichung Widerklagereplik). Per Datum der Berufungsschrift seien die Mehrkosten nochmals um rund Fr. 850'000.-- angestiegen.
3.
Werden bei einem Bauprojekt die vorgesehenen Kosten überschritten, kann der Architekt je nach der Ausgestaltung des konkreten Vertrages und den Ursachen, die zur Kostenüberschreitung geführt haben, unterschiedlich haftbar werden. Zu unterscheiden ist dabei namentlich, ob die Mehrkosten auf Zusatzkosten oder auf Ungenauigkeiten des Voranschlages bzw. auf mangelnde Kostenüberwachung zurückzuführen sind (<ref-ruling> E. 2a; <ref-ruling> E. 3b/aa; Urteil des Bundesgerichts 4C.424/2004 vom 15. März 2005 E. 3).
3.1. Die Haftung für vertragswidrig verursachte Zusatzkosten, die dem Bauherrn bei richtiger Bauausführung erspart geblieben wären, hat mit der Haftung für die Überschreitung des Kostenvoranschlages als solcher grundsätzlich nichts zu tun (vgl. Urteile des Bundesgerichts 4A_457/2017 vom 3. April 2018 E. 4.1; 4A_89/2017 vom 2. Oktober 2017 E. 4 f.). Sie besteht unabhängig von der Erstellung eines Kostenvoranschlages; der Architekt hat diese Mehrkosten als Schaden zu ersetzen, soweit er sie schuldhaft verursacht hat, wie beispielsweise durch unwirtschaftliche oder fehlerhafte Planung, ungünstige Vergebung oder unrichtige Weisungen (<ref-ruling> E. 2a; zit. Urteil 4C.424/2004 E. 3.1).
3.2. Wird ein Kostenvoranschlag überschritten, weil er auf ungenauen Kostenberechnungen beruhte, liegt darin eine Schlechterfüllung des Vertrags (vgl. zit. Urteile 4A_457/2017 E. 4.2.1; 4A_89/2017 E. 5.1), für die der Architekt bei Verschulden haftet.
3.2.1. Zu ersetzen ist dabei der Vertrauensschaden, den die Bauherrschaft erlitten hat, weil sie in die Verlässlichkeit der Kosteninformationen vertraut und dementsprechend ihre Dispositionen getroffen hat, d.h. nachteilige Vorkehren getroffen und vorteilhafte unterlassen hat (<ref-ruling> E. 2c/aa; <ref-ruling> E. 2b/aa; zit. Urteile 4C.424/2004 E. 3.2; 4A_457/2017 E. 4.2.2).
3.2.2. Die Schädigung, für die der Architekt grundsätzlich einzustehen hat, ergibt sich daraus, dass der Bauherr bei Kenntnis der Unrichtigkeit des Kostenvoranschlags anders disponiert hätte. Als hypothetisches Alternativverhalten kommt dabei etwa in Betracht, dass der Bauherr bei (genügend) genauem Kostenvoranschlag eine günstigere Finanzierung der Gesamtkosten erreicht, das Bauwerk auf kostengünstigere Weise realisiert oder von der Realisierung überhaupt abgesehen hätte. Hätte er auf das Bauvorhaben verzichtet oder jedenfalls weniger dafür ausgegeben, so ist in den Mehrausgaben grundsätzlich eine ungewollte Vermögensverminderung zu sehen (<ref-ruling> E. 2c/aa; <ref-ruling> E. 3b/aa). Dass er sich bei richtiger Information anders verhalten und damit Kosten erspart hätte, muss grundsätzlich der Bauherr dartun (zit. Urteile 4A_457/2017 E. 4.2.2; 4C.424/2004 E. 5.1.1).
3.3. Will der Bauherr das Risiko einer von ihm zu tragenden Kostenüberschreitung weitergehend ausschliessen, kann er bei Vertragsschluss oder auch im Verlaufe der Planung eine Kostenlimite festsetzen oder sich vom Architekten eine Bausummengarantie abgeben lassen (Urteil des Bundesgerichts 4A_210/2015 vom 2. Oktober 2015 E. 4.3; zit. Urteil 4C.424/2004 E. 3.3). Die Bausummengarantie ist ein eigenständiges Versprechen des Architekten, dass die Bausumme einen bestimmten Betrag nicht überschreiten werde. Er übernimmt das Risiko einer Kostenüberschreitung und haftet unabhängig von seinem Verschulden für die den garantierten Betrag übersteigenden Kosten. Eine derartige Garantie ist aussergewöhnlich und kann nur angenommen werden, wenn der Architekt klar und unmissverständlich zugesichert hat, er übernehme sämtliche überschiessenden Kosten (zit. Urteil 4A_210/2015 E. 4.3.2).
4.
Wenn die Vorinstanz vor diesem Hintergrund zum Schluss kam, die Voraussetzungen für die Zusprechung von Schadenersatz wegen falscher Kosteninformation/Kostenüberschreitung seien nicht dargetan, da es an rechtsgenügenden Behauptungen zum hypothetischen Alternativverhalten fehle, ist dies entgegen der Auffassung der Beschwerdeführer nicht zu beanstanden.
4.1. Nach dem Verhandlungsgrundsatz (Art. 55 Abs. 1 ZPO) haben die Parteien diejenigen Tatsachen zu behaupten, auf die sie ihre Ansprüche stützen, sowie die dazugehörenden Beweismittel anzugeben (<ref-ruling> E. 5.1).
4.1.1. Eine Tatsachenbehauptung hat nicht alle Einzelheiten zu enthalten. Es genügt, wenn die Tatsachen, die unter die das Begehren stützenden Normen zu subsumieren sind, in einer den Gewohnheiten des Lebens entsprechenden Weise in ihren wesentlichen Zügen oder Umrissen behauptet werden (<ref-ruling> E. 3.4.2; Urteile des Bundesgerichts 4A_496/2019 vom 1. Februar 2021 E. 4.1; 4A_605/2019 vom 27. Mai 2020 E. 4.1). Immerhin muss die Tatsachenbehauptung so konkret formuliert sein, dass ein substanziiertes Bestreiten möglich ist oder der Gegenbeweis angetreten werden kann (<ref-ruling> E. 3.4.2; Urteil des Bundesgerichts 5A_780/2019 und 5A_842/2019 vom 31. August 2020 E. 7.4; je mit Hinweis).
4.1.2. Behauptungen sind hinreichend, wenn sie unter der Annahme, sie seien bewiesen, einen Sachverhalt ergeben, den das Gericht den entsprechenden Gesetzesnormen zuordnen und gestützt darauf die Forderung zusprechen kann (<ref-ruling> E. 8.2 mit Hinweis). Ein solchermassen vollständiger Tatsachenvortrag wird als schlüssig bezeichnet, da er bei Unterstellung, er sei wahr, den Schluss auf die anbegehrte Rechtsfolge zulässt (zit. Urteile 4A_496/2019 E. 4.1 4A_605/2019 E. 4.1; vgl. auch <ref-ruling> E. 2b). Nur soweit der Prozessgegner den schlüssigen Tatsachenvortrag der behauptungsbelasteten Partei bestreitet, greift eine über die Behauptungslast hinausgehende Substanziierungslast. Die Vorbringen sind diesfalls nicht nur in den Grundzügen, sondern in Einzeltatsachen zergliedert so umfassend und klar darzulegen, dass darüber Beweis abgenommen oder dagegen der Gegenbeweis angetreten werden kann (<ref-ruling> E. 5.2.1.1; <ref-ruling> E. 2b mit Hinweisen; Urteil des Bundesgerichts 4A_443/2017 vom 30. April 2018 E. 2.1).
4.2. Die Beschwerdeführerin machte nach den Feststellungen der Vorinstanz einen Vertrauensschaden wegen fehlender Verlässlichkeit des Kostenvoranschlags (vgl. E. 3.2 hiervor) geltend. Sie ging selbst davon aus, dieser bemesse sich an der hypothetischen Vermögenslage des Geschädigten bei richtiger Auskunft (vgl. E. 2 hiervor). Damit ist nicht nachvollziehbar, wie sie zum Ergebnis gelangt, sie habe keine Angaben zum hypothetisch geschätzten Vermögensstand im Falle richtiger Kosteninformation zu machen. Die von ihr behauptete Gesamtkostendifferenz entspricht nicht der Differenz ihres tatsächlichen Vermögens zu dem hypothetischen Vermögensstand bei einer korrekten Kostenschätzung. Denn bei korrekter Kostenschätzung hätte sie nach ihren eigenen Ausführungen vor der Vorinstanz das von der Beschwerdegegnerin vorgeschlagene Projekt gar nicht durchgeführt. Das ergibt sich auch aus ihren Vorbringen vor Bundesgericht:
4.2.1. Die Beschwerdeführer machen geltend, die Beschwerdeführerin habe zunächst ein anderes Projekt verfolgt. Die Beschwerdegegnerin (als Zweitmeinung befragt) habe das vorherige Architekt-D._-Projekt als zu teuer eingeschätzt. Sie könne der Beschwerdeführerin etwas Gleichwertiges viel preisgünstiger erstellen, was sie mit einer "Studie Mehrfamilienhaus" mit "Totalen Approximativen Anlagekosten" von Fr. 3,81 Mio. und "Berechnungen Projekt D._" mit "Totalen Approximativen Anlagekosten" von Fr. 4,19 Mio. untermauert habe. Dies habe die Beschwerdeführerin veranlasst, das Mandat beim Vorarchitekten D._ zu beenden und stattdessen die Beschwerdegegnerin zu beauftragen. Die Beschwerdeführerin habe darauf vertraut, die Ausführung des Projekts der Beschwerdegegnerin sei kostengünstiger als eine Umsetzung des Architekt-D._-Projekts und führe so zu einer besseren Rentabilität aus Baukosten und erzielbaren Mieterträgen. Deshalb habe sie nicht das D._-Projekt ausführen lassen, sondern das Projekt bei der Beschwerdegegnerin in Auftrag gegeben und ihre Finanzierungsplanung nach den von der Beschwerdegegnerin veranschlagten Gesamtkosten ausgerichtet. Dass die Beschwerdegegnerin sich auf die erhaltenen Unterlagen des D._-Projektes habe stützen können, habe ihren Aussagen erhöhte Glaubhaftigkeit gegeben. Auch die bei Auftragserteilung gemachte Aussage "Zudem überzeuge das Projekt [D._] im Hinblick auf die anvisierte Rentabilität nicht, dies umso mehr als die Kostenprognosen von Herrn D._ nach ihrer [der Beschwerdegegnerin] Überzeugung nicht einzuhalten waren" unterstreiche, dass die Beschwerdeführerin auf die Angaben der Beschwerdegegnerin habe vertrauen dürfen. Sie habe auf die veranschlagten Gesamtkosten noch stärker vertrauen dürfen, nachdem ein Exponent der Beschwerdegegnerin sich in der Friedensrichterverhandlung gegen den Vorarchitekten D._ selber als Finanzberater der Beschwerdeführerin bezeichnet habe.
4.2.2. Die Beschwerdeführerin ist der Auffassung, jede Überschreitung der veranschlagten Gesamtkosten sei zum Vertrauensschaden aus Kostenüberschreitung zu zählen, solange nicht die Beschwerdegegnerin allenfalls substanziieren würde, bestimmte Mehrkosten seien aus konkreten Gründen durch die Beschwerdeführerin selber zu vertreten. Sie macht geltend, sie habe klar dargetan, dass sie bei Kenntnis der effektiven Gesamtkosten des Projekts der Beschwerdegegnerin (also im Falle eines verlässlichen, sorgfaltsgetreuen Kostenvoranschlages) dieser niemals den Architekturauftrag gegeben hätte, sondern die Projektausführung beim Vorarchitekten D._ belassen oder allenfalls gänzlich neu geplant hätte. Nach dem gewöhnlichen Lauf der Dinge und der allgemeinen Lebenserfahrung wäre es bei sorgfaltsgetreuer Kosteninformation niemals zur Auftragserteilung an die Beschwerdegegnerin gekommen. Diesfalls wäre es nicht zu der prozessgegenständlichen Kostenüberschreitung gekommen.
4.2.3. So wie der Planer-Vertrag mit der Beschwerdegegnerin entstanden sei, nämlich gestützt auf die klare Zusage, dass die Beschwerdegegnerin ein gleichwertiges Mehrfamilienhaus wie jenes des Projektes D._ kostengünstiger erstellen werde, definiere sich der Vertrauensschaden im vorliegenden Fall nicht nach dem objektiven oder subjektiven Wert der Baute und nicht nach einem hypothetisch geschätzten Vermögensstand der Beschwerdeführerin im Falle richtiger Kosteninformation durch die Beschwerdegegnerin, sondern allein nach den über den beschwerdegegnerischen Kostenvoranschlag hinausgehenden Gesamtkosten. Denn die Entstehung des Planer-Vertrages belege, dass die Beschwerdeführerin bei pflichtgemäss richtiger Kosteninformation durch die Beschwerdegegnerin die Projektausführung niemals der Beschwerdegegnerin überantwortet hätte und damit auch niemals die beschwerdegegnerisch pflichtwidrig unbeachteten Mehrkosten im Betrag der genannten Kostenüberschreitung gehabt hätte. Diese allein durch die pflichtwidrige Kostenprognose ausgelösten Mehrkosten bildeten den Vertrauensschaden. Deshalb sei die Beschwerdeführerin nicht gehalten gewesen, von sich aus in der Widerklagereplik Substanziierungen zum objektiven oder subjektiven Wert der Baute oder zum hypothetisch geschätzten Vermögensstand im Falle richtiger Kosteninformation zu machen. Vielmehr hätte das Bezirksgericht, wenn es dieser abweichenden Rechtsauffassung gewesen sei, dies mit einem entsprechenden Substanziierungshinweis dartun müssen. Die Beschwerdeführerin macht in diesem Zusammenhang geltend, sie habe erstinstanzlich ausdrücklich um einem Substanziierungshinweis ersucht, falls das Bezirksgericht abweichend von ihrem Prozessrechtsverständnis (mit Triplik-Vorbehalt) und trotz der unsubstanziierten Einwendungen der Beschwerdegegnerin eine weitergehende Substanziierung zu den einzelnen Aspekten und Gründen der Kostenüberschreitung für erforderlich halte.
4.3. Dieser Sachvortrag ist in Bezug auf den geltend gemachten Vertrauensschaden wegen fehlender Verlässlichkeit des Kostenvoranschlags nicht schlüssig:
4.3.1. Unterstellt man den Vortrag der Beschwerdeführerin als wahr, lässt er den Schluss auf die von ihr anbegehrte Rechtsfolge, jede Überschreitung der veranschlagten Gesamtkosten sei zum Vertrauensschaden aus Kostenüberschreitung zu zählen, solange nicht die Beschwerdeführerin die Mehrkosten selber zu vertreten habe, nicht zu. Denn bei korrekter Kostenschätzung hätte die Beschwerdeführerin nach ihren eigenen Ausführungen der Beschwerdegegnerin niemals den Architekturauftrag gegeben, sondern die Projektausführung beim Vorarchitekten D._ belassen oder allenfalls gänzlich neu geplant. Weshalb letzteres der Fall sein sollte, wird allerdings nicht schlüssig dargelegt, zumal die Beschwerdeführerin geltend macht, die Zusicherung einer kostengünstigeren Variante habe sie veranlasst, das Mandat beim Vorarchitekten D._ zu beenden. Bei korrekter Information hätte die Beschwerdeführerin keinen Anlass gehabt, vom bisherigen Projekt abzukommen. Wäre es aber nach dem gewöhnlichen Lauf der Dinge beim Architekt-D._-Projekt geblieben, wäre die Beschwerdeführerin zwar nicht mit den Mehrkosten des Projekts der Beschwerdegegnerin konfrontiert worden, sie hätte aber die Kosten des Architekt-D._-Projekts übernehmen müssen. Und diese waren nach ihren eigenen Ausführungen höher als die für das Projekt der Beschwerdegegnerin angenommenen. Das Projekt der Beschwerdegegnerin wurde nach ihrem Vortrag ja nur verwirklicht, weil es kostengünstiger sein sollte.
4.3.2. Unterstellt man die Behauptungen der Beschwerdeführerin als wahr, gelangt man unter dem Titel Vertrauensschaden mithin nicht zu der von ihr geltend gemachten Summe. Schadenersatz wäre ihr nur zuzusprechen, soweit sie nachweisen könnte, dass das Architekt-D._-Projekt (oder ein anderes, im Rahmen einer allfälligen Neuplanung, soweit diese hinreichend behauptet wäre) sich für sie als vorteilhafter erwiesen hätte als das von der Beschwerdegegnerin tatsächlich erstellte. Ohne Ausführungen zum hypothetischen Alternativverhalten und dem entsprechenden Vermögensstand lässt sich dies nicht abschätzen, zumal die Beschwerdegegnerin selbst von Anfang an die Auffassung vertreten hatte, die Kostenprognosen von Herrn D._ wären nicht einzuhalten gewesen. Es ist mithin offen, ob überhaupt ein Vertrauensschaden eingetreten ist. Das hängt davon ab, zu welchen Kosten das Projekt D._ tatsächlich geführt hätte. Die Beschwerdeführer behaupten nicht, sie hätten das Projekt D._ zum Preis des Kostenvoranschlags der Beschwerdegegnerin verwirklichen können. Damit wäre ein allfälliger Vertrauensschaden jedenfalls nicht in der geltend gemachten Höhe entstanden. Insoweit ist der Sachvortrag nicht schlüssig.
4.4. Vor diesem Hintergrund nützt den Beschwerdeführern die nicht weiter belegte Behauptung nichts, die Gleichsetzung des Vertrauensschadens mit der Kostenüberschreitung habe die Beschwerdegegnerin nicht bestritten. Aus der mangelnden Bestreitung eines nicht schlüssigen Sachvortrages lässt sich keine Anerkennung ableiten. Bei der Frage, wie sich der geltend gemachte Schaden berechnet, handelt es sich dagegen um eine Rechtsfrage.
4.5. Zum von der Beschwerdeführerin angestrebten Resultat (jede Überschreitung der veranschlagten Gesamtkosten jenseits der Toleranzgrenze ist zu ersetzen, solange die Beschwerdegegnerin nicht substanziiert, welche Mehrkosten durch die Beschwerdeführerin selber zu vertreten sind) käme man nur, wenn man aufgrund der Entstehungsgeschichte des Vertrages annehmen wollte, die Beschwerdegegnerin hätte darin unter Vorbehalt der Toleranzgrenze eine Bausummengarantie abgegeben (vgl. E. 3.3 hiervor). Diesbezüglich hat aber nach den insoweit unangefochtenen Feststellungen im angefochtenen Entscheid bereits das Bezirksgericht festgehalten, auch die Beschwerdeführerin selber gehe nicht vom Spezialfall einer vereinbarten Bausummengarantie aus. Zudem wären die Voraussetzungen für die Annahme einer derart ausgestalteten Bausummengarantie nach dem Tatsachenvortrag der Beschwerdeführerin nicht erfüllt, da sich daraus nicht ergibt, die Beschwerdegegnerin habe klar und unmissverständlich zugesichert, sie übernehme unter Berücksichtigung der Toleranzgrenze sämtliche überschiessenden Kosten.
4.6. Auch die Rüge, das Bezirksgericht hätte einen Substanziierungshinweis geben müssen, greift zu kurz:
4.6.1. Was den Bereich des Beweises einer Vertragsverletzung angeht, kennt zwar der Bauherr häufig nur das Ausmass der Kostenüberschreitung, aber nicht oder nicht vollumfänglich deren Ursachen. Der Toleranzgrenze kommt hier die Funktion eines doppelten Anscheinsbeweises zu, nämlich sowohl zu Gunsten des Architekten als auch zu Gunsten des Bauherrn. Kostenüberschreitungen, welche die Toleranzgrenze übersteigen, lassen dabei auf Pflichtverletzungen des Architekten schliessen, solche unterhalb dieser Grenze hingegen auf das Fehlen von Pflichtverletzungen (zit. Urteil 4C.424/2004 E. 3.2.2.1; vgl. auch zit. Urteil 4A_457/2017 E. 4.2.1 mit Hinweisen). Dieser Anscheinsbeweis kann entkräftet werden, wenn die dadurch belastete Partei Tatsachen nachweist, die Zweifel an dieser Folgerung erwecken (zit. Urteil 4C.424/2004 E. 3.2.2.1).
4.6.2. In diesem Sinne war die Beschwerdeführerin, sofern sie dargelegt hatte, dass die Toleranzgrenze überschritten worden war, zwar nicht gehalten, ohne entsprechende Ausführungen der Gegenpartei zu den einzelnen Aspekten und Gründen der Kostenüberschreitung weitere Angaben zu machen. Nähere Ausführungen waren unter diesen Voraussetzungen nur notwendig, soweit die Beschwerdeführerin nicht ihren Vertrauensschaden geltend macht, sondern behauptet, es handle sich um vertragswidrig verursachte Zusatzkosten, die ihr bei richtiger Bauausführung erspart geblieben wären (vgl. E. 3.1 hiervor).
4.6.3. Das ändert aber nichts daran, dass auch der durch eine ungenügende Kostenschätzung entstandene Vertrauensschaden zu behaupten ist. Diesbezüglich erweisen sich die Vorbringen der Beschwerdeführerin als ungenügend. Da der Substanziierungshinweis, den sie vor Bezirksgericht verlangte, gemäss ihren eigenen Angaben nicht diesen Punkt betraf, sondern die einzelnen Aspekte und Gründe der Kostenüberschreitung, kann sie daraus nichts ableiten.
4.6.4. Aber selbst wenn man annehmen wollte, in Bezug auf den Vertrauensschaden wäre ein Substanziierungshinweis angebracht gewesen oder die kantonalen Instanzen hätten trotz der anwaltlichen Vertretung der Beschwerdeführer ihre Fragepflicht wahrnehmen müssen (vgl. zur eingeschränkten Tragweite der Fragepflicht bei anwaltlich vertretenen Parteien; Urteile des Bundesgerichts 4A_502/2019 vom 15. Juni 2020 E. 7.1; 4A_284/2017 vom 22. Januar 2018 E. 3.2; 4A_375/2015 vom 26. Januar 2016 E. 7.1, nicht publiziert in <ref-ruling>), würde das nichts ändern. Denn auch vor Bundesgericht fehlen Ausführungen zum hypothetischen Vermögensstand bei einer korrekten Kosteneinschätzung, obwohl den Beschwerdeführern inzwischen die Rechtsauffassung der kantonalen Instanzen bekannt ist. Ein Substanziierungshinweis hätte mithin nichts geändert.
4.7. Es bleibt dabei, dass der geltend gemachte Schaden mangels Ausführungen zum hypothetischen Alternativverhalten bei korrekter Information und dem entsprechenden Vermögensstand nicht hinreichend behauptet wurde. Die teilweise Abweisung der Widerklage erfolgte zu Recht und insoweit war der angefochtene Entscheid hinreichend begründet, um sachgerecht angefochten zu werden (<ref-ruling> E. 4.3.2). Eine Gehörsverletzung ist nicht dargetan. Damit kommt den weiteren Begründungen, welche die Vorinstanz für eine teilweise Abweisung der Widerklage ins Feld führte, keine Bedeutung zu. Darauf und die diesbezüglichen Rügen der Beschwerdeführer ist nicht einzugehen.
5.
Die Beschwerdeführer verlangen, das angefochtene Urteil sei wegen Befangenheit (Art. 47 Abs. 1 lit. f ZPO) aufzuheben.
5.1. Nach der bundesgerichtlichen Rechtsprechung können richterliche Verfahrensfehler nur ausnahmsweise die Unbefangenheit einer Gerichtsperson in Frage stellen. Dabei müssen objektiv gerechtfertigte Gründe zur Annahme bestehen, dass sich in Rechtsfehlern gleichzeitig eine Haltung manifestiert, die auf fehlender Distanz und Neutralität beruht. Es muss sich um besonders krasse Fehler oder wiederholte Irrtümer handeln, die eine schwere Verletzung der Richterpflichten darstellen und auf eine Absicht der Benachteiligung einer Prozesspartei schliessen lassen (<ref-ruling> E. 3e; <ref-ruling> E. 3a; <ref-ruling> E. 3b; <ref-ruling> E. 3b/bb; vgl. auch <ref-ruling> E. 3.2.3).
5.2. Die Beschwerdeführer leiten die Befangenheit zum Teil auch aus den in der Sache erhobenen Rügen ab, auf die daher vorab einzugehen war und die sich als unbegründet erwiesen haben (vgl. E. 2-4 hiervor). Damit ist ihrer Rüge weitgehend die Grundlage entzogen. Soweit die Widerklage scheiterte, liegt der Grund dafür nicht in einer Benachteiligung der Beschwerdeführerin sondern darin, dass diese zwar die Voraussetzungen für Ersatz des Vertrauensschadens darlegte, zur Höhe des entstandenen Schadens aber (auch vor Bundesgericht) keine schlüssigen Behauptungen aufstellte.
5.3. Die Beschwerdeführer stützen den Vorwurf der Befangenheit allerdings insbesondere auf eine Fehlbeurteilung in Bezug auf die von der Vorinstanz angenommene Verwirkung ihres Anfechtungsrechts von Handlungen eines unzuständigen Bezirksrichters.
5.3.1. Dabei geht es um die Annahme der Vorinstanz, die von der Beschwerdeführerin in der Berufung erhobenen Rügen bezüglich der Unzuständigkeit eines ungültig delegierten Bezirksrichters seien verspätet und damit verwirkt, nachdem diese bereits im August/September 2018 in zwei Beschwerden ans Obergericht thematisiert worden seien. Die Beschwerdeführer machen geltend, diese Annahme entbehre jeden Rechtsverständnisses und beruhe auf einer krassen Aktenwidrigkeit, nachdem beide obergerichtlichen Beschwerdeentscheide ausdrücklich dahin lauteten, diese Rüge könne in einer künftigen Berufung gegen den bezirksgerichtlichen Endentscheid geltend gemacht werden, weshalb eine vorherige separate Beschwerde mangels nicht leicht wieder gutzumachenden Nachteils nicht möglich sei. Diese krasse Aktenwidrigkeit lasse sich nur damit erklären, dass die Vorinstanz die Berufung unbedingt habe abweisen wollen, koste es was es wolle, und dass deshalb alles Erdenkliche an (vermeintlichen) Argumenten für die Abweisung zusammengerafft worden sei.
5.3.2. Die Vorinstanz hielt fest, aus dem Beschluss des Obergerichts vom 3. September 2018 ergebe sich, dass die Beschwerdeführerin sich bereits in ihrer Beschwerde vom 23. August 2018 mit der Kompetenz des in ihren Augen unzuständigen Bezirksrichters zum Erlass von Verfügungen im vorliegenden Verfahren auseinandergesetzt hatte. Im Entscheid vom 3. September 2018 war das Obergericht aber auf die Beschwerde mit der Begründung nicht eingetreten, die Parteien könnten gegen den Erledigungsentscheid des erstinstanzlichen Verfahrens Berufung erheben, mit der sowohl materielle als auch verfahrensrechtliche (prozessuale) Fehler gerügt und die rechtlichen Konsequenzen der angefochtenen Verfügungen - sofern notwendig - korrigiert werden könnten. Das Obergericht wies das Bezirksgericht zudem ausdrücklich darauf hin, die in der Beschwerde erhobenen formellen Beanstandungen betreffend die Zuständigkeit zum Erlass der angefochtenen Verfügungen erschienen nicht a priori unbegründet. Damit kann keine Rede davon sein, die Beschwerdeführerin habe diesbezügliche Rügen verspätet vorgebracht.
5.3.3. Daraus lässt sich indessen keine Befangenheit ableiten. Die Vorinstanz stützte sich nicht nur auf diese Begründung, sondern hielt fest, die Mitwirkung des unzuständigen Richters habe sich nur auf vier Entscheide bezogen. Auf zwei davon sei das Gericht in der Folge mit Verfügung vom 23. April 2019 zurückgekommen. Damit seien die Entscheide, an denen der unzuständige Bezirksrichter mitgewirkt hatte, im Ergebnis obsolet geworden. Dass auch diese Begründung unhaltbar wäre, wird in der Beschwerde nicht rechtsgenüglich aufgezeigt. Damit war die Annahme der Verwirkung nicht prozessrelevant, so dass sich daraus keine Absicht zur Benachteiligung herauslesen lässt. Es handelt sich zwar um einen offensichtlichen Fehler, aber in einem ohnehin nicht wesentlichen Punkt. Dies genügt zur Annahme von Befangenheit nicht.
5.3.4. Die Beschwerdeführer monieren zwar noch weitere Punkte. Dies im Wesentlichen aber betreffend die mangelnde Substanziierung des Vertrauensschadens. Diesbezüglich scheiterte die Widerklage aber entgegen ihren Vorbringen nicht daran, dass die kantonalen Instanzen ihnen Steine in den Weg gelegt hätten, sondern daran, dass die Beschwerdeführerin den geltend gemachten Vertrauensschaden entgegen ihren eigenen Ausführungen in der Berufung nicht nach der hypothetischen Vermögenslage des Geschädigten bei richtiger Auskunft bemessen will.
6.
Damit erweist sich die Beschwerde insgesamt als unbegründet. Sie ist abzuweisen, soweit darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer unter solidarischer Haftbarkeit kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 16'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3.
Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 18'000.-- zu entschädigen.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 18. Mai 2021
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Luczak