Sachverhalt:
A.
A.a. B.B._ und C.B._ (Beklagte, Widerkläger) erwarben im April 2006 die Liegenschaft Strasse X._ in U._. Am 7. November 2007 schlossen sie mit der A._ AG (Klägerin, Widerbeklagte) einen Vertrag über Architekturleistungen im Zusammenhang mit dem Abbruch und Neubau ihres Einfamilienhauses ab.
A.b. Im Verlaufe des Bauprojekts entbrannte zwischen den Parteien ein Streit über Honorarforderungen und über von B.B._ und C.B._ geltend gemachte Mängel.
B.
B.a. Am 4. März 2013 reichte die A._ AG zur Durchsetzung ihrer Honorarforderungen beim Bezirksgericht Einsiedeln Klage gegen B.B._ und C.B._ ein. Die Klägerin beantragte was folgt:
"1. Die Beklagten seien zu verpflichten, der Klägerin Fr. 92'675.55 zuzüglich 5 % Verzugszins seit 15. Juni 2011 zu bezahlen.
2. Die Beklagten seien zu verpflichten, der Klägerin Fr. 103.00 an Betreibungskosten zurückzuerstatten.
3. Es sei der Rechtsvorschlag in der Betreibung Nr. xxx des Betreibungsamtes Wädenswil (Zahlungsbefehl vom 14.6.2011) zu beseitigen.
4. Die Beklagten seien zu verpflichten, der Klägerin die (restlichen) Nebenkosten von Fr. 4'493.00 zuzüglich 5 % Verzugszinses seit 4. März 2013 zu bezahlen.
5. (Kosten- und Entschädigungsfolgen)."
B.b. Mit ihrer Klageantwort beantragten die Beklagten die Abweisung der Klage und erhoben Widerklage mit den folgenden Anträgen:
"1.a. Die Klägerin sei zu verpflichten, den Beklagten die Kosten für die Vornahme sämtlicher baulicher Leistungen zu bezahlen, die notwendig sind, um (i) die Oberkanten des Fertigbodens im Innen- und Aussenbereich von Erdgeschoss, Obergeschoss und Dachgeschoss - vorbehältlich der zu beanspruchenden Toleranz - ohne Niveauunterschied herzustellen und (ii) die Hebe-Schiebetüren im Erdgeschoss (EG), Obergeschoss (OG) und Dachgeschoss (DG) so auszuführen, dass die Schwellenhöhe nicht mehr als 20 mm beträgt und (iii) die bestehenden Flecken aufgrund der schlechten Oberflächenqualität (durch Wasser angelöst) am Kunstharzboden im Technikraum im Untergeschoss (UG) zu beheben und (iv) die Duschtasse im Elternbad DG bodenbündig einzubauen, wobei für die Ausführung der erforderlichen Arbeiten die seinerzeit abgeschlossenen Werkverträge mit den entsprechenden Unternehmern massgebend sind, so insbesondere jene mit der D._ AG vom 20. Mai 2009 (Fensterbauer), der E._ AG vom 30. Mai 2009 (Holzbauer) und der F._ vom 24. August 2009 (Baumeister);
1.b. Die Klägerin sei zu verpflichten, den Beklagten die mutmasslichen Kosten für die Arbeiten gemäss Rechtsbegehren Ziffer 1 (kurz: Nachbesserungsarbeiten) vorzuschiessen, verbunden mit der Pflicht, dass die Beklagten diesen Betrag der Klägerin zurück zu erstatten haben, falls sie die Nachbesserungsarbeiten nicht innerhalb von drei Jahren, gemessen ab Rechtskraft des Urteils, realisiert und abgerechnet haben, wobei die Beklagten die Höhe des Betrages nach Einholung einer vom Gericht anzufordernden Offerte beziffern;
2. Eventualiter sei die Klägerin zu verpflichten, den Beklagten einen Minderwert zu vergüten für folgende Mängel am Bauwerk Strasse X._ in U._ deren Höhe die Beklagten nach Abschluss des Beweisverfahrens im Einzelnen beziffern:
(a) Niveauunterschied zwischen dem Innen- und Aussenbereich und Schwellenhöhe im EG, OG und DG;
(b) Falsche Öffnungsrichtung der Hebe-Schiebetüre im Dachgeschoss;
(c) Kunstharzboden (im Technikraum [UG]);
(d) (Duschtasse im Elternbad (DG), die nicht "bodenbündig" ist.
3. Die Klägerin sei weiter zu verpflichten, den Beklagten einen Minderwert zu vergüten für folgende Mängel am Bauwerk Strasse X._ in U._ deren Höhe die Beklagten nach Abschluss des Beweisverfahrens im Einzelnen beziffern:
(a) Kunstharzboden im Keller (UG) und Waschraum (EG);
(b) Falsch herum eingebaute Badewanne im OG;
(c) Fehlerhaft ausgeführte Duschtasse im OG, da nicht "bodenbündig";
(Kosten- und Entschädigungsfolgen)."
B.c. Mit Beweisbeschluss vom 5. November 2014 ernannte das Bezirksgericht Herrn G._, als Experten zur Erstellung eines Gutachtens. Das vom 30. Juni 2015 datierte Gutachten ging am 2. Juli 2015 beim Bezirksgericht ein.
B.d. Auf mehrere Erläuterungsbegehren zum Gutachten hin ging am 26. September 2015 ein entsprechendes Ergänzungsgutachten beim Bezirksgericht ein.
B.e. Mit Urteil vom 29. Juni 2016 wies das Bezirksgericht Einsiedeln die Klage ab (Dispositiv-Ziff. 1) und verpflichtete die Widerbeklagte, den Widerklägern Fr. 156'500.-- als Nachbesserungskosten (Dispositiv-Ziff. 2) und Fr. 3'200.-- als Minderwert im Sinne der Erwägungen zu bezahlen (Dispositiv-Ziff. 3). Im Übrigen wies es die Widerklage ab (Dispositiv-Ziff. 4). Mit Dispositiv-Ziffer 5 regelte das Bezirksgericht die Gerichtskosten, mit Dispositiv-Ziffer 6 die Parteientschädigung.
B.f. Gegen dieses Urteil erhob die Klägerin Berufung an das Kantonsgericht Schwyz. Sie beantragte die Aufhebung des erstinstanzlichen Urteils, soweit damit die Klage abgewiesen und die Widerklage gutgeheissen worden war, und wiederholte im Wesentlichen die erstinstanzlichen gestellten Anträge. Eventualiter beantragte sie die Rückweisung zur Neubeurteilung an das Bezirksgericht.
B.g. Mit ihrer Berufungsantwort erhoben die Beklagten Anschlussberufung. Sie wiederholten im Wesentlichen die erstinstanzlichen Begehren, verzichteten aber auf Forderungen im Zusammenhang mit dem Kunstharzboden, bezifferten den geforderten Kostenvorschuss (vgl. Widerklagebegehren Ziff. 1.b) für die Nachbesserungsarbeiten mit Fr. 156'500.-- und strichen das Widerklagebegehren Ziffer 3 ersatzlos.
B.h. Mit Urteil vom 17. Oktober 2017 erkannte das Kantonsgericht Schwyz wie folgt:
"1. Die Berufung wird teilweise gutgeheissen und die Anschlussberufung abgewiesen, soweit darauf einzutreten ist. Die Dispositivziffern 1-6 des angefochtenen Urteils des Bezirksgerichts Einsiedeln vom 29. Juni 2016 werden aufgehoben und es wird was folgt festgelegt:
1. In teilweiser Gutheissung der Klage werden die Beklagten verpflichtet, der Klägerin für entstandene Nebenkosten Fr. 2'641.25 zuzüglich 5 % Zins seit 15. Juni 2011 sowie Fr. 4'493.00 zuzüglich 5 % Zins seit 4. März 2013 zu bezahlen.
Im Betrag von Fr. 2'641.25 nebst Zins von 5 % seit 15. Juni 2011 wird der Rechtsvorschlag in der Betreibung Nr. xxx des Betreibungsamtes Wädenswil beseitigt.
Im Übrigen wird die Klage abgewiesen.
2. Die Widerklage wird vollumfänglich abgewiesen, soweit darauf einzutreten ist.
3./4. (Kosten- und Entschädigungsfolgen).
Im Übrigen wird die Berufung abgewiesen.
2./3. (Kosten- und Entschädigungsfolgen)."
C.
Beide Parteien fechten dieses Urteil an.
C.a. Mit Beschwerde in Zivilsachen vom 27. November 2017 (Verfahren 4A_622/2017) beantragt die Klägerin dem Bundesgericht, das vorinstanzliche Urteil sei aufzuheben, soweit die Vorinstanz damit ihre Klage im Übrigen abgewiesen hat, und die Beklagten seien zu einer zusätzlichen Zahlung von Fr. 90'034.30 (eingeklagter Betrag von Fr. 92'675.55 abzüglich zugesprochener Betrag von Fr. 2'641.25; inkl. MWST) nebst Zins (unter Beseitigung des Rechtsvorschlages in der Betreibung Nr. xxx des Betreibungsamtes Wädenswil) zu verpflichten; eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Beklagten beantragen die Abweisung der Beschwerde, soweit darauf einzutreten ist; eventualiter beantragen sie die Rückweisung der Sache an die Vorinstanz. Die Vorinstanz hat auf Vernehmlassung verzichtet.
Die Klägerin hat unaufgefordert Replik eingereicht.
C.b. Mit Beschwerde in Zivilsachen vom 27. November 2017 (Verfahren 4A_620/2017) beantragen die Beklagten dem Bundesgericht, Dispositiv-Ziffer 1.2 des Urteils des Kantonsgerichts Schwyz sei aufzuheben und die Sache sei zur Ergänzung des Verfahrens, insbesondere zur Durchführung eines Beweisverfahrens über die Frage der Höhe der von der Klägerin zu bevorschussenden Nachbesserungskosten für die geltend gemachten Mängel (gemäss Widerklagebegehren Ziff. 1.a ohne Kunstharzboden [iii.]) zurückzuweisen (Hauptantrag 1). Die Klägerin sei zudem zu verpflichten, den Beklagten als Minderwert für die nicht "bodenbündig" realisierte Duschtasse im OG sowie die falsch herum eingebaute Badewanne im OG Fr. 3'200.-- zu bezahlen (Hauptantrag 2). Eventualiter beantragen die Beklagten einen reformatorischen Entscheid und wiederholen die entsprechenden Begehren (Bezahlung Nachbesserung mit Vorschuss von Fr. 156'500.--, eventuell Minderung) ihrer Anschlussberufung (Eventualanträge 3a-c). Subeventualiter beantragen die Beklagten, es sei auf ihre Widerklage nicht einzutreten (Eventualantrag 4).
Die Klägerin beantragt die Abweisung der Beschwerde, soweit darauf einzutreten ist.
Die Vorinstanz weist in ihrer Vernehmlassung darauf hin, das Kantonsgericht habe nicht bloss eine mangelhafte Bezifferung der Widerklagebegehren beanstandet, sondern auch eine ungenügende Substanziierung der Forderung festgestellt, was zur Abweisung der Widerklage geführt habe, soweit darauf einzutreten war.
Die Parteien haben unaufgefordert Replik und Duplik eingereicht.

Erwägungen:
1.
Die Beschwerden richten sich gegen denselben Entscheid des Kantonsgerichts Schwyz. Es rechtfertigt sich, die Verfahren zu vereinigen und die Beschwerden gemeinsam zu beurteilen (vgl. <ref-ruling> E. 1 S. 126 mit Hinweisen).
2.
Die formellen Voraussetzungen sind für beide Beschwerden grundsätzlich erfüllt. Die Klägerin macht in ihrer Vernehmlassung zur Beschwerde der Beklagten geltend, diese hätten Anträge geändert und neue Anträge hinzugefügt. Ob dies zutrifft, kann jedoch offenbleiben, da die Beschwerde der Beklagten - wie sich aus E. 5 und 6 unten ergibt - ohnehin abzuweisen ist, soweit darauf eingetreten werden kann.
3.
3.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Stützt sich der angefochtene Entscheid auf mehrere, voneinander unabhängige Begründungen, muss jede einzelne angefochten werden, sonst wird auf die Beschwerde nicht eingetreten (<ref-ruling> E. 4.1.4 S. 100 mit Hinweisen).
3.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
4.
Die Klägerin (Verfahren 4A_622/2017) rügt, die Vorinstanz habe willkürlich festgestellt, die Parteien hätten ein Honorar nach Zeitaufwand vereinbart. Sie macht geltend, ihr stehe ein Pauschalhonorar zu.
4.1. Der Inhalt eines Vertrags bestimmt sich in erster Linie durch subjektive Auslegung, das heisst nach dem übereinstimmenden wirklichen Parteiwillen (<ref-law>). Nachträgliches Parteiverhalten kann dabei berücksichtigt werden, wenn es Rückschlüsse auf den tatsächlichen Willen der Parteien zulässt (<ref-ruling> E. 3.1 S. 632; <ref-ruling> E. 2.3 S. 680). Erst wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, sind zur Ermittlung des mutmasslichen Parteiwillens die Erklärungen der Parteien im Rahmen der objektivierten Vertragsauslegung aufgrund des Vertrauensprinzips so auszulegen, wie sie nach ihrem Wortlaut und Zusammenhang sowie den gesamten Umständen verstanden werden durften und mussten (<ref-ruling> E. 4.2.1 S. 666; <ref-ruling> E. 3.2.1 S. 148). Während das Bundesgericht die objektivierte Vertragsauslegung als Rechtsfrage prüfen kann, beruht die subjektive Vertragsauslegung auf Beweiswürdigung, die vorbehältlich der Ausnahmen von Art. 97 und 105 BGG der bundesgerichtlichen Überprüfung entzogen ist (<ref-ruling> E. 3.1 S. 632 mit Hinweisen).
Das Bundesgericht greift in die Beweiswürdigung des Sachgerichts nur ein, wenn diese willkürlich ist. Willkür liegt nicht schon dann vor, wenn eine andere Lösung ebenfalls in Betracht zu ziehen oder gar vorzuziehen wäre, sondern nur, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (<ref-ruling> E. 5.1 S. 22; <ref-ruling> E. 4.1 S. 133; <ref-ruling> E. 2.1 S. 211). Dass die von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der Beschwerdeführerin übereinstimmen, belegt keine Willkür (<ref-ruling> E. 2.3 S. 266 mit Verweisen). Erforderlich ist zudem, dass der Entscheid nicht nur in der Begründung, sondern auch im Ergebnis willkürlich ist (<ref-ruling> E. 2.1 S. 19 mit Hinweisen).
4.2. Im Vertrag für Architekturleistungen vom 7. November 2007 vereinbarten die Parteien u.a. was folgt:
"2.2 Grundlagen der Honorarberechnung
nach dem Zeitaufwand
Die Berechnung des Honorars nach dem Zeitaufwand erfolgt nach mittleren Stundenansätzen mit den Anforderungsfaktoren a
für die Phasen 31 = 1.00
32 = 1.00
33 = 1.00
41 = 1.00
51 = 1.00
52 = 1.00
53 = 1.00
und dem mittleren Stundenansatz h = CHF 115.00
2.3 Art und Höhe der Vergütungen
Die Auftraggeberin/der Auftraggeber vergütet die mit diesem Vertrag vereinbarten Leistungen und deren
Generelle Umschreibung der Leistungen Honorarschätzung in CHF
Grundleistungen nach Zeitaufwand
Besonders vereinbarte Leistungen:
Zuzüglich MWST zum Satz: 7.60% 8'644
4.3. Die Vorinstanz erwog, die Parteien hätten in ihrem Vertrag die "Berechnung des Honorars nach dem Zeitaufwand" explizit erwähnt und auch die Honorarschätzung sei "nach Zeitaufwand" erfolgt. Die Vorinstanz ging sodann auf die SIA-Norm 102 (2003) ein, welche Vertragsbestandteil bilde und wonach es sich bei der Honorierung nach mittleren Stundenansätzen nicht um ein Pauschalhonorar handle. Dabei ging die Vorinstanz ausführlich auf die vertragliche Regelung der Parteien ein. Sie führte zudem aus, eine Honorarschätzung (Ziffer 2.3 des Vertrags) sei auch bei einem Honorar nach Zeitaufwand üblich, weshalb das Argument der Klägerin, beim Festhonorar müsse vorab immer eine Schätzung gemacht werden, nicht greife. Die Schätzung diene beim Honorar nach Zeitaufwand immerhin als Kostendach; der Architekt sei an die Höchstlimite zwar nicht gebunden, habe aber deren Erreichung aufgrund seiner Treue- und Sorgfaltspflicht dem Bauherrn rechtzeitig anzuzeigen. Der Umstand, dass die Parteien hinsichtlich der Teuerung keine Anpassungen vereinbart hätten, lasse nicht auf ein Pauschalhonorar schliessen. Ergänzend hielt die Vorinstanz fest, die Parteien hätten wohl den "Mustervertrag" für Architektenleistungen der SIA, Nr. 1002, Ausgabe 2001, herangezogen. Da die darin enthaltenen anderen möglichen Honorierungsarten im Vertrag nicht enthalten seien, hätten die Parteien bewusst eine konkrete Abrede über die Honorierungsart getroffen. Es lasse sich ein tatsächlich übereinstimmender Parteiwille feststellen und es könne insbesondere gestützt auf den Wortlaut des Vertrages davon ausgegangen werden, dass die Parteien ein Honorar nach Zeitaufwand vereinbart hätten.
4.4. Die Feststellung des übereinstimmenden wirklichen Parteiwillen durch die Vorinstanz ist für das Bundesgericht unter Vorbehalt willkürlicher Beweiswürdigung verbindlich. Die Klägerin begnügt sich in ihren Ausführungen gegen den angefochtenen Entscheid über weite Strecken damit, ihre eigene Sicht der Dinge darzulegen, ohne konkret aufzuzeigen, inwiefern der angefochtene Entscheid willkürlich wäre. Es genügt nicht, wenn die Klägerin einzelne Erwägungen der Vorinstanz als falsch bezeichnet und ausführt, wie ihrer Ansicht nach zu entscheiden wäre. So bringt die Klägerin etwa vor, die Schlussfolgerung der Vorinstanz sei falsch, wonach die Beklagten die Forderungen vor dem Prozess dem Grundsatz nach bestritten hätten. Sie verweist sodann auf eingereichte Schreiben und führt aus, wie diese ihrer Ansicht nach zu würdigen seien. Damit zeigt sie keine Willkür auf. Die Klägerin geht zudem kaum auf die ausführlichen Erwägungen der Vorinstanz zum Vertrag und zur SIA-Norm 102 (2003) ein. Soweit die Klägerin den Begründungsanforderungen nicht genügt, ist auf ihre Beschwerde nicht einzutreten.
4.5. Konkret wirft die Klägerin der Vorinstanz vor, diese habe das Verhalten der Parteien nach Vertragsschluss ignoriert. So habe die Klägerin in den Rechnungen jeweils den im Vertrag vereinbarten Betrag von Fr. 113'735.-- als Grundlage verwendet. Demgegenüber sei in den Rechnungen betreffend das Ferienhaus Amden, die Vorleistungen zum Architekturvertrag und die Nebenkostenabrechnungen der Aufwand gemäss Stundenliste aufgeführt worden, da die Parteien für diese Leistungen eine Honorierung nach effektivem Aufwand vereinbart hätten. Dies spreche dafür, dass vorliegend ein Pauschalhonorar vereinbart worden sei. Die Beklagten hätten zudem nie nach einer Leistungsabrechnung gefragt und hätten die Honorarhöhe von Fr. 113'735.-- vor dem Prozess nie bestritten. Es sei willkürlich, wenn die Vorinstanz diese Tatsachen als nicht relevante Begleitumstände würdige. Weiter sei nicht nachvollziehbar, weshalb ihr Argument, die Prognose des Aufwandes spreche für ein Festhonorar, nach Ansicht der Vorinstanz nicht greife. Die Vorinstanz klammere sich an den Wortlaut des Vertrages und berücksichtige nicht andere Auslegungsregeln. So hätte sie etwa berücksichtigen müssen, dass die Beklagten ganz offensichtlich nie ihren Aufwand von 2'276 Stunden bestritten hätten und die Rechnungsstellung bei einem Zeithonorar damit viel höher hätte ausfallen müssen. Ein solches Ergebnis der Honorarleistung würde aber mitnichten dem Willen der Parteien entsprechen.
4.6. Soweit die Klägerin eine Berücksichtigung anderer Auslegungsregeln fordert, verkennt sie, dass die Vorinstanz den Vertrag nicht nach dem Vertrauensprinzip ausgelegt hat, sondern einen übereinstimmenden wirklichen Willen der Parteien festgestellt hat. Das Bundesgericht greift in diese Beweiswürdigung nur ein, wenn diese willkürlich ist. Dies ist vorliegend nicht der Fall. Die Vorinstanz hat die Vorbringen der Klägerin in ihrer Beweiswürdigung durchaus berücksichtigt. Zur Rechnungsstellung führte die Vorinstanz aus, es sei umstritten, ob die von der Klägerin herangezogenen Rechnungen für "Vorleistungen" tatsächlich solche betroffen hätten. Selbst wenn Vorleistungen zum Architekturvertrag nach Zeitaufwand berechnet worden wären, würde dies mangels weiteren Anhaltspunkten nicht dafür sprechen, dass die Parteien für die eigentlichen Architekturleistungen ein Pauschalhonorar vereinbart hätten. Selbst wenn weiter die Beklagten die Akontorechnungen nie in Frage gestellt bzw. nie nach einer Zeitaufwandaufstellung gefragt hätten, sei festzuhalten, dass sie gerade nicht sämtliche Akontozahlungen beglichen hätten. Die Vorinstanz ist auch auf das Vorbringen der Klägerin eingegangen, wonach bei einem Aufwand von 2'276 Stunden ihr Honorar viel höher ausgefallen wäre, wenn sie nach Zeit abgerechnet hätte. Dazu führte die Vorinstanz aus, es handle sich gemäss Ausführungen der Klägerin bei A._ um einen langjährigen, erfolgreichen Architekten. In Anbetracht dessen spreche der Umstand, dass der von der Klägerin behauptete - nicht vollumfänglich in Rechnung gestellte - Aufwand von 2'276.2 Stunden mehr als das Doppelte über dem geschätzten Aufwand liege, gegen die Vereinbarung eines Pauschalhonorars. Jedenfalls seien die Erfahrungen des Architekten mit der Vorausberechnung von Architektenhonoraren kein Indiz dafür, dass er mit den Beklagten ein Pauschalhonorar hätte vereinbaren wollen. Was schliesslich die Prognose des Aufwandes angeht, so machen die vorinstanzlichen Erwägungen entgegen der Ansicht der Klägerin durchaus Sinn: Wenn eine solche Prognose sowohl beim Honorar nach Zeitaufwand als auch beim Pauschalhonorar üblich ist, ist nicht ersichtlich, inwiefern die Vornahme einer Prognose für ein Pauschalhonorar sprechen soll. Die Vorinstanz hat die Vorbringen der Klägerin in ihrer Beweiswürdigung berücksichtigt. Ihre Erwägungen sind - gerade auch angesichts des klaren Wortlauts des Vertrags - vertretbar. Damit erweist sich die Rüge der Klägerin als unbegründet.
4.7. Ausgehend von der Feststellung, dass die Parteien ein Honorar nach Zeitaufwand vereinbart haben, hat die Vorinstanz der Klägerin eine mangelnde Substanziierung des Aufwandes und damit der gestellten Honorarforderung vorgeworfen. Dagegen bringt die Klägerin einzig vor, die Parteien hätten ein Pauschalhonorar vereinbart, weshalb eine Stundenabrechnung nicht erforderlich sei. Nachdem aber verbindlich feststeht (soeben E. 4.6), dass ein Honorar nach Zeitaufwand geschuldet ist, gehen diese Vorbringen an der Sache vorbei. Dass die Forderung genügend substanziiert ist, wenn von einem Honorar nach Zeitaufwand ausgegangen wird, bringt die Klägerin nicht vor. Damit ist die Beschwerde der Klägerin abzuweisen, soweit darauf einzutreten ist.
5.
Die Beklagten (Verfahren 4A_620/2017) werfen der Vorinstanz vor, sie habe zu Unrecht ihre Rechtsbegehren als ungenügend beziffert beurteilt.
5.1. Die Beklagten wenden sich zunächst gegen die Sachverhaltsfeststellungen der Vorinstanz.
5.1.1. Sie rügen, die Vorinstanz habe willkürlich festgestellt, sie hätten keines ihrer Widerklagebegehren beziffert, weder anfänglich noch nach der Durchführung des Beweisverfahrens. Entgegen dieser Feststellung hätten die Beklagten bereits in der Klagebegründung darauf hingewiesen, sie würden die mutmasslichen Nachbesserungskosten der im Widerklagebegehren Ziffer 1.a aufgeführten Mängel auf mindestens Fr. 200'000.-- beziffern. Die Beklagten hätten zudem mit ihrer Stellungnahme zum Beweisergebnis vom 19. Oktober 2015 eine Kostenschätzung vom 10. Juli 2014 eingereicht. Damit hätten sich die Beklagten über ihre Vorstellungen und damit ihre Ansprüche betreffend Nachbesserungskosten geäussert. Sie hätten also ihr Begehren sehr wohl beziffert, obschon ihres Erachtens eine weitergehende Schätzung erforderlich und vom Gericht einzuholen gewesen wäre. Die Vorinstanz habe im Übrigen bei der Bemessung der Gerichtskosten selbst auf den von den Beklagten bezifferten Mindeststreitwert von Fr. 200'000.-- abgestellt.
Die Vorinstanz hat erwogen, bei unmöglicher oder unzumutbarer Bezifferung könne eine Partei eine unbezifferte Forderungsklage erheben; sie müsse jedoch einen Mindestwert angeben, der als vorläufiger Streitwert gelte (<ref-law>). Aus diesen Erwägungen ergibt sich bereits, dass die Angabe eines Mindestwerts gerade nicht eine genügende Bezifferung darstellt, sondern vielmehr auch bei einer un bezifferten Forderungsklage ein Mindestwert anzugeben ist. Im Übrigen ergibt sich aus den Ausführungen der Beklagten selbst, wonach ihres Erachtens eine weitergehende Schätzung erforderlich gewesen wäre, dass eine genügende Bezifferung nicht erfolgt ist. Jedenfalls hätten die Begehren der Beklagten, selbst unter Berücksichtigung der Widerklagebegründung, nicht zum Urteil erhoben werden können. Die Feststellung der Vorinstanz, die Beklagten hätten ihre Begehren auch nach der Durchführung des Beweisverfahrens nicht beziffert, ist somit nicht willkürlich. Die Rüge ist unbegründet.
5.1.2. Die Beklagten rügen weiter, die Vorinstanz habe willkürlich keine Feststellungen zu den vom Experten geschätzten Nachbesserungskosten getroffen. Das Bundesgericht habe den Sachverhalt entsprechend zu ergänzen.
Nachdem die Vorinstanz zum Schluss kam, die Beklagten hätten ihre Forderungen nicht genügend beziffert und substanziiert, ist nicht ersichtlich, weshalb sie hätte Feststellungen zum Gutachten treffen müssen. Es ist nicht Aufgabe des Gerichts, anhand der im Gutachten genannten Zahlen allenfalls die Rechtsbegehren der Beklagten selbst zu ergänzen. Eine Ergänzung des Sachverhalts ist nicht angezeigt.
5.2. In rechtlicher Hinsicht machen die Beklagten geltend, die Vorinstanz habe <ref-law> verletzt, indem sie die Widerklagebegehren Ziffer 1.a und 1.b als unbezifferte Forderungen i.S.v. <ref-law> bezeichnet habe. Entgegen der Ansicht der Vorinstanz handle es sich bei diesen Begehren nicht um Geldforderungen, sondern um Leistungsbegehren gemäss <ref-law>, womit die Klägerin hätte verpflichtet werden sollen, den Beklagten den erlittenen Schaden zu ersetzen.
Die Beklagten verkennen, dass genau dies eine Geldforderung darstellt. Ein Begehren auf Bezahlung einer Geldforderung stellt ein Leistungsbegehren dar. Dies ergibt sich auch aus <ref-law>: "Wird [mit der Leistungsklage] die Bezahlung eines Geldbetrages verlangt, so ist dieser zu beziffern." Da die Beklagten eine Bezifferung unterlassen haben, ist die Vorinstanz zu Recht von einer unbezifferten Forderungsklage nach <ref-law> ausgegangen. Die Rüge ist unbegründet.
5.3.
5.3.1. Die Beklagten rügen weiter, die Vorinstanz habe sich nicht mit ihrem Anspruch auf (ergänzende) Beweisabnahme zur Frage der Höhe der Nachbesserungskosten auseinandergesetzt. Der Experte habe in seinem vom Gericht eingeholten Gutachten zu den Kosten der Nachbesserung ausgeführt, ein hindernisfreier Ausgang reiche aus, und er habe die Kosten dafür berechnet. Die Beklagten hätten dies kritisiert und hätten darauf beharrt, dass die Bezifferung ihrer Forderungen eine Berechnung der Kosten für die Nachbesserung derjenigen Mängel voraussetze, die sie in ihrem Begehren geltend gemacht hätten (niveauloser Übergang vom Innen- zum Aussenbereich im EG, OG und DG). Die Vorinstanz habe das Recht auf Beweis (<ref-law>), das rechtliche Gehör der Beklagten, das Willkürverbot und das Verbot des überspitzten Formalismus verletzt. Zudem habe sie unzulässige Anforderungen an die Bezifferung der Rechtsbegehren der Widerklage gestellt.
Selbst wenn eine Bezifferung möglich gewesen wäre, so sei den Beklagten eine Bezifferung der Widerklagebegehren Ziffer 1.a und 1.b unzumutbar gewesen. Die Vorinstanz habe mit ihrem gegenteiligen Standpunkt <ref-law> und das Verbot des überspitzten Formalismus verletzt. Die Nachbesserung von mangelhaften Bauteilen lasse sich nämlich nicht durch die Einholung einiger Offerten von "Handwerkerfirmen" organisieren. Selbst der von der Erstinstanz beauftragte Sachverständige habe in seinem Gutachten ausgeführt, die genauen Kosten müssten auf der Basis eines Sanierungsprojektes ermittelt werden. Er habe zudem ausgeführt, die Kosten für das Tiefersetzen der Terrassenbeläge könnten je nach Situation den von ihm angegebenen Betrag deutlich übersteigen. Wenn nicht einmal der mit der Kostenschätzung beauftragte Sachverständige im Rahmen seines Gutachtens die Kosten vorbehaltlos habe schätzen können, könne dies von bauunerfahrenen Parteien wie den Beklagten erst recht nicht verlangt werden. Es wäre den Beklagten zudem unzumutbar gewesen, vorgängig eine Projektplanung durchzuführen, die erfahrungsgemäss und damit notorisch mit erheblichen Kosten verbunden sei. Die Behebung der vom Experten bejahten Baumängel sei komplex, da mehrere Unternehmer (Fensterbauer, Gipser, Gartenbauer, Stahlbauer, Holzbauer, Maler, Bodenleger, Baumeister, Elektriker, Abdichtungsfachmann etc.) zusammenarbeiten müssten.
5.3.2. Die Vorinstanz wies in ihrer Vernehmlassung im bundesgerichtlichen Verfahren darauf hin, dass sie nicht bloss eine mangelhafte Bezifferung der Widerklagebegehren beanstandet, sondern auch eine ungenügende Substanziierung der Forderung festgestellt habe. In der Tat hat die Vorinstanz in E. 3b/bb auf S. 31 erwogen, Forderungen seien nicht nur zu beziffern, sondern eine Forderung sei auch rechtsgenüglich zu behaupten bzw. zu substanziieren. Es hätte den Beklagten oblegen, zunächst Parteibehauptungen zu den einzelnen Schadenspositionen aufzustellen. Auch in ihren Erwägungen zur (eventualiter) verlangten Minderung in E. 3c/aa auf S. 34 wirft die Vorinstanz den Beklagten ausdrücklich mangelnde "Bezifferung und Substantiierung" vor. Entgegen der Ansicht der Beklagten hat die Vorinstanz ihnen somit auch eine ungenügende Substanziierung der Forderung vorgehalten.
5.3.3. Stützt sich der angefochtene Entscheid auf mehrere, voneinander unabhängige Begründungen, muss jede einzelne angefochten werden (vgl. oben E. 3.1). Die Beklagten bringen nichts vor gegen die Erwägungen der Vorinstanz, sie hätten ihre Forderungen nicht genügend substanziiert. Auf ihre Rügen gegen den Schluss der Vorinstanz, die Beklagten hätten ihre Forderungen nicht beziffert, kann somit nicht eingetreten werden. Bei ungenügender Substanziierung und Bezifferung war die Vorinstanz zudem nicht gehalten, sich mit weiteren Beweisanträgen der Beklagten auseinanderzusetzen. Damit sind die Beschwerdeanträge 1 bis 3 der Beklagten abzuweisen, soweit darauf einzutreten ist.
6.
Mit ihrem Eventualantrag 4 machen die Beklagten als Eventualstandpunkt geltend, die Vorinstanz hätte auf ihre Widerklage nicht eintreten sollen, anstatt sie abzuweisen. Sie bringen vor, die Bezifferung einer Forderungsklage sei eine Prozessvoraussetzung und bei Fehlen einer solchen sei auf die Klage nicht einzutreten. Ein Prozessurteil würde ihnen erlauben, erneut eine Klage zu erheben.
Wie soeben (E. 5.3.2) ausgeführt, hat die Vorinstanz nicht bloss eine mangelhafte Bezifferung der Widerklagebegehren beanstandet, sondern auch eine ungenügende Substanziierung der Forderung festgestellt. Vor diesem Hintergrund hat die Vorinstanz kein Bundesrecht verletzt, wenn sie die Widerklage abwies, soweit sie darauf eintrat. Die Beschwerde der Beklagten ist abzuweisen, soweit darauf einzutreten ist.
7.
Die Beschwerde der Klägerin (Verfahren 4A_622/2017) ist abzuweisen, soweit darauf einzutreten ist. Die Klägerin wird für das Verfahren 4A_622/2017 kosten- und entschädigungspflichtig (Art. 66 Abs. 1, Art. 68 Abs. 1 und 2 BGG).
Die Beschwerde der Beklagten (Verfahren 4A_620/2017) ist abzuweisen, soweit darauf einzutreten ist. Die Beklagten werden für das Verfahren 4A_620/2017 (unter solidarischer Haftbarkeit und intern zu gleichen Teilen) kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 5, Art. 68 Abs. 1, 2 und 4 i.V.m. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Verfahren 4A_622/2017 und 4A_620/2017 werden vereinigt.
2.
Die Beschwerden in den Verfahren 4A_622/2017 und 4A_620/2017 werden abgewiesen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten für das Verfahren 4A_622/2017 von Fr. 5'000.-- werden der Klägerin auferlegt und die Klägerin hat die Beklagten für dieses Verfahren mit insgesamt Fr. 6'000.-- zu entschädigen.
4.
Die Gerichtskosten für das Verfahren 4A_620/2017 von Fr. 6'000.-- werden den Beklagten (unter solidarischer Haftbarkeit, intern zu gleichen Teilen) auferlegt und die Beklagten haben die Klägerin für dieses Verfahren mit Fr. 7'000.-- zu entschädigen (unter solidarischer Haftbarkeit, intern zu gleichen Teilen).
5.
Dieses Urteil wird den Parteien und dem Kantonsgericht Schwyz, 1. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 28. Juni 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Die Gerichtsschreiberin: Marti-Schreier