Sachverhalt:
A.
A.A._ und B.A._ (Beklagte; Beschwerdeführer) und die C._ AG (Klägerin; Beschwerdegegnerin) schlossen am 20. Dezember 2013 einen Werkvertrag über Baumeisterarbeiten ab. Darin wurde ein "Total brutto" von Fr. 407'613.90 bzw. unter Berücksichtigung eines Rabatts, eines Skontos sowie der Mehrwertsteuer ein "Total netto inkl. Mehrwertsteuer" von Fr. 418'476.-- vereinbart. Nach Vertragsschluss verlangten die Beklagten Projektänderungen.
Die Klägerin hat den Werkvertrag bis auf geringfügige Restarbeiten, welche die Beklagten absprachegemäss selber erledigten, erfüllt, ohne dass von den Beklagten Werkmängel geltend gemacht wurden. Am 16. Dezember 2014 unterbreitete die Klägerin den Beklagten eine Schlussrechnung über den Betrag von "Total brutto" Fr. 456'470.75 und verlangte unter Berücksichtigung von Rabatt, Skonto, Mehrwertsteuer und den von den Beklagten erbrachten Teilzahlungen eine Restzahlung von Fr. 74'098.80.
B.
Nachdem die Beklagten diese verweigerten, begehrte die Klägerin mit Klage vom 12. November 2015 beim Bezirksgericht Kulm, die Beklagten seien unter solidarischer Haftbarkeit zu verurteilen, ihr einen Betrag von Fr. 83'662.75 zuzüglich Zins sowie die Kosten der Zahlungsbefehle und des Friedensrichterverfahrens zu bezahlen.
Nachdem die Beklagten in der Klageantwort Mehrkosten im Umfang von insgesamt Fr. 25'759.15 anerkannt hatten und die Klägerin hinsichtlich der eingeklagten Zahlungsbefehlskosten über Fr. 206.60 den Klagerückzug erklärt hatte, schrieb das Bezirksgericht mit Entscheid vom 24. Januar 2017 das Verfahren insoweit als erledigt ab (Dispositivziffer 1 und 2). Im Mehrbetrag verurteilte es die Beklagten in solidarischer Haftbarkeit, der Klägerin Fr. 57'903.60 nebst Zins zu bezahlen (Dispositivziffer 3) und auferlegte den Beklagten die Kosten- und Entschädigungsfolgen (Dispositivziffer 4 und 5).
Dagegen erhoben die Beklagten Berufung an das Obergericht des Kantons Aargau und begehrten, der vorinstanzliche Entscheid sei bezüglich der Dispositivziffern 3, 4 und 5 aufzuheben und die Klage sei im nicht anerkannten Umfang (Fr. 57'903.60 nebst Zins) abzuweisen. Mit Entscheid vom 12. Dezember 2017 wies das Obergericht die Berufung ab.
C.
Mit Beschwerde in Zivilsachen begehren die Beschwerdeführer, der Entscheid des Obergerichts sei aufzuheben und die Klage im nicht anerkannten Umfang nebst Zins abzuweisen beziehungsweise zur Neubeurteilung an das Obergericht zurückzuweisen.
Es wurden keine Vernehmlassungen eingeholt.
Das Gesuch um Erteilung der aufschiebenden Wirkung wurde mit Verfügung vom 23. Februar 2018 abgewiesen.

Erwägungen:
1.
Die Sachurteilsvoraussetzungen sind erfüllt, insbesondere auch das Streitwerterfordernis von <ref-law> mit einem Streitwert Fr. 57'903.60, und geben zu keinen Bemerkungen Anlass. Unter Vorbehalt einer rechtsgenüglichen Begründung (Art. 42 Abs. 2 und <ref-law>; vgl. Erwägung 2) ist daher auf die Beschwerde einzutreten.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von Bundesrecht liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>).
Für eine Kritik am festgestellten Sachverhalt gilt das strenge Rügeprinzip von <ref-law> (<ref-ruling> E. 2.3 S. 266 mit Hinweisen). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90). Genügt die Kritik diesen Anforderungen nicht, können Vorbringen mit Bezug auf einen Sachverhalt, der vom angefochtenen Entscheid abweicht, nicht berücksichtigt werden (<ref-ruling> E. 1.3.1 S. 18).
2.3. Diesen Anforderungen, die an Sachverhaltsrügen gestellt werden, genügen die Beschwerdeführer nicht, soweit sie entgegen der Feststellung der Vorinstanz, wonach die Beschwerdeführer seit 2008 in der Baubranche tätig seien, behaupteten, dass sie "lediglich kleinere Umbauten vorgenommen" hätten, ohne hinreichend konkret aufzuzeigen, inwiefern jene Feststellung offensichtlich unrichtig wäre. Gleiches gilt, wenn sie die Beweiswürdigung der Vorinstanz im Zusammenhang mit der "Zusicherung" eines Kostendachs pauschal als willkürlich bezeichnen, ohne hinreichend darzulegen inwiefern die vorinstanzliche Beweiswürdigung offensichtlich unrichtig wäre (vgl. <ref-ruling> E. 2.3 S. 266).
3.
3.1. Die Beschwerdeführer beanstanden, die Vorinstanz qualifiziere den Werkvertrag zu Unrecht als "Einheitsvertrag" ohne Kostendach. Zwar habe die Vorinstanz anerkannt, dass ein Vertrag nach dem wirklichen Willen auszulegen sei. Sie weigere sich aber, den wirklichen Willen der Vertragsparteien zu ergründen. In der Klageantwort sei rechtsgenüglich behauptet worden, der im Werkvertrag vereinbarte Werkpreis von Fr. 418'476.-- stelle eine absolute Kostenlimite dar. In der Berufung sei dies als unrichtige Feststellung des Sachverhalts gerügt worden, weil der wirkliche Wille der Parteien nicht abgeklärt worden sei. Indem die Vorinstanz den tatsächlichen Willen der Parteien nicht im Beweisverfahren prüfe, verletze sie den Vorrang der subjektiven vor der objektivierten Auslegung (<ref-law>) sowie das rechtliche Gehör (<ref-law>).
3.2. Die Vorinstanz erwog dazu, im vorliegenden Fall spreche das normative Auslegungsergebnis für die Verabredung nach Einheitspreisen. Für den Beweis einer Einigung der Parteien dahingehend, dass es sich beim im Werkvertrag genannten Totalbetrag um einen Höchstpreis (im Sinne einer absoluten Kostenlimite bzw. eines Kostendachs) - selbst für den Fall einer künftigen Bestellungsänderung - handeln sollte, genüge es nicht, dass die Beschwerdeführer behaupten würden, sie hätten stets ein solches Vertragsverständnis gehabt und die Beschwerdegegnerin habe ihrerseits nie behauptet, sie habe keinen Werkvertrag mit Kostendach abschliessen wollen bzw. sei "indifferent" gewesen. Vielmehr hätten die Beschwerdeführer zuerst behaupten müssen, dass beide Parteien beim Vertragsschluss hinsichtlich des Vertragsinhalts positiv den gleichen übereinstimmenden, vom objektiven Erklärten abweichenden Willen aufgewiesen hätten. Nur wenn diese (tatsächliche) Behauptung von der Beschwerdegegnerin nicht bestritten worden wäre, wären die Beschwerdeführer von der (subjektiven) Beweislast für ihre Behauptung eines vom objektiv Erklärten abweichenden, tatsächlichen übereinstimmenden Willens befreit gewesen.
Die von den Beschwerdeführern vor der Erstinstanz gegebene Sachdarstellung spreche im Übrigen klar dagegen, dass sie selbst das im Werkvertrag vom 20. Dezember 2013 ausgesetzte Total als reinen Höchstpreis verstanden hätten. Sie sei nämlich dahin gegangen, dass die Beschwerdeführer der Beschwerdegegnerin "im Verlauf der Bauarbeiten immer wieder klar und deutlich [gesagt hätten], dass das Werk nicht mehr kosten [dürfe] als im Werkvertrag vorgesehen" sei. Selbst wenn die Beschwerdeführer - was nicht bewiesen sei - während der Vertragserfüllung gegenüber der Beschwerdegegnerin solche Vorstellungen geäussert haben sollten, erscheine es ausgeschlossen, dass die fachkundig durch einen Architekten vertretenen und auch selber fachkundigen Beschwerdeführer bei Unterzeichnung des Werkvertrages davon ausgingen, dass das darin ausgesetzte Total auch für den Fall von Bestellungsänderungen mit Mehraufwand das Kostendach bilde. Der Umstand, dass die Beschwerdeführer - nach der Bestellungsänderung - jeden Handwerker "immer wieder" nach dem Stand der Kosten gefragt haben wollen, ist im Gegenteil ein Indiz dafür, dass sie sich bewusst gewesen waren, dass die Vergütungshöhe im Werkvertrag nicht nach oben limitiert gewesen sei.
Schon gar nichts liege dafür vor, dass die Beschwerdegegnerin beim Vertragsschluss eine solche Vorstellung der Beschwerdeführer hinsichtlich des Vorliegens einer umfassenden Höchstpreisabrede selbst für den Fall einer Bestellungsänderung erkannt hätte oder hätte erkennen müssen, sodass nach dem Vertrauensprinzip eine entsprechende Einigung zustande gekommen wäre. Eine solche umfassende Höchstpreisabrede müsse aber zweifelfrei vereinbart sein.
3.3. Nach dem Ausgeführten ist zwar zutreffend, dass die Vorinstanz zunächst erwog, dass die Beschwerdeführer einen übereinstimmenden wirklichen Willen der beiden Vertragsparteien nicht hinreichend behauptet haben. Sie erwog aber in der Folge, dass die von den Beschwerdeführern erstinstanzlich gegebene Sachdarstellung "im Übrigen" klar dagegen spreche, dass diese das im Werkvertrag ausgesetzte Total als reinen Höchstpreis verstanden hatten. Die Vorinstanz stellte damit in einer Beweiswürdigung fest, dass es nicht dem tatsächlichen Willen der Beschwerdeführer entsprochen habe, einen Werkvertrag mit "absoluter Kostenlimite" zu vereinbaren. Da es bereits an einem solchen tatsächlichen Willen der Beschwerdeführer als der einen Vertragspartei fehlte, konnte diesbezüglich kein übereinstimmender wirklicher Wille der Vertragsparteien festgestellt werden. Entgegen der Auffassung der Beschwerdeführer "weigerte" sich die Vorinstanz damit nicht, den wirklichen Willen der Vertragsparteien zu ergründen, sondern sie kam im Gegenteil in einer selbstständig tragenden Eventualerwägung zum Schluss, dass ein solcher Wille nicht feststehe.
3.4. Beruht der angefochtene Entscheid auf mehreren selbständigen Begründungen, die je für sich den Ausgang des Rechtsstreits besiegeln, so hat die beschwerdeführende Partei darzulegen, dass jede von ihnen Recht verletzt; denn soweit nicht beanstandete Begründungen das angefochtene Urteil selbstständig stützen, fehlt das Rechtsschutzinteresse an der Beurteilung der gehörig begründeten Rügen (<ref-ruling> E. 3.4 S. 735; Urteil 4A_271/2016 vom 16. Januar 2017, E. 4.3 nicht publ. in <ref-ruling>).
Diesen Anforderungen kommen die Beschwerdeführer nicht nach, denn sie wenden sich einzig gegen die Haupterwägung der Vorinstanz, wonach die Beschwerdeführer den übereinstimmenden wirklichen Willen beider Parteien nicht hinreichend behauptet hätten. Die selbstständig tragende Eventualerwägung der Vorinstanz, wonach kein übereinstimmender wirklicher Wille feststehe, beanstanden sie vor Bundesgericht nicht. Auf die Beschwerde ist daher mangels Rechtsschutzinteresse nicht einzutreten.
4.
Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer in solidarischer Haftbarkeit kostenpflichtig (<ref-law>). Der Beschwerdegegnerin ist kein Aufwand entstanden, für den sie nach <ref-law> zu entschädigen wäre.

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde wird nicht eingetreten.
2.
Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern in solidarischer Haftbarkeit auferlegt.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 1. Kammer, schriftlich mitgeteilt.
Lausanne, 12. Juni 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger