Sachverhalt:
A.
A._ und B._ (Beschwerdeführer) einerseits sowie die C._ AG (Beschwerdegegnerin) andererseits schlossen am 19. März 2012 eine als "Kaufvertrag" bezeichnete Vereinbarung über den Erwerb einer Wohnung im Stockwerkeigentum ab Plan. Die C._ AG verpflichtete sich darin, die Wohnung als Generalunternehmerin zum Pauschalpreis von Fr. 1'070'000.-- gemäss separatem Baubeschrieb mit Nutzungsvereinbarung schlüsselfertig zu erstellen.
B.
Am 7. September 2015 reichten A._ und B._ beim Bezirksgericht Zürich eine Klage ein, mit der sie verlangten, die C._ AG sei zu verurteilen, die Forderung in Höhe von Fr. 93'620.60 nebst Zins zu 5 % seit 3. März 2015 "anzuerkennen" und ihnen diesen Betrag zu bezahlen. Mit ihrer Replik änderten sie ihr Rechtsbegehren insoweit, als sie den eingeklagten Betrag auf Fr. 92'997.70 reduzierten.
Mit Urteil vom 17. April 2018 wies das Bezirksgericht die Klage ab.
A._ und B._ fochten dieses Urteil mit Berufung beim Obergericht des Kantons Zürich an. Dieses wies die Berufung mit Urteil vom 27. September 2018 ab.
C.
A._ und B._ verlangen mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vom 27. September 2018 sei aufzuheben und die C._ AG sei zu verurteilen, die Forderung in Höhe von Fr. 92'997.70 nebst Zins zu 5 % seit 3. März 2015 "anzuerkennen" und ihnen diesen Betrag zu bezahlen. Eventualiter sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Es wurden keine Vernehmlassungen eingeholt.

Erwägungen:
1.
Das angefochtene Urteil des Obergerichts ist ein Endentscheid (<ref-law>) einer Vorinstanz im Sinne von <ref-law>. Weiter übersteigt der Streitwert den nach <ref-law> geltenden Mindestbetrag von Fr. 30'000.--. Die Beschwerde in Zivilsachen ist damit grundsätzlich zulässig.
2.
2.1. Mit Beschwerde in Zivilsachen können Rechtsverletzungen nach Art. 95 und 96 BGG gerügt werden. Die Beschwerde ist hinreichend zu begründen, ansonsten darauf nicht eingetreten werden kann (<ref-ruling> E. 2 S. 116; <ref-ruling> E. 2.1). In der Beschwerdeschrift ist in gedrängter Form darzulegen, inwiefern der angefochtene Akt Recht verletzt (<ref-law>). Unerlässlich ist dabei, dass auf die Begründung des angefochtenen Entscheids eingegangen und im Einzelnen aufgezeigt wird, worin eine vom Bundesgericht überprüfbare Rechtsverletzung liegt. Die beschwerdeführende Partei soll in der Beschwerde an das Bundesgericht nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 116, 86 E. 2 S. 89).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dazu gehören sowohl die Feststellungen über den streitgegenständlichen Lebenssachverhalt als auch jene über den Ablauf des vor- und erstinstanzlichen Verfahrens, also die Feststellungen über den Prozesssachverhalt (<ref-ruling> E. 1.3.1 mit Hinweisen). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 2 S. 117; <ref-ruling> E. 1.5). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein können (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Die Partei, welche die Sachverhaltsfeststellung der Vorinstanz anfechten will, muss klar und substanziiert aufzeigen, inwiefern diese Voraussetzungen erfüllt sein sollen (<ref-ruling> E. 1.3.1 S. 18 mit Hinweisen). Wenn sie den Sachverhalt ergänzen will, hat sie zudem mit präzisen Aktenhinweisen darzulegen, dass sie entsprechende rechtsrelevante Tatsachen und taugliche Beweismittel bereits bei den Vorinstanzen prozesskonform eingebracht hat (<ref-ruling> E. 2 S. 90).
2.3. Die Beschwerdeführer können daher von vornherein insoweit nicht gehört werden, als sie in ihrer Beschwerde den streitgegenständlichen Sachverhalt und die Prozessgeschichte aus eigener Sicht darstellen und dabei von den tatsächlichen Feststellungen im angefochtenen Urteil abweichen, ohne im Einzelnen hinreichend begründete Sachverhaltsrügen gemäss den eben dargelegten Grundsätzen zu formulieren. Ebenfalls nicht hinreichend ist es, wenn sie zur Begründung der Beschwerde auf die Berufungsschrift und die Eingaben vor der Erstinstanz verweisen oder die Erheblichkeit einer angeblich willkürlichen Sachverhaltsfeststellung für den Ausgang des Verfahrens einzig damit begründen, die Bindung des Bundesgerichts an die fehlerhafte Feststellung könne "zu einem Rechtsnachteil für die Beschwerdeführer führen".
3.
Die Vorinstanz führte aus, die Beschwerdeführer stützten ihre Forderung auf vier Vertragsabweichungen beziehungsweise daraus (angeblich) folgende werkvertragliche Gewährleistungsrechte. Die Erstinstanz habe in der Hauptbegründung das Vorliegen von Werkmängeln verneint. Im Sinne einer Eventualbegründung sei sie zum Schluss gekommen, dass die Klage selbst bei Vorliegen von Mängeln abzuweisen gewesen wäre, da die geltend gemachte Forderungssumme derart unsubstanziiert sei.
Die Vorinstanz schützte diese Eventualbegründung. Sie erwog, mit der in der Klageschrift aufgeführten Liste von Rechnungen, Offerten etc. lasse sich insbesondere nicht nachvollziehen, welche Arbeiten respektive Aufwendungen geleistet worden sein sollen, um die behaupteten Mängel zu beseitigen. Da die Beschwerdegegnerin die klägerischen Vorbringen bestritten habe, sei es an den Beschwerdeführern gewesen, die entsprechenden Tatsachen rechtzeitig in den Prozess einzubringen. Der blosse Verweis auf als Beweismittel eingereichte Unterlagen genüge hierfür nicht. Abgesehen davon ergebe sich aus den Beilagen teilweise nicht einmal, welche Aufwendungen auf welchen behaupteten Mangel entfallen sein sollen, und es sei bei mehreren Positionen unklar, was sie mit der geltend gemachten Ersatz- beziehungsweise Minderungsforderung zu tun hätten.
4.
4.1. Unter dem Titel "Aktenwidrige Sachverhaltsfeststellung" kritisieren die Beschwerdeführer zunächst, es seien in der Berufungsschrift vorgebrachte Sachverhaltsbehauptungen von der Vorinstanz in willkürlicher Weise nicht berücksichtigt worden. Aus den nachfolgenden Ausführungen erhellt, dass diese Behauptungen das Vorliegen von Mängeln und entsprechend die Hauptbegründung des Bezirksgerichts betrafen. Die vor Bundesgericht vorgebrachte Kritik geht damit an den Erwägungen der Vorinstanz vorbei, die sich einzig mit der erstinstanzlichen Eventualbegründung (unzureichende Substanziierung der Forderungssumme) auseinandersetzte. Fehl geht zudem der Hinweis der Beschwerdeführer, sie hätten gestützt auf <ref-law> vor der Vorinstanz das Recht gehabt, die Feststellungen im erstinstanzlichen Urteil zu ergänzen (vgl. <ref-law>).
4.2. Die Beschwerdeführer rügen sodann die Verletzung verschiedener "Bestimmungen zum Mass der Behauptungs- und Substantiierungslast und damit auch zur Beweislast". Sie nennen <ref-law> und Art. 55, Art. 150, Art. 152 sowie Art. 222 Abs. 2 ZPO. Die vorinstanzliche Verteilung der Behauptungs- und Substanziierungslast kritisieren sie dabei nicht als bundesrechtswidrig, sondern sie legen diese im Gegenteil - jedenfalls sinngemäss - ihren eigenen Ausführungen zugrunde.
Die Vorinstanz stellte fest, die Beschwerdegegnerin habe in der Klageantwort einerseits bestritten, dass die im Hinblick auf die Ersatzvornahme in Rechnung gestellten Arbeiten überhaupt ausgeführt worden seien, und andererseits bemängelt, dass aus der Klagebegründung nicht hervorgehe, was geleistet worden sei. Es gelingt den Beschwerdeführern nicht, diese Feststellung über den Prozesssachverhalt als willkürlich auszuweisen. Sie führen einzig aus, die Bestreitung der Beschwerdegegnerin im erstinstanzlichen Verfahren sei "nur pauschal mit Bezug auf die Klage" erfolgt, und verweisen diesbezüglich auf Erwägung 2.1 im angefochtenen Urteil. An dieser Stelle legte die Vorinstanz die Prozessgeschichte dar und hielt fest, dass die Beschwerdegegnerin die Klage als solche bestreite. Die Bestreitungen der Beschwerdegegnerin in der Sache werden von der Vorinstanz indes in deren Erwägungen 3.4 und 3.5 zitiert und eingeordnet, worauf die Beschwerdeführer nicht eingehen. Der Vorwurf, die Vorinstanz habe es unterlassen zu erklären, "auf welche inexistente Bestreitung die Beschwerdeführer hätten substantiiert entgegnen sollen", ist nicht nachvollziehbar. Das Gleiche gilt für die Behauptung, erst in der Duplik sei eine hinreichende Bestreitung erfolgt.
Entsprechend ist der Schluss der Vorinstanz, die Beschwerdeführer hätten ihre Vorbringen substanziieren müssen, nicht zu beanstanden. Die Vorinstanz hielt weiter fest, der blosse Verweis auf als Beweismittel eingereichte Unterlagen genüge hierfür nicht. Was die Beschwerdeführer dagegen einwenden, verfängt nicht. Insbesondere zeigen sie nicht auf, inwiefern es vorliegend im Sinne der bundesgerichtlichen Rechtsprechung (vgl. Urteil 4A_443/2017 vom 30. April 2018 E. 2.2 mit Hinweisen) ausnahmsweise zulässig sein könnte, den Substanziierungsobliegenheiten durch Verweis auf eine Beilage nachzukommen. Eine solche Ausnahme begründen sie auch nicht mit ihrer Kritik, es sei nicht nachvollziehbar, wieso "eine Handwerkerrechnung inhaltlich in einer Klageschrift repetiert werden müsste, um der Behauptungspflicht Genüge zu tun". Damit gehen die verschiedenen darauf aufbauenden Rügen von vornherein ins Leere, soweit sie nicht ohnehin unzureichend begründet sind. Dies gilt insbesondere für die Beanstandung "aktenwidriger Feststellungslücken" mit Bezug auf die offerierten Beweismittel und den Vorwurf, der Anspruch auf rechtliches Gehör sowie die Regeln über neue Tatsachen und Beweismittel im Sinne von <ref-law> seien verletzt worden.
4.3. Damit erübrigt es sich, zu den Einwänden Stellung zu nehmen, welche die Beschwerdeführer im Abschnitt "4. Strittige Vertragsabweichung" für den Fall vortragen, dass sie mit ihrer Rüge durchdringen.
5.
Die Beschwerde ist abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten gemäss Art. 66 Abs. 1 und 5 BGG den Beschwerdeführern in solidarischer Haftbarkeit aufzuerlegen. Der Beschwerdegegnerin ist kein Aufwand entstanden, für den sie nach <ref-law> zu entschädigen wäre.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 5'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
3.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, I. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 17. Dezember 2018
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Stähle