Sachverhalt:
A.
A.A._ und B.A._ (Beklagte, Beschwerdeführer) setzten mit Zahlungsbefehlen des Betreibungsamtes Winterthur-Stadt vom 26. September 2013 (Betreibung Nr. xxx) und vom 1. November 2013 (Betreibung Nr. yyy) zwei Forderungen von Fr. 3'934.-- und Fr. 3'525.-- zuzüglich Zins gegen den C._Verband (Klägerin 1, Beschwerdegegnerin 1) sowie eine Forderung von Fr. 8'331.-- zuzüglich Zins gegen die D._AG (Klägerin 2, Beschwerdegegnerin 2) in Betreibung.
B.
B.a. Mit Eingaben vom 4. November 2013 bzw. 3. Dezember 2013 erhoben die Klägerinnen beim Bezirksgericht Winterthur negative Feststellungsklagen gestützt auf <ref-law> gegen die Beklagten.
Das Bezirksgericht vereinigte die beiden Verfahren. An der Hauptverhandlung vom 25. August 2014 unterzeichneten der Beklagte 1 für sich und namens der Beklagten 2 sowie die Klägerinnen nach Vergleichsgesprächen unter gerichtlicher Mitwirkung einen Vergleich. Darin hielten die Parteien im Wesentlichen fest, dass die Klägerinnen die von den Beklagten in Betreibung gesetzten Forderungen nicht schuldeten, und ersuchten das Gericht um Aufhebung der Betreibungen. Ausserdem verpflichteten sich die Beklagten keine weiteren Betreibungen gegen die Klägerinnen anzuheben, wobei im Widerhandlungsfall eine Strafzahlung von Fr. 5'000.-- fällig werde.
Mit Eingabe vom 29. August 2014 und Ergänzung vom 1. September 2014 teilten die Beklagten dem Bezirksgericht ihren sofortigen Rücktritt vom Vergleich mit. Mit Verfügung vom 2. September 2014 schrieb das Bezirksgericht das Verfahren als durch Vergleich erledigt ab.
B.b. Mit Eingabe vom 27. September 2014 stellen die Beklagten beim Bezirksgericht ein Revisionsgesuch. Am 30. September 2014 erhoben die Beklagten ausserdem beim Obergericht des Kantons Zürich Beschwerde gegen den erstinstanzlichen Abschreibungsentscheid. Mit Beschluss vom 20. November 2014 trat das Obergericht auf die Beschwerde nicht ein und überwies die Akten zur Behandlung des Revisionsgesuchs an das Bezirksgericht. Mit Urteil vom 9. Februar 2015 wies dieses das Revisionsgesuch ab.
B.c. Eine gegen dieses Urteil erhobene Beschwerde der Beklagten wies das Obergericht mit Entscheid vom 13. August 2015 ab.
Es kam im Wesentlichen zu Schluss, dass der Beweisantrag um Zeugenbefragung der Ersatzrichterin der Erstinstanz, die beim gerichtlichen Vergleich mitgewirkt hatte, von den Beklagten erstmals im Beschwerdeverfahren gestellt wurde und damit verspätet sei. Ebenso unzulässig seien die in der Beschwerde enthaltenen neuen Tatsachenbehauptungen zur Drucksituation, in der sich der Beklagte 1 während den erstinstanzlichen Vergleichsverhandlungen befunden haben soll. Weder aus dem Protokoll der Verhandlung vom 25. August 2014 noch aus den weiteren Akten des erstinstanzlichen Verfahrens oder aus dem abgeschlossenen Vergleich selbst gehe hervor, dass der Beklagte 1 vor der Erstinstanz gedrängt worden wäre, die fragliche Vereinbarung zu unterzeichnen. Die Erstinstanz habe damit das Revisionsgesuch zu Recht als unbegründet qualifiziert.
C.
Die Beschwerdeführer verlangen mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde, es sei der Entscheid des Obergerichts aufzuheben und es sei die vor Bezirksgericht abgeschlossene und gerichtlich genehmigte Parteivereinbarung aufzuheben.
Die Beschwerdegegnerinnen beantragen, die Beschwerde sei abzuweisen. Die Vorinstanz verzichtete auf eine Vernehmlassung zur Beschwerde.
Die Beschwerdeführer reichten eine weitere Eingabe ein.

Erwägungen:
1.
1.1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-law>; <ref-ruling> E. 2; <ref-ruling> E. 1; je mit Hinweisen); immerhin muss die Eingabe auch bezüglich der Eintretensvoraussetzungen hinreichend begründet werden (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 4 S. 342; <ref-ruling> E. 1).
1.2. In vermögensrechtlichen Angelegenheiten, wie hier eine vorliegt, ist die Beschwerde in Zivilsachen grundsätzlich nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (<ref-law>). Erreicht der Streitwert den massgebenden Betrag wie in casu nicht, ist sie dennoch zulässig, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>).
1.3. Der Begriff der Rechtsfrage von grundsätzlicher Bedeutung im Sinne von <ref-law> ist sehr restriktiv auszulegen (<ref-ruling> E. 1.2; <ref-ruling> E. 1.1). Soweit es bei der aufgeworfenen Frage lediglich um die Anwendung von Grundsätzen der Rechtsprechung auf einen konkreten Fall geht, handelt es sich nicht um eine Rechtsfrage von grundsätzlicher Bedeutung (<ref-ruling> E. 1.3 S. 4, 397 E. 1.2 S. 399; <ref-ruling> E. 1.2 S. 117; <ref-ruling> E. 1 S. 494 ff.; je mit Hinweisen). Die Voraussetzung von <ref-law> ist hingegen erfüllt, wenn ein allgemeines und dringendes Interesse besteht, dass eine umstrittene Frage höchstrichterlich geklärt wird, um eine einheitliche Anwendung und Auslegung des Bundesrechts herbeizuführen und damit eine erhebliche Rechtsunsicherheit auszuräumen (<ref-ruling> E. 1.3; <ref-ruling> E. 1.2 S. 210; <ref-ruling> E. 2.3; je mit Hinweisen). Es ist erforderlich, dass die Frage von allgemeiner Tragweite ist (<ref-ruling> E. 1.2).
Ist eine Beschwerde nur unter der Voraussetzung zulässig, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt, ist in der Beschwerdeschrift auszuführen, warum diese Voraussetzung erfüllt ist (<ref-law>), ansonsten die Beschwerde in Zivilsachen unzulässig ist (<ref-ruling> E. 2.6; <ref-ruling> E. 2.2.2.1, 645 E. 2.4).
1.4. Die Beschwerdeführer meinen, dass sich die Rechtsfrage von grundsätzlicher Bedeutung stelle, ob sich eine gerichtlich genehmigte Vereinbarung wegen Drohung nach <ref-law> aufheben lasse. In der Rechtsprechung würden sich nur höchstrichterliche Entscheide zur Aufhebung von gerichtlichen Vergleichen wegen Grundlagenirrtums finden. Es bestehe somit ein erhebliches Interesse daran, diese Frage klären zu lassen.
Entgegen der Auffassung der Beschwerdeführer hat das Bundesgerichts bereits mehrfach entschieden, dass auf einen Vergleich die Regeln über die Willensmängel anwendbar sind, sofern sie nicht seiner besonderen Natur widersprechen (<ref-ruling> E. 1.2 mit Hinweisen; für die Anfechtung gestützt auf Art. 29 f. OR: <ref-ruling>). Entsprechend vermögen sie nicht darzulegen, dass sich eine Rechtsfrage von grundsätzlicher Bedeutung im oben beschriebenen Sinne stellt. Da sich keine Rechtsfrage von grundsätzlicher Bedeutung im Sinne von <ref-law> stellt, ist die Beschwerde in Zivilsachen unzulässig und es ist nicht darauf einzutreten.
2.
Demnach ist die Beschwerde als subsidiäre Verfassungsbeschwerde zu behandeln (<ref-law>). Zu prüfen ist allerdings, ob rechtsgenügend begründete Verfassungsrügen erhoben werden.
2.1. Mit subsidiärer Verfassungsbeschwerde kann die Verletzung von verfassungsmässigen Rechten gerügt werden (<ref-law>). Der Beschwerdeführer muss angeben, welches verfassungsmässige Recht verletzt wurde, und substanziiert darlegen, worin die Verletzung besteht (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 1.4; <ref-ruling> E. 1.6; <ref-ruling> E. 3.2 S. 444). Unerlässlich ist, dass die Beschwerde auf die Begründung des angefochtenen Entscheids eingeht und im Einzelnen aufzeigt, worin eine Verletzung von verfassungsmässigen Rechten liegt. Die beschwerdeführende Partei soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die sie im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit ihrer Kritik an den als verfassungswidrig erachteten Erwägungen der Vorinstanz ansetzen (<ref-ruling> E. 2 S. 89, 115 E. 2 S. 116). Auf rein appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (<ref-ruling> E 2.2).
2.2. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie auf einer Verletzung verfassungsmässiger Rechte beruht (Art. 116 i.V.m. <ref-law>; <ref-ruling> E. 7.1, 585 E. 4.1; je mit Hinweisen). Wird Letzteres geltend gemacht, ist neben der Erheblichkeit der gerügten Tatsachenfeststellung für den Ausgang des Verfahrens klar und detailliert darzutun, inwiefern diese verfassungswidrig, insbesondere willkürlich, sein soll (<ref-ruling> E. 2.2; <ref-ruling> E. 7.1 S. 398; je mit Hinweisen).
3.
3.1. Die Beschwerdeführer rügen zunächst eine Verletzung ihres Anspruchs auf rechtliches Gehör. Die Vorinstanz habe sich geweigert, die Ersatzrichterin, die beim gerichtlichen Vergleich mitwirkte, als Zeugin zu befragen. Damit sei ihr Recht auf Beweisabnahme verletzt.
Die Vorinstanz erwog, dass die Beschwerdeführer erstmals im Beschwerdeverfahren beantragt haben, die Ersatzrichterin sei zum genauen Ablauf der Vergleichsverhandlungen als Zeugin zu befragen. Die Anrufung der zuständigen Ersatzrichterin als Zeugin wäre dabei schon vor der Erstinstanz ohne weiteres möglich gewesen. Ein entsprechender Antrag könne auch von den im erstinstanzlichen Verfahren noch nicht anwaltlich vertretenen Beschwerdeführern verlangt werden. Der neue Beweisantrag sei daher verspätet und für das vorinstanzliche Beschwerdeverfahren nicht zuzulassen.
Dass sie entgegen den Feststellungen der Vorinstanz den Beweisantrag rechtzeitig gestellt hätten, legen die Beschwerdeführer nicht dar. Damit entfällt aber auch eine Verletzung des rechtlichen Gehörs, betrifft doch das daraus fliessende Recht auf Beweis nur die Abnahme von rechtzeitig und formrichtig angebotenen Beweismitteln (<ref-ruling> E. 5.3; <ref-ruling> E. 3 S. 157; je mit Hinweisen). Die Rüge der Beschwerdeführer geht damit fehl.
3.2. Die Beschwerdeführer rügen sodann, die Vorinstanz sei ohne konkrete Würdigung der Rügen der Beschwerdeführer zum Schluss gekommen, es bestünden keine konkreten Anhaltspunkte für eine Drucksituation und die über die Klage hinausgehenden Verpflichtungen seien nicht ungewöhnlich. Ihre Rügen seien zwar mehr oder weniger vollständig zitiert worden, jedoch in keiner Weise konkret geprüft worden. Durch diese Pauschalbegründung sei die Vorinstanz in Willkür verfallen.
Inwiefern die Vorinstanz hier in Willkür verfallen sein soll, wird mit diesen Ausführungen durch die Beschwerdeführer nicht hinreichend dargelegt. Soweit in ihren Ausführungen sinngemäss eine Verletzung der Begründungspflicht als Teil ihres Anspruchs auf rechtliches Gehör (<ref-law>) entnommen werden kann, legen sie dies nicht in einer Weise dar, die den Anforderungen an eine Verfassungsrüge genügen würde (dazu Erwägung 2.1), sodass darauf nicht einzutreten ist. Unabhängig davon lassen sich dem angefochtenen Entscheid ohne Weiteres die Überlegungen entnehmen, von denen sich die Vorinstanz leiten liess und auf die sich ihr Entscheid stützt (vgl. oben Sachverhalt B.c). Damit erfüllte die Vorinstanz die aus dem verfassungsmässigen Anspruch auf rechtliches Gehör folgende Verpflichtung, ihren Entscheid zu begründen (vgl. <ref-ruling> E. 3.2.4 S. 41; <ref-ruling> E. 5.1; je mit Hinweisen).
3.3. Schliesslich rügen die Beschwerdeführer, dass nicht nur die Begründung des Urteils willkürlich sei, sondern auch das Ergebnis des Entscheids unhaltbar, da sich der Beschwerdeführer 1 in einer Drucksituation befunden und nie ein Wille bestanden habe, einen Vergleich einzugehen. Er habe dies lediglich getan, um sich aus dieser Situation zu befreien. Die tatsächliche Situation stehe in einem klaren Widerspruch mit den Erwägungen des vorinstanzlichen Urteils.
Inwiefern die tatsächliche Feststellung des Sachverhalts durch die Vorinstanz offensichtlich unrichtig, d.h. willkürlich, sein soll, legen die Beschwerdeführer mit diesen Ausführungen nicht in einer Weise dar, die den Anforderungen an eine Verfassungsrüge genügen würde (Erwägung 2.2). Vielmehr wiederholen sie bloss ihre bereits vor der Vorinstanz vorgetragenen Behauptungen, wonach sich der Beschwerdeführer 1 während den Vergleichsverhandlungen in einer Drucksituation befunden haben soll, ohne sich hierbei mit den Erwägungen der Vorinstanz auseinander zu setzen. Darauf ist nicht einzutreten.
3.4. Nach dem Gesagten ist die subsidiäre Verfassungsbeschwerde abzuweisen, soweit darauf einzutreten ist.
4.
Dem Ausgang des Verfahrens entsprechend werden die Beschwerdeführer in solidarischer Haftbarkeit kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Die Beschwerdegegnerinnen 1 und 2, die nicht anwaltlich vertreten sind, haben keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 und 2 BGG; BGE <ref-ruling> E. 4).

Demnach erkennt das Bundesgericht:
1.
Auf die Beschwerde in Zivilsachen wird nicht eingetreten.
2.
Die subsidiäre Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
3.
Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, in solidarischer Haftbarkeit.
4.
Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 9. Dezember 2015
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Kiss
Der Gerichtsschreiber: Brugger