Mietvertrag, hat sich ergeben:
A.- Mit Vertrag vom 17. Juli 1997 mieteten A._ und B._ sowie C._ und D._, zwei Ehepaare mit Kleinkindern, von E._ und F._ ein 6-Zimmer-Einfamilienhaus. Als Mietbeginn war der 1. September 1997 vorgesehen und der Vertrag war erstmals kündbar auf den 1. April 1998, danach auf die ortsüblichen Termine unter Einhaltung einer dreimonatigen Kündigungsfrist. Der Nettomietzins betrug Fr. 2'000.-- pro Monat. Das gemietete Haus ist rund hundert Jahre alt und weist keine Zentralheizung auf, sondern muss mit mehreren Zimmer-Öfen beheizt werden.
Im Winter 1997/98 beanstandeten die Mieter die mangelhafte Beheizbarkeit des Hauses und die ungenügende Wärmeisolation im Bereich von Fenstern und Türen. Mit Schreiben vom 15. Januar 1998 forderten sie die Vermieter unter Bezugnahme auf ein vorangegangenes Gespräch auf, das Haus innerhalb von zehn Tagen "wohnbar zu renovieren". Nachdem die Vermieter darauf nicht geantwortet hatten, erklärten die Mieter mit Schreiben vom 28. Januar 1998 die fristlose Kündigung des Mietvertrags unter Hinweis darauf, dass ein Verbleiben im Haus aus gesundheitlichen Gründen unzumutbar sei, und zogen aus dem Haus aus. Die Vermieter teilten den Mietern am 5. Februar 1998 schriftlich mit, sie akzeptierten die fristlose Kündigung nicht, und wiesen darauf hin, dass frühestens auf den 30. Juni 1998 ordentlich gekündigt werden könne. Am 19. Juni 1998 stellten sie den Mietern eine Abrechnung betreffend Mietzinsausstände und Schäden am Haus zu, mit welcher sie die Zahlung von Fr. 19'068. 20 verlangten.
B.- Am 2. Dezember 1998 reichten die Vermieter beim Bezirksgericht Kulm Klage gegen die Mieter ein mit den Anträgen, die Beklagten unter solidarischer Haftbarkeit zur Zahlung von Fr. 19'068. 20 nebst Zins zu verpflichten. Die Beklagten beantragten die vollumfängliche Abweisung der Klage.
Mit Urteil vom 24. November 1999 hiess der Präsident des Bezirksgerichts Kulm die Klage teilweise gut und verpflichtete die Beklagten zur Zahlung von Fr. 17'473.-- nebst Zins.
Die Beklagten erhoben Appellation mit den Anträgen, das Urteil des Bezirksgerichtspräsidenten aufzuheben und die Klage abzuweisen, soweit sie den Forderungsbetrag von Fr. 723.-- übersteigt. Die anerkannte Forderung von Fr. 723.-- bezieht sich auf Nebenkosten für die Zeit von Oktober 1997 bis März 1998 (Rechnung der Gemeinde Burg für Wasser und Abwasser). Die Kläger beantragten die Abweisung der Appellation. Mit Urteil vom 15. Dezember 2000 hiess das Obergericht des Kantons Aargau die Appellation teilweise gut und verpflichtete die Beklagten unter solidarischer Haftbarkeit zur Zahlung von Fr. 12'723.-- nebst 5 % Zins auf Fr. 4'000.-- seit 23. Februar 1998 sowie 5 % Zins auf Fr. 8'723.-- seit 22. Juni 1998. Das Obergericht kam - wie bereits der erstinstanzliche Richter - zum Ergebnis, dass das gemietete Haus zwar Mängel aufgewiesen habe, die aber als mittelschwer einzustufen seien und deshalb die fristlose Kündigung nicht zu rechtfertigen vermöchten. Die Forderung der Kläger für Schäden am Haus wies das Obergericht im Gegensatz zur ersten Instanz ab mit der Begründung, die Prüfung des Mietobjekts und die Mängelrüge gegenüber den Beklagten seien verspätet erfolgt.
C.- Mit Berufung beantragen die Beklagten dem Bundesgericht, das Urteil des Obergerichts aufzuheben und die Klage bis auf die vor der Vorinstanz anerkannte Forderung von Fr. 723.-- abzuweisen; eventuell die Streitsache zur Festsetzung eines für die Zeit vom 1. Januar bis 30. Juni 1998 herabgesetzten Mietzinses an die Vorinstanz zurückzuweisen.
Die Kläger schliessen auf Abweisung der Berufung und Bestätigung des angefochtenen Urteils.

Das Bundesgericht zieht in Erwägung:
1.- Nach Art. 55 Abs. 1 lit. c OG ist in der Berufungsschrift kurz darzulegen, welche Bundesrechtssätze der angefochtene Entscheid verletzt und inwiefern er gegen sie verstösst.
Unzulässig sind dagegen Rügen, die sich gegen die tatsächlichen Feststellungen der Vorinstanz richten, es sei denn, es werde ein offensichtliches Versehen, eine Verletzung bundesrechtlicher Beweisvorschriften oder eine unvollständige Ermittlung des Sachverhalts behauptet (Art. 55 Abs. 1 lit. c, 63 Abs. 2 und 64 OG; <ref-ruling> E. 2a). Wer sich auf diese Ausnahmen von der Bindung des Bundesgerichts an die tatsächlichen Feststellungen der letzten kantonalen Instanz beruft und den Sachverhalt berichtigt oder ergänzt wissen will, hat darüber genaue Angaben zu machen (Art. 55 Abs. 1 lit. d OG; <ref-ruling> E. 2a S. 485 f.). Eine Ergänzung setzt zudem voraus, dass entsprechende Sachbehauptungen bereits im kantonalen Verfahren prozesskonform aufgestellt, von der Vorinstanz aber zu Unrecht für unerheblich gehalten oder übersehen worden sind, was wiederum näher anzugeben ist. Andernfalls gelten die Vorbringen als neu und sind damit unzulässig (<ref-ruling> E. 5c/aa S. 357; <ref-ruling> E. 2a S. 485 f.).
Auf die Berufung ist insoweit nicht einzutreten, als die Beklagten tatbeständliche Elemente, die in den Feststellungen der Vorinstanz keine Stütze finden, in ihre Ausführungen einfliessen lassen, ohne zugleich eine Rüge im Sinne der genannten Ausnahmen zu erheben. Als unzulässige Kritik an der Beweiswürdigung der Vorinstanz erweist sich auch ihre Rüge, dass die Vorinstanz aktenwidrig festgestellt habe, einige Personen hätten sich im Wohnzimmer des gemieteten Hauses wohl gefühlt. Sie beziehen sich dabei nicht auf eine bestimmte Aktenstelle, welche die Vorinstanz nicht richtig wahrgenommen hätte, womit ein offensichtliches Versehen im Sinne von Art. 63 Abs. 2 OG ausser Betracht fällt.
Dasselbe gilt, soweit sie mit dem Hinweis auf die Feststellung der Vorinstanz, wonach Säuglinge und Kleinkinder auf Zugluft empfindlicher als Erwachsene reagieren, aufzuzeigen versuchen, dass ihnen der Beweis der Gesundheitsschädlichkeit der Zugluft im Wohnzimmer gelungen ist.
2.- a) Gemäss <ref-law> kann der Mieter den Vertrag fristlos kündigen, wenn die Aufforderung an den Vermieter, einen Mangel innert angemessener Frist zu beseitigen, erfolglos geblieben ist, falls der Mangel die Tauglichkeit einer unbeweglichen Sache zum vorausgesetzten Gebrauch ausschliesst oder erheblich beeinträchtigt. Mit der Berufung wird dem Obergericht die Verletzung dieser Bestimmung vorgeworfen.
Dabei wenden sich die Beklagten nicht gegen dessen Erörterungen zu den rechtlichen Voraussetzungen der fristlosen Kündigung und insbesondere zu den Kriterien, nach denen zu beurteilen ist, ob ein leichter, mittlerer oder schwerer Mangel vorliegt. Die Beklagten rügen in diesem Zusammenhang einzig, das Obergericht habe die nachgewiesenen Mängel zu leicht gewichtet und zu Unrecht verneint, dass diese die Tauglichkeit der Mietsache zum vorausgesetzten Gebrauch ausgeschlossen oder erheblich beeinträchtigt haben.
b) aa) Im angefochtenen Urteil wird festgehalten, den Beklagten habe bei Vertragsschluss klar sein müssen, dass nicht alle Räume des Hauses beheizbar seien und vorläufig keine neuen Fenster eingebaut würden. Selbst unter Berücksichtigung dieser Umstände vermochte indessen der im Wohnzimmer herrschende Zustand nach der Einschätzung des Obergerichts die berechtigten Erwartungen der Beklagten nicht zu erfüllen, wurde doch das Raumklima von der Mehrheit der Zeugen als nicht mehr behaglich empfunden und führte dies dazu, dass im Haus warme Kleidung getragen werden musste.
Die Vorinstanz gelangte zum Ergebnis, die ständige Zugluft im Wohnzimmer habe namentlich mit Blick auf die besondere Empfindlichkeit von Kleinkindern das tolerierbare Mass überschritten und einen Mangel mittlerer Schwere dargestellt.
Nicht nachgewiesen sei jedoch, dass deswegen die Gesundheit der Bewohner gefährdet gewesen wäre. Einen weiteren Mangel mittlerer Schwere sah das Obergericht wie bereits der erstinstanzliche Richter im Zustand der Eingangstüre, die sich verzogen hatte und einen seitlichen Spalt aufwies, durch welchen die kalte Luft hereinkam; die Türe habe sich indessen im unbeheizten Teil des Hauses befunden und den Komfort im Wohnzimmer nicht beeinflusst.
bb) Die vier Zimmer im Obergeschoss wiesen dagegen nach der Beurteilung der Vorinstanz keinen Mangel zufolge ungenügender Beheizbarkeit auf. Zumindest drei davon seien über den Kunstofen erwärmbar gewesen, wenn tagsüber geheizt und gleichzeitig die Türen zu den anderen Zimmern ohne Ofen offen, jene zu den ungeheizten Bereichen geschlossen gehalten worden wären. Da die Mieter frei über die Raumeinteilung hätten bestimmen können, stelle das Offenhalten der Verbindungstüre zwischen den beiden als Elternschlafzimmer benutzten Räumen keine despektierliche Zumutung dar, wie die Beklagten eingewendet hätten. Schliesslich verneinte die Vorinstanz auch in Bezug auf die fehlende Beheizbarkeit der Toilette im Erdgeschoss und des Badezimmers im Untergeschoss einen Mangel der Mietsache. Nach ihrer Feststellung hätte in diesen Räumen mit wenig Aufwand ein Elektro-Ofen installiert werden können, weshalb jedenfalls kein schwerer, sondern allenfalls ein mittlerer Mangel vorgelegen habe, dessen Behebung die Beklagten indes nie von den Vermietern verlangt hätten.
c) Mit der Berufung wird nicht rechtsgenügend aufgezeigt, weshalb das Heizsystem des Hauses als solches einen schweren Mangel darstellen soll. Was die Beklagten dazu vorbringen, erschöpft sich weitgehend in unzulässiger Kritik an den vorinstanzlichen Feststellungen; etwa wenn sie behaupten, der Mangel an der Eingangstüre habe den Wohnkomfort beeinträchtigt oder die Räume im Obergeschoss hätten auch bei sachgerechtem Umgang mit der bestehenden Heizung nicht ausreichend beheizt werden können. In Bezug auf das Badezimmer und die Toilette setzen sie sich sodann nicht mit der Feststellung der Vorinstanz auseinander, wonach problemlos tragbare Elektro-Öfen hätten benutzt werden können, allenfalls auf Kosten der Vermieter. Die Beklagten zeigen im Weitern nicht auf, inwiefern der vereinbarte Mietzins zu einer anderen Gewichtung der Mängel hätte führen müssen, war ihnen doch bei Vertragsschluss bekannt, dass sie ein rund hundert Jahre altes Haus mit schlecht isolierenden Fenstern und ohne Zentralheizung beziehen würden. Wenn die Vorinstanz in Würdigung aller Umstände zum Ergebnis gelangt ist, die Voraussetzungen von <ref-law> seien nicht gegeben, weil die vorhandenen Mängel die Gebrauchstauglichkeit der Mietsache weder ausgeschlossen noch erheblich beeinträchtigt hätten, hat sie kein Bundesrecht verletzt und namentlich das ihr gemäss <ref-law> zustehende Ermessen bundesrechtskonform ausgeübt. Die Berufung erweist sich in diesem Punkt als unbegründet, soweit die Vorbringen der Beklagten zu hören sind.
d) Mit der Vorinstanz ist somit davon auszugehen, dass die fristlose Kündigung erfolgte, obschon die gesetzlichen Voraussetzungen fehlten. Die im Januar 1998 ausgesprochene fristlose Kündigung ist als rechtlich wirkungslos zu betrachten (Higi, Zürcher Kommentar, N. 42 zu <ref-law>).
Das Vertragsverhältnis blieb über diesen Zeitpunkt hinaus bestehen und endete am 30. Juni 1998, dem gemäss Mietvertrag nächstmöglichen ordentlichen Kündigungstermin. Eine vorzeitige Auflösung aufgrund eines Aufhebungsvertrags zwischen den Vertragsparteien ist im Übrigen nicht behauptet worden.
3.- Die Beklagten machen im Weitern eine Verletzung von <ref-law> geltend. Nach dieser Bestimmung kann der Mieter vom Vermieter eine Herabsetzung des Mietzinses verlangen, wenn die Tauglichkeit der Mietsache zum vorausgesetzten Gebrauch beeinträchtigt oder vermindert wird, und zwar ab dem Zeitpunkt der Kenntnis des Mangels durch den Vermieter bis zu dessen Behebung. Die Beklagten halten die Vorschrift für anwendbar, weil die Vorinstanz festgestellt habe, dass das Mietobjekt mit verschiedenen mittelschweren Mängeln behaftet sei. Nach ihrer Auffassung hätten die kantonalen Gerichte die Frage, ob für die Zeit von Januar bis Ende Juni 1998 lediglich noch ein stark herabgesetzter oder überhaupt kein Mietzins geschuldet sei, auch ohne entsprechendes Rechtsbegehren beurteilen müssen, umso mehr als <ref-law> die Gerichte verpflichte, den Sachverhalt von Amtes wegen festzustellen und die Beweise nach freiem Ermessen zu würdigen.
a) Mit der Herabsetzung des Mietzinses gemäss <ref-law> soll das Missverhältnis ausgeglichen werden, das durch die Mangelhaftigkeit der Mietsache zwischen der Hauptleistung des Mieters, der Bezahlung des Mietzinses, und jener des Vermieters, dem Überlassen und Unterhalt der Mietsache, entstanden ist (Higi, Zürcher Kommentar, N. 5 zu <ref-law>; SVIT-Kommentar Mietrecht II, N. 13 zu <ref-law> [nachfolgend zitiert als "SVIT-Kommentar"]; Lachat/Stoll/Brunner, Das Mietrecht für die Praxis, 4. Auflage, Zürich 1999, S. 149 Rz. 3.1). Voraussetzung für die Herabsetzung ist in der Regel ein mittlerer oder schwerer Mangel, welcher den vereinbarten Gebrauch der Mietsache beeinträchtigt oder vermindert (Martin Züst, Die Mängelrechte des Mieters von Wohn- und Geschäftsräumen, Diss. St. Gallen 1992, S. 175; SVIT-Kommentar, N. 7 und 8 zu <ref-law>; Higi, a.a.O., N. 8 zu <ref-law>). Neben der Herabsetzung kommt bei sehr schweren Mängeln, welche den vertragsgemässen Gebrauch der Mietsache ausschliessen, auch die Befreiung des Mieters von der Zahlung des Mietzinses in Frage (Lachat/Stoll/Brunner, a.a.O., S. 149 Rz. 3.3; Züst, a.a.O., S. 182).
Gemäss <ref-law> ist sodann zur Durchsetzung des Anspruchs eine an den Vermieter gerichtete Erklärung des Mieters erforderlich, dass er die Herabsetzung des Mietzinses verlange (Züst, a.a.O., S. 163 und 176; Higi, a.a.O., N. 21 ff. zu <ref-law>; SVIT-Kommentar, N. 27 zu <ref-law>). Diese Erklärung hat nach einhelliger Lehrmeinung in der Zeit während des Bestehens der Mängel zu erfolgen und muss spätestens bis zur Beendigung des Mietverhältnisses abgegeben werden (Lachat/Stoll/Brunner, a.a.O., S. 152 Rz.
3.7; Higi, a.a.O., N. 22 zu <ref-law>; SVIT-Kommentar, N. 27 und 31 zu <ref-law>; ).
b) <ref-law> schreibt den Schlichtungsbehörden und Gerichten vor, dass sie den Sachverhalt von Amtes wegen festzustellen und die Beweise nach freiem Ermessen zu würdigen haben, wobei ihnen die Parteien alle für die Beurteilung des Streitfalls notwendigen Unterlagen vorzulegen haben. Nach der Rechtsprechung des Bundesgerichts haben die Parteien auch im Anwendungsbereich dieser sogenannten sozialen Untersuchungsmaxime aktiv bei der Feststellung des entscheidwesentlichen Sachverhalts mitzuwirken und die allenfalls zu erhebenden Beweise zu bezeichnen. Sie tragen auch im Bereich dieser Maxime die Verantwortung für die Sachverhaltsermittlung (<ref-ruling> E. 4a S. 238). Das Gericht hat lediglich seine Fragepflicht auszuüben, nicht dagegen den Sachverhalt unabhängig von den Sachvorbringen und Rechtsbegehren der Parteien von sich aus abzuklären und festzustellen. Zudem schränkt <ref-law> das Recht der Parteien, über den Streitgegenstand zu bestimmen (Dispositionsmaxime), nicht ein (<ref-ruling> E. 4d; SVIT-Kommentar, N. 18 zu <ref-law>). Die Beklagten verkennen demnach die Tragweite von <ref-law>. Diese Bestimmung verpflichtet die kantonalen Gerichte nicht dazu, ohne entsprechendes Rechtsbegehren sowie ohne Sachbehauptungen und allfällige Beweisangebote von sich aus über die Frage der Herabsetzung des Mietzinses zu entscheiden. Sie berührt sodann auch den Anwendungsbereich des dem materiellen Recht zugehörigen <ref-law> nicht und befreit den Mieter namentlich nicht von der Verpflichtung, die zur Durchsetzung des Anspruchs erforderliche Herabsetzungserklärung abzugeben.
Der sinngemäss gegenüber der Vorinstanz erhobene Vorwurf einer Verletzung von <ref-law> erweist sich damit als unbegründet. Die folgenden Erwägungen werden allerdings zeigen, dass die Vorinstanz die Frage der Herabsetzung zwar nicht aufgrund von <ref-law>, wohl aber in Befolgung des allgemeinen Grundsatzes der Rechtsanwendung von Amtes wegen hätte prüfen müssen (vgl. zu diesem Grundsatz:
BGE 116 II 594 E. 3b S. 597 mit Hinweisen).
c) Mit den Briefen vom 15. und 28. Januar 1998 haben die Mieter den Vermietern bekannt gegeben, dass es ihnen wegen Mängeln des gemieteten Hauses aus gesundheitlichen Gründen nicht zuzumuten sei, weiterhin darin zu leben, und sie am 2. Februar 1998 aus dem Haus ausziehen würden. Nach dem Vertrauensgrundsatz (vgl. <ref-ruling> E. 3a mit Hinweisen) musste den Vermietern aufgrund dieser Willenserklärung und den Umständen, unter denen sie abgegeben wurde, klar sein, dass die Mieter damit auch zu verstehen geben wollten, dass sie wegen der behaupteten Unbewohnbarkeit des Hauses keinen Mietzins mehr zahlen würden. Das genügt vom Inhalt her als Herabsetzungserklärung im Sinne von <ref-law>, da diese Bestimmung - wie bereits festgehalten - nicht nur die Herabsetzung des Mietzinses, sondern auch die Befreiung von der Verpflichtung zur Mietzinszahlung zulässt.
Wie die Beklagten selbst einräumen, trifft freilich zu, dass sie im kantonalen Verfahren kein ausdrückliches Rechtsbegehren auf eventuelle Herabsetzung des Mietzinses gestellt und auch keinen Betrag genannt haben, auf welchen der Mietzins reduziert werden soll. Das schadet ihnen jedoch nicht. Vor beiden kantonalen Instanzen haben sie wie im Übrigen auch vor Bundesgericht den Antrag gestellt, die Klage auf Zahlung des Mietzinses abzuweisen. Darin enthalten ist nach dem Grundsatz in maiore minus auch das Begehren, den Mietzins eventuell auf Null herabzusetzen. Ein Verstoss gegen das im bundesgerichtlichen Verfahren geltende Verbot, neue Begehren zu stellen (Art. 55 Abs. 1 lit. b OG), liegt gemäss der Rechtsprechung ebenfalls nicht vor. Danach fallen Eventualbegehren nicht unter dieses Verbot, soweit sie ein Minus zu den Rechtsbegehren im kantonalen Verfahren darstellen (nicht publizierte E. 1c von <ref-ruling>; JdT 1952 I 264 E. 1; Poudret, Commentaire de la loi fédérale d'organisation judiciaire, N. 1.4.3 zu Art. 55 OG).
Schliesslich scheitert die Berufung auch nicht daran, dass die Anträge in der Regel beziffert werden müssen (Art. 55 Abs. 1 lit. b OG; <ref-ruling> E. 1b). Da sich die kantonalen Gerichte nicht mit der Frage der Herabsetzung des Mietzinses befasst haben, fehlen auch die für die Beurteilung durch das Bundesgericht notwendigen tatsächlichen Feststellungen. Unter diesen Umständen genügt nach ständiger Praxis der von den Beklagten gestellte Eventualantrag auf Rückweisung der Streitsache an die Vorinstanz zur Neubeurteilung (vgl. <ref-ruling> E. I/1; <ref-ruling> E. 1).
4.- Aus diesen Gründen ist die Berufung teilweise, das heisst in Bezug auf das Eventualbegehren gutzuheissen, das angefochtene Urteil aufzuheben und die Sache zu neuer Beurteilung an die Vorinstanz zurückzuweisen. Diese wird im neuen Verfahren über das Eventualbegehren der Beklagten zu entscheiden haben.
Der Ausgang des bundesgerichtlichen Verfahrens rechtfertigt es, die Gerichtsgebühr den Parteien je zur Hälfte aufzuerlegen und die Parteientschädigungen wettzuschlagen (Art. 156 Abs. 3 und Art. 159 Abs. 3 OG).

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird teilweise gutgeheissen, das Urteil des Obergerichts des Kantons Aargau (1. Zivilkammer) vom 15. Dezember 2000 aufgehoben und die Sache zu neuer Entscheidung an die Vorinstanz zurückgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird den Parteien je zur Hälfte unter solidarischer Haftung auferlegt.
3.- Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau (1. Zivilkammer) schriftlich mitgeteilt.
_
Lausanne, 15. Mai 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: