Mietvertrag, hat sich ergeben: A.- Mit Vertrag vom 17. Juli 1997 mieteten A._ und B._ sowie C._ und D._, zwei Ehepaare mit Kleinkindern, von E._ und F._ ein 6-Zimmer-Einfamilienhaus. Als Mietbeginn war der 1. September 1997 vorgesehen und der Vertrag war erstmals kündbar auf den 1. April 1998, danach auf die ortsüblichen Termine unter Einhaltung einer dreimonatigen Kündigungsfrist. Der Nettomietzins betrug Fr. 2'000.-- pro Monat. Das gemietete Haus ist rund hundert Jahre alt und weist keine Zentralheizung auf, sondern muss mit mehreren Zimmer-Öfen beheizt werden. Im Winter 1997/98 beanstandeten die Mieter die mangelhafte Beheizbarkeit des Hauses und die ungenügende Wärmeisolation im Bereich von Fenstern und Türen. Mit Schreiben vom 15. Januar 1998 forderten sie die Vermieter unter Bezugnahme auf ein vorangegangenes Gespräch auf, das Haus innerhalb von zehn Tagen "wohnbar zu renovieren". Nachdem die Vermieter darauf nicht geantwortet hatten, erklärten die Mieter mit Schreiben vom 28. Januar 1998 die fristlose Kündigung des Mietvertrags unter Hinweis darauf, dass ein Verbleiben im Haus aus gesundheitlichen Gründen unzumutbar sei, und zogen aus dem Haus aus. Die Vermieter teilten den Mietern am 5. Februar 1998 schriftlich mit, sie akzeptierten die fristlose Kündigung nicht, und wiesen darauf hin, dass frühestens auf den 30. Juni 1998 ordentlich gekündigt werden könne. Am 19. Juni 1998 stellten sie den Mietern eine Abrechnung betreffend Mietzinsausstände und Schäden am Haus zu, mit welcher sie die Zahlung von Fr. 19'068. 20 verlangten. B.- Am 2. Dezember 1998 reichten die Vermieter beim Bezirksgericht Kulm Klage gegen die Mieter ein mit den Anträgen, die Beklagten unter solidarischer Haftbarkeit zur Zahlung von Fr. 19'068. 20 nebst Zins zu verpflichten. Die Beklagten beantragten die vollumfängliche Abweisung der Klage. Mit Urteil vom 24. November 1999 hiess der Präsident des Bezirksgerichts Kulm die Klage teilweise gut und verpflichtete die Beklagten zur Zahlung von Fr. 17'473.-- nebst Zins. Die Beklagten erhoben Appellation mit den Anträgen, das Urteil des Bezirksgerichtspräsidenten aufzuheben und die Klage abzuweisen, soweit sie den Forderungsbetrag von Fr. 723.-- übersteigt. Die anerkannte Forderung von Fr. 723.-- bezieht sich auf Nebenkosten für die Zeit von Oktober 1997 bis März 1998 (Rechnung der Gemeinde Burg für Wasser und Abwasser). Die Kläger beantragten die Abweisung der Appellation. Mit Urteil vom 15. Dezember 2000 hiess das Obergericht des Kantons Aargau die Appellation teilweise gut und verpflichtete die Beklagten unter solidarischer Haftbarkeit zur Zahlung von Fr. 12'723.-- nebst 5 % Zins auf Fr. 4'000.-- seit 23. Februar 1998 sowie 5 % Zins auf Fr. 8'723.-- seit 22. Juni 1998. Das Obergericht kam - wie bereits der erstinstanzliche Richter - zum Ergebnis, dass das gemietete Haus zwar Mängel aufgewiesen habe, die aber als mittelschwer einzustufen seien und deshalb die fristlose Kündigung nicht zu rechtfertigen vermöchten. Die Forderung der Kläger für Schäden am Haus wies das Obergericht im Gegensatz zur ersten Instanz ab mit der Begründung, die Prüfung des Mietobjekts und die Mängelrüge gegenüber den Beklagten seien verspätet erfolgt. C.- Mit Berufung beantragen die Beklagten dem Bundesgericht, das Urteil des Obergerichts aufzuheben und die Klage bis auf die vor der Vorinstanz anerkannte Forderung von Fr. 723.-- abzuweisen; eventuell die Streitsache zur Festsetzung eines für die Zeit vom 1. Januar bis 30. Juni 1998 herabgesetzten Mietzinses an die Vorinstanz zurückzuweisen. Die Kläger schliessen auf Abweisung der Berufung und Bestätigung des angefochtenen Urteils.