Mietzinsherabsetzung, hat sich ergeben:
A.- Mit Vertrag vom 10. September 1991 mieteten A._ und B._ (Mieter) von C._ und D._ (Vermieter) ein Einfamilienhaus. Das Mietverhältnis war auf die Dauer vom 1. Oktober 1991 bis zum 1. Oktober 1996 unkündbar abgeschlossen. Der ursprüngliche Mietzins von Fr. 2'770.-- war indexiert und wurde mehrmals angepasst. Nach Ablauf der festen Mietdauer setzten die Vertragsparteien das Mietverhältnis fort, wobei die Vermieter weitere Mietzinsanpassungen vornahmen. Der Mietzins betrug schliesslich Fr. 2'700.--. Eine von den Vermietern per
1. April 2000 angestrengte Mietzinserhöhung fochten die Mieter an und stellten ihrerseits ein Herabsetzungsbegehren.
Nach erfolgloser Schlichtungsverhandlung verzichteten die Vermieter auf die Erhöhung, während die Mieter an ihrem Herabsetzungsbegehren festhielten und an das Zivilgericht Basel-Stadt gelangten. Darauf erkannte die Mietgerichtspräsidentin, der Mietzins betrage ab dem 1. Mai 2000 Fr. 2'685.--. Eine gegen diesen Entscheid von den Mietern erhobene Beschwerde wies das Appellationsgericht des Kantons Basel-Stadt am 5. Februar 2001 ab.
B.- Gegen diesen Entscheid haben die Mieter Berufung eingelegt. Sie beantragen den angefochtenen Entscheid aufzuheben und den Mietzins per 1. Mai 2000 auf Fr. 2'466. 15 herabzusetzen.
Die Vermieter schliessen auf Abweisung der Berufung, soweit darauf einzutreten ist.

Das Bundesgericht zieht in Erwägung:
1.-Die Mieter berücksichtigen bei ihrer Berechnung des Mietzinses nach der relativen Methode die Entwicklung der den Ertrag des Mietobjekts beeinflussenden Faktoren, insbesondere des Hypothekarzinssatzes, seit Abschluss des Mietvertrages.
Nach Auffassung des Appellationsgerichts muss indessen der Zeitraum von 1991 - 1996, in welchem der Mietzins der Indexklausel folgte, ausser Betracht bleiben, da die Mieter bei Beendigung der Indexierung keine Anpassung des Mietzinses verlangt hatten.
a) Nach der bundesgerichtlichen Rechtsprechung können beide Parteien im Zeitpunkt, in dem die ursprünglich vereinbarte Indexierung oder Staffelung des Mietzinses zu Ende geht, dessen Anpassung verlangen. Sowohl die Indexierung als auch die Staffelung führt im Vergleich zu gewöhnlichen Mietverhältnissen zu einer Abkoppelung des Mietzinses von Faktoren, welche den Ertrag des Mietobjekts beeinflussen können, wie namentlich die Höhe des Hypothekarzinssatzes. Je nach deren Entwicklung wirkt sich die Indexierung zu Gunsten des Mieters oder des Vermieters aus. Die Parteien können bei Abschluss des Vertrages diese Entwicklung nicht vorhersehen, weshalb der Vereinbarung ein aleatorisches Element innewohnt (<ref-ruling> E. 4c S. 80 f.). Sofern sich die Prognosen der Parteien als unzutreffend erweisen, kann der Mietzins im Vergleich zu Mietverhältnissen ohne Indexierung oder Staffelungsabrede als zu hoch oder zu niedrig erscheinen und bietet keinen sicheren Anhaltspunkt für die Angemessenheit des erzielten Ertrags. Wollte man im Rahmen der relativen Methode auf den Mietzins im Zeitpunkt der Fortsetzung des Mietverhältnisses ohne Indexierung abstellen, oder im Zeitpunkt der letzten Anpassung innerhalb der Indexierung, würde eine allfällige Fehleinschätzung der Parteien bei Vertragsschluss perpetuiert. Dies widerspräche den gesetzlichen Bestimmungen, die es grundsätzlich den Vertragsparteien überlassen, die Höchstdauer der Indexierung beziehungsweise der Staffelung zu vereinbaren. Nach Ablauf dieser Frist muss eine Anpassung des Mietzinses an die Veränderungen der Verhältnisse seit Vertragsschluss zulässig sein. Vergleichspunkt im Rahmen der relativen Methode ist dabei folgerichtig der zu Beginn der Indexierung vereinbarte Mietzins (<ref-ruling> E. 4c S. 82 f.). Auch anlässlich dieser Vereinbarung stellten die Parteien auf ihre Prognose der zukünftigen Entwicklung ab. So wird der Mieter bei momentan niedrigem Hypothekarzins eher geneigt sein, einen vergleichsweise hohen indexierten Mietzins zu akzeptieren, im Bewusstsein, vor mutmasslich bevorstehenden Hypothekarzinserhöhungen gefeit zu sein. Der Vermieter wird bei hohem Hypothekarzins eher zu einem Entgegenkommen bereit sein, da er bei einer allfälligen Senkung des Zinssatzes keine Mietzinsreduktion gewärtigen muss. Die von den Parteien vereinbarte Indexierung führt somit zu einer von gewöhnlichen Mietverhältnissen abweichenden Risikoverteilung in Bezug auf die Veränderung der Verhältnisse.
Diese Risikoverteilung ändert sich, wenn die Indexierung entfällt. Die Annahme, der ursprüngliche Mietzins wäre auch ohne Indexierung angemessen, ist daher nicht ohne weiteres berechtigt. Aus diesem Grunde können beide Parteien verlangen, dass bei Beendigung der Indexierung die Neufestsetzung des Mietzinses nach der absoluten Methode erfolgt (<ref-ruling> E. 4c S. 82; vgl. in Bezug auf gestaffelte Mietzinse auch <ref-ruling> E. 2 b/bb S. 404, der sich generell für die Anwendung der absoluten Methode ausspricht, wenn die Anpassung des Mietzinses auf den Zeitpunkt der Beendigung der Staffelung verlangt wird).
b) Anders verhält es sich, wenn es eine Partei am Ende der Indexierung oder Staffelung unterlässt, eine Anpassung des Mietzinses zu verlangen. Dadurch erweckt sie bei der Gegenpartei den Eindruck, sie halte den gegenwärtigen Mietzins für angemessen. Daher ist im Rahmen einer späteren Anpassung nach der relativen Methode als Vergleichszeitpunkt auf das Ende der Indexierung oder der Staffelung abzustellen (<ref-ruling> E. 4c S. 83; <ref-ruling> E. 2 b/bb S. 404).
Der in der Lehre geäusserte Einwand, im blossen Stillschweigen des Mieters dürfe kein Verzicht auf eine spätere Anpassung des Mietzinses gesehen werden (Sommer, MRA 1997 S. 152), ist nicht stichhaltig, ist es doch auch in diesem Fall beiden Parteien erlaubt, den Mietzins nach der absoluten Berechnungsmethode überprüfen zu lassen (<ref-ruling> E. 4c S. 83; <ref-ruling> E. 2 b/bb S. 404).
c) Nach Ablauf der Indexierung haben die Parteien das Vertragsverhältnis fortgesetzt, ohne dass die Mieter eine Anpassung des Mietzinses verlangt hätten. Daher durften die Vermieter davon ausgehen, der Mietzins sei in den Augen der Mieter angemessen und könne Grundlage für eine relative Anpassung bilden (<ref-ruling> E. 4c S. 83; <ref-ruling> E. 2 b/bb S. 404). Das Appellationsgericht hat deshalb die Umstände vor Beendigung der Indexierung zu Recht ausser Betracht gelassen. Da sich die Mieter für ihr Herabsetzungsbegehren nicht auf die Anwendung der absoluten Methode berufen, kann offen bleiben, wie die Anpassung diesfalls durchzuführen wäre, und ob sie zu einem für die Mieter günstigeren Ergebnis führen würde.
2.- Weiter beanstanden die Mieter die Berücksichtigung der Kostensteigerung im Rahmen einer Pauschale.
a) Gemäss der bundesgerichtlichen Rechtsprechung ist eine pauschale Berücksichtigung der Kostensteigerung grundsätzlich nicht zulässig, da dadurch der nachlässige gegenüber dem gewissenhaften Vermieter bevorteilt würde (Urteil des Bundesgerichts vom 11. Februar 1993 i.S. B. E. 3b, wiedergegeben in mp 93 S. 79). Zur Bestimmung des Umfangs der Kostensteigerung muss grundsätzlich der Durchschnitt der in den Jahren vor der letzten Mietzinsfestsetzung angefallenen Kosten mit den durchschnittlichen Kosten der darauffolgenden Jahre verglichen werden. Von dieser Regel darf indessen ausnahmsweise abgewichen werden, namentlich wenn die Abrechnungen ungewöhnlich hohe oder tiefe Posten enthalten, so dass der Durchschnitt die tatsächlichen Kosten im massgeblichen Zeitpunkt unzutreffend wiedergibt (<ref-ruling> E. 2 S. 380; Urteil des Bundesgerichts vom 26. Juli 1995 i.S. V.
E. 4a, wiedergegeben in mp 96 S. 141). Da nach den erstinstanzlichen Feststellungen, die das Appellationsgericht implizit übernimmt, ausserrordentliche Investitionen aktenkundig sind, ist diese Voraussetzung gegeben.
b) Das Appellationsgericht erachtet unter diesen Umständen die Berücksichtigung von auf Erfahrungssätzen beruhenden Pauschalen als zulässig, sofern der Richter dazu Sorge trägt, dass dies nicht zur Annahme einer über die tatsächlichen Verhältnisse hinausgehenden Kostensteigerung führt (vgl. Higi, Zürcher Kommentar, N. 214 ff. zu <ref-law> mit Hinweisen, insbesondere N. 216; für die generelle Zulässigkeit von Pauschalen: SVIT-Kommentar Mietrecht II, N. 44 zu Art. 269a mit Hinweis). Auch diese Voraussetzung ist nach Ansicht des Appellationsgerichts erfüllt.
c) Die Vorinstanz hat somit die konkreten Gegebenheiten nicht ausser Acht gelassen. Kommt der Richter bei der Würdigung der ihm unterbreiteten Kostenzusammenstellung zum Schluss, angesichts besonderer Umstände entspreche eine auf Erfahrungswerten beruhende Pauschale eher der tatsächlichen Kostenentwicklung als der Vergleich der durchschnittlichen Kosten, wie er unter gewöhnlichen Umständen durchzuführen wäre, ist diese Vorgehensweise bundesrechtlich nicht zu beanstanden.
Die Mitberücksichtigung von Pauschalen kann somit im Einzelfall zulässig sein, sofern gewährleistet ist, dass sie nicht zu einer überhöhten Kostensteigerung führen und sofern keine andere Methode ein genaueres Ergebnis erwarten lässt. Die schematische Anwendung von Pauschalen ohne Rücksicht auf den Einzelfall bleibt dagegen unzulässig (<ref-ruling> E. 2 S. 380; Urteil des Bundesgerichts vom 11. Februar 1993 i.S. B. E. 3b, wiedergegeben in mp 93 S. 79; Urteil des Bundesgerichts vom 26. Juli 1995 i.S. V. E. 4a, wiedergegeben in mp 96 S. 141).
d) Soweit die Mieter als Verstoss gegen <ref-law> beanstanden, dass das Appellationsgericht von ihnen verlangt, darzulegen, inwiefern die Pauschale übermässig sei, fällt ihr Einwand ins Leere. Das Appellationsgericht hat die tatsächlichen Verhältnisse gewürdigt und ist zum Schluss gekommen, die von der Mietgerichtspräsidentin zur Anwendung gebrachte Pauschale entspreche der tatsächlichen Kostensteigerung eher als der Vergleich des Durchschnitts der in den Jahren vor der letzten Mietzinsfestsetzung angefallenen mit den durchschnittlichen Kosten der darauffolgenden Jahre.
Kritik an dieser Beweiswürdigung ist im Rahmen der Berufung unzulässig. Bundesrechtlich ist nicht zu beanstanden, dass die Vorinstanz jene Berechnungsmethode anwendet, die im Rahmen der Würdigung der dargebotenen Beweise im Einzelfall die tatsächliche Kostensteigerung am genausten widerzuspiegeln verspricht.
3.- Schliesslich rügen die Mieter eine Verletzung von <ref-law>, da die Vermieter die Kostensteigerung nicht hinreichend begründet hätten. Die Rüge geht indes an der Sache vorbei. <ref-law> regelt die Pflichten des Vermieters, der eine einseitige Abänderung des Vertrages anstrebt, namentlich eine Erhöhung des Mietzinses. Die Vermieter haben aber ihr Begehren um Erhöhung des Mietzinses nicht weiterverfolgt.
Halten die Vermieter die Kostensteigerung dem Herabsetzungsbegehren der Mieter entgegen, trifft sie keine spezielle Begründungspflicht. Es obliegt ihnen vielmehr, die geltend gemachte Kostensteigerung im Prozess zu beweisen.
Gelingt ihnen das nicht, bleibt es bei der vom Mieter angestrebten Herabsetzung. Das Appellationsgericht erachtete nun aber den Beweis einer Kostensteigerung im Umfang der von der Mietgerichtspräsidentin angewandten Pauschale als erbracht.
Damit dringen die Mieter mit ihrer Berufung auch in diesem Punkt nicht durch. Sie ist insgesamt abzuweisen, soweit darauf einzutreten ist, und die Mieter werden kosten- und entschädigungspflichtig.

Demnach erkennt das Bundesgericht:
1.- Die Berufung wird abgewiesen, soweit darauf einzutreten ist, und das Urteil des Appellationsgerichts des Kantons Basel-Stadt vom 5. Februar 2001 wird bestätigt.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird den Klägern unter solidarischer Haftbarkeit auferlegt.
3.- Die Kläger haben die Beklagten unter solidarischer Haftbarkeit für das bundesgerichtliche Verfahren mit insgesamt Fr. 3'000.-- zu entschädigen.
4.- Dieses Urteil wird den Parteien sowie dem Appellationsgericht des Kantons Basel-Stadt (Ausschuss) schriftlich mitgeteilt.
_
Lausanne, 1. Oktober 2001
Im Namen der I. Zivilabteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: