Mietzinsherabsetzung, hat sich ergeben: A.- Mit Vertrag vom 10. September 1991 mieteten A._ und B._ (Mieter) von C._ und D._ (Vermieter) ein Einfamilienhaus. Das Mietverhältnis war auf die Dauer vom 1. Oktober 1991 bis zum 1. Oktober 1996 unkündbar abgeschlossen. Der ursprüngliche Mietzins von Fr. 2'770.-- war indexiert und wurde mehrmals angepasst. Nach Ablauf der festen Mietdauer setzten die Vertragsparteien das Mietverhältnis fort, wobei die Vermieter weitere Mietzinsanpassungen vornahmen. Der Mietzins betrug schliesslich Fr. 2'700.--. Eine von den Vermietern per 1. April 2000 angestrengte Mietzinserhöhung fochten die Mieter an und stellten ihrerseits ein Herabsetzungsbegehren. Nach erfolgloser Schlichtungsverhandlung verzichteten die Vermieter auf die Erhöhung, während die Mieter an ihrem Herabsetzungsbegehren festhielten und an das Zivilgericht Basel-Stadt gelangten. Darauf erkannte die Mietgerichtspräsidentin, der Mietzins betrage ab dem 1. Mai 2000 Fr. 2'685.--. Eine gegen diesen Entscheid von den Mietern erhobene Beschwerde wies das Appellationsgericht des Kantons Basel-Stadt am 5. Februar 2001 ab. B.- Gegen diesen Entscheid haben die Mieter Berufung eingelegt. Sie beantragen den angefochtenen Entscheid aufzuheben und den Mietzins per 1. Mai 2000 auf Fr. 2'466. 15 herabzusetzen. Die Vermieter schliessen auf Abweisung der Berufung, soweit darauf einzutreten ist.