Sachverhalt:
A. A._ (Beschwerdeführerin) schloss am 8. September 2001 als Mieterin mit der X._ Baugenossenschaft (Beschwerdegegnerin) einen Mietvertrag über eine 3-Zimmerwohnung. Der Nettomietzins betrug monatlich Fr. 742.--. Unter dem Titel Neben- und Betriebskosten monatlich war in der Rubrik Heizung der Betrag von Fr. 106.-- Akonto eingesetzt. Darunter folgen je auf einer neuen Zeile die Rubriken Warmwasser, Hauswart und Radio/TV. Die in diesen Zeilen vorgesehenen Betragsfelder blieben leer. Nach einem Abstand von zwei Leerzeilen folgen die "Allg. NK pauschal" mit Fr. 65.--.
B. Am 1. März 2007 teilte die Beschwerdegegnerin der Beschwerdeführerin auf einem amtlich genehmigten Formular eine Mietzinsänderung per 1. Juli 2007 mit. Sie führte unter dem Titel Mietzins die Nettomiete an, von bisher Fr. 742.-- auf neu Fr. 772.--. Unter dem Titel Heiz- und Nebenkosten wurden bisher für "Heizung, Warmwasser, ARA, TV Akonto Fr. 106.--" angegeben und für allg. Nebenkosten pauschal Fr. 65.--. Darunter folgen die neuen Heiz- und Nebenkosten akonto Fr. 191.-- für Heizung/Warmwasser, Haus- und Gartendienst, Strom, Wasser, Gas, Abwasser, Kehrrichtgebühren, TV/Kabelfernsehen sowie Serviceabonnemente Waschmaschine und Tumbler. Das Formular enthält folgende Begründung:
"Rückführung von ausgegliederten nicht nebenkostenfähigen Kosten in den Mietzins (Verwaltung, Versicherung, Steuern + mtl. Fr. 60.00). Umwandlung der Nebenkostenpauschalen in Akontozahlungen gem. GV-Beschluss vom 07. April 2006. Ausgliederung von bisher im Nettomietzins inbegriffener Kosten neu als Nebenkosten: Serviceabos für WM und Tumbler, allg. Strom, Wasser, Kochgas. Senkung des Nettomietzinses im Betrage von mtl. Fr. 30.00. Erhöhung der Akontozahlung im gleichen Ausmasse und zugleich Erhöhung der Akontozahlung wegen ungenügender Kostendeckung (Fr. 50.00)
Basisdaten neu: Hypothekarzinssatz 3 %, Indexstand 155.6 Punkte (Dezember 2006), Unterhaltskostenteuerung 31.12.2006."
Diese Mietzinsänderung blieb unangefochten.
C. Zu einem späteren Zeitpunkt wandte sich die Beschwerdeführerin an die Mietschlichtungsstelle und danach an das Dreiergericht des Kantons Basel-Stadt und beantragte festzustellen, dass mit Ausnahme der Heizkosten sämtliche übrigen anfallenden Nebenkosten im Nettomietzins inbegriffen und von der Mieterin nicht zusätzlich zu bezahlen seien. Ferner verlangte sie unter Vorbehalt der Mehrforderung Fr. 4'834.04 nebst Zins für zu viel bezahlte Nebenkosten. Das Dreiergericht trat auf das Feststellungsbegehren nicht ein und wies die Klage im Übrigen ab. Gegen diesen Entscheid erhob die Beschwerdeführerin kantonale Beschwerde, wobei sie an ihren Anträgen zunächst festhielt und ihre Forderung im Verlaufe des Verfahrens auf den Betrag von Fr. 4'715.19 reduzierte. Das Appellationsgericht hob den angefochtenen Entscheid bezüglich des Rückforderungsbegehrens auf, behaftete die Beschwerdeführerin bei der Reduktion ihres Begehrens und wies die Sache zu neuer Entscheidung im Sinne der Erwägungen an das Dreiergericht zurück. Im Übrigen wies es die Beschwerde ab. Aus der Urteilsbegründung geht indessen hervor, dass das Appellationsgericht im Gegensatz zum Dreiergericht auf das Feststellungsbegehren eingetreten ist und dieses abgewiesen hat, weshalb das Urteilsdispositiv in diesem Sinne zu verstehen ist.
D. Mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde beantragt die Beschwerdeführerin dem Bundesgericht im Wesentlichen, das Urteil des Appellationsgerichts teilweise (mit Bezug auf die Abweisung des Feststellungsbegehrens) aufzuheben und festzustellen, dass mit Ausnahme der Heizkosten sämtliche übrigen anfallenden Nebenkosten im Nettomietzins inbegriffen seien. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Appellationsgericht beantragt unter Hinweis auf das angefochtene Urteil Abweisung der Beschwerde und hat im Übrigen auf Vernehmlassung verzichtet.
Erwägungen:
1. Entgegen der Auffassung der Beschwerdeführerin handelt es sich beim angefochtenen Urteil nicht um einen Endentscheid (Art. 90 BGG), da das kantonale Verfahren nicht abgeschlossen wird. Die Beschwerde ist aber auch zulässig gegen einen Teilentscheid, der nur einen Teil der gestellten Begehren behandelt, wenn diese Begehren unabhängig von den anderen beurteilt werden können (Art. 91 lit. a BGG). Diese Voraussetzung ist erfüllt. Der Streitwert richtet sich nach den gesamten Begehren, die vor der Instanz streitig waren, welche den Teilentscheid getroffen hat (Art. 51 Abs. 1 lit. b BGG). Die Beschwerdeführerin legt der Streitwertberechnung den Durchschnitt der Rückforderung der Nebenkosten für die Perioden 2001/2002 - 2006/2007 zugrunde und kommt so nach Art. 51 Abs. 4 BGG zu einem Streitwert von Fr. 16'113.45. Ob diese Berechnung zutrifft, scheint fraglich, da vor Vorinstanz sowohl ein Feststellungs- als auch ein Leistungsbegehren streitig waren. Die eingeklagten Beträge bildeten Gegenstand der Leistungsklage. Das Feststellungsinteresse besteht nur mit Blick auf die zukünftige Mietzinsgestaltung. Zur Begründung führt die Beschwerdeführerin indessen an, die Mietzinsänderung vom 1. März 2007 sei nichtig. Damit waren vor der Vorinstanz neben der reduzierten Forderung von Fr. 4'715.19 monatlich wiederkehrende Leistungen im Differenzbetrag zwischen dem von der Beschwerdeführerin anerkannten Nettomietzins von Fr. 742.-- plus Heizkosten (gemäss Vertragsverständnis der Beschwerdeführerin Akonto mit Fr. 106.-- veranschlagt) und den von der Beschwerdegegnerin mit der Änderung verlangten Fr. 772.-- Mietzins plus Nebenkosten (Akonto mit Fr. 191.-- veranschlagt) streitig. Der sich daraus ergebende Differenzbetrag wäre zusätzlich zum Forderungsbetrag nach Art. 51 Abs. 4 BGG zu kapitalisieren. Der Frage kommt indessen keine massgebliche Bedeutung zu, da der für die Beschwerde in Zivilsachen in mietrechtlichen Fällen erforderliche Streitwert von Fr. 15'000.-- (Art. 74 Abs. 1 lit. b BGG) in jedem Fall überschritten wird, weshalb die Beschwerde in Zivilsachen zur Verfügung steht und auf die subsidiäre Verfassungsbeschwerde nicht einzutreten ist (Art. 113 BGG).
2. In ihrer Beschwerde thematisiert die Beschwerdeführerin zunächst die vertragliche Vereinbarung vor der Änderung vom 1. März 2007. Sie ist der Auffassung, neben dem Mietzins seien nur Heizungskosten geschuldet. Für die Zeit vor dem 1. März 2007 fehlt es indessen an einem Feststellungsinteresse, da der Beschwerdeführerin die Leistungsklage zur Verfügung steht. Für die Zeit danach kommt der Frage nur Bedeutung zu, soweit sich die nicht angefochtene Änderung vom 1. März 2007 insgesamt als nichtig erweisen und die ursprüngliche Regelung weiterhin gelten sollte, wie die Beschwerdeführerin behauptet. Dies ist vorab zu prüfen.
2.1 Gemäss Art. 269d Abs. 2 OR sind Mietzinserhöhungen nichtig, wenn der Vermieter sie nicht mit dem vorgeschriebenen Formular mitteilt, sie nicht begründet oder mit der Mitteilung die Kündigung ausspricht. Dies gilt nach Abs. 3 auch, wenn der Vermieter beabsichtigt, sonstwie den Mietvertrag einseitig zu Lasten des Mieters zu ändern, namentlich seine bisherigen Leistungen zu vermindern oder neue Nebenkosten einzuführen. Nach gefestigter Rechtsprechung des Bundesgerichts wird vom Gesetz eine qualifizierte Schriftform vorgeschrieben, die nicht nur die Art, sondern auch den Inhalt der Mitteilung umfasst (BGE 120 II 206 E. 3a S. 208 mit Hinweisen). Die Begründung muss klar sein. Sie soll dem Mieter erlauben, sich ein Bild über Tragweite und Berechtigung der Mietzinserhöhung zu machen und ihm damit die Entscheidungsgrundlagen dafür verschaffen, ob er Einsprache erheben will oder nicht (BGE 118 II 130 E. 2b S. 132 mit Hinweisen; 121 III 6 E. 3a S. 8). Die in der Mitteilung für die Mietzinserhöhung angegebene Begründung bildet Teil der Willensäusserung des Vermieters, mit der er sein Gestaltungsrecht ausübt. Deren Sinn und Tragweite und insbesondere deren Klarheit sind daher nach den üblichen Kriterien der Vertragsauslegung zu bestimmen. Der Vermieter hat sie mangels eines übereinstimmenden Verständnisses der Parteien (Art. 18 OR) so gegen sich gelten zu lassen, wie sie der Mieter als Adressat nach den konkreten Umständen in guten Treuen verstehen durfte und musste (BGE 121 III 6 E. 3c S. 10; 118 II 130 E. 2b S. 132). Das gilt nicht nur für die Begründung eigentlicher Mietzinserhöhungen, sondern auch für die Begründung anderer einseitiger Vertragsänderungen, namentlich für die Einführung gesonderter Nebenkosten (BGE 121 III 460 E. 4 S. 464 ff.). Dabei ist davon auszugehen, dass Nebenkosten dem Mieter nur dann gesondert belastet werden können und nicht im Nettomietzins inbegriffen sind, wenn die Parteien dies ausdrücklich so vereinbart haben (Art. 257a Abs. 2 OR; vgl. zum Ganzen auch Urteil des Bundesgerichts 4C.137/1999 vom 23. August 1999 E. 2a).
2.2 Die Beschwerdeführerin macht zunächst geltend, die bisherige Belastung für Nebenkosten werde im Formular nicht korrekt wiedergegeben, da der Akontobetrag von Fr. 106.-- für Heizung, Warmwasser, Ara und TV eingesetzt sei, statt nur für die Heizkosten.
2.2.1 Nach den Feststellungen der Vorinstanz hat die Beschwerdegegnerin in den Jahren 2001 bis 2007 neben den Heizkosten immer auch Warmwasser, Abwasser, Strom und Cablecom in Rechnung gestellt. Damit habe sie in ihrer gesamten Abrechnungspraxis den Standpunkt eingenommen, der im ursprünglichen Vertrag neben der "Heizung" aufgeführte Akontobetrag beziehe sich auf alle vier Nebenkostenarten (Heizung, Warmwasser, Hauswart und Radio/TV).
2.2.2 Dass nach Auffassung der Beschwerdegegnerin nicht nur Heizkosten vom ursprünglich vereinbarten Akontobetrag erfasst werden, ergibt sich sowohl aus dem Formular als auch aus dem Beiblatt ohne Weiteres. Selbst wenn das Verständnis der Beschwerdegegnerin nicht dem objektiven Vertragssinn entsprechen sollte, konnte die Beschwerdeführerin aus dem Formular erkennen, dass die Beschwerdegegnerin die ursprüngliche Vereinbarung anders verstand als sie selbst. Damit konnte sie in diesem Licht die Trageweite der vorgesehenen Änderungen beurteilen und über deren Anfechtung entscheiden. Insoweit ist der angefochtene Entscheid nicht zu beanstanden.
2.3 Dem Formular musste die Beschwerdeführerin entnehmen, dass die bereits bisher in Rechnung gestellten Nebenkosten jedenfalls nach der Änderung vom Mieter zu tragen sind. Aus der Begründung (und aus der Beilage, auf welche im Formular allerdings nicht verwiesen wird) ergibt sich, dass die nach Auffassung der Beschwerdegegnerin bisher geschuldete Akontozahlung mangels Kostendeckung um Fr. 50.-- erhöht werden sollte, was zusammen mit der ursprünglichen Akontozahlung ein Total von Fr. 156.-- ergibt. Da über die betreffenden Posten bereits bisher abgerechnet worden war, kannte die Beschwerdeführerin die Höhe der zu erwartenden Nebenkosten, so dass sich weitere Informationen erübrigten.
2.4 Neben der ungenügenden Darstellung der bisherigen Kosten beanstandet die Beschwerdeführerin die Begründung auch in weiteren Punkten als unklar. Nach den Feststellungen im angefochtenen Entscheid hat sie diese Behauptung vor der Vorinstanz in der Folge einzig damit konkretisiert, die neu eingeführten Kosten für Haus- und Gartendienst würden weder auf der Vertragsänderung selbst noch im Beiblatt erwähnt.
2.4.1 Die Vorinstanz erkannte, die nach Auffassung der Beschwerdegegnerin bereits bisher im Akontobetrag enthaltenen Kosten der Hauswartung würden weder auf dem Formular noch auf dem Beiblatt bei den bisherigen Nebenkosten erwähnt. Das liesse die Kosten als neue Kosten jedoch umso prominenter in Erscheinung treten, so dass sie im Verfahren gemäss Art. 270b OR hätten gerügt werden können. Die Beschwerdeführerin hält (allerdings in ihren Ausführungen zur subsidiären Verfassungsbeschwerde) auch vor Bundesgericht daran fest, die Begründung betreffend die Kosten für Haus- und Gartendienst sei ungenügend, beziehungsweise unklar. Wie es sich damit verhält, ist durch Auslegung nach dem Vertrauensprinzip zu eruieren.
2.4.2 Die Kosten für Haus- und Gartendienst werden im Formular bei den bisherigen Nebenkosten nicht aufgeführt. Gemäss den Feststellungen der Vorinstanz ging die Beschwerdegegnerin in tatsächlicher Hinsicht davon aus, die Kosten der Hauswartung seien bereits bisher im Akontobetrag enthalten gewesen. Der ursprüngliche Vertrag enthält bei den Nebenkosten neben den Rubriken Heizung (wo der Akontobetrag von Fr. 106.-- eingesetzt wurde), Warmwasser und Radio/TV auch eine Rubrik "Hauswart". Dass entsprechende Kosten je abgerechnet worden wären, ist aber nicht festgestellt. Das Beiblatt erwähnt bei der neuen Mietzinsstruktur die Hauswartung mit der in Klammer angefügten Bemerkung "wo vorhanden". Da sich der Posten "Hauswart" im ursprünglichen Vertrag findet, aber keine entsprechenden Abrechnungen festgestellt sind, bleibt insgesamt unklar, ob und wenn ja welche Veränderung bei den Kosten für Haus- und Gartendienst angestrebt wird. Diesbezüglich erweist sich die Begründung der Vertragsänderung als ungenügend.
2.5 Die Unklarheit bezüglich der Kosten für Haus- und Gartendienst hat keinen Einfluss auf die Beurteilung der Tragweite der übrigen Änderungen. Diese wären separat zu prüfen. Nach den insoweit unangefochtenen Feststellungen im angefochtenen Entscheid hat die Beschwerdeführerin die angebliche Unklarheit der Begründung jedoch nur bezüglich der Kosten für Haus- und Gartendienst konkretisiert. Daher war die Vorinstanz nicht gehalten, die weiteren Änderungen zu überprüfen. Bestand nämlich tatsächlich für die Beschwerdeführerin keine Unklarheit, kann sie sich nach Treu und Glauben nicht darauf berufen, die Angaben erschienen objektiv als unklar (Art. 18 OR).
2.6 Die Beschwerdeführerin macht schliesslich wie bereits vor der Vorinstanz geltend, es sei offensichtlich eine Anpassung der Nettomiete an die Hypothekarzinsentwicklung erfolgt. Der Mietzins wurde indessen lediglich um Fr. 60.-- für Rückführung der Nebenkosten in den Mietzins erhöht und gleichzeitig zufolge Auslagerung neuer Nebenkosten um Fr. 30.-- reduziert, was zur Erhöhung von Fr. 742.-- auf neu Fr. 772.-- führt. Dadurch wird ohne Weiteres ersichtlich, dass nach Auffassung der Beschwerdegegnerin nach Berücksichtigung der Entwicklung der Hypothekarzinse und der Teuerung gestützt auf die neue Basis derselbe Mietzins geschuldet bleibt. Sah die Beschwerdeführerin dies anders, hätte sie die Änderung fristgerecht anfechten müssen.
3. Nach dem Gesagten erweist sich die Beschwerde bezüglich der Kosten für Haus- und Gartendienst als begründet. Da die übrigen Änderungen zulässig sind, braucht nicht darüber entschieden zu werden, wie sich die Nebenkosten vor dem 1. Juli 2007 zusammensetzten, da dies Gegenstand der Leistungsklage ist. Mangels hinreichender Begründung der Vertragsänderung ist festzustellen, dass die Kosten für Haus- und Gartendienst ab 1. Juli 2007 im Nettomietzins enthalten sind. Soweit weitergehend, ist das Feststellungsbegehren abzuweisen. Die Beschwerdeführerin dringt mit ihrer Beschwerde nur in geringem Ausmass durch. Dies rechtfertigt, die Kosten für das bundesgerichtliche Verfahren zu 9/10 der Beschwerdeführerin und zu 1/10 der Beschwerdegegnerin aufzuerlegen und dieser eine reduzierte Parteientschädigung zuzuerkennen. Bei diesem Ausgang des Verfahrens vor Bundesgericht besteht kein Anlass für eine Anpassung der Entschädigungsfolgen im kantonalen Verfahren.
Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Beschwerde in Zivilsachen wird teilweise gutgeheissen, und es wird festgestellt, dass die Kosten für Haus- und Gartendienst ab 1. Juli 2007 im Nettomietzins enthalten sind. Soweit weitergehend, wird das Feststellungsbegehren abgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden zu 9/10 der Beschwerdeführerin und zu 1/10 der Beschwerdegegnerin auferlegt.
4. Die Beschwerdeführerin hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
5. Dieses Urteil wird den Parteien und dem Appellationsgericht des Kantons Basel-Stadt, Ausschuss, schriftlich mitgeteilt.
Lausanne, 1. Februar 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Luczak