Sachverhalt:
A. Am 24. Oktober 2003 schloss X._ als Mieter mit der Y._ AG einen Mietvertrag über ein Einfamilienhaus an der Z._-strasse in Basel zu einem monatlichen Mietzins von Fr. 4'550.--. Als Zweck des Mietobjekts wurde "Wohnen" sowie "Geschäft" angegeben. Gemäss Vertrag begann das Mietverhältnis am 15. November 2003 und wurde auf vier Jahre fest abgeschlossen mit der Möglichkeit, es auf Ablauf der festen Dauer unter Einhaltung einer Frist von sechs Monaten zu kündigen.
Am 17. Juni 2004 kündigte die Vermieterin den Mietvertrag wegen Zahlungsverzugs des Mieters (<ref-law>) auf den 31. Juli 2004. Der Mieter focht die Kündigung mit Eingabe vom 15. Juli 2004 bei der Schlichtungsstelle an. Bevor diese über das Begehren des Mieters entscheiden konnte, stellte die Vermieterin am 5. August 2004 beim Zivilgericht Basel-Stadt ein Gesuch um Erlass eines Räumungsbefehls. Nachdem die beiden Verfahren beim Zivilgericht in Anwendung von <ref-law> vereinigt worden waren, entschied dessen Einzelrichter in Zivilsachen am 11. Oktober 2004, das Begehren um Erklärung der Nichtigkeit bzw. Unwirksamkeit der Kündigung werde abgewiesen und die Mieter (X._ und dessen Ehefrau) würden verpflichtet, das gemietete Haus bis 21. Oktober 2004 zu verlassen. Die im Entscheid vorbehaltene Wiedererwägung verweigerte der Einzelrichter mit Verfügung vom 19. Oktober 2004.
B. X._ gelangte mit Beschwerde gemäss §§ 242 ff. ZPO/BS (Basel-Städtische Zivilprozessordnung vom 8. Februar 1875; GS 221.100) an das Appellationsgericht des Kantons Basel-Stadt mit den Anträgen, den Entscheid des Zivilgerichts vom 11. Oktober 2004 aufzuheben und die Nichtigkeit bzw. Unwirksamkeit der Kündigung vom 17. Juni 2004 festzustellen. Der Beschwerdeführer stellte zudem das Gesuch, es sei festzustellen, dass der Beschwerde aufschiebende Wirkung zukomme, bzw. es sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Der Präsident des Appellationsgerichts verfügte am 25. Oktober 2004, der Beschwerde werde vorläufig die aufschiebende Wirkung zuerkannt. Am 10. Dezember 2004 erliess er nach Einholung der Vernehmlassungen der Gegenpartei und des Einzelrichters eine weitere Verfügung, mit welcher er die vorläufige Bewilligung der aufschiebenden Wirkung widerrief und das Gesuch um aufschiebende Wirkung abwies (Dispositivziffer 3). Zur Begründung führte er aus, die Beschwerde erscheine beim gegenwärtigen Stand des Schriftenwechsels als zu wenig aussichtsreich, um die aufschiebende Wirkung zu rechtfertigen.
C. X._ hat staatsrechtliche Beschwerde eingereicht mit den Anträgen, Ziffer 3 der Verfügung des Präsidenten des Appellationsgerichts des Kantons Basel-Stadt vom 10. Dezember 2004 aufzuheben und der vor dem Appellationsgericht hängigen Beschwerde die aufschiebende Wirkung zuzusprechen bzw. festzustellen, dass der Beschwerde aufschiebende Wirkung zukommt.
Auf Gesuch des Beschwerdeführers ist seiner staatsrechtlichen Beschwerde mit Präsidialverfügung vom 21. Januar 2005 die aufschiebende Wirkung gewährt worden.
Die Y._ AG (Beschwerdegegnerin) und der Präsident des Appellationsgerichts schliessen in ihren Vernehmlassungen auf Abweisung der staatsrechtlichen Beschwerde.

Das Bundesgericht zieht in Erwägung:
1.1 Die Beschwerde richtet sich gegen einen Zwischenentscheid im Sinne von Art. 87 Abs. 2 OG (vgl. <ref-ruling> E. 2b S. 264), der bloss beschwerdefähig ist, wenn er einen nicht wiedergutzumachenden Nachteil bewirken kann. Der Beschwerdeführer betrachtet als solchen Nachteil, dass der Entscheid des Präsidenten des Zivilgerichts vollstreckt und er aus dem gemieteten Haus ausgewiesen werden könne, womit das kantonale Beschwerdeverfahren und ein allfälliges bundesgerichtliches Berufungsverfahren mangels Rechtsschutzinteresses gegenstandslos werden würde.
1.2 Nach der Rechtsprechung des Bundesgerichts bedarf es eines nicht wiedergutzumachenden Nachteils rechtlicher Natur, damit ein Zwischenentscheid gemäss Art. 87 Abs. 2 OG mit staatsrechtlicher Beschwerde angefochten werden kann; eine lediglich tatsächliche Beeinträchtigung wie beispielsweise eine Verlängerung oder Verteuerung des Verfahrens genügt nicht. Der Nachteil ist nur dann rechtlicher Natur, wenn er auch durch einen für den Beschwerdeführer günstigen Endentscheid nicht mehr behoben werden könnte. Indessen muss die blosse Möglichkeit eines nicht wiedergutzumachenden Nachteils rechtlicher Natur genügen (<ref-ruling> E. 1c S. 94; <ref-ruling> E. 1b S. 100 mit Hinweisen).
Diese Voraussetzungen sind im vorliegenden Fall gegeben. Mit der Ausweisung des Beschwerdeführers aus dem gemieteten Haus würde ihm das Recht zum Gebrauch der Mietsache (<ref-law>) genommen. Dabei handelt es sich um einen nicht wiedergutzumachenden Nachteil rechtlicher Natur, weil der Beschwerdeführer das Gebrauchsrecht in der Zeit zwischen der Ausweisung bis zur Fällung des ihm eventuell günstigen Endentscheides nicht ausüben könnte (Urteil des Bundesgerichts 4P.198/2001 vom 24. September 2001, E. 1a). Die staatsrechtliche Beschwerde erweist sich damit unter dem Gesichtspunkt von Art. 87 Abs. 2 OG als zulässig. In diesem Zusammenhang ist im Übrigen anzumerken, dass die Verfügung des Appellationsgerichtspräsidenten nicht mit Berufung angefochten werden konnte (Art. 48 ff. OG). Die Subsidiarität der staatsrechtlichen Beschwerde gegenüber der Berufung (Art. 84 Abs. 2 OG) steht damit dem Eintreten auf die Beschwerde und insbesondere auf die in deren Rahmen vorgebrachte Rüge der Verletzung des Grundsatzes der derogatorischen Kraft des Bundesrechtes nicht entgegen (vgl. dazu <ref-ruling> E. 2b; <ref-ruling> E. 3).
1.3 Nach ständiger Rechtsprechung ist die staatsrechtliche Beschwerde grundsätzlich rein kassatorischer Natur, das heisst sie kann nur zur Aufhebung des angefochtenen Entscheids führen. Eine Ausnahme gilt dann, wenn die von der Verfassung geforderte Lage nicht schon mit der Aufhebung des angefochtenen kantonalen Entscheids wieder hergestellt wird, sondern dafür eine positive Anordnung nötig ist (<ref-ruling> E. 1.2.1 mit Hinweisen). Da im vorliegenden Fall diese Ausnahme nicht gegeben ist, kann auf die Beschwerde nicht eingetreten werden, soweit der Beschwerdeführer mehr beantragt als die Aufhebung von Ziffer 3 der Verfügung des Appellationsgerichtspräsidenten vom 10. Dezember 2004.
2.1 Der Ausweisungsentscheid des Einzelrichters in Zivilsachen erging im summarischen Verfahren (Staehelin/Sutter, Zivilprozessrecht, § 17 Rz. 2 S. 208), wobei der Richter in Anwendung von <ref-law>/BS bzw. <ref-law> zugleich über die Wirksamkeit der ausserordentlichen Kündigung wegen Zahlungsrückstands des Mieters entschied. Solche Entscheide können nach der Praxis der Basler Gerichte mit der "kleinen Appellation" beim Appellationsgericht angefochten werden (BJM 1995 S. 264 ff., Urteil des Appellationsgerichts vom 28.2.1995; BJM 2004 S. 39 ff., Urteil vom 18.3. 2003 und S. 192 ff., Urteil vom 5.3. 2002). Eine eigentliche Appellation im Sinne der §§ 220 ff. ZPO/BS ist dagegen nicht zulässig (Staehelin/Sutter, a.a.O., § 21 Rz. 8).
Die "kleine Appellation" unterscheidet sich dadurch von der Beschwerde, dass in den in <ref-law>/BS (wirksam seit 26. März 1995) aufgezählten Fällen eine freie, das heisst nicht auf Willkür beschränkte Überprüfung durch das Appellationsgericht erfolgt. Im bereits zitierten Urteil des Appellationsgerichts vom 5. März 2002 wird dazu festgehalten (E. 1a), dass von der Beschränkung auf die Willkürprüfung dort abzurücken sei, wo der Entscheid des Appellationsgerichts als obere kantonale Instanz von der Sache her berufungsfähig sei. Nach der bundesrechtlichen Regelung (Art. 48 Abs. 1 OG) werde nämlich verlangt, dass der Entscheid der oberen kantonalen Gerichtsbehörde, um berufungsfähig zu sein, deren freie Überprüfung voraussetze. In derartigen Fällen, wo eine Appellation als vollkommenes Rechtsmittel von der gesetzlichen Ausgestaltung des Rechtsmittelsystems ausgeschlossen sei, habe das Appellationsgericht die allein in Frage kommende Beschwerde mit freier Kognition zu beurteilen, wobei sich dies nicht nur auf Rechts-, sondern auch auf Tatfragen beziehe.
2.2 In der Begründung der angefochtenen Verfügung wird vorgebracht, der Umstand, dass die Beschwerde wegen der Berufungsfähigkeit gemäss Art. 48 OG mit freier Kognition zu überprüfen sei, hebe die übrigen Regeln des Beschwerdeverfahrens nicht auf. Die Beschwerde bleibe ausserordentliches Rechtsmittel ohne Suspensiveffekt. Wesentlich sei, dass das kantonale Prozessrecht nicht die gemäss Art. 48 OG mögliche Berufung unterbinden dürfe. Aus dem Bundesrecht könne sich die Pflicht zur freien Überprüfung ergeben. Daraus folge jedoch nicht die aufschiebende Wirkung für das ausserordentliche kantonale Rechtsmittel. Diese müsse gemäss <ref-law>/BS zuerkannt werden.
2.3 Mit der staatsrechtlichen Beschwerde wird die Verletzung des Grundsatzes der derogatorischen Kraft des Bundesrechts (<ref-law>) und des Anspruchs auf willkürfreies staatliches Handeln (<ref-law>) gerügt. Der Beschwerdeführer macht einerseits als Verletzung von <ref-law> geltend, im Fall der mit der Kündigungsanfechtung verbundenen Mieterausweisung müsse die Vollstreckung des Ausweisungsbefehls von Bundesrechts wegen gehemmt werden, weil sonst eine Anfechtung mit der Berufung beim Bundesgericht illusorisch werde. Er beruft sich in diesem Zusammenhang auf die Rechtsprechung des Bundesgerichts (<ref-ruling>; <ref-ruling> und 183 sowie 241) und eine Äusserung in der Literatur (Fabienne Hohl, Die Ausweisung von Wohnungs- und Geschäftsmietern, in mietrechtspraxis [mp] 1/97 S. 1 ff.). Als Verletzung von <ref-law> rügt er sodann, dass der Appellationsgerichtspräsident mit der angefochtenen Verfügung im Ergebnis das Beschwerdeverfahren auf ein Vollstreckungsverfahren beschränkt und damit verkannt habe, dass der Streitgegenstand des Beschwerdeverfahrens das Recht des Beschwerdeführers auf Überprüfung der umstrittenen ausserordentlichen Kündigung sei.
3. Mit <ref-law> greift das Bundesrecht in die gemäss <ref-law> grundsätzlich dem kantonalen Recht überlassene Regelung der Zuständigkeit und des Verfahrens ein. Nach dieser Bestimmung hat die für die Ausweisung zuständige Behörde auch über die Wirkung der Kündigung zu entscheiden. Mit der als Kompetenzattraktion bezeichneten Vereinigung der beiden Verfahren bei der Ausweisungsbehörde soll verhindert werden, dass widersprüchliche Entscheide gefällt werden oder das Ausweisungsverfahren verzögert wird (BGE <ref-ruling> E. 4a S. 143).
3.1 Die Vereinigung bei der Ausweisungsbehörde führt indessen zu Problemen, wenn das Ausweisungsverfahren nach dem kantonalen Recht so ausgestaltet ist, dass es keine umfassende Prüfung und Beurteilung der Streitsache erlaubt oder grundsätzlich nicht zu deren rechtskräftiger Erledigung führt. In diesen Fällen besteht ein Gegensatz zur gerichtlichen Beurteilung der Frage der Kündigungswirkung, da für ein solches Verfahren einerseits die Offizialmaxime im Sinne von <ref-law> und andererseits der Grundsatz gilt, dass ein definitiver, der materiellen Rechtskraft teilhaftiger Entscheid über einen bundesrechtlichen Anspruch eine erschöpfende Abklärung der tatsächlichen und rechtlichen Grundlagen voraussetzt (<ref-ruling> E. 4a S. 306; <ref-ruling> E. 2d). Daraus hat das Bundesgericht in seiner bisherigen Rechtsprechung abgeleitet, dass die Ausweisungsbehörde über die Streitsache mit voller Kognition zu entscheiden und sie unbesehen deren Liquidität an die Hand zu nehmen hat. Sie hat die tatsächlichen und rechtlichen Verhältnisse umfassend zu prüfen, Vorfragen zu behandeln und die zur Klärung der Sachlage erforderlichen Beweise abzunehmen (BGE <ref-ruling> E. 4b). In einem späteren Urteil ist diese Rechtsprechung mit der Formulierung zusammengefasst worden, dass der Entscheid des Ausweisungsrichters nach <ref-law> in einem vollständigen Erkenntnisverfahren zu ergehen habe und ihm von Bundesrechts wegen materielle Rechtskraft zukomme (<ref-ruling> E. 2c S. 95).
3.2 Der Eingriff des Bundesrechts wirkt sich indessen nicht nur auf die Ausgestaltung des erstinstanzlichen Prozesses, sondern auch auf jene des kantonalen Rechtsmittelverfahrens aus. Nach der Rechtsprechung des Bundesgerichts ist der verfassungsmässige Grundsatz der derogatorischen Kraft des Bundesrechts verletzt, wenn kantonale prozessuale Vorschriften die Möglichkeit der Berufung an das Bundesgericht in Streitsachen ausschliessen, die gemäss den Art. 43 ff. OG an sich berufungsfähig sind. Das bedeutet insbesondere, dass die oberen kantonalen Gerichte verpflichtet sind, in solchen Streitsachen Urteile zu fällen, welche den formellen Voraussetzungen von Art. 48 Abs. 1 OG gerecht werden (BGE <ref-ruling> E. 4, insbes. 4b/ee S. 188). Dies setzt seinerseits namentlich voraus, dass der erstinstanzliche Entscheid des unteren kantonalen Gerichts mit einem ordentlichen kantonalen Rechtsmittel im Sinne von Art. 48 Abs. 1 OG beim oberen kantonalen Gericht angefochten werden kann. Zu einem solchen Rechtsmittel gehört nach der Praxis des Bundesgerichts, dass es Devolutiv- und Suspensivwirkung hat, Letzteres im Sinne einer Hemmung der Rechtskraft und in der Regel auch der Vollstreckbarkeit (<ref-ruling> E. 1c S. 96; <ref-ruling> E. 1; Poudret, Commentaire de la loi fédérale d'organisation judiciaire, Band II, N. 1.3.2. zu Art. 48 OG S. 305; vgl. auch N. 2.1 zu Art. 54 OG betr. Suspensiveffekt der eidgenössischen Berufung). Daraus ist in der Literatur abgeleitet worden, dass der erstinstanzliche Ausweisungsentscheid mit einem kantonalen Rechtsmittel, das Suspensiv- und Devolutiveffekt haben muss, beim kantonalen Obergericht angefochten werden kann, falls eine grundsätzlich berufungsfähige Streitsache vorliegt (Hohl, a.a.O., S. 10). Auf diese Lehrmeinung beruft sich der Beschwerdeführer zur Begründung der Rüge der Verletzung des verfassungsmässigen Grundsatzes der derogatorischen Kraft des Bundesrechts (<ref-law>).
3.3 Festzuhalten ist zunächst, dass sich die vom Beschwerdeführer angerufene Autorin an der zitierten Stelle zum Fall des reinen Ausweisungsverfahrens ohne Kompetenzattraktion äussert, über den hier nicht zu entscheiden ist. Das Bundesgericht hat sich vielmehr auf die Prüfung der Frage zu beschränken, ob die Verfügung des Appellationsgerichtspräsidenten betreffend Entzug der aufschiebenden Wirkung unter den gegebenen Umständen gegen den verfassungsmässigen Grundsatz der derogatorischen Kraft des Bundesrechts verstösst.
Diese Frage ist zu bejahen. Wie erörtert wurde, ist der erwähnte Grundsatz verletzt, wenn kantonale Prozessvorschriften die Möglichkeit der Berufung an das Bundesgericht in Streitsachen ausschliessen, die gemäss Art. 43 ff. OG an sich berufungsfähig sind. Letzteres trifft hier zu, da neben den bereits erörterten Voraussetzungen auch jene des gemäss Art. 46 OG erforderlichen Mindeststreitwerts gegeben ist (vgl. <ref-ruling> E. 1). Sodann kann die angefochtene Verfügung im Ergebnis zur Folge haben, dass der Beschwerdeführer am Weiterzug der Streitsache mittels Berufung an das Bundesgericht gehindert wird. Würde nämlich die vom Einzelrichter des Zivilgerichts mit dem Entscheid vom 11. Oktober 2004 angeordnete Ausweisung vollstreckt, entfiele - wie der Beschwerdeführer zutreffend geltend macht - sein Rechtsschutzinteresse an der Weiterführung des kantonalen Beschwerdeverfahren bzw. an einem Entscheid des Appellationsgerichts über die Rechtmässigkeit von Kündigung sowie Ausweisung und das Beschwerdeverfahren wäre als gegenstandlos abzuschreiben (vgl. <ref-ruling> E. 2).
Daran vermag <ref-law>/BS nichts zu ändern. Dort wird festgehalten, dass der Mieter nach der Vollstreckung der im Verfahren gemäss <ref-law> angeordneten Ausweisung das Recht habe, gegen den Vermieter einen Schadenersatzanspruch geltend zu machen. Darin liegt offensichtlich kein gleichwertiger Ersatz für die vom Bundesrecht vorgeschriebene Möglichkeit, den Entscheid des oberen kantonalen Gerichts betreffend Kündigung und Ausweisung unmittelbar mit Berufung beim Bundesgericht anzufechten. Im Übrigen wird in der Literatur zutreffend darauf hingewiesen, dass ausgewiesene Mieter in der Praxis in der Regel keine solchen Schadenersatzprozesse führen (Corboz, La nature du jugement d'évacuation pour défaut de paiement du loyer, in SJ 1989, S. 585 ff., S. 592; Ducrot, Procédure et contentieux en matière de bail à loyer et de bail à ferme non agricole en particulier dans le canton du Valais, in Zeitschrift für Walliser Rechtsprechung (ZWR) 1991 S. 127 ff., S. 174; Hohl, a.a.O., S. 19).
Aus dem Gesagten ergibt sich, dass der Appellationsgerichtspräsident gegen den verfassungsmässigen Grundsatz der derogatorischen Kraft des Bundesrechts (<ref-law>) verstossen hat, indem er in Anwendung von <ref-law>/BS die vorläufige Bewilligung der aufschiebenden Wirkung widerrief und das Gesuch um aufschiebende Wirkung abwies. Er hätte gegenteils der Beschwerde von Bundesrechts wegen die aufschiebende Wirkung erteilen und damit die Vollstreckbarkeit des angefochtenen erstinstanzlichen Entscheids aufschieben müssen. Aus diesem Grund ist Ziffer 3 der Verfügung des Appellationsgerichtspräsidenten vom 10. Dezember 2004 antragsgemäss aufzuheben.
Die weitere Rüge des Beschwerdeführers, die angefochtene Verfügung verletze auch <ref-law>, braucht unter diesen Umständen nicht behandelt zu werden.
4. Dem Ausgang des Verfahrens entsprechend ist die Gerichtsgebühr der Beschwerdegegnerin aufzuerlegen (Art. 156 Abs. 1 OG). Diese hat den Beschwerdeführer zudem für das bundesgerichtliche Verfahren zu entschädigen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
1. Die staatsrechtliche Beschwerde wird gutgeheissen und Dispositivziffer 3 der Verfügung des Präsidenten des Appellationsgerichts des Kantons Basel-Stadt vom 10. Dezember 2004 aufgehoben.
2. Die Gerichtsgebühr von Fr. 2'000.-- wird der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Präsident des Appellationsgerichts des Kantons Basel-Stadt schriftlich mitgeteilt.
Lausanne, 9. März 2005
Im Namen der I. Zivilabteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: