Sachverhalt:
A. Die X._ GmbH führte an der R._-Strasse in Zürich einen Imbissladen (Take away). Sie wurde von der Eidgenössischen Steuerverwaltung (ESTV) rückwirkend per 1. März 1999 in das Register der Mehrwertsteuerpflichtigen eingetragen, wobei ihr die Möglichkeit eingeräumt wurde, sich der Abrechnungsmethode Saldosteuersätze zu unterstellen. Sie beantragte in der Folge mittels des entsprechenden Formulars als "Betrieb ohne Sitzplatzgelegenheit" den für Take away-Betriebe geltenden Saldosteuersatz von 0.5 %. Die Abrechnung nach der Saldosteuersatzmethode wurde von der ESTV bewilligt, jedoch mit dem für gastgewerbliche Betriebe geltenden höheren Satz von 5,1 %.
B. Mit Ergänzungsabrechnung Nr. 305'573 vom 25. Juni 2003 forderte die ESTV bei der X._ GmbH für die Zeit vom 1. März 1999 bis zum 31. Dezember 2000 gestützt auf eine Umsatzschätzung Fr. 38'725.-- Mehrwertsteuern zuzüglich Zins nach. Mit Entscheid vom 4. Juli 2003 bestätigte die ESTV ihre Steuernachforderung. Eine dagegen eingereichte Einsprache wies sie am 31. Januar 2005 ab.
Die X._ GmbH erhob gegen den Einspracheentscheid Beschwerde an die Eidgenössische Steuerrekurskommission. Das Bundesverwaltungsgericht, welches das Verfahren übernommen hatte, wies die Beschwerde mit Urteil vom 23. Oktober 2007 ab.
C. Mit Beschwerde an das Bundesgericht beantragt die inzwischen in Liquidation getretene X._ GmbH die Aufhebung der Steuernachforderung.
Die ESTV beantragt die Abweisung der Beschwerde, während das Bundesverwaltungsgericht auf Vernehmlassung verzichtet hat.

Erwägungen:
1. Nach Art. 27 Abs. 1 lit. a Ziff. 1 2. Lemma der auf den vorliegenden Fall noch anwendbaren Verordnung über die Mehrwertsteuer vom 22. Juni 1994 (MWSTV, vgl. Art. 93 Abs. 1 und Art. 94 MWSTG) ist für die Lieferung von Ess- und Trinkwaren (ausgenommen alkoholische Getränke) ein reduzierter Steuersatz vorgesehen; dieser gilt jedoch nicht für Ess- und Trinkwaren aller Art, die im Rahmen von gastgewerblichen Leistungen abgegeben werden; als gastgewerbliche Leistung gilt die Abgabe von Ess- und Trinkwaren namentlich dann, wenn der Steuerpflichtige für deren Konsum an Ort und Stelle besondere Vorrichtungen bereithält. Im vorliegenden Fall geht es nur um die Frage, ob die von der Beschwerdeführerin erbrachten Leistungen in diesem Sinne als gastgewerblich anzusehen sind und deshalb dem ordentlichen Steuersatz unterliegen. Die Höhe des steuerbaren Umsatzes und der gegebenenfalls anwendbare Saldosteuersatz sind dagegen nicht streitig.
2. 2.1 Als besondere Vorrichtungen für den Konsum der abgegebenen Ess- und Trinkwaren an Ort und Stelle gelten nach der Praxis der ESTV namentlich Tische, Stühle, Bänke, Theken und dergleichen. Ob diese Einrichtungen dem Leistungserbringer gehören oder von einem Dritten zur Verfügung gestellt werden und ob die Konsumationsmöglichkeit vom Kunden tatsächlich benutzt wird oder nicht, spielt keine Rolle, ebensowenig, ob die besonderen Einrichtungen oder Vorrichtungen ausreichen, um sämtlichen Kunden den Konsum an Ort und Stelle zu ermöglichen (Rz 216 f. der hier noch massgeblichen Wegleitung 1997 für Mehrwertsteuerpflichtige; vgl. dazu das Urteil 2A.68/2003 vom 31. August 2004, publiziert in ASA 76 S. 212, betreffend die Besteuerung von Umsätzen im Rahmen des Minibar-Service in Eisenbahnzügen).
2.2 Nach den Feststellungen im angefochtenen Entscheid befand sich vor der Ausgabestelle (d.h. im Freien) ein Holztisch mit Sitzgelegenheit. Die Vorinstanz hielt die Behauptung der Beschwerdeführerin, diese Sitzgelegenheit sei ausschliesslich für deren eigenes Personal bestimmt gewesen, für wenig glaubwürdig, zumal ein Sitzverbot für die Kunden nicht geltend gemacht worden sei. Unter den gegebenen Umständen habe sich die Sitzvorrichtung als Konsumationsgelegenheit für diese geradezu angeboten. Der räumliche Zusammenhang der Sitzvorrichtung zum Imbissstand der Beschwerdeführerin sei mit seinem Standort direkt neben dem Eingang zweifellos hinreichend gegeben gewesen. Dass der Tisch während der Wintermonate nicht dort gestanden haben soll - was nicht nachgewiesen sei -, erlaube nicht den Schluss, dass der für die Lieferung von Ess- und Trinkwaren reduzierte Steuersatz dennoch für das ganze Jahr anzuwenden sei. Ob die im Kundenbereich fix montierte, offenbar aus Marmor bestehende ca. 25 cm breite Fläche als Konsumationsgelegenheit gedient habe, wie die ESTV angenommen hatte, hielt die Vorinstanz für naheliegend; sie klärte diese Frage aber nicht abschliessend.
2.3 Stand den Kunden der Beschwerdeführerin aber unmittelbar neben dem Eingang zu ihrem Imbissstand ein Tisch mit Sitzgelegenheit zur Verfügung, hat die Vorinstanz den streitigen Umsatz zu Recht dem ordentlichen Saldosteuersatz unterworfen. Was die Beschwerdeführerin dagegen vorbringt, vermag zu keinem anderen Ergebnis zu führen. Soweit sie sich - in unzulässiger Weise (vgl. <ref-law>) - auf eine neu eingereichte Grundrissfotokopie beruft, übersieht sie, dass die Vorinstanz nicht entscheidend auf die im Innern des Lokales befindliche Abstellfläche abgestellt hat, sondern auf den im Freien aufgestellten Tisch mit Sitzgelegenheit. Wenn die Beschwerdeführerin nach ihren eigenen Angaben dort einen Aschenbecher und einen Mülleimer hinstellte, damit leere Flaschen, Lebensmittelreste, Papiere, Zigarettenstummel usw. nicht einfach fortgeworfen würden, anerkennt sie selber, dass die Vorrichtung dazu diente, ihren Kunden den Konsum der bei ihr eingekauften Ess- und Trinkwaren zu ermöglichen. Dass in Zürich "gewöhnlich ca. mehr als 8 Monate winterliche Witterungsverhältnisse" herrschten, ist eine abwegige Behauptung, die nicht geeignet ist, die Annahme, die Sitzgelegenheit werde (zumindest auch) von den Kunden der Beschwerdeführerin benutzt, zu widerlegen. Ob dies während des ganzen Jahres möglich war und ob sämtliche Kunden von der Sitzgelegenheit Gebrauch machten, ist für die Beurteilung der Frage, ob eine gastgewerbliche Leistung im Sinne von Art. 27 Abs. 1 lit. a Ziff. 1 2. Lemma MWSTV vorliegt, nicht entscheidend. Unerheblich ist auch, ob der Tisch und die Stühle von der Beschwerdeführerin oder von einem Dritten aufgestellt wurden. Schliesslich kann die Beschwerdeführerin auch aus der bei den Akten liegenden Fotokopie eines Schreibens der Stadtpolizei Zürich nichts ableiten. Abgesehen davon, dass dieses Schreiben nicht direkt an sie adressiert ist, sondern offenbar sämtlichen Inhabern von "Ausgabestellen/Take-away" zugehen sollte, lässt sich ihm hinsichtlich der Konsumationsmöglichkeit im Freien, um die es hier vor allem geht, nichts entnehmen. Im übrigen käme es auf die gewerbepolizeiliche Qualifikation des Betriebs der Beschwerdeführerin ohnehin nicht an.
3. Die Beschwerdeführerin wendet sich auch dagegen, dass sie zur Bezahlung von Verzugszinsen verpflichtet wurde. Die Verzugszinspflicht ergibt sich aus <ref-law>. Dass sich die Beschwerdeführerin in Liquidation befindet und angeblich keine gewinnbringende Tätigkeit mehr ausübt, ändert an dieser Pflicht nichts.
4. Die Beschwerde erweist sich somit als offensichtlich unbegründet und ist im Verfahren gemäss <ref-law> abzuweisen.
Dem Ausgang des Verfahrens entsprechend sind die Kosten der Beschwerdeführerin aufzuerlegen (Art. 65, 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 23. Juli 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Hungerbühler Matter