Sachverhalt:
A. Die X._ AG erbringt nach ihrem Zweck Beratungsleistungen, insbesondere im Bereich der Treuhand- und Steuerberatung sowie des Gesellschafts- bzw. Handels- und Wirtschaftsrechts. Sie ist seit 1998 im Register der Mehrwertsteuerpflichtigen eingetragen.
Am 7. und 8. September 2004 führte die Eidgenössische Steuerverwaltung bei der Steuerpflichtigen eine Kontrolle durch. Gestützt auf deren Ergebnis erhob die Steuerverwaltung am 8. September 2004 zufolge Vorsteueraufrechnungen für die Zeit vom 1. Januar 1999 bis 31. Dezember 2000 eine Steuernachforderung in Höhe von Fr. 2'985.--, zuzüglich Verzugszins, sowie für die Zeit vom 1. Januar 2001 bis 30. Juni 2004 eine Nachforderung im Betrag von Fr. 473.--, zuzüglich Verzugszins.
Am 24. September 2009 stellte die Eidgenössische Steuerverwaltung fest, die Steuerpflichtige habe die Nachforderung von Fr. 2'985.-- im Betrag von Fr. 512.-- vorbehaltlos anerkannt und bezahlt. Sie schulde noch den darauf entfallenden Verzugszins sowie Fr. 2'473.-- und Fr. 473.--, jeweils zuzüglich Verzugszins. Auf Einsprache der Steuerpflichtigen hin erkannte die Eidgenössische Steuerverwaltung am 16. Dezember 2009, der Entscheid vom 24. September 2009 sei bezüglich des anerkannten Betrages und der darauf entfallenden Verzugszinse mangels Anfechtung in Rechtskraft erwachsen; im Übrigen bestätigte sie die Nachforderungen.
Das Bundesverwaltungsgericht wies die von der Steuerpflichtigen gegen den Einspracheentscheid gerichtete Beschwerde mit Urteil vom 2. September 2010 ab, soweit es darauf eintrat.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten stellt die X._ AG dem Bundesgericht im Wesentlichen den Antrag, die Entscheide der Vorinstanzen aufzuheben und die von ihr geltend gemachten Vorsteuerabzüge anzuerkennen.
Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.
Die eidgenössische Steuerverwaltung beantragt, die Beschwerde abzuweisen.
C. Mit Verfügung vom 24. Mai 2011 hat der Instruktionsrichter die Akten der Eidgenössischen Steuerverwaltung zwecks Vornahme allfälliger zusätzlicher Abdeckungen übermittelt und diese angewiesen, der Beschwerdeführerin Gelegenheit zur Einsichtnahme in die bereinigten Akten zu geben. Die Beschwerdeführerin hat die Akten am 27. Juli 2011 bei der Verwaltungsrekurskommission des Kantons St. Gallen eingesehen und am 28. Juli 2011 eine Ergänzung zur Beschwerde eingereicht.

Erwägungen:
1. 1.1 Gegen Entscheide des Bundesverwaltungsgerichts auf dem Gebiet der Mehrwertsteuer ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig (Art. 82 lit. a in Verbindung mit Art. 83 sowie Art. 86 BGG). Als unzulässig erweist sich indessen der Antrag, auch den Entscheid der Eidgenössischen Steuerverwaltung aufzuheben. Dieser ist durch das angefochtene Urteil ersetzt worden (Devolutiveffekt) und gilt als inhaltlich mit angefochten (vgl. BGE 134 II 142 E. 4.1).
1.2 Am 1. Januar 2010 ist das Mehrwertsteuergesetz vom 12. Juni 2009 (MWSTG; SR 641.20) in Kraft getreten. Die bisherigen Bestimmungen bleiben jedoch grundsätzlich weiterhin auf alle früher eingetretenen Tatsachen und entstandenen Rechtsverhältnisse anwendbar (<ref-law>). Betreffend Vorsteuerabzüge vom 1. Januar 2001 bis 30. Juni 2004 sind daher in materieller Hinsicht noch das Bundesgesetz vom 2. September 1999 über die Mehrwertsteuer (aMWSTG; AS 2000 1300) sowie die entsprechende Verordnung vom 29. März 2000 (aMWSTGV; AS 2000 1347) anwendbar. Für die Zeit vom 1. Januar 1999 bis 31. Dezember 2000 finden die Bestimmungen der Verordnung vom 22. Juni 1994 über die Mehrwertsteuer (MWSTV; AS 1994 1464) Anwendung (Art. 93 und 94 aMWSTG).
2. 2.1 Die Beschwerdeführerin rügt zunächst eine Verletzung ihres Akteneinsichtsrechts durch die Vorinstanz, wobei sie sich auf Art. 13 und <ref-law> beruft.
2.2 Die erstgenannte Bestimmung betrifft den Schutz der Privatsphäre, und es ist nicht zu sehen, inwieweit diese im vorliegenden Fall verletzt sein könnte. Die Beschwerdeführerin scheint Daten- und Akteneinsicht zu verwechseln.
Das Recht auf Akteneinsicht, um welches es ihr offenbar geht, ist bundesverfassungsrechtlich durch <ref-law> (Anspruch auf rechtliches Gehör) gewährleistet.
2.3 Die Rüge ist unbegründet. Um Akteneinsicht zu erhalten, hat eine Partei grundsätzlich ein Gesuch einzureichen (<ref-ruling> E. 6.2). Die Vorinstanz hat der Beschwerdeführerin mit Zwischenverfügung vom 4. Januar 2010 eröffnet, sie werde die amtlichen Akten einverlangen und ihr nach Erhalt eine Kopie des Aktenverzeichnisses zustellen, worauf es ihr freistehe, ein formelles Gesuch um Akteneinsicht einzureichen. Ein solches hat die Beschwerdeführerin indessen nach Erhalt der Vernehmlassung der Eidgenössischen Steuerverwaltung mit Beilagenverzeichnis der amtlichen Akten nie eingereicht. Sie hat es sich somit selber zuzuschreiben, dass sie die ihr ausdrücklich angebotene Gelegenheit zur Akteneinsicht nicht wahrgenommen hat. Von einer Verletzung des Anspruches auf Akteneinsicht kann unter diesen Umständen nicht die Rede sein.
Die Rüge ist zudem insoweit gegenstandslos geworden, als der Beschwerdeführerin im vorliegenden Verfahren Akteneinsicht gewährt worden ist.
3. 3.1 Die Beschwerdeführerin beanstandet zudem, dass in den Akten des vorliegenden Verfahrens einzelne Aktenstellen unkenntlich gemacht worden seien.
3.2 Diese Rüge betrifft einzig den Kontrollbericht vom 7./8. September 2004, in welchem in den beigefügten internen Bemerkungen unter "A Ergänzungen" die Antworten zu den Fragen Ziffern 1 bis 5 mit dem Vermerk "betrifft interne Notiz" abgedeckt worden sind. Die Eidgenössische Steuerverwaltung beantragt, insoweit keine Einsicht zu gewähren.
3.3 Das Akteneinsichtsrecht erstreckt sich grundsätzlich auf alle Akten, die geeignet sind, Grundlage für die spätere Entscheidung zu bilden, d.h. entscheidrelevant sind oder sein könnten. <ref-law> vermittelt allerdings keinen Anspruch auf Einsicht in verwaltungsinterne Akten. Als solche gelten Unterlagen, denen für die Behandlung eines Falls kein Beweischarakter zukommt, welche vielmehr ausschliesslich der verwaltungsinternen Meinungsbildung dienen und somit für den verwaltungsinternen Gebrauch bestimmt sind (z.B. Entwürfe, Anträge, Notizen, Mitberichte, Hilfsbelege usw.). Mit dem Ausschluss des Einsichtsrechts in diese Akten soll verhindert werden, dass die interne Meinungsbildung der Verwaltung über die entscheidenden Aktenstücke und die erlassenen begründeten Verfügungen hinaus vollständig vor der Öffentlichkeit ausgebreitet wird (Urteil 1C_388/2009 vom 17. Februar 2010 E. 5.2.1, mit Hinweis).
3.4 Die unter "Ergänzungen" aufgeworfenen Fragen stehen offensichtlich in keinerlei Zusammenhang mit dem hier in Frage stehenden Verfahren betreffend Vorsteuerabzüge. Die entsprechenden Antworten sind daher von vornherein nicht geeignet, entscheidrelevant zu sein. Das Akteneinsichtsrecht ist deshalb insoweit nicht vollumfänglich zu gewähren.
4. Die Berufung der Beschwerdeführerin auf <ref-law> (Wirtschaftsfreiheit bzw. Gleichbehandlung mit der Migros) scheitert bereits daran, dass die von ihr angeführte Migros keine Konkurrentin ist, gegenüber welcher sie allenfalls eine Gleichbehandlung verlangen könnte; zudem legt sie weder dar noch ist ersichtlich, dass der Migros entsprechende Vorsteuerabzüge für Luxusaufwendungen zugestanden würden. Inwieweit in anderer Hinsicht eine Verletzung der Wirtschaftsfreiheit vorliegen sollte, legt die Beschwerdeführerin nicht in einer den Begründungserfordernissen genügenden Weise (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG) dar.
5. 5.1 Verwendet eine steuerpflichtige Person Gegenstände oder Dienstleistungen für steuerbare Ausgangsleistungen, so kann sie in ihrer Steuerabrechnung Vorsteuern für Lieferungen und Dienstleistungen (Art. 38 Abs. 1 und 2 aMWSTG bzw. Art. 29 Abs. 1 und 2 MWSTV) abziehen.
Nach Art. 38 Abs. 1 lit. a aMWSTG und <ref-law> ist zum Abzug der von anderen steuerpflichtigen Personen in Rechnung gestellten Steuer nur berechtigt, wer die geltend gemachten Beträge mit Belegen nach Art. 37 Abs. 1 und 3 aMWSTG bzw. Art. 28 Abs. 1 und 3 MWSTV nachweisen kann. Die Rechnung des Leistungserbringers (bzw. allenfalls der eine Rechnung ersetzende Beleg) - der im Mehrwertsteuerrecht zentrale Bedeutung zukommt (<ref-ruling> E. 5) - muss u.a. dessen Namen, Adresse und Mehrwertsteuernummer sowie Namen und Adresse des Leistungsempfängers enthalten.
Nach Art. 15a aMWSTGV anerkennt die Eidgenössische Steuerverwaltung indessen auch Rechnungen und solche ersetzende Dokumente, welche diese Anforderungen nicht erfüllen, sofern die tatsächlich vorhandenen Angaben die betreffenden Personen eindeutig identifizieren. Zudem wird allein aufgrund von Formmängeln keine Steuernachforderung erhoben, wenn erkennbar ist oder die steuerpflichtige Person nachweist, dass durch die Nichteinhaltung einer Formvorschrift des Gesetzes oder dieser Verordnung für die Erstellung von Belegen für den Bund kein Steuerausfall entstanden ist (Art. 45a aMWSTGV). Beide Bestimmungen sind am 1. Juli 2006 in Kraft getreten (AS 2006 2353) und rückwirkend anwendbar (Urteil 2C_614/2007 vom 17. März 2008 E. 3.5). Das Vorhandensein einer Rechnung (oder eines entsprechenden Belegs) ist jedoch eine unabdingbare materiellrechtliche Voraussetzung für den Vorsteuerabzug; fehlt die Rechnung, kann dieser Mangel nicht durch Art. 15a oder 45a aMWSTGV geheilt werden (Urteil des Bundesgerichts 2C_263/2007 vom 24. August 2007 E. 5.2).
5.2 Ein Vorsteuerabzug setzt voraus, dass die mit der Vorsteuer belasteten Gegenstände und Dienstleistungen für einen geschäftlich begründeten Zweck verwendet werden, namentlich für steuerbare Lieferungen und Dienstleistungen. Verlangt wird ein objektiv wirtschaftlicher Zusammenhang zwischen steuerbarer Eingangs- und Ausgangsleistung; andernfalls liegt Endverbrauch beim Steuerpflichtigen vor, welcher nicht zum Vorsteuerabzug berechtigt (<ref-ruling> E. 8, 10). So berechtigen zwar geschäftlich begründete Ausgaben, die jedoch nicht im Zusammenhang mit steuerbaren Leistungen stehen bzw. für die betriebliche Leistungserstellung nicht unmittelbar notwendig sind, nicht zum Vorsteuerabzug (<ref-ruling> E. 6 und 7a).
5.3 Wer nicht im Register der Mehrwertsteuerpflichtigen eingetragen ist, darf in Rechnungen etc. nicht auf die Mehrwertsteuer hinweisen (Art. 37 Abs. 4 aMWSTG bzw. <ref-law>). Weiss die steuerpflichtige Person oder hätte sie bei sorgfältiger Prüfung wissen können, dass derjenige, der ihr eine Rechnung nach Art. 37 Abs. 1 aMWSTG bzw. <ref-law> ausgestellt hat, nicht als steuerpflichtige Person eingetragen ist, so berechtigt sie diese Rechnung nicht zum Vorsteuerabzug (Art. 39 Abs. 1 aMWSTG bzw. <ref-law>).
5.4 Die Steuerbehörde trägt die Beweislast für Tatsachen, welche die Steuerpflicht als solche begründen oder die Steuerforderung erhöhen, das heisst für die steuerbegründenden und -erhöhenden Tatsachen. Demgegenüber ist der Steuerpflichtige für die steueraufhebenden und -mindernden Tatsachen beweisbelastet, das heisst für solche Tatsachen, welche Steuerbefreiung oder Steuerbegünstigung bewirken (statt vieler: Urteil 2A.642/2004 vom 14. Juli 2005 E. 5.4, in: ASA 75 S. 495 ff.).
6. 6.1 In Bezug auf die Rechnung der Q._ Co. AG vom 31. März 1999 über Fr. 14'576.35 verweigerte die Eidgenössische Steuerverwaltung den Vorsteuerabzug von Fr. 889.65, weil die Rechnung an die R._ AG (bzw. seit März 1999 R1._ AG) adressiert war und die Beschwerdeführerin deren Adresse mit einer auf sie lautenden Adressetikette überklebt hat.
6.2 Die in Frage stehende Originalrechnung wurde nicht auf die Beschwerdeführerin ausgestellt und von der Adressatin, welche die Rechnung nach Erhalt sofort zu kontrollieren hatte, auch nicht zurückgewiesen. Sie wurde jedoch insbesondere seitens der Q._& Co. AG nicht förmlich berichtigt. Angesichts des Urkundencharakters der Rechnung ist für eine solche - an sich zulässige - Berichtigung zu verlangen, dass eine neue Rechnung - im Original - ausgefertigt wird (vgl. Urteil 2A.546/2000 vom 31. Mai 2002 E. 2 und 5b, in: ASA 72 727 ff.). Die in den Akten liegende, von der Beschwerdeführerin selber verfasste Erklärung vom 23. September 2004, wonach das Überkleben des Adressaten mit der Leistungserbringerin vereinbart worden sei, trägt zwar auch den Stempel der Q._ & Co. AG, es fehlt indessen eine Unterschrift ihres Zeichnungsberechtigten. Sie könnte indessen ohnehin nicht als formgültige Berichtigung, die nur mit Original-Buchhaltungsbelegen zulässig ist, gelten. Die Vorinstanz durfte daher ohne Willkür davon ausgehen, die Beschwerdeführerin habe die an die R._ AG adressierte und gerichtete Rechnung einseitig, ohne Kenntnis der Q._ & Co. AG, umgeschrieben und jene erst nach der Beanstandung durch den Revisor anlässlich der Kontrolle darüber orientiert; damit habe die Beschwerdeführerin den Beweis dafür, dass sie Empfängerin der in Frage stehenden Leistung sei, nicht erbracht. Die Vorinstanz hat unter diesen Umständen die Verweigerung des Vorsteuerabzugs zu Recht geschützt.
6.3 Mit der Vorinstanz ist ebenfalls davon auszugehen, dass das Erfordernis der Angabe des (richtigen) Adressaten eine materielle gesetzliche Voraussetzung des Vorsteuerabzugs betrifft, womit kein Raum für die Anwendung von Art. 15a bzw. 45a aMWSTG bleibt.
7. 7.1 In Bezug auf die Rechnung der S._ GmbH vom 4. Februar 1999 über Fr. 5'000.-- hat die Eidgenössische Steuerverwaltung den Vorsteuerbetrag von Fr. 348.84 nicht zugelassen, weil diese Firma per 31. Dezember 1998 aus dem Register der Mehrwertsteuerpflichtigen gelöscht worden war.
7.2 Die Vorinstanz hat festgestellt, dass die Beschwerdeführerin selber die Firma am 17. April 1997 als Mehrwertsteuerpflichtige angemeldet habe und als deren Buchhaltungs-/Treuhandstelle aufgeführt worden sei sowie dieser zumindest vom 1. Juli 1998 bis 1. April 1999 monatlich den Betrag von Fr. 350.-- in Rechnung gestellt habe.
7.3 Auf Grund dessen und der zudem bestehenden personellen Verflechtungen der zeitweise am Geschäftssitz der Beschwerdeführerin domizilierten Firma (vgl. angefochtener Entscheid E. 3.2.2) durfte die Vorinstanz ohne Willkür darauf schliessen, dass die Beschwerdeführerin bis mindestens April 1999 als Treuhand- und Buchhaltungsstelle der Firma tätig war und am 4. Februar 1999 bzw. im Zeitpunkt der Geltendmachung des Vorsteuerabzugs im 2. Quartal 1999 wusste bzw. hätte diese wissen können, dass die S._ GmbH nicht (mehr) im Register der Mehrwertsteuerpflichtigen geführt wurde. Indem sie die Voraussetzungen für die Inanspruchnahme des Vorsteuerabzugs als nicht gegeben erachtete, hat die Vorinstanz somit kein Bundesrecht verletzt.
8. 8.1 Weiter hat die Eidgenössische Steuerverwaltung bei drei Rechnungen der T._ AG für Orientteppiche über Fr. 4'300.--, Fr. 13'400.-- und Fr. 6'700.-- die Vorsteuerabzüge von Fr. 300.--, Fr. 934.88 und Fr. 473.23 verweigert. Sie hat dies damit begründet, dass es sich dabei nicht um geschäftlich begründeten Aufwand handle.
8.2 Es ist mit der Beschwerdeführerin davon auszugehen, dass eine übliche Ausstattung der Geschäftsräume geschäftsmässig begründet ist und die entsprechenden Vorsteuerabzüge gemacht werden können. Dies gilt hingegen nicht für Luxusausgaben oder Repräsentationsaufwendungen (<ref-ruling> E. 6 d), die in der Regel nicht für geschäftliche Zwecke verwendet werden wie bspw. Orientteppiche im Coiffeursalon oder Kunstwerke wie Bilder und Skulpturen im Büro des Unternehmensberaters (Wegleitung 2008 zur Mehrwertsteuer). In diesem Sinne wären Spannteppiche oder sonst allgemein übliche Bodenbeläge - wie sie zudem in aller Regel bereits in der Miete der Räume enthalten sind - sicher zu den geschäftsmässig begründeten Aufwendungen für die Geschäftsräume eines Treuhand- und Steuerberatungsunternehmens zu zählen. Der Vorinstanz ist hingegen darin beizupflichten, dass die Ausstattung der Geschäftsräume mit teuren Orientteppichen offensichtlich primär dem persönlichen Wohlergehen der darin anwesenden Personen, also deren persönlichen und privaten Nutzen dient. Wenn sie deshalb die Notwendigkeit der teuren Teppiche zur Erzielung der Umsätze als nicht ersichtlich erachtet, kann ihr keine Verletzung von Bundesrecht vorgeworfen werden.
9. 9.1 Die Beschwerdeführerin rügt schliesslich, das Verfahren vor der Eidgenössischen Steuerverwaltung habe stossend lange gedauert, wodurch <ref-law> verletzt sei. Es sei deshalb zumindest kein Verzugszins zu fordern.
9.2 Die Vorinstanz hat erkannt, das Verfahren vor der Eidgenössischen Steuerverwaltung - beginnend mit der teilweisen Bestreitung der Nachforderung - habe insgesamt etwas mehr als fünf Jahre gedauert, wobei das Einspracheverfahren lediglich gut drei Monate in Anspruch genommen habe. Die Dauer für das Entscheidverfahren erscheine somit als eher unangemessen lang, womit eine Verletzung von <ref-law> wegen übermässiger Verfahrensdauer gegeben sei. Dabei müsse es indessen sein Bewenden haben, denn eine Verletzung des Beschleunigungsgebots in Steuerangelegenheiten könne nicht dazu führen, dass die geschuldete Steuer nicht bezahlt werden müsste.
9.3 Dies entspricht der bundesgerichtlichen Rechtsprechung (Urteile 2A.455/2006 vom 1. März 2007 E. 3.3.2 und 2C_356/2008 vom 21. November 2008 E. 7); es kann auf die zutreffenden Ausführungen der Vorinstanz verwiesen werden. Hätte die Beschwerdeführerin rechtzeitig die notwendigen finanziellen Mittel für die allenfalls drohenden Nachforderungen sichergestellt bzw. sicherstellen lassen, so wären diese bei sachgerechter Hinterlegung angemessen verzinst worden; damit hätte sie eine übermässige zusätzliche finanzielle Belastung vermeiden können.
10. Die Beschwerde ist aus diesen Gründen abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang hat die Beschwerdeführerin die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Lausanne, 23. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Küng