Sachverhalt:
A. Mit Verfügung vom 23. August 2010 entschied die Eidgenössische Steuerverwaltung (EStV), dem Internal Revenue Service der Vereinigten Staaten von Amerika (IRS) sei in Bezug auf Y._ Amtshilfe zu leisten. Diese Verfügung stützte die EStV auf das Abkommen vom 19. August 2009 zwischen der Schweizerischen Eidgenossenschaft und den Vereinigten Staaten von Amerika (USA) über ein Amtshilfegesuch des IRS betreffend die UBS AG, einer nach schweizerischem Recht errichteten Aktiengesellschaft (in der von der Bundesversammlung am 17. Juni 2010 genehmigten Fassung; SR 0.672.933.612). In der Verfügung der EStV wird darauf hingewiesen, dass die an den IRS zu übermittelnden Unterlagen nur in Verfahren gegen Y._ für den im Ersuchen des IRS vom 31. August 2009 genannten Tatbestand verwendet werden dürfen (Spezialitätsvorbehalt). Auf Abdeckungen bestimmter Teile der zu übermittelnden Unterlagen, welche einzig zum Schutz von unbeteiligten Dritten zulässig seien, verzichtete die EStV.
B. Mit Beschwerde an das Bundesverwaltungsgericht vom 27. September 2010 beantragte Y._ unter anderem, die Verfügung der EStV vom 23. August 2010 sei aufzuheben und die Amts- und Rechtshilfe an den IRS sei zu verweigern. In einem Eventualantrag verlangte er, die EStV sei anzuweisen, die Hinweise in den betreffenden Bankdokumenten auf unbeteiligte Dritte, insbesondere Y._ und X._, seien aus den Akten zu entfernen oder zu schwärzen.
C. Am 31. Januar 2011 teilten die Rechtsvertreter von Y._ dem Bundesverwaltungsgericht mit, sie hätten sich aufgrund der anwaltschaftlichen Sorgfaltspflicht von X._, einer im Dossier erwähnten Drittperson, deren Daten nicht von Amtes wegen abgedeckt worden seien, bevollmächtigen lassen, um für ihn eine separate Verfügung der EStV zu erwirken. Sie beantragten deshalb die Sistierung des Verfahrens in Sachen Y._ vor Bundesverwaltungsgericht bis über die Zulässigkeit der Weitergabe von Daten unbeteiligter Dritter, welche selbst die Kriterien des Anhangs zum Staatsvertrag mit den USA nicht erfüllten, letztinstanzlich entschieden sei. Diesem Sistierungsgesuch lag ein Gesuch an die EStV vom 31. Januar 2011 um Schwärzung bzw. Erlass einer separaten Verfügung betreffend die Herausgabe von Personendaten über X._ bei.
Mit Zwischenverfügung vom 4. Februar 2011 wies die Instruktionsrichterin am Bundesverwaltungsgericht das Sistierungsgesuch ab. Die EStV teilte dem Beschwerdeführer mit Schreiben vom 21. Februar 2011 mit, sie beabsichtige aus den in der Verfügung des Bundesverwaltungsgerichts vom 4. Februar 2011 genannten Gründen nicht, in diesem "Drittpersonenverfahren" formelle Verfügungen zu erlassen.
D. Mit Eingabe an das Bundesverwaltungsgericht vom 14. Februar 2011 machten die Rechtsvertreter von Y._ geltend, sie hätten das Sistierungsgesuch vom 31. Januar 2011 nicht im Namen dieses Beschwerdeführers, sondern für den ebenfalls durch sie vertretenen, im Gesuch namentlich erwähnten unbeteiligten Dritten X._ eingereicht. Sie stellten unter anderem die Anträge, die Zwischenverfügung vom 4. Februar 2011 sei zu berichtigen, in Revision zu ziehen und es sei neu zu entscheiden.
In einer weiteren Zwischenverfügung vom 25. Februar 2011 wies die Instruktionsrichterin am Bundesverwaltungsgericht das Gesuch um Berichtigung und Revision der Zwischenverfügung vom 4. Februar 2011 ab.
E. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 21. März 2011 beantragt X._, die Zwischenverfügungen des Bundesverwaltungsgerichts vom 4. und 25. Februar 2011 seien aufzuheben. Zudem sei die EStV anzuweisen, dem Beschwerdeführer vor der EStV Parteistellung einzuräumen und die Frage unter Beizug des Eidgenössischen Datenschutz- und Öffentlichkeitsbeauftragten (EDÖB) zu entscheiden. Die Vorinstanz sei anzuweisen, dass bis zum Entscheid der EStV über die Drittpartei (Beschwerdeführer) das Verfahren vor der Vorinstanz in Sachen Y._ sistiert werde. Eventualiter sei dem Beschwerdeführer Parteistellung vor der Vorinstanz einzuräumen. Dabei sei die Vorinstanz anzuweisen, in einem separat anfechtbaren Teilentscheid über die datenschutzrechtliche Vorfrage der Behandlung des nach dem UBS-Amtshilfeabkommen unbeteiligten Dritten zu entscheiden und den EDÖB zu konsultieren. Er stützt seine Beschwerde auf <ref-law> und wirft der Vorinstanz Rechtsverweigerung und Rechtsverzögerung sowie die Verletzung von Art. 8 EMRK und des Bundesgesetzes vom 19. Juni 1992 über den Datenschutz (DSG; SR 235.1) vor.
In verfahrensrechtlicher Hinsicht beantragt der Beschwerdeführer, die Vorinstanz sei vorsorglich anzuweisen, dass bis zum Entscheid des Bundesgerichts über die vorliegende Beschwerde das Verfahren vor der Vorinstanz in Sachen Y._ sistiert werde.
F. Das Bundesverwaltungsgericht teilt mit, bei ihm sei kein Verfahren betreffend den Beschwerdeführer im bundesgerichtlichen Verfahren hängig. Dieser habe weder eine Verfügung einer Vorinstanz des Bundesverwaltungsgerichts angefochten noch habe er in einem am Bundesverwaltungsgericht hängigen Verfahren die Einräumung einer Parteistellung verlangt. Es könne deshalb zu den Ausführungen in der Beschwerdeschrift keine Stellung nehmen.
Die EStV führt aus, ein "Drittpersonenverfahren" mache nur Sinn, wenn die Amtshilfe gewährt werde. Bei Verweigerung der Amtshilfe bestehe kein legitimes Interesse an einer Klärung der Frage, welche Hinweise auf Drittpersonen hätten abgedeckt oder geschwärzt werden müssen. Die Anträge des Beschwerdeführers führten zu einer unzulässigen Verlängerung und Verzögerung des Verfahrens.
Y._ beantragt sinngemäss die Gutheissung der Beschwerde. In seiner Replik vom 2. Mai 2011 hält der Beschwerdeführer am Sachverhalt und den Anträgen in der Beschwerde fest.

Erwägungen:
1. Das Bundesgericht prüft seine Zuständigkeit von Amtes wegen (<ref-law>).
1.1 In der vorliegenden Angelegenheit hat die Vorinstanz am 4. Februar 2011 eine Verfügung über das Sistierungsgesuch erlassen und in einer zweiten Verfügung vom 25. Februar 2011 entschieden, dass kein Anlass zur Berichtigung oder Revision der Verfügung vom 4. Februar 2011 bestehe. Die erstinstanzliche Verfügung der EStV vom 23. August 2010 stützt sich auf internationales Amtshilferecht, nämlich auf das Doppelbesteuerungsabkommen mit den USA (DBA-USA [SR 0.672.933.61] mit Änderungsprotokoll vom 23. September 2009 [BBl 2010 4359; BBl 2010 235, 247]; s. auch Verordnung vom 15. Juni 1998 zum DBA-USA [SR 672.933.61]; Verordnung vom 1. September 2010 über die Amtshilfe nach Doppelbesteuerungsabkommen [ADV; SR 672.204]) sowie auf das Abkommen vom 19. August 2009 zwischen der Schweiz und den USA über ein Amtshilfegesuch betreffend die UBS AG (Schweiz) mit Änderungsprotokoll vom 31. März 2010 (Abkommen USA/UBS [SR 0.672.933.612; AS 2010 1459; BBl 2010 3001, 3027], genehmigt von der Bundesversammlung mit Bundesbeschluss vom 17. Juni 2010 [AS 2010 2907, 2909; BBl 2010 2965 ff.]). Die EStV bewilligte in ihrer Verfügung ein Amtshilfeersuchen der USA.
1.2 Das Bundesverwaltungsgericht entscheidet in diesem Sachbereich auf Beschwerde hin endgültig (Art. 31 und Art. 33 lit. d VGG i.V.m. <ref-law>; BGE 1C_485/2010 vom 20. Dezember 2010 E. 2.2.2 mit zahlreichen Hinweisen). Die Zuständigkeit des Bundesgerichts kann in solchen Fällen nicht mit seiner Zuständigkeit zur Beurteilung bestimmter Fälle betreffend die internationale Rechtshilfe in Strafsachen gemäss <ref-law> begründet werden (vgl. BGE 1C_485/2010 vom 20. Dezember 2010 E. 2.3 mit Hinweisen). Auch eröffnet die Rüge, das Datenschutzrecht des Bundes verbiete die Übermittlung der Namen der Beschwerdeführer im Rahmen der Amtshilfe an die USA, keine Zuständigkeit des Bundesgerichts. Soweit sich bei der Prüfung eines Amtshilfegesuchs Fragen des Datenschutzes stellen, sind diese im gesetzlich vorgesehenen Amtshilfeverfahren durch die dazu zuständigen Behörden zu beurteilen (vgl. <ref-ruling> E. 4 S. 130; <ref-ruling> E. 1b S. 536; je mit Hinweisen).
1.3 Den Sachentscheid des Bundesverwaltungsgerichts wird der Beschwerdeführer somit in Beachtung von <ref-law> nicht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht anfechten können. Damit können auch die verfahrensrechtlichen Zwischenentscheide über die Sistierung sowie die Berichtigung oder Revision des Sistierungsentscheids nicht beim Bundesgericht angefochten werden (vgl. Urteile 2C_176/2007 vom 3. Mai 2007 E. 2; 2C_46/2007 vom 8. März 2007 mit Hinweisen). Ausser Betracht fällt die subsidiäre Verfassungsbeschwerde, welche nur zur Anfechtung von Entscheiden letzter kantonaler Instanzen zur Verfügung steht (vgl. <ref-law>).
2. Der Beschwerdeführer macht im Wesentlichen geltend, die Weigerung der Vorinstanzen, in Bezug auf die amtshilfeweise Weitergabe seiner Personendaten ein Drittverfahren durchzuführen, stelle eine Rechtsverweigerung dar. Gegen diese Rechtsverweigerung sei in Anwendung von <ref-law> die Beschwerde an das Bundesgericht zulässig. Er übersieht dabei, dass auch Beschwerden wegen des unrechtmässigen Verweigerns oder Verzögerns eines anfechtbaren Entscheids im Sinne von <ref-law> die Zuständigkeit des Bundesgerichts im betreffenden Sachbereich voraussetzen. Diese ist hier wie in E. 1.2 dargelegt nicht gegeben.
Im Übrigen führt das Bundesverwaltungsgericht zutreffend aus, dass der Beschwerdeführer am bundesverwaltungsgerichtlichen Beschwerdeverfahren weder als Partei noch sonst wie beteiligt ist und der Erlass weiterer Verfügungen im Amtshilfeverfahren betreffend Y._ durch die EStV wegen der Rechtshängigkeit beim Bundesverwaltungsgericht grundsätzlich - unter Vorbehalt der Wiedererwägung - ausgeschlossen ist (Devolutiveffekt; Art. 54 i.V.m. <ref-law>). Im Verfahren vor dem Bundesverwaltungsgericht hat der Beschwerdeführer Y._ den Eventualantrag gestellt, die EStV sei anzuweisen, die Hinweise (in den betreffenden Bankdokumenten) auf unbeteiligte Dritte seien aus den Akten zu entfernen oder zu schwärzen. Diesen Eventualantrag wird das Bundesverwaltungsgericht zu behandeln haben, wenn sich ergeben sollte, dass die EStV die Voraussetzungen für die Gewährung der Amtshilfe grundsätzlich zu Recht bejaht hat. Falls der Beschwerdeführer im Amtshilfeverfahren betreffend Y._ darüber hinaus selbst Parteistellung beanspruchen will, um für den Fall der Beschwerdeabweisung die Weitergabe seiner Personendaten an die USA zu verhindern, steht ihm die Möglichkeit offen, ein Gesuch um Beteiligung am Beschwerdeverfahren vor dem Bundesverwaltungsgericht einzureichen. Ein solches Gesuch lag dem Bundesverwaltungsgericht bisher nicht vor. Der Beschwerdeführer verlangt erstmals im vorliegenden bundesgerichtlichen Verfahren in einem Eventualantrag die Einräumung der Parteistellung vor der Vorinstanz. Diesem Begehren kann insoweit entsprochen werden, als dieses Gesuch dem Bundesverwaltungsgericht zur Behandlung überwiesen wird (<ref-law>). Zur Prüfung des weiter gehenden Eventualantrags, die Vorinstanz sei anzuweisen, in einem separat anfechtbaren Teilentscheid über die datenschutzrechtliche Vorfrage der Behandlung der nach dem UBS-Amtshilfeabkommen unbeteiligten Dritten zu entscheiden und den EDÖB zu konsultieren, ist das Bundesgericht nicht zuständig (vgl. E. 1.2). Das Bundesverwaltungsgericht wird die entsprechenden datenschutzrechtlichen Fragen im Fall einer Bejahung der Voraussetzungen der Amtshilfe im hängigen Beschwerdeverfahren zu beurteilen haben.
3. Zusammenfassend ergibt sich, dass auf die vorliegende Beschwerde nicht eingetreten werden kann. Das Gesuch des Beschwerdeführers um Einräumung der Parteistellung vor der Vorinstanz ist an das Bundesverwaltungsgericht zur Behandlung zu überweisen. Mit diesem Entscheid wird das Gesuch des Beschwerdeführers um vorsorgliche Massnahmen gegenstandslos.
Die Kosten des bundesgerichtlichen Verfahrens sind dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um Einräumung der Parteistellung vor der Vorinstanz wird an das Bundesverwaltungsgericht zur Behandlung überwiesen.
3. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Eidgenössischen Steuerverwaltung, dem weiteren Beteiligten und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 11. Mai 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Haag