Sachverhalt:
A. Die Y._ AG wurde 1985 gegründet und bezweckte den Handel mit und die Bearbeitung von Textilien sowie den Import und Export von Waren aller Art. Mit Handelsregistereintrag vom 12. September 2002 übernahm X._ das Mandat als einziger Verwaltungsrat der AG. Mit Beschluss der Generalversammlung vom 2. Juni 2005 wurde die Gesellschaft aufgelöst. Als Liquidator mit Einzelunterschrift wurde X._ bestellt. Am 23. Juni 2006 wurde über die AG der Konkurs eröffnet und am 7. Juli 2006 mangels Aktiven eingestellt. Mit Handelsregistereintrag vom 19. Oktober 2006 wurde die Gesellschaft von Amtes wegen gelöscht.
B. Mit Entscheid vom 10. Juni 2005 verpflichtete die Eidgenössische Steuerverwaltung (ESTV) die Y._ AG, ihr Verrechnungssteuern im Betrag von Fr. 1'105'694.30 nebst Zins und Betreibungskosten, total Fr. 1'306'574.45, zu bezahlen. Dagegen erhob die Y._ AG Einsprache. Mit Schreiben vom 27. Februar 2006 teilte die ESTV X._ zudem mit, er hafte solidarisch für die ausstehende Summe, sofern er nicht nachweisen könne, dass er alles Zumutbare zur Feststellung und Erfüllung der Steuerforderung getan habe. Mit Einspracheentscheid vom 4. April 2006 wies die ESTV die Einsprache der Y._ AG ab und stellte fest, dass X._ solidarisch für die Verrechnungssteuer von Fr. 1'105'694.30 nebst Zins und Betreibungskosten hafte.
C. Gegen den Einspracheentscheid vom 4. April 2006 erhoben sowohl die Y._ AG als auch X._ Beschwerde an die Eidgenössische Steuerrekurskommission. Diese schrieb am 23. August 2006 das Verfahren in Sachen Y._ AG als gegenstandslos ab. Mit Urteil vom 4. Oktober 2010 hiess das mittlerweile zuständige Bundesverwaltungsgericht die Beschwerde von X._ teilweise gut und legte den vom Beschwerdeführer geschuldeten Verrechnungssteuerbetrag neu auf Fr. 529'813.11 fest.
D. Mit Eingabe vom 9. November 2010 erhebt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, der angefochtene Entscheid sei aufzuheben und die geschuldeten Verrechnungssteuern seien auf Fr. 9'000.-- festzusetzen, eventualiter auf Fr 283'065.01, subeventualiter auf Fr. 299'596.95 und subsubeventualiter auf Fr. 464'199.43.
Die ESTV beantragt Abweisung der Beschwerde, und das Bundesverwaltungsgericht verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Gegen Entscheide des Bundesverwaltungsgerichts auf dem Gebiet der Verrechnungssteuer ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zulässig (Art. 82 lit. a in Verbindung mit Art. 83 sowie Art. 86 Abs. 1 lit. a BGG). Der Beschwerdeführer ist gestützt auf <ref-law> ohne Weiteres zur Beschwerde in öffentlich-rechtlichen Angelegenheiten legitimiert; auf die frist- und formgerecht eingereichte Beschwerde (<ref-law>) ist daher einzutreten.
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem geltend gemacht werden, der angefochtene Entscheid verletze Bundesrecht - inklusive Bundesverfassungsrecht -, Völkerrecht sowie kantonale verfassungsmässige Rechte (<ref-law>). Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (<ref-law>), setzt zudem voraus, dass die Behebung des Mangels sich für den Ausgang des Verfahrens als entscheidend erweist (<ref-law>).
2. 2.1 Nach Art. 15 Abs. 1 lit. a des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer (VStG; SR 642.21) haften für die Steuer einer aufgelösten juristischen Person die mit der Liquidation betrauten Personen bis zum Betrag des Liquidationsergebnisses solidarisch mit dem Steuerpflichtigen. Sie haften gemäss <ref-law> jedoch nur für Steuer-, Zins- und Kostenforderungen, die während ihrer Geschäftsführung entstehen, geltend gemacht oder fällig werden; ihre Haftung entfällt, soweit sie nachweisen, dass sie alles ihnen Zumutbare zur Feststellung und Erfüllung der Steuerforderung getan haben.
2.2 Die ESTV hatte die Verrechnungssteuerforderung gegenüber der Y._ AG wie folgt begründet: Diese habe in den Jahren 1999 bis 2003 geschäftsmässig nicht begründete Provisionszahlungen an die Z._ SA sowie an A._ von insgesamt Fr. 2'849'958.-- ausbezahlt, die als geldwerte Leistungen an nahestehende Dritte zu betrachten seien (Verrechnungssteuer 35 %, ausmachend Fr. 997'485.30). Weiter bestehe eine nicht erklärbare Eigenkapital-Differenz von Fr. 252'642.-- per 31. Dezember 2000 gegenüber dem Vorjahr, was als steuerbare geldwerte Leistung zu betrachten sei (Verrechnungssteuer 35 %, ausmachend Fr. 88'424.70). Schliesslich habe die Y._ AG im Jahr 2000 im Umfang von Fr. 19'784.30 die Überwälzungspflicht nach <ref-law> missachtet. Der Beschwerdeführer hafte als Verwaltungsrat und Liquidator der Gesellschaft, da er nicht dargelegt habe, dass er alles Zumutbare zur Feststellung und Erfüllung der Steuerschuld getan habe.
2.3 Die Vorinstanz erwog, die geltend gemachte Verrechnungssteuerschuld gegenüber der Y._ AG bestehe zu Recht. Der Beschwerdeführer sei vom 12. September 2002 bis zur Auflösung einziger Verwaltungsrat und Liquidator der Gesellschaft gewesen und trage grundsätzlich die alleinige Verantwortung. Er hafte damit auch für Verrechnungssteuerforderungen, die zwar vor seiner Geschäftsführung entstanden, aber während derselben geltend gemacht worden seien. Spätestens Anfang 2002 habe die faktische Liquidation der Gesellschaft begonnen. Der Liquidator hafte bis zur Höhe des Liquidationsergebnisses; zu dessen Berechnung sei auf die letzte vor Beginn der faktischen Liquidation erstellte Bilanz abzustellen, also jene für das Jahr 2001; das dort ausgewiesene Fremdkapital (Fr. 344'266.73) sei vom Total der Aktiven (Fr. 874'079.84) abzuziehen, was zu einem mutmasslichen Liquidationsergebnis von Fr. 529'813.11 führe. Der Beschwerdeführer hafte bis zu diesem Betrag, da er den Exkulpationsbeweis nicht erbracht habe.
2.4 Der Beschwerdeführer bestreitet vor Bundesgericht die Verrechnungssteuerschuld der Y._ AG nicht mehr. Er bringt jedoch im Hauptstandpunkt vor, sämtliche Steuerforderungen mit Ausnahme derjenigen für die Provisionszahlungen 2003, seien in der Zeit vor seiner Wahl zum Verwaltungsrat begründet, aber in diesem Zeitpunkt nicht bekannt und auch nicht erkennbar gewesen. Es wäre ihm daher gar nicht möglich und deshalb auch nicht zumutbar gewesen, den latenten Verrechnungssteueranspruch festzustellen oder zu erfüllen, bevor die ESTV diesen zu Beginn des Jahres 2005 geltend gemacht habe. Seine Haftung sei deshalb auf die in jenem Zeitpunkt in der Gesellschaft vorhandenen Fr. 9'000.-- zu beschränken. Eventualiter sei der Beginn der faktischen Liquidation auf Beginn 2004 festzulegen und für die Bestimmung des haftungsrelevanten Liquidationsüberschusses auf die Zahlen per Ende 2003 abzustellen (Fr. 283'065.01). Subeventualiter sei der Liquidationsüberschuss in dem Zeitpunkt massgeblich, in welchem die ESTV mit Schreiben vom 14. Juli 2003 erstmals Unregelmässigkeiten festgestellt habe (Fr. 299'569.95). Subsubeventualiter könne er für allfällige faktische Liquidationshandlungen, welche vor seinem Amtsantritt als Verwaltungsrat vorgenommen wurden, nicht haftbar gemacht werden; er könne maximal bis zum Betrag des bei seinem Eintritt noch vorhandenen Nettovermögens haften (Fr. 464'199.43).
3. 3.1 Gemäss <ref-law> sind Gegenstand der Verrechnungssteuer auf dem Ertrag beweglichen Kapitalvermögens die Zinsen, Renten, Gewinnanteile und sonstigen Erträge der von einem Inländer ausgegebenen Aktien. Nach Art. 20 Abs. 1 der Vollziehungsverordnung vom 19. Dezember 1966 zum Bundesgesetz über die Verrechnungssteuer (VStV; SR 642.211) ist steuerbarer Ertrag von Aktien jede geldwerte Leistung der Gesellschaft an die Inhaber gesellschaftlicher Beteiligungsrechte oder an ihnen nahe stehende Dritte, die sich nicht als Rückzahlung der im Zeitpunkt der Leistung bestehenden Anteile am einbezahlten Grundkapital darstellt (Dividenden, Boni, Gratisaktien, Gratis-Partizipationsscheine, Liquidationsüberschüsse und dergleichen). Nach herrschender Lehre und ständiger Rechtsprechung, die vom Beschwerdeführer nicht grundsätzlich in Frage gestellt wird, ist auch eine Überschussverteilung aus einer faktischen Liquidation steuerbarer Ertrag und kann eine Haftung der mit der Liquidation betrauten Personen nach <ref-law> begründen (<ref-ruling> E. 14b S. 283 mit Hinweisen; Urteile A.335/1976 vom 17. Februar 1978 E. 10, in: ASA 47 S. 541; 2A.342/2005 vom 9. Mai 2006 E. 4.2; 2C_502/2008 vom 18. Dezember 2008 E. 3.1 und 5.1, in: StR 64/2009 S. 588; JACQUES BÉGUELIN, La responsabilité fiscale des liquidateurs de sociétés anonymes, sociétés à responsabilité limitée et sociétés coopératives, in: Mélanges Henri Zwahlen, 1977, S. 544 f.; PETER BÖCKLI, Haftung des Verwaltungsrats für Steuern, in: StR 1985 S. 522 f.; ROBERT DANON, La responsabilité fiscale solidaire des organes en cas de liquidation d'une société de capitaux, in François Bohnet (Hrsg.), Quelques actions en responsabilité, 2008, S. 207 f.; ERNST GIGER, Die Steuerschulden bei der Liquidation, IWIR 1999 S. 6; THOMAS MEISTER, in: Zweifel/Athanas/Bauer-Balmelli [Hrsg.], Kommentar zum Schweizerischen Steuerrecht II/2, Bundesgesetz über die Verrechnungssteuer, 2005, N. 15 f. und 25 zu <ref-law>; THOMAS MÜLLER, Die solidarische Mithaftung im Bundessteuerrecht, 1999, S. 142 f.; XAVIER OBERSON, La responsabilité fiscale des organes dirigeants des sociétés anonymes, SJ 2006 S. 298; W. ROBERT PFUND, Verrechnungssteuer, 1971, N. 4 zu <ref-law>).
3.2 Nach dem klaren Wortlaut von <ref-law> haften die Liquidatoren für die Forderungen, die während ihrer Geschäftsführung entstehen, geltend gemacht oder fällig werden. Es genügt, dass einer dieser Tatbestände erfüllt ist (PFUND, a.a.O., N. 19 zu Art. 15). Die Haftung umfasst mithin auch die Steuerforderungen, die vor Amtsantritt der mit der Liquidation betrauten Personen entstanden sind, aber erst während deren Amtsdauer geltend gemacht wurden (BÉGUELIN, a.a.O., S. 546; DANON, a.a.O., S. 213; MEISTER, a.a.O., N. 21 und 25 zu <ref-law>). Die Argumentation des Beschwerdeführers, wonach er für die vor seinem Amtsantritt allenfalls erfolgten Liquidationshandlungen nicht haften könne, dringt deshalb nicht durch.
4. 4.1 Eine faktische Liquidation wird dann angenommen, wenn die Gesellschaft ausgehöhlt bzw. ihr die wirtschaftliche Substanz entzogen wird, so dass die ordentliche Geschäftstätigkeit nicht mehr möglich ist (<ref-ruling> E. 10a S. 280; Urteile A.335/1976 vom 17. Februar 1978 E. 8c in: ASA 47 S. 541; 2C_695/2009 vom 3. Februar 2010 E. 2.1; DANON, a.a.O., S. 207; MEISTER, a.a.O., N. 12 zu <ref-law>; OBERSON, a.a.O., S. 298). Der Maximalbetrag der Haftung bestimmt sich nach dem Betrag des Liquidationsergebnisses (<ref-law>), d.h. nach dem Vermögen, das der Gesellschaft nach Tilgung der Schulden und der Liquidationskosten verbleibt. Für die Bemessung des Liquidationsüberschusses ist der Stand bei Eintritt des Auflösungsgrunds bzw. bei Beginn der Liquidation massgeblich (Urteile A.335/1976 vom 17. Februar 1978 E. 9, in: ASA 47 S. 541; 2A.94/2001 vom 27. Juni 2001 E. 2c; BÉGUELIN, a.a.O., S. 546; MEISTER, a.a.O., N. 20 zu <ref-law>; PFUND, a.a.O., N. 7 zu <ref-law>). Das gilt auch im Falle einer faktischen Liquidation. Entscheidend ist daher, in welchem Zeitpunkt diese begonnen hat.
4.2 Es wird auch vom Beschwerdeführer zu Recht nicht in Frage gestellt, dass die Y._ AG im Zeitpunkt des formellen Liquidationsbeschlusses im Juni 2005 bereits ausgehöhlt und faktisch liquidiert war, bringt doch der Beschwerdeführer selber vor, das Vermögen der Gesellschaft habe per Ende 2004 nur noch Fr. 9'000.- betragen. Die faktische Liquidation muss somit vorher erfolgt sein. Fraglich ist, ob sie bereits Anfang 2002 begonnen hat, wie die Vorinstanz angenommen hat und was vom Beschwerdeführer bestritten wird.
4.3 Die Vorinstanz hat diese Annahme wie folgt begründet: Für das Jahr 2001 habe die Y._ AG zwei Finanzanlagen aufgewiesen, nämlich zwei Darlehen, von denen eines bis Mitte 2002 zurückbezahlt wurde. Pro 2002 habe die Y._ AG kein Anlage-, sondern nur noch Umlaufvermögen ausgewiesen, die Passiven hätten nur noch aus Gewinn bestanden. Ferner seien Bilanz und Erfolgsrechnung für das Jahr 2002 erst im Jahre 2005 erstellt worden. Die verbuchten Leistungen und Lieferungen seien zwar im Jahre 2002 noch beträchtlich gewesen, hätten aber im Vergleich zum Vorjahr um 18,5 % abgenommen, der Material- und Warenaufwand sogar um 23 %. Entscheidend seien der Aktiven- und Fremdkapitalschwund um 50 bzw. 100 % im Vergleich zum Vorjahr.
4.4 Die in diesen Erwägungen enthaltenen Sachverhaltsfeststellungen werden als solche vom Beschwerdeführer nicht beanstandet und sind für das Bundesgericht verbindlich (vgl. E. 1.2 hiervor). Ob diese Feststellungen den Schluss auf eine per Anfang 2002 begonnene faktische Liquidation zulassen, ist dagegen eine vom Bundesgericht im Folgenden frei zu prüfende Rechtsfrage.
4.5 Nach der Rechtsprechung des Bundesgerichts kommt es für die Annahme einer faktischen Liquidation nicht entscheidend auf den subjektiven Liquidationswillen an (<ref-ruling> E. 10c S. 281; Urteil 2C_695/2009 vom 3. Februar 2010 E. 2.2). Die Vorinstanz hat denn auch nicht festgestellt, die Y._ AG bzw. der Beschwerdeführer hätten im Jahre 2002 einen Liquidationswillen gehabt. Unter diesen Umständen muss aus äusseren Indizien auf die Liquidation geschlossen werden. Dabei besteht die Problematik, dass bei einer Betrachtung aus der Retrospektive manches bereits als Liquidationsschritt erscheinen mag, was bei echtzeitlicher Betrachtung noch als normale Geschäftstätigkeit betrachtet werden kann (GIGER, a.a.O., S. 6). Nicht jede sich nachträglich als betriebswirtschaftlich unzweckmässig erweisende Disposition kann bereits als Beginn einer faktischen Liquidation angesehen werden (MÜLLER, a.a.O., S. 143).
Eine Übersicht über die Rechtsprechung zeigt denn auch, dass in denjenigen Fällen, in denen eine faktische Liquidation bejaht wurde, eindeutige Umstände vorlagen:
4.5.1 Im Urteil A.335/1976 vom 17. Februar 1978, in: ASA 47 S. 541 hatte der Alleingesellschafter die Gesellschaft mit Mitteln von rund 25 Mio. Franken ausgestattet und in den Jahren 1967 bis 1971 aus dem Gesellschaftsvermögen Leistungen zugunsten seiner anderen Unternehmen erbracht, welche das Vermögen der Gesellschaft aufzehrten. Das Bundesgericht erwog, aus der Rückschau habe die Aushöhlung wohl bereits 1966/67 mit der Eingehung einer Verfügungsvollmacht und einer Bürgschaftsverpflichtung begonnen, doch könne nicht als erwiesen gelten, dass die Geschäftsleistung damals bereits an eine Auflösung dachte. Hingegen habe die Liquidation in den Jahren 1970 und 1971 stattgefunden, als die Gesellschaft ihre letzten noch verbleibenden Aktiven im Umfang von insgesamt ca. 1,35 Mio. Franken preisgegeben habe, indem ein Darlehen an den bereits illiquiden Alleingesellschafter ausgerichtet wurde.
4.5.2 In <ref-ruling> E. 10b S. 280 wurde einer Beteiligungsgesellschaft ihre wirtschaftliche Substanz entzogen, da sie sämtliche Beteiligungen verkauft hatte.
4.5.3 Im Urteil 2A.57/1989 vom 9. Oktober 1989 E. 2b, nicht publ. in: <ref-ruling>, in: ASA 58 S. 707, galt als faktische Liquidation, dass eine Immobilien AG ihr einziges wesentliches Aktivum, eine Liegenschaft, veräussert hatte.
4.5.4 Im Urteil 2A.107/1999 vom 23. September 1999 E. 6b, in: ASA 69 S. 898, nahm eine Gesellschaft, die von 1981 bis 1991 kaum aktiv gewesen war und deren Aktiven Ende 1990 zu 70 % aus Bankkonten bestanden, im folgenden Jahr mit einem neuen Aktionär und einer neuen Verwaltung eine neue Tätigkeit auf.
4.5.5 Im Urteil 2A.342/2005 vom 9. Mai 2006 E. 4.3 wurde als faktische Liquidation betrachtet, dass die Gesellschaft ihr einziges wesentliches Aktivum verkauft und den Erlös dem Aktionär zur Verfügung gestellt hatte, wodurch der Gesellschaft verunmöglicht wurde, ihre Tätigkeit weiterzuführen.
4.5.6 Im Urteil 2C_502/2008 vom 18. Dezember 2008 E. 4.1 lag eine faktische Liquidation vor, nachdem die Gesellschaft ihre noch vorhandenen Wertschriften verkauft hatte und der Verkaufserlös grösstenteils unwiederbringlich an eine andere Gesellschaft floss, wobei die Beziehungen zwischen den beiden Gesellschaften nicht offen gelegt wurden.
4.5.7 Im Urteil 2C_695/2009 vom 3. Februar 2010 E. 2.1 wurde schliesslich eine faktische Liquidation im Jahre 2002 angenommen, nachdem sich die Aktiven der Gesellschaft zwischen Ende 2001 und Ende 2002 von Fr. 263'500.- auf Fr. 9'000.- reduziert hatten. Weitere Indizien für eine faktische Liquidation sah das Bundesgericht darin, dass sich im Jahre 2002 die hohe Verrechnungssteuerschuld der Gesellschaft definitiv abzeichnete und der Geschäftsführer zudem die Leitung einer anderen Gesellschaft zu übernehmen begann.
4.6 Solche eindeutigen und klaren Indizien wie in den oben genannten Fällen liegen hier jedoch nicht vor: Die bisherige Geschäftsaktivität wurde in den Jahren 2002 und 2003 weitergeführt, wenn auch in etwas reduziertem Umfang: Im Jahre 2002 betrug der Rückgang beim Warenertrag bzw. Material- und Warenaufwand gegenüber dem Vorjahr 18,4 bzw. 23,1 %; diese liegt somit im Rahmen üblicher Geschäftsschwankungen und ist nicht derart, dass auf eine Liquidation geschlossen werden müsste. Im Unterschied zu den oben erwähnten Fällen wurden zudem die Aktiven während des Jahres 2002 nicht grossmehrheitlich, sondern bloss um knapp 50 % reduziert. Wird zudem der Aktivenbestand nicht mit dem Jahr 2001, sondern mit 2000 oder 1999 verglichen, so beträgt die Abnahme nur 34 % bzw. 43 %, was aufzeigt, dass auch in den früheren Jahren erhebliche Schwankungen (nach oben wie nach unten) im Aktivenbestand vorkamen. Der Umstand, dass die Gesellschaft Ende 2002 kein Anlagevermögen aufwies, ist bei der Natur der von der Y._ AG verfolgten Tätigkeit (Handels- bzw. Vermittlungsgeschäfte) nicht massgebend: Schon im Jahre 2001 hatte das Anlagevermögen nur 15,2 % der Aktiven ausgemacht und hauptsächlich aus einer Darlehensforderung gegenüber der B._ SA im Betrag von Fr. 126'933.72 bestanden. Dass diese Forderung bis Mitte 2002 zurückbezahlt wurde, kann nicht als Indiz für eine Liquidation betrachtet werden. Unter den aktenkundigen Umständen (langjährige Krankheit und schliesslich Tod des früheren Verwaltungsrats und damit im Zusammenhang jahrelang keine ordentlichen Buchhaltungsabschlüsse) kann schliesslich auch nicht ausschlaggebend sein, dass in den Jahren 2002 und 2003 noch keine ordentlichen Jahresabschlüsse erstellt wurden. Ein Indiz könnte hingegen das Fehlen von Fremdkapital in der Bilanz 2002 sein, nachdem in den Vorjahren 2001 noch Fremdkapital im Umfang von ca. einem Viertel der Passiven in der Form von Lieferantenkreditoren ausgewiesen worden waren. Dies könnte darauf hinweisen, dass per Ende 2002 kaum mehr Lieferungen bestellt wurden. Allerdings erscheint der Passivposten "Gewinn" in dieser Bilanz, die ausdrücklich als provisorische bezeichnet wird, ohnehin ungewöhnlich und wenig verlässlich und stimmt auch nicht mit dem in der Erfolgsrechnung ausgewiesenen Gewinn von Fr. 166'352.08 überein, welcher bei einem Warenertrag von rund 2,4 Mio. Franken nicht verdächtig hoch ist. Für das Jahr 2003 liegt ebenfalls eine als provisorisch bezeichnete Bilanz und Erfolgsrechnung vor, auf welcher handschriftlich "per 30.6.2003" eingetragen ist. Nach dieser Rechnung wurden weiterhin Warenertrag sowie Material- und Warenaufwand verbucht, gegenüber dem Jahr 2002 um rund 68 % bzw. 63 % reduziert, was umgerechnet auf ein ganzes Jahr ebenfalls noch einen Umsatzrückgang im Rahmen üblicher Geschäftstätigkeit darstellt. Insgesamt erlauben diese Indizien nicht, den Beginn der faktischen Liquidation auf Anfang 2002 festzulegen.
4.7 Entscheidend kommt hinzu, dass auch die ESTV in Kenntnis all dieser Umstände zum damaligen Zeitpunkt nicht von einer Liquidation ausging: Mit Schreiben vom 14. Juli 2003 wies die ESTV auf "einige Fragen und Probleme (Nichtüberwälzen der im Jahr 2000 aufgerechneten und bezahlten Verrechnungssteuer, zu hohe Weiterleitungen nach Fifty-fifty-Praxis, etc.)" hin. Gemäss einer Notiz über eine Besprechung vom 6. November 2003 zwischen der ESTV sowie der Buchhaltung und der Revisionsstelle der Y._ AG wurden für die Jahre ab 2001 gewisse Vorgehensweisen vereinbart und darauf hingewiesen, dass die Buchhalterin vom Aktionariat den Auftrag habe, die Y._ AG aus dem "Schlamassel" zu holen und dass der Beschwerdeführer das Mandat als Verwaltungsrat übernommen habe, um die gesetzlichen Voraussetzungen zu schaffen; von einer Liquidation ist hingegen nicht die Rede. Auch nach durchgeführten Abklärungen stellte die ESTV mit Rechnung vom 11. Januar 2005 nicht etwa Verrechnungssteuern auf Liquidationsüberschüssen in Rechnung, sondern im Wesentlichen nicht belegten Geschäftsaufwand in Form von Provisionsaufwendungen, wobei auch noch für die Geschäftsjahre 2003 und 2004 ein Betrag in der Grössenordnung der Vorjahre geschätzt wurde. Die ESTV ging also offensichtlich von einer Weiterführung der Geschäftstätigkeit im bisherigen Umfang aus. In der Mitteilung an den Beschwerdeführer vom 27. Februar 2006 und im Einspracheentscheid vom 4. April 2006 wies die ESTV darauf hin, dass sich die Y._ AG gemäss SHAB vom 29. August 2005 in Liquidation befinde und der Beschwerdeführer für die Steuer hafte, die hauptsächlich auf nicht geschäftsmässig begründeten Provisionsaufwänden in den Geschäftsjahren 1999-2003 resultierte. Erstmals in der Beschwerdevernehmlassung vom 12. Juli 2006 machte sie geltend, die Gesellschaft müsse bereits ab 2002 als ausgehöhlt gelten.
4.8 Unter diesen Umständen kann der Beginn der faktischen Liquidation nicht auf Anfang 2002 festgelegt werden. Abzustellen ist vielmehr auf den Zeitpunkt der (offenbar per Mitte 2003 abgeschlossenen) Bilanz und Erfolgsrechnung 2003. Bis zu diesem Zeitpunkt wurde sowohl nach den verfügbaren Geschäftsunterlagen der Gesellschaft als auch nach dem Eindruck der ESTV die Geschäftstätigkeit im bisherigen Umfang weiter betrieben. Das Liquidationsergebnis, bis zu welchem der Beschwerdeführer haftet, berechnet sich somit nach dieser Bilanz und beträgt entsprechend dem Eventualbegehren des Beschwerdeführers Fr. 283'065.01.
5. Im Hauptstandpunkt bestreitet der Beschwerdeführer, dass ihm die Feststellung und Erfüllung der Steuerforderung zumutbar gewesen wäre.
5.1 Die Haftung des Liquidators ist keine Kausalhaftung, sondern eine Garantenhaftung (Urteil A.335/1976 vom 17. Februar 1978 E. 10, in: ASA 47 S. 541; BÖCKLI, a.a.O., S. 523 f.; DANON, a.a.O., S. 204; OBERSON, a.a.O., S. 294 f.); sie entfällt, soweit der Liquidator das ihm Zumutbare zur Feststellung und Erfüllung der Steuerforderung getan hat (<ref-law>). Die Haftung setzt zwar kein Verschulden voraus (Urteil 2C_551/2009 vom 13. April 2010 E. 4.1, in: StR 65/2010 S. 876; BÉGUELIN, a.a.O., S. 542, 549), doch ist die Frage nach der Zumutbarkeit nach den konkreten Umständen und den persönlichen Verhältnissen des Haftenden zu beurteilen (<ref-ruling> E. 4a S. 394 f.; <ref-ruling> E. 2b/bb S. 380; Urteil 2A.342/2005 vom 9. Mai 2006 E. 4.2; BÉGUELIN, a.a.O., S. 550; GIGER, a.a.O., S. 7 f.; BÖCKLI, a.a.O., S. 525 f.; MÜLLER, a.a.O., S. 147 f.; PFUND, a.a.O., N. 20.1 zu Art. 15).
5.2 Die objektive Zumutbarkeit ist hier zu bejahen: Der Beschwerdeführer musste bei seinem Amtsantritt feststellen, dass die Buchhaltung seit Jahren nicht ordnungsgemäss geführt worden war. Er musste deshalb auch damit rechnen, dass noch nachträgliche Steuerforderungen geltend gemacht werden könnten. Es ist ihm zwar zugute zu halten, dass er sich um eine Klärung der Verhältnisse bemühte und es ist verständlich, dass er nicht sogleich einen vollständigen Überblick gewinnen konnte. In einer solchen Situation hätte er aber Rückstellungen oder Sicherstellungen bilden können und müssen für allfällige noch entstehende Steuerforderungen. Namentlich wurde entgegen der Auffassung des Beschwerdeführers die Zahlung oder Sicherstellung der Steuer nicht erst mit der Geltendmachung durch die ESTV zumutbar. Die Steuerpflichtigen bzw. ihre Organe haben unaufgefordert die vorgeschriebenen Abrechnungen einzureichen und die Steuer zu entrichten (<ref-law>). Sie sind besser als die Steuerverwaltung in der Lage, die finanzielle Situation und die Aktivitäten der Gesellschaft zu beurteilen und können sich nicht darauf verlassen, von der ESTV auf ihre Pflichten hingewiesen zu werden.
5.3 Die vom Beschwerdeführer vorgebrachten persönlichen Umstände (fehlende juristische Kenntnisse, Übernahme des VR-Mandats aus Pietät gegenüber seinem verstorbenen Vater) vermögen ihn nicht zu entlasten: Wer ein Mandat als Verwaltungsrat oder Liquidator übernimmt, von dem er weiss, dass er es nicht ordnungsgemäss wird ausführen können, verletzt seine Sorgfaltspflicht und kann sich nicht auf seine fehlenden Kenntnisse berufen (<ref-ruling> E. 4b S. 395; Urteil 2A.132/1991 vom 29. Juni 1992 E. 6, in: RDAT 1993 I n. 26t pag. 369).
6. Die Beschwerde ist im Eventualstandpunkt begründet und damit teilweise gutzuheissen. Bei diesem Ausgang des Verfahrens sind die Verfahrenskosten je hälftig dem Beschwerdeführer und der ESTV aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung zu bezahlen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der vom Beschwerdeführer geschuldete Haftungsbetrag wird auf Fr. 283'065.01 festgelegt. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Gerichtskosten von Fr. 6'000.-- werden je zur Hälfte, ausmachend je Fr. 3'000.--, dem Beschwerdeführer und der Eidgenössischen Steuerverwaltung auferlegt.
3. Die Eidgenössische Steuerverwaltung hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine reduzierte Parteientschädigung von Fr. 3'000.-- zu bezahlen.
4. Dieses Urteil wird dem Beschwerdeführer, der Eidgenössischen Steuerverwaltung und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 19. April 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Winiger