Sachverhalt: A. Die A._ AG mit Sitz in R._ bezweckte die Finanzierung und Anlageberatung in allen Sparten, die treuhänderische Verwaltung von Vermögen aller Art, den An- und Verkauf von Wertschriften und Beteiligungen sowie den An- und Verkauf und die Vermittlung von Liegenschaften. Das Aktienkapital der Gesellschaft betrug Fr. 50'000.--, eingeteilt in 100 Inhaberaktien zu Fr. 500.--, wobei nicht bekannt ist, wem die Aktien gehörten. Einziger Verwaltungsrat der Gesellschaft war seit 1983 X._. Ende 1994 verkaufte die A._ AG die noch vorhandenen Wertschriften und stellte die Verkaufserlöse grösstenteils der B._ AG als Darlehen zur Verfügung. Diese konnte die Darlehen in der Folge nicht mehr zurückzahlen, weshalb sie abgeschrieben werden mussten. Ebenfalls verloren gingen treuhänderische Geldanlagen beim schwer kranken und überschuldeten Y._ (Verwaltungsrat der B._ AG). Im Zeitpunkt der Löschung der A._ AG (2000) bildete deren einziges Aktivum noch ein Guthaben bei der Crédit Suisse von Fr. 7'063.85. B. Nachdem die A._ AG bzw. X._ anfangs der Neunzigerjahre infolge Nichteinreichens der Jahresrechnungen und Nichtdeklaration der Verrechnungssteuer auf Aktienerträgen wegen vorsätzlicher Steuergefährdung gebüsst werden mussten, forderte die Eidgenössische Steuerverwaltung (EStV) X._ mit Schreiben vom 6. Juni 2000 nochmals "dringend" auf, die Jahresrechnungen sowie das Formular 103 für die Geschäftsjahre 1995-1999 einzureichen, ansonsten "eine Steuerrechnung nach Ermessen" zugestellt werde. Auf das Gesuch des Amtes für Handelsregister und Zivilstandswesen des Kantons Thurgau um Zustimmung zum amtlichen Löschungsverfahren stellte die Eidgenössische Steuerverwaltung der A._ AG am 3. August 2000 Rechnung für eine Verrechnungssteuer von Fr. 278'425.--. Die A._ AG habe eine faktische Liquidation vorgenommen, wobei mangels Mitwirkung der Steuerpflichtigen der Liquidationsüberschuss nach Ermessen festzusetzen sei. Da bei einer solchen Auflösung kein Liquidator bestimmt sei, hafteten die amtierenden Organe, hier also X._, solidarisch für die Steuer bis zum Betrag des Liquidationsüberschusses. Nach wiederholter Korrespondenz und mehreren telefonischen Unterredungen stellte die Eidgenössische Steuerverwaltung am 10. Februar 2005 ein Betreibungsbegehren gegen X._ und erliess am 16. März 2005 einen förmlichen Entscheid. Darin hielt sie fest, X._ schulde der Eidgenössischen Steuerverwaltung als einziger Verwaltungsrat der A._ AG den Verrechnungssteuerbetrag von Fr. 278'425.-- sowie Betreibungskosten von Fr. 200.--. Weiter wurde der von X._ erhobene Rechtsvorschlag beseitigt. Eine dagegen gerichtete Einsprache hiess die Eidgenössische Steuerverwaltung am 13. September 2005 teilweise gut und setzte den zu entrichtenden Betrag auf Fr. 269'728.-- (nämlich 35% von Fr. 770'652.--) herab. Weiter stellte die Eidgenössische Steuerverwaltung fest, die Betreibung werde mit Rechtskraft des Einspracheentscheids fortgesetzt. Die dagegen beim Bundesverwaltungsgericht eingereichte Beschwerde blieb ohne Erfolg. C. Mit Eingabe vom 7. Juli 2008 führt X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, das Urteil des Bundesverwaltungsgerichts vom 3. Juni 2008 aufzuheben, eventuell die Sache "zur nochmaligen Durchführung des Verfahrens" an die Vorinstanz zurückzuweisen und der Beschwerde die aufschiebende Wirkung zu erteilen. Er bestreitet eine faktische Liquidation und beanstandet die Bemessung des Liquidationsüberschusses. Weiter rügt er eine Verletzung des Anspruchs auf rechtliches Gehör, erhebt die Verjährungseinrede und stösst sich daran, dass bereits Betreibung eingeleitet wurde. Das Bundesverwaltungsgericht sowie die Eidgenössische Steuerverwaltung beantragen die Abweisung der Beschwerde. D. Mit Verfügung vom 26. September 2008 erkannte der Präsident der Il. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zu.