Sachverhalt:
A. X._ war zwischen 1994 und 2006 einziger Verwaltungsrat der Z._ AG. Er wurde mit Einspracheentscheid der Eidgenössischen Steuerverwaltung vom 13. September 2005 als faktischer Liquidator der Gesellschaft im Umfang von Fr. 101'357.-- solidarisch haftbar gemacht für eine im Betrag von Fr. 342'351.45.-- (inkl. Zinsen und Zwangsverwertungskosten) unbeglichen gebliebene Verrechnungssteuerschuld der AG. Dagegen gelangte der Betroffene erfolglos an das Bundesverwaltungsgericht.
B. Am 21. Oktober 2009 hat X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sinngemäss beantragt er, das Urteil des Bundesverwaltungsgerichts vom 17. September 2009 aufzuheben; der Haftungsbetrag sei auf Fr. 0, eventualiter auf Fr. 58'251.27 festzulegen.
C. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.
Erwägungen:
1. 1.1 Die rechtzeitig eingereichte Beschwerde in öffentlich-rechtlichen Angelegenheiten ist grundsätzlich zulässig (vgl. Art. 82 lit. a, Art. 83, Art. 89 Abs. 1, Art. 100 BGG).
1.2 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG). Nachdem die Vorinstanz die erstinstanzliche Beurteilung vollumfänglich übernommen hat, kann hier deshalb auf die erst vor Bundesgericht eingereichte "Liquidationsbilanz" nicht eingetreten werden.
1.3 In der Beschwerde wird die Durchführung eines zweiten Schriftenwechsels beantragt. Auch ohne förmliche Anordnung eines solchen wäre es dem Beschwerdeführer nach der neueren Rechtsprechung (vgl. BGE 133 I 98 E. 2.2 f. S. 99 f., 100 E. 4.6 S. 104) unbenommen gewesen, sich zu jeder dem Gericht eingereichten Stellungnahme zu äussern. Von dieser Möglichkeit hat er nicht Gebrauch gemacht.
2. 2.1 Nach Art. 15 Abs. 1 lit. a des Bundesgesetzes vom 13. Oktober 1965 über die Verrechnungssteuer (VStG, SR 642.21) haften für die Steuer einer aufgelösten juristischen Person mit der steuerpflichtigen Gesellschaft solidarisch die mit der Liquidation betrauten Personen bis zum Betrag des Liquidationsergebnisses. Gemäss Abs. 2 haften diese Personen nur für Steuer-, Zins- und Kostenforderungen, die während ihrer Geschäftsführung entstehen, geltend gemacht oder fällig werden; ihre Haftung entfällt, soweit sie nachweisen, dass sie alles ihnen Zumutbare zur Feststellung und Erfüllung der Steuerforderung getan haben (Art. 15 Abs. 2 VStG).
In Anwendung dieser Regelung hat die Vorinstanz angenommen, dass der Beschwerdeführer als (einziger Verwaltungsrat und) Liquidator der von ihm und seiner Frau beherrschten Gesellschaft für die unbeglichen gebliebene Verrechnungssteuerschuld der Gesellschaft solidarisch mithaftet. Im Einklang mit der Praxis ist das Bundesverwaltungsgericht davon ausgegangen, dass diese Mithaftung sich ebenso auf den hier gegebenen Fall bezieht, wo die Liquidation nicht auf einem förmlichen Auflösungsbeschluss der Generalversammlung beruht, sondern formlos durch Aufgabe der Aktiven erfolgt (vgl. dazu u.a. BGE 115 lb 274 E. 14c S. 283). Eine derartige sog. faktische Liquidation ist nicht nur dann gegeben, wenn der Gesellschaft sämtliche Aktiven entzogen werden, sondern auch, wenn ihr zwar einige Aktiven verbleiben, im Übrigen aber die wirtschaftliche Substanz entzogen wird (vgl. u.a. BGE 115 lb 274 E. 9 und 10 S. 279 ff.; ASA 69 898 E. 4; je mit Hinweisen).
Gemäss der Praxis ist der Beginn einer faktischen Liquidation dann anzunehmen, wenn die Gesellschaftsaktiven versilbert werden und die Aktionäre bzw. die ihnen nahestehenden Personen den Verwertungserlös erhalten (vgl. u.a. StR 64/2009 588 E. 4.2). Hier hat die Vorinstanz festgehalten, dass die massgeblichen Liquidationshandlungen im Jahr 2002 geschahen. Diese Beurteilung beruht im Wesentlichen und zutreffend darauf, dass sich das Anlagevermögen der Gesellschaft von Fr. 263'500.-- (Ende 2001) auf Fr. 9'000.-- (Ende 2002) reduzierte. Weitere Indizien hat das Bundesverwaltungsgericht darin sehen dürfen, dass sich die hohe Verrechnungssteuerschuld der Gesellschaft (im Gesamtbetrag von Fr. 342'351.45) im Laufe des gleichen Jahres 2002 definitiv abzeichnete (Entscheid der Steuerrekurskommission vom 9. August 2002, bestätigt mit Bundesgerichtsurteil 2A.457/2002 vom 19. März 2003) und dass der Beschwerdeführer Ende 2002 die Leitung einer anderen Gesellschaft auszuüben begann, die mit gleichem Domizil und Zweck wie die hier massgebliche Gesellschaft tätig war, von der sie auch das restliche Anlagevermögen übernahm.
2.2 Was der Beschwerdeführer dagegen einwendet, vermag ein anderes Ergebnis nicht zu rechtfertigen:
Zu Unrecht macht er eine gesetzeswidrige Anwendung von Art. 15 VStG geltend und behauptet er, die solidarische Mithaftung der Liquidatoren gemäss dieser Bestimmung komme nur bei einer privatrechtlichen Auflösung der Gesellschaft im Sinne von Art. 736 ff. OR in Frage. Diese Sichtweise greift vom Ansatz her zu kurz, weshalb auch die Verweise auf verschiedene Lehrmeinungen an der Sache vorbeigehen. Es liegt in der Natur der Sache, dass die Liquidatorenhaftung auch bzw. gerade dann möglich sein muss, wenn keine formell korrekte Auflösung erfolgt ist, sondern - wie hier vom Bundesverwaltungsgericht ohne Rechtsverstoss oder qualifiziert unrichtige Sachverhaltsermittlung angenommen - die Gesellschaft faktisch liquidiert bzw. wirtschaftlich ausgehöhlt und so um die für die Begleichung der noch ausstehenden Steuerschuld notwendigen Mittel gebracht wird. Ob eine Steuerumgehung oder ein dafür ins Gesetz aufgenommener "Ersatztatbestand" erfüllt ist, ist nicht massgeblich. Ebenso wenig ist "wenigstens ein Liquidationswille" auf Seiten der Gesellschaftsorgane nachzuweisen; ein solches Erfordernis ist u.a. deshalb zu verneinen, weil im Rahmen der gebotenen wirtschaftlichen Betrachtungsweise nicht auf subjektive Gesichtspunkte abzustellen ist (vgl. BGE 115 lb 274 E. 10c S. 281). Vielmehr muss es darum gehen, nachträglich alle erheblichen Vermögensdispositionen in Würdigung der gesamten Umstände in dem Sinne zu prüfen, ob sie als ordentliches Geschäftsgebaren oder als Aushöhlung der Gesellschaft zu beurteilen sind (vgl. ASA 47 541 E. 8c). Dagegen ist der Tätigkeitsbereich der Gesellschaft zumindest hier nicht von Belang.
Dem Beschwerdeführer kann auch dort nicht gefolgt werden, wo er meint, bei der Ermittlung des Liquidationsergebnisses sei nicht auf sog. Fortführungswerte abzustellen, sondern auf die von ihm vor Bundesgericht eingereichte "Liquidationsbilanz". Diese muss jedoch als unzulässiges Novum unberücksichtigt bleiben (vgl. dazu oben E. 1.2). Weiter verkennt die ihr zugrunde liegende Argumentation, dass bei einer faktischen Liquidation mangels eines ordnungsgemäss eingeleiteten und abgewickelten Liquidationsverfahrens zumindest in der Regel keine korrekt erstellte "Liquidationsbilanz" vorliegt. Deshalb bleibt den Steuerbehörden zur Berechnung des Liquidationsergebnisses gar nichts anderes übrig, als auf die letzte eingereichte Bilanz vor Beginn der Liquidationshandlungen abzustellen (vgl. StR 64/2009 588 E. 4.2 mit Hinweisen), d.h. hier auf den per Ende 2001 ausgewiesenen Differenzbetrag zwischen Aktiven und Passiven von Fr. 101'357.--, wie die Vorinstanz bundesrechtskonform und ohne qualifizierten Sachverhaltsmangel festgehalten hat.
Unbegründet ist schliesslich die Behauptung des Beschwerdeführers, er und seine Ehefrau hätten 2002 der Gesellschaft nicht Mittel entzogen, sondern gegenteils in grossem Umfang zukommen lassen, und zwar namentlich dadurch, dass sie deren uneinbringliche Forderungen durch Verrechnung mit eigenen Guthaben gegenüber der Gesellschaft übernommen hätten. In Wirklichkeit sprechen diese Vorgänge aber nicht gegen, sondern noch zusätzlich für eine faktische Liquidation im Jahr 2002 und zugunsten der von der Vorinstanz festgestellten, nahezu vollumfänglichen Aufgabe des Anlagevermögens, insbesondere durch Verkauf der beiden Beteiligungen ohne Ersatzbeschaffung. Wenig überzeugend ist das Argument, es habe eine vertragliche Verpflichtung zur Rückzahlung dieser Mittel bestanden. Dem Beschwerdeführer ist somit der Nachweis, alles Zumutbare zur Feststellung und Erfüllung der Steuerforderung getan zu haben, auf jeden Fall nicht gelungen. Dabei kann die Frage offen gelassen werden, ob das Liquidationsergebnis tatsächlich noch höher hätte ausfallen müssen als von der Vorinstanz festgehalten, weil eine reformatio in peius ohnehin nicht (mehr) in Frage kommt (vgl. Art. 107 Abs. 1 BGG).
3. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann, und wird der Beschwerdeführer kostenpflichtig (Art. 65 f. BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Eidgenössischen Steuerverwaltung und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Lausanne, 3. Februar 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Matter