Sachverhalt: A. X._ war zwischen 1994 und 2006 einziger Verwaltungsrat der Z._ AG. Er wurde mit Einspracheentscheid der Eidgenössischen Steuerverwaltung vom 13. September 2005 als faktischer Liquidator der Gesellschaft im Umfang von Fr. 101'357.-- solidarisch haftbar gemacht für eine im Betrag von Fr. 342'351.45.-- (inkl. Zinsen und Zwangsverwertungskosten) unbeglichen gebliebene Verrechnungssteuerschuld der AG. Dagegen gelangte der Betroffene erfolglos an das Bundesverwaltungsgericht. B. Am 21. Oktober 2009 hat X._ Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sinngemäss beantragt er, das Urteil des Bundesverwaltungsgerichts vom 17. September 2009 aufzuheben; der Haftungsbetrag sei auf Fr. 0, eventualiter auf Fr. 58'251.27 festzulegen. C. Die Eidgenössische Steuerverwaltung schliesst auf Abweisung der Beschwerde. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.