Sachverhalt:
A. Mit Ergänzungsabrechnung vom 12. Juni 1996 schätzte die Eidgenössische Steuerverwaltung X._ nach pflichtgemässem Ermessen ein und forderte für die Abrechnungsperiode vom 1. Juli 1995 bis 31. Dezember 1995 Mehrwertsteuern im Betrag von Fr. 20'000.-- nebst Verzugszinsen nach. Für die Abrechnungsperiode vom 1. Januar 1996 bis zum 18. November 1996 deklarierte der Steuerpflichtige mit eigener Abrechnung Mehrwertsteuern von Fr. 19'398.55.
Am 18. November 1996 wurde über X._ der Konkurs eröffnet. Nach durchgeführtem Konkurs erhielt die Eidgenössische Steuerverwaltung einen Verlustschein vom 26. Mai 1999 über Fr. 56'489.70 (umfassend u.a. die beiden Mehrwertsteuerforderungen nebst Zins bis Konkurseröffnung). Gestützt auf diesen leitete die Eidgenössische Steuerverwaltung mit Zahlungsbefehl vom 28. November 2005 die Betreibung gegen den Steuerpflichtigen ein. Dieser erhob am 5. und 6. Dezember 2005 dagegen Rechtsvorschlag mit der Einrede des mangelnden neuen Vermögens. Mit Urteil vom 22. Februar 2006 bewilligte das Gerichtspräsidium Zofingen den Rechtsvorschlag nicht, worauf die Eidgenössische Steuerverwaltung am 30. August 2006 den Rechtsvorschlag gegen den Zahlungsbefehl im Umfang von insgesamt Fr. 40'328.-- (Mehrwertsteuer 1. Juli 1995 bis 18. November 1996 nebst Zinsen) aufhob. Mit Einspracheentscheid vom 7. Dezember 2006 bestätigte sie die ihr von X._ geschuldete Mehrwertsteuer.
Die von X._ dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Urteil vom 25. Februar 2010 ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht u.a., das erwähnte Urteil des Bundesverwaltungsgerichts aufzuheben und festzustellen, dass die Mehrwertsteuerforderungen verjährt seien.
Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet.
Die Eidgenössische Steuerverwaltung beantragt, die Beschwerde abzuweisen und den Einspracheentscheid zu bestätigen.

Erwägungen:
1. 1.1 Am 1. Januar 2010 trat das Mehrwertsteuergesetz vom 12. Juni 2009 (MWSTG; SR 641.20) in Kraft. Der vorliegende Sachverhalt ereignete sich noch unter der Geltung der Verordnung vom 22. Juni 1994 über die Mehrwertsteuer (MWSTV; AS 1994 1464), die somit noch anwendbar ist (Art. 93 und 94 aMWSTG; AS 2000 1300). Dies gilt auch für die hier streitige materiell-rechtliche Frage der Verjährung (Art. 112 Abs. 1 MWSTG i.V.m. Art. 93 aMWSTG; vgl. dazu <ref-ruling> E. 2a mit Hinweisen).
1.2 Am 1. Januar 1997 trat das revidierte Bundesgesetz vom 11. April 1889 über Schuldbetreibung und Konkurs (SchKG; SR 281.1, AS 1995 1307) in Kraft. Der Konkurs über den Beschwerdeführer wurde zwar noch unter der Geltung des alten Rechts eröffnet. Massgebend ist im vorliegenden Fall indessen die Ausstellung des Verlustscheines, welche nach Inkrafttreten des neuen Rechts erfolgte, sodass sich kein übergangsrechtliches Problem stellt (Art. 2 Abs. 2 der Schlussbestimmungen der Änderungen vom 16. Dezember 1994 SchKG). Im Zusammenhang mit dem am 26. Mai 1999 ausgestellten Verlustschein ist daher Art. 149a Abs. 1 SchKG anwendbar.
2. 2.1 Streitig ist im vorliegenden Fall einzig, ob bezüglich der in Frage stehenden Mehrwertsteuerforderung, für die ein Verlustschein ausgestellt worden ist, die (relative) fünfjährige Verjährungsfrist für Mehrwertsteuerforderungen gemäss Art. 40 Abs. 1 MWSTV (ebenso Art. 49 Abs. 1 aMWSTG) zur Anwendung gelangt oder die zwanzigjährige Verjährungsfrist gemäss Art. 149a Abs. 1 SchKG.
Gemäss Art. 40 Abs. 1 MWSTV verjährt die Steuerforderung fünf Jahre nach Ablauf des Kalenderjahres, in dem sie entstanden ist. Die Verjährung wird durch jede Einforderungshandlung und durch jede Berichtigung durch die zuständige Behörde unterbrochen (Abs. 2).
Nach Art. 149a Abs. 1 SchKG verjährt die durch den Verlustschein verurkundete Forderung 20 Jahre nach der Ausstellung des Verlustscheines.
2.2 Nach unbestrittener Darstellung der Vorinstanz hat die Eidgenössische Steuerverwaltung erst mehr als fünf Jahre nach der Ausstellung des Verlustscheins vom 26. Mai 1999 gestützt auf diesen die Betreibung der Mehrwertsteuerforderung eingeleitet. Bis zu diesem Zeitpunkt hat sie auch keine Handlungen vorgenommen, welche geeignet gewesen wären, eine allfällige Verjährung zu unterbrechen.
2.3 Art. 40 MWSTV enthielt - wie damals im übrigen Bundessteuerrecht üblich - lediglich eine relative Verjährungsfrist; auf die Aufnahme einer absoluten Frist wurde - wie schon zuvor im Warenumsatzsteuerrecht (Art. 28 WUStB; DIETER METZGER, Handbuch der Warenumsatzsteuer, 1983, N. 877; WILHELM WELLAUER, Die Eidgenössische Warenumsatzsteuer, 1959, N. 868) - bewusst verzichtet; es gab daher keine absolute Verjährung der Steuerforderung (Kommentar des Eidgenössischen Finanzdepartements zur Verordnung über die Mehrwertsteuer vom 22. Juni 1994, S. 39). Wurde die Selbstveranlagung durch den Steuerpflichtigen nicht seitens der Steuerverwaltung berichtigt oder die mit Ergänzungsabrechnung vorgenommene Steuernachforderung vom Steuerpflichtigen nicht bestritten, war die Veranlagung nach Ablauf der fünfjährigen Verjährungsfrist somit unanfechtbar (vgl. DIETER METZGER, a.a.O., N. 891). Diese Verjährungsregelung ist von Art. 128 WStB bzw. Art. 128 BdBSt übernommen worden (HANS HEROLD, Praxis des Umsatzsteuerrechts, 1983, N. 1 zu Art. 28 WUStB), wobei es sich unbestrittenermassen um eine Veranlagungs- oder Festsetzungsverjährung - d.h. um eine Frist, innert welcher eine Veranlagung vorzunehmen bzw. der Steueranspruch festzustellen ist - und nicht um eine Bezugs- oder Vollstreckungsverjährung handelt (vgl. <ref-ruling>; Urteil 2A.293/2001 vom 21. Mai 2002 E. 4b, mit Hinweisen auf die Lehre). Es ist somit davon auszugehen, dass diese Frist zwar für die Festsetzung der Steuer, hingegen nicht für den Steuerbezug gilt.
Eine absolute Verjährungsfrist - von 15 Jahren nach Ablauf des Kalenderjahres, in welchem die Steuerforderung entstanden ist - wurde erst mit dem Bundesgesetz über die Mehrwertsteuer vom 2. September 1999 (aMWSTG), welches am 1. Januar 2001 in Kraft getreten ist, eingeführt (Art. 49 Abs. 4).
2.4 Bei der Mehrwertsteuer als Selbstveranlagungssteuer entsteht die Steuerforderung bei Lieferungen und Dienstleistungen von Gesetzes wegen - d.h. unabhängig davon, ob die steuerpflichtige Person rechtzeitig und richtig abrechnet - im Normalfall bereits mit der Rechnungstellung, ausnahmsweise mit der Vereinnahmung des Entgelts (Art. 34 lit. a MWSTV). Eine eigentliche Veranlagung, wie sie bei den direkten Steuern zwingend erforderlich ist, findet nicht statt. Die Steuerverwaltung kann die unaufgefordert einzureichende Steuerabrechnung des Steuerpflichtigen entweder akzeptieren oder - wenn dieser die zu entrichtende Steuer nicht richtig berechnet - seine fehlerhafte Abrechnung korrigieren und die so ermittelte Steuernachforderung in Form einer Ergänzungsabrechnung geltend machen. In den Fällen ohne Anfechtung erwächst die Mehrwertsteuer zwar nicht in formelle Rechtskraft, sie kann jedoch nach Ablauf der fünfjährigen Verjährungsfrist weder durch die Steuerverwaltung noch durch den Steuerpflichtigen korrigiert werden (Urteil 2A.121/2004 vom 16. März 2005 E. 5.3); sie wird damit inhaltlich unabänderlich und in diesem Sinn materiell rechtskräftig (IVO P. BAUMGARTNER UND ANDERE, Vom alten zum neuen Mehrwertsteuergesetz, 2010, § 8 N. 40).
Der Beschwerdeführer bestreitet die von ihm gemäss Selbstdeklaration bzw. Ergänzungsabrechnung geschuldeten Mehrwertsteuern nicht. Da keine Anhaltspunkte dafür bestehen, dass der Beschwerdeführer die Ergänzungsabrechnung bestritten hat, ist davon auszugehen, dass beide Veranlagungen in Bezug auf die geschuldeten Steuerbeträge unangefochten geblieben sind. Das Steuerfestsetzungsverfahren war somit mit der Selbstdeklaration bzw. der Ergänzungsabrechnung abgeschlossen und die geschuldeten Mehrwertsteuern betragsmässig festgelegt.
2.5 Die Ausstellung eines Verlustscheins lässt die ursprüngliche Forderung zwar grundsätzlich bestehen. Neben den betreibungsrechtlichen Folgen bewirkt der Verlustschein aber, dass die Forderung nunmehr nach den betreibungsrechtlichen Bestimmungen verjährt. Bis zum 1. Januar 1997 waren Verlustscheinforderungen gemäss Art. 149 Abs. 5 SchKG unverjährbar (<ref-ruling> E. 2a mit Hinweis), während sie nunmehr der zwanzigjährigen Verjährungsfrist gemäss Art. 149a Abs. 1 SchKG unterliegen (Urteile 5P.434/2005 vom 21. März 2006 E. 2.3 und 4P.126/2003 vom 25. August 2003 E. 2.3; KURT AMONN/FRIDOLIN WALTHER, Grundriss des Schuldbetreibungs- und Konkursrechts, 8. Aufl., 2008, § 31 N. 18 und 24 f.).
2.6 Die Bestimmungen des Bundesgesetzes über Schuldbetreibung und Konkurs sind entgegen der Auffassung des Beschwerdeführers grundsätzlich auch auf öffentlich-rechtliche Geldforderungen wie namentlich Steuern und Abgaben anwendbar (<ref-ruling> E. 3).
Für die direkten Steuern ist denn auch anerkannt, dass mit der Ausstellung eines Verlustscheines für die darin verurkundete Steuerforderung eine neue Verjährungsfrist gemäss Art. 149a Abs. 1 SchKG von 20 Jahren zu laufen beginnt (MARTIN ZWEIFEL/HUGO CASANOVA, Schweizerisches Steuerverfahrensrecht, direkte Steuern, 2008, § 29 N. 54; PETER AGNER UND ANDERE, Kommentar zum Gesetz über die direkte Bundessteuer, Ergänzungsband, 2000, N. 2a zu Art. 121 DBG, sowie PETER AGNER UND ANDERE, Kommentar zum Gesetz über die direkte Bundessteuer, 1995, N. 2 zu Art. 121 DBG).
Auch der Bundesrat weist in seiner Botschaft vom 25. Juni 2008 zur Vereinfachung der Mehrwertsteuer denn darauf hin, dass sich - obwohl der Entwurf neu ausdrücklich eine absolute Bezugsverjährungsfrist von zehn Jahren vorsehe - für Steuerforderungen, für die ein Verlustschein bestehe, die Verjährung - "wie bei allen anderen Forderungen auch" - nach Art. 149a SchKG richte (BBl 2008 S. 7012). Die entsprechende Bestimmung des Entwurfes ist nunmehr als Art. 91 Abs. 5 und 6 MWSTG am 1. Januar 2010 in Kraft getreten.
2.7 Das Mehrwertsteuerrecht selbst regelt die Vollstreckung von Forderungen ebenso wenig wie das Zivilrecht. Hierfür kommt abschliessend das Schuldbetreibungs- und Konkursrecht zur Anwendung (Art. 38 SchKG). Wenn aber die Forderungen gemäss diesem Erlass zwangsvollstreckt werden, müssen auch dessen Vorschriften - einschliesslich der Verjährungsnorm von Art. 149a Abs. 1 SchKG - zur Anwendung gelangen. Die Vorinstanz verweist denn auch zu Recht darauf, dass bei zivilrechtlichen Forderungen die allgemeinen Verjährungsregeln des Obligationenrechts gegenüber jenen des Schuldbetreibungs- und Konkursrechts zurücktreten müssen, weil es sich bei Forderungen, für welche ein Verlustschein ausgestellt wurde, um eine besondere Art von Forderungen handle. Der Gesetzgeber habe für solche eine längere als die zivilrechtlich nach Obligationenrecht geltende Verjährungsfrist gewähren wollen (vgl. BBl 1991 III 104).
Dem entspricht, dass das Bundesgesetz vom 20. Dezember 1946 über die Alters- und Hinterlassenenversicherung (AHVG; SR 831.10) ausdrücklich festlegt, dass für die Vollstreckung von Beitragsforderungen aArt. 149 Abs. 5 SchKG nicht anwendbar sei (Art. 16 Abs. 2 AHVG), was ebenfalls für den den neuen Art. 149a Abs. 1 SchKG gilt (vgl. dazu CARL JAEGER, Das Bundesgesetz über Schuldbetreibung und Konkurs, 2006, N. 7 zu Art. 149a SchKG). Die Vorinstanz schliesst denn auch aus dieser Bestimmung zutreffend, dass Mehrwertsteuerforderungen gerade nicht von Art. 149a Abs. 1 SchKG ausgenommen sind, da dies im Mehrwertsteuerrecht nirgends vorgesehen ist.
2.8 Die Folgerung der Vorinstanz, in Bezug auf Mehrwertsteuerforderungen, für welche ein Verlustschein ausgestellt wurde, gelte die Verjährungsfrist von Art. 149a Abs. 1 SchKG und nicht jene von Art. 40 Abs. 1 aMWSTV - weshalb die Mehrwertsteuerforderung der Eidgenössischen Steuerverwaltung gegen den Beschwerdeführer nicht verjährt sei, weil die zwanzigjährige Verjährungsfrist gemäss Art. 149a Abs. 1 SchKG erst mit Ausstellung des Verlustscheins zu laufen begonnen habe - verletzt demnach kein Bundesrecht.
3. Die Beschwerde ist aus diesen Gründen abzuweisen. Bei diesem Ausgang hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht schriftlich mitgeteilt.
Lausanne, 22. November 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Küng