Sachverhalt: A. Mit Ergänzungsabrechnung vom 12. Juni 1996 schätzte die Eidgenössische Steuerverwaltung X._ nach pflichtgemässem Ermessen ein und forderte für die Abrechnungsperiode vom 1. Juli 1995 bis 31. Dezember 1995 Mehrwertsteuern im Betrag von Fr. 20'000.-- nebst Verzugszinsen nach. Für die Abrechnungsperiode vom 1. Januar 1996 bis zum 18. November 1996 deklarierte der Steuerpflichtige mit eigener Abrechnung Mehrwertsteuern von Fr. 19'398.55. Am 18. November 1996 wurde über X._ der Konkurs eröffnet. Nach durchgeführtem Konkurs erhielt die Eidgenössische Steuerverwaltung einen Verlustschein vom 26. Mai 1999 über Fr. 56'489.70 (umfassend u.a. die beiden Mehrwertsteuerforderungen nebst Zins bis Konkurseröffnung). Gestützt auf diesen leitete die Eidgenössische Steuerverwaltung mit Zahlungsbefehl vom 28. November 2005 die Betreibung gegen den Steuerpflichtigen ein. Dieser erhob am 5. und 6. Dezember 2005 dagegen Rechtsvorschlag mit der Einrede des mangelnden neuen Vermögens. Mit Urteil vom 22. Februar 2006 bewilligte das Gerichtspräsidium Zofingen den Rechtsvorschlag nicht, worauf die Eidgenössische Steuerverwaltung am 30. August 2006 den Rechtsvorschlag gegen den Zahlungsbefehl im Umfang von insgesamt Fr. 40'328.-- (Mehrwertsteuer 1. Juli 1995 bis 18. November 1996 nebst Zinsen) aufhob. Mit Einspracheentscheid vom 7. Dezember 2006 bestätigte sie die ihr von X._ geschuldete Mehrwertsteuer. Die von X._ dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Urteil vom 25. Februar 2010 ab. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht u.a., das erwähnte Urteil des Bundesverwaltungsgerichts aufzuheben und festzustellen, dass die Mehrwertsteuerforderungen verjährt seien. Das Bundesverwaltungsgericht hat auf eine Vernehmlassung verzichtet. Die Eidgenössische Steuerverwaltung beantragt, die Beschwerde abzuweisen und den Einspracheentscheid zu bestätigen.