Sachverhalt:
A. X._ und Y._, Zahnprothetiker mit Praxis in A._, sind seit dem Jahre 1995 im Register für Mehrwertsteuerpflichtige bei der Eidgenössischen Steuerverwaltung eingetragen. Da sie ihrer Pflicht zur Abrechnung über die Mehrwertsteuer seit dem 1. Januar 1996 nicht nachgekommen waren, auferlegte ihnen die Eidgenössische Steuerverwaltung mit zwei Ergänzungsabrechnungen vom 21. November 2007 Mehrwertsteuern in der Höhe von Fr. 31'988.-- (1. Januar 1996 bis 31. Dezember 2000) und Fr. 38'923.-- (1. Januar 2001 bis 30. Juni 2007), je zuzüglich Verzugszinsen. Mit zwei Entscheiden vom 25. März 2008 bestätigte die Eidgenössische Steuerverwaltung die Steuerforderungen. Die Einsprachen gegen die beiden Entscheide wies sie ab (Einspracheentscheide vom 20. Juni 2008).
B. Gegen jeden der beiden Einspracheentscheide führten X._ und Y._ Beschwerde beim Bundesverwaltungsgericht. Dieses vereinigte die Verfahren und wies mit Urteil vom 4. März 2010 die Beschwerden ab, soweit darauf einzutreten war. Nicht eingetreten wurde auf die Frage der Steuerpflicht für den Zeitraum vom 1. Januar 1995 bis 31. Dezember 1995, über welche mit Urteil des Bundesgerichts 2A.455/2006 vom 1. März 2007 bereits rechtskräftig entschieden worden war.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragen X._ und Y._ dem Bundesgericht sinngemäss, sie seien aus dem Mehrwertsteuerregister zu streichen und es sei die Besteuerung aufzuheben. Die Beschwerdeführer machen geltend, dass sie wiederholt die Löschung im Register beantragt hätten. Leistungen von Zahnprothetikern seien von der Steuer ausgenommen. Eine Erhebung von Mehrwertsteuern, ohne dass Entgelte eingenommen wurden, sei unzulässig.
Die Eidgenössische Steuerverwaltung beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf Vernehmlassung. Am 26. Mai 2010 reichten die Beschwerdeführer eine weitere Stellungnahme ein.

Erwägungen:
1. 1.1 Entscheide des Bundesverwaltungsgerichts auf dem Gebiet des Mehrwertsteuerrechts können mit Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGB) angefochten werden. Die Beschwerdeführer, welche zur Bezahlung von Mehrwertsteuern verpflichtet worden sind, sind durch den angefochtenen Entscheid beschwert und zur Beschwerde legitimiert (<ref-law>). Auf ihre frist- und formgerecht eingereichte Eingabe ist einzutreten, soweit sie sich damit sachbezogen mit der Argumentation im angefochtenen Urteil auseinandersetzen (Art. 42 Abs. 1 und 2 BGG). Nicht sachbezogen sind die zahlreichen zum Vergleich herangezogenen Beispiele frei erfundener (hypothetischer) Gesetzes- und Verfassungsverstösse, welche mit der Mehrwertsteuer nichts zu tun haben. Es geht daraus nicht hervor, inwiefern der angefochtene Entscheid Bundesrecht verletzen soll.
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Dieser kann, soweit rechtserheblich, nur beanstandet werden, wenn er offensichtlich unrichtig erscheint, oder in Verletzung von Verfahrensrechten ermittelt wurde (<ref-law>). "Offensichtlich unrichtig" bedeutet, dass die Sachverhaltsfeststellung willkürlich sein muss (<ref-ruling> E. 1.2.2). Es gelten daher für die Sachverhaltsrüge wegen Willkür ähnlich hohe Anforderungen an die Begründung der Beschwerde, wie bei der Rüge der Verletzung von Grundrechten gemäss <ref-law> (BGE 33 II 249 E. 1.4.3). Soweit die Beschwerdeführer den Vorinstanzen vorwerfen, diese hätten die Beweislage nicht berücksichtigt, rügen sie sinngemäss eine solche falsche Feststellung des Sachverhalts. Sie führen jedoch nicht aus, inwiefern die Vorinstanz den Sachverhalt offensichtlich unhaltbar, willkürlich oder unter Verletzung von Verfahrensrechten festgestellt haben soll. Blosse Bestreitung des von der Vorinstanz festgestellten Sachverhalts genügt nicht. Der Sachverhalt, wie ihn die Vorinstanz im angefochtenen Entscheid festgestellt hat, ist für das Bundesgericht verbindlich (<ref-law>).
2. Die Beschwerdeführer machen geltend, das angefochtene Urteil beweise die "Befangenheit und Willkür dieser Richter". Einen konkreten Ausstands- oder Ablehnungsgrund nennen sie nicht. Die Rüge wegen Befangenheit erschöpft sich mithin im Vorhalt, die Richter hätten willkürlich entschieden, und geht darüber nicht hinaus. Es wird sich im Rahmen der Rechtskontrolle zeigen, ob der Entscheid willkürlich ist. Auf die Rüge wegen Befangenheit ist hingegen nicht einzutreten. Soweit die Beschwerdeführer bereits im vorinstanzlichen Verfahren Ausstandsgesuche gegen die mitwirkenden Richter stellten, wurden diese durch die Vorinstanz mit Zwischenentscheiden vom 29. September 2008 abgewiesen. Diese Entscheide sind unangefochten in Rechtskraft erwachsen und können heute nicht mehr angefochten werden (<ref-law>).
3. Auf den 1. Januar 2010 wurde das neue Bundesgesetz über die Mehrwertsteuer vom 12. Juni 2009 (MWSTG; SR 641.20) in Kraft gesetzt. Es trat an die Stelle des Mehrwertsteuergesetzes vom 2. September 1999 (aMWSTG; AS 2000 1300), in Kraft seit 1. Januar 2001, welches seinerseits die Verordnung über die Mehrwertsteuer vom 22. Juni 1994 (aMWSTV, AS 1994 1464) ersetzte. Auf die vor dem 1. Januar 2010 resp. vor dem 1. Januar 2001 eingetretenen Tatsachen und entstandenen Rechtsverhältnisse bleibt das bisherige Recht anwendbar (Art. 112 Abs. 1 und 2 MWSTG; Art. 93 Abs. 1 und 2 aMWSTG). Zur Anwendung gelangen somit in materieller Hinsicht noch das aMWSTG für die Abrechnungsperioden 1. Quartal 2001 bis 4. Quartal 2007 sowie die aMWSTV für die Abrechnungsperioden 1. Quartal 1996 bis 4. Quartal 2000.
4. Die Verjährung der Steuerforderung richtet sich weiterhin nach Art. 49 und 50 aMWSTG (Art. 112 Abs. 1 zweiter Satz MWSTG). Gemäss Art. 49 aMWSTG verjährt diese fünf Jahre nach Ablauf des Kalenderjahres, in dem sie entstanden ist (Abs. 1). Die Verjährung wird "durch jede Einforderungshandlung und durch jede Berichtigung durch die zuständige Behörde unterbrochen" (Abs. 2). Gleichlautende Bestimmungen enthält auch Art. 72 Abs. 1 und 2 aMWSTV.
Mit Schreiben vom 11. April 2001 unterbrach die Eidgenössische Steuerverwaltung die Verjährung ein erstes und mit Schreiben vom 12. Dezember 2005 ein zweites Mal für die Gesamtheit ihrer Steuerforderungen samt Verzugszinsen. Eine absolute Verjährung kannte die aMWSTV (im Gegensatz zu Art. 49 Abs. 4 aMWSTG, 15 Jahre) noch nicht. Unabhängig davon wären die Steuerforderungen der Jahre 1996 bis 2000 auch nach Art. 49 Abs. 4 aMWSTG absolut noch nicht verjährt. Das gilt erst recht für die Mehrwertsteuern der Jahre 2001 und folgende.
I. Abrechnungsperioden 1. Quartal 1996 bis 4. Quartal 2000
5. 5.1 Art. 14 Ziffern 2 bis 6 aMWSTV nimmt gewisse Leistungen im Bereich des Gesundheitswesens von der Steuer aus. Es handelt sich um eine sogenannte unechte Befreiung, weil das Recht auf Vorsteuerabzug ausgeschlossen ist (Art. 13 aMWSTV). Zu den von der Steuer ausgenommenen Umsätzen im Bereich des Gesundheitswesens gehören gemäss Ziffer 3: "die Heilbehandlungen im Bereich der Humanmedizin, die von Ärzten, Zahnärzten, Zahntechnikern, Krankengymnasten, Hebammen oder Angehörigen ähnlicher Heilberufe ausgeübt werden; steuerbar sind jedoch die Lieferungen von Zahnprothesen".
Im Leitentscheid <ref-ruling> ff. befasste sich das Bundesgericht ausführlich mit der Frage der Besteuerung der Lieferung von Zahnprothesen: Es erkannte einerseits, dass Art. 14 Ziff. 3 aMWSTV, der die Lieferungen von Zahnprothesen als steuerbar erklärt, verfassungskonform sei und sich im Rahmen des dem Verordnungsgeber durch Art. 8 ÜbBest.aBV eingeräumten gesetzgeberischen Entscheidungsspielraums halte. Anderseits beurteilte es die dazu entwickelte Praxis der Eidgenössischen Steuerverwaltung als verordnungs- und verfassungskonform. Insbesondere entspreche es dem Sinn und Zweck von Art. 14 Ziff. 3 aMWSTV, wenn die Lieferung von herausnehmbaren Zahnprothesen an Patienten, unabhängig von der Person des Lieferanten (Zahnarzt, Zahntechniker, Zahnprothetiker), nicht als eine von der Steuer ausgenommene Heilbehandlung gelte - dies im Gegensatz zu festsitzendem Zahnersatz und kieferorthopädischen Apparaturen. Durch die in der damals gültigen Branchenbroschüre Nr. 24 vorgenommene Unterscheidung werde eine zu extensive Interpretation des Begriffs "Heilbehandlung" vermieden (E. 7 S. 206 ff.). Schliesslich legte das Bundesgericht dar, dass die bestehende Praxis weder gegen den aus Art. 31 aBV abgeleiteten Grundsatz der Gleichbehandlung der Gewerbegenossen noch gegen den in Art. 4 aBV enthaltenen allgemeinen Gleichheitsgrundsatz verstosse (E. 8 S. 210 ff.).
Die vorliegende Beschwerde gibt keinen Anlass, von dieser Rechtsprechung abzuweichen. Auch die neue Bundesverfassung legt keine andere Betrachtung nahe.
Im Urteil 2A.455/2006 vom 1. März 2007 i.S. X._ & Y._, einfache Gesellschaft, befasste sich das Bundesgericht bereits mit der mehrwertsteuerrechtlichen Behandlung der Umsätze der Beschwerdeführer. Angefochten war der Entscheid SRK 2004-024 der damaligen Eidgenössischen Steuerrekurskommission vom 26. Juli 2006. Es ging um die Mehrwertsteuer für die Abrechnungsperioden 1. Quartal 1995 bis 4. 1995. Das Bundesgericht hielt fest, dass die Beschwerdeführer sowohl Behandlungen an Patienten erbringen, die mit denjenigen von Zahnärzten vergleichbar seien, als auch Zahnprothesen liefern. Es erwog mit Hinweis auf <ref-ruling>, dass die Lieferung von Zahnprothesen aufgrund der konstanten Praxis und Rechtsprechung steuerbar sei. Daran ändere nichts, dass die Zahnprothesen von den Beschwerdeführern selber hergestellt und am Patienten direkt inkorporiert werden. Die Besteuerung der betreffenden Umsätze sei zu Recht erfolgt (Urteil 2A.455/2006 vom 1. März 2007 E. 4.5).
5.2 Die Vorinstanz hat im angefochtenen Urteil für das Bundesgericht verbindlich (s. oben E. 1.2) festgehalten, dass sich die tatsächliche Situation (auf die Einschaltung der Aktiengesellschaft Z._ AG wird noch zurückzukommen sein) seither nicht massgeblich verändert habe. Es ist demnach in tatsächlicher Hinsicht davon auszugehen, dass die Beschwerdeführer nach wie vor als Zahnprothetiker tätig sind und einerseits Behandlungen der Patienten vornehmen, die jenen eines Zahnarztes ähnlich sind, und andererseits Zahnprothesen liefern. Es ist nach der genannten Rechtsprechung auch hier von der Steuerbarkeit der fraglichen Umsätze auszugehen, soweit sie in der Lieferung von Zahnprothesen bestehen.
6. Die Beschwerdeführer bestreiten die subjektive Steuerpflicht und namentlich das Erreichen der für die Steuerpflicht erforderlichen Umsatzgrenze.
6.1 Die Beschwerdeführer arbeiten unter der gemeinsamen Firma "X._ & Y._, dipl. Zahnprothetiker" auf gemeinsame Rechnung. Ihr Zusammenschluss erfüllt damit die Voraussetzung für die Annahme einer einfachen Gesellschaft im Sinne von <ref-law>. Es handelt sich um einen gesellschaftsrechtlichen Zusammenschluss zur Erreichung eines gemeinsamen Zwecks mit gemeinsamen Kräften und Mitteln (vgl. <ref-law>). Gemäss Art. 17 Abs. 2 aMWSTV sind subjektiv steuerpflichtig insbesondere natürliche Personen, Personengesellschaften und juristische Personen. Darunter fällt auch eine einfache Gesellschaft. Mit der einfachen Gesellschaft als Steuerpflichtige haften auch die Teilhaber dieser Gesellschaft solidarisch (Art. 25 Abs. 1 lit. a aMWSTV). Nach den verbindlichen Feststellungen der Vorinstanz haben die steuerbaren Umsätze in den fraglichen Jahren jeweils deutlich über Fr. 75'000.-- pro Jahr betragen (vgl. Art. 17 Abs. 1 aMWSTV). Die Steuerpflicht der einfachen Gesellschaft "X._ & Y._, dipl. Zahnprothetiker" wie auch die solidarische Haftung der Beschwerdeführer ist offensichtlich gegeben.
6.2 Die Beschwerdeführer wenden ein, die fraglichen Zahnprothesen würde durch eine Drittpartei (Z._ AG) den Kunden geliefert. Der Einwand dringt nicht durch: Damit die von den Beschwerdeführern getätigten Umsätze ganz oder teilweise einer Drittpartei zugerechnet werden könnten, müsste nachgewiesen sein, dass die Beschwerdeführer im Namen und für Rechnung der Drittpartei gehandelt hätten (Art. 10 Abs. 1 aMWSTV). Solches wurde von den Beschwerdeführern nicht behauptet. Es ist auch nicht ersichtlich, was diese Firma mit der Herstellung oder Lieferung von Zahnprothesen zu tun haben könnte. Bei der Z._ AG, A._, handelt es sich um eine Aktiengesellschaft, deren Zweck in der Anschaffung und dem Betrieb von B._ besteht und die ähnliche Unternehmen erwerben oder sich an ihnen beteiligen kann (Handelsregisterauszug 4. August 2006). Der Schluss der Vorinstanz, dass die fraglichen Zahnprothesen durch die Beschwerdeführer und nicht durch die Z._ AG an die Patienten abgegeben worden seien, beruht nicht auf offensichtlich unrichtigen Tatsachenfeststellungen und verletzt Bundesrecht nicht.
7. Die Beschwerdeführer füllten ihre Abrechnungsformulare für die Mehrwertsteuer nicht aus. Sie kamen damit ihrer Abrechnungspflicht, die sie unaufgefordert und selbständig zu erfüllen hatten (Art. 37 aMWSTV), nicht nach. Der steuerbare Umsatz war somit von der Behörde nach pflichtgemässem Ermessen festzusetzen (Art. 48 aMWSTV). Die Vorinstanz hat im angefochtenen Entscheid, E. 3.2.3, ausführlich dargelegt, wie die Ermessenseinschätzung nach Art. 48 aMWSTV vorgenommen wurde und auch zu den Vorbringen der Beschwerdeführer Stellung genommen. Mit dieser Begründung setzen sich die Beschwerdeführer nicht auseinander. Das Bundesgericht wendet zwar das Recht von Amtes wegen an, prüft die bei ihm angefochtenen Entscheide aber nur auf Rechtsverletzungen hin, die geltend gemacht werden (<ref-law>). Die Ermessensveranlagung ist zu bestätigen.
II. Abrechnungsperioden 1. Quartal 2001 bis 4. Quartal 2007;
Streichung aus dem Register der Mehrwertsteuerpflichtigen
8. Gemäss Art. 18 Ziff. 3 aMWSTG sind von der Steuer ausgenommen:
"die von Ärzten, Zahnärzten, Psychotherapeuten, Chiropraktoren, Physiotherapeuten, Naturärzten, Hebammen, Krankenschwestern oder Angehörigen ähnlicher Heil- und Pflegeberufe erbrachten Heilbehandlungen im Bereich der Humanmedizin, soweit die Leistungserbringer über eine Berufsausübungsbewilligung verfügen (...). Die Abgabe von selbst hergestellten oder zugekauften Prothesen und orthopädischen Apparaten gilt jedoch als steuerbare Lieferung".
Art. 18 Ziff. 3 aMWSTG umschreibt damit die Steuerausnahme, soweit hier relevant, gleich wie Art. 14 Ziff. 3 aMWSTV. Auch die weiteren hier anwendbaren Bestimmungen des aMWSTG (Art. 5 lit. a, Art. 11 Abs. 1, Art. 21 Abs. 1 und 2, Art. 32 Abs. 1 lit. a, Art. 46 und 60) stimmen mit denjenigen der aMWSTV inhaltlich überein. Der Fall ist in Bezug auf das aMWSTG gleich zu beurteilen wie hinsichtlich der aMWSTV.
9. Da die einfache Gesellschaft X._ & Y._, dipl. Zahnprothetiker, steuerpflichtig war und ist, kommt auch deren (rückwirkende) Streichung im Register der Mehrwertsteuerpflichtigen nicht in Frage (vgl. Art. 45 aMWSTV; Art. 56 aMWSTG).
10. Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist. Entsprechend dem Verfahrensausgang sind die Beschwerdeführer kostenpflichtig; sie haften solidarisch (Art. 65 und 66 Abs. 1 und 5 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung für den ganzen Betrag auferlegt.
3. Dieses Urteil wird den Verfahrensbeteiligten und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 28. September 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Wyssmann