Sachverhalt:
A. X._ und Y._ meldeten sich am 28. Januar 1997 als einfache Gesellschaft bei der Eidgenössischen Steuerverwaltung (EStV) an und wurden von ihr als solche auf den 1. Januar 1997 in das Register der Mehrwertsteuerpflichtigen eingetragen. Als Art der Geschäftstätigkeit gaben sie den Verkauf von Pflanzen, Pflanzenprodukten, Gärtnereizubehör, Textilien, Büchern und Magazinen an. Die EStV stellte anlässlich einer Kontrolle fest, dass X._ und Y._ aus dem Verkauf von so genannten Duftsäcklein bzw. Hanfkissen im Jahr 1997 einen Umsatz von Fr. 4'471'670.-- erzielt hatten; hierauf war die Mehrwertsteuer lediglich zum reduzierten Satz von damals 2 % entrichtet worden. Mit Ergänzungsabrechnung vom 9. November 2001 verlangte die EStV von X._ und Y._ eine Nachzahlung der Mehrwertsteuer in Höhe von Fr. 185'239.--. Dabei wandte sie den im Jahre 1997 geltenden ordentlichen Steuersatz von 6,5 % an. Das bestätigte sie mit Verfügung vom 22. Januar 2002. Die dagegen von X._ und Y._ erhobenen Rechtsmittel blieben erfolglos.
B. Mit Eingabe vom 7. Januar 2008 erheben X._ und Y._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen, das in dieser Sache zuletzt ergangene Urteil des Bundesverwaltungsgerichts vom 16. November 2007 sowie die Verfügung der EStV vom 22. Januar 2002 aufzuheben und "demgemäss die Beschwerdeführer nicht zu verpflichten, für das Jahr 1997 Fr. 185'239 nebst Verzugszinsen an die Beschwerdegegnerin zu zahlen".
C. Die EStV stellt den Antrag, die Beschwerde abzuweisen. Das Bundesverwaltungsgericht verzichtet auf eine Vernehmlassung.
D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 18. Februar 2008 antragsgemäss aufschiebende Wirkung zuerkannt.
Erwägungen:
1. Ab dem 1. Januar 2007 ergangene, das Verfahren abschliessende Entscheide des Bundesverwaltungsgerichts zur Mehrwertsteuer können beim Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochten werden (Art. 82 lit. a, Art. 83, Art. 86 Abs. 1 lit. a, Art. 90 und Art. 132 BGG). Die Beschwerdeführer sind gemäss Art. 89 Abs. 1 BGG zur Beschwerde legitimiert. Auf die fristgerecht eingereichte Beschwerde ist deshalb grundsätzlich einzutreten. Das gilt allerdings nicht für das Rechtsbegehren, auch die Verfügung der EStV vom 22. Januar 2002 aufzuheben. Diese Verfügung ist durch die nachfolgenden Rechtsmittelentscheide ersetzt worden (sog. Devolutiveffekt); immerhin gilt sie als inhaltlich mitangefochten (vgl. BGE 129 II 438 E. 1 S. 441 mit Hinweisen).
2. Am 1. Januar 2001 sind das Bundesgesetz vom 2. September 1999 über die Mehrwertsteuer (Mehrwertsteuergesetz, MWSTG; SR 641.20) sowie die zugehörige Verordnung (MWSTGV; SR 641.201) in Kraft getreten. Da im vorliegenden Verfahren ausschliesslich vor dem Jahre 2001 verwirklichte Sachverhalte zu beurteilen sind, ist noch auf die Bestimmungen der Verordnung vom 22. Juni 1994 über die Mehrwertsteuer (MWSTV; AS 1994 1464) abzustellen (vgl. Art. 93 Abs. 1 und Art. 94 MWSTG).
3. 3.1 Die Beschwerdeführer machen geltend, nicht sie, sondern die Z._ AG, welche die von ihnen gegründete einfache Gesellschaft mit Aktiven und Passiven rückwirkend per 1. Januar 1997 übernommen habe, sei für das Jahr 1997 mehrwertsteuerpflichtig. Jede andere Interpretation verstosse gegen Art. 17 und 23 MWSTV.
3.2 Das Bundesverwaltungsgericht geht davon aus, die einfache Gesellschaft habe bis Ende 1997 ihre Geschäftstätigkeit ausgeübt, welche die Z._ AG erst anschliessend übernommen habe. Deshalb seien die Umsätze des Jahres 1997 der einfachen Gesellschaft der Beschwerdeführer zuzurechnen und diese damit steuerpflichtig. Die Z._ AG sei zwar am 23. Juli 1997 in das Handelsregister eingetragen worden. Sie sei bei der EStV jedoch erst am 22. Dezember 1997 angemeldet worden, worauf sie eine eigene Mehrwertsteuer-Register-Nummer erhielt. Es existiere kein einziger Hinweis, dass sie im Jahr 1997 irgendwelche Aktivitäten entfaltet und Umsätze erzielt habe.
3.3 Dem halten die Beschwerdeführer entgegen, die EStV habe in einem an die Aktiengesellschaft adressierten Schreiben vom 26. Januar 1998 selber erklärt, sie nehme an, dass die von der einfachen Gesellschaft bisher "eingereichten oder noch einzureichenden Steuerabrechnungen auch als Abrechnung für die Geschäftstätigkeit" der Aktiengesellschaft bis zum 31. Dezember 1997 gelten. Dass sie im Übrigen noch nach dem 23. Juli 1997 unter ihrem Namen Formulare zu Handen der EStV ausfüllten, sei nur ihrer Unachtsamkeit und geschäftlichen Unbeholfenheit, nicht aber einer geschäftlichen Tätigkeit der einfachen Gesellschaft zuzuschreiben.
3.4 Dieses Vorbringen ist unbehelflich. Gemäss Art. 17 MWSTV ist grundsätzlich steuerpflichtig, wer eine mit der Erzielung von Einnahmen verbundene gewerbliche Tätigkeit selbständig ausübt. Das traf im Jahr 1997 für die Beschwerdeführer bzw. ihre einfache Gesellschaft zu. Wie die EStV richtig bemerkt, ist es unglaubwürdig, dass vor allem der Beschwerdeführer 1, der mehrere Unternehmen aufgebaut und geführt hat, geschäftlich unbeholfen war und deshalb wiederholt versehentlich nicht im ausdrücklichen Namen der Aktiengesellschaft agierte. Wenn die Beschwerdeführer zudem nach ihren eigenen Angaben gerade auch aus Gründen der Beschränkung ihrer persönlichen Haftung für eine Aktiengesellschaft optierten, so oblag es ihnen, dies durch ihr Auftreten bzw. durch dasjenige der Gesellschaft nach aussen kundzutun. Das war - nach den insoweit unbestrittenen - Feststellungen der Vorinstanz jedoch nicht der Fall (vgl. auch Art. 97 und 105 BGG). Der Eintrag der Aktiengesellschaft ins Handelsregister im Juli 1997 allein genügt nicht, damit das Auftreten der Beschwerdeführer bzw. ihrer einfachen Gesellschaft nur noch der Aktiengesellschaft zuzurechnen ist. Die Beschwerdeführer deklarierten der EStV noch unter ihrem eigenen Namen und unter der Mehrwertsteuer-Register-Nummer der einfachen Gesellschaft im August 1998 die Umsätze für das zweite Halbjahr 1997. Erst für die Geschäftstätigkeit ab dem Jahr 1998 trat die Aktiengesellschaft regelmässig nach aussen auf und nahm auch die in Art. 37 f. MWSTV dem Steuerpflichtigen obliegenden Verrichtungen (Selbstveranlagung und Einzahlung der Steuer) vor.
Demzufolge ist nicht zu beanstanden, dass die Beschwerdeführer für das Jahr 1997 wegen den Mehrwertsteuernachforderungen belangt werden. Hieran vermag nichts zu ändern, dass die Aktiengesellschaft im Nachhinein - Ende 1998 - eine Mehrwertsteuerabrechnung für das gesamte Jahr 1997 einreichte, welche nach ihrer Vorstellung die früher von den Beschwerdeführern abgegebenen Steuererklärungen ersetzen sollte; durch ein derartiges Vorgehen kann nicht nachträglich die Steuerpflicht bestimmter Personen entfallen. Ob die Z._ AG allenfalls zusätzlich im Wege der Steuernachfolge gemäss Art. 23 Abs. 2 MWSTV in die steuerlichen Pflichten eintritt, kann offen gelassen werden, da dies hier nicht Verfahrensgegenstand bildet
4. 4.1 Die Beschwerdeführer machen geltend, bei den Duftsäcklein handle es sich um Zierpflanzen, für die nach Art. 27 Abs. 1 lit. a Ziff. 1 Lemma 5 MWSTV der reduzierte Steuersatz von 2 % gelte. Werde der Inhalt der Hanfsäcklein, wie von den Vorinstanzen angenommen, als Betäubungsmittel qualifiziert, so wäre gar keine Mehrwertsteuer zu entrichten; der Staat könne nicht mit der einen Hand einen Sachverhalt verbieten und mit der anderen Hand Mehrwertsteuer für die strafbare Handlung kassieren.
4.2 Die Vorinstanzen gehen davon aus, mit den Hanfsäcklein seien Betäubungsmittel verkauft worden. Der Betäubungsmittelhandel unterliege der Mehrwertsteuer. Ausserdem komme der reduzierte Steuersatz nach Art. 27 Abs. 1 lit. a Ziff. 1 Lemma 5 MWSTV für als Betäubungsmittel zu qualifizierende Produkte "offensichtlich" bzw. von vornherein nicht in Betracht. Da Betäubungsmittel auch nicht andernorts in der Liste des Art. 27 Abs. 1 lit. a MWSTV aufgeführt seien, werde gemäss lit. b dieser Bestimmung ("auf allen übrigen der Steuer unterstellten Umsätzen") eine Abgabe zu dem im Jahre 1998 geltenden vollen Mehrwertsteuersatz von 6,5 % geschuldet.
5. Die Mehrwertsteuer ist eine allgemeine Verbrauchssteuer, die unter anderem den Inlandverbrauch belastet. Sie wird vom Verkäufer oder Lieferanten entrichtet, der sie, sofern es die Marktverhältnisse gestatten, auf die Preise und damit auf den Abnehmer der Ware oder Dienstleistung überwälzt. Ein modernes Steuersystem wie die Mehrwertsteuer muss nach Möglichkeit neutral sein in seinen Auswirkungen auf die Wettbewerbsverhältnisse, sollte keinen grossen Erhebungsaufwand verursachen und muss das Gleichbehandlungsgebot beachten (vgl. hierzu allgemein: BGE 125 II 326 E. 6a S. 333 f. zu Art. 8 ÜbBest. aBV sowie nunmehr auch Art. 1 Abs. 2 MWSTG und Art. 127 Abs. 2 BV). Diese Prinzipien sind bei der Auslegung des Gesetzes zu berücksichtigen (Urteil 2A.353/2001 vom 11. Februar 2002, E. 3, publ. in: ASA 73 S. 147).
6. 6.1 Ob der Verkauf von Betäubungsmitteln der Mehrwertsteuer unterliegt, ist umstritten. Das Bundesverwaltungsgericht hat diese bis anhin in der Schweiz höchstrichterlich nicht entschiedene Rechtsfrage in einem Urteil vom 3. Mai 2007 (publ. in BVGE 2007 Nr. 23 S. 263) in dem Sinne beantwortet, dass auch auf Umsätzen aus strafbarem Betäubungsmittelhandel die Mehrwertsteuer zu erheben ist (zustimmend: Per Prod'hom, La TVA en pratique, Genf 2008, N. 2 zu Art. 1 MWSTG, S. 15). Auf dieses Urteil verweist es im hier angefochtenen Entscheid.
6.2 Es mag auf den ersten Blick stossend erscheinen, dass der Staat in Bezug auf gesetzlich verbotene Geschäfte die Mehrwertsteuer erhebt. Doch weder die Bestimmungen über die Mehrwertsteuer noch sonstige gesetzliche Regelungen schliessen das ausdrücklich aus. Vielmehr erhebt der Bund gemäss Art. 1 MWSTV eine Mehrwertsteuer "auf den Umsätzen im Inland" sowie "auf den Einfuhren von Gegenständen", ohne dass der Gesetzestext dabei differenziert, ob die Umsätze aus legalen oder illegalen Geschäften stammen. Nach Art. 4 lit. a MWSTV unterliegen "die im Inland gegen Entgelt erbrachten Lieferungen von Gegenständen" der Steuer, "sofern sie nicht ausdrücklich von der Steuer ausgenommen sind". Es wird nirgends bestimmt, dass nur legale Umsätze erfasst bzw. illegale nicht besteuert werden (vgl. zum Beispiel die Ausnahmeliste in Art. 14 MWSTV). Gleich verhält es sich im Übrigen unter dem aktuellen Mehrwertsteuerregime (vgl. unter anderem Art. 5, 18 und 73 f. MWSTG).
Es ist ein im Steuerrecht heute allgemein anerkannter Grundsatz, dass zwischen erlaubten und unerlaubten Geschäften prinzipiell nicht zu unterscheiden ist (sog. Grundsatz der steuerlichen Wertneutralität; vgl. zum Mehrwertsteuerrecht: BGE 126 II 443 E. 4a S. 253; Urteil 2A.330/ 2002 vom 1. April 2004, E. 3.2, publ. in: ASA 74 S. 761; Pierre-Alain Guillaume, mwst.com, Basel/Genf/München 2000, N. 22 zu Art. 5; Per Prod'hom, a.a.O., N. 2 zu Art. 1 MWSTG, S. 15; zum Einkommenssteuerrecht: Urteile 2A.613/2006 vom 8. August 2007, E. 3.1, mit Hinweisen, sowie 2A.114/2001 vom 10. Juli 2001, E. 4, publ. in: Pra 2001 Nr. 172 S. 1044 und StE 2001 B 21.1 Nr. 10; BGE 70 I 250 E. 1 S. 254 f.; Felix Richner/Walter Frei/Stefan Kaufmann, Handkommentar zum DBG, 2003, N. 45 zu Art. 16). Würden die Umsätze aus illegalen Geschäften von der Belastung mit der Mehrwertsteuer ausgenommen, so würden die betreffenden Personen letztlich begünstigt bzw. umgekehrt diejenigen, die zulässige Geschäfte abschliessen, benachteiligt. Wer sich auf gesetzwidriges Handeln beruft, könnte steuerliche Befreiung verlangen. Das stünde aber im Widerspruch zum Prinzip des "nemo auditur propriam turpitudinem allegans" ("niemand wird gehört, wenn er sich auf eigene Sittenwidrigkeit berufen muss"), das Ausdruck des Rechtsmissbrauchsverbots und des Grundsatzes von Treu und Glauben ist (Art. 5 Abs. 3 BV und Art. 2 Abs. 2 ZGB; vgl. Schlussanträge des Generalanwalts Léger in der Rechtssache des Gerichtshofs der Europäischen Gemeinschaften C-3/97, Goodwin und Unstead, Rz. 18; dazu allgemein auch BGE 114 II 79 E. 3a S. 81; 109 II 20 E. 2b S. 22).
6.3 Auch der Gerichtshof der Europäischen Gemeinschaften (EuGH; vgl. zur Berücksichtigung der europäischen Praxis als Erkenntnisquelle im Mehrwertsteuerrecht: BGE 125 II 480 E. 7a S. 487 f. mit Hinweisen) geht davon aus, dass die steuerliche Wertneutralität - ungeachtet des Vorhandenseins einer diesbezüglichen expliziten Norm - als Grundsatz gilt und dass demnach bei der Erhebung der Mehrwertsteuer prinzipiell keine Differenzierung zwischen erlaubten und unerlaubten Geschäften stattfindet. Dementsprechend hat der EuGH die embargowidrige Ausfuhr von Informatiksystemen, Leistungen aus unerlaubten Glücksspielen, den Verkauf nachgeahmter Parfüms (sog. Blenderware), den Schmuggel von Ethylalkohol sowie die entgeltliche Zurverfügungstellung eines Lokals bzw. Tisches für den Betäubungsmittelhandel trotz ihres gesetzwidrigen Charakters der Steuer unterworfen (Urteile des EuGH vom 2. August 1993 in der Rechtssache C-111/92, Lange, Slg. 1993, S. I-4677; vom 11. Juni 1998 in der Rechtssache C-283/95, Fischer, Slg. 1998, S. I-3369; vom 28. Mai 1998 in der Rechtssache C-3/97, Goodwin und Unstead, Slg. 1998, S. I-3257; vom 29. Juni 2000 in der Rechtssache C-455/98, Tullihallitus, Slg. 2000, S. I-4993; vom 29. Juni 1999 in der Rechtssache C-158/98, Coffeeshop Siberië vof, Slg. 1999, S. I-3971; im Ergebnis ebenso der deutsche Bundesgerichtshof zur Einfuhrumsatzsteuer bei Heroin in einem Entscheid vom 16. Oktober 1981, publ. in: Entscheidungen des Bundesgerichtshofes in Strafsachen [BGHSt] Bd. 30 [1982] S. 237 ff.).
6.4 Gegen eine Besteuerung illegaler Umsätze wird teilweise eingewandt, die Mehrwertsteuer sei nicht dazu bestimmt, das Strafrecht mit einer gleichsam steuerlichen Sanktion zu flankieren (Wolfram Reiss, in: Klaus Tipke/Joachim Lang [Hrsg.], Steuerrecht, Köln 2008, 19. Aufl., § 14, S. 552 Rz. 17; Hans Nieskens, in: Günter Rau/Erich Dürrwächter, Kommentar zum Umsatzsteuergesetz, Köln 1997 ff., 8. Aufl., N. 305 zu § 3 UStG). Hierum geht es bei der Mehrwertsteuer jedoch nicht, da sie grundsätzlich alle ohne Unterscheidung trifft.
6.5 Ergänzend sei bemerkt, dass auch der Erläuternde Bericht des Eidgenössischen Finanzdepartements vom 15. Februar 2007 zur Vereinfachung des Bundesgesetzes über die Mehrwertsteuer keine expliziten Ausführungen zur Behandlung von Umsätzen aus illegalen Geschäften enthält. Zwar wird dort als zu besteuernde Leistung "die auf einer rechtlichen Beziehung beruhende, entgeltliche Einräumung eines wirtschaftlichen Wertes" definiert. Als Rechtsbeziehung wird unter anderem eine "vertragliche" Vereinbarung angesehen, wobei nicht gesagt wird, dass diese gesetzmässig sein muss (vgl. S. 59 des erwähnten Erläuternden Berichts).
6.6 Unter Bezugnahme auf den erwähnten Bericht will eine Literaturmeinung allerdings Umsätze, die auf eine Vereinbarung über die Erbringung einer von vornherein rechtswidrigen Leistung gestützt sind, von der Belastung mit der Mehrwertsteuer ausschliessen. Es sei absolute Nichtigkeit sowohl zivilrechtlich als auch umsatzsteuerlich anzunehmen. Als Beispiele werden hierfür der Handel mit harten Drogen, Menschenhandel und Auftragsmord genannt. Anders soll es sich hingegen bei Leistungen verhalten, die grundsätzlich rechtmässig erbringbar sind, aber in Teilbereichen rechtswidrig sind; hier habe eine Besteuerung stattzufinden, auch wenn die Leistung zivilrechtlich (Art. 20 OR) als nichtig behandelt wird (Gerhard Schafroth, Der Begriff der Leistung in der MWST, StR 2007 S. 832).
Auch unter dem heutigen Gesetz geht ein Teil der Literatur davon aus, dass zumindest die Abgabe von Betäubungsmitteln der Mehrwertsteuer nicht unterliegt. Dabei verweist sie im Wesentlichen auf entsprechende Urteile des EuGH (Ivo P. Baumgartner, mwst.com, Basel/ Genf/München 2000, N. 12 zu Art. 33).
In der Tat hat der EuGH in Abweichung vom Grundsatz der Wertneutralität die Einfuhr und Inlandlieferung von Betäubungsmitteln - sowie von Falschgeld - von der Mehrwertbesteuerung ausgenommen, obwohl hierzu keine ausdrücklichen Bestimmungen bestehen und die europäischen Normen solche Vorgänge an sich undifferenziert der Steuer unterwerfen. Zur Begründung führt der EuGH an, bei Betäubungsmitteln bestehe kein Wettbewerb zwischen einem legalen und illegalen Wirtschaftssektor. Diese seien - mit Ausnahme eines streng überwachten Vertriebes zur Verwendung für medizinische und wissenschaftliche Zwecke - schon nach ihrem Wesen in allen Mitgliedstaaten einem vollständigen Verkehrsverbot unterworfen. Insoweit verweist der EuGH auf das Einheits-Übereinkommen vom 30. März 1961 über die Betäubungsmittel sowie auf das Übereinkommen vom 21. Februar 1971 über psychotrope Stoffe. Diesen Übereinkommen seien - wie die Schweiz (vgl. SR 0.812.121.0 und 0.812.121.02) - alle Mitgliedstaaten der Europäischen Gemeinschaft beigetreten (vgl. Urteile des EuGH vom 29. Juni 1999 in der erwähnten Rechtssache C-158/98, Coffeeshop Siberië vof, Rz. 14; vom 5. Juli 1988 in den Rechtssachen 269/86, Mol, Slg. 1988, S. 3627 [zu Haschisch], und 289/86, Happy Family, Slg. 1988, S. 3655 [zu Amphetaminen]; vom 28. Februar 1984 in der Rechtssache 294/82, Einberger, Slg. 1984, S. 1177 [zur Einfuhr von Morphin]; vom 6. Dezember 1990 in der Rechtssache C-343/89, Witzemann, Slg. 1990, S. I-4477 [zu Falschgeld]).
6.7 Mit dieser Ausnahme für Falschgeld und Betäubungsmittel ist der EuGH auf mehrfache Kritik gestossen (vgl. statt vieler: Schlussanträge des Generalanwalts Fennelly in der erwähnten Rechtssache des EuGH C-158/98, Coffeeshop Siberië vof, insbes. Rz. 29-30; Pierre-Alain Guillaume, a.a.O., N. 21 f. zu Art. 5; Klaus-Peter Flückiger/Lutz Georgy, in: Konrad Plückebaum/Heinz Malitzky, Umsatzsteuergesetz, Köln/ Berlin/München 2007, N. 36 und 369 zu § 1 Abs. 1 UStG, N. 194 zu § 2 Abs. 1 UStG; Holger Stadie, in: Günter Rau/Erich Dürrwächter, Kommentar zum Umsatzsteuergesetz, Köln 1997 ff., 8. Aufl., N. 171 zu § 2 UStG; Yolande Sérandour, Les activités illicites et la TVA, La Semaine Juridique Entreprise et Affaires 2000, Heft 3, S. 72 ff., insbes. Rz. 7, 9, 10 und 14). Gegen die Steuerbefreiung des Betäubungsmittelhandels spricht denn auch, dass es mehrwertsteuerlich nicht darauf ankommen kann, ob ein Wettbewerb zwischen zulässigen und unzulässigen Geschäften stattfindet (vgl. auch die Hinweise auf Abgrenzungsprobleme bzw. Inkohärenzen bei einer derartigen Unterscheidung bei: L. De Broe/R.M. van de Vlies, The practice of renting tables in Dutch 'coffeeshops' falls under the scope of the Sixth VAT Directives, EC Tax Review 2000 S. 37 f.; Johannes Heinrich, Mehrwertsteuerbarkeit verbotener Geschäfte, European Law Reporter 1999, S. 439; soeben erwähnte Schlussanträge des Generalanwalts Fennelly, Rz. 23-25).
6.8 Nach dem Gesagten wird Mehrwertsteuer grundsätzlich auch auf dem Umsatz mit Betäubungsmitteln geschuldet.
7. 7.1 Die Beschwerdeführer bestreiten aber, dass es sich bei der interessierenden Ware um Betäubungsmittel gehandelt habe. Zu dieser Annahme sei die Vorinstanz durch willkürliche Sachverhaltsfeststellungen gelangt. In Wirklichkeit hätte sie ein als Zierpflanze zu qualifizierendes Produkt verkauft, das dem reduzierten Steuersatz gemäss Art. 27 Abs. 1 lit. a Ziff. 1 Lemma 5 MWSTV unterliege.
Die Frage, ob die Vorinstanz den Sachverhalt wie behauptet willkürlich festgestellt hat, kann offen gelassen werden, falls die verkaufte Ware auch dann dem vollen Steuersatz unterworfen wäre, wenn es sich nicht um Betäubungsmittel gehandelt hätte.
7.2 Gemäss der von den Beschwerdeführern angerufenen Regelung des Art. 27 Abs. 1 lit. a MWSTV betrug die Mehrwertsteuer im Jahre 1997 zwei Prozent unter anderem auf Lieferungen von Sämereien, Setzknollen und -zwiebeln, lebenden Pflanzen, Stecklingen, Propfreisern sowie Schnittblumen und Zweigen, auch zu Sträussen, Kränzen und dergleichen gebunden.
Die Vorinstanz hält fest, dass die Füllung der Säckchen aus kleinen Bestandteilen der getrockneten Hanfpflanze bestand. Daher seien die verkauften Hanfsäckchen weder Zweige noch Schnittblumen im Sinne der erwähnten Bestimmung. Dazu hätten die Pflanzen noch ganz oder zumindest in dekorativen Bestandteilen erhalten sein müssen.
Dem ist zuzustimmen. Der reduzierte Steuersatz in Art. 27 Abs. 1 lit. a MWSTV wurde wie auch bei Art. 36 Abs. 1 MWSTG vor allem aus sozialpolitischen Gründen vorgesehen, wobei die Aufzählung als abschliessend gilt (Bericht der Kommission für Wirtschaft und Abgaben des Nationalrats vom 28. August 1996 zum Bundesgesetz über die Mehrwertsteuer, BBl 1996 V 772). Wie die Vorinstanz zu Recht bemerkt, sind Ausnahmen von der Regel, wozu auch die Fälle der reduzierten Besteuerung gehören, eher restriktiv zu interpretieren (zum reduzierten Satz bei der MWSTV: Urteil 2A.68/2003 vom 31. August 2004, E. 3.4, publ. in: ASA 76 S. 212; zu den Steuerausnahmen: BGE 124 II 193 E. 5e S. 202, 372 E. 6a S. 377). Die entsprechende Bestimmung hat im Mehrwertsteuergesetz (Art. 36 Abs. 1 lit. a Ziff. 5) sprachlich eine gewisse Änderung erfahren ("auch zu Arrangements, Sträussen, Kränzen und dergleichen veredelt"), was vom Gesetzgeber nicht als Erweiterung, sondern nur als Präzisierung der bisherigen Regelung gedacht war (Kommissionsmitglied Ständerat Brändli in AB 1998 S 987). Doch auch nach dem Wortlaut des Art. 36 MWSTG sind die getrockneten, in kleinste Teile zerstückelten und in Säckchen abgefüllten Hanfpflanzen nicht als Schnittblumen oder Zweige anzusehen, die zu Arrangements oder "dergleichen veredelt" wurden. Als Arrangement oder dergleichen sind nur mit Sträussen oder Kränzen vergleichbare Zusammenstellungen von Schnittblumen und Zweigen zu verstehen. Die hier als Duftsäcke verkauften Waren gehören nicht dazu.
7.3 Somit kommt vorliegend eine Besteuerung zum reduzierten Satz auch dann nicht in Betracht, wenn die Duft- bzw. Hanfsäcklein nicht als Betäubungsmittel behandelt werden. Demnach spielt es keine Rolle, ob die Vorinstanz willkürlich festgestellt hat, es handle sich um Betäubungsmittel.
8. Die Beschwerdeführer beanstanden die Ermittlung bzw. Berechnung der noch geschuldeten Steuerbeträge und Verzugszinsen nicht. Es ist auch nicht offensichtlich, dass den Vorinstanzen hierbei Fehler unterlaufen sind. Somit erweist sich die Nachforderung von insgesamt Fr. 185'239.-- zuzüglich Verzugszins als bundesrechtmässig. Demzufolge ist die Beschwerde unbegründet und abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang haben die Beschwerdeführer die Verfahrenskosten als Solidarschuldner zu tragen (Art. 65 f. BGG). Parteientschädigungen werden nicht geschuldet (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 4'500.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftbarkeit auferlegt.
3. Dieses Urteil wird den Parteien und dem Bundesverwaltungsgericht, Abteilung I, schriftlich mitgeteilt.
Lausanne, 16. Mai 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Merz