Sachverhalt: A. X._ und Y._ meldeten sich am 28. Januar 1997 als einfache Gesellschaft bei der Eidgenössischen Steuerverwaltung (EStV) an und wurden von ihr als solche auf den 1. Januar 1997 in das Register der Mehrwertsteuerpflichtigen eingetragen. Als Art der Geschäftstätigkeit gaben sie den Verkauf von Pflanzen, Pflanzenprodukten, Gärtnereizubehör, Textilien, Büchern und Magazinen an. Die EStV stellte anlässlich einer Kontrolle fest, dass X._ und Y._ aus dem Verkauf von so genannten Duftsäcklein bzw. Hanfkissen im Jahr 1997 einen Umsatz von Fr. 4'471'670.-- erzielt hatten; hierauf war die Mehrwertsteuer lediglich zum reduzierten Satz von damals 2 % entrichtet worden. Mit Ergänzungsabrechnung vom 9. November 2001 verlangte die EStV von X._ und Y._ eine Nachzahlung der Mehrwertsteuer in Höhe von Fr. 185'239.--. Dabei wandte sie den im Jahre 1997 geltenden ordentlichen Steuersatz von 6,5 % an. Das bestätigte sie mit Verfügung vom 22. Januar 2002. Die dagegen von X._ und Y._ erhobenen Rechtsmittel blieben erfolglos. B. Mit Eingabe vom 7. Januar 2008 erheben X._ und Y._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten. Sie beantragen, das in dieser Sache zuletzt ergangene Urteil des Bundesverwaltungsgerichts vom 16. November 2007 sowie die Verfügung der EStV vom 22. Januar 2002 aufzuheben und "demgemäss die Beschwerdeführer nicht zu verpflichten, für das Jahr 1997 Fr. 185'239 nebst Verzugszinsen an die Beschwerdegegnerin zu zahlen". C. Die EStV stellt den Antrag, die Beschwerde abzuweisen. Das Bundesverwaltungsgericht verzichtet auf eine Vernehmlassung. D. Der Präsident der II. öffentlich-rechtlichen Abteilung des Bundesgerichts hat der Beschwerde mit Verfügung vom 18. Februar 2008 antragsgemäss aufschiebende Wirkung zuerkannt.