Sachverhalt: Sachverhalt: A. Am 7. Oktober 1996 meldeten sich A. und B. X._ beim Einwohneramt Amriswil ab und reisten nach Perth (Australien) aus. Die Veranlagungsbehörde eröffnete am 26. Juli 1999 einen Steuerdomizilentscheid, der die Ehegatten X._ bis zum 9. September 1998 der unbeschränkten Steuerpflicht im Kanton Thurgau unterwarf. Die Steuerpflichtigen beschritten in der Folge den Rechtsweg. Mit Urteilen vom 6. Februar 2001 und 7. März 2002 wies das Bundesgericht zwei bei ihm eingereichte Verwaltungsgerichtsbeschwerden ab und bestätigte die unbeschränkte Steuerpflicht bis zum 9. September 1998 sowohl hinsichtlich der direkten Bundessteuer als auch hinsichtlich der Staats- und Gemeindesteuern (Urteile 2A.337/2000 und 2A.436/2001). In einem in der Folge durchgeführten Verständigungsverfahren mit den australischen Finanzbehörden wurde die entsprechende Steuerpflicht im Wesentlichen bestätigt. Am 12. August 2003 (für die direkte Bundessteuer) und 13. August 2003 (für die Staats- und Gemeindesteuern) ordneten die thurgauischen Steuerverwaltungsbehörden die Sicherstellung von nicht bezahlten Steuern für die Steuerjahre 1996-1999 an. Mit Urteil vom 12. Mai 2004 wies das Bundesgericht eine entsprechende Verwaltungsgerichtsbeschwerde im Zusammenhang mit der Sicherstellung bei der direkten Bundessteuer ab (Urteil 2A.442/2003). Am 17. Juni 2005 eröffnete die zuständige Steuerbehörde die Steuerrechnungen für die Staats- und Gemeindesteuern der Jahre 1997 und 1998. Am 9. Februar 2006 wurden die entsprechenden Steuerausstände nach Teilaufhebung des auf den Vermögenswerten der Ehegatten X._ liegenden Arrestes durch die Kantonale Steuerverwaltung über eine Bankzahlung beglichen. Am 17. Juni 2005 eröffnete die zuständige Steuerbehörde die Steuerrechnungen für die Staats- und Gemeindesteuern der Jahre 1997 und 1998. Am 9. Februar 2006 wurden die entsprechenden Steuerausstände nach Teilaufhebung des auf den Vermögenswerten der Ehegatten X._ liegenden Arrestes durch die Kantonale Steuerverwaltung über eine Bankzahlung beglichen. B. Mit Verfügung vom 3. März 2006 eröffnete die Finanzverwaltung der Stadt Amriswil die Verzugszinsrechnungen für die Staats- und Gemeindesteuern der Jahre 1997 und 1998. Dagegen erhoben die Ehegatten X._ Einsprache. Am 8. August 2006 fand dazu vor dem Stadtrat der Gemeinde Amriswil eine Anhörung der Einsprecher statt. Mit Entscheid vom 16. August 2006 wies der Stadtrat die Einsprache ab und bestätigte die Verzugszinspflicht. In einem dagegen eingereichten Rekurs an das Departement für Finanzen und Soziales des Kantons Thurgau stellten die Ehegatten X._ unter anderem einen Befangenheitsantrag gegen das Departement, weil ein Mitarbeiter der kantonalen Steuerbehörde bereits an der Anhörung vom 8. August 2006 teilgenommen habe. Mit Schreiben vom 11. September 2006 überwies das Generalsekretariat des Departements den Rekurs an die Kantonale Steuerverwaltung, da es sich aufgrund einer neuen gesetzlichen Regelung als für den Streitfall nicht mehr zuständig erachtete. Am 12. September 2006 anerkannte die Kantonale Steuerverwaltung ihre Zuständigkeit. Mit Entscheid vom 3. Januar 2007 wies die Kantonale Steuerverwaltung den Rekurs ab. Mit Schreiben vom 11. September 2006 überwies das Generalsekretariat des Departements den Rekurs an die Kantonale Steuerverwaltung, da es sich aufgrund einer neuen gesetzlichen Regelung als für den Streitfall nicht mehr zuständig erachtete. Am 12. September 2006 anerkannte die Kantonale Steuerverwaltung ihre Zuständigkeit. Mit Entscheid vom 3. Januar 2007 wies die Kantonale Steuerverwaltung den Rekurs ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 5. Februar 2007 an das Bundesgericht beantragen A. und B. X._, den Rekursentscheid der Steuerverwaltung des Kantons Thurgau vom 3. Januar 2007 aufzuheben. Der Stadtrat von Amriswil schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Die Steuerverwaltung des Kantons Thurgau stellt Antrag auf Abweisung der Beschwerde.