Sachverhalt:
A. X._ und seine Schwester Y._ erklärten mit Schreiben vom 29. Dezember 2004 den Austritt aus der katholischen Kirche. Die Kirchgemeinde Amriswil erhielt die Briefe am 31. Dezember 2004. Sie bestätigte am 25. Januar 2005 den Austritt und erklärte, die Einwohnerkontrolle darüber zu informieren.
Das Steueramt Amriswil erachtete in der Folge X._ und Y._ bis Ende 2004 für kirchensteuerpflichtig. Die Einsprache und der Rekurs, den X._ gegen die verfügte Kirchensteuerpflicht für das Jahr 2004 erhob, blieben ohne Erfolg. Das Steueramt Amriswil sowie die Steuerverwaltung des Kantons Thurgau stützten sich auf die Mitteilung der Katholischen Kirchgemeinde Amriswil, mit welcher der Kirchenaustritt per 1. Januar 2005 bestätigt worden war, und lehnten eine selbständige Überprüfung des Austrittszeitpunktes ab.
Am 3. Oktober 2006 machte X._ gegenüber der katholischen Kirchgemeinde Amriswil geltend, er und seine Schwester seien per 30. Dezember 2004 aus der katholischen Kirche ausgetreten und nicht erst per 1. oder per 25. Januar 2005. Der Katholische Kirchenrat des Kantons Thurgau nahm dieses Schreiben als Beschwerde entgegen, da die Austrittsbestätigungen vom 25. Januar und vom 26. August 2005 mit keiner Rechtsmittelbelehrung versehen gewesen seien. Er wies die Beschwerde am 11. April 2008 ab und stellte fest, dass die Austrittserklärung per 1. Januar 2005 rechtswirksam geworden sei.
B. X._ und Y._ beantragen dem Bundesgericht mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 19. Mai 2008, den Entscheid des Katholischen Kirchenrats vom 11. April 2008 aufzuheben und festzustellen, dass sie am 30. Dezember 2004 bzw. eventualiter am 31. Dezember 2004 im Zeitpunkt der Aushändigung ihrer Schreiben an die Kirchgemeinde aus der katholischen Kirche ausgetreten seien.
C. Der Katholische Kirchenrat und die Steuerverwaltung des Kantons Thurgau ersuchen um Abweisung der Beschwerde. Die Katholische Kirchgemeinde Amriswil, vertreten durch ihre Kirchenvorsteherschaft, hat auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Angefochten ist ein letztinstanzlicher kantonaler Endentscheid in einer Angelegenheit des öffentlichen Rechts, die unter keinen Ausschlussgrund gemäss <ref-law> fällt und daher mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden kann (Art. 86 Abs. 1 lit. d und 90 BGG). Das für die katholische Kirche im Kanton Thurgau geltende Recht sieht nicht vor, dass gegen Beschwerdeentscheide des Kirchenrates, die den Zeitpunkt des Kirchenaustritts zum Gegenstand haben, weitere kantonale Rechtsmittel zur Verfügung stehen; es verweist insoweit ebenso wenig auf entsprechende Bestimmungen des staatlichen Rechts (vgl. §§ 8 und 48 ff. des Gesetzes vom 1. Juli 1968 über die Organisation der Katholischen Landeskirche des Kantons Thurgau [KOG/TG] und § 1 Abs. 3 des Thurgauer Gesetzes vom 23. Februar 1981 über die Verwaltungsrechtspflege). Diesem Schluss steht auch nicht <ref-law> entgegen, der als unmittelbare Vorinstanzen des Bundesgerichts obere Gerichte vorsieht, zumal die Anpassungsfrist nach <ref-law> noch nicht verstrichen ist.
2. 2.1 Streitgegenstand bildet der Zeitpunkt, in dem der Kirchenaustritt der Beschwerdeführer erfolgt ist und ab welchem dieser Austritt kirchensteuerrechtliche Wirkungen entfaltet. Es steht fest, dass das Austrittsschreiben am 30. Dezember 2004 der Post übergeben und am 31. Dezember 2004 von der Katholischen Kirchgemeinde Amriswil in Empfang genommen wurde.
2.2 Die Vorinstanz stellt bei der Beurteilung der aufgeworfenen Fragen auf Grundsätze des Obligationenrechts ab, da das Gesetz über die Organisation der katholischen Landeskirche des Kantons Thurgau den Austritt nicht regle. Sie erachtet den Kirchenaustritt als empfangsbedürftige Willenserklärung. Wie bei den Verzugszinsen, die erst am Tag nach dem Eintreffen der Mahnung zu laufen beginnen, zeitige auch die Erklärung des Kirchenaustritts Wirkungen erst am Tag nach ihrem Eingang bei der Kirchgemeinde. Dementsprechend erklärt sie, der Austritt der Beschwerdeführer sei per 1. Januar 2005 und nicht bereits früher rechtswirksam geworden.
2.3 Nach Auffassung der Beschwerdeführer verstösst diese Beurteilung gegen ihr in <ref-law> verbrieftes Recht, jederzeit aus der Kirche austreten zu können. Eine Austrittserklärung sei sofort, d.h. ab dem Zeitpunkt, in dem sie abgegeben werde, wirksam. Da sie ihren Brief mit der Austrittserklärung am 30. Dezember 2004 zur Post gebracht hätten, sei der Austritt an diesem Tag erfolgt und sofort rechtswirksam geworden. Selbst wenn es sich beim Austritt um eine empfangsbedürftige Erklärung handeln sollte, habe dieser ab dem Zeitpunkt des Empfangs am 31. Dezember 2004 Wirkungen entfaltet. Die gegenteilige Ansicht der Vorinstanz sei willkürlich und verstosse gegen Treu und Glauben. Bei einem Austritt am 31. Dezember 2004 entfalle gemäss § 55 der Verordnung des Regierungsrats des Kantons Thurgau vom 10. November 1992 zum Gesetz über die Staats- und Gemeindesteuern (StV/TG) ihre Kirchensteuerpflicht für das Jahr 2004. Denn nach dieser Bestimmung seien die Verhältnisse am Ende der Steuerperiode, hier mithin am 31. Dezember 2004, massgebend.
3. 3.1 Nach <ref-law> darf niemand gezwungen werden, einer Religionsgemeinschaft anzugehören. Daraus ergibt sich das Recht, jederzeit aus der Kirche auszutreten. Weiter folgt daraus, dass für einen Zeitraum, in dem ein Ausgetretener der Kirche nicht mehr angehört, keine Kirchensteuer mehr erhoben werden darf. Verfassungsrechtlich ist es deshalb nur zulässig, die letzte Steuer pro rata temporis, d.h. bis zum Zeitpunkt des Austritts, zu erheben (<ref-ruling> E. 4 S. 86 f.). <ref-law> schliesst jedoch nicht aus, dass die Kirchen den Austritt an gewisse formelle Erfordernisse knüpfen, um ein überstürztes Handeln unter dem Einfluss von Drittpersonen zu verhindern. Insbesondere dürfen die Kirchen eine klare Äusserung verlangen, aus welcher der Wille, der Kirche nicht mehr anzugehören, eindeutig hervorgeht. Unzulässig ist es jedoch, den Kirchenaustritt durch schikanöse Vorschriften zu erschweren oder unnötig zu verzögern (<ref-ruling> E. 4.2 und 4.3 S. 78; <ref-ruling> E. 3 S. 84 ff.).
3.2 Es liegt im Interesse der Rechtssicherheit, eine Erklärung des Kirchenaustritts erst beim Eintreffen bei den zuständigen Behörden als gültig anzuerkennen. Denn es ist oft nur schwer zu beweisen, wann eine Willenserklärung abgegeben wurde. Ausserdem können die kirchlichen Organe die sich aus einer Austrittserklärung ergebenden Konsequenzen ohnehin erst ziehen, wenn sie von ihr Kenntnis haben. Daher ist es keine schikanöse Erschwerung des Austrittsrechts, einer entsprechenden Erklärung erst ab dem Empfang durch die zuständige Behörde Geltung zuzuerkennen, soweit - wie hier - keine ausdrücklich anders lautende Regelung besteht. Verfassungsrechtlich ist somit nicht zu beanstanden, wenn die Vorinstanz in der Austrittserklärung eine empfangsbedürftige Willensäusserung erblickt (vgl. Béatrice Blum, in: Klöti-Weber und andere, Kommentar zum Aargauer Steuergesetz, 2. Aufl. 2004, N. 28 und 30 zu § 154 StG/AG; zur Empfangsbedürftigkeit von Gestaltungserklärungen im Allgemeinen: Guillaume Vionnet, L'exercice des droits formateurs, 2008, S. 174 und 412).
3.3 Die Rüge der Beschwerdeführer, als Datum ihres Austritts hätte der 30. Dezember 2004, als sie ihre Schreiben der Post übergaben, anerkannt werden müssen, erweist sich demnach als unbegründet. Vielmehr ist als Austrittsdatum der 31. Dezember 2004 anzusehen, als die Austrittsschreiben bei der katholischen Kirchgemeinde eingingen. Das bestreitet auch die Vorinstanz nicht; sie räumt jedoch dem Austritt Wirkungen erst ab dem folgenden Tag, dem 1. Januar 2005, ein.
4. 4.1 Die Feststellung des Zeitpunkts des Kirchenaustritts ist für das Stimm- und Wahlrecht in kirchlichen Angelegenheiten, den Anspruch auf kirchliche Handlungen und die Kirchensteuerpflicht von Bedeutung. Es kann offen bleiben, ob ein Kirchenaustritt in allen genannten Bereichen erst mit dem folgenden Tag - vorliegend mithin am 1. Januar 2005 - wirksam wird. Die Beschwerdeführer wenden sich gegen eine solche Betrachtungsweise nur mit Bezug auf ihre Kirchensteuerpflicht. Die Vorinstanz hat die Frage denn auch offensichtlich nur mit Blick auf die Kirchensteuerpflicht beurteilt, zumal die Steuerbehörden diesbezüglich unter Hinweis auf § 57 StV/TG auf den Entscheid der kirchlichen Organe abstellen. Gemäss dieser Bestimmung ist der Austritt aus einer Landeskirche durch eine Bestätigung der zuständigen kirchlichen Behörde zu belegen.
4.2 Erfüllt eine Person zu Beginn eines Tages die Voraussetzungen der Steuerpflicht, besteht diese gewöhnlich für den ganzen Tag fort. Daran ändert - vorbehältlich einer besonderen abweichenden Regelung - nichts, dass die Voraussetzungen der Steuerpflicht etwa durch Ableben oder Wechsel des Wohnsitzes während dieses Tages wegfallen. Erst nach Ablauf dieses Tages endet die Steuerpflicht (Urteil des Bundesgerichts vom 22. November 1946, E. 1, in: ASA 15 S. 284; Peter Locher, Kommentar zum DBG, 2001, N. 9 zu <ref-law>; Ernst Känzig, Die eidgenössische Wehrsteuer, 2. Aufl. 1982, N. 1 zu Art. 9 WStB). Auch bei der Kirchensteuerpflicht ist anerkannt, dass sie bei einem Austritt pro rata temporis bis zum Tag des Eintreffens der entsprechenden Erklärung bei der Kirchgemeinde zu erheben ist (vgl. Felix Richner und andere, Kommentar zum harmonisierten Zürcher Steuergesetz, 2. Aufl. 2006, N. 14 zu § 201 StG/ZH; Urs Josef Cavelti, Der Kirchenaustritt nach staatlichem Recht, in: Louis Carlen [Hrsg.], Austritt aus der Kirche - Sortir de l'Eglise, Freiburg 1982, S. 94).
Es entspricht der dargestellten Lehre und Rechtsprechung, die steuerrechtliche Wirkung eines Kirchenaustritts erst am darauffolgenden Tag eintreten zu lassen, d.h. die Kirchensteuerpflicht für den ganzen Tag, an dem der Austritt erfolgt, noch zu bejahen. § 55 StV/TG, wonach sich die Kirchensteuerpflicht für das ganze Jahr nach den Verhältnissen am Ende der Steuerperiode oder der Steuerpflicht beurteilt, enthält keine gegenteilige Regelung, sondern setzt die Feststellung der Dauer der Kirchenzugehörigkeit in steuerrechtlicher Hinsicht bereits voraus. Besteht somit keine ausdrückliche Regelung des Kirchenaustritts, ist es nicht willkürlich, wenn die Vorinstanz dem Austritt die kirchensteuerrechtliche Wirkung erst ab dem 1. Januar 2005 zuerkennt. Der angefochtene Entscheid verletzt daher weder Art. 9 noch <ref-law>. Dass die Vorinstanz ihren Entscheid auf teilweise andere Erwägungen stützt, ist unerheblich, da dies an der Rechtsfolge nichts ändert (vgl. <ref-ruling> E. 1.4.1 S. 254; zum Willkürbegriff <ref-ruling> E. 3.1 S. 153 mit Hinweisen).
5. Die Beschwerde ist dem Gesagten zufolge abzuweisen.
Bei diesem Verfahrensausgang sind die bundesgerichtlichen Kosten den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftung aufzuerlegen (Art. 65 und Art. 66 Abs. 1 und 5 BGG). Parteientschädigungen werden nicht geschuldet (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern zu gleichen Teilen und unter solidarischer Haftbarkeit auferlegt.
3. Dieses Urteil wird den Parteien, dem Katholischen Kirchenrat sowie der Steuerverwaltung des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 12. November 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Merz