Sachverhalt:
A. A X._ (geb. 1943) leistete von 2004 bis 2006 drei Einkaufsbeiträge an die Pensionskasse seiner Arbeitgeberin: im Dezember 2004 Fr. 20'000.--, im April 2005 und im September 2006 jeweils Fr. 30'000.--, d.h. insgesamt Fr. 80'000.--. Im Juli 2007 zahlte ihm die Kasse eine Kapitalleistung von Fr. 432'884.-- aus. Das restliche Alterskapital von Fr. 83'636.-- wird in Form einer monatlichen Rente von Fr. 460.-- (d.h. Fr. 5'520.-- pro Jahr) ausgerichtet. Der Kapitalwert dieser Rente entspricht dem verbleibenden Alterskapital von Fr. 83'636.-- und dieses wiederum den drei Einkaufsbeträgen zuzüglich Zins.
B. Kantonal letztinstanzlich liess das Verwaltungsgericht des Kantons Thurgau die drei in den Jahren 2004 bis 2006 getätigten Einzahlungen wegen Steuerumgehung weder bei der Staatssteuer noch bei der direkten Bundessteuer als Abzüge vom steuerbaren Einkommen zu.
C. A und B X._ haben am 9. Oktober 2009 Beschwerden in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht eingereicht. Sie beantragen, die verwaltungsgerichtlichen Urteile in Bezug auf die Staatssteuer (Verfahren 2C_658/2009) sowie die direkte Bundessteuer (2C_659/2009) aufzuheben und ihr steuerbares Einkommen 2004-6 um den jeweiligen Einkaufsbetrag zu kürzen.
D. Die Steuerverwaltung und das Verwaltungsgericht des Kantons Thurgau sowie die Eidgenössische Steuerverwaltung schliessen auf Abweisung der Beschwerden.

Erwägungen:
1.1 Die weitgehend gleich lautenden Beschwerden betreffen die gleichen Parteien, richten sich gegen praktisch übereinstimmende Entscheide und werfen dieselben Rechtsfragen auf. Es rechtfertigt sich deshalb, die Verfahren zu vereinigen und die Beschwerden in einem einzigen Urteil zu erledigen (vgl. <ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 1 S. 60 f. mit Hinweis).
1.2 Die Beschwerden sind zulässig (vgl. <ref-law> i.V.m. Art. 146 des Bundesgesetzes vom 14. Dezember 1990 über die direkte Bundessteuer [DBG, SR 642.11] sowie Art. 73 des Bundesgesetzes vom 14. Dezember 1990 über die Harmonisierung der direkten Steuern der Kantone und Gemeinden [StHG, SR. 642.14]).
1.3 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist daher weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder sie mit einer vom angefochtenen Entscheid abweichenden Begründung abweisen (vgl. <ref-ruling> E. 1.4 S. 140 mit Hinweis).
2. 2.1 Nach <ref-law>, Art. 9 Abs. 2 lit. d StHG und § 34 Abs. 1 Ziffer 6 des Gesetzes des Kantons Thurgau vom 14. September 1992 über die Staats- und Gemeindesteuern (StG) werden die gemäss Gesetz, Statut oder Reglement geleisteten Einlagen, Prämien und Beiträge an die Alters-, Hinterlassenen- und Invalidenversicherung und an Einrichtungen der beruflichen Vorsorge von den Einkünften abgezogen (vgl. auch Art. 81 Abs. 2 des Bundesgesetzes über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge vom 25. Juni 1982 ([BVG, SR 831.40]). Die bundesgerichtliche Rechtsprechung lässt den Abzug aber dann nicht zu, wenn eine Steuerumgehung vorliegt (zu diesem Begriff vgl. u.a. <ref-ruling> E. 5.2 S. 635 f.; ASA 78 289 E. 5.1; StE 2004 A 21.13 Nr. 6 E. 3.1), insbesondere bei missbräuchlich steuerminimierenden, zeitlich nahen Einkäufen und Kapitalbezügen in/von Vorsorgeeinrichtungen, d.h. im Fall von gezielt vorübergehenden und steuerlich motivierten Geldverschiebungen in die 2. Säule, mit denen nicht die Schliessung von Beitragslücken angestrebt, sondern die Pensionskasse als steuerbegünstigtes Kontokorrent zweckentfremdet wird. Das Ziel eines Einkaufs von Beitragsjahren besteht im Aufbau bzw. der Verbesserung der beruflichen Vorsorge. Dieses Ziel wird namentlich dann offensichtlich verfehlt, wenn die gleichen Mittel kurze Zeit später - bei kaum verbessertem Versicherungsschutz - der Vorsorgeeinrichtung wieder entnommen werden (vgl. zum Ganzen <ref-ruling> E. 4.2 u. 5.2 S. 633 ff.; 593 E. 4 S. 603 ff.; ASA 78 289 E. 5; RDAF 2009 II 9 E. 4 u. 5; 368 E. 8; StE 2004 A 21.13 Nr. 6 E. 3; StR 62/2007 636 E. 4.1; 58/2003 879 E. 3.2; Urteile 2C_555/2007 vom 3. März 2008 E. 3 u. 4 sowie 2A.705/2005 vom 13. April 2006 E. 5).
2.2 Gestützt auf diese Rechtsprechung hat das Verwaltungsgericht den vorliegend streitigen Einzahlungen zutreffend die Berechtigung zum Abzug vom steuerbaren Einkommen verweigert und eine absonderliche Rechtsgestaltung angenommen. Entgegen den bisher von der Praxis zu beurteilenden Fällen gaben hier die kurz vor dem Rentenalter eingezahlten Beträge zwar nicht Anlass zu einer kurz danach erfolgten Kapitalauszahlung, sondern zu einer längerfristigen Bindung in Form einer sehr bescheidenen Rente (Fr. 460.-- pro Monat). Dieser Unterschied zum klassischen Missbrauchsmodell ist aber nicht entscheidend, sondern die folgende Übereinstimmung: Auch hier wurde relativ kurz nach diesen Einzahlungen ein grösserer Betrag (Fr. 432'884.--) wieder - und vollumfänglich als Kapital - ausbezahlt, woraus eine gezielt vorübergehende und steuerlich motivierte Geldverschiebung in die 2. Säule anzunehmen ist. Damit wurde nicht die Schliessung einer Beitragslücke angestrebt, sondern die Pensionskasse als steuerbegünstigtes Kontokorrent zweckentfremdet. Die zusätzlichen Einzahlungen verbesserten die Vorsorgesituation kaum. Auch hätte der Betrag von Fr. 432'884.-- die Ausrichtung einer deutlich höheren und angemessenen Rente ermöglicht, worauf aber bewusst verzichtet wurde. Bei einem gesamten Vorsorgevolumen von mehr als Fr. 500'000.-- und einem (per Ende 2006 deklarierten) steuerbaren Vermögen von mehr als 5 Mio. Franken muss eine solche Gestaltung gesamthaft als ungewöhnlich und zumindest wenig sachgerecht beurteilt werden. Sie lässt ohne weiteres auf eine Absicht nicht der zulässigen Vorsorgeoptimierung, sondern der missbräuchlichen Steuerminimierung schliessen. Wenn die gewählte Gestaltung zugelassen worden wäre, hätte sie auch tatsächlich zu einer ins Gewicht fallenden Steuerersparnis geführt, nämlich bei der Staats- und Bundessteuer zu einem gesamthaft um beinahe Fr. 15'000.-- geringeren Steuerbetrag.
2.3 Was die Beschwerdeführer gegen die Verweigerung der Abzugsberechtigung einwenden, vermag ein anderes Ergebnis nicht zu rechtfertigen. Vom Ansatz her fehl geht die Kritik am Einbezug der Vermögenssituation in die Missbrauchsprüfung. Es entspricht insbesondere auch den wohlverstandenen Eigeninteressen eines Pflichtigen, wenn eine Steuerumgehung nur nach Berücksichtigung aller entscheidrelevanten Umstände des konkreten Einzelfalls angenommen wird. Eine solche Gesamtprüfung muss nicht nur die ganze Vorsorge-, sondern auch die Einkommens- und Vermögenssituation miteinbeziehen. Daraus haben sich hier massgebliche und nicht widerlegte Indizien des Missbrauchs ergeben. Entgegen der Auffassung der Beschwerdeführer hat das Verwaltungsgericht nicht nur den Nachweis der absonderlichen Gestaltung und der Umgehungsabsicht im geforderten Ausmass (vgl. ASA 55 134 E. 2) erbracht, sondern auch denjenigen einer effektiven Steuerersparnis. In diesem Zusammenhang hat das Gericht die zukünftige Steuerbarkeit der Rente keineswegs ausser Acht gelassen, ihr aber bundesrechtskonform ein gering(er)es Gewicht zugemessen.
3. Die Beschwerdeführer berufen sich weiter auf den am 1. Januar 2006 in Kraft getretenen Art. 79b Abs. 3 BVG. Der erste (und hier allein massgebliche) Satz dieser Vorschrift bestimmt: "Wurden Einkäufe getätigt, so dürfen die daraus resultierenden Leistungen innerhalb der nächsten drei Jahre nicht in Kapitalform aus der Vorsorge zurückgezogen werden."
3.1 In Ermangelung von bundesrätlichen Ausführungsbestimmungen zu Art. 79b Abs. 3 BVG in der Verordnung über die berufliche Alters-, Hinterlassenen- und Invalidenvorsorge vom 18. April 1984 (BVV 2, SR 831.441.1) hat das Bundesamt für Sozialversicherungen bekanntgegeben, nur der dem Einkauf entsprechende Betrag inklusive Zinsen könne während drei Jahren nicht in Kapitalform zurückgezogen werden; demzufolge sei das ganze, vor dem Einkauf erworbene Vorsorgeguthaben durch diese Bestimmung nicht betroffen (vgl. Mitteilung über die berufliche Vorsorge Nr. 88 vom 28. November 2005 [Nr. 511], bestätigt durch die Mitteilungen über die berufliche Vorsorge Nr. 93 vom 11. Juli 2006 [Nr. 540] u. Nr. 110 vom 15. Januar 2009 [Nr. 678]). Die zuständige sozialrechtliche Abteilung des Bundesgerichts hat sich zu diesem Punkt soweit ersichtlich noch nicht geäussert.
3.2 Die Beschwerdeführer stützen sich auf die Stellungnahmen des Bundesamts für Sozialversicherungen. Sie leiten daraus ab, die zwischen Dezember 2004 und September 2006 erfolgten Einzahlungen seien unabhängig vom Kapitalrückzug des Jahres 2007 und müssten somit als vom steuerbaren Einkommen abziehbar eingestuft werden.
3.2.1 Unzutreffend ist diese Auffassung schon insofern, als angenommen wird, mangels einer Übergangsregelung sei die neue Bestimmung sogar auf die vor ihrem Inkrafttreten (anfangs 2006) erfolgten Einzahlungen anwendbar. Einzig die dritte hier massgebliche Leistung fällt unter Art. 79b Abs. 3 BVG. Ebenfalls nicht beigepflichtet werden kann indessen dem Verwaltungsgericht, das meint, die betreffende Vorschrift sei für die vorliegend zu beurteilende steuerrechtliche Frage nicht (direkt) von Belang und beschränke sich auf die Regelung eines vorsorgerechtlichen Problems (vgl. oben E. 1.3).
3.2.2 Den Beschwerdeführern kann auch insoweit nicht gefolgt werden, als sie davon ausgehen, die Stellungnahmen des Bundesamts für Sozialversicherungen seien für die steuerrechtliche Beurteilung direkt massgeblich und sogar verbindlich. Diese Stellungnahmen beziehen sich auf eine andere als die hier zu prüfende Frage und betreffen ausschliesslich das vorsorgerechtliche Problem, unter welchen Bedingungen ein Rückzug in Kapitalform für eine kurz zuvor geleistete Einzahlung zulässig ist. Dazu kann und muss vorliegend nichts gesagt werden, sondern nur zur steuerrechtlichen Tragweite von Art. 79b Abs. 3 BVG, d.h. zur Frage, ob die im Jahr 2006 geleistete Einzahlung vom steuerbaren Einkommen der Beschwerdeführer abgezogen werden kann.
3.3 Art. 79b Abs. 3 BVG ist zwar eine primär vorsorgerechtliche Norm, beruht aber klar auf steuerrechtlichen Motiven. Dem Wortlaut nach regelt sie wohl nur das Problem der Zulässigkeit einer Kapitalauszahlung innert drei Jahren seit der Einzahlung und äussert sich scheinbar nicht (direkt) zur Frage, ob diese Einzahlung vom steuerbaren Einkommen abgezogen werden darf. Die parlamentarischen Beratungen zu Art. 79b Abs. 3 BVG (vgl. namentlich AB N 2002 S. 503 u. 566 f.; S 2002 S. 1035 u. 1053; N 2003 S. 630) lassen jedoch unmissverständlich erkennen, dass mit der Sperrfrist (soweit ersichtlich) dieselben Missbräuche der Steuerminimierung bekämpft werden sollten, welche schon die bundesgerichtliche Praxis zur Verweigerung der Abzugsberechtigung wegen Steuerumgehung (vgl. oben E. 2.1) veranlasst haben. Aus Entstehungsgeschichte, Wortlaut und Systematik ergibt sich deshalb für die hier zu beurteilende steuerrechtliche Problematik (vgl. oben E. 3.2.2) Folgendes:
3.3.1 Art. 79b Abs. 3 BVG übernimmt und konkretisiert die bundesgerichtliche Rechtsprechung zur Verweigerung der Abzugsberechtigung wegen Steuerumgehung (vgl. oben E. 2.1) im Sinne einer einheitlichen und verbindlichen Gesetzesregelung. Wenn diese Vorschrift die getätigten Einkäufe für die "daraus resultierenden Leistungen" einer dreijährigen Kapitalrückzugssperre unterwirft, so ist das im hier massgeblichen Zusammenhang nicht - wie sich aus dem Wortlaut zu ergeben scheint - als eine notwendigerweise direkte Verknüpfung zwischen dem Einkauf und der Leistung zu verstehen. Einer solchen Verknüpfung muss ohnehin entgegengehalten werden, dass die in die Vorsorgeeinrichtung einbezahlten Beträge nicht ausgesondert und die Leistungen aus Vorsorgeeinrichtungen nicht aus bestimmten Mitteln, sondern aus dem Vorsorgekapital der versicherten Person insgesamt finanziert werden (vgl. PETER LANG/WOLFGANG MAUTE, Steuerliche Aspekte der 1. BVG-Revision, StR 59/2004 12; ZÜGER, a.a.O., S. 543).
Diesen Gesichtspunkten wird die Praxis der Thurgauer Steuerbehörden gerecht, welche Art. 79b Abs. 3 BVG so auslegen, dass jegliche Kapitalauszahlung in der Dreijahresfrist missbräuchlich ist und jede während der Sperrfrist erfolgte Einzahlung vom Einkommensabzug somit ausgeschlossen werden muss (vgl. StR 61/2006 324 f.; siehe dazu u.a. auch GLADYS LAFFELY MAILLARD, Commentaire romand de la LIFD, Bâle 2008, N 63 ad art. 33 LIFD; RAINER ZIGERLIG/GUIDO JUD, Kommentar zum Schweizerischen Steuerrecht [I/2a], Bundesgesetz über die direkte Bundessteuer [DBG], 2. Aufl. Basel 2008, Rz 24d zu <ref-law>; MARIO LAZZARINI/MAX LEDERGERBER, Steuerliche Auswirkungen der 1. BVG-Revision, TREX 2005, 334; MARINA ZÜGER, Steuerliche Missbräuche nach Inkrafttreten der 1. BVG-Revision, ASA 75 513 ff., insb. 542 ff.; vgl. auch MARKUS MOSER, Vom Regen in die Traufe? - Bemerkungen zu den neuen Einkaufsbestimmungen und zur Plafonierung des versicherbaren Lohnes gemäss Art. 79a-c BVG, SZS 2006, 81 ff., 93 ff.; SCHWEIZERISCHE STEUERKONFERENZ, Vorsorge und Steuern, Muri/Bern, Loseblatt, Stand Frühjahr 2009, A 4.2.6).
3.3.2 Die konsequente - und grundsätzlich ausnahmslose - Gleichsetzung von Kapitalauszahlung in der Dreijahresfrist mit missbräuchlicher Steuerminimierung erweist sich auch im hier zu prüfenden Einzelfall als zutreffend. Zwar wurde vorliegend eine klare Trennung zwischen später Einzahlung und Rentenausrichtung einerseits, langfristig angespartem Vorsorgevolumen und Kapitalauszahlung andererseits, vollzogen. Wie schon hervorgehoben (vgl. oben E. 2.2), ist nicht dieser Unterschied gegenüber dem klassischen Missbrauchsmodell entscheidend. Wesentlich ist vielmehr die Übereinstimmung, die darin besteht, dass kurz nach einer späten Einzahlung Vorsorgemittel ausbezahlt werden, und zwar so, dass das Hin und Her nicht als sachgerechte Verbesserung des Versicherungsschutzes, sondern als vorübergehende und steuerlich motivierte Geldverschiebung erscheinen muss. Dagegen wendet sich Art. 79b Abs. 3 BVG (im hier massgeblichen steuerrechtlichen Rahmen) einheitlich und verbindlich, indem die Abzugsberechtigung immer dann zu verweigern ist, wenn innerhalb der Sperrfrist eine Kapitalauszahlung erfolgt.
4. Nach dem Gesagten ist die Beschwerde für die Staats- und die Bundessteuer abzuweisen. Für die Einzahlungen von 2004 und 2005 ergibt sich das - wie vom Verwaltungsgericht zutreffend festgehalten - aus der bundesgerichtlichen Rechtsprechung zur Steuerumgehung, für die Leistung des Jahres 2006 aus Art. 79b Abs. 3 BVG (vgl. oben E. 1.3 u. 3).
Bei diesem Ausgang des Verfahrens werden die Beschwerdeführer unter Solidarhaft kostenpflichtig (Art. 65 f. BGG).

Demnach erkennt das Bundesgericht:
1. Die Verfahren 2C_658/2009 und 2C_659/2009 werden vereinigt.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die direkten Bundessteuern 2004 bis 2006 wird abgewiesen.
3. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten betreffend die Staats- und Gemeindesteuern 2004 bis 2006 wird abgewiesen.
4. Die Gerichtskosten von Fr. 2'500.-- werden den Beschwerdeführern unter Solidarhaft auferlegt.
5. Dieses Urteil wird den Beschwerdeführern, der Steuerverwaltung des Kantons Thurgau, dem Verwaltungsgericht des Kantons Thurgau und der Eidgenössischen Steuerverwaltung schriftlich mitgeteilt.
Lausanne, 12. März 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Matter