Sachverhalt:
A. Mit Verfügung vom 26. August 2008 sprach die IV-Stelle des Kantons Thurgau S._, geboren 1971, eine ganze Invalidenrente ab 1. Mai 2004 zu. Für die Zeit vom 1. Mai 2004 bis Ende August 2008 resultierte eine Nachzahlung von Fr. 115'172.-. Davon bezahlte die IV-Stelle Fr. 20'340.- an einen vorleistenden Dritten aus. Einen Betrag von Fr. 48'544.- verrechnete sie mit Rückerstattungsansprüchen gegen die Ehefrau von S._ aufgrund nachträglicher Plafonierung der an die Ehefrau geleisteten Rente. Auf der Restanz von Fr. 46'288.- sprach die IV-Stelle Verzugszins von Fr. 3'948.- zu.
B. Beschwerdeweise beantragte S._, der Verzugszins sei auf Fr. 8'088.20 festzulegen. Mit Urteil vom 4. Februar 2009 wies das Verwaltungsgericht des Kantons Thurgau die Beschwerde ab.
C. S._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und erneuert das vorinstanzlich gestellte Rechtsbegehren. Die IV-Stelle des Kantons Thurgau beantragt Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Es ist unbestritten, dass die Ehefrau des Beschwerdeführers infolge nachträglicher Plafonierung ihrer eigenen Rente (<ref-law> in Verbindung mit <ref-law>) den Betrag von Fr. 48'544.- zurückzubezahlen hat. Auch wird die Verrechnung (<ref-law> in Verbindung mit <ref-law>) der Rentennachzahlung an den Beschwerdeführer mit den Rückerstattungsansprüchen gegen dessen Ehefrau mit Recht nicht beanstandet. Zwar besteht keine Identität zwischen Gläubiger der einen und Schuldner der anderen Forderung, was normalerweise Voraussetzung für die Verrechnung ist (<ref-law>), doch kann nach der Rechtsprechung im Sozialversicherungsrecht bei versicherungstechnisch eng zusammenhängenden Leistungen und Forderungen auf diese Identität verzichtet werden (<ref-ruling> E. 2.4 S. 510, 115 V 341 E. 2b S. 342; FRANZ SCHLAURI, Die zweigübergreifende Verrechnung und weitere Instrumente der Vollstreckungskoordination des Sozialversicherungsrechts, in: SCHAFFHAUSER/SCHLAURI, Sozialversicherungsrechtstagung 2004, S. 137 ff., 154). Ein derartiger Zusammenhang besteht nach der Verwaltungspraxis namentlich auch dann, wenn der zweite Versicherungsfall eintritt und die Rente des erst-rentenberechtigten Ehegatten wegen der Plafonierung tiefer ausfällt (Rz. 10908 der Wegleitung über die Renten in der Eidgenössischen Alters-, Hinterlassenen- und Invalidenversicherung [RWL]). Das Bundesgericht hat diese Verwaltungspraxis als gesetzeskonform beurteilt (<ref-ruling> E. 2.6-2.9 S. 512 ff.). Die Verrechnung ist daher als solche nicht zu beanstanden.
3. Streitig ist der Verzugszins.
3.1 Unbestritten ist, dass auf der dem Beschwerdeführer nachzuzahlenden Invalidenrente ab Mai 2006 Verzugszinsen zu bezahlen sind (<ref-law>; <ref-ruling>). Die Vorinstanz hat erwogen, dass auch auf dem zur Verrechnung gebrachten Rückerstattungsanspruch gegenüber der Ehefrau ein Vergütungszins zu leisten sei; die Verwaltung habe daher mit Recht den Verzugszins nur auf dem noch auszuzahlenden Restbetrag von Fr. 46'288.- berechnet. Der Beschwerdeführer macht demgegenüber geltend, im Unterschied zur Rentennachzahlung sei die Rückerstattungsforderung nicht zinsbelastet. Der Verzugszins sei daher auf der Nachzahlungssumme von Fr. 94'832.- zu bezahlen. Zu Recht nicht bestritten ist, dass auf dem an bevorschussende Dritte ausbezahlten Betrag von Fr. 20'340.- keine Verzugszinsen geschuldet sind (Art. 26 Abs. 4 lit. b und c ATSG).
3.2 Ob die Rückerstattungsforderung der Verzinsung unterliegt, wie die Vorinstanz angenommen hat, erscheint fraglich: Der Wortlaut von Art. 26 Abs. 1 und 2 ATSG beschränkt die Zinspflicht ausdrücklich auf Beitragsforderungen, Beitragsrückerstattungen und (nach Ablauf von 24 Monaten) auf Leistungen; Rückerstattungen von Leistungen sind nicht erwähnt, was angesichts der Entstehungsgeschichte eher auf ein qualifiziertes Schweigen als auf eine echte Lücke hinweist (UELI KIESER, ATSG-Kommentar, 2009, N. 20 zu <ref-law>; vgl. auch Urteil K 40/05 vom 12. Januar 2006 E. 4.3). Die Frage kann aber offenbleiben, da aus einem anderen Grund der vorinstanzliche Entscheid im Ergebnis richtig ist.
3.3 Nach <ref-law>, der mangels entgegenstehender Bestimmungen auch im öffentlichen Recht gilt (<ref-ruling> E. 7.2.1 S. 147), wird die Wirkung der Verrechnung auf den Zeitpunkt zurückbezogen, in dem sich die beiden Forderungen zur Verrechnung geeignet einander gegenüberstanden, das heisst, wenn die Verrechnungsbefugnis des nachmaligen Kompensanten entsteht (VIKTOR AEPLI, Zürcher Kommentar, 1991, N. 119 zu <ref-law>). In diesem Zeitpunkt geht die kleinere Forderung samt ihren Nebenansprüchen, namentlich der Verzinsungspflicht, unter. Die grössere Forderung reduziert sich im Umfang der kleineren und auch ihre Nebenansprüche bestehen nur noch in diesem reduzierten Umfang (VIKTOR AEPLI, a.a.O., N. 125, 126 und 130 zu <ref-law>; NICOLAS JEANDIN, Commentaire Romand, 2003, N. 7 und 8 zu <ref-law>; WOLFGANG PETER, Basler Kommentar, 2003, N. 5 und 6 zu <ref-law>). Der Verrechnende kann somit Verzugsfolgen mit der Verrechnungserklärung beseitigen (ALFRED KOLLER, Die Verrechnung nach schweizerischem Recht, recht 2007, S. 101 ff., 109).
3.4 Vorliegend entstand die Rückerstattungsforderung der Beschwerdegegnerin gleichzeitig mit dem Rentenanspruch des Beschwerdeführers, also im Grundsatz am 1. Mai 2004 und von da an jeweils monatlich (Art. 19 Abs. 1 und 3 ATSG) für das entsprechende Rentenbetreffnis. Damit entstand auch die Verrechnungsbefugnis und auf diesen Zeitpunkt wird die Wirkung der Verrechnung zurückbezogen. In dem Umfang, in dem der Rentenanspruch des Beschwerdeführers durch Verrechnung mit der Rückerstattungsforderung getilgt wird, entsteht kein Verzugszinsanspruch. Die Beschwerdegegnerin hat deshalb den Zins mit Recht nur auf der Restanz berechnet. Dies erscheint auch im Ergebnis billig: Der Verzugszins hat zum Zweck, die erst verspätete Verfügbarkeit des geschuldeten Betrags auszugleichen. In der vorliegenden Konstellation stand der betreffende Betrag indessen dem Beschwerdeführer und seiner Ehefrau (vgl. <ref-ruling> E. 2.7 S. 512 zur wirtschaftlichen Einheit der Familie als Grundlage der Rentenplafonierung) zur Verfügung, wenn auch unter einem anderen Rechtstitel (nicht plafonierte Rente der Ehefrau anstatt Rente des Beschwerdeführers).
4. Der Beschwerdeführer trägt die Kosten des bundesgerichtlichen Verfahrens (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Thurgau, der Ausgleichskasse Grosshandel + Transithandel und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Mai 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Ettlin