Sachverhalt: A. Mit Verfügung vom 26. August 2008 sprach die IV-Stelle des Kantons Thurgau S._, geboren 1971, eine ganze Invalidenrente ab 1. Mai 2004 zu. Für die Zeit vom 1. Mai 2004 bis Ende August 2008 resultierte eine Nachzahlung von Fr. 115'172.-. Davon bezahlte die IV-Stelle Fr. 20'340.- an einen vorleistenden Dritten aus. Einen Betrag von Fr. 48'544.- verrechnete sie mit Rückerstattungsansprüchen gegen die Ehefrau von S._ aufgrund nachträglicher Plafonierung der an die Ehefrau geleisteten Rente. Auf der Restanz von Fr. 46'288.- sprach die IV-Stelle Verzugszins von Fr. 3'948.- zu. B. Beschwerdeweise beantragte S._, der Verzugszins sei auf Fr. 8'088.20 festzulegen. Mit Urteil vom 4. Februar 2009 wies das Verwaltungsgericht des Kantons Thurgau die Beschwerde ab. C. S._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und erneuert das vorinstanzlich gestellte Rechtsbegehren. Die IV-Stelle des Kantons Thurgau beantragt Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.