Sachverhalt: A. Am 28. September 2012 erliess die Ausgleichskasse Swissmem gegenüber dem 1962 geborenen B._ im Namen der IV-Stelle des Kantons Thurgau eine Rentenverfügung. In der Folge wies die IV-Stelle des Kantons Zürich darauf hin, dass sie und nicht die IV-Stelle des Kantons Thurgau zuständig sei. Daraufhin erliess die Ausgleichskasse Swissmem am 7. November 2012 eine inhaltlich identische Rentenverfügung gegenüber B._ im Namen der IV-Stelle des Kantons Zürich. B. Bereits am 25. Oktober 2012 hatte B._ gegen die Verfügung vom 28. September 2012 Beschwerde beim Verwaltungsgericht des Kantons Thurgau erhoben und eine höhere Rente beantragt. Mit Entscheid vom 9. Januar 2013 hiess dieses die Beschwerde in dem Sinne gut, als es die Verfügung vom 28. September 2012 wegen Unzuständigkeit der IV-Stelle des Kantons Thurgau ersatzlos aufhob. Gleichzeitig sprach das Gericht B._ eine reduzierte Parteientschädigung in der Höhe von Fr. 1'050.- zuzüglich Mehrwertsteuer zu. C. Mit Beschwerde beantragt B._, ihm sei unter Abänderung des kantonalen Entscheides eine ungekürzte Parteientschädigung in der Höhe von Fr. 2'555.65 zuzusprechen. Gleichzeitig stellt B._ ein Gesuch um unentgeltliche Rechtspflege. Während die IV-Stelle des Kantons Thurgau auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung. D. In seiner Eingabe vom 12. April 2013 hält B._ an seinen Anträgen fest.