Sachverhalt: Sachverhalt: A. Im August 1999 meldete sich der 1959 geborene K._ bei der Invalidenversicherung zum Leistungsbezug an, worauf die zuständige IV-Stelle des Kantons Thurgau verschiedene Abklärungen in medizinischer und erwerblicher Hinsicht vornahm. A. Im August 1999 meldete sich der 1959 geborene K._ bei der Invalidenversicherung zum Leistungsbezug an, worauf die zuständige IV-Stelle des Kantons Thurgau verschiedene Abklärungen in medizinischer und erwerblicher Hinsicht vornahm. B. Im Januar 2003 liess K._ Beschwerde erheben mit dem Antrag, es sei festzustellen, dass die IV-Stelle, indem sie bis 7. Januar 2003 keine Verfügung erliess, eine unzulässige Rechtsverzögerung begangen habe. Es sei der Verwaltung für den Erlass der Verfügung eine kurze Frist zu setzen. Die IV-Stelle sei zu verpflichten, ihm auf der allenfalls geschuldeten Rente ab 1. Oktober 2000 den gesetzlichen Verzugszins zu gewähren. Im Verlaufe des kantonalen Verfahrens - am 14. Februar 2003 - erliess die IV-Stelle eine Verfügung, mit welcher sie das Leistungsbegehren abwies. Die AHV/IV-Rekurskommission des Kantons Thurgau, an welche das angerufene Versicherungsgericht des Kantons Thurgau die Sache zuständigkeitshalber überwiesen hatte, hiess die von K._ eingereichte Beschwerde gut, soweit sie sich nicht aufgrund des Erlasses der Verfügung vom 14. Februar 2003 als gegenstandslos erwies, und stellte fest, dass aufgrund länger dauernder Untätigkeiten während des Verwaltungsverfahrens eine Rechtsverzögerung vorliege und im Falle der rückwirkenden Zusprechung einer Rente der Invalidenversicherung gemäss den Erwägungen eine Verzugszinspflicht bestehe (Entscheid vom 2. April 2003). Die AHV/IV-Rekurskommission des Kantons Thurgau, an welche das angerufene Versicherungsgericht des Kantons Thurgau die Sache zuständigkeitshalber überwiesen hatte, hiess die von K._ eingereichte Beschwerde gut, soweit sie sich nicht aufgrund des Erlasses der Verfügung vom 14. Februar 2003 als gegenstandslos erwies, und stellte fest, dass aufgrund länger dauernder Untätigkeiten während des Verwaltungsverfahrens eine Rechtsverzögerung vorliege und im Falle der rückwirkenden Zusprechung einer Rente der Invalidenversicherung gemäss den Erwägungen eine Verzugszinspflicht bestehe (Entscheid vom 2. April 2003). C. Mit Verwaltungsgerichtsbeschwerde beantragt die IV-Stelle die Aufhebung des kantonalen Entscheides betreffend Verzugszinspflicht. Während der Versicherte auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen lässt, verzichtet das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung.