Sachverhalt:
Sachverhalt:
A. F._ (geboren 1958) betrieb ab 1986 ein Fitnessstudio. 1992 erlitt er einen Muskelfaserabriss und war in der Folge arbeitsunfähig. Mit Anmeldung vom 10. November 1994 ersuchte er um Leistungen der Invalidenversicherung. Im Rahmen der ihm zugesprochenen Umschulung richtete die Invalidenversicherung Taggelder aus, deren betragsmässige Festsetzung von der IV-Stelle des Kantons Solothurn wiederholt korrigiert werden musste. Mit Schreiben vom 7. und 14. August 2000 liess F._ um Zahlung eines Verzugszinses infolge verspäteter Auszahlung ersuchen. Die IV-Stelle lehnte dies mit Verfügung vom 4. September 2000 ab.
A. F._ (geboren 1958) betrieb ab 1986 ein Fitnessstudio. 1992 erlitt er einen Muskelfaserabriss und war in der Folge arbeitsunfähig. Mit Anmeldung vom 10. November 1994 ersuchte er um Leistungen der Invalidenversicherung. Im Rahmen der ihm zugesprochenen Umschulung richtete die Invalidenversicherung Taggelder aus, deren betragsmässige Festsetzung von der IV-Stelle des Kantons Solothurn wiederholt korrigiert werden musste. Mit Schreiben vom 7. und 14. August 2000 liess F._ um Zahlung eines Verzugszinses infolge verspäteter Auszahlung ersuchen. Die IV-Stelle lehnte dies mit Verfügung vom 4. September 2000 ab.
B. F._ liess hiegegen Beschwerde führen. Der kantonale Prozess wurde im Einverständnis mit den Parteien sistiert. Nachdem das Eidgenössische Versicherungsgericht mit Urteil vom 27. Dezember 2002 (I 273/02) entschieden hatte, dass F._ zu viel bezogene Betriebszulagen im Betrag von Fr. 48'775.80 zurückzuerstatten habe, hob das Versicherungsgericht des Kantons Solothurn die Sistierung auf und hiess die Beschwerde mit Entscheid vom 6. Juni 2003 insofern gut, als es die IV-Stelle verpflichtete, für den Zeitraum vom 1. Januar 1999 bis 9. Juni 2000 auf dem Betrag von Fr. 124'814.50 einen Verzugszins von 5 % zu bezahlen.
B. F._ liess hiegegen Beschwerde führen. Der kantonale Prozess wurde im Einverständnis mit den Parteien sistiert. Nachdem das Eidgenössische Versicherungsgericht mit Urteil vom 27. Dezember 2002 (I 273/02) entschieden hatte, dass F._ zu viel bezogene Betriebszulagen im Betrag von Fr. 48'775.80 zurückzuerstatten habe, hob das Versicherungsgericht des Kantons Solothurn die Sistierung auf und hiess die Beschwerde mit Entscheid vom 6. Juni 2003 insofern gut, als es die IV-Stelle verpflichtete, für den Zeitraum vom 1. Januar 1999 bis 9. Juni 2000 auf dem Betrag von Fr. 124'814.50 einen Verzugszins von 5 % zu bezahlen.
C. Die IV-Stelle führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben. Das kantonale Gericht schliesst in seiner Stellungnahme auf eine teilweise Gutheissung der Verwaltungsgerichtsbeschwerde, da derjenige Teil, welchen F._ zurückzuerstatten habe, nicht der Verzugszinspflicht unterliegen könne. F._ lässt die Abweisung der Verwaltungsgerichtsbeschwerde beantragen. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Bereich der Invalidenversicherung geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben, und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung (hier: 4. September 2000) eingetretenen Sachverhalt abstellt, sind die bis zum 31. Dezember 2002 geltenden Bestimmungen massgebend (<ref-ruling> Erw. 1.2 mit Hinweisen).
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Bereich der Invalidenversicherung geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben, und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung (hier: 4. September 2000) eingetretenen Sachverhalt abstellt, sind die bis zum 31. Dezember 2002 geltenden Bestimmungen massgebend (<ref-ruling> Erw. 1.2 mit Hinweisen).
2. 2.1 Nach den in Erw. 1 dargelegten Gründen hat auch die auf den 1. Januar 2004 in Kraft getretene Revision des IVG keinen Einfluss auf die Beurteilung des vorliegenden Falles.
2.2 Die Vorinstanz hat die von der Rechtsprechung entwickelten Grundsätze über die Voraussetzungen der ausnahmsweise geltenden Pflicht zur Bezahlung von Verzugszinsen (<ref-ruling> Erw. 3, 119 V 81 Erw. 3a, 117 V 351, 108 V 13; RKUV 2000 Nr. U 360 S. 32, 1999 Nr. KV 88 S. 441 Erw. 2a, je mit Hinweisen) zutreffend dargelegt. Darauf wird verwiesen.
2.2 Die Vorinstanz hat die von der Rechtsprechung entwickelten Grundsätze über die Voraussetzungen der ausnahmsweise geltenden Pflicht zur Bezahlung von Verzugszinsen (<ref-ruling> Erw. 3, 119 V 81 Erw. 3a, 117 V 351, 108 V 13; RKUV 2000 Nr. U 360 S. 32, 1999 Nr. KV 88 S. 441 Erw. 2a, je mit Hinweisen) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Mit Verfügung vom 25. Oktober 1995 setzte die IV-Stelle das Taggeld des Versicherten auf Grund eines durchschnittlichen Einkommens von Fr. 67.50 fest. Die hiegegen erhobene Beschwerde hiess die Vorinstanz mit Entscheid vom 19. Februar 1997 gut und wies die Sache an die IV-Stelle zurück, damit diese das Einkommen, welches der Versicherte ohne gesundheitliche Beeinträchtigung unmittelbar vor der Eingliederung erzielt hätte, abkläre. Die IV-Stelle legte das Taggeld wiederum gestützt auf ein durchschnittliches Einkommen von Fr. 67.50 fest und sprach dem Versicherten zusätzlich eine Betriebszulage zu (Verfügung vom 23. September 1997). Der Versicherte erhob erneut Beschwerde, welche das kantonale Gericht am 8. September 1998 guthiess und festhielt, dass sich die IV-Stelle entgegen den Anweisungen im Entscheid vom 19. Februar 1997 bei der Taggeldberechnung wiederum auf dieselben Zahlen zur Einkommensermittlung abstützte. In der Folge holte die IV-Stelle das von der Vorinstanz angeordnete Gutachten ein und nahm gestützt darauf am 9. Juni 2000 die Schlusszahlung für die Taggelder von 4. Juli 1995 bis 30. September 1998 über den Betrag von Fr. 124'814.50 vor. Mit Urteil vom 27. Dezember 2002 (I 273/02) verpflichtete das Eidgenössische Versicherungsgericht den Versicherten, der IV-Stelle Fr. 48'775.80 für zu Unrecht bezogene Betriebszulagen in der Zeit von 1. Januar 1997 bis 6. Juli 1999 zurückzuerstatten.
3.2 Mit der Vorinstanz ist festzuhalten, dass eine Zahlungsverzögerung infolge eines Rechtsmittelverfahrens an sich keine Pflicht zur Leistung von Verzugszinsen auszulösen vermag. Dem kantonalen Gericht ist auch darin zuzustimmen, dass das Verhalten der IV-Stelle im Nachgang zum Entscheid vom 19. Februar 1997 als "besondere Umstände" im Sinne der Rechtsprechung zur Frage von Verzugszinsen zu betrachten ist: Indem sich die IV-Stelle bei der Verfügung vom 23. September 1997 bezüglich der Ermittlung des durchschnittlichen Einkommens auf dieselben Zahlen wie in der Verfügung vom 25. Oktober 1995 stützte, welche vom kantonalen Gericht ausdrücklich beanstandet wurden und die Sache gerade zur erneuten Abklärung des durchschnittlichen Einkommens an die Verwaltung zurückgewiesen wurde, unterliess die IV-Stelle wiederum die Anwendung von <ref-law> und setzte sich über die klaren Anweisungen der Vorinstanz hinweg; damit war jedoch der Anlass für ein zweites Beschwerdeverfahren und eine ungerechtfertigte weitere Verzögerung der Auszahlung gegeben. Nach dem Gesagten hat die Vorinstanz die Pflicht der Verwaltung zur Zahlung von Verzugszinsen zu Recht bejaht.
3.2 Mit der Vorinstanz ist festzuhalten, dass eine Zahlungsverzögerung infolge eines Rechtsmittelverfahrens an sich keine Pflicht zur Leistung von Verzugszinsen auszulösen vermag. Dem kantonalen Gericht ist auch darin zuzustimmen, dass das Verhalten der IV-Stelle im Nachgang zum Entscheid vom 19. Februar 1997 als "besondere Umstände" im Sinne der Rechtsprechung zur Frage von Verzugszinsen zu betrachten ist: Indem sich die IV-Stelle bei der Verfügung vom 23. September 1997 bezüglich der Ermittlung des durchschnittlichen Einkommens auf dieselben Zahlen wie in der Verfügung vom 25. Oktober 1995 stützte, welche vom kantonalen Gericht ausdrücklich beanstandet wurden und die Sache gerade zur erneuten Abklärung des durchschnittlichen Einkommens an die Verwaltung zurückgewiesen wurde, unterliess die IV-Stelle wiederum die Anwendung von <ref-law> und setzte sich über die klaren Anweisungen der Vorinstanz hinweg; damit war jedoch der Anlass für ein zweites Beschwerdeverfahren und eine ungerechtfertigte weitere Verzögerung der Auszahlung gegeben. Nach dem Gesagten hat die Vorinstanz die Pflicht der Verwaltung zur Zahlung von Verzugszinsen zu Recht bejaht.
4. Den Ausführungen des kantonalen Gerichts bezüglich der Höhe des Zinssatzes (<ref-ruling>, 101 V 120 Erw. 4; ARV 1991 S. 97 Erw. 4) sowie der Dauer des geschuldeten Zinses hat das Eidgenössische Versicherungsgericht nichts beizufügen. Indessen hat die Vorinstanz bei ihrem Entscheid das Urteil des Eidgenössischen Versicherungsgerichts vom 27. Dezember 2002, I 273/02, nicht in Betracht gezogen. Nachdem der Versicherte einen beachtlichen Teil der Zahlung vom 9. Juni 2000 infolge unrechtmässigem Bezug einer Betriebszulage zurückzuerstatten hat, geht es nicht an, dass die IV-Stelle auch auf diesem Betrag einen Verzugszins zu leisten hat. Dementsprechend ist der zu verzinsende Betrag um Fr. 33'923.75 (638 Betriebszulagen à Fr. 56.- für die Zeit von 1. Januar 1997 bis 30. September 1998 abzüglich 5.05 % AHV-Beiträge) zu reduzieren. Die IV-Stelle schuldet somit dem Versicherten für die Zeit vom 1. Januar 1999 bis 9. Juni 2000 auf dem Betrag von Fr. 90'890.75 (Fr. 124'814.50 - Fr. 33'923.75) einen Verzugszins von 5 %.
4. Den Ausführungen des kantonalen Gerichts bezüglich der Höhe des Zinssatzes (<ref-ruling>, 101 V 120 Erw. 4; ARV 1991 S. 97 Erw. 4) sowie der Dauer des geschuldeten Zinses hat das Eidgenössische Versicherungsgericht nichts beizufügen. Indessen hat die Vorinstanz bei ihrem Entscheid das Urteil des Eidgenössischen Versicherungsgerichts vom 27. Dezember 2002, I 273/02, nicht in Betracht gezogen. Nachdem der Versicherte einen beachtlichen Teil der Zahlung vom 9. Juni 2000 infolge unrechtmässigem Bezug einer Betriebszulage zurückzuerstatten hat, geht es nicht an, dass die IV-Stelle auch auf diesem Betrag einen Verzugszins zu leisten hat. Dementsprechend ist der zu verzinsende Betrag um Fr. 33'923.75 (638 Betriebszulagen à Fr. 56.- für die Zeit von 1. Januar 1997 bis 30. September 1998 abzüglich 5.05 % AHV-Beiträge) zu reduzieren. Die IV-Stelle schuldet somit dem Versicherten für die Zeit vom 1. Januar 1999 bis 9. Juni 2000 auf dem Betrag von Fr. 90'890.75 (Fr. 124'814.50 - Fr. 33'923.75) einen Verzugszins von 5 %.
5. 5.1 Sind Verzugszinsen wegen verspäteter Auszahlung von Versicherungsleistungen streitig, so handelt es sich um ein Verfahren über die Bewilligung oder Verweigerung von Versicherungsleistungen gemäss Art. 132 und 134 OG (<ref-ruling> Erw. 1, 101 V 117 Erw. 2; nicht publizierte Erw. 2 von ZAK 1990 S. 41; Urteil H. vom 21. März 2003, C 122/01), weshalb das Verfahren kostenlos ist.
5.2 Bei diesem Ausgang des Verfahrens hat die IV-Stelle dem Versicherten eine reduzierte Parteientschädigung zu bezahlen (Art. 159 Abs. 2 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 6. Juni 2003 insoweit abgeändert, als die IV-Stelle des Kantons Solothurn dem Versicherten einen Verzugszins von 5 % für den Zeitraum vom 1. Januar 1999 bis 9. Juni 2000 auf dem Betrag von Fr. 90'891.50 schuldet.
1. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 6. Juni 2003 insoweit abgeändert, als die IV-Stelle des Kantons Solothurn dem Versicherten einen Verzugszins von 5 % für den Zeitraum vom 1. Januar 1999 bis 9. Juni 2000 auf dem Betrag von Fr. 90'891.50 schuldet.
2. Es werden für diesen Entscheid keine Kosten erhoben.
2. Es werden für diesen Entscheid keine Kosten erhoben.
3. Die IV-Stelle des Kantons Solothurn hat dem Beschwerdegegner eine Parteientschädigung von Fr. 300.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle des Kantons Solothurn hat dem Beschwerdegegner eine Parteientschädigung von Fr. 300.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 16. März 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Die Gerichtsschreiberin: