Sachverhalt:
Sachverhalt:
A. Mit Urteil vom 27. Dezember 2002 reduzierte das Eidgenössische Versicherungsgericht die von der IV-Stelle des Kantons Solothurn gegenüber F._ mit Verfügung vom 20. Dezember 2000 geltend gemachte Rückforderung von Fr. 68'236.75 infolge zu Unrecht ausbezahlter Betriebszulagen zwischen 1. Januar 1996 und 6. Juli 1999 auf Fr. 48'775.80 (I 273/02). Am 16. März 2004 stellte das Eidgenössische Versicherungsgericht fest, dass die IV-Stelle F._ für die Zeit von 1. Januar 1999 bis 9. Juni 2000 einen Verzugszins von 5 % auf dem Betrag von Fr. 90'891.50 für verspätet ausbezahlte Taggelder schulde (I 510/03). Die IV-Stelle verrechnete mit Verfügung vom 30. April 2004, bestätigt mit Einspracheentscheid vom 23. Juni 2004, die geschuldeten Verzugszinsen von Fr. 6'551.70 mit der noch ausstehenden Rückerstattungsforderung von Fr. 48'775.80, sodass F._ noch Fr. 42'224.10 schulde.
A. Mit Urteil vom 27. Dezember 2002 reduzierte das Eidgenössische Versicherungsgericht die von der IV-Stelle des Kantons Solothurn gegenüber F._ mit Verfügung vom 20. Dezember 2000 geltend gemachte Rückforderung von Fr. 68'236.75 infolge zu Unrecht ausbezahlter Betriebszulagen zwischen 1. Januar 1996 und 6. Juli 1999 auf Fr. 48'775.80 (I 273/02). Am 16. März 2004 stellte das Eidgenössische Versicherungsgericht fest, dass die IV-Stelle F._ für die Zeit von 1. Januar 1999 bis 9. Juni 2000 einen Verzugszins von 5 % auf dem Betrag von Fr. 90'891.50 für verspätet ausbezahlte Taggelder schulde (I 510/03). Die IV-Stelle verrechnete mit Verfügung vom 30. April 2004, bestätigt mit Einspracheentscheid vom 23. Juni 2004, die geschuldeten Verzugszinsen von Fr. 6'551.70 mit der noch ausstehenden Rückerstattungsforderung von Fr. 48'775.80, sodass F._ noch Fr. 42'224.10 schulde.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 8. September 2005 ab.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 8. September 2005 ab.
C. F._ führt Verwaltungsgerichtsbeschwerde und beantragt, unter Aufhebung des kantonalen Entscheids sei festzustellen, dass die Rückerstattung verwirkt sei und die IV-Stelle ihm den Verzugszins von Fr. 6551.70 zu bezahlen habe. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000 (ATSG) in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Bereich der AHV und der IV geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben, und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung eingetretenen Sachverhalt abstellt, sind hier bezüglich allfälliger Verwirkung der Rückerstattungsforderung vor dem 31. Dezember 2002 die bisherigen Bestimmungen, bezüglich allfälliger Verwirkung nach dem Inkrafttreten des ATSG sowie bezüglich der Zulässigkeit der Verrechnung die ab 1. Januar 2003 geltenden Normen anwendbar (<ref-ruling> Erw. 1.2 mit Hinweisen).
1. Am 1. Januar 2003 ist das Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000 (ATSG) in Kraft getreten. Mit ihm sind zahlreiche Bestimmungen im Bereich der AHV und der IV geändert worden. Weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben, und weil ferner das Sozialversicherungsgericht bei der Beurteilung eines Falles grundsätzlich auf den bis zum Zeitpunkt des Erlasses der streitigen Verfügung eingetretenen Sachverhalt abstellt, sind hier bezüglich allfälliger Verwirkung der Rückerstattungsforderung vor dem 31. Dezember 2002 die bisherigen Bestimmungen, bezüglich allfälliger Verwirkung nach dem Inkrafttreten des ATSG sowie bezüglich der Zulässigkeit der Verrechnung die ab 1. Januar 2003 geltenden Normen anwendbar (<ref-ruling> Erw. 1.2 mit Hinweisen).
2. 2.1 Der Beschwerdeführer macht primär geltend, die Rückforderung sei verwirkt.
2.2 Gemäss <ref-law> in Verbindung mit <ref-law> (je in der bis 31. Dezember 2002 geltenden Fassung) sind unrechtmässig bezogene Leistungen zurückzuerstatten; nach Abs. 2 hat die IV-Stelle innert Jahresfrist seit Kenntnis des Rückforderungstatbestands (relative Frist), spätestens aber nach Ablauf von fünf Jahren seit der einzelnen Zahlung (absolute Frist), den Rückerstattungsanspruch mittels Verfügung geltend zu machen. Diese Fristen können, da es sich nicht um Verjährungs- sondern um Verwirkungsfristen handelt, weder unterbrochen, gehemmt noch wiederhergestellt werden (<ref-ruling> Erw. 3a mit Hinweisen). Mit der rechtzeitigen Verfügung der Rückerstattung ist die Frist der Festsetzungsverwirkung ein für allemal gewahrt (SVR 1997 AlV Nr. 84 S. 256 Erw. 2c/aa mit Hinweisen).
Mit Verfügung vom 20. Dezember 2000 hat die IV-Stelle die Frist der Festsetzungsverwirkung gemäss <ref-law> in Verbindung mit <ref-law> (je in der bis 31. Dezember 2002 geltenden Fassung) gewahrt.
2.3 Davon zu unterscheiden ist die Verwirkung der Vollstreckung. Gemäss der Rechtsprechung zu dem bis 31. Dezember 2002 gültig gewesenen Recht gilt die Verwirkungsfrist von <ref-law> für die Vollstreckung von Rückerstattungsforderungen analog (<ref-ruling> Erw. 2b; vgl. auch ARV 2005 S. 142, je mit Hinweisen). Zu prüfen ist demnach, wie es sich mit der Vollstreckungsverwirkung unter der Herrschaft des ab 1. Januar 2003 in Kraft stehenden Rechts verhält. <ref-law> (Erlöschen des Anspruchs) regelt lediglich die Verwirkungsfrist bezüglich der Festsetzung von Leistungen und Beiträgen (<ref-ruling> Erw. 3.3; vgl. auch Kieser, ATSG-Kommentar, Zürich 2003, Rz 3 f. zu Art. 24). Abs. 2 von <ref-law> (Rückerstattung) ist dem bisherigen <ref-law> nachgebildet (Kieser, a.a.O., Rz 26 zu Art. 25) und enthält wie dieser keine Aussagen zur Vollstreckung einer rechtskräftig festgesetzten Rückforderung. Ebenso lässt sich <ref-law> (Vollstreckung) nichts zur Frage der Vollstreckungsverwirkung entnehmen. Schliesslich findet sich im massgebenden Einzelgesetz (IVG) wie auch im subsidiär anwendbaren VwVG (<ref-law>) keine entsprechende Regelung. Nach dem Gesagten ist es angebracht, die bisherige Rechtsprechung, wonach für die Vollstreckungsverwirkung von rechtskräftig festgesetzten Rückforderungen analog <ref-law> zur Anwendung gelangt (<ref-ruling> Erw. 2b mit Hinweisen), unter der Herrschaft des ATSG weiterzuführen. Dies steht in Einklang mit der Grundhaltung des Gesetzgebers, durch die Einführung des ATSG das bisherige Recht nicht zu verändern (vgl. BBl 1999 4575). Die Frist der Vollstreckungsverwirkung beträgt somit fünf Jahre nach Ablauf des Kalenderjahres, in welchem die Rückerstattung rechtskräftig festgesetzt wurde (<ref-law>).
Die Rückerstattungsverfügung wurde mit Urteil des Eidgenössischen Versicherungsgerichts vom 27. Dezember 2002 (I 273/02) rechtskräftig. Da die fünfjährige Frist somit am 1. Januar 2003 zu laufen begann, ist die Rückerstattung auch bezüglich der Vollstreckung nicht verwirkt.
Die Rückerstattungsverfügung wurde mit Urteil des Eidgenössischen Versicherungsgerichts vom 27. Dezember 2002 (I 273/02) rechtskräftig. Da die fünfjährige Frist somit am 1. Januar 2003 zu laufen begann, ist die Rückerstattung auch bezüglich der Vollstreckung nicht verwirkt.
3. 3.1 Im weiteren macht der Versicherte geltend, gemäss Dispositiv des Urteils vom 27. Dezember 2002 schulde er die Rückerstattung der Ausgleichskasse des Kantons Solothurn und nicht der IV-Stelle, weshalb letztere nicht berechtigt sei, eine Verrechnung vorzunehmen.
3.2 Dieser Einwand ist unzutreffend. Mit Urteil vom 27. Dezember 2002 (I 273/02) wurde die Rückerstattungsverfügung der IV-Stelle teilweise aufgehoben und der geschuldete Betrag reduziert; im Übrigen hat die Verfügung aber noch Bestand, sodass nach wie vor die IV-Stelle Berechtigte der Rückerstattungsforderung ist. Die Anweisung, den geschuldeten Betrag an die Ausgleichskasse zu bezahlen, ergibt sich aus der vom Gesetzgeber vorgesehenen Aufgabenteilung zwischen IV-Stelle und Ausgleichskasse. Gemäss <ref-law> (vgl. auch <ref-law>) werden Renten, Taggelder und Hilflosenentschädigungen, welche von der Invalidenversicherung geschuldet werden, von den Ausgleichskassen ausgerichtet. Insofern ist es nur folgerichtig, wenn auch eine allfällige Rückerstattung von zu Unrecht bezogenen Leistungen über die Ausgleichskasse abgewickelt wird. Schuldnerin der Leistung der Invalidenversicherung bzw. Gläubigerin einer allfälligen Rückerstattung bleibt jedoch die zuständige IV-Stelle.
3.3 Nach dem Gesagten besteht der kantonale Entscheid zu Recht. Daran vermögen auch die übrigen Einwände des Beschwerdeführers nichts zu ändern. Insbesondere sind die Voraussetzungen der Verrechnung im Sinne von <ref-law> in Verbindung mit <ref-law> zu bejahen: Die Fälligkeit der beiden Forderungen ist unbestritten und die Rückerstattungsschuld ist mangels Verwirkung rechtlich durchsetzbar (Erw. 2). Da dem Beschwerdeführer als Schuldnerin bzw. Gläubigerin lediglich die IV-Stelle gegenüber steht (Erw. 3.2), ist auch die Gegenseitigkeit der zu verrechnenden Forderungen gegeben.
3.3 Nach dem Gesagten besteht der kantonale Entscheid zu Recht. Daran vermögen auch die übrigen Einwände des Beschwerdeführers nichts zu ändern. Insbesondere sind die Voraussetzungen der Verrechnung im Sinne von <ref-law> in Verbindung mit <ref-law> zu bejahen: Die Fälligkeit der beiden Forderungen ist unbestritten und die Rückerstattungsschuld ist mangels Verwirkung rechtlich durchsetzbar (Erw. 2). Da dem Beschwerdeführer als Schuldnerin bzw. Gläubigerin lediglich die IV-Stelle gegenüber steht (Erw. 3.2), ist auch die Gegenseitigkeit der zu verrechnenden Forderungen gegeben.
4. Bei der hier zu beurteilenden Streitigkeit handelt es sich um Versicherungsleistungen im Sinne von Art. 134 OG, weshalb keine Gerichtskosten erhoben werden.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn, der Ausgleichskasse des Kantons Solothurn und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 12. Mai 2006
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der I. Kammer: Die Gerichtsschreiberin: