Sachverhalt:
Sachverhalt:
A. Der 1966 geborene U._, von Beruf Bauspengler, meldete sich am 6. August 1997 unter Hinweis auf eine Diskushernie bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf Abklärungen in medizinischer und erwerblicher Hinsicht gelangte die IV-Stelle des Kantons Aargau zum Schluss, dass der Versicherte vom 1. Januar bis 30. Juni 1998 Anspruch auf eine halbe und ab 1. Juli bis 30. September 1998 auf eine Viertelsrente der Invalidenversicherung habe, was sie ihm mit Vorbescheid vom 29. Juni 2000 eröffnete. Am 26. Juli 2000 teilte die IV-Stelle ihren Beschluss der für die Rentenberechnung zuständigen Ausgleichskasse SPIDA mit. Am 6/7. September 2000 erliess die IV-Stelle zwei Verfügungen. Mit derjenigen vom 7. September 2000 sprach sie U._ für die Zeit vom 1. Januar bis 30. Juni 1998 eine halbe Invalidenrente zu, mit derjenigen vom 6. September 2000 eine unbefristete Viertelsrente ab 1. Juli 1998. Die Nachzahlung der Rentenbetreffnisse für Januar 1998 bis August 2000 wurde mit Forderungen der Arbeitgeberfirma und der «Zürich» Versicherungs-Gesellschaft verrechnet. Im Beiblatt zu den Verfügungen wurde festgehalten, dass die Invalidenrente ab 1. Oktober 1998 entfalle.
Nachdem sich U._ am 8. August 2003 telefonisch nach dem Grund für die Ausrichtung einer Invalidenrente erkundigt hatte, bemerkte die IV-Stelle nach Rückfrage bei der Ausgleichskasse, dass die Rentenzahlungen versehentlich nicht befristet worden waren. Mit Verfügung vom 14. August 2003 verpflichtete die IV-Stelle den Versicherten, die von Oktober 1998 bis August 2003 zu Unrecht bezogenen Invalidenrentenbetreffnisse im Gesamtbetrag von Fr. 29'914.- zurückzuerstatten. Gleichzeitig verneinte sie die Möglichkeit des Erlasses der Rückerstattung, weil in Folge Meldepflichtverletzung der gute Glaube entfalle. Auf Einsprache von U._ hin hielt die IV-Stelle an ihrem Standpunkt fest (Entscheid vom 16. Dezember 2003).
Nachdem sich U._ am 8. August 2003 telefonisch nach dem Grund für die Ausrichtung einer Invalidenrente erkundigt hatte, bemerkte die IV-Stelle nach Rückfrage bei der Ausgleichskasse, dass die Rentenzahlungen versehentlich nicht befristet worden waren. Mit Verfügung vom 14. August 2003 verpflichtete die IV-Stelle den Versicherten, die von Oktober 1998 bis August 2003 zu Unrecht bezogenen Invalidenrentenbetreffnisse im Gesamtbetrag von Fr. 29'914.- zurückzuerstatten. Gleichzeitig verneinte sie die Möglichkeit des Erlasses der Rückerstattung, weil in Folge Meldepflichtverletzung der gute Glaube entfalle. Auf Einsprache von U._ hin hielt die IV-Stelle an ihrem Standpunkt fest (Entscheid vom 16. Dezember 2003).
B. Die hiegegen eingereichte Beschwerde, mit welcher U._ die Aufhebung des Einspracheentscheides mit der Feststellung, dass die Rückforderung verwirkt sei, hatte beantragen lassen, wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 20. April 2004 ab.
B. Die hiegegen eingereichte Beschwerde, mit welcher U._ die Aufhebung des Einspracheentscheides mit der Feststellung, dass die Rückforderung verwirkt sei, hatte beantragen lassen, wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 20. April 2004 ab.
C. U._ lässt Verwaltungsgerichtsbeschwerde führen mit den Rechtsbegehren, der vorinstanzliche Entscheid sowie der Einspracheentscheid seien aufzuheben und es sei festzustellen, dass kein Rückforderungsanspruch mehr bestehe.
Die IV-Stelle und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Die Vorinstanz hat mit Bezug auf die am 14. August 2003 verfügte, mit Einspracheentscheid vom 16. Dezember 2003 bestätigte Rückforderung der dem Beschwerdeführer im Zeitraum von Oktober 1998 bis August 2003 ausgerichteten Invalidenrenten Art. 25 des auf den 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) angewendet. Ob die Anwendung des neuen Rechts mit Blick auf die Übergangsregelung des Art. 82 Abs. 1 Satz 1 ATSG einer näheren Überprüfung stand hält, oder ob die Rückerstattungsordnung von Art. 47 AHVG in Verbindung mit Art. 49 IVG (in der bis 31. Dezember 2002 gültig gewesenen Fassung) zum Zuge kommt, braucht im vorliegenden Fall nicht abschliessend beurteilt zu werden. Denn der Frage, ob im Zusammenhang mit der Rückerstattung von zu Unrecht bezogenen Leistungen Art. 25 ATSG (oder altes Recht) anzuwenden ist, wenn der Einspracheentscheid nach dem In-Kraft-Treten des ATSG (am 1. Januar 2003) ergangen ist, die Rückerstattung aber vor dem 1. Januar 2003 gewährte Leistungen betrifft, kommt keine auschlaggebende Bedeutung zu, da die nach dem ATSG für die Rückerstattung massgeblichen Grundsätze aus der früheren Regelung und Rechtsprechung hervorgegangen sind (BGE 130 V 319 Erw. 5.1 und 5.2).
1. Die Vorinstanz hat mit Bezug auf die am 14. August 2003 verfügte, mit Einspracheentscheid vom 16. Dezember 2003 bestätigte Rückforderung der dem Beschwerdeführer im Zeitraum von Oktober 1998 bis August 2003 ausgerichteten Invalidenrenten Art. 25 des auf den 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) angewendet. Ob die Anwendung des neuen Rechts mit Blick auf die Übergangsregelung des Art. 82 Abs. 1 Satz 1 ATSG einer näheren Überprüfung stand hält, oder ob die Rückerstattungsordnung von Art. 47 AHVG in Verbindung mit Art. 49 IVG (in der bis 31. Dezember 2002 gültig gewesenen Fassung) zum Zuge kommt, braucht im vorliegenden Fall nicht abschliessend beurteilt zu werden. Denn der Frage, ob im Zusammenhang mit der Rückerstattung von zu Unrecht bezogenen Leistungen Art. 25 ATSG (oder altes Recht) anzuwenden ist, wenn der Einspracheentscheid nach dem In-Kraft-Treten des ATSG (am 1. Januar 2003) ergangen ist, die Rückerstattung aber vor dem 1. Januar 2003 gewährte Leistungen betrifft, kommt keine auschlaggebende Bedeutung zu, da die nach dem ATSG für die Rückerstattung massgeblichen Grundsätze aus der früheren Regelung und Rechtsprechung hervorgegangen sind (BGE 130 V 319 Erw. 5.1 und 5.2).
2. Das kantonale Gericht hat die ab 1. Januar 2003 geltenden Bestimmungen über die Rückerstattung unrechtmässig bezogener Leistungen und den Erlass der Rückerstattung (Art. 25 Abs.1 ATSG) sowie das Erlöschen des Rückforderungsanspruchs (Art. 25 Abs.2 ATSG) und die Ausführungsbestimmungen (Art. 3 und 4 ATSV) zutreffend wiedergeben. Richtig festgestellt hat die Vorinstanz ferner, dass die Rückforderung zu Unrecht ausgerichteter Leistungen nur unter den für die Wiedererwägung oder die prozessuale Revision geltenden Voraussetzungen zulässig ist (BGE 129 V 110 Erw. 1.1, 126 V 23 Erw. 4b, 122 V 21 Erw. 3a, 368 Erw. 3). Darauf kann verwiesen werden.
Art. 47 AHVG (in der bis Ende 2002 gültig gewesen Fassung) lautete wie folgt: Unrechtmässig bezogene Renten und Hilflosenentschädigungen sind zurückzuerstatten. Bei gutem Glauben und gleichzeitigem Vorliegen einer grossen Härte kann von der Rückforderung abgesehen werden (Abs.1). Der Rückforderungsanspruch verjährt mit dem Ablauf eines Jahres, nachdem die Ausgleichskasse davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von fünf Jahren seit der einzelnen Rentenzahlung (Abs. 2 Satz 1). Gemäss Art. 49 IVG (in der bis 31. Dezember 2002 gültig gewesenen Fassung) fand Art. 47 AHVG im Bereich der Invalidenversicherung sinngemäss Anwendung.
Bei den Fristen des Art. 47 Abs. 2 Satz 1 AHVG handelt es sich um Verwirkungsfristen (BGE 124 V 382 Erw. 1, 119 V 433 Erw. 3a).
Bei den Fristen des Art. 47 Abs. 2 Satz 1 AHVG handelt es sich um Verwirkungsfristen (BGE 124 V 382 Erw. 1, 119 V 433 Erw. 3a).
3. Im vorliegenden Fall war die Ausrichtung der Invalidenrente insoweit zweifellos unrichtig, als trotz Befristung bis 30. September 1998 im Vorbescheid, in der Mitteilung des Beschlusses an die Ausgleichskasse und im Begründungsblatt zu den Rentenverfügungen mit Verfügung vom 6. September 2000 eine unbefristete Viertelsrente zugesprochen und die Nachzahlung der Betreffnisse für Juli 1998 bis August 2000 angeordnet wurde. Da der in Frage stehende Betrag zudem von erheblicher Bedeutung ist, sind die Voraussetzungen für die Wiedererwägung der ursprünglichen Verfügung erfüllt.
Beizupflichten ist der Auffassung der Vorinstanz auch insoweit, als sie den guten Glauben des Beschwerdeführers als Voraussetzung für den Erlass der Rückerstattung verneint hat. Es kann auf die einlässlichen Erwägungen im angefochtenen Entscheid verwiesen werden, welchen nichts beizufügen ist.
Beizupflichten ist der Auffassung der Vorinstanz auch insoweit, als sie den guten Glauben des Beschwerdeführers als Voraussetzung für den Erlass der Rückerstattung verneint hat. Es kann auf die einlässlichen Erwägungen im angefochtenen Entscheid verwiesen werden, welchen nichts beizufügen ist.
4. Zu prüfen bleibt, ob die Rückforderung bei Erlass der Verfügung vom 14. August 2003 verwirkt war, wie in der Verwaltungsgerichtsbeschwerde geltend gemacht wird.
4.1 Der Rückforderungsanspruch erlischt/verjährt mit dem Ablauf eines Jahres, nachdem die Versicherungseinrichtung/die Ausgleichskasse davon Kenntnis erhalten hat, spätestens aber mit dem Ablauf von 5 Jahren nach der Entrichtung der einzelnen Leistung/seit der einzelnen Rentenzahlung (Art. 25 Abs. 2 Satz 1 ATSG; Art. 47 Abs. 2 Satz 1 AHVG). Nach der zu Art. 47 Abs. 2 Satz 1 AHVG und dem gleich lautenden Art. 95 Abs. 4 Satz 1 AVIG (in der bis Ende 2002 gültig gewesenen Fassung) ergangenen Rechtsprechung, die auch bei der Anwendung von Art. 25 Abs. 2 Satz 1 ATSG massgebend bleibt, ist unter dem Ausdruck «nachdem die Versicherungseinrichtung davon Kenntnis erhalten hat», der Zeitpunkt zu verstehen, in welchem die Verwaltung bei Beachtung der ihr zumutbaren Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen (BGE 122 V 274 f. Erw. 5a, 119 V 433 Erw. 3a, 112 V 181 Erw. 4a). Art. 25 Abs. 2 Satz 1 ATSG wie auch Art. 47 Abs. 2 Satz 1 AHVG unterwerfen den Rückforderungsanspruch somit einer doppelten Verwirkungsdrohung: Einerseits ist die Rückforderung zeitlich daran gebunden, dass die Verwaltung innert Jahresfrist seit zumutbarer Kenntnis des rückfordungsbegründenden Sachverhalts verfügt. Erlässt die Verwaltung innert dieser einjährigen relativen Verwirkungsfrist die Rückerstattungsverfügung, kann sie gegebenenfalls die Erstattung bis auf die in den letzten fünf Jahren ausgerichteten Leistungen ausdehnen, indem die Rückforderung andererseits absolut verwirkt ist, soweit die Leistungsauszahlung mehr als fünf Jahre zurückliegt (BGE 122 V 275 Erw. 5a).
Ist für die Leistungsfestsetzung das Zusammenwirken mehrerer Behörden notwendig, genügt es, dass die nach der Rechtsprechung erforderliche Kenntnis bei einer der zuständigen Verwaltungsstellen vorhanden ist (BGE 119 V 433 Erw. 3a mit Hinweisen).
Mit Bezug auf den Beginn der einjährigen Verwirkungsfrist ist nicht das erstmalige unrichtige Handeln der Amtsstelle massgebend. Vielmehr ist auf jenen Tag abzustellen, an dem sich die Verwaltung später - beispielsweise anlässlich einer Rechnungskontrolle - unter Anwendung der ihr zumutbaren Aufmerksamkeit über ihren Fehler hätte Rechenschaft geben müssen (BGE 124 V 382 f. Erw. 1, 122 V 275 Erw. 5b aa, 110 V 304).
Mit Bezug auf den Beginn der einjährigen Verwirkungsfrist ist nicht das erstmalige unrichtige Handeln der Amtsstelle massgebend. Vielmehr ist auf jenen Tag abzustellen, an dem sich die Verwaltung später - beispielsweise anlässlich einer Rechnungskontrolle - unter Anwendung der ihr zumutbaren Aufmerksamkeit über ihren Fehler hätte Rechenschaft geben müssen (BGE 124 V 382 f. Erw. 1, 122 V 275 Erw. 5b aa, 110 V 304).
4.2 4.2.1 Die Vorinstanz gelangte zur Auffassung, dass der Fristenlauf erst durch das Telefonat des Beschwerdeführers mit der IV-Stelle am 8. August 2003 ausgelöst worden sei, als er anfragte, weshalb er eine Rente erhalte. Mit der Rückforderungsverfügung vom 14. August 2003 sei die einjährige Verwirkungsfrist somit gewahrt worden.
4.2.2 Der Beschwerdeführer macht unter Beilage von Rechnungen von Tele 2, Telecommunication Services AG, vom 10. September 2001, 8. Februar 2002 und 10. April 2003 samt dazugehörigen Gesprächsübersichten geltend, er habe am 13. und 17. August 2001 mit Frau C._ von der Ausgleichskasse SPIDA telefoniert. Diese Anrufe, mit denen er sich über seine Rente erkundigt habe, seien zwei Jahre vor Erlass der Rückforderungsverfügung erfolgt. Ein weiteres Telefonat habe am 25. Januar 2002 stattgefunden. Alle diese Anrufe seien bei der Ausgleichskasse nicht dokumentiert, was als Indiz dafür zu werten sei, dass die zuständige Sachbearbeiterin ihre Sorgfaltspflicht verletzt habe.
Aufgrund der Beweislage dränge es sich auf, Frau C._ von der Ausgleichskasse als Zeugin zu befragen. Denn es sei davon auszugehen, dass die Telefongespräche die Invalidenrente betrafen. Diesfalls wäre die Rückforderung bei Erlass der Verfügung vom 14. August 2003 verwirkt gewesen.
4.2.3 Gemäss den letztinstanzlich aufgelegten Rechnungen von Tele 2 samt Gesprächsübersichten steht fest, dass am 13. und 17. August 2001 sowie am 25. Januar 2002 vom Anschluss des Beschwerdeführers aus Telefongespräche mit der Ausgleichskasse SPIDA geführt wurden. Da der Inhalt der Telefonate nicht erstellt ist und bei der Ausgleichskasse keine Aufzeichnungen über diese Gespräche vorhanden sind, es jedoch plausibel erscheint, dass der Versicherte die zuständige Sachbearbeiterin auf die irrtümlich ausgerichteten Rentenbetreffnisse hingewiesen hat, drängen sich zusätzliche Beweismassnahmen auf. Dazu wird die Sache an das kantonale Gericht zurückgewiesen. Dieses wird insbesondere die zuständige Sachbearbeiterin der Ausgleichskasse, Frau C._, als Zeugin einvernehmen und allenfalls auch die Ehefrau des Beschwerdeführers befragen. Gestützt auf die Aktenergänzung wird die Vorinstanz über die Beschwerde neu befinden. Sollte sich ergeben, dass der Versicherte an einem der erwähnten Daten mit Anfragen zu der ihm ausbezahlten Invalienrente an die Ausgleichskasse gelangte, wäre die am 14. August 2003 verfügte Rückforderung verwirkt, da die Ausgleichskasse, deren Wissen sich die IV-Stelle anrechnen lassen muss, entweder bereits im August 2001 oder im Januar 2002 und somit weit über ein Jahr vor Erlass der Rückforderungsverfügung bei zumutbarer Aufmerksamkeit hätte erkennen müssen, dass die Voraussetzungen für eine Rückerstattung bestehen.
Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der angefochtene Entscheid vom 20. April 2004 aufgehoben und die Sache an das Versicherungsgericht des Kantons Aargau zurückgewiesen wird, damit es, nach erfolgter Aktenergänzung im Sinne der Erwägungen, über die Beschwerde neu entscheide.
1. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne gutgeheissen, dass der angefochtene Entscheid vom 20. April 2004 aufgehoben und die Sache an das Versicherungsgericht des Kantons Aargau zurückgewiesen wird, damit es, nach erfolgter Aktenergänzung im Sinne der Erwägungen, über die Beschwerde neu entscheide.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Die IV-Stelle des Kantons Aargau hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
3. Die IV-Stelle des Kantons Aargau hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau, der Ausgleichskasse SPIDA und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 23. September 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: