Sachverhalt:
Sachverhalt:
A. Der 1948 geborene J._, gelernter Hochbauzeichner, war ab 1972 als Projektleiter und stellvertretender Geschäftsführer bei der X._ AG, tätig. Im Februar 1998 kündigte die Arbeitgeberin das Anstellungsverhältnis wegen ungenügender Beschäftigungslage auf Ende Mai 1998. J._ bezog in der Folge Arbeitslosenentschädigung. Nachdem er im August 1997 einen ersten und im Januar 1999 einen zweiten Herzinfarkt erlitten hatte, wurde ihm von ärztlicher Seite ab 1. November 1999 eine 70 %ige Arbeitsunfähigkeit im angestammten Beruf attestiert. Im Dezember 1999 meldete sich J._ unter Hinweis auf diesen Sachverhalt bei der Invalidenversicherung zum Leistungsbezug an. Am 16. März 2001 verfügte die IV-Stelle des Kantons Zürich bei einem Invaliditätsgrad von 70 % rückwirkend ab 1. November 2000 eine ganze Invaliden-rente. Im August 2002 leitete die Verwaltung ein Rentenrevisionsverfahren ein. Sie erfuhr vom Versicherten, dass er seit 1. November 2000 eine bis dahin nicht gemeldete Teilzeitarbeit bei der Y._ GmbH, ausübt. Gestützt auf diese Erkenntnis setzte die IV-Stelle den Anspruch des Versicherten bei einem neu ermittelten Invaliditätsgrad von 55 % rückwirkend ab 1. November 2000 auf eine halbe Rente herab und forderte in der Zeit bis 31. März 2003 zu viel ausgerichtete Rentenbetreffnisse im Gesamtbetrag von Fr. 50'819.- zurück (Verfügungen vom 11. März 2003). Daran hielt die Verwaltung auf Einsprache hin fest (Einspracheentscheid vom 3. September 2003).
A. Der 1948 geborene J._, gelernter Hochbauzeichner, war ab 1972 als Projektleiter und stellvertretender Geschäftsführer bei der X._ AG, tätig. Im Februar 1998 kündigte die Arbeitgeberin das Anstellungsverhältnis wegen ungenügender Beschäftigungslage auf Ende Mai 1998. J._ bezog in der Folge Arbeitslosenentschädigung. Nachdem er im August 1997 einen ersten und im Januar 1999 einen zweiten Herzinfarkt erlitten hatte, wurde ihm von ärztlicher Seite ab 1. November 1999 eine 70 %ige Arbeitsunfähigkeit im angestammten Beruf attestiert. Im Dezember 1999 meldete sich J._ unter Hinweis auf diesen Sachverhalt bei der Invalidenversicherung zum Leistungsbezug an. Am 16. März 2001 verfügte die IV-Stelle des Kantons Zürich bei einem Invaliditätsgrad von 70 % rückwirkend ab 1. November 2000 eine ganze Invaliden-rente. Im August 2002 leitete die Verwaltung ein Rentenrevisionsverfahren ein. Sie erfuhr vom Versicherten, dass er seit 1. November 2000 eine bis dahin nicht gemeldete Teilzeitarbeit bei der Y._ GmbH, ausübt. Gestützt auf diese Erkenntnis setzte die IV-Stelle den Anspruch des Versicherten bei einem neu ermittelten Invaliditätsgrad von 55 % rückwirkend ab 1. November 2000 auf eine halbe Rente herab und forderte in der Zeit bis 31. März 2003 zu viel ausgerichtete Rentenbetreffnisse im Gesamtbetrag von Fr. 50'819.- zurück (Verfügungen vom 11. März 2003). Daran hielt die Verwaltung auf Einsprache hin fest (Einspracheentscheid vom 3. September 2003).
B. Beschwerdeweise beantragte J._, ihm sei ab 1. Januar 2003 wieder eine ganze Rente zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde nach Einholung einer schriftlichen Auskunft der Y._ GmbH mit Entscheid vom 14. Dezember 2004 ab.
B. Beschwerdeweise beantragte J._, ihm sei ab 1. Januar 2003 wieder eine ganze Rente zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde nach Einholung einer schriftlichen Auskunft der Y._ GmbH mit Entscheid vom 14. Dezember 2004 ab.
C. Mit Verwaltungsgerichtsbeschwerde lässt J._ sein vorinstanzliches Rechtsbegehren erneuern.
Die IV-Stelle beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherung hat auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Nach der Rechtsprechung stellt das Sozialversicherungsgericht bei der Beurteilung einer Streitsache in der Regel auf den bis zum Zeitpunkt des Erlasses des streitigen Einspracheentscheids (hier: 3. September 2003) eingetretenen Sachverhalt ab (vgl. <ref-ruling> Erw. 1.2 mit Hinweis). Ferner sind in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend, die bei Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung hatten (<ref-ruling> Erw. 3.5, 333 Erw. 2.3, 425 Erw. 1.1, 447 Erw. 1.2.1, je mit Hinweisen).
Das kantonale Gericht hat die sich aus diesen allgemeinen intertemporalrechtlichen Regeln ergebenden Grundsätze hinsichtlich der zeitlichen Anwendbarkeit des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) auf allfällige vor dessen In-Kraft-Treten am 1. Januar 2003 entstandene Dauerleistungen (<ref-ruling>) und auf die Rückforderung von Leistungen (<ref-ruling>) zutreffend dargelegt. Richtig ist auch, dass die im Rahmen der 4. IV-Revision auf den 1. Januar 2004 in Kraft getretenen Rechtsänderungen nicht anwendbar sind.
Das kantonale Gericht hat die sich aus diesen allgemeinen intertemporalrechtlichen Regeln ergebenden Grundsätze hinsichtlich der zeitlichen Anwendbarkeit des Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) auf allfällige vor dessen In-Kraft-Treten am 1. Januar 2003 entstandene Dauerleistungen (<ref-ruling>) und auf die Rückforderung von Leistungen (<ref-ruling>) zutreffend dargelegt. Richtig ist auch, dass die im Rahmen der 4. IV-Revision auf den 1. Januar 2004 in Kraft getretenen Rechtsänderungen nicht anwendbar sind.
2. Beschwerdeweise und letztinstanzlich beantragt der Versicherte, der rückwirkend neu auf eine halbe Rente festgesetzte Leistungsanspruchs sei mit Wirkung ab 1. Januar 2003 auf eine ganze Rente zu erhöhen. Die Neufestsetzung der Rente für den vorhergehenden Zeitraum wird - wie auch die Rückforderung zu viel bezogener Leistungen - nicht in grundsätzlicher Weise beanstandet, ist aber, wie das kantonale Gericht zutreffend erwogen hat, in die Beurteilung mit einzubeziehen (<ref-ruling>).
2. Beschwerdeweise und letztinstanzlich beantragt der Versicherte, der rückwirkend neu auf eine halbe Rente festgesetzte Leistungsanspruchs sei mit Wirkung ab 1. Januar 2003 auf eine ganze Rente zu erhöhen. Die Neufestsetzung der Rente für den vorhergehenden Zeitraum wird - wie auch die Rückforderung zu viel bezogener Leistungen - nicht in grundsätzlicher Weise beanstandet, ist aber, wie das kantonale Gericht zutreffend erwogen hat, in die Beurteilung mit einzubeziehen (<ref-ruling>).
3. Die Bestimmungen über den Invaliditätsbegriff (<ref-law> in Verbindung mit <ref-law> in der seit Anfang 2003 geltenden Fassung), die Voraussetzungen und den Umfang des Anspruchs auf eine Rente der Invalidenversicherung (Art. 28 Abs. 1 [in der bis Ende 2003 gültig gewesenen Fassung] und Abs. 1bis IVG [in Kraft gewesen bis Ende 2003]), die Invaliditätsbemessung bei Erwerbstätigen mittels Einkommensvergleich (<ref-law>; bis Ende 2002: <ref-law>), die revisionsweise Erhöhung, Herabsetzung oder Aufhebung laufender Renten infolge einer für den Anspruch erheblichen Änderung des Invaliditätsgrades (<ref-law>; bis Ende 2002: <ref-law>) und den Zeitpunkt der rückwirkenden Herabsetzung oder Aufhebung einer wegen Verletzung der Meldepflicht unrichtig gewährten Rente (Art. 88bis Abs. 2 lit. b in Verbindung mit <ref-law>) sind im angefochtenen Entscheid richtig wiedergegeben. Dasselbe gilt für die von der Rechtsprechung vor In-Kraft-Treten des ATSG zu diesen Regelungstatbeständen erarbeiteten und unter der Herrschaft des neuen Rechts weiterhin anwendbaren (<ref-ruling>) Grundsätze. Darauf wird verwiesen.
3. Die Bestimmungen über den Invaliditätsbegriff (<ref-law> in Verbindung mit <ref-law> in der seit Anfang 2003 geltenden Fassung), die Voraussetzungen und den Umfang des Anspruchs auf eine Rente der Invalidenversicherung (Art. 28 Abs. 1 [in der bis Ende 2003 gültig gewesenen Fassung] und Abs. 1bis IVG [in Kraft gewesen bis Ende 2003]), die Invaliditätsbemessung bei Erwerbstätigen mittels Einkommensvergleich (<ref-law>; bis Ende 2002: <ref-law>), die revisionsweise Erhöhung, Herabsetzung oder Aufhebung laufender Renten infolge einer für den Anspruch erheblichen Änderung des Invaliditätsgrades (<ref-law>; bis Ende 2002: <ref-law>) und den Zeitpunkt der rückwirkenden Herabsetzung oder Aufhebung einer wegen Verletzung der Meldepflicht unrichtig gewährten Rente (Art. 88bis Abs. 2 lit. b in Verbindung mit <ref-law>) sind im angefochtenen Entscheid richtig wiedergegeben. Dasselbe gilt für die von der Rechtsprechung vor In-Kraft-Treten des ATSG zu diesen Regelungstatbeständen erarbeiteten und unter der Herrschaft des neuen Rechts weiterhin anwendbaren (<ref-ruling>) Grundsätze. Darauf wird verwiesen.
4. Die Invaliditätsbemessung hat unstreitig mittels Einkommensvergleich zu erfolgen. Dabei ist aus medizinischer Sicht zu beachten, dass Dr. med. T._, Facharzt FMH für Kardiologie und Innere Medizin, mit Bericht vom 19. März 2000 den Versicherten im angestammten Beruf ab 1. November 1999 für 70 % arbeitsunfähig hielt; ein Arbeitspensum von 3 Stunden pro Tag sei noch zumutbar. Im Wesentlichen zum gleichen Ergebnis gelangte Dr. med. G._, Innere Medizin FMH, welcher mit Bericht vom 29. Juni 2000 ab 23. Februar 1999 von einer etwa 70 %igen Einschränkung in der bisherigen Tätigkeit und einem noch zumutbaren Arbeitseinsatz von 2 bis 3 Stunden im Tag ausging.
4.1 Gemäss Schreiben vom 14. Februar 2003 der Y._ GmbH, bei welcher der Beschwerdeführer seit 1. November 2000 arbeitet, würde dieser aktuell bei einer Vollzeitbeschäftigung ein Jahreseinkommen von ca. 130'000.- erzielen. Diesen Lohn setzte die Verwaltung dem hypothetischen Valideneinkommen (Einkommen ohne invalidisierende Gesundheitsschädigung) gleich. Das kantonale Gericht ist dieser Auffassung gefolgt und hat vom Versicherten geltend gemachte Zuschläge zum genannten Lohn abgelehnt.
4.1.1 Es handelt sich dabei zunächst um Arbeitgeberbeiträge an Pensionskasse und Krankentaggeldversicherung. Die Y._ GmbH äusserte sich am 13. August 2004 dahingehend, der Beschwerdeführer habe aufgrund seiner Krankheit nicht in diese beiden Versicherungen aufgenommen werden können. Sie vergüte ihm deshalb die entsprechenden Prämien direkt, damit er selber eine Alters- und Krankheitsvorsorge aufbauen könne.
Demnach würde eine solche Auszahlung an den Versicherten selber im Gesundheitsfalle, in welchem der geltend gemachte Hinderungsgrund für einen Beitritt zu Pensionskasse und Taggeldversicherung nicht besteht, entfallen, weshalb eine Erhöhung des Valideneinkommens von vornherein und ohne dass auf die rechtliche Qualifizierung solcher Zahlungen noch einzugehen wäre, nicht in Betracht kommt. Entsprechendes wird letztinstanzlich auch nicht mehr geltend gemacht.
4.1.2 Mit Verwaltungsgerichtsbeschwerde erneuert wird das Vorbringen, das Valideneinkommen sei um den Betrag einer Gratifikation von jährlich Fr. 7000.- auf Fr. 137'000.- zu erhöhen. Eine Gratifikation ist indessen arbeitsvertraglich nicht zugesichert und wird gemäss Auskunft der Arbeitgeberin vom 13. August 2004 abhängig unter anderem vom Geschäftsgang nur unregelmässig sowie in unterschiedlicher Höhe ausgerichtet. Sie kann daher nicht berücksichtigt werden (Urteile Z. vom 26. Februar 2004, I 480/03, Erw. 5.2.1, und B. vom 3. Juli 2001, I 406/00, Erw. 3a; vgl. auch <ref-ruling> ff. Erw. 2). Eine Gratifikation ist unter diesen Umständen aber auch beim Invalideneinkommen (Erw. 4.2 hienach) nicht anzurechnen, wie die Vorinstanz ebenfalls zutreffend erwogen hat.
4.1.3 Die Annahme eines Fr. 130'000.- übersteigenden Valideneinkommens lässt sich auch nicht mit einer mutmasslichen Lohnentwicklung bei der früheren Arbeitgeberin stützen. Gemäss IK-Auszug vom 2. August 2000 bezog der Beschwerdeführer dort stark schwankende Löhne mit einem Maximum von Fr. 131'625.- im Jahr 1994. Sodann hatte das Unternehmen in den vergangenen Jahren mit erheblichen wirtschaftlichen Schwierigkeiten zu kämpfen, was unter anderem auch die Entlassung des Beschwerdeführers auf Ende Mai 1998 zur Folge hatte. Im Übrigen äusserte sich die frühere Arbeitgeberin insofern unbestimmt, als sie das bei einer Weiterbeschäftigung des Versicherten in der früheren Position unter der Voraussetzung einer guten Auftragslage wahrscheinlich erzielte Einkommen für das Jahr 2003 auf Fr. 130'000.- bis Fr. 140'000.- bezifferte. Dies spricht nicht gegen die Annahme eines hypothetischen Valideneinkommens am unteren Rahmen dieses Spektrums.
4.2 Für die Bestimmung des trotz gesundheitlicher Beeinträchtigung zumutbarerweise noch erzielbaren Einkommens (Invalideneinkommen) gehen Verwaltung und Vorinstanz vom Verdienst im seit 1. November 2000 bestehenden Anstellungsverhältnis bei der Y._ GmbH aus. Dies ist aufgrund der gegebenen Verhältnisse nicht zu beanstanden (<ref-ruling>75 Erw. 4.2.1, 117 V 18 mit Hinweisen) und grundsätzlich unbestritten.
4.2.1 Gemäss Bestätigung der Arbeitgeberin vom 1. November 2002 belief sich der für das Jahr 2001 ausgerichtete Bruttolohn auf Fr. 65'700.- (einschliesslich des vertraglich vereinbarten 13. Monatslohnes, aber ohne die hier wie beim Valideneinkommen nicht anrechenbare Gratifikation [Erw. 4.1.2 hievor]). Gemäss angefochtenem Entscheid ist dieser Jahreslohn nicht dem Invalideneinkommen gleich zu setzen, da er auch eine Überstundenentschädigung erheblichen Ausmasses enthält und somit einem Arbeitspensum entspricht, welches das aus ärztlicher Sicht Zumutbare deutlich übersteigt. Dieser nicht umstrittenen Überlegung der Vorinstanz kann gefolgt werden, zumal die Arbeitgeberin weiter bestätigt, dass der Aufgabenbereich des Beschwerdeführers im Herbst 2001 wegen gesundheitsbedingter Überlastung angepasst und der Lohn entsprechend reduziert werden musste.
4.2.2 Im Jahr 2002 verdiente der Versicherte nach Angabe der Arbeitgeberin brutto Fr. 56'290.- (einschliesslich 13. Monatslohn und wiederum ohne Gratifikation), welchen Betrag das kantonale Gericht dem jährlichen Invalideneinkommen für 2001 und 2002 gleichsetzt.
Der Beschwerdeführer wendet ein, es sei nicht auf den Gesamtverdienst des Jahres 2002 abzustellen, da ab 1. April 2002 eine weitere Lohnreduktion auf Fr. 3453.- im Monat erfolgt sei. Von dem durch Umrechnung auf ein Jahr (x 13) resultierenden Einkommen von Fr. 44'902.- sei sodann eine Soziallohnkomponente abzuziehen. Diese bestehe in grundsätzlich auf die Arbeitgeberin entfallenden und von dieser direkt an den Versicherten ausbezahlten Beiträgen an Pensionskasse und Krankentaggeldversicherung.
4.2.3 Nach <ref-law> gehören Lohnbestandteile, für die der Arbeitnehmer nachgewiesenermassen wegen beschränkter Arbeitsfähigkeit keine Gegenleistung erbringen kann, nicht zu dem für die Invaliditätsbemessung massgebenden Erwerbseinkommen. Praxisgemäss sind an den Nachweis von Soziallohn indessen strenge Anforderungen zu stellen, da vom Grundsatz ausgegangen werden muss, dass ausbezahlte Löhne normalerweise das Äquivalent einer entsprechenden Arbeitsleistung sind (<ref-ruling> mit Hinweisen). Bei der richterlichen Würdigung von Arbeitgeberbescheinigungen ist auch zu bedenken, dass Arbeitgeberinnen und Arbeitgeber ein eigenes Interesse daran haben können, die Bezahlung von Soziallohn zu behaupten (<ref-ruling>, 104 V 93; ZAK 1980 S. 345 Erw. 2b). Als Indiz für eine freiwillige Sozialleistung fallen insbesondere verwandtschaftliche Beziehungen zur versicherten Person oder eine lange Dauer des Arbeitsverhältnisses in Betracht (RKUV 1996 Nr. U 240 S. 95).
Eine Soziallohnkomponente wird im Anstellungsvertrag vom 28. März 2002, mit welchem die ab 1. April 2002 erfolgte Herabsetzung des Monatslohns auf Fr. 3453.- geregelt wurde, nicht erwähnt. Sodann hat die Y._ GmbH im Verwaltungsverfahren wiederholt Angaben zum Bruttolohn gemacht, ohne darzulegen, dieser enthalte auch direkt ausbezahlte - gegebenfalls als Soziallohn zu qualifizierende - Arbeitgeberbeiträge an die soziale Vorsorge des Beschwerdeführers. Vielmehr bestätigte sie jeweils, der Lohn entspreche der Arbeitsleistung. Erst in der Auskunft an die Vorinstanz vom 13. August 2004 (vgl. Erw. 4.1.1 hievor) führte die Arbeitgeberin an, sie vergüte Versicherungsprämien direkt dem Arbeitnehmer. Dass der Bruttoverdienst von Fr. 3453.- tatsächlich Soziallohn enthält, ist unter diesen Umständen nicht zuverlässig dargetan, zumal die Y._ GmbH auch keine Angaben zur Höhe eines solchen Einkommensanteils macht.
4.2.4 Ob nun die von der Vorinstanz angenommenen Fr. 56'290.- oder aber die vom Beschwerdeführer geltend gemachten Fr. 44'902.- (ohne Abzug eines Soziallohnanteils) als Invalideneinkommen zu gelten haben, kann offen bleiben. Denn beide Varianten führen bei der Gegenüberstellung mit dem Valideneinkommen von Fr. 130'000.- zu einem Invaliditätsgrad, welcher mit 56.7 % oder 65.47 % - jedenfalls in dem hier geprüften, von der 4. IV-Revision noch nicht erfassten Zeitraum (Erw. 1 hievor) - den Anspruch auf eine halbe Rente begründet (<ref-law> in der bis Ende 2003 gültig gewesenen Fassung).
4.2.4 Ob nun die von der Vorinstanz angenommenen Fr. 56'290.- oder aber die vom Beschwerdeführer geltend gemachten Fr. 44'902.- (ohne Abzug eines Soziallohnanteils) als Invalideneinkommen zu gelten haben, kann offen bleiben. Denn beide Varianten führen bei der Gegenüberstellung mit dem Valideneinkommen von Fr. 130'000.- zu einem Invaliditätsgrad, welcher mit 56.7 % oder 65.47 % - jedenfalls in dem hier geprüften, von der 4. IV-Revision noch nicht erfassten Zeitraum (Erw. 1 hievor) - den Anspruch auf eine halbe Rente begründet (<ref-law> in der bis Ende 2003 gültig gewesenen Fassung).
5. Zu prüfen bleibt der Antrag, ab 1. Januar 2003 sei eine ganze Invalidenrente zuzusprechen. Dies beurteilt sich nach rentenrevisionsrechtlichen Gesichtspunkten.
5.1 Anlass zur Revision einer Invalidenrente im Sinne von <ref-law> (bis Ende 2002: <ref-law>) gibt jede wesentliche Änderung in den tatsächlichen Verhältnissen, die geeignet ist, den Invaliditätsgrad und damit den Rentenanspruch zu beeinflussen. Die Invalidenrente ist somit nicht nur bei einer wesentlichen Veränderung des Gesundheitszustandes, sondern auch dann revidierbar, wenn sich die erwerblichen Auswirkungen des an sich gleich gebliebenen Gesundheitsschadens erheblich verändert haben (<ref-ruling> Erw. 3.5, 113 V 275 Erw. 1a; siehe auch <ref-ruling> Erw. 2b und 390 Erw. 1b).
5.2 Eine wesentliche gesundheitliche Verschlechterung liegt nicht vor, entspricht doch das von Dr. med.T._ in der jüngsten Stellungnahme vom 23. September 2003 bei unveränderter Diagnose für zumutbar erachtete Arbeitspensum von je zweieinhalb Stunden an fünf Wochentagen in etwa der Einschätzung in den früheren Arztberichten (Erw. 4 Ingress hievor). Die erwerblichen Auswirkungen des Gesundheitsschadens haben sich ebenfalls nicht wesentlich verändert. Die Arbeitgeberin bestätigte am 13. August 2004, dass das - sich in dem von ärztlicher Seite für zumutbar erachteten Rahmen haltende - Arbeitspensum und der Lohn des Versicherten seit der zum 1. April 2002 erfolgten Anpassung gleich geblieben sind. Es liegt somit kein Rentenrevisionsgrund vor.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 2. August 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: