Sachverhalt: Sachverhalt: A. Der 1948 geborene J._, gelernter Hochbauzeichner, war ab 1972 als Projektleiter und stellvertretender Geschäftsführer bei der X._ AG, tätig. Im Februar 1998 kündigte die Arbeitgeberin das Anstellungsverhältnis wegen ungenügender Beschäftigungslage auf Ende Mai 1998. J._ bezog in der Folge Arbeitslosenentschädigung. Nachdem er im August 1997 einen ersten und im Januar 1999 einen zweiten Herzinfarkt erlitten hatte, wurde ihm von ärztlicher Seite ab 1. November 1999 eine 70 %ige Arbeitsunfähigkeit im angestammten Beruf attestiert. Im Dezember 1999 meldete sich J._ unter Hinweis auf diesen Sachverhalt bei der Invalidenversicherung zum Leistungsbezug an. Am 16. März 2001 verfügte die IV-Stelle des Kantons Zürich bei einem Invaliditätsgrad von 70 % rückwirkend ab 1. November 2000 eine ganze Invaliden-rente. Im August 2002 leitete die Verwaltung ein Rentenrevisionsverfahren ein. Sie erfuhr vom Versicherten, dass er seit 1. November 2000 eine bis dahin nicht gemeldete Teilzeitarbeit bei der Y._ GmbH, ausübt. Gestützt auf diese Erkenntnis setzte die IV-Stelle den Anspruch des Versicherten bei einem neu ermittelten Invaliditätsgrad von 55 % rückwirkend ab 1. November 2000 auf eine halbe Rente herab und forderte in der Zeit bis 31. März 2003 zu viel ausgerichtete Rentenbetreffnisse im Gesamtbetrag von Fr. 50'819.- zurück (Verfügungen vom 11. März 2003). Daran hielt die Verwaltung auf Einsprache hin fest (Einspracheentscheid vom 3. September 2003). A. Der 1948 geborene J._, gelernter Hochbauzeichner, war ab 1972 als Projektleiter und stellvertretender Geschäftsführer bei der X._ AG, tätig. Im Februar 1998 kündigte die Arbeitgeberin das Anstellungsverhältnis wegen ungenügender Beschäftigungslage auf Ende Mai 1998. J._ bezog in der Folge Arbeitslosenentschädigung. Nachdem er im August 1997 einen ersten und im Januar 1999 einen zweiten Herzinfarkt erlitten hatte, wurde ihm von ärztlicher Seite ab 1. November 1999 eine 70 %ige Arbeitsunfähigkeit im angestammten Beruf attestiert. Im Dezember 1999 meldete sich J._ unter Hinweis auf diesen Sachverhalt bei der Invalidenversicherung zum Leistungsbezug an. Am 16. März 2001 verfügte die IV-Stelle des Kantons Zürich bei einem Invaliditätsgrad von 70 % rückwirkend ab 1. November 2000 eine ganze Invaliden-rente. Im August 2002 leitete die Verwaltung ein Rentenrevisionsverfahren ein. Sie erfuhr vom Versicherten, dass er seit 1. November 2000 eine bis dahin nicht gemeldete Teilzeitarbeit bei der Y._ GmbH, ausübt. Gestützt auf diese Erkenntnis setzte die IV-Stelle den Anspruch des Versicherten bei einem neu ermittelten Invaliditätsgrad von 55 % rückwirkend ab 1. November 2000 auf eine halbe Rente herab und forderte in der Zeit bis 31. März 2003 zu viel ausgerichtete Rentenbetreffnisse im Gesamtbetrag von Fr. 50'819.- zurück (Verfügungen vom 11. März 2003). Daran hielt die Verwaltung auf Einsprache hin fest (Einspracheentscheid vom 3. September 2003). B. Beschwerdeweise beantragte J._, ihm sei ab 1. Januar 2003 wieder eine ganze Rente zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde nach Einholung einer schriftlichen Auskunft der Y._ GmbH mit Entscheid vom 14. Dezember 2004 ab. B. Beschwerdeweise beantragte J._, ihm sei ab 1. Januar 2003 wieder eine ganze Rente zuzusprechen. Das Sozialversicherungsgericht des Kantons Zürich wies die Beschwerde nach Einholung einer schriftlichen Auskunft der Y._ GmbH mit Entscheid vom 14. Dezember 2004 ab. C. Mit Verwaltungsgerichtsbeschwerde lässt J._ sein vorinstanzliches Rechtsbegehren erneuern. Die IV-Stelle beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherung hat auf eine Vernehmlassung verzichtet.