Sachverhalt:
Sachverhalt:
A. Mit Verfügung vom 16. November 2000 verneinte die IV-Stelle des Kantons Zürich den Anspruch des M._ (geb. 1954) auf eine Invalidenrente. Ein erneutes Gesuch lehnte sie mit Verfügung vom 24. Oktober 2002 ebenfalls ab. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit unangefochten gebliebenem Entscheid vom 17. November 2003 ab.
A. Mit Verfügung vom 16. November 2000 verneinte die IV-Stelle des Kantons Zürich den Anspruch des M._ (geb. 1954) auf eine Invalidenrente. Ein erneutes Gesuch lehnte sie mit Verfügung vom 24. Oktober 2002 ebenfalls ab. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit unangefochten gebliebenem Entscheid vom 17. November 2003 ab.
B. Mit Verfügung vom 25. August 2004 lehnte die IV-Stelle den Rentenanspruch wiederum ab. Daran hielt sie mit Einspracheentscheid vom 9. November 2004 fest.
B. Mit Verfügung vom 25. August 2004 lehnte die IV-Stelle den Rentenanspruch wiederum ab. Daran hielt sie mit Einspracheentscheid vom 9. November 2004 fest.
C. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. April 2006 ab.
C. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. April 2006 ab.
D. M._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm ab 1. Juli 2004 eine ganze Invalidenrente auszurichten. Eventuell sei die IV-Stelle zu verpflichten, ihre Verfügung vom 24. Oktober 2002 aufzuheben.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Nach Art. 132 Abs. 1 OG in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG (in Kraft seit 1. Juli 2006) kann das Gericht in Verfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen in Abweichung von den Art. 104 und 105 OG auch die Unangemessenheit der angefochtenen Verfügung beurteilen und ist an die vorinstanzliche Feststellung des Sachverhalts nicht gebunden. Gemäss Art. 132 Abs. 2 OG gelten diese Abweichungen nicht, wenn der angefochtene Entscheid Leistungen der Invalidenversicherung betrifft. Nach Ziff. II lit. c des Bundesgesetzes vom 16. Dezember 2005 gilt indessen bisheriges Recht für die im Zeitpunkt des Inkrafttretens der Änderung hängigen Beschwerden. Da die hier zu beurteilende Beschwerde am 1. Juli 2006 hängig war, richtet sich die Kognition noch nach Art. 132 Abs. 1 OG.
2. Der angefochtene Entscheid betrifft Leistungen der Invalidenversicherung. Nach Art. 132 Abs. 1 OG in der Fassung gemäss Ziff. III des Bundesgesetzes vom 16. Dezember 2005 über die Änderung des IVG (in Kraft seit 1. Juli 2006) kann das Gericht in Verfahren um die Bewilligung oder Verweigerung von Versicherungsleistungen in Abweichung von den Art. 104 und 105 OG auch die Unangemessenheit der angefochtenen Verfügung beurteilen und ist an die vorinstanzliche Feststellung des Sachverhalts nicht gebunden. Gemäss Art. 132 Abs. 2 OG gelten diese Abweichungen nicht, wenn der angefochtene Entscheid Leistungen der Invalidenversicherung betrifft. Nach Ziff. II lit. c des Bundesgesetzes vom 16. Dezember 2005 gilt indessen bisheriges Recht für die im Zeitpunkt des Inkrafttretens der Änderung hängigen Beschwerden. Da die hier zu beurteilende Beschwerde am 1. Juli 2006 hängig war, richtet sich die Kognition noch nach Art. 132 Abs. 1 OG.
3. Das kantonale Gericht hat die gesetzlichen Vorschriften zum Umfang des Rentenanspruchs (<ref-law> in der bis Ende 2003 gültig gewesenen bzw. <ref-law> in der seit 1. Januar 2004 in Kraft stehenden Fassung) zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (altArt. 28 Abs. 2 IVG; <ref-law>), zur Revision (<ref-law>) und zum Vorgehen der Verwaltung bei Eingang eines neuen Leistungsgesuchs nach vorheriger Ablehnung eines solchen (Art. 87 Abs. 3 und 4 IVV) sowie die Rechtsprechung zum Beweiswert ärztlicher Auskünfte (<ref-ruling> E. 3a S. 352) richtig dargelegt. Darauf wird verwiesen.
3. Das kantonale Gericht hat die gesetzlichen Vorschriften zum Umfang des Rentenanspruchs (<ref-law> in der bis Ende 2003 gültig gewesenen bzw. <ref-law> in der seit 1. Januar 2004 in Kraft stehenden Fassung) zur Ermittlung des Invaliditätsgrades nach der Methode des Einkommensvergleichs (altArt. 28 Abs. 2 IVG; <ref-law>), zur Revision (<ref-law>) und zum Vorgehen der Verwaltung bei Eingang eines neuen Leistungsgesuchs nach vorheriger Ablehnung eines solchen (Art. 87 Abs. 3 und 4 IVV) sowie die Rechtsprechung zum Beweiswert ärztlicher Auskünfte (<ref-ruling> E. 3a S. 352) richtig dargelegt. Darauf wird verwiesen.
4. Streitig und zu prüfen ist, ob Anspruch auf eine Rente besteht. Dabei ist, wie die Vorinstanz richtig erkannt hat, der Gesundheitszustand im Zeitpunkt der Verfügung vom 24. Oktober 2002 mit demjenigen am Datum des Einspracheentscheides vom 9. November 2004 zu vergleichen. Der zweitgenannte Tag bildet nach konstanter Rechtsprechung (<ref-ruling> E. 1 S. 169) die zeitliche Grenze der richterlichen Überprüfungsbefugnis. Soweit der Beschwerdeführer beantragt, die IV-Stelle habe die Verfügung vom 24. Oktober 2002 in Wiedererwägung zu ziehen, kann ihm nicht stattgegeben werden. Die Wiedererwägung steht nur offen gegen Verfügungen, die nicht Gegenstand materieller richterlicher Beurteilung gebildet haben (<ref-ruling> E. 2c S. 469), was auf die erwähnte Verfügung gerade nicht zutrifft. Ausserdem besteht kein gerichtlich durchsetzbarer Anspruch auf Wiedererwägung (<ref-ruling> E. 4.1 S. 52). Wenn der Beschwerdeführer die Verfügung vom 24. Oktober 2002 aufheben lassen wollte, hätte er dies mit einer Revision des Entscheides vom 17. November 2003 versuchen müssen. Sein Eventualantrag ist daher unzulässig.
4.1 Die Vorinstanz kam zum Schluss, dass im genannten Zeitraum keine relevante Verschlechterung des Gesundheitszustandes eingetreten sei. Soweit in neueren ärztlichen Berichten eine Arbeitsunfähigkeit von 100 % angegeben werde, handle es sich lediglich um eine andere Beurteilung eines gleich gebliebenen Sachverhalts. Demgegenüber macht der Versicherte geltend, aus den neuen medizinischen Berichten, namentlich demjenigen des PD Dr. med. K._, Facharzt für Psychiatrie und Psychotherapie, vom 17. Januar 2005 und des Psychiatriezentrums X._ vom 29. September 2005, ergebe sich, dass eine Verschlechterung eingetreten sei, auf Grund welcher nunmehr Anspruch auf eine volle Rente bestehe.
4.2 PD Dr. med. K._ diagnostiziert eine generalisierte Angststörung, die im Zusammenhang mit einer objektivierbaren koronaren Herzkrankheit und Angina pectoris aufgetreten sei. Es finde sich eine massive Überlagerung der somatischen Beschwerden durch angstgeprägte vegetative Symptome. Das depressive Syndrom sei weniger stark. Es bestehe eine vorübergehende, wenn nicht andauernde Arbeitsunfähigkeit. Dabei könne vom Patienten verlangt werden, dass er sich den notwendigen Behandlungsmassnahmen unterziehe, doch sei fraglich, ob diese die Arbeitsfähigkeit noch einmal wiederherstellen könnten. Auch das Psychiatriezentrum X._ diagnostiziert eine generalisierte Angststörung sowie eine koronare Herzkrankheit und eine essentielle Hypertonie. Die depressive Symptomatik sei inzwischen derart ausgeprägt, dass die ICD-10-Kriterien für eine mittelgradige depressive Episode durchaus erfüllt seien. Der Versicherte habe sich vom sozialen Leben stark zurückgezogen. Aus psychiatrischer Sicht betrage die Arbeitsunfähigkeit im bisherigen Beruf wie auch irgendwo sonst in der freien Marktwirtschaft 100 %. Eventuell könne eine eingeschränkte Arbeitsfähigkeit von 20 % - 50 % in einer behinderungsangepassten Berufstätigkeit gegeben sein. Die Krankheit dürfte durch den zweiten Herzeingriff vom 20. November 1999 ausgelöst worden sein, bei welchem nach Wahrnehmung des Versicherten "etwas schief gelaufen" sein müsse, worauf er Todesängste erlitten und die Angststörung entwickelt habe.
4.3 Vorliegend ist zu prüfen, ob bis zum 9. November 2004 eine erhebliche Verschlechterung des Gesundheitszustandes eingetreten ist (E. 4 hievor). Dem Bericht des Psychiatriezentrums X._ vom 29. September 2005 lassen sich diesbezüglich keine gesicherten Anhaltspunkte entnehmen. Gemäss diesem Bericht wurde der Beschwerdeführer erstmals am 3. März 2005 im erwähnten Zentrum behandelt, weshalb sich keine verlässlichen Angaben über den Verlauf der Krankheiten von 2002 bis November 2004 machen liessen. Auch dem Bericht des PD Dr. med. K._ vom 17. Januar 2005 sind keine genaueren Hinweise über die zeitliche Entwicklung der verschiedenen Leiden bis 9. November 2004 entnehmen. Somit ist auf Grund der vom Beschwerdeführer eingereichten Unterlagen keine Entstehung eines Rentenanspruchs bis 9. November 2004 ausgewiesen. Von weiteren ärztlichen Untersuchungen über den nunmehr schon einige Jahre zurückliegenden Verlauf des Gesundheitszustandes sind keine weiteren Erkenntnisse zu erwarten, weshalb darauf in antizipierter Beweiswürdigung (<ref-ruling> E. 4b S. 94) zu verzichten ist. PD Dr. med. K._ spricht überdies lediglich von einer vorübergehenden Arbeitsunfähigkeit und mutet dem Beschwerdeführer - ähnlich wie die ärztlichen Unterlagen, welche zum vorinstanzlichen Entscheid vom 17. November 2003 geführt hatten - zu, sich den notwendigen Behandlungsmassnahmen zu unterziehen. Damit steht fest, dass der Versicherte der ihm obliegenden Schadenminderungspflicht (dazu <ref-ruling> E. 4.2 S. 463) bislang nicht genügt hat, woran die von PD Dr. med. K._ geäusserten Zweifel hinsichtlich der Prognose nichts ändern. Auch aus diesem Grund kann keine Rente zugesprochen werden, weshalb der kantonale Entscheid jedenfalls im Ergebnis Stand hält.

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Gerichtskosten erhoben.
2. Es werden keine Gerichtskosten erhoben.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 19. April 2007
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: