Sachverhalt: Sachverhalt: A. Mit Verfügung vom 16. November 2000 verneinte die IV-Stelle des Kantons Zürich den Anspruch des M._ (geb. 1954) auf eine Invalidenrente. Ein erneutes Gesuch lehnte sie mit Verfügung vom 24. Oktober 2002 ebenfalls ab. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit unangefochten gebliebenem Entscheid vom 17. November 2003 ab. A. Mit Verfügung vom 16. November 2000 verneinte die IV-Stelle des Kantons Zürich den Anspruch des M._ (geb. 1954) auf eine Invalidenrente. Ein erneutes Gesuch lehnte sie mit Verfügung vom 24. Oktober 2002 ebenfalls ab. Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit unangefochten gebliebenem Entscheid vom 17. November 2003 ab. B. Mit Verfügung vom 25. August 2004 lehnte die IV-Stelle den Rentenanspruch wiederum ab. Daran hielt sie mit Einspracheentscheid vom 9. November 2004 fest. B. Mit Verfügung vom 25. August 2004 lehnte die IV-Stelle den Rentenanspruch wiederum ab. Daran hielt sie mit Einspracheentscheid vom 9. November 2004 fest. C. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. April 2006 ab. C. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 28. April 2006 ab. D. M._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm ab 1. Juli 2004 eine ganze Invalidenrente auszurichten. Eventuell sei die IV-Stelle zu verpflichten, ihre Verfügung vom 24. Oktober 2002 aufzuheben. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.