Sachverhalt: Mit Verfügung vom 21. August 1995 lehnte die IV-Stelle des Kantons Zürich ein erstes Leistungsgesuch des R._ (geb. 1950) ab. Ein zweites Gesuch lehnte die IV-Stelle mit Verfügung vom 26. November 1998 ebenfalls ab. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 26. Januar 2001 in dem Sinne gut, dass es die Sache zu näheren Abklärungen an die Verwaltung zurückwies. Am 8. Oktober 2001 sprach die IV-Stelle R._ eine Viertelsrente von Februar bis April 2000 sowie eine ganze Rente ab Mai 2000 zu. Auf Beschwerde hin wies das Sozialversicherungsgericht des Kantons Zürich die Sache mit Entscheid vom 31. Juli 2002 abermals zu näheren Abklärungen an die IV-Stelle zurück. Mit Verfügungen vom 19. November 2004 erhielt R._ eine halbe IV-Rente von Juni 2001 bis Dezember 2003 und eine Dreiviertelsrente ab Januar 2004 zugesprochen. Auf Einsprache hin bestätigte die IV-Stelle diese Verfügungen mit Entscheid vom 11. Februar 2005. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 24. April 2006 insofern teilweise gut, als es R._ eine halbe IV-Rente ab April 2000 und eine ganze Rente ab Mai 2000 gewährte. R._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei ihm eine ganze IV-Rente ab 1. August 1998 zuzusprechen. Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.