Sachverhalt: Mit Verfügung vom 10. Mai 2005 und Einspracheentscheid vom 24. Juni 2005 setzte die IV-Stelle des Kantons Solothurn die von T._ (geb. 1947) bisher bezogene halbe Invalidenrente mit Wirkung ab 1. Juli 2005 auf eine Viertelsrente herab, weil der Invaliditätsgrad seit November 2000 nur mehr 42 % betrage. Das Versicherungsgericht des Kantons Solothurn wies die gegen den Einspracheentscheid erhobene Beschwerde mit Entscheid vom 2. November 2006 im Rentenpunkt ab. T._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag auf Zusprechung einer ganzen Invalidenrente für den Zeitraum von November 2000 bis 31. Dezember 2003 sowie einer Dreiviertelsrente ab 1. Januar 2004. Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.