Sachverhalt: A. R._, geboren 1952, ist gelernter Maurer und verfügt über eine Zusatzausbildung als Hochbaupolier. Zufolge von Skiunfällen in den Jahren 1975 und 1977 leidet er an Kniebeschwerden. Später klagte er auch über Rückenschmerzen sowie Konzentrations- und Aufmerksamkeitsstörungen. Auf Anmeldung vom 2. April 1982 gewährte ihm die Invalidenversicherung u.a. berufliche Eingliederungsmassnahmen in Form einer Umschulung im kaufmännischen Bereich. Mit Wirkung ab 1. November 1985 wurde ihm eine halbe und ab 1. September 1987 eine ganze Rente zugesprochen (Verfügungen vom 23. Juli 1987 und 30. März 1990). In den Jahren 1990 und 1991 liess sich R._ zum Naturheilpraktiker ausbilden und nahm anfangs 1992 eine eigene Praxistätigkeit auf. Die IV-Stelle des Kantons Aargau, welche mit Verfügung vom 22. April 1991 das Begehren um Kostenübernahme der beruflichen Neuausbildung abgelehnt hatte, bestätigte am 11. Oktober 1993 und 18. September 1996 die Weitergewährung der bisherigen ganzen Rente. Am 10. Juli 2000 teilte der Versicherte der IV-Stelle mit, er habe die Praxis aus gesundheitlichen Gründen per 31. Dezember 1999 aufgegeben, sei nach der Trennung von der Ehefrau nach Deutschland gezogen, wo er indessen keine Berufsausübungsbewilligung erhalten habe. Er sei deshalb in die Schweiz zurückgekehrt, um eine neue Praxistätigkeit aufzunehmen. Die IV-Stelle des Kantons Aargau bestätigte am 22. September 2000 die Weiterausrichtung der bisherigen Rente und überwies die Akten der nunmehr zuständigen IV-Stelle Zug. Diese holte Steuer- und Geschäftsunterlagen ein und ordnete eine neuropsychologische Untersuchung durch Lic. phil. H._ sowie ein rheumatologisches Gutachten durch Dr. med. M._ an. Gestützt auf die Abklärungsergebnisse ermittelte sie einen Invaliditätsgrad von 53%. Am 5. November 2004 verfügte die IV-Stelle die Herabsetzung der bisherigen ganzen auf eine halbe Rente mit Wirkung ab 1. Januar 2005. Die gegen diese Verfügung erhobene Einsprache wies sie gestützt auf eine Stellungnahme des Regionalen Ärztlichen Dienstes (RAD) der Invalidenversicherung ab (Einspracheentscheid vom 10. November 2005). B. R._ liess gegen den Einspracheentscheid Beschwerde erheben und beantragen, in Aufhebung des Entscheids sei ihm weiterhin eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zu ergänzender Abklärung und Neubeurteilung an die Verwaltung zurückzuweisen. In prozessualer Hinsicht verlangte er, es sei der Beschwerde die aufschiebende Wirkung zu erteilen und es sei ihm für das Beschwerdeverfahren die unentgeltliche Rechtspflege und Verbeiständung zu gewähren. Mit Verfügungen vom 17. Januar und 1. März 2006 wies das Verwaltungsgericht des Kantons Zug die prozessualen Begehren ab. Mit Entscheid vom 30. November 2006 erkannte es auf Abweisung der Beschwerde. C. R._ lässt Beschwerde an das Bundesgericht führen und das materielle Rechtsbegehren erneuern. Ferner ersucht er um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung für das letztinstanzliche Verfahren. Das Verwaltungsgericht des Kantons Zug und die IV-Stelle Zug lassen sich mit dem Antrag auf Abweisung der Beschwerde vernehmen. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf Vernehmlassung. D. Mit Entscheid vom 4. Juli 2007 hat die I. sozialrechtliche Abteilung des Bundesgerichts das Begehren um unentgeltliche Rechtspflege und Verbeiständung abgewiesen und dem Beschwerdeführer Frist zur Bezahlung eines Kostenvorschusses von Fr. 500.- innert 14 Tagen ab Zustellung dieses Entscheids gesetzt. Der Beschwerdeführer ist dieser Aufforderung fristgerecht nachgekommen.