Sachverhalt: Sachverhalt: A. Der 1957 geborene N._ war seit dem Jahre 1981 bis Ende August 1996 als Bauarbeiter für die Genossenschaft X._ tätig. Am 13. Oktober 1997 meldete er sich unter Hinweis auf Magenkrebs bei der Invalidenversicherung zum Rentenbezug an. Nach erwerblichen und medizinischen Abklärungen verfügte die IV-Stelle Zug am 13. April 2000 ausgehend von einem Invaliditätsgrad von 55 % die Zusprechung einer halben Rente. Die dagegen erhobene Beschwerde des N._ hiess das Verwaltungsgericht des Kantons Zug am 26. April 2001 gut und stellte fest, dass (bei einem Invaliditätsgrad von 68 %) ab 1. September 1997 Anspruch auf eine ganze Invalidenrente bestehe. Am 20. September und 13. Dezember 2001 ergingen die entsprechenden Verfügungen der IV-Stelle. Im Zuge der 4. IV-Revision leitete die IV-Stelle auf 1. Februar 2004 ein Revisionsverfahren ein. Nachdem N._ auf dem entsprechenden Formular (eingegangen bei der IV-Stelle am 19. April 2004) eine Verschlechterung des Gesundheitszustandes seit zwei Monaten (Kopfweh, Ohnmacht) angegeben hatte, holte die IV-Stelle einen Bericht des Hausarztes Dr. med. M._, Allgemeine Medizin FMH, vom 4. Juni 2004 ein und verfügte am 1. Februar 2004, ausgehend von einem Invaliditätsgrad von 67 %, die Herabsetzung der Rente auf eine Dreiviertelsrente. Mit Einspracheentscheid vom 24. März 2005 hielt sie an ihrer Verfügung fest. Mit Einspracheentscheid vom 24. März 2005 hielt sie an ihrer Verfügung fest. B. Die dagegen erhobene Beschwerde des N._ wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 28. Dezember 2005 ab. B. Die dagegen erhobene Beschwerde des N._ wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 28. Dezember 2005 ab. C. N._ lässt Verwaltungsgerichtsbeschwerde führen, die Aufhebung des vorinstanzlichen Entscheides und, ausgehend von einem Invaliditätsgrad von 70 %, weiterhin die Zusprechung einer ganzen Rente, eventualiter die Rückweisung der Sache zur ergänzenden medizinischen Abklärung an die Vorinstanz, beantragen. Verwaltungsgericht und IV-Stelle schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung. Am 16. März 2006 lässt N._ einen Bericht des Dr. med. D._, Spital Y._, vom 17. Februar 2006, zu den Akten reichen.