Sachverhalt:
A. A._, geboren 1966, war von Juli 1987 bis Oktober 2000 als Bauarbeiter bei der V._ AG tätig. Am 25. Januar 2001 meldete er sich unter Hinweis auf Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug an. Die in der Folge von der IV-Stelle Schwyz am 9. November 2001 erlassene Ablehnungsverfügung hob das Verwaltungsgericht des Kantons Schwyz auf Beschwerde hin auf und wies die Sache zu ergänzenden Abklärungen und neuer Verfügung an die Verwaltung zurück (Entscheid vom 17. April 2002). Gestützt auf die Ergebnisse der Aktenergänzung sprach die IV-Stelle A._ mit Verfügung vom 7. Juli 2004 rückwirkend ab 1. Oktober 2001 bei einem Invaliditätsgrad von 100 % eine ganze Invalidenrente zu.
Im Rahmen eines im März 2006 von Amtes wegen eingeleiteten Revisionsverfahrens zog die IV-Stelle Gutachten der Klinik S._ vom 6. Dezember 2006 und des Begutachtungsinstituts Y._ vom 30. Januar 2009 bei. Im Wesentlichen gestützt auf die interdisziplinäre Expertise des Begutachtungsinstituts Y._ setzte die IV-Stelle die bislang ausgerichtete ganze Invalidenrente mit Verfügung vom 30. September 2009 ab 1. November 2009 auf eine Viertelsrente herab, dies bei einem Invaliditätsgrad von nunmehr 42 %. Zur Begründung führte sie aus, sich bei Erlass der ursprünglichen Verfügung vom 6. August 2004 allein auf die medizinischen Unterlagen der Klinik S._ gestützt zu haben; dabei sei lediglich auf die Arbeitsunfähigkeit in der angestammten, nicht aber in einer leidensangepassten Tätigkeit abgestellt worden. Die Verfügung sei, da zweifellos unrichtig, in Wiedererwägung zu ziehen. Aufgrund eines Einkommensvergleichs resultiere ein Invaliditätsgrad von 42 %. Im Weiteren sei auch ein Revisionsgrund gegeben, da sich der Gesundheitszustand verbessert habe.
B. In teilweiser Gutheissung der vom Versicherten hiegegen eingereichten Beschwerde setzte das Verwaltungsgericht des Kantons Schwyz den Zeitpunkt der Rentenherabsetzung auf den 1. Dezember 2009 fest. Im Übrigen wies es die Beschwerde ab (Entscheid vom 15. Januar 2010).
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei ihm auch ab 1. Dezember 2009 eine ganze Invalidenrente zu gewähren.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Das Verwaltungsgericht hat unter Hinweis auf <ref-law> und die hiezu ergangene Rechtsprechung (<ref-ruling> E. 3.5 S. 349; SVR 2009 IV Nr. 59 S. 183, 9C_17/2009) die Voraussetzungen, unter denen eine laufende Invalidenrente für die Zukunft zu erhöhen, herabzusetzen oder aufzuheben ist, zutreffend dargelegt. Darauf wird verwiesen.
Der Revisionsordnung nach <ref-law> geht der Grundsatz vor, dass die Verwaltung befugt ist, jederzeit von Amtes wegen auf eine formell rechtskräftige Verfügung, welche nicht Gegenstand materieller richterlicher Beurteilung gebildet hatte, zurückzukommen, wenn sich diese als zweifellos unrichtig erweist und ihre Berichtigung von erheblicher Bedeutung ist. Unter diesen Voraussetzungen kann die Verwaltung eine Rentenverfügung auch dann abändern, wenn die Revisionsvoraussetzungen des <ref-law> nicht erfüllt sind. Wird die zweifellose Unrichtigkeit der ursprünglichen Rentenverfügung erst vom Gericht festgestellt, so kann es die auf <ref-law> gestützte Revisionsverfügung der Verwaltung mit dieser substituierten Begründung schützen (<ref-ruling> E. 2 mit Hinweisen; vgl. auch <ref-ruling> E. 2c und 390 E. 1b).
3. 3.1 Die Vorinstanz stellte fest, die Verfügung der IV-Stelle vom 6. August 2004 sei zweifellos unrichtig gewesen. Die Verwaltung habe aus der ärztlicherseits attestierten Arbeitsunfähigkeit von 100 % in der angestammten Tätigkeit fälschlicherweise auf einen Invaliditätsgrad von ebenfalls 100 % geschlossen, ohne vorgängig die Leistungsfähigkeit des Beschwerdeführers in leidensangepassten Tätigkeiten geprüft zu haben. Damit sei die ursprüngliche Rentenverfügung zweifellos unrichtig, weshalb deren Wiedererwägung zulässig sei. Gestützt auf die Angaben der Gutachter des Begutachtungsinstituts Y._ sei von einer Arbeitsunfähigkeit des Versicherten in einer seinem Gesundheitszustand entsprechenden Tätigkeit von 30 % auszugehen. Aufgrund eines Einkommensvergleichs resultiere ein Invaliditätsgrad von 42 %.
3.2 Der Beschwerdeführer wendet sich gegen diese Betrachtungsweise. Er macht geltend, die Vorinstanz habe den Begriff der zweifellosen Unrichtigkeit falsch angewendet. Die ursprüngliche Verfügung sei nur dann zweifellos unrichtig gewesen, wenn der Versicherte in einer leidensangepassten Tätigkeit arbeitsfähig war; dies treffe nicht zu. Der damalige Sachverhalt sei unklar, so dass sich keine Aussage dazu machen lasse, ob die Rentenzusprechung zu Recht oder zu Unrecht erfolgte.
3.3 Der Vorinstanz ist zuzustimmen, dass die ursprüngliche Rentenzusprache rechtsfehlerhaft war, weil die Arbeitsfähigkeit in einer angepassten Tätigkeit nicht geprüft wurde. Um eine rechtskräftig zugesprochene Rente wiedererwägungsweise aufheben zu können, muss aber zusätzlich mit dem Beweisgrad der überwiegenden Wahrscheinlichkeit erstellt sein, dass eine korrekte Invaliditätsbemessung hinsichtlich des Leistungsanspruchs zu einem anderen Ergebnis geführt hätte (Urteil des Eidg. Versicherungsgerichts I 434/03 vom 22. April 2004; Urteil 9C_575/2007 vom 18. Oktober 2007 E. 3.3).
Im Lichte dieser Rechtsprechung ist dem Beschwerdeführer beizupflichten, dass die Wiedererwägungsvoraussetzungen mit Bezug auf die Verfügung vom 6. August 2004 nicht erfüllt waren: Dass die Arbeitsfähigkeit in einer angepassten Tätigkeit nicht geprüft wurde, erlaubt noch keinen Schluss darauf, ob und wie stark sie allenfalls eingeschränkt war. Auch wenn eine 100%ige Arbeitsunfähigkeit kaum nachvollziehbar erscheint, ist aufgrund der Akten doch eine ungewisse Einschränkung anzunehmen. Es steht damit nicht zweifelsfrei fest, dass der Invaliditätsgrad weniger als 70 % betrug.
4. 4.1 Des Weiteren hat die IV-Stelle in der Verfügung vom 30. September 2009 ausgeführt, dass nicht nur an der Wiedererwägung der ursprünglichen Verfügung vom 6. August 2004 festgehalten werde, sondern zudem ein Revisionsgrund gegeben sei, da sich der Gesundheitszustand verbessert hat. Diese Feststellung wurde jedoch nicht näher begründet. Insbesondere fehlen Hinweise auf die medizinischen Unterlagen, welchen eine solche Verbesserung entnommen werden könnte. Die Vorinstanz wiederum hat, nachdem sie die Wiedererwägung grundsätzlich als zulässig erachtet hatte, den Invaliditätsgrad des Beschwerdeführers im Zeitpunkt der neuen Verfügung (vom 30. September 2009) bemessen. Dabei hat sie die Revisionsvoraussetzungen im massgeblichen Zeitraum nicht geprüft, sondern sie ist wie bei einer erstmaligen Invaliditätsbemessung vorgegangen und hat in medizinischer Hinsicht auf die Angaben der Experten des Begutachtunsinstituts X._ abgestellt. Die Frage, ob ein Revisionsgrund nach <ref-law> vorliege, hat das kantonale Gericht nicht abschliessend beantwortet, jedoch dafür gehalten, dass die bei den Akten befindlichen medizinischen Unterlagen eher gegen eine revisionserhebliche Verbesserung der gesundheitlichen Situation sprächen. Eine Änderung der tatsächlichen Verhältnisse, die geeignet ist, den Invaliditätsgrad zu beeinflussen, sei unwahrscheinlich.
4.2 Mangels Auseinandersetzung mit den Revisionsvoraussetzungen im Sinne von <ref-law> in der Rentenherabsetzungsverfügung vom 30. September 2009 und im Fall der lediglich kursorischen Behandlung dieser Frage im vorinstanzlichen Entscheid vom 15. Januar 2010 kann sich das Bundesgericht nicht damit befassen. Die Rentenherabsetzung bildet zwar Anfechtungs- und Streitgegenstand (<ref-ruling> E. 2a - c S. 415 ff.), wurde aber nicht unter revisionsrechtlichem Gesichtswinkel geprüft. Die Vorinstanz hat die Frage, ob ein Revisionsgrund vorliege, nicht abschliessend beantwortet, sondern nur erwogen, die bei den Akten liegenden Unterlagen sprächen prima vista gegen eine erhebliche Verbesserung des Gesundheitszustandes. Daher sah folgerichtig auch der Beschwerdeführer davon ab, die Revisionsvoraussetzungen anzufechten. Die Aktenlage und die vorinstanzlichen Feststellungen erlauben keine hinreichenden Aussagen zur Entwicklung des Gesundheitszustandes des Beschwerdeführers im massgeblichen Beurteilungszeitraum und ermöglichen keine hinreichend schlüssige Beantwortung der Frage nach der Zulässigkeit einer revisionsweisen Herabsetzung der Invalidenrente, weshalb es unumgänglich ist, dass eine mit voller Überprüfungsbefugnis ausgestattete Behörde die erforderlichen medizinischen und erwerblichen Abklärungen trifft und hernach entscheidet.
4.3 Ob die Voraussetzungen für die im März 2006 von Amtes wegen eingeleitete Rentenrevision mit Herabsetzung der ganzen auf eine Viertelsrente erfüllt sind, wird die IV-Stelle, an welche die Sache zu diesem Zweck zurückzuweisen ist, in Nachachtung von <ref-law> und der hiezu ergangenen Rechtsprechung zu prüfen haben.
5. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (<ref-law>). Diese hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Schwyz vom 15. Januar 2010 und die Verwaltungsverfügung vom 30. September 2009 aufgehoben. Die Sache wird an die IV-Stelle Schwyz zurückgewiesen, damit sie über die Revision der Invalidenrente neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Schwyz auferlegt.
3. Die IV-Stelle Schwyz hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Schwyz zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 4. Mai 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer