Sachverhalt: A. Der 1965 geborene Hugo A._ arbeitete zuletzt bis Mai 1988 als angelernter Bauspengler, als er sich am 29. Juni 1988 unter Angabe eines Bandscheibenschadens bei der Invalidenversicherung zum Leistungsbezug anmeldete. Mit Verfügung vom 26. Januar 1995 sprach ihm die IV-Stelle des Kantons Schwyz ab 1. Juli 1994, im Wesentlichen gestützt auf eine polydisziplinäre Expertise der Abklärungsstelle vom 1. September 1994, eine ganze Invalidenrente zu, nachdem eine vorgängig gewährte Umschulung zum technischen Kaufmann gescheitert war. Diese Rente wurde in den Jahren 1996, 1998, 2002, 2005 und 2007 in Revision gezogen, jedoch unverändert belassen. Im Rahmen eines weiteren, im Oktober 2008 eingeleiteten, Rentenrevisionsverfahrens liess die IV-Stelle den Versicherten erneut bei der Abklärungsstelle interdisziplinär abklären (Gutachten vom 2. September 2010). Mit Verfügung vom 11. Februar 2011 hob die IV-Stelle die Rente daraufhin per Ende März 2011 auf. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 17. Mai 2011 ab. C. Hugo A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei ihm eine ganze Rente zuzusprechen. Eventuell sei ihm bis zum Abschluss von allfälligen medizinischen und beruflichen Massnahmen weiterhin eine ganze Invalidenrente auszurichten. Ferner beantragt er die unentgeltliche Rechtspflege. IV-Stelle und Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.