Sachverhalt: A. S._, geboren 1954, war am 22. Januar 2007 von einer Leiter gefallen und hatte sich dabei Schädel-, Thorax- und Hüftkontusionen sowie eine Commotio cerebri zugezogen. Am 20. April 2007 waren beim Tragen von schweren Säcken mit Erde plötzlich Rückenschmerzen aufgetreten, und am 27. April 2007 musste sich S._ einer Diskushernienoperation (Sequesterektomie L5/S1) unterziehen. Am 27. Juli 2007 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an unter Hinweis darauf, dass er unter anhaltenden Rückenbeschwerden leide. Die IV-Stelle Zug holte Berichte der behandelnden Ärzte ein und liess den Versicherten durch ihren Regionalen Ärztlichen Dienst (RAD) orthopädisch und psychiatrisch untersuchen (Berichte vom 9. März und 28. April 2009, Zusammenfassung vom 6. Mai 2009). Mit Verfügung vom 30. Oktober 2009 lehnte sie den Anspruch auf eine Invalidenrente ab. B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 27. Januar 2011 ab. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm eine ganze Invalidenrente zuzusprechen; des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege für das vor- und das letztinstanzliche Verfahren. Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.