Sachverhalt:
A. S._, geboren 1954, war am 22. Januar 2007 von einer Leiter gefallen und hatte sich dabei Schädel-, Thorax- und Hüftkontusionen sowie eine Commotio cerebri zugezogen. Am 20. April 2007 waren beim Tragen von schweren Säcken mit Erde plötzlich Rückenschmerzen aufgetreten, und am 27. April 2007 musste sich S._ einer Diskushernienoperation (Sequesterektomie L5/S1) unterziehen. Am 27. Juli 2007 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an unter Hinweis darauf, dass er unter anhaltenden Rückenbeschwerden leide. Die IV-Stelle Zug holte Berichte der behandelnden Ärzte ein und liess den Versicherten durch ihren Regionalen Ärztlichen Dienst (RAD) orthopädisch und psychiatrisch untersuchen (Berichte vom 9. März und 28. April 2009, Zusammenfassung vom 6. Mai 2009). Mit Verfügung vom 30. Oktober 2009 lehnte sie den Anspruch auf eine Invalidenrente ab.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 27. Januar 2011 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm eine ganze Invalidenrente zuzusprechen; des Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege für das vor- und das letztinstanzliche Verfahren.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (<ref-law>) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f., 134 V 250 E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; <ref-ruling> E. 3 S. 196 ff.). Neue Begehren sind unzulässig (<ref-law>).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen.
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zum Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>), zum Anspruch auf eine Invalidenrente (<ref-law>), zur Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99; <ref-ruling> E. 4 S. 261 f.; vgl. auch AHI 2002 S. 62, I 82/01 E. 4b/cc) sowie zum Beweiswert von Arztberichten und medizinischen Gutachten (<ref-ruling> E. 3 S. 352 ff.; vgl. auch <ref-ruling> E. 4.3 S. 468 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3. Gestützt auf die Berichte des RAD, denen die Vorinstanz nach Würdigung aller medizinischen Stellungnahmen und unter Berücksichtigung der Einwände des Beschwerdeführers vollen Beweiswert zuerkannt hat, ist sie davon ausgegangen, dass der Beschwerdeführer nach der Operation der diagnostizierten Diskushernie am 27. April 2007 zwar in einem körperlich regelhaft mittelschweren bis schweren Beruf dauerhaft nicht mehr arbeitsfähig sei. Die zuletzt ausgeübten Tätigkeiten, namentlich als Hausmeister, seien indessen leicht bis allenfalls intermittierend mittelschwer gewesen und dem Leiden angepasst. Es bestehe dabei eine volle Arbeitsfähigkeit. Die anhaltende somatoforme Schmerzstörung vermöge keine Arbeitsunfähigkeit zu begründen.
4. Der Beschwerdeführer macht sinngemäss im Wesentlichen geltend, dass Verwaltung und Vorinstanz unter Verletzung des Grundsatzes der Waffengleichheit auf die versicherungsinternen Stellungnahmen abgestellt hätten. Ihm sei das Recht auf den Beweis genommen, indem das kantonale Gericht keine Begutachtung angeordnet habe, denn den Ärzten des RAD fehle es an der erforderlichen Unabhängigkeit und die versicherungsinterne Einschätzung widerspreche den Berichten der behandelnden Ärzte.
5. 5.1 Wie der Beschwerdeführer zu Recht anmerkt, gehören die RAD zur Verwaltung, handelt es sich dabei also um einen versicherungsinternen Dienst (<ref-ruling> E. 3.4.2 in fine S. 260).
5.2 Bei der Begutachtung durch versicherungsexterne Sachverständige stehen den Versicherten besondere partizipatorische Verfahrensrechte zu, die auf präventive Mitwirkung im Rahmen der Gutachtensbestellung abzielen (<ref-law>; <ref-ruling> E. 6-8 S. 380 ff.; in <ref-ruling> nicht publizierte E. 3 des Urteils U 178/04 vom 18. August 2006; in <ref-ruling> nicht publizierte E. 4.2-4.4 des Urteils I 218/06 vom 23. Juli 2007; Präzisierung der Rechtsprechung: <ref-ruling>; BGE 9C_243/2010 vom 28. Juni 2011 E. 3.4.2.9).
Die Bestimmung von <ref-law> ist bei der Abklärung durch versicherungseigene Fachpersonen nicht anwendbar (<ref-ruling>; <ref-ruling> E. 4.2 S. 468; <ref-ruling> E. 3.4 S. 258 f.). Der Anspruch auf rechtliches Gehör ist aber auch im Rahmen der versicherungsinternen Abklärung gewährleistet. Die versicherte Person hat entsprechend den allgemeinen Grundsätzen gemäss <ref-law> das Recht, sich vor Erlass des in ihre Rechtsstellung eingreifenden Entscheids zur Sache zu äussern, erhebliche Beweise beizubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden und an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 4.3.2 S. 469). Das Bundesgericht hat etwa die medizinische Begutachtung einer versicherten Person während eines Rehabilitationsaufenthalts durch die behandelnden Ärzte ohne Wissen der Betroffenen als schwerwiegende Gehörsverletzung qualifiziert (<ref-ruling> E. 4 S. 124 ff.).
Es ist hier darauf nicht weiter einzugehen, da keine entsprechenden Rügen erhoben wurden und im Übrigen auch keine Anhaltspunkte für eine Verletzung des rechtlichen Gehörs bestehen.
5.3 Ein förmlicher Anspruch auf versicherungsexterne Begutachtung besteht im Verfahren um Zusprechung oder Verweigerung von Sozialversicherungsleistungen rechtsprechungsgemäss nicht. Das Bundesgericht hat sich dazu eingehend in <ref-ruling> geäussert und dabei auch die neuere Rechtsprechung des Europäischen Gerichtshofes für Menschenrechte berücksichtigt. Es hat indessen erkannt, dass eine versicherungsexterne Begutachtung dann anzuordnen ist, wenn auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen ärztlichen Feststellungen bestehen. Zu beurteilen war wie hier der Einwand, dass die berichtenden Ärzte aufgrund ihres Arbeitsverhältnisses mit dem Sozialversicherer (i.c. der SUVA) befangen seien und den Berichten der versicherungsinternen Fachpersonen daher kein Beweiswert zukomme, sondern diese als reine Parteibehauptungen zu qualifizieren seien (<ref-ruling> E. 4.1 S. 467).
Das Bundesgericht hat erwogen, dass das Verfahren um Zusprechung oder Verweigerung von Sozialversicherungsleistungen geprägt ist durch ein relativ hohes Mass an Ungleichheit zwischen den Beteiligten zu Gunsten der Verwaltung, weil regelmässig eine versicherte Person gegen einen Sozialversicherungsträger prozessiert, der eine von ihr begehrte Leistung abgelehnt hat. Dieser versicherten Person, die sich oftmals in einer schwierigen sozialen Lage befindet und nur über geringe finanzielle Mittel verfügt, steht eine spezialisierte Fachverwaltung mit erheblichen finanziellen Ressourcen, besonders ausgebildeten Sachbearbeitern und entsprechend geschulten juristischen und medizinischen Fachpersonen gegenüber. Aus Art. 6 Abs. 1 EMRK ergibt sich unter dem Aspekt des Grundsatzes der Waffengleichheit zwischen den Parteien ein Anspruch der versicherten Person, nicht in eine prozessuale Lage versetzt zu werden, aus der sie keine vernünftige Chance hat, ihre Sache dem Gericht zu unterbreiten, ohne gegenüber den anderen Verfahrensbeteiligten klar benachteiligt zu sein.
Auch unter Berücksichtigung dieser Gesichtspunkte ist es grundsätzlich zulässig, dass ein Gericht auf die vom Versicherungsträger korrekt erhobenen Beweise abstellt und auf ein eigenes Beweisverfahren verzichtet (<ref-ruling> E. 4.3 S. 468 f.). Das Bundesgericht hat in <ref-ruling> festgehalten, dass Berichten versicherungsinterner medizinischer Fachpersonen zwar stets Beweiswert zuerkannt wurde, dass ihnen jedoch praxisgemäss nicht dieselbe Beweiskraft wie einem gerichtlichen oder einem im Verfahren nach <ref-law> vom Versicherungsträger in Auftrag gegebenen Gutachten zukommt. So soll bei Gerichtsgutachten "nicht ohne zwingende Gründe" von den Einschätzungen des medizinischen Experten abgewichen werden. Gutachten externer Spezialärzte, welche von Versicherungsträgern im Verfahren nach <ref-law> eingeholt wurden und den Anforderungen der Rechtsprechung entsprechen, darf das Gericht vollen Beweiswert zuerkennen, solange "nicht konkrete Indizien gegen die Zuverlässigkeit" der Expertise sprechen. Soll ein Versicherungsfall jedoch ohne Einholung eines externen Gutachtens entschieden werden, so sind an die Beweiswürdigung strenge Anforderungen zu stellen. Bestehen auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen ärztlichen Feststellungen, so sind ergänzende Abklärungen vorzunehmen (<ref-ruling> E. 4.3.2 u. 4.4 S. 469 f.).
Aus dem Grundsatz der Waffengleichheit folgt gemäss <ref-ruling> das Recht der versicherten Person, mittels eigener Beweismittel die Zuverlässigkeit und Schlüssigkeit der ärztlichen Feststellungen der versicherungsinternen Fachpersonen in Zweifel zu ziehen. Diese von der versicherten Person eingereichten Beweismittel stammen regelmässig von behandelnden Ärztinnen und Ärzten oder von anderen medizinischen Fachpersonen, die in einem auftragsrechtlichen Verhältnis zur versicherten Person stehen. Da sich die behandelnden Ärztinnen und Ärzte zudem in erster Linie auf die Behandlung zu konzentrieren haben, verfolgen deren Berichte nicht den Zweck einer den abschliessenden Entscheid über die Versicherungsansprüche erlaubenden objektiven Beurteilung des Gesundheitszustandes und erfüllen deshalb kaum je die materiellen Anforderungen an ein Gutachten gemäss <ref-ruling> E. 3a S. 352. Aus diesen Gründen und aufgrund der Erfahrungstatsache, dass Hausärzte mitunter im Hinblick auf ihre auftragsrechtliche Vertrauensstellung im Zweifelsfall eher zu Gunsten ihrer Patienten aussagen (<ref-ruling> E. 3a/cc S. 353 mit weiteren Hinweisen), wird im Streitfall eine direkte Leistungszusprache einzig gestützt auf die Angaben der behandelnden Ärztinnen und Ärzte denn auch kaum je in Frage kommen (<ref-ruling> E. 4.5 S. 470 f.). Die von der versicherten Person aufgelegten Berichte sind jedoch daraufhin zu prüfen, ob sie auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der Feststellungen versicherungsinterner Ärztinnen und Ärzte wecken. Um solche Zweifel auszuräumen, wird das Gericht entweder ein Gerichtsgutachten anzuordnen oder die Sache an den Versicherungsträger zurückzuweisen haben, damit dieser im Verfahren nach <ref-law> eine Begutachtung veranlasst (<ref-ruling> E. 4.6 S. 471).
5.4 Zusammenfassend ist mit Blick auf die Rügen des Beschwerdeführers festzuhalten, dass Verwaltung und Vorinstanz nach der dargelegten Rechtsprechung ohne Verletzung des Grundsatzes der Waffengleichheit auf die Berichte des RAD abstellen durften, sofern die Beweismittel des Beschwerdeführers keine Zweifel an deren Zuverlässigkeit und Schlüssigkeit zu begründen vermochten (dazu nachfolgend E. 8, 10 und 11). Letztinstanzlich ist dabei unter Berücksichtigung der eingeschränkten Kognition entscheidwesentlich, ob anhand der Vorbringen des Beschwerdeführers auf eine offensichtliche Unrichtigkeit der diesbezüglichen Feststellungen des kantonalen Gerichts zu schliessen ist; ansonsten ist das Bundesgericht daran gebunden.
6. Es besteht rechtsprechungsgemäss kein Anspruch auf anwaltliche Verbeiständung anlässlich einer medizinischen Begutachtung (<ref-ruling>). Gleiches gilt auch für einen medizinisch ausgebildeten Begleiter (Urteil I 991/06 vom 7. August 2007 E. 3). Auf den diesbezüglichen Einwand des Beschwerdeführers ist daher nicht weiter einzugehen.
7. Dem Untersuchungsbericht des RAD ist zu entnehmen, dass die Abklärung des Beschwerdeführers am 6. November 2008 von 09.30 Uhr bis um 15.15 Uhr gedauert hat und unter Anwesenheit eines Übersetzers durchgeführt wurde. Die Rüge, dass der Beschwerdeführer seinen Standpunkt bei der IV-Stelle mangels Deutschkenntnissen nicht habe darlegen können, ist daher nicht begründet.
8. Zum Einwand, dass eine Läsion einer Nervenwurzel ausgewiesen sei, und zu den geklagten, nach Auffassung des Versicherten darauf zurückzuführenden Beschwerden hat sich das kantonale Gericht einlässlich und zutreffend geäussert. Es kann darauf verwiesen werden. Entscheidwesentlich ist, dass Dr. med. A._, welcher zur neurologischen Abklärung konsultiert wurde, zur Arbeitsfähigkeit ausdrücklich nicht Stellung nehmen wollte. Demgegenüber wird im Untersuchungsbericht des RAD insbesondere eingehend beschrieben, dass bei der gerichteten Untersuchung im Liegen ein motorisches Defizit bezüglich der Grosszehenheber- und Vorfusssenkerfunktion augenfällig gewesen sei. Dies habe sich auch in der neurologischen Testung durch Dr. med. A._ gezeigt, könne aber selbst durch die elektromyographischen Veränderungen nicht hinlänglich erklärt werden. Die vom Beschwerdeführer demonstrierte Schwäche sei als willkürlich einzuordnen, zumal bei der ungerichteten Untersuchung ein unauffälliges flüssiges Barfuss- und beschuhtes Gangbild mit offenkundig intakter Vorfussheber- und Grosszehenheberfunktion zu beobachten war, was das in der gerichteten Untersuchung gezeigte Defizit widerlegte. Im Übrigen erwähnt der RAD-Gutachter mehrfach, dass die Angaben des Versicherten hinsichtlich der Symptome und der Schmerzen trotz differenzierter Erhebung diffus, inkonsistent und kaum konkretisierbar gewesen seien. Diskrepanzen fänden sich auch in der Anamnese. Schliesslich sei nebst der Verdeutlichungstendenz eine ungenügende Kooperation und mangelnde Leistungsbereitschaft festzustellen gewesen, indem der Versicherte diverse Funktionstests abgebrochen habe, bevor Zeichen von Anstrengung oder eine funktionelle Limitierung wie etwa Muskelverspannungen oder Ausweichbewegungen objektivierbar gewesen seien (vgl. dazu <ref-ruling> E. 1.2 S. 51). Der RAD-Gutachter konnte lediglich noch ein residuelles S1-Syndrom diagnostizieren, wodurch der Beschwerdeführer in der angestammten Tätigkeit nicht eingeschränkt sei.
9. Der Beschwerdeführer macht geltend, dass er beim Unfall vom 22. Januar 2007 ein Schädel-Hirntrauma sowie Hüft- und Rückentorsionen erlitten habe, was zu Unrecht nicht näher abgeklärt worden sei. Zur Kopfverletzung hat sich das kantonale Gericht eingehend geäussert. Dass sich der Versicherte beim erwähnten Unfall Kontusionen (nicht aber Torsionen) zugezogen hat, ist aktenkundig; indessen bestehen, wie auch bezüglich der damals erlittenen Commotio cerebri, nach Lage der Akten keinerlei Anhaltspunkte dafür, dass diese Verletzungen zu anhaltenden Beschwerden geführt hätten.
10. Der Beschwerdeführer beschränkt sich im Übrigen darauf, sich pauschal auf die Stellungnahmen seiner behandelnden Ärzte zu berufen, welche vom Untersuchungsbericht des RAD abweichen würden, ohne diese jedoch näher zu benennen oder weiter darzulegen, inwiefern sie der Einschätzung des RAD widersprechen sollen. Es liegen keine Berichte vor, die bezüglich der massgeblichen Frage der Arbeitsfähigkeit zu einer anderen Beurteilung führen müssten.
Dies gilt, wie bereits ausgeführt, zunächst hinsichtlich der (diesbezüglich fehlenden) Stellungnahme des Dr. med. A._, namentlich aber auch für die Ärzte der Klinik X._; sie teilten der IV-Stelle am 8. August 2007 mit, dass sie die gestellten Fragen nicht beantworten könnten, da sie den Patienten nach der Operation beziehungsweise seit dem unmittelbar postoperativen Verlauf nicht mehr beurteilt hätten. Einzig die Hausärztin Frau Dr. med. C._ hat sich dazu am 2. September 2007 ausdrücklich geäussert und eine Arbeitsunfähigkeit bis zum 31. August 2007 attestiert. Es ist indessen unbestritten, dass der Beschwerdeführer vorübergehend zufolge der Rückenbeschwerden in der Arbeitsfähigkeit eingeschränkt war. Aktenmässig nicht ausgewiesen ist jedoch, dass auch nach der Rückenoperation im April 2007 eine erhebliche und anhaltende Arbeitsunfähigkeit bestanden hätte (vgl. <ref-law> in der bis zum 31. Dezember 2007 geltenden Fassung; nunmehr Art. 28 Abs. 1 lit. b und c IVG).
11. Zusammengefasst wird beschwerdeweise nicht nachvollziehbar substantiiert, inwiefern die Stellungnahmen der behandelnden Ärzte Anlass zu Zweifeln an der Schlüssigkeit und Zuverlässigkeit der Einschätzung des RAD hinsichtlich der Arbeitsfähigkeit zu geben vermöchten, was indessen entscheidwesentlich wäre. Insbesondere trifft es auch nicht zu, dass der Anspruch des Beschwerdeführers auf eine Invalidenrente trotz einer von der Hausärztin attestierten (vollumfänglichen) Arbeitsunfähigkeit abgelehnt worden sei. Die Rüge, dass die Arztberichte widersprüchlich seien und zur Beurteilung des Rentenanspruchs am 30. Oktober 2009 (<ref-ruling> E. 3.1.1 S. 220) die Einholung eines versicherungsexternen Gutachtens angezeigt gewesen wäre, ist damit unberechtigt. Die Einwände des Beschwerdeführers vermögen eine offensichtliche Unrichtigkeit der vorinstanzlichen Sachverhaltsfeststellungen beziehungsweise eine diesbezügliche Rechtsverletzung nicht zu begründen. Mit dem kantonalen Gericht ist auf die beantragten weiteren Abklärungen zu verzichten und auf das versicherungsinterne Gutachten abzustellen, wonach die zuletzt ausgeübten Tätigkeiten dem Rückenleiden beziehungsweise den nach der Operation anhaltenden Restbeschwerden angepasst sind und diesbezüglich eine volle Arbeitsfähigkeit besteht.
12. Das Verfahren ist kostenpflichtig (<ref-law>). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 65 Abs. 4 lit. a in Verbindung mit <ref-law>).
Gemäss <ref-law> wird einer Partei die unentgeltliche Rechtspflege nur gewährt, wenn sie bedürftig ist und ihr Rechtsbegehren nicht aussichtslos erscheint. Bedürftigkeit ist gegeben, wenn die Gesuch stellende Person ohne Beeinträchtigung des für sie und ihre Familie nötigen Lebensunterhaltes nicht in der Lage ist, die Prozesskosten zu bestreiten (<ref-ruling> E. 2.5.1 S. 232, 127 I 202 E. 3b S. 205, 125 IV 161 E. 4a S. 164). Es obliegt dem Gesuchsteller, seine aktuellen Einkommens- und Vermögensverhältnisse umfassend aufzuzeigen und zu belegen. Kommt der Gesuchsteller diesen Obliegenheiten nicht nach, ist das Gesuch abzuweisen (<ref-ruling>; Urteil 6B_482/2007 vom 12. August 2008 E. 21.2).
Der Beschwerdeführer hat schon im vorinstanzlichen Verfahren um Gewährung der unentgeltlichen Rechtspflege ersucht. Nachdem das kantonale Gericht diesbezüglich fehlende Unterlagen und Angaben angefordert hatte, hat er seinen Antrag zunächst zurückgezogen unter Hinweis darauf, dass er das Auskunftsbegehren als unzumutbar umfangreich und weitgehend erachte, dann aber erneut ein entsprechendes Gesuch gestellt. Nachdem er wiederum zur Einreichung der bereits früher einverlangten Belege aufgefordert worden war, berief er sich darauf, dass er vom Sozialdienst der Stadt Y._ unterstützt werde. Mit Verfügung vom 27. Oktober 2010 lehnte das kantonale Gericht das Gesuch um unentgeltliche Verbeiständung ab mit der Begründung, dass der Beschwerdeführer trotz entsprechender Aufforderung namentlich weder die letzte Steuererklärung, eine allfällige Verfügung über Prämienverbilligung in der Krankenversicherung noch aktuelle Bankkontoauszüge eingereicht habe, dass ungeklärt geblieben sei, ob auch sein Sohn, welcher offiziell Mieter der vom Beschwerdeführer als Adresse angegebenen Wohnung sei, in seinem Haushalt lebe, und dass der Beschwerdeführer schliesslich zusammen mit seiner Ehefrau Eigentümer einer Wohnung gewesen sei, die am 13. Juni 2008 verkauft worden sei. Die Vorinstanz stellte fest, dass der Erlös aus diesem Verkauf gemäss Veranlagungsentscheid der Einwohnergemeinde M._ über die Grundstückgewinnsteuer (vom 14. September 2009) Fr. 550'000.- betragen habe und selbst unter Berücksichtigung der Rückerstattung von Sozialhilfeleistungen und nach Abzug der Grundstückgewinnsteuer noch ein Betrag von über Fr. 500'000.- verblieben sei. Aus diesem Grund, weil der Beschwerdeführer die Einreichung weiterer Unterlagen verweigert habe und weil schliesslich auch die Abrechnungen des Sozialdienstes der Stadt Y._ ("Budgets SKOS") über die Vermögensverhältnisse keine Angaben enthielten, könne die Bedürftigkeit nicht beurteilt werden und gelte daher als nicht ausgewiesen.
Es wird beschwerdeweise nicht begründet, weshalb diese Beurteilung zu beanstanden sei. Erst nachträglich wird ein Schreiben des Sozialdienstes der Stadt Y._ vom 22. März 2011 ins Recht gelegt, mit welchem dieser bestätigt, den Beschwerdeführer finanziell zu unterstützen. Des Weiteren fehlt es namentlich an jeglichen Belegen über die Vermögensverhältnisse. Damit ist die Bedürftigkeit nicht ausgewiesen. Da die Beschwerde diesbezüglich nicht begründet wird, ist auf den geltend gemachten Anspruch auf Parteientschädigung im Verfahren vor dem kantonalen Gericht nicht weiter einzugehen, und das Gesuch um unentgeltliche Verbeiständung ist auch für das letztinstanzliche Verfahren abzuweisen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. August 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Durizzo