Sachverhalt:
A. C._, geboren 1957, ist gelernter Schreiner und arbeitete seit 1992 als Bus-Chauffeur bei der Firma X._ AG. Unter Hinweis auf Herz- und Lungenbeschwerden meldete er sich am 22. November 2007 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Zug holte Berichte der behandelnden Ärzte Dr. med. R._, FMH Innere Medizin, FMH Kardiologie, Spital Y._, Dr. med. G._, Lungenkrankheiten FMH, Dr. med. K._, Allgemeine Medizin FMH sowie Dr. med. F._, Allgemeine Medizin FMH ein und klärte die erwerbliche Situation ab. Sie unterstützte C._ bei der Suche eines geeigneten Arbeitsplatzes, schloss die Arbeitsvermittlung indessen am 30. November 2009 erfolglos ab. Mit Verfügung vom 23. Juni 2010 lehnte sie den Anspruch auf eine Invalidenrente ab mit der Begründung, dass C._ in einer leidensangepassten Tätigkeit zu 100% arbeitsfähig sei und ein rentenausschliessendes Erwerbseinkommen zu erzielen vermöchte (Invaliditätsgrad: 30%).
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 31. März 2011 ab.
C. C._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des angefochtenen Entscheides sei ihm eine Invalidenrente zuzusprechen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.3 S. 67 f., 134 V 250 E. 1.2 S. 252, je mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen). Neue Tatsachen und Beweismittel dürfen nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (Art. 99 Abs. 1 BGG; <ref-ruling> E. 3 S. 196 ff.). Neue Begehren sind unzulässig (Art. 99 Abs. 2 BGG).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen.
1.3 Bei der Beurteilung der Arbeits(un)fähigkeit der versicherten Person hat sich das Gericht auf schlüssige medizinische Berichte zu stützen. Sofern solche nicht vorliegen oder widersprüchlich sind, sind weitere Abklärungen unabdingbar, ansonsten der Untersuchungsgrundsatz verletzt wird (Art. 43 Abs. 1, Art. 61 lit. c ATSG; <ref-ruling> E. 2 S. 195; <ref-ruling> E. 1a S. 158; <ref-ruling> E. 3.2 S. 183). Dieser zählt zu den in Art. 95 BGG erwähnten bundesrechtlichen Vorschriften (E. 1.1). Hat das kantonale Gericht die rechtserheblichen tatsächlichen Feststellungen in Verletzung des Untersuchungsgrundsatzes getroffen, sind sie für das Bundesgericht nicht verbindlich (Urteile I 828/06 vom 5. September 2007 E. 3.2.3; 8C_364/2007 vom 19. November 2007 E. 3.3).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze zum Begriff der Invalidität (Art. 8 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), zum Anspruch auf eine Invalidenrente (Art. 28 IVG), zur Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (Art. 16 ATSG), zur Aufgabe des Arztes im Rahmen der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99; <ref-ruling> E. 4 S. 261 f.; vgl. auch AHI 2002 S. 62, I 82/01 E. 4b/cc) sowie zum Beweiswert von Arztberichten und medizinischen Gutachten (<ref-ruling> E. 3 S. 352 ff.; vgl. auch <ref-ruling> E. 4.3 S. 468 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3. Die Vorinstanz hat den Stellungnahmen des Hausarztes Dr. med. F._ sowie des Regionalen Ärztlichen Dienstes (RAD) der IV-Stelle, Dr. med. A._, vollen Beweiswert zuerkannt und gestützt darauf eine volle Arbeitsfähigkeit in einer leichten, leidensangepassten Tätigkeit angenommen. Das im angestammten Beruf erzielte Valideneinkommen ermittelte sie anhand der Angaben der Arbeitgeberin mit Fr 85'384.-. Hinsichtlich des Invalideneinkommens stellte sie auf die Durchschnittslöhne gemäss Schweizerischer Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) ab und errechnete ein Jahreseinkommen von Fr. 59'978.90. Im Vergleich resultierte ein Invaliditätsgrad von 30%.
4. Der Beschwerdeführer rügt, dass die Arztberichte nicht schlüssig seien, zumal sich Dr. med. R._ in seinem Bericht vom 17. Mai 2010 nicht ausdrücklich zur zumutbaren Arbeitsfähigkeit in einer leichten Tätigkeit äussere, ihm jedoch schon am 10. Dezember 2007 eine Einschränkung der Leistungsfähigkeit um 30 bis 40% attestiert habe. Die Vorinstanz sei daher zu Unrecht von einer 100%igen Arbeitsfähigkeit und einem entsprechenden Invalideneinkommen ausgegangen. Des Weiteren sei die Leistungseinbusse auch nicht im Rahmen eines leidensbedingten Abzuges vom Tabellenlohn berücksichtigt worden.
5. 5.1 Den ärztlichen Berichten ist Folgendes zu entnehmen.
Gemäss Stellungnahme des Dr. med. R._ vom 3. Dezember 2007 leidet der Beschwerdeführer an einer dilatativen Kardiomyopathie mit chronischer Herzinsuffizienz (NYHA II) sowie einer chronisch obstruktiven Lungenkrankheit (COPD GOLD III). Auch in einer leidensangepassten Tätigkeit sei die Leistungsfähigkeit zu 30-40% eingeschränkt. Dr. med. G._ äusserte sich am 20. Dezember 2007 lediglich dahingehend, dass seitens der Lunge seines Erachtens kein Anspruch auf eine Invalidenrente bestehe. Gemäss Dr. med. A._ vom RAD sprach am 18. April 2008 nichts gegen eine erhebliche Arbeitsfähigkeit in einer körperlich leichten Tätigkeit, nachdem die Herzkrankheit nunmehr medikamentös gut eingestellt sei. Dies gelte auch hinsichtlich der Lungenkrankheit, wobei jedoch fraglich sei, ob die Eingliederung angesichts der Gesamtmorbidität (zusätzlich Schlaf-Apnoe) realistisch sei. Er ergänzte am 6. Juni 2008, dass die Tätigkeit als Bus-Chauffeur namentlich wegen des erhöhten Risikos eines plötzlichen Bewusstseinsverlustes nicht mehr zumutbar sei. Hingegen sei in einer leichten, vorwiegend sitzend zu verrichtenden Tätigkeit mit nur gelegentlichem kurzzeitigem Heben und Tragen von Lasten bis maximal 10kg von einer vollen Arbeitsfähigkeit auszugehen. Er fügte weiter an, dass die Meinungen der betreffenden Fachärzte deckungsgleich und genügend dokumentiert seien, was indessen mit Blick auf die erläuterten spärlichen Angaben nicht zutrifft. Dr. med. R._ berichtete wiederum am 25. Juli 2008, ohne sich indessen zur Arbeitsfähigkeit in einer leidensangepassten Tätigkeit zu äussern. Dr. med. K._ wie auch Dr. med. G._ erachteten die angestammte Tätigkeit als Bus-Chauffeur ebenfalls als nicht mehr geeignet (Stellungnahmen vom 19. und vom 27. August 2008). In einem weiteren Bericht des Dr. med. R._ vom 19. Oktober 2009 finden sich keine Angaben zur Arbeitsfähigkeit in einer leidensangepassten Tätigkeit. Nach Erlass des Vorbescheides und auf Einwand des Beschwerdeführers hin holte die IV-Stelle einen Bericht des Dr. med. F._ vom 27. April 2010 ein. Demnach war der Versicherte für leichtere Arbeiten unter Berücksichtigung der Herzinsuffizienz zu 100% einsetzbar. Dr. med. F._ merkte ausdrücklich an, dass die Belastbarkeit zufolge der Herzinsuffizienz eingeschränkt sei, ohne sich indessen zum Ausmass der Leistungseinbusse zu äussern. Schliesslich ist dem Bericht des Dr. med. R._ vom 17. Mai 2010 zu entnehmen, dass eine körperlich anstrengende Arbeit nicht mehr zumutbar sei, zumal die Dyspnoe länger andauernde körperliche Betätigungen limitiere. Denkbar sei jedoch eine leichte oder sitzende Tätigkeit in einem Teilpensum. Er ergänzt, dass in einer körperlich mittelschweren Tätigkeit eine um 50% reduzierte Arbeitsfähigkeit bestehe.
5.2 Damit liegt zwar eine Vielzahl von Berichten vor, welche von den behandelnden Fachärzten, den Hausärzten sowie vom RAD verfasst wurden. Sie äussern sich indessen - wenn überhaupt - nur rudimentär zur Arbeitsfähigkeit.
Dr. med. A._ vom RAD ging zwar am 18. April 2008 davon aus, dass weder die Herzkrankheit noch das Lungenleiden für sich gesehen gegen eine erhebliche Arbeitsfähigkeit in einer körperlich leichten Tätigkeit spreche, meldete jedoch Bedenken an, ob die Verwertung der Restarbeitsfähigkeit angesichts der Gesamtmorbidität realistisch sei. Am 6. Juni 2008 attestierte er hingegen eine volle Arbeitsfähigkeit. Dr. med. R._ ging am 3. Dezember 2007 ausdrücklich von einer Leistungseinbusse von 30 bis 40% auch in einer leidensangepassten Tätigkeit aus. Am 17. Mai 2010 erachtete er eine leichte oder sitzende Tätigkeit als zumutbar, dies jedoch, wie beschwerdeweise zu Recht geltend gemacht wird, lediglich in einem Teilpensum. Des Weiteren merkt auch Dr. med. F._ in seinem Bericht vom 27. April 2010 ausdrücklich an, dass die Belastbarkeit zufolge der Herzinsuffizienz eingeschränkt sei, ohne sich dazu jedoch näher zu äussern.
Die erörterten Berichte können nach dem Gesagten weder je für sich allein betrachtet noch in der Gesamtheit als schlüssig bezeichnet werden. Die Widersprüchlichkeiten lassen sich auch nicht ohne Weiteres ausräumen, zumal es in den jeweiligen Einschätzungen an einlässlichen Begründungen fehlt. Eine volle Arbeitsfähigkeit attestiert einzig Dr. med. A._ vom RAD.
5.3 Die Rechtsprechung hat Berichten versicherungsinterner medizinischer Fachpersonen zwar stets Beweiswert zuerkannt. Es kommt ihnen jedoch praxisgemäss nicht dieselbe Beweiskraft zu wie einem gerichtlichen oder einem im Verfahren nach Art. 44 ATSG vom Versicherungsträger in Auftrag gegebenen Gutachten. So soll bei Gerichtsgutachten "nicht ohne zwingende Gründe" von den Einschätzungen des medizinischen Experten abgewichen werden. Gutachten externer Spezialärzte, welche von Versicherungsträgern im Verfahren nach Art. 44 ATSG eingeholt wurden und den Anforderungen der Rechtsprechung entsprechen, darf das Gericht vollen Beweiswert zuerkennen, solange "nicht konkrete Indizien gegen die Zuverlässigkeit" der Expertise sprechen. Soll ein Versicherungsfall jedoch ohne Einholung eines externen Gutachtens entschieden werden, so sind an die Beweiswürdigung aus Gründen der Verfahrensfairness strenge Anforderungen zu stellen. Bestehen auch nur geringe Zweifel an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen ärztlichen Feststellungen, so sind ergänzende Abklärungen vorzunehmen (<ref-ruling> E. 4.4 S. 469 f.).
5.4 Mit Blick auf die dargelegten Grundsätze zum Beweiswert von versicherungsinternen Stellungnahmen wie auch darauf, dass sich aus den erörterten Einschätzungen kein schlüssiges Bild über den Gesundheitszustand und die Leistungsfähigkeit des Beschwerdeführers ergibt, wären weitere Abklärungen unabdingbar gewesen, um die bestehenden Zweifel auszuräumen. Insbesondere erfüllen auch die Stellungnahmen des Dr. med. A._ vom RAD und des Hausarztes Dr. med. F._ die rechtsprechungsgemässen Anforderungen nicht. Das kantonale Gericht hat den rechtserheblichen Sachverhalt in Verletzung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln (Art. 61 lit c ATSG) unvollständig festgestellt und Bundesrecht verletzt. Da namentlich die versicherungsinterne Stellungnahme nicht beweiskräftig ist, wird die Vorinstanz ein Gutachten zur Abklärung des Gesundheitszustandes und der Arbeitsfähigkeit des Beschwerdeführers einholen und seinen Anspruch auf eine Invalidenrente gestützt darauf neu beurteilen müssen (<ref-ruling> E. 4.6 S. 471; BGE 9C_243/2010 vom 28. Juni 2011 E. 4.4.1).
6. Bei diesem Ergebnis ist auf die vorinstanzliche Invaliditätsbemessung nicht weiter einzugehen.
7. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem Prozessausgang entsprechend der Beschwerdegegnerin auferlegt (Art. 66 Abs. 1 Satz 1 BGG); des Weiteren hat sie dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Zug vom 31. März 2011 aufgehoben und die Sache an die Vorinstanz zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über die Beschwerde neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. August 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Durizzo