Sachverhalt:
A. Der 1959 geborene G._, als Linienbusschauffeur tätig, wurde 1980 erstmals am rechten Knie operiert. Nach einer Kreuzbandruptur 1985 und einem Distorsionstrauma beim Skifahren im Februar 2001 wurde im Oktober 2001 eine Tibiavalgisations-Osteotomie durchgeführt. Am linken Knie wurde dreimal eine Arthroskopie durchgeführt, zudem erfolgte im Mai 2008 eine Osteotomie mit entsprechender Metallentfernung im Jahre 2009. Am 25. Februar 2009 meldete sich G._ unter Hinweis auf "Knie- und Rückenprobleme" bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht sowie nach durchgeführtem Vorbescheidverfahren wies die IV-Stelle des Kantons Luzern mit Verfügung vom 3. Dezember 2010 einen Anspruch auf Leistungen der Invalidenversicherung (berufliche Massnahmen und Rente) ab.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Luzern mit Entscheid vom 29. August 2011 ab.
C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, die IV-Stelle sei zu verpflichten, den medizinischen Sachverhalt sowie die Leistungsfähigkeit in einer zumutbaren Tätigkeit unter Beizug der SUVA-Akten abzuklären. Eventualiter sei die Vorinstanz zu verpflichten, mittels spezialärztlichem Gutachten die Leistungsfähigkeit abzuklären. Subeventualiter sei ihm eine halbe IV-Rente zuzusprechen.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen (BSV) verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2. Das kantonale Gericht hat die gesetzlichen Bestimmungen und von der Rechtsprechung dazu entwickelten Grundsätze zum Begriff der Erwerbsunfähigkeit (Art. 7 ATSG) und der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 2 IVG) sowie zum Beweiswert (<ref-ruling> E. 5.1 S. 232) und zur Würdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine Invalidenrente hat. Berufliche Massnahmen, über die die Verwaltung abschlägig befunden hat, sind vor Vorinstanz nicht mehr beantragt worden. Im Vordergrund steht die Frage, ob der für die Beurteilung der zumutbaren Arbeitsfähigkeit massgebende Sachverhalt genügend abgeklärt wurde.
3.1 Nach Würdigung der medizinischen Aktenlage kam die Vorinstanz zum Schluss, die Kurzbegutachtung des Dr. med. Z._, Orthopädische Chirurgie FMH, vom 16. Juli 2009, welcher fortgeschrittene Gonarthrosen beidseits sowie eine Lumbago diagnostizierte und die Arbeitsfähigkeit auf 50% schätzte, sei zur Beurteilung der Arbeitsfähigkeit ebenso wenig beachtlich wie der Bericht des Hausarztes Dr. med. B._, Allgemeine Medizin FMH, vom 20. November 2011, der medial betonte Pangonarthrosen beidseits sowie lumbale Beschwerden bei stark degenerativ veränderter Lendenwirbelsäule (LWS) diagnostiziert und die andauernde Arbeitsunfähigkeit als Linienbuschauffeur auf 50% geschätzt habe. Hingegen sei auf die Beurteilung des RAD-Arztes Dr. med. A._, Facharzt Orthopädische Chirurgie und Traumatologie des Bewegungsapparates, vom 24. März 2010 abzustellen, welcher keine orthopädischen Diagnosen mit Auswirkungen auf die Arbeitsfähigkeit als Linienbusfahrer und damit keine Einschränkung der Arbeitsfähigkeit in dieser Tätigkeit festgestellt habe. Der ausführliche Bericht, der infolge eines medizinischen Standortgesprächs erstattet worden sei, beruhe auf einer persönlichen Untersuchung des Versicherten und sei in Kenntnis der Vorakten erstellt worden; er sei beweiskräftig. In antizipierter Beweiswürdigung könne auf den verlangten Beizug der SUVA-Akten verzichtet werden, da sich diese auf weit zurückliegende Unfallgeschehen beziehen würden und daraus keine weiteren Erkenntnisse zu erwarten seien.
3.2 Der Beschwerdeführer rügt eine Verletzung des Untersuchungsgrundsatzes sowie eine willkürliche Beweiswürdigung. Er macht geltend, weder die IV-Stelle noch die Vorinstanz hätten die SUVA-Akten beigezogen, sondern allein auf den Bericht des RAD-Arztes Dr. med. A._ abgestellt, obwohl er den Beizug der SUVA-Akten bereits im Vorbescheidverfahren verlangt habe.
4.1 4.1.1 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (Art. 106 Abs. 1 BGG).
4.1.2 Der Untersuchungsgrundsatz besagt, dass der Versicherungsträger und das Gericht von Amtes wegen - unter Vorbehalt der Mitwirkungspflicht der Parteien - für die richtige und vollständige Abklärung des rechtserheblichen Sachverhaltes zu sorgen haben (<ref-ruling> E. 2 S. 195, 122 V 157 E. 1a S. 158, je mit Hinweisen; vgl. auch <ref-ruling> E. 3.5 S. 559).
4.2 Tatsächlich beantragte der Beschwerdeführer schon im Vorbescheidverfahren den Beizug der SUVA-Akten, ohne dies jedoch weiter zu begründen, sondern unter Verweis auf Arztberichte des Dr. med. W._, Spital X._, vom 6. November 2008 sowie des Dr. med. Z._ vom 16. Juli 2009.
4.2.1 Die IV-Stelle verwarf den Antrag auf Beizug der SUVA-Akten in ihrer Verfügung vom 3. Dezember 2010 mit der Begründung, sie habe alle wesentlichen und beurteilungsrelevanten medizinischen Eckdaten vollumfänglich berücksichtigt. Diese Daten seien in die versicherungsmedizinische Einschätzung mit einbezogen worden. Aus orthopädisch-chirurgischer Sicht könne die Einschätzung von SUVA-Kreisarzt Dr. med. M._ vom 12. Dezember 2005 auch heute noch bestätigt werden. Die Arbeitsunfähigkeit könne ab Mai 2008 schlüssig beurteilt werden. Ein Beizug der alten SUVA-Akten könne den versicherungsmedizinischen Sachverhalt nicht zusätzlich erhellen.
In der vorinstanzlichen Vernehmlassung führte die IV-Stelle aus, im Einwand gegen den Vorbescheid sei der Beizug der SUVA-Akten beantragt worden, ohne den Antrag näher zu begründen. Diese würden sich auf Unfallgeschehen am rechten Knie aus den Jahren 1980, 1985 und 2001 beziehen, wobei der Versicherte danach wieder eine volle Arbeitsfähigkeit erlangt habe. Der diesbezügliche Abschlussbericht des Kreisarztes der SUVA, Dr. med. M._ vom 12. Dezember 2005 sei der IV-Stelle vorgelegen. Dr. med. A._ habe am 12. Oktober 2010 denn auch festgehalten, dass von einem Beizug der alten Akten in Bezug auf die aktuelle Einschätzung der Arbeitsfähigkeit keine weiteren Erkenntnisse zu erwarten wären und er, wie bereits Dr. med. M._ im Jahre 2005, zum Schluss einer vollen Arbeitsfähigkeit als Buschauffeur komme. Inwiefern der Kreisarztbericht von Dr. med. M._ vom 12. Dezember 2005 und die noch älteren Akten der SUVA an der schlüssigen und nachvollziehbaren Einschätzung der aktuellen Arbeitsfähigkeit, welche auf Grund umfassender aktueller Befunde und klinischer Untersuchungen verfasst wurde, etwas zu ändern vermöchte, sei nicht ersichtlich und werde vom Beschwerdeführer auch nicht begründet vorgebracht.
4.2.2 Tatsächlich war die IV-Stelle allein auf Grund der Tatsache, dass der Beschwerdeführer früher einen Unfall erlitten hatte, nicht gehalten, die SUVA-Akten beizuziehen. Eine solche grundsätzliche Verpflichtung ergibt sich weder aus dem Gesetz, noch bestehen entsprechende Weisungen des BSV, wenngleich die IV-Stellen üblicherweise die UV-Akten beiziehen (vgl. dazu auch Rz. 2024 des Kreisschreibens des BSV über Invalidität und Hilflosigkeit in der Invalidenversicherung, KSIH, wonach zur Feststellung des Umfangs der Leistungspflicht mit der betreffenden Versicherung Kontakt aufzunehmen ist, wenn sich aus der Anmeldung ergibt, dass bereits ein Träger der UV. die MV oder die ALV Eingliederungsmassnahmen gewährt oder dass offensichtlich Ansprüche auf derartige Leistungen bestehen, eine Verpflichtung zum Aktenbeizug aber nicht erwähnt wird). Sodann hatte das kantonale Gericht keine Veranlassung, allein auf Grund des Berichts des Kreisarztes Dr. med. M._ vom 12. Dezember 2005 die SUVA-Akten einzuholen, sondern konnte davon ausgehen, dass aus dem Beizug der SUVA-Akten keine neue Erkenntnisse zu gewinnen wären, zumal die späteren Arztberichte das krankheitsbedingt zu operierende linke Knie betrafen und der Beschwerdeführer seinen Antrag auf Aktenbeizug nicht weiter begründete.
4.3 Sodann ergibt sich entgegen der Auffassung des Beschwerdeführers auch auf Grund der Diskrepanz in der Einschätzung der Arbeitsfähigkeit zwischen dem Bericht des RAD-Arztes Dr. med. A._ und den Berichten des Hausarztes Dr. med. B._ und des Dr. med. Z._ kein weiterer Abklärungsbedarf:
Die Vorinstanz hat zutreffend dargetan, weshalb sie dem Bericht des RAD-Arztes vollen Beweiswert zuerkannt und zur Beurteilung der Arbeitsfähigkeit des Beschwerdeführers vollumfänglich darauf abgestellt hat. Insbesondere hat sie sich einlässlich mit den davon abweichenden Einschätzungen der Arbeitsunfähigkeit durch die Dres. med. Z._ und B._ auseinandergesetzt und nachvollziehbar erläutert, weshalb diese die Beurteilung durch den RAD-Arzt nicht ernsthaft in Zweifel zu ziehen vermögen. Der Vorwurf der Verletzung des Grundsatzes der freien, pflichtgemässen und umfassenden Beweiswürdigung durch das kantonale Gericht ist damit unbegründet. Insbesondere kann allein daraus, dass die Vorinstanz dabei zu anderen Ergebnissen gelangt ist, die mit dem vom Versicherten vertretenen Standpunkt nicht übereinstimmen, keine willkürliche Beweiswürdigung abgeleitet werden. Vielmehr kommt auch den Berichten und Gutachten versicherungsinterner Ärzte Beweiswert zu, sofern sie als schlüssig erscheinen, nachvollziehbar begründet sowie in sich widerspruchsfrei sind und keine Indizien gegen ihre Zuverlässigkeit bestehen (<ref-ruling> E. 3b/ee S. 353 f.; Urteil 9C_323/2009 vom 14. Juli 2009, in: SVR 2009 IV Nr. 56 E. 4.3.1 [in Bezug auf Stellungnahmen des RAD]), was hier der Fall ist.
Die konkrete Beweiswürdigung und das daraus gezogene Ergebnis ist auch nicht offensichtlich unrichtig: Der Bericht des RAD-Arztes Dr. med. A._ anlässlich des Standortgesprächs mit dem Versicherten vom 24. März 2010 berücksichtigt nicht nur die Vorakten und beruht zudem auf eigenen Untersuchungen, er ist auch sehr ausführlich und differenziert insbesondere klar zwischen den objektiven und subjektiven Befunden. Zudem setzt sich Dr. med. A._ eingehend mit dem ergonomischen Tätigkeitsprofil des Linienbusschauffeurs und dessen Auswirkungen auf die Kniegelenke auseinander. Schliesslich führt er auch schlüssig aus, weshalb die Beurteilung des Dr. med. Z._ nicht zu überzeugen vermag. Demgegenüber sind die Ausführungen im Kurzgutachten des Dr. med. Z._ vom 16. Juli 2007, das zu Handen der Krankentaggeldversicherung erstattet wurde und bei der Frage der Arbeitsfähigkeit zum gleichen Schluss kommt wie der Hausarzt Dr. med. B._ in seinem Bericht vom 20. November 2009, auch für ein "Kurzgutachten" sehr knapp gehalten. Bei der Beurteilung der zumutbaren Arbeitsfähigkeit stellt der Arzt zudem auf die subjektiven Aussagen des Versicherten ab, wonach "gemäss den Aussagen des Versicherten ein Vollpensum nicht möglich" ist, ohne dass er für seine Einschätzung, eine Arbeitsunfähigkeit von 50% sei weiterhin gerechtfertigt, eine nähere Erklärung liefert. Er setzt sich schliesslich auch nicht mit den ergonomischen Anforderungen eines Linienbuschauffeurs auseinander.
Wenn das kantonale Gericht gestützt darauf der Beurteilung der Arbeitsfähigkeit des RAD-Arztes Dr. med A._ den Vorzug gegeben hat gegenüber der Auffassung von Privatgutachter und Hausarzt, ist dies jedenfalls im Lichte der gesetzlichen Kognition (E. 1) nicht zu beanstanden. Die Vorinstanz durfte unter diesen Umständen in antizipierter Beweiswürdigung (<ref-ruling> E. 5.2. S. 69) auf weitere medizinische Abklärungen verzichten, weil davon keine entscheidrelevanten neuen Erkenntnisse zu erwarten waren; sie verstösst damit weder gegen den Untersuchungsgrundsatz (Art. 61 lit. c ATSG) noch gegen den Anspruch auf rechtliches Gehör nach Art. 29 Abs. 2 BV ( <ref-ruling> E. 5.3 S. 148, Urteil 9C_776/2011). Daran ändert entgegen der Auffassung des Beschwerdeführers auch nichts, dass in den zahlreichen Berichten des Spitals X._ keine Einschätzung der Arbeitsfähigkeit in einer Verweisungstätigkeit vorgenommen wurde, war dies doch nicht Gegenstand der Berichte, die sich mit dem Operationsablauf oder dem postoperativen Verlauf beispielsweise 6 Wochen nach dem Eingriff befassten. Schliesslich sind die neu ins Recht gelegten Berichte der SUVA betreffend Integritätsentschädigung und des Dr. med. S._ als unzulässige Noven (Art. 99 Abs. 1) nicht beachtlich.
5. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. Mai 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein Franke