Sachverhalt:
A. B._ (geboren 1968) meldete sich am 2. April 2003 zum Bezug von Leistungen der Invalidenversicherung an, nachdem ihm bereits vom 1. Dezember 1991 bis 31. August 1992 eine ganze Rente zugesprochen worden war. Gestützt auf die Gutachten des Dr. med. L._, FMH Innere Medizin und Rheumaerkrankungen, vom 31. August 2005 und des Dr. med. K._, FMH Psychiatrie und Psychotherapie, vom 8. April 2006 wies die IV-Stelle des Kantons Solothurn mit Verfügung vom 23. Oktober 2006 einen Anspruch auf berufliche Massnahmen und auf Invalidenrente ab. Diese Verfügung bestätigte das Versicherungsgericht des Kantons Solothurn auf Beschwerde hin mit Entscheid vom 21. Dezember 2007.
Am 21. April 2008 gelangte B._ erneut an die IV-Stelle, da sein gesundheitlicher Zustand neue Erkenntnisse ergebe. Dr. med. S._, Allgemeine Medizin FMH, diagnostizierte im Arztbericht vom 3. Juni 2008 folgende Leiden mit Auswirkung auf die Arbeitsfähigkeit: ein lumbospondylogenes Schmerzsyndrom mit St. n. Spondylodese L4/5 1991 bei Spondylolisthesis, mit verstärkter Reizung SI seit 11/2007 rechts und ein chronisch rez. cervikoradikuläres Schmerzsyndrom bei intraforaminaler DH C4/5 und Osteochondrose und Spondylose C5/6 seit 2001. Mit Verfügung vom 22. Juli 2008 erteilte die IV-Stelle Kostengutsprache für ein Aufbautraining/Potenzialabklärung vom 18. August bis 14. September 2008. Das Assessment wurde gemäss Bericht des Amtes für Wirtschaft und Arbeit des Kantons Solothurn (Logistik arbeitsmarktliche Massnahmen) vom 6. Oktober 2008 im Bereich Mechanik abgebrochen. Daraufhin holte die IV-Stelle ein bidisziplinäres Gutachten bei Dr. med. O._, Facharzt Rheumatologie und Rehabilitation FMH, vom 7. Januar 2010 und bei Dr. med. W._, Psychiatrie und Psychotherapie FMH, vom 26. Januar 2010 ein. Die Gutachter kamen zur Beurteilung, dass sich die somatischen Beschwerden gegenüber der Begutachtung durch Dr. med. L._ nicht wesentlich verändert hätten. Aus psychiatrischer Sicht sei eine Arbeitsunfähigkeit von maximal 10% und gesamthaft eine solche von 20 bis maximal 25% für leichte bis mittelschwere Tätigkeit ohne Überkopfarbeit und ohne Extension der Halswirbelsäule gegeben. Im Vorbescheid vom 16. Juli 2010 stellte die IV-Stelle die Ablehnung eines Rentenanspruchs in Aussicht. Mit Einwand zum Vorbescheid legte B._ einen neuropsychologischen Bericht der Dr. phil. C._ vom 29. Juli 2010 vor. Am 11. Oktober 2010 reichte er weitere Akten, darunter ein von ihm in Auftrag gegebenes Privatgutachten des Dr. med. H._, Facharzt FMH für Neurologie, vom 22. September 2010 ein. Zu diesem Gutachten nahm Dr. med. E._, Facharzt Allgemeine Medizin FMH, vom Regionalen Ärztlichen Dienst der Invalidenversicherung (RAD) am 28. Februar 2011 Stellung. Mit Verfügung vom 20. April 2011 wies die IV-Stelle den Rentenanspruch ab und hielt dabei fest, der Versicherte habe bei einem Invaliditätsgrad von 38% Anspruch auf berufliche Massnahmen. Am 27. April 2011 teilte B._ der IV-Stelle mit, dass er berufliche Massnahmen ausdrücklich wünsche.
B. B._ erhob gegen die rentenablehnende Verfügung vom 20. April 2011 Beschwerde. Nach Durchführung einer öffentlichen Verhandlung wies das Versicherungsgericht des Kantons Solothurn die Beschwerde mit Entscheid vom 29. Februar 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, in Aufhebung des vorinstanzlichen Entscheides seien ihm ab wann rechtens die gesetzlichen Leistungen (inkl. berufliche Eingliederungsmassnahmen) nach Massgabe eines Invaliditätsgrades von mindestens 40% nebst Verzugszins zuzusprechen; eventualiter sei ein ergänzendes interdisziplinäres Gutachten (unter Einbezug der rheumatologischen, psychiatrischen, neurologischen und neuropsychologischen Fachrichtung) einzuholen. Ferner seien die vollständigen Akten der SUVA inkl. Taggeld- und Heilungskostenabrechnung von Amtes wegen beizuziehen und die IV-Stelle habe die Honorarrechnung des Dr. med. H._ in Höhe von CHF 5'000.-- und diejenige der Dr. phil. C._ von CHF 2'890.-- zu übernehmen.

Erwägungen:
1. 1.1 Die Beschwerde kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist somit weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (vgl. <ref-ruling> E. 2.5 S. 262; <ref-ruling> E. 1.4 S. 140). Gemäss <ref-law> ist die Beschwerde hinreichend zu begründen, andernfalls wird darauf nicht eingetreten (<ref-law>). Das Bundesgericht prüft grundsätzlich nur die geltend gemachten Rügen; es ist nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu prüfen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden.
1.2 Das Bundesgericht prüft die Verletzung von Grundrechten nicht von Amtes wegen, sondern nur insoweit, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Hier muss die Beschwerdeschrift die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 2.2 S. 246).
1.3 Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). Die Voraussetzungen für eine Sachverhaltsrüge nach <ref-law> und für eine Berichtigung des Sachverhalts von Amtes wegen nach <ref-law> stimmen im Wesentlichen überein. Soweit es um die Frage geht, ob der Sachverhalt willkürlich oder unter verfassungswidriger Verletzung einer kantonalen Verfahrensregel ermittelt worden ist, sind strenge Anforderungen an die Begründungspflicht der Beschwerde gerechtfertigt. Entsprechende Beanstandungen sind vergleichbar mit den in <ref-law> genannten Rügen. Demzufolge genügt es nicht, einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten. Vielmehr ist in der Beschwerdeschrift nach den erwähnten gesetzlichen Erfordernissen darzulegen, inwiefern diese Feststellungen willkürlich bzw. unter Verletzung einer verfahrensrechtlichen Verfassungsvorschrift zustande gekommen sind. Andernfalls können Vorbringen mit Bezug auf einen Sachverhalt, der von den Feststellungen im angefochtenen Entscheid abweicht, nicht berücksichtigt werden. Vorbehalten bleiben offensichtliche Sachverhaltsmängel im Sinne von <ref-law>, die dem Richter geradezu in die Augen springen (<ref-ruling> E. 6.2 S. 288; <ref-ruling> E. 1.4.3 S. 255).
2. 2.1 Gegenstand des vorliegenden Beschwerdeverfahrens ist der Rentenanspruch des Beschwerdeführers. Wie die Vorinstanz zutreffend anführt (E. 6a), ist es zulässig, dass über den Rentenanspruch befunden wird, bevor über berufliche Massnahmen entschieden worden ist, wenn der Invaliditätsgrad weniger als 40% beträgt (Urteil 9C_150/2012 vom 30. August 2012 E. 5.4). Die gegenteilige Auffassung des Beschwerdeführers wurde schon im Urteil 8C_696/2008 vom 3. Juni 2009 (E. 12) widerlegt. Auf das Begehren um Gewährung von beruflichen Massnahmen ist daher nicht einzutreten. Wie die Beschwerdegegnerin in der Verfügung vom 20. April 2011 festgehalten hat, steht dem Beschwerdeführer ein Anspruch auf berufliche Massnahmen zu. Dem Beschwerdeführer fehlt es daher abgesehen davon, dass konkrete berufliche Massnahmen gar nicht Verfahrensgegenstand darstellen, angesichts der Zusicherung der Beschwerdegegnerin auch an einem Rechtsschutzinteresse, dass vorliegend über berufliche Massnahmen befunden wird.
2.2 Der Beschwerdeführer hält trotz des Hinweises der Vorinstanz, dass medizinische Massnahmen seit 1. Januar 2008 nur noch an unter 20-Jährige Versicherte gewährt werden können (seit 1. Januar 2008 geänderter Wortlaut von <ref-law>; zur übergangsrechtlichen Lage siehe Urteile 8C_419/2009 vom 3. November 2009 E. 3 und 8C_606/2011 vom 13. Januar 2012 E. 3.5 und 3.6), daran fest, dass zuerst noch medizinische Eingliederungsmassnahmen abzuwarten seien. Die Durchführung von allfälligen weiteren medizinischen Behandlungen bildet kein Hindernis für die Prüfung der Rentenfrage, da auch ohne zusätzliche Heilbehandlungen der Beschwerdeführer bereits in seinem Gesundheitszustand, wie er sich im massgebenden Zeitpunkt des Verfügungserlasses präsentierte, keinen rentenbegründenden Invaliditätsgrad aufwies.
3. 3.1 Wurde eine Rente wegen eines zu geringen Invaliditätsgrades verweigert, wird eine neue Anmeldung nur geprüft, wenn die gesuchstellende Person glaubhaft macht, dass sich der Grad der Invalidität in einer für den Anspruch erheblichen Weise geändert hat (Art. 87 Abs. 3 und 4 IVV). Tritt die IV-Stelle auf eine Neuanmeldung ein, hat sie - und im Beschwerdefall das kantonale Versicherungsgericht oder das Bundesverwaltungsgericht - wie bei einer Revision nach <ref-law> zu prüfen, ob sich die tatsächlichen Verhältnisse seit Erlass der letzten, auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Ermittlung des Invaliditätsgrades beruhenden Verfügung verändert haben (<ref-ruling> E. 3.2.3 S. 75 ff.; vgl. auch <ref-ruling>). Ist das zu verneinen, weist sie das Gesuch mit dieser Begründung ab (Urteil des Eidg. Versicherungsgerichts I 96/06 vom 26. Mai 2006 E. 2); andernfalls hat sie zu prüfen, ob aufgrund der festgestellten Veränderung nunmehr eine anspruchsbegründende Invalidität besteht (<ref-ruling> E. 3a S. 198; Urteil 9C_733/2007 vom 3. April 2008 E. 1). Dazu hat sie den Invaliditätsgrad auf der Grundlage eines richtig und vollständig festgestellten Sachverhalts und ohne Bindung an frühere Invaliditätsschätzungen neu zu ermitteln (vgl. Urteil 9C_215/2010 vom 20. April 2010 E. 1.1 sowie 9C_1059/2009 vom 4. August 2010 E. 2).
3.2 Wie von der Vorinstanz richtig ausgeführt, ist massgebender Bezugspunkt, ob sich der Gesundheitszustand des Beschwerdeführers verändert hat, die Verfügung vom 23. Oktober 2006, die im Wesentlichen auf dem im Gutachten des Dr. med. L._ und Dr. med. K._ festgestellten Gesundheitszustand basierte. Somit ist zu prüfen, ob sich der Gesundheitszustand des Beschwerdeführers vom 23. Oktober 2006 bis zum Verfügungserlass vom 20. April 2011 verändert hat.
4. 4.1 Die Beschwerdegegnerin holte für die Beurteilung des Gesundheitszustandes des Beschwerdeführers ein bidisziplinäres Gutachten bei Dr. med. O._ und Dr. med. W._ vom 7. und 26. Januar 2010 ein. Von Dr. med. O._ wurde aus somatischer Sicht eine Einschränkung der Arbeitsfähigkeit von 15% und von Dr. med. W._ aus psychiatrischer Sicht eine solche von maximal 10% ermittelt, wobei die beiden angegebenen Einschränkungsgrade an Arbeitsunfähigkeit zu addieren seien. Die Beschwerdegegnerin hat darauf beruhend in einer unselbstständigen Erwerbstätigkeit eine Arbeitsfähigkeit von mindestens 75% angenommen. Der Beschwerdeführer macht eine offensichtlich unrichtige Sachverhaltsfeststellung geltend, weil nicht auf das neurologische Privatgutachten des Dr. med. H._ vom 22. September 2010 abgestellt worden sei.
4.2 Vom Beschwerdeführer wird beanstandet, dass keine neurologische Begutachtung veranlasst worden sei. Die bidisziplinäre rheumatologische und psychiatrische Begutachtung wurde nach entsprechender Anweisung des RAD-Arztes Dr. E._ veranlasst. Aufgabe des RAD ist es, eine umfassende Einordnung vorzunehmen, welche Fachdisziplinen an der Begutachtung zu beteiligen sind (vgl. das Urteil 9C_906/2010 vom 5. April 2011 = SVR 2011 IV Nr. 67 E. 3.4.2). Daher ist nicht zu beanstanden, dass die Fachrichtungen Rheumatologie und Psychiatrie bei der Begutachtung vertreten waren und nicht auch noch die Fachrichtung der Neurologie. Die beiden Gutachter O._ und W._ haben auch keinen Hinweis angebracht, dass noch zusätzliche Abklärungen in einem weiteren medizinischen Fachbereich für eine Begutachtung erforderlich sein sollten, um eine umfassende Beurteilung vorzunehmen.
4.3 Dr. med. H._ war bereits behandelnder Arzt des Beschwerdeführers, wie aus seinem Schreiben vom 20. Mai 2010 hervorgeht, bevor er sein Privatgutachten vom 22. September 2010 erstellte. Behandelnde Ärzte sollten jedoch nicht als Gutachter betraut werden, da sowohl Befangenheit gegenüber dem eigenen Patienten wie auch dem eigenen Behandlungsergebnis gegenüber nicht von vornherein ausgeschlossen werden kann (vgl. GABRIELA RIEMER-KAFKA [Hrsg.]; Versicherungsmedizinische Gutachten, 2. Aufl. 2012, S. 35). Die therapeutische und gutachterliche Tätigkeit des Arztes führt zu einer doppelten Rollenverteilung, weil einerseits der Arzt dem Wohle seines Patienten verpflichtet ist, andernteils aber auch seinem Auftraggeber gegenüber zur grösstmöglichen Objektivität. Damit wird der Versicherte gleichzeitig Patient und Explorand, was zu Zielkonflikten führen kann. Daher sollten als Gutachter die behandelnden Ärzte grundsätzlich nicht betraut werden (ULRICH MEYER in: HERMANN FREDENHAGEN, Das ärztliche Gutachten, 4. Aufl. 2003, S. 22). Daher war Dr. med. H._ nicht dazu geeignet, gutachterlich tätig zu werden. Er hätte daher schon zum Vornherein in Beachtung seiner ärztlichen Sorgfaltspflicht einen solchen Begutachtungsauftrag ablehnen müssen. Die von Dr. med. H._ angeführte Kritik am bidisziplinären Gutachten ist daher nicht als Kritik eines weiteren Gutachters, sondern lediglich als des den Beschwerdeführer behandelnden Arztes zu hören. Auch die Ausführungen von Dr. phil. C._ stellen keine Begutachtung dar, sondern sind lediglich die Ergebnisse einer im Auftrag des behandelnden Neurologen durchgeführten neuropsychologischen Untersuchung. Daher ist angesichts der gar nicht gegebenen Gutachterqualität von Dr. med. H._ und Dr. phil. C._ der Vorwurf an die Vorinstanz, diese hätte eine "Leugnung hinsichtlich der einzig vorliegenden fachärztlich-neurologischen und neuropsychologischen gutachtlichen Einschätzung durch Dr. med. H._ und Dr. med. C._" begangen, unberechtigt. Es liegt somit auch keine Verletzung von Art. 6 Ziff. 1 EMRK vor.
4.4 Inhaltlich ist die vom Beschwerdeführer gestützt auf die Ausführungen des ihn behandelnden Neurologen Dr. med. H._ vorgebrachte Kritik am bidisziplinären Gutachten O._/W._ unzutreffend. Dr. med. H._ führt an, im Mittelpunkt stehe eine ausgeprägte Cervikobrachialgie rechts. Im bidisziplinären Gutachten O._/ W._ wurde jedoch als Diagnose mit Auswirkung auf die Arbeitsfähigkeit ein chronisches Zervikocephalsyndrom mit/bei Myofascialschmerzsyndrom der Nackenmuskulatur mit Schmerzausstrahlung parietal und fascial rechts und chronischem zervikospondylogenen Syndrom bei degenerativen Veränderungen der HWS mit Ostechondrose C5/C6 mit Status nach Zervikobrachialsyndrom C6 rechts, aktuell mit Restsyndrom in Form Areflexie der Bicepssehnenreflexe rechts, ohne Reizsymptomatik festgehalten, so dass den Gutachtern nicht vorgeworfen werden kann, sie hätten bei ihrer Expertise eine relevante Diagnose übersehen.
4.5 Der Beschwerdeführer beanstandet des weitern, dass der Gutachter O._ kein eigenes MRI veranlasst und dass er nicht über die vom früheren Gutachter L._ zitierten Bilder verfügt habe. Demgegenüber habe Dr. med. H._ ein eigenes MRI veranlasst. Dem ist entgegenzuhalten, dass Dr. med. H._ selber zwar anführt, dass die radiologischen Befunde hauptsächlich eine Osteochondrose und Spondylose C5/6 mit Foramenstenose rechts zeigen würden. Jedoch hält er gleichzeitig fest, dass klinisch-neurologisch keine motorischen radikulären Ausfälle bestehen würden. Die Schwäche der rechten oberen Extremität sei Resultat der chronischen Schmerzen und der Kettentendomyose. Somit sind jedoch auch unter Berücksichtigung des von Dr. med. H._ erstellten CT keine Befunde gegeben, die klinisch-neurologisch eine Beeinträchtigung der Arbeitsfähigkeit bewirken würden. Damit ist aber auch die Kritik, dass von Dr. med. O._ kein eigenes CT respektive MRI veranlasst wurde, unberechtigt. Lediglich aus einer anders gewichteten Diagnose (geringgradig anstatt ausgeprägt) lässt sich neurologisch keine Veränderung der Arbeitsfähigkeit ableiten, wenn gleichzeitig keine motorischen radikulären Ausfälle klinisch-neurologisch festgestellt werden können.
4.6 Dr. med. H._ kritisiert, dass sowohl von Dr. med. L._ als auch von Dr. med. O._ eine tiefere Einschätzung der Arbeitsunfähigkeit erfolge als von den behandelnden Ärzten des Beschwerdeführers, die auf eine 50%ige Arbeitsfähigkeit schliessen würden (Schreiben Dr. med. H._ vom 11. Juli 2011). Damit wird aber von Dr. med. H._ indirekt bestätigt, dass zwischen der Begutachtung durch Dr. med. L._ und durch Dr. med. O._ gar keine Verschlechterung des Gesundheitszustandes im somatischen Bereich eingetreten ist. Dies wird von Dr. med. O._ auch explizit so angeführt. Die abweichenden Angaben betreffend die Arbeitsunfähigkeit des Beschwerdeführers durch die ihn behandelnden Ärzte (auch schon vor der Begutachtung durch Dr. med. L._; vgl. den Arztbericht Dr. med. S._ vom 29. Juni 2005), welche die Arbeitsunfähigkeit stets mit 50% bezifferten, zu der von den Gutachtern L._ und O._ festgestellten Arbeitsunfähigkeit von lediglich 10% sind Folge der verschiedenen Aufgabenstellung bei Behandlungs- und Begutachtungsauftrag. Wegen der unterschiedlichen Natur von Behandlungsauftrag des therapeutisch tätigen (Fach-)Arztes und Begutachtungsauftrag des amtlich bestellten medizinischen Experten (<ref-ruling>, E. 4) ist es indessen nicht geboten, ein Administrativ- oder Gerichtsgutachten stets in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte zu anders lautenden Einschätzungen gelangen (Urteil 8C_260/2011 vom 25. Juli 2011, E. 5.2). Wie dargelegt können von den behandelnden Ärzten des Beschwerdeführers keine Aspekte benannt werden, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind. Die Vorinstanz hat daher zu Recht auf die bidisziplinären Begutachtung O._/W._ für die Beurteilung des Gesundheitszustandes des Beschwerdeführers abgestellt. Somit bestand auch kein Anlass für die Vorinstanz, selber ein Gutachten einzuholen. Wenn die Vorinstanz festhält, dass dem Gutachten O._/W._ voller Beweiswert zuzuerkennen ist und dies auch ausführlich begründet, so kann darin keine Verletzung von <ref-law> respektive Art. 6 Ziff. 1 EMRK erblickt werden.
4.7 Gutachter Dr. med. O._ hat die entsprechenden Berichte der den Beschwerdeführer behandelnden Ärzte, in welchen jeweils Arbeitsunfähigkeitsgrade von 50% aufgeführt wurden, in seinem Gutachten wiedergegeben. Somit hat er seine Beurteilung in Kenntnis dieser Berichte vorgenommen. Im Rahmen einer Begutachtung ist nicht erforderlich, dass zu jedem Bericht der behandelnden Ärzte Stellung genommen wird, wenn in diesen Berichten ein von den Erkenntnissen des Gutachters abweichender Grad der Arbeitsunfähigkeit angegeben wird. Insbesondere muss dies auch im vorliegenden Fall gelten, wo die gleiche Höhe an Arbeitsunfähigkeit von Dr. med. S._ bereits vor der Begutachtung durch Dr. med. L._ attestiert wurde und somit gerade auch aus dem Vergleich dieser Berichte auf eine unveränderte gesundheitliche Situation des Beschwerdeführers von Dr. med. O._ im Vergleich zur Begutachtung durch Dr. med. L._ geschlossen werden konnte.
5. Der Beschwerdeführer rügt, dass kein Beizug der Unfallakten stattgefunden habe. Jedoch wird von ihm selber nicht behauptet, dass er im massgebenden Zeitraum vom 23. Oktober 2006 bis 20. April 2011 einen Unfall erlitten habe, so dass unfallbedingt auch keine Veränderung des Gesundheitszustandes bewirkt werden konnte. Daher war der Beizug dieser Akten entbehrlich und die Vorinstanz konnte darauf verzichten.
6. 6.1 Soweit der Beschwerdeführer vorbringt, Art. 6 Ziff. 1 EMRK garantiere auch das Recht, vor dem Gericht Beweismassnahmen durchzuführen, namentlich ihn behandelnde Ärzte zu befragen, kann ihm nicht beigepflichtet werden. Nach Art. 6 Ziff. 1 EMRK hat jedermann Anspruch darauf, dass seine Sache in billiger Weise öffentlich von einem unabhängigen Gericht gehört wird. Statuiert wird die Öffentlichkeit der Verhandlung. Dem Anspruch ist Genüge getan, wenn die Partei ein Plädoyer halten kann. Zu Fragen des Beweisverfahrens, namentlich der Beweisabnahme, enthält Art. 6 Ziff. 1 EMRK keinerlei konkrete Anordnungen zuhanden der staatlichen Gerichte. Die Weigerung, Zeugen einzuvernehmen, verletzt auch nicht per se den Grundsatz der Waffengleichheit, sondern ist als antizipierte Beweiswürdigung zulässig, wenn der rechtserhebliche Sachverhalt umfassend abgeklärt wurde und von zusätzlichen Beweismassnahmen keine neuen Erkenntnisse erwartet werden können (Urteil 8C_257/2012 vom 7. Mai 2012 E. 5.3). Auch aus dem vom Beschwerdeführer zitierten <ref-ruling> kann nichts Gegenteiliges abgeleitet werden.
6.2 Der Beschwerdeführer beanstandet, dass der ihn behandelnde Arzt Dr. med. E._, Facharzt für Anästhesiologie FMH, durch die Vorinstanz hätte befragt werden müssen. Der Beschwerdeführer zeigt in seinen Ausführungen aber nicht auf, welche Erkenntnisse aus einer solchen Befragung hätten gewonnen werden können. Vom Beschwerdeführer wird lediglich dargelegt, weil die Beschwerdegegnerin behaupte, in den Akten liessen sich keine neurologischen Ausfallerscheinungen finden, dränge sich eine Befragung von Dr. med. E._ auf. Dr. med. E._ ist jedoch als Facharzt für Anästhesiologie ohnehin nicht in der Lage, weiterführende Angaben über neurologische Befunde zu machen als solche, die in den Akten bereits vorhanden sind. Überdies wurde ein Bericht des den Beschwerdeführer behandelnden Arztes Dr. med. S._ vom 3. Juli 2008 eingeholt, der auch einen Bericht des Dr. med. P._, FMH für Rheumatologie, vom 9. November 2007 vorlegte. Ebenso hielt Dr. med. P._ im Bericht vom 23. Juni 2009 fest, dass sämtliche von ihm gestellten Diagnosen mit Auswirkung auf die Arbeitsfähigkeit schon seit 1990 respektive 2001, also schon lange vor der Begutachtung durch Dr. med. L._, bestehen. Allein aus einem vom Beschwerdeführer erwähnten (aber nicht belegten) Gewichtsverlust von 25% und einer Beckenbandentzündung kann nicht eine Verschlechterung des Gesundheitszustandes gegenüber dem Zeitpunkt der Begutachtung durch Dr. med. O._ und Dr. med. W._ abgeleitet werden. Auch ist festzustellen, dass diese angebliche Verschlechterung des Gesundheitszustandes im Rahmen der umfangreichen Eingaben zum Vorbescheid und den dort vorgelegten Akten nicht erwähnt wurde, so dass daraus zu schliessen ist, dass eine solche - wenn überhaupt - erst nach dem massgebenden Zeitpunkt des Verfügungserlasses manifest wurde. Erstmals wurde eine angebliche Verschlechterung des Gesundheitszustandes im Rahmen der Beschwerde bei der Vorinstanz angeführt, wobei dort nur eine Gewichtsabnahme und sonst nichts Konkretes erwähnt wurde. Bei einer allfälligen Gewichtsabnahme wäre auch zu berücksichtigen, dass im Gutachten Dr. med. O._ ein Gewicht von 96 kg bei einer Körpergrösse von 169 cm angegeben wurde. Der Beschwerdeführer hat auch nach Ablehnung seines Beweisantrages auf die Einholung eines Verlaufsberichtes bei Dr. med. E._ am 29. August 2011 bis zum Zeitpunkt der mündlichen Verhandlung vom 10. Januar 2012 mehrere Monate Zeit gehabt, selber einen solchen Bericht bei dem ihn offenbar behandelnden Arzt einzuholen und dem Gericht vorzulegen, was er aber nicht vorkehrte. Eine Verschlechterung des Gesundheitszustandes des Beschwerdeführer bis zum massgebenden Zeitpunkt des Verfügungserlasses kann daher nicht mit überwiegender Wahrscheinlichkeit als erstellt betrachtet werden. Bei hinreichender Aussagekraft der vorhandenen Arztberichte und Gutachten, was insbesondere für letztere zutrifft, kann auf die Einholung weiterer Arztberichte und somit auch auf die Befragung von behandelnden Ärzten verzichtet werden. Eine entsprechende antizipierte Beweiswürdigung ist zulässig (Urteil 8C_738/2011 vom 3. Februar 2012 E. 5.3.2). Damit war der Verzicht der Vorinstanz auf eine Befragung von Dr. med. E._ bundesrechtskonform.
7. Der Beschwerdeführer stellt schliesslich den von der Vorinstanz bei Ermittlung des Invaliditätsgrades vorgenommenen Abzug vom Tabellenlohn in Frage.
7.1 Ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vom Tabellenlohn vorzunehmen ist, stellt eine vom Bundesgericht frei überprüfbare Rechtsfrage dar (Urteil 8C_652/2008 vom 8. Mai 2009 E. 4 in fine, nicht publiziert in: <ref-ruling>). Die Frage nach der Höhe des (im konkreten Fall grundsätzlich angezeigten) Abzuges vom Tabellenlohn dagegen ist eine Ermessensfrage. Deren Beantwortung ist letztinstanzlicher Korrektur nur mehr dort zugänglich, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also bei Ermessensüberschreitung, -missbrauch oder -unterschreitung (vgl. zu diesen Rechtsbegriffen Urteil I 793/06 vom 4. Oktober 2007 E. 2.3, in: Plädoyer, 2008/1 S. 69; <ref-ruling> E. 3.3 S. 399; Urteile 9C_368/2009 vom 17. Juli 2009 E. 2.1 und 9C_643/2010 vom 27. Dezember 2010 E. 3.2).
7.2 Die konkrete Berechnung des Invaliditätsgrades durch die Vorinstanz zieht der Beschwerdeführer nicht in Zweifel. Die Vorinstanz hat den Abzug vom Tabellenwert in Höhe von 10% ausführlich begründet. Die vom Beschwerdeführer geübte Kritik, dass die Beschwerdegegnerin den Tabellenlohnabzug nicht begründet habe, ist daher nicht gerechtfertigt, denn massgebend für die Beurteilung sind die diesbezüglichen Ausführungen der Vorinstanz, mit denen sich der Beschwerdeführer, insbesondere in Ziff. 35 auf S. 36 f. seiner Beschwerdeschrift, nicht in rechtsgenüglicher Weise, auseinandersetzt. Ein allfälliger Mangel der Verwaltungsverfügung wird durch das Vorgehen der Vorinstanz geheilt. Weitere Positionen der konkreten Berechnung des Invaliditätsgrades rügt der Beschwerdeführer nicht. Damit ist der von der Vorinstanz ermittelte Invaliditätsgrad von 38% zu bestätigen. Somit liegt kein rentenbegründender Invaliditätsgrad vor. Die Beschwerde ist dementsprechend abzuweisen, soweit auf sie überhaupt einzutreten ist.
8. Aufgrund des Ausgangs des Verfahrens hat der Beschwerdeführer die Kosten desselben zu tragen (Art. 66 Abs. 1 und 68 Abs. 1 BGG). Eine Parteientschädigung ist dementsprechend an den Beschwerdeführer nicht auszurichten. Auch hat der Beschwerdeführer die Kosten der von ihm veranlassten Berichte der Dr. phil. C._ und des Dr. med. H._ selber zu tragen, da diese, wie in vorstehender Ziffer 4.3 dargelegt, für die Entscheidfindung nicht als relevant betrachtet werden können. Die Beschwerdegegnerin hat, obwohl sie aufgrund des Prozessergebnisses als obsiegend zu betrachten ist (vgl. <ref-ruling> E. 6.1 S. 235 mit Hinweisen), keinen Anspruch auf Parteientschädigung (<ref-law>; <ref-ruling> E. 6.1 S. 235, 128 V 124 E. 5b S. 133 f., 126 V 143 E. 4a und b S. 150 f.)

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 24. Oktober 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer