Sachverhalt:
A. Der 1963 geborene, seit 2001 im Bereich PC-Support selbstständig erwerbstätige W._ meldete sich am 15. April 2005 unter Hinweis auf einen Bandscheibenvorfall bei der Invalidenversicherung zum Leistungsbezug an. Am 24. Oktober 2001 hatte er einen Auffahrunfall erlitten. Nach Beizug diverser Arztberichte, verschiedensten Abklärungen in medizinischer und erwerblicher Hinsicht (unter anderem Abklärung für Selbstständigerwerbende vom 8. November 2006, Teilnahme an einem Arbeitsprogramm von Mai bis September 2006), einem weiteren Auffahrunfall am 3. Dezember 2007 und erneuten medizinischen Abklärungen im medizinischen Abklärungsinstitut X._, Gutachten vom 15. April 2008; psychiatrische Abklärung durch die RAD-Ärztin Dr. med. E._ vom 28. Oktober 2008), wies die IV-Stelle des Kantons St. Gallen nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 9. Januar 2009 einen Rentenanspruch des W._ mit der Begründung ab, bei einer um 20 % verminderten Arbeitsfähigkeit bestehe ein rentenausschliessender Invaliditätsgrad von unter 40 %.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 14. Juli 2011 ab.
C. W._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine angemessene Invalidenrente ab 1. Oktober 2002 auszurichten. Eventualiter sei die Sache zur weiteren Abklärung an die Vorinstanz zurückzuweisen.
Am 26. September 2011 - mithin nach Ablauf der Beschwerdefrist - reichte W._ zusätzlich zur Beschwerde seines Rechtsvertreters eine eigene Stellungnahme ein.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; BGE 133 II 249 E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 BGG).
1.2 Die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose, die ärztliche Stellungnahme zu dem noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich festgestellte Arbeits(un)fähigkeit betreffen Tatfragen (BGE 132 V 393 E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen. Soweit hingegen die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage (BGE 132 V 393 E. 3.2 S. 398). Die konkrete Beweiswürdigung stellt eine Tatfrage dar (BGE 132 V 393 E. 3.3 S. 399; Urteil 8C_304/2011 vom 6. Juli 2011 E. 1).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine Invalidenrente ab Oktober 2002 hat.
Das kantonale Gericht hat unter Berücksichtigung der intertemporalrechtlichen Fragen, die sich aufgrund der am 1. Januar 2008 im Rahmen der 5. IV-Revision erfolgten Rechtsänderungen stellen (BGE 132 V 215 E. 3.1.1 S. 220, 130 V 445; vgl. Urteil 8C_829/2008 vom 23. Dezember 2008 E. 2.1 mit Hinweisen), die gesetzlichen Bestimmungen und von der Rechtsprechung dazu entwickelten Grundsätze zum Begriff der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG) und der Erwerbsunfähigkeit (Art. 7 ATSG), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG [in der bis 31. Dezember 2007 gültig gewesenen Fassung] und Art. 28 Abs. 2 IVG [in der seit 1. Januar 2008 in Kraft stehenden Fassung]) sowie zum Beweiswert (BGE 134 V 231 E. 5.1 S. 232) und zur Würdigung ärztlicher Berichte und Gutachten (BGE 125 V 351 E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
3. 3.1 Nach einlässlicher und sorgfältiger Würdigung der medizinischen Akten gelangte die Vorinstanz mit der IV-Stelle zum nachvollziehbar begründeten Ergebnis, dass die Arbeitsfähigkeit des Versicherten aufgrund der festgestellten Einschränkungen für körperlich leichte bis gelegentlich mittelschwere Tätigkeiten wie z.B. Büroarbeiten oder Tätigkeiten als EDV-Techniker ohne Überkopfarbeiten oder langdauernde Zwangshaltungen 80 % betrage und der durch einen Prozentvergleich ermittelte Invaliditätsgrad sicher unter 40 % liege. Sie ging davon aus, in internistisch/allgemeinmedizinischer sowie neurologischer Sicht könne auf das Gutachten des medizinischen Abklärungsinstituts X._ abgestellt werden, wonach der Beschwerdeführer voll arbeitsfähig sei; hingegen könne das psychiatrische Teilgutachten des medizinischen Abklärungsinstituts X._ nicht als beweiskräftig qualifiziert werden, weshalb das entsprechende RAD-Gutachten vom 28. Oktober 2008 zu berücksichtigen sei, welches eine psychiatrische Einschränkung der Arbeitsfähigkeit von 20 % feststelle.
3.2 Diese Tatsachenfeststellungen des kantonalen Gerichts sind im letztinstanzlichen Prozess grundsätzlich verbindlich (E. 1).
Der Beschwerdeführer rügt, Vorinstanz und Verwaltung hätten den Sachverhalt unter Verletzung des Untersuchungsgrundsatzes und des Grundsatzes der freien Beweiswürdigung (Art. 43 und 61 lit. c ATSG) ermittelt, indem sie auf das Gutachten des medizinischen Abklärungsinstituts X._ abgestellt hätten. Er stellt einerseits die Beweiskraft eines Gutachtens des medizinischen Abklärungsinstituts X._ grundsätzlich in Frage. Anderseits wendet er ein, wenn wie hier bei einem polydisziplinären Gutachten ein Teilgutachten als nicht beweiskräftig qualifiziert und damit unberücksichtigt gelassen werde, sei das Gutachten als Ganzes beweisuntauglich. Schliesslich weise das Gutachten ohnehin inhaltliche Mängel auf.
Diese Vorbringen ändern indes am vorinstanzlichen Ergebnis nichts; sie lassen die vorinstanzlichen Tatsachenfeststellungen weder als offensichtlich unrichtig noch sonst wie rechtsfehlerhaft erscheinen:
3.2.1 Zunächst ist der Vorinstanz zuzustimmen, dass das Gutachten des medizinischen Abklärungsinstituts X._ die Anforderungen der Rechtsprechung (BGE 134 V 231 E. 5.1 S. 232) grundsätzlich erfüllt. Entgegen der Auffassung des Beschwerdeführers kann einem Gutachten des medizinischen Abklärungsinstituts X._ nicht generell die Beweistauglichkeit abgesprochen werden. Vielmehr wurde im vom Beschwerdeführer zitierten BGE 137 V 210 gerade die (ohne konkrete Indizien gegen die Zuverlässigkeit der Expertise jedenfalls anzunehmende) volle Beweiskraft einer solchen Abklärung und die Unabhängigkeit und Unparteilichkeit der Gutachter bestätigt (BGE 137 V 210 E. 1.3.4 S. 227, vgl. auch Urteil 8C_426/2011 vom 29. September 2011, E. 6.1).
3.2.2 Ebenfalls nicht stichhaltig ist der Einwand, die Nichtberücksichtigung des psychiatrischen Teilgutachtens führe zur Beweisuntauglichkeit eines polydisziplinäres Gutachtens: Polydisziplinär bedeutet in erster Linie, dass unterschiedliche Fachrichtungen involviert sind. Wohl trifft es zu, dass ein zentrales Wesensmerkmal der MEDAS-Gutachten die interdisziplinäre Ausrichtung ist und bei komplexen gesundheitlichen Beeinträchtigungen die Einschätzung der Leistungsfähigkeit auf umfassender, die Teilergebnisse verschiedener medizinischer Disziplinen integrierender Grundlage erfolgen muss (BGE 137 V 210 E. 1.2.4 S. 224). Optimal ist, wenn - unabhängig davon, welche Fachrichtungen bei der Durchführung der polydisziplinären Begutachtung berücksichtigt wurden - die abschliessende, gesamthafte Beurteilung von Kausalität und Arbeitsunfähigkeit auf der Grundlage einer Konsensdiskussion der einzelnen Gutachter oder unter Leitung eines fallführenden Arztes erfolgt, damit die Ergebnisse aus den einzelnen Fachrichtungen zusammengeführt und dargelegt werden können (Urteil 8C_323/2007 E. 4.3.2 mit Hinweisen). Zwingende Voraussetzung für die Beweistauglichkeit eines polydisziplinären Gutachtens ist dies jedoch nicht. Mit anderen Worten verletzt das Abstellen auf ein polydisziplinäres Gutachten Art. 43 Abs. 1 ATSG nicht allein schon deshalb, weil einem Teilgutachten der Beweiswert abgesprochen und ein anderes Fachgutachten eingeholt wird. Denn letztlich beurteilt sich die Frage, ob ein Gutachten beweiskräftig ist oder nicht, stets anhand des konkreten Einzelfalls bzw. danach, ob sich gestützt auf die Expertise die rechtsrelevanten Fragen beantworten lassen oder nicht. Dies ist hier in Anbetracht der schlüssigen Beurteilungen in internistisch/allgemeinmedizinischer sowie neurologischer Hinsicht im Gutachten des medizinischen Abklärungsinstituts X._ sowie mit Blick auf das ausführliche und schlüssige psychiatrische Gutachten der RAD-Ärztin (welche auch die somatischen Beschwerden des Versicherten und die entsprechenden Untersuchungsergebnisse des medizinischen Abklärungsinstituts X._ in ihre Beurteilung miteinbezogen hat) der Fall.
3.2.3 Soweit der Beschwerdeführer schliesslich als inhaltlichen Mangel erneut vorbringt, im neurologischen Teilgutachten seien wesentliche Befunde gar nicht oder nur ungenügend gewürdigt worden, hat die Vorinstanz bereits einlässlich und zutreffend dargelegt, weshalb die Gutachter die mittels MRI festgestellte Kompression der Nervenwurzel C4 nicht bestreiten und damit die Ergebnisse der MRI-Abklärung berücksichtigt haben, trotzdem aber schliessen, dass kein morphologisches Korrelat für die Leiden des Beschwerdeführers vorliege, diese also nicht durch die Nervenwurzelkompression ausgelöst werden und deshalb letztlich auch die Einstellparameter am MRI-Gerät nicht bekannt sein müssen. Die Schlussfolgerungen der Vorinstanz sind überzeugend begründet; der Beschwerdeführer vermag nicht darzutun, inwiefern deren Feststellungen offensichtlich unrichtig, mit Blick auf das dem Versicherungsträger zustehende Ermessen bei der Sachverhaltsabklärung (SVR 2007 UV Nr. 33 S. 111) unvollständig oder sonst wie bundesrechtswidrig sein sollten. Gleiches gilt für die vorinstanzlichen Ausführungen zur Frage, weshalb nicht auf die Einschätzungen des Dr. med. E._ abgestellt werden kann.
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Februar 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein Franke