Sachverhalt:
A. Der 1947 geborene C._ meldete sich am 13. Dezember 2004 bei der Invalidenversicherung zum Leistungsbezug an. Gestützt auf medizinische und erwerbliche Abklärungen verneinte die IV-Stelle des Kantons St. Gallen mit Verfügung vom 9. Januar 2009 nach durchgeführtem Vorbescheidverfahren den Anspruch auf eine Invalidenrente, da kein rentenbegründender Invaliditätsgrad vorliege.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 24. August 2010 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt C._ beantragen, es sei ihm in Aufhebung des vorinstanzlichen Entscheids vom 24. August 2010 sowie der Verfügung der IV-Stelle vom 9. Januar 2009 ab Dezember 2004 mindestens eine halbe Invalidenrente zuzusprechen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Hingegen hat unter der Herrschaft des BGG - mit hier nicht interessierenden Ausnahmen (Art. 97 Abs. 2 BGG) - eine freie Überprüfung des vorinstanzlichen Entscheids in tatsächlicher Hinsicht zu unterbleiben (aus jüngster Zeit: Urteil 8C_70/2011 vom 11. März 2011 E. 1).
1.2 Bei den Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich wie auch bei den Ergebnissen der konkreten Beweiswürdigung durch die Vorinstanz grundsätzlich um Tatfragen (BGE 132 V 393 E. 3.2 S. 397 ff.; Urteile 9C_204/2009 vom 6. Juli 2009 E. 4.1, nicht publ. in: BGE 135 V 254, aber in: SVR 2009 IV Nr. 53 S. 164, und 8C_763/2008 vom 19. Juni 2009 E. 1, nicht publ. in: BGE 135 V 306, aber in: SVR 2009 IV Nr. 52 S. 161).
2. Das kantonale Gericht hat die zur Beurteilung des Leistungsanspruchs massgebenden Rechtsgrundlagen und die dazu ergangene Judikatur zutreffend dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie das Vorliegen eines rentenbegründenden Invaliditätsgrades verneinte.
3.1 Das kantonale Gericht ist in pflichtgemässer Würdigung der gesamten Aktenlage zum Ergebnis gelangt, der Beschwerdeführer sei in einer leidensangepassten Tätigkeit 75% arbeitsfähig und die Restarbeitsfähigkeit sei ganztags verwertbar. Es stützt sich dabei insbesondere auf das interdisziplinäre Gutachten des Zentrums X._ vom 5. Juni 2008.
Der Beschwerdeführer wiederholt grösstenteils die bereits im kantonalen Verfahren erhobenen Einwendungen, mit denen sich die Vorinstanz einlässlich auseinandergesetzt hat. Erneut beruft er sich zur Begründung seiner abweichenden Auffassung auf das neurologisch-psychiatrische Gutachten vom 22. Juli 2008, welches in die Gesamtbeurteilung vom 5. Juni 2008 nicht mehr eingeflossen sei. Zudem macht er wiederum geltend, Arbeitsbeginn könne gemäss Gesamtbeurteilung des Zentrums X._ erst um 11 Uhr sein, weshalb dem Beschwerdeführer nur eine Halbtagsbeschäftigung offen stehe.
Die Vorinstanz hat sich mit den verschiedenen Gutachten und Arztberichten eingehend auseinandergesetzt, aufgezeigt, dass die im neurologisch-psychiatrischen Gutachten vom 22. Juli 2008 diagnostizierten Spannungskopfschmerzen im psychiatrischen Teilgutachten zuhanden des Zentrums X._ vom 20. Mai 2008 mitberücksichtigt sind und dargelegt, weshalb sie sich nicht zu einer andern Beurteilung veranlasst sieht. Bezüglich Arbeitsbeginn hat das kantonale Gericht aufgezeigt, dass es sich bei der Festlegung auf 11 Uhr in der Gesamtbeurteilung gegenüber dem internistischen Teilgutachten vom 3. Mai 2008, in welchem von "frühestens 10 Uhr" die Rede ist, mit überwiegender Wahrscheinlichkeit um einen Schreibfehler handelt. Zudem hat es darauf hingewiesen, dass selbst bei einem späteren Arbeitsbeginn die zumutbare Arbeitsleistung von 75% ganztags verwertbar wäre, indem die Arbeitszeit vermehrt in den Abend hinein erstreckt würde. In der Beschwerde wird nichts vorgebracht, was die vorinstanzliche Beweiswürdigung als offensichtlich unrichtig oder rechtsverletzend im Sinne von Art. 95 BGG erscheinen liesse. Soweit das kantonale Gericht in antizipierter Beweiswürdigung von ergänzenden medizinischen Abklärungen absah, ist dies im Rahmen der bundesgerichtlichen Überprüfungsbefugnis ebenfalls nicht zu beanstanden.
3.2 Nicht mehr gerügt wird die konkrete Invaliditätsbemessung durch Einkommensvergleich, weshalb diesbezüglich kein Anlass zu einer näheren Prüfung besteht.
3.3 Zusammenfassend hat es mit der verfügten und vorinstanzlich bestätigten Leistungsabweisung sein Bewenden.
4. Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. April 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Ursprung Kopp Käch