Sachverhalt:
A. Der 1954 geborene N._ war seit 1992 als selbstständiger Rollladen- und Storenmonteur tätig. Am 6. Februar 2009 meldete er sich unter Hinweis auf Schulter-, Nacken- und Rückenbeschwerden bei der Invalidenversicherung zum Leistungsbezug (Rente) an. Die IV-Stelle des Kantons Schwyz führte in der Folge medizinische und erwerbliche Abklärungen durch, veranlasste ein Gutachten beim Zentrum X._, vom 11. November 2009 und holte einen Abklärungsbericht für Selbstständigerwerbende vom 23. März 2010 ein. Nach durchgeführtem Vorbescheidverfahren wies sie mit Verfügung vom 12. Mai 2011 das Leistungsbegehren des Versicherten ausgehend von einem Invaliditätsgrad von 25 % ab.
B. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 11. August 2011 insoweit gut, als es feststellte, dass der Versicherte Anspruch auf Berufsberatung und Arbeitsvermittlung habe. Im Übrigen wies es die Beschwerde ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte unter Beilage eines Ärztlichen Zeugnisses des Dr. med. A._, FMH für Psychiatrie und Psychotherapie, vom 3. Oktober 2011 beantragen, der kantonale Gerichtsentscheid und die Verfügung der IV-Stelle seien dahin gehend abzuändern, dass ihm eine Invalidenrente zustehe. Eventualiter sei die Sache zu ergänzenden Abklärungen an die IV-Stelle zurückzuweisen.
Die kantonalen Akten wurden beigezogen. Auf die Durchführung eines Schriftenwechsels wurde verzichtet.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Es wendet das Recht von Amtes wegen an (<ref-law>) und ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden (<ref-ruling> E. 1.2 S. 252 mit Hinweisen). Unter Berücksichtigung der Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) prüft es indessen nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind, und ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr aufgegriffen werden (<ref-ruling> E. 2 S. 315, 65 E. 1.3 S. 67 f., je mit Hinweisen).
1.2 Auf der nicht medizinischen beruflich-erwerblichen Stufe der Invaliditätsbemessung charakterisieren sich als Rechtsfragen die gesetzlichen und rechtsprechungsgemässen Regeln über die Durchführung des Einkommensvergleichs, einschliesslich derjenigen über die Anwendung der vom Bundesamt für Statistik herausgegebenen schweizerischen Lohnstrukturerhebung (LSE). In dieser Sicht stellt sich die Feststellung der beiden hypothetischen Vergleichseinkommen als Tatfrage dar, soweit sie auf konkreter Beweiswürdigung beruht, hingegen als Rechtsfrage, soweit sich der Entscheid nach der allgemeinen Lebenserfahrung richtet. Letzteres betrifft etwa die Fragen, ob Tabellenlöhne anwendbar sind und welches die massgebende Tabelle ist (<ref-ruling> E. 3.3 S. 399). Demgegenüber beschlägt der Umgang mit den Zahlen in der massgeblichen LSE-Tabelle eine Tatfrage. Schliesslich ist die Frage, ob ein (behinderungsbedingt oder anderweitig begründeter) Abzug vorzunehmen sei, eine Rechtsfrage, während jene nach der Höhe des Abzuges eine typische Ermessensfrage darstellt, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (<ref-ruling> E. 5.1 S. 72 f. mit Hinweis auf <ref-ruling> E. 3.3 in fine S. 399).
2. 2.1 Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>). Derartige Umstände können namentlich in formellrechtlichen Mängeln des angefochtenen Entscheids liegen, mit denen die Partei nicht rechnete und nach Treu und Glauben nicht zu rechnen brauchte, oder darin, dass die Vorinstanz materiell in einer Weise urteilt, dass bestimmte Sachumstände neu und erstmals rechtserheblich werden. Der vorinstanzliche Verfahrensausgang allein bildet noch keinen hinreichenden Anlass im Sinne von <ref-law> für die Zulässigkeit von unechten Noven, die bereits im kantonalen Verfahren ohne Weiteres hätten vorgebracht werden können (Urteil 9C_920/2008 vom 16. April 2009 E. 2.3, nicht publ. in: <ref-ruling>, aber in: SVR 2009 BVG Nr. 30 S. 109). Das Einbringen von Tatsachen oder Beweismitteln, die sich erst nach dem angefochtenen Entscheid ereignet haben oder entstanden sind (sog. echte Noven), ist vor Bundesgericht unzulässig (Urteil 8C_620/2011 vom 8. Februar 2011 E. 2. mit Hinweisen).
2.2 Der mit letztinstanzlicher Beschwerde neu aufgelegte Bericht des Psychiaters Dr. med. A._ vom 9. Oktober 2011 über die am 3. September 2011 aufgenommene Psychotherapie, stellt ein sog. echtes Novum dar, welches im vorliegenden Verfahren unbeachtlich ist.
3. Streitig und zu prüfen ist der Anspruch des Beschwerdeführers auf eine Invalidenrente.
Das kantonale Gericht hat die Bestimmungen und Grundsätze betreffend die Begriffe der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), den Umfang des Rentenanspruchs (<ref-law>), die Invaliditätsbemessung bei Erwerbstätigen anhand der Einkommensvergleichsmethode (<ref-law>, seit 1. Januar 2008 allerdings in Verbindung mit <ref-law>), die Bedeutung ärztlicher Auskünfte im Rahmen der Invaliditätsschätzung (<ref-ruling> E. 4 S. 261 mit Hinweisen; vgl. auch <ref-ruling> E. 4 S. 99 f.) sowie die Anforderungen an beweiskräftige medizinische Berichte und Gutachten (<ref-ruling> E. 3a S. 352; ferner <ref-ruling> E. 5.1 S. 232) zutreffend dargelegt. Darauf wird verwiesen.
4. 4.1 Bei Erwerbstätigen Versicherten ist der Invaliditätsgrad grundsätzlich nach der allgemeinen Einkommenvergleichsmethode zu bestimmen (<ref-law>; <ref-ruling> E. 3.4.2 S. 348 f.). Die Anwendung der ausserordentlichen Bemessungsmethode (<ref-ruling>) ist dann gegeben, wenn sich die beiden hypothetischen Vergleichseinkommen nicht hinreichend zuverlässig ermitteln oder schätzen lassen (Urteil 9C_324/2008 vom 6. Januar 2009 E. 3.2.1 mit Hinweisen).
4.2 Für die Ermittlung des hypothetisch erzielbaren Verdienstes ohne Gesundheitsschaden (Valideneinkommen) ist entscheidend, was die versicherte Person im Zeitpunkt des Rentenbeginns nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdient hätte und nicht, was sie bestenfalls erzielen könnte (<ref-ruling> E. 5.1 S. 53). Dabei wird in der Regel am zuletzt erzielten, der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft, da es empirischer Erfahrung entspricht, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 3.1 S. 59 und E. 3.4.6 S. 64f.). Angesichts der in <ref-law> vorgesehenen Gleichstellung der invalidenversicherungsrechtlich massgebenden hypothetischen Vergleichseinkommen mit den nach AHV-Recht beitragspflichtigen Erwerbseinkommen kann das Valideneinkommen von Selbstständigerwerbenden zumeist aufgrund der Einträge im Individuellen Konto der AHV (IK) bestimmt werden. Weist das bis Eintritt der Invalidität erzielte Einkommen starke und verhältnismässig kurzfristig in Erscheinung getretene Schwankungen auf, ist dabei auf den während einer längeren Zeitspanne erzielten Durchschnittsverdienst abzustellen (SVR 2010 IV Nr. 26 S. 79, 8C_9/2009 E. 3.3; SVR 2009 IV Nr. 28 S. 79, 8C_576/2008 E. 6.2 mit Hinweisen).
5. 5.1 Die Vorinstanz ermittelte den Invaliditätsgrad nach der allgemeinen Einkommensvergleichsmethode (<ref-law>; <ref-ruling> E. 3.4 S. 348f.). Bei der Berechnung des Valideneinkommens ging sie dabei vom im IK-Auszug verzeichneten Verdienst im Jahre 2006 von Fr. 70'500.- aus. Unter Berücksichtigung der Nominallohnentwicklung 2006 bis 2009 errechnete sie ein jährliches Valideneinkommen von Fr. 74'610.-. Sie führte aus, dass aufgrund der medizinischen Akten ab 2. August 2007 eine Arbeitsunfähigkeit ausgewiesen sei und mithin auf das im Vorjahr erzielte Einkommen abzustellen sei.
Der Beschwerdeführer stellt sich demgegenüber im Wesentlichen auf den Standpunkt, dass sich das Valideneinkommen anhand der IK-Auszüge nicht zuverlässig ermitteln lasse, womit die ausserordentliche Bemessungsmethode anwendbar sei. Insbesondere sei zu berücksichtigen, dass er bereits vor dem Sommer 2007 unter erheblichen Beschwerden im Bereich der rechten Schulter gelitten habe. Zudem habe die Einzelfirma erst seit September 2004 bestanden. Sodann würden die Geschäftsergebnisse grosse Abweichungen aufweisen.
5.2 Entgegen den Einwendungen des Beschwerdeführers erweist sich die Feststellung der Vorinstanz, wonach nicht ausgewiesen sei, dass er bereits vor August 2007 an Beschwerden im Bereich der rechten Schulter litt, die seine Arbeitsfähigkeit und damit das Betriebsergebnis seiner Firma negativ beeinflusst hätten, nicht als offensichtlich unrichtig. Insbesondere liegen mit der Vorinstanz für die Beschwerden vor dem Beinahesturz vom kippenden Tisch im Juli 2007 weder Arztzeugnisse noch Arztberichte vor, welche eine Einschränkung in der Arbeitsfähigkeit dokumentieren könnten. Zwar ist dem Gutachten des Zentrums X._ zu entnehmen, dass bereits vor diesem Ereignis Beschwerden im Bereich der rechten Schulter bestanden haben, allerdings kann daraus entgegen dem Beschwerdeführer nicht aufgrund der allgemeinen Lebenserfahrung ohne weiteres geschlossen werden, dass dadurch insbesondere bei Selbstständigerwerbenden die Leistungsfähigkeit bereits zuvor relevant beeinträchtigt war. Das Gutachten äussert sich lediglich zur aktuellen Einschränkung in der Arbeitsleistung. Auch aus den Akten ergeben sich keine entsprechenden Anhaltspunkte. Entgegen dem Beschwerdeführer ist nicht überwiegend wahrscheinlich, dass sich die vor dem Sommer bestandenen Schulterbeschwerden negativ auf das Betriebsergebnis ausgewirkt haben, ist doch gemäss IK-Auszug in den Jahre 2005 und 2006 keine Erwerbseinbusse ersichtlich. Überdies lässt sich aus dem Umstand, dass das Ganze als Krankheit und nicht als Unfall abgewickelt wurde, wie geltend macht wird, nichts ableiten, so kann eine Krankheit bereits längere Zeit andauern ohne die Arbeitsfähigkeit einzuschränken, um dann mit der Zeit oder aufgrund eines bestimmten Ereignisses die Leistungsfähigkeit zu beeinträchtigen. So verhält es sich auch hier.
5.3 Nicht als bundesrechtswidrig zu beanstanden ist ferner, dass die Vorinstanz bei der Ermittlung des Valideneinkommens aufgrund des IK-Auszugs vom Einkommen des Jahres 2006 in der Höhe von Fr. 70'500.- ausging. Gemäss IK-Auszug sind die Einkommen in den Jahren 1998 bis 2002 konstant anstiegen, in den Jahren 2003 und 2004 ist ein Einbruch zu verzeichnen und im 2005 und 2006 haben sie wieder auf ursprünglichem Niveau zugenommen. Nachdem die IK-Einträge insgesamt eine steigende Tendenz aufweisen liegt keine Bundesrechtsverletzung vor, wenn die Vorinstanz zu Gunsten des Versicherten den höchsten Verdienst von 2006 berücksichtigte. Inwiefern die Geschäftsergebnisse erhebliche Abweichungen aufweisen sollen, ist nicht zu erkennen. Der Unternehmensgewinn 2006 beträgt gemäss entsprechender Erfolgsrechnung Fr. 66'328.42. Wenn der Beschwerdeführer weiter einwendet, ohne gesundheitliche Beeinträchtigung wäre dieses Einkommen heute - nach der allgemeinen Lebenserfahrung - sicher um Einiges höher, nachdem er ja bereits in der Anfangsphase seiner selbstständigen Tätigkeit (Einzelfirma ab September 2004) ein Einkommen um die Fr. 70'000.- generiert habe und gemäss IK-Auszug im Jahre 2008, als unbestrittenermassen bereits gesundheitliche Beeinträchtigung bestanden hätten, noch ein Einkommen von Fr. 78'300.- abrechnete, kann ihm ebenfalls nicht gefolgt werden. Zum einen betrug das Einkommen im Jahre 2004 gemäss IK-Auszug lediglich Fr. 54'967.-, zum andern ist der Beschwerdeführer bereits seit 1992 als selbstständiger Rollladen- und Storenmonteur tätig. Gemäss verbindlicher Sachverhaltsfeststellung der Vorinstanz wurde am ........ die Einzelfirma, N._, ins Handelsregister eingetragen. Diese wurde am 21. Februar 2002 von der R._ GmbH, übernommen, in welcher der Beschwerdeführer Gesellschafter und Geschäftsführer mit Einzelunterschrift war (vgl. Handelsregisterauszug, abrufbar unter www.zefix.ch); am 21. September 2004 gründete der Versicherte die Einzelfirma O._. Unter diesen Umständen erweist sich der Einwand, wonach nach Aufnahme der selbstständigen Erwerbstätigkeit nicht sofort die besten Betriebsergebnisse zu erwarten seien, als nicht stichhaltig. Von einer kurzen Dauer der selbstständigen Erwerbstätigkeit im Sinne der Rechtsprechung (<ref-ruling> E. 3.4.6 S. 64) kann nicht gesprochen werden. Der Wechsel der Rechtsform von der GmbH zur Einzelfirma ändert daran nichts. Was den hohen Betriebsgewinn im Jahre 2008 betrifft, sind darin, wie der Beschwerdeführer in der Rechtsschrift (unter Verweis auf das Kontoblatt vom 1.1 - 31.12.08) selbst betont, offenbar auch Krankentaggelder und Leistungen einer Zusatzversicherung enthalten. Schliesslich erweist sich als unerheblich, dass er, wie er geltend macht, entsprechend der Schweizerischen Lohnstrukturerhebung LSE im Jahre 2009 ein Valideneinkommen von Fr. 96'191 hätte erzielen können. Es bestehen keinerlei Anhaltspunkte dafür, dass er ohne gesundheitliche Beeinträchtigung sein Unternehmen zu Gunsten einer besser entlöhnten Tätigkeit aufgegeben hätte, vielmehr will er dieses ja auch heute noch weiterführen. Da sich der Versicherte somit, auch als seine Arbeitsfähigkeit noch nicht beeinträchtigt war, über mehrere Jahre hinweg mit einem geringeren Einkommen aus selbstständiger Erwerbstätigkeit begnügt hat, ist dieses für die Festlegung des Valideneinkommens massgebend, selbst wenn besser entlöhnte Erwerbsmöglichkeiten bestanden hätten (<ref-ruling> E. 3.4.6 S. 64).
5.4 Zusammenfassend steht somit fest, dass sich das Valideneinkommen aufgrund der IK-Zusammenzüge zuverlässig bestimmen lässt und mithin rechtsprechungsgemäss kein Grund für die Anwendung der ausserordentlichen Bemessungsmethode besteht. Das vorinstanzlich festgestellte jährliche Valideneinkommen von Fr. 74'610.- ist zu bestätigen.
6. 6.1 Bei der Beurteilung des Invalideneinkommens stellte das kantonale Gericht gestützt auf das Gutachten des Zentrums X._ vom 11. November 2009 fest, dass der Beschwerdeführer seine angestammte Tätigkeit als selbstständiger Rollladenmonteur wegen seiner körperlichen Beschwerden nur noch sehr eingeschränkt ausüben könne; dies gelte insbesondere für Vermessungs-, und Montagearbeiten sowie Reparaturen. Als zumutbar bezeichnete es eine leidensangepasste körperlich leichte Tätigkeit unter Berücksichtigung gewisser Gewichtslimiten, die zudem keine Arbeiten über Schulterhöhe mit dem rechtem Arm beinhaltet. Beim Hantieren von Gewichten und insbesondere beim Heben von Taillen- zu Kopfhöhe sei der rechte Arm sodann nur unterstützend einzusetzen. Dies ist unbestritten. Zudem hielt es fest, der Versicherte arbeite zur Zeit gemäss eigenen Angaben als unselbstständig Erwerbender für seine wieder reaktivierte R._ GmbH. E._ (der andere Gesellschafter) werde die Hälfte des Geschäfts übernehmen, die Kundenbetreuung tätigen, die "schwierigen" Sachen im Büro erledigen sowie auch die Vermessungen machen. Gemäss eigenen Angaben werde er etwa noch eine Leistung von 50 % erbringen können. Das kantonale Gericht stellte fest, dass der Beschwerdeführer unter diesen Umständen seine ihm verbliebene Arbeitsfähigkeit nicht in zumutbarer Weise voll ausschöpfe. Es erwog, unter Berücksichtigung der bundesgerichtlichen Rechtsprechung sei beim 1954 geborenen Versicherten nicht von einem Alter auszugehen, das per se gegen die Zumutbarkeit des Berufswechsels spreche. Persönliche und familiäre Lebensverhältnisse (der Beschwerdeführer sei nicht mehr verheiratet und kinderlos), welche eine Aufgabe der selbstständigen Erwerbstätigkeit als unzumutbar erscheinen liessen, seien nicht ersichtlich. Es kam zum Schluss, dass die Aufgabe der selbstständigen Erwerbstätigkeit bzw. ein Berufswechsel zumutbar sei.
6.2 Der Beschwerdeführer stellt sich demgegenüber auf den Standpunkt, dass ihm die Betriebsaufgabe bzw. ein Berufswechsel in eine unselbstständige Verweisungstätigkeit nicht zumutbar sei und der Invaliditätsgrad mithin anhand der ausserordentlichen Invaliditätsbemessungsmethode und nicht anhand eines Einkommensvergleichs unter Anwendung statistischer Tabellenlöhne festzulegen sei. Im Wesentlichen rügt er als realitätsfremd und mithin willkürlich, dass er im Alter von 57 Jahren (Legastheniker), der lediglich die Sonderschule besucht und Anlehren absolviert habe, zudem bereits über 20 Jahre als Storenmonteur tätig sei bzw. bereits seit Jahren ein eigenes Geschäft habe respektive in leitender Stellung tätig sei, mit seinen gesundheitlichen Beeinträchtigungen und seiner Persönlichkeitsstruktur eine sog. leidensangepasste Tätigkeit finden könne. Er habe seinen Betrieb entsprechend umstrukturiert und einen Monteur zu einem Pensum von 100 % und eine Bürohilfe an zwei Tagen pro Woche angestellt. Angesichts seiner jahrzehntelangen Erfahrung als selbstständiger Rollladenmonteur bzw. Geschäftsführer, sowie der Tatsache, dass er den Betrieb ganz allein aufgebaut und etabliert habe und mit entsprechender Hilfe weiterhin aufrecht zu erhalten vermöge, sei eine vollständige Betriebsaufgabe nicht zumutbar.
6.3 Bezüglich der umstrittenen wirtschaftlichen Verwertbarkeit der Restarbeitsfähigkeit ist mit dem kantonalen Gericht auf den im Gebiet der Invalidenversicherung allgemein geltenden Grundsatz der Schadenminderungspflicht hinzuweisen, wonach die versicherte Person, bevor sie Leistungen verlangt, alles ihr Zumutbare selber vorzukehren hat, um die Folgen der Invalidität bestmöglich zu mindern. Ein Rentenanspruch ist zu verneinen, wenn die Person selbst ohne Eingliederungsmassnahmen, nötigenfalls mit einem Berufswechsel, zumutbarerweise in der Lage ist, ein rentenausschliessendes Erwerbseinkommen zu erzielen. Von der versicherten Person dürfen dabei aber nur Vorkehren verlangt werden, die unter Berücksichtigung der gesamten objektiven und subjektiven Gegebenheiten des Einzelfalles zumutbar sind (SVR 2010 IV Nr. 11 S. 35 E. 4.1, 9C_236/2009, mit Hinweis auf <ref-ruling> E. 4a S. 28). Der Begriff der zumutbaren Tätigkeit im Rahmen der Invaliditätsbemessung nach <ref-law> bezweckt, die Schadenminderungspflicht zu begrenzen oder - positiv formuliert - deren Mass zu bestimmen. Eine versicherte Person ist daher unter Umständen invalidenversicherungsrechtlich so zu behandeln, wie wenn sie ihre Tätigkeit als Selbstständigerwerbende aufgibt, d.h. sich im Rahmen der Invaliditätsbemessung jene Einkünfte anrechnen lassen muss, welche sie bei Aufnahme einer leidensangepassten unselbstständigen Erwerbstätigkeit zumutbarerweise verdienen könnte. Für die Auslegung des unbestimmten Rechtsbegriffs der zumutbaren Tätigkeit im Allgemeinen, wie bei der Aufgabe der selbstständigen Erwerbstätigkeit im Besonderen, sind die gesamten subjektiven und objektiven Gegebenheiten des Einzelfalles zu berücksichtigen. Im Vordergrund stehen bei den subjektiven Umständen die verbliebene Leistungsfähigkeit sowie die weiteren persönlichen Verhältnisse, wie Alter, berufliche Stellung, Verwurzelung am Wohnort etc.. Bei den objektiven Umständen sind insbesondere der ausgeglichene Arbeitsmarkt und die noch zu erwartende Aktivitätsdauer massgeblich (vgl. SVR 2010 IV Nr. 11 S. 35, 9C_236/2009 E. 4.1 und 4.3; Urteil 9C_437/2008 vom 19. März 2009 E. 4.2 mit weiteren Hinweisen).
6.4 Mit Blick auf die dargelegten Grundsätze, die Umstände im konkreten Fall und die hohen Hürden, welche das Bundesgericht in seiner Rechtsprechung für die Unverwertbarkeit der Restarbeitsfähigkeit älterer Menschen entwickelt hat (vgl. dazu Zusammenstellung der Rechtsprechung im Urteil 9C_437/2008 vom 19. März 2009 E. 4 mit weiteren Hinweisen) erweist sich der vom kantonalen Gericht als zumutbar erachtete Wechsel in ein leidensangepasstes Anstellungsverhältnis und das Abstellen auf die Angaben der Schweizerischen Lohnstrukturerhebung (LSE) des Bundesamtes für Statistik zur Ermittlung des Invalideneinkommens als bundesrechtskonform. Die Vorinstanz verletzte kein Bundesrecht, wenn sie die Betriebsaufgabe als zumutbar beurteilte und einen iv-rechtlich erheblichen fehlenden Zugang des Beschwerdeführers zum Arbeitsmarkt verneinte. Dieser war im massgebenden Verfügungszeitpunkt (<ref-ruling> E. 1.2 S. 4) 57 Jahre alt. Damit durfte das kantonale Gericht die Anstellungschancen auf dem von Gesetzes wegen als ausgeglichen unterstellten Arbeitsmarkt für intakt erachten. Dies gilt umso mehr, als nach den verbindlichen Feststellungen der Vorinstanz die dem Beschwerdeführer offenstehenden zumutbaren Tätigkeiten im Rahmen eines Vollpensums ausgeübt werden können und nur ganz spezifischen, vorwiegend auf das Heben von Gewichten beschränkten Limitierungen unterliegen. Leichte Hilfsarbeiten werden auf dem hypothetisch ausgeglichenen Arbeitsmarkt grundsätzlich altersunabhängig nachgefragt. Überdies könnte er im angestammten Betrieb trotz Umorganisation gemäss eigenen Angaben lediglich noch 50 % tätig sein. Mit der Vorinstanz sind zudem persönliche und familiäre Lebensumstände, welche die Aufgabe der selbstständigen Erwerbstätigkeit im konkreten Fall mit Blick auf die Schadenminderungspflicht als unzumutbar erscheinen liessen, nicht gegeben. Dabei wird nicht ausser Acht gelassen, dass die Aufgabe eines eigenen über Jahre hinweg aufgebauten Betriebes einen einschneidenden Schritt darstellt. Entgegen dem Beschwerdeführer wurden die gesundheitlichen Beeinträchtigungen gehörig berücksichtigt. Daran vermöchte auch der letztinstanzlich eingereichte Bericht des Dr. med. A._ vom 3. Oktober 2011, der als Novum im vorliegenden Verfahren nicht zu beachten ist (vgl. E. 2 hievor), nichts zu ändern, bezieht er sich doch auf einen Zeitraum nach Verfügungserlass. Inwiefern sodann die Persönlichkeitsstruktur des Versicherten einer zumutbaren Tätigkeit entgegenstehen soll, ist aufgrund der Akten nicht zu erkennen und wird auch nicht näher begründet. Damit bestand kein Grund für einen erwerblich gewichteten Betätigungsvergleich für selbstständig Erwerbende.
6.5 Zur Bestimmung des Invalideneinkommens stellte die Vorinstanz auf die Ergebnisse der Lohnstrukturerhebung (LSE) des Bundesamtes für Statistik ab. Sie stützte sich auf die Tabelle TA1 (Bruttolohn, "Total" für Männer im Anforderungsniveau 4, einfache und repetitive Tätigkeiten) der LSE 2008 und errechnete unter Berücksichtigung der betriebsüblichen Wochenarbeitszeit und der Nominallohnentwicklung für das Jahr 2009 ein Jahreseinkommen von Fr. 61'239.-. Sie erwog, ob der leidensbedingte Abzug der Verwaltung von 15 % angemessen sei, könne offen gelassen werden, da sich selbst bei Anwendung des Maximalabzugs von 25 % kein rentenbegründender IV-Grad ergäbe. Bei einem Valideneinkommen von Fr. 74'610.- und einem Invalideneinkommen von Fr. 52'053.- unter Berücksichtigung eines leidensbedingten Abzuges von 25 % betrage der IV-Grad gerundet 38 %.
Inwiefern bei dieser Ausgangslage der vorinstanzliche Abzug auf einer rechtsfehlerhaften Ermessensausübung beruhen soll, wie gerügt wird, ist nicht nachvollziehbar. Zudem sind die weiteren Einwendungen des Beschwerdeführers zur Höhe des Invalideneinkommens nicht geeignet dieses als offensichtlich unrichtig oder bundesrechtswidrig erscheinen zu lassen. So umfassen leichte leidensangepasste Tätigkeiten nicht vorwiegend administrative Arbeiten, bei denen der Beschwerdeführer aufgrund seiner Legasthenie und seiner schulischen Voraussetzungen tatsächlich beeinträchtigt wäre. Überdies bildet bei der Invaliditätsbemessung nicht der effektive, sondern der hypothetische ausgeglichene Arbeitsmarkt (<ref-law>) Referenzpunkt. Der ausgeglichene Arbeitsmarkt ist ein theoretischer und abstrakter Begriff. Er berücksichtigt die konkrete Arbeitsmarktlage nicht, umfasst in wirtschaftlich schwierigen Zeiten auch tatsächlich nicht vorhandene Stellenangebote und sieht von den fehlenden oder verringerten Chancen gesundheitlich Beeinträchtigter, tatsächlich eine zumutbare und geeignete Arbeitsstelle zu finden, ab. Er umschliesst einerseits ein bestimmtes Gleichgewicht zwischen dem Angebot von und der Nachfrage nach Stellen; anderseits bezeichnet er einen Arbeitsmarkt, der von seiner Struktur her einen Fächer verschiedenartiger Stellen offenhält (<ref-ruling> E. 4.2.1 S. 70 f.; <ref-ruling> E. 4b S. 276).
7. Nach dem Gesagten hat die Vorinstanz zu Recht den Anspruch auf eine Invalidenrente verneint. Die Beschwerde ist mithin unbegründet.
8. Dem Prozessausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. Juni 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Die Gerichtsschreiberin: Weber Peter