Sachverhalt:
A. Der 1965 geborene S._ war bis Juni 1993 bei der X._ AG als Elektromonteur angestellt. Am 24. Oktober 1991 zog er sich bei einer Auffahrkollision eine Distorsion der Halswirbelsäule (HWS) sowie der oberen Brustwirbelsäule (BWS) zu und litt in der Folge unter einer leichten posttraumatischen Hirnfunktionsstörung. Am 19. Oktober 1992 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Nach Durchführung einer Umschulung zum kaufmännischen Angestellten nahm er ab Oktober 1997 eine Tätigkeit als kaufmännischer Sachbearbeiter beim Unternehmen Y._ in der Stadt Zürich auf. Die IV-Stelle Schwyz sprach ihm mit Verfügung vom 1. November 2001 bei einem Invaliditätsgrad von 40 % eine Viertelsrente zu. Nach Durchführung eines Revisionsverfahrens hob die IV-Stelle die ausgerichtete Viertelsrente mit Verfügung vom 29. Juli 2011 gestützt auf einen Invaliditätsgrad von 32 % auf.
B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Schwyz mit Entscheid vom 20. Oktober 2011 bei einem Invaliditätsgrad von 36.5 % ab.
C. Mit Beschwerde lässt S._ die Aufhebung des vorinstanzlichen Entscheides und weiterhin die Ausrichtung einer Viertelsrente der Invalidenversicherung beantragen. Eventualiter sei die Angelegenheit zu weiteren Abklärungen und zur Neubeurteilung an die Vorinstanz oder an die Beschwerdegegnerin zurückzuweisen.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann eine - für den Ausgang des Verfahrens entscheidende (vgl. <ref-law>) - Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder wenn sie auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Das kantonale Gericht hat die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze, insbesondere diejenigen über die Bemessung des Invaliditätsgrades (<ref-law>), den Rentenanspruch (<ref-law>) und die Revision der Invalidenrente (<ref-law>; <ref-law> in der seit 1. Januar 2008 geltenden Fassung) zutreffend dargelegt. Darauf wird verwiesen.
3. Streitig ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der Beschwerdegegnerin am 29. Juli 2011 verfügte Rentenaufhebung bestätigte. Dabei ist zu prüfen, ob das kantonale Gericht zu Recht von einer rentenerheblichen Verbesserung des Invalideneinkommens im Sinn von <ref-law> ausging. Zu prüfen ist auch die Höhe des Valideneinkommens. Unbestritten ist, dass zwischen der Rentenzusprache am 1. November 2001 und der revisionsweisen Rentenaufhebung vom 29. Juli 2011 keine Änderung des Gesundheitszustands eingetreten ist.
4. 4.1 Nach der Auffahrkollision vom 24. Oktober 1991 und einer durch die Beschwerdegegnerin gewährten Umschulung arbeitete der Beschwerdeführer seit Oktober 1997 als kaufmännischer Sachbearbeiter beim Unternehmen Y._. Das dabei tatsächlich erzielte Invalideneinkommen erhöhte sich von Fr. 53'517.- im Jahr 2000 auf Fr. 59'123.- im Jahr 2006. Im Jahr 2007 erfolgte eine weitere Lohnerhöhung auf Fr. 67'209.- pro Jahr.
4.2 Die Vorinstanz legte begründet dar, dass die Erhöhung des Invalidenkommens von 2000 bis 2006 um rund 10 % und diejenige im Jahr 2007 von rund 13.5 % eine wesentliche Änderung des Invalideneinkommens und damit einen rechtsgenüglichen Revisionsgrund darstelle. Diese Lohnerhöhungen liegen klar über der statistischen Nominallohnentwicklung. Einkommenserhöhungen im üblichen statistischen Rahmen würden keinen Revisionsgrund darstellen. Die Vorinstanz führte richtig aus, die allgemeine Nominallohnentwicklung beim Invalideneinkommen sei aufgrund der vorgenommenen Nominallohnindexierung beim Valideneinkommen und gestützt auf den Grundsatz der Parallelität der Bestimmung von Validen- und Invalideneinkommen berücksichtigt worden. Sie nahm sodann unter Berücksichtigung von <ref-law> auf der Einkommensverbesserung einen Abzug von Fr. 1'500.- vor und zog vom verbleibenden Betrag lediglich zwei Drittel bei der Bestimmung des Invaliditätsgrades heran. Dieses Vorgehen des kantonalen Gerichts erweist sich nicht als rechtswidrig und ist zu bestätigen.
4.3 Der Beschwerdeführer wendet ein, sein hohes Einkommen liege im Umstand begründet, dass er in der Stadt Zürich arbeite. Er nehme damit einen Arbeitsweg von drei Stunden pro Tag in Kauf. Er hätte sich im Rahmen seiner Schadenminderungspflicht mit einer Arbeit in seiner Wohnregion begnügen können, wo er um einiges weniger verdienen würde.
Wie die Vorinstanz jedoch schlüssig darlegte, belegt die langjährige Arbeitstätigkeit in Zürich faktisch die Zumutbarkeit dieser Stelle für den Versicherten. Nach Angaben des mit den örtlichen Gegebenheiten vertrauten Gerichts ist es zudem nicht unüblich, dass Personen mit Wohnsitz in der Innerschweiz einer Erwerbstätigkeit im Grossraum Zürich nachgehen.
5. Der Beschwerdeführer rügt in der Hauptsache, das vom kantonalen Gericht berücksichtigte Valideneinkommen sei zu tief.
5.1 Bei einer erheblichen Änderung des Sachverhalts ist der Rentenanspruch in rechtlicher und tatsächlicher Hinsicht allseitig, d.h. unter Berücksichtigung des gesamten für die Leistungsberechtigung ausschlaggebenden Tatsachenspektrums, zu überprüfen (<ref-ruling> E. 3.4 S. 259; SVR 2004 IV Nr. 17 S. 53, I 526/02 E. 2.3; Urteil 9C_744/2008 vom 19. November 2008 E. 3.1.1). So kann das Valideneinkommen in einem Revisionsverfahren frei überprüft werden, wenn die Aktenlage oder die Parteivorbringen dazu Anlass geben, obgleich sich die revisionserhebliche Änderung unter Umständen auf ein anderes Element der Anspruchsberechtigung wie die Arbeitsfähigkeit oder das Invalideneinkommen bezieht (AHI 2002 S. 164, I 652/00 E. 2a).
5.2 Der Versicherte macht geltend, beim Valideneinkommen müsse eine hypothetische berufliche Entwicklung als Gesunder bis hin zum Abteilungsleiter oder zumindest Ressortleiter berücksichtigt werden, während die berücksichtigte Entwicklung bis zum Chefmonteur zu wenig sei.
5.2.1 Für die Ermittlung des Valideneinkommens ist entscheidend, was die versicherte Person nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde tatsächlich verdient hätte. Dabei wird in der Regel am zuletzt erzielten, nötigenfalls der Teuerung und der realen Einkommensentwicklung angepassten Verdienst angeknüpft, weil es der Erfahrung entspricht, dass die bisherige Tätigkeit ohne Gesundheitsschaden fortgesetzt worden wäre. Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 4.1 S. 325 f. mit Hinweis). Da die Invaliditätsbemessung der voraussichtlich bleibenden oder längere Zeit dauernden Erwerbsunfähigkeit zu entsprechen hat, ist auch die berufliche Weiterentwicklung mitzuberücksichtigen, die eine versicherte Person normalerweise vollzogen hätte. Dazu ist allerdings erforderlich, dass konkrete Anhaltspunkte dafür bestehen, dass sie einen beruflichen Aufstieg und ein entsprechend höheres Einkommen tatsächlich realisiert hätte, wenn sie nicht invalid geworden wäre. Im Rahmen der erstmaligen Rentenfestsetzung genügen blosse Absichtserklärungen der versicherten Person nicht. Vielmehr muss die Absicht, beruflich weiterzukommen, bereits im Zeitpunkt des Unfalls durch konkrete Schritte wie Kursbesuche, Aufnahme eines Studiums, Ablegung von Prüfungen usw. kundgetan worden sein (<ref-ruling>; SVR 2010 UV Nr. 13 S. 51, 8C_550/2009 E. 4.1 mit Hinweisen; Urteil 8C_664/2007 vom 14. April 2008 E. 6.1; ULRICH MEYER, Rechtsprechung des Bundesgerichts zum IVG, 2. Aufl. 2010, S. 304 f.). Bei der Prüfung der mutmasslichen beruflichen Entwicklung im Rentenrevisionsverfahren können unter Umständen aus einer besonderen beruflichen Qualifizierung im Invaliditätsfall Rückschlüsse auf die hypothetische Entwicklung gezogen werden, zu der es ohne Eintritt des (unfallbedingten) Gesundheitsschadens gekommen wäre. Nach der Rechtsprechung ist eine solche Annahme unter anderem dann zulässig, wenn die angestammte Tätigkeit auch nach dem Unfall weitergeführt werden kann. Indessen darf aus einer erfolgreichen Invalidenkarriere in einem neuen Tätigkeitsbereich nicht ohne Weiteres abgeleitet werden, die versicherte Person hätte ohne Invalidität eine vergleichbare Position auch im angestammten Tätigkeitsgebiet erreicht (RKUV 2005 Nr. U 533 S. 40, U 339/03, Nr. U 554 S. 315, U 340/04; Urteil 8C_667/2010 vom 15. Dezember 2010 E. 3.3 und 4.2).
5.2.2 Der Beschwerdeführer war seit 1987 bei der X._ AG als Elektromonteur tätig. In den Jahren 1988 und 1989 absolvierte er einen technischen Abendfortbildungskurs mit Praktikum für Telefon-Installationen im Rahmen der B-Konzession. Von 1988 bis 1990 besuchte er zudem an der Handelsschule Z._ einen Vorbereitungskurs auf die eidg. Meisterprüfung/Höhere Fachprüfung im Elektro-Installationsgewerbe. Ab 1990 absolvierte er dann eine berufsbegleitende Ausbildung zum Elektro-Kontrolleur mit eidg. Fachausweis. Diese Weiterbildung schloss er nach dem Auffahrunfall vom 24. Oktober 1991 am 24. Juni 1992 mit dem eidg. Fachausweis als Elektro-Kontrolleur ab. Nach Auskunft der Arbeitgeberin, der X._ AG, vom 17. Oktober 1997 hätten diese Weiterbildungen bei ihr einkommensmässig keine Auswirkungen gehabt, da sie bereits einen Chefmonteur gehabt und keinen Kontrolleur benötigt habe. Im Schreiben vom 10. April 1995 gab der Beschwerdeführer an, ohne Unfall hätte er sich beruflich zum Chefmonteur mit Meisterprüfung/ Höhere Fachprüfung weiterentwickelt. Zudem führte der Rechtsvertreter des Versicherten in der Eingabe vom 25. Juni 1999 an die SUVA aus, Chefmonteur sei sein Berufsziel gewesen. Die Beschwerdegegnerin legte in der Folge ihrer Rentenzusprache vom 1. November 2001 die berufliche Weiterentwicklung zum Chefmonteur und das Einkommen eines Chefmonteurs zugrunde. Dieses wurde bei der Rentenzusprache vom 1. November 2001 auf Fr. 87'000.- festgesetzt. Mit Eingabe an die SUVA vom 15. Juni 2000 hielt auch der Rechtsvertreter des Versicherten fest, der angenommene Validenlohn von Fr. 87'000.- entspreche den Abklärungsergebnissen.
5.2.3 Für die Annahme, dass der Beschwerdeführer als Gesunder im weiteren Verlauf ein HTL-Studium absolviert und in einem öffentlichen Elektrizitätsunternehmen schon bald die Funktion eines Abteilungsleiters oder zumindest eines Ressortleiters bekleidet hätte, fehlen konkrete Anhaltspunkte. Die Umstände, dass er bei der Lehrabschlussprüfung am 26. April 1985 eine Schlussnote von 5,3 erzielte (vgl. dazu SVR 2010 UV Nr. 13 S. 51, 8C_550/2009 E. 4.3.1), eine IV-Umschulung zum kaufmännischen Angestellten erfolgreich absolvierte und zwei seiner sechs Geschwister Karriere gemacht haben, stellen noch keine konkreten Schritte für eine hypothetische berufliche Entwicklung zum Ressort- oder Abteilungsleiter dar, wie sie sich etwa aus einem tatsächlichen Kursbesuch ergeben würden. Auch dem Werdegang des Beschwerdeführers als Invalider sind keine entsprechenden Hinweise zu entnehmen. Der Versicherte ist seit Jahren als kaufmännischer Sachbearbeiter beim Unternehmen Y._ tätig. Die Vorinstanz wies zu Recht darauf hin, dass Weiterbildungen oder Weiterbildungsbemühungen in diesem Beruf nicht aktenkundig sind. Die überdurchschnittlichen Lohnsteigerungen erfolgten nicht wegen eines beruflichen Aufstiegs beim Unternehmen Y._. Der zu tiefe Lohn des Versicherten im Vergleich zu anderen Mitarbeitern des Unternehmens Y._ wurde nach einer Einsprache von ihm vom 29. Juni 2007 erhöht. Die geltend gemachte berufliche Entwicklung zum Ressort- oder Abteilungsleiter erweist sich daher als spekulativ. Beim früheren Arbeitgeber des Versicherten etwa gab es schon von der Grösse des Unternehmens her keine Stellen für Abteilungs- oder Ressortleiter. Zwar existiert heute die Funktion des Chefmonteurs nicht mehr. Gemäss Auskunft des VSEI vom 7. Juli 2008 entspricht diese Funktion aktuell derjenigen eines Elektro-Projektleiters. Ein solcher muss die höhere Fachprüfung absolviert haben und hat in der Regel Führungsverantwortung inne. Das vom kantonalen Gericht ermittelte Valideneinkommen von Fr. 101'665.-, bei dem das ursprüngliche Einkommen des Chefmonteurs der Nominallohnentwicklung angepasst wurde, liegt dabei über dem mittleren Monatssalär eines Elektro-Projektleiters im Alter des Beschwerdeführers (vgl. Auskunft des VSEI vom 7. Juli und 26. September 2008). Das von der Vorinstanz herangezogene Valideneinkommen erweist sich damit nicht als bundesrechtswidrig.
5.2.4 Entgegen der Argumentation des Beschwerdeführers lässt sich auch aus dem hier nicht anwendbaren <ref-law> nichts anderes ableiten. Diese Bestimmung bezieht sich im Rahmen des Unfallversicherungsrechts auf die berufliche Grundausbildung und nicht auf die später berufliche Weiterentwicklung. Zudem muss auch bei dieser Bestimmung eine berufliche Ausbildung "nachweislich geplant" gewesen sein, um Spekulationen zu vermeiden und um auf das Einkommen im entsprechenden Beruf abstellen zu können (SVR 2010 UV Nr. 13 S. 51, 8C_550/2009 E. 4.2 mit Hinweisen).
5.2.5 In Bezug auf die Tatsache, dass die Beschwerdegegnerin die Überprüfung der Rente unabhängig von der Unfallversicherung vornahm, verwies die Vorinstanz zu Recht auf die fehlende strikte Bindungswirkung zwischen Unfallversicherung und Invalidenversicherung (<ref-ruling> E. 6 S. 553 ff.) sowie auf die fehlende Verpflichtung der verschiedenen Sozialversicherungszweige, ihre Rentenrevisionsverfahren zeitlich zu koordinieren.
6. Insgesamt liegt damit kein Verstoss gegen Bundesrecht vor, wenn das kantonale Gericht in Bejahung der Revisionsvoraussetzungen eine neue Bestimmung des Invaliditätsgrades vornahm und zu einem nicht (mehr) rentenbegründenden Invaliditätsgrad von 36.5 % bzw. 37 % (gemäss <ref-ruling>) gelangte. Die Beschwerde ist daher abzuweisen.
7. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz, der Ausgleichskasse SPIDA und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. Februar 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Kathriner