Sachverhalt:
A. Der 1968 geborene K._ war vom 1. Januar 2006 bis 31. März 2007 als Portfolio Controller bei der Bank X._ angestellt und bezog von April 2007 bis Oktober 2008 Arbeitslosentaggelder. Am 14. Januar 2009 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Zug holte bei Dr. med. A._, Facharzt für Psychiatrie und Psychotherapie, am 7. März 2009 einen Arztbericht ein, in dem dieser eine paranoide Schizophrenie diagnostizierte und eine Arbeitsunfähigkeit von 100 % ab 13. November 2009 (recte: 2008) bescheinigte. Im Vorbescheid vom 31. August 2009 ging die IV-Stelle von einer erheblichen Einschränkung der Arbeitsfähigkeit (Beginn der Wartezeit) seit dem 31. März 2007 aus und stellte die Ausrichtung einer ganzen Rente der Invalidenversicherung ab 1. August 2009 in Aussicht. Nachdem die Sammelstiftung als Pensionskasse der Bank X._ Einwände erhoben hatte, setzte die IV-Stelle den Beginn der Wartezeit mit Verfügung vom 12. März 2010 auf den 18. November 2008 fest und sprach K._ ab 1. November 2009 eine ganze Invalidenrente zu.
B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 25. November 2010 ab.
C. Mit Beschwerde lässt K._ die Aufhebung des vorinstanzlichen Entscheides und die Ausrichtung einer ganzen Rente der Invalidenversicherung, ausgehend von einer erstmaligen Arbeitsunfähigkeit am 31. März 2007, beantragen. Eventualiter seien die vorinstanzlichen Gerichtskosten der Beschwerdegegnerin zu überbinden und dem Beschwerdeführer eine angemessene Parteientschädigung für das vorinstanzliche Verfahren zuzusprechen.
Die IV-Stelle und die Vorinstanz schliessen auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichtet.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Streitig und zu prüfen ist der Zeitpunkt des Eintritts der Arbeitsunfähigkeit und damit der Beginn der Wartezeit (vgl. Art. 29 Abs. 1 lit. b IVG in der bis 31. Dezember 2007 gültig gewesenen Fassung bzw. heute Art. 28 Abs. 1 lit. b IVG). Unbestritten ist hingegen der Anspruch des Versicherten auf eine ganze Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 100 %.
2.1 Der Beschwerdeführer macht geltend, die Arbeitsunfähigkeit sei erstmalig bereits ab 31. März 2007 eingetreten. Seine Ehefrau könne zum Verlauf der Krankheit weitere relevante Aussagen machen, und an Schizophrenie erkrankte Personen hätten typischerweise keine Krankheitseinsicht. Das psychiatrische Kurzgutachten von Dr. med. I._ bestätige, dass die Leistungseinschränkung beim letzten Arbeitgeber überwiegend wahrscheinlich auf die schizophrene Erkrankung zurückzuführen sei. Dem widerspreche nicht, dass er für den letzten Arbeitgeber und für die Arbeitslosenversicherung nicht sonderlich oder krank erschienen sei. Wenn das kantonale Gericht die rückwirkende Beurteilung im psychiatrischen Kurzgutachten von Dr. med I._ als ungenügend betrachte, stelle es an den Nachweis der erstmaligen Arbeitsunfähigkeit überzogene Beweisanforderungen. Bei Schizophreniekranken müsse schliesslich nach der Rechtsprechung im Zusammenhang mit aArt. 48 Abs. 2 Satz 2 IVG dem speziellen Charakter der Krankheit Rechnung getragen werden.
2.2 Unter relevanter Arbeitsunfähigkeit im Sinne von Art. 29 Abs. 1 lit. b IVG in der bis 31. Dezember 2007 gültig gewesenen Fassung bzw. heute Art. 28 Abs. 1 lit. b IVG ist eine Einbusse an funktionellem Leistungsvermögen im bisherigen Beruf oder Aufgabenbereich zu verstehen. Das heisst, es muss arbeitsrechtlich in Erscheinung treten, dass der Versicherte an Leistungsvermögen eingebüsst hat, so etwa durch einen Abfall der Leistungen mit entsprechender Feststellung oder gar Ermahnung des Arbeitgebers oder durch gehäufte, aus dem Rahmen fallende gesundheitlich bedingte Arbeitsausfälle. Mit anderen Worten: Die Leistungseinbusse muss in aller Regel dem seinerzeitigen Arbeitgeber aufgefallen sein. Eine erst nach Jahren rückwirkend festgelegte medizinisch-theoretische Arbeitsunfähigkeit genügt nicht (SVR 2008 IV Nr. 11 S. 32, I 687/06 E. 5.1; E. 4.2 des in SZS 2003 S. 434 zusammengefassten Urteils B 13/01 vom 5. Februar 2003). Umgekehrt ist eine in der beruflichen Tätigkeit im Vergleich zu einer gesunden Person tatsächlich nur reduziert erbrachte Leistung für sich allein gesehen in aller Regel ebenso wenig ausreichend für die Bejahung einer Arbeitsunfähigkeit im Sinne des Gesetzes. Vielmehr bedarf es dazu regelmässig zusätzlich einer (überzeugenden) medizinischen Einschätzung, die ordentlicherweise echtzeitlicher Natur ist (SVR 2010 IV Nr. 17, 8C_195/2009 E. 5). Der Zeitpunkt des Eintritts der Arbeitsunfähigkeit muss mit dem im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 5b S. 360 mit Hinweisen) nachgewiesen sein. Dieser Nachweis darf nicht durch nachträgliche erwerbliche oder medizinische Annahmen und spekulative Überlegungen ersetzt werden (Urteil 9C_368/2008 vom 11. September 2008 E. 2 mit Hinweisen).
2.3 Die Parteien und die Vorinstanz gingen übereinstimmend davon aus, es fehle vorliegend an einer echtzeitlichen ärztlichen Beurteilung der Arbeitsfähigkeit des Beschwerdeführers. Der behandelnde Arzt Dr. med. A._ diagnostizierte bei ihm erstmals im Arztbericht vom 7. März 2009 eine paranoide Schizophrenie, bei einem kontinuierlichen Verlauf seit ca. 2001. Ab Beginn der Behandlung am 13. November 2008 bescheinigte er eine Arbeitsunfähigkeit von 100 %. Nachdem Dr. med. G._, Facharzt für Allgemeinmedizin vom Regionalen Ärztlichen Dienst (RAD), in zwei Stellungnahmen vom 3. Juli und 10. August 2009 von einem früheren Eintritt der Arbeitsunfähigkeit, nämlich ab Entlassung bei der letzten Arbeitgeberin am 31. März 2007, ausgegangen war, korrigierte er seine Einschätzungen in der Stellungnahme vom 10. Dezember 2009, wonach in Folge Beweislosigkeit wohl erst ab November 2008 vom Beginn der Arbeitsunfähigkeit ausgegangen werden könne. Das vom Beschwerdeführer nach Erlass der Verfügung bei Dr. med. I._ in Auftrag gegebene psychiatrische Parteigutachten vom 21. Juni 2010 kam schliesslich zum Ergebnis, der Beginn einer partiellen Arbeitsunfähigkeit, deren Höhe der Gutachter zu Beginn nicht genau beziffern konnte, sei an einem nicht genau bestimmbaren Zeitpunkt während der letzten Anstellung bei der Bank X._ eingetreten.
2.3 Die Parteien und die Vorinstanz gingen übereinstimmend davon aus, es fehle vorliegend an einer echtzeitlichen ärztlichen Beurteilung der Arbeitsfähigkeit des Beschwerdeführers. Der behandelnde Arzt Dr. med. A._ diagnostizierte bei ihm erstmals im Arztbericht vom 7. März 2009 eine paranoide Schizophrenie, bei einem kontinuierlichen Verlauf seit ca. 2001. Ab Beginn der Behandlung am 13. November 2008 bescheinigte er eine Arbeitsunfähigkeit von 100 %. Nachdem Dr. med. G._, Facharzt für Allgemeinmedizin vom Regionalen Ärztlichen Dienst (RAD), in zwei Stellungnahmen vom 3. Juli und 10. August 2009 von einem früheren Eintritt der Arbeitsunfähigkeit, nämlich ab Entlassung bei der letzten Arbeitgeberin am 31. März 2007, ausgegangen war, korrigierte er seine Einschätzungen in der Stellungnahme vom 10. Dezember 2009, wonach in Folge Beweislosigkeit wohl erst ab November 2008 vom Beginn der Arbeitsunfähigkeit ausgegangen werden könne. Das vom Beschwerdeführer nach Erlass der Verfügung bei Dr. med. I._ in Auftrag gegebene psychiatrische Parteigutachten vom 21. Juni 2010 kam schliesslich zum Ergebnis, der Beginn einer partiellen Arbeitsunfähigkeit, deren Höhe der Gutachter zu Beginn nicht genau beziffern konnte, sei an einem nicht genau bestimmbaren Zeitpunkt während der letzten Anstellung bei der Bank X._ eingetreten.
2.4 2.4.1 Das kantonale Gericht kam in Würdigung dieser Unterlagen zum Schluss, beim Beschwerdeführer hätten gewisse Symptome der psychischen Störung im Jahr 2000/2001 begonnen. Es gebe indes in den Akten keine konkreten Hinweise, dass diese Symptome in den Folgejahren Auswirkungen auf Arbeits- und Leistungsfähigkeit gehabt hätten. Dem im individuellen Konto (IK) ausgewiesenen Einkommen als Selbstständigerwerbender in den Jahren 1999 bis 2005 seien keine Hinweise auf Auswirkungen in Bezug auf die Arbeits- und Leistungsfähigkeit zu entnehmen, genau so wenig wie bei der Anstellung als Portfolio Controller bei der Bank X._, wo er ein Jahreseinkommen von Fr. 120'000.- erzielt habe und insgesamt lediglich an drei aufeinanderfolgenden Tagen krank gewesen sei. Diese Feststellungen sind nicht offensichtlich unrichtig und stellen damit verbindliche Tatsachenfeststellungen dar (Art. 97 Abs. 1 BGG). Auch der Hausarzt Dr. med. L._ stellte bis zum Abschluss seiner Betreuung am 27. September 2006 keine entsprechenden Hinweise fest.
Weiter führte das kantonale Gericht aus, zwar sei die letzte Anstellung des Beschwerdeführers gekündigt worden, weil er die an ihn gestellten Erwartungen und Zielsetzungen nicht habe erfüllen können, dies reiche jedoch nicht für die Bejahung einer Arbeitsunfähigkeit, weil es hierzu an einer überzeugenden medizinischen Einschätzung fehle, welche ordentlicherweise echtzeitlicher Natur sei. In Übereinstimmung mit der Beschwerdegegnerin setzte es den Beginn der Wartezeit daher auf den 18. November 2008 fest, da Dr. med. A._ erstmals ab Behandlungsbeginn eine Arbeitsunfähigkeit festgestellt hatte.
Diese Beurteilung ist nicht zu beanstanden, denn aus dem Umstand, dass der Beschwerdeführer zwar die Probezeit bestanden hatte, aber von Anfang an die betriebsüblichen Anforderungen und Erwartungen nicht erfüllen konnte, kann nicht automatisch auf gesundheitliche Ursachen für die Nichterfüllung der Zielsetzungen geschlossen werden (vgl. Urteil 9C_847/2009 vom 19. März 2010 E. 4.1), zumal die Erwartungen in der Bankenbranche erfahrungsgemäss anspruchsvoll sind und auch von gesunden Angestellten unter Umständen nicht erfüllt werden. Die Bank X._ selber brachte die Minderleistung nicht mit gesundheitlichen Ursachen in Verbindung und verneinte in der Austrittsmeldung vom 28. März 2007 eine Erwerbsunfähigkeit des Beschwerdeführers (vgl. auch Urteil B 153/06 von 9. August 2007 E. 3.2). Nach Auflösung des Arbeitsverhältnisses meldete sich der Beschwerdeführer bei der Arbeitslosenversicherung an, wurde als vermittelbar beurteilt und bezog von April 2007 bis Oktober 2008 Arbeitslosentaggelder, was ebenfalls mitberücksichtigt werden darf (vgl. <ref-ruling> E. 3.2.1 S. 22; Urteil 9C_368/2008 vom 11. September 2008 E. 4.3).
2.4.2 Soweit der Beschwerdeführer mit Verweis auf die Rechtsprechung zu dem bis 31. Dezember 2007 in Kraft gewesenen Art. 48 Abs. 2 Satz 2 IVG auf den speziellen Charakter der Schizophrenie bzw. auf den Umstand hinweist, dass an Schizophrenie erkrankte Personen typischerweise keine Krankheitseinsicht haben, führt dies zu keiner anderen Beurteilung.
Die Voraussetzung für Nachzahlungen im Sinne des früheren Art. 48 Abs. 2 Satz 2 IVG wurde im Fall einer Schizophrenie regelmässig bejaht (Urteil I 824/05 vom 20. Februar 2006 E. 2), weil die Betroffenen durch die Erkrankung daran gehindert wurden, den anspruchsbegründenden Sachverhalt zu erkennen und damit den Sozialversicherungsanspruch formell rechtzeitig geltend zu machen. Die zusätzlichen Voraussetzungen für den Anspruch selber, insbesondere der Eintritt einer entsprechenden Arbeitsunfähigkeit, mussten aber in diesen Fällen ebenfalls eingetreten gewesen sein (Urteil I 149/99 vom 16. März 2000 E. 1b). Auch unter Berücksichtigung der besonderen Natur der Schizophrenie müssen daher die Auswirkungen auf das Arbeitsverhältnis arbeitsrechtlich in Erscheinung treten und nachgewiesen werden (vgl. in Bezug auf Schizophrenieerkrankungen die Urteile B 152/06 vom 11. Februar 2008 E. 6.3 und B 69/06 vom 22. November 2006 E. 4). Eine psychiatrische Diagnose für sich allein genommen oder deren Behandlungsbedürftigkeit lassen nicht den Schluss auf eine gesundheitlich bedingt eingeschränkte Arbeitsfähigkeit zu (SVR 2008 IV Nr. 11 S. 32, I 687/06 E. 5.2). Soweit die Krankheit zwar ausgebrochen war, jedoch lediglich in so geringem Umfang, dass der Beschwerdeführer diese während der Arbeit unter Kontrolle hatte und der Arbeitgeber keine entsprechenden Auffälligkeiten bemerkte, ist der Beginn der Arbeitsunfähigkeit noch nicht zu bejahen. Erforderlich sind hier ebenso wie bei anderen Krankheiten echtzeitliche medizinische Dokumente und arbeitsrechtlich relevante Auffälligkeiten, mit welchen eine erhebliche Beeinträchtigung der Arbeitsfähigkeit nachgewiesen werden kann. Damit vermag auch die rückwirkende Beurteilung von Dr. med. I._ zu keinem anderen Ergebnis zu führen. Die beweisrechtliche Frage nach dem Eintritt der Arbeitsunfähigkeit muss nach dem Gesagten zuungunsten des Beschwerdeführers beantwortet werden.
2.4.3 Entgegen der Auffassung des Beschwerdeführers liesse sich eine Arbeitsunfähigkeit im ausserhäuslichen, beruflichen Bereich und deren Beginn auch nicht mit einer weiteren Befragung der Ehefrau in rechtlich genügender Weise belegen. Damit durfte die Vorinstanz in antizipierter Beweiswürdigung auf eine solche Befragung verzichten, nachdem die Beschwerdegegnerin dies bereits am 10. August 2009 getan hatte.
2.5 Zusammenfassend hat das kantonale Gericht im Rahmen einer umfassenden und objektiven bundesrechtskonformen Beweiswürdigung (<ref-ruling> E. 4.1 S. 400) zutreffend begründet, dass die gesicherte Arbeitsunfähigkeit ab November 2008 nicht bereits früher eingetreten ist. Unbestritten fehlen echtzeitliche ärztliche Arbeitsunfähigkeitsbescheinigungen, weshalb vorinstanzlich nach einer anderweitig nachgewiesenen gesundheitsbedingten Einbusse im Leistungsvermögen zu fragen war, welche nicht mit dem im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (<ref-ruling> E. 3b S. 263 f.) ausgewiesen ist. Im Lichte der Akten durfte das kantonale Gericht eine vor dem November 2008 vorhandene Arbeitsunfähigkeit verneinen, ohne in eine bundesrechtswidrige Beweiswürdigung (Art. 95 lit. a BGG) zu verfallen, eine offensichtlich unrichtige Sachverhaltsfeststellung zu begehen (Art. 97 Abs. 1 und Art. 105 Abs. 1 BGG; Urteil 9C_270/2008 vom 12. August 2008 E. 2.2) oder sonst wie gegen Bundesrecht zu verstossen. Die Beschwerde ist somit abzuweisen.
3. 3.1 Der Beschwerdeführer macht geltend, indem die Beschwerdegegnerin ihre Verfügung nicht der Stiftung Auffangeinrichtung BVG eröffnet habe, habe sie einen Eröffnungsfehler begangen, was bei der Verlegung der Gerichtskosten und Parteientschädigung zugunsten des Beschwerdeführers zu berücksichtigen sei.
3.2 Erlässt ein Versicherungsträger eine Verfügung, welche die Leistungspflicht eines anderen Trägers berührt, so hat er auch ihm die Verfügung zu eröffnen; dieser kann die gleichen Rechtsmittel ergreifen wie die versicherte Person (Art. 49 Abs. 4 ATSG). "Berührt" im Sinne dieser Bestimmung ist, wer in einer besonderen, beachtenswerten, nahen Beziehung zur Streitsache steht, mithin in rechtlichen oder tatsächlichen Interessen spürbar betroffen ist (<ref-ruling> E. 3.1 S. 77; Urteil 9C_414/2007 vom 25. Juli 2008 E. 2.1). Nachdem die Beschwerdegegnerin mit Verfügung vom 12. März 2010, anders als in ihrem Vorbescheid, den Beginn der Wartezeit auf den 18. November 2008 gelegt hatte, hätte die Verfügung auch der Stiftung Auffangeinrichtung BVG als Vorsorgeeinrichtung für Arbeitslosentaggeldbezüger eröffnet werden müssen, was nicht geschah. Der Beschwerdeführer war von diesem Eröffnungsfehler jedoch nicht direkt betroffen. Ein praktischer Nutzen aus der Zustellung an die Stiftung Auffangeinrichtung BVG ist nicht ersichtlich. Er selber hätte die Verfügung auch bei korrekter Eröffnung angefochten, weil er den Beginn der Wartezeit auf den 31. März 2007 vorverlegt haben wollte, womit die Stiftung Auffangeinrichtung BVG nicht mehr die zuständige Vorsorgeeinrichtung gewesen wäre. Mit der fehlenden Zustellung der Verfügung entfällt zwar die Bindungswirkung im berufsvorsorgerechtlichen Verfahren (<ref-ruling> E. 4.3.2 S. 69; SVR 2007 IV Nr. 8 S. 27, I 89/06 E. 2). Inwiefern dadurch die Rechte des Beschwerdeführers beeinträchtigt werden, ist jedoch nicht ersichtlich. Es liegt gerade nicht die Konstellation vor, wonach der Beginn der Wartezeit im vorliegenden Verfahren vorverlegt worden wäre und die Einrichtung der beruflichen Vorsorge aufgrund der fehlenden Bindungswirkung in ihrem Entscheid dann von einem späteren Zeitpunkt des Eintritts der Arbeitsunfähigkeit ausgehen könnte. Der auch im berufsvorsorgerechtlichen Verfahren geltende Untersuchungsgrundsatz schliesst - anders als vom Beschwerdeführer eingewendet - auch eine Beweislast im Sinne der Beweisführungslast begriffsnotwendig aus. Der Eröffnungsfehler hat damit keine Auswirkungen auf die Verlegung der Gerichtskosten und Parteientschädigung im vorinstanzlichen Verfahren.
4. Die Gerichtskosten werden dem Beschwerdeführer als unterliegender Partei auferlegt (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. Mai 2011
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Kathriner