Sachverhalt: A. Der 1968 geborene K._ war vom 1. Januar 2006 bis 31. März 2007 als Portfolio Controller bei der Bank X._ angestellt und bezog von April 2007 bis Oktober 2008 Arbeitslosentaggelder. Am 14. Januar 2009 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Zug holte bei Dr. med. A._, Facharzt für Psychiatrie und Psychotherapie, am 7. März 2009 einen Arztbericht ein, in dem dieser eine paranoide Schizophrenie diagnostizierte und eine Arbeitsunfähigkeit von 100 % ab 13. November 2009 (recte: 2008) bescheinigte. Im Vorbescheid vom 31. August 2009 ging die IV-Stelle von einer erheblichen Einschränkung der Arbeitsfähigkeit (Beginn der Wartezeit) seit dem 31. März 2007 aus und stellte die Ausrichtung einer ganzen Rente der Invalidenversicherung ab 1. August 2009 in Aussicht. Nachdem die Sammelstiftung als Pensionskasse der Bank X._ Einwände erhoben hatte, setzte die IV-Stelle den Beginn der Wartezeit mit Verfügung vom 12. März 2010 auf den 18. November 2008 fest und sprach K._ ab 1. November 2009 eine ganze Invalidenrente zu. B. Die hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 25. November 2010 ab. C. Mit Beschwerde lässt K._ die Aufhebung des vorinstanzlichen Entscheides und die Ausrichtung einer ganzen Rente der Invalidenversicherung, ausgehend von einer erstmaligen Arbeitsunfähigkeit am 31. März 2007, beantragen. Eventualiter seien die vorinstanzlichen Gerichtskosten der Beschwerdegegnerin zu überbinden und dem Beschwerdeführer eine angemessene Parteientschädigung für das vorinstanzliche Verfahren zuzusprechen. Die IV-Stelle und die Vorinstanz schliessen auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichtet.