Sachverhalt: A. S._ (geboren 1955) absolvierte eine Lehre als Hochbauzeichner und bildete sich anschliessend zum technischen Kaufmann aus. Seit 1979 war er als Versicherungsberater fast durchwegs bei der Firma A._ tätig. Nach Erwerb des entsprechenden Fachausweises arbeitete er bei seiner Arbeitgeberin ab April 2001 als Finanzplaner im Bereich Versicherungs- und Finanzplanung. Seit dem 17. Mai 2004 attestierte ihm der behandelnde Psychiater aufgrund eines Burn-out-Syndroms eine vollständige Arbeitsunfähigkeit. Am 30. März 2005 meldete er sich bei der IV-Stelle des Kantons Freiburg zur Umschulung auf eine neue Tätigkeit und zum Rentenbezug an. Die IV-Stelle holte in der Folge verschiedene Berichte bei den behandelnden Ärzten und ein Gutachten des Instituts B._ vom 29. Mai 2006 ein. Im Rahmen des Vorbescheidverfahrens reichte S._ ein Privatgutachten des Dr. med. Z._, Facharzt FMH für Psychiatrie und Psychotherapie, leitender Arzt der Privatklinik W._ vom 4. Oktober 2007 ein. Nach Einholen von ergänzenden medizinischen Stellungnahmen lehnte die IV-Stelle in Bestätigung ihrer Vorentscheide mit zwei separaten Verfügungen vom 24. Oktober 2008 sowohl den Anspruch auf eine IV-Rente als auch auf berufliche Massnahmen ab. B. Die hiegegen erhobene Beschwerde wies das Kantonsgericht Freiburg mit Entscheid vom 10. Dezember 2010 ab. C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides und der Verfügungen der IV-Stelle vom 24. Oktober 2008 sei ihm rückwirkend ab dem 17. Mai 2005 eine volle (recte: ganze) IV-Rente zuzusprechen. Eventuell sei die Sache an die Vorinstanz zurückzuweisen zur Einholung eines Obergutachtens, welches sich zum psychischen Gesundheitsschaden und dessen Auswirkungen auf die Erwerbsfähigkeit ausspreche. Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Kantonsgericht Freiburg und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.