Sachverhalt:
A. S._ (geboren 1955) absolvierte eine Lehre als Hochbauzeichner und bildete sich anschliessend zum technischen Kaufmann aus. Seit 1979 war er als Versicherungsberater fast durchwegs bei der Firma A._ tätig. Nach Erwerb des entsprechenden Fachausweises arbeitete er bei seiner Arbeitgeberin ab April 2001 als Finanzplaner im Bereich Versicherungs- und Finanzplanung. Seit dem 17. Mai 2004 attestierte ihm der behandelnde Psychiater aufgrund eines Burn-out-Syndroms eine vollständige Arbeitsunfähigkeit. Am 30. März 2005 meldete er sich bei der IV-Stelle des Kantons Freiburg zur Umschulung auf eine neue Tätigkeit und zum Rentenbezug an. Die IV-Stelle holte in der Folge verschiedene Berichte bei den behandelnden Ärzten und ein Gutachten des Instituts B._ vom 29. Mai 2006 ein. Im Rahmen des Vorbescheidverfahrens reichte S._ ein Privatgutachten des Dr. med. Z._, Facharzt FMH für Psychiatrie und Psychotherapie, leitender Arzt der Privatklinik W._ vom 4. Oktober 2007 ein. Nach Einholen von ergänzenden medizinischen Stellungnahmen lehnte die IV-Stelle in Bestätigung ihrer Vorentscheide mit zwei separaten Verfügungen vom 24. Oktober 2008 sowohl den Anspruch auf eine IV-Rente als auch auf berufliche Massnahmen ab.
B. Die hiegegen erhobene Beschwerde wies das Kantonsgericht Freiburg mit Entscheid vom 10. Dezember 2010 ab.
C. S._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides und der Verfügungen der IV-Stelle vom 24. Oktober 2008 sei ihm rückwirkend ab dem 17. Mai 2005 eine volle (recte: ganze) IV-Rente zuzusprechen. Eventuell sei die Sache an die Vorinstanz zurückzuweisen zur Einholung eines Obergutachtens, welches sich zum psychischen Gesundheitsschaden und dessen Auswirkungen auf die Erwerbsfähigkeit ausspreche.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Kantonsgericht Freiburg und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Offensichtlich unrichtig im Sinne von <ref-law> ist die Sachverhaltsfeststellung, wenn sie willkürlich ist (<ref-ruling> E. 1.4.1 S. 39). Die entsprechende Rüge prüft das Bundesgericht nur insoweit, als sie in der Beschwerde explizit vorgebracht und substanziiert begründet worden ist.
1.3 Bei der Beurteilung der Arbeitsunfähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, welche von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Im Weiteren sind die ärztlichen Auskünfte eine wichtige Grundlage für die Beurteilung der Frage, welche Arbeitsleistungen der Person noch zugemutet werden können (<ref-ruling> E. 4 S. 99 f.). Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis).
1.4 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1.2 hievor). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> Rechtsfrage (<ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (<ref-law>).
2. Im Streit liegt zur Hauptsache, ob das kantonale Gericht für die Beurteilung des Rentenanspruchs zu Recht auf das interdisziplinäre Gutachten des Instituts B._ vom 29. Mai 2006 abgestellt hat.
2.1 Das kantonale Gericht ging davon aus, dass das Gutachten des Instituts B._ und das Privatgutachten des Dr. med. Z._ sich grundsätzlich hinsichtlich der erhobenen Diagnosen nicht zu widersprechen scheinen, wobei der Privatgutachter zusätzlich die Diagnose einer Persönlichkeitsstörung stelle. Das Privatgutachten sei in keiner Weise geeignet, die Befunde, Analysen und Schlussfolgerungen des psychiatrischen Experten des Instituts B._ in Frage zu stellen oder gar zu erschüttern. Es treffe nicht zu, dass der psychiatrische Experte die Aussagen des Beschwerdeführers oder Tatsachen, die auf eine verminderte Erwerbsfähigkeit schliessen lassen, übergehe oder ins Gegenteil verkehre. Aufgrund der Analyse des psychiatrischen Gutachtens liessen sich auch keine Hinweise auf eine subjektive Voreingenommenheit des psychiatrischen Experten des Instituts B._ erkennen. Was die vom Beschwerdeführer bemängelte, auf 45 Minuten veranschlagte Untersuchungsdauer der psychiatrischen Exploration betreffe, sei auf die Rechtsprechung zu verweisen, wonach es für den Aussagegehalt eines medizinischen Gutachtens grundsätzlich nicht auf die Dauer der Untersuchung ankomme. Massgebend sei in erster Linie, ob die Expertise inhaltlich vollständig und im Ergebnis schlüssig sei (Hinweis auf das Urteil 9C_55/2009 vom 1. April 2009 E. 3.3 mit Hinweisen). Immerhin müsse der für eine psychiatrische Untersuchung zu betreibende Zeitaufwand der Fragestellung und der zu beurteilenden Psychopathologie angemessen sein (Hinweise auf die Urteile 9C_246/2010 vom 11. Mai 2010 E. 2.2.2, 9C_664/2009 vom 6. November 2009 E. 3 und I 1094/06 vom 14. November 2007 E. 3.1.1), wobei sich kein genereller Zeitrahmen angeben lasse (Hinweis auf das Urteil I 58/06 vom 13. Juni 2006 E. 2.2). Im vorliegenden Fall sei keine komplexe Psychopathologie zu analysieren gewesen. Zudem habe auch der Privatgutachter keine erhebliche Psychopathologie feststellen können. Im übrigen stelle die klinische Untersuchung mit Anamneseerhebung, Symptomerfassung und Verhaltensbeobachtung die wichtigste Grundlage gutachterlicher Schlussfolgerungen dar. Vorliegend sei insbesondere das Mass an gutachterlicher Eigenwahrnehmung nicht unzureichend, zumal der Gutachter des Instituts B._ für die entscheidwesentliche Folgeabschätzung auch unbestrittene Angaben über die Alltagsgestaltung als Beurteilungsmassstab habe heranziehen können. Damit erscheine der für die Begutachtung vom 24. April 2006 betriebene Zeitaufwand auf jeden Fall als ausreichend, selbst wenn er sich tatsächlich (nur) über 45 Minuten erstreckt haben sollte.
2.2 Der Beschwerdeführer bringt vor, die Exploration beim Institut B._ am 24. April 2006 sei mit schweren Mängeln behaftet. Sie habe durch den psychiatrischen Experten insgesamt lediglich 45 Minuten gedauert. Zudem sei der zur Durchführung des Gutachtens vorgesehene Psychiater am Tag der Exploration kurzfristig ausgefallen. Deshalb habe Dr. med. G._ unvorbereitet einspringen müssen, so dass er als Untersuchter festgestellt habe, dass der Stellvertreter die Akten nicht kenne. Es seien auch keine zusätzlichen standardisierten Testverfahren eingesetzt worden, um die Exploration zu vertiefen. Demgegenüber habe der Privatgutachter zwei mehrstündige, ambulante Konsultationen abgehalten und zusätzlich eine externe testpsychologische Untersuchung durchführen lassen. Ferner sei ein Selbstbeurteilungsfragebogen ausgewertet und beurteilt worden. Indem das kantonale Gericht trotz der zeitlich (völlig) ungenügenden Exploration dem Gutachten des Instituts B._ vollen Beweiswert zuerkenne und jenem des Privatexperten, das auf einer lege artis durchgeführten Exploration beruhe, keinen Beweiswert beimesse, habe es Art. 43 und 44 ATSG verletzt. Das Gutachten des Instituts B._ sei auch widersprüchlich und aktenwidrig. Aus medizinisch-psychiatrischer Sicht sei es in mehreren Punkten unhaltbar. Ferner habe das kantonale Gericht die Beweistauglichkeit des Privatgutachtens willkürlich gewürdigt.
2.3 Das kantonale Gericht hat unwidersprochen festgestellt, dass der Beschwerdeführer aus medizinisch-orthopädischer Sicht in der bisherigen Tätigkeit als Finanzplaner in seiner Arbeitsfähigkeit nicht eingeschränkt ist. In Bezug auf die psychischen Beeinträchtigungen hat es dem Gutachten des Instituts B._ vom 29. Mai 2006 volle Beweiskraft beigemessen und auf das Privatgutachten des Dr. med. Z._ vom 4. Oktober 2007 nicht abgestellt. Im Gutachten des Instituts B._ wird keine psychiatrische Diagnose mit Einfluss auf die Arbeitsfähigkeit erhoben. Ohne Einfluss auf die Arbeitsfähigkeit wird ein Status nach mittelgradiger depressiver Episode (ICD-10 F32.1) und eine hyperkinetische Störung (ICD-10 F90) angeführt. Dr. med. Z._ diagnostiziert ein ADHS (ICD-10 F90 bzw. F98.8), eine rezidivierende depressive Störung (ICD-10 F33) und eine Persönlichkeitsorganisation auf (charakter-) neurotischem Niveau (entsprechend ICD-10 F60.8). Unterschiedlich wird von beiden Gutachtern zur Hauptsache der Einfluss der psychischen Beeinträchtigungen auf die Arbeitsfähigkeit bewertet. Im Gutachten des Instituts B._ wird festgehalten, die Hyperaktivitätsstörung bestehe seit Jahrzehnten und habe den Beschwerdeführer in der beruflichen Tätigkeit nicht beeinträchtigt. Die im Jahre 2004 vorübergehende depressive Störung habe sich weitgehend zurückgebildet. Für Dr. med. Z._ bildet die Kombination der beiden Störungen (ADHS, rezidivierende depressive Störung) den für die weitere Arbeits(un)fähigkeit relevanten Gesundheitsschaden, wobei sich die Persönlichkeitsstruktur zusätzlich ungünstig auswirkt. Da sich die beiden Gutachter in einem wesentlichen Punkt medizinisch-diagnostischer Natur, den das Gericht hier nicht selber zu klären vermochte, widersprechen, im Weitern auch in der Frage, ob und inwieweit sich die diagnostizierten psychischen Beeinträchtigungen gegenseitig auf die Arbeitsfähigkeit auswirken, uneins sind, drängte sich ein weiteres Gutachten auf. Zwar kann offen bleiben, ob die vom Beschwerdeführer geltend gemachte Dauer der Exploration im Institut B._ ungenügend ist. Nicht entscheidend ist auch, dass der Gutachter auf die Durchführung von Tests verzichtet hat, da in diesem Zusammenhang auf die Fachkenntnis und den Ermessensspielraum des Experten verwiesen werden kann (Urteile 9C_762/2010 vom 19. Oktober 2010 E. 3.1 und Urteil I 305/06 vom 22. Mai 2007 E. 3.2). Entscheidend ist vielmehr, dass der Privatgutachter, der nicht zugleich der behandelnde Arzt des Beschwerdeführers ist, aufgrund von eingehenden Untersuchungen sowie durchgeführten Tests die Wechselwirkung zwischen der depressiven Störung und dem ADHS auf die Arbeitsfähigkeit feststellt und plausibel begründet. Demgegenüber zieht der Gutachter des Instituts B._ seine Schlussfolgerungen aufgrund einer einmaligen kürzeren Untersuchung, für die er zudem kurzfristig einspringen musste. Wenn das kantonale Gericht dennoch auf das Gutachten des Instituts B._ abstellte, liegt darin zwar zunächst bloss eine diskutable und sicherlich nicht offensichtlich unrichtige (unhaltbare, willkürliche) Beweiswürdigung, geschweige denn eine Verletzung von Regeln der Beweiswürdigung. Qualifizierend tritt aber hinzu, dass das Gutachten des Instituts B._ fast zwei Jahre und fünf Monate vor Verfügungserlass datiert und in Anbetracht des wesentlich späteren Parteigutachtens, dem nach dem Gesagten nicht von vornherein der Beweiswert abgeht, daher nicht beanspruchen kann, als Grundlage einer abschliessenden gerichtlichen Beurteilung zu dienen. Unter diesen Umständen drängt sich eine zusätzliche Begutachtung auf. Indem das kantonale Gericht davon abgesehen hat, hat das kantonale Gericht <ref-law> verletzt. Die Sache geht daher an das kantonale Gericht zurück, damit es ein (psychiatrisches) Gutachten einhole (zu den Modalitäten, vgl. zur Publikation in BGE 137 V vorgesehenes Urteil 9C_243/2010 vom 28. Juni 2011, E. 2.1 und 4.4).
3. Bei diesem Ausgang des Verfahrens ist die IV-Stelle kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde wird der angefochtene Entscheid vom 10. Dezember 2010 aufgehoben und die Sache an das Kantonsgericht Freiburg zurück gewiesen, damit es ein psychiatrisches Gutachten einhole und hernach neu entscheide.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle des Kantons Freiburg auferlegt.
3. Die IV-Stelle des Kantons Freiburg hat dem Beschwerdeführer für das bundesgerichtliche Verfahren eine Entschädigung von Fr. 2'800.- zu entrichten.
4. Dieses Urteil wird den Parteien, dem Kantonsgericht Freiburg, Sozialversicherungsgerichtshof, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 22. September 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer