Faits:
A.
X._, né en 1957, a obtenu le brevet pour l'enseignement dans les écoles primaires du canton de Berne en xxxx. En xxxx le canton de Neuchâtel lui a délivré un diplôme de maître de l'enseignement spécialisé. Après avoir enseigné à l'école primaire de A._, il a été engagé fin xxxx comme enseignant par la Commission d'école de la commune de B._, en dernier lieu pour une durée indéterminée, puis en tant qu'enseignant spécialisé par la Commission des écoles de C._ et la Commission de l'école secondaire de D._, pour une durée déterminée jusqu'au xxxx.
Le 27 avril 2009, lors d'une perquisition domiciliaire, la police cantonale bernoise a trouvé chez l'intéressé des données électroniques comportant de la pornographie infantile, de sorte qu'une procédure pénale a été ouverte à son encontre. Lors de celle-ci, il est notamment apparu que l'intéressé s'était abonné à des sites internet proposant des images d'enfants nus et avait consulté ces sites presque quotidiennement pendant la période d'abonnement, en sachant que cela était interdit. Il avait ainsi en sa possession au moins 1'000 images pédopornographiques. Ses mobiles étaient d'assouvir des pulsions sexuelles, ainsi qu'une curiosité malsaine. Il avait en outre reconnu qu'il pouvait éprouver de l'excitation sexuelle devant des images d'enfants nus et admis s'être parfois masturbé devant elles. Son comportement s'était étendu sur plusieurs années.
Par décision du 20 avril 2010, la Commission d'école de B._ a résilié ses rapports de service avec effet au 31 juillet 2010. Cette décision est entrée en force suite au prononcé, non contesté, du Tribunal administratif du canton de Berne, Cour des affaires de langue française (ci-après: le Tribunal administratif), du 10 avril 2012. Par la suite, X._ a encore effectué divers remplacements dans d'autres écoles primaires.
Dans un jugement du 20 avril 2011, le Président du Tribunal régional Jura bernois-Seeland a condamné l'intéressé à une peine pécuniaire de 36 jours-amende à 170 fr. avec sursis pendant deux ans et à une amende de 1'530 fr. pour pornographie (ayant comme contenu des actes d'ordre sexuel avec des enfants). Sur appel du Ministère public, ce jugement a été confirmé le 6 septembre 2012 par la Cour suprême du canton de Berne.
Dans le cadre d'une procédure administrative relative au retrait du droit d'enseigner ouverte par la Direction de l'instruction publique du canton de Berne (ci-après: la Direction), une expertise psychiatrique a été établie le 22 mars 2012 par le "Forensisch-Psychiatrischer Dienst" de l'Université de Berne. Les experts ont en particulier retenu que la probabilité d'une nouvelle utilisation de la pornographie illicite par l'intéressé devait être qualifiée de peu élevée et celle d'abus sur des enfants d'encore plus faible ou d'infime. Ces mêmes spécialistes n'ont toutefois pas pu exclure définitivement tout risque d'une nouvelle infraction et ont constaté que seule une psychothérapie abordant l'ensemble des problématiques psychiques présentes serait à même de diminuer ce risque. Ils ont évalué la durée de la thérapie de six mois à une année.
X._ a débuté une thérapie, de son propre chef, le 29 février 2012. Dans un rapport du 30 mars 2013, sa psychiatre traitante a reconnu que le traitement instauré était de longue haleine, qu'il évoluait favorablement dans le sens d'un meilleur contrôle des pulsions à l'origine du comportement illicite, mais qu'il n'était pas clos à cette date. Elle a toutefois estimé que le risque de rechute était nul depuis la fin de l'automne 2012 et que le traitement devait durer encore environ un ou deux ans.
B.
Par décision du 5 septembre 2012, la Direction a retiré à X._ son droit d'enseigner jusqu'à l'aboutissement de la thérapie, mais au moins durant trois ans. Elle a par ailleurs requis de celui-ci qu'il lui remette les originaux de son brevet d'instituteur et de son diplôme de maître de l'enseignement spécialisé dans les 30 jours suivant la notification de la décision. Elle a retiré l'effet suspensif à un éventuel recours. L'intéressé a contesté ce prononcé devant le Tribunal administratif.
Après avoir débouté l'intéressé d'une requête tendant à la restitution de l'effet suspensif par jugement incident du 5 novembre 2012, le Tribunal administratif a rejeté le recours, pour le surplus, par jugement du 26 août 2013. Il a considéré en substance que la mesure prononcée par la Direction reposait sur une base légale suffisante et qu'il existait un intérêt public majeur à tenir le recourant éloigné de l'enseignement. A ce propos, le Tribunal administratif a tenu compte des bonnes chances de guérison, mais constaté que la thérapie était toujours en cours et que cela ne permettait pas de conclure à une guérison définitive de l'intéressé. Il a finalement jugé que la mesure était proportionnée, dès lors qu'il ne s'agissait pas d'une interdiction générale d'enseigner et que de nombreuses activités demeuraient encore ouvertes. S'agissant du retrait des originaux du diplôme et brevet de X._, les juges cantonaux ont en particulier estimé que cette mesure était à même de garantir le but poursuivi.
C.
Agissant par la voie du recours en matière de droit public, X._ demande en substance du Tribunal fédéral, sous suite de frais et dépens, d'annuler l'arrêt du Tribunal administratif du 26 août 2013 et de renvoyer la cause à l'instance précédente pour nouvelle décision. Il se plaint d'une violation des art. 5, 27 et 36 Cst.
La Direction a renoncé à soumettre une prise de position, alors que le Tribunal administratif, de manière générale, se réfère à l'arrêt attaqué. X._, dans des observations finales, confirme ses conclusions.

Considérant en droit:
1.
Le jugement attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) dans une cause de droit public (<ref-law>) ne tombant pas sous le coup des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte. Déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (<ref-law>), le recours en matière de droit public est recevable.
2.
2.1. Aucun fait nouveau ni preuve nouvelle ne peut être présenté (cf. <ref-law>). Les documents postérieurs au jugement entrepris, remis le 31 janvier 2014 par le recourant, sont des moyens de preuve nouveaux et par conséquent irrecevables. Quant aux autres documents, relatifs à des faits non retenus par l'instance précédente, ceux-ci sont irrecevables (cf. consid. 2.2 ci-dessous).
2.2. Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (cf. <ref-law>). Le recours ne peut critiquer les constatations de fait que si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law>, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>), ce que la partie recourante doit démontrer d'une manière circonstanciée, conformément aux exigences de motivation de l'<ref-law> (cf. <ref-ruling> consid. 1.4.3 p. 254 s.). La notion de "manifestement inexacte" correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 2.1 p. 450).
Par conséquent, et même si le recourant affirme se référer intégralement aux faits retenus par l'instance précédente, en tant que celui-ci avance des éléments de fait ne ressortant pas du jugement attaqué, notamment en relation avec de vaines recherches de travail, sans exposer en quoi les conditions qui viennent d'être rappelées seraient réunies, il n'en sera pas tenu compte.
3.
Le recourant invoque une violation des art. 5, 27 et 36 Cst. Il estime que la persistance du suivi psychothérapeutique ne signifie pas qu'un risque de récidive existe et qu'il soit nécessaire de lui retirer son droit d'enseigner. Il se plaint donc de violation de sa liberté économique, puisque l'accès à une activité d'enseignant dans le secteur public n'est plus possible, alors que l'enseignement dans le secteur privé est rendu très difficile, voire impossible. S'il ne conteste pas l'existence d'une base légale et d'un intérêt public prépondérant pour permettre une restriction de sa liberté, il estime toutefois que la mesure prononcée par la Direction, confirmée par le Tribunal administratif, viole le principe de la proportionnalité. En effet, dès lors que les experts ont évalué la durée de la thérapie nécessaire de six mois à une année et que sa psychiatre traitante a considéré que le risque de récidive était nul depuis l'automne 2012, l'interdiction d'enseigner est disproportionnée puisqu'elle sera levée au plus tôt en septembre 2015. Il est d'avis qu'une mesure portant moins atteinte à ses intérêts pourrait être prononcée. En outre, il soutient que l'obligation qui lui a été faite de remettre les originaux de ses diplômes viole non seulement sa liberté économique, mais également le principe de la légalité. Le recourant relève à ce propos que la base légale sur laquelle le Tribunal administratif s'est fondé ne prévoit pas le retrait du diplôme en tant que tel, mais uniquement le retrait du droit d'enseigner.
Le présent litige porte donc tout d'abord sur la question de savoir si la liberté économique du recourant a été restreinte par la mesure de retrait du droit d'enseigner et, le cas échéant, si cette restriction était fondée sur une base légale suffisante, justifiée par un intérêt public et proportionnée au but visé. Dans un second temps, il conviendra de statuer sur la légalité et la proportionnalité du retrait des originaux des diplôme et brevet du recourant.
4.
Selon l'art. 27 al. 1 Cst., la liberté économique est garantie. Elle comprend notamment le libre choix de la profession, le libre accès à une activité économique lucrative privée et son libre exercice (art. 27 al. 2 Cst.). Cette liberté protège toute activité économique privée, exercée à titre professionnel et tendant à la production d'un gain ou d'un revenu (<ref-ruling> consid. 3.1 p. 172; <ref-ruling> consid. 4.2 p. 135; <ref-ruling> consid. 3 p. 215 s.). Aux termes de l'art. 36 al. 1 Cst., toute restriction d'un droit fondamental doit être fondée sur une base légale; les restrictions graves doivent être prévues par une loi (<ref-ruling> consid. 5.1 p. 284 et les références citées); les cas de danger sérieux, direct et imminent sont réservés. Toute restriction d'un droit fondamental doit être justifiée par un intérêt public ou par la protection d'un droit fondamental d'autrui (art. 36 al. 2 Cst.) et proportionnée au but visé (art. 36 al. 3 Cst.). Le principe de la proportionnalité exige qu'une mesure restrictive soit apte à produire les résultats escomptés et que ceux-ci ne puissent être atteints par une mesure moins incisive; en outre, il interdit toute limitation allant au-delà du but visé et exige un rapport raisonnable entre celui-ci et les intérêts publics ou privés compromis (<ref-ruling> consid. 3.6 p. 175 s.; <ref-ruling> consid. 3.1 p. 245 s.; <ref-ruling> consid. 3.3 p. 227).
I. Retrait du droit d'enseigner
5.
Le recourant se plaint d'une violation de sa liberté économique. Il est d'avis que c'est de manière disproportionnée que son droit d'enseigner lui a été retiré.
5.1. Il explique d'abord que sa liberté économique est restreinte puisque l'accès à une activité d'enseignant dans le secteur public n'est plus possible. C'est cependant à tort qu'il estime que ce type d'activité est protégé par l'art. 27 Cst. En effet, comme le Tribunal fédéral l'a précisé dans sa jurisprudence, l'exercice d'une activité étatique ou d'une fonction publique n'est pas protégé par cette disposition constitutionnelle (<ref-ruling> consid. 3.1.1 p. 116 s.; <ref-ruling> consid. 4.1 p. 40 s.). C'est d'ailleurs tout particulièrement le cas de l'activité de maître d'école primaire (<ref-ruling> consid. 2c p. 401).
5.2. Le recourant fait également valoir que son activité d'enseignant est rendue difficile, voire impossible, dans le secteur privé. Il ne peut toutefois être suivi dans son raisonnement. En effet, aux termes de l'art. 66 al. 1 let. b de la loi bernoise du 19 mars 1992 sur l'école obligatoire (LEO/BE; RSB 432.210), l'autorisation de gérer une école privée est accordée si l'école garantit que les personnes qui dispensent l'enseignement sont guidées dans leur travail et contrôlées par des personnes dotées des qualifications pédagogiques requises. Cela signifie qu'un diplôme d'enseignant n'est pas nécessaire pour pratiquer dans ce genre d'établissement. C'est d'ailleurs ce qu'avait expressément voulu le législateur bernois (cf. à ce propos Journal du Grand Conseil du canton de Berne [ci-après: le Grand Conseil] 2007 p. 1417 ss et annexe 32 p. 27). Même si de nouvelles dispositions relatives au retrait du droit d'enseigner et aux effets de ce retrait sur l'enseignement dans les écoles privées sont entrées en vigueur le 1 er août 2014 (cf. ROB 14-24), celles-ci n'ont pas d'incidence pour la présente cause, le jugement entrepris ayant été rendu sous l'empire de l'ancien droit. Par conséquent, le retrait du droit d'enseigner prononcé à l'encontre du recourant ne concernant que les écoles publiques, à l'exclusion des écoles privées (du canton de Berne), il ne saurait être question d'une restriction de la liberté économique au sens de l'art. 36 Cst. Au demeurant, comme ce retrait n'empêche pas non plus le recourant de pratiquer l'enseignement dans des établissements pour adultes qui ne sont pas soumis à un contrôle étatique, il n'est d'autant moins question d'une telle restriction.
5.3. Le recourant a également dénoncé une violation de l'art. 5 al. 2 Cst., qui dispose que l'activité de l'Etat doit répondre à un intérêt public et être proportionnée au but visé. Lors de l'application du droit cantonal en-dehors du domaine de protection d'un droit fondamental particulier, la violation de cette disposition constitutionnelle, de portée générale, peut être invoquée de manière indépendante dans un recours en matière de droit public. Toutefois, dans ce cas, l'examen est limité à l'arbitraire (<ref-ruling> consid. 4.3 p. 158).
En l'occurrence, le recourant, qui se contente de relever que le raisonnement des juges cantonaux est arbitraire, ne démontre pas en quoi la solution adoptée serait insoutenable. En tout état de cause, la motivation du Tribunal administratif quant à la proportionnalité de la mesure ne saurait être qualifiée d'arbitraire. En effet, selon la jurisprudence, l'arbitraire ne résulte pas du seul fait qu'une autre solution serait envisageable ou même préférable (<ref-ruling> consid. 4.2 p. 560). Le Tribunal fédéral n'annule la décision attaquée que lorsque celle-ci est manifestement insoutenable, qu'elle se trouve en contradiction claire avec la situation de fait, qu'elle viole gravement une norme ou un principe juridique indiscuté, ou encore lorsqu'elle heurte de manière choquante le sentiment de la justice et de l'équité. S'agissant plus précisément de l'appréciation des preuves et de l'établissement des faits, il y a arbitraire lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 4.2 p. 560; <ref-ruling> consid. 4.3 p. 62; <ref-ruling> consid. 2.1 p. 9). Or, constater, sur la base des faits retenus, que la thérapie n'est pas achevée et en déduire que le recourant représente encore un risque, même faible, pour l'intégrité des mineurs qu'il côtoie, raison pour laquelle il s'avère nécessaire de lui retirer son droit d'enseigner, ne constitue pas un raisonnement insoutenable. Au vu de cette appréciation, il n'est pas arbitraire non plus de retenir comme proportionnée une mesure qui vise à exclure le recourant de l'enseignement jusqu'à ce que sa thérapie soit achevée, mais au moins durant trois ans, ce d'autant moins qu'il a toujours la possibilité de travailler dans l'enseignement privé et dans la formation d'adultes, comme cela a été relevé précédemment (cf. consid. 5.2 ci-dessus).
5.4. En conséquence, le recours, en ce qu'il concerne le retrait du droit d'enseigner, doit être rejeté.
II. Retrait des brevet et diplôme
6.
Le recourant soutient que le retrait de ses brevet et diplôme constitue aussi une restriction de sa liberté économique. Selon lui, c'est sans base légale que la mesure a été prononcée, le Tribunal administratif ne pouvant pas se fonder sur l'ancien art. 22a al. 1 de la loi bernoise du 20 janvier 1993 sur le statut du corps enseignant (LSE/BE; RSB 430.250; dans sa version en vigueur jusqu'au 31 juillet 2014 et applicable au cas d'espèce; ROB 07-53) pour confirmer la décision de la Direction.
6.1. Pour les mêmes raisons que précédemment (cf. consid. 5.1 ci-dessus), le recourant ne peut faire valoir une restriction de sa liberté économique que dans la mesure où elle concerne une éventuelle activité économique privée.
6.2. L'instance précédente a jugé que les buts poursuivis par le retrait des documents du recourant étaient les mêmes que ceux visés par l'ancien art. 22a al. 1 LSE/BE. Elle a ainsi considéré que cette base légale était suffisante pour ordonner ce retrait. Elle a toutefois relevé que cela n'était pas d'emblée évident, mais que le retrait de ces documents pouvait de toute manière intervenir d'après les principes qui régissent la révocation des décisions administratives.
6.2.1. En l'occurrence, les documents en cause sont des décisions (secondaires; cf. <ref-ruling> consid. 2.1 p. 70 s.) qui reposent sur l'évaluation des capacités du recourant et attestent que celui-ci a terminé avec succès sa formation. Par conséquent, en l'absence de ses diplômes, il devient très difficile au recourant de démontrer qu'il a effectué sa formation avec succès et qu'il maîtrise les domaines enseignés. En ne pouvant plus apporter une telle preuve directe, le recourant est restreint dans sa liberté économique s'agissant de trouver un travail dans le secteur privé, dès lors qu'il est attendu d'une personne qui dépose sa candidature à un poste qu'elle présente ses certificats de capacité.
6.2.2. Pour rappel, il découle de l'art. 36 al. 1 Cst. que toute restriction d'un droit fondamental doit être fondée sur une base légale, les restrictions graves devant être prévues par une loi au sens formel (cf. consid. 4 ci-dessus). La gravité de l'atteinte doit être appréciée objectivement et non pas en fonction de l'impression subjective du destinataire (<ref-ruling> consid. 6.2 p. 381 s.). En plus de cela, il convient de vérifier si la base légale présente les garanties de clarté et de transparence exigées par le droit constitutionnel, au titre de la "densité normative" (cf. <ref-ruling> précité; <ref-ruling> consid. 5.3.1 p. 13; <ref-ruling> consid. 7a p. 124 s. et les références citées).
En effet, selon la jurisprudence du Tribunal fédéral, l'exigence de précision de la norme découle du principe général de la légalité, mais aussi de la sécurité du droit et de l'égalité devant la loi (<ref-ruling> consid. 7.6 p. 324 s.; <ref-ruling> consid. 7a p. 124 s. et les références citées). L'exigence de la densité normative n'est toutefois pas absolue, car on ne saurait exiger du législateur qu'il renonce totalement à recourir à des notions générales, comportant une part nécessaire d'interprétation. Cela tient en premier lieu à la nature générale et abstraite inhérente à toute règle de droit, et à la nécessité qui en découle de laisser aux autorités d'application une certaine marge de manoeuvre lors de la concrétisation de la norme. Pour déterminer le degré de précision que l'on est en droit d'exiger de la loi, il faut tenir compte du cercle de ses destinataires et de la gravité des atteintes qu'elle autorise aux droits fondamentaux (<ref-ruling> consid. 7.2 p. 391 s.; <ref-ruling> consid. 6.5.1 p. 29 s.; <ref-ruling> consid. 4d p. 284). Une atteinte grave exige en principe une base légale formelle, claire et précise, alors que les atteintes plus légères peuvent, par le biais d'une délégation législative, figurer dans des actes de niveau inférieur à la loi, ou trouver leur fondement dans une clause générale (<ref-ruling> consid. 5b/bb et les arrêts cités). Le Tribunal fédéral examine librement cette question.
Par ailleurs, le Tribunal fédéral revoit l'interprétation et l'application du droit cantonal effectuées par les autorités cantonales sous l'angle restreint de l'arbitraire lorsque l'atteinte à une liberté constitutionnelle n'est pas particulièrement grave (<ref-ruling> consid. 4c p. 423; <ref-ruling> consid. 4a p. 32; <ref-ruling> consid. 4a p. 244). A contrario, lorsque l'atteinte est grave, le Tribunal fédéral examine librement l'interprétation et l'application de ce droit (<ref-ruling> consid. 8.2 p. 42 s.).
6.2.3. En l'espèce, la restriction en cause doit être considérée comme grave puisqu'elle limite de manière très importante les possibilités pour le recourant de trouver un travail durant une période incompressible de trois ans. L'existence même d'une base légale formelle n'est toutefois pas en cause ici, puisque la LSE/BE est un acte juridique adopté par le législateur bernois conformément à la procédure législative ordinaire. En revanche, se pose la question de savoir si l'ancien art. 22a al. 1 LSE/BE respecte les exigences de précision nécessaires pour restreindre la liberté économique du recourant en lui retirant ses diplômes.
Cette disposition prévoit que " [l]a Direction de l'instruction publique peut retirer son droit d'enseigner à toute personne qui ne remplit plus les conditions d'octroi de ce droit ". Elle ne traite ainsi pas expressément de la possibilité de retirer en sus les diplômes d'enseignant d'une personne privée du droit d'enseigner. Au demeurant, l'instance précédente elle-même a reconnu le manque de précision de cette base légale à ce propos. Il faut également relever que le Tribunal administratif s'est en particulier fondé sur le titre marginal français de la disposition, "Retrait du diplôme d'enseignement", pour appuyer son raisonnement. Or, la teneur en langue allemande de ce titre marginal ("Entzug der Unterrichtsberechtigung"), qui ne mentionne pas le diplôme, mais seulement l'autorisation d'enseigner, diverge de la teneur en langue française (les deux versions étant toutefois d'égale valeur; cf. art. 11 al. 2 de la loi bernoise du 18 janvier 1993 sur les publications officielles [LPO/BE; RSB 103.1]). Par conséquent, une interprétation littérale de la disposition légale en cause ne permet pas de reconnaître une précision suffisante justifiant le retrait des brevet et diplôme du recourant confirmé par les juges cantonaux.
Le sens d'une norme ne ressort cependant pas uniquement de sa lettre, mais doit être recherché en recourant aux règles d'interprétation généralement reconnues (ATF <ref-ruling> consid. 5.3.2 p. 13 s; <ref-ruling> consid. 4.1 p. 703). Il faut donc rechercher la véritable portée de la norme en la dégageant de sa relation avec d'autres dispositions légales, de son contexte, du but poursuivi, de son esprit ainsi que de la volonté du législateur, telle qu'elle résulte notamment des travaux préparatoires (cf. <ref-ruling> consid. 7.1 p. 565 s. et les références citées). En l'occurrence, une interprétation systématique de cette disposition ne permet pas non plus d'en dégager un sens suffisamment clair. En effet, outre que l'ancien art. 22a LSE/BE se trouve dans un chapitre relatif aux droits et obligations de l'enseignant, ce qui, en soi, est étranger à un retrait de diplôme, rien dans la loi en cause ne traite de l'éventuel octroi de tels titres. Un retrait de ceux-ci ne saurait donc d'emblée être fondé sur l'ancien art. 22a al. 1 LSE/BE, au vu de la place de cette norme dans la systématique de la loi. Une interprétation historique n'amène pas à un autre résultat. L'ancien art. 22a LSE/BE ne figurait pas dans la proposition commune du Conseil-exécutif du canton de Berne (ci-après: le Conseil-exécutif) et de la commission compétente, relative à la LSE/BE (cf. Journal du Grand Conseil 2004, annexe 25). Il a été ajouté par la suite (cf. Journal du Grand Conseil 2004, p. 922), en vue de la deuxième lecture du projet de modification de la loi devant le Grand Conseil (cf. Journal du Grand Conseil 2004, annexe 41 p. 7). Son adoption par cette autorité n'a pas donné lieu à discussion (cf. Journal du Grand Conseil 2004 p. 1286). Il n'est donc pas possible de savoir si le législateur bernois entendait permettre le retrait des diplômes d'enseignant en plus des retraits du droit d'enseigner. A toutes fins utiles, on signalera le nouvel art. 23a al. 4 LSE/BE, entré en vigueur le 1 er août 2014 (cf. ROB 14-24), qui prévoit que les brevets ou diplômes délivrés dans le canton de Berne sont déposés à la Direction pendant la durée du retrait du droit d'enseigner. Cette modification de la LSE/BE tend à établir que l'interprétation effectuée par l'instance cantonale n'était pas conforme au droit en vigueur avant ladite modification (cf. Journal du Grand Conseil 2013, annexe 20, p. 35).
Compte tenu de l'importance de la restriction à la liberté économique des personnes qui peuvent potentiellement être concernées par une mesure de retrait de diplôme d'enseignant (c'est-à-dire en définitive, selon l'interprétation des juges cantonaux, toutes les personnes susceptibles de se voir retirer leur droit d'enseigner) et du manque de clarté et de prévisibilité de l'ancien art. 22a al. 1 LSE/BE à ce propos, il n'est pas possible de considérer que cette disposition présente une densité normative suffisante pour ordonner une telle mesure. Elle ne saurait dès lors constituer une base légale au sens de l'art. 36 al. 1 Cst. pour permettre une restriction grave de la liberté économique du recourant.
6.2.4. Les juges cantonaux ont encore estimé que le retrait des brevet et diplôme du recourant pouvaient intervenir d'après les principes qui régissent la révocation des décisions administratives. Un tel raisonnement ne peut être suivi, dès lors que la restriction grave de la liberté économique du recourant ne peut être prévue que par une base légale contenue dans une loi au sens formel et suffisamment précise, ce qui n'est pas la cas en l'espèce.
6.3. Comme la mesure a été prononcée sans base légale suffisante, il n'est pas nécessaire de traiter des autres conditions de l'art. 36 Cst. Cela conduit à admettre le recours en tant qu'il concerne le retrait des brevet et diplôme du recourant.
7.
7.1. Les considérants qui précèdent conduisent à l'admission partielle du recours, dans la mesure où il est recevable. Le jugement entrepris doit être annulé en tant qu'il concerne le retrait du brevet pour l'enseignement dans les écoles primaires obtenu en xxxx et le retrait du diplôme de maître de l'enseignement spécialisé délivré en xxxx. Il est confirmé pour le surplus.
7.2. Le recourant n'obtenant que partiellement gain de cause devant le Tribunal fédéral, il conviendra de lui faire supporter des frais judiciaires réduits (<ref-law>). En tant qu'il succombe partiellement, le canton de Berne sera condamné à verser au recourant des dépens réduits (<ref-law>), aucun frais n'étant mis à la charge de ce canton et aucun dépens ne lui étant alloué (art. 66 al. 4 et 68 al. 3 LTF). Le recourant ayant été considéré comme succombant entièrement devant l'instance précédente, il y a lieu de renvoyer la cause à cette dernière pour qu'elle procède à une nouvelle répartition des frais et dépens de la procédure qui s'est déroulée devant elle (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est partiellement admis dans la mesure où il est recevable et le jugement du Tribunal administratif du 26 août 2013 annulé en ce qu'il concerne le retrait du brevet pour l'enseignement dans les écoles primaires et le diplôme de maître de l'enseignement spécialisé du recourant. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3.
Le canton de Berne versera au recourant une indemnité de 1'000 fr. à titre de dépens.
4.
La cause est renvoyée au Tribunal administratif pour nouvelle décision sur les frais et dépens de la procédure antérieure.
5.
Le présent arrêt est communiqué au mandataire du recourant, à la Direction de l'instruction publique du canton de Berne, et au Tribunal administratif du canton de Berne, Cour des affaires de langue française.
Lausanne, le 20 octobre 2014
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
Le Greffier: Tissot-Daguette