Faits:
A.
Le 30 avril 1993, dans le cadre d'une enquête pénale dirigée à l'encontre de C._, celui-ci a déclaré qu'un dessous-de-table avait été versé lors d'une transaction immobilière à laquelle participait D._. Soupçonnant ce dernier d'obtention frauduleuse d'une constatation fausse, le Juge d'instruction itinérant du canton de Fribourg F._ (ci-après: le Juge d'instruction) a mis D._, ainsi que certains de ses proches, sur écoute téléphonique du 22 septembre au 5 novembre, puis du 10 novembre au 20 décembre 1993. Cette mesure de surveillance a été approuvée par le Président de la Chambre d'accusation du Tribunal cantonal fribourgeois G._ le 24 septembre 1993. Elle a permis au Juge d'instruction d'apprendre qu'une serviette de documents - contenant, notamment, des informations sur des placements en actions et obligations effectués par D._ - se trouvait chez un de ses amis domicilié dans le canton de Neuchâtel. Le 17 novembre 1993, ces documents ont été saisis lors d'une perquisition effectuée à la demande du Juge d'instruction par les autorités neuchâteloises compétentes.
Le 14 décembre 1993, le Service cantonal des contributions du canton de Fribourg a répondu favorablement à la requête du Juge d'instruction demandant la transmission des dossiers fiscaux de D._, de ses enfants, B._ et A._, ainsi que de quatre sociétés. Le 17 décembre 1993, le Juge d'instruction a communiqué au fisc les documents saisis dans le canton de Neuchâtel qui, à son avis, présentaient "quelques points forts étranges" méritant un examen approfondi. Le 26 janvier 1994, le Service cantonal des contributions a averti D._ de l'existence d'importantes différences entre ses déclarations fiscales et les pièces qui lui avaient été transmises par le Juge d'instruction.
D._ s'est donné la mort le 20 avril 1994.
Le 8 juillet 1994, le Service cantonal des contributions a formellement ouvert à l'encontre de la "succession de D._" une procédure pour soustraction fiscale au sens de l'art. 167 de la loi fribourgeoise du 7 juillet 1972 sur les impôts cantonaux (ci-après: LIC) et de l'art. 132 de l'ancien arrêté du Conseil fédéral du 9 décembre 1940 concernant la perception d'un impôt fédéral direct.
Statuant le 27 septembre 1994 sur le recours déposé, notamment, par B._ et A._ à l'encontre d'une décision du Juge d'instruction refusant de leur communiquer certaines pièces du dossier pénal, la Chambre d'accusation du Tribunal cantonal a estimé que les écoutes téléphoniques effectuées étaient justifiées. Le 4 octobre 1995, elle a déclaré irrecevable une demande de révision de cet arrêt, considérant au surplus que si elle avait été recevable, cette demande aurait dû être rejetée. Aucun recours n'a été interjeté à l'encontre de ces deux arrêts.
B.
Le 18 avril 1995, B._ et A._ ont déposé devant le Conseil d'Etat du canton de Fribourg une demande préalable d'indemnisation, en concluant que l'Etat de Fribourg renonce à toute créance fiscale envers eux en ce qui concerne les impôts dus par la succession D._ (soit 3'390'420 fr. 50), en raison de l'utilisation par le fisc de moyens de preuve obtenus illégalement, soit dans le cadre de mises sur écoutes téléphoniques injustifiées ordonnées par le Juge d'instruction. Aucune indemnité à titre de réparation du tort moral n'a été réclamée. (Ces prétentions ont été rejetées par le Conseil d'Etat le 24 avril 1998).
C.
Le 16 mai 1997, estimant que D._ avait commis des soustractions fiscales consommées en ne déclarant pas certains capitaux, leurs rendements ainsi que d'autres actifs, le Service cantonal des contributions a réclamé à ses héritiers le paiement de rappels d'impôts s'élevant à 1'363'810 fr. 95 pour les impôts cantonaux des périodes fiscales 1983-1984 à 1993-1994 et à 479'374 fr. 90 pour l'impôt fédéral direct des périodes fiscales 1989-1990 à 1993-1994.
Le 21 mai 1997, la commune de Bulle a astreint lesdits héritiers au paiement de rappels d'impôts communaux s'élevant à 1'207'509 fr. 50 pour les périodes fiscales 1983-1984 à 1993-1994. Cette taxation n'a apparemment pas été attaquée.
Le 17 octobre 1997, le Service cantonal des contributions a rejeté la réclamation des intéressés en ce qui concerne les rappels d'impôts cantonaux; il a en revanche partiellement admis leur réclamation en matière d'impôt fédéral direct, ramenant les rappels d'impôts à 467'425 fr. 90.
Par arrêt du 9 octobre 1998, la Cour fiscale du Tribunal administratif a rejeté le recours déposé par les enfants de D._ contre la décision du 17 octobre 1997 du Service cantonal des contributions. Elle a notamment considéré qu'elle était liée par les deux arrêts rendus les 27 septembre 1994 et 4 octobre 1995 par la Chambre d'accusation du Tribunal cantonal qui étaient entrés en force, ne souffraient "prima facie d'aucune informalité manifeste" et n'avaient pas été remis en cause devant le Tribunal fédéral. Elle n'avait dès lors pas à examiner la légalité des écoutes téléphoniques ordonnées par le Juge d'instruction. De surcroît, la saisie de documents effectuée par les autorités pénales neuchâteloises n'avait fait l'objet d'aucune "voie de droit qui eût démontré son éventuelle illégalité".
B._ et A._ ont recouru contre cet arrêt du 9 octobre 1998. Par un seul et même arrêt du 31 janvier 2000, le Tribunal fédéral a rejeté le recours de droit administratif (2A.568/1998) dans la mesure où il était recevable s'agissant des rappels de l'impôt fédéral direct et le recours de droit public (2P.411/1998) dans la mesure où il était recevable pour ce qui est des rappels des impôts cantonaux.
D.
Le 17 juillet 1998, B._ et A._, en tant qu'"ayants cause de feu leur père", ainsi que A._ à titre personnel, avaient parallèlement déposé devant le Tribunal fédéral une demande en dommages-intérêts à l'encontre du canton de Fribourg. Ils concluaient principalement au versement d'un montant de 3'038'746 fr. 35, avec intérêts à 5% l'an dès le trentième jour à compter de la communication du jugement motivé (chiffre I) (ce qui correspond au montant total litigieux des rappels de l'impôt fédéral direct [467'425 fr. 90], des impôts cantonaux [1'363'810 fr. 95] et communaux [1'207'509 fr. 50]). Ils réclamaient en outre une somme de 300'000 fr., avec intérêts à 5 % l'an dès le 20 avril 1994 (chiffre II), sans toutefois en préciser le fondement juridique. Quant à A._, il concluait, à titre personnel, au paiement d'un montant de 50'000 fr., avec intérêts à 5 % l'an dès le 22 septembre 1993 (chiffre III), dont la justification ne se trouve pas non plus dans la procédure.
Le défendeur a conclu à l'irrecevabilité de la demande, subsidiairement à son rejet.
Lors d'un second échange d'écritures, les parties ont confirmé leurs conclusions respectives.
E.
Le 28 avril 2000, les demandeurs ont requis la récusation des juges de la IIe Cour de droit public - laquelle est compétente pour connaître de leur action en responsabilité - dans la mesure où elle s'était déjà prononcée sur leur affaire fiscale faisant l'objet de l'arrêt du 31 janvier 2000. Par décision du 23 mai 2000 (1C.1/2000), la Ie Cour de droit public du Tribunal fédéral a rejeté cette demande de récusation dans la mesure où elle était recevable.
F.
Par ordonnance du 4 janvier 2001, le Juge délégué de la IIe Cour de droit public a décidé de suspendre la procédure 2C.5/1998 jusqu'à droit connu sur la procédure introduite par les demandeurs devant la Cour européenne des droits de l'homme à l'encontre de la décision du 23 mai 2000 relative à la récusation. Le 6 mai 2004, l'instruction 2C.5/1998 a été reprise à la suite de l'avis de la Cour européenne des droit de l'homme du 14 avril 2004 déclarant irrecevable la requête déposée par les demandeurs.
G.
Lors de l'audience de débats préparatoires du 29 juin 2004, l'avocat des demandeurs a notamment précisé que la conclusion II tendant au paiement d'un montant de 300'000 fr. était justifiée par les divers frais (avocat, expertises etc.) engagés dans la procédure, alors que la conclusion III (50'000 fr.) concernait la réparation du tort moral. Le défendeur a conclu au rejet de la conclusion I (principale), ainsi qu'à l'irrecevabilité des conclusions II et III dans la mesure où celles-ci n'avaient pas été soumises préalablement au Conseil d'Etat.
Par ordonnance du 1er juillet 2004, le Juge délégué a notamment indiqué qu'il paraissait opportun de limiter, dans un premier temps, l'instruction à la question de savoir notamment si le Tribunal fédéral pouvait revoir la légalité d'une décision entrée en force dans le cadre d'une action en responsabilité. Les parties ont été avisées de la clôture de la procédure préparatoire, en l'état.
H.
Par ordonnance présidentielle du 11 octobre 2004, il a été pris acte de la renonciation expresse et commune des parties à des débats publics (oraux) avec plaidoiries et à la notification orale du dispositif de l'arrêt dans la procédure relative à l'exception tirée de l'autorité de la chose jugée.

Le Tribunal fédéral considère en droit:
1.
Le Tribunal fédéral examine d'office la recevabilité de l'action et de tous les actes de procédure (<ref-law>).
1.1. Aux termes de l'art. 42 aOJ - abrogé le 1er janvier 2001 (RO 2000 2719 ss), mais en vigueur au moment du dépôt de la présente demande et donc applicable en principe à la présente espèce -, le Tribunal fédéral est compétent pour juger en instance unique de contestations de droit civil entre un canton d'une part et des particuliers d'autre part, lorsque l'une des parties le requiert en temps utile et que la valeur litigieuse est d'au moins 8'000 fr. Le tribunal, en ce cas, est compétent soit que, d'après la législation cantonale, la cause doive être traitée en la procédure ordinaire, soit qu'elle relève d'autorités spécialement désignées et statuant suivant une procédure spéciale. Sont des contestations de droit civil au sens de l'art. 42 al. 1 aOJ, non seulement celles qui sont soumises au droit privé stricto sensu, mais également d'autres prétentions patrimoniales contre l'Etat, lorsque sa responsabilité légale, contractuelle ou quasi contractuelle est engagée en vertu du droit public. Cette notion large comprend notamment les actions en réparation du dommage causé par des actes de puissance publique, licites ou illicites, engageant la responsabilité légale du canton (<ref-ruling> consid. 2c; JEAN- FRANÇOIS POUDRET, Commentaire de la loi fédérale d'organisation judiciaire, Berne 1990, vol. II, n. 2.1.1 ad art. 42).
1.2. Comme toutes les conditions de recevabilité de l'art. 42 aOJ sont réunies, il y a lieu d'entrer en matière sur la présente action.
1.3. Peut donc demeurer indécise la question de savoir si la compétence du Tribunal fédéral pour connaître en instance unique du présent différend de droit administratif cantonal découle également de l'art. 17 al. 2 LResp./FR (approuvé le 3 mars 1988 par l'Assemblée fédérale; FF 1988 I 1391) en relation avec l'art. 190 al. 2 Cst. (Bien qu'abrogé et remplacé par un nouvel article 190 Cst. selon l'arrêté fédéral du 8 octobre 1999 relatif à la réforme de la justice, accepté par le peuple et les cantons le 12 mars 2000 [RO 2002 p. 3149 s], l'art. 190 al. 2 Cst. [dans sa version initiale] demeure applicable, l'Assemblée fédérale n'ayant pas encore fixé la date de l'entrée en vigueur des nouvelles dispositions sur la réforme de la justice.
2.
En principe, les agents publics répondent de leurs actes illicites selon les règles ordinaires des <ref-law>. Toutefois, la législation fédérale ou cantonale peut déroger à ces règles en ce qui concerne la responsabilité encourue par ces agents publics pour le dommage ou le tort moral qu'ils causent dans l'exercice de leur charge (<ref-law>). Lorsque de telles normes existent, la responsabilité des agents publics échappe au droit civil fédéral, ce qui découle aussi de l'<ref-law> (cf. <ref-ruling> consid. 1a; <ref-ruling> consid. 2 et les arrêts cités).
Le canton de Fribourg a fait usage de cette possibilité en édictant la loi du 16 septembre 1986 sur la responsabilité civile des collectivités publiques et de leurs agents (LResp./FR), qui règle la réparation des dommages causés à autrui par leurs agents de manière illicite dans l'exercice de leurs fonctions. C'est donc à juste titre que les demandeurs ont fondé leur action sur cette législation cantonale.
3.
3.1. L'Etat de Fribourg répond du préjudice que ses agents causent d'une manière illicite à autrui dans l'exercice de leurs fonctions (art. 1, 2, 3 et 6 al. 1 LResp./FR). S'agissant de l'examen de l'illicéité, l'art. 22 LResp./FR prévoit que "la légalité d'une décision et d'un jugement ne peut pas être revue dans une procédure en responsabilité lorsqu'une autorité de recours a statué à titre définitif sur la décision ou le jugement". Des règles analogues existent dans d'autres cantons (cf. HANS RUDOLF SCHWARZENBACH, Die Staats- und Beamtenhaftung in der Schweiz mit Kommentar zum zürcherischen Haftungsgesetz, 2e éd., Zurich 1985, p. 123 ss; FRANZ SCHÖN, Staatshaftung als Verwaltungsrechtsschutz, thèse Bâle 1979, p. 185 ss, plus spéc. p. 192; JOST GROSS, Schweizerisches Staatshaftungsrecht, 2e éd., Berne 2001, n. 10.4, p. 353 ss; TOBIAS JAAG, Staats-und Beamtenhaftung, in: Schweizerisches Bundesverwaltungsrecht, Organisationsrecht, Bâle 1996, n. 115 ss, p. 42 ss). La loi fédérale du 14 mars 1958 sur la responsabilité de la Confédération, des membres de ses autorités et de ses fonctionnaires [LRCF; RS 170.32] prévoit également à son art. 12 que la légalité des décisions, d'arrêtés et de jugements ayant force de chose jugée ne peut pas être revue dans une procédure en responsabilité. Cette réglementation tend en effet à éviter qu'une partie puisse remettre à nouveau en cause une décision entrée en force par le biais d'une action en responsabilité (cf. à propos de l'<ref-law>, <ref-ruling> consid. 3).
3.2. Les demandeurs ne contestent pas sérieusement que leur père feu D._ s'était rendu coupable de soustraction fiscale et qu'il se justifiait dès lors de réclamer le paiement des impôts ainsi éludés. Les demandeurs ont toutefois actionné l'Etat de Fribourg à raison de l'activité prétendument illicite du Juge d'instruction F._ et du Président de la Chambre d'accusation du Tribunal cantonal G._, qui avaient ordonné, respectivement approuvé, la mise sur écoute téléphonique de feu D._ et certains de ses proches au cours de l'année 1993. A leur avis, les documents saisis à l'aide de ces mesures de surveillance constituaient des moyens de preuve obtenus illégalement et ne pouvaient dès lors être utilisés par les autorités fiscales pour procéder à des rappels d'impôts. Les demandeurs s'appuient sur divers avis de droit du professeur E._.
La présente demande est toutefois mal fondée en vertu de l'art. 22 LResp./FR. En effet, quoiqu'en disent les demandeurs, ces questions ont déjà été traitées par la Chambre d'accusation du Tribunal cantonal, puis par le Tribunal fédéral. Saisi d'un recours de droit administratif et d'un recours de droit public dirigés contre l'arrêt de la Cour fiscale du Tribunal administratif du 9 octobre 1998, le Tribunal fédéral a en effet examiné, à titre préjudiciel, la question de la légalité et de l'éventuelle nullité des arrêts rendus les 27 septembre 1994 et 4 octobre 1995, dans lesquels la Chambre d'accusation du Tribunal cantonal avait constaté que les écoutes téléphoniques étaient justifiées. Il est arrivé à la conclusion que la Cour fiscale du Tribunal administratif pouvait à juste titre s'estimer liée par ces deux arrêts - dotés de l'autorité de la chose jugée - et que la légalité des mesures d'enquête telles les écoutes téléphoniques ordonnées par le Juge d'instruction n'avait pas à être remise en cause. Les arrêts de la Chambre d'accusation du Tribunal cantonal n'étaient affectés d'aucun vice particulièrement grave - tant sur le plan matériel que procédural - susceptible d'entraîner leur nullité (arrêt du 31 janvier 2000, consid. 6). Dès lors, le fisc était en droit de tirer parti des documents dont la saisie avait été rendue possible grâce aux mesures de surveillance ordonnées dans une procédure pénale (ibidem, consid. 9d).
Dans ces conditions, les demandeurs ne peuvent pas remettre en discussion, par le biais d'une action en responsabilité, les points qui ont été définitivement jugés dans l'arrêt du Tribunal fédéral du 31 janvier 2000, qui est doté de la force et de l'autorité de chose jugée. En d'autres termes, les demandeurs ne peuvent pas engager un procès en responsabilité sur le même objet. Certes, les demandeurs laissent entendre qu'il n'y a pas identité d'objet entre les procédures de recours 2P.411/1998 et 2A.568/1998 ayant abouti à l'arrêt du 31 janvier 2000 d'une part et la présente action en responsabilité d'autre part, car l'état de fait à la base de l'arrêt de la Cour fiscale du Tribunal administratif du 9 octobre 1998 puis de l'arrêt du 31 janvier 2000 serait gravement incomplet. Or cette argumentation ne convainc pas. En effet, les demandeurs n'ont pas démontré à satisfaction de droit en quoi l'arrêt du 31 janvier 2000 - qui n'a d'ailleurs fait l'objet d'aucune demande de révision - serait entaché de graves lacunes. Par ailleurs, il n'est pas contesté que la conclusion principale de la demande tend au paiement de 3'038'746 fr. 35; or cette somme correspond exactement au montant total des rappels de l'impôt fédéral direct [467'425 fr. 90], des impôts cantonaux [1'363'810 fr. 95] et communaux [1'207'509 fr. 50]), qui - à l'exception des impôts communaux - ont fait l'objet de l'arrêt du 31 janvier 2000 du Tribunal fédéral. A cet égard, il convient de préciser que les rappels d'impôts communaux fixés à 1'207'509 fr. 50 par la commune de Bulle le 21 mai 1997 n'ont pas fait l'objet de la procédure fédérale ayant abouti à l'arrêt du 31 janvier 2000. En tant que les demandeurs réclament un montant correspondant aux rappels des impôts communaux, leur conclusion doit dès lors également être rejetée en application de l'art. 6 al. 2 LResp./FR, prévoyant que la responsabilité de la collectivité publique est exclue lorsque le lésé n'a pas fait usage des moyens de droit qui étaient à sa disposition pour s'opposer à l'acte ou l'omission préjudiciable.
3.3. En résumé, la conclusion principale (I) tendant au paiement d'un montant correspondant à celui de la créance fiscale litigieuse doit donc être rejetée. Quant à la conclusion accessoire (II) relative aux frais de procédure, elle doit suivre le même sort que la conclusion principale.
3.4. S'agissant de la conclusion (III) visant à l'allocation d'une indemnité pour tort moral, elle doit aussi être écartée. D'après l'art. 24 al. 1 lettre a LResp./FR, la responsabilité de la collectivité publique s'éteint si le lésé ne fait pas valoir sa prétention dans le délai d'un an à compter du jour où il a eu connaissance du préjudice. Or, dans la mesure où cette dernière prétention est en relation avec les écoutes téléphoniques en cause qui ont pris fin le 20 décembre 1993 ou avec le suicide de feu D._ qui a eu lieu le 20 avril 1994, elle serait de toute façon prescrite. En effet, la demande d'indemnisation préalable déposée le 18 avril 1995 devant le Conseil d'Etat se limitait à la question du renoncement des rappels d'impôts litigieux, respectivement à la restitution du montant de cette créance fiscale, mais ne faisait aucune allusion à une quelconque réparation du tort moral. Il s'ensuit que, sur ce point, l'action en responsabilité était déjà prescrite au moment où les demandeurs ont saisi le Tribunal fédéral (le 17 avril 1998).
4.
Vu ce qui précède, la demande doit être rejetée. Succombant, les demandeurs doivent supporter un émolument judiciaire, solidairement entre eux (art. 156 al. 1 et 7 OJ en relation avec l'<ref-law>). Ils verseront une indemnité équitable au défendeur à titre de dépens (art. 159 al. 1 OJ en relation avec l'<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1.
La demande est rejetée.
2.
Un émolument judiciaire de 15'000 fr. est mis à la charge des demandeurs, solidairement entre eux.
3.
Les demandeurs, débiteurs solidaires, verseront à l'Etat de Fribourg une indemnité de 20'000 fr. à titre de dépens.
4.
Le présent arrêt est communiqué en copie aux mandataires des demandeurs et de l'Etat de Fribourg.
Lausanne, le 5 novembre 2004
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le président:
Le greffier: