Faits :
A.
Par jugement du 9 janvier 2019, le juge suppléant des districts de Martigny et St-Maurice a constaté que la prescription était acquise s'agissant des faits reprochés à A.A._ au chiffre 1 de l'acte d'accusation et a classé la procédure à cet égard. Il a reconnu A.A._ coupable de dommages à la propriété et de tentatives de menaces contre les autorités et les fonctionnaires et l'a condamné à une peine pécuniaire de 140 jours-amende, à 30 fr. le jour, sous déduction de la détention avant jugement et des mesures de substitution subies, avec sursis pendant deux ans assorti d'une règle de conduite. Il a également instauré une assistance de probation, a confisqué un revolver, des munitions ainsi que divers matériels d'entretien pour armes et a condamné A.A._ à verser à l'État du Valais un montant de 2'659 fr. à titre de dommages-intérêts. Il a rejeté sa requête en allocation d'indemnités au sens de l'<ref-law> et a mis les frais de première instance à sa charge.
B.
Par jugement du 10 novembre 2020, la Cour pénale II du Tribunal cantonal du Valais a partiellement admis l'appel de A.A._. Elle a modifié le jugement attaqué en ce sens qu'il est renoncé à ordonner une assistance de probation et à imposer des règles de conduite pour la durée du délai d'épreuve. Elle l'a confirmé pour le surplus.
Il en ressort les faits suivants:
B.a. Depuis l'âge de vingt-trois ans, A.A._ entend obtenir des explications sur le dossier de la tutelle imposée à son père, B.A._. A ce titre, il reproche au tuteur nommé, D._, une mauvaise gestion de son mandat qui lui avait été attribué. Il le blâme, en particulier, d'un suivi personnel lacunaire, de n'avoir pas suffisamment tenu informés les membres de la famille A._ et de n'avoir pas produit les comptes ni fait valoir les droits pécuniaires de B.A._, notamment dans la succession de son propre père, C.A._. Il estime, en conséquence, avoir été lésé par le comportement tant de D._, des chambres pupillaires de V._ et U._, que de l'ancien juge de la commune de V._.
Une expertise civile diligentée par un expert indépendant en 2015, puis complétée, sur requêtes de A.A._, en 2017 et 2018, n'a pas permis d'étayer ces griefs.
Depuis 2011, en lien avec cette problématique, A.A._ a exprimé son mécontentement de la façon suivante:
B.b. Le 28 septembre 2011, dans le cadre d'une séance de mainlevée au tribunal des districts de Martigny et St-Maurice, A.A._ a déclaré qu'il faudrait bien que la justice se penche sérieusement sur son affaire, faute de quoi ça se "terminerait mal". Il a poursuivi en expliquant qu'il était tout à fait capable de faire la même chose qu'à W._ il y a dix ans, avant de s'emporter plus vivement en criant à plusieurs reprises: "Vous m'avez causé un préjudice moral durant vingt ans [...]. Si personne ne se penche sérieusement sur mon dossier cette fois-ci, vous avez le choix: il existe trois solutions: un, vous me mettez en prison, deux, vous m'abattez, trois, je pète les cases et je viendrai tous vous tuer, comme à W._", avant de répéter une nouvelle fois les trois termes de l'alternative. Au vu de la réaction de A.A._, il a dû être mis fin prématurément à la séance. A.A._ ne conteste pas ces faits, lesquels sont cependant prescrits.
B.c. Le 4 juin 2012, dans le cadre des débats de première instance dans une affaire pénale, tenus devant le juge E._ et la greffière F._ à V._, A.A._ a spontanément déclaré: "Qu'est-ce que les autorités, peut-être ce tribunal, attendent pour régler le problème que je soulève depuis vingt ans? que je pète les plombs, que je prenne mon fusil et que je tire dans le tas?".
B.d. Le 4 juillet 2012, au cours de son audition par la police à V._, A.A._ a confirmé ses déclarations du 4 juin 2012 en s'expliquant de la façon suivante: "Il est clair que le préjudice que j'ai subi depuis vingt ans sera vengé au maximum". Il a aussi réitéré ses propos menaçants antérieurs en indiquant que, si le dossier concernant son père n'était pas réexaminé, il ferait le "con", et ce en rappelant qu'il valait mieux régler ledit dossier rapidement, ou alors l'abattre.
B.e. Le 25 avril 2013, lors d'une séance au Tribunal cantonal à X._, dans le cadre d'une audience relative à une contravention aux règles de la circulation routière, en présence du juge G._, du procureur H._, de la greffière et de l'huissière, A.A._ a déclaré: "J'ai informé le tribunal de V._ que, si mon dossier de tutelle n'était pas réglé je prendrai une arme et je m'en servirai. Je répète à nouveau cette menace et la confirme. Malgré le fait que vous m'annoncez qu'un tel comportement constitue une infraction, je la réitère. Je précise que votre dossier d'amende d'ordre, j'en ai strictement rien à f...[...]. Il faudra qu'on m'abatte pour que j'arrête de me défendre."
B.f. Le 18 juin 2013, à X._, auditionné par le procureur H._ pour une violation des règles de la circulation routière, également devant la secrétaire et l'huissier, A.A._ a déclaré ce qui suit: "Vos amendes d'ordre j'en ai strictement rien à "foutre". Vous n'avez que trois solutions, vous réglez le dossier de la tutelle de A à Z, vous m'abattez ou vous m'emprisonnez à vie sinon vous verrez, je vais péter les plombs et vous verrez les dégâts que cela va vous faire", ensuite de quoi il a dû être mis un terme à son audition, l'intéressé ayant quitté la salle d'audience.
B.g. Le 10 juillet 2013, alors qu'il était incarcéré à la prison "Y._" à X._, A.A._ a endommagé de nombreux biens qui se trouvaient dans sa cellule, à l'instar de la fenêtre, des prises TV/lavabo, d'ampoules, du miroir et du lavabo; les réparations se sont élevées à 4'421 fr. 65. Placé par la suite en cellule de réflexion, le prénommé a indiqué à un employé de la prison qu'il conseillait au procureur de ne jamais le libérer.
B.h. D'après le rapport d'expertise établi le 20 septembre 2013 par I._, psychologue, et par le Dr J._, A.A._ présentait, lors des faits incriminés, des traits de personnalité d'allure paranoïaque et caractérielle, non constitués en un trouble de la personnalité au sens de la CIM-10. Ces traits de personnalités pouvaient influencer son comportement général, mais n'étaient pas envahissants dans tous les domaines de sa vie psychique. Les experts ont conclu que l'intéressé n'était pas, au moment des faits, incapable d'appréhender le caractère illicite de ses actes. En revanche, vu les troubles caractériels qu'il présentait, sa responsabilité sur le plan volitif était légèrement diminuée.
Concernant le risque de récidive, et plus précisément de violence, les experts l'ont jugé modéré au regard de l'évaluation clinique et des outils d'évaluation du risque. Ils ont estimé que, in casu, les menaces proférées semblaient plutôt s'inscrire dans les traits de personnalité caractériels et paranoïaques, l'expertisé cherchant avant tout à obtenir écoute et attention.
Les experts ont relevé qu'il existait un traitement pour les traits de personnalité pathologiques diagnostiqués, lesquels étaient en lien avec les faits poursuivis et ont conclu qu'un suivi psychothérapeutique sur un mode volontaire leur apparaissait opportun.
C.
A.A._ forme un recours en matière pénale au Tribunal fédéral contre le jugement du 10 novembre 2020. Il conclut, avec suite de frais et dépens, principalement à sa réforme en ce sens qu'il est libéré des chefs d'accusation de dommages à la propriété et de tentatives de menaces contre les autorités et fonctionnaires, que le revolver, les munitions et les divers matériels d'entretien d'armes sont restitués à leur propriétaire, et que les conclusions civiles de l'État du Valais sont rejetées. Il conclut également à ce qu'il lui soit alloué, à titre de réparation du tort moral, des indemnités de 20'000 fr. pour la détention provisoire subie et de 15'000 fr. pour les mesures de substitution subies, ainsi qu'une indemnité de 35'000'000 fr. pour le dommage économique subi au titre de sa participation obligatoire à la procédure pénale. Subsidiairement, il conclut à l'annulation du jugement du 10 novembre 2020 et à ce que la cause soit renvoyée à l'autorité cantonale pour nouveau jugement dans le sens des considérants. A.A._ sollicite également le bénéfice de l'assistance judiciaire.

Considérant en droit :
1.
Le recourant se plaint d'une constatation manifestement inexacte des faits.
1.1. Le Tribunal fédéral n'est pas une autorité d'appel, auprès de laquelle les faits pourraient être rediscutés librement. Il est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins qu'elles n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, à savoir, pour l'essentiel, de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.3.1 p. 91 s.; <ref-ruling> consid. 1.1 p. 155 s.; <ref-ruling> consid. 2.3.1 p. 244). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables. Le Tribunal fédéral n'entre en matière sur les moyens fondés sur la violation de droits fondamentaux, dont l'interdiction de l'arbitraire, que s'ils ont été invoqués et motivés de manière précise (<ref-law>; <ref-ruling> consid. 1.1 p. 503). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.3.1 p. 92; <ref-ruling> consid. 1.1 p. 156).
1.2. Le recourant reproche à la cour cantonale d'avoir omis, à tort, d'examiner ses griefs à l'encontre des conclusions de l'expert civil et de ne pas avoir constaté que celles-ci seraient erronées. Il soutient qu'il existe un lien entre les griefs qu'il a formulés et leur bien-fondé, d'une part, et l'état subjectif dans lequel il se trouvait au moment des faits, d'autre part.
1.2.1. La cour cantonale a retenu qu'une expertise civile avait été mise en oeuvre en 2015, non pas pour instruire les faits de la cause pénale, mais à titre de mesure de substitution à la détention provisoire. La Chambre pénale, saisie d'un recours contre la décision du Tribunal des mesures de contrainte, avait suivi en cela les recommandations du Dr J._ et de la psychologue I._ et considéré que la désignation d'un tiers expérimenté et indépendant chargé de faire la lumière sur le déroulement de la procédure tutélaire pouvait permettre de réaménager les rapports du recourant avec la justice et ainsi réduire le risque de passage à l'acte. L'instance précédente a jugé que dès lors que le juge de première instance ne s'était pas fondé, pour statuer sur la culpabilité du recourant, sur le résultat de l'expertise civile, l'argument pris d'une appréciation arbitraire des preuves, respectivement d'une violation des <ref-law> tombait à faux. En outre, il n'appartenait pas au tribunal pénal de se prononcer, au fond, sur la responsabilité des autorités tutélaires. En effet, même en posant la prémisse que les reproches formulés par le recourant étaient fondés, cela ne constituait ni un motif justificatif, ni une circonstance atténuante, en lien avec les menaces et les dommages perpétrés. Seul l'état subjectif dans lequel l'intéressé se trouvait au moment des faits pouvait, à cet égard, être pertinent.
1.2.2. Le raisonnement de la cour cantonale est convaincant. C'est en vain que le recourant soutient qu'il n'est "pas imaginable" que l'expertise civile ait pu être mise en oeuvre pour que son résultat soit indifférent à l'examen de sa culpabilité. En effet, ce faisant, il se contente d'opposer sa propre appréciation à celle de la cour cantonale sans démontrer en quoi celle-ci serait arbitraire, étant rappelé que ladite expertise a été prononcée non pas pour instruire les faits de la cause pénale, mais à titre de mesure de substitution à la détention provisoire pour réduire le risque de passage à l'acte.
1.2.3. Le recourant reproche ensuite à la cour cantonale d'avoir nié le lien entre ses griefs, et leur bien-fondé, et l'état subjectif dans lequel il se trouvait au moment des faits. A cet égard, il se réfère à l'expertise psychiatrique, en relevant que celle-ci a notamment retenu que "les menaces proférées semblaient plutôt s'inscrire dans les traits de personnalité caractériels et paranoïaques, l'expertisé cherchant à obtenir avant tout écoute et attention".
Par son argumentation, le recourant se contente en réalité de citer des extraits de l'expertise psychiatrique, sans démontrer en quoi la cour cantonale aurait procédé à une appréciation arbitraire de celle-ci. En outre, on ne voit pas - et le recourant ne l'explique pas - en quoi le lien qu'il invoque entre ses reproches et leur prétendu bien-fondé et l'état subjectif dans lequel il se trouvait serait déterminant sur l'issue du litige, étant rappelé que la cour cantonale a jugé que même si les reproches du recourant étaient fondés - ce qui ne ressort nullement du jugement attaqué -, cela ne constituait ni un motif justificatif, ni une circonstance atténuante (cf. infra consid. 4).
1.3. Le recourant reproche à la cour cantonale d'avoir retenu que l'expertise civile diligentée en 2015, et complétée sur requêtes du recourant en 2017 et 2018, n'avait pas permis d'étayer ses griefs à l'encontre de D._ et des autorités tutélaires valaisannes. Dans la mesure où le recourant reproduit des passages de son mémoire d'appel sans discuter sa motivation cantonale, son grief est irrecevable (<ref-law>). Au demeurant, il invoque des éléments qui ne ressortent pas du jugement attaqué sans démontrer en quoi il était arbitraire pour la cour cantonale de retenir que l'expertise civile n'avait pas permis d'étayer ses griefs. Autant que pertinente, sa critique doit être rejetée dans la mesure où elle est recevable.
1.4. Toujours en lien avec cette expertise civile, le recourant reproche à la cour cantonale de ne pas avoir examiné le bien-fondé des conclusions de l'expert, contredites par ses déterminations, et, le cas échéant, ordonné une autre expertise. A nouveau, il perd de vue que la cour cantonale a retenu sans arbitraire que l'expertise civile n'avait pas été mise en oeuvre pour instruire les faits de la cause pénale et que les autorités ne s'étaient pas fondées sur son résultat pour statuer sur la culpabilité du recourant. Son grief est rejeté dans la mesure où il est recevable.
2.
Le recourant conteste sa condamnation pour dommages à la propriété (<ref-law>). Il soutient que le Service d'application des peines et mesures (ci-après: SAPEM) n'avait pas qualité pour déposer plainte.
2.1. Le droit de porter plainte appartient au lésé directement atteint par l'infraction, à savoir au titulaire du bien juridiquement protégé par l'infraction (cf. <ref-ruling> consid. 2.3.4 p. 386 et les arrêts cités). L'interprétation de l'infraction en cause permet seule de déterminer quel est le titulaire du bien juridique atteint. S'agissant des dommages à la propriété, le droit de porter plainte n'est pas réservé au seul propriétaire de la chose; il peut être exercé par le locataire ainsi que par toute personne atteinte dans son droit d'user de la chose ou à celui à qui incombe la responsabilité de conserver la chose (<ref-ruling> consid. 1.2 p. 51; cf. <ref-ruling> consid. 2 et 3 p. 211 ss; arrêts 6B_1253/2019 du 18 février 2020 consid. 5.1; 6B_1297/2017 du 26 juillet 2018 consid. 1.2.1).
Lorsque le lésé est une collectivité publique, comme un canton, la compétence relative au droit de porter plainte est déterminée par le droit public applicable en la matière (cf. arrêts 6B_561/2018 du 8 août 2018 consid. 1.1; 6B_666/2017 du 11 décembre 2017 consid. 1.1 et les références citées). A défaut de règles de compétence, il y a lieu de considérer que chaque organe responsable du bien juridique concerné est compétent pour porter plainte. Lorsque des incertitudes demeurent, il y a lieu de reconnaître un droit général de porter plainte à l'autorité exécutive supérieure de la corporation de droit public lésée (arrêts 6B_1253/2019 précité consid. 5.1; 6B_1297/2017 précité consid. 1.2.2 et la référence citée).
2.2. La cour cantonale a retenu que si l'ordonnance sur les attributions de la présidence et des départements (RS/VS 172.010) prévoyait certes que "les bâtiments et infrastructures" étaient de la compétence du Département des finances et de l'énergie, elle prescrivait à son art. 4 al. 1 let. d ch. 5 que "les établissements pénitentiaires", dont faisait partie "Y._", étaient du ressort du Département de la sécurité, des institutions et du sport (DSIS). Le SAPEM était spécifiquement chargé de l'application des peines et mesures (art. 12 al. 1 let. b et 15 LACP; RS/VS 311.1) et devait, en particulier, assurer la détention provisoire et la détention pour des motifs de sûreté des prévenus en les plaçant dans les établissements de détention avant jugement du canton (art. 29 al. 1 LACPP; RS/VS 312.0). Elle a retenu que le SAPEM rendait ses décisions par son Chef de service, lequel était habilité à porter plainte pénale et à porter des conclusions civiles contre A.A._ pour les dégâts que celui-ci avait occasionnés dans le cadre de sa détention provisoire.
2.3. Le recourant soutient que ni le DSIS, ni le SAPEM ne peuvent être considérés comme directement lésés par l'infraction de dommages à la propriété parce que celle-ci protège la propriété. Cette argumentation se heurte à la jurisprudence du Tribunal fédéral selon laquelle le droit de porter plainte pour dommages à la propriété peut également être exercé par toute personne atteinte dans son droit d'user de la chose ou par celui à qui incombe la responsabilité de conserver la chose (cf. supra consid. 2.1). Pour le surplus, le recourant ne démontre pas en quoi la cour cantonale aurait procédé à une application arbitraire du droit cantonal, ni en quoi elle aurait violé le droit fédéral en considérant que le SAPEM, en tant que responsable de la détention provisoire, était compétent pour porter plainte pour des dommages à la propriété commis par le recourant dans ce cadre.
2.4. En définitive, le grief du recourant relatif à la validité de la plainte pénale déposée pour dommages à la propriété doit être rejeté. Pour le surplus, le recourant ne conteste pas la réalisation de cette infraction.
3.
Le recourant conteste sa condamnation pour tentative de menaces à l'encontre des autorités et des fonctionnaires.
3.1. L'<ref-law> punit celui qui, en usant de violence ou de menace, aura empêché une autorité, un membre d'une autorité ou un fonctionnaire de faire un acte entrant dans ses fonctions, les aura contraints à faire un tel acte ou se sera livré à des voies de fait sur eux pendant qu'ils y procédaient. La loi exige la menace d'un dommage sérieux, c'est-à-dire que la perspective de l'inconvénient présenté comme dépendant de la volonté de l'auteur soit propre à entraver le destinataire dans sa liberté de décision ou d'action (<ref-ruling> consid. 2a/aa p. 19). La question doit être tranchée en fonction de critères objectifs, en se plaçant du point de vue d'une personne de sensibilité moyenne (<ref-ruling> consid. 1a p. 325; <ref-ruling> consid. 2a/aa p. 19; arrêt 6B_1253/2019 du 18 février 2020 consid. 4.2).
Selon la jurisprudence, l'acte officiel au sens de l'<ref-law> est celui qui est entrepris par l'autorité compétente dans le cadre de ses attributions (arrêt 6B_863/2015 du 15 mars 2016 consid. 1.2.1; cf. aussi <ref-ruling> consid. 3 p. 175, JdT 1970 IV p. 51; arrêts 6B_20/2018 du 10 avril 2018 consid. 3.3; 6B_708/2009 du 14 décembre 2009 consid. 2.3).
3.2. Il y a tentative lorsque l'auteur a réalisé tous les éléments subjectifs de l'infraction et manifesté sa décision de la commettre, alors que les éléments objectifs font, en tout ou en partie, défaut (<ref-law>; <ref-ruling> consid. 3.4 p. 152; <ref-ruling> consid. 1.4.2 p. 115; <ref-ruling> consid. 7.2.1 p. 103; arrêt 6B_1035/2020 du 20 mai 2021 consid. 2.1.1). La tentative suppose toujours un comportement intentionnel, le dol éventuel étant toutefois suffisant (arrêt 6B_995/2020 du 5 mai 2021 consid. 2.1).
Le délit impossible est une forme de tentative. Il y a délit impossible, lorsque l'auteur tente de commettre un crime ou un délit par un moyen ou contre un objet de nature telle que la perpétration de cette infraction est absolument impossible (<ref-ruling> consid. 3.5; <ref-ruling> consid. 7.2.1; <ref-ruling> consid. 2.6; <ref-ruling> consid. 2b; arrêt 6B_55/2011 du 26 avril 2011 consid. 2.2.3). Le délit impossible se caractérise par une erreur sur les faits en défaveur de l'auteur. Selon la représentation que se fait l'auteur, il réalise un élément constitutif (ATF <ref-ruling> consid. 2.6 p. 329). Est déterminant pour le caractère punissable de l'acte le fait que l'auteur agisse en pensant pouvoir réaliser l'infraction même si la perpétration de cette infraction était objectivement absolument impossible (<ref-ruling> consid. 3.5, JdT 2015 IV p. 114).
3.3. Selon la cour cantonale, en indiquant aux magistrats et fonctionnaires de police qui l'interrogeaient que, si le dossier de tutelle de son père n'était pas réexaminé, il "péterait les plombs" ou ferait "le con", prendrait une arme et s'en servirait, respectivement que son préjudice serait "vengé au maximum" ou encore qu'ils verraient les dégâts si on ne l'abattait pas ou si on ne l'emprisonnait pas à vie, le recourant a entendu forcer la justice, par l'un ou l'autre de ses représentants auxquels il a eu affaire, à se pencher sur le dossier de B.A._ et sur l'activité déployée en son temps par le tuteur.
3.4. Le recourant soutient d'abord que l'on n'est pas en présence d'actes entrant dans les compétences de l'autorité, de sorte qu'un élément constitutif objectif de l'<ref-law> fait défaut.
Cette argumentation ne saurait être suivie. En effet, le recourant a été condamné pour tentative au sens de l'<ref-law>. Le fait que le résultat escompté ne pouvait pas se produire au sens de cette disposition, parce que les magistrats pénaux et fonctionnaires de police n'étaient, le cas échéant, pas compétents pour donner suite aux griefs du recourant relatifs à la réouverture du dossier de tutelle de son père, ne change rien à la punissabilité de la tentative au sens de l'art. 22 al. 1 in fine CP (délit impossible). Comme l'a retenu la cour cantonale, le recourant a adressé des menaces aux magistrats et fonctionnaires de police parce qu'ils remplissaient leurs fonctions juridictionnelles et qu'il leur a imputé le pouvoir de donner, directement ou indirectement, une réponse aux griefs qu'il soulevait depuis plusieurs années. Il en va ainsi notamment lorsqu'il a déclaré au procureur lors d'une audience "Vous n'avez que trois solutions, vous réglez le dossier de la tutelle de A à Z, vous m'abattez ou vous m'emprisonnez à vie sinon vous verrez, je vais péter les plombs et vous verrez les dégâts que cela va vous faire". En menaçant ainsi ce magistrat, le recourant croyait à tort que celui-ci était habilité à réexaminer le dossier de tutelle de son père. Le grief est dès lors rejeté.
3.5. Le recourant soutient ensuite que ses propos n'étaient pas suffisamment graves pour réellement alarmer les autorités. Il prétend en particulier que "les membres des autorités, de par leurs activités, ne sont pas censés avoir une sensibilité particulièrement prononcée à ce genre de propos".
En l'occurrence, la cour cantonale a retenu à juste titre que les menaces proférées étaient objectivement propres à avoir un impact sur la liberté de décision du membre de l'autorité ou du fonctionnaire pris à partie. En effet, le fait que les membres des autorités puissent être confrontés, dans le cadre de leur activité, à des justiciables quérulents ne suffit pas à leur ôter toute crainte face à un individu qui menace à plusieurs reprises de se servir d'une arme et de s'en prendre à la vie et l'intégrité physique d'autrui. Le grief du recourant est rejeté.
4.
Le recourant conteste l'appréciation de sa culpabilité par la cour cantonale. Il lui reproche de ne pas avoir retenu un état de profonde détresse et de désarroi profond comme circonstance atténuante.
4.1. Aux termes de l'<ref-law>, le juge atténue la peine notamment si l'auteur a agi dans une détresse profonde (let. a ch. 2) ou dans un état de profond désarroi (let. c in fine).
4.2. Selon la jurisprudence, il y a détresse profonde au sens de l'<ref-law> lorsque l'auteur est poussé à transgresser la loi pénale par une situation proche de l'état de nécessité, c'est-à-dire que, sous la pression d'une détresse particulièrement grave, il croit ne pouvoir trouver d'autre issue que la commission de l'infraction (<ref-ruling> consid. 2 p. 10; <ref-ruling> consid. 4a p. 96; arrêts 6B_776/2020 du 5 mai 2021 consid. 2.1; 6B_533/2019 du 3 juillet 2019 consid. 4.4). En outre, le bénéfice de cette circonstance atténuante ne peut être accordé que si l'auteur a respecté une certaine proportionnalité entre les motifs qui le poussent à agir et l'importance du bien qu'il lèse (<ref-ruling> consid. 2 p. 10; <ref-ruling> consid. 4c p. 97; arrêts 6B_776/2020 précité consid. 2.1; 6B_825/2015 du 22 octobre 2015 consid. 1.4.2).
4.3. Le profond désarroi vise un état d'émotion qui mûrit progressivement pendant une longue période, qui couve pendant longtemps jusqu'à ce que l'auteur soit complètement désespéré et ne voie d'autre issue que d'agir ainsi qu'il le fait (<ref-ruling> consid. 2a p. 204; <ref-ruling> consid. 2a p. 236). Il doit être rendu excusable par les circonstances (<ref-ruling> consid. 2a; <ref-ruling> consid. 2a p. 236). Le plus souvent, il est rendu excusable par le comportement blâmable de la victime à l'égard de l'auteur, mais il peut aussi l'être par le comportement d'un tiers ou par des circonstances objectives (<ref-ruling> consid. 2a p. 205; arrêts 6B_776/2020 du 5 mai 2021 consid. 2.2; 6B_533/2019 du 3 juillet 2019 consid. 4.4.1). Il faut procéder à une appréciation objective de la cause de cet état et se demander si un tiers raisonnable, placé dans la même situation que l'auteur, se serait trouvé dans le même état (<ref-ruling> consid. 3b p. 102; <ref-ruling> consid. 2b/bb p. 106; arrêt 6B_105/2009 du 22 mai 2009 consid. 3.1; cf. arrêt 6B_600/2014 du 23 janvier 2015 consid. 3.1.2 non publié in <ref-ruling>).
4.4. La cour cantonale a retenu que les constatations des experts - qui avaient relevé une détresse morale, une souffrance affective et une affliction profonde sans donner d'indications sur la gravité des troubles - ne permettaient pas encore de retenir qu'au moment des faits, qui s'étaient déroulés en l'espace d'un an et demi, le recourant se trouvait dans une détresse dont la gravité était telle qu'elle l'avait placé, à chaque fois et de manière continue, dans une situation proche de l'état de nécessité au sens de la définition légale. Au demeurant, la cour cantonale a considéré que, même à supposer que l'on pouvait admettre l'existence d'une détresse profonde, la proportionnalité entre les motifs du recourant et l'importance du bien juridique menacé devait être niée.
4.4.1. Le recourant fait valoir que ses reproches n'ont pas été entendus par les autorités, ce qui l'a plongé dans une situation de profonde détresse proche de l'état de nécessité. En se contentant essentiellement de citer divers extraits de l'expertise psychiatrique, il oppose en réalité sa propre appréciation de l'expertise à celle de la cour cantonale, sans démontrer en quoi celle-ci serait arbitraire, de sorte que son grief est irrecevable (<ref-law>).
4.4.2. Au demeurant, s'agissant de la proportionnalité, c'est en vain que le recourant reproche à la cour cantonale de ne pas avoir examiné la pertinence des griefs qu'il invoquait. En effet, même à supposer que le recourant avait, comme il le prétend, enduré une souffrance profonde du fait de manquements du tuteur de son père et des autorités pupillaires et qu'il souhaitait que cette souffrance soit reconnue, ceci ne justifierait pas, sous l'angle de la proportionnalité, de menacer à plusieurs reprises l'intégrité corporelle et la vie de divers magistrats et fonctionnaires, au lieu d'utiliser les moyens légaux à sa disposition. C'est dès lors à bon droit que la cour cantonale a retenu que les motifs qui avaient poussé le recourant à agir restaient en disproportion manifeste avec la tentative d'attenter, par des menaces graves, au bon fonctionnement des autorités publiques et, indirectement, aux droits des membres de celles-ci.
4.5. S'agissant de la circonstance atténuante du profond désarroi, la cour cantonale a retenu que l'on pouvait douter, à la lecture de l'expertise psychiatrique, que le recourant se soit trouvé dans un état de complet désespoir. Quoi qu'il en était, un tel état n'avait pas été rendu excusable par le contexte de l'espèce. Elle a jugé que la réaction du recourant avait été avant tout liée aux traits d'allure paranoïaque de sa personnalité et non à des circonstances objectives. En effet, les experts avaient relevé que l'aspect caractériel du fonctionnement psychique du recourant pouvait déraper sur un mode pervers et paranoïaque lorsqu'il était confronté à une situation stressante et que cela se manifestait par "une réaction anormale dépassant le but prévisible", ce qui semblait avoir été le cas en l'espèce. La cour cantonale en a conclu qu'on ne saurait affirmer qu'un tiers raisonnable aurait réagi de la sorte, s'il avait été confronté à la même situation.
Ce raisonnement est convaincant et le recourant ne le critique pas en tant que tel. Il reproche cependant à la cour cantonale d'être arrivée à cette conclusion sans examiner la "situation", soit les griefs qu'il a formulés et les suites données par les autorités, sans toutefois préciser lesquels. Or, la cour cantonale a tenu compte des circonstances de l'espèce, soit notamment des suites données aux requêtes du recourant. Elle a relevé que celui-ci avait formulé une requête, à l'âge de vingt-trois ans, d'accéder au dossier de tutelle de son père et avait déposé une plainte, en 2010, à l'encontre du juge de la commune de V._. Il ressort du jugement attaqué que le recourant a pu consulter les classeurs relatifs à la tutelle de son père et que sa plainte contre le juge a été traitée, même si un refus de suivre lui a été signifié. La cour cantonale a retenu que ces circonstances n'étaient en tous les cas pas aptes à rendre excusable le profond désarroi dans lequel le recourant prétendait avoir agi. Dans ces conditions, elle n'a pas violé le droit fédéral en retenant que les conditions de l'art. 48 let. c CP n'étaient pas réalisées. Le grief soulevé doit être rejeté.
5.
Le recourant reproche enfin à la cour cantonale d'avoir ordonné la confiscation en vue de destruction du revolver Z._, des munitions et des matériels d'entretien séquestrés lors de la perquisition du 4 juillet 2012. Il soutient que les conditions de la confiscation ne sont pas réalisées.
5.1. Selon l'<ref-law>, alors même qu'aucune personne déterminée n'est punissable, le juge prononce la confiscation des objets qui ont servi ou devaient servir à commettre une infraction ou qui sont le produit d'une infraction, si ces objets compromettent la sécurité des personnes, la morale ou l'ordre public (al. 1). Le juge peut ordonner que les objets confisqués soient mis hors d'usage ou détruits (al. 2).
5.2. En résumé, la cour cantonale a jugé que les circonstances particulières de la présente affaire suffisaient à retenir un risque sérieux que l'arme saisie au domicile du recourant puisse servir à perpétrer une infraction grave contre la vie ou l'intégrité corporelle, relevant que le recourant avait proféré des menaces graves et explicites, en faisant directement référence à son arme.
5.3. La motivation cantonale ne prête pas le flanc à la critique. C'est en vain que le recourant fait valoir, en se référant notamment à l'art. 31 al. 3 de la loi fédérale sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54) que les objets saisis n'ont pas été utilisés pour menacer ou blesser des personnes. En effet, la cour cantonale a confirmé la confiscation en application de l'<ref-law>, lequel ne requiert pas que l'infraction ait été commise ou même simplement tentée. Il suffit à cet égard qu'il existe un risque sérieux qu'un objet puisse servir à commettre une infraction (<ref-ruling> consid. 4.1 p. 93; <ref-ruling> consid. 2a p. 18; arrêt 6B_1277/2018 du 21 février 2019 consid. 3.3). C'est également en vain que le recourant soutient qu'il n'est pas le propriétaire de l'arme saisie chez lui lors de la perquisition du 4 juillet 2012. Outre que cet élément ne ressort pas clairement du jugement attaqué, sans que le recourant ne démontre l'arbitraire de son omission, il est sans pertinence pour la confiscation que le titulaire du bien confisqué ne soit pas lui-même auteur de l'infraction (<ref-ruling> consid. 2c p. 126). Enfin, en tant que le recourant conteste avoir proféré des menaces graves et explicites faisant référence à son arme, il oppose sa propre appréciation des faits à celle de la cour cantonale, dans une démarche purement appellatoire, partant irrecevable.
Il s'ensuit que la confiscation ordonnée par la cour cantonale ne viole pas le droit fédéral.
6.
Le recourant reproche à la cour cantonale d'avoir admis les prétentions civiles de l'État du Valais. Dans la mesure où il fonde son argumentation sur le fait que la plainte n'aurait pas été valable - ce qui n'est pas le cas (cf. supra consid. 2) -, son grief est sans objet.
7.
Le recourant conclut à l'octroi d'indemnités fondées sur les art. 429 et 431 CPP en se prévalant d'un acquittement, voire d'une exemption de peine, qu'il n'obtient pas. Son grief n'a, dès lors, plus d'objet.
8.
Le recours doit être rejeté dans la mesure où il est recevable. Comme il était dénué de chances de succès, la demande d'assistance judiciaire doit être rejetée (<ref-law>). Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>), dont le montant sera toutefois fixé en tenant compte de sa situation financière, laquelle n'apparaît pas favorable.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
La demande d'assistance judiciaire est rejetée.
3.
Les frais judiciaires, arrêtés à 1'200 fr., sont mis à la charge du recourant.
4.
Le présent arrêt est communiqué aux parties et au Tribunal cantonal du canton du Valais, Cour pénale II.
Lausanne, le 8 juillet 2021
Au nom de la Cour de droit pénal
du Tribunal fédéral suisse
La Présidente : Jacquemoud-Rossari
La Greffière : Thalmann