Faits:
A. X._, né en 1963, ressortissant britannique titulaire d'une autorisation d'établissement en Suisse, est placé sous curatelle volontaire et bénéficie d'une rente ordinaire simple d'invalidité pour un degré d'incapacité de travail de 80% avec effet au 1er novembre 1993. Tel que le résume le rapport d'expertise médicale judiciaire établi le 13 janvier 2010, il souffre de divers troubles de santé physique comme psychique. Toxicomane à l'héroïne actuellement sous méthadone, il est atteint d'une hépatite C chronique, d'un status post-hépatite B et d'une hépatite A. Il présente de plus une dépendance à l'alcool de sévérité modérée qui entrave le traitement de son hépatite C, ce qui risque d'engager son pronostic vital. Ayant tenté de se suicider en 1995 et consommant quotidiennement des benzodiazépines et d'autres médicaments, X._ présente une certaine labilité émotionnelle et des symptômes dépressifs. En outre, une première expertise psychiatrique du 10 juillet 1996 avait retenu des troubles mentaux et des troubles du comportement liés à l'utilisation d'opiacés, ainsi qu'à l'utilisation d'alcool, chez un patient présentant une personnalité psychotique fragile, aux défenses rigides, tolérant peu l'angoisse.
X._ détient plusieurs armes à feu à son domicile, à savoir notamment: deux fusils semi-automatiques SIG, modèle 57, calibre 7,50 mm; un mousqueton, modèle 1911, calibre 7,50 mm; un mousqueton, modèle 1931, calibre 7,50 mm; une carabine de match Anchutz, modèle 54, calibre 22 LR; un pistolet SIG-SAUER, modèle P-220 ARMEE, calibre 9,00 mm para et un revolver, modèle 1895. Il est membre d'un club de tir sportif depuis le 12 mars 2003. A la suite du dépôt, le 26 septembre 2007, d'une demande de permis d'acquisition d'armes, la police cantonale vaudoise (ci-après: la Police cantonale) a requis des renseignements à son sujet.
B. Par décision du 31 janvier 2008, la Police cantonale a non seulement rejeté la demande d'autorisation de X._, mais a également ordonné le séquestre de toutes les armes à feu détenues par l'intéressé, ainsi que la vente de celles-ci, le produit lui en revenant sous déduction des frais de dépôt.
La Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours formé par X._ contre cette décision par arrêt du 23 avril 2010. En substance, les juges cantonaux ont considéré que l'appréciation de la Police quant à la dangerosité de X._ et au risque d'usage abusif des armes justifiant une confiscation définitive, était conforme au droit.
C. Agissant par la voie du "recours de droit administratif" formé le 26 mai 2010, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de réformer l'arrêt du 23 avril 2010 en levant le séquestre de ses armes et en les lui restituant. Il demande par ailleurs l'octroi de l'effet suspensif, de même que l'assistance judiciaire.
Par ordonnance présidentielle du 9 juin 2010, le Tribunal fédéral a admis la demande d'effet suspensif dans le sens où les armes séquestrées ne pourront pas être vendues.

Le Tribunal cantonal se réfère aux considérants de l'arrêt attaqué et conclut au rejet du recours. La Police cantonale conclut au rejet du recours, avec suite de frais. Tout en relevant une inexactitude au consid. 2c de l'arrêt entrepris, le Département fédéral de justice et police (ci-après: le Département fédéral) le considère être conforme à la législation fédérale sur les armes.
Considérant en droit:
1. L'arrêt attaqué est une décision finale (<ref-law>), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF) ne tombant pas sous le coup des exceptions de l'<ref-law>. La voie du recours en matière de droit public est donc en principe ouverte, étant précisé que, bien que l'institution du "recours de droit administratif" devant le Tribunal fédéral ait disparu avec l'entrée en vigueur de la LTF (1er janvier 2007 [RO 2006 p. 1242]), la dénomination erronée employée par le recourant, lequel est représenté par un avocat, ne saurait lui nuire si son acte répond aux exigences de la voie de droit à disposition (<ref-ruling> consid. 1.3 p. 296; arrêt 1C_225/2009 du 4 novembre 2009 consid. 1.3, non publié in <ref-ruling>). Le mémoire de recours a été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'acte attaqué qui a un intérêt digne de protection à son annulation ou à sa modification, de sorte qu'il faut lui reconnaître la qualité pour recourir (<ref-law>). Il convient donc d'entrer en matière.
2. Le litige a trait au bien-fondé d'une mesure de séquestre et de confiscation définitive, en vue de leur vente, des armes à feu détenues par le recourant. Celui-ci reproche au Tribunal cantonal d'avoir procédé à une appréciation erronée des faits concernant sa dangerosité. Il souligne entre autres éléments qu'il n'a jamais fait preuve d'un comportement violent ou inadéquat, que la plupart de ses armes sont de vieilles armes d'intérêt historique, que l'ensemble des témoins a relevé sa maîtrise de lui en dépit de son penchant notoire pour l'alcool, que sa tentative de suicide avec des médicaments a mis en exergue l'absence de velléité d'utiliser une arme, que l'expertise de 1996 n'est plus d'actualité et que sa consommation de méthadone depuis dix ans n'est pas un facteur de risque.
2.1 En principe, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Le recourant ne peut critiquer ceux-ci que s'ils ont été établis de façon manifestement inexacte - notion qui correspond à celle d'arbitraire au sens de l'art. 9 Cst. (<ref-ruling> consid. 4.3 p. 62) - ou en violation du droit au sens de l'<ref-law> (<ref-law>), ce qu'il lui appartient d'exposer et de démontrer de manière claire et circonstanciée. La correction du vice soulevé doit en outre être susceptible d'influer sur le sort de la cause (<ref-law>). En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (cf. <ref-ruling> consid. 3 p. 104 s; <ref-ruling> consid. 1.4 p. 254 s; <ref-ruling> consid. 2.1 p. 120).
Selon la jurisprudence, l'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (<ref-ruling> consid. 5.4 p. 148; <ref-ruling> consid. 3.1 p. 153; <ref-ruling> consid. 5.1 p. 17).
2.2 Méconnaissant les principes susmentionnés, le recourant s'en prend aux faits constatés de manière appellatoire, si bien que la question de la recevabilité de son grief se pose. Il oppose sa propre appréciation concernant sa dangerosité à celle retenue dans l'arrêt querellé, sans indiquer en quoi celle-ci serait manifestement inexacte ou choquante. Ainsi, notamment, il n'est pas arbitraire de considérer une tentative de suicide, soit un comportement auto-agressif, comme un acte violent, ni de se fonder sur une expertise de 1996, en large partie confirmée et nuancée dans le cadre d'une expertise réalisée en 2010, pour retenir un risque de dangerosité. De plus, en évoquant les déclarations de certains témoins, le recourant omet d'indiquer qu'il lui est déjà arrivé à trois reprises de se présenter à son club de tir sous l'influence de l'alcool et que l'expertise de 2010 ne peut exclure un passage à l'acte dans une situation de vie fortement stressante ou angoissante.
Le grief du recourant tiré de l'établissement et de l'appréciation arbitraire des faits doit en conséquence être rejeté en tant qu'il est recevable. Dans la suite du raisonnement, le Tribunal fédéral se fondera donc exclusivement sur les faits retenus par le Tribunal cantonal.
3. Le recourant se plaint également d'une mauvaise application de la législation sur les armes, en particulier de l'art. 8 de la loi fédérale du 20 juin 1997 sur les armes, les accessoires d'armes et les munitions (LArm; RS 514.54) et de son ordonnance fédérale d'application du 2 juillet 2008 (OArm; RS 514.541).
3.1 Le recours peut être interjeté pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4). Eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF, sous peine d'irrecevabilité (<ref-law>), le Tribunal fédéral n'examine en principe que les griefs invoqués, sauf en présence de violations évidentes du droit (ATF <ref-ruling> consid. 1.4.1 p. 254, confirmé in arrêt 9C_338/2010 du 26 août 2010 consid. 2.1).
3.2 Le recourant est titulaire d'un permis d'établissement pour la Suisse, de sorte qu'il n'est pas soumis aux prescriptions plus restrictives de la LArm concernant les étrangers démunis d'un tel titre de séjour (cf. art. 9a al. 1bis et 10 al. 2 LArm).
3.3 Le Tribunal cantonal a fondé les mesures litigieuses sur l'art. 8 al. 2 let. c LArm. Toutefois, cette disposition ne s'applique directement qu'en cas de permis d'acquisition d'armes obligatoire. Or, comme l'a relevé à juste titre le Département fédéral, un tel permis n'est pas exigé pour certaines armes (art. 10 LArm; 19 et 20 OArm) et l'on ignore si les armes détenues par le recourant étaient (toutes) assujetties au régime du permis. Ceci ne porte cependant pas à conséquence dans la mesure où l'art. 31 LArm, régissant la mise sous séquestre d'armes et leur confiscation définitive, renvoie expressément, à son al. 1 let. b et indépendamment du fait que l'acquisition de ces armes soit ou non soumise à autorisation, aux conditions de l'art. 8 al. 2 LArm (cf. <ref-ruling> consid. 2.1). Cette imprécision de l'arrêt attaqué est donc sans incidence pour la solution adoptée.
3.4 Il reste à examiner si les conditions posées à l'art. 8 al. 2 let. c LArm, applicable par renvoi de l'art. 31 LArm, sont réunies en l'espèce, le recourant reprochant au Tribunal cantonal d'avoir procédé dans ce contexte à une pesée des intérêts incohérente.
3.5 L'autorité cantonale dispose d'un large pouvoir d'appréciation lorsqu'il s'agit d'évaluer le danger lié à l'utilisation d'une arme (cf. art. 8 al. 2 let. c LArm) dont dépendront les mesures de séquestre, voire de confiscation définitive subséquentes (arrêt non publié 2C_93/2007 du 3 septembre 2007 consid. 5.2). En cette matière, le Tribunal fédéral s'abstient de substituer sa propre appréciation à celle des autorités cantonales. Il n'intervient qu'en cas d'excès ou d'abus du pouvoir d'appréciation, c'est-à-dire, en particulier, si l'autorité cantonale a retenu des critères inappropriés, n'a pas tenu compte de circonstances pertinentes, n'a pas procédé à un examen complet des circonstances pertinentes ou n'a pas usé de critères objectifs (<ref-ruling> consid. 1.2 p. 615, confirmé in arrêt 9C_404/2007 du 11 avril 2008 consid. 1.3).
3.6 Aux termes de l'art. 8 al. 2 let. c LArm, aucun permis d'acquisition d'armes n'est délivré aux personnes dont il y a lieu de craindre qu'elles utilisent l'arme d'une manière dangereuse pour elles-mêmes ou pour autrui. Cette disposition s'inscrit dans l'objectif constitutionnel (art. 107 al. 1 Cst.) affiché par l'art. 1 al. 1 LArm de lutter contre l'utilisation abusive d'armes.
Selon l'art. 31 al. 1 let. b LArm, l'autorité compétente met sous séquestre les armes, les éléments essentiels d'armes, les composants d'armes spécialement conçus, les accessoires d'armes, les munitions et les éléments de munitions trouvés en possession de personnes qui peuvent se voir opposer un des motifs visés à l'art. 8 al. 2, ou qui n'ont pas le droit d'acquérir ou de posséder ces objets. Les conditions de l'art. 8 al. 2 LArm sont notamment réunies en la présence de personnes atteintes dans leur santé psychique ou mentale, de personnes souffrant d'alcoolisme ou présentant des tendances suicidaires, notamment en raison de souffrances physiques. Sont déterminants le comportement global respectivement l'état psychique instable de la personne concernée (arrêts non publiés 2C_93/2007 du 3 septembre 2007 consid.5.2; 2A_546/2004 du 4 février 2005 consid. 3.1. Cf. aussi: Philippe Weissenberger, Die Strafbestimmungen des Waffengesetzes, in AJP 2000 p. 163; Hans Wüst, Schweizer Waffenrecht, Zurich / Egg 1999 p. 189; Raphaël Brossard, Suicide par armes à feu, in SZK 2005 n° 2 p. 18).
En vertu de l'art. 31 al. 3 let. a LArm, l'autorité confisque définitivement les objets mis sous séquestre s'ils risquent d'être utilisés de manière abusive, notamment si des personnes ont été menacées ou blessées au moyen de ces objets. Tandis que la mise sous séquestre a un caractère préventif et prend place dès qu'un motif d'exclusion de l'art. 8 al. 2 LArm est rempli, le retrait définitif intervient postérieurement au séquestre et suppose que le risque d'utilisation abusive de l'arme persiste; l'autorité doit ainsi établir un pronostic quant aux risques d'une telle utilisation dans le futur, eu égard aux circonstances concrètes du cas d'espèce et à la personnalité de l'intéressé (arrêts non publiés 2C_93/2007 du 3 septembre 2007 consid. 6.1; 2A_546/2004 du 4 février 2005 consid. 3.2.2). Dans le cadre de la prise d'une mesure de police administrative, l'autorité est en droit d'appliquer un pronostic plus sévère que celui qu'elle effectuerait dans un contexte de droit pénal (arrêts 2C_93/2007 du 3 septembre 2007 consid. 6.1; 2A_546/2004 du 4 février 2005 consid. 3.3.3; Weissenberger, op. cit., p. 164). Lorsque la restitution des objets s'avère impossible (art. 31 al. 5 LArm), l'autorité compétente peut disposer librement de l'objet qui est réalisable, à charge pour elle d'indemniser le propriétaire (<ref-law>).
3.7 En l'occurrence et au regard des critères retenus par la jurisprudence, le Tribunal cantonal n'a pas excédé ni abusé de son pouvoir d'appréciation en considérant que tant les conditions du séquestre que celles de la confiscation définitive étaient remplies.
3.7.1 S'agissant de la mesure de séquestre, divers indices font craindre que le recourant puisse utiliser ses armes d'une manière dangereuse pour lui-même, voire même pour autrui. Sur la base des faits établis par le Tribunal cantonal, X._ est en effet un toxicomane à l'héroïne actuellement sous traitement substitutif de méthadone. Il souffre d'un problème d'alcoolisme et son état psychique révèle une personnalité psychotique émotionnellement labile présentant des symptômes dépressifs. Par le passé, il a attenté à ses jours avec l'aide de médicaments. Si le recourant a été décrit par des témoins comme une personne calme n'ayant jamais perdu la maîtrise de lui-même, il lui est déjà arrivé, à trois reprises depuis son adhésion à un club de tir sportif en 2003, de s'y présenter sous l'emprise de l'alcool. Compte tenu de ces éléments, les autorités cantonales pouvaient sans abuser de leur pouvoir d'appréciation considérer que les conditions étaient réunies pour procéder au séquestre des armes du recourant (art. 8 al. 2 let. c et 31 al. 1 let. b LArm).
3.7.2 S'agissant de la mesure de confiscation définitive des armes, le pronostic auquel procède le Tribunal cantonal par rapport au risque de dangerosité du recourant n'est pas non plus abusif ni excessif. Excepté les dépendances (héroïne substituée par la méthadone, alcool) et la fragilité psychique susmentionnées, l'arrêt querellé se fonde sur les expertises médicales de 1996 et de 2010. Toutes deux rappellent non seulement qu'il n'est en aucun cas possible d'exclure tout risque de dangerosité, mais évoquent en outre les circonstances particulières dans lesquelles un tel risque pourrait réellement survenir, soit en cas de situation fortement stressante ou angoissante, telle que le recourant l'avait vécue en 1995 lorsqu'il avait commis une tentative de suicide. En outre, la dernière instance cantonale a cherché à tempérer les effets de cette mesure en n'excluant pas la possibilité que le recourant puisse, après une durée minimale de deux années, demander un réexamen de sa situation au regard de la LArm. Au vu de ces éléments, le Tribunal cantonal n'a pas outrepassé son pouvoir d'appréciation en considérant que les conditions posées à la confiscation définitive des armes détenues par le recourant (art. 31 al. 3 let. a LArm), en particulier le risque de leur utilisation abusive à l'avenir (pronostic défavorable), étaient réunies. Par conséquent, il se justifie de lui retirer définitivement ses armes; les risques d'une utilisation abusive suffisent à faire passer au second plan l'intérêt privé de l'intéressé à les recouvrer.
En conséquence, le grief du recourant tiré de la violation de la législation sur les armes doit être écarté.
4. 4.1 Il résulte de ce qui précède que c'est à juste titre que le Tribunal cantonal a confirmé la décision de la Police cantonale du 31 janvier 2008. Partant, le recours doit être rejeté en tant qu'il est recevable.
4.2 Le recourant a sollicité sa mise au bénéfice de l'assistance judiciaire. Sa cause paraissant dépourvue de chances de succès dès le dépôt du recours (cf. <ref-ruling> consid. 7.1 p. 2), la demande d'assistance judiciaire doit être rejetée (art. 64 al. 1 et 2 LTF). Les frais seront mis à la charge du recourant, mais fixés en tenant compte de sa situation financière (art. 65 al. 2 et 3 et 66 al. 1 LTF). Il ne sera pas alloué de dépens (art. 68 al. 1 et 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté en tant qu'il est recevable.
2. La demande d'assistance judiciaire est rejetée.
3. Les frais judiciaires, arrêtés à 400 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à la Police cantonale du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et au Département fédéral de justice et police.
Lausanne, le 11 octobre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Zünd Chatton